当时朝吴的地位低于弃疾，但他是老蔡人，性情耿直，又是个热心肠；蔡国人遇到麻烦都喜欢向他寻求帮助，因此他的势力实际上是超过弃疾的。费无极没少巴结谄媚朝吴，朝吴则刻意保持与他的距离。后来朝吴暗中召回子干，弃疾与费无极为了把戏做足而假装逃跑；而朝吴在搜捕两人的行动中差点要了费无极的小命。
费无极对此一直耿耿于怀，朝吴却从未没有表现出任何愧意，也没有做出任何解释。费无极一步登天，朝吴仍然对他不冷不热，就好像他还是当年那个对自己点头哈腰的小人物；费无极屡次做出索贿的暗示，朝吴就是傻傻地做不出正确的回应。
蔡平公复国后把都城迁到新蔡，朝吴思念故土，于是离开楚国，返回蔡国继续当他的大夫。
费无极原来在蔡国有些见不得光利益，他便委托蔡朝帮他维护那些利益。但是蔡朝不但没有反应，而且阻挠他在蔡国建立圈子。就这样，朝吴的一系列做法严重损害了费无极的利益和自尊心，他决心将那位不识时务的老家伙从蔡国公室里赶出去。
鲁昭公十五年春，费无极出使蔡国。费无极在朝吴为他举行的私宴上对他说：“君王只相信夫子，所以才将夫子派到蔡国来。夫子为蔡国复国做出巨大贡献，年纪又这么大了，却仍然屈居上大夫。君王心中不忍，所以命我来来为夫子请求卿士的位置。”
这句话顶到朝吴的老肺上，他放下筷子，垂头黯然道：“我怎能不感到失望？虽然我做出巨大功劳，却因为在治理蔡县那段黑历史而被人们视为蔡奸、卖国贼、篡位者；君侯还是信任那些追随他流亡的那些大臣，认为他们才是忠贞不二的人，而我不过是个见风使舵的投机分子罢了！”
原来蔡国灭亡后，流亡者形成两大派系，一派追随隐太子的儿子东国，另一派追随蔡灵公的次子庐；朝吴流亡前属于隐太子派，这个派的势力也强于公子庐派。
蔡国复国后，楚平王考虑到东国对楚国的巨大仇恨和隐太子的极高的民望，决定扶植实力较弱但是对楚国比较温和的公子庐为君。实际上，公子庐从来没有奢望过有朝一日能登上君位，他本来是愿意侍奉东国的；而东国则认为君位非几莫属，一直摩拳擦掌准备回国大干一场。楚平王的命令出乎所有人意料，也在两派之间埋下了不和的种子这种不和对楚国是有利的。而朝吴既然属于原东国派，他便受到蔡平公政权的排挤。
费无极说：“寡君有命，谁敢不听？有我在，夫子就放心好了！”他第二天去拜访上卿公子虎，说道
…。。