其然，他在与晋悼公交锋的第一个回合便败下阵来，栾书感到前途凶险且心灰意冷，不久便萌生了退出政坛之意。
在另一面，晋悼公则对弑君者怀有极大的敌意（与弑君者的身份无关），尤其这位弑君者与他的家族还存在私人恩怨。
原来当年栾书为了搞掉赵括、赵同，给二人扣上“妄图谋杀景公，改立公孙谈为君”的帽子；为搞掉三郤，又给他们扣上“妄图谋杀厉公，改立孙周为君”的帽子。
由此可见，栾书不但从没真心想过拥立孙周，而且还把孙周父子拿来当成陷害政敌的屎盆子。栾书不但借此除掉政敌，还玷污了公孙谈父子的名声，甚至给他们的生命安全带来危险（晋厉公就曾企图刺杀孙周）。
“栾书不仅弑君，而且犯下他为三郤罗织的罪名，哪里还有忠诚可言？栾书陷害卿士大夫，哪里还有正直可言？这个不忠、邪恶的弑君者，哪里还能得到寡人的信任？”晋悼公这样想。
所以当栾书带着栾魇向晋悼公请辞的时候，晋悼公只是面无表情、略微客套下就批准了，甚至没有向他征求关于继任者人选的意见。
第二天，晋悼公命韩厥为中军将，命栾魇继任栾书的卿位。