诺言，高演初时是遵守了。可自己另立的太子高百年，却比侄子高殷小了十二岁左右，高演实在担心哪天高殷复辟了，自家很有可能就会被以乱臣贼子的身份，满门抄斩，万劫不复。特别是在高演因狩猎堕马重伤后，他对侄子高殷的存在更加不放心。故而，拼着自己可能随时丧命的风险，他命人将高殷锤死。而这无疑又触犯了太后娄昭君希望家族子孙和睦共存的底线。
当高演最终病重不治后，娄昭君直接以太后的身份宣布，让自己的另一个儿子高湛继承皇位。
太宁二年（562）四月，娄昭君在邺城北宫去世，享年62岁。
高湛在位期间，把高洋的嫔妃以及几个功臣的女儿全部招入宫中公开宣淫。
高湛**二嫂李祖娥时威胁她说：“若不许，我当杀你儿。”李祖娥为了保护儿子只好顺从。此外高湛还奸污高演的皇后、六嫂元氏。
567年，斛律金病逝，享年80岁。斛律光成为怀朔勋贵子弟的代表，当上了北齐的新任咸阳王、右丞相。
高湛去世后高纬亲政，斛律光私下里经常感叹：“盲人入，国必破矣！”
秘书监祖珽是个瞎子，听到这话后自然忌恨。
572年，邺城街头，三五稚童在人群中传唱童谣：“百升飞上天，明月照长安。”“高山不推自崩，槲木不扶自竖。”
童谣很快传入宫中，高纬找来祖珽，让他解答童谣背后的意蕴。
祖珽说，童谣第一句里的“百升”指一斛，而“明月”暗指斛律光的字号。“高山崩”“槲木竖”等语同样暗喻斛律光有篡位野心。
祖珽最后表示：“斛律累世大将，明月声震关西，男尚公主，女为皇后，谣言甚可畏也。”
572年六月，咸阳王、丞相兼大将军斛律光收到高纬御赐的一匹骏马。
按照惯例，他需要入宫面圣谢恩。
当他抵达皇帝的寝殿时，却被告知皇帝正在凉风堂休憩。
凉风堂是昔日北齐发动政变、处置叛臣的地方。斛律光被叫到这里会面，心中隐约有一丝不祥的预感。
果然，他刚踏入凉风堂大殿，就遭到大内第一杀手刘桃枝的偷袭。
斛律光回过头说：“你们常常干这种事情，但我至死也不干对不起国家和皇帝的事。”
最终，刘桃枝和三名大内侍卫一起用弓弦将这名老将活活勒死。
这一年，斛律光58岁。
斛律光被杀后，祖珽命禁军将
…。。