消难、益州总管王谦相继起兵响应。
赵、魏之士，跟从的人非常多，旬日之间，就聚集了十万兵马，又宇文胄以荥州、石愻以建州、席毗以沛郡、毗弟叉罗以兖州为根据地，都响应尉迟迥。
杨坚命上柱国、郧国公韦孝宽出兵打败了尉迟迥，消灭了对自己有威胁的政敌，司马消难南逃于陈朝，王谦也被杀死，杨坚的这一胜利，稳定了内部的统治秩序。
雍州牧毕王宇文贤及赵、陈等五王，看到杨坚平定了尉迟迥之乱，威望大增，图谋作乱。
杨坚捉拿宇文贤将其斩首，宣布赵王等人的罪行，下诏五王剑履上殿，入朝不趋，来安定五王之心。
接着便以谋反的罪名，先后杀掉了赵王宇文招、越王宇文盛、陈王宇文纯、代王宇文达、滕王宇文逌等、清除了鲜卑族中的反对力量。
同时又拉拢元谐、元胄、宇文忻等部分鲜卑贵族，这样就使杨坚集团改朝换代的计划，不再受到任何阻碍。