上官桀乘机回答说：“因为燕王告发他的罪状，他不敢来上朝了。”昭帝下诏召大将军。 霍光进宫，除下将军冠叩头自责。昭帝说：“将军戴上冠，我知道那封书信是在造谣诽谤，将军无罪。”霍光说：“陛下怎么知道的？”昭帝说：“将军到广明亭去，召集郎官部属罢了。如果你要调动所属兵力，时间用不了十天，燕王刘旦远在外地，怎么能够知道呢！况且，你如果真的要推翻我，也无须如此大动干戈！”上官桀等人的阴谋被十四岁的昭帝一语揭穿，所有在朝大臣对昭帝如此聪明善断无不表示惊叹，霍光的辅政地位得到了稳固。
上奏书的人后来失踪了，官府追捕得很紧。上官桀等人害怕，就对昭帝说：“小事不值得追究。”昭帝不听。之后上官桀一党仍然派人诋毁霍光，昭帝怒道：“大将军是忠臣，先帝让他辅佐朕，敢有诋毁他的按罪处置。”上官桀等不敢再说。昭帝也因此更加亲近霍光而疏远上官一派。