房陵县被称为“帝王流放之都”，战国七雄中的赵王、唐中宗、周恭帝等人都在这里住过很多年，吕不韦、嫪毐的门客、北宋赵廷美等人也被发落到这里。若是刘贺被扔到此处，倒也符合身份。
霍光没有对刘贺这么狠，他让刘贺回到了故土昌邑，还把从前昌邑王的财物都还给他，又赐给他两千户汤沐邑，他的四个姐妹也各自得到一千户的汤沐邑。这些赠送的东西可以维持住刘贺基本的体面。
作为被废的皇帝朝廷自然要有所惩处，刘贺之前是昌邑王，现在改为山阳郡，昌邑国除。
昌邑群臣被拿下狱，经廷尉逐人提出审讯，录取供词复奏。霍光命将二百余人一律处斩，昌邑相安乐也在其内，此时追悔不及，惟中尉王吉、郎中令龚遂屡次进谏得免死刑，髡为城旦。
到了行刑之日，原昌邑二百余人均被绑赴市曹斩首。赴死途中，又人高呼道："当断不断，反受其乱。"这句话只有一个解释，那就是他们曾经计划除掉霍光，但进度缓慢，最后被后者捷足先登反杀了。
由此可以推断，霍光罢黜刘贺的原因绝不是几件不合礼仪的荒唐事，而是昌邑旧部想扳倒自己。于是霍光先下手为强，他早已将宫廷事务抓在手里，禁卫军的兵权也换到了自己的亲信张安世手上，宫廷事务则由田延年掌控，所以这位老兄敢在朝堂上拿着宝剑威胁人。而完成最后一击的皇太后，她是霍光的外孙女。
刘贺被废后说过一段话："我本人愚笨，当不了皇帝。"这个意思是说，有霍光在，我当皇帝太难了。
从这些可以看出，霍光是个小心谨慎，手段高明的政治人物。由他主导废立皇帝的事，事后的官方档案记载里肯定不会出现丝毫不利于自己的记录。
至于昌邑群臣所坐罪名，不过是不能辅导，陷王于恶，依律原不至死，况二百余人中大多是马卒厨夫官奴等人，更不能责以大义，而霍光不问轻重一体骈诛，是不是有些过分呢。
后人有诗叹道：
国家为重嗣君轻，
主昧何妨作变更；
只是从官屠戮尽，
滥刑毕竟太无情。
霍光虽然带领大汉朝走进了“汉宣之治”，但是他也有奸诈的一面：把持朝政、危害朝臣、废立皇帝。虽然功不可没，但狡诈之心也昭然于天下。