收捕治罪，并杀于街市示众，从此茂陵大治。在河南太守任上，他整顿吏治，考核实效，禁止奸邪，当时豪强无不畏服。因政绩突出，后被征为谏议大夫。宣帝即位后，征魏相为大司农，后升为御史大夫。
魏相见霍氏所为不成体统，便请许广汉带领入见宣帝。魏相一见宣帝便说：“自霍光去世，其子霍禹复为右将军，侄孙霍山现居政府，兄弟诸婿皆据高位。霍光夫人霍显及诸女在长信宫皆有名籍，或夤夜称诏开门出入，宜设法减夺其权破其阴谋，以固万世之基，并可保全功臣之后。”宣帝久闻霍氏家人倚势横行，心中已是不喜，因看霍光面上不便究问。今闻魏相之言甚合其意，点头称善。又过数日，魏相复由许广汉面请宣帝，除去副封以免壅蔽。原来旧例人民上书须备正副两封，先由领尚书者开拆副封观看，若是所言不善便将原书搁起不奏。今宣帝依从魏相之言除去副封，人民所上之书不须由霍山过目。霍山虽领尚书事，但已毫无权力。宣帝准许群臣单独进见言事，霍显觉得情形不妙，便唤霍禹、霍山、霍云等说道：“汝辈奉承大将军遗业，不思保全自己地位，若有人进言离间何以自救？”霍禹等闻言也不在意，谁知不久真正闹出事来。
原来霍氏一班家奴，霍光在日倚借主势气焰凌人，谁也不敢将他得罪。如今霍光虽死，但他们骄横已惯，也不肯稍稍敛迹。一日霍氏家奴与御史大夫家奴同在路上行走，偏是冤家路窄两下相让，彼此争执良久。霍氏家奴大怒，率领众人闯入御史府中，府中人见了连忙关门。
霍氏家奴闯破大门。御史对着众人叩头谢罪方才息事。旁人见了十分不平，一时议论纷纷，都说霍氏家奴目无法纪欺人太甚，霍显闻之方知忧惧。此时丞相韦贤年老多病，便向宣帝辞职，宣帝赐以黄金驷马归第。宣帝拜魏相为丞相，以丙吉为御史大夫，二人同心辅政，宣帝甚加倚任。魏相不时入见宣帝商议政事。
宣帝又宠信平恩侯许广汉及侍中金安上，许其任意出入宫中。
地节三年，宣帝立刘奭为皇太子，时年八岁。霍显听说后愤怒异常，不肯进食，对家中人说道：“此乃帝在民间时所生之子，岂可立为太子！将来皇后有子，反要为王，向他称臣朝拜，实在使人不甘。”乃悄悄的入见霍后，叫她毒死太子，免为所制。霍后依着母命，怀着毒物，屡召太子赐食，拟乘间下毒。偏宣帝早已防着，密嘱保姆随时护持，每当霍后与食，必经保姆先尝后进，累得霍后无从下手，只好背地咒骂衔恨不休。有其母必有其女。