户部主事海瑞力陈其失。帝怒，要立杀海瑞。徐阶力救，海瑞得缓死，囚系狱中。嘉靖四十五年（1566年）帝死，徐阶草遗诏，立穆宗朱载垕为帝，停止一切斋醮、土木、珠宝、织作，凡因言事而得罪的官员一律赦宥，以收拾人心。关于徐阶致仕真相众说纷纭,一说因事先未和同列阁臣高拱、郭朴一起商量，二人怀恨于心，唆使御史参劾，迫使徐阶于隆庆二年（1568年）致仕回家;一说穆宗行为荒诞不经，徐阶经常劝阻他，所以穆宗十分讨厌他。徐阶也很失望，于是上疏请求退休。正好给事中张齐因为私人恩怨(注意:私人恩怨)弹劾他。于是穆宗乘机允许他退休回家;当年明月笔下,徐阶劳碌一生,有穷困不堪,有风光无限,斗倒严嵩,又有学生张居正前途无量,于国于己心愿已满,于是主动请辞.
因任宰相多年，为两朝元老，人都称为“徐阁老”。借“投献”为名，大量兼并土地。隆庆三年（1569年），海瑞任应天巡抚，被徐阶政敌高拱利用，勒令地方强豪退出多占土地。险遭杀身之祸，逃至他乡。