这会不会有些为难孙中堂啊？”一旁的另一位军机大臣文孚也向道光奏道：“臣看如今孙中堂之事，自然应当受罚，但一来孙中堂只是上疏求情，并无侵凌百姓之事，高堰决口，也不是孙中堂的过错。二来……孙中堂已经七十四岁，若是真的要他前去河堤挑石担土，或许……”
“七十四岁怎么了？要是他自己觉得自己七十四岁了，精力体力都不足以再做这个总督了，他就应该上疏致仕！他留在两江总督的位置上，这个时候就该担这个责任！”道光听着文孚求情之言，却是怒气更甚，道：“还有，什么叫他只是上疏求情，并无侵凌百姓之事？他身为两江总督，一言一行，皆应垂范于百姓，上疏之言，他就不应该负责任吗？朕只是让他去挑石担土，河工事竣，他自可归乡养老，朕对他已经很客气了！你若是再向他求情，休怪朕对你也不客气！”
几名军机大臣也是面面相觑，一时无言。很快，罢黜孙玉庭的上谕，便即送向了江宁。
道光三、四年间，内阁枢廷人员尚属稳定，变化不多。四个大学士原本是托津、戴均元、长龄和曹振镛，协办大学士则是英和与孙玉庭。道光四年之秋，年近八旬的戴均元致仕，孙玉庭终于补任大学士，不想他位列首揆不足三月，便即因为上言为张文浩求情一事，被道光削官夺职。此后道光将蒋攸铦连升两级，一跃而成为大学士，并入京参办军机处事务。空出来的协办大学士之位，则由阮元旧友汪庭珍补任。
道光前期，军机处主要是曹振镛、文孚、黄钺三人主持枢机，间有松筠、卢荫溥二人参与其间，但二人任职时间不长，大学士长龄一度在军机处任职，道光四年之冬也被道光改为专任理藩院。而道光四年冬天，军机大臣黄钺也因为年事已高，向道光上疏请辞。道光便将新任左都御史王鼎、兵部尚书玉麟补任进入军机处，王鼎即是先前阮元巡抚江西时的学政王鼎。如此军机处变为曹振镛、文孚、王鼎、玉麟四人。至道光五年，又补进蒋攸铦。
孙玉庭罢相夺职之后，之前的广东布政使，这时已经在江苏逐步升迁的魏元煜接任两江总督。而孙玉庭之事也很快传到了广州。阮元听闻孙玉庭被道光免职，却也吃了一惊，回想五年前嘉庆在圆明园会宴六大总督，尚与各人约定十年之后重聚。可是五年过来，嘉庆已然驾崩，方受畴、伯麟、黎世序均已不在人世，这次孙玉庭被罢官，多半也无法东山再起。七人中还在官场任职的，就只剩下了自己和蒋攸铦二人。阮元担忧之下，也给蒋攸铦去了书信，提醒他务要谨慎行事，切莫因言辞激切
…。。