淝水之战可以说成就了陈郡谢氏许多人，孝武帝下诏派殿中将军慰劳谢玄军队，加授谢玄前将军、假节，但谢玄坚决推辞不接受。
朝廷赐只好其上百万钱，上千匹彩绸，不久谢安上奏朝廷，认为苻坚新近败丧，应乘有利时机，以谢玄为前锋都督，率冠军将军桓石虔直指涡、颍，经略旧都。
于是谢玄又率部进驻彭城，遣参军刘袭攻打苻坚的兖州刺史张崇于鄄城，赶走张崇，派刘牢之据守鄄城。
兖州平定后，谢玄忧患水道险阻不通，运粮艰难，便采纳督护闻人奭的建议，筑土坝拦截吕梁之水，树立栅栏，合七埭为一支流，承接两岸的流水，以利于漕运，从此公私两便。
淮陵太守高素率三千人马出击广固，迫使苻坚的青州刺史苻朗投降归顺，进军讨伐冀州，遣龙骧将军刘牢之、济北太守丁匡据守碻磝，济阳太守郭满据守滑台，奋武将军颜雄渡过黄河建造营垒。
苻坚之子苻丕遣部将桑据进驻黎阳。谢玄命刘袭夜袭桑据，桑据逃走。
苻丕惶恐不安，打算降晋，谢玄答应请求苻丕告饥，谢玄送给苻丕二千斛军粮。又遣晋陵太守滕恬之渡过黄河据守黎阳，三魏之地皆归降东晋。
朝廷因兖、青、司、豫四州均已收复，便任命谢玄都督徐、兖、青、司、冀、幽、并七州军事。
谢玄上疏朝廷，认为刚平定河北之地，幽州冀州必须专门命人总督，司州遥远，应归豫州统管。
朝廷论功封谢玄为康乐县公，谢玄请求把他先前所封东兴侯的爵位赐予侄儿谢玩，朝廷许可，封谢玩为豫宁伯。
谢玄又遣宁远将军竂演讨伐占据魏郡的申凯，击败了申凯，他打算让豫州刺史朱序镇守梁国，自己坐镇彭城，北可以巩固河北之地，西可以援救洛阳，内可以捍卫朝廷。
此时朝臣却议论认为征战已久，应当设置戍守边关，然后休兵养息，派谢玄回镇淮阴，朱序镇守寿阳。
适逢翟辽叛乱，占据黎阳，拘捕滕恬之，又加上泰山太守张愿率全郡反叛，河北之地骚动不安。
谢玄自认为处置不当，便上疏朝廷，奉还符节，请求解除全部职务。
朝廷下诏慰劳谢玄，命令他暂且回镇淮阴，以朱序代镇彭城。
谢玄回到淮阴后，患上疾病，又上疏请求解除职务，诏令不许。谢玄又自陈述，说既然不能履行职责，恐怕会荒废军务。
朝廷又下诏让他移镇东阳城。谢玄便奉命上路，以病重恳求解职。朝廷为谢玄
…。。