国大本营的指示，唐生智在临淮关宣布南京卫戍司令长官部撤销，撤至江北的卫戍军部队改隶第三战区。南京保卫战基本结束。
从12月12日下午开始，南京卫戍军各部队撤退及突围的情况大致如下（南京大屠杀60年祭专辑给出的国军突围撤退的数字是32144人）：
卫戍司令长官唐生智、副司令长官罗卓英、刘兴及长官部官兵，12日晚从下关煤炭港乘预备的小火轮渡江至浦口，得到日军已至江浦附近、正向浦口包围的情报，遂徒步向扬州顾祝同第三战区司令长官部靠拢；13日7时到达扬州时，顾祝同及第三战区司令长官部已移驻临淮关，临行时留下6辆卡车。唐生智等主要官员及卫队乘汽车至滁州转火车，于当晚到达临淮关。
在司令部渡江后，第78军、第36师亦于煤炭港分批乘船渡江，至乌衣集结，尔后乘车去蚌埠，又转信阳去江西萍乡整顿。在叶肇及邓龙光两军长参加会议后，第66军及第83军（均为广东部队）共同研究决定：不遵守唐生智令第83军掩护其他部队突围后再于次日晨6时突围的命令，两军由叶肇统一指挥，按计划由正面突围，向指定地点转进 ，当即下令各师“按160、159、156、154师之顺序，由太平门突围，经汤山、句容向安徽宁国集中 ”。12日20时前后，除156师因未接到命令外，其他3个师先后通过太平门。途经岔路口、仙鹤门、东流等地时，均遭日军阻击，第159师代师长罗策群率队冲击时阵亡。拂晓前到达汤山附近时，又遭日军第16师团主力的猛烈攻击。部队逐渐失去掌握，各自为战，数百人或数十人一队，分头向指定地点转进。叶肇、邓龙光与各自的部队失散，均换着便衣突过日军包围圈。20日前后，各师大部分别到达南陵、歙县。第66军参谋处处长郭永镳在九华山一带收容失散的官兵约1300余人，临时编为3个营。1938年1月上旬，他们到达宁国附近归队。未接到命令的第156师师长李江率队与教导总队等一同撤至下关，部分官兵渡过长江，辗转归队。
南京卫戍军的其他各部均于12日下午和夜间拥至下关。第74军组织较好，又掌握有一艘小火轮，约有5000人渡过江北。其余部队仅有一部得以渡江，大多留在江南，遭日军杀害。