而数年之后，平南王尚可喜大军南下，围城十月，肇庚寅之劫，屠戮羊城军民七十万，这香江一带，既是海上交通要冲，亦为海盗聚萃之地，又近羊城澳门，官府自然是不会放过。
尚可喜平定南粤后，旋即发兵扫清地方。
不久之后，尚可喜与澳门互通粮饷，派遣朝廷水师与澳门佛郎机海船合攻香江水寨，程敬人丁虽众，仍不支官军和夷船合击，被迫放弃水寨远遁南洋。
程敬身长八尺相貌堂堂，平日处世公道，于部属心目中自有威仪，所带亲兵部属，皆常年亲自教导之属下，其近卫之士，自威虏侯府时就为亲信之人，故程敬末路之时，部属大部仍景从不弃，甘愿随之漂泊海外。
程敬部众在这南洋之地，虽人地两生环视皆敌，但当地土著并不强大，加上部属仍然能戮力同心，因此一直在这婆罗洲洋面以打劫为生。
后漂泊日久，为长远计，程敬率部属一路向南，至婆罗洲东南海外见一方大岛，见此处山势盘延千里，便在一处依山临水之地登陆，经与当地人探闻，此岛在苏禄之西南千里，苏禄人唤作遐来勿斯。
程敬略通文书，方知此岛即为《岛夷志略》之遐来勿也，（后世称之为西里伯斯，即苏拉威西）的地方，此方物产丰盛，四季如春，程敬欲在此地安顿，逐率部属上岸，四处打探此地山形水势。
又学当地土人，煮芋薯为食，酿椰浆为酒，派部属出海交易，重操盗商之业，再临海建木栅水寨，伐林拓地从事稼禾，终于安顿下来。
数年间，程敬复招土著与之交易，贩运人口，势力再盛，然天不假年寿，部属刚刚安顿，程敬便染时疾，卧床不起。
久病之后，程敬知时日无多，于是托付寨中大事于二女，此时两女已经长大，多年驰骋海上，且深得其父枪棒武艺真传，平日也帮协寨中事务，颇得众人之望。
程敬弥留之际，招二女及部众于堂前，当众宣长女黄香姑为大统领，总领山寨事。
旋即又对众人说，鞑清乃国仇，大明是家恨，程某忠事唐王黄大人，最终落得背井离乡无所依托之境，故吾等子孙后代，绝不事人主，无论大明大清皆然，又瞠目大呼，大丈夫当独行于世，傲然天地之间，方为人子！言毕而终，临终尚不瞑目。
部属众人闻老千总遗言，无不感同身受，皆痛哭于堂前。感慨之余，众人当即拥戴黄香姑于堂前接任寨主。
未己，众部属佐将，以程家两女婚配之事纷争大起，或贪其权势财物，或觊觎其美貌，
…。。