就是一种流放式的放逐。押送的衙役得到的指令，是送至“江西路信州上饶县”便算交差。上饶，地处赣东北，山清水秀，远离前线，也远离政治中心，倒是一个适合“归隐”的地方。
对此，辛弃疾没有提出异议。去哪里，似乎已经不重要了。
抵达上饶县城时，已是初冬。小小的县城依山傍水，古朴宁静，与隆兴府的繁华、滁州的险要截然不同。衙役将他交接给当地县衙，完成文书手续后，便如释重负地离去。县衙的官吏对这个突然被罢黜至此的“前朝官”态度客气而疏远，简单登记后，便告知他可自行在县境内择地安居，只要不滋事，官府便不多过问。
自行择地。辛弃疾带着仅有的简单行囊（几件换洗衣物、些许银钱、书籍和那柄“守拙”剑），还有两名自愿跟随他离开飞虎军、一路暗中护送至附近的旧部（赵疤脸等人被强行留在军中，未能随行），在上饶县境内茫然四顾。
他不需要繁华市井，也不愿寄居客栈。他需要一处能真正安放身心、或许也能埋葬那份不甘与失意的所在。两名旧部打听到，县城西北约十里处，有一片未经大力开垦的丘陵地带，其间散布着几个小村落，背靠青山，面对一片不小的湖泊，当地人称之为“带湖”。那里地价低廉，景色清幽，人烟稀少。
辛弃疾闻言，便决定前往一看。
穿过蜿蜒的田埂小路，绕过几处竹林掩映的村落，带湖终于出现在眼前。时值冬月，湖面笼罩着一层淡淡的寒雾，对岸的山峦轮廓在雾气中若隐若现，呈现出青黛色的剪影。湖水清澈，岸边生着大片枯黄的芦苇，在风中瑟瑟作响。湖边丘陵起伏，多为未开垦的荒地，杂树丛生，野草萋萋，唯有几处向阳的坡地上，能看到零星的菜畦和简陋的农舍。
荒凉，寂静，带着一种与世隔绝般的萧索。然而，这萧索之中，却有一种奇异的、抚慰人心的力量。没有官场的倾轧，没有军务的繁冗，没有那些期待或猜忌的目光，只有天地、山水、草木，以及一片近乎原始的宁静。
“就是这里了。”辛弃疾望着这片湖光山色，轻声说道。声音很轻，却带着一种尘埃落定般的释然，也有一丝难以言喻的怅惘。
他拿出所剩不多的银钱，通过当地乡老，在湖边一处地势较高、背靠一片小松林、面朝开阔湖面的坡地上，购置了十余亩荒地，又雇请了附近村落的几个闲散劳力，开始营建他的“新居”。
没有图纸，没有奢求。他亲自规划，只求实用与清净。主体是几间简单的土木结构的屋
…。。