特别是遭遇不公所带来的伤感、人在屋檐下不得不低头的悲愤，还有壮志不能酬的惆怅，都使他觉得苦恼……
好在，他并不是一个人孤零零地活在世上。他还有家人，月儿、盼儿、大丫和二丫，还有桑秀和真奴，她们不一定能够理解他的感触，但是她们却都在在用自己的方式在关心他。月儿几乎每天早晚都会过来陪他说话；假如发现他在看书或者做别的事情，她就不会打扰他，而是静悄悄地回去；但她会留下话，好让他知道她并没有忘记他。盼儿和大丫一般不来前院，但是他每天三顿饭都是她们亲手做的一一她们都知道他的喜欢吃什么。还有桑秀和真奴，她们瞧见他情绪不高的时候，就会给他唱曲子，给他跳舞。可惜的是，她们还不知道，他听不懂唱书和大戏，对真奴的霓裳舞也看不出好坏。实际上，每当这个时候，他都是按捺着性子，带着沉醉其中的笑容看着她们唱来跳去，并且毫不吝啬自己的夸奖。他能体会到她们对他的关切。不管怎么样，她们这样做也是在关心自己；只是方式方法不对而已。
说起家人对他的关心，就不能不提到二丫。
他在庄子里住下之后，因为实在是太清闲，就想给自己找点事情做。他想，他才三十岁，现在就开始写回忆录好象早了点；要是写《商君兵法》的话，说出去更是要教人笑掉大牙。好在前段时间有了高小三出海的由头，干脆，就把航海的事情鼓捣一下。但航海术牵扯的范围实在太广泛，需要的人力物力无可计数，他一个人根本做不下来。于是他跑了趟兵部，找到真芗，把这个事情说了一下。他的意思，就是动员真芗，希望能让兵部掏出几千万把贯钱支持他开发航海技术。可真芗听完他，立刻就把头摇得象拨浪鼓。哪怕他说得天花乱坠，赌咒发誓拍胸脯，保证搞出这些技术必然会带来数不尽的好处，真芗就是不答应。因为两个人实在太熟络，真芗毫不拐弯抹角地告诉他说，有工部被玻璃折腾得里外不是人的前科，所以他商燕山的名声在朝野上下都很糟糕；他这个时候撺掇着兵部开发什么航海技术，难道是嫌兵部碍眼么？
话都说到这个份上，他还能说什么？他除了朝兵部衙门的大门上啐口唾沫，然后嚷嚷两句狠话，什么事都干不了。最后他只好灰溜溜地回家。
他在兵部碰了一鼻子灰，回到家自然也没什么好脸色。事情很快就被二丫知晓了。小丫头二话不说，立刻就教帐房预备五千缗现钱，还当场放出豪言壮语：兵部舍不得那几贯破钱，那咱家就自己搞！搞成搞不成都无所谓，只要他高兴就好；哪怕他把家底
…。。