另一个在四合院内，与他的寝室相连，是小书房。
胡宗宪府中的这座花园，在京城士人中颇有一些名气。皆因这是当年他在南洋苏门答腊平定回教叛乱后，武宗皇帝奖励给他的一处府邸。五亩之园并不算大，却被造园人弄得“几个楼台游不尽，一条流水乱相缠”。循廊渡水，一步一景；景随人意，动静适宜。
园子中几处假山，树得巧，看去险。积拳石为山，而作为胶结物的盐卤和铁屑全部暗隐，这种浑然天成的苏派叠石技巧，着实让人叹为观止。这花园正中是一个一亩见方的莲池，入口处是一丛假山，先入洞然后沿“山”中石级走过去，便有一座架设的曲折木桥可通莲池中央那座金碧辉煌的六角亭子。胡宗宪入住之后，取名为“静心亭”，取修心养性之意。
兴致来时，他就会请来二三友好，于月色空濛之夜，在这亭子里摆上几样酒菜，飞觞传盏，品花赋诗，享受一下赋闲文人的乐趣。胡宗宪来到亭子之前，徐渭先已来到，两个人见礼以后，胡山搬过来了一张藤椅。
胡宗宪刚坐上去，正欲开口，却听徐渭“嗤”地一声笑出声来，说道：“都十年过去了，你胡汝贞还是没有长进呀。我也不知道皇上怎么会如此看重你。”
胡宗宪一怔，接着也不无负气地说道：“你是说我还没有学到‘为官三思’那一套？”
徐渭定定地望着他，良久，才叹了口气，慢慢说道：“你说的是‘思危、思退、思变’那一套么？皇上说的对，你胡宗宪也就是个俗人，一身的文人臭毛病，如果改不了，你就回吕宋吧！”听到这话，胡宗宪却不接言，怔怔地望着他，心里却如同翻江倒海，根本不是表面上这样平静，徐渭这句话一出，他瞬间明白了调他回来真实的目的。
徐渭依然慢慢说道：“胡大人，我今天就私下告诉你一句话，想要真的做一代贤相，你胡宗宪就没有退路，也没有什么可变的。如果没有锐气，皇上用你干嘛？”胡宗宪这才接言：“按照你的意思说，那我这次不该病？”
“是不该病！”徐渭这句话几乎是一字一顿说出来的。
胡宗宪先是一愕，接着脸上显出了一种复杂的失落：“看起来，皇上对我期望过高啊！在下也想有所作为，可朝堂上下，哪一个不是看着严阁老的眼色行事，我想要办些事情，各个部门的主管能推诿的就推诿，在下也是一筹莫展……”
徐渭狡黠的一笑，揶揄打断他的道：“呵呵，你说的是严世藩身边那几个人？既想建功立业，又不敢得罪人。这世上哪有这么
…。。