地的乡绅们又接连上门拜访。这一圈下来，庄征君不停地穿靴子、脱靴子，烦得不行。他跟妻子抱怨道：“我真是自找麻烦！朝廷既然把玄武湖赐给了我，我何必还住在这里，跟这些人纠缠不清？我们赶紧搬到湖上去住，享受清净日子吧！”于是，夫妻俩当晚就收拾东西，搬到玄武湖去了。
玄武湖特别大，面积跟西湖差不多。从湖左边的台城能望见鸡鸣寺。湖里种着菱角、莲藕、莲花、芡实，每年能收获几千石。湖中有七十二艘打鱼船，南京城里每天早上卖的鱼，都是从这湖里打捞上来的。湖中间有五座大岛：四座岛上存放着书籍资料；中间那座岛上，有一座大花园，是皇上赐给庄征君住的，里面有几十间屋子。花园里长着好几人才能合抱的老树，还有梅花、桃花、李花、芭蕉、桂花、菊花，一年四季花开不断。还有一大片竹林，竹子足有数万竿。花园里的屋子门窗一打开，湖光山色尽收眼底，美得就像仙境一样。花园门口拴着一条小船，想去哪儿，划船就能到；要是把船收走，别人想过来，那根本没辙。庄征君就住在这座花园里。
有一天，庄征君和妻子倚着栏杆看湖水，就笑着说：“你瞧瞧这湖光山色！现在都是咱们的啦！以后咱们天天都能在这儿游玩，不像杜少卿，还得带着夫人跑去清凉山赏花！”要是闲着没事的时候，庄征君就备好一壶酒，让妻子坐在旁边，并把杜少卿写的《诗说》念给他听。每当念到有趣的地方时，两人就会喝一大杯酒，然后相视大笑。庄征君在湖中的日子过得十分自在惬意。
突然有一天，有人在湖对岸喊船。这边把船划过去接来人，庄征君也迎了出去。来人就进屋行礼，原来是卢信侯。庄征君特别高兴，说：“自从路上分别后，我一直盼着能再见到你，你今天怎么到这儿来了？”卢信侯说：“昨天我去你府上，没找着人，今天才找到这儿。你在这儿的生活简直像神仙一样，太让人羡慕了！”庄征君说：“这地方跟外界离得远，虽说比不上陶渊明笔下的桃花源，但也差不了多少。你就在这儿多住些日子，说不定下次再来，你都找不着路了。”说完，庄征君准备好酒菜，两人一起喝酒聊天。
两人一直喝到半夜三更，就有一个小厮慌慌张张跑进来，说：“中山王府派了几百个士兵，举着上千个火把，把湖中的七十二艘渔船都扣下了，还派兵渡湖，把咱们花园围了个水泄不通！”庄征君大吃一惊，也不知道发生了什么事。这时，又有一个小厮跑进来报告：“有个总兵大人到大厅来了。”庄征君赶忙出去迎接。总兵见到庄征君后行礼，庄征君问：“不知道我家出了什么事？”总兵说：“跟您府上没关系。”接着就凑到庄征君耳边小声说：“因为卢信侯家里藏着《高青邱文集》，这是禁书，被人告发了。京里听说这人会武功，比较勇猛，所以就派兵来抓他。今天他们跟着卢信侯到了您这儿，所以我来带人，您可别让他察觉跑了。”庄征君说：“总兵大人，这事交给我吧。我明天让他自己去投案，要是人跑了，您就找我问罪。”总兵听了这话，就说：“既然您这么说了，那肯定没问题。我就先告辞了。”庄征君把总兵送到门口，总兵一声令下，那些士兵就全都渡河回去了。
卢信侯把这番对话都听见了，他说：“我是个硬汉子，怎么能逃跑连累您呢？我明天就自己去坐牢！”庄征君笑着安慰他：“你就去那儿暂且待几天，不出一个月，我保证把你弄出来，到时候你又能自由自在啦。”于是，卢信侯就主动去监狱投案了。
而庄征君却是偷偷写了十几封信，又派人送到京城，拜托朝廷里的大官们帮忙。后来，从相关部门发出文书，把卢信侯给放了，反倒治了那个举报人的罪。卢信侯特别感谢庄征君，之后又留在花园里住下。
过了几天，又有两个人在湖对岸喊船，等船渡过来后，庄征君迎上去一看，原来是迟衡山和杜少卿。庄征君高兴地说：“太巧了！真是‘正想找人好好聊聊，客人就到了’。”于是他就把两人请到湖中的亭子里坐下。迟衡山说这次来是为了商量之前定好的泰伯祠祭祀礼乐的事儿。庄征君留两人吃了
