，二来就算公主回娘家，皇上中午设御宴款待灵玉和公主她们，宴席结束，灵玉和新娘们就向皇上谢恩告辞回府。
灵玉回到府上已是下午两点多钟，飞虎军那些武举们都陆续前来告辞。他们都要前去赴任了，等送走了他们天色已晚了。
第二天又来一些江湖朋友告辞，柳青阳也告辞回南京应天府赴任去了。洪峰在锦衣卫干不用离开仍留住府上。
第三天吃完早饭。灵玉和常月娥去拜见常月娥的父王，灵玉答应岳父明年春暖花开和他们一起去西域帮他复国。
第四天，灵玉进宫来到御书房面见皇上，君臣礼毕，皇上道:“张爱卿，新婚之际不在家陪新人，又来见朕有何事。”灵玉道:“皇上，臣有事启奏。”皇上道:“可有什么紧急之事。”灵玉道:“不算什么紧急，微臣想辞官。”皇上一惊道:“你说什么。你要辞官，你不想帮朕了。”灵玉道:“皇上。你看如今朝野已稳定下来，没有什么大事要做。微臣确实不想长时间做官。”皇上道:“难道爱卿要把所有的官职都辞了吗？”灵玉道:“最好是这样，无官一身轻吗？”
皇上想了一会道:“不行，不能全部辞掉。”灵玉道:“皇上，你看这样好不好，我辞去大都督和锦衣卫指挥使的官职，留下太保和飞虎大将军的官职。”皇上道:“爱卿为什么要辞去大都督之职呢？只要不打仗，大都督也是个闲职呀？”灵玉道:“皇上，按官场你是君我是臣，有些话不好明说。”皇上道:“那今天就不说官场，就说亲戚，按亲戚你是我妹夫，又是结拜兄弟，你尽管直言好了。”
灵玉道:“那好，我就直说了，说实话我真的不想当官，可我身为驸马又是兄弟，又不好不管朝廷的事，如果我长时间权力过大，难免又会传出功高震主的闲言碎语，如果我辞了官就没有此烦恼了，我就是再入江湖也不会建帮立派，我就做个独行侠，让你没有后顾之忧。”皇上笑道:“你是怕我像太祖皇帝那样对待功臣，二弟，你放心吧！我绝对不会那么做的。”灵玉道:“我相信皇上不会那么对我，所以我答应留下太保和飞虎大将军的官职，我虽没有实权但还有名号，仍可震慑蒙古部落。”皇上道:“你想的正合朕意，你可有锦衣卫指挥使合适人选。”
灵玉道:“就让将宏达当锦衣卫指挥使吧！此人能力和品质都属上品。”皇上道:“就依你所说，不过你以后也要多监督他们的行为。”灵玉道:“皇上放心，如果他们有不轨行为，微臣会禀报皇上的，只要皇上有用得着我的时候，通知我一声，绝不推辞