皇上不纳，遂“引疾乞休”，在连江闲居10年间，为县民办几件实事，调解民小，平息纠纷，捐赠学田，兴修学宫，置“义田”赡养族中贫者，募修含光塔，捐资修桥浚河等。
在长达三十余年的官宦生涯里，吴文华为官清廉，政绩卓著，时人赞曰：“骏烈光乎一代，清风冠于八闽。”退休前两年，在家乡连江斗门山上建造七级浮屠——含光塔，高耸挺拔，雄伟壮丽。闲居故里十年间，他足迹遍及连邑大地，题诗玉泉山的摩崖石刻：“巾舄相随蹑紫烟，闲从鸟迹访金仙。宦情迢递浮云外，梵影依稀落照前。古洞苍鳞涵宝月，香厨清玉控灵泉。坐阑得悟如莲偈，万籁空无一事悬。”书法苍劲有力，瑰奇磅礴，游人常驻足观赏。他的住宅在学前铺义井街，原有鹿园、敕楼，东园有旷如亭、万乐窝等诸胜，可惜今已皆圯。
为军事重镇定海作《定海七井碑记》，也就在这一年秋，卒于里第，享年七十八岁，赠太子少保，谥襄惠，乡人俗呼“吴尚书”，其墓葬在光临里宝溪山。
吴文华，学识渊博，文武兼修，嗜好书法，遗墨草书《干字文》帖，笔走龙蛇，有怀素之遗风。传世之作有《读史随笔》10卷、《督抚奏议》6卷、《留都疏稿》2卷、《济美堂文集》4卷、《济美堂后集》等，酷爱寿山石，有石数百方，为寿山石收藏第一人。