，华给事中的揭发书早已送到皇帝面前。皇帝一看，勃然大怒，马上命令程敏政停止阅卷，又令锦衣卫把唐寅、徐经等人抓起来。在锦衣卫狱中，唐寅尊严扫地，皮肉受苦，一下子从得意的高峰跌入失意的的深渊，回思来京时的踌躇满志，真有恍如隔世之感。当道者怜悯唐寅，让他到浙江去做一个小吏，算是“给出路”，有人劝唐寅还是去就职为好，以后也算有个出身，唐寅表示“士可杀，不能再辱”，断然予以拒绝。
唐寅出狱回到苏州，家乡也没有安慰与温暖在等待着他，正如在生活中曾经千百次地发生过的那样，曾几何时那些捧场捧得最凶的人，现在骂他也骂得最厉害。更使唐寅感到难堪的，是家人的态度，唐寅曾经是一个全家都寄予厚望的人，也曾经是一个使全家都感到自豪的人，但是现在，却永无出头之日，从而使家人也永无出头之日。以唐寅的敏感和悲伤，碰上家人的势利与不恭，家庭生活难免不发生危机。最后，唐寅赶走了继室，又和兄弟异炊，成了一个孤家寡人，本来已经衰落的家境也因此而更形不堪，连生计都发生了困难。
然而，纵观唐伯虎的后半生，他的物质生活也偶有宽松之时，在苏州城西北建造了桃花庵别业，后半生基本上在桃坞别业中度过。好友祝允明、黄云、沈周等人经常来饮酒作诗，他购地建桃坞的经费，也主要来自于个人的卖画。由此可见，唐寅的诗画谋生之路至少给他提供了一个基本的生存环境。尤其是当他生意好的时候，求画者渐多致使忙不过来，便请老师周臣代笔。因此，后人在辨别唐寅画作的真伪时就说：“及六如以画名世，或懒于酬应，每请东村代为之。今伯虎流传之画，每多用笔，在具眼者辨之。”可见唐寅的名声，于是一些贪图私利的人，不惜作伪以牟取暴利。
以卖画为生使唐寅取得了经济上的自给，由此决定了他人格上的独立，对他后半生的诗画文艺创作亦产生了深刻的作用，甚至直接影响到其艺术观和创作风格。史载唐寅初拜师于沈周，在京城科场舞弊案发生之后学于周臣门下，其画风渐渐脱去沈周的特征，如他的《骑驴归思图》画法几乎与周臣一致。
武宗朱厚照的叔叔朱宸濠，谋划造反，到处招贤纳士，以厚禄请唐寅出山，唐寅开始并不知道个中端倪，但去了之后，逐渐发现宁王图谋不轨，便开始想办法离开。《明史》中记载，唐寅“察其有异志，佯狂使酒，露其丑秽。宸濠不能堪，放还。”他为了离开宁王，整天醉酒装狂，还曾脱了衣服裸奔，宁王实在受不了，便轰他走了，后来，宁王事情败露被诛