过许多的山岭，其辛苦与艰难是可想而知的，纨纨在路上作了两首诗，中有“陌上莺花带泪看”、“不知何日是归日”的慨叹。行到半途，纨纨同丈夫与众人分开，没有再往前走，沿路返回回到夫家，多少让纨纨少受一点旅途劳苦。回家过了二、三年，袁若思在任上病逝，棺木运回，全家哀痛，自此以后，袁家的家道渐渐衰落。婆婆把家产作了析分，把纨纨夫妻所应得的一份交给纨纨管理，纨纨也能把家中事务安排得井井有条，颇有章法。
出嫁以后，纨纨的婚姻生活过得很不幸，父母包办的婚姻使双方婚前缺少了解，婚后双方在性格等方面有较大差异，缺少共同生活的基础，因而，纨纨与丈夫虽有夫妻的名份，而无夫妻之实，这对双方无疑都是极大的痛苦，纨纨的这种痛苦无处诉说，连父母与妹妹都无法说，只能埋在心里。在料理家务后闲下来的时间，礼佛读《楞严》等佛经，读罢，已是“残日下窗笼”，希望“白云不复去，相与共留连”，一起打发闲、愁的日子。郁结在心头挥之不去的痛苦，酿成一腔愁绪，稍稍消释愁怀的只有练字与作诗。纨纨本就工书法，尤精小楷，书法造诣超过几个妹妹，时人评为有“晋人风致”，为解愁怀，纨纨每天要写数幅唐人诗词，使书法造诣更有提高。
平时消愁的最主要方式则是作诗，在想象的世界里，用幻想来摆脱尘世的愁、苦与束缚。写字和作诗于现实生活无所补，纨纨又生出“绝俗逃虚”之念，即出家做尼姑，这种意思用开玩笑的方式讲出来时，受到父母和妹妹们的批评，无法实现出家的意念，就得忍受生活中的种种愁，纨纨在《梦中思隐作》中写道“有恨随流水，无缘去入山。登楼空极目，惟羡白云间”。只能在梦中体会入山后带来的清静。释放愁绪若能有倾诉的对象，最易化解。纨纨虽不说，也不能说，但有时在妹妹小鸾面前还是会流露出来。尤其是赴广东中途归来后，纨纨去娘家的次数逐渐增多，住的时间也在拉长，为的就是这一份温馨的情。
纨纨与小鸾相差六岁，她们共同生活的时间不长，但不长的一段时间，姐妹之间的情谊非常深厚。小鸾的闺房名疏香阁，小鸾有《晓起》的诗作题在阁上，请纨纨为疏香阁写诗，纨纨随即作《题琼章妹疏香阁》一诗，诗中有“中有倾城姿，春风共回翔”。“佳人真绝代，迟日照新妆”之句，极赞妹妹的美丽。在娘家共同生活的几年中，她们姐妹之间时有唱和之作，还以同一主题赛诗，午梦堂中，花卉繁列，菊花、海棠、茉莉诸花，都是她们吟咏的对象，冰清玉洁的梅花，更受怜爱，纨纨作梅