诸大绶命仆人取那轴归有光的文章来，张灯快读，相对叹赏，至于达旦。
然而，归有光的命运却是困蹇不堪，三年一次的会试，次次远涉千里而去，一连八次都是落第而归。其间四十三岁时，失去了最心爱的长子，时隔一年，又失去了任劳任怨、与己分忧的妻子王氏。仕途的蹭蹬，把这位名扬海内的古文家，长期抛弃在荒江僻壤之上，加之失子丧妻的哀痛，使他的生活更加艰难。不过，坎坷的生活，倒也磨炼了归有光深沉坚毅、不屈服于权势与恶运的性格。
倭寇作乱，归有光入城筹备守御事宜，并写下《备倭事略》《论御倭书》《上总制书》等，分析敌情，条陈方略，向当局献计献策。后来，他还写下《昆山县倭寇始末书》《海上纪事十四首》等，流露了同仇敌忾的爱国情感。
明代科场上舞弊之风甚盛，虽不重唐代的行卷之习，但是有宗师和大官僚的提携是仕进的重要捷径。归有光久困场屋，对这一科举内幕应是十分明了的。可是，他却绝不从旁门邪道跻身仕途，乡试中举时的宗师张治对归有光十分欣赏，他为归有光后来三番五次不能中举深感惋惜，几次“欲以旧谊招致之”，然归有光“卒守正不一往”。
归有光屡不中式时，穆宗尚未登位，穆宗身边的一位宠幸的宦官慕归有光之名，让侄子拜归有光为师，并几次让归有光进京私谒自己，都被归有光断然拒绝。穆宗登位后，这位宦官权势更大，归有光仍然绝不与之往来，归有光耿介正直、不事权贵的品格，表现在他整个人生的各个方面。在古文领域里，他始终坚持己见，不为群言所惑，敢于与当时统治文坛的“巨子”相抗争。
明代自开国之初的刘基、宋濂等留下一些好文章后，文坛上就开始弥漫起一股浮饰摹古的风气，从永乐到成化的几十年间，久居馆阁的“三杨”统领文坛，提倡昌明博大的文体，作文雍容华贵、平庸空泛，号称“台阁体”。于是，有以李梦阳、何景明为首的“前七子”起来反对“台阁体”，他们主张“文必秦汉，诗必盛唐”，句摹字拟，以佶屈聱牙为高古，李、何等七子致力于诗作，散文并非其所长，但是他们的声势之盛，曾左右一世。到了嘉靖年间，李攀龙、王世贞等“后七子”又继“前七子”而起，推波助澜，变本加厉，摹古之风愈演愈烈。归有光就是在这种散发着霉臭的摹古风气中异军突起的勇士，是一位敢于反抗潮流的文学家。
王世贞和归有光是同乡人，比归有光稍晚，但王世贞从二十二岁进士及第后，官运亨通，步步高升，官至南京刑部尚书