，聂豹看破红尘，毅然上疏称年老有病，请求退休南归故里永丰。
在华亭县任知县时，有个富民叫徐震的，听到大家传聂豹如何如何清廉，便与人合谋设下奸计，想探虚实。徐震暗地里将金砖神不知鬼不觉地藏到聂豹家里的酱油壶中，徐震自鸣得意，以为聂豹会私吞，谁知聂豹夫妇发现金砖后，并没有因为没有对证而私贪。在广征线索后，查清缘由，愤然将徐震查处，徐震虽遭惩处，却打心里佩服至极。此事很快被传开，华亭县的豪猾都很快收敛，不敢乱作非为，县内民风得以好转，达到了大治。
在平阳任知府时，佥事许勉仁到任副职，许勉仁曾是聂豹的旧僚，又拜师在聂豹门下。因为平阳平息蒙古俺答达虏功成后，皇上只表彰褒赏了聂豹，许勉仁没有得到犒赏，认为是聂豹在其中作梗，愤愤不平，借机诽谤聂豹在平阳有贪污行为。皇上听后大怒，着山西抚按官从公查勘。山西抚按官到达时，聂豹没有接待，抚按官恼怒，决心要扳倒聂豹。他派了很多懂财务的官员彻查平阳的支出开销册籍。那些官员细心查账，查来查去无丝发渗漏，但是他们并不就此停手，继续不停地查，往反三四年，终查不出任何问题，只好罢手。
聂豹对达官显贵敢于抨击，为此得罪了朝庭不少人，那些达官显贵联合起来诬陷诽谤聂豹，但是苦于拿不出证据，只好又翻出了原来查来查去，查不出任何问题的平阳贪污案。当时的首辅夏言偏听谤言，不问青红皂白就将聂豹逮入锦衣狱，聂豹被逮时，家中全部资财只有五十金，连押往京师的伙食费都不够。友人刘文敏直摇头，感叹：当了这么久的官，太穷了！当时聂豹的朋友陈西川不忍心，自己虽然不富裕，还是拿出百金帮助聂豹解决前往北京路上的伙食费。
在锦衣狱中，聂豹虽遭受了严刑拷打，却坚信有水落石出之时，夏言看到严刑拷打无果，便派人专往平阳核查，但是总是查不到什么问题。这时，平阳籍户部尚书张润得知聂豹在平阳所作所为后，声称愿以自己全家百余口性命，担保聂豹在平阳时无贪污受贿。聂豹在狱中被折腾两年后，巡按御史黄洪毗亲自到山西调查，经多方查验，聂豹的平阳贪污受贿一事无任何实据，冤案终于大白，谤议之声才消，但是还是被落职回家乡永丰。聂豹落职回乡后，虽为官多年，家中没有一点积蓄，穷困潦倒，生活十分艰难，为了生计，只好经常步行往返于吉安的青原山、白鹭洲书院等一些书院教学，以图糊口。
赴任华亭县知县，为了整肃吏治，他从自身做起，严格要求自己，省身修身，以