，吕后大为恼火，召集众位将领来商议这件事。樊哙说：“我愿带领十万人马，横扫匈奴。”各位将领都迎合吕后的心意，齐声说：“好。”季布说：“樊哙这个人真该斩首啊！当年，高皇帝（刘邦）率领四十万大军尚且被围困在平城，如今樊哙怎么能用十万人马就能横扫匈奴呢？这是当面撒谎！再说秦王朝正因为对匈奴用兵，才引起陈胜等人起义造反。直到现在创伤还没有治好，而樊哙又当面阿谀逢迎，想要使天下动荡不安。”在这个时候，殿上的将领都感到惊恐，吕后因此退朝，终于不再议论攻打匈奴的事了。
季布做了河东郡守，汉文帝的时候，有人说他很有才能，汉文帝便召见他，打算任命他做御史大夫，又有人说他很勇敢，但好发酒疯，难以接近。季布来到京城长安，在客馆居留了一个月，汉文帝召见之后就让他回原郡。季布因此对汉文帝说：“我没有什么功劳却受到了您的恩宠，在河东郡任职。现在陛下无缘无故地召见我，这一定是有人妄誉我来欺骗陛下；现在我来到了京城，没有接受任何事情，就此作罢，遣回原郡，这一定是有人在您面前毁谤我。陛下因为一个人赞誉我就召见，又因为一个人的毁谤而要我回去，我担心天下有见识的人听了这件事，就窥探出您为人处事的深浅了。”汉文帝默然不作声，觉得很难为情，过了很久才说道：“河东对我来说是一个最重要的郡，好比是我的大腿和臂膀，所以我特地召见你啊！”于是，季布就辞别了汉文帝，回到了河东郡守的原任。