说大将军礼遇士大夫，爱护士卒，人们都愿为他效力。他骑马上下山，驰骋如飞，有这样过人的才能，又多次带兵打仗，熟悉军事，不容易对付。
另外，谒者曹梁出使长安回来，说大将军号令严明，作战勇敢，常常身先士卒；士兵都休息了，自己才休息；挖井得到水，才敢喝；罢兵回师，士兵都已过河，自己才过。皇太后赐给他的金钱，他都赏赐给部下．即使古代的名将也不会比他更强。”刘安：“蓼太子智谋过人，天下无双，非凡人可比，他认为汉朝廷的公卿列侯们都不过如同弥猴戴帽，徒有其表罢了。”伍被说：“只有先刺杀大将军，才能起事。”
刘安又问伍被说：“您认为吴国起兵不对吗？”伍被说：“是不对。吴王被赐号为刘氏祭酒，又被赐给几杖，可以不入朝参见天子，统治四个郡的百姓，土地方圆几千里，采山中矿石冶铜铸钱，煮海水而制盐，砍伐江陵的树木而造船，国家富裕，人丁兴旺，赠送珍宝而贿赂诸侯，与七国联合，统兵西进，结果却兵败于大梁，又败于狐父，落荒而逃。被越人俘获，死在丹徒，身首分家，命亡国灭，这是莫大的惩罚。以吴国的兵强人众而不能成功，这是为什么呢？实在是由于违背天意、民心而又不合时机。”
刘安说：“男子一言既出，虽死无悔。况且吴国怎么知道如何反叛？汉朝将领一天经过成皋的有四十多人。现在我派缓先扼守成皋口，周被发颖川郡的军队挡住辗辕、伊阙的通道，陈定发南阳郡的军队据守武关。河南郡太守只能控制洛阳，有什么值得忧虑的然而在此以北还有临晋关、河东郡、上党郡与河内郡、赵国交界处的几条溪谷可以通行。人们都说‘断绝成皋的通道，就会隔绝天下’。我要占据三川I的险要之处，招集天下的精兵，您认为怎么样？”伍被说：“我只看到这样做的灾祸，没有看见它的福分。”
后来，汉朝逮捕淮南王的孙子刘建，收监审讯，刘安害怕阴谋泄露，就对伍被说：“事已至此，我要趁机发兵。天下百姓劳苦已久，诸侯多有过失，都心中不安，我率兵西进，一定会有响应我的；如果没有响应的，我就回头攻取衡山国．形势所迫，我不得不起兵。”
伍被说：“攻取衡山国而进击庐江郡，占有寻阳县的船只，坚守下雉城，驻兵于九江岸边，断绝豫章的入口，沿江设置强劲的弓弩，以防南郡出兵，束面保住会稽部，南面与强劲的越国结交，在江、淮之间凭险抵抗，能够坚持一年半载，却看不到有什么好结果。”刘安说：“左吴、趟贤、朱骄如都认为十有八九会成功，惟独您认