立为赵王，迁居信都。秦朝大将章邯率军进攻河北，邯郸陷落，张耳知道自己兵力不足，信都难守，就带着赵歇往东逃走，被秦兵围困在巨鹿城。巨鹿城中兵少食尽，秦军又昼夜攻打。在情况十分危急的紧关头，张耳想起与他“刎颈之交”的好友陈馀正拥兵数万驻扎巨鹿城北，便派张黡、陈泽去向陈馀求援。而陈馀则自知兵少，难以敌秦，便推脱说要是去同秦军作战，“如以肉委虎，徒尽亡军”。最后勉强抽出五千援兵，令张黡、陈泽统领回救巨鹿，结果全军覆没。
此时，项羽率援赵义军北渡漳河，连连破敌，遂解钜鹿之围。战后，张耳约见陈馀，责其不肯救赵之过，又疑张黡、陈泽二将被其所害，陈馀怒解印绶推给张耳，张耳惊楞不知所措，未即接受。陈馀起身入厕，幕僚对张耳道：“此乃天赐于你，若不取，反受其害。”张耳遂佩其印绶，取其兵权，张耳收陈馀兵权后，陈馀常独与军中最要好的数百人渔猎于河上泽中，张耳与陈馀失和而成仇。
刘邦灭秦，率先进入关中，此时项羽军破函谷关，进屯新丰、鸿门。刘邦至鸿门与项羽相会，险遭杀害，项羽佯尊楚怀王为义帝，迁都江南郴地。项羽自立为西楚霸王，封刘邦为汉王，同时封王共18个，因张耳亦同各路诸侯入关，项羽素闻张耳之才名，念其扶赵抗秦之功，乃分赵地北部，立张耳为常山王，定都信都，更名襄国，此为常山王之始。张耳立国，陈馀甚怒，对人道：“张耳和我陈馀功劳相等，如今张耳为王，我却为侯，项羽对我不公。”
当时，齐王田荣叛楚，陈馀乃派其门客夏说对田荣道：“项羽执掌天下不平，请借给我兵，南皮可掩蔽你。”田荣欲树党以反楚，乃借给陈馀，陈馀又加三县之兵袭击常山王张耳。常山被攻破，张耳败走，想到各诸侯之中没有可以投奔的，说：“汉王虽然和我有老交情，可是项羽的势力强大，又是他分封的我，我想投奔楚国。”一个叫甘公的人开导他说：“汉王入关，五星会聚于井宿天区。井宿天区是秦国的分星。先到的，一定功成霸业。即使现在楚国强大，今后一定归属于汉。”所以，张耳决定奔汉。适逢刘邦发动还定三秦之战，正在废丘围攻章邯的军队，张耳谒见刘邦，刘邦以优厚的礼遇接待了他。
刘邦向东进击楚国，派使者通知赵国，要和赵国共同伐楚，陈馀说：“只要汉王杀掉张耳，赵国就从命。”于是，刘邦找到一个和张耳长得相像的人斩首，派人拿着人头送给陈馀，陈馀才发兵助汉。刘邦在彭城以西打了败仗，陈馀又觉察到张耳没死，就背叛了刘邦。张耳与