在八路军主力开赴抗日前线后，由于党中央仍留在陕北，所以需要留下少数部队保卫党中央和巩固发展陕甘宁根据地。
后来军委决定，将八路军第115师炮兵营、辐重营，第120师第359旅第718团、特务营、工兵营、炮兵营、辅重营，第129师第358旅旅部和第770团、特务营、工兵营、炮兵营、辐重营，一共9000余人留守陕甘宁边区为统一指挥，成立八路军后方总留守处，萧为任主任。
后续，留守部队进行整编，除第358旅旅部和第770团外，共改编成8个团一个营，分别为：
第120师辅重营、炮兵营改编为警备第1团。
第129师特务营，炮兵营分别改编为警备第2、第3团。
第115师辐重营、炮兵营改编为警备第4团。
第120师特务营、工兵营分别改编为警备第5、第6团。
第129师工兵营改编为警备第7团。
第718团改编为警备第8团。
第129师辅重营改编为廊（现富县）甘（泉）独立营。
1937年12月，中央军委将留守处改称留守兵团，下辖陕甘宁边区保安司令部及所辖关中、庆环、三边、神府军分区统归留守兵团指挥。
1939年7月，军委炮兵团拨归留守兵团建制，后改编为特务团。
8月，成立关中警备司令部，10月，第359旅率第717、第718团（平山独立团改称）由晋察冀边区返回陕甘宁边区，接替绥德警备区防务。
以绥德警备司令部为基础成立警备第1旅，下辖警备第3、第8团，驻防关中地区。
4月，第359旅第719团、雁北支队、第4支队先后由晋西北到达陕甘宁边区。
至1941年底，留守兵团所属部队共计3个旅、20个团及若干独立营，总兵力达3。1万余人。
现如今整个留守兵团的兵力大致隶属于五个军分区延属、绥德、三边、陇东、关中。
而在1937年11月，日军结束了在华北地区的大规模用兵后，调遣部队兵临黄河要津风陵渡等地，企图西渡黄河占领陕甘宁边区，进攻大西北。
面对黄河防线的紧张局面，八路军留守兵团根据上级指示，将黄河河防划为三个地段，成立了两延（延川、延长）、五县（绥德、葭县、米脂、清涧、吴堡）、神（木）府（谷）河防司令部”，并根据形势发展，及时对河防兵