流域进发，而是折向西南，进入焉耆，再溯塔里木河西行，过库车、疏勒等地，翻越葱岭，直达大宛。
这是一次极为艰苦的行军，大戈壁滩上，飞沙走石，热浪滚滚，葱岭高如屋脊，冰雪皑皑，寒风刺骨。沿途人烟稀少，水源奇缺，加之匆匆出逃，物资准备又不足。张骞一行，风餐露宿，备尝艰辛，干粮吃尽了，就靠善射的堂邑父射杀禽兽聊以充饥，不少随从或因饥渴倒毙途中，或葬身黄沙、冰窟，献出了生命。
张骞到大宛后，向大宛国王说明了自己出使月氏的使命和沿途种种遭遇，希望大宛能派人相送，并表示今后如能返回汉朝，一定奏明汉皇，送他很多财物，重重酬谢。大宛王本来早就风闻东方汉朝的富庶，很想与汉朝通使往来，但苦于匈奴的中梗阻碍，未能实现。汉使的意外到来，使他非常高兴，张骞的一席话，更使他动心，于是满口答应了张骞的要求，热情款待后，派了向导和译员，将张骞等人送到康居，康居王又遣人将他们送至大月氏。
不料，这时大月氏人，由于新的国土十分肥沃，物产丰富，并且距匈奴和乌孙很远，外敌寇扰的危险已大大减少，改变了态度。当张骞向他们提出建议时，他们已无意向匈奴复仇了，加之他们又以为汉朝离月氏太远，如果联合攻击匈奴，遇到危险恐难以相助。张骞等人在月氏逗留了一年多，但始终未能说服月氏人与汉朝联盟夹击匈奴。在此期间，张骞曾越过妫水南下，抵达大夏的蓝氏城，后动身返国。
归途中，张骞为避开匈奴势力，改变了行军路线，计划走塔里木盆地南部，昆仑山北麓的“南道”，从莎车，经于阗、鄯善，通过青海羌人地区后归汉。但出乎意料，羌人也已沦为匈奴的附庸，张骞等人再次被匈奴骑兵所俘，又扣留了一年多。
匈奴为争夺王位发生内乱，张骞趁机和堂邑父逃回长安，归汉共历十三年，出发时是一百多人，回来时仅剩下张骞和堂邑父二人。
张骞这次远征，未能达到同大月氏建立联盟，以夹攻匈奴的目的，但产生的实际影响和所起的历史作用是巨大的成功。
张骞第一次出使西域，不仅是一次极为艰险的外交旅行，同时也是一次卓有成效的科学考察。张骞对广阔的西域进行了实地的调查研究工作，不仅亲自访问了西域各国和中亚的大宛、康居、大月氏和大夏诸国，而且从这些地方又初步了解到乌孙、奄蔡、安息、条支、身毒等国的许多情况。回长安后，张骞将其见闻，向汉武帝作了详细报告，对葱岭东西、中亚、西亚，以至安息、印度诸国