也正在这个时候，鲁哀公派来的三位公族大夫，公子华、公子宾、公子林已然到达卫国。三人代表鲁国国君鲁哀公，向孔子表达了鲁国的热情，盼望着孔子早日回鲁国，为鲁国人民造福。
孔子早就无意留在卫国了，见鲁国国君派了三位公族大夫这样的豪华阵营来邀请自己回国，再加上冉求和端木赐早已派人前来接洽，认为是时候回鲁国了。
就这样，公元前484年，孔子告别卫国国君卫出公，返回鲁国。
卫出公当时那个失落啊，据说哭得眼泪花拉花拉的，执政上卿孔圉也无比失落。
直到孔子要离开卫国了，卫国的最高层大人物们，才真正反思起卫国对孔子的态度来。
是的，态度是好的，但却没能真正发挥孔子的作用，没能将这位治国理政一流的孔圣人，真正用于卫国的富国强兵上！
孔子这样的特大人才，终于在卫国人的浪费中流失了。仲由和高柴见老师回鲁国，也向卫出公和孔圉请辞，决定追随老师回鲁国。
这下孔圉真的急了，他甚至用哀求的口气，不断向孔子解释着卫国是如何如何急需仲由、高柴这样的人才，请孔老夫子看在这些年卫国对孔子相当礼遇的份上，让这两位孔门弟子继续留在卫国。
孔子叹了口气，对孔圉道：“古人云，禽鸟可择木而栖，而树木却不能择鸟。子路和子高何去何从，就由他们自行决定吧。”
说实在的，高柴和仲由在卫国担任大夫，确实也得到了卫国的重视，高柴担任了士师，仲由则作为孔氏家族家宰，还担任了卫国重镇蒲邑邑宰。
两人虽然很敬重孔子，有意继续追随孔子回鲁国，但毕竟对自己的岗位有了一定的感情。
确实，此时的卫国，真的需要他们。
最终，仲由和高柴决定留在卫国继续担任大夫。
两人流着泪，亲自将孔子一行人送出帝丘城门外，一直送出十里地，最后挥泪告别老师。
看着仲由和高柴返回的背影，孔子若有所失，喃喃叹道：“子路与子高，都选择留在卫国，子高我是放心的，但子路唉。”
颜回不解，问道：“夫子，因何有此感慨？”
孔子叹息道：“两人均率真无畏，但子高外愚而内细，能屈能伸，能忍一时之辱，故定能躲避祸害。而子路则天性好勇，平时总一意孤行，甚至不计后果，故危难之中而不知避祸。”
颜回听后黯然，再不多话，孔子一行人就往鲁国而来。