祖逖的要求,代表了人民的願望,但無異於給司馬睿出了一個難題。司馬睿自移鎮建鄴,一心在拼湊江南小朝廷,他和擁戴他的門閥士族都無意北伐。從司馬睿來說,雖然國土淪喪,他仍不失為偏安之主;如果北伐成功,這皇帝的寶座還不知究竟屬誰呢?但面對祖逖大義凜然的請求,他又不願落下阻止北伐的惡名,於是,便消極對待此事。為了敷衍天下人耳目,司馬睿乃任命祖逖為奮威將軍、豫州刺史、前鋒都督出師北伐,只撥給他一千人的糧餉,三千匹布,不給鎧甲兵器,而不給一兵一卒,讓他自募士眾,自制刀槍。

祖逖眼見西晉一片混亂,決心要振興晉朝,為此禮遇甚至縱容那些暴桀勇武的門客,望日後北伐時他們能作出貢獻。同時又上書司馬睿,力請北伐。建興元年(313年),司馬睿以逖為奮威將軍、豫州刺史,但因司馬睿一心鞏固初建的江東*,無心北伐,於是只給予一千人的糧食和三千匹布作為北伐物資,更由其自募戰士,自造兵器。但祖逖仍帶著隨他南下的部曲百餘家北渡長江,“中流擊楫”宣誓:“祖逖不能清中原而復濟者,有如大江!”至淮陰後,一面冶鑄兵器。一面招募流散,得兩千多人後開展北伐。

司馬睿的冷漠態度並沒有動搖祖逖北伐中原的決心,他率領跟隨自己南下的流人隊伍百餘家,毅然從京口渡江北上。船到中流,祖逖眼望面前滾滾東去的江水,感慨萬千。想到山河破碎和百姓塗炭的情景,想到困難的處境和壯志難伸的憤懣,豪氣干雲,熱血湧動,於是敲著船楫朗聲發誓:“祖逖不能清中原而復濟者,有如大江”!意思是若不能平定中原,收復失地,決不重回江東!祖逖“辭色壯烈”,部屬為之慨嘆。

祖逖渡過長江後,暫駐淮陰,起爐冶鐵,鑄造兵器,同時又招募到二千多士兵。

晉建興四年(公元316年)農曆11月,晉愍帝被漢國俘虜,西晉滅亡。司馬睿被迫移檄四方,約期北征,祖逖欣然應命。

五、收復豫州

時北伐的形勢十分嚴峻。祖逖面臨的對手不僅是割據冀、豫一帶,擁兵十多萬的羯族首領石勒,河南地區還盤踞著為數眾多的漢族地主豪強武裝,即所謂“塢主”。這些塢主修築塢堡,自稱刺史、太守,稱霸一方,依違於晉、趙之間,情況非常複雜。他們可能成為北伐軍的盟友,也可能成為北伐軍的敵人。這種形勢決定祖逖北伐的道路是一條充滿了艱難險阻的道路。

公元317年,祖逖進駐蘆洲(今安徽亳縣),果然,北伐軍首先遭到流人塢主張平、樊雅的阻遏。張平、樊雅是兗、豫一帶的豪強,乘亂起兵,張自任豫州刺史,樊自任譙郡太守,各據一城,有眾數千人。張平部下還有董瞻、於武、謝浮等十多支小部隊,各有數百人。張、樊名義上臣屬於司馬睿,接受司馬睿給予的四品將軍頭銜,實際上不受約束,自行其是。祖逖派遣參軍殷乂(ài,yì)去聯絡張、樊,殷乂有些看不起張平,指著他的住房說這隻配作馬廄,又指張平的一口大鑊說這可以鑄鐵器。並說張平不能保住頭顱。張平大怒,殺死殷義,勒兵固守。張平“阻兵固守”,殷乂誠然不能辭其咎,但根本原因恐怕還是這位自封的豫州刺史不能容忍朝廷派來的豫州刺史。這類豪強,雖然他們原來也經常受到敵人的攻擊,但當他們的既得利益稍許受到危害,他們則寧肯站到敵人的立場攻擊自己的同盟者。祖逖率軍進攻,仍不能下。於是祖逖便用離間計,從張平部下分化出謝浮,謝浮借與張平商討軍情之機,殺死張平,率眾歸降。

張平雖死,樊雅仍佔據譙城,祖逖進據太丘(今永城),因軍中乏食,處境十分困難。樊雅派兵乘夜來襲,攻入營壘,拔戟大呼,直逼祖逖營帳,軍中大亂。祖逖臨危不亂,安排左右拒敵,督護董昭英勇殺敵,終於打退了樊雅的進攻。祖逖率部追討,張