平餘部幫助樊雅迎擊祖逖。為了儘快攻下譙城,祖逖向蓬塢堡主陳川、南中郎將王含求援。陳川派李頭、王含派桓宣來援,王含也命參軍桓宣領兵五百助戰。祖逖一面發兵進攻,一面派對桓宣說:“卿先已說平、雅,信義大著於彼。今復為我說雅。雅若降者,方相擢用,不但免死而已”。桓宣遂入譙城勸降。見到樊雅,桓宣說:“祖逖方欲平蕩二寇,每何卿為援。前殷乂輕薄,非豫州意。今若和解,則忠勳可立,富貴可保。若猶固執,東府赫然更遣猛將,以卿烏合之眾,憑阻窮城,強賊伺其北,國家攻其南,萬無一全也。願善量之”。樊雅這才出城歸降。經過一年多的苦戰,祖逖終於攻佔譙城,在豫州站住了腳跟,並打通了北伐的通道。

正當祖逖以譙城為根據地,且戰且耕,逐步擴大戰果時,發生了蓬陂塢主陳川叛歸石勒的事件。陳川本是號稱“乞活”的流民集團的首領,自稱寧朔將軍、陳留太守。這支流民武裝長期割據浚儀蓬陂,曾經投降石勒,又受晉官號。陳川部將李頭攻打譙城立功,祖逖遇之甚厚,正好祖逖獲得樊雅一匹好馬,李頭很想要又不敢說,祖逖知道他的心思後,便把馬給了他。以後李頭經常感激地說:“若得此人為主,吾死無恨”。陳川聞後大怒,遂殺李頭。李頭的親信馮寵鼓動所屬四百多人投奔祖逖,陳川更加怒不可遏,大掠豫州諸郡以為報復。祖逖則針鋒相對,命衛策在谷水伏擊,盡獲其所掠之車馬子女,祖逖下令,將車馬子女全部歸回原主,軍隊一點也不截留。陳川大為驚恐,於東晉大興二年(公元319年)農曆4月以浚儀(今河南開封)投降石勒。

當時石勒建基於襄國(今河北邢臺),活動於黃河流域,因實力所限而推行北攻南守方針。南面所要對付的主要是祖逖所率領的北伐隊伍。而要阻止祖逖北進,首要的也在於爭奪各地的塢堡組織。

祖逖得知陳川叛晉後,遂於五月進攻蓬關(蓬陂,今河南開封)。石勒派養子石虎率領五萬大軍救授陳川,與祖逖軍戰於浚儀。祖逖戰敗,退守淮南(今安徽壽縣)'1'。石虎在豫州進行了一番洗劫之後,也帶著陳川回師襄國,只留下將領桃豹戍守蓬陂塢。農曆10月,祖逖派督護陳超攻打桃豹沒有成功。農曆11月,石勒自立為趙王(史稱後趙)。

東晉大興二年(公元319年)農曆6月,石虎派桃豹據浚儀,屯兵西臺,從南門出入,祖逖則派韓潛據東臺,由東門出入,兩軍相持四十日。祖逖決定設計智取。當時,雙方糧草供應都很緊張,祖逖命令把沙土裝在糧袋裡,假裝成米,讓一千多人像運送軍糧一樣,忙忙碌碌運上東臺。又故意讓幾個人真的挑著大米,走在後面,佯裝疲憊在路上休息,等敵軍來搶米。桃豹的軍隊缺糧已久,見晉軍運糧,以為有機可乘,突然衝過來搶糧,那幾個人扔下糧袋倉皇逃跑。桃豹軍士搶得糧米後,以為祖逖士兵都能吃飽,而自己長久飢餓,於是更加恐懼,士氣低落。這時,石勒部將劉夜堂用一千頭驢運糧食給桃豹,祖逖偵知訊息,派部將韓潛、馮鐵等部在汴水截擊,盡獲其糧食和腳力。桃豹聞訊,連夜退兵東燕城(今河南延津)。祖逖乘勝進軍,派韓潛進屯封丘(今河南封丘),威逼桃豹,馮鐵部進據二臺,自己統兵鎮守雍丘(今河南杞縣)。並屢次派兵截擊後趙軍,後趙很多城鎮紛紛叛趙歸晉。

農曆7月,石勒不甘心失敗,派遣一萬多精銳騎兵反撲,但又被嚴陣以待的北伐軍所敗。又經過一年多的反覆爭奪,祖逖取得北伐戰爭以來最重大的勝利。

祖逖在北伐中不僅善於分化瓦解敵軍,而且善於團結可以團結的豪強武裝集團和塢壁主,這是他能夠以弱小兵力多次打敗敵軍的重要原因。偵察兵常俘獲濮陽人,祖逖總是優待他