韓信當堂一番論證，把敵我雙方的優勢劣勢講得清清楚楚，明明白白，自劉邦以下，無不佩服。劉邦尤其高興，直埋怨得到韓信太晚了，對于自己先前忽略韓信的事情算是絕口不提了。至此，劉邦自己居中調度；以蕭何為後勤，主要負責到巴蜀之地收租收糧，保證軍隊供給；以韓信打前鋒，負責沖鋒陷陣。漢軍上下摩拳擦掌，準備兵進關中。
劉邦在漢中積極為重返中原做準備，因為道路閉塞，包括項羽在內的其他諸侯並不知情。此時的華夏大地一片寧靜，人們仿佛又迎來了亂世之後的和平。
然而，不平靜的事情並不等于沒有發生。由于項羽是個愛憎分明的人，這直接導致了他無法成為一個合格的政治家。在處理齊國的態度和方式方法上，項羽的這種個人主觀感情色彩尤為明顯，以至于制造出了不可化解的矛盾。
漢王元年（公元前206年）五月，田都拿雞毛當令箭，得到項羽任命後來到齊國上任。對此，田榮當然不能容忍。田榮不僅堅決拒絕接受項羽自作主張遷齊王去即墨的命令，而且立即率軍向田都發起攻擊，同時也秘密聯絡其他收到苛待的諸侯倒項。沒有根基的田都面對憤怒的田榮，果斷做出選擇——逃回楚國。
這時候齊王田巿，也就是田儋的兒子、田榮的親佷子，因為對項羽的畏懼，對叔叔的反抗行動非常不贊同，竟然主動溜到膠東，要按項羽的安排改做膠東王。不成器的佷子做出的這種背叛家族的行為使田榮凶性大發。田榮帶人日夜兼程，終于在即墨追上田巿，並將田巿親手斬殺，自立為齊王。此時，濟北王田安也已經到博陽即位。對于仇人田假的佷子，田榮當然不會放過，立即發起攻擊，將田安殺死在戰場上。至此，田榮佔據了原屬齊國的全部土地。
田榮打響了反對項羽的第一槍，自然知道必定會遭到項羽的報復，也自然知道僅憑一己之力絕不是楚霸王的對手。單絲不成線，孤木不成林，田榮開始廣建黨羽。
在攻打濟北王田安的時候，田榮偶然遇到了彭越。自從與劉邦分手之後，彭越手下逐漸積累了一萬多人，在巨野（今山東巨野縣）深山老林里游蕩，沒有投靠任何諸侯，也沒有參與各路諸侯進攻咸陽的行動。結果，彭越被諸侯們遺忘了，成了天不收地不管的孤魂野鬼。
別人不要的人，但田榮卻看中了。田榮發現沒有政治傾向的彭越如獲至寶，立即派人賜給印綬，拜彭越為將軍，請他作為自己的戰友去攻克濟陰（在今山西榮河縣境），協同自己攻打田安。
彭越現在正處于尷尬境地。秦國已經滅亡，天下成了諸侯的天下。雖然躲得了一時，但一萬余眾的彭越軍終究會曝光。沒有哪個諸侯會容忍在自己的封地內存在這樣一支不屬于自己的軍隊，彭越的屬下們也不會願意長期過這種居無定所的生活。因此，為了生存，彭越急需一個合法身份。雖然田榮有意拿彭越當槍使，但彭越別無選擇，只好接受田榮的任命，協助田榮消滅了田安。
田榮率先對項羽發難，驚起了另一位英雄——陳餘。
巨鹿之戰後，陳餘一怒之下棄印歸隱，在南皮帶著好朋友們漁獵，張耳則跟著項羽一直到了咸陽。大分封之時項羽本來不打算封賞陳餘，還是在項羽手下混飯吃的陳餘昔日門客夠意思，跟項羽討封︰「張耳跟了您之後也沒做過什麼，不比陳餘功勞大多少。現在您封張耳為王，卻不封名氣不遜于張耳的陳餘，這有點說不過去。」項羽琢磨了一下，覺得手下說得有道理，就把南皮等三縣封給了陳餘。
按理說，天下那麼多英雄沒得到封賞，陳餘坐在南皮就得到了三個縣，也算不錯。彭越也是一無所有，不過陳餘還是不滿。因為他舉目一瞧，昔日的好哥哥張耳就因為跟隨了項羽，如今已經成了趙國的王，連趙王歇都被張耳擠走。想想，上天真是待他不夠親厚。如果是別人封了王，陳餘還不惱，但是張耳奪了陳餘的兵權，是陳餘恨之入骨的仇人。正是因為被張耳奪了兵權，陳餘靠著門客說情才得到三個小縣，張耳卻是數郡之主。這讓陳餘如何能不憤怒呢？
原本張耳勢大，陳餘則是不堪一擊，只能窩囊著。偏巧，田榮反了。陳餘當然不能放過這個可以利用的機會。他立即派了能說會道的張同、夏說秘密前往齊國，游說田榮。兩人見到田榮後，巧舌如簧，說道︰「大王，項羽為天下之主，做事太不公道。他把自己的屬下封到了好地方，卻把原來的諸侯都封到了條件差的地方。趙王原本是我們的王，項羽卻把他遷到了代國。趙王的臣子張耳因為被項羽看重，居然坐了趙王的位子。這也太欺負人了。我家主公陳餘對此非常憤怒，特派我們向大王您請求援兵。如果大王能夠幫助我們，我們願意以南皮作為齊國的屏障，不讓任何人從我們這侵犯您。不知大王您能否應允我們這個小小的請求呢？」
田榮正愁戰友不多，焉有不肯答應的道理？當即撥給陳餘一支隊伍。陳餘得到增援，又把自己封地內的士兵全部帶上，對張耳發動了突然襲擊。
張耳一沒有料到陳餘如此恨他，二沒有料到陳餘能籌集到攻打他的人馬，三沒有來得及整頓趙國的防務，結果被陳餘打了個措手不及，一敗涂地。
陳餘迎趙王歇復為趙王，趙王歇也上道，大方地把項羽封給自己的代國轉封給了陳餘。這一下，主客異位，流落江湖的陳餘重新崛起，成為代王，而剛剛還是趙王的張耳卻要亡命天涯了。
去哪里安身立命？張耳左思右想，與隨同自己逃亡的屬下商議說︰「現在，我一無所有了，必須尋求一個靠山。天下諸侯，要麼不值得投靠，要麼不會重用我，要麼不會收留我。只有霸王和漢王，是可以投奔的。漢王跟我有故交，當年他還是布衣之身的時候曾經跟隨我；霸王則是實力雄厚，對我有封賞之恩。他們兩個人之中，我傾向于投奔霸王。大家沒有異議的話，我們就奔彭城去吧。」
張耳手下有個姓甘的老頭，姓甘名德，字逢。對于張耳的打算他表示不同意︰「主公，您可不應該去投奔霸王啊！我平時喜歡觀天象。近來，我發現五星逐漸匯聚于東井，這是印證漢王入關中的事。東井應在秦國，五星匯聚于東井，正表示秦國理當滅亡，先到咸陽的人必然會成為霸主。所以依我看，別看現在霸王勢力強大，未來的天下還得是漢王的。因此，您理應投奔漢王。」
五星匯聚于東井，這是古代對一種天象的稱呼。五星指的是金、木、水、火、土，古人稱之為太白、歲星、辰星、熒惑、鎮星。東井又是什麼呢？指的是井宿。井宿是南方「朱雀」七宿之首，在西方的十二星座里屬于雙子座。井宿共有八顆星，其中最亮的叫做井宿三。這顆星明亮，代表國富民安，天下太平，如顏色變化則代表動蕩不安。
東井代表秦國，也就是關中的秦地。劉邦入關中，五星聚于東井，這就表示劉邦是上應天命滅秦的人，是上天指定的華夏之主。《史記‧天官書》記載了這件事︰「漢之興，五星聚于東井。」
甘德說「漢王之入關，五星聚東井」，東漢班固則在《漢書》中明確地寫道︰「漢元年十月，五星聚于東井，以歷推之，從歲星也。此高皇帝受命之符也。」事實上，班固的記載是斷章取義，嚴重錯誤。
根據天文學測算，這一次被稱為劉邦上應天命的「五星聚于東井」，歷史上發生在公元前205年5月18日，也就是漢王二年七月二十一日。這時候劉邦在哪？已經進入漢中，在南鄭。發生于「漢元年十月」的說法，提前了九個月，在漢高祖元年十月的時候，只有木星和土兩星是在井宿區域，其他三顆行星離井宿還很遠。其實甘德所說的「漢王之入關，五星聚東井」，應當解釋為「漢王的入關，與‘五星聚東井’一事對應」。後人偏要給劉邦上應天命找解釋，硬是將「五星聚東井」的天象提前了近一年。
古人尤其篤信天象。听了甘德的一番星象解說，張耳當即決定︰投劉邦去！
這個決定可以說是張耳人生中做出來的最重要的決定之一了。