這時的尹東家可謂是兵敗地失，內外交困，上下離心。
尹東義佑如今更是連最為基本的守城之心也喪失了，眼見島津軍兵鋒直指都于郡城，他卻不分晝夜的舉辦宴會來獨自享樂，完全不顧大敵當前的處境。
當島津軍真的兵臨城下後，尹東義佑想都沒想就選擇了棄城，直接帶著少數親信家臣與家卷一同逃到了左土原城之中，並在此地與從飫肥城逃回的尹東佑兵所率殘部會合。
然而，島津義久並不打算給尹東義佑絲毫喘息之機，在奪取都于郡城後，他就派遣其弟島津義弘、島津家久等人率七百余軍勢作為先陣，直撲尹東義佑所在的左土原城。
听聞島津軍先陣七百余軍勢即將兵臨城下後，尹東義佑仍然沒有與之一戰的勇氣，沒有做好任何籠城固守的準備，就再度棄城而逃。
尹東家經營十一代的本據都于郡城以及尹東義佑耗費大量人力、物力、財力所修築起來的左土原城就這樣在幾乎沒有什麼像樣的抵抗下，在一天之內先後落入島津軍之手。
就在尹東義佑帶著少數親信家臣、家卷正狼狽逃竄之際，尹東家之中也是有忠義之人存在的。
以尹東佑審、尹東佑青、飯田肥前守等人為主的少數尹東家重臣依然在抵抗島津家的侵攻。然而，在島津軍以及上杉將軍家援軍（長宗我部勢、西園寺勢）那凌厲的攻勢面前，無異于螳臂當車一般的尹東佑審、尹東佑青、飯田肥前守等人最終還是因麾下兵力寡少而不敵兵敗。
尹東佑青先是在越野尾率一百余軍勢意圖突襲島津軍小荷馱隊之時，遭遇了福永右友、土持親成、上原尚近等島津軍諸將所組成的偏師，結果寡不敵眾，當場被討取。而尹東佑審、飯田肥前守等人在陷入孤立無援的境地後被迫切月復自盡，也不願向島津家投降。
至此，于建武二年（1335）尹東佑持下向日向一國始，在日向國中延續有二百三十六個年頭，曾經雄踞日向一國的戰國大名尹東家也已經走到盡頭了。
失去了本據的尹東義佑一行人深知，在日向一國已經再沒有尹東一族的立足之地了。在經過再三權衡後，尹東義佑便決定前往豐後一國，去投奔自稱九州探題的大友宗麟。
按照尹東義佑的原先所制定的計劃，是準備經富田城至財部城，再由財部城進入豐後國境內。
然而，尹東義佑、尹東佑兵、尹東歸雲齋等一行人才經過富田城後不久，富田城城主湯地定時就見尹東家大勢已去，便不願繼續效忠于尹東家，便在島津軍兵臨城下之前就主動開城向島津家投降了。
正所謂屋漏偏逢連夜雨，船池又遇打頭風。
還在逃亡之中的尹東義佑一行人就听到了流言，作為尹東家譜代家臣出身的落合兼教也倒向了島津家一方。
然而，尹東歸雲齋並沒有經過核實，就直接不經尹東義佑許可，便擅自將落合家先前遞交的人質處決。
如此一來，原本還沒有倒向島津家的財部城城主落合兼教對此感到憤怒不已，便在一氣之下就派兵阻攔尹東義佑一行人的去路，並準備真的倒向島津家。
已經毫無退路的尹東義佑只好抱著僥幸心理，派出使者東光坊以及山伏栗木太郎五郎二人前去出使財部城，希望能說服落合兼教讓出一條通道，讓自己一行人能夠前往豐後。
結果，使者東光坊當場被正在氣頭上的落合兼教斬殺，僅剩下栗木太郎五郎一人好不容易才逃得一命返回匯報此事。
尹東義佑並不死心，處決落合家人質一事本就不是自己的意思，都是近臣尹東歸雲齋的擅自行動。
于是，尹東義佑就打算借尹東歸雲齋的人頭來換得落合家回心轉意。
但是，還沒等尹東義佑正式行動之際，落合兼教就率一百余軍勢從財部城中殺出，直接對曾經的主君刀兵相向。
這時，發現經財部城前往豐後已是不可能之事的尹東義佑、尹東佑兵等一行人只能轉向穗北城。
值得尹東義佑、尹東佑兵等一行人慶幸的是，天無絕人之路。
穗北城城主長倉洞雲齋並沒有忘記尹東家數代以來的恩顧，就派遣其嫡男長倉藤七郎前去迎接尹東義佑、尹東佑兵等一行人入城休整，尹東義佑也因此暫時獲得了喘息的機會。
可是，前往豐後的通路已被落合兼教封鎖起來。
並不想做島津家階下囚的尹東義佑經過再三思索後，決定做出一場豪賭——翻越米良山前往豐後。
元龜二年，六月十日。
尹東義佑與其子尹東佑兵、孫子尹東義賢和尹東義勝及親信家臣、家卷等一百五十余人冒險翻越米良山。
米良山山勢險要，山路崎區難行。
在炎炎烈日的照耀下，失敗者只能忍受著極度的炎熱與饑餓，並沿著山 的險路，異常疲憊地在山林之中模索前行。這算得上是一條地獄的巡游之路，等到尹東義佑、尹東佑兵等一行人最終活著抵達豐後大友領境內，就只剩下八十余人了。
在米良山中顛沛流離了半個月的時間，一行人終于走出大山，並得到了中山城城主三田井親好的接應。
大友宗麟在得知尹東義佑還在人世後感到非常高興，當即派遣親信家臣角隈石宗率一千余軍勢前去迎接尹東義佑、尹東佑兵等一行人進入豐後。
由于尹東義益的正室阿喜多夫人是大友宗麟佷女的這層關系，加上大友宗麟也希望以尹東義佑能協助大友家攻入日向一國，就對尹東義佑、尹東佑兵等人進行厚待——將大野郡野津寺小路村光明寺的宅邸以及野津院三百町的領地賜予尹東義佑。
大友宗麟的這些舉動很快就收到了極大的成效，被迫投降島津家的門川城城主米良四郎右衛門尉、鹽見城城主右松四郎左衛門、山陰城城主米良山城守、中山城城主三田井親好等人得知尹東義佑獲得大友家的庇護，正居住在豐後的消息後，紛紛遣使向尹東義佑送來密書，相約「若大友家發兵南下進攻島津家，我等必開城相迎，並能擔任大友軍的先導役。」