戦いは夜通し続けられましたが、もとより劣勢の頼朝勢は明け方近くになって、土肥郷の方へ向かって敗走し始めました。大将である頼朝は後陣に控えていましたが、次々に敗走していく味方に、
「ああ、情けないことよ。同じ引くにしてもせめて一矢放って逃げよや。者ども今一度引き返せ、返せよや」
と言いますが、それを聞く者はおらず一騎も返すことはありませんでした。

ただし、よその場所では頼朝勢の何人かは退却際に奮戦した者たちがいました。堀口というところでは、加藤次景廉かとうじかげかど、佐々木四郎高綱たかつな、大多和おおたわ三郎義尚よしひさの3騎が踏みとどまって、17回引き返して戦いました。敵は数千人いるとはいえ、山道は狭く、道の状態も悪いために、せいぜい2，3騎ほどが駆けてくる程度であったため、彼らはそれぞれに矢を放って、敵の追撃を防ぎ、多くの敵を討ち取ったといいます。

頼朝勢の敗北が確実になった翌朝、24日辰の刻（7:00～9:00）。頼朝も山の上へ向かって退却しました。そして、そんな頼朝を大庭方の荻野五郎季重、その子息の彦太郎秀光ひでみつ以下兄弟5人の6騎がわめいて追いかけてきました。
「この先に逃げているのは大将軍とお見受けする。源氏の名折れ、どうして敵に後ろをお見せなさる。きたなしや。引き返して戦われよ！」
さすがにこれは逃げ切れないと思ったのか、頼朝は駒を返して矢を放ちました。

一の矢は荻野季重の左の草摺くさずりの継ぎ目に刺さり、二の矢は季重の馬の鞍の前輪に立ち、三の矢は季重の息子・彦太郎の馬に取り付けられている左側の鞅尽むながいづくし（※1）に立ちました。馬は驚いて跳ね上がり、彦太郎は乗りたまらず馬から降り立ちました。

そこへ頼朝方の大見平次家秀おおみへいじいえひでがとって返してきて、頼朝の前を護るように立ち塞がったかたと思うと、さらにその大見の前に一人の武者がやって来て、
「昔物語にも大将自らが戦うということはございません。ただここは引き退かれますよう」
と、頼朝をかばいました。頼朝が、
「引き退くにも防ぎ矢を射る者がいなかったのだ」
と言うと、その者は、
「相模国の住人、飯田三郎宗能むねよし（飯田家義いいだいえよし）と申します」
と名乗って、矢を敵に向けて三筋放ち、見事敵三人を射落としました。
こうして家義が時間を稼いでいる間に頼朝は椙山すぎやままで逃げ延びることができました。

他方、頼朝方の武士たちもそれぞれてんでに敗走しましたが、険しい山並みが行く手を阻み、兜を脱いで、鎧を捨て、太刀一つを持って逃走する有様でした。
そうした中で頼朝方の武士、沢さわ六郎宗家むねいえは討たれ、北条時政の嫡子である北条三郎こと宗時むねときも伊東祐親の軍勢に討ち取られました。そしてさらに伊豆の有力武士の一人である工藤茂光くどうもちみつも最期の時を迎えようとしていました。

この工藤茂光は体格が肥えて大きかったため、この箱根の険しい山並みを越えて行くことは困難で、もはや逃げることは叶うまいと覚悟を決めていました。茂光は、
「わが首を人手に掻かせるな。お前がわが首を討て」
そのように息子の狩野親光かのちかみつに言いますが、親光は父の首を切らなければならない悲しさに、父を肩にかけて無理にでも山道を上って、何とか逃げ延びようと懸命でした。しかし、無情にも追手の大庭勢が無情にも近くに迫ってきていました。もはや逃げ切れないと観念した茂光は、親光の介錯を待たずして腹を切って果てました。親光は無念さのあまり、ただただその場に立ち尽くすばかりでしたが、これを見ていた茂光の孫にあたる田代信綱たしろのぶつなは、せめて茂光の首は敵の手に渡してはならないと茂光の首を掻くと、それをおじの親光に渡し、親光も信綱も箱根の山中へと逃げ延びていきました。

さて、肝心の頼朝は箱根山中に数ある峰の一つの頂上にたどり着き、そこにあった倒木に腰をかけてしばらく休んでいました。すると、頼朝の跡をたどって何人かの味方の武士たちが集まりだしてきました。頼朝は、
「大庭や曾我などは、この石橋山付近をよく知っているだろうから、このように人が集まってしまっては目立って隠れ果せることも難しくなるであろう。そこでみんな散り散りになって落ち延びるのだ。そして、逃げ果せてほとぼりが冷めたのちに、この頼朝が生き長らえていたのなら必ず訪ねて来るがよい。我もそれぞれみなを訪ねるほどに」
と集まってきた武士たちに言いました。ところが武士たちは、
「われらすでに日本国を敵に回し、どこへ行こうとも逃れることはできないでしょう。願わくば、同じ場所で塵にも灰にもなりたく存じます」
と、なかなか頼朝の指示に従おうとしません。そこで頼朝は、
「この頼朝、思うことあってこのように言っているのに、なお強いて落ち延びないのは怪しい。何を企んでいるのだ？」
と重ねて言うと、ようやく武士たちはそれぞれ思い思いに散らばり始めました。

加藤景廉と田代信綱らは一旦三嶋大社の宝物殿に隠れていましたが、夜明けとともに宝物殿を出て、それぞれ別の場所へ落ち延びていきました。その後、景廉は兄の光員みつかずと落ち合い、甲斐国へと向かったといいます。

こうして味方の武士たちを各地に散らせた頼朝でしたが、頼朝の周りに誰もいなくなったわけではありません。この石橋山一帯をはじめ西相模を所領としている土肥実平どひさねひらやその息子である小早川遠平こばやかわとおひら、実平の甥おいにあたる新開しんかいの荒次郎、土屋つちや三郎宗遠むねとお、岡崎おかざき四郎義実よしざねの5名の武士と、実平の小舎人こどねり童わらわである七郎丸が頼朝に付き従いました。これはいくら散り散りに逃げ延びるとはいえ、地元の武士の案内は必要不可欠だったためです。

実平は、味方の武士を散らせて心細い思いをしている頼朝を察して、
「天喜てんぎ年中（1053年～1058年）に故・伊予いよ入道殿（源頼義みなもとのよりよし）が奥州の安倍貞任あべのさだとうを攻めた時、貞任の反撃で敗退し、わずか7騎で落ち延びて一旦は山に隠れられたものの、ついには貞任を破って御本意を遂げられたことがござった。今日の有様は、まさに伊予入道殿と同じ状況であって、むしろ吉例とすべきです」
と励ましたのでした。（終）