さて、平康頼・藤原成経の赦免が出てから間もなくの治承２（1178）年11月12日、徳子は無事に男子を出産し、言仁親王（ときひとしんのう：後の安徳天皇：1178〜1185）と名付けられました。
　出産を無事に終えたわけですから、もはやこれ以上の赦免の機会はありません。
　清盛は後白河法皇に迫り、僅か生後１ヶ月でこの言仁親王を立太子させました。次は清盛が外祖父となることが内定したのです。
　さて都では、俊寛の家人たちが主の帰還を今か今かと待っていましたが、待てど暮らせど俊寛は赦免されません。
　俊寛がよく目をかけていた家人の童・有王（ありおう）は、待ちきれなくなって鬼界ヶ島に渡ることとしました。俊寛が流罪となってから、はや３年が経っていました。
　有王は物乞い風の老人を見つけて、
「もし。ここに俊寛様という法勝寺の僧侶がおわすはずだが、知らぬか」
と声をかけました。するとその老人が
「わしだ」
と答え、有王は驚きます。物乞いに見えたのは、かつての高僧・俊寛だったのです。俊寛は食べ物も満足に与えられず、草や魚を取って食べていたのですが、僅か３年で物乞いのような身なりになり果てていました。
　有王は、俊寛の妻と息子が絶望のうちに病死したことを伝え、都に残された娘の手紙を渡しました。その手紙には、
「父上の帰りを待ちわびています。有王を送りましたから、どうか有王と一緒に帰ってきてください」
と書いてありました。
　これを読んだ俊寛は、
「勝手に島を出たならどのようなことになるか、分かりそうなものなのに。娘は12歳にもなってその程度の道理も分からぬと見える。この様子では結婚も自活もできまい」
と絶望しました。
　その後、俊寛は断食し、治承３（1179）年３月２日に餓死しました。絶望の末の自殺でした。
　有王は俊寛の遺体を荼毘に付し、その遺灰を都に持ち帰りました。俊寛の最期の様子を聞いた娘は、涙を流しそのまま出家したと伝えられています。