長元８（1035）年、7月に頼通の後継者通房が11歳で元服します。
頼通の正室隆姫は愛されていましたが不妊で、隆姫の従妹・対の君を頼通は愛し、通房が生まれたのです。
それで隆姫に遠慮して、頼通の邸では養育せずに、父道長の土御門殿で育てられたようです。道長の死後は、倫子が中心となって面倒をみていたのでしょう。何せ摂関家の後継ぎ・御曹司ですから。

そして頼通は通房をちょくちょく見にきていた時、倫子に仕える若い女房を見初め新しい愛人とします。
かつて三条天皇の皇女の降嫁の話が出た時、「正室以外に妻は要らない」と頼通は言って、父道長から「貴族が妻が一人でどうする」と叱責されても頑として受け入れなかった頼通ですが、アラフォーになる頃にはすっかり女色に目覚めていました。この新しい愛人とは、通房の元服の時にはすでに4人もの男児がいました。隆姫が恐いのか可哀想なのか、4人の男児はそれぞれ他家へ養子に出されていました。

それで歴史の因縁というか。その新しい愛人祇子（まさこ？）というのが、実は藤原頼成（没年不詳）の娘なのです。
頼成というのは、具平親王が大顔との間に儲けた庶子で、大顔が頓死した（香子が夕顔のモデルにした）後、処置に困った親王が、香子の従兄伊祐（これすけ）の子にしたあの少年です。
通房の母・対の君というのは源憲定の娘で、隆姫には従妹になります。隆姫と頼成は異母兄妹ですから祇子は隆姫にとって姪になります。何だか頼通って妻の血縁が好きだったのでしょうか？
カムフラージュのためか、一応祇子には形だけの夫・橘俊遠をつけていて、人々は本当は皆、実は俊遠の子ではないかと噂された時、お子たちは鼻先が赤く、頼通もそうだったので、頼通の実子だと言われたそうです。

結局、通房は悲しいかな20歳で若死にし、この祇子の五番目の男児が、師実として摂関家を継ぐことになるのでした。