そもそも『曾我物語』（巻二）に「兵衛佐殿、当国に配流せられ給ひて後は、伊藤・北条を憑みて過ぎ給ひける」とあるように、頼朝は、当初、伊藤氏の保護のもとに流人の生活を送っていた。頼朝が伊藤の館の「北の小御所」をあたえられていたからこそ、祐親の三女に近づくことになったことはいうまでもない。
　一般に、祐親は頼朝と三女の婚姻それ自体、そして三女の出産それ自体に激怒して男子を殺害したとされている。しかし、これは頼朝の側の視点、それ故に鎌倉幕府のイデオロギーをそのまま繰り返したものにすぎず、事態はもっと複雑であったようである。つまり、『曾我物語』三巻冒頭には次のようにある。
「安元貳年＜丙申＞の三月中半の比より、兵衛佐殿は北条妃(（政子）)に浅からざる御志によって、夜々通はんと欲せし程に、姫君一人御在す。これによっていよいよ昵び思しめされければ、北条妃も類なき契となりにけり」
　この原本では一字下げで記述された冒頭部分は、軍記物特有の年代記的な記述であって、信頼度が高いとされる部分であるが、これまで、この文章は、「頼朝は安元二年三月頃から政子の許に通うようになり、その結果、娘が生まれて、それによっていよいよこの契りが深まった」と解釈されてきた。しかし、「浅からざる御志によって、夜々通はんと欲せしほどに」というのは、「愛着が深まって、毎夜でも通おうとなったところに」という意味であることは明かである。そして「姫君一人御在す」というのは『曾我物語』（東洋文庫本）が「お生まれになった」としているのが正しい。つまり、この文章は「安元二年（一一七六）の三月半ばの頃、頼朝は政子への愛が深まって、毎夜でも通おうという気持ちになっていたが、ちょうどその時に、姫君がお生まれになった」と解釈するべきであろう。「安元二年の三月半ば」というのは頼朝が政子の許に通い始めた時ではなく、大姫の誕生の日時なのである。
　そうだとすると、頼朝は、遅くとも、前年の春か初夏の頃、つまり一一七五年（安元一）の夏までには、政子の許に通っていたことになる。前述のように、伊藤祐親が、千鶴御前を殺し、さらに「この兵衛佐殿は、一定、末代の敵となり給ひなん」ということで、頼朝を襲撃したのが「安元々年九月の比」（一一七五年）であったというのは、これとちょうど対応している（『吾妻鏡』寿永元年二月一五日条）。もちろん、祐親が帰郷して事態をしったというのが、どの時点であったかなどの問題は残っているが、祐親は、頼朝が政子の許に通い、ちょうど女児を妊娠させたことを知って激怒したに相違ないのである。
　なお、『吾妻鏡』が祐親の頼朝襲撃を「安元々年九月の比」（一一七五年）とするのに対して、『曾我物語』は「治承元年」（一一七七年＝安元三年）、「比(ころ)八月下旬」（安元からの改元は八月四日）としている。これは右の「安元々年九月の比」という『吾妻鏡』の記事よりも二年遅いことになる。この『曾我物語』の描くタイムスケジュールには問題がある。それは、まとめれば、(1)「治承元年八月下旬」＝祐親による頼朝襲撃、頼朝北条へ脱出、「かくて年月を送る程に」北條時政に出京（大番役勤仕）、(2)「かくて年月を送る程に」＝頼朝・政子のなれそめ、(3)京都の時政は目代山木兼隆を聟に取ることを約し、「三年の大番を一年でとどめて」、兼隆と同道して伊豆国へ帰国、(4)政子、兼隆の許に呼び出されるが、一夜にして伊豆山へ逃亡、頼朝と合流・参籠（「治承二年、戊戌年は伊豆の御山の御参籠、同じき十一月までは、夫婦両人の御祈請浅からざりし故にや、北条より御顧み頻りなり」）というものである。つまり、一一七七年（治承一）八月の襲撃事件の後、一一七八年（治承二）の伊豆山逃亡までの約一年の間に、時政出京、頼朝・政子のなれそめ、時政・兼隆伊豆帰国、政子・頼朝の伊豆山逃籠というスケジュールとなる。しかし、兼隆が父の信兼と対立して検非違使を解官されたのは一一七九年（治承三）一月一九日であり（『中山忠親日記』）、それ以前に伊豆国目代として下向したというのは疑問があり、これにそのまま従うことはできない。あるいは伊藤祐親による頼朝襲撃は『吾妻鏡』のいう「安元々年九月の比」（一一七五年）の後に「治承元年」にも繰り返され、それによって『曾我物語』の記述が混乱したということなのかもしれないと考える。
　なお、これまで頼朝と政子の婚姻年については、この『曾我物語』の「治承元年」という記述をとり、それによって大姫の誕生を一一七八・九年（治承二・三）頃とするのが一般である19。これは『曾我物語』（仮名本）に記された有名な「夢買」の話に政子結婚の時の年齢が二一歳とあるのによって、政子の生没年（一一五七～一二二五）、没年齢（六九歳）から計算して推定したものである。この夢買いの話とは、異腹の妹が「たかき峰にのぼり、月日を左右の袂におさめ」たという夢をみたことを知って、政子が妹に鏡をあたえて、その夢を買ったという話であり、この夢の意味は重大である20。しかし、『曾我物語』（仮名本）は室町時代の成立であって、この時、政子が二一歳であったという細部をそのまま採用することはできない。頼朝と政子のなれそめについては、少なくとも『曾我物語』真名本の記述を（上記の私の解釈はとらないとしても）採用するべきである。
　平安時代には、この場合のように男が一人の女と深い関係をもちながら、他の女性にちょっかいをだした場合、「うわなり打ち（後妻打ち）」といって、先の女が側が新しい女の家屋を打ち壊すという慣習があった。それ故に、祐親の側が頼朝に対して怒って、頼朝を攻撃したのは、それ自体としては自然なことであったといわなければならない。しかも、問題が深刻であったのは、伊藤祐親の三女と北条政子の二人の女性は従姉妹同士の関係にあったことである。つまり、『曾我物語』は、祐親の嫡子・祐通の子供たち（曾我十郎・五郎）にとって、「北条殿の昔の姫、鎌倉殿の御台盤所の御母、時政の先の女房と申すも、父方の伯母なり」と説明している。「父方（祐通）の伯母」というのは父の伯母、つまり、十郎・五郎にとっては大伯母にあたるということであろう。なお、政子の弟・北条義時の母は、政子と同母で、「伊藤入道女」と伝えられるが（前田家本「平氏系図」『大日本史料』五篇一、義時伝記）、これは誤伝で祐親の娘ではなく、妹であるに違いない。系図(1)の伊藤祐親周辺系図はこれを前提にして描いている。ようするに、北条政子の母は祐親の姉妹であった可能性が高く、政子は祐親にとっても姪にあたるのである。祐親にとっては、このような関係は、実質上、家をのっとられるのと同じことで、許し難く、流人の僣上というほかないものであったろう。