そもそも伊藤氏は、工藤流藤原氏、つまり藤原氏南家・乙麻呂流の藤原為憲の流れに属する有力な武家である。為憲は平貞盛の盟友として将門を抑圧する上で重要な役割を果たし、相模以東に分布した貞盛流桓武平氏と地域を分担するようにして伊豆・駿河・遠江・参河から尾張までの東海道ルートに勢力を広げた。この家系の重要性はしばしば見のがされるが、その地方軍事貴族としての位置は院政期においてもきわめて大きく21、為憲の孫の時信の家系が駿河（現在の清水湊）の入江氏、尾張の二階堂氏と続き、時信の弟の維景が伊豆の狩野に留住して伊豆の工藤氏の祖となったのである。本来、その惣領は狩野氏であったと思われるが、経過は不明であるが、ある段階で伊藤氏の祖の楠見入道祐隆が久須美庄に本拠をおいて、狩野氏のなかで有力な位置を確保したものと思われる。
　伊藤祐親はその孫にあたる人物である。系図(1)に示したように、その姻戚関係はきわめて広く、まず伊藤祐親の娘の一人は三浦義澄、二人目は土肥遠平に嫁しており、さらに祐親の姉妹は北条時政、岡崎義実の妻となっている（『曾我物語』巻二）。三浦義澄は桓武平氏の流れをくむ相模三浦氏の当主であり、土肥遠平・岡崎義実は三浦氏の枝族であるから、伊藤氏と三浦氏との関係の深さは特筆すべきものである。また祐親の男子のうち、伊豆奥野の巻狩で殺害された祐通の妻は、相模の大豪族、秀郷流藤原氏の流れをくむ波多野氏の当主、波多野義常の娘である。またその下の弟の祐清は、後にふれる頼朝の乳母・比企尼の三女を嫁としている。比企氏は波多野の枝族であるから、伊藤祐親は波多野氏ともきわめて深い関係にあったことになる。また、このうち、波多野義常は、鎌倉氏、つまり懐島景能と大庭景親の兄弟の姉妹とも婚姻関係を結んでいることも注目しておきたい（『吾妻鏡』治承四年十一月二〇日）。
　このような伊藤氏にとって、これまで保護してきた頼朝とのあいだで紛議をかかえたことは、やむをえなかったとはいえ、決して望ましいことではなかったであろう。なによりも北条氏は久須美庄とは伊豆の反対側、西海岸に拠点を置く在庁官人で、重要な姻戚であったから、そこに頼朝が逃げ込んだのは面倒なことであった。手引きをしたのが、政子の同腹の弟の義時、つまり祐親の甥であるというのもやっかいであったろう。しかも、祐親の襲撃をうけた頼朝は、ほうほうの体で北条時政の館へ逃げ込んだのであるが、『曾我物語』によれば、祐親の襲撃を頼朝が逃れることができたのは、祐親の次男、伊藤祐長（祐清とも）が、ひそかに伊藤邸の北にあった頼朝の「小御所」を訪れて、親の祐親が襲撃を用意していることを急報したためであるという。これは祐長が頼朝側に立って義時とつるんでいたことを意味するが、これは後にもふれるように、祐長が有名な頼朝の乳母、比企尼の娘を嫁としていたことに関係する根の深い問題である。頼朝は配流期間のほとんどを伊藤のところで過ごしたに相違なく、すでに蛇のように伊藤の家中にからみついていたのである。
　こうして頼朝は北条の家に入りこんだのであるが、結果的には、これが頼朝にとっては正解であった。恣意的な行動を取りながら、それを、結局、自分の上昇の条件に変えてしまう。権力意思とは、本来、そのようなものなのかもしれないが、これは頼朝を迎え入れる側の北条時政にとっては、当初、微妙な問題を惹起したはずである。つまり、杉橋隆夫によれば、政子と義時の母であった祐親の妹は（『曾我物語』では「先腹」といわれている）、ちょうどこの前後に死去していた可能性がある22（政子と同腹の時政の子、時房の生年が一一七五年（安元一）であることからすると、あるいは祐親による頼朝襲撃事件の前後、おそらく時房の出産の時に死去したのかもしれない）。それ故に、頼朝の受け入れは伊藤氏との関係の将来に関わっていたはずである。しかも、この前後に、時政は「当腹」として「牧の方」という女性を迎えていた。彼女は有名な池禪尼、つまり平忠盛の妻で頼盛らを生んだ成親らの善勝寺流藤原氏につらなる女性の姪にあたる。池禪尼が二条天皇重婚騒動（いわゆる平治の乱）の事後処理において、頼朝の助命に動いたことはよく知られている23。牧の方は意外な大物ということになるが、『愚管抄』は、この時政の「ワカキ妻」について「この妻は大舎人允宗親と云ける者のむすめ也。せうと(（兄人）)ゝて大岡判官時親とて五位尉になりて有き。其宗親、頼盛入道がもとに多年つかい(（仕へ）)て、駿河国の大岡の牧と云所をしらせけり」（この女は大舎人允宗親の娘で、宗親は、平頼盛に長く仕えた人間で、駿河国大岡牧を領知していた。そして彼女の兄に大岡判官時親という人物がいた）と説明している。
　頼盛と東国の関わりについては、すでに述べたが、ここでは『尊卑分脈』によれば、さらに牧の方の叔父にあたる宗長・宗賢が「下野守」となっていることに留意しておきたい（宗長の下野守については『平信範日記』仁平二年八月一四日条に証がある）。牧の方の一族は頼盛の東国支配の中に位置づけられることになる。そのなかで頼盛の東国所領に留住していた宗親の娘として、「牧の方」は時政と知り合ったのである。大岡牧は、駿河国最東部、伊豆国との国堺地域（現在の沼津市の北）に広がる牧である。北条の館は伊豆の南北を流れる狩野川の川津の側に位置し、すぐ西に江浦の口野の良港に擁しており、時政は水陸両路において駿河国への出口を押さえてたという24。彼女と時政がいつどこで出会ったかについては議論があるが、「牧の方」との縁は、そういう近隣の縁であったのではないだろうか*25。ようするに、頼朝を迎えるということは、時政にとって伊藤祐親との関係を切って、新たな頼盛との縁の中に頼朝を位置づけるということであったと思われるのである。頼朝と頼盛の関係はしばしば池禪尼の段階の情誼的事情によって説明されるが、そのような「吾妻鏡史観」は、この関係が時政―牧の方を媒介として賦活されたものであることを隠蔽している。
なお、杉橋隆夫は、時政と牧の方の結婚を時政二一歳、牧の方一五歳の時、一一五八年（保元三）、平治の乱以前とした。この想定は、『曾我物語』（仮名本）に政子が頼朝と結ばれた年齢が二一歳、牧の方腹の妹は、その時一九歳、一七歳であったという記述を事実とした上で、頼朝・政子の関係発生を一一七七年（治承一）とすると、牧の方腹の末娘の誕生は一一五九年（平治一）となるという年齢計算によったものである。杉橋は、これを根拠として、そもそも池禅尼はちょうど姪の牧の方の夫の時政の出身地である伊豆国を頼朝の配流地として差配したという。しかし、この『曾我物語』（仮名本）の政子やその姉妹についての年齢表記をそのまま採用することはむずかしいように思う。
　こうして、時政が頼朝に対して微妙な態度をとることがあったのは、この段階における政子生母、政子・義時・時房、そして牧の方という関係のなかで頼朝の「二女」の恣意を受け入れたことに原点があるのである。