嘉祥（かしょう）２（849）年、業平25歳の年に紀有常（35歳）の娘と結婚して、翌年には男児・棟梁（むねやな）が生まれています。棟梁も後に歌人となります。あの女児を儲けた「芦屋の女」は死別か生別か分かっていません。

一見順調そうですが、この年業平は蔵人を辞任しています。それに夫婦仲は微妙なものがあって、『伊勢物語』でも第19段に業平夫婦を思わせる話が載っています。
昼に訪れても夜には帰ってしまう夫に対しての歌のやり取りです。
女「天雲のよそにも人のなりゆくか　さすがに目には見ゆるものから」－天雲のように手の届かぬ所に、貴方は遠ざかってしまいました。とは言っても、雲が目に入るように、貴方のお姿もはっきりと私の目につく所にいらっしゃるのですけれど・・・。

返し、男「天雲のよそにのみして経ることは　わが居る山の風はやみなり」－天雲のように遠く離れてよそよそしく振る舞っているのは、雲のいる山の風当たりが激しいからなのですよ。私に対する貴女の仕打ちのせいですよ。

と何か掛け違っている夫婦の感じがします。
業平は何人かと恋をして、晩年には藤原良相（よしみ：良房の弟。失脚する）の娘を妻として在次の君と言われた滋春（しげはる）を儲けています。

ただ舅の有常とは終生仲が良かったらしく、妻の従弟になる惟喬（これたか）親王とはよく憂さ晴らしで呑んでいたようです。

業平死後、長男の棟梁は49歳まで生きるのですがその死後、娘はだいぶ年の違う大納言国経（基経の異母兄）の妻となっています。しかし美貌だった様で国経の甥・左大臣時平が宴の後、奪ってしまいます。これは谷崎潤一郎氏の『少将滋幹（しげもと）の母』で詳しく描かれています。ＮＨＫでは、その奪われる女性を黒木瞳さんが演じていました。

もう１つ。その時平に奪われた女性は、敦忠という公卿を産むのですが、もう１人、褒子という女児を産んだ可能性が高いです。
その褒子は13歳の時に醍醐天皇に入内する前夜、いきなり宇多法皇が「法皇参上」と言って奪って「京極の御息所」として寵愛された様です。もう法皇は50歳ほどだったのですが・・・
更に京極の御息所には、元良親王（陽成天皇の皇子）が恋をしてきます。「みをつくしても（身を滅ぼしても、と澪標ーみおつくしを掛ける）」と訴えますが最終的には離別します。

いろいろなエピソードを今に伝えてくれる業平の系統です。