察しの通り、あなたは遊び相手であり既にフェードアウトをかまされていると思います。

質問者さんは相手に家族がいることを知りながら交際しているので、今後奥様から不貞行為で訴えられる可能性もあります。

さて、彼と付き合い続けるメリットがどこにあるでしょうか？

質問者さんすでに「この恋愛をやめないといけない」という結論に至っていると思うのですが、他に依存出来る相手がいないので、断ち切れないという状態だと思います。

なので「どうすれば断ち切れるのか」という方向性で以下回答していきます。

どこがゴールなのか考えてみる

浮気や不倫に悩んでいる方に必ず聞く質問があります。
それは「何があなたのゴールなのか」ということです。