質問者さんは相手は「私に好意を持っている」「私と付き合いたいと思っている」という前提で考えていらっしゃいますよね。

まず、そこをしっかり分析した方が良くて、「友達以上恋人未満だと思っているのが自分だけである」という最悪のケースもしっかり考えておいた方が良いです。

要するに彼はあなたが嫌がることを知っていて、これ以上関係を進展させないために、元カノの話をしてくるというパターンです。

だから、「不快だからやめて」ではなく、「これ以上近づいてこないでね」ということを暗に言われている可能性をしっかり考えた方が良いのです。

どうやって見極めたらいいの？

まず、今回の問題の根本的な原因は「友達以上恋人未満」という超曖昧な関係性を自分の中で作っていることですよね。