「俺が嫌だと思うからやめてほしい」と「社会的に迷惑だ（と思う）からやめてほしい」は大きく違うと思う。

例えば前者なら、
ごめん。努力はしているのだけど、努力が足りないという指摘として受け入れますね。
ただ、お前に諦めてってお願いされて長い時間かけてお前の欠点をこっちは諦めたのに、お前にはこっちの欠点を諦めてねってお願いすることも許されないっていうのはスジが通らねえからお前の要求は飲まない。
となるし、

後者なら、
いやお前に言われんでも知ってるし、15年以上向き合っててお前が知らないだけで改善のグラフはしっかり改善の方向へ向かっているので黙っててね。
となる。

今回の場合最終的にはどちらも突っぱねてるので変わらないかもだけど、道は全然違うから、どの観点かって全然違うと思わない？