米子と祐三の間は急速に冷めて行った。理由は3つだ。
ひとつは祐三がしばしば鬱に落ち込み正常な人間関係を保てなくなっていったからだ。祐三は無間地獄に墜ちていた。一方、米子は(凋落はしてしまったが)銀座の大店の娘であり、お嬢さま校である東京女学館の卒業生である。当時の二人を芹沢光治良はこう書く。
「米子夫人がこの人の傍で、哀しいまでに美しいことが、心を揺すった。この人は若い画家らしく、無造作に粗末な黒い服を着て疲れた労働者そっくりだが、米子は貴婦人のように絹物の和服に美しい被服を着て、白足袋に草履をはき、左足が少し不自由なためか、黒塗りの杖で左脇を支えて歩いていた。それにエロチックな美がこぼれるようで、往きこうフランス人が目を見張り、必ず振り返って見たものだ。」
米子には自信と誇りがある。勝手に壊れていく祐三が我慢できなかったに違いない。

・・もうひとつは、祐三の絵に米子が加筆したことである。乱雑に書き散らすだけの祐三の絵は、すべて未完でこれを売ることは出来ない。たしかに吉薗周蔵は佐伯夫婦を支援してくれていた。それにしても絵は仕上げなくてはならない。米子の加筆は、云ってみれば生活のために已む無く行われたものだった。・もちろん加筆は、当たり前に画風を変えてしまう。しかし実はこの加筆によって、欧州と云う呪術に囚われていたキャンバスが、米子の北画/文人画の手法が混ざることで、見事に解き離れたのである。つまり加筆は改悪ではなく改善になってしまった。これを祐三は我慢できなかった。
後に(昭和4年)米子は、スポンサーだった周蔵にこう手紙を書いている。
「秀丸そのままの絵に一寸手を加えるだけのこと・・・ガッシュというものを使い画づらを整え、また秀丸の絵の具で書き加えますのよ」周蔵は、祐三の絵が米子との合作だったことを知っていたのである。そして同時に合作になることで、絵が呪縛から解き放れることを認めていた。
しかし祐三自身は周蔵に以下のような手紙を書いている。
「米子ハンが仕上げてくれはるけど、わし、自分の画が見えんやふになってしまふて（大正14年12月25日)」
祐三は米子の加筆を喜んでいない。しかしだからと云ってそれを拒否できなかった。生活のため、そして彼自身の心の弱さからである。
この時期の祐三について、阪本勝はこう書く。
「米子の話によると、へいぜい妻にやさしかった佐伯は、そのころからよく怒るようになったという。」

祐三は、米子の加筆と冷めた二人の関係から逃れようと、2階の薩摩千代子の入り浸った。ここでイーゼルを広げるようになった。これが三つ目の理由になった。破局を決定的なものにした。
パリの小さな日本人コロニーの中から出ないまま、二人は周囲の男女を巻き込んで愛憎関係の泥沼に墜ち込んで行ったのである。

そして1927年12月。薩摩家三階の佐伯夫婦が暮らす部屋で、石炭ガス事故が起きた。
落合莞爾このときのことを以下のように書く。
「佐伯と弥智子が、シングルベッドに背を向け合って、寝ていた由。佐伯は五日、弥智子は七日ほど入院したが、佐伯は頭痛が取れず、ずっと後まで頭痛を訴えていた。ヤチ子は目に異常があるように思うと、千代子はいう。周囲の声が耳に入らぬように茫然としており、佐伯が指を鳴らすと、催眠術から覚めたように正気に戻る。また壁土や石を舐めたり、異常の行為が目立つ、というので、これは一刻も早く東京に戻した方が良いと周蔵は判断した。」
しかし帰京は叶わなかった。