小澤はまだ27歳の若輩で、大半の楽団員は年長だ。しかも、Ｎ響の楽団員は東京藝術大学の卒業生が多く、新興の桐朋を出た小澤を見下す雰囲気にあった。小澤が遅刻したとか、ミスをしたとか、さまざまな要因が積み重なったところに、11月の定期演奏会が新聞で酷評されると、楽員代表による演奏委員会が「今後小澤氏の指揮するコンサート、録音演奏には一切協力しない」と表明する事態に発展した。楽団員は積極的に取材に応じ、いかに小澤が無礼な若者か、音楽の伝統を知らないかを吹聴した。マスコミは、小澤を「海外で賞をとり、チヤホヤされて増長した困った若者」という論調で揶揄し、批判した。
これに危機感を抱いたのは、同世代の若い文化人たちだった。演出家の浅利慶太や作家の石原慎太郎は、小澤を救うために団結した。Ｎ響が小澤に「協力しない」と内容証明を送ってきたので、小澤サイドは契約不履行と名誉毀損で訴えるなど、泥沼化していった。小澤はデトロイトへの客演のため1月22日からアメリカへ行くが12月1日には帰国する予定だった。契約当事者でもあったＮＨＫは、小澤との契約期間が12月いっぱいだったので、小澤に「病気になったことにして、12月いっぱいはアメリカにいてくれないか」と、「誰も傷つかないが姑息な解決」を打診したが、小澤は断った　あくまで、12月11日から13日までの定期演奏会と年末恒例の第九を指揮する姿勢を示した。4日にリハーサルが始まったが、楽団員はボイコットして来ず、翌5日に事務局に小澤の降板を求めた。6日に事務局は楽団員に対し、定期演奏会に出れば、「第九」は小澤に振らせないと密約を持ちかけた。浅利たちはＮＨＫという巨大組織を巻き込んで戦線を拡大する戦術を取った。「演奏会中止」をＮＨＫ側から言わせるよう、この日は偶然にも、小澤の恩人の田中路子が、声楽としての引退コンサートを日比谷公会堂で開いた日でもあった。 　
しかし、定期演奏会が予定されていた12月11日、小澤征爾は会場の東京文化会館へ向かった。ステージには楽団員の座る椅子と譜面台が並び、指揮台もあった。楽団員さえ来てくれれば、いつでも始められる状態だった。そんなステージに、小澤はひとりで座り、楽団員を「待って」いた。その様子が取材に来た報道陣に撮られ、新聞には「天才は一人ぼっち」「指揮台にポツン」などの見出しで報じられた石原慎太郎と浅利慶太が「誰もいないステージ」の場面で、小澤に「孤独な天才」を演じさせ、カメラマンを呼んで撮らせたのだ。そういう裏の事情は関係者しか知らない。ステージにひとりしかいない写真で、世論は一気に小澤に同情的になった。「若き天才」を「権威主義で意地の悪い狭量な楽団員」がいじめている構図になったのだ。
指揮者と楽団とのトラブルは世代間闘争へと発展していった。若き天才たちにとっては「他人ごと」ではなかったのだ。中止が決まると、石原、浅利のほか、三島由紀夫、谷川俊太郎、大江健三郎、團伊玖磨、黛敏郎、武満徹といった当時の若手藝術家、文化人たちが「小澤征爾の音楽を聴く会」を結成し、Ｎ響とＮＨＫに対して質問状を出すなど、社会問題となっていく。 　
この渦中に、恩師のミュンシュが来日した。日本フィルハーモニーへ客演するために来日していた。1963年1月15日、「小澤征爾の音楽を聴く会」という名称の演奏会が、日比谷公会堂で開かれた。オーケストラは日本フィルハーモニーで、小澤の指揮でシューベルト《未完成交響曲》やチャイコフスキーの交響曲第五番などが演奏され、聴衆は熱狂的な拍手を送った。三島由紀夫は翌日の朝日新聞に「熱狂にこたえる道　小沢征爾の音楽会をきいて」と題してエッセイを書いた。〈最近、外来演奏家にもなれっこになり、ぜいたくになった聴衆がこんなにも熱狂し、こんなにも興奮と感激のあらしをまきおこした音楽会はなかった。正に江戸っ子の判官びいきが、成人の日の日比谷公会堂に結集した感がある。小澤は、17日に吉田秀和、黛敏郎らの仲介でＮＨＫと和解した。訴訟を取り下げるという意味で、Ｎ響へ復帰するわけではない。
18日、小澤は羽田空港からアメリカへ飛び立った。この一連の出来事は「Ｎ響事件」と呼ばれる。これが小澤の勝利を象徴していた。「ベトナム戦争」がベトナムでは「アメリカ戦争」と呼ばれるように、この事件はＮ響にとっては「小澤事件」なのだが、世間でそう呼ぶ人はいない。誰もが小澤サイドに立ったので、「Ｎ響事件」となったのだ。
このとき小澤が「深く反省」し頭を下げてＮ響に復帰していたら、「世界のオザワ」は存在しない。出世術としても藝術上の成長の面からも、この青年は日本を離れたほうがよかった。すでにヨーロッパとアメリカで名は知られている。カラヤン、バーンスタインミュンシュという超大物の後ろ楯もあれば、最強のマネージメント会社もついていた。日本にいる必要など、なかったのだ。日本を出た小澤は、以後、そのキャリアのほとんどを「日本人初」として達成していく。