Kaggleの熱狂的なファンになってかなり経ちます。そして、コンテストがもたらす楽しさと激しさに吸い込まれるように参加してきたが、その過程でレベルアップしたり学んだりする運にはあまり恵まれなかった。なぜだろう？答えは簡単だ： カグリングに割く時間がなかったから、近道に頼っていたのだ。
Kaggleのコンペティションに参加すること自体がフルタイムの仕事のようなものだとよく耳にするが、まさにその通りだ。少し視点を変えてみると、私はフルタイムの仕事と家庭を持つ平凡な一般人です。そのわずかな時間を使って、Kaggleのコンペティションに参加しています。私のこれまでのやり方は、面白いと思うコンペティションを見つけ、時間があるときに公開カーネルやノートブックに手を加えるというものでした。以前はこのやり方を繰り返していたが、どこにも行けなかった！
この時点で、Kaggleへのアプローチを変えなければならないことに気づきました。気前のいいKaggleマスターやグランドマスターのブログやチュートリアルには、質の高いアドバイスがいくつもありますが、しばしば欠けているのは、時間とリソースに追われ、コンペティションを通して苦労し、その過程で何かを学ぼうとしている初心者やエンスージアストの生の経験です。例えば、何がうまくいかなかったのか？何がうまくいかなかったのか？どのようにしてフラストレーションを乗り越えたのか？
それがこのブログ記事につながる： 私は、いくつかのルールはあるものの、「正しい」方法で物事を進めることで、大会でどこまで勝ち進むことができるかを試してみることにした。

これまで私がKaggleのコンペティションでうまくいかなかった言い訳は、暇な時間がなさすぎることと、専用のGPUがないことの2つだった。問題は、それが正しかったかどうかだ。
この言い訳に真実があるかどうかを確かめるため、私は競技中に次のようなルールを自分に課した

- 60日間、1日1時間だけ働くこと（これにはモデルのトレーニング時間は含まず、コーディングや分析などに費やしたアクティブな時間のみ）。
- もし1日でも休んだら、残念だ。その1時間の時間はエーテルに失われ、保留時間に加えることはできない。
- すべてのステップを記録し、文書化し、参考文献を収集し、正当なクレジットを帰属させる。
- 既存のカーネル（特にトップスコアのもの）をやみくもに修正したり再利用したりしない。
- 計算リソースにはKaggleカーネルまたはGoogle Colabのみを使用すること。
- 現在の順位と戦略を評価するためにのみ、公開リーダーボードを使用すること。
- コンテストのルールを厳守すること。
- ディスカッションフォーラムを利用する
- 十分な休息

つまり、一般に利用可能な計算資源のみを使用してコンテストに取り組むには、60時間の活動時間が必要です。

そのプレッシャーと長く働きたいという誘惑を避けるために、私は終了した大会を選んだ。この場合は、ザトウクジラの識別チャレンジだ。なぜか？このコンペティションは難易度が高かったが、データセットのサイズという点では、一般に利用可能な計算リソースでなんとかなりそうだったからだ。それに、少数ショットの分類について学ぶ機会にもなった。
課題の前提は、クジラの「フルーク」（要するに尻尾）の画像からクジラを識別するという、見かけによらずシンプルなものだ。平均平均精度@5スコア（mAP@5）で評価される。基本的に、あなたのモデルの上位5つの推測が問題のクジラを含んでいれば報酬を得られるが、あなたのモデルの順位と地上真実が同じような形で並んでいれば、より多くの報酬を得られる。したがって、予測の順番は重要なのだ。この課題を選んだ私は、日々の進捗状況や次にやるべきことを記録するための日誌を作成した。

最初の1週間は、シンプルに物事を進めようとした。私の大きな目標は、データをインジェストし、W&Bにログを記録し、データを分析してそこから何が読み取れるかを確認することだった。
当初は、PyTorchやPandasなどを使ってゼロからパイプラインを書きたかった。結局のところ、この演習の目的は何かを学ぶことではなかったのだろうか？最初の楽観的な考えに後押しされ、データローダーとロギングフックを組み立て始めた。さらに、データをよりよく理解するためにいくつかの実験を行った。

例えば、上の例では、トレーニング画像のランダムなサンプルがあります。すぐに、画像はさまざまなポーズで撮影され、グレースケールであったり、テキストが入っていたり、必ずしもシャープでないことがわかります。さらに、このデータセットは非常にバランスが悪く、5005のクラスの1つには9k枚以上の画像がある一方、1枚しかないクラスもありました。このため、いくつかのオプションを考えました：
低サンプルのクラスは捨てる（これを試したが、事態を悪化させた）
ぼかし、ポーズ、アスペクト比などを考慮する。
グレースケール画像の扱いを変える
オーグメンテーションによってデータセットのバランスを調整する。
new_whaleクラスを削除し、このクラスを予測する他の方法を使う（結局こうした）
得られた結論（記事著者より）

それからの数週間は、Pytorchを使って学習と推論のパイプラインを書いた。私の主な計算ソースはKaggleとColabだったので、Jupyterノートブックに書き出し、セルをスクリプトにリファクタリングする必要があった。
このアプローチには利点と欠点があった。手始めに、私はすべてを徹底的にテストし、変更をgitリポジトリできちんと管理することができた。さらに、これらの関数のいくつかは、将来のコンテストで再利用することができた。しかし、私はKaggleカーネルとColabしか使っていなかったので、gitリポジトリをこれらのいずれかと統合し、変更を管理するのは非常に困難でした（少なくとも私がコンテストに挑戦した時点では）。
もうひとつの難点は、私には1日1時間しか時間がなく、スクリプトとノートブックを行ったり来たりするのにかかる時間が複合的だったことです。時間を最大化するために、私は不本意ながらJupyterノートブックを使うことにこだわった。
ここで3つの重要な洞察を得た：
トレーニングセット全体で学習したモデルは、ほぼ常にnew_whaleを推測の1つとして予測した。なぜか？データにはこのクラスの例が9kあり、他のクラスを圧倒していた。そのため、モデルは検証セットとテストセットのほとんどすべての例について、やみくもにこのクラスを予測し始めた（public mAP@5 0.541）。これはディスカッション・フォーラムでもよく見られる傾向のようだったので、群衆の知恵を借りて、「新クジラ」の画像をすべて削除した。推論時には、モデルの信頼度スコアのしきい値を用いて、与えられた例が新クジラかどうかを確認することにした（これについては後述する）。

もし層化K-foldクロスバリデーション（CV）を使いたいのであれば、サンプルが少ないクラスを処理しなければならない。このため、画像が5枚以下のクラスをすべて削除して、K-fold CVを使おうとした。しかし、これはスコアを大幅に悪化させた（公開mAP@5 0.452）。ディスカッション・フォーラムでは、物体検出器を使ってクジラの周りの狭い範囲を検出して切り出し、背景を省くという投稿がいくつかありました。調べてみると、Martin Piotteのノートブックに、まさにこれを実行するモデルを学習させた珠玉のものがあった。当時このコンペティションは数年前のものだったので、私はこのノートブックを正しく動作するように更新し、クジラを検出して画像から切り出すようにモデルを学習させた。これによりスコアは0.486に向上した。

サンプルの少ないクラスを削除する代わりに、Albumentationsを使ったデータ補強を使って、少ないクラスのサンプル数を増やしてみました。これにより大幅な改善が見られ、わずか20エポックのトレーニングで、私のモデルは0.611のmAP@5を獲得した。


まとめると、私のデータ前処理は以下の通り：
-トレーニングセットからすべてのnew_whale画像を削除。
- 学習済みのバウンディングボックス検出モデルを使用して、残りの画像をすべて切り抜く（注：背景の風景にモデルが驚かないように、テスト画像も切り抜く😅）
- 20枚未満の画像を持つすべてのクラスを、少なくとも20枚の画像を持つように補強。
- 層化5回CV。

データの前処理がある程度固まったので、次に、どこで最高の利益が得られるかを確認するために、いくつかの簡単な実験を試してみることに集中した。公平な」比較を行うため、トレーニングを20エポックに固定し、すべてのフォールドにわたって各セットアップを評価した。

例えば、Resnet-18、Resnet-34、Resnet-50、VGG-16（もちろんすべてImageNetで事前学習済み）などから、さまざまなアーキテクチャを試してみた。なぜ最新のものを試さなかったのかと不思議に思うかもしれない。 有限の計算リソースとタイムアウトの制限（Kaggleでは～9時間、Colabでは～12時間）を考えると、妥当なバッチサイズでメモリに収めることができ、この演習から意味のあるものを得られるモデルは限られていた。また、様々な損失関数（バニラのクロスエントロピー、フォーカルロスなど）や画像サイズ（224、384、512）も試しました。これらの実験からわかったことは以下の通りだ：
- 画像サイズは大きな影響を与え、画像サイズが大きくなるとmAP@5は着実に増加した。私はすべての実験を最小のサイズ（224）で試し、最終的にはより大きな次元でモデルを再トレーニングしてスコアを押し上げることにしました。
- モデル・アーキテクチャは、小さいながらも重要な役割を果たし、大きいモデル（例えばResnet-50）は小さいモデルよりも良い結果を出した。

興味深いことに、不均衡クラス問題で一般的に使用されるフォーカルロスは、まったく役に立たなかった。

これらの実験に加えて、ミックスアップ、ラベルのスムージング、プログレッシブ・リサイズなどのトリックを試して、これらがさらに役立つかどうかを確かめたかった。多くのトップ・スコアがアンサンブルの結果であることを考えると、私は後の段階でアンサンブルするために様々なモデルを用意したかった。フォーラムでは、計量学習や対照学習について多くの意見が交わされており、時間が許せばこれも試してみたかった。

いくつかの有望な方向性を探ることができたにもかかわらず、私は2つのことに阻まれた。
第一に、コンテストの評価基準の実装が楽観的すぎた。例えば、公開スコアが0.54の場合、私の予測CVスコアは0.8だった。これは、私のコードと、おそらく私のCVスプリットの両方に疑問を抱かせた。
二つ目の問題は、ディスカッション・フォーラムでは、私がこれまでに試した組み合わせでは可能であることを示す投稿が多かったのに、何をやってもパブリック・スコアが0.7を超えないことだった。前者の問題については、公開されているカーネルとgithubにあるメトリックのより良い実装を2つ見つけ（Radekに感謝！）、それを使うことで私のCVスコアがより意味のあるものになった。2つ目の問題については、補強後の画像をプロットしたところ、パディングの選択に起因するいくつかのアーチファクトを発見してショックを受けました。以下は、アーチファクトを修正する前と後の2セットの画像です：

データセットを作り直し、その上、自分の発見が本当に正しいかどうかを確認するために、以前の実験をすべてやり直さなければならなかったからだ。この2週間の残りの時間は、自分の発見を検証し、データセットを修正する時間だけだった😣 。

挫折を乗り越えた私は、上記のような便利なトリックを試したり、より大きな解像度の画像で最終モデルを再トレーニングしたりという大変な仕事に直面した。この時点で、私はいくつかの難しい決断を下さなければならなかった。私はメトリック学習とコントラスト学習の追求を断念し、純粋な分類ベースのモデルを改善することだけに集中することにした。
さらに、より複雑なトリックのいくつかを実装し、テストし、使用するのにかかる時間は、法外なものになるだろうと考えました。そこで私は、FastAIに頼ることにし、彼らの素晴らしいフレームワークを残りのチャレンジに使うことにした。FastAIライブラリを知らない1e-7%の人のために説明すると、これはPytorchの上に構築されたフレームワークで、TensorflowのKerasのようなものだ。学習と推論を単純化する高水準の抽象化であることに加え、多くのテクニック（いくつか例を挙げると、ミックスアップ、ラベルスムージング、プログレッシブ・リサイジング、重みの凍結と凍結解除）の実装が組み込まれており、驚くほど簡単に使うことができる。この決断と「コーダーのためのディープラーニング」の本を手に、私は自分のモデルを改良することに熱中した。
数時間以内に、私はFastAIで私のバニラ・パイプラインを複製し、モデルをデバッグするために必要な他のすべてのベルとホイッスルを統合した。新しいデータははるかに良くなり、わずか20エポックのトレーニングの後、5つのフォールドすべてで0.72-0.73の改善されたスコアが得られた。

この2週間で試したことをまとめると、以下のようになる：
- ラベルスムージング（思ったほど効果がなかった）
- ミックスアップ（少なくとも私の場合は事態を悪化させた）
- プログレッシブ・リサイズ（最終的に使用したもの）
- テスト時間増強（役に立たなかった）
- 識別学習率（これも結局使った）

まだ取り上げていない点として、new_whaleクラスをどのように予測したかがある。今それをやってみよう。
new_whaleクラスのインスタンスをすべて削除したので、推論中にモデルはnew_whaleクラスを予測しません。それを予測に再導入するために、予測値のソフトマックス・スコアをガイドとして使いました。上位5つの予測とそのソフトマックススコアが与えられたら、これらのスコア（とその下に続くもの）のどれかが閾値を下回っているかどうかを調べます。もしそうであれば、新しいクジラのクラスは、閾値より低いスコアの直前の予測として導入されることになる。これはディスカッション・フォーラムで提案された戦略であり、私自身が考案したものではないことに注意してほしい。最適な閾値を見つけるために、私は各フォールドについてグリッド検索を実行し、最終予測にその値を使用した。この2週間が終わるころには、20エポックのトレーニング後、384 x 384の解像度で、私のベストスコアは0.8だった。

この最後の2週間は、より長い時間、モデルのサイズを224×224から512×512に徐々に変更していくことに集中した。これには多くの試行錯誤が必要で、最終的に私の場合、384 x 384で65エポックの実行を行い、その後512 x 512の解像度で微調整を行うのがベストなアプローチだった。これには多くの骨の折れるチェックポイントが必要だった。タイムアウトの問題なしに384 x 384で65エポックのモデルをトレーニングするためには、Colabで特定のタイプのGPUを手に入れる必要がありました。そのため、GPUによっては、トレーニングに必要なエポック数を選択し、そのモデルを失わないようにチェックポイントしなければならなかった。それから重みを復元し、残りのエポック数を訓練する。不便で面倒なのは分かっている。このプロセスを5つのフォールドすべてについて繰り返し、各フォールドを512×512で5エポックずつ微調整していけば、私が今いる場所にたどり着けるだろう。
このプロセスの最後に、私の最高のモデル（公開リーダーボードに基づく）は、上記のように5フォールド層別化CVで訓練されたResnet-34でした。私はこのモデルと、このモデルの最良のシングル・フォールドをコンテストに提出した。この時点で、私は疲れきっていたが、このチャレンジを最後までやり遂げたことに満足していた。

最終的なリーダーボードでの仮の順位： 258/2120 → トップ12.16%、銅メダルを0.012ポイント差で逃す

毎日コンスタントにわずかな時間を投資することで、それが複合的に作用し、ボードの上位に食い込んでいくのを目の当たりにして、私は感激した。このコンテストは、私が挑戦したときには終わっていたけれど、参加している間は、まだ競争心の高まりを感じていた。もっと違ったやり方があったと思うことはたくさんある：
毎週1日1時間ではなく、週7時間を自分の好きなように使えるようにすべきだった。クリエイティビティとモチベーションは爆発的に高まるもので、もっと長く続けたいのに、自分で決めたルールのせいで続けられない日が何日もあった。逆に、疲れ果てて競技に取り組む意欲がわかない日もあった。

データ処理の検証をもっと徹底すべきだった。そのために数時間のデバッグ時間がかかり、私の場合は非常に高くついた。これをもっと早くやっていれば、もっといろいろなことを試す時間があっただろうし、おそらくもっとスコアを伸ばすことができただろう。

FastAIのようなライブラリーは、プロトタイピングを桁違いに加速してくれるという意味で神の使いだ。しかし、その代償として、結果を最大化するためには、それらをよく学ぶために時間を投資する必要がある。

ゼロから書くコードの量をよく考えるべきだった。学習と高得点のトレードオフはやっかいで、1日1時間、ColabとKaggleのカーネルを使っていたことを考えると、コンテストに使うスクリプトの自己完結型リポジトリを作るという方向には進むべきではなかった。

最後に、KaggleカーネルもGoogle Colabも、自分のワークステーションやクラウドのセットアップを持っていない膨大な人々に計算を自由に利用できるようにしている。しかし、これらが無料なのには理由がある。これらは実験や研究を奨励するためのものであり、IMOの競技用ではない。タイムアウトを起こさずにモデルをトレーニングし、結果を推測できるようにするのは、骨の折れる作業だった。さらに、大規模なモデル（EfficientNetなど）のトレーニングは、通常メモリに収まらず、1エポックか2エポックのトレーニングを行うために、画像解像度やバッチサイズのどちらかを弄らなければならないため、非常に困難だった。Kaggleで勝ちたいのであれば、これらのリソースを使えばいいのですが、それはあなたの気概と決断力次第です。私のように時間に余裕のない人にとっては、これは間違いなく凹む。

fastaiは、ディープラーニングのモデルを素早く簡単に構築できるPythonライブラリで、Kaggleコンペティションでの使用にも適しています。以下は、fastaiをKaggleで生かすための使用方法です。

1. プロトタイピング
速度: fastaiの高レベルAPIを使用すると、数行のコードでモデルを構築できるため、プロトタイピングが迅速に行えます。
事前学習済みモデル: fastaiには多くの事前学習済みモデルが組み込まれているため、すぐに実験を開始できます。

2. データ拡張
fastaiのデータ拡張機能を使用して、データセットを人工的に増やし、モデルの汎化能力を向上させることができます。

3. 転移学習
fastaiは転移学習を容易に行えるため、異なるドメインのデータで訓練されたモデルを特定のKaggleコンペティションに適応させることができます。

4. 学習率の調整
fastaiの学習率探索機能を使用して、最適な学習率を素早く見つけることができます。

5. カスタマイズ
必要に応じて、fastaiの低レベルAPIを使用して、カスタムモデルや学習ループを構築することができます。

6. 多様なタスクへの対応
fastaiは画像分類、テキスト分類、回帰など、多岐にわたるタスクに対応しているため、様々なKaggleコンペティションで使用できます。

7. コミュニティとリソース
fastaiの豊富なドキュメントと活発なコミュニティは、Kaggleコンペティションでの問題解決の支援となります。

このように、fastaiはKaggleコンペティションでの高速なプロトタイピング、データ拡張、転移学習、カスタマイズなど、多岐にわたる使用方法が考えられます。特に画像系の機械学習エンジニアとして、これらの機能を活用することで、効率的にコンペティションに取り組むことが可能です。