前回に解説したMobileNet V3では、Neural Architecture Search (NAS)の手法が使われていました。NASは、簡単に言えばニューラルネットワークの構造を自動的に最適化する手法のことです。

ImageNetのコンペに登場した多くのモデルは、研究者やエンジニアによって手作業で設計されています。以前のモデルからヒントを得て改良を加えるので、時系列に沿ってモデルの構造を辿っていくと、その発展が徐々に進んでいったのがよくわかります。

しかし、ニューラルネットワークの構造には、数多くの可能性があり、人間の直感や経験だけでは最適な構造を見つけ出すことが非常に困難です。それぞれの構造が持つパラメータの数や種類、層の深さや幅、接続の仕方など、考慮すべき要素は膨大です。このような状況で、ニューラルネットワークの構造を手作業で設計し続けることは、非効率かつ時間の浪費となりかねません。

その一方、NASは機械学習の一分野であり、機械学習モデル、特にニューラルネットワークの構造を自動的に設計するための手法です。NASではモデル訓練の結果などのデータを利用してモデルの構造の最適化を行います。

今回取り上げるのは、Googleの研究者である Quoc V. Leらが2016年に発表した強化学習を利用したNASの手法です。