今回は機械学習×アートの話

機械学習で、絵画をカテゴリ分類。畳み込みニューラルネットワーク（CNN）を使うことで、ある程度の精度で分類できた。

背景

CNNは、画像認識の分野でよく使われる方法。少し論点がずれるが、ディープラーニングは内部で何をしているかわからず、なぜそのような結果が出たのかわからないということがよく言われている。

今回紹介する研究ではCNNを使い、様々な絵画を時代別に分類できるか調べる。もちろん、時代に関係するラベルは使用しない。

方法と結果

作品の製作年など、時代に関するラベル無しに作品を機械学習で分類した。教師データとしてWikiArt datasetにある作品81,449種類を使用し、ディープラーニングの手法としてImageNet challengeのために開発されたAlexNet、VGGNet、ResNetを使用した。これらはCNNの一種である。
結果、対比分類と時代区分の２種類である程度成功した。対比分類は近代美術の父ハインリヒ・ヴェルフリン（Heinrich Wölffin）による、線的なものー絵画的なもの、平面ー深奥といった区分である。時代区分はルネッサンス、バロック、新古典主義、リアリズム、印象主義、ポスト印象主義、表現主義、ポップアート、キュビズムである。
本研究では中身がブラックボックスなCNNをある程度可視化し、分類に成功することができた。しかし、時代区分との相関は最大でも-0.72であり、場所によっては-0.01と低い。まだまだ改良の余地がある。

所感

美術が好きなので、こういう分類器を自分でも作れるようになりたい。メディアでこの論文を記事にすると、分類できる！すごい！ってなりそうだけど、まだまだ分類できていないという印象。そもそも線的なものー絵画的なものといった区分は人間の主観でしかなく、機械学習でもまだまだ難しい領域だと思われる。今後の動向に注目したい。