筆者：宮下侑大

「CVPRの論文を全部読もう」

2015年某日、つくばのスターバックスにて、産総研の片岡さんと研究の打ち合わせをしていた時、片岡さんが突如とんでもないことを言い出した。

当時、私は修士2年。情けないことに、ほとんどサーベイということをしてこず、なんとなくで研究をしていた。英語論文など以っての外だ。​

そんな私でもCVPRがCVのトップカンファレンスということは知っていた。だからこそ、片岡さんが何を言っているのか最初は訳がわからなかった。全部読むなんて…そんな無茶なことできる訳が…。

片岡さん「もうやるって公言してる」

どうやら逃げられないようだ。

こうしてcvpaper.challengeの活動がスタートした。​

はじめに

​こんにちは。パーソルキャリア(旧インテリジェンス)でエンジニアをしております宮下です。この度、産業技術総合研究所 片岡さんよりお声がけをいただき、cvpaper.challengeアドベントカレンダーへ参加させていただくこととなりました。このような光栄な機会をいただき、感謝申し上げます。

今では大規模なCVコミュニティとなったcvpaper.challengeですが、その創設期のお話をさせていただきたいと思います。

論文を読み始める

ひとまずはダウンロードした論文のPDFを開き、今ほど性能の良くなかったGoogle翻訳を唯一の武器に読み始めた。

…わかってはいたが、全然理解ができない。

翻訳で出てくる日本語をなんとか読み解きながら、ようやく1本読み終えた頃には2時間が経過していた。これを600本…笑

先の遠い道のりに、軽く絶望した。

そんな絶望の中でも、なんとか耐えられたのは片岡さん・研究室メンバーとのミーティングの存在だった。一人で絶望するのではなく、みんなで絶望することで逆に気持ちが保てた。

1本、1本、地道にコツコツ読み進めた。とにかく1本読むだけで時間がどんどん溶けていくので、スピードアップするためにも隙間時間にも読むよう意識した。

休日、研究の合間、大学までの移動時間。学会発表で海外に行く際も、飛行機で周りの乗客が映画を鑑賞している中、我々は印刷した論文を広げていた。

少しずつ訪れる変化

学会発表を終え、世間が夏休みに入ると、私たちはよりサーベイにフォーカスするようになった。研究室に朝から晩まで篭り、ひたすらサーベイを続けた。

気を整え、PDFを開き、全体に目を通し、翻訳して、読む一連の動作を一本こなすのに、当初は2時間数本読み終えるまでに多大な時間を費やした。
​
読み終えれば倒れるように休む。また読むを繰り返す日々

始めてから2ヶ月が過ぎた頃　異変に気付く

1本読み終えても　1時間経っていない…。

5月、6月で私が読んだ論文は計39本

ところが、7月には49本、8月には96本の論文を読めるようになっていた。

ここまで来ると、もはやサーベイは楽しみでしかなかった。

そして2015年8月25日、cvpaper.challengeはCVPR2015全602本のサーベイおよび日本語のまとめを完了した。

サーベイ中の心情

スポーツ選手が、高い集中力でプレイに没頭する状態をフロー状態と呼ぶが、サーベイ期間の終盤は完全にフロー状態に入っていた。フロー状態は、自分自身のスキルレベルと、取り組んでいる課題の難易度によってコントロールできることがフロー理論で提唱されている。

フロー理論の図

cvpaper.challengeを取り組み始めた初期の頃は、課題の難易度に対して自身のスキルがなかったので、不安が強い状態だった。そこからサーベイを続け、足りない知識は先生や片岡さん・メンバーとのミーティングで補っていくことでスキルが上がっていき、覚醒・フロー状態へとシフトしたと感じる。

サーベイで得られたもの

602本のサーベイを終え、自分の研究の論文を執筆していた時、あることに気付いた。

「序論の構成を組み立てるのが上手くなってる・・・？」

サーベイ前に論文を執筆していた時、序論をどう構成するかが非常に苦労した。序論の組み立て方を間違えると、良い成果であってもそれが十分に伝わらないことがある。先生や先輩に添削をお願いして、何回も書き直してようやく投稿できるという状態だった。

しかし、サーベイを終えた後、どのように主張すれば良いのか手に取るように分かる感覚があった。

それはひとえに、トップレベルの研究を知り、”イマ、CVの世界はどうなっているのか”を知ったからこそ、世界でまだ取り組まれてないテーマやどんな課題があるのかが、自然と分かった。

また、サーベイ前の私の研究成果は、さして華々しいものではなかった。
B4の頃に国内学会に1本、M1の頃に国際学会に1本。研究アイディアも独りよがりなものばかりで、アイディアを出しては「それ、この研究でやられてるよ」と言われることが多かった。

ところが、M2になってからは共著も含めると12本の論文を執筆することができた。

・様々なシーンにおいて、物体検出に有効な特徴量の検証がされていない

・動作の熟達評価に関する研究は多くあるが、細かい動きに着目した研究は少ない

ディスカッションなどを通してこうした穴を見つけ、それに取り組んでいくことで、みるみる成果をあげることができた。

メンバーとのディスカッションでも非常に面白いテーマが次々と生まれた。
魚のReID、変化検出、ボケてのワード提案体の一部からのReID、映画のシーン評価、マナー動作の熟達評価、イラストだけで学習して現実の物体を検出する...etc.

上記のテーマのいくつかはその後、後輩たちが取り組んで論文化や、CVPRに投稿するまで昇華してくれました。
Semantic Change Detection
Neural Joking Machine
映画の評価推定

その後

cvpaper.challengeで活動していたのは修士二年の頃。その時はすでに就活を終えていた。そのため、新卒で入社した会社はまったくCVを使わなかったが、徐々に「身につけたスキルを使いたい」と思うようになった。

そして、時代の流れも幸いし、CVエンジニアとして再スタート。現在でも画像・動画活用に関する業務に携わっており、私のキャリアの土台となったと感じている。

おわりに

以上がcvpaper.challengeの創設期のお話です。

やり方もシステムも何もかも定まっていない頃だったからこそ、泥臭く・愚直に挑戦した経験は、本当に貴重だったと思います。

改めて、この度はこのような機会をいただき、ありがとうございました！