(新しい時代の)論文の歩き方
はじめに
メディア研究開発センター（M研）の田森です。
私は一応管理職の身なので、近年は事務作業に追われ（涙）ていることを言い訳に、あまり論文を読んだり、研究が思うようにできたりしていません。
スティーブ・ジョブズの、ある演説の有名な言葉に
「もし今日が最後の日だとして、今からやろうとしていることをするだろうか」と自分に問うて「違う」という答えが何日も続くようなら、生き方を見直すべき。
というのがあります。この言葉を思い出し（？）正月の物欲にも任せてiPadを購入し、いつでもどこでも読めるよう物理的な環境だけは刷新しました。
一方で、ずっと頭を悩ましているのが「どのように論文を探してくるか？」という難題です。現在はTwitterやRSSリーダー、メーリングリストなどを、読みたいタイミングですべてチェックしています。これはこれで、セレンディピティ的にはいいんですが、なかなか興味を引く論文に出会えることがないのが今までの経験でわかっています。このチェックにも時間がかかります。
また、どうやって読んだ論文、読みたい論文を管理していくのかも課題です。以前はMendeleyを利用していましたが、その後も様々なサービスが出ているとのことなので、これを機会に再検討したいと思います。
また私はあまり英語に強い方ではないので、英語の論文を読む際には色々書き込みながら、一方であまり時間も割けないので機械翻訳（特にDeepL）を駆使しながら内容を早く把握したい、という個人的なニーズもあります。
ということで、今回は
論文を効率良く探したい（主にPC上で）
PCとiPadの両方でシームレスに管理したい
iPad上で色々書きながら、都度翻訳しながら読んで、サクッとまとめたい
というあたりで、この記事を書きながら環境の構築をしていきたいと思います。特に項目1は、いわゆるAIを使ったサービスが出てきているということなので、このあたりを中心に検討してみたいと思います。
探す
先にも述べたように、戦略としては手当り次第に見ていく、というのは結構コストが掛かることが経験上わかっています。ある程度、分野とか、Research Questionとか、あらかじめ設定した上で探していこうかと思います（←これを設定するのが一番難しいですが）。
例えば今回は「TransformerのAttentionをフーリエ変換で解析した論文はあるか」という、ちょっと難し目の問いがあるとします。これをDeepLにて英語に要約し、それを検索クエリというかResearch Questionとして、いくつかのサービスで論文を検索したいと思います。
ChatGPT
まずは、今流行のChatGPTに聞いてみました。
最終的には「検索せよ」とのことで難しそうです。できないことはできないと、潔いです。
Perplexity
PerplexityはChatGPTのように自然言語で検索できる、最近話題の検索サイトです。クエリに対して、さまざまなサイトを引用しながらまとめてくれるのが特徴です。ChatGPTと同じような検索クエリを投入してみます。
かなり近いものが得られています。Google Researchが2022年に発表した、FNetが紹介されており、きちんと引用もされています（図中[1][2]などが引用です）。FNetはAttentionの計算の一部をフーリエ変換で置き換えるという論文です。求めているものにかなり近いですが、実装に使うのではなく、得られたAttentionを周波数ドメインで分析したような論文を知りたい感じです。ただ、ChatGPTとは違い、引用されているのはとても心強い印象です。
Elicit
このサービスはResearch Questionを入力すると、それに合うような論文を探してくれるというものです。Perplexityより、研究や論文に特化したような印象です。同様の検索クエリを入力してみます。
ElicitはPC上で動作するアプリもあります。検索窓に今回私が作ったResearch Questionを入れると、似たようなものも提案してくれます。
一番左がクエリに対する答えで、クエリの内容に一番近い4つの論文を挙げてくれています。一番最初の引用はフーリエ変換に関するもので、FNetと同様、Attentionの計算の一部にフーリエ変換が使えるというものでした。その他の引用はAttentionの分析ではあるものの、フーリエ変換を使ったようなものではありませんでした。真ん中と右の列は、関連論文とその要約（通常のアブストラクトよりもだいぶ短いもの）です。
意図したものは見つからなかったものの、私の知らなかった論文でしたので満足感は高かったです。また、一番右のAbstract summaryが、時間がない中で論文を斜め読みするのにはとても役に立ちそうです。FAQも充実しており、どのように構築したかまで書かれていて興味深いです。やはり、GPT-3など、言語モデルも一部使われているようです。
まとめ
3つのサービスを比較してみました。おそらく、最初に設定したResearch Questionに関する論文がそもそもない…のかもしれないですが、それがわかっただけでも面白いですね。先行研究がないんですから、ブルーオーシャンってことです。あ、これにヒントを得た方、共同研究しましょう。
個人的にはやはりElicitが一番使いやすそうな印象です。もっとも、論文に特化したサービスなので当然といえば当然です。欲を言えば、検索結果をRSSなんかで吐き出して自動的にアラートしてくれればいいんですが…。機能がたくさんありそうなので、もしかしたら工夫すればできるのかもしれません。
ちなみに
深堀る
上記のようなサービスを調べていると、同じくして「似たような論文をビジュアル化してくれるサービス」もいくつか確認できました。せっかくなので、そちらも確認したいと思います。
Connected Papers
こちらはURLや論文名で検索すると、上で記載したとおり、近いと判断された論文がグラフの形で表示されます。内容の近さや参考文献の引かれ方などでグラフを作っているようです。
先程Elicitで検索に引っかかってきた「Transformer with Fourier Integral Attentions」を入れた結果が上記のとおりです。確かに似たような論文がずらりと並んでいるようです。
こちらのサービスは基本有料のようで、無料版は月5回まで検索ができるようです。ただ有料版でも月3ドル〜とのことで、そこまで高くなさそうです。
Research Rabbit
こちらも上記と同様で、検索クエリと似た論文や参考文献をグラフ化してくれるものです。同じ論文で検索してみます。
論文はヒットしますが、肝心の右部分「Similar Work」が出てきません。ここに、似ている論文の件数がでるようなんですが…。かの有名な「Attention is all you need」も同様の結果でした。
そこで、私が博士後期課程のときに書いた「Asymmetric Fragile Watermarking Using a Number Theoretic Transform」で試してみました。
意図したように「Similar Work」が表示され、関連論文も出てきました。嬉しいような悲しいような。不得意な分野があるんでしょうか。
なお、こちらの利用は無料のようです。またこちらはメールによる更新アラートが配信されるとか、後述するZoteroにリンクしているようで、色々と使い勝手が良さそうなのですが…。不得意分野があるとすると、今のところはConnected Papersになるでしょうか。
まとめ
論文の輪読をやっていると「次に読むべき論文」を紹介する場が出てくると思いますが、それにはもってこいですね。また、通常の検索では見逃しが発生しそうな論文もしっかりキャッチできそうなサービスです。検索とあわせて利用したいところです。
管理する
ここでは、上のようなサイトから集めてきた論文を効率よく管理するアプリを検討したいと思います。ここでは、iPad上でうまく管理、できれば読んだり翻訳したりできるようなものはないかな〜と言う観点で見ていきたいと思います。
Zotero
私は正直、このnoteを書くまで知らなかったのですが、結構スタンダードなもののようです。下の図は、MacBook上でのUIです。アプリとしてインストールが必要でした。以前使っていたMendeleyに似ています。
論文の追加は、arXivだと、Zotero純正のChromeの拡張機能があるので、それで一発です。PDFを表示させた上で、右上の拡張機能をクリックします。なお、（知らなかったんですが）最近使っているBraveにも、この拡張機能はインストールできました。
iPadにもアプリがあります。アカウントを同じく登録すればすぐに同期されます。
iPadアプリでは、PDFにも直接書き込みができます。iPadではDeepLを横に携えながらコピーしつつ、日本語も確認できます。ただ、PDFからのコピーですので、文の改行があるとそこで文が途切れてしまうのが難点です。
テキストだけを表示することもできます。ここからは、翻訳のiOS純正アプリを立ち上げることもできて、文も途切れませんが、見た目としては数式などはぐちゃぐちゃになってしまっていました。
Zoteroは人気のソフトですので、様々な連携ができるアプリです。iPadのPDF閲覧ツールである「PaperShip」や、先のResearch Rabbitとも連携できるので、色々と便利そうです。
Paperpile
こちらはWebアプリとして、ブラウザ上で利用が可能です。Googleアカウントでサインアップします。UIはどれも似ていますね…
こちらも、Chromeの拡張機能があります。また、iPadのアプリもあります。
iPadアプリ上での、PDFの閲覧画面です。Zoteroよりも若干使いやすいかな〜くらいですが、あまり変わりません。
Zoteroとちょっと違うのはテキストを表示するモードがないところ、くらいでしょうか。やはり、PDFからのコピーは、改行部分で文が途切れてしまうようです。
なお、継続利用は有料となっています。
これじゃない…感
論文管理ツールをご紹介してきましたが、個人的なニーズとしては
過去にどんな論文を読んできたか、あるいは読みたいかを記録できる
PDFにスムーズに書き込みつつ、時にはシームレスにDeepLにかけて翻訳したい
くらいができればいいです。よく考えると、これらは特にこれらのような論文管理ツールじゃなくてもできるのではないかと思うわけです。
例えば、その前段のElicitやConnected Papersでは、気になった論文をSaveしたりStarをつけたりできます。
これで十分…な気がしております。読む論文はiPad上で開いた上でブラウザから共有し、PDF閲覧ツールに飛ばせばいいわけです。なので、今回検討のフローではこれらを使うのはやめたいと思います。
iPadのPDF閲覧ツール
iPadでのPDF閲覧ツールは最終的には論文を読むツールですので、とても重要です。好みによりますのでここでは詳細をご紹介しませんが、私調べですと論文を読む方に愛用されているのが「PaperShip」「MarginNote3」「Flexcil」などがあります。PaperShipはZoteroと連携できる、MarginNote3はマインドマップが作成できるといった利点がありますが、それぞれ過剰な気がしています。私のオススメはFlexcilで、Apple Pencil対応はもちろんのこと、DeepLにコピーしても改行で文が切れない、あとはなんと言っても範囲指定がとても便利で、コピーしたりマークしたりするのがとても簡便なpen-gestureという機能があり、気に入って使っています。
かくして論文大航海時代に?
以上を踏まえ、今回、論文を次から次へと読んでいくフローとして、こんな感じにしてみました。すべてブラウザ上で完結するので、結局iPadのみで進められます。
頭の中にResearch Questionが浮かんだらメモしておく
Research QuestionをElicitにかけて、論文をいくつか見つける
Connected Papersに見つけた論文を投入し、さらに面白そうな論文を見つけたらSaveしておく
時間のあるときに、Connected PapersからPDFをダウンロードし、ブラウザから共有してFlexcil&DeepLでサクッと概要をつかむ
1に戻る（部署異動するまで続く）
最後に
様々な論文が予言しているように、GPTを始めとするいわゆる大規模言語モデルは、計算量と学習するデータ数のべき乗に比例する形で、いわば、ムーアの法則のごとく、今後も性能が向上していくものと思われます。
Elicitを始めとするサービスは、少なくともこういうものから恩恵を受けているはずで、自然言語での質問にも答えられているのに驚きです。その一方で、今回紹介したサービスはまだまだ発展途上で、セキュリティ的な問題や、倫理的な問題も発生する可能性があります。ひょんなことからご自身の研究アイデアが漏れる可能性もあるかな、とか、ちょっと思っています。ご利用は計画的に…。
最後までお読みいただき、ありがとうございました。
（メディア研究開発センター・田森秀明）