見出し画像

とあるレジレポの数奇な運命

これは「Open and Reproducible Science Advent Calendar 2020」の12/11の記事です。
この記事は,とあるレジレポ論文の数奇な運命 (の途中) をまとめたものです。

長いかもなので忙しい人向けの要約

コロナのせいで,暫定的採択 (IPA) されたレジレポを取り下げざるを得なくなる。そのことをプレプリ (のちにFrontiers in Research Metrics and Analyticsに掲載) で愚痴ったら,それを見たChris Chambersが自分がエディタしてるRoyal Society Open ScienceにIPAを移行させようと提案してくれる (まさに捨てる神あれば拾う神あり)。Chris Chambersが,元雑誌 (Consciousness and Cognition) や出版社 (Elsevier) と粘り強く交渉してくれた結果,おそらく史上初であろう雑誌間でレジレポの移行IPAがここに成立!レジレポは雑誌からある程度自由になった方がいいかもしれない!あと何かあれば我々は研究者なので論文という武器を手に立ち上がろう!


レジレポ

レジレポ (= 査読付き事前登録) の認知度も以前よりは高まってきたのではないかと思います。もしご存知でなければ,こちらの心理学評論の特集号のエディトリアル論文 (三浦ら, 2019) に詳しく説明がなされています。と言いつつ,私も手を抜かずにちゃんと簡単に説明します。レジレポでは,実験・調査前に目的・仮説・方法などをまとめた論文 (プロトコル論文) を学術誌に投稿し,査読を受けた後にパスしたら (暫定的採択,accepted in principle,in-principle acceptance (IPA) などと表現されます),内容を第三者機関に登録した上でそれに沿って実験・調査を行います。そして,実験・調査後に結果と考察を追加して (フル論文),再びその雑誌に再投稿し,査読を受け,掲載されるという流れになってます。

画像1

Center for Open Scienceより引用

レジレポの最大のメリットは,各種QRPs (p-hackingとかHARKing) を防げるという点です (レジレポもハックされる可能性が無いわけではないのですが)。ちなみに,プロトコル論文が一度暫定的採択されれば,その研究は原則的には (結果がどんなものであれ) 論文掲載が約束されます。例えば,Yonemitsu et al. (2020) とか Liu et al. (2020) とかは,フルフラットヌルリザルトでも元気に掲載されてます。つまり出版バイアスの解消にも貢献できるわけです。大事なことなのでもう一度言いますね。プロトコル論文が一度暫定的採択されれば,その研究は原則的には (結果がどんなものであれ) 論文掲載が約束されます。はい,察しの良い皆さま (や私のツイッターでのぼやきをご覧になった方々) はお気づきかと思いますが,例外があったわけです・・・。


私のオリジナルレジレポ

あれは,2019年の春辺りです。身近でレジレポ追試研究やってる人も結構いるし,私自身も着手し始めた頃でした (佐々木ら, 2019)。そんな中でふと「レジレポは追試だけのものでもないし,やっぱりオリジナル研究でもやってみないといろいろわからんよね」と思い,当時の同僚である中村航洋さんとラボPIの渡邊克巳先生をそそのかし,一緒にオリジナル研究でレジレポをやってみることにしました。今思えば何故なのかよくわかりませんが (まあテーマか),伝統的な雑誌でやってみたいなと思い,Consciousness and Cognition (コンコグ) をターゲットにしてみました。かなり紆余曲折ありましたが,2020年の2月4日にめでたくコンコグに暫定的採択されました。ちなみに,査読過程で必須サンプルサイズが爆上がりし,予備実験1つ + 本実験1つ (いずれも実験室実験) なのにトータルでN = 332が必要ということになり,認知心理学実験ではまあなかなか無い事態なりました。そんなこんなで,「俺たちの戦いはこれからだ」という意気込みで実験を開始しようと考えていました。が・・・その実験,まだ開始 (はじ) まっていません・・・。そう,コロナっす。


コロナに脅かされたレジレポ

コロナで私たちの研究を取り巻く状況も大きく変わったと思います。今は実験室実験も動いている状況のところもチラホラある感じですかね?(ちなみに私はまだ動けていません) ただ,当時はそんな状況ではなかったと思います。実験したいけど無理,しかしフル論文の締切は待ってくれないわけです (ちなみに最初に設定された締切は2ヶ月後の2020年4月4日で,延長依頼をして2020年9月7日まで延ばしてもらいましたが・・・まあ・・・)。どう考えても無理だなと思い始めたので ,6月末あたりからもろもろの交渉を開始しました。

佐々木「実験室実験じゃなく,オンライン実験でやっちゃダメ?」*1 
アクションエディタ「いやあ・・・それなら一回取り下げて,再度査読受けて」

うんうん,わかるわかる。それなりの変更ですし,そりゃそうですよね。ただ,こっちに非もないのに取り下げたくない。

佐々木「じゃあ実験室実験のプランは維持するけど,さすがにこの状況やばいの分かってくれるよね?(そっちも大変やろし) だからコロナ落ち着くまで待ってもらえんかね?」
チーフエディタ & アクションエディタ「ちょっとオープンエンド締切はこわいな・・・なので待てても12月か1月くらいまでやね」

ちょっとあんた無茶言いなさんな!!!!!!*2

 と思いましたが,何を言っても梃子でも動かない。というわけでは,我々には12月 or 1月までの可能性にかけるか,即時取り下げ (& オンラインに変更後再投稿) しか選択肢はありませんでした。12月 or 1月までに収束し,332名のデータを取ることなんておそらく不可能なように感じたので,我々は泣く泣く取り下げました。レジレポの取り下げは,査読付き論文1本を失うのに等しいと個人的には思っているので (コレのようにかなりの労力を必要とするケースもありますし,この論文も2Rとも重かったです),Early Career Researchersにはかなりの痛手なわけです (著者に非のないものだとやるせなくなりますね)。あと,こうなってくるとデータを捏造してでも間に合わせようとする人が出てくる可能性もあるわけです (マジ本末転倒ですよね)。つまり,レジレポシステムの綻びを生むような事態です。


ぶつけようのない怒りを込めに込めた意見論文から再び動き出す

経緯について先輩であるyy氏と議論する (というか愚痴る) 中で ,なんとなく件の事態に対する解決策の道筋が見えてきました。そこで速やかに意見論文としてまとめ,プレプリを公開し,学術誌に投稿してみました*3。我々も割とそこそこの頻度でプレプリ出してるんですが,たいてい泣かず飛ばすでそんなに注目もされないですw*4 インフルエンサーすごい。今回もそうだろうと思いコソッと陰口的に出してみたんです (実際今回も例に漏れずひっそりとしたものでした)。ただ・・なんと・・・今回はとてつもない人物の目に触れることになります。そう,Chris Chambersです*5。ご存知の方も多いかと思いますので色んなことを割愛しますが,近年彼はかなりレジレポ方面で活発に動いており,CortexRoyal Society Open Science (RSOS) のレジレポエディタを務めていたりします*6。ある日,Chris Chambersからメールが来ました。

Chris「プレプリ見たけど,まじ残念やったね。あのさ,自分がエディタしてるCortexかRSOSにIPAを移行してみない?

ま じ で す か

「捨てる神あれば拾う神あり」とはまさにこのこと。もちろんこの提案は論文的にも非常に有り難いのですが,それ以上に雑誌間でのIPA移行など史上初の試みです。こんなの興奮しないわけない。すぐに「おなしゃす」と返事し,あわせて原稿を送りました (その結果,RSOSが良さそうねという話になりました)。そこからのChrisの動きはすさまじかったです。RSOSにはあっという間に話をつけたのちに,コンコグのチーフエディタとアクションエディタとの交渉を開始しました (しかもコンコグ査読時のレビュアも含めて移行させるために,レビュア宛への手紙まで準備してました。RSOSはコンコグとは違いオープンレビューなので,そのへんの説明やケアなども含めたものでした。すごすぎ)。一応,コンコグのエディタも前向きっぽい返事はしてくれるものの「うーん,雑誌名出されると」「我々的にはいいけど,Elsevier*7が何と言うか・・・」という何とも煮え切らない感じでした。これに関してもChrisは,「そもそも,おたくの規定に取り下げたレジレポでもアブストは載るって書いてあるわけで,こっちでフル論文載ったらどうせ絶対紐づくんだから,隠す意味ないっしょ。あと,今回の件を著者たちがどう公表するかは彼らの自由!」「いいよ,Elsevierも交えて話しようや」とすべて打ち返してくれました (はい,しびれますね)。途中,(たぶんコンコグ側が若干めんどくさくなったのか) メールが返ってこなくなっても,2週間空いたら必ず「ねえ,あの件どうなってんの?」とリマインダを入れてくれてました。そんなこんなで,意見プレプリ公開から3ヶ月後,ようやくコンコグ・Elsevier・レビュアの同意がとれ,RSOSも最終的に問題ないことを確認した上で,史上初の雑誌間IPA移行が成立しました!(Sasaki, Nakamura, & Watanabe, accepted in principle) 途中,佐々木もほんの少し頑張ったけど大した盛り上がりもないので割愛。


締めの所感

雑誌間IPA移行はレジレポが雑誌の縛りから解放されたことを意味しているのかなと思います。これからこういう方向に動いていくかもしれません (ちなみに実際にこの類の動きはあります。おそらくyy氏がそのうちどこかに書いてくれるはず)。ちなみに,ここまでの文章で私が今回の件でコンコグに対してネガティブな印象を持っているように思われたかもしれません。実際のところそんな印象は全くもっていません (「本当か?」という声が聞こえてきそうですが,まじです)。オープンエンドの締切はたしかに雑誌側からすると怖いところはあると思います。またレジレポは原則的には,プロトコル論文とフル論文は同一のエディタ・レビュアがアサインされます。しかし,期間があけば捕まらない可能性も高くなってきます。あと,確認できる範囲では我々のレジレポがコンコグの初だったっぽいです。したがって,色々と勝手がわからないところはあったんじゃないかなと思います。一方で,レジレポのプロトコル採択段階とフル論文投稿までの間に,不測の事態が起こることは常にありえるんじゃないかと思います (今回のパンデミックのような世界規模の話から,ローカルな話,パーソナルな話などいろいろあると思います)。そのたびに,取り下げが起こると,ただでさえ嫌厭されがちなレジレポなのに,さらに誰も利用しなくなると思います。意見論文内でも提案してますが,個人的にはプロトコル論文と結果・考察込みの論文を独立的にパブリッシュさせる (分業体制; Ikeda et al., 2019; Sasaki & Yamada, 2020; Yamada, 2018, 2020) のが良いんじゃないかなと思っています*8。つまり,実験ができる状況の人がやればOKなんじゃないかなって話です*9。もちろんプロトコル論文の著者がそのまま実験をやれるならそのままやればいいし,それ以外の人も興味を持てば実験して論文として公表できるようなそんな状況が良いんじゃないかなと思ったりしてます。「かぶったらどうするんだ?」って思う方もいらっしゃるかもしれませんが,かぶっても良いんじゃないですかね。ある意味,マルチラボで実施しているような形になるので,同時に知見の頑健性も確認できるようになるわけですしね。最後になりますが,今回強く感じたのは,何か思うところがあればちゃんと論文として公表するべきということです (せめて発表)。やっぱり学術の俎上に載せることで,新たな議論やムーブメントを生むんだなというのを実感しました。というわけで長くなりましたが,私の話は以上です。とりあえずデータ収集がんばります。


脚注

*1これで変更が認められた計画もあったりします。Yoshimura et al. (in press) とか。
*2現に12月現在,全国的に(特に著者陣のいる大阪・東京) 再びシビアな状況になってますよね。
*3いくつもの雑誌に落とされながらもちょっと前にFrontiers in Research Metrics and Analyticsに掲載されました!(共著者のyy氏からは「佐々木氏の執念と怒りとジャーナリズム精神,先生に言いつけ精神には頭が下がる」と揶揄,もといお褒めの言葉をいただいた)  ちなみに,あまりにもリジェクトされすぎたせいで血迷ったのか,某雑誌投稿時に査読者を45人サジェストするという暴挙に出たこともありました。今考えるとおかしい。
*4たいてい「宣伝ツイートしても身内を除くと3いいね」とネタ化してます。
*5このときは奇跡的にDaniël Lakensからも温かい励ましの言葉をもらいました。
*6今回のコロナ状況下でもいち早く迅速査読機構を伴ったコロナレジレポ特集を色んな雑誌を巻き込んで展開させたのも彼です。Yonemitsu et al. (2020) はまさにChris Chambersにエディットをしてもらいました。査読はしんどかったけど,彼のアクションは迅速,誠実,そして建設的でした。まじ神。
*7Elsevierは当初「レジレポ,なにそれ?おいしいの?」状態でした。まあそうですよね。
*8ちなみにF1000Researchはまさにそんな感じです (Guo et al., 2020a, 2020b)。まだわかりませんが,もしかするとPeerJもそうなるのかも? (Yang et al., 2020)
*9これは,心評で直接的追試レジレポ (佐々木ら, 2019) を行ったときにも思いました。この追試は左利きを72名集めるという非常に大変なものでした。全体の10%という話ですが,実際にはそれよりも遥かに少なかったです。左利きの被験者プールなどが仮に存在し,そこにアクセス可能な人がいれば,自分よりスムーズに遂行できるんだろうな・・・と思いました。

この記事が気に入ったらサポートをしてみませんか?