レジレポ初採択につきまして

ケント大学博士課程後期3年の今田です.この肩書をもうすぐ名乗れなくなってしまいそうで,少し寂しいです.

最近,Comprehensive Results in Social Psychology (CRSP)という,レジレポしか受け付けない雑誌に論文の採択が決まったので,自分が思ったレジレポの良し悪しや,感想について書いていきたいと思います.レジレポをトライしてみたいと思っているECRの人たちの意思決定の参考になればなと思って書いています.

参考までに,自分のレジレポ関連の経験について書いておきます;

CRSPに採択が決まった論文以外に,CRSPに別のStage 1論文が1本,別の雑誌に査読中のStage 1論文が2本あって,あとはJESPにStage 1論文を査読後リジェクトされたことが2回あります.1回目リジェクトの後はなんか飽きてしまって完全にアイデア自体をボツにしました.2本目のリジェクトは2人の査読者からとてもポジティブな査読をもらって「おっこれはminor revisionかな?」って感じだったんですが,なんか編集者に理不尽なリジェクトを決められてしまい,あああああってなって,今は前述した割といい雑誌で査読中です.あとは,直接的追試研究のレジレポをまたGilad Feldmanとケント大学の友達と一緒に書いています.

先に結論から言っておくと,研究内容次第ではレジレポが最適解ではない場合があるので,自分の目的・リソースに合わせてうまく使っていくのがいいのでは,と思っています.

割といろいろ書いていくと思うので,目次を使いながら適宜興味のあるとこだけ読んでいただければなと思います.


レジレポ投稿経験が実りあるものになるかは編集者の経験・力量による気がする

CRSPに1本採択が決まって,別のStage1論文をCRSPで絶賛改稿中です.それぞれ別々のエディターがあてられたんですが,2人とも本当に神エディットをしてくれています.CRSPの編集者陣はOpen Scienceを理解・評価していて,レジレポというシステムの価値をちゃんとわかっている人がほとんどなので,理不尽なコメントは一切ないですし,査読者と著者の橋渡しをすごくうまくやってくれています.Statistical Power, 分析法等,査読者が特に言及しなかった細かな点に関しても,的確な助言をくれました.CRSPから合計6~7回Decision Letterを受け取りましたが,「Editorial Teamと一緒に研究を作っている感」があり,査読を通して研究がブラッシュアップしていく過程が本当に楽しかったです.毎度ありがとうの気持ちで心がいっぱいになります.採択後に,感謝の意を込めたメールをエディターに送ったところ,こちらこそありがとうという旨のメールが返ってきて,なんだこの優しい世界は,と思いました.

CRSPのエディターは査読者選びにもおそらくかなり気を使っていて,今まで5人の査読者にお世話になりましたが,たまに出会ってしまう野良のオープンサイエンスアンチみたいな人にCRSPで出くわしたことはありません(他では出くわしたことがあります).みんな,レジレポの仕組みをわかったうえで,非常に建設的なコメントをくれました.

自分の論文の内容にも疎く,レジレポ・オープンサイエンスに関心がなさそうな編集者にとある雑誌でStage1論文の面倒を見てもらっているのですが,最初の投稿から1年以上が経過しましたが,1回のrevisionをしたものの,まだmajor revisionで現在絶賛改稿中(撤回を視野に入れつつ)です.何が起きたかもう少し詳細に書くと

Round1(査読を待つこと7か月)
査読者1:”まあ内容悪くないけどこの雑誌に出すにはインパクトたりない”系のコメント
査読者2:全体的に建設的でありがたい査読

Round 2:
査読者1:いなくなる
査読者2:アクセプト
査読者3(!):全体的に建設的でありがたい査読
査読者4(!!):ちょっと厳しめのコメント多

↑今ここになります.
おそらくですが,編集者が査読者1のコメントと離脱(?)を受けてかなり慎重になったんだと予想しています.査読者3はまだしも,4人目が出てきたときはさすがに驚きました.

ちなみにですが,CRSPで採択された論文は,査読者1&2がStage 1の査読をして,査読者1&3がStage2の査読をしてくれました.編集者から,3人目はオープンサイエンスに素養があって論文の内容にも詳しい人に新しく入ってもらった,的な説明がちゃんとありました.

大した経験があるわけではないですが,編集者・査読者がレジレポというシステムの理解しているか否かが,査読プロセスの有意義さに大きな影響を与えることは間違いない気がしています.なので,あんまりレジレポ出版業績がない雑誌にトライするのはちょっとリスキーな気がします.社会心理学系のレジレポはもうこれから全部CRSPに出そうと思っているぐらい,CRSPでの査読プロセスは他の雑誌に比べてとびぬけてRewardingでした.(Collabraのエディター陣営も素晴らしいので,Collabraもよさそうだなとは思ってますが,あんまりお金ないので...)

どんな研究をレジレポにしているか

世の中には,「Open & Rigorous Science!全部プレレジ!全部レジレポ!」的なテンションの人たちがいますが,自分は割と冷めていて(Open & Rigorous Scienceはしたいし,できる限りプレレジもしたいし,レジレポもできる限り使っていきたい所存ではある),ECRとして戦略的に利用しています.ここでは,自分がどういう研究をレジレポにしてきたのかについて書いていきます.

1発モノ

1発モノ,というのは「1実験=1論文」型の論文のことを指します.やっぱり社会心理学系のよい雑誌ではShort Report系がどんどん撤廃されてきて,実験1本で論文を出版するのはだんだん難しくなっている気がしています(すご~く質がよくて重要な実験はNature/Science系で1発モノとして出版されますが,自分はまだすご~く質がいい1発モノをやったことがありません...修行します...).なので,1発モノをやりたいときにはレジレポが最適解になりうるケースが多いかと思います.

やっぱり研究課題によっては,1つの実験では語りたいことが語れないケースがあるので,無理してレジレポにする必要はないかなと思っています.もちろん,いくつか実験をやってそれをPilotとした上で,最終実験をレジレポとして投稿する(このパターンはJESPで出版されるレジレポに多い気がします),というのも全然ありかと思いますが,自分だったら,そこまでやったなら最終実験をゴリゴリにプレレジして普通の論文として出版することを目指してしまいます.APA系のいい雑誌ってまだレジレポやっているとこが少ないでので.

直接的追試

とくにコメントすることないです.最近パーソナリティ研究が直接的追試のレジレポを始めたのをみて,編集者やりてー!って思ってます.半分冗談です.

リスキーなやつ・内心自分の仮説が支持されないと思っているタイプのやつ

最近変わりつつあるもののの,非有意な結果にやや抵抗感を感じていらっしゃる編集者・査読者の方々はまだ多いです.そんななかで,自分の仮説が支持されるかぶっちゃけ自信がない実験や,仮説が支持されなさそうな実験をお金と時間をかけてやってしまうと,最悪の場合この努力と金が全部無駄になってしまうわけですよ.嫌ですよね.こういうタイプの実験に向いているのがレジレポかなと思います.どんな結果になろうと,出版してくれるので.

参考までに自分が今まで書いたレジレポのプロファイル(?)を簡単に書いておきます

論文1:2つの派閥(?)が長年戦ってきた分野で,その派閥を戦わせるタイプの実験

論文2:同上

論文3:同上.あとめちゃくちゃ金かかる.

論文4:とにかく仮説がたくさんあって,絶対全部きれいに支持されなさそうなやつ(CRSPにて採択: https://osf.io/u3yxt/

論文5:割と引用されている過去の論文の概念的追試+Extension (追試されなさそうだな~と思ったりしている)

論文6:とても引用されている過去の論文の直接的追試

まとめると,自分はいつも,「レジレポを書こう!」と思ってレジレポを書く,というよりは,「うーんこの研究内容だったら,レジレポのほうがいいかな~」と思ったときにレジレポを利用する,という感じです.

レジレポを書いて学べたこと・変わったこと

プレレジが楽になった

自分がプレレジをするときは大体"Open-Ended Registration"を使っています.これは完全に自由記述方式なので,面倒な穴埋めをする必要もなければ,読み手からするとわかりにくいプレレジにならなくて済みます(褒められたことではないですが,実験によって何をプレレジするかを変えているので,このテンプレートが気に入っています.もちろん論文では何をプレレジして何をプレレジしていないのかしっかり明記しています!).レジレポの簡略化のつもりプレレジをするようになってから,プレレジをするのがとても楽になりました.

細かいけど大事なことがたくさんあることに気づいた


レジレポを書く過程で気づいた,細かいけど大事なこと, つまり ”自分が詳しくなかっただけで,ちゃんと知っていなければいけなっかためちゃくちゃ大事なこと”を箇条書きします.

Reliability alpha vs. omegaの話
実験時間で参加者を分析から除外するときの方法の話
参加者計画の話
ベイズ統計の話
confirmatory vs exploratory researchの話
プレレジから外れたくなった時の話

他にもいろいろありますがこれぐらいにしておきます.

この手の話ってレジレポじゃなくてもめちゃくちゃ大事なことなので,実際に手を動かしてオープンサイエンスをやるなかでいろいろなことを勉強できました.レジレポ書く前から知っとけボケ!って怒りたくなる人がいるかとは思いますが,ECRなのでそこは大目に見ていただければと思います...


今回はこの辺にしておきます.
現在とあるサマースクールに参加中で,頭も体も限界状態で書いているのでもしかするととんでもない誤字とかあったかもしれません.大目に見てください.








この記事が気に入ったらサポートをしてみませんか?