昨日の勉強会では各所で話題になっていたTable 1作成の論文と、併せてTable 2 fallacyについての発表。抄読会ではJAMA Netw Openの川崎病予測モデルの研究。結構テーマが発散しがちなのが悩みではあるんですが、自分の研究や会社の研究に沿っていればなんでもいいよとしています。あまり狭めると面白くないっていうのもあるので、自分の得意分野や自分が面白いと思ったものを出して欲しい。以前のテーマであった会社の作り方や知財特許、マッチングアプリの作成なんかは非常に面白かったです。

Table 1の作り方

Table 1作成に関しての具体的な話は、上記論文をベースにした下記記事などによくまとまっているので割愛。論文マニュアルにもまとめておきました。

ここに書いてあることは一通り紹介してもらった上で、いくつか追加質問があったので補足。勉強したことに対して自分なりの疑問を持ってきてもらえるとみんなの勉強になるので歓迎です。

1. Table 1にP値や信頼区間を入れなくていいか？

僕は基本入れていませんが、査読者が求めてきたら入れています。信頼区間に関しては質問の意図次第です。Representative sampleなどで母集団における信頼区間を推定したいなら入れればいいし、しないなら入れなくていいと思います。

2. Table 1に入れる変数の数

A4 1枚に収まる範囲で、でしょうか。査読していても2枚に跨っていると非常に読みづらい。記述研究などで仕方ないときもありますが、多すぎると思ったらsupplementalに入れて、主な変数だけを抜き出したTable 1にすることもあります（たまに査読者に同じようなテーブルが二つもあるのはおかしい、とも言われますが）。

Table 2 Fallacy

Table 2の誤謬（誤った考え方）とでも訳すのでしょうか。以前から言われていましたが、周知されるようになったきっかけはNatureのCOVID-19に関する論文が発端。

下記ツイートでKRSK先生がTable 2 Fallacyとは何か、なぜ問題か、を示してくれています。長崎大学佐藤先生の回帰分析からわかること、のスライドも併せて。

この話を理解するには因果推論というフレームワークと診断・予測のフレームワークの違いを理解していないといけないので、全くの研究初学者にとっては「？？？」となる話かと思います。

上記コロナの論文でもsmokingのeffectがおかしいよね、だからこの研究はおかしいのではないか、ってことに気づけるかどうかという話なんかも議論しました。

1. 「予測」のフレームワークならいいのか？

これは結構なんと答えていいのか難しいのですが、予測モデルに何を求めてどう利用するか次第な気がします。できるだけ正確に予測したいのか、リスクカテゴリに振り分けたいのか、新たな診断・予測指標の話をしたいのか。例えばロジスティック回帰を用いた予測モデルだと個々の因子のオッズ比が算出されるので、それを予測因子の強さと説明している研究が多いでしょうか。男女の性別と血液検査の値を同列視して大きい小さいというのも気持ち悪いですし、血液検査の大きさも単位を変えればオッズ比の数字も変わります。

サンプルの抽出やランダムシードによって数字も容易に変わりますし、その一回の値だけでいいのか？という疑問もありますが、現状はそのように研究がなされて、そしてそのモデルを各所で検討しているというのが現在の実情かなと（実際はほとんどのモデルで検討されていませんが）。臨床における診断予測モデルなら臨床現場でどう用いるか、が基本でしょう。それがない診断・予測の研究は受け入れられにくいという話と思っています。

個人的には、診断予測系の研究は学会などが主導で本当に必要とされているモデルを同定し、それに対してチームを作成してモデルを開発し、各施設で妥当性を検証し、かつrecalibrationすることではないかなと思います。日本集中治療学会の死亡リスクを評価するためのJRODスコアとかいいですよね。

2. 本当に全く見なくていいの？

僕はあまり詳しくないのですが、研究者によってはバイアスに関する評価を行うために出すべきという意見もあります。

救急外来で川崎病を診断するための機械学習モデル

この論文、モデル自体はよく用いられるXGBですが、class imbalanceにfocal lossという手法を用いています。

それよりもちょっと驚いたのが、pyureaの寄与がめちゃくちゃ大きい。小児救急から離れて久しいですが、こんなに高いの？って思いました。2000年台から川崎病におけるpyureaの報告は結構ありますが、ちょっと驚きです。