2023年12月20日に公開されたNatureの論文「Online searches to evaluate misinformation can increase its perceived veracity」（Kevin Aslett1, Zeve Sanderson, William Godel, Nathaniel Persily, Jonathan Nagler,Joshua A. Tucker、 https://doi.org/10.1038/s41586-023-06883-y ）を読んで参考になった。すでに日本で紹介している人はいたが、メディアでは取り上げられていなかったので取り上げてみる。最初に申しあげておくと、この論文はかなりきっちり調査研究している。事前登録もしているし、事前登録していなかったものについてはその旨を記載して探索的手法を用いている。すごいのはひとつの問題に対してあらゆる角度から可能性を確認している点だ。たとえばリテラシーの有効性を評価する多くの調査研究で「誤・偽情報」の判別を行っているものの、「真」の情報の判別を行っていないことが少なくない。この論文ではそれもきっちりやっている。

●実験の概要

ニュースを評価するためにネットで検索することをSOTEN（searching online to evaluate news）とこの論文では読んでいる。SOTENに関して5つの実験を実施した。

・実験1

　情報の公開から48時間以内の大手メディアと信憑性の低い情報源から3つの記事を被験者に提示して評価させた。48時間以内としたのはファクトチェックの結果など充分に信頼できる情報が公開されていない記事にするためである。被験者は2つのグループに分けられ、片方には検索するように言い、片方にはなにも言わなかった。その結果、検索したことで誤・偽情報を真と判断する確率が19％増加した。

・実験2

　同じ被験者に対し、まず検索しないで判断するようにすすめ、その後検索するようにすすめた。これにより、すでに信憑性を判断した記事の評価が検索によって変化するかを確認した。その結果、最初に誤・偽情報を誤と正しく判断した被験者の17.6％が検索後真だという誤った判断に変化した。逆に、最初誤って真と判断した被験者が検索後正しい判断に変化したのは5.8％に留まった。

・実験3

　公開後、3〜6カ月経過した記事を評価してもらう実験を行った。検索によって誤・偽情報を真と判断する率は18％増加した。

・実験4

　コロナ禍の最中にもっとも関心が集まっているコロナに関する健康、経済的影響、社会的影響に関する記事を対象に行われた。公開後72時間以内に記事を被験者に評価してもらった。検索の結果、誤・偽情報を真と判断する確率は20％増加することがわかった。

・実験5

　検索に際して、どのような検索を行ってどのサイトにアクセスしたかを確認するため、この実験用に開発した測定用プラグインをインストールしてもらい、被験者の検索行動を追跡した。公開から72時間以内の大手メディアと信憑性の低い情報から人気のある記事を3つ被験者に提示した。真の記事について検索すると、信憑性の低いリンクに触れる確率は15％だったが、誤・偽情報を検索した場合は38％と大幅に高かった。誤・偽情報を真と判断する確率は検索結果が信憑性の低いサイトが多い場合は高くなり、信憑性の高いサイトばかりの場合は低くなる。

これらの結果から検索を行うことで誤・偽情報を信じる可能性が高くなることを示しており、それは記事の公開時期、テーマが異なっても同様に見られる傾向だった。一度誤と正しく判断しても、その後検索することで判断を翻して誤ってしまうくらいに検索行為の効果はある。逆に真の記事を真と判断する確率は検索による効果は一貫した効果は見られなかった。
この傾向は検索結果に信憑性の低いサイトが含まれていると強く、信憑性の高いサイトが多いと弱くなる。

その他にわかったことは下記。

・誤・偽情報の見出しやURLなどを検索に用いると、信憑性の低いサイトが検索結果に出やすくなる。これはデータ・ボイドと呼ばれる検索サービスやSNSの検索、レコメンデーションに潜む脆弱性で、検索されることが少ない言葉や組み合わせ、そもそも該当するコンテンツが少ないと、信憑性の低いものでも検索上位に表示されることになる問題。
データボイド脆弱性はデジタル影響工作で狙われるポイントのひとつでありながら、なぜか実態も対策もあまり研究されていない。なお、SEO同様データ・ボイド攻撃技術も精緻化されているので、あらためてそれだけで紹介したい。

・信憑性の低いサイトの真のニュースに対する効果は大手メディアよりも高い。

OAnonなどの陰謀論は「自分で調べる」ことを推奨しており、陰謀論をより強く信じさせる結果につながっている。

●感想

情報戦や認知戦、デジタル影響工作対策の主流になっているのはファクトチェックとリテラシーだが、その効果は必ずしも保証されていない。効果あるという仮説があるだけとも言える。

10の偽情報対策の有効性やスケーラビリティを検証したガイドブック
https://note.com/ichi_twnovel/n/n01ce8bb38ef3

この論文は示唆に富んでいるし、解釈や解釈を元にした対策もいろいろ考えられそうだ。
ちなみに下記の論文や私が過去に拝読したレポートなどを見た範囲ではリテラシーが誤・偽情報対策に役立つ検証を行った調査には3つの問題のいずれかがあるいは全てが含まれていた。

「Thinking clearly about misinformation.」（Commun Psychol 2, 4 (2024). https://doi.org/10.1038/s44271-023-00054-5 ）

1．真偽判定のサンプルが短いテキストであり、実際の誤・偽情報と異なる。
2．真偽判定のサンプルがテキストのみで、動画や画像などが含まれておらず、実際の誤・偽情報と乖離している。他にもサイトデザインやブランドの信頼度などの要因はすべて排除している。
3．真偽判定と言いながら提示されるのは「偽」のみであるため、「真」を選ぶ能力を判定できていない。

今回の論文はこの3つの問題を見事にクリアしており、それだけでも素晴らしいと感じた。

関連記事

5年間ほとんど放置されていた情報戦兵器データ・ボイド脆弱性とはなにか？　その1
https://editor.note.com/notes/nf5e0789e96e1/edit/

実態編　データ・ボイド脆弱性とはなにか？　その2
https://note.com/ichi_twnovel/n/n3523739724f1

ニュースの信憑性を調べるために検索すると偽情報を信じる可能性が高まる Nature論文
https://note.com/ichi_twnovel/n/na023c6fdc4d5

人はニュースよりも自分の事実確認能力を信頼している、という記事　ジャーナリズム不信とデータ・ボイド
https://note.com/ichi_twnovel/n/na023c6fdc4d5

好評発売中！
ネット世論操作とデジタル影響工作：「見えざる手」を可視化する
『ウクライナ侵攻と情報戦』（扶桑社新書）
『フェイクニュース　戦略的戦争兵器』（角川新書）
『犯罪「事前」捜査』（角川新書）＜政府機関が利用する民間企業製のスパイウェアについて解説。