本文章は、シグナル&ノイズ 天才データアナリストの「予測学」（ネイト・シルバー著）の内容を要約しております。

カオス理論の発生

天気の予測では、時間が1週間を超えると、カオス理論が優位になるようだ。
例えば、全米自動車競争協会（NASCAR）のサーキットを考えてみてほしい。
レースカーそれぞれが、様々な天候システムを表しているとする。
レースが始まってしばらくは、スタート位置と順位は大きく変わらないため、誰がどの順位にいるかを予測するのは比較的簡単だ。
しかし、クラッシュやエンジントラブルがたまに起こるため、完璧に予測することは難しい。
ただ、全く無計画に予測するよりはずっと正確だろう。
レースが中盤に差し掛かると、状況は複雑になり始める。
順位が逆転したり、周回遅れの車が出てきたりする。
こうなると、レースの初めの状況はもはや関係がない。
同じことが天気予報にも言える。
時間が経つにつれて、最初の天気パターンは変わり、予測モデルが役立たなくなるのだ。

コンピュータによる箇条なフィードバック

1週間経過すると、コンピュータの予測能力が非常に低下することは驚きだが、実際にはマイナスになっているという研究結果もある。
何もしないで過去の平均値だけを信じていた方が、より良い結果をもたらすかもしれない。
なぜこのような現象が起きるのだろうか？
コンピュータプログラムが、自然なフィードバックを模倣しようとするあまり、過剰なフィードバックを引き起こしてしまっているのかもしれない。
つまり、時間が経つにつれて、本来の信号は失われ、ノイズが増していくのだ。

長期予報が信頼できないのであれば、民間のウェザーチャンネルやアキュウェザーが10日間や15日間の予報を提供する理由は何かという疑問が残る。
ローズ博士は、特に悪影響はないため、それらを提供していると考えているようだ。
過去の平均値をそのまま予報として使っても、消費者にとっては何かしらのメリットがあるかもしれない。

天気予報の「雨バイアス」

民間の天気予報において、どれほどの精度があるかは、統計的な現実としては必ずしも重要ではない。
消費者が正確だと感じることに価値があるのだ。
例えば、民間の天気予報では、「降水確率50％」という表現はほとんどしない。
消費者には決断力がないように映るためだ。
そのため、正確さや正直さを多少犠牲にしても、「60％」や「40％」などと表示することが多い。
こうした数字の操作があり、民間企業の天気予報には意図的なバイアスがかけられている。
特に降水確率に関しては、実際よりも高く見積もられていることがある。
気象学者はこれを「雨のバイアス」と呼んでいる。
一般に、公的機関の予報との差が大きいときほど、このバイアスは強くなる。
民間企業の予報は、「価値を追加するために正確性を削る」というやり方を取っているのである。

キャリブレーション（調整）

バイアスのある予測を見分ける方法について、重要なテストがあります。
それは「キャリブレーション」と呼ばれるものです。
例えば、「40％の確率で雨が降る」という予報が出た場合、実際にどれくらいの頻度で雨が降るかをチェックします。
もし実際に予報された確率と同じ40％の頻度で雨が降っていたら、その予報は正確にキャリブレートされていると言えます。
しかし、20％や60％の頻度でしか当たらなければ、そうではありません。

どんな分野でも、キャリブレーションを正確に行うのは難しいものです。
確率的な要素を正しく考慮する必要がありますが、これは予測の専門家も含めて、多くの人が苦手とする部分です。
多くのデータが必要であり、何度も予測を繰り返さなければならないからです。

気象予報士は、この基準を満たしています。
彼らは毎日何百もの都市の気温や降水確率を予測し、一年間で数万もの予測を行います。
予測の頻度が高いほど、その正確性を評価しやすくなります。
これは予測者にとってもメリットがあります。
なぜなら、自分たちの間違いに気づき、それに基づいて予測を修正していけるからです。
例えば、あるコンピュータモデルが雨の予報を多めに出していることに気づいたら、そのバイアスを補正する方向で予報を修正することができます。
そして、過去に過信していたことにも気づくことができるでしょう。

国立気象局の予測は見事にキャリブレートされています。
降水確率が20％だと言われたら、本当に20％の頻度で雨が降ります。
気象局はフィードバックを上手に利用し、予測が正直で正確になっています。

天気予報における経済的バイアス

ウェザーチャンネルの気象学者たちが、特定の状況下でデータを少し操作しているようです。
たとえば、過去のデータを検証したところ、「降水確率20％」と予報された日の実際の雨の降った確率は5％しかなかったことが分かります。
ウェザーチャンネル自身も、これが意図的なものであることを認めているでしょう。
こうした行為の背後には、経済的な動機があるのです。

普通、人々は天気予報が外れたとき、特に「晴れ」と予報されたのに雨が降ってしまい、計画が狂ったときにそのミスに注目します。
予期せぬ雨でピクニックが台無しになれば、天気予報を責めることでしょう。
しかし、予想外に晴れれば幸運だと感じます。
科学的観点から見れば疑問が残るものの、ローズ博士はこう前置きして言います。
「予報が完全に客観的で、降水予想にバイアスがまったくない場合、おそらく我々は困るだろうね。」
それにもかかわらず、ウェザーチャンネルは比較的保守的な組織で、一般には正直な情報を提供しています。
ただし、たまに雨が降る可能性に備え、予報される雨の確率をわずかに盛って伝えることがあります。
例えば、実際には5％または10％の可能性の場合でも、20％と報告することがあるのです。
しかし、そのような場合を除けば、ウェザーチャンネルの予報は適切にキャリブレートされています。
降水確率が70％と報告されたときは、その数値をそのまま信じても問題ありません。

地方のニュース番組での天気予報には問題が多く見られます。
これらの予報では明確なバイアスが存在し、正確性と正直さが犠牲にされています。

例としてカンザスシティを見てみましょう。
この都市は、非常に暑い夏、寒い冬、トルネード、干ばつがあるなどの激しい天候変動で知られ、また大手ネットワークの番組が放送されるほどの大きな市場です。
あるとき、J.D.エグルストンという人物が5年生の娘の宿題を手伝ううちに、地元のテレビ局の天気予報を記録し始めました。
これが面白いと感じた彼は、7ヶ月間その記録を続け、結果をブログに投稿しました。

彼の発見によると、テレビの気象予報士たちは正確さを重んじていませんでした。
彼らの予報は、インターネットやテレビで無料で得られる国立気象局の予測よりもずっと精度が落ちていました。
キャリブレーションもひどい状態でした。
エグルストンの調査結果によると、カンザスシティの気象予報士が「100％雨」と予報した場合、実際には3回に1回は雨が降らなかったのです。

気象予報官たちは自分たちの正確性の欠如について謝罪しなかった。
「気象予報官を採用する際、正確性は評価の対象とはならない。プレゼンテーションの能力の方が重要だ」とのことです。
エグルストンに別の予報官は「視聴者にとって正確かどうかは重要ではない」とも述べました。
要するに、天気予報はエンターテインメントであり、たとえバイアスがかかっていても、それが良い番組となれば、誰も気にすることはないのかもしれません。
そもそも天気予報が当たるとは思われていないのに、なぜ正確性にこだわる必要があるのでしょうか。
テレビの予報官は、視聴者が予報を信じていないから正確性を重視しないと言いますが、視聴者は予報が当たらないから信じていないのです。