林さんのポスト。

フレーム補間が生むデジタルの嘘を比喩的に切り取っています。カメラは光を”記録”する装置であり、その存在の情緒を鋭くとらえる視点だと思います。共感もできます。しかし、それと同時に違和感を持ちました。今回この記事では、その違和感に迫ってみます。あらかじめ断っておきますが、林さんのこのポストは表現として優れていると思うし、好きです。

違和感の原因

”現実には存在しないフレーム”

フレーム補間により生成されたフレームは現実には存在しないのか？このことを検討してゆきます。

まずはデジタルデータについて初歩的なことの確認

測った量をコンピュータの扱うデータとするためには、いくつか必要な手順があります。標本化、離散化（量子化）、符号化の三つです。

1.標本化（サンプリング）
現実の世界は滑らかに連続した世界、アナログです。その連続した世界をいろんなやり方で区切ります。時間で区切るのが最も身近なやり方です。CD音源の44.1ｋHzは一秒間を44,100に区切ります。カメラであればシャッタースピードが時間に区切るにあたります。区切るのは時間だけではありません。カメラでいえば受光素子が任意の範囲でピクセルに分割されています。光の量を値にするためには、面積と時間によって世界が区切られています。標本化はデジタル化に必要な手順というよりは、あらゆることを量として定めるのに必要な手順のひとつと言えます。
2.離散化（量子化）
標本化で測った量を今度は離散値（とびとびの値）にします。コンピュータは計算の手順を逐次実行するプログラムです。ある程度決まった値で計算を切り上げなければ、プログラムは停止してしまいます。そのためコンピュータで扱う量は離散値である必要があります。精度は設定できますが、設定を上回る桁は上下に丸めなければなりません。
3.符号化
情報の最小単位は1bitであり、1bitは異なる二つの状態を分ける何かで実装されます。多くの場合bitは0と1で表現されます。コンピュータでは、ありとあらゆることは0と1の文字列の符号に変換されます。さらに、冗長性を圧縮したり、より高度な符号（言語）に変換されたりします。

現実の世界を滑らかに連続した世界と仮定すると、離散化は現実世界とデータの乖離を必ず生みます。
※余談ですが、物理の世界で物質は、とびとびの値でエネルギーをやり取りすることが知られています。それが量子論です。それはとても小さなミクロな世界の出来事なので、マクロ（巨視的）なわたしたちの視点からは、世界は連続して認識されます。この視点では現実もデジタルであると言えます。デジタル画像もミクロな視点では離散値をとっていますが、わたしたちが知覚するマクロな現象としては連続した現実のように認識されます。

ノイズ

情報の通信にはあらゆる段階でノイズが含まれます。挙げてゆくときりがないのですが、カメラで考えます。カメラの撮像素子であるフォトダイオードは光電素子の集合体です。光電素子は光を電気に変えたり、電気を光に変えたりする半導体の装置の総称です。半導体や光の種類によって、電気に変えられる効率は変化します。これも一つのノイズと言えます。フォトダイオードに届いた光からは非常に小さな電気しか取り出すことしかできないので、増幅する必要がありますこの段階にもノイズが含まれます。素子自体にも個体差があります。また、小さな物質は量子論に従います。光はとても小さなエネルギーをもつ粒子であり、そのふるまいは量子論の枠組みのなかで確率的な振る舞いを見せます。光子ひとつというレベルだと、素子に届くかどうかはあったりなかったりします。ホワイトショットノイズと呼ばれるもので、ごく低照度の環境ではデータの枠組みにエネルギーの確率分布として組み入れる必要が出てきます。
半導体の中を流れる電気も、電子という小さな粒子の集合の振る舞いでありそれも量子論に従います。半導体が高熱（高いエネルギーの状態）になると、それぞれの粒子の受ける攪乱は大きくなり、ノイズは増幅されます。
そして電気信号はデジタルデータに変換されます。符号化の際のノイズ、符号の圧縮・復元のプロセスにもノイズが含まれます。コンピュータプログラムの桁の丸めも、丸め誤差と呼ばれるものでノイズになります。

ノイズと情報は本質的には同じものです。情報処理主体がだれで、どう情報を扱うかによってそのあり方は変化します。

デジタルと現実

つまり、デジタル化やあらゆる通信を含んだ経路に置かれたデータはそもそも現実とは小さく異なったものです。
「デジタルデータなんだからそもそも現実には存在しない」なんていう揚げ足取りをしたいわけではありません。
”現実には存在しないフレーム”というワードがある程度の実感を持って迫ってくるのは共感できる事実だと思います。
では、それがなぜなのかをもっと検討してゆきます。

混乱を避けるため、ここからは現実を”確からしさ”に置き換えてさらに考えてみます。

現実に”確からしさ”は存在するのか

バタフライエフェクトという言葉を聞いたことがあると思います。ある物理学系の時間発展を計算する際、初期条件が必要になります。その初期条件には観測の誤差が含まれます。複雑に相互作用しあう力学系では時間が経過してゆくごとに、観測誤差が指数関数的に増幅し、始まりのほんの少しの違いがやがて大きな違いとなってしまいます。蝶の羽ばたきが生んだ小さな乱流がやがてハリケーンを生む。初期鋭敏性、長期的な予測不可能性に満ちたカオス系を詩的に表現しています。ヒトは世界を認識するのになんらかの計算モデルを導入しなければなりません、わたしたちが認識できる世界はカオス系です。

因果と相関

バタフライエフェクトはモデル内に導入されたパラメータが生むカオスを情緒的に表していますが、このモデル内に導入されていないパラメータも考えなければなりません。原因と結果、その因果律が確からしさの一つの答えです。あるものの状態がたった一つの原因によって、次の状態が一意に決まるとき因果関係がある、と表現します。現実世界では、因果は簡単には証明できません。あらゆることが複雑に相互作用しあうネットワーク構造を持っているからです。ノイズや計算モデルの不完全さは因果律を完全に覆い隠してしまいます。統計的に相関関係があるらしいという”確からしさ”はなんとか評価できますが、現実の存在を証明する因果は存在するでしょうか？ぼく自身は現実は確かでないものとして認識しています。

補間フレームの”確からしさ”

フレーム補間はどう作られているか考えます。いろいろなやり方がありますが、デジタルデータ化されたフレームの情報を参照して新しいデータが挿入されます。フレームブレンドは前後のフレームを混合して、オプチカルフローはその変分をベクトルデータとして演算・生成します。データの内挿による補間処理です。内挿とは既知のデータポイントから未知のポイントを推定する手法です。つまり、補間されたフレームは既知のフレームのデータに従属しています。というより、既知のフレームと因果関係にあると強い表現をしても良いでしょう。

補間されたフレームだけが確かである？

デジタル化されたデータポイントからの二次的な表現ではありますが、因果関係がはっきりとしているのは補間されたフレームだけのような気がしてきました。うーん、ただの屁理屈や言葉遊びの範疇を脱していない気がします…

”24pでvlog撮影→48pにフレーム補完→元のフレームを削除して24pに戻す→現実には存在しないフレームだけで構成された動画になる”

このポストの方が実感として差し迫ってくるのはなぜでしょうか？

まとめ

https://www.shinchosha.co.jp/book/771862/

これに尽きます。林さんのポストには実感があります。落ち着いて考えれば
”現実には存在しないフレーム”という表現は間違いである気がします。が僕を含め、このポストには実感を感じるひとがたくさんいると思います。人間や現実は、理不尽です。ノイズや計算モデルの不完全さは因果律を完全に覆い隠してしまします。ですが、ノイズが存在しない世界は静止した世界です。理論が完璧でノイズが存在しないと仮定すると、過去や未来は一意に決まります。そこに自由意志が介在する余地はありません。世界はノイズに満ちて、カオスに満ちています。不確かであればこそ生きる実感を得ることができるのかもしれません。

検索すると、もっと幸せになれるワード
ラプラスの悪魔、ハイゼンベルクの不確定性原理、ブラックホールの情報パラドクス