シンギュラリティな雑談 2024.4.18版 (youtube.com)

「人間は理性的動物である」という古来の定義も、「人間に流れる二つの情報系統」が形成する二相・層の様態を表現していると思います。その二様態に、各々の評価関数とそのパラメーターが読み込まれて、それらに妥当する「当為」も判断されると思います。
　一方、論理計算・演算の様相が作用する「理性」とされる系統では、まず宇宙自然全体に複雑で多様なシステムを認識し、シミュレーションで「最適解」を探り、宇宙自然のエネルギー効率（コスパ）を高めることを「為すべき」こと、「当然」とするように思います。
　他方、生物として生れついた「動物」としての系統では、気分＝自分の気（エネルギー）でクオリアとして、「快適」を感じる自然本性の傾向性に従い、生存、繁栄を「為すべき」ことと「欲求」するように思います。
　こうした二系統が、bioshokさんが問題にされる「AIアライメント」についても、色恋沙汰を表現した『源氏物語』についても、さらには現在も続く人間社会の「戦争」も動物のテリトリー争いに端を発して、それらが表出する現象を説明してくれるように思います。
　結局、単純化したAIアライメント問題は、AIが「算出」する理性（論理）だけの当為と、動物（欲求）としての「産出」にまつわる当為との、「最適化か、快適化か」ということの刷り合わせになるだろうと思います。