[翻訳]デジタルネイチャーに向けて：オブジェクト指向記述の普遍的相互作用のためのLLMMにおけるチューリングマシンオブジェクトと言語オブジェクト間のギャップの橋渡し

2023年4月12日 18:14

落合陽一准教授が主宰するデジタルネイチャー研究室から発表された最新論文を翻訳！ポイントだけ読み進めるとサクッと把握できます。

こちらの翻訳です

本書は抄訳であり内容の正確性を保証するものではありません。正確な内容に関しては原文を参照ください。
脚注、参考文献、Appendixなどは本文をご覧ください。

概要

【POINT1】大規模言語モデルとプログラミング言語の対応関係を確立する新しい方法を提案しています。
【POINT2】デジタルと物理の世界をシームレスに結び、現実世界の認識と計算プロセスを橋渡しすることを目指します。
【POINT3】デジタルツインのコンセプトを進化させ、デジタルネイチャーの実現に貢献できる手法を開発しました。

図1：本研究の動機本研究では、プログラマが直面する、多様なオブジェクトの相互作用を記述するための包括的なクラスを手作業で生成するという課題に取り組むものである。ロボット掃除機ルンバと猫を例に、大規模言語モデル（LLM）を用いてそれらの相互作用を自動的に定義し、必要に応じてチューリングマシンオブジェクトを生成することを目指しています。LLMの語彙的意味から派生した抽象言語オブジェクト（ALO）を通じて、チューリングマシンオブジェクトと言語オブジェクトの接続を提案する。

本論文では、GPT3.5やGPT4などの大規模言語モデルマシン（LLMM）における言語オブジェクトやクラスと、Pythonなどの高水準プログラミング言語におけるそれらの対応関係を確立する新しいアプローチを提案します。私たちの目標は、デジタルネイチャー（デジタルと物理がシームレスに絡み合い、計算機で簡単に操作できる世界観）の発展を促進することです。そのために、LLMMの持つ抽象化機能を活用し、現実世界に対する人間の認識とそれを模倣する計算プロセスとの間に橋を架けることを目的としています。

このアプローチにより、プログラミングやユビキタスコンピューティングのシナリオにおいて、曖昧なクラス定義やオブジェクト間の相互作用を実現することができます。これにより、チューリングマシンオブジェクトと言語オブジェクトの間のシームレスな相互作用を促進し、一元的にアクセス可能なオブジェクト指向記述への道を開くことを目指します。

現実世界のオブジェクトとそれに対応するシミュレーションを、LLMMを使用して言語シミュレート可能な世界に自動的に変換する方法を示し、デジタルツインのコンセプトを前進させることができます。このプロセスは、高レベルのプログラミング言語にも拡張でき、シミュレーションの実装をより身近で実用的なものにすることができます。

以上のように、本研究では、LLMMの言語オブジェクトと高水準プログラミング言語を接続する画期的なアプローチを導入し、実世界のシミュレーションを効率的に実装することを可能にしました。これにより、デジタルと物理の世界が相互に接続され、オブジェクトやシミュレーションが計算によって容易に操作できる「デジタルネイチャー」の実現に貢献することができます。

CCS コンセプト

・コンピュータシステム構成→組込みシステム、リ・ダンダンシー;ロボティクス;・ネットワーク→ネットワークの信頼性。

キーワード

データセット、ニューラルネットワーク、視線検出、テキストタギング、LLM、デジタルネイチャー、デジタルツインズ、OOP

1 はじめに

【POINT1】言語的対象（LO）は、人間が観察したものに名前を付けて分類することで、現実の理解ができます。
【POINT2】オブジェクト指向プログラミング（OOP）は、現実世界のオブジェクトをデジタルで表現し、対話する力を持ちます。
【POINT3】抽象言語オブジェクト（ALOs）は、人間の認識と計算上の対応物をつなげる方法で、デジタルネイチャーの発展に寄与します。

私たちの住む世界は、生物と無生物の豊かで複雑なモザイクのようなもので、すべてが複雑に絡み合い、無数の方法でつながっています。人類の歴史の中で、私たちはこれらの物体を理解し、操作することで、自分の欲求や欲望を満たそうと努めてきました。人間が世界と関わりを持つ最も基本的な方法の1つは、観察した対象や現象に名前を付け、分類し、記述する行為です。

このような概念的な実体を「言語的対象」（LO）と呼び、人間の言語によって表現され伝達されます。これらの言語的対象物に名前を付け、整理するプロセスは、コミュニケーションを円滑にするだけでなく、現実に対する理解を構造化し、より効果的に現実と関わる力を与えてくれます。これらの言語オブジェクトのコレクションは、私たちが辞書として知っているものにまとめられ、私たちの共有知識のためのリポジトリとして、人間の言語と経験の進化し続けるタペストリーの証として機能しています。

コンピューティング、特にオブジェクト指向プログラミング言語（OOP）の進化は、現実世界のオブジェクトを表現し、対話する能力に革命をもたらしました [14, 18]。複雑なシステムのモデリングやシミュレーションにおけるOOPの威力は否定できませんが、現実世界とデジタルオブジェクトの間の変換は、依然として困難で、労力と知識を必要とするタスクであり、人間の努力と専門知識を大いに必要とします。PythonやJavaなどのOOP言語では、Turing Machine Objects（TMO）と呼ばれる、データや手続きをカプセル化して抽象化、カプセル化、継承、多態性を促進する構成体を定義することができます。しかし、デジタル世界と物理世界の間でシームレスな相互作用や操作を実現するためには、これらのTMOと人間の知覚によるLOの間のギャップを埋めるさらなる研究が必要です。

啓蒙の時代、デカルトは「宇宙は巨大な機械であり、その複雑な仕組みは数学と論理学の言語によって理解できる」と提唱した。今日、私たちは新しい時代の入り口に立っています。
- デジタルと物理的な現実が融合し、人間がコンピューテーショナルな手段で世界と関わり、操作することを可能にするものです。私たちがデジタルネイチャーと呼ぶこの新たなパラダイムは、私たちを取り巻く環境と人間の関わり方に革命をもたらし、現実の認識や関わり方を再構築する可能性を持っているのです。

近年，機械学習や自然言語処理の進歩により，GPT3.5 や GPT-4 [7, 19] などの大規模言語モデル（LLM）が登場し，人間のような文章を理解・生成する能力が実証されています．これらのモデルは、膨大な量のテキストデータで学習され、世界に関する知識を学習・推論し、オブジェクトやその動作に関する創造的で首尾一貫した記述を生成する素晴らしい能力を持っています。その可能性は、現在、LLMを再同化して機械（大規模言語モデル機械-LLMMs）として動作させることにまで広がっています[11]。

本論文では、OOPと言語シミュレーションの文脈で、LOとTMOを橋渡しする新しい方法である抽象言語オブジェクト（ALOs）を紹介します。ALOは、LLMMとTMOの抽象化機能を利用することで、人間が認識する実世界の実体とその計算上の対応物の間のシームレスな相互作用を促進するように設計されています。これらのオブジェクトの状態や関係を体系的に定義、検証、更新することで、ALOは実世界シミュレーションの効率的な実装と操作を可能にし、デジタルネイチャーの発展に寄与すると考えています。

この研究は、コンピュータと人間の相互作用、言語学、人工知能の交差点に位置しています。LLMMが言語シミュレート可能な世界を作り出す可能性を探ることで、デジタルや物理的な現実と関わり、操作する能力を強化しようとする人間とコンピュータの相互作用の分野における研究の高まりに敬意を表します。この研究は、仮想現実や拡張現実 [5, 16]、ユビキタスコンピューティング [23]、デジタルツインの概念 [6]、複雑なシステムのための自然言語インターフェイスの開発 [4] などの領域に触れ、その影響は多岐にわたります。

本論文の残りの部分は、以下のように構成されています。セクション 2 では、HCI 分野の関連研究を簡単に紹介します。セクション3では、ALOを用いた我々の新しいアプローチを紹介します。セクション4では、GPT-4における我々のアプローチの実用的な実装を実証するケーススタディを示します。最後に、セクション5では、人間とコンピュータの相互作用とドローバックに対する我々の研究の意味について議論し、セクション6では、論文を締めくくり、将来の研究の方向性を提案します。

2 関連作品

【POINT1】LLMはストーリーライティングやウェブデザインなど多岐に渡る分野で革新を起こしています。
【POINT2】人間とデジタルシステム間の自然で効果的な相互作用が可能になるLLMの可能性が研究されています。
【POINT3】LLMを活用することで、デジタルエコシステムを身近で使いやすいものに変えることができます。

近年、LLMの進歩により、ストーリーライティング、ウェブデザイン、モバイルユーザーインターフェース、メールライティング、ロボット工学、メニューシステムデザインなど、様々なアプリケーションで大きなブレークスルーが起こっています。このような研究の積み重ねは、人間とデジタルシステムとの間に、よりダイナミックで自然な相互作用を生み出すLLMの可能性を示しています。

LLMが大きな影響を及ぼしている分野のひとつにHCIがあります。[17]は、HCIと生成モデルの相互作用を探求し、HCIが生成モデルにどのような影響を与え、生成モデルがHCIにどのような影響を与えることができるかを検証しています。この研究は、ユーザー体験を改善し、より効率的、効果的、かつ楽しいインタラクションを実現するために、これら2つの領域の関係を理解し、強化することの重要性を強調しています。
クリエイティブ・ライティングの分野では、いくつかの研究が、物語やストーリーを生み出すLLMの能力を紹介しています。[20]、[8]、[9]、[24]は、ストーリーライティングにおけるLLMの可能性を示し、これらのモデルを使用して、魅力的で首尾一貫した物語を作成できることを示しました。

図2：言語オブジェクト（LO）、チューリングマシンオブジェクト（TMO）、抽象言語オブジェクト（ALO）の比較：語彙的な意味を持つ言語オブジェクト（LO）、プログラミング言語で記述されるチューリング機械オブジェクト（TMO）、本稿で定義する抽象言語オブジェクト（ALO）の違いを示している。これらのALOは、実際にGPT-4にプロンプトとして入力することで、GPT上で言語的にシミュレーションを実行することができます。

WebデザインもLLMによって進歩したアプリケーションの一つです。[15]は、LLM を使ってウェブデザインを修正する方法を提示し、ユーザーが自分の要求や好みに合わせてウェブサイトを簡単に適応・カスタマイズできるようにしました。
LLMはまた、モバイルUI上の会話型インタラクションの開発にも採用されています。[22]は、ユーザーとモバイル機器の間でより自然で直感的な会話を可能にし、それによってモバイルアプリケーションの全体的な使い勝手を向上させるためにLLMを使用することを調査しています。
また、専門的なコミュニケーションの文脈では、[12]が電子メールの作成におけるLLMの適用を調査しています。この研究では、LLMが構造化された文脈に適した電子メールを生成し、専門的な通信文の作成と送信のプロセスを合理化する可能性を示しています。
ロボット工学もまた、LLMの統合から恩恵を受けた分野です。[3]は、LLMを使用してロボットのコマンドを解釈し実行する方法を提示し、人間とロボットの間のより効果的な制御とコミュニケーションを可能にしています。
また、LLMはメニューシステムの設計においても有望視されています。

[13]では、メニューシステムの設計にこれらのモデルを使用することを検討し、より直感的でユーザーフレンドリーなインターフェースを作成するための可能性を実証しています。大規模言語モデルでプロンプトを利用する複雑さを理解することは、より自然な音声のテキストを作成するために不可欠です。[10]では、この目標を達成するために、ユーザがどのようにプロンプトを効果的に利用できるかを調査し、ユーザとLLMの相互作用を最適化するための貴重な洞察を提供しています。

さらに、LLMは教育や補助的な場面でも使用されています。例えば、[2]では、外国語学習のためのプラットフォームであるDuolingoのサポートにおけるGPT-4の使用について述べています。このアプリケーションは、言語教育におけるLLMの可能性を示しており、ユーザーにとってより効果的で魅力的な学習体験を促進する。同様に、[1]では、弱視者を支援するアプリケーションであるBe My EyesにGPT-4を統合したことを説明しています。この例は、LLMが視覚障害者のためのアクセシビリティとサポートを強化する可能性を示しています。

LLMに関する研究の進展と様々な領域での応用は、人間とコンピュータの相互作用を見直し、より自然でダイナミック、かつアクセスしやすいデジタル体験を生み出すLLMモデルの可能性を強調しています。LLMの能力を理解し活用することで、研究者や実務家は、デジタル領域で可能なことの限界を押し広げることができます。このような研究により、プログラマーでなくてもデジタルオブジェクトを作成・操作できるようになり、デジタルエコシステムをより身近なものにすることができます。

図3：Three.jsを用いた3次元仮想世界：（左）3次元空間におけるALOs生成例（中央）3次元空間とALOs出力画面、（右）3次元オブジェクトの生成画面例。左列はルンバの物体を避けない猫の物体、右列はルンバの物体と積極的に交流する猫の物体。

この分野の研究の一つの可能性は、LLMMとTMOの間、またデジタルと物理オブジェクトの間のギャップを埋めることができるメタモデルやオントロジーの開発です。デジタルと物理の両方の世界でオブジェクトを記述し操作するための共通のフレームワークを作ることで、研究者は人間とコンピュータの相互作用で使われるオブジェクト間の変換を簡単かつスムーズに実現するための道を開くことができます。

自然は容赦ない力であり、テクノロジーは挫折する。デジタルネイチャーという概念は、デジタルと物理的な現実がシームレスに絡み合い、計算によって容易に操作できる世界を想定しています。このコンセプトは、人間と機械のシームレスな相互作用を可能にする新しいツール、技術、パラダイムの開発を必要とするため、情報生態系と人間とコンピューターの相互作用の未来に大きな影響を与えます。

3 素材と方法

【POINT1】現実のオブジェクトを命名・記述し、デジタル表現と接続を確立します。
【POINT2】LLMMは形状や色などの特徴を抽出し、自然言語プロンプトで名前や説明を生成します。
【POINT3】生成された言語オブジェクトは高水準プログラミング言語やハードウェアと統合されます。

私たちのアプローチの最初のステップは、現実世界のオブジェクトの命名と記述であり、これによりオブジェクトとそのデジタル表現との間の接続を確立することができます。このプロセスは、人間が新しい種、アイテム、技術などに名前を付ける方法にヒントを得ています。このプロセスを自動化するために、膨大な量のテキストデータで事前学習されたLLMMの能力を活用し、与えられた入力プロンプトに基づいて、文脈に関連した首尾一貫したテキストを効果的に生成することができます。

LLMMは、まず物体が与えられると、その形状、色、サイズ、機能などの特徴や特性を、膨大な学習データから得たドメイン知識を用いて抽出します。このプロセスは、コンピュータビジョンの技術やユーザーのドメイン固有の知識を用いて、ALOの動作をさらに特定することができます。次に、これらの特徴を自然言語プロンプトとしてLLMMに送り込み、オブジェクトに固有の名前と説明を生成します。OpenAIのGPT-4を例にとると、プロンプト1をAPIのシステム定義とすることで、ALOを定義するためのプラットフォームが実現できます（LLMの一般的なビヘイビアを設定する）。この言語オブジェクトは、オブジェクトの相互作用やシミュレーション、高水準プログラミング言語との統合など、本アプローチの後続ステップの基礎となるものです。

**プロンプト1** システムプロンプトALOsオブジェクトの作成 1: 手順1～11で入力用のALO（Abstract Language Objects）を作成します。 2: mainObjをsubObjListまたはSkipで定義する。ALOの誕生は、他のすべてのALOに影響します。 3：subObjListやReloadにスキルやナレッジを追加する。 4: subObjListまたはReloadの特定の状態を設定します。 5: 初期状態が条件を満たしていることを確認する、またはスキップする。 6: 状態検出またはReloadのためにsubObjListを更新する。 7: 初期状態またはReloadでmanagerObjを作成します。 8: スキルと知識を使用してmanagerObjの状態を更新します。 9: GPTでmanagerObjを起動しstepObjListを生成する、または環境に合わせ両方を更新する。 10: ALOをGPTマークダウンスクリプトに変換する。機能を維持したまま、オブジェクトの機能を段階的に定義する。 11: 名前でオブジェクトを参照する。スクリプトの一貫性を保ちながら、関連する素材を使用した強化学習として動作するようにスクリプトを強化する。 12: 誤りの防止と是正のために言語調整を実施する。

オブジェクトに名前を付けて記述した後は、LLMMの抽象化機能を利用して言語シミュレーション可能な世界を構築し、そこでオブジェクトは意味的に意味のある方法で他のオブジェクトと対話することができます。

LLMMが生成した言語オブジェクトとそのインタラクションを、PythonやJavaScriptなどの高水準プログラミング言語、ハードウエア、ニューラルネットワークプラットフォームと統合することが、このアプローチの最後の要素です。これは、LLMMによって生成された自然言語記述とインタラクションを、対応するオブジェクト指向コードに自動変換し、LLMMを使用してプロンプトを表示することによって達成されます。

4 実例とケーススタディ

【POINT1】LLMのLOと高水準プログラミング言語を使い、3つのケーススタディでアプローチの有効性を示します。
【POINT2】3Dバーチャルワールドでは、Three.jsを利用してシンプルな仮想世界を構築し、ALOオブジェクトに注目します。
【POINT3】教室シミュレーションやIoTシナリオでは、画像生成ソフトでビジュアル表現を作り、現実感のあるシミュレーションを目指します。

このセクションでは、LLMのLOと高水準プログラミング言語の接続の可能性を強調するいくつかの例とケーススタディを通じて、我々のアプローチの有効性を実証します。ここでは、異なるアプリケーションドメインにおける本アプローチの実用性を示す3つのケーススタディ(1) スマートホーム環境、(2) 対話型教育シミュレーション、(3)IoTのシナリオを紹介します。

4.1 ケーススタディ1：スマートホームの環境： 3Dバーチャルワールド

本事例では、Webブラウザで3Dグラフィックスを実現するJavaScriptライブラリ「Three.js」を用いて、3Dの仮想世界を構築することを目指しました。物理エンジンを使わず、地面や空など最低限の機能を持つシンプルなCG環境の開発を目指しました。これにより、仮想世界におけるALOオブジェクトの統合とその相互作用に焦点を当てることができました。

4.1.1 ALO の生成と JavaScript への変換
このプロセスは、GPT4にJavaScriptでALOを生成するよう要求するシステムプロンプトを設定することから始まります（プロンプト2）。次に，GPT4 は生成された JavaScript コードを 1 つの JavaScript クラスに転記します．生成されたクラスは，JavaScriptファイルとして保存されます．3Dシミュレーションのメインプログラムでは、このクラスをインポートしてインスタンス化し、JavaScriptのアニメーションループに登録することでシミュレーションを開始します。シミュレータのメインプログラムは人間が実装するため、手動による統合は、生成されたクラスをシミュレータに組み込むという必要不可欠な部分に限られます。

4.1.2 3Dモデルの準備
概念実証として、LLMが使用する3Dモデルを用意したましたが、LLMは独自の3Dモデルを生成する能力を持つことが多いです。ここでは、簡略化のため、シミュレーター内のすべてのALOを同じ大きさの立方体として表現しました。また、視覚的にわかりやすくするために、画像生成ツールで生成した画像を使用しました。
モデル（DALL-E 2）のキューブのテクスチャのクエリとして、ALOの名前を指定しました。
ALOを生成する際、システムプロンプト（プロンプト2）で3Dライブラリ（Three.js）が利用可能であることを明示することで、ALOのJavaScriptが3Dオブジェクトの利用を含むように一貫性をもって生成されました。生成されたクラス定義を変更し、クラスのコンストラクターやメソッドの引数に、あらかじめ用意された3Dオブジェクトを渡すことで利用できるようにしました。

4.1.3 エラー処理とコード統合
実行エラーが発生した場合、私たちはGPT-4に解決策を求めるか、修正することにしました。軽微なミスであれば、手動で介入してエラーを修正しました。さらに複雑な実装が必要な場合は，該当箇所をコメントアウトして，生成されたコードを部分的に組み込みました．エラー処理は、自動生成されたコードを3Dシミュレーションにシームレスに統合するために、我々の実装の重要な側面です。現在進行中の研究では、LLMがコードを自己修正する機能があることが示唆されており、このセクションは将来的に自動化される可能性があります。

**Prompt 2** システムプロンプト：JavaScriptによるALOsオブジェクトの作成 1: 手順1～10で入力用の抽象言語オブジェクト（ALO）を作成または更新し、実行可能なjavascriptで書き出す。 + Three.jsのコード(ステップ10を除く)。 2: mainObjをsubObjListで定義する。ALOの誕生は、他のすべてのALOに影響を与える。 3：subObjListにスキルリストとナレッジリストを追加します。 4: subObjListに特定の状態リストを設定します。 5：現在の状態が特定の条件を満たしていることを検証する。 6: 状態検出リストのsubObjListを更新する。 7：スキル実行リストのsubObjListを更新する。 8: 初期状態を持つmainObjのmanagerObjを作成する。 9: スキルと知識を使ってmanagerObjの状態を更新する。 10: スキルと知識を用いて、現在の状態に対する具体的なstepObjListを生成する。 11: ALOをGPTマークダウン・スクリプトに変換する。 12：オブジェクトの機能は、特徴を維持したまま徐々に定義する。更新の際には、スクリプトの一貫性を保ちながら、関連資料を用いて強化学習として動作するようにスクリプトを強化し、誤りを防止・修正するための言語調整を行い、すべてのコードを再度書き込む。他の指示が来た場合は、それに従うこと。

4.1.4 結果
結果は、図3および付属のビデオに示す通りです。LLMは、システムのプロンプトに従い、猫とルンバALOを作成するためのJavascriptコードを生成することができました。ネコ型ALOはジャンプやニャーといった特定の機能を持ち、ルンバ型ALOは移動と軸の回転が可能でした。ルンバは、猫とのインタラクションを要求されると、模擬環境内で猫から逃げたり、避けたりする機能を発揮しました。

4.2 ケーススタディ2：教室でのシュミレーション

4.2.1 教室を作る
ALOを使用して教室の言語を自動的にシミュレートするために、まず教室環境の本質的な構成要素を表すALOを作成します。これには、教室そのもの、生徒、および教師のALOが含まれます。このプロセスは、各ALOのパラメータとインタラクションを定義する方法の例を示すプロンプト4で示され、プロンプト1がシステムプロンプトとして使用されました。

4.2.2 画像生成ソフトウェアによるビジュアルの生成
ALOを作成した後は、定義されたパラメータをMidjouney V5などの画像生成ソフトウェアに入力することで、これらのオブジェクトのビジュアル表現を生成することができます。結果は図4のようになり、LLMMが定義されたALOから情報を抽出し、各オブジェクトのビジュアライゼーションを作成できることを実証しています。
この方法はすべてのALOに適用できますが、特定のシナリオ（例：4.3）では、初期パラメータに視覚情報がないため、シーンではなく図のような出力になることがあります。
画像生成パラメータ充填プロセスについては、改善の余地があることに留意する必要がある。
4.3で示したように、LLMは性能仕様を記述することが多く、ビジュアルに関するパラメータは省略されることがあります。
その結果、ALOのビジュアル表現が正確でなくなったり、不完全になったりすることがあります。

図4：プロンプト5によるMidjourney V5でのALOs(教師), ALOs(先生), ALOs(教室), ALOs(教室).シナリオの可視化。

プロンプト3 ユーザープロンプトALOsオブジェクトの作成 1：ALOを作る（猫） 2：ALO(cat)の定義をすべて1つのクラスに変換する。 3: updateCatPerFrame関数を定義します。この関数は、グローバルアニメーションの関数から毎フレーム呼び出されます。 4：ALOの作成（3D物理世界） 5：ALO(3次元物理世界)の定義をすべて1つのクラスに変換する。 6: updatePhysicalWroldPerFrame関数を定義し、毎フレームglobal animate関数から呼び出されるようにします。 7：ALOs(猫)はALOs(3D物理世界)に住んでいます。この状況に合わせて、ステップ1～10を用いて、ゼロからALOs(cat)を再定義してください。 8: 上記ALO(cat)の定義を、1～10の手順で順番に一つのクラスに変換する。 9: updateCatPerFrame関数を定義し、グローバルアニメーション関数から毎フレーム呼び出されるようにします。 10: ALOs(roomba)はALOs(3D物理世界)に住んでいます。この状況に合わせてALOs(roomba)を適切に作成する。 11: 上記ALOs(roomba)の定義を、1～10の手順で順番に一つのクラスに変換する。 12: updateRoombaPerFrame関数を定義し、グローバルアニメート関数から毎フレーム呼び出されるようにします。 13: ALOs(境界のある3次元物理世界)でALOs(猫)とALOs(ルンバ)が出会う。ALOs(猫とルンバの出会い)の作成 14: 上記catMeetsRoombaの全ての定義を、手順1～10の順で一つのクラスに変換する。 15: updateCatMeetsRoombaPerFrame関数を定義し、毎フレームグローバルanimate関数によって呼び出されるようにします。

**Prompt 4** ユーザープロンプト：教師、生徒、教室のALOsオブジェクトの作成 1: ALOs(教室)とブレーンストーミングで全パラメータをステップバイステップで追加・充填する。 2: ALOs(classroom)オブジェクトを取得し、サブオブジェクトのパラメータを埋めるためにブレーンストーミングを行い、1つのALOs(classroom)オブジェクトのサブオブジェクトリストとパラメータをテーブルに出力します。 3: ALOs(Student)とブレーンストーミングで全てのパラメーターをステップバイステップで追加・充填する。 4: ALOs(学生)オブジェクトを取得し、サブオブジェクトのパラメータを埋めるためにブレーンストーミングを行い、1つのALOs(学生)オブジェクトのサブオブジェクトリストとパラメータをテーブルに出力します。 5: ALOs(Teacher) and brainstorm all parameters step-by-step to add and fill. 6: ALOs(Teacher)オブジェクトを取得し、ブレインストーミングでサブオブジェクトのパラメータを埋めて、1つのALOs(Teacher)オブジェクトのサブオブジェクトリストとパラメータをテーブルに出力します。 7：1つのALOs（教室）でALOs（先生）が25人のALOs（生徒）を教えるシミュレーション

4.3 ケーススタディ3：IoTのシナリオ

選択したシナリオは、IoT（Internet of Things）環境において、Wi-Fiルーターを介してスマートフォンとプリンターとの接続を確立することです。このケーススタディの目的は、ALOがしばしばシステムのパフォーマンスについてあまりに具体的な情報を作成することができますが、システムの視覚的側面は作成できないことを実証することです。

4.3.1 文脈的な前提条件
このケーススタディの目的のために、我々は以下の文脈上の仮定をします：

対象となるIoT機器は、スマートフォン、プリンター、Wi-Fiルーター。
各機器はWi-Fiネットワークで接続されており、各機器間でシームレスな通信が可能。
デバイスの仕様やパラメータは、表の形で提供されている。
画像生成ソフトを使用し、提供された仕様に基づきデジタルオブジェクトのビジュアルを作成する。

4.3.2 スマートフォンとプリンターを接続
このステップの目的は、ALOを使用して、スマートフォンとプリンターをWi-Fiで接続したIoTデバイスの言語シミュレーションを実行することです。そのために、3つのALOを作成します：プロンプト6にあるように、ALO（スマートフォン）、ALO（プリンター）、ALO（Wi-Fiルーター）の3つを作成します。
まず、スマートフォン、プリンター、Wi-Fiルーターのそれぞれの仕様やパラメータを考慮したクラスを定義します。次に、これらのクラスのインスタンスを作成し、適切なメソッドとプロパティを使用してクラス間の接続を確立します。これにより、Wi-Fiネットワークを通じて機器同士が通信するIoT環境をシミュレートしています。

図5 Prompt 7によるMidjourney V5のALOs(WiFiルーター)、ALOs(スマートフォン)、ALOs(プリンタ)、ALOs(対話)の可視化結果

4.3.3 Midjourney V5によるビジュアル作成
本ステップでは、4.2.1 で述べたように、デジタルオブジェクト（スマートフォン、プリンタ、Wi-Fi ルータ）の仕様に基づき、text2image（Midjourney V5）を使用してビジュアルを作成します。前述したように、製品のパラメータなど、最初は仕様情報が記入されているケースが多く、図5に示すように、実際のユースケースにおける色や液晶上の画像、写真などのビジュアルに関わるパラメータは生成されません。
画像生成ソフトに仕様やパラメータを入力することで、IoTシナリオに関わるデジタルオブジェクトの正確なビジュアルを生成することができます。これにより、言語シミュレーションがさらに強化され、より現実的で包括的なものになります。

5 ディスカッション

【POINT1】エンベッディングを利用し、機械学習モデルからの応答の関連性を定量的に比較することができます。
【POINT1】ALOは高い抽象度で複雑な相互作用を可能にし、プロンプトはシンプルな指示でモデルを導きます。
【POINT1】ALOにドメイン知識を統合することで、予測可能性が高まり、より正確なシミュレーションが可能になります。

5.1 応答のばらつき

本研究ではOpenAIのAPIを使用しているため、処理自体がブラックボックスとなり、LLMからの応答が変化する可能性があります。さらに言えば、自然言語や計算コードでの応答では、その出力を比較することが定量的に困難です。そこで、エンベッディングを利用して、各レスポンスの関連性を定量的に比較することにしました。エンベッディングは、検索、クラスタリング、多様性測定などで、最も類似したテキストメッセージを特定するためによく使われます。ここでは、OpenAIのtext2vector埋め込みAPI（text-embedding-ada-002）を採用し、LLMからの応答を埋め込みAPIに転送しています。APIはサイズ1×1536のベクトルで応答する。例えば、GPT-4が "人生の意味を300字で定義する。"や "バナナを300字で定義してください。"、平均コサイン類似度（similarity(a, b) = |a| |b|分のa•b )の回答（N=20、温度=0.0）は、0.988（S.D.0.00343）およびそれぞれ0.982（0.00482）である（図6（a）-（b）参照）。APIの温度設定は、応答のランダム性を決定し、0は最も集中的で決定論的であり、2はよりラノベ的な応答を出力する。APIの温度を2.0にすることで、応答の平均コサイン類似度はそれぞれ0.848（S.D.0.0528）および0.859（S.D.0.0495）に低下する。本研究で使用したデフォルトの温度は0.7であり、バナナと人生の定義でそれぞれコサイン類似度が0.971（S.D. 0.00819）、0.975（S.D. 0.00505）と比較的一致した回答が得られている。このことから、温度0.7は温度設定2.0と比較して、一貫して同様の応答を返すことがわかる。

第 4 項の全ケーススタディに対して類似性分析を行ったところ，図 6 (c)-(h) に示すような結果が得られました．ここでは，各ケーススタディ間で比較しやすいようにタスクを簡略化し，システムのプロンプトとしてプロンプト1を用いました（Javascriptのコード生成による具体例は別途補足資料で公開）．ALOの作成プロンプトは、ケーススタディ1、2、3について、それぞれ「ALOs（宇宙）、ALOs（猫）、ALOs（ルンバ（ロボット掃除機））」、「ALOs（教室）、ALOs（生徒）、ALOs（先生）」、「ALOs（wifiルーター）、ALOs（スマートフォン）、ALOs（プリンタ）」でした。各ケーススタディのALOオブジェクトを作成した後、ALOオブジェクトは互いに対話するようタスクされました。ケーススタディ1、2、3では、「ALOs cat meet ALOs roomba (robot cleaner)」、「ALOs teacher teaches ALOs student」、「ALOs smart- phone connects to ALOs printer」と、ユーザーから相互作用を促すプロンプトが出されました。

家庭環境のケーススタディを例にとると、ALOs cre- ation promptの温度0.0、0.7、2.0のコサイン類似度指数は、それぞれ0.978（S.D. 0.00975）, 0.973（S.D. 0.0161）, 0.804 （S.D.0.0436）であった（図6（c））。これは、LLMが一貫して類似のALOオブジェクトを作成することを示し、この傾向は、図6 (c)と(e)の他のケーススタディでも引き続き見られることを示しています。ケーススタディ2（図6（c））の平均コサイン類似度指数は、0.967（S.D.0.0227）, 0.963（S.D.0.0182）, 0.837（S.D.0.0484）であった。
温度はそれぞれ0、0.7、2です。同様に、ケーススタディ3（図6（e））の平均コサイン類似度指数は、温度 0.0、0.7、2.0に対してそれぞれ0.980（S.D. 0.0160）,0.953（S.D. 0.0191）,0.837（S.D. 0.0454) となっています。

回答のばらつきは、図6（d）、（f）、（h）に示すように、ALO同士を対話させたときに最も顕著に現れます。平均コサイン類似度指数は、温度0.0、0.7、2.0において0.922（S.D.0.026）、0.909（S.D.0.0307）、0.834（S.D.0.86）に低下します。
この傾向はケーススタディ2でも続き、温度0.0、0.7、2.0において平均コサイン類似度指数は0.895（S.D. 0.0595）、0.900（S.D. 0.0512）、0.861（0.0367）だった（図6 (f) ）。ケーススタディ3では、平均コサイン類似度指数が0.920（S.D.0.0473）、0.898（S.D.0.0469）、0.847（S.D. 0.0334)は、それぞれ温度0.0、0.7、2.0の場合です（図6（h））。LLMとユーザーの両方にとって、ドメインの専門知識が最も要求されるのは、相互作用の段階で変動が発生する場合です。ユーザーは、ALOが意図したとおりに動作するのに十分な特性や機能を有していることを確認しなければなりません。しかし、ALOに欠けている機能や特性があれば、ユーザーはその後のプロンプトで必要な情報を補足すればよいのです。このように、LLMは曖昧な状況でもALOを接続することができるため、LLMの堅牢性と汎用性を証明することができます。さらに、LLMの発散・適応能力は、TMOとLOの間のギャップを埋めることに大きく貢献し、不足している部分を効果的に補うことで、全体的なパフォーマンスを向上させます。

図6：コサイン類似度行列は、埋め込み（text-embedding- ada-002）を使用した各プロンプト応答の類似度を比較したものです。行列の上半分は下半分の重複画像であるため、空白にしている。各ピクセルはプロンプト応答を示し，各温度に対して20組の応答がある（値は0〜2で，GPT-4 APIでは0が最もランダムで，2が最もランダム）．(a)と(b)は、それぞれバナナと人生の意味を定義するようGPT-4に課せられたテストケースである。(c)、(e)、(g)は、ALOを作成するように促されたときのLLMの応答のコサイン類似度行列、(d)、(f)、(h)は、ALOを相互に作用するように求められたときのLLMの応答のコサイン類似度行列を示しています。

5.2 抽象化レベルの比較

5.2.1 ALOsとプロンプトの比較
ALOとプロンプトは、どちらも計算モデルの入力として機能するという点で似ています。しかし、ALOはより高い抽象度を提供し、より複雑な相互作用やオブジェクト間の関係を可能にします。一方、プロンプトは、モデルの反応を導くためのシンプルな指示として機能する。ALOとプロンプトの比較は、OOPとC言語などの手続き型プログラミング言語の違いに似ています。ALOはより構造的で組織的なアプローチを提供し、プロンプトはより直接的でわかりやすいコミュニケーション手段を提供します。

5.2.2 ALOとTMOへのリンクの違い
ALOとTMOは、計算言語学の異なる側面を表している。ALOはオブジェクトの言語的抽象化に焦点を当て、TMOはその計算的実装に対処します。

5.2.3 ALOとLOの比較
ALOとLOは、どちらも対象物を言語的に抽象化したものであるため、密接な関係があります。しかし、ALOはLOよりも高い抽象度を提供し、より複雑なオブジェクトの相互作用と関係を可能にする。この意味で、ALOはLOの拡張と考えることができ、より高度なオブジェクト指向の記述と相互作用を促進する可能性があります。

5.2.4 LOからTMOへ
デジタルネイチャーのビジョンを実現するためには、LOとTMOの接続が重要です。ALOを介してLOとTMOを結びつけることで、人間の知覚と計算プロセスのギャップを埋め、実世界のオブジェクトとそのデジタルシミュレーションの間のシームレスな相互作用を可能にすることができます。しかし、この連携は、両者の表現の違いや、中間LOのようなALOを用いた効率的な翻訳メカニズムが必要であることから、困難であると考えられています。

5.2.5 パラメータのアクセシビリティ
パラメータへのアクセスは、ユーザがオブジェクトのプロパティを簡単に操作・変更できるようにする、オブジェクト表現の本質的な側面です。プロンプトとLOは、より高い抽象度を提供するため、時にはパラメータへの直接アクセスが妨げられることがあります。一方、TMOやALOは、より直接的でわかりやすいインタラクション手段を提供し、パラメータへのアクセスをより容易にする可能性があります。

5.3 セキュリティリスクと懸念事項

私たちのアプローチは、セキュリティに関連するいくつかの懸念を提起しており、HCIコミュニティによるさらなる調査が必要です。例えば、LLMMがデジタルオブジェクトの理解と操作に習熟するにつれて、悪意ある行為者がモデルの脆弱性を利用してその機能性や完全性を侵害する、広告的な攻撃の影響を受けやすくなる可能性があります。さらに、実世界のオブジェクトをデジタルツインに自動変換することで、新たな攻撃ベクトルが出現する可能性があります。敵は、重要な物理システム（電力網、交通網など）のデジタル表現を操作して、被害や混乱を引き起こそうとする可能性があります。これらのリスクを軽減するために、HCIコミュニティは、基盤となるLLMMと本アプローチによって生成されたデジタルツインの両方を保護できる強固なセキュリティメカニズムとプロトコルを開発することが重要です。

**プロンプト5** ミッドジャーニーV5におけるビジュアライゼーションのためのプロンプト 1: 生徒は15歳、女性、ヒスパニック系、中程度の社会経済的背景を持ち、英語とスペイン語に堪能である。成績はBで、出席率は95パーセント、テストは80パーセント、宿題は90パーセントこなし、授業にも積極的に参加している。クリティカルシンキングとコミュニケーションに優れ、問題解決と創造性に長けており、協調性にも長けています。趣味は数学、絵画、サッカーで、建築家になることを目指しています。視覚的な学習方法を好む。社会的行動の面では、友好的な仲間関係、良好な紛争解決能力、新興のリーダーシップ能力、高い共感力、文化的認識を持っています。-v 5. 2: ジョン・スミスは35歳の男性教師で、連絡先は johnsmith@email.com と +1-555-123-4567 です。教育学の修士号、州の教員免許を持ち、数学の専門知識を有しています。公立学校で10年の教職経験を持ち、6年生から8年生までの生徒に数学を教えてきた。教科の知識とコミュニケーションのエキスパートであり、教授法、教室管理、評価にも精通しています。生徒中心、探究心、協調性を重視し、時には直接指導も行いながら、ブレンデッドラーニングを取り入れた指導スタイルです。-v 5 3: この教室では、Jane Doeが科学教師で、探究型の授業スタイルと専門的なコミュニケーションスキルをもっている。このクラスには、学力も能力も発展途上で、さまざまなことに興味を持つ25人の生徒がいる。教室には25脚のテーブルと椅子、ホワイトボード、プロジェクター、棚が2つあります。学習教材には、科学の教科書、裏打ちされたノート、文房具としてのペンや鉛筆、オンラインビデオなどのデジタルリソース、そして以下のような実験器具があります。マイクロスコープを使用しています。十分な照明、22℃の快適な温度、低い騒音レベル、良好な空気環境、清潔に保たれたレベルなどが特徴的な環境です。-v 5 4: Jane Doe は、InquiryBased（探究型）教授法を用いて科学の授業を開始します。彼女は、その日のトピックに関連した示唆に富む質問で生徒を引き付けます。生徒たちは、自分たちのアイデアや仮説について話し合うために、グループで協力するよう求められます。生徒が議論している間、Jane Doeは教室を歩き回り、生徒の会話に耳を傾け、必要に応じて指導を行う。また、ホワイトボードやプロジェクターを使って、関連する情報や視覚教材を表示し、生徒の学習をサポートする。レッスン中、Jane Doeは生徒の学習状況を把握し、それに応じて指導方法を調整する。トピックを理解するのに苦労している生徒を見つけ、確実に理解できるよう個別にサポートします。レッスンの最後に、Jane Doeは短いクイズやグループプレゼンテーションを通して、生徒のトピックに対する理解度を評価する。そして、生徒からフィードバックを集め、自分の教育方法の有効性を評価し、改善すべき点を特定します。-v 5

**プロンプト6**ユーザープロンプト：WiFiルーター、スマートフォン、プリンター用のALOsオブジェクトの作成 1：ALOs（WiFiルーター）、およびすべてのパラメータをステップバイステップで追加し、埋めるためにブレインストーム。 2：ALOs（WiFiルーター）オブジェクトを取得し、サブオブジェクトのパラメータを埋めるためにブレインストーミングを行い、1つのALOs（教室）オブジェクトのサブオブジェクトリストとパラメータをテーブルに出力します。 3：ALOs(スマートフォン)で、全パラメータをステップバイステップでブレインストーミングし、追加・充填する。 4：ALOs（スマートフォン）オブジェクトを取得し、サブオブジェクトのパラメータを埋めるためにブレインストーミングを行い、1つのALOs（学生）オブジェクトのサブオブジェクトリストとパラメータをテーブルに出力します。 5：ALOs(Printer)とブレーンストーミングで全パラメータをステップバイステップで追加・充填する。 6: ALOs(Printer)オブジェクトを取得し、ブレインストーミングでサブオブジェクトのパラメータを埋めて、1つのALOs(teacher)オブジェクトのサブオブジェクトリストとパラメータをテーブルに出力します。 7：1つのALOs（教室）でALOs（先生）が25人のALOs（生徒）を教えるシミュレーション

5.4 限定事項

5.4.1 ドメイン知識
ALOにドメイン知識がない場合、実世界の現象を支配する基礎的なパラメータがALOに組み込まれないため、予測不可能な動作が発生します。この予測不可能性は、LLMMや高水準プログラミング言語で現実世界のオブジェクトを効果的にシミュレートし、操作する上で大きな課題となります。その結果、デジタルネイチャーに見られるような、デジタルと物理のシームレスな相互作用は実現できないままです。この問題を解決するために、私たちは、ALOにドメイン知識を統合することで、ALOの予測可能性を高め、より正確なシミュレーションを可能にすることを提案します。この統合により、ALOは実世界のオブジェクトを表現するだけでなく、その挙動を支配するルールや制約を取り込むことができます。

5.4.2 トークンの長さ
オブジェクトトークンのサイズは、ALOの効率を決定する重要な要因です。圧縮技術はトークン・サイズを最小化するのに重要な役割を果たし、それによって処理と保存に必要な計算資源を削減することができます。様々な研究により、LLMを他のデータベースに接続してLLMのメモリを拡張し[21]、トークン・サイズを小さくする方法が提案されています2。ALOも同様に、ALOオブジェクトをデータベースに保存・登録し、参照できるようにすることで、その能力を拡張することができます。

**プロンプト7** ミッドジャーニーV5におけるビジュアライゼーションのためのプロンプト 1：解像度1080x2400、リフレッシュレート60Hzの6.1インチAMOLEDディスプレイを搭載したスマートフォンです。オクタコアCPU、Adreno 660 GPUを搭載したSnapdragon 888チップセットを搭載し、高いパフォーマンスを発揮する。バッテリーは4500mAhの容量で、65Wの充電速度に対応し、1.5日持続し、ワイヤレス充電機能を備えています。リアカメラの構成は、64MP、12MP、5MPで、フロントカメラは32MPです。30fpsで4Kビデオを記録し、ナイトモード、ポートレート、HDRなどの機能を備えています。Android 12で動作し、3年間のアップデートと定期的なセキュリティパッチを提供します。このスマートフォンは、WiFi 6、Bluetooth 5.1、GPS、および5Gネットワークに対応しています。128GBの内部ストレージ（拡張不可）、8GBのRAMを搭載しています。センサーは、ディスプレイ内指紋センサー、FaceID、ジャイロスコープ、近接、アンビエントライトを搭載しています。本体サイズは160×74×8mm、重量は190g、ガラス製で、防水規格はIP68です。-v 5 2：ルーターは、1.4GHzデュアルコアプロセッサ、512MBのRAM、128MBのフラッシュメモリーを搭載。2.4GHzと5GHzの周波数帯域、4x4 MIMO、WPA3暗号化を備えたWiFi 6（802.11ax）をサポートしています。ルーターにはSPI/NATファイアウォール、ペアレンタルコントロールが搭載され、セキュリティに配慮しています。WAN×1、LAN×4、USB×2（USB2.0×1、USB3.0×1）を搭載しています。カバーエリアは3000平方フィートで、4本の外部アンテナとビームフォーミングテクノロジーを搭載しています。最大データレートは6000Mbpsで、帯域幅は160MHzです。ルーターは、ゲストネットワーク、QoS、VPN機能をサポートしています。セットアップは、ウェブインターフェース、アプリコントロール、またはWPSでアクセスできます。ルーターのサイズは10 x 7 x 2インチ、重量は1.5ポンドで、プラスチック素材で作られています。-v 5 3：インクジェットプリンターでカラーは4800×1200dpi、モノラルは1200×1200dpi。印刷速度は、カラーが10ppm、モノラルが15ppmです。接続オプションは、USB、WiFi、イーサネット、モバイルプリントです。プリンターは、150枚の入力容量と50枚の出力容量を備えています。A4、A5、A6、B5、レター、リーガルなど様々な用紙サイズに対応し、自動両面印刷にも対応しています。液晶ディスプレイは2.7インチです。プリンターは個別インクカートリッジを使用し、カラー350ページ、モノラル400ページの収量を実現しています。光学解像度1200×2400dpi、スキャン速度8ppmのフラットベッドスキャナーを搭載しています。サイズは幅17.3インチ、奥行き13.8インチ、高さ6.3インチ、重量は14.3ポンドです。

6 結論と今後の方向性

本論文では、オブジェクト指向プログラミング（OOP）と言語シミュレーションにおけるLinguis-tic Objects（LO）とTuring Machine Objects（TMO）の関係を単純化する、Abstract Language Objects（ALO）という新しいアプローチを紹介します。ALOは、複雑な分類学の世界で新種が発見されるたびに、新しい生態系が編成され、各オブジェクトを繰り返し更新していきます。ALOは、大規模言語モデル（LLM）の抽象化機能を活用することで、人間が理解する実世界の実体と計算上の同等物の間のシームレスなコミュニケーションを促進します。この方法は、実世界のシミュレーションを効果的に実装・管理し、最終的にデジタルネイチャーの概念を発展させるものです。