Clip source: Enhanced Large Language Models as Reasoning Engines | by Anthony Alcaraz | Dec, 2023 | Towards Data Science

この記事も、AIシステムの推論エンジンの構造的な限界を指摘し、ナレッジグラフを採用する事でその課題を解決できる方向に持っていける、ということを主張してます。
一部のLLMの専門家の間では、LLMが基本的な論理的および数学的なミスを繰り返すことがあることが指摘されており、系統的なアプローチの欠如が原因と指摘しています。別な表現を取ると、LLMの知識は統計的であり、より深い意味的構造が欠如しているという主張になります。
さらにLLMは、より複雑な推論タスクでは、因果関係、反事実的な推論、および組成的な推論の難題に苦しむことがあり、これらは表面的なパターン認識を超えた能力を要求します。これに対して人間は、モジュラーなコンセプトを柔軟に組み合わせるための抽象的なスキーマを学び、論理的な依存関係をつなげ、メンタルシミュレーションを活用し、変数を関連付けるメカニズムを仮定することで推論します。一方、ニューラルネットワークは頻繁に共起する用語間の相関性を記憶します。このため、狭いトレーニングデータ分布外での脆弱な面を見せる結果になる、と言われてます。
この記事では、LLMの制約と課題について詳しく説明し、知識グラフなどの知識表現を導入する方法について議論しています。知識グラフは、LLMの統計的な知識に不足している明示的な概念間の関係を提供し、論理的な推論を可能にします。
また、知識グラフはLLMベースの推論の透明性と信頼性を向上させる役割も果たします。統計的な出力を検証された接続に基づいていることを示すことで、ハルシネーションを含めたリスクを軽減すると期待されてます。

拡張された大規模言語モデルは推論エンジンとして機能します

近年、大規模言語モデル（LLM）からの自然言語処理能力の指数関数的な進歩により、これらが人間レベルの知能を達成する可能性について大きな期待が寄せられています。膨大なデータセットに曝露した後の、注目すべきまとまりのあるテキストの生成や対話の促進は、柔軟で汎用的な推論スキルへの可能性を示唆しています。
しかし、根本的な盲点を指摘し、無制限の楽観視に対する警告を発する声が高まっています。LLMは依然として基本的な論理的、数学的な間違いを頻繁に犯しており、その応答の背後に系統的なものが欠けていることを露呈しています。彼らの知識は内在的に統計的であり、より深い意味の構造を持ちません。
より複雑な推論タスクはこれらの制限をさらに露呈します。LLMは、表面的なパターン認識を超えて必要とされる因果関係、反事実、合成推論の課題に苦労します。人間が抽象的なスキーマを学び、モジュール化された概念を柔軟に再組み合わせるのとは対照的に、ニューラルネットワークは共起する用語間の相関関係を記憶します。これにより、狭い訓練分布外での脆弱な一般化が生じます。
この差は、人間の認知が構造的な記号的表現を用いて系統的な組み合わせ可能性と概念ダイナミクスを概念化するための因果モデルを可能にする方法を強調します。有効な推論規則に基づいてモジュール化された記号的概念を操作し、論理的依存関係を連鎖させ、メンタルシミュレーションを利用し、変数間のメカニズムを仮定することで、私たちは推論します。ニューラルネットワークの本質的に統計的な性質は、このような構造化された推論を発達させることを妨げます。
シンボルのような現象が、サブシンボリックな基盤を持つLLMでどのように生じるかは未だ謎です。しかし、この「ハイブリッド性のギャップ」を明確に認識することが不可欠です。真の進歩には、ニューラルアプローチの柔軟性と構造化された知識表現、因果推論技術の補完的な強みを活用し、統合的な推論システムを作り出すことが求められます。
まず、ニューラルネットワークの系統性の欠如、因果理解、組成的一般化の欠如を暴露する分析の増加を概説し、生得的な人間の能力との違いを強調します。
次に、「推論のギャップ」の顕著な側面を詳しく説明します。これには、モジュールスキルのオーケストレーション、ダイナミクスの解明、反実仮想シミュレーションの困難が含まれます。現代のMLが欠けている生得的な人間の能力を浮かび上がらせ、結果として生じる脆弱性を説明します。
解決策を求めて、統計的学習から欠けている明示的な概念関係のための足場として知識グラフを議論します。構造化された知識注入のためのアプローチ — クエリインタフェースとベクトル化されたグラフ埋め込み — を強調し、ニューラル生成を文脈化します。
次に、埋め込みにおける次元タイピングや並行知識検索などの技術を提示し、論理的帰納と効率的な推論のための帰納バイアスを改善します。最後に、実質的なAI進歩を追求する企業にとって戦略的資産として、高品質な知識グラフを根気強く育てることの重要性を訴えます。

推論のギャップ

新たな観点は、LLMによって示される多くの論理的矛盾と系統的な一般化の欠如を、「推論のギャップ」 — 事実と推論を中間的推論ステップを通じて自発的に連鎖する能力の欠如 — から生じると説明しています。
人間は、構造化された背景知識を利用し、関連する経路に注意を向けることで、概念の飛躍を直感的に行う能力を持っています。既存のスキーマや概念を結びつける因果モデルを活用して、一貫性のある物語を編み出します。例えば、人間は「パリはフランスの首都であり、フランスは温帯気候である」という孤立した事実を首都関係で結びつけ、その国の首都の気候を確実に特定できます。
しかし、LLMのようなニューラルネットワークは、テキストコーパス内で頻繁に共起する用語間の統計的関連性のみを蓄積します。彼らの知識は暗黙的かつ非構造化されたままです。概念間の高次の意味関係を理解せず、プレトレーニング中に直接リンクされたことがない概念を結びつけることに苦労します。中間ステップを通じた推論を必要とする質問は、この脆弱性を明らかにします。
新しいベンチマークテストは、特に系統性を評価します — モデルが既知の構成要素を新しい方法で組み合わせることができるかどうか。LLMが訓練データで既に共起している概念を関連付ける必要がある場合には高精度を達成しますが、概念が互いに影響を与え合いながらも別々に現れると、性能は大幅に低下します。モデルは、人間が間接的な関係を通じて概念を結びつけるように、孤立した統計的知識を連鎖させることができません。
これは、段階的なプロンプトの展開を通じて問い合わせるときにLLMが一貫性のある論理的な物語を提供できないという、実証的な現象として現れます。新しい方向を探るためのわずかな摂動は、学習した統計的関連性が崩れることにより、予測不可能なモデルの失敗を引き起こします。構造化された表現やプログラム的な演算子がなければ、LLMは一貫性のある、目標指向の推論チェーンを維持することができず、組成的一般化の欠如を露呈します。
「推論のギャップ」は、直感に反するLLMの振る舞いを説明するのに役立ちます。彼らの知識は、表面的な統計パターンからの深層学習を通じて何十億ものパラメータにエンコードされていますが、人間が概念の一貫性と探求のために本能的に使用する規律ある、解釈可能な論理的推論の枠組みが欠けています。これはハイブリッドな神経記号的アプローチの優先順位を明らかにします。

組成的推論

LLMは依然として系統的な組み合わせ一般化に苦労しています。これは、既知のスキルを再組み合わせることで新しい解決策を柔軟に組み立てることを意味します。例えば、コーヒーを淹れることとトーストを作ることを別々に学習するだけでは、共同ルーチンをオーケストレーションすることは直接的には可能ではありません。人間は本質的にはるかに豊かなモジュール式、階層的表現を開発します。

因果推論

統計に基づくモデルにとって相関関係は自然に来ますが、実験、介入、反事実を含む因果メカニズムの解明は、明示的な概念フレームワークなしには依然として捉えどころのないものです。私たちは物体、エージェント、ダイナミクスに対する生得的な理解を持っています。

時間推論

イベント、計画、物語の連続的で一時的な性質は、内部のタイムラインの維持、地平線への投影を要求します。しかし、LLMは限られたエピソード記憶を示し、精神的状況モデリングが欠如しているため、一貫性を維持することができません。

常識

私たちの広範な日常的枠組みは、物体、空間、直感的な心理学を包含し、世界を航行する際の妥当性についての証言を提供します。このような素朴な物理学、語用論、社会的ダイナミクスの理解を模倣できないことは、露出した統計的知識を制限します。

メタ学習

人間は自身の推論のギャップについてのメタ認知を示し、注意を向け、意図的に情報を求めてモデルを強化します。透明性の欠如と高次の不確実性や自己反省の欠如は、ニューラルネットワークにおける制御された、戦略的なモデル改善を制限します。
総合的に、LLMは多用途の系統的一般化を支えるスキーマ誘導、因果表現、シミュレーション能力、自己回帰予測、社会的ヒューリスティック、メタ認知アーキテクチャを持っていません。構造化された誘導バイアスを欠いた組み合わせ爆発は、明示的な構成の学習を不可能にします。多くの推論のギャップが、理解に導かれた人間のような柔軟性を達成するのを妨げます。
これは、生得的なニューラル能力と構造化された組成性、因果制約を共生的に組み合わせるハイブリッドな神経記号的パラダイムの緊急の必要性を一層際立たせます。このような統合は、流動的に推論するより堅牢で信頼性の高いシステムを約束します。

知識グラフを使用した推論の強化:

Schema by the author
知識グラフは、現代の大規模言語モデル（LLM）を悩ませている「推論のギャップ」を克服するための有望な方法を提供します。概念をノードとして、関係をエッジとして明示的にモデリングすることで、知識グラフは構造化された記号的表現を提供し、LLM内の柔軟な統計的知識を増強します。
概念間の説明的な接続を確立することで、遠隔ドメイン間でより系統的で解釈可能な推論が可能になります。LLMは、学習したデータパターンだけを通じて異なる概念をリンクすることに苦労します。しかし、知識グラフは関連する中間ノードと関係を提供することで、テキストコーパス内で直接共起しない概念を効果的に関連付けることができます。この足場は統計的知識のギャップを埋め、論理的な連鎖を可能にします。
このような知識グラフは、LLMに基づく推論における透明性と信頼性を向上させます。明示的なグラフ関係上の完全な推論チェーンをモデルに表示させることで、原則のない統計的幻覚からのリスクを軽減します。グラフパスを露呈することで、統計的出力は検証された接続に基づいて確立されます。
本質的に統計的なLLMと構造化された因果表現との間にクリーンなインタフェースを構築することは、今日の脆弱性を克服するための有望な手段です。ニューラル知識の幅と外部知識の深さを組み合わせることで、柔軟かつ系統的に学習し推論するAIシステムの開発を促進できます。

知識グラフクエリとグラフアルゴリズム

知識グラフクエリとグラフアルゴリズムは、大規模データセットから複雑な関係性を抽出し分析するための強力なツールです。以下にその動作と実現可能なことについて説明します：

知識グラフクエリ：

知識グラフは、エンティティ（例：書籍、人物、概念）と関係性（例：著者関係、親族関係、テーマ的な繋がり）として情報を整理します。SPARQLやCypherのようなクエリ言語を使って、これらのグラフから特定の情報を抽出するためのクエリを形成できます。例えば、あなたの例にあるクエリは、「人工知能」と関連する書籍を、関連するトピックノードに接続された書籍ノードをマッチングすることで見つけます。

グラフアルゴリズム：

クエリのみならず、グラフアルゴリズムはこれらの構造をより深く分析することができます。いくつかの典型的なグラフアルゴリズムには以下が含まれます：

• 経路探索アルゴリズム（例：ダイクストラ、A*）：二つのノード間の最短経路を見つけることができ、ルートプランニングやネットワーク分析に役立ちます。

• コミュニティ検出アルゴリズム（例：ルーヴェン法）：グラフ内のクラスターやコミュニティを識別し、ソーシャルネットワーク分析や市場セグメンテーションに役立ちます。

• 中心性指標（例：PageRank、媒介中心性）：ネットワーク内の異なるノードの重要性を決定し、ソーシャルネットワークでの影響力分析や交通ネットワークでの重要インフラの分析に適用できます。

• 推薦システム：ユーザー-アイテムグラフを分析することで、過去のインタラクションに基づいた個人化された推薦を行うことができます。

大規模言語モデル（LLM）は、自然言語入力に基づいて知識グラフのクエリを生成することができます。人間らしいテキストを理解し生成することに長けていますが、統計的な性質があるため、構造化された論理的推論にはそれほど熟練していません。そのため、知識グラフや構造化されたクエリインターフェースと組み合わせることで、両者の強みを活用できます：LLMはユーザー入力を理解し文脈化し、知識グラフは正確で論理的なデータの取得を可能にします。
グラフアルゴリズムを組み合わせることで、この相乗効果をさらに高めることができます。例えば、LLMは特定の関心グループ内の影響力ある人物を識別するために、ソーシャルネットワークグラフ上でコミュニティ検出アルゴリズムを提案することができます。しかし、これらの異なるシステムを効率的かつ解釈可能な方法で統合することが課題です。

知識グラフ埋め込み

知識グラフ埋め込みは、エンティティと関係を密なベクトル表現として符号化します。これらのベクトルは、融合モデルを使用してLLM内に動的に統合できます。
たとえば、クロスアテンションメカニズムは、言語モデルのトークン埋め込みを取得したグラフ埋め込みに対してマッチングすることで、文脈を提供します。これにより、関連する外部知識が注入されます。
これらの補完的なベクトルを数学的に融合することで、モデルを基盤づけつつ、両コンポーネント間で勾配流を可能にします。LLMは関係パターンを継承し、推論能力を向上させます。
したがって、クエリと埋め込みの両方が、構造化された知識グラフとLLMの統計的能力を接続するメカニズムを提供します。これにより、キュレートされた事実に基づく解釈可能で文脈に応じた反応が容易になります。
安全で、高性能で、説明可能なAIへの道は、それぞれの強みに適した異なる推論モジュールを持つハイブリッドシステムを設計することに間違いなくあります。同時に、相互補完的な統合を通じて個々の弱点を緩和します。知識グラフは、LLMをパターン認識から文脈を理解し、規律ある推論者へと高めるための構造的な足場を提供します。
知識グラフ埋め込みは、事実のエンティティと関係を符号化するだけでなく、追加の制約と構造を取り入れることでさらに強化できます。これにより、意味的類似性と推論をより信頼性のある方法で方向付けるための有用な誘導バイアスが提供されます。
次に、いくつかの例を挙げて説明します：

次元タイピング

埋め込み空間に特定の階層的知識カテゴリー（タイプ、属性、時間ビンなど）をモデル化する専用の次元を割り当てることで、ベクトル算術と対称操作を解釈できます。

論理ルールとベクトル方程式

例えば、推移性のような論理ルールを関係埋め込みに対するベクトル方程式としてモデリングすることで、ベクトル空間をクエリする際に一階論理の準拠を組み込みます。

v(loves) - v(likes) ≈ v(likes) - v(feels_neutral_about)

エンティティリンキング正規化

同一の実世界エンティティのベクトル表現を引き寄せるリンケージ損失を加えることで、表層形式間の一般化を改善します。

時間的順序

時間系列の知識をエンティティ埋め込みの時間的位置決めによってエンコードすることで、時間を超えた類推的推論を支援します。
全体として、構造化された誘導バイアス — タイプ次元、ベクトルロジック、または時間的順序を通じて — を知識グラフ埋め込みに施すことで、ベクトル算術が実世界の制約により適合するようになります。これにより、複雑な推論タスクへの取り組み能力が強化され、同様に統合言語モデルのパフォーマンスを向上させる有用な足場が提供されます。
その核心的な利益は、ドメイン知識を注入して潜在的な幾何学を正確な方法で指向することで、ベクトル空間と相互作用する接続主義モデルの推論能力が増幅されることです。構造化された初期化を通じてニューラルエンジンが操作する原始的なものを導くことで、クエリを通じてアクセス可能なより系統的な組成計算が促進されます。

補完的アプローチ:

クエリに対して関連する知識グラフの埋め込みを最初に取得し、その後、全知識グラフをクエリするという二段階のアプローチは、グラフィカルな操作の効率的な焦点化を可能にします：

ステップ1: ベクトル埋め込みの取得

自然言語クエリに対して、関連する知識グラフの埋め込みは、インデックス化されたベクトル上で近似最近傍探索を使用して迅速に取得できます。
例えば、「人工知能について議論する書籍はどれか」というクエリを使用すると、ベクトル検索は書籍、トピック、AI概念のエンティティの埋め込みを特定します。
これにより、全グラフをスキャンすることなく検索を絞り込むことができ、レイテンシを改善します。埋め込みは次のステップのための有用なクエリ拡張シグナルを提供します。

ステップ2: グラフクエリ/アルゴリズム実行

選択されたエンティティ埋め込みは、構造化されたグラフィカルクエリやアルゴリズムに対する有用な入口点と関係性を示唆します。
私たちの例では、書籍、トピック、AI概念のマッチは、BOOK-TOPICおよびTOPIC-CONCEPTの接続の探索を促します。
以下のようなクエリを実行します：

MATCH (b:Book)-[:DISCUSSES]->(t:Topic)-[:OF_TYPE]->(c:Concept)  
WHERE c.name = "Artificial Intelligence"
RETURN b

これにより、AIトピックにリンクされた書籍を通過して、関連する結果を生成します。
全体として、ハイレベルの流れは次のようになります：

1. ベクトル検索を使用して有用な記号的ハンドルを特定する

2. これらのハンドルによってシードされたグラフアルゴリズムを実行する

この密接な結合は、類似性検索の強みとマルチホップ推論を繋ぎます。
主な利点は、高速な初期埋め込みマッチを使用して複雑なグラフアルゴリズムを焦点化することです。これにより、各クエリに対して全グラフを徹底的にスキャンすることを避けることで、レイテンシと関連性が改善されます。この組み合わせにより、広範な知識に対するスケーラブルで効率的な意味的検索と推論が可能になります。

複数の知識グラフまたは同じグラフの並列クエリ

複数の知識グラフを並列に使用する背後にある主要な考え方は、推論プロセス中に言語モデルが参照できる構造化された知識の範囲を広げることです。その理由を詳しく説明します：

1. 知識の幅広さ： どの単一の知識グラフも、全てのドメインにわたる人類の蓄積された知識を全て包含することはできません。複数の知識グラフを並列にクエリすることで、言語モデルが活用できる事実情報を最大化します。

2. 推論の多様性： 異なる知識グラフは、異なるオントロジー、ルール、制約などを使用してドメインをモデル化する場合があります。この知識表現の多様性は、言語モデルが学習する推論パターンの幅広い配列にさらされます。

3. 効率： 知識グラフを並列にクエリすることで、関連情報を同時に取得できます。これは、逐次クエリに比べてレイテンシを改善します。並列検索により、文脈の詳細をより迅速に集めることができます。

4. 耐久性 (Robustness)： 複数の知識源があることで、特定のグラフが利用できない場合や特定の推論チェーンに関する情報が不足している場合においても冗長性が提供されます。

5. 学習の転移能力： 多くの推論アプローチにさらされることで、言語モデルにとってより多くの転移可能な学習例が提供されます。これにより、少数ショット適応能力が強化されます。

要約すると、知識グラフのコーラスを指揮することで、個々の知識基盤の制約を克服するための知識の幅と多様性が提供されます。並列取得は効率と耐久性 (Robustness)を改善します。さまざまな推論パターンを横断する転移学習は、言語モデルの適応を加速させます。この組み合わせは、より人間のような多用途の理解に向けた構造化知識の注入を拡大することを目指します。

構造化されたモジュール間の流動的な意味論的接着剤として機能する大規模言語モデル

ベクトル検索と知識グラフが構造化された記号的表現を提供する一方で、GPT-3のような大規模言語モデル（LLM）は、非構造化ながらも適応的な意味論的知識を提供します。LLMは、わずかな例で新しいドメインに迅速に適応する、顕著な少数ショット学習能力を示しています。
これにより、LLMは構造化されたモジュール間の流動的な意味論的接着剤として適しています。記号的知識を取り込み、指示を解釈し、一般化を通じてエッジケースを処理し、文脈に応じた出力を生成します。それらは膨大なパラメトリック知識を活用して、外部プログラムやデータ表現と迅速に統合します。
このため、LLMをダイナミックで常に最適化される意味論的層として捉えることができます。それらは構造化された知識の形式を取り込み、新しい入力やクエリコンテキストに基づいて即座に適応します。記号的アプローチを置き換えるのではなく、LLMは迅速なバインディングと文脈応答生成を通じてそれらを増幅します。この流動的な統合は、全ての記号基盤とエッジケースを明示的に手動で処理する労力を節約します。
LLMの意味論的一般化に対する固有の能力を活用することで、構造化プログラムは論理的制約とクリーンなインタフェースを提供することに集中できます。そしてLLMは、適応的な少数ショット学習を通じて不整合とギャップを処理します。この共生的なアプローチは、固有の強みに適した異なる推論能力を持つAIシステムの設計を強調します。

AIの基盤としての構造化知識

人工知能に対する指数関数的なハイプは、短視眼的なスクリプトを追求し、速やかなリターンを約束する組織にとってリスクです。しかし、意味のある進歩には、高品質な知識基盤の根気強い育成が必要です。これは、時間をかけてネットワーク化された表現として人間の専門知識を体系的にエンコードする構造化知識グラフにおいて顕在化します。
複雑なドメインのクリーンな抽象化を相互接続されたエンティティ、制約、ルールとしてキュレーションすることは、些細な投資ではありません。これは、意図的なオントロジー工学、規律あるデータガバナンス、反復的な強化を要求します。漸進的な性質は、迅速なソフトウェアサイクルに慣れたビジネスリーダーを失望させるかもしれません。
しかし、構造化知識はAIの欠けている柱です — 統計モデルを抑制し、基盤信号を提供します。知識グラフは注入可能なドメイン知識の足場を提供し、透明なクエリと分析を可能にします。その組成可能な性質は、多様なシステムとの相互運用も可能にします。
これは、企業知識グラフを戦略的資産としての強力なケースを提供します。データベースが柔軟なスプレッドシートから進化したように、構造の制約は最終的に能力を増幅します。企業知識グラフ内のエンティティと関係性は、会話アシスタントから分析まで、あらゆるものを推進するための信頼できる接点になります。
AIフロンティアへの急速な進出では、プロセスに制約のないモデルを解き放つことが誘惑されますが、過去の自動化の各波と同様に、人間の知識を考え抜かれた方法でエンコードし、機械の潜在能力を高めることが不可欠です。うまく管理されれば、この構造化された利点は時間をかけてアプリケーション全体にわたり複利効果をもたらし、市場リーダーシップを固めます。知識はより良い決定を促す — 企業知識グラフをAIの不可欠な基盤として位置づけています。