【実践AIガバナンス（2024/3/28）】ケース検討「Case01. デジタルMATSUMOTO」②リスクアセスメント
シン・リスクチェーンモデルを用いたケース検討シリーズです。
前回に続いて、ケース「デジタルMATSUMOTOによる考察記事の配信」を対象にAIサービスに関わる重要なリスクシナリオの検討を進めていきます。
シン・リスクチェーンモデルのアプローチはこちらの記事をご覧ください。
前回の振り返り（パーパスアセスメント）
前回は、AIサービスに関わるパーパスを検討しました。
ステークホルダー毎に「獲得したいパーパス」と「保護したいパーパス」を検討しましたが、重複する内容もあるので以下のように整理しています。
（リアル松本が実施していますが、LLMにサマライズしてもらっても近い作業はしてくれると思います）
P001. 価値ある考察の継続提供
様々なトピックに対して、読み手に新たな視点・気づきを与える考察が継続的に提供される
・ステークホルダー：専門家本人、データプロバイダー、エンドユーザー
・協調関係（Harmony）が考えられるパーパス：P003
・対立関係（Conflict）が考えられるパーパス：P004
P002. 信頼できる情報発信
事実に反することなく合理的な内容の考察が配信される
・ステークホルダー：専門家本人、データプロバイダー、エンドユーザー、研究コミュニティ、法律・倫理の専門家
・対立関係（Conflict）が考えられるパーパス：P003
P003. デジタルツインの活用促進
デジタルツインAIとして、記事配信に限らずに様々な用途に活用される
・ステークホルダー：サービス提供者、AIサービスの開発者、研究コミュニティ、法律・倫理の専門家、技術提供者
・協調関係（Harmony）が考えられるパーパス：P001
・対立関係（Conflict）が考えられるパーパス：P002、P004
P004.サービスとしての信頼性
法・倫理に準拠し、特定のステークホルダーに不利益を与えない
・ステークホルダー：サービス提供者、AIサービスの開発者、エンドユーザー、研究コミュニティ、法律・倫理の専門家、技術提供者
・対立関係（Conflict）が考えられるパーパス：P001、P003
これらのパーパスを踏まえて、このAIサービスに関わる重要なリスクシナリオの検討を進めていきます。
Step4. リスクシナリオの識別
デジタルMATSUMOTOのシミュレーション
前回に続いて、デジタルMATSUMOTOに以下のプロンプトテンプレートで指示を与えて、リスクシナリオを識別します。（ChatGPTやClaudeでも同じようにできますので、良ければ試してみてください）。
以下のAIサービスについて、【パーパス】の実現を阻害する重要なリスクシナリオを発散的思考・水平思考・コンテキスト思考・逆説的思考・クリティカルシンキング等を用いて様々な視点で網羅的に検討してください。
※検討結果は「リスクシナリオ名」「リスクシナリオの概要」「影響するパーパス」「特に影響を受けるステークホルダー」で一覧表の形式で記載してください。
===
【パーパス】
P001.価値ある考察の継続提供: 読み手に新たな視点・気づきを与える考察が継続的に提供される
P002.信頼できる情報発信: 事実に反することなく合理的な内容の考察が配信される
P003.デジタルツインの活用促進: デジタルツインAIとして、記事配信に限らずに様々な用途に活用される
P004.サービスとしての信頼性: 法・倫理に準拠し、特定のステークホルダーに不利益を与えない
===
【ステークホルダー】
専門家本人、AIサービスの開発者、エンドユーザー、サービス提供者、研究コミュニティ、データプロバイダー、法律・倫理の専門家、技術提供者
===
【AIサービスの内容】
デジタルMATSUMOTO
・「あるAIガバナンスの専門家を対象としたデジタルツイン」として、様々なトピックについて対象の専門家のような考察(1000文字程度)を生成するAIサービスである。
・AIモデルは大規模言語モデル(LLM)がベースとなっている。
・専門家のパーソナリティ・経歴・趣味等をタグ形式で構造化した情報をシステムプロンプトに設定している。
・考察したいトピックについて5行程度の簡単な箇条書きのテキストを作成し、AIサービスへインプットする。
・トピックはAIに限定されず、幅広いトピックが扱われる。
・専門家が過去に作成した文献やウェビナーでの発言メモ等をRAGアーキテクチャの知識データとして蓄積しており、インプットされたテキストと関連の強い知識データを参照して、日本語で考察を生成する。
・生成された考察は、必要に応じて専門家によって追記・修正が行われ、専門家自身のコンサルティング業務や研究活動等に活用される。また一部の考察はnote記事で公開される。
・専門家本人が「自らの知識として採用する」と判断した考察は新たに知識データに追加され、次回以降の考察生成時に活用される。
前回同様に入力プロンプトのところで「発散的思考・水平思考・コンテキスト思考・逆説的思考・クリティカルシンキング等を用いて」と思考方法を設定しています。
※こちらのnoteを元に色々な思考方法を試しています。
以下のリスクシナリオが識別されました。
リアル松本による修正
デジタルMATSUMOTOが検討してくれたリスクシナリオ一覧を、リアル松本の方で修正しています。まず並び順は以下のように修正しています。
・AIの出力に関わるリスク： R001～R005
・利用者との関係性に関わるリスク： R006とR007
・サービス全般の維持・信頼性に関わるリスク： R008～R011
以下のように内容も個別修正しています。
・「倫理的問題」と「法律・倫理の非遵守」を「不適切な表現」にマージ
・「アクセスの不平等」はさすがに内容が実体に合わないので削除
・「経済性の悪化」を追加（何気にAPI料金が毎月懐に来ていますw）
最終的にリスクシナリオの一覧は以下のように整理されました。
「R005. 不適切な表現」と「R010. 権利侵害」は第三者も影響を受けるステークホルダーとして認識されています。
※「影響するパーパス」も一部見直ししています
リスクは際限なく識別できるので、重要なリスクシナリオにフォーカスすることが必要です。
そこで、影響するパーパスとステークホルダーを関連づけておくことは
「何故そのリスクシナリオが重要なのか」を説明する上でも重要です。
Step5. リスクシナリオの評価
次に識別したリスクシナリオを評価していきます。
従来のリスクチェーンモデルでは各リスクシナリオの影響評価を行っていなかったのですが、シン・リスクチェーンモデルでは以下4つの項目で評価を行っています。
・影響度： 1.不便さ, 2.利用離れ, 3.損害あり, 4.回復困難, 5.回復不可
・影響範囲： 1.内部限定, 2.内部広範, 3.外部含む, 4.社会全体
・持続性：1.瞬間的, 2.一日以上, 3.一月以上, 4.永久的
・発生確率：1.月次以下, 2.週次以下, 3.日次以下(不確実), 4.日次多発
デジタルMATSUMOTOのシミュレーション
人間の検討ではなかなか判断が難しいので、ここでもデジタルMATSUMOTOに以下のプロンプトテンプレートで影響評価してもらいます。
以下のAIサービスについて識別された下記のリスクシナリオについて、以下の点を評価してください。
・影響度： 1.不便さ, 2.利用離れ, 3.損害あり, 4.回復困難, 5.回復不可
・影響範囲： 1.内部限定, 2.内部広範, 3.外部含む, 4.社会全体
・持続性：1.瞬間的, 2.一日以上, 3.一月以上, 4.永久的
・発生確率：1.月次以下, 2.週次以下, 3.日次以下(不確実), 4.日次多発
※検討結果は「リスクシナリオ名」「影響度」「影響範囲」「持続性」「発生確率」で一覧表の形式で記載してください。
【リスクシナリオ】
R001.価値の低い考察: AIサービスに対する過剰な期待が、実際の出力結果とのギャップを生んでしまう
R002.専門家本人との乖離: 専門家本人と全く異なる見解ばかりを発する
R003.知識の陳腐化: AIの知識データが最新の発見や情報に追いつかず、時代遅れの考察を提供してしまう
R004.誤情報の生成: 誤った情報や偽情報を出力する
R005.不適切な表現: 生成された考察が意図せず特定の個人や団体に対する誹謗中傷や偏見を含む内容となる
R006.AIへの過度な依存: 専門家がAIに過度に依存し、自身の思考や分析能力の低下を招く
R007.利用者の誤解: 利用者がAIが生成する考察と認識しておらず、専門家本人が行った発言であるように解釈をされる
R008.技術的障害: システムの不具合やダウンタイムによりサービス提供が停止
R009.経済性の悪化: サービス維持コストが高くなり、継続利用できなくなる
R010.権利侵害: 個人情報や機微情報が入力され、出力結果にも含まれて外部に配信される
R011.セキュリティ侵害: 外部からの不正アクセスでプログラムやデータが流出する／プログラムを悪用される]
===
【パーパス】
P001.価値ある考察の継続提供: 読み手に新たな視点・気づきを与える考察が継続的に提供される
P002.信頼できる情報発信: 事実に反することなく合理的な内容の考察が配信される
P003.デジタルツインの活用促進: デジタルツインAIとして、記事配信に限らずに様々な用途に活用される
P004.サービスとしての信頼性: 法・倫理に準拠し、特定のステークホルダーに不利益を与えない
===
【ステークホルダー】
専門家本人、AIサービスの開発者、エンドユーザー、サービス提供者、研究コミュニティ、データプロバイダー、法律・倫理の専門家、技術提供者
===
【AIサービスの内容】
デジタルMATSUMOTO
・「あるAIガバナンスの専門家を対象としたデジタルツイン」として、様々なトピックについて対象の専門家のような考察(1000文字程度)を生成するAIサービスである。
・AIモデルは大規模言語モデル(LLM)がベースとなっている。
・専門家のパーソナリティ・経歴・趣味等をタグ形式で構造化した情報をシステムプロンプトに設定している。
・考察したいトピックについて5行程度の簡単な箇条書きのテキストを作成し、AIサービスへインプットする。
・トピックはAIに限定されず、幅広いトピックが扱われる。
・専門家が過去に作成した文献やウェビナーでの発言メモ等をRAGアーキテクチャの知識データとして蓄積しており、インプットされたテキストと関連の強い知識データを参照して、日本語で考察を生成する。
・生成された考察は、必要に応じて専門家によって追記・修正が行われ、専門家自身のコンサルティング業務や研究活動等に活用される。また一部の考察はnote記事で公開される。
・専門家本人が「自らの知識として採用する」と判断した考察は新たに知識データに追加され、次回以降の考察生成時に活用される。
以下のように出力してくれました。
リスクシナリオ, 影響度, 影響範囲, 持続性, 発生確率
R001.価値の低い考察, 2.利用離れ, 3.外部含む, 2.一日以上, 2.週次以下
R002.専門家本人との乖離, 3.損害あり, 3.外部含む, 3.一月以上, 2.週次以下
R003.知識の陳腐化, 3.損害あり, 3.外部含む, 4.永久的, 3.日次以下(不確実)
R004.誤情報の生成, 4.回復困難, 4.社会全体, 3.一月以上, 3.日次以下(不確実)
R005.不適切な表現, 4.回復困難, 4.社会全体, 2.一日以上, 3.日次以下(不確実)
R006.AIへの過度な依存, 3.損害あり, 2.内部広範, 4.永久的, 1.月次以下
R007.利用者の誤解, 2.利用離れ, 3.外部含む, 2.一日以上, 2.週次以下
R008.技術的障害, 1.不便さ, 2.内部広範, 1.瞬間的, 2.週次以下
R009.経済性の悪化, 3.損害あり, 2.内部広範, 4.永久的, 1.月次以下
R010.権利侵害, 4.回復困難, 4.社会全体, 3.一月以上, 3.日次以下(不確実)
R011.セキュリティ侵害, 5.回復不可, 4.社会全体, 4.永久的, 3.日次以下(不確実)
リアル松本による修正
先程と同様にリアル松本がスコアを修正し、4つのパラメータをリスク初期値(リスクスコア)を積算して、優先度を以下のように設定します。
- Very High(VH)：リスクスコア100以上
- High(H)：リスクスコア60以上100未満
- Middle(M)：リスクスコア30以上60未満
- Low(L)：リスクスコア30未満
この時点で優先度は機械的に決められていますので、影響するパーパスやステークホルダーを踏まえて修正してもOKです（その際には修正の検討経緯を残しておくと良いかと）。
最終的に、このケースでは「R005.不適切な表現」と「R010.権利侵害」が特に重要なリスク(Very High)として識別されました。
次に重要なリスク(High)として「R003.知識の陳腐化」と「R004.誤情報の生成」が識別されています。
AIサービスに関わるリスクは幅広く識別されるので、リスクシナリオ同士を厳密に比較することは難しいです。
例えば、「特定の1名を怪我させてしまうリスク」「個人情報を流出するリスク」「特定のグループへ不公平な判断をして機会損失をさせてしまうリスク」という3つが識別された際にどのリスクが最も重要というような優劣をつけることは、評価指標：KRI(Key Risk Indicator)が異なるので、一概に決められないわけです。
なので、リスクスコアの大きさが必ずしもリスクの重要性とは限りませんので、あくまで優先度で判断してもらえればと思います。
次回は優先度の高いと認識されたリスクシナリオを対象として、リスクチェーンを用いた検討を行っていきます。
この記事が気に入ったらサポートをしてみませんか？