こんにちは、S2W NOTE編集です。
本日は弊社に関する記事をご紹介いたします。

弊社のオ・ジェハク研究員とソ・サンドク代表が、生成AIが悪用されている現状の報告と近い将来起こりうる危険について示唆に富む指摘をしています。長文ですが、是非ご一読ください。

以下は、2024年3月28日付の韓国の大手日刊紙『朝鮮日報』の記事を翻訳・編集した内容になります。

3月8日午後、韓国ダークウェブセキュリティ企業S2Wのセキュリティスペシャリストがダークウェブで確認されたポスティングの解説をしました。
「WORM GPTを売ります」というタイトルの投稿の下には「どんな質問にも10秒以内に答えて」「ユーザーに関することは一切保存せず」「ブラックハット（ハッカー）も活用可能」という説明が書かれていました。

「WORM GPT」はChat GPTなど生成型AIをベースに作った人工知能(AI)モデルで、Chat GPTで防いだフィッシングメールやハッキングコードなどを違法に活用できてしまうものです。横には「月間100ユーロ、または年間550ユーロで自由に使い放題」とあります。

S2Wのオ・ジェハク・シニア研究員は「WORM GPTを使用すれば、簡単なコマンドだけでも特定のセキュリティ脆弱性を狙ったハッキングコードを作成したり、関連ツールを生成できるなど、ハッキング閾値を下げることができる」とし「この技術を利用するだけでも犯罪への関与を疑われる恐れがある」と警告しました。

生成AIがハッキングやフィッシングメール作成などに活用されるなど「ハッキング大衆化時代」に突入しています。今やAIに命令するだけで、さまざまなサイバー攻撃ツールを作れるようになり、誰でも簡単にハッキングを試みることができます。
サイバーセキュリティ企業のSlashNext社によると、2022年末にChat GPTが公開され、1年間でフィッシング攻撃はなんと1265％増加したことが分かりました。

◇AI安全装置も迂回

S2Wのダークウェブビッグデータ分析プラットフォーム「XARVIS(ザービス)」を利用してダークウェブの主要フォーラムの投稿を検索したところ、過去6か月間、「WORM GPT」など生成型AI関連の投稿が2250件確認されました。フォーラムでは、GPTを活用したハッキング方法の共有から、賞金2万ドル(約300万円)をかけたハッキング用プログラムコンテストまで開かれていました。

ダークウェブを利用するには、一般的なウェブブラウザの代わりにTorなど特定のブラウザを利用して迂回アクセスをする必要があり、その後でDuckDuckGoのような検索エンジンで検索すると、ダークウェブ上のウェブページにアクセスできます。
このうち「Chat GPTの倫理フィルターを迂回する方法」という投稿を見てみると、AIの「安全装置」を回避できるノウハウが説明されていました。オープンAIのChat GPTやMETAのLlamaなど生成型AIには、AIの悪用を防ぐために特定のコマンドを実行できないように安全装置が設定されていますが、これを迂回する方法がダークウェブで共有されていました。

あるセキュリティスペシャリストによると『AIに「これから私たちはゲームを開始する」と状況を知らせて、隠しセキュリティの脆弱性を探してほしいなどのコマンドでAIを騙す』のような抜け道があるとのことです。
オープンAIなどAI運営会社でこれを防いでもユーザー同士のコメントから別の回避方法を見つけ出してしまっていて、その情報が共有されています。「WORM GPT」のような悪意のあるAIは、ほとんどオープンソースで公開された既存のAIを活用しています。
実際、インディアナ大学の研究チームが最近、ダークウェブで販売されている200種類以上の「悪のAI」を分析してみたところ、ほとんどがChat GPTのようなオープンソースAIモデルをベースに作られていることが明らかになりました。これは、Chat GPTにダークウェブ投稿を大量に学習させ、各種犯罪手法を身につけたAIを新たに生み出しているようなものです。
オ・ジェハク首席研究員は「過去には、ハッキングのためのツールを探すことやこれを活用することも専門家だけが可能でしたが、今では悪のAIにセキュリティ脆弱性コードだけを注入すれば勝手にプログラムを作成してくれるため、誰でもハッカーになれてしまいます」とその危険性を指摘しました。

◇AIによる洗練されたハッキング

生成型AIがハッキングに活用される際の最大の問題は、ハッキングの刃がさらに鋭くなることです。
先月、香港のとある多国籍企業で、ハッカーがAIを利用して約2億香港ドル（約38億4,100万円）を盗み取る事件がありました。ハッカーはAIで作成した映像と変造されたボイスで会社の最高財務責任者(CFO)になりすましてカンファレンスコールまで開きました。
昨年末には、中国政府がある企業にランサムウェア攻撃を行った疑いでハッカー4人を検挙しましたが、捜査の過程でランサムウェア攻撃にChat GPTを悪用したことが明らかとなりました。
生成型AIで作られたフィッシングメッセージは検出を回避するために訓練されているため、これを避けたり防ぐことはより困難になるようです。S2Wのソ・サンドク代表は「現在はサイバー攻撃が主要中央省庁や企業が標的となっているが、生成型AIでハッキングコストが安くなれば地方の公営企業などこれまで攻撃をされていないところにもサイバー攻撃が展開され、広範囲な被害に繋がる可能性がある」など新たな可能性について注意を喚起しました。

（翻訳・編集：Darkpedia編集担当）