中に人入ってるんじゃ？というくらいに自然に会話できるChatGPTなど生成系AIが台頭してきました。
で、実務として何をやってもらえるかに皆さん一生懸命取り組んでますね。

いろいろな事例に触れてくる中で、生成系AIの特徴として「ロジックで考えていない」というところがやはりポイントなんだと感じてきました。
雰囲気で読むのが圧倒的にうまいということです。
なので、ロジックで考えれば間違いなく正解に辿り着く話であっても理論的に100%の回答は返せないですし、逆に理詰めで考えても考えても答えに辿り着かないような複雑な問題でも生成系AIならそれっぽいところに近付いたりもします。（それが正解なのかはわからないですが）

生成系AIの能力を測る指標として、例えばGPT-4が出てきたときには、英語の司法試験で上位10%のスコアで合格できる水準に達しているという話もあります。相当な時間をかけて勉強してきた人間に勝るアウトプットを出せているのです。こうしてみると人間よりもAIは優秀だと評価することもできます。

が、実務への導入をスコープにした途端に話が一変します。
実務の世界では、100%間違いがなく返せないと使い物にならない、誰も使わない、と言われることが多々あります。
95%の正答率で答えを返すことができても5%でも間違えるとダメなんだそうです。

でも、それっておかしくないですか？

人間だってそれくらい、いや正直言うとそれ以上に間違えますよね？
何も考えなかったとしても、人間にやらせるのとAIにやらせるのとではAIに任せてしまった方が間違い少なく遂行できるのに、より間違ってしまう方の人間にやらせたいのだそうです。

生成系AIの能力がこれまでに比べて圧倒的にすごすぎるので、みんな期待してしまってますが、そのロジック部分を知れば知るほどに、所詮これまでの圧倒的な学習量からくる推論による確率論でしかないのがわかります。
ここがわかっていれば100%なんてありえないのですが、それでも100%を求められてるのが今の実務世界での葛藤の現実です。

100%というのが初めから譲れないのであれば、もう初めからAIには手を出すべきではありません。
そこのところを判断する人は理解していくことが必要です。

では、いかに優秀なAIであったとしても100%ではないということがわかれば、もう少し可愛がってあげてもいいのではないでしょうか？
間違ってしまったときはしょうがないなぁ、と尻拭いをしてあげればいいのです。そこを織り込み済みで働いてもらえば、これまでの大半の人間よりも圧倒的に成果を上げてくれると思います。

成果というのはすべてプラスの成果ばかりを積み上げているわけではありません。中にはマイナスの成果もあって、プラスとマイナスで相殺しながらいかにプラス成果を多く積み上げていくか、というゲームです。
ただし、マイナスの場合には単純にその分マイナスされずに大きなレバレッジがかかってしまうことも場合によってはありますが、この話はまた別で。

人間でもAIでも間違いはするものだと、正しく理解してあげてプラスとマイナスを積み重ねた結果AIはどれだけプラスを積み上げられるかで評価をしていけるように頭を切り替えられるといいですね。