見出し画像

どうする?POC貧乏にならない為に Part3 -精度-

Part2でPOCを予算と稟議という側面で見ることで、POCを思いかけず多角的に捉えることができたので、思いついたことから順にPOC貧乏になる要因について書いていきたいと思う。(いつのまにか文体が「である」調に落ち着いた。)

POCの次に進むために必要な「実現可能性」と「ビジネス・インパクト」のうち、今回は過度な実現可能性の目標について考えていきたい。具体的には精度である。

人工知能の精度には大きく2つある。1つ目は、アルゴリズムそのものの優秀性(アルゴリズム精度)を図る指標だ。これは複数の人工知能を比較するときに使うイメージだ。分かりやすいもの(私がよく使うもの)だと、AR値だ。2つ目は、業務の性質によって求められる精度(業務精度)という指標だ。ミスが許されない業務か、効率性を求められる業務かといった業務に求められる精度である。例えば、営業は効率性を求められる業務に該当すると個人的には思っている。売上の大きい案件やすぐに売上につながる案件を、業務時間の中で受注することができるのかを求められる仕事である。

当然アルゴリズム精度が業務精度によって決められるのは、これまでのブログを見ていただければ分かると思うが、ビジネス上の価値(ビジネス・インパクト)が重要であるからだ。

ただしビジネス・インパクトが重要であるからといって、お客様の都合だけが先行してしまうと、現状の人工知能の技術では達成できない目標になりかねない。例えば、ミスが許されない業務に使うから、再現率100%が担保できる閾値や適合率100%の範囲でしか使わないといったやり方だ。これは人工知能に対する過度な期待・目標となる。もちろんサンプルデータ上で、過度な期待を達成するモデルを作成することも可能であるが、多くの場合2つの懸念がある。1つ目が、過学習である可能性だ。過学習で作られたモデルは、サンプルデータ以外では期待通りの解析をしないモデルである。2つ目が、性質上未知のデータが入った場合に、あっさりと100%が期待できなくなってしまう。

こういった過度な期待・目標をなぜお客様が提示するかというと、多くの場合業務の完全代替えを目指していたり、効率性と精度の二兎を追うからだ。ミスが許されない業務であれば、どう人工知能を既存の業務のミスを減らすことに使うかを考えないといけない。具体的に目標設定は、ミスが許されない業務である場合には、業務の全体量を増やさず今あるミスを減らす方法を人工知能で実現することを最初のゴールとするのが良い。この目標を実現するとなると、(初心者とか)人間が誤りがちなミスを、人工知能がなるべく高い適合率で発見するだけでも、目標を達成となる。もちろんこの目標が十分にビジネス・インパクトがあるかを判断するためには、当然業務(特にフロー)の理解が重要である。

まとめると、人工知能に求める精度はそもそも業務の性質が影響を与えるが、だからといって人工知能に対して過度な期待・目標を求めてはいけない。多くのケースは100%という精度を得るのは難しいから、業務を理解することで人工知能の使い所を探らなければならない。

この記事が気に入ったらサポートをしてみませんか?