見出し画像

Open QA4AI Conference レポート

2019年5月17日(金)に上野イーストタワーで行われた「Open QA4AI Conference」について、QA4AIコンソーシアムの発表を中心に「ざっくり」とレポート致します。

※誤りがありましたらご指摘いただければ幸いです。

■Open QA4AI Conferenceとは

AI搭載システムの品質について検討している国内5団体が一堂に集まり最新情報を提供するカンファレンスです。

■参加5団体と発表内容

今回のカンファレンスに参加された5団体と発表内容は以下のとおりです。

QA4AIコンソーシアム
 「AIプロダクト品質保証ガイドライン」の公開について

国立研究開発法人産業技術総合研究所
 機械学習AIの品質保証について

中部経済産業局 戦略的基盤技術高度化支援事業
 「自律的自動運転の実現を支える人工知能搭載システムの安全性立証技術の研究開発」

宇宙航空研究開発機構
 機械学習を信頼性・安全性が要求されるシステムに搭載するためのアプローチと課題

国立情報学研究所
 高信頼な機械学習応用システムによる価値創造について

# 聞き間違いでなければ、後日発表資料が公開されるとのこと。

■オープニングトーク

 西康晴さんから「AI品質保証の現状についての説明」と「参加者の業務についての質問」がありました。

▼AI品質保証の現状について
==============================
 機械学習を活用した製品が出てきており、各企業競いあっている。しかし、品質保証を確立した方法論に沿って実施している企業はオープンにはない。
==============================

▼参加者の業務についての質問
==============================
 西さんの質問に対する挙手する形で、参加者がどのような業務に従事されているかを確認していました。(メディア向けの対応?)

 ・AI開発経験者
  参加者の半分(150名ほど)

 ・クラウドサービス型のAI開発経験者
  少ない

 ・スマートスピーカーのAI開発経験者
  とても少ない

 以下、人数不明だが若干いた模様
 ・工場機械系
 ・自動車方面
 ・AI-OCR 

# AI開発経験者が半数近くもいることに正直驚きました。私の周囲にいないだけで世の中には大勢いらっしゃるんですね。
==============================

■「AIプロダクト品質保証ガイドライン」の公開について(QA4AIコンソーシアム)

 すでに資料が公開されていますので、詳細はそちらを確認していただくとして、ここでは「AI」「QA4AI」「ガイドライン」の特徴、コンセプトについてお話頂いた内容をまとめて列挙します。

 ▼AI(機械学習技術)の特徴
 ==============================
  ・帰納的開発である
   具体例を大量に用意して、期待する結果を出すプロダクトの開発
   ※従来の演繹的開発(仕様、設計、実装、テストを実施)とは異なる

  ・100%の精度は出せない
   失敗することがある。

  ・CACE性(Changing Anything Changes Everything)がある
   1つのデータ内容が変化することで全体に影響を及ぼす。
   この特性により分割統治ができないため、同値分割ができない。
   ⇒つまり、テストケース削減ができない。
   そのため、システム全体に対して自動化によるFEETが必要となる。

  ・因果関係の説明が困難
   何で不具合が発生したかがわからない
 ==============================

 ▼AIの品質保証が困難だと示す例
 ==============================
  ・天下一品マークと道路標識(進入禁止)を誤認する。
    (ミッションクリティカル事例)
    ⇒このままだと天下一品に入れない可能性がある
     どうすれば天下一品に入れる?

   # ちなみに本事例ついて調査した記事がありました。

  ・AIにより一枚の絵だけで回転するアニメを作れる事例(DeNAさん)
   (エンターテイメント)
   ⇒後姿を生成してくれる。でもどうやって品証するの?
   #本事例ついてはDeNAさんが資料を公開してくださっています。    ==============================

 ▼QA4AIについて

 ==============================
  ・QA4AIでは色々な分野を混ぜて考えて共通性を探している。
  ・対象ドメインは4つあるが、やりたいドメインを実施している。
  ・RPAやOffice製品等で利用されるAI-OCRのガイドラインが6月公開予定
  ・会費は不要。ただし、情報取得目的や宣伝目的の方は入会不可。
   自分達で産業に寄与したいという人たちの集まり。
  ・会社の利益代表者として参画している方はいない。
 ==============================

 ▼QA4AIコンセプト
 ==============================
  ・QAのせいで生産性が落ちるとかいわれることが多い。
   しかしAIではQAが邪魔してはいけない。
  ・相応の結果しか出ないことを利用者に認識してもらう
  ・マルチドメイン
  ・類似組織とハーモナイズ

  古来、いい技術があると競合争いをはじめることが多いが、
  GAFAや中国のBATなど巨大戦力があるので、日本は一致団結でやる!

 ==============================

 ▼ガイドラインについて
 ==============================
  ・ガイドラインは1年ごとに更新予定。
  ・組織で利用する場合は変更頻度について十分な考慮、理解が必要。
  ・網羅性や完全性は意図していないため、気を付けること。
  ・漏れはある。自組織の責任で利用してほしい。
  ・ガイドラインの内容を色々な組織にヒアリングした結果、
   「これAIじゃなくても今までの開発でもそうでなければならない」
   という意見多数。
   ⇒つまり通常の開発でも使える品質保証ガイドラインになっている
  ・成熟していないため、HowToよりコンセプトや解釈が中心
 ==============================

■QA4AIコンソーシアム以外の4団体の発表について

 「AI品質保証の取り組みに関する課題」のみまとめてに列挙します。
    #事例についてSNS情報公開可とはなっていなかった気がするため

 ▼AI品質保証の取り組みに関する課題      ==============================
  ・作る人と使う人で合意ができず、サプライチェーンで回らない。
  ・「説明できないものは怖くて使えない」という現場の声がある
  ・AIに対して取り組みを始める際、
   人によってAIのとらえ方が違うから何が正しいかはわからなかった。
  ・AIでは仕様が明確ではないので完全性や正確性が判断できない
  ・教師データの品質やバリエーション不足
  ・要件定義・テスト・品質保証のギャップが大きい。
 ==============================

■ハーモナイズについて

最後に総合討議が行われ、いくつか討議がされていたのですが、その中で以下のような質問がありました。

一同に介して実施したり、ハーモナイズにするというやり方に感銘を受けました。
今後どうやって共生とハーモナイズしていくのか。
またエンドユーザのために今後どのようにすすめていくか。
お聞かせ願えないでしょうか。

この質問に対して、各団体の立ち位置に関する説明がありましたので、列挙します。

QA4AIコンソーシアム
 エンジニアが参照するガイドとして品証方法を定義していく。
 後ろ盾がないので色々なドメインに対して定義する予定。

国立研究開発法人産業技術総合研究所
 b2bなどビジネスサイドの立場で品質保証方法を定義していく。

中部経済産業局 戦略的基盤技術高度化支援事業
 セーフティクリティカルなものをAIで作る場合のガイドラインを作成していく。対象はシステム設計者向けに一点集中。

宇宙航空研究開発機構
 申し訳ありません。内容が理解できませんでした。
 「制約条件がある中、AIを利用した場合に得られた知見を展開していく」といった形になるのだと私は思っています。

国立情報学研究所
 開発者、品質保証者が使える技術や使い方を発表していく。

■所感

 色々なお話を聞いて、「100%の精度を出すことができない性質」「因果関係の説明が困難」等の「AIの特徴」をステークホルダで共有し納得して作業が進められることが非常に重要だと感じました。
 これから様々な事例が作られ、ガイドラインがブラッシュアップされることで合意形成がしやすくなり、世間と有識者のAIに関する認識のギャップが埋まることで、AI製品が余計な不安を感じず使える時代がくることを期待しています。