AIのテストにおけるバックツーバックテストの意味

AIのテストに使える技法として、バックツーバックテストがあります。車業界の人からすると、バックツーバックテストは結構なじみがある技法ですね。ISO26262の技法テーブルにありますので、機能安全対応が必要な場合はやらざるを得ないかと。

車の世界でバックツーバックテストは、過去モデルとの差異がないことのチェックだったり、バリエーション間での差異がないことのチェック、またはモデルと実機の動作の差異がないことのチェックに使われます。テストオラクルが十分に用意できればバックツーバックテストは不要かもしれませんが、そうじゃない場合に使われます。つまりはテストオラクルの補完、が意義ですね。

では、ひるがえってAIについて考えてみます。AIにおいてテストオラクルを補完する、という点で行くと↓のメタモルフィックテスティングが関係しそうですね。

メタモルフィックテスティングは、メタモルフィック関係を使って入力の変化に応じた出力の変化を推測する、というものでしたね。まさにテストオラクルの推測、補完です。

メタモルフィックテスティングは、写像を使って出力を推測し、バックツーバックテストは過去動作(別バリエーション)を使って出力を特定する、という違いです。前者は特定の範囲(メタモルフィック関係が成立する場合)に限ってしか使えない代わりに、新しい出力を得ることができます。後者は範囲の制約がない代わりに、リファレンスのモデルがないと成立しません。


というわけで、バックツーバックテストは一般的なテスト(設計)技法には分類されず、テストオラクルの生成に使われるもの、と解釈した方がよさそうです。

この記事が気に入ったらサポートをしてみませんか?