Text by 技術本部 Ishibashi

顔認証を行う上で画像の品質はとても大事です。例えば解像度が低い画像や照明が強い画像や顔の一部が隠れている画像など、人間の目でもそれが誰かを当てるのは難しいと思います。AIも同様に認証するのに苦手な画像はあります。
 
AIにとって苦手な品質の低い画像を認証しようとすると認証できなかったり誤認証を引き起こす原因となってしまいます。品質評価ができるのであれば認証対象から外すことで認証精度を向上させることができます。
 
一般的な画像の品質を評価するタスクとしてImage Quality Assessment(IQA)があります。IQAで使われる手法は人の目でみたときの画像の劣化具合を評価するものが多く、顔認証の品質評価とは相性が悪いです。
 
そこで登場するのがFace Image Quality Assessment(FIQA)です。IQAと同様に画像の品質を評価しますがこちらは顔に焦点を当てています。顔認証においては認証に適した画像であるかを品質として評価します。これをどうFIQAモデルに組み込み学習するのか様々な手法が提案されています。
 
今回はそんなFIQAに関する論文をいくつか調べたので紹介したいと思います。

Improving Training and Inference of Face Recognition Models via Random Temperature Scaling
RTSは品質を評価するために入力データの不確実性の推定を行います。不確実性の推定にはsoftmaxの温度を使用し顔認証モデルに組み込んでいます。
 
深層学習では不確実性のある入力に対しても高い自信を持って予測してしまいます。不確実性を推定することで顔認証モデルに対して利益をもたらすことができるのでは？という考えに基づいて提案された手法となっています。

SDD-FIQA: Unsupervised Face Image Quality Assessment with Similarity Distribution Distance
SDD-FIQAは品質を評価するための回帰モデルを学習します。学習のためにクラス内の類似度分布とクラス間の類似度分布との距離を使用します。
 
従来の手法では不確実性の推定などクラス内の情報のみでクラス間の情報は活用できていませんでした。しかし高品質な顔画像はそのクラス内サンプルに似ていて、クラス間サンプルとは似ていないはずでクラス間の情報も有用性があると論文は主張します。そこでどちらの情報も活用したのがSDD-FIQAです。

CR-FIQA: Face Image Quality Assessment by Learning Sample Relative Classifiability
CR-FIQAも品質を評価するための回帰モデルを学習します。この手法では正のクラス中心の類似度と最も近い負のクラス中心の類似度の比を予測するように学習されます。またこれらの値は学習中のネットワークから観測します。
 
顔認証の学習中、高品質な画像はクラスの中心に近づき他のクラスの中心からは離れる。逆に低品質な画像は高品質な画像よりクラスの中心から遠くなるはず。その仮説から顔認証モデルの学習にはクラスの中心への相対的な接近を起こす特性があると考え、それを学習することができれば品質を評価できるという発想から提案された手法になっています。

まとめ
昨今は単に顔認証モデルの精度向上というよりも品質評価などの研究のほうが盛んな印象があります。実際CR-FIQAも今年6月に開催されたコンピュータービジョン分野のトップカンファレンスであるCVPR2023の論文になります。弊社でもFIQAを積極的に活用していきたいと考えています。

◼️第2回　千里の道も１枚から、画像分類AIの旅