サングラスやマスクがあっても顔認識できる
従来から、人の顔を認識する顔認識システムはありましたが、その技術は進化しています。この発明は、サングラスやマスクをしていても、顔を認識することができるシステムの発明です(特開2018-163481、アイシン精機)。
顔に装着物があると顔認識が難しい
画像から人間の顔を認識する技術では、サングラスや眼鏡、マスクなどを顔に装着していると、認識精度が低くなってしまいます。例えば、サングラスを着用している人物を検出する技術では、入力画像から人物の頭部に相当する頭部領域を抽出し、頭部領域に含まれる黒色を呈する黒画素を抽出し、黒画素が左右対称に分布しているとその人物はサングラスを着用していると判定します。しかし、人物が横を向いている場合には正しく検出できません。また、眼鏡を掛けているかを検出する技術では、眼鏡に映り込みが存在するかを検出しますが、眼鏡の形状によって映り込み映像が異なり、正確な検出ができません。そこで、顔に装着物があっても適切に顔を認識することができる顔認識技術が必要になります。
三次元顔モデルと、顔画像のフィッテイング
この発明は、下記手順で顔認識を行います。
- 人の顔を撮影した撮像画像から装着物の有無を判定
- 装着物ありと判定された場合に、顔の表面から装着物までの高さ情報を取得
- 高さ情報に基づいて三次元顔モデルを作成
- 三次元顔モデルを用いて撮像画像に含まれる顔をフィッティング
プロセスは下記のようになります。
- 装着物の有無を判定と、装着物の特定
装着物があると判定された場合、装着物を特定します。例えば、顔領域における両目の位置を認識し、両目の近傍が他の領域の色とは異なる色で覆われている場合はサングラス、顔領域における鼻や口の位置を認識し、鼻や口の近傍が他の領域の色とは異なる色で覆われている場合はマスク、と特定することができる。また、顔領域の上部が覆われている場合は帽子と特定されます。
- 装着物の高さ情報を取得
そして、顔の表面から装着物までの高さ情報を調べます。高さは顔の表面から装着物の全ての縁部までの高さでも良いし、演算処理と軽減するために装着物の一部の縁部までの高さとしても良い。サングラスやマスクは、一般的な高さなので、予め装着物と高さ情報との関係を記憶しておくことも可能です。
- 三次元顔モデルの作成
高さ情報に基づいて三次元顔モデルを作成します。この三次元顔モデルとは、人の顔を三次元で示したモデルであり、顔の中心を基準として規定されたX軸、Y軸、Z軸のそれぞれの方向に沿って並進可能で、これらの軸を軸心として回転可能に構成されたモデルです。三次元顔モデルは装着物に応じて用意されます。図3は顔に装着物が無い場合、図4はサングラスを装着している場合、図5はマスクを装着している場合、図6は帽子を装着している場合、それぞれの三次元顔モデルを示します。図4と図5では、高さ情報を用いて、高くする前の特徴点を破線で示し、高くした後の特徴点を黒丸で示しています。
- フィッティング
三次元顔モデルを用いて、撮像画像に含まれる顔をフィッティングします。撮像画像に含まれる顔の特徴点、例えば、眉頭、眉尻、目頭、目尻、鼻柱、口角などを検出します。さらに、サングラスを装着している場合にはサングラスの縁部、マスクを装着している場合はマスクの縁部、帽子を装着している場合は帽子のつば部などが特徴点となります。ここでは、「フィッティングする」とは、「撮像が層に含まれる顔の特徴点」を、「三次元顔モデルの特徴点」に合わせることを意味します。したがって、三次元顔モデルの中心を基準として、X軸、Y軸、Z軸の方向に沿って三次元顔モデルを並進したり、軸心として回転したりします。
テクノロジーの持つ功罪
このように、顔に装着物があっても人間の顔を認識できるということは、犯罪者の変装を見抜いたりする犯罪防止に役立つ可能性があります。その一方で、顔を知られている有名人が人目を避けて生活したいような場合には、プライバシーが無くなる不利益が生じる可能性も否めません。ますます技術進化が進む一方で、私たちのプライバシーを守るための倫理的な取組みも同時に考えなければならないのではないでしょうか。