(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023005176
(43)【公開日】2023-01-18
(54)【発明の名称】顔認証装置および顔認証方法
(51)【国際特許分類】
G06T 1/00 20060101AFI20230111BHJP
G06T 7/00 20170101ALI20230111BHJP
G06T 7/90 20170101ALI20230111BHJP
【FI】
G06T1/00 430G
G06T7/00 510F
G06T7/90 A
G06T7/00 660A
G06T1/00 400H
【審査請求】未請求
【請求項の数】9
【出願形態】OL
(21)【出願番号】P 2021106927
(22)【出願日】2021-06-28
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(72)【発明者】
【氏名】堤 隆太
(72)【発明者】
【氏名】友添 雄亮
【テーマコード(参考)】
5B043
5B047
5L096
【Fターム(参考)】
5B043AA04
5B043AA09
5B043BA04
5B043CA10
5B043DA05
5B043DA09
5B043FA03
5B043GA01
5B047AA23
5B047AB02
5B047BB04
5B047BC11
5B047CA19
5B047CB22
5L096AA02
5L096AA06
5L096BA08
5L096BA18
5L096CA02
5L096CA04
5L096DA02
5L096FA14
5L096FA15
5L096GA38
5L096GA51
5L096HA13
5L096JA11
5L096JA28
(57)【要約】
【課題】被写体の顔に当てる光を制御し、顔認証の認証精度を向上する顔認証装置を提供すること。
【解決手段】顔認証装置は、被写体が映った画像データをカメラから受信する画像データ受信部と、画像データに基づいて、被写体に投影する投影画像の投影画像データを生成する画像生成部と、被写体に投影画像を投影するプロジェクターに、投影画像データを送信する投影画像データ送信部と、投影画像が投影された被写体の投影被写体画像データを、カメラから受信する投影被写体画像データ受信部と、投影被写体画像データに基づいて、被写体の顔認証処理を行う顔認証部と、を有する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
被写体が映った画像データをカメラから受信する画像データ受信部と、
前記画像データに基づいて、前記被写体に投影する投影画像の投影画像データを生成する画像生成部と、
前記被写体に前記投影画像を投影するプロジェクターに、前記投影画像データを送信する投影画像データ送信部と、
前記投影画像が投影された前記被写体の投影被写体画像データを、前記カメラから受信する投影被写体画像データ受信部と、
前記投影被写体画像データに基づいて、前記被写体の顔認証処理を行う顔認証部と、
を有する顔認証装置。
【請求項2】
前記画像生成部は、前記画像データに基づいて、眼鏡をかけている前記被写体の目元部分の明るさまたは色を補正する前記投影画像データを生成する、
請求項1に記載の顔認証装置。
【請求項3】
前記画像生成部は、前記画像データに基づいて、マスクをかけている前記被写体の口元部分の明るさまたは色を補正する前記投影画像データを生成する、
請求項1または2に記載の顔認証装置。
【請求項4】
前記画像生成部は、前記画像データに基づいて、前記被写体の顔全体の明るさが均一となるように、前記前記投影画像データを生成する、
請求項1から3のいずれか一項に記載の顔認証装置。
【請求項5】
前記画像生成部は、前記画像データに基づいて、前記被写体の顔色または髪色が所定の色となるように、前記投影画像データを生成する、
請求項1から4のいずれか一項に記載の顔認証装置。
【請求項6】
前記画像生成部は、前記画像データに含まれる前記被写体の背景の背景画像データに基づいて、前記投影画像データを生成する、
請求項1から5のいずれか一項に記載の顔認証装置。
【請求項7】
前記画像生成部は、前記画像データに基づいて、N(Nは1以上の整数)個の異なる前記投影画像データを生成し、
前記顔認証部は、N個の前記投影画像データの画像がそれぞれ前記被写体に投影されたN個の前記投影被写体画像データを前記カメラから受信した後、前記N個の前記投影被写体画像データに基づいて、前記被写体の顔認証処理を行う、
請求項1から6のいずれか一項に記載の顔認証装置。
【請求項8】
前記画像生成部は、前記画像データに基づいて、N(Nは1以上の整数)個の異なる前記投影画像データを生成し、
前記顔認証部は、1個の前記投影画像データの画像が前記被写体に投影される度に、前記被写体の前記投影被写体画像データを前記カメラから受信し、前記被写体の顔認証処理を行う、
請求項1から6のいずれか一項に記載の顔認証装置。
【請求項9】
被写体が映った画像データをカメラから受信し、
前記画像データに基づいて、前記被写体に投影する投影画像の投影画像データを生成し、
前記被写体に前記投影画像を投影するプロジェクターに、前記投影画像データを送信し、
前記投影画像が投影された前記被写体の投影被写体画像データを、前記カメラから受信し、
前記投影被写体画像データに基づいて、前記被写体の顔認証処理を行う、
顔認証方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、顔認証装置および顔認証方法に関する。
【背景技術】
【0002】
特許文献1には、ゲートなどを通過する利用者に対して、顔認証を行う顔認証装置が開示される。
【0003】
特許文献2には、撮影カメラで撮影される被写体に対して、照明を当てる照明システムが開示される。特許文献2の照明システムは、被写体の瞳を避けて照明を当て、被写体における照明光の眩しさを軽減するシステムである。特許文献2には、環境光に合わせ、被写体に当てる光の明度調整のみを行うことが開示される。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2020-205117号公報
【特許文献2】特開2017-111994号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
顔認証では、被写体の顔に当たる光の影響によって認証精度が変動する場合があり、顔に当てる光の制御が重要である。
【0006】
本開示の非限定的な実施例は、被写体の顔に当てる光を制御し、顔認証の認証精度を向上する顔認証装置および顔認証方法の提供に資する。
【課題を解決するための手段】
【0007】
本開示の一実施例に係る顔認証装置は、被写体が映った画像データをカメラから受信する画像データ受信部と、前記画像データに基づいて、前記被写体に投影する投影画像の投影画像データを生成する画像生成部と、前記被写体に前記投影画像を投影するプロジェクターに、前記投影画像データを送信する投影画像データ送信部と、前記投影画像が投影された前記被写体の投影被写体画像データを、前記カメラから受信する投影被写体画像データ受信部と、前記投影被写体画像データに基づいて、前記被写体の顔認証処理を行う顔認証部と、を有する。
【0008】
本開示の一実施例に係る顔認証方法は、被写体が映った画像データをカメラから受信し、前記画像データに基づいて、前記被写体に投影する投影画像の投影画像データを生成し、前記被写体に前記投影画像を投影するプロジェクターに、前記投影画像データを送信し、前記投影画像が投影された前記被写体の投影被写体画像データを、前記カメラから受信し、前記投影被写体画像データに基づいて、前記被写体の顔認証処理を行う。
【0009】
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータープログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータープログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0010】
本開示の一実施例によれば、顔認証装置は、被写体の顔に当てる光を制御し、顔認証の認証精度を向上することができる。
【0011】
本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および/または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、1つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
【図面の簡単な説明】
【0012】
【
図1】第1の実施の形態に係る顔認証システムの一例を示した図
【
図3】プロジェクターの画像が投影された被写体の顔の例を示した図
【
図4】プロジェクターの画像が投影された被写体の顔の例を示した図
【
図5】被写体の顔の明るさが不均一である場合の例を示した図
【
図6】プロジェクターの画像が投影された被写体の顔の例を示した図
【
図8】第2の実施の形態に係る顔認証装置の動作例を示したフローチャート
【
図9】第3の実施の形態に係る顔認証装置の動作例を示したフローチャート
【発明を実施するための形態】
【0013】
以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0014】
なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。
【0015】
(第1の実施の形態)
図1は、第1の実施の形態に係る顔認証システムの一例を示した図である。
図1に示すように、顔認証システムは、顔認証装置1と、カメラ2と、プロジェクター3と、を有する。
図1には、顔認証される被写体4も示してある。
【0016】
顔認証システムは、例えば、ビルといった建物の中または外に設置され、建物の中または外の所定の場所を通過する被写体4の顔認証処理を行う。顔認証システムは、例えば、顔認証システムの顔認証結果を用いて、被写体4の入退権限を判定する入退システムや、被写体4の勤怠を管理する勤怠システムに用いられる。なお、顔認証装置1は、カメラ2およびプロジェクター3が設置される場所とは別の場所に設置されてもよい。
【0017】
顔認証装置1、カメラ2、およびプロジェクター3は各々、LAN(Local Area Network)またはインターネットといったネットワークに接続される。顔認証装置1、カメラ2、およびプロジェクター3は、ネットワークを介して通信する。顔認証装置1は、例えば、サーバーやパーソナルコンピューターといった情報処理装置であってもよい。
【0018】
顔認証装置1は、カメラ2が撮影した画像データを受信する。カメラ2が撮影する画像データは、動画像データであってもよい。顔認証装置1は、被写体4を含む画像データに基づいて、プロジェクター3から被写体4に投影する画像の画像データを生成する。顔認証装置1は、生成した画像データを、プロジェクター3に送信する。
【0019】
プロジェクター3は、顔認証装置1から送信された画像データに基づく画像を被写体4に投影する。なお、プロジェクター3が被写体4に投影する画像は、顔認証のための照明光と捉えてもよい。
【0020】
カメラ2は、プロジェクター3の画像(光)が投影された被写体4を撮影し、その画像データを顔認証装置1に送信する。
【0021】
顔認証装置1は、プロジェクター3の画像が投影された被写体4を含む画像データを、カメラ2から受信する。顔認証装置1は、プロジェクター3の画像が投影された被写体4の画像データに基づいて、被写体4の顔認証を行う。
【0022】
すなわち、
図1に示す顔認証システムでは、カメラ2は、顔認証のためのカメラとして用いられるとともに、被写体4に投影する光を制御するためのセンサーとして用いられる。プロジェクター3は、被写体4に投影する光の明るさまたは色を変更するフレキシブルな照明装置として用いられる。
【0023】
そして、顔認証装置1は、カメラ2が撮影した被写体4の画像データに基づいて、プロジェクター3が投影する画像(光)を制御し、プロジェクター3の画像が投影された被写体4を撮影したカメラ2の画像データに基づいて、被写体4の顔認証処理を行う。
【0024】
図2は、顔認証装置1のブロック構成例を示した図である。
図2に示すように、顔認証装置1は、制御部11と、記憶部12と、通信部13と、入力部14と、出力部15と、を有する。
【0025】
制御部11は、顔認証装置1全体を制御する。制御部11は、例えば、CPU(Central Processing Unit)といったプロセッサーによって構成されてもよい。
【0026】
制御部11は、画像生成部11aと、顔認証部11bと、を有する。画像生成部11aは、カメラ2が撮影した被写体4を含む画像の画像データに基づいて、プロジェクター3に出力する画像データを生成する。顔認証部11bは、プロジェクター3によって画像が投影された被写体4を撮影したカメラ2の画像データに基づいて、被写体4の顔認証を行う。制御部11は、例えば、記憶部12に記憶されたプログラムを実行し、画像生成部11aおよび顔認証部11bの機能を実現してもよい。
【0027】
記憶部12には、制御部11が動作するためのプログラムが記憶される。また、記憶部12には、制御部11が計算処理を行うためのデータや各部を制御するためのデータが記憶される。
【0028】
通信部13は、LANまたはインターネットといったネットワークに接続される。通信部13は、ネットワークを介して、カメラ2と通信を行う。通信部13は、ネットワークを介して、プロジェクター3と通信を行う。通信部13は、ネットワークを介して、入退システムや勤怠システムと通信を行う。
【0029】
通信部13は、画像データ受信部13aと、投影画像データ送信部13bと、投影被写体画像データ受信部13cと、を有する。画像データ受信部13aは、カメラ2から画像データを受信する。投影画像データ送信部13bは、プロジェクター3に投影画像データを送信する。投影被写体画像データ受信部13cは、カメラ2から、投影被写体画像データを受信する。
【0030】
入力部14は、例えば、キーボードやタッチパネルといった入力装置に接続される。入力部14は、入力装置から受信した信号を制御部11に出力する。
【0031】
出力部15は、例えば、ディスプレイやタッチパネルといった表示装置に接続される。出力部15は、制御部11から受信した信号を表示装置に出力する。
【0032】
顔認証装置1におけるプロジェクター3の画像生成処理例および顔認証処理例について説明する。なお、以下では、顔認証装置1からプロジェクター3に送信され、被写体4に投影される画像の画像データを、投影画像データと称することがある。また、プロジェクター3の画像が投影された被写体4を撮影したカメラ2の画像データを、投影被写体画像データと称することがある。
【0033】
・例1
顔認証装置1は、カメラ2が撮影した被写体4の画像データに基づいて、眼鏡をかけている被写体4の目元部分の明るさまたは色を補正する投影画像データを生成する。本件において、色には、色彩、色合い、および、模様が含まれてもよい。
【0034】
例えば、顔認証装置1は、カメラ2が撮影した被写体4の画像データから、被写体4が眼鏡をかけているか否かを判定する。被写体4が眼鏡をかけているか否かの判定は、例えば、眼鏡を装着した顔の画像をディープラーニング等の機械学習によって学習させた機械学習モデルを用いたり、眼鏡に相当するパターンが画像データ内に含まれているかパターンマッチングによって確認したりすることによって実現できる。顔認証装置1は、被写体4が眼鏡をかけていると判定した場合、被写体4の目元部分(眼鏡部分)の画像をマスクした投影画像データを生成する。より具体的には、顔認証装置1は、被写体4の目元部分に画像(光)が投影されず、目元以外の部分に画像が投影される投影画像データを生成する。
【0035】
顔認証装置1は、生成した投影画像データをプロジェクター3に出力する。プロジェクター3は、顔認証装置1から受信した投影画像データに基づく画像を、被写体4に投影する。
【0036】
図3は、プロジェクター3の画像が投影された被写体4の顔の例を示した図である。
図3では、被写体4は、眼鏡をかけている。
【0037】
被写体4が眼鏡をかけている場合、被写体4の顔の目元部分には、プロジェクター3の画像(光)が投影されない。従って、被写体4の目元部分は、目元以外の部分に比べ、暗くなる。
【0038】
カメラ2は、プロジェクター3の画像が投影された被写体4を撮影し、投影被写体画像データを顔認証装置1に送信する。顔認証装置1は、カメラ2から受信した投影被写体画像データに基づいて、被写体4の顔認証を行う。
【0039】
ここで、被写体4の目元部分には、プロジェクター3の画像が投影されない。このため、眼鏡による光の反射が抑制される。つまり、顔認証処理において、ノイズとなる眼鏡の反射光が抑制される。また、顔認証処理においては、被写体4の特徴的な部分として目や瞳を用いることもあるため、眼鏡のハイライトがこれらの部分を隠してしまうと顔認証の精度が低下する。本実施の形態では、眼鏡の反射光を抑制することができるので、このような原因による精度の低下を抑制することもできる。これによって、顔認証装置1は、顔認証の認証精度を向上できる。
【0040】
なお、本実施の形態で想定する眼鏡は、一般的な視力矯正用の眼鏡に限らず、様々なものが考えられる。例えば、サングラス等のレンズに色がついたものや、ゴーグルのように目の保護を目的としたものも、本実施の形態の「眼鏡」に含まれる。なお、サングラス等の場合、被写体4の目が隠れてしまいカメラ2から撮影できないことがあるが、本実施の形態では、この場合も顔認証処理のノイズとなる反射光を抑制できるため、単純な照明を投光する場合よりも顔認証処理の精度が向上する。
【0041】
なお、上記では、顔認証装置1は、被写体4の目元部分をマスクした投影画像データを生成するとしたが、これに限られない。顔認証装置1は、被写体4が眼鏡をかけていると判定した場合、被写体4の目元部分の画像の明るさが、被写体4の目元以外の部分の画像の明るさより小さい投影画像データを生成してもよい。
【0042】
また、顔認証装置1は、被写体4が眼鏡をかけている場合、眼鏡による光の反射が抑制される色の投影画像データを生成してもよい。例えば、顔認証装置1は、被写体4の目元部分が灰色となる投影画像データを生成してもよい。
【0043】
また、顔認証装置1は、被写体4が眼鏡をかけているか否かに関わらず、被写体4の瞳部分をマスクした投影画像データを生成してもよい。これによって、顔認証装置1は、被写体4が、プロジェクター3の光を眩しく感じることを抑制できる。
【0044】
また、被写体4がプロジェクター3の光を眩しく感じた場合、目を閉じてしまい、顔認証処理において目の特徴を利用することが難しくなることがある。本実施の形態では、被写体4の瞳部分をマスクした投影画像データを生成することで、被写体4が目を閉じてしまうことによる顔認証処理の精度の低下を抑制することができる。
【0045】
・例2
顔認証装置1は、カメラ2が撮影した被写体4の画像データに基づいて、マスクをかけている被写体4の口元部分の明るさまたは色を補正する投影画像データを生成する。
【0046】
例えば、顔認証装置1は、カメラ2が撮影した被写体4の画像データから、被写体4がマスクをかけているか否かを判定する。被写体4がマスクをかけているか否かの判定は、例えば、マスクを装着した顔の画像をディープラーニング等の機械学習によって学習させた機械学習モデルを用いたり、マスクに相当するパターンが画像データ内に含まれているかパターンマッチングによって確認したりすることによって実現できる。顔認証装置1は、被写体4がマスクをかけていると判定した場合、マスクの色に基づいて、投影画像データを生成する。例えば、顔認証装置1は、マスクの色が白色の場合、被写体4の口元部分において、例えば、灰色といった、白色とは異なる所定の色の投影画像データを生成する。
【0047】
顔認証装置1は、生成した投影画像データをプロジェクター3に出力する。プロジェクター3は、顔認証装置1から受信した投影画像データに基づく画像を、被写体4に投影する。
【0048】
図4は、プロジェクター3の画像が投影された被写体4の顔の例を示した図である。
図4では、被写体4は、白色のマスクをかけている。
【0049】
被写体4が白色のマスクをかけている場合、被写体4の顔の口元部分には、例えば、プロジェクター3によって、灰色の画像が投影される。従って、被写体4がかけているマスクの色は、灰色となる。
【0050】
カメラ2は、プロジェクター3の画像が投影された被写体4を撮影し、投影被写体画像データを顔認証装置1に送信する。顔認証装置1は、カメラ2から受信した投影被写体画像データに基づいて、被写体4の顔認証を行う。
【0051】
ここで、被写体4の口元部分には、プロジェクター3によって灰色の画像が投影される。このため、白色のマスクによる画像の白飛びが抑制される。
【0052】
ここで、白飛びとは、被写体の輝度が高すぎるために、カメラ2の撮像素子が色の階調を区別可能な幅を超えてしまうことにより、白色の画像として認識されてしまう現象である。被写体4がマスクを装着している場合、顔の一部は隠れているものの、顔の3次元形状に由来する陰影の分布が個人ごとに違うため、この陰影に相当する色を顔認証に用いることができる。しかし、白飛びが発生するとこれらの陰影に相当する色情報も失われてしまうため、顔認証の精度が低下してしまう。そこで本実施の形態では、マスクが検出された場合には、口元部分に投影する色を暗くすることにより、白飛びの発生を抑制する。これによって、顔認証装置1は、顔認証の認証精度を向上できる。
【0053】
なお、上記では、顔認証装置1は、被写体4の口元部分に、灰色といった、白色とは異なる色の投影画像データを生成するとしたが、これに限られない。顔認証装置1は、被写体4の口元部分をマスクした画像の投影画像データを生成してもよい。
【0054】
また、顔認証装置1は、マスクの色が白以外であっても、投影画像データを生成してもよい。例えば、顔認証装置1は、マスクの色に応じて、白飛びや反射を抑制する色を選択し、選択した色の画像を被写体4の口元部分に投影する投影画像データを生成してもよい。
【0055】
また、上記の実施の形態は、白一色ではないマスクに応用されてもよい。白飛びは、明るい色であれば、どのような色でも発生し得るためである。
【0056】
また、本実施の形態におけるマスクは、口元を覆うものとして説明したが、顔の他の部分を覆うマスク等も対象としてもよい。この場合も、白飛びが発生するとその部分の色の階調が失われ、顔認証処理の精度が低下するためである。なお、口元以外を覆うマスクを想定する場合は、投影画像データのうち、そのマスクが覆う部分に対応する箇所の色を暗くすればよい。
【0057】
・例3
例えば、カメラ2の設置場所によっては、被写体4の顔の明るさが不均一になる場合がある。例えば、カメラ2が、屋外の光が一方向から差し込むような場所に設置された場合や、照明光が一方向から照射されるような場所に設置された場合、被写体4の顔の明るさが不均一になる場合がある。そこで、顔認証装置1は、カメラ2が撮影した画像データに基づいて、被写体4の顔における明るさの強弱を解析し、被写体4の顔全体の明るさが均一となるように、投影画像データを生成する。
【0058】
図5は、被写体4の顔の明るさが不均一である場合の例を示した図である。
図5において、被写体4の顔には、被写体4を正面から見て、右側から光が当たっている。このため、被写体4の顔を正面から見て、右側は、左側に比べて明るくなっている。すなわち、被写体4の顔の明るさは、不均一となっている。
【0059】
顔認証装置1は、カメラ2が撮影した被写体4の画像データから、被写体4の顔に当たっている光の強弱を解析する。顔認証装置1は、光の強弱の解析結果に基づいて、被写体4の顔全体にわたり、明るさが均一になるように投影画像データを生成する。
【0060】
例えば、顔認証装置1は、被写体4の顔全体にわたって、明るさが均一になる色の投影画像データを生成する。より具体的には、顔認証装置1は、被写体4の顔に当たっている光の弱い部分には、明るい色の画像が投影されるように投影画像データを生成する。顔認証装置1は、被写体4の顔に当たっている光の強い部分には、暗い色の画像が投影されるように投影画像データを生成する。
【0061】
顔認証装置1は、生成した投影画像データをプロジェクター3に出力する。プロジェクター3は、顔認証装置1から受信した投影画像データに基づく画像を、被写体4に投影する。
【0062】
図6は、プロジェクター3の画像が投影された被写体4の顔の例を示した図である。
図5で説明したように、被写体4の顔を正面から見て、右側が左側に比べて明るい場合、顔認証装置1は、被写体4の顔の右側に、暗い色の画像が投影されるよう、投影画像データを生成する。また、顔認証装置1は、被写体4の顔の左側に、明るい色の画像が投影されるよう、投影画像データを生成する。これにより、プロジェクター3の画像が投影された被写体4の顔は、
図6に示すように、明るさが均一となる。
【0063】
カメラ2は、プロジェクター3の画像が投影された被写体4を撮影し、投影被写体画像データを顔認証装置1に送信する。顔認証装置1は、カメラ2から受信した投影被写体画像データに基づいて、被写体4の顔認証を行う。
【0064】
ここで、投影被写体画像データと比較される顔認証に用いられる顔画像データは、一般的に、照明設備等が整った場所で予め撮影され、記憶部12に登録される。従って、顔認証に用いられる顔画像データに含まれる顔画像は、一般的に明るさが均一である。顔の明るさが均一の顔画像データと、顔の明るさが均一でない投影被写体画像データとを比較して顔認証を行った場合、顔認証の認証精度が低下する場合がある。
【0065】
図6で説明したように、プロジェクター3の画像が投影された被写体4の顔は、明るさが均一となる。このため、顔認証装置1は、記憶部12に予め登録された顔の明るさが均一の顔画像データと、プロジェクター3の投影画像によって、明るさが均一に補正された被写体4の投影被写体画像データとに基づいて顔認証を行う。これによって、顔認証装置1は、顔認証の認証精度を向上できる。
【0066】
・例4
例えば、照明光の色によっては、被写体4の顔色や髪色が変わってくる。例えば、照明光が赤色の場合、被写体4の顔色や髪色が赤みを帯びる場合がある。すなわち、被写体4の顔色や髪色は、照明光の色によって、記憶部12に予め登録された顔画像データの顔色や髪色と異なる場合がある。そこで、顔認証装置1は、カメラ2が撮影した画像データに基づいて、被写体4の顔色または髪色を解析し、被写体4の顔色または髪色が所定の色となるように、投影画像データを生成する。
【0067】
例えば、顔認証装置1は、被写体4の顔が全体にわたって赤みを帯びている場合、被写体4の顔色または髪色が白色灯の元における色となるように、投影画像データを生成する。
【0068】
顔認証装置1は、生成した投影画像データをプロジェクター3に出力する。プロジェクター3は、顔認証装置1から受信した投影画像データに基づく画像を、被写体4に投影する。
【0069】
カメラ2は、プロジェクター3の画像が投影された被写体4を撮影し、投影被写体画像データを顔認証装置1に送信する。顔認証装置1は、カメラ2から受信した投影被写体画像データに基づいて、被写体4の顔認証を行う。
【0070】
ここで、顔認証用の顔画像は、一般的に、照明設備等が整った場所で予め撮影され、例えば、白色灯の元で撮影される。顔認証装置1は、白色灯の元で撮影された顔認証用の顔画像データと、プロジェクター3の投影画像によって、被写体4の顔色や髪色が補正された被写体4の投影被写体画像データとに基づいて顔認証を行う。これによって、顔認証装置1は、顔認証の認証精度を向上できる。
【0071】
・例5
顔認証装置1は、カメラ2が撮影した画像の背景画像(被写体4の顔または体以外の部分の画像)の画像データ(背景画像データ)に基づいて、投影画像データを生成してもよい。例えば、カメラ2から見て、被写体4の後方に、例えば、青色といった特定の色の背景があった場合、顔認証の認証精度が低下する場合がある。顔認証処理においては、顔と背景とを区別せずに、画像全体を用いた処理を行うため、背景の色が登録された画像における背景の色と大きく異なっていると、認証の精度が低下するおそれがある。そこで、この場合、顔認証装置1は、被写体4の後方の背景が、青色といった特定の色とは異なる色となるように、投影画像データを生成する。これにより、顔認証装置1は、顔認証の認証精度を向上できる。
【0072】
また、記憶部12に登録された顔認証用の顔画像データの背景色がほぼ同じ色である場合、被写体4の後方の背景がその色に近づくように投影画像データを生成してもよい。例えば、入学や入社の際など、多数の人物がほぼ同じ場所で登録用の画像を撮影する場合、背景色は互いに類似した色となる可能性が高い。そこで、認証時の背景色がこの色に近づくように投影画像データの色を調整することで顔認証の精度の向上が期待できる。この場合、登録された画像データの背景色は、予めユーザから指定してもよいし、顔認証装置1等が登録された画像データを解析して決定してもよい。
【0073】
なお、上記の色は、単色には限られず、複数の色からなる模様などであってもよい。すなわち、背景の模様が特定の模様と異なる模様になるように投影画像データを生成してもよい。色について説明した場合と同様、登録画像の背景と大きく異なる模様は、認証の精度を低下させる恐れがあるので、このような模様と異なる模様となるような投影画像データを生成することは有益である。また、顔あるいはその一部に似た模様(例えば、目のように見える画像など)が存在する場合に、その模様を変えるような投影画像データを生成してもよい。このような模様が背景に存在すると、模様が被写体4の顔またはその一部と誤認されて顔認証の精度が低下するおそれがあるためである。
【0074】
なお、上記の例1~例5で説明した投影画像データの生成は、一例であって、上記の例に限定されない。また、例1~例5における投影画像データの生成方法は、組み合わされてもよい。
【0075】
図7は、顔認証装置1の動作例を示したフローチャートである。顔認証装置1は、例えば、
図7のフローチャートの処理を、所定の周期で繰り返し実行する。
【0076】
顔認証装置1は、カメラ2から、画像データを受信する(S1)。
【0077】
顔認証装置1は、S1にて受信した画像データから、被写体4の顔に関する属性情報を取得する(S2)。例えば、顔認証装置1は、被写体4の顔画像から、眼鏡やマスク、顔の明るさ、顔色、髪色といった顔の属性情報を取得する。
【0078】
顔認証装置1は、S2にて取得した被写体4の顔の属性情報に基づいて、投影画像データを生成する(S3)。
【0079】
顔認証装置1は、S3にて生成した投影画像データをプロジェクター3に送信する(S4)。
【0080】
なお、プロジェクター3は、顔認証装置1から送信された投影画像データに基づく画像を投影する。被写体4には、プロジェクター3の画像が投影される。
【0081】
顔認証装置1は、カメラ2から投影被写体画像データを受信する(S5)。
【0082】
顔認証装置1は、S5にて受信した投影被写体画像データに含まれる被写体4の顔画像に基づいて、顔認証処理を行う(S6)。なお、顔認証装置1は、既存の顔認証処理を用いて、顔認証処理を行ってもよい。例えば、顔認証装置1は、予め記憶部12に登録された顔認証用の顔画像データと、S5にて受信した投影被写体画像データに含まれる被写体4の顔画像の画像データとを比較し、一致度を算出してもよい。顔認証装置1は、例えば、ディープラーニングといった機械学習を用いて、一致度を算出してもよい。
【0083】
顔認証装置1は、S6にて算出した一致度が、閾値以上か否かを判定する(S7)。
【0084】
顔認証装置1は、S6にて算出した一致度が、閾値以上であると判定した場合(S7の「YES」)、OKの判定結果を、例えば、勤怠システムや入退システムに出力する(S8)。そして、顔認証装置1は、
図7のフローチャートの処理を終了する。なお、OKの判定結果は、例えば、S5にて受信した投影被写体画像データにおける被写体4の顔画像が、記憶部12に予め登録された顔画像データの顔画像と一致したことを示す。
【0085】
一方、顔認証装置1は、S6にて算出した一致度が、閾値以上でないと判定した場合(S7の「NO」)、NGの判定結果を、例えば、勤怠システムや入退システムに出力する(S9)。そして、顔認証装置1は、
図7のフローチャートの処理を終了する。なお、NGの判定結果は、例えば、S5にて受信した投影被写体画像データにおける被写体4の顔画像が、記憶部12に予め登録された顔画像データの顔画像と一致しなかったことを示す。
【0086】
以上説明したように、顔認証装置1の画像データ受信部13aは、被写体4が映った画像データをカメラ2から受信する。画像生成部11aは、画像データに基づいて、被写体4に投影する投影画像の投影画像データを生成する。投影画像データ送信部13bは、被写体4に投影画像を投影するプロジェクター3に、投影画像データを送信する。投影被写体画像データ受信部13cは、投影画像が投影された被写体4の投影被写体画像データをカメラ2から受信する。そして、顔認証部11bは、投影被写体画像データに基づいて、被写体の顔認証処理を行う。
【0087】
このように、顔認証装置1は、カメラ2が撮影した被写体4の画像データに基づいて、プロジェクター3の被写体4に投影する画像(光)を制御するので、顔認証の認証精度を向上できる。
【0088】
また、顔認証装置1は、カメラ2が撮影した被写体4の画像データに基づいて、プロジェクター3の被写体4に投影する光を制御するので、カメラ2のパラメータを制御して、投影被写体画像データを補正しなくて済む。例えば、顔認証装置1は、カメラ2のパラメータを制御して、投影被写体画像データの画像の明るさや色合いを補正しなくて済む。これにより、顔認証装置1は、容易に顔認証の認証精度を向上できる。
【0089】
また、顔認証装置1は、カメラ2を、顔認証のためのカメラとして用いるとともに、被写体4に投影する光を制御するためのセンサーとして用いる。これにより、顔認証システムは、コストが低減される。
【0090】
なお、顔認証装置1は、カメラ2の画像データから、照明装置と被写体4との距離を算出してもよい。顔認証装置1は、算出した距離に基づいて、被写体4の顔の明るさまたは色を補正する投影画像データを生成してもよい。
【0091】
また、顔認証装置1は、複数の異なる投影画像データを、予め記憶部12に記憶してもよい。顔認証装置1は、カメラ2の画像データに基づいて、予め記憶部12に記憶された投影画像データを選択してもよい。
【0092】
また、カメラ2が撮影した画像には、複数の被写体4が含まれてもよい。この場合、顔認証装置1は、複数の被写体4の画像データに基づいて、被写体4各々における投影画像データを生成する。そして、顔認証装置1は、プロジェクター3によって画像が投影された複数の被写体の顔認証処理を行う。
【0093】
この場合、投影画像データは、各被写体に相当する領域に各被写体向けの画像が含まれた1枚の画像データであってもよい。このようにすることで、1台のプロジェクター3で、多数の被写体4に対応できる。また、複数のプロジェクター3それぞれが、1以上の被写体4向けの投影画像データを投影してもよい。このようにすることで、各プロジェクター3の焦点距離等のパラメータを個別に調整できるため、各被写体に対して正確に投影画像データを投影できる。
【0094】
また、顔認証装置1は、複数の装置によって構成されてもよい。例えば、顔認証装置1は、投影画像データを生成するサーバーと、顔認証処理を行うサーバーとによって構成されてもよい。
【0095】
(第2の実施の形態)
第1の実施の形態では、顔認証装置1は、カメラ2が撮影した1枚の画像の画像データから、1個の投影画像データを生成した。第2の実施の形態では、顔認証装置1は、カメラ2が撮影した1枚の画像の画像データから、N(Nは1以上の整数)個の異なる投影画像データ(N種類の投影画像データ)を生成する。顔認証装置1は、N個の投影画像データの画像が被写体4に投影された後に、N個の投影被写体画像データに基づいて、顔認証処理を行う。
【0096】
なお、第2の実施の形態におけるシステム構成および顔認証装置1のブロック構成は、第1の実施の形態で説明したシステム構成およびブロック構成と同様であり、その説明を省略する。
【0097】
図8は、第2の実施の形態に係る顔認証装置1の動作例を示したフローチャートである。顔認証装置1は、例えば、
図8のフローチャートの処理を、所定の周期で繰り返し実行する。
【0098】
顔認証装置1は、カメラ2から、画像データを受信する(S21)。
【0099】
顔認証装置1は、S21にて受信した画像データから、被写体4の顔に関する属性情報を取得する(S22)。例えば、顔認証装置1は、被写体4の顔画像から、眼鏡やマスク、顔の明るさ、顔色、髪色といった顔の属性情報を取得する。
【0100】
顔認証装置1は、S22にて取得した被写体4の顔の属性情報に基づいて、N個の異なる投影画像データを生成する(S23)。例えば、顔認証装置1は、明るさが異なるN個の投影画像データを生成する。または、顔認証装置1は、色が異なるN個の投影画像データを生成する。または、顔認証装置1は、明るさおよび色が異なるN個の投影画像データを生成する。
【0101】
顔認証装置1は、変数iを0に初期化する(S24)。
【0102】
顔認証装置1は、i番目の投影画像データをプロジェクター3に送信する(S25)。
【0103】
なお、プロジェクター3は、顔認証装置1から送信された投影画像データに基づく画像を投影する。被写体4には、プロジェクター3の画像が投影される。
【0104】
顔認証装置1は、カメラ2から投影被写体画像データを受信する(S26)。
【0105】
顔認証装置1は、N個の投影被写体画像データを受信したか否かを判定する(S27)。すなわち、顔認証装置1は、N個の異なる投影画像データの画像が投影された被写体4の投影被写体画像データを、カメラ2から受信したか否かを判定する。
【0106】
顔認証装置1は、カメラ2から、N個の投影被写体画像データを受信していないと判定した場合(S27の「NO」)、変数iに1を加算する(S28)。そして、顔認証装置1は、処理をS25に移行し、S23にて生成したN個の投影画像データのうち、i番目の投影画像データをプロジェクター3に送信する。
【0107】
一方、顔認証装置1は、カメラ2から、N個の投影被写体画像データを受信したと判定した場合(S27の「YES」)、カメラ2から受信したN個の投影被写体画像データの各々において、顔認証処理を行う(S29)。顔認証装置1は、例えば、
図7のS6で説明した方法によって、顔認証処理を行う。
【0108】
顔認証装置1は、N個の投影被写体画像データのうち、いずれかの投影被写体画像データにおいて、一致度が閾値を超えたか否かを判定する(S30)。
【0109】
顔認証装置1は、いずれかの投影被写体画像データにおいて、一致度が閾値以上であったと判定した場合(S30の「YES」)、OKの判定結果を、例えば、勤怠システムや入退システムに出力する(S31)。そして、顔認証装置1は、
図8のフローチャートの処理を終了する。
【0110】
一方、顔認証装置1は、投影被写体画像データのいずれにおいても、一致度が閾値以上でないと判定した場合(S30の「NO」)、NGの判定結果を、例えば、勤怠システムや入退システムに出力する(S32)。そして、顔認証装置1は、
図8のフローチャートの処理を終了する。
【0111】
以上説明したように、顔認証装置1の画像生成部11aは、カメラ2が撮影した画像の画像データに基づいて、N個の異なる投影画像データを生成する。顔認証部11bは、N個の投影画像データの画像が被写体4に投影された後、N個の投影被写体画像データに基づいて、被写体4の顔認証処理を行う。
【0112】
このように、顔認証装置1は、カメラ2が撮影した画像の画像データに基づいて、N個の異なる投影画像データを生成するので、被写体4には、様々な画像が投影される。そして、顔認証装置1は、様々な画像が投影された被写体4の投影被写体画像データに基づいて、被写体4の顔認証を行う。これにより、顔認証装置1は、顔認証の認証精度をより向上できる。
【0113】
例えば、被写体4の顔認証の精度が、複数の要因により低下している場合、ある要因に着目した投影画像データを使用しても、他の要因による精度の低下が解決できない場合がある。一例として、被写体4が眼鏡とマスクを同時に着用している場合、眼鏡向けの投影画像データを使用しても、マスク部分の白飛びを抑制することは難しい。一方、全ての要因に対する対策を行った投影画像データを生成すると、かえって顔認証の精度が低下することもあり得る。例えば、眼鏡とマスクのようにともに投影画像データの明るさを低下させることで精度の低下を防ぐ場合、両方に対して対策を行うと顔の大部分を暗くすることになり、光量が不足して顔認証そのものに失敗し易くなる。
【0114】
そこで、本実施の形態では、N個の要因それぞれに対応した投影画像データを生成することで、被写体4の顔認証が成功する可能性を高めている。なお、このN個の要因の中には、複数の要因が同時に含まれているパターンも含めてもよい。
【0115】
また、本実施の形態では、一度N個の投影被写体画像データを取得した上で、被写体4の顔認証を行っている。したがって、N個の投影被写体画像データを用いた判定結果が分かれた場合に、多数決で判定結果を決定する等、誤判定を防ぐ対応が可能となる。
【0116】
なお、顔認証装置1は、
図8のS30において、N個の投影被写体画像データのうち、所定数以上(例えば、3個以上)の投影被写体画像データにおいて、一致度が閾値以上であったと判定した場合に、OKの判定結果を出力してもよい。これにより、顔認証装置1は、顔認証の認証精度をより向上できる。
【0117】
(第3の実施の形態)
第3の実施の形態では、顔認証装置1は、カメラ2の画像データに基づいて、N(Nは1以上の整数)個の異なる投影画像データを生成する。顔認証装置1は、1個の投影画像データの画像が被写体4に投影される度に、被写体4の投影被写体画像データをカメラ2から受信して、被写体4の顔認証処理を行う。
【0118】
なお、第3の実施の形態におけるシステム構成および顔認証装置1のブロック構成は、第1の実施の形態で説明したシステム構成およびブロック構成と同様であり、その説明を省略する。
【0119】
図9は、第3の実施の形態に係る顔認証装置1の動作例を示したフローチャートである。顔認証装置1は、例えば、
図9のフローチャートの処理を、所定の周期で繰り返し実行する。なお、
図9のS41~S44の処理は、
図8で説明したS21~S24の処理と同様であり、その説明を省略する。
【0120】
顔認証装置1は、i番目の投影画像データをプロジェクター3に送信する(S45)。
【0121】
なお、プロジェクター3は、顔認証装置1から送信された投影画像データに基づく画像を投影する。被写体4には、プロジェクター3の画像が投影される。
【0122】
顔認証装置1は、カメラ2から投影被写体画像データを受信する(S46)。
【0123】
顔認証装置1は、S46にて受信した投影被写体画像データにおいて、顔認証処理を行う(S47)。すなわち、顔認証装置1は、1枚の投影画像を被写体4に投影する度に、1個の投影被写体画像データをカメラ2から受信し、顔認証処理を行う。なお、顔認証装置1は、例えば、
図7のS6で説明した方法によって、顔認証処理を行う。
【0124】
顔認証装置1は、S47の顔認証処理によって得られた一致度が、閾値を超えたか否かを判定する(S48)。
【0125】
顔認証装置1は、一致度が閾値以上であったと判定した場合(S48の「YES」)、OKの判定結果を、例えば、勤怠システムや入退システムに出力する(S49)。そして、顔認証装置1は、
図9のフローチャートの処理を終了する。
【0126】
一方、顔認証装置1は、一致度が閾値以上でないと判定した場合(S48の「NO」)、N個の投影被写体画像データに対して、顔認証処理を行ったか否かを判定する(S50)。すなわち、顔認証装置1は、一致度が閾値以上でないと判定した場合、S43にて生成したN個の投影画像データの画像が投影された被写体4のN個の投影被写体画像データに対し、顔認証処理を行ったか否かを判定する。
【0127】
顔認証装置1は、N個の投影被写体画像データに対し、顔認証処理を行っていないと判定した場合(S50の「NO」)、変数iに1を加算する(S51)。そして、顔認証装置1は、処理をS45に移行し、S43にて生成したN個の投影画像データのうち、i番目の投影画像データをプロジェクター3に送信する。
【0128】
一方、顔認証装置1は、N個の投影被写体画像データに対し、顔認証処理を行ったと判定した場合(S50の「YES」)、NGの判定結果を、例えば、勤怠システムや入退システムに出力する(S52)。そして、顔認証装置1は、
図9のフローチャートの処理を終了する。
【0129】
以上説明したように、顔認証装置1の画像生成部11aは、カメラ2が撮影した画像の画像データに基づいて、N個の異なる投影画像データを生成する。顔認証部11bは、1個の投影画像データの画像が被写体4に投影される度に、被写体4の投影被写体画像データをカメラ2から受信し、被写体4の顔認証処理を行う。
【0130】
このように、顔認証装置1は、カメラ2が撮影した画像の画像データに基づいて、N個の異なる投影画像データを生成するので、被写体4には、様々な画像が投影される。そして、顔認証装置1は、様々な画像が投影された被写体4の投影被写体画像データに基づいて、被写体4の顔認証を行う。これにより、顔認証装置1は、顔認証の認証精度をより向上できる。
【0131】
また、顔認証装置1は、1個の投影画像データの画像が被写体4に投影される度に、被写体4の投影被写体画像データをカメラ2から受信し、被写体4の顔認証処理を行う。そのため、いずれかの投影被写体画像データで顔認証処理に成功した場合、それ以降の投影画像データの投影および顔認証処理を中止することができる。したがって、第2の実施の形態における顔認証処理より、顔認証の判定結果を早く出力できる場合がある。
【0132】
なお、第2の実施の形態及び第3の実施の形態では、被写体4の顔の属性情報に基づいて、N個の異なる投影画像データを生成していたが、被写体4の顔の属性情報の評価を省略してもよい。例えば、顔認証装置1が生成可能な全ての類型の投影画像データを生成し、それらをN個の投影画像データとして、第2の実施の形態及び第3の実施の形態の処理を行ってもよい。この場合、投影画像データにおいて色等を調整すべき箇所等は、予め定められたデフォルトのものを使用してよい。例えば、眼鏡が顔の上半分の領域に、マスクが顔の下半分の領域に現れることは、顔の属性情報を参照せずとも推測できるので、これらの領域の明るさを低減した画像をデフォルトの投影画像データとして用いることができる。
【0133】
なお、顔認証装置1は、
図9のS48において、所定数以上(例えば、3個以上)の投影被写体画像データにおいて、一致度が閾値以上であったと判定した場合に、OKの判定結果を出力してもよい。これにより、顔認証装置1は、顔認証の認証精度をより向上できる。
【0134】
上述の実施の形態においては、各構成要素に用いる「・・・部」という表記は、「・・・回路(circuitry)」、「・・・アッセンブリ」、「・・・デバイス」、「・・・ユニット」、又は、「・・・モジュール」といった他の表記に置換されてもよい。
【0135】
以上、図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかである。そのような変更例または修正例についても、本開示の技術的範囲に属するものと了解される。また、本開示の趣旨を逸脱しない範囲において、実施の形態における各構成要素は任意に組み合わされてよい。
【0136】
本開示はソフトウェア、ハードウェア、又は、ハードウェアと連携したソフトウェアで実現することが可能である。上記実施の形態の説明に用いた各機能ブロックは、部分的に又は全体的に、集積回路であるLSIとして実現され、上記実施の形態で説明した各プロセスは、部分的に又は全体的に、一つのLSI又はLSIの組み合わせによって制御されてもよい。LSIは個々のチップから構成されてもよいし、機能ブロックの一部または全てを含むように一つのチップから構成されてもよい。LSIはデータの入力と出力を備えてもよい。LSIは、集積度の違いにより、IC、システムLSI、スーパーLSI、ウルトラLSIと呼称されることもある。
【0137】
集積回路化の手法はLSIに限るものではなく、専用回路、汎用プロセッサー又は専用プロセッサーで実現してもよい。また、LSI製造後に、プログラムすることが可能なFPGA(Field Programmable Gate Array)や、LSI内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサーを利用してもよい。本開示は、デジタル処理又はアナログ処理として実現されてもよい。
【0138】
さらには、半導体技術の進歩または派生する別技術によりLSIに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
【産業上の利用可能性】
【0139】
本開示は、被写体の顔に当てる光を制御し、顔認証を行うシステムに有用である。
【符号の説明】
【0140】
1 顔認証装置
2 カメラ
3 プロジェクター
4 被写体
11 制御部
11a 画像生成部
11b 顔認証部
12 記憶部
13 通信部
14 入力部
15 出力部