知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-12-02
(45)【発行日】2024-12-10
(54)【発明の名称】画像処理装置、画像処理方法、顔認証システム及びプログラム
(51)【国際特許分類】
G06V 40/40 20220101AFI20241203BHJP
G06V 40/16 20220101ALI20241203BHJP
G06T 7/00 20170101ALI20241203BHJP
G06V 10/143 20220101ALI20241203BHJP
G06T 7/521 20170101ALI20241203BHJP
G06F 21/32 20130101ALI20241203BHJP
A61B 5/1171 20160101ALI20241203BHJP
A61B 5/107 20060101ALI20241203BHJP
【ＦＩ】
G06V40/40
G06V40/16 A
G06T7/00 510F
G06V10/143
G06T7/521
G06F21/32
A61B5/1171 200
A61B5/107 110
【請求項の数】
4
(21)【出願番号】P 2023117180
(22)【出願日】2023-07-19
(62)【分割の表示】P 2021168012の分割
【原出願日】2017-08-23
(65)【公開番号】P2023138534
(43)【公開日】2023-10-02
【審査請求日】2023-07-19
(31)【優先権主張番号】P 2016212921
(32)【優先日】2016-10-31
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100094112
【弁理士】
【氏名又は名称】岡部 讓
(74)【代理人】
【識別番号】100106183
【弁理士】
【氏名又は名称】吉澤 弘司
(72)【発明者】
【氏名】川瀬 伸明
【審査官】高野 美帆子
(56)【参考文献】
【文献】特開２０１３－０７３４５９（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１３／０３４２７０３（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ ４０／４０
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｔ ７／００
Ｇ０６Ｖ １０／１４３
Ｇ０６Ｔ ７／５２１
Ｇ０６Ｆ ２１／３２
Ａ６１Ｂ ５／１１７１
Ａ６１Ｂ ５／１０７
(57)【特許請求の範囲】
【請求項1】
第１の波長の光を用いて被写体を撮影することで生成された第１の画像と、第２の波長の光を用いて前記被写体を撮影することで生成された第２の画像と、を取得する取得部と、前記第１の画像及び前記第２の画像に写る顔を検出する検出部と、
前記第２の画像から取得された深度情報に基づいて、前記第２の画像から検出された顔が生体であるか否かを判定する生体判定部と、
前記第１の画像から検出された顔の顔特徴量と、前記第２の画像から検出され、生体であると判定された顔の顔特徴量とを照合し、前記第１の画像から検出された顔の人物が、前記第２の画像から検出され、生体であると判定された顔の人物のうちのいずれかと同一であるか否かを判定する照合部と、
前記照合部が、前記第１の画像から検出された顔の人物が、前記第２の画像から検出され、生体であると判定された顔の人物のうちのいずれかと同一であると判定した場合に、前記第１の画像から検出された顔の人物が登録された人物であるか否かを判定する判定部と、
を有することを特徴とする画像処理装置。
【請求項2】
前記第１の波長の光は可視光であり、前記第２の波長の光は近赤外線である
ことを特徴とする請求項１に記載の画像処理装置。
【請求項3】
第１の波長の光を用いて被写体を撮影することで生成された第１の画像と、第２の波長の光を用いて前記被写体を撮影することで生成された第２の画像と、を取得し、前記第１の画像及び前記第２の画像に写る顔を検出し、
前記第２の画像から取得された深度情報に基づいて、前記第２の画像から検出された顔が生体であるか否かを判定し、
前記第１の画像から検出された顔の顔特徴量と、前記第２の画像から検出され、生体であると判定された顔の顔特徴量とを照合し、前記第１の画像から検出された顔の人物が、前記第２の画像から検出され、生体であると判定された顔の人物のうちのいずれかと同一であるか否かを判定し、
前記第１の画像から検出された顔の人物が、前記第２の画像から検出され、生体であると判定された顔の人物のうちのいずれかと同一であると判定した場合に、前記第１の画像から検出された顔の人物が登録された人物であるか否かを判定する
ことを特徴とする画像処理方法。
【請求項4】
コンピュータ装置に、第１の波長の光を用いて被写体を撮影することで生成された第１の画像と、第２の波長の光を用いて前記被写体を撮影することで生成された第２の画像と、を取得するステップと、
前記第１の画像及び前記第２の画像に写る顔を検出するステップと、
前記第２の画像から取得された深度情報に基づいて、前記第２の画像から検出された顔が生体であるか否かを判定するステップと、
前記第１の画像から検出された顔の顔特徴量と、前記第２の画像から検出され、生体であると判定された顔の顔特徴量とを照合し、前記第１の画像から検出された顔の人物が、前記第２の画像から検出され、生体であると判定された顔の人物のうちのいずれかと同一であるか否かを判定するステップと、
前記第１の画像から検出された顔の人物が、前記第２の画像から検出され、生体であると判定された顔の人物のうちのいずれかと同一であると判定した場合に、前記第１の画像から検出された顔の人物登録された人物であるか否かを判定するステップと
を実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、画像処理方法、顔認証システム及びプログラムに関する。
【背景技術】
【0002】
近時、本人確認を行う場面において、人間の身体的特徴や行動的特徴に関する情報である生体情報を用いて認証を行う生体認証が利用されるようになっている。生体認証のひとつである顔認証は、認証対象者の心理的抵抗が少ない、離れた場所からでも認証が可能である、不正に対する心理的抑止効果がある等の利点を有している。
【0003】
顔認証は、カメラで撮影した人物の顔画像から得られた情報と登録された人物の情報とを照合し、撮影された人物が登録された人物と同一人物であるかどうかを認証する技術である。特許文献１及び特許文献２には、写真等の非生体物を用いて顔認証を通過しようとする、いわゆるなりすまし行為を防止する技術として、赤外線画像を用いた顔認証手法が開示されている。写真等の印刷物は赤外線を吸収しない性質を有しているため、撮影した赤外線画像から被写体が生体であるのか写真であるのかを判別し、不正行為を排除することができる。
【先行技術文献】
【特許文献】
【0004】
【文献】国際公開第２００９／１０７２３７号パンフレット
【文献】特開２００８－１５８５９７号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、黒人のように深い色の肌を有する人物を赤外線カメラで撮影した場合、赤外線の吸収率が大きいため反射赤外線を十分に検出することができず、生体を撮影したものであるかどうかの判別が困難な場合があった。また、赤外線画像から顔認証を行う場合、可視光画像から顔認証を行う場合と比較して、顔認証の精度が悪かった。
【0006】
本発明の目的は、撮影した画像から生体と非生体物とを的確に判別し、顔認証に好適な生体の顔画像を抽出しうる画像処理装置、画像処理方法、顔認証システム及びプログラムを提供することにある。
【課題を解決するための手段】
【0007】
本発明の一観点によれば、第１の波長の光を用いて被写体を撮影することで生成された第１の画像と、第２の波長の光を用いて前記被写体を撮影することで生成された第２の画像と、を取得する取得部と、前記第１の画像及び前記第２の画像に写る顔を検出する検出部と、前記第２の画像から取得された深度情報に基づいて、前記第２の画像から検出された顔が生体であるか否かを判定する生体判定部と、前記第１の画像から検出された顔の顔特徴量と、前記第２の画像から検出され、生体であると判定された顔の顔特徴量とを照合し、前記第１の画像から検出された顔の人物が、前記第２の画像から検出され、生体であると判定された顔の人物のうちのいずれかと同一であるか否かを判定する照合部と、前記照合部が、前記第１の画像から検出された顔の人物が、前記第２の画像から検出され、生体であると判定された顔の人物のうちのいずれかと同一であると判定した場合に、前記第１の画像から検出された顔の人物が登録された人物であるか否かを判定する判定部と、を有することを特徴とする画像処理装置が提供される。
【0008】
また、本発明の更に他の一観点によれば、第１の波長の光を用いて被写体を撮影することで生成された第１の画像と、第２の波長の光を用いて前記被写体を撮影することで生成された第２の画像と、を取得し、前記第１の画像及び前記第２の画像に写る顔を検出し、前記第２の画像から取得された深度情報に基づいて、前記第２の画像から検出された顔が生体であるか否かを判定し、前記第１の画像から検出された顔の顔特徴量と、前記第２の画像から検出され、生体であると判定された顔の顔特徴量とを照合し、前記第１の画像から検出された顔の人物が、前記第２の画像から検出され、生体であると判定された顔の人物のうちのいずれかと同一であるか否かを判定し、前記第１の画像から検出された顔の人物が、前記第２の画像から検出され、生体であると判定された顔の人物のうちのいずれかと同一であると判定した場合に、前記第１の画像から検出された顔の人物が登録された人物であるか否かを判定することを特徴とする画像処理方法が提供される。
【発明の効果】
【0009】
本発明によれば、撮影した画像から生体と非生体物とを的確に判別し、顔認証に好適な生体の顔画像を抽出することができる。
【図面の簡単な説明】
【0010】
【図1】本発明の第１実施形態による顔認証システムの概略構成を示すブロック図である。
【図2】本発明の第１実施形態による顔認証システムにおける顔認証方法を示すフローチャートである。
【図3】本発明の第２実施形態による顔認証システムの概略構成を示すブロック図である。
【図4】本発明の第２実施形態による顔認証システムにおける顔認証方法を示すフローチャートである。
【図5】２次元の顔画像を含む被写体を撮影した場合における顔画像の誤抽出の一例を示す図である。
【図6】本発明の第３実施形態による顔認証システムにおける顔認証方法を示すフローチャートである。
【図7】可視光画像及び近赤外線画像の一例を示す図である。
【図9】コンピュータ装置の例を示す概略図である。
【図10】他の実施形態による画像処理装置の機能構成を示すブロック図である。
【発明を実施するための形態】
【0011】
【0012】
本実施形態による顔認証システム１００は、図１に示すように、撮影部１０と、画像処理部２０と、顔認証部４０と、記憶部５０と、制御部６０とを含む。
【0013】
撮影部１０は、第１の波長の光を用いて被写体を撮影することで生成された第１の画像と、第２の波長の光を用いて被写体を撮影することで生成された第２の画像と、被写体の深度情報（３次元情報）とを取得するためのものである。第１の波長の光は、例えば可視光である。第２の波長の光は、例えば近赤外線である。撮影部１０は、例えば、可視光画像を撮影するカメラ１２と、近赤外線画像を撮影するカメラ１４と、被写体に特定パターンのレーザ光を照射するプロジェクタ１６とを含むことができる。本実施形態では、カメラ１２により可視光画像を撮影し、カメラ１４により近赤外画像を撮影する場合を例に挙げて説明するものとする。
【0014】
被写体の深度情報を取得する方法は、特に限定されるものではない。例えば、上記構成の撮影部１０を用いた例では、プロジェクタ１６により特定パターンのレーザ光を照射した状態でカメラ１４により撮影を行う方法を適用することができる。撮影された画像から当該特定パターンの反射光のパターンを解析することにより、被写体までの距離を計測することができる。或いは、複数のカメラで取得した画像の視差から被写体までの距離を計測する方法や、被写体に赤外線レーザを照射し、受信した反射光の時間差を利用して被写体までの距離を計測する方法（ＴＯＦ方式）を用いることもできる。
【0015】
上記構成の撮影部１０と同等の機能を備える市販品としては、例えば、マイクロソフト社製のＫｉｎｅｃｔ（登録商標）や、インテル社製のＲｅａｌＳｅｎｓｅ（登録商標）等がある。これらは、可視光画像を撮影する手段としてＲＧＢカメラを備え、被写体の深度情報を含む画像を撮影する手段として近赤外線プロジェクタと近赤外線カメラとを備えている。
【0016】
画像処理部２０は、撮影部１０により撮影された画像から生体を撮影した顔画像を抽出する機能ブロックであり、画像データ取得部２２と、顔検出部２４と、ライブネス判定部２６と、顔画像抽出部３０とを含む。
【0017】
画像データ取得部２２は、撮影部１０から、カメラ１２により撮影した可視光画像データと、カメラ１４により撮影した近赤外線画像データと、被写体の深度情報とを取得する。顔検出部２４は、画像データ取得部２２により取得された可視光画像及び近赤外線画像に写る顔を検出する。ライブネス判定部２６は、画像データ取得部２２により取得された被写体の深度情報に基づいて、顔検出部２４により検出された近赤外線画像中の顔が生体を撮影したものであるか否かを判定する。顔画像抽出部３０は、近赤外線画像に写る顔に関する情報に基づいて、可視光画像から顔認証に用いる顔画像を抽出する。
【0018】
顔認証部４０は、画像処理部２０で抽出された顔画像の人物が、予め登録された人物に該当するか否かを判定する機能ブロックであり、顔特徴量抽出部４２と、照合部４４とを含む。なお、ここでは便宜的に画像処理部２０と顔認証部４０とを分けているが、顔認証部４０の一部の機能を画像処理部２０が備えていてもよい。
【0019】
顔特徴量抽出部４２は、顔画像抽出部３０により抽出された可視光画像の顔画像から、顔の特徴を表すパラメータである顔特徴量を抽出する。照合部４４は、顔特徴量抽出部４２で抽出された可視光画像の顔画像の顔特徴量と、記憶部５０に登録されている人物の顔画像の顔特徴量とを照合する照合処理を行う。
【0020】
制御部６０は、撮影部１０、画像処理部２０、顔認証部４０における全般的な処理を司る制御部である。
【0021】
【0022】
可視光カメラと近赤外線カメラとが一体となった市販品の撮像装置には、可視光カメラにより撮影される画像の座標と、近赤外線カメラにより撮影される画像の座標とを関係づける座標変換関数を備えたものがある。本実施形態では、このような座標変換関数を利用した画像処理方法を説明する。なお、別々の装置として構成される可視光カメラと近赤外線カメラとを用い、可視光カメラにより撮影される画像の座標と近赤外線カメラにより撮影される画像の座標とを関係づける座標変換関数を別途用意するようにしてもよい。
【0023】
本実施形態による顔認証システム１００を用いた顔認証処理は、図２のステップＳ１０１からステップＳ１０７に従って行われる。なお、後述する各部の処理は、制御部６０による制御のもとで実行される。
【0024】
まず、撮影部１０は、カメラ１２により被写体の可視光画像を撮影し、カメラ１４により被写体の近赤外線画像を撮影する。また、撮影部１０は、カメラ１４及びプロジェクタ１６を用いて被写体の深度情報を取得する（ステップＳ１０１）。可視光画像と赤外線画像とは、同期して撮影することが望ましい。撮影する可視光画像及び近赤外線画像は、少なくとも１人の同じ人物を被写体とする画像である。被写体の深度情報は、被写体にて反射された近赤外線の情報を用いて生成される。
【0025】
撮影部１０で撮影された可視光画像及び近赤外線画像の画像データは、被写体の深度情報とともに、画像処理部２０の画像データ取得部２２へと送られる。なお、画像データ取得部２２では、受け取った画像データに対して、必要に応じて補正処理等の付加的な画像処理を行ってもよい。
【0026】
次いで、顔検出部２４は、画像データ取得部２２へと送られた近赤外線画像に対し、画像に写る顔を検出する顔検出処理を行う（ステップＳ１０２）。顔検出部２４が顔検出に用いるアルゴリズムは特に限定されるものではなく、種々のアルゴリズムを適用することができる。
【0027】
次いで、ライブネス判定部２６は、近赤外線画像から検出された顔の画像が、カメラ１４が生体を撮影することにより取得された画像であるか否かを判定する（ステップＳ１０３）。具体的には、ライブネス判定部２６は、撮影部１０で取得した被写体の深度情報を参照し、近赤外線画像から検出された顔の部分に、生体の特徴を表す凹凸に応じた深度情報が含まれているかどうかを判定する。
【0028】
例えば、生体は顔の凹凸に応じて場所によって異なる深度情報を含むため、顔の部分に深度情報の分布が認められる場合には、検出された顔の画像が生体を撮影したものであると判定することができる。一方、写真などの２次元的な画像は顔の凹凸に応じて場所によって異なる深度情報は含まないため、顔の部分の深度情報が均一な場合には、検出された顔の画像が生体を撮影したものではないと判定することができる。
【0029】
ステップＳ１０３において、ライブネス判定部２６により、検出された顔の画像が生体を撮影したものであると判定された場合（図中、「Ｙ」）には、ステップＳ１０４へと移行する。一方、ステップＳ１０３において、ライブネス判定部２６により、検出された顔の画像が生体を撮影したものではないと判定された場合（図中、「Ｎ」）には、顔認証は失敗したものと判定し、ステップＳ１０１に戻る。なお、検出された顔が生体を撮影したものではないと判定される場合には、ステップＳ１０２において近赤外線画像から顔が検出されなかった場合も含まれる。
【0030】
次いで、顔画像抽出部３０は、撮像装置に備わっている座標変換関数を用い、生体を撮影したものであると判定された顔の画像の近赤外線画像上における座標を、可視光画像上における座標へと変換する（ステップＳ１０４）。撮像装置に備わっている座標変換関数を用いることにより、近赤外線画像において生体を撮影したものであると判定された顔が、可視光画像に写るどの人物の顔に対応するものであるのかを容易に対応づけることができる。
【0031】
次いで、顔画像抽出部３０は、生体を撮影したものであると判定された顔の可視光画像上における座標をもとに、可視光画像から対応する顔画像を抽出する（ステップＳ１０５）。すなわち、顔画像抽出部３０は、近赤外線画像に写る顔に関する情報、本実施形態では近赤外線画像に写る顔の位置に関する情報を用いて、近赤外線画像に写る顔に対応する顔画像を、可視光画像から抽出する。この際、近赤外線画像上における座標から可視光画像上における座標への変換誤差を考慮して、若干広めに画像を切り出すことが望ましい。
【0032】
このようにすることで、撮影した可視光画像の中から、生体を撮影した顔画像だけを抽出することができる。
【0033】
次いで、顔認証部４０は、画像処理部２０で可視光画像から抽出した顔画像を用いて顔認証処理を実行する。可視光画像を用いて顔認証を行うことにより、近赤外線画像を用いる場合と比較して顔認証の精度を向上することができる。
【0034】
まず、顔特徴量抽出部４２は、ステップＳ１０５で抽出した顔画像から、顔の特徴を表すパラメータである顔特徴量を抽出する（ステップＳ１０６）。顔特徴量の抽出は、可視光画像から切り出した顔画像に対して顔検出部２４で顔検出を行った後に行ってもよい。
【0035】
顔特徴量は、ベクトル量であり、顔画像の特徴を表現するスカラ量の成分の組み合わせである。特徴量の成分としては、特に限定されるものではなく、種々の種類のものを用いることができる。例えば、特徴量の成分として、目、鼻、口等の顔の器官の中心又は端点に設定した特徴点間の距離や角度等の位置関係、顔の輪郭線の曲率、顔表面の色分布や濃淡値等を用いることができる。特徴量の成分数も、特に限定されるものではなく、要求される照合精度、処理速度等に応じて適宜設定することができる。
【0036】
次いで、照合部４４は、可視光画像から抽出した顔画像の人物が、記憶部５０に登録されている人物のいずれかに該当するかどうかを照合する照合処理を行う（ステップＳ１０７）。具体的には、照合部４４は、ステップＳ１０６で抽出した顔画像の顔特徴量と、記憶部５０に登録されている人物の顔画像の顔特徴量とを比較する。顔特徴量の類似度が所定の閾値を超えている人物が記憶部５０に存在した場合には、照合部４４は、可視光画像から抽出した顔画像の人物が登録済みの人物と同一であると判定、すなわち顔認証が成功したと判定する。一方、顔特徴量の類似度が所定の閾値を超えている人物が記憶部５０に存在しない場合には、照合部４４は、可視光画像から抽出した顔画像の人物が記憶部５０に登録されていない人物であると判定、すなわち顔認証に失敗したと判定する。
【0037】
この後、制御部６０は、照合処理の結果に応じて、所定の処理を実行する。例えば、本実施形態の顔認証システムが出入国管理や入退室管理等のゲートシステムに用いられる場合、顔認証に成功した場合に限り、入場を許可するようにゲートシステムを制御する。
【0038】
顔特徴量の類似度が所定の閾値に満たない場合には、不正であるとして顔認証システム１００がアラートを出すようにしてもよい。また、近赤外線画像で顔が検出されたにもかかわらず、検出された顔が生体を撮影したものではないと判定された場合、写真等を用いてゲートシステムを通過しようとする不正が行われた可能性がある。そのような場合に不正であるとしてアラートを出すようにしてもよい。反対に、記憶部５０がブラックリストに含まれる人物の顔画像の顔特徴量を記憶している場合は、認証に成功した場合に、顔認証システム１００がアラートを出すようにしてもよい。
【0039】
このように、本実施形態によれば、撮影した画像から生体と非生体物とを的確に判別し、顔認証に好適な生体の顔画像を抽出することができる。これにより、精度の高い顔認証を実現しうる顔認証システムを実現することができる。
【0040】
［第２実施形態］
本発明の第２実施形態による顔認証システム及び顔認証方法について、図３乃至図５を用いて説明する。第１実施形態による顔認証システムと同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本発明の第２実施形態による顔認証システム及び顔認証方法について、図３乃至図５を用いて説明する。第１実施形態による顔認証システムと同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
【0041】
【0042】
本実施形態による顔認証システム１００は、図３に示すように、画像処理部２０が顔数決定部２８を更に有するほかは、図１に示す第１実施形態による顔認証システムと同様である。顔数決定部２８は、可視光画像に写る顔の数と、近赤外線画像に写る顔のうち生体を撮影したものであると判定された顔の数とを決定するものである。
【0043】
本実施形態の顔認証システムでは、可視光画像と近赤外線画像との関連づけを、第１実施形態で用いたような座標変換関数ではなく、可視光画像に写る顔の数と、近赤外線画像に写る顔のうち生体の顔を撮影したものであると判定された顔の数とに基づいて行う。したがって、本実施形態の顔認証システムには、必ずしも可視光画像と近赤外線画像との間の座標変換関数を備えた撮像装置を用いる必要はない。
【0044】
次に、本実施形態による顔認証システム１００を用いた顔認証方法について、図４及び図５を用いて具体的に説明する。図４は、本実施形態による顔認証システムにおける顔認証方法を示すフローチャートである。図５は、２次元の顔画像を含む被写体を撮影した場合における顔画像の誤抽出の一例を示す図である。
【0045】
本実施形態による顔認証システム１００を用いた顔認証処理は、図４のステップＳ２０１からステップＳ２０７に従って行われる。なお、後述する各部の処理は、制御部６０による制御のもとで実行される。
【0046】
まず、撮影部１０は、カメラ１２により被写体の可視光画像を撮影し、カメラ１４により被写体の近赤外線画像を撮影する。また、撮影部１０は、カメラ１４及びプロジェクタ１６を用いて被写体の深度情報を取得する（ステップＳ２０１）。本実施形態では座標変換関数を用いないため、カメラ１２とカメラ１４とは別々の撮像装置でもよいが、カメラ１２，１４の視界がほぼ等しくなるようにキャリブレーションを行っておくことが望ましい。撮影部１０で撮影された可視光画像及び近赤外線画像の画像データは、被写体の深度情報とともに、画像処理部２０の画像データ取得部２２へと送られる。
【0047】
次いで、顔検出部２４は、画像データ取得部２２へと送られた可視光画像及び近赤外線画像のそれぞれに対して、画像に写る顔を検出する顔検出処理を行う（ステップＳ２０２）。
【0048】
次いで、ライブネス判定部２６は、近赤外線画像から検出された顔の画像が、カメラ１４が生体を撮影することにより取得された画像であるか否かを判定する（ステップＳ２０３）。近赤外線画像から複数の顔が検出された場合には、ライブネス判定部２６は、それぞれの顔の画像について、生体を撮影することにより取得された画像であるか否かを判定する。判定の方法は、第１実施形態のステップＳ１０３と同様である。
【0049】
次いで、顔数決定部２８は、可視光画像から検出された顔の数と、近赤外線画像から検出され生体の顔を撮影したものであると判断された顔の数とを決定し、両者が同じ数であるかどうかを判定する（ステップＳ２０４）。
【0050】
顔数決定部２８が、ステップＳ２０４において顔の数が同じであると判定した場合（図中、「Ｙ」）には、可視光画像で検出された顔の画像が総て生体を撮影したものであると判断し、ステップＳ２０５へと移行する。一方、顔数決定部２８が、ステップＳ２０４において顔の数が異なると判定した場合（図中、「Ｎ」）には、可視光画像で検出された顔のうちの少なくとも一部が写真などの２次元画像を撮影したものであると判断し、ステップＳ２０１に戻る。このような場合、不正行為が行われたものとしてアラートを出すようにしてもよい。更に、可視光画像からのみ検出された顔を特定するようにしてもよい。また、顔数決定部２８は、可視光画像からのみ検出された顔の顔画像を不正行為が行われた顔として出力してもよい。
【0051】
次いで、顔画像抽出部３１は、可視光画像から検出された顔の画像（顔画像）を抽出する（ステップＳ２０５）。本ステップは、可視光画像から検出された顔の数と、近赤外線画像から検出され生体の顔を撮影したものであると判断された顔の数とが同じ場合に行われる。すなわち、本ステップでは、近赤外線画像に写る顔に関する情報、本実施形態では近赤外線画像から検出され生体の顔を撮影したものであると判断された顔の数を用いて、近赤外線画像に写る顔に対応する顔画像を、可視光画像から抽出する。なお、可視光画像から顔画像を抽出する際、第１実施形態で説明した座標変換関数を用い、近赤外線画像に写る顔に対応する顔画像を可視光画像から抽出するようにしてもよい。
【0052】
次いで、顔特徴量抽出部４２は、ステップＳ２０５で可視光画像から抽出した顔画像から、顔の特徴を表すパラメータである顔特徴量を抽出する（ステップＳ２０６）。顔特徴量の抽出方法は、第１実施形態のステップＳ１０６と同様である。
【0053】
次いで、照合部４４は、可視光画像から抽出した顔画像の人物が、記憶部５０に登録されている人物のいずれかに該当するかどうかを照合する照合処理を行う（ステップＳ２０７）。照合処理の方法は、第１実施形態のステップＳ１０７と同様である。
【0054】
この後、照合処理の結果に応じて、制御部６０は、所定の処理を実行する。
【0055】
上述のように、本実施形態では、可視光画像から検出された顔の数と近赤外線画像から検出され生体を撮影したものであると判断された顔の数とが同じである場合に限り、検出された顔画像を顔認証処理の対象としている。この理由について以下に述べる。
【0056】
近赤外線画像から検出された顔の画像の中に、カメラ１４が生体を撮影することにより取得された画像ではないと判定されたものが１つでもあった場合、直ちに写真などの２次元画像を用いた不正行為が行われたと判断する運用も可能である。
【0057】
しかしながら、例えば、カメラの視界の中の壁に人物の顔を写したポスターなどがたまたま貼付されていたような場合、顔認証処理に移行できないといった不具合が発生する可能性がある。
【0058】
また、例えば色白の顔の写真のように、可視光画像では顔であると検知できるが、近赤外線画像では顔であると検知しにくい被写体が存在した場合、近赤外線画像のライブネスチェックだけでは２次元の顔画像を排除することはできない。
【0059】
例えば、図５（ａ）に示すように、人物Ａと人物Ｂの写真とを含む被写体の近赤外線画像において、人物Ａの顔は検知されたが、人物Ｂの顔は検知されなかったものとする。この場合、人物Ｂの顔画像に対してはライブネスチェックも行われないため、２次元画像を用いた不正行為は行われていないと判断されることになる。そして、続く顔認証処理では、図５（ｂ）に示すように、可視光画像に写る人物Ａの顔と人物Ｂの顔とが処理対象であると判断され、それぞれについて顔認証が実施されてしまう。
【0060】
このように、可視光画像では顔であると検知されるが近赤外線画像では顔であると検知しにくい被写体が存在する場合、可視光画像から検出される顔の数と近赤外線画像から検出される顔の数とは異なることになる。
【0061】
そこで、本実施形態では、近赤外線画像に対するライブネスチェックに加え、可視光画像において検知された顔の数と、近赤外線画像において検知された顔の数との比較を行っている。カメラの視界の中に近赤外線画像から顔検知できる２次元画像が存在している場合、この顔画像はライブネスチェックにより排除することができる。カメラの視界の中に近赤外線画像からは顔検知できない２次元画像が存在している場合、この顔画像の存在は、可視光画像において検知された顔の数と近赤外線画像において検知された顔の数とが異なることに基づいて知ることができる。これにより、撮影した画像の中から、顔認証処理の対象に含められるべき顔画像を適切に選択し、顔認証処理を実行することができる。
【0062】
このように、本実施形態によれば、可視光画像の座標を近赤外線画像の座標に変換しなくとも、撮影した画像から生体と非生体物とを的確に判別し、顔認証に好適な生体の顔画像を抽出することができる。これにより、精度の高い顔認証を実現しうる顔認証システムを実現することができる。
【0063】
［第３実施形態］
本発明の第３実施形態による顔認証方法について、図６乃至図８を用いて説明する。第１及び第２実施形態による顔認証システムと同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
本発明の第３実施形態による顔認証方法について、図６乃至図８を用いて説明する。第１及び第２実施形態による顔認証システムと同様の構成要素には同一の符号を付し、説明を省略し或いは簡潔にする。
【0064】
図６は、本実施形態による顔認証システムにおける顔認証方法を示すフローチャートである。図７は、撮影部により撮影された可視光画像及び近赤外線画像の一例を示す図である。図８は、図７の画像に基づき本実施形態の顔認証処理を実行したときの顔認証結果の一例を示す図である。
【0065】
本実施形態では、第１又は第２実施形態による顔認証システムを用いた他の顔認証方法を説明する。本実施形態の顔認証方法は、可視光カメラにより撮影された画像と近赤外線カメラにより撮影された画像との関連づけを、顔認証により行うものである。本実施形態においても第２実施形態と同様、必ずしも第１実施形態で用いた座標変換関数を利用しなくてもよい。
【0066】
本実施形態による顔認証処理は、図６のステップＳ３０１からステップＳ３０７に従って行われる。なお、後述する各部の処理は、制御部６０による制御のもとで実行される。
【0067】
まず、撮影部１０は、カメラ１２により被写体の可視光画像を撮影し、カメラ１４により被写体の近赤外線画像を撮影する。また、撮影部１０は、カメラ１４及びプロジェクタ１６を用いて被写体の深度情報を取得する（ステップＳ３０１）。撮影部１０で撮影された可視光画像及び近赤外線画像の画像データは、被写体の深度情報とともに、画像処理部２０の画像データ取得部２２へと送られる。
【0068】
次いで、顔検出部２４は、画像データ取得部２２へと送られた可視光画像及び近赤外線画像のそれぞれに対して、画像に写る顔を検出する顔検出処理を行う（ステップＳ３０２）。
【0069】
ここでは一例として、カメラ１２，１４の視界に、人物Ａと、人物Ｃと、人物Ｂの写真とが存在している場合を想定する。そして、可視光画像から、例えば図７（ａ）に示すように、人物Ａ’の顔と、人物Ｂ’の顔と、人物Ｃ’の顔とが検出されたものとする。また、近赤外線画像から、例えば図７（ｂ）に示すように、人物Ａ”の顔と、人物Ｂ”の顔と、人物Ｃ”の顔とが検出されたものとする。ここで、人物Ａ及び人物Ｂは記憶部５０に登録済みの人物であり、人物Ｃは記憶部５０に未登録の人物であるものとする。
【0070】
次いで、ライブネス判定部２６は、近赤外線画像から検出された顔が、生体を撮影したものであるか否かを判定する（ステップＳ３０３）。判定の方法は、第１実施形態のステップＳ１０３と同様である。
【0071】
図７の例では、人物Ａ”の顔及び人物Ｃ”の顔は生体を撮影した画像であると判定され、人物Ｂ”の顔は写真を撮影したものと判定される。これにより、人物Ｂ”の顔は、近赤外線画像から検出された顔のグループから除外される。
【0072】
次いで、顔画像抽出部３０は、可視光画像から検出された顔の画像（顔画像）と、近赤外線画像から検出され生体を撮影したものと判定された顔の画像（以下、「生体の顔画像」と呼ぶ）とを抽出する（ステップＳ３０４）。
【0073】
次いで、顔特徴量抽出部４２は、可視光画像から検出された顔画像及び近赤外線画像から検出された生体の顔画像のそれぞれから、顔の特徴を表すパラメータである顔特徴量を抽出する（ステップＳ３０５）。顔特徴量の抽出方法は、第１実施形態のステップＳ１０６と同様である。
【0074】
次いで、照合部４４は、可視光画像から検出された顔画像の人物が、近赤外線画像から検出された生体の顔画像の人物うちのいずれかと同一であるかどうかを判定する（ステップＳ３０６）。具体的には、照合部４４は、可視光画像から検出された顔画像と近赤外線画像から検出された生体の顔画像との総ての組み合わせについて、可視光画像から検出された顔画像の顔特徴量と、近赤外線画像から検出された生体の顔画像の顔特徴量とを比較する。そして、照合部４４は、可視光画像から検出された顔画像の顔特徴量と、近赤外線画像から検出された生体の顔画像の顔特徴量との照合に基づいて、可視光画像から抽出する顔画像を決定する。例えば、照合部４４は、顔特徴量の類似度が所定の閾値を超えている組み合わせを、同一人物であると判定する。
【0075】
通常、可視光画像から検出された顔画像の数が、最大顔検知数となる。また、近赤外線画像から検出された生体の顔画像の数は、最大顔検知数以下となる。最大顔検知数をＮとすると、１人につき最大Ｎ人の顔画像と照合を行うことになる。顔特徴量の類似度が所定の閾値を超えている人物が複数存在する場合は、その中で最もスコアの高い顔画像の人物を同一人物と判定することができる。
【0076】
照合部４４が、可視光画像から検出された顔画像の人物のうちの少なくとも一部が近赤外線画像から検出された生体の顔画像の人物に該当すると判定した場合（図中、「Ｙ」）には、ステップＳ３０７へと移行する。近赤外線画像の中に同一人物の顔画像が見つからなかった可視光画像の顔画像は、可視光画像から検出された顔画像のグループから除外される。この意味で、照合部４４は、可視光画像に写る総ての人物の顔画像の中から、近赤外線画像にも写る人物であって、近赤外線画像に生体の顔画像として写っている人物の顔画像を抽出する抽出部であるとも言える。
【0077】
一方、照合部４４が、可視光画像から検出された顔画像の人物の総てが近赤外線画像から検出された生体の顔画像の人物に該当しないと判定した場合（図中、「Ｎ」）には、顔認証が失敗したものと判定し、ステップＳ３０１に戻る。
【0078】
図７の例では、可視光画像における人物Ａ’の顔画像と、近赤外線画像における人物Ａ”の顔画像とが、同一の人物Ａを撮影したものであると判断される。また、可視光画像における人物Ｃ’の顔画像と、近赤外線画像における人物Ｃ”の顔画像とが、同一の人物Ｃを撮影したものであると判断される。一方、人物Ｂ”の顔画像は近赤外線画像から検出された顔画像のグループから除外されているため、可視光画像の人物Ｂ’に対応する人物は、近赤外線画像には写っていないものと判断される。
【0079】
なお、ステップＳ３０３のライブネスチェックは、ステップＳ３０６以降に行ってもよい。ただし、この場合には２次元画像を撮影した顔画像についても顔特徴量の抽出等の処理を行う必要があるため、処理負荷を軽減する観点からはステップＳ３０５よりも前にライブネスチェックを行うことが望ましい。
【0080】
次いで、照合部４４は、可視光画像から抽出した顔画像の人物が、記憶部５０に登録されている人物のいずれかに該当するかどうかを判定する（ステップＳ３０７）。具体的には、照合部４４は、可視光画像から抽出した顔画像のそれぞれについて、可視光画像から抽出した顔画像の顔特徴量と、記憶部５０に登録されている人物の顔画像の顔特徴量とを比較する。顔特徴量の類似度が所定の閾値を超えている人物の顔画像が記憶部５０に存在した場合には、照合部４４は、可視光画像から抽出した顔画像の人物が登録済みの人物と同一であると判定、すなわち顔認証が成功したと判定する。一方、顔特徴量の類似度が所定の閾値を超えている人物の顔画像が記憶部５０に存在しない場合には、照合部４４は、可視光画像から抽出した顔画像の人物が記憶部５０に登録されていない人物であると判定、すなわち顔認証に失敗したと判定する。
【0081】
制御部６０は、ステップＳ３０７において顔認証が成功した場合（図中、「Ｙ」）には、一連の顔認証処理を終了する。一方、ステップＳ３０７において顔認証が失敗した場合（図中、「Ｎ」）には、ステップＳ３０１に戻る。
【0082】
図７の例では、可視光画像における人物Ａ’の顔画像は、記憶部５０に登録されている人物Ａの顔画像であると判断され、顔認証は成功する。一方、人物Ｃは記憶部５０に登録されていないため、可視光画像における人物Ｃ’の顔画像の顔認証は失敗する。
【0083】
【0084】
本実施形態の顔認証処理では、１）可視光画像に写る人物と近赤外線画像に写る人物とが同一人物、２）近赤外線画像の人物が生体を撮影したもの、３）可視光画像に写る人物が登録済みの人物、の３つの条件を総て満たした場合に、顔認証は成功する。図８では、条件を満たしている部分は顔画像を黒塗りのバーで接続し、条件を満たしていない部分は顔画像を白抜きのバーで接続している。人物Ａは、上記１）～３）の総ての条件を満たしているため、顔認証は成功する。人物Ｂは、上記１），３）の条件は満たしているが２）の条件は満たしていないため、顔認証は失敗する。人物Ｃは、上記１），２）の条件は満たしているが３）の条件は満たしていないため、顔認証は失敗する。
【0085】
以上説明したように、本実施形態による顔認証方法は、可視光カメラにより撮影した画像と近赤外線カメラにより撮影した画像との間の整合を顔認証で実現するものである。したがって、可視光カメラと近赤外線カメラとの間のキャリブレーションは不要である。
このように、本実施形態によれば、撮影した画像から生体と非生体物とを的確に判別し、顔認証に好適な生体の顔画像を抽出することができる。これにより、精度の高い顔認証を実現しうる顔認証システムを実現することができる。
このように、本実施形態によれば、撮影した画像から生体と非生体物とを的確に判別し、顔認証に好適な生体の顔画像を抽出することができる。これにより、精度の高い顔認証を実現しうる顔認証システムを実現することができる。
【0086】
［第４実施形態］
本発明の第４実施形態によるコンピュータ装置について、図９を用いて説明する。本実施形態では、上記第１乃至第３実施形態による顔照合システムにおける各部の処理を実現するために用いられるコンピュータ装置の一例を説明する。
本発明の第４実施形態によるコンピュータ装置について、図９を用いて説明する。本実施形態では、上記第１乃至第３実施形態による顔照合システムにおける各部の処理を実現するために用いられるコンピュータ装置の一例を説明する。
【0087】
図９は、上記第１乃至第３実施形態による顔照合システムにおける各部の処理を実現するために用いられるコンピュータ装置の例を示している。図９に示すコンピュータ装置１０００は、特に限定されるものではなく、様々な種類、形態のものであってよい。例えば、コンピュータ装置１０００は、ラップトップ型コンピュータ、デスクトップ型コンピュータ、ワークステーション、パーソナルデジタルアシスタント、サーバ、ブレードサーバ、メインフレーム、組み込みシステム等である。
【0088】
コンピュータ装置１０００は、プロセッサ１００２と、メモリ１００４と、記憶装置１００６とを有している。また、コンピュータ装置１０００は、高速インターフェースを含む高速コントローラ１００８、及び低速インターフェースを含む低速コントローラ１０１０を有している。高速コントローラ１００８には、メモリ１００４及び高速拡張ポート１０１２が接続されている。また、高速コントローラ１００８には、ディスプレイ１０１６等の外部入出力装置が接続されている。一方、低速コントローラ１０１０には、低速拡張ポート１０１４及び記憶装置１００６が接続されている。
【0089】
プロセッサ１００２、メモリ１００４、記憶装置１００６、高速コントローラ１００８、低速コントローラ１０１０、及び高速拡張ポート１０１２は、種々のバスにより相互に接続されている。また、プロセッサ１００２、メモリ１００４、記憶装置１００６、高速コントローラ１００８、低速コントローラ１０１０、及び高速拡張ポート１０１２は、共通のマザーボード上に実装することもできるし、また、他の形態で適宜実装することもできる。
【0090】
プロセッサ１００２は、例えばＣＰＵ（Central Processing Unit）であり、コンピュータ装置１０００内で実行する命令を処理することができる。そのような命令には、ディスプレイ１０１６等の外部入出力装置上にＧＵＩ（Graphical User Interface）のグラフィック情報を表示するための、メモリ１００４内又は記憶装置１００６内に格納された命令が含まれる。
【0091】
また、複数のプロセッサ、複数のバス、又は複数のプロセッサ及び複数のバスを、複数のメモリ及び複数のタイプのメモリとともに適宜使用することができる。また、複数のコンピュータ装置１０００を、必要な処理の一部を行う各装置と接続することができる。例えば、複数のコンピュータ装置１０００を、サーババンク、ブレードサーバのグループ、又はマルチプロセッサシステムとして互いに接続することができる。
【0092】
メモリ１００４は、コンピュータ装置１０００内の情報を格納する。例えば、メモリ１００４は、揮発性メモリユニット、不揮発性メモリユニットである。メモリ１００４は、他のコンピュータ可読媒体であってもよく、例えば、磁気ディスク、光ディスク等であってもよい。
【0093】
記憶装置１００６は、コンピュータ装置１０００用のマスストレージを構成することができる。記憶装置１００６は、例えば、フロッピー（登録商標）ディスク装置、ハードディスク装置、光ディスク装置、テープ装置、フラッシュメモリその他のソリッドステートメモリ装置、ディスクアレイ等のコンピュータ可読媒体であるか、又はそのようなコンピュータ可読媒体を含むことができる。記憶装置１００６は、ストレージエリアネットワーク、他の構成の装置を含む。コンピュータプログラム製品は、情報担体において明確に具現化されうる。コンピュータプログラム製品は、実行されると上述のような１つまたは複数の処理を実行する命令も格納することができる。情報担体は、メモリ１００４、記憶装置１００６、プロセッサ１００２上のメモリ、又は伝搬信号等のコンピュータ可読媒体若しくは機械可読媒体である。
【0094】
高速コントローラ１００８は、コンピュータ装置１０００に対する帯域幅を集中的に使用する処理を管理する。一方、低速コントローラ１０１０は、帯域幅を集中的に使用する程度の低い処理を管理する。ただし、このような機能の割り振りは、例示的なものにすぎず、これに限定されるものではない。また、高速コントローラ１００８の一部又は全部は、プロセッサ１００２に内蔵されていてもよい。
【0095】
高速コントローラ１００８は、メモリ１００４、及び種々の拡張カードを受け入れることができる高速拡張ポート１０１２に接続されている。また、高速コントローラ１００８は、例えばグラフィックスプロセッサ又はアクセラレータを介して、ディスプレイ１０１６に接続されている。
【0096】
また、低速コントローラ１０１０は、記憶装置１００６及び低速拡張ポート１０１４に接続されている。低速拡張ポート１０１４は、例えば、ＵＳＢ（Universal Serial Bus）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、有線又は無線のイーサネット（登録商標）等の種々の規格の通信ポートを含むことができる。低速拡張ポート１０１４には、キーボード、ポインティングデバイス、スキャナ等の一又は複数の入出力装置を接続することができる。また、低速拡張ポート１０１４には、例えば、ネットワークアダプタを介して、スイッチ、ルータ等の一又は複数のネットワーク機器を接続することができる。
【0097】
コンピュータ装置１０００は、数多くの異なる形態で実施することができる。例えば、コンピュータ装置１０００は、標準的なサーバ、又はそのようなサーバのグループの形態の複数台で実施することができる。また、コンピュータ装置１０００は、ラックサーバシステムの一部としても実施することもできる。さらに、コンピュータ装置１０００は、ラップトップ型コンピュータ、デスクトップ型コンピュータ等のパーソナルコンピュータの形態で実施することができる。
【0098】
コンピュータ装置１０００は、上記第１乃至第３実施形態による顔認証システム１００のうち、少なくとも、画像処理部２０、顔認証部４０、制御部６０として機能することができる。プロセッサ１００２は、コンピュータ装置１０００の全体の動作を制御するものであり、制御部６０の機能を含む。また、プロセッサ１００２は、画像データ取得部２２、顔検出部２４、ライブネス判定部２６、顔数決定部２８及び顔画像抽出部３０，３１の機能を実現するプログラムを実行することにより、画像処理部２０として機能することができる。また、プロセッサ１００２は、顔特徴量抽出部４２及び照合部４４の機能を実現するプログラムを実行することにより、顔認証部４０として機能することができる。
【0099】
すなわち、プロセッサ１００２は、画像データ取得部２２、顔検出部２４、ライブネス判定部２６、顔数決定部２８、顔画像抽出部３０，３１、顔特徴量抽出部４２及び照合部４４の各部の機能を実現するプログラムを実行する。これにより、プロセッサ１００２は、画像データ取得部２２、顔検出部２４、ライブネス判定部２６、顔数決定部２８、顔画像抽出部３０，３１、顔特徴量抽出部４２及び照合部４４の各部として機能することができる。また、コンピュータ装置１０００の記憶装置１００６は、記憶部５０として機能することができる。
【0100】
なお、コンピュータ装置１０００のプロセッサ１００２に実行させるプログラムの一部又は全部は、これを記録したＤＶＤ－ＲＯＭ（Digital Versatile Disc-Read Only Memory）、ＣＤ－ＲＯＭ（Compact Disc-Read Only Memory）、ＵＳＢメモリその他のフラッシュメモリ等のコンピュータ読み取り可能な記録媒体により提供することができる。
【0101】
［その他の実施形態］
上記第１乃至第３実施形態において説明した顔照合システムは、可視光画像と被写体の深度情報を含む画像とから生体の顔画像を抽出する画像処理を実施するための画像処理装置としての機能も備えている。画像処理装置は、画像処理部２０と同様の機能を備えるものである。すなわち、他の実施形態によれば、画像処理装置２００を、図１０に示すように構成することができる。図１０は、他の実施形態による画像処理装置の機能構成を示すブロック図である。
上記第１乃至第３実施形態において説明した顔照合システムは、可視光画像と被写体の深度情報を含む画像とから生体の顔画像を抽出する画像処理を実施するための画像処理装置としての機能も備えている。画像処理装置は、画像処理部２０と同様の機能を備えるものである。すなわち、他の実施形態によれば、画像処理装置２００を、図１０に示すように構成することができる。図１０は、他の実施形態による画像処理装置の機能構成を示すブロック図である。
【0102】
画像処理装置２００は、図１０に示すように、取得部２０２と、検出部２０４と、判定部２０６と、抽出部２０８とを含む。取得部２０２は、可視光画像データと、被写体の深度情報を含む画像データ（例えば、近赤外線画像データ）とを取得する。検出部２０４は、取得部２０２により取得された画像に写る顔を検出する。判定部２０６は、検出部２０４により検出された画像中の顔が生体を撮影したものであるか否かを判定する。抽出部２０８は、近赤外線画像に写る顔に関する情報に基づいて、可視光画像から顔認証に用いる顔画像を抽出する。各部の具体的な機能は、第１乃至第３実施形態で説明した画像処理部２０の各部の機能と同様である。画像処理装置２００は、第２実施形態の画像処理部２０が有する顔数決定部２８と同様の決定部としての機能を更に備えてもよい。
【0103】
また、上述の実施形態の機能を実現するように該実施形態の構成を動作させるプログラムを記録媒体に記録させ、該記録媒体に記録されたプログラムをコードとして読み出し、コンピュータにおいて実行する処理方法も各実施形態の範疇に含まれる。すなわち、コンピュータ読取可能な記録媒体も各実施形態の範囲に含まれる。また、上述のプログラムが記録された記録媒体はもちろん、そのプログラム自体も各実施形態に含まれる。
【0104】
該記録媒体としては例えばフロッピー（登録商標）ディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、磁気テープ、不揮発性メモリカード、ＲＯＭを用いることができる。また該記録媒体に記録されたプログラム単体で処理を実行しているものに限らず、他のソフトウェア、拡張ボードの機能と共同して、ＯＳ上で動作して処理を実行するものも各実施形態の範疇に含まれる。
【0105】
また、いずれかの実施形態の一部の構成を他の実施形態に追加した例や、他の実施形態の一部の構成と置換した例も、本発明の実施形態である。
【0106】
なお、上記実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。
【0107】
上記実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0108】
（付記１）
第１の波長の光を用いて被写体を撮影することで生成された第１の画像と、第２の波長の光を用いて前記被写体を撮影することで生成された第２の画像と、前記被写体の深度情報と、を取得する取得部と、
前記第２の画像に写る顔を検出する検出部と、
前記深度情報に基づいて、前記検出部が検出した顔が生体を撮影したものであるか否かを判定する判定部と、
前記判定部が生体を撮影したものであると判定した顔に関する情報に基づいて、前記第１の画像から顔画像を抽出する抽出部と
を有することを特徴とする画像処理装置。
第１の波長の光を用いて被写体を撮影することで生成された第１の画像と、第２の波長の光を用いて前記被写体を撮影することで生成された第２の画像と、前記被写体の深度情報と、を取得する取得部と、
前記第２の画像に写る顔を検出する検出部と、
前記深度情報に基づいて、前記検出部が検出した顔が生体を撮影したものであるか否かを判定する判定部と、
前記判定部が生体を撮影したものであると判定した顔に関する情報に基づいて、前記第１の画像から顔画像を抽出する抽出部と
を有することを特徴とする画像処理装置。
【0109】
（付記２）
前記抽出部は、前記判定部が生体を撮影したものであると判定した顔の前記第２の画像における位置に関する情報を用いて、前記第２の画像に写る前記顔に対応する顔画像を、前記第１の画像から抽出する
ことを特徴とする付記１記載の画像処理装置。
前記抽出部は、前記判定部が生体を撮影したものであると判定した顔の前記第２の画像における位置に関する情報を用いて、前記第２の画像に写る前記顔に対応する顔画像を、前記第１の画像から抽出する
ことを特徴とする付記１記載の画像処理装置。
【0110】
（付記３）
画像に写る顔の数を決定する決定部を更に有し、
前記検出部は、前記第１の画像に写る顔を更に検出し、
前記決定部は、前記検出部の検出結果に基づいて、前記第１の画像に写る顔の数と、前記第２の画像に写る顔の数とを決定し、
前記抽出部は、前記第１の画像に写る顔の数と、前記第２の画像に写る顔の数とが一致する場合に、前記第１の画像から顔画像を抽出する
ことを特徴とする付記１又は２記載の画像処理装置。
画像に写る顔の数を決定する決定部を更に有し、
前記検出部は、前記第１の画像に写る顔を更に検出し、
前記決定部は、前記検出部の検出結果に基づいて、前記第１の画像に写る顔の数と、前記第２の画像に写る顔の数とを決定し、
前記抽出部は、前記第１の画像に写る顔の数と、前記第２の画像に写る顔の数とが一致する場合に、前記第１の画像から顔画像を抽出する
ことを特徴とする付記１又は２記載の画像処理装置。
【0111】
（付記４）
前記被写体の深度情報は、前記被写体にて反射された前記第２の波長の光を用いて生成された情報である
ことを特徴とする付記１乃至３のいずれか１項に記載の画像処理装置。
前記被写体の深度情報は、前記被写体にて反射された前記第２の波長の光を用いて生成された情報である
ことを特徴とする付記１乃至３のいずれか１項に記載の画像処理装置。
【0112】
（付記５）
前記検出部は、前記第１の画像に写る顔を更に検出し、
前記抽出部は、前記第２の画像に写る前記顔の顔特徴量と、前記第１の画像に写る前記顔の顔特徴量との照合に基づいて、前記第１の画像から抽出する顔画像を決定する
ことを特徴とする付記１又は２記載の画像処理装置。
前記検出部は、前記第１の画像に写る顔を更に検出し、
前記抽出部は、前記第２の画像に写る前記顔の顔特徴量と、前記第１の画像に写る前記顔の顔特徴量との照合に基づいて、前記第１の画像から抽出する顔画像を決定する
ことを特徴とする付記１又は２記載の画像処理装置。
【0113】
（付記６）
前記第１の波長の光は可視光であり、
前記第２の波長の光は近赤外線である
ことを特徴とする付記１乃至５のいずれか１項に記載の画像処理装置。
前記第１の波長の光は可視光であり、
前記第２の波長の光は近赤外線である
ことを特徴とする付記１乃至５のいずれか１項に記載の画像処理装置。
【0114】
（付記７）
第１の波長の光を用いて被写体を撮影することで生成された第１の画像から、顔画像を抽出する画像処理部と、
前記画像処理部で抽出された前記顔画像の人物が、登録された人物と同一であるか否かを判定する顔認証部と、を有し、
前記画像処理部は、
前記第１の画像、第２の波長の光を用いて前記被写体を撮影することで生成された第２の画像及び前記被写体の深度情報を取得する取得部と、
前記第２の画像に写る顔を検出する検出部と、
前記深度情報に基づいて、前記検出部が検出した顔が生体を撮影したものであるか否かを判定する判定部と、
前記判定部が生体を撮影したものであると判定した顔に関する情報に基づいて、前記第１の画像から前記顔画像を抽出する抽出部と、を有する
ことを特徴とする顔認証システム。
第１の波長の光を用いて被写体を撮影することで生成された第１の画像から、顔画像を抽出する画像処理部と、
前記画像処理部で抽出された前記顔画像の人物が、登録された人物と同一であるか否かを判定する顔認証部と、を有し、
前記画像処理部は、
前記第１の画像、第２の波長の光を用いて前記被写体を撮影することで生成された第２の画像及び前記被写体の深度情報を取得する取得部と、
前記第２の画像に写る顔を検出する検出部と、
前記深度情報に基づいて、前記検出部が検出した顔が生体を撮影したものであるか否かを判定する判定部と、
前記判定部が生体を撮影したものであると判定した顔に関する情報に基づいて、前記第１の画像から前記顔画像を抽出する抽出部と、を有する
ことを特徴とする顔認証システム。
【0115】
（付記８）
前記抽出部は、前記判定部が生体を撮影したものであると判定した顔の前記第２の画像における位置に関する情報を用いて、前記第２の画像に写る前記顔に対応する顔画像を、前記第１の画像から抽出する
ことを特徴とする付記７記載の顔認証システム。
前記抽出部は、前記判定部が生体を撮影したものであると判定した顔の前記第２の画像における位置に関する情報を用いて、前記第２の画像に写る前記顔に対応する顔画像を、前記第１の画像から抽出する
ことを特徴とする付記７記載の顔認証システム。
【0116】
（付記９）
前記画像処理部は、画像に写る顔の数を決定する決定部を更に有し、
前記検出部は、前記第１の画像に写る顔を更に検出し、
前記決定部は、前記検出部の検出結果に基づいて、前記第１の画像に写る顔の数と、前記第２の画像に写る顔の数とを決定し、
前記抽出部は、前記第１の画像に写る顔の数と、前記第２の画像に写る顔の数とが一致する場合に、前記第１の画像から顔画像を抽出する
ことを特徴とする付記７又は８記載の顔認証システム。
前記画像処理部は、画像に写る顔の数を決定する決定部を更に有し、
前記検出部は、前記第１の画像に写る顔を更に検出し、
前記決定部は、前記検出部の検出結果に基づいて、前記第１の画像に写る顔の数と、前記第２の画像に写る顔の数とを決定し、
前記抽出部は、前記第１の画像に写る顔の数と、前記第２の画像に写る顔の数とが一致する場合に、前記第１の画像から顔画像を抽出する
ことを特徴とする付記７又は８記載の顔認証システム。
【0117】
（付記１０）
前記被写体の深度情報は、前記被写体にて反射された前記第２の波長の光を用いて生成された情報である
ことを特徴とする付記７乃至９のいずれか１項に記載の顔認証システム。
前記被写体の深度情報は、前記被写体にて反射された前記第２の波長の光を用いて生成された情報である
ことを特徴とする付記７乃至９のいずれか１項に記載の顔認証システム。
【0118】
（付記１１）
前記第１の画像に写る顔の数と前記第２の画像に写る顔の数とが異なる場合に、不正であるとしてアラートを出す報知部を更に有する
ことを特徴とする付記９又は１０記載の顔認証システム。
前記第１の画像に写る顔の数と前記第２の画像に写る顔の数とが異なる場合に、不正であるとしてアラートを出す報知部を更に有する
ことを特徴とする付記９又は１０記載の顔認証システム。
【0119】
（付記１２）
前記検出部は、前記第１の画像に写る顔を更に検出し、
前記抽出部は、前記第２の画像に写る前記顔の顔特徴量と、前記第１の画像に写る前記顔の顔特徴量との照合に基づいて、前記第１の画像から抽出する顔画像を決定する
ことを特徴とする付記７又は８記載の顔認証システム。
前記検出部は、前記第１の画像に写る顔を更に検出し、
前記抽出部は、前記第２の画像に写る前記顔の顔特徴量と、前記第１の画像に写る前記顔の顔特徴量との照合に基づいて、前記第１の画像から抽出する顔画像を決定する
ことを特徴とする付記７又は８記載の顔認証システム。
【0120】
（付記１３）
前記顔認証部は、前記抽出部により抽出された前記顔画像の人物が登録された人物と同一であり、且つ、前記第１の画像に写る前記顔の人物と前記第２の画像に写る前記顔の人物とが同一人物である場合に、認証が成功したと判定する
ことを特徴とする付記７乃至１２のいずれか１項に記載の顔認証システム。
前記顔認証部は、前記抽出部により抽出された前記顔画像の人物が登録された人物と同一であり、且つ、前記第１の画像に写る前記顔の人物と前記第２の画像に写る前記顔の人物とが同一人物である場合に、認証が成功したと判定する
ことを特徴とする付記７乃至１２のいずれか１項に記載の顔認証システム。
【0121】
（付記１４）
前記第１の波長の光は可視光であり、
前記第２の波長の光は近赤外線である
ことを特徴とする付記７乃至１３のいずれか１項に記載の顔認証システム。
前記第１の波長の光は可視光であり、
前記第２の波長の光は近赤外線である
ことを特徴とする付記７乃至１３のいずれか１項に記載の顔認証システム。
【0122】
（付記１５）
第１の波長の光を用いて被写体を撮影することで生成された第１の画像と、第２の波長の光を用いて前記被写体を撮影することで生成された第２の画像と、前記被写体の深度情報と、を取得し、
取得した前記第２の画像に写る顔を検出し、
前記深度情報に基づいて、検出した顔が生体を撮影したものであるか否かを判定し、
生体を撮影したものであると判定した顔に関する情報に基づいて、前記第１の画像から顔画像を抽出する
ことを特徴とする画像処理方法。
第１の波長の光を用いて被写体を撮影することで生成された第１の画像と、第２の波長の光を用いて前記被写体を撮影することで生成された第２の画像と、前記被写体の深度情報と、を取得し、
取得した前記第２の画像に写る顔を検出し、
前記深度情報に基づいて、検出した顔が生体を撮影したものであるか否かを判定し、
生体を撮影したものであると判定した顔に関する情報に基づいて、前記第１の画像から顔画像を抽出する
ことを特徴とする画像処理方法。
【0123】
（付記１６）
生体を撮影したものであると判定した顔の前記第２の画像における位置に関する情報を用いて、前記第２の画像に写る前記顔に対応する顔画像を、前記第１の画像から抽出する
ことを特徴とする付記１５記載の画像処理方法。
生体を撮影したものであると判定した顔の前記第２の画像における位置に関する情報を用いて、前記第２の画像に写る前記顔に対応する顔画像を、前記第１の画像から抽出する
ことを特徴とする付記１５記載の画像処理方法。
【0124】
（付記１７）
取得した前記第１の画像に写る顔を更に検出し、
前記顔の検出結果に基づいて、前記第１の画像に写る顔の数と、前記第２の画像に写る顔の数とを決定し、
前記第１の画像に写る顔の数と、前記第２の画像に写る顔の数とが一致する場合に、前記第１の画像から顔画像を抽出する
ことを特徴とする付記１５又は１６記載の画像処理方法。
取得した前記第１の画像に写る顔を更に検出し、
前記顔の検出結果に基づいて、前記第１の画像に写る顔の数と、前記第２の画像に写る顔の数とを決定し、
前記第１の画像に写る顔の数と、前記第２の画像に写る顔の数とが一致する場合に、前記第１の画像から顔画像を抽出する
ことを特徴とする付記１５又は１６記載の画像処理方法。
【0125】
（付記１８）
前記被写体の深度情報は、前記被写体にて反射された前記第２の波長の光を用いて生成された情報である
ことを特徴とする付記１５乃至１７のいずれか１項に記載の画像処理方法。
前記被写体の深度情報は、前記被写体にて反射された前記第２の波長の光を用いて生成された情報である
ことを特徴とする付記１５乃至１７のいずれか１項に記載の画像処理方法。
【0126】
（付記１９）
取得した前記第１の画像に写る顔を更に検出し、
前記第２の画像に写る前記顔の顔特徴量と、前記第１の画像に写る前記顔の顔特徴量との類似度に基づいて、前記第１の画像から抽出する顔画像を決定する
ことを特徴とする付記１５又は１６記載の画像処理方法。
取得した前記第１の画像に写る顔を更に検出し、
前記第２の画像に写る前記顔の顔特徴量と、前記第１の画像に写る前記顔の顔特徴量との類似度に基づいて、前記第１の画像から抽出する顔画像を決定する
ことを特徴とする付記１５又は１６記載の画像処理方法。
【0127】
（付記２０）
前記第１の波長の光は可視光であり、
前記第２の波長の光は近赤外線である
ことを特徴とする付記１５乃至１９のいずれか１項に記載の画像処理方法。
前記第１の波長の光は可視光であり、
前記第２の波長の光は近赤外線である
ことを特徴とする付記１５乃至１９のいずれか１項に記載の画像処理方法。
【0128】
（付記２１）
コンピュータ装置に、
第１の波長の光を用いて被写体を撮影することで生成された第１の画像と、第２の波長の光を用いて被写体を撮影することで生成された第２の画像と、前記被写体の深度情報と、を取得するステップと、
取得した前記第２の画像に写る顔を検出するステップと、
前記深度情報に基づいて、検出した顔が生体を撮影したものであるか否かを判定するステップと、
生体を撮影したものであると判定した顔に関する情報に基づいて、前記第１の画像から顔画像を抽出するステップと、
を実行させることを特徴とするプログラム。
コンピュータ装置に、
第１の波長の光を用いて被写体を撮影することで生成された第１の画像と、第２の波長の光を用いて被写体を撮影することで生成された第２の画像と、前記被写体の深度情報と、を取得するステップと、
取得した前記第２の画像に写る顔を検出するステップと、
前記深度情報に基づいて、検出した顔が生体を撮影したものであるか否かを判定するステップと、
生体を撮影したものであると判定した顔に関する情報に基づいて、前記第１の画像から顔画像を抽出するステップと、
を実行させることを特徴とするプログラム。
【0129】
（付記２２）
付記２１に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
付記２１に記載のプログラムを記録したコンピュータが読み取り可能な記録媒体。
【符号の説明】
【0130】
１０…撮影部
２０…画像処理部
２２…画像データ取得部
２４…顔検出部
２６…ライブネス判定部
２８…顔数決定部
３０，３１…顔画像抽出部
４０…顔認証部
４２…顔特徴量抽出部
４４…照合部
５０…記憶部
６０…制御部
１００…顔認証システム
２０…画像処理部
２２…画像データ取得部
２４…顔検出部
２６…ライブネス判定部
２８…顔数決定部
３０，３１…顔画像抽出部
４０…顔認証部
４２…顔特徴量抽出部
４４…照合部
５０…記憶部
６０…制御部
１００…顔認証システム
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】