ホーム > 特許ランキング > ソニーグループ株式会社
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】情報処理装置、情報処理方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20240903BHJP
【ＦＩ】
G06T7/00 660A
G06T7/00 510F
【請求項の数】
7
(21)【出願番号】P 2022505740
(86)(22)【出願日】2020-07-15
(86)【国際出願番号】 JP2020027518
(87)【国際公開番号】W WO2021181715
(87)【国際公開日】2021-09-16
【審査請求日】2023-06-07
(31)【優先権主張番号】62/987,057
(32)【優先日】2020-03-09
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】110003339
【氏名又は名称】弁理士法人南青山国際特許事務所
(72)【発明者】
【氏名】佐藤 達人
【審査官】宮島 潤
(56)【参考文献】
【文献】特開２０１６－８１２１２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１２／０２３０５４５（ＵＳ，Ａ１）
【文献】特開２００９－２１７６０９（ＪＰ，Ａ）
【文献】特開２０１３－１９６０３４（ＪＰ，Ａ）
【文献】国際公開第２０１７／０６１１０６（ＷＯ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
(57)【特許請求の範囲】
【請求項1】
認証対象の人物の入力顔画像から複数の顔パーツ点を検出するとともに、上記顔パーツ点に対応する信頼度を算出し、対応する上記信頼度が閾値未満の上記顔パーツ点を遮蔽パーツ点と決定し、上記認証対象の人物の入力顔画像から切り出す顔範囲として上記遮蔽パーツ点と重複しない顔範囲と解像度を決定する決定部と、上記決定部により決定された上記切り出す顔範囲と上記解像度で、上記認証対象の人物の入力顔画像から認証用顔画像を生成する生成部と、
上記生成部において生成された上記認証用顔画像の特徴量を抽出し、抽出された特徴量と、予め用意された、登録用の人物の入力顔画像を用いて上記認証用顔画像の生成時に用いる組み合わせと同じ切り出す顔範囲と解像度で生成される登録用顔画像の特徴量とから、上記認証用顔画像と上記登録用顔画像との類似度を計算し、上記類似度が予め定められた所定の値以上の場合に、上記認証用顔画像に映し出されている認証対象の人物が、予め顔画像を登録している人物であると判定する判定部と、を有し、
上記決定部は、予め定められた複数の切り出す顔範囲と解像度との組み合わせであって、上記組合せ毎に予め算出された、対応する組み合わせにより生成される認証用顔画像による顔認証の精度の高さを示す評価値が対応づけられている組み合わせの中から、切り出す顔範囲が上記遮蔽パーツ点と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定することを特徴とする
情報処理装置。
【請求項2】
請求項１に記載の情報処理装置であって、
上記認証対象の人物の入力顔画像は、マスク、帽子又はサングラスの遮蔽物によって顔の一部が隠れる領域を含む
情報処理装置。
【請求項3】
請求項１に記載の情報処理装置であって、
上記認証対象の人物の入力顔画像は、影又は手によって顔の一部が隠れる領域を含む
情報処理装置。
【請求項4】
認証対象の人物の入力顔画像から複数の顔パーツ点を検出するとともに、上記顔パーツ点に対応する信頼度を算出し、対応する上記信頼度が閾値未満の上記顔パーツ点を遮蔽パーツ点と決定し、上記認証対象の人物の入力顔画像から切り出す顔範囲として上記遮蔽パーツ点と重複しない顔範囲と解像度を決定し、決定された上記切り出す顔範囲と上記解像度で、上記認証対象の人物の入力顔画像から認証用顔画像を生成し、
生成された上記認証用顔画像の特徴量を抽出し、抽出された特徴量と、予め用意された、登録用の人物の入力顔画像を用いて上記認証用顔画像の生成時に用いる組み合わせと同じ切り出す顔範囲と解像度で生成される登録用顔画像の特徴量とから、上記認証用顔画像と上記登録用顔画像との類似度を計算し、上記類似度が予め定められた所定の値以上の場合に、上記認証用顔画像に映し出されている認証対象の人物が、予め顔画像を登録している人物であると判定する
情報処理装置により実行される情報処理方法であって、
上記決定では、予め定められた複数の切り出す顔範囲と解像度との組み合わせであって、上記組合せ毎に予め算出された、対応する組み合わせにより生成される認証用顔画像による顔認証の精度の高さを示す評価値が対応づけられている組み合わせの中から、切り出す顔範囲が上記遮蔽パーツ点と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定することを特徴とする
情報処理方法。
【請求項5】
請求項４に記載の情報処理装置であって、
上記認証対象の人物の入力顔画像は、マスク、帽子又はサングラスの遮蔽物によって顔の一部が隠れる領域を含む
情報処理方法。
【請求項6】
請求項４に記載の情報処理装置であって、
上記認証対象の人物の入力顔画像は、影又は手によって顔の一部が隠れる領域を含む
情報処理方法。
【請求項7】
認証対象の人物の入力顔画像から複数の顔パーツ点を検出するとともに、上記顔パーツ点に対応する信頼度を算出し、対応する上記信頼度が閾値未満の上記顔パーツ点を遮蔽パーツ点と決定し、上記認証対象の人物の入力顔画像から切り出す顔範囲として上記遮蔽パーツ点と重複しない顔範囲と解像度を決定するステップと、決定された上記切り出す顔範囲と上記解像度で、上記認証対象の人物の入力顔画像から認証用顔画像を生成するステップと、
生成された上記認証用顔画像の特徴量を抽出し、抽出された特徴量と、予め用意された、登録用の人物の入力顔画像を用いて上記認証用顔画像の生成時に用いる組み合わせと同じ切り出す顔範囲と解像度で生成される登録用顔画像の特徴量とから、上記認証用顔画像と上記登録用顔画像との類似度を計算し、上記類似度が予め定められた所定の値以上の場合に、上記認証用顔画像に映し出されている認証対象の人物が、予め顔画像を登録している人物であると判定するステップ
を情報処理装置に実行させるプログラムであって、
上記決定するステップでは、予め定められた複数の切り出す顔範囲と解像度との組み合わせであって、上記組合せ毎に予め算出された、対応する組み合わせにより生成される認証用顔画像による顔認証の精度の高さを示す評価値が対応づけられている組み合わせの中から、切り出す顔範囲が上記遮蔽パーツ点と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定することを特徴とする
プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理装置、情報処理方法及びプログラムに関する。
【背景技術】
【0002】
特許文献１では、標準顔画像と入力顔画像を比較することで入力顔画像の遮蔽領域を推定し、遮蔽を除いた領域で顔の識別を行うことで、遮蔽領域がある場合にも識別を行うことが提案されている。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２０１６－８１２１２号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献１では、遮蔽領域の大きさに係らず単純に遮蔽領域を除外する処理しか行わないため、遮蔽領域が大きくなっていくと、顔画像から取得できる情報が減り、顔識別の精度が下がってしまうという課題がある。
【0005】
以上のような事情に鑑み、本技術の目的は、遮蔽領域があっても顔認証の精度を向上させることができる情報処理方法、情報処理装置及びプログラムを提供することにある。
【課題を解決するための手段】
【0006】
上記目的を達成するため、本技術の一形態に係る情報処理装置は、決定部と、生成部とを具備する。
上記決定部は、認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定する。
上記生成部は、上記決定部により決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成する。
上記決定部は、認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定する。
上記生成部は、上記決定部により決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成する。
【0007】
上記決定部は、予め定められた複数の、切り出す顔範囲と解像度との組み合わせの中から、上記認証用顔画像を生成するのに用いる上記切り出す顔範囲と上記解像度を決定してもよい。
【0008】
上記認証用の入力顔画像から複数の顔パーツ点を検出し、上記顔パーツ点毎の信頼度を算出する顔パーツ検出部と、
複数の上記顔パーツ点から、上記信頼度を基に、上記遮蔽領域に係る遮蔽パーツ点を検出する遮蔽領域検出部
を更に具備し、
複数の上記組み合わせ毎に評価値が対応づけられ、
上記決定部は、複数の上記組み合わせの中から、切り出す顔範囲が上記遮蔽パーツ点と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定してもよい。
複数の上記顔パーツ点から、上記信頼度を基に、上記遮蔽領域に係る遮蔽パーツ点を検出する遮蔽領域検出部
を更に具備し、
複数の上記組み合わせ毎に評価値が対応づけられ、
上記決定部は、複数の上記組み合わせの中から、切り出す顔範囲が上記遮蔽パーツ点と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定してもよい。
【0009】
顔識別における有効性の度合いを示すスコア付き顔画像を生成するスコア付き顔画像生成部と、
上記スコア付き顔画像を構成する画素情報を基に、上記遮蔽領域に係る遮蔽画素を検出する遮蔽領域検出部
を更に具備し、
複数の上記組み合わせ毎に評価値が対応づけられ、
上記決定部は、複数の上記組み合わせの中から、切り出す顔範囲が上記遮蔽画素と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定してもよい。
上記スコア付き顔画像を構成する画素情報を基に、上記遮蔽領域に係る遮蔽画素を検出する遮蔽領域検出部
を更に具備し、
複数の上記組み合わせ毎に評価値が対応づけられ、
上記決定部は、複数の上記組み合わせの中から、切り出す顔範囲が上記遮蔽画素と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定してもよい。
【0010】
上記解像度は、上記組み合わせ毎に、上記切り出す顔範囲で切り出される認証用顔画像が一定の計算量で生成されるように設定されてもよい。
【0011】
上記認証用顔画像の特徴量を抽出する特徴量抽出部を更に具備し、
上記計算量は、切り出される顔範囲の総画素数又は上記特徴量抽出部による特徴量抽出時の積和演算回数を用いて算出されてもよい。
上記計算量は、切り出される顔範囲の総画素数又は上記特徴量抽出部による特徴量抽出時の積和演算回数を用いて算出されてもよい。
【0012】
上記認証用顔画像の特徴量を抽出する特徴量抽出部と、
上記特徴量抽出部により抽出された上記認証用顔画像の特徴量と、予め用意された登録用顔画像の特徴量とから、上記認証用顔画像と上記登録用顔画像との類似度を計算する類似度計算部を更に具備してもよい。
上記特徴量抽出部により抽出された上記認証用顔画像の特徴量と、予め用意された登録用顔画像の特徴量とから、上記認証用顔画像と上記登録用顔画像との類似度を計算する類似度計算部を更に具備してもよい。
【0013】
上記登録用顔画像の特徴量は、予め用意された登録用の入力顔画像を用いて複数の上記組み合わせに従って生成した複数の登録用顔画像それぞれにおいて、上記特徴量抽出部によって抽出した特徴量であってもよい。
【0014】
上記目的を達成するため、本技術の一形態に係る情報処理方法は、認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定し、決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成する。
【0015】
上記目的を達成するため、本技術の一形態に係るプログラムは、認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定するステップと、決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成するステップを情報処理装置に実行させる。
【図面の簡単な説明】
【0016】
【図1】実施形態に係る顔情報登録に用いる情報処理装置の機能ブロック図である。
【図2】顔情報登録の流れを説明する模式図である。
【図4】第１の実施形態に係る顔認証に用いる情報処理装置の機能ブロック図である。
【図5】顔パーツ点を説明する図である。
【図6】顔認証の流れを説明する模式図である。
【図9】顔範囲・解像度リストに挙げられている、切り出す顔範囲と解像度の組み合わせの例を説明する図である。
【図10】第２の実施形態に係る顔認証に用いる情報処理装置の機能ブロック図である。
【図13】第２の実施形態におけるスコア付き顔画像を説明する図である。
【図14】顔認証を説明する模式図である。
【図15】顔認証を説明する模式図である。
【発明を実施するための形態】
【0017】
以下、本技術に係る情報処理装置について、図面を参照して説明する。
＜概略説明＞
本実施形態では、顔認証時に用いられる認証用顔画像の比較対象となる登録用顔画像の情報が予め用意される。そして、当該登録用顔画像の情報と認証対象である認証用顔画像の情報とが比較されて、認証対象の人物が予め登録されている人物であるか否かが判定される。
＜概略説明＞
本実施形態では、顔認証時に用いられる認証用顔画像の比較対象となる登録用顔画像の情報が予め用意される。そして、当該登録用顔画像の情報と認証対象である認証用顔画像の情報とが比較されて、認証対象の人物が予め登録されている人物であるか否かが判定される。
【0018】
図１４及び１５は、本技術に係る実施形態の顔認証方法の概略を説明するための模式図である。
図１４及び１５において、両矢印の左側は、登録用の入力顔画像２１と、登録用顔画像２４を示す。両矢印の右側は、認証用の入力顔画像３１と、認証用顔画像３４を示す。登録用顔画像２４は、登録用の入力顔画像２１から切り出された画像である。認証用顔画像３４は、認証用の入力顔画像３１から切り出された画像である。
図１４における登録用の入力顔画像２１はマスクや帽子等の顔を遮蔽する遮蔽物を着用していない人物４０の画像である。図１４における認証用の入力顔画像３１は、マスク１７を着用している人物４０Ａの画像であり、ここでは符号３１Ａを付す。
図１５における登録用の入力顔画像２１はマスクや帽子等の顔を遮蔽する遮蔽物を着用していない人物４０の画像である。図１５における認証用の入力顔画像３１は、マスク１７に加えて帽子１８を着用している人物４０Ｂの画像であり、ここでは符号３１Ｂを付す。
図１４及び１５において、両矢印の左側は、登録用の入力顔画像２１と、登録用顔画像２４を示す。両矢印の右側は、認証用の入力顔画像３１と、認証用顔画像３４を示す。登録用顔画像２４は、登録用の入力顔画像２１から切り出された画像である。認証用顔画像３４は、認証用の入力顔画像３１から切り出された画像である。
図１４における登録用の入力顔画像２１はマスクや帽子等の顔を遮蔽する遮蔽物を着用していない人物４０の画像である。図１４における認証用の入力顔画像３１は、マスク１７を着用している人物４０Ａの画像であり、ここでは符号３１Ａを付す。
図１５における登録用の入力顔画像２１はマスクや帽子等の顔を遮蔽する遮蔽物を着用していない人物４０の画像である。図１５における認証用の入力顔画像３１は、マスク１７に加えて帽子１８を着用している人物４０Ｂの画像であり、ここでは符号３１Ｂを付す。
【0019】
本実施形態では、認証用の入力顔画像３１Ａ、３１Ｂにおけるマスク１７や帽子１８といった遮蔽物による遮蔽領域の情報に基づいて、より適切な切り出す顔範囲及び解像度で認証用顔画像３４が生成される。このように生成された認証用顔画像３４の情報と予め登録されている登録用顔画像２４の情報が比較されることによって、認証対象の人物が予め登録されている人物であるか否かが判定される。
以下、第１及び第２の実施形態をあげて説明する。
以下、第１及び第２の実施形態をあげて説明する。
【0020】
＜第１の実施形態＞
上述したように、顔認証時の比較対象となる登録用顔画像の情報は予め用意されており、登録用顔画像の情報と認証用顔画像の情報とが比較されて、顔認証が行われる。
第１の実施形態では、認証用顔画像の生成に用いる、切り出す顔範囲及び解像度の決定を、顔パーツ点及び当該顔パーツ点の信頼度を用いて、行っている。以下、詳細に説明する。
第１の実施形態に係る説明では、顔情報登録、顔認証の順に説明する。
上述したように、顔認証時の比較対象となる登録用顔画像の情報は予め用意されており、登録用顔画像の情報と認証用顔画像の情報とが比較されて、顔認証が行われる。
第１の実施形態では、認証用顔画像の生成に用いる、切り出す顔範囲及び解像度の決定を、顔パーツ点及び当該顔パーツ点の信頼度を用いて、行っている。以下、詳細に説明する。
第１の実施形態に係る説明では、顔情報登録、顔認証の順に説明する。
【0021】
［顔情報登録について］
（情報処理装置の構成）
図１を用いて顔情報の登録時に用いる情報処理装置１０について説明する。
図１に示すように、情報処理装置１０は、画像取得部２と、顔検出部３と、顔パーツ検出部４と、生成部５と、顔特徴量抽出部６と、顔範囲・解像度リスト７と、顔特徴量抽出器８と、登録顔特徴量データベース（ＤＢ）９を有する。
（情報処理装置の構成）
図１を用いて顔情報の登録時に用いる情報処理装置１０について説明する。
図１に示すように、情報処理装置１０は、画像取得部２と、顔検出部３と、顔パーツ検出部４と、生成部５と、顔特徴量抽出部６と、顔範囲・解像度リスト７と、顔特徴量抽出器８と、登録顔特徴量データベース（ＤＢ）９を有する。
【0022】
画像取得部２は、図示しないカメラ等で撮像された登録対象の人物の顔画像（登録用の入力顔画像という。）を取得する。
顔検出部３は、画像取得部２で取得された登録用の入力顔画像から顔部分を検出する。
顔パーツ検出部４は、顔検出部３で検出された顔部分から顔パーツ点を検出する。顔パーツ点は、顔の構成要素である眉、眼、鼻、口、耳、髪の生え際といったパーツそれぞれの形状を規定する複数の点である。顔のパーツ点検出アルゴリズムとしては既存の方法を用いることができる。例えば、図５に示すマスク１７を着用している人物４０Ａの登録用の入力顔画像３１において、顔パーツ点を、符号３６を付した小円で表している。
生成部５は、複数の登録用顔画像を生成する。生成部５は、予め用意された顔範囲・解像度リスト７に挙げられている、互いに異なる複数の、切り出す顔範囲（以下、顔範囲というときがある。）と解像度との組み合わせに基づいて、それぞれの組み合わせ毎に複数の登録用顔画像を生成する。顔範囲・解像度リスト７は、互いに対応づけられた、切り出す顔範囲と、解像度と、評価値の情報を有する。顔範囲・解像度リスト７の詳細については後述する。
顔検出部３は、画像取得部２で取得された登録用の入力顔画像から顔部分を検出する。
顔パーツ検出部４は、顔検出部３で検出された顔部分から顔パーツ点を検出する。顔パーツ点は、顔の構成要素である眉、眼、鼻、口、耳、髪の生え際といったパーツそれぞれの形状を規定する複数の点である。顔のパーツ点検出アルゴリズムとしては既存の方法を用いることができる。例えば、図５に示すマスク１７を着用している人物４０Ａの登録用の入力顔画像３１において、顔パーツ点を、符号３６を付した小円で表している。
生成部５は、複数の登録用顔画像を生成する。生成部５は、予め用意された顔範囲・解像度リスト７に挙げられている、互いに異なる複数の、切り出す顔範囲（以下、顔範囲というときがある。）と解像度との組み合わせに基づいて、それぞれの組み合わせ毎に複数の登録用顔画像を生成する。顔範囲・解像度リスト７は、互いに対応づけられた、切り出す顔範囲と、解像度と、評価値の情報を有する。顔範囲・解像度リスト７の詳細については後述する。
【0023】
顔特徴量抽出部６は、生成部５で生成された複数の登録用顔画像それぞれにおける顔特徴量を、顔特徴量抽出器８を用いて抽出する。
登録顔特徴量ＤＢ９には、複数の登録用顔画像それぞれの情報が格納される。例えば、登録用顔画像の情報として、登録用顔画像と、当該登録用顔画像を生成する際に用いられた顔範囲と解像度の情報と、顔特徴量抽出部６で抽出された顔特徴量と、用いた登録用の入力顔画像とが、互いに紐づけられている。
登録顔特徴量ＤＢ９には、複数の登録用顔画像それぞれの情報が格納される。例えば、登録用顔画像の情報として、登録用顔画像と、当該登録用顔画像を生成する際に用いられた顔範囲と解像度の情報と、顔特徴量抽出部６で抽出された顔特徴量と、用いた登録用の入力顔画像とが、互いに紐づけられている。
【0024】
図２は、顔情報登録処理の流れを説明する模式図である。
図２に示すように、画像取得部２により登録対象の人物４０の登録用の入力顔画像２１が取得される。登録用の入力顔画像２１において、顔検出及び顔のパーツ点検出が行われる。登録用の入力顔画像２１は、顔パーツ点検出結果に基づき、左右の目それぞれを結んだ仮想線が水平となるように正規化される。図２において、正規化された顔画像に符号２２を付す。その後、顔範囲・解像度リスト７に挙げられている各組み合わせの顔範囲と解像度に基づいて、生成部５により、リサイズ、切り出しが行われ、複数の登録用顔画像２４が生成される。次に、特徴量抽出部６により、顔特徴量抽出器８を用いて、複数の登録用顔画像２４それぞれから特徴量が抽出される。抽出された特徴量は、登録顔特徴量ＤＢ９に格納される。このように、人物の顔情報が登録される。
尚、ここでは、正規化、リサイズ、切り出しの順で処理が行われる例をあげたが、これに限定されない。例えば、リサイズ、正規化、切り出しの順で処理が行われてもよいし、正規化、切り出し、リサイズの順で処理が行われてもよい。
図２に示すように、画像取得部２により登録対象の人物４０の登録用の入力顔画像２１が取得される。登録用の入力顔画像２１において、顔検出及び顔のパーツ点検出が行われる。登録用の入力顔画像２１は、顔パーツ点検出結果に基づき、左右の目それぞれを結んだ仮想線が水平となるように正規化される。図２において、正規化された顔画像に符号２２を付す。その後、顔範囲・解像度リスト７に挙げられている各組み合わせの顔範囲と解像度に基づいて、生成部５により、リサイズ、切り出しが行われ、複数の登録用顔画像２４が生成される。次に、特徴量抽出部６により、顔特徴量抽出器８を用いて、複数の登録用顔画像２４それぞれから特徴量が抽出される。抽出された特徴量は、登録顔特徴量ＤＢ９に格納される。このように、人物の顔情報が登録される。
尚、ここでは、正規化、リサイズ、切り出しの順で処理が行われる例をあげたが、これに限定されない。例えば、リサイズ、正規化、切り出しの順で処理が行われてもよいし、正規化、切り出し、リサイズの順で処理が行われてもよい。
【0025】
顔範囲・解像度リスト７について説明する。
図２に示すように、顔範囲・解像度リスト７には、複数の、切り出す顔範囲７１と、当該顔範囲７１の解像度７２との組み合わせの情報が含まれる。更に、顔範囲・解像度リスト７には、複数の、顔範囲７１と解像度７２の組み合わせ毎に、評価値７３が対応づけられて設定されている。評価値７３は、固定値であり、組み合わせ毎に予め計算されて求められている。評価値７３は、組み合わせに対する評価を示すものである。顔範囲・解像度リスト７にある評価値７３は、後述する顔認証の際に用いられる。評価値７３が高いほど、対応する組み合わせにより生成される認証用顔画像における顔認証精度が高いことを示す。
図２に示すように、顔範囲・解像度リスト７には、複数の、切り出す顔範囲７１と、当該顔範囲７１の解像度７２との組み合わせの情報が含まれる。更に、顔範囲・解像度リスト７には、複数の、顔範囲７１と解像度７２の組み合わせ毎に、評価値７３が対応づけられて設定されている。評価値７３は、固定値であり、組み合わせ毎に予め計算されて求められている。評価値７３は、組み合わせに対する評価を示すものである。顔範囲・解像度リスト７にある評価値７３は、後述する顔認証の際に用いられる。評価値７３が高いほど、対応する組み合わせにより生成される認証用顔画像における顔認証精度が高いことを示す。
【0026】
図２及び９を用いて、顔範囲・解像度リスト７の詳細について説明する。図９は、顔範囲・解像度リスト７に含まれる組み合わせ例を説明する図である。図９に示すように、例えば顔範囲・解像度リスト７は、１１個の、顔範囲と解像度の組み合わせＣ１～Ｃ１１を有する。尚、組み合わせの数、顔範囲、解像度の数値はここに挙げるものに限定されない。
【0027】
顔範囲・解像度リスト７に挙げられる各組み合わせにおいて、認証用顔画像が一定の計算量で生成されるように、顔範囲と解像度の組み合わせが設定される。換言すると、解像度は、組み合わせ毎に、切り出される顔範囲で認証用顔画像が一定の計算量で生成されるように設定される。当該計算量は、切り出される顔範囲の総画素数、又は、顔特徴量抽出部６による特徴量抽出時の積和演算回数を用いて算出することができる。
これにより、認証用顔画像の生成処理を常に一定の時間で終えることができる。
これにより、認証用顔画像の生成処理を常に一定の時間で終えることができる。
【0028】
図９に示すように、顔範囲・解像度リスト７にある組み合わせＣ１に基づいて生成される画像は、顔検出部３で検出された顔範囲の顔画像であり、元画像である。この元画像の解像度（画素数）７２は例えば９６×９６である。すなわち、顔範囲・解像度リスト７にある組み合わせＣ１において、切り出す顔範囲７１は顔全範囲であり、解像度は９６×９６である。
顔情報登録処理の際、組み合わせＣ１に基づいて、生成部５により、切り出す顔範囲が顔全範囲の、９６×９６のサイズの元画像が生成される。
顔情報登録処理の際、組み合わせＣ１に基づいて、生成部５により、切り出す顔範囲が顔全範囲の、９６×９６のサイズの元画像が生成される。
【0029】
顔範囲・解像度リスト７にある組み合わせＣ２において、切り出す顔範囲７１は、元画像を１４４×１４４にリサイズした画像から切り出した両目と髪の生え際の一部を含む領域である。切り出す顔範囲７１の解像度（画素数）７２は１４４×６０である。
顔情報登録処理の際、組み合わせＣ２に基づいて、生成部５により、元画像が１４４×１４４にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×６０の解像度７２で切り出されて、登録用顔画像が生成される。
顔情報登録処理の際、組み合わせＣ２に基づいて、生成部５により、元画像が１４４×１４４にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×６０の解像度７２で切り出されて、登録用顔画像が生成される。
【0030】
顔範囲・解像度リスト７にある組み合わせＣ３において、切り出す顔範囲７１は、元画像を１４４×１４４にリサイズした画像から切り出した両目と髪の生え際の一部を含む領域である。切り出す顔範囲７１の解像度（画素数）７２は１４４×７２である。
顔情報登録処理の際、組み合わせＣ３に基づいて、生成部５により、元画像が１４４×１４４にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×７２の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ３で生成された登録用顔画像は、組み合わせＣ２で生成された登録用顔画像よりも、髪の生え際の範囲がより広い。
顔情報登録処理の際、組み合わせＣ３に基づいて、生成部５により、元画像が１４４×１４４にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×７２の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ３で生成された登録用顔画像は、組み合わせＣ２で生成された登録用顔画像よりも、髪の生え際の範囲がより広い。
【0031】
顔範囲・解像度リスト７にある組み合わせＣ４において、切り出す顔範囲７１は、元画像を１６８×１６８にリサイズした画像から切り出した両目と髪の生え際の一部を含む領域である。切り出す顔範囲７１の解像度（画素数）７２は１４４×６０である。
顔情報登録処理の際、組み合わせＣ４に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×６０の解像度７２で切り出されて、登録用顔画像が生成される。
顔情報登録処理の際、組み合わせＣ４に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×６０の解像度７２で切り出されて、登録用顔画像が生成される。
【0032】
顔範囲・解像度リスト７にある組み合わせＣ５において、切り出す顔範囲７１は、元画像を１６８×１６８にリサイズした画像から切り出した両目と髪の生え際の一部を含む領域であり、切り出す顔範囲７１の解像度（画素数）７２は１４４×７２である。
顔情報登録処理の際、組み合わせＣ５に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×７２の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ５で生成された登録用顔画像は、組み合わせＣ４で生成された登録用顔画像よりも、髪の生え際の領域がより広い。また、組み合わせＣ５で生成された登録用顔画像は、組み合わせＣ４で生成された登録用顔画像と顔の幅方向の範囲が同じである。
顔情報登録処理の際、組み合わせＣ５に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×７２の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ５で生成された登録用顔画像は、組み合わせＣ４で生成された登録用顔画像よりも、髪の生え際の領域がより広い。また、組み合わせＣ５で生成された登録用顔画像は、組み合わせＣ４で生成された登録用顔画像と顔の幅方向の範囲が同じである。
【0033】
顔範囲・解像度リスト７にある組み合わせＣ６において、切り出す顔範囲７１は、元画像を１６８×１６８にリサイズした画像から切り出した両目を含む領域であり、切り出す顔範囲７１の解像度（画素数）７２は１６８×４８である。
顔情報登録処理の際、組み合わせＣ６に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目を含む領域が１６８×４８の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ６で生成された登録用顔画像は、髪の生え際の領域が含まれていない。また、組み合わせＣ６で生成された登録用顔画像は、組み合わせＣ４やＣ５で生成された登録用顔画像と比べて、顔の幅方向の範囲が大きい。
顔情報登録処理の際、組み合わせＣ６に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目を含む領域が１６８×４８の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ６で生成された登録用顔画像は、髪の生え際の領域が含まれていない。また、組み合わせＣ６で生成された登録用顔画像は、組み合わせＣ４やＣ５で生成された登録用顔画像と比べて、顔の幅方向の範囲が大きい。
【0034】
顔範囲・解像度リスト７にある組み合わせＣ７において、切り出す顔範囲７１は、元画像を１６８×１６８にリサイズした画像から切り出した両目と髪の生え際の一部を含む領域であり、切り出す顔範囲７１の解像度（画素数）７２は１４４×６０である。
顔情報登録処理の際、組み合わせＣ７に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×６０の解像度７２で切り出されて、登録用顔画像が生成される。
顔情報登録処理の際、組み合わせＣ７に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１４４×６０の解像度７２で切り出されて、登録用顔画像が生成される。
【0035】
顔範囲・解像度リスト７にある組み合わせＣ８において、切り出す顔範囲７１は、元画像を１６８×１６８にリサイズした画像から切り出した両目と髪の生え際の一部を含む領域であり、切り出す顔範囲７１の解像度（画素数）７２は１６８×７２である。
顔情報登録処理の際、組み合わせＣ８に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１６８×７２の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ８で生成された登録用顔画像は、組み合わせＣ７で生成された登録用顔画像よりも、髪の生え際の領域がより広い。また、組み合わせＣ８で生成された登録用顔画像は、組み合わせＣ６及びＣ７で生成された登録用顔画像と顔の幅方向の範囲が同じである。
顔情報登録処理の際、組み合わせＣ８に基づいて、生成部５により、元画像が１６８×１６８にリサイズされた後、顔範囲７１として両目と髪の生え際の一部を含む領域が１６８×７２の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ８で生成された登録用顔画像は、組み合わせＣ７で生成された登録用顔画像よりも、髪の生え際の領域がより広い。また、組み合わせＣ８で生成された登録用顔画像は、組み合わせＣ６及びＣ７で生成された登録用顔画像と顔の幅方向の範囲が同じである。
【0036】
顔範囲・解像度リスト７にある組み合わせＣ９において、切り出す顔範囲７１は、元画像を１９２×１９２にリサイズした画像から切り出した両目を含む領域であり、切り出す顔範囲７１の解像度（画素数）７２は１６８×４８である。
顔情報登録処理の際、組み合わせＣ９に基づいて、生成部５により、元画像が１９２×１９２にリサイズされた後、顔範囲７１として両目を含む領域が１６８×４８の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ９で生成された登録用顔画像には、髪の生え際の領域が含まれていない。
顔情報登録処理の際、組み合わせＣ９に基づいて、生成部５により、元画像が１９２×１９２にリサイズされた後、顔範囲７１として両目を含む領域が１６８×４８の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ９で生成された登録用顔画像には、髪の生え際の領域が含まれていない。
【0037】
顔範囲・解像度リスト７にある組み合わせＣ１０において、切り出す顔範囲７１は、元画像を１９２×１９２にリサイズした画像から切り出した両目と髪の生え際のごく一部を含む領域であり、切り出す顔範囲７１の解像度（画素数）７２は１６８×６０である。
顔情報登録処理の際、組み合わせＣ１０に基づいて、生成部５により、元画像が１９２×１９２にリサイズされた後、顔範囲７１として両目と髪の生え際のごく一部を含む領域が１６８×６０の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ１０で生成された登録用顔画像は、組み合わせＣ９で生成された登録用顔画像と比較して、顔の幅方向の範囲は同じであり、幅方向と直交する高さ方向の範囲が広い。
顔情報登録処理の際、組み合わせＣ１０に基づいて、生成部５により、元画像が１９２×１９２にリサイズされた後、顔範囲７１として両目と髪の生え際のごく一部を含む領域が１６８×６０の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ１０で生成された登録用顔画像は、組み合わせＣ９で生成された登録用顔画像と比較して、顔の幅方向の範囲は同じであり、幅方向と直交する高さ方向の範囲が広い。
【0038】
顔範囲・解像度リスト７にある組み合わせＣ１１において、切り出す顔範囲７１は、元画像を１９２×１９２にリサイズした画像から切り出した両目を含む領域であり、切り出す顔範囲７１の解像度（画素数）７２は１９２×４８である。
顔情報登録処理の際、組み合わせＣ１１に基づいて、生成部５により、元画像が１９２×１９２にリサイズされた後、顔範囲７１として両目を含む領域が１９２×４８の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ１１で生成された登録用顔画像は、組み合わせＣ９で生成された登録用顔画像と比較して、顔の幅方向の範囲が広く、高さ方向の範囲は同じである。
顔情報登録処理の際、組み合わせＣ１１に基づいて、生成部５により、元画像が１９２×１９２にリサイズされた後、顔範囲７１として両目を含む領域が１９２×４８の解像度７２で切り出されて、登録用顔画像が生成される。組み合わせＣ１１で生成された登録用顔画像は、組み合わせＣ９で生成された登録用顔画像と比較して、顔の幅方向の範囲が広く、高さ方向の範囲は同じである。
【0039】
（顔情報の登録に係る情報処理方法）
図３を用いて情報処理装置１０を用いた顔情報の登録に係る情報処理方法について説明する。
図３に示すように、画像取得部２により登録用の入力顔画像が取得される（ステップ１（以下、ステップをＳと略す））。
次に、顔検出部３により、登録用の入力顔画像から顔領域が検出される（Ｓ２）。
次に、顔パーツ検出部４により、検出された顔領域における複数の顔パーツ点が検出される（Ｓ３）。
次に、上述で図２を用いて説明したように、生成部５により、予め用意された顔範囲・解像度リスト７に挙げられている、互いに異なる複数の、顔範囲と解像度との組み合わせに基づいて、それぞれの組み合わせ毎に複数の登録用顔画像が生成される（Ｓ４）。
次に、顔特徴量抽出部６により、生成された登録用顔画像それぞれから特徴量が抽出される（Ｓ５）。
次に、登録用顔画像毎に抽出された特徴量は、対応する登録用顔画像と、当該登録用顔画像を生成する際に用いられた顔範囲、解像度の情報と、登録用の入力顔画像に紐づけられて、登録顔特徴量ＤＢ９に格納される。このように人物の顔情報の登録が行われる。
図３を用いて情報処理装置１０を用いた顔情報の登録に係る情報処理方法について説明する。
図３に示すように、画像取得部２により登録用の入力顔画像が取得される（ステップ１（以下、ステップをＳと略す））。
次に、顔検出部３により、登録用の入力顔画像から顔領域が検出される（Ｓ２）。
次に、顔パーツ検出部４により、検出された顔領域における複数の顔パーツ点が検出される（Ｓ３）。
次に、上述で図２を用いて説明したように、生成部５により、予め用意された顔範囲・解像度リスト７に挙げられている、互いに異なる複数の、顔範囲と解像度との組み合わせに基づいて、それぞれの組み合わせ毎に複数の登録用顔画像が生成される（Ｓ４）。
次に、顔特徴量抽出部６により、生成された登録用顔画像それぞれから特徴量が抽出される（Ｓ５）。
次に、登録用顔画像毎に抽出された特徴量は、対応する登録用顔画像と、当該登録用顔画像を生成する際に用いられた顔範囲、解像度の情報と、登録用の入力顔画像に紐づけられて、登録顔特徴量ＤＢ９に格納される。このように人物の顔情報の登録が行われる。
【0040】
［顔認証について］
（情報処理装置の構成）
図４を用いて顔認証で用いる情報処理装置１について説明する。上述の情報処理装置１と同様の機能を有する構成については同様の符号を付し、説明を省略する場合がある。
図４に示すように、情報処理装置１は、画像取得部２と、顔検出部３と、顔パーツ検出部４４と、生成部５と、顔特徴量抽出部６と、顔範囲・解像度リスト７と、顔特徴量抽出器８と、登録顔特徴量ＤＢ９と、遮蔽領域検出部１１と、決定部１２と、顔類似度計算部１３と、判定部１４と、遮蔽領域検出器１５と、記憶部１６を有する。
（情報処理装置の構成）
図４を用いて顔認証で用いる情報処理装置１について説明する。上述の情報処理装置１と同様の機能を有する構成については同様の符号を付し、説明を省略する場合がある。
図４に示すように、情報処理装置１は、画像取得部２と、顔検出部３と、顔パーツ検出部４４と、生成部５と、顔特徴量抽出部６と、顔範囲・解像度リスト７と、顔特徴量抽出器８と、登録顔特徴量ＤＢ９と、遮蔽領域検出部１１と、決定部１２と、顔類似度計算部１３と、判定部１４と、遮蔽領域検出器１５と、記憶部１６を有する。
【0041】
画像取得部２は、図示しないカメラ等で撮像された認証対象の人物の顔画像（認証用の入力顔画像という。）を取得する。
顔検出部３は、画像取得部２で取得された認証用の入力顔画像から顔部分を検出する。
顔パーツ検出部４４は、顔検出部３で検出された顔部分から複数の顔パーツ点を検出するとともに当該顔パーツ点毎の信頼度を算出する。
生成部５は、後述する決定部１２で決定された、顔範囲と解像度との組み合わせに基づいて、認証用顔画像を生成する。詳細については後述する。
顔特徴量抽出部６は、生成部５で生成された認証用顔画像における顔特徴量を、顔特徴量抽出器８を用いて抽出する。
顔範囲・解像度リスト７は、上述で説明した通りである。
登録顔特徴量ＤＢ９は、上述した顔情報の登録に係る情報処理によって生成された、登録用顔画像の特徴量といった登録人物の顔情報を、予め格納している。
顔検出部３は、画像取得部２で取得された認証用の入力顔画像から顔部分を検出する。
顔パーツ検出部４４は、顔検出部３で検出された顔部分から複数の顔パーツ点を検出するとともに当該顔パーツ点毎の信頼度を算出する。
生成部５は、後述する決定部１２で決定された、顔範囲と解像度との組み合わせに基づいて、認証用顔画像を生成する。詳細については後述する。
顔特徴量抽出部６は、生成部５で生成された認証用顔画像における顔特徴量を、顔特徴量抽出器８を用いて抽出する。
顔範囲・解像度リスト７は、上述で説明した通りである。
登録顔特徴量ＤＢ９は、上述した顔情報の登録に係る情報処理によって生成された、登録用顔画像の特徴量といった登録人物の顔情報を、予め格納している。
【0042】
遮蔽領域検出部１１は、顔パーツ検出部４４で検出された複数の顔パーツ点及び算出された顔パーツ点毎の信頼度に基づいて、遮蔽領域検出器１５を用いて遮蔽領域を検出する。
遮蔽領域とは、マスク、帽子、サングラス等の遮蔽物や、影や手等によって、顔の一部が隠れる領域をいう。
遮蔽領域検出部１１は、検出された複数の顔パーツ点及び当該顔パーツ点毎の信頼度に基づいて、遮蔽領域検出器１５を用いて、閾値処理を行い、遮蔽領域に係る遮蔽パーツ点を検出する。信頼度が閾値以上の顔パーツ点を非遮蔽パーツ点とする。閾値未満の顔パーツ点を遮蔽パーツ点とする。非遮蔽パーツ点は、遮蔽物が重畳されていない顔パーツ点とみなされた点である。例えば、遮蔽物としてマスク１７を着用した認証対象の人物４０Ａの画像を示す図５において、実線又は破線で示す複数の小円は顔パーツ検出部４４で検出された顔パーツ点３６である。複数の顔パーツ点３６において、実線の小円は算出された信頼度が閾値以上の顔パーツ点である非遮蔽パーツ点３６Ａを示し、破線の小円は算出された信頼度が閾値未満の顔パーツ点である遮蔽パーツ点３６Ｂを示す。非遮蔽パーツ点３６Ａ、遮蔽パーツ点３６Ｂというように特に区別しない場合、顔パーツ点３６という。
遮蔽領域とは、マスク、帽子、サングラス等の遮蔽物や、影や手等によって、顔の一部が隠れる領域をいう。
遮蔽領域検出部１１は、検出された複数の顔パーツ点及び当該顔パーツ点毎の信頼度に基づいて、遮蔽領域検出器１５を用いて、閾値処理を行い、遮蔽領域に係る遮蔽パーツ点を検出する。信頼度が閾値以上の顔パーツ点を非遮蔽パーツ点とする。閾値未満の顔パーツ点を遮蔽パーツ点とする。非遮蔽パーツ点は、遮蔽物が重畳されていない顔パーツ点とみなされた点である。例えば、遮蔽物としてマスク１７を着用した認証対象の人物４０Ａの画像を示す図５において、実線又は破線で示す複数の小円は顔パーツ検出部４４で検出された顔パーツ点３６である。複数の顔パーツ点３６において、実線の小円は算出された信頼度が閾値以上の顔パーツ点である非遮蔽パーツ点３６Ａを示し、破線の小円は算出された信頼度が閾値未満の顔パーツ点である遮蔽パーツ点３６Ｂを示す。非遮蔽パーツ点３６Ａ、遮蔽パーツ点３６Ｂというように特に区別しない場合、顔パーツ点３６という。
【0043】
決定部１２は、遮蔽領域検出部１１で検出された遮蔽パーツ点の情報に基づいて、顔範囲・解像度リスト７に挙げられている、複数の顔範囲と解像度の組み合わせの中から、認証用顔画像を生成するために用いる組み合わせを決定する。
決定部１２は、検出された遮蔽パーツ点と重複しない最も評価値の高い組み合わせを、認証用顔画像を生成するための組み合わせとして、決定する。
より具体的には、決定部１２は、顔範囲・解像度リスト７から、最も高い評価値に対応づけられている組み合わせの顔範囲を１つ選択する。決定部１２は、選択した顔範囲と、検出された遮蔽パーツ点が重複するか否かを判定する。
重複しない場合、決定部１２は、当該顔範囲を含む組み合わせを、認証用顔画像を生成するための組み合わせとして採用することを決定する。
重複する場合、決定部１２は、顔範囲・解像度リスト７から、次に高い評価値に対応づけられている組み合わせの顔範囲を１つ選択する。決定部１２は、選択した顔範囲と、遮蔽パーツ点が重複するか否かを判定する。
このように、選択した顔範囲と遮蔽パーツ点が重複しないという結果となるまで、顔範囲・解像度リスト７に挙げられている顔範囲を、評価値の高い順から順に検証していく。このようにして、決定部１２は、検出された遮蔽パーツ点と重複しない最も評価値の高い組み合わせを選出する。
上述したように、決定部１２で決定された組み合わせで、生成部５により認証用顔画像が生成される。
決定部１２は、検出された遮蔽パーツ点と重複しない最も評価値の高い組み合わせを、認証用顔画像を生成するための組み合わせとして、決定する。
より具体的には、決定部１２は、顔範囲・解像度リスト７から、最も高い評価値に対応づけられている組み合わせの顔範囲を１つ選択する。決定部１２は、選択した顔範囲と、検出された遮蔽パーツ点が重複するか否かを判定する。
重複しない場合、決定部１２は、当該顔範囲を含む組み合わせを、認証用顔画像を生成するための組み合わせとして採用することを決定する。
重複する場合、決定部１２は、顔範囲・解像度リスト７から、次に高い評価値に対応づけられている組み合わせの顔範囲を１つ選択する。決定部１２は、選択した顔範囲と、遮蔽パーツ点が重複するか否かを判定する。
このように、選択した顔範囲と遮蔽パーツ点が重複しないという結果となるまで、顔範囲・解像度リスト７に挙げられている顔範囲を、評価値の高い順から順に検証していく。このようにして、決定部１２は、検出された遮蔽パーツ点と重複しない最も評価値の高い組み合わせを選出する。
上述したように、決定部１２で決定された組み合わせで、生成部５により認証用顔画像が生成される。
【0044】
類似度計算部としての顔類似度計算部１３は、顔特徴量抽出部６により抽出された認証用顔画像の特徴量と、登録顔特徴量ＤＢ９に格納されている登録用顔画像の特徴量とを用いて、認証用顔画像と登録用顔画像との類似度を計算する。
【0045】
判定部１４は、顔類似度計算部１３で計算された類似度に基づいて、認証用顔画像に映し出されている認証対象の人物が、予め顔情報を登録している人物であるか否かを判定する。具体例として、類似度が、予め決められた所定の値以上の場合、認証対象の人物が予め登録されている人物であると判定する。一方、類似度が、所定の値未満の場合、認証対象の人物は登録されていない人物であると判定する。
【0046】
記憶部１６は、ＲＡＭ等のメモリデバイスやディスクデバイス等であり、顔認証の実行に係るプログラムを格納する。
当該プログラムは、認証用の入力顔画像における顔の遮蔽領域に基づいて、認証用の入力顔画像から切り出す顔範囲と解像度を決定するステップと、決定された切り出す顔範囲と解像度で認証用顔画像を生成するステップを情報処理装置１に実行させる。
当該プログラムは、認証用の入力顔画像における顔の遮蔽領域に基づいて、認証用の入力顔画像から切り出す顔範囲と解像度を決定するステップと、決定された切り出す顔範囲と解像度で認証用顔画像を生成するステップを情報処理装置１に実行させる。
【0047】
（顔認証に係る情報処理方法）
情報処理装置１を用いた顔認証に係る情報処理方法について説明する。図６は顔認証の流れを説明する模式図である。図７は情報処理装置１における顔認証の処理フロー図である。図８は、図７の処理フロー中のステップ１３における詳細なフローであり、認証用顔画像の生成に用いる顔範囲と解像度の組み合わせの決定処理のフロー図である。以下、図７及び８のフロー図に従って、必要に応じて図６を用いて説明する。
情報処理装置１を用いた顔認証に係る情報処理方法について説明する。図６は顔認証の流れを説明する模式図である。図７は情報処理装置１における顔認証の処理フロー図である。図８は、図７の処理フロー中のステップ１３における詳細なフローであり、認証用顔画像の生成に用いる顔範囲と解像度の組み合わせの決定処理のフロー図である。以下、図７及び８のフロー図に従って、必要に応じて図６を用いて説明する。
【0048】
画像取得部２により認証用の入力顔画像が取得される（Ｓ１１）。ここでは、図６に示すように、マスク１７を着用した認証対象の人物４０Ａの画像が、認証用の入力顔画像３１Ａとして取得されたとする。
次に、顔検出部３により、認証用の入力顔画像から顔領域が検出される（Ｓ１２）。
次に、顔検出部３により、認証用の入力顔画像から顔領域が検出される（Ｓ１２）。
【0049】
次に、決定部１２により、認証用顔画像を生成するために採用する顔範囲と解像度の組み合わせが決定される（Ｓ１３）。ステップ１３での処理の詳細について説明する。
図８に示すように、顔パーツ検出部４４により、検出された顔領域における複数の顔パーツ点が検出され、更に、複数の顔パーツ点毎の信頼度が算出される（Ｓ１３１）。
次に、遮蔽領域検出部１１により、検出された複数の顔パーツ点及び当該顔パーツ点毎に算出された信頼度に基づいて、閾値処理が行われ、遮蔽パーツ点が検出される（Ｓ１３２）。例えば、図６に示すように、破線の小円で示される遮蔽パーツ点３６Ｂが検出される。
次に、決定部１２により、顔範囲・解像度リスト７から、最も高い評価値に対応づけられている組み合わせの顔範囲が１つ選択される（Ｓ１３３）。
次に、決定部１２により、選択された顔範囲と検出された遮蔽パーツ点が重複するか否かが判定される（Ｓ１３４）。
ステップ１３４で重複しないと判定された場合（ＮＯ）、決定部１２により、選択した顔範囲を含む組み合わせが、認証用顔画像を生成するために用いる組み合わせとして、決定される（Ｓ１３５）。
ステップ１３４で重複すると判定された場合（ＹＥＳ）、ステップ１３３に戻り処理が繰り返される。ステップ１３３では、決定部１２により、顔範囲・解像度リスト７から、次に高い評価値に対応づけられている組み合わせの顔範囲が１つ選択される。ステップ１３４では、決定部１２により、選択された顔範囲と、遮蔽パーツ点が重複するか否かが決定される。
このように、選択した顔範囲と遮蔽パーツ点が重複しないという結果となるまで、決定部１２により、顔範囲・解像度リスト７に挙げられている顔範囲が、評価値の高い順から順に検証されていく。これにより、複数の組み合わせの中から、検出された遮蔽パーツ点と重複しない、最も評価値の高い組み合わせが、選出される。
図８に示すように、顔パーツ検出部４４により、検出された顔領域における複数の顔パーツ点が検出され、更に、複数の顔パーツ点毎の信頼度が算出される（Ｓ１３１）。
次に、遮蔽領域検出部１１により、検出された複数の顔パーツ点及び当該顔パーツ点毎に算出された信頼度に基づいて、閾値処理が行われ、遮蔽パーツ点が検出される（Ｓ１３２）。例えば、図６に示すように、破線の小円で示される遮蔽パーツ点３６Ｂが検出される。
次に、決定部１２により、顔範囲・解像度リスト７から、最も高い評価値に対応づけられている組み合わせの顔範囲が１つ選択される（Ｓ１３３）。
次に、決定部１２により、選択された顔範囲と検出された遮蔽パーツ点が重複するか否かが判定される（Ｓ１３４）。
ステップ１３４で重複しないと判定された場合（ＮＯ）、決定部１２により、選択した顔範囲を含む組み合わせが、認証用顔画像を生成するために用いる組み合わせとして、決定される（Ｓ１３５）。
ステップ１３４で重複すると判定された場合（ＹＥＳ）、ステップ１３３に戻り処理が繰り返される。ステップ１３３では、決定部１２により、顔範囲・解像度リスト７から、次に高い評価値に対応づけられている組み合わせの顔範囲が１つ選択される。ステップ１３４では、決定部１２により、選択された顔範囲と、遮蔽パーツ点が重複するか否かが決定される。
このように、選択した顔範囲と遮蔽パーツ点が重複しないという結果となるまで、決定部１２により、顔範囲・解像度リスト７に挙げられている顔範囲が、評価値の高い順から順に検証されていく。これにより、複数の組み合わせの中から、検出された遮蔽パーツ点と重複しない、最も評価値の高い組み合わせが、選出される。
【0050】
図７に戻る。次に、生成部５により、決定部１２で決定された顔範囲と解像度との組み合わせに基づいて認証用顔画像が生成される（Ｓ１４）。
次に、顔特徴量抽出部６により、生成された認証用顔画像それぞれから特徴量が抽出される（Ｓ１５）。
次に、顔類似度計算部１３により、抽出された認証用顔画像の特徴量と、登録顔特徴量ＤＢ９に予め格納されている登録用顔画像の特徴量とを用いて、認証用顔画像と登録用顔画像との類似度が計算される（Ｓ１６）。比較される登録用顔画像は、認証用顔画像を生成する際に用いた顔範囲と解像度の組み合わせと同じ組み合わせで生成された画像である。
次に、判定部１４により、計算された類似度に基づいて、顔認証が行われ、認証対象の人物が登録されている人物であるか否かが判定される（Ｓ１７）。
次に、顔特徴量抽出部６により、生成された認証用顔画像それぞれから特徴量が抽出される（Ｓ１５）。
次に、顔類似度計算部１３により、抽出された認証用顔画像の特徴量と、登録顔特徴量ＤＢ９に予め格納されている登録用顔画像の特徴量とを用いて、認証用顔画像と登録用顔画像との類似度が計算される（Ｓ１６）。比較される登録用顔画像は、認証用顔画像を生成する際に用いた顔範囲と解像度の組み合わせと同じ組み合わせで生成された画像である。
次に、判定部１４により、計算された類似度に基づいて、顔認証が行われ、認証対象の人物が登録されている人物であるか否かが判定される（Ｓ１７）。
【0051】
本実施形態では、実用上、使用できる計算リソースが決まっているため、顔に遮蔽領域がない場合、顔認証的に最も有効な目、鼻、口の顔パーツ点がなるべく高解像度になるように切り出した認証用顔画像を生成することができる。
一方、図１４に示す例のようにマスク１７による遮蔽領域がある場合では、目や眉毛の顔パーツ点に加えて、通常の顔認証時ではあまり用いられない髪の生え際の顔パーツ点が認証用顔画像に含まれるように切り出す顔範囲を拡張することができる。そして、この顔範囲の中で計算リソースが許す限り大きな解像度で認証用顔画像を生成することができる。
また、図１５に示す例のようにマスク１７及び帽子１８による遮蔽領域がある場合では、目や眉毛といった目領域周辺を切り出す顔範囲とし、この顔範囲の中で計算リソースが許す限り大きな解像度で認証用顔画像を生成することができる。
このように、本実施形態では、遮蔽領域の情報に基づいて、より適した顔範囲と解像度で認証用顔画像が生成される。すなわち、認証対象の顔画像に遮蔽領域があっても、非遮蔽領域における顔情報と限られた計算リソースの中で、顔認証に最も適した顔範囲と解像度で認証用顔画像が生成される。これにより、遮蔽領域がない場合の顔画像での顔認証はもちろんのこと、遮蔽領域がある顔画像での顔認証においても、認証精度を向上させることができる。
一方、図１４に示す例のようにマスク１７による遮蔽領域がある場合では、目や眉毛の顔パーツ点に加えて、通常の顔認証時ではあまり用いられない髪の生え際の顔パーツ点が認証用顔画像に含まれるように切り出す顔範囲を拡張することができる。そして、この顔範囲の中で計算リソースが許す限り大きな解像度で認証用顔画像を生成することができる。
また、図１５に示す例のようにマスク１７及び帽子１８による遮蔽領域がある場合では、目や眉毛といった目領域周辺を切り出す顔範囲とし、この顔範囲の中で計算リソースが許す限り大きな解像度で認証用顔画像を生成することができる。
このように、本実施形態では、遮蔽領域の情報に基づいて、より適した顔範囲と解像度で認証用顔画像が生成される。すなわち、認証対象の顔画像に遮蔽領域があっても、非遮蔽領域における顔情報と限られた計算リソースの中で、顔認証に最も適した顔範囲と解像度で認証用顔画像が生成される。これにより、遮蔽領域がない場合の顔画像での顔認証はもちろんのこと、遮蔽領域がある顔画像での顔認証においても、認証精度を向上させることができる。
【0052】
ここで、遮蔽領域の大きさに係らず、顔画像に単純に遮蔽領域を除外する処理をして顔認証を行う場合では、遮蔽領域が大きくなっていくと顔から取得できる情報が減り、認証精度が下がってしまう。
これに対し、本実施形態では、上述の通り、遮蔽領域の情報に基づいて、より適した顔範囲及び解像度で生成された認証用顔画像を用いて顔認証が行なわれるので、認証精度を向上させることができる。
これに対し、本実施形態では、上述の通り、遮蔽領域の情報に基づいて、より適した顔範囲及び解像度で生成された認証用顔画像を用いて顔認証が行なわれるので、認証精度を向上させることができる。
【0053】
＜第２の実施形態＞
上述の第１の実施形態においては、認証用顔画像生成に採用する切り出す顔範囲と解像度を、検出された顔パーツ点及び当該顔パーツ点の信頼度を用いて決定したが、これに限定されない。例えば、顔識別においての有効性の度合いを示すスコア付き顔画像を用いて決定してもよい。以下、第２の実施形態として説明する。
第２の実施形態においても、第１の実施形態と同様に、登録用顔画像に係る情報が予め用意されている。そして、登録用顔画像に係る情報と認証用顔画像に係る情報とを比較して、顔認証が行われる。顔情報の登録は、第１の実施形態と同様のため説明を省略する。本実施形態では、スコア付き顔画像を用いた顔認証について主に説明する。第１の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。
上述の第１の実施形態においては、認証用顔画像生成に採用する切り出す顔範囲と解像度を、検出された顔パーツ点及び当該顔パーツ点の信頼度を用いて決定したが、これに限定されない。例えば、顔識別においての有効性の度合いを示すスコア付き顔画像を用いて決定してもよい。以下、第２の実施形態として説明する。
第２の実施形態においても、第１の実施形態と同様に、登録用顔画像に係る情報が予め用意されている。そして、登録用顔画像に係る情報と認証用顔画像に係る情報とを比較して、顔認証が行われる。顔情報の登録は、第１の実施形態と同様のため説明を省略する。本実施形態では、スコア付き顔画像を用いた顔認証について主に説明する。第１の実施形態と同様の構成については同様の符号を付し、説明を省略する場合がある。
【0054】
（情報処理装置の構成）
図１０を用いて顔認証に用いる情報処理装置１００について説明する。
図１０に示すように、情報処理装置１００は、画像取得部２と、顔検出部３と、スコア付き顔画像生成部１０４と、生成部５と、顔特徴量抽出部６と、顔範囲・解像度リスト７と、顔特徴量抽出器８と、登録顔特徴量ＤＢ９と、遮蔽領域検出部１１１と、決定部１１２と、顔類似度計算部１３と、判定部１４と、遮蔽領域検出器１１５と、記憶部１１６を有する。
図１０を用いて顔認証に用いる情報処理装置１００について説明する。
図１０に示すように、情報処理装置１００は、画像取得部２と、顔検出部３と、スコア付き顔画像生成部１０４と、生成部５と、顔特徴量抽出部６と、顔範囲・解像度リスト７と、顔特徴量抽出器８と、登録顔特徴量ＤＢ９と、遮蔽領域検出部１１１と、決定部１１２と、顔類似度計算部１３と、判定部１４と、遮蔽領域検出器１１５と、記憶部１１６を有する。
【0055】
画像取得部２は、図示しないカメラ等で撮像された認証対象の人物の顔画像（以下、認証用の入力顔画像という。）を取得する。
顔検出部３は、画像取得部２で取得された認証用の入力顔画像から顔部分を検出する。
顔検出部３は、画像取得部２で取得された認証用の入力顔画像から顔部分を検出する。
【0056】
スコア付き顔画像生成部１０４は、検出された顔部分におけるスコア付き顔画像を生成する。スコア付き顔画像は、顔識別においての有効性の度合いが例えば色分けされた画像である。スコア付き顔画像の生成には、例えばＡＢＮ（Attention Branch Network）を用いることができる。ＡＢＮは、画像認識においてＣＮＮ（Convolutional Neural Network）が着目している領域を示す特徴マップを可視化しつつ、識別に利用する手法である。スコア付き顔画像生成部１０４で生成されるスコア付き顔画像は、他人と見分けやすい特徴的な部位のマップといえる。
【0057】
図１３（Ａ）～（Ｆ）にスコア付き顔画像例を示す。図１３（Ａ）～（Ｆ）の各図において、左側は顔部分の画像１３１であり、右側は当該顔部分の画像１３１を用いてスコア付き顔画像生成部１０４により生成されたスコア付き顔画像１３２を示す。図１３では、スコア付き顔画像において、顔識別における有効性の度合いを示す色の違いをドットの密度の違いで表現している。ドットが密な領域ほど顔識別に有効な領域であることを示す。
図１３（Ａ）及び（Ｂ）はいずれも顔を遮蔽する遮蔽物のない人物の顔画像例である。両図におけるスコア付き顔画像１３２は、髪の生え際が、顔識別に有効な領域であることを示している。更に、図１３（Ｂ）におけるスコア付き顔画像１３２では、眉毛も顔識別に有効な領域であることを示している。
図１３（Ｃ）は眼鏡をかけた人物の顔画像である。この図は、例えば、髪の生え際が、顔識別に有効な領域であることを示している。
図１３（Ｄ）は、遮蔽物である帽子を着用している人物の顔画像例である。この図におけるスコア付き顔画像１３２は、帽子により遮蔽されていない髪の生え際が、顔識別に有効な領域であることを示している。
図１３（Ｅ）は、遮蔽物であるサングラスを着用している人物の顔画像例である。この図におけるスコア付き顔画像１３２は、髪の生え際や眉毛が、顔識別に有効な領域であることを示している。
図１３（Ｆ）は、遮蔽物であるマスクを着用している人物の顔画像例である。この図におけるスコア付き顔画像１３２は、髪の生え際や眉毛が、顔識別に有効な領域であることを示している。
このように、スコア付き顔画像生成部１０４では、顔識別に有効な特徴的な部位が強調されるマップが生成される。遮蔽物がある場合は、この遮蔽物が存在する領域を避け、残りの領域から、顔識別に有効なより特徴的な部位が強調されるマップが生成される。尚、マップとはスコア付き顔画像を指す。
図１３（Ａ）及び（Ｂ）はいずれも顔を遮蔽する遮蔽物のない人物の顔画像例である。両図におけるスコア付き顔画像１３２は、髪の生え際が、顔識別に有効な領域であることを示している。更に、図１３（Ｂ）におけるスコア付き顔画像１３２では、眉毛も顔識別に有効な領域であることを示している。
図１３（Ｃ）は眼鏡をかけた人物の顔画像である。この図は、例えば、髪の生え際が、顔識別に有効な領域であることを示している。
図１３（Ｄ）は、遮蔽物である帽子を着用している人物の顔画像例である。この図におけるスコア付き顔画像１３２は、帽子により遮蔽されていない髪の生え際が、顔識別に有効な領域であることを示している。
図１３（Ｅ）は、遮蔽物であるサングラスを着用している人物の顔画像例である。この図におけるスコア付き顔画像１３２は、髪の生え際や眉毛が、顔識別に有効な領域であることを示している。
図１３（Ｆ）は、遮蔽物であるマスクを着用している人物の顔画像例である。この図におけるスコア付き顔画像１３２は、髪の生え際や眉毛が、顔識別に有効な領域であることを示している。
このように、スコア付き顔画像生成部１０４では、顔識別に有効な特徴的な部位が強調されるマップが生成される。遮蔽物がある場合は、この遮蔽物が存在する領域を避け、残りの領域から、顔識別に有効なより特徴的な部位が強調されるマップが生成される。尚、マップとはスコア付き顔画像を指す。
【0058】
生成部５は、後述する決定部１１２で決定された、顔範囲と解像度との組み合わせに基づいて、認証用顔画像を生成する。詳細については後述する。
顔特徴量抽出部６は、生成部５で生成された認証用顔画像における顔特徴量を、顔特徴量抽出器８を用いて抽出する。
顔範囲・解像度リスト７は、上述で説明した通りである。
登録顔特徴量ＤＢ９は、上述の第１の実施形態で説明した登録時に係る情報処理によって生成された、登録用顔画像の特徴量といった登録人物に係る顔情報を、予め格納している。
顔特徴量抽出部６は、生成部５で生成された認証用顔画像における顔特徴量を、顔特徴量抽出器８を用いて抽出する。
顔範囲・解像度リスト７は、上述で説明した通りである。
登録顔特徴量ＤＢ９は、上述の第１の実施形態で説明した登録時に係る情報処理によって生成された、登録用顔画像の特徴量といった登録人物に係る顔情報を、予め格納している。
【0059】
遮蔽領域検出部１１１は、スコア付き顔画像生成部１０４で生成されたスコア付き顔画像に基づいて、遮蔽領域検出器１１５を用いて遮蔽領域を検出する。具体的には、スコア付き顔画像を構成する画素情報を基に、画素単位で閾値処理を行い、遮蔽領域に係る遮蔽画素を検出する。スコアが閾値以上の画素を遮蔽画素とする。例えば近接した複数の遮蔽画素の集まりが遮蔽領域を構成する。閾値未満の画素を非遮蔽画素とする。近接した複数の非遮蔽画素の集まりからなる領域は、遮蔽物が重畳されていない非遮蔽領域である。図１３（Ｆ）を例にあげると、遮蔽物としてマスク１７を着用した認証対象の人物のスコア付き顔画像１３２において、ドットが粗な領域が遮蔽領域である。尚、ドットが粗な領域は、ドットが存在しない領域を含むものとする。
【0060】
決定部１１２は、遮蔽領域検出部１１１で検出された遮蔽領域に係る遮蔽画素に基づいて、顔範囲・解像度リスト７に挙げられている、複数の顔範囲と解像度の組み合わせの中から、認証用顔画像を生成するために用いる組み合わせを決定する。
決定部１１２は、検出された遮蔽画素と重複しない最も評価値の高い組み合わせを、認証用顔画像を生成するための組み合わせとして、決定する。
より具体的には、決定部１１２は、顔範囲・解像度リスト７から、最も高い評価値に対応づけられている組み合わせの顔範囲を１つ選択する。決定部１１２は、選択した顔範囲と、検出された遮蔽画素が重複するか否かを判定する。
重複しない場合、決定部１１２は、当該顔範囲を含む組み合わせを、認証用顔画像を生成するために用いる組み合わせとして採用することを決定する。
重複する場合、決定部１１２は、顔範囲・解像度リスト７から、次に高い評価値に対応づけられている組み合わせの顔範囲を１つ選択する。決定部１１２は、選択した顔範囲と、遮蔽画素が重複するか否かを判定する。
このように、選択した顔範囲と遮蔽画素が重複しないという結果となるまで、顔範囲・解像度リスト７に挙げられている組み合わせの顔範囲を、評価値の高い順から順に検証していく。このようにして、決定部１１２は、検出された遮蔽画素と重複しない最も評価値の高い組み合わせを選出する。
上述したように、決定部１１２で決定された組み合わせで、生成部５により認証用顔画像が生成される。
決定部１１２は、検出された遮蔽画素と重複しない最も評価値の高い組み合わせを、認証用顔画像を生成するための組み合わせとして、決定する。
より具体的には、決定部１１２は、顔範囲・解像度リスト７から、最も高い評価値に対応づけられている組み合わせの顔範囲を１つ選択する。決定部１１２は、選択した顔範囲と、検出された遮蔽画素が重複するか否かを判定する。
重複しない場合、決定部１１２は、当該顔範囲を含む組み合わせを、認証用顔画像を生成するために用いる組み合わせとして採用することを決定する。
重複する場合、決定部１１２は、顔範囲・解像度リスト７から、次に高い評価値に対応づけられている組み合わせの顔範囲を１つ選択する。決定部１１２は、選択した顔範囲と、遮蔽画素が重複するか否かを判定する。
このように、選択した顔範囲と遮蔽画素が重複しないという結果となるまで、顔範囲・解像度リスト７に挙げられている組み合わせの顔範囲を、評価値の高い順から順に検証していく。このようにして、決定部１１２は、検出された遮蔽画素と重複しない最も評価値の高い組み合わせを選出する。
上述したように、決定部１１２で決定された組み合わせで、生成部５により認証用顔画像が生成される。
【0061】
顔類似度計算部１３は、生成部５で生成された認証用顔画像から顔特徴量抽出部６により抽出された顔特徴量と、登録顔特徴量ＤＢ９に格納されている登録顔特徴量情報とを用いて、認証用顔画像と登録用顔画像との類似度を計算する。
【0062】
判定部１４は、顔類似度計算部１３で計算された類似度に基づいて、認証用顔画像に映し出されている認証対象の人物が、予め顔画像を登録している人物であるか否かを判定する。具体例として、類似度が、予め決められた所定の値以上の場合、認証対象の人物が予め登録されている人物であると判定する。一方、類似度が、所定の値未満の場合、認証対象の人物は登録されていない人物であると判定する。
【0063】
記憶部１１６は、ＲＡＭ等のメモリデバイスやディスクデバイス等であり、顔認証の実行に係るプログラムを格納する。当該プログラムは、認証用の入力顔画像における顔の遮蔽領域に基づいて、認証用の入力顔画像から切り出す顔範囲と解像度を決定するステップと、決定された切り出す顔範囲と解像度で認証用顔画像を生成するステップを情報処理装置１００に実行させる。
【0064】
（顔認証に係る情報処理方法）
情報処理装置１００を用いた顔認証に係る情報処理方法について説明する。図１１は情報処理装置１００における顔認証の処理フロー図である。図１２は、図１１の処理フロー中のステップ２３の詳細なフローであり、顔範囲と解像度の組み合わせの決定処理のフロー図である。以下、図１１及び１２のフロー図に従って説明する。
情報処理装置１００を用いた顔認証に係る情報処理方法について説明する。図１１は情報処理装置１００における顔認証の処理フロー図である。図１２は、図１１の処理フロー中のステップ２３の詳細なフローであり、顔範囲と解像度の組み合わせの決定処理のフロー図である。以下、図１１及び１２のフロー図に従って説明する。
【0065】
画像取得部２により認証用の入力顔画像が取得される（Ｓ２１）。
次に、顔検出部３により、認証用の入力顔画像から顔領域が検出される（Ｓ２２）。
次に、顔検出部３により、認証用の入力顔画像から顔領域が検出される（Ｓ２２）。
【0066】
次に、決定部１１２により、認証用顔画像を生成するために採用する顔範囲と解像度の組み合わせが決定される（Ｓ２３）。ステップ２３での処理の詳細について説明する。
図１２に示すように、スコア付き顔画像生成部１０４により、スコア付き顔画像が生成される（Ｓ２３１）。
次に、遮蔽領域検出部１１１により、スコア付き顔画像に基づいて、閾値処理が行われ、遮蔽画素が検出される（Ｓ２３２）。
次に、決定部１１２により、顔範囲・解像度リスト７から、最も高い評価値に対応づけられている組み合わせの顔範囲が１つ選択される（Ｓ２３３）。
次に、決定部１１２により、選択された顔範囲と検出された遮蔽画素が重複するか否かが判定される（Ｓ２３４）。
ステップ２３４で重複しないと判定された場合（ＮＯ）、決定部１１２により、選択した顔範囲を含む組み合わせが、認証用顔画像を生成するために用いる組み合わせとして、決定される（Ｓ２３５）。
ステップ２３４で重複すると判定された場合（ＹＥＳ）、ステップ２３３に戻り処理が繰り返される。ステップ２３３では、決定部１１２により、顔範囲・解像度リスト７から、次に高い評価値に対応づけられている組み合わせの顔範囲が１つ選択される。ステップ２３４では、決定部１１２により、選択された顔範囲と遮蔽画素が重複するか否かが決定される。
このように、選択した顔範囲と遮蔽画素が重複しないという結果となるまで、決定部１１２により、顔範囲・解像度リスト７に挙げられている顔範囲が、評価値の高い順から順に検証されていく。これにより、複数の組み合わせの中から、検出された遮蔽画素と重複しない、最も評価値の高い組み合わせが、選出される。
図１２に示すように、スコア付き顔画像生成部１０４により、スコア付き顔画像が生成される（Ｓ２３１）。
次に、遮蔽領域検出部１１１により、スコア付き顔画像に基づいて、閾値処理が行われ、遮蔽画素が検出される（Ｓ２３２）。
次に、決定部１１２により、顔範囲・解像度リスト７から、最も高い評価値に対応づけられている組み合わせの顔範囲が１つ選択される（Ｓ２３３）。
次に、決定部１１２により、選択された顔範囲と検出された遮蔽画素が重複するか否かが判定される（Ｓ２３４）。
ステップ２３４で重複しないと判定された場合（ＮＯ）、決定部１１２により、選択した顔範囲を含む組み合わせが、認証用顔画像を生成するために用いる組み合わせとして、決定される（Ｓ２３５）。
ステップ２３４で重複すると判定された場合（ＹＥＳ）、ステップ２３３に戻り処理が繰り返される。ステップ２３３では、決定部１１２により、顔範囲・解像度リスト７から、次に高い評価値に対応づけられている組み合わせの顔範囲が１つ選択される。ステップ２３４では、決定部１１２により、選択された顔範囲と遮蔽画素が重複するか否かが決定される。
このように、選択した顔範囲と遮蔽画素が重複しないという結果となるまで、決定部１１２により、顔範囲・解像度リスト７に挙げられている顔範囲が、評価値の高い順から順に検証されていく。これにより、複数の組み合わせの中から、検出された遮蔽画素と重複しない、最も評価値の高い組み合わせが、選出される。
【0067】
図１１に戻る。次に、生成部５により、決定部１１２で決定された顔範囲と解像度との組み合わせに基づいて認証用顔画像が生成される（Ｓ２４）。
次に、顔特徴量抽出部６により、生成された認証用顔画像それぞれから特徴量が抽出される（Ｓ２５）。
次に、顔類似度計算部１３により、抽出された認証用顔画像の特徴量と、登録顔特徴量ＤＢ９に予め格納されている登録用顔画像の特徴量とを用いて、認証用顔画像と登録用顔画像との類似度が計算される（Ｓ２６）。比較される登録用顔画像は、認証用顔画像を生成する際に用いた顔範囲と解像度の組み合わせと同じ組み合わせで生成された画像である。
次に、判定部１４により、計算された類似度に基づいて、顔認証が行われ、認証対象の人物が登録されている人物であるか否かが判定される（Ｓ２７）。
次に、顔特徴量抽出部６により、生成された認証用顔画像それぞれから特徴量が抽出される（Ｓ２５）。
次に、顔類似度計算部１３により、抽出された認証用顔画像の特徴量と、登録顔特徴量ＤＢ９に予め格納されている登録用顔画像の特徴量とを用いて、認証用顔画像と登録用顔画像との類似度が計算される（Ｓ２６）。比較される登録用顔画像は、認証用顔画像を生成する際に用いた顔範囲と解像度の組み合わせと同じ組み合わせで生成された画像である。
次に、判定部１４により、計算された類似度に基づいて、顔認証が行われ、認証対象の人物が登録されている人物であるか否かが判定される（Ｓ２７）。
【0068】
以上のように、本実施形態においても、第１の実施形態と同様に、遮蔽領域の情報に基づいて、より適した顔範囲と解像度で認証用顔画像が生成される。これにより、遮蔽領域がない場合の顔画像での顔認証はもちろんのこと、遮蔽領域がある顔画像での顔認証においても、認証精度を向上させることができる。
【0069】
本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0070】
なお、本技術は以下のような構成もとることができる。
（１）
認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定する決定部と、
上記決定部により決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成する生成部と
を具備する情報処理装置。
（１）
認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定する決定部と、
上記決定部により決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成する生成部と
を具備する情報処理装置。
【0071】
（２）
上記（１）に記載の情報処理装置であって、
上記決定部は、予め定められた複数の、切り出す顔範囲と解像度との組み合わせの中から、上記認証用顔画像を生成するのに用いる上記切り出す顔範囲と上記解像度を決定する
情報処理装置。
上記（１）に記載の情報処理装置であって、
上記決定部は、予め定められた複数の、切り出す顔範囲と解像度との組み合わせの中から、上記認証用顔画像を生成するのに用いる上記切り出す顔範囲と上記解像度を決定する
情報処理装置。
【0072】
（３）
上記（２）に記載の情報処理装置であって、
上記認証用の入力顔画像から複数の顔パーツ点を検出し、上記顔パーツ点毎の信頼度を算出する顔パーツ検出部と、
複数の上記顔パーツ点から、上記信頼度を基に、上記遮蔽領域に係る遮蔽パーツ点を検出する遮蔽領域検出部
を更に具備し、
複数の上記組み合わせ毎に評価値が対応づけられ、
上記決定部は、複数の上記組み合わせの中から、切り出す顔範囲が上記遮蔽パーツ点と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定する
情報処理装置。
上記（２）に記載の情報処理装置であって、
上記認証用の入力顔画像から複数の顔パーツ点を検出し、上記顔パーツ点毎の信頼度を算出する顔パーツ検出部と、
複数の上記顔パーツ点から、上記信頼度を基に、上記遮蔽領域に係る遮蔽パーツ点を検出する遮蔽領域検出部
を更に具備し、
複数の上記組み合わせ毎に評価値が対応づけられ、
上記決定部は、複数の上記組み合わせの中から、切り出す顔範囲が上記遮蔽パーツ点と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定する
情報処理装置。
【0073】
（４）
上記（２）に記載の情報処理装置であって、
顔識別における有効性の度合いを示すスコア付き顔画像を生成するスコア付き顔画像生成部と、
上記スコア付き顔画像を構成する画素情報を基に、上記遮蔽領域に係る遮蔽画素を検出する遮蔽領域検出部
を更に具備し、
複数の上記組み合わせ毎に評価値が対応づけられ、
上記決定部は、複数の上記組み合わせの中から、切り出す顔範囲が上記遮蔽画素と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定する
情報処理装置。
上記（２）に記載の情報処理装置であって、
顔識別における有効性の度合いを示すスコア付き顔画像を生成するスコア付き顔画像生成部と、
上記スコア付き顔画像を構成する画素情報を基に、上記遮蔽領域に係る遮蔽画素を検出する遮蔽領域検出部
を更に具備し、
複数の上記組み合わせ毎に評価値が対応づけられ、
上記決定部は、複数の上記組み合わせの中から、切り出す顔範囲が上記遮蔽画素と重複せず、上記評価値が最も高い組み合わせを選出し、上記認証用顔画像の生成に用いる組み合わせとして決定する
情報処理装置。
【0074】
（５）
上記（２）～（４）のいずれか１つに記載の情報処理装置であって、
上記解像度は、上記組み合わせ毎に、上記切り出す顔範囲で切り出される認証用顔画像が一定の計算量で生成されるように設定される
情報処理装置。
上記（２）～（４）のいずれか１つに記載の情報処理装置であって、
上記解像度は、上記組み合わせ毎に、上記切り出す顔範囲で切り出される認証用顔画像が一定の計算量で生成されるように設定される
情報処理装置。
【0075】
（６）
上記（５）に記載の情報処理装置であって、
上記認証用顔画像の特徴量を抽出する特徴量抽出部を更に具備し、
上記計算量は、切り出される顔範囲の総画素数又は上記特徴量抽出部による特徴量抽出時の積和演算回数を用いて算出される
情報処理装置。
上記（５）に記載の情報処理装置であって、
上記認証用顔画像の特徴量を抽出する特徴量抽出部を更に具備し、
上記計算量は、切り出される顔範囲の総画素数又は上記特徴量抽出部による特徴量抽出時の積和演算回数を用いて算出される
情報処理装置。
【0076】
（７）
上記（１）～（６）のいずれか１つに記載の情報処理装置であって、
上記認証用顔画像の特徴量を抽出する特徴量抽出部と、
上記特徴量抽出部により抽出された上記認証用顔画像の特徴量と、予め用意された登録用顔画像の特徴量とから、上記認証用顔画像と上記登録用顔画像との類似度を計算する類似度計算部を更に具備する
情報処理装置。
上記（１）～（６）のいずれか１つに記載の情報処理装置であって、
上記認証用顔画像の特徴量を抽出する特徴量抽出部と、
上記特徴量抽出部により抽出された上記認証用顔画像の特徴量と、予め用意された登録用顔画像の特徴量とから、上記認証用顔画像と上記登録用顔画像との類似度を計算する類似度計算部を更に具備する
情報処理装置。
【0077】
（８）
上記（７）に記載の情報処理装置であって、
上記登録用顔画像の特徴量は、予め用意された登録用の入力顔画像を用いて複数の上記組み合わせに従って生成した複数の登録用顔画像それぞれにおいて、上記特徴量抽出部によって抽出した特徴量である
情報処理装置。
上記（７）に記載の情報処理装置であって、
上記登録用顔画像の特徴量は、予め用意された登録用の入力顔画像を用いて複数の上記組み合わせに従って生成した複数の登録用顔画像それぞれにおいて、上記特徴量抽出部によって抽出した特徴量である
情報処理装置。
【0078】
（９）
認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定し、
決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成する
情報処理方法。
認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定し、
決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成する
情報処理方法。
【0079】
（１０）
認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定するステップと、
決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成するステップ
を情報処理装置に実行させるプログラム。
認証用の入力顔画像における顔の遮蔽領域に基づいて、上記認証用の入力顔画像から切り出す顔範囲と解像度を決定するステップと、
決定された上記切り出す顔範囲と上記解像度で認証用顔画像を生成するステップ
を情報処理装置に実行させるプログラム。
【符号の説明】
【0080】
１、１００…情報処理装置
５…生成部
６…顔特徴量抽出部（特徴量抽出部）
１１、１１１…遮蔽領域検出部
１２、１１２…決定部
１３…顔類似度計算部（類似度計算部）
２１…登録用の入力顔画像
２４…登録用顔画像
３１…認証用の入力顔画像
３４…認証用顔画像
３６…顔パーツ点
３６Ｂ…遮蔽パーツ点
４４…顔パーツ検出部
７１…切り出す顔範囲
７２…解像度
７３…評価値
１０４…スコア付き顔画像生成部
１３２…スコア付き顔画像
５…生成部
６…顔特徴量抽出部（特徴量抽出部）
１１、１１１…遮蔽領域検出部
１２、１１２…決定部
１３…顔類似度計算部（類似度計算部）
２１…登録用の入力顔画像
２４…登録用顔画像
３１…認証用の入力顔画像
３４…認証用顔画像
３６…顔パーツ点
３６Ｂ…遮蔽パーツ点
４４…顔パーツ検出部
７１…切り出す顔範囲
７２…解像度
７３…評価値
１０４…スコア付き顔画像生成部
１３２…スコア付き顔画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】