知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023006150
(43)【公開日】2023-01-18
(54)【発明の名称】顔認証システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230111BHJP
G06T 7/70 20170101ALI20230111BHJP
G06T 1/00 20060101ALI20230111BHJP
【ＦＩ】
G06T7/00 510F
G06T7/70 B
G06T7/00 660A
G06T1/00 315
G06T1/00 340A
G06T7/00 350C
G06T7/00 300D
G06T7/00 300A
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2021108593
(22)【出願日】2021-06-30
(71)【出願人】
【識別番号】501009849
【氏名又は名称】株式会社日立エルジーデータストレージ
(74)【代理人】
【識別番号】110002572
【氏名又は名称】弁理士法人平木国際特許事務所
(72)【発明者】
【氏名】上野 高明
(72)【発明者】
【氏名】中道 拓也
【テーマコード（参考）】
5B043
5B057
5L096
【Ｆターム（参考）】
5B043AA09
5B043BA04
5B043CA10
5B043EA06
5B043EA11
5B043EA12
5B043EA15
5B043FA03
5B043FA09
5B043GA02
5B043GA05
5B057AA20
5B057BA02
5B057CA08
5B057CA12
5B057CA13
5B057CA16
5B057CB08
5B057CB12
5B057CB13
5B057CB16
5B057CC03
5B057CD03
5B057CE08
5B057DA07
5B057DB02
5B057DB03
5B057DB09
5B057DC05
5B057DC30
5L096AA06
5L096AA09
5L096BA08
5L096BA18
5L096CA04
5L096CA05
5L096DA02
5L096FA09
5L096FA67
5L096FA69
5L096HA11
5L096JA09
5L096JA11
(57)【要約】 （修正有）
【課題】装着物を着用した状態の顔画像を用いて個人を識別する場合において、顔パーツの個人差または顔向きの変動に対してロバストな顔認証システムを提供する。
【解決手段】顔認証システムは、認証時のユーザの顔画像から、マスク、サングラス、ゴーグル、眼鏡、帽子などの装着物が検出された場合に、登録されたユーザの素顔画像の顔形状や顔の向きと適合するように、装着物画像を変形し、素顔画像にフィットさせる。素顔画像と装着物画像を合成した画像を用いて、ユーザーの認証用画像と照合する。
【選択図】図１１
【解決手段】顔認証システムは、認証時のユーザの顔画像から、マスク、サングラス、ゴーグル、眼鏡、帽子などの装着物が検出された場合に、登録されたユーザの素顔画像の顔形状や顔の向きと適合するように、装着物画像を変形し、素顔画像にフィットさせる。素顔画像と装着物画像を合成した画像を用いて、ユーザーの認証用画像と照合する。
【選択図】図１１
【特許請求の範囲】
【請求項1】
顔画像を用いて個人を識別する顔認証システムであって、
前記個人が装着する装着物の画像である装着物画像を前記個人の素顔画像に対して合成した合成画像を生成する合成部、
前記合成画像を用いて前記個人を識別する顔認証部、
を備え、
前記合成部は、前記装着物画像を前記個人の顔形状と適合するように変形することにより、前記合成画像を生成する
ことを特徴とする顔認証システム。
前記個人が装着する装着物の画像である装着物画像を前記個人の素顔画像に対して合成した合成画像を生成する合成部、
前記合成画像を用いて前記個人を識別する顔認証部、
を備え、
前記合成部は、前記装着物画像を前記個人の顔形状と適合するように変形することにより、前記合成画像を生成する
ことを特徴とする顔認証システム。
【請求項2】
前記合成部は、前記素顔画像上のランドマークを基準として、前記装着物画像を前記個人の顔形状と適合するように変形する
ことを特徴とする請求項１記載の顔認証システム。
ことを特徴とする請求項１記載の顔認証システム。
【請求項3】
前記合成部は、前記ランドマークにしたがって、前記個人が正面を向いているときを基準として前記個人の顔画像が回転している角度を、ヨー角、ロール角、またはピッチ角のうち少なくともいずれかについて検出し、
前記合成部は、前記検出した角度にしたがって前記装着物画像を回転させることにより、前記装着物画像を前記個人の顔形状と適合するように変形する
ことを特徴とする請求項２記載の顔認証システム。
前記合成部は、前記検出した角度にしたがって前記装着物画像を回転させることにより、前記装着物画像を前記個人の顔形状と適合するように変形する
ことを特徴とする請求項２記載の顔認証システム。
【請求項4】
前記合成部は、前記装着物画像の縦方向サイズと、前記ランドマークのうち前記装着物を装着する装着位置の縦方向サイズとが一致するように、前記装着物画像を変形し、
前記合成部は、前記装着物画像の横方向サイズと、前記ランドマークのうち前記装着物を装着する装着位置の横方向サイズとが一致するように、前記装着物画像を変形し、
前記合成部は、前記装着物画像の分割した複数の領域ごとに、前記装着物画像の縦方向サイズと前記装着位置の縦方向サイズを一致させるとともに、前記装着物画像の横方向サイズと前記装着位置の横方向サイズを一致させるように、前記装着物画像を変形する
ことを特徴とする請求項３記載の顔認証システム。
前記合成部は、前記装着物画像の横方向サイズと、前記ランドマークのうち前記装着物を装着する装着位置の横方向サイズとが一致するように、前記装着物画像を変形し、
前記合成部は、前記装着物画像の分割した複数の領域ごとに、前記装着物画像の縦方向サイズと前記装着位置の縦方向サイズを一致させるとともに、前記装着物画像の横方向サイズと前記装着位置の横方向サイズを一致させるように、前記装着物画像を変形する
ことを特徴とする請求項３記載の顔認証システム。
【請求項5】
前記顔認証システムはさらに、前記個人の顔画像から前記装着物の形状パターンを検出する装着物形状パターン検出部を備え、
前記顔認証部は、前記顔画像から前記装着物の形状パターンを検出した場合は前記合成画像を用いて前記個人を識別し、
前記顔認証部は、前記顔画像から前記装着物の形状パターンを検出しなかった場合は前記素顔画像を用いて前記個人を識別する
ことを特徴とする請求項１記載の顔認証システム。
前記顔認証部は、前記顔画像から前記装着物の形状パターンを検出した場合は前記合成画像を用いて前記個人を識別し、
前記顔認証部は、前記顔画像から前記装着物の形状パターンを検出しなかった場合は前記素顔画像を用いて前記個人を識別する
ことを特徴とする請求項１記載の顔認証システム。
【請求項6】
前記顔認証システムはさらに、複数種類の前記装着物画像を格納するデータ格納部を備え、
前記顔認証部は、前記複数種類の前記装着物画像のうち、前記検出した装着物の形状パターンに対応する前記装着物画像のみを前記データ格納部から取得し、
前記合成部は、前記複数種類の前記装着物画像のうち、前記データ格納部から取得した前記装着物画像のみを用いて、前記合成画像を生成する
ことを特徴とする請求項５記載の顔認証システム。
前記顔認証部は、前記複数種類の前記装着物画像のうち、前記検出した装着物の形状パターンに対応する前記装着物画像のみを前記データ格納部から取得し、
前記合成部は、前記複数種類の前記装着物画像のうち、前記データ格納部から取得した前記装着物画像のみを用いて、前記合成画像を生成する
ことを特徴とする請求項５記載の顔認証システム。
【請求項7】
前記合成部は、前記素顔画像として、前記個人の顔画像の輝度情報と距離情報を含む３次元画像を取得し、
前記合成部は、前記ランドマークとして、前記素顔画像上の３次元座標系における特徴点を特定し、
前記合成部は、前記３次元座標系における前記ランドマークを基準として前記装着物画像を前記３次元座標系において変形することにより、前記装着物画像を前記個人の顔形状と適合させる
ことを特徴とする請求項２記載の顔認証システム。
前記合成部は、前記ランドマークとして、前記素顔画像上の３次元座標系における特徴点を特定し、
前記合成部は、前記３次元座標系における前記ランドマークを基準として前記装着物画像を前記３次元座標系において変形することにより、前記装着物画像を前記個人の顔形状と適合させる
ことを特徴とする請求項２記載の顔認証システム。
【請求項8】
前記顔認証システムはさらに、前記合成画像を前記装着物の種類ごとに格納したデータ格納部を備え、
前記顔認証システムはさらに、前記装着物の種類を検出するカテゴリ検出部を備え、
前記合成部は、前記検出した前記装着物の種類に対応する前記合成画像のみを前記データ格納部から取得し、
前記顔認証部は、前記データ格納部から取得した前記合成画像を用いて前記個人を識別する
ことを特徴とする請求項１記載の顔認証システム。
前記顔認証システムはさらに、前記装着物の種類を検出するカテゴリ検出部を備え、
前記合成部は、前記検出した前記装着物の種類に対応する前記合成画像のみを前記データ格納部から取得し、
前記顔認証部は、前記データ格納部から取得した前記合成画像を用いて前記個人を識別する
ことを特徴とする請求項１記載の顔認証システム。
【請求項9】
前記顔認証システムはさらに、前記素顔画像と前記合成画像をそれぞれ人の属性ごとに格納したデータ格納部を備え、
前記顔認証システムはさらに、前記個人の属性を検出するカテゴリ検出部を備え、
前記合成部は、前記検出した前記個人の属性に対応する前記素顔画像または前記検出した前記個人の属性に対応する前記合成画像のみを前記データ格納部から取得し、
前記顔認証部は、前記データ格納部から取得した前記素顔画像または前記合成画像を用いて前記個人を識別する
ことを特徴とする請求項１記載の顔認証システム。
前記顔認証システムはさらに、前記個人の属性を検出するカテゴリ検出部を備え、
前記合成部は、前記検出した前記個人の属性に対応する前記素顔画像または前記検出した前記個人の属性に対応する前記合成画像のみを前記データ格納部から取得し、
前記顔認証部は、前記データ格納部から取得した前記素顔画像または前記合成画像を用いて前記個人を識別する
ことを特徴とする請求項１記載の顔認証システム。
【請求項10】
前記顔認証システムはさらに、前記素顔画像の顔向きを変更する顔向き変更部を備え、
前記合成部は、前記顔向き変更部が変更した顔向きと同じ向き変更を前記装着物画像に対して実施し、
前記合成部は、前記向き変更を実施した前記装着物画像を前記素顔画像に対して合成することにより、前記合成画像を生成する
ことを特徴とする請求項１記載の顔認証システム。
前記合成部は、前記顔向き変更部が変更した顔向きと同じ向き変更を前記装着物画像に対して実施し、
前記合成部は、前記向き変更を実施した前記装着物画像を前記素顔画像に対して合成することにより、前記合成画像を生成する
ことを特徴とする請求項１記載の顔認証システム。
【請求項11】
前記顔認証システムはさらに、前記素顔画像を格納するデータ格納部を備え、
前記データ格納部は少なくとも、前記個人が正面を向いた前記素顔画像と、前記個人が顔の向きを斜めに傾けた前記素顔画像とを格納する
ことを特徴とする請求項１記載の顔認証システム。
前記データ格納部は少なくとも、前記個人が正面を向いた前記素顔画像と、前記個人が顔の向きを斜めに傾けた前記素顔画像とを格納する
ことを特徴とする請求項１記載の顔認証システム。
【請求項12】
前記装着物は、前記個人が装着することにより前記個人の顔のうち少なくとも一部を覆う物体である
ことを特徴とする請求項１記載の顔認証システム。
ことを特徴とする請求項１記載の顔認証システム。
【請求項13】
前記装着物は、マスク、メガネ、ゴーグル、帽子、のうち少なくともいずれかである
ことを特徴とする請求項１２記載の顔認証システム。
ことを特徴とする請求項１２記載の顔認証システム。
【請求項14】
前記顔認証システムはさらに、前記個人を識別するために用いる認証データとして前記合成画像の特徴量を抽出する認証データ生成部を備え、
前記顔認証部は、前記個人の顔画像の特徴量と、前記合成画像から抽出した前記特徴量とを比較することにより、前記個人を識別する
ことを特徴とする請求項１記載の顔認証システム。
前記顔認証部は、前記個人の顔画像の特徴量と、前記合成画像から抽出した前記特徴量とを比較することにより、前記個人を識別する
ことを特徴とする請求項１記載の顔認証システム。
【請求項15】
前記認証データ生成部は、前記装着物の種類に対応する特徴量抽出器または前記個人の属性に対応する特徴量抽出器または顔の向きに対応する特徴抽出器を用いて、前記合成画像の特徴量を抽出する
ことを特徴とする請求項１４記載の顔認証システム。
ことを特徴とする請求項１４記載の顔認証システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔画像を用いて個人を識別する顔認証システムに関するものである。
【背景技術】
【0002】
生体情報を使用するバイオメトリクス認証のうちの１つである顔認証技術は、あらかじめ個人ユーザの顔画像を登録しておき、認証時に抽出した顔画像とあらかじめ登録した顔画像を照合することにより、当該人物が本人であるかどうかを判定する技術である。顔認証技術は、離れた場所から顔画像を撮影できるので、非接触で認証を実施でき、かつ指紋認証などと異なりユーザが認証動作を必要としない利点がある。顔認証は、オフィス、教育機関、イベント会場などにおける入退出管理や、監視カメラ映像を用いた監視警備用途など、活用の場が拡大している。
【0003】
特に、近年、ＣＯＶＩＤ１９の影響により、マスクやゴーグルを着用したまま本人確認をするニーズが高まり、マスク等の装着物着用時でも顔認証可能なシステムが求められている。
【0004】
上記の課題に対し、例えば、特許文献１では、照合時に用いる登録顔画像として、素顔画像にマスクや帽子などの装着物画像を合成した画像を用いることにより、登録時のユーザ負担が少なく、装着物を着用したままでの顔認証を行う技術を開示している。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１５－０８８０９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１に記載されている手法は、装着物画像をそのまま素顔画像に合成するので、顔パーツの個人差（配置、大きさ、形状等）や、顔向きの変化（ヨー、ロール、ピッチ方向の角度への回転）に対応した装着物画像を生成することができず、顔の状態の変化に対するロバスト性が低い。加えて、サイネージを用いた複数人同時認証や、監視カメラを用いた顔認証の用途においては、認証時の顔向きの状態は正面顔に限らず、顔が様々な方向を向いていることが想定される。したがって、顔向きに対するロバスト性が高い顔認証システムが望まれる。
【0007】
本発明は、上記のような課題に鑑みてなされたものであり、装着物を着用した状態の顔画像を用いて個人を識別する場合において、顔パーツの個人差または顔向きの変動に対してロバストな顔認証システムを提供することを目的とする。
【課題を解決するための手段】
【0008】
本発明に係る顔認証システムは、装着物画像を個人の顔形状と適合するように変形した合成画像を用いて、前記個人を識別する。
【発明の効果】
【0009】
本発明に係る顔認証システムによれば、装着物を着用した状態の顔画像を用いて個人を識別する場合において、顔パーツの個人差または顔向きの変動に対するロバスト性を向上し、高精度な顔認証システムを提供することができる。
【図面の簡単な説明】
【0010】
【図1】実施形態１に係る顔認証システム１の全体構成を示したブロック図である。
【図2A】素顔画像４０１の例である。
【図2B】装着物画像４０２の例である。
【図2C】合成画像４０３の例である。
【図3】顔画像登録部２２０および顔画像照合部３２０の内部構成を示したブロック図である。
【図4】顔登録時の素顔画像４０１を登録する処理を説明するフローチャートである。
【図5】素顔画像４０１から合成画像４０３を生成するプロセスを示した図である。
【図6】素顔画像４０１から合成画像４０３を生成し、データ格納部４００に記録する処理を説明するフローチャートである。
【図7】顔認証時の処理を説明するフローチャートである。
【図8A】正面からヨー方向に顔を傾けた場合の類似度の比較結果を示した図である。
【図8B】正面からロール方向に顔を傾けた場合の類似度の比較結果を示した図である。
【図9】実施形態２における顔認証システム１の詳細構成を示した図である。
【図10】実施形態２における顔登録時の処理を説明するフローチャートである。
【図11】実施形態２における顔認証時の処理を説明するフローチャートである。
【図12】実施形態３に係る顔認証システム１の構成図である。
【図13】顔認証システム１の内部処理ブロックを示した図である。
【図14】顔登録時において合成画像４０３を生成・登録する処理を説明するフローチャートである。
【図15】実施形態３における顔認証部３００の構成図である。
【図16】実施形態３における顔認証時の動作を示すフローチャートである。
【図17】実施形態４における顔認証部３００の構成図である。
【図18】実施形態４における認証時の動作を説明するフローチャートである。
【図19】実施形態５における顔登録部２００の構成図である。
【図20】実施形態５の効果を示した図である。
【図21】実施形態５における顔認証部３００の構成図である。
【発明を実施するための形態】
【0011】
＜実施の形態１＞
図１は、本発明の実施形態１に係る顔認証システム１の全体構成を示したブロック図である。顔認証システム１は、顔画像を用いて個人を識別するシステムである。顔認証システム１は、撮像部１００、顔登録部２００、顔認証部３００、およびデータ格納部４００を備える。
図１は、本発明の実施形態１に係る顔認証システム１の全体構成を示したブロック図である。顔認証システム１は、顔画像を用いて個人を識別するシステムである。顔認証システム１は、撮像部１００、顔登録部２００、顔認証部３００、およびデータ格納部４００を備える。
【0012】
顔登録部２００は、顔領域検出部２１０、および顔画像登録部２２０を備える。顔認証部３００は、顔領域検出部３１０、および顔画像照合部３２０を備える。データ格納部４００は、素顔画像４０１、装着物画像４０２、合成画像４０３を格納する。顔登録部２００と顔認証部３００は、いずれも後述するように素顔画像４０１と装着物画像４０２を合成することによって合成画像４０３を生成する場合があるので、合成画像４０３を生成する「合成部」としての役割を有することができる。
【0013】
撮像部１００は、ｘｙ方向に輝度情報が格納された２次元画像、あるいはｘｙ方向の輝度情報に加えｚ方向の距離（デプス）情報が格納された３次元画像を取得できるものであればよい。
【0014】
合成画像４０３は、装着物画像４０２を素顔画像４０１に適合するように加工し、素顔画像４０１に合成したものである。加工例については後述する。合成画像４０３は、マスク、眼鏡、サングラス、ゴーグル、帽子等の外的装着物の種類ごとに複数格納してもよい。同一種類の装着物に対して、形状パターンが複数ある場合、形状パターンごとに合成画像４０３を生成してもよい。例えば、装着物がマスクであれば、平型マスクあるいは立体型マスク等であり、眼鏡であれば、レンズの形状がスクエア型あるいはラウンド型等のパターンである。また、複数種類の外的装着物を同時に合成してもよい。例えば、マスクおよびゴーグルを合成する等である。本発明においては、素顔画像４０１、装着物画像４０２、および合成画像４０３は２次元画像、３次元画像のいずれであってもよいし、画像形態ではなく特徴ベクトル量でもよい。
【0015】
顔認証システム１は、データ格納部４００を２つ以上備え、データの種類に応じてデータ格納部４００を使い分けてもよい。例えば、素顔画像４０１、装着物画像４０２、および合成画像４０３をそれぞれ外部の異なるデータ格納部４００に登録し、データ基地局２から無線で受信するような形態でもよい。
【0016】
顔登録時の動作を説明する。撮像部１００が撮影した撮影画像は、顔登録部２００内の顔領域検出部２１０に送られる。顔領域検出部２１０は撮影画像から素顔画像を抽出し、顔画像登録部２２０に入力する。顔画像登録部２２０は、入力された素顔画像をユーザの登録顔データとしてデータ格納部４００に記録する。登録顔データは、素顔画像４０１および合成画像４０３のことを指し、片方のみあるいは同時に記録してもよい。合成画像４０３は、装着物の種類に応じて複数種類同時に記録してもよい。
【0017】
顔認証時の動作を説明する。撮像部１００が撮影した撮影画像は、顔認証部３００内の顔領域検出部３１０に送られる。顔領域検出部３１０は撮影画像から顔画像を抽出し、顔画像照合部３２０に入力する。顔領域検出部３１０が抽出する顔画像は、素顔または装着物着用時の場合のどちらでもよく、認証時におけるユーザの顔の状態に依存する。顔画像照合部３２０は、データ格納部４００から、素顔画像４０１または合成画像４０３のうち１つあるいは複数を取得する。顔画像照合部３２０は、取得した登録顔データと、認証時に撮影画像から抽出した顔画像それぞれとの間の顔画像照合処理を実施し、照合による認証結果を出力デバイスまたは他のシステムに出力する。具体的には、顔画像照合部３２０は、顔領域検出部３１０が抽出した顔画像と、データ格納部から取得する１つあるいは複数の登録顔データそれぞれとの間の類似度を計算し、いずれかの類似度が規定に達している場合、当該ユーザが登録ユーザであると認証する。
【0018】
図２Ａは、素顔画像４０１の例である。素顔画像４０１は、外的な装着物を着けていない状態の顔画像であり、被写体がメイク等をしていても素顔画像とする。
【0019】
図２Ｂは、装着物画像４０２の例である。装着物画像４０２は、装着物単品の画像である。ここでいう装着物は、マスク、サングラス、ゴーグル、眼鏡、帽子などのように、素顔（認証対象者の頭部）に装着する外的な人工物であって、顔認証をする上で妨げとなる物品であるものとする。
【0020】
図２Ｃは、合成画像４０３の例である。合成画像４０３は、顔のパーツや顔の向きに合うように装着物画像４０２を加工し、素顔画像４０１にフィットするように合成したものである。例えば素顔画像４０１がヨー軸を中心にして回転している場合、装着物画像４０２を同様にヨー軸中心に回転させて素顔画像４０１と合成することにより、合成画像４０３を生成できる。
【0021】
本実施形態は、入力する生体情報と照合する生体情報が１対１の関係である１：１認証、入力する生体情報と比較する生体情報が多く存在する１対Ｎの関係である１：Ｎ認証のどちらにも適応することができる。１：１認証においては、例としてカードと生体情報を用いて、入力された生体情報をカードに登録されている生体情報と照合する。１：Ｎ認証においては、入力された生体情報をデータベースに登録されているすべての生体情報と順次比較し、最も近いユーザを一意に特定する。
【0022】
図３は、顔画像登録部２２０および顔画像照合部３２０の内部構成を示したブロック図である。顔画像登録部２２０は、顔ランドマーク検出部２２１、装着物画像加工部２２２、認証データ生成部２２３を備える。顔画像照合部３２０は、認証データ生成部３２１を備える。これら機能部の動作については後述する。
【0023】
図４は、顔登録時の素顔画像４０１を登録する処理を説明するフローチャートである。撮像部１００が撮影した撮影画像は、顔領域検出部２１０に入力される（Ｓ４０１）。顔領域検出部２１０は、撮影画像から登録対象であるユーザの顔領域を抽出して素顔画像を生成する（Ｓ４０２）。生成した素顔画像は認証データ生成部２２３へ送られる。認証データ生成部２２３は、素顔画像に基づき認証データを生成し（Ｓ４０３）、データ格納部４００に記録する（Ｓ４０４）。認証データは、合成画像４０３そのものであってもよいし、その特徴量を認証データとして用いてもよい。前者の場合は合成画像４０３と撮像画像を照合し、後者の場合は合成画像４０３の特徴量と撮像画像の特徴量を照合することになる。
【0024】
Ｓ４０２においては、撮影画像における輝度情報（あるいは距離情報またはそれらの組み合わせでもよい）から顔領域に相当する画像領域を特定し、当該画像領域を撮影画像から切り出して、顔画像を生成する。Ｓ４０２において、撮影画像から切り出した顔領域から顔画像を生成する際、顔画像を顔認証にとってより適切な状態に処理するための処理過程を１つ以上含んでもよい。例えば、画像サイズ変換、画像回転、アフィン変換、Ｆｒｅｅ Ｆｏｒｍ Ｄｅｆｏｒｍａｔｉｏｎ（ＦＦＤ）法などに基づく非剛体変形法による顔向き角度変形、顔画像に含まれるノイズおよびぼけ除去、コントラスト調整、ひずみ補正、背景領域除去、などを用いることができる。
【0025】
Ｓ４０２における顔領域検出処理手法については、公知の手法を用いることができる。例えば、Ｈａａｒ－ｌｉｋｅ特徴量を用いたＶｉｏｌａ－Ｊｏｐｎｅｓ法、あるいはＮｅｕｒａｌ Ｎｅｔｗｏｒｋ（以下、ＮＮ）モデルに基づく検出器を用いることができる。
【0026】
Ｓ４０３において生成する認証データは、顔認証部３００が採用するアルゴリズムに適した形式に変換したものであり、特徴ベクトル量でもよいし画像形態でもよい。以下に、特徴ベクトルを生成する場合の例を説明する。認証データ生成部２２３は、受け取った素顔画像を所定の特徴抽出器に入力することにより、当該顔画像の特徴を表す特徴ベクトルを生成する。特徴抽出器の例として、学習データによって学習したＮＮモデルに基づくもの、あるいはＬｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎｓに基づくアルゴリズム等を使用することができる。複数の登録顔画像を同時に特徴抽出器に入力し、統合的な特徴ベクトル量を生成してもよい。例えば、素顔画像４０１および複数種類の合成画像４０３の組み合わせ等を同時に特徴抽出器に入力して特徴ベクトルを生成する。複数の登録顔画像のそれぞれに対応した特徴ベクトルに、所定の重みをかけて合算したものを特徴ベクトル量としてもよい。
【0027】
Ｓ４０４において、データ格納部４００にデータを記録する際に、セキュリティ向上のための暗号化処理等を実施してもよい。
【0028】
図５は、素顔画像４０１から合成画像４０３を生成するプロセスを示した図である。顔ランドマーク検出部２２１は、素顔画像４０１から顔ランドマーク４０１－１を検出する。顔ランドマークは、顔画像上における基準点である。装着物画像加工部２２２は、顔ランドマーク４０１－１の位置に対して適合するように装着物画像４０２を変形することにより、加工後装着物画像４０２－１を生成する。認証データ生成部２２３は、素顔画像４０１と加工後装着物画像４０２－１を合成することにより、合成画像４０３を生成する。合成手順は以下の通りである。
【0029】
（合成手順：その１）顔ランドマーク検出部２２１は、顔ランドマークに基づき顔の回転角度（ヨー、ロール、ピッチのうちいずれか１以上の組み合わせ）を検出する。装着物画像加工部２２２は、顔の回転角度と合致するように、装着物画像４０２を回転させる。
【0030】
（合成手順：その２）装着物画像加工部２２２は、装着物画像４０２の縦方向サイズと、顔ランドマークのうち装着物を装着する装着位置の縦方向サイズとが一致するように、装着物画像を変形する。例えばマスクの頂部（鼻を覆う部分の最も突出した箇所）とマスクの底部との間の距離を、装着物画像４０２の縦方向サイズとすることができる。例えば鼻ランドマークの上から３番目と顎ランドマークの顎先に位置する点との間の距離を、装着位置の縦方向サイズとすることができる。両サイズが一致するように、装着物画像４０２を位置合わせする。必要に応じてアフィン変換、ホモグラフィ変換、あるいはそれらの組み合わせを使用してもよい。
【0031】
（合成手順：その３）装着物画像加工部２２２は、装着物画像４０２の横方向サイズと、顔ランドマークのうち装着物を装着する装着位置の横方向サイズとが一致するように、装着物画像を変形する。例えばマスクの左右端部間の距離を、装着物画像４０２の横方向サイズとすることができる。例えば左右両端の顔ランドマーク間の距離を、装着位置の横方向サイズとすることができる。両サイズが一致するように、装着物画像４０２を位置合わせする。必要に応じてアフィン変換、ホモグラフィ変換、あるいはそれらの組み合わせを使用してもよい。
【0032】
（合成手順：その４）装着物画像加工部２２２は、上記手順その２とその３を、装着物画像４０２を複数領域に分割して実施してもよい。例えば、右半分と左半分に分けてそれぞれ実施してもよい。すなわち、装着物画像４０２の左半分と右半分それぞれについて、装着物画像４０２の縦方向サイズと装着位置の縦方向サイズを一致させるとともに、装着物画像４０２の横方向サイズと装着位置の横方向サイズを一致させるように、装着物画像４０２を変形してもよい。この場合の横方向サイズは、例えば鼻ランドマークの上から３番目と顎ランドマークの顎先に位置する点を結んだ直線と顔ランドマークの右端（あるいは左端）の点における、点と直線の距離とすることができる。例えば加工後装着物画像４０２－１のように、回転中心に対して画像が左右対称でない場合においては、このように装着物画像４０２の左半分と右半分それぞれに対して個別の変形を実施するのが有用である。
【0033】
（合成手順：補足１）以上は装着物がマスクである場合を例示したが、それ以外の装着物においても、上記手順を用いることができる。すなわち、顔の回転角度と装着物の回転角度を一致させた上で、装着物の縦横方向サイズと装着位置の縦横方向サイズを一致させるように、装着物画像４０２を変形すればよい。装着位置は装着物の種別ごとに適宜定めればよい。ヨー回転以外の回転においても同様の手順を用いることができる。
【0034】
（合成手順：補足２）上記は顔の回転角度に合致するように装着物画像４０２を回転させた後、装着物と装着位置の縦横方向サイズを一致させるように合成する例であるが、手順を入れ替えて、あらかじめ装着位置に応じて装着物の縦横方向サイズを定めた後に回転処理を行い、合成する手順としてもよい。
【0035】
上記の合成手順例のほかに、装着物画像４０２内部に複数の制御点を持たせ、それらの制御点と顔ランドマークに基づき定めた装着位置の基準点が合致するように、非線形に変形するような合成手順としてもよい。必要に応じて上記合成手順例と組み合わせてもよい。
【0036】
図６は、素顔画像４０１から合成画像４０３を生成し、データ格納部４００に記録する処理を説明するフローチャートである。図６においては図４と同一の機能を有するステップには同一の符号を付して、その詳細な説明を省略する。ここでは、装着物画像４０２がマスクである例を説明する。図６のフローチャートは、図４と比較して、Ｓ６０１、Ｓ６０２、およびＳ６０３が追加されている。これらのステップについて以下に説明する。
【0037】
（図６：ステップＳ６０１）
Ｓ４０２において抽出された素顔画像４０１は顔ランドマーク検出部２２１に入力される。顔ランドマーク検出部２２１は、顔領域から顔ランドマーク４０１－１を検出する。顔ランドマーク４０１－１は、目、眉毛、鼻、口、顎、輪郭等の顔の各パーツの位置を示す特徴点のことである。図５の顔ランドマーク４０１－１は６８点の顔パーツの特徴点を検出した例を示しているが、顔パーツの位置を少なくとも１点検出すれば、顔ランドマーク４０１－１として用いることができる。顔ランドマーク検出手法については、公知の手法を用いることができる。例えば、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌに基づくパターンマッチングを用いた方法、Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓに基づく特徴点抽出方法、またはＮＮモデルに基づく検出器である。Ｓ４０２において生成された素顔画像４０１と、Ｓ６０１において検出した顔ランドマーク４０１－１の情報は、装着物画像加工部２２２に入力される。
Ｓ４０２において抽出された素顔画像４０１は顔ランドマーク検出部２２１に入力される。顔ランドマーク検出部２２１は、顔領域から顔ランドマーク４０１－１を検出する。顔ランドマーク４０１－１は、目、眉毛、鼻、口、顎、輪郭等の顔の各パーツの位置を示す特徴点のことである。図５の顔ランドマーク４０１－１は６８点の顔パーツの特徴点を検出した例を示しているが、顔パーツの位置を少なくとも１点検出すれば、顔ランドマーク４０１－１として用いることができる。顔ランドマーク検出手法については、公知の手法を用いることができる。例えば、Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌに基づくパターンマッチングを用いた方法、Ｒｅｇｒｅｓｓｉｏｎ Ｔｒｅｅｓに基づく特徴点抽出方法、またはＮＮモデルに基づく検出器である。Ｓ４０２において生成された素顔画像４０１と、Ｓ６０１において検出した顔ランドマーク４０１－１の情報は、装着物画像加工部２２２に入力される。
【0038】
（図６：ステップＳ６０２）
装着物画像加工部２２２は、あらかじめデータ格納部４００に格納されている装着物画像４０２を取得し、顔ランドマーク４０１－１に基づき、装着物画像４０２を加工した加工後装着物画像４０２－１を生成する。
装着物画像加工部２２２は、あらかじめデータ格納部４００に格納されている装着物画像４０２を取得し、顔ランドマーク４０１－１に基づき、装着物画像４０２を加工した加工後装着物画像４０２－１を生成する。
【0039】
（図６：ステップＳ６０３）
認証データ生成部２２３は、加工後装着物画像４０２－１を素顔画像４０１にフィットするように合成することにより、合成画像４０３を生成し、データ格納部４００へ格納する。
認証データ生成部２２３は、加工後装着物画像４０２－１を素顔画像４０１にフィットするように合成することにより、合成画像４０３を生成し、データ格納部４００へ格納する。
【0040】
Ｓ６０２において取得する装着物画像４０２は、上記例では１枚を用いているが、装着物画像の種類に応じて複数枚以上取得してよく、装着物画像の種類分、かつ同一種類の装着物における形状パターン分、合成画像４０３を生成してよい。また、例えばマスクとゴーグルを同時に素顔画像４０１に合成する場合のように、複数種類の装着物を同時に装着した合成画像４０３を生成してもよい。
【0041】
上記方法では、合成画像４０３は素顔画像４０１から自動生成されるので、ユーザは素顔画像４０１のみ登録すればよく、装着物を着用した画像の撮影が不要となり、登録時のユーザ負担の低減が可能となる。また顔認証時、顔領域検出部３１０から抽出した顔画像と、データ格納部４００に格納された素顔画像４０１および合成画像４０３のそれぞれとの間でマッチングを取ることにより、顔認証時にユーザが装着物を装着していても顔認証が可能となる。合成画像４０３は、ユーザが登録した素顔画像４０１における顔パーツの配置、各顔パーツの大きさ、各顔パーツの形状、顔の輪郭の形状等に合わせて、装着物画像４０２を加工し合成するので、ユーザごとの顔パーツの個人差や、ヨー、ロール、およびピッチ方向の回転角等の顔の向きに関わらず、類似度の導出精度が高くなり、顔状態の変化にロバストで高精度な顔認証が可能となる。
【0042】
【0043】
（図７：ステップＳ４０１～Ｓ４０３）
顔認証時においても、顔登録時と同様に、顔領域検出部３１０が生成した顔画像が、顔画像照合部３２０内の認証データ生成部３２１へ入力され、認証データ生成部３２１は認証データを生成する。
顔認証時においても、顔登録時と同様に、顔領域検出部３１０が生成した顔画像が、顔画像照合部３２０内の認証データ生成部３２１へ入力され、認証データ生成部３２１は認証データを生成する。
【0044】
（図７：ステップＳ７０１～Ｓ７０３）
顔認証部３００は、顔認証時に取得した顔画像と照合するための素顔画像４０１および合成画像４０３を、データ格納部４００から取得する（Ｓ７０１）。顔認証部３００はこのとき、顔認証時に取得した顔画像の認証データと、データ格納部４００から取得した認証データが揃っているかを確認する（Ｓ７０２）。認証データが揃っていない場合は再度Ｓ７０１へ戻る。認証データが揃っている場合、認証時に取得した顔画像と、データ格納部４００から取得した複数の登録顔データそれぞれとの間の類似度を計算することにより、両者を照合する（Ｓ７０３）。
顔認証部３００は、顔認証時に取得した顔画像と照合するための素顔画像４０１および合成画像４０３を、データ格納部４００から取得する（Ｓ７０１）。顔認証部３００はこのとき、顔認証時に取得した顔画像の認証データと、データ格納部４００から取得した認証データが揃っているかを確認する（Ｓ７０２）。認証データが揃っていない場合は再度Ｓ７０１へ戻る。認証データが揃っている場合、認証時に取得した顔画像と、データ格納部４００から取得した複数の登録顔データそれぞれとの間の類似度を計算することにより、両者を照合する（Ｓ７０３）。
【0045】
（図７：ステップＳ７０２：補足）
認証データが揃っているとは、顔認証システム１が認証対象者として想定している全ての者について認証データを生成済であることを意味する。
認証データが揃っているとは、顔認証システム１が認証対象者として想定している全ての者について認証データを生成済であることを意味する。
【0046】
（図７：ステップＳ７０３：補足その１）
類似度の計算の例として、認証データが特徴ベクトル量の場合、公知のＥｕｃｌｉｄｅａｎ ＮｏｒｍあるいはＣｏｓｉｎｅ Ｓｉｍｉｌａｒｉｔｙなどを使用することができる。２次元画像または３次元画像等の画素集合の類似度計算においては、公知のブロックマッチングに基づく方法、あるいは画像の輝度分布ベクトルに基づいた方法などを使用することができる。特徴ベクトル量に基づく認証においては、一般に、画素集合を使用した場合と比べて計算量が抑えられるので、照合処理を高速化したい場合には、特徴ベクトル量を用いた類似度算出が有効である。
類似度の計算の例として、認証データが特徴ベクトル量の場合、公知のＥｕｃｌｉｄｅａｎ ＮｏｒｍあるいはＣｏｓｉｎｅ Ｓｉｍｉｌａｒｉｔｙなどを使用することができる。２次元画像または３次元画像等の画素集合の類似度計算においては、公知のブロックマッチングに基づく方法、あるいは画像の輝度分布ベクトルに基づいた方法などを使用することができる。特徴ベクトル量に基づく認証においては、一般に、画素集合を使用した場合と比べて計算量が抑えられるので、照合処理を高速化したい場合には、特徴ベクトル量を用いた類似度算出が有効である。
【0047】
（図７：ステップＳ７０３：補足その２）
本ステップにおいて、特徴ベクトル量、２次元画像、または３次元画像のいずれかを２つ以上組み合わせ、総合的に類似度を算出してもよい。例えば、特徴ベクトル量と２次元画像を用いる場合、それぞれに対して所定の類似度を算出し、あらかじめ決められた重みづけに基づき、最終的に合算した値を類似度としてもよい。
本ステップにおいて、特徴ベクトル量、２次元画像、または３次元画像のいずれかを２つ以上組み合わせ、総合的に類似度を算出してもよい。例えば、特徴ベクトル量と２次元画像を用いる場合、それぞれに対して所定の類似度を算出し、あらかじめ決められた重みづけに基づき、最終的に合算した値を類似度としてもよい。
【0048】
（図７：ステップＳ７０４）
顔認証部３００は、算出した類似度が、所定の閾値条件を満たすかを確認することにより、顔認証を実施する。顔認証部３００は、認証結果を出力デバイスまたは他のシステムなどに出力する。認証方法は例えば以下を用いることができる。１：１認証の場合、算出した類似度が所定の閾値の条件を満たしていれば、当該ユーザが登録ユーザ本人とする。閾値の条件を満たさなければ、「本人不一致」と判定する。１：Ｎ認証の場合、算出した類似度が最も大きく、かつ、所定の閾値の条件を満たした登録ユーザを、当該ユーザと判定する。閾値の条件を満たしていなかった場合、「未登録」と判定する。
顔認証部３００は、算出した類似度が、所定の閾値条件を満たすかを確認することにより、顔認証を実施する。顔認証部３００は、認証結果を出力デバイスまたは他のシステムなどに出力する。認証方法は例えば以下を用いることができる。１：１認証の場合、算出した類似度が所定の閾値の条件を満たしていれば、当該ユーザが登録ユーザ本人とする。閾値の条件を満たさなければ、「本人不一致」と判定する。１：Ｎ認証の場合、算出した類似度が最も大きく、かつ、所定の閾値の条件を満たした登録ユーザを、当該ユーザと判定する。閾値の条件を満たしていなかった場合、「未登録」と判定する。
【0049】
図８Ａ～図８Ｂは、本発明における顔ランドマークに基づき装着物画像４０２を加工し素顔画像４０１にフィットさせて生成した合成画像４０３を用い認証した場合と、装着物画像４０２を加工せず素顔画像４０１にそのまま合成して認証した場合とを比較した結果を示す。ここでは、装着物画像をマスクとし、同一人物に対して比較した。登録時は、特定の角度を向いた素顔画像を登録し、マスクを所定の方法に基づき合成する。認証時は本物のマスクを装着して所定の角度を向いて、上記マスク合成後の顔画像との類似度を算出した。認証データはＮＮモデルに基づく特徴抽出器から生成される特徴ベクトルを用い、類似度の計算にはＥｕｃｌｉｄｅａｎ Ｎｏｒｍを使用した。縦軸は、正面を向いて認証し場合の類似度を０としたとき、顔角度ごとの相対的な類似度を示す。類似度が小さい程精度のよい検出ができていることを示している。
【0050】
図８Ａは正面からヨー方向に顔を傾けた場合の類似度の比較結果を示した図であり、図８Ｂは正面からロール方向に顔を傾けた場合の類似度の比較結果を示した図である。点線が装着物画像加工無し、実線が本発明の装着物画像加工有りの結果を示している。顔ランドマークに基づき生成した合成画像４０３を認証時に用いた場合の方が、装着物加工なしの場合より類似度が小さい。特にロール方向の角度に対するグラフを見ると、相対的な類似度の差が０．０５程度であり、本発明は、特にロール方向に効果がある傾向にある。一方、顔のパーツや向きに応じて装着物画像４０２を加工せずそのまま合成した場合では、顔向きの角度が大きくなるにつれて類似度の差も大きくなる傾向にあり、一定の閾値を設定した場合、認証精度に悪影響を及ぼす（例えば、類似度の閾値を０．１５とした場合、ヨー方向の場合およびロール方向の場合はどちらも、顔が正面からある程度以上回転すると類似度が閾値以上となり“本人不一致”となる）。したがって、本発明は、顔の角度が変わった場合でも、類似度の導出に与える影響を小さくすることができ、顔向き角度に対するロバスト性が向上することがわかる。
【0051】
＜実施の形態２＞
本発明の実施形態２は、装着物のパターンを検知することにより、装着物を装着しているか否かを判定し、装着している場合はそのパターンに対応する装着物画像４０２を合成する構成例を説明する。
本発明の実施形態２は、装着物のパターンを検知することにより、装着物を装着しているか否かを判定し、装着している場合はそのパターンに対応する装着物画像４０２を合成する構成例を説明する。
【0052】
ここで、装着物の形状パターンとは、装着物の種別（マスク、眼鏡、ゴーグル等）に加えて、同一種類の装着物においても形状が異なるもの（例えば、マスクであれば平型マスク、立体型マスク、子供用マスク、あるいは女性用マスク等）も含む。
【0053】
図９は、本実施形態２における顔認証システム１の詳細構成を示した図である。図３に示す実施形態１と比較すると、顔画像登録部２２０および顔画像照合部３２０の内部構成が異なる。その他は実施形態１と同様である。
【0054】
顔画像登録部２２０は、顔画像記録部２２４を内部ブロックに有する。顔画像照合部３２０は、認証データ生成部３２１、装着物形状パターン検出部３２２、装着物画像取得部３２３、顔ランドマーク検出部３２４、および装着物画像加工部３２５を備える。実施形態１と処理が共通しているブロックの説明は省略し、顔画像登録部２２０および顔画像照合部３２０の内部処理のみ説明する。
【0055】
図１０は、本実施形態２における顔登録時の処理を説明するフローチャートである。実施形態１と同様のステップは同一の符号を付して説明を省略する。Ｓ１００１において、顔領域検出部２１０によって生成された素顔画像は、顔画像登録部２２０内の顔画像記録部２２４に送られ、データ格納部４００に登録される。このとき、登録する素顔画像の形態は２次元画像でも３次元画像でもよい。認証時に特徴ベクトル量が必要であれば、Ｓ４０２後にＳ４０３を追加して、特徴抽出器を用いた特徴ベクトルの生成を実施してもよいし、上述した画像形態のデータと同時に記録してもよい。画像形態としてデータ格納部４００に記録する際、データ容量削減のため、登録する顔画像に可逆圧縮処理を施してから記録してもよい。
【0056】
図１１は、本実施形態２における顔認証時の処理を説明するフローチャートである。実施形態１で説明したステップと同様のものについては同じステップ番号を付して説明を省略する。以下では本実施形態２における差異点について主に説明する。
【0057】
Ｓ４０２において顔領域検出部３１０が生成した顔画像は、装着物形状パターン検出部３２２へ送られる。Ｓ１１０１において、装着物形状パターン検出部３２２は、顔画像から装着物形状を検知する。Ｓ１１０２において、装着物形状パターン検出部３２２は、検知結果に基づき装着物の有無を確認する。パターン検出の例として、公知の幾何学形状パターンマッチングあるいはＮＮモデルに基づく検出器、またはその組み合わせを使用することができる。装着物の有無は、例えば、幾何学形状パターンマッチングの場合、マッチするパターンが無かった場合に装着物が無いと判定することができる。装着物の形状と有無を検出できれば、検出方法はこの限りではない。
【0058】
Ｓ１１０１の後、撮影画像から抽出した顔画像は、認証データ生成部３２１に送られ、認証データ生成部３２１は認証データを生成する（Ｓ４０３）。
【0059】
Ｓ１１０２において装着物を装着していると判定された場合、装着物画像取得部３２３はＳ１１０３において、検知された形状パターンに最もマッチする装着物画像４０２を選択し、データ格納部４００から取得するとともに、あらかじめ登録された素顔画像４０１を取得する。取得した画像は、顔ランドマーク検出部３２４へ送られ、素顔画像４０１に基づき顔ランドマーク４０１－１が検知される（Ｓ６０１）。検知された顔ランドマーク４０１－１に基づき、取得した装着物画像４０２を加工し（Ｓ６０２）、素顔画像４０１にフィットするように合成画像４０３を生成する（Ｓ６０３）。装着物画像加工部３２５が生成した合成画像４０３は、認証データ生成部３２１へ送られ、認証データが生成される（Ｓ４０３）。認証時に撮影画像から抽出した顔画像に基づく認証データと、生成した合成画像４０３に基づく認証データを照合することにより、本人認証を実施する。
【0060】
Ｓ１１０２において、認証時に装着物を装着していないと判定された場合、装着物画像取得部３２３は、装着物画像４０２を取得せず、登録された素顔画像４０１のみ取得し（Ｓ１１０４）、認証データ生成部３２１は素顔画像４０１のみの認証データを生成する（Ｓ４０３）。Ｓ１１０２を設けることにより、Ｓ６０１からＳ６０３までをスキップすることができ、照合の高速化ができる。
【0061】
図面には図示していないが、装着物画像取得部３２３において、装着物の形状パターンに最もマッチした装着物画像４０２を取得する代わりに、検知した装着物の形状パターンと同様の形状パターンを持つ装着物画像を生成し、装着物画像４０２として用いてもよい。例えば、認証時にユーザがマスクを着用していた場合、検出したマスクの形状と同様の形状を持つマスクを生成し、装着物画像４０２としてもよい。このようにすることにより、データ格納部４００に装着物画像４０２をあらかじめ多数用意するのではなく、任意形状の装着物に対応することができる。このとき生成あるいは抽出した装着物画像４０２をそのままデータ格納部４００に登録し、他の合成画像４０３を生成する場合に使用できるようにしてもよい。
【0062】
＜実施の形態２：まとめ＞
本実施形態２に係る顔認証システム１は、装着物形状パターン検出部３２２が被認証者の装着物の形状パターンを検出し、その形状パターンに対応する装着物画像のみをデータ格納部４００から取得して合成画像を生成する。これにより、顔認証時に用いる合成画像の数を抑制することになるので、認証処理を高速化することができる。特に、１：１認証のように、認証対象者の範囲があらかじめ特定されている場合において有用である。他方で１：Ｎ認証のように、不特定多数者に対して個人識別を実施する場合は、全ての認証対象者に対して図１１の右半分を実施することになるので、演算負荷が過大となる可能性がある。したがって本実施形態２は、特に前者において有用である。
本実施形態２に係る顔認証システム１は、装着物形状パターン検出部３２２が被認証者の装着物の形状パターンを検出し、その形状パターンに対応する装着物画像のみをデータ格納部４００から取得して合成画像を生成する。これにより、顔認証時に用いる合成画像の数を抑制することになるので、認証処理を高速化することができる。特に、１：１認証のように、認証対象者の範囲があらかじめ特定されている場合において有用である。他方で１：Ｎ認証のように、不特定多数者に対して個人識別を実施する場合は、全ての認証対象者に対して図１１の右半分を実施することになるので、演算負荷が過大となる可能性がある。したがって本実施形態２は、特に前者において有用である。
【0063】
＜実施の形態３＞
図１２は、本発明の実施形態３に係る顔認証システム１の構成図である。本実施形態３においては、実施形態１～２で説明した構成に加えて、３次元情報撮像部１１０を新たに備える。３次元情報撮像部１１０は、被写体の輝度情報に加えて距離（デプス）情報（すなわち３次元情報撮像部１１０から撮像箇所までの距離）を取得する。これらを用いることにより、より実世界に忠実に装着物の加工および合成を実施し、類似度の導出精度の向上、ならびに顔の状態が変化した際のロバスト性を向上することができる。
図１２は、本発明の実施形態３に係る顔認証システム１の構成図である。本実施形態３においては、実施形態１～２で説明した構成に加えて、３次元情報撮像部１１０を新たに備える。３次元情報撮像部１１０は、被写体の輝度情報に加えて距離（デプス）情報（すなわち３次元情報撮像部１１０から撮像箇所までの距離）を取得する。これらを用いることにより、より実世界に忠実に装着物の加工および合成を実施し、類似度の導出精度の向上、ならびに顔の状態が変化した際のロバスト性を向上することができる。
【0064】
３次元情報撮像部１１０は、ＴｏＦ（Ｔｉｍｅ ｏｆ Ｆｌｉｇｈｔ）カメラ、あるいはＩＲカメラ（赤外線カメラ）等の距離情報を取得できるものであればよい。また、撮像部１００と３次元情報撮像部１１０が一体化し、輝度情報と距離情報を同時に取得できるものを用いてもよい。あるいはステレオカメラ等の輝度情報を取得する撮像部１００を２つ用いて、２つの撮像部から得られる各画素同士の視差から距離情報を取得してもよい。
【0065】
図１３は、顔認証システム１の内部処理ブロックを示した図である。実施形態１と比較すると、顔画像登録部２２０の内部構成と合成画像４０３の登録フローにおける動作が異なる。他のブロックの動作は実施形態１と共通であるので、顔画像登録部２２０の内部処理および合成画像４０３の登録フローにおける動作について主に説明する。
【0066】
顔画像登録部２２０の内部処理を説明する。顔画像登録部２２０は、３次元顔ランドマーク検出部２２５、装着物画像加工部２２６、認証データ生成部２２３を備える。実施形態１と比較すると、処理する情報が、輝度情報に加えて距離情報を含めた３次元に拡張される。
【0067】
顔領域検出部２１０により生成される素顔画像は、輝度情報および距離画像の３次元の情報を持った３次元画像あるいは、輝度情報を格納した２次元画像と距離情報を格納した２次元画像の組み合わせでもよく、輝度情報および距離情報の３次元の情報を持っていれば、どのような画像形態でもよい。
【0068】
【0069】
素顔画像は、３次元顔ランドマーク検出部２２５へ送られる。３次元顔ランドマーク検出部２２５は、３次元情報撮像部１１０が取得した距離情報に基づき、３次元的に顔のランドマークを検知する（Ｓ１４０１）。Ｓ１４０１における３次元顔ランドマークの検出方法は，公知の幾何学的なパターンマッチングに基づく手法や、ＮＮモデルを基盤にした検出器等を使用することができ、３次元的に顔のランドマークを取得することができれば、検出方法はこの限りではない。
【0070】
検知した３次元の顔のランドマークの情報は、顔領域検出部２１０が生成した素顔画像とともに、装着物画像加工部２２６へ送られる。装着物画像加工部２２６は、データ格納部４００から装着物画像４０２を取得し、３次元顔ランドマークに基づき、装着物を３次元的に加工（Ｓ１４０２）、顔画像にフィットするように３次元的に合成し（Ｓ１４０３）、生成した装着物合成顔画像を認証データ生成部２２３へ送る。
【0071】
Ｓ１４０２において、データ格納部４００から取得する装着物画像４０２は、３次元的に装着物を加工および３次元の顔画像に合成することができれば、３次元画像でも２次元画像でもどちらの形態でもよい。データ格納部４００に記録する素顔画像４０１および合成画像４０３の形態は、特徴抽出器により生成される特徴ベクトル、３次元画像、あるいは３次元画像を２次元画像に変換したもの、またはそれらの組み合わせのいずれかでもよい。特徴ベクトルを生成する際に、特徴抽出器に入力する画像形態は、３次元画像あるいは２次元画像でもよく、またはそれらを組み合わせたものを特徴抽出器に入力して統合的な特徴ベクトルを生成してもよい。
【0072】
図１５は、本実施形態３における顔認証部３００の構成図である。実施形態２の図９と比較すると、顔画像照合部３２０の内部処理が異なり、その他のブロックの動作は、実施形態２と共通である。本実施形態３においては、図９における顔ランドマーク検出部３２４と装着物画像加工部３２５が、それぞれ３次元顔ランドマーク検出部３２６と装着物画像加工部３２７に置き換わっている。
【0073】
【0074】
Ｓ１１０２において、装着物を装着していると判定された場合に、装着物画像取得部３２３において取得された素顔画像４０１および装着物画像４０２（Ｓ１１０３）は、３次元顔ランドマーク検出部３２６へ送られ、３次元的に顔のランドマークが検出される（Ｓ１４０１）。検出した３次元顔ランドマークの情報、素顔画像４０１、および装着物画像４０２は、装着物画像加工部３２７へ送られる。装着物画像４０２は３次元顔ランドマーク情報に基づき、装着物画像を３次元的に加工し（Ｓ１４０２）、素顔画像４０１にフィットするように３次元的に合成する（Ｓ１４０３）。
【0075】
＜実施の形態３：まとめ＞
本実施形態３に係る顔認証システム１は、実施形態１～２における２次元的に顔ランドマークを検出し装着物を合成する場合と比較し、３次元顔ランドマークに基づいて３次元的に装着物画像を加工および合成するので、顔向きが変化した際でも装着物の曲面部を忠実に再現でき、より高精度に装着物画像４０２を素顔画像４０１に対して合成することができる。これにより、装着物着用時を忠実に再現したことによる類似度の導出精度向上と顔の向きによる類似度のロバスト性向上が可能となる。また、顔照合時において、距離情報も照合用データ内に含まれることになるので、装着物を装着した場合のみでなく、素顔画像単体での認証精度も向上することができる。
本実施形態３に係る顔認証システム１は、実施形態１～２における２次元的に顔ランドマークを検出し装着物を合成する場合と比較し、３次元顔ランドマークに基づいて３次元的に装着物画像を加工および合成するので、顔向きが変化した際でも装着物の曲面部を忠実に再現でき、より高精度に装着物画像４０２を素顔画像４０１に対して合成することができる。これにより、装着物着用時を忠実に再現したことによる類似度の導出精度向上と顔の向きによる類似度のロバスト性向上が可能となる。また、顔照合時において、距離情報も照合用データ内に含まれることになるので、装着物を装着した場合のみでなく、素顔画像単体での認証精度も向上することができる。
【0076】
＜実施の形態４＞
本発明の実施形態４では、実施形態１における照合効率を向上させ、照合処理を高速化するための構成を説明する。実施形態１では、装着物のバリエーションが増加すると、データ格納部４００に登録する合成画像４０３の数も比例して増加するので（特に、１：Ｎ認証では、登録する人の分だけ登録顔データが増加）、データ格納部４００に格納されているすべての登録顔データに対して、順次照合をしようとすると、照合にかかる時間が増加する。本実施形態４においてはこれを高速化することを図る。
本発明の実施形態４では、実施形態１における照合効率を向上させ、照合処理を高速化するための構成を説明する。実施形態１では、装着物のバリエーションが増加すると、データ格納部４００に登録する合成画像４０３の数も比例して増加するので（特に、１：Ｎ認証では、登録する人の分だけ登録顔データが増加）、データ格納部４００に格納されているすべての登録顔データに対して、順次照合をしようとすると、照合にかかる時間が増加する。本実施形態４においてはこれを高速化することを図る。
【0077】
図１７は、本実施形態４における顔認証部３００の構成図である。実施形態１と異なる点は、顔画像照合部３２０内に、照合カテゴリ検出部３２８、照合データ取得部３２９が追加されていることである。照合カテゴリ検出部３２８を追加するメリットは、例えば、装着物の有無（素顔か、または装着物を装着しているのか）、装着物の種類（マスク、ゴーグル、眼鏡、帽子等）、および人物の属性（年齢、性別等）、顔の向き（ヨー、ロール、ピッチのうちいずれか１以上の組み合わせ）等をあらかじめ検知し、照合に用いる登録顔データのカテゴリをその検知した属性に対応するものに絞ることができる。これにより、全ての登録画像を順次認証する場合に比べ、照合効率が向上し、照合時間の高速化が可能である。
【0078】
【0079】
顔領域検出部３１０が生成した顔画像は、照合カテゴリ検出部３２８へ送られる。照合カテゴリ検出部３２８は、顔画像のカテゴリを検出する（Ｓ１８０１）。照合カテゴリの例として、装着物の有無、装着物の種類、人物の属性、顔の向き、のうちいずれかまたはそれらの組み合わせが挙げられる。カテゴリ検出手法としては、公知の幾何学形状パターンマッチング、ＮＮモデルに基づく検出器、またはその組み合わせを使用することができる。２つ以上ＮＮモデルの検出器を組み合わせた構成としてもよい。例えば、装着物の種類を判別するＮＮモデル検出器と性別の分類を判定する専用のＮＮモデル検出器の組み合わせといった例である。検出されたカテゴリの情報は、照合データ取得部３２９へ送られる。照合データ取得部３２９は、データ格納部４００から検出されたカテゴリに適した登録画像（素顔画像４０１あるいは合成画像４０３）を取得し（Ｓ１８０２）、認証データ生成部３２１へ送る。
【0080】
＜実施の形態４：まとめ＞
本実施形態４に係る顔認証システム１は、装着物の種別または認証対象者の属性に対応する素顔画像４０１あるいは合成画像４０３のみをデータ格納部４００から取得し、これを用いて顔認証を実施する。これにより、照合時に使用する登録顔データを絞り込むことができ、照合回数を少なくすることができるので、照合効率向上ならびに照合高速化が可能である。
本実施形態４に係る顔認証システム１は、装着物の種別または認証対象者の属性に対応する素顔画像４０１あるいは合成画像４０３のみをデータ格納部４００から取得し、これを用いて顔認証を実施する。これにより、照合時に使用する登録顔データを絞り込むことができ、照合回数を少なくすることができるので、照合効率向上ならびに照合高速化が可能である。
【0081】
＜実施の形態５＞
本発明の実施形態５では、顔の向きに対してよりロバストな顔認証を実施するために、顔向き変更を実施することにより、顔の向きに対するロバスト性を向上させた構成を説明する。サイネージを用いた複数ユーザの同時顔認証や、監視カメラ映像からの顔認証などの用途においては、認証時の顔の向きは正面顔に限定されず、顔向き角度のバリエーションが大きい。したがって例えば、顔が斜めを向いているときに認証しなければいけないケースがある。本実施形態５においては、このような場合の認証ロバスト性をより向上させることを図る。
本発明の実施形態５では、顔の向きに対してよりロバストな顔認証を実施するために、顔向き変更を実施することにより、顔の向きに対するロバスト性を向上させた構成を説明する。サイネージを用いた複数ユーザの同時顔認証や、監視カメラ映像からの顔認証などの用途においては、認証時の顔の向きは正面顔に限定されず、顔向き角度のバリエーションが大きい。したがって例えば、顔が斜めを向いているときに認証しなければいけないケースがある。本実施形態５においては、このような場合の認証ロバスト性をより向上させることを図る。
【0082】
図１９は、本実施形態５における顔登録部２００の構成図である。実施形態１と異なる点は、顔画像登録部２２０内に顔向き変更部２２７が追加されていることである。顔向き変更部２２７を追加するメリットは、データ格納部４００に様々な顔向きを持つ素顔画像４０１および合成画像４０３をあらかじめ多数格納することができ、認証時の顔の向きに関わらず、高精度な認証を実現できる点である。実施形態１と共通のブロックの説明は省略し、動作が異なる顔向き変更部２２７を以下に説明する。
【0083】
顔領域検出部２１０が生成した素顔画像は、まず顔向き変更部２２７へ送られる。顔向き変更部２２７は、入力された顔画像の顔向き角度を変更する。顔向きが変更された顔画像は、素顔画像４０１を生成する場合はそのまま認証データ生成部２２３へ送られ、合成画像４０３を生成する場合は顔ランドマーク検出部２２１へ送られる。
【0084】
顔向き変更部２２７は、公知のアフィン変換あるいはＦＦＤ法に基づく非剛体変形法による顔向き変形を使用することができる。ＦＦＤ非剛体変形法は、顔画像上に制御点を配置し、当該制御点を移動させることにより顔画像を変形する。制御点として顔ランドマークを用いる場合には、顔向き変更部２２７の前に顔ランドマーク検出部２２１を配置し、先に顔ランドマーク検知を実施してから顔向きを変更する構成としてもよい。また、顔向き変更部２２７において、複数の向きの顔画像を生成後、顔向きの異なる複数の顔画像から、その中間の向きの顔画像を補完し生成してもよい。例えば、正面と横向きの顔画像から、その中間の斜め向きの顔画像を生成する等である。
【0085】
図２０は、実施形態５の効果を示した図である。ここでは、例として顔向き変更部２２７により２方向に顔向きを変更した後、装着物画像４０２としてマスク画像を合成する例を示す。顔領域検出部２１０が生成した素顔画像２０－１に基づいて、顔向きの変更により、ロール方向の角度に傾いた素顔画像２０－２、およびヨー方向の角度に傾いた素顔画像２０－３が生成される。素顔画像２０－１、２０－２、２０－３のそれぞれに対して、顔ランドマーク検知を実施し、顔の向きにフィットするように装着物画像を加工し合成することにより、装着物合成顔画像２０－４、２０－５、２０－６がそれぞれ生成される。２０－１から２０－６をデータ格納部４００に記録することにより、認証時、顔向き変更前と変更後を合わせて３方向の顔向き角度に対応した顔認証が可能となる。図２０の例では２方向に顔向きを変更したが、顔向きを変更する方向は任意であり、その数も限定されない。
【0086】
本実施形態５において、実施形態４と組み合わせて認証時の照合を高速化してもよい。顔認証時の照合カテゴリ検知において、顔向きを検知し、検知された顔向きと同等の顔向きを持つ登録顔データをデータ格納部４００から取得することにより、照合効率を向上させることができる。
【0087】
図２１は、本実施形態５における顔認証部３００の構成図である。実施形態２と異なる点は、顔画像照合部３２０内に顔向き変更部３３１が追加され、装着物形状パターン検出部３２２が、装着物形状パターン検出部３３０に置き換わっていることである。実施形態２と比較し、顔向き変更部３３１を追加するメリットは、認証時の顔の向きに合わせて、データ格納部４００に登録された顔画像の顔向きを変更可能なことである。これにより、認証時のユーザの顔向き角度と同一の顔向き角度を持つ合成画像を生成できるので、類似度の導出精度が向上する。以下、実施形態２と共通のブロックの説明は省略し、動作が異なるブロックを説明する。
【0088】
顔領域検出部３１０が生成した顔画像から、装着物形状パターン検出部３３０により、認証時に装着している装着物のパターンと顔の向きが検知される。検知した顔向きの情報に基づき、取得した素顔画像４０１を顔向き変更部３３１が変更する。認証時の顔向き角度に合わせて顔向きが変更された素顔画像４０１は、装着物を加工、合成するために顔ランドマーク検出部３２４へ送られる。認証時にユーザが装着物を装着していなかった場合は、顔向きが変更された素顔画像４０１はそのまま認証データ生成部３２１へ送られる。
【0089】
装着物形状パターン検出部３３０は、図１１のＳ１１０１で説明した装着物形状パターンの検知に加え、顔向き検知も実施する。顔向き検知は、公知の顔ランドマークを検知し所定のポイントにおいて正面を向いた際の顔ランドマークとの比較を取り顔向き角度を推定する方法、あるいはＮＮモデルに基づく検出器等を使用することができる。
【0090】
＜実施の形態５：まとめ＞
本実施形態５に係る顔認証システム１は、顔向き変更部３３１により、実施形態１および実施形態２のどちらの場合においても、認証時に使用する素顔画像４０１および合成画像４０３の顔向き角度を柔軟に変更した上で、その画像をあらかじめデータ格納部４００に格納しておくことができる。これにより、認証時、ユーザの顔向きが様々な方向を向いていたとしても、高精度な顔認証が可能となり、顔向き角度に対してよりロバストな顔認証システムが実現できる。
本実施形態５に係る顔認証システム１は、顔向き変更部３３１により、実施形態１および実施形態２のどちらの場合においても、認証時に使用する素顔画像４０１および合成画像４０３の顔向き角度を柔軟に変更した上で、その画像をあらかじめデータ格納部４００に格納しておくことができる。これにより、認証時、ユーザの顔向きが様々な方向を向いていたとしても、高精度な顔認証が可能となり、顔向き角度に対してよりロバストな顔認証システムが実現できる。
【0091】
＜本発明の変形例について＞
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
本発明は、前述した実施形態に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施形態の構成の一部を他の実施形態の構成に置き換えることが可能であり、また、ある実施形態の構成に他の実施形態の構成を加えることも可能である。また、各実施形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0092】
以上の実施形態において、顔登録部２００、および顔認証部３００と一つの撮像部１００を接続する例を記載しているが、顔登録部２００、および顔認証部３００のそれぞれに対し撮像部１００を備える構成としてもよい。
【0093】
以上の実施形態において、顔認証システム１は一体で図示されているが、撮像部１００、顔登録部２００、顔認証部３００およびデータ格納部４００は、それぞれ空間的に異なる場所にあり、それぞれがデータ基地局２から無線でデータ通信するような形態でもよい。
【0094】
以上の実施形態において、認証データ生成部は、装着物の種類（装着物の有無を含む）、個人の属性、顔の向き、あるいはそれらの組み合わせごとに異なる特徴量抽出器を用いて、合成画像の特徴量を抽出してもよい。例えば実施形態１において、被認証者が装着物を装着していない場合は素顔画像用の特徴量抽出器を用い、被認証者がマスクを装着している場合はマスク用の特徴量抽出器を用いる。あるいは実施形態４において、被認証者の属性が「男性」であれば、男性用の特徴量抽出器を用いる。あるいは被認証者が「マスク、男性」であれば、マスクかつ男性用の特徴抽出器を用いる。顔画像を登録する際にも同様に、装着物の種類や個人の属性ごとに異なる特徴量抽出器を用いてもよい。
【0095】
以上の実施形態において、顔登録部２００と顔認証部３００（およびこれらの内部ブロックとして配置されている各機能部）は、これらの機能を実装した回路デバイスなどのハードウェアによって構成することもできるし、これらの機能を実装したソフトウェアを演算装置（例：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ：ＣＰＵ）が実行することによって構成することもできる。
【符号の説明】
【0096】
１：顔認証システム
２：データ基地局
１００：撮像部
２００：顔登録部
３００：顔認証部
４００：データ格納部
２１０、３１０：顔領域検出部
２２０：顔画像登録部
３２０：顔画像照合部
４０１：素顔画像
４０２：装着物画像
４０３：合成画像
２２１、３２４：顔ランドマーク検出部
２２２、３２５：装着物画像加工部
２２３、３２１：認証データ生成部
２２４：顔画像記録部
３２２：装着物形状パターン検出部
３２３：装着物画像取得部
１１０：３次元情報撮像部
２２５、３２６：３次元顔ランドマーク検出部
２２６、３２７：装着物画像加工部
３２８：照合カテゴリ検出部
３２９：照合データ取得部
２２７、３３１：顔向き変更部
２：データ基地局
１００：撮像部
２００：顔登録部
３００：顔認証部
４００：データ格納部
２１０、３１０：顔領域検出部
２２０：顔画像登録部
３２０：顔画像照合部
４０１：素顔画像
４０２：装着物画像
４０３：合成画像
２２１、３２４：顔ランドマーク検出部
２２２、３２５：装着物画像加工部
２２３、３２１：認証データ生成部
２２４：顔画像記録部
３２２：装着物形状パターン検出部
３２３：装着物画像取得部
１１０：３次元情報撮像部
２２５、３２６：３次元顔ランドマーク検出部
２２６、３２７：装着物画像加工部
３２８：照合カテゴリ検出部
３２９：照合データ取得部
２２７、３３１：顔向き変更部
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】