特許 7268725 画像処理装置、画像処理方法、及び画像処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-25

(45)【発行日】2023-05-08

(54)【発明の名称】画像処理装置、画像処理方法、及び画像処理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230426BHJP

【ＦＩ】

G06T7/00 660A

G06T7/00 510F

【請求項の数】 12

(21)【出願番号】P 2021514780

(86)(22)【出願日】2019-04-19

(86)【国際出願番号】 JP2019016869

(87)【国際公開番号】W WO2020213166

(87)【国際公開日】2020-10-22

【審査請求日】2021-06-22

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】100121083

【弁理士】

【氏名又は名称】青木 宏義

(74)【代理人】

【識別番号】100138391

【弁理士】

【氏名又は名称】天田 昌行

(74)【代理人】

【識別番号】100074099

【弁理士】

【氏名又は名称】大菅 義之

(72)【発明者】

【氏名】松濤 智明

【審査官】堀井 啓明

(56)【参考文献】

【文献】特開２００６－２３５７１８（ＪＰ，Ａ）

【文献】特開平１１－３３９０４８（ＪＰ，Ａ）

【文献】特開２０１５－０４１３０７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

被写体に対して顔の向きの変更が指示された際に前記被写体を撮影した、時系列の複数の画像を記憶する記憶部と、
前記複数の画像それぞれから顔領域を抽出し、前記顔領域において所定方向に並んでいる複数の画素に含まれる２つの画素それぞれの画素値の差分に基づいて、前記所定方向に並んでいる画素の画素値の前記所定方向における変化特性を求め、前記複数の画像それぞれから求められた前記所定方向における変化特性の時系列変化に基づいて、前記被写体の動作を特定する動作特定部と、
前記被写体の動作に基づいて、前記被写体の真正性を判定する判定部と、
を備えることを特徴とする画像処理装置。

【請求項2】

前記被写体に対して指示された前記顔の向きの変更は、前記顔を左又は右に向ける動作を表し、
前記所定方向は前記顔の左右の方向であり、
前記所定方向に並んでいる画素の画素値の前記所定方向における変化特性は、前記所定方向に並んでいる画素の画素値の左右対称性を表し、
前記被写体の動作は、前記被写体が前記顔を左又は右に向ける動作であることを特徴とする請求項１記載の画像処理装置。

【請求項3】

前記動作特定部は、前記顔領域の画素に対して画像補正処理を適用し、前記画像補正処理が適用された顔領域から、前記所定方向に並んでいる画素の画素値の前記所定方向における変化特性を求めることを特徴とする請求項１又は２記載の画像処理装置。

【請求項4】

前記動作特定部は、前記顔領域のアスペクト比をさらに求め、前記複数の画像それぞれから求められたアスペクト比の時系列変化に基づいて、前記被写体の動作を特定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記動作特定部は、前記顔領域のアスペクト比をさらに求め、前記左右対称性が所定範囲内であり、かつ、前記アスペクト比が所定範囲内である場合に、前記被写体を撮影した撮像装置に対して前記顔が正面を向いていると判定し、前記顔が正面を向いていると判定されたときの左右対称性及びアスペクト比を、基準左右対称性及び基準アスペクト比として前記記憶部にそれぞれ格納し、前記基準左右対称性及び前記基準アスペクト比が前記記憶部に格納された後に求められた左右対称性と、前記基準左右対称性との差分の時系列変化に基づいて、前記顔が左又は右のいずれを向いているかを特定することを特徴とする請求項２記載の画像処理装置。

【請求項6】

前記動作特定部は、前記基準左右対称性及び前記基準アスペクト比が前記記憶部に格納された後に求められたアスペクト比と、前記基準アスペクト比との差分の時系列変化に基づいて、前記顔が上又は下のいずれを向いているかを特定することを特徴とする請求項５記載の画像処理装置。

【請求項7】

前記複数の画像それぞれから抽出された顔領域のうち、前記顔が正面を向いていると判定された顔領域の画像を、登録対象又は認証対象の顔画像として選択する選択部をさらに備えることを特徴とする請求項５又は６記載の画像処理装置。

【請求項8】

前記判定部は、前記被写体に対して前記顔の向きの変更が複数回指示され、かつ、前記動作特定部によって特定された前記被写体の動作が前記被写体に対して指示された前記顔の向きの変更と一致した回数が、所定値よりも大きい場合、前記被写体は真正であると判定することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記判定部は、前記被写体に対して前記顔の向きの変更が指示された後、所定時間内に撮影された画像から、前記顔の向きの変更と一致する被写体の動作が特定されない場合、前記被写体は真正ではないと判定することを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

前記判定部は、前記顔領域の鮮明性を求め、前記複数の画像それぞれから求められた鮮明性の時系列変化に基づいて、前記被写体の真正性を判定することを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。

【請求項11】

コンピュータによって実行される画像処理方法であって、
前記コンピュータが、
被写体に対して顔の向きの変更が指示された際に前記被写体を撮影した、時系列の複数の画像それぞれから、顔領域を抽出し、
前記顔領域において所定方向に並んでいる複数の画素に含まれる２つの画素それぞれの画素値の差分に基づいて、前記所定方向に並んでいる画素の画素値の前記所定方向における変化特性を求め、
前記複数の画像それぞれから求められた前記所定方向における変化特性の時系列変化に基づいて、前記被写体の動作を特定し、
前記被写体の動作に基づいて、前記被写体の真正性を判定する、
ことを特徴とする画像処理方法。

【請求項12】

被写体に対して顔の向きの変更が指示された際に前記被写体を撮影した、時系列の複数の画像それぞれから、顔領域を抽出し、
前記顔領域において所定方向に並んでいる複数の画素に含まれる２つの画素それぞれの画素値の差分に基づいて、前記所定方向に並んでいる画素の画素値の前記所定方向における変化特性を求め、
前記複数の画像それぞれから求められた前記所定方向における変化特性の時系列変化に基づいて、前記被写体の動作を特定し、
前記被写体の動作に基づいて、前記被写体の真正性を判定する、
処理をコンピュータに実行させるための画像処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及び画像処理プログラムに関する。

【背景技術】

【0002】

生体認証技術は、認証対象者の生体情報を利用して、本人認証を行う技術である。生体認証技術には、顔認証技術、指紋認証技術、静脈認証技術、声紋認証技術等が含まれる。

【0003】

顔認証技術では、本人認証を行う際に、認証対象者の顔画像から得られる生体情報が用いられる。この場合、他人が本人の写真を用いて本人認証を受けることで、本人になりすますことが可能なため、他の生体認証技術よりも容易になりすまし攻撃を行うことができる。なりすまし攻撃を防ぐためには、認証対象者から取得された顔画像が本物の顔であるか否かを判定する真贋判定を行うことが望ましい。

【0004】

顔画像の真贋判定に関して、顔画像から顔の部位の位置を示す顔特徴点を検出し、認証対象者が所定の動作を行ったときの顔特徴点の動きを利用して、真贋判定を行う技術が知られている（例えば、特許文献１及び特許文献２を参照）。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２００８－７１１７９号公報

【文献】特開２００３－９９７６３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来の顔特徴点に基づく真贋判定では、写真を用いたなりすまし攻撃を完全に防ぐことは困難であり、正しい判定結果が得られないことがある。

【0007】

なお、かかる問題は、顔画像を用いた本人認証に限らず、顔画像を用いた様々な情報処理において生ずるものである。

【0008】

１つの側面において、本発明は、被写体を撮影した画像を用いて被写体の真正性を判定することを目的とする。

【課題を解決するための手段】

【0009】

１つの案では、画像処理装置は、記憶部、動作特定部、及び判定部を含む。記憶部は、被写体に対して顔の向きの変更が指示された際に被写体を撮影した、時系列の複数の画像を記憶する。

【0010】

動作特定部は、複数の画像それぞれから顔領域を抽出し、顔領域において所定方向に並んでいる複数の画素の画素値の変化特性を求め、複数の画像それぞれから求められた変化特性の時系列変化に基づいて、被写体の動作を特定する。判定部は、被写体の動作に基づいて、被写体の真正性を判定する。

【発明の効果】

【0011】

１つの側面によれば、被写体を撮影した画像を用いて被写体の真正性を判定することができる。

【図面の簡単な説明】

【0012】

【図1】画像処理装置の機能的構成図である。

【図2】画像処理のフローチャートである。

【図3】画像処理装置の具体例を示す機能的構成図である。

【図4】顔画像を示す図である。

【図5】左右対称性の時系列変化を示す図である。

【図6】アスペクト比の時系列変化を示す図である。

【図7】画像処理の具体例を示すフローチャートである。

【図8】動作特定処理のフローチャートである。

【図9】真贋判定処理のフローチャートである。

【図10】情報処理装置の構成図である。

【発明を実施するための形態】

【0013】

以下、図面を参照しながら、実施形態を詳細に説明する。
特許文献１の技術では、顔特徴点として目、口、及び鼻の位置が用いられ、顔画像の登録時に、登録対象者に所定の顔の動作を行わせ、そのときの目、口、及び鼻の動きが登録される。そして、認証時に、認証対象者に同じ動作を行わせ、そのときの目、口、及び鼻の動きから、顔画像が本物の顔であるか否かが判定される。

【0014】

特許文献２の技術では、顔特徴点として目及び鼻孔の位置が用いられ、認証対象者に任意又は所定の方向を向く動作を行わせ、動作中の目及び鼻孔の動きから、顔画像が本物の顔であるか否かが判定される。

【0015】

しかしながら、顔特徴点に基づく真贋判定では、写真を用いたなりすまし攻撃を完全に防ぐことは困難であり、正しい判定結果が得られないことがある。例えば、他人が写真をかざした場合でも、その写真を撮影した画像から顔特徴点を検出することは可能であり、写真に対して平行移動、回転移動、折り曲げ等の変化を加えることで、顔特徴点の動きを再現することができる。

【0016】

また、顔特徴点は常に正しく検出可能であるとは限らない。例えば、顔が大きく左又は右を向いた場合の片方の目、顔が大きく下を向いた場合の鼻孔等を、正確に検出することは困難である。このため、本人が指示通りの動作を行ったとしても、その動作が正しく判定されないことがある。

【0017】

図１は、実施形態の画像処理装置の機能的構成例を示している。図１の画像処理装置１０１は、記憶部１１１、動作特定部１１２、及び判定部１１３を含む。記憶部１１１は、被写体に対して顔の向きの変更が指示された際に被写体を撮影した、時系列の複数の画像を記憶する。動作特定部１１２及び判定部１１３は、記憶部１１１が記憶する画像を用いて、画像処理を行う。

【0018】

図２は、図１の画像処理装置１０１が行う画像処理の例を示すフローチャートである。まず、動作特定部１１２は、複数の画像それぞれから顔領域を抽出する（ステップ２０１）。

【0019】

次に、動作特定部１１２は、顔領域において所定方向に並んでいる複数の画素の画素値の変化特性を求め（ステップ２０２）、複数の画像それぞれから求められた変化特性の時系列変化に基づいて、被写体の動作を特定する（ステップ２０３）。

【0020】

そして、判定部１１３は、被写体の動作に基づいて、被写体の真正性を判定する（ステップ２０４）。

【0021】

図１の画像処理装置１０１によれば、被写体を撮影した画像を用いて被写体の真正性を判定することができる。

【0022】

図３は、図１の画像処理装置１０１の具体例を示す機能的構成例を示している。図３の画像処理装置３０１は、記憶部３１１、画像取得部３１２、表示部３１３、動作指示部３１４、動作特定部３１５、判定部３１６、選択部３１７、特徴抽出部３１８、登録部３１９、及び認証部３２０を含む。記憶部３１１、動作特定部３１５、及び判定部３１６は、図１の記憶部１１１、動作特定部１１２、及び判定部１１３にそれぞれ対応する。

【0023】

撮像装置３０２は、例えば、ＣＣＤ（Charged-Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）等の撮像素子を有するカメラであり、被写体の映像を撮影する。撮像装置３０２によって撮影された映像には、時系列の複数の画像が含まれている。各時刻の画像は、フレームと呼ばれることもある。

【0024】

画像処理装置３０１は、例えば、生体認証装置であり、登録対象者又は認証対象者の画像に基づく生体情報処理を行う。生体情報処理が、登録対象者の生体情報を登録する登録処理である場合、被写体は登録対象者であり、生体情報処理が、認証対象者を認証する認証処理である場合、被写体は認証対象者である。一方、他人が本人の写真を用いてなりすまし攻撃を行う場合、被写体は本人の写真である。

【0025】

動作指示部３１４は、登録処理又は認証処理において、被写体に対して、顔の向きの変更等の特定の動作を行うように指示する。顔の向きの変更には、撮像装置３０２に向かって正面に顔を向ける動作、左又は右に顔を向ける動作、上又は下に顔を向ける動作等が含まれる。動作指示部３１４は、テキストメッセージ、イラスト、音声メッセージ等を用いて、被写体に対して特定の動作を行うように指示することができる。

【0026】

表示部３１３は、動作指示部３１４から出力されるテキストメッセージ又はイラストを画面上に表示することで、被写体に対して指示を通知する。

【0027】

撮像装置３０２は、被写体が指示された動作を行っている間に被写体の顔を撮影し、撮影した映像を画像処理装置３０１へ出力する。画像取得部３１２は、撮像装置３０２が出力する映像から、時系列のＮ枚（Ｎは２以上の整数）の画像３３１を取得して、記憶部３１１に格納する。

【0028】

動作特定部３１５は、各画像３３１から、画像３３１に写っている顔の位置を検出し、顔が含まれる矩形の顔領域を抽出して、顔領域の画像である顔画像を生成する。Ｎ枚の画像３３１からＮ枚の顔画像が生成される。このとき、動作特定部３１５は、各画像３３１から左右の目と鼻の位置を検出し、左右の目の位置が水平になり、鼻の位置が顔画像の中央になるような、顔画像を生成する。

【0029】

図４は、画像３３１から生成された顔画像の例を示している。図４の顔画像にはｘ軸及びｙ軸が座標軸として設定されており、ｘ軸は、顔画像の短辺の方向（水平方向）を表し、ｙ軸は、顔画像の長辺の方向（垂直方向）を表す。短辺の方向は顔の左右の方向であり、長辺の方向は顔の上下の方向である。

【0030】

鼻は、短辺の中点を通る中心線４０１上に位置し、左右の目は、短辺と平行な直線上に並んでいる。顔画像は、中心線４０１によって、左側領域４１１と右側領域４１２とに分割される。

【0031】

動作特定部３１５は、Ｎ枚の顔画像各々において、左右の方向に並んでいる複数の画素の画素値の変化特性を求め、Ｎ枚の顔画像から求められた画素値の変化特性の時系列変化を求める。また、動作特定部３１５は、Ｎ枚の顔画像各々のアスペクト比を求め、Ｎ枚の顔画像から求められたアスペクト比の時系列変化を求める。

【0032】

そして、動作特定部３１５は、画素値の変化特性の時系列変化と、アスペクト比の時系列変化とを用いて、被写体の動作を特定し、特定された動作を示す動作情報３３３を生成して、記憶部３１１に格納する。例えば、動作情報３３３は、正面に顔を向ける動作、左に顔を向ける動作、右に顔を向ける動作、上に顔を向ける動作、下に顔を向ける動作等を示す。

【0033】

判定部３１６は、動作情報３３３を用いて、正解カウンタ３３４及び不正解カウンタ３３５を更新するとともに、画素値の変化特性の時系列変化と、アスペクト比の時系列変化とを用いて、異常カウンタ３３６を更新する。

【0034】

正解カウンタ３３４、不正解カウンタ３３５、及び異常カウンタ３３６は、被写体に対して顔の向きの変更が複数回指示された場合に用いられる。正解カウンタ３３４は、動作情報３３３が示す動作が被写体に対して指示された動作と一致した回数を示す。不正解カウンタ３３５は、動作情報３３３が示す動作が被写体に対して指示された動作と一致しない回数を示す。

【0035】

また、異常カウンタ３３６は、被写体の不適切な動きが検出された回数を示す。例えば、他人が本人の写真をかざし、写真の向きを変えたり、写真を変形させたりすることで、指示された動作の再現を試みる行為が、不適切な動きとして検出される。

【0036】

判定部３１６は、正解カウンタ３３４、不正解カウンタ３３５、及び異常カウンタ３３６が示すカウント値を用いて、被写体の真贋判定を行う。真贋判定では、被写体が真正であるか否か、すなわち、被写体が本物又は偽物のいずれであるかが判定される。

【0037】

例えば、判定部３１６は、正解カウンタ３３４のカウント値が所定値よりも大きい場合、被写体は本物であると判定し、不正解カウンタ３３５のカウント値が所定値よりも大きい場合、被写体は偽物であると判定する。そして、判定部３１６は、被写体が本物又は偽物のいずれであるかを示す判定結果３３７を、記憶部３１１に格納する。

【0038】

被写体に対して顔の向きの変更を複数回指示し、被写体が指示された動作を行った回数をカウントすることで、１回の動作に基づいて真贋判定を行う場合よりも、判定精度が向上する。

【0039】

選択部３１７は、判定結果３３７が本物を示している場合、Ｎ枚の画像３３１からそれぞれ生成されたＮ枚の顔画像の中から、処理対象画像を選択する。例えば、処理対象画像としては、顔が正面を向いていると判定された顔画像が選択される。

【0040】

特徴抽出部３１８は、処理対象画像に写っている顔の特徴情報を抽出する。例えば、顔の特徴情報としては、顔の各部位の位置を示す位置情報を用いることができる。顔が正面を向いている顔画像を処理対象画像として用いることで、登録処理及び認証処理に適した特徴情報を抽出することができる。

【0041】

登録処理において、登録部３１９は、抽出された特徴情報を、登録対象者の登録生体情報３３８として記憶部３１１に格納する。認証処理において、認証部３２０は、抽出された特徴情報を登録生体情報３３８と照合することで、認証対象者に対する認証を行う。

【0042】

顔画像における画素値の変化特性の時系列変化、及び顔画像のアスペクト比の時系列変化は、写真等を用いても再現することは難しい。したがって、このような情報を用いて真贋判定を行うことで、本物の顔と偽物とを精度良く識別することができ、なりすまし攻撃に対して頑健で安全な顔認証が実現される。

【0043】

動作特定部３１５は、顔画像領域は、顔全体の画像の代わりに、顔の部分領域の画像を、顔画像として用いることもできる。顔の部分領域は、目から顎にかけての部分を含む領域であってもよい。顔の部分領域を用いることで、髪の毛等のように、人物又は撮影日時によって大きく変化する部位の影響を低減することができる。

【0044】

また、動作特定部３１５は、顔画像の画素に対して所定の画像補正処理を適用し、画像補正処理が適用された顔画像を用いて、画素値の変化特性を求めることもできる。画像補正処理としては、周波数フィルタによるフィルタ処理、ヒストグラム平坦化による輝度補正処理等が用いられる。例えば、ブラーフィルタ（ローパスフィルタ）を適用することで、ホクロ等の微小な部位の影響を低減することができ、ヒストグラム平坦化処理を適用することで、光源の影響を低減することができる。

【0045】

顔画像の左右の方向における画素値の変化特性としては、画素値の左右対称性を用いることができる。動作特定部３１５は、例えば、次式により、左右対称性Ｓｙｍを計算する。

【0046】

【数1】

【0047】

【数2】

【0048】

Ｗは、顔画像の幅を表し、Ｈは、顔画像の高さを表す。式（１）のＩ（ｘ，ｙ）は、顔画像の座標（ｘ，ｙ）における輝度値を表し、Ｉ（Ｗ－ｘ＋１，ｙ）は、顔画像を左右に２等分する２等分線に関して、座標（ｘ，ｙ）と対称な位置における輝度値を表す。

【0049】

ｗｅｉｇｈｔ（ｘ）は、座標ｘに依存する重み係数である。顔画像の中央（ｘ＝Ｗ／２）から離れるほど、輝度値は髪の毛等の左右対称性が高い部位の影響を受けやすいため、ｗｅｉｇｈｔ（ｘ）は、ｘ座標が中央に近いほど大きな値に設定される。

【0050】

この場合、式（１）のＤｉｆｆは、顔画像の２等分線に関して対称な位置に存在する２つの画素の輝度値の差分に関する情報を、顔画像全体について加算した総和を表す。式（２）のＳｙｍは、Ｄｉｆｆが小さいほど大きくなり、顔画像が完全に左右対称である場合に最大となる。Ｓｙｍの最大値は１であり、最小値は０である。動作特定部３１５は、各画素の輝度値の代わりに、各画素のＲＧＢ、色差信号等を用いて、Ｄｉｆｆを計算してもよい。

【0051】

人物の顔は、正面を向いた場合に左右対称性が大きくなり、左又は右を向いた場合に左右対称性が小さくなる。顔が上又は下を向いた場合は、左右対称性が保たれる。したがって、被写体に対して所定の順序で顔の向きを変更する動作を指示し、被写体が指示された動作を行っている間に顔画像からＳｙｍを計算することで、左右対称性の時系列変化を求めることができる。

【0052】

図５は、被写体が正面、左、正面、右、及び正面の順序で顔の向きを変更した場合の左右対称性の時系列変化の例を示している。横軸は、左右の方向における顔の角度を表す。０°は正面を表し、正の値は被写体から見て左の向きを表し、負の値は被写体から見て右の向きを表す。縦軸は、左右対称性Ｓｙｍを表す。

【0053】

図５（ａ）は、被写体が本物の顔である場合の左右対称性の時系列変化の例を示している。この場合、時系列変化は滑らかな曲線となって現れ、左又は右を向く角度が大きくなるほど、左右対称性が小さくなる。

【0054】

図５（ｂ）は、被写体が写真であり、他人が写真を左右に回転させて本物の顔の動きを再現しようと試みた場合の左右対称性の時系列変化の例を示している。この場合、生成される顔画像は元の写真をアフィン変換したものになるため、左右対称性はほとんど変化しない。

【0055】

図５（ｃ）は、被写体が写真であり、他人が写真を回転させる際に折り曲げる等の形状的変化を加えた場合の左右対称性の時系列変化の例を示している。この場合、写真に形状的変化を加えることで、左右対称性が小さくなっている。しかし、２次元画像である写真の形状的変化では、左右対称性の急激な変化が発生するため、図５（ａ）のような滑らかな曲線を再現することは困難である。

【0056】

そこで、動作特定部３１５は、図５（ａ）のような時系列変化が検出された場合に、被写体が左又は右を向く動作を行ったものと判定する。例えば、動作特定部３１５は、Ｓｙｍの時系列変化に対する周波数解析を行うことで、図５（ａ）の時系列変化を検出することができる。

【0057】

また、動作特定部３１５は、不特定の複数の人物に同じ動作を行わせたときの各角度におけるＳｙｍの統計値を記録しておき、被写体の顔画像から計算されたＳｙｍと統計値との誤差を評価することで、図５（ａ）の時系列変化を検出することもできる。統計値としては、平均値、中央値、最頻値等が用いられる。

【0058】

このように、画素値の左右対称性の時系列変化を利用することで、被写体が左又は右を向いている状態を検出することができる。左右対称性が減少したことによって、被写体が左又は右を向いている状態が検出された場合、動作特定部３１５は、例えば、以下のような方法を用いて、顔が左又は右のいずれを向いているかを特定する。
（Ａ１）動作特定部３１５は、顔画像に写っている鼻が、左右の瞳の中央の位置よりも左にある場合、被写体の顔が右を向いていると判定し、鼻が左右の瞳の中央の位置よりも右にある場合、被写体の顔が左を向いていると判定する。
（Ａ２）動作特定部３１５は、顔画像の左側領域の輝度値の平均値ＬＶと、顔画像の右側領域の輝度値の平均値ＲＶとを比較する。そして、動作特定部３１５は、ＬＶがＲＶよりも大きい場合、被写体の顔が右を向いていると判定し、ＲＶがＬＶよりも大きい場合、被写体の顔が左を向いていると判定する。

【0059】

動作特定部３１５は、各顔画像の上下の方向のように、左右以外の方向に並んでいる複数の画素の画素値の変化特性を求め、その変化特性の時系列変化を用いて、被写体の動作を特定してもよい。

【0060】

顔画像のアスペクト比は、顔画像の幅Ｗに対する高さＨの比率Ｈ／Ｗを表し、高さＨを幅Ｗで除算することで求めることができる。顔が上又は下を向いている場合、顔画像の幅Ｗは、顔が正面を向いている顔画像とほとんど変わらないが、高さＨは、正面を向いている顔画像よりも小さくなる。したがって、被写体に対して所定の順序で顔の向きを変更する動作を指示し、被写体が指示された動作を行っている間に顔画像からアスペクト比を計算することで、アスペクト比の時系列変化を求めることができる。

【0061】

図６は、被写体が正面、上、正面、下、及び正面の順序で顔の向きを変更した場合のアスペクト比の時系列変化の例を示している。横軸は、上下の方向における顔の角度を表す。０°は正面を表し、正の値は上向きを表し、負の値は下向きを表す。縦軸は、アスペクト比を表す。

【0062】

例えば、動作特定部３１５は、アスペクト比の時系列変化に対する周波数解析を行うことで、図６のような時系列変化を検出することができる。また、動作特定部３１５は、不特定の複数の人物に同じ動作を行わせたときの各角度におけるアスペクト比の統計値を記録しておき、被写体の顔画像から計算されたアスペクト比と統計値との誤差を評価することで、図６の時系列変化を検出することもできる。このように、顔画像のアスペクト比の時系列変化を利用することで、被写体が上又は下を向いている状態を検出することができる。

【0063】

顔が正面を向いているときの左右対称性及びアスペクト比を基準値として用いて、各時刻における左右対称性及びアスペクト比を評価することも可能である。この場合、動作指示部３１４は、被写体に対して正面を向くように指示し、動作特定部３１５は、左右対称性が所定範囲Ｒ１内であり、かつ、アスペクト比が所定範囲Ｒ２内である場合に、顔が正面を向いていると判定する。そして、そのときの左右対称性及びアスペクト比を、それぞれ、基準左右対称性及び基準アスペクト比として記憶部３１１に格納する。

【0064】

例えば、動作特定部３１５は、登録処理において登録対象者が正面を向いている顔画像から計算された左右対称性、又は正面を向いている複数の人物の顔画像から計算された左右対称性に対して、許容誤差を設定することで、所定範囲Ｒ１を決定する。また、動作特定部３１５は、登録処理において登録対象者が正面を向いている顔画像から計算されたアスペクト比、又は正面を向いている複数の人物の顔画像から計算されたアスペクト比に対して、許容誤差を設定することで、所定範囲Ｒ２を決定する。

【0065】

次に、動作指示部３１４は、被写体に対して左、右、上、又は下を向くように指示する。動作特定部３１５は、顔画像から求められた左右対称性と基準左右対称性との差分Ｄ１を計算し、顔画像から求められたアスペクト比と基準アスペクト比との差分Ｄ２を計算する。そして、動作特定部３１５は、差分Ｄ１の時系列変化に基づいて、顔が左又は右のいずれを向いているかを特定し、差分Ｄ２の時系列変化に基づいて、顔が上又は下のいずれを向いているかを特定する。

【0066】

顔が正面を向いているときの左右対称性及びアスペクト比は、顔の部位の位置の個人差、撮影環境等の影響を受けるが、差分Ｄ１及び差分Ｄ２を用いることでそれらの影響が吸収され、顔の向きを精度良く特定することが可能になる。

【0067】

動作指示部３１４が被写体に対して動作を指示した指示回数を記録しておき、指示回数に対する、正解カウンタ３３４及び不正解カウンタ３３５のカウント値の割合に基づいて、被写体の真贋判定を行うことも可能である。指示回数に対する正解カウンタ３３４のカウント値の割合は、正解率を表し、指示回数に対する不正解カウンタ３３５のカウント値の割合は、不正解率を表す。

【0068】

例えば、判定部３１６は、正解率が所定値よりも大きい場合、被写体は本物であると判定する。一方、正解率が所定値以下であり、かつ、不正解率が所定値よりも大きい場合、判定部３１６は、被写体は偽物であると判定する。

【0069】

判定部３１６は、Ｎ枚の顔画像それぞれの鮮明性を求め、それらの顔画像の鮮明性の時系列変化に基づいて、被写体の真贋判定を行うこともできる。画像の鮮明性は、画像のボケ又はブレの大きさを表し、例えば、ＤＯＧ（Difference of Gaussian）等を用いて計算することができる。ボケ又はブレが小さいほど、鮮明性は大きくなる。

【0070】

被写体が本物である場合、顔画像の左右対称性、アスペクト比、及び鮮明性は、時系列に滑らかに変化するが、偽物の被写体による不適切な動きが行われた場合、図５（ｃ）に示したように、急激な変化が生じやすくなる。

【0071】

そこで、判定部３１６は、過去のＭ枚の顔画像の左右対称性、アスペクト比、及び鮮明性それぞれについて、最大値と最小値との差分を計算し、いずれかの差分が所定値よりも大きい場合、不適切な動きが行われたものと判定する。Ｍは、２以上Ｎ以下の整数であってもよい。そして、判定部３１６は、異常カウンタ３３６をインクリメントし、異常カウンタ３３６のカウント値が閾値を超えた場合、被写体は偽物であると判定する。このように、顔画像の左右対称性、アスペクト比、及び鮮明性の時系列変化を利用することで、不適切な動きを検出することができる。

【0072】

一方、左右対称性、アスペクト比、及び鮮明性の時系列変化がほとんど見られない場合、被写体が指示に従わずに静止しているか、又は、被写体が偽物であるために変化が現れない可能性がある。このような場合、被写体が本物であると判定することは好ましくない。

【0073】

そこで、判定部３１６は、過去のＭ枚の顔画像の左右対称性、アスペクト比、及び鮮明性それぞれについて、最大値と最小値との差分を計算し、すべての差分が所定値よりも小さい場合、静止状態検出カウンタをインクリメントする。そして、判定部３１６は、静止状態検出カウンタのカウント値が閾値を超えた場合、被写体は偽物であると判定する。

【0074】

選択部３１７は、判定結果３３７が本物を示している場合、顔が正面を向いていると判定された顔画像のうち、所定値よりも大きな鮮明性を有する顔画像を、処理対象画像として選択してもよい。

【0075】

図７は、図３の画像処理装置３０１が行う画像処理の具体例を示すフローチャートである。まず、動作指示部３１４は、被写体に対して顔の向きの変更等の動作を指示し（ステップ９０１）、画像取得部３１２は、撮像装置３０２が出力する映像から時系列のＮ枚の画像３３１を取得する（ステップ９０２）。

【0076】

次に、動作特定部３１５は、Ｎ枚の画像３３１各々から顔画像を生成し（ステップ９０３）、Ｎ枚の顔画像の一部又は全部を用いて被写体の動作を特定して、特定された動作を示す動作情報３３３を生成する（ステップ９０４）。

【0077】

次に、判定部３１６は、動作情報３３３を用いて真贋判定を行う（ステップ９０５）。判定部３１６は、被写体が本物である場合、被写体が本物であることを示す判定結果３３７を生成し、被写体が偽物である場合、被写体が偽物であることを示す判定結果３３７を生成する。本物又は偽物のいずれであるかが不明な場合、判定結果３３７は生成されない。

【0078】

選択部３１７は、判定結果３３７が本物を示しているか否かをチェックし（ステップ９０６）、判定結果３３７が本物を示している場合（ステップ９０６，ＹＥＳ）、Ｎ枚の顔画像の中から処理対象画像を選択する（ステップ９０７）。そして、特徴抽出部３１８は、選択された処理対象画像から顔の特徴情報を抽出する。

【0079】

次に、登録部３１９又は認証部３２０は、生体情報処理を行う（ステップ９０８）。生体情報処理が登録処理である場合、登録部３１９は、抽出された特徴情報を、被写体の登録生体情報３３８として記憶部３１１に登録する。生体情報処理が認証処理である場合、認証部３２０は、抽出された特徴情報を登録生体情報３３８と照合することで、被写体に対する認証を行う。

【0080】

判定結果３３７が生成されていないか、又は判定結果３３７が本物を示していない場合（ステップ９０６，ＮＯ）、動作指示部３１４は、判定結果３３７が偽物を示しているか否かをチェックする（ステップ９０９）。判定結果３３７が偽物を示している場合（ステップ９０９，ＹＥＳ）、動作指示部３１４は、エラー処理を行う（ステップ９１０）。エラー処理において、動作指示部３１４は、被写体が真正ではないこと示すエラー情報を生成し、表示部３１３は、そのエラー情報を画面上に表示する。

【0081】

判定結果３３７が生成されていない場合（ステップ９０９，ＮＯ）、画像処理装置３０１は、ステップ９０１以降の処理を繰り返す。

【0082】

図８は、図７のステップ９０４における動作特定処理の例を示すフローチャートである。まず、動作特定部３１５は、Ｎ枚の顔画像の中から１枚の顔画像を選択して、選択された顔画像の左右対称性を計算する（ステップ１００１）。そして、動作特定部３１５は、左右対称性の時系列変化から顔の向きを判定し（ステップ１００２）、顔が左又は右を向いているか否かをチェックする（ステップ１００３）。顔が左又は右を向いている場合（ステップ１００３，ＹＥＳ）、動作特定部３１５は、左又は右に顔を向ける動作を示す動作情報３３３を生成する（ステップ１０１０）。

【0083】

顔が左又は右を向いていない場合（ステップ１００３，ＮＯ）、動作特定部３１５は、選択された顔画像のアスペクト比を計算する（ステップ１００４）。そして、動作特定部３１５は、アスペクト比の時系列変化から顔の向きを判定し（ステップ１００５）、顔が上又は下を向いているか否かをチェックする（ステップ１００６）。顔が上又は下を向いている場合（ステップ１００６，ＹＥＳ）、動作特定部３１５は、上又は下に顔を向ける動作を示す動作情報３３３を生成する（ステップ１０１０）。

【0084】

顔が上又は下を向いていない場合（ステップ１００６，ＮＯ）、動作特定部３１５は、左右対称性及びアスペクト比の時系列変化から顔の向きを判定し（ステップ１００７）、顔が正面を向いているか否かをチェックする（ステップ１００８）。顔が正面を向いている場合（ステップ１００８，ＹＥＳ）、動作特定部３１５は、正面に顔を向ける動作を示す動作情報３３３を生成する（ステップ１０１０）。

【0085】

顔が正面を向いていない場合（ステップ１００８，ＮＯ）、動作特定部３１５は、選択された顔画像が最後の顔画像であるか否かをチェックする（ステップ１００９）。未選択の顔画像が残っている場合（ステップ１００９，ＮＯ）、動作特定部３１５は、次の顔画像について、ステップ１００１以降の処理を繰り返す。そして、選択された顔画像が最後の顔画像である場合（ステップ１００９，ＹＥＳ）、動作特定部３１５は、処理を終了する。

【0086】

図９は、図７のステップ９０５における真贋判定処理の例を示すフローチャートである。まず、判定部３１６は、過去のＭ枚の顔画像それぞれの鮮明性を求め、それらの顔画像の左右対称性、アスペクト比、及び鮮明性それぞれについて、最大値と最小値との差分を計算する。そして、判定部３１６は、計算された差分に基づいて、被写体が不適切な動きを行ったか否かを判定する（ステップ１１０１）。

【0087】

被写体が不適切な動きを行っていない場合（ステップ１１０１，ＮＯ）、判定部３１６は、動作情報３３３が示す被写体の動作が、動作指示部３１４の指示通りであるか否かをチェックする（ステップ１１０２）。被写体の動作が指示通りである場合（ステップ１１０２，ＹＥＳ）、判定部３１６は、正解カウンタ３３４を１だけインクリメントする（ステップ１１０３）。一方、被写体の動作が指示通りでない場合（ステップ１１０２，ＮＯ）、判定部３１６は、不正解カウンタ３３５を１だけインクリメントする（ステップ１１０４）。

【0088】

次に、判定部３１６は、正解カウンタ３３４のカウント値を閾値ＴＨ１と比較する（ステップ１１０５）。正解カウンタ３３４のカウント値がＴＨ１よりも大きい場合（ステップ１１０５，ＹＥＳ）、判定部３１６は、被写体が本物であると判定し、被写体が本物であることを示す判定結果３３７を生成する（ステップ１１０７）。

【0089】

一方、正解カウンタ３３４のカウント値がＴＨ１以下である場合（ステップ１１０５，ＮＯ）、判定部３１６は、不正解カウンタ３３５のカウント値を閾値ＴＨ２と比較する（ステップ１１０６）。不正解カウンタ３３５のカウント値がＴＨ２よりも大きい場合（ステップ１１０６，ＹＥＳ）、判定部３１６は、被写体が偽物であると判定し、被写体が偽物であることを示す判定結果３３７を生成する（ステップ１１０８）。

【0090】

一方、不正解カウンタ３３５のカウント値がＴＨ２以下である場合（ステップ１１０６，ＮＯ）、判定部３１６は、処理を終了する。

【0091】

被写体が不適切な動きを行った場合（ステップ１１０１，ＹＥＳ）、判定部３１６は、異常カウンタ３３６を１だけインクリメントし（ステップ１１０９）、異常カウンタ３３６のカウント値を閾値ＴＨ３と比較する（ステップ１１１０）。異常カウンタ３３６のカウント値がＴＨ３よりも大きい場合（ステップ１１１０，ＹＥＳ）、判定部３１６は、被写体が偽物であると判定し、被写体が偽物であることを示す判定結果３３７を生成する（ステップ１１１１）。

【0092】

一方、異常カウンタ３３６のカウント値がＴＨ３以下である場合（ステップ１１１０，ＮＯ）、判定部３１６は、処理を終了する。

【0093】

なお、真贋判定処理において、被写体の動作に対してタイムアウト時間を設けることも可能である。この場合、判定部３１６は、動作指示部３１４が被写体に対して顔の向きの変更を指示した後、所定時間内に撮影された画像３３１から、指示された顔の向きの変更と一致する被写体の動作が特定されない場合、被写体は偽物であると判定する。

【0094】

被写体の動作に対してタイムアウト時間を設けることで、被写体が指示に従わない場合にエラー処理を行って、登録生体情報３３８の登録又は被写体に対する認証を拒絶することができる。

【0095】

図１の画像処理装置１０１及び図３の画像処理装置３０１の構成は一例に過ぎず、画像処理装置の用途又は条件に応じて一部の構成要素を省略又は変更してもよい。例えば、図３の画像処理装置３０１において、時系列のＮ枚の画像３３１が事前に記憶部３１１に格納されている場合は、画像取得部３１２、表示部３１３、及び動作指示部３１４を省略することができる。

【0096】

生体情報処理が外部の装置によって行われる場合は、選択部３１７、特徴抽出部３１８、登録部３１９、及び認証部３２０を省略することができる。画像処理装置３０１は、顔画像を用いて生体情報処理を行う代わりに、顔画像を用いて別の情報処理を行ってもよい。

【0097】

図２及び図７～図９のフローチャートは一例に過ぎず、画像処理装置の構成又は条件に応じて一部の処理を省略又は変更してもよい。例えば、図７の画像処理において、時系列のＮ枚の画像３３１が事前に記憶部３１１に格納されている場合は、ステップ９０１及びステップ９０２の処理を省略することができる。

【0098】

生体情報処理が外部の装置によって行われる場合は、ステップ９０７及びステップ９０８の処理を省略することができる。画像処理装置３０１は、ステップ９０８において、生体情報処理の代わりに別の情報処理を行ってもよい。

【0099】

図８の動作特定処理において、顔画像の左右対称性のみに基づいて被写体の動作を特定する場合は、ステップ１００４～ステップ１００６の処理を省略することができる。

【0100】

図９の真贋判定処理において、被写体の不適切な動きを真贋判定に用いない場合は、ステップ１１０１及びステップ１１０９～ステップ１１１１の処理を省略することができる。被写体が指示された動作を行わなかった回数を真贋判定に用いない場合は、ステップ１１０４、ステップ１１０６、及びステップ１１０８の処理を省略することができる。

【0101】

図４の顔画像、図５の左右対称性の時系列変化、及び図６のアスペクト比の時系列変化は一例に過ぎず、顔画像と左右対称性及びアスペクト比の時系列変化は、被写体に応じて変化する。式（１）及び式（２）は一例に過ぎず、別の計算式を用いて、顔画像の左右対称性を計算してもよい。

【0102】

図１０は、図１の画像処理装置１０１及び図３の画像処理装置３０１として用いられる情報処理装置（コンピュータ）の構成例を示している。図１０の情報処理装置は、ＣＰＵ（Central Processing Unit）１２０１、メモリ１２０２、入力装置１２０３、出力装置１２０４、補助記憶装置１２０５、媒体駆動装置１２０６、及びネットワーク接続装置１２０７を含む。これらの構成要素はバス１２０８により互いに接続されている。図３の撮像装置３０２は、バス１２０８に接続されていてもよい。

【0103】

メモリ１２０２は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、フラッシュメモリ等の半導体メモリであり、処理に用いられるプログラム及びデータを記憶する。メモリ１２０２は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。

【0104】

ＣＰＵ１２０１（プロセッサ）は、例えば、メモリ１２０２を利用してプログラムを実行することにより、図１の動作特定部１１２及び判定部１１３として動作する。ＣＰＵ１２０１は、メモリ１２０２を利用してプログラムを実行することにより、図３の画像取得部３１２、動作指示部３１４、動作特定部３１５、判定部３１６、選択部３１７、特徴抽出部３１８、登録部３１９、及び認証部３２０としても動作する。

【0105】

入力装置１２０３は、例えば、キーボード、ポインティングデバイス等であり、オペレータ又はユーザからの指示又は情報の入力に用いられる。出力装置１２０４は、例えば、表示装置、プリンタ、スピーカ等であり、オペレータ又はユーザへの問い合わせ又は指示、及び処理結果の出力に用いられる。オペレータ又はユーザへの指示は、被写体に対する動作指示であってもよく、処理結果は、判定結果３３７であってもよい。出力装置１２０４は、図３の表示部３１３として用いることができる。

【0106】

補助記憶装置１２０５は、例えば、磁気ディスク装置、光ディスク装置、光磁気ディスク装置、テープ装置等である。補助記憶装置１２０５は、ハードディスクドライブ又はフラッシュメモリであってもよい。情報処理装置は、補助記憶装置１２０５にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。補助記憶装置１２０５は、図１の記憶部１１１又は図３の記憶部３１１として用いることができる。

【0107】

媒体駆動装置１２０６は、可搬型記録媒体１２０９を駆動し、その記録内容にアクセスする。可搬型記録媒体１２０９は、メモリデバイス、フレキシブルディスク、光ディスク、光磁気ディスク等である。可搬型記録媒体１２０９は、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory）、ＤＶＤ（Digital Versatile Disk）、ＵＳＢ（Universal Serial Bus）メモリ等であってもよい。オペレータ又はユーザは、この可搬型記録媒体１２０９にプログラム及びデータを格納しておき、それらをメモリ１２０２にロードして使用することができる。

【0108】

このように、処理に用いられるプログラム及びデータを格納するコンピュータ読み取り可能な記録媒体は、メモリ１２０２、補助記憶装置１２０５、又は可搬型記録媒体１２０９のような、物理的な（非一時的な）記録媒体である。

【0109】

ネットワーク接続装置１２０７は、ＬＡＮ（Local Area Network）、ＷＡＮ（Wide Area Network）等の通信ネットワークに接続され、通信に伴うデータ変換を行う通信インタフェース回路である。情報処理装置は、プログラム及びデータを外部の装置からネットワーク接続装置１２０７を介して受信し、それらをメモリ１２０２にロードして使用することができる。

【0110】

なお、情報処理装置が図１０のすべての構成要素を含む必要はなく、用途又は条件に応じて一部の構成要素を省略することも可能である。例えば、オペレータ又はユーザとのインタフェースが不要な場合は、入力装置１２０３及び出力装置１２０４を省略してもよい。可搬型記録媒体１２０９又は通信ネットワークを使用しない場合は、媒体駆動装置１２０６又はネットワーク接続装置１２０７を省略してもよい。

【0111】

開示の実施形態とその利点について詳しく説明したが、当業者は、特許請求の範囲に明確に記載した本発明の範囲から逸脱することなく、様々な変更、追加、省略をすることができるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】