(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-21
(45)【発行日】2023-11-30
(54)【発明の名称】顔認証方法、顔認証プログラム、および顔認証装置
(51)【国際特許分類】
G06V 40/40 20220101AFI20231122BHJP
G06T 7/00 20170101ALI20231122BHJP
G06V 40/16 20220101ALI20231122BHJP
G06F 21/32 20130101ALI20231122BHJP
【ＦＩ】
G06V40/40
G06T7/00 510F
G06V40/16 A
G06F21/32
【請求項の数】
8
(21)【出願番号】P 2022550277
(86)(22)【出願日】2020-09-17
(86)【国際出願番号】 JP2020035334
(87)【国際公開番号】W WO2022059151
(87)【国際公開日】2022-03-24
【審査請求日】2022-12-01
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】110002918
【氏名又は名称】弁理士法人扶桑国際特許事務所
(72)【発明者】
【氏名】松濤 智明
【審査官】小太刀 慶明
(56)【参考文献】
【文献】特開２００４－２３４３５５（ＪＰ，Ａ）
【文献】特開２００９－２３７６２９（ＪＰ，Ａ）
【文献】特開２０１５－１７６５５５（ＪＰ，Ａ）
【文献】GANDHE, S. T. et al.，Face Recognition Using Contour Matching，IAENG International Journal of Computer Science，Volume 35, Issue 2，International Associations of Engineers，2008年05月20日，pp.1-8，http://iaeng.org/IJCS/issues_v35/issue_2/IJCS_35_2_06.pdf
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
１／００
Ｇ０６Ｖ ４０／００
Ｇ０６Ｆ ２１／３２
Ｇ０６Ｆ ３／０４８ － ３／０４８９
(57)【特許請求の範囲】
【請求項1】
コンピュータが、カメラから時系列の複数の画像を取得し、
時系列で連続する第１画像と第２画像とのそれぞれに写り込んだ顔画像に含まれる輪郭の違いを表す輪郭変化度、および前記第１画像と前記第２画像との光の反射特性の違いを表す反射変化度を算出し、
前記輪郭変化度と前記反射変化度との和が第１閾値以上の場合に、前記カメラの撮影対象の入れ替わりが発生したと判定する、
顔認証方法。
【請求項2】
前記コンピュータが、さらに、前記複数の画像のうちの第３画像に写る顔画像に表される生体的特徴に基づく顔認証処理と、前記カメラの撮影対象の人物に対する所定の動作の指示後に取得した第４画像に基づいて前記所定の動作が実施されたか否かを判断する動作判定処理とを行い、
前記顔認証処理で認証に成功し、かつ前記動作判定処理で前記所定の動作が実施されたと判断した場合、認証成功に応じた処理を実行する、
請求項１記載の顔認証方法。
【請求項3】
前記第３画像の取得時と前記第４画像の取得時とを含む期間内に取得された時系列で連続する画像の組ごとに、前記反射変化度および前記輪郭変化度の算出、および入れ替わりが発生したかどうかの判定を行う、請求項２記載の顔認証方法。
【請求項4】
入れ替わりが発生したかどうかの判定では、前記輪郭変化度が第２閾値以上の場合、および前記反射変化度が第３閾値以上の場合に、入れ替わりありと判定する、請求項１ないし３のいずれかに記載の顔認証方法。
【請求項5】
コンピュータが、カメラから時系列の複数の画像を取得し、
時系列で連続する第１画像と第２画像とのそれぞれに写り込んだ顔画像に含まれる輪郭の違いを表す輪郭変化度、前記第１画像と前記第２画像との光の反射特性の違いを表す反射変化度、および前記第１画像または前記第２画像の鏡面反射成分と拡散反射成分との反射スコアを算出し、
前記輪郭変化度と前記反射変化度と前記反射スコアとに基づいて、前記カメラの撮影対象の入れ替わりが発生したかどうかを判定する、
顔認証方法。
【請求項6】
入れ替わりが発生したかどうかの判定では、前記反射スコアと第４閾値との比較結果に基づいて、前記カメラの撮影対象の入れ替わりが発生したかどうかを判定する、請求項５記載の顔認証方法。
【請求項7】
コンピュータに、カメラから時系列の複数の画像を取得し、
時系列で連続する第１画像と第２画像とのそれぞれに写り込んだ顔画像に含まれる輪郭の違いを表す輪郭変化度、および前記第１画像と前記第２画像との光の反射特性の違いを表す反射変化度を算出し、
前記輪郭変化度と前記反射変化度との和が第１閾値以上の場合に、前記カメラの撮影対象の入れ替わりが発生したと判定する、
処理を実行させる顔認証プログラム。
【請求項8】
カメラから時系列の複数の画像を取得し、時系列で連続する第１画像と第２画像とのそれぞれに写り込んだ顔画像に含まれる輪郭の違いを表す輪郭変化度、および前記第１画像と前記第２画像との光の反射特性の違いを表す反射変化度を算出し、前記輪郭変化度と前記反射変化度との和が第１閾値以上の場合に、前記カメラの撮影対象の入れ替わりが発生したと判定する処理部、を有する顔認証装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔認証方法、顔認証プログラム、および顔認証装置に関する。
【背景技術】
【0002】
個人の識別に生体認証が用いられることがある。生体認証は、個人の身体的特徴を表す生体情報を用いて個人認証を行うものである。生体認証の１つに顔認証がある。顔認証は、個人の顔の特徴を表す生体情報の比較により個人を識別する技術である。
【0003】
顔認証は個人の顔画像を用いるため、別人の顔が写った写真を用いた第三者によるなりすましが可能である。例えばＳＮＳ（Social Networking Service）などを介して他人の顔画像を入手することは容易である。悪意のある第三者は、他人の顔画像を顔認証システムのカメラの前にかざすことで、他人に成りすまして認証を受けることができる。
【0004】
他人のなりすましを抑止する技術としては、例えば撮影装置で撮影した画像が人間を撮影した画像であるかどうかを判定し、人間を撮影した画像でなければ処理を中止することで、セキュリティの向上を図った個人識別装置が提案されている。
【0005】
画像から、その画像に写ったものの特徴を抽出する技術としては、例えば輪郭の抽出技術、反射特性の算出技術などがある。例えば元の画像を鏡面反射成分と拡散反射成分とに分離する技術も提案されている。
【先行技術文献】
【特許文献】
【0006】
【文献】特開２００４－０５４７８８号公報
【非特許文献】
【0007】
【文献】Daisuke Miyazaki, Robby T. Tan, Kenji Hara, Katsushi Ikeuchi, "Polarization-based Inverse Rendering from a Single View", Proceedings Ninth IEEE International Conference on Computer Vision, pp.982-987, Nice, France, 2003.10
【発明の概要】
【発明が解決しようとする課題】
【0008】
他人の写真を用いたなりすましに対する対策として、例えば利用者に指定動作を行わせることが考えられる。例えば右を向くといった動作を指定し、カメラに写った利用者が指定通りの動作をした場合、カメラに写っているのが写真ではなく生の人間であると判断できる。
【0009】
しかし、動作検出中に写真と生の人間とが入れ替わると、不正認証に成功する可能性がある。例えば始め写真をカメラにかざした後にカメラの前で生の顔に入れ替わって指定された動作をすることで、写真に写った人物が動作をしたように見せかけることができる。従来の技術では、認証の途中でカメラの撮影対象を入れ替えることによる不正行為を検出するのが困難である。
【0010】
１つの側面では、本件は、認証途中での撮影対象の入れ替わりを容易に検出できるようにすることを目的とする。
【課題を解決するための手段】
【0011】
１つの案では、コンピュータが以下の処理を実行する顔認証方法が提供される。
コンピュータは、カメラから時系列の複数の画像を取得する。次にコンピュータは、時系列で連続する第１画像と第２画像とのそれぞれに写り込んだ顔画像に含まれる輪郭の違いを表す輪郭変化度、および第１画像と第２画像との光の反射特性の違いを表す反射変化度を算出する。そしてコンピュータは、輪郭変化度と反射変化度とに基づいて、カメラの撮影対象の入れ替わりが発生したかどうかを判定する。
コンピュータは、カメラから時系列の複数の画像を取得する。次にコンピュータは、時系列で連続する第１画像と第２画像とのそれぞれに写り込んだ顔画像に含まれる輪郭の違いを表す輪郭変化度、および第１画像と第２画像との光の反射特性の違いを表す反射変化度を算出する。そしてコンピュータは、輪郭変化度と反射変化度とに基づいて、カメラの撮影対象の入れ替わりが発生したかどうかを判定する。
【発明の効果】
【0012】
１態様によれば、認証途中での撮影対象の入れ替わりを容易に検出可能となる。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
【図面の簡単な説明】
【0013】
【図1】顔認証法の一例を示す図である。
【図2】生体認証システムの一例を示す図である。
【図3】顔認証装置のハードウェアの一例を示す図である。
【図4】サーバのハードウェアの一例を示す図である。
【図5】各装置の機能の一例を示すブロック図である。
【図6】顔認証装置の記憶部が有するデータの一例を示す図である。
【図7】不正行為の一例を示す図である。
【図8】認証手順の概要を示す図である。
【図9】画像のブレが小さい場合におけるフレームごとの画像の一例を示す図である。
【図10】画像のブレが大きい場合におけるフレームごとの画像の一例を示す図である。
【図11】認証処理の手順の一例を示すフローチャートである。
【図12】入れ替わり判定処理の手順の一例を示すフローチャートである。
【図13】輪郭変化度と反射変化度との正規化の一例を示す図である。
【図14】顔画像特徴量登録処理の手順の一例を示すフローチャートである。
【図15】反射スコアを利用する場合の認証処理の手順の一例を示すフローチャートである。
【図16】反射スコアを利用する場合の入れ替わり判定処理の手順の一例を示すフローチャートである。
【図17】動作判定中の画像で照合を行う認証処理の手順の一例を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、本実施の形態について図面を参照して説明する。なお各実施の形態は、矛盾のない範囲で複数の実施の形態を組み合わせて実施することができる。
〔第１の実施の形態〕
まず第１の実施の形態について説明する。第１の実施の形態は、顔認証におけるカメラでの撮影対象の認証途中での入れ替わりを容易に検知できる顔認証方法である。
〔第１の実施の形態〕
まず第１の実施の形態について説明する。第１の実施の形態は、顔認証におけるカメラでの撮影対象の認証途中での入れ替わりを容易に検知できる顔認証方法である。
【0015】
図１は、顔認証法の一例を示す図である。図１には、顔認証方法を実現するための顔認証装置１０が示されている。顔認証装置１０は、例えば顔認証プログラムを実行することにより、顔認証方法を実施することができる。
【0016】
顔認証装置１０は、記憶部１１と処理部１２とを有する。記憶部１１は、例えば顔認証装置１０が有するメモリ、またはストレージ装置である。処理部１２は、例えば顔認証装置１０が有するプロセッサ、または演算回路である。
【0017】
記憶部１１は、カメラ３で撮影した画像４ａ，４ｂ，４ｃ，・・・ごとのエッジ統計量情報と画素値統計量情報とを記憶する。エッジ統計量情報は、画像内の各画素の輝度値を、顔の輪郭に現れるエッジ（輝度が大きく変化する部分）が明確となるように統計処理した情報である。顔の輪郭は、顔の一部の部位（例えば鼻）の輪郭でもよい。画素値統計量情報は、画像内の各画素の輝度値を、光の反射特性が明確となるように統計処理した情報である。画素値統計量情報は、例えば人物の顔が写っている領域の画素のみを用いて算出される。また画素値統計量情報は、例えば顔の一部の部位（例えば頬）が写っている領域の画素のみを用いて算出してもよい。
【0018】
処理部１２は、カメラ３から取得した複数の画像４ａ，４ｂ，４ｃ，・・・に基づいて、カメラ３の前にいるユーザ１の認証処理を行う。例えば処理部１２は、カメラ３から時系列の複数の画像４ａ，４ｂ，４ｃ，・・・を取得する。
【0019】
処理部１２は、複数の画像４ａ，４ｂ，４ｃ，・・・のうちの画像（第３画像）に写る顔画像に表される生体的特徴に基づいて、顔認証処理を行う。顔認証処理は、取得した画像に写る顔画像に基づいてユーザ認証を行う処理である。例えば処理部１２は、予め登録されているユーザの顔画像の特徴を表す特徴量と、取得した画像に写る顔画像の特徴量とを比較し、類似度が所定値以上であれば、取得した画像に写る顔画像が予め登録されているユーザの顔画像であると認定する。このような認定がなされたとき、顔認証は成功となる。
【0020】
また処理部１２は、時系列で連続する２つの画像（第１画像５と第２画像６または第２画像７）それぞれに写り込んだ顔画像の輪郭の違いを表す輪郭変化度、および第１画像５と第２画像６または第２画像７との光の反射特性の違いを表す反射変化度を算出する。
【0021】
例えば処理部１２は、カメラ３で撮影した動画像の１フレームが取得されるごとに、リアルタイムにそのフレームの画像のエッジ統計量と画素値統計量とを計算する。処理部１２は、計算したエッジ統計量と画素値統計量とを記憶部１１に格納する。また処理部１２は、過去の直近の第１画像５のエッジ統計量と、新たに取得した第２画像６または第２画像７のエッジ統計量とに基づいて輪郭変化度を算出する。さらに処理部１２は、過去の直近の第１画像５の画素値統計量と、新たに取得した第２画像６または第２画像７の画素値統計量とに基づいて反射変化度を算出する。
【0022】
そして処理部１２は、輪郭変化度と反射変化度とに基づいて、カメラ３の撮影対象の入れ替わりが発生したかどうかを判定する。例えば処理部１２は、輪郭変化度が第１閾値以上の場合、および反射変化度が第２閾値以上の場合に、入れ替わりありと判定する。
【0023】
また処理部１２は、複数の画像４ａ，４ｂ，４ｃ，・・・の取得中に、カメラ３に写る人物に対して所定の動作を指示する。例えば処理部１２は、顔認証に成功したとき、動作指示を音声出力または画面表示で行う。処理部１２は、動作の指示後に取得した画像（第４画像）に基づいて、所定の動作が実施されたか否かを判断する動作判定処理を行う。
【0024】
処理部１２は、顔認証処理で認証に成功し、かつ動作判定処理で所定の動作が実施されたと判断した場合、認証成功に応じた処理を実行する。認証成功に応じた処理は、例えばドアの解錠、機器の使用制限の解除、ＡＴＭによる現金引き出しまたは送金などである。
【0025】
このような顔認証装置１０により、顔認証を伴う認証処理の過程でカメラ３での撮影対象が入れ替わった場合に、撮影対象の入れ替わりを容易に検出することができる。例えばユーザ１が、ユーザ認証を受けることができる他人の写真２で顔認証を受け、その後、自身の生の顔で動作指示に従った動作をすることで、不正認証を試みる場合を想定する。
【0026】
まずユーザ１が写真２をカメラ３の前にかざすと、顔認証装置１０の処理部１２が顔認証処理を行う。顔認証に成功すると、処理部１２は「右を向いて下さい」のような動作をユーザ１に指示する。動作の指示を受けたユーザ１は、カメラ３の前から写真２をどかし、自身の顔がカメラ３に写るようにする。そしてユーザ１は、指示に従った動作を行う。
【0027】
処理部１２は、動作指示後、カメラ３から１フレームの画像を取得するごとに、入れ替わり判定と動作判定とを行う。カメラ３の前に写真２がある間は、輪郭変化度と反射変化度との両方が小さく、入れ替わりは検出されない。また写真２の画像で指示通りの動作をさせることはできないため、動作判定により指示通りの動作が検出されることもない。
【0028】
ユーザ１がカメラ３の前から写真２を取り除くと、カメラ３に写る画像は例えば写真２が写された画像４ｂからユーザ１の顔が写された画像４ｃとなる。このとき、画像のブレが大きければ輪郭変化度に基づいて、容易に入れ替わりを検出できる。例えばブレが大きい場合、第１画像５から第２画像６に遷移する。ブレが大きいと輪郭の位置や太さが大きく変化する。そのため輪郭変化度が大きくなり、入れ替わりが検出される。
【0029】
また画像のブレが小さければ反射変化度に基づいて、容易に入れ替わりを検出できる。例えばブレが小さい場合、第１画像５から第２画像７に遷移する。ブレが小さければ、画像に写っている顔画像の反射特性を示す画素値統計量を高精度に算出できる。顔の凹凸や肌の色は人によって異なり、カメラ３の撮影対象となる顔が入れ替わると、それが二人の人間の生の顔の入れ替えであったとしても光の反射特性は明確に異なる。そのため反射変化度が大きくなり、入れ替わりが検出される。
【0030】
ここで処理部１２は、例えば顔認証処理に用いた第３画像の取得時と動作判定処理に用いた第４画像の取得時とを含む期間内に取得された時系列で連続する画像の組ごとに、輪郭変化度と反射変化度との算出、および入れ替わりが発生したかどうかの判定を行う。これにより、写真２を用いて顔認証を成功させた後に、自身の顔に入れ替わり動作判定を成功させるという不正行為を、確実に抑止することができる。
【0031】
また処理部１２は、入れ替わりが発生したかどうかの判定において、輪郭変化度と反射変化度とに基づいて算出した値（例えば合計）が第３閾値以上の場合に、入れ替わりありと判定してもよい。例えば輪郭変化度が第１閾値未満であっても、ある程度の小さくない値の場合、生じている画像のブレの原因として、入れ替わりによるものか生の人物の顔の動きによるものの両方が考えられる。そのため、輪郭変化度と反射変化度との両方がある程度大きな値の場合には入れ替わりありと判定することで、不正行為の検出精度を向上させることができる。
【0032】
さらに処理部１２は、第１画像または第２画像の鏡面反射成分と拡散反射成分との反射スコアを算出し、それらを入れ替わり判定に利用してもよい。鏡面反射成分は、入射角と反射角が等しい光の反射成分である。鏡面反射は正反射とも呼ばれる。拡散反射は、光の反射のうち鏡面反射を除いた成分である。拡散反射は乱反射とも呼ばれる。
【0033】
例えば処理部１２は、反射スコアと第４閾値との比較結果に基づいて、カメラの撮影対象の入れ替わりが発生したかどうかを判定する。反射スコアは、例えば、画像に写っている顔が偽造物らしいほど大きな値となる。この場合、処理部１２は、反射スコアが第４閾値以上の場合にカメラ３の撮影対象の入れ替わりが発生したと判定する。
【0034】
反射スコアを用いて入れ替わり判定を行うことで、鏡面反射成分と拡散反射成分とに基づいて偽造物を判定可能な画像が含まれる場合には、認証処理を失敗させることができ、不正行為の検出精度を向上させることができる。
【0035】
〔第２の実施の形態〕
次に第２の実施の形態について説明する。第２の実施の形態は、顔認証途中での認証対象の入れ替えを検出できるようにした認証システムである。このような生体認証システムは、銀行ＡＴＭ（Automatic Teller Machine）などの機器へのアクセスコントロール、入室管理、ボーダーコントロールなどで利用される。
次に第２の実施の形態について説明する。第２の実施の形態は、顔認証途中での認証対象の入れ替えを検出できるようにした認証システムである。このような生体認証システムは、銀行ＡＴＭ（Automatic Teller Machine）などの機器へのアクセスコントロール、入室管理、ボーダーコントロールなどで利用される。
【0036】
図２は、生体認証システムの一例を示す図である。図２には、生体認証システムを利用したオフィス４０への入室管理の例を示している。オフィス４０のドア４１の横には顔認証装置１００が設置されている。顔認証装置１００は、ユーザの顔画像に基づいて個人認証を行い、認証結果に応じてドア４１の電子錠を制御する。
【0037】
顔認証装置１００は、例えばネットワーク２０を介してサーバ２００に接続されている。サーバ２００は、オフィス４０への入室が許可されたユーザの顔画像から得られた顔認証用の特徴量データを記憶している。またサーバ２００は、顔認証用の特徴量データと、入室を希望するユーザの顔画像から得られた特徴量データとを照合し、該当ユーザが、予め登録されたユーザと同一人物か否かを判定することもできる。
【0038】
顔認証装置１００は、例えば入室しようとするユーザの顔を撮影し、得られた顔画像から顔認証用の特徴量データを生成する。そして顔認証装置１００は、生成した特徴量データをサーバ２００に送信し、入室が許可されているユーザの特徴量データとの照合を依頼する。サーバ２００の照合の結果、入室が許可されているユーザと同一人物であると判断された場合、顔認証装置１００は、カメラに写っているのが生の人間であることを確認し、そのことが確認できたときにドア４１の電子錠のロックを解除する。
【0039】
図３は、顔認証装置のハードウェアの一例を示す図である。顔認証装置１００は、プロセッサ１０１によって装置全体が制御されている。プロセッサ１０１には、バス１０８を介してメモリ１０２と複数の周辺機器が接続されている。プロセッサ１０１は、マルチプロセッサであってもよい。プロセッサ１０１は、例えばＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro Processing Unit）、またはＤＳＰ（Digital Signal Processor）である。プロセッサ１０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）などの電子回路で実現してもよい。
【0040】
メモリ１０２は、顔認証装置１００の主記憶装置として使用される。メモリ１０２には、プロセッサ１０１に実行させるＯＳ（Operating System）のプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ１０２には、プロセッサ１０１による処理に利用する各種データが格納される。メモリ１０２としては、例えばＲＡＭ（Random Access Memory）などの揮発性の半導体記憶装置が使用される。
【0041】
バス１０８に接続されている周辺機器としては、ストレージ装置１０３、音声再生装置１０４、入力インタフェース１０５、機器接続インタフェース１０６およびネットワークインタフェース１０７がある。
【0042】
ストレージ装置１０３は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置１０３は、コンピュータの補助記憶装置として使用される。ストレージ装置１０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置１０３としては、例えばＨＤＤ（Hard Disk Drive）やＳＳＤ（Solid State Drive）を使用することができる。
【0043】
音声再生装置１０４には、スピーカ２１が接続されている。音声再生装置１０４は、プロセッサ１０１からの命令に従って、デジタルの音声データをアナログの音声信号に変換し、スピーカ２１に出力する。これによりスピーカ２１から音声が出力される。
【0044】
入力インタフェース１０５には、操作キー２２が接続されている。入力インタフェース１０５は、操作キー２２から送られてくる信号をプロセッサ１０１に送信する。
機器接続インタフェース１０６は、顔認証装置１００に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース１０６には、カメラ２３および電子錠ユニット２４を接続することができる。カメラ２３は、ＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて画像を撮影する。機器接続インタフェース１０６は、カメラ２３が撮影した１フレームごとの画像データを、例えばメモリ１０２に転送する。電子錠ユニット２４は、入力信号に応じてドア４１（図２参照）の鍵の施錠と解錠とを行う。例えば電子錠ユニット２４は、プロセッサ１０１からの解錠の信号を機器接続インタフェース１０６経由で受信すると、ドア４１の鍵機構に内蔵されたモータを制御し、鍵を解錠する。
機器接続インタフェース１０６は、顔認証装置１００に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース１０６には、カメラ２３および電子錠ユニット２４を接続することができる。カメラ２３は、ＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて画像を撮影する。機器接続インタフェース１０６は、カメラ２３が撮影した１フレームごとの画像データを、例えばメモリ１０２に転送する。電子錠ユニット２４は、入力信号に応じてドア４１（図２参照）の鍵の施錠と解錠とを行う。例えば電子錠ユニット２４は、プロセッサ１０１からの解錠の信号を機器接続インタフェース１０６経由で受信すると、ドア４１の鍵機構に内蔵されたモータを制御し、鍵を解錠する。
【0045】
ネットワークインタフェース１０７は、ネットワーク２０に接続されている。ネットワークインタフェース１０７は、ネットワーク２０を介してサーバ２００との間でデータの送受信を行う。ネットワークインタフェース１０７は、例えばスイッチやルータなどの有線通信装置にケーブルで接続される有線通信インタフェースである。またネットワークインタフェース１０７は、基地局やアクセスポイントなどの無線通信装置に電波によって通信接続される無線通信インタフェースであってもよい。
【0046】
顔認証装置１００は、以上のようなハードウェアによって、第２の実施の形態の処理機能を実現することができる。なお、第１の実施の形態に示した顔認証装置１０も、図３に示した顔認証装置１００と同様のハードウェアにより実現することができる。
【0047】
顔認証装置１００は、例えばコンピュータ読み取り可能な記録媒体に記録されたプログラムを実行することにより、第２の実施の形態の処理機能を実現する。顔認証装置１００に実行させる処理内容を記述したプログラムは、様々な記録媒体に記録しておくことができる。例えば、顔認証装置１００に実行させるプログラムをストレージ装置１０３に格納しておくことができる。プロセッサ１０１は、ストレージ装置１０３内のプログラムの少なくとも一部をメモリ１０２にロードし、プログラムを実行する。
【0048】
なお図３に示した顔認証装置１００には表示装置が接続されていないが、バス１０８にグラフィック処理装置を接続し、そのグラフィック処理装置に表示装置を接続することもできる。
【0049】
図４は、サーバのハードウェアの一例を示す図である。サーバ２００は、プロセッサ２０１によって装置全体が制御されている。プロセッサ２０１には、バス２０９を介してメモリ２０２と複数の周辺機器が接続されている。プロセッサ２０１は、マルチプロセッサであってもよい。プロセッサ２０１は、例えばＣＰＵ、ＭＰＵ、またはＤＳＰである。プロセッサ２０１がプログラムを実行することで実現する機能の少なくとも一部を、ＡＳＩＣ、ＰＬＤなどの電子回路で実現してもよい。
【0050】
メモリ２０２は、サーバ２００の主記憶装置として使用される。メモリ２０２には、プロセッサ２０１に実行させるＯＳのプログラムやアプリケーションプログラムの少なくとも一部が一時的に格納される。また、メモリ２０２には、プロセッサ２０１による処理に利用する各種データが格納される。メモリ２０２としては、例えばＲＡＭなどの揮発性の半導体記憶装置が使用される。
【0051】
バス２０９に接続されている周辺機器としては、ストレージ装置２０３、グラフィック処理装置２０４、入力インタフェース２０５、光学ドライブ装置２０６、機器接続インタフェース２０７およびネットワークインタフェース２０８がある。
【0052】
ストレージ装置２０３は、内蔵した記録媒体に対して、電気的または磁気的にデータの書き込みおよび読み出しを行う。ストレージ装置２０３は、コンピュータの補助記憶装置として使用される。ストレージ装置２０３には、ＯＳのプログラム、アプリケーションプログラム、および各種データが格納される。なお、ストレージ装置２０３としては、例えばＨＤＤやＳＳＤを使用することができる。
【0053】
グラフィック処理装置２０４には、モニタ３１が接続されている。グラフィック処理装置２０４は、プロセッサ２０１からの命令に従って、画像をモニタ３１の画面に表示させる。モニタ３１としては、有機ＥＬ（Electro Luminescence）を用いた表示装置や液晶表示装置などがある。
【0054】
入力インタフェース２０５には、キーボード３２とマウス３３とが接続されている。入力インタフェース２０５は、キーボード３２やマウス３３から送られてくる信号をプロセッサ２０１に送信する。なお、マウス３３は、ポインティングデバイスの一例であり、他のポインティングデバイスを使用することもできる。他のポインティングデバイスとしては、タッチパネル、タブレット、タッチパッド、トラックボールなどがある。
【0055】
光学ドライブ装置２０６は、レーザ光などを利用して、光ディスク３４に記録されたデータの読み取り、または光ディスク３４へのデータの書き込みを行う。光ディスク３４は、光の反射によって読み取り可能なようにデータが記録された可搬型の記録媒体である。光ディスク３４には、ＤＶＤ（Digital Versatile Disc）、ＤＶＤ－ＲＡＭ、ＣＤ－ＲＯＭ（Compact Disc Read Only Memory）、ＣＤ－Ｒ（Recordable）／ＲＷ（ReWritable）などがある。
【0056】
機器接続インタフェース２０７は、サーバ２００に周辺機器を接続するための通信インタフェースである。例えば機器接続インタフェース２０７には、メモリ装置３５やメモリリーダライタ３６を接続することができる。メモリ装置３５は、機器接続インタフェース２０７との通信機能を搭載した記録媒体である。メモリリーダライタ３６は、メモリカード３７へのデータの書き込み、またはメモリカード３７からのデータの読み出しを行う装置である。メモリカード３７は、カード型の記録媒体である。
【0057】
ネットワークインタフェース２０８は、ネットワーク２０に接続されている。ネットワークインタフェース２０８は、ネットワーク２０を介して、他のコンピュータまたは通信機器との間でデータの送受信を行う。ネットワークインタフェース２０８は、例えばスイッチやルータなどの有線通信装置にケーブルで接続される有線通信インタフェースである。またネットワークインタフェース２０８は、基地局やアクセスポイントなどの無線通信装置に電波によって通信接続される無線通信インタフェースであってもよい。
【0058】
サーバ２００は、顔認証装置１００に対して実行させるプログラムを、ネットワーク２０を介して顔認証装置１００に提供することができる。例えば顔認証装置１００に実行させる処理内容を記述したプログラムを、光ディスク３４、メモリ装置３５、メモリカード３７などの可搬型記録媒体に記録しておくこともできる。サーバ２００は、可搬型記録媒体に格納されたプログラムを顔認証装置１００に送信する。顔認証装置１００は、サーバ２００から送られたプログラムをストレージ装置２０３にインストールした後、実行可能となる。
【0059】
次に生体認証システムにおける各装置が有する機能について説明する。
図５は、各装置の機能の一例を示すブロック図である。サーバ２００は記憶部２１０を有している。記憶部２１０は、顔画像特徴量データ２１１を記憶する。顔画像特徴量データ２１１は、オフィスへの入室が許可されているユーザの顔画像から抽出した特徴量を数値化したデータである。記憶部２１０は、例えばサーバ２００が有するストレージ装置２０３の記憶領域の一部を用いて実現される。
図５は、各装置の機能の一例を示すブロック図である。サーバ２００は記憶部２１０を有している。記憶部２１０は、顔画像特徴量データ２１１を記憶する。顔画像特徴量データ２１１は、オフィスへの入室が許可されているユーザの顔画像から抽出した特徴量を数値化したデータである。記憶部２１０は、例えばサーバ２００が有するストレージ装置２０３の記憶領域の一部を用いて実現される。
【0060】
顔認証装置１００は、記憶部１１０、画像取得部１２０、照合部１３０、動作指示部１４０、変化度算出部１５０、入れ替わり判定部１６０、動作検出部１７０、鍵制御部１８０、および登録部１９０を有する。このうち記憶部１１０は、例えば顔認証装置１００が有するストレージ装置１０３の記憶領域の一部を用いて実現される。また画像取得部１２０、照合部１３０、動作指示部１４０、変化度算出部１５０、入れ替わり判定部１６０、動作検出部１７０、鍵制御部１８０、および登録部１９０は、例えばプロセッサ１０１が所定のプログラムを実行することにより実現される。
【0061】
記憶部１１０は、エッジ統計量データ１１１と画素値統計量データ１１２とを記憶する。エッジ統計量データ１１１は、フレームごとの顔画像を解析して得られた顔の輪郭を示す情報である。画素値統計量データ１１２は、フレームごとの顔画像を解析して得られた顔の光の反射を示す情報である。
【0062】
画像取得部１２０は、カメラ２３から画像を取得する。カメラ２３から画像を取得するフレームレートは、１フレームの画像を用いた顔認証に要する時間に依存する。例えば画像取得のフレームレートは、１秒間に５～１０フレーム程度である。
【0063】
画像取得部１２０は、顔認証に用いるフレームの画像を照合部１３０に送信する。また画像取得部１２０は、指示通りの動作をしたか否かの判定（動作判定）に用いるフレームの画像を変化度算出部１５０に送信する。指示される動作は、指定の方向を向く、縦や横に顔を振る、目や口を開閉するなどである。
【0064】
照合部１３０は、顔認証に用いる画像を受信すると、受信した画像を用いたユーザ認証を行う。例えば照合部１３０は、受信した画像に写った顔の特徴量を算出する。なお顔認証のための特徴量の算出処理は、輪郭を示す情報または反射特性を示す情報の抽出に比べて時間がかかる処理である。照合部１３０は、サーバ２００と連係して、算出した特徴量と、サーバ２００が有する顔画像特徴量データに示される顔画像の特徴量とを照合する。
【0065】
例えば照合部１３０は、受信した画像に写った顔画像の特徴量を計算し、その特徴量をサーバ２００に送信する。サーバ２００は、受信した特徴量と、記憶部２１０内の各ユーザの特徴量とを照合する。サーバ２００は、入室が許可されているユーザのいずれかの顔画像の特徴量と、画像取得部１２０から取得した顔画像の特徴量とが一致（あるいは類似度が所定値以上）した場合、顔認証に成功したと判定する。サーバ２００は判定結果を照合部１３０に送信する。なお、照合部１３０が、サーバ２００から記憶部２１０に格納されている顔画像特徴量データ２１１を取得し、照合処理を行ってもよい。
【0066】
動作指示部１４０は、顔認証に成功した場合に、入室しようとするユーザに対して動作指示を出力する。例えば動作指示部１４０は、スピーカ２１を介して動作を指示する音声を出力する。
【0067】
変化度算出部１５０は、画像取得部１２０から動作判定用の画像を取得すると、過去の画像との輪郭情報の変化の度合いを示す輪郭変化度と、過去の画像との光の反射特性の変化の度合いを示す反射変化度とを算出する。例えば変化度算出部１５０は、取得した画像のエッジ統計量と画素値統計量とを算出する。次に変化度算出部１５０は、記憶部１１０から、過去の直近の画像から得られたエッジ統計量と画素値統計量とを取得する。そして変化度算出部１５０は、過去の画像のエッジ統計量と最新の画像のエッジ統計量との差を計算し、差を示す値を輪郭変化度とする。また変化度算出部１５０は、過去の画像の画素値統計量と最新の画像の画素値統計量との差を計算し、差を示す値を反射変化度とする。
【0068】
入れ替わり判定部１６０は、輪郭変化度と反射変化度とに基づいて、カメラ２３の撮影対象の入れ替わりの有無を判定する。例えば入れ替わり判定部１６０は、顔認証に成功した後に、顔認証の際のカメラ２３の撮影対象が他の人または写真などに入れ替わっているかどうかを判定する。
【0069】
動作検出部１７０は、画像取得部１２０から連続するフレームの画像を取得し、ユーザが指示された動作を行ったことを検出する。例えば顔を左右のいずれかに向けることを指示した場合、顔の輪郭の左右の折線と鼻筋を上下に通る直線との間隔の変化によって、動作を検出することができる。例えば右方向を向くことが指示され、ユーザが指示に従った動作をしたものとする。この場合、顔の右側（画像では左側）の輪郭の垂直な接線と鼻を通る直線との間隔が狭まり、顔の左側（画像では右側）の輪郭の垂直な接線と鼻を通る直線との間隔が広がる。このような直線等の間隔の変化を検出することで、指示通りの動作が行われたか否かを判断できる。
【0070】
動作検出部１７０は、ユーザが入室しようとしている場合、入れ替わりを検出しなければ、例えば鍵制御部１８０に対して鍵の解錠を指示する。またユーザが照合用の顔画像特徴量の登録を要求している場合、動作検出部１７０は、入れ替わりを検出しなければ、登録部１９０にユーザの顔画像特徴量を送信する。
【0071】
鍵制御部１８０は、動作検出部１７０からの指示に従って、ドア４１の鍵を解錠させる。例えば鍵制御部１８０は、電子錠ユニット２４に対して解錠指示を送信する。すると電子錠ユニット２４はドア４１のロックを外す。
【0072】
登録部１９０は、動作検出部１７０からの指示に従って、画像取得部１２０が取得した画像に基づいてユーザの顔画像の画像特徴量を算出する。そして登録部１９０は、算出した画像特徴量をサーバ２００に送信する。サーバ２００は、その画像特徴量を記憶部２１０に格納する。
【0073】
図６は、顔認証装置の記憶部が有するデータの一例を示す図である。エッジ統計量データ１１１には、フレーム番号に対応付けて、該当フレームのエッジ統計量が時系列順に格納されている。エッジ統計量は、例えば高次局所自己相関（ＨＬＡＣ：Higher-order Local AutoCorrelation）のヒストグラムである。ＨＬＡＣでは、画素ごとに、周囲の画素との関係が２５個のパターンのいずれかに分類される。そして各パターンの出現頻度（そのパターンとなる画素の数）を成分（非負整数値）とする２５次のベクトルが、エッジ統計量としてエッジ統計量データ１１１に格納される。
【0074】
画素値統計量データ１１２には、フレーム番号に対応付けて、該当フレームの画素値統計量が時系列順に格納されている。画素値統計量は、例えばＬＢＰ（Local Binary Pattern）のヒストグラムである。ＬＢＰでは、画素ごとに、周囲の画素との大小関係に基づいて０～２５５のいずれかの値が算出される。そして各値の出現頻度（その値となる画素の数）を成分（非負整数値）とする２５６次のベクトルが、画素値統計量として画素値統計量データ１１２に格納される。
【0075】
なお図６の例ではヒストグラムを統計量としているため、統計量を示すベクトルの成分は非負整数値であるが、使用する統計量によってはベクトルの成分は実数値にもなり得る。
【0076】
このような機能を有する生体認証システムにより、オフィス４０に入室しようとするユーザについて入室が許可されたユーザであると認証できた場合にのみ、ドア４１が解錠される。このときユーザが、別人の写真を用いて不正に認証を受けようとする場合があり得る。
【0077】
図７は、不正行為の一例を示す図である。ユーザ４２は写真４３を手に持ってドア４１の前にいる。写真４３には、オフィス４０への入室が許可されている他のユーザが写っている。なおユーザ４２は、オフィス４０への入室が許可されていない。
【0078】
ユーザ４２は、写真４３をカメラ２３の前にかざすことで顔認証を試みるものとする。カメラ２３の前に顔が写ったことを認識した顔認証装置１００は、カメラ２３が撮影した画像に基づいて顔認証を行うと共にスピーカ２１から動作指示を出力し、動作判定を行う。
【0079】
図８は、認証手順の概要を示す図である。写真４３の画像がカメラ２３に写ると、顔認証装置１００は、写真４３に写っている顔画像に基づいて顔認証を行う。顔認証装置１００は、顔認証に成功するとスピーカ２１から、例えば「右を向いて下さい」というような動作指示を出力する。動作指示を受けたユーザ４２は、カメラ２３の前から写真４３を取り除き、ユーザ４２の顔がカメラ２３に写る位置で指示通りの動作を行う。顔認証装置１００は、カメラ２３に写るユーザ４２の画像の動きに基づいて、指示通りの動作をしたか否かを判断する。
【0080】
図８の例では、カメラ２３の撮影対象が、写真４３からユーザ４２の顔に入れ替えられている。このように、写真４３をかざした後に、生のユーザ４２の顔に入れ替わって動作をすることで、写真の人物が動作をしたように見せかけるという不正行為が考えられる。
【0081】
なお前述のようにカメラ２３から画像を取得するフレームレートは顔認証の処理時間に依存し、１秒間に５～１０フレーム程度となる。そのためカメラ２３の前から写真４３を取り除く途中の様子がカメラ２３で撮影されない可能性が十分にある。そのため、カメラ２３の撮影対象を入れ替えている様子を示す画像を検出して入れ替えを検知するのは困難である。
【0082】
また正規のユーザの顔画像（例えば右を向いた顔画像）の特徴量を予めサーバ２００に登録しておいて、動作指示後の画像でも顔認証をすることも考えられるが、処理負荷が過大となってしまう。また動作指示のすべてのパターンについてユーザの顔画像の特徴量を登録させるのは、ユーザの登録の手間を考えると実用的ではない。
【0083】
そこで顔認証装置１００は、輪郭変化度と反射変化度とを組み合わせて、図８に示すような不正行為を検出する。輪郭変化度と反射変化度とを組み合わせたことで、確実な入れ替え検知が可能となる。すなわち反射変化度は光の反射の変化を検出するものであり、平面の写真での光の反射と生の人間の顔での光の反射との違いを適切に捉えることができる。ただし反射変化度は、画像のブレが大きいときには精度を欠き、正しい判断がされない可能性がある。
【0084】
図９は、画像のブレが小さい場合におけるフレームごとの画像の一例を示す図である。図９の例では、顔認証装置１００は、時系列に画像５１、画像５２、画像５３、画像５４を取得している。画像５１，５２には、写真４３の人物の顔画像が写っている。画像５３，５４には、ユーザ４２の生の顔画像が写っている。
【0085】
ブレが小さい場合、画像５１～５４の反射特性を画素値統計量で正しく表すことができる。そのため平面の写真を写した画像５２から生の顔を写した画像５３との間では、光の反射特性が大きく変わる。その結果、画像５２と画像５３とを比較した時の反射変化度が大きくなる。
【0086】
なお画像５２と画像５３との間では、顔の位置および大きさがあまり変わらないため、輪郭変化度は小さい。すなわちユーザ４２は、カメラ２３に写る自身の顔の位置および大きさに合わせた適切な写真４３を用意しておけば、輪郭変化度を用いた入れ替わり検知を回避することが可能である。このように輪郭変化度では入れ替わりの検知が困難な場合であっても、反射変化度を用いることで入れ替わりの検知が可能となる。
【0087】
図１０は、画像のブレが大きい場合におけるフレームごとの画像の一例を示す図である。図１０の例では、顔認証装置１００は、時系列に画像５５、画像５６、画像５７、画像５８を取得している。画像５５，５６には、写真４３の人物の顔画像が写っている。画像５７，５８には、ユーザ４２の生の顔画像が写っている。
【0088】
ブレが大きい場合、画像５５～５８の反射特性を画素値統計量で正しく検出できない場合がある。例えば画像５７ではブレの影響で、本来明るく反射するべき部分が暗くなっており、反射特性が画像５６に近づいている。すなわちブレが大きいと反射変化度の確度は落ちてしまう。
【0089】
他方、ブレが大きいと顔の輪郭線の位置および太さが大きく変化する。その結果、画像５６と画像５７とを比較したときの輪郭変化度が大きくなる。そのため輪郭変化度を用いて入れ替わりを検知すれば、ブレが大きい場合でも入れ替わりの有無を適切に判定できる。
【0090】
このように反射変化度による入れ替わりの検知と輪郭変化度による入れ替わりの検知とは、相互補完の関係にある。そして両手法を適用することで、入れ替わり検知の精度を向上させることができる。
【0091】
【0092】
［ステップＳ１０１］画像取得部１２０は、カメラ２３が撮影した画像を取得する。画像取得部１２０は、取得した画像を照合部１３０に送信する。
［ステップＳ１０２］照合部１３０はサーバ２００と連係し、画像取得部１２０から受信した画像に写った顔画像の特徴を示す特徴量と、サーバ２００に格納されている顔画像特徴量データ２１１に示される特徴量とを照合する。
［ステップＳ１０２］照合部１３０はサーバ２００と連係し、画像取得部１２０から受信した画像に写った顔画像の特徴を示す特徴量と、サーバ２００に格納されている顔画像特徴量データ２１１に示される特徴量とを照合する。
【0093】
［ステップＳ１０３］照合部１３０は、照合の結果、顔認証に成功したか否かを判定する。例えば照合部１３０は、画像取得部１２０から受信した画像に写る顔画像の特徴量が、入室が許可されているいずれかのユーザの顔画像の特徴量と一致した（あるいは類似度が所定値以上となった）場合、顔認証に成功したと判定する。照合部１３０は、顔認証に成功した場合、処理をステップＳ１０４に進める。また照合部１３０は、顔認証に失敗した場合、認証処理を終了する。
【0094】
［ステップＳ１０４］動作指示部１４０は、照合部１３０による顔認証が成功したとの判定結果に応じ、スピーカ２１を介してユーザ４２への動作指示を出力する。動作指示部１４０は、例えば予め用意されている複数の動作候補からランダムに１つの動作候補を選択し、選択した動作候補に対応する音声データに基づいて動作指示を出力する。
【0095】
［ステップＳ１０５］画像取得部１２０は、カメラ２３から画像を取得する。そして画像取得部１２０は、動作指示部１４０から動作指示が出力されていることを認識し、取得した画像を変化度算出部１５０に送信する。
【0096】
［ステップＳ１０６］変化度算出部１５０は、取得した画像のエッジ統計量と画素値統計量とを算出する。例えば変化度算出部１５０は、ＨＬＡＣのヒストグラムをエッジ統計量として算出する。また変化度算出部１５０は、ＬＢＰのヒストグラムを画素値統計量として算出する。
【0097】
［ステップＳ１０７］変化度算出部１５０は、記憶部１１０を参照し、過去のフレームの画像から算出された統計量があるか否かを判断する。変化度算出部１５０は、過去の統計量がある場合、処理をステップＳ１０８に進める。また変化度算出部１５０は、過去の統計量がない場合、処理をステップＳ１０５に進める。
【0098】
［ステップＳ１０８］変化度算出部１５０は、輪郭変化度と反射変化度とを算出する。例えば変化度算出部１５０は、記憶部１１０から、過去の直近のフレームのエッジ統計量を取得する。変化度算出部１５０は、記憶部１１０から取得したエッジ統計量と、ステップＳ１０６で算出したエッジ統計量とに基づいて輪郭変化度を計算する。例えば変化度算出部１５０は、２つのエッジ統計量のベクトルの距離を輪郭変化度とすることができる。また変化度算出部１５０は、２つのエッジ統計量のベクトルの類似度の逆数を輪郭変化度としてもよい。ベクトルが正規化されている場合、ベクトルの類似度は、例えばベクトルの内積によって求められる。
【0099】
また変化度算出部１５０は、記憶部１１０から、過去の直近のフレームの画素値統計量を取得する。変化度算出部１５０は、記憶部１１０から取得した画素値統計量と、ステップＳ１０６で算出した画素値統計量とに基づいて反射変化度を計算する。例えば変化度算出部１５０は、２つの画素値統計量のベクトルの距離を反射変化度とすることができる。また変化度算出部１５０は、２つの画素値統計量のベクトルの類似度の逆数を反射変化度としてもよい。
【0100】
［ステップＳ１０９］入れ替わり判定部１６０は、変化度算出部１５０が算出した輪郭変化度と反射変化度とに基づいて、入れ替わり判定処理を行う。入れ替わり判定処理により、カメラ２３の撮影対象が入れ替わったか否かが判定される。入れ替わり判定処理の詳細は後述する（図１２参照）。
【0101】
［ステップＳ１１０］入れ替わり判定部１６０は、入れ替わりを検出したか否かを判断する。入れ替わり判定部１６０は、入れ替わりを検出した場合、認証処理を終了する。また入れ替わり判定部１６０は、入れ替わりを検出しなかった場合、処理をステップＳ１１１に進める。
【0102】
［ステップＳ１１１］動作検出部１７０は、画像取得部１２０から画像を取得し、指定した動作の検出を行う。例えば右を向く動作を指定した場合、動作検出部１７０は、画像に写る顔の輪郭と鼻との位置関係を過去の画像と比較することで、右を向いたか否かを判断できる。動作検出部１７０は、指定した動作を検出した場合、処理をステップＳ１１２に進める。また動作検出部１７０は、指定した動作を検出できなかった場合、処理をステップＳ１０５に進める。
【0103】
［ステップＳ１１２］鍵制御部１８０または登録部１９０は、認証後の処理を実行する。例えばユーザ４２の入室時であれば、鍵制御部１８０はドア４１を解錠制御する。
このようにして、顔認証に成功し、かつ入れ替わりが検出されずに指示通りの動作を検出した場合、ドア４１の解錠などの所定の処理が実行される。次に、入れ替わり判定処理について詳細に説明する。
このようにして、顔認証に成功し、かつ入れ替わりが検出されずに指示通りの動作を検出した場合、ドア４１の解錠などの所定の処理が実行される。次に、入れ替わり判定処理について詳細に説明する。
【0104】
図１２は、入れ替わり判定処理の手順の一例を示すフローチャートである。以下、図１２に示す処理をステップ番号に沿って説明する。
［ステップＳ１２１］入れ替わり判定部１６０は、輪郭変化度が閾値Ｔｈ１以上か否かを判断する。入れ替わり判定部１６０は、閾値Ｔｈ１以上であれば処理をステップＳ１２２に進める。また入れ替わり判定部１６０は、閾値Ｔｈ１未満であれば処理をステップＳ１２３に進める。
［ステップＳ１２１］入れ替わり判定部１６０は、輪郭変化度が閾値Ｔｈ１以上か否かを判断する。入れ替わり判定部１６０は、閾値Ｔｈ１以上であれば処理をステップＳ１２２に進める。また入れ替わり判定部１６０は、閾値Ｔｈ１未満であれば処理をステップＳ１２３に進める。
【0105】
［ステップＳ１２２］入れ替わり判定部１６０は、カメラ２３の撮影対象の入れ替わりありと判定し、処理を終了する。
［ステップＳ１２３］入れ替わり判定部１６０は、輪郭変化度が閾値Ｔｈ２以上か否かを判断する（閾値Ｔｈ２＜閾値Ｔｈ１）。入れ替わり判定部１６０は、閾値Ｔｈ２以上であれば処理をステップＳ１２４に進める。また入れ替わり判定部１６０は、閾値Ｔｈ２未満であれば処理をステップＳ１２６に進める。
［ステップＳ１２３］入れ替わり判定部１６０は、輪郭変化度が閾値Ｔｈ２以上か否かを判断する（閾値Ｔｈ２＜閾値Ｔｈ１）。入れ替わり判定部１６０は、閾値Ｔｈ２以上であれば処理をステップＳ１２４に進める。また入れ替わり判定部１６０は、閾値Ｔｈ２未満であれば処理をステップＳ１２６に進める。
【0106】
［ステップＳ１２４］入れ替わり判定部１６０は、輪郭変化度と反射変化度との和が閾値Ｔｈ３以上か否かを判断する（閾値Ｔｈ３＞閾値Ｔｈ２）。入れ替わり判定部１６０は、閾値Ｔｈ３以上であれば処理をステップＳ１２５に進める。入れ替わり判定部１６０は、閾値Ｔｈ３未満であれば入れ替わり判定処理を終了する。
【0107】
［ステップＳ１２５］入れ替わり判定部１６０は、カメラ２３の撮影対象の入れ替わりありと判定し、処理を終了する。
［ステップＳ１２６］入れ替わり判定部１６０は、反射変化度が閾値Ｔｈ４以上か否かを判断する。入れ替わり判定部１６０は、閾値Ｔｈ４以上であれば処理をステップＳ１２７に進める。また入れ替わり判定部１６０は、閾値Ｔｈ４未満であれば入れ替わり判定処理を終了する。
［ステップＳ１２６］入れ替わり判定部１６０は、反射変化度が閾値Ｔｈ４以上か否かを判断する。入れ替わり判定部１６０は、閾値Ｔｈ４以上であれば処理をステップＳ１２７に進める。また入れ替わり判定部１６０は、閾値Ｔｈ４未満であれば入れ替わり判定処理を終了する。
【0108】
［ステップＳ１２７］入れ替わり判定部１６０は、カメラ２３の撮影対象の入れ替わりありと判定し、処理を終了する。
なお図１２に示した閾値Ｔｈ１は第１の実施の形態における第１閾値の一例である。閾値Ｔｈ４は第１の実施の形態における第２閾値の一例である。閾値Ｔｈ３は第１の実施の形態における第３閾値の一例である。
なお図１２に示した閾値Ｔｈ１は第１の実施の形態における第１閾値の一例である。閾値Ｔｈ４は第１の実施の形態における第２閾値の一例である。閾値Ｔｈ３は第１の実施の形態における第３閾値の一例である。
【0109】
このようにして、輪郭変化度と反射変化度との少なくとも一方がそれぞれの閾値以上の場合には、入れ替わりが検出される。これにより、画像のブレの影響を受けずに、入れ替わりを高精度に検出することができる。すなわち画像のブレが小さければ、反射変化度に基づいて、高精度に入れ替わりを検出できる。また画像のブレが大きい場合、輪郭変化度に基づいて入れ替わりが検出される。そのため、ユーザ４２が画像のブレを利用して反射変化度による入れ替わり検出を回避しようとしても、輪郭変化度に基づいて入れ替わりと判断され、不正に認証をパスすることが抑止される。
【0110】
また輪郭変化度と反射変化度との和が大きすぎる場合にも入れ替わりが検出される。輪郭変化度と反射変化度との和を用いることで、一方だけでは入れ替えが行われたかどうかが分からない場合でも適切に入れ替わりを検出できる。
【0111】
例えば小さなブレが生じている原因として、入れ替わりによる場合と、生の人物の顔の動きによる場合との両方が考えられる。このような場合でも、輪郭変化度と反射変化度との両方の和によって入れ替わりの有無を適切に判断できる。
【0112】
しかも、反射変化度および輪郭変化度の計算は、時系列に連続する２つの画像を比較するだけで済む。それに対して、顔認証による個人の特定では、取得した画像に写る顔画像の特徴量をサーバ２００に格納された多数のユーザの特徴量と照合することとなり、処理量が多くなる。そのため反射変化度および輪郭変化度を用いて入れ替わり検出を行ったことで、顔認証のための特徴量抽出に比べて計算コストが少なくて済む。計算コストが少ないため、毎フレームで計算することが可能であり、入れ替わりの検出処理をリアルタイムに実施することが可能である。
【0113】
なお、輪郭変化度と反射変化度との和の計算では、輪郭変化度と反射変化度とを正規化することで、輪郭変化度と反射変化度との影響を等しくすることができる。
図１３は、輪郭変化度と反射変化度との正規化の一例を示す図である。図１３の例ではエッジ統計量としてＨＬＡＣヒストグラムを用い、画素値統計量としてＬＢＰヒストグラムを用いた場合を想定している。
図１３は、輪郭変化度と反射変化度との正規化の一例を示す図である。図１３の例ではエッジ統計量としてＨＬＡＣヒストグラムを用い、画素値統計量としてＬＢＰヒストグラムを用いた場合を想定している。
【0114】
ＨＬＡＣの距離「Ｄｉｓｔ＿ｈｌａｃ」に対して、予め閾値「Ｔｈ＿ｈｌａｃ」が定められる。閾値「Ｔｈ＿ｈｌａｃ」は、例えば図１２に示した閾値「Ｔｈ１」である。入れ替わり判定部１６０は、「Ｄｉｓｔ＿ｈｌａｃ≧Ｔｈ＿ｈｌａｃ」を満たす場合、輪郭変化度「Ｖ＿ｃｏ」を「１」とする。入れ替わり判定部１６０は、「Ｄｉｓｔ＿ｈｌａｃ≧Ｔｈ＿ｈｌａｃ」が満たされない場合、輪郭変化度「Ｖ＿ｃｏ」を「Ｄｉｓｔ＿ｈｌａｃ／Ｔｈ＿ｈｌａｃ」とする。
【0115】
またＬＢＰの距離「Ｄｉｓｔ＿ｌｂｐ」に対して、予め閾値「Ｔｈ＿ｌｂｐ」が定められる。閾値「Ｔｈ＿ｌｂｐ」は、例えば図１２に示した閾値「Ｔｈ４」である。入れ替わり判定部１６０は、「Ｄｉｓｔ＿ｌｂｐ≧Ｔｈ＿ｌｂｐ」を満たす場合、反射変化度「Ｖ＿ｒｅ」を「１」とする。入れ替わり判定部１６０は、「Ｄｉｓｔ＿ｌｂｐ≧Ｔｈ＿ｌｂｐ」が満たされない場合、反射変化度「Ｖ＿ｒｅ」を「Ｄｉｓｔ＿ｌｂｐ／Ｔｈ＿ｌｂｐ」とする。
【0116】
このように輪郭変化度と反射変化度とを正規化することで、輪郭変化度と反射変化度との和に対するそれぞれの影響が対等となる。そして、輪郭変化度と反射変化度との和を閾値Ｔｈ３と比較したとき、輪郭変化度の大きさと反射変化度の大きさとが対等に評価される。
【0117】
なお顔認証装置１００による入れ替わりの検出処理は、入れ替わり検知のためのユーザ個人の情報の事前登録は不要であり、顔画像の特徴量の登録時にも利用可能である。ユーザ４２の顔画像の特徴量をサーバ２００に登録する際にも、カメラ２３の撮影対象の入れ替わりを検出することで、他人の写真４３の画像で顔画像の特徴量が登録されてしまうことを抑止できる。例えば顔認証装置１００の操作キー２２を用いてユーザ４２が所定のパスワードを入力すると、顔認証装置１００は、新たな顔画像の画像特徴量の入力モードになる。この状態で、カメラ２３の前に顔を写せば、写った顔画像の特徴量がサーバ２００に登録される。この際、ユーザ４２が、他人が写った写真４３をカメラ２３の前に差し出すと、その他人の顔画像の特徴量がサーバ２００に登録される可能性がある。そこで顔認証装置１００は、顔画像特徴量の登録時においても入れ替わり検出を伴う動作判定を行うことで、不正な顔画像特徴量の登録を抑止する。
【0118】
図１４は、顔画像特徴量登録処理の手順の一例を示すフローチャートである。図１４に示した処理のうちステップＳ１３２～Ｓ１３９は、それぞれ図１１に示した処理のステップＳ１０４～Ｓ１１１の処理と同じである。以下、図１１の処理と異なるステップＳ１３１とステップＳ１４０の処理について説明する。
【0119】
［ステップＳ１３１］画像取得部１２０は、カメラ２３から登録対象の画像を取得する。画像取得部１２０は、取得した画像を登録部１９０に送信する。その後、ステップＳ１３２からＳ１３９において動作指示、および動作指示後の画像による入れ替わり判定、指示通りの動作の検出が行われる。そして入れ替わりが検出されることなく指示通りの動作が検出された場合、処理がステップＳ１４０に進められる。
【0120】
［ステップＳ１４０］登録部１９０は、画像取得部１２０から取得した画像に写っている顔画像の特徴量をサーバ２００に登録する。
このように顔画像特徴量の登録時にも入れ替わり検出を伴う動作判定処理を実施することで、他人の写真４３による顔画像の特徴量の登録が抑止される。
このように顔画像特徴量の登録時にも入れ替わり検出を伴う動作判定処理を実施することで、他人の写真４３による顔画像の特徴量の登録が抑止される。
【0121】
〔第３の実施の形態〕
次に第３の実施の形態について説明する。第３の実施の形態は、輪郭変化度と反射変化度に加え、画素中に偽造物らしい反射をもつかを示す反射スコアを入れ替わり検出に利用するものである。反射スコアは、画像から得られる鏡面反射成分と拡散反射成分とに基づいて算出される。
次に第３の実施の形態について説明する。第３の実施の形態は、輪郭変化度と反射変化度に加え、画素中に偽造物らしい反射をもつかを示す反射スコアを入れ替わり検出に利用するものである。反射スコアは、画像から得られる鏡面反射成分と拡散反射成分とに基づいて算出される。
【0122】
例えば顔認証装置１００またはサーバ２００は、予め多数の本物と偽造物の画像から算出した鏡面反射成分と拡散反射成分における画素値統計量を用いて機械学習のモデルを生成しておく。生成されるモデルは、例えば画像の鏡面反射成分と拡散反射成分（あるいはそれらの画素値の統計量）を入力として、偽造物らしさを示す反射スコアを算出する計算モデルである。算出される反射スコアは、例えば偽造物らしいほど値が大きくなるように設計される。例えば撮影したのが写真の画像であれば画面全体で鏡面反射成分が大きくなる。このような傾向がモデルに反映されることで、写真の画像に対する反射スコアが大きくなる。
【0123】
顔認証装置１００の変化度算出部１５０は、輪郭変化度と反射変化度とを算出する際に、予め用意されたモデルを用いて反射スコアを算出する。そして入れ替わり判定部１６０は、輪郭変化度と反射変化度と反射スコアとを用いて入れ替わり判定処理を実施する。
【0124】
図１５は、反射スコアを利用する場合の認証処理の手順の一例を示すフローチャートである。図１４に示した処理のうちステップＳ２０１～Ｓ２０７，Ｓ２１０～Ｓ２１２は、それぞれ図１１に示した処理のステップＳ１０１～Ｓ１０７，Ｓ１１０～Ｓ１１２の処理と同じである。以下、図１１の処理と異なるステップＳ２０８とステップＳ２０９の処理について説明する。
【0125】
［ステップＳ２０８］変化度算出部１５０は、輪郭変化度と反射変化度と反射スコアとを算出する。輪郭変化度と反射変化度との算出方法は、図１１に示したステップＳ１０８の処理と同様である。変化度算出部１５０は、反射スコアを算出するために、ステップＳ２０５で取得した画像の各画素の成分を、鏡面反射成分と拡散反射成分とに分離する。次に変化度算出部１５０は、鏡面反射成分と拡散反射成分（あるいはそれらの画素値の統計量）を反射スコア算出用のモデルに入力し、モデルに従った計算を行うことで反射スコアを算出する。
【0126】
［ステップＳ２０９］入れ替わり判定部１６０は、変化度算出部１５０が算出した輪郭変化度と反射変化度と反射スコアとに基づいて、入れ替わり判定処理を行う。
図１６は、反射スコアを利用する場合の入れ替わり判定処理の手順の一例を示すフローチャートである。図１６に示した処理のうちステップＳ２２３～Ｓ２２９は、それぞれ図１２に示した処理のステップＳ１２１～Ｓ１２７の処理と同じである。以下、図１２の処理と異なるステップＳ２２１とステップＳ２２２の処理について説明する。
図１６は、反射スコアを利用する場合の入れ替わり判定処理の手順の一例を示すフローチャートである。図１６に示した処理のうちステップＳ２２３～Ｓ２２９は、それぞれ図１２に示した処理のステップＳ１２１～Ｓ１２７の処理と同じである。以下、図１２の処理と異なるステップＳ２２１とステップＳ２２２の処理について説明する。
【0127】
［ステップＳ２２１］入れ替わり判定部１６０は、変化度算出部１５０が算出した反射スコアが閾値Ｔｈ５以上か否かを判断する。入れ替わり判定部１６０は、閾値Ｔｈ５以上であれば処理をステップＳ２２２に進める。また入れ替わり判定部１６０は、閾値Ｔｈ５未満であれば処理をステップＳ２２３に進める。
【0128】
［ステップＳ２２２］入れ替わり判定部１６０は、カメラ２３の撮影対象の入れ替わりありと判定し、処理を終了する。
このように反射スコアを用いて入れ替わりの有無を判定することで、判定精度を向上させることができる。なお図１６に示した閾値Ｔｈ５は第１の実施の形態における第４閾値の一例である。
このように反射スコアを用いて入れ替わりの有無を判定することで、判定精度を向上させることができる。なお図１６に示した閾値Ｔｈ５は第１の実施の形態における第４閾値の一例である。
【0129】
〔第４の実施の形態〕
第２・第３の実施の形態では、顔画像による照合処理によって顔認証に成功した後に、入れ替わり判定を伴う動作判定処理を行っているが、動作判定処理の後に照合処理を行う場合もある。その場合、顔認証装置１００は、例えば動作判定処理中に取得した画像をメモリ１０２またはストレージ装置１０３に保存しておき、保存しておいた画像を用いて顔認証のための照合処理を行う。
第２・第３の実施の形態では、顔画像による照合処理によって顔認証に成功した後に、入れ替わり判定を伴う動作判定処理を行っているが、動作判定処理の後に照合処理を行う場合もある。その場合、顔認証装置１００は、例えば動作判定処理中に取得した画像をメモリ１０２またはストレージ装置１０３に保存しておき、保存しておいた画像を用いて顔認証のための照合処理を行う。
【0130】
このとき、ユーザ４２が、動作指示が出力された後の任意のタイミングで、カメラ２３の前に写真４３をかざす可能性がある。顔認証装置１００は、動作判定処理中に取得した画像内に、顔認証に成功する画像が１つでもあれば、顔認証を成功させてしまう可能性がある。このような場合であっても、動作判定処理中に入れ替わり判定を行うことで、不正行為を抑止することができる。
【0131】
図１７は、動作判定中の画像で照合を行う認証処理の手順の一例を示すフローチャートである。図１７に示した処理のうちステップＳ３０１，Ｓ３０３～Ｓ３０８は、それぞれ図１１に示したステップＳ１０４，Ｓ１０６～Ｓ１１１の処理と同じである。またステップＳ３１０，Ｓ３１１は、それぞれ図１１に示したステップＳ１０３，Ｓ１１２の処理と同じである。以下、図１１の処理と異なるステップＳ３０２とステップＳ３０９の処理について説明する。
【0132】
［ステップＳ３０２］画像取得部１２０は、カメラ２３から画像を取得する。そして画像取得部１２０は、動作指示部１４０から動作指示が出力されていることを認識し、取得した画像を変化度算出部１５０に送信すると共に、取得した画像をメモリ１０２またはストレージ装置１０３に格納する。
【0133】
ステップＳ３０８で指定された動作が検出されるまでステップＳ３０２における画像取得が繰り返し実行され、取得された画像は、メモリ１０２またはストレージ装置１０３に蓄積される。ステップＳ３０８で指定された動作が検出されると、処理がステップＳ３０９に進められる。
【0134】
［ステップＳ３０９］照合部１３０はサーバ２００と連係し、メモリ１０２またはストレージ装置１０３に蓄積された画像に写った顔画像の特徴を示す特徴量と、サーバ２００に格納されている顔画像特徴量データ２１１に示される特徴量とを照合する。例えば照合部１３０は、蓄積された複数の画像のうち、照合に適切な１以上の画像を選択する。照合に適切な画像は、例えば正面からの顔が写っているブレの少ない画像である。そして照合部１３０は、選択した画像に写った顔画像の特徴を示す特徴量と、サーバ２００に格納されている顔画像特徴量データ２１１に示される特徴量とを照合する。照合によって顔認証に成功すれば、解錠などの処理が実行されることとなる。
【0135】
このような照合処理において、ユーザ４２が、動作指示が出力された後の任意のタイミングでカメラ２３の前に写真４３をかざし、ブレが生じ内容に一定時間動かさずに留めたものとする。この場合、動作途中の生の顔の画像はブレ易いため、入れ替わり判定処理が行われていないと、正面からの顔が写ったブレの少ない写真４３の画像が照合用の画像として選択される可能性が高い。それに対し図１７の処理では動作判定中に入れ替わり判定処理を行っているため、カメラ２３の撮影対象が入れ替わったことを反射変化度に基づいて検出でき、不正行為によって認証に成功してしまうことを抑止できる。
【0136】
〔その他の実施の形態〕
第２～第４の実施の形態では反射変化度として、ＬＢＰヒストグラムの変化度を計算しているが、他の統計量を用いてもよい。例えば時系列に連続する２つの画像間の輝度値の相関を反射変化度としてもよい。
第２～第４の実施の形態では反射変化度として、ＬＢＰヒストグラムの変化度を計算しているが、他の統計量を用いてもよい。例えば時系列に連続する２つの画像間の輝度値の相関を反射変化度としてもよい。
【0137】
また第２～第４の実施の形態では輪郭変化度として、ＨＬＡＣヒストグラムの変化度を計算しているが、他の統計量を用いてもよい。例えば時系列に連続する２つの画像間のラプラシアンの相関を輪郭変化度としてもよい。
【0138】
また第２～第４の実施の形態では、顔が写っている領域の顔画像に基づいて画素値統計量を計算しているが、顔の一部の領域の画像に基づいて画素値統計量を計算してもよい。例えば他の影響を受けにくい頬の周辺の画像から画素値統計量を計算してもよい。頬の位置は、例えば目、鼻、口との相対的な位置関係から特定できる。頬の画像を用いて画素値統計量を計算すれば、顔全体よりも髪の毛の揺れなどの影響が少なくて済み、反射変化度の精度が向上する。
【0139】
また第２～第４の実施の形態では、顔全体のエッジ統計量を計算しているが、顔の一部の領域のエッジ統計量を計算してもよい。例えば他の影響を受けにくい鼻の周辺からエッジ統計量を算出してもよい。鼻の周辺の画像を用いてエッジ統計量を計算すれば、顔全体よりも髪の毛の揺れなどの影響が少なくて済み、輪郭変化度の精度が向上する。
【0140】
また第２・第３の実施の形態は、顔認証装置１００をオフィス４０への入室管理に用いているが、他の用途にも利用することができる。例えばＡＴＭにおける口座名義人の本人確認、コンピュータなどの各種機器におけるユーザの本人確認などに、顔認証装置１００に示した機能を適用することができる。
【0141】
上記については単に本発明の原理を示すものである。さらに、多数の変形、変更が当業者にとって可能であり、本発明は上記に示し、説明した正確な構成および応用例に限定されるものではなく、対応するすべての変形例および均等物は、添付の請求項およびその均等物による本発明の範囲とみなされる。
【符号の説明】
【0142】
１ ユーザ
２ 写真
３ カメラ
４ａ，４ｂ，４ｃ，・・・ 画像
５ 第１画像
６，７ 第２画像
１０ 顔認証装置
１１ 記憶部
１２ 処理部
２ 写真
３ カメラ
４ａ，４ｂ，４ｃ，・・・ 画像
５ 第１画像
６，７ 第２画像
１０ 顔認証装置
１１ 記憶部
１２ 処理部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】