知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-18
(45)【発行日】2024-10-28
(54)【発明の名称】認証処理装置、認証処理方法およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241021BHJP
G06F 21/36 20130101ALI20241021BHJP
【ＦＩ】
G06T7/00 660A
G06F21/36
【請求項の数】
18
(21)【出願番号】P 2020160080
(22)【出願日】2020-09-24
(65)【公開番号】P2022053309
(43)【公開日】2022-04-05
【審査請求日】2023-09-20
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】米澤 博紀
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開２０２０－０９５２９９（ＪＰ，Ａ）
【文献】特開２０１８－１６９９４３（ＪＰ，Ａ）
【文献】特開２００７－０１１４５６（ＪＰ，Ａ）
【文献】奥村明俊 外４名，顔認証によるチケット本人確認システムにおける入場者の自撮り顔画像の活用，情報処理学会 研究報告 デジタルコンテンツクリエーション（ＤＣＣ） ２０１８－ＤＣＣ－０１８ ［ｏｎｌｉｎｅ］，情報処理学会，2018年01月19日，pp.1～8
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｂ １１／００ － １１／３０
Ｇ０１Ｂ ２１／００ － ２１／３２
Ｇ０６Ｆ ２１／００
Ｇ０６Ｆ ２１／３０ － ２１／４６
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
(57)【特許請求の範囲】
【請求項1】
認証用画像から認証対象を検出する第一検出手段と、前記第一検出手段により検出された認証対象を同定する第一照合手段と、
前記認証用画像から背景画像を検出する第二検出手段と、
前記第二検出手段により検出された背景画像を同定する第二照合手段と、
前記第二照合手段による同定結果に基づいて、前記第一照合手段による同定結果の有効性を判定する判定手段と、を備え、
前記背景画像は、前記認証用画像を撮像する撮像装置で撮像された画像であることを示す特定のパターンと、前記認証用画像を撮像する撮像装置で撮像された画像であることを示す特定の文字列と、の少なくとも１つを含むことを特徴とする認証処理装置。
【請求項2】
前記認証用画像を撮像する撮像装置の撮像範囲内に前記背景画像を表示させる表示制御手段をさらに備えることを特徴とする請求項１に記載の認証処理装置。
【請求項3】
前記特定のパターンは、二次元コード化された画像であることを特徴とする請求項１又は２に記載の認証処理装置。
【請求項4】
前記特定の文字列は、ワンタイムパスワードであることを特徴とする請求項２又は３に記載の認証処理装置。
【請求項5】
前記背景画像として表示されるワンタイムパスワードと独立に、前記背景画像として表示されるワンタイムパスワードと同一のワンタイムパスワードを生成する生成手段をさらに備えることを特徴とする請求項４に記載の認証処理装置。
【請求項6】
前記背景画像は、プロジェクタにより投影されることを特徴とする請求項１から５のいれか１項に記載の認証処理装置。
【請求項7】
前記背景画像は、可視光モニタにより表示されることを特徴とする請求項１から５のいずれか１項に記載の認証処理装置。
【請求項8】
前記認証用画像の撮像と、前記背景画像の表示とを同期させる制御手段を備えることを特徴とする請求項１から７のいずれか１項に記載の認証処理装置。
【請求項9】
予め用意された背景画像を無作為に選択する選択手段と、前記背景画像、前記背景画像の表示時刻、前記認証用画像および前記認証用画像の撮像時刻をメモリに記憶させる記憶手段とをさらに備え、
前記第二照合手段は、前記認証用画像の撮像時刻に表示された前記背景画像と、前記第二検出手段により前記認証用画像から検出された背景画像との照合結果に基づいて、前記第二検出手段により検出された背景画像を同定することを特徴とする請求項１から８のいずれか１項に記載の認証処理装置。
【請求項10】
前記認証用画像において、前記認証対象の検出可能領域以外の領域に前記背景画像が位置するように、前記背景画像の表示の位置および姿勢を決定する決定手段をさらに備えることを特徴とする請求項１から９のいずれか１項に記載の認証処理装置。
【請求項11】
前記認証用画像において、前記認証対象の検出可能領域以外の領域に前記背景画像が位置するように、前記背景画像の表示の位置を決定する決定手段をさらに備えることを特徴とする請求項１から９のいずれか１項に記載の認証処理装置。
【請求項12】
前記背景画像の位置および姿勢に基づいて、前記背景画像の歪を補正する補正手段をさらに備えることを特徴とする請求項１０に記載の認証処理装置。
【請求項13】
前記認証用画像から前記認証対象の周囲の直線を検出する第三検出手段と、前記第三検出手段により検出された直線が前記認証対象を表示する物体の枠線の少なくとも一部か否かを判定する第三照合手段とをさらに備え、
前記判定手段は、前記第二照合手段による同定結果および前記第三照合手段による判定結果に基づいて、前記第一照合手段による同定結果の有効性を判定することを特徴とする請求項１から１２のいずれか１項に記載の認証処理装置。
【請求項14】
前記背景画像が除去された認証用画像を表示させる表示手段をさらに備えることを特徴とする請求項１から１３のいずれか１項に記載の認証処理装置。
【請求項15】
前記認証対象は、人物の顔であることを特徴とする請求項１から１４のいずれか１項に記載の認証処理装置。
【請求項16】
認証処理装置が行う認証処理方法であって、認証用画像から認証対象を検出するステップと、
前記認証用画像から検出された認証対象を同定するステップと、
前記認証用画像から背景画像を検出するステップと、
前記認証用画像から検出された背景画像を同定するステップと、
前記認証用画像から検出された背景画像の同定結果に基づいて、前記認証用画像から検出された認証対象の同定結果の有効性を判定するステップと、を備え、
前記背景画像は、前記認証用画像を撮像する撮像装置で撮像された画像であることを示す特定のパターンと、前記認証用画像を撮像する撮像装置で撮像された画像であることを示す特定の文字列と、の少なくとも１つを含むことを特徴とする認証処理方法。
【請求項17】
前記認証用画像を撮像する撮像装置の撮像範囲内に前記背景画像を表示させるステップをさらに備えることを特徴とする請求項１６に記載の認証処理方法。
【請求項18】
コンピュータを、請求項１から１５のうちいずれか１項に記載の認証処理装置として動作させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、認証処理装置、認証処理方法およびプログラムに関する。
【背景技術】
【0002】
認証装置の普及に伴い、顔認証装置の登録画像に映っている人物と同じ人物の顔を、写真またはスマートフォン等で提示するなりすまし行為が発生している。このようななりすまし行為に対処するため、なりすまし行為を検出する技術が提案されている。
【0003】
特許文献１には、特定の画像を瞳に投影し、顔画像認証のなりすましの検出を行う技術が開示されている。特許文献２は、可視光照明を使用し、撮像中の人物の照明による見え方の変化により、タブレットまたは写真によるなりすましを判断する技術が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２００７－７２８６１号公報
【文献】特許第５９５５１３３号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、タブレットＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）および薄型ディスプレイの低価格化、処理能力向上、高精細化および大画面化に伴い、これらを悪用したなりすまし対象の表示が行われている。具体的には、実写動画、コンピュータグラフィックス（ＣＧ）実時間生成またはビデオチャットの画面などの手段によるなりすまし対象の表示である。
【0006】
特許文献１、２に開示された技術では、大画面のタブレットで認証用撮像装置の撮像範囲を覆い隠すように実寸大のなりすまし用の実写動画等が提示された場合、被認証者に負担を強いることなく短時間でなりすましを検出できない場合がある。
本発明が解決しようとする課題は、認証時の負荷の増大を抑制しつつ、なりすましを検出可能とすることである。
本発明が解決しようとする課題は、認証時の負荷の増大を抑制しつつ、なりすましを検出可能とすることである。
【課題を解決するための手段】
【0007】
本発明の一態様に係る認証処理装置は、認証用画像から認証対象を検出する第一検出手段と、前記第一検出手段により検出された認証対象を同定する第一照合手段と、前記認証用画像から背景画像を検出する第二検出手段と、前記第二検出手段により検出された背景画像を同定する第二照合手段と、前記第二照合手段による同定結果に基づいて、前記第一照合手段による同定結果の有効性を判定する判定手段と、を備え、前記背景画像は、前記認証用画像を撮像する撮像装置で撮像された画像であることを示す特定のパターンと、前記認証用画像を撮像する撮像装置で撮像された画像であることを示す特定の文字列と、の少なくとも１つを含む。
【図面の簡単な説明】
【0008】
【図1】第１実施形態に係る顔認証処理装置のハードウェア構成例を示すブロック図。
【図2】第１実施形態に係る顔認証処理装置の機能構成例を示すブロック図。
【図10】第２実施形態に係る顔認証処理装置の機能構成例を示すブロック図。
【図14】図１４（ａ）は、第２実施形態に係る被認証者の認証環境の一例を示す斜視図、図１４（ｂ）は、図１４（ａ）の認証環境における撮像画像の一例を示す図、図１４（ｃ）は、図１４（ｂ）の撮像画像の補正例を示す図。
【図16】第４実施形態に係る顔認証処理装置のハードウェア構成例を示すブロック図。
【図17】第４実施形態に係る顔認証処理装置の機能構成例を示すブロック図。
【図22】第５実施形態に係る顔認証処理装置の機能構成例を示すブロック図。
【発明を実施するための形態】
【0009】
以下、添付図面を参照して本発明の実施形態を詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正または変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定され、以下の個別の実施形態によって限定されない。
【0010】
＜第１実施形態＞
図１は、第１実施形態に係る顔認証処理装置のハードウェア構成例を示すブロック図である。
図１において、セキュリティゲートシステムは、ゲート装置３、ＩＣカード認証装置２および顔認証処理装置１Ａを備える。
図１は、第１実施形態に係る顔認証処理装置のハードウェア構成例を示すブロック図である。
図１において、セキュリティゲートシステムは、ゲート装置３、ＩＣカード認証装置２および顔認証処理装置１Ａを備える。
【0011】
ゲート装置３は、被認証者の通過を物理的に受容もしくは拒絶する。ゲート装置３は、顔認証処理装置１Ａの処理結果を外部Ｉ／Ｆ１３から受けて動作する。
ＩＣカード認証装置２は、ＩＣカードを利用した認証を行う。ＩＣカード認証装置２は、認証結果を外部Ｉ／Ｆ１３を介して顔認証処理装置１Ａに送信する。
ＩＣカード認証装置２は、ＩＣカードを利用した認証を行う。ＩＣカード認証装置２は、認証結果を外部Ｉ／Ｆ１３を介して顔認証処理装置１Ａに送信する。
【0012】
顔認証処理装置１Ａは、ＩＣカード認証装置２による認証結果を受けて、顔画像および背景画像を含む認証用画像に基づいて画像認証処理を実施し、その認証処理に基づいてゲート装置３を制御する。背景画像は、認証対象である被認証者の背景に表示された画像である。
顔認証処理装置１Ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、メモリ１１、ネットワークＩ／Ｆ（ＩｎｔｅｒＦａｃｅ）１２、外部Ｉ／Ｆ１３を備える。また、顔認証処理装置１Ａは、認証画像表示装置１４、背景画像表示装置１５、入力装置１６、外部記憶装置１７および画像入力装置１８を備える。
顔認証処理装置１Ａは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、メモリ１１、ネットワークＩ／Ｆ（ＩｎｔｅｒＦａｃｅ）１２、外部Ｉ／Ｆ１３を備える。また、顔認証処理装置１Ａは、認証画像表示装置１４、背景画像表示装置１５、入力装置１６、外部記憶装置１７および画像入力装置１８を備える。
【0013】
ＣＰＵ１０は、顔認証処理装置１Ａの全体の制御を司る。ＣＰＵ１０は、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であってもよい。ＣＰＵ１０は、処理の一部を行うアクセラレータなどのハードウェア回路（例えば、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）またはＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ））を備えていてもよい。ＣＰＵ１０は、ニューラルネットワークとして動作してもよい。
【0014】
メモリ１１は、ＣＰＵ１０が処理に利用するデータおよびプログラム等を記憶する。メモリ１１は、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄａｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）またはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの半導体メモリを含むことができる。
【0015】
ネットワークＩ／Ｆ１２は、顔認証処理装置１Ａをネットワークに接続するインタフェースである。ネットワークは、インターネットであってもよいし、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよいし、ＷｉＦｉまたはイーサネット（登録商標）などのＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）であってもよい。
外部Ｉ／Ｆ１３は、顔認証処理装置１Ａとともにセキュリティゲートを構成するゲート装置３およびＩＣカード認証装置２などの機器に接続するインタフェースである。
外部Ｉ／Ｆ１３は、顔認証処理装置１Ａとともにセキュリティゲートを構成するゲート装置３およびＩＣカード認証装置２などの機器に接続するインタフェースである。
【0016】
認証画像表示装置１４は、認証用画像およびＣＰＵ１０による処理結果を表示する。認証用画像は、認証対象の撮像画像および認証対象の背景に表示された背景画像を含む画像である。認証対象は、人物であってもよいし、物品であってもよい。ただし、顔認証の場合は、認証対象は、人物の顔である。認証画像表示装置１４は、例えば、液晶表示装置、有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイまたはマイクロＬＥＤ（Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）ディスプレイである。
【0017】
背景画像表示装置１５は、認証用画像を撮像する撮像装置（画像入力装置１８）の撮像範囲内に背景画像を表示する。背景画像は、文字情報を含んでもよいし、ワンタイムパスワードを含んでもよい。背景画像表示装置１５は、例えば、プロジェクタ、液晶表示装置、有機ＥＬディスプレイまたはマイクロＬＥＤディスプレイである。
【0018】
入力装置１６は、ユーザの操作を顔認証処理装置１Ａに入力する。入力装置１６は、例えば、ボタン、マウス、タッチパネル、カードリーダ、キーボードまたは音声入力装置等である。
【0019】
外部記憶装置１７は、メモリ１１には収まらないデータおよびプログラム等を記憶する。外部記憶装置１７は、例えば、ハードディスク装置またはＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）である。これらデータおよびプログラムは、ネットワーク上の他の機器よりネットワークＩ／Ｆ１２を介して取得してもよい。
【0020】
画像入力装置１８は、認証用画像を撮像する撮像装置である。画像入力装置１８は、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）センサまたはＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）センサなどの固体撮像素子と光学レンズを含む。
【0021】
ＣＰＵ１０は、メモリ１１および外部記憶装置１７に記憶されたプログラムに基づいて、認証対象の認証処理を実行する。このとき、ＣＰＵ１０は、認証対象および背景画像が撮像範囲内に撮像された認証用画像から認証対象を検出し、認証用画像から検出された認証対象を同定する。さらに、ＣＰＵ１０は、認証用画像から背景画像を検出し、認証用画像から検出された背景画像を同定し、認証用画像から検出された背景画像の同定結果に基づいて、認証用画像から検出された認証対象の同定結果の有効性を判定する。
【0022】
そして、ＣＰＵ１０は、認証対象の同定結果が有効と判定した場合、ゲート装置３にゲートの開放を指示し、認証対象の同定結果が無効と判定した場合、ゲート装置３にゲートの閉鎖を指示する。
【0023】
図２は、第１実施形態に係る顔認証処理装置の機能構成例を示すブロック図である。
図２に示す各機能ブロックのうち、ソフトウェアにより実現される機能については、各機能ブロックの機能を提供するためのプログラムがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリに記憶される。そして、そのプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に読み出してＣＰＵ１０が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣにより実現するようにしてもよい。なお、図２に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。
図２に示す各機能ブロックのうち、ソフトウェアにより実現される機能については、各機能ブロックの機能を提供するためのプログラムがＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等のメモリに記憶される。そして、そのプログラムをＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）に読み出してＣＰＵ１０が実行することにより実現される。ハードウェアにより実現される機能については、例えば、所定のコンパイラを用いることで、各機能ブロックの機能を実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてゲートアレイ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣにより実現するようにしてもよい。なお、図２に示した機能ブロックの構成は一例であり、複数の機能ブロックが１つの機能ブロックを構成するようにしてもよいし、いずれかの機能ブロックが複数の機能を行うブロックに分かれてもよい。
【0024】
図２において、顔認証処理装置１Ａは、制御部２１Ａ、認証画像ブロック２２、認証ブロック２３Ａおよび背景画像ブロック２４Ａを備える。制御部２１Ａは、各ブロック間の情報通知、動作および同期を司り、セキュリティゲートシステム全体の一連の処理を実現する。
【0025】
認証画像ブロック２２は、撮像部２２１、画像記憶部２２２、画像選択部２２３および表示部２２４を備える。撮像部２２１は、認証用画像を撮像する。撮像部２２１は、例えば、可視光カメラである。画像記憶部２２２は、撮像部２２１で撮像された認証用画像を一時的に一定の時間記憶する。画像選択部２２３は、制御部２１Ａの指示に基づいて、画像記憶部２２２に記憶された認証用画像の中から、認証ブロック２３Ａおよび表示部２２４に送信する認証用画像を選択する。表示部２２４は、画像選択部２２３から送信された認証用画像を表示する。表示部２２４は、例えば、液晶表示装置、有機ＥＬディスプレイまたはマイクロＬＥＤディスプレイである。撮像部２２１および表示部２２４は、いずれもゲート装置３およびＩＣカード認証装置２の近傍に設置される。
【0026】
認証ブロック２３Ａは、登録画像記憶部２３１、第一検出部２３２、第一照合部２３３、第二検出部２３４、第二照合部２３５および判定部２３６を備える。
登録画像記憶部２３１は、認証を許可する被認証者の顔画像を予め記憶する。第一検出部２３２は、認証画像ブロック２２から送信された認証用画像から顔を検出する。第一照合部２３３は、第一検出部２３２により検出された顔を同定する。このとき、第一照合部２３３は、例えば、登録画像記憶部２３１にある顔画像と、第一検出部２３２の検出結果とを比較照合し、顔を同定する。第二検出部２３４は、背景画像ブロック２４Ａで作成される背景画像を認証用画像から検出する。第二照合部２３５は、第二検出部２３５により検出された背景画像を同定する。このとき、第二照合部２３５は、例えば、認証用画像の撮像時に被認証者の背景に表示されている背景画像と、第二検出部２３５により検出された背景画像とを比較照合し、背景画像を同定する。
登録画像記憶部２３１は、認証を許可する被認証者の顔画像を予め記憶する。第一検出部２３２は、認証画像ブロック２２から送信された認証用画像から顔を検出する。第一照合部２３３は、第一検出部２３２により検出された顔を同定する。このとき、第一照合部２３３は、例えば、登録画像記憶部２３１にある顔画像と、第一検出部２３２の検出結果とを比較照合し、顔を同定する。第二検出部２３４は、背景画像ブロック２４Ａで作成される背景画像を認証用画像から検出する。第二照合部２３５は、第二検出部２３５により検出された背景画像を同定する。このとき、第二照合部２３５は、例えば、認証用画像の撮像時に被認証者の背景に表示されている背景画像と、第二検出部２３５により検出された背景画像とを比較照合し、背景画像を同定する。
【0027】
ここで、認証用画像の撮像時に被認証者の背景に表示される背景画像は、予め用意された複数の背景画像から無作為に選択することができる。このため、背景画像ブロック２４Ａは、無作為に選択した背景画像と、その背景画像の表示時刻を記憶し、その背景画像と、その背景画像の表示時刻を認証ブロック２３Ａに送信することができる。認証画像ブロック２２は、認証用画像と、その認証用画像の撮像時刻を記憶し、その認証用画像と、その認証用画像の撮像時刻を認証ブロック２３Ａに送信することができる。そして、第二照合部２３５は、無作為に選択される背景画像のうち、認証用画像の撮像時に被認証者の背景に表示されている背景画像と、その認証用画像から検出された背景画像とを比較照合することができる。
【0028】
判定部２３６は、第二照合部２３５による同定結果に基づいて、第一照合部２３３による同定結果の有効性を判定する。このとき、判定部２３６は、第一照合部２３３の照合結果と第二照合部２３５の照合結果との両方を使用することで、登録画像記憶部２３１に登録された被認証者がなりすましなく認証を行っているかどうかを判定することができる。例えば、判定部２３６は、認証用画像の撮像時に被認証者の背景に表示されている背景画像が認証用画像にあれば、なりすまし無しと判定し、認証用画像の撮像時に被認証者の背景に表示されている背景画像が認証用画像になければ、なりすまし有りと判定することができる。
【0029】
背景画像ブロック２４Ａは、背景画像生成部２４１、背景画像記憶部２４２、背景画像選択部２４３および背景画像表示部２４４を備える。背景画像生成部２４１は、背景画像を生成する。このとき、背景画像生成部２４１は、複数の背景画像を生成することができる。背景画像記憶部２４２は、背景画像生成部２４１で生成された背景画像を一時的に一定の時間記憶する。背景画像選択部２４３は、制御部２１Ａの指示に基づいて、背景画像記憶部２４２に記憶された背景画像の中から、認証ブロック２３Ａおよび背景画像表示部２４４に送信する背景画像を選択する。このとき、背景画像選択部２４３は、予め用意された背景画像を無作為に選択することができる。背景画像表示部２４４は、撮像部２２１の撮像範囲内に背景画像を投影する。背景画像表示部２４４は、例えば、プロジェクタである。このとき、背景画像表示部２４４は、撮像部２２１の撮像範囲のうち、認証対象である顔の検出可能領域以外の領域に背景画像が表示されるように背景画像の位置および姿勢を決定する。
【0030】
ここで、大画面のタブレットで撮像部２２１の撮像範囲を覆い隠すように実寸大のなりすまし用の実写動画等が提示されたものとする。このとき、被認証者の背景に表示された背景画像も当該タブレットで覆い隠され、当該背景画像は撮像範囲内に映し込まれなくなる。このため、第二照合部２３５は、認証用画像の撮像時に被認証者の背景に表示されている背景画像を同定することができず、判定部２３６は、第一照合部２３３による同定結果を無効として、被認証者のなりすましを防止することができる。
【0031】
また、被認証者の背景に表示される背景画像は、予め用意された複数の背景画像から無作為に選択することができる。このため、どのような背景画像が被認証者の背景に表示されるかを被認証者が予め予測するのは困難である。従って、実寸大のなりすまし用の実写動画等に背景画像が予め映し込まれている場合においても、被認証者のなりすましを防止することができる。
【0032】
図３は、図２の顔認証処理装置の処理の一例を示すフローチャートである。
なお、図３の各ステップは、顔認証処理装置１Ａの記憶部に記憶されたプログラムをＣＰＵ１０が読み出し、実行することで実現される。また、図３に示すフローチャートの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣにより実現するようにしてもよい。
この場合、図３に示すフローチャートにおける各ブロックは、ハードウェアブロックとみなすことができる。なお、複数のブロックをまとめて１つのハードウェアブロックとして構成してもよく、１つのブロックを複数のハードウェアブロックとして構成してもよい。
なお、図３の各ステップは、顔認証処理装置１Ａの記憶部に記憶されたプログラムをＣＰＵ１０が読み出し、実行することで実現される。また、図３に示すフローチャートの少なくとも一部をハードウェアにより実現してもよい。ハードウェアにより実現する場合、例えば、所定のコンパイラを用いることで、各ステップを実現するためのプログラムからＦＰＧＡ上に自動的に専用回路を生成すればよい。また、ＦＰＧＡと同様にしてＧａｔｅ Ａｒｒａｙ回路を形成し、ハードウェアとして実現するようにしてもよい。また、ＡＳＩＣにより実現するようにしてもよい。
この場合、図３に示すフローチャートにおける各ブロックは、ハードウェアブロックとみなすことができる。なお、複数のブロックをまとめて１つのハードウェアブロックとして構成してもよく、１つのブロックを複数のハードウェアブロックとして構成してもよい。
【0033】
図３のＳ１１において、図２の制御部２１Ａは、認証画像ブロック２２、認証ブロック２３Ａ、背景画像ブロック２４Ａ、ゲート装置３およびＩＣカード認証装置２に動作指示を送る。
これを受けて、ＩＣカード認証装置２は、ＩＣカードの認証受付を開始する。背景画像ブロック２４Ａは、一定時間間隔Δｔ１での継続的な背景画像の生成を開始する。認証画像ブロック２２は、一定時間間隔Δｔ２での継続的な認証用画像の撮像と表示部２２４への表示を開始する。認証ブロック２３Ａは、背景画像ブロック２４Ａからの背景画像と、認証画像ブロック２２からの認証用画像と、ＩＣカード認証装置２からの認証済みＩＣカードのＩＤの待ち受けを開始する。
これを受けて、ＩＣカード認証装置２は、ＩＣカードの認証受付を開始する。背景画像ブロック２４Ａは、一定時間間隔Δｔ１での継続的な背景画像の生成を開始する。認証画像ブロック２２は、一定時間間隔Δｔ２での継続的な認証用画像の撮像と表示部２２４への表示を開始する。認証ブロック２３Ａは、背景画像ブロック２４Ａからの背景画像と、認証画像ブロック２２からの認証用画像と、ＩＣカード認証装置２からの認証済みＩＣカードのＩＤの待ち受けを開始する。
【0034】
次に、Ｓ１２において、制御部２１Ａは、ＩＣカード認証装置２からの認証承認を待ち、認証されたＩＣカードのＩＤを受け取る。
次に、Ｓ１３において、制御部２１Ａは、認証されたＩＣカードのＩＤを認証ブロック２３Ａに送る。
次に、Ｓ１４において、制御部２１Ａは、背景画像ブロック２４Ａと認証画像ブロック２３０に同期信号を送る。
次に、Ｓ１３において、制御部２１Ａは、認証されたＩＣカードのＩＤを認証ブロック２３Ａに送る。
次に、Ｓ１４において、制御部２１Ａは、背景画像ブロック２４Ａと認証画像ブロック２３０に同期信号を送る。
【0035】
次に、Ｓ１５において、背景画像ブロック２４Ａは、制御部２１Ａからの同期信号を受け、生成した最新の背景画像を一定時間Δｔ３だけ被認証者の背景に表示する。
次に、Ｓ１６において、背景画像ブロック２４Ａは、生成した最新の背景画像を認証ブロック２３Ａに送信する。
次に、Ｓ１６において、背景画像ブロック２４Ａは、生成した最新の背景画像を認証ブロック２３Ａに送信する。
【0036】
次に、Ｓ１７において、認証画像ブロック２２は、制御部２１Ａからの同期信号を受け、被認証者および被認証者の背景に表示されている背景画像を撮像する。このとき、認証用画像の撮像開始のタイミングと、背景画像の表示開始のタイミングを一致させることができる。また、背景画像が認証用画像に含まれるように撮像可能とするため、認証用画像の撮像時間に比べて背景画像の表示時間が長くなるように（Δｔ３＞Δｔ２）、予めの設定することができる。ただし、認証用画像の撮像が完了した直後に背景画像の表示が完了するように、背景画像を表示させる時間Δｔ３を設定するのが好ましい。
次に、Ｓ１８において、認証画像ブロック２２は、撮像した最新の認証用画像を認証ブロック２３Ａに送信する。
次に、Ｓ１８において、認証画像ブロック２２は、撮像した最新の認証用画像を認証ブロック２３Ａに送信する。
【0037】
次に、認証ブロック２３Ａは、背景画像（Ｓ１６にて受信）と、認証用画像（Ｓ１８にて受信）と、ＩＣカードのＩＤ（Ｓ１３にて受信）との全てを受け取ると、Ｓ１９～Ｓ２２で照合処理を行う。
すなわち、Ｓ１９において、認証ブロック２３Ａは、ゲート通過可能者として予め登録されている複数人物の顔画像を記憶している登録画像記憶部２３１から、ＩＣカードのＩＤに対応する人物の顔画像を取り出す。
次に、Ｓ２０において、認証ブロック２３Ａは、登録画像記憶部２３１から取り出した顔画像が認証用画像中に存在するかどうかの照合処理を第一照合部２３３にて行う。
次に、Ｓ２１において、認証ブロック２３Ａは、Ｓ１６にて受信した背景画像が認証用画像中に存在するかどうかの照合処理を第二照合部２３５にて行う。
すなわち、Ｓ１９において、認証ブロック２３Ａは、ゲート通過可能者として予め登録されている複数人物の顔画像を記憶している登録画像記憶部２３１から、ＩＣカードのＩＤに対応する人物の顔画像を取り出す。
次に、Ｓ２０において、認証ブロック２３Ａは、登録画像記憶部２３１から取り出した顔画像が認証用画像中に存在するかどうかの照合処理を第一照合部２３３にて行う。
次に、Ｓ２１において、認証ブロック２３Ａは、Ｓ１６にて受信した背景画像が認証用画像中に存在するかどうかの照合処理を第二照合部２３５にて行う。
【0038】
ここで、照合処理の結果は、照合される画像がどれだけ類似しているかを示す尤度として出力される。このとき、尤度が予め設定されている閾値を超えた場合、第一照合部２３３は、認証用画像中に顔画像と同じ人物が含まれると判断し、第二照合部２３５は、認証用画像中に背景画像と同じ画像が含まれると判断することができる。
次に、Ｓ２２において、認証ブロック２３Ａは、第一照合部２３３と第二照合部２３５の結果を受けて、顔画像と同じ人物の画像と背景画像と同じ画像の両方が認証用画像中に含まれているか否かを判断し、その判断結果を制御部２１Ａに送信する。
次に、Ｓ２２において、認証ブロック２３Ａは、第一照合部２３３と第二照合部２３５の結果を受けて、顔画像と同じ人物の画像と背景画像と同じ画像の両方が認証用画像中に含まれているか否かを判断し、その判断結果を制御部２１Ａに送信する。
【0039】
次に、Ｓ２３において、制御部２１Ａは、認証ブロック２３Ａの判断結果を受け、ゲート装置３に開放もしくは閉鎖の指示を送信する。
次に、Ｓ２４において、制御部２１Ａは、図１の入力装置１６からの終了指示があるか否かを判断する。入力装置１６からの終了指示がある場合、制御部２１Ａは、処理を終了し、入力装置１６からの終了指示がない場合、制御部２１Ａは、処理をＳ１２に戻す。
次に、Ｓ２４において、制御部２１Ａは、図１の入力装置１６からの終了指示があるか否かを判断する。入力装置１６からの終了指示がある場合、制御部２１Ａは、処理を終了し、入力装置１６からの終了指示がない場合、制御部２１Ａは、処理をＳ１２に戻す。
【0040】
図４は、図２の背景画像ブロックの処理の一例を示すフローチャートである。なお、図４の処理は、図３のＳ１５～Ｓ１６の処理の詳細である。
図４のＳ３１において、図２の背景画像生成部２４１は、予め設定されている所定の時間間隔Δｔ１で背景画像を継続して生成し、背景画像記憶部２４２は、背景画像生成部２４１で生成された背景画像を継続して蓄積する。
図４のＳ３１において、図２の背景画像生成部２４１は、予め設定されている所定の時間間隔Δｔ１で背景画像を継続して生成し、背景画像記憶部２４２は、背景画像生成部２４１で生成された背景画像を継続して蓄積する。
【0041】
ここで、背景画像は、認証用画像の撮像範囲内に表示され、認証用画像に含まれる画像である。背景画像は、背景画像生成部２４１に予め複数用意されている所定の画像が無作為抽出されたものであってもよいし、所定の計算処理によって得られる２次元バーコード等のコード化された画像であってもよい。認証用画像に含まれる背景画像は、認証用画像が撮像部２２１で撮像されたものであることを証明するワンタイムパスワードの役割をする。
【0042】
次に、Ｓ３２において、背景画像ブロック２４Ａは、制御部２１Ａからの同期信号を受信したか否かを判断する。背景画像ブロック２４Ａが制御部２１Ａからの同期信号を受信した場合、Ｓ３３において、背景画像表示部２４４は、撮像部２２１が認証用画像を撮像するのに十分な一定時間間隔Δｔ３の間、認証用画像の撮像範囲内に背景画像を表示する。
次に、Ｓ３４において、背景画像選択部２４３は、背景画像記憶部２４２に格納されている最新の背景画像を、背景画像表示部２４４、第二検出部２３４および第二照合部２３５に送信し、Ｓ３１に戻る。
次に、Ｓ３４において、背景画像選択部２４３は、背景画像記憶部２４２に格納されている最新の背景画像を、背景画像表示部２４４、第二検出部２３４および第二照合部２３５に送信し、Ｓ３１に戻る。
【0043】
一方、背景画像ブロック２４Ａが制御部２１Ａからの同期信号を受信していない場合、Ｓ３５において、背景画像ブロック２４Ａは、制御部２１Ａからの終了指示があるか否かを判断する。制御部２１Ａからの終了指示がある場合、背景画像ブロック２４Ａは、処理を終了し、制御部２１Ａからの終了指示がない場合、背景画像ブロック２４Ａは、処理をＳ３１に戻す。
【0044】
図５は、図２の認証画像ブロックの処理の一例を示すフローチャートである。なお、図５の処理は、図３のＳ１７～Ｓ１８の処理の詳細である。
図５のＳ４１において、図２の撮像部２２１は、予め設定されている所定の時間間隔Δｔ２で認証用画像を継続して撮像し、画像記憶部２２２は、撮像を継続して蓄積する。
図５のＳ４１において、図２の撮像部２２１は、予め設定されている所定の時間間隔Δｔ２で認証用画像を継続して撮像し、画像記憶部２２２は、撮像を継続して蓄積する。
【0045】
次に、Ｓ４２において、認証画像ブロック２２は、制御部２１Ａからの同期信号を受信したか否かを判断する。認証画像ブロック２２が制御部２１Ａからの同期信号を受信した場合、Ｓ４３において、撮像部２２１は、認証用画像を撮像し、認証ブロック２３Ａの第一検出部２３２と第二検出部２３４に送信し、Ｓ４１に戻る。
【0046】
一方、認証画像ブロック２２が制御部２１Ａからの同期信号を受信していない場合、Ｓ４４において、表示部２２４は、画像記憶部２２２に記憶されている背景画像が含まれない認証用画像を表示する。このとき、被認証者は、表示部２２４に表示される背景画像が含まれない認証用画像を確認し、認証が正しく行われるように位置および姿勢を調整することが可能となる。このようにして、背景画像を含む認証用画像が表示部２２４に表示されないため、被認証者が背景画像を目にすることはなく、セキュリティを強固に保つことができる。
【0047】
次に、認証画像ブロック２２は、制御部２１Ａからの終了指示があるか否かを判断する。制御部２１Ａからの終了指示がある場合、認証画像ブロック２２は、処理を終了し、制御部２１Ａからの終了指示がない場合、認証画像ブロック２２は、処理をＳ４１に戻す。
【0048】
図６は、図２の認証ブロックの処理の一例を示すフローチャートである。なお、図６の処理は、図３のＳ１９～Ｓ２２の処理の詳細である。
図６のＳ５１において、認証ブロック２３Ａは、被認証者のＩＣカードのＩＤ（Ｓ１３で送信）、背景画像（Ｓ１６で送信）および認証用画像（Ｓ１８で送信）のすべてを受信する。
図６のＳ５１において、認証ブロック２３Ａは、被認証者のＩＣカードのＩＤ（Ｓ１３で送信）、背景画像（Ｓ１６で送信）および認証用画像（Ｓ１８で送信）のすべてを受信する。
【0049】
次に、Ｓ５２において、認証ブロック２３Ａは、被認証者のＩＣカードのＩＤに対応する顔画像を、予めゲート通過可能者として登録されている複数人物の顔画像を記憶している登録画像記憶部２３１から取り出す。
次に、Ｓ５３において、第一照合部２３３は、登録画像記憶部２３１から取り出した顔画像と、認証用画像から第一検出部２３２が検出した顔との照合処理を行う。
次に、Ｓ５３において、第一照合部２３３は、登録画像記憶部２３１から取り出した顔画像と、認証用画像から第一検出部２３２が検出した顔との照合処理を行う。
【0050】
次に、Ｓ５４において、第二照合部２３５は、背景画像ブロック２４Ａから受信した背景画像と、認証用画像から第二検出部２３４が検出した背景画像とを照合し、背景画像が認証用画像中にあるかどうか調べる。
次に、Ｓ５５において、判定部２３６は、Ｓ５３の出力である照合結果とＳ５４の出力である照合結果を受け取る。そして、判定部２３６は、顔画像と同じ人物の画像と、背景画像と同じ画像の両方が認証用画像中に含まれているか否かを判断する。
次に、Ｓ５５において、判定部２３６は、Ｓ５３の出力である照合結果とＳ５４の出力である照合結果を受け取る。そして、判定部２３６は、顔画像と同じ人物の画像と、背景画像と同じ画像の両方が認証用画像中に含まれているか否かを判断する。
【0051】
次に、Ｓ５６において、判定部２３６は、Ｓ５５の判断結果を制御部２１Ａに送信する。
次に、Ｓ５７において、認証ブロック２３Ａは、制御部２１Ａからの終了指示があるか否かを判断する。制御部２１Ａからの終了指示がある場合、認証ブロック２３Ａは、処理を終了し、制御部２１Ａからの終了指示がない場合、認証ブロック２３Ａは、処理をＳ５１に戻す。
次に、Ｓ５７において、認証ブロック２３Ａは、制御部２１Ａからの終了指示があるか否かを判断する。制御部２１Ａからの終了指示がある場合、認証ブロック２３Ａは、処理を終了し、制御部２１Ａからの終了指示がない場合、認証ブロック２３Ａは、処理をＳ５１に戻す。
【0052】
図７（ａ）は、第１実施形態に係る被認証者の認証環境の一例を示す斜視図、図７（ｂ）は、図７（ａ）の認証環境における撮像画像の一例を示す図である。
図７（ａ）において、認証用撮像装置Ｅ１は、撮像範囲Ｅ６内で撮像を行う。認証用撮像装置Ｅ１は、図２の撮像部２２１に相当する。認証用撮像装置Ｅ１は、ゲート装置Ｅ５の手前に設置される。表示装置Ｅ２と、ＩＣカード認証装置Ｅ３は、認証用撮像装置Ｅ１の近傍に設置される。表示装置Ｅ２は、図２の表示部２２４に相当する。表示装置Ｅ２は、被認証者Ｅ０が認証用画像を確認し、認証処理に適した顔の位置姿勢をとるための情報を提供する。表示装置Ｅ２に表示される認証用画像からは背景画像が除去される。認証用撮像装置Ｅ１、表示装置Ｅ２およびＩＣカード認証装置Ｅ３は、被認証者Ｅ０がＩＣカードをＩＣカード認証装置Ｅ３に近づけて認証を行う際に、被認証者Ｅ０の顔が、認証用撮像装置Ｅ１の撮像範囲内に自然に入るように設置される。
図７（ａ）において、認証用撮像装置Ｅ１は、撮像範囲Ｅ６内で撮像を行う。認証用撮像装置Ｅ１は、図２の撮像部２２１に相当する。認証用撮像装置Ｅ１は、ゲート装置Ｅ５の手前に設置される。表示装置Ｅ２と、ＩＣカード認証装置Ｅ３は、認証用撮像装置Ｅ１の近傍に設置される。表示装置Ｅ２は、図２の表示部２２４に相当する。表示装置Ｅ２は、被認証者Ｅ０が認証用画像を確認し、認証処理に適した顔の位置姿勢をとるための情報を提供する。表示装置Ｅ２に表示される認証用画像からは背景画像が除去される。認証用撮像装置Ｅ１、表示装置Ｅ２およびＩＣカード認証装置Ｅ３は、被認証者Ｅ０がＩＣカードをＩＣカード認証装置Ｅ３に近づけて認証を行う際に、被認証者Ｅ０の顔が、認証用撮像装置Ｅ１の撮像範囲内に自然に入るように設置される。
【0053】
また、ゲート装置Ｅ５の手前には、投影画像を生成するプロジェクタＥ４が設置される。プロジェクタＥ４は、図２の背景画像表示部２４４に相当する。プロジェクタＥ４は、例えば、天井に吊り下げてもよいし、表示装置Ｅ２の上方の壁面に埋め込んでもよい。プロジェクタＥ４は、投影空間Ｅ８を介して被認証者Ｅ０の背景に背景画像Ｅ１０を投影する。被認証者Ｅ０の背景は、例えば、被認証者Ｅ０の背後の壁面の投影領域Ｅ９である。ここで、プロジェクタＥ４は、認証用撮像装置Ｅ１の撮像範囲Ｅ６内にプロジェクタＥ４の投影領域Ｅ９が含まれるように設置される。このとき、投影領域Ｅ９に投影された背景画像Ｅ１０は、認証用撮像装置Ｅ１の撮像範囲Ｅ６内に必ず存在する。
【0054】
認証用撮像装置Ｅ１は、ＩＣカード認証装置Ｅ３によるＩＣカードの認証が行われると、被認証者Ｅ０の背景に背景画像Ｅ１０が表示されている状態で被認証者Ｅ０の顔を撮像し、図７（ｂ）の認証用画像ＧＡを生成する。認証用画像ＧＡでは、その中央に被認証者Ｅ０の顔画像Ｇ０が位置し、被認証者Ｅ０の顔画像Ｇ０に隠れることなく背景画像Ｇ１０が映り込んでいる。なお、背景画像Ｇ１０は、投影領域Ｅ９に投影された背景画像Ｅ１０の撮像画像である。このとき、認証用画像ＧＡにおいて、被認証者Ｅ０の顔画像Ｇ０の検出可能領域以外の領域Ｇ９に背景画像Ｇ１０が位置するように、背景画像Ｅ１０の表示の位置および姿勢を決定する。
【0055】
顔認証処理装置１Ａは、認証用画像ＧＡから被認証者Ｅ０の顔画像Ｇ０と背景画像Ｇ１０を検出し、顔画像Ｇ０と背景画像Ｇ１０をそれぞれ照合する。このとき、顔認証処理装置１Ａは、認証用画像ＧＡから検出した背景画像Ｇ１０が、認証用画像ＧＡの撮像時に投影領域Ｅ９に投影された背景画像Ｅ１０と一致する場合、認証用画像ＧＡはなりすましの実写動画またはＣＧ動画ではないと判断できる。
なお、背景画像Ｅ１０は、写真またはイラストに類似したものに限定されることなく、文字を含んでいてもよい。
なお、背景画像Ｅ１０は、写真またはイラストに類似したものに限定されることなく、文字を含んでいてもよい。
【0056】
図８（ａ）は、第１実施形態に係る被認証者の認証環境のその他の例を示す斜視図、図８（ｂ）は、図８（ａ）の認証環境における撮像画像の一例を示す図である。
図８（ａ）の認証環境では、図７（ａ）の背景画像Ｅ１０の代わりに背景画像Ｅ１１がプロジェクタＥ４から投影される。図７（ａ）の背景画像Ｅ１０では、写真またはイラストが使用されるのに対し、図８（ａ）の背景画像Ｅ１１では、文字が使用される。このとき、認証用撮像装置Ｅ１は、被認証者Ｅ０の背景に背景画像Ｅ１１が表示されている状態で被認証者Ｅ０の顔を撮像し、図８（ｂ）の認証用画像ＧＢを生成する。認証用画像ＧＢは、図７（ｂ）の背景画像Ｇ１０の代わりに背景画像Ｇ１１を含む。顔認証処理装置１Ａは、認証用画像ＧＢから検出した背景画像Ｇ１１が、認証用画像ＧＢの撮像時に投影領域Ｅ９に投影された背景画像Ｅ１１と一致する場合、認証用画像ＧＢはなりすましの実写動画またはＣＧ動画ではないと判断できる。
図８（ａ）の認証環境では、図７（ａ）の背景画像Ｅ１０の代わりに背景画像Ｅ１１がプロジェクタＥ４から投影される。図７（ａ）の背景画像Ｅ１０では、写真またはイラストが使用されるのに対し、図８（ａ）の背景画像Ｅ１１では、文字が使用される。このとき、認証用撮像装置Ｅ１は、被認証者Ｅ０の背景に背景画像Ｅ１１が表示されている状態で被認証者Ｅ０の顔を撮像し、図８（ｂ）の認証用画像ＧＢを生成する。認証用画像ＧＢは、図７（ｂ）の背景画像Ｇ１０の代わりに背景画像Ｇ１１を含む。顔認証処理装置１Ａは、認証用画像ＧＢから検出した背景画像Ｇ１１が、認証用画像ＧＢの撮像時に投影領域Ｅ９に投影された背景画像Ｅ１１と一致する場合、認証用画像ＧＢはなりすましの実写動画またはＣＧ動画ではないと判断できる。
【0057】
図９（ａ）は、図７（ａ）の認証環境におけるなりすまし行為の一例を示す斜視図、図９（ｂ）は、図９（ａ）のなりすまし行為における撮像画像の一例を示す図である。
図９（ａ）において、被認証者Ｅ０´は、顔認証処理装置１Ａの正面にタブレットＥ１３（もしくは、薄型ディスプレイ）をかざすことにより、なりすましを試みる。このとき、タブレットＥ１３には、図７（ａ）の被認証者Ｅ０の顔が、実寸大の顔の実写動画、コンピュータグラフィックス（ＣＧ）実時間生成、ビデオチャットの画面などの手段で表示される。
図９（ａ）において、被認証者Ｅ０´は、顔認証処理装置１Ａの正面にタブレットＥ１３（もしくは、薄型ディスプレイ）をかざすことにより、なりすましを試みる。このとき、タブレットＥ１３には、図７（ａ）の被認証者Ｅ０の顔が、実寸大の顔の実写動画、コンピュータグラフィックス（ＣＧ）実時間生成、ビデオチャットの画面などの手段で表示される。
【0058】
具体的には、なりすましを試みる被認証者Ｅ０´は、不正に取得したなりすまし対象者のＩＣカードを用いる。そして、被認証者Ｅ０´は、当該ＩＣカードによる認証を成功させた後、不正に取得したなりすまし対象者の実写動画等を実寸大で実際の認証時の顔の位置にタブレットＥ１３に表示させ、顔認証のなりすましを行う。
【0059】
ここで、認証用撮像装置Ｅ１の撮像範囲Ｅ６は、タブレットＥ１３で覆い隠される。このため、壁面に投影された背景画像Ｅ１０は、認証用撮像装置Ｅ１で撮像されない。このとき、被認証者Ｅ０´の背景に背景画像Ｅ１０が表示されている状態で被認証者Ｅ０の実寸大の実写動画等の顔が撮像された場合においても、図９（ａ）の背景画像Ｅ１０が映り込んでない図９（ｂ）の認証用画像ＧＣが生成される。
【0060】
顔認証処理装置１Ａは、認証用画像ＧＣから被認証者Ｅ０の実写動画またはＣＧ動画の顔画像Ｇ０を検出し、顔画像Ｇ０を照合することで、顔画像Ｇ０については認証に成功する。ただし、顔認証処理装置１Ａは、認証用画像ＧＣから図７（ｂ）の背景画像Ｇ１０が検出されない場合、背景画像Ｇ１０については認証に失敗し、認証用画像ＧＣは、なりすましの実写動画またはＣＧ動画である判断することができる。
【0061】
以上の処理手順で、顔認証処理装置１Ａは、認証用画像ＧＣが、認証現場で撮像されたものかどうかを判断することが可能となる。認証用撮像装置Ｅ１がタブレットＥ１３で覆い隠されて、なりすましの実写動画またはＣＧ動画が認証用撮像装置Ｅ１に提示されている場合は、背景画像Ｇ１０が認証用画像中ＧＣから検出されることはない。このため、顔認証処理装置１Ａは、大画面のタブレットまたは薄型ディスプレイを使用して、認証用撮像装置の撮像範囲を覆い隠すように実寸大のなりすまし用の実写動画、ＣＧ動画またはビデオチャットを表示させるなりすましを検出することができる。
【0062】
このとき、顔認証処理装置１Ａは、単一の可視光撮像装置Ｅ１と入手容易性の高い機器のみでなりすましを検知することが可能である。また、被認証者Ｅ０に特別な動作および認証による待ち時間の負担を強いることなく、認証処理を速やかに実行することが可能となる。また、背景画像Ｇ１０は、表示装置Ｅ２には表示されず、背景画像Ｅ１０がどのような画像であるか被認証者Ｅ０´が知ることはできないため、セキュリティを強固にすることができる。
【0063】
以上説明したように、上述した第１実施形態によれば、顔認証処理装置は、認証対象の背景に表示された背景画像を認証用画像に含ませ、その認証用画像から背景画像を同定することにより、認証時の負荷の増大を抑制しつつ、なりすましを検出できる。
【0064】
なお、上述した第１実施形態では、ＩＣカードと顔認証とを併用し、一対一の顔認証処理を行っていたが、これに限るものではなく、顔認証処理のみとしてもよい。この場合、認証ブロック２３Ａによる顔検出処理を継続的に行い、顔が検出されたことを契機として一連の処理を開始し、一対多の顔認証処理を行う。さらに、上述した第１実施形態では、認証対象を人物の顔としていたが、これに限られるものではなく、物品であってもよい。
【0065】
また、上述した実施形態では、制御部２１Ａ、認証画像ブロック２２、認証ブロック２３Ａおよび背景画像ブロック２４Ａを顔認証処理装置１Ａに設けた構成を例にとったが、認証ブロック２３Ａまたは背景画像ブロック２４Ａは、顔認証処理装置１Ａとは別個の装置に設けてもよい。例えば、認証ブロック２３Ａの機能はネットワーク上のクラウドコンピュータに設けるようにしてもよい。このとき、制御部２１Ａは、背景画像ブロック２４Ａで選択された背景画像と、認証画像ブロック２２で撮像された認証用画像をクラウドコンピュータに送信し、認証ブロック２３Ａの機能を実行するようにクラウドコンピュータに指示する。そして、制御部２１Ａは、クラウドコンピュータから認証結果を受け取り、その認証結果に基づいて、ゲートの開放または閉鎖を指示してもよい。
【0066】
＜第２実施形態＞
上述した第１実施形態では、背景画像の位置を固定としていたが、第２実施形態では、被認証者によって覆い隠されないように認証用画像に取り込み可能な無作為に選んだ位置に背景画像を表示する。なお、第１実施形態と同様の部分については説明を省略し、異なる点のみについて説明する。
上述した第１実施形態では、背景画像の位置を固定としていたが、第２実施形態では、被認証者によって覆い隠されないように認証用画像に取り込み可能な無作為に選んだ位置に背景画像を表示する。なお、第１実施形態と同様の部分については説明を省略し、異なる点のみについて説明する。
【0067】
図１０は、第２実施形態に係る顔認証処理装置の機能構成例を示すブロック図である。
図１０において、顔認証処理装置１Ｂは、制御部２１Ｂ、認証画像ブロック２２、認証ブロック２３Ｂ、背景画像ブロック２４Ｂおよび位置姿勢記憶部２５を備える。制御部２１Ｂは、各ブロック間の情報通知、動作および同期を司り、セキュリティゲートシステム全体の一連の処理を実現する。
図１０において、顔認証処理装置１Ｂは、制御部２１Ｂ、認証画像ブロック２２、認証ブロック２３Ｂ、背景画像ブロック２４Ｂおよび位置姿勢記憶部２５を備える。制御部２１Ｂは、各ブロック間の情報通知、動作および同期を司り、セキュリティゲートシステム全体の一連の処理を実現する。
【0068】
【0069】
位置姿勢記憶部２５は、認証画像ブロック２２、認証ブロック２３Ｂおよび背景画像ブロック２４Ｂから独立して設けられる。位置姿勢記憶部２５は、三次元実空間上における背景画像表示部２４４の位置姿勢および投影範囲と、背景画像表示部２４４が表示を行う壁面およびスクリーンの位置姿勢を予め記憶する。さらに、位置姿勢記憶部２５は、撮像部２２１の位置姿勢および撮像範囲と、被認証者が顔認証可能な撮像部２２１に対する位置姿勢を予め記憶する。
【0070】
位置姿勢生成部２４５は、位置姿勢記憶部２５に記憶された各機器の三次元位置姿勢情報から認証用画像中の被認証者に遮られない背景画像の大きさと位置姿勢の範囲を計算する。そして、位置姿勢生成部２４５は、計算した背景画像の大きさと位置の範囲内で無作為に背景画像の大きさと位置姿勢を決定し、背景画像生成部２４１に送信する。
【0071】
座標変換部２３７は、位置姿勢記憶部２５の情報から、背景画像と撮像部２２１の相対位置姿勢によって生じる認証用画像中の背景画像の形状歪を補正し、背景画像の検出と照合の前処理を行う。
【0072】
図１１は、図１０の顔認証処理装置の処理の一例を示すフローチャートである。
図１１のＳ６１において、制御部２１Ｂは、認証画像ブロック２２、認証ブロック２３Ｂ、背景画像ブロック２４Ｂ、ゲート装置３およびＩＣカード認証装置２に動作指示を送る。また、制御部２１Ｂは、位置姿勢記憶部２５に記憶された情報を認証画像ブロック２２、認証ブロック２３Ｂおよび背景画像ブロック２４Ｂに送る。この情報は、背景画像表示部２４４の位置姿勢および投影範囲と、背景画像表示部２４４が表示を行う壁面およびスクリーンの位置姿勢と、撮像部２２１の位置姿勢および撮像範囲と、被認証者が顔認証可能な撮像部２２１に対する位置姿勢を含む。
図１１のＳ６１において、制御部２１Ｂは、認証画像ブロック２２、認証ブロック２３Ｂ、背景画像ブロック２４Ｂ、ゲート装置３およびＩＣカード認証装置２に動作指示を送る。また、制御部２１Ｂは、位置姿勢記憶部２５に記憶された情報を認証画像ブロック２２、認証ブロック２３Ｂおよび背景画像ブロック２４Ｂに送る。この情報は、背景画像表示部２４４の位置姿勢および投影範囲と、背景画像表示部２４４が表示を行う壁面およびスクリーンの位置姿勢と、撮像部２２１の位置姿勢および撮像範囲と、被認証者が顔認証可能な撮像部２２１に対する位置姿勢を含む。
【0073】
次に、Ｓ１２～Ｓ１４において、制御部２１Ｂは、図３の処理と同様に処理を行う。
次に、Ｓ１５において、背景画像ブロック２４Ｂは、図３の処理と同様に処理を行う。
次に、Ｓ６２において、背景画像ブロック２４Ｂは、背景画像と背景画像の位置姿勢を認証ブロック２３Ｂに送信する。
次に、認証画像ブロック２２は、Ｓ１７～Ｓ１８において、図３の処理と同様に処理を行う。
次に、Ｓ１５において、背景画像ブロック２４Ｂは、図３の処理と同様に処理を行う。
次に、Ｓ６２において、背景画像ブロック２４Ｂは、背景画像と背景画像の位置姿勢を認証ブロック２３Ｂに送信する。
次に、認証画像ブロック２２は、Ｓ１７～Ｓ１８において、図３の処理と同様に処理を行う。
【0074】
次に、認証ブロック２３Ｂは、背景画像とその位置姿勢（Ｓ６２にて受信）と、認証用画像（Ｓ１８にて受信）と、ＩＣカードのＩＤ（Ｓ１３にて受信）との全てを受け取ると、Ｓ１９～Ｓ２２で照合処理を行う。
すなわち、認証ブロック２３Ｂは、Ｓ１９～Ｓ２０において、図３の処理と同様に処理を行う。
すなわち、認証ブロック２３Ｂは、Ｓ１９～Ｓ２０において、図３の処理と同様に処理を行う。
【0075】
次に、Ｓ６３において、認証ブロック２３Ｂは、位置姿勢記憶部２５の情報に基づいて認証用画像の幾何変換を座標変換部２３７に行わせ、投影された背景画像１２１４と撮像部２２１の相対位置姿勢によって生じる認証画像中の背景画像の形状歪を補正する。この補正は、背景画像の検出と照合の前処理である。
次に、Ｓ６４において、認証ブロック２３Ｂは、Ｓ６３にて幾何変換された背景画像が認証用画像中に存在するかどうかの照合処理を第二照合部２３５にて行う。
次に、Ｓ２２において、認証ブロック２３Ｂは、図３の処理と同様に処理を行う。
次に、Ｓ２３～Ｓ２４において、制御部２１Ｂは、図３の処理と同様に処理を行う。
次に、Ｓ６４において、認証ブロック２３Ｂは、Ｓ６３にて幾何変換された背景画像が認証用画像中に存在するかどうかの照合処理を第二照合部２３５にて行う。
次に、Ｓ２２において、認証ブロック２３Ｂは、図３の処理と同様に処理を行う。
次に、Ｓ２３～Ｓ２４において、制御部２１Ｂは、図３の処理と同様に処理を行う。
【0076】
図１２は、図１０の背景画像ブロックの処理の一例を示すフローチャートである。なお、図１２の処理は、図１１のＳ１５およびＳ６２の処理の詳細である。
図１２のＳ７１において、位置姿勢生成部２４５は、位置姿勢記憶部２５が有する幾何情報から認証用画像中に被認証者に遮られない背景画像の大きさと位置姿勢の範囲を計算する。そして、位置姿勢生成部２４５は、その計算した範囲内で無作為に背景画像の大きさと位置姿勢を決定し、背景画像生成部２４１に送信する。
図１２のＳ７１において、位置姿勢生成部２４５は、位置姿勢記憶部２５が有する幾何情報から認証用画像中に被認証者に遮られない背景画像の大きさと位置姿勢の範囲を計算する。そして、位置姿勢生成部２４５は、その計算した範囲内で無作為に背景画像の大きさと位置姿勢を決定し、背景画像生成部２４１に送信する。
【0077】
次に、Ｓ７２において、背景画像生成部２４１は、予め設定されている所定の時間間隔Δｔ１で背景画像とその大きさと位置姿勢を継続して生成する。そして、背景画像記憶部２４２は、背景画像生成部２４１にて生成された背景画像とその大きさと位置姿勢を継続して蓄積する。
次に、Ｓ７３において、背景画像ブロック２４Ｂは、制御部２１Ｂからの同期信号を受信したか否かを判断する。背景画像ブロック２４Ｂが制御部２１Ｂからの同期信号を受信した場合、Ｓ７４において、背景画像表示部２４４は、撮像部２２１が認証用画像を撮像するのに十分な一定時間間隔Δｔ３の間、認証用画像の撮像範囲内に背景画像を表示する。
次に、Ｓ７５において、背景画像選択部２４３は、背景画像記憶部２４２に格納されている最新の背景画像とその大きさと位置姿勢を、背景画像表示部２４４および認証ブロック２３Ｂに送信し、Ｓ７１に戻る。
次に、Ｓ７３において、背景画像ブロック２４Ｂは、制御部２１Ｂからの同期信号を受信したか否かを判断する。背景画像ブロック２４Ｂが制御部２１Ｂからの同期信号を受信した場合、Ｓ７４において、背景画像表示部２４４は、撮像部２２１が認証用画像を撮像するのに十分な一定時間間隔Δｔ３の間、認証用画像の撮像範囲内に背景画像を表示する。
次に、Ｓ７５において、背景画像選択部２４３は、背景画像記憶部２４２に格納されている最新の背景画像とその大きさと位置姿勢を、背景画像表示部２４４および認証ブロック２３Ｂに送信し、Ｓ７１に戻る。
【0078】
一方、背景画像ブロック２４Ｂが制御部２１Ｂからの同期信号を受信していない場合、Ｓ７６において、背景画像ブロック２４Ｂは、制御部２１Ｂからの終了指示があるか否かを判断する。制御部２１Ｂからの終了指示がある場合、背景画像ブロック２４Ｂは、処理を終了し、制御部２１Ｂからの終了指示がない場合、背景画像ブロック２４Ｂは、処理をＳ７１に戻す。
【0079】
図１３は、図１０の認証ブロックの処理の一例を示すフローチャートである。なお、図１３の処理は、図１１のＳ１９、Ｓ２０、Ｓ６３、Ｓ６４およびＳ２２の処理の詳細である。
図１３のＳ８１において、認証ブロック２３Ｂは、位置姿勢記憶部２５の有する幾何情報から、背景画像表示部２４４と撮像部２２１の相対位置姿勢によって生じる認証用画像中の背景画像の形状歪を補正するための幾何変換情報を得る。
次に、Ｓ８２において、認証ブロック２３Ｂは、被認証者のＩＣカードのＩＤ（Ｓ１３で送信）、背景画像とその大きさと位置姿勢（Ｓ６２で送信）、認証用画像（Ｓ１８で送信）のすべてを受信する。
図１３のＳ８１において、認証ブロック２３Ｂは、位置姿勢記憶部２５の有する幾何情報から、背景画像表示部２４４と撮像部２２１の相対位置姿勢によって生じる認証用画像中の背景画像の形状歪を補正するための幾何変換情報を得る。
次に、Ｓ８２において、認証ブロック２３Ｂは、被認証者のＩＣカードのＩＤ（Ｓ１３で送信）、背景画像とその大きさと位置姿勢（Ｓ６２で送信）、認証用画像（Ｓ１８で送信）のすべてを受信する。
【0080】
次に、Ｓ８３において、認証ブロック２３Ｂは、被認証者のＩＣカードのＩＤに対応する顔画像を、ゲート通過可能者として予め登録されている複数人物の顔画像を記憶している登録画像記憶部２３１から取り出す。
次に、Ｓ８４において、第一照合部２３３は、登録画像記憶部２３１から取り出した顔画像と、認証用画像から第一検出部２３２が検出した顔画像との照合処理を行う。
次に、Ｓ８４において、第一照合部２３３は、登録画像記憶部２３１から取り出した顔画像と、認証用画像から第一検出部２３２が検出した顔画像との照合処理を行う。
【0081】
次に、Ｓ８５において、第二照合部２３５は、Ｓ８１で取得した幾何変換情報に基づいて認証用画像を幾何変換する。この幾何変換は、背景画像の検出および照合の前処理となる。さらに、第二照合部２３５は、Ｓ８２で取得した背景画像の大ききと位置姿勢を利用して、背景画像ブロック２４Ｂから受信した背景画像と、認証用画像から第二検出部２３４が検出した背景画像とを照合し、背景画像が認証用画像中にあるかどうか調べる。
【0082】
次に、Ｓ８６において、判定部２３６は、Ｓ８４の出力である照合結果とＳ８５の出力である照合結果を受け取る。そして、判定部２３６は、顔画像と同じ人物の画像と、背景画像と同じ画像の両方が認証用画像中に含まれているか否かを判断する。
次に、Ｓ８７において、判定部２３６は、Ｓ８６の判断結果を制御部２１Ａに送信する。
次に、Ｓ８８において、認証ブロック２３Ｂは、制御部２１Ｂからの終了指示があるか否かを判断する。制御部２１Ｂからの終了指示がある場合、認証ブロック２３Ｂは、処理を終了し、制御部２１Ｂからの終了指示がない場合、認証ブロック２３Ｂは、処理をＳ８２に戻す。
なお、図１０の認証画像ブロック２２の処理は、図５の処理と同様であるので、詳細な説明は省略する。
次に、Ｓ８７において、判定部２３６は、Ｓ８６の判断結果を制御部２１Ａに送信する。
次に、Ｓ８８において、認証ブロック２３Ｂは、制御部２１Ｂからの終了指示があるか否かを判断する。制御部２１Ｂからの終了指示がある場合、認証ブロック２３Ｂは、処理を終了し、制御部２１Ｂからの終了指示がない場合、認証ブロック２３Ｂは、処理をＳ８２に戻す。
なお、図１０の認証画像ブロック２２の処理は、図５の処理と同様であるので、詳細な説明は省略する。
【0083】
図１４（ａ）は、第２実施形態に係る被認証者の認証環境の一例を示す斜視図、図１４（ｂ）は、図１４（ａ）の認証環境における撮像画像の一例を示す図、図１４（ｃ）は、図１４（ｂ）の撮像画像の補正例を示す図である。
図１４（ａ）の認証環境は、プロジェクタＥ４の設置位置および姿勢が異なる点以外は、図７（ａ）の認証環境と同様である。図１４（ａ）のプロジェクタＥ４の設置位置および姿勢では、プロジェクタＥ４は、投影空間Ｅ８Ａを介して被認証者Ｅ０の背景に背景画像Ｅ１０Ａを投影する。このとき、プロジェクタＥ４の投影領域Ｅ９Ａは、被認証者Ｅ０から見てゲート装置Ｅ５の方向に狭くなる台形形状となり、背景画像Ｅ１０Ａには台形歪を生じる。
図１４（ａ）の認証環境は、プロジェクタＥ４の設置位置および姿勢が異なる点以外は、図７（ａ）の認証環境と同様である。図１４（ａ）のプロジェクタＥ４の設置位置および姿勢では、プロジェクタＥ４は、投影空間Ｅ８Ａを介して被認証者Ｅ０の背景に背景画像Ｅ１０Ａを投影する。このとき、プロジェクタＥ４の投影領域Ｅ９Ａは、被認証者Ｅ０から見てゲート装置Ｅ５の方向に狭くなる台形形状となり、背景画像Ｅ１０Ａには台形歪を生じる。
【0084】
認証用撮像装置Ｅ１は、ＩＣカード認証装置Ｅ３によるＩＣカードの認証が行われると、被認証者Ｅ０の背景に背景画像Ｅ１０Ａが表示されている状態で被認証者Ｅ０の顔を撮像し、図１４（ｂ）の認証用画像ＧＤを生成する。認証用画像ＧＤでは、その中央に被認証者Ｅ０の顔画像Ｇ０が位置し、被認証者Ｅ０の顔画像Ｇ０に隠れることなく背景画像Ｇ１０Ａが映り込んでいる。なお、背景画像Ｇ１０Ａは、投影領域Ｅ９Ａに投影された背景画像Ｅ１０Ａの撮像画像である。
【0085】
ここで、図１０の背景画像生成部２４１は、台形歪のない背景画像を生成するものとすると、認証用画像ＧＤから検出された背景画像Ｇ１０Ａは、台形歪のない背景画像と照合される。このため、顔認証処理装置１Ｂは、認証用画像ＧＤから検出された背景画像Ｇ１０Ａの照合を実施しても、背景画像Ｇ１０Ａは認証用画像ＧＤにないと判断し、認証用画像ＧＤは、なりすましの実写動画またはＣＧ動画と判断する。このため、正当な被認証者Ｅ０が認証を行ったにもかかわらず、認証が正常に実施されない。
【0086】
台形歪のある背景画像Ｇ１０Ａが認証用画像ＧＤに含まれる場合においても、認証が正常に実施されるようにするため、顔認証処理装置１Ｂは、背景画像Ｇ１０Ａの台形歪を除去する。顔認証処理装置１Ｂは、背景画像Ｇ１０Ａの台形歪を除去するため、位置姿勢記憶部２５に格納されている幾何情報に基づいて認証用画像ＧＤを幾何変換し、図１４（ｃ）の認証用画像ＧＥを生成する。
【0087】
認証用画像ＧＥに含まれる背景画像Ｇ１０は、背景画像Ｇ１０Ａの台形歪が除去されている。このため、第二照合部２３５は、認証用画像ＧＥから検出された背景画像Ｇ１０の照合処理を実施することで、背景画像Ｇ１０は認証用画像ＧＥにあると判断することができる。ただし、認証用画像ＧＤを幾何変換すると、認証用画像ＧＤに含まれる顔画像Ｇ０も幾何変換される。このため、幾何変換後の認証用画像ＧＥに含まれる顔画像Ｇ０Ａには、台形歪が発生する。このとき、第一照合部２３３は、幾何変換前の認証用画像ＧＤから検出された顔画像Ｇ０の照合処理を実施することで、顔画像Ｇ０は認証用画像ＧＤにあると判断することができる。
【0088】
以上の処理手順で、顔認証処理装置１Ｂは、認証時に認証を行う現地で認証用画像ＧＤが撮像されたものかどうかを判断することが可能となる。また、顔認証処理装置１Ｂは、認証用画像ＧＤ上での背景画像Ｇ１０Ａの位置および大きさを無作為に変更できるため、悪意ある人物に背景画像Ｅ１０Ａを知られても、背景画像Ｅ１０Ａを用いたなりすまし行為を困難にできる。また、顔認証処理装置１Ｂは、プロジェクタＥ４、背景画像の投影面および認証用撮像装置Ｅ１の位置と姿勢が異なり、背景画像に形状歪が生じる場合であっても、背景画像の補正を行うことで、背景画像の検出および照合の精度を向上させることができる。また、顔認証処理装置１Ｂは、認証用画像中の背景画像の大きさ、位置および姿勢を検出時に利用することで、背景画像の検出の計算量を軽減し、認証処理を高速化することができる。
【0089】
以上説明したように、上述した第２実施形態によれば、顔認証処理装置は、認証対象の背景に表示された背景画像を認証用画像に含ませ、認証用画像を幾何変換し、その幾何変換後の認証用画像から背景画像を同定する。これにより、認証時の負荷の増大を抑制しつつ、なりすましを検出することが可能となるとともに、背景画像を知られても、顔画像とともに背景画像を用いたなりすまし行為を困難にできる。
【0090】
なお、上述した第２実施形態では、認証用画像を幾何変換し、背景画像の検出および照合を行ったが、認証用画像を幾何変換することなく、背景画像を幾何変換させて、背景画像の検出と照合を行ってもよい。さらに、深層学習のような認識技術を用いて、背景画像の変形例を予め学習させることで、背景画像の検出と照合を行ってもよい。
【0091】
＜第３実施形態＞
上述した第１実施形態では、背景画像の表示装置としてプロジェクタを例にとったが、第３実施形態は、背景画像の表示装置としてモニタ装置を例にとる。このとき、背景画像は、モニタ装置の表示画像である。なお、第１実施形態と同様の部分については説明を省略し、異なる点のみについて説明する。
図１５（ａ）は、第３実施形態に係る被認証者の認証環境の一例を示す斜視図、図１５（ｂ）は、図１５（ａ）の認証環境における撮像画像の一例を示す図である。
上述した第１実施形態では、背景画像の表示装置としてプロジェクタを例にとったが、第３実施形態は、背景画像の表示装置としてモニタ装置を例にとる。このとき、背景画像は、モニタ装置の表示画像である。なお、第１実施形態と同様の部分については説明を省略し、異なる点のみについて説明する。
図１５（ａ）は、第３実施形態に係る被認証者の認証環境の一例を示す斜視図、図１５（ｂ）は、図１５（ａ）の認証環境における撮像画像の一例を示す図である。
【0092】
図１５（ａ）の認証環境では、図７（ａ）のプロジェクタＥ４の代わりにモニタ装置Ｅ１４が設けられている。モニタ装置Ｅ１４は、可視光モニタであり、例えば、液晶表示装置、有機ＥＬディスプレイまたはマイクロＬＥＤディスプレイである。モニタ装置Ｅ１４は、モニタ装置Ｅ１４を所定の位置および姿勢に保つ治具Ｅ１５で支持される。なお、モニタ装置Ｅ１４は、被認証者Ｅ０の後方の壁面に埋め込むようにしてもよい。モニタ装置Ｅ１４には、背景画像Ｅ１６が表示される。
【0093】
認証用撮像装置Ｅ１は、ＩＣカード認証装置Ｅ３によるＩＣカードの認証が行われると、被認証者Ｅ０の背景に背景画像Ｅ１６が表示されている状態で被認証者Ｅ０の顔を撮像し、図１５（ｂ）の認証用画像ＧＦを生成する。認証用画像ＧＦでは、その中央に被認証者Ｅ０の顔画像Ｇ０が位置し、被認証者Ｅ０の顔画像Ｇ０に隠れることなく背景画像Ｇ１６が映り込んでいる。
【0094】
このように、背景画像Ｇ１６の表示装置としてモニタ装置Ｅ１４を使用することで、背景画像Ｇ１６を投影する壁等の面がセキュリティゲート近傍に存在せずとも、なりすまし行為の検知が可能となる。
【0095】
以上説明したように、上述した第３実施形態によれば、顔認証処理装置は、認証対象の背景に表示されたモニタ画像を認証用画像に含ませ、その認証用画像からモニタ画像を同定することにより、認証時の負荷の増大を抑制しつつ、なりすましを検出できる。
【0096】
＜第４実施形態＞
上述した第１実施形態では、背景画像の表示装置としてプロジェクタを例にとったが、第４実施形態は、背景画像の表示装置としてセキュリティトークンを例にとる。なお、第１実施形態と同様の部分については説明を省略し、異なる点のみについて説明する。
図１６は、第４実施形態に係る顔認証処理装置のハードウェア構成例を示すブロック図である。
図１６のセキュリティゲートシステムは、図１の顔認証処理装置１Ａの代わりに、顔認証処理装置１Ｃおよび背景画像生成表示装置４を備える。顔認証処理装置１Ｃからは、図１の背景画像表示装置１５が除去され、背景画像生成表示装置４は、顔認証処理装置１Ｃの外部に設けられる。
上述した第１実施形態では、背景画像の表示装置としてプロジェクタを例にとったが、第４実施形態は、背景画像の表示装置としてセキュリティトークンを例にとる。なお、第１実施形態と同様の部分については説明を省略し、異なる点のみについて説明する。
図１６は、第４実施形態に係る顔認証処理装置のハードウェア構成例を示すブロック図である。
図１６のセキュリティゲートシステムは、図１の顔認証処理装置１Ａの代わりに、顔認証処理装置１Ｃおよび背景画像生成表示装置４を備える。顔認証処理装置１Ｃからは、図１の背景画像表示装置１５が除去され、背景画像生成表示装置４は、顔認証処理装置１Ｃの外部に設けられる。
【0097】
背景画像生成表示装置４は、セキュリティトークンであり、予め設定された時間間隔でワンタイムパスワードを変更し表示する。以下の説明では、ワンタイムパスワードが数桁の数字である場合を例にとるが、数桁の数字に限定されることなく、例えば、英数字の配列であってもよいし、記号が含まれていてもよい。
【0098】
図１７は、第４実施形態に係る顔認証処理装置の機能構成例を示すブロック図である。
図１７の顔認証処理装置１Ｃは、図２の制御部２１Ａの代わりに制御部２１Ｃおよびワンタイムパスワード生成部２６を備える。顔認証処理装置１Ｃからは、図２の背景画像ブロック２４Ａが除去され、顔認証処理装置１Ｃの外部には、背景画像生成表示装置４が設けられる。制御部２１Ｃは、各ブロック間の情報通知、動作および同期を司り、セキュリティゲートシステム全体の一連の処理を実現する。
図１７の顔認証処理装置１Ｃは、図２の制御部２１Ａの代わりに制御部２１Ｃおよびワンタイムパスワード生成部２６を備える。顔認証処理装置１Ｃからは、図２の背景画像ブロック２４Ａが除去され、顔認証処理装置１Ｃの外部には、背景画像生成表示装置４が設けられる。制御部２１Ｃは、各ブロック間の情報通知、動作および同期を司り、セキュリティゲートシステム全体の一連の処理を実現する。
【0099】
背景画像生成表示装置４は、背景画像となるワンタイムパスワードを所定のアルゴリズムに基づき所定時間間隔で生成し、表示することを繰り返し継続して行う。
ワンタイムパスワード生成部２６は、背景画像生成表示装置４と同じアルゴリズムを持ち、同じ所定時間間隔で背景画像生成表示装置４と同じ時刻に同じワンタイムパスワードを生成する。
ワンタイムパスワード生成部２６は、背景画像生成表示装置４と同じアルゴリズムを持ち、同じ所定時間間隔で背景画像生成表示装置４と同じ時刻に同じワンタイムパスワードを生成する。
【0100】
図１８は、図１７の顔認証処理装置の処理の一例を示すフローチャートである。
図１８のＳ１１～Ｓ１３において、制御部２１Ｃは、図３の処理と同様に処理を行う。
次に、Ｓ９１において、制御部２１Ｃは、認証画像ブロック２３０に同期信号を送る。
次に、Ｓ９２において、制御部２１Ｃは、ワンタイムパスワード生成部２６からワンタイムパスワードを取得し、そのワンタイムパスワードを背景画像として認証ブロック２３Ａに送信する。
図１８のＳ１１～Ｓ１３において、制御部２１Ｃは、図３の処理と同様に処理を行う。
次に、Ｓ９１において、制御部２１Ｃは、認証画像ブロック２３０に同期信号を送る。
次に、Ｓ９２において、制御部２１Ｃは、ワンタイムパスワード生成部２６からワンタイムパスワードを取得し、そのワンタイムパスワードを背景画像として認証ブロック２３Ａに送信する。
【0101】
次に、Ｓ１７～Ｓ１８において、認証画像ブロック２２は、図３の処理と同様に処理を行う。
ここで、ワンタイムパスワードの有効期限をΔｔ４、認証画像ブロック２２が制御部２１Ｃからの同期信号を受けて認証用画像を撮像する所要時間Δｔ５とすると、Δｔ５＜Δｔ４となるようにワンタイムパスワードの有効期限が予め設定される。
ここで、ワンタイムパスワードの有効期限をΔｔ４、認証画像ブロック２２が制御部２１Ｃからの同期信号を受けて認証用画像を撮像する所要時間Δｔ５とすると、Δｔ５＜Δｔ４となるようにワンタイムパスワードの有効期限が予め設定される。
【0102】
次に、Ｓ１９～Ｓ２２において、認証ブロック２３Ａは、図３の処理と同様に処理を行う。ただし、Ｓ２２の背景画像は、ワンタイムパスワードである。
次に、Ｓ２３～Ｓ２４において、制御部２１Ｃは、図３の処理と同様に処理を行う。
次に、Ｓ２３～Ｓ２４において、制御部２１Ｃは、図３の処理と同様に処理を行う。
【0103】
図１９は、図１８の認証画像ブロックの処理の一例を示すフローチャートである。
図１９において、認証画像ブロック２２は、図５の処理に加え、Ｓ４６の処理を追加して実行する。認証画像ブロック２２は、Ｓ４２の処理でＮｏの場合、Ｓ４６の処理を実行してから、Ｓ４４に進む。
図１９において、認証画像ブロック２２は、図５の処理に加え、Ｓ４６の処理を追加して実行する。認証画像ブロック２２は、Ｓ４２の処理でＮｏの場合、Ｓ４６の処理を実行してから、Ｓ４４に進む。
【0104】
Ｓ４６において、認証画像ブロック２２は、表示部２２４に認証用画像を表示する前に、認証用画像に含まれる背景画像生成表示装置４をマスキングする。
ここで、背景画像生成表示装置４の認証用画像中の位置は、制御部２１Ｃに予め設定される。マスキングの手段は、例えば、黒等の単色でマスキング領域を塗り潰せばよい。
ここで、背景画像生成表示装置４の認証用画像中の位置は、制御部２１Ｃに予め設定される。マスキングの手段は、例えば、黒等の単色でマスキング領域を塗り潰せばよい。
【0105】
図２０は、図１８の認証ブロックの処理の一例を示すフローチャートである。
図２０において、認証ブロック２３Ａは、図６の処理と同様に処理を行う。ただし、Ｓ５１およびＳ５４の背景画像は、ワンタイムパスワードである。
図２０において、認証ブロック２３Ａは、図６の処理と同様に処理を行う。ただし、Ｓ５１およびＳ５４の背景画像は、ワンタイムパスワードである。
【0106】
図２１（ａ）は、第４実施形態に係る被認証者の認証環境の一例を示す斜視図、図２１（ｂ）は、図２１（ａ）の認証環境における撮像画像の一例を示す図である。
図２１（ａ）の認証環境では、図７（ａ）のプロジェクタＥ４の代わりにワンタイムパスワード生成表示装置Ｅ１７が設けられる。ワンタイムパスワード生成表示装置Ｅ１７は、認証用撮像装置Ｅ１の撮像視野内であって被認証者Ｅ０によって遮られない位置に設置される。なお、ワンタイムパスワード生成表示装置Ｅ１７は、被認証者Ｅ０の後方の壁面に埋め込むようにしてもよい。ワンタイムパスワード生成表示装置Ｅ１７には、背景画像Ｅ１８としてワンタイムパスワードが表示される。
図２１（ａ）の認証環境では、図７（ａ）のプロジェクタＥ４の代わりにワンタイムパスワード生成表示装置Ｅ１７が設けられる。ワンタイムパスワード生成表示装置Ｅ１７は、認証用撮像装置Ｅ１の撮像視野内であって被認証者Ｅ０によって遮られない位置に設置される。なお、ワンタイムパスワード生成表示装置Ｅ１７は、被認証者Ｅ０の後方の壁面に埋め込むようにしてもよい。ワンタイムパスワード生成表示装置Ｅ１７には、背景画像Ｅ１８としてワンタイムパスワードが表示される。
【0107】
認証用撮像装置Ｅ１は、ＩＣカード認証装置Ｅ３によるＩＣカードの認証が行われると、被認証者Ｅ０の背景に背景画像Ｅ１８が表示されている状態で被認証者Ｅ０の顔を撮像し、図２１（ｂ）の認証用画像ＧＧを生成する。認証用画像ＧＧでは、その中央に被認証者Ｅ０の顔画像Ｇ０が位置し、被認証者Ｅ０の顔画像Ｇ０に隠れることなく背景画像Ｇ１８が映り込んでいる。また、認証用画像ＧＧには、ワンタイムパスワード生成表示装置Ｅ１７の撮像画像Ｇ１７も映り込んでいる。
【0108】
以上説明した処理手順で、顔認証処理装置１Ｃは、認証時に認証を行う現地で認証用画像ＧＧが撮像されたかどうかを判断することが可能となる。また、顔認証処理装置１Ｃは、背景画像生成表示装置４と分離した状態で動作することができ、電源および信号線の配線の手間を削減することが可能となる。
【0109】
以上説明したように、上述した第４実施形態によれば、顔認証処理装置は、認証対象の背景に表示されたワンタイムパスワードを認証用画像に含ませ、その認証用画像からワンタイムパスワードを同定する。これにより、認証時の負荷の増大を抑制しつつ、なりすましを検出することが可能となるとともに、なりすましを成功させるための背景画像の利用を困難にすることができる。
【0110】
＜第５実施形態＞
上述した第１実施形態では、背景画像がタブレットで覆い隠される場合を例にとったが、第５実施形態では、背景画像がタブレットで覆い隠されない場合にスマートフォンまたは写真等の枠を検出して、なりすましを判断する。なお、第１実施形態と同様の部分については説明を省略し、異なる点のみについて説明する。
図２２は、第５実施形態に係る顔認証処理装置の機能構成例を示すブロック図である。
図２２の顔認証処理装置１Ｄは、図２の認証ブロック２３Ａの代わりに認証ブロック２３Ｄを備える。
上述した第１実施形態では、背景画像がタブレットで覆い隠される場合を例にとったが、第５実施形態では、背景画像がタブレットで覆い隠されない場合にスマートフォンまたは写真等の枠を検出して、なりすましを判断する。なお、第１実施形態と同様の部分については説明を省略し、異なる点のみについて説明する。
図２２は、第５実施形態に係る顔認証処理装置の機能構成例を示すブロック図である。
図２２の顔認証処理装置１Ｄは、図２の認証ブロック２３Ａの代わりに認証ブロック２３Ｄを備える。
【0111】
認証ブロック２３Ｄは、図２の認証ブロック２３Ａの構成に加え、第三検出部２３８および第三照合部２３９を備える。第三検出部２３８は、認証用画像から認証対象の周囲の直線を検出する。第三照合部２３９は、第三検出部２３８により検出された直線がスマートフォンまたは写真などの枠線の少なくとも一部か否かを同定する。
【0112】
図２３は、図２２の顔認証処理装置の処理の一例を示すフローチャートである。
図２３において、制御部２１Ａ、認証画像ブロック２２および背景画像ブロック２４Ａは、図３の処理と同様に処理を行う。
認証ブロック２３Ｄは、図３の処理に加え、Ｓ１０１の処理を追加して実行するとともに、図３のＳ２２の処理の代わりに、Ｓ１０２の処理を実行する。このとき、認証ブロック２３Ｄは、Ｓ２１の処理を実行後、Ｓ１０１およびＳ１０２の処理を実行し、Ｓ２３に進む。
図２３において、制御部２１Ａ、認証画像ブロック２２および背景画像ブロック２４Ａは、図３の処理と同様に処理を行う。
認証ブロック２３Ｄは、図３の処理に加え、Ｓ１０１の処理を追加して実行するとともに、図３のＳ２２の処理の代わりに、Ｓ１０２の処理を実行する。このとき、認証ブロック２３Ｄは、Ｓ２１の処理を実行後、Ｓ１０１およびＳ１０２の処理を実行し、Ｓ２３に進む。
【0113】
Ｓ１０１において、認証ブロック２３Ｄは、第三検出部２３８により検出された直線がスマートフォンまたは写真などの枠線の少なくとも一部か否かを第三照合部２３９にて同定し、スマートフォンまたは写真などが認証に利用されているかを判定する。
【0114】
次に、Ｓ１０２において、認証ブロック２３Ｄは、第一照合部２３３と第二照合部２３５と第三照合部２３９の結果を受ける。そして、認証ブロック２３Ｄは、顔画像と同じ人物の画像と、背景画像と同じ画像と、スマートフォンまたは写真などの枠線が認証用画像中に含まれているか否かを判断し、その判断結果を制御部２１Ａに送信する。
【0115】
図２４は、図２２の認証ブロックの処理の一例を示すフローチャートである。
図２４において、認証ブロック２３Ｄは、図６の処理に加え、Ｓ１１１の処理を追加して実行するとともに、図６のＳ５５の処理の代わりに、Ｓ１１２の処理を実行する。このとき、認証ブロック２３Ｄは、Ｓ５４の処理を実行後、Ｓ１１１およびＳ１１２の処理を実行し、Ｓ５６に進む。
図２４において、認証ブロック２３Ｄは、図６の処理に加え、Ｓ１１１の処理を追加して実行するとともに、図６のＳ５５の処理の代わりに、Ｓ１１２の処理を実行する。このとき、認証ブロック２３Ｄは、Ｓ５４の処理を実行後、Ｓ１１１およびＳ１１２の処理を実行し、Ｓ５６に進む。
【0116】
Ｓ１１１において、認証ブロック２３Ｄは、認証用画像に含まれる直線がスマートフォンまたは写真などの枠線の少なくとも一部か否かを判定し、スマートフォンまたは写真などが認証に利用されているかを検出する。
【0117】
次に、Ｓ１１２において、認証ブロック２３Ｄは、第一照合部２３３と第二照合部２３５と第三照合部２３９の結果を受ける。そして、認証ブロック２３Ｄは、顔画像と同じ人物の画像と、背景画像と同じ画像と、スマートフォンまたは写真などの枠線が認証用画像中に含まれているか否かを判断し、その判断結果を制御部２１Ａに送信する。
【0118】
図２５（ａ）は、第５施形態に係る被認証者の認証環境の一例を示す斜視図、図２５（ｂ）は、図２５（ａ）の認証環境における撮像画像の一例を示す図である。
図２５（ａ）の認証環境は、図９（ａ）の認証環境と同様である。ただし、図２５（ａ）の認証行為では、被認証者Ｅ０´は、認証用撮像装置Ｅ１の撮像範囲Ｅ６内に背景画像Ｅ１０が入るように、タブレットＥ１３の位置をずらしている。
図２５（ａ）の認証環境は、図９（ａ）の認証環境と同様である。ただし、図２５（ａ）の認証行為では、被認証者Ｅ０´は、認証用撮像装置Ｅ１の撮像範囲Ｅ６内に背景画像Ｅ１０が入るように、タブレットＥ１３の位置をずらしている。
【0119】
背景画像Ｅ１０が撮像範囲Ｅ６内に入るようにするためには、撮像範囲Ｅ６をタブレットＥ１３で完全に覆い隠すことはできず、タブレットＥ１３の枠の少なくとも一部は撮像範囲Ｅ６内に入る。このとき、被認証者Ｅ０´の背景に背景画像Ｅ１０が表示されている状態で被認証者Ｅ０の実寸大の実写動画等の顔が撮像されると、被認証者Ｅ０の顔画像Ｇ０とともに、背景画像Ｇ１０および枠線Ｇ１３を含む図２５（ｂ）の認証用画像ＧＨが生成される。
【0120】
認証用画像ＧＨには被認証者Ｅ０の顔画像Ｇ０が含まれるので、第一照合部２３３で照合成功と判定される。認証用画像ＧＨには背景画像Ｇ１０が含まれるので、第二照合部２３５で照合成功と判定される。ただし、認証用画像ＧＨにはタブレットＥ１３の枠線Ｇ１３が含まれるので、第三照合部２３５で照合失敗と判定される。これらの判定結果を統合すると、なりすましの検出に成功し、なりすましによるセキュリティゲート通過を阻止することが可能となる。
【0121】
以上説明した処理手順で、顔認証処理装置１Ｄは、認証時に認証を行う現地で認証用画像ＧＨが撮像されたものかどうかを判断することが可能となる。また、なりすましに用いられるスマートフォンまたは写真等を、スマートフォンまたは写真等の枠線を構成する直線の検出で行うことにより、より強固なセキュリティを達成することが可能となる。
【0122】
以上説明したように、上述した第５実施形態によれば、顔認証処理装置は、認証用画像に含まれる背景画像および枠線を同定することにより、認証時の負荷の増大を抑制しつつ、なりすましを検出できる。
【0123】
なお、なりすまし行為の検出手段は、上述した実施形態で示した手段に限定されることなく、セキュリティゲートの設置現場に応じて別のなりすまし行為の検出手段を使用してもよい。また、検出及び照合手段を複数具備したなりすまし行為の検出手段であってもよい。
【符号の説明】
【0124】
１Ａ 顔認証処理装置、２ ＩＣカード認証装置、３ ゲート装置、１０ ＣＰＵ、１１ メモリ、１２ ネットワークＩ／Ｆ、１３ 外部Ｉ／Ｆ、１４ 認証画像表示装置、１５ 背景画像表示装置、１６ 入力装置、１７ 外部記憶装置、１８ 画像入力装置、２１Ａ 制御部、２２ 認証画像ブロック、２３Ａ 認証ブロック、２４Ａ 背景画像ブロック、２２１ 撮像部、２２２ 画像記憶部、２２３ 画像選択部、２２４ 表示部、２３１ 登録画像記憶部、２３２ 第一検出部、２３３ 第一照合部、２３４ 第二検出部、２３５ 第二照合部、２３６ 判定部、２４１ 背景画像生成部、２４２ 背景画像記憶部、２４３ 背景画像選択部、２４４ 背景画像表示部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
