(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-27
(45)【発行日】2024-03-06
(54)【発明の名称】制御装置、検知装置、制御方法、およびプログラム
(51)【国際特許分類】
G06V 40/40 20220101AFI20240228BHJP
G06T 7/00 20170101ALI20240228BHJP
【FI】
G06V40/40
G06T7/00 660Z
(21)【出願番号】P 2022118408
(22)【出願日】2022-07-26
(62)【分割の表示】P 2020021111の分割
【原出願日】2014-03-13
【審査請求日】2022-07-26
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】蘇 雷明
(72)【発明者】
【氏名】井上 護
(72)【発明者】
【氏名】藍野 健太
(72)【発明者】
【氏名】森田 浩章
【審査官】新井 則和
(56)【参考文献】
【文献】国際公開第2014/004179(WO,A1)
【文献】特開2005-242777(JP,A)
【文献】特表2003-536303(JP,A)
【文献】国際公開第2013/132695(WO,A1)
【文献】欧州特許出願公開第01988489(EP,A1)
【文献】特表2005-502961(JP,A)
【文献】特開2014-027597(JP,A)
【文献】Ioannis Pavlidis, Peter Symosek,The Imaging Issue in an Automatic Face/Disguise Detection System,Proceedings IEEE Workshop on Computer Vision Beyond the Visible Spectrum: Methods and Applications,2000年12月31日
【文献】黒田 卓也,セキュリティ産業最前線~セキュリティショー2005~ 近赤外光を用いた顔認識監視システム,画像ラボ 第16巻 第3号,2005年03月01日
(58)【調査した分野】(Int.Cl.,DB名)
G06V 40/40
G06T 7/00
(57)【特許請求の範囲】
【請求項1】
第1の波長帯域で人物を含む第1画像を撮像する第1撮像手段と、
前記第1の波長帯域と異なる第2の波長帯域で前記人物を含む第2画像を撮像する第2撮像手段と、
撮像された前記第1画像と撮像された前記第2画像に基づいて、前記人物のなりすましを判定するための複数の判定スコアを算出する第1算出手段と、
前記複数の判定スコアに基づいて 、最終スコアを算出する第2算出手段と、
算出された前記最終スコアに基づいて、前記人物のなりすましを判定する判定手段と、を備え、
前記複数の判定スコアは、前記第1画像
における複数の選択領域、前記第2画像
における対応する複数の選択領域のそれぞれから、
選択領域ごとに独立に算出される
制御装置。
【請求項2】
人感センサが前記人物を検知した後に、前記判定手段は、前記人物のなりすまし判定を行う、
ことを特徴とする請求項1に記載の制御装置。
【請求項3】
前記判定手段は、撮像された前記第1画像と撮像された前記第2画像のそれぞれから画像内の明るさの度合いを示す値を算出し、算出された前記明るさの度合いを示す値に基づいて、前記人物のなりすましを判定する
請求項1に記載の制御装置。
【請求項4】
前記判定手段は、前記最終スコアに基づいて、人物がシリコン製の変装マスクによる変装をしているかどうかを判定する
ことを特徴とする請求項1に記載の制御装置。
【請求項5】
請求項1から
4のいずれか1項に記載の制御装置と、
前記制御装置による制御に基づいて、各種の情報を表示するモニタと、
前記人物は認証不可と判定された場合、警告を前記モニタに表示させる報知手段とを備えた
検知装置。
【請求項6】
光源と、
人感センサとをさらに備え、
前記人感センサが前記人物を検知した後に、前記光源を点灯させ、
前記光源を点灯させた後に、前記人物を含む前記第1画像及び前記第2画像を取得する
請求項
5に記載の検知装置。
【請求項7】
第1の波長帯域で人物を含む第1画像を撮像することと、
前記第1の波長帯域と異なる第2の波長帯域で前記人物を含む第2画像を撮像することと、
撮像された前記第1画像と撮像された前記第2画像に基づいて、前記人物のなりすましを判定するための複数の判定スコアを算出することと、
前記複数の判定スコアに基づいて、最終スコアを算出することと、
算出された前記最終スコアに基づいて、前記人物のなりすましを判定することと
をコンピュータに実行させ、
前記複数の判定スコアは、前記第1画像
における複数の選択領域、前記第2画像
における対応する複数の選択領域のそれぞれから、
選択領域ごとに独立に算出される
プログラム。
【請求項8】
第1の波長帯域で人物を含む第1画像を撮像し、
前記第1の波長帯域と異なる第2の波長帯域で前記人物を含む第2画像を撮像し、
撮像された前記第1画像と撮像された前記第2画像に基づいて、前記人物のなりすましを判定するための複数の判定スコアを算出し、
前記複数の判定スコアに基づいて、最終スコアを算出し、
算出された前記最終スコアに基づいて、前記人物のなりすましを判定し、
前記複数の判定スコアは、前記第1画像
における複数の選択領域、前記第2画像
における対応する複数の選択領域のそれぞれから、
選択領域ごとに独立に算出される
制御方法。
【請求項9】
可視光帯域で人物を含む可視光画像を撮像する第1撮像手段と、
赤外線帯域で前記人物を含む赤外線画像を撮像する第2撮像手段と、
人感センサが前記人物を検知した後に、撮像された前記赤外線画像と撮像された前記可視光画像に基づいて、前記人物のなりすましを判定する判定手段と、を備え、
前記判定手段は、前記可視光画像
における複数の選択領域、前記赤外線画像
における対応する複数の選択領域のそれぞれから、
選択領域ごとに独立に算出される複数の判定スコアに基づいて、前記人物のなりすましを判定する
制御装置。
【請求項10】
前記判定手段は、撮像された前記赤外線画像と撮像された前記可視光画像のそれぞれから画像内の明るさの度合いを示す値を算出し、算出された前記明るさの度合いの強さを示す値に基づいて、前記人物のなりすましを判定する
ことを特徴とする請求項
9に記載の制御装置。
【請求項11】
前記可視光画像と前記赤外線画像との間で、各画素位置が対応するように、前記赤外線画像を補正する画像補正手段をさらに備えた
ことを特徴とする請求項
9または
10に記載の制御装置。
【請求項12】
請求項
9に記載の制御装置と、
前記制御装置による制御に基づいて、各種の情報を表示するモニタと、
前記人物は認証不可と判定された場合、警告を前記モニタに表示させる報知手段とを備えた
検知装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、検知装置に関する。
【背景技術】
【0002】
カメラで撮像した顔画像を解析して、本人かどうかを認証する顔認証技術(以下、単に顔認証とする)が知られている。このような顔認証では、本人以外の人物が本人の写真を用いる等して本人に成りすます不正認証の問題がある。また、このような成りすましによる不正認証を防ぐための様々な技術も知られている。
【0003】
例えば、特許文献1には、複数の顔画像を用いて立体検知を行うことにより、写真などを用いた成りすましによる不正認証を防止する技術について記載されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、ある人物が精巧な変装マスクを被って他人に変装したような場合、この人物は立体的なので上記立体検知の技術では不正認証を防止することができない。
【0006】
また、近年の精巧な変装マスクでは人間の目視でも変装マスクを被っているか否か判別できない場合がある。例えば、空港の入国審査などでは、変装マスクを被った者がその変装マスクと同一写真の偽造パスポートを使って入国審査官の目視による照合を通過するケースがある。
【0007】
この変装マスクの例に限らず、目視で判別することが困難な変装用の物体(例えば、見た目が肌に似ているシート状の物体など)を用いても、同様に変装が可能である。このような事情から、目視で判別することが困難な変装用の物体を高い精度で検知する技術が望まれている。
【0008】
本発明は、このような実情に鑑みてなされたものであり、肌と変装用の物体とを高い精度で判別することができる検知装置を提供することを目的とする。
【課題を解決するための手段】
【0009】
上記目的を達成するため、本発明の第1の観点に係る制御装置は、第1の波長帯域で人物を含む第1画像を撮像する第1撮像手段と、前記第1の波長帯域と異なる第2の波長帯域で前記人物を含む第2画像を撮像する第2撮像手段と、撮像された前記第1画像と撮像された前記第2画像に基づいて、前記人物のなりすましを判定するための複数の判定スコアを算出する第1算出手段と、前記複数の判定スコアに基づいて 、最終スコアを算出する第2算出手段と、算出された前記最終スコアに基づいて、前記人物のなりすましを判定する判定手段と、を備える。
【0010】
上記目的を達成するため、本発明の第2の観点に係る検知装置は、前記制御装置と、前記制御装置による制御に基づいて、各種の情報を表示するモニタと、前記人物は認証不可と判定された場合、警告を前記モニタに表示させる報知手段とを備える。
【0011】
上記目的を達成するため、本発明の第3の観点に係る制御方法では、第1の波長帯域で人物を含む第1画像を撮像し、前記第1の波長帯域と異なる第2の波長帯域で前記人物を含む第2画像を撮像し、撮像された前記第1画像と撮像された前記第2画像に基づいて、前記人物のなりすましを判定するための複数の判定スコアを算出し、前記複数の判定スコアに基づいて、最終スコアを算出し、算出された前記最終スコアに基づいて、前記人物のなりすましを判定する。
【0012】
上記目的を達成するため、本発明の第4の観点に係るプログラムは、第1の波長帯域で人物を含む第1画像を撮像することと、前記第1の波長帯域と異なる第2の波長帯域で前記人物を含む第2画像を撮像することと、撮像された前記第1画像と撮像された前記第2画像に基づいて、前記人物のなりすましを判定するための複数の判定スコアを算出することと、前記複数の判定スコアに基づいて、最終スコアを算出することと、算出された前記最終スコアに基づいて、前記人物のなりすましを判定することとをコンピュータに実行させる。
【0013】
上記目的を達成するため、本発明の第5の観点に係る制御装置は、可視光帯域で前記人物を含む可視光画像を撮像する第1撮像手段と、赤外線帯域で前記人物を含む赤外線画像を撮像する第2撮像手段と、人感センサが前記人物を検知した後に、撮像された前記赤外線画像と撮像された前記可視光画像に基づいて、前記人物のなりすましを判定する判定手段と、を備える。
【0014】
上記目的を達成するため、本発明の第6の観点に係る検知装置は、前記制御装置と、前記制御装置による制御に基づいて、各種の情報を表示するモニタと、前記人物は認証不可と判定された場合、警告を前記モニタに表示させる報知手段とを備える。
【発明の効果】
【0015】
本発明によれば、肌と変装用の物体とを高い精度で判別することが可能となる。
【図面の簡単な説明】
【0016】
【
図1】人の肌とシリコンとに光を照射した際の、それぞれの反射光の輝度のスペクトルを示した図である。
【
図2】各実施形態における変装マスク検知装置の構成を示すブロック図である。
【
図3】各実施形態におけるカメラの構造を示す図である。
【
図5】マスク検知処理の流れの一例を示すフローチャートである。
【
図6】実施形態1のマスク判定処理の流れの一例を示すフローチャートである。
【
図7】実施形態2のマスク判定処理の流れの一例を示すフローチャートである。
【
図8】実施形態3のマスク判定処理の流れの一例を示すフローチャートである。
【
図9】
図2に示した変装マスク検知装置1の別例の構成を示すブロック図である。
【発明を実施するための形態】
【0017】
以下、本発明の各実施形態について、図面を参照しながら詳細に説明する。
(実施形態1)
本発明の実施形態1に係る変装マスク検知装置1は、例えば、空港の入国審査場の入国ゲート近辺に設置される。変装マスク検知装置1は、入国ゲートを通過しようとする人物が変装マスクを被っているか否かを判別し、変装マスクを被っている場合にその旨を報知する機能を有する。
【0018】
なお、変装マスク検知装置1が検知する変装マスクは、例えば、映画等で年齢の若い俳優が老人役を演じる特殊メイクで使用されるような精巧なマスクであり、見た目が人の肌に似ている薄いシリコン製である。そのため、人が目視によりこのような変装マスクを被っているか否かを判断するのは困難である。
【0019】
まず、変装マスク検知装置1による変装マスク検知の原理について説明する。
図1は光を物体に照射した際の反射光の輝度のスペクトルを示した図である。この図において、点線は、人の肌に照射した光の反射光のスペクトルである。また、実線は、シリコンに照射した光の反射光のスペクトルである。なお、輝度は、明るさの度合いを示す。
【0020】
この図において、シリコンに照射した光の反射光の輝度は、赤外線の波長帯域である1140nm~1220nm近辺の斜線で示す波長域で急激に落ち込んでおり、人の肌に照射した光の反射光の輝度と明らかに相違する。なお、急激に落ち込むのは、斜線で示す波長域でシリコンが光をよく吸収するため、反射光が弱まるからである。
【0021】
変装マスク検知装置1は、このようなシリコンと人の肌とでの反射光の輝度のスペクトルの相違を利用し、斜線で示す波長域での急激な落ち込みがあるか否かで変装マスクを検知する。
【0022】
続いて、変装マスク検知装置1の構成について説明する。変装マスク検知装置1は、
図2に示すように、光源11と、カメラ12と、スピーカ13と、液晶モニタ14と、操作部15と、外部記憶装置16と、制御部17と、を備える。
【0023】
光源11は、ハロゲン光源であり、制御部17からの指示に基づいて点灯、消灯が制御され、被写体である人物に光を照射する。なお、光源11として、ストロボやアルゴン電球等を用いてもよいが、ハロゲン光源は、赤外線の波長帯域の成分が多く含まれているため、光源11にはハロゲン光源を用いるのが好適である。
【0024】
カメラ12には、光源11が人物に照射した光の反射光が入射される。カメラ12は、制御部17の制御の下、同一タイミングで、この反射光の可視光域の画像、1166±5nmの波長域の画像、1190±5nmの波長域の画像、および、1214±5nmの波長域の画像を一度に撮像する。
【0025】
なお、以下の説明では、カメラ12が撮像した可視光域の画像を可視光画像、1166±5nmの波長域の画像を赤外線画像A、1190±5nmの波長域の画像を赤外線画像B、1214±5nmの波長域の画像を赤外線画像Cとも表記する。
【0026】
ここで、カメラ12の構造について説明する。カメラ12は、
図3に示すように、レンズ121と、分光器122と、上述した波長域毎に対応して設けられたフィルタ123(123
A~123
D)およびCMOS(Complementary Metal-Oxide Semiconductor device)124(124
A~124
D)と、を備える。
【0027】
レンズ121は、入射された光を集光する。分光器122は、例えば、プリズムやワンウェイミラーであり、レンズ121によって集光された光を分光する。各フィルタ123は、分光器122で分光された光のうち、対応する波長域の光を透過させる。具体的には、フィルタ123A~123Dは、それぞれ、1166±5nmの波長域、1190±5nmの波長域、1214±5nmの波長域、および、可視光域の光を透過させる。
【0028】
また、各フィルタ123A~123Dに対応して設けられた各CMOS124A~124Dは、フィルタ123A~123Dを透過した光を電気信号に変換することにより、対応する波長域の画像を作成する。具体的には、CMOS124A~124Dは、それぞれ、赤外線画像A~C、および、可視光画像を作成する。なお、CMOS124の代わりにCCD(charge-coupled device)等のイメージセンサを用いてもよい。
【0029】
図2に戻り、スピーカ13は、制御部17の制御に基づいて、音声を出力する。液晶モニタ14は、制御部17の制御に基づいて、各種の情報を表示する。例えば、人物が変装マスクを被っていることが検知された場合、制御部17の制御により、スピーカ13からはその旨を報知する警告音が出力され、液晶モニタ14には警告メッセージが表示される。
【0030】
操作部15は、各種のボタン等を備え、ユーザが操作した際に、その操作に対応した信号を制御部17に出力する。
【0031】
外部記憶装置16は、例えば、ハードディスクドライブ等であり、カメラ12が撮像した画像の一時的な記憶場所となったり、後述するマスク検知処理で必要な各種のデータが記憶される。
【0032】
制御部17は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)などから構成され、変装マスク検知装置1全体を制御する。制御部17における制御処理は、具体的には、CPUが、RAMを作業領域として使用して各種データを一時的に記憶させながら、ROMに記憶されている制御プログラムを実行することにより行われる。制御部17は、機能的には、撮像制御部171と、顔検出部172と、判定部173と、報知部174と、を備える。
【0033】
撮像制御部171は、光源11の点灯・消灯やカメラ12の撮像動作を制御して、人物の各波長域の画像(可視光画像、赤外線画像A~C)を取得する。
【0034】
顔検出部172は、カメラ12が撮像した可視光画像を解析して、人物の顔領域を検出する。そして、顔検出部172は、顔領域から、顔特徴量(目、鼻、口等)の近傍に有り、肌の露出面積が比較的広い部分として、額領域と右頬領域と左頬領域とを検出する。
【0035】
なお、カメラ12は、同一地点から同一タイミングで人物の各画像(可視光画像、赤外線画像A~C)を一度に撮像する。従って、顔検出部172が可視光画像から検出した各領域は、同じタイミングで撮像された他の画像(赤外線画像A~C)の各領域と画素位置が共通する。
【0036】
なお、顔検出部172による各領域の検知は、公知の検知方法が採用可能である。
【0037】
例えば、顔検出部172は、可視光画像にソーベルフィルタ処理を施して輪郭線を検出し、顔輪郭のパターンマッチングによって顔輪郭を抽出する。そして、顔検出部172は、抽出した顔輪郭の範囲で、上から眉の輪郭線、下から口下の輪郭線を検出し、顔の左右端、および、眉上、口下位置とで囲まれる領域を顔領域として検出する。そして、顔検出部172は、検出した顔領域のうちから、眼球に相当する黒点を目の位置として検出し、顔領域と目の位置から、一般的な顔の統計的データに基づいて、額領域、右頬領域、左頬領域を特定すればよい。なお、顔検出部172は、目、鼻、口等の顔の特徴量を公知の手法により検知し、これらの特徴量が検知された際に、その近傍の領域を額領域、右頬領域、左頬領域として特定してもよい。
【0038】
ここで、上述した顔検出部172の処理について、具体例を挙げて説明する。例えば、顔検出部172の処理対象として、
図4Aに示すような可視光画像が与えられた場合を考える。この場合、顔検出部172は、
図4Bに示すように、顔領域R1を検出する。また、顔検出部172は、顔領域R1から、額領域R2と右頬領域R3と左頬領域R4とを検出する。
【0039】
図2に戻り、判定部173は、赤外線画像A~Cの間で、顔検出部172が特定した各領域(額領域、右頬領域、左頬領域)の輝度が、肌が示す関係とは異なる特定の関係を満たすか否かを判別することにより、
図1の斜線で示した波長域での急激な落ち込みがあるか否か判別し、人物が変装マスクを被っているか否かを判定する。
【0040】
報知部174は、判定部173が変装マスクを被っていると判定した場合に、スピーカ13や液晶モニタ14を制御して、その旨を報知する。
【0041】
続いて、変装マスク検知装置1によって実行される変装マスク検知処理について説明する。入国審査場の係員は、入国者である人物を入国ゲート近辺に設置してある変装マスク検知装置1のカメラ12の画角内に誘導する。この際、係員は、マスク検知装置1の操作部15を介して、処理の開始を指示する操作を行う。この操作に応答して、マスク検知装置の制御部17は、
図5のフローチャートに示すマスク検知処理を実行する。
【0042】
なお、マスク検知装置1に人感センサを備えさせ、人感センサが入国者を検知した際に、マスク検知処理を実行してもよい。あるいは、カメラ12をライブビュー状態にしておき、制御部17が人物が写ったと判定すると自動的にマスク検知処理を実行してもよい。
【0043】
また、変装マスクを被っているような人物の場合、カメラ12のレンズ等を見ると警戒するおそれもあるため、例えば、カメラ12の前にマジックミラーなどを設置しておき、気付かれないように撮像してマスク検知処理を開始してもよい。
【0044】
図5のマスク検知処理において、まず、撮像制御部171は、光源11を点灯させるとともに、カメラ12を制御して、人物の波長域毎の画像(可視光画像、赤外線画像A~C)を取得する(ステップS11)。
【0045】
続いて、顔検出部172は、取得した可視光画像から、顔領域を検出するとともに、顔領域から額領域、右頬領域、左頬領域を検出する(ステップS12)。
【0046】
続いて、判定部173は、ステップS11で可視光画像と同じタイミングで取得した赤外線画像A~Cの間で各領域(額領域、右頬領域、左頬領域)の輝度を比較することにより、人物が変装マスクを被っているか否かを判定するマスク判定処理を実行する(ステップS13)。
【0047】
ここで、マスク判定処理の詳細について、
図6のフローチャートを参照して説明する。
【0048】
まず、判定部173は、検出した額領域、右頬領域、左頬領域のうちから今回のマスク判定処理で未選択の領域を1つ選択する(ステップS131)。以下、ステップS131で選択した領域を選択領域とも表記する。
【0049】
続いて、判定部173は、赤外線画像A~Cのそれぞれについて、選択領域から1つの画素(例えば、選択領域の中心の画素)を選択し、その画素の輝度を測定する(ステップS132)。
【0050】
続いて、判定部173は、赤外線画像A~C間で、測定した輝度が特定の関係を満たすか否かを判別する(ステップS133)。具体的には、判定部173は、赤外線画像Bから測定した輝度が、赤外線画像A及び赤外線画像Cから測定した輝度よりも所定割合低いか否かを判別する。これにより、人の肌には見られないシリコン特有の波長域(
図1に示す1140nm~1220nm近辺の波長域)での反射光の輝度の急激な落ち込みの有無を判別することが可能となる。
【0051】
なお、より具体的には、ステップS133で判定部173は、以下の関係式(1)~(3)を全て満たすか否かを判別すればよい。なお、関係式(1)~(3)において、IAは赤外線画像Aから測定した輝度、IBは赤外線画像Bから測定した輝度、ICは赤外線画像Aから測定した輝度を示す。また、T1~T3は係数であり、撮影条件等からマスク検知に最適な数値が予め設定されている。
【0052】
(1)IA×T1>IB
(2)IC×T2>IB
(3)IC×T3>IA
上記関係式(1)及び(2)を満たせば、赤外線画像Bから測定した輝度が、赤外線画像A及び赤外線画像Cから測定した輝度よりも所定割合低いことになる。また、上記関係式(3)を満たせば、赤外線画像Cから測定した輝度が、赤外線画像Aから測定した輝度よりも所定割合高いことになる。
【0053】
測定した輝度が特定の関係を満たすと判別した場合(ステップS133;Yes)、判定部173は、赤外線画像A~Cのそれぞれについて、ステップS132で測定した画素の周囲の8つの各画素の輝度を測定する(ステップS134)。
【0054】
続いて、判定部173は、周囲の画素の全てにおいても、赤外線画像A~C間で、測定した輝度が特定の関係を満たすか否かを判別する(ステップS135)。
【0055】
周囲の画素においても輝度が特定の関係を満たすと判別した場合(ステップS135;Yes)、判定部173は、人物が変装マスクを被っていると判定し(ステップS136)、マスク判定処理は終了する。なお、上述したマスク判定処理では、選択領域(額、右頬、左頬)の何れか一つの領域で1つの画素及びその周囲の8画素全てが特定の関係を満たせば変装マスクを被っていると判定した。その理由は、通常変装マスクは顔全部を覆い隠すように被ることから、選択領域のうち何れか一つでも特定波長域での輝度の急激な落ち込みがあることが分かれば、他の選択領域についてマスク判定処理を行わずとも変装マスクを被っていると判定できるからである。
【0056】
一方、選択領域の1つの画素で輝度が特定の関係を満たしていないと判別した場合(ステップS133;No)、または、その周囲の画素で輝度が特定の関係を満たしていないと判別した場合(ステップS135;No)、判定部173は、今回のマスク判定処理で、額領域、右頬領域、左頬領域の全てを選択したか否かを判別する(ステップS137)。
【0057】
額領域、右頬領域、左頬領域の全てを選択していない場合(ステップS137;No)、ステップS131に処理は戻り、判定部173は、未選択の領域を選択して、その領域の画素の輝度が特定の関係を満たすか否かを判別して変装マスクを被っているか否かを判定する一連の処理を繰り返す。
【0058】
一方、額領域、右頬領域、左頬領域の全てを選択した場合(ステップS137;Yes)、判定部173は、人物が変装マスクを被っていないと判定し(ステップS138)、マスク判定処理は終了する。
【0059】
図5に戻り、マスク判定処理(ステップS13)が終了すると、報知部174は、マスク判定処理で変装マスクを被っていると判定されたか否かを判別する(ステップS14)。変装マスクを被っていない場合(ステップS14;Yes)、変装マスク検知処理は終了する。
【0060】
一方、変装マスクを被っている場合(ステップS14;Yes)、報知部174は、スピーカ13および液晶モニタ14を制御して、その旨を報知する(ステップS15)。これにより、係員は、入国ゲートを通過しようとする人物の変装を見破ることができ、不法入国を防ぐことが可能となる。以上で変装マスク検知処理は終了する。
【0061】
このように、実施形態1に係る変装マスク検知装置1は、複数の異なる波長域で人物の画像を取得(撮像)し、取得した画像間での顔領域の輝度が、肌が示す関係とは異なる特定の関係を満たす場合に、人物が変装マスクを被っていると判別する。すなわち、実施形態1に係る変装マスク検知装置1は、取得した画像間での顔領域それぞれの輝度を結んだ形が凹形の場合に、人物が変装マスクを被っていると判別する。これにより、シリコンと人の肌とでの反射光の輝度のスペクトルの相違を利用した高い精度での変装マスクの検知が可能となる。
【0062】
また、実施形態1に係る変装マスク検知装置1によれば、取得した画像の顔領域から肌の露出面積が比較的広い特徴領域(額領域、右頬領域、左頬領域)を検出し、特徴領域の輝度を用いて変装マスクの検知を行う。そのため、全ての顔領域についてマスク判定処理を行わなくて済むのでマスク検知の処理にかかる負荷が小さくなる。
【0063】
また、実施形態1に係る変装マスク検知装置1によれば、1つの画素の輝度だけでなく、その画素の周囲の画素の輝度も用いて、変装マスクを被っているか否かを判別する。そのため、より精度の高い変装マスクの検知が可能となる。
【0064】
また、実施形態1に係る変装マスク検知装置1によれば、カメラは4つの異なる波長域の画像(可視光画像、赤外線画像A~C)のみを用いて変装マスクの有無を検知するため、比較的小さい負荷での変装マスクの検知が可能となる。
【0065】
また、実施形態1に係る変装マスク検知装置1の備える光源11は、ハロゲン光源であることから赤外線帯域において十分な光量が得られる。このため、高い精度での変装マスクの検知が可能となる。
(実施形態2)
続いて、実施形態2に係る変装マスク検知装置2について説明する。なお、
図3に示すように、変装マスク検知装置2の各部の構成は、実施形態1に係る変装マスク検知装置1と実質的に同じであり、マスク判定処理の内容のみが異なる。
【0066】
マスク検知装置2が実行するマスク判定処理について、
図7のフローチャートを用いて説明する。なお、
図6に示したマスク判定処理と実質的に同内容のステップについては、適宜説明を簡略化する。また、
図7のマスク判定処理の開始タイミングは、
図6と同じである。
【0067】
マスク判定処理が開始されると、まず、判定部173は、検出した額領域、右頬領域、左頬領域のうちから未選択の領域を選択し(ステップS201)、赤外線画像A~Cのそれぞれについて、選択領域から1つの画素を選択し、その画素の輝度を測定し(ステップS202)、赤外線画像A~C間で、測定した輝度が特定の関係を満たすか否かを判別する(ステップS203)。
【0068】
赤外線画像A~C間で、輝度が特定の関係を満たしていないと判別した場合(ステップS203;No)、判定部173は、その選択領域のマスク判定用のスコアを0と算出し(ステップS204)、ステップS206に処理は移る。
【0069】
一方、赤外線画像A~C間で、輝度が特定の関係を満たしていると判別した場合(ステップS203;Yes)、判定部173は、赤外線画像A~Cのそれぞれについて、ステップS202で測定した画素の周囲の各画素(例えば、測定した画素に隣接する8つの画素)の輝度を測定する。そして、判定部173は、周囲の各画素のうち、赤外線画像A~C間の輝度が特定の関係を満たす割合を、その選択領域のスコアとして算出し(ステップS205)、ステップS206に処理は移る。例えば、周囲の8つの画素全てで赤外線画像A~C間の輝度が特定の関係を満たす場合、スコアは1(8/8)と算出される。また、周囲の8つの画素のうち2つの画素で赤外線画像A~C間の輝度が特定の関係を満たす場合、スコアは0.25(2/8)と算出される。
【0070】
ステップS206で、判定部173は、額領域、右頬領域、左頬領域の全てを選択したか否かを判別する。額領域、右頬領域、左頬領域の全てを選択していない場合(ステップS206;No)、ステップS201に処理は戻る。
【0071】
額領域、右頬領域、左頬領域の全てを選択した場合(ステップS206;Yes)、判定部173は、これらの各領域で算出したスコアの平均を最終スコアとして算出する(ステップS207)。そして、判定部173は、最終スコアが所定の閾値(例えば、0.5)以上であるか否かを判別する(ステップS208)。
【0072】
最終スコアが閾値以上である場合(ステップS208;Yes)、判定部173は、人物が変装マスクを被っていると判定する(ステップS209)。一方、最終スコアが閾値未満である場合(ステップS208;No)、判定部は、人物が変装マスクを被っていないと判定する(ステップS210)。以上でマスク判定処理は終了する。
【0073】
このように、実施形態2のマスク判定処理では、右頬領域、左頬領域、額領域のそれぞれから変装マスク判定用のスコアを算出して、変装マスクを被っているか否かを判定する。そのため、各領域(頬領域、右頬領域、左頬領域)の何れか1つで輝度が特定の関係を満たす場合に、変装マスクを被っていると即時に判定する実施形態1のマスク判定処理よりも、精度よく変装マスクを検知することが可能となる。
(実施形態3)
続いて、実施形態3に係る変装マスク検知装置3について説明する。なお、
図3に示すように、変装マスク検知装置3の各部の構成は、実施形態1、2に係る変装マスク検知装置1、2と実質的に同じであり、マスク判定処理の内容のみが異なる。
【0074】
マスク検知装置3が実行するマスク判定処理について、
図8のフローチャートを用いて説明する。なお、
図6に示したマスク判定処理と実質的に同内容のステップについては、適宜説明を簡略化する。また、
図8のマスク判定処理の開始タイミングは、
図6と同じである。
【0075】
マスク判定処理が開始されると、まず、判定部173は、変装マスクの判定用に利用するシリコン候補カウンタと非シリコンカウンタとを0に初期化する(ステップS301)。
【0076】
続いて、判定部173は、額領域、右頬領域、左頬領域のうちから1つ選択する(ステップS302)。そして、判定部173は、選択領域から、未選択の画素を1つ選択する(ステップS303)。以下、ステップS303で選択した画素を選択画素とも表記する。
【0077】
続いて、判定部173は、赤外線画像A~Cのそれぞれについて、選択画素の輝度を測定する(ステップS304)。そして、判定部173は、赤外線画像A~C間で、測定した輝度が特定の関係を満たすか否かを判別する(ステップS305)。
【0078】
測定した輝度が特定の関係を満たすと判別した場合(ステップS305;Yes)、判定部173は、シリコン候補カウンタに1を加算する(ステップS306)。また、測定した輝度が特定の関係を満たさないと判別した場合(ステップS305;No)、判定部173は、非シリコンカウンタに1を加算する(ステップS307)。
【0079】
続いて、判定部173は、選択領域の全ての画素を選択したか否かを判別する(ステップS308)。
【0080】
全ての画素を選択していない場合(ステップS308;No)、ステップS303に処理は戻り、判定部173は、選択領域から1つの画素を選択し、その輝度に基づいて非シリコンカウンタ又はシリコン候補カウンタに1を加算する処理を繰り返す。
【0081】
一方、全ての画素を選択した場合(ステップS308;Yes)、判定部173は、額領域、右頬領域、左頬領域の全てを選択したか否かを判別する(ステップS309)。額領域、右頬領域、左頬領域の全てを選択していない場合(ステップS309;No)、ステップS302に処理は戻る。
【0082】
額領域、右頬領域、左頬領域の全てを選択した場合(ステップS309;Yes)、すなわち、額領域、右頬領域及び左頬領域の全画素についてそれぞれシリコン候補カウンタ又は非シリコンカウンタを加算し終えた後、判定部173は、シリコン候補カウンタが非シリコンカウンタの値よりも大きいか否かを判別する(ステップS310)。
【0083】
シリコン候補カウンタの値の方が非シリコンカウンタの値よりも大きい場合(ステップS310;Yes)、判定部173は、人物が変装マスクを被っていると判定する(ステップS311)。
【0084】
一方、シリコン候補カウンタの値が非シリコンカウンタの値よりも大きくない場合(ステップS310;No)、判定部173は、人物が変装マスクを被っていないと判定する(ステップS312)。以上で変装マスク判定処理は終了する。
【0085】
このように、実施形態3のマスク判定処理では、額領域、右頬領域、左頬領域の全ての画素の輝度を用いて変装マスクを判定するため、より精度よく変装マスクを検知することが可能となる。
【0086】
なお、
図8のマスク検知処理において、シリコン候補カウンタのみを用い、ステップS310においてシリコン候補カウンタの値が所定値以上か否かによりマスク検知を行ってもよい。例えば、所定値を額領域、右頬領域及び左頬領域の全画素の8割の画素数の値に設定しておくことで、その全画素の80%以上がシリコン候補だった場合にマスクを被っていると判断することができる。
【0087】
また、
図8のマスク検知処理では、選択画素の輝度が特定の関係を満たす場合に(ステップS305;Yes)、ステップS306においてシリコン候補カウンタに1を加算した。しかしながら、選択画素の輝度が特定の関係を満たす場合に、実施形態1と同様にその周囲の画素についても特定の関係を満たすか否かを判定し、満たす場合のみシリコン候補カウンタに1を加算してもよい。
(変形例)
なお、本発明は、上記各実施形態に限定されず、本発明の要旨を逸脱しない部分での種々の変更は勿論可能である。
【0088】
例えば、上記各実施形態に係る変装マスク検知装置1~3は、最終的に、変装マスクを検知した。しかしながら、変装マスクに限らず、肌に貼り付けられた変装用の物体等を検知する検知装置にも本発明は適用可能である。
【0089】
また、上記各実施形態に係る変装マスク検知装置1~3では、マスク判定処理において、判定部173が、人が変装マスクを被っているか否かを判定した。しかしながら、変装マスクの判定自体は行わずに、判定部173が赤外画像間での輝度が特定の関係を満たすか否かのみを判定し、満たす場合に、報知部174がその旨を報知してもよい。
【0090】
また、
図2に示した変装マスク検知装置1~3においては、光源11やカメラ12などが全て一体であることを前提に説明したが、適宜別体にしてもよいことはもちろんである。例えば、光源11、カメラ12、スピーカ13などをそれぞれ別にしておき、制御部17の機能を持つ装置(例えば、PCなど)と組み合わせることで変装マスク検知装置1~3を構成してもよい。あるいは、制御部17の機能をカメラ12に内蔵して、カメラ12の制御部が適宜光源11やスピーカ13などと連携して変装マスク検知装置1を構成してもよい。
【0091】
また、上記各実施形態では、1166±5nmの波長域の画像(赤外線画像A)、1190±5nmの波長域の画像(赤外線画像B)、および、1214±5nmの波長域の画像(赤外線画像C)の輝度が特定の関係を満たす場合に、変装マスクを被っていると判定した。
【0092】
しかし、人の肌と異なる反射光の輝度の変化を検出できるのであれば、他の波長域の画像を用いて変装マスクの有無を判定してもよい。例えば、
図1の網掛け部分で示す1500nm~1550nm近辺の波長域においても、シリコンと人の肌とでは反射光の輝度のスペクトルに明らかな相違が見られる。このため、網掛け部分の波長域においても複数のフィルタを用意しておき、人物の画像を複数取得して、顔領域の輝度から変装マスクの有無を判定してもよい。また、斜線部分と網掛け部分両方の波長域の画像を用いてマスク検知処理を行ってもよく、その場合、マスク検知の精度をより向上させることができる。
【0093】
また、上記各実施形態では、3つの各波長域の画像(赤外線画像A~C)の輝度を用いて変装マスクの有無を判定したが、3以上の各波長域の画像の輝度を用いて変装マスクの有無を判定してもよい。
【0094】
また、上記各実施形態では、顔検出部172が顔領域から額領域、右頬領域、左頬領域を検出し、判定部173が各領域の輝度を画像間で比較して変装マスクの有無を判定した。しかしながら、顔検出部172は、額領域、右頬領域、左頬領域の全てを検出する必要は無く、少なくとも1つの領域を検出すればよい。例えば、顔検出部172が額領域のみを検出し、判定部173が額領域の輝度のみを比較して変装マスクの有無を判定してもよい。また、顔検出部172が額領域、右頬領域、左頬領域以外の特徴領域を検出して、その領域の輝度を用いて変装マスクの有無を判定してもよい。また、顔検出部172が顔領域のみを検出し、判定部173が顔領域全体又はその一部の輝度を比較して変装マスクの有無を判定してもよい。
【0095】
また、カメラ12の位置や人物の撮像地点を固定し、画像内の特定範囲に必ず人物の顔が撮像されるようにした場合、判定部173がその特定範囲の輝度を比較して変装マスクの有無を判定してもよい。この場合は、変装マスク検知装置1~3は、顔検出部172を備えなくともよい。
【0096】
また、上記各実施形態では、
図3に示すように、変装マスク検知装置1が備えるカメラ12は、分光器122や複数のフィルタ123を備えており、波長域の異なる複数の画像を一度に撮像することができた。
【0097】
しかしながら、このようなカメラ12の代わりに、
図9に示すように、単一の波長域の画像しか撮像できない4台のカメラ18(18
A~18
D)を備えた変装マスク検知装置1′であっても、本発明は適用可能である。なお、各カメラ18
A~18
Dには、それぞれ、1166±5nmの波長域、1190±5nmの波長域、1214±5nmの波長域、および、可視光域の光のみをCMOSに通過させるフィルタが備えられている。従って、各カメラ18
A~18
Dは、それぞれ、赤外線画像A~D、および、可視光画像のみが撮像可能である。
【0098】
なお、この変装マスク検知装置1′の外部記憶装置16には、各カメラ18A~18Dの位置関係を示す位置パラメータが記憶されている。位置パラメータは、例えば、各カメラ18A~18Dの相対的な位置座標(x,y,z)、上下方向の角度(チルト)、左右方向の角度(パン)、回転角度(ロール)などを示す情報である。
【0099】
この変装マスク検知装置1′においては、
図9に示すように、人物からの反射光の角度がそれぞれ異なるので、各波長域の画像は同一地点から撮像したものとはならない。このため、マスク判定処理において、各赤外線画像A~Cにおける選択画素の輝度を測定する際、画素位置が同じにならない。
【0100】
このため、この変装マスク検知装置1′においては、制御部17は、同一地点から人物を撮像したように、複数のカメラ18A~18Dが撮像した各画像を補正した画像を取得する画像補正部175を備える。
【0101】
この画像補正部175は、例えば、公知の手法により、外部記憶装置16に記憶されている位置パラメータを参照して、カメラ18Aの地点で撮像した画像と同じ地点になるように、カメラ18B~18Dの各地点で撮像した画像にそれぞれ角度補正を行う。これにより、各画素位置が共通の画像が得られる。そして、顔検出部172や判定部173は、画像補正部175によって得られた共通の画像を対象にマスク検知処理を行えばよい。
【0102】
この変装マスク検知装置1′によれば、分光器122と複数のフィルタ123A~123Dを用いた変装マスク検知装置1のカメラ12よりも構造が単純なカメラを用いることができるので、安価に変装マスク検知装置1′を構成することができる。
【0103】
また、上記各実施形態では、変装マスクを検知する場合について説明したが、変装マスクの検知とともに肌の検知をあわせて行ってもよい。この場合、例えば、肌の検知も行うための関係式を予め求めておき、マスク判定処理において、各赤外線画像A~Cの選択画素の輝度が特定の関係を満たすか判定する際にあわせて上記求めておいた関係式により肌か否かも判定することにより、その画素がシリコンか肌かを検知することができる。このため、より精度よく変装マスクを被っているか否かを判定することができる。
【0104】
また、上記各実施形態における変装マスク検知装置1~3においては、各波長域の光を透過するバンドパスフィルタであるフィルタ123A~123Dを用いたが、これに限らず他のフィルタを用いてもよい。例えば、可視光域の画像を得るために、赤外光の光を全てカットするカットフィルタを用いたり、赤外線帯域において複数の異なる波長域の画像を得るために、複数のカットフィルタを組み合わせて(例えば、1166±5nmの波長域の画像を得るには、1160nm以下の光をカットするカットフィルタと、1172nm以上の光をカットするカットフィルタと、を組み合わせ)て、所望の波長域の画像を得るようにしてもよい。
【0105】
また、上記各実施形態においては、入国審査場に変装マスク検知装置1~3を設置する場合を例にとって説明したが、変装マスク検知装置1~3を設置する場所はこれに限るものではない。要は、変装マスクの検知を行う必要がある場合に、この変装マスク検知装置1を設置して変装マスクの検知を行うことができる。例えば、出国審査場の出国ゲート近辺はもちろんのこと、企業や大規模レジャー施設などの入場ゲートなどにも変装マスク検知装置1~3を設置して使用してもよい。
【0106】
また、上記各実施形態では、変装マスク検知装置1~3は、シリコン製の変装マスクを検知したが、本発明は、他の材質の変装マスクの検知にも利用可能である。なお、その場合、その変装マスクの材質と人の肌とでの反射光の輝度のスペクトルが大きく相違する波長域から複数の画像を取得する必要がある。
【0107】
例えば、樹脂製のマスクは1480~1580nmの波長域の輝度が高いのに対し、人の肌ではこの波長域の輝度は低い。また、合成ゴム製のマスクは1480~1580nmの波長域の輝度が、人の肌と比べて極めて低い。従って、このような肌と他の材質との差分を見ることによって、樹脂製や合成ゴム製のマスクを検知することも可能となる。
【0108】
また、例えば、上記各実施形態に係る変装マスク検知装置1~3の動作を規定する動作プログラムを既存のパーソナルコンピュータや情報端末機器等に適用することで、当該パーソナルコンピュータ等を本発明に係る変装マスク検知装置1~3として機能させることも可能である。
【0109】
また、このようなプログラムの配布方法は任意であり、例えば、CD-ROM(Compact Disk Read-Only Memory)、DVD(Digital Versatile Disk)、MO(Magneto Optical Disk)、メモリカードなどのコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネットなどの通信ネットワークを介して配布してもよい。
【0110】
本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施形態や変形が可能である。また、上述した実施形態は、本発明を説明するためのものであり、本発明の範囲を限定するものではない。即ち、本発明の範囲は、実施形態ではなく、特許請求の範囲によって示される。そして、特許請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、本発明の範囲内とみなされる。
【0111】
上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
(付記1)
人物に照射された光の反射光の複数の異なる波長域の画像を取得する画像取得部と、
前記画像取得部が取得した各画像の顔領域の輝度が、肌が示す関係とは異なる特定の関係を満たしているか否かを判定する判定部と、
を備える検知装置。
(付記2)
前記判定部は、前記特定の関係を満たしていると判定した場合に、前記人物が変装していると判定する、
付記1に記載の検知装置。
(付記3)
前記画像取得部は、赤外線帯域において、波長域の異なる画像を複数取得し、
前記判定部は、前記各画像の顔領域それぞれの輝度の分布が示す波形が凹形の場合に、前記特定の関係を満たすと判定する、
付記1又は2に記載の検知装置。
(付記4)
前記画像取得部は、1166nm近傍、1190nm近傍、および、1214nm近傍の波長域の画像をそれぞれ取得し、
前記判定部は、前記1190nm近傍の波長域の画像の顔領域の輝度が、前記1166nm近傍及び前記1214nm近傍の波長域の画像の顔領域の輝度よりも所定割合低い場合に、前記特定の関係を満たすと判定する、
付記1乃至3の何れか1項に記載の検知装置。
(付記5)
前記画像取得部は、1166nm近傍、1190nm近傍、および、1214nm近傍の波長域の画像を取得し、
前記判定部は、前記1190nm近傍の波長域の画像の顔領域の輝度が、前記1166nm近傍及び前記1214nm近傍の波長域の画像の顔領域の輝度よりも所定割合低く、且つ、前記1214nm近傍の波長域の画像の顔領域内の輝度が、前記1166nm近傍の波長域の画像の顔領域の輝度よりも所定割合高い場合に、前記特定の関係を満たすと判定する、
付記1乃至3の何れか1項に記載の検知装置。
(付記6)
前記画像取得部が取得した各画像から前記人物の顔領域を検出する顔検出部を備え、
前記判定部は、前記顔検出部が検出した顔領域の輝度が前記特定の関係を満たしているか否かを判定する、
付記1乃至5の何れか1項に記載の検知装置。
(付記7)
前記顔検出部は、前記顔領域から特徴領域を検出し、
前記判定部は、前記顔検出部が検出した各画像の特徴領域の輝度が特定の関係を満たしているか否かを判定する、
付記6に記載の検知装置。
(付記8)
前記顔検出部は、前記特徴領域として、額領域、右頬領域、左頬領域の少なくとも1つを検出する、
付記7に記載の検知装置。
(付記9)
前記画像取得部は、
前記人物に照射された前記光の反射光を分光することにより、前記複数の異なる波長域の画像を取得する、
付記1乃至8の何れか1項に記載の検知装置。
(付記10)
前記画像取得部は、
前記特定の波長域毎にそれぞれ異なる位置に設けられ、対応する波長域の画像を撮像する複数の撮像部と、
同一地点から前記人物を撮像したように、前記複数の撮像部が撮像した各画像を補正した画像を取得する画像補正部と、を備える、
付記1乃至8の何れか1項に記載の検知装置。
(付記11)
前記判定部は、前記特定の関係を満たしていると判定した際にその旨を報知する報知部をさらに備える、
付記1乃至10の何れか1項に記載の検知装置。
(付記12)
前記人物に照射された光は、ハロゲン光源から照射された赤外光である、
付記1乃至11の何れか1項に記載の検知装置。
(付記13)
前記変装は、シリコン製の変装マスクによる変装である、
付記2に記載の検知装置。
(付記14)
人物に照射された光の反射光の複数の異なる波長域の画像を取得する画像取得ステップと、
前記画像取得ステップで取得した各画像の顔領域の輝度が、肌が示す関係とは異なる特定の関係を満たすか否かを判定する判定ステップと、
を備える検知方法。
(付記15)
コンピュータを、
撮像された複数の異なる波長域の人物の各画像の顔領域の輝度が、肌が示す関係とは異なる特定の関係を満たすか否かを判定する判定部、
として機能させるためのプログラムを格納する記録媒体。
(産業上の利用可能性)
本発明は、入国審査場で入国者が変装しているか否かを判定する場合等に、好適に利用され得る。
【符号の説明】
【0112】
1、2、3、1′ 変装マスク検知装置
11 光源
12、18(18A~18D) カメラ
121 レンズ
122 分光器
123(123A~123D) フィルタ
124(124A~124D) CMOS
13 スピーカ
14 液晶モニタ
15 操作部
16 外部記憶装置
17 制御部
171 撮像制御部
172 顔検出部
173 判定部
174 報知部
175 画像補正部