(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024145409
(43)【公開日】2024-10-15
(54)【発明の名称】顔認証装置
(51)【国際特許分類】
G06V 40/16 20220101AFI20241004BHJP
G06T 7/00 20170101ALI20241004BHJP
【FI】
G06V40/16 A
G06T7/00 510F
【審査請求】未請求
【請求項の数】5
【出願形態】OL
(21)【出願番号】P 2023057738
(22)【出願日】2023-03-31
(71)【出願人】
【識別番号】000108085
【氏名又は名称】セコム株式会社
(74)【代理人】
【識別番号】100099759
【弁理士】
【氏名又は名称】青木 篤
(74)【代理人】
【識別番号】100123582
【弁理士】
【氏名又は名称】三橋 真二
(74)【代理人】
【識別番号】100114018
【弁理士】
【氏名又は名称】南山 知広
(74)【代理人】
【識別番号】100180806
【弁理士】
【氏名又は名称】三浦 剛
(74)【代理人】
【識別番号】100160716
【弁理士】
【氏名又は名称】遠藤 力
(72)【発明者】
【氏名】吉田 健
【テーマコード(参考)】
5B043
【Fターム(参考)】
5B043AA09
5B043BA04
5B043DA05
5B043FA08
5B043GA01
(57)【要約】 (修正有)
【課題】入力顔画像及び登録顔画像を撮像したときの照度の違いによる誤認証が生じるおそれが低い顔認証装置を提供する。
【解決手段】監視システム1において、顔認証装置10は、登録者の登録顔画像及び登録顔画像の取得にかかる照度条件を関連付けて記憶する記憶部13と、利用者の顔を撮像して入力顔画像を取得する撮像部15と、利用者の顔を撮像するときの照度を検出する照度センサ19と、登録顔画像と入力顔画像とを照合して利用者を認証する認証手段23とを有し、認証手段23は、所定の認証基準を満たす登録者が存在しなかった場合、記憶された照度条件に応じて照明環境を制御する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
登録者の登録顔画像、及び前記登録顔画像の取得にかかる照度条件を記憶する記憶部と、
利用者の顔を撮像して入力顔画像を取得する撮像部と、
利用者の顔を撮像するときの照度を検出する照度センサと、
前記登録顔画像と前記入力顔画像とを照合して利用者を認証する認証手段と、を有し、
前記認証手段は、所定の認証基準を満たす前記登録顔画像が存在しなかった場合、前記記憶された照度条件に応じて照明環境を制御する、
ことを特徴とする顔認証装置。
【請求項2】
前記記憶部は、複数の登録顔画像と、前記登録顔画像毎の前記照度条件を関連付けて記憶し、
前記認証手段は、所定の認証基準を満たす前記登録顔画像が存在しなかった場合、前記記憶部に記憶された登録顔画像の中から抽出された候補顔画像に関連付けられた前記照度条件に応じて照明環境を制御する、請求項1に記載の顔認証装置。
【請求項3】
前記認証手段は、前記認証基準を満たす前記登録顔画像が存在しなかった場合、前記認証手段による認証結果に基づいて前記候補顔画像を抽出し、当該候補顔画像に関連付けられた前記照度条件に応じて照明環境を制御する、請求項2に記載の顔認証装置。
【請求項4】
前記記憶部は、登録者の登録顔画像が撮像されたときの照度条件を、当該登録顔画像の取得にかかる照度条件として記憶する、請求項1~3の何れか一項に記載の顔認証装置。
【請求項5】
前記認証手段は、利用者の認証に成功した場合に、当該利用者に対応する照度条件を、当該利用者の顔を撮像したときの照度条件で更新する、請求項1~3の何れか一項に記載の顔認証装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、顔認証装置に関する。
【背景技術】
【0002】
従来、利用者の顔画像を使用して利用者を認証する技術が知られている。例えば、特許文献1には、利用者の複数の登録顔画像を登録顔画像が撮像された照度に関連付けて記憶し、利用者を認証するときに撮像した入力顔画像と登録顔画像とを比較するときに、撮像したときの照度に応じて登録顔画像を選択する技術が記載される。特許文献1に記載される技術は、入力顔画像を撮像したときの照度に近い照度で撮像された登録顔画像を使用して比較処理を行うことで、顔認証において、周囲の環境の照度の違いによる誤認証を低減できる。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載される技術は、照度が所定の照度範囲に属する登録顔画像を使用して、入力顔画像との比較処理を行うため、登録者毎に、多様な照度環境において多くの登録顔画像を記憶する必要がある。特許文献1に記載される技術は、多様な照度環境において多くの登録顔画像を記憶する必要があるため、登録顔画像を登録する処理の作業負荷が高くなる。
【0005】
本発明は、このような課題を解決するものであり、顔認証を行う際の照明環境を適切に制御することができる顔認証装置を提供することを目的とする。
【課題を解決するための手段】
【0006】
本発明に係る顔認証装置は、登録者の登録顔画像、及び登録顔画像の取得にかかる照度条件を記憶する記憶部と、利用者の顔を撮像して入力顔画像を取得する撮像部と、利用者の顔を撮像するときの照度を検出する照度センサと、登録顔画像と入力顔画像とを照合して利用者を認証する認証手段とを有し、認証手段は、所定の認証基準を満たす登録顔画像が存在しなかった場合、記憶された照度条件に応じて照明環境を制御する。
【0007】
さらに、本発明に係る顔認証装置では、記憶部は、複数の登録顔画像と、登録顔画像毎の照度条件を関連付けて記憶し、認証手段は、所定の認証基準を満たす登録顔画像が存在しなかった場合、記憶部に記憶された登録顔画像の中から抽出された候補顔画像に関連付けられた照度条件に応じて照明環境を制御することが好ましい。
【0008】
さらに、本発明に係る顔認証装置では、認証手段は、認証基準を満たす登録顔画像が存在しなかった場合、認証手段による認証結果に基づいて候補顔画像を抽出し、候補顔画像に関連付けられた照度条件に応じて照明環境を制御することが好ましい。
【0009】
さらに、本発明に係る顔認証装置では、記憶部は、登録者の登録顔画像が撮像されたときの照度条件を、当該登録顔画像の取得にかかる照度条件として記憶することが好ましい。
【0010】
さらに、本発明に係る顔認証装置では、認証手段は、利用者の認証に成功した場合に、当該利用者に対応する照度条件を、当該利用者の顔を撮像したときの照度条件で更新することが好ましい。
【発明の効果】
【0011】
本発明に係る顔認証装置は、顔認証を行う際の照明環境を適切に制御することができる。
【図面の簡単な説明】
【0012】
【
図1】実施形態に係る監視システム1の機能ブロック図である。
【
図2】(A)は登録者情報テーブル131のデータ構造を示す図であり、(B)はセンサ情報テーブル132のデータ構造を示す図である。
【
図3】監視システム1の警備装置10によって実行される監視処理の流れを示すフロー図である。
【
図4】
図3に示すS109の処理のより詳細な処理の流れを示すフロー図である。
【
図5】(A)は実施形態に係る顔認証装置2の機能ブロック図であり、(B)は登録顔画像情報テーブル721のデータ構造を示す図である。
【
図6】顔認証装置2によって実行される顔認証処理の流れを示すフロー図である。
【発明を実施するための形態】
【0013】
以下、図面を参照して、本発明に係る顔認証装置について説明する。ただし、本発明の技術的範囲はそれらの実施の形態には限定されず、特許請求の範囲に記載された発明とその均等物に及ぶ点に留意されたい。
【0014】
図1は、実施形態に係る監視システム1の機能ブロック図である。監視システム1は、監視エリアへの侵入を監視する。監視エリアは、例えば、住居、商業施設、事務所、及び公共施設等の施設の建造物である。監視エリアは、建造物の外周又は建造物が建てられている土地を含んでもよい。監視システム1は、警備装置10、複数の監視センサ30、警備センタ装置40及び通信端末50を有する。監視センサ30は、警備装置10と通信可能に接続される。警備センタ装置40及び通信端末50は、ネットワーク60を介して警備装置10と通信可能に接続される。
【0015】
警備装置10は、顔認証装置の一例であり、監視エリアの内部に配置される。例えば、警備装置10は、監視エリアである建造物の内部に配置される。警備装置10は、施設の利用者の操作に応じて監視エリアを監視し、監視エリアへの侵入であると疑われるような異常が検知された場合に、警備センタ装置40に通報する。警備装置10は、インタフェース部11、通信部12、記憶部13、操作部14、撮像部15、表示部16、音声出力部17、照明部18、照度センサ19及び処理部20を有する。
【0016】
インタフェース部11は、警備装置10を監視センサ30と通信可能にするための構成であり、インタフェース回路を備える。インタフェース回路は、例えば、有線LAN(Local Area Network)、無線LAN等の通信インタフェース回路である。インタフェース回路は、HD-SDI(High Definition Serial Digital Interface)等の画像伝送インタフェース回路でもよい。インタフェース部11は、監視センサ30から供給されたデータを処理部20に供給する。
【0017】
通信部12は、警備装置10を警備センタ装置40及び通信端末50と通信可能にするための構成であり、通信インタフェース回路を備える。通信インタフェース回路は、例えば、有線LAN、無線LAN、LTE(Long Term Evolution)等の通信インタフェース回路である。通信部12は、警備センタ装置40及び通信端末50から受信されたデータを処理部20に供給するとともに、処理部20から供給されたデータを警備センタ装置40又は通信端末50に送信する。
【0018】
記憶部13は、データ及びプログラムを記憶するための構成であり、例えば半導体メモリを備える。記憶部13は、処理部20による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。プログラムは、CD(Compact Disc)-ROM(Read Only Memory)、DVD(Digital Versatile Disc)-ROM等のコンピュータ読み取り可能かつ非一時的な可搬型記憶媒体から記憶部13にインストールされる。
【0019】
記憶部13は、データとして、現在の警備モードを示す警備モード情報を記憶する。また、記憶部13は、データとして、利用者の認証に使用される認証基準を示す認証基準情報を記憶する。また、記憶部13は、データとして、例えば1分である保留時間を示す保留時間情報を記憶する。また、記憶部13は、登録者情報テーブル131及びセンサ情報テーブル132を記憶する。
【0020】
操作部14は、警備装置10に対する利用者の操作を受け付けるための構成であり、例えばキーパッドを備える。操作部14は、利用者の操作に応じた信号を生成して処理部20に供給する。
【0021】
撮像部15は、警備装置10の周辺を撮像するための構成であり、カメラを備える。カメラは、受光面に結像させるための結像光学系と、受光面に二次元に配列され、入射した光量に応じた電気信号を出力するCCD(Charge Coupled Device)センサ等の光電変換素子と、光電変換素子の出力に基づいて画像を生成する画像生成回路とを備える。撮像部15は、利用者の顔を撮像して画像を取得し、取得した画像を入力顔画像として処理部20に供給する。なお、撮像部15は、外部接続のカメラから撮像画像を取得する手段として構成してもよい。
【0022】
表示部16は、画像を表示するための構成であり、液晶ディスプレイ又は有機EL(Electro Luminescence)ディスプレイ等のディスプレイを備える。表示部16は、処理部20から供給された信号に基づいて画像を生成して表示する。
【0023】
音声出力部17は、音声を出力するための構成であり、スピーカを備える。音声出力部17は、処理部20から供給された信号に基づいて音声を出力する。
【0024】
照明部18は、利用者の顔を照射するための構成であり、LED発光装置等の発光装置を備える。照明部18は、処理部20から供給された信号に基づいて光を出射する。
【0025】
照度センサ19は、警備装置10の周辺の明るさを検知するための構成である。照度センサ19は、入射した光量に応じた電流を出力するフォトダイオード等の受光素子と、受光素子の出力に基づいた信号を生成する信号生成回路とを有する。照度センサ19は、撮像部15が利用者の顔を撮像するときに生成された信号を、利用者の顔を撮像するときの照度を示す信号として処理部20に供給する。
【0026】
処理部20は、警備装置10の動作を統括的に制御する構成であり、一つ又は複数のプロセッサ及びその周辺回路を備える。処理部20は、例えば、CPU(Central Processing Unit)を備える。処理部20は、DSP(Digital Signal Processor)、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等を備えてもよい。処理部20は、記憶部13に記憶されているプログラムに基づいて処理を実行する。また、処理部20は、処理が適切に実行されるように、警備装置10の各構成の動作を制御する。
【0027】
処理部20は、取得手段21、計時手段22、認証手段23、受付手段24、判定手段25、設定手段26及び通報手段27を機能ブロックとして有する。これらの機能ブロックは、処理部20によって実行されるプログラムに基づいて実現される機能モジュールである。これらの機能ブロックは、警備装置10に実装されたファームウェアでもよい。
【0028】
複数の監視センサ30は、単にセンサとも称され、監視エリアに配置され、監視エリアへの侵入を検知する。複数の監視センサ30は、監視エリアへの侵入であると疑われるような監視エリアの異常を検知し、異常を検知したことを示す検知信号を警備装置10に出力する。検知信号は、監視センサ30のセンサIDを含む。例えば、監視センサ30は、監視エリアの異常として、建造物のドア又は窓等の開閉部の動作を検知するマグネットセンサである。監視センサ30は、赤外線の受光量の変化に基づいて、監視エリアの異常として監視エリアの内部の移動物体を検知する赤外線センサでもよい。監視センサ30は、撮像画像とあらかじめ記憶された背景画像との差分信号に基づいて、監視エリアの異常として監視エリアの内部の移動物体を検知する画像センサでもよい。
【0029】
警備センタ装置40は、警備員が常駐する警備センタに配置されるサーバ又はPC(Personal Computer)等の情報処理装置である。警備センタ装置40は、警備装置10からの通報を受信する。警備センタ装置40は、通報が受信されると、通報の内容を表示すること等により、警備センタに常駐する警備員に通報の内容を報知する。
【0030】
通信端末50は、利用者が保有するスマートフォン又は携帯電話等の情報処理端末である。通信端末50は、警備装置10を操作するための所定の入力信号を警備装置10に送信する。
【0031】
図2(A)は、記憶部13に記憶され、登録者に関する情報を管理する登録者情報テーブル131のデータ構造を示す図である。登録者は、施設の利用者のうち、警備装置10を操作する者としてあらかじめ登録された者である。登録者情報テーブル131は、登録者ID、登録顔画像、通知先、登録顔画像の取得にかかる照度条件及び認証スコア等を相互に関連付けて記憶する。
【0032】
登録者IDは、登録者を一意に識別する情報であり、例えば任意の文字列である。登録顔画像は、登録者の顔の画像である。通知先は、警備装置10による通知の宛先となる、登録者が保有する通信端末を識別する情報である。通知先は、例えば、プッシュ通知を送信するためのデバイストークン又はメッセージを送信するためのメールアドレス若しくは電話番号である。登録者情報テーブル131のデータは、警備装置10の管理者によってあらかじめ設定される。
【0033】
照度条件は、登録顔画像が撮像されたときの照度を示し、撮像部15によって登録顔画像が撮像されたときの照度を照度センサによって検知することで取得される。認証スコアは、利用者を認証する認証処理時に取得された入力顔画像と、登録者情報テーブル131に登録される登録者のそれぞれの登録顔画像との間の類似度を示す類似度パラメータである。
【0034】
図2(B)は、記憶部13に記憶され、監視センサ30に関する情報を管理するセンサ情報テーブル132のデータ構造を示す図である。センサ情報テーブル132は、センサID、保留時間設定等を相互に関連付けて記憶する。
【0035】
センサIDは、監視センサ30を一意に識別する情報であり、例えば任意の文字列である。保留時間設定は、各監視センサ30に保留時間が設定されているか否かを示す情報である。保留時間は、監視センサ30が検知信号を出力してから、警備装置10が警備センタ装置40への通報を保留する時間である。保留時間が設定されていない監視センサ30が検知信号を出力した場合、警備装置10は、監視エリアへの侵入があった旨をただちに警備センタ装置40に通報する。保留時間が設定されている監視センサ30が検知信号を出力した場合、警備装置10は、記憶部13に記憶される保留時間情報に対応する保留時間だけ通報を保留してから、監視エリアへの侵入があった旨を警備センタ装置40に通報する。
【0036】
なお、警備装置10は、監視センサ30によって検知されてから保留時間の間に、異常の検知を取り消す、すなわちキャンセルする異常キャンセル操作がされた場合、保留時間が経過した後も、監視エリアへの侵入があった旨を警備センタ装置40に通報しない。
【0037】
警備装置10は、外出警備モード、在宅警備モード、部分警備モード及び解除モードのうちのいずれか1つの警備モードに設定される。外出警備モード、在宅警備モード及び部分警備モードでは、警備装置10は、監視エリアへの侵入を監視する。一方、解除モードでは、警備装置10は、監視エリアへの侵入を監視しない。
【0038】
例えば、監視エリアが登録者の住居である場合、登録者は、住居から外出するときに警備装置10を外出警備モードに設定し、帰宅したときに外出警備モードを解除して警備装置10を解除モードに設定する。警備装置10は監視エリアの内部に配置されるため、登録者が帰宅してから警備装置10を解除モードに設定するまでの間に、監視センサ30は、登録者が帰宅したことを監視エリアへの進入として検知する。警備装置10は、監視エリアへの侵入があったと判定されて警備センタ装置40に通報されることがないように、監視センサ30が進入を検知してから登録者が外出警備モードを解除するまでの標準的な時間としてあらかじめ設定された保留時間だけ通報を保留する。登録者が監視センサ30によって検知されてから保留時間の間に外出警備モードが解除された場合には、通報は行われない。
【0039】
また、在宅警備モードでは、警備装置10は、ドア及び窓等の開閉部の動作を検知するマグネットセンサ等の建造物の外周部分のセンサでのみ監視エリアである建造物の内部への侵入を監視し、監視エリアである建造物の内部での異常を監視しない。部分警備モードでは、警備装置10は、建造物の内部の一部の区画のセンサでのみで侵入を監視する。例えば、監視エリアである建造物が2階建ての住宅であり、利用者の寝室が建造物の2階部分である場合、部分警備モードでは、警備装置10は、建造物の2階部分の監視を解除し、建造物の外周部分及び1階部分を監視する。
【0040】
センサ情報テーブル132のデータは、警備装置10の管理者によってあらかじめ設定される。特に、保留時間設定のデータは、各監視センサ30が配置される場所に基づいて設定される。例えば、監視エリアが登録者の住居である場合、登録者が帰宅した際に最初に登録者を検知する監視センサ30には保留時間が設定され、他の監視センサ30には保留時間が設定されない。保留時間が設定される監視センサ30の例は、玄関のドアの開閉を検知するマグネットセンサである。保留時間が設定されない監視センサ30の例は、窓の開閉を検知するマグネットセンサ、移動物体を検知する赤外線センサ等である。
【0041】
図3は、監視システム1の警備装置10によって実行される監視処理の流れを示すフロー図である。監視処理は、記憶部13に記憶されたプログラムに基づいて、処理部20が警備装置10の各構成と協働することにより実現される。
【0042】
まず、取得手段21は、現在の警備モードを取得する(S101)。取得手段21は、記憶部13に記憶される警備モード情報に対応する警備モードを現在の警備モードとして取得する。次いで、取得手段21は、S101の処理で取得した現在の警備モードが解除モードであるか否かを判定する(S102)。
【0043】
まず、取得手段21は、現在の警備モードが解除モードでないと判定する(S102-NO)と、インタフェース部11を介して、監視センサ30から出力された検知信号を取得したか否かを判定する(S103)。
【0044】
次いで、取得手段21によって検知信号を取得した判定される(S103-YES)と、計時手段22は、検知信号を出力した監視センサ30に保留時間が設定されているか否かを判定する(S104)。計時手段22は、センサ情報テーブル132を参照し、検知信号に含まれるセンサIDの保留時間設定が「あり」に設定されている場合に、保留時間が設定されていると判定する。
【0045】
検知信号を出力した監視センサ30に保留時間が設定されている場合(S104-YES)、計時手段22は、保留時間の計時を開始する(S105)。例えば、計時手段22は、検知信号が取得された時刻を保留時間の開始時刻として記憶部13に記憶する。
【0046】
次いで、受付手段24は、利用者による、警備モードを変更する変更操作を受け付ける(S106)。現在の警備モードが外出警備モードである場合、受付手段24は、警備モードを解除するか否かを示す情報を表示部16に表示して、変更操作を受け付ける。また、現在の警備モードが在宅警備モード又は部分警備モードである場合、警備モードを解除するか否かを示す情報、及び異常の検知をキャンセルする否かを示す情報を表示部16に表示して、変更操作を受け付ける。なお、受付手段24は、監視エリアにおける警備モードを設定する変更操作以外の操作も受け付け可能である。
【0047】
次いで、判定手段25は、操作部14に対する変更操作が受け付けられたか否かを判定する(S107)。判定手段25は、操作部14から解除操作又はキャンセル操作に対応する信号が供給された場合に、変更操作が受け付けられたと判定する。
【0048】
変更操作が受け付けられていない場合(S107-NO)、計時手段22は、S105の処理で記憶された開始時刻から、あらかじめ設定された長さの保留時間が経過しているか否かを判定する(S108)。
【0049】
保留時間が経過していない場合(S108-NO)、監視処理はS106に戻り、受付手段24は再び変更操作を受け付ける。受付手段24は、保留時間が経過するか、又は変更を受け付けるまで、変更操作を繰り返し受け付ける。
【0050】
変更操作を受け付けた場合(S107-YES)、認証手段23は、登録者情報テーブル131に記憶される登録顔画像と撮像部15によって取得された入力顔画像とを照合して利用者を認証する(S109)。利用者による変更操作が入力されると、撮像部15等を制御して利用者の顔を撮像させ、利用者の顔を含む入力顔画像を取得させる。認証手段23は、登録者情報テーブル131に記憶された各登録顔画像と取得された入力顔画像とを照合して利用者を認証する。なお、認証方法はこれに限らず、認証手段23は、登録顔画像および入力顔画像における顔領域から抽出された眼や鼻などの複数の特徴点について、両画像間で対応する特徴点同士の位置関係の一致度合いに基づき利用者を認証してもよい。S109の処理では、認証手段23は、認証基準を満たす登録者(登録顔画像)が存在しなかった場合、登録者から抽出された候補者に適した照度条件に応じて照明環境を制御する。
【0051】
次いで、認証手段23は、認証が成功したか否かを判定する(S110)。
【0052】
認証が成功していない場合(S110-NO)、計時手段22は、S105の処理で記憶された開始時刻から、あらかじめ設定された長さの保留時間が経過しているか否かを判定する(S111)。
【0053】
保留時間が経過していない場合(S111-NO)、監視処理はS109に戻り、認証手段23は再び利用者を認証する。認証手段23は、保留時間が経過するか、又は認証が成功するまで、繰り返し利用者を認証する。
【0054】
利用者の認証が成功した場合(S110-YES)、判定手段25は、監視エリアへの侵入異常がなかったと判定する(S112)。判定手段25は、監視センサ30からの検知信号が取得されてから保留時間の間に、変更操作が受け付けられ且つ利用者の認証が成功した場合に、監視エリアへの侵入異常がなかったと判定する。判定手段25は、検知信号が取得されてから保留時間の間に、変更操作が受け付けられず、又は変更操作が受け付けられたが利用者の認証が成功しなかった場合に、監視エリアへの侵入異常があったと判定する。
【0055】
次いで、設定手段26は、警備装置10の警備モードをS107の処理に従って変更する(S113)。設定手段26は、S107の処理において、解除操作に対応する信号が供給された場合、記憶部13に記憶される警備モード情報を、解除モードを示す情報に変更する。また、設定手段26は、S107の処理において、キャンセル操作に対応する信号が供給された場合、記憶部13に記憶される警備モード情報を変更しない。以上で、監視処理は終了する。
【0056】
現在の警備モードが解除モードである場合(S102-YES)、又は検知信号が取得されない場合(S103-NO)、受付手段24は、S106の処理と同様に、警備モードを変更する変更操作を受け付ける(S114)。変更操作が受け付けられていない場合(S115-NO)、処理はS101に戻る。変更操作が受け付けられた場合(S115-NO)、判定手段25は、S107の処理と同様に、操作部14に対する変更操作が受け付けられたか否かを判定する(S115-YES)、認証手段23は、S109の処理と同様に、利用者を認証する(S116)。次いで、認証手段23は、S110の処理と同様に、認証が成功したか否かを判定する(S117)。認証が成功していない場合(S117-NO)、処理はS101に戻る。
【0057】
認証が成功した場合(S117-YES)、設定手段26は、S115の処理に応じて待機時間内に供給される信号に従って警備モードを変更し(S118)、処理はS101に戻る。設定手段26は、外出警備設定操作に対応する信号が供給された場合、記憶部13に記憶される警備モード情報を、外出警備モードを示す情報に変更する。設定手段26は、在宅警備設定操作に対応する信号が供給された場合、記憶部13に記憶される警備モード情報を、在宅警備モードを示す情報に変更する。設定手段26は、部分警備設定操作に対応する信号が供給された場合、記憶部13に記憶される警備モード情報を、部分警備モードを示す情報に変更する。設定手段26は、解除操作に対応する信号が供給された場合、記憶部13に記憶される警備モード情報を、解除モードを示す情報に変更する。なお、S114の処理の後、待機時間内に警備モードを変更する信号を受け取らなかった場合、認証手段23は、警備モードを変更しない。
【0058】
検知信号を出力した監視センサ30に保留時間が設定されていない場合(S104-NO)、変更操作が受け付けられるまでに保留時間が経過した場合(S108-YES)、又は認証が成功するまでに保留時間が経過した場合(S111-YES)、判定手段25は警告を出力する(S119)。判定手段25は、表示部16に所定の警告を表示するとともに、音声出力部17に所定の警告音を出力させる。
【0059】
次いで、判定手段25は、監視エリアへの侵入異常があったと判定する(S120)。すなわち、判定手段25は、監視センサ30からの検知信号が取得されてから保留時間の間に変更操作が受け付けられなかった場合、又は検知信号が取得されてから保留時間の間に利用者の認証が成功しなかった場合に、監視エリアへの侵入異常があったと判定する。
【0060】
次いで、通報手段27は、監視エリアへの侵入があった旨を警備センタ装置40に通報する(S121)。通報手段27は、検知信号を出力した監視センサ30のセンサIDを含む通報信号を生成する。通報手段27は、通信部12を介して、通報信号を警備センタ装置40に送信する。以上で、監視処理は終了する。
【0061】
図4は、
図3に示すS109の処理のより詳細な処理の流れを示すフロー図である。
【0062】
まず、認証手段23は、撮像部15を介して入力顔画像を取得し(S201)、取得した入力顔画像を記憶部13に記憶する。認証手段23は、撮像部15を制御して利用者の顔を含む領域を撮像させ、入力顔画像を生成させる。認証手段23は、撮像部15が生成した入力顔画像を取得する。
【0063】
次いで、認証手段23は、照度センサ19から利用者の顔を撮像したときの照度を取得し(S202)、取得した照度を照度条件として記憶部13に記憶する。認証手段23は、照度センサ19を制御して撮像部15が利用者の顔を撮像するときに照度を示す信号を生成させ、生成された信号を照度センサ19から取得する。
【0064】
次いで、認証手段23は、撮像部15が取得した入力顔画像から人物の顔を検知したか否かを判定する(S203)。認証手段23は、例えばフレーム間差分処理又は背景差分処理を利用して、順次撮影された複数の入力画像において輝度値の時間的な変化を有する変化領域を抽出する。認証手段23は、抽出した各変化領域の大きさ、形状等の特徴量に基づいて、人物らしいと考えられる変化領域を人物領域として抽出する。認証手段23は、抽出した人物領域に対してSobelフィルタ等を用いて輝度変化の傾き方向が分かるようにエッジ画素を抽出する。認証手段23は、抽出したエッジ画素から、例えば一般化ハフ変換を用いて、所定の大きさを有する、頭部の輪郭形状を近似した楕円形状のエッジ分布を検出し、そのエッジ分布に囲まれた領域を顔領域として抽出する。なお、認証手段23は、Adaboost識別器等の他の公知の方法を用いて顔領域を抽出してもよい。認証手段23によって人物の顔を検知しないと判定される(S203-NO)と、S109の処理を終了する。
【0065】
認証手段23は、人物の顔を検知したと判定する(S203-YES)と、撮像部15が取得した入力顔画像から顔領域として抽出する(S204)。認証手段23は、S203の処理で抽出した人物の顔らしいと考えられる変化領域を顔領域として抽出する。
【0066】
次いで、認証手段23は、S204の処理で抽出した顔領域から認証スコアを求める(S205)。認証手段23は、特徴量マッチング技術を用いて、入力画像内の顔領域から、目尻、鼻尖、口角等の各部位の位置又は形状等の特徴に基づいて各部位を検出し、その特徴量を求める。特徴量は、ハールライク(Haar-Like)特徴量及びHOG(Histogram of Oriented Gradient)特徴量等である。求められる特徴量は、登録者情報テーブル131に記憶される特徴量と同一の特徴量である。認証手段23は、入力画像内の顔領域及び登録者情報テーブル131に記憶される登録顔画像から、各部位の位置又は形状等の特徴に基づいて各部位を検出し、各部位のそれぞれの特徴量を求める。認証手段23は、各部位のそれぞれの特徴量と、登録者情報テーブル131に記憶される登録顔画像との類似の程度を求め、求めた類似の程度に重みをつけて合算し、認証スコアを求める。認証手段23は、求めた認証スコアを登録者情報テーブル131に記憶される登録者の登録者IDに関連付けて記憶する。
【0067】
次いで、認証手段23は、記憶部13に記憶される認証基準情報に対応する認証基準を使用して、利用者を認証する(S206)。認証手段23は、S205の処理で求められた認証スコアの中で最も大きい認証スコアが、記憶部13に記憶される認証基準情報に対応する認証基準以上である場合、利用者を認証する。認証手段23は、S205の処理で求められた認証スコアの中で最も大きい認証スコアが、記憶部13に記憶される認証基準情報に対応する認証基準未満である場合、利用者を認証しない。
【0068】
認証手段23は、認証が失敗したと判定する(S207-NO)と、S205の処理で求めた認証スコアに基づいて登録者情報テーブル131に登録される登録者の中から候補者を抽出する(S208)。認証手段23は、S205の処理で求められた認証スコアの中で、最も大きい認証スコアに関連付けられて記憶される登録者IDに関連付けて記憶される登録者を候補者として抽出する。なお、候補者の抽出方法は認証スコアにより抽出するものに限らず、認証が行われた時間帯に応じて候補者を抽出してもよい。この場合、利用者毎に警備装置10を利用することが多い時間帯を登録しておき、認証が行われた時間帯と登録された時間帯の情報とが一致する登録者を候補者として抽出する。
【0069】
次いで、認証手段23は、S208の処理で抽出された候補者に対応する登録顔画像に関連付けられた照度条件に応じて照明部18を制御し(S209)、S109の処理は終了する。認証手段23は、登録者情報テーブル131を参照して、S208の処理で抽出された候補者に対応する登録者IDに関連付けられた照度を照度センサ19が検知するように照明部18を制御する。認証手段23は、例えば記憶部13に記憶される照明部18の調光率と照度センサ19が検知する照度との関係を示すテーブルを参照して、登録者情報テーブル131に記憶される照度となるように照明部18の調光率を調整する。
【0070】
認証手段23は、認証が成功したと判定する(S207-YES)と、S206の処理で利用者を認証するときに使用された最も大きい認証スコアに関連付けて記憶される登録者を利用者として抽出する(S210)。
【0071】
次いで、認証手段23は、S210の処理で抽出された利用者のS205の処理で求められた認証スコアが、登録者情報テーブル131において利用者の登録顔画像に関連付けて記憶された認証スコアより大きいか否かを判定する(S211)。
【0072】
認証手段23によって利用者のS205の処理で求められた認証スコアが、登録者情報テーブル131において利用者の登録顔画像に関連付けて記憶された認証スコア以下であると判定された(S211-NO)場合、S109の処理は終了する。
【0073】
認証手段23は、S205の処理で求められた認証スコアが、記憶された認証スコアより大きいと判定した(S211-NO)場合、S202の処理で取得された照度、及びS205の処理で求められた認証スコアを記憶部13に記憶する(S212)。認証手段23は、S202の処理で取得された照度、及びS205の処理で求められた認証スコアを、S210の処理で抽出された利用者の登録顔画像に関連付けて登録者情報テーブル131に記憶する。認証手段23は、登録者情報テーブル131に記憶される照度及び認証スコアを上書きしてもよく、登録者情報テーブル131に記憶される照度及び認証スコアを上書きせずに、照度及び認証スコアを登録者情報テーブル131に追加してもよい。
【0074】
監視システム1は、認証基準を満たす登録者が存在しなかった場合、候補者に適した照度条件に応じて照明環境を制御するので、入力顔画像及び登録顔画像を撮像したときの照度の違いによる誤認証が生じるおそれを低くすることができる。
【0075】
また、監視システム1は、候補者に対応する登録顔画像に関連付けられた照度条件に応じて照明部を制御するので、簡単な構成及び制御により、候補者に適した照度条件となるように照明部を制御することができる。
【0076】
また、監視システム1は、求めた類似度パラメータが登録顔画像に関連付けられた類似度パラメータより大きい場合、利用者の顔を撮像したときの照度及び求めた類似度パラメータを登録顔画像に関連付けて記憶部13に記憶することで、照度条件を改善できる。
【0077】
図5(A)は、顔認証装置2の機能ブロック図である。顔認証装置2は、単一の利用者を登録者とした複数の登録顔画像を、照度条件及び認証スコアに関連付けて記憶する。
【0078】
顔認証装置2は、顔認証装置の他の例であり、通信部71、記憶部72、操作部73、表示部74、撮像部75、照明部76、照度センサ77及び処理部78を有する。顔認証装置2は、スマートフォン等の携帯端末であり、撮像部75が取得した入力顔画像と記憶部72に記憶される登録顔画像とを比較して、利用者を認証する認証処理を実行する。
【0079】
通信部71は、顔認証装置2を他の装置と通信可能にするため無線通信インタフェース回路を備える。通信部71が備える通信インタフェース回路は、LTE(Long Term Evolution)又は5G等の移動体通信インタフェース回路である。通信部71が備える無線通信インタフェース回路は、無線LAN(Local Area Network)等の通信インタフェース回路でもよい。通信部71は、処理部78から供給されたデータを他の装置に送信するとともに、他の装置から受信したデータを処理部78に供給する。
【0080】
記憶部72は、データ及びプログラムを記憶するための構成であり、例えば半導体メモリを備える。記憶部72は、処理部78による処理に用いられるオペレーティングシステムプログラム、ドライバプログラム、アプリケーションプログラム、データ等を記憶する。プログラムは、CD(Compact Disc)-ROM(Read Only Memory)、DVD(Digital Versatile Disc)-ROM等のコンピュータ読み取り可能かつ非一時的な可搬型記憶媒体から記憶部72にインストールされる。記憶部72は、データとして、利用者の認証に使用される認証基準を示す認証基準情報を記憶する。また、記憶部72は、登録顔画像情報テーブル721を記憶する。
【0081】
操作部73は、顔認証装置2に対する入力操作を受付けるためのデバイスであり、例えば、表示部74と一体化されたタッチパネルを備える。操作部73は、キーパッド又はタッチパッド等を備えてもよい。操作部73は、入力操作に応じた信号を生成して処理部78に供給する。
【0082】
表示部74は、画像を表示するためのデバイスであり、例えば、液晶ディスプレイ又は有機EL(Electro-Luminescence)ディスプレイを備える。表示部74は、処理部78から供給された表示データに基づいて画像を表示する。
【0083】
撮像部75は、顔認証装置2の周辺を撮像するための構成であり、カメラを備える。カメラは、受光面に結像させるための結像光学系と、受光面に二次元に配列され、入射した光量に応じた電気信号を出力するCCD(Charge Coupled Device)センサ等の光電変換素子と、光電変換素子の出力に基づいて画像を生成する画像生成回路とを備える。撮像部75は、生成された画像を入力顔画像として処理部78に供給する。なお、撮像部75は、外部接続のカメラから撮像画像を取得する手段として構成してもよい。
【0084】
照明部76は、利用者の顔を照射するための構成であり、LED発光装置等の発光装置を備える。照明部76は、処理部78から供給された信号に基づいて光を出射する。
【0085】
照度センサ77は、顔認証装置2の周辺の明るさを検知するための構成である。照度センサ77は、入射した光量に応じた電流を出力するフォトダイオード等の受光素子と、受光素子の出力に基づいた信号を生成する信号生成回路とを有する。照度センサ77は、撮像部75が利用者の顔を撮像するときに生成された信号を、利用者の顔を撮像するときの照度を示す信号として処理部78に供給する。
【0086】
処理部78は、顔認証装置2の動作を統括的に制御する構成であり、一つ又は複数のプロセッサ及びその周辺回路を備える。処理部78は、例えば、CPU(Central Processing Unit)を備える。処理部78は、DSP(Digital Signal Processor)、LSI(Large Scale Integration)、ASIC(Application Specific Integrated Circuit)、FPGA(Field Programmable Gate Array)等を備えてもよい。処理部78は、記憶部72に記憶されているプログラムに基づいて処理を実行する。また、処理部78は、処理が適切に実行されるように、顔認証装置2の各構成の動作を制御する。
【0087】
処理部78は、認証手段79を機能ブロックとして有する。認証手段79は、処理部78によって実行されるプログラムに基づいて実現される機能モジュールである。認証手段79は、顔認証装置2に実装されたファームウェアでもよい。
【0088】
図5(B)は、記憶部72に記憶され、登録顔画像に関する情報を管理する登録顔画像情報テーブル721のデータ構造を示す図である。
【0089】
画像IDは、登録顔画像を一意に識別する情報であり、例えば任意の文字列である。登録顔画像は、顔認証装置2に登録者として登録された利用者の顔の画像であり、画像IDのそれぞれに関連付けて記憶される。照度条件は、登録顔画像が撮像されたときの照度を示し、撮像部75によって登録顔画像が撮像されたときの照度を照度センサによって検知することで取得される。認証スコアは、利用者を認証する認証処理時に取得された入力顔画像と、登録顔画像情報テーブル721に登録される登録顔画像との間の類似度を示す類似度パラメータである。
【0090】
図6は、顔認証装置2によって実行される顔認証処理の流れを示すフロー図である。顔認証処理は、記憶部72に記憶されたプログラムに基づいて、処理部78が顔認証装置2の各構成と協働することにより実現される。
図6に示す顔認証処理では、認証手段79は、認証基準を満たす登録顔画像が存在しなかった場合、登録者の顔の画像である登録顔画像から抽出された候補顔に適した照度条件に応じて照明環境を制御する。
【0091】
まず、認証手段79は、撮像部75を介して入力顔画像を取得し(S301)、取得した入力顔画像を記憶部72に記憶する。認証手段79は、撮像部75を制御して利用者の顔を含む領域を撮像させ、入力顔画像を生成される。認証手段79は、撮像部75が生成した入力顔画像を取得する。
【0092】
次いで、認証手段79は、照度センサ77を介して利用者の顔を撮像するときの照度を取得し(S302)、取得した照度を照度条件として記憶部72に記憶する。認証手段79は、照度センサ77を制御して撮像部75が利用者の顔を撮像するときに照度を示す信号を生成させ、生成された信号を照度センサ77から取得する。
【0093】
次いで、認証手段79は、認証手段23によるS203の処理と同様に、撮像部75が取得した入力顔画像から人物の顔を検知したか否かを判定する(S303)。
【0094】
認証手段79は、人物の顔を検知したと判定する(S303-YES)と、撮像部75が取得した入力顔画像から顔領域として抽出する(S304)。認証手段79は、S303の処理で抽出した人物の顔らしいと考えられる変化領域を顔領域として抽出する。
【0095】
次いで、認証手段79は、認証手段23によるS205の処理と同様に、S304の処理で抽出した顔領域から、認証スコアを求める(S305)。認証手段79は、求めた認証スコアを登録顔画像情報テーブル721に記憶される登録者の登録者IDに関連付けて記憶する。
【0096】
次いで、認証手段79は、記憶部72に記憶される認証基準情報に対応する認証基準を使用して、利用者を認証する(S306)。認証手段79は、S305の処理で求められた認証スコアの中で最も大きい認証スコアが、記憶部72に記憶される認証基準情報に対応する認証基準以上である場合、利用者を認証する。認証手段79は、S305の処理で求められた認証スコアの中で最も大きい認証スコアが、記憶部72に記憶される認証基準情報に対応する認証基準未満である場合、利用者を認証しない。
【0097】
認証手段79は、認証が失敗したと判定する(S307-NO)と、S305の処理で求めた認証スコアに基づいて登録顔画像情報テーブル721に登録される登録顔画像の中から候補顔画像を抽出する(S308)。認証手段79は、S305の処理で求められた認証スコアの中で、最も大きい認証スコアに関連付けられて記憶される画像IDに関連付けて記憶される登録顔画像を候補顔画像として抽出する。
【0098】
次いで、認証手段79は、S308の処理で抽出された候補顔画像に関連付けられた照度条件に応じて照明部76を制御する(S309)。認証手段79は、登録顔画像情報テーブル721を参照して、S308の処理で抽出された候補顔画像に対応する画像IDに関連付けられた照度を照度センサ19が検知するように照明部76を制御する。認証手段79は、例えば記憶部72に記憶される照明部76の調光率と照度センサ77が検知する照度との関係を示すテーブルを参照して、登録顔画像情報テーブル721に記憶される照度となるように照明部76の調光率を調整する。次いで、処理はS301に戻る。利用者の顔を検知し(S303-YES)且つ利用者の認証が失敗した(S307-NO)場合、S301~S309の処理が繰り返される。なお、候補顔画像に関連付けられた照度条件に応じて照明部76を制御する処理(S309)が行われた後に利用者の認証が失敗したと判定された(S307-NO)場合は、S308およびS309の処理を省略して、顔認証処理を終了してもよい。
【0099】
認証手段79は、認証が成功したと判定する(S307-YES)と、S306の処理で利用者を認証するときに使用された最も大きい認証スコアに関連付けて記憶される登録顔画像を使用顔画像として抽出する(S310)。
【0100】
次いで、認証手段79は、S310の処理で抽出された使用顔画像のS305の処理で求められた認証スコアが、登録顔画像情報テーブル721において使用顔画像に関連付けて記憶された認証スコアより大きいか否かを判定する(S311)。
【0101】
認証手段79によって使用顔画像のS305の処理で求められた認証スコアが、登録顔画像情報テーブル721において使用顔画像に関連付けて記憶された認証スコア以下であると判定された(S311-NO)場合、顔認証処理は終了する。
【0102】
認証手段79は、S305の処理で求められた認証スコアが、記憶された認証スコアより大きいと判定した(S311-NO)場合、S302の処理で取得された照度、及びS305の処理で求められた認証スコアを記憶部72に記憶する(S312)。認証手段79は、S302の処理で取得された照度、及びS305の処理で求められた認証スコアを、S310の処理で抽出された利用者の登録顔画像に関連付けて登録顔画像情報テーブル721に記憶する。認証手段79は、登録顔画像情報テーブル721に記憶される照度及び認証スコアを上書きしてもよく、登録顔画像情報テーブル721に記憶される照度及び認証スコアを上書きせずに、照度及び認証スコアを登録顔画像情報テーブル721に追加してもよい。
【0103】
顔認証装置2は、認証基準を満たす登録顔画像が存在しなかった場合、候補顔画像に適した照度条件に応じて照明環境を制御するので、入力顔画像及び登録顔画像を撮像したときの照度の違いによる誤認証が生じるおそれを低くすることができる。
【0104】
監視システム1及び顔認証装置2では、照度条件は、登録顔画像が撮像されたときの照度を示すが、実施形態に係る顔認証装置では、照度条件は、登録者又は登録顔画像に適した照度条件であればよい。
【0105】
監視システム1及び顔認証装置2では、求めた認証スコアが、登録者情報テーブル記憶された認証スコアより大きいときに、認証スコアを記憶するが、実施形態に係る顔認証装置では、認証スコアを記憶する処理は省略されてもよい。
【0106】
また、監視システム1及び顔認証装置2は、複数の登録顔画像を照度条件に関連付けて記憶するが、実施形態に係る顔認証装置は、単一の登録顔画像を照度条件に関連付けて記憶しててもよい。
【0107】
本実施形態では、照明部18を制御して照明環境を制御するものについて説明したが、これに限らず照明環境が改善できるものであればよい。例えば、ブラインドの制御により照明環境を制御してもよい。この場合、スラットの角度を制御して採光量を調節することで、照度条件に応じた照明環境となるように制御することができる。
【0108】
当業者は、本発明の精神及び範囲から外れることなく、様々な変更、置換及び修正をこれに加えることが可能であることを理解されたい。例えば、上述した実施形態及び変形例は、本発明の範囲において、適宜に組み合わせて実施されてもよい。
【符号の説明】
【0109】
1 監視システム
2 顔認証装置
10 警備装置(顔認証装置)
13 記憶部
15 撮像部
18 照明部
19 照度センサ
23 認証手段
24 受付手段
25 判定手段