(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-19
(45)【発行日】2023-06-27
(54)【発明の名称】監視システム及び監視方法
(51)【国際特許分類】
H04N 23/74 20230101AFI20230620BHJP
G06V 40/16 20220101ALI20230620BHJP
H04N 23/611 20230101ALI20230620BHJP
【FI】
H04N23/74
G06V40/16 A
H04N23/611
(21)【出願番号】P 2019219049
(22)【出願日】2019-12-03
【審査請求日】2022-08-09
(73)【特許権者】
【識別番号】000005223
【氏名又は名称】富士通株式会社
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(72)【発明者】
【氏名】前田 智司
(72)【発明者】
【氏名】安孫子 幸弘
(72)【発明者】
【氏名】▲浜▼ 壮一
【審査官】▲徳▼田 賢二
(56)【参考文献】
【文献】特開2010-178112(JP,A)
【文献】特開2018-191293(JP,A)
【文献】特開2015-170320(JP,A)
【文献】特開2019-057797(JP,A)
【文献】特開2009-182445(JP,A)
【文献】特開2015-34850(JP,A)
【文献】特開2014-137482(JP,A)
【文献】米国特許出願公開第2016/0373728(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 23/74
H04N 23/611
G06V 40/16
(57)【特許請求の範囲】
【請求項1】
撮像部の撮影範囲に照射する発光素子の数に応じて、複数のブロックに分割された、該撮像部の撮影画像から、被写体の顔領域を検出する検出部と、
前記複数のブロックのうち、前記顔領域が含まれるブロックに対応する発光素子の発光強度を、前記顔領域の位置または前記顔領域のサイズに応じて制御する制御部と
を有する監視システム。
【請求項2】
前記顔領域の位置が属するブロックを判定する判定部を更に有し、
前記制御部は、前記顔領域の位置が属するブロックごとに予め発光強度が対応付けられたテーブルを参照することで、前記顔領域が含まれるブロックに対応する発光素子の発光強度を制御する、請求項1に記載の監視システム。
【請求項3】
前記顔領域のサイズを算出する算出部を更に有し、
前記制御部は、前記顔領域のサイズごとに予め発光強度が対応付けられたテーブルを参照することで、前記顔領域が含まれるブロックに対応する発光素子の発光強度を制御する、請求項1に記載の監視システム。
【請求項4】
前記撮像部の撮影画像の画質を所定周期ごとに評価し、評価結果に基づいて、前記検出部が被写体の顔領域を検出できるように、前記発光素子の発光強度を調整する、請求項1に記載の監視システム。
【請求項5】
発光素子と、該発光素子から出射された光を矩形のスポット光に変換する回折光学素子との組を複数有し、該複数の組それぞれのスポット光を、各ブロックに対応する撮影範囲に照射する、請求項1乃至4のいずれか1項に記載の監視システム。
【請求項6】
撮像部の撮影範囲に照射する発光素子の数に応じて、複数のブロックに分割された、該撮像部の撮影画像から、被写体の顔領域を検出し、
前記複数のブロックのうち、前記顔領域が含まれるブロックに対応する発光素子の発光強度を、前記顔領域の位置または前記顔領域のサイズに応じて制御する、
処理をコンピュータが実行する監視方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視システム及び監視方法に関する。
【背景技術】
【0002】
従来より、生体画像に基づく生体認証技術の一例として、屋外や建屋入口に設置される監視カメラを利用した顔認証技術が知られている。当該顔認証技術では、逆光や斜光等の影響を抑えるために、例えば、監視カメラに照明装置を取り付け、撮影する生体画像の画質の向上を図っている。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、照明光の明るさは、距離の2乗に反比例して減少するため、遠くにいる被写体の顔は暗く写る一方で、近くにいる被写体の顔は明るく写る(つまり、適切な明るさで写すことが可能な撮影距離は限られている)。
【0005】
一つの側面では、被写体の顔を一定の明るさで写すことを目的としている。
【課題を解決するための手段】
【0006】
一態様によれば、監視システムは、
撮像部の撮影範囲に照射する発光素子の数に応じて、複数のブロックに分割された、該撮像部の撮影画像から、被写体の顔領域を検出する検出部と、
前記複数のブロックのうち、前記顔領域が含まれるブロックに対応する発光素子の発光強度を、前記顔領域の位置または前記顔領域のサイズに応じて制御する制御部とを有する。
【発明の効果】
【0007】
被写体の顔を一定の明るさで写すことが可能となる。
【図面の簡単な説明】
【0008】
【
図1】監視システムのシステム構成の一例を示す図である。
【
図4】制御装置のハードウェア構成の一例を示す図である。
【
図5】制御装置の機能構成の一例を示す第1の図である。
【
図6】監視システムの動作例を示す第1の図である。
【
図7】制御装置による制御処理の流れを示す第1のフローチャートである。
【
図8】制御装置の機能構成の一例を示す第2の図である。
【
図9】監視システムの動作例を示す第2の図である。
【
図10】制御装置による制御処理の流れを示す第2のフローチャートである。
【
図11】制御装置の機能構成の一例を示す第3の図である。
【
図12】制御装置による制御処理の流れを示す第3のフローチャートである。
【
図13】制御装置の機能構成の一例を示す第4の図である。
【
図14】監視システムの動作例を示す第3の図である。
【
図15】制御装置による制御処理の流れを示す第4のフローチャートである。
【発明を実施するための形態】
【0009】
以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。
【0010】
[第1の実施形態]
<監視システムのシステム構成>
はじめに、監視システムのシステム構成について説明する。
図1は、監視システムのシステム構成の一例を示す図である。
図1に示すように、監視システム100は、監視装置110、制御装置120、認証装置130を有する。
【0011】
監視装置110は、いわゆるスポット照明付きの監視カメラである。具体的には、監視装置110は、撮像部111を有する。また、監視装置110は、発光素子の一例であるLED(Light Emitting Diode)と回折光学素子との組を複数有する。
図1の例は、監視装置110が、LEDと回折光学素子との組を12組有する場合を示している(組112_1~112_12参照)。
【0012】
撮像部111は、不図示の被写体を撮影し、撮影画像を制御装置120に送信する。LEDと回折光学素子との組112_1~112_12は、制御装置120からの指示に基づいて、それぞれが独立して動作し、撮像部111の撮影範囲にスポット照明を照射する。LEDと回折光学素子との組112_1~112_12それぞれの発光強度は、制御装置120からの指示に基づいて制御される。
【0013】
制御装置120には、制御プログラムがインストールされており、当該制御プログラムが実行されることで、制御装置120は、画像処理部121及び照明制御部122として機能する。
【0014】
画像処理部121は、撮像部111から受信した撮影画像から、被写体の顔領域を検出する。また、画像処理部121は、検出結果に基づいて、LEDと回折光学素子との組112_1~112_12それぞれの発光強度を決定し、照明制御部122に通知する。
【0015】
また、画像処理部121は、決定した発光強度を照明制御部122に送信したことに応じて、撮像部111から受信した撮影画像を、認証用の撮影画像として、認証装置130に送信する。
【0016】
照明制御部122は、撮像部111から受信した撮影画像の画質を所定周期で評価し、被写体の顔領域を検出するのに必要な、LEDと回折光学素子との組112_1~112_12それぞれの発光強度を算出する。また、照明制御部122は、算出したそれぞれの発光強度で、LEDと回折光学素子との組112_1~112_12それぞれが発光するよう制御する。
【0017】
また、照明制御部122は、認証用の撮影画像を撮影するために、画像処理部121から発光強度が通知された場合に、対応するLEDと回折光学素子との組(組112_1~112_12のいずれか)が、通知された発光強度で発光するよう制御する。
【0018】
認証装置130は、制御装置120から送信された、認証用の撮影画像に基づいて、被写体の顔領域の生体情報を算出し、予め登録された顔領域の生体情報と照合することで、顔認証を行う。
【0019】
<監視装置の構成>
次に、監視装置110の構成について説明する。
図2は、監視装置の構成を説明するための図である。このうち、
図2(a)は、監視装置110の外観構成を示している。
図2(a)に示すように、監視装置110は、取り付け治具250を備え、屋外や建屋入口の高所に取り付けられる。
【0020】
図2(b)は、監視装置110を正面から見た場合の、撮像部111周辺の機器配置を示している。
図2(b)に示すように、監視装置110の場合、正面から見て撮像部111の上側には、
・LED201_1と回折光学素子202_1との組112_1、
・LED201_2と回折光学素子202_2との組112_2、
・LED201_3と回折光学素子202_3との組112_3、
が横方向に左から配置されている。
【0021】
また、紙面の都合から、
図2(b)においては符号を省略しているが、監視装置110の場合、正面から見て撮像部111の右側には、
・LED201_4と回折光学素子202_4との組112_4、
・LED201_5と回折光学素子202_5との組112_5、
・LED201_6と回折光学素子202_6との組112_6、
が縦方向に上から配置されている。
【0022】
同様に、監視装置110の場合、正面から見て撮像部111の下側には、
・LED201_7と回折光学素子202_7との組112_7、
・LED201_8と回折光学素子202_8との組112_8、
・LED201_9と回折光学素子202_9との組112_9、
が横方向に右から配置されている。
【0023】
同様に、監視装置110の場合、正面から見て撮像部111の左側には、
・LED201_10と回折光学素子202_10との組112_10、
・LED201_11と回折光学素子202_11との組112_11、
・LED201_12と回折光学素子202_12との組112_12、
が縦方向に下から配置されている。
【0024】
図2(c)は、LED201_1と回折光学素子202_1との組112_1からLED201_3と回折光学素子202_3との組112_3までの各組の配置を、監視装置110の上方から見た様子を示している。
図2(c)に示すように、回折光学素子202_1~202_3は、回折光学素子配置基板210上に配される。また、LED201_1~201_3は、LED実装基板211上であって、回折光学素子202_1~202_3が配された位置に対応する位置に配される。
【0025】
これにより、LED201_1が発光することで出射された光は、回折光学素子202_1を介して、矩形のスポット光に変換され、矩形のスポット照明として、撮像部111の撮影範囲に照射される。同様に、LED201_2が発光することで出射された光は、回折光学素子202_2を介して、矩形のスポット光に変換され、矩形のスポット照明として、撮像部111の撮影範囲に照射される。同様に、LED201_3が発光することで出射された光は、回折光学素子202_3を介して、矩形のスポット光に変換され、矩形のスポット照明として、撮像部111の撮影範囲に照射される。
【0026】
なお、組112_4から組112_12までの各組についても
図2(c)と同様に配置されており、それぞれのLED及び回折光学素子が回折光学素子配置基板220、230、240と、LED実装基板221、231、241とに配されているものとする。
【0027】
<回折光学素子の構成例>
次に、回折光学素子(ここでは、回折光学素子202_1)の構成について説明する。
図3は、回折光学素子の構成例を示す図である。
図3(a)に示すように、回折光学素子202_1は、直線状の回折格子(Cell)を同一平面内に2次元に配置することで形成される。
図3(a)の例は、0.02mm×0.02mmの回折格子(Cell)が縦方向に50個、横方向に50個(計250個)配置された場合を示している。
【0028】
それぞれの回折格子は、LED201_1から出射された光が透過する際に、複数のドット光を生成する。なお、それぞれの回折格子は、ピッチ、回転角度が異なっており、生成したドット光は、撮像部111の撮影範囲において合成される。これにより、LED201_1と回折光学素子202_1との組112_1は、撮像部111の撮影範囲に均一な矩形のスポット照明を照射することができる。
【0029】
なお、
図3(b)は、LEDと回折光学素子との組それぞれが、矩形のスポット照明を照射する撮像部111の撮影範囲と、撮像部111の撮影画像との対応関係を示した図である。
図3(b)に示すように、撮像部111の撮影画像300は、LEDと回折光学素子との組の数に応じて、複数のブロックに分割され、それぞれのブロックに対応する撮影範囲に、対応するLEDと回折光学素子との組が矩形のスポット照明を照射する。
【0030】
上述したように、撮像部111の周囲には、LEDと回折光学素子との組が12個配置されているため、撮像部111の撮影画像300は、12個のブロックに分割される。
図3(b)では、それぞれのブロックに番号を付しており、引き出し線により、対応するLEDと回折光学素子との組を示している。
【0031】
例えば、ブロック番号="1"のブロックに対応する撮影範囲には、LEDと回折光学素子との組112_1が矩形のスポット照明を照射する。
【0032】
<制御装置のハードウェア構成>
次に、制御装置120のハードウェア構成について説明する。
図4は、制御装置のハードウェア構成の一例を示す図である。
【0033】
図4に示すように、制御装置120は、CPU(Central Processing Unit)401、ROM(Read Only Memory)402、RAM(Random Access Memory)403を有する。CPU401、ROM402、RAM403は、いわゆるコンピュータを形成する。また、制御装置120は、I/F(Interface)装置404、照明用制御装置405、通信装置406を有する。なお、制御装置120の各部は、バス407を介して相互に接続されている。
【0034】
CPU401は、ROM402にインストールされている各種プログラム(例えば、制御プログラム等)を実行する演算デバイスである。ROM402は、不揮発性メモリであり、CPU401によって実行される各種プログラム及びCPU401が各種プログラムを実行する際に用いる情報を格納する、主記憶デバイスとして機能する。
【0035】
RAM403は、DRAM(Dynamic Random Access Memory)やSRAM(Static Random Access Memory)等の揮発性メモリである。RAM403は、ROM402にインストールされている各種プログラムがCPU401によって実行される際に展開される作業領域を提供する、主記憶デバイスとして機能する。
【0036】
I/F装置404は、監視装置110の撮像部111と接続するための接続デバイスである。照明用制御装置405は、監視装置110のLED実装基板211、221、231、241を制御するための制御デバイスである。通信装置406は、認証装置130と通信するための通信デバイスである。
【0037】
<制御装置の機能構成>
次に、制御装置120の機能構成について説明する。
図5は、制御装置の機能構成の一例を示す第1の図である。
図5に示すように、画像処理部121は、画像取得部501、顔検出部502、顔位置検出部503、発光強度制御部504を有する。
【0038】
画像取得部501は、監視装置110の撮像部111から送信された撮影画像を取得し、顔検出部502に通知する。また、画像取得部501は、監視装置110の撮像部111から送信された撮影画像を、認証用の撮影画像として、認証装置130に送信する。
【0039】
顔検出部502は検出部の一例であり、画像取得部501から通知された撮影画像を処理し、被写体の顔領域を検出する。また、顔検出部502は、検出した顔領域を、顔位置検出部503に通知する。更に、顔検出部502は、検出した顔領域が含まれるブロックを判定し、発光強度出力部507に通知する。
【0040】
顔位置検出部503は判定部の一例であり、顔検出部502より通知された被写体の顔領域の位置(予め定められた顔領域内の位置。例えば、顔領域の中心位置や、特定の部位(目、鼻)の位置等)を検出し、検出した顔領域の位置が属するブロックを判定する。また、顔位置検出部503は、顔領域の位置が属するブロックを発光強度制御部504に通知する。
【0041】
発光強度制御部504は制御部の一例であり、顔位置検出部503より通知されたブロックに基づいて、該ブロックに対応する撮影範囲にスポット照明を照射するLEDと回折光学素子との組の発光強度を決定する。
【0042】
なお、
図5のテーブル510に示すように、被写体の顔領域の位置が属するブロックと、発光強度との対応関係は、予め規定されているものとする。被写体までの撮影距離は、当該被写体の顔領域が撮影画像のいずれのブロックに写っているかによって概ね推定でき、推定した撮影距離に応じて発光強度を規定することができるからである。
【0043】
図5のテーブル510の例は、撮影画像の各ブロックを4つのグループに分け、それぞれのグループに、異なる発光強度が対応付けられていることを示している。
【0044】
また、
図5に示すように、照明制御部122は、画質評価部505、調整部506、発光強度出力部507を有する。
【0045】
画質評価部505は、監視装置110の撮像部111から送信された撮影画像を取得し、取得した撮影画像の品質を評価する。具体的には、画質評価部505では、取得した撮影画像を複数のブロックに分割し、それぞれのブロックについて、顔領域を検出できる程度の画質を有しているか否かを評価する。また、画質評価部505は、各ブロックについての評価結果を、調整部506に通知する。
【0046】
調整部506は、画質評価部505から通知された、各ブロックについての評価結果に応じて、各ブロックに対応する撮影範囲にスポット照明を照射するLEDと回折光学素子との組の発光強度を調整する。また、調整部506は、調整後の発光強度を発光強度出力部507に通知する。これにより、撮像部111では、顔領域が検出できる程度の画質の撮影画像を撮影することが可能になる。
【0047】
なお、画質評価部505及び調整部506は、所定周期ごとに(例えば、周辺環境が変化するごとに)動作することで、撮像部111では、周辺環境が変化した場合でも、顔領域が検出できる程度の画質の撮影画像を撮影することが可能になる。
【0048】
発光強度出力部507は、調整部506から、各ブロックに対応する発光強度が通知されると、通知された発光強度を、LED実装基板211、221、231、241に送信する。これにより、各ブロックに対応する撮影範囲にスポット照明を照射するLEDと回折光学素子との組それぞれを、通知された発光強度で発光させることができる。
【0049】
また、発光強度出力部507は、発光強度制御部504から、発光強度が通知されると、通知された発光強度を、LED実装基板211、221、231、241のいずれかに送信する。これにより、顔検出部502から通知されたブロックに対応する撮影範囲にスポット照明を照射するLEDと回折光学素子との組を、通知された発光強度で発光させることができる。
【0050】
この結果、撮像部111では、被写体までの撮影距離に応じた発光強度でスポット照明が照射された顔領域が写る撮影画像を撮影することが可能になる。
【0051】
<監視システムの動作例>
次に、監視システム100の動作例について説明する。
図6は、監視システムの動作例を示す第1の図である。このうち、
図6(a)は、被写体610が監視装置110の方に向かって近づいてきている様子を示している。
【0052】
また、
図6(b)は、
図6(a)に示す被写体610のそれぞれの位置(位置621、622、623)において、監視装置110が撮影した撮影画像631、632、633を示している。なお、撮影画像631、632、633を撮影するにあたり、調整部506による発光強度の調整は完了しており、撮影画像631、632、633は、被写体610の顔領域が検出できる程度の画質を有しているものとする。
【0053】
撮影画像631の場合、顔検出部502では、被写体610の顔領域が含まれるブロックのブロック番号が"2"であると判定する。また、顔位置検出部503では、検出された被写体610の顔領域の位置が属するブロックのブロック番号が"2"であると判定する。
【0054】
これにより、発光強度制御部504では、発光強度を、"I4"に決定する。そして、発光強度出力部507では、LED201_2と回折光学素子202_2との組112_2が、発光強度"I4"で発光するよう制御する。
【0055】
同様に、撮影画像632の場合、顔検出部502では、被写体610の顔領域が含まれるブロックのブロック番号が"5"であると判定する。また、顔位置検出部503では、検出された被写体610の顔領域の位置が属するブロックのブロック番号が"5"であると判定する。
【0056】
これにより、発光強度制御部504では、発光強度を、"I3"に決定する。そして、発光強度出力部507では、LED201_12と回折光学素子202_12との組112_12が、発光強度"I3"で発光するよう制御する。
【0057】
同様に、撮影画像633の場合、顔検出部502では、被写体610の顔領域が含まれるブロックのブロック番号が"8、11"であると判定する。また、顔位置検出部503では、検出された被写体610の顔領域の位置が属するブロックのブロック番号が"11"であると判定する。
【0058】
これにより、発光強度制御部504では、発光強度を、"I1"に決定する。そして、発光強度出力部507では、LED201_6と回折光学素子202_6との組112_6と、LED201_8と回折光学素子202_8との組112_8とが、発光強度"I1"で発光するよう制御する。
【0059】
<制御処理の流れ>
次に、制御装置120による制御処理の流れについて説明する。
図7は、制御装置による制御処理の流れを示す第1のフローチャートである。ステップS701において、画像取得部501は、監視装置110の撮像部111より撮影画像を取得する。
【0060】
ステップS702において、画質評価部505は、取得された撮影画像の各ブロックの画質が、被写体の顔領域を検出できる程度の画質を有しているか否か(所定レベル以上であるか否か)を判定する。
【0061】
ステップS702において、撮影画像のいずれかのブロックの画質が所定レベル未満であると判定された場合には(ステップS702においてNoの場合には)、ステップS703に進む。
【0062】
ステップS703において、調整部506は、画質が所定レベル未満であると判定されたブロックに対応する、LEDと回折光学素子との組の発光強度を調整し、ステップS701に戻る。
【0063】
一方、ステップS702において、取得された撮影画像の各ブロックの画質が所定レベル以上であると判定された場合には(ステップS702においてYesの場合には)、ステップS704に進む。なお、ステップS702及びS703の処理は、所定周期ごとに実行されるものとする。
【0064】
ステップS704において、顔検出部502は、取得された撮影画像を処理し、被写体の顔領域を検出する。
【0065】
ステップS705において、顔位置検出部503は、検出された被写体の顔領域の位置が属するブロックを判定する。
【0066】
ステップS706において、発光強度制御部504は、被写体の顔領域の位置が属するブロックに基づいて発光強度を決定する。
【0067】
ステップS707において、顔検出部502は、検出した顔領域が含まれるブロックを判定する。これにより、発光強度制御部504では、決定された発光強度で発光するよう制御する、LEDと回折光学素子との組を選定する。
【0068】
ステップS708において、発光強度出力部507は、選定したLEDと回折光学素子との組が、決定された発光強度で発光するよう、LED実装基板に、決定された発光強度を送信する。
【0069】
ステップS709において、画像取得部501は、監視装置110の撮像部111より撮影画像を取得し、認証用の撮影画像として認証装置130に送信する。
【0070】
以上の説明から明らかなように、第1の実施形態に係る監視システムは、撮像部の撮影範囲に照射するLEDの数に応じて、複数のブロックに分割された、撮像部の撮影画像から、被写体の顔領域を検出する。また、第1の実施形態に係る監視システムは、複数のブロックのうち、被写体の顔領域が含まれるブロックに対応するLEDが、被写体の顔領域の位置が属するブロックに応じて予め定められた発光強度で発光するよう制御する。
【0071】
このように、被写体の顔領域の位置が属するブロックと被写体までの撮影距離との関係を利用して発光強度を制御することで、第1の実施形態に係る監視システムによれば、被写体までの撮影距離によらず、被写体の顔を一定の明るさで写すことが可能になる。
【0072】
また、第1の実施形態に係る監視システムは、顔領域が検出できる程度の画質の撮影画像が撮影されるように、所定周期ごとに発光強度を調整する。
【0073】
これにより、第1の実施形態に係る監視システムによれば、周辺環境が変化した場合でも、顔領域を検出することができ、被写体の顔を一定の明るさで写すことが可能になる。
【0074】
[第2の実施形態]
上記第1の実施形態では、被写体の顔領域の位置が属するブロックに基づいて発光強度を決定する場合について説明した。しかしながら、発光強度の決定方法はこれに限定されず、被写体の顔領域のサイズに応じて発光強度を決定してもよい。以下、第2の実施形態について、上記第1の実施形態との相違点を中心に説明する。
【0075】
<制御装置の機能構成>
はじめに、第2の実施形態に係る制御装置120の機能構成について説明する。
図8は、制御装置の機能構成の一例を示す第2の図である。
図5との相違点は、顔サイズ算出部801と発光強度制御部802である。
【0076】
顔サイズ算出部801は算出部の一例であり、顔検出部502より通知された被写体の顔領域のサイズを算出する。また、顔サイズ算出部801は、算出した顔領域のサイズを発光強度制御部802に通知する。
【0077】
発光強度制御部802は制御部の一例であり、顔サイズ算出部801より通知された顔領域のサイズに基づいて、発光強度を決定する。なお、
図8のテーブル810に示すように、被写体の顔領域のサイズと、発光強度との対応関係は、予め規定されているものとする。被写体までの撮影距離は、当該被写体の顔領域のサイズによって概ね推定でき、推定した撮影距離に応じて発光強度を規定することができるからである。
【0078】
図8のテーブル810の例は、顔領域のサイズを5つのグループに分け、それぞれのグループに、異なる発光強度が対応付けられていることを示している。ただし、テーブル810に代えて、顔領域のサイズと発光強度との対応関係を、所定の関数により規定してもよい。
【0079】
<監視システムの動作例>
次に、監視システム100の動作例について説明する。
図9は、監視システムの動作例を示す第2の図である。このうち、
図9(a)は、被写体610が監視装置110の方に向かって近づいてきている様子を示している。
【0080】
また、
図9(b)は、
図9(a)に示す被写体610のそれぞれの位置(位置621、901、623)において、監視装置110が撮影した撮影画像631、902、633を示している。なお、撮影画像631、902、633を撮影するにあたり、調整部506による発光強度の調整は完了しており、撮影画像631、902、633は、被写体610の顔領域が検出できる程度の画質を有しているものとする。
【0081】
撮影画像631の場合、顔検出部502では、被写体610の顔領域が含まれるブロックのブロック番号が"2"であると判定する。また、顔サイズ算出部801では、被写体610の顔領域のサイズが"SS"であると判定する。
【0082】
これにより、発光強度制御部802では、発光強度を、"I5"に決定する。そして、発光強度出力部507では、LED201_2と回折光学素子202_2との組112_2が、発光強度"I5"で発光するよう制御する。
【0083】
同様に、撮影画像902の場合、顔検出部502では、被写体610の顔領域が含まれるブロックのブロック番号が"2"であると判定する。また、顔サイズ算出部801では、被写体610の顔領域のサイズが"S"であると判定する。
【0084】
これにより、発光強度制御部802では、発光強度を、"I4"に決定する。そして、発光強度出力部507では、LED201_2と回折光学素子202_2との組112_2が、発光強度"I4"で発光するよう制御する。
【0085】
同様に、撮影画像633の場合、顔検出部502では、被写体610の顔領域が含まれるブロックのブロック番号が"8、11"であると判定する。顔サイズ算出部801では、被写体610の顔領域のサイズが"L"であると判定する。
【0086】
これにより、発光強度制御部802では、発光強度を、"I2"に決定する。そして、発光強度出力部507では、LED201_6と回折光学素子202_6との組112_6と、LED201_8と回折光学素子202_8との組112_8とが、発光強度"I2"で発光するよう制御する。
【0087】
<制御処理の流れ>
次に、第2の実施形態に係る制御装置120による制御処理の流れについて説明する。
図10は、制御装置による制御処理の流れを示す第2のフローチャートである。
図7に示す第1のフローチャートとの相違点は、ステップS1001、S1002である。
【0088】
ステップS1001において、顔サイズ算出部801は、顔検出部502より通知された被写体の顔領域のサイズを算出する。
【0089】
ステップS1002において、発光強度制御部802は、顔サイズ算出部801により算出された顔領域のサイズに基づいて、発光強度を決定する。
【0090】
以上の説明から明らかなように、第2の実施形態に係る監視システムは、撮像部の撮影範囲に照射するLEDの数に応じて、複数のブロックに分割された、撮像部の撮影画像から、被写体の顔領域を検出する。また、第2の実施形態に係る監視システムは、複数のブロックのうち、被写体の顔領域が含まれるブロックに対応するLEDが、被写体の顔領域のサイズに応じて予め定められた発光強度で発光するよう制御する。
【0091】
このように、被写体の顔領域のサイズと被写体までの撮影距離との関係を利用して発光強度を制御することで、第2の実施形態に係る監視システムによれば、被写体までの撮影距離によらず、被写体の顔を一定の明るさで写すことが可能になる。
【0092】
[第3の実施形態]
上記第1の実施形態では、被写体の顔領域の位置が属するブロックに基づいて発光強度を決定する場合について説明した。しかしながら、発光強度の決定方法はこれに限定されず、被写体の顔領域が含まれるブロックの画質に応じて、発光強度を決定してもよい。以下、第3の実施形態について、上記第1の実施形態との相違点を中心に説明する。
【0093】
<制御装置の機能構成>
はじめに、第3の実施形態に係る制御装置120の機能構成について説明する。
図11は、制御装置の機能構成の一例を示す第3の図である。
図5との相違点は、ブロック画質評価部1101と発光強度制御部1102である。
【0094】
ブロック画質評価部1101は評価部の一例であり、顔検出部502より通知された被写体の顔領域が含まれるブロックについて、画質を評価する。具体的には、ブロック画質評価部1101は、被写体の顔領域が含まれるブロックについて、認証装置130が顔認証処理を実行できる程度の画質を有しているか否かを評価する。また、ブロック画質評価部1101は、評価結果を、発光強度制御部1102に通知する。
【0095】
発光強度制御部1102は制御部の一例であり、ブロック画質評価部1101より通知された評価結果に基づいて、発光強度を決定する。具体的には、発光強度制御部1102では、認証装置130が顔認証処理を実行できる程度の画質が得られるように、対応する撮影範囲にスポット照明を照射するLEDと回折光学素子との組の発光強度を決定する。
【0096】
<制御処理の流れ>
次に、第3の実施形態に係る制御装置120による制御処理の流れについて説明する。
図12は、制御装置による制御処理の流れを示す第3のフローチャートである。
図7に示す第1のフローチャートとの相違点は、ステップS1201~S1205である。
【0097】
ステップS1201において、ブロック画質評価部1101は、顔検出部502より通知された被写体の顔領域が含まれるブロックの画質を評価する。
【0098】
ステップS1202において、ブロック画質評価部1101は、顔領域が含まれる各ブロックが、顔認証処理を実行できる程度の画質を有しているか否か(顔認証可能なレベルか否か)を判定する。ステップS1202において、顔認証可能なレベルにないと判定した場合には(ステップS1202においてNoの場合には)、ステップS1203に進む。
【0099】
ステップS1203において、発光強度制御部1102では、評価結果に基づいて発光強度を決定する。
【0100】
ステップS1204において、発光強度出力部507は、顔領域が含まれる各ブロックに対応する撮影範囲にスポット照明を照射するLEDと回折光学素子との組が、決定された発光強度で発光するよう、LED実装基板に、決定された発光強度を送信する。
【0101】
ステップS1205において、画像取得部501は、監視装置110より撮影画像を取得し、ステップS704に戻る。
【0102】
一方、ステップS1202において、顔認証可能なレベルにあると判定した場合には(ステップS1202においてYesの場合には)、ステップS709に進む。
【0103】
ステップS709において、画像取得部501は、監視装置110の撮像部111より撮影画像を取得し、認証用の撮影画像として認証装置130に送信する。
【0104】
以上の説明から明らかなように、第3の実施形態に係る監視システムは、撮像部の撮影範囲に照射するLEDの数に応じて、複数のブロックに分割された、撮像部の撮影画像から、被写体の顔領域を検出する。また、第3の実施形態に係る監視システムは、複数のブロックのうち、被写体の顔領域が含まれるブロックに対応するLEDが、被写体の顔領域が含まれるブロックについての画質の評価結果に応じた発光強度で発光するよう制御する。
【0105】
このように、被写体の顔領域が写っているブロックの画質の評価結果を利用して発光強度を制御することで、第3の実施形態に係る監視システムによれば、被写体までの撮影距離や周辺環境によらず、被写体の顔を一定の明るさで写すことが可能になる。
【0106】
[第4の実施形態]
上記第1の実施形態では、撮像部111から送信される撮影画像に写る被写体が一人である場合について説明した。しかしながら、撮像部111から送信される撮影画像に写る被写体の数は、一人に限定されない。第4の実施形態では、撮像部111から送信される撮影画像に写る被写体の数が、複数の場合について説明する。なお、説明は第1の実施形態との相違点を中心に行う。
【0107】
<制御装置の機能構成>
はじめに、第4の実施形態に係る制御装置120の機能構成について説明する。
図13は、制御装置の機能構成の一例を示す第4の図である。
図5との相違点は、顔領域数検出部1301を有する点である。
【0108】
顔領域数検出部1301は、顔検出部502より通知された被写体の顔領域の数をカウントし、顔領域とともに顔位置検出部503に通知する。これにより、顔位置検出部503では、通知された数の被写体の顔領域について、顔領域の位置を検出し、検出した顔領域の位置が属するそれぞれのブロックを判定する。また、発光強度制御部504では、テーブル510を参照し、それぞれのブロックに対応する撮影範囲にスポット照明を照射するLEDと回折光学素子との組の発光強度を決定する。
【0109】
<監視システムの動作例>
次に、第4の実施形態に係る制御装置120を有する監視システム100の動作例について説明する。
図14は、監視システムの動作例を示す第3の図である。このうち、
図14(a)は、被写体610が監視装置110の方に向かって近づいてきている様子を示している。
【0110】
なお、
図14(a)では、紙面の都合から被写体610以外の被写体を省略しているが、被写体610が位置621を歩行している時点で、被写体610よりも監視装置110に近い側を、他の被写体1410が歩行しているものとする。また、被写体610が位置622を歩行している時点で、被写体610よりも監視装置110に更に近い側を、他の被写体1410が歩行しているものとする。更に、被写体610が位置623を歩行している時点で、被写体610よりも監視装置110から離れた側を、他の被写体1420が歩行しているものとする。
【0111】
図14(b)は、
図14(a)に示す被写体610のそれぞれの位置(位置621、622、623)において、監視装置110が撮影した撮影画像1401、1402、1403を示している。なお、撮影画像1401、1402、1403を撮影するにあたり、調整部506による発光強度の調整は完了しており、撮影画像1401、1402、1403は、被写体610、1410、1420の顔領域が検出できる程度の画質を有しているものとする。
【0112】
撮影画像1401の場合、顔検出部502では、被写体610、1410の顔領域が含まれるブロックのブロック番号が"2"、"6"であると判定する。また、顔領域数検出部1301では、顔領域の数が"2"であると判定する。更に、顔位置検出部503では、検出された被写体610の顔領域の位置が属するブロックのブロック番号が"2"、検出された被写体1410の顔領域の位置が属するブロックのブロック番号が"6"であると判定する。
【0113】
これにより、発光強度制御部504では、発光強度を、"I4"、"I3"に決定する。そして、発光強度出力部507では、LED201_2と回折光学素子202_2との組112_2が、発光強度"I4"で発光し、LED201_4と回折光学素子202_4との組112_4が、発光強度"I3"で発光するよう制御する。
【0114】
同様に、撮影画像1402の場合、顔検出部502では、被写体610、1410の顔領域が含まれるブロックのブロック番号が"5"、"9、12"であると判定する。また、顔領域数検出部1301では、顔領域の数が"2"であると判定する。また、顔位置検出部503では、検出された被写体610の顔領域の位置が属するブロックのブロック番号が"5"、検出された被写体1410の顔領域の位置が属するブロックのブロック番号が"9"であると判定する。
【0115】
これにより、発光強度制御部504では、発光強度を、"I3"、"I2"に決定する。そして、発光強度出力部507では、LED201_12と回折光学素子202_12との組112_12が、発光強度"I3"で発光するよう制御する。また、発光強度出力部507では、LED201_5と回折光学素子202_5との組112_5、及び、LED201_7と回折光学素子202_7との組112_7が、発光強度"I2"で発光するよう制御する。
【0116】
同様に、撮影画像1403の場合、顔検出部502では、被写体610、1420の顔領域が含まれるブロックのブロック番号が"8、11"、"1"であると判定する。また、顔領域数検出部1301では、顔領域の数が"2"であると判定する。また、顔位置検出部503では、検出された被写体610の顔領域の位置が属するブロックのブロック番号が"11"、検出された被写体1420の顔領域の位置が属するブロックのブロック番号が"1"であると判定する。
【0117】
これにより、発光強度制御部504では、発光強度を、"I1"、"I4"に決定する。そして、発光強度出力部507では、LED201_6と回折光学素子202_6との組112_6、及び、LED201_8と回折光学素子202_8との組112_8が、発光強度"I1"で発光するよう制御する。また、発光強度出力部507では、LED201_1と回折光学素子202_1との組112_1が、発光強度"I4"で発光するよう制御する。
【0118】
<制御処理の流れ>
次に、第4の実施形態に係る制御装置120による制御処理の流れについて説明する。
図15は、制御装置による制御処理の流れを示す第4のフローチャートである。
図7に示すフローチャートとの相違点は、ステップS1501である。
【0119】
ステップS1501において、顔領域数検出部1301は、ステップS704において検出された、被写体の顔領域の数をカウントする。これにより、ステップS705では、顔位置検出部503が、通知された数の被写体の顔領域について、顔領域の位置を検出し、検出した顔領域の位置が属するそれぞれのブロックを判定する。また、ステップS706では、発光強度制御部504が、それぞれのブロックに対応する発光強度を決定する。更に、ステップS707では、顔検出部502が、検出した顔領域それぞれが含まれるブロックを判定し、発光強度制御部504が、決定されたそれぞれの発光強度で発光するよう制御する、LEDと回折光学素子との組を選定する。
【0120】
以上の説明から明らかなように、第4の実施形態に係る監視システムでは、撮像部111から送信される撮影画像に写る被写体の顔領域の数が複数であっても、それぞれの被写体の顔領域について、上記第1の実施形態と同様の処理を行う。
【0121】
これにより、第4の実施形態に係る監視システムによれば、上記第1の実施形態と同様の効果を得ることができる。
【0122】
[その他の実施形態]
上記第1及び第2の実施形態では、発光強度制御部504、802がテーブル510、810をそれぞれ1つずつ有するものとして説明した。しかしながら、発光強度制御部504、802は、例えば、天候や時間帯等の周辺環境の変化に対応するために、テーブル510、810を複数有していてもよい。あるいは、発光強度制御部504、802は、テーブル510、810に代えて、例えば、顔領域の位置が属するブロック及び周辺環境と、LEDと回折光学素子との組の発光強度との対応関係を予め機械学習しておき、そのときの学習結果を利用してもよい。
【0123】
なお、制御装置120では、例えば、画質評価部505が撮影画像の品質を評価することで、周辺環境を特定するものとする。また、発光強度制御部504では、複数のテーブルの中から、画質評価部505が特定した周辺環境に対応するテーブルを参照することで、発光強度を決定するものとする。あるいは、発光強度制御部504では、被写体の顔領域の位置が属するブロックと、特定した周辺環境とを、学習結果に入力することで、発光強度を決定してもよい。
【0124】
また、上記第3の実施形態では、顔領域が含まれるブロックの画質と、LEDと回折光学素子との組の発光強度との対応関係について言及しなかったが、両者の対応関係は、例えば、テーブルによって規定されていてもよい。あるいは、機械学習に基づいて規定されていてもよい。
【0125】
また、上記各実施形態では、撮像部111と、LEDと回折光学素子との組112_1~112_12とが一体の監視装置110について説明した。しかしながら、撮像部111と、LEDと回折光学素子との組112_1~112_12とは別体の装置であってもよい。
【0126】
また、上記各実施形態では、監視装置110と制御装置120とを、別体としたが、監視装置110と制御装置120とは、一体の装置であってもよい。あるいは、制御装置120の機能の一部は、監視装置110において実現されてもよい。
【0127】
なお、開示の技術では、以下に記載する付記のような形態が考えられる。
(付記1)
撮像部の撮影範囲に照射する発光素子の数に応じて、複数のブロックに分割された、該撮像部の撮影画像から、被写体の顔領域を検出する検出部と、
前記複数のブロックのうち、前記顔領域が含まれるブロックに対応する発光素子の発光強度を、前記顔領域の位置または前記顔領域のサイズに応じて制御する制御部と
を有する監視システム。
(付記2)
前記顔領域の位置が属するブロックを判定する判定部を更に有し、
前記制御部は、前記顔領域の位置が属するブロックごとに予め発光強度が対応付けられたテーブルを参照することで、前記顔領域が含まれるブロックに対応する発光素子の発光強度を制御する、付記1に記載の監視システム。
(付記3)
前記顔領域のサイズを算出する算出部を更に有し、
前記制御部は、前記顔領域のサイズごとに予め発光強度が対応付けられたテーブルを参照することで、前記顔領域が含まれるブロックに対応する発光素子の発光強度を制御する、付記1に記載の監視システム。
(付記4)
前記顔領域の数をカウントする顔領域数検出部を更に有し、
前記制御部は、カウントした数の前記顔領域が含まれるそれぞれのブロックに対応する発光素子の発光強度を、カウントした数の前記顔領域それぞれの位置またはカウントした数の前記顔領域それぞれのサイズに応じて制御する、付記1に記載の監視システム。
(付記5)
前記撮像部の撮影画像の画質を所定周期ごとに評価し、評価結果に基づいて、前記検出部が被写体の顔領域を検出できるように、前記発光素子の発光強度を調整する、付記1に記載の監視システム。
(付記6)
発光素子と、該発光素子から出射された光を矩形のスポット光に変換する回折光学素子との組を複数有し、該複数の組それぞれのスポット光を、各ブロックに対応する撮影範囲に照射する、付記1乃至付記5のいずれかの付記に記載の監視システム。
(付記7)
前記撮像部と、前記複数の組とが一体化されている、付記6に記載の監視システム。
(付記8)
撮像部の撮影範囲に照射する発光素子の数に応じて、複数のブロックに分割された、該撮像部の撮影画像から、被写体の顔領域を検出する検出部と、
前記複数のブロックのうち、前記顔領域が含まれるブロックに対応する発光素子の発光強度を、前記顔領域が含まれるブロックの画質に応じて制御する制御部と
を有する監視システム。
(付記9)
撮像部の撮影範囲に照射する発光素子の数に応じて、複数のブロックに分割された、該撮像部の撮影画像から、被写体の顔領域を検出し、
前記複数のブロックのうち、前記顔領域が含まれるブロックに対応する発光素子の発光強度を、前記顔領域の位置または前記顔領域のサイズに応じて制御する、
処理をコンピュータが実行する監視方法。
【0128】
なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。
【符号の説明】
【0129】
100 :監視システム
110 :監視装置
111 :撮像部
112_1~112_12 :LEDと回折光学素子との組
120 :制御装置
121 :画像処理部
122 :照明制御部
201_1~201_12 :LED
202_1~202_12 :回折光学素子
210、220、230、240 :回折光学素子配置基板
211、221、231、241 :LED実装基板
501 :画像取得部
502 :顔検出部
503 :顔位置検出部
504 :発光強度制御部
505 :画質評価部
506 :調整部
507 :発光強度出力部
510 :テーブル
610 :被写体
631~633 :撮影画像
801 :顔サイズ算出部
802 :発光強度制御部
810 :テーブル
902 :撮影画像
1101 :ブロック画質評価部
1102 :発光強度制御部
1301 :顔領域数検出部
1401~1403 :撮影画像
1410、1420 :被写体