特許第6866950号(P6866950)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧
<>
  • 特許6866950-解析装置、制御方法、及びプログラム 図000002
  • 特許6866950-解析装置、制御方法、及びプログラム 図000003
  • 特許6866950-解析装置、制御方法、及びプログラム 図000004
  • 特許6866950-解析装置、制御方法、及びプログラム 図000005
  • 特許6866950-解析装置、制御方法、及びプログラム 図000006
  • 特許6866950-解析装置、制御方法、及びプログラム 図000007
  • 特許6866950-解析装置、制御方法、及びプログラム 図000008
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6866950
(24)【登録日】2021年4月12日
(45)【発行日】2021年4月28日
(54)【発明の名称】解析装置、制御方法、及びプログラム
(51)【国際特許分類】
   G08B 25/00 20060101AFI20210419BHJP
   G06T 7/20 20170101ALI20210419BHJP
   H04N 7/18 20060101ALI20210419BHJP
   G08B 25/04 20060101ALI20210419BHJP
【FI】
   G08B25/00 510M
   G06T7/20 300Z
   H04N7/18 D
   G08B25/04 E
【請求項の数】5
【全頁数】17
(21)【出願番号】特願2020-116114(P2020-116114)
(22)【出願日】2020年7月6日
(62)【分割の表示】特願2019-63343(P2019-63343)の分割
【原出願日】2019年3月28日
(65)【公開番号】特開2020-177678(P2020-177678A)
(43)【公開日】2020年10月29日
【審査請求日】2020年7月6日
(73)【特許権者】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100110928
【弁理士】
【氏名又は名称】速水 進治
(72)【発明者】
【氏名】野中 哲史
【審査官】 松原 徳久
(56)【参考文献】
【文献】 特開2018−055607(JP,A)
【文献】 特開2012−137906(JP,A)
【文献】 特開2011−034357(JP,A)
【文献】 国際公開第2014/125882(WO,A1)
【文献】 特開2019−008831(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G06F19/00
G06Q10/00−10/10
30/00−30/08
50/00−50/20
50/26−99/00
G06T7/00−7/90
G08B13/00−15/02
19/00−31/00
H04N7/18
(57)【特許請求の範囲】
【請求項1】
第1カメラによって生成される第1撮像画像と、第2カメラによって生成される第2撮像画像とのそれぞれから、同一の人物を検出する検出部と、
前記検出部によって検出された人物が、前記第1カメラによって撮像される場所と前記第2カメラによって撮像される場所との間の移動に要した移動時間を算出する算出部と、
前記人物の属性を特定する特定部と、
前記特定された属性と、前記算出した移動時間とに基づく出力情報を出力する出力部と、を有する解析装置。
【請求項2】
前記出力情報は、さらに、前記第1カメラによって撮像される場所と前記第2カメラによって撮像される場所との間の移動にその属性を持つ複数の人物が要した移動時間の統計値と、前記算出した移動時間と、の比較結果に基づいている、請求項1に記載の解析装置。
【請求項3】
前記出力部は、
前記第1カメラによって撮像される場所と前記第2カメラによって撮像される場所との間における人の混雑度を算出し、
前記算出した混雑度に基づいて、前記取得した統計値を前記算出された混雑度に基づいて補正し、
前記補正した統計値と前記算出した移動時間とを比較する、請求項2に記載の解析装置。
【請求項4】
コンピュータによって実行される制御方法であって、
第1カメラによって生成される第1撮像画像と、第2カメラによって生成される第2撮像画像とのそれぞれから、同一の人物を検出する検出ステップと、
前記検出ステップによって検出された人物が、前記第1カメラによって撮像される場所と前記第2カメラによって撮像される場所との間の移動に要した移動時間を算出する算出ステップと、
前記人物の属性を特定する特定ステップと、
前記特定された属性と、前記算出した移動時間とに基づく出力情報を出力する出力ステップと、を有する制御方法。
【請求項5】
請求項4に記載の制御方法の各ステップをコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は画像解析を利用した行動解析に関する。
【背景技術】
【0002】
監視カメラの映像などを用いて人の行動を解析する技術が開発されている。特許文献1は、監視対象領域に存在する人の行動状態を表す物理量を導出し、その物理量と平均値との差分に基づいて、人の不審度を算出する技術を開示している。物理量としては、監視対象領域に滞在する時間などが挙げられている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019−8831号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
特許文献1では、全ての人物の不審度を、共通の平均値に基づいて算出している。しかしながら、不審人物ではない正常な人同士であっても、その行動には大きな差がありうる。例えば、若い人とお年寄りの場合、同じ場所を移動するのに要する時間が大きく異なると考えられる。
【0005】
本発明は上記の課題に鑑みたものであり、その目的の一つは、撮像画像を用いた行動解析をより高い精度で行う技術を提供することである。
【課題を解決するための手段】
【0006】
本発明の解析装置は、1)施設内に設置されている第1カメラによって生成される第1撮像画像と、施設内に設置されている第2カメラによって生成される第2撮像画像とのそれぞれから、同一の人物を検出する検出部と、2)検出部によって検出された人物が、第1カメラによって撮像される場所から第2カメラによって撮像される場所までの移動に要した移動時間を算出する算出部と、3)第1撮像画像及び第2撮像画像の少なくとも一方を用いて、人物の属性を特定する特定部と、4)特定された属性に対応する基準値を取得し、算出した移動時間と取得した基準値とを比較して、その比較結果に基づく出力情報を出力する比較部と、を有する。
【0007】
本発明の制御方法はコンピュータによって実行される。当該制御方法は、1)施設内に設置されている第1カメラによって生成される第1撮像画像と、施設内に設置されている第2カメラによって生成される第2撮像画像とのそれぞれから、同一の人物を検出する検出ステップと、2)検出ステップによって検出された人物が、第1カメラによって撮像される場所から第2カメラによって撮像される場所までの移動に要した移動時間を算出する算出ステップと、3)第1撮像画像及び第2撮像画像の少なくとも一方を用いて、人物の属性を特定する特定ステップと、4)特定された属性に対応する基準値を取得し、算出した移動時間と取得した基準値とを比較して、その比較結果に基づく出力情報を出力する比較ステップと、を有する。
【0008】
本発明のプログラムは、本発明の制御方法が有する各ステップをコンピュータに実行させる。
【発明の効果】
【0009】
本発明によれば、撮像画像を用いた行動解析をより高い精度で行う技術が提供される。
【図面の簡単な説明】
【0010】
図1】実施形態1の解析装置の動作の概要を例示する図である。
図2】実施形態1の解析装置の構成を例示する図である。
図3】解析装置を実現するための計算機を例示する図である。
図4】実施形態1の解析装置によって実行される処理の流れを例示するフローチャートである。
図5】更新部を有する解析装置の機能構成を例示するブロック図である。
図6】出力情報を例示する図である。
図7】警告レベルをさらに含む警告画面を例示する図である。
【発明を実施するための形態】
【0011】
以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。
【0012】
<概要>
図1は、本実施形態の解析装置2000の動作の概要を例示する図である。図1は、解析装置2000の動作についての理解を容易にするための概念的な説明を表す図であり、解析装置2000の動作を具体的に限定するものではない。
【0013】
解析装置2000は、施設40に設置されているカメラから得られる撮像画像の解析を行う。施設40には、少なくとも2つのカメラ(第1カメラ10及び第2カメラ20)が設けられる。第1カメラ10と第2カメラ20は、同一施設内のそれぞれ異なる場所に設置される。なお、「施設内」とは、必ずしも1つの建物の中に限定されない。例えば施設40には、複数の建物やその周辺にある屋外の場所(庭園など)が含まれていてもよい。
【0014】
第1カメラ10と第2カメラ20はそれぞれ、繰り返し撮像を行うことで、複数の撮像画像を生成する。第1カメラ10によって生成される撮像画像を第1撮像画像12と呼び、第2カメラ20によって生成される撮像画像を第2撮像画像22と呼ぶ。第1カメラ10や第2カメラ20としては、例えば、施設40に設置されている監視カメラを利用することができる。ただし、第1カメラ10や第2カメラ20は、監視カメラとは別途設けられるカメラであってもよい。
【0015】
解析装置2000は、第1撮像画像12と第2撮像画像22から、同一人物の検出を行う。第1撮像画像12と第2撮像画像22の双方から検出された人物を、解析対象人物と呼ぶ。解析装置2000は、解析対象人物について、第1カメラ10によって撮像される場所(第1カメラ10の撮像領域)と第2カメラ20によって撮像される場所(第2カメラ20の撮像領域)との間の移動にその人物が要した時間(移動時間)を算出する。
【0016】
また、解析装置2000は、解析対象人物が検出された第1撮像画像12及び第2撮像画像22の少なくとも一方を利用して、解析対象人物の属性を特定する。人物の属性としては、年齢、性別、及び同伴者の有無や数など、様々な属性を採用できる。
【0017】
解析装置2000は、特定した属性に対応する移動時間の基準値を取得する。以下、移動時間の基準値を、基準時間とも呼ぶ。属性と基準時間との対応付けは、予め用意しておく。この対応付けを示す情報を、基準情報100と呼ぶ。基準情報100は、属性102に対応づけて、その属性102を持つ人物の移動時間の基準値として、基準時間104を示す。例えば基準情報100は、解析装置2000からアクセス可能な記憶装置に記憶させておく。
【0018】
解析装置2000は、解析対象人物の属性に対応する基準時間と、その解析対象人物について算出した移動時間とを比較し、その比較結果に関する出力情報を生成する。例えば解析装置2000は、移動時間が基準時間以上であるか否かを判定し、移動時間が基準時間以上である場合に、警告を表す出力情報を生成する。ただし、移動時間と基準時間との比較方法や、比較結果に基づく出力情報は、ここで説明した例に限定されない。
【0019】
例えば図1では、解析装置2000は、時刻 t1 に生成された第1撮像画像12と時刻 t2 に生成された第2撮像画像22から同一人物を検出し、この人物を解析対象人物として扱う。解析装置2000は、解析対象人物の移動時間として、t2-t1 を算出する。また、解析装置2000は、解析対象人物の属性として a1 を特定し、基準情報100において a1 という属性102に対応付けられている基準時間104である r1 を取得する。そして、解析装置2000は、移動時間 t2-t1 と基準時間 r1 を比較することで、出力情報を生成する。
【0020】
<代表的な作用効果>
施設内を人が移動する時間は、様々な指標として利用することができる。例えばセキュリティ上の観点から、移動時間が長すぎる人物を要注意人物として検出するなどといったことができる。また、移動時間の長さの評価は、基準の時間との比較によって実現できる。例えば、「基準の時間よりも移動時間が長ければ、移動時間が長すぎると判断する」といった方法が考えられる。
【0021】
しかしながら、基準の時間として全ての人に共通の値を利用すると、移動時間の長さを適切に評価することが難しい。人の移動時間の適切さは、その人の属性に依存するためである。例えば、お年寄りの移動時間は、若い人の移動時間よりも長くなることが一般的であるといえる。そのため、お年寄りの移動時間と若い人の移動時間の評価に同じ基準時間を利用すると、適切な評価が難しい。
【0022】
本実施形態の解析装置2000によれば、解析対象人物の移動時間が、その人物の属性に対応して定まる基準時間と比較される。そのため、解析人物の移動時間を全ての物に共通な基準時間と比較するケースよりも、その移動時間をより適切に評価することができる。すなわち、撮像画像の解析による人の行動解析を、より高い精度で行うことができる。
【0023】
以下、本実施形態の解析装置2000についてさらに詳細に説明する。
【0024】
<解析装置2000の機能構成の例>
図2は、実施形態1の解析装置2000の構成を例示する図である。解析装置2000は、検出部2020、算出部2040、特定部2060、及び比較部2080を有する。検出部2020は、第1撮像画像12と第2撮像画像22とから、同一の人物を検出する。第1撮像画像12と第2撮像画像22の双方から検出された人物が、解析対象人物として扱われる。算出部2040は、解析対象人物が、第1カメラ10の撮像領域と第2カメラ20の撮像領域との間の移動に要した移動時間を算出する。特定部2060は、第1撮像画像12及び第2撮像画像22の少なくとも一方を用いて、解析対象人物の属性を特定する。比較部2080は、基準情報100から、解析対象人物の属性に対応する基準時間104を取得する。比較部2080は、解析対象人物の移動時間と、取得した基準時間104とを比較し、その比較結果に基づく出力情報を生成する。比較部2080は、出力情報を出力する。
【0025】
<解析装置2000のハードウエア構成>
解析装置2000の各機能構成部は、各機能構成部を実現するハードウエア(例:ハードワイヤードされた電子回路など)で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ(例:電子回路とそれを制御するプログラムの組み合わせなど)で実現されてもよい。以下、解析装置2000の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。
【0026】
図3は、解析装置2000を実現するための計算機1000を例示する図である。計算機1000は任意の計算機である。例えば計算機1000は、Personal Computer(PC)、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機1000は、解析装置2000を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。
【0027】
計算機1000は、バス1020、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120を有する。バス1020は、プロセッサ1040、メモリ1060、ストレージデバイス1080、入出力インタフェース1100、及びネットワークインタフェース1120が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ1040などを互いに接続する方法は、バス接続に限定されない。プロセッサ1040は、CPU(Central Processing Unit)、GPU(Graphics Processing Unit)、又は FPGA(Field-Programmable Gate Array)などのプロセッサである。メモリ1060は、RAM(Random Access Memory)などを用いて実現される主記憶装置である。ストレージデバイス1080は、ハードディスクドライブ、SSD(Solid State Drive)、メモリカード、又は ROM(Read Only Memory)などを用いて実現される補助記憶装置である。ただし、ストレージデバイス1080は、RAM など、主記憶装置を構成するハードウエアと同様のハードウエアで構成されてもよい。
【0028】
入出力インタフェース1100は、計算機1000と入出力デバイスとを接続するためのインタフェースである。ネットワークインタフェース1120は、計算機1000を通信網に接続するためのインタフェースである。この通信網は、例えば LAN(Local Area Network)や WAN(Wide Area Network)である。ネットワークインタフェース1120が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。例えば解析装置2000は、ネットワークインタフェース1120を介して、第1カメラ10及び第2カメラ20と通信可能に接続される。
【0029】
ストレージデバイス1080は、解析装置2000の機能構成部を実現するプログラムモジュールを記憶している。プロセッサ1040は、これら各プログラムモジュールをメモリ1060に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。
【0030】
例えば、基準情報100は、ストレージデバイス1080に記憶される。ただし、基準情報100は、解析装置2000の外部に設けられている記憶装置に記憶されてもよい。
【0031】
<第1カメラ10と第2カメラ20について>
第1カメラ10及び第2カメラ20はそれぞれ、撮像を行ってその結果を表す画像データを生成する機能を有する。例えば第1カメラ10及び第2カメラ20はそれぞれ、動画データを生成する。この場合、第1撮像画像12と第2撮像画像22はそれぞれ、動画データを構成する動画フレームである。ただし、第1カメラ10と第2カメラ20は、静止画を繰り返し生成するように構成されたスチルカメラであってもよい。
【0032】
なお、解析装置2000によって実行される処理として説明したものの一部を、第1カメラ10や第2カメラ20が実行するようにしてもよい。例えば、第1撮像画像12から人物を検出する処理(例えば、後述する検出情報を生成する処理)は、第1カメラ10によって実行されてもよい。この場合、第1カメラ10は、検出した人物に関する情報(例えば、後述の検出情報)を解析装置2000に対して送信する。検出部2020は、この情報を受信することにより、第1撮像画像12から検出された人物に関する情報を把握する。
【0033】
第2カメラ20についても同様である。すなわち、第2カメラ20が、第2撮像画像22から人物を検出し、検出した人物に関する情報を解析装置2000へ送信してもよい。解析装置2000は、この情報を受信することにより、第2撮像画像22から検出された人物に関する情報を把握する。
【0034】
<利用シーンの例>
解析装置2000は、様々なシーンで利用することができる。例えば解析装置2000は、空港やショッピングモールなどといった様々な施設において人物監視に利用される。例えば通路を監視対象とする場合、その入り口と出口のそれぞれに、第1カメラ10と第2カメラ20を設置しておく。こうすることで、この通路を通る人物を監視することができる。
【0035】
例えば比較部2080は、解析対象人物の移動時間が基準時間より長いか否かを判定する。移動時間が基準時間より長い場合、通路の移動に時間がかかりすぎていることから、その人物が通路の途中で何らかの怪しい行動をとった可能性がある。
【0036】
ここで、通路の途中に更衣スペースやトイレなどといったプライバシーの配慮が必要な場所があると、その場所については監視カメラで直接監視することが難しい。そこで、通路の移動に要した時間を基準時間と比較するという方法により、解析対象の人物が怪しい行動をとったかどうかを、間接的に把握することができる。
【0037】
<処理の流れ>
図4は、実施形態1の解析装置2000によって実行される処理の流れを例示するフローチャートである。検出部2020は、第1撮像画像12と第2撮像画像22から同一の人物を検出する(S102)。算出部2040は、解析対象人物の移動時間を算出する(S104)。特定部2060は、解析対象人物の属性を特定する(S106)。比較部2080は、基準情報100から、解析対象人物の属性に対応する基準時間104を取得する(S108)。比較部2080は、算出した移動時間と取得した基準時間104とを比較して出力情報を生成しする(S110)。比較部2080は、出力情報を出力する(S112)。
【0038】
<第1撮像画像12の取得方法>
検出部2020は、第1撮像画像12を取得する。ここで、カメラによって撮像された画像を取得する技術には、既存の技術を利用することができる。例えば第1カメラ10は、新たな第1撮像画像12を生成する度に、その第1撮像画像12を解析装置2000へ送信する。そして、検出部2020は、第1カメラ10から送信された第1撮像画像12を受信することで、新たな第1撮像画像12を取得する。その他にも例えば、第1カメラ10は、解析装置2000からアクセス可能な記憶装置に第1撮像画像12を格納してもよい。この場合、例えば検出部2020は、定期的にこの記憶装置にアクセスし、実取得の第1撮像画像12を取得する。
【0039】
<第2撮像画像22の取得方法>
第2撮像画像22を取得する方法は、第1撮像画像12を取得する方法と同様である。
【0040】
<第1撮像画像12と第2撮像画像22から同一人物を検出する方法:S102>
検出部2020は、第1撮像画像12と第2撮像画像22から同一の人物を検出する(S102)。例えば検出部2020は、第1撮像画像12に対してオブジェクト検出処理を実行することにより、第1撮像画像12から人物を検出する。そして、検出部2020は、検出した人物について、「第1カメラ10の識別子、人物識別子、検出時刻、人物の画像特徴」という対応付けを示す情報(以下、検出情報)を生成する。
【0041】
ここで、人が第1カメラ10の撮像領域を通過する間に第1カメラ10が複数回撮像を行う場合、同一の人物が複数の第1撮像画像12から繰り返し検出されうる。そこで検出部2020は、同一の人物が第1撮像画像12から検出され続ける間、その人物についての検出情報を更新していく。具体的には、その人物が検出された第1撮像画像12の生成時刻及びその第1撮像画像12から検出された画像特徴を検出情報に追加することで、検出情報を更新する。
【0042】
同様に、検出部2020は、第2撮像画像22から検出される人物についても、検出情報を生成する。
【0043】
検出部2020は、第1カメラ10と第2カメラ20の間の領域(以下、対象領域)に位置している人物の情報を記録する。この情報を候補情報と呼ぶ。候補情報には、対象領域内に位置する各人物についての検出情報が含まれる。候補情報内の検出情報が示すカメラの識別子は、その人物が第1カメラ10の撮像領域と第2カメラ20の撮像領域のどちらを通って対象領域に入ったのかを示す情報となる。
【0044】
例えば検出部2020は、第1撮像画像12から検出した人物について検出情報を生成したら、その人物と同一の人物についての検出情報が候補情報に含まれているか否かを判定する。この判定は、第1撮像画像12を利用して生成した検出情報が示す画像特徴と、候補情報に含まれる各検出情報が示す画像特徴とを比較することによって実現できる。第1撮像画像12から検出された人物と同じ人物についての検出情報が候補情報に含まれていなければ、検出部2020は、第1撮像画像12から検出された人物についての検出情報を候補情報に加える。こうすることで、その人物が第1カメラ10の撮像領域を通って新たに対象領域に入ったことを記録することができる。
【0045】
第1撮像画像12から検出された人物と同じ人物についての検出情報が候補情報に含まれているとする。この場合、検出部2020は、その検出情報が示すカメラの識別子が、第1カメラ10と第2カメラ20のどちらの識別子であるかを判定する。この識別子が第2カメラ20の識別子である場合、第1撮像画像12から検出された人物が、第2カメラ20の撮像領域から第1カメラ10の撮像領域へ移動したことを意味する。すなわち、同一人物が第1撮像画像12と第2撮像画像22の双方から検出されたことを意味する。そのため、検出部2020は、その人物を解析対象人物として特定する。なお、その人物は対象領域の外に出たため、検出部2020は、その人物の検出情報を候補情報から削除する。
【0046】
一方、第1撮像画像12から検出された人物と同じ人物についての検出情報が候補情報に含まれているものの、その検出情報によって示されるカメラの識別子が、第1カメラ10の識別子であったとする。この場合、その人物は、第1カメラ10の撮像領域を通って対象領域へ入った後、第2カメラ20の撮像領域を通過することなく、再度第1カメラ10の撮像領域を通って対象領域から出たことになる。そのため、この人物については、移動時間の算出ができない。そのため、検出部2020は、その人物を解析対象人物としては特定せずに、その人物の検出情報を候補情報から削除する。
【0047】
第2撮像画像22から人物を検出した場合にも、同様の処理が行われる。具体的には、検出部2020は、第2撮像画像22から検出した人物と同一の人物の検出情報が候補情報に含まれており、なおかつその検出情報に示されているカメラの識別子が第1カメラ10の識別子であれば、検出部2020は、その人物を解析対象人物として特定する。この場合、その人物が第1カメラ10の撮像領域を通って対象領域に入った後、第2カメラ20の撮像領域を通って対象領域から出たことを意味するためである。一方、第2撮像画像22から検出した人物と同一の人物の検出情報が候補情報に含まれているものの、その検出情報に示されているカメラの識別子が第2カメラ20の識別子であれば、検出部2020は、その人物を解析対象人物として特定せずに、その人物の検出情報を候補情報から削除する。また、第2撮像画像22から検出した人物と同一の人物の検出情報が候補情報に含まれていなければ、検出部2020は、第2撮像画像22を利用して生成した検出情報を候補情報に追加する。
【0048】
<移動時間の算出方法:S104>
算出部2040は、解析対象人物の移動時間を算出する(S104)。例えば解析対象人物の移動時間は、第1カメラ10の撮像範囲から解析対象人物が検出された時刻と、第2カメラ20の撮像範囲から解析対象人物が検出された時刻との差分(遅い方の時刻から早い方の時刻を引いた値)として算出することができる。なお、第1カメラ10の撮像範囲で解析対象人物が検出された時刻は、第1撮像画像12を利用して生成した検出情報に示されている。同様に、第2カメラ20の撮像範囲で解析対象の人物が検出された時刻は、第2撮像画像22を利用して生成した検出情報に示されている。
【0049】
ここで、多くの場合、解析対象人物は、複数の第1撮像画像12、及び複数の第2撮像画像22に含まれる。なぜなら、解析対象の人物がカメラの撮像範囲を通過する間に、カメラが複数回撮像を行うと考えられるためである。そのため、検出情報には、複数の検出時刻が含まれている。
【0050】
第1撮像画像12を利用して生成した検出情報に、複数の検出時刻が含まれているとする。この場合、算出部2040は、それら複数の検出時刻に基づいて、解析対象人物が第1カメラ10の撮像範囲を通過した時刻を決定する。例えば算出部2040は、最も遅い検出時刻、最も早い検出時刻、又はこれらの平均値などを、解析対象人物が第1カメラ10の撮像範囲を通過した時刻として扱う。第2撮像画像22を利用して生成した検出情報を用いて、解析対象人物が第2カメラ20の撮像範囲を通過した時刻を決定する方法についても、同様である。
【0051】
<属性の特定:S106>
特定部2060は、解析対象人物の属性を特定する(S106)。属性としては、年齢層、性別、同伴者の有無や数などといった様々なものを採用できる。なお、人物が含まれる画像を解析することで、その人物の種々の属性を特定する技術には、既存の技術を利用することができる。
【0052】
ここで、解析対象人物の属性の特定には、第1撮像画像12と第2撮像画像22の双方が利用されてもよいし、片方のみが利用されてもよい。また、複数の第1撮像画像12に解析対象人物が含まれる場合、特定部2060は、それら複数の第1撮像画像12の一部(例えば1つ)のみを用いて属性の特定を行ってもよいし、全ての第1撮像画像12を利用して属性の特定を行ってもよい。第2撮像画像22を利用する場合についても同様である。
【0053】
<基準情報100について>
基準情報100は、属性102に対応づけて基準時間104を示している。ここで、属性102に対応づけられている基準時間104は、1つの時間であってもよいし、時間の範囲であってもよい。後者の場合、例えば、基準時間104として、「10分以上15分以下」などといった時間の範囲が定められる。
【0054】
また、1つの属性102には、複数の基準時間104が対応づけられていてもよい。例えば、1つの属性102に対して「10分、20分、30分」という3つの基準時間104を対応づけておく。この場合、例えば比較部2080は、移動時間について、「10分未満」、「10分以上20分未満」、「20分以上30分未満」、「30分以上」のいずれに該当するのかを判定する。
【0055】
属性102に対応する基準時間104を定める方法には、様々な方法を採用することができる。例えば、属性ごとに移動時間の実績値を蓄積し、その実績値の統計値(平均値など)として、その属性に対応する基準時間を定める。例えば、解析装置2000の運用前にテスト期間を設け、そのテスト期間において施設40を対象として解析装置2000を動作させ、各解析対象人物について移動時間の算出及び属性の特定を行う。そして、その移動時間をその属性に対応する実績値として蓄積していく。こうすることで、施設40における移動時間の実績値を、属性ごとに複数得ることができる。解析装置2000は、属性ごとの実績値の統計値を算出し、その統計値に基づいてその属性に対応する基準時間を決定し、属性と基準時間とを対応づけた基準情報100を生成する。
【0056】
例えば属性に対応する基準時間は、その属性について得られた実績値の統計値として定める。その他にも例えば、属性に対応する基準時間は、その属性について得られた実績値の統計値に対して、所定のマージンを加算又は減算した値であってもよい。例えば、比較部2080は、移動時間が基準時間以上であるか否かの判定を行い、移動時間が基準時間以上である場合に警告を表す出力情報を出力するとする。この場合、基準時間として、実績値の統計値に所定のマージンを加えた値を設定することが好適である。こうすることで、移動時間が実績値の統計値よりも多少長くなることを許容することができる。
【0057】
ここで、前述した様に、1つの属性に対して複数の基準時間104を対応づけてもよい。この場合、例えば解析装置2000は、その属性について得られた移動時間の分布を算出し、算出した分布を複数の範囲に区切り、各範囲の境界値それぞれを基準時間104として定める。移動時間の分布を区切る方法としては、例えば、その中のサンプル数が等しくなるように移動時間の分布を所定の数に分割するという方法が考えられる。
【0058】
なお、解析装置2000は、基準情報100を生成して解析装置2000の運用を開始した後、運用時に算出された移動時間を用いて、基準情報100を更新してもよい。基準情報100の更新を行う機能構成部を、更新部と呼ぶ。図5は、更新部2100を有する解析装置2000の機能構成を例示するブロック図である。
【0059】
更新部2100は、特定部2060によって特定された属性とマッチする属性102に対応する基準時間104を、算出部2040によって算出された移動時間を用いて更新する。この更新を実現するため、例えば、テスト期間及び運用時に算出された属性と移動時間との対応付けを、記憶装置に記録しておく。更新部2100は、特定部2060によって特定された属性についてこれまでに算出された利用時間を記憶装置から取得する。そして、更新部2100は、取得した各利用時間と、算出部2040によって新たに算出され利用時間との統計値を算出し、その統計値で基準時間104を更新する。ただし、平均値など、サンプル数が分かれば計算可能な統計値の場合、具体的な移動時間を全て記録しておく必要はなく、属性ごとのサンプル数を記録しておけばよい。
【0060】
属性102に対応する基準時間104を定める方法は、移動時間の実績値を用いるものに限定されない。例えば基準時間104は、人手で設定されてもよい。
【0061】
<基準時間の取得:S108>
比較部2080は、特定部2060によって特定された属性に対応する基準時間を取得する(S108)。具体的には、比較部2080は、基準情報100の中から、解析対象人物の属性とマッチする属性102を示すものを特定し、その基準情報100に示されている基準時間104を取得する。ここで、解析対象の人物の属性にマッチする属性102とは、解析対象人物の属性と同一の属性102、又はその中に解析対象人物の属性を含む属性102である。後者のケースは、例えば、属性102が属性の範囲を示し、解析対象人物の属性がその範囲に含まれるケースである。
【0062】
<基準時間と移動時間の比較と出力情報の生成:S110>
比較部2080は、基準時間と移動時間の比較を行い、その結果に基づく出力情報を生成する(S110)。ここで、基準時間と移動時間の比較には、様々なものを採用できる。例えば比較部2080は、移動時間が基準時間以上であるか否かを判定する。こうすることで、移動時間が長すぎる人物を検出することができる。
【0063】
解析対象人物の移動時間が基準時間以上である場合、例えば比較部2080は、警告を表す出力情報を生成する。この出力情報には、例えば、警告メッセージや、解析対象人物の検出に関する詳細情報を含める。詳細情報には、例えば、検出時刻や解析対象人物の画像などを含める。
【0064】
また、移動時間の算出対象となる場所が施設40の中に複数あるとする。すなわち、第1カメラ10と第2カメラ20のセットが、施設40の中に複数設けられているとする。この場合、移動時間の算出対象となる場所(すなわち、カメラのセット)に対して識別子を割り当てておく。例えばこの識別子は、その場所に割り当てた名称などである。前述した詳細情報には、この識別子をさらに含めることが好適である。
【0065】
図6は、出力情報を例示する図である。図6において、出力情報は、警告画面50である。警告画面50は、警告メッセージ52及び詳細情報54を示している。詳細情報54には、検出場所の名称、検出時刻、及び解析対象人物の画像が含まれている。
【0066】
詳細情報54に含める情報は、図6に示したものに限定されない。例えば詳細情報54には、解析対象人物の属性をさらに含めてもよい。この際、詳細情報54には、解析対象人物の属性に加え、その属性にマッチすると判定された属性102がさらに含まれてもよい。また、詳細情報54には、解析対象人物について算出された移動時間や、その移動時間と比較された基準時間などがさらに含まれてもよい。この点については、後述する図7の例についても同様である。
【0067】
ここで、移動時間が基準時間未満であった場合、比較部2080は、出力情報を出力してもよいし、出力しなくてもよい。移動時間が基準時間未満であった場合にも出力情報を出力することで、例えば、各解析対象人物についての比較結果を全て記録に残すことができる。
【0068】
基準時間と移動時間の比較は、「移動時間が基準時間以上であるか否か」に限定されない。例えば、比較部2080は、移動時間が基準時間以下であるか否かを判定してもよい。移動時間が基準時間以下である場合、例えば比較部2080は、前述した警告画面と同様の出力情報を出力する。移動時間が短すぎる場合、例えば施設40内での使用が禁止されている移動手段が利用されているなど、警告すべき状況である可能性があるためである。
【0069】
また、基準時間が時間の範囲を示しているとする。この場合、比較部2080は、基準時間が示す時間の範囲に移動時間が含まれるか否かを判定する。基準時間が示す時間の範囲に移動時間が含まれていない場合、例えば比較部2080は、前述した警告画面と同様の出力情報を出力する。
【0070】
さらに、1つの属性に複数の基準時間104が対応づけられているとする。この場合、比較部2080は、移動時間を、解析対象人物の属性に対応する複数の基準時間それぞれと比較してもよい。例えば比較部2080は、「移動時間が基準時間以上であるか否か」という判定を、取得した複数の基準時間を短いものから順に利用して行う。移動時間がいずれかの基準時間よりも長い場合、比較部2080は、「移動時間が基準時間以上である」と最初に判定された基準時間(すなわち、「移動時間≧基準時間」を満たす最小の基準時間)を特定する。なお、移動時間が最小の基準時間よりも短い場合、比較部2080は、移動時間がいずれの基準時間よりも短いと判定する。
【0071】
このような比較を行う場合、比較部2080は、複数の基準時間との比較に基づいて、出力情報を出力する。例えば、基準時間に対して警告レベルを対応づけておく。警告レベルの高さは、「移動時間≧基準時間」を満たす最小の基準時間が大きいものであるほど、高くなるように設定しておく。こうすることで、移動時間が基準時間以上である人物について、警告すべき度合い(どの程度怪しいか)を把握することができる。
【0072】
例えば、基準時間と警告レベルの対応付けを、「10分:警告レベル1」、「20分:警告レベル2」、及び「30分:警告レベル3」と定めておく。この場合、移動時間が25分であれば、移動時間≧基準値を満たす最小の基準値は20分である。そのため、解析対象人物の警告レベルは2となる。図7は、警告レベルをさらに含む警告画面を例示する図である。なお、基準時間と警告レベルとの対応付けは、基準情報100に予め含めておく。
【0073】
なお、出力情報の態様は、前述した画面に限定されない。例えば出力情報は、テキスト情報や、データベースに記録するために所定のテーブル形式に変換した情報であってもよい。
【0074】
<<基準時間の補正>>
ここで、人が移動する速さは、移動する場所の混雑度合い(人の密度)によって異なることが予想される。そのため、比較部2080は、基準時間をそのまま利用する代わりに、移動する場所の混雑度合いに基づく補正を基準時間に施してもよい。例えば比較部2080は、第1カメラ10の撮像範囲と第2カメラ20の撮像範囲との間について、混雑度合いを算出し、その混雑度合いに基づく補正係数を基準時間に乗算することで、基準時間を補正する。補正係数は、1以上の実数である。そして、比較部2080は、補正後の基準時間を移動時間と比較する。
【0075】
例えば混雑度は、第1カメラ10の撮像領域と第2カメラ20の撮像領域の間に位置している人の数で定めることができる。第1カメラ10の撮像領域と第2カメラ20の撮像領域の間に位置している人の数は、前述した候補情報に含まれている検出情報の数として把握することができる。その他にも例えば、第1カメラ10と第2カメラ20との間を俯瞰して撮像するように別のカメラを設け、そのカメラから得られた撮像画像を解析することにより、人の数を特定してもよい。
【0076】
補正係数の算出には、様々な方法を採用できる。例えば予め、基準となる混雑度(以下、基準混雑度)を定めておく。そして、比較部2080は、解析対象人物が検出された際における混雑度を基準混雑度で割った値を、補正係数として利用する。その他にも例えば、混雑度を補正係数に変換する関数を定めておき、この関数を利用して補正係数を算出してもよい。この関数には、1以上の値を出力する任意の単調非減少関数を利用することができる。
【0077】
なお、混雑度に応じた補正を行う場合、移動時間の実績値を利用して基準情報100を生成する際にも、混雑度を考慮することが好適である。例えば、移動時間の実績値を蓄積する際にも、前述した補正係数の算出を行う。そして、移動時間の実績値に補正係数の逆数を掛けた値の統計値を用いて、基準時間の算出を行う。こうすることで、移動時間の実績値を、基準となる混雑度合いにおける予測値に変化した上で、基準時間を定めることができる。すなわち、実績値を算出した際の混雑度合いに影響を受けないように、基準時間を定めることができる。
【0078】
<出力情報の出力:S112>
比較部2080は、出力情報を出力する(S112)。出力情報は、任意の方法で出力することができる。例えば比較部2080は、解析装置2000と接続されているディスプレイ装置に表示させる。その他にも例えば、比較部2080は、出力情報を所定の記憶装置に格納する。その他にもたとえば、比較部2080は、他の装置(例えば警備員が所持している携帯端末など)に送信する。他の装置に送信された出力情報は、その装置に備えられているディスプレイ装置に表示されることが好適である。なお、他の装置に送信した情報がその装置に備えられているディスプレイ装置に表示されるようにする技術には、既存の技術を利用することができる。
【0079】
以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
【0080】
例えば解析装置2000は、人物監視以外の様々な用途に利用できる。他の用途の一例として、マーケティングが挙げられる。具体的には、解析対象人物の移動時間に基づき、解析対象人物による施設40に対する興味の度合いを把握することができる。
【0081】
例えば、施設がショッピングモールであるとする。この場合に、子供用品売り場や婦人服売り場などといったエリアのそれぞれについて、エリアの異なる出入り口それぞれに、第1カメラ10と第2カメラ20を設置しておく。こうすることで、解析装置2000により、解析対象人物について、エリア内の移動時間を把握することができる。
【0082】
ここで、解析対象人物が或るエリアを長い時間かけて移動していると、その人物がそのエリアに興味を示している蓋然性が高い。一方、解析対象の人物が或るエリアを短い時間で移動していると、その人物がそのエリアに興味を示していない蓋然性が高い。そのため、移動時間と基準時間との比較により、解析対象の人物の興味の度合いを把握することができる。
【0083】
なお、1つの属性102に対応して基準時間104を複数設定することで警告レベルを把握することと同様にして、解析対象人物の興味の度合いを把握できるようにしてもよい。具体的には、1つの属性102に対応する複数の基準時間について、短い基準時間ほど小さい興味レベルを対応づけておく。解析装置2000は、「移動時間≧基準時間」を満たす最小の基準時間を特定し、特定した基準時間に対応する興味レベルを、解析対象人物の興味の度合いの大きさとして特定する。
【0084】
なお、エリアの区切り方は、「子供服売り場」などといった同様の品物が置かれているお店の集合に限定されない。例えば、お店ごとに1つのエリアとしてもよい。こうすることで、各人物の興味の度合いをお店単位で把握することができる。
【0085】
上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
1. 施設内に設置されている第1カメラによって生成される第1撮像画像と、前記施設内に設置されている第2カメラによって生成される第2撮像画像とのそれぞれから、同一の人物を検出する検出部と、
前記検出部によって検出された人物が、前記第1カメラによって撮像される場所と前記第2カメラによって撮像される場所との間の移動に要した移動時間を算出する算出部と、
前記第1撮像画像及び前記第2撮像画像の少なくとも一方を用いて、前記人物の属性を特定する特定部と、
前記特定された属性に対応する基準値を取得し、前記算出した移動時間と前記取得した基準値とを比較して、その比較結果に基づく出力情報を出力する比較部と、を有する解析装置。
2. 前記属性に対応する前記基準値は、前記第1カメラによって撮像される場所と前記第2カメラによって撮像される場所との間の移動にその属性を持つ複数の人物が要した移動時間の統計値である、1.に記載の解析装置。
3. 前記特定された属性に対応する前記基準値を、前記算出された移動時間を用いて更新する更新部を有する、1.又は2.に記載の解析装置。
4. 前記比較部は、
前記第1カメラによって撮像される場所と前記第2カメラによって撮像される場所との間における人の混雑度を算出し、
前記算出した混雑度に基づいて、前記取得した基準値を前記算出された混雑度に基づいて補正し、
前記補正した基準値と前記算出した移動時間とを比較する、1.乃至3.いずれか一つに記載の解析装置。
5. 前記比較部は、前記算出した移動時間が前記取得した基準値以上である場合に、警告を表す出力情報を出力する、1.乃至4.いずれか一つに記載の解析装置。
6. コンピュータによって実行される制御方法であって、
施設内に設置されている第1カメラによって生成される第1撮像画像と、前記施設内に設置されている第2カメラによって生成される第2撮像画像とのそれぞれから、同一の人物を検出する検出ステップと、
前記検出ステップによって検出された人物が、前記第1カメラによって撮像される場所と前記第2カメラによって撮像される場所との間の移動に要した移動時間を算出する算出ステップと、
前記第1撮像画像及び前記第2撮像画像の少なくとも一方を用いて、前記人物の属性を特定する特定ステップと、
前記特定された属性に対応する基準値を取得し、前記算出した移動時間と前記取得した基準値とを比較して、その比較結果に基づく出力情報を出力する比較ステップと、を有する制御方法。
7. 前記属性に対応する前記基準値は、前記第1カメラによって撮像される場所と前記第2カメラによって撮像される場所との間の移動にその属性を持つ複数の人物が要した移動時間の統計値である、6.に記載の制御方法。
8. 前記特定された属性に対応する前記基準値を、前記算出された移動時間を用いて更新する更新ステップを有する、6.又は7.に記載の制御方法。
9. 前記比較ステップにおいて、
前記第1カメラによって撮像される場所と前記第2カメラによって撮像される場所との間における人の混雑度を算出し、
前記算出した混雑度に基づいて、前記取得した基準値を前記算出された混雑度に基づいて補正し、
前記補正した基準値と前記算出した移動時間とを比較する、6.乃至8.いずれか一つに記載の制御方法。
10. 前記比較ステップにおいて、前記算出した移動時間が前記取得した基準値以上である場合に、警告を表す出力情報を出力する、6.乃至9.いずれか一つに記載の制御方法。
11. 6.乃至10.いずれか一つに記載の制御方法の各ステップをコンピュータに実行させるプログラム。
【符号の説明】
【0086】
10 第1カメラ
12 第1撮像画像
20 第2カメラ
22 第2撮像画像
40 施設
50 警告画面
52 警告メッセージ
54 詳細情報
100 基準情報
102 属性
104 基準時間
1000 計算機
1020 バス
1040 プロセッサ
1060 メモリ
1080 ストレージデバイス
1100 入出力インタフェース
1120 ネットワークインタフェース
2000 解析装置
2020 検出部
2040 算出部
2060 特定部
2080 比較部
図1
図2
図3
図4
図5
図6
図7