特許 7168052 監視システム及び監視方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-31

(45)【発行日】2022-11-09

(54)【発明の名称】監視システム及び監視方法

(51)【国際特許分類】

   H04N 7/18 20060101AFI20221101BHJP

   G08B 25/00 20060101ALI20221101BHJP

【ＦＩ】

H04N7/18 D

G08B25/00 510M

【請求項の数】 10

(21)【出願番号】P 2021149981

(22)【出願日】2021-09-15

(62)【分割の表示】P 2019125277の分割

【原出願日】2016-02-12

(65)【公開番号】P2022002399

(43)【公開日】2022-01-06

【審査請求日】2021-09-15

(31)【優先権主張番号】P 2015056875

(32)【優先日】2015-03-19

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】利行 浩和

(72)【発明者】

【氏名】凌 晶

(72)【発明者】

【氏名】中田 秀貴

(72)【発明者】

【氏名】有田 英司

(72)【発明者】

【氏名】茂 尚吾

【審査官】佐野 潤一

(56)【参考文献】

【文献】特開２０１２－２１２２１５（ＪＰ，Ａ）

【文献】特開２０１４－２０９６９４（ＪＰ，Ａ）

【文献】特開２００９－２３７９９３（ＪＰ，Ａ）

【文献】特開２００８－０４７０７４（ＪＰ，Ａ）

【文献】特開２００６－２５９８２８（ＪＰ，Ａ）

【文献】特開２００９－２４６７９９（ＪＰ，Ａ）

【文献】特開２０１１－１９１９８７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ｇ０８Ｂ １３／００－３１／００

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

映像に映る人物に関して複数種の所定動作をそれぞれ検知する検知手段と、
前記複数種の所定動作が検知された人物を被検知人物として、当該被検知人物を示す特徴情報と、検知回数と、検知された所定動作の種別を示す情報と、検知された前記所定動作が行われた時刻情報と、を関連付けて格納部に格納する格納処理手段と、
前記時刻情報が示す第１の時刻より所定時間前の第２の時刻から当該第１の時刻までの期間における前記被検知人物の前記所定動作の種別毎の検知回数をカウントし、当該所定動作の種別毎の検知回数に所定動作の各種別に対応する重み付けを行うことで得られるスコアに基づいて、前記被検知人物を被疑者に設定する設定手段と、
前記被疑者に設定された前記被検知人物を特定可能な情報を表示部に表示する表示処理手段と、
を備える監視システム。

【請求項2】

前記格納処理手段は、前記被検知人物の特徴を示す特徴情報に関連付けて、検知回数および前記被検知人物を識別する識別情報を更に前記格納部に格納し、
前記設定手段は、同一の被検知人物の特徴情報に異なる前記識別情報が関連付けられている場合、当該被検知人物の識別情報を同一の識別情報に更新する、
請求項１に記載の監視システム。

【請求項3】

格納された前記特徴情報に基づいて、同一の被検知人物に異なる識別情報が関連付けられているか否かを判定する判定手段を更に備える、
請求項２に記載の監視システム。

【請求項4】

前記格納処理手段は、前記被検知人物の画像情報を前記特徴情報として前記格納部に格納し、
前記設定手段は、前記格納部に格納される前記画像情報に基づいて、被検知人物毎の検知回数をカウントする、
請求項２又は３に記載の監視システム。

【請求項5】

前記格納処理手段は、前記特徴情報に関連付けて、検知された前記所定動作が行われた場所を示す場所情報を更に前記格納部に格納し、
前記設定手段は、前記格納部に格納される、前記特徴情報および前記場所情報に基づいて、被検知人物毎の検知回数をカウントする、
請求項２から４のいずれか１項に記載の監視システム。

【請求項6】

前記表示処理手段は、前記被疑者に設定された前記被検知人物を含む映像に、その映像内の前記被疑者に設定された前記被検知人物を特定可能な情報が付加された映像を前記表示部に表示する、
請求項１から５のいずれか１項に記載の監視システム。

【請求項7】

前記格納処理手段は、前記被検知人物の画像及び前記被疑者に設定されたことを示す情報を関連付けて前記格納部に格納し、
前記表示処理手段は、
前記被疑者に設定されたことを示す情報と関連付けられて前記格納部に格納される情報に基づいて、各被疑者の画像をそれぞれ含む被疑者のリストを前記表示部に表示する、
請求項１から６のいずれか１項に記載の監視システム。

【請求項8】

映像の中で複数種の所定動作が検知された人物を被検知人物として、当該被検知人物を示す特徴情報と、検知回数と、検知された所定動作の種別を示す情報と、検知された前記所定動作が行われた時刻情報と、を関連付けて格納部に格納する格納処理手段と、
前記時刻情報が示す第１の時刻より所定時間前の第２の時刻から当該第１の時刻までの期間における前記被検知人物の前記所定動作の種別毎の検知回数をカウントし、当該所定動作の種別毎の検知回数に所定動作の各種別に対応する重み付けを行うことで得られるスコアに基づいて、前記被検知人物を被疑者に設定する設定手段と、
前記被疑者に設定された前記被検知人物を特定可能な情報を表示部に表示する表示処理手段と、
を備える監視制御装置。

【請求項9】

少なくとも一つのコンピュータにより実行される監視方法において、
映像に映る人物に関して複数種の所定動作をそれぞれ検知し、
前記複数種の所定動作が検知された人物を被検知人物として、当該被検知人物を示す特徴情報と、検知回数と、検知された所定動作の種別を示す情報と、検知された前記所定動作が行われた時刻情報と、を関連付けて格納部に格納し、
前記時刻情報が示す第１の時刻より所定時間前の第２の時刻から当該第１の時刻までの期間における前記被検知人物の前記所定動作の種別毎の検知回数をカウントし、当該所定動作の種別毎の検知回数に所定動作の各種別に対応する重み付けを行うことで得られるスコアに基づいて、前記被検知人物を被疑者に設定し、
前記被疑者に設定された前記被検知人物を特定可能な情報を表示部に表示する、
ことを含む監視方法。

【請求項10】

少なくとも一つのコンピュータを、
映像に映る人物に関して複数種の所定動作をそれぞれ検知する検知手段、
前記複数種の所定動作が検知された人物を被検知人物として、当該被検知人物を示す特徴情報と、検知回数と、検知された所定動作の種別を示す情報と、検知された前記所定動作が行われた時刻情報と、を関連付けて格納部に格納する格納処理手段、
前記時刻情報が示す第１の時刻より所定時間前の第２の時刻から当該第１の時刻までの期間における前記被検知人物の前記所定動作の種別毎の検知回数をカウントし、当該所定の動作の種別毎の検知回数に所定動作の各種別に対応する重み付けを行うことで得られるスコアに基づいて、前記被検知人物を被疑者に設定する設定手段、
前記被疑者に設定された前記被検知人物を特定可能な情報を表示部に表示する表示処理手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像監視技術に関する。

【背景技術】

【0002】

映像を監視して何等かの行動を検知する様々な手法が提案されている。例えば、下記特許文献１では、ステレオカメラの映像を利用して、監視対象の不審行動を検知する不審行動検知システムが提案されている。このシステムは、監視対象の移動軌跡情報を取得し、この移動軌跡情報に基づいて監視対象の行動状態を識別して、監視対象の不審行動を自動で判定する。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１２－１２８８７７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上述の提案手法のような、映像を用いた不審行動の自動判定では、誤判定を完全になくすことは困難である。所定の行動を不審行動と決め、その所定の行動を検知することはできるが、不審者ではない普通の人が偶然にその所定行動を取る可能性もあるからである。立ち入り禁止エリアに侵入する行動や、ころぶ、走り出すといった行動は、検知すべき動作を機械的に定めることができるため、誤判定を減らすことができる。ところが、不審行動、万引きやスリ等の窃盗時の行動は、一定の動作で一律に特定できるものではない。従って、そのような特定行動を判定対象とする場合には、そのような特定行動に一律に結びつく動作はないため、そのような特定行動に該当する可能性のある動作が検知対象とされる。結果、普通の人が偶然にその検知対象とされた動作を取る可能性は高まり、普通の人の動作の検知に伴う誤判定が増えることになる。そして、誤判定も含めて上述の特定行動と判定される度に、店員や警備員に通知するのは、現実的な運用ではない。

【0005】

本発明は、このような事情に鑑みてなされたものであり、誤判定を防ぐ映像監視技術を提供する。

【課題を解決するための手段】

【0006】

本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。

【0007】

第一の側面は、監視システムに関する。第一の側面に係る監視システムは、映像に映る人物の所定動作を検知する検知手段と、その所定動作が検知された人物を示す情報を検知回数と関連付けて格納部に格納する格納処理手段と、検知回数に基づいて、当該人物を被疑者に設定する設定手段と、を有する。

【0008】

第二の側面は、少なくとも一つのコンピュータにより実行される監視方法に関する。第二の側面に係る監視方法は、映像に映る人物の所定動作を検知し、その所定動作が検知された人物を示す情報を検知回数と関連付けて格納部に格納し、検知回数に基づいて、当該人物を被疑者に設定する、ことを含む。

【0009】

なお、本発明の他の側面は、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムである。また、他の側面は、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体である。この記録媒体は、非一時的な有形の媒体を含む。

【発明の効果】

【0010】

上記各側面によれば、誤判定を防ぐ映像監視技術を提供することができる。

【図面の簡単な説明】

【0011】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【0012】

【図1】第一実施形態における監視システムのハードウェア構成例を概念的に示す図である。

【図2】第一実施形態における監視制御装置の処理構成例を概念的に示す図である。

【図3】第一実施形態における検知情報格納部の例を示す図である。

【図4】表示の第一例を示す図である。

【図5】表示の第二例を示す図である。

【図6】第一実施形態における監視制御装置の動作例を示すフローチャートである。

【図7】第一実施形態における監視制御装置の動作例を示すフローチャートである。

【図8】第一実施形態における監視制御装置の動作例を示すフローチャートである。

【図9】第二実施形態における検知情報格納部の例を示す図である。

【図10】第三実施形態における監視システムの処理構成例を概念的に示す図である。

【図11】第三実施形態における監視システムの動作例を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について説明する。なお、以下に挙げる各実施形態はそれぞれ例示であり、本発明は以下の各実施形態の構成に限定されない。

【0014】

［第一実施形態］
〔システム構成〕
図１は、第一実施形態における監視システム１のハードウェア構成例を概念的に示す図である。監視システム１は、監視制御装置１０、複数の監視カメラ９（＃１）、９（＃２）及び９（＃ｎ）等を有する。

【0015】

監視システム１は、各監視カメラ９で撮像された画像に基づいて、所定動作が検知された人物の中から被疑者を判定する。「被疑者」とは、犯罪の容疑者という意味だけでなく、一定の動作で一律に特定することが難しい人物であって、継続的に行われる特定行動を取る人物という意味も含む。監視システム１は、例えば、万引きやスリ等の窃盗犯の容疑者、痴漢犯の容疑者、犯罪者となり得る挙動不審者、迷子の可能性が高い子供などを被疑者と判定することができる。但し、被疑者は、上述のような例に限定されない。しかしながら、説明を分かり易くするために、本実施形態は、万引き犯の容疑者を被疑者と判定する例を用いて、説明される。

【0016】

複数の監視カメラ９（＃１）、９（＃２）及び９（＃ｎ）は、撮像方向を変更できない固定式のカメラであってもよいし、撮像方向を変更できる可動式のカメラであってもよいし、両者を含んでもよい。以降、個々の監視カメラを区別する必要がある場合を除き、各監視カメラを「監視カメラ９」と総称する。各監視カメラ９は、異なる場所にそれぞれ設置され、各々の撮像エリアを撮像する。但し、監視カメラ９は、少なくとも一つの他の監視カメラ９と撮像領域に重なりが生じるように、設置されてもよい。

【0017】

監視カメラ９は、映像信号（画像フレーム）を通信ユニット５に送る。監視カメラ９が通信ユニット５に送る画像フレームの送信レートは制限されない。画像フレームの送信レートが高ければ、監視制御装置１０は、時間単位で多くの画像フレームを取得することができるため、高精度の監視制御を行うことができる。画像フレームの送信レートは、監視カメラ９のフレームレートの仕様、監視制御装置１０と監視カメラ９との間の通信容量、監視システム１に要求される精度等に応じて、決められれば良い。また、監視カメラ９は、映像信号を出力できれば、その性能や機能は制限されない。

【0018】

監視制御装置１０は、いわゆるコンピュータであり、例えば、バスで接続される、ＣＰＵ（Central Processing Unit）２、メモリ３、入出力インタフェース（Ｉ／Ｆ）４、通信ユニット５等を有する。図１に示されるハードウェア構成は例示であり、監視制御装置１０のハードウェア構成は、図１に示される例に限定されない。監視制御装置１０は、図示されていない他のハードウェア要素を含み得る。また、各装置の数及び各ハードウェア要素の数も、図１の例に限定されない。例えば、監視システム１は、複数の監視制御装置１０を有していてもよいし、監視制御装置１０は複数のＣＰＵ２を有していてもよい。

【0019】

ＣＰＵ２には、特定用途向け集積回路（ＡＳＩＣ）、ＤＳＰ（Digital Signal Processor）、ＧＰＵ（Graphics Processing Unit）等も含まれてもよい。メモリ３は、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、補助記憶装置（ハードディスク等）である。

【0020】

入出力Ｉ／Ｆ４は、表示装置７、入力装置８、プリンタ（図示せず）等のユーザインタフェース装置と接続可能である。表示装置７は、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）ディスプレイのような、ＣＰＵ２により処理された描画データに対応する表示を出力する装置である。表示装置７は、各監視カメラ９から送られる映像信号から得られる画像をそれぞれ表示してもよい。入力装置８は、キーボード、マウス等のようなユーザ操作の入力を受け付ける装置である。また、入出力Ｉ／Ｆ４には、表示装置７及び入力装置８が一体化されたタッチパネルが接続されてもよい。

【0021】

通信ユニット５は、他のコンピュータや機器と、有線通信又は無線通信により信号のやりとりを行う。本実施形態では、通信ユニット５は、複数の監視カメラ９と通信する。通信ユニット５と各監視カメラ９との通信手法は制限されない。例えば、通信ユニット５は、各監視カメラ９から映像信号をそれぞれ取得し、監視カメラ９への指示信号を送る。また、通信ユニット５には、可搬型記録媒体等も接続され得る。

【0022】

〔処理構成〕
図２は、第一実施形態における監視制御装置１０の処理構成例を概念的に示す図である。図２に示されるように、監視制御装置１０は、取得部１１、画像格納部１２、検知部１３、格納処理部１４、検知情報格納部１５、設定部１６、検出部１７、表示処理部１８、出力処理部１９等を有する。取得部１１、画像格納部１２、検知部１３、格納処理部１４、検知情報格納部１５、設定部１６、検出部１７、表示処理部１８及び出力処理部１９は、例えば、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ（Compact Disc）、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから入出力Ｉ／Ｆ４又は通信ユニット５を介してインストールされ、メモリ３に格納されてもよい。

【0023】

取得部１１は、各監視カメラ９により撮像された画像のデータを各監視カメラ９からそれぞれ取得する。具体的には、取得部１１は、各監視カメラ９から送られる映像信号から画像データを逐次取得する。このとき、取得部１１は、入力された映像信号を任意のタイミングでキャプチャすることにより、画像データを取得してもよい。取得部１１は、取得された画像データをその画像を撮像した監視カメラ９の識別情報と関連付けて、画像格納部１２に格納する。画像格納部１２に格納される画像データは、動画データ又は静止画データ、若しくは両者である。

【0024】

取得部１１は、可搬型記録媒体、他のコンピュータ等から通信ユニット５を介して、画像データを取得してもよい。例えば、取得部１１は、カメラで撮影した画像を一旦蓄積して配信する、画像蓄積配信装置から画像データを取得してもよいし、画像を蓄積し、再生する画像録画器から画像データを取得してもよい。以降、取得部１１で取得される画像データ及び画像格納部１２に格納される画像データは、画像と表記される場合もある。

【0025】

検知部１３は、取得部１１で取得される画像又は画像格納部１２に格納される画像から、その映像に映る人物に関して、複数種の所定動作をそれぞれ検知する。検知部１３は、監視カメラ９毎にこのような検知を行うため、以下の説明は、或る一つの監視カメラ９で撮像された画像群を対象とする。

【0026】

まず、検知部１３は、画像から人物を検知する。検知部１３は、人の全身を検知してもよいし、頭部、顔、上半身等のように人の一部を検知してもよい。検知部１３は、周知の画像認識手法を用いて人物を検知する。例えば、検知部１３は、人の検知範囲に相当する画像の特徴量を保持し、入力画像中のその特徴量と類似する領域を当該検知範囲として検知する。検知部１３による人物の検知手法は限定されない。

【0027】

検知部１３は、一つの監視カメラ９から逐次取得される画像に基づいて、上述のように検知された人物における複数種の所定動作をそれぞれ検知する。検知部１３による検知対象となる複数種の所定動作は、被疑者が継続的に行いかつ通常の人の動作となるべく区別できる動作に設定される。一種の所定動作で被疑者の候補に挙げることが出来る場合には、検知部１３は、一種の所定動作のみを検知してもよい。被疑者が万引き被疑者である場合には、検知部１３は、例えば、商品を買い物かごから出す動作、商品を手に取って見る動作、辺りを見廻す動作、天井方向を見上げる動作などのような複数種の所定動作の検知を試みる。

【0028】

検知部１３は、所定動作の種別によっては、その所定動作を特定可能な、人の一以上の姿態（見た目の形）の画像情報を予め保持する。例えば、商品を買い物かごから出す動作については、手を買い物かごに入れる姿態の画像情報と、手を買い物かごから取り出す姿態の画像情報とが保持される。また、天井方向を見上げる動作については、顔が天井方向を向いた姿態の画像情報が保持される。この場合、検知部１３は、検知された人物を複数の画像間で追跡（トラッキング）しながら、その人物の姿態が、保持される画像情報で示される所定の姿態となることを見つける。複数画像間の人物の追跡手法には、物体及び人物の周知の追跡手法が用いられれば良い。例えば、検知部１３は、各画像でそれぞれ検知された各人物領域の特徴量を比較して、近似する人物領域どうしを同一人物と認識する。検知部１３による人物の追跡手法は制限されない。但し、複数の画像間でのトラッキングを行わずに、人物が所定姿態となることを検知することもできる。この場合、例えば、検知部１３は、画像毎に人物検知を行い、検知された人物が、保持される画像情報で示される姿態となっていることを検知する。

【0029】

また、検知対象となる所定動作の中には、辺りを見廻す動作のように、一つの静止画像では判断し難い動作も存在する。この場合、検知部１３は、上述のように複数の画像間で人物追跡を行い、姿態の変化を検知することで、そのような所定動作を検知することができる。例えば、検知部１３は、人物追跡により頭部の向きの変化を検知することで、辺りを見廻す動作を検知することが出来る。また、ウロウロする動作も、一つの静止画像で判断し難い動作の一例である。この動作について、検知部１３は、次のように検知することが出来る。例えば、検知部１３は、一度検知した人物の画像特徴情報を保持しながら、その人物が映像から消えたことを認識し、再度、その映像にその人物が戻ってきたことを認識する。検知部１３は、検知した人物が消えて現れる事象の回数をカウントし、その回数が所定回数を超えた場合に、ウロウロする動作を検知する。

【0030】

監視カメラ９の設置位置や監視カメラ９の画素数（画像解像度）等に応じて、検知部１３は、更に細かい所定動作を検知することもできる。例えば、検知部１３は、キョロキョロする目の動き、独り言を継続的に発言している口元の動き、怒っている顔の動きなどを所定動作として検知することもできる。
検知部１３により検知される所定動作の具体的内容やその所定動作の検知手法は、上述の例に限定されない。

【0031】

検知部１３は、所定動作を検知する度に、検知情報格納部１５に格納するための情報を生成する。例えば、検知部１３は、所定動作が検知された画像を撮像した監視カメラ９の識別情報、検知された所定動作が撮像された時刻、所定動作が検知された人物の画像データ、その人物の画像特徴情報等を生成する。時刻は、例えば、所定動作が検知された画像（画像フレーム）の時刻情報から特定することができる。生成される画像データは、所定動作が検知された人物の顔を含む画像そのものであってもよいし、その画像からその人物の顔を含む部分領域を抜き出して生成されてもよい。画像特徴情報は、例えば、人物追跡等の際に用いられる手法で生成される。

【0032】

例えば、検知部１３は、所定動作を検知する度に、検知情報格納部１５に格納するための上述のような情報と共に検知されたことを格納処理部１４に知らせる。検知部１３は、人物追跡等により、同一人物について複数種の所定動作の一以上を複数回検知したことを把握できる場合には、所定動作の検知毎に、同一人物か否かを示す情報を知らせることもできる。また、検知部１３は、同一人物についての追跡を開始してから終了するまでの間、所定動作の検知毎に、上述のような情報を順次生成し、追跡終了後に、生成された全ての情報と共に検知されたことを格納処理部１４に知らせてもよい。

【0033】

また、検知された所定動作が行われた場所及び時刻が検知情報格納部１５に格納されない場合、検知部１３は、所定動作を検知する度に、上述のような場所及び時刻の情報を生成する必要はない。検知部１３は、所定動作を検知する度に、所定動作が検知された人物の画像及び画像特徴情報を格納処理部１４に知らせればよい。また、検知部１３は、同一人物の追跡終了後に、その人物の画像及び画像特徴情報と共に、検知回数を格納処理部１４に知らせることもできる。更に、画像特徴情報が検知情報格納部１５に格納されない場合には、検知部１３は、所定動作が検知された人物の画像のみを格納処理部１４に送ってもよい。

【0034】

検知情報格納部１５は、検知部１３により所定動作が検知された各人物について、その人物をそれぞれ特定することができ、かつ、所定動作の検知回数をそれぞれ取得できるように、検知情報を格納する。検知情報格納部１５に格納される検知情報の内容やその格納形態については制限されない。例えば、所定動作の検知回数は、図３に示される例のように、レコード数から取得されてもよいし、各レコードに含まれる検知回数から取得されてもよいし、両者の組み合わせから取得されてもよい。また、各人物を特定し得る情報としては、各人物の画像データ又は画像特徴情報が格納される。各人物を特定し得る情報としては、画像データ及び画像特徴情報に替え、検知された所定動作が行われた場所及び時刻、並びに画像から抽出される各人物の特徴を示す情報（性別、年齢層、服装の色等）が格納されてもよい。

【0035】

図３は、第一実施形態における検知情報格納部１５の例を示す図である。図３の例では、検知情報格納部１５は、ＩＤ、場所、時刻、画像、画像特徴情報、及び被疑者設定のフィールドのデータをそれぞれ含むレコードを格納するテーブルである。図３の例では、検知情報格納部１５に格納される一レコードが、所定動作の一回分の検知の内容を示す。ＩＤフィールドには、所定動作が検知された各人物を識別するためのＩＤデータが設定される。但し、設定されるＩＤデータは、正確に各人物を識別できていない場合もあり得る。言い換えれば、同じ人物の情報であっても、異なるＩＤが付されて、異なるレコードに格納される場合があり得る。この詳細については、後述する。

【0036】

場所フィールドには、検知された所定動作が行われた場所を特定するデータが設定される。図３の例では、場所フィールドには、当該場所を特定するデータとして、所定動作が検知された画像を撮像した監視カメラ９の識別情報が設定されている。時刻フィールドには、検知された所定動作が行われた時刻を示すデータが設定される。画像フィールドには、所定動作が検知された人物の画像が格納される。格納される画像は、表示に利用されるため、検知された人物の頭部が拡大された画像であることが望ましい。画像特徴情報フィールドには、所定動作が検知された人物の画像の特徴量が設定される。被疑者設定フィールドには、後述の設定部１６により被疑者に設定されているか否かを示す情報（０か１）が設定される。以降、被疑者設定フィールドに「被疑者に設定されていることを示す情報（１）」が設定されている状態が、「被疑者フラグがＯＮである」又は「被疑者フラグが設定されている」と表記される場合もある。レコード追加時には、被疑者フラグは設定されていない、即ち、被疑者設定フィールドの初期値は、被疑者に設定されていないことを示す情報（０）である。図３の例では、人物を特定可能な情報としては、ＩＤ、場所、時刻及び画像が格納されており、検知回数は、同一ＩＤを含むレコードの数により取得可能である。

【0037】

格納処理部１４は、検知部１３が複数種の所定動作のいずれか一つを検知した場合に、その検知に関連する情報を検知部１３から取得し、その情報を検知情報格納部１５に格納する。

【0038】

図３の例では、格納処理部１４は、検知部１３による複数種の所定動作のいずれか一つの検知毎に、検知情報格納部１５に新たなレコードを追加する。格納処理部１４は、所定動作が検知される度に、検知部１３からその旨の通知を受けてもよい。また、格納処理部１４は、検知部１３において或る人物の追跡が終了した時点で、その追跡の間の全ての検知情報をまとめて、検知部１３から取得することもできる。この場合、格納処理部１４は、人物追跡が終了した時点で、複数のレコードを検知情報格納部１５に格納することもあり得る。

【0039】

しかしながら、検知情報格納部１５の各レコードに検知回数のフィールドが含まれている場合も有り得る。この場合、格納処理部１４は、検知部１３において或る人物の追跡が終了した時点で、検知情報格納部１５に新たなレコードを追加してもよい。格納処理部１４は、或る人物の追跡が開始されてから終了するまでの間に所定動作が検知された回数を自らカウントしてもよいし、その検知回数を検知部１３から取得してもよい。格納処理部１４は、追加されたレコードにその検知回数を設定する。

【0040】

格納処理部１４は、次のようにして、検知情報格納部１５の各レコードに設定すべきＩＤを決定する。格納処理部１４は、検知部１３から同一人物に関する所定動作の検知であることを示す情報を受ける場合には、その情報に基づいて、同一人物の検知を示す各レコードに同じＩＤをそれぞれ付与する。一方、検知部１３からそのような情報を受けない場合、格納処理部１４は、各レコードに異なるＩＤをそれぞれ付与してもよい。上述のいずれの場合でも、同一人物により行われた所定動作であっても異なるＩＤが付される可能性は十分にあり得る。人物追跡を行う検知部１３においても、異なる時間帯や異なる日に撮像された画像から検知された各所定動作がそれぞれ同一人物の動作であると確定できるとは限らない。

【0041】

一方、或る人物についての自動追跡が行える間に検知された所定動作は、同一人物の動作である可能性が高い。よって、各レコードに設定されるＩＤの確度を示すフィールドが検知情報格納部１５で設けられてもよい。例えば、格納処理部１４は、検知部１３から同一人物に関する所定動作の検知であることを示す情報を受けた場合、同一人物の検知を示す各レコードに同じＩＤをそれぞれ付与し、更に、確度フィールドに確度が高いことを示すフラグをそれぞれ設定する。また、各レコードに検知回数フィールドが設けられている場合には、個々のレコードは、同一人物の情報を格納している可能性が高くなる。

【0042】

図３の例では、格納処理部１４は、所定動作が検知された画像に対応する監視カメラ９の識別情報を検知部１３から取得し、その識別情報を検知情報格納部１５の場所フィールドに設定する。格納処理部１４は、監視カメラ９の識別情報と場所を識別する識別情報とが関連付けられて格納されるテーブルを予め保持し、そのテーブルから抽出される場所の識別情報を、監視カメラ９の識別情報の代わりに検知情報格納部１５に格納することもできる。
図３の例では、格納処理部１４は、検知された所定動作の撮像時刻を検知部１３から取得し、その撮像時刻を検知情報格納部１５の時刻フィールドに設定する。

【0043】

格納処理部１４は、所定動作が検知された人物の画像データ及び画像特徴情報を検知部１３から取得し、その画像データ及びその画像特徴情報を検知情報格納部１５の画像フィールド及び画像特徴情報フィールドに格納する。検知情報格納部１５の各レコードに格納される画像データ及び画像特徴情報は、表示及び同一人物の把握のための情報である。よって、それら各フィールドには、様々な向きや服装に対応するために、同一人物を表す複数の画像データ及び複数の画像特徴情報が格納されることが望ましい。

【0044】

更に、格納処理部１４は、検知情報格納部１５に格納される全てのレコードの中の、設定部１６により被疑者に設定された人物に対応するレコードの被疑者設定フィールドに、被疑者フラグ（１）を設定する。このとき、格納処理部１４は、被疑者に設定された人物に対応するＩＤを設定部１６から取得し、このＩＤで上述の設定を行うべきレコードを特定することができる。

【0045】

設定部１６は、検知情報格納部１５を参照することにより、複数種の所定動作の一以上が検知部１３により検知された人物の検知回数を取得し、この検知回数に基づいて、検知情報格納部１５に格納される情報で示される人物の中から被疑者を判定する。被疑者については上述したとおりであり、本実施形態では、設定部１６は、万引き犯の容疑者を被疑者として決定する。

【0046】

設定部１６は、検知情報格納部１５に格納される情報の中の各人物を特定するための情報に基づいて、検知情報格納部１５に格納される全てのレコードの中の、異なるＩＤが付されたレコードで、同一人物を示すと推測されるレコードを特定する。例えば、設定部１６は、検知情報格納部１５に格納される画像データ又は画像特徴情報、若しくはそれら両方を、異なるＩＤが設定されるレコード間で比較することにより、同一人物を示すと推測されるレコードを特定する。画像データ又は画像特徴情報の類似度が所定閾値を超えるレコード同士が同一人物を示すと推測されるレコードに決定され、設定部１６は、各レコードのＩＤフィールドを同一ＩＤに更新する。

【0047】

設定部１６は、上述の画像データ及び画像特徴情報に加えて、検知情報格納部１５に格納される場所及び時刻の情報をレコード間で更に比較することで、同一人物を示すと推測されるレコードを特定してもよい。例えば、画像データ又は画像特徴情報の類似度が所定閾値より低い場合でも、或る程度の高さを示す場合（所定の下限閾値より高い類似度の場合）に、設定部１６は、場所及び時刻が近ければ、それらレコードを同一人物を示すと推測することもできる。

【0048】

また、画像データ及び画像特徴情報が格納されず、検知情報格納部１５に、各人物を特定するための情報として、場所、時刻、及び画像から抽出される各人物の特徴を示す情報（性別、年齢層、服装の色等）が格納される場合も有り得る。この場合、設定部１６は、異なるＩＤが設定されたレコード間で、場所、時刻、及び各人物の特徴を示す情報をそれぞれ比較することで、同一人物を示すと推測されるレコードを特定してもよい。場所及び時間が近く、かつ同一特徴を示すレコードは、同一人物を示すと推測することができる。

【0049】

また、設定部１６は、上述のように、異なるＩＤが付されたレコード間で同一人物を示すと推測されるレコードの特定を行わなくてもよい。これは、異なるＩＤが付されたレコードは、異なる人物の情報であると決める場合である。この場合、検知部１３による検知処理（人物追跡等）で認識できる範囲で人物同一が判断されることになる。

【0050】

設定部１６は、検知情報格納部１５に格納されるレコードの中で同一ＩＤを含むレコードを特定し、特定されたレコードに基づいて、そのＩＤで示される人物の検知回数をカウントする。図３の例では、設定部１６は、同一ＩＤを含むレコードの数を検知回数としてカウントする。また、レコードに検知回数が含まれる場合には、設定部１６は、その検知回数を足し合わせることで、検知回数を算出する。

【0051】

設定部１６は、算出された検知回数が予め保持される所定回数を超えた人物を被疑者に決定する。予め保持される所定回数は、被疑者がどのような人物かによって適宜決められる。例えば、万引き犯の容疑者が判定対象の被疑者である場合、万引き行為には常習性があると言われているため、当該所定回数は、１０回程度に設定される。但し、当該所定回数の具体的数値は制限されない。

【0052】

設定部１６は、被疑者に決定した人物を示すＩＤを格納処理部１４に知らせることで、そのＩＤが設定されたレコードの被疑者設定フィールドの値を格納処理部１４に設定させる。設定部１６は、検知情報格納部１５に新たなレコードが追加される度に動作してもよいし、所定の周期で動作してもよい。

【0053】

検出部１７は、検知情報格納部１５に格納されるレコードの中の、被疑者フラグ（１）が設定されているレコードに基づいて、映像から、被疑者と推定される人物を検出する。この映像は、取得部１１により監視カメラ９から取得されるリアルタイム映像であってもよいし、画像格納部１２に格納される画像（録画画像も含む）であってもよい。具体的には、検出部１７は、元の映像から検知部１３と同様の手法により人物を表す画像領域を検出し、その画像領域の画像特徴情報と上述のレコードに含まれる画像特徴情報との類似度を算出する。検出部１７は、その類似度が所定閾値を超える場合に、当該元の映像に被疑者と推定される人物が含まれることを検出することができる。

【0054】

出力処理部１９は、検出部１７により被疑者と推定される人物が検出されたことを報知する。報知方法は、被疑者と推定される人物が検出されたことを知らせることができるのであれば、どのような方法であってもよい。例えば、出力処理部１９は、予め登録されているメールアドレスにその旨のメールを送信する。また、出力処理部１９は、後述の表示処理部１８にその旨を表示させてもよいし、パトランプやＬＥＤ（Light Emitting Diode）ランプなどの点灯装置を点灯させてもよいし、音声を出力してもよい。この報知は、後述するように表示処理部１８の表示により実現されてもよい。出力処理部１９及び表示処理部１８は報知手段と呼ぶこともできる。

【0055】

表示処理部１８は、画像格納部１２に格納される、各監視カメラ９により撮像された画像を表示装置７に表示する。表示処理部１８は、取得部１１で取得された画像を表示装置７に表示させてもよい。例えば、表示処理部１８は、表示装置７に各監視カメラ９により撮像された映像をそれぞれ常時表示させることもできるし、画像格納部１２に格納された映像（録画映像であってもよい）を表示させることもできる。

【0056】

加えて、表示処理部１８は、被疑者に設定された人物を含む映像に、その映像内の被疑者に設定された人物を特定可能な情報が付加された映像を表示装置７に表示する。当該情報が付された映像は、様々な形態で表示され得る。

【0057】

図４は、表示の第一例を示す図である。図４の例では、人物を特定可能な情報として、矢印図形Ｍ１が付加されている。矢印図形は、被疑者に設定された人物を指し示すように、配置される。
図５は、表示の第二例を示す図である。図５の例では、人物を特定可能な情報として、検知情報格納部１５のレコードに格納される画像データＭ２が付加されている。図５の例では、その画像データＭ２に加えて、当該レコードに格納される他の情報（場所や時刻等を含む検知履歴）も表示されている。

【0058】

被疑者に設定された人物を特定可能な情報が付加される元の映像は、検知された所定動作が表れる静止画像又は動画像であってもよいし、監視カメラ９から得られるリアルタイム映像や録画映像であってもよい。例えば、表示処理部１８は、検知情報格納部１５に格納される、被疑者フラグ（１）が設定されたレコードから、場所データ及び時刻データを抽出し、それらデータにより示される撮像場所及び撮像時刻に対応する静止画像又は動画像を画像格納部１２から抽出する。表示処理部１８は、抽出された静止画像又は動画像に当該被疑者を特定可能な情報を付加し、得られた画像を表示装置７に表示する。このとき、表示処理部１８は、検知情報格納部１５のレコードに含まれる画像特徴情報を利用して、元の静止画像又は動画像内で、被疑者に対応する画像領域を検出することもできる。

【0059】

また、表示処理部１８は、検出部１７により被疑者と推定される人物が検出された場合に、その検出された人物を特定可能な情報がその検出に利用された映像に付加された映像を表示装置７に表示してもよい。例えば、表示処理部１８は、検出部１７から検出された人物の画像内の位置情報を取得し、その位置情報が示す位置に、上述の矢印図形のようなその人物を特定可能な情報を付加することができる。また、表示処理部１８は、検出された人物を推測する根拠とされた検知情報格納部１５のレコードのＩＤを検出部１７から取得し、そのＩＤに基づいて検知情報格納部１５のレコードから画像データを抽出し、その画像データを元の映像に付加することもできる。

【0060】

更に、表示処理部１８は、検知情報格納部１５に格納される、被疑者フラグ（１）が設定されたレコードに基づいて、各被疑者の画像をそれぞれ含む被疑者のリストを表示装置７に表示することもできる。このリスト表示に含まれる一人の被疑者の情報は、被疑者フラグ（１）が設定されかつ同一のＩＤを含むレコードから抽出される。リスト表示に含まれる一人の被疑者の情報は、複数のレコードに格納される情報（画像データも含む）の中から選択された一以上の情報となる。

【0061】

〔動作例／監視方法〕
以下、第一実施形態における監視方法について図６、図７及び図８を用いて説明する。図６、図７及び図８は、第一実施形態における監視制御装置１０の動作例を示すフローチャートである。図６、図７及び図８に示されるように、監視方法は、監視制御装置１０のような少なくとも一つのコンピュータにより実行される。図示される各工程は、例えば、監視制御装置１０の各処理モジュールにより実行される。各工程は、監視制御装置１０の各処理モジュールの上述の処理内容と同様であるため、各工程の詳細は、適宜省略される。

【0062】

図６には、所定動作の検知を契機に、被疑者の設定及び被疑者を特定可能な情報が付加された映像の表示が行われる場合の動作例が示される。図６に示される動作は、監視カメラ９毎に実施されるため、以下の説明では、一つの監視カメラ９から得られる映像が対象とされる。

【0063】

監視制御装置１０は、監視カメラ９から映像を取得し、その映像に映る人物に関し、複数種の所定動作の一以上を検知する（Ｓ６１）。監視制御装置１０は、上述のように、映像内で人物を検知するために必要となる情報や、種別毎に所定動作の検知のために必要となる情報を予め保持する。監視制御装置１０による所定動作の検知の方法については、上述したとおりである。

【0064】

監視制御装置１０は、（Ｓ６１）での検知に関する情報を含むレコードを検知情報格納部１５に追加する（Ｓ６２）。検知に関する情報は、所定動作が検知された各人物について、その人物をそれぞれ特定することができ、かつ、所定動作の検知回数をそれぞれ取得できるように、検知情報格納部１５に格納される。検知情報格納部１５に格納される検知情報については上述したとおりである。上述したとおり、監視制御装置１０は、所定動作の検知の度に、（Ｓ６２）を実行してもよいし、同一人物の画像追跡（トラッキング）が終了された時点で、その画像追跡の開始から終了までの間の全ての検知について、（Ｓ６２）を実行してもよい。以降、図３に示される検知情報格納部１５の例を用いて説明し、（Ｓ６２）において、一つのレコードが検知情報格納部１５に追加されたと仮定する。

【0065】

監視制御装置１０は、（Ｓ６２）で新たに追加されたレコードのＩＤとは異なるＩＤを含みかつ（Ｓ６１）で所定動作が検知された人物を示すと推測される他のレコードが検知情報格納部１５に格納されていないかを確認する（Ｓ６３）。この確認は、各レコードに含まれる画像特徴情報又は画像データ、若しくはその他の情報（場所、時刻等）を用いて行われる。この確認方法については、設定部１６の処理内容と同様である。当該他のレコードが存在する場合（Ｓ６４；ＹＥＳ）、監視制御装置１０は、（Ｓ６２）で追加されたレコードのＩＤを当該他のレコードに設定されているＩＤに置き換える（Ｓ６５）。更に、監視制御装置１０は、当該他のレコードに被疑者フラグ（１）が設定されている場合には（Ｓ６６；ＹＥＳ）、（Ｓ６２）で追加されたレコードに被疑者フラグ（１）を設定する（Ｓ６７）。即ち、監視制御装置１０は、（Ｓ６１）で所定動作が検知された人物は、過去の検知回数から既に被疑者に設定されている人物と同一と推測できると判断する。

【0066】

監視制御装置１０は、当該他のレコードが存在しない場合（Ｓ６４；ＮＯ）、又は当該他のレコードに被疑者フラグ（１）が設定されていない場合には（Ｓ６６；ＮＯ）、（Ｓ６８）を実行する。（Ｓ６８）では、監視制御装置１０は、（Ｓ６１）で所定動作が検知された人物の検知回数をカウントする。図３の例によれば、監視制御装置１０は、（Ｓ６１）で所定動作が検知された人物を示すＩＤを含むレコードの数を検知回数としてカウントする。

【0067】

監視制御装置１０は、（Ｓ６８）でカウントされた検知回数が所定回数を超えるか否かを判断する（Ｓ６９）。所定回数は予め保持される。監視制御装置１０は、検知回数が所定回数以下であれば（Ｓ６９；ＮＯ）、その人物を被疑者ではないとみなして、そのまま映像を表示する（Ｓ７２）。一方、監視制御装置１０は、検知回数が所定回数を超える場合（Ｓ６９；ＹＥＳ）、その人物を被疑者に設定する（Ｓ７０）。具体的には、監視制御装置１０は、（Ｓ６２）で追加されたレコード及び同一人物を示すとして特定された当該他のレコードの被疑者設定フィールドに被疑者フラグ（１）を設定する。

【0068】

監視制御装置１０は、所定動作が検知された映像に、その所定動作が検知された人物、即ち被疑者に設定された人物を特定可能な情報を付加する（Ｓ７１）。監視制御装置１０は、その情報が付加された映像を表示する（Ｓ７２）。被疑者に設定された人物を特定可能な情報は、図４に例示されるようなその人物を指す矢印画像であってもよいし、図５に例示されるような所定動作が検知された人物の画像データであってもよい。

【0069】

図７には、検知情報格納部１５に格納されるレコードの被疑者設定を任意のタイミングで更新する場合の動作例が示される。上述の図６に示される動作例では、所定動作の検知を契機に被疑者設定が行われた。しかしながら、第一実施形態における監視方法は、図６に示される例に限定されない。例えば、図６の（Ｓ６１）及び（Ｓ６２）のみが実行されながら、それらと並行して、図７に示される動作が実行されてもよい。

【0070】

監視制御装置１０は、検知情報格納部１５に格納される全てのレコードの中の、異なるＩＤが付されたレコードで、同一人物を示すと推測されるレコードを特定する（Ｓ８１）。監視制御装置１０は、異なるＩＤが付された各レコードに含まれる情報の中の各人物を特定するための情報を用いて、同一人物を示すと推測されるレコードを特定する。この特定方法については、設定部１６の処理内容と同様である。

【0071】

監視制御装置１０は、異なるＩＤが付されたレコードで同一人物を示すレコードが存在する場合、即ち、ＩＤを更新すべきレコードが存在する場合（Ｓ８２；ＹＥＳ）、同一人物を示すとして特定されたレコードのＩＤを同一のＩＤに更新する（Ｓ８３）。更に、監視制御装置１０は、必要に応じて、被疑者設定フィールドの値も更新する（Ｓ８３）。具体的には、特定されたレコードの中に、被疑者フラグ（１）が設定されているレコードとそうでないレコードとが混在している場合、監視制御装置１０は、特定された全てのレコードに被疑者フラグ（１）を設定する。

【0072】

続いて、監視制御装置１０は、検知情報格納部１５から、被疑者ではない人物を示すレコードを対象レコードとして抽出する（Ｓ８４）。即ち、被疑者フラグ（１）が設定されていないレコードが対象レコードとして抽出される。
監視制御装置１０は、抽出された対象レコードで示される人物毎の検知回数をカウントする（Ｓ８５）。図３の例によれば、監視制御装置１０は、ＩＤ毎に、レコード数をカウントする。

【0073】

監視制御装置１０は、（Ｓ８５）でカウントされた検知回数が所定回数を超える人物（ＩＤ）が存在するか否かを判定する（Ｓ８６）。ここで用いられる所定回数は、図６の（Ｓ６９）で用いられた所定回数と同じである。監視制御装置１０は、検知回数が所定回数を超える各人物をそれぞれ被疑者に設定する（Ｓ８７）。具体的には、監視制御装置１０は、検知回数が所定回数を超える人物のＩＤを含む全てのレコードに被疑者フラグ（１）を設定する。

【0074】

図８には、検知情報格納部１５で既に被疑者に設定されている人物と推測される人物を映像から検出する場合の動作例が示される。図６では、所定動作が検知された映像に、被疑者を特定可能な情報が付加された。しかしながら、第一実施形態における監視方法は、図６に示される例に限定されない。例えば、図６の（Ｓ６１）及び（Ｓ６２）のみが実行されながら、それらと並行して、図７に示される動作、及び図８に示される動作が実行されてもよい。

【0075】

監視制御装置１０は、検知情報格納部１５から、被疑者に設定されている人物を示すレコードを抽出する（Ｓ９１）。言い換えれば、監視制御装置１０は、被疑者フラグ（１）が設定されているレコードを抽出する。監視制御装置１０は、抽出されたレコードに含まれる画像特徴情報を保持しておく（Ｓ９２）。

【0076】

監視制御装置１０は、映像を取得する（Ｓ９３）。この映像は、監視カメラ９から取得されるリアルタイム映像であってもよいし、画像格納部１２に格納される画像（録画画像も含む）であってもよい。

【0077】

監視制御装置１０は、（Ｓ９２）で保持された画像特徴情報を用いて、（Ｓ９３）で取得された映像内で被疑者と推測される人物を検出する（Ｓ９４）。この検出手法は、検出部１７の処理内容と同様である。

【0078】

監視制御装置１０は、映像内で被疑者と推測される人物を検出した場合（Ｓ９５；ＹＥＳ）、その映像に、検出された人物を特定可能な情報を付加する（Ｓ９６）。例えば、監視制御装置１０は、検出された人物の映像内の位置情報に基づいて、その位置情報が示す位置に、上述の矢印図形のようなその人物を特定可能な情報を付加することができる。また、監視制御装置１０は、（Ｓ９４）での検出の根拠とされた画像特徴情報と同一レコードに含まれる画像データを元の映像に付加することもできる。

【0079】

監視制御装置１０は、映像内で被疑者と推測される人物を検出した場合には（Ｓ９５；ＹＥＳ）、（Ｓ９６）で情報が付加された映像を表示し（Ｓ９７）、検出されない場合には（Ｓ９５；ＮＯ）、（Ｓ９３）で取得された映像をそのまま表示する（Ｓ９７）。

【0080】

監視制御装置１０は、映像を継続的に表示しながら、所定の周期（フレーム周期）で、（Ｓ９３）から（Ｓ９７）を実行する。また、（Ｓ９３）から（Ｓ９７）の実行タイミングとは、非同期で、（Ｓ９１）及び（Ｓ９２）は実行されてもよい。

【0081】

〔第一実施形態の作用及び効果〕
上述したように、第一実施形態では、取得された画像から人物が検知され、その人物に関して複数種の所定動作の少なくとも一つが検知される。これら所定動作は、被疑者が継続的に行いかつ通常の人の動作となるべく区別できる動作に設定される。例えば、万引き犯の容疑者が判定対象の被疑者である場合、万引き犯がやりそうな怪しい動作が当該所定動作に設定される。そして、当該複数種の所定動作の少なくとも一つが検知された人物を示す情報が、被疑者の候補者として、検知回数と関連付けられて検知情報格納部１５に格納される。第一実施形態では、検知情報格納部１５に格納される情報で示される被疑者の候補者の中で、検知回数が所定回数を超える者が被疑者に設定される。

【0082】

このように、第一実施形態によれば、万引き犯がやりそうな怪しい動作が検知されたとしても、そのことだけを以て直ぐに、その動作を行った人物を被疑者と判定することはしない。これにより、被疑者ではない通常の人がその怪しい動作を偶然行った場合でも、その通常の人は、被疑者と判定され難くなる。通常の人であれば、その怪しい動作を頻繁に行うとは考えにくいからである。逆に、万引き犯や痴漢犯等の犯罪行為は常習性があると言われているため、それらの被疑者は、怪しい動作を繰り返す可能性が高い。第一実施形態によれば、当該怪しい動作の検知回数が所定回数を超える者を被疑者に設定するため、被疑者の誤判定を低減させることができ、被疑者の判定精度を向上させることができる。

【0083】

更に、第一実施形態では、所定動作が検知された映像に、その映像内の被疑者に設定された人物を特定可能な情報が付加された映像が表示される。この映像を見る者は、当該付加される情報の有無により、被疑者の可能性の高い人物が存在するか否かを容易に把握することができる。更に、その者は、所定動作の検知回数が所定回数を超えて被疑者の可能性の高いと判断された人物が存在すること、及びその人物を特定し得る情報を即座に知ることができる。これにより、犯行の確証をつかむことで、被疑者を捕まえたり、早めに声掛けを行うことで犯行を防いだりといった各種対策を取ることができる。

【0084】

また、第一実施形態では、検知情報格納部１５に格納される情報において被疑者が特定されており、被疑者に設定されている人物を示す情報（画像特徴情報等）に基づいて、映像から被疑者と推測される人物が検出される。そして、被疑者と推測される人物が検出されたことが報知される。報知手法の一つとして、その映像に、その検出された人物を特定可能な情報が付加された映像が表示される。これにより、映像内では被疑者が怪しい動作（所定動作）をしなかったとしても、過去の行動経緯から被疑者の可能性が高いとしてマークされていた人物の存在及びその人物に関する情報をその映像を見る者に直ぐに把握させることができる。

【0085】

更に、第一実施形態では、検知情報格納部１５に格納される情報に基づいて、各被疑者の画像をそれぞれ含む被疑者のリストが表示される。即ち、第一実施形態によれば、ブラックリストを生成し、出力することができる。

【0086】

［第二実施形態］
第一実施形態では、検知された所定動作の種別に依存せず、トータルの検知回数に基づいて被疑者が設定された。しかしながら、所定動作の種別毎に、被疑者らしさを示す程度が異なる場合があり得る。例えば、万引き犯の容疑者が判定対象の被疑者の場合に、商品を手に取って見る動作よりも、天井方向を見上げる動作（監視カメラの存在を確認する動作）のほうが、被疑者の可能性をより一層高める。そこで、第二実施形態における監視制御装置１０は、検知された所定動作の種別を管理する。以下、第二実施形態における監視システム１について、第一実施形態と異なる内容を中心に説明する。以下の説明では、第一実施形態と同様の内容については適宜省略する。

【0087】

〔処理構成〕
第二実施形態における監視制御装置１０は、第一実施形態と同様の処理構成を有する。

【0088】

図９は、第二実施形態における検知情報格納部１５の例を示す図である。図９に示されるように、第二実施形態における検知情報格納部１５のレコードは、動作種別フィールドを更に含む。動作種別フィールドには、検知された所定動作の種別の識別情報が設定される。

【0089】

検知部１３は、検知対象となる複数種の所定種別の各々についての識別情報を予め保持し、所定動作の検知に伴い、その検知された所定動作の種別の識別情報を特定する。
格納処理部１４は、検知情報格納部１５にレコードを追加する際に、検知部１３により特定された種別の識別情報をそのレコードに設定する。

【0090】

設定部１６は、検知情報格納部１５を参照することにより、各人物に関し、所定動作の種別毎に検知回数をカウントし、カウントされた種別毎の検知回数に基づいて、検知情報格納部１５に格納される情報で示される人物の中から被疑者を決定する。

【0091】

例えば、設定部１６は、カウントされた種別毎の検知回数と種別毎の所定回数とを比較する。この場合、設定部１６は、所定動作の種別毎に、閾値となる所定回数を予め保持する。各所定回数は、全ての種別で同じでなければ、各種別についてそれぞれ異なっていてもよいし、部分的に同じ回数を含んでいてもよい。各所定回数は、所定動作の各種別についての被疑者らしさの程度に応じて、それぞれ決められる。被疑者らしさが高い所定動作の種別程、対応する所定回数は少ない値に設定される。例えば、商品を手に取って見る動作の所定回数は１０回に設定され、天井方向を見上げる動作（監視カメラの存在を確認する動作）の所定回数は５回に設定される。

【0092】

設定部１６は、同一人物に関して検知された所定動作の中で、その検知回数が種別毎の所定回数を超える種別が一つでも存在していれば、その人物を被疑者に設定してもよい。また、設定部１６は、その検知回数が種別毎の所定回数を超える種別の数が所定閾値（例えば、全種別の半分等）を超える場合に、その人物を被疑者に設定してもよい。この設定方法によれば、被疑者の判定精度をより高めることができる。更に、設定部１６は、種別毎の検知回数と種別毎の所定回数との比較に加えて、第一実施形態と同様に、トータルの検知回数と所定回数との比較を行ってもよい。具体的には、設定部１６は、種別毎の検知回数と種別毎の所定回数との比較結果が上述のような条件を満たし、かつ、トータル検知回数が所定回数を超える場合に、その人物を被疑者に設定してもよい。この手法でも、被疑者の判定精度を高めることができる。

【0093】

また、設定部１６は、各人物について、所定動作の種別毎の検知回数に所定動作の各種別に対応する重み付けを行うことで得られるスコアに基づいて、被疑者（被験者）を決定することもできる。この場合、設定部１６は、所定動作の種別毎に、所定の重み値（係数）を保持する。各重み値は、所定動作の各種別についての被疑者らしさの程度に応じて、それぞれ決められる。被疑者らしさが高い所定動作の種別程、対応する重み値は大きい値に設定される。設定部１６は、所定動作の各種別についてそれぞれ、検知回数と重み値とを掛け合わせることで、種別毎のスコアを算出する。例えば、設定部１６は、種別毎のスコアを足し合わせることで得られるトータルスコアが所定閾値を超える場合に、その人物を被疑者に設定する。トータルスコアと比較される所定閾値は、シミュレーション等により決定され、予め保持される。

【0094】

また、設定部１６は、種別毎のスコアと種別毎の所定閾値とを比較してもよい。この場合、設定部１６は、種別毎のスコアが種別毎の所定閾値を超える種別が一つでも存在していれば、その人物を被疑者に設定してもよい。また、設定部１６は、種別毎のスコアが種別毎の所定閾値を超える種別の数が或る所定閾値（例えば、全種別の半分等）を超える場合に、その人物を被疑者に設定してもよい。

【0095】

更に、設定部１６は、トータルスコアと所定閾値との比較結果及び種別毎のスコアと種別毎の所定閾値との比較結果のいずれか一方又は両方を考慮して、被疑者を決定してもよい。設定部１６は、それらの一方又は両方、若しくは、第一実施形態におけるトータル検知回数と所定回数との比較結果を考慮して、被疑者を決定してもよい。

【0096】

〔動作例／画像監視方法〕
以下、第二実施形態における監視方法について図６及び図７を用いて説明する。第二実施形態における監視方法の実行主体については、第一実施形態と同様である。また、第二実施形態における監視方法に含まれる各工程は、監視制御装置１０の各処理モジュールの上述の処理内容と同様であるため、各工程の詳細は、適宜省略される。

【0097】

第二実施形態では、図６の（Ｓ６２）、（Ｓ６８）及び（Ｓ６９）の内容が、第一実施形態と異なる。
（Ｓ６２）では、監視制御装置１０は、（Ｓ６１）で検知された所定動作の種別の識別情報を含むレコードを検知情報格納部１５に追加する。

【0098】

（Ｓ６８）では、監視制御装置１０は、所定動作が検知された人物について、所定種別毎の検知回数をカウントする。具体的には、監視制御装置１０は、（Ｓ６１）で所定動作が検知された人物を示すＩＤを含むレコードの中の、種別の識別情報が同じレコードの数を各種別についてそれぞれカウントする。但し、（Ｓ６８）において、監視制御装置１０は、第一実施形態と同様に、所定動作が検知された人物のトータル検知回数を更にカウントしてもよい。

【0099】

（Ｓ６９）では、監視制御装置１０は、設定部１６に関し上述した条件を判断する。監視制御装置１０は、その条件に、第一実施形態と同様の条件（トータル検知回数が所定回数を超える条件）を加えてもよい。

【0100】

第二実施形態では、図７の（Ｓ８５）及び（Ｓ８６）の内容が、第一実施形態と異なる。

【0101】

（Ｓ８５）では、監視制御装置１０は、（Ｓ８４）で抽出された対象レコードで示される各人物について所定動作の種別毎の検知回数をそれぞれカウントする。具体的には、監視制御装置１０は、同一ＩＤを含む各レコード群について、種別の識別情報が同じレコードの数を各種別についてそれぞれカウントする。但し、（Ｓ８５）において、監視制御装置１０は、第一実施形態と同様に、抽出された対象レコードで示される人物毎の検知回数を更にカウントしてもよい。

【0102】

（Ｓ８６）では、監視制御装置１０は、設定部１６に関し上述した条件を満たす人物（ＩＤ）が存在するか否かを判定する。監視制御装置１０は、その条件に、第一実施形態と同様の条件（トータル検知回数が所定回数を超える条件）を加えてもよい。

【0103】

〔第二実施形態の作用及び効果〕
第二実施形態では、所定動作の検知に応じて検知情報格納部１５に追加されるレコードに、その検知された所定動作の種別の識別情報が設定される。そして、検知情報格納部１５に格納される情報により示される人物について、所定動作の種別毎の検知回数がカウントされ、その種別毎の検知回数に基づいて、被疑者が判定される。被疑者の判定には、種別毎の検知回数と種別毎の所定回数との比較結果が用いられてもよいし、所定動作の種別毎の検知回数に所定動作の各種別に対応する重み付けを行うことで得られるスコアが用いられてもよい。

【0104】

このように、第二実施形態によれば、検知された所定動作の種別が管理され、所定動作の種別毎の検知回数に基づいて被疑者が判定される。即ち、第二実施形態によれば、被疑者らしさを表す度合いが高い所定動作とその度合いが低い所定動作とを区別することができる。例えば、商品を手に取って見る第一動作よりも、天井方向を見上げる第二動作（監視カメラの存在を確認する動作）のほうが、万引き犯の容疑者の可能性を高める。即ち、第一動作を１０回行った人物よりも第二動作を５回行った人物のほうが、万引き犯である可能性が高い。第二実施形態によれば、このような被疑者らしさを表す度合いが高い所定動作の検知回数とその度合いが低い所定動作の検知回数とを区別しながら、被疑者の判定が行われるため、被疑者の判定精度をより向上させることができる。

【0105】

［第一実施形態及び第二実施形態の補足］
各実施形態の説明では特に言及されなかったが、回数カウントの対象とされる所定動作検知の期間が制限されてもよい。例えば、監視制御装置１０（検知部１３）による所定動作の検知が１年等のような長い期間継続される場合には、検知情報格納部１５に格納される検知情報の期間も同様に長くなる。このように長い期間検知された全ての所定動作が被疑者設定の対象とされた場合、被疑者の誤判定が生じる可能性が高まる。従って、監視制御装置１０は、時刻フィールドに設定される時刻に基づいて、被疑者に設定されていない人物を示すレコードであって所定期間前の時刻を示すレコードを回数カウントの対象から除外することが望ましい。

【0106】

監視制御装置１０は、次のようにして、所定期間前の時刻を示すレコードを回数カウントの対象から除外することができる。例えば、監視制御装置１０（格納処理部１４）は、検知情報格納部１５に格納されるレコードから直近の時刻を取得し、被疑者フラグ（１）が設定されたレコード以外で、この直近の時刻から所定期間前の時刻を示すレコードを検知情報格納部１５から削除する。また、監視制御装置１０（格納処理部１４）は、被疑者フラグ（１）が設定されたレコード以外で、その直近の時刻から所定期間前の時刻を示すレコードに除外フラグを設定する。また、監視制御装置１０（設定部１６）は、被疑者フラグ（１）が設定されていないレコードであって、その直近の時刻から所定期間に含まれるレコードを対象にして検知回数をカウントする。

【0107】

その所定期間に設定される期間が短い程、被疑者の判定精度を高めることができる。短い期間に怪しい動作（所定動作）が繰り返されるということは、被疑者の可能性がより高いからである。

【0108】

［第三実施形態］
以下、第三実施形態における監視システム及び監視方法について図１０及び図１１を用いて説明する。また、第三実施形態は、この監視方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録した当該少なくとも１つのコンピュータが読み取り可能な記録媒体であってもよい。

【0109】

図１０は、第三実施形態における監視システム１００の処理構成例を概念的に示す図である。図１０に示されるように、監視システム１００は、検知部１０１、格納処理部１０３、設定部１０４を有する。監視システム１００は、１つ又は複数のコンピュータとして実現される。監視システム１００を実現するコンピュータは、例えば、図１に示される上述の監視制御装置１０と同様のハードウェア構成を有する。格納部１０２は、監視システム１００により備えられてもよいし、他のコンピュータにより備えられてもよい。

【0110】

検知部１０１、格納処理部１０３及び設定部１０４は、ＣＰＵ２によりメモリ３に格納されるプログラムが実行されることにより実現される。また、当該プログラムは、例えば、ＣＤ、メモリカード等のような可搬型記録媒体やネットワーク上の他のコンピュータから通信ユニット５を介してインストールされ、メモリ３に格納されてもよい。監視制御装置１０には、監視カメラ９、表示装置７及び入力装置８が接続されていなくてもよい。監視システム１００は、他のコンピュータや可搬型記録媒体等から画像データを取得することができる。また、監視システム１００は、他のコンピュータの表示部に何等かの表示を出力することもできる。

【0111】

検知部１０１は、映像に映る人物の所定動作を検知する。当該映像は、動画像又は静止画像である。また、当該映像は、リアルタイム映像であってもよいし、録画された映像であってもよい。所定動作は、人物の予め決められた動作を意味し、その具体的内容は上述したとおりである。当該所定動作は、或る一つの所定動作であってもよいし、上述の実施形態のように複数種の所定動作であってもよい。検知部１０１の具体的処理内容は、上述の検知部１３と同様である。

【0112】

格納処理部１０３は、上述の所定動作が検知された人物を示す情報を検知回数と関連付けて格納部１０２に格納する。格納部１０２に格納される人物を示す情報は、例えば、上述の実施形態におけるその人物の画像又はＩＤである。その情報の具体的内容は制限されない。また、格納部１０２に格納される形も制限されない。その人物を示す情報と共に検知回数が格納されてもよいし、上述の実施形態のように検知回数はレコード数で示されてもよい。

【0113】

設定部１０４は、格納部１０２から取得可能な検知回数に基づいて、人物を被疑者に設定する。被疑者は、判定対象となる人物であり、具体的にどういう人物であるかについては制限されない。被疑者は、一定の動作で一律に特定することが難しい人物であって、継続的に行われる特定行動を取る人物を含み、上述の実施形態で例示されたように、例えば、万引きやスリ等の窃盗犯の容疑者、痴漢犯の容疑者、犯罪者となり得る挙動不審者、迷子の可能性の高い子供などを含む。

【0114】

設定部１０４による設定は、その人物を示す情報と共に、その人物が被疑者であることを示す情報を格納部１０２に格納することで実現可能である。また、当該設定は、その人物が被疑者であることを提示することでも実現可能である。設定部１０４の具体的処理内容は、上述の設定部１６と同様である。

【0115】

図１１は、第三実施形態における監視システム１の動作例を示すフローチャートである。図１１に示されるように、第三実施形態における監視方法は、監視システム１に含まれる少なくとも１つのコンピュータにより実行される。例えば、図示される各工程は、監視システム１が有する上述の各処理モジュールにより実行される。各工程は、上述の各処理モジュールの上述の処理内容と同様であるため、各工程の詳細は、適宜省略される。

【0116】

本実施形態における監視方法は、（Ｓ１１１）、（Ｓ１１２）及び（Ｓ１１３）を含む。（Ｓ１１１）では、監視システム１００は、映像に映る人物の所定動作を検知する。（Ｓ１１２）では、監視システム１００は、所定動作が検知された人物を示す情報を検知回数と関連付けて格納部１０２に格納する。（Ｓ１１３）では、監視システム１００は、検知回数に基づいて、人物を被疑者に設定する。

【0117】

第三実施形態では、映像に映る人物の所定動作が検知され、その所定動作が検知された人物を示す情報が検知回数と関連付けられて格納部１０２に格納される。第三実施形態では、格納部１０２から得られる検知回数に基づいて当該人物が被疑者に設定される。このように、第三実施形態によれば、所定動作の検知だけを以て直ちに、その動作を行った人物を被疑者と判定しなくすることができ、その検知回数を考慮して被疑者の判定を行うことができる。これにより、被疑者ではない通常の人がその所定動作を偶然行った場合でも、その通常の人は、被疑者と判定され難くなる。第三実施形態によれば、検出回数を考慮することで、被疑者の誤判定を低減させることができ、被疑者の判定精度を向上させることができる。

【0118】

なお、上述の説明で用いた複数のフローチャートでは、複数の工程（処理）が順番に記載されているが、各実施形態で実行される工程の実行順序は、その記載の順番に制限されない。各実施形態では、図示される工程の順番を内容的に支障のない範囲で変更することができる。また、上述の各実施形態は、内容が相反しない範囲で組み合わせることができる。

【0119】

上述の内容は、以下のようにも特定され得る。但し、上述の内容が以下の記載に限定されるものではない。

【0120】

１． 映像に映る人物の所定動作を検知する検知手段と、
前記所定動作が検知された人物を示す情報を検知回数と関連付けて格納部に格納する格納処理手段と、
前記検知回数に基づいて、前記人物を被疑者に設定する設定手段と、
を備える監視システム。
２． 前記格納処理手段は、前記所定動作が検知された人物を示す情報に加えて、検知された前記所定動作が行われた時刻の情報を前記格納部に格納し、
前記設定手段は、前記格納部から取得される所定期間内の検知回数に基づいて、前記人物を被疑者に設定する、
１．に記載の監視システム。
３． 前記格納処理手段は、前記所定動作が検知された人物の画像情報を前記格納部に格納し、
前記設定手段は、前記格納部に格納される前記画像情報に基づいて、人物毎の検知回数をカウントする、
１．又は２．に記載の監視システム。
４． 前記格納処理手段は、前記所定動作が検知された人物を示す情報に加えて、検知された前記所定動作が行われた場所及び時刻の情報を前記格納部に格納し、
前記設定手段は、前記格納部に格納される、前記人物、前記場所及び前記時刻の情報に基づいて、人物毎の検知回数をカウントする、
１．から３．のいずれか１つに記載の監視システム。
５． 前記検知手段は、映像に映る人物に関して複数種の所定動作をそれぞれ検知し、
前記格納処理手段は、前記複数種の所定動作が検知された人物を示す情報を検知回数と関連付けて前記格納部に格納する、
１．から４．のいずれか１つに記載の監視システム。
６． 前記格納処理手段は、前記複数種の所定動作が検知された人物を示す情報に加えて、検知された所定動作の種別を示す情報を前記格納部に格納し、
前記設定手段は、前記人物について所定動作の種別毎に検知回数をカウントし、所定動作の種別毎の検知回数に基づいて、前記人物を被疑者に設定する、
５．に記載の監視システム。
７． 前記設定手段は、前記人物について、所定動作の種別毎の検知回数に所定動作の各種別に対応する重み付けを行うことで得られるスコアに基づいて、前記人物を被疑者に設定する、
６．に記載の監視システム。
８． 前記被疑者に設定された前記人物を含む映像に、その映像内の前記被疑者に設定された前記人物を特定可能な情報が付加された映像を表示部に表示する表示処理手段、
を更に備える１．から７．のいずれか１つに記載の監視システム。
９． 前記格納処理手段は、前記所定動作が検知された人物を示す情報に関連付けて、前記被疑者に設定されたことを示す情報を前記格納部に格納し、
前記監視システムは、
前記被疑者に設定されたことを示す情報と関連付けられて前記格納部に格納される情報に基づいて、映像から、前記被疑者と推定される人物を検出する検出手段と、
前記検出手段により前記被疑者と推定される人物が検出されたことを報知する報知手段と、
を更に備える１．から８．のいずれか１つに記載の監視システム。
１０． 前記報知手段は、前記検出手段により前記被疑者と推定される人物が検出された場合に、検出された人物を特定可能な情報が前記映像に付加された映像を表示部に表示する、
９．に記載の監視システム。
１１． 前記格納処理手段は、前記所定動作が検知された人物の画像及び前記被疑者に設定されたことを示す情報を関連付けて前記格納部に格納し、
前記監視システムは、
前記被疑者に設定されたことを示す情報と関連付けられて前記格納部に格納される情報に基づいて、各被疑者の画像をそれぞれ含む被疑者のリストを表示部に表示する表示処理手段、
を更に備える１．から１０．のいずれか１つに記載の監視システム。

【0121】

１２． 少なくとも一つのコンピュータにより実行される監視方法において、
映像に映る人物の所定動作を検知し、
前記所定動作が検知された人物を示す情報を検知回数と関連付けて格納部に格納し、
前記検知回数に基づいて、前記人物を被疑者に設定する、
ことを含む監視方法。
１３． 前記所定動作が検知された人物を示す情報に加えて、検知された前記所定動作が行われた時刻の情報を前記格納部に格納する、
ことを更に含み、
前記人物を前記被疑者に設定することは、前記格納部から取得される所定期間内の検知回数に基づいて、前記人物を被疑者に設定する、
１２．に記載の監視方法。
１４． 前記所定動作が検知された人物の画像情報を前記格納部に格納し、
前記格納部に格納される前記画像情報に基づいて、人物毎の検知回数をカウントする、
ことを更に含む１２．又は１３．に記載の監視方法。
１５． 前記所定動作が検知された人物を示す情報に加えて、検知された前記所定動作が行われた場所及び時刻の情報を前記格納部に格納し、
前記格納部に格納される、前記人物、前記場所及び前記時刻の情報に基づいて、人物毎の検知回数をカウントする、
ことを更に含む１２．から１４．のいずれか１つに記載の監視方法。
１６． 前記検知は、映像に映る人物に関して複数種の所定動作をそれぞれ検知し、
前記格納は、前記複数種の所定動作が検知された人物を示す情報を検知回数と関連付けて前記格納部に格納する、
１２．から１５．のいずれか１つに記載の監視方法。
１７． 前記複数種の所定動作が検知された人物を示す情報に加えて、検知された所定動作の種別を示す情報を前記格納部に格納し、
前記人物について所定動作の種別毎に検知回数をカウントする、
ことを更に含み、
前記人物を前記被疑者に設定することは、所定動作の種別毎の前記検知回数に基づいて、前記人物を被疑者に設定する、
１６．に記載の監視方法。
１８． 前記人物を前記被疑者に設定することは、前記人物について、所定動作の種別毎の検知回数に所定動作の各種別に対応する重み付けを行うことで得られるスコアに基づいて、前記人物を被疑者に設定する、
１７．に記載の監視方法。
１９． 前記被疑者に設定された前記人物を含む映像に、その映像内の前記被疑者に設定された前記人物を特定可能な情報が付加された映像を表示部に表示する、
ことを更に含む１２．から１８．のいずれか１つに記載の監視方法。
２０． 前記所定動作が検知された人物を示す情報に関連付けて、前記被疑者に設定されたことを示す情報を前記格納部に格納し、
前記被疑者に設定されたことを示す情報と関連付けられて前記格納部に格納される情報に基づいて、映像から、前記被疑者と推定される人物を検出し、
前記被疑者と推定される人物が検出されたことを報知する、
ことを更に含む１２．から１９．のいずれか１つに記載の監視方法。
２１． 前記被疑者と推定される人物が検出された場合に、検出された人物を特定可能な情報が前記映像に付加された映像を表示部に表示する、
ことを更に含む２０．に記載の監視方法。
２２． 前記所定動作が検知された人物の画像及び前記被疑者に設定されたことを示す情報を関連付けて前記格納部に格納し、
前記被疑者に設定されたことを示す情報と関連付けられて前記格納部に格納される情報に基づいて、各被疑者の画像をそれぞれ含む被疑者のリストを表示部に表示する、
ことを更に含む１２．から２１．のいずれか１つに記載の監視方法。

【0122】

２３． １２．から２２．のいずれか１つに記載の監視方法を少なくとも一つのコンピュータに実行させるプログラム。

【0123】

この出願は、２０１５年３月１９日に出願された日本出願特願２０１５－０５６８７５号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】