特開 2022-131011 処理装置、処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022131011

(43)【公開日】2022-09-07

(54)【発明の名称】処理装置、処理方法及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20220831BHJP

   G08B 25/00 20060101ALI20220831BHJP

   G06T 7/00 20170101ALI20220831BHJP

   G06T 7/246 20170101ALI20220831BHJP

【ＦＩ】

H04N7/18 D

H04N7/18 K

G08B25/00 510M

G06T7/00 660A

G06T7/246

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2021029726

(22)【出願日】2021-02-26

(71)【出願人】

【識別番号】000000295

【氏名又は名称】沖電気工業株式会社

(74)【代理人】

【識別番号】100174104

【弁理士】

【氏名又は名称】奥田 康一

(72)【発明者】

【氏名】青木 隆真

【テーマコード（参考）】

5C054

5C087

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054FE09

5C054GB02

5C054HA19

5C087AA02

5C087AA11

5C087AA19

5C087DD03

5C087GG02

5C087GG06

5C087GG10

5C087GG22

5C087GG35

5C087GG66

5L096BA02

5L096CA04

5L096DA01

5L096FA67

5L096HA03

5L096HA05

5L096HA07

5L096JA03

5L096KA09

(57)【要約】

【課題】監視者の負担を軽減しつつセキュリティ性を向上する。
【解決手段】映像監視装置４は、カメラ２による第１の撮像映像から不審人物を検出する人物検出部３８と、不審人物の顔特徴量データに基づいて、所定の人物が不審人物として検出された起点となる障害発生時刻から、終点となる過去の所定時間までの期間における第１の撮像映像において、不審人物を検索する顔検出部４０と、障害発生時刻から過去の所定時間までの期間における第１の撮像映像において、障害発生時刻で検出された不審人物が発見された場合、該不審人物に関わる情報を映像表示装置２６に出力する映像表示処理部３０とを設ける。
【選択図】図５

【特許請求の範囲】

【請求項1】

第１の撮像装置による第１の撮像映像から不審人物を検出する第１の処理手段と、
前記不審人物の顔情報に基づいて、所定の人物が前記不審人物として検出された起点となる第１の時刻から終点となる過去の所定時間までの期間における前記第１の撮像映像において、前記不審人物を検索する第２の処理手段と、
前記第１の時刻から前記過去の所定時間までの期間における前記第１の撮像映像において、前記第１の時刻で検出された前記不審人物が発見された場合、該不審人物に関わる情報を表示部に出力する第３の処理手段と
を備えることを特徴とする処理装置。

【請求項2】

前記第３の処理手段は、
現在の前記第１の撮影映像における前記不審人物を前記表示部において強調表示する
ことを特徴とする請求項１に記載の処理装置。

【請求項3】

前記第２の処理手段は、
前記第１の時刻から前記過去の所定時間までの期間における前記第１の撮像映像において、前記第１の時刻で検出された前記不審人物が発見された最初の時刻である第２の時刻を抽出し、
前記第３の処理手段は、
前記第２の時刻から前記第１の時刻までの期間を示す情報を前記表示部に出力する
ことを特徴とする請求項１に記載の処理装置。

【請求項4】

前記第２の処理手段は、
前記不審人物の顔情報に基づいて、前記第１の時刻から前記過去の所定時間までの期間における、前記第１の撮像映像と、前記第１の撮像装置の周辺に配置されている撮像装置による撮像映像とにおいて、前記不審人物を検索する
ことを特徴とする請求項１に記載の処理装置。

【請求項5】

前記第２の処理手段は、
前記第１の時刻で検出された前記不審人物の顔の特徴を示す前記顔情報と類似する顔情報となる人物が、前記第１の時刻から前記過去の所定時間までの期間における前記第１の撮像映像において存在するか否かを検索することにより、前記不審人物を検索する
ことを特徴とする請求項１に記載の処理装置。

【請求項6】

前記第１の処理手段は、
前記第１の撮像映像から抽出された複数の人物の視線の方向が特定の人物に向いていると判別されると、該特定の人物を不審人物と判定する
ことを特徴とする請求項１に記載の処理装置。

【請求項7】

処理装置の処理方法であって、
前記処理装置は、
第１の撮像装置による第１の撮像映像から不審人物を検出する第１の処理ステップと、
前記不審人物の顔情報に基づいて、所定の人物が前記不審人物として検出された起点となる第１の時刻から終点となる過去の所定時間までの期間における前記第１の撮像映像において、前記不審人物を検索する第２の処理ステップと、
前記第１の時刻から前記過去の所定時間までの期間における前記第１の撮像映像において、前記第１の時刻で検出された前記不審人物が発見された場合、該不審人物に関わる情報を表示部に出力する第３の処理ステップと
を備えることを特徴とする処理方法。

【請求項8】

コンピュータを、
第１の撮像装置による第１の撮像映像から不審人物を検出する第１の処理部と、
前記不審人物の顔情報に基づいて、所定の人物が前記不審人物として検出された起点となる第１の時刻から終点となる過去の所定時間までの期間における前記第１の撮像映像において、前記不審人物を検索する第２の処理部と、
前記第１の時刻から前記過去の所定時間までの期間における前記第１の撮像映像において、前記第１の時刻で検出された前記不審人物が発見された場合、該不審人物に関わる情報を表示部に出力する第３の処理部と
して機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は処理装置、処理方法及びプログラムに関する。

【背景技術】

【0002】

従来の映像監視装置は、カメラから取得した監視映像から複数の人物領域を抽出し、人物領域のそれぞれについて人物の視線方向を求め、複数の人物の視線方向が特定位置に向いていることを判別して注目事象の発生を検知して、注目事象の発生を通知するものがあった（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１４８４０２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながらそのような映像監視装置は、障害が発生した現場において検出された注目事象である人物が、過去における同じ現場及びその周辺に存在したか否かについて考慮されたものではなかった。

【0005】

本発明は以上の点を考慮してなされたもので、監視者の負担を軽減しつつセキュリティ性を向上し得る処理装置、処理方法及びプログラムを提案しようとするものである。

【課題を解決するための手段】

【0006】

かかる課題を解決するため本発明の処理装置においては、第１の撮像装置による第１の撮像映像から不審人物を検出する第１の処理手段と、不審人物の顔情報に基づいて、所定の人物が不審人物として検出された起点となる第１の時刻から終点となる過去の所定時間までの期間における第１の撮像映像において、不審人物を検索する第２の処理手段と、第１の時刻から過去の所定時間までの期間における第１の撮像映像において、第１の時刻で検出された不審人物が発見された場合、該不審人物に関わる情報を表示部に出力する第３の処理手段とを設けるようにした。

【0007】

また本発明の処理方法においては、処理装置の処理方法であって、処理装置は、第１の撮像装置による第１の撮像映像から不審人物を検出する第１の処理ステップと、不審人物の顔情報に基づいて、所定の人物が不審人物として検出された起点となる第１の時刻から終点となる過去の所定時間までの期間における第１の撮像映像において、不審人物を検索する第２の処理ステップと、第１の時刻から過去の所定時間までの期間における第１の撮像映像において、第１の時刻で検出された不審人物が発見された場合、該不審人物に関わる情報を表示部に出力する第３の処理ステップとを設けるようにした。

【0008】

さらに本発明のプログラムにおいては、コンピュータを、第１の撮像装置による第１の撮像映像から不審人物を検出する第１の処理部と、不審人物の顔情報に基づいて、所定の人物が不審人物として検出された起点となる第１の時刻から終点となる過去の所定時間までの期間における第１の撮像映像において、不審人物を検索する第２の処理部と、第１の時刻から過去の所定時間までの期間における第１の撮像映像において、第１の時刻で検出された不審人物が発見された場合、該不審人物に関わる情報を表示部に出力する第３の処理部として機能させるようにした。

【0009】

これにより本発明は、障害発生時に現場に存在する不審人物が、過去にも同様に現場及びその周辺を訪れているか否かを判定し、該不審人物を監視者に提示できる。

【発明の効果】

【0010】

本発明によれば、監視者の負担を軽減しつつセキュリティ性を向上し得る処理装置、処理方法及びプログラムを実現できる。

【図面の簡単な説明】

【0011】

【図1】映像監視システムの全体構成を示す図である。

【図2】人物情報を示す図である。

【図3】不審人物検索処理手順を示すフローチャートである。

【図4】障害有無発生判定処理手順を示すフローチャートである。

【図5】不審人物判定処理手順を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、発明を実施するための形態（以下実施の形態とする）について、図面を用いて説明する。本実施の形態は、処理装置、処理方法及びプログラムに関し、監視カメラを利用し不審人物を検出する映像監視装置に適用して好適なものである。

【0013】

［１．映像監視システムの構成］
図１に示すように映像監視システム１は、複数のカメラ２（２ａ、２ｂ、２ｃ……２ｎ）及び映像監視装置４により構成されており、これら複数のカメラ２及び映像監視装置４がインターネット等のネットワーク６により接続されている。映像監視装置４は、ネットワーク６に接続された監視カメラである複数のカメラ２から監視映像を取得し、カメラ２が設置されたエリアの映像監視を行う。

【0014】

［２．映像監視装置の構成］
映像監視装置４は、制御部８、映像取得部１０、ユーザインタフェース部１８、記憶部１１及び映像表示装置２６を有している。制御部８は、ＣＰＵ（Central Processing Unit）により構成されており、記憶部１１から所定のプログラムを読み出して映像監視装置４を統轄制御する。制御部８は、映像表示処理装置１２、映像録画装置１４及び映像解析装置１６として機能する。記憶部１１は、ＨＤＤやフラッシュメモリ等により構成されており、映像蓄積装置２０、映像情報蓄積装置２２及びカメラ情報蓄積装置２４を有している。

【0015】

映像取得部１０は、ネットワーク６との接続を制御し、カメラ２の監視映像を取得し、映像表示処理装置１２、映像録画装置１４及び映像解析装置１６に送出する。映像表示処理装置１２は、複数の監視モニタ等である映像表示装置２６に監視映像を表示する処理を行う映像表示処理部３０と、不審人物として検知された人物を強調表示する等、映像表示装置２６に表示される監視映像を加工する処理を行う映像合成処理部３２とを有する。

【0016】

映像録画装置１４は、監視映像を録画する処理を行う映像録画部３４と、録画された監視映像を視聴する際に使用される録画検索部３６とを有する。また映像録画装置１４は、監視映像と、該監視映像を撮影したカメラ２のカメラＩＤと、該監視映像が撮影された録画時刻等とを関連付けて映像蓄積装置２０に保存する。カメラＩＤは、カメラ２毎に固有の識別子である。このカメラＩＤは、例えば、映像送信元のカメラ２のＩＰアドレスをキーに、カメラ情報蓄積装置２４のカメラ情報を参照して求められる。例えば、カメラ２ａは「Ｃ１」、カメラ２ｂは「Ｃ２」、カメラ２ｃは「Ｃ３」のカメラＩＤが付されている。録画時刻は、監視映像が撮影された撮影時刻と同一の時刻である。

【0017】

映像解析装置１６は、監視映像中に存在する人物を検出する人物検出部３８と、監視映像中に存在する、人物検出部３８により検出された人物の顔を検出する顔検出部４０とを有する。映像解析装置１６は、顔検出時に取得した特徴点情報である顔特徴量データと、顔を検出した時刻と、撮影したカメラ２のカメラＩＤ等とを関連付けて図２に示す人物情報４２として映像情報蓄積装置２２に保存する。顔を検出した時刻は、上述した撮影時刻と同一の時刻であり、顔検出部４０による顔検出処理において検出された顔が撮影された監視映像に紐づけられた撮影時刻である。

【0018】

人物情報４２は、時刻、カメラＩＤ、顔特徴量データ及び不審人物フラグの項目を有している。時刻の項目は、顔が検出された時刻を示す。カメラＩＤの項目は、カメラＩＤを示す。顔特徴量データは、検出された顔の顔特徴量データを格納する。不審人物フラグは、初期値は「０」であり、顔特徴量データと対応する人物が不審人物と判断された際に、「１」に設定される（後述する）。ユーザインタフェース部１８（図１）は、キーボードやマウス等であり、監視者の操作を受け付け、操作入力された命令を制御部８へ送出する。

【0019】

カメラ情報蓄積装置２４は、カメラ情報を記憶する。カメラ情報は、例えば、カメラＩＤ、ＩＰアドレス、設置位置情報、カメラ内部パラメータ、水平方位及び垂直角度により構成されており、映像監視装置４が取得する監視映像を撮像するカメラ２毎に記憶されている。カメラＩＤは、カメラ２毎に固有の識別子である。ＩＰアドレスは、ネットワーク６におけるカメラ２の識別子である。設置位置情報は、カメラ２が設置されている緯度、経度及び高さの設置位置を示す情報である。カメラ内部パラメータは、カメラ２の幅及び高さの画像サイズ、焦点距離並びにズーム倍率等のカメラ仕様を示す情報である。水平方位は、カメラ２の撮像方位を示す設置情報である。

【0020】

また制御部８は、図示しない警報発報部を有している。さらに映像監視装置４の外部には、障害を検知したことを監視者に通知する図示しない発報装置が接続されている。発報装置は、例えばパトランプ等の信号灯であり、ＵＳＢ（Universal Serial Bus）やネットワーク６を介して映像監視装置４に接続されている。制御部８は、障害を検知した際に、警報発報部により発報装置を駆動する。

【0021】

［３．不審人物検索処理］
次に、映像監視装置４による不審人物検索処理の具体的な処理手順について、図３に示すフローチャートを用いて説明する。制御部８は、記憶部１１から不審人物検索処理プログラムを読み出して実行することにより図３に示す不審人物検索処理手順ＲＴ１を開始し、ステップＳＰ１へ移る。この不審人物検索処理手順ＲＴ１は、１台のカメラ２のフレーム単位の監視映像について、所定周期で行われる処理である。

【0022】

ステップＳＰ１において制御部８は、映像取得部１０から各カメラ２の監視映像を取得して映像表示処理装置１２、映像録画装置１４及び映像解析装置１６に入力し、ステップＳＰ２へ移る。ステップＳＰ２において制御部８は、取得した監視映像を映像表示処理部３０により映像表示装置２６に表示し、ステップＳＰ３へ移る。

【0023】

ステップＳＰ３において制御部８は、取得した監視映像に対して人物を検出する処理である人物検出処理を人物検出部３８により実行し、ステップＳＰ４へ移る。この人物検出処理において人物検出部３８は、例えば、監視映像からのＨＯＧ（Histograms of Oriented Gradients）特徴量等を算出して人物領域を検出し、人物画像の抽出を行う。ＨＯＧ特徴量とは、局所領域の輝度の勾配方向をヒストグラム化したものである。

【0024】

ステップＳＰ４において制御部８は、取得した監視映像において検出した人物に対して顔を検出する処理である顔検出処理を顔検出部４０により実行し、ステップＳＰ５へ移る。この顔検出処理において顔検出部４０は、人物検出部３８において抽出された人物画像それぞれについて、例えば、目、鼻や口等の顔器官検出を行い、眉の位置、目尻の角度や口角を捉えて、特徴量を算出する。このとき顔検出部４０は、顔検出処理において検出した顔の顔特徴量データが不審人物判定処理（後述する）に使用されるため、顔検出処理を行った対象のカメラ２のカメラＩＤと、撮影時刻と共に、該顔特徴量データを映像情報蓄積装置２２に保存する。

【0025】

ステップＳＰ５において制御部８は、人物検出処理又は顔検出処理において複数人物（すなわち２人以上）が検出されたか否かを判定する。これは、制御部８が、複数の人物の視線方向（顔向き方向）により、障害が発生した可能性の有無を判定するためである（後述する）。ここで否定結果が得られると、このことは、監視映像において検出された人物の人数が０人又は１人であったため障害が発生していないことを表し、このとき制御部８はステップＳＰ１４へ移り、不審人物検索処理手順ＲＴ１を終了する。一方、ステップＳＰ５において肯定結果が得られると、このことは、監視映像において検出された人物の人数が２人以上であったため障害が発生している可能性があることを表し、このとき制御部８はステップＳＰ６へ移る。

【0026】

ステップＳＰ６において制御部８は、検出した各人物の視線を検出する処理である視線検出処理を人物検出部３８により実行し、ステップＳＰ７へ移る。この視線検出処理において人物検出部３８は、検出した人物画像のそれぞれについて、例えば、人物の頭部全体と目や鼻等の顔器官の位置を検出し、これらの位置関係から顔の向きを求め、これを視線方向とする。

【0027】

ステップＳＰ７において制御部８は、各人物の視線が集中しているか否かを人物検出部３８により判定する。ここで否定結果が得られると、このことは、各人物の視線が集中していないため障害が発生していないことを表し、このとき制御部８はステップＳＰ１４へ移り、不審人物検索処理手順ＲＴ１を終了する。一方、ステップＳＰ７において肯定結果が得られると、このことは、各人物の視線が集中しているため障害が発生している可能性があることを表し、このとき制御部８はステップＳＰ８へ移る。ステップＳＰ８において制御部８は、図４に示す障害有無発生判定処理手順ＳＲＴ１（後述する）を実行することにより、監視映像内で障害が発生しているか否かの判定処理を人物検出部３８により実行し、ステップＳＰ９へ移る。

【0028】

ステップＳＰ９において制御部８は、後述する障害発生フラグが立っているかクリアされているかを確認することにより、監視映像内で障害が発生しているか否かを人物検出部３８により判定する。ここで否定結果が得られると、このことは、監視映像内で障害が発生していないことを表し、このとき制御部８はステップＳＰ１４へ移り、不審人物検索処理手順ＲＴ１を終了する。一方、ステップＳＰ９において肯定結果が得られると、このことは、監視映像内で障害が発生していることを表し、このとき制御部８はステップＳＰ１０へ移る。

【0029】

ステップＳＰ１０において制御部８は、警報発報部により発報装置を動作させて障害の発生を通知すると共に、表示映像内に障害発生を示すよう表示内容を加工し該表示映像を映像表示処理部３０により映像表示装置２６に表示する処理である、障害発生発報処理を実行し、ステップＳＰ１１へ移る。

【0030】

ステップＳＰ１１において制御部８は、図５に示す不審人物判定処理手順ＳＲＴ２（後述する）を顔検出部４０により実行することにより、不審人物が監視映像内に存在するか否かを判定し、ステップＳＰ１２へ移る。

【0031】

ステップＳＰ１２において制御部８は、不審人物が監視映像内に１人以上存在するか否かを顔検出部４０により判定する。ここで否定結果が得られると、このことは、不審人物と判定された人物が監視映像内に存在しないことを表し、このとき制御部８はステップＳＰ１４へ移り、不審人物検索処理手順ＲＴ１を終了する。一方、ステップＳＰ１２において肯定結果が得られると、このことは、不審人物と判定された人物が監視映像内に存在することを表し、このとき制御部８は、ステップＳＰ１３へ移る。

【0032】

ステップＳＰ１３において制御部８は、表示映像に対して不審人物と判定された人物を映像合成処理部３２により強調表示するよう表示内容を加工すると共に該表示画像を映像表示処理部３０により映像表示装置２６に表示する処理である不審人物強調表示処理を実行し、ステップＳＰ１４へ移り、不審人物検索処理手順ＲＴ１を終了する。

【0033】

［４．障害有無発生判定処理］
次に、不審人物検索処理手順ＲＴ１（図３）におけるステップＳＰ８において実行される、監視映像内で障害が発生しているか否かを判定する処理である、障害有無発生判定処理手順ＳＲＴ１について、図４を参照して説明する。この障害有無発生判定処理手順ＳＲＴ１の開始時においては、障害発生フラグは立っておらず、クリアされている。

【0034】

ステップＳＰ２１において制御部８は、視線の集中のみでは障害が発生しているとは限らないため、映像表示処理装置１２により監視者へ障害発生の可能性を映像表示装置２６にポップアップ通知し、ステップＳＰ２２へ移る。ポップアップ通知がされると、ステップＳＰ２２において、監視者は、リアルタイムな監視映像であるリアルタイム監視映像を映像表示装置２６を目視して確認して、障害が発生したか否かを判断し、障害が発生したと判断した場合は、障害が発生したことを示す入力をユーザインタフェース部１８に行う。

【0035】

ステップＳＰ２３において制御部８は、障害が発生したと監視者により判断されたか否かを判定する。ここで肯定結果が得られると、このことは、リアルタイム監視映像を確認した監視者が障害が発生と判断したことを表し、このとき制御部８は、ステップＳＰ２４へ移る。ステップＳＰ２４において制御部８は、障害発生フラグを立て、ステップＳＰ２５へ移り、障害有無発生判定処理手順ＳＲＴ１を終了し、不審人物検索処理手順ＲＴ１（図３）におけるステップＳＰ９へ移る。一方、ステップＳＰ２３において否定結果が得られると、このことは、リアルタイム監視映像を確認した監視者が障害が発生していないと判断したことを表し、このとき制御部８は、障害発生フラグを立てずに、ステップＳＰ２５へ移り、障害有無発生判定処理手順ＳＲＴ１を終了し、不審人物検索処理手順ＲＴ１（図３）におけるステップＳＰ９へ移る。

【0036】

［５．不審人物判定処理］
次に、不審人物検索処理手順ＲＴ１（図３）におけるステップＳＰ１１において実行される、不審人物が監視映像内に存在するか否かを判定する処理である、不審人物判定処理手順ＳＲＴ２について、図５を参照して説明する。

【0037】

ステップＳＰ３１において制御部８は、障害発生時刻である現在時刻（例えば１２：００：０５）時点の情報として検出し登録した全ての人物の顔特徴量データを映像情報蓄積装置２２から取得し、ステップＳＰ３２へ移る。ここで、障害発生時刻に検出した人物をｘ人としたとき、取得した顔特徴量データをそれぞれｄａｔａ_１、ｄａｔａ_２……ｄａｔａ_ｘとする。

【0038】

ステップＳＰ３２において制御部８は、障害が発生したと判断した監視映像を撮影しているカメラ２である障害撮影カメラの設置位置情報をカメラ情報蓄積装置２４から参照し、障害撮影カメラの設置位置から指定距離（例えば１５［ｍ］）内に位置しているカメラ２（以下では周辺カメラとも呼ぶ）のカメラＩＤを映像情報蓄積装置２２から抽出し、ステップＳＰ３３へ移る。

【0039】

ここで、障害が発生したと判断された監視映像を撮影したカメラ２（障害撮影カメラ）とその周辺のカメラ２（周辺カメラ）との合計数（すなわち障害撮影カメラと周辺カメラとの合計数）をｎとしたとき、カメラＩＤをｃａｍｅｒａＩＤ_１、ｃａｍｅｒａＩＤ_２……ｃａｍｅｒａＩＤ_ｎとする。すなわち、例えば障害撮影カメラがカメラ２ａ、周辺カメラがカメラ２ｂ及び２ｃであるとき、ｃａｍｅｒａＩＤ_１は「カメラＩＤがＣ１」、ｃａｍｅｒａＩＤ_２は「カメラＩＤがＣ２」、ｃａｍｅｒａＩＤ_３（すなわちｃａｍｅｒａＩＤ_ｎ）は「カメラＩＤがＣ３」である。

【0040】

ステップＳＰ３３及びＳＰ３４をスキップして、ステップＳＰ３５において制御部８は、障害撮影カメラ及び周辺カメラにおける、障害発生時刻から過去に遡った指定期間内の全ての顔特徴量データ（すなわちｃａｍｅｒａＩＤ_１、ｃａｍｅｒａＩＤ_２……ｃａｍｅｒａＩＤ_ｎのカメラＩＤが対応付けられた顔特徴量データ）を映像情報蓄積装置２２から取得し、ステップＳＰ３６へ移る。指定期間とは、例えば、短くて１週間長くて１か月間である。ここで、各カメラ２の指定期間内の過去の顔特徴量データ群をそれぞれｄａｔａ＿ｏｌｄ_１、ｄａｔａ＿ｏｌｄ_２……ｄａｔａ＿ｏｌｄ_ｎとする。すなわち、ｃａｍｅｒａＩＤ_１のカメラＩＤ（Ｃ１）に対応付けられた指定期間内の過去の顔特徴量データ群はｄａｔａ＿ｏｌｄ_１、ｃａｍｅｒａＩＤ_２のカメラＩＤ（Ｃ２）に対応付けられた指定期間内の過去の顔特徴量データ群はｄａｔａ＿ｏｌｄ_２、ｃａｍｅｒａＩＤ_ｎのカメラＩＤ（Ｃ３）に対応付けられた指定期間内の過去の顔特徴量データ群はｄａｔａ＿ｏｌｄ_ｎである。

【0041】

ステップＳＰ３６において制御部８は、映像情報蓄積装置２２から取得した顔特徴量データに、障害発生時刻において登録された人物である検索対象人物の顔特徴量データと類似する顔特徴量データが存在するか否かを判定する。

【0042】

ステップＳＰ３９において制御部８は、現在検索している所定の１つのカメラ２の指定期間内の過去の顔特徴量データ群に対し、全ての検索対象人物の顔特徴量データの分だけ（すなわち検出した顔数分だけ）、ステップＳＰ３５、ＳＰ３６、ＳＰ３７及びＳＰ３８の処理を繰り返す。具体的に制御部８は、まずはｄａｔａ＿ｏｌｄ_１全てに対してｄａｔａ_１と類似する顔特徴量データが存在するかを検索する。次に制御部８は、これをｄａｔａ_２からｄａｔａ_ｘまで繰り返し、所定の１つのカメラ２の指定期間内の過去の顔特徴量データ群に対し、全ての検索対象人物の顔特徴量データとの比較を行うと、ステップＳＰ３９からステップＳＰ４０へ移る。

【0043】

ステップＳＰ４０において制御部８は、指定期間内の全ての障害撮影カメラ及び周辺カメラにおける顔特徴量データに対しステップＳＰ３４、ＳＰ３５、ＳＰ３６、ＳＰ３７、ＳＰ３８及びＳＰ３９の処理を繰り返す。具体的に制御部８は、ｄａｔａ＿ｏｌｄ_１に対する検索がｄａｔａ_ｘまで完了したら、ｄａｔａ＿ｏｌｄ_２以降も同様に検索を行い、これをｄａｔａ＿ｏｌｄ_ｎまで繰り返す。

【0044】

ステップＳＰ３６において肯定結果が得られると、このことは、検索中にｄａｔａと類似する顔特徴量データがｄａｔａ＿ｏｌｄに存在したことを表し、このとき制御部８はステップＳＰ３７へ移る。ステップＳＰ３７において制御部８は、類似する顔特徴量データがｄａｔａ＿ｏｌｄに存在したｄａｔａの顔特徴量データの人物を不審人物と判断し、人物情報４２における該不審人物に不審人物フラグとして「１」を立て、ステップＳＰ３８へ移る。

【0045】

ステップＳＰ３８において制御部８は、人物情報４２に基づき不審人物が検出された録画区間をリストアップする。録画区間とは、不審人物フラグが立てられた不審人物が映っている期間を示し、該不審人物が監視映像に映り始めた撮影時刻から映り終わる撮影時刻までの期間である。

【0046】

制御部８は、ステップＳＰ３３～ＳＰ４０の処理を繰り返すことにより、障害発生時刻に登録された全ての人物の顔特徴量データに対し該顔特徴量データと類似する顔特徴量データが、障害が発生したと判断した監視映像を撮影している障害撮影カメラと周辺カメラとが撮影した監視映像の指定期間内の過去の全ての顔特徴量データの中に存在するかを検索する。続いて制御部８は、障害発生時刻に登録された顔特徴量データと類似する顔特徴量データを発見した場合、該顔特徴量データの人物を不審人物と判断して、顔特徴量データと対応付けて不審人物フラグを立てる。

【0047】

ｄａｔａ＿ｏｌｄ_ｎに対してｄａｔａ_ｘまでの検索が完了すると、制御部８は、ステップＳＰ４０からステップＳＰ４１へ移り、不審人物判定処理手順ＳＲＴ２を終了し、不審人物検索処理手順ＲＴ１（図３）におけるステップＳＰ１２へ移る。

【0048】

［６．効果等］
ここで、カメラ２の過去の録画映像は膨大な期間になっているため、障害発生時に検出した人物を過去の録画映像から目視で検索する場合、監視者が大変な労力を要してしまう。

【0049】

これに対し映像監視装置４は、監視映像の監視中に障害の発生を検出した際、障害発生時に検出した障害撮影カメラ及び周辺カメラに映り込んでいる人物の顔情報を解析して顔特徴量データを生成し、障害撮影カメラ及び周辺カメラの過去の指定期間内の監視録画映像において、この顔特徴量データと類似する顔特徴量データを有する人物を検索し、発見した場合、該人物を不審人物と判定するようにした。すなわち映像監視装置４は、過去の指定期間内の監視録画映像において、障害発生時に検出した人物と同一の人物が移り込んでいないかを検索し、映り込んでいた場合、該人物を不審人物と判定するようにした。

【0050】

このため映像監視装置４は、障害発生時に現場に存在する人物が過去にも同様に現場及びその周辺を訪れていないかを容易に判断し、不審人物の映り込んでいる時間帯を絞り込むことができ、不審人物の絞り込みや不審人物が映り込んでいる過去録画映像のピックアップを行うことができる。これは、事件の犯人が事前に犯行現場を下見している可能性があるため、その性質を利用したものである。

【0051】

また映像監視装置４は、不審人物を検出したカメラ２のカメラＩＤとその検出していた期間とを使用し、不審人物が映り込んでいる録画映像の期間を映像表示装置２６に提示し、監視者に対し、その期間の録画映像を映像録画装置１４から視聴確認させるようにした。このため映像監視装置４は、過去の録画映像から不審人物の映り込んでいる時間帯を絞り込んで監視者に提示し、不審人物が犯行の下準備等の不審行動を取っているかどうかの調査を最小限の労力で実現することができる。これにより映像監視装置４は、監視者の負担及び労力を大幅に軽減できる。

【0052】

以上の構成によれば映像監視装置４は、第１の撮像装置としてのカメラ２による第１の撮像映像から不審人物を検出する人物検出部３８と、不審人物の顔情報としての顔特徴量データに基づいて、所定の人物が不審人物として検出された起点となる、障害発生時刻である第１の時刻から、終点となる過去の所定時間までの期間における第１の撮像映像において、不審人物を検索する顔検出部４０と、障害発生時刻から過去の所定時間までの期間における第１の撮像映像において、障害発生時刻で検出された不審人物が発見された場合、該不審人物に関わる情報である不審人物の校長表示を映像表示装置２６に出力する映像表示処理部３０とを設けるようにした。

【0053】

これにより映像監視装置４は、障害発生時に現場に存在する不審人物が、過去にも同様に現場及びその周辺を訪れているか否かを判定し、該不審人物を監視者に提示できる。

【0054】

［７．他の実施の形態］
なお上述した実施の形態においては、映像監視装置４が、不審人物検索処理手順ＲＴ１（図３）のステップＳＰ１３において、表示映像に対して不審人物を強調表示するよう表示内容を加工し映像表示装置２６に表示する不審人物強調表示処理を行う場合について述べた。本発明はこれに限らず、映像監視装置４が、障害発生現場で障害が発生する以前において該障害発生現場に存在した不審人物に関わる種々の映像を監視者に対して出力することにより、不審人物を監視者に認識させることができれば良い。

【0055】

また上述した実施の形態においては、映像監視装置４が指定距離を１５［ｍ］とする場合について述べた。本発明はこれに限らず、映像監視装置４が指定距離を調整可能にしても良い。その場合、複数のカメラ２のそれぞれで同一人物を連続して追跡する場合は、指定距離をカメラ２自身の撮像距離である例えば１５［ｍ］程度としたり、セキュリティ性を高めたい場合、夜の街灯の明るさでも人物の詳細な特徴を捉えるために、カメラ２自身の撮像距離である１５［ｍ］程度よりも短い距離である例えば４～５［ｍ］程度に指定距離を設定したりしても良い。

【0056】

さらに上述した実施の形態においては、映像監視装置４が指定期間を短くて１週間長くて１か月間とする場合について述べた。本発明はこれに限らず、映像監視装置４が指定距離を調整可能にしても良い。その場合、１週間内のそれぞれの曜日における障害発生時において、障害発生現場の周辺の状況（例えば、人の混雑度や交通の混雑度等）の変化が小さい場合、指定期間を例えば１週間とすると良い。一方、１週間内のそれぞれの曜日における障害発生時において、障害発生現場の周辺の状況の変化が大きい場合、指定期間を例えば１か月とすると良い。さらに、セキュリティ性を高めたい場合、指定期間を長くすると良い。

【0057】

さらに上述した実施の形態においては、映像監視装置４が不審人物フラグを一旦立てた不審人物をその後の映像監視において発見した場合、発報しても良い。

【0058】

さらに上述した実施の形態においては、映像監視装置４が、不審人物検索処理手順ＲＴ１（図３）のステップＳＰ５において、監視映像において２人以上が検出されたか否かを判定する場合について述べた。本発明はこれに限らず、映像監視装置４が、ステップＳＰ４における顔検出処理の前に、監視映像において２人以上が検出されたか否かを判定し、２人以上が検出されなかった場合、顔検出処理を行うことなく、不審人物検索処理手順ＲＴ１を終了しても良い。

【0059】

さらに上述した実施の形態においては、映像監視装置４が、不審人物検索処理手順ＲＴ１（図３）のステップＳＰ５において監視映像において２人以上を検出し、ステップＳＰ６において各人物の視線が集中している場合に、障害が発生している可能性があると判定する場合について述べた。本発明はこれに限らず、映像監視装置４が、監視映像において１人が検出され視線が集中している場合にも障害が発生している可能性があると判定しても良い。また、映像監視装置４が、１人の人物の視線方向の時間変化を検出し、同一の視線方向を所定時間維持していた場合に障害が発生している可能性があると判定しても良い。さらに、映像監視装置４が、同じ顔の人物が検出されなくとも同じ行動パターンを取る人物を検出したり、同じ服装の人物を検出した場合に、障害が発生している可能性があると判定したりしても良い。

【0060】

さらに上述した実施の形態においては、不審人物検索処理手順ＲＴ１（図４）のステップＳＰ２２において、監視者がリアルタイム監視映像を目視して確認して、障害が発生したか否かを判断する場合について述べた。本発明はこれに限らず、例えば、視線が集中しており、且つ、検出した人物の表情が、驚き、怒り又は悲しみを表す負の表情である割合が所定の閾値以上である場合、監視者がリアルタイム監視映像を目視して確認することなく、障害が発生したと映像監視装置４が判定しても良い。また、単に、視線が集中している場合に、監視者がリアルタイム監視映像を目視して確認することなく、障害が発生したと映像監視装置４が判定しても良い。さらに、映像監視装置４は、環境音が所定のピーク音圧を超えた場合であるか否かも考慮して、障害が発生したと判定しても良い。

【0061】

さらに本発明は、上述した各実施の形態及び他の実施の形態に限定されるものではない。すなわち本発明は、上述した各実施の形態と上述した他の実施の形態の一部又は全部を任意に組み合わせた実施の形態や、一部を抽出した実施の形態にもその適用範囲が及ぶものである。

【0062】

さらに上述した実施の形態においては、第１の処理手段としての人物検出部３８と、第２の処理手段としての顔検出部４０と、第３の処理手段としての映像表示処理部３０とによって、処理装置としての映像監視装置４を構成する場合について述べた。本発明はこれに限らず、その他種々の構成でなる第１の処理手段と、第２の処理手段と、第３の処理手段とによって、処理装置を構成しても良い。

【産業上の利用可能性】

【0063】

本発明は、監視カメラを利用し不審人物を検出する装置でも利用できる。

【符号の説明】

【0064】

１……映像監視システム、２……カメラ、４……映像監視装置、６……ネットワーク、８……制御部、１０……映像取得部、１１……記憶部、１２……映像表示処理装置、１４……映像録画装置、１６……映像解析装置、１８……ユーザインタフェース部、２０……映像蓄積装置、２２……映像情報蓄積装置、２４……カメラ情報蓄積装置、２６……映像表示装置、３０……映像表示処理部、３２……映像合成処理部、３４……映像録画部、３６……録画検索部、３８……人物検出部、４０……顔検出部、４２……人物情報。

【図1】

【図2】

【図3】

【図4】

【図5】