IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エヌ・ティ・ティ・コミュニケーションズ株式会社の特許一覧

特許7479987情報処理装置、情報処理方法、及びプログラム
<>
  • 特許-情報処理装置、情報処理方法、及びプログラム 図1
  • 特許-情報処理装置、情報処理方法、及びプログラム 図2
  • 特許-情報処理装置、情報処理方法、及びプログラム 図3
  • 特許-情報処理装置、情報処理方法、及びプログラム 図4
  • 特許-情報処理装置、情報処理方法、及びプログラム 図5
  • 特許-情報処理装置、情報処理方法、及びプログラム 図6
  • 特許-情報処理装置、情報処理方法、及びプログラム 図7
  • 特許-情報処理装置、情報処理方法、及びプログラム 図8
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-04-26
(45)【発行日】2024-05-09
(54)【発明の名称】情報処理装置、情報処理方法、及びプログラム
(51)【国際特許分類】
   H04N 7/18 20060101AFI20240430BHJP
   G08B 25/00 20060101ALI20240430BHJP
【FI】
H04N7/18 D
H04N7/18 G
G08B25/00 510M
【請求項の数】 6
(21)【出願番号】P 2020135111
(22)【出願日】2020-08-07
(65)【公開番号】P2022030832
(43)【公開日】2022-02-18
【審査請求日】2023-02-07
(73)【特許権者】
【識別番号】399035766
【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(74)【代理人】
【識別番号】100108855
【弁理士】
【氏名又は名称】蔵田 昌俊
(74)【代理人】
【識別番号】100179062
【弁理士】
【氏名又は名称】井上 正
(74)【代理人】
【識別番号】100199565
【弁理士】
【氏名又は名称】飯野 茂
(72)【発明者】
【氏名】松本 鮎美
(72)【発明者】
【氏名】柴田 哲希
(72)【発明者】
【氏名】宇田 育弘
(72)【発明者】
【氏名】根本 真一
(72)【発明者】
【氏名】佐藤 篤
(72)【発明者】
【氏名】児玉 知也
(72)【発明者】
【氏名】塩崎 貴司
【審査官】長谷川 素直
(56)【参考文献】
【文献】特開2020-047069(JP,A)
【文献】特開2016-131288(JP,A)
【文献】特開2012-208610(JP,A)
【文献】特開2020-013290(JP,A)
【文献】国際公開第2014/125882(WO,A1)
【文献】国際公開第2011/102416(WO,A1)
(58)【調査した分野】(Int.Cl.,DB名)
H04N 7/18
G08B 25/00
(57)【特許請求の範囲】
【請求項1】
複数のカメラからの映像データを統合的に解析し対象者画像を検出する検出部と、
対象者画像の検出結果に基づき対象者を追跡する追跡部と、
対象者の追跡結果を出力する出力部と、
を備え
前記検出部は、
アラートの抑制を指定しない第1のアラート判定条件が設定されている場合、各カメラからの映像データに含まれる連続する第1の所定数のフレームにおける候補者画像の特徴量と対象者画像の特徴量との平均類似度に基づき対象者アラートの要否を判定し、
アラートの抑制を指定する第2のアラート判定条件が設定されている場合、各カメラからの映像データに含まれる、前記第1の所定数より多く連続する第2の所定数のフレームにおける候補者画像の特徴量と対象者画像の特徴量との平均類似度に基づき対象者アラートの要否を判定し、
前記出力部は、
前記対象者アラートが必要と判定された場合に、前記対象者アラートを含む追跡結果を出力する、情報処理装置。
【請求項2】
前記検出部は、複数のカメラからのそれぞれの映像データにおける同一人物の判定結果に基づき対象者画像を検出する請求項1の情報処理装置。
【請求項3】
前記出力部は、前記複数のカメラからの映像データに含まれる複数のフレームの時刻情報に基づき時系列に追跡結果を出力する請求項1の情報処理装置。
【請求項4】
複数のカメラからのそれぞれの映像データを解析する映像解析部と、
前記映像解析部からの解析結果に基づき、複数のカメラからの映像データを統合的に解析し対象者画像を検出する検出部と、
前記対象者画像の検出結果に基づき対象者を追跡する追跡部と、
対象者の追跡結果を出力する出力部と、
を備え
前記検出部は、
アラートの抑制を指定しない第1のアラート判定条件が設定されている場合、各カメラからの映像データに含まれる連続する第1の所定数のフレームにおける候補者画像の特徴量と対象者画像の特徴量との平均類似度に基づき対象者アラートの要否を判定し、
アラートの抑制を指定する第2のアラート判定条件が設定されている場合、各カメラからの映像データに含まれる、前記第1の所定数より多く連続する第2の所定数のフレームにおける候補者画像の特徴量と対象者画像の特徴量との平均類似度に基づき対象者アラートの要否を判定し、
前記出力部は、
前記対象者アラートが必要と判定された場合に、前記対象者アラートを含む追跡結果を出力する、情報処理システム。
【請求項5】
複数のカメラからの映像データを統合的に解析し対象者画像を検出し、
対象者画像の検出結果に基づき対象者を追跡し、
対象者の追跡結果を出力する情報処理方法であって、
アラートの抑制を指定しない第1のアラート判定条件が設定されている場合、各カメラからの映像データに含まれる連続する第1の所定数のフレームにおける候補者画像の特徴量と対象者画像の特徴量との平均類似度に基づき対象者アラートの要否を判定し、
アラートの抑制を指定する第2のアラート判定条件が設定されている場合、各カメラからの映像データに含まれる、前記第1の所定数より多く連続する第2の所定数のフレームにおける候補者画像の特徴量と対象者画像の特徴量との平均類似度に基づき対象者アラートの要否を判定し、
前記対象者アラートが必要と判定された場合に、前記対象者アラートを含む追跡結果を出力する、情報処理方法
【請求項6】
請求項1乃至の何れかの情報処理装置が備える各部による処理をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明の実施形態は、例えば監視カメラからの映像データを解析して対象者の画像を検出する情報処理装置、情報処理方法、及びプログラムに関する。
【背景技術】
【0002】
近年、防犯対策の一環として、様々な場所にカメラが設置されている。カメラは、監視対象エリアを撮影し、映像データを出力する。汎用のパーソナルコンピュータ等の情報処理装置は、カメラからの映像データを受信し、受信した映像データを記憶部に記憶し映像データを解析して対象者の画像を検出する。また、情報処理装置は、検出した対象者の画像をモニタ等に表示する。
【0003】
例えば、大規模店舗、オフィスビル、又は駅の構内のように多くの人が利用する施設には、複数のカメラが設置される。また、監視室等には、複数のカメラに対応する複数のモニタが設置される。情報処理装置は、各カメラからの映像データを受信し、各カメラからの映像データのそれぞれを解析して対象者の画像を検出する。各モニタには、各カメラからの映像データから検出された対象者の画像が表示される。監視員は、各モニタに表示される対象者を目視で確認する。
【0004】
人物を監視する上では、高精度に対象者を検出する技術が必要となり、これに関する技術が提案されている(例えば特許文献1を参照)。
【先行技術文献】
【特許文献】
【0005】
【文献】特開2019-164422号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
対象者を高精度に検出する技術についてはいくつかの提案があるが、人物を監視の負担を軽減したいという要望がある。
【0007】
上記したように、複数のカメラからの映像データの解析結果(対象者の画像)を複数のモニタで分担して表示する場合、監視員は、複数のモニタに跨って、目視で対象者を追跡することになる。この場合、監視員は、複数のモニタの表示を同時に追いかけることになり、監視員の監視負担が大きいだけでなく、見落しが生じるおそれがある。
【0008】
この発明は上記事情に着目してなされたもので、複数のカメラからの映像データに基づく監視員の監視負担の軽減を図る技術を提供しようとするものである。
【課題を解決するための手段】
【0009】
上記課題を解決するためにこの発明の一態様の情報処理装置は、複数のカメラからの映像データを統合的に解析し対象者画像を検出する検出部と、対象者画像の検出結果に基づき対象者を追跡する追跡部と、対象者の追跡結果を出力する出力部と、を備える。
【発明の効果】
【0010】
この発明の一態様によれば、複数のカメラからの映像データに基づく監視員の監視負担の軽減を図る技術を提供することができる。
【図面の簡単な説明】
【0011】
図1図1は、この発明の一実施形態に係る監視情報処理装置を含む監視システムの構成の一例を示す図である。
図2図2は、この発明の一実施形態に係る監視情報処理装置として用いられるWebサーバ装置のハードウェア構成の一例を示すブロック図である。
図3図3は、この発明の一実施形態に係る監視情報処理装置として用いられるWebサーバ装置のソフトウェア構成の一例を示すブロック図である。
図4図4は、この発明の一実施形態に係るシステムによる追跡処理の一例を示すフローチャートである。
図5図5は、この発明の一実施形態に係るWebサーバ装置による追跡処理の第1例を示すフローチャートである。
図6図6は、この発明の一実施形態に係るWebサーバ装置による追跡処理の第2例を示すフローチャートである。
図7図7は、この発明の一実施形態に係る映像解析エンジンによる映像解析の一例を示す概念図である。
図8図8は、この発明の一実施形態に係る監視情報処理装置として用いられるWebサーバ装置による統合的な映像解析の一例を示す概念図である。
【発明を実施するための形態】
【0012】
以下、図面を参照してこの発明に係る実施形態を説明する。
【0013】
[一実施形態]
(構成例)
(1)システム
図1は、この発明の一実施形態に係る監視情報処理装置を含むシステムの全体構成を示す図である。
例えば、ショッピングモールや百貨店などの大規模店舗の通路や売り場には、複数台の監視カメラC1~Cnが分散配置されている。監視カメラC1~Cnは、例えば天井または壁面に取着され、それぞれの監視エリアを撮像してその映像データを出力する。
【0014】
例えば、監視カメラC1~Cnには、それぞれ映像解析エンジンVE1~VEnが付設されている。映像解析エンジンVE1~VEnは映像解析部に相当し、映像解析部は、監視カメラC1~Cnからのそれぞれの映像データを解析する。例えば、映像解析エンジンVE1~VEnはそれぞれ、対応する監視カメラC1~Cnから出力される映像データに含まれる複数の画像フレームに対して、画角内追跡を実施し、複数の画像フレームから、画像フレーム内の位置情報等に基づき同一人物画像を判定する。
【0015】
なお、映像解析エンジンVE1~VEnは監視カメラC1~Cnに対し一対一に配置せず、複数台のカメラに対しそれより少数の映像解析エンジンを配置して、少数の映像解析エンジンにより複数台の監視カメラの映像データを一括処理するようにしてもよい。
【0016】
また、一実施形態のシステムは、監視情報処理装置として使用されるWebサーバ装置SVを備える。映像解析エンジンVE1~VEnは、ネットワークNWを介してWebサーバ装置SVとの間でデータ通信が可能となっており、生成された映像解析結果をネットワークNWを介してWebサーバ装置SVへ送信する。ネットワークNWには、例えば有線LAN(Local Area Network)または無線LANが用いられるが、他のどのようなネットワークが使用されてもよい。
【0017】
なお、Webサーバ装置SVが、映像解析エンジンVE1~VEn又は1つの映像解析エンジンを備え、Webサーバ装置SVの映像解析エンジンVE1~VEn又は1つの映像解析エンジンが、ネットワークNWを介して、監視カメラC1~Cnからのそれぞれの映像データを受信し、受信した映像データを解析してもよい。
【0018】
(2)Webサーバ装置SV
図2および図3は、それぞれWebサーバ装置SVのハードウェア構成およびソフトウェア構成の一例を示すブロック図である。
Webサーバ装置SVは、中央処理ユニット(Central Processing Unit:CPU)等のハードウェアプロセッサを有する制御部1を備え、この制御部1に対し、バス6を介して、プログラム記憶部2およびデータ記憶部3を有する記憶ユニットと、入出力インタフェース(入出力I/F)4と、通信インタフェース(通信I/F)5とを接続したものとなっている。
【0019】
入出力I/F4には、例えばモニタ装置MTおよび管理者端末OTが接続される。モニタ装置MTは、監視者が監視エリアを目視監視するために使用されるもので、監視カメラC1~Cnの映像や、監視対象となるクエリの検知結果または追跡結果を表す情報などを表示する。
【0020】
管理者端末OTは、システム管理者がシステム管理や保守等のために使用するもので、各種設定画面やシステム内の動作状態を表す情報を表示すると共に、システム管理者がシステムの管理・運用に必要な種々データを入力したときに当該データを受け付けてWebサーバ装置SVに設定する機能を有する。
【0021】
通信I/F5は、制御部1の制御の下、ネットワークNWにより定義される通信プロトコルを使用して、映像解析エンジンVE1~VEnとの間でデータ伝送を行うもので、例えば有線LANまたは無線LANに対応するインタフェースにより構成される。
【0022】
プログラム記憶部2は、例えば、記憶媒体としてHDD(Hard Disk Drive)またはSSD(Solid State Drive)等の随時書込みおよび読出しが可能な不揮発性メモリと、ROM(Read Only Memory)等の不揮発性メモリとを組み合わせて構成したもので、OS(Operating System)等のミドルウェアに加えて、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムを格納する。
【0023】
データ記憶部3は、例えば、記憶媒体として、HDDまたはSSD等の随時書込みおよび読出しが可能な不揮発性メモリと、RAM(Random Access Memory)等の揮発性メモリと組み合わせたもので、この発明の一実施形態を実施するために必要な主たる記憶部として、カメラ情報テーブル31と、設定情報テーブル32と、追跡結果テーブル33とを備えている。
【0024】
カメラ情報テーブル31は、監視カメラC1~Cn毎に、その識別情報(以後カメラIDと称する)に対応付けて、例えば監視カメラの名称、性能および設置位置を表す情報を記憶する。性能を表す情報には、例えば解像度やアスペクト比が含まれる。また設置位置を示す情報には、例えば緯度経度、撮像方向および撮像角度が含まれる。
【0025】
設定情報テーブル32は、クエリの画像特徴量を記憶する。例えば、設定情報テーブル32は、入出力I/F4を介して管理者端末OTから入力されるクエリの画像特徴量を記憶する。或いは、設定情報テーブル32は、通信I/F5を介して監視カメラC1~Cnから送信される映像データから検出されるクエリの画像特徴量を記憶する。また、設定情報テーブル32は、管理者端末OT等を介して入力されるアラート判定条件を記憶する。例えば、設定情報テーブル32は、管理者端末OT等を介して入力される第1又は第2のアラート判定条件を記憶する。
【0026】
ここで、クエリ画像の登録例について補足する。例えば、リアルタイムで得られるアラートに基づき、管理者が追跡したい人(画像)について、管理者端末OT上で追跡ボタンを押下する。制御部1は、この追跡ボタンの押下に対応して、自動的に最新検知画像のセット(顔画像と全身画像)をクエリ画像(クエリの画像特徴量)として登録し、追跡を開始する。また、リアルタイムで得られるアラートに基づき、管理者が追跡したい人(画像)について、管理者端末OT上で履歴ボタンを押下する。制御部1は、この履歴ボタンの押下に対応して、履歴一覧から任意の画像を選択してクエリ画像として登録し、追跡を開始する。また、制御部1は、管理者からの履歴検索に従い、監視カメラの画像から人物検索を実施し、管理者により人物検索結果の中から選択される画像をクエリ画像として登録し、追跡を開始する。また、管理者は、リアルタイムで得られる監視画像データに含まれる人(画像)を選択し、制御部1は、この選択された人をクエリ画像として登録し、追跡を開始する。また、管理者は、依頼者から提供された画像を管理者端末OTから取り込み、クエリ画像として登録し、追跡を開始する。
【0027】
追跡結果テーブル33は、追跡対象者の追跡結果を記憶する。例えば、追跡結果テーブル33は、時系列に編集された追跡対象者毎の追跡結果を記憶する。
【0028】
制御部1は、この発明の一実施形態に係る処理機能として、情報取得部11と、検出部12と、追跡部13と、出力部14とを備えている。各部は、何れもプログラム記憶部2に格納されたプログラムを制御部1のハードウェアプロセッサに実行させることにより実現される。
【0029】
情報取得部11は、監視カメラC1~Cnに接続された映像解析エンジンVE1~VEn、又はWebサーバ装置SVに設けられた映像解析エンジンVE1~VEnからの映像データ及び映像解析結果等を取得する。例えば、映像解析エンジンVE1~VEnはそれぞれ、対応する監視カメラC1~Cnから出力される映像データに含まれる複数の画像フレームから、画像フレーム内の位置情報等に基づき同一人物を判定し、判定結果を含む映像解析結果等を出力する。
【0030】
検出部12は、映像解析結果及び監視カメラC1~Cnからの映像データを統合的に解析し追跡対象者画像を検出する。映像解析エンジンVE1~VEnは、例えば事前に与えられたクエリの画像特徴量(追跡対象者画像の特徴量)をもとに、監視カメラC1~Cnからの映像データに含まれる複数の画像フレームから、クエリの画像特徴量と類似する画像特徴量を有する人物画像(追跡対象者画像)を抽出する。例えば、事前に与えられるクエリは複数であり、複数のクエリの画像特徴量と類似する画像特徴量を有する人物画像が複数抽出される。
【0031】
また、映像解析エンジンVE1~VEnは、抽出された人物画像とクエリ画像との類似度を表す情報と、監視カメラC1~CnのカメラIDと、画角内追跡IDと、撮影時刻(日時分秒)とを含む映像解析結果を生成する。人物画像には、顔(face)の画像と、全身(body)の画像が含まれ、類似度情報には顔画像および全身画像それぞれに対応する類似度が含まれる。カメラIDは、監視カメラに固有の識別情報である。画角内追跡IDは、同一の監視カメラ内で同一人物とみなす画像を追跡するためのIDである。
【0032】
また、検出部12は、監視カメラC1~Cnからの映像データに含まれる連続する複数のフレームにおける候補者画像の特徴量と追跡対象者画像の特徴量との平均類似度に基づき追跡対象者アラートの要否を判定してもよい。例えば、検出部12は、アラート頻度が多少多くなってもよい場合に管理者端末OT等を介して入力される第1のアラート判定条件に従い、連続する所定数のフレームにおける候補者画像の特徴量と追跡対象者画像の特徴量との平均類似度に基づき追跡対象者アラートの要否を判定する。連続する所定数のフレームにおける候補者画像の特徴量と追跡対象者画像の特徴量との平均類似度が第1の平均類似度閾値を超える場合に、検出部12は、追跡者アラートを必要と判定する。平均類似度が第1の平均類似度閾値を超えない場合に、検出部12は、追跡者アラートを不要と判定する。
【0033】
また、検出部12は、アラートを抑制したい場合に管理者端末OT等を介して入力される第2のアラート判定条件に従い、連続する所定数のフレームにおける候補者画像の特徴量と追跡対象者画像の特徴量との平均類似度に基づき追跡対象者アラートの要否を判定する。連続する所定数のフレームにおける候補者画像の特徴量と追跡対象者画像の特徴量との平均類似度が第1の平均類似度閾値より高い値の第2の平均類似度閾値を超える場合に、検出部12は、追跡者アラートを必要と判定する。平均類似度が第2の平均類似度閾値を超えない場合に、検出部12は、追跡者アラートを不要と判定する。
【0034】
追跡部13は、追跡対象者画像の検出結果に基づき追跡対象者を追跡する。例えば、追跡部13は、監視カメラC1~Cnからのそれぞれの映像データに含まれる複数のフレームの時刻情報に基づき、時系列の追跡対象者の追跡結果を生成する。
【0035】
出力部14は、追跡対象者の追跡結果を出力する。例えば、出力部14は、モニタ装置MTで表示するための追跡結果を出力する。また、出力部14は、追跡結果テーブル33に記憶するための追跡結果を出力する。例えば、出力される追跡結果は、時系列の追跡対象者の追跡結果である。
【0036】
なお、以上の説明では、データ記憶部3に設けられた各テーブル31~33をWebサーバ装置SV内に設けた場合を例にとった。しかし、それに限らず、Webサーバ装置SV外に配置されたデータベースサーバまたはファイルサーバ内に設けるようにしてもよい。この場合、Webサーバ装置SVがデータベースサーバまたはファイルサーバ内の各テーブル31~33に対しアクセスし、必要な情報を取得することにより各処理を行う。
【0037】
(動作例)
次に、以上のように構成されたシステムの動作例を説明する。
図4は、この発明の一実施形態に係るシステムによる追跡処理の一例を示すフローチャートである。
監視カメラC1~Cnは、撮影を開始し、映像データを出力する(ST1)。映像解析エンジンVE1~VEnはそれぞれ、対応する監視カメラC1~Cnからの映像データを解析する(ST2)。例えば、映像解析エンジンVE1~VEnはそれぞれ、対応する監視カメラC1~Cnから出力される映像データに含まれる複数の画像フレームに対して、画角内追跡を実施し、複数の画像フレームから、画像フレーム内の位置情報等に基づき同一人物を判定する。また、映像解析エンジンVE1~VEnは、監視カメラC1~Cnからの映像データに含まれる複数のフレームから得られる候補者画像の特徴量を検出し、候補者画像の特徴量と追跡対象者画像の特徴量との類似度を算出する。映像解析エンジンVE1~VEnは、映像データ及び同一人物の判定結果等を含む映像解析結果出力する。
【0038】
Webサーバ装置SVの通信I/F5は、映像解析エンジンVE1~VEnから映像データ及び同一人物判定を受信する。第1の情報取得部11は、映像解析エンジンVE1~VEnからの映像データ及び同一人物判定を取得する(ST3)。検出部12は、映像解析エンジンVE1~VEnからの映像データと同一人物判定とを統合的に解析し、映像解析エンジンVE1~VEnからの映像データに含まれる複数のフレームから追跡対象者画像を検出する(ST4)。追跡部13は、追跡対象者画像の検出結果に基づき追跡対象者を追跡する(ST5)。出力部14は、追跡対象者の追跡結果を出力する(ST6)。
【0039】
図5は、この発明の一実施形態に係るWebサーバ装置による追跡処理の第1例を示すフローチャートである。図4に示す検出部12による追跡対象者画像の検出(ST4)について更に詳しく説明する。
【0040】
図5に示すように、検出部12は、映像解析結果及び監視カメラC1~Cnからのそれぞれの映像データに基づき追跡対象者画像を検出する。例えば、検出部12は、類似度閾値と映像解析エンジンVE1~VEnで算出された類似度とを比較し(ST412)、類似度閾値を超える候補者画像を抽出し(ST413)、さらに同一人物の候補者画像を抽出し(ST414)、抽出された候補者画像を追跡対象者画像として検出する(ST415)。
【0041】
例えば、図8に示すように、類似度閾値として「25」が設定されるケースを想定する。また、監視カメラC1からの映像データに含まれる所定のフレームの候補者画像の特徴量と追跡対象者画像の特徴量との類似度として「29」が検出され、監視カメラC2からの映像データに含まれる所定のフレームの候補者画像の特徴量と追跡対象者画像の特徴量との類似度として「27」が検出されるケースを想定する。検出部12は、類似度閾値「29」を超える候補者画像を追跡対象者画像として検出する。
【0042】
追跡部13は、追跡対象者画像の検出結果に基づき追跡対象者を追跡する。出力部14は、追跡対象者の追跡結果を出力する。複数人の追跡対象者画像が検出された場合は、出力部14は、追跡者毎に追跡結果を出力する。追跡結果は、追跡対象者画像、追跡対象者画像を撮影したカメラID、及び追跡対象者画像の撮影時刻を含む。出力部14は、監視カメラC1~Cnからの映像データに含まれる複数のフレームの時刻情報に基づき時系列に追跡結果を出力する。
【0043】
図6は、この発明の一実施形態に係るWebサーバ装置による追跡処理の第2例を示すフローチャートである。第2例では、対象となるフレーム数を動的に変化させるケースについて説明する。図4に示す検出部12による追跡対象者画像の検出(ST4)の出力について更に詳しく説明する。
【0044】
追跡対象者の検出に応じてアラートを出力する場合、そのアラートの出力頻度を抑制したい場合がある。また、追跡対象者の検出精度は必ずしも100%ではなく、誤検知の可能性もあり得る。このような検出精度の事情を加味して、アラートの出力頻度を抑制した場合もある。そこで、アラートの出力程度を制御するアラート判定条件を利用する。例えば、第1のアラート判定条件は、標準的にアラートの出力を受けたい場合に適用される条件であり、第2のアラート判定条件は、アラートを抑制したい場合に適用される条件である。
【0045】
アラートの抑制が指定されていなければ、つまり、第1のアラート判定条件が設定されている場合(ST421、YES)、検出部12は、連続する第1の所定数のフレーム(比較的短い時間の撮影画像)における候補者画像の特徴量を検出し、連続する第1の所定数のフレームにおける候補者画像の特徴量と追跡対象者画像の特徴量との類似度を算出する(ST423)。さらに、検出部12は、類似度閾値と算出された類似度とを比較し(ST425)、類似度閾値を超える候補者画像を抽出し(ST426)、さらに同一人物の候補者画像を抽出する(ST427)。
【0046】
さらに、検出部12は、第1の所定数のフレームにおける候補者画像の類似度の平均値を算出し(ST428)、平均類似度閾値と算出された平均類似度とを比較し(ST429)、算出された平均類似度が平均類似度閾値を超える場合に、追跡対象者アラートを必要と判定し、追跡対象者アラートを設定する(ST430)。出力部14は、このように追跡対象者アラートが必要と判定された場合に、追跡対象者アラートを含む追跡結果を出力する。
【0047】
アラートの抑制が指定されていれば、つまり、第2のアラート判定条件が設定されている場合(ST422、YES)、検出部12は、第1の所定数より多く連続する第2の所定数のフレーム(比較的長い時間の撮影画像)における候補者画像の特徴量を検出し、連続する第2の所定数のフレームにおける候補者画像の特徴量と追跡対象者画像の特徴量との類似度を算出する(ST424)。さらに、検出部12は、類似度閾値と算出された類似度とを比較し(ST425)、類似度閾値を超える候補者画像を抽出し(ST426)、さらに同一人物の候補者画像を抽出する(ST427)。
【0048】
さらに、検出部12は、第2の所定数のフレームにおける候補者画像の類似度の平均値を算出し(ST428)、平均類似度閾値と算出された平均類似度とを比較し(ST429)、算出された平均類似度が平均類似度閾値を超える場合に、追跡対象者アラートを必要と判定し、追跡対象者アラートを設定する(ST430)。出力部14は、このように追跡対象者アラートが必要と判定された場合に、追跡対象者アラートを含む追跡結果を出力する。
【0049】
本実施形態によれば、複数のカメラからの映像データに基づく監視員の監視負担の軽減を図るシステム、装置、方法、プログラムを提供することができる。本実施形態のWebサーバ装置SVは、リアルタイムに、複数の監視カメラC1~Cnからの映像データを統合的に解析し追跡対象者画像を検出し、追跡対象者画像の検出結果に基づき追跡対象者を追跡し、追跡対象者の追跡結果を出力する。
【0050】
統合的な解析とは、監視カメラC1~Cnからの映像データをカメラ別に解析した映像解析結果と、監視カメラC1~Cnからの映像データとに基づく映像解析である。例えば、映像解析エンジンVE1~VEnが、映像データをカメラ別に解析する処理を担い、Webサーバ装置SVは、映像解析エンジンVE1~VEnによるカメラ別の映像解析結果を用いて、監視カメラC1~Cnからの映像データから追跡対象者画像を検出する。
【0051】
このような統合的な解析により、カメラ別ではなく、追跡対象者毎に追跡結果を出力することができる。例えば、モニタ装置MTは、追跡対象者毎に追跡結果を時系列に表示する。追跡対象者が、複数の監視カメラC1~Cnに跨って撮影された場合でも、モニタ装置MTは、同一の追跡対象者の画像を纏めて時系列に表示する。これにより、監視員は、複数のモニタに跨って同一の追跡対象者を目視で追いかける必要がなく、監視員の監視負担が軽減される。
【0052】
また、本実施形態のWebサーバ装置SVは、画像又は音声等の追跡対象者アラートを含む追跡結果を出力する。例えば、モニタ装置MTは、アラートを示す記号、マーク、又は枠等により、検出された追跡対象者の画像を強調して表示する。これにより、監視員は、追跡追対象者を見落とすことなく目視確認することができる。
【0053】
また、Webサーバ装置SVは、監視カメラC1~Cnからの映像データに含まれる連続する複数のフレームにおける候補者画像の特徴量と対象者画像の特徴量との平均類似度に基づき対象者アラートの要否を判定する。Webサーバ装置SVは、対象者アラートが必要と判定した場合に、対象者アラートを含む追跡結果を出力する。例えば、Webサーバ装置SVは、算出される平均類似度が平均類似度閾値を超えるか否かで、対象者アラートの要否を判定する。平均類似度閾値を高く設定すれば、対象者アラートの感度を抑えることができ、逆に、平均類似度閾値を低く設定すれば、対象者アラートの感度を上げることができる。
【0054】
また、Webサーバ装置SVは、平均類似度の算出対象となるフレーム数を動的に設定して、対象アラートの感度を制御してもよい。例えば、対象者アラートの感度を特に抑制する必要がなく、第1のアラート判定条件が設定される場合に、Webサーバ装置SVは、連続する第1の所定数のフレームにおける候補者画像の特徴量と対象者画像の特徴量との平均類似度に基づき対象者アラートの要否を判定する。逆に、対象者アラートの感度を抑制する必要があり、第2のアラート判定条件が設定される場合に、Webサーバ装置SVは、第1の所定数より多く連続する第2の所定数のフレームにおける候補者画像の特徴量と対象者画像の特徴量との平均類似度に基づき対象者アラートの要否を判定する。このように、判定条件に応じて、平均類似度の算出対象となるフレーム数を動的に変化させることにより、対象者アラートの感度を制御することができる。
【0055】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【符号の説明】
【0056】
1…制御部
2…プログラム記憶部
3…データ記憶部
4…入出力インタフェース(入出力I/F)
5…通信インタフェース(通信I/F)
6…バス
11…情報取得部
12…検出部
13…追跡部
14…出力部
31…カメラ情報テーブル
32…設定情報テーブル
33…追跡結果テーブル
C1、C2、Cn…監視カメラ
MT…モニタ装置
NW…ネットワーク
OT…管理者端末
SV…サーバ装置
VE1、VEn…映像解析エンジン
図1
図2
図3
図4
図5
図6
図7
図8