特許 7539798 情報検索装置、情報検索方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-16

(45)【発行日】2024-08-26

(54)【発明の名称】情報検索装置、情報検索方法、及びプログラム

(51)【国際特許分類】

   G06F 16/73 20190101AFI20240819BHJP

   G06T 7/246 20170101ALI20240819BHJP

   G06F 16/53 20190101ALI20240819BHJP

   H04N 7/18 20060101ALI20240819BHJP

   H04N 5/76 20060101ALI20240819BHJP

   H04N 5/77 20060101ALI20240819BHJP

【ＦＩ】

G06F16/73

G06T7/246

G06F16/53

H04N7/18 D

H04N7/18 K

H04N5/76

H04N5/77

【請求項の数】 5

(21)【出願番号】P 2020135168

(22)【出願日】2020-08-07

(65)【公開番号】P2022030865

(43)【公開日】2022-02-18

【審査請求日】2023-02-07

(73)【特許権者】

【識別番号】399035766

【氏名又は名称】エヌ・ティ・ティ・コミュニケーションズ株式会社

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(72)【発明者】

【氏名】松本 鮎美

(72)【発明者】

【氏名】柴田 哲希

(72)【発明者】

【氏名】宇田 育弘

(72)【発明者】

【氏名】根本 真一

(72)【発明者】

【氏名】佐藤 篤

(72)【発明者】

【氏名】児玉 知也

(72)【発明者】

【氏名】塩崎 貴司

【審査官】齊藤 貴孝

(56)【参考文献】

【文献】国際公開第２０１８／１６３３９８（ＷＯ，Ａ１）

【文献】特許第６５７３３４６（ＪＰ，Ｂ１）

【文献】国際公開第２０１５／１２９３１８（ＷＯ，Ａ１）

【文献】国際公開第２０１５／１１１３１２（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １６／００－１６／９５８

Ｇ０６Ｔ ７／２４６

Ｈ０４Ｎ ７／１８

Ｈ０４Ｎ ５／７６

Ｈ０４Ｎ ５／７７

(57)【特許請求の範囲】

【請求項1】

複数のカメラからの映像データに含まれる複数のフレームから検出された検出画像が登録されたデータベースから、検索条件に応じた対象者画像を検索する検索部と、
第１の出力指定に基づき前記検索部により検索された全ての対象者画像を選択し、第２の出力指定に基づき前記検索部により検索された全ての対象者画像のうち出力条件を満たし且つ同一人物と見なされる第１の所定数の対象者画像を選択する選択部と、
前記選択部により選択される対象者画像を出力する出力部と、
を備え、
前記選択部は、前記第２の出力指定に基づき、１台のカメラからの映像データに対して同一人物と見なされる第１の所定数の対象者画像を選択し、
前記出力部は、カメラ毎に、選択される対象者画像を出力する、情報検索装置。

【請求項2】

前記選択部は、前記第２の出力指定に基づき、１台のカメラからの連続する所定時間分の複数のフレームに対して同一人物と見なされる第１の所定数の対象者画像を選択する、請求項１の情報検索装置。

【請求項3】

前記選択部は、前記第２の出力指定に基づき人物らしさのスコアの高い順に上位から第１の所定数の対象者画像を選択する、請求項１の情報検索装置。

【請求項4】

情報検索装置が実行する情報検索方法であって、
前記情報検索装置は、ハードウェアプロセッサ及びプログラム記憶部を備え、
前記ハードウェアプロセッサは、前記プログラム記憶部に記憶されるプログラムに基づき前記情報検索方法を実行し、
前記情報検索方法は、
複数のカメラからの映像データに含まれる複数のフレームから検出された検出画像が登録されたデータベースから、対象者の検索条件に応じた対象者画像を検索し、
第１の出力指定に基づき、検索された全ての対象者画像を選択し、第２の出力指定に基づき、検索された全ての対象者画像のうち出力条件を満たす第１の所定数の同一人物と見なされる対象者画像を選択し、
選択される対象者画像を出力することを備え、
前記選択することは、前記第２の出力指定に基づき、１台のカメラからの映像データに対して同一人物と見なされる第１の所定数の対象者画像を選択することを含み、
前記出力することは、カメラ毎に、選択される対象者画像を出力することを含む、情報検索方法。

【請求項5】

請求項１乃至３の何れかの情報検索装置が備える各部による処理をコンピュータに実行させるプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明の実施形態は、例えば監視カメラからの映像データを解析して対象者の画像を検索する情報検索装置、情報検索方法、及びプログラムに関する。

【背景技術】

【0002】

近年、防犯対策の一環として、様々な場所にカメラが設置されている。カメラは、監視対象エリアを撮影し、映像データを出力する。汎用のパーソナルコンピュータ等の情報処理装置は、カメラからの映像データを受信し、受信した映像データを記憶部に記憶し映像データを解析して対象者の画像を検出する。また、情報処理装置は、検出した対象者の画像をモニタ等に表示する。

【0003】

映像データには多数のフレームが含まれ、これらフレームに含まれる顔を対象とした特徴量抽出に関する処理の負担が重く、低コストな装置で高速処理を実現するための技術が提案されている（例えば特許文献１を参照）。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６５６８４７６号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

情報処理装置は、記憶された映像データに含まれる複数のフレームから、対象者を検出するため、検出結果として、似たような対象者の画像が多く出力されてしまうことがある。

【0006】

対象者が、同じ場に長時間滞在していた場合、この傾向は強まる。また、多くの画像を出力するためには、例えば、出力のための表示処理の負荷が大きくなり、表示処理に時間がかかることもある。

【0007】

このように、同一人物の画像が多く出力されてしまうと、他の対象者の画像が埋もれてしまうこともある。

【0008】

この発明は上記事情に着目してなされたもので、検出された同一人物の画像の視認性の向上を図る技術を提供しようとするものである。

【課題を解決するための手段】

【0009】

上記課題を解決するためにこの発明の一態様の情報検索装置は、１以上のカメラ からの映像データに含まれる複数のフレームから検出された検出画像が登録されたデータベースから、検索条件に応じた対象者画像を検索する検索部と、第１の出力指定に基づき前記検索部により検索された全ての対象者画像を選択し、第２の出力指定に基づき前記検索部により検索された全ての対象者画像のうち出力条件を満たし且つ同一人物と見なされる第１の所定数の対象者画像を選択する選択部と、前記選択部により選択される対象者画像を出力する出力部と、を備える。

【発明の効果】

【0010】

この発明の一態様によれば、検出された同一人物の画像の視認性の向上を図る技術を提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、この発明の一実施形態に係る監視情報処理装置を含む監視システムの構成の一例を示す図である。

【図2】図２は、この発明の一実施形態に係る監視情報処理装置として用いられるＷｅｂサーバ装置のハードウェア構成の一例を示すブロック図である。

【図3】図３は、この発明の一実施形態に係る監視情報処理装置として用いられるＷｅｂサーバ装置のソフトウェア構成の一例を示すブロック図である。

【図4】図４は、この発明の一実施形態に係るシステムによる検索処理の一例を示すフローチャートである。

【図5】図５は、この発明の一実施形態に係るシステムによる検索処理のうちの対象画像の選択処理の一例を示すフローチャートである。

【図6】図６は、この発明の一実施形態に係るシステムによる検索処理のうちの画角内追跡ＩＤ毎の対象画像の選択処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、図面を参照してこの発明に係る実施形態を説明する。

【0013】

［一実施形態］
（構成例）
（１）システム
図１は、この発明の一実施形態に係る監視情報処理装置を含むシステムの全体構成を示す図である。
例えば、ショッピングモールや百貨店などの大規模店舗の通路や売り場には、複数台の監視カメラＣ１～Ｃｎが分散配置されている。監視カメラＣ１～Ｃｎは、例えば天井または壁面に取着され、それぞれの監視エリアを撮像してその映像データを出力する。

【0014】

例えば、監視カメラＣ１～Ｃｎには、それぞれ映像解析エンジンＶＥ１～ＶＥｎが付設されている。映像解析エンジンＶＥ１～ＶＥｎは映像解析部に相当し、映像解析部は、監視カメラＣ１～Ｃｎからのそれぞれの映像データを解析する。例えば、映像解析エンジンＶＥ１～ＶＥｎはそれぞれ、対応する監視カメラＣ１～Ｃｎから出力される映像データに含まれる複数の画像フレームに対して、画角内追跡を実施し、複数の画像フレームから、画像フレーム内の位置情報等に基づき同一人物画像を判定する。

【0015】

なお、映像解析エンジンＶＥ１～ＶＥｎは監視カメラＣ１～Ｃｎに対し一対一に配置せず、複数台のカメラに対しそれより少数の映像解析エンジンを配置して、少数の映像解析エンジンにより複数台の監視カメラの映像データを一括処理するようにしてもよい。

【0016】

また、一実施形態のシステムは、監視情報処理装置として使用されるＷｅｂサーバ装置ＳＶを備える。映像解析エンジンＶＥ１～ＶＥｎは、ネットワークＮＷを介してＷｅｂサーバ装置ＳＶとの間でデータ通信が可能となっており、生成された映像解析結果をネットワークＮＷを介してＷｅｂサーバ装置ＳＶへ送信する。ネットワークＮＷには、例えば有線ＬＡＮ（Local Area Network）または無線ＬＡＮが用いられるが、他のどのようなネットワークが使用されてもよい。

【0017】

なお、Ｗｅｂサーバ装置ＳＶが、映像解析エンジンＶＥ１～ＶＥｎ又は１つの映像解析エンジンを備え、Ｗｅｂサーバ装置ＳＶの映像解析エンジンＶＥ１～ＶＥｎ又は１つの映像解析エンジンが、ネットワークＮＷを介して、監視カメラＣ１～Ｃｎからのそれぞれの映像データを受信し、受信した映像データを解析してもよい。

【0018】

（２）Ｗｅｂサーバ装置ＳＶ
図２および図３は、それぞれＷｅｂサーバ装置ＳＶのハードウェア構成およびソフトウェア構成の一例を示すブロック図である。
Ｗｅｂサーバ装置ＳＶは、中央処理ユニット（Central Processing Unit：ＣＰＵ）等のハードウェアプロセッサを有する制御部１を備え、この制御部１に対し、バス６を介して、プログラム記憶部２およびデータ記憶部３を有する記憶ユニットと、入出力インタフェース（入出力Ｉ／Ｆ）４と、通信インタフェース（通信Ｉ／Ｆ）５とを接続したものとなっている。

【0019】

入出力Ｉ／Ｆ４には、例えばモニタ装置ＭＴおよび管理者端末ＯＴが接続される。モニタ装置ＭＴは、監視者が監視エリアを目視監視するために使用されるもので、監視カメラＣ１～Ｃｎの映像や、監視対象となるクエリの検知結果または追跡結果を表す情報などを表示する。

【0020】

管理者端末ＯＴは、システム管理者がシステム管理や保守等のために使用するもので、各種設定画面やシステム内の動作状態を表す情報を表示すると共に、システム管理者がシステムの管理・運用に必要な種々データを入力したときに当該データを受け付けてＷｅｂサーバ装置ＳＶに設定する機能を有する。

【0021】

通信Ｉ／Ｆ５は、制御部１の制御の下、ネットワークＮＷにより定義される通信プロトコルを使用して、映像解析エンジンＶＥ１～ＶＥｎとの間でデータ伝送を行うもので、例えば有線ＬＡＮまたは無線ＬＡＮに対応するインタフェースにより構成される。

【0022】

プログラム記憶部２は、例えば、記憶媒体としてＨＤＤ（Hard Disk Drive）またはＳＳＤ（Solid State Drive）等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＯＭ（Read Only Memory）等の不揮発性メモリとを組み合わせて構成したもので、ＯＳ（Operating System）等のミドルウェアに加えて、この発明の一実施形態に係る各種制御処理を実行するために必要なプログラムを格納する。

【0023】

データ記憶部３は、例えば、記憶媒体として、ＨＤＤまたはＳＳＤ等の随時書込みおよび読出しが可能な不揮発性メモリと、ＲＡＭ（Random Access Memory）等の揮発性メモリと組み合わせたもので、この発明の一実施形態を実施するために必要な主たる記憶部として、カメラ情報テーブル３１と、設定情報テーブル３２とを備えている。

【0024】

カメラ情報テーブル３１は、監視カメラＣ１～Ｃｎ毎に、その識別情報（以後カメラＩＤと称する）に対応付けて、例えば監視カメラの名称、性能および設置位置を表す情報を記憶する。性能を表す情報には、例えば解像度やアスペクト比が含まれる。また設置位置を示す情報には、例えば緯度経度、撮像方向および撮像角度が含まれる。また、カメラ情報テーブル３１はデータベースを記憶し、データベースは、監視カメラＣ１～Ｃｎからの映像データから検出される追跡対象者画像（検出画像）を登録する。

【0025】

設定情報テーブル３２は、クエリの画像特徴量を記憶する。例えば、設定情報テーブル３２は、入出力Ｉ／Ｆ４を介して管理者端末ＯＴから入力されるクエリの画像特徴量を記憶する。或いは、設定情報テーブル３２は、通信Ｉ／Ｆ５を介して監視カメラＣ１～Ｃｎから送信される映像データから検出されるクエリの画像特徴量を記憶する。また、設定情報テーブル３２は、管理者端末ＯＴ等を介して入力されるアラート判定条件を記憶する。例えば、設定情報テーブル３２は、管理者端末ＯＴ等を介して入力される第１又は第２のアラート判定条件を記憶する。

【0026】

ここで、クエリ画像の登録例について補足する。例えば、リアルタイムで得られるアラートに基づき、管理者が追跡したい人（画像）について、管理者端末ＯＴ上で追跡ボタンを押下する。制御部１は、この追跡ボタンの押下に対応して、自動的に最新検知画像のセット（顔画像と全身画像）をクエリ画像（クエリの画像特徴量）として登録し、追跡を開始する。また、リアルタイムで得られるアラートに基づき、管理者が追跡したい人（画像）について、管理者端末ＯＴ上で履歴ボタンを押下する。制御部１は、この履歴ボタンの押下に対応して、履歴一覧から任意の画像を選択してクエリ画像として登録し、追跡を開始する。また、制御部１は、管理者からの履歴検索に従い、監視カメラの画像から人物検索を実施し、管理者により人物検索結果の中から選択される画像をクエリ画像として登録し、追跡を開始する。また、管理者は、リアルタイムで得られる監視画像データに含まれる人（画像）を選択し、制御部１は、この選択された人をクエリ画像として登録し、追跡を開始する。また、管理者は、依頼者から提供された画像を管理者端末ＯＴから取り込み、クエリ画像として登録し、追跡を開始する。

【0027】

制御部１は、この発明の一実施形態に係る処理機能として、情報取得部１１と、画像検出部１２と、検索条件設定部１３と、画像検索部１４と、画像選択部（フィルタ部）１５と、出力部１６とを備えている。各部は、何れもプログラム記憶部２に格納されたプログラムを制御部１のハードウェアプロセッサに実行させることにより実現される。

【0028】

情報取得部１１は、監視カメラＣ１～Ｃｎに接続された映像解析エンジンＶＥ１～ＶＥｎ、又はＷｅｂサーバ装置ＳＶに設けられた映像解析エンジンＶＥ１～ＶＥｎからの映像データ及び映像解析結果等を取得する。例えば、映像解析エンジンＶＥ１～ＶＥｎはそれぞれ、対応する監視カメラＣ１～Ｃｎから出力される映像データに含まれる複数の画像フレームから、画像フレーム内の位置情報等に基づき同一人物を判定し、判定結果等を含む映像解析結果を出力する。

【0029】

また、情報取得部１１は、監視カメラＣ１～Ｃｎからの映像データに限らず、入出力Ｉ／Ｆ４又は通信Ｉ／Ｆ５を介して入力される動画ファイルを取得することもできる。情報取得部１１は、指定フォーマットのファイル名の動画ファイルを指定フォルダに転送する。例えば、情報取得部１１は、動画ファイルのファイル名に含まれるカメラ名及び撮影時刻を登録する。これにより、カメラ名又は撮影時刻の指定による動画ファイルの検索が可能となる。動画ファイルに基づく検索では、リアルタイム追跡処理を必要とせずに、画像検索が可能である。リアルタイム追跡処理を必要としないため、高速に動画ファイルの取り込みが可能となる。動画ファイルに基づく画像検索処理は、リアルタイム追跡処理を必要としない点以外は、監視カメラＣ１～Ｃｎからの映像データに基づく画像検索処理と実質同一である。

【0030】

画像検出部１２は、映像解析結果及び監視カメラＣ１～Ｃｎからの映像データを統合的に解析し追跡対象者画像を検出する。映像解析エンジンＶＥ１～ＶＥｎは、例えば事前に与えられたクエリの画像特徴量（追跡対象者画像の特徴量）をもとに、監視カメラＣ１～Ｃｎからの映像データに含まれる複数の画像フレームから、クエリの画像特徴量と類似する画像特徴量を有する人物画像（追跡対象者画像）を抽出する。例えば、事前に与えられるクエリは複数であり、複数のクエリの画像特徴量と類似する画像特徴量を有する人物画像が複数抽出される。

【0031】

また、映像解析エンジンＶＥ１～ＶＥｎは、抽出された人物画像とクエリ画像との類似度を表す情報と、監視カメラＣ１～ＣｎのカメラＩＤと、画角内追跡ＩＤと、撮影時刻（日時分秒）とを含む映像解析結果を生成する。人物画像には、顔（face）の画像と、全身（body）の画像が含まれ、類似度情報には顔画像および全身画像それぞれに対応する類似度が含まれる。カメラＩＤは、監視カメラに固有の識別情報である。画角内追跡ＩＤは、同一の監視カメラ内で同一人物とみなす画像を追跡するためのＩＤである。

【0032】

画像検出部１２は、検出された追跡対象者画像（検出画像）を含む検出画像情報をカメラ情報テーブル３１のデータベースへ登録する。例えば、画像検出部１２は、監視カメラＣ１～Ｃｎからのそれぞれの映像データに含まれる複数のフレームから、膨大な数の追跡対象者画像を検出し、膨大な数の検出画像情報をカメラ情報テーブル３１のデータベースへ登録する。検出画像情報は、検出画像及び属性情報を含む。属性情報は、カメラＩＤ、画角内追跡ＩＤ、人物らしさのスコア、画像種別（顔画像又は全身画像）、撮影日時等を含む。なお、カメラ情報テーブル３１のデータベースには、検索対象として追跡対象者画像が登録されるだけでなく、様々な人物画像が登録される。

【0033】

検索条件設定部１３は、設定情報テーブル３２から読み出される検索条件を設定する。検索条件は、期間（開始日時及び終了日時）を含む。また、検索条件は、カメラＩＤを含んでもよいし、検索対象画像（顔画像、全身画像、又は顔及び全身画像）を含んでもよい。

【0034】

画像検索部１４は、監視カメラＣ１～Ｃｎからの映像データに含まれる複数のフレームから検出された検出画像を含む検出画像情報が登録されたデータベースから、検索条件に応じた対象者画像を検索する。例えば、画像検索部１４は、指定された期間において検出された検出画像を対象者画像（複数の人物の画像）として検索する。検索結果には、各人物の画像が複数含まれる。或いは、画像検索部１４は、指定された期間において検出された検出画像のうち、ある人物の画像と類似するものを対象者画像（ある人物の画像）として検索する。検索結果には、ある人物の画像が複数含まれる。

【0035】

画像選択部１５は、設定情報テーブル３２の第１の出力指定（例えばフィルタ機能ＯＦＦ）に基づき画像検索部１４により検索された全ての対象者画像を選択する。また、画像選択部１５は、設定情報テーブル３２の第２の出力指定（例えばフィルタ機能ＯＮ）に基づき画像検索部１４により検索された全ての対象者画像のうち出力条件を満たし且つ同一人物と見なされる第１の所定数の対象者画像を選択する。第１の所定数は、任意に設定される１又は２以上の数である。例えば、同一人物とみなされる対象者画像を絞り込んで表示したい場合は、第１の所定数に１又はそれに近い数を設定し、同一人物とみなされる対象者画像を比較的多く表示したい場合は、第１の所定数に３以上の数を設定する。

【0036】

出力部１５は、画像選択部１５により選択される対象者画像を出力する。例えば、出力部１６は、モニタ装置ＭＴで表示するための対象者画像を出力する。設定情報テーブル３２で第１の出力指定が設定されている場合には、画像検索部１４により検索された全ての対象者画像がモニタ装置ＭＴで表示され、設定情報テーブル３２で第２の出力指定が設定されている場合には、画像検索部１４により検索された全ての対象者画像のうち出力条件を満たし且つ同一人物と見なされる第１の所定数の対象者画像がモニタ装置ＭＴで表示される。

【0037】

なお、以上の説明では、データ記憶部３に設けられた各テーブル３１、３２をＷｅｂサーバ装置ＳＶ内に設けた場合を例にとった。しかし、それに限らず、Ｗｅｂサーバ装置ＳＶ外に配置されたデータベースサーバまたはファイルサーバ内に設けるようにしてもよい。この場合、Ｗｅｂサーバ装置ＳＶがデータベースサーバまたはファイルサーバ内の各テーブル３１、３２に対しアクセスし、必要な情報を取得することにより各処理を行う。

【0038】

（動作例）
次に、以上のように構成されたシステムの動作例を説明する。
図４は、この発明の一実施形態に係るシステムによる検索処理の一例を示すフローチャートである。
監視カメラＣ１～Ｃｎは、撮影を開始し、映像データを出力する（ＳＴ１）。映像解析エンジンＶＥ１～ＶＥｎはそれぞれ、対応する監視カメラＣ１～Ｃｎからの映像データを解析する（ＳＴ２）。例えば、映像解析エンジンＶＥ１～ＶＥｎはそれぞれ、対応する監視カメラＣ１～Ｃｎから出力される映像データに含まれる複数の画像フレームに対して、画角内追跡を実施し、複数の画像フレームから、画像フレーム内の位置情報等に基づき同一人物を判定する。映像解析エンジンＶＥ１～ＶＥｎは、映像データ及び同一人物判定を出力する。

【0039】

Ｗｅｂサーバ装置ＳＶの通信Ｉ／Ｆ５は、映像解析エンジンＶＥ１～ＶＥｎから映像データ及び同一人物判定を受信する。情報取得部１１は、映像解析エンジンＶＥ１～ＶＥｎからの映像データ及び同一人物判定を取得する（ＳＴ３）。画像検出部１２は、映像解析エンジンＶＥ１～ＶＥｎからの映像データと同一人物判定とを統合的に解析し、映像解析エンジンＶＥ１～ＶＥｎからの映像データに含まれる複数のフレームから人物画像を検出する（ＳＴ４）。例えば、フレームの数は膨大であり、検出される人物画像も膨大になる。画像検出部１２は、検出された人物画像を含む検出画像情報をカメラ情報テーブル３１のデータベースへ登録する（ＳＴ５）。

【0040】

検索条件設定部１３は、管理者端末ＯＴからの指示に従い設定情報テーブル３２から検索条件を読み出し、画像検索部１４に対して検索条件を設定する。例えば、検索条件は、開始日時Ｄ１及び終了日時Ｄ２を含む。また、検索条件設定部１３は、管理者端末ＯＴからの指示に従い設定情報テーブル３２から第１又は第２の出力指定を読み出し、画像選択部１５に対して第１又は第２の出力指定を設定する。

【0041】

画像検索部１４は、カメラ情報テーブル３１に登録されたデータベースから、設定された検索条件に応じた対象者画像を検索する（ＳＴ６）。例えば、画像検索部１４は、データベースに登録された検出画像情報に含まれる属性情報を参照し、開始日時Ｄ１及び終了日時Ｄ２の期間に含まれる対象者画像を検索する。

【0042】

画像選択部１５は、第１又は第２の出力指定に基づき画像検索部１４により検索された全部又は一部の対象者画像を選択する（ＳＴ７）。出力部１６は、入出力Ｉ／Ｆ４等を介して、モニタ装置ＭＴに対して、画像選択部１５により選択される対象者画像を出力する（ＳＴ８）。

【0043】

図５は、この発明の一実施形態に係るシステムによる検索処理のうちの対象画像の選択処理の一例を示すフローチャートである。図５は、図４に示すＳＴ７の詳細を説明するフローチャートである。

【0044】

第１の出力指定が設定されている場合（フィルタ機能ＯＦＦの場合）（ＳＴ７０１、ＹＥＳ）、画像選択部１５は、第１の出力指定に基づき画像検索部１４により検索された全ての対象者画像を選択する（ＳＴ７０２）。

【0045】

また、第２の出力指定が設定されている場合（フィルタ機能ＯＮの場合）（ＳＴ７０１、ＮＯ）（ＳＴ７０３）、画像選択部１５は、第２の出力指定に基づき画像検索部１４により検索された全ての対象者画像のうち出力条件を満たし且つ同一人物と見なされる第１の所定数の対象者画像を選択する（ＳＴ７０４）。

【0046】

例えば、管理者端末ＯＴ等を介して入力された第１の所定数が「１」であり、出力条件が「人物らしさのスコア」であれば、画像選択部１５は、第２の出力指定に基づき出力条件を満たし且つ同一人物と見なされる１つの対象者画像を選択し、出力部１６は、選択された１つの対象者画像を出力する。この場合、最も人物らしさのスコアが高い対象者画像が出力条件を満たす。

【0047】

管理者端末ＯＴ等を介して入力された第１の所定数が「２」であり、出力条件が「人物らしさのスコア」及び「顔画像」であれば、画像選択部１５は、第２の出力指定に基づき出力条件を満たし且つ同一人物と見なされる２つの対象者画像を選択し、出力部１６は、選択された２つの対象者画像を出力する。この場合、顔画像のうち、人物らしさのスコアが高い上位２つの対象者画像が出力条件を満たす。

【0048】

出力部１６は、第１の出力指定に基づき画像検索部１４により検索された全ての対象者画像が選択された場合には、選択された全ての対象者画像をモニタ装置ＭＴに出力する。また、出力部１６は、第２の出力指定に基づき画像検索部１４により検索された全ての対象者画像のうち出力条件を満たし且つ同一人物と見なされる第１の所定数の対象者画像が選択された場合には、選択された第１の所定数の対象者画像をモニタ装置ＭＴに出力する。

【0049】

或いは、画像選択部１５は、第２の出力指定に基づき、１台のカメラからの映像データに対して同一人物とみなされる第１の所定数又は第１の所定数を上限として対象者画像を選択するようにしてもよい。この場合、出力部１６は、カメラ毎に、同一人物とみなされる第１の所定数又は第１の所定数を上限とした対象者画像を出力し、モニタ装置ＭＴが、出力される対象者画像を表示する。

【0050】

或いは、画像選択部１５は、第２の出力指定に基づき、１台のカメラからの映像データに含まれる、連続する所定時間分の複数のフレームに対して同一人物とみなされる第１の所定数又は第１の所定数を上限とする対象者画像を選択するようにしてもよい。この場合、出力部１６は、同一人物とみなされる第１の所定数又は第１の所定数を上限とした対象者画像を出力し、モニタ装置ＭＴが、出力される対象者画像を表示する。所定時間毎に第１の所定数の同一人物の表示が可能となり、視認性に優れるとともに詳細確認も可能となる。

【0051】

図６は、この発明の一実施形態に係るシステムによる検索処理のうちの画角内追跡ＩＤ毎の対象画像の選択処理の一例を示すフローチャートである。図６は、図４に示すＳＴ７の詳細を説明するフローチャートである。

【0052】

画像選択部１５は、画像検索部１４による検索結果を受信し（ＳＴ７１１）、検索結果ファイルを読み込む（ＳＴ７１２）。例えば、検索結果ファイルは、対象者画像情報を含み、対象者画像情報は、対象者画像及び属性情報を含む。属性情報は、カメラＩＤ、画角内追跡ＩＤ、人物らしさのスコア、画像種別（顔画像又は全身画像）、撮影日時等を含む。

【0053】

画像選択部１５は、画角内追跡ＩＤ別に、対象者画像を並び替える（ＳＴ７１３）。例えば、画像選択部１５は、第１優先度を日時、第２優先度を人物らしさのスコアとして、対象者画像を並び替える。顔画像が指定されている場合又は全身画像が指定されている場合は、画像選択部１５は、類似度の高い順に並び替える。顔画像と全身画像の両方が指定されている場合は、画像選択部１５は、顔画像類似度が閾値を超える画像については、顔画像類似度の高い順に画像を並び替え、顔画像類似度が閾値を超えない画像については、全身画像類似度の高い順に画像を並び替える。

【0054】

画角内追跡ＩＤフィルタフラグがTrueでなければ（フィルタ機能ＯＦＦ）（ＳＴ７１４、ＮＯ）、画像選択部１５は、検索された全ての対象者画像を選択する。画角内追跡ＩＤフィルタフラグがTrueであれば（フィルタ機能ＯＮ）（ＳＴ７１４、ＹＥＳ）、画像選択部１５は、検索された全ての対象者画像のうちの一部の対象者画像を選択する（ＳＴ７１５～ＳＴ７２０）。

【0055】

画像選択部１５は、各画角内追跡ＩＤを順に調べる。画像選択部１５は、Ｎ＝１を設定し（ＳＴ７１５）、Ｎ番目の画角内追跡ＩＤの対象者画像を取得する（ＳＴ７１６）。表示リストに同一画角内追跡ＩＤの対象者画像が存在しなければ（ＳＴ７１７、ＮＯ）、画像選択部１５は、取得した対象者画像を表示リストに追加する（ＳＴ７１８）。最後の画角内追跡ＩＤまで確認していなければ（ＳＴ７１９、ＮＯ）、画像選択部１５は、Ｎ＝Ｎ＋１を設定し（ＳＴ７２０）、ＳＴ７１６～ＳＴ７１９を実行する。

【0056】

その結果、表示リストには、画角内追跡ＩＤ毎に対象者画像が登録される。出力部１６は、表示リストを出力し、モニタ装置ＭＴは、表示リストに基づき対象者画像を表示する。

【0057】

本実施形態によれば、検出された同一人物の画像の視認性の向上を図るシステム、装置、方法、プログラムを提供することができる。一つのカメラで同一人物が長時間撮影された場合にはこのカメラからの映像データの複数のフレームには同一人物の画像が含まれる。また、複数のカメラで同一人物が撮影された場合にはこれら複数のカメラからの映像データの複数のフレームには同一人物の画像が含まれる。Ｗｅｂサーバ装置ＳＶは、第１の出力指定の設定により、同一人物の多数の画像を表示し、第２の出力指定の設定により、同一人物の絞り込まれた少数の画像を表示する。仮に、第２の出力指定の設定で表示される画像が目的に合致しない画像であれば、第１の出力指定の設定に変更すればよい。例えば、第１の出力指定を利用すれば、多くの画像から人物を詳細に確認することができ、第２の出力指定を利用すれば、少ない画像から人物を短時間で確認することができる。さらに、第２の出力指定を利用すれば、表示処理にかかる時間も短縮できる。

【0058】

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

【符号の説明】

【0059】

１…制御部
２…プログラム記憶部
３…データ記憶部
４…入出力インタフェース（入出力Ｉ／Ｆ）
５…通信インタフェース（通信Ｉ／Ｆ）
６…バス
１１…情報取得部
１２…画像検出部
１３…検索条件設定
１４…画像検索部
１５…画像選択部
１６…出力部
３１…カメラ情報テーブル
３２…設定情報テーブル
Ｃ１、Ｃ２、Ｃｎ…監視カメラ
ＭＴ…モニタ装置
ＮＷ…ネットワーク
ＯＴ…管理者端末
ＳＶ…サーバ装置
ＶＥ１、ＶＥｎ…映像解析エンジン

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】