特許 6575845 画像処理システム、画像処理方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6575845

(24)【登録日】2019年8月30日

(45)【発行日】2019年9月18日

(54)【発明の名称】画像処理システム、画像処理方法及びプログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20190909BHJP

【ＦＩ】

   H04N7/18 D

【請求項の数】9

【全頁数】15

(21)【出願番号】特願2014-528040(P2014-528040)

(86)(22)【出願日】2013年6月17日

(86)【国際出願番号】JP2013066568

(87)【国際公開番号】WO2014021005

(87)【国際公開日】20140206

【審査請求日】2016年5月13日

【審判番号】不服2018-4073(P2018-4073/J1)

【審判請求日】2018年3月23日

(31)【優先権主張番号】特願2012-170403(P2012-170403)

(32)【優先日】2012年7月31日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100109586

【弁理士】

【氏名又は名称】土屋 徹雄

(72)【発明者】

【氏名】▲高▼橋 祐介

(72)【発明者】

【氏名】池田 浩雄

【合議体】

【審判長】 清水 正一

【審判官】 藤原 敬利

【審判官】 鳥居 稔

(56)【参考文献】

【文献】 特開２００６−８１０５３（ＪＰ，Ａ）

【文献】 特開２００７−２６３１６（ＪＰ，Ａ）

【文献】 特開２０１０−９８５５０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

H04N7/18

H04N5/225

H04N5/76

G08B13/00

G08B15/00

(57)【特許請求の範囲】

【請求項1】

複数のビデオカメラで撮像された動画像の入力を受ける入力手段と、
前記入力手段から入力された動画像のうち、少なくとも１つの動画像を表示装置に表示させる第１の表示制御手段と、
前記表示装置が表示する動画像に映る人物を１以上登録可能な登録手段と、
前記表示装置が表示する動画像に人物が映っている場合に、当該人物と関連付け可能な、前記登録手段により登録された１以上の人物に係る人物画像を選択可能に配置したポップアップウィンドウを、当該動画像近傍に表示する第２の表示制御手段と
を備え、
前記ポップアップウィンドウは、前記動画像に映っている人物が、前記動画像の撮影範囲外に移動するまで、動きに合わせて位置を変えて表示される、
画像処理システム。

【請求項2】

前記登録手段は、前記人物画像が選択された場合に、当該人物画像に対応する人物と、前記表示装置が表示する動画像に映っている人物とを関連付ける、
請求項１記載の画像処理システム。

【請求項3】

前記第２の表示制御手段は、前記人物画像と並べて空白画像を表示すると共に、当該空白画像が選択された場合に、前記表示装置が表示する動画像に映っている人物を新規に登録する、
請求項１又は請求項２記載の画像処理システム。

【請求項4】

前記表示装置が表示する動画像に映っている人物と、前記登録手段により登録された１以上の人物との類似度が閾値を下回る場合に、前記第２の表示制御手段は、当該閾値を下回る人物に係る前記人物画像を、類似度が閾値を超える人物に係る前記人物画像とは区別して表示する、
請求項１乃至請求項３のいずれか１項記載の画像処理システム。

【請求項5】

前記表示装置が表示する動画像に映っている人物と、前記登録手段により登録された１以上の人物との類似度が他の人物よりも高い人物に係る前記人物画像を表示する、
請求項１乃至請求項３のいずれか１項記載の画像処理システム。

【請求項6】

前記第２の表示制御手段は、前記表示装置が表示する動画像に映っている人物と姿勢が近似する前記人物画像を表示する、
請求項１乃至請求項５のいずれか１項記載の画像処理システム。

【請求項7】

前記第２の表示制御手段は、同一人物に係る異なる向きの前記人物画像を表示可能である、
請求項１乃至請求項５のいずれか１項記載の画像処理システム。

【請求項8】

複数のビデオカメラで撮像された動画像の入力を受けるステップと、
前記入力された動画像のうち、少なくとも１つの動画像を表示装置に表示させるステップと、
前記表示装置が表示する動画像に映る人物を１以上登録するステップと、
前記表示装置が表示する動画像に人物が映っている場合に、当該人物と関連付け可能な、前記登録された１以上の人物に係る人物画像を選択可能に配置したポップアップウィンドウを、当該動画像近傍に表示するステップと
を画像処理システムが行い、
前記ポップアップウィンドウは、前記動画像に映っている人物が、前記動画像の撮影範囲外に移動するまで、動きに合わせて位置を変えて表示される、
画像処理方法。

【請求項9】

複数のビデオカメラで撮像された動画像の入力を受ける処理と、
前記入力された動画像のうち、少なくとも１つの動画像を表示装置に表示させる処理と、
前記表示装置が表示する動画像に映る人物を１以上登録する処理と、
前記表示装置が表示する動画像に人物が映っている場合に、当該人物と関連付け可能な、前記登録された１以上の人物に係る人物画像を選択可能に配置したポップアップウィンドウを、当該動画像近傍に表示する処理と
をコンピュータに実行させ、
前記ポップアップウィンドウは、前記動画像に映っている人物が、前記動画像の撮影範囲外に移動するまで、動きに合わせて位置を変えて表示される、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明に係るいくつかの態様は、画像処理システム、画像処理方法及びプログラムに関する。

【背景技術】

【0002】

近年、複数のカメラからの映像を利用して広範囲にわたる監視を行うシステムが考えられている。例えば特許文献１は、カメラ間の連結関係情報を用いてカメラ間にまたがる人物の追尾（モニタリング）を適切に行うことのできる装置を開示している。この装置は、カメラ視野に出現した点（Ｉｎ点）と、カメラ視野から消失した点（Ｏｕｔ点）における人物特徴量の類似度に応じて、人物の対応関係を求める。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８−２１９５７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１記載の装置のように、類似度に応じて自動的に人物の対応関係を定める場合には、一定の確率で誤りが生じる。そこで、人間が関与する形で人物の対応付けを行うことが求められている。

【0005】

しかしながら、人間が主導で人物の対応付けを行うことを考えると、操作が煩雑になる可能性がある。対応付けにあまりに煩雑な操作が必要となると、対応付けの作業に追われて却って監視が疎かになったり、利用への心理的障害となったりする等の課題が生じる。

【0006】

本発明のいくつかの態様は前述の課題に鑑みてなされたものであり、動画像に映る人物の対応づけを簡易な操作で行うことのできる画像処理システム、画像処理方法、及びプログラムを提供することを目的の１つとする。

【課題を解決するための手段】

【0007】

本発明に係る画像処理システムは、複数のビデオカメラで撮像された動画像の入力を受ける入力手段と、前記入力手段から入力された動画像のうち、少なくとも１つの動画像を表示装置に表示させる第１の表示制御手段と、前記表示装置が表示する動画像に映る人物を１以上登録可能な登録手段と、前記表示装置が表示する動画像に人物が映っている場合に、当該人物と関連付け可能な、前記登録手段により登録された１以上の人物に係る人物画像を、選択可能に当該動画像近傍に表示する第２の表示制御手段とを備える。

【0008】

本発明に係る画像処理方法は、複数のビデオカメラで撮像された動画像の入力を受けるステップと、前記入力された動画像のうち、少なくとも１つの動画像を表示装置に表示させるステップと、前記表示装置が表示する動画像に映る人物を１以上登録するステップと、前記表示装置が表示する動画像に人物が映っている場合に、当該人物と関連付け可能な、前記登録された１以上の人物に係る人物画像を、選択可能に当該動画像近傍に表示するステップとを画像処理システムが行う。

【0009】

本発明に係るプログラムは、複数のビデオカメラで撮像された動画像の入力を受ける処理と、前記入力された動画像のうち、少なくとも１つの動画像を表示装置に表示させる処理と、前記表示装置が表示する動画像に映る人物を１以上登録する処理と、前記表示装置が表示する動画像に人物が映っている場合に、当該人物と関連付け可能な、前記登録された１以上の人物に係る人物画像を、選択可能に当該動画像近傍に表示する処理とをコンピュータに実行させる。

【0010】

尚、本発明において、「部」や「手段」、「装置」、「システム」とは、単に物理的手段を意味するものではなく、その「部」や「手段」、「装置」、「システム」が有する機能をソフトウェアによって実現する場合も含む。また、１つの「部」や「手段」、「装置」、「システム」が有する機能が２つ以上の物理的手段や装置により実現されても、２つ以上の「部」や「手段」、「装置」、「システム」の機能が１つの物理的手段や装置により実現されても良い。

【発明の効果】

【0011】

本発明によれば、動画像に映る人物の対応づけを簡易な操作で行うことのできる画像処理システム、画像処理方法、及びプログラムを提供することができる。

【図面の簡単な説明】

【0012】

【図1】第１実施形態に係る監視システムの概略構成を示す機能ブロック図である。

【図2】表示画面の具体例を示すフローチャートである。

【図3】図２に示す表示画面に表示されるポップアップウィンドウの具体例を示す図である。

【図4】図１に示す情報処理サーバの処理の流れを示すフローチャートである。

【図5】図１に示す情報処理サーバを実装可能なハードウェア構成の機能構成を示すブロック図である。

【図6】第２実施形態に係る監視装置の概略構成を示す機能ブロック図である。

【発明を実施するための形態】

【0013】

以下に本発明の実施形態を説明する。以下の説明及び参照する図面の記載において、同一又は類似の構成には、それぞれ同一又は類似の符号が付されている。

【0014】

（１ 第１実施形態）
図１乃至図５は、第１実施形態を説明するための図である。以下、これらの図を参照しながら、以下の流れに沿って本実施形態を説明する。まず「１．１」でシステム全体の機能構成を示すと共に、「１．２」で表示画面の具体例を示すことで、第１実施形態全体の概要を示す。その上で「１．３」で処理の流れを、「１．４」で実現可能なハードウェア構成の具体例を示す。最後に、「１．５」以降で、本実施形態に係る効果などを説明する。

【0015】

（１．１ 機能構成）
図１を参照しながら、本実施形態に係る画像処理システムである監視システム１の機能構成を説明する。図１は、監視システム１の機能構成を示すブロック図である。

【0016】

監視システム１は、大きく分けて、情報処理サーバ１００と、動画像を撮像する複数のビデオカメラ２００（ビデオカメラ２００Ａ乃至２００Ｎを総称してビデオカメラ２００と呼ぶ。）とから構成される。

【0017】

ビデオカメラ２００は、動画像を撮像すると共に、当該撮影した動画像内に人物が映っているか否かを判別すると共に、当該人物に係る位置や特徴量等の情報を、撮影動画像と共に情報処理サーバ１００へと送信する。また、ビデオカメラ２００は、撮像した動画像内の人物追跡も行うこともできる。
尚、人物の検出や人物の特徴量の抽出、カメラ内の人物追跡等の処理は、例えば情報処理サーバ１００や、図示しない他の情報処理装置上で行なっても良い。

【0018】

情報処理サーバ１００は、ビデオカメラ２００で撮像された動画像を解析することにより、人物の検出や、追跡する人物の登録、登録された人物の追跡等の各種処理を行う。

【0019】

尚、以下ではビデオカメラ２００により撮像されるリアルタイムの動画像を元に人物監視を行う場合を例に説明を行うが、これに限られるものではなく、例えば、ビデオカメラ２００により撮像された、過去の動画像を対象に監視（分析）することも考えられる。

【0020】

情報処理サーバ１００は、カメラ制御部１１０、類似度算出部１２０、追跡人物登録部１３０、表示画面生成部１４０、入力装置１５０、表示装置１６０、及びデータベース（ＤＢ）１７０を含む。

【0021】

ここで、情報処理サーバ１００の機能は、例えばサーバとクライアント等の複数の装置により実現してもよく、例えばカメラの制御（カメラ制御部１１０）や追跡する人物の登録処理（追跡人物登録部１３０）、表示画面の生成（表示画面生成部１４０）等の処理はサーバ側で、ユーザ（監視者）による入力（入力装置１５０）や表示画面出力（表示装置１６０）等の処理はクライアント側で行うようにしても良い。このサーバ側／クライアント側での処理の分担方法は種々考えることができる。

【0022】

カメラ制御部１１０は、ビデオカメラ２００を制御する。より具体的には、入力装置１５０から入力されたユーザ指示等に基づき、ズームインやズームアウトや撮影方向の上下左右への変更等を行うための命令をビデオカメラ２００へと送信する。また、ビデオカメラ２００から受信した動画像や人物検出情報を、撮影動画像１７１や検出人物情報１７３としてＤＢ１７０へ登録する。

【0023】

類似度算出部１２０は、ビデオカメラ２００から入力された動画像に映る人物と、人物追跡情報１７５に登録された人物との類似度を算出する。このとき、類似度算出部１２０は、登録された各人物に係る複数の人物画像（同一人物の複数のタイミングに係る人物画像）の中から、ビデオカメラ２００から入力された動画像内の人物の画像と姿勢が類似する人物画像を選択した上で類似度を算出する。これにより、類似度算出の精度を上げることが可能となる。

【0024】

ここで、「類似する姿勢」とは、具体的には、例えば、正面／背面／右／左のいずれを向いているか、屈んでいるか否か、他の人と重なっているか否か等の状態がそれぞれ同一又は類似と判別できる（これらを判別するパラメータが類似している）ものをいう。

【0025】

追跡人物登録部１３０は、ビデオカメラ２００から入力された撮影動画像の中に映っている人物を、入力装置１５０から入力されたユーザ指示等に基づき、追跡対象の被監視者（監視対象者）としてＤＢ１７０の人物追跡情報１７５へ登録する。また追跡人物登録部１３０は、ビデオカメラ２００から入力された撮影動画像の中に映っている人物が、人物追跡情報１７５に既に登録された人物と同一人物であるとユーザに判定された場合には、その情報を人物追跡情報１７５に登録することもできる。

【0026】

表示画面生成部１４０は、表示装置１６０に表示させる、後述する図２に例示するような表示画面を生成する。表示画面生成部１４０が生成する表示画面には、ビデオカメラ２００で撮影された１以上の動画像（マルチカメラ映像）を示すと共に、当該動画像に映った人物を、追跡対象の人物として新たに登録するか否か、若しくは、既に登録済みの人物と同一の人物として対応付けるか否か、等を選択可能なＧＵＩ（Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ）を表示装置１６０に表示させる。

【0027】

入力装置１５０は、ユーザ（監視者）が各種情報を入力するための装置である。例えば、マウスやタッチパッド、タッチパネル等のポインティングデバイスやキーボード等が入力装置１５０に該当する。上述の、追跡人物登録部１３０による対象人物の登録や、登録された人物との対応付け等の各種処理は、入力装置１５０による操作に基づいてなされる。

【0028】

表示装置１６０は、例えば、液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等に画像を表示するディスプレイである。表示画面生成部１４０が作成した表示画面は、表示装置１６０が表示する。

【0029】

ＤＢ１７０は、例えば図示しないＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の各種記憶装置上に構築される。ＤＢ１７０は、撮影動画像１７１、検出人物情報１７３、及び人物追跡情報１７５を記憶する。

【0030】

撮影動画像１７１はビデオカメラ２００から入力された動画像を記憶する。尚、当該撮影動画像１７１は、例えば撮影後一定時間経過したものや、人物が写っていないと判別できる部分は削除するようにしてもよい。
検出人物情報１７３は、ビデオカメラ２００により検出された人物の特徴量や位置、人物画像等の情報である。

【0031】

人物追跡情報１７５は、検出人物情報１７３として検出されている各人物のうち、追跡人物登録部１３０により追跡対象とされた人物の情報である。複数のビデオカメラ２００の映像に映った人物が追跡人物登録部１３０により同一人物として対応付けられた場合には、その情報も人物追跡情報１７５に登録される。

【0032】

（１．２ 表示画面の具体例）
（１．２．１ 表示画面全体の具体例）
以下、図２を参照しながら、表示装置１６０が表示する表示画面の具体例を説明する。図２は、表示装置１６０が、人物監視の為に表示する表示画面（以下、監視画面２０ともいう。）の具体例を示す図である。

【0033】

図２の監視画面２０の例では、複数のビデオカメラ２００から入力された撮影動画像を表示する動画像表示領域２１Ａ乃至２１Ｄ（以下、総称して動画像表示領域２１ともいう。）と、監視対象の人物が表示される監視対象者表示領域２３とを含む。

【0034】

動画像表示領域２１は、前述の通り複数のビデオカメラ２００から入力されたマルチカメラ映像を表示する。ここで、それぞれの動画像表示領域２１に表示されるビデオカメラ２００の映像は随時切り換わっても良い。例えば、監視対象の人物が表示領域から外れた後、当該人物の移動に併せて、次にその人物が現れると推測できるビデオカメラ２００の映像に切り替える等の制御を行うことが考えられる。

【0035】

監視対象者表示領域２３は、監視者であるユーザが、動画像表示領域２１に映った人物のうち、監視対象に選んだ人物が登録される領域である。図２の例のように、被監視者は複数選択することができる（図２の例では５名）。また、それぞれの人物に対して、例えば正面と背面等、姿勢の異なる複数の人物画像（図２の例では２つ）が監視対象者表示領域２３に表示される。

【0036】

更に、図２の監視画面２０の例では、動画像表示領域２１Ｄに映る人物Ｐの上方にポップアップウィンドウ２５が表示されている。ポップアップウィンドウ２５は、人物Ｐを監視対象とするか否か、及び、既に監視対象として監視対象者表示領域２３上に登録されている人物と同一人物であるか否か、を選択するためのものである。

【0037】

ポップアップウィンドウ２５は、新たに検出された人物Ｐの近傍に表示されると共に、人物Ｐの移動（動き）に伴い、ポップアップウィンドウ２５の位置も移動する。このように近傍に表示することで、新たに登録すべき人物Ｐの特定を容易にしたり、人物Ｐと被監視者との比較を容易にしたり、操作範囲（距離）を狭めたり、といった効果を得ることが可能となる。尚このとき、ポップアップウィンドウを表示させるときに、人物Ｐが映った該当動画像の再生を一時停止させてもよい。

【0038】

（１．２．２ ポップアップウィンドウの具体例）
図３は、ポップアップウィンドウ２５の具体例を示す図である。図３の例において、ＩＤ１、ＩＤ２、ＩＤ３、及びＩＤ５がそれぞれ割り当てられた被監視者のサムネイルである人物画像３１Ａ乃至３１Ｄ（以下、総称して人物画像３１ともいう。）と、ＩＤ６が割り当てられた空白画像３３とが並列に並べられている。

【0039】

尚、本実施形態では、人物画像３１として静止画像を表示する場合を例に説明を行うが、これに限られるものではなく、例えば動画像を表示するようにしても良い。

【0040】

人物画像３１及び空白画像３３の下方には、登録ボタン３５Ａ乃至３５Ｅ（以下、総称して登録ボタン３５ともいう。）が配置される。登録ボタン３５Ａ乃至３５Ｄは、既に登録されているＩＤ１、ＩＤ２、ＩＤ３、及びＩＤ５に対応する被監視者と、動画像に映る人物Ｐとを同一人物として登録するためのものである。登録ボタン３５Ｅは、既に登録されたＩＤ１乃至ＩＤ５の被監視者とは別に、ＩＤ６を持つ新規の被監視者として人物Ｐを登録するためのものである。

【0041】

ここで、人物画像３１Ａ乃至３１Ｄには、過去の動画像の履歴から抽出された被監視者に係る画像のから、人物Ｐが動画像上に映る姿勢と類似する姿勢の画像（例えば、姿勢に係る類似度を算出した上で、閾値を超えるもの）が選択される。

【0042】

また、人物画像３１Ｃ及び３１Ｄは、人物画像３１Ａ及び３１Ｂとは異なり、グレーアウトして表示されている。これは、人物画像３１Ｃ及び３１Ｄ（ＩＤ３及びＩＤ５に対応する被監視者）と人物Ｐとの間で算出される類似度が閾値以下であると共に、人物画像３１Ａ及び３１Ｂ（ＩＤ１及びＩＤ２に対応する被監視者）と人物Ｐとの間で算出される類似度は閾値を超えているためである。つまり、人物Ｐは、ＩＤ１の被監視者又はＩＤ２の被監視者のいずれかである可能性が高いため、可能性の低いＩＤ３及びＩＤ５の被監視者とは区別して表示されている。

【0043】

尚、図３のポップアップウィンドウ２５の例では、ＩＤ４の被監視者の人物画像は表示されていない。これは、ＩＤ４の被監視者と人物Ｐとの類似度が、ＩＤ３やＩＤ５の被監視者よりも更に低いためである。つまり、類似度が極めて低く、同一ではない可能性が高い被監視者については、被監視者として提示しないようにしている。これにより、監視者であるユーザは、人物Ｐが同一であるか否かを判別する被監視者の数を減らすことができるため、より簡易な作業で被監視者の同一性を判別することが可能となる。

【0044】

（１．３ 処理の流れ）
次に、情報処理サーバ１００の処理の流れを、図４を参照しながら説明する。図４は、本実施形態に係る情報処理サーバ１００の処理の流れを示すフローチャートである。

【0045】

尚、後述の各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して若しくは並列に実行することができ、また、各処理ステップ間に他のステップを追加しても良い。更に、便宜上１つのステップとして記載されているステップは複数のステップに分けて実行することもでき、便宜上複数に分けて記載されているステップを１ステップとして実行することもできる。

【0046】

まず、情報処理サーバ１００のカメラ制御部１１０は、ビデオカメラ２００からの入力画像で人物が検出されたか否かを判別する（Ｓ４０１）。例えばビデオカメラ２００側で人物検出を行う場合には、当該判別は、ビデオカメラ２００から受信した人物検出結果に応じてカメラ制御部１１０が判別することができる。

【0047】

類似度算出部１２０は、Ｓ４０１で検出した人物と被監視者との類似度を算出するため、ＤＢ１７０から人物追跡情報１７５を読み込む（Ｓ４０３）。人物追跡情報１７５は、被監視者に係る特徴量や過去の画像等の情報を含む。類似度算出部１２０は、被監視者として登録された各人物に係る人物画像を対象に、ビデオカメラ２００で検出した人物との間で姿勢の類似度を算出することにより、最も姿勢の近い人物画像（サムネイル）を抽出する（Ｓ４０５）。

【0048】

その上で、各被監視者に係る最も姿勢の近い人物画像と、ビデオカメラ２００で検出した人物の画像との間の類似度を算出する（Ｓ４０７）。これにより、ビデオカメラ２００で検出した人物と被監視者との間の類似度がわかるので、表示画面生成部１４０は、ビデオカメラ２００で検出した人物の近傍（図２の例であれば上方）に、ポップアップウィンドウ２５を配置する（Ｓ４０９）。ここで本実施形態に係るポップアップウィンドウ２５は、上記「１．２．２」で説明したように、第１の閾値よりも類似度が低い被監視者については表示せず、第１の閾値よりも高い第２の閾値よりも類似度が低い被監視者についてはグレーアウト等して類似度が低いことを明示して、監視者であるユーザに提示する。

【0049】

その後、動画像に映った人物が移動した場合には（Ｓ４１１のＹｅｓ）、撮影範囲外への移動ではなければ（Ｓ４１３のＮｏ）、Ｓ４０９に戻ってポップアップウィンドウ２５の位置を人物近傍に配置し直す。尚、本実施形態では、Ｓ４０５及びＳ４０７の処理は一度しか行なっていないが、動画像に映った人物の姿勢等の変化に応じて、再度Ｓ４０５及びＳ４０７の処理を行うようにしても良い。

【0050】

（１．４ 情報処理装置の構成）
以下、図５を参照しながら、上述してきた情報処理サーバ１００のハードウェア構成の一例を説明する。尚、前述の通り、情報処理サーバ１００の機能は複数の情報処理装置（例えば、サーバとクライアント）により実現することも可能である。

【0051】

図５に示すように、情報処理サーバ１００は、プロセッサ５０１、メモリ５０３、記憶装置５０５、入力インタフェース（Ｉ／Ｆ）５０７、データＩ／Ｆ５０９、通信Ｉ／Ｆ５１１、及び表示装置５１３を含む。

【0052】

プロセッサ５０１は、メモリ５０３に記憶されているプログラムを実行することにより情報処理サーバ１００における様々な処理を制御する。例えば、図１で説明したカメラ制御部１１０、類似度算出部１２０、追跡人物登録部１３０、及び表示画面生成部１４０に係る処理は、メモリ５０３に一時記憶された上で、主にプロセッサ５０１上で動作するプログラムとして実現可能である。

【0053】

メモリ５０３は、例えばＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の記憶媒体である。メモリ５０３は、プロセッサ５０１によって実行されるプログラムのプログラムコードや、プログラムの実行時に必要となるデータを一時的に記憶する。例えば、メモリ５０３の記憶領域には、プログラム実行時に必要となるスタック領域が確保される。

【0054】

記憶装置５０５は、例えばハードディスクやフラッシュメモリ等の不揮発性の記憶媒体である。記憶装置５０５は、オペレーティングシステムや、カメラ制御部１１０、類似度算出部１２０、追跡人物登録部１３０、及び表示画面生成部１４０を実現するための各種プログラムや、ＤＢ１７０として格納される撮影動画像１７１、検出人物情報１７３、人物追跡情報１７５を含む各種データ等を記憶する。記憶装置５０５に記憶されているプログラムやデータは、必要に応じてメモリ５０３にロードされることにより、プロセッサ５０１から参照される。

【0055】

入力Ｉ／Ｆ５０７は、ユーザからの入力を受け付けるためのデバイスである。図１で説明した入力装置１５０は、入力Ｉ／Ｆ５０７により実現される。入力Ｉ／Ｆ５０７の具体例としては、キーボードやマウス、タッチパネル、各種センサ等がある。入力Ｉ／Ｆ５０７は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）等のインタフェースを介して情報処理サーバ１００に接続されても良い。

【0056】

データＩ／Ｆ５０９は、情報処理サーバ１００の外部からデータを入力するためのデバイスである。データＩ／Ｆ５０９の具体例としては、各種記憶媒体に記憶されているデータを読み取るためのドライブ装置等がある。データＩ／Ｆ５０９は、情報処理サーバ１００の外部に設けられることも考えられる。その場合、データＩ／Ｆ５０９は例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００へと接続される。

【0057】

通信Ｉ／Ｆ５１１は、情報処理サーバ１００の外部の装置、例えばビデオカメラ２００等との間で有線又は無線によりデータ通信するためのデバイスである。通信Ｉ／Ｆ５１１は情報処理サーバ１００の外部に設けられることも考えられる。その場合、通信Ｉ／Ｆ５１１は、例えばＵＳＢ等のインタフェースを介して情報処理サーバ１００に接続される。

【0058】

表示装置５１３は、例えば監視画面２０等の各種情報を表示するためのデバイスであり、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等である。表示装置５１３は、情報処理サーバ１００の外部に設けられても良い。その場合、表示装置５１３は、例えばディスプレイケーブル等を介して情報処理サーバ１００に接続される。

【0059】

（１．５ 本実施形態に係る効果）
以上説明したように、本実施形態に係る情報処理サーバ１００は、ビデオカメラ２００に映った人物Ｐに対して被監視者として新規に登録、若しくは既に登録済みの被監視者と同一人物であるものとして対応付ける際に、ポップアップウィンドウ２５を表示するようにしている。当該ポップアップウィンドウ２５では、複数の被監視者（追跡対象者）の人物画像（サムネイル）を並べて表示するとともに、人物Ｐと類似する姿勢の人物画像を表示するようにしている。また、類似度に応じて人物画像をグレーアウトしたり表示しないようにしたりする。更に、ポップアップウィンドウ２５が人物Ｐの移動に併せて移動する。このような処理により、監視者であるユーザは、人物Ｐの監視や対応付け等に係る操作（具体的には、人物Ｐと対応する被監視者を探しだすと共に、選択する操作等）を簡易なものとしている。

【0060】

（２ 第２実施形態）
以下、第２実施形態を図６を参照しながら説明する。図６は、画像処理システムである監視装置６００の機能構成を示すブロック図である。図６に示すように、監視装置６００は、入力部６１０と、第１の表示制御部６２０と、登録部６３０と、第２の表示制御部６３０とを含む。

【0061】

入力部６１０は、複数のビデオカメラで撮像された動画像の入力を受ける。第１の表示制御部６２０は、入力部６１０から入力された動画像のうち、少なくとも１つの動画像を、図示しない表示装置に表示させる。

【0062】

登録部６３０は、前述の表示装置が表示する動画像に映る人物を１以上登録する。第２の表示制御部６４０は、表示装置が表示する動画像に人物が映っている場合に、当該人物と関連付け可能な、登録部６３０により登録された１以上の人物に係る人物画像を、選択可能に当該動画像近傍に表示する。

【0063】

このように実装することで、本実施形態に係る監視装置６００によれば、動画像に映る人物の対応づけを、簡単な操作で行うことができるようになる。

【0064】

（３ 付記事項）
尚、前述の実施形態の構成は、組み合わせたり或いは一部の構成部分を入れ替えたりしてもよい。また、本発明の構成は前述の実施形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加えてもよい。
尚、前述の各実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。また、本発明のプログラムは、上記の各実施形態で説明した各動作を、コンピュータに実行させるプログラムであれば良い。

【0065】

（付記１）
複数のビデオカメラで撮像された動画像の入力を受ける入力手段と、前記入力手段から入力された動画像のうち、少なくとも１つの動画像を表示装置に表示させる第１の表示制御手段と、前記表示装置が表示する動画像に映る人物を１以上登録可能な登録手段と、前記表示装置が表示する動画像に人物が映っている場合に、当該人物と関連付け可能な、前記登録手段により登録された１以上の人物に係る人物画像を、選択可能に当該動画像近傍に表示する第２の表示制御手段とを備える画像処理システム。

【0066】

（付記２）
前記登録手段は、前記人物画像が選択された場合に、当該人物画像に対応する人物と、前記表示装置が表示する動画像に映っている人物とを関連付ける、付記１記載の画像処理システム。

【0067】

（付記３）
前記第１の表示制御手段は、前記人物画像と並べて空白画像を表示すると共に、当該空白画像が選択された場合に、前記表示装置が表示する動画像に映っている人物を新規に登録する、付記１又は付記２記載の画像処理システム。

【0068】

（付記４）
前記表示装置が表示する動画像に映っている人物と、前記登録手段により登録された１以上の人物との類似度が閾値を下回る場合に、前記第２の表示制御手段は、当該閾値を下回る人物に係る前記人物画像を、類似度が閾値を超える人物に係る前記人物画像とは区別して表示する、付記１乃至付記３のいずれか１項記載の画像処理システム。

【0069】

（付記５）
前記表示装置が表示する動画像に映っている人物と、前記登録手段により登録された１以上の人物との類似度が他の人物よりも高い人物に係る前記人物画像を表示する、付記１乃至付記３のいずれか１項記載の画像処理システム。

【0070】

（付記６）
前記第２の表示制御手段は、前記表示装置が表示する動画像に映っている人物と姿勢が近似する前記人物画像を表示する、付記１乃至付記５のいずれか１項記載の画像処理システム。

【0071】

（付記７）
前記第２の表示制御手段は、同一人物に係る異なる向きの前記人物画像を表示可能である、付記１乃至付記５のいずれか１項記載の画像処理システム。

【0072】

（付記８）
前記第２の表示制御手段は、前記表示装置が表示する動画像に映っている人物の動きに合わせて前記人物画像の位置を変える、付記１乃至付記７のいずれか１項記載の画像処理システム。

【0073】

（付記９）
複数のビデオカメラで撮像された動画像の入力を受けるステップと、前記入力された動画像のうち、少なくとも１つの動画像を表示装置に表示させるステップと、前記表示装置が表示する動画像に映る人物を１以上登録するステップと、前記表示装置が表示する動画像に人物が映っている場合に、当該人物と関連付け可能な、前記登録された１以上の人物に係る人物画像を、選択可能に当該動画像近傍に表示するステップとを画像処理システムが行う、画像処理方法。

【0074】

（付記１０）
前記人物画像が選択された場合に、当該人物画像に対応する人物と、前記表示装置が表示する動画像に映っている人物とを関連付ける、付記９記載の画像処理方法。

【0075】

（付記１１）
前記人物画像と並べて空白画像を表示すると共に、当該空白画像が選択された場合に、前記表示装置が表示する動画像に映っている人物を新規に登録する、付記９又は付記１０記載の画像処理方法。

【0076】

（付記１２）
前記表示装置が表示する動画像に映っている人物と、登録された１以上の人物との類似度が閾値を下回る場合に、当該閾値を下回る人物に係る前記人物画像を、類似度が閾値を超える人物に係る前記人物画像とは区別して表示する、付記９乃至付記１１のいずれか１項記載の画像処理方法。

【0077】

（付記１３）
前記表示装置が表示する動画像に映っている人物と、登録された１以上の人物との類似度が他の人物よりも高い人物に係る前記人物画像を表示する、付記９乃至付記１１のいずれか１項記載の画像処理方法。

【0078】

（付記１４）
前記表示装置が表示する動画像に映っている人物と姿勢が近似する前記人物画像を表示する、付記９乃至付記１３のいずれか１項記載の画像処理方法。

【0079】

（付記１５）
同一人物に係る異なる向きの前記人物画像を表示可能である、付記９乃至付記１３のいずれか１項記載の画像処理方法。

【0080】

（付記１６）
前記表示装置が表示する動画像に映っている人物の動きに合わせて前記人物画像の位置を変える、付記９乃至付記１５のいずれか１項記載の画像処理方法。

【0081】

（付記１７）
複数のビデオカメラで撮像された動画像の入力を受ける処理と、前記入力された動画像のうち、少なくとも１つの動画像を表示装置に表示させる処理と、前記表示装置が表示する動画像に映る人物を１以上登録する処理と、前記表示装置が表示する動画像に人物が映っている場合に、当該人物と関連付け可能な、前記登録された１以上の人物に係る人物画像を、選択可能に当該動画像近傍に表示する処理とをコンピュータに実行させるプログラム。

【0082】

（付記１８）
前記人物画像が選択された場合に、当該人物画像に対応する人物と、前記表示装置が表示する動画像に映っている人物とを関連付ける処理をコンピュータに実行させる、付記１記載のプログラム。

【0083】

（付記１９）
前記人物画像と並べて空白画像を表示すると共に、当該空白画像が選択された場合に、前記表示装置が表示する動画像に映っている人物を新規に登録する処理をコンピュータに実行させる、付記１７又は付記１８記載のプログラム。

【0084】

（付記２０）
前記表示装置が表示する動画像に映っている人物と、登録された１以上の人物との類似度が閾値を下回る場合に、当該閾値を下回る人物に係る前記人物画像を、類似度が閾値を超える人物に係る前記人物画像とは区別して表示する処理をコンピュータに実行させる、付記１７乃至付記１９のいずれか１項記載のプログラム。

【0085】

（付記２１）
前記表示装置が表示する動画像に映っている人物と、登録された１以上の人物との類似度が他の人物よりも高い人物に係る前記人物画像を表示する処理をコンピュータに実行させる、付記１７乃至付記１９のいずれか１項記載のプログラム。

【0086】

（付記２２）
前記表示装置が表示する動画像に映っている人物と姿勢が近似する前記人物画像を表示する処理をコンピュータに実行させる、付記１７乃至付記２１のいずれか１項記載のプログラム。

【0087】

（付記２３）
同一人物に係る異なる向きの前記人物画像を表示可能である、付記１７乃至付記２１のいずれか１項記載のプログラム。

【0088】

（付記２４）
前記表示装置が表示する動画像に映っている人物の動きに合わせて前記人物画像の位置を変える処理をコンピュータに実行させる、付記１７乃至付記２３のいずれか１項記載のプログラム。

【0089】

この出願は、２０１２年７月３１日に出願された日本出願特願２０１２−１７０４０３を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0090】

１・・・監視システム、２０・・・監視画面、２１Ａ、２１Ｂ、２１Ｃ、２１Ｄ・・・動画像表示領域、２３・・・監視対象者表示領域、２５・・・ポップアップウィンドウ、３１・・・人物画像、３３・・・空白画像、３５・・・登録ボタン、１００・・・情報処理サーバ、１１０・・・カメラ制御部、１２０・・・類似度算出部、１３０・・・追跡人物登録部、１４０・・・表示画面生成部、１５０・・・入力装置、１６０・・・表示装置、１７０・・・データベース（ＤＢ）、１７１・・・撮影動画像、１７３・・・検出人物情報、１７５・・・人物追跡情報、２００・・・ビデオカメラ、Ｐ・・・人物

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】