特開2024-150578映像処理装置、映像解析システム、方法およびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024150578
(43)【公開日】2024-10-23
(54)【発明の名称】映像処理装置、映像解析システム、方法およびプログラム
(51)【国際特許分類】
H04N 7/18 20060101AFI20241016BHJP
G06T 7/70 20170101ALI20241016BHJP
G06T 7/20 20170101ALI20241016BHJP
G08B 25/00 20060101ALN20241016BHJP
G08B 13/196 20060101ALN20241016BHJP
【ＦＩ】
H04N7/18 D
H04N7/18 G
G06T7/70 A
G06T7/20 300
G08B25/00 510M
G08B13/196
【審査請求】有
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2024114575
(22)【出願日】2024-07-18
(62)【分割の表示】P 2023052561の分割
【原出願日】2018-02-21
(31)【優先権主張番号】P 2017070677
(32)【優先日】2017-03-31
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100103090
【弁理士】
【氏名又は名称】岩壁 冬樹
(74)【代理人】
【識別番号】100124501
【弁理士】
【氏名又は名称】塩川 誠人
(72)【発明者】
【氏名】平川 康史
(57)【要約】
【課題】ユーザが、映像中の２以上の時点における対象物の状況を迅速に把握できるようにする。
【解決手段】映像処理装置は、映像中の対象物の位置の変化を示す軌跡を表示部に表示させる表示制御手段５０１を備え、表示制御手段５０１は、表示中の軌跡上の地点を指定する第１要求を取得し、表示部が表示する任意の背景画像に、指定された地点に対象物が位置していたときの対象物を含む指定画像を重畳させて表示する。
【選択図】図３１
【解決手段】映像処理装置は、映像中の対象物の位置の変化を示す軌跡を表示部に表示させる表示制御手段５０１を備え、表示制御手段５０１は、表示中の軌跡上の地点を指定する第１要求を取得し、表示部が表示する任意の背景画像に、指定された地点に対象物が位置していたときの対象物を含む指定画像を重畳させて表示する。
【選択図】図３１
【特許請求の範囲】
【請求項1】
１以上のコンピュータを、
追跡対象物を指定する入力を受け付ける手段と、
第１の時刻において前記追跡対象物を映した映像から、前記追跡対象物を切り出した第１の画像を取得する手段と、
第２の時刻において前記追跡対象物を映した映像から、前記追跡対象物を切り出した第２の画像を取得する手段と、
前記第１の画像と共に時刻に関する情報を表示する第１の表示画像を取得する手段と、
前記第２の画像と共に時刻に関する情報を表示する第２の表示画像を取得する手段と、
前記追跡対象物の向きまたは動作の少なくともいずれかに応じた態様で前記追跡対象物の軌跡を表示部に表示させる手段と、
前記第１の表示画像と、前記第２の表示画像とを、前記軌跡において対応する位置に表示する手段と、
前記第１の表示画像または前記第２の表示画像を選択する要求に応じて、前記第１の時刻または前記第２の時刻に対応する画像を前記表示部に表示する手段として
動作させる映像解析プログラム。
追跡対象物を指定する入力を受け付ける手段と、
第１の時刻において前記追跡対象物を映した映像から、前記追跡対象物を切り出した第１の画像を取得する手段と、
第２の時刻において前記追跡対象物を映した映像から、前記追跡対象物を切り出した第２の画像を取得する手段と、
前記第１の画像と共に時刻に関する情報を表示する第１の表示画像を取得する手段と、
前記第２の画像と共に時刻に関する情報を表示する第２の表示画像を取得する手段と、
前記追跡対象物の向きまたは動作の少なくともいずれかに応じた態様で前記追跡対象物の軌跡を表示部に表示させる手段と、
前記第１の表示画像と、前記第２の表示画像とを、前記軌跡において対応する位置に表示する手段と、
前記第１の表示画像または前記第２の表示画像を選択する要求に応じて、前記第１の時刻または前記第２の時刻に対応する画像を前記表示部に表示する手段として
動作させる映像解析プログラム。
【請求項2】
前記１以上のコンピュータを、
前記映像に基づいて、前記第１の画像または前記第２の画像が切り出される以前または以後に撮影された第３の画像を取得する手段と、
前記表示部に、前記第１の表示画像および前記第２の表示画像と共に前記第３の画像を表示する手段として、
動作させる請求項１に記載の映像解析プログラム。
前記映像に基づいて、前記第１の画像または前記第２の画像が切り出される以前または以後に撮影された第３の画像を取得する手段と、
前記表示部に、前記第１の表示画像および前記第２の表示画像と共に前記第３の画像を表示する手段として、
動作させる請求項１に記載の映像解析プログラム。
【請求項3】
前記第１の表示画像と前記第２の表示画像は、前記第３の画像に重畳して表示される
請求項２に記載の映像解析プログラム。
請求項２に記載の映像解析プログラム。
【請求項4】
前記１以上のコンピュータに、
前記第１の表示画像または前記第２の表示画像に対して、指定された旨を示す情報を表示させる
請求項１に記載の映像解析プログラム。
前記第１の表示画像または前記第２の表示画像に対して、指定された旨を示す情報を表示させる
請求項１に記載の映像解析プログラム。
【請求項5】
１以上のコンピュータが、
追跡対象物を指定する入力を受け付け、
第１の時刻において前記追跡対象物を映した映像から、前記追跡対象物を切り出した第１の画像を取得し、
第２の時刻において前記追跡対象物を映した映像から、前記追跡対象物を切り出した第２の画像を取得し、
前記第１の画像と共に時刻に関する情報を表示する第１の表示画像を取得し、
前記第２の画像と共に時刻に関する情報を表示する第２の表示画像を取得し、
前記追跡対象物の向きまたは動作の少なくともいずれかに応じた態様で前記追跡対象物の軌跡を表示部に表示させ、
前記第１の表示画像と、前記第２の表示画像とを、前記軌跡において対応する位置に表示し、
前記第１の表示画像または前記第２の表示画像を選択する要求に応じて、前記第１の時刻または前記第２の時刻に対応する画像を前記表示部に表示する
ことを特徴とする映像解析方法。
追跡対象物を指定する入力を受け付け、
第１の時刻において前記追跡対象物を映した映像から、前記追跡対象物を切り出した第１の画像を取得し、
第２の時刻において前記追跡対象物を映した映像から、前記追跡対象物を切り出した第２の画像を取得し、
前記第１の画像と共に時刻に関する情報を表示する第１の表示画像を取得し、
前記第２の画像と共に時刻に関する情報を表示する第２の表示画像を取得し、
前記追跡対象物の向きまたは動作の少なくともいずれかに応じた態様で前記追跡対象物の軌跡を表示部に表示させ、
前記第１の表示画像と、前記第２の表示画像とを、前記軌跡において対応する位置に表示し、
前記第１の表示画像または前記第２の表示画像を選択する要求に応じて、前記第１の時刻または前記第２の時刻に対応する画像を前記表示部に表示する
ことを特徴とする映像解析方法。
【請求項6】
前記１以上のコンピュータが、
前記映像に基づいて、前記第１の画像または前記第２の画像が切り出される以前または以後に撮影された第３の画像を取得し、
前記表示部に、前記第１の表示画像および前記第２の表示画像と共に前記第３の画像を表示する
請求項５に記載の映像解析方法。
前記映像に基づいて、前記第１の画像または前記第２の画像が切り出される以前または以後に撮影された第３の画像を取得し、
前記表示部に、前記第１の表示画像および前記第２の表示画像と共に前記第３の画像を表示する
請求項５に記載の映像解析方法。
【請求項7】
前記第１の表示画像と前記第２の表示画像は、前記第３の画像に重畳して表示される
請求項６に記載の映像解析方法。
請求項６に記載の映像解析方法。
【請求項8】
前記１以上のコンピュータが、
前記第１の表示画像または前記第２の表示画像に対して、指定された旨を示す情報を表示する
請求項５に記載の映像解析方法。
前記第１の表示画像または前記第２の表示画像に対して、指定された旨を示す情報を表示する
請求項５に記載の映像解析方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、映像を処理する映像処理装置、映像処理方法、映像処理プログラムに関する。また、本発明は映像を解析する映像解析システムに関する。
【背景技術】
【0002】
カメラ装置から得られる映像をコンピュータで解析して、警報を発生させる映像解析技術がある。例えば、映像から被写体の位置や行動を検知し、その検知結果が所定の条件を満たす場合に警報を発生させる映像解析技術がある。このような映像解析技術を利用して、例えば、オペレータがいる管理センタにおいて、通知された警報を基に警報の発生元となった映像を確認して、適切な対応をとる等の運用がされている。
【0003】
このとき、管理センタにおける発生元の映像の確認作業は、現在の映像の監視中に行われることが多い。例えば、オペレータは、警報が通知されると、過去映像を確認して、誤報でないことを確認したり、誤報でない場合は必要な情報を取得して適切な警報として情報を所定の宛先に伝えるなどの対応を行う。このとき、オペレータは、過去映像から、当該警報が誤報でないかを判断できる情報や、誤報でない場合は、警報の対象となった侵入者や危険移動物体等（以下、対象物という）の特徴を取得したりする。
【0004】
このような映像監視に関して、例えば、特許文献１～３に記載の技術がある。
【0005】
例えば、特許文献１には、動画像を表示する表示装置の表示画面において、該動画像の取得元である撮像装置から順次得られる画像上に、オブジェクトの移動軌跡を重畳表示することが記載されている。また、特許文献１には、ユーザから、表示中の移動軌跡に対する指定を受け付けて、他の移動軌跡と表示態様を異ならせたり、他の移動軌跡とは交点を有さないようにオブジェクト検知用領域を設定することが記載されている。
【0006】
また、特許文献２には、映像内に異なる人物と１台の車両の軌跡を示す例が記載されている。
【0007】
また、特許文献３には、部位の変位から挙動を判断する方法として、複数のフレーム画像を合成した合成画像を表示することが記載されている。また、特許文献３には、連続フレームを重ね合わせて合成する例や、合成画像にさらに着目する部位の移動イメージや移動軌跡を点や矢印で表示する例が示されている。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】特開２０１５－０１８３４０号公報
【特許文献2】特開２００９－０１５８２７号公報
【特許文献3】特開２０１２－１３３６６６号公報
【発明の概要】
【発明が解決しようとする課題】
【0009】
監視の現場では、警報が通知された後に、オペレータが、現在の映像を監視しつつ、過去の映像から対象物の特徴を迅速に収集できるような表示および該表示に対するインタフェースが望まれている。しかし、特許文献１に記載の方法は、常に現在の画像に移動軌跡を重畳させているだけであり、オブジェクトの移動経路を知ることはできても、過去映像にしか映っていないオブジェクトのその時々の様子やその周囲の状況や特徴変化などを知ることはできない。したがって、オペレータは、そのような情報を収集するために、画面を切り替えたり、別のウィンドウで過去の映像を確認しなければならず、時間的コストおよび見落としリスクの問題が生じる。
【0010】
特許文献２に記載の方法における問題も基本的には特許文献１と同様である。すなわち、特許文献２に記載の方法も、常に現在の画像に移動軌跡を重畳させているだけであり、複数の物体の移動経路を知ることはできても、過去映像にしか映っていない物体のその時々の様子やその周囲の状況や特徴変化などを知ることはできない。
【0011】
なお、特許文献３に記載の方法は、連続フレームを重ね合わせて表示することで、対象物もしくはその部位の過去の状態を確認可能にしている。しかし、該方法を単に監視映像に適用しても、表示中の画像が複雑になるだけで、必要な情報を得ることは困難である。
例えば、単に映像中の連続フレームを重ね合わせた場合には、各フレームの対象物が重なり合い、必要な情報を得ることができない。
例えば、単に映像中の連続フレームを重ね合わせた場合には、各フレームの対象物が重なり合い、必要な情報を得ることができない。
【0012】
なお、上記の時間的コストや見落としリスクの問題は、警報を伴うリアルタイム映像の監視の場面に限らず、映像中の２以上の時点の画像を迅速に確認する必要がある場面なら、同様に発生する。
【0013】
本発明は、上述した課題に鑑みて、ユーザが、映像中の２以上の時点における対象物の状況を迅速に把握できる映像処理装置、映像解析システム、映像処理方法および映像処理プログラムを提供することを目的とする。
【課題を解決するための手段】
【0014】
本発明による映像解析プログラムは、１以上のコンピュータを、追跡対象物を指定する入力を受け付ける手段と、第１の時刻において前記追跡対象物を映した映像から、前記追跡対象物を切り出した第１の画像を取得する手段と、第２の時刻において前記追跡対象物を映した映像から、前記追跡対象物を切り出した第２の画像を取得する手段と、前記第１の画像と共に時刻に関する情報を表示する第１の表示画像を取得する手段と、前記第２の画像と共に時刻に関する情報を表示する第２の表示画像を取得する手段と、前記追跡対象物の向きまたは動作の少なくともいずれかに応じた態様で前記追跡対象物の軌跡を表示部に表示させる手段と、前記第１の表示画像と、前記第２の表示画像とを、前記軌跡において対応する位置に表示する手段と、前記第１の表示画像または前記第２の表示画像を選択する要求に応じて、前記第１の時刻または前記第２の時刻に対応する画像を前記表示部に表示する手段として動作させる。
【0015】
また、本発明による映像解析方法は、１以上のコンピュータが、追跡対象物を指定する入力を受け付け、第１の時刻において前記追跡対象物を映した映像から、前記追跡対象物を切り出した第１の画像を取得し、第２の時刻において前記追跡対象物を映した映像から、前記追跡対象物を切り出した第２の画像を取得し、前記第１の画像と共に時刻に関する情報を表示する第１の表示画像を取得し、前記第２の画像と共に時刻に関する情報を表示する第２の表示画像を取得し、前記追跡対象物の向きまたは動作の少なくともいずれかに応じた態様で前記追跡対象物の軌跡を表示部に表示させ、前記第１の表示画像と、前記第２の表示画像とを、前記軌跡において対応する位置に表示し、前記第１の表示画像または前記第２の表示画像を選択する要求に応じて、前記第１の時刻または前記第２の時刻に対応する画像を前記表示部に表示することを特徴とする。
【発明の効果】
【0016】
本発明によれば、ユーザが、映像中の２以上の時点における対象物の状況を迅速に把握できる。
【図面の簡単な説明】
【0017】
【図1】第１の実施形態の映像解析システムの概略を示す構成図である。
【図2】第１の実施形態の映像解析システムの構成例を示すブロック図である。
【図3】追跡部１０３における検出の例を示す説明図である。
【図4】軌跡の表現例を示す説明図である。
【図5】追跡線と対象物の対応づけの例を示す説明図である
【図6】追跡線に情報を付随させる例を示す説明図である。
【図7】追跡線に情報を付随させる例を示す説明図である。
【図8】第１の実施形態の映像解析装置２の動作の一例を示すフローチャートである。
【図9】第１の実施形態の映像処理装置４の動作の一例を示すフローチャートである。
【図10】表示制御部１０５における表示制御の一例を示すフローチャートである。
【図11】表示画像およびその際の重畳画像の例を示す説明図である。
【図12】表示画像およびその際の重畳画像の例を示す説明図である。
【図13】表示画像およびその際の重畳画像の例を示す説明図である。
【図14】表示画像およびその際の重畳画像の例を示す説明図である。
【図15】表示画像およびその際の重畳画像の例を示す説明図である。
【図16】表示画像およびその際の重畳画像の例を示す説明図である。
【図17】表示画像およびその際の重畳画像の例を示す説明図である。
【図18】第２の実施形態の映像解析システムの構成例を示すブロック図である。
【図19】表示制御部２０５における表示制御の一例を示すフローチャートである。
【図20】イベント処理の例を示すフローチャートである。
【図21】イベント処理の例を示すフローチャートである。
【図22】イベント処理の例を示すフローチャートである。
【図23】イベント処理の例を示すフローチャートである。
【図24】イベント処理の例を示すフローチャートである。
【図25】イベント処理の例を示すフローチャートである。
【図26】表示画像の合成パターンの一例を示す説明図である。
【図27】表示画像およびその際の重畳画像の例を示す説明図である。
【図28】表示画像およびその際の重畳画像の例を示す説明図である。
【図29】表示画像およびその際の重畳画像の例を示す説明図である。
【図30】本発明の実施形態にかかるコンピュータの構成例を示すブロック図である。
【図31】本発明の映像処理装置の概要を示すブロック図である。
【発明を実施するための形態】
【0018】
［実施形態１］
以下、本発明の実施形態について図面を参照して説明する。なお、以下の各実施形態では、障害検知のための映像監視に本発明を適用する場合を例に用いて説明するが、本発明は、障害検知のための映像監視用途に限定されない。
以下、本発明の実施形態について図面を参照して説明する。なお、以下の各実施形態では、障害検知のための映像監視に本発明を適用する場合を例に用いて説明するが、本発明は、障害検知のための映像監視用途に限定されない。
【0019】
図１は、第１の実施形態の映像解析システムの概略を示す構成図である。図１に示すように、映像解析システム１００は、映像入力装置１と、映像解析装置２と、記憶装置３と、映像処理装置４と、表示装置５とを備える。
【0020】
映像入力装置１は、解析対象とする映像を入力する。映像入力装置１は、例えば、動画を撮影可能な撮像装置等により実現される。なお、図１には、１台の映像入力装置１しか示されていないが、映像入力装置１は複数であってもよい。
【0021】
ここで、「映像」は、一般には、連続するフレームの各々に対応したフレーム画像からなる動画像を指す。ただし、本発明において「映像」といった場合には、いわゆる動画像だけでなく、撮影時間および撮影領域に関する情報が付された２以上の静止画像を含む静止画像群や、そのような静止画像群に含まれる静止画像から作成される動画および合成画像群なども含むものとする。また、以下、映像中の画像といった場合には、いわゆる動画像のフレーム画像だけでなく、上記の「映像」に含まれる画像も含まれる。また、以下、映像中のある時点の画像といった場合には、いわゆる動画像における該時点のフレーム画像だけでなく、上記の「映像」に含まれる所定の時間軸上で該時点と対応する時間の画像も含まれる。
【0022】
映像解析装置２は、入力された映像（以下、「入力映像」という）を解析して、解析結果を記憶装置３に記憶するとともに、必要に応じて警告その他の任意のメッセージを出力する。
【0023】
映像解析装置２は、入力映像を解析して、入力映像に写る移動物体など所定の被写体を検出して追跡し、入力映像から該被写体の位置を連続的に取得する。映像解析装置２は、例えば、入力映像中の各時点における該被写体の位置を取得してもよい。また、映像解析装置２は、取得した該被写体の位置を示す位置情報と、該位置が取得された当該時点の画像の識別情報とを対応づけた解析情報を生成する。以下では、追跡対象とされた被写体を「追跡対象物」という場合がある。
【0024】
また、映像解析装置２は、入力映像を解析し、さらに追跡対象物の位置を取得した画像の入力映像中の時点の時間である対応時間や、該時点の入力映像中の画像における当該追跡対象物の特徴や、当該追跡対象物に関連する他の物体の有無や、当該他の物体があればその特徴を検出してもよい。
【0025】
物体（追跡対象物および他の物体を含む）の特徴の例としては、当該物体もしくはその所定部位の、向き、サイズまたは動作などを含む当該物体の状態、それら状態や服飾品や所持物等を含む当該物体の特徴の入力映像中の変化、当該物体と関連する他の物体に関する事項（該物体の有無、分類等）などが挙げられる。
【0026】
また、映像解析装置２は、入力映像から検出されたそれらの内容を含む解析結果に基づいて、所定のメッセージを出力してもよい。映像解析装置２は、例えば、入力映像から検出された被写体の位置その他の内容が、所定の条件を満たすか否かを判定し、所定の条件を満たすと判定した場合に、所定のメッセージを出力してもよい。映像解析装置２は、例えば、所定の表示装置やユーザ端末や管理センタ内の所定の端末に向けて所定のメッセージを出力してもよい。
【0027】
記憶装置３は、入力映像と、映像解析装置２による映像の解析結果を示す情報とを記憶する。記憶装置３は、例えば、入力映像を記憶するとともに、追跡対象物ごとに、入力映像から取得された位置およびその他の検出内容を含む解析結果を示す情報と、該位置が取得された入力映像中の画像を示す情報（識別情報等）とを対応づけた解析情報を記憶してもよい。
【0028】
なお、記憶装置３は、必ずしも入力映像の全てを記憶しなくてもよい。例えば、記憶装置３は、入力映像がリアルタイム映像のように逐次入力されるストリーミング動画である場合や、映像のサイズ（データ容量）が所定の閾値よりも大きい場合などには、入力映像のうち最新から所定量分の映像だけを記憶するようにしてもよい。ここで、所定量として、画像数が定められてもよいし、時間長が定められてもよいし、データの容量が定められてもよい。
【0029】
映像処理装置４は、表示装置５に、入力映像に含まれる任意時点の画像（動画、静止画を含む）や該入力映像に基づいて生成される画像等を表示する。なお、入力映像に基づいて生成される画像は、特に問わない。例えば、所定領域の見取り図であってもよいし、入力映像に含まれる複数時点の画像の合成画像であってもよい。映像処理装置４は、例えば、ユーザが指定した画像を表示装置５に表示する。
【0030】
映像処理装置４は、そのような画像を表示装置５に表示する際に、入力映像中の対象物の位置の変化を示す軌跡を併せて表示する機能を有する。なお、軌跡の表示方法については後述する。
【0031】
映像処理装置４は、表示装置５に表示させたい画像の画像情報を出力して、所望の画像を表示させればよい。
【0032】
表示装置５は、映像処理装置４から出力される画像情報に基づいて、画像を表示する画像表示装置である。表示装置５は、例えば、ディスプレイ装置等により実現される。なお、図１には、１台の表示装置５しか示されていないが、表示装置５は複数であってもよい。なお、表示装置５が複数ある場合には、映像処理装置４は、ユーザから軌跡表示が指示された少なくとも１つの表示装置５に表示中の画像に軌跡を重畳させて表示する。
【0033】
図２は、本実施形態の映像解析システムの構成例を示すブロック図である。なお、図２では、映像解析システムの機能面での構成例を示している。図２に示すように、映像解析システム１００は、映像入力部１０１と、映像保持部１０２と、追跡部１０３と、解析情報記憶部１０４と、表示制御部１０５と、表示部１０６とを備えていてもよい。
【0034】
ここで、映像入力部１０１が、映像入力装置１に対応する。また、映像保持部１０２および解析情報記憶部１０４が、記憶装置３に対応する。また、追跡部１０３が、映像解析装置２に対応する。また、表示制御部１０５が、映像処理装置４に対応する。また、表示部１０６が、表示装置５に対応する。
【0035】
図２に示す例において、追跡部１０３は、例えば、映像解析装置２が備えるＣＰＵ等の情報処理装置によって実現される。また、表示制御部１０５は、例えば、映像処理装置４が備えるＣＰＵ等の情報処理装置によって実現される。なお、図１において、映像解析装置２と映像処理装置４とは別々の装置として示されているが、これらは１つの装置により実現されてもよい。
【0036】
映像入力部１０１は、映像を入力する。
【0037】
映像保持部１０２は、入力映像を記憶する。なお、映像保持部１０２は、入力映像のうち最新画像から所定量分の映像のみを記憶してもよい。
【0038】
追跡部１０３は、入力映像を解析して、入力映像から追跡対象物の位置を連続的に取得する。なお、追跡部１０３による追跡対象物の追跡方法は特に問わない。
【0039】
また、追跡部１０３は、位置を取得した際に、さらに、当該位置を取得した時点が対応する時間（対応時間）や、入力映像中の当該時点の画像における、追跡対象物の特徴もしくは追跡対象物に関連する他の物体の特徴を検出する。
【0040】
そして、追跡部１０３は、入力映像から取得された位置および当該位置とともに検出された内容を含む解析結果を示す情報と、該位置が取得された入力映像中の画像の識別情報とを対応づけた解析情報を、解析情報記憶部１０４に記憶する。ここで、識別情報は、入力映像中の画像を特定可能な情報であれば、特に問わない。例えば、識別情報は、該画像の入力映像中の時点を示す情報や映像中の画像に付された識別子であってもよい。
【0041】
また、追跡部１０３は、解析結果または他の情報に基づいて所定のメッセージを出力する機能を有していてもよい。
【0042】
追跡部１０３は、例えば、赤外線センサや圧力センサや振動センサなどの所定のセンサから入力されるセンサ情報を基に、警報を示すメッセージを出力してもよい。また、追跡部１０３は、入力映像を解析した結果、入力映像から物体が検知された（映像内に背景以外の物体が写った）場合に、その旨を示すメッセージを出力してもよい。また、追跡部１０３は、入力映像を解析した結果、入力映像から所定の物体（例えば、人間や、特定の人物Ｙなど）が検出された場合に、その旨を示すメッセージを出力してもよい。また、追跡部１０３は、例えば、予め定めた侵入検知線を越えた移動体が検出された場合や、所定の領域への移動体の侵入・所定の領域内での物の置き去りや持ち去りが検出された場合に、その旨を示すメッセージを出力してもよい。
【0043】
図３（ａ）～図３（ｄ）はそれぞれ、追跡部１０３における検出例を示す説明図である。図３（ａ）に示す例は、入力映像の画像領域ａ０１から物体（移動体）を検知した例である。なお、符号Ｔは、追跡対象物とされた物体を表す。図３（ｂ）に示す例は、入力映像の画像領域ａ０１から所定の物体を検知した例である。なお、符号ａ０２は、入力映像中の画像から検出された物体の領域である物体領域を表す。また、図３（ｃ）に示す例は、入力映像の画像領域ａ０１内の侵入検知線ａ０３を超える物体を検知した例である。また、図３（ｄ）に示す例は、入力映像の画像領域ａ０１の所定の監視領域ａ０４内での物の置き去りを検知した例である。ここで、置き去りにされた物は、追跡対象物Ｔと関連する他の物である関連物体ｒｏとして検出される。
【0044】
なお、追跡部１０３は、追跡の結果得られた位置を示す情報と、その他の情報とを分けて記憶してもよい。追跡部１０３は、追跡対象物ごとに、位置を示す情報と入力映像中の画像の識別情報とを対応づけた情報と、位置以外に検出された内容を示す情報と入力映像中の画像の識別情報とを対応づけた情報とを分けて解析情報記憶部１０４に記憶してもよい。なお、本実施形態では、そのような場合であっても両者を合わせたものを「解析情報」と呼ぶ。
【0045】
表示制御部１０５は、映像中の対象物の位置の変化を示す軌跡を表示部１０６に表示させる。例えば、表示制御部１０５は、入力映像に含まれる任意時点の画像や、入力映像に基づいて生成される所定の画像を表示する際に、該画像を背景画像として、該背景画像に、入力映像中の所定の対象物の軌跡を重畳させて表示する。なお、背景画像は、画像領域内に対象物の移動経路の少なくとも一部に対応する領域を含む画像であれば、特に限定されない。
【0046】
本実施形態の表示制御部１０５は、さらに、解析情報記憶部１０４に記憶されている情報に基づいて、対象物の入力映像中の軌跡に、入力映像の解析結果や所定時刻からの経過時刻をユーザに知らせる通知機能を追加する。
【0047】
表示制御部１０５は、例えば、入力映像の解析結果における対象物の特徴もしくは対象物に関連する他の物体の特徴に応じて、軌跡の一部の表示態様を他の一部と異ならせるまたは軌跡の一部の近傍に解析結果もしくは経過時間を示す情報を付随させてもよい。また、表示制御部１０５は、例えば、所定時刻からの経過時間に応じて、軌跡の一部の表示態様を他の一部と異ならせるまたは軌跡の一部の近傍に該経過時間を示す情報を付随させてもよい。
【0048】
解析結果は、入力映像を解析した結果得られる事項であれば特に問わない。解析結果は、例えば、入力映像に写る対象物を追跡した結果得られる対象物に関連する事項（対象物の特徴や対象物に関連する他の物体の特徴など）であってもよい。一例としては、既に説明したような、対象物の状態、対象物の特徴の変化、対象物に関連する他の物体の有無やそのような関連物体の情報などが挙げられる。また、対象物の状態としては、対象物全体もしくは所定部位の向き、サイズ、動作（行動、挙動）などが挙げられる。
【0049】
また、対象物と関連する他の物体の例としては、入力映像中で対象物の軌跡と所定の関係を有する軌跡を描く物体が挙げられる。なお、上記「置き去り」や「持ち去り」、後述する「交流」は、当該所定の関係の一例である。
【0050】
また、情報を付随する際の、軌跡内の対応する位置は、例えば、表示の対象とした検出内容が検出された画像の時点に対応する軌跡内の位置であったり、所定時刻からの経過時間を表示させる場合には、所定時刻から該経過時間となる時刻に対応する軌跡内の位置である。
【0051】
また、表示制御部１０５は、例えば、軌跡内の対応する位置より所定のピクセル範囲内を「近傍」としてもよい。
【0052】
また、所定時刻は、入力映像における最新時刻または入力映像を解析する所定のシステムから所定のメッセージが通知された時刻であってもよい。
【0053】
また、表示制御部１０５は、軌跡を重畳させる際に、例えば、当該軌跡にユーザが指定した地点もしくは区間または解析結果が所定の条件を満たす地点もしくは区間が含まれている場合には、それがわかる態様にして表示してもよい。
【0054】
例えば、表示制御部１０５は、軌跡の一部（例えば、その地点もしくは区間）の表示態様を他の一部と異ならせたり、軌跡の一部（例えば、その地点もしくは区間）の近傍に解析結果もしくは経過時間を示す情報を付随させてもよい。
【0055】
以下、そのような条件を満たす地点を条件地点という場合がある。同様に、そのような条件を満たす区間を条件区間という場合がある。
【0056】
条件地点もしくは条件区間は、例えば、対象物もしくはその所定部位の向き、サイズもしくは動作が所定の条件を満たす地点もしくは区間、または対象物の特徴の変化が所定の条件を満たす地点もしくは区間であってもよい。
【0057】
また、例えば、表示制御部１０５は、軌跡に解析結果において対象物がうろついていると判定されたうろつき区間が含まれている場合に、当該区間を短縮して表示させた上で、当該区間を他の区間と異なる表示態様にして表示させてもよい。なお、うろつき区間も条件区間の一例である。
【0058】
なお、表示制御部１０５が、軌跡内の任意区間がうろつき区間か否かを、例えば、対象物の軌跡内の時間単位ごとの区間またはそれに続く１つ以上の区間の軌跡であって所定の太さを有する軌跡の、当該軌跡を囲む外延矩形に対する粗密の度合いに応じて判別してもよい。なお、うろつき区間の判別方法はこれに限定されず、例えば、設定時間以内の過去の位置を基準とした領域に位置しているか否かや、設定時間毎の位置の変化が所定距離以下か否かによって判別してもよい。
【0059】
表示制御部１０５は、例えば、軌跡にうろつき区間が含まれていた場合であって該うろつき区間を短縮して表示した場合において、短縮して表示した区間を指定した所定の要求を取得すると、当該区間を元の区間に展開して表示させるまたは指定された区間内の元の区間に含まれる時点と対応づけられたポイントを含む代替表示を表示してもよい。
【0060】
表示制御部１０５は、上記の代替表示として、表示部１０６の表示領域内に短縮前の当該区間に対応する線もしくはスライドバーを表示してもよい。このとき、当該線分に対して、当該区間と同様の表示対象とするもしくは同じ情報を付随させるのがより好ましい。
【0061】
また、表示制御部１０５は、例えば、入力映像が逐次入力されるストリーミング映像である場合に、入力映像に含まれる任意時点の画像または入力映像に基づいて生成される所定の画像を背景画像とし、該背景画像に軌跡を重畳させて表示させてもよい。このようにすれば、ユーザは、常に最新の経過時間や対象物の状態を知ることができる。
【0062】
このとき、表示制御部１０５は、例えば、背景画像が入力映像に含まれる過去の時点の画像であっても、該背景画像に、入力映像から検出された対象物についての最新の解析結果に応じた表示態様の軌跡もしくは所定時刻からの最新の経過時間に応じた表示態様の軌跡を重畳させることができる。このようにすれば、ユーザは、過去画像である背景画像を確認しながら、該画像とともに表示される、対象物の最新の位置を含む軌跡や、対象物の最新の特徴などや、経過時刻に基づいて軌跡内の表示態様もしくは付随する情報が異なる軌跡を確認することで、最新の状況を合わせて知ることができる。
【0063】
なお、本実施形態において、上述したような解析結果や所定時刻からの経過時間に応じて表示態様が異なるもしくは情報が付随されて表示させる軌跡を、追跡線という場合がある。
【0064】
表示制御部１０５は、追跡線を用いて、例えば、次のような情報（特徴）を表示することができる。
【0065】
・対象物の進行方向（追跡線そのもの）
・所定時刻からの経過時間
・対象物の顔の方向
・対応する地点での滞在時間（経過時間の表示や上記の地点表示・区間表示を利用）
・対象物の服の色や柄といった特徴
・対象物の行動（しゃがむ、立ち上がる、歩く、走る（速度）、ジャンプ）
・他の被写体との交流（交差、合流、分岐等）
・誰の追跡線であるか
・所定時刻からの経過時間
・対象物の顔の方向
・対応する地点での滞在時間（経過時間の表示や上記の地点表示・区間表示を利用）
・対象物の服の色や柄といった特徴
・対象物の行動（しゃがむ、立ち上がる、歩く、走る（速度）、ジャンプ）
・他の被写体との交流（交差、合流、分岐等）
・誰の追跡線であるか
【0066】
なお、他の被写体との交流の例としては、人同士の交流や、他の物体（車）との交流などが挙げられる。ここで、交流の有無を、対象物の軌跡中に、他の被写体の軌跡と時間的および距離的に近い範囲に位置する地点もしくは区間があるか否かによって判定してもよい。また、人同士の会話のように、交流後に、当該他の被写体の軌跡が離れていく場合には、当該交流を「交差」として表示してもよい。また、人の乗車のように、交流により、２以上の軌跡が１つにまとまった場合には、当該交流を「合流」として表示してもよい。また、人の降車のように、交流により、一つの軌跡から２以上の軌跡が派生した場合には、当該交流を「分岐」として表示してもよい。
【0067】
表示制御部１０５は、例えば、ユーザの指定、経過時間の基準とされる時刻もしくはタイミング、該基準からの経過時間、対象物の向き、対象物の滞在時間、対象物の服色、対象物の服の柄または対象物の進行方向に基づいて、軌跡を表示させる対象や軌跡を用いて表示部１０６に表示する項目である表示項目や表示させる軌跡の範囲を絞り込んでもよい。
【0068】
表示制御部１０５は、一つの背景画像に２以上の対象物の軌跡を表示することもできる。例えば、表示制御部１０５は、対象物と関係する他の被写体の軌跡を表示することにより、当該他の被写体との交流を表示するようにしてもよい。
【0069】
軌跡内における表示態様の異なりは、例えば、色、線種（点線の形状等を含む）、間隔（点線における点や線の間隔等を含む）、線の太さ、点線中の線に相当する部分やマーカといった構成要素の形状、マーカや方向付き符号の向き等を用いて行うことができる。なお、これらは組み合わせて用いることが可能である。ここで、マーカは、線分に含む各地点や各区間の間隔を知らせる印など、軌跡上に常に存在する一定の内容を表す記号、図形その他の符号をいう。また、シンボルは、特定の条件を満たした場合にのみ付される任意の文字、記号、図形その他の符号をいう。また、表示制御部１０５は、軌跡内の所定の区間を絞り込む際の表示方法（絞り込み表示）を異ならせることにより、軌跡内において表示態様を異ならせてもよい。
【0070】
図４（ａ）～図４（ｊ）はそれぞれ、軌跡（追跡線）の表現例を示す説明図である。図４（ａ）は、軌跡内で色の濃さを異ならせた例である。また、図４（ｂ）は、軌跡内で色を異ならせた例である。ただし、図４（ｂ）では、線の濃淡で色の違いが表されている。図４（ｃ）は、軌跡内でマーカの間隔を異ならせた例である。図４（ｄ）は、軌跡内でマーカの形状を異ならせた例である。図４（ｅ）は、軌跡内に付される方向付き符号の向きを異ならせた例である。方向付き符号は、例えば、対象物の向きに対応づけられる。なお、図４（ｅ）では方向付き符号の例として矢印を示しているが、方向付き符号は、例えば、先頭に印のない単なる線でもよいし、三角形状などの他の形状であってもよい。また、図４（ｆ）は、対応する地点に特定の情報を示すシンボルを付随させた例である。また、図４（ｇ）は、特定のマーカを点滅させることにより表示態様を異ならせた例である。
【0071】
また、図４（ｈ）は、区間の絞り込み表示の例であり、特定範囲以外の範囲をグレーアウトさせた例である。また、図４（ｉ）は、区間の絞り込み表示の他の例であり、特定範囲（例えば、特定時間内の区間）以外を消去させた例である。また、図４（ｊ）は、区間の絞り込み表示の他の例であり、当該区間と他の区間とで追跡線の太さを異ならせた例である。絞り込み表示は、特定範囲で採用した表示態様の異ならせ方とは違う方法を用いて、表示態様を異ならせることが好ましい。
【0072】
また、図５は、追跡線と対象物の対応づけの例を示す説明図である。表示制御部１０５は、図５に示すように、追跡線と対象物とに同じ番号等を付すそれらの対応づけを行ってもよい。なお、図中の符号ＴＬは追跡線を表している。なお、図中の追跡線ＴＬは、対象物の状態に応じて色分けがされている。ただし、図５では、線の濃淡で色分けが表されている。
【0073】
また、表示制御部１０５は、同一画像に複数の追跡対象者が含まれる場合であって、ある対象物について、異なる時点の画像を同時に表示させる場合には、同一の対象物の物体領域近傍に同じ番号等を付したり、対象物の物体領域を囲む枠の色や線種等を画像内で統一させることによって、対象物の同一性を示してもよい。
【0074】
また、図６および図７は、追跡線に情報を付随させる例を示す説明図である。図６には、ある対象物について、軌跡に沿って異なる時点の画像を同時に表示させる場合における、軌跡に付随させる付随情報の例を示している。なお、背景画像以外の、他の時点における対象物の画像も付随情報の一つに含まれる。
【0075】
例えば、図６には、対象物の物体領域ａ０２を囲む枠の線種を変えたり、枠にシンボルを付けて表示する例が示されている。なお、図６に示す例では、対象物の特徴の変化（コートの有無）に応じて、例えば物体領域ａ０２－１～物体領域ａ０２－３の枠が実線で表示され、かつ物体領域ａ０２－４の枠が一点鎖線で表示されている。
【0076】
このように、対象物の状態に応じて枠の線種を異ならせてもよい。また、図６には、警報が発生した時刻に対応する時点（警報時点）の入力映像中の画像に含まれる対象物の物体領域を切り出した画像がさらに重畳された場合において、該物体領域ａ０２－２の枠線上にその旨を示すシンボル（図中の丸Ａ印）を付した例が示されている。なお、図中の丸Ｒ印は、現在時刻に対応する時点に付されるシンボルの例であり、図中の丸Ｐ印は、過去の時刻に対応する時点に付されるシンボルの例である。このように、軌跡のある時点の「近傍」には、当該地点に対応して表示される対象物の物体領域ａ０２の近傍も含まれる。また、付随させる情報には、軌跡内の地点に対象物が位置していたときに生成された画像に含まれる対象物の物体領域の切り出し画像（以下、物体画像という）も含まれる。
【0077】
また、図中の感嘆符は、特徴が変化したことを示すシンボルの例である。また、図中のｒｏ印は、他の物体との交流があることを示すシンボルの例である。なお、対象物の物体画像を付随させない場合は、追跡線上の対応する地点近くに同様のシンボルを付してもよい。
【0078】
また、図７に示すように、表示制御部１０５は、ユーザが指示した軌跡上の地点など、特定の地点に対して、対応する時点の対象物の情報や経過時刻の情報を付随させてもよい。この他にも、表示制御部１０５は、例えば、警報時点とその他の過去の時点と現在時点とで枠線の色を変えるなど、対応時間を色や付随させる情報で表現してもよい。
【0079】
また、表示制御部１０５は、経過時間および解析結果の中から、軌跡を表示させる対象や、表示項目や、軌跡の範囲をユーザが指定できるようにしてもよい。例えば、次のような項目を指定できるＧＵＩ（Graphical User Interface）を用意しておき、ユーザに、軌跡を表示させる対象や表示項目や軌跡の範囲等の絞り込みを行わせてもよい。
【0080】
［絞り込み対象の例］
・経過時間の基準とされる時刻もしくはタイミングおよびそこからの経過時間
（例えば、アラート発生時から～分以内）
・対象物の向き
・対象物の滞在時間
・対象物の服色、服の柄
・対象物の進行方向
・経過時間の基準とされる時刻もしくはタイミングおよびそこからの経過時間
（例えば、アラート発生時から～分以内）
・対象物の向き
・対象物の滞在時間
・対象物の服色、服の柄
・対象物の進行方向
【0081】
ＧＵＩは、例えば、コンボボックス、リスト、チェックボックス、ラジオボタン、テキスト入力、時間選択等の一般的なメニュー表現でよい。
【0082】
次に、本実施形態の動作を説明する。図８は、本実施形態の映像解析装置２（追跡部１０３）の動作の一例を示すフローチャートである。図８に示す例では、まず、映像入力装置１から解析対象とする映像が入力される（ステップＳ１１）。
【0083】
次に、映像解析装置２は、入力映像において追跡対象物を追跡し、追跡対象物の位置を連続的に取得するとともに、対応時間または位置が取得された時点の画像における追跡対象物に関する所定の事項を検出する（ステップＳ１２：映像解析処理）。
【0084】
そして、映像解析装置２は、解析結果を付した映像を出力する（ステップＳ１３：解析結果付き映像出力）。なお、映像解析装置２は、上記の出力に代えて、入力映像と解析結果を示す情報とを、記憶装置３に対応づけて記憶してもよい。
【0085】
映像解析装置２は、上記のステップＳ１１～ステップＳ１３の動作を、映像入力が終了するまで繰り返す（ステップＳ１４）。
【0086】
また、図９は、本実施形態の映像処理装置４（表示制御部１０５）の動作の一例を示すフローチャートである。図９に示す例では、まず、映像解析装置２等から解析結果付き映像が入力される（ステップＳ２１）。なお、映像処理装置４は、解析結果付き映像の入力に代えて、所定の記憶部から入力映像と解析結果を示す情報とを読み出してもよい。
【0087】
映像が入力されると、映像処理装置４は、表示装置５に、入力映像中の任意時点の画像または入力映像に基づいて作成される画像を表示する（ステップＳ２２：表示制御処理）。なお、表示制御処理の詳細は後述する。
【0088】
映像処理装置４は、上記のステップＳ２１～ステップＳ２２の動作を、表示の終了を検知するまで繰り返す（ステップＳ２３）。
【0089】
以下、機能ブロックを動作の主体にして上記のステップＳ２２の表示制御処理の例を説明する。図１０は、表示制御部１０５における表示制御（上記のステップＳ２２の表示制御処理）の一例を示すフローチャートである。
【0090】
本例では、ステップＳ１０１の前に、表示させる背景画像および対象物がユーザから指定されているまたは予め決められているものとする。また、映像保持部１０２には、背景画像となりうる画像（入力映像のうちの所定量の画像や入力映像から生成された画像など）がその識別子とともに記憶されているものとする。また、解析情報記憶部１０４には、追跡部１０３によって入力映像から取得された位置およびその他の検出内容を含む解析結果を示す情報と、該位置が取得された入力映像中の画像の識別情報とを対応づけた解析情報が記憶されているものとする。
【0091】
図１０に示す例では、まず、表示制御部１０５は、映像保持部１０２から背景画像を取得する（ステップＳ１０１）。
【0092】
次いで、表示制御部１０５は、解析情報記憶部１０４から解析情報を取得する（ステップＳ１０２）。
【0093】
次いで、表示制御部１０５は、背景画像の領域情報に基づいて、背景画像に応じた対象物の軌跡を生成する（ステップＳ１０３）。ここで、領域情報は、背景画像の座標と撮影領域（現実）の座標とを対応づけた情報である。また、軌跡の生成は、例えば、表示させたい軌跡（追跡線）のみが背景画像に対応した画像領域中に描かれた軌跡画像を生成すればよい。なお、対象物の連続する位置を示す位置情報に基づき、画像内の領域と撮影領域との位置関係が既知の背景画像に適合する軌跡線の経路を算出したり、描画する技術自体は公知であるので、詳しい説明は省略する。
【0094】
ステップＳ１０３で、表示制御部１０５は、さらに解析情報に基づいて、入力映像の解析結果もしくは所定時刻からの経過時間に応じて軌跡内の表示態様が異なるか、入力映像の解析結果もしくは該経過時間を示す情報が軌跡内の対応する位置近傍に付随された軌跡を生成する。
【0095】
次いで、表示制御部１０５は、背景画像に、生成した軌跡を重畳させて表示用の画像である表示画像を生成する（ステップＳ１０４）。
【0096】
最後に、表示制御部１０５は、生成した表示画像の画像データを表示部１０６に出力して、表示させる（ステップＳ１０５）。
【0097】
次に、本実施形態における表示画像の例を示す。
【0098】
図１１～図１７は、表示画像の例を示す説明図である。なお、これら各々の図面において、（ａ）はカラー画像の表示画像を簡略図面に変換して示す説明図であり、（ｂ）は説明のために、該表示画像のうち背景画像以外の画像である重畳画像を簡略化して示す説明図である。表示画像を簡略化するにあたり、一部の表示において色を用いて異ならせていた部分を、他の方法（線種や記号を付すなど）を用いて異ならせていることに留意されたい。
【0099】
図１１に示す例は、最新画像が背景画像に設定され、最新の対象物を含む背景画像が時々刻々と更新される場合の表示画像の例である。図１１では、最新時刻に対応する対象物の画像は背景画像のものが利用されている。なお、図１１（ａ）には、最新時刻からの経過時間に応じて軌跡の表示態様（具体的には、色）を異ならせつつ、対応時点での対象物の状態に応じたシンボル（丸Ａ印や丸Ｐ印や丸Ｒ印やｒｏ印など）を付した例が示されている。
【0100】
なお、図１１（ｂ）では、図面の制約上、色を用いる代わりに、線種（点線の線の間隔）を用いて経過時間の違いを表現している。図１１に示すように、表示制御部１０５は、侵入検知線ａ０３など、追跡線以外の情報も重畳させて表示してもよい。
【0101】
また、図１２に示す例は、警報時点の画像が背景画像に設定され、追跡線だけが時々刻々と更新される場合の表示画像の例である。図１２に示すように、表示制御部１０５は、最新画像だけでなく、過去画像を表示中においても、対象物の最新の位置に基づく軌跡を重畳させて表示してもよい。これにより、他の追跡対象物（例えば、侵入者と関連性のある他の物体）を確認することができる。例えば、図１２（ａ）に示す例では、対象物と他の物体の物体領域を囲む線を実線と破線のように異ならせるとともに、物体ごとに線の色が異なっている。なお、図１２（ｂ）では、色を用いる代わりに、物体を識別する番号を付している。
【0102】
なお、図１２に示す例には、最新の対象物の画像が含まれていないが、表示制御部１０５は、背景画像に、さらに最新の対象物の画像（対象物の物体領域を切り出した画像）や最新画像の全体を、透明度を上げるなどの所定の加工をした上で重畳させてもよい。
【0103】
また、図１３に示す例は、侵入者など警報対象となった追跡対象物以外の追跡対象物が対象物に指定された場合の表示画像の例である。図１３に示すように、軌跡を表示させる対象物は、特に限定されず、例えば、ユーザが指定した追跡対象物であってもよい。
【0104】
また、図１４に示す例は、対象物と関連する物体が存在する場合の表示画像の例である。図１４に示すように、表示制御部１０５は、例えば、車両から人が降りた場合など複数の物体の軌跡に関連性が認められる場合には、それらは互いに関連する物体であるとして、対象物の軌跡とともに他方の軌跡も併せて背景画像に重畳させて表示してもよい。
【0105】
なお、図１４に示す例では、最新画像が背景画像に設定され、最新の対象物を含む背景画像が時々刻々と更新される場合を例に用いているが、関連物体の軌跡を表示する際の背景画像やその更新方法は特に限定されない。
【0106】
また、表示制御部１０５は、車両からの降車に限らず、対象物と他の物体との交流が検出された場合に、交流のあった他の物体の軌跡を、対象物の軌跡とともに表示させてもよい。このとき、他の物体の軌跡に対しても、同様の通知機能を持たせてもよい。
【0107】
また、図１５に示す例は、うろつき区間を含む軌跡を重畳させた表示画像の例である。なお、図１５において、（ａ－１）および（ｂ－１）はそれぞれ、うろつき区間を短縮させずに重畳させた表示画像および簡略化重畳画像の例である。なお、（ｂ－１）における符号ａ１１が対象者のうろつきが検出された領域を示している。また、（ａ－２）および（ｂ－２）は、当該うろつき区間を短縮させた上で重畳させた表示画像および簡略化重畳画像の例である。また、（ａ－３）および（ｂ－３）は、短縮させた後で当該うろつき区間を展開させて重畳させた表示画像のおよび簡略化重畳画像の例である。表示制御部１０５は、例えば、対象物がごく一部の領域をつろついていると判断した場合には、その部分に相当する軌跡の区間をうろつき区間として、その区間内の解析結果をグループ化し、代表的な情報のみを表示するようにしてもよい。
【0108】
なお、表示制御部１０５は、グループ化の際、当該区間がグループ化されて短縮された区間であることがわかる態様（例えば、何らかのシンボルや絞り込み表示を付与）にして表示するのが好ましい。なお、本例では、（ａ－１）および（ｂ－１）がグループ化前（通常状態）の表示画像に相当し、（ａ－２）および（ｂ－２）がグループ化後の表示画像に相当する。
【0109】
また、表示制御部１０５は、グループ化後の表示画像において、ユーザから当該区間を指定した展開指示を受け付けた場合には、（ａ－３）および（ｂ－３）に示すように、当該区間を展開させて表示してもよい。その際、展開後の区間内の地点に対する指示入力を、マウスのホイールや、展開後の追跡線の直接のクリック、表示画面上の所定の領域に代替表示させたスライドバー等に対する操作により受け付け可能にしてもよい。
【0110】
また、図１６に示す例は、ユーザが指定した特定範囲の区間をアノテーション区間として、それがわかる態様で表示した例である。なお、表示制御部１０５は、その場にいない上位監視者にも知らせられるように、解析情報に、アノテーション区間に対応する時間情報や画像の情報を追加してもよい。以下、このようなアノテーション区間に対応して追加される情報をアノテーション情報という場合がある。
【0111】
また、表示制御部１０５は、アノテーション区間に対応する映像（画像群）を切り出して、所定の装置に出力してもよい。それにより、上位監視者の確認コストを下げることができる。
【0112】
また、図１７に示す例は、対象物の向きや姿勢変動の分類結果を、線種を用いて表現した例である。図１７に示すように、対象物の状態や特徴変化に応じて、軌跡内で表示態様を異ならせれば、オペ―レータが対象物の容姿を確認するためにどの時点の画像を確認すればよいのかの参考にできる。
【0113】
以上のように、本実施形態では、現在確認中の画面上に、対象物の軌跡を、所定時刻からの経過時間や入力映像の解析結果に応じて軌跡の一部の表示態様を他の一部と異ならせたり、軌跡内の地点と対応づけて情報を付随させた上で表示する。このため、ユーザは、対象物の進行方向だけでなく、対象物の軌跡上の地点と結びつけて、該経過時間や解析結果を直感的に知ることができる。
【0114】
例えば、ユーザは、対象物の軌跡から、所定時刻からある時間経過したときの対象物の位置（どのあたりにいたのか）や、その前後の時間的な過ごし方を知ることができる。また、例えば、ユーザは、対象物の軌跡から、侵入時の状況（本当に侵入したか否か）や、対象物の状態（向きや姿勢や行動や服色等の分類結果）やその変化の有無や関連する他の物体の有無などを知ることができる。
【0115】
すなわち、所定時刻からの経過時刻や解析結果（例えば、対象物の向きや動作など）に基づいて軌跡の一部の表示態様を変えたり、軌跡の一部の近傍に情報を付随させることで、対象物の詳細を確認する際に軌跡のどの地点における画像を確認すればよいか容易に選択することができる。具体的に説明すると、例えば、軌跡の一部の表示態様を異ならせたり、軌跡の一部の近傍に情報を付随させないと、対象物の詳細を確認する際に軌跡上のどの地点にいる対象物を確認していいか決めることができないため、対象物についての詳細確認に時間を要してしまう。一方、本実施形態のように、例えば対象物がカメラ側を向いている時点に対応する地点の軌跡を他の地点よりも太くする。その結果、現在の映像を確認しながら過去の映像から対象物の詳細を確認する場合、軌跡が太い部分を選択して当該地点に対応する時点の対象物、すなわち当該地点に位置していたときの対象物を確認すればよいことで、容易に対象物の詳細を確認できる。なお、上記の効果は、ユーザの指定によりもしくは所定の条件に従い、軌跡を表示させる対象や表示項目や軌跡の範囲を絞るこむことによっても同様に得ることができる。
【0116】
このように、所定時刻からの経過時間や対象物の解析結果を、軌跡を利用してユーザに提示することができるので、ユーザは、表示中の軌跡により提示される情報を基に、映像中の２以上の時点における対象物の状況を迅速に得ることができる。例えば、ユーザは、現在の画像を確認中に、過去のどの時点の画像を確認すれば所望の情報が得られるかを迅速に判断できる。また、例えば、ユーザは、過去の画像を確認中に、現在の対象物の位置を把握することができる。
【0117】
また、特定の時点（警報発生時等）における対象物の画像を、軌跡の対応する地点近傍に重畳させて表示するなど、軌跡に付随させる情報によっては、ユーザが画面を切り替えることなく複数時点の対象物の状態を知ることも可能である。
【0118】
なお、第２の実施形態で詳細に説明するが、どの時点の対象物の画像を重畳させるかを、ユーザが軌跡を利用して指示できるようにすることで、画面表示が複雑にならずに、ユーザは必要な情報を取得できる。このような指示をユーザから受け付ける際にも、本実施形態の軌跡表示によれば、ユーザがどの時点の対象物を確認すべきかを判断する際の支援ができるため、より迅速に映像中の２以上の時点における対象物の状況を迅速に把握できる。
【0119】
［実施形態２］
次に、本発明の第２の実施形態について説明する。本実施形態では、表示制御部１０５に、背景画像に重畳させて表示させた軌跡に、ＧＵＩ機能を持たせる。より具体的には、映像処理装置４が、背景画像に重畳表示させた軌跡と対応づけて、表示中の軌跡上の地点を指定する要求（所定の指示入力）を取得し、要求に応じた画面制御を行うＧＵＩ機能をさらに備える。
次に、本発明の第２の実施形態について説明する。本実施形態では、表示制御部１０５に、背景画像に重畳させて表示させた軌跡に、ＧＵＩ機能を持たせる。より具体的には、映像処理装置４が、背景画像に重畳表示させた軌跡と対応づけて、表示中の軌跡上の地点を指定する要求（所定の指示入力）を取得し、要求に応じた画面制御を行うＧＵＩ機能をさらに備える。
【0120】
これにより、例えば、ユーザが、表示中の軌跡をなぞるだけで、その軌跡にそって同じ背景画像上で、指定された地点に対象物が位置していたときの対象物を確認したり、さらには２以上の時点（例えば、背景画像の時点と指定された地点に対応する時点や、第１に指定された地点に対応する時点と第２に指定された地点に対応する時点など）の対象物を同時に表示させたり、背景画像を切り替えたりできるようにする。
【0121】
以下、第１の実施形態と同じ部分については同じ符号を付し、説明を省略する。
【0122】
本実施形態の映像解析システムのシステム構成は、図１に示した第１の実施形態の構成と基本的に同様である。なお、以下、映像解析装置２（追跡部１０３）が、追跡対象物の位置とともに、位置以外の情報（対応時間や追跡対象物の特徴や追跡対象物と関連する他の物体など）を検出する例を示すが、これらは必ずしも検出されなくてもよい。すなわち、本実施形態の映像解析装置２（追跡部１０３）は、入力映像を解析して、入力映像中の追跡対象物の位置を示す位置情報と、該位置が取得された画像の識別情報とを対応づけた解析情報を生成できればよい。
【0123】
図１８は、本実施形態の映像解析システムの構成例を示すブロック図である。図１８に示す映像解析システム２００は、図２に示す第１の実施形態の映像解析システム１００にの表示制御部１０５に代えて、表示制御部２０５を備えている。
【0124】
表示制御部２０５は、表示部１０６に、入力映像中の所定の対象物の軌跡を表示する。例えば、表示制御部２０５は、入力映像や、入力映像に含まれる任意時点の画像や、入力映像に基づいて生成される所定の画像を表示する際に、該画像を背景画像として、該背景画像に、入力映像中の所定の対象物の軌跡を重畳させて表示する。なお、本実施形態においても、背景画像は、画像領域内に対象物の移動経路の少なくとも一部に対応する領域を含む画像であれば、特に限定されない。
【0125】
本実施形態の表示制御部２０５は、さらに、対象物の入力映像中の軌跡に、表示中の軌跡上の地点を指定する所定の要求を取得して、要求に応じた表示制御を行うＧＵＩ機能を追加する。
【0126】
例えば、表示制御部２０５は、表示中の軌跡上の地点を指定する第１要求を取得し、表示部１０６が表示する任意の背景画像に、指定された地点に対象物が位置していたときの該対象物を含む指定画像を重畳させて表示する。以下では、第１要求を、「指定画像追加要求」と呼ぶ場合がある。また、当該第１要求を含む所定の要求で指定された地点を「指定地点」と呼ぶ場合がある。また、要求内で区間が指定される場合は、該区間を「指定区間」と呼ぶ場合がある。
【0127】
このとき、表示制御部２０５は、指定された地点が変わる度に、逐次、指定された地点に対象物が位置していたときの該対象物を含む指定画像を重畳させてもよい。このようにすれば、ユーザが軌跡の指示先の位置を移動させるだけで、同一画像上で、指示先の時点に対応する画像に写っていた対象物を確認することができる。なお、表示制御部２０５は、指定画像として、映像に含まれる画像のうち、指定された地点に対象物が位置していたときに生成された画像（以下、対応画像という）を重畳させてもよい。
【0128】
例えば、第１要求が、ポイントデバイスの指示先を軌跡上に移動させたときに指示先の位置情報とともに入力される要求である場合に、表示制御部２０５は、当該第一要求を取得する度に、逐次、指定された地点として位置情報により示される地点に対象物が位置していたときの該対象物を含む指定画像を重畳させてもよい。このようにすれば、ユーザが軌跡をなぞるだけで、同一画像上で、指定地点に位置していたときの対象物を確認することができる。
【0129】
また、例えば、表示制御部２０５は、映像に含まれる画像のうち、指定された地点に対象物が位置していたときに生成された画像（対応画像）から対象物の物体領域を切り出して得られる画像を指定画像として用いる場合に、該指定画像を、背景画像における対応画像内の対象物の位置に応じた位置に重畳させる。表示制御部２０５は、例えば、対応画像における対象物の位置およびサイズに基づいて背景画像に該指定画像を重畳させる位置およびサイズを求めた上で、背景画像に該指定画像を重畳させてもよい。
【0130】
また、例えば、表示制御部２０５は、対応画像から対象物を切り出して得られる画像を指定画像といて用いる場合に、該指定画像を重畳させる際、該指定画像とともに、対応画像から対象物と関連する他の物体を切り出して得られる第２の指定画像を重畳させてもよい。
【0131】
また、例えば、表示制御部２０５は、表示中の軌跡上の地点を指定する第２要求を取得し、背景画像を、対応画像に切り替えてもよい。このとき、表示制御部２０５は、切り替えと同時に、切り替え後の背景画像に、対象物の軌跡を重畳させて表示してもよい。以下、第２要求を「背景切替要求」と呼ぶ場合がある。
【0132】
また、例えば、表示制御部２０５は、表示中の軌跡上の地点もしくは区間を指定する第３要求を取得し、映像に含まれる画像のうち、指定された地点もしくは区間に対象物が位置していたときに生成された画像（対応画像）に、指定された旨を示す情報を付す、または当該画像を取り出して外部に出力してもよい。さらに、表示制御部２０５は、このときの区間をアノテーション区間として、表示中の画像において表示態様を他の区間と異ならせたり、当該区間にその旨を示す情報を付してもよい。以下、第３要求を「アノテーション付加要求」と呼ぶ場合がある。
【0133】
また、例えば、表示制御部２０５は、軌跡を表示する際に、軌跡とともに、入力映像中の所定の条件を満たす時点の画像から得られる指定画像を背景画像に重畳させて表示してもよい。なお、これは、第１の実施形態において特定の時点の物体画像を軌跡に付随させて表示することに相当する。
【0134】
また、例えば、表示制御部２０５は、指定画像を重畳させる際、該指定画像に、対象物の識別情報または指定された地点に対応する時点の時間に関する情報を付随させて重畳させてもよい。なお、これは、第１の実施形態において対象物の同一性を示すために同じ番号等を付して対応付けを行うこと、経過時間や対応時間に応じた情報（丸Ｐ印や丸Ａ印や丸Ｒ印等）を付随させることに相当する。
【0135】
また、例えば、表示制御部２０５は、表示中の軌跡上の地点もしくは区間を指定する第４要求を取得した後、第４要求の解除を取得するまで、背景画像に、指定された地点に対象物が位置していたときの対象物を含む指定画像を表示し続けてもよい。以下、第４要求を「指定画像固定要求」と呼ぶ場合がある。
【0136】
また、表示制御部２０５は、第１の実施形態と同様、何ら要求を取得せずに、例えば、警報時点の対象物の画像や警報時点の関連物体の画像を、警報時点である旨のシンボル等を付した上で常に表示させることも可能である。
【0137】
また、表示制御部２０５は、軌跡以外に、表示画像に含まれる追跡対象物の物体領域にもＧＵＩ機能を持たせてもよい。すなわち、表示制御部２０５は、表示画像に現在の対象物以外の追跡対象物が表示されている（背景画像に写っているもしくは重畳されている）場合に、その中から新たに軌跡を表示させる対象物をユーザに選択させることも可能である。例えば、表示制御部２０５は、上記の図１２に示したような、現在の対象物以外の追跡対象物が画面上に表示されている状態で、ユーザから、現在の対象物以外の追跡対象物の指定を含む対象物の切替要求を取得した場合に、指定された追跡対象物を新たな対象物として、現在の背景画像に該対象物の軌跡を重畳させて表示してもよい。このとき、前の対象物の軌跡を残してもよいし、消去してもよいし、それらをユーザが選択できるようにしてもよい。
【0138】
また、表示制御部２０５は、この他にも、時刻情報や警報のトリガとなった検出内容を表示して、それに対するユーザ操作などを受け付けて、それらに対応する時点の画像を表示するなどの制御を行うことも可能である。このとき、表示方法は、現在表示中の表示画像にさらに重畳させる方法でもよいし、背景画像の切り替えにより表示してもよい。また、重畳させる場合、対応する時点の画像全部を重畳させてもよいし、一部（対応する部分）を切り出して重畳させてもよい。
【0139】
本実施形態においても、表示制御部２０５は、例えば、映像処理装置４が備えるＣＰＵ等の情報処理装置によって実現される。
【0140】
次に、本実施形態の動作を説明する。図１９は、表示制御部２０５における表示制御の一例を示すフローチャートである。
【0141】
本例でも、ステップＳ２０１の前に、表示させる背景画像および対象物がユーザから指定されているまたは予め決められているものとする。また、映像保持部１０２には、背景画像となりうる画像（入力映像のうちの所定量の画像や入力映像から生成された画像など）がその識別子とともに記憶されているものとする。また、解析情報記憶部１０４には、追跡部１０３によって入力映像から取得された位置およびその他の検出内容を含む解析結果を示す情報と、該位置が取得された入力映像中の画像の識別情報とを対応づけた解析情報が記憶されているものとする。
【0142】
また、以下では、表示部１０６に表示させる表示画像の画像情報を、複数のレイヤに分けて保持、管理した上で、これらを重畳させて出力する例を示すが、表示画像の生成方法は本例に限られない。
【0143】
図１９に示す例では、まず、表示制御部２０５は、映像保持部１０２から背景画像を取得し、背景レイヤに設定する（ステップＳ２０１）。ここで、レイヤに設定するとは、より具体的には、レイヤ別に設けられたバッファに当該レイヤで表示したい画像の画像情報を保持させることをいう。
【0144】
次いで、表示制御部２０５は、解析情報記憶部１０４から解析情報を取得する（ステップＳ２０２）。
【0145】
次いで、表示制御部２０５は、背景画像の領域情報に基づいて、背景画像に応じた対象物の軌跡を生成し、生成した軌跡を軌跡レイヤに設定する（ステップＳ２０３，ステップＳ２０４）。このとき、表示制御部２０５は、軌跡内の地点に対して、入力映像中の画像またはその時点もしくはその時点の時間情報が対応づけられた軌跡（軌跡画像）を生成する。
【0146】
次いで、表示制御部２０５は、表示部１０６に出力する画像情報を格納する表示バッファに、背景レイヤと軌跡レイヤの画像情報を重畳させて格納する（ステップＳ２０５）。
【0147】
このとき、表示制御部２０５は、予め表示させたい物体画像等がある場合には、当該物体画像を指定画像の１つとして、背景画像とした対応画像に応じた位置・サイズに変換した上で、指定画像が設定される重畳画像レイヤに固定フラグとともに設定してもよい。なお、重畳画像レイヤは、重畳させる画像の数分設けられる。
【0148】
次いで、表示制御部２０５は、背景画像にこれまでに設定された指定画像を重畳させるため、重畳画像レイヤに画像が設定されているか否かを判定する（ステップＳ２０６）。表示制御部２０５は、重畳画像レイヤに画像が設定されている場合には（ステップＳ２０６のＹｅｓ）、設定されている画像を表示バッファにさらに重畳させて格納する（ステップＳ２０７）。
【0149】
ステップＳ２０７で、表示制御部２０５は、複数の重畳画像レイヤに画像が設定されている場合には、設定されている画像全てを表示バッファに重畳させて格納する。そして、ステップＳ２０８に進む。
【0150】
一方、表示制御部２０５は、重畳画像レイヤに画像が設定されていない場合には（ステップＳ２０６のＮｏ）には、そのままステップＳ２０８に進む。
【0151】
ステップＳ２０８で、表示制御部２０５は、表示部１０６に、表示バッファに格納されている画像情報を出力する。
【0152】
以上のステップＳ２０１～ステップＳ２０８の動作により、表示部１０６に、背景画像と軌跡と、あれば重畳画像レイヤに設定されている画像とが重畳された表示画像が表示される。
【0153】
表示制御部２０５は、表示部１０６に画像が表示された状態で、表示中の軌跡上の地点の指定を含む所定の要求を取得する。本例では、表示制御部２０５は、該要求に対応するイベントを受け付ける。そして、表示制御部２０５は、該イベントに応じた処理を行う（ステップＳ２０９：イベント処理）。なお、イベント処理の例は、図２０～図２５に示される。
【0154】
イベント処理を行った後、表示制御部２０５は、軌跡を更新するために、例えば、所定時間経過後にステップＳ２０２に戻り、ステップＳ２０２～ステップＳ２０８の動作を繰り返しながら、要求を取得するようにしてもよい。
【0155】
【0156】
図２０は、第１要求（指定画像追加要求）に応じたイベント処理の例を示すフローチャートである。図２０に示す例では、表示制御部２０５は、受け付けたイベントが第１要求を取得した旨を示す第１要求イベントである場合に（ステップＥ１１のＹｅｓ）、ステップＥ１１～Ｅ１４の処理を行う。
【0157】
まず、表示制御部２０５は、固定フラグが付されていない重畳画像レイヤをクリアする（ステップＥ１２）。ここで、固定フラグは、当該重畳画像レイヤの画像を常時表示させることを示すフラグである。ステップＥ１２により、次の表示画像の更新タイミングで、当該第１要求前に表示されていた固定フラグが付されていない重畳画像レイヤに設定されている指示地点画像をクリアできる。
【0158】
次いで、表示制御部２０５は、当該イベントにかかる第１要求で指定された地点に対応する対応画像から指定画像を取得し、必要に応じて位置・サイズを調整の上、新たな重畳画像レイヤに設定する（ステップＥ１３、ステップＥ１４）。そして、設定内容を表示画像に反映させるために、ステップＳ２０６に戻る。
【0159】
これにより、指定した地点に対応する対応画像から得られた指定画像が現在の表示画像に重畳される。
【0160】
また、図２１は、第１要求が無効になった旨を示す第１要求解除イベントに応じたイベント処理の例を示すフローチャートである。ここで、第１要求解除イベントは、例えば、第１要求で指定された地点が他に移動した場合や、新たな地点を指す第１要求を受け付けた場合に発生することを想定している。
【0161】
図２１に示す例では、表示制御部２０５は、受け付けたイベントが第１要求解除イベントである場合に（ステップＥ１５のＹｅｓ）、ステップＥ１６の処理を行う。
【0162】
すなわち、表示制御部２０５は、固定フラグが付されていない重畳画像レイヤをクリアする（ステップＥ１６）。
【0163】
これにより、次の表示画面の更新タイミングで、現在の表示画像に重畳されている移動前の地点や前回の第１要求で指定された地点に対応する指定画像がクリアされる。なお、表示制御部２０５は、ステップＥ１６の後、すぐにステップＳ２０５に戻り、表示画面を更新させてもよい。
【0164】
また、図２２は、第２要求（背景切替要求）に応じたイベント処理の例を示すフローチャートである。図２２に示す例では、表示制御部２０５は、受け付けたイベントが第２要求を取得した旨を示す第２要求イベントである場合に（ステップＥ２１のＹｅｓ）、ステップＥ２２～Ｅ２３の処理を行う。
【0165】
まず、表示制御部２０５は、軌跡レイヤおよび重畳画像レイヤを全てクリアする（ステップＥ２２）。
【0166】
次いで、表示制御部２０５は、背景画像を、指定した地点に対応する対応画像に設定する（ステップＥ２３）。そして、設定内容を表示画像に反映させるために、ステップＳ２０１に戻る。
【0167】
これにより、表示部１０６に、対応画像を背景画像とし、該背景画像に軌跡が重畳された表示画像が表示される。なお、このとき、表示制御部２０５は、表示させたい物体画像がある場合には、当該物体画像を指定画像の１つとして、背景画像とした対応画像に応じた位置・サイズに変換した上で、重畳レイヤに固定フラグとともに設定してもよい。
【0168】
また、図２３は、第３要求（アノテーション付加要求）に応じたイベント処理の例を示すフローチャートである。図２３に示す例では、表示制御部２０５は、受け付けたイベントが第３要求を取得した旨を示す第３要求イベントである場合に（ステップＥ３１のＹｅｓ）、ステップＥ３２の処理を行う。
【0169】
すなわち、表示制御部２０５は、指定地点もしくは指定区間に応じた画像および軌跡にアノテーション情報（ユーザが指示した旨を示す情報）を追加する（ステップＥ３２）。
【0170】
なお、表示制御部２０５は、さらに、入力映像から指定地点もしくは指定区間に応じた画像を切り出して、外部に出力してもよい。
【0171】
また、図２４は、第４要求（指定画像固定要求）に応じたイベント処理の例を示すフローチャートである。図２４に示す例では、表示制御部２０５は、受け付けたイベントが第４要求を取得した旨を示す第４要求イベントである場合に（ステップＥ４１のＹｅｓ）、ステップＥ４２の処理を行う。
【0172】
すなわち、表示制御部２０５は、指定地点に対応する指定画像を設定した重畳画像レイヤに固定フラグを設定する（ステップＥ４２）。
【0173】
これにより、次回以降の表示画面の更新タイミングで、現在表示中の指定画像がクリアされないようにする。
【0174】
また、図２５は、第５要求（第４要求解除要求）に応じた第５要求イベントに応じたイベント処理の例を示すフローチャートである。図２５に示す例では、表示制御部２０５は、受け付けたイベントが第５要求を取得した旨を示す第５要求イベントである場合に（ステップＥ５１のＹｅｓ）、ステップＥ５２の処理を行う。
【0175】
すなわち、表示制御部２０５は、指定地点に対応する指定画像を設定した重畳画像レイヤに固定フラグを解除する（ステップＥ５２）。
【0176】
これにより、次回の表示画面の更新タイミングで、固定表示させていた当該指定画像がクリアされるようにする。
【0177】
次に、本実施形態における表示画像の例を示す。まず、本実施形態における表示画像の合成パターンの例を示す。
【0178】
図２６は、本実施形態において生成される合成画像（表示画像）の生成パターンの一例を示す説明図である。なお、図２６では、軌跡を除いた表示画像の生成パターンを例示している。図２６に示すように、表示制御部２０５は、例えば、過去画像に、指定地点画像からの切り出し画を重畳させて表示画像を合成してもよい（生成パターン１）。ここで、指定地点画像は、上記の対応画像に相当する。また、指定地点画像の切り出し画は、上記の指定画像に相当する。
【0179】
また、表示制御部２０５は、例えば、過去画像に、最新画像からの切り出し画と、指定地点画像の切り出し画とを重畳させて表示画像を合成してもよい（生成パターン２）。ここで、最新画像からの切り出し画は、最新画像に含まれる対象物の物体画像であってもよい。
【0180】
また、表示制御部２０５は、例えば、最新画像に、指定地点画像の切り出し画を重畳させて表示画像を合成してもよい（生成パターン３）。
【0181】
また、表示制御部２０５は、例えば、最新画像に、過去画像からの切り出し画と、指定地点画像の切り出し画とを重畳させて表示画像を合成してもよい（生成パターン４）。ここで、過去画像からの切り出し画は、過去画像のいずれかに含まれる対象物や関連物体の物体画像であってもよい。例としては、警報時点や特徴変化が検出された時点や関連する他の物体と交流のあった時点など、特定の時点の過去画像に含まれる対象物や関連物体の物体画像などが挙げられる。
【0182】
また、図２７～図２９は、本実施形態の表示画像の例を示す説明図である。なお、本実施形態も第１の実施形態と同様、各々の図面において、（ａ）はカラー画像の表示画像をグレースケールに変換したイメージ画像を示す説明図であり、（ｂ）は説明のために、該表示画像のうち背景画像以外の画像である重畳画像を簡略化して示す説明図である。
【0183】
図２７に示す例は、最新画像が背景画像に設定され、最新の対象物を含む背景画像が時々刻々と更新される表示画像上で、ユーザがある過去の時点に対応する軌跡上の地点を指定した第１要求を行った後に表示される表示画像の例である。なお、本例では、第１要求で指定された地点が白抜き矢印で示されている。
【0184】
表示制御部２０５は、図２７に示すように、第１要求に応じて、指定地点に対応する対応画像における対象物の物体領域ａ０２－３を切り出した指定画像（その時点の物体画像）を、表示画像に、さらに重畳して表示してもよい。なお、本例では、第１要求を取得する前は、最新画像に、軌跡と、警報発生時の対応画像における対象物の物体領域ａ０２－２を切り出した指定画像とが重畳されているものとする。
【0185】
また、図２８に示す例は、そのような第１要求の移動に伴い、重畳させる指定画像が切り替わりながら表示される表示画像の例である。なお、図中では、物体領域ａ０２－３と物体領域ａ０２－４と物体領域ａ０２－５とが同時に表示されているが、実際は、指定先（図中の白抜き矢印）の移動に伴い、これらが切り替わりながら表示される。
【0186】
また、図２８に示す例は、最新画像が背景画像に設定され、最新の対象物を含む背景画像が時々刻々と更新される状態において、ある過去の時点をユーザが指示した場合の表示画像の例である。図２８に示すように、表示制御部１０５は、例えば、対象物の追跡線上のある地点をユーザが指定した場合には、該地点に位置していたときの対象物の物体画像（図中の物体領域ａ０２－３）とともに関連する物体の物体画像（図中の物体領域ａ０２－４参照）も併せて重畳させて表示してもよい。このようにして、ユーザが関連する物体の特徴等も併せて確認できるようにしてもよい。
【0187】
なお、表示制御部２０５は、車両からの降車に限らず、対象物と他の物体との交流が検出された場合に、交流のあった他の物体のその時点の画像を関連物体の画像として、同時点の対象物の画像と併せて重畳させて表示させてもよい。
【0188】
以上のように、本実施形態によれば、ユーザは、表示中の軌跡や軌跡に付随する対象物の物体領域や関連する物体の物体領域を指示して所定の入力を行うだけで、指定した地点に応じた切り出し画を表示させたり、背景画像を切り替えることができるので、映像中の２以上の時点における対象物やその周囲の状況を迅速に得ることができる。
【0189】
なお、上記の説明では、本実施形態の表示制御部２０５も、第１の実施形態で説明したような軌跡に通知機能を持たせる態様を行う例を示したが、表示制御部２０５は、軌跡にそのような通知機能を持たせずに、ＧＵＩ機能のみを持たせることも可能である。すなわち、単なる軌跡表示に対しても、本実施形態のＧＵＩ機能を具備させることが可能である。
【0190】
次に、本発明の実施形態にかかるコンピュータの構成例を示す。図３０は、本発明の実施形態にかかるコンピュータの構成例を示す概略ブロック図である。コンピュータ１０００は、ＣＰＵ１００１と、主記憶装置１００２と、補助記憶装置１００３と、インタフェース１００４と、ディスプレイ装置１００５と、入力デバイス１００６とを備える。
【0191】
上述の映像解析装置や映像処理装置は、例えば、コンピュータ１０００に実装されてもよい。その場合、各装置の動作は、プログラムの形式で補助記憶装置１００３に記憶されていてもよい。ＣＰＵ１００１は、プログラムを補助記憶装置１００３から読み出して主記憶装置１００２に展開し、そのプログラムに従って上記の実施形態における所定の処理を実施する。
【0192】
補助記憶装置１００３は、一時的でない有形の媒体の一例である。一時的でない有形の媒体の他の例として、インタフェース１００４を介して接続される磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、半導体メモリ等が挙げられる。また、このプログラムが通信回線によってコンピュータ１０００に配信される場合、配信を受けたコンピュータは１０００がそのプログラムを主記憶装置１００２に展開し、上記の実施形態における所定の処理を実行してもよい。
【0193】
また、プログラムは、各実施形態における所定の処理の一部を実現するためのものであってもよい。さらに、プログラムは、補助記憶装置１００３に既に記憶されている他のプログラムとの組み合わせで上記の実施形態における所定の処理を実現する差分プログラムであってもよい。
【0194】
インタフェース１００４は、他の装置との間で情報の送受信を行う。また、ディスプレイ装置１００５は、ユーザに情報を提示する。また、入力デバイス１００６は、ユーザからの情報の入力を受け付ける。
【0195】
また、実施形態における処理内容によっては、コンピュータ１０００の一部の要素は省略可能である。例えば、装置がユーザに情報を提示しないのであれば、ディスプレイ装置１００５は省略可能である。
【0196】
また、各装置の各構成要素の一部または全部は、汎用または専用の回路（Circuitry）、プロセッサ等やこれらの組み合わせによって実施される。これらは単一のチップによって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。また、各装置の各構成要素の一部又は全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
【0197】
各装置の各構成要素の一部又は全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は、集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
【0198】
【0199】
表示制御手段５０１（例えば、表示制御部１０５、２０５）は、表示中の軌跡上の地点を指定する第１要求を取得し、表示部が表示する任意の背景画像に、指定された地点に対象物が位置していたときの対象物を含む指定画像を重畳させて表示する。
【0200】
なお、表示制御手段５０１は、上記の処理に代えて、映像を解析した結果得られる解析結果における対象物の特徴、解析結果における対象物に関連する他の物体の特徴または所定時刻からの経過時間に応じて、軌跡の一部の表示態様を他の一部と異ならせるまたは軌跡の一部の近傍に解析結果もしくは経過時間を示す情報を付随させてもよい。
【0201】
このように、軌跡に特定の通知機能やＧＵＩ機能を具備させることにより、ユーザは、映像中の２以上の時点における対象物の状況を迅速に把握できる。
【0202】
なお、上記の実施形態は以下の付記のようにも記載できる。
【0203】
（付記１）映像中の対象物の位置の変化を示す軌跡を表示部に表示させる表示制御手段を備え、表示制御手段は、表示中の軌跡上の地点を指定する第１要求を取得し、表示部が表示する任意の背景画像に、指定された地点に対象物が位置していたときの対象物を含む指定画像を重畳させて表示することを特徴とする映像処理装置。
【0204】
（付記２）表示制御手段は、指定された地点が変わる度に、逐次、指定された地点に対象物が位置していたときの対象物を含む指定画像を重畳させる付記１記載の映像処理装置。
【0205】
（付記３）指定画像は、映像に含まれる画像のうち、指定された地点に対象物が位置していたときに生成された画像である対応画像から、対象物を切り出して得られる画像であり、表示制御手段は、指定画像を背景画像に重畳させる際に、対応画像から対象物と関連する他の物体を切り出して得られる第２の指定画像を併せて重畳させる付記１または付記項２記載の映像処理装置。
【0206】
（付記４）対象物と関連する他の物体が、映像中で対象物の軌跡と所定の関係を有する軌跡を描く物体である付記３記載の映像処理装置。
【0207】
（付記５）表示制御手段は、表示中の軌跡上の地点を指定する第２要求を取得し、背景画像を、映像に含まれる画像のうち、指定された地点に対象物が位置していたときに生成された画像である対応画像に切り替える付記１から付記４のうちのいずれかに記載の映像処理装置。
【0208】
（付記６）表示制御手段は、表示中の軌跡上の地点もしくは区間を指定する第３要求を取得し、映像に含まれる画像のうち、指定された地点もしくは区間に対象物が位置していたときに生成された画像に、指定された旨を示す情報を付す、または画像を取り出して外部に出力する付記１から付記５のうちのいずれかに記載の映像処理装置。
【0209】
（付記７）表示制御手段は、指定画像に、対象物の識別情報または指定された地点に対応する時点の時間に関する情報を付随させて重畳させる付記１から付記６のうちのいずれかに記載の映像処理装置。
【0210】
（付記８）表示制御手段は、映像を解析して得られる解析結果における対象物の特徴、解析結果における対象物に関連する他の物体の特徴、または所定時刻からの経過時間に応じて、軌跡の一部の表示態様を他の一部と異ならせる、または軌跡の一部の近傍に解析結果もしくは経過時間を示す情報を付随させる付記１から付記７のうちのいずれかに記載の映像処理装置。
【0211】
（付記９）映像を解析して、映像から追跡対象物の位置を連続的に取得する追跡手段と、追跡手段が取得した位置を示す位置情報を、位置が取得された映像中の画像の識別情報と対応づけて記憶する記憶手段と、記憶手段に記憶されている情報に基づいて、映像中の対象物の位置の変化を示す軌跡を表示部に表示させる表示制御手段とを備え、表示制御手段は、表示中の軌跡上の地点を指定する第１要求を取得し、表示部が表示する任意の背景画像に、指定された地点に対象物が位置していたときの対象物を含む指定画像を重畳させて表示することを特徴とする映像解析システム。
【0212】
（付記１０）映像中の対象物の位置の変化を示す軌跡を表示部に表示させ、表示中の軌跡上の地点を指定する第１要求を取得し、表示部が表示する任意の背景画像に、指定された地点に対象物が位置していたときの対象物を含む指定画像を重畳させて表示することを特徴とする映像処理方法。
【0213】
（付記１１）コンピュータに、映像中の対象物の位置の変化を示す軌跡を表示部に表示させる処理を実行させ、処理で、表示中の軌跡上の地点を指定する第１要求を取得させ、表示部が表示する任意の背景画像に、指定された地点に対象物が位置していたときの対象物を含む指定画像を重畳させて表示させるための映像処理プログラム。
【0214】
以上、本実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
【0215】
この出願は、２０１７年３月３１日に出願された日本特許出願２０１７－０７０６７７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
【産業上の利用可能性】
【0216】
本発明は、監視用途に限らず、解析情報が付された映像を確認する用途であれば好適に適用可能である。例えば、本発明は、店舗内や特定の商品付近の映像から客の状況を把握するマーケティング用途などにも好適に適用可能である。
【符号の説明】
【0217】
１００、２００ 映像解析システム
１ 映像入力装置
２ 映像解析装置
３ 記憶装置
４ 映像処理装置
５ 表示装置
１０１ 映像入力部
１０２ 映像保持部
１０３ 追跡部
１０４ 解析情報記憶部
１０５、２０５ 表示制御部
１０６ 表示部
１０００ コンピュータ
１００１ ＣＰＵ
１００２ 主記憶装置
１００３ 補助記憶装置
１００４ インタフェース
１００５ ディスプレイ装置
１００６ 入力デバイス
５０ 映像処理装置
５０１ 表示制御手段
１ 映像入力装置
２ 映像解析装置
３ 記憶装置
４ 映像処理装置
５ 表示装置
１０１ 映像入力部
１０２ 映像保持部
１０３ 追跡部
１０４ 解析情報記憶部
１０５、２０５ 表示制御部
１０６ 表示部
１０００ コンピュータ
１００１ ＣＰＵ
１００２ 主記憶装置
１００３ 補助記憶装置
１００４ インタフェース
１００５ ディスプレイ装置
１００６ 入力デバイス
５０ 映像処理装置
５０１ 表示制御手段
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【手続補正書】
【提出日】2024-07-30
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
情報処理装置によって実行されるプログラムであって、
前記プログラムは、
撮像装置から映像を取得する処理と、
前記映像において移動体が第１の位置に検知された場合、前記第１の位置に対応する位置に前記移動体の位置を示す第１のマーカを表示装置に表示させる処理と、
前記移動体が第１の位置から第２の位置へ移動した場合、前記第２の位置に対応する位置に前記移動体の位置を示す第２のマーカを前記表示装置に表示させる処理と、
前記第１のマーカおよび前記第２のマーカと共に前記映像から検出された検出内容に基づく情報を前記表示装置に表示させる処理と、
前記検出内容に基づく情報に対する操作を受け付けたことに応じて、前記検出内容に対応する時点の画像および前記画像における前記移動体の位置に対応する第３の位置に第３のマーカを表示させる処理とを含む
ことを特徴とするプログラム。
前記プログラムは、
撮像装置から映像を取得する処理と、
前記映像において移動体が第１の位置に検知された場合、前記第１の位置に対応する位置に前記移動体の位置を示す第１のマーカを表示装置に表示させる処理と、
前記移動体が第１の位置から第２の位置へ移動した場合、前記第２の位置に対応する位置に前記移動体の位置を示す第２のマーカを前記表示装置に表示させる処理と、
前記第１のマーカおよび前記第２のマーカと共に前記映像から検出された検出内容に基づく情報を前記表示装置に表示させる処理と、
前記検出内容に基づく情報に対する操作を受け付けたことに応じて、前記検出内容に対応する時点の画像および前記画像における前記移動体の位置に対応する第３の位置に第３のマーカを表示させる処理とを含む
ことを特徴とするプログラム。
【請求項2】
時間の経過に応じて前記表示装置に表示されているマーカの表示の態様を変更する処理を更に含む
請求項１に記載のプログラム。
請求項１に記載のプログラム。
【請求項3】
前記マーカの表示の態様を変更する処理は、前記マーカの色を変更する処理を含む
請求項２に記載のプログラム。
請求項２に記載のプログラム。
【請求項4】
背景画像を指定する入力をユーザから受け付ける処理と、
前記背景画像上に前記マーカを表示する処理とを更に含む
請求項１から請求項３のうちのいずれか１項に記載のプログラム。
前記背景画像上に前記マーカを表示する処理とを更に含む
請求項１から請求項３のうちのいずれか１項に記載のプログラム。
【請求項5】
前記検出内容は、移動体を検知したことを含む
請求項１から請求項４のうちのいずれか１項に記載のプログラム。
請求項１から請求項４のうちのいずれか１項に記載のプログラム。
【請求項6】
情報処理装置が、
撮像装置から映像を取得する処理と、
前記映像において移動体が第１の位置に検知された場合、前記第１の位置に対応する位置に前記移動体の位置を示す第１のマーカを表示装置に表示させる処理と、
前記移動体が第１の位置から第２の位置へ移動した場合、前記第２の位置に対応する位置に前記移動体の位置を示す第２のマーカを前記表示装置に表示させる処理と、
前記第１のマーカおよび前記第２のマーカと共に前記映像から検出された検出内容に基づく情報を前記表示装置に表示させる処理と、
前記検出内容に基づく情報に対する操作を受け付けたことに応じて、前記検出内容に対応する時点の画像および前記画像における前記移動体の位置に対応する第３の位置に第３のマーカを表示させる処理とを実行する
ことを特徴とする表示方法。
撮像装置から映像を取得する処理と、
前記映像において移動体が第１の位置に検知された場合、前記第１の位置に対応する位置に前記移動体の位置を示す第１のマーカを表示装置に表示させる処理と、
前記移動体が第１の位置から第２の位置へ移動した場合、前記第２の位置に対応する位置に前記移動体の位置を示す第２のマーカを前記表示装置に表示させる処理と、
前記第１のマーカおよび前記第２のマーカと共に前記映像から検出された検出内容に基づく情報を前記表示装置に表示させる処理と、
前記検出内容に基づく情報に対する操作を受け付けたことに応じて、前記検出内容に対応する時点の画像および前記画像における前記移動体の位置に対応する第３の位置に第３のマーカを表示させる処理とを実行する
ことを特徴とする表示方法。
【請求項7】
前記情報処理装置が、
時間の経過に応じて前記表示装置に表示されているマーカの表示の態様を変更する処理を実行する
請求項６に記載の表示方法。
時間の経過に応じて前記表示装置に表示されているマーカの表示の態様を変更する処理を実行する
請求項６に記載の表示方法。
【請求項8】
前記情報処理装置が、
前記マーカの表示の態様を変更する処理で、前記マーカの色を変更する
請求項７に記載の表示方法。
前記マーカの表示の態様を変更する処理で、前記マーカの色を変更する
請求項７に記載の表示方法。
【請求項9】
前記情報処理装置が、
背景画像を指定する入力をユーザから受け付ける処理と、
前記背景画像上に前記マーカを表示する処理とを実行する
請求項６から請求項８のうちのいずれか１項に記載の表示方法。
背景画像を指定する入力をユーザから受け付ける処理と、
前記背景画像上に前記マーカを表示する処理とを実行する
請求項６から請求項８のうちのいずれか１項に記載の表示方法。
【請求項10】
前記検出内容は、移動体を検知したことを含む
請求項６から請求項９のうちのいずれか１項に記載の表示方法。
請求項６から請求項９のうちのいずれか１項に記載の表示方法。
【請求項11】
撮像装置から映像を取得する第１手段と、
前記映像において移動体が第１の位置に検知された場合、前記第１の位置に対応する位置に前記移動体の位置を示す第１のマーカを表示装置に表示させる第２手段と、
前記移動体が第１の位置から第２の位置へ移動した場合、前記第２の位置に対応する位置に前記移動体の位置を示す第２のマーカを前記表示装置に表示させる第３手段と、
前記第１のマーカおよび前記第２のマーカと共に前記映像から検出された検出内容に基づく情報を前記表示装置に表示させる第４手段と、
前記検出内容に基づく情報に対する操作を受け付けたことに応じて、前記検出内容に対応する時点の画像および前記画像における前記移動体の位置に対応する第３の位置に第３のマーカを表示させる第５手段とを備える
ことを特徴とする表示システム。
前記映像において移動体が第１の位置に検知された場合、前記第１の位置に対応する位置に前記移動体の位置を示す第１のマーカを表示装置に表示させる第２手段と、
前記移動体が第１の位置から第２の位置へ移動した場合、前記第２の位置に対応する位置に前記移動体の位置を示す第２のマーカを前記表示装置に表示させる第３手段と、
前記第１のマーカおよび前記第２のマーカと共に前記映像から検出された検出内容に基づく情報を前記表示装置に表示させる第４手段と、
前記検出内容に基づく情報に対する操作を受け付けたことに応じて、前記検出内容に対応する時点の画像および前記画像における前記移動体の位置に対応する第３の位置に第３のマーカを表示させる第５手段とを備える
ことを特徴とする表示システム。
【請求項12】
時間の経過に応じて前記表示装置に表示されているマーカの表示の態様を変更する第６手段を備える
請求項１１に記載の表示システム。
請求項１１に記載の表示システム。
【請求項13】
前記マーカの表示の態様を変更する前記第６手段は、前記マーカの色を変更する
請求項１２に記載の表示システム。
請求項１２に記載の表示システム。
【請求項14】
背景画像を指定する入力をユーザから受け付ける第７手段と、
前記背景画像上に前記マーカを表示する第８手段とを備える
請求項１１から請求項１３のうちのいずれか１項に記載の表示システム。
前記背景画像上に前記マーカを表示する第８手段とを備える
請求項１１から請求項１３のうちのいずれか１項に記載の表示システム。
【請求項15】
前記検出内容は、移動体を検知したことを含む
請求項１１から請求項１４のうちのいずれか１項に記載の表示システム。
請求項１１から請求項１４のうちのいずれか１項に記載の表示システム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】００１４
【補正方法】変更
【補正の内容】
【0014】
本発明によるプログラムは、情報処理装置によって実行されるプログラムであって、撮像装置から映像を取得する処理と、映像において移動体が第１の位置に検知された場合、第１の位置に対応する位置に移動体の位置を示す第１のマーカを表示装置に表示させる処理と、移動体が第１の位置から第２の位置へ移動した場合、第２の位置に対応する位置に移動体の位置を示す第２のマーカを表示装置に表示させる処理と、第１のマーカおよび第２のマーカと共に映像から検出された検出内容に基づく情報を表示装置に表示させる処理と、検出内容に基づく情報に対する操作を受け付けたことに応じて、検出内容に対応する時点の画像および画像における移動体の位置に対応する第３の位置に第３のマーカを表示させる処理とを含むことを特徴とする。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】００１５
【補正方法】変更
【補正の内容】
【0015】
また、本発明による表示方法は、情報処理装置が、撮像装置から映像を取得する処理と、映像において移動体が第１の位置に検知された場合、第１の位置に対応する位置に移動体の位置を示す第１のマーカを表示装置に表示させる処理と、移動体が第１の位置から第２の位置へ移動した場合、第２の位置に対応する位置に移動体の位置を示す第２のマーカを表示装置に表示させる処理と、第１のマーカおよび第２のマーカと共に映像から検出された検出内容に基づく情報を表示装置に表示させる処理と、検出内容に基づく情報に対する操作を受け付けたことに応じて、検出内容に対応する時点の画像および画像における移動体の位置に対応する第３の位置に第３のマーカを表示させる処理とを実行することを特徴とする。
また、本発明による表示システムは、撮像装置から映像を取得する第１手段と、映像において移動体が第１の位置に検知された場合、第１の位置に対応する位置に移動体の位置を示す第１のマーカを表示装置に表示させる第２手段と、移動体が第１の位置から第２の位置へ移動した場合、第２の位置に対応する位置に移動体の位置を示す第２のマーカを表示装置に表示させる第３手段と、第１のマーカおよび第２のマーカと共に映像から検出された検出内容に基づく情報を表示装置に表示させる第４手段と、検出内容に基づく情報に対する操作を受け付けたことに応じて、検出内容に対応する時点の画像および画像における移動体の位置に対応する第３の位置に第３のマーカを表示させる第５手段とを備えることを特徴とする。
また、本発明による表示システムは、撮像装置から映像を取得する第１手段と、映像において移動体が第１の位置に検知された場合、第１の位置に対応する位置に移動体の位置を示す第１のマーカを表示装置に表示させる第２手段と、移動体が第１の位置から第２の位置へ移動した場合、第２の位置に対応する位置に移動体の位置を示す第２のマーカを表示装置に表示させる第３手段と、第１のマーカおよび第２のマーカと共に映像から検出された検出内容に基づく情報を表示装置に表示させる第４手段と、検出内容に基づく情報に対する操作を受け付けたことに応じて、検出内容に対応する時点の画像および画像における移動体の位置に対応する第３の位置に第３のマーカを表示させる第５手段とを備えることを特徴とする。