特許 7459916 物体追跡方法、物体追跡装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-25

(45)【発行日】2024-04-02

(54)【発明の名称】物体追跡方法、物体追跡装置、及びプログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20240326BHJP

【ＦＩ】

G06T7/20 300Z

【請求項の数】 9

(21)【出願番号】P 2022185479

(22)【出願日】2022-11-21

(62)【分割の表示】P 2021508534の分割

【原出願日】2019-03-27

(65)【公開番号】P2023010840

(43)【公開日】2023-01-20

【審査請求日】2022-11-21

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100110928

【弁理士】

【氏名又は名称】速水 進治

(72)【発明者】

【氏名】山崎 大輝

(72)【発明者】

【氏名】寺澤 哲

【審査官】笠田 和宏

(56)【参考文献】

【文献】特表２０１８－５０８１３５（ＪＰ，Ａ）

【文献】特開２０１７－２２０１５１（ＪＰ，Ａ）

【文献】特開２００７－１３４９４８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／２０

(57)【特許請求の範囲】

【請求項1】

少なくとも１つのコンピュータが、
第１物体を指定する要求を受け付け、
動画に映る前記第１物体を追跡し、
前記第１物体と、当該第１物体と所定の関係にある第２物体と、を関連付け、
前記第１物体と前記第２物体とを関連付けた後、前記第１物体が検出されている場合、前記第１物体を追跡し、前記第１物体が前記動画から検出されず、かつ、前記第２物体が検出されている場合、前記第２物体を追跡する、
ことを含む物体追跡方法。

【請求項2】

前記所定の関係は、前記第１物体が前記第２物体の中に入ったこと、又は前記第１物体が前記第２物体に乗ったことを含む、
請求項１に記載の物体追跡方法。

【請求項3】

前記所定の関係は、前記第１物体と前記第２物体とが重なった後、前記第１物体が前記第２物体と離れることなく前記動画から検出されなくなることを含む、
請求項１に記載の物体追跡方法。

【請求項4】

前記第２物体を追跡した後に前記第１物体を検出した場合、前記第１物体を追跡する、
請求項１から３のいずれか一項に記載の物体追跡方法。

【請求項5】

前記第１物体は人である、
請求項１から４のいずれか一項に記載の物体追跡方法。

【請求項6】

前記第１物体は荷物である、
請求項１から４のいずれか一項に記載の物体追跡方法。

【請求項7】

前記第２物体は乗り物である、
請求項１から６のいずれか一項に記載の物体追跡方法。

【請求項8】

第１物体を指定する要求を受け付ける受付手段と、
動画に映る前記第１物体を追跡する追跡手段と、
前記第１物体と、当該第１物体と所定の関係にある第２物体と、を関連付ける関連付け手段と、を備え、
前記追跡手段は、
前記第１物体と前記第２物体とを関連付けた後、前記第１物体が検出されている場合、前記第１物体を追跡し、前記第１物体が前記動画から検出されず、かつ、前記第２物体が検出されている場合、前記第２物体を追跡する、
物体追跡装置。

【請求項9】

少なくとも１つのコンピュータを、
第１物体を指定する要求を受け付ける受付手段、
動画に映る前記第１物体を追跡する追跡手段、
前記第１物体と、当該第１物体と所定の関係にある第２物体と、を関連付ける関連付け手段、として機能させ、
前記追跡手段は、
前記第１物体と前記第２物体とを関連付けた後、前記第１物体が検出されている場合、前記第１物体を追跡し、前記第１物体が前記動画から検出されず、かつ、前記第２物体が検出されている場合、前記第２物体を追跡する、
プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は動画を用いて物体を追跡する技術に関する。

【背景技術】

【0002】

カメラから得られる動画データを利用して、人や物の追跡を行うシステムが開発されている。例えば特許文献１は、複数のカメラが撮像した画像間で同一人物を対応づけることで、人物の監視を行うシステムを開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－１１４９１７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明者は、動画データを利用して或る物体を追跡している際に、他の物体の追跡が必要になりうることを見出した。特許文献１では、このような問題については言及していない。

【0005】

本発明は、上述の課題に鑑みてなされたものであり、その目的の一つは、動画データを用いた物体の追跡をより柔軟に行うことができる技術を提供することである。

【課題を解決するための手段】

【0006】

本発明の一態様によれば、
少なくとも１つのコンピュータが、
第１物体を指定する要求を受け付け、
動画に映る前記第１物体を追跡し、
前記第１物体と、当該第１物体と所定の関係にある第２物体と、を関連付け、
前記第１物体と前記第２物体とが検出されている場合、前記第１物体を追跡する、
ことを含む物体追跡方法が提供される。

【0007】

本発明の一態様によれば、
第１物体を指定する要求を受け付ける受付手段と、
動画に映る前記第１物体を追跡する追跡手段と、
前記第１物体と、当該第１物体と所定の関係にある第２物体と、を関連付ける関連付け手段と、を備え、
前記追跡手段は、
前記第１物体と前記第２物体とが検出されている場合、前記第１物体を追跡する、
物体追跡装置が提供される。

【0008】

本発明の一態様によれば、
少なくとも１つのコンピュータを、
第１物体を指定する要求を受け付ける受付手段、
動画に映る前記第１物体を追跡する追跡手段、
前記第１物体と、当該第１物体と所定の関係にある第２物体と、を関連付ける関連付け手段、として機能させ、
前記追跡手段は、
前記第１物体と前記第２物体とが検出されている場合、前記第１物体を追跡する、
プログラムが提供される。

【発明の効果】

【0009】

本発明によれば、動画データを用いた物体の追跡をより柔軟に行うことができる技術が提供される。

【図面の簡単な説明】

【0010】

上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。

【図1】本実施形態の物体追跡装置の動作の概要を例示する図である。

【図2】実施形態１の物体追跡装置の構成を例示する図である。

【図3】物体追跡装置を実現するための計算機を例示する図である。

【図4】物体追跡装置の利用シーンの一例を示す図である。

【図5】物体追跡装置の利用シーンの別の例を示す図である。

【図6】実施形態１の物体追跡装置によって実行される処理の流れを例示するフローチャートである。

【図7】追跡情報をテーブル形式で例示する図である。

【図8】第１物体の選択をユーザから受け付けるケースを例示する図である。

【図9】第１物体２０と第２物体３０について所定条件が満たされたことを検出する処理の流れを例示するフローチャートである。

【図10】実施形態２の物体追跡装置を例示する図である。

【図11】実施形態２の物体追跡装置によって実行される処理の流れを例示するフローチャートである。

【発明を実施するための形態】

【0011】

以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。また、特に説明する場合を除き、各ブロック図において、各ブロックは、ハードウエア単位の構成ではなく、機能単位の構成を表している。

【0012】

＜概要＞
図１は、本実施形態の物体追跡装置２０００の動作の概要を例示する図である。図１は、物体追跡装置２０００の動作についての理解を容易にするための概念的な説明を表す図であり、物体追跡装置２０００の動作を具体的に限定するものではない。

【0013】

物体追跡装置２０００は、１つ以上のカメラ１０それぞれから得られる動画データ１２を用いて、物体の追跡処理を行う装置である。例えばカメラ１０は、道路や駅などといった様々な場所に設定される監視カメラである。なお、ここでいう「物体の追跡処理」とは、動画データ１２から（動画データ１２を構成する時系列の動画フレーム１４から）その物体の位置を継続的に特定する処理を意味する。

【0014】

ここでいう「物体の位置の継続的な特定」は、一定の頻度で物体の位置を特定し続けるケースだけに限定されない。例えば、それぞれ撮像範囲が異なる複数のカメラ１０を利用して物体の追跡を広範囲で行う場合、物体が或るカメラの撮像範囲を出てから別のカメラの撮像範囲に入るまでに、時間がかかることが考えられる。このような場合でも、例えば物体追跡装置２０００は、カメラ１０間の位置関係などに基づき、物体が或るカメラ１０の撮像範囲から外に出たら、そのカメラ１０の周囲にある他のカメラ１０から得られる動画データ１２についてその物体の検出を試みることにより、その物体の位置を再度特定することができる。こうすることで、物体の位置を特定し続けることができる（すなわち、物体の追跡処理を実現できる）。

【0015】

物体追跡装置２０００は、動画データ１２から物体を検出し、検出した物体の追跡処理を行う。ここで、既に物体追跡装置２０００によって第１物体２０が追跡されているとする。図１の例において、第１物体２０は人である。なお、必ずしも動画データ１２から検出される全ての物体について追跡処理が行われる必要はない。

【0016】

物体追跡装置２０００は、動画データ１２を用いて、第１物体２０及び第２物体３０について所定条件が満たされたことを検出する。第２物体３０は、第１物体２０以外の物体である。上記所定条件は、第１物体２０が第２物体３０の中に入った場合、又は第１物体２０が第２物体３０の上に乗った場合に満たされる条件である。これらのケースでは、動画データ１２を用いて第１物体２０を直接追跡することが難しくなるものの、第２物体３０を追跡することで、間接的に第１物体２０を追跡できる。

【0017】

例えば、第１物体２０が人物Ａであり、第２物体３０が自動車Ｘであるとする。また、人物Ａが自動車Ｘの中に入って（自動車Ｘに乗車して）移動し始めたとする。この状況では、人物Ａが動画データ１２から検出されなくなるため、人物Ａを直接追跡することは難しい。しかしながら、人物Ａは自動車Ｘの中に入って移動しているため、自動車Ｘを追跡することにより、間接的に人物Ａを追跡できる。

【0018】

その他にも例えば、第１物体２０が人物Ａであり、第２物体３０がバイクＹであるとする。また、人物ＡがバイクＹの上に乗って移動し始めたとする。ここで、バイクのように人が中に入らずに上に乗る形態の乗り物の場合でも、人が乗り物に乗った結果、その人が画像から検出されなくなることがありうる。このような場合も、人物Ａを直接追跡することは難しくなる。しかしながら、前述した自動車Ｘの例と同様に、バイクＹを追跡することで、間接的に人物Ａを追跡できる。

【0019】

上記所定条件が満たされたと判定されたら、物体追跡装置２０００は、第１物体２０と関連付けて第２物体３０の追跡処理を行う。例えば、第１物体２０として追跡されている人物が自動車に乗って移動し始めた場合、その人物に関連づけてその自動車の追跡処理が行われる。そのため、この自動車の追跡により、実質的にその人物の追跡を継続して実現することができる。

【0020】

＜代表的な作用効果＞
追跡中の人物が車に乗って移動し始めた場合などのように、追跡していた物体が他の物体の中に入って移動し始めてしまうと、追跡していた物体を直接追跡し続けることが難しくなる。人がバイクなどの上に乗って移動し始めた結果、その人が動画データから検出されなくなるケースについても同様である。

【0021】

本実施形態の物体追跡装置２０００によれば、このように第１物体２０を直接追跡し続けることが難しくなった場合、第１物体２０と関連付けて第２物体３０の追跡が行われる。こうすることで、より柔軟な物体追跡が実現される。具体的には、第１物体２０を動画データ１２から直接検出することが難しい状況になっても、第１物体２０の追跡を実質的に継続することが可能となる。

【0022】

以下、本実施形態の物体追跡装置２０００についてさらに詳細に説明する。

【0023】

＜物体追跡装置２０００の機能構成の例＞
図２は、実施形態１の物体追跡装置２０００の構成を例示する図である。物体追跡装置２０００は、追跡処理部２０２０及び検出部２０４０を有する。追跡処理部２０２０は、動画データ１２から検出される物体の追跡処理を行う。検出部２０４０は、動画データ１２を用いて、第１物体２０と第２物体３０について所定条件が満たされたことを検出する。所定条件は、第１物体２０が第２物体３０の中に入った場合、又は第１物体２０が第２物体３０の上に乗った場合に満たされる。所定条件が満たされたことが検出されたら、追跡処理部２０２０は、第１物体２０と関連付けて第２物体３０の追跡処理を行う。

【0024】

＜物体追跡装置２０００のハードウエア構成＞
物体追跡装置２０００の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、物体追跡装置２０００の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

【0025】

図３は、物体追跡装置２０００を実現するための計算機１０００を例示する図である。計算機１０００は任意の計算機である。例えば計算機１０００は、Personal Computer（PC）、サーバマシン、タブレット端末、又はスマートフォンなどである。計算機１０００は、物体追跡装置２０００を実現するために設計された専用の計算機であってもよいし、汎用の計算機であってもよい。

【0026】

計算機１０００は、バス１０２０、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０を有する。バス１０２０は、プロセッサ１０４０、メモリ１０６０、ストレージデバイス１０８０、入出力インタフェース１１００、及びネットワークインタフェース１１２０が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ１０４０などを互いに接続する方法は、バス接続に限定されない。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field-Programmable Gate Array）などのプロセッサである。メモリ１０６０は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス１０８０は、ハードディスクドライブ、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。ただし、ストレージデバイス１０８０は、RAM など、主記憶装置を構成するハードウエアと同様のハードウエアで構成されてもよい。

【0027】

入出力インタフェース１１００は、計算機１０００と入出力デバイスとを接続するためのインタフェースである。ネットワークインタフェース１１２０は、計算機１０００を通信網に接続するためのインタフェースである。この通信網は、例えば LAN（Local Area Network）や WAN（Wide Area Network）である。ネットワークインタフェース１１２０が通信網に接続する方法は、無線接続であってもよいし、有線接続であってもよい。

【0028】

ストレージデバイス１０８０は、物体追跡装置２０００の機能構成部を実現するプログラムモジュールを記憶している。プロセッサ１０４０は、これら各プログラムモジュールをメモリ１０６０に読み出して実行することで、各プログラムモジュールに対応する機能を実現する。

【0029】

＜利用例＞
物体追跡装置２０００は、様々なシーンで利用することができる。ここでは、物体追跡装置２０００の利用シーンの具体例を説明する。

【0030】

図４は、物体追跡装置２０００の利用シーンの一例を示す図である。図４において、物体追跡装置２０００は、或る人物が乗り物を利用しながら移動する場合において、その人物を追跡し続けるために利用される。以下では、人が乗り物の中に乗って移動するケースについて例示する。しかしながら、人が乗り物の上に乗って移動するケースについても、後述する例と同様に扱うことができる。

【0031】

まず物体追跡装置２０００が、第１物体２０として、歩いて移動している人物４０の追跡処理を行っているとする。その後、人物４０は自動車５０に乗り込んでいる。この際、物体追跡装置２０００は、所定条件が満たされたことの検出として、人物４０が自動車５０の中に入ったこと（人物４０が自動車５０に乗ったこと）の検出を行う。そして、物体追跡装置２０００は、自動車５０に人物４０を関連づけた上で、自動車５０の追跡処理を行う。

【0032】

その後、人物４０は、自動車５０から降りている。この際、物体追跡装置２０００は、人物４０が自動車５０から離れたことを検出したら、人物４０の追跡を再開する。ここで、第１物体２０が第２物体３０の中に入るケースの場合、「第１物体２０が第２物体３０から離れたことの検出」は、「第１物体２０が第２物体３０の外に出たことの検出」とも表現できる。また、人が乗り物の中に入って移動するケースでは、さらに具体的に、「人物４０が自動車５０から降りたことの検出」とも表現できる。

【0033】

このように、物体追跡装置２０００によれば、追跡対象の人物が乗り物を利用するために動画データ１２から一時的に検出されなくなるようなケースについても、その人物の追跡処理を継続することができる。

【0034】

なお、同様の処理を繰り返し行うことで、人物４０が乗り物を変えながら移動したとしても、人物４０の追跡を継続することができる。例えば図４において、自動車５０から降りた人物４０が、歩いて移動した後に電車に乗ったとする。この場合、物体追跡装置２０００は、人物４０が電車の中に入ったこと（人物４０が電車に乗ったこと）を検出する（所定条件が満たされたことの検出）。そして物体追跡装置２０００は、電車に人物４０を関連づけた上で、電車の追跡処理を行う。その後、物体追跡装置２０００は、電車から人物４０が降りたことを検出し、人物４０の追跡処理を再開する。

【0035】

なお、電車やバスのように運行スケジュールが予め分かっている乗り物を追跡するケースでは、運行スケジュールなどの情報をさらに利用して追跡処理を行ってもよい。例えば、人物４０が或る電車に乗ったとする。この際、人物４０がその電車に乗った駅、人物４０がその電車に乗った時刻、及び人物４０がその電車に乗ったプラットフォームの番号などに基づき、その電車がその後に停車する各駅を特定することができる。そこで物体追跡装置２０００は、その電車がその後に停車する各駅に設置されたカメラ１０から得られる動画データ１２に対して人物４０の検出を試みることにより、人物４０の降車を検出することができる。なお、電車やバスなどの運行スケジュールを取得する技術には、既存の技術を利用することができる。

【0036】

なお、電車の停車時刻は駅ごとに決まっている。そこで物体追跡装置２０００は、運行スケジュールに基づいて、駅ごとに、その駅に人物４０が乗った電車が停車する時刻を特定し、その停車時刻又はその停車時刻より所定時間前の時刻から、その電車がその駅を発車するまでの間、その駅に設置されたカメラ１０から得られる動画データ１２に対して人物４０の検出を試みるようにしてもよい。こうすることで、人物４０の検出処理の対象とする動画データ１２の長さを短くすることができるため、物体追跡装置２０００の計算コストを削減することができる。

【0037】

第１物体２０として扱われる物体は、人に限定されない。例えば物体追跡装置２０００は、カバンなどの特定の荷物を追跡し続けるためにも利用可能である。図５は、物体追跡装置２０００の利用シーンの別の例を示す図である。図５において、物体追跡装置２０００は、或る荷物が自動車や電車などの乗り物を利用しながら運ばれる場合に、その荷物を追跡し続けるために利用される。

【0038】

まず物体追跡装置２０００が、第１物体２０として、荷物７０を追跡しているとする。最初は、歩いて移動している人物４０によって荷物７０が運ばれているため、動画データ１２を利用して荷物７０を直接追跡することができる。

【0039】

その後荷物７０は、自動車５０のトランクに収納される。すなわち、荷物７０は自動車５０に載せられる。この際、物体追跡装置２０００は、所定条件が満たされたことの検出として、荷物７０が自動車５０の中に入ったこと（荷物７０が自動車５０に載せられたこと）を検出する。そのため、物体追跡装置２０００は、自動車５０に荷物７０を関連づけた上で、自動車５０の追跡を行う。

【0040】

その後、自動車５０は、荷物７０から降ろされる。この際、物体追跡装置２０００は、荷物７０が自動車５０から離れたこと（自動車５０が荷物７０から降ろされたこと）を検出する。そして物体追跡装置２０００は、荷物７０の追跡処理を再開する。

【0041】

ここでは、自動車５０から降ろされた荷物７０は、人物８０によって運ばれている。人物８０によって運ばれている間、荷物７０は動画データ１２に含まれる。そのため、物体追跡装置２０００は、荷物７０を直接追跡することができる。

【0042】

このように、物体追跡装置２０００によれば、荷物が電車などの乗り物を利用して運ばれるために、その荷物が動画データ１２上から一時的に検出されなくなるようなケースについても、その荷物の追跡処理を継続することができる。

【0043】

なお、同様の処理を繰り返し行うことで、荷物７０が複数の乗り物で運ばれたとしても、荷物７０の追跡を継続することができる。例えば図５において、人物８０が、歩いて移動した後に電車に乗ったとする。この場合、物体追跡装置２０００は、荷物７０が電車の中に入ったこと（荷物７０が電車に載せられたこと）を検出する。そして物体追跡装置２０００は、電車に荷物７０を関連づけた上で、電車の追跡処理を行う。その後、物体追跡装置２０００は、電車から荷物７０が降ろされたことを検出し、荷物７０の追跡処理を再開する。

【0044】

なお、荷物７０が乗り物の中では無く、乗り物の上（荷台など）に載せて運ばれるケースについても、同様に扱うことができる（第１物体２０が第２物体３０の上に乗るケース）。

【0045】

ここで、荷物７０を乗り物に載せて運ぶケース以外に、例えば、荷物７０を布で覆うなどの方法で隠して運ぶケースが考えられる。この場合、荷物７０を覆った布等が、荷物７０と関連づけて追跡される。ただしこのケースでは、布で覆われた荷物７０が、人や乗り物で運ばれるため、荷物７０に関連づけて、それを運ぶ人や乗り物をさらに追跡してもよい。

【0046】

第２物体３０は、移動する物体に限定されない。例えば、建物を第２物体３０として扱うことが考えられる。具体的には、第１物体２０として追跡している人や物が建物の中に入った場合に、第１物体２０と関連付けて、その建物の追跡が行われる。そして、その建物から第１物体２０（人や物）が出てきたら、再度その人や物の追跡が行われる。なお、第１物体２０と関連付けた建物の追跡においては、その建物から第１物体２０が外に出たか否かの監視（すなわち、建物から第１物体２０が離れたか否かの判定）が行われていればよく、建物の位置の特定は省略されてもよい。

【0047】

＜処理の流れ＞
図６は、実施形態１の物体追跡装置２０００によって実行される処理の流れを例示するフローチャートである。Ｓ１０２からＳ１０８は、第１物体２０の追跡処理が繰り返し行われるループ処理Ａである。最初に実行されるＳ１０２において、時刻ｉが初期化される。例えば初期化の際、時刻ｉは現在時刻に設定される。また、２回目以降に実行されるＳ１０２では、時刻ｉが１単位（例えば１フレーム）増加される。

【0048】

追跡処理部２０２０は、時刻ｉの各動画フレーム１４を用いて、第１物体２０の追跡処理を行う（Ｓ１０４）。検出部２０４０は、第１物体２０と第２物体３０についての所定条件が満たされたか否かを判定する（Ｓ１０６）。なお、所定条件が満たされたか否かの判定は、時刻ｉ及びそれ以前の動画フレーム１４を用いて行われる。

【0049】

所定条件が満たされていないと判定された場合（Ｓ１０６：ＮＯ）、図６の処理はＳ１０８に進む。Ｓ１０８はループ処理Ａの終端であるため、図６の処理はＳ１０４に戻る。

【0050】

所定条件が満たされたと判定された場合（Ｓ１０６：ＹＥＳ）、図６の処理はＳ１１０に進む。Ｓ１１０からＳ１１６は、第１物体２０に関連づけて第２物体３０の追跡処理が繰り返し行われるループ処理Ｂである。Ｓ１１０では、時刻ｉが１単位（例えば１フレーム）増加される。

【0051】

追跡処理部２０２０は、時刻ｉの各動画フレーム１４を用いて、第１物体２０に関連づけた第２物体３０の追跡処理を行う（Ｓ１１２）。検出部２０４０は、第１物体２０が第２物体３０から離れたか否かを判定する（Ｓ１１４）。なお、第１物体２０が第２物体３０から離れたか否かの判定は、時刻ｉ及びそれ以前の動画フレーム１４を用いて行われる。

【0052】

第１物体２０が第２物体３０から離れていないと判定された場合（Ｓ１１４：ＮＯ）、図６の処理はＳ１１６に進む。Ｓ１１６はループ処理Ｂの終端であるため、図６の処理はＳ１１０に戻る。

【0053】

第１物体２０が第２物体３０から離れたと判定された場合（Ｓ１１４：ＹＥＳ）、図６の処理はＳ１０２に進む。そのため、再度ループ処理Ａで第１物体２０の追跡処理が行われる。

【0054】

なお、図６に示されている一連の処理を終了する契機は様々である。例えば物体追跡装置２０００は、所定のユーザ入力を受け付けたことに応じて、処理を終了する。その他にも例えば、物体追跡装置２０００は、カメラ１０から動画データ１２を取得できなくなったら、処理を終了する。例えば、カメラ１０の管理者がカメラ１０の動作を停止させた場合、カメラ１０から動画データ１２が得られなくなるため、その結果として、物体追跡装置２０００は処理を終了する。

【0055】

ここで、処理を終了する際、物体追跡装置２０００は、図６に示されているようにいずれかのループ処理を抜けて処理を終了してもよいし、ループ処理の途中で処理を中断する形で処理を終了してもよい。

【0056】

また、図６に示されている一連の処理が開始する契機も様々である。例えば物体追跡装置２０００は、所定のユーザ入力を受け付けたことに応じて、処理を開始する。その他にも例えば、物体追跡装置２０００は、カメラ１０から動画データ１２を取得したことに応じて、処理を開始する。

【0057】

＜動画データ１２の取得方法＞
物体追跡装置２０００は、１つ以上のカメラ１０それぞれから動画データ１２を取得する。ここで、カメラによって生成された動画データを取得する技術には、既存の技術を利用することができる。例えば物体追跡装置２０００は、各カメラ１０とネットワークを介して接続されている。そして、各カメラ１０は、新たな動画フレーム１４を生成する度に、その動画フレーム１４を物体追跡装置２０００へ送信する。物体追跡装置２０００は、送信された動画フレーム１４を受信する。

【0058】

その他にも例えば、各カメラ１０は、物体追跡装置２０００からアクセス可能な記憶装置に、生成した動画フレーム１４を格納していってもよい。この場合、例えば物体追跡装置２０００は、定期的にこの記憶装置にアクセスし、未取得の動画フレーム１４を取得するようにする。

【0059】

ここで、物体追跡装置２０００による物体の追跡は、必ずしもリアルタイムで行われる必要はない。追跡がリアルタイムで行われない場合、物体追跡装置２０００は、記憶装置に格納されている動画フレーム１４の集合（すなわち、動画データ１２）を取得し、取得した動画フレーム１４を用いて物体の追跡を行う。

【0060】

この際、物体追跡装置２０００は、全ての動画データ１２を対象として物体の追跡を行ってもよいし、一部の動画データ１２を対象として物体の追跡を行ってもよい。後者の場合、例えば物体追跡装置２０００は、ユーザによる入力操作に基づいて、物体の追跡に利用する動画データ１２を決定する。例えば物体追跡装置２０００は、ユーザから、期間や地域を指定する入力を行う。期間が指定された場合、物体追跡装置２０００は、指定された期間に生成された動画データ１２を取得し、その動画データ１２を用いて物体の追跡処理を行う。また、地域が指定された場合、物体追跡装置２０００は、指定された地域に設置されている各カメラ１０によって生成された動画データ１２を取得し、その動画データ１２を用いて物体の追跡処理を行う。なお、指定された地域に設置されているカメラ１０は、例えば、各カメラ１０について設置場所を示す情報を用意しておき、この情報を利用することで特定することができる。

【0061】

＜物体の検出について＞
物体の追跡処理を行うため、追跡処理部２０２０は、動画データ１２を構成する各動画フレーム１４から物体を検出する処理を行う。例えば追跡処理部２０２０は、動画データ１２から、背景領域に含まれない画像領域（いわゆる前景領域）を検出し、検出した前景領域を物体として検出する。そして、追跡処理部２０２０は、検出した物体について、「動画データ１２の識別子、物体の位置、物体の特徴量」という対応付けを示す情報を生成する。以下、検出した物体に関する情報を、検出情報と呼ぶ。検出情報は、動画データ１２の識別子と共に又はそれに代えて、物体の検出時刻（動画データ１２の生成時刻）を含んでもよい。なお、動画フレーム（すなわち画像）から物体を検出する具体的な技術については、既存の技術を利用することができる。

【0062】

ここで、検出情報が示す物体の位置は、各カメラ１０の座標空間における座標（相対座標）で表されてもよいし、全てのカメラ１０で共通の座標空間における座標（絶対座標）で表されてもよい。前者の場合において、カメラ１０の撮像範囲が固定であれば、動画フレーム１４上の物体の座標により、その物体の位置を表すことができる。一方、カメラ１０の撮像範囲が固定でない場合（例えば、カメラ１０が PTZ カメラである場合）、動画フレーム１４上の物体の座標及びその動画フレーム１４を生成した時のカメラ１０のパラメータ値（パン角、チルト角、及びズーム率など）の組み合わせで、物体の位置を表すことができる。

【0063】

全てのカメラ１０で共通の座標空間としては、例えば、GPS（Global Positioning System）座標などといった世界座標の座標空間を利用することができる。この場合、物体追跡装置２０００は、前述したカメラ１０の座標空間における物体の座標を、世界座標に変換する。なお、カメラの座標空間上の座標を世界座標に変換する技術には、既存の技術を利用することができる。

【0064】

＜物体の追跡について：Ｓ１０４、Ｓ１１２＞
追跡処理部２０２０は、追跡対象となっている物体について、追跡処理を行う（Ｓ１０４、Ｓ１１２）。追跡処理とは、動画データ１２からその物体の位置を継続的に特定する処理を意味する。より具体的には、物体の追跡処理は、複数の動画フレーム１４それぞれから同一の物体を検出することで、複数の動画フレーム１４にまたがって同一の物体の位置を特定すること（物体の位置の時系列変化を特定すること）によって実現される。なお、追跡処理部２０２０は、１つの動画データ１２だけでなく、複数のカメラ１０それぞれから得られる動画データ１２にまたがって追跡対象の物体を追跡する。ここで、複数の動画フレーム１４にまたがって同一の物体を検出する具体的な方法、及びその検出を複数の動画データ１２にまたがって実現する具体的な方法については、既存の技術を利用することができる。

【0065】

以下、追跡処理によって得られる物体についての情報を、追跡情報と呼ぶ。図７は、追跡情報をテーブル形式で例示する図である。図７のテーブルをテーブル２００と呼ぶ。テーブル２００は、物体識別子２０２、検出時刻２０４、カメラ識別子２０６、位置２０８、第１物体フラグ２１０、及び関連物体識別子２１２を示す。位置２０８は、カメラ識別子２０６で特定されるカメラ１０によって、検出時刻２０４に生成された動画フレーム１４における、物体識別子２０２が割り当てられた物体の位置を示す。

【0066】

第１物体フラグ２１０は、その物体が第１物体２０として扱われていることを示すフラグである。関連物体識別子２１２は、その物体と関連付けられている物体の識別子を示す。例えば、第１物体２０に関連付けて第２物体３０の追跡を行う場合、第２物体３０の追跡情報において、関連物体識別子２１２に第１物体２０の識別子を設定する。

【0067】

なお、物体追跡装置２０００によって追跡処理が行われる物体は、第１物体２０として扱われる物体に限定されない。例えば物体追跡装置２０００は、動画データ１２から検出された全ての物体について追跡処理を行ってもよい。

【0068】

＜第１物体２０として扱われる物体を決定する方法＞
本実施形態の物体追跡装置２０００では、動画データ１２から検出された物体のうちの少なくとも１つが、第１物体２０として扱われる。以下、第１物体２０として扱われる物体を決定する方法について説明する。

【0069】

例えば予め、第１物体２０として扱うべき物体に関する情報を定めておき、物体追跡装置２０００からアクセス可能な記憶装置に記憶させておく。以下、この情報を対象指定情報と呼ぶ。

【0070】

対象指定情報は、例えば、第１物体２０として扱うべき物体の画像特徴（画像上の特徴量）を示す。例えば、特定の人物（事件の容疑者やブラックリストに載っている要注意人物など）の顔などの画像特徴を対象指定情報で示しておけば、その人物を第１物体２０として追跡することができる。また、特定の人物ではなく、追跡したい人物や物が持つと思われる特徴を表す画像特徴を対象指定情報に示しておいてもよい。例えば、怪しい人物を第１物体２０として追跡したい場合に、入れ墨などといった身体的特徴の画像特徴、サングラスや目出し帽などといった装着物の画像特徴、アタッシュケースなどといった所持品の画像特徴を利用することが考えられる。

【0071】

物体追跡装置２０００は、動画データ１２から検出される物体について、対象指定情報に示されている画像特徴と類似する画像特徴を持つかどうかを判定する。そして、対象指定情報に示されている画像特徴と類似する画像特徴を持つ物体が検出されたら、検出部２０４０は、その物体を第１物体２０として扱う。なお、第１物体２０として扱う物体については、前述した追跡情報の第１物体フラグに、第１物体２０として扱うことを示す値（例えば１）を設定する。

【0072】

その他にも例えば、対象指定情報は、第１物体２０として扱うべき物体の種類及び特徴を示してもよい。例えば、第１物体２０として扱うべき物体の種類として「人」を定めておく。また、第１物体２０として扱うべき物体の特徴として、身体的特徴、装着物、所持品、行動の特徴（うろつきや滞留など）などを定めておく。物体追跡装置２０００は、動画データ１２から検出された物体について、対象指定情報に示されている種類の物体に該当し、なおかつ対象指定情報に示されている特徴を持つかどうかを判定する。そして、物体追跡装置２０００は、動画データ１２から検出された物体の種類が対象指定情報に示されている種類に該当し、なおかつその物体が対象指定情報に示されている特徴を持つと判定したら、その物体を第１物体２０として扱う。

【0073】

なお、画像から検出された物体が所定の種類に該当するか否か、その物体が所定の物を身につけているかどうか、その物体が所定の物を所持しているかどうか、及びその物体が所定の行動をしているかどうかなどを判定する技術には、既存の技術を利用することができる。

【0074】

その他にも例えば、第１物体２０として扱う物体は、ユーザ入力によって指定されてもよい。例えば、物体追跡装置２０００は、動画データ１２をディスプレイ装置に表示し、ディスプレイ装置に表示された物体の中から第１物体２０として扱う物体を選択する入力を、ユーザから受け付ける。

【0075】

図８は、第１物体２０の選択をユーザから受け付けるケースを例示する図である。図８では、タッチパネルディスプレイ９０に動画データ１２が表示されている。また、動画データ１２から検出された各物体について、外接矩形９２が表示されている。ユーザは、第１物体２０として追跡したい物体の外接矩形９２をタッチして選択する。この選択操作を検出した物体追跡装置２０００は、選択された外接矩形９２に対応する物体を第１物体２０として扱われる。

【0076】

＜所定条件が満たされたことの検出：Ｓ１０６＞
検出部２０４０は、第１物体２０と第２物体３０について所定条件が満たされたことを検出する（Ｓ１０６）。前述したように、この所定条件は、第１物体２０が第２物体３０の中に入った場合、又は第１物体２０が第２物体３０の上に乗った場合に満たされる条件である。このような所定条件が満たされたことの検出は、例えば、１）第１物体２０と第２物体３０が互いに重なり、なおかつ２）第１物体２０と第２物体３０が離れることなく第１物体２０が動画データ１２から検出されなくなったことの検出を行うことで、実現することができる。そこで例えば、検出部２０４０は、以下のように処理により、所定条件が満たされたことを検出する。

【0077】

図９は、第１物体２０と第２物体３０について所定条件が満たされたことを検出する処理の流れを例示するフローチャートである。すなわち、図９のフローチャートが示す一連の処理は、図６のＳ１０６を詳細化したものの一例である。なお、status という変数は、第１物体２０が第２物体３０と重なっていると判定された場合に１を示し、そうでない場合に０を示す。そのため、status の初期値は０とする。

【0078】

検出部２０４０は、status の値が１であるか否かを判定する（Ｓ２０２）。status の値が０である場合（Ｓ２０２：ＮＯ）、検出部２０４０は、第１物体２０が第２物体３０と重なっているか否かを判定する（Ｓ２０４）。第１物体２０が第２物体３０と重なっている場合（Ｓ２０４：ＹＥＳ）、検出部２０４０は、status の値に１を設定した後（Ｓ２０６）、所定条件が満たされていないと判定する（Ｓ２０８）。一方、第１物体２０が第２物体３０と重なっていない場合（Ｓ２０４：ＮＯ）、検出部２０４０は、status の値を変更せずに、所定条件が満たされていないと判定する（Ｓ２０８）。

【0079】

Ｓ２０２において、status の値が１である場合（Ｓ２０２：ＹＥＳ）、検出部２０４０は、第１物体２０が第２物体３０から離れたか否かを判定する（Ｓ２１０）。第１物体２０が第２物体３０から離れた場合（Ｓ２１０：ＹＥＳ）、検出部２０４０は、status の値を０に戻す（Ｓ２１２）。そして、検出部２０４０は、所定条件が満たされていないと判定する（Ｓ２０８）。

【0080】

Ｓ２１０において、第１物体２０が第２物体３０から離れていないと判定された場合（Ｓ２１０：ＮＯ）、検出部２０４０は、第１物体２０が検出されなくなったか否かを判定する（Ｓ２１４）。第１物体２０が検出されなくなったと判定された場合（Ｓ２１４：ＹＥＳ）、検出部２０４０は、所定条件が満たされたと判定する（Ｓ２１６）。第１物体２０が検出されなくなったと判定されなかった場合（Ｓ２１４：ＮＯ）、検出部２０４０は、所定条件が満たされていないと判定する（Ｓ２０８）。

【0081】

＜＜第１物体２０が第２物体３０と重なっているか否かの判定：Ｓ２０４＞＞
検出部２０４０は、第１物体２０が第２物体３０と重なっているか否かを判定する（Ｓ２０４）。例えば検出部２０４０は、第１物体２０を表す画像領域と第２物体３０を表す画像領域の少なくとも一部が重なり合っている場合に、第１物体２０が第２物体３０と重なっていると判定する。

【0082】

その他にも例えば、検出部２０４０は、第１物体２０と第２物体３０とが接触した後、動画データ１２においていずれか一方の一部が変化した場合に、第１物体２０が第２物体３０と重なったと判定してもよい。例えば、第１物体２０と第２物体３０が重なった際に、カメラ１０から見て第１物体２０が第２物体３０の手前に位置するとする。この場合、まず、第１物体２０と第２物体３０とが重なる前に、第１物体２０と第２物体３０とが接触する。その後、第２物体３０の一部が第１物体２０に隠されるため、動画データ１２上で第２物体３０の一部が変化することになる。このように、第１物体２０と第２物体３０の接触、及び第２物体３０の一部の変化を検出することにより、検出部２０４０は、第２物体３０の手前に第１物体２０が重なっていることを検出することができる。

【0083】

＜＜第１物体２０が第２物体３０から離れたか否かの判定：Ｓ２１０＞＞
検出部２０４０は、第１物体２０が第２物体３０から離れたか否かを判定する（Ｓ２１０）。例えば検出部２０４０は、第１物体２０と第２物体３０との間に重なりがあると判定された後に生成される各動画フレーム１４を用いて、第１物体２０を表す画像領域と第２物体３０を表す画像領域との間に重なりがあるか否かを判定する。そして、これらの画像領域に重なりがないと判定されたら、検出部２０４０は、第１物体２０と第２物体３０が離れたと判定する。一方、これらの画像領域に重なりがあると判定されたら、検出部２０４０は、第１物体２０と第２物体３０が離れていないと判定する。

【0084】

＜＜第１物体２０が検出されなくなったか否かの判定：Ｓ２１４＞＞
検出部２０４０は、第１物体２０が動画データ１２から検出されなくなったか否かを判定する。例えば検出部２０４０は、第１物体２０が第２物体３０と重なっていると判定された後に生成された動画フレーム１４の中から第１物体２０が検出されなかったら、第１物体２０が動画データ１２から検出されなくなったと判定する。

【0085】

ただし、ノイズ等が原因で、第１物体２０が一時的に動画フレーム１４から検出されないことも考えられる。そこで例えば、検出部２０４０は、時系列で連続する所定数以上の各動画フレーム１４のどれからも第１物体２０が検出されなかった場合に、第１物体２０が動画データ１２から検出されなくなったと判定してもよい。

【0086】

なお、第１物体２０と第２物体３０が重なっている際、第１物体２０が第２物体３０の奥に位置する場合、第１物体２０が動画データ１２から検出されなくても、第２物体３０に隠れて見えなくなったことが原因である可能性がある。一方、第１物体２０が第２物体３０の手前に位置する場合、第１物体２０が動画データ１２から検出されなくなったら、第１物体２０が第２物体３０の中に入ったか、又は第１物体２０が第２物体３０の上に乗ったと考えられる。

【0087】

そこで検出部２０４０は、第１物体２０が第２物体３０と重なっていると判定された後（status=1 の際）、第１物体２０が第２物体３０の手前と奥のどちらに位置するかによって、互いに異なる処理を行ってもよい。第１物体２０が第２物体３０の手前に位置する場合、検出部２０４０は、第１物体２０が動画データ１２から検出されなくなったら、所定条件が満たされたと判定する。

【0088】

一方、第１物体２０が第２物体３０の奥に位置する場合、検出部２０４０は、第２物体３０が移動した後に、第１物体２０が動画データ１２から検出されるか否かを判定する。第２物体３０が移動した後に第１物体２０が動画データ１２から検出されたら、検出部２０４０は、所定条件が満たされていないと判定する。一方、第２物体３０が移動した後に第１物体２０が動画データ１２から検出されない場合、検出部２０４０は、所定条件が満たされたと判定する。

【0089】

なお、第１物体２０が第２物体３０の奥に隠れているだけであった場合において、第２物体３０が移動してから第１物体２０が検出されるまでにタイムラグが生じうる。そこで例えば、物体追跡装置２０００は、第２物体３０が移動した後に第１物体２０が動画データ１２から検出されないと判定して第２物体３０を追跡対象とした後、所定の時間、動画データ１２から第１物体２０の検出を試みてもよい。そして、この所定の時間の中で、動画データ１２から第１物体２０が検出されたら、物体追跡装置２０００は、第１物体２０と関連付けた第２物体３０の追跡をキャンセルし、第１物体２０の検出を再開する。上記所定の時間は、検出部２０４０からアクセス可能な記憶装置に予め記憶させておく。

【0090】

＜＜第２物体３０として扱う物体の限定＞＞
なお、動画データ１２から検出される物体の中には、第１物体２０との間で所定条件を満たすことが考えられないものもある。すなわち、第１物体２０がその中に入って移動したり、第１物体２０がその上に乗って移動したりすることが考えられない物体が存在する例えば、銅像などの置物は、人がその中に入ったりその上に乗ったりして移動する物体には該当しない。そこで、動画データ１２から検出された第１物体２０以外の物体の全てを第２物体３０として扱うのではなく、一定の条件を満たす物体のみを、第２物体３０として扱うようにしてもよい。例えば第１物体２０として人を扱う場合、第２物体３０を乗り物に限定することが考えられる。

【0091】

第２物体３０として扱う物体を限定する場合、例えば、第２物体３０として扱う物体を指定する情報を予め定めておく。例えばこの情報は、第１物体２０として扱う物体を定める対象指定情報と同様の情報とすることができる。そして、検出部２０４０は、動画データ１２から検出された第１物体２０以外の物体のうち、予め定めた情報によって指定される物体のみを、第２物体３０として扱うようにする。

【0092】

＜第１物体２０の追跡の再開＞
第１物体２０と関連づけた第２物体３０の追跡処理を開始した後、再度第１物体２０を直接追跡できるようになることがある。例えば、図４の例において自動車５０や電車６０から人物４０が降りて移動し始めた場合や、図５の例において、自動車５０や電車６０から荷物７０が降ろされて人の手によって運ばれ始めた場合などである。

【0093】

そこで物体追跡装置２０００は、このように第１物体２０と関連づけた第２物体３０の追跡処理を実行している状態（ループ処理Ｂを実行する状態）から、再度第１物体２０を直接追跡する状態（ループ処理Ａを実行する状態）に遷移する。この処理は、例えば以下のようにして実現される。

【0094】

第１物体２０と関連づけた第２物体３０の追跡処理を実行している間、検出部２０４０は、第１物体２０が第２物体３０から離れたか否かを判定する（Ｓ１１４）。そして、第１物体２０が第２物体３０から離れたと判定されたら（Ｓ１１４：ＹＥＳ）、物体追跡装置２０００の状態は、第１物体２０を直接追跡する状態に遷移する（Ｓ１１４からＳ１０２に遷移する）。

【0095】

第１物体２０が第２物体３０から離れたか否かの判定は、例えば次のようにして行われる。すなわち、検出部２０４０は、第２物体３０が検出される各動画フレーム１４について、動画フレーム１４から第１物体２０が検出されたか否かを判定する。動画フレーム１４から第１物体２０が検出されたら、検出部２０４０は、第１物体２０が第２物体３０から離れたと判定する。

【0096】

ただし、第２物体３０が検出される動画フレーム１４から第１物体２０が検出されても、その検出が一時的なものである可能性もある。例えば図４の例において、人物４０が自動車５０に乗って移動している際、自動車５０の窓が開けられたことにより人物４０の顔が一時的に見えるようになることがある。この場合、人物４０が自動車５０から離れた（人物４０が自動車５０から降りた）とはいえない。

【0097】

そこで例えば、検出部２０４０は、第２物体３０が検出される動画フレーム１４から第１物体２０が検出されたら、その後に生成される各動画フレーム１４をさらに解析し、第１物体２０と第２物体３０の重なりが無くなったか否かを検出し、これらの重なりが無くなった場合に、第１物体２０が第２物体３０から離れたと判定してもよい。

【0098】

＜第２物体３０から第１物体２０以外の物体が離れるケース＞
ここで、第１物体２０が関連づけられている第２物体３０から、第１物体２０以外の物体が離れるケースがある。例えば、第１物体２０が人であり、第２物体３０が乗り物である場合に、第２物体３０から第１物体２０以外の人が降りるケースである。このような場合、第２物体３０から離れた第１物体２０以外の物体は、第１物体２０と関連付けて追跡することが好適な物体である可能性がある。例えば第１物体２０として事件の容疑者を追跡している場合、第１物体２０と一緒に自動車に乗っている人物は、第１物体２０の共犯者である可能性がある。

【0099】

そこで追跡処理部２０２０は、第１物体２０と関連づけられている第２物体３０から第１物体２０以外の物体が離れたら、その物体を第１物体２０と関連付けて追跡してもよい。具体的には、追跡処理部２０２０は、その物体の追跡情報における関連物体識別子に、第１物体２０の識別子を設定する。こうすることで、第１物体２０と何らかの関連があると考えられる他の物体を、第１物体２０と関連づけて追跡することができる。なお、第２物体３０から第１物体２０以外の物体が離れたことは、第２物体３０と重なる第１物体２０以外の物体を検出し、さらにその物体が第２物体３０と重ならなくなることを検出することにより、実現できる。

【0100】

＜追跡によって得られた情報の出力＞
物体追跡装置２０００は、第１物体２０や第２物体３０の追跡によって得られた種々の情報の出力を行う。この出力を行う機能構成部を、出力部と呼ぶ（図示せず）。例えば出力部は、第１物体２０と関連づけられた第２物体３０の追跡処理の結果も考慮して、第１物体２０の位置の履歴を示す情報の生成・出力を行う。この情報を、追跡結果情報と呼ぶ。

【0101】

追跡結果情報には、第１物体２０について生成された追跡情報に加え、第１物体２０が第２物体３０と関連付けられている期間について、その第２物体３０の追跡情報が含まれる。追跡結果情報を利用することにより、第１物体２０を直接追跡できなかった期間も含めて、第１物体２０の位置の履歴を把握することができる。

【0102】

さらに、追跡結果情報によって表される第１物体２０の位置の履歴は、視覚的に把握しやすい態様で出力されることが好適である。例えば出力部は、追跡結果情報に示されている位置の履歴を地図上にプロットする。こうすることで、第１物体２０の位置の履歴を容易に把握することができる。この際、第１物体２０の位置の履歴と、第１物体２０が関連づけられた第２物体３０の位置の履歴とを、互いに異なる態様（例えば異なる色）でプロットしてもよい。

【0103】

その他にも例えば、出力部は、第１物体２０と関連づけられた第２物体３０について、その第２物体３０の画像、その画像から得られる画像特徴、及びその第２物体３０の追跡情報などを出力してもよい。これらの情報を利用することで、第１物体２０の移動に利用された自動車等の特徴を把握したり、その自動車等の位置の履歴を把握したりすることができる。

【0104】

その他にも例えば、出力部は、第１物体２０と関連づけられた第２物体３０から外に出た第１物体２０以外の物体について、その物体の画像、その画像から得られる画像特徴、及びその物体の追跡情報などを出力してもよい。これらの情報を利用することにより、第１物体２０と何らかの関係があると考えられる他の物体（例えば共犯者と推測される人物）について、その特徴や位置の履歴を把握することができる。

【0105】

［実施形態２］
図１０は、実施形態２の物体追跡装置２０００を例示する図である。図１０は、実施形態２の物体追跡装置２０００の動作についての理解を容易にするための概念的な説明を表す図であり、実施形態２の物体追跡装置２０００の動作を具体的に限定するものではない。

【0106】

実施形態２の物体追跡装置２０００は、「第１物体２０と関連付けて第２物体３０の追跡処理を行う」という点で実施形態１の物体追跡装置２０００と共通する。一方で、実施形態２の物体追跡装置２０００では、第１物体２０と第２物体３０との関連付けを行う条件が、実施形態１の物体追跡装置２０００における条件と異なる。実施形態１では、所定の条件が満たされると、第１物体２０を直接追跡でなくなることが想定されている。そのため、第２物体３０を追跡することにより、実質的に第１物体２０の追跡を行っている。一方で、実施形態２では、所定の条件が満たされても、第１物体２０を直接追跡できることを想定している。そのため、実施形態２では、所定条件が満たされたら、第１物体２０の追跡が継続されつつ、第１物体２０と関連付けた第２物体３０の追跡がさらに行われる。

【0107】

＜代表的な作用効果＞
本実施形態の通知処理装置２０００によれば、第１物体２０との関係で所定の条件を満たす第２物体３０が、第１物体２０と関連付けて追跡される。こうすることで、第１物体２０に加え、第１物体２０と何らかの関連があると考えられる物体を追跡することができる。よって、物体のより柔軟な追跡を実現することができる。

【0108】

例えば、犯罪者である蓋然性が高い人物Ａを、第１物体２０として追跡しているとする。この際、他の人物Ｂがその人物Ａから荷物を受け取ったとする。この場合、人物Ｂは、人物Ａと共謀して犯罪を行っている人物である可能性がある。そのため、人物Ａに加え、人物Ｂの追跡も行うことが好適である。本実施形態の物体追跡装置２０００によれば、このようなケースにおいて、人物Ａに加え、人物Ａと関連があると考えられる人物Ｂの追跡も行うことができる。よって、追跡すべきであることが予め分かっていない人物等についても、適切に追跡を行うことができるようになる。

【0109】

以下、実施形態２の物体追跡装置２０００について、さらに詳細に説明する。

【0110】

＜機能構成の例＞
実施形態２の物体追跡装置２０００の機能構成は、実施形態１の物体追跡装置２０００と同様に、図２で表される。ただし、実施形態２の検出部２０４０は、第１物体２０との関係で所定の条件を満たす第２物体３０を検出する。そして、追跡処理部２０２０は、このような第２物体３０が検出されたら、その第２物体３０に第１物体２０を関連付けて、その第２物体３０の追跡処理を行う。

【0111】

＜ハードウエア構成の例＞
実施形態２の物体追跡装置２０００を実現する計算機のハードウエア構成は、例えば、実施形態１の物体追跡装置２０００を実現する計算機のハードウエア構成と同様に、図３で表される。ただし、実施形態２の物体追跡装置２０００を実現する計算機１０００が有するストレージデバイス１０８０には、実施形態２の物体追跡装置２０００が有する各機能構成部の機能を実現するプログラムモジュールが格納されている。

【0112】

＜処理の流れ＞
図１１は、実施形態２の物体追跡装置２０００によって実行される処理の流れを例示するフローチャートである。Ｓ３０２からＳ３１０は、繰り返し実行されるループ処理Ｃである。最初に実行されるＳ３０２において、時刻ｉが初期化される。例えば初期化の際、時刻ｉは現在時刻に設定される。また、２回目以降に実行されるＳ３０２では、時刻ｉが１単位（例えば１フレーム）増加される。

【0113】

追跡処理部２０２０は、時刻ｉの各動画フレーム１４を用いて、第１物体２０の追跡処理を行う（Ｓ３０４）。検出部２０４０は、第１物体２０との関係で第２物体３０が所定の条件を満たしたか否かを判定する（Ｓ３０６）。例えばこの判定は、第１物体２０と同じ動画フレーム１４から検出される１つ以上の第２物体３０それぞれについて行われる。また、この判定は、時刻ｉ及びそれ以前の動画フレーム１４を用いて行われる。

【0114】

第２物体３０が所定の条件を満たしたと判定された場合（Ｓ３０６：ＹＥＳ）、追跡処理部２０２０は、第１物体２０と関連づけて第２物体３０の追跡処理を実行する（Ｓ３０８）。一方、第２物体３０が所定の条件を満たしていないと判定された場合（Ｓ３０６：ＮＯ）、図１１の処理はＳ３１０に進む。

【0115】

Ｓ３１０はループ処理Ｃの終端である。そのため、図１１の処理は、Ｓ３０２に進む。

【0116】

なお、図１１に示されている一連の処理を終了する契機及び開始する契機は、図６に示されている一連の処理を終了する契機及び開始する契機と同様である。

【0117】

また、第１物体２０との関係で所定の条件を満たしていると一度判定された第２物体３０については、Ｓ３０６における判定の対象から除外し、図１１に示すフローチャートの処理と平行して、その第２物体３０の追跡処理を実行するようにしてもよい。こうすることで、処理を高速化することができる。

【0118】

＜所定の条件について＞
追跡処理部２０２０は、第１物体２０との関係で所定の条件を満たす第２物体３０を、第１物体２０と関連付けて追跡する（Ｓ３０８）。そのために、検出部２０４０は、第１物体２０との関係で所定の条件を満たす第２物体３０を検出する（Ｓ３０６）。この所定の条件には、様々な条件を採用することができる。

【0119】

例えば、第１物体２０と第２物体３０が共に人物であるとする。この場合、「第１物体２０と第２物体３０が所定時間以上一緒にいた」、「第１物体２０と第２物体３０が会話をした」、「第２物体３０が第１物体２０から物を受け取った」、又は「第２物体３０が第１物体２０に物を渡した」などといった条件を採用することができる。例えば物体追跡装置２０００は、動画データ１２から、所定時間以上の間、所定距離以内に位置する二人の人物が検出されたら、これらの人物が所定時間以上一緒にいたと判定する。また、例えば物体追跡装置２０００は、動画データ１２から、所定時間以上の間、所定距離以内に位置し、なおかつ顔が向き合っている二人の人物が検出されたら、これらの人物が会話をしたと判定することができる。また、例えば物体追跡装置２０００は、動画データ１２から、第１の人物、第１の人物によって保持されている物、及び第２の人物を検出し、さらに、その物が第１の人物によって所持されている状態から第２の人物によって所持されている状態に変化したことを検出することで、第１の人物から第２の人物へ物が渡されたことを検出することができる。

【0120】

その他にも例えば、第１物体２０が人物であり、第２物体３０が物であるとする。この場合、例えば所定の条件として、「第１物体２０によって放置された」という条件を採用することができる。こうすることで、第１物体２０によって放置された物体がその後どのように移動したかを、その物体が第１物体２０によって放置されたものであることを認識した上で追跡することができる。例えば物体追跡装置２０００は、動画データ１２から、特定の人物及びその人物によって保持されている物を検出した後、その物がその人物から離れて、その人物が動画データ１２から検出されなくなったら、その物がその人物によって放置されたと判定することができる。

【0121】

その他にも例えば、第１物体２０が物体であり、第２物体３０が人物であるとする。この場合、例えば所定の条件として、「第２物体３０が第１物体２０を持った」という条件を採用することができる。こうすることで、その位置を追跡すべき重要な物に接触したり、その物を持ち去ったりした人物を、その物と関連付けて把握することができる。例えば、ケースに入れて運ばれている貴重品を追跡する際、そのケースの中身を人が持ち去ってそのケースが捨てられてしまうと、それ以降その貴重品の追跡を行えなくなってしまう。そこで、そのケースを持った人物をそのケースと関連付けて追跡することで、たとえそのケースが途中で捨てられたとしても、貴重品を持ち去ったと考えられる人物を追跡することができる。例えば物体追跡装置２０００は、動画データ１２から、特定の物を検出し、その物が人によって持たれた状態に変化したことを検出したら、所定の条件が満たされたと判定する。

【0122】

なお、物体追跡装置２０００は、第１物体２０と関連付けて追跡されている第２物体３０を、第１物体２０と同様に扱うことで、その第２物体３０との間で所定の条件を満たした別の物体をさらに追跡してもよい。例えば、人物Ａ（第１物体２０）が物Ｘ（第２物体３０）を放置した後、その物Ｘを別の人物Ｂが持ったとする。この際、物Ｘを第１物体２０として見れば、物Ｘと人物Ｂとの間で、「第２物体３０が第１物体２０を持った」という所定の条件が満たさせる。そこで、物体追跡装置２０００は、物Ｘと関連付けて、人物Ｂを追跡する。このようにすることで、関連がありそうな物体を連鎖的に関連付けて追跡することができる。

【0123】

＜追跡によって得られた情報の出力＞
実施形態２の物体追跡装置２０００の出力部は、第１物体２０や第２物体３０の追跡によって得られた種々の情報の出力を行う。例えば出力部は、第１物体２０と関連づけた追跡された第２物体３０の追跡情報を出力する。こうすることで、第１物体２０と何らかの関係を持った物体（人や物）の位置の履歴を把握することができる。例えば第１物体２０として事件の容疑者を追跡していた場合、第１物体２０と関連づけた第２物体３０の追跡を行うことで、共犯者や容疑者によって運ばれていた物の行方を把握することができる。

【0124】

以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。

【0125】

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
１． 動画データから検出される物体の追跡処理を行う追跡処理部と、
前記動画データを用いて、前記追跡処理部によって追跡処理が行われている第１物体及び他の第２物体について所定条件が満たされたことを検出する検出部と、を有し、
前記追跡処理部は、前記所定条件が満たされたことが検出されたら、前記第１物体と関連づけて前記第２物体の追跡処理を行う、物体追跡装置。
２． 前記所定条件は、前記第１物体が前記第２物体の中に入った場合、又は前記第１物体が前記第２物体の上に乗った場合に満たされる条件である、１．に記載の物体追跡装置。
３． 前記所定条件は、前記第１物体と前記第２物体とが重なった後、前記第１物体が前記第２物体と離れることなく前記動画データから検出されなくなることである、２．に記載の物体追跡装置。
４． 前記検出部は、前記第１物体と関連づけて追跡処理が行われている前記第２物体を含む前記動画データを用いて、前記第１物体が前記第２物体から離れたことを検出し、
前記追跡処理部は、前記第２物体から離れた前記第１物体の追跡処理を行う、２．又は３．に記載の物体追跡装置。
５． 前記検出部は、前記第１物体と関連づけて追跡処理が行われている前記第２物体を含む前記動画データから前記第１物体を検出し、前記第１物体と前記第２物体とが重ならなくなったことを検出することで、前記第１物体が前記第２物体から離れたことを検出する、４．に記載の物体追跡装置。
６． 前記第１物体と前記第２物体はいずれも人であり、
前記所定の条件は、前記第１物体と前記第２物体が所定時間以上一緒にいたこと、前記第１物体と前記第２物体が会話をしたこと、前記第２物体が前記第１物体から物を受け取ったこと、前記第２物体が前記第１物体に物を渡したことのいずれか１つ以上である、１．に記載の物体追跡装置。
７． 前記第１物体は人であり、
前記第２物体は物であり、
前記所定の条件は、前記第２物体が前記第１物体によって放置されたという条件である、１．に記載の物体追跡装置。
８． 前記第１物体は物であり、
前記第２物体は人であり、
前記所定の条件は、前記第２物体が前記第１物体を持ったという条件である、１．に記載の物体追跡装置。
９． 前記第１物体と関連付けた前記第２物体の位置の履歴を含む情報、及びその第２物体の特徴を表す情報のうちのいずれか１つ以上を出力する出力部を有する、１．乃至８．いずれか一つに記載の物体追跡装置。
１０． コンピュータによって実行される制御方法であって、
動画データから検出される物体の追跡処理を行う追跡処理ステップと、
前記動画データを用いて、前記追跡処理ステップによって追跡処理が行われている第１物体及び他の第２物体について所定条件が満たされたことを検出する検出ステップと、を有し、
前記追跡処理ステップにおいて、前記所定条件が満たされたことが検出されたら、前記第１物体と関連づけて前記第２物体の追跡処理を行う、制御方法。
１１． 前記所定条件は、前記第１物体が前記第２物体の中に入った場合、又は前記第１物体が前記第２物体の上に乗った場合に満たされる条件である、１０．に記載の制御方法。
１２． 前記所定条件は、前記第１物体と前記第２物体とが重なった後、前記第１物体が前記第２物体と離れることなく前記動画データから検出されなくなることである、１１．に記載の制御方法。
１３． 前記検出ステップにおいて、前記第１物体と関連づけて追跡処理が行われている前記第２物体を含む前記動画データを用いて、前記第１物体が前記第２物体から離れたことを検出し、
前記追跡処理ステップにおいて、前記第２物体から離れた前記第１物体の追跡処理を行う、１１．又は１２．に記載の制御方法。
１４． 前記検出ステップにおいて、前記第１物体と関連づけて追跡処理が行われている前記第２物体を含む前記動画データから前記第１物体を検出し、前記第１物体と前記第２物体とが重ならなくなったことを検出することで、前記第１物体が前記第２物体から離れたことを検出する、１３．に記載の制御方法。
１５． 前記第１物体と前記第２物体はいずれも人であり、
前記所定の条件は、前記第１物体と前記第２物体が所定時間以上一緒にいたこと、前記第１物体と前記第２物体が会話をしたこと、前記第２物体が前記第１物体から物を受け取ったこと、前記第２物体が前記第１物体に物を渡したことのいずれか１つ以上である、１０．に記載の制御方法。
１６． 前記第１物体は人であり、
前記第２物体は物であり、
前記所定の条件は、前記第２物体が前記第１物体によって放置されたという条件である、１０．に記載の制御方法。
１７． 前記第１物体は物であり、
前記第２物体は人であり、
前記所定の条件は、前記第２物体が前記第１物体を持ったという条件である、１０．に記載の制御方法。
１８． 前記第１物体と関連付けた前記第２物体の位置の履歴を含む情報、及びその第２物体の特徴を表す情報のうちのいずれか１つ以上を出力する出力ステップを有する、１０．乃至１７．いずれか一つに記載の制御方法。
１９． １０．乃至１８．いずれか一つに記載の制御方法をコンピュータに実行させるプログラム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】