特許 7174252 物体情報処理装置、物体情報処理方法及び物体情報処理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-09

(45)【発行日】2022-11-17

(54)【発明の名称】物体情報処理装置、物体情報処理方法及び物体情報処理プログラム

(51)【国際特許分類】

   H04N 21/238 20110101AFI20221110BHJP

   H04N 5/232 20060101ALI20221110BHJP

   H04N 7/18 20060101ALI20221110BHJP

【ＦＩ】

H04N21/238

H04N5/232 290

H04N5/232 380

H04N7/18 G

【請求項の数】 5

(21)【出願番号】P 2019083755

(22)【出願日】2019-04-25

(65)【公開番号】P2020182100

(43)【公開日】2020-11-05

【審査請求日】2021-07-15

(73)【特許権者】

【識別番号】000004226

【氏名又は名称】日本電信電話株式会社

(74)【代理人】

【識別番号】100083806

【弁理士】

【氏名又は名称】三好 秀和

(74)【代理人】

【識別番号】100129230

【弁理士】

【氏名又は名称】工藤 理恵

(72)【発明者】

【氏名】小野 正人

(72)【発明者】

【氏名】星出 高秀

(72)【発明者】

【氏名】松原 靖

(72)【発明者】

【氏名】深津 真二

(72)【発明者】

【氏名】南 憲一

【審査官】松元 伸次

(56)【参考文献】

【文献】国際公開第２０１９／０７３９２０（ＷＯ，Ａ１）

【文献】特開２０１５－２０１００５（ＪＰ，Ａ）

【文献】特開２０１７－０２１４４６（ＪＰ，Ａ）

【文献】特開２０１６－２１８６１０（ＪＰ，Ａ）

【文献】特開２０１６－０４６６３９（ＪＰ，Ａ）

【文献】特開２０１３－２０６１４０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ３／０３３－３／０３９

Ｇ０６Ｔ１／００－１／４０

３／００－７／９０

Ｇ０６Ｖ１０／００－２０／９０

３０／４１８

４０／１６

４０／２０

Ｇ０７Ｃ１／００－１５／００

Ｇ０８Ｇ１／００－９９／００

Ｈ０４Ｎ５／２２２－５／２５７

７／１０

７／１４－７／５６

２１／００－２１／８５８

(57)【特許請求の範囲】

【請求項1】

撮影領域の一部を重ねて撮影された複数の映像データをつないで合成する合成映像上のオブジェクトをトラッキングする物体情報処理装置であって、
前記複数の映像データのそれぞれで検出およびトラッキングされたオブジェクトのうち、前記映像データが重ね合わされた重複領域内に存在するオブジェクトを候補オブジェクトとして抽出する候補抽出部と、
重なり度合いが所定の閾値以上の複数の候補オブジェクトをグループにまとめるグループ化部と、
前記グループおよびグループ化されていない前記オブジェクトに統合オブジェクトＩＤを付与する統合部と、を備え、
前記グループ化部は、重複領域において映像データが重ねられた数に応じてグループにまとめる候補オブジェクトの数を変え、
前記グループ化部は、前記複数の候補オブジェクトのそれぞれが前記重複領域以外の非重複領域において前記統合オブジェクトＩＤが成立していた場合、重なり度合いが所定の閾値以上であっても当該複数の候補オブジェクトをグループにまとめない
ことを特徴とする物体情報処理装置。

【請求項2】

前記グループ化部は、同一の映像データ内の複数の前記重複領域のそれぞれに同じ前記候補オブジェクトを含むグループが存在する場合、当該複数のグループを一つのグループにまとめる
ことを特徴とする請求項１に記載の物体情報処理装置。

【請求項3】

前記統合部は、生存期間が最も長い前記オブジェクトを含む前記グループまたは生存期間が最も長い前記オブジェクトから順番に、前記統合オブジェクトＩＤを付与する
ことを特徴とする請求項１または２に記載の物体情報処理装置。

【請求項4】

撮影領域の一部を重ねて撮影された複数の映像データをつないで合成する合成映像上のオブジェクトをトラッキングする物体情報処理装置による物体情報処理方法であって、
前記複数の映像データのそれぞれで検出およびトラッキングされたオブジェクトのうち、前記映像データが重ね合わされた重複領域内に存在するオブジェクトを候補オブジェクトとして抽出するステップと、
重なり度合いが所定の閾値以上の複数の候補オブジェクトをグループにまとめるステップと、
前記グループおよびグループ化されていない前記オブジェクトに統合オブジェクトＩＤを付与するステップと、を有し、
前記複数の候補オブジェクトをグループにまとめるステップでは、重複領域において映像データが重ねられた数に応じてグループにまとめる候補オブジェクトの数を変え、
前記複数の候補オブジェクトをグループにまとめるステップでは、前記複数の候補オブジェクトのそれぞれが前記重複領域以外の非重複領域において前記統合オブジェクトＩＤが成立していた場合、重なり度合いが所定の閾値以上であっても当該複数の候補オブジェクトをグループにまとめない
ことを特徴とする物体情報処理方法。

【請求項5】

請求項１ないし３のいずれかに記載の物体情報処理装置の各部としてコンピュータを動作させる物体情報処理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像上でオブジェクトをトラッキングする技術に関する。

【背景技術】

【0002】

複数のカメラで撮影した映像を水平垂直方向にリアルタイムでつなぎ合わせて、広い競技空間を持つフィールド競技の様子全体を写したパノラマ映像を合成する技術が知られている。この技術を用い、映像をリアルタイムでつなぎ合わせることで、広大な監視エリアの遠隔地監視に適用することが考えられている。

【0003】

映像による遠隔地監視では、映像から監視対象オブジェクトをリアルタイムで検出およびトラッキングし、映像に監視対象オブジェクトの情報を重畳表示できることが望ましい。

【先行技術文献】

【非特許文献】

【0004】

【文献】石井陽子、徳永徹郎、外村喜秀、日高浩太、「Ｋｉｒａｒｉ！ Ｔｒａｃｋｅｒ：ＬｉＤＡＲと深層学習エンジンを用いたリアルタイム特定人物追跡システムの検討」、映像情報メディア学会、冬季大会、２０１７年、１５Ｂ－３

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、複数の映像をつなぎ合わせたパノラマ映像は高精細映像であることから、パノラマ映像上でオブジェクトの検出およびトラッキングを行うと処理に時間がかかり、リアルタイム性に影響があるという問題があった。

【0006】

本発明は、上記に鑑みてなされたものであり、複数の映像をつなぎ合わせた合成映像においてリアルタイムにオブジェクトをトラッキングすることを目的とする。

【課題を解決するための手段】

【0007】

本発明に係る物体情報処理装置は、撮影領域の一部を重ねて撮影された複数の映像データをつないで合成する合成映像上のオブジェクトをトラッキングする物体情報処理装置であって、前記複数の映像データのそれぞれで検出およびトラッキングされたオブジェクトのうち、前記映像データが重ね合わされた重複領域内に存在するオブジェクトを候補オブジェクトとして抽出する候補抽出部と、重なり度合いが所定の閾値以上の複数の候補オブジェクトをグループにまとめるグループ化部と、前記グループおよびグループ化されていない前記オブジェクトに統合オブジェクトＩＤを付与する統合部と、を備え、前記グループ化部は、重複領域において映像データが重ねられた数に応じてグループにまとめる候補オブジェクトの数を変え、前記グループ化部は、前記複数の候補オブジェクトのそれぞれが前記重複領域以外の非重複領域において前記統合オブジェクトＩＤが成立していた場合、重なり度合いが所定の閾値以上であっても当該複数の候補オブジェクトをグループにまとめないことを特徴とする。

【0008】

本発明に係る物体情報処理方法は、撮影領域の一部を重ねて撮影された複数の映像データをつないで合成する合成映像上のオブジェクトをトラッキングする物体情報処理装置による物体情報処理方法であって、前記複数の映像データのそれぞれで検出およびトラッキングされたオブジェクトのうち、前記映像データが重ね合わされた重複領域内に存在するオブジェクトを候補オブジェクトとして抽出するステップと、重なり度合いが所定の閾値以上の複数の候補オブジェクトをグループにまとめるステップと、前記グループおよびグループ化されていない前記オブジェクトに統合オブジェクトＩＤを付与するステップと、を有し、前記複数の候補オブジェクトをグループにまとめるステップでは、重複領域において映像データが重ねられた数に応じてグループにまとめる候補オブジェクトの数を変え、前記複数の候補オブジェクトをグループにまとめるステップでは、前記複数の候補オブジェクトのそれぞれが前記重複領域以外の非重複領域において前記統合オブジェクトＩＤが成立していた場合、重なり度合いが所定の閾値以上であっても当該複数の候補オブジェクトをグループにまとめないことを特徴とする。

【0009】

本発明に係る物体情報処理プログラムは、上記物体情報処理装置の各部としてコンピュータを動作させる。

【発明の効果】

【0010】

本発明によれば、複数の映像をつなぎ合わせた合成映像においてリアルタイムにオブジェクトをトラッキングすることができる。

【図面の簡単な説明】

【0011】

【図1】本実施形態の物体情報処理装置を用いて構成した広視野角遠隔監視システムの構成を示す図である。

【図2A】広視野角遠隔監視システムが入力した映像のそれぞれにおいてオブジェクトを検出した様子を示す図である。

【図2B】複数の映像をつなぎ合わせた様子を示す図である。

【図2C】広視野角遠隔監視システムが出力するパノラマ映像の表示例を示す図である。

【図3】本実施形態の物体情報処理装置の構成を示す機能ブロック図である。

【図4】本実施形態の物体情報処理の流れを示すフローチャートである。

【図5】フレームデータをつなぎ合わせたパノラマ映像と検出されたオブジェクトの例を示す図である。

【図6】グループ化の処理の流れを示すフローチャートである。

【図7】グループ化しない例を説明するための図である。

【図8A】複数の重複領域において同一のオブジェクトが検出される例を示す図である。

【図8B】複数の重複領域において検出された同一のオブジェクトを含むグループを再グループ化する例を示す図である。

【図9】統合オブジェクトＩＤを引継ぐグループまたはオブジェクトを特定できない例を示す図である。

【図10】統合オブジェクトＩＤを付与する処理の流れを示すフローチャートである。

【図11】統合オブジェクトＩＤを付与する例を示す図である。

【発明を実施するための形態】

【0012】

以下、本発明の実施の形態について図面を用いて説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

【0013】

図１を参照し、本発明にかかる物体情報処理を用いた広視野角遠隔監視システムの構成を説明する。同図に示す広視野角遠隔監視システムは、複数の映像を合成してパノラマ映像を生成するとともに、映像から監視対象のオブジェクトの物体情報を取得し、ＭＭＴＰ（ＭＰＥＧ Ｍｅｄｉａ Ｔｒａｎｓｐｏｒｔ Ｐｒｏｔｏｃｏｌ）を利用してＩＰネットワーク経由でパノラマ映像、音および物体情報を同期伝送する処理を低遅延に実現するシステムである。広視野角遠隔監視システムは、例えば、航空管制、公共空間監視、および防災監視などの広視野角での監視に用いることができる。

【0014】

図１の広視野角遠隔監視システムは、合成処理サーバ１００、物体情報統合サーバ２００、デコードサーバ３００、および統合物体情報受信サーバ４００を備える。

【0015】

合成処理サーバ１００は、合成処理部１１０、エンコード処理部１２０、および物体検出・トラッキング処理部１３０を備える。合成処理サーバ１００は、複数の撮像系（例えば４Ｋカメラ）のそれぞれから映像と音を入力し、各映像から対象のオブジェクトの検出およびトラッキングを行うとともに（図２Ａ）、映像をつなげてパノラマ映像を合成する（図２Ｂ）。

【0016】

合成処理部１１０は、入力した複数の映像をリアルタイムにつなぎ合わせてパノラマ映像を合成する。合成処理部１１０は、映像をつなぎ合わせるつなぎ目を動的に変更してもよいし、つなぎ目を設定ファイル等で事前に静的に設定してもよい。

【0017】

エンコード処理部１２０は、合成処理部１１０の合成したパノラマ映像および音データをエンコードし、ＭＭＴＰストリームに変換してデコードサーバ３００へ送出する。

【0018】

物体検出・トラッキング処理部１３０は、各映像から対象のオブジェクトの検出およびトラッキングを実施する。物体検出・トラッキング処理部１３０は、各映像でのオブジェクトのトラッキング結果を物体情報統合サーバ２００へ送信するとともに、合成処理部１１０へ送信する。

【0019】

物体情報統合サーバ２００は、物体検出・トラッキング処理部１３０が各映像において検出およびトラッキングしたオブジェクトについて、オブジェクトの各映像上の座標をパノラマ映像上の座標へ変換する。合成する前の映像でオブジェクトを検出する場合、映像が重ね合わされた重複領域では、重複された映像のそれぞれで同一のオブジェクトが検出されることがある。物体情報統合サーバ２００は、本発明にかかる物体情報処理により、重複領域で検出されたオブジェクトで同一と推定されるオブジェクトのトラッキング結果を統合する。本発明にかかる物体情報処理の詳細については後述する。

【0020】

デコードサーバ３００は、合成処理サーバ１００から受信したＭＭＴＰストリームをデコードし、パノラマ映像および音を出力する。

【0021】

統合物体情報受信サーバ４００は、物体情報統合サーバ２００から物体情報のＭＭＴＰパケットを受信し、物体情報を出力する。

【0022】

表示系（例えばパノラマスクリーン）は、デコードサーバ３００から出力されたパノラマ映像に、統合物体情報受信サーバ４００から出力された物体情報を重畳させて表示する（図２Ｃ）。このとき、表示系は、パノラマ映像のフレームデータに付いているタイムスタンプと同じタイムスタンプを持つ物体情報を重畳させる。

【0023】

（物体情報処理装置の構成）
図３を参照し、本実施形態の物体情報処理装置１の構成について説明する。物体情報処理装置１は、映像処理装置３の合成したパノラマ映像におけるオブジェクトのトラッキング結果を出力する装置である。より具体的には、物体情報処理装置１は、映像処理装置３から各映像でのオブジェクトのトラッキング結果を受信し、オブジェクトの各映像上の座標（以下、「ローカル座標」と称する）をパノラマ映像上の座標（以下、「グローバル座標」と称する）へ変換し、重複領域で同一と思われるオブジェクトのトラッキング結果を統合する。物体情報処理装置１は、図１の広視野角遠隔監視システムの物体情報統合サーバ２００に相当し、映像処理装置３は合成処理サーバ１００に相当する。

【0024】

図３に示す物体情報処理装置１は、トラッキング結果受信部１１、グループ化候補判定部１２、グループ化部１３、および統合部１４を備える。物体情報処理装置１が備える各部は、演算処理装置、記憶装置等を備えたコンピュータにより構成して、各部の処理がプログラムによって実行されるものとしてもよい。このプログラムは物体情報処理装置１が備える記憶装置に記憶されており、磁気ディスク、光ディスク、半導体メモリ等の記録媒体に記録することも、ネットワークを通して提供することも可能である。

【0025】

トラッキング結果受信部１１は、オブジェクトの各映像でのトラッキング結果を受信し、オブジェクトのローカル座標をグローバル座標へ変換する。トラッキング結果は、オブジェクトのローカル座標およびローカルオブジェクトＩＤを含む。トラッキング結果は、検出したオブジェクトの名称、信頼度（オブジェクトの名称の正しさ）、色、およびオブジェクトの加速度と移動方向を含んでもよい。ローカルオブジェクトＩＤは、各映像でトラッキングされているオブジェクトに付与される識別子である。前の世代（過去のフレーム）で検出されたオブジェクトと同じであると判定されたオブジェクトには同じローカルオブジェクトＩＤが付与される。なお、ローカルオブジェクトＩＤは映像ごとにオブジェクトに付与されるので、同じオブジェクトであっても写っている映像が異なる場合は、映像のそれぞれで異なるローカルオブジェクトＩＤが当該オブジェクトに付与される。

【0026】

グループ化候補判定部１２は、重複領域内で検出されたオブジェクトを統合の対象として抽出する。重複領域の座標は事前に算出済みである。物体情報処理装置１は、重複領域の座標を映像処理装置３から受信してもよい。

【0027】

グループ化部１３は、重複領域において、重複された映像のそれぞれで検出されたオブジェクトの重なり度合いが大きいオブジェクトを同じオブジェクトであると推定してグループ化する。また、グループ化部１３は、隣り合う重複領域（１つの映像内の異なる重複領域）に同じローカルオブジェクトＩＤの付与されたオブジェクトを含むグループをまとめて再グループ化する。

【0028】

統合部１４は、グループおよびグループ化されていないオブジェクトのそれぞれに、パノラマ映像上でのトラッキング結果となる統合オブジェクトＩＤを付与する。この統合オブジェクトＩＤを用いることで、同一のオブジェクトをパノラマ映像上で継続してトラッキングすることができる。

【0029】

（物体情報処理）
次に、図４および図５を参照して、本実施形態の物体情報処理について説明する。

【0030】

ステップＳ１において、映像処理装置３は、複数のカメラのそれぞれから映像を入力し、入力した映像のそれぞれから同時刻のフレームデータを取得する。

【0031】

ステップＳ２において、映像処理装置３は、各映像からオブジェクトを検出し、各映像においてオブジェクトをトラッキングする。映像処理装置３は、オブジェクト検出処理の高速化のために、各映像から取得されたフレームデータのサイズを縮小したデータを用いてオブジェクトを検出してもよい。オブジェクトの検出およびトラッキングは、各映像で並行して行ってよい。トラッキングとは、現在のフレームデータで検出されたオブジェクトと過去のフレームデータで検出されたオブジェクトとの同一性を判定し、オブジェクトの移動を追跡することである。

【0032】

映像処理装置３は、同時刻の隣接するフレームデータＦ１，Ｆ２の特徴点が一致するようにフレームデータＦ１，Ｆ２を重ね合わせてパノラマ映像を合成する。図５に左右に隣接するフレームデータＦ１，Ｆ２を重ね合わせた様子を示す。フレームデータＦ１，Ｆ２が重ね合わせられた領域が重複領域である。重ね合わせられていない領域を非重複領域と称する。なお、上下に隣接するフレームデータを重ね合わせてパノラマ映像を合成してもよいし、上下左右に並べたフレームデータを重ね合わせてパノラマ映像を合成してもよい。

【0033】

また、映像処理装置３は、パノラマ映像を合成する前の各映像からオブジェクトを検出し、オブジェクトをトラッキングする。図５の例では、映像処理装置３は、フレームデータＦ１からは６つのオブジェクトＯ１１～Ｏ１６を検出し、フレームデータＦ２からは６つのオブジェクトＯ２１～Ｏ２６を検出した。各映像でのオブジェクトのトラッキング結果は物体情報処理装置１へ送信される。

【0034】

ステップＳ３において、物体情報処理装置１は、各映像のオブジェクトのトラッキング結果を受信し、各オブジェクトのローカル座標をグローバル座標に変換する。

【0035】

ステップＳ４において、物体情報処理装置１は、各オブジェクトについて、重複領域内に存在するか否か判定する。重複領域内に存在するオブジェクトがグループ化される候補である。図５の例では、フレームデータＦ１で検出されたオブジェクトＯ１４，Ｏ１５，Ｏ１６が重複領域内に存在し、フレームデータＦ２で検出されたオブジェクトＯ２１，Ｏ２２，Ｏ２３が重複領域内に存在する。

【0036】

ステップＳ５において、物体情報処理装置１は、複数映像に同時に映る同一オブジェクトと推定されるローカルオブジェクトをグループ化する。物体情報処理装置１は、隣接するフレームデータのそれぞれの重複領域で検出されたオブジェクトのうち、重なり度合いが所定の閾値以上のオブジェクトを同一のオブジェクトであると推定し、グループ化する。図５の例では、フレームデータＦ１で検出されたオブジェクトＯ１４とフレームデータＦ２で検出されたオブジェクトＯ２１をグループＧ１とし、フレームデータＦ１で検出されたオブジェクトＯ１６とフレームデータＦ２で検出されたオブジェクトＯ２３をグループＧ２としてグループ化した。グループ化処理の詳細については後述する。

【0037】

ステップＳ６において、物体情報処理装置１は、オブジェクトをグループ化した各グループおよびグループ化していない各オブジェクトに統合オブジェクトＩＤを付与する。図５の例では、グループおよびオブジェクトの下に記載した数字が付与された統合オブジェクトＩＤである。具体的には、グループＧ１，Ｇ２の統合オブジェクトＩＤはそれぞれ「０００４」，「０００７」である。グループ化されていないオブジェクトＯ１１，Ｏ１２，Ｏ１３，Ｏ１５の統合オブジェクトＩＤはそれぞれ「０００１」，「０００２」，「０００３」，「０００５」である。グループ化されていないオブジェクトＯ２２，Ｏ２４，Ｏ２５，Ｏ２６の統合オブジェクトＩＤはそれぞれ「０００６」，「０００８」，「０００９」，「００１０」である。統合オブジェクトＩＤを付与する処理の詳細については後述する。

【0038】

（グループ化）
次に、図６を参照して、グループ化処理について説明する。グループ化処理は、重複領域内で検出されたオブジェクトに対して実施される。

【0039】

ステップＳ５１において、グループ化部１３は、隣接するフレームデータのそれぞれで検出されたオブジェクトの重なり度合いが閾値以上のオブジェクトの組を抽出する。あるオブジェクトについて、隣接するフレームデータにおいて重なり度合いが閾値以上のオブジェクトがない場合、そのオブジェクトはグループ化の対象外である。なお、重複領域においてフレームデータが重ねられた数に応じて抽出するオブジェクトの数を変えてもよい。例えば、フレームデータを上下左右に並べて重ねる場合、フレームデータの角部分では４枚のフレームデータが重ねられる。この場合、グループ化部１３は、グループ化の対象として４つのオブジェクトを抽出してもよい。

【0040】

ステップＳ５２において、グループ化部１３は、重なり度合いが閾値以上のオブジェクトの組のうち、いずれのオブジェクトも非重複領域において統合オブジェクトＩＤが成立していた組はグループ化の対象外とする。例えば、図７に示すように、過去世代において、オブジェクトＯ１１には非重複領域において「０００１」の統合オブジェクトＩＤが付与されており、オブジェクトＯ２１には非重複領域において「０００２」の統合オブジェクトＩＤが付与されていたとする。つまり、過去世代においてオブジェクトＯ１１，Ｏ２１は別オブジェクトとして認識されていた。現世代において、オブジェクトＯ１１，Ｏ２１の重なり度合いが閾値以上であっても、オブジェクトＯ１１，Ｏ２１のそれぞれは非重複領域において統合オブジェクトＩＤが成立しているので別オブジェクトである。したがって、グループ化部１３は、オブジェクトＯ１１，Ｏ２１の組はグループ化の対象外とする。

【0041】

例えば、統合部１４は、非重複領域でオブジェクトに統合オブジェクトＩＤを付与したときに、当該オブジェクトのフラグをオンにする。グループ化部１３は、どちらのフラグもオンのオブジェクトの組はグループ化の対象外とする。いずれか一方のオブジェクトのフラグがオンで他方のオブジェクトのフラグがオフのオブジェクトの組はグループ化の対象である。

【0042】

なお、グループ化の対象外とする方法として、検出されたオブジェクトを示す名称が推定されている場合、グループ化部１３は、名称が異なるオブジェクトの組をグループ化の対象外としてもよい。例えば、人間と推定されたオブジェクトと信号と推定されたオブジェクトの組はグループ化の対象外とする。

【0043】

また、オブジェクトの色が明らかに互いに異なる場合、グループ化部１３は、そのオブジェクトの組をグループ化の対象外としてもよい。

【0044】

さらに、グループ化部１３は、オブジェクトの移動方向を把握し、オブジェクトが互いに異なる移動をしている場合、そのオブジェクトの組をグループ化の対象外としてもよい。

【0045】

ステップＳ５３において、グループ化部１３は、オブジェクトの重なり度合いが閾値以上のオブジェクトの組のうち、ステップＳ５２で除外されなかった組をグループ化する。

【0046】

グループ化部１３は、以下のステップＳ５４，Ｓ５５において、同じオブジェクトを含むグループをまとめて再グループ化してもよい。

【0047】

ステップＳ５４において、グループ化部１３は、隣り合う重複領域に同じオブジェクトを含むグループが存在するか否か判定する。隣り合う重複領域とは、１つのフレームデータ内の複数の重複領域である。例えば、図８Ａの例では、フレームデータＦ２の左側と右側の重複領域が隣り合う重複領域である。同じオブジェクトであるか否かは、ローカルオブジェクトＩＤが同一であるか否かで判定できる。

【0048】

図８Ａの例では、フレームデータＦ１で検出されたオブジェクトＯ１１とフレームデータＦ２で検出されたオブジェクトＯ２１がグループＧ１としてグループ化されている。また、フレームデータＦ３で検出されたオブジェクトＯ３１とフレームデータＦ２で検出されたオブジェクトＯ２１がグループＧ２としてグループ化されている。グループＧ１とグループＧ２は同一のオブジェクトＯ２１を含んでいる。

【0049】

ステップＳ５５において、グループ化部１３は、同じオブジェクトを含むグループをまとめて再グループ化する。図８Ｂの例では、同じオブジェクトＯ２１を含むグループＧ１，Ｇ２がグループＧ３として再グループ化される。

【0050】

（統合オブジェクトＩＤの付与）
次に、統合オブジェクトＩＤを付与する処理について説明する。

【0051】

例えば、図９に示すように、グループ化されたオブジェクトが変化した場合、前世代でグループに付与された統合オブジェクトＩＤを引継ぐグループを特定できない。図９の例では、前世代においてオブジェクトＯ１１の統合オブジェクトＩＤは「０００１」であり、オブジェクトＯ１２，Ｏ２１を含むグループＧ１の統合オブジェクトＩＤは「０００２」であり、オブジェクトＯ１３，Ｏ２２を含むグループＧ２の統合オブジェクトＩＤは「０００３」である。現世代において、オブジェクトＯ１１，Ｏ２１の組がグループ化されてグループＧ３となり、オブジェクトＯ１２，Ｏ２２の組がグループ化されてグループＧ４となり、オブジェクトＯ１３がグループ化されなかったとする。

【0052】

図９の例では、現世代において、オブジェクトＯ１３，Ｏ２２を含むグループＧ２の統合オブジェクトＩＤ「０００３」は、オブジェクトＯ２２を含むグループＧ４が引継げばよいのか、オブジェクトＯ１３が引継げばよいのか不明である。さらに、グループＧ３は、前世代のオブジェクトＯ１１の統合オブジェクトＩＤ「０００１」を引き継げばよいのか、オブジェクトＯ２１を含むグループＧ１の統合オブジェクトＩＤ「０００２」を引継げばよいのか不明である。

【0053】

そこで、本実施形態では、オブジェクトが各映像においてトラッキングされている時間（生存期間）を管理し、生存期間の長いオブジェクトから順番に統合オブジェクトＩＤを付与する。例えば、図９の例では、オブジェクトＯ１３の生存期間がオブジェクトＯ２２の生存期間よりも長いとすると、オブジェクトＯ１３から処理が実施されて、オブジェクトＯ１３がグループＧ２の統合オブジェクトＩＤ「０００３」を引継ぐ。このとき、引継ぐ統合オブジェクトＩＤがなくなったオブジェクトＯ２２は処理順序が後回しにされる。例えば、オブジェクトＯ２２の処理順序は新規に検出されたオブジェクトと同程度に引き下げられる。オブジェクトＯ２２は、前世代で統合オブジェクトＩＤが付与されていないオブジェクトとして扱われる。

【0054】

また、図９の例では、グループＧ３は統合オブジェクトＩＤ「０００１」または「０００２」のいずれを引継げばよいのか不明である。本実施形態では、複数の統合オブジェクトＩＤを引継ぐことができる場合、より長い生存期間の統合オブジェクトＩＤを引継ぐ。生存期間が最も長い統合オブジェクトＩＤとは、より過去に払い出された統合オブジェクトＩＤである。具体的には、統合オブジェクトＩＤ「０００１」の生存期間が統合オブジェクトＩＤ「０００２」の生存期間よりも長いとすると、グループＧ３は統合オブジェクトＩＤ「０００１」を引継ぐ。

【0055】

図１０を参照し、統合オブジェクトＩＤを付与する処理について説明する。図１０の処理は、全てのグループおよびグループ化されていない全てのオブジェクトに対して実施される。

【0056】

ステップＳ６１において、統合部１４は、生存期間の最も長いオブジェクトまたは生存期間の最も長いオブジェクトを含むグループを選択する。

【0057】

ステップＳ６２において、統合部１４は、前世代において処理対象のオブジェクトまたはグループに統合オブジェクトＩＤが付与されているか否かを判定する。処理対象がグループの場合、グループに含まれるオブジェクトの少なくともいずれかに統合オブジェクトＩＤが付与されているか否かを判定する。

【0058】

前世代において統合オブジェクトＩＤが付与されていない場合は、ステップＳ６３において、統合部１４は、処理対象のオブジェクトまたはグループに対して新たに統合オブジェクトＩＤを付与する。

【0059】

ステップＳ６４において、統合部１４は、処理対象のグループは、異なる統合オブジェクトＩＤが付与された複数のオブジェクトを含むか否かを判定する。

【0060】

処理対象がオブジェクトの場合または処理対象のグループが異なる統合オブジェクトＩＤが付与された複数のオブジェクトを含まない場合、つまり、引継ぐ統合オブジェクトＩＤが一つに定まる場合、ステップＳ６５において、統合部１４は、処理対象のオブジェクトまたはグループに前世代の統合オブジェクトＩＤを引継がせる。

【0061】

処理対象のグループが異なる統合オブジェクトＩＤが付与された複数のオブジェクトを含む場合、ステップＳ６６において、統合部１４は、処理対象のグループに生存期間が最も長い統合オブジェクトＩＤを引継がせる。

【0062】

統合部１４は、以上の処理を全てのグループおよびオブジェクトに対して実施する。

【0063】

図１１を参照し、統合オブジェクトＩＤを付与する例を説明する。

【0064】

図１１の例では、前世代（１フレーム前）において、一方のフレームデータからは５つのオブジェクトＯ１１，Ｏ１２，Ｏ１３，Ｏ１４，Ｏ１５が検出され、他方のフレームデータからは５つのオブジェクトＯ２１，Ｏ２２，Ｏ２３，Ｏ２４，Ｏ２５が検出された。オブジェクトＯ１４とオブジェクトＯ２１がグループＧ１としてグループ化され、オブジェクトＯ１５とオブジェクトＯ２２がグループＧ２としてグループ化された。オブジェクトＯ１１，Ｏ１２，Ｏ１３のそれぞれには統合オブジェクトＩＤ「０００１」，「０００２」，「０００３」が付与された。グループＧ１，Ｇ２のそれぞれには統合オブジェクトＩＤ「０００４」，「０００５」が付与された。オブジェクトＯ２３，Ｏ２４，Ｏ２５のそれぞれには統合オブジェクトＩＤ「０００６」，「０００７」，「０００８」が付与された。

【0065】

現世代（最新フレーム）において、一方のフレームデータからは新たにオブジェクトＯ１６が検出された。他方のフレームデータからは新たに２つのオブジェクトＯ２６，Ｏ２７が検出された。前世代で検出されたオブジェクトＯ２５は現世代では検出されなかった。

【0066】

オブジェクトＯ１３と新たに検出されたオブジェクトＯ２６がグループＧ３としてグループ化された。オブジェクトＯ１５とオブジェクトＯ２１がグループＧ４としてグループ化された。オブジェクトＯ１４とオブジェクトＯ２２はグループ化されなかった。

【0067】

前世代でグループ化されておらず、現世代でもグループ化されていないオブジェクトＯ１１，Ｏ１２，Ｏ２３，Ｏ２４は、前世代の統合オブジェクトＩＤを引継ぐ。

【0068】

グループ化されていない新たに検出されたオブジェクトＯ１６，Ｏ２７のそれぞれには、新たな統合オブジェクトＩＤ「０００９」，「００１１」が払い出される。

【0069】

現世代が検出されなかったオブジェクトＯ２５に付与されていた統合オブジェクトＩＤ「０００８」は削除される。

【0070】

前世代でグループ化されていたオブジェクトＯ１４，Ｏ１５，Ｏ２１，Ｏ２２および現世代でグループ化されたオブジェクトＯ１３，Ｏ２６に対する処理について考える。ここで、オブジェクトの生存期間は、オブジェクトＯ１３，Ｏ１４，Ｏ１５，Ｏ２１，Ｏ２２，Ｏ２６の順に長いものとする。

【0071】

まず、オブジェクトＯ１３を含むグループＧ３が処理対象となる。オブジェクトＯ１３は、前世代で統合オブジェクトＩＤ「０００３」が付与されている。グループＧ３に含まれるオブジェクトＯ２６は新たに検出されたオブジェクトであり、統合オブジェクトＩＤは付与されていない。したがって、グループＧ３は、オブジェクトＯ１３の統合オブジェクトＩＤ「０００３」を引継ぐ。

【0072】

続いて、オブジェクトＯ１４が処理対象となる。オブジェクトＯ１４は、前世代でグループＧ１に含まれている。グループＧ１には統合オブジェクトＩＤ「０００４」が付与されている。したがって、オブジェクトＯ１４は、グループＧ１の統合オブジェクトＩＤ「０００４」を引継ぐ。

【0073】

なお、前世代でグループＧ１に含まれていたオブジェクトＯ２１は、前世代で統合オブジェクトＩＤが付与されていないオブジェクトとして扱われて、処理の順番が下げられる。

【0074】

続いて、オブジェクトＯ１５を含むグループＧ４が処理対象となる。オブジェクトＯ１５は、前世代でグループＧ２に含まれている。グループＧ２には統合オブジェクトＩＤ「０００５」が付与されている。オブジェクトＯ２１は、前世代でグループＧ１に含まれていたが、オブジェクトＯ１４の処理の際に統合オブジェクトＩＤが付与されていないオブジェクトとされている。したがって、グループＧ４は、グループＧ２の統合オブジェクトＩＤ「０００５」を引継ぐ。

【0075】

なお、前世代でグループＧ２に含まれていたオブジェクトＯ２２は、前世代で統合オブジェクトＩＤが付与されていないオブジェクトとして扱われて、処理の順番が下げられる。

【0076】

最後に、オブジェクトＯ２２が処理対象となる。オブジェクトＯ２２は、前世代でグループＧ２に含まれていたが、オブジェクトＯ１５の処理の際に統合オブジェクトＩＤが付与されていないオブジェクトとされている。したがって、オブジェクトＯ２２には、新たな統合オブジェクトＩＤ「００１０」が払い出される。

【0077】

以上の処理により、統合部１４は、統合オブジェクトＩＤを適切に引継がせることができる。

【0078】

以上説明したように、本実施形態によれば、グループ化候補判定部１２が、同時に撮影された複数のフレームデータのそれぞれで検出およびトラッキングされたオブジェクトのうち、フレームデータが重ね合わされた重複領域内に存在するオブジェクトを候補オブジェクトとして抽出し、グループ化部１３が、重なり度合いが所定の閾値以上の複数の候補オブジェクトをグループにまとめて、統合部１４が、グループおよびグループ化されていないオブジェクトに統合オブジェクトＩＤを付与することにより、映像を合成するときに物体のトラッキング処理を各映像において並行して行うことができるので、トラッキング処理時間を短縮できるとともに、映像の合成処理と並行して本実施形態の物体情報処理を実施できる。その結果、合成映像においてリアルタイムでオブジェクトをトラッキングできる。

【符号の説明】

【0079】

１…物体情報処理装置
１１…トラッキング結果受信部
１２…グループ化候補判定部
１３…グループ化部
１４…統合部
３…映像処理装置
１００…合成処理サーバ
１１０…合成処理部
１２０…エンコード処理部
１３０…物体検出・トラッキング処理部
２００…物体情報統合サーバ
３００…デコードサーバ
４００…統合物体情報受信サーバ

【図1】

【図2A】

【図2B】

【図2C】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【図11】