特表 2024-520375 マルチカメラ追跡のための半自動データ収集および関連付け

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-05-24

(54)【発明の名称】マルチカメラ追跡のための半自動データ収集および関連付け

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240517BHJP

   H04N 7/18 20060101ALI20240517BHJP

【ＦＩ】

G06T7/00 660B

H04N7/18 D

H04N7/18 G

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023572184

(86)(22)【出願日】2022-05-12

(85)【翻訳文提出日】2023-12-05

(86)【国際出願番号】 US2022028945

(87)【国際公開番号】W WO2022250970

(87)【国際公開日】2022-12-01

(31)【優先権主張番号】63/193,151

(32)【優先日】2021-05-26

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/741,735

(32)【優先日】2022-05-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】504080663

【氏名又は名称】エヌイーシー ラボラトリーズ アメリカ インク

【氏名又は名称原語表記】ＮＥＣ Ｌａｂｏｒａｔｏｒｉｅｓ Ａｍｅｒｉｃａ， Ｉｎｃ．

(74)【代理人】

【識別番号】100123788

【弁理士】

【氏名又は名称】宮崎 昭夫

(74)【代理人】

【識別番号】100127454

【弁理士】

【氏名又は名称】緒方 雅昭

(72)【発明者】

【氏名】レイ、 ファーレイ

(72)【発明者】

【氏名】カダヴ、 アシム

(72)【発明者】

【氏名】ラクシュミナラヤナン、 リキサ

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054HA19

5L096BA02

5L096CA05

5L096CA24

5L096FA09

5L096FA26

5L096FA62

5L096FA69

5L096GA51

5L096HA05

5L096KA04

(57)【要約】

監視システムが提供される。監視システムは、（ｉ）共通エリアアンカーボックスを使用して、各カメラ入力ビデオストリームについて人物をローカルに検出および追跡し、人物の検出された各々にローカル追跡ＩＤを割り当てることと、（ｉｉ）重複するカメラビューにおける同一人物をグローバル追跡ＩＤに関連付け、優先度付きキューとローカル追跡ＩＤとグローバル追跡ＩＤとを使用して、同一人物が異なるカメラビューにおいて経時的に移動する際に、関連付けられた追跡ボックスを収集することと、（ｉｉｉ）シーンカバレッジについて、同一人物の伴うマッチした追跡ボックスの空間的特徴を通して空間変換を導出するために、経時的な追跡データ収集を実行することと、（ｉｖ）導出された空間変換に基づいて、カメラ間の別個の人物のマッチした追跡ボックスから視覚的特徴を与えられたマルチカメラトラッカーを学習することとを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

監視システムであって、
配置場所に部分的に視野が重なるように配置された複数のカメラと、
異なるカメラビューに配置された一致するものを有する複数の共通エリアアンカーボックスを配置するためのグラフィカルユーザインタフェース（１６０）であって、前記複数の共通エリアアンカーボックスの各々が一度に１人のみを収容するように設計されているグラフィカルユーザインタフェースと、
前記グラフィカルユーザインタフェースと前記複数のカメラとに動作可能に結合され、（ｉ）前記共通エリアアンカーボックスを使用して、各カメラ入力ビデオストリームについて人物をローカルに検出および追跡し、前記検出された各人物にローカル追跡ＩＤを割り当て、（ｉｉ）重複するカメラビューにおける同一人物をグローバル追跡ＩＤに関連付け、優先度付きキューと前記ローカル追跡ＩＤと前記グローバル追跡ＩＤとを使用して、前記同一人物が異なるカメラビューにおいて経時的に移動する際に、関連付けられた追跡ボックスを収集し、（ｉｉｉ）マッチングされた追跡ボックス特徴を通して空間変換を導出することによって追跡データ収集を実行し、前記空間変換を通してマッチングされた追跡ボックスをメトリックと関連付け、前記メトリックに基づくシーンカバレッジについて、関連付けられた追跡ボックスを経時的に収集するためのプロセッサ装置（１１０）と、を含み、
前記関連付けられた追跡ボックスのそれぞれは、異なる人物に対応する、追跡監視システム。

【請求項2】

前記プロセッサ装置（１１０）は、前記複数のカメラの異なるものにわたる追跡をタイムスタンプによって順番にスキャンするために優先度付きキューを維持する、請求項１に記載の監視システム。

【請求項3】

前記優先度付きキューは、前記タイムスタンプ、チャネル識別子、特定のタイムスタンプでフレームごとに存在する複数の人物の追跡情報、前記複数の共通エリアアンカーボックスのうちの対応する共通エリアアンカーボックス、および前記対応する共通エリアアンカーボックス、前記特定のタイムスタンプ、および対応するチャネル識別子に存在する特定の追跡を与える追跡インデックスを記憶する、請求項２に記載の監視システム。

【請求項4】

関連する追跡ボックスを収集することは、閾値を超えるＩｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ（ＩｏＵ）を有する共通エリアに入る追跡を特定することを含む、請求項１に記載の監視システム。

【請求項5】

前記関連付けられた追跡ボックスを収集することは、前記複数の共通エリアアンカーボックス内の前記複数のカメラの異なるものから時間的に近い追跡を関連付けるために前記優先度付きキューを反復することを含む、請求項１に記載の監視システム。

【請求項6】

前記空間変換は、ホモグラフィを含む、請求項１に記載の監視システム。

【請求項7】

前記マッチングされたボックス特徴は、ボックス座標、ボックス中心、および人物キーポイントからなる群から選択される少なくとも１つの項目を含む、請求項１に記載の監視システム。

【請求項8】

前記マッチングされた追跡ボックスの特徴を与えられたマルチカメラトラッカーを訓練し、異なる人物の共通エリアアンカーボックスを追跡し、前記訓練されたマルチカメラトラッカーを、特徴の類似性によって前記複数のカメラにわたって前記同一人物を追跡するように配置することによって、マルチカメラトラッキングを実行することをさらに含む、請求項１に記載の監視システム。

【請求項9】

前記追跡データ収集を実行することは、前記複数の共通エリアアンカーボックスを除去することをさらに含む、請求項１に記載の監視システム。

【請求項10】

監視のための、コンピュータに実装された方法であって、
配備場所に部分的に視野が重なるように複数のカメラを配置し、監視する（２１０）ことと、
グラフィカルユーザインタフェースを使用して、異なるカメラビューに配置された一致するものを有する複数の共通エリアアンカーボックスを配置する（２１０）ことであって、前記複数の共通エリアアンカーボックスの各々が一度に１人のみを収容するように設計され、
前記共通エリアアンカーボックスを使用して、各カメラ入力ビデオストリームについて人物をローカルに検出および追跡し（２２０）、前記検出された各人物にローカル追跡ＩＤを割り当てることと、
重複するカメラビューにおける同一人物をグローバル追跡ＩＤに関連付け（２３０）、優先度付きキューと前記ローカル追跡ＩＤと前記グローバル追跡ＩＤとを使用して、前記同一人物が異なるカメラビューにおいて経時的に移動する際に、関連付けられた追跡ボックスを収集することと、
プロセッサ装置によって、マッチングされた追跡ボックス特徴を通して空間変換を導出することによって追跡データ収集を実行し（２４０）、前記空間変換を通してマッチングされた追跡ボックスをメトリックと関連付け、前記メトリックに基づくシーンカバレッジについて、関連付けられた追跡ボックスを経時的に収集することと、を含み、
前記関連付けられた追跡ボックスのそれぞれは、異なる人物に対応する、方法。

【請求項11】

前記プロセッサ装置は、前記複数のカメラの異なるものにわたる追跡をタイムスタンプによって順番にスキャンするために優先度付きキューを維持する、請求項１０に記載のコンピュータに実装された方法。

【請求項12】

前記優先度付きキューは、前記タイムスタンプ、チャネル識別子、特定のタイムスタンプでフレームごとに存在する複数の人物の追跡情報、前記複数の共通エリアアンカーボックスのうちの対応する共通エリアアンカーボックス、および前記対応する共通エリアアンカーボックス、前記特定のタイムスタンプ、および対応するチャネル識別子に存在する特定の追跡を与える追跡インデックスを記憶する、請求項１１に記載のコンピュータに実装された方法。

【請求項13】

関連する追跡ボックスを収集することは、閾値を超えるＩｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ（ＩｏＵ）を有する共通エリアに入る追跡を特定することを含む、請求項１０に記載のコンピュータに実装された方法。

【請求項14】

前記関連付けられた追跡ボックスを収集することは、前記複数の共通エリアアンカーボックス内の前記複数のカメラの異なるものから時間的に近い追跡を関連付けるために前記優先度付きキューを反復することを含む、請求項１０に記載のコンピュータに実装された方法。

【請求項15】

前記空間変換は、ホモグラフィを含む、請求項１０に記載のコンピュータに実装された方法。

【請求項16】

前記マッチングされたボックス特徴は、ボックス座標、ボックス中心、および人物キーポイントからなる群から選択される少なくとも１つの項目を含む、請求項１０に記載のコンピュータに実装された方法。

【請求項17】

前記マッチングされた追跡ボックスの特徴を与えられたマルチカメラトラッカーを訓練し、異なる人物の共通エリアアンカーボックスを追跡し、前記訓練されたマルチカメラトラッカーを、特徴の類似性によって前記複数のカメラにわたって前記同一人物を追跡するように配置することによって、マルチカメラトラッキングを実行することをさらに含む、請求項１０に記載のコンピュータに実装された方法。

【請求項18】

前記追跡データ収集を実行することは、前記複数の共通エリアアンカーボックスを除去することをさらに含む、請求項１０に記載のコンピュータに実装された方法。

【請求項19】

監視のためのコンピュータプログラム製品であって、該コンピュータプログラム製品は、プログラム命令をその中に具現化した非一過性のコンピュータ可読記憶媒体を含み、該プログラム命令は、コンピュータに方法を実行させるためにコンピュータによって実行可能であるコンピュータプログラム製品であって、前記方法は、
前記コンピュータのプロセッサ装置によって、配備場所に部分的に視野が重なるように複数のカメラを配置し、監視する（２１０）ことと、
前記コンピュータのグラフィカルユーザインタフェースを使用して、異なるカメラビューに配置された一致するものを有する複数の共通エリアアンカーボックスを配置する（２１０）ことであって、前記複数の共通エリアアンカーボックスの各々が一度に１人のみを収容するように設計され、
前記プロセッサ装置によって、前記共通エリアアンカーボックスを使用して、各カメラ入力ビデオストリームについて人物をローカルに検出および追跡し（２２０）、前記検出された各人物にローカル追跡ＩＤを割り当てることと、
前記プロセッサ装置によって、重複するカメラビューにおける同一人物をグローバル追跡ＩＤに関連付け（２３０）、優先度付きキューと前記ローカル追跡ＩＤと前記グローバル追跡ＩＤとを使用して、前記同一人物が異なるカメラビューにおいて経時的に移動する際に、関連付けられた追跡ボックスを収集することと、
前記プロセッサ装置によって、マッチングされた追跡ボックス特徴を通して空間変換を導出することによって追跡データ収集を実行し（２４０）、前記空間変換を通してマッチングされた追跡ボックスをメトリックと関連付け、前記メトリックに基づくシーンカバレッジについて、関連付けられた追跡ボックスを経時的に収集することと、を含み、
前記関連付けられた追跡ボックスのそれぞれは、異なる人物に対応する、コンピュータプログラム製品。

【請求項20】

前記プロセッサ装置は、前記複数のカメラの異なるものにわたる追跡をタイムスタンプによって順番にスキャンするために優先度付きキューを維持する、請求項１９に記載のコンピュータプログラム製品。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願情報
本出願は、２０２１年５月２６日に出願された米国仮特許出願第６３／１９３，１５１号および２０２２年５月１１日に出願された米国特許出願第１７／７４１，７３５号の優先権を主張するものであり、参照によりその全体が本明細書に組み込まれる。

【背景技術】

【0002】

技術分野
本発明は、画像処理に関し、より詳細には、マルチカメラ追跡のための半自動データ収集および関連付けに関する。

【0003】

関連技術の説明
実用的なビデオ監視では、個々の行動を時系列で捉えるために、複数のカメラで一人一人を追跡する必要がある。他の一般的な画像分類や物体検出タスクと比較すると、プライバシーの懸念が高まり、アノテーションの予算が限られているため、マルチカメラ・マルチオブジェクト追跡のための大規模な公開データセットを見つけることは稀であり、カメラ間で同一人物の行動を捕捉するための高精度な機械学習モデルを訓練することは不可能である。たとえそのようなデータセットがあったとしても、新たなデータを収集し、アノテーションを付けることによって、新たな環境でモデルを微調整することがしばしば必要となる。しかし、クラウドソーシングを利用しても、小売店のような複数の物理的な現場で一般化するには、時間とコストがかかることに変わりはない。

【発明の概要】

【0004】

本発明の側面によれば、監視システムが提供される。監視システムは、配置場所に部分的に視界が重なるように配置された複数のカメラを含む。監視システムはさらに、異なるカメラビューに配置された一致するものを有する複数の共通エリアアンカーボックスを配置するためのグラフィカルユーザインタフェースを含む。複数の共通エリアアンカーボックスのそれぞれが一度に１人のみを収容するように設計されている。監視システムは、グラフィカルユーザインタフェースと複数のカメラに動作可能とに結合されたプロセッサ装置をさらに含み、プロセッサ装置は、（ｉ）前記共通エリアアンカーボックスを使用して、各カメラ入力ビデオストリームについて人物をローカルに検出および追跡し、前記検出された各人物にローカル追跡ＩＤを割り当て、（ｉｉ）重複するカメラビューにおける同一人物をグローバル追跡ＩＤに関連付け、優先度付きキューと前記ローカル追跡ＩＤと前記グローバル追跡ＩＤとを使用して、前記同一人物が異なるカメラビューにおいて経時的に移動する際に、関連付けられた追跡ボックスを収集し、（ｉｉｉ）シーンカバレッジについてマッチングされた同一人物の追跡ボックス空間特徴を通して空間変換を導出するために経時的に追跡データ収集を実行し、（ｉｖ）導出された空間変換に基づいて、カメラ間で異なる人物のマッチングされた追跡ボックスから視覚的特徴を与えられたマルチカメラトラッカーを学習することと、を含む。

【0005】

本発明の他の側面によれば、監視のための、コンピュータに実装された方法が提供される。この方法は、部分的に視野が重なるように配置された配置場所の複数のカメラを監視することを含む。この方法はさらに、グラフィカルユーザインタフェースを使用して、異なるカメラビューに配置された一致するものを有する複数の共通エリアアンカーボックスを配置することを含む。複数の共通エリアアンカーボックスはそれぞれ、一度に１人のみを収容でするように設計されている。本方法はまた、共通エリアアンカーボックスを使用して、各カメラ入力ビデオストリームについて人物をローカルに検出および追跡し、検出された各人物にローカル追跡ＩＤを割り当てることを含む。本方法はさらに、重複するカメラビューにおける同一人物をグローバル追跡ＩＤに関連付けることと、優先度付きキューとローカル追跡ＩＤとグローバル追跡ＩＤとを使用して、同一人物が異なるカメラビューにおいて経時的に移動する際に、関連付けられた追跡ボックスを収集することとを含む。本方法はさらに、プロセッサ装置によって、シーンカバレッジについてマッチングされた同一人物の追跡ボックス空間特徴を通して空間変換を導出するために経時的に追跡データ収集を実行することと、導出された空間変換に基づいて、カメラ間で異なる人物のマッチングされた追跡ボックスから視覚的特徴を与えられたマルチカメラトラッカーを学習することと、を含む。

【0006】

本発明のさらに他の側面によれば、監視用のコンピュータプログラム製品が提供される。コンピュータプログラム製品は、プログラム命令を具現化した非一過性のコンピュータ可読記憶媒体を含む。プログラム命令は、コンピュータにある方法を実行させるためにコンピュータによって実行可能である。本方法は、コンピュータのプロセッサ装置により、部分的に視野が重なるように配置された配置場所の複数のカメラを監視することを含む。この方法はさらに、コンピュータのグラフィカルユーザインタフェースを使用して、異なるカメラビューに配置された一致するものを有する複数の共通エリアアンカーボックスを配置することを含む。複数の共通エリアアンカーボックスはそれぞれ、一度に１人のみを収容でするように設計されている。本方法はまた、プロセッサ装置により、共通エリアアンカーボックスを使用して、各カメラ入力ビデオストリームについて人物をローカルに検出および追跡し、検出された各人物にローカル追跡ＩＤを割り当てることを含む。本方法はさらに、プロセッサ装置により、重複するカメラビューにおける同一人物をグローバル追跡ＩＤに関連付けることと、優先度付きキューとローカル追跡ＩＤとグローバル追跡ＩＤとを使用して、同一人物が異なるカメラビューにおいて経時的に移動する際に、関連付けられた追跡ボックスを収集することとを含む。本方法はさらに、プロセッサ装置によって、シーンカバレッジについてマッチングされた同一人物の追跡ボックス空間特徴を通して空間変換を導出するために経時的に追跡データ収集を実行することと、導出された空間変換に基づいて、カメラ間で異なる人物のマッチングされた追跡ボックスから視覚的特徴を与えられたマルチカメラトラッカーを学習することと、を含む。

【0007】

これらおよび他の特徴および利点は、添付図面と関連して読まれる、その例示的実施形態の以下の詳細な説明から明らかになるであろう。

【図面の簡単な説明】

【0008】

本開示は、以下の図を参照して、好ましい実施形態の以下の説明において詳細を提供する。

【0009】

【図1】本発明の一実施形態による、例示的な演算装置を示すブロック図である。

【0010】

【図2】本発明の一実施形態による、マルチカメラ追跡のための例示的な方法を示すフロー図である。

【図3】本発明の一実施形態による、マルチカメラ追跡のための例示的な方法を示すフロー図である。

【0011】

【図4】本発明の一実施形態による、ブロックの少なくとも一部を図式化したブロック図である。

【0012】

【図5】本発明の一実施形態による、本発明を実施できる環境を図式化したブロック図である。

【発明を実施するための形態】

【0013】

本発明の実施形態は、マルチカメラ追跡のための半自動データ収集および関連付けに向けられている。

【0014】

本発明の実施形態は、現場の複数の監視カメラにわたる追跡の対応関係のアノテーションを容易にする半自動アプローチを提供する。

【0015】

本発明の実施形態は、複数のカメラビューから人物の軌跡を経時的に関連付けるためのセットアップとアルゴリズムとを提供する。リアルタイムでのセットアップは、異なるカメラで検出された人物のバウンディングボックスを、時間的な近接性と共通エリア上の交差に関して関連付ける。

【0016】

本発明の実施形態は、マルチビュー変換により、対応する追跡の包括的なデータ収集を可能にする。対応する人物の追跡が経時的に与えられると、カメラ間の空間マッピングはマルチビュー変換から導き出され、カメラ視野内のあらゆる場所で物体の対応を捉えることができる。

【0017】

要約すると、前述の特徴を組み合わせることで、提案された半自動アプローチは、多くの配備現場から効率的かつ経済的に収集できる豊富で多様なデータセットを用いて、マルチカメラトラッカーの訓練を容易にする。

【0018】

配備されたビデオ監視システムは、通常、部分的に重なり合う領域を共有する複数のカメラから、時間的に同期したフレームを生成するリアルタイムのビデオストリームを提供する。本発明の実施形態は、この観察結果を利用し、異なるカメラビューに複数の共通領域アンカーを設定することで、入室時に同一人物を関連付け、その結果、追跡対応関係を低コストで経時的に捕捉し、再特定や行動認識などの関連するコンピュータビジョンタスクを訓練および微調整するための豊富なデータを提供し、全体的な監視性能を向上させる。それに比べ、これまでの研究では、顔検出技術に頼る傾向があるが、ビデオ監視では、カメラのアングルが特殊で、対象者の顔との距離が長いため、うまく機能しない。この提案されたアプローチは、制限の少ないギャップを埋めるものである。

【0019】

さらに、本発明の実施形態は、オクルージョンにもかかわらず、異なるカメラ間で対応する追跡を収集する。

【0020】

図１は、本発明の一実施形態による例示的な演算装置１００を示すブロック図である。演算装置１００は、マルチカメラ追跡のための半自動データ収集と関連付けとを行うように構成されている。

【0021】

演算装置１００は、限定されないが、コンピュータ、サーバ、ラックベースのサーバ、ブレードサーバ、ワークステーション、デスクトップコンピュータ、ラップトップコンピュータ、ノートブックコンピュータ、タブレットコンピュータ、モバイル演算装置、ウェアラブル演算装置、ネットワーク機器、ウェブ機器、分散演算システム、プロセッサベースのシステム、および／または利用者電子装置など、本書に記載される機能を実行できる任意のタイプの計算またはコンピュータ装置として具現化することができる。さらにまたは代替的に、演算装置１００は、１つまたは複数のコンピュートスレッド、メモリスレッド、または他のラック、スレッド、演算シャーシ、または物理的に分解された演算装置の他の構成要素として具現化されてもよい。図１に示すように、演算装置１００は、例示的に、プロセッサ１１０、入力／出力サブシステム１２０、メモリ１３０、データ記憶装置１４０、および通信サブシステム１５０、および／またはサーバまたは同様の演算装置に一般的に見られる他の構成要素およびデバイスを含んでいる。もちろん、演算装置１００は、他の実施形態において、サーバコンピュータに一般的に見られるような他のまたは追加の構成要素（例えば、様々な入力／出力デバイス）を含んでもよい。さらに、いくつかの実施形態では、例示的な構成要素の１つ以上が、別の構成要素に組み込まれるか、さもなければ、別の構成要素の一部を形成することができる。例えば、メモリ１３０、またはその一部は、いくつかの実施形態において、プロセッサ１１０に組み込まれても良い。

【0022】

プロセッサ１１０は、本明細書に記載された機能を実行することができる任意のタイプのプロセッサとして具現化することができる。プロセッサ１１０は、シングルプロセッサ、マルチプロセッサ、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、シングルまたはマルチコアプロセッサ、デジタル信号プロセッサ、マイクロコントローラ、またはその他のプロセッサやプロセスシング／制御回路として具現化されてもよい。

【0023】

メモリ１３０は、本明細書に記載された機能を実行することができる任意のタイプの揮発性または不揮発性メモリまたははデータストレージとして具現化され得る。動作中、メモリ１３０は、オペレーティングシステム、アプリケーション、プログラム、ライブラリ、およびドライバなど、演算装置１００の動作中に使用される様々なデータおよびソフトウェアを格納することができる。メモリ１３０は、Ｉ／Ｏサブシステム１２０を介してプロセッサ１１０と通信可能に結合され、プロセッサ１１０、メモリ１３０、および演算装置１００の他の構成要素との入出力動作を容易にするための回路および／または構成要素として具現化され得る。例えば、Ｉ／Ｏサブシステム１２０は、メモリコントローラハブ、入力／出力制御ハブ、プラットフォームコントローラハブ、集積制御回路、ファームウェアデバイス、通信リンク（例えば、ポイントツーポイントリンク、バスリンク、ワイヤ、ケーブル、ライトガイド、プリント回路基板トレースなど）および/または、入力/出力操作を容易にするための他の構成要素およびサブシステムとして具現化されてもよく、さもなければ、これらを含んでいても良い。いくつかの実施形態では、Ｉ／Ｏサブシステム１２０は、システムオンチップ（ＳＯＣ）の一部を形成し、プロセッサ１１０、メモリ１３０、および演算装置１００の他の構成要素と共に、単一の集積回路チップに組み込まれてもよい。

【0024】

データ記憶装置１４０は、例えば、メモリ装置および回路、メモリカード、ハードディスクドライブ、ソリッドステートドライブ、または他のデータ記憶装置など、データの短期または長期記憶用に構成された任意のタイプの装置またはデバイスとして具現化することができる。データ記憶装置１４０は、マルチカメラ追跡のための半自動データ収集および関連付けのためのプログラムコードを格納することができる。演算装置１００の通信サブシステム１５０は、ネットワークを介して演算装置１００と他のリモート装置との間の通信を可能にすることができる、任意のネットワークインタフェースコントローラまたは他の通信回路、装置、またはその集合体として具現されることができる。通信サブシステム１５０は、任意の１つ以上の通信技術（例えば、有線または無線通信）および関連するプロトコル（例えば、イーサネット、ＩｎｆｉｎｉＢａｎｄ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ（登録商標）、ＷｉＭＡＸ（登録商標）など）を使用してそのような通信を実現するように構成され得る。

【0025】

図示のように、演算装置１００は、１つ以上の周辺装置１６０も含むことができる。周辺装置１６０は、任意の数の追加の入出力装置、インタフェース装置、および／または他の周辺装置を含んでもよい。例えば、いくつかの実施形態では、周辺装置１６０は、ディスプレイ、タッチスクリーン、グラフィック回路、キーボード、マウス、スピーカシステム、マイク、ネットワークインタフェース、および／または他の入力／出力装置、インタフェース装置、および／または周辺装置を含むことができる。

【0026】

もちろん、演算装置１００は、当業者が容易に思いつくように、他の要素（図示せず）を含むこともでき、また、特定の要素を省略することもできる。例えば、様々な他の入力装置および／または出力装置は、当業者によって容易に理解されるように、同じものの特定の実装に依存して、演算装置１００に含まれることが可能である。例えば、様々なタイプの無線および／または有線の入力および／または出力装置を使用することができる。さらに、プロセッサ、コントローラ、メモリなどを追加して、様々な構成で利用することも可能である。処理システム１００のこれらおよび他の変形例は、本明細書に提供される本発明の教示を考慮すれば、当業者によって容易に企図されるものである。

【0027】

本明細書で採用されるように、「ハードウェアプロセッササブシステム」または「ハードウェアプロセッサ」という用語は、１つ以上の特定のタスクを実行するために協働するプロセッサ、メモリ（ＲＡＭ、キャッシュなどを含む）、ソフトウェア（メモリ管理ソフトウェアを含む）またはそれらの組み合わせを指すことができる。有用な実施形態では、ハードウェアプロセッササブシステムは、１つまたは複数のデータ処理要素（例えば、論理回路、処理回路、命令実行デバイスなど）を含むことができる。１つまたは複数のデータ処理要素は、中央処理ユニット、画像処理ユニットおよび／または別個のプロセッサまたはコンピューティング要素ベースのコントローラ（たとえば、論理ゲートなど）に含めることができる。ハードウェアプロセッササブシステムは、１つ以上のオンボードメモリ（例えば、キャッシュ、専用メモリアレイ、読み出し専用メモリなど）を含むことができる。いくつかの実施形態では、ハードウェアプロセッササブシステムは、オンボードまたはオフボードにすることができるか、またはハードウェアプロセッササブシステム（例えば、ＲＯＭ、ＲＡＭ、基本入出力システム（ＢＩＯＳ）など）によって使用するために専用にすることができる１つ以上のメモリを含むことができる。

【0028】

ある実施形態では、ハードウェアプロセッササブシステムは、１つ以上のソフトウェア要素を含むことができ、実行することができる。１つ以上のソフトウェア要素は、特定の結果を達成するために、オペレーティングシステムおよび／または１つ以上のアプリケーションおよび／または特定のコードを含むことができる。

【0029】

他の実施形態では、ハードウェアプロセッササブシステムは、指定された結果を達成するために１つまたは複数の電子処理機能を実行する専用の専用回路を含むことができる。そのような回路は、１つまたは複数のアプリケーション専用集積回路（ＡＳＩＣ）、ＦＰＧＡ、および／またはＰＬＡを含むことができる。

【0030】

ハードウェアプロセッササブシステムのこれらおよび他の変形もまた、本発明の実施形態に従って企図される。

【0031】

本発明の前提条件は、複数のカメラを設置した監視システムの展開である。

【0032】

図２および３は、本発明の一実施形態による、マルチカメラ追跡のための例示的な方法２００を示すフロー図である。

【0033】

ブロック２１０で、配置場所に複数のカメラを含む監視システムを部分的に重複してセットアップする。グラフィカルユーザインタフェース（ＧＵＩ）を使用して、異なるビューに、同じ色または同じ線種（破線、実線など）の共通エリアアンカーボックスを配置する。ここでは、共通エリアのアンカーボックスが異なるタイプの線を使って示されている。共通エリアとは、一度に一人しか入れないように設計された場所のことである。

【0034】

ブロック２２０で、カメラごとの物体検出と追跡とを行う。共通エリアのアンカーボックスを使用して、各カメラ入力ビデオストリームに対して物体検出と追跡とをローカルに実行し、検出された各人物にローカルの追跡ＩＤを割り当てる。

【0035】

ブロック２３０では、重複するカメラビューの同一人物をグローバル追跡ＩＤと関連付け、ローカル追跡ＩＤとグローバル追跡ＩＤとに基づいて、同一人物が異なるカメラビューで時間経過とともに移動する際に、関連する追跡ボックスを収集する。具体的には、ＧＵＩを通じてアンカーボックスによってマークされた各共通エリアについて、追跡された人物検出ボックスを捕捉するため、または単に複数のカメラから時間順に並べられた通過ボックスを追跡するために、キューのようなデータ構造が使用される。異なるカメラからの２つの追跡ボックスが時間的に十分に近いと判断されると、そのローカルＩＤに対応する目的の追跡ＩＤを割り当てることで両者を関連付けることができる。関連付けるカメラが２台以上ある場合、３台目のカメラの追跡ボックスは、他方の以前の追跡ボックスに以前に割り当てられたグローバル追跡ＩＤと、推移性によって関連付けることができる。

【0036】

一実施形態では、ブロック２３０は、ブロック２３０Ａ－２３０Ｂのうちの１つ以上を含むことができる。

【0037】

ブロック２３０Ａにおいて、各共通エリアによって、十分に大きなＩｏＵを有する異なるカメラにわたる追跡を時間（タイムスタンプ）によって順番にスキャンするために優先度付きキューを維持する。一実施形態では、優先度付きキューは、タイムスタンプとカメラチャネル識別子（互換的に“ｃｈ”と呼ばれる）を含む情報を持つ追跡ボックスをそれぞれ受け入れ、時間とチャネルＩＤとによって並べ替えられた追跡インデックスを決定することができる。

【0038】

ブロック２３０Ｂでは、マークされた共通エリアアンカーボックスを持つ十分に大きなオーバーラップを示す閾値を超えるＩｎｔｅｒｓｅｃｔｉｏｎ ｏｖｅｒ Ｕｎｉｏｎ（ＩｏＵ）を有する共通エリアに入る追跡を特定する。実施形態では、異なるカメラビューから時間的に近い追跡を関連付ける。一実施形態では、共通エリアはコンテキストルールによって定義することができる。さらに詳細には、コンテキストルールは、共通エリアのアンカーボックスを明示的に、またはドアマットのような検出された物体から明示的に指定することができる。優先度付きキューを繰り返し、共通エリア内の異なるカメラから時間的に近い追跡を関連付ける。

【0039】

ブロック２４０において、追跡データ収集を実行して、シーンカバレッジについて同一人物のマッチした追跡ボックス空間特徴（以下のオプションを含むが、これらに限定されない：ボックス座標；ボックス中心；および人物キーポイント）を経時的に通じた空間変換（例えば、ホモグラフィなどであるが、これに限定しない）を導出し、導出された空間変換に基づいて、複数のカメラにわたる別個の人物のマッチした追跡ボックスからの視覚的特徴を与えられたマルチカメラ追跡を学習する。これらの共通エリアアンカーボックスは、異なるカメラからの追跡としてもはや必要ではなく、空間変換後の追跡ボックスが、ＩｏＵなどのメトリックに従って、異なるカメラからの別の追跡ボックスと十分に大きな重なりを持つ場合、マッチングすることができる。このようにして、対応する追跡ボックスを経時的に収集し、シーンをよりよくカバーする。各追跡ボックスは１人の人間に対応している。

【0040】

ブロック２５０では、マッチからの特徴を与えられた訓練されたマルチカメラトラッカーを使用してマルチカメラ追跡を実行し、異なる人物の追跡ボックスを追跡し、特徴の類似性によってカメラ間で同一人物を追跡するために訓練されたトラッカーを展開する。空間変換と共通エリアのアンカーボックスは不要になった。

【0041】

ロボットや車両は、マルチカメラの追跡に基づいて、衝突を避けるように移動するように制御することができる。ロボットや車両は、人との衝突を避けるために、加速、旋回、ブレーキシステムを介して制御することができる。

【0042】

図4は、本発明の一実施形態による、ブロック２１０の少なくとも一部を図式化したブロック図である。

【0043】

配備現場では、複数のカメラ４１０が重複して見えるように構成される。ＧＵＩを使用して、１人だけが占有できるエリアに共通エリアのアンカーボックスを割り当てる。図３では、２つのシーン４０１と４０２とが示されている。破線のアンカーボックスは、２つのシーン４０１と４０２とにおける第１の人物４９１に対応し、点線のアンカーボックスは、２つのシーン４０１と４０２とにおける第２の人物４９２に対応する。このようにして、本明細書でさらに詳細に説明するように、複数のシーンにわたって人物の検出と追跡を行うことができる。ＧＵＩを使用して、同じ人に同じ線タイプのボックスを割り当てることができるが、他の実施形態では、異なる色のボックスを使用することができる。もちろん、当業者が容易に理解できるように、ボックスを区別するために他の方法を使用することもできる。

【0044】

図５は、本発明の一実施形態による、本発明を実施できる環境５００を図式化したブロック図である。

【0045】

図５において、ローカルＩＤは、ユーザが同じ単一のシーン（例えば、シーン４０１または４０２）内で移動する際に、単一のシーン内のユーザを追跡するために使用され、一方、グローバルＩＤは、複数のシーン（例えば、シーン４０１および４０２）にわたってユーザを追跡するために使用される。したがって、ローカルＩＤは、シーン４０１内を移動中のユーザ４９１を追跡するために使用され、異なるローカルＩＤは、ＩＤがそれぞれのシーンにローカルであるため、シーン４０２内を移動中のユーザ４９１を追跡するために使用される。グローバルＩＤは、シーン４０１からシーン４０２へ移動する間、ユーザ４９１を追跡するために使用される。

【0046】

本発明は、任意の可能な技術的詳細レベルの統合において、システム、方法、および／またはコンピュータプログラム製品であり得る。コンピュータプログラム製品は、本発明の態様をプロセッサに実行させるためのコンピュータ可読プログラム命令をその上に有するコンピュータ可読記憶媒体（または媒体）を含むことができる。

【0047】

コンピュータ可読記憶媒体は、命令実行装置によって使用される命令を保持および記憶することができる有形装置とすることができる。コンピュータ可読記憶媒体は、例えば、電子記憶装置、磁気記憶装置、光学記憶装置、電磁記憶装置、半導体記憶装置、またはこれらの任意の適切な組み合わせであってもよいが、これらに限定されない。コンピュータ可読記憶媒体のより具体的な例の非網羅的なリストには、以下のものが含まれる。ポータブルコンピュータディスケット、ハードディスク、ランダムアクセスメモリ（ＲＡＭ）、リードオンリーメモリ（ＲＯＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭまたはフラッシュメモリ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ポータブルコンパクトディスクリードオンリーメモリ（ＣＤ－ＲＯＭ）、デジタル多用途ディスク（ＤＶＤ）、メモリスティック、フロッピーディスク、パンチカードなどの機械的に符号化された装置、またはその上に記録された命令を有する溝内の隆起構造、および前述の任意の適切な組み合わせ。本明細書で使用するコンピュータ可読記憶媒体は、電波やその他の自由に伝搬する電磁波、導波管やその他の伝送媒体を伝搬する電磁波（例えば、光ファイバケーブルを通過する光パルス）、電線を介して伝送される電気信号など、一過性の信号そのものであると解釈されるものではない。

【0048】

本明細書で説明するコンピュータ可読プログラム命令は、コンピュータ可読記憶媒体から、またはネットワーク、例えばインターネット、ローカルエリアネットワーク、ワイドエリアネットワークおよび／またはワイヤレスネットワークを介して外部コンピュータまたは外部記憶装置に、それぞれの演算／処理装置にダウンロードすることができる。ネットワークは、銅線伝送ケーブル、光伝送ファイバ、無線伝送、ルータ、ファイアウォール、スイッチ、ゲートウェイコンピュータ、および／またはエッジサーバで構成される。各演算／処理装置のネットワークアダプタカードまたはネットワークインタフェースは、ネットワークからコンピュータ可読プログラム命令を受信し、各演算／処理装置内のコンピュータ可読記憶媒体に格納するために、コンピュータ可読プログラム命令を転送する。

【0049】

本発明の動作を実行するためのコンピュータ可読プログラム命令は、アセンブラ命令、命令セットアーキテクチャ（ＩＳＡ）命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、または、ＳＭＡＬＬＴＡＬＫ（登録商標）、Ｃ＋＋などのオブジェクト指向プログラミング言語、および「Ｃ」プログラミング言語などの従来の手続き型プログラミング言語を含む、１つまたは複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードのいずれかであっても良い。コンピュータ可読プログラム命令は、完全にユーザのコンピュータ上で実行しても良いし、一部はユーザのコンピュータ上で実行しても良いし、スタンドアロンソフトウェアパッケージとして実行しても良いし、一部はユーザのコンピュータ上で実行し、一部はリモートコンピュータ上で実行しても良いし、完全にリモートコンピュータまたはサーバ上で実行しても良い。後者のシナリオでは、リモートコンピュータは、ローカルエリアネットワーク（ＬＡＮ）またはワイドエリアネットワーク（ＷＡＮ）を含む任意のタイプのネットワークを介してユーザのコンピュータに接続することができ、接続は外部のコンピュータに（例えば、インターネットサービスプロバイダを使用してインターネットを介して）行うことができる。いくつかの実施形態では、例えば、プログラマブル論理回路、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはプログラマブル論理アレイ（ＰＬＡ）を含む電子回路は、本発明の態様を実行するために、コンピュータ可読プログラム命令の状態情報を利用してコンピュータ可読プログラム命令を実行し、電子回路をパーソナライズしても良い。

【0050】

本発明の態様を、本発明の実施形態による方法、装置（システム）、およびコンピュータプログラム製品のフローチャート図および／またはブロック図を参照して本明細書で説明する。フローチャート図および／またはブロック図の各ブロック、ならびにフローチャート図および／またはブロック図のブロックの組み合わせは、コンピュータ可読プログラム命令によって実施できることが理解されよう。

【0051】

これらのコンピュータ可読プログラム命令は、汎用コンピュータ、特殊用途コンピュータ、または他のプログラマブルデータ処理装置のプロセッサに提供され、コンピュータまたは他のプログラマブルデータ処理装置のプロセッサを介して実行される命令が、フローチャートおよび／またはブロック図ブロックまたはブロックに指定された機能／動作を実施するための手段を作成するように、機械を生成することができる。これらのコンピュータ可読プログラム命令は、コンピュータ、プログラマブルデータ処理装置、および／または他の装置に特定の態様で機能するように指示することができるコンピュータ可読記憶媒体に格納することもでき、そのように、その中に格納された命令を有するコンピュータ可読記憶媒体は、フローチャートおよび／またはブロック図ブロックまたはブロックで指定された機能／動作の態様を実施する命令を含む製造品を構成する。

【0052】

コンピュータ可読プログラム命令は、コンピュータ、他のプログラマブルデータ処理装置、または他の装置にロードして、コンピュータ、他のプログラマブルな装置、または他の装置上で実行される命令が、フローチャートおよび／またはブロック図のブロックまたはブロックで指定された機能／動作を実施するように、コンピュータ実装プロセスを生成するための一連の動作ステップをコンピュータ、他のプログラマブルな装置、または他の装置上で実行させることもできる。

【0053】

図中のフローチャートおよびブロック図は、本発明の様々な実施形態によるシステム、方法、およびコンピュータプログラム製品の可能な実装のアーキテクチャ、機能性、および動作を示している。これに関して、フローチャートまたはブロック図の各ブロックは、モジュール、セグメント、または命令の一部を表すことがあり、これらは、指定された論理機能を実装するための１つまたは複数の実行可能命令から構成される。いくつかの代替実施形態では、ブロックに記載された機能は、図に記載された順序から外れて発生する可能性がある。例えば、連続して示された２つのブロックは、実際には実質的に同時に実行されることもあれば、関係する機能によっては、ブロックが逆の順序で実行されることもある。また、ブロック図および／またはフローチャート図の各ブロック、ならびにブロック図および／またはフローチャート図のブロックの組み合わせは、指定された機能または動作を実行する、または特別な目的のハードウェアおよびコンピュータ命令の組み合わせを実行する、特別な目的のハードウェアベースのシステムによって実装できることに留意されたい。

【0054】

明細書において、本発明の「一実施形態」または「一実施形態」、およびその他の変形例への言及は、実施形態に関連して説明した特定の特徴、構造、特性などが、本発明の少なくとも一実施形態に含まれることを意味する。したがって、本明細書中の各所に現れる「一実施形態において」または「一実施形態において」という表現、および他の任意の変形は、必ずしもすべてが同じ実施形態を指すとは限らない。

【0055】

例えば「Ａ／Ｂ」の場合、「Ａおよび／またはＢ」、「ＡとＢとの少なくとも１つ」のような、以下の「／」、「および／または」、「少なくとも1つ」のいずれかの使用は、第１のリストされた選択肢（Ａ）のみの選択、または第２のリストされた選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を包含すると意図していると理解されよう。さらなる例として、「Ａ、Ｂ、および／またはＣ」および「Ａ、Ｂ、およびＣの少なくとも１つ」の場合、かかる表現は、第１のリストされた選択肢（Ａ）のみの選択、または第２のリストされた選択肢（Ｂ）のみの選択、または第３のリストされた選択肢（Ｃ）のみの選択、または第１および第２のリストされた選択肢（ＡおよびＢ）のみの選択、第１および第３のリストされた選択肢（ＡおよびＣ）のみの選択、第２および第３のリストされた選択肢（ＢおよびＣ）のみの選択、または３つすべての選択肢（ＡおよびＢおよびＣ）の選択を包含すると意図されている。このことは、この技術および関連技術における通常の知識を有する者であれば容易に理解できるように、列挙された項目の数だけ拡張することができる。

【0056】

上記は、あらゆる点で例示的かつ例示的であるが、制限的なものではないと理解され、ここに開示された発明の範囲は、詳細な説明からではなく、特許法によって許される全幅に従って解釈された請求項から決定されるものである。本明細書に示され説明された実施形態は、本発明の例示に過ぎず、当業者は、本発明の範囲及び精神から逸脱することなく、様々な修正を実施することができることを理解されたい。当業者であれば、本発明の範囲と精神から逸脱することなく、様々な他の特徴の組み合わせを実施することができる。このように、特許法が要求する詳細さと特殊性をもって本発明の側面を説明したが、特許状によって請求され、保護されることを望むものは、添付の特許請求の範囲に記載されているとおりである。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】