特表 2023-542584 没入型ビデオのための連続的なフレームにおけるペアワイズマッチングを介したマルチカメラ人物関連付け

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-11

(54)【発明の名称】没入型ビデオのための連続的なフレームにおけるペアワイズマッチングを介したマルチカメラ人物関連付け

(51)【国際特許分類】

   G06T 7/292 20170101AFI20231003BHJP

   G06V 10/40 20220101ALI20231003BHJP

   H04N 7/18 20060101ALI20231003BHJP

【ＦＩ】

G06T7/292

G06V10/40

H04N7/18 G

H04N7/18 K

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022577486

(86)(22)【出願日】2020-07-30

(85)【翻訳文提出日】2022-12-20

(86)【国際出願番号】 CN2020105816

(87)【国際公開番号】W WO2022021217

(87)【国際公開日】2022-02-03

(81)【指定国・地域】

(71)【出願人】

【識別番号】591003943

【氏名又は名称】インテル・コーポレーション

(74)【代理人】

【識別番号】110000877

【氏名又は名称】弁理士法人ＲＹＵＫＡ国際特許事務所

(72)【発明者】

【氏名】ファン、ロンウェイ

(72)【発明者】

【氏名】リ、チアン

(72)【発明者】

【氏名】リ、ウェンロン

(72)【発明者】

【氏名】ファン、イカイ

(72)【発明者】

【氏名】ジェン、ハン

【テーマコード（参考）】

5C054

5L096

【Ｆターム（参考）】

5C054CA04

5C054CC02

5C054FC12

5C054HA05

5C054HA16

5L096CA05

5L096FA16

5L096FA18

5L096FA66

5L096FA69

5L096HA03

5L096HA05

5L096JA11

(57)【要約】

マルチビュービデオにおけるオブジェクト又は人物関連付け又は対応を実行することに関する技術が論じられる。そのような技術は、フレームペア間の二方向最小距離ペアに基づいて、距離部分行列のための対応部分行列を別々に最適化することに基づいて、特定の時間インスタンスにおける対応を決定することと、複数の時間インスタンスにわたってトラックレットを生成及び融合することと、そのようなトラックレット処理の後に、外れ値オブジェクトポジションの除外及びオブジェクト対応の再構成を介して、対応を調節することとを含む。

【特許請求の範囲】

【請求項1】

マルチビュービデオにおけるオブジェクト関連付けを実行するためのシステムであって、
複数のビデオフレームの各々についてのバウンディングボックスデータを格納するためのメモリであって、前記複数のビデオフレームの各々は、同一の時間インスタンスにおけるシーンの特定のビューに対応する、メモリと、
前記メモリに連結される１又は複数のプロセッサであって、前記１又は複数のプロセッサは、
前記バウンディングボックスデータに基づいて、距離行列を生成することであって、前記距離行列は、前記複数のビデオフレームの全てのペア間の利用可能なバウンディングボックスの組み合わせ間の距離を有する、生成すること[0]と、
前記距離行列内での二方向最小距離対応バウンディングボックスペアに基づいて、前記距離行列から、複数の距離部分行列を決定することと、
各対応部分行列及び各距離部分行列を有する目的関数を最適化することに基づいて、前記複数の距離部分行列の各々について、対応部分行列を別々に決定することと、
前記対応部分行列に基づいて、前記複数のビデオフレームの前記バウンディングボックスデータについての関連付けリストを提供することと
を実行する、１又は複数のプロセッサと
を備えるシステム。

【請求項2】

前記二方向最小距離対応バウンディングボックスペアのうち第１の二方向最小距離対応バウンディングボックスペアは、第１のビデオフレームの中の第１のバウンディングボックスと第２のビデオフレームの中の第２のバウンディングボックスとの間の対応を有し、前記第１の二方向最小距離対応バウンディングボックスペアは、前記第２のバウンディングボックスが、前記第１のバウンディングボックスから前記第２のビデオフレームの中の全ての候補バウンディングボックスまでの全ての利用可能な距離から、前記第１のバウンディングボックスからの最小距離を有することと、前記第１のバウンディングボックスが、前記第２のバウンディングボックスから前記第１のビデオフレームの中の全ての候補バウンディングボックスまでの全ての利用可能な距離から、前記第２のバウンディングボックスからの最小距離を有することとに応答する、請求項１に記載のシステム。

【請求項3】

前記複数の距離部分行列を決定することを実行する前記１又は複数のプロセッサは、前記複数の距離部分行列内で前記二方向最小距離対応バウンディングボックスペアを併合するための行及び列基本変換を介して、前記二方向最小距離対応バウンディングボックスペアに基づいて、前記距離行列を変換することを実行する前記１又は複数のプロセッサを有する、請求項１又は２に記載のシステム。

【請求項4】

前記１又は複数のプロセッサは、
開始時間フレームとして、前記同一の時間インスタンスを使用して、第１のトラックレットのセットを生成することと、
開始時間フレームとして、前記同一の時間インスタンスの後続の追加的な時間インスタンスを使用して、１又は複数の追加的なトラックレットのセットを生成することと、
前記第１のトラックレットのセット及び前記追加的なトラックレットのセットを使用して、前記時間インスタンスのうち１つについての初期関連付けリストを調節することと
を実行する、請求項１から３のいずれか一項に記載のシステム。

【請求項5】

前記第１のトラックレットのセットのうち第１のトラックレットは、前記１又は複数のプロセッサであって、
前記同一の時間インスタンスについてのバウンディングボックスのポジションを、前記同一の時間インスタンスの後続の第２の時間インスタンスについての前記バウンディングボックスの第２のポジションに投影することと、
組み合わせ最適化アルゴリズムの適用、及び第２の時間インスタンスにおけるオブジェクトポジションが前記同一の時間インスタンスにおける前記オブジェクトポジションの閾値距離内にあることに応答して、前記第２の時間インスタンスにおける前記オブジェクトポジションを、前記第１のトラックレットに追加することと
を実行する前記１又は複数のプロセッサにより生成される、請求項４に記載のシステム。

【請求項6】

前記１又は複数のプロセッサは、
結果として得られるトラックレットのセットを生成するために、前記第１のトラックレットのセットと、前記１又は複数の追加的なトラックレットのセットとを融合すること
を実行する、請求項４に記載のシステム。

【請求項7】

前記第１のトラックレットのセットと前記１又は複数の追加的なトラックレットのセットとを融合することを実行する前記１又は複数のプロセッサは、
前記１又は複数の追加的なトラックレットのセットの第２のトラックレットのセットの中の第２のトラックレットが、前記第１のトラックレットのセットの中の任意のトラックレットと交差しないことを決定することと、
前記第２のトラックレットが、閾値を超える長さを有することに応答して、前記第２のトラックレットを、前記結果として得られるトラックレットのセットに追加することと
を実行する前記１又は複数のプロセッサを有する、請求項６に記載のシステム。

【請求項8】

前記第１のトラックレットのセットと前記１又は複数の追加的なトラックレットのセットとを融合することを実行する前記１又は複数のプロセッサは、
前記１又は複数の追加的なトラックレットのセットの第２のトラックレットのセットの中の第２のトラックレットが、前記第１のトラックレットのセットの中の任意のトラックレットと交差しないことを決定することと、
前記第２のトラックレットを、結果として得られるトラックレットのセットの中の第３のトラックレットと併合することであって、前記第２のトラックレット及び前記第３のトラックレットの長さの合計が、前記同一の時間インスタンス及び前記追加的な時間インスタンスに対応するバッファサイズより小さいことに応答して、併合することと
を実行する前記１又は複数のプロセッサを有する、請求項６に記載のシステム。

【請求項9】

前記関連付けリストを提供することを実行する前記１又は複数のプロセッサは、前記バウンディングボックスデータの位置追跡の後に、前記関連付けリストにおけるオブジェクトのポジションの比較に基づいて、前記関連付けリストにおける１又は複数のオブジェクトを調節することを実行する前記１又は複数のプロセッサを有する、請求項１から８のいずれか一項に記載のシステム。

【請求項10】

前記１又は複数のオブジェクトを調節することを実行する前記１又は複数のプロセッサは、第１のオブジェクト関連付けから、第２のオブジェクト関連付けに、第１のビデオフレームにおける第１のオブジェクトバウンディングボックスについての関連付けを変更することであって、前記第１のオブジェクト関連付けの中心位置までの前記第１のオブジェクトバウンディングボックスの第１の距離が、前記第２のオブジェクト関連付けの中心位置までの前記第１のオブジェクトバウンディングボックスの第２の距離を超えることに応答して、変更することを実行する前記１又は複数のプロセッサを有する、請求項９に記載のシステム。

【請求項11】

前記１又は複数のオブジェクトを調節することを実行する前記１又は複数のプロセッサは、第１のビデオフレームの中の第１のオブジェクトバウンディングボックスを破棄することであって、前記第１のオブジェクトバウンディングボックスが、第１のオブジェクト関連付けポジションから閾値距離よりも遠いことに応答して、破棄することを実行する前記１又は複数のプロセッサを有する、請求項９に記載のシステム。

【請求項12】

マルチビュービデオにおけるオブジェクト関連付けを実行するための方法であって、
複数のビデオフレームの各々についてのバウンディングボックスデータを受信する段階であって、前記複数のビデオフレームの各々は、同一の時間インスタンスにおけるシーンの特定のビューに対応する、受信する段階と、
前記バウンディングボックスデータに基づいて、距離行列を生成する段階であって、前記距離行列は、前記複数のビデオフレームの全てのペア間の利用可能なバウンディングボックスの組み合わせ間の距離を有する、生成する段階と、
前記距離行列内での二方向最小距離対応バウンディングボックスペアに基づいて、前記距離行列から、複数の距離部分行列を決定する段階と、
各対応部分行列及び各距離部分行列を有する目的関数を最適化することに基づいて、前記複数の距離部分行列の各々について、対応部分行列を別々に決定する段階と、
前記対応部分行列に基づいて、前記複数のビデオフレームの前記バウンディングボックスデータについての関連付けリストを提供する段階と
を備える方法。

【請求項13】

前記二方向最小距離対応バウンディングボックスペアのうち第１の二方向最小距離対応バウンディングボックスペアは、第１のビデオフレームの中の第１のバウンディングボックスと第２のビデオフレームの中の第２のバウンディングボックスとの間の対応を有し、前記第１の二方向最小距離対応バウンディングボックスペアは、前記第２のバウンディングボックスが、前記第１のバウンディングボックスから前記第２のビデオフレームの中の全ての候補バウンディングボックスまでの全ての利用可能な距離から、前記第１のバウンディングボックスからの最小距離を有することと、前記第１のバウンディングボックスが、前記第２のバウンディングボックスから前記第１のビデオフレームの中の全ての候補バウンディングボックスまでの全ての利用可能な距離から、前記第２のバウンディングボックスからの最小距離を有することとに応答する、請求項１２に記載の方法。

【請求項14】

前記複数の距離部分行列を決定する段階は、前記複数の距離部分行列内で前記二方向最小距離対応バウンディングボックスペアを併合するための行及び列基本変換を介して、前記二方向最小距離対応バウンディングボックスペアに基づいて、前記距離行列を変換する段階を有する、請求項１２又は１３に記載の方法。

【請求項15】

開始時間フレームとして、前記同一の時間インスタンスを使用して、第１のトラックレットのセットを生成する段階と、
開始時間フレームとして、前記同一の時間インスタンスの後続の追加的な時間インスタンスを使用して、１又は複数の追加的なトラックレットのセットを生成する段階と、
前記第１のトラックレットのセット及び前記追加的なトラックレットのセットを使用して、前記時間インスタンスのうち１つについての初期関連付けリストを調節する段階と
を更に備える、請求項１２から１４のいずれか一項に記載の方法。

【請求項16】

前記第１のトラックレットのセットのうち第１のトラックレットは、
前記同一の時間インスタンスについてのバウンディングボックスのポジションを、前記同一の時間インスタンスの後続の第２の時間インスタンスについての前記バウンディングボックスの第２のポジションに投影する段階と、
組み合わせ最適化アルゴリズムの適用、及び第２の時間インスタンスにおけるオブジェクトポジションが前記同一の時間インスタンスにおける前記オブジェクトポジションの閾値距離内にあることに応答して、前記第２の時間インスタンスにおける前記オブジェクトポジションを、前記第１のトラックレットに追加する段階と
により生成される、請求項１５に記載の方法。

【請求項17】

結果として得られるトラックレットのセットを生成するために、前記第１のトラックレットのセットと、前記１又は複数の追加的なトラックレットのセットとを融合する段階
を更に備える、請求項１５に記載の方法。

【請求項18】

前記第１のトラックレットのセットと前記１又は複数の追加的なトラックレットのセットとを融合する段階は、
前記１又は複数の追加的なトラックレットのセットの第２のトラックレットのセットの中の第２のトラックレットが、前記第１のトラックレットのセットの中の任意のトラックレットと交差しないことを決定する段階と、
前記第２のトラックレットが、閾値を超える長さを有することに応答して、前記第２のトラックレットを、前記結果として得られるトラックレットのセットに追加する段階と
を有する、請求項１７に記載の方法。

【請求項19】

前記第１のトラックレットのセットと前記１又は複数の追加的なトラックレットのセットとを融合する段階は、
前記１又は複数の追加的なトラックレットのセットの第２のトラックレットのセットの中の第２のトラックレットが、前記第１のトラックレットのセットの中の任意のトラックレットと交差しないことを決定する段階と、
前記第２のトラックレットを、結果として得られるトラックレットのセットの中の第３のトラックレットと併合する段階であって、前記第２のトラックレット及び前記第３のトラックレットの長さの合計が、前記同一の時間インスタンス及び前記追加的な時間インスタンスに対応するバッファサイズより小さいことに応答して、併合する段階と
を有する、請求項１７に記載の方法。

【請求項20】

前記関連付けリストを提供する段階は、前記バウンディングボックスデータの位置追跡の後に、前記関連付けリストにおけるオブジェクトのポジションの比較に基づいて、前記関連付けリストにおける１又は複数のオブジェクトを調節する段階を更に有する、請求項１２から１９のいずれか一項に記載の方法。

【請求項21】

前記１又は複数のオブジェクトを調節する段階は、第１のオブジェクト関連付けから、第２のオブジェクト関連付けに、第１のビデオフレームにおける第１のオブジェクトバウンディングボックスについての関連付けを変更する段階であって、前記第１のオブジェクト関連付けの中心位置までの前記第１のオブジェクトバウンディングボックスの第１の距離が、前記第２のオブジェクト関連付けの中心位置までの前記第１のオブジェクトバウンディングボックスの第２の距離を超えることに応答して、変更する段階を有する、請求項２０に記載の方法。

【請求項22】

前記１又は複数のオブジェクトを調節する段階は、第１のビデオフレームの中の第１のオブジェクトバウンディングボックスを破棄する段階であって、前記第１のオブジェクトバウンディングボックスが、第１のオブジェクト関連付けポジションから閾値距離よりも遠いことに応答して、破棄する段階を有する、請求項２０に記載の方法。

【請求項23】

プロセッサに請求項１２から２２のいずれか１項に記載の方法を実行させるコンピュータプログラム。

【請求項24】

装置であって、
請求項１２から２２のいずれか１項に記載の方法を実行するための手段
を備える装置。

【発明の詳細な説明】

【背景技術】

【0001】

没入型ビデオ、及びコンピュータビジョンアプリケーション等の他の状況において、複数のカメラは、関心対象のシーンの周りに設置される。例えば、カメラは、競技場の周りのスタジアムにおいて設置されてよい。カメラから獲得されたビデオを用いて、３Ｄモデルは（例えば、ポイントクラウドボリュメトリックモデル又は他の表現を介して）、ビデオの各時間インスタンスについてのシーンについて生成される。シーン内の仮想ビューからのフォトリアリスティックビューは、次に、ユーザに没入型のエクスペリエンスを提供するために生成されてよい。特に、そのような技術は、３Ｄ空間の中にナビゲートして、任意の位置におけるシーンから、及びシーン内の任意の視点又は角度から、動作をリプレイすることを仮想カメラに可能にする。

【0002】

異なるカメラビューからの同一の人物を共に関連付けることは、多数のプレイヤ追跡アルゴリズムにおける複雑な問題である一方で、シーン（例えば、フィールド又はコート）の中にいる人々（例えば、プレイヤ）を追跡することは、仮想カメラを自動的に制御するためにキーコンポーネントである。多数のカメラプレイヤ関連付けは、同一のタイムスタンプにおける異なるカメラから同一の人物のバウンディングボックスの検出及び追跡を共に統合する。

【0003】

多数のカメラからの安定的で正確な関連付けを提供するには、いくつかの課題が存在する。まず、各カメラからの検出結果は、完全に信頼できない。検出において、バウンディングボックスミスは、特に、プレイヤが共に混雑し、閉塞が生ずるときに、一般的である。例えば、１つのバウンディングボックスは、１人の人物よりも多く（例えば、３人の人々より多く）をカバーし得、これは、関連付けられる人々の数を低減させる。第２に、検出されたバウンディングボックスは、連続的なフレームにおいて、不安定である。特に、２つの隣接したフレームは、異なる数のバウンディングボックスを有し得、これは、隣接したフレームにおける非連続的な関連付け位置を生ずる。第３に、異なるカメラにおける同一の人物のイメージは、大きな変動を有し得る。異なる視点と人物の重複は、マッチングを難しくする。更に、リアルタイムの処理のための実行時間には、強力な制限が存在する。

【0004】

多数のカメラからの関連付けのための現在の技術は、幾何制約ベースの技術と、軌道融合ベースの技術とを含む。幾何制約技術は、典型的に、単一フレーム関連付けについて用いられるが、軌道融合技術は、通常、連続的なフレーム関連付けにおいて用いられる。更に、現在の技術は、幾何学的制約と、人間キーポイントと、プレイヤ再識別特徴とを共に組み合わせて、幾何学的制約と再識別とから類似度行列を構築し、類似度行列を最適化するために凸最適化を用いて、最良の関連付けを得ることにより、マルチビューマッチングを実行してよい。また、関連付けを追跡することは、外見、動き、及びジオメトリ情報を収集することにより、最適化タスクとしてモデル化されてよい。しかしながら、そのような技術は、限定するものを有する。幾何制約技術については、単一フレーム情報のみが用いられ、このため、連続的なフレームにおいて、ジッタが生ずる。いくつかの技術は、グローバル最適化戦略を用いて、関連付け結果を最適化するが、そのような技術は、時間がかかり、リアルタイムで実行され得ない。現在の追跡融合方法は、単一カメラ追跡に依存しており、これは、スポーツアプリケーション等の混雑した場合において、頻繁な識別切り替えを不都合に引き起こす。更に、そのような技術は、複雑であり、そして再び、リアルタイムの適用に利用可能ではない。

【0005】

高精度及び安定性を有して、リアルタイムで、連続的なフレームにおけるマルチカメラ人物又はオブジェクト関連付けを、提供することが望ましい。これら、及び他の考慮事項に関連して、この改善が必要とされてきた。そのような改善は、マルチビュービデオからの新しい、没入型のユーザエクスペリエンスを提供することへの願望が、より広くいきわたるようになるにつれて、重大になり得る。

【図面の簡単な説明】

【0006】

本明細書において説明される素材は、添付の図において、限定するものとしてではなく、例として示されている。説明の簡略化及び明確性のために、図において示される要素は、必ずしも縮尺通りに描かれていない。例えば、いくつかの要素の寸法は、明確性のために他の要素に対して誇張されていてよい。更に、適切であると考えられる場合、対応する要素又は類似する要素を示すために、参照符号が図の間で繰り返し用いられている。図面は、以下の通りである。

【図1】マルチカメラ環境内のプレイヤを追跡するための例示的なシステムを示す図である。

【図2】例示的なシーンで訓練される例示的なカメラアレイを示す図である。

【図3】連続的なフレームにおけるペアワイズマッチングを用いたオブジェクト関連付けを生成するための例示的なマルチカメラ関連付けモジュールを示す図である。

【図4】推定されたフットポイントを用いた、バウンディングボックス及び対応するプレイヤの位置の例示的な決定を示す図である。

【図5】例示的な距離行列を示す図である。

【図6】二方向最小距離を用いた例示的なバウンディングボックスペアリングを示す図である。

【図7】二方向最小距離を用いた別の例示的なバウンディングボックスペアリングを示す図である。

【図8】例示的な二方向最小距離フラグ行列及び行方向行列変換を示す図である。

【図9】行方向変換から結果として得られる行列を示す図である。

【図10】列方向変換から結果として得られる行列を示す図である。

【図11】行方向及び列方向変換を続けた後の結果として得られる行列及び例示的な部分行列を示す図である。

【図12】生成が各時間フレームにおいて始まる、例示的なトラックレット生成を示す図である。

【図13】例示的なトラックレット融合を示す図である。

【図14】トラックレット融合を実行するための例示的なプロセスを示す図である。

【図15】例示的なプレイヤ再構成又は再割当て処理を示す図である。

【図16】例示的な大きな距離に起因したプレイヤ除去処理を示す図である。

【図17】マルチビュービデオにおけるオブジェクト関連付けを実行するための例示的なプロセスを示すフロー図である。

【図18】マルチビュービデオにおけるオブジェクト関連付けを実行するための例示的なシステムの説明図である。

【図19】例示的なシステムの説明図である。

【図20】全て本開示の少なくともいくつかの実施例に従って配置された、例示的なデバイスを示す図である。

【発明を実施するための形態】

【0007】

ここで、同封された図を参照して１又は複数の実施形態又は実施例について説明する。特定の構成及び配置について論じるが、これは例示目的でのみ行われることを理解されたい。当業者であれば、本明細書の主旨及び範囲から逸脱することなく、他の構成及び配置が採用され得ることを認識するであろう。本明細書において説明された技術及び／又は配置がまた、本明細書において説明された以外の様々な他のシステム及びアプリケーションにおいて採用され得ることが、当業者には明らかとなろう。

【0008】

以下の説明は、例えば、システムオンチップ（ＳｏＣ）アーキテクチャ等のアーキテクチャ内で明示され得る様々な実施例を記載する一方で、本明細書において説明される技術及び／又は配置の実施例は、特定のアーキテクチャ及び／又はコンピューティングシステムに制限されず、同様の目的のための任意のアーキテクチャ及び／又はコンピューティングシステムによって実装されてよい。例えば、多数の集積回路（ＩＣ）チップ及び／又はパッケージを採用する様々なアーキテクチャ、及び／又は様々なコンピューティングデバイス、及び／又はセットトップボックス、スマートフォン等の家庭用電子（ＣＥ）デバイスは、例えば、本明細書において説明される技術及び／又は配置を実装し得る。更に、以下の説明では、ロジックの実施例、システムコンポーネントのタイプ及び相互関係、ロジックの分割／統合の選択等の、多数の具体的な詳細を記載し得るが、特許請求される主題は、そのような具体的な詳細なしに実施され得る。他の例において、例えば、制御構造及び完全なソフトウェア命令シーケンス等のいくつかの素材は、本明細書において開示される素材を不明瞭にしないよう、詳細に示されていなくてよい。

【0009】

本明細書において開示される素材は、ハードウェア、ファームウェア、ソフトウェア、又はこれらの任意の組み合わせにおいて実装されてよい。本明細書において開示される素材はまた、１又は複数のプロセッサにより読み込まれ実行され得る、機械可読媒体に格納された命令として実装され得る。機械可読媒体は、機械（例えば、コンピューティングデバイス）により可読な形式で情報を格納又は送信するための任意の媒体及び／又はメカニズムを含んでよい。例えば、機械可読媒体は、リードオンリメモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、磁気ディスクストレージ媒体、光ストレージ媒体、フラッシュメモリデバイス、電気、光、音又は他の形式の伝搬信号（例えば、搬送波、赤外線信号、デジタル信号等）及び他のものを含んでよい。

【0010】

本明細書における「１つの実施例」、「一実施例」、「一例示的な実施例」等の参照は、説明される実施例は、特定の特徴、構造、又は特性を含んでよいが、あらゆる実施形態が必ずしもこの特定の特徴、構造、又は特性を含まなくてよいことを示す。また、そのような文言は、必ずしも同一の実施例を指しているわけではない。更に、一実施形態に関連して特定の特徴、構造又は特性が説明されるとき、本明細書において明示的に説明されているか否かにかかわらず、他の実施例に関連してそのような特徴、構造又は特性をもたらすことは当業者の知識の範囲内であることが述べられている。

【0011】

「実質的に」、「近い」、「ほぼ」、「近く」、及び「およそ」という用語は、一般的に、目標値の＋／－１０％以内であることを指す。例えば、これらの使用の明示的な状況において別段指定されない限り、「実質的に等しい」、「およそ等しい」及び「ほぼ等しい」という用語は、そのように説明されたもののうちの間の付随的な変動を超えないことを意味する。当分野において、そのような変動は、典型的には、予め定められた目標値の＋／－１０％以下である。別段指定されない限り、共通のオブジェクトを説明するための序数詞「第１」、「第２」、及び「第３」等の使用は、同様のオブジェクトの異なるインスタンスを指すことを単に示し、そのように説明されるオブジェクトが、時間的に、空間的に、順位における又は任意の他の態様のいずれかにおける所与の順序にある必要があることを示唆することを意図しない。

【0012】

方法、デバイス、装置、コンピューティングプラットフォーム、及び物品は、連続的なフレームにおけるマルチカメラ又はマルチビュー人物又はオブジェクト関連付けを提供することに関して、本明細書において説明される。

【0013】

上述のように、高精度及び安定性実行を有して、リアルタイムで、連続的なフレームにおけるマルチカメラ人物又はオブジェクト関連付けを提供することは、利点である。本明細書において論じられる技術は、連続的なフレームを通じたペアワイズマッチングを介して、マルチカメラ関連付けを実行する。そのような技術はまず、フレーム毎に、関連付けを実行し、次に、関連付けを洗練させるために、マルチフレーム位置追跡結果を実装する。例えば、各時間インスタンスに対する、全てのカメラビューにわたる距離行列は、ペアワイズな態様で生成される。次に、プレイヤの関連付けは、距離行列の最適化により、決定される。リアルタイムで実行するため、検索空間を実質的に低減するために、そのような最適化の前に、ハード制約が提供される。そのような関連付けがいくつかのフレームに提供された（例えば、関連付け結果がいくつかの連続的なフレーム対して生成された）後、位置追跡は、追跡すること、補間すること、及び併合することに基づいて、現在の関連付けに基づいて実行されて、複数の時間インスタンスにわたる連続的なプレイヤ位置と安定的なプレイヤ番号とを生成する。前述のプレイヤ番号及び位置に基づいて、バウンディングボックス再構成及び除去は次に、時間インスタンスにわたるエラーマッチングを更に洗練するために、実行される。

【0014】

図１は、本開示の少なくともいくつかの実施例に従って配置された、マルチカメラ環境内でプレイヤを追跡するための例示的なシステム１００を示す図である。図１において示されるように、システム１００は、カメラ１０２とカメラ１０３とを含む、任意の数Ｎ個のカメラを有するカメラアレイ１０１を含む。各カメラは、ビデオ１０４とビデオ１０５とを含む、対応するビデオを生成する。プレイヤ検出モジュール１０６、１０７を含むプレイヤ検出モジュールは、撮影されたビデオ内のプレイヤを検出し、プレイヤ追跡モジュール１０８、１０９を含むプレイヤ追跡モジュールは、バウンディングボックス１２０、１２１を含むバウンディングボックスを生成するために、そのような検出されたプレイヤを追跡する。本明細書において、表示の明確性のために、プレイヤ検出、追跡、関連付け等に関して論じられる。しかしながら、技術は、任意の人々、動物、オブジェクト、又はこれらの組み合わせに適用されてよい。特に、スポーツイベントの状況において、そのようなプレイヤ追跡は、審判員を追跡することを含む。

【0015】

図２は、本開示の少なくともいくつかの実施例に従って配置された、例示的なシーン２１０で訓練される例示的なカメラアレイ１０１を示す図である。示された実施形態において、カメラアレイ１０１は、スポーツフィールドで訓練される３６個のカメラを含む。しかしながら、カメラアレイ１０１は、シーン２１０で訓練される、１５個以上のカメラ等の任意の好適な数のカメラを含んでよい。例えば、カメラアレイ１０１は、シーン２１０の３Ｄモデルを生成するために、シーン２１０で訓練されてよく、より少ないカメラは、３Ｄモデルを生成するのに十分な情報を提供しない場合がある。カメラアレイ１０１は、スポーツフィールドを取り囲むグランドに沿って、シーン２１０のスポーツフィールドを取り囲むスタジアム（不図示）に搭載され、較正され、シーン２１０で訓練されて、シーン２１０の同時のビデオフレームを撮影してよい。示されるように、カメラアレイ１０１の各カメラは、シーン２１０の特定のビューを有する。例えば、カメラ１０２は、シーン２１０の第１のビューを有し、カメラ１０３は、シーンの第２のビューを有する等である。本明細書において使用されるように、ビューという用語は、カメラアレイ１０１の特定のカメラのイメージ平面のイメージコンテンツ、又はシーン２１０内に位置する仮想カメラからの任意のビューのイメージコンテンツを示す。特に、多数のビューが同一の人物、オブジェクト、エンティティ等の表現を含むように、ビューは、撮影されたビュー（例えば、カメラにおけるイメージ撮影を用いて獲得されたビュー）であってよい。

【0016】

図１に戻ると、示されるように、カメラ又はビュー毎の処理は、バウンディングボックス１２０、１２１を含むバウンディングボックスを生成する。バウンディングボックス１２０は、ビデオ１０５の一部又は全てのフレーム内の検出されたかつ追跡されたプレイヤについてのバウンディングボックスを表す又は示す任意のデータ構造を含んでよい。例えば、バウンディングボックス１２０は、各フレーム、１つおきのフレーム、２つおきのフレーム、又は同様のもの内での各バウンディングボックスの位置及びサイズを表すデータを含んでよい。バウンディングボックス１２１は、ビデオ１０５についての同様のデータを含む。任意の数の、ビュー毎の又はカメラ毎のバウンディングボックス又はバウンディングボックスデータは、本明細書において論じられるような処理のためにマルチカメラ関連付けモジュール１１４に提供されて、同一のプレイヤを含むとみなされた一致するバウンディングボックスを示す関連付けリスト１２２を生成する。関連付けリスト１２２は、そのような関連付け又は対応（ｃｏｒｒｅｓｐｏｎｄｅｎｃｅ）を示すために任意の好適なデータ構造を有する１又は複数のリストを含んでよい。例えば、各バウンディングボックスは、特定の時間インスタンスにおける各ビューからの各フレーム内でインデックスされてよく（例えば、３６のインデックスされたバウンディングボックスの発生）、関連付けリスト１２２は、時間インスタンスに対して、特定のプレイヤと対応するものからそれぞれバウンディングボックスのインデックスをリストにしてよい。いくつかの実施形態において、マルチカメラ関連付けモジュール１１４は、ジャージ認識モジュール１１０、１１１を含むジャージ認識モジュールからのジャージ認識データと、チーム分類モジュール１１２、１１３を含むチーム分類モジュールからのチーム分類データとを更に受信し、各プレイヤは、チーム（例えば、ホーム又はアウェイ）とプレイヤ番号とによって更に特定されてよい。例えば、関連付けリスト１２２は、ホームのプレイヤ番号５についてのエントリであって、カメラアレイ１０１から利用可能な各ビューにおけるそのプレイヤについての各バウンディングボックスを示す、ホームのプレイヤ番号５についてのエントリ、及びアウェイのプレイヤ番号１２についてのエントリであって、カメラアレイ１０１から利用可能な各ビューにおけるそのプレイヤについての各バウンディングボックスを示す、アウェイのプレイヤ番号１２についてのエントリを含んでよく、全ての特定されたプレイヤ又は人物について同じように続く。更に、同様のリストは、撮影されたフレームの各時間インスタンス又はタイムスタンプにおいて、又は１つおきの時間インスタンス等について、生成されてよい。

【0017】

示されるように、関連付けリスト１２２は、時間的及び空間的なドメインにおいて、プレイヤ情報を組み合わせて、プレイヤ軌道を提供し、プレイヤ軌道を更に追跡及び最適化して、円滑で堅牢なシステム１００による使用のための出力を提供する、オプションのマルチカメラ追跡モジュール１１５とプレイヤ軌道最適化モジュール１１６とに提供される。特に、図２を参照して、シーン２１０内の所望の仮想カメラは、最終的なボリュメトリックビデオ（例えば、ポイントクラウド表現又は他のデータ構造）を生成するために、キープレイヤを追うように管理されてよい。図１において示されるように、そのようなプレイヤ追跡のパイプラインは、単一カメラプレイヤ検出及び追跡から始まる。次に、チーム分類及びジャージ認識は、検出された各プレイヤに対して提供される。そのようなデータは、シーンの異なるビューからのプレイヤについての対応を関連付ける又は提供するために、マルチカメラ関連付けモジュール１１４に提供される。マルチカメラ追跡は、時間的及び空間なドメインにおいて、全てのプレイヤ情報（例えば、チーム、ジャージ）を共に融合し、プレイヤ軌道を生成するために適用され、これには、円滑で正確なシステム１００により用いられるための出力を提供するために、プレイヤ軌道最適化（ＰＴＯ）が続く。本明細書において論じられる技術の焦点は、正確でリアルタイムのマルチカメラ関連付け結果を提供することにある。論じられるように、全てのカメラビューにより生成される追跡バウンディングボックスを含む入力は、提供され、関連付けリスト又は全てのカメラビューにおける同一のプレイヤバウンディングボックスを提供するリストを含む出力は、生成される。

【0018】

図３は、本開示の少なくともいくつかの実施例に従って配置された、連続的なフレームにおけるペアワイズマッチングを用いたオブジェクト関連付けを生成するための例示的なマルチカメラ関連付けモジュール１１４を示す図である。論じられるように、マルチカメラ関連付けモジュール１１４は、プレイヤ追跡モジュール１０８、１０９それぞれからバウンディングボックスデータ１２０、１２１等のバウンディングボックスデータを受信する。示されるように、いくつかの実施形態において、マルチカメラ関連付けモジュール１１４は、バウンディングボックス対応構築モジュール３０１と、連続的フレームにおける位置追跡モジュール３０２と、後処理モジュール３０３とを含む。連続的フレームにおける位置追跡モジュール３０２に関して、位置は、複数の時間インスタンスにわたって追跡され、これはまた、連続的時間フレーム又は単に連続的フレームと称されてよい。しかしながら、そのような時間フレームは、各時間インスタンスにおいて各カメラによって生成されるビデオフレーム又はビデオイメージと混同されるものでない。

【0019】

いくつかの実施形態において、マルチカメラ関連付け問題は、連続的タイムスタンプバッファを用いることにより対処される。いくつかの実施形態において、ハード制約を有するペアワイズマッチングは、バウンディングボックスペア間の対応を構築するために用いられる。そのような技術は、技術がリアルタイムで動作できるように、各時間フレームにおける関連付け複雑性を著しく低減する。更に、２Ｄグランドプレーンにおける関連付け結果に基づく位置追跡及び併合技術は、安定的なプレイヤ位置及びプレイヤ番号を維持するために採用される。そのような技術は、安定的で正確な位置及び追跡を提供する。また、関連付け結果は、関連付けエラー補正のために、追跡結果に基づいて、改良される。本明細書において論じられるシステム及び技術は、リアルタイムでの、安定的で正確な関連付け結果を生成する。

【0020】

いくつかの実施形態において、採用されたパイプラインは、２つの部分：関連付けと後処理とへと分割される。関連付けは、異なるカメラビューから、同一のプレイヤをマッチングする。後処理は、向上した安定性及び精度のために、ヒューリスティック手法を通じて、関連付け結果を洗練させる。例えば、関連付け部分は、バウンディングボックス対応構築モジュール３０１及び連続的フレームにおける位置追跡モジュール３０２により提供されてよく、後処理は、後処理モジュール３０３により提供されてよく、これは、示されるように、関連付け結果再構成及び大きな距離除去を提供する。論じられるように、マルチカメラ関連付けモジュール１１４への入力は、全てのカメラビューから生成された追跡バウンディングボックスであり、出力は、全てのカメラビューにおける同一のプレイヤバウンディングボックスを含む関連付けリスト１２２である。

【0021】

バウンディングボックス対応構築モジュール３０１は、バウンディングボックスデータ１２０、１２１を受信し、これは、特定の時間インスタンスにおける各対応するビデオフレームについて、バウンディングボックスの数、ビデオフレームにおける各バウンディングボックスの位置、各バウンディングボックスのサイズを示す。つまり、バウンディングボックスの数、ビデオフレームにおける各バウンディングボックスの位置、及び各バウンディングボックスのサイズは、シーン２１０の各ビューについて提供される。特に、各バウンディングボックスの中のプレイヤは、シーン２１０の多くの又は全てのビューから視認可能であってよく、従って、バウンディングボックスは、同一のプレイヤを含むとき、対応する。本明細書において論じられる技術は、全てのそのようなビューにわたる（例えばビデオフレーム内の）そのようなバウンディングボックスを関連付けることを試みる。

【0022】

いくつかの実施形態において、３Ｄ空間の中でのグランドプレーン上の各そのようなバウンディングボックスの位置は、決定され、対応のために用いられる。グランドプレーン上の各バウンディングボックスの位置は、任意の好適な１又は複数の技術を用いて生成されてよい。いくつかの実施形態において、異なるバウンディングボックスについてのフットポイントの距離は、バウンディングボックスの対応を構築するために、制約として用いられる。

【0023】

図４は、本開示の少なくともいくつかの実施例に従って配置された、推定されたフットポイントを用いた、バウンディングボックスの位置及び対応するプレイヤの例示的な決定を示す図である。示されるように、対応するプレイヤ４１２を有するバウンディングボックス４１１について、フットポイント４０６（これはまた、バウンディングボックス位置若しくはポジション、プレイヤ位置若しくはポジション、足ポジション若しくは位置、又は同様のものとして特徴付けられてよい）は、足首ポイント４０１、４０２及びバウンディングボックスボトムライン４０５に基づいて、決定されてよい。いくつかの実施形態において、フットポイント４０６は、バウンディングボックスボトムライン４０５と、バウンディングボックスボトムライン４０５に垂直であり、足首ポイント４０１、４０２の間の中心ポジション４０３（又は中間のポジション）に延伸した垂直線４０４との交点として生成される。例えば、フットポイント４０６として特徴付けられる中央中心ポイントは、シーン２１０（不図示）に適用される３Ｄグローバル座標系におけるバウンディングボックス４１１及びプレイヤ４１２の代表的なポジションとして用いられてよい。特に、異なるカメラビューからの同一のプレイヤのフットポイントは、グローバル座標系において重複するであろう。示されるように、バウンディングボックスボトムライン４０５と、プレイヤ４１２の足首ポイント４０１、４０２の中心ポジション４０３を通って延伸する垂直線４０４との交差ポイントは、改善された精度のために、バウンディングボックスボトムライン中心の代替として用いられる。足首ポイント４０１、４０２は、任意の好適な１又は複数の技術を用いて決定されてよい。いくつかの実施形態において、人間姿勢推定のための深層高解像度表現ネットワークは、足首ポイント４０１、４０２を決定するために採用される。

【0024】

各フットポイント４０６（例えば、各ビューに対応する各ビデオフレームの中の各バウンディングボックスに対するもの）は、次に投影され、カメラビューについての投影行列（例えば、ビデオフレームから３Ｄ座標系へと変換するための投影行列）を用いて、それぞれのカメラビューからの全てのフットポイントが３Ｄ座標系のグランドプレーンへと投影される。これら投影点は、異なるビューからのコートの中のプレイヤ位置を表す。

【0025】

図３に戻ると、そのような技術に基づいて、バウンディングボックス対応構築モジュール３０１は、各時間インスタンスにおける各ビデオフレームにおける各バウンディングボックスについての３Ｄ座標系のグランドプレーン上に位置を生成する。バウンディングボックス対応構築モジュール３０１は次に、以下の通り、（各時間インスタンス又は時間フレームにおける）それらの間のそのような位置及び距離を用いて、バウンディングボックス間の対応を決定する。

【0026】

カメラアレイ１０１がＭ個のカメラを含み、（各カメラビューについての）各ビデオフレームがＮ_ｍ個のバウンディングボックスを有すると仮定すると、ビデオフレーム（又はカメラビュー）のあらゆるペア（例えば、各利用可能なペアリング）間のバウンディングボックスの各組み合わせ間の足の距離は、決定され、距離行列において提供される。例えば、各２つのカメラビューペアｉ及びｊについて、次元Ｎ_ｉ×Ｎ_ｊの距離行列

【数1】

は、１つのバウンディングボックスが、第１のビデオフレームの中にあり、及びもう一方のバウンディングボックスが第２のビデオフレームの中にあるように、各エントリが、バウンディングボックスのペア（又は組み合わせ）間の距離を示すように、生成される。そのようなビューペア距離行列の各々は、全体の距離行列へと組み合わされてよい。更に、ペアになったフレーム間のバウンディングボックス間の対応は、部分置換行列

【数2】

により表されてよく、ここで、部分置換行列の各エントリは、０（バウンディングボックスが対応しないことを示す）又は１（バウンディングボックスが対応し、従って同一のプレイヤを表すことを示す）である。部分置換行列は、式（１）：

【数3】

により示されるような二重確率制約を満たすべきである。

【0027】

カメラアレイ１０１における全てのＭ個カメラについて、

【数4】

個の追跡されたバウンディングボックスの合計が、全てのビデオフレーム（又はカメラビュー）に含まれる。従って、論じられるように、全ての距離組み合わせを含む全体の距離行列は、生成されてよく、対応する対応行列は、式（２）

【数5】

において示されるように提供されてよく、ここで、Ｐは、対応行列であり、Ｐ_ｉｉは、アイデンティティであるべきである。更に、構築対応は、式（３）：

【数6】

において示される制約を満たすべきであり、ここで、ｓは、シーン２１０におけるプレイヤの数であり、ｒａｎｋ（階数）は、対応行列の列により張られるベクトル空間の次元である。マルチカメラビュープレイヤを関連付けることの問題は、全体の距離行列又は単に距離行列Ａを入力として取ること、及び距離行列全体を最小化する最適の対応行列Ｐを出力することとして表され得る。プレイヤの数ｓは、未知数であるとして、以下の目的関数は、式（４）：

【数7】

において示されるような低階数及び半定値対応行列Ｐを推定するのに最適化され得、ここで、

【数8】

は、内積を提供し、λは、低階数制約の重みである。式（４）は、対応距離行列（又は距離部分行列）に対する対応行列（又は対応部分行列）を決定することの最適化のための目的関数を提供する。

【0028】

論じられるように、カメラアレイ１０１は、１５個以上のカメラ等の任意の数のカメラを含んでよい。例えば、１８個のカメラを採用したサッカーの試合において、各ビューは、２２人のプレイヤ及び３人の審判員を含むことが想定される。そのような状況において、対応行列の決定は、リアルタイムで実行されるには、過度に時間がかかる。いくつかの実施形態において、計算複雑性を低減し、リアルタイムの適用を可能にするために、ハード制約が採用されて、行列を別々に最適化され得る部分行列へと分割する。例えば、各カメラ（又はビュー）ペアについてのＮ_ｉ×Ｎ_ｊの次元を有する距離行列（及び対応行列）について、バウンディングボックスｊが、バウンディングボックスｉから最小距離を有し、同時に、ｉが、ｊから最も小さい距離を有するときにのみ、対応は、構築（例えば評価）される。即ち、第１のビデオフレーム（又は第１のビュー）の中の例示的なバウンディングボックスｉについて、最も小さい距離の第２のビデオフレーム（又は第２のビュー）の中のバウンディングボックスは、（第２のビデオフレームの中の全ての利用可能なバウンディングボックスから）決定される。第２のビデオフレーム（又は第２のビュー）の中の最小距離バウンディングボックスは、ｊであると仮定し、ｊからの距離が最も小さい第１のビデオフレーム（又は第１のビュー）の中のバウンディングボックスもまたｉである場合にのみ、対応は、ｉとｊとの間で宣言される。

【0029】

そのようなハード制約対応の生成後、距離行列は、式（５）：

【数9】

において示されるような対角行列として書き換えられ得、ここで、

【数10】

は、部分行列である。式（４）の中のＡを各

【数11】

と置換することによって、各部分行列は、小さな検索空間において別々に解かれ得る。サッカーの試合の例を続けると、プレイヤの最大数は、部分行列において５であるが、元の行列において２０を超える。その結果、新しい距離行列の次元は、元のものよりはるかに小さい。最適化前の検索空間は、Ｎ^２であり、これは、低減した計算複雑性及びリアルタイムの適用を含む低減した処理時間を可能にする論じられた距離制約の適用の後、（Ｎ／４）^２未満に低減し得る。

【0030】

図５は、本開示の少なくともいくつかの実施例に従って配置された、例示的な距離行列５００を示す図である。例において、３個のカメラ（又はビデオフレーム又はビュー）と、カメラ毎に３個のバウンディングボックスとを含む状況が、表示の明確性のために提示されている。本明細書において論じられるように、任意の数のカメラ（例えば、およそ１５から４０個のカメラ）と、カメラ毎の任意の数の検出されたバウンディングボックス（例えば、およそ１５から２５個）が採用されてよい。更に、距離行列５００は、本明細書において論じられるように、ビデオフレームの各組み合わせをペアリングすることによって、ビデオフレームのバウンディングボックス間の距離を決定することによって生成され、距離行列５００は、特定の時間インスタンスについての全体の又は総計の距離行列として説明されてよい。特に、距離行列５００は、ビデオフレームの任意の又は全ての時間インスタンスについて生成されてよい。

【0031】

図５の例において、３個のカメラ：Ａ、Ｂ、及びＣが採用されている。更に、各カメラは、３個のバウンディングボックス：１、２、３を含む。従って、カメラＡは、３個のバウンディングボックスＡ１、Ａ２、Ａ３を有し、カメラＢは、３個のバウンディングボックスＢ１、Ｂ２、Ｂ３を有し、同じように続く。論じられるように、一般的に、距離行列５００

【数12】

は、Ｎ_ｉ×Ｎ_ｊの次元を有する。この例において、距離行列５００は、９ｘ９の次元を有する。距離行列５００において、グリッドボックス５０１、５０２等の各グリッドボックスは、関連するバウンディングボックス足位置の間の、３Ｄ座標系におけるグランドプレーンに沿った距離を含む、又は表す。例えば、グリッドボックス５０１は、バウンディングボックスＣ３（カメラビューＣにおける第３バウンディングボックス）の足ポジションと、バウンディングボックスＡ１（カメラビューＡにおける第１のバウンディングボックス）の足ポジションとの間の距離を表し、グリッドボックス５０２は、バウンディングボックスＢ２（カメラビューＢにおける第２のバウンディングボックス）の足ポジションと、バウンディングボックスＡ３（カメラビューＡにおける第３バウンディングボックス）の足ポジションとの間の距離を表す等である。

【0032】

論じられるように、距離行列５００の各ポジションについて、（対応を示す）１又は（対応なしを示す）０の値が対応行列において提供されるように、バウンディングボックス間の対応を決定するために、距離行列５００と同様の対応行列は、生成される。更に、論じられるように、距離行列５００の全体を用いた式（４）の適用に基づいた対応行列の最適化は、リアルタイムの適用にとって、過度に時間がかかり、計算集約的である。代わりに、距離行列５００（及び対応行列）を、より小さい部分行列へと分割するためのハード制約が適用され、そのような部分行列は、別々に解かれて、対応を決定する。

【0033】

いくつかの実施形態において、ハード制約を採用することは、二方向最小距離が決定されるときにのみ、対応を構築することを含む。即ち、第１のビューにおけるバウンディングボックスが第２のビューにおけるバウンディングボックスから最も小さい距離を有し、またその逆も同様であるという対応に応答して、全てのカメラペアについて、バウンディングボックスペアフラグは、異なるカメラビューのバウンディングボックス間でセットされる。

【0034】

図６は、本開示の少なくともいくつかの実施例に従って配置された、二方向最小距離を用いた例示的なバウンディングボックスペアリング６００を示す図である。図６の例において、カメラＡとカメラＢとの間のバウンディングボックスペアリングは、表示の明確性のために示される。例において、各グリッドボックスは、バウンディングボックスのフットポイントの間の、３Ｄ座標系におけるグランドプレーンに沿った距離を含む。示されるように、カメラビューＡにおける第１のバウンディングボックスと、カメラビューＢにおける第２のバウンディングボックスとの間の距離は、２単位であり（例えば、Ａ１からＢ２までの距離は、２単位であり）、同じように続く。二方向最小距離を有するバウンディングボックスのペアを決定するために、バウンディングボックスＡ１から始めると、最小距離バウンディングボックスは、２単位の距離にあるビューＢ２にあることが分かる。二方向最小距離を用いたペアリングをすべきＡ１とＢ２とについて、この場合、バウンディングボックスＡ１はまた、バウンディングボックスＢ２にとってのビューＡにおける最小距離バウンディングボックスである必要がある。バウンディングボックスＡ１及びＢ２、Ａ２及びＢ１、並びにＡ３及びＢ３をペアリングする二方向最小距離フラグ６０１、６０２、６０３を決定するために、各バウンディングボックスについてそのような処理が続く。

【0035】

図７は、本開示の少なくともいくつかの実施例に従って配置された、二方向最小距離を用いた例示的なバウンディングボックスペアリング７００を示す別の図である。図７の例において、２個のカメラビューＡ及びＢが再び用いられるが、ここでは、カメラビューＡがバウンディングボックスＡ１、Ａ２、Ａ３、Ａ４、Ａ５、及びＡ６を有し、カメラビューＢがバウンディングボックスＢ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、及びＢ６を有するように、各ビューにおけるバウンディングボックスの数が６である。表示の明確性のために、図７において、全ての２つの最小距離ペアが示されているわけではないことに留意されたい。この例において、図６に関して論じられているように、処理は、続く。特に、バウンディングボックスＡ４に関して、ビューＡにおける最小距離バウンディングボックスは、それが列Ａ４における最も小さい距離であるとして、（２．２単位の距離を有する）バウンディングボックスＢ３に決定される。確立されるべき二方向ペアについて、バウンディングボックスＡ４はまた、それが行Ｂ３における最も小さい距離であるものとして、バウンディングボックスＡ４にとってのビューＢにおける最小距離バウンディングボックスである必要がある。バウンディングボックスＡ６の処理を続けると、バウンディングボックスＢ４は、列Ａ６における最も小さい距離であるとして、（７．７７単位の距離を有する）ビューＢにおける最も小さい距離のバウンディングボックスである。しかしながら、バウンディングボックスＡ６は、ビューＡにおけるバウンディングボックスＢ４にとっての最も小さい距離のバウンディングボックスでないため、二方向ペアリングは、確立されない。代わりに、ビューＡにおけるバウンディングボックスＢ４にとっての最も小さい距離のバウンディングボックスは、それが行Ｂ４において最も小さい距離であるとして、（６．７３単位の距離を有する）バウンディングボックスＡ２である。従って、二方向最小距離フラグ７０１は、バウンディングボックスＡ４及びＢ３をペアリングするために提供されるが、ペアリングフラグは、グリッドボックス７０２に対して提供されない。

【0036】

特に、各カメラペアの次元Ｎ_ｉ×Ｎ_ｊの距離行列について、ｊ（例えば、カメラビューＢにおける或るバウンディングボックスインデックス）が、ｉ（例えば、カメラビューＡにおける或るバウンディングボックスインデックス）への最小距離であり、同時に、ｉが、ｊへの最小距離を有するときにのみ、対応は構築される。図７において示されるように、Ａ４及びＢ３は、対応ペアである一方で、Ａ６及びＢ４は、対応ペアでない。論じられた二方向距離フラグ（例えば、対応ペア）を用いて、距離行列５００は次に、最終的な対応を決定するために、部分行列へと変換され、分割される。

【0037】

図８は、本開示の少なくともいくつかの実施例に従って配置された、例示的な二方向最小距離フラグ行列８００及び行方向行列変換８１１、８１２を示す図である。図８において、シェーディングを有するグリッドボックスは、グリッドボックス８０１に関して示されるように、二方向最小距離対応を示す（例えば、バウンディングボックスＡ２及びＣ２は、グリッドボックス８０１においてフラグにより示された対応ペアである）が、シェーディングがないグリッドボックスは、グリッドボックス８０２に関して示されるように、そのようなフラグを示さない（例えば、バウンディングボックスＢ１及びＣ３は、ペアリングされていない）。図８において示されるように、バウンディングボックスＡ１は、バウンディングボックスＢ２及びＣ１とペアリングされている。これに応答して、行列（例えば、距離行列５００及び対応行列）は、バウンディングボックスＡ１に対応する行の直下にバウンディングボックスＢ２及びＣ１に対応する行を移動させるための基本行列変換８１１、８１２（それぞれ交換とラベル付けされている）に従って、変換される。

【0038】

図９は、本開示の少なくともいくつかの実施例に従って配置された、行方向変換から結果として得られる行列９００を示す図である。図９において示されるように、対応を行列の左上隅に向かって併合するために、行Ｃ１とＡ３とが交換されたように、行Ｂ２とＡ２とは、交換されている。更に、図９は、バウンディングボックスＡ１に対応する列に直接隣接するようにバウンディングボックスＢ２及びＣ１に対応する列を移動させるための、行方向行列変換８１１、８１２に類似した列方向行列変換９１１、９１２を示す。そのような基本変換は、再び、対応を行列の左上隅に向かって併合する。

【0039】

図１０は、本開示の少なくともいくつかの実施例に従って配置された、列方向変換から結果として得られる行列１０００を示す図である。図１０において示されるように、対応を行列の左上隅に向かって併合するために、列Ｃ１とＡ３とが交換されたように、列Ｂ２とＡ２とは、交換されている。更に、図１０は、バウンディングボックスＢ２が、バウンディングボックスＡ１との対応を有するのみでなく、バウンディングボックスＢ２は、また、バウンディングボックスＣ２との対応を有することを示す。更に、バウンディングボックスＣ２は、ボックス１００２、１００３に関して示されるように、バウンディングボックスＡ２との対応を有する。そのような対応に応答して、バウンディングボックスＣ２に対応する列と、バウンディングボックスＣ２に対応する行とは、ボックス１００１の中の対応（例えば、バウンディングボックスＢ１及びＣ１並びにバウンディングボックスＡ２及びＢ１の対応）の後のポジションに、継続する基本変換を用いて、移動させられる。

【0040】

図１１は、本開示の少なくともいくつかの実施例に従って配置された、行方向及び列方向変換を続けた後の結果として得られる行列１１００、及び例示的な部分行列を示す図である。図１１において示されるように、行列の左上隅に向かって対応を更に併合するために、列Ｃ２は、列Ｂ３と交換され、同様に、行Ｃ２は、列Ｂ３と交換されている。結果として得られる行列１１００の形成後、結果として得られる行列１１００の結果として得られる部分行列１１０１、１１０２は、上で論じられる式（４）の別個の適用を介して、別々に解かれる。図１１の例において、結果として得られる行列１１００は、２つの部分行列１１０１、１１０２へと分離されている。しかしながら、結果として得られる行列１１００は、３、４、５又はこれより多くの部分行列等の、任意の数の対応のグルーピングを有する部分行列へと分離されてよい。

【0041】

図３に戻ると、バウンディングボックス対応構築モジュール３０１は、各時間インスタンスにおける対応を生成するために、対応部分行列について別々に解く。対応データは、それらが同一のプレイヤを含むとみなされるように対応する、時間インスタンスにおけるビデオフレーム間のバウンディングボックスを示す。

【0042】

そのような対応データは、連続的フレームにおける位置追跡モジュール３０２に提供される。論じられるように、各カメラビューにおけるプレイヤ検出は、安定的でない場合があり、これは、隣接したフレームにおける一貫性のない検出結果をもたらす（例えば、検出バウンディングボックス番号が、プレイヤ移動が存在しなくても同一でない）。例えば、関連付けられたバウンディングボックスは、時間的に隣接したフレームにおいて変化し得、これは、不安定なプレイヤ位置、プレイヤ見つけ損ない、又はプレイヤ重複をもたらす。そのような限定を解消するために、マルチフレームバッファ（例えば多数の時間フレームのバッファ）が、採用されて、プレイヤ位置及び番号を予測する。いくつかの実施形態において、２つのフェーズ：プレイヤトラックレット生成と、プレイヤトラックレット融合とが利用される。特に、トラックレット生成は、異なる時間フレームからの同一のプレイヤを共に結びつけることを伴い、その一方で、トラックレット融合は、冗長なトラックレットを併合することと、誤ったトラックレットを削除することとを伴う。

【0043】

図１２は、本開示の少なくともいくつかの実施例に従って配置された、生成が各時間フレームにおいて始まる、例示的なトラックレット生成１２００を示す図である。図１２において示されるように、フレーム１２０１、１２０２、１２０３、１２０４、１２０５を含む追跡フレームのバッファは、維持されてよい。フレームバッファは、１５個のフレーム又は同様のもの等の任意のサイズであってよい。図１２の例において、各フレームは、特定の時間インスタンスにおける対応するバウンディングボックスの位置を示す。例えば、各プレイヤドットは、上で論じられるように対応するとみなされたバウンディングボックスに基づいた、時間インスタンスにおけるカメラビューの各々からのプレイヤの位置の平均（又は他の集計）であってよい。即ち、各ドットは、対応するバウンディングボックスの位置の、３Ｄ座標系におけるグランドプレーン上の平均位置であってよい。更に、トラックレットに関して、開始フレームは、トラックレットが生成されたフレーム示すために用いられる。従って、フレームは、トラックレットの開始後フレーム又はトラックレットの開始フレームであってよい。

【0044】

図１２の状況において、トラックレットのグループは、開始フレームとしての、フレームバッファにおける複数のフレームを用いて生成される。開始ポイントとして用いられるフレームは、例えば、あらゆるフレームであってよい。その結果、トラックレットのいくつかのグループは、生成され、トラックレットのグループが比較されるにつれ、後で併合され得、又はいくつかのトラックレットは、破棄され得る。即ち、フレーム１において開始して生成されたトラックレットは、トラックレットの初期グループとして用いられてよい。次に、フレーム２において開始して生成されたトラックレットは、フレーム１において開始して生成されたものと比較され、いくつかのトラックレットは、トラックレットの初期グループに関して、破棄、追加、又は併合されてよい。フレーム３において開始して生成されたトラックレットは、（対応リストを用いて追跡されるような）これらの先行するトラックレットと比較され、いくつかのトラックレットは再び、破棄、追加、又は併合等されてよい。そのような技術は、以下において、本明細書において更に論じられる。

【0045】

従って、トラックレットのグループは、開始フレームとしての各フレームから生成される。フレームｉの中でプレイヤが関連付けられたＬ_ｉを仮定すると、後続のフレームにおける位置対応は、ハンガリアンアルゴリズムを含む組み合わせ最適化アルゴリズムの適用等の、任意の好適な１又は複数の技術を用いて生成されてよい。例えば、開始フレームｓにおけるプレイヤｘの位置は、

【数13】

として表されてよく、後続のフレームｔにおける対応位置は、

【数14】

として表されてよい。そのような位置に基づいて、フレームｔにおけるプレイヤｘの速度

【数15】

は、式（６）：

【数16】

において示されるように決定されてよい。

【0046】

フレームｔ＋１における予測された位置は、次に、

【数17】

であり、これは、例えば、ハンガリアンアルゴリズムを用いて、プレイヤｘの現実の位置

【数18】

を見つけるために用いられる。更に、距離閾値εは、最良の位置ペアを選択するために用いられる。例えば、ハンガリアンアルゴリズムを用いて選択された位置ペアにおける距離ｄが与えられていると仮定すれば、ｄ＜εの距離制約を満たすペアのみが選択される。閾値に適合するペアリングがない場合、位置は、フレームに追加されてよい。そのような処理を繰り返すと、各フレームバッファにおける対応は、バッファの中の第１のフレームから始まる全てのプレイヤについて、生成される。同様に、各フレームにおいて始まるトラックレットのグループを生成するために、フレーム２から、フレーム３から等と始まって、全てのプレイヤ対応は、生成される。

【0047】

図１２を参照すると、開始フレーム１２０１から始まり、Ｌ_ｘ，１１（フレーム１における開始フレーム１に基づいたプレイヤｘの位置）により示されたプレイヤ位置１２１１が示されている。プレイヤ位置１２１１に関して論じられた処理は、開始フレーム１２０１の中のその他の４つのプレイヤ位置についてと並行して実行されることに留意されたい。プレイヤの予測された位置１２１２は、式（６）に関して論じられているように、フレーム１２０２において生成され、Ｌ'_ｘ，１２（フレーム２における開始フレーム１に基づいた予測されたプレイヤｘの位置）により示されている。この例において、実際の位置は、予測された位置１２１２に対応しておらず、位置は、トラックレットに追加されてよい。次に、プレイヤの予測された位置１２１３は、式（６）に関して論じられているように生成され、Ｌ'_ｘ，１３（フレーム３における開始フレーム１に基づいた予測されたプレイヤｘの位置）により示されている。ハンガリアンアルゴリズムの適用及び距離閾値に基づいて、実際のプレイヤ位置１２１４は、選択され、プレイヤ位置１２１１についてのトラックレットに追加される。処理は、プレイヤの予測された位置１２１５の生成を続け、これは、式（６）に関して論じられているように、かつ、Ｌ'_ｘ，１４（フレーム４における開始フレーム１に基づいた予測されたプレイヤｘの位置）により示されているように生成される。ハンガリアンアルゴリズムの適用及び距離閾値に基づいて、実際のプレイヤ位置１２１６は、選択され、プレイヤ位置１２１１についてのトラックレットに追加される。そのような処理は、トラックレット１２４１が、プレイヤ位置１２１１について生成されるように、フレームｎまで続く。論じられるように、開始フレーム１２０１において始まると、トラックレット１２４１を含む５つのトラックレットが生成される。

【0048】

同様に、開始フレーム１２０２から始まり、Ｌ_ｘ，２２により示されたプレイヤ位置１２２１（フレーム２における開始フレーム２に基づいたプレイヤｙの位置）が示されている。上記のように、プレイヤ位置１２２１に関して論じられる処理は、開始フレーム１２０２の中のその他の３つのプレイヤ位置についてと並行して実行される。特に、プレイヤ位置１２１１に対応するプレイヤ位置が、開始フレーム１２０２において見られないとして、対応するトラックレットは、生成されないであろう。プレイヤの予測された位置１２２２は、フレーム１２０３の中で生成され、Ｌ'_ｙ，２３（フレーム３における開始フレーム２に基づいた予測されたプレイヤｙの位置）により示されている。ハンガリアンアルゴリズム及び距離閾値の適用に基づいて、実際のプレイヤ位置１２２３（Ｌ_ｙ，２３）は、選択され、プレイヤ位置１２２２についてのトラックレットに追加される。処理は、Ｌ'_ｙ，２４（フレーム４において開始フレーム２に基づいた予測されたプレイヤｙの位置）により示されるようなプレイヤの予測された位置１２２４の生成を続ける。ハンガリアンアルゴリズム及び距離閾値の適用に基づいて、実際のプレイヤ位置１２２５（Ｌ_ｙ，２４）は、選択され、プレイヤ位置１２１１についてのトラックレットに追加される。そのような処理は、トラックレット１２４２が、プレイヤ位置１２２１について生成されるように、フレームｎまで続く。例えば、開始フレーム１２０２において始まると、トラックレット１２４２を含む４つのトラックレットが生成される。

【0049】

そのような処理は、Ｌ_ｚ，３３（フレーム３における開始フレーム３に基づいたプレイヤｚの位置）により示されたプレイヤ位置１２３１が示される開始フレーム１２０３に関して示されるように、任意の数の開始フレームを続ける。上で論じられるような処理は、プレイヤ位置１２３４（Ｌ_ｚ，３４）を含むプレイヤ位置１２３１についてのトラックレット１２４３を生成するために、採用される。例えば、開始フレーム１２０３において始まると、トラックレット１２４３を含む６つのトラックレットが生成される。

【0050】

図３を参照すると、そのようなトラックレットの生成後、連続的フレームにおける位置追跡モジュール３０２は、トラックレット融合動作を実行して、堅牢なプレイヤ追跡を提供する。例えば、位置対応構築の後、フレームｉにおける各プレイヤは、後のフレームにおいて見られた全ての対応位置を格納する対応リスト

【数19】

を有する。ここで、ｎは、バッファの中の最後のフレームを表し、αは、フレームの中の対応を示さないα＝０と、フレームの中に対応を示すα＝１とを有する対応係数である。図１２において示されるように、フレーム１、２、３におけるバウンディングボックス関連付け結果（プレイヤ位置Ｌｉ）は、安定的とは限らない。例えば、５つのトラックレットは、フレーム１において始めたときに生成され、４つのトラックレットは、フレーム２において始めたときに生成され、６つのトラックレットは、フレーム３において始めたときに生成され、同じように続く。以下の技術を用いて、（プレイヤリストにより示されるような）トラックレットは、最終的な関連付けリスト及びプレイヤ追跡における改善された堅牢性のために、併合又は削除される。即ち、トラックレット合併及び削除は、プレイヤ位置が、バッファにおける複数の時間インスタンスにわたって安定的であり得るように、フレームｉにおけるプレイヤリスト

【数20】

を提供するために用いられる。

【0051】

いくつかの実施形態において、フレームｉにおける各プレイヤについて、

【数21】

及びＣ_ａの交点は、反復的に決定され、ここで、Ｃ_ａは、選択された対応リストの組み合わされたリストを表し、

【数22】

は、Ｃ_ａにおける１つのプレイヤリストを表す、

【数23】

。各フレームにおける各トラックレット又はプレイヤリストについて、以下の処理は、実行される。まず、

【数24】

の長さ（すなわち、プレイヤリストのフレーム長）が、バッファサイズの３分の１より小さい場合、プレイヤリストは、直接除去（例えば破棄）される。

【数25】

（すなわち、トラックレット又はプレイヤリストが、組み合わされたリストの中にない）であり、

【数26】

の長さプラス

【数27】

の長さがバッファサイズ以下である場合、

【数28】

は、

【数29】

へと併合される（すなわち、プレイヤリストは、それまでのプレイヤリストへと併合されて、組み合わされたトラックレットを形成する）。

【数30】

であり、

【数31】

の長さプラス

【数32】

の長さが、バッファサイズより大きい場合、

【数33】

は、Ｃ_ａへと加えられる（すなわち、トラックレット又はプレイヤリストは、組み合わされたリストへのエントリとして追加される）。そうでなければ、

【数34】

は、除去又は破棄される。そのようなトラックレット併合及び削除の後、必要に応じて、各トラックレットを完全にするために既にプレイヤが検出されていないフレームにおいて、任意の失ったプレイヤ位置を完全にするために、三次スプライン補間が実行される。そのような技術は、図１３及び１４に関して示されている。

【0052】

図１３は、本開示の少なくともいくつかの実施例に従って配置された、例示的なトラックレット融合１３００を示す図である。図１３において示されるように、フレーム１３０１、１３０２、１３０３、１３０４、１３０５の各々について、トラックレットセットは、そのようなフレームの各々から始まって生成されている。例えば、フレーム１３０１から始まると、トラックレット１３１３は、プレイヤ１３１１（開始フレーム１と共にプレイヤ１を示す

【数35】

とラベル付けられている）について生成されており、トラックレット１３１４は、プレイヤ１３１２（開始フレーム１と共にプレイヤ２を示す

【数36】

とラベル付けられている）について生成されている。フレーム１３０２から始まると、トラックレット１３２４は、プレイヤ１３２１（開始フレーム２と共にプレイヤ１を示す

【数37】

とラベル付けられている）について生成されており、トラックレット１３２５は、プレイヤ１３２２（開始フレーム２と共にプレイヤ２を示す

【数38】

とラベル付けられている）について生成されており、トラックレット１３２７は、プレイヤ１３２３（開始フレーム２と共にプレイヤ３を示す

【数39】

とラベル付けられている）について生成されている。更に、フレーム１３０３から始まると、トラックレット１３３１、１３３２、１３３３は、論じられるように生成されている。最終的に、プレイヤ１３３４は、単一フレームのトラックレットを有するフレーム１３０３の中で特定されている。

【0053】

図１４は、本開示の少なくともいくつかの実施例に従って配置された、トラックレット融合を実行するための例示的なプロセス１４００を示す図である。プロセス１４００は、図１４において示されるように、１又は複数の動作１４０１～１４１１を含んでよい。例えば、動作１４０１～１４１１は、連続的フレームにおける位置追跡モジュール３０２により実行されてよい。

【0054】

処理は、空のプレイヤセット（Ｃ_ａ）が生成される動作１４０１から始まる。結果として得られる埋められたプレイヤセットは、本明細書において論じられるように、連続的フレーム又は時間インスタンスにわたるプレイヤ及びバウンディングボックス対応を示すであろう。処理は、動作１４０２において続き、ここで、フレームは、（時間的順序で）選択され、フレームを開始フレームとして用いて生成されたトラックレット又はプレイヤリストは、取得される。例えば、開始フレームとしてのフレーム１３０１について、トラックレット１３１３、１３１４は、取得され、開始フレームとしてのフレーム１３０２について、トラックレット１３２４、１３２５、１３２７は、取得され、開始フレームとしてのフレーム１３０３について、トラックレット１３３１、１３３２、１３３３、１３３４は、取得され、同じように続く。

【0055】

処理は、動作１４０３において続き、ここで、フレームについてのトラックレットは、プレイヤセットの中のプレイヤと比較される。処理は、判断動作１４０４において続き、ここで、トラックレットの各々について、現在のフレームにおけるプレイヤ位置が既にプレイヤセットの中にあるトラックレット（プレイヤ位置）のいずれかにあるかどうかについての決定がされる。ここで、交点は、２つのトラックレットが、同一のフレームにおいて同一の位置を共有することを示す。そうである場合、トラックレット又はプレイヤ位置は、全体のプレイヤセットに追加されず、代わりに、トラックレットは、動作１４０５において冗長であるとして破棄される。交点が見られない場合、処理は、判断動作１４０６において続き、ここで、交点を有さないトラックレットの各々について、トラックレット（

【数40】

）の長さ、トラックレット長さＴＬと、全体のプレイヤセットに既存のトラックレット（

【数41】

）、それまでのトラックレット長さＰＴＬとの合計が、バッファサイズより小さく、かつ、閾値長さ（例えば、バッファサイズの半分）よりも大きいかどうかについて、決定がされ、次に、動作１４０７において、全体のプレイヤセットの中の現在のトラックレット及びそれまでのトラックレットは、併合される。

【0056】

そうでない場合、処理は、判断動作１４０８において続き、ここで、交点を有さない（従って、全体のプレイヤセットの中の全てのプレイヤと交点を有さない）かつ併合されていないトラックレットの長さが、閾値ＴＨ２（例えば、バッファサイズの３分の１）よりも大きい長さを有するかどうかについて、決定がされる。そうである場合、動作１４０９において、トラックレットは、新しいプレイヤとして、全体のプレイヤセットに追加される。そうでない場合、トラックレットは、追加されず（すなわち、破棄され）、処理は、動作１４１０において続き、ここで、処理にとって最後のフレームが、選択されたかどうかについて、決定がされる。そうである場合、処理は、動作１４１１において終了する。そうでない場合、処理は、動作において続く。

【0057】

プロセス１４００の動作は、ここで、図１３に関して示される。プレイヤセットが、任意の数の固有のプレイヤトラックレットを格納するように、処理は、最初に空のプレイヤセット（Ｃ_ａ）から始まる。論じられるように、処理は、プレイヤセットの中の各プレイヤ（

【数42】

）と、新しいトラックレット（

【数43】

）を比較することを続ける。（現在のフレームの中の新しいトラックレットにおけるプレイヤポジションが、プレイヤのうちの１人について、一致するプレイヤポジションを見つけるように）交点が見られる場合、新しいトラックレットは、プレイヤセットに追加されない。交点が見られず、新しいトラックレット及び任意の既存のプレイヤトラックレットの長さ（

【数44】

）が、バッファサイズよりも小さく、閾値よりも大きい場合、新しいトラックレット（

【数45】

）及び既存のプレイヤトラックレット（

【数46】

）は、併合されて、プレイヤセット（Ｃ_ａ）の中の既存のプレイヤトラックレット（

【数47】

）を更新する。そのような任意の既存のプレイヤトラックレットとの併合が存在せず（例えば、プレイヤセットの中の任意のプレイヤと組み合わせることがなく）、かつ、新しいトラックレット（

【数48】

）の長さが、閾値を超える場合、次に、新しいトラックレット（

【数49】

）は、プレイヤセット（Ｃ_ａ）に追加される。

【0058】

例えば、処理は、空のプレイヤセット（Ｃ_ａ）から始まる。次に、開始フレーム１３０１から始まって、トラックレット１３１３（

【数50】

）は、プレイヤセット（Ｃ_ａ）の中のトラックレットと比較される。プレイヤセット（Ｃ_ａ）が、空であると、これは、（動作１４０８において、）トラックレット１３１３（

【数51】

）が、プレイヤセット（Ｃ_ａ）の中の任意のプレイヤと交点を有さず、トラックレット１３１３（

【数52】

）が、閾値よりも大きい長さを有することを意味し、トラックレット１３１３（

【数53】

）は、プレイヤセット（Ｃ_ａ）に追加される。

【0059】

同様に、トラックレット１３１４（

【数54】

）は、プレイヤセット（Ｃ_ａ）の中のトラックレットと比較される。プレイヤセット（Ｃ_ａ）が、トラックレット１３１３（

【数55】

）のみを含むため、トラックレット１３１４（

【数56】

）は、プレイヤセット（Ｃ_ａ）の中の任意のプレイヤと交点を有さない（ここで、交点は、２つのトラックレットが、同一のフレームにおいて同一の位置を共有すること意味する）。更に、トラックレット１３１４（

【数57】

）は、閾値（例えば、５つのフレームの閾値）よりも大きい長さを有する。従って、トラックレット１３１４（

【数58】

）は、プレイヤセット（Ｃ_ａ）に追加される。

【0060】

ここで、フレーム１３０２に移動して、トラックレット１３２４（

【数59】

）は、評価される。示されるように、トラックレット１３２４（

【数60】

）は、トラックレット１３１３（

【数61】

）と交差する。従って、トラックレット１３２４（

【数62】

）は、（動作１４０５において）破棄される。同様に、トラックレット１３２５（

【数63】

）は、第２のトラックレット１３１４（

【数64】

）と交差し、第４のトラックレット１３２５（

【数65】

）はまた、破棄される。

【0061】

次に、トラックレット１３２７（

【数66】

）は、処理される。現在、プレイヤセット（Ｃ_ａ）は、トラックレット１３１３（

【数67】

）と、トラックレット１３１４（

【数68】

）とを含む。示されるように、トラックレット１３２７（

【数69】

）は、トラックレット１３１３（

【数70】

）又はトラックレット１３１４（

【数71】

）との交点を有さない。更に、トラックレット１３２７（

【数72】

）は、閾値（例えば５つのフレームの閾値）よりも大きい長さを有する。従って、トラックレット１３２７（

【数73】

）は、プレイヤセット（Ｃ_ａ）に追加される。

【0062】

ここでフレーム１３０３に移動して、トラックレット１３３１、１３３２、１３３３は、論じられるように、トラックレット１３１３、１３１４、１３２７と交差し、従って、破棄される。トラックレット１３２７（

【数74】

）は、次に、評価される。特に、単一フレームトラックレットは、本明細書において論じられるように、生成されてよい。現在、プレイヤセット（Ｃ_ａ）は、トラックレット１３１３（

【数75】

）と、トラックレット１３１４（

【数76】

）と、トラックレット１３２７（

【数77】

）とを含む。示されるように、トラックレット１３２７（

【数78】

）は、トラックレット１３１３（

【数79】

）と、トラックレット１３１４（

【数80】

）と、トラックレット１３２７

【数81】

）とのうちいずれとも交点を有さない。しかしながら、トラックレット１３２７（

【数82】

）の長さは、閾値（例えば、５つのフレームの閾値）より小さく、従って、トラックレット１３２７（

【数83】

）は、破棄される。

【0063】

図３に戻ると、バウンディングボックス対応構築モジュール３０１と、連続的フレームにおける位置追跡モジュール３０２とは、マルチカメラビューからの各フレームについて、バウンディングボックス関連付け結果と、各フレームにおけるプレイヤ位置とを生成する。論じられるように、安定的なプレイヤ位置及びプレイヤ番号を得るために、プレイヤの合併、補間、削除は、関連付けられたプレイヤ位置を洗練するために実行される。従って、関連付けエラー及び新しい位置補間に起因して、現在のプレイヤ位置は、関連付け結果と一致しない場合がある。そのような問題に対処するために、大きな距離除去及び隣接プレイヤバウンディングボックス再構成は、後処理モジュール３０３を介して、関連付け結果を洗練するために用いられる。特に、後処理モジュール３０３は、再構成及び距離除去を実行して、最終的な関連付けリスト１２２を提供する。

【0064】

図１５は、本開示の少なくともいくつかの実施例に従って配置された、例示的なプレイヤ再構成又は再割当て処理１５００を示す図である。図１５において、特定のフレーム１５０１において、多数のビューからのバウンディングボックス又はプレイヤ位置は、対応するプレイヤが一致するドットカラー又はパターンを有するように、示されている。例えば、プレイヤ位置１５０２は全て、同一のプレイヤからであり、正確なプレイヤ関連付け結果を示す密なパターンの中でグループ化されている。同様の結果は、関心対象の領域１５０３の外部にある他のプレイヤ位置について見られ、これはまた、表示の明確性のために、拡大されたビューにおいて示されている。示されるように、第１のプレイヤ位置１５０４（暗いシェーディングドットにより示されている）は、第２のプレイヤ位置１５０４（白いドットにより示されている）と混ざり合っている。

【0065】

更に、ハッチングされた円１５０７は、バウンディングボックス対応構築の後の（及びマルチフレームにおける位置追跡に起因した任意の調節の前の）第１のプレイヤ位置１５０４の中心に示されており、実線円１５０６は、マルチフレームにおける位置追跡後の第１のプレイヤにとっての中心を示す。同様にハッチングされた円１５０８は、バウンディングボックス対応構築の後の（及びマルチフレームにおける位置追跡に起因した任意の調節の前の）第２のプレイヤ位置１５０５の中心に示されており、実線円１５０９は、マルチフレームにおける位置追跡後の第２のプレイヤにとっての中心を示す。

【0066】

図１５において、おそらくトラックレット融合に起因した、プレイヤ位置における不一致は、第１のプレイヤ位置１５０４及び第２のプレイヤ位置１５０５に関して明らかである。特に、関連付けエラーは、プレイヤが互いに非常に近いときに一般的である。そのような問題を解消するために、距離閾値は、プレイヤの群衆の中のプレイヤを選択し、関連付け洗練を提供するために、採用される。いくつかの実施形態において、距離閾値δが与えられていると仮定すれば、フレーム１５０１について、ペアワイズ距離が、フレームにおける全てのプレイヤポジション間で決定される。位置ｉ及びｊの間の距離ｄ_ｉｊが、閾値より小さい（例えば、ｄ_ｉｊ＜δを満たす）場合、次に、ペアは、候補リストに追加される。関連付けバウンディングボックスリストは、次に、そのような候補リスト位置について再配置される。各フットポイントについて、新しい関連付けに対する距離は、集中する（例えば、各候補プレイヤのポジションの平均をとる）。プレイヤポジション（又はフットポイント）は、次に、最小距離値を有する関連付け中心に追加される、又は属する。各関連付け中心について、１つのカメラビューは、１つのフットポイントのみを有することに留意されたい。２つのフットポイントが、１つの関連付け中心に対して最も小さい距離を有する場合、（２つのフットポイント対関連付け中心距離間を比較して）より大きな距離を有するフットポイントは、その他の関連付け中心に移動される等である。

【0067】

例えば、図１５の再構成動作１５３０に関して示されるように、プレイヤ位置１５０２は、同一の候補リストに追加され、対応する関連付け中心（不図示）に対する最小距離を有する可能性が高く、従って、再構成は、プレイヤ位置１５０２について生じない。関心対象の領域１５０３において、第１のプレイヤ位置１５０４及び第２のプレイヤ位置１５０５は、同一の候補リストに追加され、次に、対応する関連付け集中に最も近いように再配置されて、そのような位置に対して異なるプレイヤ割当てを有する第１のプレイヤ位置１５１４及び第２のプレイヤ位置１５１５を生成する。示されるように、そのような再構成動作１５３０は、（第２のプレイヤから第１のプレイヤへと変更して）プレイヤポジション１５２１のプレイヤ識別を、及び（第１のプレイヤから第２のプレイヤへと変更して）プレイヤポジション１５２２を、並びにその他を交換する。そのような技術は、時間インスタンスのビデオフレーム又はフレーム１５０１について、より堅牢なバウンディングボックス対応を提供する。

【0068】

図１６は、本開示の少なくともいくつかの実施例に従って配置された、例示的な大きな距離に起因したプレイヤ除去処理１６００を示す図である。図１６において、特定のフレーム１６０１において、多数のビューからのバウンディングボックス又はプレイヤ位置は、再び、対応するプレイヤが一致するドットカラー又はパターンを有するように、示されている。例えば、プレイヤ位置１６０２は全て、同一のプレイヤからであり、正確なプレイヤ関連付け結果を示す密なパターンの中でグループ化されている。拡大されたビューにおいて示されている、関心対象の領域１６０３において、第１のプレイヤ位置１５０４もまた、密にグループ化されている。しかしながら、第２のプレイヤ位置１６０５は、プレイヤ位置１６１０を含み、これは、グループの中で他から解離されている。特に、バウンディングボックス対応構築の後の（及びマルチフレームにおける位置追跡に起因した任意の調節の前の）第１のプレイヤ位置１６０４の中心を示す、ハッチングされた円１６０７と、マルチフレームにおける位置追跡の後の第１のプレイヤにとっての中心を示す、実線円１６０６とは、同様又は同一の位置を有する。しかしながら、バウンディングボックス対応構築の後の（及びマルチフレームにおける位置追跡に起因した任意の調節の前の）第２のプレイヤ位置１６０５の中心を示す、ハッチングされた円１６０８と、マルチフレームにおける位置追跡の後の第２のプレイヤにとっての中心を示す、実線円１６０９とは、外れ値プレイヤ位置１６１０に起因して、離れて間隔を置かれている。

【0069】

いくつかの実施形態において、グルーピングにおける各プレイヤ位置について、プレイヤ位置から関連付け中心までの距離（例えば、対応構築の後でマルチフレームにおける位置追跡に起因した調節の前の全ての対応するバウンディングボックスの平均ポジション）が、閾値と比較される。距離が、閾値より小さい場合、プレイヤ位置は、グルーピングにおいて保持される。距離は、閾値を超える場合、プレイヤ位置は、除去動作１６３０に関して示されるように、誤った識別として、破棄される。いくつかの実施形態において、これらの関連付けられた中心に対して大きな距離を有するフットポイントは、破棄される。いくつかの実施形態において、全ての関連付け中心に対して大きな距離を有するフットポイントは、破棄される。例えば、フットポイントは、別の関連付け中心に移動されてよい。

【0070】

例えば、プレイヤ位置を安定的で正確に保持するために、（例えば、関連付け中心を用いて測定されて）他の関連付けられたフットポイントから遠く離れているフットポイントは、除去される。他のフットポイントに対して大きな距離を有するフットポイントは、典型的に、間違った関連付け又はプレイヤの誤検出（例えば、いくつかのプレイヤを含むバウンディングボックス）により生じた隔離されたポイントである。そのようなポイントは、破棄されない場合、プレイヤ位置のジッタを引き起こす。

【0071】

図１７は、本開示の少なくともいくつかの実施例に従って配置された、マルチビュービデオにおけるオブジェクト関連付けを実行するための例示的なプロセス１７００を示すフロー図である。プロセス１７００は、図１７において示されるように、１又は複数の動作１７０１～１７０５を含んでよい。プロセス１７００は、例えば、マルチビュービデオについてのオブジェクト関連付けプロセスの少なくとも一部を形成してよい。非限定的な例として、プロセス１７００は、本明細書において論じられるようなシステム１００により実行されるようなプロセスの少なくとも一部を形成してよい。更に、プロセス１７００は、図１８のシステム１８００を参照して、本明細書において説明されるであろう。

【0072】

図１８は、本開示の少なくともいくつかの実施例に従って配置された、マルチビュービデオにおけるオブジェクト関連付けを実行するための例示的なシステム１８００の説明図である。図１８において示されるように、システム１８００は、中央プロセッサ１８０１と、イメージプロセッサ１８０２と、メモリ１８０３と、カメラアレイ１０１とを含む。また示されるように、イメージプロセッサ１８０２は、バウンディングボックス対応構築モジュール３０１と、連続的フレームにおける位置追跡モジュール３０２と、後処理モジュール３０３とを含むマルチカメラ関連付けモジュール１１４を含んでよい、又は実装してよい。システム１８００の例において、メモリ１８０３は、ビデオフレーム、バウンディングボックスデータ、オブジェクト又はプレイヤ位置データ、関連付けリストデータ、又は任意の本明細書において論じられる他のデータを格納してよい。

【0073】

示されるように、いくつかの例において、バウンディングボックス対応構築モジュール３０１と、連続的フレームにおける位置追跡モジュール３０２と、後処理モジュール３０３とを含むマルチカメラ関連付けモジュール１１４の１又は複数又は部分は、イメージプロセッサ１８０２を介して実装される。他の例において、バウンディングボックス対応構築モジュール３０１と、連続的フレームにおける位置追跡モジュール３０２と、後処理モジュール３０３とを含むマルチカメラ関連付けモジュール１１４の１又は複数又は部分は、中央プロセッサ１８０１、イメージ処理ユニット、イメージ処理パイプライン、又はイメージ信号プロセッサ等を介して、実装される。いくつかの例において、バウンディングボックス対応構築モジュール３０１と、連続的フレームにおける位置追跡モジュール３０２と、後処理モジュール３０３とを含むマルチカメラ関連付けモジュール１１４の１又は複数又は部分は、システムオンチップ（ＳｏＣ）としてのハードウェアにおいて実装される。いくつかの例において、バウンディングボックス対応構築モジュール３０１と、連続的フレームにおける位置追跡モジュール３０２と、後処理モジュール３０３とを含むマルチカメラ関連付けモジュール１１４の１又は複数又は部分は、ＦＰＧＡを介したハードウェアにおいて実装される。

【0074】

イメージプロセッサ１８０２は、本明細書において論じられるような動作を提供し得る、任意の数及びタイプのイメージ若しくはグラフィックスプロセッサ又は処理ユニットを含んでよい。そのような動作は、ソフトウェア又はハードウェア、又は、その組み合わせを介して実装されてよい。例えば、イメージプロセッサ１８０２は、メモリ１８０３から入手されたフレーム又はフレームデータを操作及び／又は解析するのに特化した回路を含んでよい。中央プロセッサ１１０１は、システム１８００についての制御、及び他の複数の高レベルな機能を提供し得、及び／又は本明細書で論じられるような任意の複数の動作を提供し得る、任意の数及びタイプのプロセッサ、処理ユニット又はモジュールを含んでよい。メモリ１８０３は、揮発性メモリ（例えば、スタティックランダムアクセスメモリ（ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）等）又は不揮発性メモリ（例えば、フラッシュメモリ等）等といった任意のタイプのメモリであってよい。非限定的な例において、メモリ１８０３は、キャッシュメモリにより実装されてよい。一実施形態において、バウンディングボックス対応構築モジュール３０１と、連続的フレームにおける位置追跡モジュール３０２と、後処理モジュール３０３とを含むマルチカメラ関連付けモジュール１１４の１又は複数又は部分は、イメージプロセッサ１８０２の実行ユニット（ＥＵ）を介して、実装される。ＥＵは、例えば、幅広いプログラマブルロジック機能を提供し得る、ロジックコア又はコア等のプログラマブルロジック、又は回路を含んでよい。一実施形態において、バウンディングボックス対応構築モジュール３０１と、連続的フレームにおける位置追跡モジュール３０２と、後処理モジュール３０３とを含むマルチカメラ関連付けモジュール１１４の１又は複数又は部分は、固定機能回路又は同様のもの等の専用ハードウェアを介して、実装される。固定機能回路は、専用ロジック又は回路を含んでよく、固定の目的又は機能のための専用ロジックにマッピングし得る固定機能入力ポイントのセットを提供し得る。

【0075】

図１７の解説に戻ると、プロセス１７００は、動作１７０１から始まり、ここでは、複数のビデオフレームの各々が、同一の時間インスタンスにおけるシーンの特定のビューに対応するように、複数のビデオフレームの各々についてのバウンディングボックスデータが、受信される。例えば、ビデオフレームは、それらがスポーツイベント等のシーンの同時の又はほぼ同時のビデオフレーム又はビデオイメージを獲得するように、同期されたビデオフレームであってよい。本明細書において論じられる技術は、同一の時間インスタンスにおけるビデオフレームにわたる、並びに、ビデオフレームのセットについての複数の時間インスタンスにわたる対応を提供する。そのような時間インスタンスはまた、本明細書において、時間フレーム又は単にフレームとして称される。

【0076】

処理は、動作１７０２において続き、ここで、距離行列が、全てのビデオフレームのペア間のバウンディングボックスの利用可能な組み合わせ間の距離を含むように、距離行列は、バウンディングボックスデータに基づいて、生成される。例えば、距離は、全てのペアワイズの組み合わせにおけるビデオフレームをペアリングし、フレーム間のバウンディングボックスの各組み合わせに対してい距離値を入力し、そのようなビデオフレームの全てのペアに対して距離値を繰り返すことによって、生成されてよい。

【0077】

処理は、動作１７０３において続き、ここで、距離部分行列は、距離行列内の二方向最小距離対応バウンディングボックスペアに基づいて、距離行列から決定される。例えば、そのような二方向最小距離対応は、第１のフレームにおける第１のバウンディングボックスにとって、第２のフレームにおける第２のバウンディングボックスは、最小距離バウンディングボックスであり、第２のバウンディングボックスにつとって、第１のバウンディングボックスもまた、最小距離バウンディングボックスであることを示す。いくつかの実施形態において、第１の二方向最小距離対応バウンディングボックスペアが、第２のバウンディングボックスが、第１のバウンディングボックスから第２のビデオフレームの中の全ての候補バウンディングボックスまでの全ての利用可能な距離から、第１のバウンディングボックスからの最小距離を有することと、第１のバウンディングボックスが、第２のバウンディングボックスから第１のビデオフレームの中の全ての候補バウンディングボックスまでの全ての利用可能な距離から、第２のバウンディングボックスからの最小距離を有することとに応答するように、二方向最小距離対応バウンディングボックスペアの第１の二方向最小距離対応バウンディングボックスペアは、第１のビデオフレームにおける第１のバウンディングボックスと、第２のビデオフレームにおける第２のバウンディングボックスとの間の対応を含む。

【0078】

更に、距離部分行列は、元の距離行列よりも小さく、元の距離行列の行及び列を再編成し、次に部分行列にセグメント化することにより生成される。いくつかの実施形態において、部分行列を決定することは、部分行列内に二方向最小距離対応バウンディングボックスペアを併合するための行及び列基本変換を介して、二方向最小距離対応バウンディングボックスペアに基づいて、距離行列を変換させることを含む。

【0079】

処理は、動作１７０４において続き、ここで、対応部分行列は、距離部分行列の各々について、各対応部分行列及び各距離部分行列を含む目的関数を最適化することに基づいて、別々に決定される。例えば、目的関数は、低階数制約と対応部分行列の階数との積と合計された、距離部分行列及び対応部分行列の内積の合計を含んでよい。

【0080】

処理は、動作１７０５において続き、ここで、関連付けリストは、対応部分行列に基づいて、ビデオフレームのバウンディングボックスデータについて、提供される。関連付けリストは、ビデオフレームにわたるバウンディングボックス間の対応を示す、任意の好適なデータ構造を含んでよい。例えば、第１のインデックスは、第１のオブジェクト又はプレイヤに対して提供されてよく、関連付けリストは、第１のインデックスに対応する、各バウンディングボックスについてのフレーム番号及びバウンディングボックス番号を含んでよく、同一のものは、第２のインデックスに対しても提供されてよく、同じように続く。代替的に、インデックスは、バウンディングボックスに対応するオブジェクト又はプレイヤを示す各バウンディングボックスに貼り付けられてよい。そのような関連付け又は対応を示すための他の技術は、利用可能である。

【0081】

更に、時間的に隣接したビデオフレーム（例えば時間インスタンス）のセットについての関連付けリストは、オブジェクト又はプレイヤ追跡を生成するために用いられてよい。更に、オブジェクト又はプレイヤ追跡は、トラックレットのセットを介して、関連付けリストを更新又は変更するために用いられてよい。いくつかの実施形態において、プロセス１７００は、開始時間フレームとして、同一の時間インスタンスを使用して、第１のトラックレットのセットを生成する段階と、開始時間フレームとして、同一の時間インスタンスの後続の追加的な時間インスタンスを使用して、１又は複数の追加的なトラックレットのセットを生成する段階と、第１のトラックレットのセット及び追加的なトラックレットのセットを使用して、時間インスタンスのうち１つについての初期関連付けリストを調節する段階とを更に含む。いくつかの実施形態において、第１のトラックレットのセットのうち第１のトラックレットは、同一の時間インスタンスについてのバウンディングボックスのポジションを、同一の時間インスタンスの後続の第２の時間インスタンスについてのバウンディングボックスの第２のポジションに投影する段階と、組み合わせ最適化アルゴリズムの適用、及び第２の時間インスタンスにおけるオブジェクトポジションが同一の時間インスタンスにおけるオブジェクトポジションの閾値距離内にあることに応答して、第２の時間インスタンスにおけるオブジェクトポジションを、第１のトラックレットに追加する段階とにより生成される。

【0082】

いくつかの実施形態において、プロセス１７００は、結果として得られるトラックレットのセットを生成するために、第１のトラックレットのセットと、１又は複数の追加的なトラックレットのセットとを融合する段階を更に含む。いくつかの実施形態において、第１のトラックレットのセットと１又は複数の追加的なトラックレットのセットとを融合する段階は、１又は複数の追加的なトラックレットのセットの第２のトラックレットのセットの中の第２のトラックレットが、第１のトラックレットのセットの中の任意のトラックレットと交差しないことを決定する段階と、第２のトラックレットが、閾値を超える長さを有することに応答して、第２のトラックレットを、結果として得られるトラックレットのセットに追加する段階とを含む。いくつかの実施形態において、第１のトラックレットのセットと１又は複数の追加的なトラックレットのセットとを融合する段階は、１又は複数の追加的なトラックレットのセットの第２のトラックレットのセットの中の第２のトラックレットが、第１のトラックレットのセットの中の任意のトラックレットと交差しないことを決定する段階と、第２のトラックレットを、結果として得られるトラックレットのセットの中の第３のトラックレットと併合する段階であって、第２及び第３のトラックレットの長さの合計が、同一の及び追加的な時間インスタンスに対応するバッファサイズより小さいことに応答して、併合する段階とを含む。

【0083】

更に、そのようなトラックレット生成及び融合の後に、（それにより調節された）１又は複数の関連付けリストは、再び、外れ値を補正するため、及びより良い安定性を提供するために変更されてよい。いくつかの実施形態において、関連付けリストを提供する段階は、バウンディングボックスデータの位置追跡の後に、関連付けリストにおけるオブジェクトのポジションの比較に基づいて、関連付けリストにおける１又は複数のオブジェクトを調節する段階を含む。いくつかの実施形態において、１又は複数のオブジェクトを調節する段階は、第１のオブジェクト関連付けから、第２のオブジェクト関連付けに、第１のビデオフレームにおける第１のオブジェクトバウンディングボックスについての関連付けを変更する段階であって、第１のオブジェクト関連付けの中心位置までの第１のオブジェクトバウンディングボックスの第１の距離が、第２のオブジェクト関連付けの中心位置までの第１のオブジェクトバウンディングボックスの第２の距離を超えることに応答して、変更する段階を含む。いくつかの実施形態において、１又は複数のオブジェクトを調節する段階は、第１のビデオフレームの中の第１のオブジェクトバウンディングボックスを破棄する段階であって、第１のオブジェクトバウンディングボックスが、第１のオブジェクト関連付けポジションから閾値距離よりも遠いことに応答して、破棄する段階を含む。

【0084】

本明細書において説明されるシステムに係る様々なコンポーネントは、ソフトウェア、ファームウェア、及び／又はハードウェア及び／又はこれら任意の組み合わせにおいて実装されてよい。例えば、本明細書において論じられるデバイス又はシステムの様々なコンポーネントが、例えば、スマートフォンのようなコンピューティングシステムにおいて見られ得るような、コンピューティングシステムオンチップ（ＳｏＣ）のハードウェアにより、少なくとも一部分に提供され得る。当業者であれば、本明細書において説明されるシステムが、対応する図に示されていない追加的なコンポーネントを含んでよいことを認識し得る。例えば、本明細書で論じられるシステムは、明確性のために示されていない追加的なコンポーネントを含んでよい。

【0085】

本明細書で論じられる例示的なプロセスの実施例が、図示された順序で示される全ての動作を行うことを含んでよい一方で、本開示はこの点で限定されず、様々な例において、本明細書における例示的なプロセスの実施例は、示された動作のサブセットのみを含んでよく、示されたものとは異なる順序において実行される動作、又は追加的な動作を含んでよい。

【0086】

更に、本明細書で論じられる動作のいずれかのうち１又は複数は、１又は複数のコンピュータプログラム製品によって提供される命令に応答して行われてよい。そのようなプログラム製品は、例えばプロセッサにより実行されたときに本明細書において説明される機能を提供し得る命令を提供する信号担持媒体を含んでよい。コンピュータプログラム製品は、任意の形態の１又は複数の機械可読媒体で提供され得る。このため、例えば、１又は複数のグラフィックス処理ユニット又はプロセッサコアを含むプロセッサは、１又は複数の機械可読媒体によりプログラムコード及び／又は命令又は命令セットがプロセッサに伝達されたことに応答して、本明細書における例示的なプロセスのブロックのうちの１又は複数を行い得る。一般的に、機械可読媒体は、プログラムコード、及び／又は、本明細書において説明される任意のデバイス及び／又はシステムに対し、本明細書で論じられるような、デバイス若しくはシステムの少なくとも部分又は任意の他のコンポーネント若しくはモジュールを実装させ得る命令又は命令セットの形態のソフトウェアを伝達し得る。

【0087】

本明細書において説明される任意の実施例に用いられるように、「モジュール」という用語は、ソフトウェアロジック、ファームウェアロジック、ハードウェアロジック、及び／又は本明細書において説明される機能を提供するように構成される回路の任意の組み合わせを指す。ソフトウェアは、ソフトウェアパッケージ、コード及び／又は命令セット又は命令として具現化されてよく、本明細書において説明される任意の実施例において使用される「ハードウェア」は、例えば、ハードワイヤード回路、プログラマブル回路、ステートマシン回路、固定機能回路、実行ユニット回路及び／又は、プログラマブル回路により実行される命令を格納したファームウェアを単独で、又は任意の組み合わせで含んでよい。これらのモジュールは、例えば、集積回路（ＩＣ）システムオンチップ（ＳｏＣ）等のより大きいシステムの一部を形成する回路として、集合的に又は個別に具現化され得る。

【0088】

図１９は、本開示の少なくともいくつかの実施例に従って配置された、例示的なシステム１９００の説明図である。様々な実施例において、システム１９００は、モバイルデバイスシステムであり得るが、システム１９００は、この状況に限定されない。例えば、システム１９００は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット又はスマートテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、カメラ（例えば、ポイントアンドシュートカメラ、スーパーズームカメラ、デジタル一眼レフ（ＤＳＬＲ）カメラ）、監視カメラ、及びカメラを含む監視システム等へと組み込まれ得る。

【0089】

様々な実施例において、システム１９００はディスプレイ１９２０に連結されたプラットフォーム１９０２を含む。プラットフォーム１９０２は、コンテンツサービスデバイス１９３０又はコンテンツ配信デバイス１９４０、又はイメージセンサ１９１９等の他のコンテンツソース等のコンテンツデバイスからコンテンツを受信してよい。例えば、プラットフォーム１９０２は、イメージセンサ１９１９又は任意の他のコンテンツソースから、本明細書において論じられるようなイメージデータを受信してよい。１又は複数のナビゲーション機能を含むナビゲーションコントローラ１９５０は、例えば、プラットフォーム１９０２及び／又はディスプレイ１９２０とインタラクトするために用いられてよい。これらのコンポーネントの各々は、以下でより詳細に説明される。

【0090】

様々な実施例において、プラットフォーム１９０２は、チップセット１９０５、プロセッサ１９１０、メモリ１９１２、アンテナ１９１３、ストレージ１９１４、グラフィックスサブシステム１９１５、アプリケーション１９１６、イメージ信号プロセッサ１９１７、及び／又は無線機１９１８の任意の組み合わせを含んでよい。チップセット１９０５は、プロセッサ１９１０、メモリ１９１２、ストレージ１９１４、グラフィックスサブシステム１９１５、アプリケーション１９１６、イメージ信号プロセッサ１９１７、及び／又は無線機１９１８の間の相互通信を提供し得る。例えば、チップセット１９０５は、ストレージ１９１４との相互通信を提供することが可能なストレージアダプタ（図示せず）を含んでよい。

【0091】

プロセッサ１９１０は、複合命令セットコンピュータ（ＣＩＳＣ）プロセッサ又は縮小命令セットコンピュータ（ＲＩＳＣ）プロセッサ、ｘ８６命令セット互換プロセッサ、マルチコア、又は他の任意のマイクロプロセッサ若しくは中央処理ユニット（ＣＰＵ）として実装されてよい。様々な実施例において、プロセッサ１９１０は、デュアルコアプロセッサ、デュアルコアモバイルプロセッサ等であってよい。

【0092】

メモリ１９１２は、ランダムアクセスメモリ（ＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、又はスタティックＲＡＭ（ＳＲＡＭ）等の揮発性メモリデバイスとして実装されてよいが、これに限定されない。

【0093】

ストレージ１９１４は、磁気ディスクドライブ、光ディスクドライブ、テープドライブ、内部ストレージデバイス、取り付けストレージデバイス、フラッシュメモリ、バッテリバックアップされたＳＤＲＡＭ（同期型ＤＲＡＭ）、及び／又はネットワークアクセス可能なストレージデバイス等の、不揮発性ストレージデバイスとして実装されてよいが、これに限定されない。様々な実施例において、ストレージ１９１４は、例えば、多数のハードドライブが含まれるとき、高価なデジタル媒体に対するストレージ性能の強化された保護を向上させる技術を含んでよい。

【0094】

イメージ信号プロセッサ１９１７は、専用のデジタル信号プロセッサ、又はイメージ処理のために用いられる同様のものとして実装されてよい。いくつかの例において、イメージ信号プロセッサ１９１７は、単一命令多重データ又は多重命令多重データアーキテクチャ又は同様のものに基づいて、実装されてよい。いくつかの例において、イメージ信号プロセッサ１９１７は、メディアプロセッサとして特徴付けられてよい。本明細書において論じられるように、イメージ信号プロセッサ１９１７は、システムオンチップアーキテクチャに基づいて、及び／又はマルチコアアーキテクチャに基づいて、実装されてよい。

【0095】

グラフィックスサブシステム１９１５は、ディスプレイのために静止画又はビデオ等のイメージの処理を実行してよい。グラフィックスサブシステム１９１５は、例えば、グラフィックス処理ユニット（ＧＰＵ）又はビジュアル処理ユニット（ＶＰＵ）であってよい。アナログ又はデジタルインタフェースは、グラフィックスサブシステム１９１５及びディスプレイ１９２０を通信可能に結合するために用いられてよい。例えば、インタフェースは、高解像度マルチメディアインタフェース、ディスプレイポート、無線ＨＤＭＩ（登録商標）、及び／又は無線ＨＤに準拠する技術のいずれかであってよい。グラフィックスサブシステム１９１５は、プロセッサ１９１０又はチップセット１９０５へと統合されてよい。いくつかの実施例において、グラフィックスサブシステム１９１５は、チップセット１９０５に通信可能に連結された独立したデバイスであってよい。

【0096】

本明細書において説明されるグラフィックス及び／又はビデオ処理技術は、様々なハードウェアアーキテクチャのかたちで実装されてよい。例えば、グラフィックス及び／又はビデオ機能は、チップセット内に統合され得る。代替的に、別個のグラフィックス及び／又はビデオプロセッサが用いられてよい。更に別の実施例として、グラフィックス及び／又はビデオ機能は、マルチコアプロセッサを含む汎用プロセッサによって提供されてよい。更なる実施形態において、機能は、家庭用電子デバイスにおいて実装され得る。

【0097】

無線機１９１８は、好適な様々な無線通信技術を使用して信号の送受信を行うことが可能である１又は複数の無線機を含んでよい。そのような技術は、１又は複数の無線ネットワークにわたる通信を伴ってよい。
無線ネットワークの例は、無線ローカルエリアネットワーク（ＷＬＡＮ）、無線パーソナルエリアネットワーク（ＷＰＡＮ），無線メトロポリタンエリアネットワーク（ＷＭＡＮ）、セルラーネットワーク及び衛星ネットワークを含む（但し、これに限定されない）。そのようなネットワークにわたる通信において、無線機１９１８は、任意のバージョンにおける１又は複数の適用可能な規格に従って動作してよい。

【0098】

様々な実施例において、ディスプレイ１９２０は任意のテレビタイプのモニタ又はディスプレイを含んでよい。ディスプレイ１９２０は、例えば、コンピュータディスプレイスクリーン、タッチスクリーンディスプレイ、ビデオモニタ、テレビのようなデバイス、及び／又はテレビを含んでよい。
ディスプレイ１９２０は、デジタル及び／又はアナログであってよい。様々な実施例において、ディスプレイ１９２０は、ホログラフィックディスプレイであってよい。
また、ディスプレイ１９２０は、視覚投影を受信し得る透明な面であってよい。
そのような投影は、様々な形態の情報、イメージ及び／又はオブジェクトを伝達してよい。例えば、そのような投影は、モバイル拡張現実（ＭＡＲ）アプリケーションの視覚的オーバレイであってよい。
１又は複数のソフトウェアアプリケーション１９１６の制御下で、プラットフォーム１９０２は、ディスプレイ１９２０上にユーザインタフェース１９２２を表示してよい。

【0099】

様々な実施例において、コンテンツサービスデバイス１９３０は、任意の国家の、国際の、及び／又は独立サービスによってホストされ、このため、例えば、インターネットを介してプラットフォーム１９０２にアクセス可能であり得る。コンテンツサービスデバイス１９３０は、プラットフォーム１９０２に及び／又はディスプレイ１９２０に連結されてよい。プラットフォーム１９０２及び／又はコンテンツサービスデバイス１９３０は、ネットワーク１９６０へ及びからのメディア情報を通信（例えば、送信及び／又は受信）するために、ネットワーク１９６０に連結されてよい。
コンテンツ配信デバイス１９４０はまた、プラットフォーム１９０２及び／又はディスプレイ１９２０に連結されてよい。

【0100】

イメージセンサ１９１９は、シーンに基づいて、イメージデータを提供してよい任意の好適なイメージセンサを含んでよい。例えば、イメージセンサ１９１９は、半導体電荷結合デバイス（ＣＣＤ）ベースのセンサ、相補型金属酸化膜半導体（ＣＭＯＳ）ベースのセンサ、Ｎ型金属酸化膜半導体（ＮＭＯＳ）ベースのセンサ、又は同様のものを含んでよい。例えば、イメージセンサ１９１９は、イメージデータを生成するために、シーンの情報を検出してよい任意のデバイスを含んでよい。

【0101】

様々な実施例において、コンテンツサービスデバイス１９３０は、ケーブルテレビボックス、パーソナルコンピュータ、ネットワーク、電話、デジタル情報及び／又はコンテンツを配信可能なインターネット対応デバイス又は電気機器、及びネットワーク１９６０を介して又は直接、コンテンツをコンテンツプロバイダとプラットフォーム１９０２及び／又はディスプレイ１９２０との間で単方向又は二方向に通信可能な任意の他の同様のデバイスを含んでよい。コンテンツは、ネットワーク１９６０を介して、システム１９００及びコンテンツプロバイダにおけるコンポーネントのうちのいずれか１つから及びそれに対して単方向及び／又は二方向に通信され得ることが理解されるであろう。コンテンツの例は、例えば、ビデオ、音楽、医療及びゲーム情報等を含む任意のメディア情報等を含んでよい。

【0102】

コンテンツサービスデバイス１９３０は、メディア情報、デジタル情報を含むケーブルテレビプログラミング等のコンテンツ、及び／又は他のコンテンツを受信し得る。コンテンツプロバイダの例としては、任意のケーブル若しくは衛星テレビ、又は無線機若しくはインターネットコンテンツプロバイダが挙げられ得る。提供される例は、本開示に係る実施例を決して限定することを意味するものではない。

【0103】

様々な実施例において、プラットフォーム１９０２は、１又は複数のナビゲーション機能を有するナビゲーションコントローラ１９５０からの制御信号を受信してよい。ナビゲーションコントローラ１９５０のナビゲーション機能は、例えば、ユーザインタフェース１９２２とインタラクトするのに用いられ得る。様々な実施形態において、ナビゲーションコントローラ１９５０は、ユーザがコンピュータへと空間（例えば、連続的及び多次元的な）データを入力することを可能にするコンピュータハードウェアコンポーネント（特に、ヒューマンインタフェースデバイス）であり得るポインティングデバイスであってよい。グラフィカルユーザインタフェース（ＧＵＩ）及び、テレビ並びにモニタ等の多くのシステムは、ユーザが身体的なジェスチャを用いてコンピュータ又はテレビを制御し、及びそこにデータを提供することを可能にする。

【0104】

ナビゲーションコントローラ１９５０のナビゲーション機能の移動は、ポインタ、カーソル、フォーカスリング、又はディスプレイ上に表示される他の視覚的インジケータの移動によって、ディスプレイ（例えば、ディスプレイ１９２０）上で再現され得る。例えば、ソフトウェアアプリケーション１９１６の制御の下で、ナビゲーションコントローラ１９５０上に位置付けられるナビゲーション機能は、例えば、ユーザインタフェース１９２２上に表示される仮想のナビゲーション機能にマッピングされてよい。様々な実施形態において、ナビゲーションコントローラ１９５０は、別個のコンポーネントでなくてよいが、プラットフォーム１９０２及び／又はディスプレイ１９２０へと統合され得る。しかしながら、本開示は、本明細書において示される又は説明される構成要素又は状況に限定されない。

【0105】

様々な実施例において、ドライバ（不図示）は、例えば、有効にされたとき、テレビと同様に、初期起動後、ボタンをタッチすることで、ユーザがプラットフォーム１９０２を即座にオン及びオフにすることを可能にする技術を含んでよい。たとえプラットフォームが「オフ」になったときでも、プログラムロジックは、プラットフォーム１９０２が、メディアアダプタ、又は他のコンテンツサービスデバイス１９３０若しくはコンテンツ配信デバイス１９４０にコンテンツをストリーミングすることを可能にし得、更に、チップセット１９０５は、例えば、５．１サラウンドサウンドオーディオ及び／又は高解像度７．１サラウンドサウンドオーディオに対するハードウェア及び／又はソフトウェアサポートを含んでよい。ドライバは、統合されたグラフィックスプラットフォーム用のグラフィックスドライバを含んでよい。様々な実施形態において、グラフィックスドライバは、周辺コンポーネントインターコネクト（ＰＣＩ）エクスプレスグラフィックスカードを含んでよい。

【0106】

様々な実施例において、システム１９００の中に示されるコンポーネントのうちいずれか１又は複数は、統合されてよい。例えば、プラットフォーム１９０２及びコンテンツサービスデバイス１９３０は統合されてよく、又は、プラットフォーム１９０２及びコンテンツ配信デバイス１９４０は統合されてよく、又は、例えば、プラットフォーム１９０２、コンテンツサービスデバイス１９３０、及びコンテンツ配信デバイス１９４０は統合されてよい。
様々な実施形態において、プラットフォーム１９０２とディスプレイ１９２０とは、統合されたユニットであってよい。例えば、ディスプレイ１９２０及びコンテンツサービスデバイス１９３０は統合されてよく、又はディスプレイ１９２０及びコンテンツ配信デバイス１９４０は統合されてよい。これらの例は、本開示を限定することを意味するものではない。

【0107】

様々な実施形態において、システム１９００は無線システム、有線システム、又は両方の組み合わせとして実装されてよい。無線システムとして実装されるとき、システム１９００は、１又は複数のアンテナ、送信機、受信機、送受信機、増幅器、フィルタ、制御ロジック等といった無線共有媒体を介して通信するのに好適なコンポーネント及びインタフェースを含んでよい。無線共有媒体の例としては、ＲＦスペクトル等といった無線スペクトルの一部が挙げられ得る。有線システムとして実装されるときには、システム１９００は、例えば入出力（Ｉ／Ｏ）アダプタ、Ｉ／Ｏアダプタを対応する有線通信媒体と接続するための物理コネクタ、ネットワークインタフェースカード（ＮＩＣ）、ディスクコントローラ、ビデオコントローラ、及びオーディオコントローラ等の有線通信媒体で通信するのに好適なコンポーネント及びインタフェースを含んでよい。有線通信媒体の例としては、ワイヤ、ケーブル、金属リード線、プリント回路基板（ＰＣＢ）、バックプレーン、スイッチファブリック、半導体材料、ツイストペアワイヤ、同軸ケーブル、光ファイバ等が挙げられ得る。

【0108】

プラットフォーム１９０２は、情報を通信に１又は複数の論理又は物理チャネルを確立してよい。情報は、メディア情報及び制御情報を含んでよい。メディア情報は、ユーザ向けのコンテンツを表す任意のデータを指し得る。コンテンツの例としては、例えば、音声会話、ビデオ会議、ストリーミングビデオ、電子メール（「ｅｍａｉｌ」）メッセージ、ボイスメールメッセージ、英数字記号、グラフィックス、イメージ、ビデオ、テキスト等からのデータが挙げられ得る。音声会話からのデータは、例えば、スピーチ情報、沈黙時間、背景雑音、快適ノイズ、トーン等であり得る。制御情報は、自動化システム向けのコマンド、命令又は制御語を表す任意のデータを指し得る。例えば、制御情報は、システムを通じてメディア情報をルーティングするために、又は、予め定められた態様でメディア情報を処理することをノードに指示するのに用いられ得る。しかしながら、実施形態は、要素又は図１９に示され若しくは説明された状況に限定されない。

【0109】

上述のように、システム１９００は様々な物理スタイル又はフォームファクタで具現化されてよい。図２０は、本開示の少なくともいくつかの実施例に従って配置された、例示的な小さなフォームファクタデバイス２０００を示す図である。いくつかの例において、システム１９００は、デバイス２０００を介して実装されてよい。他の例において、本明細書において論じられる他のシステム、コンポーネント、若しくはモジュール、又はこれらの部分は、デバイス２０００を介して実装してよい。例えば、様々な実施形態において、デバイス２０００は、無線機能を有するモバイルコンピューティングデバイスとして実装されてよい。例えば、モバイルコンピューティングデバイスは、処理システム、及び１又は複数のバッテリ等の、モバイル電源又は供給を有する任意のデバイスを指してよい。

【0110】

モバイルコンピューティングデバイスの例は、パーソナルコンピュータ（ＰＣ）、ラップトップコンピュータ、ウルトララップトップコンピュータ、タブレット、タッチパッド、ポータブルコンピュータ、ハンドヘルドコンピュータ、パームトップコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、携帯電話、携帯電話／ＰＤＡの組み合わせ、テレビ、スマートデバイス（例えば、スマートフォン、スマートタブレット又はスマートモバイルテレビ）、モバイルインターネットデバイス（ＭＩＤ）、メッセージングデバイス、データ通信デバイス、カメラ（例えば、ポイントアンドシュートカメラ、スーパーズームカメラ、及びデジタル一眼レフ（ＤＳＬＲ）カメラ）等を含んでよい。

【0111】

モバイルコンピューティングデバイスの例はまた、リストコンピュータ、フィンガーコンピュータ、リングコンピュータ、眼鏡コンピュータ、ベルトクリップコンピュータ、アームバンドコンピュータ、シューズコンピュータ、クロージングコンピュータ、及び他の着用可能コンピュータ等の、自動車又はロボットにより実装されるように配置される、又は人により着用されるコンピュータを含んでよい。様々な実施形態において、例えば、モバイルコンピューティングデバイスは、コンピュータアプリケーション並びに音声通信及び／又はデータ通信を実行することが可能なスマートフォンとして実装され得る。いくつかの実施形態は、例として、スマートフォンとして実装されたモバイルコンピューティングデバイスを用いて説明され得るが、他の実施形態が、他の無線モバイルコンピューティングデバイスを同様に用いて実装され得ることが理解され得る。実施形態は、この状況において限定されない。

【0112】

図２０において示されるように、デバイス２０００は、正面２００１及び背面２００２を有する筐体を含んでよい。デバイス２０００は、ディスプレイ２００４と、入出力（Ｉ／Ｏ）デバイス２００６と、カラーカメラ２０２１と、カラーカメラ２０２２と、統合アンテナ２００８とを含む。いくつかの実施形態において、カラーカメラ２０２１及びカラーカメラ２０２２は、本明細書において論じられるような平面イメージを獲得する。いくつかの実施形態において、デバイス２０００は、カラーカメラ２０２１及び２０２２を含まず、デバイス２０００は、別のデバイスから入力イメージデータ（例えば、本明細書において論じられる任意の入力イメージデータ）を獲得する。デバイス２０００はまた、ナビゲーション機能２０１２を含んでよい。Ｉ／Ｏデバイス２００６は、モバイルコンピューティングデバイスへと情報を入力するための任意の好適なＩ／Ｏデバイスを含んでよい。Ｉ／Ｏデバイス２００６の実施例は、英数字キーボード、テンキーパッド、タッチパッド、入力キー、ボタン、スイッチ、マイク、スピーカー、音声認識デバイス、及びソフトウェア等を含んでよい。情報はまた、マイク（不図示）を手段としてデバイス２０００へと入力されてよく、又は、音声認識デバイスによりデジタル化されてよい。示されるように、デバイス２０００は、デバイス２０００の背面２００２（又は他の箇所）へと統合されたカラーカメラ２０２１、２０２２及びフラッシュ２０１０を含んでよい。他の例において、カラーカメラ２０２１、２０２２及びフラッシュ２０１０は、デバイス２０００の正面２００１へと統合されてよく、又はカメラの正面及び背面セットの両方に提供されてよい。カラーカメラ２０２１、２０２２及びフラッシュ２０１０は、ディスプレイ２００４に出力される、及び／又は、例えば、アンテナ２００８を介してデバイス２０００からリモートで通信されるイメージ又はストリーミングビデオへと処理されてよい、ＩＲテクスチャ補正を有するカラーイメージデータを生ずるカメラモジュールのコンポーネントであってよい。

【0113】

様々な実施形態は、ハードウェア要素、ソフトウェア要素、又はそれら両方の組み合わせを用いて実装されてよい。ハードウェア要素の例は、プロセッサ、マイクロプロセッサ、回路、回路素子（例えば、トランジスタ、抵抗器、キャパシタ、及びインダクタ等）、集積回路、特定用途向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ロジックゲート、レジスタ、半導体デバイス、チップ、マイクロチップ及びチップセット等を含んでよい。ソフトウェアの例は、ソフトウェアコンポーネント、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、機械プログラム、オペレーティングシステムソフトウェア、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、方法、手順、ソフトウェアインタフェース、アプリケーションプログラムインタフェース（ＡＰＩ）、命令セット、コンピューティングコード、コンピュータコード、コードセグメント、コンピュータコードセグメント、単語、値、記号、又はこれらの任意の組み合わせを含んでよい。一実施形態がハードウェア要素及び／又はソフトウェア要素を使用して実装されるか否かの決定は、所望の計算レート、パワーレベル、耐熱性、処理サイクルバジェット、入力データレート、出力データレート、メモリリソース、（データバススピード及び他の設計又は性能制約等の任意の数の要因に従って変わり得る。

【0114】

少なくとも１つの実施形態に係る１又は複数の態様は、様々なロジックをプロセッサ内で示す機械可読媒体上に格納される代表的な命令によって実装されてよい。代表的命令とは機械により読み取られるとき、機械に対し、本明細書において説明される技術を実行させるロジックを作成させるものである。ＩＰコアとして知られるそのような表現は、有形の機械可読媒体に格納されてよく、ロジック又はプロセッサを実際に製造する製造機械へと搭載するために様々な顧客又は製造設備に供給されてよい。

【0115】

本明細書に記載の特定の特徴を様々な実施例を参照して説明してきた一方で、この説明は限定の意味で解釈されることを意図しない。ゆえに、本開示が関連する当業者には明らかである、本明細書において説明される実施例並びに他の実施例の様々な修正は、本開示の主旨及び範囲内にあるものとみなされる。

【0116】

１又は複数の第１実施形態において、マルチビュービデオにおけるオブジェクト関連付けを実行するための方法は、複数のビデオフレームの各々についてのバウンディングボックスデータを受信する段階であって、複数のビデオフレームの各々は、同一の時間インスタンスにおけるシーンの特定のビューに対応する、受信する段階と、バウンディングボックスデータに基づいて、距離行列を生成する段階であって、距離行列は、ビデオフレームの全てのペア間の利用可能なバウンディングボックスの組み合わせ間の距離を有する、生成する段階と、距離行列内での二方向最小距離対応バウンディングボックスペアに基づいて、距離行列から、複数の距離部分行列を決定する段階と、各対応部分行列及び各距離部分行列を有する目的関数を最適化することに基づいて、距離部分行列の各々について、対応部分行列を別々に決定する段階と、対応部分行列に基づいて、ビデオフレームのバウンディングボックスデータについての関連付けリストを提供する段階とを備える。

【0117】

１又は複数の第２実施形態において、第１実施形態に対して更に、いくつかの実施形態において、二方向最小距離対応バウンディングボックスペアの第１の二方向最小距離対応バウンディングボックスペアは、第１のビデオフレームにおける第１のバウンディングボックスと、第２のビデオフレームにおける第２のバウンディングボックスとの間の対応を含み、第１の二方向最小距離対応バウンディングボックスペアは、第２のバウンディングボックスが、第１のバウンディングボックスから第２のビデオフレームの中の全ての候補バウンディングボックスまでの全ての利用可能な距離から、第１のバウンディングボックスからの最小距離を有することと、第１のバウンディングボックスが、第２のバウンディングボックスから第１のビデオフレームの中の全ての候補バウンディングボックスまでの全ての利用可能な距離から、第２のバウンディングボックスからの最小距離を有することとに応答する。

【0118】

１又は複数の第３実施形態において、第１又は第２実施形態に対して更に、複数の部分行列を決定する段階は、部分行列内で二方向最小距離対応バウンディングボックスペアを併合するための行及び列基本変換を介して、二方向最小距離対応バウンディングボックスペアに基づいて、距離行列を変換する段階を有する。

【0119】

１又は複数の第４実施形態において、第１から第３までの実施形態のいずれかに対して更に、方法は、開始時間フレームとして、同一の時間インスタンスを使用して、第１のトラックレットのセットを生成する段階と、開始時間フレームとして、同一の時間インスタンスの後続の追加的な時間インスタンスを使用して、１又は複数の追加的なトラックレットのセットを生成する段階と、第１のトラックレットのセット及び追加的なトラックレットのセットを使用して、時間インスタンスのうち１つについての初期関連付けリストを調節する段階とを更に備える。

【0120】

１又は複数の第５実施形態において、第１から第４までの実施形態のいずれかに対して更に、第１のトラックレットのセットのうち第１のトラックレットは、同一の時間インスタンスについてのバウンディングボックスのポジションを、同一の時間インスタンスの後続の第２の時間インスタンスについてのバウンディングボックスの第２のポジションに投影する段階と、組み合わせ最適化アルゴリズムの適用、及び第２の時間インスタンスにおけるオブジェクトポジションが同一の時間インスタンスにおけるオブジェクトポジションの閾値距離内にあることに応答して、第２の時間インスタンスにおけるオブジェクトポジションを、第１のトラックレットに追加する段階とにより生成される。

【0121】

１又は複数の第６実施形態において、第１から第５までの実施形態のいずれかに対して更に、方法は、結果として得られるトラックレットのセットを生成するために、第１のトラックレットのセットと、１又は複数の追加的なトラックレットのセットとを融合する段階を更に備える。

【0122】

１又は複数の第７実施形態において、第１から第６までの実施形態のいずれかに対して更に、第１のトラックレットのセットと１又は複数の追加的なトラックレットのセットとを融合する段階は、１又は複数の追加的なトラックレットのセットの第２のトラックレットのセットの中の第２のトラックレットが、第１のトラックレットのセットの中の任意のトラックレットと交差しないことを決定する段階と、第２のトラックレットが、閾値を超える長さを有することに応答して、第２のトラックレットを、結果として得られるトラックレットのセットに追加する段階とを有する。

【0123】

１又は複数の第８実施形態において、第１から第７までの実施形態のいずれかに対して更に、第１のトラックレットのセットと１又は複数の追加的なトラックレットのセットとを融合する段階は、１又は複数の追加的なトラックレットのセットの第２のトラックレットのセットの中の第２のトラックレットが、第１のトラックレットのセットの中の任意のトラックレットと交差しないことを決定する段階と、第２のトラックレットを、結果として得られるトラックレットのセットの中の第３のトラックレットと併合する段階であって、第２及び第３のトラックレットの長さの合計が、同一の及び追加的な時間インスタンスに対応するバッファサイズより小さいことに応答して、併合する段階とを有する。

【0124】

１又は複数の第９実施形態において、第１から第８までの実施形態のいずれかに対して更に、関連付けリストを提供する段階は、バウンディングボックスデータの位置追跡の後に、関連付けリストにおけるオブジェクトのポジションの比較に基づいて、関連付けリストにおける１又は複数のオブジェクトを調節する段階を有する。

【0125】

１又は複数の第１０実施形態において、第１から第９までの実施形態のいずれかに対して更に、１又は複数のオブジェクトを調節する段階は、第１のオブジェクト関連付けから、第２のオブジェクト関連付けに、第１のビデオフレームにおける第１のオブジェクトバウンディングボックスについての関連付けを変更する段階であって、第１のオブジェクト関連付けの中心位置までの第１のオブジェクトバウンディングボックスの第１の距離が、第２のオブジェクト関連付けの中心位置までの第１のオブジェクトバウンディングボックスの第２の距離を超えることに応答して、変更する段階を有する。

【0126】

１又は複数の第１１実施形態において、第１から第１０までの実施形態のいずれかに対して更に、１又は複数のオブジェクトを調節する段階は、第１のビデオフレームの中の第１のオブジェクトバウンディングボックスを破棄する段階であって、第１のオブジェクトバウンディングボックスが、第１のオブジェクト関連付けポジションから閾値距離よりも遠いことに応答して、破棄する段階を有する。

【0127】

１又は複数の第１２実施形態において、デバイス又はシステムは、メモリと、上記実施形態のいずれか１つに記載の方法を実行するための１又は複数のプロセッサとを含む。

【0128】

１又は複数の第１３の実施形態において、少なくとも１つの機械可読媒体は、コンピューティングデバイスで実行されることに応答して、コンピューティングデバイスに、上記実施形態のいずれか１つに記載の方法を実行させる複数の命令を含む。

【0129】

１又は複数の第１４実施形態において、装置は、上記実施形態のいずれか１つに記載の方法を実行するための手段を含む。

【0130】

実施形態は、これまで説明された実施形態に限定されないが、添付の特許請求の範囲の範囲から逸脱することなく、修正及び変更で実施されることが可能であることが認識されるであろう。例えば、上記実施形態は、特徴の具体的な組み合わせを含んでよい。しかしながら、上記実施形態は、この点で限定されず、様々な実施例において、上記実施形態は、そのような特徴のサブセットのみの実行、そのような特徴の異なる順序での実行、そのような特徴の異なる組み合わせでの実行及び／又は明示的に列挙されたこれらの特徴に対する追加的な特徴の実行を含んでよい。従って、これらの実施形態の範囲は、添付の特許請求の範囲が権利を与えられる同等のものの範囲全体と共に、そのような特許請求の範囲を参照して決定されるべきである。
［他の可能な項目］
［項目１］
マルチビュービデオにおけるオブジェクト関連付けを実行するためのシステムであって、
複数のビデオフレームの各々についてのバウンディングボックスデータを格納するためのメモリであって、前記複数のビデオフレームの各々は、同一の時間インスタンスにおけるシーンの特定のビューに対応する、メモリと、
前記メモリに連結される１又は複数のプロセッサであって、前記１又は複数のプロセッサは、
複数のビデオフレームの各々についてのバウンディングボックスデータを受信することであって、前記複数のビデオフレームの各々は、同一の時間インスタンスにおけるシーンの特定のビューに対応する、受信することと、
前記バウンディングボックスデータに基づいて、距離行列を生成することであって、前記距離行列は、前記ビデオフレームの全てのペア間の利用可能なバウンディングボックスの組み合わせ間の距離を有する、生成することと、
前記距離行列内での二方向最小距離対応バウンディングボックスペアに基づいて、前記距離行列から、複数の距離部分行列を決定することと、
各対応部分行列及び各距離部分行列を有する目的関数を最適化することに基づいて、前記距離部分行列の各々について、対応部分行列を別々に決定することと、
前記対応部分行列に基づいて、前記ビデオフレームの前記バウンディングボックスデータについての関連付けリストを提供することと
を実行する、１又は複数のプロセッサと
を備えるシステム。
［項目２］
前記二方向最小距離対応バウンディングボックスペアのうち第１の二方向最小距離対応バウンディングボックスペアは、第１のビデオフレームの中の第１のバウンディングボックスと第２のビデオフレームの中の第２のバウンディングボックスとの間の対応を有し、前記第１の二方向最小距離対応バウンディングボックスペアは、前記第２のバウンディングボックスが、前記第１のバウンディングボックスから前記第２のビデオフレームの中の全ての候補バウンディングボックスまでの全ての利用可能な距離から、前記第１のバウンディングボックスからの最小距離を有することと、前記第１のバウンディングボックスが、前記第２のバウンディングボックスから前記第１のビデオフレームの中の全ての候補バウンディングボックスまでの全ての利用可能な距離から、前記第２のバウンディングボックスからの最小距離を有することとに応答する、項目１に記載のシステム。
［項目３］
前記複数の部分行列を決定することを実行する前記１又は複数のプロセッサは、前記部分行列内で前記二方向最小距離対応バウンディングボックスペアを併合するための行及び列基本変換を介して、前記二方向最小距離対応バウンディングボックスペアに基づいて、前記距離行列を変換することを実行する前記１又は複数のプロセッサを有する、項目１に記載のシステム。
［項目４］
前記１又は複数のプロセッサは、
開始時間フレームとして、前記同一の時間インスタンスを使用して、第１のトラックレットのセットを生成することと、
開始時間フレームとして、前記同一の時間インスタンスの後続の追加的な時間インスタンスを使用して、１又は複数の追加的なトラックレットのセットを生成することと、
前記第１のトラックレットのセット及び前記追加的なトラックレットのセットを使用して、前記時間インスタンスのうち１つについての初期関連付けリストを調節することと
を実行する、項目１から３のいずれかに記載のシステム。
［項目５］
前記第１のトラックレットのセットのうち第１のトラックレットは、前記１又は複数のプロセッサであって、
前記同一の時間インスタンスについてのバウンディングボックスのポジションを、前記同一の時間インスタンスの後続の第２の時間インスタンスについての前記バウンディングボックスの第２のポジションに投影することと、
組み合わせ最適化アルゴリズムの適用、及び第２の時間インスタンスにおけるオブジェクトポジションが前記同一の時間インスタンスにおける前記オブジェクトポジションの閾値距離内にあることに応答して、前記第２の時間インスタンスにおける前記オブジェクトポジションを、前記第１のトラックレットに追加することと
を実行する前記１又は複数のプロセッサにより生成される、項目４に記載のシステム。
［項目６］
前記１又は複数のプロセッサは、
結果として得られるトラックレットのセットを生成するために、前記第１のトラックレットのセットと、前記１又は複数の追加的なトラックレットのセットとを融合すること
を実行する、項目４に記載のシステム。
［項目７］
前記第１のトラックレットのセットと前記１又は複数の追加的なトラックレットのセットとを融合することを実行する前記１又は複数のプロセッサは、
前記１又は複数の追加的なトラックレットのセットの第２のトラックレットのセットの中の第２のトラックレットが、前記第１のトラックレットのセットの中の任意のトラックレットと交差しないことを決定することと、
前記第２のトラックレットが、閾値を超える長さを有することに応答して、前記第２のトラックレットを、前記結果として得られるトラックレットのセットに追加することと
を実行する前記１又は複数のプロセッサを有する、項目６に記載のシステム。
［項目８］
前記第１のトラックレットのセットと前記１又は複数の追加的なトラックレットのセットとを融合することを実行する前記１又は複数のプロセッサは、
前記１又は複数の追加的なトラックレットのセットの第２のトラックレットのセットの中の第２のトラックレットが、前記第１のトラックレットのセットの中の任意のトラックレットと交差しないことを決定することと、
前記第２のトラックレットを、結果として得られるトラックレットのセットの中の第３のトラックレットと併合することであって、前記第２及び第３のトラックレットの前記長さの合計が、前記同一の及び追加的な時間インスタンスに対応するバッファサイズより小さいことに応答して、併合することと
を実行する前記１又は複数のプロセッサを有する、項目６に記載のシステム。
［項目９］
前記関連付けリストを提供することを実行する前記１又は複数のプロセッサは、前記バウンディングボックスデータの位置追跡の後に、前記関連付けリストにおけるオブジェクトのポジションの比較に基づいて、前記関連付けリストにおける１又は複数のオブジェクトを調節することを実行する前記１又は複数のプロセッサを有する、項目１に記載のシステム。
［項目１０］
前記１又は複数のオブジェクトを調節することを実行する前記１又は複数のプロセッサは、第１のオブジェクト関連付けから、第２のオブジェクト関連付けに、第１のビデオフレームにおける第１のオブジェクトバウンディングボックスについての関連付けを変更することであって、前記第１のオブジェクト関連付けの中心位置までの前記第１のオブジェクトバウンディングボックスの第１の距離が、前記第２のオブジェクト関連付けの中心位置までの前記第１のオブジェクトバウンディングボックスの第２の距離を超えることに応答して、変更することを実行する前記１又は複数のプロセッサを有する、項目９に記載のシステム。
［項目１１］
前記１又は複数のオブジェクトを調節することを実行する前記１又は複数のプロセッサは、第１のビデオフレームの中の第１のオブジェクトバウンディングボックスを破棄することであって、前記第１のオブジェクトバウンディングボックスが、第１のオブジェクト関連付けポジションから閾値距離よりも遠いことに応答して、破棄することを実行する前記１又は複数のプロセッサを有する、項目９に記載のシステム。
［項目１２］
マルチビュービデオにおけるオブジェクト関連付けを実行するための方法であって、
複数のビデオフレームの各々についてのバウンディングボックスデータを受信する段階であって、前記複数のビデオフレームの各々は、同一の時間インスタンスにおけるシーンの特定のビューに対応する、受信する段階と、
前記バウンディングボックスデータに基づいて、距離行列を生成する段階であって、前記距離行列は、前記ビデオフレームの全てのペア間の利用可能なバウンディングボックスの組み合わせ間の距離を有する、生成する段階と、
前記距離行列内での二方向最小距離対応バウンディングボックスペアに基づいて、前記距離行列から、複数の距離部分行列を決定する段階と、
各対応部分行列及び各距離部分行列を有する目的関数を最適化することに基づいて、前記距離部分行列の各々について、対応部分行列を別々に決定する段階と、
前記対応部分行列に基づいて、前記ビデオフレームの前記バウンディングボックスデータについての関連付けリストを提供する段階と
を備える方法。
［項目１３］
前記複数の部分行列を決定する段階は、前記部分行列内で前記二方向最小距離対応バウンディングボックスペアを併合するための行及び列基本変換を介して、前記二方向最小距離対応バウンディングボックスペアに基づいて、前記距離行列を変換する段階を有する、項目１２に記載の方法。
［項目１４］
開始時間フレームとして、前記同一の時間インスタンスを使用して、第１のトラックレットのセットを生成する段階と、
開始時間フレームとして、前記同一の時間インスタンスの後続の追加的な時間インスタンスを使用して、１又は複数の追加的なトラックレットのセットを生成する段階と、
前記第１のトラックレットのセット及び前記追加的なトラックレットのセットを使用して、前記時間インスタンスのうち１つについての初期関連付けリストを調節する段階と
を更に備える、項目１２又は１３に記載の方法。
［項目１５］
結果として得られるトラックレットのセットを生成するために、前記第１のトラックレットのセットと、前記１又は複数の追加的なトラックレットのセットとを融合する段階
を更に備える、項目１４に記載の方法。
［項目１６］
前記関連付けリストを提供する段階は、前記バウンディングボックスデータの位置追跡の後に、前記関連付けリストにおけるオブジェクトのポジションの比較に基づいて、前記関連付けリストにおける１又は複数のオブジェクトを調節する段階を更に有する、項目１２に記載の方法。
［項目１７］
少なくとも１つの機械可読媒体であって、コンピューティングデバイス上で実行されることに応答して、前記コンピューティングデバイスに、
複数のビデオフレームの各々についてのバウンディングボックスデータを受信する段階であって、前記複数のビデオフレームの各々は、同一の時間インスタンスにおけるシーンの特定のビューに対応する、受信する段階と、
前記バウンディングボックスデータに基づいて、距離行列を生成する段階であって、前記距離行列は、前記ビデオフレームの全てのペア間の利用可能なバウンディングボックスの組み合わせ間の距離を有する、生成する段階と、
前記距離行列内での二方向最小距離対応バウンディングボックスペアに基づいて、前記距離行列から、複数の距離部分行列を決定する段階と、
各対応部分行列及び各距離部分行列を有する目的関数を最適化することに基づいて、前記距離部分行列の各々について、対応部分行列を別々に決定する段階と、
前記対応部分行列に基づいて、前記ビデオフレームの前記バウンディングボックスデータについての関連付けリストを提供する段階と
により、マルチビュービデオにおけるオブジェクト関連付けを実行させる複数の命令を備える、少なくとも１つの機械可読媒体。
［項目１８］
前記複数の部分行列を決定する段階は、前記部分行列内で前記二方向最小距離対応バウンディングボックスペアを併合するための行及び列基本変換を介して、前記二方向最小距離対応バウンディングボックスペアに基づいて、前記距離行列を変換する段階を有する、項目１７に記載の機械可読媒体。
［項目１９］
コンピューティングデバイス上で実行されることに応答して、前記コンピューティングデバイスに、
開始時間フレームとして、前記同一の時間インスタンスを使用して、第１のトラックレットのセットを生成する段階と、
開始時間フレームとして、前記同一の時間インスタンスの後続の追加的な時間インスタンスを使用して、１又は複数の追加的なトラックレットのセットを生成する段階と、
前記第１のトラックレットのセット及び前記追加的なトラックレットのセットを使用して、前記時間インスタンスのうち１つについての初期関連付けリストを調節する段階と
により、マルチビュービデオにおけるオブジェクト関連付けを実行させる複数の命令を更に備える、項目１７又は１８に記載の機械可読媒体。
［項目２０］
前記方法は、
結果として得られるトラックレットのセットを生成するために、前記第１のトラックレットのセットと、前記１又は複数の追加的なトラックレットのセットとを融合する段階
を更に備える、項目１９に記載の機械可読媒体。
［項目２１］
記関連付けリストを提供する段階は、前記バウンディングボックスデータの位置追跡の後に、前記関連付けリストにおけるオブジェクトのポジションの比較に基づいて、前記関連付けリストにおける１又は複数のオブジェクトを調節する段階を更に有する、項目１７に記載の機械可読媒体。
［項目２２］
システムであって、
複数のビデオフレームの各々についてのバウンディングボックスデータを受信するための手段であって、前記複数のビデオフレームの各々は、同一の時間インスタンスにおけるシーンの特定のビューに対応する、受信するための手段と、
前記バウンディングボックスデータに基づいて、距離行列を生成するための手段であって、前記距離行列は、前記ビデオフレームの全てのペア間の利用可能なバウンディングボックスの組み合わせ間の距離を有する、生成するための手段と、
前記距離行列内での二方向最小距離対応バウンディングボックスペアに基づいて、前記距離行列から、複数の距離部分行列を決定するための手段と、
各対応部分行列及び各距離部分行列を有する目的関数を最適化することに基づいて、前記距離部分行列の各々について、対応部分行列を別々に決定するための手段と、
前記対応部分行列に基づいて、前記ビデオフレームの前記バウンディングボックスデータについての関連付けリストを提供するための手段と
を備えるシステム。
［項目２３］
前記複数の部分行列を決定するための手段は、前記部分行列内で前記二方向最小距離対応バウンディングボックスペアを併合するための行及び列基本変換を介して、前記二方向最小距離対応バウンディングボックスペアに基づいて、前記距離行列を変換するための手段を有する、項目２２に記載のシステム。
［項目２４］
開始時間フレームとして、前記同一の時間インスタンスを使用して、第１のトラックレットのセットを生成するための手段と、
開始時間フレームとして、前記同一の時間インスタンスの後続の追加的な時間インスタンスを使用して、１又は複数の追加的なトラックレットのセットを生成するための手段と、
前記第１のトラックレットのセット及び前記追加的なトラックレットのセットを使用して、前記時間インスタンスのうち１つについての初期関連付けリストを調節するための手段と
を更に備える、項目２２又は２３に記載のシステム。
［項目２５］
結果として得られるトラックレットのセットを生成するために、前記第１のトラックレットのセットと、前記１又は複数の追加的なトラックレットのセットとを融合するための手段
を更に備える、項目２４に記載のシステム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【国際調査報告】