特許7554278複数のビューから２Ｄ人間姿勢をマッチングさせるための方法およびシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-10
(45)【発行日】2024-09-19
(54)【発明の名称】複数のビューから２Ｄ人間姿勢をマッチングさせるための方法およびシステム
(51)【国際特許分類】
G06V 10/26 20220101AFI20240911BHJP
G06T 7/00 20170101ALI20240911BHJP
G06T 7/20 20170101ALI20240911BHJP
G06T 7/593 20170101ALI20240911BHJP
【ＦＩ】
G06V10/26
G06T7/00 660B
G06T7/20 300Z
G06T7/593
【請求項の数】
8
(21)【出願番号】P 2022556032
(86)(22)【出願日】2020-03-20
(65)【公表番号】
(43)【公表日】2023-06-30
(86)【国際出願番号】 IB2020052609
(87)【国際公開番号】W WO2021186225
(87)【国際公開日】2021-09-23
【審査請求日】2023-03-14
(73)【特許権者】
【識別番号】521546728
【氏名又は名称】ヒンジ ヘルス， インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】ジャン， ウェンシン
【審査官】鈴木 圭一郎
(56)【参考文献】
【文献】米国特許出願公開第２０１９／０２６６７８０（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１９／０１０９９７５（ＵＳ，Ａ１）
【文献】特開２０１９－１０２８７７（ＪＰ，Ａ）
【文献】中国特許出願公開第１０９８２９９７２（ＣＮ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｖ １０／２６
Ｇ０６Ｔ ７／００
Ｇ０６Ｔ ７／２０
Ｇ０６Ｔ ７／５９３
(57)【特許請求の範囲】
【請求項1】
各ビューの人間の２次元（２Ｄ）骨格から、２つ以上のカメラビューの間の人間を識別する方法であって、前記方法は、ａ）前記２つ以上のカメラビューのそれぞれにおける骨格毎に、前記２つ以上のカメラビューの別のものにおける前記骨格のそれぞれとの対毎スコア化を実施し、類似性スコアを各対に割り当てることであって、対のカメラビューからの対の２Ｄ骨格の前記対毎スコア化は、
前記２Ｄ骨格の複数の要素の要素毎に、
前記対のカメラビューから当該要素までの対の光線をモデル化すること、
前記対の光線間の距離を判定すること、および
前記複数の要素について判定された複数の距離の加重の合計を表わす前記類似性スコアを生成すること
を含む、ことと、
ｂ）前記対の前記類似性スコアを最大限にすることによって、第２のカメラビューにおける骨格に対する、第１のカメラビューにおける骨格の最良マッチングを識別することと、
ｃ）第１のカメラビューにおける骨格のセットであって、前記第１のカメラビューにおける前記人間に関連する前記セットを識別することによって、前記最良マッチングを使用して、第２のカメラビューにおける骨格のセットとともに、骨格を群化することと、
ｄ）前記２つ以上のカメラビューのあるフレーム内の前記群化された骨格内の各骨格に識別子を割り当てることと、次いで、マッチングする前記２つ以上のカメラビューの後続フレーム内の前記群化された骨格内の各骨格に、同一の識別子を割り当てることと
を含む、方法。
【請求項2】
前記対のカメラビューからの対の骨格の前記対毎スコア化は、各カメラビューから前記カメラビューと関連付けられる前記２Ｄ骨格の要素までの光線をモデル化することと、２本の光線間の最小距離を判定することとを含む、請求項１に記載の方法。
【請求項3】
前記光線が発散的である場合、前記対は、前記類似性スコア内に含まれない、請求項２に記載の方法。
【請求項4】
前記対のカメラビューからの対の骨格の前記対毎スコア化は、前記対の光線間の前記距離が閾値を超過する要素を除外することをさらに含む、請求項２に記載の方法。
【請求項5】
各ビューの人間の２次元（２Ｄ）骨格から、２つ以上のカメラビューの間の人間を識別する方法であって、前記方法は、
ａ）前記２つ以上のカメラビューのそれぞれにおける骨格毎に、前記２つ以上のカメラビューの別のものにおける前記骨格のそれぞれとの対毎スコア化を実施し、類似性スコアを各対に割り当てることと、
ｂ）前記対の前記類似性スコアを最大限にすることによって、第２のカメラビューにおける骨格に対する、第１のカメラビューにおける骨格の最良マッチングを識別することと、
ｃ）第１のカメラビューにおける骨格のセットであって、前記第１のカメラビューにおける前記人間に関連する前記セットを識別することによって、前記最良マッチングを使用して、第２のカメラビューにおける骨格のセットとともに、骨格を群化することと、
ｄ）前記２つ以上のカメラビューのあるフレーム内の前記群化された骨格内の各骨格に識別子を割り当てることと、次いで、マッチングする前記２つ以上のカメラビューの後続フレーム内の前記群化された骨格内の各骨格に、同一の識別子を割り当てることと
を含み、
対のカメラビューからの対の骨格の前記対毎スコア化は、各カメラビューから前記カメラビューと関連付けられる前記２Ｄ骨格の要素までの光線をモデル化することと、２本の光線間の最小距離を判定することとを含み、
前記対のカメラビューからの前記対の骨格の前記対毎スコア化は、典型的な人間からの前記２Ｄ骨格から形成される、推定的３Ｄ骨格の属性の偏差を判定することをさらに含む、方法。
【請求項6】
カメラの位置および角度を判定することによって、各カメラビューを較正することと、前記１つ以上のカメラビューから同時に捉えられるフレームを整合させることによって、前記カメラビューを同期させることとをさらに含む、請求項１に記載の方法。
【請求項7】
第２のカメラビューにおける骨格に対する、第１のカメラビューにおける骨格の最良マッチングを識別することは、任意のマッチングを識別しないことを含む、請求項１に記載の方法。
【請求項8】
２人以上の人間に関する運動捕捉システムであって、前記運動捕捉システムは、同期化されたビデオストリームを生成する対の較正されたカメラであって、前記対の較正されたカメラは、前記２人以上の人間を含む少なくとも部分的に重複する視野を有する第１のカメラおよび第２のカメラを含む、対の較正されたカメラと、
前記第１のカメラと関連付けられる第１の２次元（２Ｄ）姿勢推定器モジュールであって、前記第１の２Ｄ姿勢推定器モジュールは、前記同期化されたビデオストリームのうちの第１の同期化されたビデオストリームのフレームに関して、対応する視野内の人間毎に２Ｄ骨格を生成するように構成される、第１の２Ｄ姿勢推定器モジュールと、
前記第２のカメラと関連付けられる第２の２Ｄ姿勢推定器モジュールであって、前記第２の２Ｄ姿勢推定器モジュールは、前記同期化されたビデオストリームのうちの第２の同期化されたビデオストリームのフレームに関して、対応する視野内の人間毎に２Ｄ骨格を生成するように構成される、第２の２Ｄ姿勢推定器モジュールと、
前記第１のカメラと関連付けられる前記２Ｄ骨格毎に、前記第２のカメラと関連付けられる前記２Ｄ骨格のそれぞれとの対毎スコア化を実施し、各対に対して、類似性スコアを割り当てるためのスコア化モジュールであって、前記スコア化モジュールは、各カメラビューから前記カメラビューと関連付けられる前記２Ｄ骨格の要素までの光線をモデル化することと、２つの光線間の最小距離を判定することとを実行するように構成される、スコア化モジュールと、
前記対の前記類似性スコアを最大限にすることによって、第２のカメラビューにおける２Ｄ骨格に、第１のカメラビューにおける２Ｄ骨格をマッチングさせる、マッチングモジュールと、
第１のカメラビューにおける２Ｄ骨格のセットであって、前記第１のカメラビューにおける前記人間に関連する前記セットを識別することによって、最良マッチングを使用して、第２のカメラビューにおける２Ｄ骨格のセットとともに、２Ｄ骨格を群化する、群化モジュールと、
各２Ｄ骨格群に、前記同期化されたビデオストリームのフレームのシーケンスを横断して一貫したままである、識別子を割り当てる、時間マッチングモジュールと、
前記人間の位置を捕捉する、前記人間の３次元（３Ｄ）骨格を作成するために、人間に関するフレームのシーケンスを横断して、前記群化された２Ｄ骨格を組み合わせる、３Ｄ再構築モジュールと
を備える、システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、ビデオセグメント内の２Ｄ関節骨格を識別し、追跡することに関する。より具体的には、本開示は、２Ｄデータが、複数の視点から捉えられるビデオセグメントのフレームから抽出される場合に、同一人物に対応する２Ｄ骨格データをマッチングさせることに関する。
【背景技術】
【0002】
同期化された２Ｄビデオシーケンスからの３Ｄ人間姿勢の再構築は、２段階で遂行され得る。第１の段階である、２Ｄ人間姿勢の推定は、各ビデオシーケンスの各フレーム内の特徴点を検出する。第２の段階は、３Ｄ骨格の中に、カメラ較正パラメータとともに、２Ｄ特徴点を融合する。
【0003】
２Ｄ人間姿勢推定器は、ビデオシーケンスの各ビデオフレームにおいて、解剖学的関節に対応し得る、特徴点を検出するために、深層ニューラルネットワークに依拠し得る。単一の人物に属する特徴点群は、２Ｄ骨格を形成するために接続され得る。複数の人物を含有する場面に関しては、複数の２Ｄ骨格が、各フレーム内で検出され得、それぞれが、インデックスまたは一意のＩＤを割り当てられる。複数の人物の姿勢の推定は、複数の着目領域上で、特徴点検出を実施することによって遂行されてもよい、または単一の画像フレーム内の全ての特徴点をともに「１回」で検出し、次いで、それらを個々の２Ｄ骨格の中に群化することによって遂行されてもよい。
【0004】
場面内の人物毎に、具体的な人物に対応する２Ｄ骨格が、ともに群化され、３Ｄ骨格が、データ融合技法を通して推定される。例えば、各３Ｄ関節位置は、２つ以上の特徴点の三角測量によって、独立して推定され得る。代替として、３Ｄ関節位置は、関節の運動を経時的にモデル化する、カルマンフィルタによって推定され得る。
【0005】
複数の人物を含有する場面に関しては、２Ｄ骨格が群化され、それによって、各群が、単一の人物に対応することが重要であり得る。各ビューにおける２Ｄ骨格は、独立して抽出され得るため、そのインデックスまたはＩＤは、ビューを横断して相関されない。故に、マッチングステップが、典型的には、３Ｄ骨格を復元するために融合された２Ｄ群を識別するために使用される。
【発明の概要】
【課題を解決するための手段】
【0006】
本開示は、ある側面における、各ビューの人間の２Ｄ骨格から、２つ以上のカメラビューの間の人間を識別する方法に関する。本方法は、２つ以上のカメラビューのそれぞれにおける、骨格毎に、２つ以上のカメラビューの別のものにおける、骨格のそれぞれとの対毎スコア化を実施し、類似性スコアを各対に割り当てることを含む。本方法はまた、対の類似性スコアを最大限にすることによって、第２のカメラビューにおける骨格に対する、第１のカメラビューにおける骨格の最良マッチングを識別することを含む。本方法は、第１のカメラビューにおける骨格のセットであって、第１のカメラビューにおける人間に関連するセットを識別することによって、最良マッチングを使用して、第２のカメラビューにおける骨格のセットとともに、骨格を群化することを含む。
【0007】
ある側面では、本開示は、同期化されたビデオストリームを生成する、２つ以上の較正されたカメラを備える、２人以上の人間に関する運動捕捉システムに関し、各カメラは、２人以上の人間を含む、重複する視野を有する。本システムは、ビデオストリームのフレームに関して、カメラの視野内の人間毎に２Ｄ骨格を生成するために、２つ以上の較正されたカメラのそれぞれと関連付けられる、２Ｄ姿勢推定器モジュールと、第１のカメラと関連付けられる２Ｄ骨格毎に、２つ以上のカメラの別のものの各２Ｄ骨格との対毎スコア化を実施し、各対に対して、類似性スコアを割り当てるためのスコア化モジュールとを有する。本システムはまた、対の類似性スコアを最大限にすることによって、第２のカメラビューにおける２Ｄ骨格に対して、第１のカメラビューにおける２Ｄ骨格をマッチングさせる、マッチングモジュールと、捕捉された場面において、群内の各２Ｄ骨格が、所与のカメラビューにおける、個別の人物のビューに対応するように、それぞれ、各人物に関する２Ｄ骨格のセットを識別することによって、２Ｄ骨格を群化する、群化モジュールとを有する。本システムはまた、各２Ｄ骨格群に、ビデオストリームのフレームのシーケンスを横断して一貫したままである、識別子を割り当てる、時間マッチングモジュールと、人間の位置を捕捉する、人間の３Ｄ骨格を作成するために、人間に関するフレームのシーケンスを横断して、群化された２Ｄ骨格を組み合わせる、３Ｄ再構築モジュールとを含む。
本発明は、例えば、以下を提供する。
（項目１）
各ビューの人間の２ｄ骨格から、２つ以上のカメラビューの間の人間を識別する方法であって、
ａ）前記２つ以上のカメラビューのそれぞれにおける骨格毎に、前記２つ以上のカメラビューの別のものにおける前記骨格のそれぞれとの対毎スコア化を実施し、類似性スコアを各対に割り当てることと、
ｂ）前記対の前記類似性スコアを最大限にすることによって、第２のカメラビューにおける骨格に対する、第１のカメラビューにおける骨格の最良マッチングを識別することと、
ｃ）第１のカメラビューにおける骨格のセットであって、前記第１のカメラビューにおける前記人間に関連する前記セットを識別することによって、前記最良マッチングを使用して、第２のカメラビューにおける骨格のセットとともに、骨格を群化することと
を含む、方法。
（項目２）
前記カメラビューのあるフレーム内の前記群化された骨格内の各骨格に識別子を割り当てることと、マッチングする前記カメラビューの後続フレーム内の前記群化された骨格内の各骨格に、同一の識別子を割り当てることとをさらに含む、項目１に記載の２つ以上のカメラビューの間の人間を識別する方法。
（項目３）
対のカメラビューからの対の骨格の前記対毎スコア化は、各カメラビューから前記カメラビューと関連付けられる前記２ｄ骨格の要素までの光線をモデル化することと、前記２本の光線間の最小距離を判定することとを含む、項目１または２に記載の２つ以上のカメラビューの間の人間を識別する方法。
（項目４）
前記光線は、発散的であり、前記対は、前記類似性スコア内に含まれない、項目３に記載の方法。
（項目５）
対のカメラビューからの対の骨格の前記対毎スコア化は、前記２本の光線間の前記最小距離が閾値を超過する場合、要素を除外することをさらに含む、項目３に記載の方法。
（項目６）
対のカメラビューからの対の骨格の前記対毎スコア化は、典型的な人間からの前記２ｄ骨格から形成される、推定的３ｄ骨格の属性の偏差を判定することをさらに含む、項目３に記載の方法。
（項目７）
前記カメラの位置および角度を判定することによって、各カメラビューを較正することと、前記１つ以上のカメラビューから同時に捉えられる、フレームを整合させることによって、前記カメラビューを同期させることとをさらに含む、項目１－６のいずれか１項に記載の方法。
（項目８）
第２のカメラビューにおける骨格に対する、第１のカメラビューにおける骨格の最良マッチングを識別することは、任意のマッチングを識別しないことを含む、項目１－７のいずれか１項に記載の方法。
（項目９）
２人以上の人間に関する運動捕捉システムであって、
同期化されたビデオストリームを生成する、２つ以上の較正されたカメラであって、各カメラは、前記２人以上の人間を含む、重複する視野を有する、２つ以上の較正されたカメラと、
前記ビデオストリームのフレームに関して、前記カメラの視野内の人間毎に２Ｄ骨格を生成するために、前記２つ以上の較正されたカメラのそれぞれと関連付けられる、２Ｄ姿勢推定器モジュールと、
第１のカメラと関連付けられる前記２Ｄ骨格毎に、前記２つ以上のカメラの別のものの各２Ｄ骨格との対毎スコア化を実施し、各対に対して、類似性スコアを割り当てるためのスコア化モジュールと、
前記対の前記類似性スコアを最大限にすることによって、第２のカメラビューにおける２Ｄ骨格に、第１のカメラビューにおける２Ｄ骨格をマッチングさせる、マッチングモジュールと、
第１のカメラビューにおける２Ｄ骨格のセットであって、前記第１のカメラビューにおける前記人間に関連する前記セットを識別することによって、前記最良マッチングを使用して、第２のカメラビューにおける２Ｄ骨格のセットとともに、２Ｄ骨格を群化する、群化モジュールと、
各２Ｄ骨格群に、前記ビデオストリームのフレームのシーケンスを横断して一貫したままである、識別子を割り当てる、時間マッチングモジュールと、
前記人間の位置を捕捉する、前記人間の３Ｄ骨格を作成するために、人間に関するフレームのシーケンスを横断して、前記群化された２Ｄ骨格を組み合わせる、３Ｄ再構築モジュールと
を備える、システム。
（項目１０）
前記スコア化モジュールは、各カメラビューから前記カメラビューと関連付けられる前記２ｄ骨格の要素までの光線のモデルを備え、前記２本の光線間の最小距離を判定することを含む、項目９に記載のシステム。
本発明は、例えば、以下を提供する。
（項目１）
各ビューの人間の２ｄ骨格から、２つ以上のカメラビューの間の人間を識別する方法であって、
ａ）前記２つ以上のカメラビューのそれぞれにおける骨格毎に、前記２つ以上のカメラビューの別のものにおける前記骨格のそれぞれとの対毎スコア化を実施し、類似性スコアを各対に割り当てることと、
ｂ）前記対の前記類似性スコアを最大限にすることによって、第２のカメラビューにおける骨格に対する、第１のカメラビューにおける骨格の最良マッチングを識別することと、
ｃ）第１のカメラビューにおける骨格のセットであって、前記第１のカメラビューにおける前記人間に関連する前記セットを識別することによって、前記最良マッチングを使用して、第２のカメラビューにおける骨格のセットとともに、骨格を群化することと
を含む、方法。
（項目２）
前記カメラビューのあるフレーム内の前記群化された骨格内の各骨格に識別子を割り当てることと、マッチングする前記カメラビューの後続フレーム内の前記群化された骨格内の各骨格に、同一の識別子を割り当てることとをさらに含む、項目１に記載の２つ以上のカメラビューの間の人間を識別する方法。
（項目３）
対のカメラビューからの対の骨格の前記対毎スコア化は、各カメラビューから前記カメラビューと関連付けられる前記２ｄ骨格の要素までの光線をモデル化することと、前記２本の光線間の最小距離を判定することとを含む、項目１または２に記載の２つ以上のカメラビューの間の人間を識別する方法。
（項目４）
前記光線は、発散的であり、前記対は、前記類似性スコア内に含まれない、項目３に記載の方法。
（項目５）
対のカメラビューからの対の骨格の前記対毎スコア化は、前記２本の光線間の前記最小距離が閾値を超過する場合、要素を除外することをさらに含む、項目３に記載の方法。
（項目６）
対のカメラビューからの対の骨格の前記対毎スコア化は、典型的な人間からの前記２ｄ骨格から形成される、推定的３ｄ骨格の属性の偏差を判定することをさらに含む、項目３に記載の方法。
（項目７）
前記カメラの位置および角度を判定することによって、各カメラビューを較正することと、前記１つ以上のカメラビューから同時に捉えられる、フレームを整合させることによって、前記カメラビューを同期させることとをさらに含む、項目１－６のいずれか１項に記載の方法。
（項目８）
第２のカメラビューにおける骨格に対する、第１のカメラビューにおける骨格の最良マッチングを識別することは、任意のマッチングを識別しないことを含む、項目１－７のいずれか１項に記載の方法。
（項目９）
２人以上の人間に関する運動捕捉システムであって、
同期化されたビデオストリームを生成する、２つ以上の較正されたカメラであって、各カメラは、前記２人以上の人間を含む、重複する視野を有する、２つ以上の較正されたカメラと、
前記ビデオストリームのフレームに関して、前記カメラの視野内の人間毎に２Ｄ骨格を生成するために、前記２つ以上の較正されたカメラのそれぞれと関連付けられる、２Ｄ姿勢推定器モジュールと、
第１のカメラと関連付けられる前記２Ｄ骨格毎に、前記２つ以上のカメラの別のものの各２Ｄ骨格との対毎スコア化を実施し、各対に対して、類似性スコアを割り当てるためのスコア化モジュールと、
前記対の前記類似性スコアを最大限にすることによって、第２のカメラビューにおける２Ｄ骨格に、第１のカメラビューにおける２Ｄ骨格をマッチングさせる、マッチングモジュールと、
第１のカメラビューにおける２Ｄ骨格のセットであって、前記第１のカメラビューにおける前記人間に関連する前記セットを識別することによって、前記最良マッチングを使用して、第２のカメラビューにおける２Ｄ骨格のセットとともに、２Ｄ骨格を群化する、群化モジュールと、
各２Ｄ骨格群に、前記ビデオストリームのフレームのシーケンスを横断して一貫したままである、識別子を割り当てる、時間マッチングモジュールと、
前記人間の位置を捕捉する、前記人間の３Ｄ骨格を作成するために、人間に関するフレームのシーケンスを横断して、前記群化された２Ｄ骨格を組み合わせる、３Ｄ再構築モジュールと
を備える、システム。
（項目１０）
前記スコア化モジュールは、各カメラビューから前記カメラビューと関連付けられる前記２ｄ骨格の要素までの光線のモデルを備え、前記２本の光線間の最小距離を判定することを含む、項目９に記載のシステム。
【図面の簡単な説明】
【0008】
図面では、本開示の実施形態を、実施例としてのみ図示する。
【0009】
【0010】
【0011】
【0012】
【発明を実施するための形態】
【0013】
詳細な説明
本開示は、３Ｄ再構築の目的のために、２Ｄ骨格の形態で、人間姿勢データをマッチングさせるための方法およびシステムを対象とする。本システムは、類似性スコアを各対のクロスビュー２Ｄ骨格に割り当てる、スコア化モジュール２０と、類似性スコアに基づいて、最適な対毎マッチングを割り当てる、マッチングモジュール３０と、対毎マッチングに基づいて、各群が、一意の人物に対応するように、各２Ｄ骨格を群に割り当てる、群化モジュール５０と、マルチビデオシーケンスにわたって、各群に同一人物への対応を維持するＩＤを割り当てる、時間一貫性モジュール６０とを備えてもよい。
本開示は、３Ｄ再構築の目的のために、２Ｄ骨格の形態で、人間姿勢データをマッチングさせるための方法およびシステムを対象とする。本システムは、類似性スコアを各対のクロスビュー２Ｄ骨格に割り当てる、スコア化モジュール２０と、類似性スコアに基づいて、最適な対毎マッチングを割り当てる、マッチングモジュール３０と、対毎マッチングに基づいて、各群が、一意の人物に対応するように、各２Ｄ骨格を群に割り当てる、群化モジュール５０と、マルチビデオシーケンスにわたって、各群に同一人物への対応を維持するＩＤを割り当てる、時間一貫性モジュール６０とを備えてもよい。
【0014】
図１を参照すると、２Ｄ骨格データ１０が、較正されたカメラから捉えられる、２つ以上のビデオシーケンスから抽出される。３Ｄ再構築を実施するために、２Ｄ骨格は、ビューを横断してマッチングされてもよい。較正されたカメラは、好ましくは、視野、角度、および場所の情報が既知である、カメラである。２つ以上のビデオシーケンスは、好ましくは、ビデオシーケンスのそれぞれが、同一の時間帯を含み、同一の人間／骨格のうちの少なくともいくつかを含むように同期化される。いくつかの事例では、１人以上の人間／骨格は、カメラのうち１つ以上の視野から離れ得る。
【0015】
２Ｄ人間姿勢推定器は、２つ以上のビデオシーケンスのそれぞれにおける人間毎に、２Ｄ骨格を生成し得る。これは、Ｗｒｎｃｈ．ＡＩによるもの等を含む、畳み込みニューラルネットワーク（ＣＮＮ）の使用等、既知の技法を使用して行われ得る。２Ｄ骨格のシーケンスは、カメラ毎に、ビデオシーケンスに対応して、提供され得る。
【0016】
図２を参照すると、２Ｄマッチングシステムは、以下のモジュール、すなわち、対毎スコア化モジュール２０と、対毎マッチングモジュール３０と、群化モジュール４０と、時間一貫性モジュール５０とを備え得る。対毎スコア化モジュール２０は、類似性スコアをクロスビュー対の２Ｄ骨格の可能性として考えられる各組み合わせに割り当て得る。クロスビュー対の２Ｄ骨格は、１つの骨格が、第１のビデオシーケンスからのものであり、第２の骨格が、第２のビデオシーケンスからのものである、任意の対の骨格である。所与の対の２Ｄ骨格の類似性スコアは、その対が同一の人物に属する、尤度と相関する。好ましい実施形態では、類似性スコアは、下記に説明されるように、クロスビュー特徴点対の「近似三角測量」の概念に基づいた、いくつかのメトリックの加重の合計であり得る。
【0017】
近似三角測量は、２つ特徴点のそれぞれを通して、光線を投影することによって、算出される。２Ｄ骨格の特徴点は、頭の中心部、骨盤の中心部、右または左手首等の１つの特定の要素であり得る。ピンホールカメラモデルを仮定すると、各光線は、その場所、角度、および視野等のカメラに関して既知であるパラメータに基づいて、個別のカメラの光心から出ており、仮想の画像平面上の特徴点を通して通過する方向に進むものとして、モデル化される。これは、一方が第１のカメラおよびビデオシーケンスから生じており、もう一方が第２のカメラおよびビデオシーケンスから生じている、比較されている２つの骨格にわたって、同一の特徴点、例えば、頭の中心部に対して行われる。三角測量点は、２本の光線間の最小ユークリッド距離を伴う、３次元における点である。三角測量誤差は、２本の光線間の最小距離であり得る。三角測量点が、カメラの後方にあると判定される場合、光線は、分散され、本点は、スコア算出内で検討されなくてもよい。いくつかの実施形態では、これは、１つを上回る特徴点対に対して行われ得る。
【0018】
１つの類似性スコアメトリックは、所与の対の２Ｄ骨格に関する近似三角測量のセットに対する「インライア」特徴点対の総数であり得、この場合、インライア対においては、ある閾値を下回る、三角測量誤差を伴う特徴点対として定義され得る。例えば、対の２Ｄ骨格｛Ａ，Ｂ｝は、可能性として考えられる８つのうち７つのインライア対の合計を有し得（左手首関節に対応する対は、高三角測量誤差のため、インライアと見なされない）、別の対の骨格｛Ａ，Ｃ｝は、可能性として考えられる８つのうち６つのインライア対の合計を有し得る（それぞれ、右足首および頭の関節に対応する対は、インライアと見なされない）。本事例では、｛Ａ，Ｂ｝は、加重類似性スコアのインライアメトリックに関して、｛Ａ，Ｃ｝よりも高いスコアをとり得る。別のメトリックは、２つ骨格に属する全ての対の特徴点の平均三角測量誤差であり得る。別のメトリックは、全てのインライア三角測量点から成る、推定的３Ｄ骨格再構築の「人間らしさ」であり得る。人間らしさメトリックは、人体測定データに基づいて、平均的人物のものからの、推定的骨格の四肢長の偏差に逆比例し得る。例えば、ミスマッチングされた対の２Ｄ骨格から導出された推定的３Ｄ骨格は、平均的人物の２倍の長さであり得る、四肢を有し得、したがって、対の正確にマッチングされた骨格よりも低い、人間らしさメトリックを有し得る。
【0019】
図３を参照すると、対毎マッチングモジュール３０は、順に、全てのクロスビュー類似性スコア６０を調査し得る。換言すると、対の骨格、すなわち、第１のカメラからの第１の骨格および第２のカメラからの第２の骨格毎の類似性スコアである。モジュールは、類似性スコア７０を最大限にする、２つのビューにおける２Ｄ骨格間の１対１マッチングのセットを見出し得る。これは、ハンガリーアルゴリズム、主要シンプレックスアルゴリズム、またはオークションアルゴリズム等の割当法を使用することによって解決され得る。マッチングが成立しない場合（例えば、２つビューが、人物の共通性のないセットを捕捉するとき）に対処するために、ある実施形態は、その類似性スコアが、閾値を下回るマッチングを抑制し得る。本プロセスは、カメラビューの全ての対に対して繰り返され得る。
【0020】
群化モジュール５０は、対毎マッチングのセットを捉え得、２Ｄ骨格のＮ個のセットを出力し、この場合、Ｎは、場面内の明確に異なる人物の数であり、各セットは、場面内の明確に異なる人物に対応する。図４を参照すると、本群化のための手順は、以下の通りであり得る。無向グラフ８０が、最初に構築され得、各２Ｄ骨格が、頂点と関連付けられ、各対毎マッチングは、縁である。次いで、グラフは、サブグラフ９０にパーティション化され、それによって、各サブグラフの頂点は、同一人物に属する２Ｄ骨格を含む。サブグラフは、接続された構成要素、または二重接続された構成要素であり得、これらのサブグラフは、標準深度優先探索法を使用して抽出され得る。
【0021】
時間マッチングモジュール６０は、各人物のＩＤが、ビデオシーケンスにわたって一貫したままであるように、各２Ｄ骨格群にＩＤを割り当て得る。ある実施形態は、カメラパラメータに従って、先の時間ステップから、３Ｄ骨格を再投影し、現在の時間ステップにおける、予測される２Ｄ骨格のセットを作成することによって、これを達成し得る。先の時間ステップの２Ｄ骨格投影から各２Ｄ骨格群までのピクセル距離が、算出され得、ハンガリーアルゴリズム等のマッチング法が使用され、ピクセル距離が最小限になるように現存する３Ｄ骨格のセットと２Ｄ骨格群との間で１対１対応を生成する。２Ｄ群は、次いで、現存する３Ｄ骨格のインデックスに対応するＩＤを割り当てられ得る。これは、ビデオシーケンスの各時間ステップに対して持続され得る。
【0022】
説明されるシステムモジュールは、別個のソフトウェアモジュール、別個のハードウェアモジュール、もしくは一部または１つ以上のハードウェア構成要素であってもよい。上記に説明されるモジュールの機能性は、単一のシステム内に実装される、または説明されるモジュールに類似する、または異なる別個のモジュール内で提供され得る。
【0023】
ソフトウェアモジュールは、Ｃ＋＋またはアセンブリコード等のコンピュータ言語で書かれた命令から成り、ＣＰＵ等のコンピュータハードウェア上で起動され得る、またはそれらは、ＦＰＧＡ上で実装され得る。ソフトウェアは、１つ以上のハードドライブ等のＲＡＭまたは磁気記憶装置等の記憶装置を利用し得る。本システムは、デスクトップ型コンピュータ、携帯電話、またはソフトウェア、データ、骨格パラメータを保持するための好適なメモリを含む、別のプラットフォーム上で、起動されてもよい。
【0024】
ある実施形態では、人間マッチングシステムは、リアルタイムにまたは後処理において等、２人以上の人間対象の３Ｄ姿勢をデジタル化する、運動捕捉システムの一部を備えてもよい。本デジタル化された姿勢データは、デジタル媒体のため、またはスポーツ分析のためのパフォーマンスキャプチャ等のアプリケーションのために使用されてもよい。２つ以上の較正されたカメラが、同期化され、そのビデオストリームは、ビデオストリーム毎に１つ等、２Ｄ姿勢推定器システムによって、捕捉および処理され得る。マッチングシステムは、ネットワークインターフェースまたはコンピュータバスを通して等、２Ｄ姿勢推定器から出力２Ｄ骨格を受信し得る。マッチングされた２Ｄ骨格群は、次いで、場面内の人物毎に２Ｄ特徴点を融合し、骨格毎に３Ｄ姿勢データを取得する、３Ｄ再構築モジュールに提供され得る。
【0025】
本開示の種々の実施形態が、実施例として、このように詳細に説明されているが、本開示から逸脱することなく、変形例および修正が成され得ることは、当業者にとって明らかであろう。本開示は、添付の請求項の範囲内に該当するものとしてそのような全ての変形例および修正を含む。
【図1】
【図2】
【図3】
【図4】