特表 2022-536790 人物の単眼深度推定のための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-08-18

(54)【発明の名称】人物の単眼深度推定のための方法およびシステム

(51)【国際特許分類】

   G06V 10/82 20220101AFI20220810BHJP

   G06T 7/00 20170101ALI20220810BHJP

【ＦＩ】

G06V10/82

G06T7/00 350C

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2021574764

(86)(22)【出願日】2020-03-27

(85)【翻訳文提出日】2022-02-04

(86)【国際出願番号】 IB2020052936

(87)【国際公開番号】W WO2020250046

(87)【国際公開日】2020-12-17

(31)【優先権主張番号】3,046,612

(32)【優先日】2019-06-14

(33)【優先権主張国・地域又は機関】CA

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＴＥＮＳＯＲＦＬＯＷ

(71)【出願人】

【識別番号】521546728

【氏名又は名称】ヒンジ ヘルス， インコーポレイテッド

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】ブラウン， コリン

(72)【発明者】

【氏名】ハーバー， ルイス

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA08

5L096BA18

5L096CA01

5L096FA67

5L096FA69

5L096HA11

5L096KA04

(57)【要約】

オブジェクトの画像セグメントから骨格関節の３Ｄ関節場所と画像セグメント上の骨格関節の２Ｄ場所から成る２Ｄ関節ヒートマップとを推定するためのシステムおよび方法が、提供される。これは、画像セグメントおよび２Ｄ関節ヒートマップを、少なくとも１つの３Ｄ畳み込み層ブロックを含有する畳み込みニューラルネットワークに適用することを含み、２Ｄ分解能は、各３Ｄ畳み込み層において低減され、深度分解能は、関節毎に推定される深度を生産するように拡張される。各種類の関節の２Ｄ場所と種類の関節の推定される深度を組み合わせることは、骨格関節の推定される３Ｄ関節位置を生成する。

【特許請求の範囲】

【請求項1】

オブジェクトの画像セグメントから骨格関節の３Ｄ関節場所と前記画像セグメント上の骨格関節の２Ｄ場所から成る２Ｄ関節ヒートマップとを推定するための方法であって、
前記画像セグメントおよび２Ｄ関節ヒートマップを、少なくとも１つの３Ｄ畳み込み層ブロックを含有する畳み込みニューラルネットワークに適用することであって、前記２Ｄ分解能は、各３Ｄ畳み込み層において低減され、深度分解能は、関節毎に推定される深度を生産するように拡張される、ことと、
各種類の関節の前記２Ｄ場所と前記種類の関節の推定される深度を組み合わせ、前記骨格関節の推定される３Ｄ関節位置を生成することと
を含む、方法。

【請求項2】

前記少なくとも１つの３Ｄ畳み込み層に先立って、前記画像セグメントおよび２Ｄ関節ヒートマップを少なくとも１つの２Ｄ畳み込み中立ネットワークブロックに適用することをさらに含む、請求項１に記載の方法。

【請求項3】

前記深度を前記少なくとも１つの３Ｄ畳み込み層から受信する、最大プーリング層をさらに備え、前記最大プーリング層は、各種類の関節の前記２Ｄ場所と前記種類の関節の推定される深度を組み合わせることに先立って、前記２Ｄ分解能を１まで低減させ、関節毎に、拡張された深度寸法のみを残す、請求項１または２に記載の方法。

【請求項4】

前記３Ｄ畳み込み層ブロックのそれぞれは、第１の３Ｄ畳み込みと、第１のＲｅＬＵと、第２の３Ｄ畳み込みと、第２のＲｅＬＵと、最大プーリング層と、再形成層とを備える、請求項１－３のいずれか１項に記載の方法。

【請求項5】

各３Ｄ畳み込みは、３×３×３以下のカーネルを使用する、請求項４に記載の方法。

【請求項6】

前記３Ｄ畳み込み層ブロックの前記最大プーリング層は、入力空間寸法のサイズをある分率だけ低減させるが、前記深度寸法を維持し、前記再形成層は、前記深度寸法のサイズを前記分率だけ増加させる、請求項４または５に記載の方法。

【請求項7】

前記畳み込みニューラルネットワークは、オブジェクトの画像セグメントおよび３Ｄ関節位置を使用した逆伝搬を使用して訓練される、請求項１－６のいずれか１項に記載の方法。

【請求項8】

前記オブジェクトは、人間である、請求項１－７のいずれか１項に記載の方法。

【請求項9】

骨格上の関節の３Ｄ位置を２Ｄ画像から判定するためのシステムであって、
ａ．前記２Ｄ画像からの１つ以上の２Ｄ関節骨格および前記２Ｄ関節骨格に関する画像セグメントを識別する、２Ｄ骨格検出器と、
ｂ．前記１つ以上の２Ｄ関節骨格の関節毎に２Ｄ関節ヒートマップを生産する、２Ｄ関節ヒートマップ生成器と、
ｃ．各関節の深度を推定するように構成されている少なくとも１つの３Ｄ畳み込み層ブロックを備える、前記２Ｄ関節ヒートマップおよび前記画像セグメントを受信する、深度ヒートマップ推定器と、
ｄ．各関節の深度と前記２Ｄ関節骨格を組み合わせ、３Ｄ関節骨格を構築する、３Ｄ関節構築器と
を備える、システム。

【請求項10】

前記２Ｄ関節ヒートマップ生成器は、前記２Ｄ骨格検出器からの２Ｄ関節ヒートマップを使用する、請求項９に記載のシステム。

【請求項11】

前記深度ヒートマップ推定器はさらに、前記少なくとも１つの３Ｄ畳み込み層ブロックに先立って少なくとも１つの２Ｄ畳み込み中立ネットワークブロックを備えることを備える、請求項９または１０に記載のシステム。

【請求項12】

前記深度ヒートマップ推定器はさらに、前記深度を前記少なくとも１つの３Ｄ畳み込み層から受信する、最大プーリング層を備え、前記最大プーリング層は、各種類の関節の２Ｄ場所と前記種類の関節の推定される深度を組み合わせることに先立って、前記２Ｄ分解能を１まで低減させ、関節毎に、拡張された深度寸法のみを残す、請求項９または１１に記載のシステム。

【請求項13】

前記３Ｄ畳み込み層ブロックのそれぞれは、第１の３Ｄ畳み込みと、第１のＲｅＬＵと、第２の３Ｄ畳み込みと、第２のＲｅＬＵと、最大プーリング層と、再形成層とを備える、請求項９－１２のいずれか１項に記載のシステム。

【請求項14】

各３Ｄ畳み込みは、３×３×３以下のカーネルを使用する、請求項１３に記載のシステム。

【請求項15】

前記３Ｄ畳み込み層ブロックの前記最大プーリング層は、入力空間寸法のサイズをある分率だけ低減させるが、前記深度寸法を維持し、前記再形成層は、前記深度寸法のサイズを前記分率だけ増加させる、請求項１３または１４に記載のシステム。

【請求項16】

前記畳み込みニューラルネットワークは、オブジェクトの画像セグメントおよび３Ｄ関節位置を使用した逆伝搬を使用して訓練される、請求項９－１５のいずれか１項に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

（分野）
本開示は、単眼カメラからの画像またはビデオデータ内の人物の関節の相対的３Ｄ位置の推定のための方法およびシステムに関する。特に、カメラから１つ以上の人物の関節の相対的深度値を推定する、機械学習ベースのアプローチに関する。

【背景技術】

【0002】

（背景）
人間の関節または肘、眼、爪先等の任意の解剖学的目印の相対的３Ｄ位置または深度値、すなわち、カメラからの距離の単眼推定は、運動捕捉、仮想および拡張現実、スポーツ分析、パーソナル訓練、ならびにアクティビティ認識を含む、広範囲の用途を有する。

【0003】

特に、付加的深度感知ハードウェアを伴わない、標準的ＲＧＢ画像データからの３Ｄ関節推定は、最広セットのユースケースを促進する。深度感知ハードウェアは、多くの場合、高価であって、限定された範囲を有する等、その使用を限定し、屋内でのみ使用され得る。しかしながら、付加的ハードウェアを伴わずに３Ｄ位置を導出することは、単一ＲＧＢ画像からの入力データの使用が三角測量の可能性を除外するため、困難である。

【0004】

数学的に、人間の関節の深度を単一画像内の２Ｄ位置から判定することは、不良設定問題であるが、以前のおよびコンテキスト情報を使用して、本問題点に取り組む、方法が、提案されている。現代の方法は、典型的には、機械学習ベースのモデルを使用し、主として、２つのカテゴリに分類される。１つ目は、人物の以前に検出された２Ｄ関節位置（または骨格）を受け取り、典型的には、全結合ニューラルネットワークモデルを使用して、可能性が最も高い姿勢に対応する３Ｄ位置を生成する、リフティング法である。２つ目は、学習された２Ｄ畳み込みを使用して、３Ｄ位置または深度に関する回帰モデルの中にフィードされる、特徴を人物を含有する入力画像から抽出する、畳み込みニューラルネットワーク（ＣＮＮ）ベースの方法である。

【0005】

リフティングアプローチは、２Ｄ骨格データが、関節の相対的深度を正しく判定するために不可欠であり得る、陰影、オクルージョン、照明、およびボリューム（例えば、異なる関節の見掛けスケール）等の視覚的キューが欠けているという事実によって限定される。ＣＮＮベースのアプローチは、そのようなキューへのアクセスを有するが、抽出された画像特徴は、出力の３Ｄ性質と対照的に、本質的に２Ｄである（２Ｄ畳み込みが、２Ｄマップ上で動作するため）。さらに、ＣＮＮアプローチは、典型的には、２Ｄ関節位置の先験的知識を有しておらず、代わりに、関連付けられる深度を推測しながら、これらの位置を推測しなければならない。

【0006】

部分的に、これらの限界に起因して、既存のアプローチは、多くの場合、特に、困難な姿勢、環境、および条件において、限定された正確度およびロバスト性を呈する。したがって、人間の関節深度の単眼ＲＧＢ推定のより良好なアプローチの必要性が存在する。

【発明の概要】

【課題を解決するための手段】

【0007】

（要約）
オブジェクトの画像セグメントから骨格関節の３Ｄ関節場所と画像セグメント上の骨格関節の２Ｄ場所から成る２Ｄ関節ヒートマップとを推定するためのシステムおよび方法が、提供される。これは、画像セグメントおよび２Ｄ関節ヒートマップを、少なくとも１つの３Ｄ畳み込み層ブロックを含有する畳み込みニューラルネットワークに適用することを含み、２Ｄ分解能は、各３Ｄ畳み込み層において低減され、深度分解能は、関節毎に推定される深度を生産するように拡張される。各種類の関節の２Ｄ場所と種類の関節の推定される深度を組み合わせることは、骨格関節の推定される３Ｄ関節位置を生成する。

【図面の簡単な説明】

【0008】

図面は、一例としてのみ、本開示の好ましい実施形態を図示する。

【0009】

【図1】図１は、３Ｄ姿勢推定システムの実施形態の高レベルアーキテクチャの表現である。

【0010】

【図2】図２は、３Ｄ ＣＮＮブロックを介した、空間寸法サイズの低減および深度寸法サイズの増加の実施例の表現である。

【0011】

【図3】図３は、１つの２Ｄ ＣＮＮブロックと、４つの３Ｄ ＣＮＮブロックとを示す、深度ヒートマップ推定器の実施形態の略図である。

【0012】

【図4】図４は、４つの３Ｄ ＣＮＮブロックと、ゼロ２Ｄ ＣＮＮブロックとを示す、深度ヒートマップ推定器の実施形態の略図である。

【0013】

【図5】図５は、２つの残差ユニットの２Ｄ ＣＮＮブロックと、５つの３Ｄ ＣＮＮブロックとを伴う、深度ヒートマップ推定器の実施形態の略図である。

【0014】

【図6】図６は、１つの２Ｄ ＣＮＮブロックと、それぞれが１つの畳み込み層を含有する、３つの３Ｄ ＣＮＮブロックとを伴う、深度ヒートマップ推定器の実施形態の略図である。

【0015】

【図7】図７は、例示的入力画像の表現、対応する入力ヒートマップの着色表現、および骨格として描かれる対応する３Ｄ関節位置の実施例である。

【0016】

【図8】図８は、位置特定されるべき複数の種類の関節に対応する、複数の出力深度ヒートマップ（深度範囲が水平である）の実施例である。

【発明を実施するための形態】

【0017】

（詳細な説明）
図１を参照すると、人間の関節の３Ｄ推定システム１１０は、デジタル画像を捕捉するための捕捉デバイス１２０と、画像内の人間を検出およびクロッピングし、画像内の人間の関節位置を位置特定し得る、２Ｄ骨格検出器１３０と、位置特定されるべき種類の関節毎に、位置ヒートマップを生成し得る、２Ｄ関節ヒートマップ生成器１４０と、位置特定された関節の種類毎に、１Ｄ深度ヒートマップを生成し得る、深度ヒートマップ推定器１５０と、深度ヒートマップから関節の種類毎に深度値を選択し、本情報と２Ｄ関節位置を組み合わせ、３Ｄ関節位置を生産し得る、３Ｄ関節構築器１６０とを備えてもよい。

【0018】

捕捉デバイス１２０は、デジタルカメラ、ウェブカメラ、モバイルデバイス、ビデオカメラ、ストリーミングソース（例えば、ウェブからストリーミングされるビデオまたは画像）、または画像もしくはビデオデータベース等の記憶された画像コンテンツ等のデジタル画像またはビデオフレームを入手するための任意のデバイスまたは方法を表し得る。画像フォーマットは、３－チャネルＲＧＢである、またはある他の色空間（ｓＲＧＢ、ＣＭＹＫ等）においてエンコーディングされてもよい。画像は、深度センサまたは赤外線センサ等からの付加的画像チャネルを含む場合とそうではない場合がある。

【0019】

２Ｄ骨格検出器１３０は、画像内の１人以上の人物を検出してもよい。検出された人物毎に、２Ｄ骨格検出器は、その人物の周囲に心合される、クロッピングされた画像を出力してもよい。各出力されクロッピングされた画像は、具体的分解能（例えば、２５６×２５６ピクセル）にサイズ変更されてもよく、これは、検出された人物の入力分解能またはサイズから独立してもよい。

【0020】

検出された人物毎に、２Ｄ骨格検出器はまた、事前に定義された複数の種類の人間の関節の２Ｄ座標等の検出された位置を出力してもよい。関節は、解剖学的目印であり得る。例えば、２Ｄ関節検出器は、重要となる関節の全ての可視インスタンスの位置を位置特定してもよい。これは、左手首、右手首、左膝、頸部の付け根を含む、２２種類の関節を含んでもよい。２Ｄ関節検出器は、これらの検出された関節を、検出された人物によって群化される、複数の座標として提供してもよい。検出された人物毎に、関節の座標は、１つの配列番号において提供されてもよい。

【0021】

２Ｄ骨格検出器は、ＯｐｅｎＰｏｓｅまたはｗｒｎｃｈＡＩ等からの既存のソフトウェアモジュール、もしくは入力画像内の人物を検出し、人間の関節を位置特定し得る、ある他のソフトウェアまたはハードウェアモジュールによって、具現化されてもよい。

【0022】

２Ｄ関節ヒートマップ生成器１４０は、１人の人物に関する複数の検出された関節位置を受け取り、関節の種類毎に、ヒートマップ画像を生産してもよい。１つの種類の関節に関するヒートマップ画像は、その種類の複数の検出された関節の場所をそれらの２Ｄ関節位置において位置特定された画像内の対応する複数のマーカとして伝達し得る。マーカは、ガウスカーネルであってもよい。例えば、場所は、８ピクセルまたはある他のサイズの標準偏差を含んでもよい。場所は、平円板または任意の他の位置特定されたカーネル画像の形態にあってもよい。

【0023】

２Ｄ関節ヒートマップ生成器１４０は、代わりに、そのモジュールの利用可能な出力に応じて、直接、２Ｄ骨格検出器１３０によって生成された２Ｄ関節ヒートマップを出力してもよい。例えば、いくつかの２Ｄ骨格検出器は、直接、２Ｄ関節ヒートマップを出力してもよい。この場合、２Ｄ関節ヒートマップ生成器は、２Ｄ骨格検出器の一部またはサブモジュールであり得る。

【0024】

１つの種類の関節に対応する、２Ｄ関節ヒートマップ生成器によって出力された各ヒートマップ画像は、単一チャネルにおいてエンコーディングされてもよい。そのチャネルの各ピクセルの値は、そのピクセルにおいて検出されている所与の種類の関節の尤度に近似し得る。ヒートマップ画像の分解能は、２５６×２５６ピクセル等、２Ｄ骨格検出器によって検出された単一人物のクロッピングされた画像と同一分解能であってもよい。

【0025】

深度ヒートマップ推定器１５０は、入力として、１人の人物の肖像上に心合される画像を、その人物の所定の複数の種類の関節の場所を表す、２Ｄヒートマップ画像とともに受け取り、複数の１Ｄ深度ヒートマップを出力してもよい。深度ヒートマップの数は、入力２Ｄヒートマップの数に対応し得る。これはまた、２Ｄ骨格検出器によって検出された関節の種類の数に対応し得る。各深度ヒートマップは、ある固定点に対する１つの種類の関節の深度値の範囲を表し得る。本固定点は、人物の腰部の中心、カメラから最も遠い関節、またはある他の基準点であってもよい。図８を参照すると、深度ヒートマップは、ピクセルの１Ｄアレイ（例えば、２５６ピクセル）として記憶されてもよく、各ピクセルは、相対的深度値に対応する。各深度ヒートマップの各ピクセルの値は、対応する関節がその相対的深度にある尤度を表し得る。

【0026】

深度ヒートマップ推定器は、訓練された機械学習モデルによって具現化されてもよい。本モデルは、畳み込みニューラルネットワーク（ＣＮＮ）、または代替として、ＲＮＮ、ランダムフォレスト、もしく深層ニューラルネットワークであってもよい。ＣＮＮモデルのアーキテクチャは、３Ｄ特徴（オブジェクト境界、オクルージョン、空間順序、テクスチャおよび色パターン、照明特徴等）を入力データから抽出し得る、３Ｄ畳み込み層を含有してもよい。ＣＮＮモデルはまた、２Ｄ畳み込み層、残差ユニット、制限付き線形アクティブ化ユニット（ＲｅＬＵまたはシグモイドユニット等の他のアクティブ化）、バッチ正規化層、最大プーリング層、および再形成層を含有してもよい。これらの層は、エンドツーエンドで連鎖された２Ｄ ＣＮＮブロックおよび３Ｄ ＣＮＮブロック等の論理ブロックに編成されてもよい。

【0027】

ＣＮＮは、２Ｄ分解能が、各ブロックにおいて低減され、深度分解能が、対応して拡張され、メモリの効率的かつ境界された使用を維持しながら、増加する忠実性を伴って、３Ｄ特徴を抽出するように、ピラミッド方式において編成されてもよい。

【0028】

２Ｄ ＣＮＮブロックは、空間分解能（すなわち、プーリング）における初期低減を実施することによって、低レベル画像特徴を抽出し、受信フィールドを拡張させてもよい。２Ｄ ＣＮＮブロックは、２Ｄ畳み込み層と、残差ユニットと、最大プーリング層（例えば、２×２×１カーネルサイズを伴う）と、最終２Ｄ畳み込み層とを備えてもよい。バッチ正規化層が、各畳み込み層後に挿入され、バッチ正規化を課してもよい。畳み込み層は、例えば、７×７カーネルサイズと、ストライド２とを有してもよい。残差ユニットは、スキップ接続を伴う、３つの畳み込み層を有してもよい。

【0029】

２Ｄ ＣＮＮブロックの含有の重要性は、本ブロックによって実施される空間分解能における低減が、比較的に算出上高価であり得る、後続層、例えば、３Ｄ畳み込み層のメモリおよび算出コストを低減させ得るため、メモリおよび算出考慮点に依存し得る。

【0030】

３Ｄ ＣＮＮブロックは、３Ｄ畳み込みと、ＲｅＬＵと、その後、別の３Ｄ畳み込みおよびＲｅＬＵと、その後、最大プーリング層および再形成層とを備えてもよい。バッチ正規化層が、各畳み込み層後に挿入され、バッチ正規化を課してもよい。各３Ｄ畳み込みは、３×３×３のカーネルサイズを有し、後続層毎に要求される学習可能パラメータの算出コストおよび数を低減させてもよい。

【0031】

３Ｄ ＣＮＮブロックの各最大プーリング層は、入力空間寸法ＨおよびＷのサイズを、例えば、それぞれ、２分の１に低減させるが、深度寸法Ｄを維持し得る。各再形成層は、プーリング層によって生産されたチャネルの数を低減させ、深度寸法のサイズを、故に、例えば、４倍に増加させ得る。したがって、図２を参照すると、各３Ｄ ＣＮＮブロックは、ＨおよびＷ寸法を事実上低減させながら、Ｄ寸法を比例するように拡張させ得る。

【0032】

図３を参照すると、深度ヒートマップ推定器は、２Ｄ ＣＮＮブロックと、１つ以上の３Ｄ ＣＮＮブロック、例えば、４つのブロックと、その後、１つの（またはそれを上回る）最終３Ｄ畳み込み層および最終最大プーリング層とを備えてもよい。最終３Ｄ畳み込み層は、推定されるべき関節の種類の数に等しいチャネルの数、例えば、２２を出力してもよい。最終最大プーリング層は、オリジナル空間寸法ＷおよびＨをそれぞれ１まで低減させ、関節チャネル毎に、拡張された深度寸法のみを残し得る。

【0033】

深度ヒートマップ推定器のアーキテクチャは、メモリ制約、ランタイム制約、訓練データベースサイズ、および他の類似要因を含む、タスクの具体的要件に基づいて、変動し得る。例えば、図４を参照すると、深度ヒートマップ推定器は、２Ｄブロックを含有しなくてもよい。図５を参照すると、２Ｄ ＣＮＮブロックは、１つを上回る残差ユニットを備えてもよく、深度ヒートマップ推定器は、４つを上回る３Ｄブロックを含有してもよい。図６を参照すると、深度ヒートマップ推定器は、４つより少ない３Ｄブロックを含有してもよく、各３Ｄブロックは、異なる数のスタックされた３Ｄ畳み込み層を含有してもよい。

【0034】

各ブロック内のより多くの３Ｄ畳み込み層は、より複雑な３Ｄ特徴の抽出を可能にするが、訓練の間、より多くの要求される算出およびより大きいメモリ占有面積を犠牲にし得る。したがって、所与の実施形態におけるブロックあたりの畳み込み層の具体的数は、用途の要件に依存し得る。

【0035】

参照を容易にするために、図３、図４、図５、および図６では、ＲｅＬＵおよびバッチ正規化層は、示されないが、存在してもよい。

【0036】

深度ヒートマップ推定器の学習可能パラメータは、適切な訓練セットを用いて訓練されてもよい。訓練は、逆伝搬または別の適切な学習アルゴリズムを使用してもよい。ソルバ方法、例えば、ＲＭＳＰｒｏｐ、または勾配降下法、ＡＤＡＭ、もしくは類似物が、使用されてもよい。訓練フレームワーク、例えば、ＴｅｎｓｏｒＦｌｏｗ、Ｃａｆｆｅ、またはＰｙＴｏｒｃｈ、もしくは類似フレームワークが、使用されてもよい。訓練セットは、それぞれ、標識された３Ｄ関節位置と関連付けられる、異なる姿勢、設定、および照明条件における人物の数千枚の画像等のセットを備えてもよい。実施例としてＣＯＣＯデータセットが、使用されてもよい。

【0037】

３Ｄ関節構築器１６０は、例えば、２Ｄ骨格検出器１３０からの１人の検出された人物に関する２Ｄ関節位置と、深度ヒートマップ推定器１５０によって生産された対応する関節深度ヒートマップと受け取り、３Ｄ関節位置を出力してもよい。３Ｄ関節位置の深度成分は、ａｒｇｍａｘ関数を介して、深度ヒートマップから算出されてもよい。代替として、加重和関数またはピーク検出技法が、使用されてもよい。入力２Ｄ関節位置および算出された深度値は、組み合わせられ、３Ｄ関節位置を生産してもよい。

【0038】

人間の関節３Ｄ推定システムの一実施形態から生成された複数の３Ｄ関節位置の実施例が、図７に描かれる。人影７１０を表す、入力画像が、２Ｄ関節ヒートマップ生成器１４０等によって生成された２Ｄ関節ヒートマップ７２０とともに提供される。ヒートマップ７２０内に表されないが、左手首等の各種類の関節は、別個のヒートマップを有するであろう。全ての検出された関節に関するヒートマップは、着色表現７２０内にオーバーレイされ、右関節は、赤色で着色され、左関節は、青色で着色される。

【0039】

深度ヒートマップ推定器によって生産された深度ヒートマップの実施例が、図８に描かれる。深度推定器は、関節の種類毎に、別個の深度ヒートマップを生成する。関節毎の深度範囲が、水平軸に示される。所与のヒートマップに沿った各点の値（すなわち、暗度）は、対応する関節がその深度にある信頼度を表し得る。全ての深度の信頼度値は、所与の関節に関してゼロであり得、これは、不可視である、関節に対応し得る。推定される深度値は、異なる深度における信頼度値を集約することによって導出されてもよい。

【0040】

関節の種類毎に、２Ｄ関節ヒートマップと深度推定を組み合わせることによって、関節毎の３Ｄ場所は、推定されることができる。これらの３Ｄ場所に基づいて、骨格のレンダリング７４０が、示される。

【0041】

これらの説明されるシステムモジュールは、別個のソフトウェアモジュール、別個のハードウェアユニット、または１つ以上のソフトウェアもしくはハードウェアコンポーネントの一部であってもよい。例えば、ソフトウェアモジュールは、ＣＰＵ、ＧＰＵ等のコンピュータハードウェア上で起動される、またはＦＰＧＡ上に実装される、Ｃａｆｆｅ、ＴｅｎｓｏｒＦＬｏｗ、またはＴｏｒｃｈからのソフトウェアを使用して作成されるような、好適なモジュールを用いて、Ｐｙｔｈｏｎプログラミング言語、Ｃ＋＋、またはＣ＃等のコンピュータ言語で記述された、命令から成ってもよい。本システムは、デスクトップ、携帯電話、またはソフトウェアおよびアクティビティデータを保持するための好適なメモリを含む、内蔵システムの一部等の他のプラットフォーム上で起動されてもよい。本システムは、捕捉デバイスと統合される、またはそれに接続してもよい。

【0042】

本開示の種々の実施形態が、これまで、一例として詳細に説明されたが、変形例および修正が、本開示から逸脱することなく成され得ることが当業者に明白であろう。本開示は、添付の請求項の範囲内に該当するような全てのそのような変形例および修正を含む。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【国際調査報告】