特開 2024-43586 ２Ｄ画像から３Ｄポーズを検出し、３Ｄポーズを編集するための方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024043586

(43)【公開日】2024-04-01

(54)【発明の名称】２Ｄ画像から３Ｄポーズを検出し、３Ｄポーズを編集するための方法及びシステム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240325BHJP

【ＦＩ】

G06T7/00 660B

G06T7/00 350C

【審査請求】未請求

【請求項の数】25

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023150758

(22)【出願日】2023-09-19

(31)【優先権主張番号】63/408,037

(32)【優先日】2022-09-19

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】18/244,142

(32)【優先日】2023-09-08

(33)【優先権主張国・地域又は機関】US

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＷＩＮＤＯＷＳ

２．ｉＰｈｏｎｅ

３．ｉＰａｄ

４．ＭＡＧＩＣ ＭＯＵＳＥ

５．ＡＺＵＲＥ

６．ＧＣＰ

７．ＡＷＳ

(71)【出願人】

【識別番号】519211845

【氏名又は名称】ディープモーション、インコーポレイテッド

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100141553

【弁理士】

【氏名又は名称】鈴木 信彦

(74)【代理人】

【識別番号】100158551

【弁理士】

【氏名又は名称】山崎 貴明

(72)【発明者】

【氏名】カイチュアン ハー

(72)【発明者】

【氏名】ヤクブ ステピエン

(72)【発明者】

【氏名】ゼナン リ

(72)【発明者】

【氏名】グジェゴシュ カブザ

(72)【発明者】

【氏名】マルシン フリシュト

(72)【発明者】

【氏名】ミコワイ コルツ

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096AA09

5L096CA02

5L096DA02

5L096FA09

5L096FA64

5L096FA66

5L096FA67

5L096FA69

5L096HA11

5L096KA04

(57)【要約】      （修正有）

【課題】被写体の三次元（３Ｄ）ポーズを、ビデオのフレームなどの二次元（２Ｄ）入力画像から検出する方法及びシステムを提供する。
【解決手段】システム１０００における方法は、少なくとも１つの画像キャプチャデバイス１００４によりキャプチャされた、被写体Ｓ１を描写する少なくとも１つの入力画像から、少なくとも１つの機械学習プロセスにより推論され、かつ、前記被写体に関連付けられた少なくとも１つの第１のランドマークを取得することを含む。少なくとも１つの第１のランドマークのそれぞれは、第１のｘ座標、第１のｙ座標及び第１のｚ座標を含み、第１のｚ座標は、第１のｘ座標及び第１のｙ座標から連結解除されている。方法はまた、１つ以上の第２のランドマークを計算することを含む。
【選択図】図１０

【特許請求の範囲】

【請求項1】

少なくとも１つの画像キャプチャデバイスによりキャプチャされた、被写体を描写する少なくとも１つの入力画像から、少なくとも１つの機械学習プロセスにより推論され、かつ前記被写体に関連付けられた少なくとも１つの第１のランドマークを取得することであって、前記少なくとも１つの第１のランドマークのそれぞれは、第１のｘ座標、第１のｙ座標、及び第１のｚ座標を含み、前記第１のｚ座標は、前記第１のｘ座標及び前記第１のｙ座標から連結解除されている、前記取得することと、
１つ以上の第２のランドマークを計算することと、
を含む方法であって、前記計算することは、
前記少なくとも１つの第１のランドマークのそれぞれに関して、前記少なくとも１つの画像キャプチャデバイスから、前記第１のｘ座標及び前記第１のｙ座標の位置までの投影方向及び投影距離を特定することと、
前記少なくとも１つの第１のランドマークのそれぞれに関して、前記第１のｚ座標、前記投影方向、及び前記投影距離に少なくとも部分的に基づいて、前記１つ以上の第２のランドマークのうちの対応する少なくとも１つの第２のランドマークの座標セットを推定することであって、前記座標セットは、相互連結された第２のｘ座標、第２のｙ座標、及び第２のｚ座標を含む、前記推定することと、
により実行される、前記方法。

【請求項2】

前記少なくとも１つの機械学習プロセスは、１つ以上の知覚ディープニューラルネットワークを含む、請求項１に記載の方法。

【請求項3】

前記少なくとも１つの第１のランドマークの一部に少なくとも部分的に基づいて、寸法値を特定することと、
ｚ軸に沿って前記ｚ軸の原点と前記少なくとも１つの画像キャプチャデバイスとの間に延びる被写体距離を特定することであって、前記被写体距離は、前記寸法値と、前記少なくとも１つの画像キャプチャデバイスに関連付けられた焦点長値とに少なくとも部分的に基づいて特定される、前記特定することと、
前記被写体距離及び前記焦点長値に少なくとも部分的に基づいて倍率を計算することであって、前記少なくとも１つの第１のランドマークのそれぞれに関して、前記対応する少なくとも１つの第２のランドマークの前記座標セットは、前記倍率に少なくとも部分的に基づいて推定される、前記計算することと、
をさらに含む、請求項１に記載の方法。

【請求項4】

前記寸法値は、前記少なくとも１つの画像に描写される前記被写体のボーン長の推定値である、請求項３に記載の方法。

【請求項5】

前記少なくとも１つの第１のランドマークのそれぞれに関して、前記対応する少なくとも１つの第２のランドマークの前記座標セットは、前記第１のｚ座標、前記投影方向、前記投影距離、前記倍率、及び前記焦点長値に少なくとも部分的に基づいて計算された相対値に少なくとも部分的に基づいて推定される、請求項３に記載の方法。

【請求項6】

前記少なくとも１つの第１のランドマークのそれぞれは、ジョイントまたは最終的頂点の推定位置に対応する、請求項１に記載の方法。

【請求項7】

前記少なくとも１つの第１のランドマークのうちの１つ以上、または前記１つ以上の第２のランドマークのうちの少なくとも１つを含む１つ以上の編集ランドマークに対し、修正を受け取るための編集ツールを表示することと、
前記１つ以上の編集ランドマークを、前記少なくとも１つの機械学習プロセスに対しトレーニングデータセットで提供することと、
をさらに含む、請求項１に記載の方法。

【請求項8】

前記少なくとも１つの第１のランドマークのうちの１つ、または前記１つ以上の第２のランドマークのうちの１つを含む特定のランドマークに対し、修正を受け取るための編集可能な表示を表示することであって、前記編集可能な表示は、ｘ軸またはｙ軸の少なくとも１つに沿ってのみ、前記特定のランドマークの移動を許可する、前記表示すること
を、さらに含む、請求項１に記載の方法。

【請求項9】

前記少なくとも１つの第１のランドマークのうちの第１の選択されたランドマーク、または前記１つ以上の第２のランドマークのうち、前記第１の選択されたランドマークに関して計算された第２の選択されたランドマークを含む特定のランドマークに対し、修正を受け取るための編集可能な表示を表示することであって、前記編集可能な表示は、前記第１の選択されたランドマークに関して特定された前記投影方向に沿ってのみ、前記特定のランドマークの移動を許可する、前記表示すること
を、さらに含む、請求項１に記載の方法。

【請求項10】

少なくとも１つのプロセッサと、
命令を格納するメモリと、
を備えたシステムであって、前記命令は、前記少なくとも１つのプロセッサにより実行された場合、
少なくとも１つの画像キャプチャデバイスによりキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて特定された入力座標セットを取得することであって、前記入力座標セットは、第１の座標、第２の座標、及び第３の座標を含み、前記第３の座標は、前記第１の座標及び前記第２の座標から連結解除されている、前記取得することと、
前記第３の座標には基づかないが、前記第１の座標及び前記第２の座標に少なくとも部分的に基づいて、中間的座標セットを推定することと、
前記第３の座標に少なくとも部分的に基づいて、出力座標セットを推定することと、
を、前記システムに実行させる、前記システム。

【請求項11】

前記第３の座標は、深度に対応する、請求項１０に記載のシステム。

【請求項12】

前記入力座標セットは、１つ以上の知覚ディープニューラルネットワークにより生成された、請求項１０に記載のシステム。

【請求項13】

前記中間的座標セットを推定することは、
ｚ軸に沿って前記入力座標セットと前記少なくとも１つの画像キャプチャデバイスとの間に延びる被写体距離を特定することと、
前記被写体距離と、前記少なくとも１つの画像キャプチャデバイスに関連付けられた焦点長値とに少なくとも部分的に基づいて、倍率を計算することと、
前記少なくとも１つの画像キャプチャデバイスから前記第１の座標及び前記第２の座標の位置までの投影方向及び投影距離を特定することであって、前記中間的座標セットは、前記第１の座標、前記第２の座標、前記被写体距離、前記投影方向、前記投影距離、前記倍率、及び前記焦点長値に少なくとも部分的に基づいて計算される、前記特定することと、
を含む、請求項１０に記載のシステム。

【請求項14】

前記被写体距離を特定することは、
前記入力座標セットに少なくとも部分的に基づいて、寸法値を特定することを含み、前記被写体距離は、前記寸法値及び前記焦点長値に少なくとも部分的に基づいて特定される、
請求項１３に記載のシステム。

【請求項15】

前記寸法値は、前記少なくとも１つの画像に描写された被写体のボーン長の推定値である、請求項１４に記載のシステム。

【請求項16】

前記出力座標セットを推定することは、
倍率を計算することと、
前記少なくとも１つの画像キャプチャデバイスから前記第１の座標及び前記第２の座標の位置までの投影方向及び投影距離を特定することと、
前記中間的座標セットから相対値を減算することであって、前記相対値は、前記第３の座標、前記投影方向、前記投影距離、前記倍率、及び前記少なくとも１つの画像キャプチャデバイスに関連付けられた焦点長値に少なくとも部分的に基づいて計算される、前記減算することと、
を含む、請求項１０に記載のシステム。

【請求項17】

前記命令は、前記少なくとも１つのプロセッサにより実行された場合、
前記入力座標セットまたは前記出力座標セットのうちの少なくとも１つを含む編集座標セットに対し、修正を受け取るための編集ツールを表示すること
を、前記システムに実行させる、請求項１０に記載のシステム。

【請求項18】

前記編集座標セットは、ｘ座標、ｙ座標、及びｚ座標を含み、前記命令は、前記少なくとも１つのプロセッサにより実行された場合、
前記少なくとも１つの画像キャプチャデバイスから前記第１の座標及び前記第２の座標の位置までの投影方向を特定することと、
前記編集ツールを使用するグラフィカルユーザインターフェース（「ＧＵＩ」）を生成することであって、前記ＧＵＩは、前記ｘ座標または前記ｙ座標の少なくとも１つにのみ関わる第１のポジションに対し、修正を受け取る２Ｄビューを生成するように動作可能であり、前記ＧＵＩは、前記投影方向に沿ってのみ、前記編集座標セットの第２のポジションに対し、修正を受け取る３Ｄビューを生成するように動作可能である、前記生成することと、
を前記システムに実行させる、請求項１７に記載のシステム。

【請求項19】

前記入力座標セットは、１つ以上の機械学習プロセスにより生成され、前記命令は、前記少なくとも１つのプロセッサにより実行された場合、
前記編集座標セットを、前記１つ以上の機械学習プロセスに対しトレーニングデータセットで提供すること
を、前記システムに実行させる、請求項１７に記載のシステム。

【請求項20】

前記入力座標セットは、ジョイントまたは最終的頂点の位置を推定する、請求項１０に記載のシステム。

【請求項21】

前記命令は、前記少なくとも１つのプロセッサにより実行された場合、
前記出力座標セットに少なくとも部分的に基づいて、少なくとも１つの新たな画像を生成すること
を、前記システムに実行させる、請求項１０に記載のシステム。

【請求項22】

前記少なくとも１つの画像をキャプチャするビデオカメラを備えた前記少なくとも１つの画像キャプチャデバイスをさらに備え、前記命令は、前記少なくとも１つのプロセッサにより実行された場合、
前記少なくとも１つの画像から前記入力座標セットを推論する１つ以上の機械学習プロセスを実行すること
を、前記システムに実行させる、請求項１０に記載のシステム。

【請求項23】

少なくとも１つのプロセッサと、
命令を格納するメモリと、
を備えたシステムであって、前記命令は、前記少なくとも１つのプロセッサにより実行された場合、
第１の座標、第２の座標、及び第３の座標を含むランドマークの投影方向を特定することと、
第１の編集可能な表示及び第２の編集可能な表示を生成するように動作可能なグラフィカルユーザインターフェース（「ＧＵＩ」）を表示することであって、前記第１の編集可能な表示は、前記第１の座標及び前記第２の座標のみに対する修正を受け取り、前記第２の編集可能な表示は、前記投影方向に沿ってのみ、前記ランドマークに対する修正を受け取る、前記表示することと、
を、前記システムに実行させる、前記システム。

【請求項24】

前記ランドマークは、１つ以上の機械学習プロセスにより生成され、前記命令は、前記少なくとも１つのプロセッサにより実行された場合、
前記ランドマークを、前記１つ以上の機械学習プロセスに対しトレーニングデータセットで提供すること
を、前記システムに実行させる、請求項２３に記載のシステム。

【請求項25】

前記命令は、前記少なくとも１つのプロセッサにより実行された場合、
前記ランドマークを使用して１つ以上の画像を生成するために、前記ランドマークを１つ以上のプロセスに提供すること
を、前記システムに実行させる、請求項２３に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願（複数可）の相互参照
本出願は、２０２２年９月１９日に出願された「ＲＯＴＯＳＣＯＰＩＮＧ ＰＯＳＥ ＥＤＩＴＩＮＧ ＭＥＴＨＯＤ ＶＩＡ ＨＹＢＲＩＤ ＰＬＡＮＥＲ ＡＮＤ ＤＥＰＴＨ ＣＯＭＰＯＮＥＮＴＳ」と題する米国仮特許出願第６３／４０８，０３７号の利益を主張するものであり、その内容は、参照によりその全体が本明細書に組み込まれるものとする。

【0002】

少なくとも１つの実施形態は、概して、被写体（例えば生物または無生物）の三次元（３Ｄ）ポーズを、ビデオのフレームなどの二次元（２Ｄ）入力画像から検出することを対象とする。少なくとも１つの実施形態は、３Ｄポーズの少なくとも一部を編集するために使用され得るロトスコープ型編集ツールを開示する。

【背景技術】

【0003】

関連技術の説明
アニメーション及びモーションキャプチャなどの数多くの目的で、画像データから被写体のポーズを検出するために、ポーズ推定などの機械学習ベースプロセスが使用され得る。機械学習ベースプロセスが出力する推定ポーズの品質及び／または精度は、向上し得る。

【0004】

本開示による様々な実施形態が、以下の図面を参照して説明される。

【図面の簡単な説明】

【0005】

【図1】図１０に示される画像キャプチャデバイス（複数可）をモデル化するのに使用され得る第１のピンホールカメラモデルの成分を示す図である。

【図2】図１０に示される画像キャプチャデバイス（複数可）をモデル化するのに使用され得る第２のピンホールカメラモデルの成分を示す図である。

【図3】薄型レンズ近似モデルの成分を示す図である。

【図4】図１１に示される方法の理解を促すために変数名がラベル表示された、図２の第２のピンホールカメラモデルを示す。

【図5】図１０のシステムが実装するロトスコープツールにより生成された２Ｄビューを示す。

【図6】図５の２Ｄビューで表示される２Ｄギズモを示し、これはユーザがランドマーク（例えばジョイントまたは最終的頂点）をｘ軸及び／またはｙ軸に沿って再配置するために使用され得る。

【図7】図１０のシステムが実装するロトスコープツールにより生成された３Ｄビューを示す。

【図8】図７の３Ｄビューで表示される深度マーカを示し、これはユーザがランドマーク（例えばジョイントまたは最終的頂点）を投影方向に沿って再配置し、その深度（すなわちｚ座標）を変更するために使用可能である。

【図9】図１０のシステムを実施するために使用され得るハードウェアプラットフォームの図である。

【図10】１つ以上の入力画像（複数可）から被写体のポーズを自動的に検出するために使用され得、及び／またはポーズを編集するためのツールを提供し得る、例示的なシステムを示す。

【図11】例示的なシステムにより実行され得る方法のフロー図である。

【発明を実施するための形態】

【0006】

図面では、同様の参照番号を使用して、同様の構成要素が識別される。

【0007】

図１０は、入力画像から被写体Ｓ１のポーズを自動的に検出するために使用され得、及び／またはポーズを編集するためのツールを提供し得る、例示的なシステム１０００を示す。システム１０００は、コンピューティングシステム１００２及び１つ以上の画像キャプチャデバイス１００４（例えばカメラ及び／またはビデオカメラなど）を含む。画像キャプチャデバイス（複数可）１００４を使用して、被写体Ｓ１の画像データ１０２２がキャプチャされ得る。非限定的な例として、画像データ１０２２は、カラー（例えば赤、緑、青（「ＲＧＢ」））画像データ及び／または白黒画像データなどを含み得る。図１０では、画像キャプチャデバイス（複数可）１００４は、有線接続及び／または無線接続１００６によりコンピューティングシステム１００２に接続されるものとして、かつ接続１００６を介してコンピューティングシステム１００２に画像データ１０２２を転送するものとして示されるが、代替的または付加的に、画像キャプチャデバイス（複数可）１００４は、コンピューティングシステム１００２に直接接続されなくてもよい。例えば、画像キャプチャデバイス（複数可）１００４は、ネットワーク及び／または１つ以上の他のデバイスを介してコンピューティングシステム１００２に接続され得、ネットワーク及び／または他のデバイス（複数可）を介してコンピューティングシステム１００２に画像データ１０２２を転送し得る。別の非限定的な例として、画像キャプチャデバイス（複数可）１００４を使用して、記憶媒体（例えばメモリ及び／または記憶デバイスなど）に画像データ１０２２が格納され得、コンピューティングシステム１００２は、記憶媒体から画像データ１０２２を取得し得る。

【0008】

被写体Ｓ１は、現実世界内で現実世界のポーズで配向される。被写体Ｓ１は、１つ以上のジョイント（例えばジョイントＪ１～Ｊ５）を含み得る。被写体Ｓ１は、人間、ジョイントの有無にかかわらない動物、ジョイントのあるデバイス（例えばロボット及び／またはリンケージなど）、ジョイントのないデバイス、及び／または無生オブジェクトなどであり得る。

【0009】

コンピューティングシステム１００２は、１つ以上のプロセッサ１０１０、メモリ１０１２、及びユーザインターフェース１０１４を含み得る。プロセッサ（複数可）１０１０は、メモリ１０１２に格納された命令１０３０の少なくとも一部を実行する１つ以上の回路を含み得る。プロセッサ（複数可）１０１０は、例えば、処理ユニット９０２（図９を参照）、メイン中央処理装置（「ＣＰＵ」）複合体、１つ以上のマイクロプロセッサ、１つ以上のマイクロコントローラ、１つ以上の並列処理装置（「ＰＰＵ（複数可）」）（例えば１つ以上のグラフィックス処理装置（「ＧＰＵ（複数可）」））、及び／または１つ以上の演算論理装置（「ＡＬＵ（複数可）」）などを使用して実装され得る。メモリ１０１２（例えば１つ以上の非一時的プロセッサ可読媒体）は、プロセッサ実行可能命令１０３０（例えば図９に示されるソフトウェア９１２）を格納し得、これはプロセッサ（複数可）１０１０により実行されるとき、１つ以上の機械学習アルゴリズムもしくは人工知能（「ＡＩ」）アルゴリズム（例えば１つ以上のニューラルネットワーク１０３２）、編集ツール（ロトスコープツール１０３４と称される）、逆投影（ｕｎｐｒｏｊｅｃｔｉｏｎ）機能１０３６、及び／または１つ以上のプロセス１０３８などを実施する。追加の非限定的な例として、図９を参照すると、メモリ１０１２（例えば１つ以上の非一時的プロセッサ可読媒体）は、例えば、揮発性記憶装置９０４（例えば動的ランダムアクセスメモリ（「ＤＲＡＭ」））及び／または永続的記憶装置９０６（例えばハードドライブ及び／またはソリッドステートデバイス（「ＳＳＤ」）など）を使用して実装され得る。図１０に戻ると、ユーザインターフェース１０１４は、ユーザがコンピューティングシステム１００２により生成及び／または表示される情報を見るために使用し得る表示デバイス９１０（図９を参照）を含み得る。ユーザインターフェース１０１４は、ユーザがコンピューティングシステム１００２に情報を入力するために使用し得るポインタ入力デバイス９０８（図９を参照）などの１つ以上のデバイスを含み得る。プロセッサ（複数可）１０１０、メモリ１０１２、及び／またはユーザインターフェース１０１４は、バス及び／または周辺機器相互接続エクスプレス（「ＰＣＩｅ」）接続（もしくはバス）などの１つ以上の接続１０１６を介して、相互通信を行い得る。

【0010】

命令１０３０（例えばソフトウェア９１２）は、永続的記憶装置９０６に格納され、実行時に処理ユニット９０２で実行され、ポインタ入力デバイス９０８からユーザ入力を受け入れ、必要に応じて揮発性記憶装置９０４を利用し、表示デバイス９１０に出力を表示し得る。

【0011】

ＡＷＳ、ＧＣＰ、及び／またはＡｚｕｒｅクラウドなどのパブリッククラウドサービスプロバイダによりホストされる仮想マシン及び記憶装置を含み及び／または実施する特定タイプの適切なハードウェアシステムにより、システム１０００は実施され得る。このようなクラウドベースのハードウェアシステムの非限定的な例として、コンパイル済みソフトウェアを格納するために使用されるＧｏｏｇｌｅ Ｃｌｏｕｄストレージバケット、格納されたソフトウェアをウェブページに埋め込むサービスをホストするために使用される、Ｉｎｔｅｌ Ｓｋｙｌａｋｅ ＣＰＵとＮＶＩＤＩＡ Ｔｅｓｌａ ４ ＧＰＵを搭載したＧｏｏｇｌｅ Ｃｌｏｕｄ仮想マシン、サービスウェブページに埋め込まれたコンパイル済みソフトウェアにアクセスするために使用される、Ｉｎｔｅｌ ｉ５ ３５００ｋ ＣＰＵ、８ＧＢのＲＡＭ、２ＴＢのハードドライブ、有線インターネット接続、１５インチスクリーン、及びマウスを搭載したＷｉｎｄｏｗｓベースのラップトップなどが挙げられる。特定タイプの適切なハードウェアプラットフォームの別の非限定的な例として、１６ＧＢの統合メモリ、２ＴＢの記憶装置、及びＭａｇｉｃ Ｍｏｕｓｅを搭載したｉＭａｃ２４インチなどのスタンドアロンパーソナルコンピュータシステムが挙げられる。特定タイプの適切なハードウェアプラットフォームのさらに別の非限定的な例として、ｉＰｈｏｎｅまたはｉＰａｄなどのモバイルデバイスが挙げられる。

【0012】

いくつかの実施形態では、システム１０００の少なくとも一部を実施するために使用されるハードウェアプラットフォーム（複数可）は、ソフトウェアを介して完全にまたは部分的に仮想化され得る。このような仮想化されたハードウェア環境を介して図９のハードウェアプラットフォーム９００に含まれるコア機能モジュールが提供される限り、システム１０００を実施するために、及び／または命令１０３０の少なくとも一部を実行するために、完全にまたは部分的に仮想化されたプラットフォームが使用され得る。本明細書の仕様は、現在知られている他のハードウェアプラットフォームまたは将来のハードウェアプラットフォームに合わせて修正され得ることを理解されたい。

【0013】

画像データ１０２２は、画像キャプチャデバイス（複数可）１００４によりキャプチャされた１つ以上の入力画像（例えばビデオのフレーム）を含み得る。入力画像（複数可）のそれぞれの中で、被写体Ｓ１は、画像キャプチャデバイス（複数可）１００４により三次元（「３Ｄ」）の現実世界から二次元（「２Ｄ」）の画像に投影された。入力画像（複数可）は、ｘ軸及びｙ軸を有するものとして特徴付けられ得る。入力画像内のポジションは、平面座標または画像空間座標と称され、画像内の点またはピクセルは、ｘ軸及びｙ軸に沿ってｘ座標及びｙ座標をそれぞれ有するものとして言及され得る。

【0014】

入力画像（複数可）は、１つ以上の機械学習プロセス（例えばニューラルネットワーク（複数可）１０３２）に提供され得、１つ以上の機械学習プロセスは、入力画像（複数可）内の１つ以上のランドマーク１０４０（例えばジョイント）の位置を推論する。機械学習プロセス（複数可）は、ランドマーク（複数可）１０４０を識別し、ランドマーク（複数可）１０４０のそれぞれに、（１）正規化された２Ｄ画像空間座標（Ｘ、Ｙ）と、（２）キャラクタ（被写体Ｓ１の仮想表現である）の境界ボックスの重心などのキャラクタに関する基準点に相対的である深度値（Ｚ）と、を割り当てる。よって、ランドマーク（複数可）１０４０のそれぞれは、ポジションまたは位置に関連付けられる。ランドマーク（複数可）１０４０は任意で、ランドマーク（例えば左膝関節、右肘など）を識別するラベルを含み得る。位置は、画像空間座標（例えばｘ座標値及びｙ座標値）で表され得、相対的深度値（例えば深度値に近似するｚ座標値）をそれぞれ含み得る。深度値は、画像キャプチャデバイス（複数可）１００４の「投影線」に沿った、ランドマークで表される被写体Ｓ１の一部（例えばジョイント）の３Ｄポジションと、画像キャプチャデバイス（複数可）１００４との間の距離であり得る。このような投影線は、焦点距離が無限に長い場合を除き、必ずしもＺ軸に平行であるとは限らない。しかし、画像キャプチャデバイス（複数可）１００４の投影方向は、ほぼＺ軸に沿っている。したがって、ｚ座標値は、相対的深度値の推定値として使用され得る。ランドマーク（複数可）１０４０は、ベクトルで表現され得る（入力ランドマーク座標ベクトルと称され得る）。入力画像（複数可）内の要素の現実世界の寸法は、機械学習プロセス（複数可）に利用できない場合がある及び／または利用できなかった場合があるため、深度値は、相対的深度値と称される。よって、ランドマーク（複数可）１０４０のうちの特定の１つのランドマークの深度値は、キャラクタに関する基準点（例えばキャラクタの境界ボックスの重心など）に相対的に特定されている場合がある。例えば、ｚ座標値は、基準点を基準とし得、ｘ座標値及びｙ座標値は、画面空間座標または画像空間座標のｘ軸及びｙ軸の原点を基準とし得ることから、ｚ座標値は、ｘ座標値及びｙ座標値から連結解除され得る。ｚ座標値は、３Ｄ空間内の元のランドマーク位置に対応し、ｘ座標値及びｙ座標値は、画像キャプチャデバイス（複数可）１００４が元のランドマーク位置を３Ｄ空間から２Ｄ画面空間へ投影したものに対応することから、同様に、ｚ座標値は、ｘ座標値及びｙ座標値から連結解除され得る。基準点が原点と位置が合わない（または位置合わせできない）場合、ｘ座標及びｙ座標は、ｚ座標から連結解除され得る。このように、特定のランドマークの相対的深度値は、特定のランドマークの現実世界の実際の深度とは異なり得る。機械学習プロセス（複数可）により特定される座標は、ハイブリッド２Ｄ／３Ｄ成分、またはハイブリッド平面及び深度成分と称される。ハイブリッド２Ｄ／３Ｄ成分を使用して、ランドマーク（複数可）１０４０のハイブリッド２Ｄ／３Ｄ表現が生成され得る。

【0015】

ロトスコープは、アニメータが動画及び／またはビデオの一部をフレームごとにトレースして、アニメーション内に現実的なアクションを生み出すために使用するアニメーション技法である。よって、ロトスコープは、ポーズ推定など、機械学習ベースプロセスにより検出された被写体のポーズを改良または編集するために使用され得る技法である。例えば、オペレータまたはユーザは、ロトスコープツール１０３４を使用して、ランドマーク（複数可）１０４０を編集することができる。例えば、ユーザは、ロトスコープツール１０３４を使用して、ランドマーク（複数可）１０４０のうちの１つ以上のランドマークのｘ座標、ｙ座標、及び／またはｚ座標を編集することができる。ロトスコープツール１０３４は、ユーザインターフェース１０１４を使用して、ランドマーク（複数可）１０４０を含むグラフィカルユーザインターフェース（「ＧＵＩ」）１０５０を生成し、ユーザインターフェース１０１４（例えば図９に示される表示デバイス９１０）に対し、ＧＵＩ１０５０を表示するように命令し得る。ユーザは、ユーザインターフェース１０１４を使用して、ランドマーク（複数可）１０４０のポジションを調整することができる。ロトスコープツール１０３４は、ランドマーク（複数可）１０４０の３Ｄ位置（複数可）１０４２を出力し得る。

【0016】

ロトスコープツール１０３４は、ＧＵＩ１０５０を使用して、ハイブリッド２Ｄ／３Ｄ成分（例えばランドマーク（複数可）１０４０）の２Ｄ成分及び３Ｄ成分をそれぞれ使用した２Ｄビュー５００（図５及び図６を参照）及び３Ｄビュー７００（図７及び図８を参照）の両方で推論結果（例えばランドマーク（複数可）１０４０）を含む視覚化を、ユーザに表示し得る。２Ｄビュー５００（図５及び図６を参照）は、平面成分（例えばｘ座標及びｙ座標）の「ロトスコープ」型ポーズ編集を実行する容易かつ直観的な方法を、ユーザに提供し得る。より具体的には、ユーザは、推論結果の平面／２Ｄ成分を、入力（基準）画像（複数可）（例えば１つ以上の入力ビデオから取得された画像）と一致させるように、調整することが可能であり得る。３Ｄビュー７００（図７及び図８を参照）は、３Ｄ／深度成分を調整した結果として対応平面／２Ｄ成分を手動で調整する必要なく、カメラ投影線（または投影方向）に沿って、推論結果における３Ｄ／深度成分（例えばＺ座標）変化ならびに連結されたｘ座標及びｙ座標の小さい変化を調整する容易な方法を、ユーザに提供し得る。３Ｄ位置（複数可）１０４２（例えばリファインされたアニメーション結果）は、ハイブリッド２Ｄ／３Ｄ成分で表され、機械学習プロセス（複数可）（例えばポーズ推定のための知覚ニューラルネットワークモデルなどのニューラルネットワーク（複数可）１０３２）の精度を反復的に向上させるためのトレーニングデータセットに含まれ得る。３Ｄ位置（複数可）１０４２を使用して、アニメーションシーケンスが生成され得、及び／または改良されたアニメーションシーケンスが再生成され得る（例えばプロセス（複数可）１０３８により）。ロトスコープツール１０３４は、オペレータがランドマーク（複数可）１０４０を平面画像空間座標及び深度に関して直観的に変更するための手段を提供し得る。

【0017】

特定のランドマーク（例えばジョイントポジションに対応する）に対応する深度成分（ｚ座標値により推定される）及び平面成分（ｘ座標値及びｙ座標値）は、独立していない。よって、ユーザが深度成分を変更するとき、ロトスコープツール１０３４は、平面成分が入力画像（複数可）と一致するように、平面成分を自動的に調整または変更する。よって、ロトスコープツール１０３４により、ユーザは、対応する平面成分を手動で編集する必要なく、独立して深度を編集することが可能となり得る。対照的に、従来の３Ｄ編集ツールでは、ユーザは深度成分及び平面成分を一緒に修正する必要があり、これを手動で行うのは非常に困難であった。言い換えると、従来の３Ｄ編集ツールは、深度成分に変更が加えられたとき、ｘ座標値及びｙ座標値を自動的に調整または変更することが不可能である。例えば、従来のキーフレームアニメーション編集方法では、ユーザは、キャラクタのポーズの完全３Ｄ表現を直接修正することのみ可能であり、これは、ニューラルネットワーク（複数可）１０３２がアニメーションのポーズを推論した参照画像に、直接マッピングされることは不可能であった。よって、ユーザは、推論結果の２Ｄ平面成分を、エディタの背景にある入力画像（複数可）と位置合わせすることにより、推論結果（例えばランドマーク（複数可）１０４０）に対して正確なロトスコープ型アニメーション編集を行うために、従来のキーフレームアニメーション編集方法を使用することはできない。ロトスコープツール１０３４は、完全３Ｄ表現（例えば推定３Ｄ位置（複数可）１０４４）を使用してポーズを編集する代わりに、またはそれに加えて、ハイブリッド平面成分及び深度成分を介してポーズを編集可能にすることにより、従来のキーフレーム法のこれらの制限を回避し得る。

【0018】

３Ｄ位置（複数可）１０４２は、逆投影機能１０３６に提供され得、逆投影機能１０３６は、（相対的）３Ｄ位置（複数可）１０４２に少なくとも部分的に基づいて、（現実世界の）３Ｄ位置（複数可）１０４４を推定し、任意で推定３Ｄ位置（複数可）１０４４を使用して、被写体Ｓ１のポーズを特定する。言い換えると、逆投影機能１０３６は、３Ｄ位置（複数可）１０４２を逆投影し、これらのハイブリッド２Ｄ／３Ｄ成分から、これらの元の（現実世界における）３Ｄポジションを特定しようと試みる。よって、逆投影機能１０３６は、３Ｄ位置（複数可）１０４２のそれぞれに関して、実際の深度またはｚ座標値を推定する。逆投影機能１０３６により出力される推定３Ｄ位置（複数可）１０４４は、世界空間に属するものとして説明され、ベクトルで表現され得る（出力ランドマーク座標ベクトルと称され得る）。ロトスコープツール１０３４が使用されない及び／または存在しない場合、ランドマーク（複数可）１０４０は、逆投影機能１０３６に提供され得、逆投影機能１０３６は、ランドマーク（複数可）１０４０に少なくとも部分的に基づいて、推定３Ｄ位置（複数可）１０４４を推定し、任意で推定３Ｄ位置（複数可）１０４４を使用して、被写体Ｓ１のポーズを特定し得る。逆投影機能１０３６は、例えば、必要に応じて、推定３Ｄ位置（複数可）１０４４を再投影することにより、推定（現実世界）３Ｄ位置（複数可）１０４４のハイブリッド２Ｄ／３Ｄ成分セットを特定し得る。このような再投影３Ｄ位置（複数可）は、ロトスコープツール１０３４に提供され得、これらを使用して、これらのポジションが修正され得る。別の非限定的な例として、再投影３Ｄ位置（複数可）は、トレーニングデータセットで機械学習プロセス（複数可）に提供され得る。

【0019】

ハイブリッド２Ｄ／３Ｄ成分は、深度情報の一部を平面画像座標にエンコードする透視投影の性質により連結されており、互いに独立していないことから、特定の課題の原因となり得る。３Ｄラベリングが利用可能な場合、トレーニングデータの前処理段階の間に、完全３Ｄ表現からこのハイブリッド表現へ移行することは比較的簡単であるが、ハイブリッド２Ｄ／３Ｄ成分で表現された推論結果から、真の３Ｄポーズの完全３Ｄ表現を再作成することは、難しくなる。

【0020】

逆投影機能１０３６は、人型モデル（例えばニューラルネットワーク（複数可）１０３２により出力されたランドマーク（複数可）１０４０及び／またはロトスコープツール１０３４により出力された３Ｄ位置（複数可）１０４２をつなぐことにより生成される）の現実世界のジョイントポジション（例えばランドマーク（複数可）１０４０及び／または３Ｄ位置（複数可）１０４２）のハイブリッド平面及び相対的深度表現を逆投影して、アニメーションまたは他のモーションキャプチャ（例えばプロセス（複数可）１０３８により実行される）のために、現実世界における人型モデルのポーズ、ポジション、及び配向の完全３Ｄ表現を再構築し得る、方法（例えば図１１に示される方法１１００）及びアルゴリズムを実施し得る。

【0021】

逆投影機能１０３６は、推定３Ｄ位置（複数可）１０４４をプロセス（複数可）１０３８に出力し得、プロセス（複数可）１０３８は、推定３Ｄ位置（複数可）１０４４を使用して、１つ以上の異なる画像及び／または１つ以上の新たなビデオセグメントを生成し得る。非限定的な例として、プロセス（複数可）１０３８は、アニメーションを生成し、またはモーションキャプチャパイプラインを部分的に実行し得る。

【0022】

逆投影機能１０３６は、推定３Ｄ位置（複数可）１０４４をロトスコープツール１０３４に出力し得、ロトスコープツール１０３４は、ＧＵＩ１０５０を使用して、推定３Ｄ位置（複数可）１０４４の逆投影ｘ座標値及びｙ座標値を２Ｄビュー５００（図５及び図６を参照）で表示し、逆投影深度成分（例えばｚ座標値により推定される）を３Ｄビュー７００（図７及び図８を参照）で表示し得る。ユーザは、２Ｄビュー５００を使用して、推定３Ｄ位置（複数可）１０４４の逆投影ｘ座標値及びｙ座標値のポジションを編集し得、及び／または３Ｄビュー７００を使用して、推定３Ｄ位置（複数可）１０４４の逆投影ｘ座標値、ｙ座標値、及びｚ座標値で表される深度を編集し得る。ロトスコープツール１０３４を使用して生成された編集推定３Ｄ位置（複数可）１０４６は、プロセス（複数可）１０３８に提供され得る。

【0023】

ロトスコープツール１０３４は、ユーザに「ロトスコープ」型のアニメーション編集ツールを提供し得、これを使用して、知覚ディープニューラルモデル（例えばニューラルネットワーク（複数可）１０３２）を少なくとも部分的に使用して生成されたアニメーションを改良し、このようなビデオベース知覚ディープニューラルネットワークモデルをトレーニングするために使用されるグラウンドトゥルーストレーニングデータセットを増強することができる。このようなグラウンドトゥルーストレーニングデータセットは、通常、３Ｄポーズラベルでラベル付けされたビデオで構成される。ロトスコープツール１０３４により出力された３Ｄ位置（複数可）１０４２及び／または編集推定３Ｄ位置（複数可）１０４６は、トレーニングデータに含まれ、機械学習プロセス（複数可）（例えばビデオベース知覚ディープニューラルネットワークモデルなどのニューラルネットワーク（複数可）１０３２）をトレーニングするために使用され得る。このようにして、機械学習プロセス（複数可）による推論結果の向上が促進され得る。ロトスコープツール１０３４を使用して、ランドマーク（複数可）１０４０、３Ｄ位置（複数可）１０４２、及び／または編集推定３Ｄ位置（複数可）１０４６でラベル付けされた２Ｄ入力画像（複数可）が提供され、これはトレーニングデータとして使用され得る。２Ｄ画像から人間の３Ｄポーズを推定するための知覚ニューラルモデル（例えばニューラルネットワーク（複数可）１０３２）のトレーニングは、以下の理由のうちの１つ以上により、２Ｄ（画像ベース）ラベルと３Ｄラベルの混合に依存することが多い。

【0024】

第１に、知覚ディープニューラルネットワーク（「ＤＮＮ」）モデルは、直接画像空間内で特徴を見つけるように設計される。

【0025】

第２に、結果得られたジョイントポジションを、元の画像にマッピングし直す必要があり得る。

【0026】

第３に、３Ｄジョイントポジションと、十分な種類の身体形状、被写体（複数可）の外観、被写体のポーズ、及び１つ以上の環境を表す対応画像とを含む、３Ｄラベル付き高品質トレーニングデータへのアクセスは、限定され得る。３Ｄポーズ推定モデルをトレーニングするには、３Ｄデータとともに２Ｄデータが必要になり得る。２Ｄデータは主に、画像空間内の被写体のジョイントポジションの平面ＸＹ座標を手動でラベル付けすることにより、作成される。２Ｄデータセットと共に使用するために、３Ｄデータセット内の３Ｄジョイントポジションは、入力画像と一致する平面ＸＹ成分と、ジョイントがカメラからどのくらい離れているかを反映する深度成分（ｚ座標値で近似される）とに、スライスされ得る。

【0027】

第４に、被写体のジョイントポジションの全体的な深度を推論する知覚ニューラルネットワークモデルを構築することは困難であることから、知覚ニューラルネットワークモデル（例えばニューラルネットワーク（複数可）１０３２）から得られる推論結果の深度成分は、多くの場合、被写体の局所座標フレームに対するジョイントポジションの深度のみをキャプチャする。

【0028】

第５に、「ロトスコープ」型ポーズ編集で、ユーザが、デカルト座標（例えばｘ座標、ｙ座標、及びｚ座標）で表現されたキャラクタのジョイントの完全３Ｄ表現を直接修正して、参照画像のピクセル空間内のキャラクタのジョイントと一致させることは、非常に困難である。

【0029】

第６に、正投影カメラを使用してキャラクタのジョイントの３Ｄポジションを平面画像空間に投影するとき、平面ＸＹ成分は、デカルト座標（例えばｘ座標、ｙ座標、及びｚ座標）で表現されたキャラクタのジョイントポジションの完全３Ｄ表現のｘ座標値及びｙ座標値の部分と、同一である。しかし、現実世界のカメラは、「正投影」ではなく「透視投影」により画像を作成し、「透視投影」は、メートル単位で測定される人間を、ミリメートル単位で測定されるカメラの電荷結合素子（「ＣＣＤ」）でキャプチャする実用的な設計である。したがって、トレーニングデータを準備し、ＤＮＮモデルが入力画像から推論した人型ジョイントランドマークより導出されたアニメーション結果をレンダリングし、アニメーション結果を編集し、ならびにランドマークを再ラベル付けする間、透視投影カメラモデルが採用され得る。

【0030】

さらに、ＲＧＢビデオからの３Ｄラベル付き高品質トレーニングデータへのアクセスは限定されるため、結果的に、画像平面に投影されたジョイントポジションの２Ｄ座標は、高精度に推定されるが、ジョイントポジションの深度は、大幅に低下した精度で推定され得る。

【0031】

本明細書で言及されるように、ニューラルネットワーク（複数可）１０３２により推論されるランドマーク（複数可）１０４０はそれぞれ、画像空間平面座標（「２Ｄポジション」または「ＸＹ座標」と称される）と、別個の三次元成分との組み合わせを含み得、別個の三次元成分は、ランドマーク（複数可）１０４０で表される被写体Ｓ１の部分（例えばジョイント）の相対的深度（「Ｚ座標」により推定される）とみなされ得る。ロトスコープツール１０３４が存在するとき、これを使用して、ランドマーク（複数可）１０４０のうちの１つ以上のランドマークの位置が編集され得る。次に、逆投影機能１０３６は、想定投影カメラモデル（下記で論述される）を活用して、ハイブリッド２Ｄ／３Ｄ成分（ランドマーク（複数可）１０４０及び／または３Ｄ位置（複数可）１０４２に関する）を、デカルト座標で表されるランドマーク（例えばジョイント）ポジションの完全３Ｄ表現に変換し得る。言い換えると、逆投影機能１０３６を使用して、推論結果のハイブリッド２Ｄ／３Ｄ成分（例えばランドマーク（複数可）１０４０及び／または３Ｄ位置（複数可）１０４２）は、被写体Ｓ１のジョイントポジションの完全３Ｄ表現（例えば推定３Ｄ位置（複数可）１０４４）に、逆投影され得る。完全３Ｄ表現（例えば推定３Ｄ位置（複数可）１０４４）により、ニューラルネットワーク（複数可）１０３２に入力された入力画像（複数可）を使用して、アニメーションまたはモーションキャプチャを作成することが可能となる。

【0032】

逆投影機能１０３６は、画像キャプチャデバイス（複数可）１００４をモデル化するカメラモデルを使用して、ハイブリッド２Ｄ／３Ｄ成分（ランドマーク（複数可）１０４０及び／または３Ｄ位置（複数可）１０４２に関する）を、デカルト座標で表される推定３Ｄ位置（複数可）１０４４に逆投影し得る。図１は、画像キャプチャデバイス（複数可）１００４をモデル化するのに使用され得る第１のピンホールカメラモデル１００の成分を示す図である。画像キャプチャデバイス（複数可）１００４のモデル化は、ＸＹ画像空間座標の逆投影を実行するために必要である。図１では、第１のピンホールカメラモデル１００が被写体Ｓ１の画像１０４をキャプチャする様子が示される。ピンホールカメラモデル１００では、画像キャプチャデバイス（複数可）１００４にはレンズがなく、単一点サイズの開口部１０２が含まれると想定される。第１のピンホールカメラモデル１００によりキャプチャされた画像１０４は、開口部１０２の背後に現れ、反転される。

【0033】

図２は、画像キャプチャデバイス（複数可）１００４をモデル化するのに使用され得る第２のピンホールカメラモデル２００の成分を示す図である。第２のピンホールカメラモデル２００では、単一点サイズの開口部２０２の前に画像２０４が形成され、これは物理的に正確ではあり得ないが、最終結果に変化は生じ得ず、画像２０４が反転されないという利点がある。カメラフレームのＺ軸２１０の向きが、撮影される被写体Ｓ１から離れるようにカメラフレームは選択され、画像面Ｐ２はＺ＝０に配置され、画像の中心（図示せず）はＸ＝０、Ｙ＝０である。被写体Ｓ１のポーズを編集するために、被写体Ｓ１が視覚化されるとき（例えばロトスコープツール１０３４により）、画像距離（画像２０４と開口部２０２との間）より短い人工オブジェクト距離（被写体Ｓ１と開口部２０２との間）が選択され得、これにより、被写体Ｓ１が画像２０４の前でレンダリングされ、「ロトスコープ」型ポーズ編集がより容易になり得る。

【0034】

画像キャプチャデバイス（複数可）１００４にはレンズがなく、単一点サイズの開口部２０２を有するという想定では、ビュー内の各世界点は単一光線のみを開口部２０２に投じ得、よって開口部２０２と画像平面Ｐ２との間の距離に関係なく、形成される画像２０４は常に焦点が合うことが、暗示される。これは、焦点が多数の要素に依存する本物のレンズを有するカメラの場合には該当し得ず、要素の関係は一般に、レンズ近似式と称される以下の等式（式）１とともに、薄型レンズ近似モデル３００（図３を参照）を使用して表される。

【数1】

【0035】

上記の式１では、変数ｆは、画像キャプチャデバイス（複数可）１００４の焦点距離（または焦点長）を表し、変数ｏは、画像キャプチャデバイス（複数可）１００４から（例えば開口部２０２から）のオブジェクト距離を表し、変数ｉは、画像キャプチャデバイス（複数可）１００４から（例えば開口部２０２から）の画像距離を表す。変数ｉの値は、固定ではなく、引き出すまたは取得することが容易ではない場合がある。しかし、実際のシナリオでは、変数ｉの値は、変数ｏの値と比較して非常に小さい。したがって、下記の式２に示されるように、ピンホールカメラモデル２００を使用してレンズ付きカメラをモデル化するとき、画像距離（変数ｉで表される）は、焦点距離（変数ｆで表される）とほぼ等しくあり得る。

【数2】

よって、開口部から画像平面までの距離（変数ｉで表される）は、モデル化されるカメラの焦点距離と等しく設定され得る。

【0036】

さらに、薄型レンズ近似モデル３００（図３を参照）を使用して、薄型レンズ倍率式と称される式３が得られ得る。式３では、変数Ｍは倍率を表し、変数ｇは像高を表し、変数ｈはオブジェクト高を表す。

【数3】

上記の式３に示されるように、倍率（変数Ｍで表される）は、オブジェクト距離（変数ｏで表される）に対する画像距離（変数ｉで表される）の比率に等しい。

【0037】

特定の写真をキャプチャするために使用される画像キャプチャデバイス（複数可）１００４の詳細が不明な実施形態では、焦点長（ｋＦｏｃａｌＬｅｎｇｔｈＩｎＭｅｔｅｒ）及び／またはカメラセンサ寸法（ｋＣＣＤＳｉｚｅＩｎＭｅｔｅｒ）などの固有のカメラパラメータに、妥当な値またはデフォルト値が使用され得る。固有のカメラパラメータのデフォルト値は、製品及び／またはドメインの状況に少なくとも部分的に基づき得る。特定の写真をキャプチャするために使用される画像キャプチャデバイス（複数可）１００４の詳細が判明している実施形態では、カメラパラメータの実際の値（例えば焦点長及び／またはカメラセンサの寸法など）を使用して、ニューラルネットワーク（複数可）１０３２により推論されたランドマーク（複数可）１０４０のより高精度な逆投影が得られ、ならびに世界空間における被写体Ｓ１の完全３Ｄ表現（例えば推定３Ｄ位置（複数可）１０４４）が取得され得る。さらに、いくつかの実施形態では、固有のカメラパラメータのデフォルト値は、実際のカメラ固有パラメータ値と一致するように、オペレータによりカスタマイズまたは修正され得る。

【0038】

図１１は、システム１０００により実行され得る方法１１００のフロー図である。第１のブロック１１０２にて、逆投影機能１０３６は、被写体Ｓ１に関連付けられたハイブリッド平面及び深度成分セットを取得する。例えば、ブロック１１０２にて、逆投影機能１０３６は、ランドマーク（複数可）１０４０及び／または３Ｄ位置（複数可）１０４２を取得し得る。ハイブリッド平面及び深度成分セットは、入力ランドマーク座標ベクトル（例えば変数ｉｎｐｕｔＬａｎｄｍａｒｋｓで表される）のアレイなどの入力データ構造に格納され得る。ランドマーク（複数可）１０４０及び／または３Ｄ位置（複数可）１０４２のそれぞれについて、ハイブリッド平面及び深度成分セットのうち、入力ランドマーク座標ベクトル（例えば入力ｘ座標、ｙ座標、及びｚ座標）を定義する対応ハイブリッド平面及び深度成分は、入力データ構造内のｉｎｐｕｔＬａｎｄｍａｒｋ_iに格納され得る。逆投影機能１０３６は、推定３Ｄ位置（複数可）１０４４を、出力ランドマーク座標ベクトル（例えば変数ｏｕｔｐｕｔＬａｎｄｍａｒｋで表される）のアレイなどの出力データ構造に格納し得る。ランドマーク（複数可）１０４０及び／または３Ｄ位置（複数可）１０４２のそれぞれについて、出力ランドマーク座標ベクトル（例えば出力ｘ座標、ｙ座標、及びｚ座標）は、出力データ構造内のｏｕｔｐｕｔＬａｎｄｍａｒｋ_iに格納され得る。

【0039】

次に、ブロック１１０４にて、逆投影機能１０３６は、被写体Ｓ１と画像キャプチャデバイス（複数可）１００４との間のオブジェクト距離（例えば変数ｓｕｂｊｅｃｔＤｉｓｔＩｎＭｅｔｅｒで表される）を特定する。被写体Ｓ１またはその一部の寸法（例えば高さ及び／または長さなど）を使用して、オブジェクト距離が特定され得る。

【0040】

例えば、被写体Ｓ１が成人である場合、平均ボーン長（例えば変数ａｖｇＢｏｎｅＬｅｎｇｔｈで表される）など、被写体Ｓ１に関連付けられたボーン長値が使用され得る。成人の妥当な身長または平均身長（例えば変数ｋＨｕｍａｎＨｅｉｇｈｔＩｎＭｅｔｅｒで表される）に、乗数（例えば０．２）を乗算して、平均的な人の平均的な現実世界ボーン長（例えば変数ｋＨｕｍａｎＢｏｎｅＬｅｎｇｔｈＩｎＭｅｔｅｒで表される）が推定され得る（例えばｋＨｕｍａｎＢｏｎｅＬｅｎｇｔｈＩｎＭｅｔｅｒ＝ｋＨｕｍａｎＨｅｉｇｈｔＩｎＭｅｔｅｒ＊０．２）。乗数（例えば０．２）は、平均的な人間の身長に対するボーン長の比率の統計に基づき得る。撮影された被写体Ｓ１の身長が判明している実施形態では、ボーン長値を得るために、その身長に０．２を乗算することによりボーン長値が計算され、ニューラルネットワーク（複数可）１０３２により推論されるランドマーク（複数可）１０４０及び／またはロトスコープツール１０３４から取得される３Ｄ位置（複数可）１０４２のより精度の高い逆投影が達成され得る。さらに、いくつかの実施形態では、ボーン長値は、現実世界の被写体Ｓ１の実際の身長と一致または対応するように、オペレータによりカスタマイズまたは修正され得る。被写体Ｓ１のボーン長値が判明している場合、逆投影機能１０３６は、メモリ１０１２から及び／またはユーザインターフェース１０１４を介してユーザから、ボーン長値を取得し得る。

【0041】

逆投影機能１０３６は、ハイブリッド平面及び深度成分セットを使用して、寸法（例えばボーン長値）を取得し得る。例えば、被写体Ｓ１が人間である場合、ブロック１１０４にて、逆投影機能１０３６は、ハイブリッド平面及び深度成分セットを使用して、被写体Ｓ１のボーン長値を取得し得る。ボーン長値は、ジョイントを表すハイブリッド平面及び深度成分セットに少なくとも部分的に基づいて計算される平均ボーン長（例えば変数ａｖｇＢｏｎｅＬｅｎｇｔｈで表される）であり得る。逆投影機能１０３６は、変数ａｖｇＢｏｎｅＬｅｎｇｔｈの値を、ハイブリッド平面及び深度成分セット（例えば変数ｉｎｐｕｔＬａｎｄｍａｒｋｓで表される）から算出される３Ｄ距離として、計算し得る。ハイブリッド平面及び深度成分セットは、ランドマーク（複数可）１０４０及び／または３Ｄ位置（複数可）１０４２のそれぞれのｘ座標、ｙ座標、及びｚ座標を含み得るが、Ｚ座標がＸ座標及びＹ座標と未連結であり得るため、ｘ座標、ｙ座標、及びｚ座標の値は、正確なデカルト座標ではあり得ない。言い換えると、ｘ座標及びｙ座標は、第１の基準点（例えばｘ軸とｙ軸の原点）に関連し得、ｚ座標は、別の第２の基準点（例えばキャラクタの境界ボックスの重心）に関連し得る。しかし、特にｘ軸とｙ軸の原点が入力画像（複数可）により定義される空間内の中心に配置される場合（例えば中心から外側に広がっていく場合）、ｘ座標、ｙ座標、及びｚ座標は、同じスケールを有し得るため、正確なデカルト座標に十分近いとみなされ、ボーン長値の算出及び近似を行うことができる。

【0042】

ハイブリッド平面及び深度成分セット（例えば変数ｉｎｐｕｔＬａｎｄｍａｒｋｓで表される）が正規化画像空間内ですべてエンコードされる場合、逆投影機能１０３６は、ボーン長値（例えば変数ａｖｇＢｏｎｅＬｅｎｇｔｈの値）をカメラセンサメトリックサイズ（例えば変数ｋＣＣＤＳｉｚｅＩｎＭｅｔｅｒで表される）で乗算することにより、ボーン長値をメトリック表現に変換し得る（例えばａｖｇＢｏｎｅＬｅｎｇｔｈＩｎＭｅｔｅｒ＝ａｖｇＢｏｎｅＬｅｎｇｔｈ＊ｋＣＣＤＳｉｚｅＩｎＭｅｔｅｒ）。

【0043】

次に、ブロック１１０４にて、逆投影機能１０３６（図１０を参照）は、寸法（例えば変数ａｖｇＢｏｎｅＬｅｎｇｔｈＩｎＭｅｔｅｒの値）を使用して、現実世界におけるｚ軸に沿った被写体Ｓ１（例えば図４では「実際のオブジェクト」とラベル表示される）と画像キャプチャデバイス（複数可）１００４の開口部との間のオブジェクト距離（例えば変数ｓｕｂｊｅｃｔＤｉｓｔＩｎＭｅｔｅｒで表される）を特定し得る。図４は、方法１１００の理解を促すために変数名がラベル表示された、第２のピンホールカメラモデル２００を示す。図４に示されるように、逆投影機能１０３６（図１０を参照）は、ピンホールカメラモデル２００、想定カメラ焦点長（例えば変数ｋＦｏｃａｌＬｅｎｇｔｈＩｎＭｅｔｅｒで格納される）、平均的な人の平均的な現実世界ボーン長（例えば変数ｋＨｕｍａｎＢｏｎｅＬｅｎｇｔｈＩｎＭｅｔｅｒで格納される）、及びボーン長値を利用することで、画像キャプチャデバイス（複数可）１００４から被写体Ｓ１のオブジェクト距離の近似を算出し得る（例えばｓｕｂｊｅｃｔＤｉｓｔＩｎＭｅｔｅｒ＝ｋＨｕｍａｎＢｏｎｅＬｅｎｇｔｈＩｎＭｅｔｅｒ／ａｖｇＢｏｎｅＬｅｎｇｔｈＩｎＭｅｔｅｒ＊ｋＦｏｃａｌＬｅｎｇｔｈＩｎＭｅｔｅｒ）。

【0044】

次に、ブロック１１０６にて、逆投影機能１０３６（図１０を参照）は、倍率（例えば変数ｍａｇｎｉｆｉｃａｔｉｏｎＳｃａｌｅｒで表される）を計算する。例えば、逆投影機能１０３６は、ブロック１１０４で取得されたオブジェクト距離（例えば変数ｓｕｂｊｅｃｔＤｉｓｔＩｎＭｅｔｅｒで表される）を使用して、倍率を計算し得る（例えばｍａｇｎｉｆｉｃａｔｉｏｎＳｃａｌｅｒ＝ｓｕｂｊｅｃｔＤｉｓｔＩｎＭｅｔｅｒ／ｋＦｏｃａｌＬｅｎｇｔｈＩｎＭｅｔｅｒ）。非限定的な例として、逆倍率式（式３）を使用して、以下の式４が得られ得る。

【数4】

【0045】

ブロック１１０８にて、逆投影機能１０３６（図１０を参照）は、投影方向及び投影距離を特定する（ｉｎｐｕｔＬａｎｄｍａｒｋ内のｉｎｐｕｔＬａｎｄｍａｒｋ_iごとに）。ブロック１１０８にて、逆投影機能１０３６は、任意で、例えば以下の式５を使用して、正規化された画像空間のｘ座標及びｙ座標を中心に配置し得る。
ｉｎｐｕｔＬａｎｄｍａｒｋ_i．ｘｙ＝ｉｎｐｕｔＬａｎｄｍａｒｋ_i．ｘｙ－［０．５，０．５］ 式５
逆投影機能１０３６は、例えば式６を使用して、正規化された画像空間座標から、想定されるカメラセンサのメトリックサイズを利用したメトリック表現に、座標を変換し得る。
ｉｎｐｕｔＬａｎｄｍａｒｋ_i＝ｉｎｐｕｔＬａｎｄｍａｒｋ_i＊ｋＣＣＤＳｉｚｅＩｎＭｅｔｅｒ 式６
図２を参照すると、座標系は、画像２０４（例えばＣＣＤ平面）をｚ＝０に配置し、開口部２０２（カメラ点とも称される）を、［０，０，ｋＦｏｃａｌＬｅｎｇｔｈＩｎＭｅｔｅｒ］に、－ｚを見る（すなわち－ｚ方向を向く）ように配置するため（図２を参照）、逆投影機能１０３６（図１０を参照）は、例えば以下の式７を使用して、投影方向（例えば変数ｐｒｏｊｅｃｔＤｉｒｅｃｔｉｏｎで表される）を、変数ｉｎｐｕｔＬａｎｄｍａｒｋ_iに格納されたｘ座標及びｙ座標、ならびにゼロを用いたｚ座標から、開口部２０２への方向として、計算し得る。
ｐｒｏｊｅｃｔｉｏｎＤｉｒｅｃｔｉｏｎ＝ｎｏｒｍａｌｉｚｅ（［ｉｎｐｕｔＬａｎｄｍａｒｋ_i．ｘｙ，０］－［０，０，ｋＦｏｃａｌＬｅｎｇｔｈＩｎＭｅｔｅｒ］ 式７
逆投影機能１０３６は、例えば以下の式８を使用して、変数ｉｎｐｕｔＬａｎｄｍａｒｋ_iに格納されたｘ座標及びｙ座標、ならびにゼロを用いたｚ座標から、開口部２０２までの投影距離（例えば変数ｐｒｏｊｅｃｔｅｄＰｏｉｎｔＤｉｓｔａｎｃｅで表される）を計算し得る。
ｐｒｏｊｅｃｔｅｄＰｏｉｎｔＤｉｓｔａｎｃｅ＝ｍａｇｎｉｔｕｄｅ（［ｉｎｐｕｔＬａｎｄｍａｒｋ_i．ｘｙ，０］－［０，０，ｋＦｏｃａｌＬｅｎｇｔｈＩｎＭｅｔｅｒ］ 式８

【0046】

次いで、ブロック１１１２にて、逆投影機能１０３６（図１０を参照）は、例えば以下の式９を使用して、ランドマーク（複数可）１０４０（または３Ｄ位置（複数可）１０４２）のうちの対応するものから、開口部２０２すなわちカメラ点までの逆投影距離（例えば変数ｕｎｐｒｏｊｅｃｔｅｄＰｏｉｎｔＤｉｓｔａｎｃｅで表される）を特定する（ｉｎｐｕｔＬａｎｄｍａｒｋ内のｉｎｐｕｔＬａｎｄｍａｒｋ_iごとに）。
ｕｎｐｒｏｊｅｃｔｅｄＰｏｉｎｔＤｉｓｔａｎｃｅ＝ｐｒｏｊｅｃｔｅｄＰｏｉｎｔＤｉｓｔａｎｃｅ＊ｍａｇｎｉｆｉｃａｔｉｏｎＳｃａｌｅｒ式９
式９では、被写体Ｓ１が平坦であると想定され得る。用語「平坦」は、Ｚ軸に垂直な垂直平面（開口部２０２からオブジェクト距離に位置する）に、被写体Ｓ１が投影されたことを意味する。

【0047】

次に、ブロック１１１４にて、逆投影機能１０３６（図１０を参照）は、例えば以下の式１０を使用して、逆投影出力ランドマーク座標ベクトル（例えば変数ｏｕｔｐｕｔＬａｎｄｍａｒｋ_iで表される）を推定する（ｉｎｐｕｔＬａｎｄｍａｒｋ内のｉｎｐｕｔＬａｎｄｍａｒｋ_iごとに）。
ｏｕｔｐｕｔＬａｎｄｍａｒｋ_i＝［０，０，ｋＦｏｃａｌＬｅｎｇｔｈＩｎＭｅｔｅｒ］＋ｐｒｏｊｅｃｔｉｏｎＤｉｒｅｃｔｉｏｎ＊ｕｎｐｒｏｊｅｃｔｅｄＰｏｉｎｔＤｉｓｔａｎｃｅ 式１０
ブロック１１１４で生成された推定は、被写体Ｓ１が平らであるかのように被写体Ｓ１を扱い、機械学習プロセス（複数可）（例えばニューラルネットワーク（複数可）１０３２）により特定されたｚ座標を無視する。

【0048】

次に、ブロック１１１６にて、逆投影機能１０３６（図１０を参照）は、例えば以下の式１１を使用して、ｉｎｐｕｔＬａｎｄｍａｒｋ内の各ｉｎｐｕｔＬａｎｄｍａｒｋ_iの相対的深度に倍率を適用して、拡大ランドマーク相対的深度（例えば変数ｄｅｐｔｈＤｅｌｔａで表される）を取得する。
ｄｅｐｔｈＤｅｌｔａ＝ｉｎｐｕｔＬａｎｄｍａｒｋ_i．ｚ＊ｍａｇｎｉｆｉｃａｔｉｏｎＳｃａｌｅｒ／ｓｕｂｊｅｃｔＤｉｓｔＩｎＭｅｔｅｒ＊ｕｎｐｒｏｊｅｃｔｅｄＰｏｉｎｔＤｉｓｔａｎｃｅ 式１１

【0049】

次に、ブロック１１１８にて、逆投影機能１０３６は、例えば以下の式１２を使用して、ｏｕｔｐｕｔＬａｎｄｍａｒｋ内の各ｏｕｔｐｕｔＬａｎｄｍａｒｋ_iの相対的深度を逆投影する。
ｏｕｔｐｕｔＬａｎｄｍａｒｋ_i＝ｏｕｔｐｕｔＬａｎｄｍａｒｋ_i－（ｐｒｏｊｅｃｔｉｏｎＤｉｒｅｃｔｉｏｎ＊ｄｅｐｔｈＤｅｌｔａ） 式１２
よって、ブロック１１１８にて、逆投影機能１０３６（図１０を参照）は、変数ｏｕｔｐｕｔＬａｎｄｍａｒｋに格納される推定３Ｄ位置（複数可）１０４４（図１０を参照）を推定する。ブロック１１１８の後、方法１１００は終了し得る。

【0050】

図１０を参照すると、推定３Ｄ位置（複数可）１０４４（変数ｏｕｔｐｕｔＬａｎｄｍａｒｋに格納される）は、世界空間から画像空間（例えばハイブリッド平面及び深度成分セット）に再投影し戻され得、変数ｉｎｐｕｔＬａｎｄｍａｒｋｓに格納される。例えば、逆投影機能１０３６は、推定３Ｄ位置（複数可）１０４４を変数ｉｎｐｕｔＬａｎｄｍａｒｋｓに格納し得る。次に、逆投影機能１０３６は、方法１１００に関して説明された動作を逆に行い、逆投影された被写体Ｓ１を表す世界空間入力ランドマーク座標ベクトル（例えば変数ｉｎｐｕｔＬａｎｄｍａｒｋｓで表される）を再投影し、被写体画像を表すランドマーク座標ベクトル（例えば変数ｏｕｔｐｕｔＬａｎｄｍａｒｋｓで表される）を出力し得る。

【0051】

図５に示されるように、ロトスコープツール１０３４は、２Ｄジョイントポジション（例えばランドマーク（複数可）１０４０及び／または３Ｄ位置（複数可）１０４２のｘ座標及びｙ座標）を、入力画像（複数可）（例えばビデオフレーム）の上に重ねられた平面画像座標でレンダリングし得る。ユーザ（例えばアニメータまたは手動ラベラー）は、図６に示されるように、対応するジョイントランドマークが画像空間内の被写体のジョイントと正確に重なるように、２Ｄギズモ６０２をドラッグすることにより、平面座標におけるこのような投影された２Ｄジョイントポジションを修正し得る。しかし、深度座標は平面座標と連結されているため、手動のラベラーが深度座標を修正することは難しい。

【0052】

３Ｄポーズ推定の目標は、自然かつ連続的に見え、かつ入力画像に具現化された３Ｄポーズの２Ｄ投影結果を解釈する無限の解を、少なくとも１つ見つけることである。

【0053】

ロトスコープツール１０３４では、深度座標を修正する難しさは、ユーザがランドマークポジションを修正できる独立したビューで解決される。図６は、２Ｄ／平面ビューを示し、これは、入力画像（複数可）（ビデオフレーム）に描写された実際のオブジェクトの上にＸＹ画像空間座標が重ねられた画像の直交ビューを表示し、これにより、ユーザは、ランドマークポジションの平面ＸＴ編集のみを行うことが可能となる。図８は、３Ｄ／深度ビューを示し、これは、逆投影された（例えば方法１１００により取得された）ランドマークを３Ｄビューで表示し、これにより、ユーザは、カメラ点（すなわち開口部）から投影されたランドマークまで逆投影されたランドマークを通って延びる「投影線」に沿って（例えば画像キャプチャデバイス（複数可）１００４の投影方向に沿って）のみ、任意の所与のランドマークポジションを修正することが可能となる。逆投影されたランドマークは、ランドマークごとに、投影カメラポジションからの光線が、逆投影されたランドマークポジション及び画像上の対応するランドマークポジションを通過するように、配置される。このように、ロトスコープツール１０３４により、ユーザは、整合している２Ｄ平面座標を変更することなく、入力画像に対応するように被写体Ｓ１のジョイントを通る画像キャプチャデバイス（複数可）１００４の投影軸に沿って、単一の深度座標のみを手動で調整することが可能となり、よって、結合された３Ｄ座標は、入力画像（複数可）（例えばビデオフレーム）に具現化された２Ｄ投影ポーズと一致する。

【0054】

「Ｚ反転」ポジションなど、ポーズ推定用のニューラルネットワークモデルにより生じる一般的な「深度」推論エラーは、ジョイントの深度マーカ８０２を被写体のルートジョイントの反対側へドラッグすることで、直観的に修正される。

【0055】

従来のキーフレームベースの３Ｄポーズエディタでは、ユーザは、３Ｄデカルト座標のｘ成分及びｙ成分から独立して、３Ｄデカルト座標の「ｚ」成分を修正することが可能である。しかし、デカルトｚ成分を修正した結果、画像平面に投影されたジョイントの平面ＸＹは、参照画像内の被写体の対応するジョイントに重ならなくなる場合がある。ジョイントポジションのデカルトｘ成分及びｙ成分は、画像平面に投影されたジョイントポジションの平面ＸＹ成分とは大きく異なるため、オペレータが、投影されたランドマークの平面ＸＹ成分が参照画像内の対応するジョイントと重ならなければならないという制約を破ることなく、逆投影されたジョイントポジションのデカルト座標を編集することは、非常に難しくあり得る。

【0056】

ボーン長及びボーン対称性の厳密な想定を使用して、ユーザの座標調整を制限し、手動調整の次元をさらに削減することができる。

【0057】

人間をモデル化する（例えば多関節人型モデルを作成することによる）ことに加えて、システム１０００を使用して、任意の多関節型多体構造または単一３Ｄオブジェクトのモデルが生成され得る。方法１１００（図１１を参照）及びロトスコープツール１０３４は、多関節人型モデルから得られたランドマーク（複数可）１０４０とともに使用されるものとして説明及び図示されたが、システム１０００は、このような多関節人型モデルとの使用に限定されない。具体的な例として、被写体Ｓ１は、多関節人型モデル以外であってもよく、２Ｄ入力画像（複数可）（例えばビデオ）からニューラルネットワーク（複数可）１０３２により推論されたハイブリッド平面及び深度成分は、ロトスコープツール１０３４を介してリファインまたは編集され得る。多関節人型スケルトンモデルは、６自由度（ＤＯＦ）を有するルートジョイントを除き、ジョイント当たり最大３ＤＯＦを有する多関節型多体モデルであり得る。このような多関節人型モデルを、ジョイントに任意のＤＯＦを有する任意の多関節型多体モデルに一般化することは、簡単である。ロトスコープツール１０３４を使用して、多関節型多体モデルを描写する２Ｄ入力画像（複数可）（例えばビデオ）から推論された（例えばニューラルネットワーク（複数可）１０３２による）３Ｄポーズに基づいて、任意の多関節型多体モデルの３Ｄポーズがリファイン及び編集され得る。

【0058】

多関節人型スケルトンモデルは、６ＤＯＦを有する単一３Ｄオブジェクトにも一般化され得る。このような一般化では、「ジョイント」（例えばランドマーク（複数可）１０４０で表される）は、３Ｄオブジェクトの最終的頂点に一般化され得る。３Ｄオブジェクトの最終的頂点は、３Ｄオブジェクトの３Ｄモデルの３Ｄポーズ（ポジション及び配向）、形状、及び寸法を一意に定義し得る頂点セットである。例えば、３Ｄ立方体形状の３Ｄオブジェクトの場合、最終的頂点の例は、立方体の４つの角である。このような一般化により、ロトスコープツール１０３４を使用して、３Ｄオブジェクトを描写する２Ｄ入力画像（複数可）（例えばビデオ）から推論された（例えばニューラルネットワーク（複数可）１０３２による）３Ｄオブジェクトの３Ｄポーズ（複数可）及び／または形状（複数可）がリファイン及び編集され得る。

【0059】

システム１０００を使用して、機械学習プロセス（複数可）（例えば知覚ディープニューラルネットワークモデル（複数可））により推論された、ランドマーク（複数可）１０４０に関連付けられたハイブリッド平面ＸＹ及び深度から、アニメーション及びモーションキャプチャのための被写体Ｓ１のポーズ、ポジション、及び配向の完全３Ｄ表現が再構成され得る。システム１０００により、オペレータ及び／またはユーザは、「ロトスコープ」スタイル（例えばロトスコープ１０３４）で、ランドマーク（例えばランドマーク（複数可）１０４０、３Ｄ位置（複数可）１０４２、及び／または推定３Ｄ位置（複数可）１０４４）の平面ＸＹ成分と深度成分（ｚ座標値により推定される）を独立して編集することにより、２Ｄ入力画像（複数可）から機械学習プロセス（複数可）（例えば知覚ディープニューラルネットワークモデル（複数可））により推論された３Ｄポーズ（例えば人間に関する）を編集することが可能になり得る。編集結果（例えば３Ｄ位置（複数可）１０４２）は、トレーニングデータセットに統合され、機械学習プロセス（複数可）（例えば３Ｄポーズ推定ＤＮＮと称され得る知覚ディープニューラルネットワークモデル（複数可））を、より高い精度と汎用性でトレーニングするために使用され得る。編集結果は、２Ｄ入力画像（複数可）及び／またはビデオからＡＩにより生成される３Ｄアニメーションの品質を向上させるために使用され得る。

【0060】

本開示の少なくとも１つの実施形態は、以下の２５個の条項を考慮して説明され得る。
１．少なくとも１つの画像キャプチャデバイスによりキャプチャされた、被写体を描写する少なくとも１つの入力画像から、少なくとも１つの機械学習プロセスにより推論され、かつ前記被写体に関連付けられた少なくとも１つの第１のランドマークを取得することであって、前記少なくとも１つの第１のランドマークのそれぞれは、第１のｘ座標、第１のｙ座標、及び第１のｚ座標を含み、前記第１のｚ座標は、前記第１のｘ座標及び前記第１のｙ座標から連結解除されている、前記取得することと、１つ以上の第２のランドマークを計算することと、を含む方法であって、前記計算することは、前記少なくとも１つの第１のランドマークのそれぞれに関して、前記少なくとも１つの画像キャプチャデバイスから、前記第１のｘ座標及び前記第１のｙ座標の位置までの投影方向及び投影距離を特定することと、前記少なくとも１つの第１のランドマークのそれぞれに関して、前記第１のｚ座標、前記投影方向、及び前記投影距離に少なくとも部分的に基づいて、前記１つ以上の第２のランドマークのうちの対応する少なくとも１つの第２のランドマークの座標セットを推定することであって、前記座標セットは、相互連結された第２のｘ座標、第２のｙ座標、及び第２のｚ座標を含む、前記推定することと、により実行される、前記方法。

【0061】

２．前記少なくとも１つの機械学習プロセスは、１つ以上の知覚ディープニューラルネットワークを含む、条項１に記載の方法。

【0062】

３．前記少なくとも１つの第１のランドマークの一部に少なくとも部分的に基づいて、寸法値を特定することと、ｚ軸に沿って前記ｚ軸の原点と前記少なくとも１つの画像キャプチャデバイスとの間に延びる被写体距離を特定することであって、前記被写体距離は、前記寸法値と、前記少なくとも１つの画像キャプチャデバイスに関連付けられた焦点長値とに少なくとも部分的に基づいて特定される、前記特定することと、前記被写体距離及び前記焦点長値に少なくとも部分的に基づいて倍率を計算することであって、前記少なくとも１つの第１のランドマークのそれぞれに関して、前記対応する少なくとも１つの第２のランドマークの前記座標セットは、前記倍率に少なくとも部分的に基づいて推定される、前記計算することと、をさらに含む、条項１または２に記載の方法。

【0063】

４．前記寸法値は、前記少なくとも１つの画像に描写される前記被写体のボーン長の推定値である、条項３に記載の方法。

【0064】

５．前記少なくとも１つの第１のランドマークのそれぞれに関して、前記対応する少なくとも１つの第２のランドマークの前記座標セットは、前記第１のｚ座標、前記投影方向、前記投影距離、前記倍率、及び前記焦点長値に少なくとも部分的に基づいて計算された相対値に少なくとも部分的に基づいて推定される、条項３または４に記載の方法。

【0065】

６．前記少なくとも１つの第１のランドマークのそれぞれは、ジョイントまたは最終的頂点の推定位置に対応する、条項１～５のいずれか１項に記載の方法。

【0066】

７．前記少なくとも１つの第１のランドマークのうちの１つ以上、または前記１つ以上の第２のランドマークのうちの少なくとも１つを含む１つ以上の編集ランドマークに対し、修正を受け取るための編集ツールを表示することと、前記１つ以上の編集ランドマークを、前記少なくとも１つの機械学習プロセスに対しトレーニングデータセットで提供することと、をさらに含む、条項１～６のいずれか１項に記載の方法。

【0067】

８．前記少なくとも１つの第１のランドマークのうちの１つ、または前記１つ以上の第２のランドマークのうちの１つを含む特定のランドマークに対し、修正を受け取るための編集可能な表示を表示することであって、前記編集可能な表示は、ｘ軸またはｙ軸の少なくとも１つに沿ってのみ、前記特定のランドマークの移動を許可する、前記表示することを、さらに含む、条項１～７のいずれか１項に記載の方法。

【0068】

９．前記少なくとも１つの第１のランドマークのうちの第１の選択されたランドマーク、または前記１つ以上の第２のランドマークのうち、前記第１の選択されたランドマークに関して計算された第２の選択されたランドマークを含む特定のランドマークに対し、修正を受け取るための編集可能な表示を表示することであって、前記編集可能な表示は、前記第１の選択されたランドマークに関して特定された前記投影方向に沿ってのみ、前記特定のランドマークの移動を許可する、前記表示することを、さらに含む、条項１～８のいずれか１項に記載の方法。

【0069】

１０．少なくとも１つのプロセッサと、命令を格納するメモリと、を備えたシステムであって、前記命令は、前記少なくとも１つのプロセッサにより実行された場合、少なくとも１つの画像キャプチャデバイスによりキャプチャされた少なくとも１つの画像に少なくとも部分的に基づいて特定された入力座標セットを取得することであって、前記入力座標セットは、第１の座標、第２の座標、及び第３の座標を含み、前記第３の座標は、前記第１の座標及び前記第２の座標から連結解除されている、前記取得することと、前記第３の座標には基づかないが、前記第１の座標及び前記第２の座標に少なくとも部分的に基づいて、中間的座標セットを推定することと、前記第３の座標に少なくとも部分的に基づいて、出力座標セットを推定することと、を、前記システムに実行させる、前記システム。

【0070】

１１．前記第３の座標は、深度に対応する、条項１０に記載のシステム。

【0071】

１２．前記入力座標セットは、１つ以上の知覚ディープニューラルネットワークにより生成された、条項１０または１１に記載のシステム。

【0072】

１３．前記中間的座標セットを推定することは、ｚ軸に沿って前記入力座標セットと前記少なくとも１つの画像キャプチャデバイスとの間に延びる被写体距離を特定することと、前記被写体距離と、前記少なくとも１つの画像キャプチャデバイスに関連付けられた焦点長値とに少なくとも部分的に基づいて、倍率を計算することと、前記少なくとも１つの画像キャプチャデバイスから前記第１の座標及び前記第２の座標の位置までの投影方向及び投影距離を特定することであって、前記中間的座標セットは、前記第１の座標、前記第２の座標、前記被写体距離、前記投影方向、前記投影距離、前記倍率、及び前記焦点長値に少なくとも部分的に基づいて計算される、前記特定することと、を含む、条項１０～１２のいずれか１項に記載のシステム。

【0073】

１４．前記被写体距離を特定することは、前記入力座標セットに少なくとも部分的に基づいて、寸法値を特定することを含み、前記被写体距離は、前記寸法値及び前記焦点長値に少なくとも部分的に基づいて特定される、条項１３に記載のシステム。

【0074】

１５．前記寸法値は、前記少なくとも１つの画像に描写された被写体のボーン長の推定値である、条項１４に記載のシステム。

【0075】

１６．前記出力座標セットを推定することは、倍率を計算することと、前記少なくとも１つの画像キャプチャデバイスから前記第１の座標及び前記第２の座標の位置までの投影方向及び投影距離を特定することと、前記中間的座標セットから相対値を減算することであって、前記相対値は、前記第３の座標、前記投影方向、前記投影距離、前記倍率、及び前記少なくとも１つの画像キャプチャデバイスに関連付けられた焦点長値に少なくとも部分的に基づいて計算される、前記減算することと、を含む、条項１０～１５のいずれか１項に記載のシステム。

【0076】

１７．前記命令は、前記少なくとも１つのプロセッサにより実行された場合、前記入力座標セットまたは前記出力座標セットのうちの少なくとも１つを含む編集座標セットに対し、修正を受け取るための編集ツールを表示することを、前記システムに実行させる、条項１０～１６のいずれか１項に記載のシステム。

【0077】

１８．前記編集座標セットは、ｘ座標、ｙ座標、及びｚ座標を含み、前記命令は、前記少なくとも１つのプロセッサにより実行された場合、前記少なくとも１つの画像キャプチャデバイスから前記第１の座標及び前記第２の座標の位置までの投影方向を特定することと、前記編集ツールを使用するグラフィカルユーザインターフェース（「ＧＵＩ」）を生成することであって、前記ＧＵＩは、前記ｘ座標または前記ｙ座標の少なくとも１つにのみ関わる第１のポジションに対し、修正を受け取る２Ｄビューを生成するように動作可能であり、前記ＧＵＩは、前記投影方向に沿ってのみ、前記編集座標セットの第２のポジションに対し、修正を受け取る３Ｄビューを生成するように動作可能である、前記生成することと、を前記システムに実行させる、条項１７に記載のシステム。

【0078】

１９．前記入力座標セットは、１つ以上の機械学習プロセスにより生成され、前記命令は、前記少なくとも１つのプロセッサにより実行された場合、前記編集座標セットを、前記１つ以上の機械学習プロセスに対しトレーニングデータセットで提供することを、前記システムに実行させる、条項１７または１８に記載のシステム。

【0079】

２０．前記入力座標セットは、ジョイントまたは最終的頂点の位置を推定する、条項１０～１９のいずれか１項に記載のシステム。

【0080】

２１．前記命令は、前記少なくとも１つのプロセッサにより実行された場合、前記出力座標セットに少なくとも部分的に基づいて、少なくとも１つの新たな画像を生成することを、前記システムに実行させる、条項１０～２０のいずれか１項に記載のシステム。

【0081】

２２．前記少なくとも１つの画像をキャプチャするビデオカメラを備えた前記少なくとも１つの画像キャプチャデバイスをさらに備え、前記命令は、前記少なくとも１つのプロセッサにより実行された場合、前記少なくとも１つの画像から前記入力座標セットを推論する１つ以上の機械学習プロセスを、前記システムに実行させる、条項１０～２１のいずれか１項に記載のシステム。

【0082】

２３．少なくとも１つのプロセッサと、命令を格納するメモリと、を備えたシステムであって、前記命令は、前記少なくとも１つのプロセッサにより実行された場合、第１の座標、第２の座標、及び第３の座標を含むランドマークの投影方向を特定することと、第１の編集可能な表示及び第２の編集可能な表示を生成するように動作可能なグラフィカルユーザインターフェース（「ＧＵＩ」）を表示することであって、前記第１の編集可能な表示は、前記第１の座標及び前記第２の座標のみに対する修正を受け取り、前記第２の編集可能な表示は、前記投影方向に沿ってのみ、前記ランドマークに対する修正を受け取る、前記表示することと、を、前記システムに実行させる、前記システム。

【0083】

２４．前記ランドマークは、１つ以上の機械学習プロセスにより生成され、前記命令は、前記少なくとも１つのプロセッサにより実行された場合、前記ランドマークを、前記１つ以上の機械学習プロセスに対しトレーニングデータセットで提供することを、前記システムに実行させる、条項２３に記載のシステム。

【0084】

２５．前記命令は、前記少なくとも１つのプロセッサにより実行された場合、前記ランドマークを使用して１つ以上の画像を生成するために、前記ランドマークを１つ以上のプロセスに提供することを、前記システムに実行させる、条項２３または２４に記載のシステム。

【0085】

先述の実施形態は、異なる構成要素を示し、これは、異なる他の構成要素内に含まれ、または異なる他の構成要素と接続される。このような示されたアーキテクチャは単なる例であり、実際に、同じ機能を達成する数多くの他のアーキテクチャが実装されてもよいことが理解されよう。同じ機能を達成する構成要素のいずれの配置も、所望の機能が達成されるように、概念的な意味で、効果的に「関連付け」られる。ゆえに、アーキテクチャまたは介在構成要素に関係なく、本明細書で特定の機能を達成するために組み合わせられた任意の２つの構成要素は、所望の機能が達成されるように、相互に「関連付けられる」と見なされ得る。同様に、このように関連付けられた任意の２つの構成要素は、所望の機能を達成するために、相互に「動作可能に接続される」または「動作可能に連結される」ともみなされ得る。

【0086】

本発明の特定の実施形態が示され説明されたが、本明細書の教示に基づいて、本発明及びそのより広範な態様から逸脱することなく、変更及び修正が行われてもよく、ゆえに、添付の特許請求は、すべてのこのような変更及び修正を、本発明の真の趣旨及び範囲内にあるものとして、特許請求の範囲内に包含する意図があることが、当業者には明らかであろう。さらに、本発明は添付の特許請求の範囲によってのみ定義されることを、理解されたい。一般的に、本明細書、特に添付の特許請求の範囲（例えば添付の特許請求の範囲の本文）で使用される用語は、通常、「非限定」用語が意図されることが、当業者には理解されよう（例えば用語「～を含む（ｉｎｃｌｕｄｉｎｇ～）」は、「～を含むがこれに限定されない」と解釈されるべきであり、用語「～有する（ｈａｖｉｎｇ～）」は、「～を少なくとも有する」と解釈されるべきであり、用語「～含む（ｉｎｃｌｕｄｅｓ～）」は、「～を含むがこれに限定されない」と解釈されるべきである、など）。導入される請求項の記述に特定の数が意図される場合、請求項にこのような意図が明示的に記述され、このような記述がない場合は、このような意図が存在しないことが、当業者にはさらに理解されよう。理解を促すために、例えば、下記の添付の特許請求の範囲には、請求項の記述を導入する導入句「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」及び「１つ以上の（ｏｎｅ ｏｒ ｍｏｒｅ）」の使用が含まれ得る。しかし、このような句の使用は、不定冠詞「ａ」または「ａｎ」による請求項の記述の導入により、このように導入された請求項の記述を含むいずれの特定の請求項も、このような記述を１つのみ含む発明に限定されることを意味すると、解釈されるべきではなく、同一の請求項が導入句「１つ以上の（ｏｎｅ ｏｒ ｍｏｒｅ）」または「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」、及び「ａ」または「ａｎ」などの不定冠詞を含む場合でも、そのように解釈されるべきではなく（例えば「ａ」及び／または「ａｎ」は通常、「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」または「１つ以上の（ｏｎｅ ｏｒ ｍｏｒｅ）」を意味すると解釈されるべきである）、請求項の記述を導入するために用いられる定冠詞の使用に対しても、同じことが当てはまる。さらに、導入される請求項の記述に特定の数が明示的に記述される場合でも、このような記述は、通常、少なくとも記述された数を意味すると解釈されるべきであることを、当業者は理解するであろう（例えば他の修飾語句のない「２つの記述」だけの記述は、通常、少なくとも２つの記述、または２つ以上の記述を意味する）。

【0087】

本明細書で使用される一連の項目をつなぐ用語（例えば用語「または」、用語「及び、」など）は、具体的に別段の明記がない限り、または文脈と明らかに矛盾しない限り、一連の項目全体には適用されない。例えば、「複数のＡ、Ｂ、及びＣ」という語句（オックスフォードカンマの有無にかかわらず）は、列挙された一連の項目のうちの少なくとも２つを含む部分集合を指す。よって、この語句は、（１）少なくとも１つのＡと少なくとも１つのＢ（Ｃを除く）、（２）少なくとも１つのＡと少なくとも１つのＣ（Ｂを除く）、（３）少なくとも１つのＢと少なくとも１つのＣ（Ａを除く）、及び（４）少なくとも１つのＡと少なくとも１つのＢと少なくとも１つのＣ、を指す。同様に、「複数のＡ、Ｂ、またはＣ」という語句（オックスフォードコンマの有無にかかわらず）は、列挙された一連の項目のうちの少なくとも２つを含む部分集合を指す。よって、この語句も、（１）少なくとも１つのＡと少なくとも１つのＢ（Ｃを除く）、（２）少なくとも１つのＡと少なくとも１つのＣ（Ｂを除く）、（３）少なくとも１つのＢと少なくとも１つのＣ（Ａを除く）、及び（４）少なくとも１つのＡと少なくとも１つのＢと少なくとも１つのＣ、を指す。

【0088】

別の例として、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」または「Ａ、Ｂ及びＣのうちの少なくとも１つ」という形式の語句（すなわちオックスフォードコンマの有無にかかわらず同じ語句）などの接続語は、具体的に別段の明記がない限り、または文脈と明らかに矛盾しない限り、項目、用語などが、ＡまたはＢまたはＣのいずれか、Ａ及びＢ及びＣの集合のうちの任意の非空部分集合、あるいは少なくとも１つのＡ、少なくとも１つのＢ、または少なくとも１つのＣを含む、文脈に矛盾しない、矛盾する場合は除外される任意の集合であり得ることを示すために一般的に使用される文脈で、別様に理解される。例えば、３つの要素を有する集合の実施例では、接続語句「Ａ、Ｂ、及びＣのうちの少なくとも１つ」及び「Ａ、Ｂ及びＣのうちの少なくとも１つ」は、｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ、Ｂ｝、｛Ａ、Ｃ｝、｛Ｂ、Ｃ｝、｛Ａ、Ｂ、Ｃ｝、及び明示的にまたは文脈的に矛盾しない場合は、部分集合として｛Ａ｝、｛Ｂ｝、及び／または｛Ｃ｝を有する任意の集合（例えば複数の「Ａ」を有する集合）、以上の集合のうちのいずれかを指す。よって、このような接続語には、通常、少なくとも１つのＡ、少なくとも１つのＢ、及び少なくとも１つのＣがそれぞれ、特定の実施形態に存在する必要があることを意味する意図はない。同様に、「Ａ、Ｂ、またはＣのうちの少なくとも１つ」及び「Ａ、ＢまたはＣのうちの少なくとも１つ」などの語句は、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」及び「Ａ、Ｂ及びＣのうちの少なくとも１つ」が、異なる意味が明示的に記載されない限り、または文脈から明らかでない限り、｛Ａ｝、｛Ｂ｝、｛Ｃ｝、｛Ａ，Ｂ｝、｛Ａ，Ｃ｝、｛Ｂ，Ｃ｝、｛Ａ，Ｂ，Ｃ｝、以上の集合のうちのいずれかを指すことと、同じことを指す。

【0089】

従って、本発明は、添付の特許請求の範囲による場合を除き、限定されない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【外国語明細書】