特表 2024-513637 人間の視覚範囲からのエゴセントリック姿勢推定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-03-27

(54)【発明の名称】人間の視覚範囲からのエゴセントリック姿勢推定

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240319BHJP

   G06T 7/00 20170101ALI20240319BHJP

   G06T 13/40 20110101ALI20240319BHJP

   G06T 17/10 20060101ALI20240319BHJP

【ＦＩ】

G06T7/70 Z

G06T7/00 350C

G06T13/40

G06T17/10

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023547420

(86)(22)【出願日】2022-03-29

(85)【翻訳文提出日】2023-10-04

(86)【国際出願番号】 US2022022282

(87)【国際公開番号】W WO2022212325

(87)【国際公開日】2022-10-06

(31)【優先権主張番号】63/169,012

(32)【優先日】2021-03-31

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/475,063

(32)【優先日】2021-09-14

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】515046968

【氏名又は名称】メタ プラットフォームズ テクノロジーズ， リミテッド ライアビリティ カンパニー

【氏名又は名称原語表記】ＭＥＴＡ ＰＬＡＴＦＯＲＭＳ ＴＥＣＨＮＯＬＯＧＩＥＳ， ＬＬＣ

(74)【代理人】

【識別番号】110002974

【氏名又は名称】弁理士法人Ｗｏｒｌｄ ＩＰ

(72)【発明者】

【氏名】チアン， ハオ

(72)【発明者】

【氏名】イサプ， ヴァムシ クリシュナ

【テーマコード（参考）】

5B050

5B080

5L096

【Ｆターム（参考）】

5B050AA08

5B050AA09

5B050BA08

5B050BA09

5B050BA12

5B050DA01

5B050EA24

5B050EA26

5B050FA02

5B050FA06

5B050FA10

5B080AA17

5B080BA00

5B080CA00

5B080FA00

5B080FA03

5B080GA00

5L096AA06

5L096CA02

5L096DA02

5L096FA67

5L096FA69

5L096HA05

5L096HA11

(57)【要約】

一実施形態では、コンピューティングシステムは、ユーザによって装着されたヘッドセット上のカメラによって、ユーザの身体部分をキャプチャする画像をキャプチャし得る。システムは、キャプチャされた画像に基づいて、ユーザの動き履歴を符号化する動き特徴を決定し得る。システムは、画像において、ユーザの身体部分に対応する前景ピクセルを検出し得る。システムは、前景ピクセルに基づいて、カメラによってキャプチャされたユーザの身体部分を符号化する形状特徴を決定し得る。システムは、動き特徴および形状特徴に基づいて、ユーザの３次元身体姿勢および３次元頭部姿勢を決定し得る。システムは、前景ピクセルとユーザの３次元頭部姿勢とに基づいて、姿勢ボリューム表現を生成し得る。システムは、姿勢ボリューム表現および３次元身体姿勢に基づいて、ユーザの改善された３次元身体姿勢を決定し得る。
【選択図】図２

【特許請求の範囲】

【請求項1】

コンピューティングシステムによって、
ユーザによって装着されたヘッドセット上のカメラによって、前記カメラを装着した前記ユーザの身体部分の少なくとも一部をキャプチャする１つまたは複数の画像をキャプチャすることと、
前記カメラによってキャプチャされた前記１つまたは複数の画像に基づいて、前記ユーザの身体の動き履歴を符号化する複数の動き特徴を決定することと、
前記１つまたは複数の画像において、前記ユーザの前記身体部分の前記一部に対応する前景ピクセルを検出することと、
前記前景ピクセルに基づいて、前記カメラによってキャプチャされた前記ユーザの前記身体部分の前記一部を符号化する複数の形状特徴を決定することと、
前記複数の動き特徴および前記複数の形状特徴に基づいて、前記ユーザの３次元身体姿勢および３次元頭部姿勢を決定することと、
前記前景ピクセルと前記ユーザの前記３次元頭部姿勢とに基づいて、姿勢ボリューム表現を生成することと、
前記姿勢ボリューム表現および前記３次元身体姿勢に基づいて、前記ユーザの改善された３次元身体姿勢を決定することと
を含む、方法。

【請求項2】

前記ユーザの前記改善された３次元身体姿勢が、前記ユーザの前記身体の前記動き履歴を符号化する前記複数の動き特徴に基づいて決定される、請求項１に記載の方法。

【請求項3】

前記カメラの視野が前向きであり、前記カメラによってキャプチャされた前記１つまたは複数の画像が魚眼画像であり、前記ユーザの前記身体部分の前記一部が、前記ユーザの手、腕、足、または脚を含む、請求項１または２に記載の方法。

【請求項4】

前記ヘッドセットが前記ユーザの頭部に装着され、
前記ヘッドセットに関連付けられた１つまたは複数のＩＭＵを使用してＩＭＵデータを収集することであって、前記複数の動き特徴が、前記ＩＭＵデータと前記カメラによってキャプチャされた前記１つまたは複数の画像とに基づいて決定される、ＩＭＵデータを収集すること
をさらに含む、請求項１から３のいずれか一項に記載の方法。

【請求項5】

前記ＩＭＵデータおよび前記１つまたは複数の画像を同時位置特定・マッピング（ＳＬＡＭ）モジュールに供給することと、
前記同時位置特定・マッピングモジュールを使用して、前記ＩＭＵデータおよび前記１つまたは複数の画像に基づいて、１つまたは複数の動き履歴表現を決定することであって、前記複数の動き特徴が前記１つまたは複数の動き履歴表現に基づいて決定される、１つまたは複数の動き履歴表現を決定することと
をさらに含む、請求項４に記載の方法。

【請求項6】

各動き履歴表現が、所定の持続時間にわたって複数のベクトルを含み、前記複数のベクトルの各ベクトルが、前記ユーザの３次元回転、３次元並進、または高さに関連付けられたパラメータを含む、請求項５に記載の方法。

【請求項7】

前記複数の動き特徴が動き特徴モデルを使用して決定され、前記動き特徴モデルが、動き履歴表現から動き特徴を抽出するように訓練されたニューラルネットワークモデルを含む、請求項１から６のいずれか一項に記載の方法。

【請求項8】

前記１つまたは複数の画像を前景－背景セグメント化モジュールに供給することと、
前記前景－背景セグメント化モジュールを使用して、前記１つまたは複数の画像の各画像について前景マスクを決定することであって、前記前景マスクが、前記ユーザの前記身体部分の前記一部に関連付けられた前記前景ピクセルを含み、前記複数の形状特徴が前記前景ピクセルに基づいて決定される、前景マスクを決定することと
をさらに含む、請求項１から７のいずれか一項に記載の方法。

【請求項9】

前記複数の形状特徴が形状特徴モデルを使用して決定され、前記形状特徴モデルが、画像の前景マスクから形状特徴を抽出するように訓練されたニューラルネットワークモデルを含む、請求項１から８のいずれか一項に記載の方法。

【請求項10】

前記複数の動き特徴および前記複数の形状特徴の重みのバランスをとることと、
バランスのとれた前記重みに基づいて、融合モジュールに前記複数の動き特徴および前記複数の形状特徴を供給することであって、前記ユーザの前記３次元身体姿勢および前記３次元頭部姿勢が前記融合モジュールによって決定される、前記複数の動き特徴および前記複数の形状特徴を供給することと
をさらに含む、請求項１から９のいずれか一項に記載の方法。

【請求項11】

前記姿勢ボリューム表現が、前記ユーザの前記３次元身体姿勢および前記３次元頭部姿勢のための３次元身体形状エンベロープに対応する、請求項１から１０のいずれか一項に記載の方法。

【請求項12】

前記姿勢ボリューム表現が、前記ユーザの前記前景ピクセルを３次元立方体空間に逆投影することによって生成される、請求項１から１１のいずれか一項に記載の方法。

【請求項13】

前記前景ピクセルが、前記３次元身体姿勢と前記３次元頭部姿勢とを互いに一致させたままにする制約の下で、前記３次元立方体空間に逆投影される、請求項１２に記載の方法。

【請求項14】

前記姿勢ボリューム表現と、前記複数の動き特徴と、前記１つまたは複数の画像の前記前景ピクセルとを、３次元姿勢改善モデルに供給することをさらに含み、前記ユーザの前記改善された３次元身体姿勢が、前記３次元姿勢改善モデルによって決定される、請求項１から１３のいずれか一項に記載の方法。

【請求項15】

前記３次元姿勢改善モデルが、前記姿勢ボリューム表現から特徴を抽出するための３次元ニューラルネットワークを含み、前記姿勢ボリューム表現から抽出された前記特徴が、前記複数の動き特徴および前記３次元身体姿勢と連結される、請求項１４に記載の方法。

【請求項16】

前記３次元姿勢改善モデルが改善回帰ネットワークを含み、
前記改善回帰ネットワークに、前記複数の動き特徴および前記３次元身体姿勢と連結された前記姿勢ボリューム表現から抽出された前記特徴を供給することであって、前記ユーザの前記改善された３次元身体姿勢が前記改善回帰ネットワークによって出力される、前記特徴を供給すること
をさらに含む、請求項１４または１５に記載の方法。

【請求項17】

前記改善された３次元身体姿勢がリアルタイムで決定され、
前記ユーザの前記改善された３次元身体姿勢に基づいて、前記ユーザのためのアバターを生成することと、
前記アバターをディスプレイに表示することと
をさらに含む、請求項１から１６のいずれか一項に記載の方法。

【請求項18】

前記ユーザの前記改善された３次元身体姿勢に基づいて、ステレオ音信号を生成することと、
前記ステレオ音信号に基づくステレオ音響を前記ユーザに対して再生することと
をさらに含む、請求項１から１７のいずれか一項に記載の方法。

【請求項19】

ソフトウェアを具現化する１つまたは複数のコンピュータ可読非一時的記憶媒体であって、前記ソフトウェアは、実行されたとき、
ユーザによって装着されたヘッドセット上のカメラによって、前記カメラを装着した前記ユーザの身体部分の少なくとも一部をキャプチャする１つまたは複数の画像をキャプチャすることと、
前記カメラによってキャプチャされた前記１つまたは複数の画像に基づいて、前記ユーザの身体の動き履歴を符号化する複数の動き特徴を決定することと、
前記１つまたは複数の画像において、前記ユーザの前記身体部分の前記一部に対応する前景ピクセルを検出することと、
前記前景ピクセルに基づいて、前記カメラによってキャプチャされた前記ユーザの前記身体部分の前記一部を符号化する複数の形状特徴を決定することと、
前記複数の動き特徴および前記複数の形状特徴に基づいて、前記ユーザの３次元身体姿勢および３次元頭部姿勢を決定することと、
前記前景ピクセルと前記ユーザの前記３次元頭部姿勢とに基づいて、姿勢ボリューム表現を生成することと、
前記姿勢ボリューム表現および前記３次元身体姿勢に基づいて、前記ユーザの改善された３次元身体姿勢を決定することと
を行うように動作可能である、
１つまたは複数のコンピュータ可読非一時的記憶媒体。

【請求項20】

命令を具現化する１つまたは複数の非一時的コンピュータ可読記憶媒体と、
前記記憶媒体に結合された１つまたは複数のプロセッサと、を備えるシステムであって、前記プロセッサは、
ユーザによって装着されたヘッドセット上のカメラによって、前記カメラを装着した前記ユーザの身体部分の少なくとも一部をキャプチャする１つまたは複数の画像をキャプチャすることと、
前記カメラによってキャプチャされた前記１つまたは複数の画像に基づいて、前記ユーザの身体の動き履歴を符号化する複数の動き特徴を決定することと、
前記１つまたは複数の画像において、前記ユーザの前記身体部分の前記一部に対応する前景ピクセルを検出することと、
前記前景ピクセルに基づいて、前記カメラによってキャプチャされた前記ユーザの前記身体部分の前記一部を符号化する複数の形状特徴を決定することと、
前記複数の動き特徴および前記複数の形状特徴に基づいて、前記ユーザの３次元身体姿勢および３次元頭部姿勢を決定することと、
前記前景ピクセルと前記ユーザの前記３次元頭部姿勢とに基づいて、姿勢ボリューム表現を生成することと、
前記姿勢ボリューム表現および前記３次元身体姿勢に基づいて、前記ユーザの改善された３次元身体姿勢を決定することと
を行うために前記命令を実行するように動作可能である、
システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、人間－コンピュータ対話技術に関し、特に、ユーザ身体姿勢を追跡することに関する。

【背景技術】

【0002】

人工現実は、ユーザへの提示の前に何らかの様式で調整された形式の現実であり、これは、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、あるいはそれらの何らかの組合せおよび／または派生物を含み得る。人工現実コンテンツは、完全に生成されたコンテンツ、またはキャプチャされたコンテンツ（たとえば、現実世界の写真）と組み合わせられた生成されたコンテンツを含み得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含み得、それらのいずれも、単一のチャネルまたは複数のチャネルにおいて提示され得る（観察者に３次元効果をもたらすステレオビデオなど）。人工現実は、たとえば人工現実におけるコンテンツの生成および／または人工現実における使用（たとえば、人工現実における活動の実施）がなされるアプリケーション、製品、付属品、サービス、またはこれらの何らかの組合せと関連付けられている場合がある。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、スタンドアロンＨＭＤ、モバイルデバイスまたはコンピューティングシステム、あるいは、１人または複数の観察者に人工現実コンテンツを提供することが可能な任意の他のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

【0003】

現在のＡＲ／ＶＲシステムは、ユーザの身体姿勢を決定するために磁気センサーおよび慣性センサーなどの非光学センサーを使用し得る。しかしながら、これらのセンサーは、ユーザの身体に取り付けられる必要があり得、ユーザが装着するには、煩わしく不便であり得る。あるいは、既存のシステムは、装着者の身体姿勢を推定するために、ヘッドマウントトップダウンカメラを使用し得る。しかしながら、そのようなトップダウンカメラは、突出しており、カメラを装着したユーザにとって不便であり得る。

【0004】

本開示は、上記で説明された欠点および短所のいずれかまたはすべてに少なくとも部分的に対処しようとするものである。

【発明の概要】

【0005】

本開示の第１の態様によれば、コンピューティングシステムによって、ユーザによって装着されたヘッドセット上のカメラによって、カメラを装着したユーザの身体部分の少なくとも一部をキャプチャする１つまたは複数の画像をキャプチャすることと、カメラによってキャプチャされた１つまたは複数の画像に基づいて、ユーザの身体の動き履歴を符号化する複数の動き特徴を決定することと、１つまたは複数の画像において、ユーザの身体部分の一部に対応する前景ピクセルを検出することと、前景ピクセルに基づいて、カメラによってキャプチャされたユーザの身体部分の一部を符号化する複数の形状特徴を決定することと、複数の動き特徴および複数の形状特徴に基づいて、ユーザの３次元身体姿勢および３次元頭部姿勢を決定することと、前景ピクセルとユーザの３次元頭部姿勢とに基づいて、姿勢ボリューム表現を生成することと、姿勢ボリューム表現および３次元身体姿勢に基づいて、ユーザの改善された３次元身体姿勢を決定することとを含む、方法が提供される。

【0006】

いくつかの実施形態では、ユーザの改善された３次元身体姿勢は、ユーザの身体の動き履歴を符号化する複数の動き特徴に基づいて決定され得る。

【0007】

いくつかの実施形態では、カメラの視野は前向きであり得、カメラによってキャプチャされた１つまたは複数の画像は魚眼画像であり得、ユーザの身体部分の一部は、ユーザの手、腕、足、または脚を含み得る。

【0008】

いくつかの実施形態では、ヘッドセットはユーザの頭部に装着され得、ヘッドセットに関連付けられた１つまたは複数のＩＭＵを使用してＩＭＵデータを収集することであって、複数の動き特徴が、ＩＭＵデータとカメラによってキャプチャされた１つまたは複数の画像とに基づいて決定され得る、収集することをさらに含む。

【0009】

いくつかの実施形態では、本方法は、ＩＭＵデータおよび１つまたは複数の画像を同時位置特定・マッピング（ＳＬＡＭ）モジュールに供給することと、同時位置特定・マッピングモジュールを使用して、ＩＭＵデータおよび１つまたは複数の画像に基づいて、１つまたは複数の動き履歴表現を決定することであって、複数の動き特徴が１つまたは複数の動き履歴表現に基づいて決定され得る、決定することとをさらに含み得る。

【0010】

いくつかの実施形態では、各動き履歴表現は、所定の持続時間にわたって複数のベクトルを含み得、複数のベクトルの各ベクトルは、ユーザの３次元回転、３次元並進、または高さに関連付けられたパラメータを含み得る。

【0011】

いくつかの実施形態では、複数の動き特徴は動き特徴モデルを使用して決定され得、動き特徴モデルは、動き履歴表現から動き特徴を抽出するように訓練されたニューラルネットワークモデルを含み得る。

【0012】

いくつかの実施形態では、本方法は、１つまたは複数の画像を前景－背景セグメント化モジュールに供給することと、前景－背景セグメント化モジュールを使用して、１つまたは複数の画像の各画像について前景マスクを決定することであって、前景マスクが、ユーザの身体部分の一部に関連付けられた前景ピクセルを含み得、複数の形状特徴が前景ピクセルに基づいて決定され得る、決定することとをさらに含み得る。

【0013】

いくつかの実施形態では、複数の形状特徴は形状特徴モデルを使用して決定され得、形状特徴モデルは、画像の前景マスクから形状特徴を抽出するように訓練されたニューラルネットワークモデルを含み得る。

【0014】

いくつかの実施形態では、本方法は、複数の動き特徴および複数の形状特徴の重みのバランスをとることと、バランスのとれた重みに基づいて、複数の動き特徴および複数の形状特徴を融合モジュールに供給することであって、ユーザの３次元身体姿勢および３次元頭部姿勢が融合モジュールによって決定され得る、供給することとをさらに含み得る。

【0015】

いくつかの実施形態では、姿勢ボリューム表現は、ユーザの３次元身体姿勢および３次元頭部姿勢のための３次元身体形状エンベロープに対応し得る。

【0016】

いくつかの実施形態では、姿勢ボリューム表現は、ユーザの前景ピクセルを３次元立方体空間に逆投影することによって生成され得る。

【0017】

いくつかの実施形態では、前景ピクセルは、３次元身体姿勢と３次元頭部姿勢とを互いに一致させたままにする制約の下で、３次元立方体空間に逆投影され得る。

【0018】

いくつかの実施形態では、本方法は、姿勢ボリューム表現と、複数の動き特徴と、１つまたは複数の画像の前景ピクセルとを、３次元姿勢改善モデルに供給することであって、ユーザの改善された３次元身体姿勢が、３次元姿勢改善モデルによって決定され得る、供給することをさらに含み得る。

【0019】

いくつかの実施形態では、３次元姿勢改善モデルは、姿勢ボリューム表現から特徴を抽出するための３次元ニューラルネットワークを含み得、姿勢ボリューム表現からの抽出された特徴は、複数の動き特徴および３次元身体姿勢と連結され得る。

【0020】

いくつかの実施形態では、３次元姿勢改善モデルは改善回帰ネットワークを含み得、それは、複数の動き特徴および３次元身体姿勢と連結された姿勢ボリューム表現からの抽出された特徴を、改善回帰ネットワークに供給することであって、ユーザの改善された３次元身体姿勢が改善回帰ネットワークによって出力され得る、供給することをさらに含み得る。

【0021】

いくつかの実施形態では、改善された３次元身体姿勢はリアルタイムで決定され得、それは、ユーザの改善された３次元身体姿勢に基づいて、ユーザのためのアバターを生成することと、アバターをディスプレイに表示することとをさらに含み得る。

【0022】

いくつかの実施形態では、本方法は、ユーザの改善された３次元身体姿勢に基づいて、ステレオ音信号を生成することと、ステレオ音信号に基づくステレオ音響をユーザに対して再生することとをさらに含み得る。

【0023】

本開示の第２の態様によれば、実行されたとき、ユーザによって装着されたヘッドセット上のカメラによって、カメラを装着したユーザの身体部分の少なくとも一部をキャプチャする１つまたは複数の画像をキャプチャすることと、カメラによってキャプチャされた１つまたは複数の画像に基づいて、ユーザの身体の動き履歴を符号化する複数の動き特徴を決定することと、１つまたは複数の画像において、ユーザの身体部分の一部に対応する前景ピクセルを検出することと、前景ピクセルに基づいて、カメラによってキャプチャされたユーザの身体部分の一部を符号化する複数の形状特徴を決定することと、複数の動き特徴および複数の形状特徴に基づいて、ユーザの３次元身体姿勢および３次元頭部姿勢を決定することと、前景ピクセルとユーザの３次元頭部姿勢とに基づいて、姿勢ボリューム表現を生成することと、姿勢ボリューム表現および３次元身体姿勢に基づいて、ユーザの改善された３次元身体姿勢を決定することとを行うように動作可能であるソフトウェアを具現化する、１つまたは複数のコンピュータ可読非一時的記憶媒体が提供される。

【0024】

本開示の第３の態様によれば、命令を具現化する１つまたは複数の非一時的コンピュータ可読記憶媒体と、その記憶媒体に結合された１つまたは複数のプロセッサであって、ユーザによって装着されたヘッドセット上のカメラによって、カメラを装着したユーザの身体部分の少なくとも一部をキャプチャする１つまたは複数の画像をキャプチャすることと、カメラによってキャプチャされた１つまたは複数の画像に基づいて、ユーザの身体の動き履歴を符号化する複数の動き特徴を決定することと、１つまたは複数の画像において、ユーザの身体部分の一部に対応する前景ピクセルを検出することと、前景ピクセルに基づいて、カメラによってキャプチャされたユーザの身体部分の一部を符号化する複数の形状特徴を決定することと、複数の動き特徴および複数の形状特徴に基づいて、ユーザの３次元身体姿勢および３次元頭部姿勢を決定することと、前景ピクセルとユーザの３次元頭部姿勢とに基づいて、姿勢ボリューム表現を生成することと、姿勢ボリューム表現および３次元身体姿勢に基づいて、ユーザの改善された３次元身体姿勢を決定することとを行うために命令を実行するように動作可能な、１つまたは複数のプロセッサとを備える、システムが提供される。

【0025】

本明細書で開示される実施形態は例にすぎず、本開示の範囲はそれらに限定されない。特定の実施形態は、上記で開示された実施形態の構成要素、要素、特徴、機能、動作、またはステップのすべてを含むか、いくつかを含むか、またはいずれをも含まないことがある。本発明による実施形態は、特に、方法、記憶媒体、システムおよびコンピュータプログラム製品を対象とする添付の特許請求の範囲で開示され、１つの請求項カテゴリー、たとえば、方法において述べられた任意の特徴は、別の請求項カテゴリー、たとえば、システムにおいても請求され得る。添付の特許請求の範囲における従属関係または参照は、形式的理由で選定されるにすぎない。ただし、任意の先行請求項に対する意図的な前方参照（特に、マルチ従属関係）の結果としての如何なる主題も、同様に請求可能であるため、請求項およびその特徴の任意の組合せが開示され、添付の特許請求の範囲において選定した従属関係に関わらず請求可能である。請求され得る主題は、添付の特許請求の範囲に記載の特徴の組合せだけでなく、特許請求の範囲における特徴の任意の他の組合せをも含み、特許請求の範囲において述べられた各特徴は、特許請求の範囲における任意の他の特徴または他の特徴の組合せと組み合わせられ得る。さらに、本明細書で説明または示される実施形態および特徴のいずれも、別個の請求項において、ならびに／あるいは、本明細書で説明もしくは示される任意の実施形態もしくは特徴との、または添付の特許請求の範囲の特徴のいずれかとの任意の組合せで請求され得る。

【0026】

本開示の１つまたは複数の態様または実施形態への組込みに好適であるものとして本明細書で説明される任意の特徴は、本開示の任意のおよびすべての態様および実施形態にわたって一般化可能であるものとすることが諒解されよう。本開示の他の態様が、本開示の発明を実施するための形態、特許請求の範囲、および図面に照らして当業者によって理解され得る。上記の概略的な説明および以下の発明を実施するための形態は、例示的および説明的なものにすぎず、特許請求の範囲を限定しない。

【図面の簡単な説明】

【0027】

【図1A】前向きカメラを有する例示的な人工現実システムを示す図である。

【図1B】前向きカメラを有する例示的な拡張現実システムを示す図である。

【図2】人間の視覚範囲に基づくユーザの身体姿勢および頭部姿勢の例示的な推定結果を示す図である。

【図3A】例示的なシステムアーキテクチャを示す図である。

【図3B】改善段階のための例示的なプロセスを示す図である。

【図4】例示的な動き履歴画像および対応する人間の姿勢を示す図である。

【図5】例示的な前景画像および対応する姿勢ボリューム表現を示す図である。

【図6】合成人物モデルに基づいて生成された例示的な訓練サンプルを示す図である。

【図7】グラウンドトゥルースデータおよび動きのみの方法の身体姿勢推定結果と比較した例示的な身体姿勢推定結果を示す図である。

【図8A】推定された自己頭部姿勢およびカメラＳＬＡＭに基づいて、推定された自己姿勢をグローバル座標系において元に戻す例示的な結果を示す図である。

【図8B】推定された自己頭部姿勢およびカメラＳＬＡＭに基づいて、推定された自己姿勢をグローバル座標系において元に戻す例示的な結果を示す図である。

【図9】ユーザによって装着されたカメラによってキャプチャされた画像に基づいてユーザの全身姿勢を決定する例示的な方法を示す図である。

【図10】例示的なコンピュータシステムを示す図である。

【発明を実施するための形態】

【0028】

本明細書で説明される特定の実施形態は、ユーザの３Ｄ身体姿勢および頭部姿勢を推定するために頭部動きデータと可視身体部分画像の両方を使用するシステムおよび方法に関する。本方法は、２つの段階を含み得る。第１の段階では、本システムは、魚眼画像およびユーザの頭部のＩＭＵデータに基づいて、３Ｄ身体姿勢および頭部姿勢の初期推定結果を決定し得る。第２の段階では、本システムは、姿勢ボリューム表現に基づいて第１の段階の推定結果を改善し得る。第１の段階において初期３Ｄ身体姿勢および頭部姿勢を推定するために、本システムは、ＳＬＡＭ（同時位置特定・マッピング）技法を使用して、ユーザの頭部姿勢のための動き履歴画像を生成し得る。動き履歴画像は、経時的なユーザの頭部の（たとえば、３×３行列によって表されるような）回転、並進（ｘ，ｙ，ｚ）、および（たとえば、地面に対する）高さを表すためのベクトルを含む、ユーザの頭部動きデータの２Ｄ表現であり得る。本システムは、動き履歴画像を生成するために、ユーザの頭部の動きのＩＭＵデータとＨＤＭカメラの魚眼画像とをＳＬＡＭモジュールに供給し得る。次いで、本システムは、動き履歴画像を動き特徴ネットワークに供給し得、動き特徴ネットワークは、動き履歴画像から動き特徴ベクトルを抽出するように訓練され得る。同時に、本システムは、魚眼画像を前景形状セグメント化ネットワークに供給し得、前景形状セグメント化ネットワークは、画像の前景および背景をピクセルレベルで分離するように訓練され得る。前景／背景セグメント化結果は、前景画像の形状特徴ベクトルを抽出するように訓練され得る形状特徴抽出ネットワークに供給され得る。次いで、本システムは、ユーザの初期３Ｄ身体姿勢および頭部姿勢を決定するために、融合ネットワークを使用して動き特徴ベクトルと形状特徴ベクトルとを一緒に融合し得る。融合の前に、本システムは、バランサ（たとえば、全結合ネットワーク）を使用して、２つのタイプのベクトルの重みを、それらのベクトル長を制御することによって制御し得る。

【0029】

第１の段階において決定された初期３Ｄ身体姿勢および頭部姿勢を改善するために、本システムは、前景ピクセルを３Ｄ空間（たとえば、２ｍ×２ｍ×２ｍのボリューム）に逆投影して姿勢ボリューム表現（たとえば、４１×４１×４１の３Ｄ行列）を生成し得る。姿勢ボリューム表現は、現在の頭部姿勢および身体形状推定のための３Ｄ身体形状エンベロープを明示的に表し得る。特定の実施形態では、姿勢ボリューム表現は、３Ｄボリューム空間内の１つまたは複数の特徴ベクトルまたは組込みを含み得る。姿勢ボリューム表現は、ニューラルネットワークまたは他の機械学習モデルによって生成され得る。次いで、本システムは、特徴抽出のために姿勢ボリューム表現を３Ｄ ＣＮＮに供給する。抽出された特徴は、平坦化され、（動き履歴画像から抽出された）動き特徴および初期３Ｄ姿勢推定と連結され得、次いで、３Ｄ身体姿勢推定のために全結合改善回帰ネットワークに供給される。改善回帰ネットワークは、融合ネットワークと同様の構造を有し得るが、身体姿勢推定のみを出力し得る。ユーザの身体の３Ｄジオメトリを直接キャプチャする明示的な３Ｄ表現により、本システムは、より正確な身体姿勢推定を達成し得る。訓練プロセスのために、本システムは、合成訓練データを生成し得る。本システムは、最初に、アニメーションを生成するために、骨格を人物メッシュモデルに再ターゲッティングし得る。次いで、本システムは、（たとえば、各人物モデルの２つの目の間に、または目の位置において）１つまたは複数の仮想前向き魚眼カメラを取り付け、アニメーションにおける仮想カメラ姿勢および位置履歴を使用して動き履歴マップを生成し得る。次いで、本システムは、等距離の魚眼モデルを用いてカメラ視界をレンダリングし得る。その結果、本システムは、自己姿勢推定モデルを訓練および検証するための高品質データを提供する。

【0030】

図１Ａは、コントローラ１０６を有する例示的な仮想現実システム１００Ａを示す。特定の実施形態では、仮想現実システム１００Ａは、ヘッドマウントヘッドセット１０４、コントローラ１０６、およびコンピューティングシステム１０８を含み得る。ユーザ１０２は、視覚人工現実コンテンツをユーザ１０２に表示し得るヘッドマウントヘッドセット１０４を装着し得る。ヘッドセット１０４は、オーディオ人工現実コンテンツをユーザ１０２に提供し得るオーディオ機器を含み得る。特定の実施形態では、ヘッドセット１０４は、環境の画像およびビデオをキャプチャすることができる１つまたは複数のカメラを含み得る。たとえば、ヘッドセット１０４は、ユーザ１０２の前方の画像をキャプチャするための前向きカメラ１０５Ａおよび１０５Ｂを含み得、ユーザの身体の画像をキャプチャするための１つまたは複数の下向きカメラ（図示せず）を含み得る。ヘッドセット１０４は、ユーザ１０２の輻輳距離を決定する視線追跡システムを含んでいてもよい。ヘッドセット１０４は、ヘッドマウントディスプレイ（ＨＭＤ）と呼ばれることがある。コントローラ１０６は、トラックパッドおよび１つまたは複数のボタンを含み得る。コントローラ１０６は、ユーザ１０２からの入力を受け、この入力をコンピューティングシステム１０８に伝えるようにしてもよい。また、コントローラ１０６は、触覚フィードバックをユーザ１０２に提供するようにしてもよい。コンピューティングシステム１０８は、ケーブルまたはワイヤレス通信接続によって、ヘッドセット１０４およびコントローラ１０６に接続され得る。コンピューティングシステム１０８は、ヘッドセット１０４およびコントローラ１０６を制御して人工現実コンテンツをユーザ１０２に提供することができ、ユーザ１０２からの入力を受けることができる。コンピューティングシステム１０８は、スタンドアロンホストコンピュータシステムであってもよいし、ヘッドセット１０４と一体化されたオンボードコンピュータシステムであってもよいし、モバイルデバイスであってもよいし、人工現実コンテンツをユーザ１０２に与えるとともに、ユーザ１０２からの入力を受けることが可能なその他任意のハードウェアプラットフォームであってもよい。

【0031】

図１Ｂは、例示的な拡張現実システム１００Ｂを示す。拡張現実システム１００Ｂは、フレーム１１２、１つまたは複数のディスプレイ１１４Ａおよび１１４Ｂ、ならびにコンピューティングシステム１２０などを備えるヘッドマウントディスプレイ（ＨＭＤ）１１０（たとえば、ＡＲ眼鏡）を含み得る。ディスプレイ１１４は透明または半透明であってもよく、ＨＭＤ１１０を装着したユーザが、ディスプレイ１１４Ａおよび１１４Ｂを通して現実世界を見ることを可能にすると同時に、視覚人工現実コンテンツをユーザに表示し得る。ＨＭＤ１１０は、オーディオ人工現実コンテンツをユーザに提供し得るオーディオ機器を含んでいてもよい。特定の実施形態では、ＨＭＤ１１０は、周囲環境の画像およびビデオをキャプチャすることができる１つまたは複数のカメラ（たとえば、１１７Ａおよび１１７Ｂ）を含み得る。ＨＭＤ１１０は、当該ＨＭＤ１１０を装着したユーザの輻輳運動を追跡する視線追跡システムを含んでいてもよい。拡張現実システム１００Ｂは、トラックパッドおよび１つまたは複数のボタンを有するコントローラ（図示せず）をさらに含み得る。コントローラは、ユーザからの入力を受け、この入力をコンピューティングシステム１２０に伝えるようにしてもよい。コントローラは、触覚フィードバックをユーザに提供し得る。コンピューティングシステム１２０は、ケーブルまたはワイヤレス接続によって、ＨＭＤ１１０およびコントローラに接続されていてもよい。コンピューティングシステム１２０は、ＨＭＤ１１０およびコントローラを制御して拡張現実コンテンツをユーザに提供し、ユーザからの入力を受けることができる。コンピューティングシステム１２０は、スタンドアロンホストコンピュータシステムであってもよいし、ＨＭＤ１１０と一体化されたオンボードコンピュータシステムであってもよいし、モバイルデバイスであってもよいし、人工現実コンテンツをユーザに与えるとともに、ユーザからの入力を受けることが可能なその他任意のハードウェアプラットフォームであってもよい。

【0032】

現在のＡＲ／ＶＲシステムは、ユーザの身体姿勢を決定するために磁気センサーおよび慣性センサーなどの非光学センサーを使用し得る。しかしながら、これらのセンサーは、ユーザの身体に取り付けられる必要があり得、ユーザが装着するには、煩わしく不便であり得る。あるいは、既存のシステムは、装着者の身体姿勢を推定するために、ヘッドマウントトップダウンカメラを使用し得る。しかしながら、そのようなトップダウンカメラは、突出しており、カメラを装着したユーザにとって不便であり得る。

【0033】

これらの問題を解決するために、少なくとも部分的に、本システムの特定の実施形態は、より自然な人間の視覚範囲を使用してユーザの身体姿勢を推定し得る。カメラ装着者は周辺視界において見られてもよく、頭部姿勢に応じて、装着者は、見えなくなる場合があるか、または限定された部分的な視界を有する。これは、前向きカメラを有するＡＲ／ＶＲ眼鏡のようなユーザセントリックウェアラブルデバイスの現実的な視野であり得る。本システムは、カメラＳＬＡＭからの動的特徴と身体形状画像の両方を利用する深層学習システムを使用して、姿勢属性にわたって、ある幾何学的一貫性を明示的に施行しながら、３Ｄ頭部姿勢、３Ｄ身体姿勢、図／地分離をすべて同時に計算し得る。たとえば、本システムは、頭部動きデータと可視身体部分画像の両方を使用して、ユーザの３Ｄ身体姿勢および頭部姿勢を推定し得る。本方法は、２つの段階を含み得る。第１の段階において、本システムは、魚眼画像およびユーザの頭部の慣性測定ユニット（ＩＭＵ）データに基づいて、３Ｄ身体姿勢および頭部姿勢の初期推定結果を決定し得る。第２の状態において、本システムは、姿勢ボリューム表現に基づいて第１の段階の推定結果を改善し得る。

【0034】

第１の段階において初期３Ｄ身体姿勢および頭部姿勢を推定するために、本システムは、ＳＬＡＭ（同時位置特定・マッピング）技法を使用して、ユーザの頭部姿勢のための動き履歴画像を生成し得る。本システムは、動き履歴画像を生成するために、ユーザの頭部の動きのＩＭＵデータとＨＤＭカメラの魚眼画像とをＳＬＡＭモジュールに供給し得る。次いで、本システムは、動き履歴画像を動き特徴ネットワークに供給し得、動き特徴ネットワークは、動き履歴画像から動き特徴ベクトルを抽出するように訓練される。同時に、本システムは、魚眼画像を前景形状セグメント化ネットワークに供給し得、前景形状セグメント化ネットワークは、画像の前景および背景をピクセルレベルで分離するように訓練された。前景／背景セグメント化結果は、前景画像の形状特徴ベクトルを抽出するように訓練された形状特徴抽出ネットワークに供給され得る。次いで、本システムは、ユーザの初期３Ｄ身体姿勢および頭部姿勢を決定するために、融合ネットワークを使用して動き特徴ベクトルと形状特徴ベクトルとを一緒に融合し得る。融合の前に、本システムは、バランサ（たとえば、全結合ネットワーク）を使用して、２つのタイプのベクトルの重みを、それらのベクトル長を制御することによって制御し得る。第１の段階において決定された初期３Ｄ身体姿勢および頭部姿勢を改善するために、本システムは、前景ピクセルを３Ｄ空間（たとえば、２ｍ×２ｍ×２ｍのボリューム）に逆投影して姿勢ボリューム表現（たとえば、４１×４１×４１の３Ｄ行列）を生成し得る。姿勢ボリューム表現は、現在の頭部姿勢および身体形状推定のための３Ｄ身体形状エンベロープを明示的に表し得る。次いで、本システムは、特徴抽出のために姿勢ボリューム表現を３Ｄ ＣＮＮに供給し得る。抽出された特徴は、平坦化され、（動き履歴画像から抽出された）動き特徴および初期３Ｄ姿勢推定と連結され得、次いで、３Ｄ身体姿勢推定のために全結合改善回帰ネットワークに供給され得る。改善回帰ネットワークは、融合ネットワークと同様の構造を有するが、身体姿勢推定のみを出力し得る。ユーザの身体の３Ｄジオメトリを直接キャプチャする明示的な３Ｄ表現により、本システムは、より正確な身体姿勢推定を達成し得る。

【0035】

特定の実施形態では、ＡＶ／ＶＲシステムは、人間の目と同様の視野を有する、装着者の顔に近いカメラを有し得る。大部分で、カメラは、周辺視界においてのみ、ウェアの手および身体のいくつかの他の部分を見ることができる。時間のかなりの部分で、カメラは、（たとえば、装着者が上を見ているとき）装着者をまったく見ない場合がある。特定の実施形態では、本システムは、装着者がカメラのＦＯＶに可視であるかどうかにかかわらず、カメラ動きデータと可視身体部分の両方を使用してユーザの身体姿勢のロバストな推定を決定し得る。本システムは、ユーザの身体姿勢を推定するために、カメラＳＬＡＭから取得された動的動き情報と、時々可視の身体部分の両方を使用し得る。ユーザの身体姿勢を予測することに加えて、本システムは、エゴセントリックな視界におけるユーザの３Ｄ頭部姿勢および図と地のセグメント化を計算し得る。頭部および身体姿勢のこの共同推定のために、本システムは、推論中に幾何学的一貫性を保つことができ、これは、結果をさらに改良し、システムが、カメラＳＬＡＭ情報を用いてユーザの全身姿勢をグローバル座標系に再配置することを可能にすることができる。さらに、本システムは、装着者が、カメラの視野内で見えないか、または部分的に可視であることを可能にし得る。深層学習を使用することによって、本システムは、姿勢属性にわたって幾何学的一貫性を保ちながら、ユーザの３Ｄ頭部姿勢、３Ｄ身体姿勢、および図／地分離をすべて同時に計算し得る。特定の実施形態では、本システムは、モデルを訓練するために、ｍｏｃａｐデータを含む既存のデータセットを利用し得る。これらのｍｏｃａｐデータは、身体関節運動のみをキャプチャし得、エゴセントリックビデオを含まない場合がある。本システムは、訓練データを生成するために、仮想視界エゴセントリック画像と、姿勢変更に関連付けられた動的情報とを合成し得る。合成されたデータを訓練のために使用することによって、本システムは、大きな新しいデータセットを収集し、注釈付けすることなく、ロバストに訓練され得る。２段階プロセスを使用することによって、本システムは、高い精度を維持しながら、オンザフライで、リアルタイムでユーザの身体姿勢および頭部姿勢を推定し得る。

【0036】

図２は、人間の視覚範囲に基づくユーザの身体姿勢および頭部姿勢の例示的な推定結果２００を示す。特定の実施形態では、ヘッドマウント前向き魚眼カメラは、装着者をほとんど見ない場合があり、装着者が周辺視界において可視であるとき、可視身体部分は限定され得る。図２において、第１の行は、身体部分セグメント化結果を示す。第２の行は、動き履歴画像を示す。第３の行は、装着者の推定された身体姿勢および頭部姿勢を示す。第４の行は、装着者の身体姿勢および頭部姿勢のグラウンドトゥルースを示す。図２に示すように、本システムは、装着者の身体姿勢および頭部姿勢を効果的かつ正確に決定し得る。特定の実施形態では、各時間インスタンスｔにおける前向きヘッドマウント魚眼カメラのビデオフレームのシーケンス｛Ｉ_ｔ｝が与えられると、本システムは、３Ｄ自己身体姿勢Ｂ_ｔおよび自己頭部姿勢Ｈ_ｔを推定し得る。Ｂ_ｔは、Ｎ×３身体キーポイント行列であり得、Ｈ_ｔは、２×３頭部配向行列であり得る。本開示では、「自己身体姿勢」という用語は、カメラまたはカメラを有するヘッドマウントデバイスの装着者の（身体姿勢および頭部姿勢を含む）全身姿勢を指し得る。自己身体姿勢は、ヒップラインがｘ－ｚ平面に平行になるように水平に回転され、ヒップラインの中心が図１に示すように原点にあり得るローカル座標系において定義され得る。自己頭部姿勢は、２つのベクトル、すなわち、対向する方向ｆ、および頭頂部が向いている方向ｕを含み得る。頭部姿勢と身体姿勢を一緒に推定することにより、カメラＳＬＡＭを使用して身体姿勢をグローバル座標系に変換することが可能になる。本システムは、効率的かつ正確な深層学習モデルを使用することによるリアルタイム自己姿勢推定をターゲッティングし得る。特定の実施形態では、本システムは、約１８０度のＦＯＶを有するヘッドマウント前向き魚眼カメラによって駆動され得る。動機付けされると、人間の視覚範囲と同様に、カメラは、ほとんど装着者の前方のシーンに焦点を合わせてもよく、周辺視界を介して装着者の身体部分の最小限のビジュアルを有し得る。そのような設定では、頭部の動きまたは可視部分画像のみを使用する自己姿勢推定は、信頼できない場合がある。特定の実施形態では、本システムは、これらの情報ストリーム（たとえば、ＩＭＵデータおよび魚眼カメラビデオ）の両方を利用し、組合せについて効率的に最適化し得る。

【0037】

図３Ａは、例示的なシステムアーキテクチャ３００Ａを示す。特定の実施形態では、システムアーキテクチャ３００は、２つの段階、すなわち、初期推定段階３１０および改善段階３２０を含み得る。初期推定段階３１０は、複数の分岐を含み得る。１つの分岐では、グローバル座標系におけるカメラ姿勢および位置を抽出するために、魚眼ビデオ３０２およびオプションのＩＭＵデータ３０１が使用され得る。本システムは、オプションのＩＭＵデータ３０１および魚眼ビデオ３０２をＳＬＡＭモジュール３１１に供給し得、ＳＬＡＭモジュール３１１は、カメラの動きおよび位置を、動き履歴画像３１２として示されるコンパクトな表現に変換し得る。動き履歴画像（たとえば、３１２）は、（たとえば、３×３行列によって表される）頭部の３Ｄ回転、３Ｄ空間内の頭部の並進（たとえば、ｘ，ｙ，ｚ）、および地面に対するユーザの頭部の高さを含む、３Ｄ空間内のユーザの頭部の動きの表現であり得る。特定の実施形態では、動き履歴画像は、所定の持続時間にわたるユーザの頭部の３Ｄ回転、並進、および高さに関係するいくつかのパラメータ（たとえば、１３個のパラメータ）を含むいくつかのベクトルを含み得る。カメラはユーザの頭部に固定されるため、カメラの動きはユーザの頭部の動きに対応し得る。

【0038】

特定の実施形態では、本システムは、動き履歴画像３１２を動き特徴ネットワーク３１３に供給し得、動き特徴ネットワーク３１３は、ユーザの頭部の動きに関係する動的特徴を抽出するように動き履歴画像３１２を処理し得る。別の分岐では、本システムは、魚眼ビデオを前景形状ネットワーク３１７に供給し得、前景形状ネットワーク３１７は、装着者の前景形状を抽出し得る。装着者の前景形状は、（前向きである）魚眼カメラのＦＯＶ内に入るユーザの１つまたは複数の身体部分を含み得る。装着者の前景形状は、前景形状セグメント化ネットワーク３１７によって魚眼ビデオ３０２の画像から（たとえば、ピクセルレベルで）セグメント化された前景画像において表され得る。本システムは、キーポイントに基づく方法とは異なるセグメント化方法を使用して、ユーザの身体形状を追跡し得る。ユーザの身体の大部分はヘッドマウントカメラのＦＯＶ内に入らないため、本システムは、ユーザの身体姿勢を決定するのに十分な数のキーポイントを決定することができない場合がある。セグメント化方法を使用して決定された前景身体形状画像は、ユーザの身体姿勢を決定するために使用され得る空間情報を提供し、従来のキーポイントベースの方法よりも多くの情報を提供し得る。本システムは身体形状を追跡するので、本システムは、利用可能な画像データをより効率的かつ効果的に使用し、たとえば、腕がカメラ画像内で可視であるときに腕の姿勢を提供し得る。

【0039】

次いで、本システムは、抽出された前景画像を、前景画像からユーザの身体形状特徴を抽出するように訓練された形状特徴ネットワーク３１８に送り得る。形状特徴ネットワーク３１８は、前景形状画像から形状特徴を抽出し得る。動き履歴画像３１２から動き特徴ネットワーク３１３によって抽出された動き特徴３３８と、前景形状画像から形状特徴ネットワーク３１８によって抽出された形状特徴とは、融合モジュール３１４に供給され得る。動き特徴３３８は、動き履歴画像から抽出されたユーザの動き履歴に関係する情報を含み得る。本システムは、バランサ３１９を使用して、これらの２つの分岐によって出力された動的動き特徴および形状特徴の重みのバランスをとり、バランスのとれた動き特徴および形状特徴を融合モジュール３１４に供給し得る。本システムは、前景画像から抽出された身体形状特徴を、ユーザの身体姿勢の指標として使用し得る。本システムは、最終結果に対する相対的な重要性に基づいて、動的に、動き特徴および形状特徴の重みのバランスをとる。本システムは、２つのタイプのベクトルの長さを制御することによって、ユーザの身体／頭部の動きに関係するパラメータを含むベクトルとして提示され得る動き特徴と、ユーザの身体形状に関係するパラメータ（たとえば、エンベロープ）を含むベクトルによって表され得る形状特徴との重みのバランスをとり得る。ユーザが移動するとき、動きデータは、身体形状画像よりも利用可能であり得る。しかしながら、形状特徴は、ユーザの上半身姿勢（たとえば、腕の姿勢）を決定するためにより重要であり得る。動きが最小である（たとえば、ユーザがほとんど静止している）とき、形状特徴は、身体姿勢、詳細には上半身姿勢を把握するために重要であり得る。バランサは、現在利用可能なデータに基づいてどの特徴がより重要であるかを決定することができる、訓練されたニューラルネットワークであり得る。ニューラルネットワークは、単純、高速であり、ユーザがＡＲ／ＶＲシステムを使用するときにリアルタイムで稼働するために消費する電力がより少ない場合がある。融合モジュール３１４は、初期身体姿勢３１５および初期頭部姿勢推定３１６を含む自己姿勢推定を出力し得る。

【0040】

図３Ｂは、改善段階３２０のための例示的なプロセス３００Ｂを示す。特定の実施形態では、初期身体／頭部姿勢推定が決定された後に、本システムは、改善段階３２０を使用して、初期推定段階３１０の初期身体／頭部姿勢推定結果を改善し得る。本システムは、３Ｄ姿勢改善モデル３２２を使用して、姿勢ボリューム表現３２１に基づいてユーザの改善された３Ｄ姿勢３２３を決定し得る。本システムは、最初に、（前景ピクセルを含む）セグメント化された前景マスクを３Ｄボリューム空間に逆投影することによって、姿勢ボリュームを決定し得る。本システムは、ニューラルネットワークまたは他の機械学習モデルを使用して、姿勢ボリュームを表す姿勢ボリューム表現を生成し得る。ＳＬＡＭからの直接頭部姿勢は、全身部分に対して相対的でない場合がある。初期推定段階３２０では、ＳＬＡＭに基づいて決定されたユーザの頭部姿勢は、ユーザの身体姿勢に対して局所化される必要があり得る。第１の段階のネットワーク出力は、全身部分に対する頭部姿勢であり得る。本システムは、ローカルシステムにおける推定された頭部姿勢と、ＳＬＡＭによるグローバル頭部姿勢データとを使用して、全身姿勢をグローバルシステムに戻し得る。本システムは、ユーザの身体姿勢３１５と２Ｄ前景セグメント化マスク３３９の初期推定結果とを組み合わせて、姿勢ボリューム表現３２１を生成し得る。本システムは、身体姿勢と頭部姿勢とを互いに一致するように保つ制約を使用して、姿勢ボリューム表現３２１を生成し得る。ボリュームは、キーポイントに基づくものではなく、カメラ配向からのものであり得る。３Ｄ姿勢ボリューム表現を生成するために、本システムは、空間内に光線を投射し得、２Ｄ身体形状を３Ｄ空間に引数。初期段階の最後に、本システムは、頭部姿勢および前景セグメント化に基づいて身体／頭部姿勢の初期推定を有し得る。２Ｄ身体形状を３Ｄ空間に投影することによって、本システムは、身体部分が３Ｄ空間内のどこにあるかを示す３Ｄの大まかな表現を有し得る。姿勢ボリューム表現３２１は、前景画像ピクセルを３Ｄ立方体ボリューム（たとえば、図５の右列に示すように２ｍ×２ｍ×２ｍのボリューム）に逆投影することによって生成され得る。姿勢ボリューム表現３２１は、４１×４１×４１の３Ｄ行列であり得る。姿勢ボリューム表現３２１は、現在の身体／頭部姿勢および身体形状推定のための３Ｄ身体形状エンベロープを明示的に表し得る。次いで、本システムは、特徴抽出のために姿勢ボリューム表現３２１を３Ｄ畳み込みニューラルネットワーク３３１に供給し得る。抽出された特徴は、平坦化され、動き履歴画像から抽出された動き特徴および初期３Ｄ身体姿勢推定３１５と連結され得る。次いで、本システムは、これらの連結された特徴を、３Ｄ身体姿勢推定のために全結合改善回帰ネットワーク３３３に供給し得る。改善回帰ネットワーク３３３は、融合ネットワーク３１４と同様の構造を有し得るが、身体姿勢推定のみを出力し得る。ユーザの身体の３Ｄジオメトリを直接キャプチャする明示的な３Ｄ姿勢ボリューム表現３２１により、本システムは、初期身体姿勢推定結果よりも正確な身体姿勢推定である、改善された３Ｄ身体姿勢３２３を提供し得る。

【0041】

図４は、例示的な動き履歴画像および対応する人間の姿勢を示す。特定の実施形態では、動き履歴画像は、シーン構造に対して不変であり、所定の持続時間にわたって、回転、並進、および高さの発展を特徴付けることができる表現であり得る。いくつかの例示的な動き履歴画像が、図４の第２の行に示されている。各時点ｔにおいて、本システムは、ＳＬＡＭからのカメラ姿勢および位置を使用して、前の時点ｔ－１からの増分カメラ回転Ｒ_ｔおよび並進ｄ_ｔを計算し得る。本システムは、Ｒ_ｔ－Ｉ_３×３を動き表現に組み込むことができ、ここで、Ｉは単位行列である。本システムは、並進ｄ_ｔを、装着者が対向する配向に対してそれが不変であるように、各時点ｔにおいてカメラローカルシステムに変換し得る。未知のスケーリング係数を除去するために、本システムは、未知のスケーリング係数を装着者の高さ推定値でさらにスケーリングし得る。変換され、正規化されたｄ_ｔは、

と表され得る。ＳＬＡＭに基づいて、本システムは、装着者が立ち、次いでしゃがむ較正手順を使用し得、この手順は、人物の高さおよび地面の大まかな位置を抽出するために使用され得る。

【0042】

特定の実施形態では、Ｒ_ｔおよびｄ_ｔは、静的な立位姿勢と座位姿勢とを区別するのに十分でない場合がある。シーンコンテキスト画像は有用であり得るが、人の高さの大きな変動に敏感であり得る。たとえば、子供の立位の視点は、大人の座位の視点と同様であり得る。この問題を解決するために、本システムは、動き表現において人物の立位姿勢（たとえば、ｇ_ｔによって表される）に対するカメラの高さを使用し得る。本システムは、運動特徴Ｒ、ｄ、およびｇを経時的に集約して、動き履歴画像を構築し得る。本システムは、平坦化されたＲ_ｔ－Ｉ_３×３、スケーリングされた遷移ベクトル

、およびスケーリングされた相対高さｃ（ｇ_ｔ－ｍ）を連結し得、ここで、ａ＝１５、ｍ＝０．５、およびｃ＝０．３である。図４は、対応する人間の姿勢とともに、動き履歴画像の例を示す。動き履歴画像は、周期的運動または／および非周期的運動の両方における姿勢変化のダイナミクスをキャプチャし得る。本システムは、動き履歴画像から特徴を抽出するために、ディープネットワーク、たとえば、動き特徴ネットワークを使用し得る。特定の実施形態では、動き履歴画像は、各々が所定の時間期間にわたって１３個のパラメータ値を含むいくつかのベクトルを含み得る。パラメータは、経時的なユーザの頭部の（たとえば、３×３行列によって表されるような）３Ｄ回転、３Ｄ並進（ｘ，ｙ，ｚ）、および（たとえば、地面に対する）高さに対応し得る。特定の実施形態では、動き特徴ネットワークは、入出力チャネル、カーネルサイズ、ストライド、およびパディングのための畳み込み層についてのパラメータを有し得る。最大プーリング層では、パラメータは、カーネルサイズ、ストライドおよびパディングであり得る。図４の動き履歴画像は、頭部データのみから抽出され得る。各動き履歴画像は、ＸＹＺ ３Ｄ空間内の面によって表され得る。面の各位置は、特定のパラメータの値（たとえば、ユーザの頭部の高さ、頭部の回転、頭部の並進）を有し得る。Ｙ次元は異なるパラメータ（たとえば、１３個のパラメータ）についてのものであり得、Ｘ次元は時間に対応し得る。

【0043】

時間の大部分において、本システムが光学的動きフロー方法を使用する場合、シーン構造は、動き特徴の結果に影響を及ぼし得る。光学的動きフロー方法を使用する代わりに、本システムは、ＳＬＡＭを使用してユーザの動きを決定し得、これは、光学的動きフロー方法よりもロバストである。その結果、本システムは、シーン内の環境変化にかかわらず、同じ動きについて同じ動き特徴を提供し得る。ＳＬＡＭは、ユーザの頭部姿勢を決定し、同時に３Ｄシーンを抽出することができる。本システムは、カメラ姿勢の回転および並進に基づいてユーザの頭部の動きを決定し得る。本システムは、ユーザの頭部の動きを、ユーザの身体姿勢および動きを決定するための手がかりとして使用し得る。しかしながら、異なる身体姿勢が、同様の頭部姿勢または動きに関連付けられ得る。したがって、本システムは、地面レベルに対するカメラの高さ情報をさらに使用して、ユーザの身体姿勢を決定し得る。本開示の後のセクションにおいて説明されるように、本システムは、ＩＭＵデータと、人間と同様の視覚空間である１８０度のＦＯＶを有する前向きカメラによってキャプチャされた画像とに基づいて、ユーザの身体姿勢および頭部姿勢を同時に決定し得る。本システムは、ユーザの身体／頭部姿勢を、ユーザの身体姿勢と頭部姿勢とを互いに一致するように保つ制約の下で決定し得る。

【0044】

特定の実施形態では、本システムは、頭部動きデータを使用することに加えて、装着者の前景形状を使用して、ユーザの身体姿勢を推定し得る。装着者の前景形状は、自己頭部姿勢および自己身体姿勢と厳密に結合され得、特に、上半身姿勢を明確にするのに有用であり得る。その目的のために、本システムは、身体形状を抽出するために既存のキーポイント抽出方式とは異なる効率的な方法を使用し得る。前景身体形状は、この問題を解決するためのより好適な表現であり得る。人間の視覚範囲内では、装着者の身体は、カメラのＦＯＶ内でほとんど可視でないことが多い場合があり、可視キーポイントが非常に少ない場合がある。したがって、キーポイント推定は、全体的な形状抽出よりも困難であり得る。そのような設定では、前景身体形状は、切り離されたキーポイントよりも多くの、可能な身体姿勢に関する情報を含み得る。たとえば、２つの手および腕の一部分のみが可視である場合、キーポイントは手のロケーションのみを与えることができ、前景身体形状はまた、腕が空間内にどのように配置されるかを示し得る。前景形状は、より効率的に計算され得、したがって、リアルタイムアプリケーションにより好適である場合がある。

【0045】

特定の実施形態では、形状ネットワークは、完全に畳み込みであり得、したがって、空間不変推定を生成するために、魚眼ビデオを入力として直接使用し得る。限定としてではなく一例として、形状ネットワークは、双線形アップサンプリング層を含み得る。目標解像度は、２５６×２５６であり得る。ネットワーク層は、チャネル次元に沿って異なるスケールからの特徴を連結し得る。装着者の前景は、ほとんど画像の下部分に集中している場合があり、腕は特定の領域において現れることが多いので、セグメント化ネットワークは空間的に可変であり得る。この目的のために、本システムは、２つの空間グリッド、すなわち、正規化されたｘおよびｙ座標マップを収縮し、それらを深度次元に沿って入力画像と連結して、２５６×２５６×５のテンソルを生成し得る。これらの追加の空間マップは、訓練および推論中に、カメラＦＯＶ内の人物前景セグメント化の構造およびロケーションの空間事前分布をネットワークに組み込むのを助けることができる。空間マップは、誤警報を低減するだけでなく、前景における欠落した検出を補正するためにも使用され得る。特定の実施形態では、前景確率マップの閾値は、最終の前景形状表現を取得するために０．５であり得る。次いで、前景形状は、特徴抽出のために、小さな畳み込みニューラルネットワークに渡され得る。

【0046】

特定の実施形態では、本システムは、（１）動き特徴ネットワークによって動き履歴画像から抽出された動的特徴（たとえば、動き特徴）と、（２）形状特徴ネットワークによって抽出された形状特徴とを融合して、ロバストな自己姿勢推定を決定し得る。特定の実施形態では、本システムは、それらを直接連結し、回帰ネットワークを介して連結を処理し得る。特定の実施形態では、本システムは、連結を実施する前に形状特徴の次元を低減するために、全結合ネットワーク（たとえば、図３のバランサ３１９）を使用して２つの特徴セットのバランスをとり得る。バランサは、暗黙的に、特徴セット間の重みのバランスをとり得る。特定の実施形態では、形状特徴は低次元（たとえば、１６次元）であり得、運動特徴は長い（たとえば、５１２次元）場合があり得る。より短い入力では、本システムは、それに接続されている全結合層内のニューロンがより少ないことを必要とし得、したがって、出力についてより少ない議決権を有し得る。この方式はまた、ノイズの多い形状観察を平滑化する効果を有し得る。これらの調整が行われると、バランスのとれた形状特徴を有する連結された動き特徴は、姿勢ベクトルおよび２つの頭部配向ベクトルを推論するために、３つの全結合ネットワークに供給され得る。

【0047】

図５は、例示的な前景画像（たとえば、５１０、５３０）および対応する姿勢ボリューム表現（たとえば、５２１Ａ～Ｂ、５４１Ａ～Ｂ）を示す。特定の実施形態では、本システムは、初期推定結果を改善し、改善された全身３Ｄ姿勢を決定するために、３Ｄ手法を使用し得る。３Ｄ手法は、姿勢ボリューム表現に基づき得る。自己姿勢の推定が与えられると、本システムは、初期姿勢推定結果から頭部姿勢推定を固定し、全身３Ｄ姿勢を再推定することによって、それを改善し得る。頭部／カメラ姿勢および第１の段階からの前景形状推定を使用して、本システムは、図５に示すように、所定のサイズ（たとえば、２ｍ×２ｍ×２ｍのボリューム）を有する立方体ボリューム空間において前景ピクセルを逆投影することによって、３Ｄボリュームを構築し得る。ボリュームは、４１×４１×４１のサイズの３Ｄ行列に離散化され得る。本システムは、ボクセルが装着者の前景に投影する場合は値１を割り当て、そうでない場合は０を割り当て得る。ボリュームは、現在の頭部姿勢および身体形状推定に対応する３Ｄ身体形状エンベロープを明示的に表し得る。次いで、本システムは、特徴抽出のために３Ｄ姿勢ボリューム表現を３Ｄ ＣＮＮに渡し得る。得られた特徴は、平坦化され、動き特徴、初期３Ｄ姿勢推定と連結され得、次いで、３Ｄ姿勢推定のために全結合ネットワークに供給され得る。改善回帰ネットワークは、入力が初期３Ｄキーポイント推定をも含み得、出力が身体姿勢推定のみであり得る融合ネットワークと同様の構造を有し得る。本システムは、ボリュームにおいて、改善された３Ｄ姿勢をオーバーレイし得る。３Ｄジオメトリを直接キャプチャする明示的な３Ｄ表現により、本システムは、より正確な身体姿勢推定を提供し得る。一例として、前景マスクを有する前景画像５１０は、装着者の右手および腕５１１と、左手５１２とを含み得る。本システムは、抽出された情報を３Ｄ立方体ボリュームに逆投影し得る。再構築された姿勢ボリューム（たとえば、５２１Ａおよび５２１Ｂ）は、姿勢ボリューム表現５２０の立方体ボリューム空間内の影エリアによって表され得る。改善された姿勢推定５２２は、点のセットによって表され得る。別の例として、前景マスクを有する前景画像５３０は、装着者の右手５３２と、左手５３１とを含み得る。本システムは、抽出された情報を３Ｄ立方体ボリュームに逆投影し得る。再構築姿勢ボリューム（たとえば、５４１Ａおよび５４１Ｂ）は、姿勢ボリューム表現５４０内の影エリアによって表され得る。改善された姿勢推定５４１は、より黒っぽい点のセットによって表され得る。

【0048】

特定の実施形態では、本システムは、最初に、初期推定段階のためのモデルを訓練し得る。および、訓練データ結果に関する推定に応じて、本システムは、その後、改善の第２の段階のためにモデルを訓練し得る。特定の実施形態では、本システムは、Ｌ１ノルムを使用して、身体キーポイントおよび頭部配向推定における誤差を定量化し得る。
Ｌ_ｄ＝｜ｂ－ｂ_ｇ｜＋｜ｈ－ｈ_ｇ｜ （１）
ここで、ｂおよびｂ_ｇは、平坦化された身体キーポイント３Ｄ座標およびそれらのグラウンドトゥルースであり、ｈは頭部配向ベクトル（ベクトルｆとｕの連結）であり、ｈ_ｇはその対応するグラウンドトゥルースである。一般化を改良するために、本システムは、回帰結果の構造を制約するいくつかの正則化項をさらに含み得る。２つの頭部配向ベクトルは正規直交である。本システムは、Ｌ_０を最小化するために以下の損失関数を使用し得る。
Ｌ_０＝｜ｆ・ｕ｜＋｜｜ｆ｜^２－１｜＋｜｜ｕ｜^２－１｜ （２）
ここで、・は２つのベクトルの内積であり、｜・｜はＬ２ノルムである。人間の身体は対称であり、２つの辺は本質的に等しい長さを有するので、本システムは、身体長対称性制約を施行し得る。ｌ^（ｉ）およびｌ^（ｊ）を一対の対称骨長とし、対称骨のセットがＰである。本システムは、Ｌ_Ｓを最小化するために以下の式を使用し得る。
Ｌ_Ｓ＝Σ_{（ｉ，ｊ）∈Ｐ}｜ｌ^ｉ－ｌ^ｊ｜ （３）
本システムはまた、頭部姿勢、身体姿勢および身体形状マップの一貫性を施行し得る。頭部姿勢から、本システムは、カメラローカル座標系を計算し得る。等距離魚眼カメラモデルでは、（ｘ_ｋ，ｙ_ｋ），ｋ＝１．．．Ｋを、３Ｄ身体キーポイントの２Ｄ投影とする。本システムは、Ｌ_Ｃを最小化するために以下の式を使用し得る。

ここで、Ｄは二値身体形状マップの距離変換であり、ｑは切り捨て閾値（たとえば、２０ピクセル）である。α、βを０．０１に設定し、γを０．００１に設定すると、最終損失関数は以下のようになり得る。
Ｌ＝Ｌ_ｄ＋αＬ_ｏ＋βＬ_Ｓ＋γＬ_Ｃ （５）
改善段階では、頭部ベクトル関連項が損失から除去され得ることは、注目に値する。特定の実施形態では、本システムは、カメラ視界を推定するために３Ｄ姿勢を逆投影し得、これは前景推定に適合するべきである。たとえば、ユーザの手が画像内で可視である場合、本システムがこれらのピクセルをカメラ視界に投影するとき、投影は、画像上および領域内であるべきである。

【0049】

図６は、合成人物モデルに基づいて生成された例示的な訓練サンプルを示す。特定の実施形態では、本システムは、合計２５３８のＣＭＵ ｍｏｃａｐシーケンスおよびブレンダを使用して合成訓練データを生成し得るが、これは、同期されたヘッドマウントカメラビデオの大きなセットと、対応する「一致した」身体ｍｏｃａｐデータとをキャプチャすることが困難であり得るためである。特定の実施形態では、シーケンスは数百の異なる対象を含み得、全長は約１０時間であり得る。各ｍｏｃａｐシーケンスについて、本システムは、合成データを生成するために１９０個の異なるメッシュモデルから人物メッシュをランダムに選定し得る。限定としてではなく一例として、図６の第１の行は、合成人物モデルの例を示す。図６の第２の行は、合成人物モデルに基づいて生成された例示的な訓練サンプルを示す。モデルは、人間のモデルに基づいて生成された合成メッシュ（たとえば、６０５、６０６、６０７、６０８、６０９）によって表され得る。本システムは、合成モデルの頭部に仮想カメラを取り付け得、カメラＦＯＶのためのローカル座標系（たとえば、Ｘ方向６０１、Ｙ方向６０２、およびＺ方向６０３）を定義し得る。次いで、本システムは、合成モデル（たとえば、６０５、６０６、６０７、６０８、６０９）の身体姿勢を変更し、仮想カメラを使用して装着者の身体部分（たとえば、腕、手または／および足）をキャプチャし、身体姿勢推定モデルを訓練するために使用され得る訓練サンプルを生成し得る。モデルの各身体姿勢は、図６の点によって表されるような、いくつかのキーポイント（たとえば、６０４）に関連付けられ得る。特定の身体姿勢に関連付けられたキーポイントは、その身体姿勢を正確に記述し、表すために使用され得る。訓練サンプルを生成するために使用される身体姿勢は、訓練プロセスのためのグラウンドトゥルースとして使用され得る。合成モデルの身体姿勢に応じて、仮想カメラによってキャプチャされた画像は、異なる身体部分を含み得る。たとえば、キャプチャされた画像は、装着者の手と足（たとえば、６１０、６２０、６３０、６４０、６５２）または腕と手（たとえば、６５３）を含み得る。本システムは、訓練中に、レンダリングされた人物画像のアルファチャネル内の前景画像を使用し得る。

【0050】

特定の実施形態では、本システムは、複数のステップを含む合成プロセスを使用して訓練データサンプルを生成し得る。本システムは、最初に、アニメーションを生成するために、ｍｏｃａｐデータにおける骨格を人物メッシュモデルに再ターゲッティングし得る。本システムは、各人物モデルの２つの目の間に、仮想前向き魚眼カメラをしっかりと取り付けることができる。本システムは、アニメーションにおける仮想カメラ姿勢および位置履歴を使用して、動き履歴マップを計算し得る。このカメラセットアップを使用して、本システムは、等距離の魚眼モデルを用いてカメラ視界をレンダリングし得る。レンダリングされた画像のアルファチャネルは、人物の前景マスクを与え得る。この設定では、カメラの－Ｚ軸およびＹ軸が２つの頭部配向ベクトルと整合されることは、注目に値する。全体として、これは、訓練をブーストし、ならびに、提案された自己姿勢深層モデルを検証するための、高品質データを提供し得る。最後に、この合成データはシーンおよび装着者の外観に対して不変であるので、本システムは、このデータを使用して高品質データを生成し、一般化可能なモデルを訓練し得る。

【0051】

図７は、グラウンドトゥルースデータおよび動きのみの方法の身体姿勢推定結果と比較した例示的な身体姿勢推定結果７００を示す。特定の実施形態では、本システムは、身体および頭部姿勢推定誤差を使用して、自己姿勢推定精度を定量化し得る。身体姿勢推定誤差は、正規化された座標系における推定された３Ｄキーポイントとグラウンドトゥルースキーポイントとの間の平均ユークリッド距離であり得る。訓練および試験中に、グラウンドトゥルース３Ｄ身体姿勢は、約１７０センチメートルの身長を有するように正規化され得る。頭部姿勢推定誤差は、２つの推定された頭部配向とグラウンドトゥルース方向との間の角度によって定量化され得る。特定の実施形態では、本システムは、たとえば、ｘｒ－ｅｇｏｐｏｓｅ方法、ｄｐ－ｅｇｏｐｏｓｅ方法、動きのみの方法、形状のみの方法、段階１のみの方法、高さなしの方法、段階１－ＲＮＮ方法、ハンドマップ法などを含む他の方法よりも正確な姿勢推定を提供し得る。たとえば、図７の第１の行は、本開示で説明される方法およびプロセスを試験するために使用されるグラウンドトゥルース身体姿勢のグループを示す。図７の第２の行は、身体姿勢推定結果を示す。図７の第３の行は、動きのみの方法の身体姿勢推定結果を示す。図７に示すように、第２の行に示されている身体姿勢は、動きのみの方法による身体姿勢推定結果よりも、第１の行に示されているグラウンドトゥルース身体姿勢に近い。本開示で説明される方法およびプロセスは、動きのみの方法よりも正確な身体姿勢推定結果を提供し得る。

【0052】

図８Ａ～図８Ｂは、推定された自己頭部姿勢およびカメラＳＬＡＭに基づいて、推定された自己姿勢をグローバル座標系において元に戻す例示的な結果８００Ａおよび８００Ｂを示す。図８Ａの例示的な結果は、元のフレームレートの０．２５倍である。図８Ｂの例示的な結果は、元のフレームレートの０．０６２５倍である。特定の実施形態では、２段階深層学習方法は、新しい動き履歴画像特徴および身体形状特徴を利用し得る。本システムは、幾何学的制約を明示的に施行しながら、頭部姿勢と身体姿勢の両方を同時に推定し得る。本システムは、合成データソースを使用しながら、より良好な性能を提供し、カメラ設定の変動に対してよりロバストであり、それにより、大きな新しいデータセットを再収集することを回避し得る。本システムは、リアルタイムで動作し、ＡＲおよびＶＲにおけるエゴセントリック体験およびアプリケーションのためのリアルタイム身体姿勢推定を提供し得る。

【0053】

特定の実施形態では、本システムは、ユーザが（たとえば、ＶＲ／ＡＲヘッドセット上の）カメラを装着している間に、リアルタイムで、ユーザの初期身体／頭部姿勢およびユーザの改善された身体／頭部姿勢を決定し得る。一例として、ユーザは、遠隔会議のためにＡＲ／ＶＲヘッドセットを使用し得る。本システムは、本システムによって決定されたユーザのリアルタイムの身体／頭部姿勢に基づいて、ユーザのためのアバターを生成し得る。本システムは、そのアバターを、カメラを装着したユーザと通信する他のユーザに表示し得る。その結果、互いにリモートで通信するユーザは、互いのリアルタイムの身体姿勢を見ることができる。別の例として、ＡＲ／ＶＲゲームをプレイするユーザは、異なる身体姿勢または頭部姿勢を使用してゲームシーンと対話し得る。本システムは、ユーザの身体に取り付けられた外部センサーを使用せずに、ＡＲ／ＶＲヘッドセット上の前向きカメラを使用して、ユーザの身体／頭部姿勢を決定し得る。ユーザは、異なる身体／頭部姿勢および動きを使用して、仮想環境内のゲームシーンと対話し得る。

【0054】

別の例として、本システムは、リアルタイムで決定されたユーザの身体／頭部姿勢を使用して、仮想環境内のユーザに現実的な音効果を合成し得る。本システムは、ユーザを３Ｄ仮想環境内に配置し得る。本システムは、仮想環境内の音源に対するユーザの身体／頭部姿勢に基づいて、現実的な音効果を合成し得る。ユーザが自分の身体または／および頭部を動かすと、本システムは、ユーザのリアルタイムの身体／頭部姿勢に基づいて、ユーザに音を再合成し得る。同時に、本システムは、ユーザのための現実的なＡＲ／ＶＲ体験を容易にするために、ユーザのリアルタイムの身体／頭部姿勢を使用して仮想環境内のアバターを制御し得る。

【0055】

特定の実施形態では、本開示で説明される方法、プロセス、およびシステムは、ＡＲシステムまたはＶＲシステムに適用され得る。限定としてではなく一例として、ＶＲヘッドセットは、その上に取り付けられた１つまたは複数のカメラを有し得る。カメラは、ＶＲヘッドセットのサイズのために、使用面から突き出ている場合がある。ＶＲヘッドセット上に取り付けられたいくつかのカメラは、視野がユーザの前方の領域をカバーして、前方を向くことができる。ＶＲヘッドセット上に取り付けられたいくつかのカメラは、視野がユーザの身体の前側をカバーして、下方を向くことができる。ＶＲヘッドセットの前向きカメラまたは／および下向きカメラは、ユーザの身体の一部（たとえば、腕、手、足、脚、体幹など）をキャプチャし得る。ＶＲヘッドセット上に取り付けられたカメラによってキャプチャされた画像は、ユーザの顔までのカメラの距離、カメラの対向する方向、およびカメラの視野に依存し得る。特定の実施形態では、本開示で説明される方法、プロセス、およびシステムは、特に、ＡＲヘッドセットのカメラよりもユーザの顔から遠い位置に取り付けられたカメラを有するＶＲヘッドセットのために構成され得る。たとえば、本システムにおいて使用される機械学習モデル（たとえば、ＣＮＮネットワーク）は、ユーザの顔までの所定の閾値距離よりも大きい距離でヘッドセット上に取り付けられたカメラによってキャプチャされたサンプル画像を使用して訓練され得る。

【0056】

限定としてではなく別の例として、ＡＲヘッドセットは、その上に取り付けられた１つまたは複数のカメラを有し得る。ＡＲヘッドセット上に取り付けられたカメラは、ＡＲヘッドセットのサイズのために、ユーザの顔により近くなり得る（たとえば、ＡＲヘッドセットはＶＲヘッドセットよりも薄い場合がある）。ＡＲヘッドセット上に取り付けられたいくつかのカメラは、視野がユーザの前方の領域をカバーして、前方を向くことができる。ＡＲヘッドセット上に取り付けられたいくつかのカメラは、視野がユーザの身体の前側をカバーして、下方を向くことができる。ＡＲヘッドセットの前向きカメラまたは／および下向きカメラは、ユーザの身体の一部（たとえば、腕、手、足、脚、体幹など）をキャプチャし得る。ＡＲヘッドセット上に取り付けられたカメラによってキャプチャされた画像は、ユーザの顔までのカメラの距離、カメラの対向する方向、およびカメラの視野に依存し得る。特定の実施形態では、本開示で説明される方法、プロセス、およびシステムは、特に、ＡＲヘッドセットよりもユーザの顔に近い位置に取り付けられたカメラを有するＡＲヘッドセットのために構成され得る。たとえば、本システムにおいて使用される機械学習モデル（たとえば、ＣＮＮネットワーク）は、ユーザの顔までの所定の閾値距離よりも小さい距離でヘッドセット上に取り付けられたカメラによってキャプチャされたサンプル画像を使用して訓練され得る。ＶＲヘッドセット上に取り付けられたカメラと比較して、ＡＲヘッドセット上に取り付けられたカメラは、ユーザの顔に比較的近い位置に取り付けられる（したがって、ユーザの身体の前方にある、手、腕、足、脚などのユーザの身体部分に対して相対的に後方にある）ため、ユーザ身体のより大きな部分をキャプチャし得る。

【0057】

図９は、ユーザによって装着されたカメラによってキャプチャされた画像に基づいてユーザの全身姿勢を決定する例示的な方法９００を示す。本方法は、ステップ９１０において開始し得、コンピューティングシステムが、ユーザによって装着されたヘッドセット上のカメラによって、カメラを装着したユーザの身体部分の少なくとも一部をキャプチャする１つまたは複数の画像をキャプチャし得る。ステップ９２０において、システムは、カメラによってキャプチャされた１つまたは複数の画像に基づいて、ユーザの身体の動き履歴を符号化するいくつかの動き特徴を決定し得る。ステップ９３０において、システムは、１つまたは複数の画像において、ユーザの身体部分の一部に対応する前景ピクセルを検出し得る。ステップ９４０において、システムは、前景ピクセルに基づいて、カメラによってキャプチャされたユーザの身体部分の一部を符号化するいくつかの形状特徴を決定し得る。ステップ９５０において、システムは、動き特徴および形状特徴に基づいて、ユーザの３次元身体姿勢および３次元頭部姿勢を決定し得る。ステップ９６０において、システムは、前景ピクセルとユーザの３次元頭部姿勢とに基づいて、姿勢ボリューム表現を生成し得る。ステップ９７０において、システムは、姿勢ボリューム表現および３次元身体姿勢に基づいて、ユーザの改善された３次元身体姿勢を決定し得る。

【0058】

特定の実施形態では、ユーザの改善された３次元身体姿勢は、ユーザの身体の動き履歴を符号化する動き特徴に基づいて決定され得る。特定の実施形態では、カメラの視野は前向きであり得る。カメラによってキャプチャされた１つまたは複数の画像は魚眼画像であり得る。ユーザの身体部分の一部は、ユーザの手、腕、足、または脚を含み得る。特定の実施形態では、ヘッドセットは、ユーザの頭部に装着され得る。システムは、ヘッドセットに関連付けられた１つまたは複数のＩＭＵを使用してＩＭＵデータを収集し得る。動き特徴は、ＩＭＵデータとカメラによってキャプチャされた１つまたは複数の画像とに基づいて決定され得る。特定の実施形態では、システムは、ＩＭＵデータおよび１つまたは複数の画像を同時位置特定・マッピング（ＳＬＡＭ）モジュールに供給し得る。システムは、同時位置特定・マッピングモジュールを使用して、ＩＭＵデータおよび１つまたは複数の画像に基づいて１つまたは複数の動き履歴表現を決定し得る。動き特徴は、１つまたは複数の動き履歴表現に基づいて決定され得る。特定の実施形態では、各動き履歴表現は、所定の持続時間にわたっていくつかのベクトルを含み得る。それらのベクトルの各ベクトルは、ユーザの３次元回転、３次元並進、または高さに関連付けられたパラメータを含み得る。

【0059】

特定の実施形態では、動き特徴は、動き特徴モデルを使用して決定され得る。動き特徴モデルは、動き履歴表現から動き特徴を抽出するように訓練されたニューラルネットワークモデルを含み得る。特定の実施形態では、システムは、１つまたは複数の画像を前景－背景セグメント化モジュールに供給し得る。システムは、前景－背景セグメント化モジュールを使用して、１つまたは複数の画像の各画像について前景マスクを決定し得る。前景マスクは、ユーザの身体部分の一部に関連付けられた前景ピクセルを含み得る。形状特徴は、前景ピクセルに基づいて決定され得る。特定の実施形態では、形状特徴は、形状特徴モデルを使用して決定され得る。形状特徴モデルは、画像の前景マスクから形状特徴を抽出するように訓練されたニューラルネットワークモデルを含み得る。

【0060】

特定の実施形態では、システムは、動き特徴および形状特徴の重みのバランスをとり得る。システムは、バランスのとれた重みに基づいて、動き特徴および形状特徴を融合モジュールに供給し得る。ユーザの３次元身体姿勢および３次元頭部姿勢は融合モジュールによって決定され得る。特定の実施形態では、姿勢ボリューム表現は、ユーザの３次元身体姿勢および３次元頭部姿勢のための３次元身体形状エンベロープに対応し得る。特定の実施形態では、姿勢ボリューム表現は、ユーザの前景ピクセルを３次元立方体空間に逆投影することによって生成され得る。特定の実施形態では、前景ピクセルは、３次元身体姿勢と３次元頭部姿勢とを互いに一致させたままにする制約の下で、３次元立方体空間に逆投影され得る。特定の実施形態では、システムは、姿勢ボリューム表現、動き特徴、および１つまたは複数の画像の前景ピクセルを３次元姿勢改善モデルに供給し得る。ユーザの改善された３次元身体姿勢は、３次元姿勢改善モデルによって決定され得る。

【0061】

特定の実施形態では、３次元姿勢改善モデルは、姿勢ボリューム表現から特徴を抽出するための３次元ニューラルネットワークを含み得る。姿勢ボリューム表現からの抽出された特徴は、動き特徴および３次元身体姿勢と連結され得る。特定の実施形態では、３次元姿勢改善モデルは、改善回帰ネットワークを含み得る。システムは、動き特徴および３次元身体姿勢と連結された姿勢ボリューム表現からの抽出された特徴を、改善回帰ネットワークに供給し得る。ユーザの改善された３次元身体姿勢は改善回帰ネットワークによって出力され得る。特定の実施形態では、改善された３次元身体姿勢はリアルタイムで決定され得る。システムは、ユーザの改善された３次元身体姿勢に基づいてユーザのためのアバターを生成し得る。システムは、ディスプレイにアバターを表示し得る。特定の実施形態では、システムは、ユーザの改善された３次元身体姿勢に基づいてステレオ音信号を生成し得る。システムは、ステレオ音信号に基づくステレオ音響をユーザに対して再生し得る。

【0062】

特定の実施形態は、適切な場合、図９の方法の１つまたは複数のステップを繰り返し得る。本開示は、図９の方法の特定のステップを、特定の順序で行われるものとして説明し、示すが、本開示は、図９の方法の任意の好適なステップが任意の好適な順序で行われることを企図する。その上、本開示は、図９の方法の特定のステップを含む、ユーザによって装着されたカメラによってキャプチャされた画像に基づいてユーザの全身姿勢を決定するための例示的な方法を説明し、示すが、本開示は、適切な場合、図９の方法のステップのすべてを含むか、いくつかを含むか、またはいずれをも含まないことがある、任意の好適なステップを含む、ユーザによって装着されたカメラによってキャプチャされた画像に基づいてユーザの全身姿勢を決定するための任意の好適な方法を企図する。さらに、本開示は、図９の方法の特定のステップを行う特定の構成要素、デバイス、またはシステムを説明し、示すが、本開示は、図９の方法の任意の好適なステップを行う任意の好適な構成要素、デバイス、またはシステムの任意の好適な組合せを企図する。

【0063】

特定の実施形態では、オンラインソーシャルネットワークのコンテンツオブジェクトのうちの１つまたは複数が、プライバシー設定に関連付けられ得る。オブジェクトについてのプライバシー設定（または「アクセス設定」）は、たとえば、オブジェクトに関連して、許可サーバ上のインデックス中で、別の好適な様式で、またはそれらの任意の組合せなど、任意の好適な様式で記憶され得る。オブジェクトのプライバシー設定は、オンラインソーシャルネットワークを使用してオブジェクト（またはオブジェクトに関連付けられた特定の情報）がどのようにアクセス（たとえば、閲覧または共有）され得るかを指定し得る。オブジェクトについてのプライバシー設定が、特定のユーザがそのオブジェクトにアクセスすることを可能にするとき、オブジェクトは、そのユーザに関して「可視」であるものとして説明され得る。限定としてではなく一例として、オンラインソーシャルネットワークのユーザは、ユーザプロファイルページに関する職歴情報にアクセスし得るユーザのセットを識別するユーザプロファイルページについてのプライバシー設定を指定し、したがって、他のユーザがその情報にアクセスすることを除外し得る。特定の実施形態では、プライバシー設定は、オブジェクトに関連付けられたある情報にアクセスすることを可能にされるべきでないユーザの「ブロックリスト」を指定し得る。言い換えれば、ブロックリストは、オブジェクトが可視でない１つまたは複数のユーザまたはエンティティを指定し得る。限定としてではなく一例として、ユーザは、ユーザに関連付けられた写真アルバムにアクセスしない場合があるユーザのセットを指定し、したがって、それらのユーザが写真アルバムにアクセスすることを除外し得る（また、場合によってはユーザのセット内にない何人かのユーザが写真アルバムにアクセスすることを可能にする）。特定の実施形態では、プライバシー設定は、特定のソーシャルグラフ要素に関連付けられ得る。ノードまたはエッジなど、ソーシャルグラフ要素のプライバシー設定は、ソーシャルグラフ要素、ソーシャルグラフ要素に関連付けられた情報、またはソーシャルグラフ要素に関連付けられたコンテンツオブジェクトが、どのようにオンラインソーシャルネットワークを使用してアクセスされ得るかを指定し得る。限定としてではなく一例として、特定の写真に対応する特定の概念ノード＃０４は、写真が、写真においてタグ付けされたユーザとユーザの友達とによってのみアクセスされ得ることを指定するプライバシー設定を有し得る。特定の実施形態では、プライバシー設定は、ユーザが、そのユーザのアクションがソーシャルネットワーキングシステムによってロギングされるか、または他のシステム（たとえば、サードパーティシステム）と共有されることをオプトインまたはオプトアウトすることを可能にし得る。特定の実施形態では、オブジェクトに関連付けられたプライバシー設定は、許諾されるアクセスまたはアクセスの拒否の任意の好適なグラニュラリティを指定し得る。限定としてではなく一例として、アクセスまたはアクセスの拒否は、特定のユーザ（たとえば、私のみ、私のルームメート、および私の上司）、特定の分離の程度内のユーザ（たとえば、友達、または友達の友達）、ユーザグループ（たとえば、ゲーミングクラブ、私の家族）、ユーザネットワーク（たとえば、特定の雇用主の従業員、特定の大学の学生または卒業生）、すべてのユーザ（「公開」）、ユーザなし（「プライベート」）、サードパーティシステムのユーザ、特定のアプリケーション（たとえば、サードパーティアプリケーション、外部ウェブサイト）、他の好適なユーザまたはエンティティ、あるいはそれらの任意の組合せについて指定され得る。本開示は、特定の様式で特定のプライバシー設定を使用することについて説明するが、本開示は、任意の好適な様式で任意の好適なプライバシー設定を使用することを企図する。

【0064】

特定の実施形態では、１つまたは複数のサーバが、プライバシー設定を施行するための許可／プライバシーサーバであり得る。データストアに記憶された特定のオブジェクトについてのユーザ（または他のエンティティ）からの要求に応答して、ソーシャルネットワーキングシステムは、オブジェクトについての要求をデータストアに送り得る。要求は、要求に関連付けられたユーザを識別し得、オブジェクトに関連付けられたプライバシー設定に基づいてユーザがオブジェクトにアクセスすることを許可されると許可サーバが決定した場合、ユーザ（またはユーザのクライアントシステム）にのみ送られ得る。要求元ユーザがオブジェクトにアクセスすることを許可されない場合、許可サーバは、要求されたオブジェクトがデータストアから取り出されることを防ぎ得るか、または要求されたオブジェクトがユーザに送られることを防ぎ得る。検索クエリコンテキストでは、クエリを行っているユーザがオブジェクトにアクセスすることを許可される場合にのみ、オブジェクトが検索結果として生成され得る。言い換えれば、オブジェクトは、クエリを行っているユーザに可視であるという可視性を有しなければならない。オブジェクトがユーザに可視でないという可視性を有する場合、オブジェクトは検索結果から除外され得る。本開示は、特定の様式でプライバシー設定を施行することについて説明するが、本開示は、任意の好適な様式でプライバシー設定を施行することを企図する。

【0065】

図１０は、例示的なコンピュータシステム１０００を示す。特定の実施形態では、１つまたは複数のコンピュータシステム１０００は、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施する。特定の実施形態では、１つまたは複数のコンピュータシステム１０００は、本明細書で説明または示される機能性を提供する。特定の実施形態では、１つまたは複数のコンピュータシステム１０００上で稼働しているソフトウェアは、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施するか、あるいは本明細書で説明または示される機能性を提供する。特定の実施形態は、１つまたは複数のコンピュータシステム１０００の１つまたは複数の部分を含む。本明細書では、コンピュータシステムへの言及は、適切な場合、コンピューティングデバイスを包含し得、その逆も同様である。その上、コンピュータシステムへの言及は、適切な場合、１つまたは複数のコンピュータシステムを包含し得る。

【0066】

本開示は、任意の好適な数のコンピュータシステム１０００を企図する。本開示は、任意の好適な物理的形態をとるコンピュータシステム１０００を企図する。限定としてではなく例として、コンピュータシステム１０００は、組込み型コンピュータシステム、システムオンチップ（ＳＯＣ）、（たとえば、コンピュータオンモジュール（ＣＯＭ）またはシステムオンモジュール（ＳＯＭ）などの）シングルボードコンピュータシステム（ＳＢＣ）、デスクトップコンピュータシステム、ラップトップまたはノートブックコンピュータシステム、対話型キオスク、メインフレーム、コンピュータシステムのメッシュ、携帯電話、携帯情報端末（ＰＤＡ）、サーバ、タブレットコンピュータシステム、拡張／仮想現実デバイス、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。適切な場合、コンピュータシステム１０００は、１つまたは複数のコンピュータシステム１０００を含むか、単一または分散型であるか、複数のロケーションにわたるか、複数の機械にわたるか、複数のデータセンターにわたるか、あるいは１つまたは複数のネットワーク中の１つまたは複数のクラウド構成要素を含み得るクラウド中に常駐し得る。適切な場合、１つまたは複数のコンピュータシステム１０００は、実質的な空間的または時間的制限なしに、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。限定としてではなく一例として、１つまたは複数のコンピュータシステム１０００は、リアルタイムでまたはバッチモードで、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。１つまたは複数のコンピュータシステム１０００は、適切な場合、異なる時間においてまたは異なるロケーションにおいて、本明細書で説明または示される１つまたは複数の方法の１つまたは複数のステップを実施し得る。

【0067】

特定の実施形態では、コンピュータシステム１０００は、プロセッサ１００２と、メモリ１００４と、ストレージ１００６と、入出力（Ｉ／Ｏ）インターフェース１００８と、通信インターフェース１０１０と、バス１０１２とを含む。本開示は、特定の配置において特定の数の特定の構成要素を有する特定のコンピュータシステムを説明し、示すが、本開示は、任意の好適な配置において任意の好適な数の任意の好適な構成要素を有する任意の好適なコンピュータシステムを企図する。

【0068】

特定の実施形態では、プロセッサ１００２は、コンピュータプログラムを作成する命令など、命令を実行するためのハードウェアを含む。限定としてではなく一例として、命令を実行するために、プロセッサ１００２は、内部レジスタ、内部キャッシュ、メモリ１００４、またはストレージ１００６から命令を取り出し（またはフェッチし）、それらの命令を復号および実行し、次いで、内部レジスタ、内部キャッシュ、メモリ１００４、またはストレージ１００６に１つまたは複数の結果を書き込み得る。特定の実施形態では、プロセッサ１００２は、データ、命令、またはアドレスのための１つまたは複数の内部キャッシュを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部キャッシュを含むプロセッサ１００２を企図する。限定としてではなく一例として、プロセッサ１００２は、１つまたは複数の命令キャッシュと、１つまたは複数のデータキャッシュと、１つまたは複数のトランスレーションルックアサイドバッファー（ＴＬＢ）とを含み得る。命令キャッシュ中の命令は、メモリ１００４またはストレージ１００６中の命令のコピーであり得、命令キャッシュは、プロセッサ１００２によるそれらの命令の取出しを高速化し得る。データキャッシュ中のデータは、プロセッサ１００２において実行する命令が動作する対象のメモリ１００４またはストレージ１００６中のデータのコピー、プロセッサ１００２において実行する後続の命令によるアクセスのための、またはメモリ１００４もしくはストレージ１００６に書き込むための、プロセッサ１００２において実行された前の命令の結果、あるいは他の好適なデータであり得る。データキャッシュは、プロセッサ１００２による読取りまたは書込み動作を高速化し得る。ＴＬＢは、プロセッサ１００２のための仮想アドレストランスレーションを高速化し得る。特定の実施形態では、プロセッサ１００２は、データ、命令、またはアドレスのための１つまたは複数の内部レジスタを含み得る。本開示は、適切な場合、任意の好適な数の任意の好適な内部レジスタを含むプロセッサ１００２を企図する。適切な場合、プロセッサ１００２は、１つまたは複数の算術論理ユニット（ＡＬＵ）を含むか、マルチコアプロセッサであるか、または１つまたは複数のプロセッサ１００２を含み得る。本開示は、特定のプロセッサを説明し、示すが、本開示は任意の好適なプロセッサを企図する。

【0069】

特定の実施形態では、メモリ１００４は、プロセッサ１００２が実行するための命令、またはプロセッサ１００２が動作する対象のデータを記憶するためのメインメモリを含む。限定としてではなく一例として、コンピュータシステム１０００は、ストレージ１００６または（たとえば、別のコンピュータシステム１０００などの）別のソースからメモリ１００４に命令をロードし得る。プロセッサ１００２は、次いで、メモリ１００４から内部レジスタまたは内部キャッシュに命令をロードし得る。命令を実行するために、プロセッサ１００２は、内部レジスタまたは内部キャッシュから命令を取り出し、それらの命令を復号し得る。命令の実行中またはその後に、プロセッサ１００２は、（中間結果または最終結果であり得る）１つまたは複数の結果を内部レジスタまたは内部キャッシュに書き込み得る。プロセッサ１００２は、次いで、メモリ１００４にそれらの結果のうちの１つまたは複数を書き込み得る。特定の実施形態では、プロセッサ１００２は、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ１００６または他の場所とは対照的な）メモリ１００４中の命令のみを実行し、１つまたは複数の内部レジスタまたは内部キャッシュ中の、あるいは（ストレージ１００６または他の場所とは対照的な）メモリ１００４中のデータのみに対して動作する。（アドレスバスおよびデータバスを各々含み得る）１つまたは複数のメモリバスが、プロセッサ１００２をメモリ１００４に結合し得る。バス１０１２は、以下で説明されるように、１つまたは複数のメモリバスを含み得る。特定の実施形態では、１つまたは複数のメモリ管理ユニット（ＭＭＵ）が、プロセッサ１００２とメモリ１００４との間に常駐し、プロセッサ１００２によって要求されるメモリ１００４へのアクセスを容易にする。特定の実施形態では、メモリ１００４は、ランダムアクセスメモリ（ＲＡＭ）を含む。このＲＡＭは、適切な場合、揮発性メモリであり得る。適切な場合、このＲＡＭは、ダイナミックＲＡＭ（ＤＲＡＭ）またはスタティックＲＡＭ（ＳＲＡＭ）であり得る。その上、適切な場合、このＲＡＭは、シングルポートまたはマルチポートＲＡＭであり得る。本開示は、任意の好適なＲＡＭを企図する。メモリ１００４は、適切な場合、１つまたは複数のメモリ１００４を含み得る。本開示は、特定のメモリを説明し、示すが、本開示は任意の好適なメモリを企図する。

【0070】

特定の実施形態では、ストレージ１００６は、データまたは命令のための大容量ストレージを含む。限定としてではなく一例として、ストレージ１００６は、ハードディスクドライブ（ＨＤＤ）、フロッピーディスクドライブ、フラッシュメモリ、光ディスク、光磁気ディスク、磁気テープ、またはユニバーサルシリアルバス（ＵＳＢ）ドライブ、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。ストレージ１００６は、適切な場合、リムーバブルまたは非リムーバブル（または固定）媒体を含み得る。ストレージ１００６は、適切な場合、コンピュータシステム１０００の内部または外部にあり得る。特定の実施形態では、ストレージ１００６は、不揮発性ソリッドステートメモリである。特定の実施形態では、ストレージ１００６は、読取り専用メモリ（ＲＯＭ）を含む。適切な場合、このＲＯＭは、マスクプログラムＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、消去可能ＰＲＯＭ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、電気的書き換え可能ＲＯＭ（ＥＡＲＯＭ）、またはフラッシュメモリ、あるいはこれらのうちの２つまたはそれ以上の組合せであり得る。本開示は、任意の好適な物理的形態をとる大容量ストレージ１００６を企図する。ストレージ１００６は、適切な場合、プロセッサ１００２とストレージ１００６との間の通信を容易にする１つまたは複数のストレージ制御ユニットを含み得る。適切な場合、ストレージ１００６は、１つまたは複数のストレージ１００６を含み得る。本開示は、特定のストレージを説明し、示すが、本開示は任意の好適なストレージを企図する。

【0071】

特定の実施形態では、Ｉ／Ｏインターフェース１００８は、コンピュータシステム１０００と１つまたは複数のＩ／Ｏデバイスとの間の通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。コンピュータシステム１０００は、適切な場合、これらのＩ／Ｏデバイスのうちの１つまたは複数を含み得る。これらのＩ／Ｏデバイスのうちの１つまたは複数は、人とコンピュータシステム１０００との間の通信を可能にし得る。限定としてではなく一例として、Ｉ／Ｏデバイスは、キーボード、キーパッド、マイクロフォン、モニタ、マウス、プリンタ、スキャナ、スピーカー、スチールカメラ、スタイラス、タブレット、タッチスクリーン、トラックボール、ビデオカメラ、別の好適なＩ／Ｏデバイス、またはこれらのうちの２つまたはそれ以上の組合せを含み得る。Ｉ／Ｏデバイスは１つまたは複数のセンサーを含み得る。本開示は、任意の好適なＩ／Ｏデバイスと、それらのＩ／Ｏデバイスのための任意の好適なＩ／Ｏインターフェース１００８とを企図する。適切な場合、Ｉ／Ｏインターフェース１００８は、プロセッサ１００２がこれらのＩ／Ｏデバイスのうちの１つまたは複数を駆動することを可能にする１つまたは複数のデバイスまたはソフトウェアドライバを含み得る。Ｉ／Ｏインターフェース１００８は、適切な場合、１つまたは複数のＩ／Ｏインターフェース１００８を含み得る。本開示は、特定のＩ／Ｏインターフェースを説明し、示すが、本開示は任意の好適なＩ／Ｏインターフェースを企図する。

【0072】

特定の実施形態では、通信インターフェース１０１０は、コンピュータシステム１０００と、１つまたは複数の他のコンピュータシステム１０００または１つまたは複数のネットワークとの間の（たとえば、パケットベース通信などの）通信のための１つまたは複数のインターフェースを提供する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、通信インターフェース１０１０は、イーサネットまたは他のワイヤベースネットワークと通信するためのネットワークインターフェースコントローラ（ＮＩＣ）またはネットワークアダプタ、あるいはＷＩ－ＦＩネットワークなどのワイヤレスネットワークと通信するためのワイヤレスＮＩＣ（ＷＮＩＣ）またはワイヤレスアダプタを含み得る。本開示は、任意の好適なネットワークと、そのネットワークのための任意の好適な通信インターフェース１０１０とを企図する。限定としてではなく一例として、コンピュータシステム１０００は、アドホックネットワーク、パーソナルエリアネットワーク（ＰＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、またはインターネットの１つまたは複数の部分、あるいはこれらのうちの２つまたはそれ以上の組合せと通信し得る。これらのネットワークのうちの１つまたは複数の１つまたは複数の部分は、ワイヤードまたはワイヤレスであり得る。一例として、コンピュータシステム１０００は、（たとえば、ＢＬＵＥＴＯＯＴＨ ＷＰＡＮなどの）ワイヤレスＰＡＮ（ＷＰＡＮ）、ＷＩ－ＦＩネットワーク、ＷＩ－ＭＡＸネットワーク、（たとえば、モバイル通信用グローバルシステム（ＧＳＭ）ネットワークなどの）セルラー電話ネットワーク、または他の好適なワイヤレスネットワーク、あるいはこれらのうちの２つまたはそれ以上の組合せと通信し得る。コンピュータシステム１０００は、適切な場合、これらのネットワークのいずれかのための任意の好適な通信インターフェース１０１０を含み得る。通信インターフェース１０１０は、適切な場合、１つまたは複数の通信インターフェース１０１０を含み得る。本開示は、特定の通信インターフェースを説明し、示すが、本開示は任意の好適な通信インターフェースを企図する。

【0073】

特定の実施形態では、バス１０１２は、コンピュータシステム１０００の構成要素を互いに結合する、ハードウェア、ソフトウェア、またはその両方を含む。限定としてではなく一例として、バス１０１２は、アクセラレーテッドグラフィックスポート（ＡＧＰ）または他のグラフィックスバス、拡張業界標準アーキテクチャ（ＥＩＳＡ）バス、フロントサイドバス（ＦＳＢ）、ＨＹＰＥＲＴＲＡＮＳＰＯＲＴ（ＨＴ）相互接続、業界標準アーキテクチャ（ＩＳＡ）バス、ＩＮＦＩＮＩＢＡＮＤ相互接続、ローピンカウント（ＬＰＣ）バス、メモリバス、マイクロチャネルアーキテクチャ（ＭＣＡ）バス、周辺構成要素相互接続（ＰＣＩ）バス、ＰＣＩ－Ｅｘｐｒｅｓｓ（ＰＣＩｅ）バス、シリアルアドバンストテクノロジーアタッチメント（ＳＡＴＡ）バス、ビデオエレクトロニクス規格協会ローカル（ＶＬＢ）バス、または別の好適なバス、あるいはこれらのうちの２つまたはそれ以上の組合せを含み得る。バス１０１２は、適切な場合、１つまたは複数のバス１０１２を含み得る。本開示は、特定のバスを説明し、示すが、本開示は任意の好適なバスまたは相互接続を企図する。

【0074】

本明細書では、１つまたは複数のコンピュータ可読非一時的記憶媒体は、適切な場合、（たとえば、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向けＩＣ（ＡＳＩＣ）などの）１つまたは複数の半導体ベースまたは他の集積回路（ＩＣ）、ハードディスクドライブ（ＨＤＤ）、ハイブリッドハードドライブ（ＨＨＤ）、光ディスク、光ディスクドライブ（ＯＤＤ）、光磁気ディスク、光磁気ドライブ、フロッピーディスケット、フロッピーディスクドライブ（ＦＤＤ）、磁気テープ、ソリッドステートドライブ（ＳＳＤ）、ＲＡＭドライブ、セキュアデジタルカードまたはドライブ、任意の他の好適なコンピュータ可読非一時的記憶媒体、あるいはこれらのうちの２つまたはそれ以上の任意の好適な組合せを含み得る。コンピュータ可読非一時的記憶媒体は、適切な場合、揮発性、不揮発性、または揮発性と不揮発性との組合せであり得る。

【0075】

本明細書では、「または」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、包括的であり、排他的ではない。したがって、本明細書では、「ＡまたはＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「Ａ、Ｂ、またはその両方」を意味する。その上、「および」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、共同と個別の両方である。したがって、本明細書では、「ＡおよびＢ」は、明確に別段に指示されていない限り、またはコンテキストによって別段に指示されていない限り、「共同でまたは個別に、ＡおよびＢ」を意味する。

【0076】

本開示の範囲は、当業者が理解するであろう、本明細書で説明または示される例示的な実施形態に対するすべての変更、置換、変形、改変、および修正を包含する。本開示の範囲は、本明細書で説明または示される例示的な実施形態に限定されない。その上、本開示は、本明細書のそれぞれの実施形態を、特定の構成要素、要素、特徴、機能、動作、またはステップを含むものとして説明し、示すが、これらの実施形態のいずれも、当業者が理解するであろう、本明細書のどこかに説明または示される構成要素、要素、特徴、機能、動作、またはステップのうちのいずれかの任意の組合せまたは置換を含み得る。さらに、特定の機能を実施するように適応されるか、配置されるか、実施することが可能であるか、実施するように構成されるか、実施することが可能にされるか、実施するように動作可能であるか、または実施するように動作する、装置またはシステムあるいは装置またはシステムの構成要素に対する添付の特許請求の範囲における参照は、その装置、システム、または構成要素が、そのように適応されるか、配置されるか、可能であるか、構成されるか、可能にされるか、動作可能であるか、または動作する限り、その装置、システム、構成要素またはその特定の機能が、アクティブにされるか、オンにされるか、またはロック解除されるか否かにかかわらず、その装置、システム、構成要素を包含する。さらに、本開示は、特定の実施形態を、特定の利点を提供するものとして説明するかまたは示すが、特定の実施形態は、これらの利点のいずれをも提供しないか、いくつかを提供するか、またはすべてを提供し得る。

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図4】

【図5】

【図6】

【図7】

【図8A】

【図8B】

【図9】

【図10】

【国際調査報告】