知財求人 - 知財ポータルサイト「IP Force」
▶ 株式会社ソニー・コンピュータエンタテインメントの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-07-26
(54)【発明の名称】拡張現実人工知能によるユーザ自身の知覚拡張方法
(51)【国際特許分類】
G06T 19/00 20110101AFI20240719BHJP
G06F 3/01 20060101ALI20240719BHJP
【ＦＩ】
G06T19/00 600
G06F3/01 510
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024503598
(86)(22)【出願日】2022-07-07
(85)【翻訳文提出日】2024-03-19
(86)【国際出願番号】 US2022036411
(87)【国際公開番号】W WO2023003697
(87)【国際公開日】2023-01-26
(31)【優先権主張番号】17/382,250
(32)【優先日】2021-07-21
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】310021766
【氏名又は名称】株式会社ソニー・インタラクティブエンタテインメント
(74)【代理人】
【識別番号】100105924
【弁理士】
【氏名又は名称】森下 賢樹
(72)【発明者】
【氏名】パラシオス、ホルヘ、アロジョ
【テーマコード（参考）】
5B050
5E555
【Ｆターム（参考）】
5B050AA10
5B050BA09
5B050BA11
5B050CA08
5B050DA04
5B050EA09
5B050EA13
5B050EA19
5B050EA27
5B050FA02
5B050FA05
5E555AA76
5E555BA38
5E555BB38
5E555BC01
5E555BE17
5E555CA21
5E555CA42
5E555CB64
5E555CB65
5E555CB66
5E555CB67
5E555CB69
5E555CC22
5E555DA08
5E555DA09
5E555DA21
5E555DB32
5E555DB53
5E555DC09
5E555DC25
5E555DC26
5E555DC27
5E555DC30
5E555FA00
(57)【要約】
【解決手段】拡張現実（ＡＲ）シーンを生成する方法を提供し、ＡＲシーンはユーザの身体特徴の画像の一部を修正し、身体特徴の仮想メッシュを生成するように調整される。ＡＲグラスを装着するユーザのディスプレイ上にレンダリングするためのＡＲシーンを生成する。ＡＲシーンは実世界空間と実世界空間内にオーバーレイされた仮想オブジェクトを含む。ＡＲグラスからＡＲシーン内への視野を分析し、視野がユーザの身体特徴の一部に向けられる場合、ユーザの身体特徴の画像を検出する。ユーザの身体特徴がＡＲグラスの視野から見たＡＲシーン内にあると検出される場合、リアルタイムでＡＲシーンを調整し、ユーザの身体特徴の画像の一部を修正し、身体特徴から奥行きデータ及び元のテクスチャを検出し、身体特徴の仮想メッシュを生成する。仮想メッシュは元のテクスチャとブレンドする修正テクスチャを使用してレンダリングされる。
【選択図】図７
【選択図】図７
【特許請求の範囲】
【請求項1】
拡張現実（ＡＲ）グラスを装着するユーザのディスプレイにレンダリングするためのＡＲシーンを生成することであって、前記ＡＲシーンは実世界空間及び前記実世界空間内にオーバーレイされた仮想オブジェクトを含む、前記生成することと、前記ＡＲグラスから前記ＡＲシーン内への視野を分析することであって、前記視野が前記ユーザの身体特徴の少なくとも一部に向けられる場合、前記分析することは前記ユーザの前記身体特徴の画像を検出するように構成される、前記分析することと、
前記ユーザの前記身体特徴が前記ＡＲグラスの前記視野から見た前記ＡＲシーン内にあると検出される場合、実質的にリアルタイムで、前記ＡＲシーンを調整して、前記ユーザの前記身体特徴の前記画像の少なくとも一部を修正することと、
を含み、
前記修正することは、前記身体特徴から奥行きデータ及び元のテクスチャデータを検出して、前記身体特徴の仮想メッシュを生成することを含み、前記仮想メッシュはサイズ及び形状で変化し、前記元のテクスチャデータとブレンドする修正されたテクスチャデータを使用してレンダリングされ、
前記ユーザの前記修正された身体特徴は、前記ＡＲグラスを介して見られる場合、前記実世界空間内に存在しているように前記ユーザに現れる、コンピュータ実装方法。
【請求項2】
前記仮想メッシュは、前記ＡＲシーン内でレンダリングするために使用された前記ユーザの前記身体特徴の３次元（３Ｄ）表現であり、前記仮想メッシュは、前記ＡＲシーン内で前記ユーザのアバターの少なくとも一部を表す、請求項１に記載のコンピュータ実装方法。
【請求項3】
前記仮想メッシュの前記サイズ及び前記形状は、対応する前記身体特徴に対して、前記ユーザが好む大きさまで増加する、または減少する、請求項１に記載のコンピュータ実装方法。
【請求項4】
前記仮想メッシュの前記サイズ及び前記形状は、前記ユーザのプロファイル及びゲームプレイデータに基づいて決定される、請求項１に記載のコンピュータ実装方法。
【請求項5】
前記修正されたテクスチャデータ及び前記元のテクスチャデータの前記ブレンドにより、前記仮想メッシュは、前記修正されたテクスチャデータと前記元のテクスチャデータとの間の境界に沿って動的に統合されて現れる、請求項１に記載のコンピュータ実装方法。
【請求項6】
前記分析することは、前記ユーザの前記視野が１人以上の追加のユーザの身体特徴の少なくとも一部に向けられる場合、前記１人以上の追加のユーザの前記身体特徴の画像をさらに検出して、前記１人以上の追加のユーザの前記身体特徴の前記画像を修正するように構成される、請求項１に記載のコンピュータ実装方法。
【請求項7】
前記ＡＲシーンのユーザインタラクティビティ中に前記ユーザの１つ以上の測定値をキャプチャすることと、前記ＡＲシーンの描写された強度を調整して、前記ＡＲシーンのユーザインタラクティビティ中に前記ユーザの前記１つ以上の測定値に応答して、前記調整されたＡＲシーンを生成することと、
をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項8】
前記ＡＲシーンの前記描写された強度に対する前記調整は、前記ユーザによる前記ＡＲシーンに関連する知覚された難易度を増加させる、または減少させる、請求項７に記載のコンピュータ実装方法。
【請求項9】
前記１つ以上の測定値は、心拍数、または血圧、または酸素飽和度、または呼吸、または体温、または視線、または表情、または音声、またはコントローラの動き、または身体運動、または前記ユーザに関連するコントローラ入力、またはこれらの２つ以上の組み合わせを追跡するために使用される１つ以上のセンサを使用してキャプチャされる、請求項７に記載のコンピュータ実装方法。
【請求項10】
前記１つ以上の測定値は、前記ユーザのアバターに対応する１つ以上の仮想測定値を生成するように調整され、前記１つ以上の仮想測定値は、より大きい運動持久力を有する前記ユーザによって知覚される、請求項７に記載のコンピュータ実装方法。
【請求項11】
前記ＡＲシーンの前記描写された強度に対する前記調整は、前記調整されたＡＲシーンとのインタラクティビティに対する前記ユーザの身体強度が実質的に同じままでありながら、前記ユーザによる前記ＡＲシーンに関連する知覚された難易度を増加させる、または減少させる、請求項７に記載のコンピュータ実装方法。
【請求項12】
前記ＡＲシーンのユーザインタラクティビティ中に前記ユーザによって生成された音をキャプチャすること、前記音に関連する特徴を調整して、前記調整されたＡＲシーン内の前記ユーザのアバターによって生成された音を表すための仮想音を生成することであって、前記特徴はピッチ、トーン、音量、強度、速度、またはそれらの２つ以上の組み合わせを含む、前記生成すること、
をさらに含む、請求項１に記載のコンピュータ実装方法。
【請求項13】
前記身体特徴の前記画像を修正することは、前記ユーザのプロファイル、前記ユーザのキャプチャされた測定値、及び前記ユーザのモデルによるゲームプレイデータを処理することをさらに含み、前記モデルは、前記ユーザの前記プロファイル、前記ユーザの前記キャプチャされた測定値、及び前記ゲームプレイデータから特徴を識別して、前記ユーザの属性を分類するように構成され、前記ユーザの前記属性を使用して、前記身体特徴を修正し、前記ＡＲシーンの描写された強度を調整する、請求項１に記載のコンピュータ実装方法。
【請求項14】
拡張現実（ＡＲ）シーンを表示するためのシステムであって、ＡＲヘッドマウントディスプレイ（ＨＭＤ）であって、前記ＡＲ ＨＭＤはＡＲグラスを装着するユーザに前記ＡＲシーンをレンダリングするためのディスプレイを含み、前記ＡＲシーンは実世界空間と、前記実世界空間内にオーバーレイされた仮想オブジェクトとを含み、前記ＡＲ ＨＭＤは前記ＡＲグラスから前記ＡＲシーン内への視野を分析するように構成され、前記分析することは前記ユーザの身体特徴の画像を、前記視野が前記ユーザの前記身体特徴の少なくとも一部に向けられる場合に検出するように構成される、前記ＡＲ ＨＭＤと、
前記ユーザの前記身体特徴が前記ＡＲグラスの前記視野から見た前記ＡＲシーン内にあると検出される場合、実質的にリアルタイムで前記ＡＲシーンを調整して、前記ユーザの前記身体特徴の前記画像の少なくとも一部を修正するための前記ＡＲ ＨＭＤに関連する処理ユニットであって、前記修正することは、前記身体特徴から奥行きデータ及び元のテクスチャデータを検出して、前記身体特徴の仮想メッシュを生成することを含み、前記仮想メッシュはサイズ及び形状で変化し、前記元のテクスチャデータとブレンドする修正されたテクスチャデータを使用してレンダリングされ、前記ユーザの前記修正された身体特徴は前記ＡＲグラスを介して見られる場合、前記実世界空間内に存在しているように前記ユーザに現れる、前記処理ユニットと、
前記ＡＲグラスから前記ＡＲシーン内への前記視野を追跡するための前記ＡＲ ＨＭＤに関連する追跡ユニットであって、前記追跡することは前記ユーザの前記身体特徴の運動を識別して、実質的にリアルタイムで前記ＡＲシーンをさらに調整して、前記調整されたＡＲシーン内に前記身体特徴の前記運動を組み込むように構成される、前記追跡ユニットと、
を含む、システム。
【請求項15】
前記ＡＲ ＨＭＤは、前記身体特徴から前記奥行きデータ及び前記元のテクスチャデータを検出するように構成される３次元（３Ｄ）カメラを含む、請求項１４に記載のシステム。
【請求項16】
前記仮想メッシュは、前記ＡＲシーン内でレンダリングするために使用された前記ユーザの前記身体特徴の３次元（３Ｄ）表現であり、前記仮想メッシュは、前記ＡＲシーン内で前記ユーザのアバターの少なくとも一部を表す、請求項１４に記載のシステム。
【請求項17】
前記仮想メッシュの前記サイズ及び前記形状は、対応する前記身体特徴に対して、前記ユーザが好む大きさまで増加する、または減少する、請求項１４に記載のシステム。
【請求項18】
前記修正されたテクスチャデータ及び前記元のテクスチャデータの前記ブレンドにより、前記仮想メッシュは、前記修正されたテクスチャデータと前記元のテクスチャデータとの間の境界に沿って動的に統合されて現れる、請求項１４に記載のシステム。
【請求項19】
前記ＡＲシーンの描写された強度は、前記ＡＲシーンのユーザインタラクティビティ中に前記ユーザの１つ以上のキャプチャされた測定値に応答して、前記調整されたＡＲシーンを生成するように調整される、請求項１４に記載のシステム。
【請求項20】
前記分析することは、前記ユーザの前記視野が１人以上の追加のユーザの身体特徴の少なくとも一部に向けられる場合、前記１人以上の追加のユーザの前記身体特徴の画像を検出して、前記１人以上の追加のユーザの前記身体特徴の前記画像を修正するように構成される、請求項１４に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、拡張現実（ＡＲ）シーンを生成することに関し、さらに特に、ユーザの身体特徴の画像の少なくとも一部を修正して、サイズ及び形状で変化させることができる身体特徴の仮想メッシュを生成するようにＡＲシーンを調整するための方法及びシステムに関する。
【背景技術】
【0002】
拡張現実（ＡＲ）技術は、長年にわたって前例のない成長を遂げており、年平均成長率で成長し続けると予想されている。ＡＲ技術は、実世界のビューをコンピュータ生成素子（例えば、仮想オブジェクト）とリアルタイムで組み合わせるインタラクティブ３次元（３Ｄ）エクスペリエンスである。ＡＲシミュレーションでは、実世界に仮想オブジェクトがインフュージョンされ、インタラクティブエクスペリエンスを提供する。ＡＲ技術の人気の高まりに伴い、様々な業界は、ＡＲ技術を実装して、ユーザエクスペリエンスを向上させた。業界の一部は、例えば、ビデオゲーム、ショッピング＆小売り、教育、娯楽、医療、不動産、仮想支援などを含む。
【0003】
例えば、ビデオゲーム業界における成長傾向は、ＡＲゲームがユーザの実際の環境の上に予め作成された環境を重ね合わせるＡＲゲームを組み込むことである。ＡＲゲームは、ユーザの実世界環境に基づいて新しいＡＲシーンを生成することができるため、ユーザのゲームエクスペリエンスを向上させ、ゲームの面白さを維持する。別の例では、成長傾向は、ユーザの様々な個人タスク、例えばナビゲーション＆視覚ガイダンスなどを支援し得る精巧なツール及び動作にＡＲ技術を組み込むことである。残念ながら、一部のユーザは、ユーザがゲームプレイ中の特定の課題またはオブジェクトによって落胆したときに、現在のＡＲ技術をゲームで使用して、ユーザが自分のゲームプレイを続行するように促すことができないと気づく場合がある。
【0004】
本開示の実施態様が生じるのはこのような状況においてである。
【発明の概要】
【0005】
本開示の実施態様は、拡張現実（ＡＲ）グラスを装着するユーザのディスプレイ上にレンダリングするためのＡＲシーンを生成することに関連する方法、システム、及びデバイスを含む。いくつかの実施形態では、ＡＲシーンを調整して、ユーザの身体特徴の画像を実質的にリアルタイムで修正して、ユーザの身体特徴の仮想メッシュを生成することを可能にする方法が開示される。いくつかの実施形態では、仮想メッシュは、ＡＲ環境中のユーザのアバターの知覚を拡張させるために、サイズ及び形状で変化させることができる。例えば、ユーザは、ＡＲグラス（例えば、ＡＲヘッドマウントディスプレイ）を装着しており、実世界オブジェクト及び仮想オブジェクトの両方を含むＡＲ環境内に没入していることができる。ＡＲ環境の様々なＡＲシーンとインタラクトしている間、システムは、ユーザの視野がユーザの身体特徴の少なくとも一部に向けられる場合、ＡＲ環境中のユーザ（または他のユーザ）の身体特徴（例えば、手、腕、肩、胸部、脚、身長、体重など）の画像を検出するように構成され得る。一実施形態では、システムは、ユーザの身体特徴の画像の少なくとも一部を修正して、身体特徴の外観を拡張させるように構成される。一実施形態では、身体特徴の画像を修正することにより、身体特徴のサイズ及び形状が変化し得、例えば、ＡＲシーン内のユーザのアバターの身体の身長が高くなるように、例えば腕が筋肉質になる、脚が筋肉質になる、肩が広くなるように、身体特徴を見せる。ＡＲシーンには、ユーザの外観を向上させるように修正されるユーザの様々な身体特徴が含まれることができるため、本明細書で開示される方法は、ユーザがＡＲ環境中で様々なゲームタスクとインタラクトする場合、ユーザの自己評価が向上することで、ユーザがより自信に満ちて、あまり密接でなくなることができるように、ＡＲシーン内でユーザの外観を拡張させる方法の概要を述べる。ゲーム中またはコンピュータシステムとのインタフェース中にユーザを励ます、及び／またはユーザの自己評価を高めると、ポジティブな効果がユーザの生理的マインドセット及び場合によっては全体的なメンタルヘルスを改善するように作用し得ると信じられている。
【0006】
従って、ユーザがＡＲ環境中のＡＲシーンとインタラクトする場合、ＡＲシーン内にあると検出されるユーザ（または他のユーザ）の身体特徴を、ユーザのディスプレイ上にレンダリングするためにサイズ及び形状を変化させることができる仮想メッシュを生成するために、実質的にリアルタイムで修正することができる。このようにして、ユーザがＡＲシーンとインタラクトする場合、ユーザの自己知覚が改善されることにより、ユーザが自信を持って自分のゲームプレイを進めることが可能になる。従って、ＡＲシーン中のユーザの外観がロバストなゲームキャラクタ、例えば、より強い、より背の高い、より速い、より健康であるなどのように見えるように修正されるため、ユーザは、落胆を感じることなく、ゲームプレイ中に自信を持って進むことができる。いくつかの実施形態では、他のユーザ（例えば、チームメイト）の身体特徴は修正されることができる。他の実施形態では、困難なゲームタスクまたは脅迫的環境の知覚は、その描写された強度を低下させて、あまり脅迫的でないように見せるように修正されることができる。このようにして、ユーザは、ゲームプレイが親しみやすく、達成が難しいように見えるため、ゲームプレイをやめようとしても、ゲームプレイを続けるように動機が与えられる。
【0007】
一実施形態では、コンピュータ実装方法が提供される。方法は、拡張現実（ＡＲ）グラスを装着するユーザのディスプレイ上にレンダリングするためのＡＲシーンを生成することを含み、ＡＲシーンは、実世界空間と、実世界空間内にオーバーレイされた仮想オブジェクトとを含む。方法は、ＡＲグラスからＡＲシーン内への視野を分析することを含み、分析することは、視野がユーザの身体特徴の少なくとも一部に向けられる場合、ユーザの身体特徴の画像を検出するように構成される。方法は、ユーザの身体特徴がＡＲグラスの視野から見たＡＲシーン内にあると検出される場合、実質的にリアルタイムで、ＡＲシーンを調整して、ユーザの身体特徴の画像の少なくとも一部を修正することを含み、修正することは、身体特徴から奥行きデータ及び元のテクスチャデータを検出して、身体特徴の仮想メッシュを生成することを含み、仮想メッシュはサイズ及び形状で変化し、元のテクスチャデータとブレンドする修正されたテクスチャデータを使用してレンダリングされる。一実施形態では、ユーザの修正された身体特徴は、ＡＲグラスを介して見られる場合、実世界空間内に存在しているようにユーザに現れる。このようにして、ユーザの身体特徴がＡＲシーン内にあると検出される場合、身体特徴はＡＲシーン内で拡張されるため、ユーザの自己知覚が改善され、ユーザのゲームプレイ中に困難なタスクまたは障害物を克服するための自信がユーザに与えられることができる。
【0008】
別の実施形態では、ＡＲシーンを表示するためのシステムが提供される。システムはＡＲヘッドマウントディスプレイ（ＨＭＤ）を含み、このＡＲ ＨＭＤはＡＲグラスを装着するユーザにＡＲシーンをレンダリングするためのディスプレイを含む。一実施形態では、ＡＲシーンは、実世界空間と、実世界空間内にオーバーレイされた仮想オブジェクトとを含み、ＡＲ ＨＭＤは、ＡＲグラスからＡＲシーン内への視野を分析するように構成される。一実施形態では、視野がユーザの身体特徴の少なくとも一部に向けられる場合、分析することはユーザの身体特徴の画像を検出するように構成される。システムは、ユーザの身体特徴がＡＲグラスの視野から見たＡＲシーン内にあると検出される場合、実質的にリアルタイムでＡＲシーンを調整して、ユーザの身体特徴の画像の少なくとも一部を修正するためのＡＲ ＨＭＤに関連する処理ユニットを含む。一実施形態では、修正することは、身体特徴から奥行きデータ及び元のテクスチャデータを検出して、身体特徴の仮想メッシュを生成することを含み、仮想メッシュは、サイズ及び形状で変化し、元のテクスチャデータとブレンドする修正されたテクスチャデータを使用してレンダリングされる。一実施形態では、ユーザの修正された身体特徴は、ＡＲグラスを介して見られる場合、実世界空間内に存在しているようにユーザに現れる。システムは、ＡＲグラスからＡＲシーン内への視野を追跡するためのＡＲ ＨＭＤに関連する追跡ユニットを含み、追跡することは、ユーザの身体特徴の運動を識別して、実質的にリアルタイムでＡＲシーンをさらに調整して、調整されたＡＲシーン内に身体特徴の運動を組み込むように構成される。
【0009】
本開示の他の態様及び利点は、添付の図面と併せて、本開示の原理を例として示す下記の詳細な説明から明らかになるであろう。
【図面の簡単な説明】
【0010】
本開示は、添付の図面と併せて以下の説明を参照することによって、一層よく理解することができる。
。
。
【0011】
【図1A】本開示の実施態様による、ヘッドマウントディスプレイ（ＨＭＤ）を介したＡＲ環境とのインタラクションのためのシステムの実施形態を示す。
【0012】
【図1B】本開示の実施態様による、ＡＲ ＨＭＤを介したＡＲ環境とのインタラクションのためのシステムの別の実施形態を示す。
【0013】
【図2A】本開示の実施態様による、ＡＲシーン、及び実質的にリアルタイムで生成されてユーザの現実の腕の修正された画像を含む調整されたＡＲシーンとインタラクトするようにインタフェースオブジェクトを操作している間、ＡＲグラスを装着するユーザの実施形態を示す。
【図2B】本開示の実施態様による、ＡＲシーン、及び実質的にリアルタイムで生成されてユーザの現実の腕の修正された画像を含む調整されたＡＲシーンとインタラクトするようにインタフェースオブジェクトを操作している間、ＡＲグラスを装着するユーザの実施形態を示す。
【0014】
【図2C】本開示の実施態様による、ＡＲシーン、及び実質的にリアルタイムで生成されてユーザの身体の修正された画像を含む調整されたＡＲシーンとインタラクトするようにインタフェースオブジェクトを操作している間、ＡＲグラスを装着するユーザの実施形態を示す。
【図2D】本開示の実施態様による、ＡＲシーン、及び実質的にリアルタイムで生成されてユーザの身体の修正された画像を含む調整されたＡＲシーンとインタラクトするようにインタフェースオブジェクトを操作している間、ＡＲグラスを装着するユーザの実施形態を示す。
【0015】
【図2E】本開示の実施態様による、ＡＲシーン、及び実質的にリアルタイムで生成されてユーザの身体の修正された画像を含む調整されたＡＲシーンとインタラクトするためのＡＲグラスを装着するユーザの実施形態を示す。
【図2F】本開示の実施態様による、ＡＲシーン、及び実質的にリアルタイムで生成されてユーザの身体の修正された画像を含む調整されたＡＲシーンとインタラクトするためのＡＲグラスを装着するユーザの実施形態を示す。
【0016】
【図3】本開示の実施態様による、ＡＲ ＨＭＤを装着しており、ＡＲシーンに入力を提供するためにインタフェースオブジェクトを操作している間、ＡＲシーンとインタラクトするユーザを示すユーザのＡＲ環境でのビューの実施形態を示す。
【0017】
【図4】本開示の実施態様による、ユーザがそれぞれのＡＲ ＨＭＤ及びインタフェースオブジェクトを介してＡＲ環境中でインタラクトしている実施形態を示す。
【0018】
【図5】本開示の実施態様による、ＡＲ環境のＡＲシーンとのユーザインタラクション中にユーザに対応する様々なキャプチャされた測定値を含む表の実施形態を示す。
【0019】
【図6】本開示の実施態様による、ユーザプロファイル、ユーザキャプチャ生理学的測定値、及びゲームプレイデータを入力として使用して、ユーザのディスプレイ上でのレンダリングのためにＡＲシーンを動的に調整するためのモデルを使用するための方法の実施形態を示す。
【0020】
【図7】本開示の実施態様による、ユーザのＡＲシーンを生成し、ユーザの身体特徴の修正された画像を含むようにＡＲシーンを調整するための方法を示す。
【0021】
【図8】本開示の様々な実施形態の態様を実行するために使用することができる例示的なデバイスの構成要素を例示する。
【発明を実施するための形態】
【0022】
本開示の以下の実施態様は、拡張現実（ＡＲ）ヘッドマウントディスプレイ（ＨＭＤ）のユーザの身体特徴がＡＲシーン内にあると検出される場合、ユーザにＡＲシーンを生成し、実質的にリアルタイムでＡＲシーンを調整して、ユーザの身体特徴の画像を修正するための方法、システム、及びデバイスを提供する。いくつかの実施形態では、ユーザの身体特徴は、ユーザの体格、身長、体重、筋肉組成、顔貌、年齢、性別、生理学的測定値などに対応し得る。一実施形態では、身体特徴の修正は、身体特徴から奥行きデータ及び元のデータを検出して、身体特徴の仮想メッシュを生成することを含み得、仮想メッシュをサイズ及び形状で変化させて、ユーザのディスプレイ上にレンダリングすることができる。
【0023】
例えば、ユーザがＡＲシーンとインタラクトしている間、ユーザのＡＲグラスの視野がユーザの腕をキャプチャする場合、システムはユーザの腕を、動的に修正して、ＡＲシーン中のその外観を変化させることにより、ユーザの実世界の腕と比較して、より大きく、より筋肉質に見せることができる。従って、ＡＲシーンがユーザの身体特徴を修正するために実質的にリアルタイムで調整される場合、これにより、ユーザがＡＲ環境中で様々なゲームタスク及び他のゲームキャラクタとインタラクトする際、自分の身体属性に関してより自信のある状態でユーザ自身を知覚し得るため、ユーザのＡＲゲームエクスペリエンスが向上して改善されることが可能になる。これにより、ユーザは、以前にユーザにとって親しみやすかった可能性があるゲームシーン内の他のゲームキャラクタまたは障害物に落胆することなく、ＡＲシーンを通じてより自信を持って進むことが可能になる。次に、これは、自信が欠如している可能性があるユーザのＡＲエクスペリエンスを向上させることができ、ユーザが落胆することなく、ＡＲ環境の没入感のあるエクスペリエンスを完全に楽しむことを可能にする。
【0024】
例として、一実施態様では、ユーザの身体特徴がＡＲシーン内にあると検出される場合、ＡＲシーンを生成し、実質的にリアルタイムでＡＲシーンを調整して、ユーザの身体特徴の画像を修正することを可能にする方法が開示される。方法は、ＡＲグラスを装着するユーザのディスプレイ上にレンダリングするために拡張されたＡＲシーンを生成することを含み、ＡＲシーンは、実世界空間と、実世界空間内にオーバーレイされた仮想オブジェクトとを含む。一実施形態では、方法は、ＡＲグラスからＡＲシーン内への視野を分析することをさらに含み得る。一例では、視野がユーザの身体特徴の少なくとも一部に向けられる場合、分析することはユーザの身体特徴の画像を検出するように構成される。別の実施形態では、方法は、ユーザの身体特徴がＡＲグラスの視野から見たＡＲシーン内にあると検出される場合、実質的にリアルタイムでＡＲシーンを調整して、ユーザの身体特徴の画像の少なくとも一部を修正することを含み得る。一例では、身体特徴の画像を修正することは、身体特徴から奥行きデータ及び元のテクスチャデータを検出して、身体特徴の仮想メッシュを生成することを含む。一実施形態では、仮想メッシュは、サイズ及び形状で変化し、元のテクスチャデータとブレンドする修正されたテクスチャデータを使用してレンダリングされる。別の実施形態では、ユーザの修正された身体特徴は、ＡＲグラスを介して見られる場合、実世界空間内に存在しているようにユーザに現れる。
【0025】
一実施形態によれば、ユーザの身体特徴がＡＲシーン内にあると検出される場合、ＡＲシーンを生成し、実質的にリアルタイムでＡＲシーンを調整して、ユーザの身体特徴の画像の少なくとも一部を修正するためのシステムが開示される。例えば、ユーザは、クラウドコンピューティング及びゲームシステムによって生成される様々なＡＲシーンを含むＡＲ環境中でインタラクトするためにＡＲゴーグルを使用していてもよい。ＡＲゴーグルのディスプレイを通してＡＲシーンを見ながら、インタラクトしている間、システムは、ＡＲグラスからＡＲシーン内への視野を分析し、ユーザまたは視野内にある任意の追加のユーザの身体特徴の画像を検出するように構成される。
【0026】
一実施形態では、システムは、ユーザの身体特徴がＡＲグラスの視野から見たＡＲシーン内にあると検出される場合、ユーザの身体特徴の画像の少なくとも一部を修正するように構成される。例えば、身体特徴は、ＡＲグラスの視野から見られるユーザまたは任意の他のユーザに関連付けられ得る。一実施形態では、ユーザの身体特徴の修正は、身体特徴から奥行きデータ及び元のテクスチャデータを検出して、仮想メッシュを生成することを含み得る。いくつかの実施形態では、仮想メッシュはサイズ及び形状で変化させることができ、サイズ及び形状はモデルに基づいて選択される。いくつかの実施形態では、モデルは、ユーザのプロファイル、ユーザキャプチャ生理学的測定値、及びゲームプレイデータを入力として受信することができてもよい。他の実施形態では、システムは、ユーザの生理学的測定値（例えば、心拍数、体温、血圧など）を監視してキャプチャし、ＡＲシーンの描写された強度を動的に調整して、ＡＲシーン内で困難なタスクまたは目的のユーザの知覚を変化させるように構成される。このようにして、ユーザの自信が改善されることができると、ユーザは、最初に親しみやすく見え得るＡＲシーンとインタラクトする場合、より自信に満ちている可能性がある。
【0027】
一部の実施形態では、拡張現実（ＡＲ）を使用して、人が自身を他者にどのように知覚させるかのアイデアを変化させる。例えば、これは、例えば、拡張現実または複合現実の形式を使用して、ユーザ自身のｉ）生理学的メトリクス（例えば、血流もしくは温度が変化することから皮膚の色がわずかに変化すること、または汗の液滴を追加することによる、呼吸パターン、心拍数または体温）、ｉｉ）固有感覚（例えば、身体部位の位置、追加の体肢など）を変化させること、ｉｉｉ）ユーザが自身の声及び他人の声を聞く方法を変化させることを含むことができる。一実施形態では、これらのコンピュータが生成した修正をゲームに適用することができる。一例では、ユーザは、自身を非常に強いゲームキャラクタとして知覚することができる。場合によっては、これらの修正は、ユーザ（例えば、摂食障害、喫煙者、身体運動の欠如などを有する人）のビヘイビアを促すことを支援することができる。
【0028】
別の実施形態では、ローカルマルチプレイヤゲームにおいて、ユーザはキャラクタを選択することができる。システムは、ＡＲを使用して、ユーザ及び／またはチームメイトの外観を変化させることができる。場合によっては、チームメイトは、長距離バスでユーザの隣に着席している場合があるが、適用されたＡＲ修正に基づいて異なって見える。あなたのチームメイトは、見た目、服装、声などをゲームのキャラクタの１人にすることができる。
【0029】
さらに別の実施形態では、ＡＲを使用して、ユーザが困難なタスクまたは環境をどのように知覚するかを変化させることができる。例えば、ユーザが丘を登っている場合、ＡＲ及び／または複合現実またはＶＲを使用して、その丘をあまり急峻でないように、またはユーザが丘の上により近づいているように見せることができる。１つのコンフィグレーションでは、ユーザ及び／またはシステムは、ゲーム及び／またはプログラムとのインタラクティビティで異なる時間にユーザが自身を知覚する方法を動的に変化させることができる。本明細書に記載の実施形態がゲーム技術及び非ゲーム技術に適用することができることを理解されたい。
【0030】
上記の概要を念頭に置いて、以下では、例示的実施形態の理解を容易にするために、いくつかの例示的な図を提供する。
【0031】
図１Ａは、本開示の実施態様による、ＡＲヘッドマウントディスプレイ（ＨＭＤ）１０２を介した拡張現実環境とのインタラクションのためのシステムの実施形態を示す。本明細書で使用される場合、「拡張現実」という用語は、一般に、実世界環境がコンピュータ生成知覚情報（例えば、仮想オブジェクト）によって拡張されるＡＲ環境とのユーザインタラクションを指す。ＡＲ環境は、ユーザ１００のエクスペリエンスを向上させるために仮想オブジェクトが実世界環境上にオーバーレイされる実世界オブジェクトと仮想オブジェクトとの両方を含み得る。一実施形態では、ＡＲ環境のＡＲシーンは、ＡＲ ＨＭＤ、携帯電話、または任意の他のデバイスなどのデバイスのディスプレイを通して、ＡＲ ＨＭＤの運動（ユーザによって制御される）にリアルタイムで応答して、ＡＲ環境中にあるという感覚をユーザに与える方法で見られることができる。例えば、ユーザは、所与の方向に向いている場合にＡＲ環境の３次元（３Ｄ）ビューを見ることができ、ユーザが横を向くことにより、ＡＲ ＨＭＤも同様に向く場合、その横へのＡＲ環境中でのビューはＡＲ ＨＭＤ上にレンダリングされる。
【0032】
図１Ａに示されるように、ユーザ１００は、ＡＲ ＨＭＤ１０２を装着し、インタフェースオブジェクト１０４を操作し、ビデオゲームに入力を提供するように、実世界空間１１０内に物理的に位置しているように示されている。一実施形態では、ＡＲ ＨＭＤ１０２は、グラス、ゴーグル、またはヘルメットと同様の方法で装着され、ＡＲシーン、ビデオゲームコンテンツ、または他のコンテンツをユーザ１００に表示するように構成される。ＡＲ ＨＭＤ１０２は、ユーザの目に近接して、表示機構を提供することにより、ユーザに非常に没入感のあるエクスペリエンスをもたらす。従って、ＡＲ ＨＭＤ１０２は、ユーザの視野の大部分、または全体さえも占める表示領域をユーザの目のそれぞれに提供することができ、３次元的な奥行き及び遠近感を伴う視聴を提供することもできる。
【0033】
いくつかの実施形態では、ＡＲ ＨＭＤ１０２は、ユーザ１００の実世界空間１１０に配置され得る実世界オブジェクトなど、ユーザの実世界空間の画像をキャプチャするように構成された、外向きカメラを含んでもよい。いくつかの実施形態では、外向きカメラによってキャプチャされた画像を分析して、ＡＲ ＨＭＤ１０２に対する実世界オブジェクトの位置／向きを判定することができる。ＡＲ ＨＭＤ１０２の既知の位置／向きを用いて、実世界オブジェクト、ならびにＡＲ ＨＭＤ、ユーザの身体活動及び運動からの慣性センサデータを、ユーザインタラクションの間、継続的に監視及び追跡することができる。いくつかの実施形態では、外向きカメラは、３次元（３Ｄ）モデルを作成することができるように、奥行き感知及びテクスチャ感知を含む、ＲＧＢ奥行き感知カメラまたは３Ｄカメラであることができる。ＲＧＢ奥行き検知カメラは、キャプチャされた画像の３次元マッピングを容易にし得るカラー画像及び高密度奥行き画像の両方を提供できる。
【0034】
いくつかの実施形態では、ＡＲ ＨＭＤ１０２は、ユーザにＡＲシーン中での視野（ＦＯＶ）１０８を提供し得る。従って、ユーザ１００が自分の頭を回して実世界空間１１０内の異なる領域の方を見る場合、ＡＲシーンは、ユーザ１００のＦＯＶ１０８内に存在し得る任意の追加の仮想オブジェクト及び実世界オブジェクトを含むように更新される。一実施形態では、ＡＲ ＨＭＤ１０２は視線追跡カメラを含み得、この視線追跡カメラは、ユーザ１００の目の画像をキャプチャして、ユーザ１００の視線方向と、ユーザ１００が焦点を合わせている特定の仮想オブジェクトまたは実世界オブジェクトとを決定するように構成される。従って、ＦＯＶ１０８及びユーザ１００の視線方向に基づいて、システムは、ユーザが焦点を合わせ得る特定のオブジェクト、例えば、ゲームキャラクタ、チームメイト、障害物などを検出し得る。
【0035】
図示の実施態様では、ＡＲ ＨＭＤ１０２は、ネットワーク１１２を介してクラウドコンピューティング及びゲームシステム１１４に無線で接続される。一実施形態では、クラウドコンピューティング及びゲームシステム１１４は、ユーザ１００がプレイしているＡＲシーン及びビデオゲームを維持し、実行する。いくつかの実施形態では、クラウドコンピューティング及びゲームシステム１１４は、ネットワーク１１２を介してＡＲ ＨＭＤ１０２から入力を受信するように構成される。クラウドコンピューティング及びゲームシステム１１４は、ＡＲ環境のＡＲシーンの状態に影響を与えるように入力を処理するように構成される。仮想オブジェクト、実世界オブジェクト、ビデオデータ、オーディオデータ、及びユーザインタラクションデータなど、実行するＡＲシーンからの出力は、ＡＲ ＨＭＤ１０２に送信される。他の実施態様では、ＡＲ ＨＭＤ１０２は、セルラネットワークなどの代替メカニズムまたはチャネルを介してワイヤレスでクラウドコンピューティング及びゲームシステム１１４と通信することができる。
【0036】
図１Ｂは、本開示の実施態様による、ＡＲ ＨＭＤ１０２を介したＡＲ環境とのインタラクションのためのシステムの別の実施形態を示す。図示のように、ユーザ１００は、ＡＲ環境のＡＲシーンとインタラクトしている間、ＡＲ ＨＭＤ１０２を装着し、インタフェースオブジェクト１０４を操作するように、実世界空間１１０内に物理的に位置しているように示されている。図示の実施態様では、ＡＲ ＨＭＤ１０２は、コンピュータ１０６に無線接続されている。他の実施態様では、ＡＲ ＨＭＤ１０２は、有線接続を介してコンピュータ１０６に接続される。コンピュータ１０６は、ゲーム機、パーソナルコンピュータ、ラップトップ、タブレットコンピュータ、モバイルデバイス、携帯電話、タブレット、シンクライアント、セットトップボックス、メディアストリーミングデバイスなどを含むがこれらに限定されない、当技術分野で知られている任意の汎用または専用のコンピュータであってもよい。ある実施態様では、コンピュータ１０６は、ビデオゲームを実行し、このビデオゲームからビデオ及びオーディオを出力して、ＡＲ ＨＭＤ１０２によるレンダリングが行われるように構成され得る。ある実施態様では、コンピュータ１０６は、ＨＭＤを通して視聴することができる仮想空間／仮想環境を提供する他の任意のタイプのインタラクティブアプリケーションを実行するように構成されている。ある実施態様では、ＡＲ ＨＭＤ１０２は、例えば、ＨＭＤ１０２とコンピュータ１０６の両方が接続されているネットワーク１１２を介してなど、代替メカニズムまたはチャネルを介してコンピュータ１０６と通信する場合もある。
【0037】
上述のように、ＡＲ ＨＭＤ１０２は、ユーザ１００の実世界空間１１０に配置され得る実世界オブジェクトなど、ユーザの実世界空間の画像をキャプチャするように構成された、外向きカメラを含んでもよい。いくつかの実施形態では、ＡＲ ＨＭＤ１０２は、ユーザにＡＲシーン中での視野（ＦＯＶ）１０８を提供し得る。このようにして、ＦＯＶ１０８が様々な実世界オブジェクト及び仮想オブジェクトに向けられる場合、システムは、ＦＯＶ１０８内でキャプチャされる画像のタイプを分析して決定するように構成される。例えば、ユーザ１００が自分の腕及び脚に向かう方向を見る場合、システムは、ユーザの腕と脚との間を検出して区別し、ユーザの様々な身体特徴、例えば腕、脚、腹部などに関連している奥行きデータ及びテクスチャを分析することができる。
【0038】
いくつかの実施形態では、ユーザ１００は、インタフェースオブジェクト１０４を操作して、ビデオゲームに入力を提供してもよい。様々な実施態様では、インタフェースオブジェクト１０４は、インタフェースオブジェクトの位置及び向きの判定、ならびに動きの追跡を可能にするために、追跡され得るライト、及び／または慣性センサ（複数可）を含む。他の実施態様では、様々な種類の片手用コントローラ、及び両手用コントローラを使用してもよい。ある実施態様では、コントローラに含まれるライトを追跡することによって、またはコントローラに関連する形状、センサ、及び慣性データを追跡することによって、コントローラ自体を追跡することができる。これらの各種のコントローラ、または実行されて１つ以上のカメラでキャプチャされる単純な手のジェスチャさえも使用することによって、ＡＲ ＨＭＤ１０２上に提示された仮想現実環境をインタフェースすること、制御すること、操作すること、この仮想現実環境とインタラクトすること、及びこの仮想現実環境に参加することが可能になる。
【0039】
いくつかの実施形態では、ＡＲ ＨＭＤ１０２及び実世界空間１１０は、ユーザ１００が位置している物理的環境から音をキャプチャするための１つまたは複数のマイクロフォンを含むことができる。マイクロフォンアレイによってキャプチャされた音は、音源の位置を識別するよう処理されてもよい。識別された位置からの音は、識別された位置からでない他の音を排除するために選択的に利用または処理されてもよい。他の実施形態では、マイクロフォンがキャプチャする音は、ユーザ１００に関連する生理学的測定値、例えば、心拍数、血圧、呼吸などを決定するように処理され得る。
【0040】
さらに、本開示の実施態様は、ＡＲ ＨＭＤ１０２に関して記載され得るが、他の実施態様では、本実施態様に従って、ビデオをレンダリングし、及び／またはインタラクティブなシーンまたは仮想環境の表示を提供するように構成され得る、ポータブルデバイス画面（例えば、タブレット、スマートフォン、ラップトップなど）または他の任意のタイプのディスプレイを含むがこれに限定されない、非ヘッドマウントディスプレイを代わりに使ってもよいことが理解されよう。
【0041】
図２Ａ～図２Ｂは、ＡＲシーン、及び実質的にリアルタイムで生成されてユーザ１００の現実の腕２０６ａ～２０６ｂの修正された画像を含む調整されたＡＲシーン２０４ａとインタラクトするようにインタフェースオブジェクト１０４を操作している間、ＡＲグラス１０２を装着するユーザ１００の実施形態を示す。図２Ａに示されるように、ユーザ１００は、ＡＲ ＨＭＤ１０２を装着し、インタフェースオブジェクト１０４を操作し、ＡＲ環境のＡＲシーンとインタラクトするための入力を提供するように、実世界空間１１０内に物理的に位置しているように示されている。いくつかの実施形態では、システムは、ＡＲシーン内のＦＯＶ１０８を分析して、実世界空間１１０内の実世界オブジェクトの画像を検出するように構成される。他の実施形態では、システムは、ＦＯＶ１０８がユーザに向けられる場合、ＡＲシーン中でのＦＯＶを分析して、ユーザの身体特徴（例えば、腕、手、二頭筋、腹部、脚など）の画像を検出するように構成される。例えば、図２Ａに示されるように、ユーザ１００の視線方向２０２は、ユーザ１００の現実の腕２０６ａ～２０６ｂに向けられる。従って、システムは、ＡＲシーンがユーザ１００の現実の腕２０６ａ～２０６ｂを含むと決定することができる。
【0042】
いくつかの実施形態では、図２Ｂを参照すると、システムは、ユーザ１００のＡＲグラス１０２のディスプレイ２１６上で見える調整されたＡＲシーン２０４ａを実質的にリアルタイムで生成するように構成される。図示のように、調整されたＡＲシーン２０４ａは、ユーザの視線方向２０２がユーザの腕に向けられる場合のユーザ１００のディスプレイ２１６からのビューである。一実施形態では、調整されたＡＲシーン２０４ａは、ユーザの身体特徴がＡＲシーン内にあると検出される場合のユーザの身体特徴の修正された画像を含み得る。例えば、図２Ａを参照すると、ＡＲシーンがユーザ１００の現実の腕２０６ａ～２０６ｂを含むとシステムが決定した後、システムは、ＡＲシーンを調整して、仮想腕２０６ａ’～２０６ｂ’を含む調整されたＡＲシーン２０４ａを生成するように構成される。一実施形態では、仮想腕２０６ａ’～２０６ｂ’は、修正されており、ＡＲグラスを介して見える現実の腕２０６ａ～２０６ｂの仮想表現である。
【0043】
図２Ｂに示される図示の例では、仮想腕２０６ａ’～２０６ｂ’のサイズ及び形状は現実の腕２０６ａ～２０６ｂの修正であり、仮想腕２０６ａ’～２０６ｂ’は、ユーザの現実の腕２０６ａ～２０６ｂに対してより大きく筋骨たくましくなる。例えば、仮想腕２０６ａ’～２０６ｂ’は、ユーザの現実の腕２０６ａ～２０６ｂよりも、筋肉量が多くなっても、筋肉が非常に際立っていても、胴回りが大きくなっても、体脂肪率が低くなっても、長くなってもよい。このように、ユーザがＡＲ ＨＭＤを介して自身を観察する場合、ユーザ１００は、敵ゲームキャラクタと交戦するときに、自分の仮想腕２０６ａ’～２０６ｂ’がＡＲシーン内の他者にはより威圧的に見えるため、より自信に満ちていることができる。
【0044】
一実施形態では、ユーザの身体特徴（例えば、現実の腕２０６ａ～２０６ｂ）の修正は、身体特徴から奥行きデータ及び元のテクスチャデータを検出して、身体特徴の仮想メッシュを生成することを含み得る。いくつかの実施形態では、外向きカメラは、そのＦＯＶ内の身体特徴及び他のオブジェクトに関連する奥行きデータ及び元のテクスチャデータを検出するように構成される。一実施形態では、仮想メッシュは、サイズ及び形状で変化させることができ、元のテクスチャデータとブレンドする修正されたテクスチャデータを使用して、仮想オブジェクトとしてレンダリングされることができる。例えば、図２Ａ及び図２Ｂを同時に参照すると、ＡＲ ＨＭＤ１０２の外向きカメラがユーザ１００の現実の腕２０６ａ～２０６ｂに関連する奥行きデータ及び元のテクスチャを検出した後、システムは、現実の腕２０６ａ～２０６ｂの仮想メッシュを生成する。現実の腕２０６ａ～２０６ｂの仮想メッシュを使用して、システムは、仮想メッシュのサイズ及び形状を変化させて、元のテクスチャデータと修正されたテクスチャデータとのブレンドを含む仮想腕２０６ａ’～２０６ｂ’を生成することができる。
【0045】
いくつかの実施形態では、身体特徴及び実世界オブジェクトは、奥行きデータなどの３次元特徴を含み得る。一実施形態では、奥行きデータは、対応する身体特徴及び実世界オブジェクトのワイヤフレームモデルを生成するために使用されることができる。いくつかの実施形態では、ユーザの身体特徴を修正する場合、システムは、元の奥行きデータをベースラインとして使用して、身体特徴の修正された画像を生成するように構成される。他の実施形態では、身体特徴及び実世界オブジェクトは元のテクスチャデータ、サーフェス輪郭、しわ、たるみ、縦じわなど、様々なサーフェスパラメータを含み得る。例えば、各ユーザ１００は、視覚的及び物理的に区別可能な自分の皮膚に関連する一意で異なるテクスチャ、例えば柔らかい、滑らか、粗い、乾いた、鱗状の割れなどを有し得る。いくつかの実施形態では、ユーザの修正された身体特徴は、元のテクスチャデータを修正されたテクスチャデータとブレンドして、元のテクスチャ及び修正されたテクスチャの境界に沿った遷移がシームレスであり、互いに動的に統合されて見える仮想メッシュを生成する。
【0046】
いくつかの実施形態では、仮想メッシュは、３Ｄモデルの高さ、幅、及び奥行きを定義するために、Ｘ、Ｙ、及びＺの地理座標での基準点を使用するデータを含み得る。いくつかの実施形態では、仮想メッシュは、３Ｄでユーザの身体特徴を表すようにＡＲシーン中でレンダリングされることができる。いくつかの実施形態では、仮想メッシュは、サイズ及び形状を変化させて、特定のコンフィグレーションを達成するように変形されることができる。
【0047】
図２Ｃ～図２Ｄは、ＡＲシーン、及び実質的にリアルタイムで生成されてユーザの身体の修正された画像を含む調整されたＡＲシーン２０４ｂとインタラクトするようにインタフェースオブジェクト１０４を操作している間、ＡＲグラス１０２を装着するユーザ１００の実施形態を示す。図２Ｃに示されるように、ユーザ１００は、ＡＲ ＨＭＤ１０２を装着し、インタフェースオブジェクト１０４を操作し、ＡＲ環境のＡＲシーンとインタラクトするための入力を提供するように、実世界空間１１０内に物理的に位置しているように示されている。図２Ｃに示されるように、ユーザ１００の視線方向２０２は、ユーザの中央部及び下肢に向けられる。従って、システムは、ＡＲシーンがユーザの現実の腕、脇部、及び脚を含むと決定することができる。
【0048】
いくつかの実施形態では、図２Ｄを参照すると、システムは、ユーザ１００のＡＲグラス１０２のディスプレイ２１６上で見える調整されたＡＲシーン２０４ｂを実質的にリアルタイムで生成するように構成される。図示のように、調整されたＡＲシーン２０４ｂは、ＡＲグラス１０２のディスプレイ２１６を介したユーザのＦＯＶからのビューである。一実施形態では、調整されたＡＲシーン２０４ｂは、ユーザの身体特徴がＡＲシーン内にあると検出される場合のユーザの身体特徴の修正された画像を含み得る。特に、調整されたＡＲシーン２０４ｂは、仮想腕２０６ａ’～２０６ｂ’、仮想腹部２０８’、及び仮想脚２１０ａ’～２１０ｂ’を含むユーザ１００の身体を表す仮想身体１０３’を含む。図２Ｄに示される図示の例では、仮想腕２０６ａ’～２０６ｂ’は、現実の腕２０６ａ～２０６ｂの修正であり、現実の腕のサイズ及び形状は、現実の腕２０６ａ～２０６ｂに対してより大きく、より筋骨たくましく見える仮想腕２０６ａ’～２０６ｂ’を生成するように修正される。
【0049】
別の例では、仮想腹部２０８’は、ユーザの腹部２０８の修正であり、腹部のサイズ及び形状を調整し、ユーザの現実の腹部２０８に対してより筋骨たくましく際立って見える仮想腹部２０８’を生成する。さらに別の例では、仮想脚２１０ａ’～２１０ｂ’は、現実の脚２１０ａ～２１０ｂの修正であり、現実の脚のサイズ及び形状を調整し、現実の脚２１０ａ～２１０ｂに対してより大きく、より筋骨たくましく見える仮想脚２１０ａ’～２１０ｂ’を生成する。このようにして、アバターがＡＲシーン内のユーザを表すと、アバターは、ユーザ１００の身体よりもがっしりして、強く見える仮想身体１０３’を有する。この結果、ユーザ１００がより自信に満ちることにより、ユーザ１００が自信をなくしている可能性のあるＡＲシーン内での課題及びタスクをユーザ１００に受けるように促し得る。
【0050】
図２Ｅ～図２Ｆは、ＡＲシーン、及び実質的にリアルタイムで生成されてユーザの身体の修正された画像を含む調整されたＡＲシーン２０４ｃとインタラクトするように、ＡＲグラス１０２を装着するユーザ１００の実施形態を示す。図２Ｅに示されるように、ユーザ１００は、ＡＲ ＨＭＤ１０２を装着し、インタフェースオブジェクト１０４を操作し、ＡＲ環境のＡＲシーンとインタラクトするための入力を提供するように、実世界空間１１０内に物理的に位置しているように示されている。特に、ユーザ１００は、実世界の鏡２１２の前に立って示され、鏡上に自分の姿を見ることができる。
【0051】
いくつかの実施形態では、図２Ｆを参照すると、システムは、ユーザ１００のＡＲグラス１０２のディスプレイ２１６を介して見える調整されたＡＲシーン２０４ｃを実質的にリアルタイムで生成するように構成される。図示のように、調整されたＡＲシーン２０４ｃは、ユーザの身体特徴がＡＲシーン内にあると検出される場合、ユーザの身体特徴の修正された画像をさらに含み得る、ユーザのアバター１００’を示す。特に、調整されたＡＲシーン２０４ｃは、ユーザの仮想腕２０６ａ’～２０６ｂ’、仮想腹部２０８’、仮想脚２１０ａ’～２１０ｂ’、及び仮想毛髪２１４’を含む。
【0052】
上述のように、ユーザの身体特徴（例えば、現実の腕、現実の脚、現実の腹部など）の修正は、身体特徴から奥行きデータ及び元のテクスチャデータを検出して、身体特徴の仮想メッシュを生成することを含み得、仮想メッシュはサイズ及び形状を変化させることができる。図２Ｆに示されるように、生成された仮想メッシュは、ユーザの仮想腕２０６ａ’～２０６ｂ’、仮想腹部２０８’、仮想脚２１０ａ’～２１０ｂ’、及び仮想毛髪２１４’を含む、ユーザのアバター１００’の仮想身体を表す。従って、ＡＲシーン中のユーザの身体特徴の修正により、ＡＲシーン中の目標、任務、障害物、またはタスクを達成する場合、ユーザが自分自身に自信が満ちていることができるような特定の方法で見える、または現れるように修正されることができる。
【0053】
図３は、ＡＲ ＨＭＤ１０２を装着しており、ＡＲシーンに入力を提供するためにインタフェースオブジェクト１０４を操作している間、ＡＲシーンとインタラクトするユーザ１００を示すユーザ１００のＡＲ環境でのビューの実施形態を示す。図示の例では、ＡＲ ＨＭＤ１０２のディスプレイ２１６は、ユーザが丘を駆け上がることを伴うビデオゲームのＡＲシーン２０４ｎを示す。一実施形態では、ＡＲ ＨＭＤ１０２及びインタフェースオブジェクト１０４上のカメラを使用して、ユーザがＨＭＤを装着しており、ゲームプレイ中にＡＲシーン２０４ｎとインタラクトしている間、ユーザの身体活動を監視することができる。例えば、ユーザの身体活動は、ユーザの身体運動、身体運動の速度、表情、ユーザの音声出力、ユーザの視線方向、ユーザのジェスチャ、ユーザのコントローラ入力、コントローラクリック速度などを含み得る。他の実施形態では、ＡＲ ＨＭＤ１０２及びインタフェースオブジェクト１０４のセンサは、ゲームプレイ中にユーザ１００の生理学的測定値をキャプチャするように構成される。一実施形態では、生理学的測定値は、心拍数、血圧、酸素飽和度、体温など、ユーザに対応する様々な測定値を含み得る。
【0054】
例えば、図３に示されるユーザ１００は、体をほとんど動かさない生活を送っており、ＡＲ関連ビデオゲームに関心がある可能性がある。ユーザのゲームプレイの間、ユーザは大量に発汗していることがあり、システムはユーザの生理学的測定値をキャプチャし得、これら生理学的測定値は、ユーザの心拍数、呼吸、及び体温が平均的なユーザよりも著しく高いことを指示し得る。一部の実施形態では、システムは、ユーザの感情を決定して、ユーザが自分のゲームプレイを楽しんでいるかどうかを決定するように構成される。一実施形態では、ＡＲ ＨＭＤ１０２のカメラは、ゲームプレイ中のユーザ１００の表情を追跡してキャプチャするように構成されてもよく、これら表情を分析して、表情に伴う感情を決定する。いくつかの実施形態では、ユーザの身体活動と生理学的測定値との両方を使用して、ユーザの感情を決定することができる。図３に示される図示の例では、システムは、ユーザが疲労していることを指示する表情をユーザがしていると決定し得る。ユーザ１００は、著しく高い心拍数を経験しており、ユーザが疲労しているように見えるため、ユーザが苦闘しており、ゲームプレイを続ける気をなくしている可能性があると推論されることができる。
【0055】
従って、いくつかの実施形態では、システムは、ゲームプレイの描写された強度を調整して、ユーザがビデオゲームをプレイし続けることを促すように構成される。図３でのディスプレイ２１６を参照すると、ＡＲシーン２０４ｎは、ユーザのアバター１００’が取り得る対応する経路と共に３つの描写された強度３０２ａ～３０２ｎに沿ってユーザのアバター１００’が丘を駆け上がることを示す。図示の例では、ＡＲシーン２０４ｎは、ゲームプレイ中の任意の時点でユーザ１００に導入されることができる合計３つの描写された強度３０２ａ～３０２ｎを示す。一実施形態では、描写された強度３０２ａ～３０２ｎのそれぞれは、ＡＲシーン内のゲームタスクがユーザにとってどの程度困難である、または難しい可能性があるかという知覚をユーザ１００に提供し得る。
【0056】
例えば、最も大きい勾配を有する経路を含む描写された強度３０２ａは、描写された強度３０２ｂ及び描写された強度３０２ｎに関連する経路よりも大きい勾配を有するため、ユーザ１００にとって最も困難であるように見える場合がある。いくつかの実施形態では、描写された強度３０２ａ～３０２ｎごとに、ユーザにとってゲームタスクがどの程度困難に見えるかという知覚のみが変化し（例えば、経路勾配に対して変化し）、ユーザ１００が描写された強度ごとのゲームタスクを達成するために用いる、身体強度及び労力の量は同じままである。言い換えれば、丘が描写された強度３０２ａに関連する丘と比較してあまり困難ではないと知覚される、描写された強度３０２ｎがユーザ１００に提示される場合、描写された強度３０２ａ及び描写された強度３０２ｎで丘を登ることを達成するためにユーザ１００’にかかる身体労力の量は実質的に同じままである。このように、ゲームプレイに見切りをつける間際にあるユーザに、より低い勾配（例えば、描写された強度３０２ｎ）を有する丘を登るゲームタスクが提示される場合、より低い勾配を有する丘が登り易く見えるため、ユーザは自分のゲームプレイを継続する可能性がより高くなり得る。
【0057】
図３にさらに示されるように、ユーザ１００がＡＲシーン２０４ｎとインタラクトする場合、システムは、ユーザの身体活動及び生理学的測定値を連続的に追跡して監視するように構成される。一部の実施形態では、ユーザのゲームプレイ中の任意の時点で、ユーザ１００がゲームプレイに苦闘しており、見切りをつける間際にあると決定される場合、システムは、ＡＲシーン２０４ｎの描写された強度３０２ａを動的に調整することができる。例えば、ディスプレイ２１６上に図示されるように、時間ｔ１では、システムは、ユーザ１００が激しく呼吸しており、大量に発汗しており、ユーザが動揺していることをユーザの表情が指示すると決定し得る。従って、時間ｔ１では、システムは、描写された強度３０２ａを、勾配が低くなった丘を含み、そのうえ登り易く見える、描写された強度３０２ｂに動的に調整するように構成される。別の例では、時間ｔ２では、システムは、描写された強度３０２ｂを、さらに勾配が低くなった丘を含み、そのうえ経路が最も登り易く見える、描写された強度３０２ｎにさらに調整してもよい。その結果、システムは、描写された強度の強度を下げて、その知覚を変化させ、ユーザが見切りをつけないように促すように構成される。代替に、他の実施形態では、システムは、ゲームタスクが簡単すぎると感じ得るユーザが挑戦するために、描写された強度の強度を増加させるように構成される。
【0058】
他の実施形態では、ユーザがゲームプレイに対して興奮しており肯定的であることをユーザの表情または他のインジケータが示す場合、システムは、描写された強度に対していかなる変化または調整も行うことなく、対応する描写された強度に関連する経路に沿ってユーザが継続することを可能にする。例えば、時間ｔ２に示されるように、描写された強度３０２ａの経路に沿って、ユーザ１００及びユーザのアバター１００’は、「はい！もうすぐ頂上です」という言葉を笑顔で表している。従って、ユーザの生理学的測定値のレベルが高まり得るが、ユーザ１００は丘の頂上に到達する気になっており、システムは描写された強度３０２ａに対していかなる調整も行わない。
【0059】
いくつかの実施形態では、モデルを使用して、ゲームプレイの描写された強度３０２を、知覚される難易度レベルが高くなっている描写された強度から、知覚される難易度レベルが低くなっている（例えば、丘の勾配を低下させている）描写された強度まで、動的に調整することができる。逆に、他の実施形態では、モデルを使用して、知覚される難易度がユーザ１００にとってより困難に見えるように描写された強度３０２を動的に調整することができる。例えば、生理学的測定値及びゲームプレイデータを入力として使用して、このモデルは、ユーザがゲームに退屈しており、見切りをつけ始めていると決定するために使用され得る。ユーザ１００がプレイし続けるように促すために、モデルを使用して、ＡＲシーン内のゲームタスクまたは障害物がより困難で、ユーザにとってより難しく見えるように、描写された強度３０２を動的に調整する。いくつかの実施形態では、システムは、ゲームコードを動的に調整することで、ＡＲシーン内の障害物または課題の知覚を変化させることによって、描写された強度３０２を変化させるように構成される。他の実施形態では、描写された強度３０２の調整は、ゲーム状態パラメータ及びゲームエンジングラフィックスを変化させることにより、対応する強度または難易度の設定でゲームコンテンツをレンダリングすることを必要とする。従って、モデルは、ＡＲシーン２０４の描写された強度３０２を動的に変化させるために使用されることができ、ユーザの身体特徴がＡＲシーン内で拡張される自己拡張フィルタを実装するために使用されることができる。従って、ビデオゲームの描写された強度における変化がユーザにとってあまり威圧的に見えなくし得るため、ユーザ１００の自己評価及び自信を改善することができ、ユーザはゲームプレイとインタラクトし続けるように促され得る。
【0060】
図４は、ユーザ１００ａ～１００ｂがそれぞれのＡＲ ＨＭＤ１０２及びインタフェースオブジェクト１０４を介してＡＲ環境中でインタラクトしている実施形態を示す。示されるように、ユーザ１００ａ及び１００ｂは、ＡＲ ＨＭＤ１０２及びインタフェースオブジェクト１０４を使用して、ＡＲ環境内で互いにインタラクトするように、実世界空間１１０内に物理的に位置している。特に、ユーザ１００ａ～１００ｂは、自宅の居間で、戦闘シーンを含むゲームタスクをどのように達成するかについて互いに戦略を入念にたてていることが示されている。図示の例では、ユーザ１００ａのＡＲ ＨＭＤ１０２ａのディスプレイ２１６ａは、ユーザ１００ａのＦＯＶからの調整されたＡＲシーン２０４ｎを示す。特に、ディスプレイ２１６ａは、仮想オブジェクト４０４ａ（例えば、銃）及び実世界オブジェクト４０２（例えば、長椅子）を保持するユーザ１００ｂを表すアバター１００ｂ’を示す。いくつかの実施形態では、ユーザ１００ｂのアバター１００ｂ’は、修正された様々な身体特徴、例えば、仮想腕、仮想脚などを含む、ユーザ１００ｂの身体を表す仮想身体１０３ｂ’を含む。図示の例では、仮想腕及び仮想脚のサイズ及び形状は、ユーザ１００ｂの現実の腕及び脚の修正形態であるため、仮想腕及び仮想脚はより大きく、非常に筋肉質な特徴になる。その結果、システムは、ＡＲシーン内のチームメイトまたは他のユーザの外観を変化させるように構成されるため、チームメイトは、実際の実生活での見た目と比較して、より威圧的であるように、またはより大胆であるように見える。
【0061】
いくつかの実施形態では、システムは、ユーザの音声の音を変化させるように構成される。例えば、ディスプレイ上に示されるように、アバター１００ｂ’が「戦闘準備ができた」と明言する場合、システムは、アバター１００ｂ’がＡＲシーンではより親しみやすい、自信に満ちている、または興奮しているように思われるように、ユーザ１００ｂの音声の音（例えば、ピッチ、トーン、音量、強度、速度など）に調整を行うように構成される。図４にさらに示されるように、ユーザ１００ｂのＡＲ ＨＭＤ１０２ｂのディスプレイ２１６ｂは、ユーザ１００ｂのＦＯＶからの調整されたＡＲシーン２０４ｎを示す。特に、ディスプレイ２１６ｂは、実世界のドアの前に立っている間、仮想オブジェクト４０４ｂ（例えば、銃）を保持しているユーザ１００ａのアバター１００ａ’を示す。いくつかの実施形態では、ユーザ１００ａのアバター１００ａ’は、形状及びサイズが調整されているユーザ１００ａの様々な身体特徴を含む、ユーザ１００ａの身体を表す仮想身体１０３ａ’を含む。図示の例では、ユーザ１００ａの仮想身体１０３ａ’のサイズ及び形状は、ユーザ１００ａの現実の身体よりも大きく、筋骨たくましい。
【0062】
一部の実施形態では、モデルを使用して、ユーザ１００ａ～１００ｂの身体特徴を動的に修正して、ユーザの身体特徴の仮想メッシュを生成することができ、この仮想メッシュは、それぞれのユーザのディスプレイ上にレンダリングするためにサイズ及び形状を変化させることができる。一実施形態では、モデルは、ユーザの身体特徴を修正するために、ユーザのプロファイル、ユーザキャプチャ生理学的測定値、ユーザキャプチャ身体測定値、及びゲームプレイデータを入力として受信することができてもよい。例えば、図４を参照すると、ユーザ１００ｂに関連する身体測定値は、ユーザが１０５ｌｂであり、たくましくない身体構造を有することを示し得る。ゲームプレイデータは、ユーザ１００ａ～１００ｂが戦闘シーンで敵兵士とインタラクトしていることを示し得る。前述の入力に基づいて、モデルを使用して、例えばユーザがよりたくましく見せるようにサイズ、形状、幾何学的形状などを調整する、調整されたＡＲシーン内で見た場合、よりたくましく、親しみやすく見える身体特徴を有するユーザ１００ｂのアバター１００ｂ’を生成することができる。このようにして、ユーザ１００ａが戦闘シーン中にユーザ１００ｂと並んで戦う場合、ユーザ１００ｂのアバター１００ｂ’がより攻撃的で威圧的であるように見えるため、ユーザ１００ａはユーザ１００ｂと並んで戦う場合により大胆な気持ちになり得る。
【0063】
図５は、ＡＲ環境のＡＲシーンとのユーザインタラクション中にユーザ１００に対応する様々なキャプチャされた測定値５０４を含む表５０２の実施形態を示す。示されるように、キャプチャされた測定値５０４は、ユーザ１００の生理学的測定値及び身体測定値と、それに対応する調整値５０６とを含む。一実施形態では、ユーザ１００がＡＲインタラクティブコンテンツとインタラクトしている間、システムは、ゲームプレイ中にユーザに関連する様々な生理学的測定値をキャプチャするように構成される。一例では、生理学的測定値は心拍数、血圧、酸素飽和度、呼吸、体温などを含み得る。さらに示されるように、キャプチャされた測定値５０４は、身長、体重、体脂肪率など、ユーザ１００に関連する様々な身体測定値を含み得る。
【0064】
いくつかの実施形態では、システムは、仮想環境中のユーザ１００のアバター１００’の生理学的測定値及び身体測定値を表すために使用され得る、対応する調整値５０６を決定するように構成される。ユーザ１００のキャプチャされた測定値５０４及びその対応する調整値５０６の例示を提供するために、一例では、システムは、ゲームプレイデータに基づいて、ユーザ１００が敵ゲームキャラクタとの戦闘シーンを含むＡＲシーンとインタラクトしていると決定し得る。さらに、ユーザのキャプチャされた測定値に基づいて、ユーザは、身長５’２"及び体重２６０ｌｂであり、体脂肪率４５％を有する。さらに示されるように、システムは、ユーザの心拍数が１２０（ＢＰＭ）であり、ユーザが過度に呼吸して発汗していると決定することができる。従って、ユーザの自己評価を引き上げ、ユーザが敵ゲームキャラクタに打ち勝つことができるという自信をユーザに与えるために、システムは、ユーザ１００のアバター１００’に対応する調整値５０６を生成して、アバター１００’が現実の生活でのユーザ１００よりもたくましく、体型で優れているように見せるように構成される。
【0065】
図示のように、ユーザのアバター１００’の身体測定値に対応する調整値５０６は、アバター１００’が身長６’２”及び体重２０５ｌｂであり、体脂肪率１８％を有することを示す。さらに、アバター１００’の生理学的測定値に対応する調整値５０６は、ユーザの心拍数が８５（ＢＰＭ）であることを示す。一実施形態では、システムは、ユーザの発汗量を調整し得る。例えば、ユーザ１００が過度に発汗している場合、システムは、アバターの発汗強度をより低い強度まで調整し得る。いくつかの実施形態では、システムは、アバター１００’によって作られる音、例えばその呼吸を調整して、アバター１００’の呼吸に関連する音を低減させるように、例えば、苦しそうにあえがせるのではなく、より制御して、安定して呼吸させるように構成される。従って、調整値５０６は、ユーザ１００に、ユーザの実世界に対してＡＲ環境中のユーザがより高いレベルの持久力及び体力を有するという知覚を与えることができる。このようにして、ユーザ１００は、強い身体運動及び活動を必要とし得るＡＲシーン内でインタラクトする場合、より自信に満ちていることができる。参照として、図５に示される表は、健康なユーザの様々な生理学的測定値及び身体測定値の範囲５０８をさらに含み得る。一実施形態では、範囲５０８は、調整値５０６を生成する際の参照として使用されることができる。
【0066】
図６は、ユーザプロファイル６０２、ユーザキャプチャ測定値６０４、及びゲームプレイデータ６０６を入力として使用して、ユーザのディスプレイ上でのレンダリングのためにＡＲシーンを動的に調整するためのモデル６２０を使用するための方法の実施形態を示す。上述のように、ＡＲシーンを調整することは、実質的にリアルタイムで実行され得、自己拡張フィルタを実装して、ユーザの身体特徴を修正することができる。また上述のように、いくつかの実施形態では、ＡＲシーンを調整することは、ゲームタスクまたは課題を、達成するのがより実現可能であると知覚するように、対応するＡＲシーンの描写された強度を調整することを含み得る。このようにして、これにより、ユーザは自分の身体特徴がＡＲシーン内でよりたくましく見えて、ＡＲシーンがユーザにあまり脅威的でなく見える場合、ユーザが自分自身により自信を持ち得るため、自己評価が低いユーザのＡＲエクスペリエンスを向上させて改善させることが容易になる。次に、これは、ユーザがＡＲインタラクションセッションに見切りをつけ、それを終了させるのではなく、自分のゲームプレイを継続するように促す。
【0067】
図６に示されるように、一実施形態では、システムは、ユーザプロファイル６０２、ユーザキャプチャ測定値６０４、及びゲームプレイデータ６０６内の様々な特徴量を識別するように構成される特徴量抽出動作（例えば、６０８、６１０、６１２）を含み得る。特徴量抽出動作が入力に関連する特徴量を識別した後、分類器動作（例えば、６１４、６１６、６１８）は、１つ以上の分類器を使用して特徴量を分類するように構成され得る。いくつかの実施形態では、システムは、分類器動作から分類された特徴量を受信するように構成されるユーザモデル６２０を含む。分類された特徴量を使用して、モデル６２０は、自己拡張フィルタを実装することによってユーザの身体特徴を修正し、ＡＲシーンの描写された強度を調整するために使用されることができる。いくつかの実施形態では、動作６２２は、モデル６２０を使用して、ユーザのどの身体特徴を修正すべきか、そしてどの調整をＡＲシーンの描写された強度に行うべきかを決定することができる。
【0068】
別の実施形態では、サーバ６２８に位置しているクラウドコンピューティング及びゲームシステム１１４は、ユーザの修正された身体特徴及びＡＲシーンの調整された描写された強度を、処理のために動作６２２から受信し得る。いくつかの実施形態では、クラウドコンピューティング及びゲームシステム１１４は、ＡＲユーザインタラクションプロセッサ６３０と協働して、ユーザの修正された身体特徴及びＡＲシーンの調整された描写された強度を処理して、ＡＲインタラクティブコンテンツを含む調整されたＡＲシーンを生成し得る。一実施形態では、動作６２４では、ユーザは、ＡＲグラスを装着しているユーザのディスプレイ上にレンダリングされることができるＡＲインタラクティブコンテンツを受信するように構成される。
【0069】
一実施形態では、システムは、ユーザプロファイル６０２を処理することがある。ユーザプロファイル６０２は、パーソナリティ特性（例えば、大胆、臆病、低い自己評価、楽観的、悲観的、リスクテイカーなど）ゲームプレイ傾向、ビヘイビア傾向、視聴履歴、プリファレンス、関心、無関心など、ユーザ１００に関連する様々な属性及び情報を含み得る。他の実施形態では、ユーザプロファイル６０２は、身長、体重、体脂肪率、肌の色、肌のきめ、及びユーザの身体特徴に関連する任意の他の属性など、ユーザに関連する様々な身体測定値を含み得る。いくつかの実施形態では、ユーザプロファイル抽出６０８動作は、ユーザプロファイル６０２を処理して、ユーザ１００のプロファイルに関連する特徴量を識別し、抽出するように構成される。ユーザプロファイル抽出６０８動作がユーザプロファイル６０２からの特徴量を処理して識別した後に、ユーザプロファイル分類器６１４動作は、１つ以上の分類器を使用して特徴量を分類するように構成される。一実施形態では、特徴量は、モデル６２０によってさらに洗練するための分類アルゴリズムを使用してラベル付けされる。
【0070】
別の実施形態では、システムは、ユーザキャプチャ生理学的測定値６０４を処理することができる。いくつかの実施形態では、ユーザキャプチャ測定値６０４は、心拍数、血圧、酸素飽和度、呼吸、体温など、ユーザに関連する様々な生理学的測定値を含み得る。上述のように、ユーザの身体活動は、ＡＲ環境とのユーザインタラクション中に連続的に監視され、追跡される。ユーザがＡＲ環境とインタラクトしている間、システムは、ゲームプレイ中の任意の時点でユーザの生理学的測定値を追跡し、キャプチャするように構成される。他の実施形態では、ユーザキャプチャ測定値６０４は、身体運動データ、表情データ、視線データ、音声キャプチャデータ、フェイスキャプチャデータ、コントローラ入力データなど、ユーザ活動に関連する様々なキャプチャされた属性及び情報も含み得る。例えば、ユーザ１００は、ユーザよりも大柄で身体的に強く見える敵キャラクタとユーザが戦闘していることを伴う、ＡＲシーンとインタラクトしている可能性がある。ユーザプロファイル、キャプチャされた心拍数データ、及びフェイスキャプチャデータに基づいて、システムは、ユーザが敵キャラクタを恐れており、敵キャラクタによって威嚇されていると決定し得る。従って、システムは、ＡＲシーン内のユーザのアバターが敵キャラクタよりも大柄で身体的に強く見えるように、ユーザの身体特徴を修正して、現すことができる。
【0071】
いくつかの実施形態では、ユーザキャプチャ測定値特徴量抽出６１０動作は、ユーザキャプチャ測定値６０４を処理して、ユーザのユーザキャプチャ測定値に関連する特徴量を識別し、抽出するように構成される。ユーザキャプチャ測定値特徴量抽出６１０の動作がユーザキャプチャ測定値６０４から特徴量を処理して識別した後、ユーザキャプチャ測定値分類器６１６の動作は、１つ以上の分類器を使用して特徴量を分類するように構成される。一実施形態では、特徴量は、モデル６２０によってさらに洗練するための分類アルゴリズムを使用してラベル付けされる。
【0072】
別の実施形態では、システムは、ゲームプレイデータ６０６を処理することがある。一実施形態では、ゲームプレイデータ６０６は、実世界空間、実世界オブジェクト、仮想オブジェクト、日付、時間、インタラクションに関するコンテキストデータなどで、ユーザがインタラクトしているＡＲ環境のコンテキストに関連する様々な情報を含み得る。いくつかの実施形態では、ゲームプレイデータ特徴量抽出６１２の動作は、ゲームプレイデータ６０６を処理して、ユーザのゲームプレイデータに関連する特徴量を識別して抽出するように構成される。ゲームプレイデータ特徴量抽出６１２がゲームプレイデータ６０６からの特徴量を処理して識別した後に、ゲームプレイデータ分類器６１８の動作は、１つ以上の分類器を使用して特徴量を分類するように構成される。いくつかの実施形態では、特徴量は、モデル６２０によってさらに洗練するための分類アルゴリズムを使用してラベル付けされる。
【0073】
いくつかの実施形態では、モデル６２０は、分類特徴量（例えば、ユーザプロファイル分類特徴量、ユーザキャプチャ測定値分類特徴量、ゲームプレイデータ分類特徴量）を入力として受信するように構成される。別の実施形態では、直接入力ではない、または入力／フィードバックの欠如である他の入力もまた、モデル６２０への入力として取得されてもよい。モデル６２０は、自己拡張フィルタを実装することによってユーザの身体特徴を修正し、ＡＲシーンの描写された強度を調整するために使用されることができる機械学習モデルを使用し得る。他の実施形態では、モデル６２０は、調整されたＡＲシーンに応答する、ユーザキャプチャ測定値に対する更新に関連するデータなどのフィードバックデータを入力として受信することができる。
【0074】
一例では、ユーザに関連するユーザプロファイル６０２は、ゲームタスクが困難すぎる、または難しすぎるように見える場合、ユーザが自分のゲームプレイセッションに見切りをつけて、それを終了させる傾向を有することを示し得る。さらに、ゲームプレイデータ６０６は、ユーザが複数の敵兵士との戦闘シーンを含むＡＲインタラクティブコンテンツとインタラクトしていることを示し得る。ＡＲインタラクティブコンテンツとインタラクトしている間、ユーザに関連するユーザキャプチャ測定値６０４に基づいて、システムは、ユーザが圧倒されていること、そしてユーザの血圧が過度であることを示す表情をユーザが有すると決定し得る。その結果、システムは、ＡＲインタラクティブコンテンツに関連する描写された強度３０２が強すぎること、そしてユーザがゲームプレイセッションを終了させる可能性があることを推論し得る。従って、ユーザプロファイル６０２、ユーザキャプチャ測定値６０４、及びゲームプレイデータ６０６を使用して、モデル６２０は、ＡＲインタラクティブコンテンツに関連する描写された強度３０２を調整するために使用され得る。一例では、システムは、ユーザがＡＲコンテンツによって圧倒されないように、敵兵士の数を最小にすること、敵兵士の身体特徴を修正してあまり親しみやすく見せないこと、またはＡＲインタラクティブコンテンツの強度に関連する任意の他の変化によって、描写された強度３０２を調整し得る。他の実施形態では、モデル６２０を使用して、ユーザの身体特徴を調整して修正し得る。例えば、このモデルを使用して、ユーザのアバターにさらなる体肢（例えば、腕、脚など）を追加し、ユーザの音声の音を変化させて、ユーザがより身体的に威圧的で、自信に満ちているように見え、また聞こえるという知覚をユーザに提供することができる。
【0075】
いくつかの実施形態では、動作６２２は、ユーザの身体特徴を修正するために、モデル６２０を使用して、ＡＲシーンの描写された強度３０２に行うべき調整のタイプと、実装すべき自己拡張フィルタのタイプとを決定することができる。描写された強度３０２に対する調整及び自己拡張フィルタに関連するデータが決定されると、このデータは、処理のためにサーバ６２８によって受信される。いくつかの実施形態では、サーバ６２８は、クラウドコンピューティング及びゲームシステム１１４と、ＡＲユーザインタラクションプロセッサ６３０とを含み得る。一実施形態では、クラウドコンピューティング及びゲームシステム１１４は、処理のために描写された強度に対する調整及びユーザの身体特徴に対する調整を受信し得る。一実施形態では、クラウドコンピューティング及びゲームシステム１１４は、様々なＡＲシーンを含み得る環境のＡＲインタラクティブコンテンツ及びコンテキストを生成するように構成される。一実施形態では、ＡＲシーンは、ユーザインタラクションと、ユーザインタラクティビティの進行とに基づいて連続的に更新される。
【0076】
いくつかの実施形態では、クラウドコンピューティング及びゲームシステム１１４は、ＡＲユーザインタラクションプロセッサ６３０と協働して、調整されたＡＲシーン内のユーザの調整された描出された強度及び修正された身体特徴をレンダリングし得る。例えば、ＡＲユーザインタラクションプロセッサ６３０は、勾配が急な丘をユーザが登ることによって自信をなくしていることをユーザの表情が指示すると決定し得る。従って、クラウドコンピューティング及びゲームシステム１１４は、丘が急に見えず、勾配が低い丘を含む、描写された強度が低い丘をレンダリングした場合、ユーザがより楽しいＡＲエクスペリエンスを有すると推論し得る。
【0077】
クラウドコンピューティング及びゲームシステム１１４、ＡＲユーザインタラクションプロセッサ６３０がＡＲインタラクティブコンテンツを生成した後、動作６２４は、ＡＲインタラクティブコンテンツを受信するように構成されるため、ユーザ１００は、ＡＲインタラクティブコンテンツとインタラクトすることができる。一実施形態では、ＡＲインタラクティブコンテンツは、ＡＲシーンの描写された強度３０２に対して行われた様々な調整と、ユーザの身体特徴を修正するための自己拡張フィルタの実装とを有する、調整されたＡＲシーンを含み得る。いくつかの実施形態では、ユーザが調整されたＡＲシーンとインタラクトしている間、ユーザが修正されたＡＲシーンに応答する場合、動作６０４は、ユーザキャプチャ測定値に対するフィードバック及び更新を連続的に受信することができる。このフィードバックは、ＡＲシーンに対して行われる調整へのユーザ応答を評価するように構成されることができる。フィードバックは、ユーザによって明示されても、または黙示されてもよい。例えば、ＡＲシーン内の丘の勾配があまり急でない勾配を有するように低下し、ユーザが圧倒されていることを示す表情をユーザが表し続ける場合、丘の勾配をさらに低下させることができる。従って、様々な推論は、ユーザのフィードバックによってキャプチャされることができ、ユーザキャプチャ測定値６０４及びユーザプロファイル６０２に組み込まれることができることにより、描写された強度及びユーザの身体特徴に対する調整がより正確になるのに役立つことができる。
【0078】
図７は、ユーザのＡＲシーンを生成し、ユーザの身体特徴の修正画像を含むようにＡＲシーンを調整するための方法を示す。一実施形態では、図７に記載の方法は、ユーザの身体特徴を修正して、ＡＲ環境中でユーザをよりたくましく、強く見せることができるため、ユーザに大きい自信感を与える。この結果、ユーザは、ＡＲ環境中の障害物または課題によって自信に満ちているようになり得、またあまり自信をなくしていなくなり得るため、ユーザのＡＲエクスペリエンスが向上し、改善されることができる。一実施形態では、方法は、拡張現実（ＡＲ）グラスを装着しているユーザのディスプレイ上にレンダリングするためのＡＲシーンを生成するように構成される動作７０２を含む。いくつかの実施形態では、ＡＲシーンは、実世界空間と、実世界空間にオーバーレイされた仮想オブジェクトとを含む。例えば、ユーザは、ディスプレイを含むＡＲゴーグルを装着していてもよい。実世界オブジェクトと仮想オブジェクトとの両方を含むＡＲ環境中に没入している間、ユーザは、ユーザに表示される様々な仮想オブジェクト及び実世界オブジェクトとインタラクトすることができる。
【0079】
図７に示される方法は、次いで、動作７０４に進み、この動作は、ＡＲグラスからＡＲシーン内への視野を分析して、ユーザの身体特徴の画像を検出するように構成される。一実施形態では、動作７０４は、視野がユーザ（または他のユーザ）の身体特徴の少なくとも一部に向けられる場合、ユーザの身体特徴の画像を検出するように構成される。例えば、ユーザがＡＲ環境内で様々な方向で動き回り、見回る場合、ＡＲ ＨＭＤ１０２のＦＯＶ１０８は、ユーザの手、腕、腹部、脚、足などのユーザの身体特徴を検出し得る。別の例では、ＡＲ ＨＭＤ１０２のＦＯＶ１０８は、ＡＲ環境内のその他のユーザ及びゲームキャラクタの身体特徴を検出し得る。一部の実施形態では、動作７０４は、外向きカメラを使用して、身体運動データ、視線データ、音声キャプチャデータ、フェイスキャプチャデータ、及びコントローラ入力データなど、ユーザの様々な身体活動を検出するように構成される。
【0080】
方法は動作７０６に進み、この動作は、ＡＲシーンを実質的にリアルタイムで調整して、ＡＲグラスの視野から見たＡＲシーン内にあると検出されるユーザの身体特徴または他のユーザの身体特徴の画像の少なくとも一部を修正するように構成される。いくつかの実施形態では、動作７０６は、身体特徴から奥行きデータ及び元のテクスチャデータを検出してこの身体特徴の仮想メッシュを生成することを含む、ユーザの身体特徴の画像を修正するように構成される。一実施形態では、仮想メッシュは、３Ｄでユーザの身体特徴を表すようにＡＲシーン中でレンダリングされることができる。いくつかの実施形態では、仮想メッシュは、サイズ及び形状を変化させて、特定のコンフィグレーションを達成するように変形されることができる。例えば、システムは、仮想メッシュを生成するための大きさによって、またはユーザが好むいずれかの要因によって、身体特徴のサイズ及び形状を増加させても、または減少させてもよい。他の実施形態では、仮想メッシュは、元のテクスチャデータとブレンドする修正されたテクスチャデータを使用してレンダリングされることができる。例えば、修正されたテクスチャデータと元のテクスチャデータとのブレンドにより、仮想メッシュは、修正されたテクスチャデータと元のテクスチャデータとの間の境界に沿って連続的に現れて統合され得る。
【0081】
図８は、本開示の様々な実施形態の態様を実行するために使用できる例示的なデバイス８００の構成要素を示す。このブロック図は、本開示の実施形態を実施するのに好適なパーソナルコンピュータ、ビデオゲームコンソール、パーソナルデジタルアシスタント、サーバ、または他のデジタルデバイスを組み込むことができる、またはこれらであり得る、デバイス８００を示す。デバイス８００は、ソフトウェアアプリケーション及び任意選択的にオペレーティングシステムを動作させる中央処理装置（ＣＰＵ）８０２を含む。ＣＰＵ８０２は、１つまたは複数の同種または異種の処理コアで構成され得る。例えば、ＣＰＵ８０２は、１つまたは複数の処理コアを有する１つまたは複数の汎用マイクロプロセッサである。さらなる実施形態は、クエリの解釈、文脈的に関連するリソースの識別、及び文脈的に関連するリソースのビデオゲーム内での即時実施及びレンダリングなどの処理操作を、高並列及び計算集約的なアプリケーションに特に適合したマイクロプロセッサアーキテクチャを有する１つ以上のＣＰＵを使用して、実施することができる。デバイス８００は、ゲームセグメントをプレイするプレーヤにローカライズされたもの（例えば、ゲームコンソール）、またはプレーヤからリモートであるもの（例えば、バックエンドサーバプロセッサ）、またはクライアントへのゲームプレイのリモートストリーミングのためにゲームクラウドシステムで仮想化を使用する多くのサーバの１つであってもよい。
【0082】
メモリ８０４は、ＣＰＵ８０２が使用するアプリケーション及びデータを格納する。ストレージ８０６は、アプリケーション及びデータ用の不揮発性ストレージ及び他のコンピュータ可読媒体を提供し、かつ、固定ディスクドライブ、取り外し可能ディスクドライブ、フラッシュメモリデバイス、及びＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、Ｂｌｕ－ｒａｙ（登録商標）、ＨＤ－ＤＶＤ、または他の光学記憶デバイス、ならびに信号伝送及び記憶媒体を含み得る。ユーザ入力デバイス８０８は、１人以上のユーザからのユーザ入力をデバイス８００へ通信するものであり、その例には、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、スチルレコーダ／カメラもしくはビデオレコーダ／カメラ、ジェスチャを認識する追跡デバイス、及び／またはマイクロフォンが挙げられ得る。ネットワークインターフェース８１４は、デバイス８００が電子通信ネットワークを介して他のコンピュータシステムと通信することを可能にし、かつ、ローカルエリアネットワーク、及びインターネットなどの広域ネットワークを介する有線または無線通信を含み得る。オーディオプロセッサ８１２は、ＣＰＵ８０２、メモリ８０４、及び／またはストレージ８０６によって提供される命令及び／またはデータから、アナログまたはデジタルのオーディオ出力を生成するように適合されている。ＣＰＵ８０２、メモリ８０４、データストレージ８０６、ユーザ入力デバイス８０８、ネットワークインターフェース８１０、及びオーディオプロセッサ８１２を含むデバイス８００の構成要素は、１つ以上のデータバス８２２を介して接続されている。
【0083】
グラフィックスサブシステム８２０がさらに、データバス８２２及びデバイス８００の構成要素と接続されている。グラフィックスサブシステム８２０は、グラフィックス処理装置（ＧＰＵ）８１６及びグラフィックスメモリ８１８を含む。グラフィックスメモリ８１８は、出力画像の各画素の画素データを格納するために使用される表示メモリ（例えばフレームバッファ）を含む。グラフィックスメモリ８１８は、ＧＰＵ８０８と同じデバイスに統合する、ＧＰＵ８１６に別個のデバイスとして接続する、かつ／またはメモリ８０４内に実装することができる。画素データは、ＣＰＵ８０２から直接グラフィックスメモリ８１８へ提供することができる。代替として、ＣＰＵ８０２は、所望の出力画像を定義するデータ及び／または命令をＧＰＵ８１６に提供し、ＧＰＵ８１６は、そこから、１つ以上の出力画像の画素データを生成する。所望の出力画像を定義するデータ及び／または命令は、メモリ８０４及び／またはグラフィックスメモリ８１８に格納することができる。実施形態において、ＧＰＵ８１６は、シーンの形状、照明、陰影、質感、動き、及び／またはカメラのパラメータを定義する命令及びデータから、出力画像の画素データを生成する３Ｄレンダリング機能を含む。ＧＰＵ８１６はさらに、シェーダプログラムを実行可能な１つまたは複数のプログラム可能実行ユニットを含み得る。
【0084】
グラフィックスサブシステム８１４は、グラフィックスメモリ８１８から画像の画素データを定期的に出力して、ディスプレイデバイス８１０に表示させる。ディスプレイデバイス８１０は、デバイス８００からの信号に応じて視覚情報を表示可能である任意のデバイスであり得、これにはＣＲＴ、ＬＣＤ、プラズマ、及びＯＬＥＤディスプレイが含まれる。デバイス８００は、ディスプレイデバイス８１０に、例えばアナログ信号またはデジタル信号を提供することができる。
【0085】
現在の実施形態のゲームへのアクセス提供など、広範囲な地域にわたり配信されるアクセスサービスは、多くの場合、クラウドコンピューティングを使用することに留意されたい。クラウドコンピューティングとは、動的にスケーラブルで多くの場合仮想化されたリソースがインターネットを介したサービスとして提供されるコンピューティング様式である。ユーザは、ユーザをサポートする「クラウド」の技術的インフラストラクチャのエキスパートである必要はない。クラウドコンピューティングは、サービスとしてのインフラストラクチャ（ＩａａＳ）、サービスとしてのプラットフォーム（ＰａａＳ）、サービスとしてのソフトウェア（ＳａａＳ）などの異なるサービスに分類することができる。クラウドコンピューティングサービスは、多くの場合、ビデオゲームなどの共通のアプリケーションを、ウェブブラウザからアクセスするオンラインで提供するが、ソフトウェア及びデータは、クラウド内のサーバに記憶される。クラウドという用語は、コンピュータネットワーク図におけるインターネットの描かれ方に基づいたインターネットの隠喩として使用され、複雑なインフラストラクチャを隠し持つことの抽象的概念である。
【0086】
ゲームサーバは、いくつかの実施形態では、ビデオゲームプレーヤのための持続的情報プラットフォームの動作を実行するために使用され得る。インターネット上でプレイされる大抵のビデオゲームは、ゲームサーバへの接続を介して動作する。通常、ゲームは、プレーヤからデータを収集し、収集したデータを他のプレーヤに配信する専用サーバアプリケーションを使用する。他の実施形態では、ビデオゲームは、分散型ゲームエンジンによって実行されてよい。これらの実施形態では、分散型ゲームエンジンは、複数の処理エンティティ（ＰＥ）上で実行されてよく、その結果、各ＰＥは、ビデオゲームが実行される所与のゲームエンジンの機能セグメントを実行する。各処理エンティティは、ゲームエンジンからは単なる計算ノードと見なされる。ゲームエンジンは通常、機能的に多様な一連の動作を行って、ユーザが体験する追加のサービスと共にビデオゲームアプリケーションを実行する。例えば、ゲームエンジンは、ゲームロジックを実装し、ゲーム計算、物理的過程、ジオメトリ変換、レンダリング、ライティング、シェーディング、音声、及び追加のゲーム内またはゲーム関連サービスを実行する。追加のサービスは、例えば、メッセージング、ソーシャルユーティリティ、音声通信、ゲームプレイ再生機能、ヘルプ機能などを含み得る。ゲームエンジンは、特定のサーバのハイパーバイザによって仮想化されたオペレーティングシステム上で実行されてよいが、他の実施形態では、ゲームエンジン自体が複数の処理エンティティに分散され、各エンティティはデータセンタの異なるサーバユニットに常駐してよい。
【0087】
この実施形態によると、実行のために各処理エンティティは、各ゲームエンジンセグメントのニーズに応じて、サーバユニット、仮想マシン、またはコンテナであってよい。例えば、ゲームエンジンセグメントがカメラの変換を担当する場合、比較的単純な数学演算（例えば、行列変換）を多数行うことになるので、その特定のゲームエンジンセグメントは、グラフィックス処理装置（ＧＰＵ）に関連付けられた仮想マシンとともにプロビジョニングされてよい。より少ないがより複雑な操作を必要とする他のゲームエンジンセグメントは、１つ以上のより高出力の中央処理装置（ＣＰＵ）に関連付けられた処理エンティティとともにプロビジョニングされてよい。
【0088】
ゲームエンジンを分散することにより、ゲームエンジンは、物理サーバユニットの能力に拘束されない弾力性のある計算特性を備える。代わりに、ゲームエンジンは、必要に応じて、ビデオゲームの要求を満たすためにより多いまたは少ない計算ノードとともにプロビジョニングされる。ビデオゲーム及びビデオゲームプレーヤの観点からは、複数の計算ノードに分散されているゲームエンジンは、ゲームエンジンマネージャまたはスーパーバイザがワークロードを分散し、結果をシームレスに統合して、エンドユーザにビデオゲーム出力構成要素を提供するので、単一の処理エンティティで実行される非分散ゲームエンジンと区別できない。
【0089】
ユーザは、少なくともＣＰＵ、ディスプレイ、及びＩ／Ｏを含むクライアントデバイスにより遠隔サービスにアクセスする。クライアントデバイスは、ＰＣ、携帯電話、ネットブック、ＰＤＡなどであってよい。一実施形態では、ゲームサーバ上で実行するネットワークは、クライアントが使用するデバイスの種類を認識し、採用される通信方法を調整する。別の事例では、クライアントデバイスは、ＨＴＭＬなどの標準的な通信方法を使用して、インターネットを介してゲームサーバ上のアプリケーションにアクセスする。
【0090】
所与のビデオゲームまたはゲームアプリケーションは、特定のプラットフォーム及び特定の関連コントローラデバイス用に開発され得ることを、理解されたい。しかしながら、本明細書に提示されるようなゲームクラウドシステムを介してこのようなゲームを利用可能にするときに、ユーザは、異なるコントローラデバイスによってビデオゲームにアクセスすることができる。例えば、ゲームは、ゲームコンソール及びその関連したコントローラのために開発されている可能性があるが、ユーザは、キーボード及びマウスを利用してパーソナルコンピュータからゲームのクラウドベースのバージョンにアクセスしている可能性がある。このようなシナリオにおいて、入力パラメータ構成は、ユーザの利用可能なコントローラデバイス（この事例において、キーボード及びマウス）により生成されることが可能である入力から、ビデオゲームの実行のために許容可能である入力へのマッピングを定義することが可能である。
【0091】
別の実施例では、ユーザは、タブレットコンピューティングデバイス、タッチスクリーンスマートフォン、または他のタッチスクリーン駆動デバイスを介して、クラウドゲームシステムにアクセスし得る。この場合、クライアントデバイス及びコントローラデバイスは、同じデバイス内に一緒に統合され、検出されたタッチスクリーン入力／ジェスチャにより入力が提供される。このようなデバイスについて、入力パラメータ構成は、ビデオゲームについてのゲーム入力に対応する特定のタッチスクリーン入力を定義することができる。例えば、ボタン、指向性パッド、または他のタイプの入力要素は、ビデオゲームの実行中に表示またはオーバーレイされて、ユーザがゲーム入力を生成するためにタッチできるタッチスクリーン上の位置を示す可能性がある。特定の向きにおけるスワイプなどのジェスチャ、または特定のタッチモーションもゲーム入力として検出され得る。一実施形態では、タッチスクリーン上での制御操作にユーザを慣れさせるために、例えばビデオゲームのゲームプレイを始める前に、タッチスクリーンを介してゲームプレイに入力する方法を示すチュートリアルが、ユーザに提供できる。
【0092】
いくつかの実施形態では、クライアントデバイスは、コントローラデバイスについての接続ポイントとして機能する。すなわち、コントローラデバイスは、無線接続または有線接続を介してクライアントデバイスと通信し、コントローラデバイスからクライアントデバイスへ入力を送信する。次に、クライアントデバイスは、これらの入力を処理して、その後入力データを、ネットワーク（例えばルータなどのローカルネットワークデバイスを介してアクセスされるネットワーク）を介して、クラウドゲームサーバへ送信し得る。しかしながら、他の実施形態において、コントローラ自体は、ネットワークを介してクラウドゲームサーバへ直接に入力を通信する能力を有し、これらのような入力を最初にクライアントデバイスを通して通信する必要がなく、ネットワーク化されたデバイスであることが可能である。例えば、コントローラは、ローカルネットワークデバイス（上述のルータなど）に接続し、クラウドゲームサーバへデータを送信し、このクラウドゲームサーバからデータを受信する可能性がある。したがって、クライアントデバイスは、クラウドベースのビデオゲームからビデオ出力を受信し、それをローカルディスプレイにレンダリングすることを必要とされたままであることができながら、入力レイテンシは、コントローラがクラウドゲームサーバへネットワーク経由で直接に入力を送信することを可能にし、クライアントデバイスをバイパスすることにより減少することが可能である。
【0093】
一実施形態では、ネットワーク化されたコントローラ及びクライアントデバイスは、特定のタイプの入力をコントローラからクラウドゲームサーバへ直接的に、また他のタイプの入力をクライアントデバイスを介して送信するように構成できる。例えば、コントローラ自体は別として、任意の追加のハードウェアまたは処理に依存しない検出による入力は、クライアントデバイスを迂回して、ネットワークを介して直接コントローラからクラウドゲームサーバへ送信することができる。このような入力は、ボタン入力、ジョイスティック入力、埋め込み型動き検出入力（例えば、加速度計、磁力計、ジャイロスコープ）などを含み得る。しかしながら、追加のハードウェアを利用する、またはクライアントデバイスによる処理を必要とする入力は、クライアントデバイスによりクラウドゲームサーバへ送信できる。これらは、クラウドゲームサーバへ送信する前に、クライアントデバイスにより処理されることができるゲーム環境からキャプチャされたビデオまたは音声を含むことができる。加えて、コントローラの動き検出ハードウェアからの入力は、キャプチャされたビデオと併せてクライアントデバイスにより処理され、コントローラの位置及び動きを検出することができ、その後、クライアントデバイスによりクラウドゲームサーバへ通信される。様々な実施形態によるコントローラデバイスはまた、クライアントデバイスから、または直接クラウドゲームサーバから、データ（例えばフィードバックデータ）を受信し得ることを理解されたい。
【0094】
本明細書で定義される様々な実施形態は、本明細書で開示される様々な特徴を使用する特定の実施態様に組み合わされてもよい、または組み立てられ得ることを、理解されたい。従って、提供される例は、可能な例の一部にすぎず、様々な要素を組み合わせることでより多くの実施態様を規定することが可能な様々な実施態様に制限を加えるものではない。ある例では、ある実施態様は、開示されたまたは同等の実施態様の趣旨から逸脱することなく、より少ない要素を含んでもよい。
【0095】
本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースまたはプログラマブル民生用エレクトロニクス、ミニコンピュータ、メインフレームコンピュータなどを含む種々のコンピュータシステム構成によって実施してもよい。本開示の実施形態はまた、有線ベースネットワークまたは無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても、実施することができる。
【0096】
方法の操作は特定の順序で記載したが、修正されたゲーム状態を生成するためのテレメトリ及びゲーム状態データの処理が所望の方法で実行される限り、操作間に他のハウスキーピング操作が実行されてもよく、または操作がわずかに異なる時間に起こるように調整されてもよく、またはシステム内に操作を分散することで、処理に関連する様々な間隔で処理操作が起こることを可能にしてもよいことを、理解されたい。
【0097】
１つ以上の実施形態は、コンピュータ可読媒体上のコンピュータ可読コードとして作ることもできる。コンピュータ可読媒体は、データを記憶することができる任意のデータ記憶装置とすることができる。データはその後にコンピュータシステムによって読み取ることができる。コンピュータ可読媒体の例は、ハードドライブ、ネットワーク接続ストレージ（ＮＡＳ）、読み出し専用メモリ、ランダムアクセスメモリ、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープ、並びに他の光学及び非光学データストレージデバイスを含む。コンピュータ可読媒体には、コンピュータ可読コードが分散方式で記憶され実行されるように、ネットワーク接続されたコンピュータシステムにわたり分散されたコンピュータ可読有形媒体が含まれ得る。
【0098】
一実施形態では、ビデオゲームは、ゲーム機、パーソナルコンピュータ、またはサーバ上でローカルに実行される。いくつかの場合、ビデオゲームは、データセンタの１つ以上のサーバによって実行される。ビデオゲームが実行されるとき、ビデオゲームのいくつかのインスタンスは、ビデオゲームのシミュレーションであり得る。例えば、ビデオゲームは、ビデオゲームのシミュレーションを生成する環境またはサーバによって実行され得る。シミュレーションは、いくつかの実施形態では、ビデオゲームのインスタンスである。他の実施形態では、シミュレーションはエミュレータによって生成されてもよい。いずれの場合でも、ビデオゲームがシミュレーションとして表現されている場合、そのシミュレーションは、ユーザ入力によってインタラクティブにストリーミング、実行、及び／または制御できるインタラクティブコンテンツをレンダリングするために実行することができる。
【0099】
前述の実施形態は、理解を明確にするためにある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。したがって、本実施形態は、限定ではなく例示としてみなされるべきであり、本実施形態は、本明細書に記載される詳細に限定されるべきではなく、添付の特許請求の範囲及び均等物の中で変更されてもよい。
【図1A】
【図1B】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【国際調査報告】