特表 2024-545002 仮想現実におけるヘッドアップディスプレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-05

(54)【発明の名称】仮想現実におけるヘッドアップディスプレイ

(51)【国際特許分類】

   A63F 13/53 20140101AFI20241128BHJP

   A63F 13/52 20140101ALI20241128BHJP

   A63F 13/25 20140101ALI20241128BHJP

   A63F 13/428 20140101ALI20241128BHJP

   A63F 13/79 20140101ALI20241128BHJP

   A63F 13/847 20140101ALI20241128BHJP

   A63F 13/424 20140101ALI20241128BHJP

   A63F 13/30 20140101ALI20241128BHJP

   G06F 3/01 20060101ALI20241128BHJP

   G06F 3/0481 20220101ALI20241128BHJP

【ＦＩ】

A63F13/53

A63F13/52

A63F13/25

A63F13/428

A63F13/79

A63F13/847

A63F13/424

A63F13/30

G06F3/01 510

G06F3/0481

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024529185

(86)(22)【出願日】2022-11-03

(85)【翻訳文提出日】2024-06-18

(86)【国際出願番号】 US2022048885

(87)【国際公開番号】W WO2023091309

(87)【国際公開日】2023-05-25

(31)【優先権主張番号】17/528,067

(32)【優先日】2021-11-16

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】518187455

【氏名又は名称】ソニー・インタラクティブエンタテインメント エルエルシー

(74)【代理人】

【識別番号】100099324

【弁理士】

【氏名又は名称】鈴木 正剛

(72)【発明者】

【氏名】エリック エム． ハヤシ

(72)【発明者】

【氏名】クリストファー フィリップ ニコルス

(72)【発明者】

【氏名】ヘストン バーバー

【テーマコード（参考）】

5E555

【Ｆターム（参考）】

5E555AA24

5E555AA76

5E555BA02

5E555BA03

5E555BA04

5E555BA20

5E555BA38

5E555BB02

5E555BB03

5E555BB04

5E555BB20

5E555BB38

5E555BC08

5E555BE17

5E555CA42

5E555CB45

5E555CB65

5E555CC05

5E555DA08

5E555DB53

5E555DC09

5E555DC10

5E555DC26

5E555DC27

5E555DC32

5E555DC62

5E555DC63

5E555DC82

5E555DD07

5E555EA08

5E555EA14

5E555EA22

5E555FA00

(57)【要約】

方法は、ユーザのヘッドマウントディスプレイに表示するためのビデオゲームの仮想環境のビューをレンダリングすることであって、仮想環境は複数のオブジェクトを含む、レンダリングすることを含む。方法は、ユーザの視線を追跡することを含む。方法は、ユーザの視線が一定期間ビューのオブジェクトに向けられていることを検出することを含む。方法は、オブジェクトに関連する情報を含むヘッドアップディスプレイ（ＨＵＤ）インターフェイスを生成することを含む。方法は、仮想環境のビューのオブジェクトの近くにあるＨＵＤインターフェイスを表面化することを含む。
【選択図】図３Ａ

【特許請求の範囲】

【請求項1】

ユーザのヘッドマウントディスプレイに表示するためのビデオゲームの仮想環境のビューをレンダリングし、前記仮想環境は複数のオブジェクトを含み、
前記ユーザの視線を追跡し、
前記ユーザの前記視線が一定期間前記ビューのオブジェクトに向けられていることを検出し、
前記オブジェクトに関連する情報を含むヘッドアップディスプレイ（ＨＵＤ）インターフェイスを生成し、
前記仮想環境の前記ビューの前記オブジェクトの近くにある前記ＨＵＤインターフェイスを表示する、方法。

【請求項2】

さらに、前記ＨＵＤインターフェイスをオーバーレイとして提供する、
請求項１に記載の方法。

【請求項3】

さらに、前記仮想環境の内部に前記ＨＵＤインターフェイスを埋め込む、
請求項１に記載の方法。

【請求項4】

前記ＨＵＤインターフェイスは、前記仮想環境が前記ＨＵＤインターフェイスを通して見えるように不透明である、
請求項１に記載の方法。

【請求項5】

さらに、前記視線が前記オブジェクトから離れた向きであることを検出し、
前記視線が前記オブジェクトから離れた向きであると検出した後に追跡される前記視線の視線履歴関数を生成し、前記視線履歴関数は前記オブジェクトに対する前記ユーザの注意を測定し、
前記視線履歴関数が一般オブジェクトに対する一般ユーザの注意の減衰を測定する時間減衰関数を満たす場合に、前記ＨＵＤインターフェイスを削除する、
請求項１に記載の方法。

【請求項6】

さらに、前記視線履歴関数が前記時間減衰関数を満たす限り、前記ＨＵＤインターフェイスの前記削除を実行する前に前記ＨＵＤインターフェイスの透明度を高める、
請求項５に記載の方法。

【請求項7】

さらに、人工知能（ＡＩ）を使用して前記仮想環境のシーン内部の複数のオブジェクトを識別し、前記複数のオブジェクトは前記オブジェクトが識別されるように前記オブジェクトを含み、
前記ＡＩを使用して前記ユーザのゲームプレイ内部の前記シーンのコンテキストを判定し、
前記コンテキストに基づいて、前記オブジェクトが前記ユーザの前記ゲームプレイにとって重要であると判定し、
前記コンテキストに基づいて前記オブジェクトに関連する前記情報を生成する、
請求項１に記載の方法。

【請求項8】

さらに、前記オブジェクトが識別されて前記オブジェクトが前記ユーザの前記ゲームプレイにとって重要であると判定された後、前記仮想環境の前記ビューの内部の前記オブジェクトを強調表示し、
前記ユーザの前記視線が前記一定期間強調表示された前記オブジェクトに向けられていることが検出された後、前記ＨＵＤインターフェイスが表示される、
請求項７に記載の方法。

【請求項9】

さらに、前記ユーザの前記視線が前記オブジェクトに向けられている間に、前記ＨＵＤインターフェイスが前記ユーザの視野の内部で徐々に大きくなるように前記ＨＵＤインターフェイスに向かってズームインし、
前記ユーザの前記視線が前記オブジェクトから離れて向いていることを検出し、
前記ユーザの前記視野の内部で前記ＨＵＤインターフェイスが徐々に小さくなるように前記ＨＵＤインターフェイスからズームアウトする、
請求項１に記載の方法。

【請求項10】

さらに、前記ユーザの前記視野は前記仮想環境の狙撃兵モードビューである、
請求項９に記載の方法。

【請求項11】

前記ＨＵＤインターフェイスの内部に含まれる前記情報をプレイヤーと共有し、前記ユーザと前記プレイヤーは、マルチプレイヤーゲームセッションに参加するチームのメンバーである、請求項１に記載の方法。

【請求項12】

さらに、前記ユーザとプレイヤーとの間の通信セッションを確立し、前記ユーザと前記プレイヤーは、マルチプレイヤーゲームセッションに参加するチームのメンバーであり、
前記通信セッションのオーディオを監視し、
前記オーディオに対して音声認識を実行し、
前記音声認識に基づいて前記オーディオのコンテキストを識別し、
前記コンテキストに関連する第２の情報を生成し、
前記第２の情報を前記ＨＵＤインターフェイスに提示する、
請求項１に記載の方法。

【請求項13】

さらに、前記ユーザのゲームプレイ中に初めて前記ユーザの前記視線が前記オブジェクトに向けられたと判定する、
請求項１に記載の方法。

【請求項14】

ゲームのためのコンピュータプログラムを記憶するコンピュータ可読媒体であって、前記コンピュータ可読媒体は、
ユーザのヘッドマウントディスプレイに表示するためのビデオゲームの仮想環境のビューをレンダリングするためのプログラム命令を有し、前記仮想環境は複数のオブジェクトを含み、
前記ユーザの視線を追跡するためのプログラム命令を有し、
前記ユーザの前記視線が一定期間前記ビューのオブジェクトに向けられていることを検出するためのプログラム命令を有し、
前記オブジェクトに関連する情報を含むヘッドアップディスプレイ（ＨＵＤ）インターフェイスを生成するためのプログラム命令を有し、
前記仮想環境の前記ビューの前記オブジェクトの近くにある前記ＨＵＤインターフェイスを表示するためのプログラム命令を有する、
コンピュータ可読媒体。

【請求項15】

さらに、前記視線が前記オブジェクトから離れた向きであることを検出するためのプログラム命令を有し、
前記視線が前記オブジェクトから離れた向きであると検出した後に追跡される前記視線の視線履歴関数を生成するためのプログラム命令を有し、前記視線履歴関数は前記オブジェクトに対する前記ユーザの注意を測定し、
前記視線履歴関数が、一般オブジェクトに対する一般ユーザの注意の減衰を測定する時間減衰関数を満たす場合に、前記ＨＵＤインターフェイスを削除するためのプログラム命令を有する、
請求項１４に記載のコンピュータ可読媒体。

【請求項16】

さらに、人工知能（ＡＩ）を使用して前記仮想環境のシーン内部の複数のオブジェクトを識別するためのプログラム命令を有し、前記複数のオブジェクトは前記オブジェクトが識別されるように前記オブジェクトを含み、
前記ＡＩを使用して前記ユーザのゲームプレイ内部の前記シーンのコンテキストを判定するためのプログラム命令を有し、
前記コンテキストに基づいて前記オブジェクトが前記ユーザの前記ゲームプレイにとって重要であると判定するためのプログラム命令を有し、
前記コンテキストに基づいて前記オブジェクトに関連する前記情報を生成するためのプログラム命令を有する、
請求項１４に記載のコンピュータ可読媒体。

【請求項17】

さらに、前記オブジェクトが識別されて前記オブジェクトが前記ユーザの前記ゲームプレイにとって重要であると判定された後、前記仮想環境の前記ビュー内部の前記オブジェクトを強調表示するためのプログラム命令を有し、
前記ユーザの前記視線が前記一定期間強調表示された前記オブジェクトに向けられていることが検出された後、前記ＨＵＤインターフェイスが表示される、
請求項１６に記載の非一時的なコンピュータ可読媒体。

【請求項18】

コンピュータシステムであって、
プロセッサと、
前記プロセッサに接続され、前記コンピュータシステムにより実行されると、方法を前記コンピュータシステムに実行させる命令を格納するメモリとを含み、前記方法は、
ユーザのヘッドマウントディスプレイに表示するためのビデオゲームの仮想環境のビューをレンダリングし、前記仮想環境は複数のオブジェクトを有し、
前記ユーザの視線を追跡し、
前記ユーザの前記視線が一定期間前記ビューのオブジェクトに向けられていることを検出し、
前記オブジェクトに関連する情報を含むヘッドアップディスプレイ（ＨＵＤ）インターフェイスを生成し、
前記仮想環境の前記ビューの前記オブジェクトの近くにある前記ＨＵＤインターフェイスを表示する、
コンピュータシステム。

【請求項19】

さらに、前記方法では、
前記視線が前記オブジェクトから離れた向きであることを検出し、
前記視線が前記オブジェクトから離れた向きであることを検出した後に追跡される前記視線の視線履歴関数を生成し、前記視線履歴関数は前記オブジェクトに対する前記ユーザの注意を測定し、
前記視線履歴関数が一般オブジェクトに対する一般ユーザの注意の減衰を測定する時間減衰関数を満たす場合に、前記ＨＵＤインターフェイスを削除する、
請求項１８に記載のコンピュータシステム。

【請求項20】

さらに、前記方法では、
人工知能（ＡＩ）を使用して前記仮想環境のシーン内部の複数のオブジェクトを識別し、前記複数のオブジェクトは前記オブジェクトが識別されるように前記オブジェクトを含み、
前記ＡＩを使用して前記ユーザのゲームプレイ内部の前記シーンのコンテキストを判定し、
前記コンテキストに基づいて、前記オブジェクトが前記ユーザの前記ゲームプレイにとって重要であると判定し、
前記コンテキストに基づいて前記オブジェクトに関連する前記情報を生成する、
請求項１８に記載のコンピュータシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、コンピューティングゲームに関し、より具体的には、仮想環境内部のヘッドアップディスプレイにオブジェクトの情報を提供することに関する。

【背景技術】

【0002】

ビデオゲームは、仮想化されたゲーム世界の中でゲームプレイを提供する。これらのビデオゲームは、シングルプレイヤモードまたはマルチプレイヤモードでフォーマットされ得る。例えば、ビデオゲームでは、一人称視点または三人称視点など、様々な視点または観点からのゲームプレイが提供され得る。一人称視点では、プレイヤーが、三次元仮想空間のキャラクターの目から仮想ゲーム環境を見る。三人称視点では、プレイヤーは、キャラクター肩越しまたは背後の視点など、第三者がキャラクターを見ているかのように、キャラクターを操作する。一人称視点及び／または三人称視点のゲームの人気ジャンルには、ストーリーラインまたは一連のアクションに従う非常に望ましい武器（例えば、無制限の弾数を有する大型で効果的な銃）を使用する戦闘状況を伴うシューティングゲームが含まれる。

【0003】

いくつかの構成では、ビデオゲームに関連する情報は、手首、腕、または脚に装着されたディスプレイなど、制御されるキャラクターの体の一部に配置された小型のフォームファクタのディスプレイに表示される場合があり、またはキャラクターの手に保持される場合もある。このようにして、ユーザは仮想環境内部でキャラクターを操作して、ディスプレイのビューを取得できる。例えば、腕時計にかなり類似して、キャラクターの手首に装着されるディスプレイの場合、ユーザは腕及び／または手首を上げることができる、及び／またはキャラクターの頭を傾けることができ（例えば下向きに）、ディスプレイが表示可能になるようにする。ディスプレイの情報は、ゲームプレイのあらゆる側面に関係する可能性がある。

【0004】

しかしながら、保持されているまたはキャラクターが装着しているディスプレイの情報を見ることは、ゲームをプレイしているユーザにとっていくつかの問題を引き起こすことがある。例えば、ディスプレイに提示される情報を見て理解するとき、ユーザの注意はゲームプレイではなくディスプレイに完全に集中する。つまり、ゲームプレイ中に提示される状況（例えば、ボスとの戦闘）は、キャラクターの視点がディスプレイに向けられたからといって停止するわけではない。そのため、ユーザは、たとえ情報が役立ち得る（例えば、ボスと戦うためのゲームのヒントなど）としても、ゲームプレイ（例えば、ボスとの戦いを続けるなど）に集中するために、ディスプレイのいずれの情報をも見ないことを選択する場合がある。つまり、ゲームのプレイ中にユーザがディスプレイを見るのに十分な時間が与えられない可能性がある。さらに、ディスプレイに提示される情報が多すぎる可能性がある。つまり、情報が多すぎて、ユーザがその情報から有益な情報を得ることができない場合、または情報を理解するのに長い時間をかける必要がある場合がある。情報の表示と理解の遅れは、ビデオゲームをプレイしているときのユーザのいずれかのその後の行動及び／または反応に悪影響を及ぼす可能性がある。

【0005】

このような状況において、本開示の実施形態が生じる。

【発明の概要】

【0006】

本開示の実施形態は、コンピュータゲームに関し、より具体的には、ヘッドマウントディスプレイ（ＨＭＤ）を通して表示される仮想環境内部でヘッドアップディスプレイ（ＨＵＤ）のオブジェクトの情報を提供することに関する。

【0007】

一実施形態では、方法が開示される。この方法では、ユーザのヘッドマウントディスプレイに表示するためにビデオゲームの仮想環境のビューをレンダリングし、仮想環境は複数のオブジェクトを含む。この方法では、ユーザの視線を追跡する。この方法では、ユーザの視線が一定期間ビューのオブジェクトに向けられていることを検出する。この方法では、オブジェクトに関連する情報を含むヘッドアップディスプレイ（ＨＵＤ）インターフェイスを生成する。この方法では、仮想環境のビューのオブジェクトの近くにあるＨＵＤインターフェイスを表示する。

【0008】

別の実施形態において、ゲームのためのコンピュータプログラムを記憶する非一時的コンピュータ可読媒体が開示される。コンピュータ可読媒体は、ユーザのヘッドマウントディスプレイに表示するためのビデオゲームの仮想環境のビューをレンダリングするためのプログラム命令を含み、仮想環境は複数のオブジェクトを含む。ユーザの視線を追跡するためのプログラム命令を含む。コンピュータ可読媒体は、ユーザの視線が一定期間ビューのオブジェクトに向いていることを検出するためのプログラム命令を含む。コンピュータ可読媒体は、オブジェクトに関連する情報を含むヘッドアップディスプレイ（ＨＵＤ）インターフェイスを生成するためのプログラム命令を含む。コンピュータ可読媒体は、仮想環境のビューのオブジェクトの近くにあるＨＵＤインターフェイスを表示するためのプログラム命令を含む。

【0009】

別の実施形態では、コンピューティングシステムは、プロセッサと、プロセッサに結合され、命令を内部に記憶したメモリと、を含み、命令は、コンピュータシステムによって実行された場合、方法をコンピュータシステムに実行させる。この方法では、ユーザのヘッドマウントディスプレイに表示するためにビデオゲームの仮想環境のビューをレンダリングし、仮想環境は複数のオブジェクトを含む。この方法では、ユーザの視線を追跡する。この方法では、ユーザの視線が一定期間ビューのオブジェクトに向けられていることを検出する。この方法では、オブジェクトに関連する情報を含むヘッドアップディスプレイ（ＨＵＤ）インターフェイスを生成する。この方法では、仮想環境のビューのオブジェクトの近くにＨＵＤインターフェイスを表示する。

【0010】

本開示の他の態様は、本開示の原理を例として示す、添付図面を併用して以下の詳細な説明から明らかになるであろう。

【0011】

本開示は、以下の説明と併せて添付図面を参照することにより最良に理解され得る。

【図面の簡単な説明】

【0012】

【図1】本開示の様々な実施形態の態様を実行するために使用され得る例示的なデバイスの構成要素を示す。

【図2】本開示の一実施形態による、仮想現実のヘッドアップディスプレイに情報を提示する方法を示すフローの図表である。

【図3A】本発明の実施形態による、シーンのオブジェクトに関する情報を提供するヘッドアップディスプレイを含む仮想現実のシーンをユーザが見ている様子を示す。

【図3B】本開示の一実施形態による、仮想現実のシーンを見ているユーザに対して強調表示されるオブジェクトを示す。

【図3C】本開示の一実施形態による、仮想現実のシーン内部の対象オブジェクトの拡大表示と、ヘッドアップディスプレイにおける対象オブジェクトに関連する情報の提示とをもたらすスコープモードビューを示す。

【図4】本開示の一実施形態による、仮想現実におけるシーンのコンテキストを判定するための規則及び／または人工知能の適用、シーン内部のオブジェクトの識別、及びシーン内部に設けられたヘッドアップディスプレイを通じて表示可能なコンテキストに基づくオブジェクトに関連する情報の生成を示す。

【発明を実施するための形態】

【0013】

これより本開示の様々な実施形態について詳細に言及するが、それらの例は添付の図面に示されている。以下の詳細な説明には、説明の目的上、多くの特定の詳細が含まれているが、当業者であれば分かるように、以下の詳細に対する多くの変形及び修正も本開示の範囲内である。したがって、以下に説明する本開示の態様は、この説明に続く特許請求の範囲に対する一般性を全く失わずに、かつその請求項に限定を課さずに示される。

【0014】

一般的に言えば、本開示の様々な実施形態は、ヘッドマウントディスプレイ（ＨＭＤ）を通して見た仮想環境内部のヘッドアップディスプレイ（ＨＵＤ）のオブジェクトの情報を提供する方法、及び対象オブジェクトを拡大する仮想環境のスコープモードビュー内部のＨＵＤ内部に情報を提供する方法を説明する。

【0015】

種々の実施形態の前述した全般的な理解に基づき、次に実施形態の詳細例について、種々の図面を参照して説明する。

【0016】

本明細書全体を通して、「ゲーム」または「ビデオゲーム」または「ゲームアプリケーション」への言及は、入力コマンドの実行を通して指示される任意のタイプのインタラクティブアプリケーションを表すことを意味する。例示のみを目的として、インタラクティブアプリケーションには、ゲーミング、文書処理、ビデオ処理、ビデオゲーム処理などに対するアプリケーションが含まれる。さらに、上で紹介した用語は互換性がある。

【0017】

本開示の実施形態がコンピュータシステムに格納されたデータを含む様々なコンピュータ実装の動作を使用し得ることを理解されたい。これらの動作は、物理量の物理的操作を要する動作である。本開示の実施形態の一部を形成する、本明細書で説明される動作のうちのいずれも、有用な機械動作である。また本開示の実施形態は、これらの動作を行うためのデバイスまたは装置に関する。本装置は、必要な目的のために特別に構築することができ、または本装置は、コンピュータに記憶されたコンピュータプログラムにより選択的に起動または構成される汎用コンピュータであり得る。特に、本明細書の教示にしたがって書かれたコンピュータプログラムと共に様々な汎用マシンを使用することができる。または、必要な動作を実行するためにさらに特化した装置を構築するほうがより好都合な場合もある。

【0018】

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースもしくはプログラム可能家庭用電化製品、ミニコンピュータ、及びメインフレームコンピュータなどを含む様々なコンピュータシステム構成で実践されてよい。本開示の実施形態はまた、有線ベースネットワークまたは無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても、実施することができる。

【0019】

以下の詳細な説明の一部は、コンピュータメモリ内のデータビットに対する手順、論理ブロック、処理、及び操作のその他の記号表現に関して提示されている。それらの記述及び表現は、その作業の本質を他の当業者に最も効果的に伝達するために、データ処理の分野における当業者によって使用される手段である。本出願では、手順、ロジックブロック、プロセス、などは、望ましい結果につながる一貫した一連の手順または命令であると考えられている。ステップは、物理量の物理的操作を利用するものである。通常、必須ではないものの、それらの量は、コンピュータシステムで記憶され、転送され、組み合わされ、比較され、及び他の方法で操作されることが可能な電子信号または磁気信号の形式をとる。主に一般的な使用を理由として、これらの信号が、トランザクション、ビット、値、要素、シンボル、文字、サンプル、または画素などを指すことが便利であり得ることが証明されている。

【0020】

ただし、これらの用語及び類似の用語はすべて、適切な物理量に関連付けられており、これらの量に適用される便利なラベルにすぎないことに注意する必要がある。以下の議論から明らかなように、特に別段の記載がない限り、本開示全体を通じて、「レンダリングする」、「追跡する」、「検出する」、「生成する」、「表面化（または前面表示）あるいは表示する（surfacing：サーフェーシング）」、「削除する」、「実行する」などの用語を利用する論考は、コンピュータシステムまたは同様の電子コンピューティングデバイスもしくはプロセッサ（例えば、図１のシステム１００）のアクション及びプロセス（例えば、図２のフローの図表２００）を指すことが理解される。コンピュータシステムまたは類似の電子コンピューティングデバイスは、コンピュータシステムのメモリ、レジスタ、または他のそのような情報記憶装置、伝送もしくは表示デバイス内の物理的（電子的）量として表されるデータを操作及び変換する。

【0021】

本開示は、１つ以上のコンピュータまたは他のデバイスによって実行される、プログラムモジュールなどのコンピュータ可読媒体上のコンピュータ可読コードとして具現化することもできる。さらに、通信媒体は、コンピュータ実行可能命令、データ構造、及びプログラムモジュールを具現化することができ、任意の情報配信媒体を含む。限定ではなく例として、通信媒体には、有線ネットワークまたは直接有線接続などの有線媒体、ならびに音響、無線周波数（ＲＦ）、赤外線、及び他の無線媒体などの無線媒体が含まれる。上記のいずれかの組み合わせも、コンピュータ可読媒体の範囲に含まれ得る。

【0022】

図１は、本開示の様々な実施形態の態様を実行するために使用され得る例示的なデバイス１００の構成要素を示す。例えば、図１は、本開示の一実施形態による、ヘッドマウントディスプレイ（ＨＭＤ）を通して見た仮想環境及び／または仮想現実（アプリケーションの実行によって生成される）内部のヘッドアップディスプレイ（ＨＵＤ）のオブジェクトの情報を提供及び／または提示するように構成された、ビデオゲームを実行するのに適した例示的なハードウェアシステムを示す。このブロック図は、コンピュータ可読命令を実行できる任意のシングルもしくはマルチプロセッサコンピューティングデバイスまたはシステムを広く表すデバイス１００を示している。デバイス１００の例は、限定されるものではないが、パーソナルコンピュータ、ワークステーション、サーバコンピュータ、ゲームコンソール、クライアント側端末、ラップトップ、モバイルデバイス、分散コンピューティングシステム、または他のデジタルデバイスを組み込むことができるか、またはこれらであってもよく、これらの各々は本開示の実施形態を実践するのに好適である。

【0023】

中央処理装置（ＣＰＵ）１０２とグラフィックス処理装置（ＧＰＵ）１１６との両方がメモリ１０４に結合される。概して、ＣＰＵ１０２及び／またはＧＰＵ１１６は、データを処理することができる、または命令を解釈及び実行することができるプロセッサ及び／またはコンピューティングデバイスの任意のタイプまたは形態を表し得る。特定の実施形態では、ＣＰＵ１０２及び／またはＧＰＵ１１６は、ソフトウェアアプリケーションまたはハードウェアモジュールから命令を受信し得る。これらの命令は、ＣＰＵ１０２及び／またはＧＰＵ１１６に、本明細書で説明及び／または図示される例示的な実施形態のうちの１つ以上の機能を実行させ得る。ＣＰＵ１０２及び／またはＧＰＵ１１６はまた、本明細書で説明及び／または図示される任意の他のステップ、方法、またはプロセスを実行し得る、及び／または実行するための手段となり得る。

【0024】

特に、ＣＰＵ１０２は、ソフトウェアアプリケーション及び任意選択でオペレーティングシステムを動作させるように構成される。ＣＰＵ１０２は、１つ以上の同種または異種の処理コアで構成され得る。様々な実施形態によれば、ＣＰＵ７０２は、１つ以上の処理コアを有する１つ以上の汎用マイクロプロセッサである。さらなる実施形態を、ゲームの実行中にグラフィックス処理を行うように構成されたアプリケーションの高並列で計算集約型のアプリケーション（例えば、媒体及びインタラクティブエンターテインメントアプリケーション）に具体的に適応されたマイクロプロセッサアーキテクチャを伴う１つ以上のＣＰＵを用いて実施することができる。

【0025】

例えば、ＣＰＵ１０２は、所望の出力画像を定義するデータ及び／または命令をＧＰＵ１１６に提供し、そこから、ＧＰＵ１１６は１つ以上の出力画像の画素データを生成する。所望の出力画像を定義するデータ及び／または命令は、メモリ１０４及び／または専用グラフィックメモリ（図示せず）に格納され得る。ある実施形態では、ＧＰＵ１１６は、シーンのジオメトリ、照明、シェーディング、テクスチャ、モーション、及び／またはカメラのパラメータを定義する命令及びデータから、出力画像の画素データを生成する３Ｄレンダリング機能を含む。ＧＰＵ１１６はさらに、シェーダープログラムを実行することができる１つ以上のプログラマブル実行ユニットを含むことができる。

【0026】

メモリ１０４は、ＣＰＵ１０２及びＧＰＵ１１６による使用のためのアプリケーション及びデータを格納する。メモリ１０４は、概して、アプリケーションのためのデータ及び／または他のコンピュータ可読命令を格納することができる任意のタイプまたは形態の揮発性もしくは不揮発性の記憶デバイスまたは媒体を表し、限定されるものではないが、固定ディスクドライブ、取り外し可能ディスクドライブ、フラッシュメモリデバイス、ＲＡＭ、ＲＯＭ、及びＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ブルーレイ、ＨＤ－ＤＶＤ、または他の光学記憶デバイス、ならびに信号伝送及び記憶媒体を含み得る。図１の例では、メモリ１０４は共有メモリであり、それによってメモリは、ＣＰＵ１０２とＧＰＵ１１６との両方のための命令及びデータを格納する。あるいは、ＣＰＵ１０２及びＧＰＵ１１６に、それぞれ専用の別個のメモリがあってもよい。

【0027】

ＧＰＵ１１６は、ディスプレイデバイス１１０に表示される画像の画素データをメモリ（例えば、グラフィックメモリ、フレームバッファなど）から周期的に出力する。ディスプレイデバイス１１０は、デバイス１００からの信号に応答して視覚情報を表示することができる任意のデバイスであってもよく、これには、ＣＲＴ、ＬＣＤ、プラズマ、及びＯＬＥＤディスプレイが含まれる。デバイス１００は、ディスプレイデバイス１１０に、例えば、アナログ信号またはデジタル信号を提供し得る。一実施形態では、ディスプレイデバイス１１０は、ＨＭＤを含む（例えば、仮想現実またはＶＲコンテンツを表示する）。

【0028】

ユーザ入力デバイス１０８は、１人以上のユーザからのユーザ入力をデバイス１００に伝達するものであり、その例としては、キーボード、マウス、ジョイスティック、タッチパッド、タッチスクリーン、スチルまたはビデオレコーダ／カメラ、及び／またはマイクロフォンがあり得る。また、ネットワークインターフェイス（図示せず）は、電子通信ネットワークを介して他のシステムとの通信（例えば、ゲームコンソール、ＨＭＤ、コントローラなどの間の通信）を提供してもよく、ローカルエリアネットワーク、及びインターネットなどのワイドエリアネットワークを介した有線または無線通信を含んでもよい。ＣＰＵ１０２、ＧＰＵ１１６、メモリ１０４、ユーザ入力デバイス１０８、ネットワークインターフェイスなどを含むデバイス１００の構成要素は、１つ以上のデータバス１２２を介して接続される。

【0029】

いくつかの実施形態において、コンピュータプログラムを含むコンピュータ可読媒体は、コンピューティングシステム１００にロードすることができる。コンピュータ可読媒体に格納されたコンピュータプログラムの全部または一部分は、次に、システムメモリ１０４及び／または記憶デバイスの様々な部分に格納され得る。プロセッサ（例えば、ＣＰＵ１０２及び／またはＧＰＵ１１６）によって実行されるとき、コンピューティングシステム１００にロードされたコンピュータプログラムは、ＣＰＵ１０２及び／またはＧＰＵ１１６に、本明細書に説明及び／または例示された例示的な実施形態の機能を実行させることもでき、及び／または実行するための手段となり得る。追加的にまたは代替的に、本明細書で説明及び／または例示される例示的な実施形態は、ファームウェア及び／またはハードウェアで実装され得る。

【0030】

一実施形態では、ＣＰＵ１０２及び／またはＧＰＵ１１６は、ソフトウェアアプリケーションを実行するように構成されたコンピューティングプラットフォーム（例えば、オペレーティングシステム）のエミュレーションを提供するように構成されている。コンピューティングプラットフォームのエミュレーションは、ソフトウェア、ハードウェア、またはその２つの組み合わせで実装できる。このようにすると、ＣＰＵ１０２及び／またはＧＰＵ１１６は、アプリケーションがレガシーアプリケーションであろうと、将来のコンピューティングプラットフォーム用に設計されたアプリケーションであろうと、あらゆるタイプのアプリケーションを実行するように構成できる。

【0031】

図２は、本開示の一実施形態による、仮想現実におけるヘッドアップディスプレイに情報を提示する方法を示すフローの図表２００である。特に、フローの図表２００は、プレイヤーのゲームプレイ中にビデオゲームに関する情報を提供することにより、ビデオゲームをプレイするユーザ及び／またはプレイヤーの能力を向上させる。このようにして、ゲームプレイの最中には通常提供されない、ビデオゲームに関連する追加情報がユーザに提供される。この追加情報により、ユーザはゲームプレイの中でより多くの情報に基づいた決定を下すことができるため、ゲームプレイがより楽しくなる可能性がある。

【0032】

２１０において、方法は、ビデオゲームの実行中に仮想環境及び／または仮想現実のビューをレンダリングし、ユーザのヘッドマウントディスプレイ（ＨＭＤ）に表示することを含む。例えば、ユーザの入力制御及び他の制御信号に応じて、仮想環境への三次元視野（ＦＯＶ）用のビデオフレームが生成される。さらに、仮想環境には、シーンの中に設けられた複数のオブジェクトが含まれ、シーンは一連の画像フレームでＨＭＤに表示され得る。

【0033】

２２０において、方法は、ユーザの視線を追跡することを含む。特に、ＨＭＤに対するユーザの視線の方向、及びそれに応じてＨＭＤに表示される仮想環境のシーンに対するユーザの視線の方向が判定される。視線の追跡は、複数の手法のいずれかを使用して実行できる。説明のみを目的として、視線の追跡は、ユーザの目の画像をキャプチャするように構成された１つ以上の視線の追跡カメラを使用してＨＭＤ内部で実行でき、その画像が分析されてユーザの視線方向が判定される。ユーザの視線方向は、ＨＭＤを基準として、ユーザの物理環境を基準として（例えば、物理環境内部でＨＭＤの位置と方向を追跡することによって、視線の追跡を実行できることで、現実世界の視線などの物理環境を参照した視線方向を定めることが可能になる）、及び／またはＨＭＤでレンダリング及び／または表示される仮想環境を基準として、定義できる。

【0034】

２３０において、方法は、ユーザの視線が一定期間ビューのオブジェクトに向けられていることを検出することを含む。特に、仮想環境に対するユーザの視線の方向が検出される。また、シーンへの方向は、視線が、視線の方向の近くに位置するシーンの１つ以上のオブジェクトに向けられているかどうかを判定するために使用される。例えば、シーンへ向かう視線の方向は、ユーザの注意が、視線の方向と位置合わせされている、緊密に位置合わせされている、または緩く位置合わせされている、シーンのオブジェクトに向けられていることを示し得る。例として、視線の方向は、シーンに引き込まれた視線を示すことができ、それにおいてオブジェクトは視線と交差するか、視線と交差すると推測できる（つまり、視線の近くにあるか、視線の範囲内にある）。

【0035】

さらに、視線の追跡は、視線の方向が一定期間にわたってオブジェクトに固定されていることを示すことができる。つまり、視線の方向は、一定期間にわたって、仮想環境のシーンの領域に一貫して（例えば、同じ方向または大まかに同じ方向）向けられており、そのシーンの領域にはオブジェクトが含まれている。このようにして、ユーザの視線がその時間の間、オブジェクトに固定されていると判定することができる。この時間は、ユーザの注意がオブジェクトに集中している可能性が高く、ユーザがそのオブジェクトに興味を持っていることを示すのに十分である。

【0036】

２４０において、方法は、オブジェクトに関連する情報を含むヘッドアップディスプレイ（ＨＵＤ）インターフェイスを生成することを含む。つまり、ユーザの視線がオブジェクトに向けられていると判定されれば、ユーザがそのオブジェクトに興味を持っていることが示され、そのオブジェクトに関する情報がユーザに提示され得る。一実施形態では、情報は仮想環境のシーンに入力されるＨＵＤインターフェイスに表示される。例えば、ＨＵＤインターフェイスは、インターフェイス内に表示される情報を表示するためにシーン内に配置できる任意のインターフェイス（例えば、ディスプレイ、ウィンドウなど）として構成できる。さらに、情報は、テキスト、シンボル、アイコン、グラフ、バー、ステータスバー、ビデオ、オーディオなど、ユーザが理解できる多くの形式の１つであってもよく、オブジェクトに関する背景情報の提供、オブジェクトに関連する役立つ情報の提供など、多くの目的の１つに役立つよう情報が使用され得る。

【0037】

２５０において、方法は、仮想環境のビューのオブジェクトの近くにあるＨＵＤインターフェイスを表示することを含む。特に、オブジェクトに関連する情報を含むＨＵＤインターフェイスは、オブジェクトの近く及び／または隣接する場所で、シーンの中に配置される。このようにして、ＨＵＤインターフェイスとそこに含まれる情報は、ユーザに対して、特定のオブジェクトと容易に関連付けることができる。

【0038】

さらに、ＨＵＤインターフェイスは、一定期間静的であってもよく、その結果ＨＵＤインターフェイス及びそこに含まれる情報は変更されないままになる。別の実施態様では、ＨＵＤインターフェイス及びそこに含まれる情報は、その期間に継続的に更新され得る。さらに他の実施態様では、ＨＵＤインターフェイスはシーンじゅう移動可能である。例えば、オブジェクトが移動すると、ＨＵＤインターフェイスはオブジェクトの動きに追従してもよく、ＨＵＤインターフェイスはオブジェクトの近くにある及び／または隣接したままになる。

【0039】

図３Ａは、本発明の実施形態に従って、シーンのオブジェクトに関する情報を提供するヘッドアップディスプレイ（ＨＵＤ）インターフェイス３５０を含む仮想現実のシーン３１０をユーザが見ている様子を示している。純粋に説明のみを目的として、ユーザ３０２は座ってヘッドマウントディスプレイ（ＨＭＤ）３２０を装着し、ビデオゲームをプレイしている。このようにして、シーンはＨＭＤ３２０内に提示され、ユーザ３０２はシーン３１０の３Ｄの提示を見ることができるようになる。本開示の実施形態は、ビデオゲームまたはゲームアプリケーションをプレイするユーザに関連して説明され得るが、ユーザは、ビデオゲーム、サービス関連アプリケーション、仕事関連アプリケーション（例えば、ワードプロセッシング、スプレッドシート、設計アプリケーション、コンピュータ支援設計（ＣＡＤ）アプリケーションなど）を含む、あらゆるタイプのアプリケーションとインタラクションを行う可能性があることが理解される。

【0040】

純粋に説明のために、シーン３１０は、ユーザ３２０のゲームプレイ中に表示することができ、シーンには複数のオブジェクト（例えば、キャラクター、背景、環境など）が含まれ得る。例えば、シーン３１０が、樹木の森の中に仮設キャンプを含むジャングルのシーンであってもよく、ビデオゲームは一人称シューティングゲームであってもよい。キャンプには、１つ以上の支柱を含む日よけなど、何らかの形の保護３６０が含まれ得る。シーン３１０内部にはキャラクター３４０も提示される。

【0041】

図示のように、シーンの視野（ＦＯＶ）がＨＭＤ３２０内部でユーザ３０２に提示され、ＦＯＶは複数の線３２５の間に定められる。ユーザ３０２は、通常、ＨＭＤ３２０の向き及び／またはユーザの視線の方向によって、どのＦＯＶを提示するかを決定する。図に示すように、ＦＯＶはシーン３１０の一部であり、保護３６０、オブジェクト３７０－Ａ、キャラクター３４０、及びその他の様々な背景オブジェクト（例えば、木など）が含まれる。

【0042】

図示のように、ユーザの視線はＦＯＶ内部で定められる。つまり、視線の追跡は、ユーザの視線がどの方向を向いているかを判定するために使用できる。視線方向は、ユーザが注目している方向、また、それに応じて、ユーザが注目している焦点であるシーン３１０の領域を示し得る。ユーザ３０２の視線は、複数の線３３０の間に定められる。特定の視線の方向は、視線の追跡により決定された線３３０－Ａによって、定めることができる。オブジェクト３７０－Ａは線３３０－Ａと交差することもあり、この場合、ユーザ３０２の視線がそのオブジェクト３７０－Ａに向けられていることを示す。

【0043】

シーン３１０の内部にＨＵＤインターフェイス３５０が提示され、ＨＵＤインターフェイスにはオブジェクト３７０－Ａに関連する情報が含まれている。例えば、ユーザの注意がオブジェクトに向けられていると判定されると、ＨＵＤインターフェイス３５０を通じてユーザ３０２に情報が提示され得る。例えば、ＨＵＤインターフェイスは、インターフェイス内に提示される情報を表示するためにシーンに配置できる、任意のインターフェイス（例えば、ディスプレイ、ウィンドウなど）として構成し得る。説明の目的で、ＨＵＤインターフェイスは、情報を含めるように構成された２次元（２Ｄ）または３次元（３Ｄ）パネルであり得る。一実施形態では、ＨＵＤインターフェイス３５０は、シーン内部にオーバーレイとして提示される。別の実施形態では、ＨＵＤインターフェイス３５０は、仮想環境及び／またはシーン３１０に埋め込まれて、ＨＵＤインターフェイス３５０がビデオゲームの実行を通じて仮想環境に統合される、例えばＨＵＤインターフェイス３５０をシーン３１０の別のオブジェクト３５０として有するようになる。

【0044】

このように、ＨＵＤインターフェイス３５０は、ＨＭＤ３２０のディスプレイ内部でユーザに提示される。ＨＵＤインターフェイス３５０は、インターフェイス内に提示される情報を表示するためにシーンに配置できる、任意のインターフェイス（例えば、ディスプレイ、ウィンドウなど）として構成できる。説明の目的で、ＨＵＤインターフェイス内部に提示される情報３５１を表示するために、図３ＡにＨＵＤインターフェイス３５０の拡大図を示しており、それにおいては、情報３５１が、テキスト、シンボル、アイコン、グラフ、バー、ステータスバー、ビデオ、オーディオなど、ユーザが理解できる多くの形式のいずれかになり得る。

【0045】

実施形態では、ＨＵＤインターフェイス３５０に提示される情報３５１は、１つ以上の目的を果たし得る。例えば、情報３５１は、ユーザのゲームプレイの進行を支援するなど、ユーザにとって有用なものであるように意図され得る（例えば、オブジェクトによってトリガーされ得る、またはオブジェクトに関連し得るゲームプレイのヒントを提供する）。また、情報３５１は、ゲームプレイを進めるためにユーザがそのオブジェクトを拾う必要があるというヒントを含み得る。役に立つ実用的な形態で、情報３５１は、オブジェクトが何であるか、及びそのオブジェクトがシーンにある理由をユーザに知らせることができる。他の実施態様では、情報３５１は、ビデオゲーム及び／またはビデオゲームのゲームプレイに関するユーザの意識を高めるのに役立つように意図され得る。つまり、情報３５１は、シーン３１０を設定すること、またはシーンの背景情報を提供することなど、オブジェクト３７０－Ａに周辺的に関連し得る。例えば、情報３５１は、仮想環境のシーンの特定の画像を伝えるのに役立つ場合があり、または、ゲームプレイの特定の雰囲気または感情（例えば、焦燥感、幸福、悲しみなど）を作り出すのに役立ち得る。他の実施態様では、情報３５１は、オブジェクトに関する背景情報をユーザに提供するために使用されてもよい。

【0046】

例示のみを目的として、情報３５１は、オブジェクトに関する背景情報を提供でき、オブジェクトに関連する役立つ情報などを提供する。例えば、情報３５１は、オブジェクト３７０－Ａに関連してもよく、オブジェクトを攻撃用武器として識別すること、及び攻撃用武器の１つ以上の特性（例えば、中距離能力、武器の精度、武器の容量、死亡率スケールで評価された武器の有効性など）を設けることであってもよい。さらに、情報３５１には、オブジェクト３７０－Ａに関連するメモが含まれる場合がある。前述のように、一実施態様では、メモは、ユーザのゲームプレイを進めるのに役立つヒントであってもよい。例えば、メモは、オブジェクト３７０－Ａの所有者であることが、ユーザ３０２のゲームプレイにおける現在のタスクまたは将来のタスクを完了するのに役立ち得ることを示し得る。

【0047】

一実施形態では、ＨＵＤインターフェイス３５０は不透明であり、及び／または１つ以上の透明度を有し、シーン３１０を含む仮想環境がＨＵＤインターフェイス３５０を通して見えるようになっている。このようにして、ＨＵＤインターフェイス３５０における情報３５１は、ユーザのゲームプレイを妨げることなくユーザに提示され得る。例えば、ユーザ３０２は、緊迫したゲームプレイ（例えば、ボスとの戦い）のさなかにいる可能性があり、その場合に、情報がユーザにとって役立ち得る（例えば、ボスを倒すためのヒント）が、ユーザの注意がシーン３１０から離れすぎると、ユーザに損害をもたらす可能性がある（例えば、ＨＵＤインターフェイス３５０から情報３５１にアクセスしている間にボスに敗北する）。

【0048】

一実施形態では、ユーザ３０２の視線がオブジェクト３７０－Ａに向けられている間、ＨＵＤインターフェイス３５０が、ＨＭＤ３２０のディスプレイ内部で拡大表示される。つまり、ＨＭＤに提示されるＦＯＶ内部でＨＵＤインターフェイス３５０に向かってズームインが実行され、ユーザの視線がオブジェクトに向けられ続ける間に、ＨＵＤインターフェイス３５０がＦＯＶ内部で徐々に大きくなる。ＨＵＤインターフェイス３５０へのズームイン及びＨＵＤインターフェイスからのズームアウトは、ユーザの視線の機能として実行し得る。例えば、ユーザ３０２の視線がオブジェクト３７０－Ａから離れる向きであることが検出されると、ＦＯＶ内部で、ＨＵＤインターフェイス３５０からのズームアウトが実行され、ユーザのＦＯＶ内部でＨＵＤインターフェイスが徐々に小さくなる。同様に、ユーザ３０２の視線がオブジェクト３７０－Ａに向けられていることが検出されると、ＦＯＶ内部で、ＨＵＤインターフェイス３５０に向かうズームインが実行され、ＨＵＤインターフェイスが、ユーザのＦＯＶ内部で徐々に大きくなり、ＨＵＤインターフェイスの特定のサイズに至る。

【0049】

一実施形態では、ユーザの視線が一定時間オブジェクト３７０－Ａから離れた向きであることを検出すると、ＨＵＤインターフェイス３５０は終了され、及び／またはＨＭＤ３２０に表示されなくなる。この一定時間は、ユーザ３０２の注意がオブジェクト３７０－Ａにもはや集中していないことを示すように選択可能である。特に、視線の追跡は、視線がオブジェクトから離れた向きであること、またどのように離れているかを検出するために実装され得る。例えば、視線が追跡され、分析されて視線の視線履歴関数が判定され、視線履歴関数は、オブジェクトに対するユーザの注意を測定する。視線履歴関数には、時間に関する線形セクション及び／または非線形セクションが含まれ得る。さらに、視線履歴関数が時間減衰関数を満たす場合、ＨＵＤインターフェイス３５０は終了及び／または削除されてもよく、時間減衰関数は、一般オブジェクトに対する一般ユーザの注意の減衰を測定し、その一般ユーザの注意が一般オブジェクトにもはや向けられなくなったとき、つまり一般ユーザがもはや一般オブジェクトに興味を持たなくなったときを判定するために使用できる。時間減衰関数は、時間に関する線形セクションと非線形セクションを含んでもよく、ユーザの注意の度合いを示し得る。視線履歴関数と時間減衰関数の特定のセクションが一致すると、ユーザ３０２の注意がオブジェクト３７０－Ａにもはや向けられなくなったこと、及び／またはユーザがそのオブジェクトにもはや興味を持たなくなったことを示し得る。一実施形態では、視線履歴関数が時間減衰関数を満たす限り、ＨＭＤ３２０内部に表示されるＨＵＤインターフェイス３５１を完全に削除する前の遷移期間中に、ＨＵＤインターフェイス３５０の透明度が増加（例えば、透明度の増加）される（例えば、ＨＵＤインターフェイス３５０がフェードアウトする）。別の実施形態では、視線履歴関数が時間減衰関数に沿わない場合、ＨＭＤ３２０内部に表示されるＨＵＤインターフェイス３５０の透明度が低下し、ユーザの注意がオブジェクト３７０－Ａから逸れた可能性があるものの、ユーザが再びオブジェクトに注意を戻したことを示す（例えば、ＨＵＤインターフェイス３５０が再フェードインする）。

【0050】

図３Ｂは、本開示の一実施形態による、仮想現実のシーンを見ているユーザに対して強調表示されているオブジェクトを示す。例えば、ユーザは図３Ａで紹介したビデオゲームをプレイし得て、ゲームプレイ中の別の時間にシーン３１０’を視聴している。図に示すように、シーン３１０’のＦＯＶはＨＭＤ３２０内部でユーザ３０２に提示され、ＦＯＶは複数の線３２５’の間に定められる。図に示すように、ＦＯＶはシーン３１０’の一部であり、通常、図３Ａのシーン３１０と同様のオブジェクト、例えば、樹木の森の中に仮設キャンプを含むジャングルのシーン、キャラクター３４０、保護３６０、強調表示されたオブジェクト３７０－Ｂ（オブジェクト３７０－Ａに対応）などが含まれる。

【0051】

さらに、ユーザ３０２の視線が、ＦＯＶ内で定められる。視線方向は、ユーザが注目している方向、また、それに応じて、ユーザが注目している焦点であるシーン３１０’の領域を示すことができる。ユーザ３０２の視線は、複数の線３３０の間に定められる。特定の視線の方向は、視線の追跡により判定された線３３０－Ｂによって、定めることができる。線３７０－Ｂは保護３６０と交差する可能性があり、この場合、ユーザ３０２の視線は、シーン３１０’を調査するときなど、右から左、または左から右に移動し得る。

【0052】

攻撃用武器（すなわち、図３Ａのオブジェクト３７０－Ａに対応するもの）はユーザ３０２の視線の方向にはないが、攻撃用武器は視線方向の隣接領域内、例えば複数の線３２５’の間に画定された視野の一部の内部に存在し得る。一実施形態では、攻撃用武器は、その時ユーザの注意を攻撃用武器に向けさせるために、オブジェクト３７０－Ｂとして強調表示される。その後、ユーザ３０２が一定時間、攻撃用武器に視線を向けていると判定されると、攻撃用武器に関連する情報を含むＨＵＤインターフェイスがシーン３１０’内にあるように、及び／または、表示または表面化させることができる。

【0053】

一実施形態では、シーン３１０’内部でオブジェクトが識別される。さらに、１つ以上のオブジェクトがユーザ３０２のゲームプレイにおいて重要であると判定され得る。例えば、攻撃用武器がユーザのゲームプレイにおいて重要である（例えば、ゲームプレイでタスクを達成するために必要である）と判定される場合がある。オブジェクトの重要度は、シーン内部で最も関連性の高いオブジェクトを判定するように構成されたルールを通じて判定することも、ゲームプレイのコンテキスト、ＦＯＶに表示されるシーン内部のオブジェクトなどを考慮する人工知能（ＡＩ）を通じて判定することもできる。

【0054】

一実施形態では、オブジェクト（例えば、攻撃用武器）が識別され、そのオブジェクトがユーザのゲームプレイにとって重要であると判定された後、そのオブジェクトは仮想環境のシーン３１０’内部で強調表示される（例えば、強調表示されたオブジェクト３７０－Ｂとして）。ユーザ３０２の視線の方向がそのオブジェクトと完全には一致していなくても、重要なオブジェクトがユーザの視線の方向の範囲内にあると判定された場合に、強調表示が行われることがある。オブジェクトの強調表示が、強調表示されたオブジェクト３７０－Ｂにユーザの注意を向けることができ、そのオブジェクトが重要であることを示し得る。強調表示がないと、ユーザはオブジェクトに気付かない可能性があり、及び／またはオブジェクトに気付くまでに長い時間を要し得る。

【0055】

一実施形態では、オブジェクトは、そのオブジェクトとの最初のインタラクション時にのみ強調表示される。つまり、オブジェクトはユーザ３０２のゲームプレイで以前に遭遇したことがなく、ユーザの視線がユーザのゲームプレイで初めてそのオブジェクトに向けられたと判定し得る。そのため、おそらくユーザはそれまでオブジェクトに気付いておらず、強調表示によって、ユーザの注意が強調表示されたオブジェクト３７０－Ｂに向けられたという可能性がある。

【0056】

図３Ｃは、本開示の一実施形態による、仮想環境のシーン内部に含まれる対象オブジェクト（例えば、キャラクター３４０）の拡大表示を提供するスコープモードビュー３８０と、スコープモードビュー３８０のＨＵＤインターフェイス３５５におけるオブジェクトに関連する情報３５６の提示とを示している。例えば、スコープモードビュー３８０は、図３Ａのシーン３１０を表示するとき、または図３Ｂのシーン３１０’を表示するときに、ユーザ３０２に提示され得る。

【0057】

対象となるオブジェクトの拡大表示は、ＨＭＤ３２０に表示されるスコープモードビュー３８０内部にレンダリングされる。特に、ＨＭＤ３２０においてユーザ３０２に提供されるシーンのＦＯＶは、対象化および／または拡大されるオブジェクト３４０の拡大表示を含むスコープモードビュー３８０に置き換えられ得る。つまり、拡大されたオブジェクトのスコープモードビュー３８０が、ユーザのＨＭＤのディスプレイ内部に提示される。特に、対応するシーンのオブジェクトは、キャラクター３４０など、スコープモードビュー３８０内部のターゲットになる場合がある。一実施態様では、スコープモードビューは自動的に、ＨＭＤに表示されるオブジェクトを中央に配置する（例えば、スコープの仮想十字線３８５を中心とする）。別の実施態様では、スコープモードビューはユーザ入力（例えば、１つ以上のコントローラを通して）によって制御される。

【0058】

スコープモードビュー３８０は、ユーザ３０２の注意が、拡大されているオブジェクトに向けられていることを示すものであり得る。つまり、対象オブジェクトとしてのキャラクター３４０など、オブジェクトはユーザにとって興味のあるものである。一実施態様では、ＨＵＤインターフェイス３５５がスコープモードビュー３８０に表示される。例えば、ＨＵＤインターフェイス３５５は、スコープモードビュー３８０内部のオーバーレイとして提供されてもよく、または前述のように、スコープモードビュー３８０内部で拡大されているシーンの一部の内部に埋め込まれ得る。

【0059】

さらに、前述のように、オブジェクトに関連する情報がＨＵＤインターフェイス３５５に提示され得る。ＨＵＤインターフェイス３５５の拡大図が図３Ｃに示されており、ＨＵＤインターフェイス３５５に含まれる情報３５６を示している。図に示すように、情報３５６は拡大されたオブジェクトに関連している。説明のみを目的として、情報３５６には、拡大されているキャラクター３４０の名前（つまり、Ｄｏｋｏ）、キャラクターが戦士クラスの敵戦闘員であること、接近戦に非常に熟練していること、及び戦闘不能にするには７回のヒットが必要であることが含まれてもよい。このようにして、ユーザ３０２は、キャラクター３４０のＤｏｋｏと関わる前に、状況を十分に認識することができる。

【0060】

図４は、本開示の一実施形態による、仮想現実におけるシーンのコンテキストを判定するための人工知能（ＡＩ）の適用、シーン内部のオブジェクトの識別、及びシーン内部に設けられたヘッドアップディスプレイを通じて視認可能なコンテキストに基づくオブジェクトに関連する情報の生成を示す。

【0061】

一実施形態では、シーン内部のオブジェクトは、その中で最も関連性の高いオブジェクトを決定するように構成されたルールを通じて識別され得る。つまり、シーン内部のオブジェクトの識別、そのオブジェクトがユーザのゲームプレイにとって重要であるかどうかの判定、オブジェクトに関連する情報の生成、及びＨＭＤにおけるユーザのＦＯＶ内部のＨＵＤインターフェイス内部での情報の表示あるいは表面化は、ルールの実施などにより、手動で実行される。

【0062】

別の実施形態では、ＡＩを実装して、シーン内部のオブジェクトを識別し、そのオブジェクトがユーザのゲームプレイにとって重要であるかどうかを判定し、そのオブジェクトに関連する情報を生成し、ＨＭＤにおけるユーザのＦＯＶ内部のシーンのＨＵＤインターフェイス内部に情報を表示あるいは表面化することができる。特に、オブジェクトは、ゲームプレイのコンテキストと、ユーザのＦＯＶに表示されるシーンを考慮するＡＩの適用を通じて決定され得る。

【0063】

ＡＩモデル４９１は、機械学習エンジン４９０に入力として提供されるトレーニングデータを使用してトレーニングされ、ＡＩモデル４９１のパラメータを微調整するためのトレーニングアルゴリズムを実装し、トレーニングされたＡＩモデルがユーザのゲームプレイのシーン内部のオブジェクトを分類及び／または識別できるようにし、ＡＩモデルがユーザのゲームプレイのシーン内部のオブジェクトの重要性を分類及び／または識別できるようにし、及び／または重要であると分類及び／または識別されたオブジェクトに関連する情報を分類及び／または識別できるようにする。ＡＩモデル４９１をトレーニング及び／または構築するために、様々な技術を使用でき、例えば人工知能、教師あり学習アルゴリズム及び／または教師なし学習アルゴリズム、強化学習などを使用できる。ＡＩを実行する機械学習エンジン４９０は、ニューラルネットワークの一種として実装されてもよく、ノードの階層またはレイヤー４９２を含む相互接続されたノードのネットワークを表す。ノード間で知識を交換することができ、入力に応じてレイヤー４９２内の特定のノードをアクティブ化することで、ＡＩモデル４９１が徐々にトレーニングされる。複数の入力を使用して繰り返しトレーニングを行うと、通常、シーン内部のオブジェクトを分類し、その重要度を判定し、それらのオブジェクトに関連する情報を識別するＡＩモデル４９１の精度が向上する。

【0064】

図示のように、シーン３１０は、シーンから特徴を抽出するように構成された特徴抽出器及び／または分類器４１０への入力として提供される。例えば、特徴は、シーン３１０内部に含まれるオブジェクトまたはオブジェクトの一部であり得る。これらのオブジェクトの分類は、マニュアルのルールを適用して実行することができ、その結果、それらの特徴に対応する特徴及び／またはオブジェクトが分類される。このようにして、分類を通じてシーン内部のオブジェクトが認識される。

【0065】

別の実施形態では、抽出された特徴は機械学習エンジン４９０への入力として提供され、ＡＩモデル４９１はシーン３１０内部のオブジェクトを分類するために使用される。このようにして、仮想環境のシーン内部の複数のオブジェクトが人工知能（ＡＩ）を使用して識別及び／または分類される。例えば、ＡＩモデル４９１（機械学習エンジン４９０によって実装される）は、シーン内のオブジェクトを識別及び／または分類するように構成される。つまり、ＡＩモデル４９１は、シーン内部のオブジェクトを分類するために機械学習を適用するように構成された機械学習モデルである。

【0066】

さらに別の実施形態では、ＡＩモデル４９１は、ユーザのゲームプレイ内部のシーンのコンテキストを判定するように構成された機械学習モデルである。つまり、抽出された特徴及び分類された特徴は、ビデオゲームをプレイしているユーザのゲームプレイ内部のシーンのコンテキストを分類及び／または判定するためにＡＩモデル４９１によって使用される。したがって、ＡＩモデル４９１は、シーンのコンテキスト４２５を出力として提供する。

【0067】

別の実施形態では、ＡＩモデル４９１は、以前に判定されたコンテキストに基づいて、識別されたオブジェクトがユーザのゲームプレイにとって重要であることを判定するように構成される。つまり、抽出された特徴及び／または分類された特徴とゲームコンテキストは、機械学習を適用するＡＩモデル４９１によって使用され、ユーザのゲームプレイ内部でのオブジェクトの重要度を分類及び／または判定する。例えば、ＡＩモデル４９１は、オブジェクトが重要であるか重要でないかを判定することができ、これはＡＩモデル４９１からの出力として（例えば、重要なオブジェクト４４０など）提供される。

【0068】

オブジェクトがＡＩモデルによって重要と分類された場合、コンテキストに基づいてオブジェクトに関連する情報が生成され得る。情報は、ＡＩモデル４９１を使用して生成及び／または識別または分類されるか、ルールを使用して生成及び／または識別されてもよい。ＡＩを使用する場合、ＡＩモデル４９１は情報を出力として提供する（例えば、情報４４５）。

【0069】

一実施形態では、分類されてユーザの注意を引くシーン内部のオブジェクトの数にユーザ面食らう可能性がある。そのため、フィルタ４３０を実装して、ユーザのゲームプレイにおいて重要であると見なされるオブジェクトの数を減らすことができる。例えば、フィルタ４３０は、ユーザのゲームプレイ内部で最も重要なオブジェクトのみを識別し、ユーザのシーン及び／またはゲームプレイの分類されたコンテキストに基づく重要度フィルタを適用することができる。一実施形態では、フィルタは、ユーザのゲームプレイ中に初めてユーザの視線が対応するオブジェクトに向けられたと判定し、そのオブジェクトをフィルタ４３０に通過させて、ユーザに提示する。ユーザが遭遇したことのある他の識別されたオブジェクトは、フィルタ４３０を通過しない（例えば、フィルタリングで除去される）。分類され、フィルタリングされたオブジェクト４４０は、ＡＩモデル４９１からの出力として提供される。

【0070】

さらに、分類及び／または識別され、重要であると分類された特定のオブジェクトに関する情報の量に対して、ユーザが面食らう可能性がある。したがって、フィルタ４３０は、最終的にＨＵＤインターフェイスを通じてユーザに提示される情報の量を削減するように実装され得る。例えば、フィルタ４３０は、ユーザのシーン及び／またはゲームプレイの分類されたコンテキストに基づいて、最も関連性の高い情報及び／または重要な情報を決定し得る。分類、生成、及び／またはフィルタリングされた情報４４５は、ＡＩモデル４９１からの出力として提供される。

【0071】

一実施形態では、ユーザに提示するためのＨＵＤインターフェイス内部に含まれる情報は、他のユーザ及び／またはプレイヤーと共有される。例えば、ユーザは、マルチプレイヤーゲームセッションに参加する複数のプレイヤーを含むチームの一員である場合がある。ユーザのゲームプレイ中にユーザに表示される情報が、例えばＨＵＤインターフェイスを通して、他のチームメンバーに提示され得る。ＨＵＤインターフェイス内部で情報の伝播を促す同じシーン及び／またはオブジェクトを見ていなくても、その情報は他のチームメンバーに提示され得る。例えば、ユーザがジャングルの内部で狙撃兵に遭遇し得て、狙撃兵に関する情報がシーン内のＨＵＤインターフェイスを通じてユーザに提示される。その狙撃兵に関する情報は、他のチームメンバーが自分のゲームプレイ中にその狙撃兵に遭遇していなくても、他のチームメンバーにとって役立つ可能性がある。このようにして、チームメンバー全員が狙撃兵について（例えば、場所、能力など）を把握し、それに応じて自らのゲームプレイを調整することができる。

【0072】

別の実施形態では、マルチプレイヤーゲームセッションに参加しているチームメンバーは、自分のゲームプレイ中にコミュニケーションをとるためにチームチャットプラットフォームを利用することができる。つまり、ユーザとチーム内の他のプレイヤーの間で通信セッションが確立される。チャットセッションは監視され得る（例えば、セッションのオーディオ及び／またはテキストの監視）。より具体的には、コミュニケーションを理解するために、自動音声認識（ＡＳＲ）アルゴリズムがオーディオに適用される。音声認識に基づいてチャットのコンテキストを識別できる。チャットに関連する情報は、チームのメンバーによるゲームプレイのコンテキストに基づいて生成できる。例えば、チャットセッション中に重要とみなされ、公開された情報が、生成され得る。次いで、その情報は、対応するＨＵＤインターフェイスにおいて、１人以上のチームメンバーに提示される。このようにして、チームの２人以上のメンバー間のチャットの最中に明らかになった重要な情報が、チームのすべてのプレイヤーに伝達される。

【0073】

したがって、本開示は、ヘッドマウントディスプレイ（ＨＭＤ）を通して見る仮想環境内部のヘッドアップディスプレイ（ＨＵＤ）のオブジェクトの情報を提供するための方法及びシステムについて記載する。このようにして、例えば、ユーザのゲームプレイに関連する情報がユーザに提供され、ビデオゲームをプレイする際のユーザエクスペリエンスが向上し得る。

【0074】

本明細書で定義される様々な実施形態は、本明細書で開示される様々な特徴を使用する特定の実施態様に組み合わされてもよく、または組み立てられ得ることを、理解されたい。したがって、提供される例は、可能な例の一部にすぎず、様々な要素を組み合わせて、より多くの実施態様を規定することによって可能である様々な実施態様に制限を加えるものではない。一部の例では、一部の実施態様は、開示されたまたは同等の実施態様の趣旨から逸脱することなく、より少ない要素を含んでもよい。

【0075】

本開示の実施形態は、ハンドヘルドデバイス、マイクロプロセッサシステム、マイクロプロセッサベースもしくはプログラム可能家庭用電化製品、ミニコンピュータ、及びメインフレームコンピュータなどを含む様々なコンピュータシステム構成で実践されてよい。本開示の実施形態はまた、有線ベースネットワークまたは無線ネットワークを介してリンクされる遠隔処理デバイスによりタスクが行われる分散コンピューティング環境においても、実施することができる。

【0076】

前述の実施形態を念頭において、当然のことながら、本開示の実施形態は、コンピュータシステムに記憶されたデータを伴う種々のコンピュータ実装動作を用いることができる。これらの動作は、物理量の物理的操作を要する動作である。本開示の実施形態の一部を形成する、本明細書で説明される動作のうちのいずれも、有用な機械動作である。開示の実施形態はまた、これら動作を実行するためのデバイスまたは装置に関する。装置は必要な目的に対して特別に構成することもできるし、または装置を、コンピュータに記憶されたコンピュータプログラムによって選択的に作動または構成される汎用コンピュータとすることもできる。特に、様々な汎用機械を、本明細書の教示にしたがって書かれたコンピュータプログラムと共に使用することができ、あるいは、必要な動作を実行するためにより専門的な装置を構築する方がより好都合である場合もある。

【0077】

本開示は、１つ以上のコンピュータまたは他のデバイスによって実行される、プログラムモジュールなどのコンピュータ可読媒体上のコンピュータ可読コードとして具現化することもできる。コンピュータ可読媒体は、データを記憶することができる任意のデータストレージデバイスであり、データはその後にコンピュータシステムによって読み取ることができる。限定ではなく例として、コンピュータ可読記憶媒体は、非一時的コンピュータ記憶媒体及び通信媒体を備え得る。コンピュータ可読媒体の例としては、ハードディスク、ネットワーク接続記憶装置（ＮＡＳ）、読み取り専用メモリ、ランダムアクセスメモリ、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリまたは他のメモリ技術、コンパクトディスクＲＯＭ（ＣＤ－ＲＯＭ）、ＣＤ－Ｒ、ＣＤ－ＲＷ、磁気テープならびに他の光及び非光データ記憶デバイス、またはアクセス可能な情報を格納するのに使用され得る任意の他の媒体を含むが、これらに限定されない。コンピュータ可読媒体は、コンピュータ可読コードが分散方式で記憶及び実行されるように、ネットワーク接続されたコンピュータシステムに分散されたコンピュータ可読有形媒体を含み得る。

【0078】

方法動作が特定の順序で説明されたが、他のハウスキーピング操作が動作の間に実行されてもよく、または動作が、わずかに異なる時刻に生じるように調整されてもよく、もしくはオーバーレイ動作の処理が所望の手法で実行される限り、処理に関連する様々な間隔で処理動作の発生を可能にするシステム内に分散されてもよいことが理解されるべきである。

【0079】

前述の開示は、理解を明確にするためにある程度詳細に説明されたが、添付の特許請求の範囲内で特定の変更及び修正を実施できることは明らかであろう。したがって、本実施形態は、限定ではなく例示としてみなされるべきであり、本開示の実施形態は、本明細書に提供される詳細に限定されるものではなく、添付の特許請求の範囲内及び均等物内で変更されてもよい。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【手続補正書】

【提出日】2024-06-18

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

ユーザのヘッドマウントディスプレイに表示するためのビデオゲームの仮想環境のビューをレンダリングし、前記仮想環境は複数のオブジェクトを有し、
前記ユーザの視線を追跡し、
前記ユーザの前記視線が一定期間前記ビューのオブジェクトに向けられていることを検出し、
前記オブジェクトに関連する情報を含むヘッドアップディスプレイ（ＨＵＤ）インターフェイスを生成し、
前記仮想環境の前記ビューの前記オブジェクトの近くにある前記ＨＵＤインターフェイスを表示し、
前記視線が前記オブジェクトから離れた向きであることを検出し、
前記視線が前記オブジェクトから離れた向きであることを検出した後に追跡される前記視線の視線履歴関数を生成し、前記視線履歴関数は前記オブジェクトに対する前記ユーザの注意を測定し、
前記視線履歴関数が一般オブジェクトに対する一般ユーザの注意の減衰を測定する時間減衰関数を満たす場合に、前記ＨＵＤインターフェイスを削除し、
前記視線履歴関数が前記時間減衰関数を満たす限り、前記ＨＵＤインターフェイスの前記削除を実行する前に前記ＨＵＤインターフェイスの透明度を高める、
方法。

【請求項2】

さらに、前記ＨＵＤインターフェイスをオーバーレイとして提供する、
請求項１に記載の方法。

【請求項3】

さらに、前記仮想環境の内部に前記ＨＵＤインターフェイスを埋め込む、
請求項１に記載の方法。

【請求項4】

前記ＨＵＤインターフェイスは、透明であって、その透明度は、当該透明度に基づいて仮想環境がＨＵＤインターフェイスを通して視認可能なものである、
請求項１に記載の方法。

【請求項5】

人工知能（ＡＩ）を使用して前記仮想環境のシーン内部の複数のオブジェクトを識別し、前記複数のオブジェクトは前記オブジェクトが識別されるように前記オブジェクトを含み、
前記ＡＩを使用して前記ユーザのゲームプレイ内部の前記シーンのコンテキストを判定し、
前記コンテキストに基づいて、前記オブジェクトが前記ユーザの前記ゲームプレイにとって重要であると判定し、
前記コンテキストに基づいて前記オブジェクトに関連する前記情報を生成する、
請求項１に記載の方法。

【請求項6】

さらに、前記オブジェクトが識別されて前記オブジェクトが前記ユーザの前記ゲームプレイにとって重要であると判定された後、前記仮想環境の前記ビューの内部の前記オブジェクトを強調表示し、
前記ユーザの前記視線が前記一定期間強調表示された前記オブジェクトに向けられていることが検出された後、前記ＨＵＤインターフェイスが表示される、
請求項５に記載の方法。

【請求項7】

さらに、前記ユーザの前記視線が前記オブジェクトに向けられている間に、前記ＨＵＤインターフェイスが前記ユーザの視野の内部で徐々に大きくなるように前記ＨＵＤインターフェイスに向かってズームインし、
前記ユーザの前記視線が前記オブジェクトから離れて向いていることを検出し、
前記ユーザの前記視野の内部で前記ＨＵＤインターフェイスが徐々に小さくなるように前記ＨＵＤインターフェイスからズームアウトする、
請求項１に記載の方法。

【請求項8】

さらに、前記ユーザの前記視野は前記仮想環境の狙撃兵モードビューである、
請求項７に記載の方法。

【請求項9】

前記ＨＵＤインターフェイスの内部に含まれる前記情報をプレイヤーと共有し、前記ユーザと前記プレイヤーは、マルチプレイヤーゲームセッションに参加するチームのメンバーである、
請求項１に記載の方法。

【請求項10】

さらに、前記ユーザとプレイヤーとの間の通信セッションを確立し、前記ユーザと前記プレイヤーは、マルチプレイヤーゲームセッションに参加するチームのメンバーであり、
前記通信セッションのオーディオを監視し、
前記オーディオに対して音声認識を実行し、
前記音声認識に基づいて前記オーディオのコンテキストを識別し、
前記コンテキストに関連する第２の情報を生成し、
前記第２の情報を前記ＨＵＤインターフェイスに提示する、
請求項１に記載の方法。

【請求項11】

さらに、前記ユーザのゲームプレイ中に初めて前記ユーザの前記視線が前記オブジェクトに向けられたと判定する、
請求項１に記載の方法。

【請求項12】

コンピュータシステムであって、
プロセッサと、
前記プロセッサに接続され、前記コンピュータシステムにより実行されると、方法を前記コンピュータシステムに実行させる命令を格納するメモリとを含み、前記方法は、
ユーザのヘッドマウントディスプレイに表示するためのビデオゲームの仮想環境のビューをレンダリングし、前記仮想環境は複数のオブジェクトを有し、
前記ユーザの視線を追跡し、
前記ユーザの前記視線が一定期間前記ビューのオブジェクトに向けられていることを検出し、
前記オブジェクトに関連する情報を含むヘッドアップディスプレイ（ＨＵＤ）インターフェイスを生成し、
前記仮想環境の前記ビューの前記オブジェクトの近くにある前記ＨＵＤインターフェイスを表示し、
前記視線が前記オブジェクトから離れた向きであることを検出し、
前記視線が前記オブジェクトから離れた向きであることを検出した後に追跡される前記視線の視線履歴関数を生成し、前記視線履歴関数は前記オブジェクトに対する前記ユーザの注意を測定し、
前記視線履歴関数が一般オブジェクトに対する一般ユーザの注意の減衰を測定する時間減衰関数を満たす場合に、前記ＨＵＤインターフェイスを削除し、
前記視線履歴関数が前記時間減衰関数を満たす限り、前記ＨＵＤインターフェイスの前記削除を実行する前に前記ＨＵＤインターフェイスの透明度を高める、
コンピュータシステム。

【請求項13】

人工知能（ＡＩ）を使用して前記仮想環境のシーン内部の複数のオブジェクトを識別し、前記複数のオブジェクトは前記オブジェクトが識別されるように前記オブジェクトを含み、
前記ＡＩを使用して前記ユーザのゲームプレイ内部の前記シーンのコンテキストを判定し、
前記コンテキストに基づいて、前記オブジェクトが前記ユーザの前記ゲームプレイにとって重要であると判定し、
前記コンテキストに基づいて前記オブジェクトに関連する前記情報を生成する、
請求項１２に記載のコンピュータシステム。

【請求項14】

ユーザのヘッドマウントディスプレイに表示するためのビデオゲームの仮想環境のビューをレンダリングし、前記仮想環境は複数のオブジェクトを有し、
前記ユーザの視線を追跡し、
前記ユーザの前記視線が一定期間前記ビューのオブジェクトに向けられていることを検出し、
前記オブジェクトに関連する情報を含むヘッドアップディスプレイ（ＨＵＤ）インターフェイスを生成し、
前記仮想環境の前記ビューの前記オブジェクトの近くにある前記ＨＵＤインターフェイスを表示し、
人工知能（ＡＩ）を使用して前記仮想環境のシーン内部の前記複数のオブジェクトを識別し、前記複数のオブジェクトは前記オブジェクトが識別されるように前記オブジェクトを含み、
前記ＡＩを使用して前記ユーザのゲームプレイ内部の前記シーンのコンテキストを判定し、
前記コンテキストに基づいて、前記オブジェクトが前記ユーザの前記ゲームプレイにとって重要であると判定し、
前記コンテキストに基づいて前記オブジェクトに関連する前記情報を生成する、
さらに、前記オブジェクトが識別されて前記オブジェクトが前記ユーザの前記ゲームプレイにとって重要であると判定された後、前記仮想環境の前記ビューの内部の前記オブジェクトを強調表示し、
前記ユーザの前記視線が前記一定期間強調表示された前記オブジェクトに向けられていることが検出された後、前記ＨＵＤインターフェイスが表示される、
方法。

【請求項15】

さらに、前記ＨＵＤインターフェイスをオーバーレイとして提供する、
請求項１４に記載の方法。

【請求項16】

さらに、前記仮想環境の内部に前記ＨＵＤインターフェイスを埋め込む、
請求項１４に記載の方法。

【請求項17】

前記ＨＵＤインターフェイスは、透明であって、その透明度は、当該透明度に基づいて仮想環境がＨＵＤインターフェイスを通して視認可能なものである、
請求項１４に記載の方法。

【請求項18】

前記視線が前記オブジェクトから離れた向きであることを検出し、
前記視線が前記オブジェクトから離れた向きであることを検出した後に追跡される前記視線の視線履歴関数を生成し、前記視線履歴関数は前記オブジェクトに対する前記ユーザの注意を測定し、
前記視線履歴関数が一般オブジェクトに対する一般ユーザの注意の減衰を測定する時間減衰関数を満たす場合に、前記ＨＵＤインターフェイスを削除する、
請求項１４に記載の方法。

【請求項19】

前記視線履歴関数が前記時間減衰関数を満たす限り、前記ＨＵＤインターフェイスの前記削除を実行する前に前記ＨＵＤインターフェイスの透明度を高める、
請求項１８に記載の方法。

【請求項20】

さらに、前記ユーザの前記視線が前記オブジェクトに向けられている間に、前記ＨＵＤインターフェイスが前記ユーザの視野の内部で徐々に大きくなるように前記ＨＵＤインターフェイスに向かってズームインし、
前記ユーザの前記視線が前記オブジェクトから離れて向いていることを検出し、
前記ユーザの前記視野の内部で前記ＨＵＤインターフェイスが徐々に小さくなるように前記ＨＵＤインターフェイスからズームアウトする、
請求項１４に記載の方法。

【請求項21】

ユーザのヘッドマウントディスプレイに表示するためのビデオゲームの仮想環境のビューをレンダリングし、前記仮想環境は複数のオブジェクトを有し、
前記ユーザの視線を追跡し、
前記ユーザの前記視線が一定期間前記ビューのオブジェクトに向けられていることを検出し、
前記オブジェクトに関連する情報を含むヘッドアップディスプレイ（ＨＵＤ）インターフェイスを生成し、
前記仮想環境の前記ビューの前記オブジェクトの近くにある前記ＨＵＤインターフェイスを表示し、
さらに、前記ユーザの前記視線が前記オブジェクトに向けられている間に、前記ＨＵＤインターフェイスが前記ユーザの視野の内部で徐々に大きくなるように前記ＨＵＤインターフェイスに向かってズームインし、
前記ユーザの前記視線が前記オブジェクトから離れて向いていることを検出し、
前記ユーザの前記視野の内部で前記ＨＵＤインターフェイスが徐々に小さくなるように前記ＨＵＤインターフェイスからズームアウトする、
方法。

【請求項22】

ユーザのヘッドマウントディスプレイに表示するためのビデオゲームの仮想環境のビューをレンダリングし、前記仮想環境は複数のオブジェクトを有し、
前記ユーザの視線を追跡し、
前記ユーザの前記視線が一定期間前記ビューのオブジェクトに向けられていることを検出し、
前記オブジェクトに関連する情報を含むヘッドアップディスプレイ（ＨＵＤ）インターフェイスを生成し、
前記仮想環境の前記ビューの前記オブジェクトの近くにある前記ＨＵＤインターフェイスを表示し、
さらに、前記ユーザとプレイヤーとの間の通信セッションを確立し、前記ユーザと前記プレイヤーは、マルチプレイヤーゲームセッションに参加するチームのメンバーであり、
前記通信セッションのオーディオを監視し、
前記オーディオに対して音声認識を実行し、
前記音声認識に基づいて前記オーディオのコンテキストを識別し、
前記コンテキストに関連する第２の情報を生成し、
前記第２の情報を前記ＨＵＤインターフェイスに提示する、
方法。

【国際調査報告】