特許 7155280 ビデオストリームからコンテキスト固有ＨＵＤをパースするためのプロゲーミングＡＲバイザー及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-10-07

(45)【発行日】2022-10-18

(54)【発明の名称】ビデオストリームからコンテキスト固有ＨＵＤをパースするためのプロゲーミングＡＲバイザー及び方法

(51)【国際特許分類】

   A63F 13/26 20140101AFI20221011BHJP

   G06F 3/01 20060101ALI20221011BHJP

   A63F 13/53 20140101ALI20221011BHJP

   A63F 13/214 20140101ALI20221011BHJP

   A63F 13/428 20140101ALI20221011BHJP

   G09G 5/00 20060101ALI20221011BHJP

   G09G 5/38 20060101ALI20221011BHJP

   G09G 5/36 20060101ALI20221011BHJP

   G09G 5/02 20060101ALI20221011BHJP

   G09G 5/377 20060101ALI20221011BHJP

   G09F 9/46 20060101ALI20221011BHJP

【ＦＩ】

A63F13/26

G06F3/01 510

A63F13/53

A63F13/214

A63F13/428

G09G5/00 510V

G09G5/00 510A

G09G5/00 550C

G09G5/38 A

G09G5/00 510H

G09G5/36 510M

G09G5/02 B

G09G5/36 520E

G09G5/00 555D

G09G5/36 520M

G09F9/46

【請求項の数】 13

(21)【出願番号】P 2020548929

(86)(22)【出願日】2019-01-19

(65)【公表番号】

(43)【公表日】2021-08-02

(86)【国際出願番号】 US2019014379

(87)【国際公開番号】W WO2019177692

(87)【国際公開日】2019-09-19

【審査請求日】2020-11-13

(31)【優先権主張番号】15/921,141

(32)【優先日】2018-03-14

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】518187455

【氏名又は名称】ソニー・インタラクティブエンタテインメント エルエルシー

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】サーガニス、ジョン チャールズ

【審査官】前地 純一郎

(56)【参考文献】

【文献】特開２０１４－０１０６６４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／０２７６９４３（ＵＳ，Ａ１）

【文献】特表２０１７－５１１９４３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６３Ｆ １３／００ －１３／９８

Ａ６３Ｆ ９／２４

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８４

Ｇ０９Ｇ ５／００ － ５／４０

Ｇ０６Ｔ １９／００ －１９／２０

(57)【特許請求の範囲】

【請求項1】

コンピュータゲームプログラムによって要求されるビデオを提示するように構成される少なくとも１つのプライマリディスプレイと、
少なくとも１つのインターポーズディスプレイであって、前記少なくとも１つのインターポーズディスプレイはコンピュータゲーマーと前記プライマリディスプレイとの間に配置可能であり、前記インターポーズディスプレイは半透明である、前記少なくとも１つのインターポーズディスプレイと、
一時的信号ではなく、少なくとも１つのプロセッサによって実行可能な命令を含む、少なくとも１つのコンピュータストレージであって、前記命令は、
前記プライマリディスプレイに提示される前記ビデオを生成する前記コンピュータゲームプログラムからの拡張現実（ＡＲ）情報を、前記インターポーズディスプレイ上のプロジェクタを用いて、前記インターポーズディスプレイに投影することを実行可能にし、前記コンピュータゲーマーが前記インターポーズディスプレイに目を通して、前記コンピュータゲームプログラムによって要求される前記ビデオを前記プライマリディスプレイで見るとき、前記ＡＲ情報を前記コンピュータゲーマーの視線で見ることができる、
前記少なくとも１つのコンピュータストレージと、
を備える、システム。

【請求項2】

前記プロセッサを備える、請求項１に記載のシステム。

【請求項3】

前記インターポーズディスプレイは、前記コンピュータゲーマーの頭部に装着されるように構成される、請求項１に記載のシステム。

【請求項4】

前記インターポーズディスプレイは眼鏡のように構成される、請求項２に記載のシステム。

【請求項5】

前記インターポーズディスプレイは、前記コンピュータゲーマーから離れている前記コンピュータゲーマーの意図する視界に直接設置または搭載されるように構成される、請求項２のシステム。

【請求項6】

前記命令は、健康状態／寿命、時間、スコア、武器／銃弾、能力、メニュー、ゲーム進行、ミニマップ、スピードメータ／タコメータ、コンテキスト依存情報、レチクル／カーソル／十字線、ステルスメータ、コンパスの１つ以上を含む、ビデオゲームプレイからのユーザコンテンツ、データ、及び／または更新を、前記インターポーズディスプレイに提示することを実行可能にする、請求項１に記載のシステム。

【請求項7】

前記インターポーズディスプレイは、前記プライマリディスプレイに対面する内側面及び外側面を含み、前記外側面はタッチセンサ式であり、前記命令は、
前記インターポーズディスプレイの前記外側面へのタッチに応答して、前記インターポーズディスプレイに提示される前記ＡＲ情報を移動させることを実行可能にする、請求項１に記載のシステム。

【請求項8】

前記インターポーズディスプレイに、前記コンピュータゲーマーの目の向きを追跡するように位置付けられる少なくとも１つのカメラを備え、前記カメラからの情報は前記コンピュータゲームプログラムを実行するゲーム機に送信される、請求項１に記載のシステム。

【請求項9】

前記コンピュータゲームプログラムを実行する少なくとも１つのゲーム機を含む、請求項１に記載のシステム。

【請求項10】

前記命令は、
前記ＡＲ情報を識別する前記コンピュータゲームプログラムのコードにアクセスすることと、
前記コードを使用して、前記ＡＲ情報を前記インターポーズディスプレイに提示することと、
を実行可能にする、請求項１に記載のシステム。

【請求項11】

前記命令は、
前記コンピュータゲームプログラムから、前記ＡＲ情報の動きを表す信号を受信することと、
前記信号に少なくとも部分的に基づいて、前記インターポーズディスプレイの前記ＡＲ情報の色、サイズのうちの少なくとも１つを変更することと、
を実行可能にする、請求項１に記載のシステム。

【請求項12】

前記命令は、
前記インターポーズディスプレイに関連付けられる通信コンポーネントと、前記コンピュータゲームプログラムを実行する少なくとも１つのゲーム機との間の通信を検出したことに応答して、前記コンピュータゲームプログラムから前記インターポーズディスプレイに前記ＡＲ情報を転送することを実行可能にする、請求項１に記載のシステム。

【請求項13】

前記命令は、
少なくとも１つのゲーマーが開始した入力コマンドに応答して、前記コンピュータゲームプログラムから前記インターポーズディスプレイに前記ＡＲ情報を送信することを実行可能にする、請求項１に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本願は、ビデオストリームからコンテキスト固有のヘッドアップディスプレイ（ＨＵＤ）コンテンツをパースするためのプロフェッショナルゲーム拡張現実（ＡＲ）バイザー及び方法に関する。

【背景技術】

【0002】

多くのビデオストリーム（特に、ビデオゲームからのビデオストリーム）は、画面に周辺の補足データ、情報、または画像を含む。表示されている一次画像及びコンテンツを妨害またはブロックしないように、この補足情報は、通常、示されている主要ビデオの端または境界の周りのテレビ画面またはコンピュータ画面に表示される。しかしながら、例えば、ビデオゲームのプレイ中、ユーザが画面の周辺部に沿ってＨＵＤコンテンツを視認及び解読するために、主画面コンテンツからユーザの目をそらすことが必要となり、気が散る可能性がある。実際、境界に位置するコンテンツを走査することは通常数秒しかかからないが、本原理では、ゲームプレイアクティビティにおいて、短時間でさえも気が散ると、タイミングの悪い判断ミス、機会の逸失、または他のゲームプレイのミスをもたらす可能性があることが認識される。実際、プロのビデオゲームプレーヤーが重要情報だけでなく周辺情報も見ることを確実にするために、トレーニングメトロノームを使用して、適切な周期で画面端への注視を常にそらすように自分を訓練している。

【発明の概要】

【0003】

本明細書で理解されるように、ＨＵＤコンテンツに適したコンテンツは、戦略的に、ユーザの前方に装着されるまたは位置付けられるバイザーまたはディスプレイを使用することによって抽出され、主要な視認エリアにわたって表示または重ねることができ、ユーザが画面の他のエリアへ注意をそらすことを軽減し、ユーザのゲームプレイの利点をもたらす。

【0004】

本原理は、また、対戦型ビデオゲームプレイ以外の用途でも使用され得る。例えば、別様にドライバーの注意を道路及び乗り物の操作からそらす情報のダッシュボード表示は、ダッシュボードからの情報をより安全なＨＵＤ視界に重ねる、またはそうでなければ表示するディスプレイ装置によって移動できる。

【0005】

したがって、本システムは、コンピュータゲームプログラムによって要求されるビデオを提示するように構成される少なくとも１つのプライマリディスプレイを含む。本システムは、また、コンピュータゲーマーとプライマリディスプレイとの間に配置可能な少なくとも１つのインターポーズディスプレイを含む。インターポーズディスプレイは半透明である。一時的信号ではない少なくとも１つのコンピュータストレージは、インターポーズディスプレイにコンピュータゲームプログラムからの拡張現実（ＡＲ）情報を提示するために少なくとも１つのプロセッサによって実行可能な命令を含む。このように、コンピュータゲーマーがインターポーズディスプレイに目を通して、プライマリディスプレイで、コンピュータゲームプログラムによって要求されるビデオを見るとき、ＡＲ情報をコンピュータゲーマーの視線で見ることができる。

【0006】

いくつかの例では、インターポーズディスプレイは、例えば、ＡＲヘッドセットのバイザーとして、コンピュータゲーマーの頭部に装着されるように構成される。または、インターポーズディスプレイは、眼鏡のように構成され得る。またさらに、インターポーズディスプレイは、コンピュータゲーマーから離れているコンピュータゲーマーの意図する視界に直接設置または搭載されるように構成され得る。

【0007】

例示的実施態様では、命令は、健康状態／寿命、時間、スコア、武器／銃弾、能力、メニュー、ゲーム進行、ミニマップ、スピードメータ／タコメータ、コンテキスト依存情報、レチクル／カーソル／十字線、ステルスメータ、コンパスの１つ以上を含む、ビデオゲームプレイからのユーザコンテンツ、データ、及び／または更新を、インターポーズディスプレイに提示することを実行可能にする。命令は、デバイスまたは乗り物の動作、バッテリ寿命、乗り物速度、オイルレベル、速度／速度制限、車線逸脱警告、運転方向、アラート／自動車の状態メッセージ、クルーズコントロール情報、近接車検出、道路、及び／または天気状況にとって重要なコンテンツ、データ、及び／または更新の１つ以上を、インターポーズディスプレイに提示することを実行可能にし得る。

【0008】

いくつかの例では、インターポーズディスプレイは、プライマリディスプレイに対面する内側面及びタッチセンサ式外側面を含み得、命令は、インターポーズディスプレイの外側面へのタッチに応答して、インターポーズディスプレイに提示されるＡＲ情報を移動させることを実行可能にする。例示的な実施形態では、少なくとも１つのカメラをインターポーズディスプレイに提示し、コンピュータゲーマーの目の向きを追跡するように位置付けられ得、カメラからの情報は、例えばコンピュータゲームの武器の照準線を確立するためにコンピュータゲームプログラムを実行するゲーム機に送信される。

【0009】

必要に応じて、命令は、ＡＲ情報を識別するコンピュータゲームプログラムのコードにアクセスし、コードを使用して、ＡＲ情報をインターポーズディスプレイに提示することが実行可能であり得る。例では、命令は、ＡＲ情報の動きを表すコンピュータゲームプログラムから信号を受信し、信号に少なくとも部分的に基づいて、インターポーズディスプレイのＡＲ情報の色、サイズの少なくとも１つを変更することが実行可能である。

【0010】

下記により詳細に説明されるいくつかの実施態様では、命令は、インターポーズディスプレイに関連付けられる通信コンポーネントと、コンピュータゲームプログラムを実行する少なくとも１つのゲーム機との間の通信を検出したことに応答して、コンピュータゲームプログラムからインターポーズディスプレイにＡＲ情報を転送することを実行可能にする。他の実施態様では、少なくとも１つのゲーマーが開始した音声またはキーボード入力コマンドに応答して、コンピュータゲームプログラムからインターポーズディスプレイにＡＲ情報を送信することを実行可能にする。

【0011】

別の態様では、本方法は、ゲームプログラムに従ってコンピュータゲームビデオをプライマリディスプレイに提示することを含む。本方法は、また、ゲームプログラムからの情報を拡張現実（ＡＲ）情報として、プライマリディスプレイとコンピュータゲーマーとの間に位置する半透明ディスプレイに提示することを含む。

【0012】

別の態様では、ディスプレイアセンブリは、少なくとも１つの半透明ディスプレイ及び少なくとも１つのコンピュータストレージを含み、半透明ディスプレイから分離しているプライマリディスプレイにビデオを提示するために実行されるコンピュータゲームプログラムからコードにアクセスするための少なくとも１つのプロセッサによって実行可能な命令を伴う。命令は、半透明ディスプレイに、コードによって伝えられる情報を提示することが実行可能である。

【0013】

本願の詳細は、その構造及び動作の両方について、同様の参照符号が同様の部分を指す添付図を参照して最も良く理解できる。

【図面の簡単な説明】

【0014】

【図1】本原理に従った例を含む例示的システムのブロック図である。

【図2】いくつかのコンポーネントを概略的に示す、コンピュータゲームのヘッドセット構成において「ヘッドアップディスプレイ」（ＨＵＤ）として構成される半透明ディスプレイの上面図である。

【図3】眼鏡構成のＨＵＤとして構成される半透明ディスプレイの斜視図である。

【図4】いくつかのコンポーネントを概略的に示す、ゲーマーによって装着されるのではなく、ゲーマーとプライマリディスプレイとの間に配置されるスタンドアロンＨＵＤとして構成される半透明ディスプレイの斜視図であり、ＨＵＤの実施態様のいずれかのコンポーネントが交換され得ることを理解されたい。

【図5】コンソールによって実行されるプログラムからの情報が半透明ＨＵＤに送られる、ゲーム機からのコンピュータゲームビデオが示されるプライマリディスプレイを含むシステムを示す立面図である。

【図6】ＨＵＤのＡＲ情報提示を初期化するための例示的ロジックのフローチャートである。

【図7】ＨＵＤのＡＲ情報提示を初期化するための例示的ロジックのフローチャートである。

【図8】ＨＵＤのＡＲ情報提示を初期化するための例示的ロジックのフローチャートである。

【図9】ＨＵＤのＡＲ提示を実行するための例示的ロジックのフローチャートである。

【図10】本原理と一致する例示的ＨＵＤ制御モードを示す概略図である。

【図11】本原理と一致する例示的ＨＵＤ制御モードを示す概略図である。

【図12】本原理と一致する例示的ＨＵＤ制御モードを示す概略図である。

【発明を実施するための形態】

【0015】

本開示は、概して、限定ではないが、コンピュータゲームネットワーク等の家電製品（ＣＥ）デバイスネットワークの態様を含むコンピュータエコシステムに関する。本明細書のシステムは、クライアントコンポーネントとサーバコンポーネントとの間でデータを交換し得るように、ネットワークを通じて接続されたサーバコンポーネント及びクライアントコンポーネントを含み得る。クライアントコンポーネントは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）等のゲーム機またはＭｉｃｒｏｓｏｆｔもしくはＮｉｎｔｅｎｄｏもしくは他の製造者によって作成されたゲーム機、仮想現実（ＶＲ）ヘッドセット、拡張現実（ＡＲ）ヘッドセット、ポータブルテレビ（例えば、スマートテレビ、インターネット対応テレビ）、ラップトップ及びタブレットコンピュータ等のポータブルコンピュータ、ならびにスマートフォン及び下記に説明される追加例を含む他のモバイルデバイスを含む、１つ以上のコンピューティングデバイスを含み得る。これらのクライアントデバイスは、様々な動作環境で動作し得る。例えば、クライアントコンピュータの一部は、例として、Ｌｉｎｕｘ（登録商標）オペレーティングシステム、Ｍｉｃｒｏｓｏｆｔのオペレーティングシステム、もしくはＵｎｉｘ（登録商標）オペレーティングシステム、またはＡｐｐｌｅ ＣｏｍｐｕｔｅｒもしくはＧｏｏｇｌｅによって製造されたオペレーティングシステムを使用し得る。これらの動作環境は、下記に説明されるインターネットサーバによってホストされるウェブサイトにアクセスできる、ＭｉｃｒｏｓｏｆｔもしくはＧｏｏｇｌｅもしくはＭｏｚｉｌｌａによって作成されたブラウザ、または他のブラウザプログラム等、１つ以上のブラウジングプログラムを実行するために使用され得る。また、本原理に従った動作環境は、１つ以上のコンピュータゲームプログラムを実行するために使用され得る。

【0016】

サーバ及び／またはゲートウェイは、インターネット等のネットワークを通じてデータを受信及び伝送するサーバを構成する命令を実行する１つ以上のプロセッサを含み得る。または、クライアント及びサーバは、ローカルイントラネットまたは仮想プライベートネットワークを通じて接続できる。サーバまたはコントローラは、Ｓｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）等のゲーム機、パーソナルコンピュータ等によってインスタンス化され得る。

【0017】

クライアントとサーバとの間でネットワークを通じて情報を交換し得る。この目的のために及びセキュリティのために、サーバ及び／またはクライアントは、ファイアウォール、ロードバランサ、一時的ストレージ、及びプロキシ、ならびに信頼性及びセキュリティのための他のネットワークインフラストラクチャを含み得る。１つ以上のサーバは、ネットワークメンバーにオンラインソーシャルウェブサイト等のセキュアコミュニティを提供する方法を実施する装置を形成し得る。

【0018】

本明細書で使用されるように、命令は、本システムにおいて情報を処理するためのコンピュータにより実施されるステップを指す。命令は、ソフトウェア、ファームウェア、またはハードウェアにおいて実施でき、本システムのコンポーネントによって引き受けられるいずれかのタイプのプログラムされたステップを含み得る。

【0019】

プロセッサは、アドレスライン、データライン、及び制御ライン等の様々なライン、ならびにレジスタ及びシフトレジスタによってロジックを実行できるいずれかの従来の汎用シングルチッププロセッサまたはマルチチッププロセッサであり得る。

【0020】

本明細書でフローチャート及びユーザインタフェースによって説明されるソフトウェアモジュールは、様々なサブルーチン、手順等を含み得る。本開示を限定することなく、特定のモジュールによって実行されるように規定されるロジックは、他のソフトウェアモジュールに再分配でき、及び／または単一のモジュールに一緒に組み合わされることができ、及び／または共有可能ライブラリにおいて利用可能にできる。

【0021】

本明細書に説明される本原理は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせとして実装できる。したがって、実例となるコンポーネント、ブロック、モジュール、回路、及びステップは、それらの機能性に関して説明される。

【0022】

下記に説明される機能及び方法は、ソフトウェアにおいて実装されるとき、限定ではないが、Ｊａｖａ（登録商標）、Ｃ＃、またはＣ＋＋等の適切な言語で書き込まれることができ、ランダムアクセスメモリ（ＲＡＭ）、リードオンリメモリ（ＲＯＭ）、電気的消去可能プログラマブルリードオンリメモリ（ＥＥＰＲＯＭ）、コンパクトディスクリードオンリメモリ（ＣＤ－ＲＯＭ）またはデジタル多用途ディスク（ＤＶＤ）等の他の光ディスクストレージ、磁気ディスクストレージまたは取り外し可能サムドライブ等を含む他の磁気記憶デバイス等のコンピュータ可読記憶媒体に記憶できる、またはコンピュータ可読記憶媒体を経由して伝送できる。接続はコンピュータ可読媒体を確立し得る。係る接続は、例として、光ファイバ、同軸ワイヤ、デジタル加入者回線（ＤＳＬ）、及びツイストペアワイヤを含む有線ケーブルを含み得る。係る接続は、赤外線及び無線を含む無線通信接続を含み得る。

【0023】

一実施形態に含まれるコンポーネントは、他の実施形態では、いずれかの適切な組み合わせで使用され得る。例えば、本明細書に説明される及び／または図で示される様々なコンポーネントのいずれかは、組み合わされ得、交換され得、または他の実施形態から排除され得る。

【0024】

「Ａ、Ｂ、及びＣのうちの少なくとも１つを有するシステム」（同様に「Ａ、Ｂ、またはＣのうちの少なくとも１つを有するシステム」及び「Ａ、Ｂ、Ｃのうちの少なくとも１つを有するシステム」）は、Ａ単独、Ｂ単独、Ｃ単独、Ａ及びＢを一緒に、Ａ及びＣを一緒に、Ｂ及びＣを一緒に、及び／またはＡ、Ｂ、及びＣを一緒に有するシステム等を含む。

【0025】

ここで、具体的には図１を参照して、上記に言及された本原理に従って下記にさらに説明される例示的デバイスの１つ以上を含み得る、例示的システム１０を示す。システム１０に含まれる第１の例示的デバイスは、限定ではないが、テレビチューナ（同様に、テレビを制御するセットトップボックス）を有するインターネット対応テレビ等の音声ビデオデバイス（ＡＶＤ）１２等の家電製品（ＣＥ）デバイスである。しかしながら、ＡＶＤ１２は、代わりに、電気器具または家庭用品（例えば、コンピュータ制御式インターネット対応冷蔵庫、洗濯機、または乾燥機）であり得る。代わりに、ＡＶＤ１２は、また、コンピュータ制御式インターネット対応（「スマート」）電話、タブレットコンピュータ、ノートブックコンピュータ、装着可能コンピュータ制御デバイス（例えば、コンピュータ制御式インターネット対応時計、コンピュータ制御式インターネット対応ブレスレット等）、他のコンピュータ制御式インターネット対応デバイス、コンピュータ制御式インターネット対応ミュージックプレイヤ、コンピュータ制御式インターネット対応ヘッドフォン、インプラント可能な皮膚デバイス等のコンピュータ制御式でインターネット対応のインプラント可能なデバイス等であり得る。それにも関わらず、ＡＶＤ１２は、本原理を実施するように構成される（例えば、本原理を実施するように他のＣＥデバイスと通信し、本明細書に説明されるロジックを実行して、本明細書に説明されるいずれかの他の機能及び／または動作を行う）ことを理解されたい。

【0026】

したがって、係る原理を実施するために、ＡＶＤ１２は、図１に示されるコンポーネントの一部または全てによって確立できる。例えば、ＡＶＤ１２は、１つ以上のディスプレイ１４を含み得、１つ以上のディスプレイ１４は、高解像度もしくは超解像度の「４Ｋ」またはより高い解像度のフラットスクリーンによって実装され得、ディスプレイのタッチによりユーザ入力信号を受信するためにタッチ対応であり得る。ＡＶＤ１２は、本原理に従って音声を出力するための１つ以上のスピーカ１６と、例えば、可聴コマンドをＡＶＤ１２に入力して、ＡＶＤ１２を制御するための、例えば、音声受信機／マイクロホン等の少なくとも１つの追加入力デバイス１８を含み得る。例示的なＡＶＤ１２は、また、１つ以上のプロセッサ２４の制御の下、インターネット、ＷＡＮ、ＬＡＮ等の少なくとも１つのネットワーク２２を通じて通信するための１つ以上のネットワークインタフェース２０を含み得る。また、グラフィックプロセッサ２４Ａを含み得る。したがって、インタフェース２０は、限定ではないが、Ｗｉ－Ｆｉ送受信機であり得、Ｗｉ－Ｆｉ送受信機は、限定ではないが、メッシュネットワークトランシーバ等の無線コンピュータネットワークインタフェースの例である。プロセッサ２４は、例えば、ディスプレイ１４をそこで画像を提示するように制御することと、そこから入力を受信すること等の本明細書に説明されるＡＶＤ１２の他の要素を含む本原理を実施するようにＡＶＤ１２を制御することを理解されたい。さらに、ネットワークインタフェース２０は、例えば、有線もしくは無線のモデムもしくはルータ、または、例えば、無線テレフォニ送受信機もしくは上記に言及したようなＷｉ－Ｆｉ送受信機等の他の適切なインタフェースであり得ることに留意されたい。

【0027】

上述に加えて、ＡＶＤ１２は、また、例えば、別のＣＥデバイスに（例えば、有線接続を使用して）物理的に接続する高解像度マルチメディアインタフェース（ＨＤＭＩ（登録商標））ポートもしくはＵＳＢポート、及び／またはヘッドフォンを経由してＡＶＤ１２からユーザに音声を提示するためにＡＶＤ１２にヘッドフォンを接続するヘッドフォンポート等の１つ以上の入力ポート２６を含み得る。例えば、入力ポート２６は、音声ビデオコンテンツのケーブルまたはサテライトソース２６ａに有線でまたは無線で接続され得る。従って、ソース２６ａは、例えば、分離もしくは統合されたセットトップボックス、またはサテライト受信機であり得る。または、ソース２６ａは、コンピュータゲームソフトウェア及びデータベース等のコンテンツを含むゲーム機またはディスクプレイヤであり得る。ソース２６ａは、ゲーム機として実装されるとき、ＣＥデバイス４４に関連して下記に説明されるコンポーネントの一部または全てを含み得る。

【0028】

ＡＶＤ１２は、さらに、一時的信号ではない、ディスクベースストレージまたはソリッドステートストレージ等の１つ以上のコンピュータメモリ２８を含み得、これらのストレージは、いくつかの場合、スタンドアロンデバイスとして、またはＡＶプログラムを再生するためにＡＶＤのシャーシの内部もしくは外部のいずれかでパーソナルビデオ録画デバイス（ＰＶＲ）もしくはビデオディスクプレイヤとして、または取り外し可能メモリ媒体として、ＡＶＤのシャーシ内で具現化される。また、いくつかの実施形態では、ＡＶＤ１２は、限定ではないが、例えば、少なくとも１つのサテライト基地局もしくは携帯電話基地局から地理的位置情報を受信し、情報をプロセッサ２４に提供し、及び／またはＡＶＤ１２がプロセッサ２４と併せて配置される高度を判定するように構成される、携帯電話受信機、ＧＰＳ受信機、及び／または高度計３０等の位置受信機または場所受信機を含み得る。しかしながら、例えば、全３次元において、例えば、ＡＶＤ１２の場所を判定するために、本原理に従って、携帯電話受信機、ＧＰＳ受信機、及び／または高度計以外の別の適切な位置受信機が使用され得ることを理解されたい。

【0029】

ＡＶＤ１２の説明を続けると、いくつかの実施形態では、ＡＶＤ１２は、１つ以上のカメラ３２を含み得、１つ以上のカメラ３２は、例えば、熱画像カメラ、ウェブカメラ等のデジタルカメラ、及び／または本原理に従って写真／画像及び／またはビデオを集めるように、ＡＶＤ１２に統合され、プロセッサ２４によって制御可能であるカメラであり得る。また、ＡＶＤ１２に含まれるのは、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／または近距離無線通信（ＮＦＣ）技術を各々使用して、他のデバイスと通信するためのＢｌｕｅｔｏｏｔｈ（登録商標）送受信機３４及び他のＮＦＣ要素３６であり得る。例示的なＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であり得る。また、Ｚｉｇｂｅｅ（登録商標）を使用し得る。

【0030】

さらにまた、ＡＶＤ１２は、プロセッサ２４に入力を提供する１つ以上の補助センサ３７（例えば、加速度計、ジャイロスコープ、サイクロメータ等の運動センサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度センサ及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するためのセンサ）等）を含み得る。ＡＶＤ１２は、プロセッサ２４に入力を提供する無線（ｏｖｅｒ－ｔｈｅ－ａｉｒ（ＯＴＡ））ＴＶ放送を受信するための無線テレビ放送ポート３８を含み得る。上述に加えて、ＡＶＤ１２は、また、赤外線（ＩＲ）データアソシエーション（ＩＲＤＡ）デバイス等のＩＲ伝送機及び／またはＩＲ受信機及び／またはＩＲ送受信機４２を含み得ることに留意されたい。ＡＶＤ１２に給電するためのバッテリ（図示せず）が提供され得る。

【0031】

さらに図１を参照すると、ＡＶＤ１２に加えて、システム１０は、１つ以上の他のＣＥデバイスタイプを含み得る。一例では、第１のＣＥデバイス４４は、ＡＶＤ１２に直接送信されるコマンドを介して及び／または下記に説明されるサーバを通じて、コンピュータゲーム音声及びビデオをＡＶＤ１２に送信するために使用され得る一方、第２のＣＥデバイス４６は第１のＣＥデバイス４４と同様のコンポーネントを含み得る。示される例では、第２のＣＥデバイス４６は、示されたように、プレイヤ４７によって装着されるＶＲヘッドセットまたはプレイヤ４７によって操作されるハンドヘルドゲームコントローラとして構成され得る。示される例では、２つのＣＥデバイス４４、４６だけが示され、より少ない数またはより多い数のデバイスが使用され得ることを理解されたい。

【0032】

示される例では、本原理を示すために、全ての３つのデバイス１２、４４、４６は、例えば、家庭内のエンターテインメントネットワークのメンバーであること、または少なくとも住宅等の場所において相互に近接して存在していることが推定される。しかしながら、本原理は、他に明確に要求されない限り、破線４８によって示される特定の場所に限定されない。

【0033】

例示的な非限定的の第１のＣＥデバイス４４は、上述のデバイス、例えば、ポータブル無線ラップトップコンピュータまたはノートブックコンピュータまたはゲームコントローラ（また、「コンソール」と称される）のいずれか１つによって確立され得、したがって、下記に説明される１つ以上のコンポーネントを有し得る。第１のＣＥデバイス４４は、例えば、ＡＶ再生コマンド及び一時停止コマンドをＡＶＤ１２に発行するためのリモート制御（ＲＣ）であり得る、またはタブレットコンピュータ、有線もしくは無線リンクを介してＡＶＤ１２と通信するゲームコントローラ、パーソナルコンピュータ、無線電話等のより高性能デバイスであり得る。

【0034】

したがって、第１のＣＥデバイス４４は１つ以上のディスプレイ５０を含み得、１つ以上のディスプレイ５０はディスプレイのタッチによりユーザ入力信号を受信するためのタッチ式であり得る。第１のＣＥデバイス４４は、本原理に従って音声を出力するための１つ以上のスピーカ５２と、例えば、デバイス４４を制御するために可聴コマンドを第１のＣＥデバイス４４に入力するための少なくとも１つの追加入力デバイス５４（例えば、音声受信機／マイクロホン等）とを含み得る。例示的な第１のＣＥデバイス４４は、また、１つ以上のＣＥデバイスプロセッサ５８の制御の下、ネットワーク２２を通じて通信するための１つ以上のネットワークインタフェース５６を含み得る。また、グラフィックプロセッサ５８Ａを含み得る。したがって、インタフェース５６は、限定ではないが、Ｗｉ－Ｆｉ送受信機であり得、Ｗｉ－Ｆｉ送受信機は、メッシュネットワークインタフェースを含む無線コンピュータネットワークインタフェースの例である。プロセッサ５８は、例えば、ディスプレイ５０をそこで画像を提示するように制御することと、そこから入力を受信すること等の本明細書に説明される第１のＣＥデバイス４４の他の要素を含む、本原理を実施するように第１のＣＥデバイス４４を制御することを理解されたい。さらに、ネットワークインタフェース５６は、例えば、有線もしくは無線のモデムもしくはルータ、または、例えば、上記に言及したような無線テレフォニ送受信機もしくはＷｉ－Ｆｉ送受信機等の他の適切なインタフェースであり得ることに留意されたい。

【0035】

上述に加えて、第１のＣＥデバイス４４は、また、例えば、別のＣＥデバイスに物理的に接続する（例えば、有線接続を使用して）ＨＤＭＩ（登録商標）ポートもしくはＵＳＢポート、及び／またはヘッドフォンを経由して第１のＣＥデバイス４４からユーザに音声を提示するために第１のＣＥデバイス４４にヘッドフォンを接続するためのヘッドフォンポート等の１つ以上の入力ポート６０を含み得る。第１のＣＥデバイス４４は、さらに、ディスクベースストレージまたはソリッドステートストレージ等の１つ以上の有形コンピュータ可読記憶媒体６２を含み得る。また、いくつかの実施形態では、第１のＣＥデバイス４４は、限定ではないが、例えば、三角測量を使用して、少なくとも１つのサテライト基地局及び／または携帯電話基地局から地理的位置情報を受信し、ＣＥデバイスプロセッサ５８に情報を提供し、及び／または第１のＣＥデバイス４４がＣＥデバイスプロセッサ５８と併せて配置される高度を判定するように構成される、携帯電話及び／またはＧＰＳ受信機及び／または高度計６４等の位置受信機または場所受信機を含み得る。しかしながら、例えば、全３次元において、例えば、第１のＣＥデバイス４４の場所を判定するために、本原理に従って携帯電話及び／またはＧＰＳ受信機及び／または高度計以外の別の適切な位置受信機が使用され得ることを理解されたい。

【0036】

第１のＣＥデバイス４４の説明を続けると、いくつかの実施形態では、第１のＣＥデバイス４４は１つ以上のカメラ６６を含み得、１つ以上のカメラ６６は、例えば、熱画像カメラ、ウェブカメラ等のデジタルカメラ、及び／または第１のＣＥデバイス４４に統合され、本原理に従って写真／画像及び／またはビデオを集めるようにＣＥデバイスプロセッサ５８によって制御可能なカメラであり得る。また、第１のＣＥデバイス４４に含まれるのは、Ｂｌｕｅｔｏｏｔｈ（登録商標）及び／または近距離無線通信（ＮＦＣ）技術を各々使用して、他のデバイスと通信するためのＢｌｕｅｔｏｏｔｈ（登録商標）送受信機６８及び他のＮＦＣ要素７０であり得る。例示的なＮＦＣ要素は、無線周波数識別（ＲＦＩＤ）要素であり得る。

【0037】

さらにまた、第１のＣＥデバイス４４は、ＣＥデバイスプロセッサ５８に入力を提供する、１つ以上の補助センサ７２（例えば、加速度計、ジャイロスコープ、サイクロメータ等の運動センサ、または磁気センサ、赤外線（ＩＲ）センサ、光学センサ、速度センサ及び／またはケイデンスセンサ、ジェスチャセンサ（例えば、ジェスチャコマンドを検知するためのセンサ）等）を含み得る。第１のＣＥデバイス４４は、例えば、１つ以上の気候センサ７４（例えば、気圧計、湿度センサ、風力センサ、光センサ、温度センサ等）及び／またはＣＥデバイスプロセッサ５８に入力を提供する１つ以上の生体センサ７６等のさらに他のセンサを含み得る。上述に加えて、いくつかの実施形態では、第１のＣＥデバイス４４は、また、赤外線（ＩＲ）データアソシエーション（ＩＲＤＡ）デバイス等のＩＲ伝送機及び／またはＩＲ受信機、及び／またはＩＲ送受信機７８を含み得ることに留意されたい。第１のＣＥデバイス４４に給電するためのバッテリ（図示せず）が提供され得る。ＣＥデバイス４４は、上記に説明した通信モード及び関連するコンポーネントのいずれかによってＡＶＤ１２と通信し得る。

【0038】

第２のＣＥデバイス４６は、ＣＥデバイス４４に関して示されるコンポーネントの一部または全てを含み得る。ＣＥデバイスの１つまたは両方のいずれかは、１つ以上のバッテリによって供電され得る。

【0039】

ここで、上述の少なくとも１つのサーバ８０を参照すると、サーバ８０は、少なくとも１つのサーバプロセッサ８２と、ディスクベースストレージまたはソリッドステートストレージ等の少なくとも１つの有形コンピュータ可読記憶媒体８４と、サーバプロセッサ８２の制御の下、ネットワーク２２を通じて図１の他のデバイスとの通信を可能にし、実際に、本原理に従ってサーバとクライアントデバイスとの間の通信を容易にし得る少なくとも１つのネットワークインタフェース８６とを含む。ネットワークインタフェース８６は、例えば、有線もしくは無線のモデムもしくはルータ、Ｗｉ－Ｆｉ送受信機、または、例えば、無線テレフォニ送受信機等の他の適切なインタフェースであり得ることに留意されたい。

【0040】

したがって、いくつかの実施形態では、サーバ８０は、インターネットサーバまたはサーバ「ファーム」全体であり得、「クラウド」機能を含み得、「クラウド」機能を行い得、それにより、システム１０のデバイスは、例えば、ネットワークゲーミングアプリケーションに関する例示的な実施形態ではサーバ８０を介して「クラウド」環境にアクセスし得る。または、サーバ８０は、１つ以上のゲーム機、または図１に示される他のデバイスと同じ部屋もしくはその近くにある他のコンピュータによって実装され得る。

【0041】

さらに上記に指摘したものについて、下記に説明される論理ブロック、モジュール、及び回路は、汎用プロセッサ、デジタルシグナルプロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）もしくは特定用途向け集積回路（ＡＳＩＣ）等の他のプログラマブル論理デバイス、個別ゲートもしくはトランジスタロジック、個別ハードウェアコンポーネント、または本明細書に説明される機能を行うように設計されたそれらのいずれかの組み合わせによって実装できるまたは行われることができる。プロセッサは、コントローラもしくはステートマシン、またはコンピューティングデバイスの組み合わせによって実装できる。したがって、本明細書の方法は、プロセッサ、適切に構成される特定用途向け集積回路（ＡＳＩＣ）もしくはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）モジュール、または当業者によって認識されるであろうようないずれかの他の便利な様式によって実行されるソフトウェア命令として実施され得る。使用される場合、ソフトウェア命令は、ハードディスクドライブ、ＣＤ ＲＯＭ、またはフラッシュドライブ等の非一時的デバイスにおいて具体化され得る。ソフトウェアコード命令は、また、インターネットを通じてダウンロードされ得る。

【0042】

図２～図４は、コンピュータゲーマー等の視聴者と、コンピュータゲームビデオ等のビデオが提示されるプライマリディスプレイとの間に介在できる様々な半透明ディスプレイ２００、３００、４００を示す。したがって、半透明ディスプレイ２００、３００、４００は、拡張現実（ＡＲ）として、プライマリディスプレイのゲームビデオを駆動するコンピュータゲームファイルからの補助情報を提示する「ヘッドアップディスプレイ」（ＨＵＤ）の例である。係るＡＲ情報の非限定的実施例は、ゲームキャラクターの健康状態／残りの寿命、時間、スコア、利用可能である武器／銃弾の性質及び量、能力、ゲームメニュー、ゲーム進行状況、ミニチュア形式でゲームにおいてエミュレートされたトポグラフィのマップ、ゲームにおいてエミュレートされた乗り物に関連付けられるスピードメータ／タコメータゲージ、コンテキスト依存情報、レチクル／カーソル／十字線の表現、「ステルスメータ」、エミュレートされたゲームの地形に関連付けられるコンパス／クエストアローの数値表現を含む。動力車適用では、ＨＵＤコンテンツは、乗り物が通行している道路に関連付けられる実際の乗り物速度／速度制限、車線逸脱警告、運転方向、アラート／自動車の状態メッセージ、クルーズコントロール情報、近くの乗り物の検出アラート、道路、及び／または天気状況を含み得る。

【0043】

図２のＨＵＤ２００は半透明ディスプレイ２０２を有する頭部装着可能バイザーとして構成され、半透明ディスプレイ２０２は、外側面２０４（すなわち、バイザーが装着されたときにユーザから離れて対面する表面）と内側面２０６とを伴う。下記に詳述される理由のために、外側面はタッチセンサ式であり得る。下記にさらに説明される目的のために、マイクロホン２０８は、ユーザから音声信号を受信するために、ＨＵＤ２００に提供され得る。ＨＵＤ２００は、本明細書の他のＨＵＤと同様に、プロセッサ、コンピュータストレージ、スピーカ、入力キー、通信インタフェース、及び、概して、図１を参照して上記に説明した適切なコンポーネントのいずれかを含み得る。

【0044】

図３は眼鏡として構成されるＨＵＤ３００を示し、左右の半透明ディスプレイ３０２と、ディスプレイ３０２間にノーズブリッジ３０４とを備える。左右のテンプル３０６は、ディスプレイから延び、ユーザの左右の耳と係合できる。

【0045】

図４は、ゲームコントローラ４０４を操作するゲーマー４０２の頭部に装着されないがむしろ、スタンドアロンディスプレイとして、ゲーマー４０２とプライマリディスプレイ４０６との間に介在されるように構成される、さらに別のＨＵＤ４００を示す。プライマリディスプレイ４０６は、本明細書に説明されるディスプレイ（例えば、図１のディスプレイ１４等）のいずれかで実装され得る。

【0046】

コントローラ４０４は、ゲームプレイ信号をコンピュータゲーム機４０８に入力し、コンピュータゲーム機４０８は、プライマリディスプレイ４０６上のコンピュータゲームプログラムから要求される画像を生成する。ゲーマー４０２がコントローラ４０４を操作して、プライマリディスプレイ４０６に提示されるゲームをプレイするとき、ゲーマーは、ゲーマー４０２とプライマリディスプレイ４０６との間に介在される半透明ＨＵＤ４００に目を通し、プライマリディスプレイ４０６のビデオゲームと、例えば、示されるようにＨＵＤ４００が支持されているスタンドに搭載された超短焦点（ＵＳＴ）プロジェクタ等のプロジェクタ４１０によってＨＵＤ４００に生成されたＡＲ情報との両方を視認する。本明細書の他のＨＵＤは、プロジェクタまたは他の提示手法を使用して、ＡＲ情報を提示し得ることを理解されたい。

【0047】

図２～図４に示される様々なＨＵＤ構成に加えて、ＨＵＤは、ゲーマーの視野を横切るようにゲーマーの体全体にわたって装着されるように構成され得る。

【0048】

図５は、図４のＨＵＤ４００と同様のＨＵＤの追加詳細を示す。限定ではないがＳｏｎｙ ＰｌａｙＳｔａｔｉｏｎ（登録商標）コンソールまたはＭｉｃｒｏｓｏｆｔ Ｘｂｏｘ（登録商標）コンソール等のコンピュータゲーム機は、コンソールのデータストレージ５０２に保存される１つ以上のコンピュータゲームプログラムを実行できる。コンソール５００は、コンピュータゲームプログラムによって要求されるビデオをプライマリディスプレイ５０４に送信する。一般的に、上記に説明したいずれかの種類の補助情報等の補助情報は、示される例の左下角の領域等のプライマリディスプレイ５０４の小領域５０６内に提示され、これにより、ゲーマーはビデオの主なアクションから小領域５０６にゲーマーの注視をそらす必要があり、多かれ少なかれ絶えず戻るようになる。

【0049】

しかしながら、図５に示されるように、本原理に従って、小領域５０６内の補助情報は、プライマリディスプレイ５０４の小領域５０６から、半透明ＨＵＤ５０８の表示領域の全てまたは実質的に全てに、ＡＲ情報として移動され得る。補助情報はＨＵＤにＡＲ情報として提示されるときにプライマリディスプレイ５０４の小領域５０６から除外され得る、または補助情報はＨＵＤに提示されることに加えて、小領域に存在しているままであり得る。

【0050】

必要に応じて、ユーザは音声コマンドまたは他の入力モードを介して、ＡＲコンテンツがＨＵＤに提示される頻度またはタイマー設定を選択し得る。頻度は、デフォルトの頻度で最初に設定され得、その頻度は、必要に応じて、ＡＲコンテンツのタイプに依存する（例えば、メッセージに関してより短い頻度、マップに関してより長い頻度になる）。係る実施形態では、下記に説明するマップ等のＡＲコンテンツは、一定期間だけ画面上に存在しているままで、一定期間だけ消え、次に、再び現れ、一定頻度で、現れる、消えるのサイクルを繰り返す。

【0051】

ＨＵＤが含み得る様々な内部コンポーネントを示すために、１つ以上のプロセッサ５１０は、本原理を実行するために（通常、一時的信号ではない）１つ以上のコンピュータストレージ５１２にアクセスし得る。例えば、ＨＵＤコンポーネントとゲーム機５００との間の通信は、ユニバーサルシリアルバス（ＵＳＢ）ポートまたは送受信機等の１つ以上の通信インタフェース５１４を経由して行われ得る。ゲームに関連する音声（より一般的には、ＨＵＤに提示されるＡＲ情報）は、１つ以上の音声スピーカ５１６で再生され得る。１つ以上のマイクロホン５１８は、音声信号を検出し、音声信号をプロセッサ５１０に送信するために提供され得、例えば、下記にさらに説明されるように、プロセッサ５１０は音声信号に音声認識を実装してコマンドを作り出すためのものである。必要に応じて、各々のキーに関連付けられるコマンドを入力するために、１つ以上の操作可能キー５２０を提供し得る。

【0052】

図６～図８は、ＡＲ情報のＨＵＤ提示を開始するための様々な手法を示す。図６のブロック６００において、ゲーム機とＨＵＤとの間の通信は、ゲーム機とＨＵＤの一方または両方によって検出され得る。例えば、ＨＵＤからゲーム機へのＵＳＢケーブルの差し込みを検出し得、すなわち、ホットプラグ可能な通信原理を使用してＵＳＢ通信を検出し得る。通信の検出に応答して、ブロック６０２において、ゲームプログラムが例えば図５のプライマリディスプレイ５０４の小領域５０６に提示されることを命令する補助情報は、ゲーム機からＨＵＤに送信され、ＨＵＤに補助情報をＡＲ情報として提示させることができ、これにより、ゲーマーは、過度に視線をそらすことなくＨＵＤでＡＲ情報を見ることもしながら、メインアクションをプライマリディスプレイで見ることができる。

【0053】

他方では、図７では、ブロック７００において、「ＨＵＤ提示」に関連があるＨＵＤまたはゲーム機またはゲームコントローラの所定のキーの操作を受け得る。それに応答して、ブロック７０２において、ゲームプログラムコマンドが例えば図５のプライマリディスプレイ５０４の小領域５０６に提示されることを命令する補助情報は、ゲーム機からＨＵＤに送信され、ＨＵＤにＡＲ情報を補助情報として提示させることができる。

【0054】

またさらに、図８は、ブロック８００において、音声コマンドは、ＨＵＤ及び／またはゲーム機及び／またはゲームコントローラによって受信され、ＨＵＤ提示を開始し得ることを示す。それに応答して、ブロック８０２において、ゲームプログラムが例えば図５のプライマリディスプレイ５０４の小領域５０６に提示されることを命令する補助情報は、ゲーム機からＨＵＤに送信され、ＨＵＤに補助情報をＡＲ情報として提示させることができる。

【0055】

図９は、ＨＵＤのＡＲ提示の動作ロジックの例を示す。図９に示されるロジックは、ＨＵＤプロセッサによって、またはいずれかの他のプロセッサもしくは本明細書に開示されるプロセッサの組み合わせによって、全体的または部分的に実行され得る。ブロック９００において開始すると、コンピュータゲームプログラムのコード行にアクセスされ、ＨＵＤにＡＲ情報として提示されるための候補となり得る補助情報を識別する。コード行は、グラフィックスオブジェクトが例えば「タコメータ」または「マップ」または「メッセージ」のようなオブジェクトのタイプを直接示し得、プロセッサがオブジェクトタイプのデータ構造にアクセスして、タイプがＡＲオブジェクトに関連があるかどうかを判定する。そうである場合、オブジェクトを表すコード行は、コンピュータゲームプログラムから取得され、ＡＲ情報をＨＵＤに提示するために使用される。または、コード行は、対応するオブジェクトのプライマリディスプレイの場所を示し得る。例えば、コード行は、プライマリディスプレイの小領域５０６内のオブジェクトを示し得る。ＡＲ情報に関連があるプライマリディスプレイのオブジェクトの場所を示すコードに基づいて、オブジェクトはコンピュータゲームプログラムから抽出され、ＨＵＤに提示される。

【0056】

ブロック９０２は、自動的に、例えば、いったんゲーム機との通信が確立され、上記の原則に従ってまたは音声コマンドもしくは他のユーザコマンドに応じて補助情報がＡＲ情報として識別されると、ブロック９００において識別された補助情報はＡＲ情報としてＨＵＤに提示されることを示す。いくつかの実施形態では、補助情報は、所定の優先順位に従って提示するために優先順位を付けられ得、「Ｎ」のＡＲオブジェクトだけが一度に提示され、「Ｎ」は１以上に等しい整数である。または、オブジェクトの名前を表す音声コマンドは、命令されたオブジェクトを提示させ得る。例えば、ゲーマーは、タコメータを提示させるには「ｔａｃｈ」、残りの弾薬の数をＨＵＤに提示させるには「ａｍｍｏ」、ゲーマーのキャラクターの残りの寿命を表す数値をＨＵＤに提示させるには「ｌｉｖｅｓ」、またはゲームの地形のマップをＨＵＤに提示させるには「ｍａｐ」等と発言し得る。

【0057】

ブロック９０４において、ＡＲオブジェクトが動いていることを示す信号がゲームプログラムから受信され得、これにより、ブロック９０６において、ＨＵＤのオブジェクトの提示が運動信号に対応する色またはサイズを変更させ得る。例として、ＡＲ情報がゲームの視野周辺部に特定のゲームキャラクターを含む場合、キャラクターがゲーマーのキャラクターのエミュレートされた場所に近づくにつれて、キャラクターのＨＵＤ提示はサイズが大きくなり得、及び／または例えば緑から赤に色を変更させ得る。

【0058】

例えばＨＵＤのカメラを使用して、ゲーマーの目の向きを追跡し得ることを思い出されたい。ブロック９０８は、カメラからの情報を受信し、ブロック９１０において、コンピュータゲームプログラムを実行するゲーム機に送信できることを示す。例では、ゲーマーが見ている方向は、ゲーマーに関連付けられるキャラクターによって扱われる武器の照準線としてゲームの地形でエミュレートされ、これにより、ゲーマーはプライマリディスプレイのオブジェクト見る必要があるだけで、例えば、武器のショットを示すキーを押し、ゲーマーの注視によって確立された照準線に沿って武器を発射させる。

【0059】

ブロック９１２は、インターポーズディスプレイに提示されるＡＲ情報が、例えば、ＨＵＤの外側面へのタッチに応答して移動できることを示す。ブロック９１２は、また、ＨＵＤの半透明度がゲーマーコマンドに従って変更され得ることを示す。図１０～図１２を示す。

【0060】

図１０では、プライマリディスプレイ１０００は、プライマリディスプレイに対面するタッチセンサ式表面１００４を有する半透明ＨＵＤ１００２の後ろに示される。ＡＲ情報１００６はＨＵＤに提示される。ＨＵＤを経由してプライマリディスプレイを見るゲーマー１００８は、矢印１０１４で示されるように、ＨＵＤのタッチセンサ式側面１００４に対して指１０１０を新しい場所１０１２に移動させることによって、ＡＲ情報１００６を移動させることができる。ＡＲコンテンツは、また、例えば「タコメータを左に移動」の音声コマンドに応答して移動し得ることに留意されたい。

【0061】

図１１及び図１２は、前述の原理に従ったプライマリディスプレイ１１００及びＨＵＤ１１０２を示し、ＨＵＤ１１０２に提示されるＡＲ情報はマップ１１０４を含む。ゲーマー１１０６は、上記の原理に従って、マップを見て、ＨＵＤを経由してプライマリディスプレイ１１００を見る。

【0062】

ゲーマーが、例えば、マップ１１０４をより暗く見せることによってＨＵＤの半透明性を減らすことを望む場合、ゲーマーは、「より暗くする」等の音声コマンドを発行して、図１２に示されるようにマップをより濃い輪郭付された、またはより暗いバージョン１２００を取らせ得る。その他の使用事例は、ＨＵＤの全体的な半透明度を増加する「ディスプレイを明るくする」、またはＡＲ情報の暗さを減らして、ひいては、ＨＵＤの半透明度を増加させる「マップを明るくする」もしくは「ＡＲを明るくする」ゲーマーの音声コマンドを含む。ＨＵＤに提示され得るＡＲコンテンツの別の例は、着信メッセージを含む。したがって、ユーザがゲームをプレイ中にメッセージが着信するとき、メッセージがスクロールされ得る、またはそうでなければＨＵＤに表示され得る。メッセージは、コンソールから、他のユーザから、または接続された外部デバイス（Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＢＬＥ、Ｗｉ－Ｆｉ等を介した携帯電話）から着信され得る。

【0063】

いくつかの例示的な実施形態を参照して本原理が説明されてきたが、これらは限定することを意図していないことと、様々な代替的な配置が本明細書で要求される主題を実施するために使用され得ることとが認識される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】