特許 7362796 ＨＭＤ配信システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-06

(45)【発行日】2023-10-17

(54)【発明の名称】ＨＭＤ配信システム

(51)【国際特許分類】

   H04N 21/436 20110101AFI20231010BHJP

   G02B 27/02 20060101ALI20231010BHJP

   G09G 5/00 20060101ALI20231010BHJP

   G09G 5/12 20060101ALI20231010BHJP

   G09G 5/36 20060101ALI20231010BHJP

   G09G 5/37 20060101ALI20231010BHJP

   G09G 5/38 20060101ALI20231010BHJP

   H04N 13/194 20180101ALI20231010BHJP

   H04N 13/344 20180101ALI20231010BHJP

   H04N 13/366 20180101ALI20231010BHJP

【ＦＩ】

H04N21/436

G02B27/02 Z

G09G5/00 510A

G09G5/00 510H

G09G5/00 510Q

G09G5/00 550C

G09G5/00 555D

G09G5/00 555G

G09G5/12

G09G5/36 500

G09G5/37 320

G09G5/38 100

H04N13/194

H04N13/344

H04N13/366

【請求項の数】 15

(21)【出願番号】P 2022003079

(22)【出願日】2022-01-12

(62)【分割の表示】P 2019541892の分割

【原出願日】2017-10-18

(65)【公開番号】P2022062039

(43)【公開日】2022-04-19

【審査請求日】2022-01-12

(31)【優先権主張番号】1617595.2

(32)【優先日】2016-10-18

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】519136663

【氏名又は名称】ヴァーチャリー ライヴ （スウィッツァランド） ジーエムビーエイチ

(74)【代理人】

【識別番号】110002860

【氏名又は名称】弁理士法人秀和特許事務所

(72)【発明者】

【氏名】エル・イマド、ジャミル

(72)【発明者】

【氏名】オルミーゴ、ヘスース

【審査官】鈴木 順三

(56)【参考文献】

【文献】米国特許出願公開第２０１６／０１８９４２９（ＵＳ，Ａ１）

【文献】特開２０１０－０９２４３６（ＪＰ，Ａ）

【文献】特開２０１４－０１７７７６（ＪＰ，Ａ）

【文献】特表２０１５－５０３１４１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００ － ２１／８５８

Ｈ０４Ｎ １３／００ － １７／０６

Ｇ０９Ｇ ５／００ － ５／４２

Ｇ０２Ｂ ２７／００ － ３０／６０

(57)【特許請求の範囲】

【請求項1】

ヘッドマウントディスプレイ（ＨＭＤ）装置（１）と組み合わせたヘッドマウントディスプレイ画像配信システム（１０）であって、
前記画像配信システムと前記ＨＭＤ装置は互いにローカルであり、
■ 前記ＨＭＤ装置は、
１つ以上のディスプレイ（３）と、
前記ディスプレイの動き、位置および姿勢を決定するための１つ以上のセンサ（４、５、６）と、
前記ＨＭＤ装置による画像処理なしに、前記１つ以上のディスプレイ上に直接表示するための画像データを前記画像配信システムから受信するように構成された、１つ以上の画像入力部と、を含み、
■ 前記画像配信システム（１０）は立体画像を前記ＨＭＤ装置に伝達して画像情報を着用者に伝えるように構成されており、その構成は、
前記センサからセンサデータを受信する１つ以上の入力部と、
前記画像配信システムによる画像処理なしに前記１つ以上のディスプレイ上に視野を直接表示するための前処理済み画像データを受信するように構成された１つ以上の画像入力部（１００）であって、前記画像配信システムは、使用時において、前記視野の前記前処理済み画像データを受信する、１つ以上の画像入力部（１００）と、
前記ＨＭＤ装置による画像処理なしに前記視野を前記１つ以上のディスプレイ上に直接表示するための画像データを配信する１つ以上の画像出力部と、を含み、
前記画像配信システムは、前記視野外にあって前記ディスプレイには未表示の画像の追加の前処理済み画像データを受信するように構成されていることを特徴とする、ヘッドマウントディスプレイ画像配信システム。

【請求項2】

さらに、前記画像配信システムおよび前記ＨＭＤ装置とはリモートで、かつ通信バス（２０）を介して前記画像配信システムおよび前記ＨＭＤ装置に接続され、前記画像配信システム（１０）に対しての前記通信バス（２０）を介した画像レンダリングおよび画像処理の大部分を行う機能を有するグラフィックス処理および計算リソース（２１）を含むことを特徴とする、請求項１に記載のシステム。

【請求項3】

前記ＨＭＤ装置と前記画像配信システムは、同じネットワーク上で、または近距離無線通信方法、例えばブルートゥース（登録商標）などの無線通信方法によって無線接続で相互に接続される、または、前記ＨＭＤ装置と前記画像配信システムとは、有線接続で相互に接続されることを特徴とする、請求項１または２に記載のシステム。

【請求項4】

前記画像配信システムは、前記画像配信システムによる画像処理なしに、前記１つ以上のディスプレイ上に視野を直接表示するための前処理済み画像データを受信するバッファを備えることを特徴とする、請求項１～３のいずれか一項に記載のシステム。

【請求項5】

前記追加の前処理済み画像データは、前記視野に対して１つ以上の所定の方向において視野外にある１つ以上の画像と関連することを特徴とする、請求項１～４のいずれか一項に記載のシステム。

【請求項6】

前記センサから受信したセンサデータは、１つ以上の配信システム出力部から出力され、前記視野が移動する１つ以上の方向を決定する処理のために処理リソースに供給されることを特徴とする、請求項１～５のいずれか一項に記載のシステム。

【請求項7】

前記画像配信システムは処理リソースを有し、前記センサから受信した前記センサデータは、前記視野が移動する１つ以上の方向を決定するため前記画像配信システムによって処理されることを特徴とする、請求項１～６のいずれか一項に記載のシステム。

【請求項8】

前記画像配信システムは、視野画像データを記憶し、さらに視野外にある１つ以上の画像領域の画像データを記憶することを特徴とする、請求項１～７のいずれか一項に記載のシステム。

【請求項9】

前記画像配信システムは、事前記憶された画像データを前記ＨＭＤ装置に配信するためのセレクタを有し、視野が移動すると予測される方向に基づいて選択が行われる、および／または、ローカルデータループが存在し、そのローカルデータループは、前記画像配信システムがＨＭＤセンサデータを受信して前記視野の方向を決定し、決定方向において視野外にある画像領域の画像を配信することを特徴とする、請求項１～８のいずれか一項に記載のシステム。

【請求項10】

前記１つ以上のセンサがローカルループ内にあり、どの前処理済み画像データを配信すべきかを知らせるため、少なくとも幾つかの前記センサデータがリモート送信されないことを特徴とする、請求項１～９のいずれか一項に記載のシステム。

【請求項11】

リモートセンサアレイは、仮想環境内でユーザに作成される可視の安全ゾーンに、前記ユーザ上の前記ＨＭＤ装置の位置を追跡可能にすることを特徴とする、請求項１～１０のいずれか一項に記載のシステム。

【請求項12】

前記ＨＭＤ装置および前記画像配信システムとはリモートにあるコンピュータリソースは、仮想環境に追加する画像を生成し前記画像配信システムを介してユーザの前記ＨＭＤ装置に配信するために、画像を立体３Ｄにレンダリングするための高性能プロセッサを有することを特徴とする、請求項１～１０のいずれか一項に記載のシステム。

【請求項13】

前記リモートのコンピュータリソースはグラフィックス処理および計算リソースであり、このグラフィックス処理および計算リソースは、低遅延通信バスを介して前記画像配信システムに送信するための画像レンダリングおよび画像処理の、全てではないが大部分を行い、これにより前記画像配信システムは非常に容易な画像処理だけを行うことを特徴とする、請求項１２に記載のシステム。

【請求項14】

前記画像配信システムは、前記ＨＭＤ装置のスクリーン設定との互換性のために画像を再フォーマットすることを除いて、画像処理を行う機能を有していないことを特徴とする、請求項１～１３のいずれか一項に記載のシステム。

【請求項15】

前記リモートのグラフィックス処理および計算リソースは、前記画像配信システムよりも多くの画像処理機能を有することを特徴とする、請求項１３に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンテンツ、特に仮想現実コンテンツをヘッドマウントディスプレイに配信するためのシステムに関する。

【背景技術】

【0002】

典型的な仮想現実設定の構成は、
コンピュータ・グラフィックス、フォトリアリスティック・グラフィックスまたはリアル３Ｄビデオで、仮想環境の立体３Ｄ画像を表示するヘッドマウントディスプレイ（ＨＭＤ：頭部装着型ディスプレイ）と、
加速度計などを介して実環境におけるＨＭＤの位置および姿勢を決定し、ＨＭＤの動きを測定するためのセンサは、ＨＭＤ上にあるセンサ、およびＨＭＤから離れたリモートセンサであって、例えば、ＨＭＤに搭載する加速度計でＨＭＤの動き、位置、および姿勢（ロール、ピッチ、偏揺れ角）を測定し、ハンドレルド(携帯)ユーザインタフェース装置でユーザからコマンドを受け取り、リモートセンサアレイが、仮想環境内でユーザに作成される可視の「安全ゾーン」に、ユーザ上のＨＭＤの位置を追跡可能にする、該センサと、
仮想環境に追加する画像を生成するとともに仮想環境内でのユーザの位置と反応を決定するための強力なプロセッサと、ユーザのＨＭＤ上で画像を立体３Ｄにレンダリングするための最高仕様のグラフィックスカードを備えたコンピュータと、を含む。

【0003】

電源要件と通信帯域幅要件も存在する。

【0004】

ヘッドマウントディスプレイ（ＨＭＤ）は、コンピュータ・グラフィックス、フォトリアリスティック・グラフィックス、またはリアル３Ｄビデオで仮想環境の立体３Ｄ画像を表示する。３Ｄ効果は必須ではないため、２Ｄ画像が使用可能である。ＨＭＤは多数のセンサを有する。

【0005】

ユーザインタフェースとＨＭＤに、ＨＤＭに対するまたはリモートセンサアレイに対する相対位置を決定するためのセンサを組み込み得る。選択ポインタなどのユーザインタフェースは、仮想環境でレンダリングされてもよい。

【0006】

典型的な仮想現実設定は、主に、ハイスペックなグラフィックスカードで遅れなく高速動画をレンダリングするための処理能力のために、計算集約的となっている。

【0007】

ヘッドマウントディスプレイ上の画像のレンダリングの遅れは、動揺病を起こしやすく、十分なユーザ体験を提供できない。ユーザがヘッドマウントディスプレイで仮想現実のインタラクションに関っている場合、許容可能な遅れ時間の閾値は２０ミリ秒程度である。遅れ時間が２０ミリ秒を超えると、吐き気や動揺病が起こりうる。

【0008】

着用者がヘッドマウントディスプレイで仮想現実のインタラクションに関わらず、単にビデオを見ているだけであれば、遅れ時間は問題にならない。ヘッドマウントディスプレイは、快適な視聴体験を提供するには少なくとも６０フレーム／秒（ｆｐｓ）のビデオを配信する必要がある。９０ｆｐｓを超えるフレームレートが好ましい。従来の仮想現実用ヘッドマウントディスプレイ画像配信システムは、グラフィックカードを備えた高性能、高仕様のコンピュータであるか、高品質で動きの速いグラフィックスのレンダリングができる特別仕様のゲーム機である。

【発明の概要】

【発明が解決しようとする課題】

【0009】

仮想現実コンテンツを視聴するためには、視聴者／参加者が相当量のハードウェア、ソフトウェア、および／または帯域幅へアクセスすることが必要である。本発明の目的は、仮想現実イベントを視聴し、かつ参加を可能にするためのハードウェア、ソフトウェアおよび帯域幅に関する要件を減らすことである。

【課題を解決するための手段】

【0010】

本発明の一態様は、立体画像をヘッドマウントディスプレイ（ＨＭＤ）装置に伝達して画像情報を着用者に伝えるように構成されたヘッドマウントディスプレイ画像配信システムであって、前記画像配信システムと前記ＨＭＤ装置は互いにローカルであり、前記ＨＭＤシステムは、視野を表示する１つ以上のディスプレイと、１つ以上のセンサと、前記ＨＭＤシステムによる画像処理なしに視野を１つ以上のディスプレイ上に直接表示するための画像データを、前記画像配信システムから受信するように構成された１つ以上の画像入力部と、を含み、前記画像配信システムは、前記センサからセンサデータを受信する１つ以上の入力部と、前記画像配信システムによる画像処理なしに前記1つ以上のディスプレ
イ上に視野を直接表示するための前処理済み画像データを受信できるように構成された１つ以上の画像入力部と、前記ＨＭＤシステムによる画像処理なしに前記1つ以上のディス
プレイ上に視野を直接表示するための画像データを配信する１つ以上の画像出力部と、を含む。

【0011】

本発明の他の態様は、ヘッドマウントディスプレイ（ＨＭＤ）装置と組み合わせたヘッドマウントディスプレイ画像配信システムを含むシステムであって、前記画像配信システムと前記ＨＭＤ装置は互いにローカルであり、その組合せはさらに、前記画像配信システムおよび前記ＨＭＤ装置とはリモートで、かつ通信バスを介して接続される、グラフィックス処理および計算リソースを含み、
前記ＨＭＤ装置は、
１つ以上のディスプレイと、
前記ディスプレイの動き、位置および姿勢を決定するための１つ以上のセンサと、
前記ＨＭＤによる画像処理なしに視野を１つ以上のディスプレイ上に直接表示するための画像データを、前記画像配信システムから受信するように構成された１つ以上の画像入力部と、を含み、
前記画像配信システムは、立体画像を前記ＨＭＤシステムに伝達して画像情報を着用者に伝えるように構成されており、その構成は
前記センサからセンサデータを受信する１つ以上の入力部と、
前記画像配信システムによる画像処理なし前記1つ以上のディスプレイ上に視野を直接
表示するための前処理済み画像データを、受信するように構成された１つ以上の画像入力部と、
前記ＨＭＤシステムによる画像処理なしに前記1つ以上のディスプレイ上に視野を直接
表示するための画像データを配信する１つ以上の画像出力部と、を含み、
前記グラフィックス処理および計算リソースは画像配信システムに対しての前記通信バスを介した画像のレンダリングおよび画像処理の大部分を行う機能を含む。

【0012】

本発明の一態様は、ヘッドマウントディスプレイ（ＨＭＤ）装置と組み合わせたヘッドマウントディスプレイ画像配信システムであって、前記画像配信システムと前記ＨＭＤ装置は互いにローカルであり、
■ 前記ＨＭＤ装置は、１つ以上のディスプレイと、前記ディスプレイの動き、位置および姿勢を決定するための１つ以上のセンサと、前記ＨＭＤによる画像処理なしに１つ以上のディスプレイ上に直接表示するための画像データを前記画像配信システムから受信するように構成された１つ以上の画像入力部と、を含み、
■ 前記画像配信システムは、立体画像を前記ＨＭＤシステムに伝達して画像情報を
着用者に伝えるように構成されており、前記センサからセンサデータを受信する１つ以上の入力部と、前記画像配信システムによる画像処理なしに前記１つ以上のディスプレイ上に視野を直接表示するための前処理済み画像データを受信するように構成された１つ以上の画像入力部と、前記ＨＭＤシステムによる画像処理なしに前記視野を１つ以上のディスプレイ上に直接表示するための画像データを配信する１つ以上の画像出力部と、を含む。

【0013】

本発明の他の態様は、前記ヘッドマウントディスプレイ（ＨＭＤ）装置と組み合わせた前記ヘッドマウントディスプレイ画像配信システムを提供し、さらにコンピュータリソースを含み、このコンピュータリソースは、前記仮想環境に追加する画像を生成すると共に仮想環境内でのユーザの位置や反応を決定するための強力なプロセッサと、前記画像配信システムを介して前記ユーザの前記ＨＭＤに配信するために画像を立体３Ｄにレンダリングするための最高仕様のグラフィックスカードとを備える。

【0014】

本発明のさらなる態様は、前記ヘッドマウントディスプレイ装置を含まない、本発明の前記ヘッドマウントディスプレイ画像配信システムを提供する。

【0015】

本発明の他の態様は、前記ヘッドマウントディスプレイ画像配信システムを備えていない、本発明の前記ヘッドマウントディスプレイ装置を提供する。

【0016】

本発明のさらなる態様は、ヘッドマウントディスプレイ（ＨＭＤ）装置に立体画像を伝達するように構成されたヘッドマウントディスプレイ画像配信システムの作動方法を提供する。

【図面の簡単な説明】

【0017】

【図1】外部センサアレイを有するヘッドマウントディスプレイシステムの概略図である。

【図2】リモート処理およびグラフィックスリソースと通信する本発明の実施形態の概略図である。

【図3】リモート処理およびグラフィックスリソースと通信する本発明の実施形態の概略図であり、ヘッドマウントディスプレイスクリーンの詳細を示す。

【図4】本発明の実施形態で使用する画像データのアレイの概略図である。

【図5】リモート処理およびグラフィックスリソースと通信する本発明の一実施形態の概略図であり、ヘッドマウントディスプレイスクリーンの詳細を示す。

【図6】リモート処理およびグラフィックスリソースと通信する本発明の一実施形態の概略図であり、ヘッドマウントディスプレイスクリーンの詳細を示す。

【図7】本発明の実施形態で使用する視野を示す。

【図8】本発明の実施形態で使用する視野を示す。

【図9】本発明の実施形態で使用する視野の概略図である。

【図10】本発明の実施形態で使用する視野の概略図である。

【図11】本発明の実施形態で使用する視野の概略図である。

【図12】本発明の実施形態で使用する視野の概略図である。

【発明を実施するための形態】

【0018】

本発明の理解のため、添付の図面を参照し本発明の実施形態を例示により説明する。

【0019】

図１はヘッドマウントディスプレイシステム１の概略図を示す。該システムは基本構成要素として、１つ以上のディスプレイスクリーン３（図１には示されていない）を含むヘッドマウントディスプレイマスク２と、運動と位置センサ４と、アイトラッカー５と、さらに運動と位置センサ６と、を含む。図１はまた、位置マーカ６のｘｙｚ座標系における位置を検出するためのマスク２の外側のセンサアレイ７を示す。図１はまた、ポインタ８
のジョイスティックを含むユーザインタフェース装置を示す。ポインタ８は、ヘッドマウントディスプレイマスク２および外部センサアレイ７の両方、または一方に対する位置が決定できるよう、それ自体の位置マーカを組み込んでもよい。

【0020】

センサ４、５、６のいくつかはマスク２上またはＨＭＤ内に取り付けられ、他のセンサ７、８はＨＭＤから離れて配置される。１つのカテゴリのセンサ４、６、７は、加速度計などを介してＨＭＤの実環境における位置および姿勢を決定し、ＨＭＤの動きを測定する。例えばＨＭＤに取り付けた加速度計が、ＨＭＤの動き、位置、姿勢（ロール、ピッチ、偏揺れ角）を測定する。ポインタ８や他のユーザインターフェースデバイス、例えばジョイスティック、ポインタ、グローブはユーザのコマンドを受け取るために使用する。リモートセンサアレイ７は、仮想環境内でユーザに作成される可視の「安全ゾーン」に、ユーザ上のＨＭＤの位置を追跡可能にする。

【0021】

ユーザはマスク２を着用し、ディスプレイスクリーン３上の画像にも現れるユーザインタフェース８を保持して、マスク２内の１つ以上のディスプレイスクリーン３上の画像を見る。ディスプレイによって提供される画像は仮想環境の立体画像が好ましい。配信システムは、選択に応じて、画像またはビデオ信号に同期したオーディオ信号を配信するように構成される。好ましくは、配信システムは、ＨＤＭＩ（登録商標）ポートを介して仮想現実体験の一部として同期音声を配信する。

【0022】

ユーザインタフェース８は、手袋、靴下またはリストバンドのような着用可能要素であっても、またはジョイスティックまたはポインタのような別体要素でもよい。

【0023】

全てのセンサからのデータは、有線接続および／または無線接続によって、マスク２内の１つ以上のディスプレイスクリーン３への画像データの配信も担当するコンソール１０に供給される。

【0024】

コンソール１０は図２に示されるように外部モニタ１８に接続されており、ヘッドマウントディスプレイ２の着用者以外の管理者または運用者が、装着されたマスク２に表示されている画像は外部モニタ１８で見え得る。

【0025】

従来のシステムと異なり、コンソール１０はヘッドマウントディスプレイ画像配信システム１０を有し、このシステムが当該画像配信システム１０による処理なしに、１つ以上のディスプレイ３上に視野５０を直接表示するための前処理済み画像データを受信するように構成された少なくとも１つの入力部１００を有する。本発明を実現するコンソール１０は、ヘッドマウントディスプレイ装置１による画像処理なしに、視野５０を１つ以上のディスプレイ３上に直接表示するための画像データを配信する。

【0026】

好ましくは、コンソール１０およびヘッドマウントディスプレイマスク２は同じスペースまたは区切られた空間内に存在し、互いにローカルである。より好ましくは同じ無線ネットワーク上にあるか、有線接続で互いに通信可能なこと。好ましくは、画像表示のためのヘッドマウントディスプレイマスク２への接続は、ＨＤＭＩ（登録商標）接続により、またマスクからコンソール１０へのデータ接続はＵＳＢ接続による。

【0027】

仮想現実ディスプレイは、有意なグラフィックス処理および計算リソースを必要とする。本発明の実施形態では、グラフィックス処理計算リソース２１は、ヘッドマウントディスプレイ１およびコンソール１０とはリモートに設けられているが、低遅延通信バス２０を介してこれらのローカルの要素に接続されている。グラフィックス処理は、仮想現実クラスタＣＵＤＡ上に配置されたＧＰＵコンピューティングクラウド経由で行い得る。仮想現実オペレータは、独自のインフラストラクチャ２１を提供し、グラフィックス処理およ
び計算リソースを提供するリモート要素へのデータパッケージングおよびデータ分配を，低遅延通信バス２０を介して調整する。通信バス２０は入力ポート１００を通ってコンソール１０に接続されている。

【0028】

グラフィックス処理計算リソース２１は、ヘッドマウントディスプレイ１およびコンソール１０とはリモートに設けられる。そのためコンソール１０は、非常に容易な画像処理が必要であれば、それを提供するだけでよい。グラフィックス処理計算リソース２１は、バス２０を介してコンソール１０に送信するための画像レンダリングおよび画像処理の、全てではないとしても大部分を担う。コンソールは、ＨＭＤスクリーン３の設定との互換性のために再フォーマットすることを除き、それ以上の有意な画像処理を行う機能を要求せず、また有していない。リモートのグラフィックス処理計算リソース２１は、コンソール１０よりも多くの画像処理を行い、好ましくはＨＭＤ１で画像処理は行われない。全ての画像レンダリングがリモートのグラフィックス処理計算リソース２１で行われてもよい。

【0029】

ここで図３を参照すると、ＨＭＤスクリーン３に表示されている仮想環境は高山パノラマ画像である。装着者／ユーザは、前方を真っ直ぐ、スクリーンのほぼ中央の地平線と水平に見ている。本発明を実現するコンソール１０は、通信バス２０を介してシーンからレンダリングされる画像を要求し、その画像はレンダリングされて通信バス２０を介して画像Ｉとして返信される。この画像Ｉは、グラフィックス処理または前処理なしで、可能な限り直接的にコンソールＨＤＭＩ（登録商標）出力１２を介してスクリーン３に直接伝えられ、画像Ｉの視野５０を表示する。

【0030】

ヘッドマウントディスプレイシステムのセンサ４、５、６および７、８は、次に着用者の視野５０に何が表示されるかを確認するため、着用者の動きを監視し、着用者がどこを見ているかを特定している。コンソール１０は、ヘッドマウントディスプレイからセンサデータ４、５、６、７、８を受信し、次の視野の画像を要求する。次の画像はその時にはリモートで準備とレンダリングがされ、通信バス２０を介したコンソール／画像配信システム１０による画像処理なしでコンソール１０に送られ、スクリーン３に供給される。コンソール１０からヘッドマウントディスプレイシステム１に出力された画像Ｉは、ヘッドマウントディスプレイ画像配信システム１０による画像処理なしで送られる。

【0031】

グラフィックス処理計算リソース２１は低遅延通信バスを介して接続されているので、コンソール１０は本質的に計算上必要最小限のものとすることができる。遅れ時間閾値は２０マイクロ秒未満にする必要がある。

【0032】

図４は、スクリーン３に表示される画像の視野（ＦＯＶ１）５０（１）を示す。視野５０（１）の外側では、画像は仮想環境内で連続しているが、視野５０（１）の外にある画像Ｉの領域５１（２～９）は表示されない。視野（ＦＯＶ１）の外の領域は、上側の５１（２）、下側の５１（６）、左側の５１（８）、右側の５１（４）、角に、右上の５１（３）、右下の５１（５）、左下の５１（７）左上の５１（９）が位置する。図４は領域を実質的に長方形として示しているが、領域は異なる形で定義し得る。図９～１２を参照されたい。視野（ＦＯＶ１）５０の外の領域５１が、図９および１０においては楕円形のローブ５１として示され、図１１では長方形の外周として、また図１２ではサイドバーとして示されている。

【0033】

図５は、本発明のさらなる実施形態を示す。ここではＨＭＤセンサデータ４、５、６、７、８が、リモートのグラフィックス処理および計算リソースセンター２１で使用され、バス２０を介して視野画像データだけを返すのでなく、少なくとも部分的に視野の外にあってスクリーン３には未表示の画像の画像データも、視野画像データに加えて、返す。図
５の例では、ＨＭＤセンサデータは、視野をレンダリングするだけでなく、着用者が次に視野の右側を見ることを予測するリモートの計算リソースにおいても利用される。すなわち、リモートの計算リソースは、視野の右側の画像データもレンダリングして、低遅延通信バス２０を介してコンソール１０に送り返す。着用者が実際に視線を表示視野の右側に移動するとコンソール１０が特定した場合、セレクタ１７は視野の右側を視野の右側にある画像データの「右」領域と共に表示できるように、視野の修正版を選び得る。

【0034】

図６は本発明のさらなる実施形態である。ＨＭＤセンサデータ４、５、６、７、８のデータをローカルコンソール１０内のセレクタ１７に直接送信する。この実施形態では、センサデータは、通信バス２０を介してリモートのグラフィックス処理または計算リソースに送信されない。センサデータは、ヘッドマウントディスプレイシステムおよびコンソール１０に対してローカルのままとなる。

【0035】

リモートのグラフィックス処理計算リソース２１は、視野をレンダリングするほか、視野５０（１）を囲む全ての領域５１（２～９）を通信バス２０により送信し、それらをローカルのコンソール１０に提供する。上記領域はコンソールで予め記憶され、セレクタ１７によって選択可能になる。セレクタ１７は、センサデータの制御下で、センサデータに応答して、着用者の視線が次に視野外のどこに向くかを予測または特定するように動作可能であり、着用者の視線の方向変化に合わせて、セレクタ１７は視野外の予め記憶した領域を選択し、その領域のさらなる前処理またはグラフィックス処理なしに、直接ヘッドマウントディスプレイスクリーンに供給する。センサデータおよび予測機能をコンソールおよびヘッドマウントディスプレイに対してローカルに保つことによって、コンソールは、リモートに位置するグラフィックス処理および計算リソースから独立させ得る。

【0036】

図７は、視野（ＦＯＶ１）と、ＦＯＶ１の外の右側領域を示す。この右側領域は、コンソール１０でバッファされ（ここで右側領域は受信されるがＦＯＶには表示されない）、着用者の視線がＦＯＶ１の右側に向くと即時に送信できる。このバッファリング形式を本明細書では「事前記憶」と呼ぶ。同様に、図８はＦＯＶ１の上部外側領域を示し、その領域はヘッドマウントディスプレイスクリーンへの即時送信に備えてコンソール１０でバッファ(または事前記憶)される。

【0037】

システムに利用可能なセンサの種類として、アイトラッカー（視線トラッカ－としても知られている）を備えても良く、ユーザの視線を監視することによって、ユーザが見ている、またはこれから視線が向かうスクリーン部分を特定する。そのようなセンサは光学式で非侵襲的であり、ヘッドセットの内部に取り付けられる。

【0038】

本明細書および特許請求の範囲で使用されるとき、用語「含む／有する／備える（ｃｏｍｐｒｉｓｅｓ）および（ｃｏｍｐｒｉｓｉｎｇ）」およびそれらの変化形は、特定の特徴、ステップまたは整数値を含む意味で用いられている。その用語が、他の特徴、ステップまたは構成要素の存在を排除する意味であると解釈してはならない。

【0039】

上記の説明、特許請求の範囲、または添付の図面に開示された特徴、それらの特定の形式でまたは開示された機能を行うための手段、または開示された結果を達成するための方法またはプロセスによって表された特徴は、適宜、別々に、または任意の組み合わせで利用することにより本発明を種々の異なる形態で実現可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】