特表 2022-548534 マルチストリーム中心窩ディスプレイトランスポート

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-21

(54)【発明の名称】マルチストリーム中心窩ディスプレイトランスポート

(51)【国際特許分類】

   H04N 21/2662 20110101AFI20221114BHJP

   G09G 5/00 20060101ALI20221114BHJP

   G09G 5/377 20060101ALI20221114BHJP

   G09G 5/36 20060101ALI20221114BHJP

   H04N 21/235 20110101ALI20221114BHJP

   H04N 21/435 20110101ALI20221114BHJP

   H04N 21/4728 20110101ALI20221114BHJP

   G06T 5/50 20060101ALI20221114BHJP

【ＦＩ】

H04N21/2662

G09G5/00 555D

G09G5/36 520L

G09G5/00 550C

G09G5/00 520V

G09G5/36 520E

H04N21/235

H04N21/435

H04N21/4728

G06T5/50

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022515065

(86)(22)【出願日】2020-09-21

(85)【翻訳文提出日】2022-05-02

(86)【国際出願番号】 IB2020058783

(87)【国際公開番号】W WO2021053644

(87)【国際公開日】2021-03-25

(31)【優先権主張番号】16/575,804

(32)【優先日】2019-09-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＶＥＲＩＬＯＧ

(71)【出願人】

【識別番号】508301087

【氏名又は名称】エーティーアイ・テクノロジーズ・ユーエルシー

【氏名又は名称原語表記】ＡＴＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＵＬＣ

【住所又は居所原語表記】Ｏｎｅ Ｃｏｍｍｅｒｃｅ Ｖａｌｌｅｙ Ｄｒｉｖｅ Ｅａｓｔ， Ｍａｒｋｈａｍ， Ｏｎｔａｒｉｏ， Ｌ３Ｔ ７Ｘ６ Ｃａｎａｄａ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100111615

【弁理士】

【氏名又は名称】佐野 良太

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】グエンナディ リグール

(72)【発明者】

【氏名】サイド アザー フセイン

【テーマコード（参考）】

5B057

5C164

5C182

【Ｆターム（参考）】

5B057CA08

5B057CA12

5B057CA16

5B057CB08

5B057CB12

5B057CB16

5B057CE08

5C164FA06

5C164MB13S

5C164PA31

5C164SB02S

5C164SB08P

5C164SB41S

5C164SC03P

5C164UB10P

5C164UB41S

5C164UB82S

5C164UB88S

5C164UD44P

5C164YA12

5C182AB08

5C182AB33

5C182AC03

5C182BA56

5C182BC03

5C182BC11

5C182BC22

5C182BC25

5C182BC26

5C182BC29

5C182BC41

5C182CB12

5C182CB42

5C182CB54

5C182DA05

5C182DA06

5C182DA14

5C182DA32

(57)【要約】

マルチストリーム中心窩ディスプレイトランスポート層を使用するためのシステム、装置及び方法が開示される。仮想現実（ＶＲ）システムは、ディスプレイに結合された受信機に、ディスプレイトランスポート層を介して複数のストリームを送信する送信機を含む。各ストリームは、受信機によってブレンディングされる異なる画像に対応する。画像は、少なくとも眼の視線方向に対応する中心窩領域画像と、中心窩領域画像よりも広い視野を有する低解像度画像である背景画像と、を含む。トランスポート層を介して送信される中心窩領域ストリームの位相タイミングは、画像全体内の中心窩領域の位置に対応するように、背景ストリームに対して調整される。これは、画像をブレンディングしてディスプレイに送られる最終画像を生成するために受信機で必要なバッファリングの量を減らすのに役立つ。
【選択図】図６

【特許請求の範囲】

【請求項1】

フレームの複数の領域をレンダリングするように構成されたレンダリングユニットであって、前記複数の領域の各領域は、他の領域とは異なる解像度でレンダリングされる、レンダリングユニットと、
送信機と、を備え、
前記送信機は、
各領域を個別のストリーム内の個別の画像として、合成画像をディスプレイに送る前に画像を組み合わせる受信機に送信することと、
第１のストリームの位相を第２のストリームに対しシフトすることによって前記第１のストリームを送信することであって、前記位相は、前記フレーム内の中心窩領域の位置に対応する量だけシフトされ、前記第１のストリームは前記中心窩領域を含み、前記第２のストリームは背景画像を含む、ことと、
を行うように構成されている、
システム。

【請求項2】

前記中心窩領域は、第１のリフレッシュレートで更新され、
前記背景画像は、第２のリフレッシュレートで更新され、
前記第２のリフレッシュレートは、前記第１のリフレッシュレートとは異なる、
請求項１のシステム。

【請求項3】

前記レンダリングユニットは、眼球サッケードが検出されたという指標を受信したことに応じて、異なる解像度でレンダリングされる領域の数を増やすように構成されている、
請求項１のシステム。

【請求項4】

前記レンダリングユニットは、
前記指標を受信する前に、第１のフレームに対して２つの個別の領域をレンダリングし、
前記指標を受信した後に、第２のフレームに対して３つ以上の個別の領域をレンダリングするように構成されている、
請求項３のシステム。

【請求項5】

前記レンダリングユニットは、前記指標を受信したことに応じて、前記中心窩領域のリフレッシュレートを調整するように構成されている、
請求項３のシステム。

【請求項6】

前記送信機は、前記複数の領域を組み合わせて前記合成画像を生成する方法を指定するために、ブレンドマスクを前記受信機に伝達するように構成されている、
請求項１のシステム。

【請求項7】

前記送信機は、前記背景画像をスケーリングする方法を指定するために、背景画像スケーリング属性を前記受信機に伝達するように構成されている、
請求項１のシステム。

【請求項8】

レンダリングユニットが、フレームの複数の領域をレンダリングすることであって、前記複数の領域の各領域は、他の領域とは異なる解像度でレンダリングされる、ことと、
送信機が、各領域を個別のストリーム内の個別の画像として、合成画像をディスプレイに送る前に画像を組み合わせる受信機に送信することと、
第１のストリームの位相を第２のストリームに対してシフトすることによって前記第１のストリームを送信することであって、前記位相は、前記フレーム内の中心窩領域の位置に対応する量だけシフトされ、前期第１のストリームは前記中心窩領域を含み、前記第２のストリームは背景画像を含む、ことと、を含む、
方法。

【請求項9】

前記中心窩領域は、第１のリフレッシュレートで更新され、
前記背景画像は、第２のリフレッシュレートで更新され、
前記第２のリフレッシュレートは、前記第１のリフレッシュレートとは異なる、
請求項８の方法。

【請求項10】

眼球サッケードが検出されたという指標を受信したことに応じて、異なる解像度でレンダリングされる領域の数を増やすことをさらに含む、
請求項８の方法。

【請求項11】

前記指標を受信する前に、第１のフレームに対して２つの個別の領域をレンダリングすることと、
前記指標を受信した後に、第２のフレームに対して３つ以上の個別の領域をレンダリングすることと、をさらに含む、
請求項１０の方法。

【請求項12】

前記指標を受信したことに応じて、前記中心窩領域のリフレッシュレートを調整することをさらに含む、
請求項１０の方法。

【請求項13】

前記複数の領域を組み合わせて前記合成画像を生成する方法を指定するために、ブレンドマスクを前記受信機に伝達することをさらに含む、
請求項８の方法。

【請求項14】

前記背景画像をスケーリングする方法を指定するために、背景画像スケーリング属性を前記受信機に伝達することをさらに含む、
請求項８の方法。

【請求項15】

送信機と、
受信機と、を備え、
前記送信機は、
フレームの複数の領域をレンダリングすることであって、前記複数の領域の各領域は、他の領域とは異なる解像度でレンダリングされる、ことと、
各領域を個別のストリーム内の個別の画像として前記受信機に送信することと、
第１のストリームの位相を第２のストリームに対してシフトすることによって前記第１のストリームを送信することであって、前記位相は、前記フレーム内の中心窩領域の位置に対応する量だけシフトされ、前期第１のストリームは前記中心窩領域を含み、前記第２のストリームは背景画像を含む、ことと、
を行うように構成されており、
前記受信機は、
複数のストリームからの前記複数の領域を組み合わせて、合成画像を生成することと、
前記合成画像をディスプレイに送ることと、
を行うように構成されている、
システム。

【請求項16】

前記中心窩領域は、第１のリフレッシュレートで更新され、
前記背景画像は、第２のリフレッシュレートで更新され、
前記第２のリフレッシュレートは、前記第１のリフレッシュレートとは異なる、
請求項１５のシステム。

【請求項17】

前記送信機は、眼球サッケードが検出されたという指標を受信したことに応じて、異なる解像度でレンダリングされる領域の数を増やすように構成されている、
請求項１５のシステム。

【請求項18】

前記送信機は、
前記指標を受信する前に、第１のフレームに対して２つの個別の領域をレンダリングし、
前記指標を受信した後に、第２のフレームに対して３つ以上の個別の領域をレンダリングするように構成されている、
請求項１７のシステム。

【請求項19】

前記送信機は、前記指標を受信したことに応じて、前記中心窩領域のリフレッシュレートを調整するように構成されている、
請求項１７のシステム。

【請求項20】

前記送信機は、前記複数の領域を組み合わせて前記合成画像を生成する方法を指定するために、ブレンドマスクを前記受信機に伝達するように構成されている、
請求項１５のシステム。

【発明の詳細な説明】

【背景技術】

【0001】

（関連技術の説明）
ディスプレイの解像度とリフレッシュレートが上がるにつれて、表示される画像に必要な伝送帯域幅が主要な制限要因になってくる。仮想現実（ＶＲ）及び拡張現実（ＡＲ）ヘッドセット又はヘッドマウントディスプレイ（ＨＭＤ）の場合、これは、ケーブルの物理的な太さがユーザの移動を妨げるためにさらに大きな問題になり、より高解像度の画像を伝送するためにより多くのワイヤを追加するのが受け入れられない解決策である。ユーザに対する没入型環境を作り出すために、ＶＲ及びＡＲビデオストリーミングアプリケーションは、典型的には、高解像度、及び、高データレートと同等である高フレームレートを有する。ＶＲ及びＡＲディスプレイの場合、今日一般的に行われているように、完全に均一な解像度の画像を送信するのは無駄である。

【0002】

本明細書に記載される方法及びメカニズムの利点は、添付の図面と併せて以下の説明を参照することによってより良く理解され得る。

【図面の簡単な説明】

【0003】

【図1】システムの一実施形態のブロック図である。

【図2】送信機の一実施形態のブロック図である。

【図3】一実施形態による、フレームをレンダリングしてＶＲ又はＡＲディスプレイに送るためのフレームタイミングのタイミング図である。

【図4】受信機の一実施形態のブロック図である。

【図5】中心窩領域ストリームの位相タイミングを調整する方法の一実施形態を示す一般化されたフロー図である。

【図6】眼球サッケード（eye saccade）が検出されたことに応じて、レンダリングされる中間解像度画像の数を増加させる方法の一実施形態を示す一般化されたフロー図である。

【図7】一実施形態による、トランスポートされた画像及び最終画像の図である。

【図8】一実施形態による、通常のマルチストリームディスプレイトランスポートのタイミング図である。

【図9】一実施形態による、位相シフトされたマルチストリームディスプレイトランスポートのタイミング図である。

【発明を実施するための形態】

【0004】

以下の説明では、本明細書において提示される方法及びメカニズムの十分な理解を提供するために、多数の具体的な詳細が記載されている。しかしながら、当業者は、これらの具体的な詳細無しに様々な実施形態が実施され得ることを認識するであろう。いくつかの場合、周知の構造、コンポーネント、信号、コンピュータプログラム命令及び技術は、本明細書に記載されるアプローチを不明瞭にすることを避けるために、詳細に示されていない。説明を簡潔及び明瞭にするために、図面に示す要素は必ずしも縮尺通りに描かれていないことを理解されたい。例えば、いくつかの要素の寸法は、他の要素に対して誇張される場合がある。

【0005】

マルチストリーム中心窩ディスプレイトランスポート層を使用するための様々なシステム、装置、方法及びコンピュータ可読媒体が本明細書に開示されている。一実施形態では、仮想現実（ＶＲ）システムは、ディスプレイに結合された受信機に、ディスプレイトランスポート層を介して複数のストリームを送信する送信機を含む。各ストリームは、ディスプレイに送るための合成画像を生成するために受信機によって一緒にブレンディングされる異なる画像に対応する。画像は、少なくとも眼の視線方向に対応する中心窩領域画像と、中心窩領域画像よりも広い視野を有する低解像度画像である背景画像と、を含む。別の実施形態では、解像度が徐々に低下する複数の中心窩領域画像が存在し得る。トランスポート層を介して送信される中心窩領域ストリーム（複数可）の位相タイミングは、画像全体における中心窩領域の位置に対応するように、背景ストリームに対して調整される。これは、画像をブレンディングしてディスプレイに送られる合成画像を生成するために受信機で必要なバッファリングの量を減らすのに役立つ。

【0006】

図１を参照すると、システム１００の一実施形態のブロック図が示されている。一実施形態では、システム１００は、送信機１０５と、チャネル１１０と、受信機１１５と、ヘッドマウントディスプレイ（ＨＭＤ）１２０と、を含む。他の実施形態では、システム１００は、図１に示す以外の構成要素を含むことができることに留意されたい。一実施形態では、チャネル１１０は、送信機１０５と受信機１１５との間の直接有線接続である。別の実施形態では、チャネル１１０は、送信機１０５と受信機１１５との間のネットワーク接続を表す。送信機１０５と受信機１１５との間の接続を提供するために、実施形態に応じて、任意のタイプ及び数のネットワークを使用することができる。例えば、送信機１０５は、特定の実施形態においてはクラウドサービスプロバイダの一部である。さらなる実施形態では、チャネル１１０は、送信機１０５と受信機１１５との間の無線接続を表す。

【0007】

一実施形態では、送信機１０５は、エンコードされて受信機１１５に送信されるビデオシーケンスを受信する。別の実施形態では、送信機１０５は、エンコードされて受信機１１５に送信されるビデオシーケンスをレンダリングするレンダリングユニットを含む。転送されるデータの量を減らすために、中心窩画像のマルチストリームトランスポートが送信機１０５と受信機１１５との間で使用される。マルチストリームシーケンスの各ストリームは、異なる解像度で生成された異なる画像に対応する。一実施形態では、利用可能なリンク帯域幅の一部が各ストリームに静的に割り当てられてもよい。別の実施形態では、ストリームの帯域幅を動的に構成可能である。受信機１１５でのピクセルデータのバッファリングの量を減らすために、それらの適切なストリームにおける中心窩画像のトランスポートは、背景画像を運ぶデータストリームに対して位相シフトされる。受信機１１５が複数のストリームを受信すると、受信機１１５は、ストリームから個々の画像を抽出し、画像を一緒にブレンディングして単一のフレームを生成し、ＨＭＤ１２０に送る。一実施形態では、受信機１１５は、ＨＭＤ１２０から分離されており、受信機１１５は、有線又は無線接続を使用してＨＭＤ１２０と通信する。別の実施形態では、受信機１１５は、ＨＭＤ１２０内に統合されている。

【0008】

送信機１０５及び受信機１１５は、任意のタイプの通信デバイス及び／又はコンピューティングデバイスを表す。例えば、様々な実施形態では、送信機１０５及び／又は受信機１１５は、携帯電話、タブレット、コンピュータ、サーバ、ＨＭＤ、別のタイプのディスプレイ、ルータ、又は、他のタイプのコンピューティングデバイス若しくは通信デバイスであってもよい。一実施形態では、システム１００は、レンダリングされた仮想環境のフレームを送信機１０５から受信機１１５に無線で送信するための仮想現実（ＶＲ）アプリケーションを実行する。他の実施形態では、本明細書で説明する方法及びメカニズムを利用したシステム１００によって、他のタイプのアプリケーション（例えば、拡張現実（ＡＲ）アプリケーション）が実装され得る。

【0009】

一実施形態では、ＨＭＤ１２０上に表示された各画像において、ＨＭＤ１２０の右側１２５Ｒ上に表示されているシーンは、中心窩領域１３０Ｒを含み、ＨＭＤ１２０の左側１２５Ｌに表示されているシーンは、中心窩領域１３０Ｌを含む。これらの中心窩領域１３０Ｒ，１３０Ｌは、ＨＭＤ１２０の拡張された右側１２５Ｒ及び左側１２５Ｌの各々において円によって示される。本明細書で使用される「中心窩領域」という用語は、各眼の視線が向けられる、眼毎に表示される半フレームの部分として定義される。いくつかの場合では、「中心窩領域」は、眼が指し示している半フレーム内の位置を検出するアイトラッキングセンサに少なくとも部分的に基づいて判定される。さらに、「中心窩領域」という用語は、「焦点領域」と呼ばれることもある。

【0010】

一実施形態では、各右半分又は左半分のフレームにおける中心窩領域１３０Ｒ，１３０Ｌの位置が、ＨＭＤ１２０内の１つ以上のアイトラッキングセンサ１４０に基づいて判定される。この実施形態では、アイトラッキングデータが、フィードバックとして送信機１０５及びオプションでＶＲビデオのレンダリングソースに提供される。いくつかの場合では、アイトラッキングデータフィードバックは、ＶＲビデオフレームレートよりも高い周波数で生成され、送信機１０５は、フィードバックにアクセスし、フレーム毎にエンコードされたビデオストリームを更新することが可能である。いくつかの場合では、アイトラッキングは、ＨＭＤ１２０上では実行されず、むしろ、眼の位置及び移動を判定するさらなる処理のために、ビデオ及び他のセンサデータが送信機１０５に送り返される。別の実施形態では、中心窩領域１３０Ｒ，１３０Ｌの位置は、ユーザが見ていると予想される場所に基づいて、ＶＲアプリケーションによって特定される。別の実施形態では、中心窩領域１３０Ｒ，１３０Ｌの位置は、光学システムの特性のみに基づいて又はアイトラッキングと組み合わせて判定される。中心窩領域１３０Ｒ，１３０Ｌのサイズは、実施形態に応じて変化してもよいことに留意されたい。また、中心窩領域１３０Ｒ，１３０Ｌの形状は、実施形態に応じて変化してもよく、別の実施形態では、中心窩領域１３０Ｒ，１３０Ｌは、楕円として定義される。他の実施形態では、他のタイプの形状が中心窩領域１３０Ｒ，１３０Ｌに対して利用されてもよい。

【0011】

一実施形態では、チャネル１１０は、マルチストリームトランスポート層をサポートし、各領域に個別のストリーム及び背景画像に個別のストリームを使用して、高解像度の中心窩領域及び低解像度の背景画像を転送する。いくつかの場合では、中心窩及び背景の画像が異なるリフレッシュレートで送信される。例えば、ＶＲ又はＡＲアプリケーションの現在のシーンが変更されていない場合にユーザが眼を高速に動かした場合、新たな復号サッケード到達点を考慮して、中心窩領域が背景画像よりも高いリフレッシュレートで送信される。一実施形態では、送信機１０５は、フレームの最終的な合成画像を生成するために複数の領域をどのように組み合わせるべきかを指定するマスクメタデータを、受信機１１５に送信する。受信機１１５は、受信したマスクメタデータに基づいて、中心窩領域を背景画像とブレンディングする。一実施形態では、マスクメタデータは、アルファカラーチャネルとして提供される。別の実施形態では、マスクメタデータは、分析的に決定される。一実施形態では、送信機１０５は、背景画像スケーリング属性を指定するメタデータを、受信機１１５に送信する。背景画像スケーリング属性は、中心窩領域（複数可）とブレンディングする前に、受信機１１５によって背景画像がどれだけスケーリングされるべきかを示す。受信機１１５は、この受信したスケーリング属性に基づいて、背景画像をスケーリングする。

【0012】

一実施形態では、背景画像と組み合わせる前に中心窩画像データを記憶するために受信機１１５が必要とする画像バッファリングの量を最小化するために、中心窩画像ストリームの開始は、背景画像ストリームに対して位相シフトされ、フレーム内の中心窩領域の位置に対応する。一実施形態では、中心窩画像を備えたストリームは、背景画像に対する中心窩領域の位置、中心窩層の構成順序、及び、位相シフトに関するメタデータを含む。一実施形態では、対応するストリーム内の中心窩領域の位相シフトの調整は、サッケード運動に結び付けられ、サッケード抑制中に実行される。一実施形態では、ストリーム内の画像シフトのための眼球サッケードに関する情報は、側波帯通信インタフェース１４５を使用して、アイトラッキングセンサ（複数可）１４０から送信機１０５に送信される。

【0013】

受信機１１５が複数のストリームを受信すると、受信機１１５は、各ストリームから画像を抽出する。次に、受信機１１５は、中心窩画像（複数可）を背景画像に重ね合わせて、ディスプレイ１２０に送られる最終画像を生成する。背景画像ストリームに対して中心窩画像ストリーム（複数可）の送信を位相シフトすることにより、中心窩画像（複数可）を背景画像と組み合わせて最終画像を生成するために受信機１１５で必要とされるバッファリングの量が減少する。

【0014】

図２を参照すると、送信機２００の一実施形態のブロック図が示されている。一実施形態では、送信機２００は、少なくとも中心窩レンダリングユニット２１０と、眼球サッケード予測ユニット２１５と、エンコーダ２２５と、を含む。或いは、別の実施形態では、中心窩レンダリングユニット２１０は、送信機２００内に統合されるのではなく、送信機２００に結合されている。送信機２００が、図を曖昧にすることを避けるために示されていない他の構成要素も含むことができることに留意されたい。中心窩レンダリングユニット２１０、眼球サッケード予測ユニット２１５及びエンコーダ２２５は、図２において個別のユニットとして示されているが、他の実施形態では、これらのユニットのうち任意の２つを一緒に組み合わせて単一のユニットにしてもよいし、３つのユニット全てを一緒に組み合わせて単一のユニットにしてもよいことに留意されたい。レンダリングユニット２１０、眼球サッケード予測ユニット２１５及びエンコーダ２２５の各々は、ハードウェア（例えば、制御ロジック、処理ユニット）及び／又はソフトウェア（例えば、処理ユニットによって実行可能なプログラム命令）の任意の適切な組み合わせを使用して実装される。

【0015】

一実施形態では、中心窩レンダリングユニット２１０は、グラフィックス情報（例えば、生の画像データ）から、レンダリングされた画像２２０を生成する。一実施形態では、レンダリングされた画像２２０は、ビデオシーケンスの単一のビデオフレームに対応する２つ以上の画像を含む。「画像」、「フレーム」及び「ビデオフレーム」という用語は、本明細書では交換可能に使用できることに留意されたい。一実施形態では、中心窩レンダリングユニット２１０は、フレーム内の中心窩領域（複数可）（例えば、図１の中心窩領域１３０Ｒ，１３０Ｌ）を指定する中心窩領域情報を受信する。一実施形態では、中心窩領域情報は、ＨＭＤ（例えば、ＨＭＤ１２０）内の１つ以上のアイトラッキングセンサ（例えば、センサ１４０）から送信機２００に提供される。中心窩レンダリングユニット２１０は、中心窩領域情報を使用して、レンダリングされた画像２２０の他の画像よりも比較的高いピクセル密度で中心窩領域画像を生成する。

【0016】

一実施形態では、レンダリングされた画像２２０の各画像は、ＨＭＤの各アイビューに対して１つの画像を有する一対の画像を表すことに留意されたい。例えば、この実施形態では、レンダリングされた画像２２０の各画像は、右眼用の第１のレンダリング画像と左眼用の第２のレンダリング画像とを含む一対の画像を表す。或いは、レンダリングされた画像２２０の各画像は、単一の画像に組み合わされる左眼及び右眼の部分を含む。

【0017】

一実施形態では、エンコーダ２２５は、レンダリングされた画像２２０から、フレーム毎に複数のエンコードされたストリーム２３５を生成する。次に、エンコーダ２２５は、複数のエンコードされたストリーム２３５を、再構成のために受信機に送信し、各ストリームは、フレームの一部又は全体の個別にエンコードされた画像表現を含む。一実施形態では、各ストリームは、他のストリームの他の画像の解像度とは異なる解像度の画像を含む。また、各ストリームの更新レートは、他のストリームから独立している。したがって、一実施形態では、中心窩領域ストリームは、背景画像ストリームよりも高い更新レートを有する。

【0018】

一実施形態では、眼球サッケード予測ユニット２１５は、眼球サッケードを検出し、眼球がサッケードの終わりに到達する位置を予測する。一実施形態では、検出及び予測は、アイトラッキングデータに基づく。本明細書で使用される「サッケード」という用語は、注視点間の眼球の急速な動きとして定義される。例えば、眼球サッケード予測ユニット２１５は、眼球運動が閾値量よりも大きいことを示す眼球位置センサの読み取り値に基づいて、眼球サッケードを検出する。眼球サッケードが検出されると、サッケード予測ユニット２１５は、眼球が最終的にディスプレイの何れの位置に到達するかを予測する。一実施形態では、サッケード予測ユニット２１５は、眼が最終位置に到達するタイミングを予測する。位置及びタイミングの予測は、ユーザに表示される次のフレームの中心窩領域（複数可）をいつレンダリングするかを決定するために使用される。通常、サッケードの省略は、急速な眼球運動の前の短期間の、眼球運動中の、及び、眼球運動後の短期間の、一部の視覚入力の処理を妨げる。しかしながら、眼が動かなくなると、脳は、少し遅れて新たな復号視覚データの処理を再開する。したがって、ユーザがネガティブな視覚体験をすることを防ぐために、中心窩レンダリングユニット２１０は、眼球サッケードの予測された到達位置の直後に中心窩領域が現れるようにレンダリングする。また、中心窩レンダリングユニット２００は、眼球サッケードが終了すると予測された瞬間の直後に次のフレームがユーザに表示されるように、次のフレームをレンダリングする。

【0019】

一実施形態では、レンダリングユニット２１０は、眼の視力低下（acuity falloff）を近似するために、中心窩領域（複数可）のデータを用いて異なる解像度の複数の画像を生成する。サッケードのタイプ及びサッケード予測の確率測定に応じて、レンダリングユニット２１０は、フレーム毎にレンダリングされる画像の数を増やし、眼球サッケードが終了すると予測されると、到達点予測誤差の可能性を修正するためにしばらくの間画像を拡大して、それらの形状を調整する（例えば、サッケードの方向に画像を引き延ばし、サッケード到達点でより大きな画像部分をカバーする）。例えば、一実施形態では、眼球運動が無視できる期間中に、レンダリングユニット２１０は、受信機によって一緒にブレンディングされる、フレーム毎の２つの画像を生成する。しかしながら、眼球サッケードが検出され、到達点の不確実性が特定の閾値を超えると推定された後に、レンダリングユニット２１０は、フレーム毎に２つを超える画像を生成する。これは、視覚的なアーティファクトが少ない、より良い画像をユーザに提供するのに役立つ。これは、眼の到達位置の予測に僅かな誤差がある場合に、より良い画像を提供するのにも役立つ。一実施形態では、眼球サッケードが検出されることに応じて、レンダリングユニット２１０は、第１の解像度で中心窩領域画像、第２の解像度で第１の中間中心窩領域画像、第３の解像度で第２の中間中心窩領域画像、及び、第４の解像度で背景画像を生成する。これらの４つの画像は個別のストリームとして送信され、受信機で一緒にブレンディングされて、ディスプレイに送られる画像を生成する。この例では、解像度は、第１の解像度から第４の解像度へと、最高から最低になっている。言い換えれば、第１の解像度は第２の解像度よりも高く、第２の解像度は第３の解像度よりも高く、第３の解像度は第４の解像度よりも高い。したがって、サッケード到達点の予測が僅かにずれている場合に、ユーザの眼が、背景画像よりも解像度が高い第１中間中心窩領域の画像に到達するので、ユーザに十分な詳細を提供することができ、顕著な視覚的アーティファクトを防ぐことができる。

【0020】

図３を参照すると、一実施形態による、ＶＲ又はＡＲディスプレイにフレームをレンダリングして送るためのフレームタイミングのタイミング図３００が示されている。一実施形態では、各フレーム周期の境界は、垂直同期（ＶＳｙｎｃ）信号によって決定される。言い換えると、フレーム周期の開始がＶＳｙｎｃ信号と一致し、フレーム周期の終了が次のＶＳｙｎｃ信号と一致する。例えば、タイミング図３００に示されている第１のフレーム周期は、ＶＳｙｎｃ３０５とＶｓｙｎｃ３１０によって区切られている。第１のフレーム周期中に、元の中心窩画像ストリームが、背景画像ストリームに対して位相シフトされた状態でディスプレイトランスポートを介して受信機に送信される。中心窩画像が背景画像とブレンディングされる時点で中心窩画像ストリームが受信機に到着するように、位相シフトが実行される。受信機は、中心窩領域を背景画像とブレンディングし、ＶＲ合成器は、ブレンディングされた画像をディスプレイに送る。

【0021】

本明細書で使用される「フレーム周期」という用語は、フレームレートの逆数として定義される。様々な実施形態では、フレームは、固定又は可変のフレームレートでＶＲディスプレイに送られ、フレームレートは、所定のＶＲアプリケーションに優れたユーザエクスペリエンスを提供するのに十分な高さである。本開示全体を通して、技術がＶＲアプリケーション又はＶＲディスプレイに適用可能であると言及される場合、その技術は、ＡＲ又は他のタイプの没入型アプリケーションにも適用可能であると理解すべきことに留意されたい。ＶＲアプリケーションのフレームレートが特定の期間固定されている場合、次に表示されるフレームのＶｓｙｎｃのタイミングを決定することができる。

【0022】

この説明のために、ＶＲシステムは、ＶＲアプリケーションの実行中に眼球サッケードを検出及び／又は予測する眼球サッケード検出ユニット又は眼球サッケード予測ユニット（例えば、図２の眼球サッケード予測ユニット２１５）を含むことが想定される。タイミング図３００に示すように、眼球サッケード３２５が検出され、眼球サッケード３２５のタイミングの予測が、Ｖｓｙｎｃ信号、背景画像ストリームのトランスポート、及び、元の中心窩画像ストリームのトランスポートに関連して示されている。眼球サッケード３２５の結果として、中心窩領域の位置が移動し、これは、ディスプレイトランスポート上で中心窩画像ストリームを送信するための最適なタイミングを変更する。一実施形態では、眼球サッケード３２５は、元の中心窩画像ストリーム３２０の全体が送信される前に検出されるので、送信機は、中心窩領域の位置が変更されたことにより、元の中心窩画像ストリーム３２０の送信を中止する。眼球サッケード３２５が終了し、眼球が動きを停止すると、ユーザは、高解像度の中心窩領域が、視線が向けられる場所にあることを期待することになる。

【0023】

したがって、一実施形態では、眼球サッケード３２５が検出されると、眼球サッケード３２５が終了するときの中心窩領域の予測位置に対応するように、新たな中心窩画像がレンダリングされる。新たな中心窩画像ストリーム３３０は、新たな中心窩画像が背景画像といつブレンディングされるかに対応するために、背景画像ストリーム３３５に関して新たな位相関係で送信される。次のＶｓｙｎｃ３１５の前に新たな中心窩画像ストリーム３３０をレンダリング及び送信するのに十分な時間があれば、新たな中心窩画像ストリーム３３０のフェーズでのこの調整が実行される。Ｖｓｙｎｃ３１５の前に十分な時間がない場合には、現在のフレームに対する低解像度の背景画像をユーザに表示することができ、次に、新たな中心窩画像ストリームと背景画像ストリームとの間の適切な位相関係が後続のフレームに適用される。

【0024】

図４を参照すると、受信機４００の一実施形態のブロック図が示されている。一実施形態では、受信機４００は、ＨＭＤ（例えば、図１のＨＭＤ１２０）内に統合されている。別の実施形態では、受信機４００は、ＨＭＤとは別の構成要素であり、受信機４００は、有線又は無線インタフェースを介してＨＭＤと通信する。一実施形態では、受信機４００は、少なくともストリームデマルチプレクサ４１０と、バッファ４１５Ａ～４１５Ｎと、デコードユニット４２０と、ディスプレイ合成器４３０と、ディスプレイコントローラ４４０と、を含む。受信機４００が、図を曖昧にすることを避けるために示されていない他の構成要素も含むことができることに留意されたい。他の実施形態では、受信機４００は、他の適切な構成で構造化することができる。また、図４に示すユニットのうち２つ以上は、他の実施形態では、単一のユニットに組み合わせることができる点に留意されたい。

【0025】

一実施形態では、受信機４００は、ＶＲ又はＡＲアプリケーションのフレームのために複数のエンコードされたストリームを受信する。複数のエンコードされたストリームを受信した後に、ストリームデマルチプレクサ４１０は、エンコードされたストリームを個々のコンポーネントストリームに分離する。一実施形態では、エンコードされたストリームに２つのストリームがあり、２つのストリームは、比較的高解像度の中心窩画像及び比較的低解像度の背景画像を含む。他の実施形態では、受信機４００は、３つ以上のエンコードされたストリームを受信する。個々のコンポーネントストリームが分離され、バッファ４１５Ａ～４１５Ｎに格納され、バッファ４１５Ａ～４１５Ｎは、異なるコンポーネントストリームのピクセルデータを格納するための任意の数のバッファを表す。

【0026】

デコードユニット４２０は、バッファ４１５Ａ～４１５Ｎから個別の構成要素でエンコードされた画像を取得し、エンコードされた画像をデコードする。次に、デコードユニット４２０は、デコードされた画像４２５をディスプレイ合成器４３０に伝達する。ディスプレイ合成器４３０は、デコードされた画像４２５を一緒にブレンディングして、ディスプレイコントローラ４４０に提供されるブレンディングされた画像４３５を生成する。一実施形態では、デコードユニット４２０は、エンコードされたストリームからブレンドマスク４２２を抽出し、ブレンドマスク４２２をディスプレイ合成器４３０に伝達する。この実施形態では、ディスプレイ合成器４３０は、ブレンドマスク４２２を使用して、複数の構成要素の画像を組み合わせてブレンディングされた画像４３５を生成する方法を決定する。ディスプレイコントローラ４４０は、ブレンディングされた画像４３５に対して最終調整を実行して、ディスプレイに送られる最終画像４４５を生成する。最終画像４４５は、ターゲットディスプレイに送られる前に、フレームバッファ又は他の場所に格納され得ることに留意されたい。

【0027】

図５を参照すると、中心窩領域ストリームの位相タイミングを調整する方法５００の一実施形態が示されている。説明のために、この実施形態でのステップ、及び、図６～図７のステップを順番に示す。しかしながら、説明する方法の様々な実施形態では、説明する要素のうちの１つ以上は、同時に実行されてもよいし、図示された順序とは異なる順序で実行されてもよいし、完全に省略されてもよいことに留意されたい。他の追加の要素も必要に応じて実行される。本明細書に記載された様々なシステム又は装置の何れも、方法５００を実施するように構成されている。

【0028】

送信機は、フレーム内の中心窩領域の位置の指標を受信する（ブロック５０５）。一実施形態では、中心窩領域情報は、１つ以上のアイトラッキングセンサから側波帯チャネルを介して送信機に送信される。送信機は、フレーム内の中心窩領域の位置に対応するように、背景画像ストリームに対する中心窩領域画像ストリームの位相タイミングを調整する（ブロック５１０）。例えば、ディスプレイのラスター順序が上から下になり、中心窩領域がフレームの上部にある場合、中心窩領域画像がトランスポート層を介して送信される場合の位相タイミングは、中心窩領域の画像を背景画像とブレンディングする必要がある時点で、中心窩領域の画像全体を受信機が受信できるようにするポイントまで、前方に移動する。或いは、中心窩領域が画面の下部にある場合、中心窩領域画像がトランスポート層を介して送信される場合の位相タイミングは、中心窩領域画像がブレンディングに間に合うように受信機によって完全に受信されるように調整される。次に、送信機は、背景画像ストリームに対して調整された位相タイミングを使用して、中心窩領域画像ストリームを受信機に送信する（ブロック５１５）。ブロック５１５の後に、方法５００は終了する。送信機が方法５００を実行する結果として、受信機は、中心窩領域画像を背景画像とブレンディングする場合に使用されるバッファリングの量を減らすことができる。

【0029】

図６を参照すると、眼球サッケードが検出されたことに応じて、レンダリングされる中間解像度画像の数を増やす方法６００の一実施形態が示されている。レンダリングユニットは、中心窩領域に対して比較的高解像度の画像をレンダリングし、ＶＲアプリケーションの各フレームの背景に対して比較的低解像度の画像をレンダリングする（ブロック６０５）。レンダリングユニットが、レンダリングされている現在のフレームに対して眼球サッケードが検出されたという指標を受信した場合（条件付きブロック６１０：「はい」）、レンダリングユニットは、既存の中心窩領域のレンダリングを終了し、新たな位相タイミングに基づいて利用可能な十分な時間があれば、新たな場所で新たな中心窩領域のレンダリングを開始する（ブロック６１５）。受信機は、中心窩ストリームが中止され、新たな中心窩ストリームがフレームの別の場所で別のフェーズで再開された場合の状況を処理する。一実施形態では、受信機は、そのような再開のために、フレーム内の複数の中心窩領域を処理することができる。

【0030】

また、眼球サッケードが検出されたことに応じて、レンダリングユニットは、現在のフレームに対してレンダリングされる中解像度画像の数を増やす（ブロック６２０）。例えば、一実施形態では、レンダリングユニットは、高解像度の中心窩領域、中心窩領域を囲む中高解像度領域、中高解像度領域を囲む中解像度領域、及び、低解像度の背景画像をレンダリングする。他の実施形態では、レンダリングユニットは、様々な量の解像度で（２より大きい）他の数の領域をレンダリングする。別の実施形態では、不均一な解像度のレンダリング技術を使用するシステムの場合、より高い解像度の画像から複数の中心窩層を生成することができる。現在のフレームで眼球サッケードが検出されなかった場合（条件付きブロック６１０：「いいえ」）、現在のフレームについて、レンダリングユニットは、中心窩領域に対する第１の画像と、背景に対する第２の画像と、をレンダリングする（ブロック６２５）。受信機では、画像がブレンディングされた後に、ブレンディングされた画像が現在のフレームについてディスプレイに送られ（ブロック６３０）、方法６００は、条件付きブロック６１０に戻る。

【0031】

図７を参照すると、一実施形態による、トランスポートされた画像及び最終画像の図が示されている。低解像度の背景画像７０５の一例が図７の左上に示されており、高解像度の中心窩画像７１０の一例が図７の左下に示されている。一実施形態では、これらの２つの画像７０５，７１０は、送信機から受信機に送信され、対応する画像ストリームの位相タイミングは、画像全体内の中心窩領域の位置に基づいて調整される。次に、受信機は、画像７０５，７１０をブレンディングして、最終画像７１５を生成する。他の実施形態では、他の数の画像を受信機に送信して、ブレンディングし、最終画像を生成できることを理解されたい。これらの他の実施形態では、トランスポート層で送信される各高解像度画像ストリームの位相タイミングは、画像全体内の対応する領域の位置に基づいて、背景画像ストリームに対して調整される。

【0032】

図８を参照すると、一実施形態による、通常のマルチストリームディスプレイトランスポートのタイミング図が示されている。トランスポート層を介して送信される画像のタイミングは、図８の上部に示されている。この例では、２つの個別の画像ストリームが送信されていると想定されているが、これは、一実施形態を示しているに過ぎないことを理解されたい。他の実施形態では、他の数の画像をレンダリングして、対応する画像ストリームを送信機から受信機に送信することができる。図示するように、背景画像８０５Ａ及び中心窩画像８０５Ｂは、トランスポート層を介して同相で送信され、背景画像８０５Ａ及び中心窩画像８０５Ｂは、レンダリングされ、受信機で表示されるための単一のフレームに対応する。一実施形態では、背景画像８０５Ａ及び中心窩画像８０５Ｂは、トランスポート層を介して送られる際にインターリーブされる。

【0033】

受信機での画像処理のタイミングは、トランスポートタイミングブロックの下に示されている。背景画像８０５Ａ及び中心窩画像８０５Ｂがトランスポート層を介して同相で受信機に送信された後に、受信機は、画像をバッファ８１０Ａ，８１０Ｂの各々に格納する。次に、背景画像８０５Ａ及び中心窩画像８０５Ｂの両方が完全にバッファリングされた後に、背景画像８０５Ａは、ブロック８１５Ａによって示すようにスケーリングされる。画像内の中心窩画像８０５Ｂの位置に基づいて、中心窩画像８０５Ｂのブレンディングは、背景画像８０５Ａのスケーリングに関して適切な時間に開始する。ブレンディングは、ブロック８１５Ｂによって表される。最終画像８１７は、スケーリング８１５Ａ及びブレンディング８１５Ｂのステップの結果として生成される。図８に示すように、中心窩画像８０５Ｂは、（図７の）背景画像７０５に関して中心窩画像７１０について示されているように、背景画像８０５Ａ内に位置していると想定される。画像全体内の中心窩画像の他の位置については、ブレンディングのブロック８１５Ｂのタイミングをその位置に一致するようにシフトすることができる。例えば、中心窩画像が背景画像の左上隅にある場合に、ブレンディングのブロック８１５Ｂが左にシフトされ、背景画像のスケーリング８１５Ａ内でより早く実行されることになる。

【0034】

スケーリング８１５Ａが実行されている間、新たな背景画像８２０Ａ及び新たな中心窩画像８２０Ｂが受信機に送信され、それぞれバッファ８２５Ａ，８２５Ｂに格納されている。背景画像８２０Ａ及び中心窩画像８２０Ｂが受信されているのと同時に背景画像８０５Ａが中心窩画像８０５Ｂとブレンディングされているので、バッファ８１０Ａ～８１０Ｂ及び８２５Ａ～８２５Ｂの２つのペアが必要である。このタイミングパターンは、送信機から送信され、受信機によって処理される後続の画像に対して継続できる。

【0035】

図９を参照すると、位相シフトされたマルチストリームディスプレイトランスポートのタイミング図の一実施形態が示されている。図９のタイミング図は、背景画像ストリーム及び中心窩画像ストリームを送信するためのより効率的なトランスポート層を示している。中心窩画像ストリームの送信は、受信機で必要とされるバッファリングの量を減らすために、背景画像ストリームに対して位相シフトされる。この位相シフトは、中心窩画像９０５Ｂが背景画像９０５Ａよりも時間的に早く送信されることで示されている。背景画像は、ブロック９１５Ａに示すように、受信されたときにスケーリングされ、背景画像のためのバッファの必要性が生じないようにする。中心窩画像ストリームは、受信時に受信機によってバッファ９１０にバッファリングされ、次いで、バッファリングされた中心窩画像は、画像全体内の中心窩領域の位置に基づいて適切な時間に背景画像とブレンディングされる。バッファリングされた中心窩画像９０５Ｂと背景画像９０５Ａとのブレンディングは、ブロック９１５Ｂとして示されている。最終画像９１７は、スケーリング９１５Ａ及びブレンディング９１５Ｂのステップの結果として生成される。このタイミングパターンは、中心窩領域の位置が同じままである間、後続のフレームで継続される。

【0036】

眼球サッケードの間、中心窩領域の位置が急速に変化している。眼球サッケードが検出された場合にトランスポート層を介した中心窩画像ストリームの送信が既に開始されている場合、送信機は、中心窩画像ストリームの送信を中止し、背景画像ストリームに対して正しい位相位置で新たな中心窩画像ストリームを再開できる。

【0037】

様々な実施形態では、ソフトウェアアプリケーションのプログラム命令を使用して、本明細書で説明する方法及び／又はメカニズムを実施する。例えば、汎用プロセッサ又は専用プロセッサによって実行可能なプログラム命令が考えられる。様々な実施形態では、そのようなプログラム命令は、高水準プログラミング言語によって表される。他の実施形態では、プログラム命令は、高水準プログラミング言語からバイナリ形式、中間形式又は他の形式にコンパイルされる。或いは、プログラム命令は、ハードウェアの動作又は設計を記述するように書き込まれる。そのようなプログラム命令は、Ｃ言語等の高水準プログラミング言語によって表される。或いは、Ｖｅｒｉｌｏｇ等のハードウェア設計言語（ＨＤＬ）が使用される。様々な実施形態では、プログラム命令は、様々な非一時的なコンピュータ可読記憶媒体の何れかに記憶される。記憶媒体は、プログラム実行のためにプログラム命令をコンピューティングシステムに提供するために、使用中にコンピューティングシステムによってアクセス可能である。一般的に、そのようなコンピューティングシステムは、少なくとも１つ以上のメモリと、プログラム命令を実行するように構成された１つ以上のプロセッサと、を含む。

【0038】

上述した実施形態は、実施形態の非限定的な例示に過ぎないことを強調しておきたい。上記の開示が十分に理解されれば、多くの変形及び修正が当業者に明らかになる。以下の特許請求の範囲は、このような変形及び修正の全てを包含すると解釈されることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】