特許 7320668 シングルストリーム中心窩表示トランスポート

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-26

(45)【発行日】2023-08-03

(54)【発明の名称】シングルストリーム中心窩表示トランスポート

(51)【国際特許分類】

   H04N 21/2343 20110101AFI20230727BHJP

   H04N 21/84 20110101ALI20230727BHJP

【ＦＩ】

H04N21/2343

H04N21/84

【請求項の数】 20

(21)【出願番号】P 2022511211

(86)(22)【出願日】2020-08-26

(65)【公表番号】

(43)【公表日】2022-11-07

(86)【国際出願番号】 IB2020057981

(87)【国際公開番号】W WO2021038466

(87)【国際公開日】2021-03-04

【審査請求日】2022-11-01

(31)【優先権主張番号】16/551,069

(32)【優先日】2019-08-26

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】508301087

【氏名又は名称】エーティーアイ・テクノロジーズ・ユーエルシー

【氏名又は名称原語表記】ＡＴＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＵＬＣ

【住所又は居所原語表記】Ｏｎｅ Ｃｏｍｍｅｒｃｅ Ｖａｌｌｅｙ Ｄｒｉｖｅ Ｅａｓｔ， Ｍａｒｋｈａｍ， Ｏｎｔａｒｉｏ， Ｌ３Ｔ ７Ｘ６ Ｃａｎａｄａ

(74)【代理人】

【識別番号】100108833

【弁理士】

【氏名又は名称】早川 裕司

(74)【代理人】

【識別番号】100111615

【弁理士】

【氏名又は名称】佐野 良太

(74)【代理人】

【識別番号】100162156

【弁理士】

【氏名又は名称】村雨 圭介

(72)【発明者】

【氏名】グエンナディ リグール

(72)【発明者】

【氏名】サイド アザー フセイン

【審査官】醍醐 一貴

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０１７６５３５（ＵＳ，Ａ１）

【文献】特開２０１８－０２６６７０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２１／００－２１／８５８

Ｇ０６Ｔ １１／６０－１３／８０

(57)【特許請求の範囲】

【請求項1】

送信器であって、
スケーリングユニットと、
エンコーダと、を備え、
前記スケーリングユニットは、
複数の可変サイズ領域にパーティション分割されたフォービエイテッドレンダリング画像を受信することであって、各領域が一様な画素密度を有する、ことと、
前記フォービエイテッドレンダリング画像の前記複数の可変サイズ領域をスケール変更して、複数の等サイズ領域を有するスケール変更画像を形成することであって、前記複数の等サイズ領域の各々は、互いに等しいサイズの領域である、ことと、
を行うように構成されており、
前記エンコーダは、
前記スケール変更画像をエンコードして、エンコード画像を形成するように構成されている、
送信器。

【請求項2】

前記フォービエイテッドレンダリング画像をスケール変更することは、前記複数の可変サイズ領域の各領域にスケーリング因子を適用することを含み、前記スケーリング因子は、等サイズ領域の目標サイズに対する所定の領域のサイズに基づいて計算される、
請求項１の送信器。

【請求項3】

前記複数の可変サイズ領域は、前記フォービエイテッドレンダリング画像内の矩形である、
請求項１の送信器。

【請求項4】

前記複数の可変サイズ領域は、前記フォービエイテッドレンダリング画像内の水平バンドである、
請求項１の送信器。

【請求項5】

前記複数の可変サイズ領域は、前記フォービエイテッドレンダリング画像内の水平バンドのサブ領域である、
請求項４の送信器。

【請求項6】

前記送信器は、受信器に送られる前記エンコード画像にメタデータを埋め込むように構成されており、前記メタデータは、前記エンコード画像の中心窩領域と、前記エンコード画像のデコードバージョンの領域に適用されるスケーリング因子と、を特定する、
請求項１の送信器。

【請求項7】

前記スケーリングユニットは、
前記複数の可変サイズ領域の第１の領域に第１のスケーリング因子を適用することと、
前記複数の可変サイズ領域の第２の領域に第２のスケーリング因子を適用することと、
を行うように構成されており、
前記第２のスケーリング因子は、前記第１のスケーリング因子と異なる、
請求項１の送信器。

【請求項8】

方法であって、
送信器が、複数の可変サイズ領域にパーティション分割されたフォービエイテッドレンダリング画像を受信することであって、各領域が一様な画素密度を有する、ことと、
前記フォービエイテッドレンダリング画像の前記複数の可変サイズ領域をスケール変更して、複数の等サイズ領域を有するスケール変更画像を形成することであって、前記複数の等サイズ領域の各々は、互いに等しいサイズの領域である、ことと、
前記スケール変更画像をエンコードして、エンコード画像を形成することと、を含む、
方法。

【請求項9】

前記フォービエイテッドレンダリング画像をスケール変更することは、前記複数の可変サイズ領域の各領域にスケーリング因子を適用することを含み、前記スケーリング因子は、等サイズ領域の目標サイズに対する前記領域のサイズに基づいて計算される、
請求項８の方法。

【請求項10】

前記複数の可変サイズ領域は、前記フォービエイテッドレンダリング画像内の矩形である、
請求項８の方法。

【請求項11】

前記複数の可変サイズ領域は、前記フォービエイテッドレンダリング画像内の水平バンドである、
請求項８の方法。

【請求項12】

前記複数の可変サイズ領域は、前記フォービエイテッドレンダリング画像の水平バンド内の矩形である、
請求項８の方法。

【請求項13】

受信器に送られる前記エンコード画像にメタデータを埋め込むことをさらに含み、前記メタデータは、前記エンコード画像の中心窩領域と、前記エンコード画像のデコードバージョンの領域に適用されるスケーリング因子と、を特定する、
請求項８の方法。

【請求項14】

前記複数の可変サイズ領域の第１の領域に第１のスケーリング因子を適用することと、
前記複数の可変サイズ領域の第２の領域に第２のスケーリング因子を適用することと、をさらに含み、
前記第２のスケーリング因子は、前記第１のスケーリング因子と異なる、
請求項８の方法。

【請求項15】

システムであって、
送信器と、
受信器と、を備え、
前記送信器は、
複数の可変サイズ領域にパーティション分割されたフォービエイテッドレンダリング画像を受信することであって、各領域が一様な画素密度を有する、ことと、
前記フォービエイテッドレンダリング画像の前記複数の可変サイズ領域をスケール変更して、複数の等サイズ領域を有する第１のスケール変更画像を形成することであって、前記複数の等サイズ領域の各々は、互いに等しいサイズの領域である、ことと、
前記第１のスケール変更画像をエンコードして、エンコード画像を形成することと、
前記エンコード画像を送信することと、
を行うように構成されており、
前記受信器は、
前記エンコード画像を受信することと、
前記エンコード画像をデコードして、デコード画像を生成することと、
前記エンコード画像の複数の領域を、異なるスケール因子を用いてスケール変更して、第２のスケール変更画像を形成することと、
前記第２のスケール変更画像をディスプレイに送信することと、
を行うように構成されている、
システム。

【請求項16】

前記異なるスケール因子は、前記複数の領域のうち１つ以上の領域を、異なるサイズの表示領域にスケール変更させる、
請求項１５のシステム。

【請求項17】

前記複数の可変サイズ領域は、再構成されたフォービエイテッドレンダリング画像内の矩形である、
請求項１５のシステム。

【請求項18】

前記複数の可変サイズ領域は、再構成されたフォービエイテッドレンダリング画像内の水平バンドである、
請求項１５のシステム。

【請求項19】

前記複数の可変サイズ領域は、再構成されたフォービエイテッドレンダリング画像の水平バンド内の矩形である、
請求項１５のシステム。

【請求項20】

前記送信器は、前記エンコード画像にメタデータを埋め込むように構成されており、前記メタデータは、前記エンコード画像の中心窩領域と、前記エンコード画像のデコードバージョンの領域に適用されるスケーリング因子と、を特定する
請求項１５のシステム。

【発明の詳細な説明】

【背景技術】

【0001】

ディスプレイの解像度及びリフレッシュレートの増加に伴い、表示画像の要求される伝送帯域幅が主要な制限要因になっている。仮想現実（ＶＲ）及び拡張現実（ＡＲ）ヘッドセット又は頭部装着型ディスプレイ（ＨＭＤ）の場合、これはさらに大きな問題になる。なぜならば、ケーブルの物理的太さによってユーザ移動性が妨げられるため、この物理的太さが懸念事項となるからである。また、解像度が高い画像を送信するために多くのワイヤを加えるというのは、受け入れられない解決策である。ユーザに対して没入型の環境を形成するために、ＶＲ及びＡＲ解決策は、通常、高解像度及び高いフレームレートを有する。これは高いデータレートに相当する。ＶＲ及びＡＲディスプレイの場合、特に視線追跡を伴う場合、現在、広く行われているようにフル解像度の画像を送信することが無駄である。

【0002】

本明細書で説明する方法及びメカニズムの利点は、添付図面と共に以下の説明を参照することによってより良好に理解され得る。

【図面の簡単な説明】

【0003】

【図1】システムの一実施形態のブロック図である。

【図2】送信器の一実施形態のブロック図である。

【図3】一実施形態による、当初のスケール変更前画像とスケール変更画像との例を示す図である。

【図4】受信器の一実施形態のブロック図である。

【図5】受信器に送られる等サイズ領域を有するスケール変更画像を送信器が生成するための方法の一実施形態を示す汎用フロー図である。

【図6】表示される画像を受信し、デコードし、及び、スケール変更するための方法の一実施形態を示す汎用フロー図である。

【発明を実施するための形態】

【0004】

以下の説明では、本明細書で示す方法及びメカニズムの十分な理解が得られるように、多くの具体的な詳細について述べる。しかし、当業者であれば分かるように、これらの具体的な詳細を伴わずに種々の実施形態を実施してもよい。場合によっては、本明細書で説明するアプローチが不明瞭になることを避けるために、周知の構造、コンポーネント、信号、コンピュータプログラム命令、及び、技術については詳細に示されていない。当然のことながら、説明を簡単及び明瞭にするために、図に示す要素は、必ずしも一定の比率で描かれていない。例えば、いくつかの要素の寸法は、他の要素に対して誇張されている場合がある。

【0005】

シングルストリーム中心窩（foveal）表示トランスポートを実施するための種々のシステム、装置、方法及びコンピュータ可読記憶媒体を本明細書で開示している。一実施形態では、システムは、画像を、等サイズ（equi-sized）の矩形のシーケンスとして表示トランスポートを介して受信器に送る送信器を含む。そして、受信器は、適切なスケーリング因子（scaling factors）を用いて矩形をスケール変更して、その当初のサイズに戻す。結果として、受信器が次にディスプレイに送る複数の可変サイズの矩形が得られる。矩形領域内の画素密度は一様であり、スケーリング因子は整数又は非整数値を取ることができる。画像が直線的に格子配置されていることによって、受信器のスケール変更動作が単純になる。別のシナリオでは、画像を等サイズの矩形のシーケンスとして送信するのではなく、画像を等サイズの水平バンドのセットとして送信する。各バンド内では、原画像内のバンドのサイズに一致するように、受信器は、画素をスケールアップ又はスケールダウンする。さらに、原画像の領域に一致するようにスケール変更した矩形に拡大することができる送信画像内の等サイズの矩形の単一行に、水平バンドをそれぞれ別個に再分割することができる。ディスプレイストリームには、水平及び／又は垂直分布、並びに、矩形領域のスケール変更についての埋め込み情報が含まれており、これらは、送信画像毎に調整することができる。

【0006】

次に、図１を参照すると、システム１００の一実施形態のブロック図が示されている。一実施形態では、システム１００は、送信器１０５と、チャンネル１１０と、受信器１１５と、頭部装着型ディスプレイ（ＨＭＤ）１２０と、を含む。送信器１０５及び受信器１１５は、送受信装置又は通信デバイスと呼ばれ得ることに留意されたい。一実施形態では、ＨＭＤ１２０は、右眼ディスプレイ１２５Ｒ及び左眼ディスプレイ１２５Ｌを含む。右ディスプレイ１２５Ｒ内には中心窩領域１３０Ｒがある。これは、右眼ディスプレイ１２５Ｒのうちユーザの右眼が焦点を合わせている領域である。同様に、左眼ディスプレイ１２５Ｌ内には中心窩領域１３０Ｌがある。これは、左眼ディスプレイ１２５Ｌのうちユーザの左眼が向いている部分である。本明細書で用いる場合、「中心窩領域」という用語は、眼毎に表示されるハーフフレームのうち各眼が焦点を合わせている部分として定義される。場合によっては、「中心窩領域」は、ハーフフレーム内で眼が向いている場所を検出する視線追跡センサに少なくとも部分的に基づいて決定される。さらに、「中心窩領域」という用語は、「焦点領域」と呼ぶこともできる。他の実施形態では、システム１００は、他のコンポーネントを含むことができ、及び／又は、システム１００は、図１に示すコンポーネントのうち複数のコンポーネントを含むことができることに留意されたい。例えば、別の実施形態では、システム１００は、複数のＨＭＤを有する複数の受信器を含むことができる。

【0007】

一実施形態では、チャンネル１１０は、送信器１０５と受信器１１５との間の有線接続である。例えば、一実施形態では、チャンネル１１０は、送信器１０５と受信器１１５との間の直接的な有線接続である。別の実施形態では、チャンネル１１０は、送信器１０５と受信器１１５との間のネットワーク接続を表している。実施形態に応じて、任意のタイプ及び数のネットワークを用いて、送信器１０５と受信器１１５との間の接続を得ることができる。例えば、１つの特定の実施形態では、送信器１０５は、クラウドサービスプロバイダの一部である。別の実施形態では、チャンネル１１０は、送信器１０５と受信器１１５との間の無線接続を表している。

【0008】

一実施形態では、送信器１０５は、エンコードされて受信器１１５に送信されるビデオシーケンスを受信する。別の実施形態では、送信器１０５は、エンコードされて受信器１１５に送信されるビデオシーケンスをレンダリングするレンダリングユニットを含む。受信器１１５におけるビデオフレームのスケール変更を単純にするために、送信器１０５と受信器１１５との間で（例えば、トランスポート層を介して）シングルストリームフォービエイテッド表示シーケンス（single-stream foveated display sequence）を送信する。表示シーケンスの各フレームをスケール変更して、送信される等サイズ領域を形成する。受信器１１５が各フレームを受信すると、受信器１１５は、等サイズ領域を、種々のスケーリング因子を用いてスケール変更し、可変サイズ領域を有するスケール変更フレームを形成する。次に、このスケール変更フレームをＨＭＤ１２０に送る。一実施形態では、送信されるディスプレイストリームには、矩形領域の水平及び垂直スケール変更についての埋め込み情報が含まれており、この情報を、送信されるフレーム毎に調整することができる。一実施形態では、受信器１１５は、ＨＭＤ１２０と分かれており、受信器１１５は、有線又は無線接続を用いてＨＭＤ１２０と通信する。別の実施形態では、受信器１１５は、ＨＭＤ１２０内に一体化されている。

【0009】

送信器１０５及び受信器１１５は、任意のタイプの通信デバイス及び／又はコンピューティングデバイスを表している。例えば、種々の実施形態では、送信器１０５及び／又は受信器１１５は、携帯電話、タブレット、コンピュータ、サーバ、ＨＭＤ、テレビジョン、別のタイプのディスプレイ、ルータ、又は、他のタイプのコンピューティング若しくは通信デバイスとすることができる。一実施形態では、システム１００は、レンダリングされた仮想環境のフレームを送信器１０５から受信器１１５へ無線で送信するための仮想現実（ＶＲ）アプリケーションを実行する。他の実施形態では、他のタイプのアプリケーション（例えば、拡張現実（ＡＲ）アプリケーション）を、本明細書で説明する方法及びメカニズムを利用するシステム１００によって実施することができる。

【0010】

ＨＭＤ１２０上に表示される各画像内で、ＨＭＤ１２０の右側１２５Ｒ上に表示されているシーンには焦点領域１３０Ｒが含まれており、ＨＭＤ１２０の左側１２５Ｌ上に表示されているシーンには焦点領域１３０Ｌが含まれている。これらの焦点領域１３０Ｒ，１３０Ｌは、ＨＭＤ１２０の拡大された右側１２５Ｒ及び左側１２５Ｌ内で、それぞれ円で示されている。一実施形態では、右及び左ハーフフレーム内の焦点領域１３０Ｒ，１３０Ｌの各々の場所は、ＨＭＤ１２０内の視線追跡センサに基づいて決定される。この実施形態では、視線追跡データは、送信器１０５に対するフィードバック及び任意的にＶＲビデオのレンダリングソースに対するフィードバックとして与えられる。場合によっては、視線追跡データのフィードバックは、ＶＲビデオフレームレートよりも高い周波数で生成され、送信器１０５は、フィードバックにアクセスして、エンコードされたビデオストリームをフレーム単位で更新することができる。場合によっては、ＨＭＤ１２０上で視線追跡が行われず、むしろ、ビデオ及び他のセンサデータが送信器１０５に送り返されて、眼の位置及び動きを決定するためのさらなる処理が行われる。別の実施形態では、焦点領域１３０Ｒ，１３０Ｌの場所は、ユーザが見ていると予想される場所に基づいてＶＲアプリケーションによって特定される。別の実施形態では、焦点領域１３０Ｒ，１３０Ｌの場所は、光学システムの特性のみに基づいて、又は、視線追跡との組み合わせに基づいて決定される。焦点領域１３０Ｒ，１３０Ｌのサイズは、実施形態によって変化する可能性があることに留意されたい。また、焦点領域１３０Ｒ，１３０Ｌの形状も実施形態によって変化する可能性があり、別の実施形態では、焦点領域１３０Ｒ，１３０Ｌは楕円として定義される。他の実施形態では、焦点領域１３０Ｒ，１３０Ｌに対して他のタイプの形状を用いることができる。

【0011】

次に、図２を参照すると、送信器２００の一実施形態のブロック図が示されている。一実施形態では、送信器２００は、少なくとも、フォービエイテッドレンダリングユニット（foveated rendering unit）２１０と、スケーリングユニット２２０と、エンコーダ２３０と、を含む。代替的に、別の実施形態では、フォービエイテッドレンダリングユニット２１０は、送信器２００内に一体化されているのではなく、送信器２００に結合されている。送信器２００は、図が不明瞭になるのを避けるために図示していない他のコンポーネントも含むことができることに留意されたい。フォービエイテッドレンダリングユニット２１０、スケーリングユニット２２０及びエンコーダ２３０は、図２では別のユニットとして示しているが、他の実施形態では、これらのユニットのうち任意の２つを一緒に組み合わせて単一ユニットにしてもよいし、３つのユニット全てを一緒に組み合わせて単一ユニットにしてもよいことに留意されたい。他の実施形態では、フォービエイテッドレンダリングユニット２１０、スケーリングユニット２２０及びエンコーダ２３０のうち何れかを複数の個別のユニットに分割して、対応するユニットに対応付けられた異なる機能を行うことができることにも留意されたい。レンダリングユニット２１０、スケーリングユニット２２０及びエンコーダ２３０の各々は、ハードウェア（例えば、制御論理回路、処理ユニット）及び／又はソフトウェア（例えば、プロセッサによって実行可能なプログラム命令）の任意の好適な組み合わせを用いて実装される。

【0012】

一実施形態では、フォービエイテッドレンダリングユニット２１０は、グラフィックス情報（例えば、原画像データ）からレンダリング画像２１５を生成する。一実施形態では、レンダリング画像２１５は、ビデオシーケンスの単一のビデオフレームである。「画像」、「フレーム」及び「ビデオフレーム」という用語は、本明細書では交換可能に使用できることに留意されたい。フォービエイテッドレンダリングユニット２１０は、フレーム内の中心窩領域（複数可）（例えば、図１の中心窩領域１３０Ｒ，１３０Ｌ）を特定する中心窩領域情報を受信する。一実施形態では、中心窩領域情報は、ＨＭＤ（例えば、図１のＨＭＤ１２０）内の１つ以上の視線追跡センサから送信器２００に送られる。フォービエイテッドレンダリングユニット２１０は、中心窩領域情報を用いて、レンダリング画像２１５の他の領域よりも比較的高い画素密度で中心窩領域を生成する。

【0013】

一実施形態では、レンダリング画像２１５は、複数の可変サイズ領域（すなわち、等サイズではない領域）にパーティション分割される。一実施形態では、複数の領域の各領域は、矩形である。別の実施形態では、複数の領域は、水平バンドであり、これらをさらに矩形に再分割することができる。他の実施形態では、領域は、他のタイプの形状を有することができる。複数の領域は、単一の中心窩領域と、複数の非中心窩領域と、を含む。一実施形態では、中心窩領域は、非中心窩領域よりも比較的小さい領域である。一実施形態では、領域スケール変更は、人間の視覚系（ＨＶＳ）の鋭敏さ（acuity）に整合されており、各領域内のスケール変更は、視力によって駆動される。言い換えれば、中心窩領域からの距離が増加するにつれて、スケール変更が増加する。

【0014】

スケーリングユニット２２０は、レンダリング画像２１５及び中心窩領域情報を受信する。一実施形態では、スケーリングユニット２２０は、異なるスケール因子を用いてレンダリング画像２１５内の異なる可変サイズ領域をスケール変更することによって、レンダリング画像２１５内の可変サイズ領域を、スケール変更画像２２５内の等サイズ領域に変換する。例えば、一実施形態では、スケーリングユニット２１０は、レンダリング画像２１５の中心窩領域の当初の画素密度を維持し、一方で、レンダリング画像２１５の非中心窩領域を縮小する。スケーリングユニット２１０は、非中心窩領域上で種々のスケーリング因子を用いる。スケーリング因子は、非中心窩領域の具体的なサイズに基づいて選択される。異なる領域で種々のスケーリング因子を用いた結果、スケーリングユニット２２０は、レンダリング画像２１５の可変サイズ領域を、スケール変更画像２２５の等サイズ領域に変換する。スケール変更画像２２５の等サイズ領域の各々は、同じ数の画素を含むことに留意されたい。一実施形態では、スケーリングユニット２２０は、画像のサイズを領域の数で分割して、等サイズ領域の各々の目標サイズを計算する。次に、この実施形態において、スケーリングユニット２２０は、スケール変更領域のサイズを目標サイズにする量によって、各領域をスケール変更する。例えば、画像のサイズが１０００×１０００画素であり、画像内の領域の５つの水平分割及び５つの垂直分割がある場合、等サイズ領域の各々の目標サイズは２００×２００画素である。他の実施形態では、等サイズ領域の各々の目標サイズを、画像の他のサイズ及び／又は領域の他の数に対する同様の方法で計算することができる。

【0015】

所定の領域の当初のサイズが目標サイズよりも大きい場合、所定の領域をダウンスケーリングする（すなわち、ダウンサンプリングする）。その結果、各画素値が１つ以上の隣接する画素値と組み合わされて、所定の領域のスケール変更バージョンにおける画素値が形成される。所定の領域の当初のサイズが目標サイズよりも小さい場合、所定の領域をアップスケーリングする（すなわち、拡大する）。その結果、各画素値が、所定の領域のスケール変更バージョンにおける２つ以上の画素の値を計算する場合に用いられる。

【0016】

スケーリングユニット２２０がスケール変更画像２２５を生成した後に、スケール変更画像２２５の等サイズ領域がエンコーダ２３０に送られる。エンコーダ２３０は、スケール変更画像２２５をエンコードして、受信器（図示省略）に送信されるエンコード画像２３５にする。一実施形態では、エンコード画像２３５には、エンコード画像２３５内の中心窩領域のサイズ及び場所を識別するメタデータが含まれている。また、エンコード画像２３５には、エンコード画像２３５の等サイズ領域を変換して当初の可変サイズ領域に戻して原画像の非歪曲バージョンを再現するために用いられるスケーリング因子を特定するメタデータが含まれている。

【0017】

一実施形態では、図２に示す各画像は、実際には、一対の画像（ＨＭＤの各眼の視界に対して１つの画像）を表すことに留意されたい。例えば、この実施形態では、レンダリング画像２１５は、右眼に対する第１のレンダリング画像と、左眼に対する第２のレンダリング画像と、を含む一対の画像を表している。同様に、スケール変更画像２２５は、ＨＭＤの右及び左眼部分に対する一対の画像を表し、エンコード画像２３５は、右及び左眼部分に対する一対の画像を表している。代替的に、図２において回路が生成する各画像は、左眼及び右眼部分を含み、これらが一緒に組み合わされて単一画像になる。

【0018】

次に、図３を参照すると、当初のスケール変更前画像と、一実施形態によるスケール変更画像と、の例が示されている。原画像３００（図３の左側に示す）は、ビデオのフレームを表す画素値の２次元配列である。原画像３００は、図２のレンダリング画像２１５を表している。この説明のために、原画像３００にマッピングされた場合に、中心矩形領域３００Ｅは、中心窩領域（すなわち、鋭敏さが高い領域(high-acuity region)）に対応すると仮定する。一実施形態では、原画像３００の各矩形領域内の画素密度は一様である。したがって、この実施形態では、原画像３００を領域３００Ａ～３００Ｊにパーティション分割することは、各領域の画素密度がその領域内で一様であるということに基づいている。

【0019】

スケール変更画像３１０を図３の右側に示す。これは、スケーリング因子を可変サイズ領域３００Ａ～３００Ｊに適用して等サイズ領域３１０Ａ～３１０Ｊを形成した後の原画像３００のスケール変更バージョンである。スケール変更画像３１０では原画像３００のコンテンツが歪められているが、この歪みは、結果として得られる歪みのない画像がディスプレイに送られる前に受信器によって取り除かれる。スケール変更画像３１０は、一実施形態によるスケール変更画像２２５（図２）の一例を表していることに留意されたい。スケーリング因子は、整数又は非整数値を取ることができることにも留意されたい。一実施形態では、スケーリングユニット（例えば、図２のスケーリングユニット２２０）が、原画像３００内の領域のサイズに基づいて変化する種々のスケーリング因子を適用することによって、スケール変更領域３１０を生成する。図３に示すように、原画像３００の領域３００Ｅは、スケールが保持されており、スケール変更画像３００の領域３１０Ｅは、領域３００Ｅから変わらないままである。他の領域３００Ａ～３００Ｄ及び３００Ｆ～３００Ｊは、スケールのままであるか又はそのサイズに比例する種々の量によってダウンスケーリングされて、領域３１０Ａ～３１０Ｄ及び３１０Ｆ～３１０Ｊをそれぞれ形成する。

【0020】

送信器がスケール変更画像３１０をエンコードした後にエンコード結果を受信器に送ると、受信器は、エンコード画像をデコードした後にスケール変更処理を逆に行って、画像を、原画像３００に対して線形的にスケール変更されたバージョンに戻す。この方式を用いると、受信器側でのスケール変更が比較的単純であり、スケール変更が異なる領域間でも以前の表示行を少数だけバッファに入れることによって実施することができる。

【0021】

原画像３００及びスケール変更画像３１０を９つの個別の矩形領域にパーティション分割することは、例示のためであることを理解されたい。実際の実施形態では、原画像３００及びスケール変更画像３１０を、一様な画素密度の９つ又は他の数の領域にパーティション分割することができる。さらに、領域の形状も、実施形態により変化する可能性がある。例えば、別の実施形態では、原画像３００及びスケール変更画像３１０を水平バンド又はさらに矩形に再分割された水平バンドにパーティション分割する。

【0022】

次に、図４を参照すると、受信器４００の一実施形態のブロック図が示されている。一実施形態では、受信器４００は、ＨＭＤ（例えば、図１のＨＭＤ１２０）内に一体化されている。別の実施形態では、受信器４００は、ＨＭＤとは別のコンポーネントであり、受信器４００は、有線又は無線インターフェースを介してＨＭＤと通信する。一実施形態では、受信器４００は、少なくとも、デコーディングユニット４１０と、スケーリングユニット４２０と、ディスプレイコントローラ４３０と、を含む。受信器４００は、図が不明瞭になるのを避けるために図示していない他のユニットを含むことができることに留意されたい。他の実施形態では、受信器４００は、他のユニットを含むことができ、及び／又は、受信器４００は、他の適切な構成とすることができる。図４に示すユニットのうち２つ以上を一緒に組み合わせて、他の実施形態における単一ユニットにすることができることにも留意されたい。

【0023】

一実施形態では、デコーディングユニット４１０は、送信器（例えば、図１の送信器１０５）が受信器４００に送ったエンコード画像を受信する。デコーディングユニット４１０は、エンコード画像をデコードしてデコード画像４１５を形成し、デコード画像４１５は、スケーリングユニット４２０に伝えられる。デコード画像４１５には、複数の等サイズ領域が含まれていることに留意されたい。また、デコーディングユニット４１０は、エンコード画像のメタデータから中心窩領域情報とスケーリング因子とを抽出する。スケーリングユニット４２０は、デコーディングユニット４１０からデコード画像４１５と中心窩領域情報とスケーリング因子とを受信する。スケーリング因子は、実施形態に応じて異なる方法で特定することができる。一実施形態では、領域毎又は領域の水平行及び垂直列毎に特定されるスケーリング因子が存在する。別の実施形態では、スケーリング因子は、中心窩領域からの水平及び垂直のずれに基づいてスケール変更の量を調整する数式を用いて特定される。

【0024】

スケーリングユニット４２０は、特定されたスケール変更をデコード画像４１５の等サイズ領域上で行うことによって、スケール変更画像４２５を生成する。一実施形態では、スケール変更画像４２５には、複数の可変サイズ領域が含まれている。中心窩領域は比較的小さい領域であり、非中心窩領域は比較的より大きい領域である。ディスプレイコントローラ４３０は、特定の目標ディスプレイに適応された方法でスケール変更画像４２５を処理して、最終画像４３５を生成する。次に、最終画像４３５は、目標ディスプレイ（例えば、ＨＭＤ）（図示省略）に送られる。最終画像４３５は、目標ディスプレイに送られる前に、フレームバッファ又は他の場所に記憶され得ることに留意されたい。

【0025】

次に、図５を参照すると、受信器に送られる等サイズ領域を有するスケール変更画像を送信器が生成するための方法５００の一実施形態が示されている。説明のために、この実施形態におけるステップ及び図６のステップを順番に示している。しかし、説明する方法の種々の実施形態では、説明する要素のうち１つ以上の要素を同時に行ってもよいし、図示した順番とは異なる順番で行ってもよいし、完全に省略してもよいことに留意されたい。必要に応じて、他のさらなる要素も行われる。本明細書で説明する種々のシステム又は装置の何れも、方法５００を実施するように構成されている。

【0026】

送信器は、可変サイズ領域（各領域が一様な画素密度を有する）にパーティション分割されたフォービエイテッドレンダリングされたＶＲ又はＡＲ画像を受信する（ブロック５０５）。画素密度は、領域毎に変化する可能性があることに留意されたい。一実施形態では、可変サイズ領域には、比較的小さい中心窩領域と比較的大きい非中心窩領域とが含まれている。別の実施形態では、送信器は、フォービエイテッドレンダリングされたＶＲ又はＡＲ画像を生成するレンダリングユニットを含む。本明細書で用いる場合、「フォービエイテッドレンダリングされる」という用語は、ユーザの視線が向けられている画像部分に対応する高解像度領域を有する画像をレンダリングし、他の領域が、より低い解像度又はより低い忠実度でレンダリングされる技術として定義される。場合によっては、フォービエイテッドレンダリング画像は、画像の中心窩領域からの距離により変化する可変量の画素解像度を有し、中心窩領域からの距離が増加するにつれて画素解像度又は忠実度が低下する。

【0027】

送信器は、フォービエイテッドレンダリング画像の可変サイズ領域をスケール変更して、等サイズ領域を有するスケール変更画像を形成する（ブロック５１０）。次に、送信器は、スケール変更画像をエンコードして、エンコード画像を形成する（ブロック５１５）。送信器は、任意のタイプの適切な暗号化方式を用いて、スケール変更画像をエンコードすることができる。実施形態に応じて暗号化方式のタイプが変化する。また、送信器は、画像をスケール変更するために用いる中心窩領域、パーティション及びスケーリング因子を特定するメタデータをエンコード画像内に埋め込む（ブロック５２０）。種々の実施形態では、メタデータは、パーティションをスケール変更するために用いた中心窩領域のサイズ及び場所、パーティションの数、パーティションの形状、スケーリング因子等を特定する。代替的に、エンコード画像内にメタデータを埋め込む代わりに、メタデータを個別に受信器に送る。次に、送信器は、エンコード画像を表示させるために受信器に送る（ブロック５２５）。ブロック５２５の後に、方法５００は終了する。

【0028】

次に、図６を参照すると、表示される画像を受信し、デコードし、スケール変更するための方法６００の一実施形態が示されている。受信器は、一様な画素密度の等サイズ領域にパーティション分割されたエンコード画像を受信する（ブロック６０５）。次に、受信器は、エンコード画像からメタデータを抽出する。メタデータは、デコード画像の領域に適用される中心窩領域及びスケーリング因子を特定する（ブロック６１０）。また、受信器は、エンコード画像をデコードして、デコード画像を生成する（ブロック６１５）。受信器は、任意のタイプのコンピューティングデバイス又は装置とすることができる。一実施形態では、受信器は、頭部装着型ディスプレイ（ＨＭＤ）を含むか、これに結合されている。

【0029】

次に、受信器は、デコード画像の等サイズ領域にスケーリング因子を適用して、可変サイズ領域のスケール変更画像を形成する（ブロック６２０）。例えば、一実施形態では、スケーリング因子には、受信画像の領域に適用されるアップスケール因子が含まれている。領域スケール因子は、原画像領域をダウンスケーリングする場合に送信器が用いるスケールに反比例している。一実施形態では、中心窩領域情報を用いて、スケール変更方法、画像の先鋭化及び他の画像処理を制御する。ブロック６２０の結果は、原画像に対して線形的にスケール変更された画像バージョンである。次に、スケール変更画像をディスプレイコントローラに送信する（ブロック６２５）。そして、ディスプレイコントローラは、スケール変更画像を処理して、結果としての画像をディスプレイに送信する（ブロック６３０）。ブロック６３０の後に、方法６００は終了する。

【0030】

種々の実施形態において、ソフトウェアアプリケーションのプログラム命令を用いて、本明細書で説明した方法及び／又はメカニズムを実施する。例えば、汎用又は専用プロセッサによって実行可能なプログラム命令が考えられる。種々の実施形態では、このようなプログラム命令は、高水準プログラミング言語によって表すことができる。他の実施形態では、プログラム命令は、高水準プログラミング言語からバイナリ、中間又は他の形式にコンパイルすることができる。或いは、ハードウェアの動作又はデザインを記述するプログラム命令を書き込むことができる。このようなプログラム命令は、Ｃ等の高水準プログラミング言語によって表すことができる。或いは、Ｖｅｒｉｌｏｇ等のハードウェア記述言語（ＨＤＬ）を用いることができる。種々の実施形態では、プログラム命令は、種々の非一時的なコンピュータ可読記憶媒体のうち何れかに記憶される。記憶媒体は、使用中にコンピューティングシステムによってアクセス可能であり、コンピューティングシステムにプログラム命令を送信してプログラムを実行させる。概して言えば、このようなコンピューティングシステムは、少なくとも１つ以上のメモリと、プログラム命令を実行するように構成された１つ以上のプロセッサと、を含む。

【0031】

上述した実施形態は、実施態様の非限定な例に過ぎないことを強調しておきたい。いく上記の開示が十分に理解されれば、多くの変形及び修正が当業者に明らかになるであろう。以下の特許請求の範囲はこのような全ての変形及び修正を包含するように解釈されることを意図している。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】