IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ クゥアルコム・インコーポレイテッドの特許一覧

特表2024-544689レンダリングパイプラインにおけるクロミナンス最適化
<>
  • 特表-レンダリングパイプラインにおけるクロミナンス最適化 図1
  • 特表-レンダリングパイプラインにおけるクロミナンス最適化 図2
  • 特表-レンダリングパイプラインにおけるクロミナンス最適化 図3
  • 特表-レンダリングパイプラインにおけるクロミナンス最適化 図4
  • 特表-レンダリングパイプラインにおけるクロミナンス最適化 図5
  • 特表-レンダリングパイプラインにおけるクロミナンス最適化 図6
  • 特表-レンダリングパイプラインにおけるクロミナンス最適化 図7
  • 特表-レンダリングパイプラインにおけるクロミナンス最適化 図8
  • 特表-レンダリングパイプラインにおけるクロミナンス最適化 図9
  • 特表-レンダリングパイプラインにおけるクロミナンス最適化 図10
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-12-03
(54)【発明の名称】レンダリングパイプラインにおけるクロミナンス最適化
(51)【国際特許分類】
   H04N 21/431 20110101AFI20241126BHJP
   H04N 19/85 20140101ALI20241126BHJP
   H04N 19/186 20140101ALI20241126BHJP
   H04N 21/2343 20110101ALI20241126BHJP
【FI】
H04N21/431
H04N19/85
H04N19/186
H04N21/2343
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2024533821
(86)(22)【出願日】2022-12-09
(85)【翻訳文提出日】2024-06-05
(86)【国際出願番号】 US2022052445
(87)【国際公開番号】W WO2023114107
(87)【国際公開日】2023-06-22
(31)【優先権主張番号】17/644,082
(32)【優先日】2021-12-13
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
2.Blu-ray
(71)【出願人】
【識別番号】595020643
【氏名又は名称】クゥアルコム・インコーポレイテッド
【氏名又は名称原語表記】QUALCOMM INCORPORATED
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】イダパラパティ、オルク
(72)【発明者】
【氏名】カルチュラ、ベンカタ・ナガ・ポールスワラ・ラオ
【テーマコード(参考)】
5C159
5C164
【Fターム(参考)】
5C159PP15
5C159PP16
5C159RC11
5C159SS08
5C159TA01
5C159TB04
5C159TC02
5C164FA06
5C164MB13S
5C164PA34
5C164SB02P
5C164SB06S
5C164UB10S
5C164UB82P
(57)【要約】
本明細書に提示される態様は、例えばクライアントデバイス又はサーバなどの装置を含むグラフィックス処理のための方法及びデバイスに関する。装置は、サーバから、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータに対応する複数のデータパケットを受信してもよい。装置はまた、複数のデータパケットを、複数のフレームの各々についてのデータに関連付けられたコンテンツに変換してもよく、コンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。更に、装置は、複数のフレームの各々についてのデータに関連付けられたコンテンツに対して色空間変換を実行してもよく、色空間変換は、少なくとも1つのクロミナンス平面をコンテンツに追加する。装置はまた、色空間変換を実行すると、複数のフレームの各々についてのデータに関連付けられたコンテンツを表示してもよい。

【特許請求の範囲】
【請求項1】
クライアントデバイスにおけるグラフィックス処理のための装置であって、
メモリと、
前記メモリに結合された少なくとも1つのプロセッサと、
を備え、前記少なくとも1つのプロセッサが、
少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データに対応する複数のデータパケットをサーバから受信し、
前記複数のデータパケットを、前記複数のフレームの各々についての前記データに関連付けられたコンテンツであって、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、コンテンツに変換し、
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツに対して、少なくとも1つのクロミナンス平面を前記コンテンツに追加する色空間変換を実行し、
前記色空間変換を実行すると、前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツを表示する、
ように構成されている、装置。
【請求項2】
前記少なくとも1つのプロセッサが、
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツを暗号化解除するように更に構成されており、前記コンテンツが、前記色空間変換の前に暗号化解除され、前記暗号化解除されたコンテンツが、前記単色のカラーコンテンツ又は前記ルミナンス成分のうちの少なくとも1つを含む、請求項1に記載の装置。
【請求項3】
前記少なくとも1つのプロセッサが、
前記複数のフレームの各々についての前記データに関連付けられた前記暗号化解除されたコンテンツを復号するように更に構成されており、前記コンテンツが、前記色空間変換の前に復号され、前記復号されたコンテンツが、前記単色のカラーコンテンツ又は前記ルミナンス成分のうちの少なくとも1つを含む、請求項2に記載の装置。
【請求項4】
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツが前記色空間変換の後にルミナンス平面と前記少なくとも1つのクロミナンス平面とを含むように、前記単色のカラーコンテンツ又は前記ルミナンス成分が、前記ルミナンス平面に対応する、請求項1に記載の装置。
【請求項5】
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツが前記色空間変換の前にクロミナンス成分を含まないように、前記コンテンツが、前記色空間変換の前に前記ルミナンス成分を含む、請求項1に記載の装置。
【請求項6】
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツが前記色空間変換の前に前記単色のカラーコンテンツ以外のカラーコンテンツを含まないように、前記コンテンツが、前記色空間変換の前に前記単色のカラーコンテンツを含む、請求項1に記載の装置。
【請求項7】
前記複数のデータパケットを前記コンテンツに変換するために、前記少なくとも1つのプロセッサが、前記複数のデータパケットを前記コンテンツにデパケット化するように構成されている、請求項1に記載の装置。
【請求項8】
前記少なくとも1つのクロミナンス平面が、少なくとも1つのダミークロミナンス平面、少なくとも1つのプレースホルダクロミナンス平面、少なくとも1つのスタンドインクロミナンス平面、少なくとも1つの疑似クロミナンス平面、又は少なくとも1つのフェイククロミナンス平面である、請求項1に記載の装置。
【請求項9】
前記少なくとも1つのクロミナンス平面が、初期化期間に準備され、前記少なくとも1つのクロミナンス平面が、静的カラーフィルデータに関連付けられる、請求項1に記載の装置。
【請求項10】
前記少なくとも1つのクロミナンス平面が、機械学習(ML)、ディープラーニング、ハードウェア機構、少なくとも1つのニューラルネットワーク(NN)、又は少なくとも1つのオープン基準を介して、ルミナンスコンテンツ又はユーザ構成に基づく1つ又は複数の疑似色を使用して準備される、請求項1に記載の装置。
【請求項11】
前記色空間変換が、ルミナンス(Y)クロミナンス(UV)(YUV)色変換、赤(R)緑(G)青(B)(RGB)色変換、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)色変換である、請求項1に記載の装置。
【請求項12】
前記少なくとも1つのアプリケーションが、前記複数のフレームの色生成に関連付けられ、前記少なくとも1つのアプリケーションに関連付けられたハードウェア又はソフトウェアが、ルミナンスカラーデータを生成し、
前記少なくとも1つのアプリケーションが、少なくとも1つのゲーム、少なくとも1つのビデオ、少なくとも1つのシンボル、少なくとも1つのアイコン、又は表示されたコンテンツである、請求項1に記載の装置。
【請求項13】
前記複数のフレームの各々についての前記データが、ルミナンス(Y)クロミナンス(UV)(YUV)カラーデータ、赤(R)緑(G)青(B)(RGB)カラーデータ、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)カラーデータに対応する、請求項1に記載の装置。
【請求項14】
前記複数のフレームの各々についての前記データが、複数の入力チャネル又は複数の入力平面に関連付けられ、前記複数の入力平面が、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み、
前記複数のフレームの各々についての前記多色カラーデータが、フルカラーデータ又は部分カラーデータを含む、請求項1に記載の装置。
【請求項15】
前記複数のデータパケットの前記受信が、ワイヤレス送信、有線送信、又は周辺構成要素相互接続エクスプレス(PCIE)プロセスのうちの少なくとも1つに対応する、請求項1に記載の装置。
【請求項16】
前記少なくとも1つのプロセッサに結合されたアンテナ又はトランシーバのうちの少なくとも1つを更に備える請求項1に記載の装置であって、前記サーバが、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり、前記クライアントデバイスが、ヘッドセット、ヘッドマウントディスプレイ(HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つである、請求項1に記載の装置。
【請求項17】
サーバにおけるグラフィックス処理のための装置であって、
メモリと、
前記メモリに結合された少なくとも1つのプロセッサと、
を備え、前記少なくとも1つのプロセッサが、
少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データを受信し、
前記複数のフレームの各々についての前記データに関連付けられたコンテンツをレンダリングし、前記レンダリングされたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含み、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツを、複数のデータパケットに変換し、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツに対応する前記複数のデータパケットを、クライアントデバイスに送信する、
ように構成されている、装置。
【請求項18】
前記少なくとも1つのプロセッサが、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツを符号化するように更に構成されており、前記レンダリングされたコンテンツが、変換される前に符号化され、前記符号化されたコンテンツが、前記単色のカラーコンテンツ又は前記ルミナンス成分のうちの少なくとも1つを含む、請求項17に記載の装置。
【請求項19】
前記少なくとも1つのプロセッサが、
前記複数のフレームの各々についての前記データに関連付けられた前記符号化されたコンテンツを暗号化するように更に構成されており、前記符号化されたコンテンツが変換される前に暗号化され、前記暗号化されたコンテンツが前記単色のカラーコンテンツ又は前記ルミナンス成分のうちの少なくとも1つを含む、請求項18に記載の装置。
【請求項20】
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツがルミナンス平面に対応するように、前記単色のカラーコンテンツ又は前記ルミナンス成分が、前記ルミナンス平面に対応する、請求項17に記載の装置。
【請求項21】
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツが、前記ルミナンス成分を含み、クロミナンス成分を含まない、請求項17に記載の装置。
【請求項22】
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツが、前記単色のカラーコンテンツを含み、前記単色のカラーコンテンツ以外のカラーコンテンツを含まない、請求項17に記載の装置。
【請求項23】
前記レンダリングされたコンテンツを前記複数のデータパケットに変換するために、前記少なくとも1つのプロセッサが、前記レンダリングされたコンテンツを前記複数のデータパケットにパケット化するように構成されている、請求項17に記載の装置。
【請求項24】
前記少なくとも1つのアプリケーションが、前記複数のフレームの色生成に関連付けられ、前記少なくとも1つのアプリケーションに関連付けられたハードウェア又はソフトウェアが、ルミナンスカラーデータを生成し、
前記少なくとも1つのアプリケーションが、少なくとも1つのゲーム、少なくとも1つのビデオ、少なくとも1つのシンボル、少なくとも1つのアイコン、又は表示されたコンテンツである、請求項17に記載の装置。
【請求項25】
前記複数のフレームの各々についての前記データが、ルミナンス(Y)クロミナンス(UV)(YUV)カラーデータ、赤(R)緑(G)青(B)(RGB)カラーデータ、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)カラーデータに対応する、請求項17に記載の装置。
【請求項26】
前記複数のフレームの各々についての前記データが、複数の入力チャネル又は複数の入力平面に関連付けられ、前記複数の入力平面が、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み、
前記複数のフレームの各々についての前記多色カラーデータが、フルカラーデータ又は部分カラーデータを含み、前記複数のフレームの各々についての前記データが受信されると、前記多色カラーデータが、前記少なくとも1つのアプリケーションによって生成又は復号されない、請求項17に記載の装置。
【請求項27】
前記複数のデータパケットの前記送信が、ワイヤレス送信、有線送信、又は周辺構成要素相互接続エクスプレス(PCIE)プロセスのうちの少なくとも1つに対応する、請求項17に記載の装置。
【請求項28】
前記少なくとも1つのプロセッサに結合されたアンテナ又はトランシーバのうちの少なくとも1つを更に備える請求項17に記載の装置であって、前記サーバが、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり、前記クライアントデバイスが、ヘッドセット、ヘッドマウントディスプレイ(HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つである、請求項17に記載の装置。
【請求項29】
クライアントデバイスにおけるグラフィックス処理の方法であって、
少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データに対応する複数のデータパケットをサーバから受信することと、
前記複数のデータパケットを、前記複数のフレームの各々についての前記データに関連付けられたコンテンツであって、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、コンテンツに変換することと、
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツに対して、少なくとも1つのクロミナンス平面を前記コンテンツに追加する色空間変換を実行することと、
前記色空間変換を実行すると、前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツを表示することと、
を含む、方法。
【請求項30】
サーバにおけるグラフィックス処理の方法であって、
少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データを受信することと、
前記複数のフレームの各々についての前記データに関連付けられたコンテンツをレンダリングすることであって、前記レンダリングされたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、ことと、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツを、複数のデータパケットに変換することと、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツに対応する前記複数のデータパケットを、クライアントデバイスに送信することと、
を含む、方法。

【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
[0001] 本願は、2021年12月13日に出願された「CHROMINANCE OPTIMIZATIONS IN RENDERING PIPELINES」と題する米国特許出願第17/644,082号の利益を主張し、その全体が参照により本明細書に明確に組み込まれる。
【0002】
[0002] 本開示は、一般に処理システムに関し、より詳細には、グラフィックス処理のための1つ又は複数の技法に関する。
【背景技術】
【0003】
[0003] コンピューティングデバイスは、多くの場合、視覚コンテンツをレンダリング及び表示するために、(例えば、グラフィックス処理ユニット(graphics processing unit、GPU)、中央処理ユニット(central processing unit、CPU)、ディスプレイプロセッサなどを利用して)グラフィックス及び/又はディスプレイ処理を実行する。そのようなコンピューティングデバイスは、例えば、コンピュータワークステーション、スマートフォンなどのモバイルフォン、埋込みシステム、パーソナルコンピュータ、タブレットコンピュータ、及びビデオゲームコンソールを含み得る。GPUは、グラフィックス処理コマンドを実行し、フレームを出力するために一緒に動作する、1つ又は複数の処理段階を含むグラフィックス処理パイプラインを実行するように構成される。中央処理ユニット(CPU)は、GPUに1つ又は複数のグラフィックス処理コマンドを出すことによって、GPUの動作を制御し得る。現代のCPUは、典型的には、複数のアプリケーションを同時に実行することが可能であり、その各々は、実行中にGPUを利用する必要があり得る。ディスプレイプロセッサは、CPUから受信されたデジタル情報をアナログ値に変換するように構成され、視覚コンテンツを表示するためのディスプレイパネルにコマンドを出し得る。ディスプレイ上の視覚的提示のためのコンテンツを提供するデバイスは、GPU及び/又はディスプレイプロセッサを利用し得る。
【0004】
[0004] デバイスのGPUは、グラフィックス処理パイプラインにおいてプロセスを実行するように構成され得る。更に、ディスプレイプロセッサ又はディスプレイ処理ユニット(display processing unit、DPU)は、ディスプレイ処理のプロセスを実行するように構成され得る。しかしながら、ワイヤレス通信及びより小型のハンドヘルドデバイスの出現で、改善したグラフィックス処理又はディスプレイ処理の必要が高まっている。
【発明の概要】
【0005】
[0005] 以下では、1つ又は複数の態様の基本的理解をもたらすために、そのような態様の簡略化された概要が提示される。本概要は、すべての企図される態様の広範な概説ではなく、すべての態様の主要又は重要な要素を識別するものでもなく、いずれか又はすべての態様の範囲を記述するものでもない。その唯一の目的は、後に提示されるより詳細な説明に対する導入部として、1つ又は複数の態様のいくつかの構想を簡略化された形式で提示することである。
【0006】
[0006] 本開示の一態様では、方法、コンピュータ可読媒体、及び装置が提供される。装置は、クライアントデバイス、又はグラフィックス処理を実行し得る任意の装置であり得る。装置は、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータであり得るデータに対応する複数のデータパケットをサーバから受信し得る。装置はまた、複数のデータパケットを、複数のフレームの各々についてのデータに関連付けられたコンテンツであって、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、コンテンツに変換し得る。加えて、装置は、複数のフレームの各々についてのデータに関連付けられたコンテンツを暗号化解除し得、コンテンツは、色空間変換の前に暗号化解除され、暗号化解除されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。装置はまた、複数のフレームの各々についてのデータに関連付けられた暗号化解除されたコンテンツを復号し得、コンテンツは、色空間変換の前に復号され、復号されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。更に、装置は複数のフレームの各々についてのデータに関連付けられたコンテンツに対して、少なくとも1つのクロミナンス平面をコンテンツに追加する色空間変換を実行し得る。装置はまた、色空間変換を実行すると、複数のフレームの各々についてのデータに関連付けられたコンテンツを表示してもよい。
【0007】
[0007] 本開示の一態様では、方法、コンピュータ可読媒体、及び装置が提供される。装置は、サーバス、又はグラフィックス処理を実行し得る任意の装置であり得る。装置は、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データを受信し得る。装置はまた、複数のフレームの各々についてのデータに関連付けられたコンテンツをレンダリングし得、レンダリングされたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。また、装置は、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを符号化し得、レンダリングされたコンテンツは、変換される前に符号化され、符号化されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。装置はまた、複数のフレームの各々についてのデータに関連付けられた符号化されたコンテンツを暗号化し得、符号化されたコンテンツは、変換される前に暗号化され、暗号化されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。更に、装置は複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを、複数のデータパケットに変換し得る。装置はまた、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツに対応する複数のデータパケットを、クライアントデバイスに送信し得る。
【0008】
[0008] 本開示の1つ又は複数の例の詳細が、添付の図面及び以下の説明に記載される。本開示の他の特徴、目的、及び利点は、説明及び図面から、並びに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0009】
図1】[0009] 例示的なコンテンツ生成システムを示すブロック図である。
図2】[0010] 例示的なグラフィックス処理ユニット(GPU)である。
図3】[0011] 分割レンダリングプロセスによる例示的なコンテンツ/データの通信を示す図である。
図4】[0012] 分割レンダリングプロセスにおける例示的な処理ステップを示す図である。
図5】[0013] 分割レンダリングプロセスにおける例示的な処理ステップを示す図である。
図6】[0014] サーバとクライアントデバイスとの間の例示的な通信を示す通信フロー図である。
図7】[0015] グラフィックス処理の例示的な方法のフローチャートである。
図8】[0016] グラフィックス処理の例示的な方法のフローチャートである。
図9】[0017] グラフィックス処理の例示的な方法のフローチャートである。
図10】[0018] グラフィックス処理の例示的な方法のフローチャートである。
【発明を実施するための形態】
【0010】
[0019] グラフィックス処理のいくつかの態様は、異なるタイプのコンテンツ、例えば、仮想現実(virtual reality、VR)コンテンツ、拡張現実(extended reality、XR)、又は拡張現実(augmented reality、AR)コンテンツをレンダリング又は表示することに関連付けられ得る。コンテンツは、サーバ、例えば、コンピュータ又は電話上でレンダリング又は作成され得る。このコンテンツを表示するために、ユーザは、クライアントデバイスと呼ばれ得る、異なるタイプのヘッドセット又はディスプレイグラスを利用し得る。場合によっては、ユーザが、充電設備がない状態でXRグラスを長時間使用したい場合、サーバ又はクライアントデバイスにおいて電力を節約することが望ましい。また、クライアントデバイス又はサーバのいずれかのバッテリが低下している(すなわち、ユーザによって決定された閾値パーセンテージを超えている)とき、サーバ又はクライアントデバイスにおいて電力を節約することが望ましい。更に、ユーザが自発的にバッテリ寿命を延長したい場合、サーバ又はクライアントデバイスにおいて電力を節約し、いずれかのデバイスに長いバッテリ寿命を提供することが望ましい。電力節約のためのいくつかの解決策は、サーバ/クライアントデバイスにおける電力使用を低減し、及び/又は性能を改善するために、レンダリング/表示プロセス中にフレーム解像度レートを低減すること、又はフォービエイテッドレンダリングを利用することに関連付けられ得る。加えて、(例えば、グラフィックス処理ユニット(GPU)における)レンダリングパイプラインは、フルカラー又はクロミナンスデータを利用し得る。レンダリングパイプラインにおける各ステップがフルカラー/クロミナンスデータの処理に関連付けられる場合、これは大量の電力を浪費する可能性がある。実際に、分割レンダリングプロセスの各ステップにおいてフル/多色カラーデータ又はフル/多色クロミナンスデータを処理することによって、そうでない場合に必要な電力よりも多くの電力を利用することがある。次に、これは、デバイス、例えばサーバ及びクライアントデバイスの各々において大量の電力を浪費し得る。本開示の態様は、フルカラーデータ又は多色カラーデータを使用せずに、分割レンダリングプロセス又は非分割レンダリングプロセスにおいていくつかのステップを処理することができる。例えば、本開示の態様は、単色カラーデータを使用して、分割レンダリングプロセス又は非分割レンダリングプロセスにおけるいくつかのステップの処理を可能にし得る。加えて、場合によっては、本開示の態様は、ルミナンス成分とクロミナンス成分の両方の代わりにルミナンス成分を使用して、分割レンダリングプロセス又は非分割レンダリングプロセスにおいていくつかのステップを処理し得る。そうすることによって、本開示の態様は、分割レンダリングプロセス又は非分割レンダリングプロセスにおけるデバイス(例えば、サーバ及びクライアントデバイス)の各々において大量の電力を節約することができる。したがって、本開示の態様は、分割レンダリングプロセス又は非分割レンダリングプロセスにおけるカラーデータ処理中に利用される電力量を低減することができる。
【0011】
[0020] システム、装置、コンピュータプログラム製品、及び方法の様々な態様について、添付の図面を参照しながら以下で更に十分に説明する。しかしながら、本開示は、多くの異なる形態で具現化することができ、本開示全体にわたって提示されている任意の特定の構造又は機能に限定されるものとして解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように提供される。本明細書の教示に基づいて、本開示の範囲が、本開示の他の態様とは無関係に実装されるにせよ、又は本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示するシステム、装置、コンピュータプログラム製品、及び方法の任意の態様を包含するものであることを、当業者は理解されたい。例えば、本明細書に記載する任意の数の態様を使用して、装置が実装され得る、又は方法が実践され得る。加えて、本開示の範囲は、本明細書に記載する本開示の様々な態様に加えて、又はそれらの態様以外の、他の構造、機能性、又は構造及び機能性を使用して実践されるような装置又は方法を包含することが意図されている。本明細書で開示する任意の態様は、請求項の1つ又は複数の要素によって具現され得る。
【0012】
[0021] 様々な態様について本明細書で説明するが、これらの態様の多くの変形及び置換が、本開示の範囲内に入る。本開示の態様のいくつかの潜在的な利益及び利点が述べられるが、本開示の範囲は、特定の利益、使用、又は目的に限定されるものではない。むしろ、本開示の態様は、異なるワイヤレス技術、システム構成、ネットワーク、及び送信プロトコルに広く適用可能であるものであり、そのうちのいくつかが例として図及び以下の説明において示される。詳細な説明及び図面は、限定的ではなく、本開示の例示にすぎず、本開示の範囲は、添付の特許請求の範囲及びその均等物によって定義される。
【0013】
[0022] 様々な装置及び方法を参照しながら、いくつかの態様が提示される。これらの装置及び方法は、以下の詳細な説明において説明され、様々なブロック、構成要素、回路、プロセス、アルゴリズムなど(「要素」と総称される)によって添付の図面に示される。これらの要素は、電子ハードウェア、コンピュータソフトウェア、又はそれらの任意の組み合わせを使用して実装することができる。そのような要素がハードウェアとして実装されるか、又はソフトウェアとして実装されるかは、具体的な適用例、及びシステム全体に課される設計上の制約に依存する。
【0014】
[0023] 例として、要素、又は要素の任意の部分、又は要素の任意の組み合わせは、1つ又は複数のプロセッサを含む「処理システム」(処理ユニットと呼ばれることもある)として実装され得る。プロセッサの例は、マイクロプロセッサ、マイクロコントローラ、グラフィックス処理ユニット(GPUs)、汎用GPU(general purpose GPUs、GPGPUs)、中央処理ユニット(CPUs)、アプリケーションプロセッサ、デジタル信号プロセッサ(digital signal processors、DSPs)、縮小命令セットコンピューティング(reduced instruction set computing、RISC)プロセッサ、システムオンチップ(systems-on-chip、SOC)、ベースバンドプロセッサ、特定用途向け集積回路(application specific integrated circuits、ASICs)、フィールドプログラマブルゲートアレイ(field programmable gate arrays、FPGAs)、プログラマブル論理デバイス(programmable logic devices、PLDs)、状態機械、ゲート論理、ディスクリートハードウェア回路、及び本開示全体にわたって説明する様々な機能を実行するように構成された他の好適なハードウェアを含む。処理システム内の1つ又は複数のプロセッサは、ソフトウェアを実行することができる。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれ以外で呼ばれるかどうかにかかわらず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェア構成要素、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行ファイル、実行スレッド、手順、関数などを意味するように広く解釈され得る。アプリケーションという用語は、ソフトウェアを指すことがある。本明細書で説明するように、1つ又は複数の技法は、アプリケーション、すなわち、ソフトウェアが1つ又は複数の機能を実行するように構成されることを指すことがある。そのような例では、アプリケーションは、メモリ、例えば、プロセッサのオンチップメモリ、システムメモリ、又は任意の他のメモリ上に記憶され得る。プロセッサなど、本明細書で説明するハードウェアは、アプリケーションを実行するように構成され得る。例えば、アプリケーションについて、ハードウェアによって実行されると、ハードウェアに本明細書で説明する1つ又は複数の技法を実行させる、コードを含むものとして説明することがある。一例として、ハードウェアは、メモリからコードにアクセスし、メモリからアクセスされたコードを実行して、本明細書で説明する1つ又は複数の技法を実行し得る。いくつかの例では、構成要素が本開示において識別される。そのような例では、構成要素は、ハードウェア、ソフトウェア、又はそれらの組み合わせであり得る。構成要素は、別個の構成要素、又は単一の構成要素の下位構成要素であり得る。
【0015】
[0024] したがって、本明細書で説明する1つ又は複数の例では、説明する機能は、ハードウェア、ソフトウェア、又はそれらの任意の組み合わせにおいて実装され得る。ソフトウェアにおいて実装される場合には、それらの機能は、1つ又は複数の命令又はコードとして、コンピュータ可読媒体上に記憶又は符号化することができる。コンピュータ可読媒体は、コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされてよい任意の利用可能な媒体であってよい。限定ではなく例として、そのようなコンピュータ可読媒体は、ランダムアクセスメモリ(random-access memory、RAM)、読取り専用メモリ(read-only memory、ROM)、電気的消去可能プログラマブルROM(electrically erasable programmable ROM、EEPROM)、光ディスクストレージ、磁気ディスクストレージ、他の磁気ストレージデバイス、上述のタイプのコンピュータ可読媒体の組み合わせ、又は、コンピュータによってアクセスされ得る命令若しくはデータ構造の形態のコンピュータ実行可能コードを記憶するために使用され得る任意の他の媒体を備え得る。
【0016】
[0025] 概して、本開示は、単一のデバイス若しくは複数のデバイスにおいてグラフィックス処理パイプラインを有し、グラフィカルコンテンツのレンダリングを改善し、かつ/又は処理ユニット、すなわち、GPUなど、本明細書で説明する1つ又は複数の技法を実行するように構成された任意の処理ユニットの負荷を低減するための技法について説明する。例えば、本開示は、グラフィックス処理を利用する任意のデバイスにおけるグラフィックス処理のための技法について説明する。他の例示的な利益について、本開示全体にわたって説明する。
【0017】
[0026] 本明細書で使用する「コンテンツ」という用語の事例は、「グラフィカルコンテンツ」、「画像」を指すことがあり、その逆も同様である。このことは、それらの用語が形容詞として使用されているか、名詞として使用されているか、又は他の品詞として使用されているかにかかわらず、当てはまる。いくつかの例では、本明細書で使用する「グラフィカルコンテンツ」という用語は、グラフィックス処理パイプラインの1つ又は複数のプロセスによって作り出されたコンテンツを指すことがある。いくつかの例では、本明細書で使用する「グラフィカルコンテンツ」という用語は、グラフィックス処理を実行するように構成された処理ユニットによって作り出されたコンテンツを指すことがある。いくつかの例では、本明細書で使用する「グラフィカルコンテンツ」という用語は、グラフィックス処理ユニットによって作り出されたコンテンツを指すことがある。
【0018】
[0027] いくつかの例では、本明細書で使用する「ディスプレイコンテンツ」という用語は、ディスプレイ処理を実行するように構成された処理ユニットによって生成されたコンテンツを指すことがある。いくつかの例では、本明細書で使用する「ディスプレイコンテンツ」という用語は、ディスプレイ処理ユニットによって生成されたコンテンツを指すことがある。グラフィカルコンテンツは、ディスプレイコンテンツになるように処理され得る。例えば、グラフィックス処理ユニットは、フレームなどのグラフィカルコンテンツをバッファ(フレームバッファと呼ばれることがある)に出力し得る。ディスプレイ処理ユニットは、バッファから1つ又は複数のフレームなどのグラフィカルコンテンツを読み出し、それにおいて1つ又は複数のディスプレイ処理技法を実行して、ディスプレイコンテンツを生成し得る。例えば、ディスプレイ処理ユニットは、フレームを生成するために、1つ又は複数のレンダリングされたレイヤ上で合成を実行するように構成され得る。別の例として、ディスプレイ処理ユニットは、2つ以上のレイヤを一緒に単一のフレームに合成、混合、又はさもなければ結合するように構成され得る。ディスプレイ処理ユニットは、フレームにおいてスケーリング、例えば、アップスケーリング又はダウンスケーリングを実行するように構成され得る。いくつかの例では、フレームはレイヤを指すことがある。他の例では、フレームは、フレームを形成するためにすでに一緒に混合されている、2つ以上のレイヤを指すことがあり、すなわち、フレームは、2つ以上のレイヤを含み、2つ以上のレイヤを含むフレームは、後で混合され得る。
【0019】
[0028] 図1は、本開示の1つ又は複数の技法を実装するように構成された、例示的なコンテンツ生成システム100を示すブロック図である。コンテンツ生成システム100は、デバイス104を含む。デバイス104は、本明細書で説明する様々な機能を実行するための1つ又は複数の構成要素又は回路を含み得る。いくつかの例では、デバイス104の1つ又は複数の構成要素は、SOCの構成要素であり得る。デバイス104は、本開示の1つ又は複数の技法を実行するように構成された1つ又は複数の構成要素を含み得る。図示の例では、デバイス104は、処理ユニット120と、コンテンツエンコーダ/デコーダ122と、システムメモリ124と、を含み得る。いくつかの態様では、デバイス104は、いくつかの任意の構成要素、例えば、通信インターフェース126と、トランシーバ132と、受信機128と、送信機130と、ディスプレイプロセッサ127と、1つ又は複数のディスプレイ131と、を含み得る。ディスプレイ131への言及は、1つ又は複数のディスプレイ131を指すことがある。例えば、ディスプレイ131は、単一のディスプレイ又は複数のディスプレイを含み得る。ディスプレイ131は、第1のディスプレイと第2のディスプレイと、を含み得る。第1のディスプレイは左目ディスプレイであり得、第2のディスプレイは右目ディスプレイであり得る。いくつかの例では、第1及び第2のディスプレイは、その上に提示するための異なるフレームを受信し得る。他の例では、第1及び第2のディスプレイは、その上に提示するための同じフレームを受信し得る。更なる例では、グラフィックス処理の結果は、デバイス上に表示されなくてもよく、例えば、第1及び第2のディスプレイは、その上に提示するためのいかなるフレームも受信しなくてもよい。代わりに、フレーム又はグラフィックス処理結果は、別のデバイスに転送され得る。いくつかの態様では、このことは、分割レンダリングと呼ばれることがある。
【0020】
[0029] 処理ユニット120は、内部メモリ121を含み得る。処理ユニット120は、グラフィックス処理パイプライン107などにおいて、グラフィックス処理を実行するように構成され得る。コンテンツエンコーダ/デコーダ122は、内部メモリ123を含み得る。いくつかの例では、デバイス104は、1つ又は複数のディスプレイ131による提示の前に、処理ユニット120によって生成された1つ又は複数のフレームにおいて1つ又は複数のディスプレイ処理技法を実行するために、ディスプレイプロセッサ127などのディスプレイプロセッサを含み得る。ディスプレイプロセッサ127は、ディスプレイ処理を実行するように構成され得る。例えば、ディスプレイプロセッサ127は、処理ユニット120によって生成された1つ又は複数のフレームにおいて1つ又は複数のディスプレイ処理技法を実行するように構成され得る。1つ又は複数のディスプレイ131は、ディスプレイプロセッサ127によって処理されたフレームを表示又はさもなければ提示するように構成され得る。いくつかの例では、1つ又は複数のディスプレイ131は、液晶ディスプレイ(liquid crystal display、LCD)、プラズマディスプレイ、有機発光ダイオード(organic light emitting diode、OLED)ディスプレイ、投影ディスプレイデバイス、拡張現実ディスプレイデバイス、仮想現実ディスプレイデバイス、ヘッドマウントディスプレイ、又は任意の他のタイプのディスプレイデバイスのうちの1つ又は複数を含み得る。
【0021】
[0030] システムメモリ124など、処理ユニット120及びコンテンツエンコーダ/デコーダ122の外部のメモリは、処理ユニット120及びコンテンツエンコーダ/デコーダ122にとってアクセス可能であり得る。例えば、処理ユニット120及びコンテンツエンコーダ/デコーダ122は、システムメモリ124などの外部メモリから読み出し、かつ/又は外部メモリに書き込むように構成され得る。処理ユニット120及びコンテンツエンコーダ/デコーダ122は、バスを介してシステムメモリ124に通信可能に結合され得る。いくつかの例では、処理ユニット120及びコンテンツエンコーダ/デコーダ122は、バス又は異なる接続を介して互いに通信可能に結合され得る。
【0022】
[0031] コンテンツエンコーダ/デコーダ122は、システムメモリ124及び/又は通信インターフェース126など、任意のソースからグラフィカルコンテンツを受信するように構成され得る。システムメモリ124は、受信された符号化又は復号されたグラフィカルコンテンツを記憶するように構成され得る。コンテンツエンコーダ/デコーダ122は、例えば、システムメモリ124及び/又は通信インターフェース126から、符号化されたピクセルデータの形式で、符号化又は復号されたグラフィカルコンテンツを受信するように構成され得る。コンテンツエンコーダ/デコーダ122は、任意のグラフィカルコンテンツを符号化又は復号するように構成され得る。
【0023】
[0032] 内部メモリ121又はシステムメモリ124は、1つ又は複数の揮発性又は不揮発性メモリ又は記憶デバイスを含み得る。いくつかの例では、内部メモリ121又はシステムメモリ124は、RAM、SRAM、DRAM、消去可能プログラマブルROM(erasable programmable ROM、EPROM)、電気的消去可能プログラマブルROM(electrically erasable programmable ROM、EEPROM)、フラッシュメモリ、磁気データ媒体若しくは光記憶媒体、又は任意の他のタイプのメモリを含み得る。
【0024】
[0033] 内部メモリ121又はシステムメモリ124は、いくつかの例によれば、非一時的記憶媒体であり得る。「非一時的」という用語は、記憶媒体が搬送波又は伝搬される信号において具現化されないことを示すことがある。しかしながら、「非一時的」という用語は、内部メモリ121若しくはシステムメモリ124が非可動であること、又はそのコンテンツが静的であることを意味するものと解釈されるべきではない。一例として、システムメモリ124は、デバイス104から取り外され、別のデバイスに移動され得る。別の例として、システムメモリ124は、デバイス104から取外し可能でないことがある。
【0025】
[0034] 処理ユニット120は、中央処理ユニット(CPU)、グラフィックス処理ユニット(GPU)、汎用GPU(GPGPU)、又はグラフィックス処理を実行するように構成され得る任意の他の処理ユニットであり得る。いくつかの例では、処理ユニット120は、デバイス104のマザーボードに組み込まれ得る。いくつかの例では、処理ユニット120は、デバイス104のマザーボード内のポートにインストールされるグラフィックスカード上に存在し得るか、又はさもなければ、デバイス104と相互動作するように構成された周辺デバイス内に組み込まれ得る。処理ユニット120は、1つ又は複数のマイクロプロセッサ、GPU、特定用途向け集積回路(ASICs)、フィールドプログラマブルゲートアレイ(FPGAs)、算術論理ユニット(ALUs)、デジタル信号プロセッサ(DSPs)、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、他の等価な集積論理回路若しくはディスクリート論理回路、又はそれらの任意の組み合わせなど、1つ又は複数のプロセッサを含み得る。技法が部分的にソフトウェアにおいて実装される場合、処理ユニット120は、好適な非一時的コンピュータ可読記憶媒体、例えば、内部メモリ121にソフトウェアのための命令を記憶し得、本開示の技法を実行するために、1つ又は複数のプロセッサを使用して、ハードウェアにおいて命令を実行し得る。ハードウェア、ソフトウェア、ハードウェア及びソフトウェアの組み合わせなどを含む、上記のいずれもが、1つ又は複数のプロセッサであると見なされ得る。
【0026】
[0035] コンテンツエンコーダ/デコーダ122は、コンテンツ復号を実行するように構成された任意の処理ユニットであり得る。いくつかの例では、コンテンツエンコーダ/デコーダ122は、デバイス104のマザーボードに組み込まれ得る。コンテンツエンコーダ/デコーダ122は、1つ又は複数のマイクロプロセッサ、特定用途向け集積回路(ASICs)、フィールドプログラマブルゲートアレイ(FPGAs)、算術論理ユニット(ALUs)、デジタル信号プロセッサ(DSPs)、ビデオプロセッサ、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、他の等価な集積論理回路若しくはディスクリート論理回路、又はそれらの任意の組み合わせなど、1つ又は複数のプロセッサを含み得る。技法が部分的にソフトウェアにおいて実装される場合、コンテンツエンコーダ/デコーダ122は、好適な非一時的コンピュータ可読記憶媒体、例えば、内部メモリ123にソフトウェアのための命令を記憶し得、本開示の技法を実行するために、1つ又は複数のプロセッサを使用して、ハードウェアにおいて命令を実行し得る。ハードウェア、ソフトウェア、ハードウェア及びソフトウェアの組み合わせなどを含む、上記のいずれもが、1つ又は複数のプロセッサであると見なされ得る。
【0027】
[0036] いくつかの態様では、コンテンツ生成システム100は、任意の通信インターフェース126を含み得る。通信インターフェース126は、受信機128及び送信機130を含み得る。受信機128は、デバイス104に関して本明細書で説明する任意の受信機能を実行するように構成され得る。更に、受信機128は、別のデバイスから情報、例えば、目若しくは頭位置情報、レンダリングコマンド、又はロケーション情報を受信するように構成され得る。送信機130は、デバイス104に関して本明細書で説明する任意の送信機能を実行するように構成され得る。例えば、送信機130は、コンテンツのための要求を含み得る情報を、別のデバイスに送信するように構成され得る。受信機128及び送信機130は、トランシーバ132に組み合わせられ得る。そのような例では、トランシーバ132は、デバイス104に関して本明細書で説明する任意の受信機能及び/又は送信機能を実行するように構成され得る。
【0028】
[0037] 再び図1を参照すると、いくつかの態様では、処理ユニット120は、少なくとも1つのアプリケーションに関連する複数のフレームの各々についてのデータに対応する複数のデータパケットをサーバから受信するように構成された決定構成要素198を含み得、複数のフレームの各々についてのデータは、単色カラーデータ又は多色カラーデータである。決定構成要素198はまた、複数のデータパケットを、複数のフレームの各々についてのデータに関連付けられたコンテンツに変換するように構成されてもよく、コンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。決定構成要素198はまた、複数のフレームの各々についてのデータに関連付けられたコンテンツを暗号化解除するように構成されてもよく、コンテンツは、色空間変換の前に暗号化解除され、暗号化解除されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。決定構成要素198はまた、複数のフレームの各々についてのデータに関連付けられた暗号化解除されたコンテンツを復号するように構成されてもよく、コンテンツは、色空間変換の前に復号され、復号されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。決定構成要素198はまた、複数のフレームの各々についてのデータに関連付けられたコンテンツに対して、少なくとも1つのクロミナンス平面をコンテンツに追加する色空間変換を実行するように構成されてもよい。決定構成要素198はまた、色空間変換を実行すると、複数のフレームの各々についてのデータに関連付けられたコンテンツを表示するように構成されてもよい。
【0029】
[0038] 再び図1を参照すると、いくつかの態様では、処理ユニット120は、少なくとも1つのアプリケーションに関連する複数のフレームの各々についてのデータを受信するように構成された決定構成要素198を含み得、複数のフレームの各々についてのデータは、単色カラーデータ又は多色カラーデータである。決定構成要素198はまた、複数のフレームの各々についてのデータに関連付けられたコンテンツをレンダリングするように構成されてもよく、レンダリングされたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。決定構成要素198はまた、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを符号化するように構成されてもよく、レンダリングされたコンテンツは、変換される前に符号化され、符号化されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。決定構成要素198はまた、複数のフレームの各々についてのデータに関連付けられた符号化されたコンテンツを暗号化するように構成されてもよく、符号化されたコンテンツは、変換される前に暗号化され、暗号化されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。決定構成要素198はまた、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを、複数のデータパケットに変換するように構成されてもよい。決定構成要素198はまた、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツに対応する複数のデータパケットを、クライアントデバイスに送信するように構成されてもよい。以下の説明は、グラフィックス処理に焦点を合わせることがあるが、本明細書で説明する概念は、他の同様の処理技法に適用可能であり得る。
【0030】
[0039] 本明細書で説明するように、デバイス104などのデバイスは、本明細書で説明する1つ又は複数の技法を実行するように構成された、任意のデバイス、装置、又はシステムを指すことがある。例えば、デバイスは、サーバ、基地局、ユーザ機器、クライアントデバイス、局、アクセスポイント、コンピュータ、例えば、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、コンピュータワークステーション、若しくはメインフレームコンピュータ、最終製品、装置、電話、スマートフォン、サーバ、ビデオゲームプラットフォーム若しくはコンソール、ハンドヘルドデバイス、例えば、ポータブルビデオゲームデバイス若しくは携帯情報端末(personal digital assistant、PDA)、ウェアラブルコンピューティングデバイス、例えば、スマートウォッチ、拡張現実デバイス、若しくは仮想現実デバイス、非ウェアラブルデバイス、ディスプレイ若しくはディスプレイデバイス、テレビ、テレビセットトップボックス、中間ネットワークデバイス、デジタルメディアプレーヤ、ビデオストリーミングデバイス、コンテンツストリーミングデバイス、車載コンピュータ、任意のモバイルデバイス、グラフィカルコンテンツを生成するように構成された任意のデバイス、又は本明細書で説明する1つ又は複数の技法を実行するように構成された任意のデバイスであり得る。本明細書のプロセスは、特定の構成要素(例えば、GPU)によって実行されるものとして説明され得るが、更なる実施形態では、開示する実施形態に合わせて、他の構成要素(例えば、CPU)を使用して実行され得る。
【0031】
[0040] GPUは、GPUパイプラインにおいて複数のタイプのデータ又はデータパケットを処理し得る。例えば、いくつかの態様では、GPUは、2つのタイプのデータ又はデータパケット、例えば、コンテキストレジスタパケット及びドローコールデータを処理し得る。コンテキストレジスタパケットは、グラフィックスコンテキストがどのように処理されることになるかを調整し得る、グローバル状態情報、例えば、グローバルレジスタに関する情報、シェーディングプログラム、又は定数データのセットであり得る。例えば、コンテキストレジスタパケットは、カラーフォーマットに関する情報を含み得る。コンテキストレジスタパケットのいくつかの態様では、どのワークロードがコンテキストレジスタに属するかを示すビットがあり得る。また、同時に及び/又は並列に実行している複数の機能又はプログラミングもあり得る。例えば、機能又はプログラミングは、ある動作、例えば、カラーモード又はカラーフォーマットを表し得る。したがって、コンテキストレジスタは、GPUの複数の状態を定義し得る。
【0032】
[0041] コンテキスト状態は、個々の処理ユニットがどのように機能するか、例えば、頂点フェッチャ(vertex fetcher、VFD)、頂点シェーダ(vertex shader、VS)、シェーダプロセッサ、若しくはジオメトリプロセッサ、及び/又は何のモードで処理ユニットが機能するかを決定するために利用され得る。そうするために、GPUは、コンテキストレジスタ及びプログラミングデータを使用し得る。いくつかの態様では、GPUは、モード又は状態のコンテキストレジスタ定義に基づいて、パイプラインにおいてワークロード、例えば、頂点又はピクセルワークロードを生成し得る。いくつかの処理ユニット、例えば、VFDは、これらの状態を使用して、いくつかの機能、例えば、頂点がどのようにアセンブルされるかを決定し得る。これらのモード又は状態は変化し得るので、GPUは、対応するコンテキストを変更する必要があり得る。更に、モード又は状態に対応するワークロードは、変化するモード又は状態に従い得る。
【0033】
[0042] 図2は、本開示の1つ又は複数の技法による、例示的なGPU200を示す。図2に示されているように、GPU200は、コマンドプロセッサ(command processor、CP)210と、ドローコールパケット212と、VFD220と、VS222と、頂点キャッシュ(vertex cache、VPC)224と、三角形セットアップエンジン(triangle setup engine、TSE)226と、ラスタライザ(rasterizer、RAS)228と、Zプロセスエンジン(Z process engine、ZPE)230と、ピクセル補間器(pixel interpolator、PI)232と、フラグメントシェーダ(fragment shader、FS)234と、レンダーバックエンド(render backend、RB)236と、レベル2(level 2、L2)キャッシュ(cache、UCHE)238と、システムメモリ240と、を含む。図2は、GPU200が処理ユニット220~238を含むことを表示しているが、GPU200は、いくつかの追加の処理ユニットを含み得る。更に、処理ユニット220~238は、一例にすぎず、任意の組み合わせ又は順序の処理ユニットが、本開示に従ってGPUによって使用され得る。GPU200はまた、コマンドバッファ250と、コンテキストレジスタパケット260と、コンテキスト状態261と、を含む。
【0034】
[0043] 図2に示されているように、GPUは、CP、例えば、CP210、又はハードウェアアクセラレータを利用して、コマンドバッファをコンテキストレジスタパケット、例えば、コンテキストレジスタパケット260、及び/又はドローコールデータパケット、例えば、ドローコールパケット212にパースし得る。次いで、CP210は、別個のパスを通して、GPUにおける処理ユニット又はブロックに、コンテキストレジスタパケット260又はドローコールデータパケット212を送信し得る。更に、コマンドバッファ250は、コンテキストレジスタ及びドローコールの異なる状態を交互にし得る。例えば、コマンドバッファは、以下のようにして構築され得、すなわち、コンテキストNのコンテキストレジスタ、コンテキストNのドローコール、コンテキストN+1のコンテキストレジスタ、及びコンテキストN+1のドローコール(単数又は複数)である。
【0035】
[0044] GPUは、様々な異なる方法で画像をレンダリングし得る。いくつかの事例では、GPUは、レンダリング及び/又はタイルレンダリングを使用して、画像をレンダリングし得る。タイルレンダリングGPUでは、画像は、異なるセクション又はタイルに分割又は分離され得る。画像の分割後、各セクション又はタイルが別個にレンダリングされ得る。タイルレンダリングGPUは、コンピュータグラフィックス画像をグリッドフォーマットに分割し得るので、グリッドの各部分、すなわち、タイルが別個にレンダリングされるようになる。いくつかの態様では、ビニングパスの間に、画像が異なるビン又はタイルに分割され得る。いくつかの態様では、ビニングパスの間に、可視性ストリームが構築され得、そこで、可視プリミティブ又はドローコールが識別され得る。タイルレンダリングとは対照的に、直接レンダリングは、フレームをより小さいビン又はタイルに分割しない。むしろ、直接レンダリングでは、フレーム全体が1回でレンダリングされる。更に、いくつかのタイプのGPUは、タイルレンダリングと直接レンダリングの両方を可能にし得る。
【0036】
[0045] グラフィックス処理のいくつかの態様は、色空間(すなわち、色の特定の編成)を利用し得る。色空間は、アナログ表現又はデジタル表現などを介して、色の再現可能な表現をサポートし得る。また、色空間は、特定のデバイス又はデジタルファイルの色能力を理解するのを助け得る。例えば、デバイス上で色を再現しようとするとき、色空間は、影/ハイライト又は色飽和の詳細を示し得る。いくつかの異なるタイプの色空間又は色モデル(すなわち、色が数のタプルとして表され得る方法を記述する抽象数学モデル)が存在する。例えば、赤(R)、緑(G)、青(B)(RGB)色空間/モデル、又はルミナンス(Y)クロミナンス(UV)(YUV)色空間/モデルが存在する。
【0037】
[0046] 加えて、色空間は、色空間変換(すなわち、ある基底から別の基底への色の表現の変換)と呼ばれるプロセスにおいて、ある色空間から別の色空間に変換され得る。色空間変換は、1つの色空間で表された画像を別の色空間での表現に変換する文脈で実行され得る。例えば、色空間変換の1つの目的は、変換された画像を元の画像に可能な限り似たように見せることであり得る。色空間変換の一例は、RGB色空間をYUV色空間に変換すること、又はその逆である。
【0038】
[0047] いくつかの態様では、YUV色空間の使用は、自然画像のビデオストリームにとって好都合であり得る。例えば、RGB色空間とYUV色空間との間でフル画像(例えば、1対1のピクセル比)を符号化及び復号することは単純であり得る。しかしながら、YUV画像からのフィルタリングを利用する画像処理パイプラインでは、ソース画像がいくつかのタイプの色空間(例えば、標準RGB(sRGB)色空間)を用いて非線形(すなわち、ガンマ)圧縮される場合、符号化/復号プロセスは困難であり得る。
【0039】
[0048] 更に、フィルタリングは、いくつかの画像(例えば、YUV画像)が、スケーリング、回転、又は他の任意の画像アクセスを適用し得る画像処理又はレンダリングパイプラインの一部である場合に利用され得る。ソースが線形RGBである場合、フィルタリングは、結果として得られるYUVから直接実行され得る。ソースが非線形(すなわち、ガンマ)圧縮されたsRGBである場合、Y/U/V成分が非線形R/G/B成分の累積であるので、結果として得られるYUVから正確にフィルタリングすることができない場合がある。代わりに、各サンプルは、フィルタリングされる前に、YUVからsRGBに変換され、次いでsRGBから線形RGBに変換され得る。高度な(すなわち、バイキュービック)フィルタリングカーネルのためにすべてのサンプルに対してこれらの変換を適用することは、高価であり得る。これは、サブサンプリングされたクロマを扱うとき、更に複雑になり得る。
【0040】
[0049] 上述したように、YUVは人間の知覚に基づく色符号化システムである。例えば、Y=ルミナンス(すなわち、線形)又はY’=ルーマ(すなわち、非線形)は、人間の目が最も敏感な輝度値である。人間の知覚に基づく別の色符号化システムはYCbCrであり、これは、クロミナンス成分がUVの代わりにCbCrであることを除いてYUVに類似している。クロミナンス(例えば、U/Cb(青色投影)及びV/Cr(赤色投影)からなる)は、人間の目があまり敏感でない色値であり、したがって、これらの値はダウンサンプリングされ得る。いくつかの事例では、YUVはアナログテレビシステムに関連付けられてもよく、YCbCrはデジタルビデオの等価物であってもよい。
【0041】
[0050] 更に上述したように、RGB及びYUVは、異なるプロセスにおいて利用されてもよい。例えば、RGBは、コンピュータ画像のための一般的な色符号化システムとして利用されてもよく、YUVは、典型的には、ビデオ転送のために利用されてもよい。RGBとYUVとの間の転送は、RGB(例えば、R/G/B)における1つのチャネルの、YUV(例えば、Y/U/V)における対応するチャネルへの変換など、比較的単純なプロセスであり得る。例えば、様々な業界標準は、RGB又はYUVの3つの成分(例えば、R/G/B又はY/U/V)の加重和にオフセット及び/又はスケールを加えたものをもたらし得る。
【0042】
[0051] いくつかの態様では、コンテンツ(例えば、カラーコンテンツ)のレンダリングは、異なるデバイス間でレンダリングワークロードを分割するためなどに、複数のロケーションにおいて、及び/又は複数のデバイス上で実行され得る。例えば、レンダリングは、サーバとクライアントデバイスとの間で分割されてもよく、これは、「分割レンダリング」と称され得る。場合によっては、分割レンダリングは、コンテンツをクライアントデバイスにもたらすための方法であり得、グラフィックス処理の一部分は、クライアントデバイスの外部で、例えばサーバにおいて実行され得る。いくつかの態様では、サーバは、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり得る。更に、クライアントデバイスは、ヘッドセット、ヘッドマウントディスプレイ(HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つであり得る。
【0043】
[0052] 分割レンダリングは、いくつかの異なるタイプのアプリケーション、例えば、仮想現実(VR)アプリケーション、拡張現実(AR)アプリケーション、及び/又は拡張現実(XR)アプリケーションのために実行され得る。VRアプリケーションでは、クライアントデバイスで表示されるコンテンツは、人工又は動画化コンテンツに対応し得る。AR又はXRコンテンツでは、クライアントデバイスにおいて表示されるコンテンツの一部は、現実世界のコンテンツ、例えば、現実世界のオブジェクトに対応してもよく、コンテンツの一部は、人工又は動画化コンテンツであってもよい。また、人工又は動画化コンテンツ及び現実世界コンテンツは、ユーザが現実世界オブジェクト及び人工又は動画化コンテンツを同時に見ることができるように、光学シースルー又はビデオシースルーデバイスで表示されてもよい。いくつかの態様では、人工又は動画化コンテンツは拡張コンテンツと呼ばれることがあり、逆もまた同様である。
【0044】
[0053] 分割XR又はARシステムはまた、レンダリングされたコンテンツをクライアントディスプレイに配信するときに待ち時間をもたらす場合がある。いくつかの態様では、この待ち時間は、クライアントレンダリングと比較して、レンダリングがサーバ上で行われるときに更に高くなり得るが、より複雑なXR又はARアプリケーションも可能にし得る。加えて、カメラ姿勢が計算される時間とコンテンツがクライアントディスプレイ上に現れる時間との間に無視できない待ち時間が存在し得る。例えば、分割XR又はARシステムには、ある量の待ち時間が存在し得る。
【0045】
[0054] 図3は、分割レンダリングプロセスによるコンテンツ/データの通信を含む図300を示す。図3に示すように、図300は、分割レンダリングプロセスに関連付けられたサーバ310及びクライアントデバイス350を含む。図3は、符号化プロセス320及びパケット化プロセス330を含む、サーバ310において実行されるいくつかのプロセス、並びにデパケット化プロセス370及び復号プロセス380を含む、クライアントデバイス350において実行されるいくつかのプロセスを示す。サーバ310及びクライアントデバイス350はまた、それぞれ、送信構成要素340及び受信構成要素360を含む。
【0046】
[0055] 図3に示すように、サーバ310上で、画像/フレームに関連付けられたデータ/コンテンツは、符号化プロセス320中に符号化されてもよい。符号化プロセス320の後、データ/コンテンツは、パケット化プロセス330、例えば、リアルタイムトランスポートプロトコル(real-time transport protocol、RTP)パケット化プロセスを受けることができる。パケット化プロセス中に、データ/コンテンツはデータパケット342に変換され得る。次いで、データパケット342は、サーバ310の送信構成要素340からクライアントデバイス350の受信構成要素360に送信され得る。場合によっては、データパケットは、ユーザデータグラムプロトコル(user datagram protocol、UDP)インターネットプロトコル(internet protocol、IP)(UDP/IP)ネットワークプロトコルを介して送信され得る。クライアントデバイス350上で、データパケット342は、受信構成要素360を介して受信されてもよく、例えば、UDP/IPネットワークプロトコルを介して受信されてもよい。データパケット342はまた、データパケットをデータ/コンテンツに変換することができるデパケット化プロセス370、例えばリアルタイムトランスポートプロトコル(real-time transport protocol、RTP)デパケット化プロセスを受けることができる。デパケット化後、データ/コンテンツは、復号プロセス380中に復号され得る。最後に、復号されたデータ/コンテンツは、データ/コンテンツの表示のためにクライアントデバイス350上のディスプレイ又はHMDに送信され得る。
【0047】
[0056] 上記で示したように、グラフィックス処理のいくつかの態様は、異なるタイプのコンテンツ、例えば、仮想現実(VR)コンテンツ、拡張現実(XR)、又は拡張現実(AR)コンテンツをレンダリング又は表示することに関連付けられ得る。コンテンツは、サーバ、例えば、コンピュータ又は電話上でレンダリング又は作成され得る。このコンテンツを表示するために、ユーザは、クライアントデバイスと呼ばれ得る、異なるタイプのヘッドセット又はディスプレイグラスを利用し得る。場合によっては、ユーザが、充電設備がない状態でXRグラスを長時間使用したい場合、サーバ又はクライアントデバイスにおいて電力を節約することが望ましい。また、クライアントデバイス又はサーバのいずれかのバッテリが低下している(すなわち、ユーザによって決定された閾値パーセンテージを超えている)とき、サーバ又はクライアントデバイスにおいて電力を節約することが望ましい。更に、ユーザが自発的にバッテリ寿命を延長したい場合、サーバ又はクライアントデバイスにおいて電力を節約し、いずれかのデバイスに長いバッテリ寿命を提供することが望ましい。
【0048】
[0057] 電力節約のためのいくつかの解決策は、レンダリング/表示プロセス中にフレーム解像度又はフレームリフレッシュレートを低減することに関連し得る。更に、フォービエイテッドレンダリングを利用することは、サーバ/クライアントデバイスにおける電力使用を低減し、及び/又は性能を改善し得る。加えて、(例えば、グラフィックス処理ユニット(GPU)における)レンダリングパイプラインは、フルカラー又はクロミナンスデータを利用し得る。レンダリングパイプラインにおける各ステップがフルカラー/クロミナンスデータの処理に関連付けられる場合、これは大量の電力を浪費する可能性がある。
【0049】
[0058] 図4は、分割レンダリングプロセスにおける例示的な処理ステップの図400を示す。より具体的には、図4は、サーバ402(例えば、スマートフォン又はコンピュータ)及びクライアントデバイス404(例えば、ヘッドセット、HMD、又はスマートグラス)における異なる処理ステップの図400を示す。例えば、サーバ402は、410、420、430、432、434、440におけるステップを実行することができ、クライアントデバイス404は、460、470、472、474、480、490におけるステップを実行することができる。サーバ402では、マルチモデル入力平面410を介して複数のフレームのデータを受信することができる。例えば、データは、アプリケーション(例えば、ゲーム、ビデオなど)に関連付けられ得る。データが受信された後、データのコンテンツは、レンダリングプロセス420中にレンダリングされ得る。また、データのコンテンツは、符号化プロセス430中に符号化されてもよい。データのコンテンツは、暗号化プロセス432中に暗号化されてもよい。更に、データのコンテンツは、パケット化プロセス434中に複数のデータパケット450にパケット化され得る。更に、データパケット450は、送信プロセス(例えば、周辺構成要素相互接続エクスプレス(peripheral component interconnect express、PCIE)プロセス440)を介してクライアントデバイス404に送信され得る。
【0050】
[0059] クライアントデバイス404上で、データパケット450は、受信プロセス(例えば、PCIEプロセス460)を介してサーバ402から受信され得る。データパケット450は、デパケット化プロセス470中に、データのコンテンツにデパケット化され得る。データのコンテンツは、暗号化解除プロセス472中に暗号化解除されてもよい。また、データのコンテンツは、復号プロセス474中に復号されてもよい。クライアントデバイス404はまた、コンテンツに対して色空間変換480を実行することができる。最後に、色空間変換480の後、コンテンツをディスプレイ490上に表示することができる。
【0051】
[0060] 図4に示されるように、サーバ402におけるステップの各々(すなわち、410、420、430、432、434、440におけるステップ)及びクライアントデバイス404におけるステップの各々(すなわち、460、470、472、474、480、490におけるステップ)は、フルカラーデータ又は多色カラーデータを使用して処理され得る。実際に、分割レンダリングプロセス又は非分割レンダリングプロセスの各ステップにおいてフル/多色カラーデータ又はフル/多色クロミナンスデータを処理することによって、そうでない場合に必要な電力よりも多くの電力を利用することがある。次に、これは、デバイス、例えばサーバ及びクライアントデバイスの各々において大量の電力を浪費し得る。例えば、サーバ402及びクライアントデバイス404におけるステップの各々は、フルカラーデータを使用して実行される必要がない場合があり、したがって、各ステップがフルカラーデータで実行される場合、電力が浪費される場合がある。
【0052】
[0061] 上記に基づいて、フルカラーデータ又は多色カラーデータを使用することなく、分割レンダリングプロセス又は非分割レンダリングプロセスにおいていくつかのステップを処理することが有益であり得る。例えば、単色カラーデータを使用して、分割レンダリングプロセス又は非分割レンダリングプロセスにおけるいくつかのステップを処理することが有益であり得る。ルミナンス成分とクロミナンス成分の両方ではなく、ルミナンス成分を使用して分割レンダリングプロセス又は非分割レンダリングプロセス中のいくつかのステップを処理することも有益であり得る。
【0053】
[0062] 本開示の態様は、フルカラーデータ又は多色カラーデータを使用せずに、分割レンダリングプロセス又は非分割レンダリングプロセスにおいていくつかのステップを処理することができる。例えば、本開示の態様は、単色カラーデータを使用して、分割レンダリングプロセス又は非分割レンダリングプロセスにおけるいくつかのステップの処理を可能にし得る。加えて、場合によっては、本開示の態様は、ルミナンス成分とクロミナンス成分の両方の代わりにルミナンス成分を使用して、分割レンダリングプロセス又は非分割レンダリングプロセスにおいていくつかのステップを処理し得る。そうすることによって、本開示の態様は、分割レンダリングプロセス又は非分割レンダリングプロセスにおけるデバイス(例えば、サーバ及びクライアントデバイス)の各々において大量の電力を節約することができる。したがって、本開示の態様は、分割レンダリングプロセス又は非分割レンダリングプロセスにおけるカラーデータ処理中に利用される電力量を低減することができる。
【0054】
[0063] 本明細書で示されるように、分割レンダリングプロセスの場合、本開示の態様は、フルカラー/クロミナンス成分を用いて処理されるデータの量を低減することによって、サーバ/クライアントデバイスにおける電力を節約し得る。例えば、本開示の態様は、レンダリングパイプライン(例えば、GPUレンダリングパイプライン)全体又はレンダリングパイプラインの一部分において処理されるフルカラー/クロミナンスデータの量を低減し得る。そうするために、本開示の態様は、データをフルカラー/クロミナンスデータとして処理するのではなく、処理されるデータのタイプを単色カラーデータに限定し得る。
【0055】
[0064] 図5は、本開示の態様による分割レンダリングプロセスにおける例示的な処理ステップの図500を示す。より具体的には、図5は、サーバ502(例えば、スマートフォン又はコンピュータ)及びクライアントデバイス504(例えば、ヘッドセット、HMD、又はスマートグラス鏡)における異なる処理ステップの図500を示す。例えば、サーバ502は、510、520、530、532、534、及び540におけるステップを実行することができ、クライアントデバイス504は、560、570、572、574、580、及び590におけるステップを実行することができる。図5に示されるように、ステップ510、520、530、532、534、540、560、570、572、及び574の各々は、単色カラーデータを使用して実行され得る。場合によっては、図5に示されるように、580及び590におけるステップは、フルカラーデータを使用して実行され得る。
【0056】
[0065] 図5に示すように、サーバ502上では、マルチモデル入力平面510を介して複数のフレームのデータを受信することができ、このステップは単色カラーデータを使用して実行することができる。データは、アプリケーション(例えば、ゲーム、ビデオなど)に関連付けられ得る。データが受信された後、データのコンテンツは、レンダリングプロセス520中にレンダリングされてもよく、このステップは、単色カラーデータを使用して実行されてもよい。コンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含み得る。また、データのコンテンツは、符号化プロセス530中に符号化されてもよく、このステップは、単色カラーデータを使用して実行されてもよい。データのコンテンツはまた、暗号化プロセス532中に暗号化されてもよく、このステップはまた、単色カラーデータを使用して実行されてもよい。更に、データのコンテンツは、パケット化プロセス534中に複数のデータパケット550にパケット化されてもよく、このステップは、単色カラーデータを使用して実行されてもよい。更に、データパケット550は、送信プロセス(例えば、周辺構成要素相互接続エクスプレス(PCIE)プロセス540)を介してクライアントデバイス504に送信され得る。
【0057】
[0066] クライアントデバイス504上で、データパケット550は、受信プロセス(例えば、PCIEプロセス560)を介してサーバ502から受信され得る。データパケット550は、デパケット化プロセス570中にデータのコンテンツにデパケット化されてもよく、このステップは、単色カラーデータを使用して実行されてもよい。コンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含み得る。データのコンテンツはまた、暗号化解除プロセス572中に暗号化解除されてもよく、このステップはまた、単色カラーデータを使用して実行されてもよい。また、データのコンテンツは、復号プロセス574中に復号されてもよく、このステップは、単色カラーデータを使用して実行されてもよい。クライアントデバイス504はまた、コンテンツに対して色空間変換580を実行することができる。最後に、色空間変換580の後、コンテンツをディスプレイ590上に表示することができる。図5に示されるように、580及び590におけるステップは、フルカラーデータを使用して実行され得る。
【0058】
[0067] 図5に示されるように、サーバ502におけるステップ(すなわち、510、520、530、532、534、及び540)の各々、並びにクライアントデバイス504におけるいくつかのステップ(すなわち、560、570、572、及び574)は、単色カラーデータを使用して処理され得る。分割レンダリングプロセス又は非分割レンダリングプロセスにおけるステップにおいて単色カラーデータ又は単色クロミナンスデータを処理することによって、本明細書で提示される態様は、フルカラーデータを処理することと比較して、より少ない電力を利用し得る。次に、これは、例えばサーバ502及びクライアントデバイス504などの各デバイスにおいて大量の電力を節約することができる。例えば、サーバ502及びクライアントデバイス504におけるステップの各々は、フルカラーデータを使用して実行される必要がない場合があり、したがって、各ステップが単色カラーデータで実行される場合、電力が節約され得る。色空間変換580中に、本開示の態様は、ディスプレイ590においてフルカラーコンテンツを表示するために、ダミークロミナンス成分を追加し得る。
【0059】
[0068] 図5に示すように、本開示の態様は、分割レンダリングにおいていくつかの段階を利用することができる。例えば、サーバ502において、本明細書で提示する態様は、以下の段階を利用することができる:(1)510に示すように、アプリケーション(例えば、ゲーム、ビデオなど)からマルチモーダル入力平面を介して複数のフレームのデータを受信し、(2)520に示すように、(例えば、Y平面及び/又はルミナンス成分のみを使用して)単色コンテンツのレンダリングフレームを準備し、(3)530に示すように、単色コンテンツのみを使用して(例えば、Y平面及び/又はルミナンス成分のみを使用して)ビデオ符号化し、(4)532に示すように、(例えば、高帯域幅デジタルコンテンツ保護(high-bandwidth digital content protection、HDCP)を使用して)コンテンツ及び/又はビデオストリームの暗号化、(5)534に示すように、コンテンツの複数のデータパケットへのパケット化、及び(6)540に示すように、コンパニオンWi-Fi上で送信されるPCIEプロセスを介したデータパケットの送信。サーバは、ワイヤレス接続(例えば、Wi-Fi、Bluetooth、5G、NFC、Li-Fiなど)及び/又は有線接続(例えば、USB、LANなど)を媒体として使用してもよい。また、サーバは、モバイルサーバ、パック、固定デバイス、パーソナルコンピュータ(personal computer、PC)、クラウドコンピュータ、及び/又はクライアントデバイス上にあるサーバであってもよい。
【0060】
[0069] 更に、クライアントデバイス504において、本明細書で提示される態様は、以下の段階を利用することができる:(7)560に示すように、クライアントデバイスWi-Fi上で受信されたPCIEを介したデータパケットの受信、(8)570に示すように、複数のデータパケットのコンテンツへのデパケット化、(9)572に示すように、コンテンツ及び/又はビデオストリームの暗号化解除、(10)574に示すように、単色コンテンツのみを使用する(例えば、Y平面及び/又はルミナンス成分のみを使用する)ビデオ復号、(11)580に示すように、ある色フォーマットから別の色フォーマットへの色空間変換(例えば、NV12フォーマットからRGBフォーマットへの変換)を実行し、(12)590に示すように、色空間変換後にコンテンツをディスプレイに送信する。いくつかの色フォーマット(例えば、NV12色フォーマット)は、フルサイズのY平面と、それに続く、織り合わされたU値及びV値を有する単一のクロマ平面とを有する両平面フォーマットであり得る。NV12はまた、中間YUV 4:2:0ビデオフォーマットであり得る。590において、クライアントデバイス504は、コンテンツ(例えば、RGBコンテンツ)をクライアントデバイス504におけるフィールドシーケンシャルディスプレイ(field sequential display、FSD)/RGBディスプレイに送信してもよい。また、510、520、530、532、534、540、560、570、572、及び574における段階の各々は、(前の段階がフルカラーデータを入力として任意の所与の段階に供給している場合であっても)単色カラーデータのみを使用して動作し得る。
【0061】
[0070] 図5において、580におけるステップは、特定のディスプレイ(例えば、FSD/RGBディスプレイ)を処理するためのブリッジであり得、したがって、このステップは、1つの色フォーマットから別の色フォーマットへの(例えば、NV12フォーマットからRGBフォーマットへの)色空間変換を実行し得る。本開示の態様は、510、520、530、532、534、540、560、570、572、及び574において、プロセスを単色ワークロードに制限することなどによって、レンダリングパイプライン/パス全体においてフルカラー/クロミナンス成分を扱う負荷を低減することによって電力を節約し得る。図5に示されるように、580におけるステップは、128色値で満たされるダミークロミナンスバッファを追加することによって、単色(Y)データをNV12データとして扱うことができる(すなわち、NV12=単色(Y)+ダミークロミナンス平面)。このステップは、初期化段階における1回限りのダミーバッファ割り当てであり得るので、余分な処理負荷又は余分な待ち時間/電力を追加しないことがある。この後に、NV12からRGBへの変換(例えば、NV12からsRGBへの変換)が続き得る。FSDディスプレイの場合、RGBデータが利用されてもよく、単色チャネル入力に対するサポートを有さなくてもよい。FSDディスプレイの利用を助けるために、本開示の態様は、580におけるステップを介してレンダリングするために、単色コンテンツ(すなわち、Y平面のみ)をRGBコンテンツに色変換することができる。これは、パイプラインの残り(例えば、GPUレンダリングパイプライン)における電力節約を可能にし得る。
【0062】
[0071] 本開示の態様は、いくつかの利益又は利点を含み得る。上記で示されたように、本開示の態様は、フルカラー/クロミナンス処理の量を軽減又は除去することに起因する電力節約を提供し得る。例えば、本開示の態様は、大量のバス帯域幅(BW)、処理負荷、又は待ち時間を節約することができ、これは次に、サーバ又はクライアントデバイスにおける電力を節約するのに役立ち得る。加えて、本開示の態様は、フルカラー/クロミナンス処理の下で別様に利用され得るものよりも、いくつかの構成要素(例えば、クロック)においてより低い電力利用を可能にし得る。本明細書で示されるように、本開示の態様は、分割レンダリング又は非分割レンダリングにおいて、いくつかのタイプのコンテンツ(例えば、XR、VR、又はARコンテンツ)とともに利用され得る。しかしながら、本開示の態様は、一般に他の分野、例えば、モバイルデバイス、自動車、モノのインターネット(internet of things、IoT)などに適用され得る。
【0063】
[0072] 図6は、本開示の1つ又は複数の技法による、グラフィックス処理の通信フロー図600である。図6に示すように、図600は、本開示の1つ又は複数の技法による、サーバ602とクライアントデバイス604との間の例示的な通信を含む。サーバ602及びクライアントデバイス604は、分割レンダリングプロセス又は非分割レンダリングプロセスに関連付けられ得る。また、サーバ602及びクライアントデバイス604の各々は、GPU及び/又はグラフィックス処理に関連付けられた構成要素を含み得る。
【0064】
[0073] 610において、サーバ602は、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータを受信し得、複数のフレームの各々についてのデータは、単色カラーデータ又は多色カラーデータである。場合によっては、少なくとも1つのアプリケーションは、複数のフレームの色生成に関連付けられ得、少なくとも1つのアプリケーションに関連付けられたハードウェア又はソフトウェアは、ルミナンスカラーデータを生成し得る。少なくとも1つのアプリケーションは、少なくとも1つのゲーム、少なくとも1つのビデオ、少なくとも1つのシンボル、少なくとも1つのアイコン、又は表示されたコンテンツであり得る。また、複数のフレームの各々についてのデータは、ルミナンス(Y)クロミナンス(UV)(YUV)カラーデータ、赤(R)緑(G)青(B)(RGB)カラーデータ、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)カラーデータに対応してもよい。
【0065】
[0074] いくつかの態様では、複数のフレームの各々についてのデータは、複数の入力チャネル又は複数の入力平面に関連付けられ得、複数の入力平面は、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み得る。また、複数のフレームの各々についての多色カラーデータは、フルカラーデータ又は部分カラーデータを含み得、複数のフレームの各々についてのデータが受信されると、多色カラーデータは、少なくとも1つのアプリケーションによって生成又は復号されなくてもよい。複数のデータパケットの送信は、ワイヤレス送信、有線送信、又は周辺構成要素相互接続エクスプレス(PCIE)プロセスのうちの少なくとも1つに対応し得る。サーバは、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり得、クライアントデバイスは、ヘッドセット、ヘッドマウントディスプレイ(head mounted display、HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つであり得る。
【0066】
[0075] 620において、サーバ602は、複数のフレームの各々についてのデータに関連付けられたコンテンツをレンダリングし得、レンダリングされたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツがルミナンス平面に対応し得るように、単色のカラーコンテンツ又はルミナンス成分はルミナンス平面に対応し得る。複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツは、ルミナンス成分を含み得、クロミナンス成分を含まなくてもよい。複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツは、単色のカラーコンテンツを含み得、レンダリングされたコンテンツは、単色のカラーコンテンツ以外のカラーコンテンツを含まなくてもよい。
【0067】
[0076] 622において、サーバ602は、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを符号化し得、レンダリングされたコンテンツは、変換される前に符号化され、符号化されたコンテンツは単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。
【0068】
[0077] 624において、サーバ602は、複数のフレームの各々についてのデータに関連付けられた符号化されたコンテンツを暗号化し得、符号化されたコンテンツは、変換される前に暗号化され、暗号化されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。
【0069】
[0078] 630において、サーバ602は、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを、複数のデータパケットに変換し得る。場合によっては、レンダリングされたコンテンツを複数のデータパケットに変換することは、レンダリングされたコンテンツを複数のデータパケットにパケット化することを含み得る。
【0070】
[0079] 640において、サーバ602は、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツに対応する複数のデータパケット(例えば、データパケット650)を、クライアントデバイス604に送信し得る。
【0071】
[0080] 660において、クライアントデバイス604は、サーバ602から、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータに対応する複数のデータパケット(例えば、データパケット650)を受信し得、複数のフレームの各々についてのデータは、単色カラーデータ又は多色カラーデータであり得る。場合によっては、少なくとも1つのアプリケーションは、複数のフレームの色生成に関連付けられ得、少なくとも1つのアプリケーションに関連付けられたハードウェア又はソフトウェアは、ルミナンスカラーデータを生成し得る。少なくとも1つのアプリケーションは、少なくとも1つのゲーム、少なくとも1つのビデオ、少なくとも1つのシンボル、少なくとも1つのアイコン、又は表示されたコンテンツであり得る。また、複数のフレームの各々についてのデータは、ルミナンス(Y)クロミナンス(UV)(YUV)カラーデータ、赤(R)緑(G)青(B)(RGB)カラーデータ、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)カラーデータに対応してもよい。
【0072】
[0081] いくつかの態様では、複数のフレームの各々についてのデータは、複数の入力チャネル又は複数の入力平面に関連付けられ得、複数の入力平面は、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み得る。また、複数のフレームの各々についての多色カラーデータは、フルカラーデータ又は部分カラーデータを含み得る。複数のデータパケットの受信は、ワイヤレス送信、有線送信、又は周辺構成要素相互接続エクスプレス(PCIE)プロセスのうちの少なくとも1つに対応し得る。サーバは、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり得、クライアントデバイスは、ヘッドセット、ヘッドマウントディスプレイ(HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つであり得る。
【0073】
[0082] 670において、クライアントデバイス604は、複数のデータパケットを、複数のフレームの各々についてのデータに関連付けられたコンテンツに変換し得、コンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。いくつかの態様では、複数のデータパケットをコンテンツに変換することは、複数のデータパケットをコンテンツにデパケット化することを含み得る。
【0074】
[0083] 672において、クライアントデバイス604は、複数のフレームの各々についてのデータに関連付けられたコンテンツを暗号化解除し得、コンテンツは、色空間変換の前に暗号化解除され、暗号化解除されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。
【0075】
[0084] 674において、クライアントデバイス604は、複数のフレームの各々についてのデータに関連付けられた暗号化解除されたコンテンツを復号し得、コンテンツは、色空間変換の前に復号され、復号されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。
【0076】
[0085] 680において、クライアントデバイス604は、複数のフレームの各々についてのデータに関連付けられたコンテンツに対して、少なくとも1つのクロミナンス平面をコンテンツに追加する色空間変換を実行してもよい。少なくとも1つのクロミナンス平面は、少なくとも1つのダミークロミナンス平面、少なくとも1つのプレースホルダクロミナンス平面、少なくとも1つのスタンドインクロミナンス平面、少なくとも1つの疑似クロミナンス平面、又は少なくとも1つのフェイククロミナンス平面であり得る。少なくとも1つのクロミナンス平面は、初期化期間に準備され得、少なくとも1つのクロミナンス平面は、静的カラーフィルデータに関連付けられ得る。更に、少なくとも1つのクロミナンス平面は、機械学習(ML)、ディープラーニング、ハードウェア機構、少なくとも1つのニューラルネットワーク(neural network、NN)、又は少なくとも1つのオープン基準を介して、ルミナンスコンテンツ又はユーザ構成に基づく1つ又は複数の疑似色を使用して準備され得る。色空間変換は、ルミナンス(Y)クロミナンス(UV)(YUV)色変換、赤(R)緑(G)青(B)(RGB)色変換、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)色変換であり得る。
【0077】
[0086] いくつかの態様では、複数のフレームの各々についてのデータに関連付けられたコンテンツが色空間変換の前にクロミナンス成分を含まなくてもよいように、コンテンツは、色空間変換の前にルミナンス成分を含み得る。いくつかの態様では、複数のフレームの各々についてのデータに関連付けられたコンテンツが色空間変換の前に単色のカラーコンテンツ以外のカラーコンテンツを含まなくてもよいように、コンテンツは、色空間変換の前に単色のカラーコンテンツを含み得る。複数のフレームの各々についてのデータに関連付けられたコンテンツが色空間変換の後にルミナンス平面と少なくとも1つのクロミナンス平面とを含み得るように、単色のカラーコンテンツ又はルミナンス成分は、ルミナンス平面に対応し得る。
【0078】
[0087] 690において、クライアントデバイス604は、色空間変換を実行すると、複数のフレームの各々についてのデータに関連付けられたコンテンツを表示してもよい。
【0079】
[0088] 図7は、本開示の1つ又は複数の技法による、グラフィックス処理の例示的な方法のフローチャート700である。方法は、グラフィックス処理のための装置、グラフィックスプロセッサ、ワイヤレス通信デバイス、及び/又は図1図6の例に関して使用されるようなグラフィックス処理を実行し得る任意の装置に関連付けられていてもよい、クライアントデバイスによって実行され得る。本明細書で説明する方法は、通信シグナリング、リソース利用、及び/又は電力節約を改善するなど、いくつかの利益を提供し得る。
【0080】
[0089] 702において、クライアントデバイスは、図1図6の例に関して説明されるように、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータに対応する複数のデータパケットをサーバから受信し得、複数のフレームの各々についてのデータは、単色カラーデータ又は多色カラーデータであり得る。例えば、図6の660において説明されるように、クライアントデバイス604は、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータに対応する複数のデータパケットをサーバから受信し得、複数のフレームの各々についてのデータは、単色カラーデータ又は多色カラーデータであり得る。更に、ステップ702は、図1の処理ユニット120によって実行され得る。場合によっては、少なくとも1つのアプリケーションは、複数のフレームの色生成に関連付けられ得、少なくとも1つのアプリケーションに関連付けられたハードウェア又はソフトウェアは、ルミナンスカラーデータを生成し得る。少なくとも1つのアプリケーションは、少なくとも1つのゲーム、少なくとも1つのビデオ、少なくとも1つのシンボル、少なくとも1つのアイコン、又は表示されたコンテンツであり得る。また、複数のフレームの各々についてのデータは、ルミナンス(Y)クロミナンス(UV)(YUV)カラーデータ、赤(R)緑(G)青(B)(RGB)カラーデータ、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)カラーデータに対応してもよい。
【0081】
[0090] いくつかの態様では、複数のフレームの各々についてのデータは、複数の入力チャネル又は複数の入力平面に関連付けられ得、複数の入力平面は、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み得る。また、複数のフレームの各々についての多色カラーデータは、フルカラーデータ又は部分カラーデータを含み得る。複数のデータパケットの受信は、ワイヤレス送信、有線送信、又は周辺構成要素相互接続エクスプレス(PCIE)プロセスのうちの少なくとも1つに対応し得る。サーバは、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり得、クライアントデバイスは、ヘッドセット、ヘッドマウントディスプレイ(HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つであり得る。
【0082】
[0091] 704において、クライアントデバイスは、図1図6の例に関して説明されるように、複数のデータパケットを、複数のフレームの各々についてのデータに関連付けられたコンテンツに変換し得、コンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。例えば、図6の670において説明されるように、クライアントデバイス604は、複数のデータパケットを、複数のフレームの各々についてのデータに関連付けられたコンテンツに変換し得、コンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。更に、ステップ704は、図1の処理ユニット120によって実行され得る。いくつかの態様では、複数のデータパケットをコンテンツに変換することは、複数のデータパケットをコンテンツにデパケット化することを含み得る。
【0083】
[0092] 710において、図1図6の例に関して説明されるように、クライアントデバイスは、複数のフレームの各々についてのデータに関連付けられたコンテンツに対して、少なくとも1つのクロミナンス平面をコンテンツに追加する色空間変換を実行してもよい。例えば、図6の680において説明されるように、クライアントデバイス604は、複数のフレームの各々についてのデータに関連付けられたコンテンツに対して、少なくとも1つのクロミナンス平面をコンテンツに追加する色空間変換を実行してもよい。更に、ステップ710は、図1の処理ユニット120によって実行され得る。少なくとも1つのクロミナンス平面は、少なくとも1つのダミークロミナンス平面、少なくとも1つのプレースホルダクロミナンス平面、少なくとも1つのスタンドインクロミナンス平面、少なくとも1つの疑似クロミナンス平面、又は少なくとも1つのフェイククロミナンス平面であり得る。少なくとも1つのクロミナンス平面は、初期化期間に準備され得、少なくとも1つのクロミナンス平面は、静的カラーフィルデータに関連付けられ得る。更に、少なくとも1つのクロミナンス平面は、機械学習(machine learning、ML)、ディープラーニング、ハードウェア機構、少なくとも1つのニューラルネットワーク(NN)、又は少なくとも1つのオープン基準を介して、ルミナンスコンテンツ又はユーザ構成に基づく1つ又は複数の疑似色を使用して準備され得る。色空間変換は、ルミナンス(Y)クロミナンス(UV)(YUV)色変換、赤(R)緑(G)青(B)(RGB)色変換、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)色変換であり得る。
【0084】
[0093] いくつかの態様では、複数のフレームの各々についてのデータに関連付けられたコンテンツが色空間変換の前にクロミナンス成分を含まなくてもよいように、コンテンツは、色空間変換の前にルミナンス成分を含み得る。いくつかの態様では、複数のフレームの各々についてのデータに関連付けられたコンテンツが色空間変換の前に単色のカラーコンテンツ以外のカラーコンテンツを含まなくてもよいように、コンテンツは、色空間変換の前に単色のカラーコンテンツを含み得る。複数のフレームの各々についてのデータに関連付けられたコンテンツが色空間変換の後にルミナンス平面と少なくとも1つのクロミナンス平面とを含み得るように、単色のカラーコンテンツ又はルミナンス成分は、ルミナンス平面に対応し得る。
【0085】
[0094] 712において、クライアントデバイスは、図1図6の例に関して説明されるように、色空間変換を実行すると、複数のフレームの各々についてのデータに関連付けられたコンテンツを表示してもよい。例えば、図6の690において説明されるように、クライアントデバイス604は、色空間変換を実行すると、複数のフレームの各々についてのデータに関連付けられたコンテンツを表示してもよい。更に、ステップ712は、図1の処理ユニット120によって実行され得る。
【0086】
[0095] 図8は、本開示の1つ又は複数の技法による、グラフィックス処理の例示的な方法のフローチャート800である。方法は、グラフィックス処理のための装置、グラフィックスプロセッサ、ワイヤレス通信デバイス、及び/又は図1図6の例に関して使用されるようなグラフィックス処理を実行し得る任意の装置に関連付けられていてもよい、クライアントデバイスによって実行され得る。本明細書で説明する方法は、通信シグナリング、リソース利用、及び/又は電力節約を改善するなど、いくつかの利益を提供し得る。
【0087】
[0096] 802において、クライアントデバイスは、図1図6の例に関して説明されるように、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータに対応する複数のデータパケットをサーバから受信し得、複数のフレームの各々についてのデータは、単色カラーデータ又は多色カラーデータであり得る。例えば、図6の660において説明されるように、クライアントデバイス604は、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータに対応する複数のデータパケットをサーバから受信し得、複数のフレームの各々についてのデータは、単色カラーデータ又は多色カラーデータであり得る。更に、ステップ802は、図1の処理ユニット120によって実行され得る。場合によっては、少なくとも1つのアプリケーションは、複数のフレームの色生成に関連付けられ得、少なくとも1つのアプリケーションに関連付けられたハードウェア又はソフトウェアは、ルミナンスカラーデータを生成し得る。少なくとも1つのアプリケーションは、少なくとも1つのゲーム、少なくとも1つのビデオ、少なくとも1つのシンボル、少なくとも1つのアイコン、又は表示されたコンテンツであり得る。また、複数のフレームの各々についてのデータは、ルミナンス(Y)クロミナンス(UV)(YUV)カラーデータ、赤(R)緑(G)青(B)(RGB)カラーデータ、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)カラーデータに対応してもよい。
【0088】
[0097] いくつかの態様では、複数のフレームの各々についてのデータは、複数の入力チャネル又は複数の入力平面に関連付けられ得、複数の入力平面は、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み得る。また、複数のフレームの各々についての多色カラーデータは、フルカラーデータ又は部分カラーデータを含み得る。複数のデータパケットの受信は、ワイヤレス送信、有線送信、又は周辺構成要素相互接続エクスプレス(PCIE)プロセスのうちの少なくとも1つに対応し得る。サーバは、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり得、クライアントデバイスは、ヘッドセット、ヘッドマウントディスプレイ(HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つであり得る。
【0089】
[0098] 804において、クライアントデバイスは、図1図6の例に関して説明されるように、複数のデータパケットを、複数のフレームの各々についてのデータに関連付けられたコンテンツに変換し得、コンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。例えば、図6の670において説明されるように、クライアントデバイス604は、複数のデータパケットを、複数のフレームの各々についてのデータに関連付けられたコンテンツに変換し得、コンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。更に、ステップ804は、図1の処理ユニット120によって実行され得る。いくつかの態様では、複数のデータパケットをコンテンツに変換することは、複数のデータパケットをコンテンツにデパケット化することを含み得る。
【0090】
[0099] 806において、図1図6の例に関して説明されるように、クライアントデバイスは、複数のフレームの各々についてのデータに関連付けられたコンテンツを暗号化解除し得、コンテンツは、色空間変換の前に暗号化解除され、暗号化解除されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。例えば、図6の672において説明されるように、クライアントデバイス604は、複数のフレームの各々についてのデータに関連付けられたコンテンツを暗号化解除し得、コンテンツは、色空間変換の前に暗号化解除され、暗号化解除されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。更に、ステップ806は、図1の処理ユニット120によって実行され得る。
【0091】
[0100] 808において、図1図6の例に関して説明されるように、クライアントデバイスは、複数のフレームの各々についてのデータに関連付けられた暗号化解除されたコンテンツを復号し得、コンテンツは、色空間変換の前に復号され、復号されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。例えば、図6の674において説明されるように、クライアントデバイス604は、複数のフレームの各々についてのデータに関連付けられた暗号化解除されたコンテンツを復号し得、コンテンツは、色空間変換の前に復号され、復号されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。更に、ステップ808は、図1の処理ユニット120によって実行され得る。
【0092】
[0101] 810において、図1図6の例に関して説明されるように、クライアントデバイスは、複数のフレームの各々についてのデータに関連付けられたコンテンツに対して、少なくとも1つのクロミナンス平面をコンテンツに追加する色空間変換を実行してもよい。例えば、図6の680において説明されるように、クライアントデバイス604は、複数のフレームの各々についてのデータに関連付けられたコンテンツに対して、少なくとも1つのクロミナンス平面をコンテンツに追加する色空間変換を実行してもよい。更に、ステップ810は、図1の処理ユニット120によって実行され得る。少なくとも1つのクロミナンス平面は、少なくとも1つのダミークロミナンス平面、少なくとも1つのプレースホルダクロミナンス平面、少なくとも1つのスタンドインクロミナンス平面、少なくとも1つの疑似クロミナンス平面、又は少なくとも1つのフェイククロミナンス平面であり得る。少なくとも1つのクロミナンス平面は、初期化期間に準備され得、少なくとも1つのクロミナンス平面は、静的カラーフィルデータに関連付けられ得る。更に、少なくとも1つのクロミナンス平面は、機械学習(ML)、ディープラーニング、ハードウェア機構、少なくとも1つのニューラルネットワーク(NN)、又は少なくとも1つのオープン基準を介して、ルミナンスコンテンツ又はユーザ構成に基づく1つ又は複数の疑似色を使用して準備され得る。色空間変換は、ルミナンス(Y)クロミナンス(UV)(YUV)色変換、赤(R)緑(G)青(B)(RGB)色変換、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)色変換であり得る。
【0093】
[0102] いくつかの態様では、複数のフレームの各々についてのデータに関連付けられたコンテンツが色空間変換の前にクロミナンス成分を含まなくてもよいように、コンテンツは、色空間変換の前にルミナンス成分を含み得る。いくつかの態様では、複数のフレームの各々についてのデータに関連付けられたコンテンツが色空間変換の前に単色のカラーコンテンツ以外のカラーコンテンツを含まなくてもよいように、コンテンツは、色空間変換の前に単色のカラーコンテンツを含み得る。複数のフレームの各々についてのデータに関連付けられたコンテンツが色空間変換の後にルミナンス平面と少なくとも1つのクロミナンス平面とを含み得るように、単色のカラーコンテンツ又はルミナンス成分は、ルミナンス平面に対応し得る。
【0094】
[0103] 812において、クライアントデバイスは、図1図6の例に関して説明されるように、色空間変換を実行すると、複数のフレームの各々についてのデータに関連付けられたコンテンツを表示してもよい。例えば、図6の690において説明されるように、クライアントデバイス604は、色空間変換を実行すると、複数のフレームの各々についてのデータに関連付けられたコンテンツを表示してもよい。更に、ステップ812は、図1の処理ユニット120によって実行され得る。
【0095】
[0104] 図9は、本開示の1つ又は複数の技法による、グラフィックス処理の例示的な方法のフローチャート900である。方法は、グラフィックス処理のための装置、グラフィックスプロセッサ、ワイヤレス通信デバイス、及び/又は図1図6の例に関して使用されるようなグラフィックス処理を実行し得る任意の装置に関連付けられていてもよい、サーバによって実行され得る。本明細書で説明する方法は、通信シグナリング、リソース利用、及び/又は電力節約を改善するなど、いくつかの利益を提供し得る。
【0096】
[0105] 902において、サーバは、図1図6の例に関して説明されるように、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータを受信し得、複数のフレームの各々についてのデータは、単色カラーデータ又は多色カラーデータである。例えば、図6の610において説明されるように、サーバ602は、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータを受信し得、複数のフレームの各々についてのデータは、単色カラーデータ又は多色カラーデータである。更に、ステップ902は、図1の処理ユニット120によって実行され得る。場合によっては、少なくとも1つのアプリケーションは、複数のフレームの色生成に関連付けられ得、少なくとも1つのアプリケーションに関連付けられたハードウェア又はソフトウェアは、ルミナンスカラーデータを生成し得る。少なくとも1つのアプリケーションは、少なくとも1つのゲーム、少なくとも1つのビデオ、少なくとも1つのシンボル、少なくとも1つのアイコン、又は表示されたコンテンツであり得る。また、複数のフレームの各々についてのデータは、ルミナンス(Y)クロミナンス(UV)(YUV)カラーデータ、赤(R)緑(G)青(B)(RGB)カラーデータ、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)カラーデータに対応してもよい。
【0097】
[0106] いくつかの態様では、複数のフレームの各々についてのデータは、複数の入力チャネル又は複数の入力平面に関連付けられ得、複数の入力平面は、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み得る。また、複数のフレームの各々についての多色カラーデータは、フルカラーデータ又は部分カラーデータを含み得、複数のフレームの各々についてのデータが受信されると、多色カラーデータは、少なくとも1つのアプリケーションによって生成又は復号されなくてもよい。複数のデータパケットの送信は、ワイヤレス送信、有線送信、又は周辺構成要素相互接続エクスプレス(PCIE)プロセスのうちの少なくとも1つに対応し得る。サーバは、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり得、クライアントデバイスは、ヘッドセット、ヘッドマウントディスプレイ(HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つであり得る。
【0098】
[0107] 904において、図1図6の例に関して説明されるように、サーバは、複数のフレームの各々についてのデータに関連付けられたコンテンツをレンダリングするように構成されてもよく、レンダリングされたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。例えば、図6の620において説明されるように、サーバ602は、複数のフレームの各々についてのデータに関連付けられたコンテンツをレンダリングし得、レンダリングされたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。更に、ステップ904は、図1の処理ユニット120によって実行され得る。複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツがルミナンス平面に対応し得るように、単色のカラーコンテンツ又はルミナンス成分はルミナンス平面に対応し得る。複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツは、ルミナンス成分を含み得、クロミナンス成分を含まなくてもよい。複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツは、単色のカラーコンテンツを含み得、レンダリングされたコンテンツは、単色のカラーコンテンツ以外のカラーコンテンツを含まなくてもよい。
【0099】
[0108] 910において、サーバは、図1図6の例に関して説明されるように、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを、複数のデータパケットに変換し得る。例えば、図6の630において説明されるように、サーバ602は、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを、複数のデータパケットに変換し得る。更に、ステップ910は、図1の処理ユニット120によって実行され得る。場合によっては、レンダリングされたコンテンツを複数のデータパケットに変換することは、レンダリングされたコンテンツを複数のデータパケットにパケット化することを含み得る。
【0100】
[0109] 912において、サーバは、図1図6の例に関して説明されるように、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツに対応する複数のデータパケットをクライアントデバイスへ送信することができる。例えば、図6の640において説明されるように、サーバ602は、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツに対応する複数のデータパケットを、クライアントデバイスに送信し得る。更に、ステップ912は、図1の処理ユニット120によって実行され得る。
【0101】
[0110] 図10は、本開示の1つ又は複数の技法による、グラフィックス処理の例示的な方法のフローチャート1000である。方法は、グラフィックス処理のための装置、グラフィックスプロセッサ、ワイヤレス通信デバイス、及び/又は図1図6の例に関して使用されるようなグラフィックス処理を実行し得る任意の装置に関連付けられていてもよい、サーバによって実行され得る。本明細書で説明する方法は、通信シグナリング、リソース利用、及び/又は電力節約を改善するなど、いくつかの利益を提供し得る。
【0102】
[0111] 1002において、サーバは、図1図6の例に関して説明されるように、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータを受信し得、複数のフレームの各々についてのデータは、単色カラーデータ又は多色カラーデータである。例えば、図6の610において説明されるように、サーバ602は、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータを受信し得、複数のフレームの各々についてのデータは、単色カラーデータ又は多色カラーデータである。更に、ステップ1002は、図1の処理ユニット120によって実行され得る。場合によっては、少なくとも1つのアプリケーションは、複数のフレームの色生成に関連付けられ得、少なくとも1つのアプリケーションに関連付けられたハードウェア又はソフトウェアは、ルミナンスカラーデータを生成し得る。少なくとも1つのアプリケーションは、少なくとも1つのゲーム、少なくとも1つのビデオ、少なくとも1つのシンボル、少なくとも1つのアイコン、又は表示されたコンテンツであり得る。また、複数のフレームの各々についてのデータは、ルミナンス(Y)クロミナンス(UV)(YUV)カラーデータ、赤(R)緑(G)青(B)(RGB)カラーデータ、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)カラーデータに対応してもよい。
【0103】
[0112] いくつかの態様では、複数のフレームの各々についてのデータは、複数の入力チャネル又は複数の入力平面に関連付けられ得、複数の入力平面は、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み得る。また、複数のフレームの各々についての多色カラーデータは、フルカラーデータ又は部分カラーデータを含み得、複数のフレームの各々についてのデータが受信されると、多色カラーデータは、少なくとも1つのアプリケーションによって生成又は復号されなくてもよい。複数のデータパケットの送信は、ワイヤレス送信、有線送信、又は周辺構成要素相互接続エクスプレス(PCIE)プロセスのうちの少なくとも1つに対応し得る。サーバは、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり得、クライアントデバイスは、ヘッドセット、ヘッドマウントディスプレイ(HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つであり得る。
【0104】
[0113] 1004において、図1図6の例に関して説明されるように、サーバは、複数のフレームの各々についてのデータに関連付けられたコンテンツをレンダリングするように構成されてもよく、レンダリングされたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。例えば、図6の620において説明されるように、サーバ602は、複数のフレームの各々についてのデータに関連付けられたコンテンツをレンダリングし得、レンダリングされたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。更に、ステップ1004は、図1の処理ユニット120によって実行され得る。複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツがルミナンス平面に対応し得るように、単色のカラーコンテンツ又はルミナンス成分はルミナンス平面に対応し得る。複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツは、ルミナンス成分を含み得、クロミナンス成分を含まなくてもよい。複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツは、単色のカラーコンテンツを含み得、レンダリングされたコンテンツは、単色のカラーコンテンツ以外のカラーコンテンツを含まなくてもよい。
【0105】
[0114] 1006において、図1図6の例に関して説明されるように、サーバは、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを符号化し得、レンダリングされたコンテンツは、変換される前に符号化され、符号化されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。例えば、図6の622において説明されるように、サーバ602は、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツ符号化し得、レンダリングされたコンテンツは、変換される前に符号化され、符号化されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。更に、ステップ1006は、図1の処理ユニット120によって実行され得る。
【0106】
[0115] 1008において、図1図6の例に関して説明されるように、サーバは、複数のフレームの各々についてのデータに関連付けられた符号化されたコンテンツを暗号化し得、符号化されたコンテンツは、変換される前に暗号化され、暗号化されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。例えば、図6の624で説明されるように、サーバ602は、複数のフレームの各々についてのデータに関連付けられた符号化されたコンテンツを暗号化し得、符号化されたコンテンツは、変換される前に暗号化され、暗号化されたコンテンツは、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む。更に、ステップ1008は、図1の処理ユニット120によって実行され得る。
【0107】
[0116] 1010において、サーバは、図1図6の例に関して説明されるように、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを、複数のデータパケットに変換し得る。例えば、図6の630において説明されるように、サーバ602は、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを、複数のデータパケットに変換し得る。更に、ステップ1010は、図1の処理ユニット120によって実行され得る。場合によっては、レンダリングされたコンテンツを複数のデータパケットに変換することは、レンダリングされたコンテンツを複数のデータパケットにパケット化することを含み得る。
【0108】
[0117] 1012において、サーバは、図1図6の例に関して説明されるように、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツに対応する複数のデータパケットをクライアントデバイスへ送信することができる。例えば、図6の640において説明されるように、サーバ602は、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツに対応する複数のデータパケットを、クライアントデバイスに送信し得る。更に、ステップ1012は、図1の処理ユニット120によって実行され得る。
【0109】
[0118] 構成では、グラフィックス処理のための方法又は装置が提供される。本装置は、GPU、グラフィックスプロセッサ、又はグラフィックス処理を実行し得る何らかの他のプロセッサに関連付けられ得るサーバ又はクライアントデバイスであり得る。態様では、装置は、デバイス104内の処理ユニット120であり得るか、又はデバイス104若しくは別のデバイス内の何らかの他のハードウェアであり得る。装置、例えば、処理ユニット120は、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、複数のフレームの各々についてのデータは、単色カラーデータ又は多色カラーデータである、データに対応する複数のデータパケットをサーバから受信するための手段と、複数のデータパケットを、複数のフレームの各々についてのデータに関連付けられたコンテンツであって、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、コンテンツに変換する手段と、複数のフレームの各々についてのデータに関連付けられたコンテンツに対して、少なくとも1つのクロミナンス平面をコンテンツに追加する色空間変換を実行する手段と、色空間変換を実行すると、複数のフレームの各々についてのデータに関連付けられたコンテンツを表示する手段と、複数のフレームの各々についてのデータに関連付けられたコンテンツを暗号化解除する手段であって、コンテンツが、色空間変換の前に暗号化解除され、暗号化解除されたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、手段と、複数のフレームの各々についてのデータに関連付けられた暗号化解除されたコンテンツを復号する手段であって、コンテンツが、色空間変換の前に復号され、復号されたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、手段と、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データを受信する手段と、複数のフレームの各々についてのデータに関連付けられたコンテンツをレンダリングする手段であって、レンダリングされたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、手段と、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを、複数のデータパケットに変換する手段と、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツに対応する複数のデータパケットを、クライアントデバイスに送信する手段と、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを符号化する手段であって、レンダリングされたコンテンツが、変換される前に符号化され、符号化されたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、手段と、複数のフレームの各々についてのデータに関連付けられた符号化されたコンテンツを暗号化する手段であって、符号化されたコンテンツが、変換される前に暗号化され、暗号化されたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、手段と、を含み得る。
【0110】
[0119] 本明細書で説明する主題は、1つ又は複数の利益又は利点を実現するために実装され得る。例えば、記載されたグラフィックス処理技法は、サーバ、クライアントデバイス、GPU、グラフィックスプロセッサ、又は本明細書に記載されたクロミナンス最適化技法を実装するためにグラフィックス処理を実行し得る他の何らかのプロセッサによって使用されてもよい。このことはまた、他のグラフィックス処理技法と比較して、低コストで達成され得る。更に、本明細書のグラフィックス処理技法は、データ処理又は実行を改善又は加速させ得る。更に、本明細書のグラフィックス処理技法は、リソース若しくはデータ利用、及び/又はリソース効率を改善し得る。加えて、本開示の態様は、メモリ帯域幅効率を改善し、及び/又はGPUにおける処理速度を増加させるために、クロミナンス最適化技法を利用し得る。
【0111】
[0120] 開示されているプロセス/フローチャートにおけるブロックの、特定の順序又は階層は、例示的な手法の一例である点を理解されたい。設計選好に基づいて、それらのプロセス/フローチャートにおけるブロックの特定の順序又は階層を、再構成することができる点を理解されたい。更には、いくつかのブロックを組み合わせるか、又は省略することもできる。添付の方法請求項は、様々なブロックの要素を、例示的な順序で提示するものであり、提示されている特定の順序又は階層に限定されることを意味するものではない。
【0112】
[0121] 前述の説明は、本明細書で説明されている様々な態様を、あらゆる当業者が実践することを可能にするために提供されている。これらの態様に対する様々な修正が、当業者には容易に明らかとなり、本明細書で定義されている一般的原理は、他の態様に適用することもできる。したがって、特許請求の範囲は、本明細書に示す態様に限定されるものではなく、特許請求の範囲の言語に一致する全範囲を与えられるべきであり、単数形での要素への言及は、そのように明記されていない限り、「唯一無二の」を意味するものではなく、むしろ「1つ又は複数の」を意味するものである。「例示的(exemplary)」という語は、本明細書では、「例、事例、又は例示としての役割を果たす」という意味で使用される。「例示的」として本明細書に説明のいずれの態様も、必ずしも他の態様よりも好ましい又は有利であると解釈されるべきではない。
【0113】
[0122] 別段に明記されていない限り、「いくつか」という用語は、1つ又は複数を指し、「又は」という用語は、文脈が別段に規定しない限り、「及び/又は」として解釈され得る。「A、B、又はCのうちの少なくとも1つ」、「A、B、又はCのうちの1つ又は複数」、「A、B、及びCのうちの少なくとも1つ」、「A、B、及びCのうちの1つ又は複数」、並びに「A、B、C、又はそれらの任意の組み合わせ」などの組み合わせは、A、B、及び/又はCの任意の組み合わせを含むものであり、複数のA、複数のB、又は複数のCを含み得る。具体的には、「A、B、又はCのうちの少なくとも1つ」、「A、B、又はCのうちの1つ又は複数」、「A、B、及びCのうちの少なくとも1つ」、「A、B、及びCのうちの1つ又は複数」、並びに「A、B、C、又はそれらの任意の組み合わせ」などの組み合わせは、Aのみ、Bのみ、Cのみ、A及びB、A及びC、B及びC、あるいは、A及びB及びCとすることができ、任意のそのような組み合わせは、A、B、又はCのうちの1つ又は複数の要素を含み得る。当業者に知られているか、又は後に知られるようになる、本開示全体を通じて説明される様々な態様の要素のすべての構造的及び機能的等価物は、参照により本明細書に明示的に組み込まれ、請求項によって包含されることを意図される。更には、本明細書で開示されるものはいずれも、そのような開示が特許請求の範囲において明示的に列挙されているか否かにかかわらず、公に供されることを意図するものではない。「モジュール」、「機構」、「要素」、「デバイス」などの語は、「手段」という語の代用ではない場合がある。それゆえ、特許請求の範囲のいかなる要素も、その要素が「~のための手段」という語句を使用して明示的に列挙されていない限り、ミーンズプラスファンクションとして解釈されるべきではない。
【0114】
[0123] 1つ又は複数の例では、本明細書で説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実装され得る。例えば、「処理ユニット」という用語が本開示全体にわたって使用されているが、そのような処理ユニットは、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実装され得る。本明細書で説明する任意の機能、処理ユニット、技法、又は他のモジュールが、ソフトウェアにおいて実装される場合、本明細書で説明するその機能、処理ユニット、技法、又は他のモジュールは、コンピュータ可読媒体上の1つ又は複数の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、又は送信され得る。
【0115】
[0124] 本開示によれば、「又は」という用語は、文脈が別段に規定しない限り、「及び/又は」として解釈され得る。加えて、「1つ又は複数の」又は「少なくとも1つの」などの語句が、本明細書で開示するいくつかの特徴に対して使用されており、他の特徴に対しては使用されていないことがあるが、そのような言葉が使用されなかった特徴は、文脈が別段に規定しない限り、そのような示唆される意味を有するものと解釈され得る。
【0116】
[0125] 1つ又は複数の例では、本明細書で説明する機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実装され得る。例えば、「処理ユニット」という用語が本開示全体にわたって使用されているが、そのような処理ユニットは、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実装され得る。本明細書で説明する任意の機能、処理ユニット、技法、又は他のモジュールが、ソフトウェアにおいて実装される場合、本明細書で説明するその機能、処理ユニット、技法、又は他のモジュールは、コンピュータ可読媒体上の1つ又は複数の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、又は送信され得る。コンピュータ可読媒体は、コンピュータデータ記憶媒体、又はコンピュータプログラムを1つの場所から別の場所に転送することを容易にする任意の媒体を含む通信媒体を含むことができる。このように、コンピュータ可読媒体は一般に、(1)非一時的である有形コンピュータ可読記憶媒体、又は(2)信号若しくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示に記載された技法を実装するための命令、コード、及び/又はデータ構造を取り出すために、1つ又は複数のコンピュータ又は1つ又は複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、RAM、ROM、EEPROM、CD-ROM又は他の光ディスクストレージ、磁気ディスクストレージ又は他の磁気ストレージデバイスを備え得る。本明細書で使用するディスク(disk)及びディスク(disc)は、コンパクトディスク(disc)(compact disc、CD)、レーザーディスク(disc)、光ディスク(disc)、デジタル多用途ディスク(digital versatile disc、DVD)、フロッピーディスク(disk)、及びBlu-rayディスク(disc)を含み、ここで、ディスク(disk)は、通常、データを磁気的に再生し、ディスク(disc)は、レーザーを用いてデータを光学的に再生する。上記の組み合わせもコンピュータ可読媒体の範囲内に含まれるべきである。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。
【0117】
[0126] コードは、1つ又は複数のデジタル信号プロセッサ(DSPs)、汎用マイクロプロセッサ、特定用途向け集積回路(ASICs)、算術論理ユニット(ALUs)、フィールドプログラマブル論理アレイ(FPGAs)、又は他の等価な集積論理回路若しくはディスクリート論理回路など、1つ又は複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、又は本明細書で説明する技術の実装に好適な任意の他の構造のいずれかを指すことがある。また、技法は、1つ又は複数の回路又は論理要素において完全に実装されてもよい。
【0118】
[0127] 本開示の技法は、ワイヤレスハンドセット、集積回路(integrated circuit、IC)又はICのセット、例えば、チップセットを含む、多種多様なデバイス又は装置において実装され得る。本開示では、開示される技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール又はユニットが説明されたが、それらの構成要素、モジュール又はユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットの中で結合されてもよく、又は適切なソフトウェア及び/若しくはファームウェアとともに、上記で説明したような1つ又は複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてよい。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、又は本明細書で説明する技術の実装に好適な任意の他の構造のいずれかを指すことがある。また、技法は、1つ又は複数の回路又は論理要素において完全に実装され得る。
【0119】
[0128] 以下の態様は、例示的なものにすぎず、限定なしで、本明細書で説明した他の態様又は教示と組み合わされ得る。
【0120】
[0129] 態様1は、クライアントデバイスにおけるグラフィックス処理のための装置であって、メモリに結合された少なくとも1つのプロセッサを含み、少なくとも1つのプロセッサが、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データに対応する複数のデータパケットをサーバから受信し、複数のデータパケットを、複数のフレームの各々についてのデータに関連付けられたコンテンツであって単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、コンテンツに変換し、複数のフレームの各々についてのデータに関連付けられたコンテンツに対して、少なくとも1つのクロミナンス平面をコンテンツに追加する色空間変換を実行し、色空間変換を実行すると、複数のフレームの各々についてのデータに関連付けられたコンテンツを表示する、ように構成されている、装置である。
【0121】
[0130] 態様2は、態様1に記載の装置であって、装置少なくとも1つのプロセッサは、複数のフレームの各々についてのデータに関連付けられたコンテンツを暗号化解除するように更に構成されており、コンテンツが、色空間変換の前に暗号化解除され、暗号化解除されたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、態様1に記載の装置である。
【0122】
[0131] 態様3は、態様1又は2に記載の装置であって、少なくとも1つのプロセッサが、複数のフレームの各々についてのデータに関連付けられた暗号化解除されたコンテンツを復号するように更に構成されており、コンテンツが、色空間変換の前に復号され、復号されたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、態様1又は2に記載の装置である。
【0123】
[0132] 態様4は、態様1~3のいずれかに記載の装置であって、複数のフレームの各々についてのデータに関連付けられたコンテンツが、色空間変換の後にルミナンス平面と少なくとも1つのクロミナンス平面とを含むように、単色のカラーコンテンツ又はルミナンス成分が、ルミナンス平面に対応する、態様1~3のいずれかに記載の装置である。
【0124】
[0133] 態様5は、態様1~4のいずれかに記載の装置であって、複数のフレームの各々についてのデータに関連付けられたコンテンツが色空間変換の前にクロミナンス成分を含まないように、コンテンツが色空間変換の前にルミナンス成分を含む、態様1~4のいずれかに記載の装置である。
【0125】
[0134] 態様6は、態様1~5のいずれかに記載の装置であって、複数のフレームの各々についてのデータに関連付けられたコンテンツが色空間変換の前に単色のカラーコンテンツ以外のカラーコンテンツを含まないように、コンテンツが色空間変換の前に単色のカラーコンテンツを含む、態様1~5のいずれかに記載の装置である。
【0126】
[0135] 態様7は、態様1~6のいずれかに記載の装置であって、複数のデータパケットをコンテンツに変換するために、少なくとも1つのプロセッサが、複数のデータパケットをコンテンツにデパケット化するように構成されている、態様1~6のいずれかに記載の装置である。
【0127】
[0136] 態様8は、態様1~7のいずれかに記載の装置であって、少なくとも1つのクロミナンス平面が、少なくとも1つのダミークロミナンス平面、少なくとも1つのプレースホルダクロミナンス平面、少なくとも1つのスタンドインクロミナンス平面、少なくとも1つの疑似クロミナンス平面、又は少なくとも1つのフェイククロミナンス平面である、態様1~7のいずれかに記載の装置である。
【0128】
[0137] 態様9は、態様1~8のいずれかに記載の装置であって、少なくとも1つのクロミナンス平面が、初期化期間に準備され、少なくとも1つのクロミナンス平面が、静的カラーフィルデータに関連付けられる、態様1~8のいずれかに記載の装置である。
【0129】
[0138] 態様10は、態様1~9のいずれかに記載の装置であって、少なくとも1つのクロミナンス平面が、機械学習(ML)、ディープラーニング、ハードウェア機構、少なくとも1つのニューラルネットワーク(NN)、又は少なくとも1つのオープン基準を介して、ルミナンスコンテンツ又はユーザ構成に基づく1つ又は複数の疑似色を使用して準備される、態様1~9のいずれかに記載の装置である。
【0130】
[0139] 態様11は、態様1~10のいずれかに記載の装置であって、色空間変換が、ルミナンス(Y)クロミナンス(UV)(YUV)色変換、赤(R)緑(G)青(B)(RGB)色変換、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)色変換である、態様1~10のいずれかに記載の装置である。
【0131】
[0140] 態様12は、態様1~11のいずれかに記載の装置であって、少なくとも1つのアプリケーションが、複数のフレームの色生成に関連付けられ、少なくとも1つのアプリケーションに関連付けられたハードウェア又はソフトウェアが、ルミナンスカラーデータを生成し、少なくとも1つのアプリケーションが、少なくとも1つのゲーム、少なくとも1つのビデオ、少なくとも1つのシンボル、少なくとも1つのアイコン、又は表示されたコンテンツである、態様1~11のいずれかに記載の装置である。
【0132】
[0141] 態様13は、態様1~12のいずれかに記載の装置であって、複数のフレームの各々についてのデータが、ルミナンス(Y)クロミナンス(UV)(YUV)カラーデータ、赤(R)緑(G)青(B)(RGB)カラーデータ、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)カラーデータに対応する、態様1~12のいずれかに記載の装置である。
【0133】
[0142] 態様14は、態様1~13のいずれかに記載の装置であって、複数のフレームの各々についてのデータが、複数の入力チャネル又は複数の入力平面に関連付けられ、複数の入力平面が、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み、複数のフレームの各々についての多色カラーデータが、フルカラーデータ又は部分カラーデータを含む、態様1~13のいずれかに記載の装置である。
【0134】
[0143] 態様15は、態様1~14のいずれかに記載の装置であって、複数のデータパケットの受信が、ワイヤレス送信、有線送信、又は周辺構成要素相互接続エクスプレス(PCIE)プロセスのうちの少なくとも1つに対応する、態様1~14のいずれかに記載の装置である。
【0135】
[0144] 態様16は、態様1~15のいずれかに記載の装置であって、サーバが、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり、クライアントデバイスが、ヘッドセット、ヘッドマウントディスプレイ(HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つである、態様1~15のいずれかに記載の装置である。
【0136】
[0145] 態様17は、少なくとも1つのプロセッサに結合されたアンテナ又はトランシーバのうちの少なくとも1つを更に含む、態様1~16のいずれかに記載の装置である。
【0137】
[0146] 態様18は、態様1~17のいずれかを実装するためのグラフィックス処理の方法である。
【0138】
[0147] 態様19は、態様1~17のいずれかを実装するための手段を含む、グラフィックス処理のための装置である。
【0139】
[0148] 態様20は、コンピュータ実行可能コードを記憶するコンピュータ可読媒体であって、コードが、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、態様1から17のいずれかを実装させる、コンピュータ可読媒体である。
【0140】
[0149] 態様21は、サーバにおけるグラフィックス処理のための装置であって、メモリに結合された少なくとも1つのプロセッサを含み、少なくとも1つのプロセッサが、少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データを受信し、複数のフレームの各々についてのデータに関連付けられたコンテンツをレンダリングし、レンダリングされたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含み、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを、複数のデータパケットに変換し、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツに対応する複数のデータパケットを、クライアントデバイスに送信する、ように構成されている、装置である。
【0141】
[0150] 態様22は、態様21に記載の装置であって、少なくとも1つのプロセッサが、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツを符号化するように更に構成されており、レンダリングされたコンテンツが、変換される前に符号化され、符号化されたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、態様21に記載の装置である。
【0142】
[0151] 態様23は、態様21又は22に記載の装置であって、少なくとも1つのプロセッサが、複数のフレームの各々についてのデータに関連付けられた符号化されたコンテンツを暗号化するように更に構成されており、符号化されたコンテンツが、変換される前に暗号化され、暗号化されたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、態様21又は22に記載の装置である。
【0143】
[0152] 態様24は、態様21~23のいずれかに記載の装置であって、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツがルミナンス平面に対応するように、単色のカラーコンテンツ又はルミナンス成分が、ルミナンス平面に対応する、態様21~23のいずれかに記載の装置である。
【0144】
[0153] 態様25は、態様21~24のいずれかに記載の装置であって、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツが、ルミナンス成分を含み、クロミナンス成分を含まない、態様21~24のいずれかに記載の装置である。
【0145】
[0154] 態様26は、態様21~25のいずれかに記載の装置であって、複数のフレームの各々についてのデータに関連付けられたレンダリングされたコンテンツが、単色のカラーコンテンツを含み、単色のカラーコンテンツ以外のカラーコンテンツを含まない、態様21~25のいずれかに記載の装置である。
【0146】
[0155] 態様27は、態様21~26のいずれかに記載の装置であって、レンダリングされたコンテンツを複数のデータパケットに変換するために、少なくとも1つのプロセッサが、レンダリングされたコンテンツを複数のデータパケットにパケット化するように構成されている、態様21~26のいずれかに記載の装置である。
【0147】
[0156] 態様28は、態様21~27のいずれかに記載の装置であって、少なくとも1つのアプリケーションが、複数のフレームの色生成に関連付けられ、少なくとも1つのアプリケーションに関連付けられたハードウェア又はソフトウェアが、ルミナンスカラーデータを生成し、少なくとも1つのアプリケーションが、少なくとも1つのゲーム、少なくとも1つのビデオ、少なくとも1つのシンボル、少なくとも1つのアイコン、又は表示されたコンテンツである、態様21~27のいずれかに記載の装置である。
【0148】
[0157] 態様29は、態様21~28のいずれかに記載の装置であって、複数のフレームの各々についてのデータが、ルミナンス(Y)クロミナンス(UV)(YUV)カラーデータ、赤(R)緑(G)青(B)(RGB)カラーデータ、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)カラーデータに対応する、態様21~28のいずれかに記載の装置である。
【0149】
[0158] 態様30は、態様21~29のいずれかに記載の装置であって、複数のフレームの各々についてのデータが、複数の入力チャネル又は複数の入力平面に関連付けられ、複数の入力平面が、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み、複数のフレームの各々についての多色カラーデータが、フルカラーデータ又は部分カラーデータを含み、複数のフレームの各々についてのデータが受信されると、多色カラーデータが、少なくとも1つのアプリケーションによって生成又は復号されない、態様21~29のいずれかに記載の装置である。
【0150】
[0159] 態様31は、態様21~30のいずれかに記載の装置であって、複数のデータパケットの送信が、ワイヤレス送信、有線送信、又は周辺構成要素相互接続エクスプレス(PCIE)プロセスのうちの少なくとも1つに対応する、態様21~30のいずれかに記載の装置である。
【0151】
[0160] 態様32は、態様21~31のいずれかに記載の装置であって、サーバは、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり、クライアントデバイスは、ヘッドセット、ヘッドマウントディスプレイ(HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つである、態様21~31のいずれかに記載の装置である。
【0152】
[0161] 態様33は、少なくとも1つのプロセッサに結合されたアンテナ又はトランシーバのうちの少なくとも1つを更に含む、態様21~32のいずれかに記載の装置である。
【0153】
[0162] 態様34は、態様21~33のいずれかを実装するためのグラフィックス処理の方法である。
【0154】
[0163] 態様35は、態様21~33のいずれかを実装するための手段を含む、グラフィックス処理のための装置である。
【0155】
[0164] 態様36は、コンピュータ実行可能コードを記憶するコンピュータ可読媒体であって、コードが、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、態様21~33のいずれかを実装させる、コンピュータ可読媒体である。

図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
【手続補正書】
【提出日】2024-06-05
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
クライアントデバイスにおけるグラフィックス処理のための装置であって、
メモリと、
前記メモリに結合された少なくとも1つのプロセッサと、
を備え、前記少なくとも1つのプロセッサが、
少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データに対応する複数のデータパケットをサーバから受信し、
前記複数のデータパケットを、前記複数のフレームの各々についての前記データに関連付けられたコンテンツであって、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、コンテンツに変換し、
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツに対して、少なくとも1つのクロミナンス平面を前記コンテンツに追加する色空間変換を実行し、
前記色空間変換を実行すると、前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツを表示する、
ように構成されており、
前記少なくとも1つのクロミナンス平面が、少なくとも1つのダミークロミナンス平面、少なくとも1つのプレースホルダクロミナンス平面、少なくとも1つのスタンドインクロミナンス平面、少なくとも1つの疑似クロミナンス平面、又は少なくとも1つのフェイククロミナンス平面である、装置。
【請求項2】
前記少なくとも1つのプロセッサが、
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツを暗号化解除するように更に構成されており、前記コンテンツが、前記色空間変換の前に暗号化解除され、前記暗号化解除されたコンテンツが、前記単色のカラーコンテンツ又は前記ルミナンス成分のうちの少なくとも1つを含む、請求項1に記載の装置。
【請求項3】
前記少なくとも1つのプロセッサが、
前記複数のフレームの各々についての前記データに関連付けられた前記暗号化解除されたコンテンツを復号するように更に構成されており、前記コンテンツが、前記色空間変換の前に復号され、前記復号されたコンテンツが、前記単色のカラーコンテンツ又は前記ルミナンス成分のうちの少なくとも1つを含む、請求項2に記載の装置。
【請求項4】
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツが前記色空間変換の後にルミナンス平面と前記少なくとも1つのクロミナンス平面とを含むように、前記単色のカラーコンテンツ又は前記ルミナンス成分が、前記ルミナンス平面に対応する、請求項1に記載の装置。
【請求項5】
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツが前記色空間変換の前にクロミナンス成分を含まないように、前記コンテンツが、前記色空間変換の前に前記ルミナンス成分を含む、請求項1に記載の装置。
【請求項6】
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツが前記色空間変換の前に前記単色のカラーコンテンツ以外のカラーコンテンツを含まないように、前記コンテンツが、前記色空間変換の前に前記単色のカラーコンテンツを含む、請求項1に記載の装置。
【請求項7】
前記複数のデータパケットを前記コンテンツに変換するために、前記少なくとも1つのプロセッサが、前記複数のデータパケットを前記コンテンツにデパケット化するように構成されている、請求項1に記載の装置。
【請求項8】
前記少なくとも1つのクロミナンス平面が、初期化期間に準備され、前記少なくとも1つのクロミナンス平面が、静的カラーフィルデータに関連付けられる、請求項1に記載の装置。
【請求項9】
前記少なくとも1つのクロミナンス平面が、機械学習(ML)、ディープラーニング、ハードウェア機構、少なくとも1つのニューラルネットワーク(NN)、又は少なくとも1つのオープン基準を介して、ルミナンスコンテンツ又はユーザ構成に基づく1つ又は複数の疑似色を使用して準備される、請求項1に記載の装置。
【請求項10】
前記色空間変換が、ルミナンス(Y)クロミナンス(UV)(YUV)色変換、赤(R)緑(G)青(B)(RGB)色変換、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)色変換である、請求項1に記載の装置。
【請求項11】
前記少なくとも1つのアプリケーションが、前記複数のフレームの色生成に関連付けられ、前記少なくとも1つのアプリケーションに関連付けられたハードウェア又はソフトウェアが、ルミナンスカラーデータを生成し、
前記少なくとも1つのアプリケーションが、少なくとも1つのゲーム、少なくとも1つのビデオ、少なくとも1つのシンボル、少なくとも1つのアイコン、又は表示されたコンテンツである、請求項1に記載の装置。
【請求項12】
前記複数のフレームの各々についての前記データが、ルミナンス(Y)クロミナンス(UV)(YUV)カラーデータ、赤(R)緑(G)青(B)(RGB)カラーデータ、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)カラーデータに対応する、請求項1に記載の装置。
【請求項13】
前記複数のフレームの各々についての前記データが、複数の入力チャネル又は複数の入力平面に関連付けられ、前記複数の入力平面が、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み、
前記複数のフレームの各々についての前記多色カラーデータが、フルカラーデータ又は部分カラーデータを含む、請求項1に記載の装置。
【請求項14】
前記複数のデータパケットの前記受信が、ワイヤレス送信、有線送信、又は周辺構成要素相互接続エクスプレス(PCIE)プロセスのうちの少なくとも1つに対応する、請求項1に記載の装置。
【請求項15】
前記少なくとも1つのプロセッサに結合されたアンテナ又はトランシーバのうちの少なくとも1つを更に備える請求項1に記載の装置であって、前記サーバが、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり、前記クライアントデバイスが、ヘッドセット、ヘッドマウントディスプレイ(HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つである、請求項1に記載の装置。
【請求項16】
サーバにおけるグラフィックス処理のための装置であって、
メモリと、
前記メモリに結合された少なくとも1つのプロセッサと、
を備え、前記少なくとも1つのプロセッサが、
少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データを受信し、
前記複数のフレームの各々についての前記データに関連付けられたコンテンツをレンダリングし、前記レンダリングされたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含み、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツを、複数のデータパケットに変換し、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツに対応する前記複数のデータパケットを、クライアントデバイスに送信する、
ように構成されており、
前記複数のフレームの各々についての前記データが、複数の入力チャネル又は複数の入力平面に関連付けられ、前記複数の入力平面が、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み、
前記少なくとも1つのクロミナンス平面が、少なくとも1つのダミークロミナンス平面、少なくとも1つのプレースホルダクロミナンス平面、少なくとも1つのスタンドインクロミナンス平面、少なくとも1つの疑似クロミナンス平面、又は少なくとも1つのフェイククロミナンス平面である、装置。
【請求項17】
前記少なくとも1つのプロセッサが、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツを符号化するように更に構成されており、前記レンダリングされたコンテンツが変換される前に符号化され、前記符号化されたコンテンツが前記単色のカラーコンテンツ又は前記ルミナンス成分のうちの少なくとも1つを含む、請求項16に記載の装置。
【請求項18】
前記少なくとも1つのプロセッサが、
前記複数のフレームの各々についての前記データに関連付けられた前記符号化されたコンテンツを暗号化するように更に構成されており、前記符号化されたコンテンツが変換される前に暗号化され、前記暗号化されたコンテンツは前記単色のカラーコンテンツ又は前記ルミナンス成分のうちの少なくとも1つを含む、請求項17に記載の装置。
【請求項19】
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツがルミナンス平面に対応するように、前記単色のカラーコンテンツ又は前記ルミナンス成分が、前記ルミナンス平面に対応する、請求項16に記載の装置。
【請求項20】
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツが、前記ルミナンス成分を含み、クロミナンス成分を含まない、請求項16に記載の装置。
【請求項21】
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツが、前記単色のカラーコンテンツを含み、前記単色のカラーコンテンツ以外のカラーコンテンツを含まない、請求項16に記載の装置。
【請求項22】
前記レンダリングされたコンテンツを前記複数のデータパケットに変換するために、前記少なくとも1つのプロセッサが、前記レンダリングされたコンテンツを前記複数のデータパケットにパケット化するように構成されている、請求項16に記載の装置。
【請求項23】
前記少なくとも1つのアプリケーションが、前記複数のフレームの色生成に関連付けられ、前記少なくとも1つのアプリケーションに関連付けられたハードウェア又はソフトウェアが、ルミナンスカラーデータを生成し、
前記少なくとも1つのアプリケーションが、少なくとも1つのゲーム、少なくとも1つのビデオ、少なくとも1つのシンボル、少なくとも1つのアイコン、又は表示されたコンテンツである、請求項16に記載の装置。
【請求項24】
前記複数のフレームの各々についての前記データが、ルミナンス(Y)クロミナンス(UV)(YUV)カラーデータ、赤(R)緑(G)青(B)(RGB)カラーデータ、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)カラーデータに対応する、請求項16に記載の装置。
【請求項25】
記複数のフレームの各々についての前記多色カラーデータが、フルカラーデータ又は部分カラーデータを含み、前記複数のフレームの各々についての前記データが受信されると、前記多色カラーデータが、前記少なくとも1つのアプリケーションによって生成又は復号されない、請求項16に記載の装置。
【請求項26】
前記複数のデータパケットの前記送信が、ワイヤレス送信、有線送信、又は周辺構成要素相互接続エクスプレス(PCIE)プロセスのうちの少なくとも1つに対応する、請求項16に記載の装置。
【請求項27】
前記少なくとも1つのプロセッサに結合されたアンテナ又はトランシーバのうちの少なくとも1つを更に備える請求項16に記載の装置であって、前記サーバが、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり、前記クライアントデバイスが、ヘッドセット、ヘッドマウントディスプレイ(HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つである、請求項16に記載の装置。
【請求項28】
クライアントデバイスにおけるグラフィックス処理の方法であって、
少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データに対応する複数のデータパケットをサーバから受信することと、
前記複数のデータパケットを、前記複数のフレームの各々についての前記データに関連付けられたコンテンツであって、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、コンテンツに変換することと、
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツに対して、少なくとも1つのクロミナンス平面を前記コンテンツに追加する色空間変換を実行することと、
前記色空間変換を実行すると、前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツを表示することと、
備え、
前記少なくとも1つのクロミナンス平面が、少なくとも1つのダミークロミナンス平面、少なくとも1つのプレースホルダクロミナンス平面、少なくとも1つのスタンドインクロミナンス平面、少なくとも1つの疑似クロミナンス平面、又は少なくとも1つのフェイククロミナンス平面である、方法。
【請求項29】
サーバにおけるグラフィックス処理の方法であって、
少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データを受信することと、
前記複数のフレームの各々についての前記データに関連付けられたコンテンツをレンダリングすることであって、前記レンダリングされたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、ことと、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツを、複数のデータパケットに変換することと、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツに対応する前記複数のデータパケットを、クライアントデバイスに送信することと、
備え、
前記複数のフレームの各々についての前記データが、複数の入力チャネル又は複数の入力平面に関連付けられ、前記複数の入力平面が、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み、
前記少なくとも1つのクロミナンス平面が、少なくとも1つのダミークロミナンス平面、少なくとも1つのプレースホルダクロミナンス平面、少なくとも1つのスタンドインクロミナンス平面、少なくとも1つの疑似クロミナンス平面、又は少なくとも1つのフェイククロミナンス平面である、方法。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0155
【補正方法】変更
【補正の内容】
【0155】
[0164] 態様36は、コンピュータ実行可能コードを記憶するコンピュータ可読媒体であって、コードが、少なくとも1つのプロセッサによって実行されると、少なくとも1つのプロセッサに、態様21~33のいずれかを実装させる、コンピュータ可読媒体である。
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
[C1]
クライアントデバイスにおけるグラフィックス処理のための装置であって、
メモリと、
前記メモリに結合された少なくとも1つのプロセッサと、
を備え、前記少なくとも1つのプロセッサが、
少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データに対応する複数のデータパケットをサーバから受信し、
前記複数のデータパケットを、前記複数のフレームの各々についての前記データに関連付けられたコンテンツであって、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、コンテンツに変換し、
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツに対して、少なくとも1つのクロミナンス平面を前記コンテンツに追加する色空間変換を実行し、
前記色空間変換を実行すると、前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツを表示する、
ように構成されている、装置。
[C2]
前記少なくとも1つのプロセッサが、
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツを暗号化解除するように更に構成されており、前記コンテンツが、前記色空間変換の前に暗号化解除され、前記暗号化解除されたコンテンツが、前記単色のカラーコンテンツ又は前記ルミナンス成分のうちの少なくとも1つを含む、[C1]に記載の装置。
[C3]
前記少なくとも1つのプロセッサが、
前記複数のフレームの各々についての前記データに関連付けられた前記暗号化解除されたコンテンツを復号するように更に構成されており、前記コンテンツが、前記色空間変換の前に復号され、前記復号されたコンテンツが、前記単色のカラーコンテンツ又は前記ルミナンス成分のうちの少なくとも1つを含む、[C2]に記載の装置。
[C4]
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツが前記色空間変換の後にルミナンス平面と前記少なくとも1つのクロミナンス平面とを含むように、前記単色のカラーコンテンツ又は前記ルミナンス成分が、前記ルミナンス平面に対応する、[C1]に記載の装置。
[C5]
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツが前記色空間変換の前にクロミナンス成分を含まないように、前記コンテンツが、前記色空間変換の前に前記ルミナンス成分を含む、[C1]に記載の装置。
[C6]
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツが前記色空間変換の前に前記単色のカラーコンテンツ以外のカラーコンテンツを含まないように、前記コンテンツが、前記色空間変換の前に前記単色のカラーコンテンツを含む、[C1]に記載の装置。
[C7]
前記複数のデータパケットを前記コンテンツに変換するために、前記少なくとも1つのプロセッサが、前記複数のデータパケットを前記コンテンツにデパケット化するように構成されている、[C1]に記載の装置。
[C8]
前記少なくとも1つのクロミナンス平面が、少なくとも1つのダミークロミナンス平面、少なくとも1つのプレースホルダクロミナンス平面、少なくとも1つのスタンドインクロミナンス平面、少なくとも1つの疑似クロミナンス平面、又は少なくとも1つのフェイククロミナンス平面である、[C1]に記載の装置。
[C9]
前記少なくとも1つのクロミナンス平面が、初期化期間に準備され、前記少なくとも1つのクロミナンス平面が、静的カラーフィルデータに関連付けられる、[C1]に記載の装置。
[C10]
前記少なくとも1つのクロミナンス平面が、機械学習(ML)、ディープラーニング、ハードウェア機構、少なくとも1つのニューラルネットワーク(NN)、又は少なくとも1つのオープン基準を介して、ルミナンスコンテンツ又はユーザ構成に基づく1つ又は複数の疑似色を使用して準備される、[C1]に記載の装置。
[C11]
前記色空間変換が、ルミナンス(Y)クロミナンス(UV)(YUV)色変換、赤(R)緑(G)青(B)(RGB)色変換、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)色変換である、[C1]に記載の装置。
[C12]
前記少なくとも1つのアプリケーションが、前記複数のフレームの色生成に関連付けられ、前記少なくとも1つのアプリケーションに関連付けられたハードウェア又はソフトウェアが、ルミナンスカラーデータを生成し、
前記少なくとも1つのアプリケーションが、少なくとも1つのゲーム、少なくとも1つのビデオ、少なくとも1つのシンボル、少なくとも1つのアイコン、又は表示されたコンテンツである、[C1]に記載の装置。
[C13]
前記複数のフレームの各々についての前記データが、ルミナンス(Y)クロミナンス(UV)(YUV)カラーデータ、赤(R)緑(G)青(B)(RGB)カラーデータ、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)カラーデータに対応する、[C1]に記載の装置。
[C14]
前記複数のフレームの各々についての前記データが、複数の入力チャネル又は複数の入力平面に関連付けられ、前記複数の入力平面が、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み、
前記複数のフレームの各々についての前記多色カラーデータが、フルカラーデータ又は部分カラーデータを含む、[C1]に記載の装置。
[C15]
前記複数のデータパケットの前記受信が、ワイヤレス送信、有線送信、又は周辺構成要素相互接続エクスプレス(PCIE)プロセスのうちの少なくとも1つに対応する、[C1]に記載の装置。
[C16]
前記少なくとも1つのプロセッサに結合されたアンテナ又はトランシーバのうちの少なくとも1つを更に備える[C1]に記載の装置であって、前記サーバが、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり、前記クライアントデバイスが、ヘッドセット、ヘッドマウントディスプレイ(HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つである、[C1]に記載の装置。
[C17]
サーバにおけるグラフィックス処理のための装置であって、
メモリと、
前記メモリに結合された少なくとも1つのプロセッサと、
を備え、前記少なくとも1つのプロセッサが、
少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データを受信し、
前記複数のフレームの各々についての前記データに関連付けられたコンテンツをレンダリングし、前記レンダリングされたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含み、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツを、複数のデータパケットに変換し、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツに対応する前記複数のデータパケットを、クライアントデバイスに送信する、
ように構成されている、装置。
[C18]
前記少なくとも1つのプロセッサが、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツを符号化するように更に構成されており、前記レンダリングされたコンテンツが、変換される前に符号化され、前記符号化されたコンテンツが、前記単色のカラーコンテンツ又は前記ルミナンス成分のうちの少なくとも1つを含む、[C17]に記載の装置。
[C19]
前記少なくとも1つのプロセッサが、
前記複数のフレームの各々についての前記データに関連付けられた前記符号化されたコンテンツを暗号化するように更に構成されており、前記符号化されたコンテンツが変換される前に暗号化され、前記暗号化されたコンテンツが前記単色のカラーコンテンツ又は前記ルミナンス成分のうちの少なくとも1つを含む、[C18]に記載の装置。
[C20]
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツがルミナンス平面に対応するように、前記単色のカラーコンテンツ又は前記ルミナンス成分が、前記ルミナンス平面に対応する、[C17]に記載の装置。
[C21]
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツが、前記ルミナンス成分を含み、クロミナンス成分を含まない、[C17]に記載の装置。
[C22]
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツが、前記単色のカラーコンテンツを含み、前記単色のカラーコンテンツ以外のカラーコンテンツを含まない、[C17]に記載の装置。
[C23]
前記レンダリングされたコンテンツを前記複数のデータパケットに変換するために、前記少なくとも1つのプロセッサが、前記レンダリングされたコンテンツを前記複数のデータパケットにパケット化するように構成されている、[C17]に記載の装置。
[C24]
前記少なくとも1つのアプリケーションが、前記複数のフレームの色生成に関連付けられ、前記少なくとも1つのアプリケーションに関連付けられたハードウェア又はソフトウェアが、ルミナンスカラーデータを生成し、
前記少なくとも1つのアプリケーションが、少なくとも1つのゲーム、少なくとも1つのビデオ、少なくとも1つのシンボル、少なくとも1つのアイコン、又は表示されたコンテンツである、[C17]に記載の装置。
[C25]
前記複数のフレームの各々についての前記データが、ルミナンス(Y)クロミナンス(UV)(YUV)カラーデータ、赤(R)緑(G)青(B)(RGB)カラーデータ、又はルミナンス(Y)クロミナンス(CrCb)(YCrCb)カラーデータに対応する、[C17]に記載の装置。
[C26]
前記複数のフレームの各々についての前記データが、複数の入力チャネル又は複数の入力平面に関連付けられ、前記複数の入力平面が、ルミナンス平面(Y)及び1つ又は複数のクロミナンス平面(UV)を含み、
前記複数のフレームの各々についての前記多色カラーデータが、フルカラーデータ又は部分カラーデータを含み、前記複数のフレームの各々についての前記データが受信されると、前記多色カラーデータが、前記少なくとも1つのアプリケーションによって生成又は復号されない、[C17]に記載の装置。
[C27]
前記複数のデータパケットの前記送信が、ワイヤレス送信、有線送信、又は周辺構成要素相互接続エクスプレス(PCIE)プロセスのうちの少なくとも1つに対応する、[C17]に記載の装置。
[C28]
前記少なくとも1つのプロセッサに結合されたアンテナ又はトランシーバのうちの少なくとも1つを更に備える[C17]に記載の装置であって、前記サーバが、電話、スマートフォン、コンピュータ、又はクラウドサーバのうちの少なくとも1つであり、前記クライアントデバイスが、ヘッドセット、ヘッドマウントディスプレイ(HMD)、ディスプレイグラス、又はスマートグラスのうちの少なくとも1つである、[C17]に記載の装置。
[C29]
クライアントデバイスにおけるグラフィックス処理の方法であって、
少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データに対応する複数のデータパケットをサーバから受信することと、
前記複数のデータパケットを、前記複数のフレームの各々についての前記データに関連付けられたコンテンツであって、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、コンテンツに変換することと、
前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツに対して、少なくとも1つのクロミナンス平面を前記コンテンツに追加する色空間変換を実行することと、
前記色空間変換を実行すると、前記複数のフレームの各々についての前記データに関連付けられた前記コンテンツを表示することと、
を含む、方法。
[C30]
サーバにおけるグラフィックス処理の方法であって、
少なくとも1つのアプリケーションに関連付けられた複数のフレームの各々についてのデータであって、単色カラーデータ又は多色カラーデータである、データを受信することと、
前記複数のフレームの各々についての前記データに関連付けられたコンテンツをレンダリングすることであって、前記レンダリングされたコンテンツが、単色のカラーコンテンツ又はルミナンス成分のうちの少なくとも1つを含む、ことと、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツを、複数のデータパケットに変換することと、
前記複数のフレームの各々についての前記データに関連付けられた前記レンダリングされたコンテンツに対応する前記複数のデータパケットを、クライアントデバイスに送信することと、
を含む、方法。
【国際調査報告】