特表 2024-544473 色空間変換のための非線形フィルタリング

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-12-03

(54)【発明の名称】色空間変換のための非線形フィルタリング

(51)【国際特許分類】

   G06T 1/20 20060101AFI20241126BHJP

   G06T 9/00 20060101ALI20241126BHJP

【ＦＩ】

G06T1/20 B

G06T9/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024523717

(86)(22)【出願日】2022-10-12

(85)【翻訳文提出日】2024-04-19

(86)【国際出願番号】 US2022046468

(87)【国際公開番号】W WO2023086182

(87)【国際公開日】2023-05-19

(31)【優先権主張番号】17/454,797

(32)【優先日】2021-11-12

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵ－ＲＡＹ ＤＩＳＣ

(71)【出願人】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】バッカー、ダム

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057CA12

5B057CA16

5B057CB12

5B057CB16

5B057CE06

5B057CE18

5B057CG01

5B057CH02

5B057CH05

5B057CH14

(57)【要約】

本明細書に提示される態様は、例えばＧＰＵなどの装置を含むグラフィックス処理のための方法及びデバイスに関する。装置は、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを受信し得、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルは、第１の圧縮チャネルである。装置はまた、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルを解凍し得、少なくとも１つの第１の色チャネルは、第１の圧縮チャネルから第１の解凍チャネルに解凍される。更に、装置は、複数の第１の色チャネルが複数の第２の色チャネルに変換されように、複数のピクセルに関連付けられた第１の色空間の色空間変換を実行し得、複数の第２の色チャネルは、複数のピクセルのための第２の色空間に関連付けられる。

【特許請求の範囲】

【請求項1】

グラフィックス処理のための装置であって、
メモリと、
前記メモリに結合された少なくとも１つのプロセッサと、を備え、前記少なくとも１つのプロセッサが、
複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを受信し、前記複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルが第１の圧縮チャネルであり、
前記複数の第１の色チャネルのうちの前記少なくとも１つの第１の色チャネルを解凍し、前記少なくとも１つの第１の色チャネルが、前記第１の圧縮チャネルから第１の解凍チャネルに解凍され、
前記複数の第１の色チャネルが複数の第２の色チャネルに変換されように、前記複数のピクセルに関連付けられた前記第１の色空間の色空間変換を実行し、前記複数の第２の色チャネルが、前記複数のピクセルについての第２の色空間に関連付けられる
ように構成されている、装置。

【請求項2】

前記少なくとも１つの第１のチャネルの前記解凍が、前記解凍が前記少なくとも１つの第１のチャネルを非線形チャネルから線形チャネルに変換するように、非線形解凍である、請求項１に記載の装置。

【請求項3】

前記複数の第１の色チャネルのうちの１つ又は複数の第１のチャネルが、前記１つ又は複数の第１のチャネルが解凍されないように、線形チャネルである、請求項２に記載の装置。

【請求項4】

前記第１の色空間の前記色空間変換を実行するために、前記少なくとも１つのプロセッサが、
前記少なくとも１つの第１のチャネルを、前記複数の第１の色チャネルのうちの少なくとも１つの他の第１のチャネル及び前記複数の第１の色チャネルのうちの少なくとも１つの追加の第１のチャネルと結合するように構成されている、請求項１に記載の装置。

【請求項5】

前記少なくとも１つの第１のチャネルと、前記少なくとも１つの他の第１のチャネル及び前記少なくとも１つの追加の第１のチャネルとの前記結合が、行列結合器によって実行される、請求項４に記載の装置。

【請求項6】

前記少なくとも１つのプロセッサが、
前記少なくとも１つの第１の色チャネルが解凍された後に、前記複数の第１の色チャネルの各々をフィルタリングするように更に構成されている、請求項１に記載の装置。

【請求項7】

前記複数の第１の色チャネルの各々が、線形フィルタリング、双線形フィルタリング、又は非線形フィルタリングされる、請求項６に記載の装置。

【請求項8】

前記少なくとも１つの第１の色チャネルが、解凍される前に非線形圧縮される、請求項１に記載の装置。

【請求項9】

前記少なくとも１つのプロセッサが、
前記複数の第１の色チャネルを含む前記第１の色空間に関連付けられた前記複数のピクセルを読み取るように更に構成され、前記複数のピクセルが、前記少なくとも１つの第１の色チャネルを解凍する前に読み取られる、請求項１に記載の装置。

【請求項10】

前記少なくとも１つのプロセッサが、
前記第１の色空間に関連付けられた前記複数のピクセルについての要求を送信するように更に構成され、前記複数のピクセルが、前記送信された要求に基づいて受信される、請求項１に記載の装置。

【請求項11】

前記要求が、グラフィックス処理ユニット（ＧＰＵ）のシェーダプロセッサから前記ＧＰＵのテクスチャプロセッサに送信される、請求項１０に記載の装置。

【請求項12】

前記少なくとも１つのプロセッサが、
前記色空間変換後に、前記第２の色空間に関連付けられた前記複数のピクセルを送信するように更に構成されている、請求項１に記載の装置。

【請求項13】

前記複数のピクセルが、グラフィックス処理ユニット（ＧＰＵ）のシェーダプロセッサに送信される、請求項１２に記載の装置。

【請求項14】

前記第１の色空間が、ルミナンス（Ｙ）クロミナンス（ＵＶ）（ＹＵＶ）色空間であり、前記第２の色空間が、赤（Ｒ）緑（Ｇ）青（Ｂ）（ＲＧＢ）色空間である、請求項１に記載の装置。

【請求項15】

前記色空間変換が、前記複数の第１の色チャネルの各々について同時に実行される、請求項１に記載の装置。

【請求項16】

前記色空間変換が、グラフィックス処理ユニット（ＧＰＵ）のテクスチャプロセッサ又は前記ＧＰＵのシェーダプロセッサのうちの少なくとも１つにおいて実行される、請求項１に記載の装置。

【請求項17】

前記装置が、ワイヤレス通信デバイスであり、前記少なくとも１つのプロセッサに結合されたアンテナ又はトランシーバのうちの少なくとも１つを更に備える、請求項１に記載の装置。

【請求項18】

グラフィックス処理の方法であって、
複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを受信することとであって、前記複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルが第１の圧縮チャネルである、ことと、
前記複数の第１の色チャネルのうちの前記少なくとも１つの第１の色チャネルを解凍することであって、前記少なくとも１つの第１の色チャネルが、前記第１の圧縮チャネルから第１の解凍チャネルに解凍される、ことと、
前記複数の第１の色チャネルが複数の第２の色チャネルに変換されように、前記複数のピクセルに関連付けられた前記第１の色空間の色空間変換を実行することであって、前記複数の第２の色チャネルが、前記複数のピクセルのための第２の色空間に関連付けられる、ことと、
を含む、方法。

【請求項19】

前記少なくとも１つの第１のチャネルの前記解凍が、前記解凍が前記少なくとも１つの第１のチャネルを非線形チャネルから線形チャネルに変換するように、非線形解凍であり、
前記複数の第１の色チャネルのうちの１つ又は複数の第１のチャネルが、前記１つ又は複数の第１のチャネルが解凍されないように、線形チャネルである、
請求項１８に記載の方法。

【請求項20】

前記第１の色空間の前記色空間変換を実行することが、
前記少なくとも１つの第１のチャネルを、前記複数の第１の色チャネルのうちの少なくとも１つの他の第１のチャネル及び前記複数の第１の色チャネルのうちの少なくとも１つの追加の第１のチャネルと結合することを更に含み、
前記少なくとも１つの第１のチャネルと、前記少なくとも１つの他の第１のチャネル及び前記少なくとも１つの追加の第１のチャネルとの前記結合が、行列結合器によって実行される、
請求項１８に記載の方法。

【請求項21】

前記少なくとも１つの第１の色チャネルが解凍された後に、前記複数の第１の色チャネルの各々をフィルタリングすることを更に含み、
前記複数の第１の色チャネルの各々が、線形フィルタリング、双線形フィルタリング、又は非線形フィルタリングされる、
請求項１８に記載の方法。

【請求項22】

前記少なくとも１つの第１の色チャネルが、解凍される前に非線形圧縮される、請求項１８に記載の方法。

【請求項23】

前記複数の第１の色チャネルを含む前記第１の色空間に関連付けられた前記複数のピクセルを読み取ることを更に含み、前記複数のピクセルが、前記少なくとも１つの第１の色チャネルを解凍する前に読み取られる、
請求項１８に記載の方法。

【請求項24】

前記第１の色空間に関連付けられた前記複数のピクセルについての要求を送信することを更に含み、前記複数のピクセルが、前記送信された要求に基づいて受信され、
前記要求が、グラフィックス処理ユニット（ＧＰＵ）のシェーダプロセッサから前記ＧＰＵのテクスチャプロセッサに送信される、
請求項１８に記載の方法。

【請求項25】

前記色空間変換後に、前記第２の色空間に関連付けられた前記複数のピクセルを送信することを更に含み、
前記複数のピクセルが、グラフィックス処理ユニット（ＧＰＵ）のシェーダプロセッサに送信される、
請求項１８に記載の方法。

【請求項26】

前記第１の色空間が、ルミナンス（Ｙ）クロミナンス（ＵＶ）（ＹＵＶ）色空間であり、前記第２の色空間が、赤（Ｒ）緑（Ｇ）青（Ｂ）（ＲＧＢ）色空間である、請求項１８に記載の方法。

【請求項27】

前記色空間変換が、前記複数の第１の色チャネルの各々について同時に実行される、請求項１８に記載の方法。

【請求項28】

前記色空間変換が、グラフィックス処理ユニット（ＧＰＵ）のテクスチャプロセッサ又は前記ＧＰＵのシェーダプロセッサのうちの少なくとも１つにおいて実行される、請求項１８に記載の方法。

【請求項29】

グラフィックス処理のための装置であって、
複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを受信するための手段であって、前記複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルが第１の圧縮チャネルである、手段と、
前記複数の第１の色チャネルのうちの前記少なくとも１つの第１の色チャネルを解凍するための手段であって、前記少なくとも１つの第１の色チャネルが、前記第１の圧縮チャネルから第１の解凍チャネルに解凍される、手段と、
前記複数の第１の色チャネルが複数の第２の色チャネルに変換されるように、前記複数のピクセルに関連付けられた前記第１の色空間の色空間変換を実行するための手段であって、前記複数の第２の色チャネルが、前記複数のピクセルのための第２の色空間に関連付けられる、手段と、
を備える、装置。

【請求項30】

グラフィックス処理のためのコンピュータ実行可能コードを記憶するコンピュータ可読媒体であって、前記コードが、プロセッサによって実行されると、前記プロセッサに、
複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを受信させ、前記複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルが第１の圧縮チャネルであり、
前記複数の第１の色チャネルのうちの前記少なくとも１つの第１の色チャネルを解凍させ、前記少なくとも１つの第１の色チャネルが、前記第１の圧縮チャネルから第１の解凍チャネルに解凍され、
前記複数の第１の色チャネルが複数の第２の色チャネルに変換されるように、前記複数のピクセルに関連付けられた前記第１の色空間の色空間変換を実行させ、前記複数の第２の色チャネルが、前記複数のピクセルのための第２の色空間に関連付けられる、
コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
[0001] 本願は、２０２１年１１月１２日に出願された「ＮＯＮ－ＬＩＮＥＡＲ ＦＩＬＴＥＲＩＮＧ ＦＯＲ ＣＯＬＯＲ ＳＰＡＣＥ ＣＯＮＶＥＲＳＩＯＮＳ」と題する米国特許出願第１７／４５４，７９７号の利益を主張し、その全体が参照により本明細書に明確に組み込まれる。

【0002】

[0002] 本開示は、一般に処理システムに関し、より詳細には、グラフィックス処理のための１つ又は複数の技法に関する。

【背景技術】

【0003】

[0003] コンピューティングデバイスは、多くの場合、視覚コンテンツをレンダリング及び表示するために、（例えば、グラフィックス処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、ディスプレイプロセッサなどを利用して）グラフィックス及び／又はディスプレイ処理を実行する。そのようなコンピューティングデバイスは、例えば、コンピュータワークステーション、スマートフォンなどのモバイルフォン、埋込みシステム、パーソナルコンピュータ、タブレットコンピュータ、及びビデオゲームコンソールを含み得る。ＧＰＵは、グラフィックス処理コマンドを実行し、フレームを出力するために一緒に動作する、１つ又は複数の処理段階を含むグラフィックス処理パイプラインを実行するように構成される。中央処理ユニット（ＣＰＵ）は、ＧＰＵに１つ又は複数のグラフィックス処理コマンドを出すことによって、ＧＰＵの動作を制御し得る。現代のＣＰＵは、典型的には、複数のアプリケーションを同時に実行することが可能であり、その各々は、実行中にＧＰＵを利用する必要があり得る。ディスプレイプロセッサは、ＣＰＵから受信されたデジタル情報をアナログ値に変換するように構成され、視覚コンテンツを表示するためのディスプレイパネルにコマンドを出し得る。ディスプレイ上の視覚的提示のためのコンテンツを提供するデバイスは、ＧＰＵ及び／又はディスプレイプロセッサを利用し得る。

【0004】

[0004] デバイスのＧＰＵは、グラフィックス処理パイプラインにおいてプロセスを実行するように構成され得る。更に、ディスプレイプロセッサ又はディスプレイ処理ユニット（ＤＰＵ）は、ディスプレイ処理のプロセスを実行するように構成され得る。しかしながら、ワイヤレス通信及びより小型のハンドヘルドデバイスの出現で、改善したグラフィックス処理又はディスプレイ処理の必要が高まっている。

【発明の概要】

【0005】

[0005] 以下では、１つ又は複数の態様の基本的理解をもたらすために、そのような態様の簡略化された概要が提示される。本概要は、すべての企図される態様の広範な概説ではなく、すべての態様の主要又は重要な要素を識別するものでもなく、いずれか又はすべての態様の範囲を記述するものでもない。その唯一の目的は、後に提示されるより詳細な説明に対する導入部として、１つ又は複数の態様のいくつかの構想を簡略化された形式で提示することである。

【0006】

[0006] 本開示のある態様では、方法、コンピュータ可読媒体、及び装置が提供される。装置は、グラフィックス処理ユニット（ＧＰＵ）、又はグラフィックス処理を実行し得る任意の装置であり得る。装置は、第１の色空間に関連付けられた複数のピクセルについての要求を送信し得、複数のピクセルは、送信された要求に基づいて受信される。装置はまた、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを受信し得、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルは第１の圧縮チャネルである。加えて、装置は複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを読み取り得、複数のピクセルは、少なくとも１つの第１の色チャネルを解凍する前に読み取られる。装置はまた、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルを解凍し得、少なくとも１つの第１の色チャネルは、第１の圧縮チャネルから第１の解凍チャネルに解凍される。装置はまた、少なくとも１つの第１の色チャネルが解凍された後に複数の第１の色チャネルの各々をフィルタリングし得る。更に、装置は、複数の第１の色チャネルが複数の第２の色チャネルに変換されるように、複数のピクセルに関連付けられた第１の色空間の色空間変換を実行し得、複数の第２の色チャネルは、複数のピクセルのための第２の色空間に関連付けられる。装置はまた、色空間変換の後に、第２の色空間に関連付けられた複数のピクセルを送信し得る。

【0007】

[0007] 本開示の１つ又は複数の例の詳細が、添付の図面及び以下の説明に記載される。本開示の他の特徴、目的、及び利点は、説明及び図面から、並びに特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0008】

【図1】[0008] 例示的なコンテンツ生成システムを示すブロック図である。

【図2】[0009] 例示的なグラフィックス処理ユニット（ＧＰＵ）である。

【図3】[0010] グラフィックス処理及びディスプレイ／画像処理のための構成要素の図である。

【図4】[0011] 例示的な線形サンプリングプロセス及び例示的なガンマ空間フィルタリングプロセスを示す図を含む。

【図5A】[0012] 例示的な非線形ＹＵＶ符号化プロセスを示す図である。

【図5B】[0013] 例示的な非線形ＹＵＶ符号化プロセスを示す図である。

【図6A】[0014] 例示的な非線形ＹＵＶ復号プロセスを示す図である。

【図6B】[0015] 例示的な非線形ＹＵＶ復号プロセスを示す図である。

【図7A】[0016] フィルタリングを伴う例示的な非線形ＹＵＶ復号プロセスを示す図である。

【図7B】[0017] フィルタリングを伴う例示的な非線形ＹＵＶ復号プロセスを示す図である。

【図8】[0018] 例示的な非線形ＹＵＶ符号化プロセスを示す図である。

【図9】[0019] 例示的な非線形ＹＵＶ復号プロセスを示す図である。

【図10】[0020] フィルタリングを伴う例示的な非線形ＹＵＶ復号プロセスを示す図である。

【図11】[0021] ＧＰＵ構成要素間の例示的な通信を示す通信フロー図である。

【図12】[0022] グラフィックス処理の例示的な方法のフローチャートである。

【図13】[0023] グラフィックス処理の例示的な方法のフローチャートである。

【発明を実施するための形態】

【0009】

[0024] グラフィックス処理又は画像処理のいくつかの態様は、色空間（すなわち、色の特定の編成）を利用し得る。いくつかの異なるタイプの色空間又は色モデル（すなわち、色が数のタプルとして表され得る方法を記述する抽象数学モデル）が存在する。例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）（ＲＧＢ）色空間／モデル、又はルミナンス（Ｙ）クロミナンス（ＵＶ）（ＹＵＶ）色空間／モデルが存在する。加えて、色空間は、色空間変換（すなわち、ある基底から別の基底への色の表現の変換）と呼ばれるプロセスにおいて、ある色空間から別の色空間に変換され得る。色空間変換は、１つの色空間で表された画像を別の色空間での表現に変換する文脈で実行され得る。色空間変換のいくつかの態様は、非線形空間におけるフィルタリングが困難であり得る。例えば、ＲＧＢ画像が生成された後、ビットレートを維持するために、ＲＧＢ画像は非線形（ガンマ）圧縮され得る。非線形ＲＧＢは、ビデオ符号化及び転送のためにＹＵＶに変換され得る。受信側では、画像は画像処理パイプラインの一部として使用され得る。このプロセスはフィルタリングを必要とし得るが、ＹＵＶ画像は内部に非線形データを含み得る。正しいシーケンスは、ＹＵＶ画像が非線形ＲＧＢに変換され、次いでフィルタリングの前に線形ＲＧＢに変換されることを必要とし得る。任意のピクセルアクセスの場合、このシーケンスは、計算集約的であり、ハードウェアによって直接サポートされないことがある。非線形空間における困難なフィルタリングに加えて、色空間変換のいくつかの態様は、線形空間への変換が困難である場合がある。また、非線形ＹＵＶサンプルの線形空間への変換は複雑であり、ハードウェア又はソフトウェアにおいて効率的に実装することが困難である場合がある。本開示の態様は、非線形空間においてフィルタリングする非線形ＹＵＶ変換プロセスを含み得る。また、本開示の態様は、非線形ＹＵＶ変換プロセス中に線形空間に変換し得る。例えば、本開示の態様は、非線形ＹＵＶ変換プロセス中に非線形ＹＵＶサンプルを線形空間に変換し得る。加えて、いくつかの事例では、本開示の態様は、非線形値を用いるアップサンプリング及び色空間変換動作を利用する非線形ＹＵＶ変換プロセスを含み得る。

【0010】

[0025] システム、装置、コンピュータプログラム製品、及び方法の様々な態様について、添付の図面を参照しながら以下で更に十分に説明する。しかしながら、本開示は、多くの異なる形態で具現化されてもよく、本開示全体にわたって提示される任意の特定の構造又は機能に限定されるものと解釈されるべきではない。むしろ、これらの態様は、本開示が周到で完全になり、本開示の範囲を当業者に十分に伝えるように提供される。本明細書の教示に基づいて、本開示の範囲が、本開示の他の態様とは無関係に実装されるにせよ、又は本開示の他の態様と組み合わせて実装されるにせよ、本明細書で開示するシステム、装置、コンピュータプログラム製品、及び方法の任意の態様を包含するものであることを、当業者は理解されたい。例えば、本明細書に記載の任意の数の態様を使用して、装置を実装してもよく、方法を実施してもよい。なお、本開示の範囲は、本明細書に記載する本開示の様々な態様に加えて、又はそれらの態様以外の、他の構造、機能性、又は構造及び機能性を使用して実践されるような装置又は方法を包含することが意図されている。本明細書で開示する任意の態様は、請求項の１つ又は複数の要素によって具現され得る。

【0011】

[0026] 様々な態様について本明細書で説明するが、これらの態様の多くの変形及び置換が、本開示の範囲内に入る。本開示の態様のいくつかの潜在的な利益及び利点が述べられるが、本開示の範囲は、特定の利益、使用、又は目的に限定されるものではない。むしろ、本開示の態様は、異なるワイヤレス技術、システム構成、ネットワーク、及び送信プロトコルに広く適用可能であるものであり、そのうちのいくつかが例として図及び以下の説明において示される。詳細な説明及び図面は、限定的ではなく、本開示の例示にすぎず、本開示の範囲は、添付の特許請求の範囲及びその均等物によって定義される。

【0012】

[0027] 様々な装置及び方法を参照しながら、いくつかの態様が提示される。これらの装置及び方法は、以下の詳細な説明において説明され、様々なブロック、構成要素、回路、プロセス、アルゴリズムなど（「要素」と総称される）によって添付の図面に示される。これらの要素は、電子ハードウェア、コンピュータソフトウェア、又はそれらの任意の組み合わせを使用して実装することができる。このような要素がハードウェアとして実装される又はソフトウェアとして実装されるかどうかは、具体的な適用例及び全体的なシステムに課される設計制約に依拠する。

【0013】

[0028] 例として、要素、又は要素の任意の部分、又は要素の任意の組み合わせは、１つ又は複数のプロセッサを含む「処理システム」（処理ユニットと呼ばれることもある）として実装され得る。プロセッサの例は、マイクロプロセッサ、マイクロコントローラ、グラフィックス処理ユニット（ＧＰＵｓ）、汎用ＧＰＵ（ＧＰＧＰＵｓ）、中央処理ユニット（ＣＰＵｓ）、アプリケーションプロセッサ、デジタル信号プロセッサ（ＤＳＰｓ）、縮小命令セットコンピューティング（ＲＩＳＣ）プロセッサ、システムオンチップ（ＳＯＣ）、ベースバンドプロセッサ、特定用途向け集積回路（ＡＳＩＣｓ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、プログラマブル論理デバイス（ＰＬＤｓ）、状態機械、ゲート論理、ディスクリートハードウェア回路、及び本開示全体にわたって説明する様々な機能を実行するように構成された他の好適なハードウェアを含む。処理システム内の１つ又は複数のプロセッサは、ソフトウェアを実行することができる。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、又はそれ以外で呼ばれるかどうかにかかわらず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェア構成要素、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行ファイル、実行スレッド、手順、関数などを意味するように広く解釈され得る。アプリケーションという用語は、ソフトウェアを指すことがある。本明細書で説明するように、１つ又は複数の技法は、アプリケーション、すなわち、ソフトウェアが１つ又は複数の機能を実行するように構成されることを指すことがある。そのような例では、アプリケーションは、メモリ、例えば、プロセッサのオンチップメモリ、システムメモリ、又は任意の他のメモリ上に記憶され得る。プロセッサなど、本明細書で説明するハードウェアは、アプリケーションを実行するように構成され得る。例えば、アプリケーションについて、ハードウェアによって実行されると、ハードウェアに本明細書で説明する１つ又は複数の技法を実行させる、コードを含むものとして説明することがある。一例として、ハードウェアは、メモリからコードにアクセスし、メモリからアクセスされたコードを実行して、本明細書で説明する１つ又は複数の技法を実行し得る。いくつかの例では、構成要素が本開示において識別される。そのような例では、構成要素は、ハードウェア、ソフトウェア、又はそれらの組み合わせであり得る。構成要素は、別個の構成要素、又は単一の構成要素の下位構成要素であり得る。

【0014】

[0029] したがって、本明細書で説明する１つ又は複数の例では、説明する機能は、ハードウェア、ソフトウェア、又はそれらの任意の組み合わせにおいて実装され得る。ソフトウェアにおいて実装される場合には、それらの機能は、１つ又は複数の命令又はコードとして、コンピュータ可読媒体上に記憶又は符号化することができる。コンピュータ可読媒体は、コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされてよい任意の利用可能な媒体であってよい。限定ではなく例として、そのようなコンピュータ可読媒体は、ランダムアクセスメモリ（random-access memory：ＲＡＭ）、読取り専用メモリ（read-only memory：ＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（electrically erasable programmable ROM：ＥＥＰＲＯＭ）、光ディスクストレージ、磁気ディスクストレージ、他の磁気ストレージデバイス、上述のタイプのコンピュータ可読媒体の組み合わせ、又は、コンピュータによってアクセスされ得る命令若しくはデータ構造の形態のコンピュータ実行可能コードを記憶するために使用され得る任意の他の媒体を備え得る。

【0015】

[0030] 概して、本開示は、単一のデバイス若しくは複数のデバイスにおいてグラフィックス処理パイプラインを有し、グラフィカルコンテンツのレンダリングを改善し、かつ／又は処理ユニット、すなわち、ＧＰＵなど、本明細書で説明する１つ又は複数の技法を実行するように構成された任意の処理ユニットの負荷を低減するための技法について説明する。例えば、本開示は、グラフィックス処理を利用する任意のデバイスにおけるグラフィックス処理のための技法について説明する。他の例示的な利益について、本開示全体にわたって説明する。

【0016】

[0031] 本明細書で使用する「コンテンツ」という用語の事例は、「グラフィカルコンテンツ」、「画像」を指すことがあり、その逆も同様である。このことは、それらの用語が形容詞として使用されているか、名詞として使用されているか、又は他の品詞として使用されているかにかかわらず、当てはまる。いくつかの例では、本明細書で使用する「グラフィカルコンテンツ」という用語は、グラフィックス処理パイプラインの１つ又は複数のプロセスによって作り出されたコンテンツを指すことがある。いくつかの例では、本明細書で使用する「グラフィカルコンテンツ」という用語は、グラフィックス処理を実行するように構成された処理ユニットによって作り出されたコンテンツを指すことがある。いくつかの例では、本明細書で使用する「グラフィカルコンテンツ」という用語は、グラフィックス処理ユニットによって作り出されたコンテンツを指すことがある。

【0017】

[0032] いくつかの例では、本明細書で使用する「ディスプレイコンテンツ」という用語は、ディスプレイ処理を実行するように構成された処理ユニットによって生成されたコンテンツを指すことがある。いくつかの例では、本明細書で使用する「ディスプレイコンテンツ」という用語は、ディスプレイ処理ユニットによって生成されたコンテンツを指すことがある。グラフィカルコンテンツは、ディスプレイコンテンツになるように処理され得る。例えば、グラフィックス処理ユニットは、フレームなどのグラフィカルコンテンツをバッファ（フレームバッファと呼ばれることがある）に出力し得る。ディスプレイ処理ユニットは、バッファから１つ又は複数のフレームなどのグラフィカルコンテンツを読み出し、それにおいて１つ又は複数のディスプレイ処理技法を実行して、ディスプレイコンテンツを生成し得る。例えば、ディスプレイ処理ユニットは、フレームを生成するために、１つ又は複数のレンダリングされたレイヤ上で合成を実行するように構成され得る。別の例として、ディスプレイ処理ユニットは、２つ以上のレイヤを一緒に単一のフレームに合成、混合、又はさもなければ結合するように構成され得る。ディスプレイ処理ユニットは、フレームにおいてスケーリング、例えば、アップスケーリング又はダウンスケーリングを実行するように構成され得る。いくつかの例では、フレームはレイヤを指すことがある。他の例では、フレームは、フレームを形成するためにすでに一緒に混合されている、２つ以上のレイヤを指すことがあり、すなわち、フレームは、２つ以上のレイヤを含み、２つ以上のレイヤを含むフレームは、後で混合され得る。

【0018】

[0033] 図１は、本開示の１つ又は複数の技法を実装するように構成された、例示的なコンテンツ生成システム１００を示すブロック図である。コンテンツ生成システム１００は、デバイス１０４を含む。デバイス１０４は、本明細書で説明する様々な機能を実行するための１つ又は複数の構成要素又は回路を含み得る。いくつかの例では、デバイス１０４の１つ又は複数の構成要素は、ＳＯＣの構成要素であり得る。デバイス１０４は、本開示の１つ又は複数の技法を実行するように構成された１つ又は複数の構成要素を含み得る。図示の例では、デバイス１０４は、処理ユニット１２０と、コンテンツエンコーダ／デコーダ１２２と、システムメモリ１２４と、を含み得る。いくつかの態様では、デバイス１０４は、いくつかの任意の構成要素、例えば、通信インターフェース１２６と、トランシーバ１３２と、受信機１２８と、送信機１３０と、ディスプレイプロセッサ１２７と、１つ又は複数のディスプレイ１３１と、を含み得る。ディスプレイ１３１への言及は、１つ又は複数のディスプレイ１３１を指すことがある。例えば、ディスプレイ１３１は、単一のディスプレイ又は複数のディスプレイを含み得る。ディスプレイ１３１は、第１のディスプレイと第２のディスプレイと、を含み得る。第１のディスプレイは左目ディスプレイであり得、第２のディスプレイは右目ディスプレイであり得る。いくつかの例では、第１及び第２のディスプレイは、その上に提示するための異なるフレームを受信し得る。他の例では、第１及び第２のディスプレイは、その上に提示するための同じフレームを受信し得る。更なる例では、グラフィックス処理の結果は、デバイス上に表示されなくてもよく、例えば、第１及び第２のディスプレイは、その上に提示するためのいかなるフレームも受信しなくてもよい。代わりに、フレーム又はグラフィックス処理結果は、別のデバイスに転送され得る。いくつかの態様では、このことは、分割レンダリングと呼ばれることがある。

【0019】

[0034] 処理ユニット１２０は、内部メモリ１２１を含み得る。処理ユニット１２０は、グラフィックス処理パイプライン１０７などにおいて、グラフィックス処理を実行するように構成され得る。コンテンツエンコーダ／デコーダ１２２は、内部メモリ１２３を含み得る。いくつかの例では、デバイス１０４は、１つ又は複数のディスプレイ１３１による提示の前に、処理ユニット１２０によって生成された１つ又は複数のフレームにおいて１つ又は複数のディスプレイ処理技法を実行するために、ディスプレイプロセッサ１２７などのディスプレイプロセッサを含み得る。ディスプレイプロセッサ１２７は、ディスプレイ処理を実行するように構成され得る。例えば、ディスプレイプロセッサ１２７は、処理ユニット１２０によって生成された１つ又は複数のフレームにおいて１つ又は複数のディスプレイ処理技法を実行するように構成され得る。１つ又は複数のディスプレイ１３１は、ディスプレイプロセッサ１２７によって処理されたフレームを表示又はさもなければ提示するように構成され得る。いくつかの例では、１つ又は複数のディスプレイ１３１は、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、投影ディスプレイデバイス、拡張現実ディスプレイデバイス、仮想現実ディスプレイデバイス、ヘッドマウントディスプレイ、又は任意の他のタイプのディスプレイデバイスのうちの１つ又は複数を含み得る。

【0020】

[0035] システムメモリ１２４など、処理ユニット１２０及びコンテンツエンコーダ／デコーダ１２２の外部のメモリは、処理ユニット１２０及びコンテンツエンコーダ／デコーダ１２２にとってアクセス可能であり得る。例えば、処理ユニット１２０及びコンテンツエンコーダ／デコーダ１２２は、システムメモリ１２４などの外部メモリから読み出し、かつ／又は外部メモリに書き込むように構成され得る。処理ユニット１２０及びコンテンツエンコーダ／デコーダ１２２は、バスを介してシステムメモリ１２４に通信可能に結合され得る。いくつかの例では、処理ユニット１２０及びコンテンツエンコーダ／デコーダ１２２は、バス又は異なる接続を介して互いに通信可能に結合され得る。

【0021】

[0036] コンテンツエンコーダ／デコーダ１２２は、システムメモリ１２４及び／又は通信インターフェース１２６など、任意のソースからグラフィカルコンテンツを受信するように構成され得る。システムメモリ１２４は、受信された符号化又は復号されたグラフィカルコンテンツを記憶するように構成され得る。コンテンツエンコーダ／デコーダ１２２は、例えば、システムメモリ１２４及び／又は通信インターフェース１２６から、符号化されたピクセルデータの形式で、符号化又は復号されたグラフィカルコンテンツを受信するように構成され得る。コンテンツエンコーダ／デコーダ１２２は、任意のグラフィカルコンテンツを符号化又は復号するように構成され得る。

【0022】

[0037] 内部メモリ１２１又はシステムメモリ１２４は、１つ又は複数の揮発性又は不揮発性メモリ又は記憶デバイスを含み得る。いくつかの例では、内部メモリ１２１又はシステムメモリ１２４は、ＲＡＭ、ＳＲＡＭ、ＤＲＡＭ、消去可能プログラマブルＲＯＭ（ＥＰＲＯＭ）、電気的消去可能プログラマブルＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気データ媒体若しくは光記憶媒体、又は任意の他のタイプのメモリを含み得る。

【0023】

[0038] 内部メモリ１２１又はシステムメモリ１２４は、いくつかの例によれば、非一時的記憶媒体であり得る。「非一時的」という用語は、記憶媒体が搬送波又は伝搬される信号において具現化されないことを示すことがある。しかしながら、「非一時的」という用語は、内部メモリ１２１若しくはシステムメモリ１２４が非可動であること、又はそのコンテンツが静的であることを意味するものと解釈されるべきではない。一例として、システムメモリ１２４は、デバイス１０４から取り外され、別のデバイスに移動され得る。別の例として、システムメモリ１２４は、デバイス１０４から取外し可能でないことがある。

【0024】

[0039] 処理ユニット１２０は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、汎用ＧＰＵ（ＧＰＧＰＵ）、又はグラフィックス処理を実行するように構成され得る任意の他の処理ユニットであり得る。いくつかの例では、処理ユニット１２０は、デバイス１０４のマザーボードに組み込まれ得る。いくつかの例では、処理ユニット１２０は、デバイス１０４のマザーボード内のポートにインストールされるグラフィックスカード上に存在し得るか、又はさもなければ、デバイス１０４と相互動作するように構成された周辺デバイス内に組み込まれ得る。処理ユニット１２０は、１つ又は複数のマイクロプロセッサ、ＧＰＵ、特定用途向け集積回路（ＡＳＩＣｓ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、算術論理ユニット（ＡＬＵｓ）、デジタル信号プロセッサ（ＤＳＰｓ）、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、他の等価な集積論理回路若しくはディスクリート論理回路、又はそれらの任意の組み合わせなど、１つ又は複数のプロセッサを含み得る。技法が部分的にソフトウェアにおいて実装される場合、処理ユニット１２０は、好適な非一時的コンピュータ可読記憶媒体、例えば、内部メモリ１２１にソフトウェアのための命令を記憶し得、本開示の技法を実行するために、１つ又は複数のプロセッサを使用して、ハードウェアにおいて命令を実行し得る。ハードウェア、ソフトウェア、ハードウェア及びソフトウェアの組み合わせなどを含む、上記のいずれもが、１つ又は複数のプロセッサであると見なされ得る。

【0025】

[0040] コンテンツエンコーダ／デコーダ１２２は、コンテンツ復号を実行するように構成された任意の処理ユニットであり得る。いくつかの例では、コンテンツエンコーダ／デコーダ１２２は、デバイス１０４のマザーボードに組み込まれ得る。コンテンツエンコーダ／デコーダ１２２は、１つ又は複数のマイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣｓ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡｓ）、算術論理ユニット（ＡＬＵｓ）、デジタル信号プロセッサ（ＤＳＰｓ）、ビデオプロセッサ、ディスクリート論理、ソフトウェア、ハードウェア、ファームウェア、他の等価な集積論理回路若しくはディスクリート論理回路、又はそれらの任意の組み合わせなど、１つ又は複数のプロセッサを含み得る。技法が部分的にソフトウェアにおいて実装される場合、コンテンツエンコーダ／デコーダ１２２は、好適な非一時的コンピュータ可読記憶媒体、例えば、内部メモリ１２３にソフトウェアのための命令を記憶し得、本開示の技法を実行するために、１つ又は複数のプロセッサを使用して、ハードウェアにおいて命令を実行し得る。ハードウェア、ソフトウェア、ハードウェア及びソフトウェアの組み合わせなどを含む、上記のいずれもが、１つ又は複数のプロセッサであると見なされ得る。

【0026】

[0041] いくつかの態様では、コンテンツ生成システム１００は、任意の通信インターフェース１２６を含み得る。通信インターフェース１２６は、受信機１２８及び送信機１３０を含み得る。受信機１２８は、デバイス１０４に関して本明細書で説明する任意の受信機能を実行するように構成され得る。更に、受信機１２８は、別のデバイスから情報、例えば、目若しくは頭位置情報、レンダリングコマンド、又はロケーション情報を受信するように構成され得る。送信機１３０は、デバイス１０４に関して本明細書で説明する任意の送信機能を実行するように構成され得る。例えば、送信機１３０は、コンテンツのための要求を含み得る情報を、別のデバイスに送信するように構成され得る。受信機１２８及び送信機１３０は、トランシーバ１３２に組み合わせられ得る。そのような例では、トランシーバ１３２は、デバイス１０４に関して本明細書で説明する任意の受信機能及び／又は送信機能を実行するように構成され得る。

【0027】

[0042] 再び図１を参照すると、いくつかの態様では、処理ユニット１２０は、第１の色空間に関連付けられた複数のピクセルについての要求を送信するように構成された決定構成要素１９８を含み得、複数のピクセルは、送信された要求に基づいて受信される。決定構成要素１９８はまた、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを受信するように構成され得、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルは第１の圧縮チャネルである。決定構成要素１９８はまた、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを読み取るように構成され得、複数のピクセルは、少なくとも１つの第１の色チャネルを解凍する前に読み取られる。決定構成要素１９８はまた、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルを解凍するように構成され得、少なくとも１つの第１の色チャネルは、第１の圧縮チャネルから第１の解凍チャネルに解凍される。決定構成要素１９８はまた、少なくとも１つの第１の色チャネルが解凍された後に、複数の第１の色チャネルの各々をフィルタリングするように構成され得る。決定構成要素１９８はまた、複数の第１の色チャネルが複数の第２の色チャネルに変換されるように、複数のピクセルに関連付けられた第１の色空間の色空間変換を実行するように構成され得、複数の第２の色チャネルは、複数のピクセルのための第２の色空間に関連付けられる。決定構成要素１９８はまた、色空間変換後に、第２の色空間に関連付けられた複数のピクセルを送信するように構成され得る。以下の説明は、ディスプレイ処理に焦点を合わせることがあるが、本明細書で説明する概念は、他の同様の処理技法に適用可能であり得る。

【0028】

[0043] 本明細書で説明するように、デバイス１０４などのデバイスは、本明細書で説明する１つ又は複数の技法を実行するように構成された、任意のデバイス、装置、又はシステムを指すことがある。例えば、デバイスは、サーバ、基地局、ユーザ機器、クライアントデバイス、局、アクセスポイント、コンピュータ、例えば、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、コンピュータワークステーション、若しくはメインフレームコンピュータ、最終製品、装置、電話、スマートフォン、サーバ、ビデオゲームプラットフォーム若しくはコンソール、ハンドヘルドデバイス、例えば、ポータブルビデオゲームデバイス若しくは携帯情報端末（ＰＤＡ）、ウェアラブルコンピューティングデバイス、例えば、スマートウォッチ、拡張現実デバイス、若しくは仮想現実デバイス、非ウェアラブルデバイス、ディスプレイ若しくはディスプレイデバイス、テレビ、テレビセットトップボックス、中間ネットワークデバイス、デジタルメディアプレーヤ、ビデオストリーミングデバイス、コンテンツストリーミングデバイス、車載コンピュータ、任意のモバイルデバイス、グラフィカルコンテンツを生成するように構成された任意のデバイス、又は本明細書で説明する１つ又は複数の技法を実行するように構成された任意のデバイスであり得る。本明細書のプロセスは、特定の構成要素（例えば、ＧＰＵ）によって実行されるものとして説明され得るが、更なる実施形態では、開示する実施形態に合わせて、他の構成要素（例えば、ＣＰＵ）を使用して実行され得る。

【0029】

[0044] ＧＰＵは、ＧＰＵパイプラインにおいて複数のタイプのデータ又はデータパケットを処理し得る。例えば、いくつかの態様では、ＧＰＵは、２つのタイプのデータ又はデータパケット、例えば、コンテキストレジスタパケット及びドローコールデータを処理し得る。コンテキストレジスタパケットは、グラフィックスコンテキストがどのように処理されることになるかを調整し得る、グローバル状態情報、例えば、グローバルレジスタに関する情報、シェーディングプログラム、又は定数データのセットであり得る。例えば、コンテキストレジスタパケットは、カラーフォーマットに関する情報を含み得る。コンテキストレジスタパケットのいくつかの態様では、どのワークロードがコンテキストレジスタに属するかを示すビットがあり得る。また、同時に及び／又は並列に実行している複数の機能又はプログラミングもあり得る。例えば、機能又はプログラミングは、ある動作、例えば、カラーモード又はカラーフォーマットを表し得る。したがって、コンテキストレジスタは、ＧＰＵの複数の状態を定義し得る。

【0030】

[0045] コンテキスト状態は、個々の処理ユニットがどのように機能するか、例えば、頂点フェッチャ（ＶＦＤ）、頂点シェーダ（ＶＳ）、シェーダプロセッサ、若しくはジオメトリプロセッサ、及び／又は何のモードで処理ユニットが機能するかを決定するために利用され得る。そうするために、ＧＰＵは、コンテキストレジスタ及びプログラミングデータを使用し得る。いくつかの態様では、ＧＰＵは、モード又は状態のコンテキストレジスタ定義に基づいて、パイプラインにおいてワークロード、例えば、頂点又はピクセルワークロードを生成し得る。いくつかの処理ユニット、例えば、ＶＦＤは、これらの状態を使用して、いくつかの機能、例えば、頂点がどのようにアセンブルされるかを決定し得る。これらのモード又は状態は変化し得るので、ＧＰＵは、対応するコンテキストを変更する必要があり得る。更に、モード又は状態に対応するワークロードは、変化するモード又は状態に従い得る。

【0031】

[0046] 図２は、本開示の１つ又は複数の技法による、例示的なＧＰＵ２００を示す。図２に示されているように、ＧＰＵ２００は、コマンドプロセッサ（ＣＰ）２１０と、ドローコールパケット２１２と、ＶＦＤ２２０と、ＶＳ２２２と、頂点キャッシュ（ＶＰＣ）２２４と、三角形セットアップエンジン（ＴＳＥ：triangle setup engine）２２６と、ラスタライザ（ＲＡＳ）２２８と、Ｚプロセスエンジン（ＺＰＥ：Z process engine）２３０と、ピクセル補間器（ＰＩ：pixel interpolator）２３２と、フラグメントシェーダ（ＦＳ）２３４と、レンダーバックエンド（ＲＢ：render backend）２３６と、レベル２（Ｌ２）キャッシュ（ＵＣＨＥ）２３８と、システムメモリ２４０と、を含む。図２は、ＧＰＵ２００が処理ユニット２２０～２３８を含むことを表示しているが、ＧＰＵ２００は、いくつかの追加の処理ユニットを含み得る。更に、処理ユニット２２０～２３８は、一例にすぎず、任意の組み合わせ又は順序の処理ユニットが、本開示に従ってＧＰＵによって使用され得る。ＧＰＵ２００はまた、コマンドバッファ２５０と、コンテキストレジスタパケット２６０と、コンテキスト状態２６１と、を含む。

【0032】

[0047] 図２に示されているように、ＧＰＵは、ＣＰ、例えば、ＣＰ２１０、又はハードウェアアクセラレータを利用して、コマンドバッファをコンテキストレジスタパケット、例えば、コンテキストレジスタパケット２６０、及び／又はドローコールデータパケット、例えば、ドローコールパケット２１２にパースし得る。次いで、ＣＰ２１０は、別個のパスを通して、ＧＰＵにおける処理ユニット又はブロックに、コンテキストレジスタパケット２６０又はドローコールデータパケット２１２を送信し得る。更に、コマンドバッファ２５０は、コンテキストレジスタ及びドローコールの異なる状態を交互にし得る。例えば、コマンドバッファは、以下のようにして構築され得、すなわち、コンテキストＮのコンテキストレジスタ、コンテキストＮのドローコール、コンテキストＮ＋１のコンテキストレジスタ、及びコンテキストＮ＋１のドローコール（単数又は複数）である。

【0033】

[0048] ＧＰＵは、様々な異なる方法で画像をレンダリングし得る。いくつかの事例では、ＧＰＵは、レンダリング及び／又はタイルレンダリングを使用して、画像をレンダリングし得る。タイルレンダリングＧＰＵでは、画像は、異なるセクション又はタイルに分割又は分離され得る。画像の分割後、各セクション又はタイルが別個にレンダリングされ得る。タイルレンダリングＧＰＵは、コンピュータグラフィックス画像をグリッドフォーマットに分割し得るので、グリッドの各部分、すなわち、タイルが別個にレンダリングされるようになる。いくつかの態様では、ビニングパスの間に、画像が異なるビン又はタイルに分割され得る。いくつかの態様では、ビニングパスの間に、可視性ストリームが構築され得、そこで、可視プリミティブ又はドローコールが識別され得る。タイルレンダリングとは対照的に、直接レンダリングは、フレームをより小さいビン又はタイルに分割しない。むしろ、直接レンダリングでは、フレーム全体が１回でレンダリングされる。更に、いくつかのタイプのＧＰＵは、タイルレンダリングと直接レンダリングの両方を可能にし得る。

【0034】

[0049] グラフィックス処理又はディスプレイ／画像処理の態様では、いくつかの異なるオブジェクト又は色が、画像又はフレーム中で調整又は強調され得る。そうすることによって、画像内のオブジェクト又は色が改善され得、これは、画像の全体的な外観を改善し得る。画像内のオブジェクト又は色を調整又は強調するために、オブジェクト又は色は、調整又は強調の前に識別される必要があり得る。いくつかの事例では、このプロセスは、画像処理パイプライン又はディスプレイ処理パイプラインにおいて実行され得る。更に、このプロセスは、オブジェクト又は色識別プロセスと呼ばれることがある。

【0035】

[0050] 図３は、グラフィックス又はディスプレイ／画像処理のための構成要素の図３００を示す。例えば、図３は、オブジェクト又は色分類プロセスのための例示的な構造を示す。図３に示すように、図３００は、入力３１０、画像ダウンスケーラ３２０、フレーム選択ステップ３２２、ピクセル分類器３３０、及びマルチプレクサ（ＭＵＸ）３４０を含み得る。図３００はまた、ＧＰＵ３５０及び／又はビデオデコーダ３５２を含むことができるコンテンツソースを含むことができる。更に、図３００は、人工知能（ＡＩ）プロセッサ３６０、ＣＰＵソフトウェア３７０、メモリ３８０、画像後処理ユニット３９０、及び出力３９２を含み得る。図３００の入力３１０は、画像又は画像シーケンスを含み得る。また、図３００の出力３９２は、処理後の画像又は画像シーケンスを含み得る。

【0036】

[0051] 図３に示すように、入力３１０は、画像ダウンスケーラ３２０、ピクセル分類器３３０、及び画像後処理ユニット３９０と通信し得る。また、画像ダウンスケーラ３２０は、例えばフレーム又は画像を選択するために、フレーム選択ステップ３２２と通信し得る。更に、フレーム選択ステップ３２２は、例えば、低減された解像度の画像を、例えば、メモリ３８０を介して、ＡＩプロセッサ３６０及び／又はＣＰＵソフトウェア３７０と通信し得る。ＡＩプロセッサ３６０はまた、メモリ３８０を介してＣＰＵソフトウェア３７０と通信し得る。ＧＰＵ３５０及びビデオデコーダ３５２は、例えば、メモリ３８０を介してＭＵＸ３４０と通信し得る。ＭＵＸ３４０は、入力３１０とも通信し得る。また、ＣＰＵソフトウェア３７０は、ピクセル分類器３３０、例えば構成更新、及び／又は画像後処理ユニット３９０と通信し得る。ピクセル分類器３３０はまた、画像後処理ユニット３９０と通信し得る。この後、画像後処理ユニット３９０は、出力３９２、例えば画像又は画像シーケンスと通信し得る。

【0037】

[0052] 図３に更に示すように、画像後処理ユニット３９０は、フレーム前合成又はフレーム後合成であり得る。いくつかの態様では、図３００は、入力３１０、画像ダウンスケーラ３２０、ピクセル分類器３３０、及び／又は画像後処理ユニット３９０を含み得る、低電力リアルタイムピクセル処理パイプラインを含み得る。また、図３００は、選択された画像又はフレームに対して実行され得る非リアルタイム処理を含み得る。この非リアルタイム処理は、フレーム選択ステップ３２２、ＭＵＸ３４０、ＧＰＵ３５０、ビデオデコーダ３５２、ＡＩプロセッサ３６０、ＣＰＵソフトウェア３７０、及びメモリ３８０を含み得る。いくつかの態様では、ＡＩプロセッサ３６０は、ニューラルネットワークプロセッサと呼ばれることがある。また、ＣＰＵソフトウェア３７０は、統計分析のために利用されてもよい。

【0038】

[0053] グラフィックス処理又は画像処理のいくつかの態様は、色空間（すなわち、色の特定の編成）を利用し得る。色空間は、アナログ表現又はデジタル表現などを介して、色の再現可能な表現をサポートし得る。また、色空間は、特定のデバイス又はデジタルファイルの色能力を提供するのを助け得る。例えば、デバイス上で色を再現しようとするとき、色空間は、影／ハイライト及び／又は色飽和の詳細を示し得る。いくつかの異なるタイプの色空間又は色モデル（すなわち、色が数のタプルとして表され得る方法を記述する抽象数学モデル）が存在する。例えば、赤（Ｒ）、緑（Ｇ）、青（Ｂ）（ＲＧＢ）色空間／モデル、又はルミナンス（Ｙ）クロミナンス（ＵＶ）（ＹＵＶ）色空間／モデルが存在する。

【0039】

[0054] 加えて、色空間は、色空間変換（すなわち、ある基底から別の基底への色の表現の変換）と呼ばれるプロセスにおいて、ある色空間から別の色空間に変換され得る。色空間変換は、１つの色空間で表された画像を別の色空間での表現に変換する文脈で実行され得る。例えば、色空間変換の１つの目的は、変換された画像を元の画像に可能な限り似たように見せることであり得る。色空間変換の一例は、ＲＧＢ色空間をＹＵＶ色空間に変換すること、又はその逆である。

【0040】

[0055] いくつかの態様では、ＹＵＶ色空間の使用は、自然画像のビデオストリームにとって好都合であり得る。例えば、ＲＧＢ色空間とＹＵＶ色空間との間でフル画像（例えば、１対１のピクセル比）を符号化及び復号することは単純であり得る。しかしながら、ＹＵＶ画像からのフィルタリングを利用する画像処理パイプラインでは、ソース画像がいくつかのタイプの色空間（例えば、標準ＲＧＢ（ｓＲＧＢ）色空間）を用いて非線形（すなわち、ガンマ）圧縮される場合、符号化／復号プロセスは困難であり得る。

【0041】

[0056] 更に、フィルタリングは、いくつかの画像（例えば、ＹＵＶ画像）が、スケーリング、回転、又は他の任意の画像アクセスを適用し得る画像処理又はレンダリングパイプラインの一部である場合に利用され得る。ソースが線形ＲＧＢである場合、フィルタリングは、結果として得られるＹＵＶから直接実行され得る。ソースが非線形（すなわち、ガンマ）圧縮されたｓＲＧＢである場合、Ｙ／Ｕ／Ｖ成分が非線形Ｒ／Ｇ／Ｂ成分の累積であるので、結果として得られるＹＵＶから正確にフィルタリングすることができない場合がある。代わりに、各サンプルは、フィルタリングされる前に、ＹＵＶからｓＲＧＢに変換され、次いでｓＲＧＢから線形ＲＧＢに変換され得る。高度な（すなわち、バイキュービック）フィルタリングカーネルのためにすべてのサンプルに対してこれらの変換を適用することは、コストがかかる可能性がある。これは、サブサンプリングされたクロマを扱うとき、更に複雑になり得る。

【0042】

[0057] 上述したように、ＹＵＶは人間の知覚に基づく色符号化システムである。例えば、Ｙ＝ルミナンス（すなわち、線形）又はＹ’＝ルーマ（すなわち、非線形）は、人間の目が最も敏感な輝度値である。人間の知覚に基づく別の色符号化システムはＹＣｂＣｒであり、これは、クロミナンス成分がＵＶの代わりにＣｂＣｒであることを除いてＹＵＶに類似している。クロミナンス（例えば、Ｕ／Ｃｂ（青色投影）及びＶ／Ｃｒ（赤色投影）からなる）は、人間の目があまり敏感でない色値であり、したがって、これらの値はダウンサンプリングされ得る。いくつかの事例では、ＹＵＶはアナログテレビシステムに関連付けられてもよく、ＹＣｂＣｒはデジタルビデオの等価物であってもよい。

【0043】

[0058] 更に上述したように、ＲＧＢ及びＹＵＶは、異なるプロセスにおいて利用されてもよい。例えば、ＲＧＢは、コンピュータ画像のための一般的な色符号化システムとして利用されてもよく、ＹＵＶは、典型的には、ビデオ転送のために利用されてもよい。ＲＧＢとＹＵＶとの間の転送は、ＲＧＢ（例えば、Ｒ／Ｇ／Ｂ）における１つのチャネルの、ＹＵＶ（例えば、Ｙ／Ｕ／Ｖ）における対応するチャネルへの変換など、比較的単純なプロセスであり得る。例えば、様々な業界標準は、ＲＧＢ又はＹＵＶの３つの成分（例えば、Ｒ／Ｇ／Ｂ又はＹ／Ｕ／Ｖ）の加重和にオフセット及び／又はスケールを加えたものをもたらし得る。

【0044】

[0059] ガンマ圧縮は、人間の知覚感度に基づいて制限されたビットレートでより高いダイナミックレンジの色を記憶することを可能にする非線形転送関数である。例えば、ガンマ圧縮は、暗い領域に対してより多くのビットを利用し、明るい領域に対してより少ないビットを利用し得る。ガンマ曲線は、多くの場合、直線指数（例えば、２．２の指数）として表され得るが、様々な規格は、わずかな調整及び／又はクランプ仕様を有し得る。更に、ガンマ補正は、多くの場合、ルックアップテーブル（ＬＵＴ）を使用して実装され得る。ガンマ曲線は歴史的にテレビセットの光応答に関連付けられてきたかもしれないが、現代のコンピュータグラフィックスでは、ガンマ曲線はそのビットレート圧縮能力のために使用され得る。

【0045】

[0060] 色空間変換はまた、フィルタリング、すなわち、ピクセルの周りのカーネルからサンプルを取り、重み付けされた補間を適用することを利用し得る。フィルタリングは、画像から非直接方式（例えば、非１対１方式）でサンプリングするときに画質を維持するために使用される。更に、スケーリング、回転、又は他の任意のアクセスを適用し得る画像処理パイプラインの一部として画像が使用される場合、フィルタリングは一般的である。いくつかの事例では、フィルタリングは、サンプルが線形空間内にあることを必要とし得る。

【0046】

[0061] ガンマ空間フィルタリングは、元々、（例えば、陰極線管（ＣＲＴ）モニタにおいて）非線形モニタ強度とともに利用されていた可能性がある。より最近では、ガンマ空間フィルタリングが利用されてもよく、それにより、人間は、より明るい色合いよりもより暗い色合いの間の差を決定し得る。例えば、画像を限られたダイナミックレンジ（例えば、ビット深度範囲）に圧縮するために、線形画像がガンマに変換され得る。ビデオ及びデータの典型的な用途は、これらの結果をディスプレイに送信し得る（例えば、現代のディスプレイは、線形空間に変換し戻し得る）。また、いくつかのガンマ空間がある量（例えば、Ｘ^０．４５）よりも複雑であるように、様々なタイプのガンマ空間があり得る。

【0047】

[0062] いくつかの態様では、結合ベースの画像計算（例えば、補間フィルタリング、サンプリング、ブレンディングなど）は、非線形ガンマ空間において機能しないことがある。例えば、フィルタリングは、最終結果（すなわち、デガンマ後）を意図されたものより暗くすることがある。例えば、重要なアーチファクトは、ガンマ空間フィルタリングが「エネルギー」保存ではないことであり得る。更に、最終結果が暗くなる量は、サンプル位置に依存し得る。

【0048】

[0063] 図４は、例示的な線形サンプリングプロセス及び例示的なガンマ空間フィルタリングプロセスを示す図４００、４１０、４２０、４３０、及び４４０を含む。より具体的には、図４００、４１０、４２０、４３０、及び４４０は、線形サンプリングプロセスをガンマ空間フィルタリングプロセスと比較するサンプリング例を示す。図４に示されるように、図４００、４１０、４２０、４３０、及び４４０は、黒「ｘ」において実行される簡略化された線形サンプリングを示す。例えば、サンプリングプロセスが移動するにつれて（すなわち、黒い十字が右に移動するにつれて）、線形サンプリングの量は線形に調整される。図４に更に示されるように、ガンマ空間フィルタリングの場合、サンプリングは、ダイアグラム４１０、４２０、及び４３０において暗すぎる。

【0049】

[0064] 色空間変換のいくつかの態様は、非線形空間におけるフィルタリングが困難であり得る。例えば、ＲＧＢ画像が生成された後、ビットレートを維持するために、ＲＧＢ画像は非線形（ガンマ）圧縮され得る。非線形ＲＧＢは、ビデオ符号化及び転送のためにＹＵＶに変換され得る。受信側では、画像は画像処理パイプラインの一部として使用され得る。このプロセスはフィルタリングを必要とし得るが、ＹＵＶ画像は内部に非線形データを含み得る。正しいシーケンスは、ＹＵＶ画像が非線形ＲＧＢに変換され、次いでフィルタリングの前に線形ＲＧＢに変換されることを必要とし得る。任意のピクセルアクセスの場合、このシーケンスは、計算集約的であり、ハードウェアによって直接サポートされないことがある。

【0050】

[0065] 非線形空間における困難なフィルタリングに加えて、色空間変換のいくつかの態様は、線形空間への変換が困難である場合がある。いくつかの事例では、非線形ＹＵＶソースは、高ダイナミックレンジＲＧＢから生じ得る。また、非線形ＹＵＶソースは、帯域幅を節約するために、より低いビットレートの非線形（ガンマ）ｓＲＧＢに圧縮されてもよい。更に、非線形ＹＵＶソースは、更なるクロマサブサンプリング圧縮のためにＹＵＶ（例えば、ＹＵＶ４：２：０又はＮＶ１２）に変換され得る。従来のアクセスでは、非線形ＹＵＶからｓＲＧＢ及び／又は高ダイナミックレンジ線形ＲＧＢへの変換は、ソース生成プロセスをピクセルごとに反転させることによって実行され得る。従来のアクセスは、典型的には、ソース画像全体に対して実行され得る（例えば、スケーリング又は画像操作なし）。また、従来のアクセスは、ピクセルの非線形結合を利用しない場合がある。任意の非線形ＹＵＶアクセスは、複数のサンプルを一緒にフィルタリングすることを利用し得る任意のピクセルアクセス（例えば、スケーリング、回転、又は他の画像処理）であり得る。任意のピクセルアクセスでは、フィルタリングは線形空間で実行される必要があり得る。また、非線形ＹＵＶサンプルの線形空間への変換は複雑であり、ハードウェア又はソフトウェアにおいて効率的に実装することが困難である場合がある。

【0051】

[0066] 図５Ａ及び図５Ｂは、それぞれ、例示的な非線形ＹＵＶ符号化プロセスを示す図５００及び図５５０を含む。より具体的には、図５００は、非一定ルミナンス（ＮＣＬ）のための非線形ＹＵＶ符号化プロセスを示し、図５５０は、一定ルミナンス（ＣＬ）のための非線形ＹＵＶ符号化プロセスを示す。図５Ａに示すように、図５００は、色成分５１２（例えば、Ｒ、Ｇ、Ｂ）、非線形成分５１４（例えば、Ｙ’、Ｕ’、Ｖ’）、ガンマ圧縮５１８、色空間変換５２０、及びダウンサンプリング処理５２２を含むＮＣＬ符号化プロセス５１０を含む。図５Ａはまた、ＮＣＬ符号化プロセス５１０のいくつかの態様が、非線形色空間において適用されるので、不正確な計算をもたらし得ることを示す。図５Ｂに示すように、図５５０は、色成分５６２（例えば、Ｒ、Ｇ、Ｂ）、非線形成分５６４（例えば、Ｙ’、Ｕ’、Ｖ’）、ガンマ圧縮５６８、色空間変換５７０、及びダウンサンプリング処理５７２を含むＣＬ符号化プロセス５６０を含む。図５Ｂはまた、ＣＬ符号化プロセス５６０のいくつかの態様が、非線形色空間において適用されるときに不正確な計算をもたらし得ることを示す。

【0052】

[0067] 図５Ａ及び図５Ｂに示すように、非線形ＹＵＶ符号化プロセスは、ガンマ空間圧縮を含み得、ガンマ空間圧縮は、高ダイナミックレンジＲＧＢをより低いビットレートｓＲＧＢに変換し得る。ｓＲＧＢは、非線形Ｒ’、Ｇ’、及びＢ’成分を含み得る。ガンマ空間圧縮はまた、中間画像の記憶を可能にし得る。図５Ａ及び図５Ｂに更に示すように、非線形ＹＵＶ符号化プロセスは、非線形ｓＲＧＢ（例えば、Ｒ’Ｇ’Ｂ’）が非線形ＹＵＶ（例えば、Ｙ’Ｕ’Ｖ’）に変換され得るように、色空間変換５２０及び５７０を含み得る。更に、クロマサブサンプリングがあってもよい。図５Ａ及び図５Ｂに更に示すように、非線形ＹＵＶ符号化プロセスにおける初期のガンマ空間圧縮の利便性は、中間のより低いビットレートのｓＲＧＢ画像を記憶する能力であり得る。非線形ＹＵＶ符号化プロセスの１つの欠点は、色空間変換及びサブサンプリング動作が非線形値を使用し得ることである。

【0053】

[0068] 図６Ａ及び図６Ｂは、それぞれ、例示的な非線形ＹＵＶ復号プロセスを示す図６００及び６５０を含む。より具体的には、図６００は、非一定ルミナンス（ＮＣＬ）のための非線形ＹＵＶ復号プロセスを示し、図６５０は、一定ルミナンス（ＣＬ）のための非線形ＹＵＶ復号プロセスを示す。図６Ａに示されるように、図６００は、色成分６１２（例えば、Ｒ、Ｇ、Ｂ）、非線形成分６１４（例えば、Ｙ’、Ｕ’、Ｖ’）を含むＮＣＬ復号プロセス６１０、アップサンプリングプロセス６１８、色空間変換６２０、及びデガンマプロセス６２２を含む。図６Ａはまた、ＮＣＬ復号プロセス６１０のいくつかの態様が、非線形色空間において適用されるときに不正確な計算をもたらし得ることを示す。図６Ｂに示されているように、図６５０は、色成分６６２（例えば、Ｒ、Ｇ、Ｂ）と、非線形成分６６４（例えば、Ｙ’、Ｕ’、Ｖ’）と、アップサンプリングプロセス６６８と、色空間変換６７０と、デガンマプロセス６７２と、を含むＣＬ復号プロセス６６０を含む。図６Ｂはまた、ＣＬ復号プロセス６６０のいくつかの態様が、非線形色空間において適用されるときに不正確な計算をもたらし得ることを示す。

【0054】

[0069] 図６Ａ及び図６Ｂに示すように、非線形ＹＵＶ復号プロセスは、クロマアップサンプリングを含み得る。非線形ＹＵＶ復号プロセスはまた、非線形ＹＵＶ（例えば、Ｙ’Ｕ’Ｖ’）がｓＲＧＢ（例えば、Ｒ’Ｇ’Ｂ’）に変換され得るように、色空間変換６２０及び６７０を含み得る。更に、非線形ＹＵＶ復号プロセスは、ｓＲＧＢ（例えば、Ｒ’Ｇ’Ｂ’）が高ダイナミックレンジＲＧＢに変換され得るように、デガンマプロセス６２２及び６７２を含み得る。非線形ＹＵＶ復号プロセスの１つの欠点は、アップサンプリング及び色空間変換動作が非線形値を使用する可能性があることである。

【0055】

[0070] 図７Ａ及び図７Ｂは、それぞれ、フィルタリングを伴う例示的な非線形ＹＵＶ復号プロセスを示す図７００及び図７５０を含む。より具体的には、図７００は、非一定ルミナンス（ＮＣＬ）に対するフィルタリングを伴う非線形ＹＵＶ復号プロセスを示し、図７５０は、一定ルミナンス（ＣＬ）に対するフィルタリングを伴う非線形ＹＵＶ復号プロセスを示す。図７Ａに示されるように、図７００は、色成分７１２（例えば、Ｒ、Ｇ、Ｂ）、非線形成分７１４（例えば、Ｙ’、Ｕ’、Ｖ’）、フィルタプロセス７１６、アップサンプリング処理７１８、色空間変換７２０、及びデガンマプロセス７２２を含むフィルタリングを伴うＮＣＬ復号プロセス７１０を含む。図７Ａはまた、フィルタリングを伴うＮＣＬ復号プロセス７１０のいくつかの態様が、非線形色空間において適用されるので、不正確な計算をもたらし得ることを示す。また、フィルタプロセス７１６は、パイプラインの他の部分における不正確な計算と比較して、非線形色空間において適用されるより深刻な不正確な計算を含み得る。図７Ｂに示されているように、図７５０は、色成分７６２（例えば、Ｒ、Ｇ、Ｂ）と、非線形成分７６４（例えば、Ｙ’、Ｕ’、Ｖ’）と、フィルタプロセス７６６と、アップサンプリングプロセス７６８と、色空間変換７７０と、デガンマプロセス７７２と、を含む、フィルタリングを伴うＣＬ復号プロセス７６０を含む。図７Ｂはまた、フィルタリングを伴うＣＬ復号プロセス７６０のいくつかの態様が、非線形色空間において適用されるので、不正確な計算をもたらし得ることを示す。また、フィルタプロセス７６６は、パイプラインの他の部分における不正確な計算と比較して、非線形色空間において適用されるより深刻な不正確な計算を含み得る。

【0056】

[0071] 図７Ａ及び図７Ｂに示すように、フィルタリングを伴う非線形ＹＵＶ復号プロセスは、複数のサンプルを一緒にフィルタリングし得るフィルタプロセス７１６及び７６６を含み得る。しかしながら、このフィルタプロセスは、非線形値に起因する著しい誤差をもたらす可能性がある。フィルタリングを伴う非線形ＹＵＶ復号プロセス７１０及び７６０はまた、クロマサブサンプリングを含み得、これは、非線形値に起因するいくらかの誤差をもたらし得る。フィルタリングを伴う非線形ＹＵＶ復号プロセス７１０及び７６０は、色空間変換も含み得、これは、非線形ＹＵＶ（Ｙ’Ｕ’Ｖ’）をｓＲＧＢ（例えば、Ｒ’Ｇ’Ｂ’）に変換するときに何らかの誤差をもたらすことがある。更に、フィルタリングを伴う非線形ＹＵＶ復号プロセス７１０及び７６０は、ｓＲＧＢを高ダイナミックレンジＲＧＢに変換し得るデガンマプロセス７２２及び７７２を含み得る。いくつかの態様では、ハードウェアパイプラインは、典型的には、より複雑な色処理動作を適用する前にフィルタリングし得る。フィルタリングを伴う非線形ＹＵＶ復号プロセスの１つの欠点は、アップサンプリング及び色空間変換動作が非線形値を利用する可能性があることである。

【0057】

[0072] 上記に基づいて、非線形空間においてフィルタリングすることは、非線形ＹＵＶ変換プロセスにとって有益であり得る。非線形ＹＵＶ変換プロセス中に線形空間に変換することも有益であり得る。例えば、非線形ＹＵＶ変換プロセス中に非線形ＹＵＶサンプルを線形空間に変換することが有益であり得る。更に、非線形ＹＵＶ変換プロセスにとって、非線形値を用いるアップサンプリング及び色空間変換動作を利用することが有益であり得る。

【0058】

[0073] 本開示の態様は、非線形空間においてフィルタリングする非線形ＹＵＶ変換プロセスを含み得る。また、本開示の態様は、非線形ＹＵＶ変換プロセス中に線形空間に変換し得る。例えば、本開示の態様は、非線形ＹＵＶ変換プロセス中に非線形ＹＵＶサンプルを線形空間に変換し得る。加えて、いくつかの事例では、本開示の態様は、非線形値を用いるアップサンプリング及び色空間変換動作を利用する非線形ＹＵＶ変換プロセスを含み得る。本開示の態様はまた、色空間変換（例えば、ＲＧＢからＹＵＶへの変換）の後に、非線形圧縮を個々のチャネル（例えば、Ｒ、Ｇ、Ｂチャネル）からあるチャネル（例えば、ルーマ（Ｙ）チャネル）に移動させ得る。そうすることによって、本開示の態様は、サンプリング、線形成分への変換、及び／又はＹＵＶ空間におけるフィルタリングをより容易にしながら、非線形ルーマ圧縮の性質を維持し得る。加えて、本開示の態様は、中間ＹＵＶ ４：２：０ビデオフォーマット（例えば、ＮＶ１２）など、いくつかのビデオフォーマットが影響を受けないままであることを可能にし得る。

【0059】

[0074] 加えて、本開示の態様は、ルーマ／ルミナンス（Ｙ／Ｙ’）成分のみを有する非線形ＹＵＶ変換プロセスを含み得る。したがって、本開示の態様は、ルーマ／ルミナンス（Ｙ／Ｙ’）チャネルのための、すなわち、クロマ／クロミナンス（ＵＶ／Ｕ’Ｖ’）チャネルなしの、非線形ＹＵＶ変換プロセスを提供し得る。例えば、本開示の態様は、ルーマ／ルミナンス成分又はチャネルのために非線形ＹＵＶ符号化プロセスを利用し得る。本開示の態様はまた、ルーマ／ルミナンス成分又はチャネルのために非線形ＹＵＶ復号プロセスを利用し得る。更に、本開示の態様はまた、ルーマ／ルミナンス成分又はチャネルのためのフィルタリングを伴う非線形ＹＵＶ復号プロセスを利用し得る。

【0060】

[0075] 図８は、例示的な非線形ＹＵＶ符号化プロセスを示す図８００を含む。より具体的には、図８００は、ルーマ／ルミナンス（Ｙ／Ｙ’）成分のための非線形ＹＵＶ符号化プロセスを示す。図８に示されるように、図８００は、色成分８１２（例えば、Ｒ、Ｇ、Ｂ）、非線形成分８１４（例えば、Ｙ’、Ｕ’、Ｖ’）、ガンマ圧縮８１８、色空間変換８２０、及びダウンサンプリング処理８２２を含むＹのみの符号化プロセス８１０を含む。図８はまた、Ｙのみの符号化プロセス８１０の態様が、不正確な色空間に対応する任意のステップをもたらさないことがあることを示す。したがって、Ｙのみの符号化プロセス８１０は、線形色空間において正確に実行されるプロセスにおける各ステップをもたらし得る。

【0061】

[0076] 図８に示すように、ルーマ／ルミナンス（Ｙ／Ｙ’）成分のみを有する非線形ＹＵＶ符号化プロセスは、線形ＲＧＢが線形ＹＵＶに変換され得るように、色空間変換８２０を含み得る。図８はまた、Ｙチャネルのみのガンマ空間圧縮を含み得る。したがって、Ｙチャネルのみを用いる非線形ＹＵＶ符号化プロセスにおけるガンマ空間圧縮は、ＵＶチャネルに対して実行されなくてもよい。ルーマ／ルミナンス（Ｙ／Ｙ’）成分のみを用いる非線形ＹＵＶ符号化プロセスは、線形成分を使用するクロマサブサンプリングを更に含み得る。図８に更に示されるように、Ｙのみの符号化プロセス８１０における色処理のすべては、線形成分に対して実行され得る。代替的に、ｓＲＧＢ（Ｒ’Ｇ’Ｂ’）ソースの場合、Ｙのみの符号化プロセスは、Ｒ’Ｇ’Ｂ’入力と、Ｒ’Ｇ’Ｂ’入力の直後に各チャネルに対して実行されるデガンマプロセスと、を含み得る。

【0062】

[0077] 図９は、例示的な非線形ＹＵＶ復号プロセスを示す図９００を含む。より具体的には、図９００は、ルーマ／ルミナンス（Ｙ／Ｙ’）成分のための非線形ＹＵＶ復号プロセスを示す。図９に示されるように、図９００は、色成分９１２（例えば、Ｒ、Ｇ、Ｂ）、非線形成分９１４（例えば、Ｙ’、Ｕ’、Ｖ’）、アップサンプリングプロセス９１８、色空間変換９２０、及びデガンマプロセス９２２を含むＹのみの復号プロセス９１０を含む。図９はまた、Ｙのみの復号プロセス９１０の態様が、不正確な非線形色空間における計算を伴う任意のステップをもたらさないことがあることを示す。したがって、Ｙのみの復号プロセス９１０は、線形色空間において正確に実行されるプロセスにおける各ステップをもたらし得る。

【0063】

[0078] 図９に示されるように、ルーマ／ルミナンス（Ｙ／Ｙ’）成分のみを有する非線形ＹＵＶ復号プロセスは、線形ＹＵＶがＲＧＢに変換され得るように、ＹＵＶからＲＧＢへの色空間変換９２０を含み得る。図９は、Ｙのみの復号プロセス９１０がクロマアップサンプリングプロセス（例えば、アップサンプリングプロセス９１８）を含み得ることを示す。例えば、ルーマ／ルミナンス（Ｙ／Ｙ’）成分のみを用いる非線形ＹＵＶ復号プロセスは、線形成分を使用するクロマサブサンプリングを更に含み得る。図９に更に示されるように、Ｙのみの復号プロセス９１０における色処理のすべては、線形空間において実行され得る。更に、図９に示すように、サンプルのデガンマプロセスはハードウェアでサポートされてもよい。

【0064】

[0079] 図１０は、フィルタリングを伴う例示的な非線形ＹＵＶ復号プロセスを示す図１０００を含む。より具体的には、図１０００は、ルーマ／ルミナンス（Ｙ／Ｙ’）成分のためのフィルタリングを伴う非線形ＹＵＶ復号プロセスを示す。図１０に示されているように、図１０００は、色成分１０１２（例えば、Ｒ、Ｇ、Ｂ）と、非線形成分１０１４（例えば、Ｙ’、Ｕ’、Ｖ’）と、フィルタプロセス１０１６と、アップサンプリングプロセス１０１８と、色空間変換１０２０と、デガンマプロセス１０２２と、を含む、フィルタリングを伴うＹのみの復号プロセス１０１０を含む。更に、図１０の図１０００は、ＧＰＵテクスチャプロセッサ（ＴＰ）処理部分１０３０と、ＧＰＵシェーダプロセッサ（ＳＰ）処理部分１０４０と、を含む。したがって、フィルタリングを伴うＹのみの復号プロセス１０１０の一部分は、ＧＰＵのＴＰ（例えば、ＧＰＵ ＴＰ処理部分１０３０）において処理され得、フィルタリングを伴うＹのみの復号プロセス１０１０の別の部分は、ＧＰＵのＳＰ（例えば、ＧＰＵ ＳＰ処理部分１０４０）において処理され得る。図１０はまた、フィルタリングを伴うＹのみの復号プロセス１０１０の態様が、不正確な非線形色空間における計算を伴う任意のステップをもたらさない場合があることを示す。したがって、フィルタリングを伴うＹのみの復号プロセス１０１０は、線形色空間において正確に実行されるプロセスにおける各ステップをもたらし得る。

【0065】

[0080] 図１０に示されるように、ルーマ／ルミナンス（Ｙ／Ｙ’）成分のみを含むフィルタリングを伴う非線形ＹＵＶ復号プロセスは、線形ＹＵＶがＲＧＢに変換され得るように、ＹＵＶからＲＧＢへの色空間変換１０２０を含み得る。図１０は、フィルタリングを伴うＹのみの復号プロセス１０１０が、（例えば、フィルタプロセス１０１６を介して）複数のサンプルを一緒にフィルタリングすることを含み得ることを示す。したがって、Ｙチャネルのみを含むフィルタリングを伴う非線形ＹＵＶ復号プロセスは、フィルタリングの前にすべてのサンプルに対してＹチャネルデガンマプロセスを実行し得る。ルーマ／ルミナンス（Ｙ／Ｙ’）成分のみを含むフィルタリングを伴う非線形ＹＵＶ復号プロセスは、線形成分を使用するクロマサブサンプリングを更に含み得る。図１０に更に示されるように、フィルタリングを伴うＹのみの復号プロセス１０１０における色処理のすべては、線形空間において実行され得る。更に、図１０に示されるように、サンプルのデガンマは、フィルタリングの前にハードウェアにおいてサポートされ得る。

【0066】

[0081] ＧＰＵにおける非線形ＹＵＶ変換のためのフィルタリングのいくつかの態様では、ＴＰフィルタリングは、非線形値に対して強制され得る。これは、ＴＰ及びＳＰ処理全体にわたって伝搬される非線形誤差をもたらし得る。対照的に、本開示の態様は、線形値のみに対するＴＰフィルタリングを伴う非線形ＹＵＶ変換を含み得る。したがって、本開示の態様は、ＴＰ及びＳＰ処理全体にわたって誤差が伝搬されないように、正確な値を提供し得る。本開示の態様はまた、ＧＰＵにおけるＴＰ処理及びＳＰ処理のすべてが線形値に対して実行されることを可能にし得る。更に、本開示の態様は、フィルタリングの前にＹ個のサンプルのデガンマプロセスを実行し得る。いくつかの事例では、これは、ＴＰハードウェアによってサポートされ得る。

【0067】

[0082] 本開示の態様は、いくつかの利益又は利点を含み得る。例えば、本開示の態様は、ＴＰ及びＳＰ処理全体にわたって正確な値を伝搬し得る。本開示の態様はまた、色空間変換（例えば、ＲＧＢからＹＵＶへの変換）の後に、非線形圧縮を個々のチャネル（例えば、Ｒ、Ｇ、Ｂチャネル）からあるチャネル（例えば、ルーマ（Ｙ）チャネル）に移動させ得る。そうすることによって、本開示の態様は、サンプリング、線形成分への変換、及び／又はＹＵＶ空間におけるフィルタリングをより容易にしながら、非線形ルーマ圧縮の性質を維持し得る。加えて、本開示の態様は、中間ＹＵＶ ４：２：０ビデオフォーマット（例えば、ＮＶ１２）など、いくつかのビデオフォーマットが影響を受けないままであることを可能にし得る。

【0068】

[0083] 図１１は、本開示の１つ又は複数の技法による、グラフィックス処理の通信フロー図１１００である。図１１に示すように、図１１００は、本開示の１つ又は複数の技法による、ＧＰＵ（又は他のグラフィックスプロセッサ）の構成要素、例えば、ＧＰＵ構成要素１１０２、ＧＰＵ構成要素１１０４、及びＧＰＵ構成要素１１０６の間の例示的な通信を含む。

【0069】

[0084] １１１０において、ＧＰＵ構成要素１１０２は、第１の色空間に関連付けられた複数のピクセルについての要求（例えば、要求１１１２）を送信し得、複数のピクセルは、送信された要求に基づいて受信される。要求は、グラフィックス処理ユニット（ＧＰＵ）のシェーダプロセッサからＧＰＵのテクスチャプロセッサに送信され得る。

【0070】

[0085] １１２０において、ＧＰＵ構成要素１１０２は、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセル（例えば、ピクセル１１２２）を受信し得、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルは、第１の圧縮チャネルである。第１の色空間は、ルミナンス（Ｙ）クロミナンス（ＵＶ）（ＹＵＶ）色空間であり得、第２の色空間は、赤（Ｒ）緑（Ｇ）青（Ｂ）（ＲＧＢ）色空間であり得る。

【0071】

[0086] １１３０において、ＧＰＵ構成要素１１０２は、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを読み取り得、複数のピクセルは、少なくとも１つの第１の色チャネルを解凍する前に読み取られる。

【0072】

[0087] １１４０において、ＧＰＵ構成要素１１０２は、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルを解凍し得、少なくとも１つの第１の色チャネルは、第１の圧縮チャネルから第１の解凍チャネルに解凍される。少なくとも１つの第１のチャネルの解凍は、解凍が少なくとも１つの第１のチャネルを非線形チャネルから線形チャネルに変換するように、非線形解凍であってもよい。また、複数の第１の色チャネルのうちの１つ又は複数の第１のチャネルは、１つ又は複数の第１のチャネルが解凍されないように、線形チャネルであってもよい。いくつかの事例では、少なくとも１つの第１の色チャネルは、解凍される前に非線形圧縮され得る。

【0073】

[0088] １１５０において、ＧＰＵ構成要素１１０２は、少なくとも１つの第１の色チャネルが解凍された後に、複数の第１の色チャネルの各々をフィルタリングし得る。複数の第１の色チャネルの各々は、線形フィルタリング、双線形フィルタリング、又は非線形フィルタリングされ得る。

【0074】

[0089] １１６０において、ＧＰＵ構成要素１１０２は、複数の第１の色チャネルが複数の第２の色チャネルに変換されるように、複数のピクセルに関連付けられた第１の色空間の色空間変換を実行し得、複数の第２の色チャネルは、複数のピクセルのための第２の色空間に関連付けられる。色空間変換は、複数の第１の色チャネルの各々について同時に実行され得る。また、色空間変換は、グラフィックス処理ユニット（ＧＰＵ）のテクスチャプロセッサ又はＧＰＵのシェーダプロセッサのうち少なくとも１つにおいて実行され得る。いくつかの態様では、ＧＰＵ構成要素１１０２は、少なくとも１つの第１のチャネルを、複数の第１の色チャネルのうちの少なくとも１つの他の第１のチャネル及び複数の第１の色チャネルのうちの少なくとも１つの追加の第１のチャネルと結合し得る。例えば、第１の色空間の色空間変換を実行することは、少なくとも１つの第１のチャネルを、複数の第１の色チャネルのうちの少なくとも１つの他の第１のチャネル及び複数の第１の色チャネルのうちの少なくとも１つの追加の第１のチャネルと結合することを更に含み得る。少なくとも１つの第１のチャネルと、少なくとも１つの他の第１のチャネル及び少なくとも１つの追加の第１のチャネルとの結合は、行列結合器によって実行され得る。

【0075】

[0090] １１７０において、ＧＰＵ構成要素１１０２は、色空間変換後に第２の色空間に関連付けられた複数のピクセル（例えば、ピクセル１１７２）を送信し得る。複数のピクセルは、グラフィックス処理ユニット（ＧＰＵ）のシェーダプロセッサに送信され得る。

【0076】

[0091] 図１２は、本開示の１つ又は複数の技法による、グラフィックス処理の例示的な方法のフローチャート１２００である。方法は、グラフィックス処理のための装置、ＧＰＵ若しくは他のグラフィックスプロセッサ、ワイヤレス通信デバイス、及び／又は図１～図１１の例に関して使用されるようなグラフィックス処理を実行し得る任意の装置など、装置によって実行され得る。本明細書で説明する方法は、通信シグナリング、リソース利用、及び／又は電力節約を改善するなど、いくつかの利益を提供し得る。

【0077】

[0092] １２０４において、図１～図１１の例に関して説明したように、ＧＰＵは、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを受信し得、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルは第１の圧縮チャネルである。例えば、図１１の１１２０に記載されているように、ＧＰＵ構成要素１１０２は、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを受信し得、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルは第１の圧縮チャネルである。更に、ステップ１２０４は、図１の処理ユニット１２０によって実行され得る。第１の色空間は、ルミナンス（Ｙ）クロミナンス（ＵＶ）（ＹＵＶ）色空間であり得、第２の色空間は、赤（Ｒ）緑（Ｇ）青（Ｂ）（ＲＧＢ）色空間であり得る。

【0078】

[0093] １２０８において、ＧＰＵは、図１～図１１の例に関して説明したように、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルを解凍し得、少なくとも１つの第１の色チャネルは、第１の圧縮チャネルから第１の解凍チャネルに解凍される。例えば、図１１の１１４０に記載されているように、ＧＰＵ構成要素１１０２は、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルを解凍し得、少なくとも１つの第１の色チャネルは、第１の圧縮チャネルから第１の解凍チャネルに解凍される。更に、ステップ１２０８は、図１の処理ユニット１２０によって実行され得る。少なくとも１つの第１のチャネルの解凍は、解凍が少なくとも１つの第１のチャネルを非線形チャネルから線形チャネルに変換するように、非線形解凍であってもよい。また、複数の第１の色チャネルのうちの１つ又は複数の第１のチャネルは、１つ又は複数の第１のチャネルが解凍されないように、線形チャネルであってもよい。いくつかの事例では、少なくとも１つの第１の色チャネルは、解凍される前に非線形圧縮され得る。

【0079】

[0094] １２１２において、ＧＰＵは、図１～図１１の例に関して説明したように、複数の第１の色チャネルが複数の第２の色チャネルに変換されるように、複数のピクセルに関連付けられた第１の色空間の色空間変換を実行し得、複数の第２の色チャネルは、複数のピクセルのための第２の色空間に関連付けられる。例えば、図１１の１１６０に記載されているように、ＧＰＵ構成要素１１０２は、複数の第１の色チャネルが複数の第２の色チャネルに変換されるように、複数のピクセルに関連付けられた第１の色空間の色空間変換を実行し得、複数の第２の色チャネルは、複数のピクセルのための第２の色空間に関連付けられる。更に、ステップ１２１２は、図１の処理ユニット１２０によって実行され得る。色空間変換は、複数の第１の色チャネルの各々について同時に実行され得る。また、色空間変換は、グラフィックス処理ユニット（ＧＰＵ）のテクスチャプロセッサ又はＧＰＵのシェーダプロセッサのうち少なくとも１つにおいて実行され得る。いくつかの態様では、ＧＰＵ構成要素１１０２は、少なくとも１つの第１のチャネルを、複数の第１の色チャネルのうちの少なくとも１つの他の第１のチャネル及び複数の第１の色チャネルのうちの少なくとも１つの追加の第１のチャネルと結合し得る。例えば、第１の色空間の色空間変換を実行することは、少なくとも１つの第１のチャネルを、複数の第１の色チャネルのうちの少なくとも１つの他の第１のチャネル及び複数の第１の色チャネルのうちの少なくとも１つの追加の第１のチャネルと結合することを更に含み得る。少なくとも１つの第１のチャネルと、少なくとも１つの他の第１のチャネル及び少なくとも１つの追加の第１のチャネルとの結合は、行列結合器によって実行され得る。

【0080】

[0095] 図１３は、本開示の１つ又は複数の技法による、グラフィックス処理の例示的な方法のフローチャート１３００である。方法は、グラフィックス処理のための装置、ＧＰＵ若しくは他のグラフィックスプロセッサ、ワイヤレス通信デバイス、及び／又は図１～図１１の例に関して使用されるようなグラフィックス処理を実行し得る任意の装置など、装置によって実行され得る。本明細書で説明する方法は、通信シグナリング、リソース利用、及び／又は電力節約を改善するなど、いくつかの利益を提供し得る。

【0081】

[0096] １３０２において、ＧＰＵは、第１の色空間に関連付けられた複数のピクセルについての要求を送信し得、図１～図１１の例に関して説明したように、送信された要求に基づいて複数のピクセルが受信される。例えば、図１１の１１１０に記載されているように、ＧＰＵ構成要素１１０２は、第１の色空間に関連付けられた複数のピクセルについての要求を送信し得、複数のピクセルは、送信された要求に基づいて受信される。更に、ステップ１３０２は、図１の処理ユニット１２０によって実行され得る。要求は、グラフィックス処理ユニット（ＧＰＵ）のシェーダプロセッサからＧＰＵのテクスチャプロセッサに送信され得る。

【0082】

[0097] １３０４において、図１～図１１の例に関して説明したように、ＧＰＵは、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを受信し得、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルは第１の圧縮チャネルである。例えば、図１１の１１２０に記載されているように、ＧＰＵ構成要素１１０２は、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを受信し得、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルは第１の圧縮チャネルである。更に、ステップ１３０４は、図１の処理ユニット１２０によって実行され得る。第１の色空間は、ルミナンス（Ｙ）クロミナンス（ＵＶ）（ＹＵＶ）色空間であり得、第２の色空間は、赤（Ｒ）緑（Ｇ）青（Ｂ）（ＲＧＢ）色空間であり得る。

【0083】

[0098] １３０６において、図１～図１１の例に関して説明したように、ＧＰＵは、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを読み取り得、複数のピクセルは、少なくとも１つの第１の色チャネルを解凍する前に読み取られる。例えば、図１１の１１３０に記載されているように、ＧＰＵ構成要素１１０２は、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを読み取り得、複数のピクセルは、少なくとも１つの第１の色チャネルを解凍する前に読み取られる。更に、ステップ１３０６は、図１の処理ユニット１２０によって実行され得る。

【0084】

[0099] １３０８において、ＧＰＵは、図１～図１１の例に関して説明したように、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルを解凍し得、少なくとも１つの第１の色チャネルは、第１の圧縮チャネルから第１の解凍チャネルに解凍される。例えば、図１１の１１４０に記載されているように、ＧＰＵ構成要素１１０２は、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルを解凍し得、少なくとも１つの第１の色チャネルは、第１の圧縮チャネルから第１の解凍チャネルに解凍される。更に、ステップ１３０８は、図１の処理ユニット１２０によって実行され得る。少なくとも１つの第１のチャネルの解凍は、解凍が少なくとも１つの第１のチャネルを非線形チャネルから線形チャネルに変換するように、非線形解凍であってもよい。また、複数の第１の色チャネルのうちの１つ又は複数の第１のチャネルは、１つ又は複数の第１のチャネルが解凍されないように、線形チャネルであってもよい。いくつかの事例では、少なくとも１つの第１の色チャネルは、解凍される前に非線形圧縮され得る。

【0085】

[0100] １３１０において、ＧＰＵは、図１～図１１の例に関して説明したように、少なくとも１つの第１の色チャネルが解凍された後に、複数の第１の色チャネルの各々をフィルタリングし得る。例えば、図１１の１１５０に記載されているように、ＧＰＵ構成要素１１０２は、少なくとも１つの第１の色チャネルが解凍された後に、複数の第１の色チャネルの各々をフィルタリングし得る。更に、ステップ１３１０は、図１の処理ユニット１２０によって実行され得る。複数の第１の色チャネルの各々は、線形フィルタリング、双線形フィルタリング、又は非線形フィルタリングされ得る。

【0086】

[0101] １３１２において、ＧＰＵは、図１～図１１の例に関して説明したように、複数の第１の色チャネルが複数の第２の色チャネルに変換されるように、複数のピクセルに関連付けられた第１の色空間の色空間変換を実行し得、複数の第２の色チャネルが複数のピクセルのための第２の色空間に関連付けられる。例えば、図１１の１１６０に記載されているように、ＧＰＵ構成要素１１０２は、複数の第１の色チャネルが複数の第２の色チャネルに変換されるように、複数のピクセルに関連付けられた第１の色空間の色空間変換を実行し得、複数の第２の色チャネルは、複数のピクセルのための第２の色空間に関連付けられる。更に、ステップ１３１２は、図１の処理ユニット１２０によって実行され得る。色空間変換は、複数の第１の色チャネルの各々について同時に実行され得る。また、色空間変換は、グラフィックス処理ユニット（ＧＰＵ）のテクスチャプロセッサ又はＧＰＵのシェーダプロセッサのうち少なくとも１つにおいて実行され得る。いくつかの態様では、ＧＰＵ構成要素１１０２は、少なくとも１つの第１のチャネルを、複数の第１の色チャネルのうちの少なくとも１つの他の第１のチャネル及び複数の第１の色チャネルのうちの少なくとも１つの追加の第１のチャネルと結合し得る。例えば、第１の色空間の色空間変換を実行することは、少なくとも１つの第１のチャネルを、複数の第１の色チャネルのうちの少なくとも１つの他の第１のチャネル及び複数の第１の色チャネルのうちの少なくとも１つの追加の第１のチャネルと結合することを更に含み得る。少なくとも１つの第１のチャネルと、少なくとも１つの他の第１のチャネル及び少なくとも１つの追加の第１のチャネルとの結合は、行列結合器によって実行され得る。

【0087】

[0102] １３１４において、ＧＰＵは、図１～図１１の例に関して説明したように、色空間変換後に、第２の色空間に関連付けられた複数のピクセルを送信し得る。例えば、図１１の１１７０に記載されているように、ＧＰＵ構成要素１１０２は、色空間変換後に、第２の色空間に関連付けられた複数のピクセルを送信し得る。更に、ステップ１３１４は、図１の処理ユニット１２０によって実行され得る。複数のピクセルは、グラフィックス処理ユニット（ＧＰＵ）のシェーダプロセッサに送信され得る。

【0088】

[0103] 構成では、グラフィックス処理のための方法又は装置が提供される。装置は、ＧＰＵ、グラフィックスプロセッサ、又はグラフィックス処理を実行し得る何らかの他のプロセッサであり得る。態様では、装置は、デバイス１０４内の処理ユニット１２０であり得るか、又はデバイス１０４若しくは別のデバイス内の何らかの他のハードウェアであり得る。装置、例えば、処理ユニット１２０は、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを受信するための手段であって、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルが第１の圧縮チャネルである、手段と、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルを解凍するための手段であって、少なくとも１つの第１の色チャネルが、第１の圧縮チャネルから第１の解凍チャネルに解凍される手段と、複数の第１の色チャネルが複数の第２の色チャネルに変換されるように、複数のピクセルに関連付けられた第１の色空間の色空間変換を実行するための手段であって、複数の第２の色チャネルが、複数のピクセルのための第２の色空間に関連付けられる、手段と、少なくとも１つの第１のチャネルを、複数の第１の色チャネルのうちの少なくとも１つの他の第１のチャネル及び複数の第１の色チャネルのうちの少なくとも１つの追加の第１のチャネルと結合するための手段と、少なくとも１つの第１の色チャネルが解凍された後に複数の第１の色チャネルの各々をフィルタリングするための手段と、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを読み取るための手段であって、複数のピクセルは、少なくとも１つの第１の色チャネルを解凍する前に読み取られる、読み取るための手段と、第１の色空間に関連付けられた複数のピクセルについての要求を送信するための手段であって、複数のピクセルが、送信された要求に基づいて受信される、手段と、色空間変換の後に、第２の色空間に関連付けられた複数のピクセルを送信するための手段と、を含み得る。

【0089】

[0104] 本明細書で説明する主題は、１つ又は複数の利益又は利点を実現するために実装され得る。例えば、記載されたグラフィックス処理技術は、ＧＰＵ、グラフィックスプロセッサ、又は本明細書に記載された非線形フィルタリング技法を実装するためにグラフィックス処理を実行し得る他の何らかのプロセッサによって使用されてもよい。このことはまた、他のグラフィックス処理技法と比較して、低コストで達成され得る。更に、本明細書のグラフィックス処理技法は、データ処理又は実行を改善又は加速させ得る。更に、本明細書のグラフィックス処理技法は、リソース若しくはデータ利用、及び／又はリソース効率を改善し得る。加えて、本開示の態様は、メモリ帯域幅効率を改善し、及び／又はＧＰＵにおける処理速度を増加させるために、非線形フィルタリング技法を利用し得る。

【0090】

[0105] 開示されているプロセス／フローチャートにおけるブロックの、特定の順序又は階層は、例示的な手法の一例である点を理解されたい。設計選好に基づいて、それらのプロセス／フローチャートにおけるブロックの特定の順序又は階層を、再構成することができる点を理解されたい。更には、いくつかのブロックを組み合わせるか、又は省略することもできる。添付の方法請求項は、様々なブロックの要素を、例示的な順序で提示するものであり、提示されている特定の順序又は階層に限定されることを意味するものではない。

【0091】

[0106] 前述の説明は、本明細書で説明されている様々な態様を、あらゆる当業者が実践することを可能にするために提供されている。これらの態様に対する様々な修正が、当業者には容易に明らかとなり、本明細書で定義されている一般的原理は、他の態様に適用することもできる。したがって、特許請求の範囲は、本明細書に示す態様に限定されるものではなく、特許請求の範囲の言語に一致する全範囲を与えられるべきであり、単数形での要素への言及は、そのように明記されていない限り、「唯一無二の」を意味するものではなく、むしろ「１つ又は複数の」を意味するものである。「例示的（exemplary）」という語は、「例、事例、又は例示としての役割を果たすこと」を意味するために本明細書で使用される。「例示的」として本明細書で説明したいずれの態様も、必ずしも他の態様よりも好ましい又は有利であると解釈されるべきではない。

【0092】

[0107] 別段に明記されていない限り、「いくつか」という用語は、１つ又は複数を指し、「又は」という用語は、文脈が別段に規定しない限り、「及び／又は」として解釈され得る。「Ａ、Ｂ、又はＣのうちの少なくとも１つ」、「Ａ、Ｂ、又はＣのうちの１つ又は複数」、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」、「Ａ、Ｂ、及びＣのうちの１つ又は複数」、並びに「Ａ、Ｂ、Ｃ、又はそれらの任意の組み合わせ」などの組み合わせは、Ａ、Ｂ、及び／又はＣの任意の組み合わせを含むものであり、複数のＡ、複数のＢ、又は複数のＣを含み得る。具体的には、「Ａ、Ｂ、又はＣのうちの少なくとも１つ」、「Ａ、Ｂ、又はＣのうちの１つ又は複数」、「Ａ、Ｂ、及びＣのうちの少なくとも１つ」、「Ａ、Ｂ、及びＣのうちの１つ又は複数」、並びに「Ａ、Ｂ、Ｃ、又はそれらの任意の組み合わせ」などの組み合わせは、Ａのみ、Ｂのみ、Ｃのみ、Ａ及びＢ、Ａ及びＣ、Ｂ及びＣ、あるいは、Ａ及びＢ及びＣとすることができ、任意のそのような組み合わせは、Ａ、Ｂ、又はＣのうちの１つ又は複数の要素を含み得る。当業者には公知であるか又は後に公知となる、本開示の全体にわたって説明されている様々な態様の要素に対する、すべての構造的及び機能的な等価物は、参照により本明細書に明示的に組み込まれ、特許請求の範囲によって包含されることが意図されている。加えて、本明細書に開示のものは、そのような開示が特許請求の範囲において明示的に記載されているか否かにかかわらず、一般公開を意図するものではない。「モジュール」、「機構」、「要素」、「デバイス」などの語は、「手段」という語の代用ではない場合がある。それゆえ、特許請求の範囲のいかなる要素も、その要素が「～のための手段」という語句を使用して明示的に列挙されていない限り、ミーンズプラスファンクションとして解釈されるべきではない。

【0093】

[0108] １つ又は複数の例では、本明細書で説明される機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせで実装され得る。例えば、「処理ユニット」という用語が本開示全体にわたって使用されているが、そのような処理ユニットは、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実装され得る。本明細書で説明する任意の機能、処理ユニット、技法、又は他のモジュールが、ソフトウェアにおいて実装される場合、本明細書で説明するその機能、処理ユニット、技法、又は他のモジュールは、コンピュータ可読媒体上の１つ又は複数の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、又は送信され得る。

【0094】

[0109] 本開示によれば、「又は」という用語は、文脈が別段に規定しない限り、「及び／又は」として解釈され得る。加えて、「１つ又は複数の」又は「少なくとも１つの」などの語句が、本明細書で開示するいくつかの特徴に対して使用されており、他の特徴に対しては使用されていないことがあるが、そのような言葉が使用されなかった特徴は、文脈が別段に規定しない限り、そのような示唆される意味を有するものと解釈され得る。

【0095】

[0110] １つ又は複数の例では、本明細書で説明する機能は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実装され得る。例えば、「処理ユニット」という用語が本開示全体にわたって使用されているが、そのような処理ユニットは、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせにおいて実装され得る。本明細書で説明する任意の機能、処理ユニット、技法、又は他のモジュールが、ソフトウェアにおいて実装される場合、本明細書で説明するその機能、処理ユニット、技法、又は他のモジュールは、コンピュータ可読媒体上の１つ又は複数の命令又はコードとしてコンピュータ可読媒体上に記憶されるか、又は送信され得る。コンピュータ可読媒体は、コンピュータデータ記憶媒体、又はコンピュータプログラムを１つの場所から別の場所に転送することを容易にする任意の媒体を含む通信媒体を含むことができる。このように、コンピュータ可読媒体は一般に、（１）非一時的である有形コンピュータ可読記憶媒体、又は（２）信号若しくは搬送波などの通信媒体に対応し得る。データ記憶媒体は、本開示に記載された技法を実装するための命令、コード、及び／又はデータ構造を取り出すために、１つ又は複数のコンピュータ又は１つ又は複数のプロセッサによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、ＣＤ－ＲＯＭ又は他の光ディスクストレージ、磁気ディスクストレージ又は他の磁気ストレージデバイスを備え得る。本明細書で使用するディスク（disk）及びディスク（disc）は、コンパクトディスク（disc）（compact disc：ＣＤ）、レーザーディスク（disc）、光ディスク（disc）、デジタル多用途ディスク（digital versatile disc：ＤＶＤ）、フロッピーディスク（disk）、及びＢｌｕ－ｒａｙディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、レーザーを用いてデータを光学的に再生する。上記のものの組み合わせもコンピュータ可読媒体の範囲内に含まれるべきである。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

【0096】

[0111] コードは、１つ又は複数のデジタル信号プロセッサ（ＤＳＰｓ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣｓ）、算術論理ユニット（ＡＬＵｓ）、フィールドプログラマブル論理アレイ（ＦＰＧＡｓ）、又は他の等価な集積論理回路若しくはディスクリート論理回路など、１つ又は複数のプロセッサによって実行され得る。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、又は本明細書で説明する技術の実装に好適な任意の他の構造のいずれかを指すことがある。また、技法は、１つ又は複数の回路又は論理要素において完全に実装されてもよい。

【0097】

[0112] 本開示の技法は、ワイヤレスハンドセット、集積回路（ＩＣ）又はＩＣのセット、例えば、チップセットを含む、多種多様なデバイス又は装置において実装され得る。本開示では、開示される技法を実施するように構成されたデバイスの機能的態様を強調するために、様々な構成要素、モジュール又はユニットが説明されたが、それらの構成要素、モジュール又はユニットは、必ずしも異なるハードウェアユニットによる実現を必要とするとは限らない。むしろ、上記で説明したように、様々なユニットは、コーデックハードウェアユニットの中で結合されてもよく、又は適切なソフトウェア及び／若しくはファームウェアとともに、上記で説明したような１つ又は複数のプロセッサを含む、相互動作可能なハードウェアユニットの集合によって提供されてよい。したがって、本明細書で使用する「プロセッサ」という用語は、上記の構造、又は本明細書で説明する技術の実装に好適な任意の他の構造のいずれかを指すことがある。また、技法は、１つ又は複数の回路又は論理要素において完全に実装され得る。

【0098】

[0113] 以下の態様は、例示的なものにすぎず、限定なしで、本明細書で説明した他の態様又は教示と組み合わされ得る。

【0099】

[0114] 態様１は、グラフィックス処理のための装置であって、メモリに結合された少なくとも１つのプロセッサを含み、少なくとも１つのプロセッサが、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを受信し、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルが第１の圧縮チャネルであり、複数の第１の色チャネルのうちの少なくとも１つの第１の色チャネルを解凍し、少なくとも１つの第１の色チャネルが、第１の圧縮チャネルから第１の解凍チャネルに解凍され、複数の第１の色チャネルが複数の第２の色チャネルに変換されように、複数のピクセルに関連付けられた第１の色空間の色空間変換を実行し、複数の第２の色チャネルが、複数のピクセルのための第２の色空間に関連付けられる、ように構成されている。

【0100】

[0115] 態様２は、少なくとも１つの第１のチャネルの解凍が、解凍が少なくとも１つの第１のチャネルを非線形チャネルから線形チャネルに変換するように、非線形解凍である、態様１に記載の装置。

【0101】

[0116] 態様３は、複数の第１の色チャネルのうちの１つ又は複数の第１のチャネルが、１つ又は複数の第１のチャネルが解凍されないように、線形チャネルである、態様１又は２に記載の装置。

【0102】

[0117] 態様４は、第１の色空間の色空間変換を実行するために、少なくとも１つのプロセッサが、少なくとも１つの第１のチャネルを、複数の第１の色チャネルのうちの少なくとも１つの他の第１のチャネル及び複数の第１の色チャネルのうちの少なくとも１つの追加の第１のチャネルと結合するように構成されている、態様１から３のいずれかに記載の装置である。

【0103】

[0118] 態様５は、少なくとも１つの第１のチャネルと、少なくとも１つの他の第１のチャネル及び少なくとも１つの追加の第１のチャネルとの結合が、行列結合器によって実行される、態様１から４のいずれかに記載の装置である。

【0104】

[0119] 態様６は、少なくとも１つのプロセッサが、少なくとも１つの第１の色チャネルが解凍された後に、複数の第１の色チャネルの各々をフィルタリングするように更に構成されている、態様１から５のいずれかに記載の装置である。

【0105】

[0120] 態様７は、複数の第１の色チャネルの各々が、線形フィルタリング、双線形フィルタリング、又は非線形フィルタリングされる、態様１から６のいずれかに記載の装置である。

【0106】

[0121] 態様８は、少なくとも１つの第１の色チャネルが、解凍される前に非線形圧縮される、態様１から７のいずれかに記載の装置である。

【0107】

[0122] 態様９は、少なくとも１つのプロセッサが、複数の第１の色チャネルを含む第１の色空間に関連付けられた複数のピクセルを読み取るように更に構成され、複数のピクセルが、少なくとも１つの第１の色チャネルを解凍する前に読み取られる、態様１から８のいずれかに記載の装置である。

【0108】

[0123] 態様１０は、少なくとも１つのプロセッサが、第１の色空間に関連付けられた複数のピクセルについての要求を送信するように更に構成され、複数のピクセルが、送信された要求に基づいて受信される、態様１から９のいずれかに記載の装置である。

【0109】

[0124] 態様１１は、要求が、グラフィックス処理ユニット（ＧＰＵ）のシェーダプロセッサからＧＰＵのテクスチャプロセッサに送信される、態様１から１０のいずれかに記載の装置である。

【0110】

[0125] 態様１２は、少なくとも１つのプロセッサが、色空間変換後に第２の色空間に関連付けられた複数のピクセルを送信するように更に構成されている、態様１から１１のいずれかに記載の装置である。

【0111】

[0126] 態様１３は、複数のピクセルがグラフィックス処理ユニット（ＧＰＵ）のシェーダプロセッサに送信される、態様１から１２のいずれかに記載の装置である。

【0112】

[0127] 態様１４は、第１の色空間が、ルミナンス（Ｙ）クロミナンス（ＵＶ）（ＹＵＶ）色空間であり、第２の色空間が、赤（Ｒ）緑（Ｇ）青（Ｂ）（ＲＧＢ）色空間である、態様１から１３のいずれかに記載の装置である。

【0113】

[0128] 態様１５は、色空間変換が、複数の第１の色チャネルの各々について同時に実行される、態様１から１４のいずれかに記載の装置である。

【0114】

[0129] 態様１６は、色空間変換が、グラフィックス処理ユニット（ＧＰＵ）のテクスチャプロセッサ又はＧＰＵのシェーダプロセッサのうちの少なくとも１つにおいて実行される、態様１から１５のいずれかに記載の装置である。

【0115】

[0130] 態様１７は、少なくとも１つのプロセッサに結合されたアンテナ又はトランシーバのうちの少なくとも１つを更に含むワイヤレス通信デバイスである、態様１から１６のいずれかに記載の装置である。

【0116】

[0131] 態様１８は、態様１から１７のいずれかを実装するためのグラフィックス処理の方法である。

【0117】

[0132] 態様１９は、態様１から１７のいずれかを実装するための手段を含む、グラフィックス処理のための装置である。

【0118】

[0133] 態様２０は、コンピュータ実行可能コードを記憶するコンピュータ可読媒体であって、コードが、少なくとも１つのプロセッサによって実行されると、少なくとも１つのプロセッサに、態様１から１７のいずれかを実装させる、コンピュータ可読媒体である。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7A】

【図7B】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【国際調査報告】