特表 2025-500778 物理サブサンプリングされたＲＧＢフォーマットのサブピクセルタイルレンダリングシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2025-01-15

(54)【発明の名称】物理サブサンプリングされたＲＧＢフォーマットのサブピクセルタイルレンダリングシステム及び方法

(51)【国際特許分類】

   G06T 11/00 20060101AFI20250107BHJP

   G09G 3/20 20060101ALI20250107BHJP

   G09G 5/02 20060101ALI20250107BHJP

   G09G 5/04 20060101ALI20250107BHJP

   G09G 5/37 20060101ALI20250107BHJP

   G09G 5/00 20060101ALI20250107BHJP

【ＦＩ】

G06T11/00

G09G3/20 642K

G09G3/20 623Q

G09G3/20 623M

G09G3/20 631B

G09G3/20 632G

G09G5/02 B

G09G5/04

G09G5/37 200

G09G5/00 520Z

G09G5/00 520W

G09G5/00 520V

G09G3/20 631R

G09G5/00 555D

G09G5/00 550P

G09G5/00 550R

G09G3/20 633P

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024534072

(86)(22)【出願日】2021-12-17

(85)【翻訳文提出日】2024-06-06

(86)【国際出願番号】 CN2021139209

(87)【国際公開番号】W WO2023108619

(87)【国際公開日】2023-06-22

(81)【指定国・地域】

(71)【出願人】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】ジャン、ナン

(72)【発明者】

【氏名】ドゥ、ボー

(72)【発明者】

【氏名】シュ、ヨンジュン

【テーマコード（参考）】

5C080

5C182

【Ｆターム（参考）】

5C080AA06

5C080AA07

5C080AA10

5C080BB05

5C080CC03

5C080DD03

5C080DD26

5C080EE29

5C080EE30

5C080FF11

5C080GG02

5C080GG15

5C080GG17

5C080JJ01

5C080JJ02

5C080JJ07

5C182AA02

5C182AA03

5C182BC14

5C182BC29

5C182BC43

5C182CA11

5C182CA36

5C182CB02

5C182CB03

5C182DA05

5C182DA06

5C182DA14

5C182DA44

5C182DA66

(57)【要約】

ビデオ処理システム（１００）は、グラフィックス処理ユニット（ＧＰＵ）（１１２）とフレームバッファ（１１６）とを含む、グラフィックスサブシステム（１１０）を含む。ＧＰＵ（１１２）は、電子ディスプレイのディスプレイアーキテクチャに対応する物理ピクセルレイアウトを取得し、物理ピクセルレイアウトは不均一なサブピクセル配列によって特徴付けられ、論理ピクセルクロマ値のマトリックスを含む画像データを受信し、不均一なサブピクセル配列に対応するサブピクセルレンダリングされたフォーマットを有するサブサンプリングされた画像データを生成するために、物理ピクセルレイアウトに従って論理ピクセルクロマ値のマトリックスをサブサンプリングし、サブサンプリングされた画像データをフレームバッファ（１１６）に記憶し、不均一なサブピクセル配列を有するフレームの合成のために、サブサンプリングされた画像データの電子ディスプレイのディスプレイ処理ユニット（ＤＰＵ）（１２４）への転送を可能にする、ように構成されている。

【特許請求の範囲】

【請求項1】

ビデオ処理システムであって、
グラフィックス処理ユニット（ＧＰＵ）とフレームバッファとを含むグラフィックスサブシステムを備え、
前記ＧＰＵが、
電子ディスプレイのディスプレイアーキテクチャに対応する物理ピクセルレイアウトであって、前記物理ピクセルレイアウトが不均一なサブピクセル配列によって特徴付けられている、物理ピクセルレイアウトを取得し、
論理ピクセルクロマ値のマトリックスを含む画像データを受信し、
前記不均一なサブピクセル配列に対応するサブピクセルレンダリングされたフォーマットを有するサブサンプリングされた画像データを生成するために、前記物理ピクセルレイアウトに従って前記論理ピクセルクロマ値のマトリックスをサブサンプリングし、
前記サブサンプリングされた画像データを前記フレームバッファに記憶し、
前記不均一なサブピクセル配列を有するフレームの合成のために、前記サブサンプリングされた画像データの前記電子ディスプレイのディスプレイ処理ユニット（ＤＰＵ）への転送を可能にする、
ように構成されている、ビデオ処理システム。

【請求項2】

前記ＧＰＵが、前記サブピクセルレンダリングされたフォーマットを有する前記サブサンプリングされた画像データに対してピクセルビニングを実行するようにさらに構成されている、請求項１に記載のビデオ処理システム。

【請求項3】

前記ＧＰＵが、Ｎ個の論理ピクセルによって拡大された長方形タイルを使用して前記ピクセルビニングを実行するように構成されており、Ｎが１以上の整数であり、かつ前記物理ピクセルレイアウトの物理サブピクセルと前記受信された画像データの論理サブピクセルとの間の重複をカバーするように選択されている、請求項２に記載のビデオ処理システム。

【請求項4】

前記ＧＰＵが、前記サブピクセルレンダリングされたフォーマットを有する前記サブサンプリングされた画像データに対してテクスチャ処理を実行するようにさらに構成されている、請求項１～３のいずれか一項に記載のビデオ処理システム。

【請求項5】

前記ＧＰＵが、前記サブピクセルレンダリングされたフォーマットを有する前記サブサンプリングされた画像データに対してアンチエイリアシングを実行するようにさらに構成されている、請求項１～３のいずれか一項に記載のビデオ処理システム。

【請求項6】

前記ＧＰＵが、前記電子ディスプレイ上に配置された物理サブピクセルに対応する前記サブサンプリングされた画像データのサブピクセルのみをレンダリングするように構成されている、請求項１～３のいずれか一項に記載のビデオ処理システム。

【請求項7】

前記ＧＰＵが、前記電子ディスプレイ上に配置された物理サブピクセルに対応する前記サブサンプリングされた画像データのサブピクセルのみを前記フレームバッファに記憶するように構成されている、請求項１～３のいずれか一項に記載のビデオ処理システム。

【請求項8】

前記不均一なサブピクセル配列の各ピクセルが、第１のサイズを有する第１のサブピクセルと、前記第１のサイズよりも大きい第２のサイズを有する第２のサブピクセルと、を含む、請求項１～３のいずれか一項に記載のビデオ処理システム。

【請求項9】

前記不均一なサブピクセル配列の各ピクセルが、第１の色を有する１つのサブピクセルと、前記第１の色とは異なる第２の色を有する２つのサブピクセルと、を含む、請求項１～３のいずれか一項に記載のビデオ処理システム。

【請求項10】

前記不均一なサブピクセル配列の各ピクセルが、３つ未満のサブピクセル又は３つ超のサブピクセルを含む、請求項１～３のいずれか一項に記載のビデオ処理システム。

【請求項11】

ビデオ処理システムを動作させる方法であって、
グラフィックス処理ユニット（ＧＰＵ）とフレームバッファとを含むグラフィックスサブシステムにおいて、
電子ディスプレイのディスプレイアーキテクチャに対応する物理ピクセルレイアウトであって、前記物理ピクセルレイアウトが不均一なサブピクセル配列によって特徴付けられている、物理ピクセルレイアウトを取得することと、
論理ピクセルクロマ値のマトリックスを含む画像データを受信することと、
前記不均一なサブピクセル配列に対応するサブピクセルレンダリングされたフォーマットを有するサブサンプリングされた画像データを生成するために、前記物理ピクセルレイアウトに従って前記論理ピクセルクロマ値のマトリックスをサブサンプリングすることと、
前記サブサンプリングされた画像データを前記フレームバッファに記憶することと、
前記不均一なサブピクセル配列を有するフレームの合成のために、前記サブサンプリングされた画像データの前記電子ディスプレイのディスプレイ処理ユニット（ＤＰＵ）への転送を可能にすることと、
を含む、方法。

【請求項12】

前記サブピクセルレンダリングされたフォーマットを有する前記サブサンプリングされた画像データに対してピクセルビニングを実行することをさらに含む、請求項１１に記載の方法。

【請求項13】

Ｎ個の論理ピクセルによって拡大された長方形タイルを使用して前記ピクセルビニングを実行することをさらに含み、ここで、Ｎが１以上の整数であり、かつ前記物理ピクセルレイアウトの物理サブピクセルと前記受信された画像データの論理サブピクセルとの間の重複をカバーするように選択されている、請求項１２に記載の方法。

【請求項14】

前記サブピクセルレンダリングされたフォーマットを有する前記サブサンプリングされた画像データに対してテクスチャ処理を実行することをさらに含む、請求項１１～１３のいずれか一項に記載の方法。

【請求項15】

前記サブピクセルレンダリングされたフォーマットを有する前記サブサンプリングされた画像データに対してアンチエイリアシングを実行することをさらに含む、請求項１１～１３のいずれか一項に記載の方法。

【請求項16】

前記電子ディスプレイ上に配置された物理サブピクセルに対応する前記サブサンプリングされた画像データのサブピクセルのみをレンダリングすることをさらに含む、請求項１１～１３のいずれか一項に記載の方法。

【請求項17】

前記電子ディスプレイ上に配置された物理サブピクセルに対応する前記サブサンプリングされた画像データのサブピクセルのみを前記フレームバッファに記憶することをさらに含む、請求項１１～１３のいずれか一項に記載の方法。

【請求項18】

前記不均一なサブピクセル配列の各ピクセルが、第１のサイズを有する第１のサブピクセルと、前記第１のサイズよりも大きい第２のサイズを有する第２のサブピクセルと、を含む、請求項１１～１３のいずれか一項に記載の方法。

【請求項19】

前記不均一なサブピクセル配列の各ピクセルが、第１の色を有する１つのサブピクセルと、前記第１の色とは異なる第２の色を有する２つのサブピクセルと、を含む、請求項１１～１３のいずれか一項に記載の方法。

【請求項20】

前記不均一なサブピクセル配列の各ピクセルが、３つ未満のサブピクセル又は３つ超のサブピクセルを含む、請求項１１～１３のいずれか一項に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

[0001] 本開示は、グラフィックスレンダリングシステムに関し、具体的には、ディスプレイパネルの物理サブピクセル配列を使用して画像データを処理するグラフィックス処理ユニットに関する。

【背景技術】

【0002】

[0002] グラフィックスレンダリング技法は、論理ピクセル配列を使用して画像データを処理する。そのような配列は、通常、同じサイズ、形状、及びレイアウト密度を有する赤色、緑色、及び青色（ＲＧＢ）ピクセルを含む。グラフィックス処理ユニット（ＧＰＵ）は、そのような論理ピクセル配列に基づいてビニングパス及びレンダリングパスを実行し、ビデオフレームを構成し、ビデオフレームをフレームバッファに記憶する。特定のディスプレイに固有のディスプレイ処理ユニット（ＤＰＵ）は、ビデオフレームを取得し、ビデオフレーム内のピクセルをディスプレイの物理ピクセルレイアウトに対応する物理ピクセル配列に変換するためのさらなる処理を実行する。ＤＰＵは、物理ピクセル配列に従ってビデオフレームをディスプレイ上に表示する。

【0003】

[0003] 論理物理配列と物理ピクセル配列との間の変換は、多くの場合、記憶サイズ及び処理性能の点で非効率である。フレームバッファは、論理ピクセルのすべてを記憶するのに十分な大きさでなければならず、ＧＰＵ及びＤＰＵは、論理ピクセルと物理ピクセルとの対応にかかわらず、論理ピクセルのすべてを処理するのに十分な効率でなければならない。物理ピクセル配列が従来の論理ピクセル配列と比較してより多様になり続けるにつれて、そのような非効率性は増加し続け、それによってグラフィックスレンダリングシステムの性能を低下させている。

【発明の概要】

【0004】

[0004] 本開示によるグラフィックスレンダリング技法は、画像データが表示されることが意図されているディスプレイパネルの物理ピクセルレイアウトに対応するピクセル配列を使用して画像データを処理する。したがって、そのような技法は、論理から物理へのピクセルレイアウトの変換プロセスを最適化し、フレームバッファ記憶要件を低減し、グラフィックスレンダリングシステムにおける性能を向上させる。

【0005】

[0005] 一態様では、ビデオ処理システムは、グラフィックス処理ユニット（ＧＰＵ）とフレームバッファとを含むグラフィックスサブシステムを含む。ＧＰＵは、電子ディスプレイのディスプレイアーキテクチャに対応する物理ピクセルレイアウトを取得し、物理ピクセルレイアウトは不均一なサブピクセル配列によって特徴付けられ、論理ピクセルクロマ値のマトリックスを含む画像データを受信し、不均一なサブピクセル配列に対応するサブピクセルレンダリングされたフォーマットを有するサブサンプリングされた画像データを生成するために、物理ピクセルレイアウトに従って論理ピクセルクロマ値のマトリックスをサブサンプリングし、サブサンプリングされた画像データをフレームバッファに記憶し、不均一なサブピクセル配列を有するフレームの合成のために、サブサンプリングされた画像データの電子ディスプレイのディスプレイ処理ユニット（ＤＰＵ）への転送を可能にする、ように構成されている。

【0006】

[0006] いくつかの実装形態では、ＧＰＵは、サブピクセルレンダリングされたフォーマットを有するサブサンプリングされた画像データに対してピクセルビニングを実行し、Ｎ個の論理ピクセルによって拡大された長方形タイルを使用してピクセルビニングを実行し、Ｎは１以上の整数であり、かつ物理ピクセルレイアウトの物理サブピクセルと受信された画像データの論理サブピクセルとの間の重複をカバーするように選択され、サブピクセルレンダリングされたフォーマットを有するサブサンプリングされた画像データに対してテクスチャ処理を実行し、及び／又はサブピクセルレンダリングされたフォーマットを有するサブサンプリングされた画像データに対してアンチエイリアシングを実行する、ようにさらに構成されている。

【0007】

[0007] したがって、ＧＰＵは、電子ディスプレイ上に配置された物理サブピクセルに対応するサブサンプリングされた画像データのサブピクセルのみをレンダリングし、電子ディスプレイ上に配置された物理サブピクセルに対応するサブサンプリングされた画像データのサブピクセルのみをフレームバッファに記憶する、ように構成されている。

【図面の簡単な説明】

【0008】

[0008] 説明される様々な実装形態のより良い理解のために、同様の参照番号が図面全体を通して対応する部分を指す以下の図面と併せて、以下の「発明を実施するための形態」を参照すべきである。

【図1】[0009] いくつかの実装形態による、ビデオ処理システムのブロック図である。

【図2】[0010] いくつかの実装形態による、ＧＰＵレンダリングプロセスフローのブロック図である。

【図3】[0011] いくつかの実装形態による、レンダリング技法及びサブピクセル配列タイプを示す図である。

【図4】[0012] いくつかの実装形態による、論理ピクセル及び物理ピクセル配列を示す図である。

【図5】[0013] いくつかの実装形態による、ＧＰＵレンダリングプロセスフローを示す図である。

【図6】[0014] いくつかの実装形態による、ビン／タイルサブピクセルレンダリング方法を示すフロー図である。

【発明を実施するための形態】

【0009】

[0015] 図１は、いくつかの実装形態による、ビデオ処理システム１００のブロック図である。ビデオ処理システム１００は、中央処理ユニット（ＣＰＵ）１００、メモリ（ランダムアクセスメモリ（ＲＡＭ）など）１０４、外部メモリ１０６、グラフィックス処理ユニット（ＧＰＵ）１１２、グラフィックスメモリ（ビデオランダムアクセスメモリ（ＶＲＡＭ）など）１１４、及びフレームバッファ１１６を含むグラフィックスサブシステム１１０、ならびにディスプレイ処理ユニット（ＤＰＵ）１２４を含むディスプレイ１２２、を含む。

【0010】

[0016] ＣＰＵ１０２（プロセッサ又はメインプロセッサとも呼ばれる）は、ビデオフレームの形態でディスプレイ１２２上に表示することが意図された画像データである入力データを受信する。入力データはまた、入力信号と呼ばれることもある。ＣＰＵ１０２は、コンピュータプログラム（例えば、メモリ１０４に記憶されたプログラム）を含む命令を実行するように構成された１つ若しくは複数のプロセッサ又は任意の他の電子回路を含む。ＣＰＵ１０２は、入力データに対して初期処理を実行し、レンダリングのために入力データをグラフィックスサブシステム１１０に提供する。

【0011】

[0017] メモリ１０４及び１０６は、揮発性メモリ（例えば、１つ若しくは複数のランダムアクセスメモリデバイス）及び／又は不揮発性メモリ（例えば、１つ若しくは複数のフラッシュメモリデバイス、磁気ディスク記憶デバイス、光ディスク記憶デバイス、若しくは他の不揮発性ソリッドステート記憶デバイス）などの、非一時的コンピュータ可読記憶媒体を含む。メモリは、プロセッサ（単数又は複数）からリモートに位置する１つ又は複数の記憶デバイスを含み得る。メモリは、プロセッサ（単数又は複数）によって実行されると、ビデオ処理システム１００に、本明細書で説明されるような機能を実行させるプログラム（本明細書ではモジュールとして説明され、命令セットに対応する）を記憶する。本明細書で説明されるモジュール及びデータは、別個のプログラム、手順、モジュール、又はデータ構造として実装される必要はない。したがって、これらのモジュール及びデータの様々なサブセットは、様々な実装形態において組み合わされるか、又は他の方法で再構成され得る。

【0012】

[0018] ＧＰＵ１１２（グラフィックスプロセッサ又はグラフィックスカードとも呼ばれる）は、コンピュータプログラム（例えば、メモリ１０４、１０６、及び／又は１１４に記憶されたプログラム）を含む命令を実行するように構成された１つ若しくは複数のプロセッサ又は任意の他の電子回路を含む。ＧＰＵ１１２は、グラフィックスレンダリングを加速するように構成された専用プロセッサである。ＧＰＵ１１２は、多数の画像データを同時に処理し、画像フレームを構成し、かつフレームバッファ１１６を介して画像フレームをディスプレイ１２２に伝達するように構成されている。

【0013】

[0019] グラフィックスメモリ１１４は、画像データがＧＰＵ１１２によって処理されている間に画像データを記憶し、フレームバッファ１１６は、ＧＰＵ１１２による処理の完了時に、ビデオフレームの形態で画像データを記憶する。グラフィックスメモリ１１４及びフレームバッファ１１６は、各々、揮発性メモリ（例えば、１つ若しくは複数のランダムアクセスメモリデバイス）及び／又は不揮発性メモリ（例えば、１つ若しくは複数のフラッシュメモリデバイス、磁気ディスク記憶デバイス、光ディスク記憶デバイス、若しくは他の不揮発性ソリッドステート記憶デバイス）などの、非一時的コンピュータ可読記憶媒体を含む。グラフィックスメモリ１１４及びフレームバッファ１１６は、各々、ＧＰＵ１１２からリモートに位置するか、又はＧＰＵ１１２と統合された１つ又は複数の記憶デバイスを含み得る。グラフィックスメモリ１１０は、ディスプレイパネル１２２上に表示するためにフレーム（グラフィカル表現）の形態で画像を生成することに対して専用である。グラフィックスメモリ１１０は、ＧＤＤＲ又はＤＤＲ／Ｇ－ＭＥＭ（ＧＰＵ上での高速レンダリングに特化されたダブルデータレート（ＤＤＲ）メモリ）と呼ばれることがある。ＧＰＵ１１２は、フレームバッファ１１６からディスプレイ１２２にフレーム（フレームバッファとも呼ばれる）を伝達する。

【0014】

[0020] ディスプレイ１２２は、特定のパターンで配置された物理ピクセルのマトリックスを含む電子ディスプレイである。物理ピクセル配列については、図３及び図４を参照して以下により詳細に説明する。ディスプレイ１２２は、液晶ディスプレイ（ＬＣＤ）ディスプレイ、発光ダイオード（ＬＥＤ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、量子ドット発光ダイオード（ＱＬＥＤ）ディスプレイ、アクティブマトリックス有機発光ダイオード（ＡＭＯＬＥＤ）ディスプレイ、インプレーンスイッチング（ＩＰＳ）ディスプレイ、薄膜トランジスタ（ＴＦＴ）ディスプレイ、プレーンツーライブスイッチング（ＰＬＳ）ディスプレイ、低温ポリシリコン（ＬＴＰＳ）ディスプレイ、低温多結晶酸化物（ＬＴＰＯ）ディスプレイ、又は物理ピクセル配列を有する任意の他のタイプの電子ディスプレイであってもよい。

【0015】

[0021] （ディスプレイプロセッサとも呼ばれる）ＤＰＵ１２４は、フレームバッファ１１６から伝達された画像フレームに対応するディスプレイプロセッサコードをグラフィカル表現（画像）に変換するように構成された１つ又は複数のプロセッサを含む。ＤＰＵ１２４は、ディスプレイコントローラ、ディスプレイファイルメモリ、ディスプレイジェネレータ、及びディスプレイコンソールのうちの１つ又は複数を含み得る。ＤＰＵ１２４は、画像フレームに対応するデジタル情報を、ピクセル電圧に対応するアナログデータに変換する。このデジタルからアナログへの変換は、ディスプレイ１２２の物理的特性及びグラフィックス機能に依存する。

【0016】

[0022] 図２は、いくつかの実装形態による、ＧＰＵレンダリングプロセスフローのブロック図である。いくつかの実装形態では、グラフィックスサブシステム１１０（具体的には、ＧＰＵ１１２）は、画像データに対して、ビニングパス及びレンダリングパスを含むタイルベースのレンダリングアーキテクチャパスを実行する。メモリ帯域幅制限を有するＧＰＵ（例えば、モバイルデバイス内のＧＰＵ）では、ビニング分割は、全体的なメモリ帯域幅消費を減少させるために、小さい部分群に機能する。したがって、タイルベースのレンダリングは、すべての利用可能なリソースの効率的な利用を達成し、許容可能な性能を得る。

【0017】

[0023] ビニングモジュール２０２は、ビニングパスを実行するように構成され、ビニングパスは、フレームタイルと、特定のタイルにレンダリングされるべき対応するジオメトリとの間のストリーム／マップを生成することを含む。従来のプロセスでは、ビニングパスは、画像データが表示されるべきディスプレイ１２２に対応する物理ピクセル配列にほとんど又は全く関係のない所定の配列を有する論理ピクセルに対して実行され得る。しかしながら、本開示で説明する技法は、画像データが表示されることが意図されている特定のディスプレイ１２２のための特定の物理ピクセルレイアウトに対応する配列を有するピクセルに対して、ビニングパスを実行する。ビニングされた画像データは、レンダリングのためにレンダリングモジュール２０４に渡される。

【0018】

[0024] レンダリングモジュール２０４は、レンダリングパスを実行するように構成され、レンダリングパスは、タイルとジオメトリとの間のマップを取得しすることと、タイル毎に適切なピクセルをレンダリングすることと、を含む。従来のプロセスでは、レンダリングパスは、画像データが表示されるべきディスプレイ１２２に対応する物理ピクセル配列にほとんど又は全く関係のない所定の配列を有する論理ピクセルに対して実行され得る。しかしながら、本開示で説明する技法は、画像データが表示されることが意図されている特定のディスプレイ１２２のための特定の物理ピクセルレイアウトに対応する配列を有するピクセルに対して、レンダリングパスを実行する。レンダリングされた画像データは、フレームバッファ２０６に渡される。

【0019】

[0025] フレームバッファ２０６は、ディスプレイ１２２に伝達される画像フレームを一時的に記憶する。フレームバッファは、上述した図１のフレームバッファ１１６に対応する。ＧＰＵ１１２は、ディスプレイ１２２のディスプレイコントローラ２０８への画像データの転送を可能にする。

【0020】

[0026] ディスプレイコントローラ２０８は、上述した図１のＤＰＵ１２４ Ｉに対応する。ディスプレイコントローラ２０８は、画像データを、ディスプレイ１２２のディスプレイパネル２１０の物理ピクセルを動作させるアナログ信号に変換する。

【0021】

[0027] ディスプレイパネル２１０は、様々な程度の輝度（明るさ）及び色度（色）で動作されると、画像（画像データのグラフィカル表現）をディスプレイ１２２上に表示させる物理ピクセルのマトリックス（アレイ又は配列とも呼ばれる）を含む。

【0022】

[0028] 図３は、いくつかの実装形態による、レンダリング技法及びサブピクセル配列タイプを示す図を含む。各ピクセルは、少なくとも２つのサブピクセルを含み、各サブピクセルは、異なる色に対応する。

【0023】

[0029] ピクセルベースのレンダリングでは、ピクセルは、すべてのポイントアドレス指定可能ディスプレイデバイス内の最小アドレス指定可能要素である。従って、それは、ディスプレイ上に表される画像の最小制御可能要素である。各ピクセルは、ＤＰＵにアクセス可能であり、その明るさは、ピクセルレベルで制御される。具体的には、ピクセルは、特定の明るさ（輝度）で点灯され得るか又は消灯され得る。ピクセル内のサブピクセルは、ＤＰＵに個別にアクセス可能ではない。

【0024】

[0030] サブピクセルレンダリングでは、各サブピクセルは、アドレス指定可能要素であり、ディスプレイ上に表されるピクチャの最小制御可能要素である。各サブピクセルは、ＤＰＵにアクセス可能である。したがって、ＤＰＵは、各個別のサブピクセルの明るさを制御することができる。具体的には、各サブピクセルは、所与のピクセルの他のサブピクセルの状態にかかわらず、特定の明るさ（輝度）で点灯され得るか又は消灯され得る。サブピクセルレンダリングは、より大きな画像テクスチャを有するより高品質の画像を提供する。画像テクスチャは、画像の知覚されるテクスチャを定量化するように設計された、画像処理において計算されるメトリックのセットである。画像テクスチャは、画像又は画像の選択された領域における色又は強度の空間的配置に関連付けられている。画像の要素がサブピクセルレベルで制御可能であることにより、画像を構成する様々な線及び形状は、より滑らかに見え、バラつきがより少ない。

【0025】

[0031] ピクセル及びサブピクセルは、特定の配列（ピクセルレイアウト、パターン、又はマトリックスとも呼ばれる）で配置される。ピクセルは、交互のパターンでサブピクセルの反復する正方形又は長方形の列又は行を含む、ＲＧＢストライプでレイアウトされ得る。そのような配列はまた、均一なサブピクセル配列と呼ばれることがある。

【0026】

[0032] ピクセル及びそれらの対応するサブピクセルは、不均一な配列で配置され得る。いくつかの実装形態では、不均一な配列の各ピクセルは、（ペンタイルＲＧＢＧ及びダイヤモンド形ペンタイルマトリックス配列に示されるように）第１のサイズを有する第１のサブピクセル（例えば、緑色）、及び第１のサイズよりも大きい第２のサイズを有する第２のサブピクセル（例えば、赤色又は青色）を含み得る。いくつかの実装形態では、不均一な配列の各ピクセルは、第１の色（例えば、赤色又は青色）を有する１つのサブピクセル、及び第１の色とは異なる第２の色（例えば、緑色）を有する２つのサブピクセルを含み得る。いくつかの実装形態では、不均一な配列の各ピクセルは、（ペンタイルＲＧＢＧ及びダイヤモンド形ペンタイルマトリックス配列に示されるように）３つ未満のサブピクセル、又は（ペンタイルＲＧＢＷ配列に示されるように）３つ超のサブピクセルを含み得る。不均一な配列は、カラーパターンが（図３のＲＧＢストライプ配列に示されるように）各列において及び／又は（図４のＲＧＢストライプ配列に示されるように）各行において均一に反復しない、ピクセル及びサブピクセルの任意の他の配列を含み得る。

【0027】

[0033] 図４は、いくつかの実装形態による、論理ピクセル配列及び物理ピクセル配列を示す図である。説明のため、及び論理ピクセル配列と物理ピクセル配列とを比較する際の明確さのために、図４の画像の半分のみが各フォーマットで描かれている。

【0028】

[0034] 図２を参照して上述したように、グラフィックスサブシステム１１０は、論理ピクセルに対して動作する一方で、ディスプレイ１２２は、物理ピクセルの配列を含む。図４に示されるように、論理ピクセル及び物理ピクセルが異なるレイアウトを有する場合、グラフィックスサブシステム１１０は、ディスプレイ１２２上に対応する物理ピクセルを有しない、論理ピクセル上の処理帯域幅及び記憶リソースの両方を浪費する場合がある。

【0029】

[0035] 図４に示されるように、ＲＧＢストリップ配列を有する論理ピクセルから構成される画像は、ペンタイルＲＧＢＧ配列を有する物理ピクセルから構成される画像よりも多くのピクセルを含み得る。従来のグラフィックスサブシステムは、余分なピクセルが冗長であり、かつ物理ディスプレイパネル上の画像の最終描写に何も追加しない場合であっても、余分なピクセルを（処理帯域幅を犠牲にして）処理し、余分なピクセルを（記憶リソースを犠牲にして）フレームバッファに記憶する。ディスプレイに伝達されると、ＤＰＵは、画像を物理ピクセルレイアウトに対応するフォーマットに変換し、それによって、対応する物理ピクセルを有しない冗長論理ピクセルを記述するデータを破棄する。

【0030】

[0036] 不必要な処理帯域幅及び記憶オーバーヘッドを最小化するために、本出願で開示されるグラフィックス処理技法は、画像が表示される特定のディスプレイ１２２のディスプレイアーキテクチャの特定の不均一な配列に従って配置された論理ピクセルに対して動作する。したがって、図４の例を参照すると、所与のディスプレイの物理ピクセルがペンタイルＲＧＢＧ配列で配置されている場合、グラフィックスサブシステム１１０は、ペンタイルＲＧＢＧレイアウトに従って（図に示されるようなＲＧＢストリップレイアウトに従ってではなく）画像データを処理する。したがって、グラフィックスサブシステム１１０において処理される画像データの実質的にすべてが、ディスプレイ１２２に含まれる物理ピクセルに対応する。

【0031】

[0037] 図５は、いくつかの実装形態による、ＧＰＵレンダリングプロセスフローを示す図である。ビニングパス中に、画像データのストリーム（可視性ストリームと呼ばれることもある）が、不均一なサブピクセルレイアウトに基づいて生成される。タイル長方形ビニングは、物理サブピクセルレイアウトの重複をカバーするために、追加のＮ個の論理ピクセル（例えば、１～２個の論理ピクセル）だけ拡大され得る。

【0032】

[0038] いくつかの実装形態では、ＧＰＵ１１２は、物理サブピクセルレイアウトに基づいてアンチエイリアシングを実行し、ディスプレイサブピクセル物理レイアウトの事前に取得された知識を使用して画像データをフォーマットする。アップサンプリングされたピクセルＲＧＢ値は、物理サブピクセル値を直接生成するために使用され得る。アンチエイリアシングパラメータは、物理ディスプレイ上で整列又は調整され得る。したがって、テクスチャは、サブピクセルレンダリングフォーマットで直接提供され得る。

【0033】

[0039] レンダリングパス中に、レイヤは、グラフィックスメモリに伝達され、最終的にシステムメモリに対して解決され得る。レイヤは、（ｉ）不均一な物理サブピクセルフォーマット（例えば、ペンタイルなど）、又は（ｉｉ）サブサンプリングされたＲＧＢ中間フォーマット（例えば、ＧＲＢ４：２：２、ＧＲＢ４：２：０など）で伝達されてもよく、次いで、ＤＰＵは、伝達されたレイヤを最終物理サブピクセル値にフィルタリング及び／又は較正することができる。

【0034】

[0040] 図５に示されるようなダイヤモンド形ペンタイルサブピクセルレイアウトの例では、各サブピクセルに関連付けられたデータは、物理ピクセルレイアウトに関連付けられたタイミング図に従ってレンダリングパス中に処理及び伝達され得る。例えば、２つのサブピクセルのグループが、連続するクロックサイクル毎に処理及び伝達され得る。具体的には、図５を参照すると、緑色ピクセルＧ００及び赤色サブピクセルＲ００が、第１のクロックサイクル中に処理され得、緑色サブピクセルＧ０１及び青色サブピクセルＢ０１が、第２のクロックサイクル中に処理され得、以下同様である。

【0035】

[0041] 図６は、いくつかの実装形態による、ビン／タイルサブピクセルレンダリング方法を示すフロー図である。方法は、コンピュータメモリ又は非一時的コンピュータ可読記憶媒体に記憶されている命令によって管理され得る。命令は、非一時的コンピュータ可読記憶媒体に記憶された１つ又は複数のプログラムに含まれ得る。１つ又は複数のプロセッサ（例えば、１０２、１１２、及び／又は１２４）によって実行されると、命令は、ビデオ処理システム（例えば、１００）にプロセスを実行させる。非一時的コンピュータ可読記憶媒体は、１つ又は複数のソリッドステート記憶デバイス（例えば、フラッシュメモリ）、磁気若しくは光ディスク記憶デバイス、又は他の不揮発性メモリデバイスを含み得る。命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、又は１つ又は複数のプロセッサによって解釈され得る任意の他の命令フォーマットを含み得る。プロセスにおけるいくつかの動作は、組み合わされてもよく、いくつかの動作の順序は、変更されてもよい。

【0036】

[0042] ビデオ処理システムのグラフィックスサブシステム１１０におけるＧＰＵ１１２のビニングモジュール２０２は、ビニングパスを実行し（６０２）、ビデオ処理システムのディスプレイパネル２１０に関連付けられた物理サブピクセル情報に基づいて可視性ストリームを生成する。物理サブピクセル情報は、ディスプレイのディスプレイアーキテクチャに対応する物理ピクセルレイアウトを含み、物理ピクセルレイアウトは、不均一なサブピクセル配列によって特徴付けられる。

【0037】

[0043] いくつかの実装形態では、ビニングモジュール２０２は、方法６００の一部として物理サブピクセル情報（ディスプレイのディスプレイアーキテクチャに対応するピクセルレイアウトを含む）を取得する。他の実装形態では、物理サブピクセル情報（ディスプレイのディスプレイアーキテクチャに対応するピクセルレイアウトを含む）は、方法６００が実行される前に、グラフィックスサブシステム１１０においてローカルに記憶される。そのような実装形態では、ビニングモジュール２０２は、方法６００が開始するときに物理サブピクセル情報へのアクセスを有する。

【0038】

[0044] ビニングパスを実行する際に、ビニングモジュール２０２は、論理ピクセルクロマ値のマトリックスを含む画像データを受信し、物理ピクセルレイアウトに従って論理ピクセルクロマ値のマトリックスをサブサンプリングして、不均一なサブピクセル配列に対応するサブピクセルレンダリングされたフォーマットを有するサブサンプリングされた画像データを生成する。別の言い方をすれば、ビニングパスは、ディスプレイの物理ピクセルレイアウトの不均一なサブピクセル配列に基づいてサブピクセルビニングを実行する。

【0039】

[0045] いくつかの実装形態では、ビニングモジュール２０２は、Ｎ個の論理ピクセルによって拡大された長方形タイルを使用してピクセルビニングを実行し、ここで、Ｎは１以上の整数であり、かつ（ｉ）物理ピクセルレイアウトの物理サブピクセルと（ｉｉ）受信された画像データの論理サブピクセルとの間の重複をカバーするように選択される。言い換えれば、論理サブピクセル及び物理サブピクセルが１対１ベースで互いにマッピングしないシナリオの場合、ビニングモジュール２０２は、所与のタイル内の論理ピクセルに対応するすべての物理ピクセルがそのタイルのビニングパス内でカバーされることを確実にするために、少数（例えば、１又は２）の論理ピクセルだけ長方形タイルを拡張することができる。

【0040】

[0046] ビデオ処理システムのグラフィックスサブシステム１１０におけるＧＰＵ１１２のレンダリングモジュール２０４は、ビニング／タイル化された画像データに対してレンダリングパスを実行する（６０４）。いくつかの実装形態では、レンダリングパスは、（サブピクセルレンダリングされたフォーマットを有するサブサンプリングされた画像データに対して）サブピクセルレンダリングされたフォーマットで直接テクスチャ処理する（テクスチャを提供する）ことを含む。上述したように、レンダリングモジュール２０４は、電子ディスプレイ上に配置された物理サブピクセルに対応するサブサンプリングされた画像データのサブピクセルのみをレンダリングする。別の言い方をすれば、レンダリングパスの基礎として使用される論理サブピクセルは、ディスプレイパネルの物理サブピクセルと同じ配列で構成される。

【0041】

[0047] ＧＰＵ１１２のレンダリングモジュール２０４は、サブピクセルレンダリングされたフォーマットを有するサブサンプリングされた画像データに対して（不均一な物理サブピクセルに対して）アンチエイリアシングを実行する（６０６）。不均一な物理サブピクセル配列を有するピクセルに対してアンチエイリアシングを実行することにより、より滑らかなエッジを提供し、これによりレンダリングされた画像の品質を向上させる。

【0042】

[0048] レンダリングモジュール２０４は、レンダリングされサブサンプリングされた画像データをフレームバッファ２０６に記憶する。いくつかの実装形態では、ＧＰＵは、電子ディスプレイ上に配置された物理サブピクセルに対応するサブサンプリングされた画像データのサブピクセルのみをフレームバッファに記憶するように構成されている。そうする際に、ＧＰＵは、グラフィックスメモリ内のレンダリングされた画像データを階層化し、ディスプレイパネルの不均一な物理サブピクセルフォーマットを使用して、レンダリングされた画像データをシステムメモリに対して解決する。別の言い方をすれば、レンダリングパスの後、合成を実行する際に、ＧＰＵは、レイヤを一緒にして、ＤＰＵに伝達される前にディスプレイパネルに対して既に構成されているディスプレイフレームを生成する。したがって、ＲＧＢレイヤは、サブピクセルレンダリングされたフォーマットにサブサンプリングされ、合成が物理サブピクセルに対して実行され、合成されたフレームが、サブサンプリングされサブピクセルレンダリングされたフォーマットでフレームバッファに伝達される。

【0043】

[0049] いくつかの実装形態では、レンダリングされサブサンプリングされた画像データは、電子ディスプレイ内の物理サブピクセルに直接対応する。他の実装形態では、レンダリングされサブサンプリングされた画像データは、物理ピクセルに直接対応しない場合があるが、物理ピクセルに少なくとも比例的に対応し、それによって、相対的な計算の簡単さで物理ピクセルデータに変換され得るデータをＤＰＵに依然として提供する。具体的には、従来のレンダリングプロセスは、電子ディスプレイの物理ディスプレイピクセル／サブピクセルフォーマットに依存しない論理ピクセル（例えば、ＲＧＢ完全サンプリングされたピクセルフォーマット又はＹＵＶ４２２若しくはＹＵＶ４２０関連ピクセルフォーマットを有する論理ピクセル）を記憶することができる一方で、本明細書に説明されるようなレンダリングパスは、電子ディスプレイの物理ディスプレイピクセル／サブピクセルフォーマットに直接等しいか、又は別の方法で比例的にリンクされるフレームバッファに論理ピクセルを記憶する。

【0044】

[0050] 例えば、フレームバッファ（ＦＢ）に記憶された論理ピクセルは、電子ディスプレイの物理ピクセルに直接対応し得る。フレームバッファ内の論理ピクセルは、直接物理サブピクセルフォーマットを有するものとして言及され得る。フレームバッファ内の各バイトは、物理ディスプレイの対応するサブピクセル値に等しい。例えば、電子ディスプレイがＲＧＧＢフォーマットで配置された物理ピクセルを含む場合（ピクセルの各色は、例えば、８ビット、１０ビット、又は１２ビットによって表される）、以下の例は、（レンダリングパスの結果として）フレームバッファに記憶されてＤＰＵに渡され得る論理ピクセルフォーマットを示している。
Ｒ ０８ビット｜Ｇ ０８ビット｜Ｇ ０８ビット｜Ｂ ０８ビット
Ｒ １０ビット｜Ｇ １０ビット｜Ｇ １０ビット｜Ｂ １０ビット
Ｒ １２ビット｜Ｇ １２ビット｜Ｇ １２ビット｜Ｂ １２ビット
又は現在既知の、若しくは将来における任意の他の物理ピクセル表示フォーマット。

【0045】

[0051] 別の例として、フレームバッファ（ＦＢ）に記憶された論理ピクセルは、電子ディスプレイの物理ピクセルに比例的に対応し得る。フレームバッファ内の論理ピクセルは、中間物理サブピクセルフォーマットを有するものとして言及され得るが、フレームバッファ内のすべてのバイトは、単純な変換式を有する。例えば、電子ディスプレイが、ＲＧＧＢフォーマット（例えば、ピクセルの各色が８ビットによって表される）で配置された物理ピクセルを含む場合、以下の例は、（レンダリングパスの結果として）フレームバッファに記憶されてＤＰＵに渡され得る論理ピクセルフォーマットを示している。
Ｒ １６ビット｜Ｇ １６ビット｜Ｇ １６ビット｜Ｂ １６ビット
Ｒ １６ビット｜Ｇ ０８ビット｜Ｇ ０８ビット｜Ｂ ０８ビット

【0046】

[0052] 一般に、中間物理サブピクセルフォーマットの場合、（ＤＰＵにおける）最終物理サブピクセル値＝（フレームバッファ内の）サブピクセル値^＊比率である。説明のために、一例は、以下の通りである。
Ｒ（ａｔ ＤＰＵ）＝Ｒ（ｉｎ ＦＢ）^＊０．６
Ｂ（ａｔ ＤＰＵ）＝Ｂ（ｉｎ ＦＢ）^＊０．６
Ｇ（ａｔ ＤＰＵ）＝Ｇ（ｉｎ ＦＢ）^＊１

【0047】

[0053] ＧＰＵは、不均一なサブピクセル配列を有するフレームの合成のために、サブサンプリングされた画像データのディスプレイ１２２のＤＰＵ（２０８）への転送を可能にする。具体的には、ＤＰＵに転送されるフレームは、ディスプレイのディスプレイパネルに含まれる物理ピクセルに対応するピクセルのデータのみを含む。したがって、ＤＰＵは、論理ピクセルを物理ピクセルに変換する必要がない（又は、変換する場合、各論理ピクセルがディスプレイパネルに含まれる物理ピクセルに対応するため、処理が最小化される）。論理ピクセルが物理ピクセルに比例的に対応する実装形態の場合、ＤＰＵは、論理ピクセルから物理ピクセルへの比較的単純な変換（例えば、特定の色の各論理ピクセル値にその色の所定の比率を乗算すること）を実行する。

【0048】

[0054] いくつかの実装形態では、ＤＰＵは、追加のディスプレイパネル固有のサブピクセルレンダリング調整及び較正を実行する（６１０）。しかしながら、この追加の処理は、フレームバッファから伝達されたフレームに関連付けられたピクセルデータが、ディスプレイの物理ピクセルレイアウトに既に直接又は比例的に対応しているため、大幅に簡素化される。

【0049】

[0055] 上述した方法６００を実行することによって、以下のシナリオが達成され得る。従来のＲＧＢレイヤうぃ用いてフレームを構成する必要がないため、１つの単一レイヤがフレーム全体をカバーすることができる。さらに、直接物理サブピクセルレンダリングは、メモリ使用量を節約し、これが、メモリ（例えば、ＲＡＭ）サイズに敏感なデバイスに利益をもたらす。さらに、直接物理サブピクセルレンダリングは、グラフィックスメモリサイズを節約し、これが、グラフィックスメモリサイズに敏感なチップセット及びデバイスに利益をもたらす。加えて、直接サブピクセルレンダリングは、比較的単純なレンダリングコンテキストを提供し、これが、電力に敏感なデバイス及び性能に敏感なデバイスに利益をもたらす。さらに、将来の表示技法は、現在のＲＧＢ／ＹＵＶフォーマットとはさらに異なる物理サブピクセルフォーマットを使用することができる。そのようなシナリオでは、直接物理サブピクセルレンダリングにより、物理ピクセルレイアウトがどれだけ複雑であり得るかにかかわらず、ＧＰＵにおける将来のピクセル配列のシームレスな処理を可能にする。加えて、物理ピクセル配列に基づいてアンチエイリアシングを実行することによって、サブピクセルレベルのアンチエイリアシングを、画像が物理ディスプレイパネルにおいて実際に見られることになる方法に対して最適化することができ、それによって画像品質を向上させる。

【0050】

[0056] したがって、本明細書で開示されるグラフィックス処理のレンダリング段階においてディスプレイパネルの物理的空間、ジオメトリ、及びレイアウトを考慮に入れることによって、電力、性能、ならびに視覚品質及びシャープネスの改善が達成され得る。加えて、不均一な方法で配置された物理サブピクセルを使用する将来のディスプレイ技術は、この技法から利益を得ることができる。最後に、ディスプレイパネルの物理サブピクセルレイアウトを直接使用することによって、アンチエイリアシングは、視覚品質及びシャープネスを向上させる際により効果的であり得る。

【0051】

[0057] 前述の記載は、特定の実装形態を参照して説明されてきた。しかしながら、上記の例示的な考察は、包括的であるか又はまさに開示された形態に特許請求の範囲を限定するようには意図されていない。多くのバリエーションが、上記の教示の観点から可能である。実装形態は、それによって他の当業者を可能にするために、動作原理及び実際の用途を最もよく説明するように選択されて説明された。

【0052】

[0058] 様々な図は、特定の順序で複数の要素を示している。しかしながら、順序に依存しない要素は並べ替えられてもよく、他の要素は組み合わされても又は分離されてもよい。いくつかの再順序付け又は他のグループ化が具体的に述べられているが、他のものは当業者には明らかであり、したがって、本明細書で提示される順序付け及びグループ化は、代替の網羅的リストではない。

【0053】

[0059] 本明細書で使用される、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、文脈が別段に明確に示さない限り、複数形も含み、「及び／又は」という用語は、関連する列挙された項目のうちの１つ又は複数のすべての可能な組み合わせを含む。「第１」、「第２」などの用語は、１つの要素を別の要素から区別するためにのみ使用され、要素自体を限定せず、「場合（if）」という用語は、文脈に応じて、「とき（when）」、「時（upon）」、「応じて（in response to）」、又は「従って（in according with）」を意味すると解釈されてもよく、「含む（include）」、「含んでいる（including）」、「備える（comprise）」、及び「備えている（comprising）」という用語は、特定の特徴又は動作を指定するが、追加の特徴又は動作を除外しない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】