特許 7450824 低レイテンシ組成器

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-07

(45)【発行日】2024-03-15

(54)【発明の名称】低レイテンシ組成器

(51)【国際特許分類】

   G09G 5/00 20060101AFI20240308BHJP

   G09G 5/377 20060101ALI20240308BHJP

   G09G 5/393 20060101ALI20240308BHJP

   G09G 5/42 20060101ALI20240308BHJP

【ＦＩ】

G09G5/00 530M

G09G5/00 550A

G09G5/00 550P

G09G5/377 100

G09G5/393

G09G5/42 200

【請求項の数】 30

(21)【出願番号】P 2023547881

(86)(22)【出願日】2022-01-18

(65)【公表番号】

(43)【公表日】2024-03-05

(86)【国際出願番号】 US2022070234

(87)【国際公開番号】W WO2022178471

(87)【国際公開日】2022-08-25

【審査請求日】2023-08-08

(31)【優先権主張番号】17/176,767

(32)【優先日】2021-02-16

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】595020643

【氏名又は名称】クゥアルコム・インコーポレイテッド

【氏名又は名称原語表記】ＱＵＡＬＣＯＭＭ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110003708

【氏名又は名称】弁理士法人鈴榮特許綜合事務所

(72)【発明者】

【氏名】マルチャ、ディリープ

(72)【発明者】

【氏名】コッティリンガル、スディープ・ラビ

(72)【発明者】

【氏名】プラカビ、スリニバス

(72)【発明者】

【氏名】パテル、ダバル・カヌブハイ

(72)【発明者】

【氏名】ヌカラ、プラシャント

(72)【発明者】

【氏名】ガンジ、ナガマレスワララオ

(72)【発明者】

【氏名】アハメド、モハメド・ナシール

(72)【発明者】

【氏名】アイア、マヘシュ

(72)【発明者】

【氏名】トータ、カリアン

(72)【発明者】

【氏名】チャウハン、スシル

【審査官】中村 直行

(56)【参考文献】

【文献】米国特許出願公開第２０１８／０１８９９２２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００４３２４９（ＵＳ，Ａ１）

【文献】国際公開第２０２１／０００２２０（ＷＯ，Ａ１）

【文献】特開２０１２－１７７９５８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０９Ｇ ３／００ － ５／４２

(57)【特許請求の範囲】

【請求項1】

フレームを生成するための方法であって、
ディスプレイプロセッサユニット（ＤＰＵ）バッファに記憶された第１のフレームがハードウェア構成要素によって消費されたことを指示する第１のフェンスを受信することと、
前記第１のフェンスを受信することに応答して、アプリケーションバッファから複数の層をフェッチすることと、前記複数の層が第２のフレームに対応する、
前記第２のフレームの合成のために前記複数の層を処理するためにＤＰＵとグラフィックス処理ユニット（ＧＰＵ）の両方を使用することを決定することと、
前記複数の層を処理するために前記ＤＰＵと前記ＧＰＵとを使用するという前記決定に基づいて、
前記ＤＰＵバッファから前記第１のフェンスをフェッチすること、および
第２のフェンスを生成することと、
前記複数の層のサブセットから１つまたは複数の層を合成するためのＧＰＵプロセスを始動することと、前記ＧＰＵプロセスが、前記第２のフェンスを生成することに応答して始動される、
前記第２のフレームを生成するために、前記複数の層のうちの残りの層と前記１つまたは複数の合成された層とを合成するためのＤＰＵプロセスを始動することと、前記ＤＰＵプロセスが、前記第１のフェンスをフェッチすることに応答して始動される、
前記１つまたは複数の合成された層の完了を指示する第３のフェンスを受信することと、
前記第３のフェンスを受信することに応答して、
前記ＤＰＵプロセスによって、前記１つまたは複数の合成された層をフェッチすること、および
ＤＰＵプロセスによって、前記１つまたは複数の合成された層と前記残りの層とに基づいて、前記第２のフレームを生成することと、
前記第２のフレームを前記ハードウェア構成要素に提供することと
を備える、方法。

【請求項2】

前記ＧＰＵプロセスを始動することが、前記ＧＰＵプロセスより前に、前記１つまたは複数の層を合成するためのＧＰＵパラメータを構成することを備え、前記ＤＰＵプロセスを始動することが、前記ＤＰＵプロセスより前に、前記複数の層のうちの前記残りの層と前記１つまたは複数の合成された層とを合成するためのＤＰＵパラメータを構成することを備える、請求項１に記載の方法。

【請求項3】

前記第２のフェンスは、前記１つまたは複数の層を前記合成することが保留中である期間を指示する持続時間を備え、前記第３のフェンスが、前記期間を中断することと、前記１つまたは複数の層を前記合成することを始動することとを行うように構成された、請求項１に記載の方法。

【請求項4】

前記第２のフレームの合成のために前記複数の層を処理するために前記ＤＰＵと前記ＧＰＵの両方を使用することを決定することは、前記複数の層のうちのどれが前記複数の層の前記サブセットを形成するかを決定することをさらに備える、請求項１に記載の方法。

【請求項5】

前記第２のフレームを生成することが、
前記第２のフレームを前記ＤＰＵバッファに記憶することと、
前記ＤＰＵによる前記第２のフレームの解放を指示する第４のフェンスを設定することと
をさらに備える、請求項１に記載の方法。

【請求項6】

前記第１のフェンスが、前記ＤＰＵによる前記第１のフレームの解放を指示する、前記ＤＰＵによって設定されたメモリ値である、請求項１に記載の方法。

【請求項7】

前記第３のフェンスが、前記ＤＰＵプロセスを始動する間に受信される、請求項１に記載の方法。

【請求項8】

前記１つまたは複数の合成された層の完了を指示する前記第３のフェンスを受信することが、前記１つまたは複数の合成された層を含んでいる１つまたは複数のＧＰＵバッファの指示を受信することをさらに備え、前記１つまたは複数の合成された層をフェッチすることが、前記１つまたは複数のＧＰＵバッファから前記１つまたは複数の合成された層をフェッチすることをさらに備える、請求項１に記載の方法。

【請求項9】

フレームを生成するために構成された装置であって、前記装置が、
メモリと、
前記メモリに結合されたプロセッサと
を備え、前記プロセッサおよび前記メモリは、
ディスプレイプロセッサユニット（ＤＰＵ）バッファに記憶された第１のフレームがハードウェア構成要素によって消費されたことを指示する第１のフェンスを受信することと、
前記第１のフェンスを受信することに応答して、アプリケーションバッファから複数の層をフェッチすることと、前記複数の層が第２のフレームに対応する、
前記第２のフレームの合成のために前記複数の層を処理するためにＤＰＵとグラフィックス処理ユニット（ＧＰＵ）の両方を使用することを決定することと、
前記複数の層を処理するために前記ＤＰＵと前記ＧＰＵとを使用するという前記決定に基づいて、
前記ＤＰＵバッファから前記第１のフェンスをフェッチすること、および
第２のフェンスを生成することと、
前記複数の層のサブセットから１つまたは複数の層を合成するためのＧＰＵプロセスを始動することと、前記ＧＰＵプロセスが、前記第２のフェンスを生成することに応答して始動される、
前記第２のフレームを生成するために、前記複数の層のうちの残りの層と前記１つまたは複数の合成された層とを合成するためのＤＰＵプロセスを始動することと、前記ＤＰＵプロセスが、前記第１のフェンスをフェッチすることに応答して始動される、
前記１つまたは複数の合成された層の完了を指示する第３のフェンスを受信することと、
前記第３のフェンスを受信することに応答して、
前記ＤＰＵプロセスによって、前記１つまたは複数の合成された層をフェッチすること、および
ＤＰＵプロセスによって、前記１つまたは複数の合成された層と前記残りの層とに基づいて、前記第２のフレームを生成することと、
前記第２のフレームを前記ハードウェア構成要素に提供することと
を行うように構成された、装置。

【請求項10】

前記ＧＰＵプロセスを始動するように構成された、前記プロセッサおよび前記メモリが、前記ＧＰＵプロセスより前に、前記１つまたは複数の層を合成するためのＧＰＵパラメータを決定するようにさらに構成され、
前記ＤＰＵプロセスを始動するように構成された、前記プロセッサおよび前記メモリが、前記ＤＰＵプロセスより前に、前記複数の層のうちの前記残りの層と前記１つまたは複数の合成された層とを合成するためのＤＰＵパラメータを決定するようにさらに構成された、
請求項９に記載の装置。

【請求項11】

前記第２のフェンスは、前記１つまたは複数の層を前記合成することが保留中である期間を指示する持続時間を備え、前記第３のフェンスが、前記期間を中断することと、前記１つまたは複数の層を前記合成することを始動することとを行うように構成された、請求項９に記載の装置。

【請求項12】

前記第２のフレームの合成のために前記複数の層を処理するために前記ＤＰＵと前記ＧＰＵの両方を使用することを決定するように構成された、前記プロセッサおよび前記メモリは、前記複数の層のうちのどれが前記複数の層の前記サブセットを形成するかを決定するようにさらに構成された、請求項９に記載の装置。

【請求項13】

前記第２のフレームを生成するように構成された、前記プロセッサおよび前記メモリが、
前記第２のフレームを前記ＤＰＵバッファに記憶することと、
前記ＤＰＵによる前記第２のフレームの解放を指示する第４のフェンスを設定することと
を行うようにさらに構成された、請求項９に記載の装置。

【請求項14】

前記第１のフェンスが、前記ＤＰＵによる前記第１のフレームの解放を指示する、前記ＤＰＵによって設定されたメモリ値である、請求項９に記載の装置。

【請求項15】

前記第３のフェンスが、前記ＤＰＵプロセスを始動する間に受信される、請求項９に記載の装置。

【請求項16】

前記１つまたは複数の合成された層の完了を指示する前記第３のフェンスを受信するように構成された、前記プロセッサおよび前記メモリが、前記１つまたは複数の合成された層を含んでいる１つまたは複数のＧＰＵバッファの指示を受信するようにさらに構成され、
前記１つまたは複数の合成された層をフェッチするように構成された、前記プロセッサおよび前記メモリが、前記１つまたは複数のＧＰＵバッファから前記１つまたは複数の合成された層をフェッチするようにさらに構成された、
請求項９に記載の装置。

【請求項17】

フレームを生成するための装置であって、前記装置は、
ディスプレイプロセッサユニット（ＤＰＵ）バッファに記憶された第１のフレームがハードウェア構成要素によって消費されたことを指示する第１のフェンスを受信するための手段と、
前記第１のフェンスを受信することに応答して、アプリケーションバッファから複数の層をフェッチするための手段と、前記複数の層が第２のフレームに対応する、
前記第２のフレームの合成のために前記複数の層を処理するためにＤＰＵとグラフィックス処理ユニット（ＧＰＵ）の両方を使用することを決定するための手段と、
前記複数の層を処理するために前記ＤＰＵと前記ＧＰＵとを使用するという前記決定に基づいて、前記ＤＰＵバッファから前記第１のフェンスをフェッチするための手段と、
前記複数の層を処理するために前記ＤＰＵと前記ＧＰＵとを使用するという前記決定に基づいて、第２のフェンスを生成するための手段と、
前記第２のフェンスを生成することに応答して、前記複数の層のサブセットから１つまたは複数の層を合成するためのＧＰＵプロセスを始動するための手段と、
前記第２のフレームを生成するために、前記複数の層のうちの残りの層と前記１つまたは複数の合成された層とを合成するためのＤＰＵプロセスを始動するための手段と、前記ＤＰＵプロセスが、前記第１のフェンスをフェッチすることに応答して始動される、
前記１つまたは複数の合成された層の完了を指示する第３のフェンスを受信するための手段と、
前記第３のフェンスを受信することに応答して、前記ＤＰＵプロセスによって、前記１つまたは複数の合成された層をフェッチするための手段と、
前記第３のフェンスを受信することに応答して、ＤＰＵプロセスによって、前記１つまたは複数の合成された層と前記残りの層とに基づいて、前記第２のフレームを生成するための手段と、
前記第２のフレームを前記ハードウェア構成要素に提供するための手段と
を備える、装置。

【請求項18】

前記ＧＰＵプロセスを始動するための前記手段が、前記ＧＰＵプロセスより前に、前記１つまたは複数の層を合成するためのＧＰＵパラメータを構成するための手段を備え、
前記ＤＰＵプロセスを始動するための前記手段が、前記ＤＰＵプロセスより前に、前記複数の層のうちの前記残りの層と前記１つまたは複数の合成された層とを合成するためのＤＰＵパラメータを構成するための手段を備える、
請求項１７に記載の装置。

【請求項19】

前記第２のフェンスは、前記１つまたは複数の層を前記合成することが保留中である期間を指示する持続時間を備え、前記第３のフェンスが、前記期間を中断することと、前記１つまたは複数の層を前記合成することを始動することとを行うように構成された、請求項１７に記載の装置。

【請求項20】

前記第２のフレームの合成のために前記複数の層を処理するために前記ＤＰＵと前記ＧＰＵの両方を使用することを決定するための前記手段は、前記複数の層のうちのどれが前記複数の層の前記サブセットを形成するかを決定するための手段をさらに備える、請求項１７に記載の装置。

【請求項21】

前記第２のフレームを生成するための前記手段が、
前記第２のフレームを前記ＤＰＵバッファに記憶するための手段と、
前記ＤＰＵによる前記第２のフレームの解放を指示する第４のフェンスを設定するための手段と
をさらに備える、請求項１７に記載の装置。

【請求項22】

前記第１のフェンスが、前記ＤＰＵによる前記第１のフレームの解放を指示する、前記ＤＰＵによって設定されたメモリ値である、請求項１７に記載の装置。

【請求項23】

前記ＤＰＵプロセスを始動する間に前記第３のフェンスを受信するための手段をさらに備える、請求項１７に記載の装置。

【請求項24】

前記１つまたは複数の合成された層の完了を指示する前記第３のフェンスを受信するための前記手段が、前記１つまたは複数の合成された層を含んでいる１つまたは複数のＧＰＵバッファの指示を受信するための手段をさらに備え、
前記１つまたは複数の合成された層をフェッチするための前記手段が、前記１つまたは複数のＧＰＵバッファから前記１つまたは複数の合成された層をフェッチするための手段をさらに備える、
請求項１７に記載の装置。

【請求項25】

フレームを生成するための方法を実施するための命令を記憶した非一時的コンピュータ可読記憶媒体であって、前記方法は、
ディスプレイプロセッサユニット（ＤＰＵ）バッファに記憶された第１のフレームがハードウェア構成要素によって消費されたことを指示する第１のフェンスを受信することと、
前記第１のフェンスを受信することに応答して、アプリケーションバッファから複数の層をフェッチすることと、前記複数の層が第２のフレームに対応する、
前記第２のフレームの合成のために前記複数の層を処理するためにＤＰＵとグラフィックス処理ユニット（ＧＰＵ）の両方を使用することを決定することと、
前記複数の層を処理するために前記ＤＰＵと前記ＧＰＵとを使用するという前記決定に基づいて、
前記ＤＰＵバッファから前記第１のフェンスをフェッチすること、および
第２のフェンスを生成することと、
前記複数の層のサブセットから１つまたは複数の層を合成するためのＧＰＵプロセスを始動することと、前記ＧＰＵプロセスが、前記第２のフェンスを生成することに応答して始動される、
前記第２のフレームを生成するために、前記複数の層のうちの残りの層と前記１つまたは複数の合成された層とを合成するためのＤＰＵプロセスを始動することと、前記ＤＰＵプロセスが、前記第１のフェンスをフェッチすることに応答して始動される、
前記１つまたは複数の合成された層の完了を指示する第３のフェンスを受信することと、
前記第３のフェンスを受信することに応答して、
前記ＤＰＵプロセスによって、前記１つまたは複数の合成された層をフェッチすること、および
ＤＰＵプロセスによって、前記１つまたは複数の合成された層と前記残りの層とに基づいて、前記第２のフレームを生成することと、
前記第２のフレームを前記ハードウェア構成要素に提供することと
を備える、非一時的コンピュータ可読記憶媒体。

【請求項26】

前記ＧＰＵプロセスを始動することが、前記ＧＰＵプロセスより前に、前記１つまたは複数の層を合成するためのＧＰＵパラメータを構成することを備え、前記ＤＰＵプロセスを始動することが、前記ＤＰＵプロセスより前に、前記複数の層のうちの前記残りの層と前記１つまたは複数の合成された層とを合成するためのＤＰＵパラメータを構成することを備える、請求項２５に記載の非一時的コンピュータ可読記憶媒体。

【請求項27】

前記第２のフェンスは、前記１つまたは複数の層を前記合成することが保留中である期間を指示する持続時間を備え、前記第３のフェンスが、前記期間を中断することと、前記１つまたは複数の層を前記合成することを始動することとを行うように構成された、請求項２５に記載の非一時的コンピュータ可読記憶媒体。

【請求項28】

前記第２のフレームの合成のために前記複数の層を処理するために前記ＤＰＵと前記ＧＰＵの両方を使用することを決定することは、前記複数の層のうちのどれが前記複数の層の前記サブセットを形成するかを決定することをさらに備える、請求項２５に記載の非一時的コンピュータ可読記憶媒体。

【請求項29】

前記第２のフレームを生成することが、
前記第２のフレームを前記ＤＰＵバッファに記憶することと、
前記ＤＰＵによる前記第２のフレームの解放を指示する第４のフェンスを設定することと
をさらに備える、請求項２５に記載の非一時的コンピュータ可読記憶媒体。

【請求項30】

前記第１のフェンスが、前記ＤＰＵによる前記第１のフレームの解放を指示する、前記ＤＰＵによって設定されたメモリ値である、請求項２５に記載の非一時的コンピュータ可読記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
[0001] 本出願は、以下に完全に記載されるかのようにおよびすべての適用可能な目的のためにその全体が参照により本明細書に明確に組み込まれる、２０２１年２月１６日に出願された米国出願第１７／１７６，７６７号の利益および優先権を主張する。

【0002】

[0002] 本開示の教示は、一般に、グラフィックスおよびディスプレイ動作（graphics and display operation）に関し、より詳細には、ディスプレイフレーム（display frame）を生成するための技法に関する。

【背景技術】

【0003】

[0003] コンピューティングデバイスは、しばしば、表示のためのグラフィカルデータのレンダリング（rendering）を加速するために、グラフィックス処理ユニット（ＧＰＵ：graphics processing unit）を使用し、表示のためのディスプレイパネルに送るべきグラフィカルデータを処理するために、ディスプレイ処理ユニット（ＤＰＵ：display processing unit）を使用する。そのようなコンピューティングデバイスは、たとえば、コンピュータワークステーション、いわゆるスマートフォンなどのモバイルフォン、組込みシステム、パーソナルコンピュータ、タブレットコンピュータ、およびビデオゲームコンソールを含み得る。ＧＰＵは、グラフィックス処理コマンドを実行し、フレーム（frame）を出力するために一緒に動作する１つまたは複数の処理段階を含むグラフィックス処理パイプライン（graphics processing pipeline）を実行する。中央処理ユニット（ＣＰＵ）は、１つまたは複数のグラフィックス処理コマンドをＧＰＵに発行することによって、ＧＰＵの動作を制御し得る。現代のＣＰＵは、一般に、それらの各々が、実行中にＧＰＵを利用する必要があり得る、複数のアプリケーションをコンカレントに実行することが可能である。

【0004】

[0004] 電子デバイス上で実行するアプリケーションは、モニタ上などに表示するためのフレームを生成するために合成（composite）されるべきであるいくつかの層（layer）をレンダリングし得る。いくつかの態様では、ＤＰＵおよびＧＰＵは、部分的に、フレームを生成するためにいくつかの層を合成することによって、フレームを生成する。そのような態様では、ＧＰＵおよびＤＰＵ動作は、しばしば直列化され、したがって、ＧＰＵは、層合成を実施および完了することを、ＤＰＵが、他の層の、ＧＰＵによって合成された層（composited layer）との合成を始めることができる前に、行う。しかしながら、そのような直列化は、ＤＰＵおよびＧＰＵ、ならびに他のソフトウェアおよびハードウェア構成要素（hardware component）にとって、比較的長いアイドル時間（idle time）を生じ得、フレームの完了（completion）に必要とされる時間の量をも拡張することがある。

【発明の概要】

【0005】

[0005] 本開示のシステム、方法、およびデバイスは、各々いくつかの態様を有し、それらのうちの単一の態様が単独で本開示の望ましい属性を担当するとは限らない。この説明を考察すれば、特に「発明を実施するための形態」と題するセクションを読めば、本開示の特徴が、ディスプレイフレームを生成するための動作における低減されたレイテンシ（latency）を含む利点をどのように提供するかが理解されよう。

【0006】

[0006] いくつかの態様は、フレームを生成するための方法に関する。本方法は、ディスプレイプロセッサユニット（ＤＰＵ：display processor unit）バッファ（buffer）に記憶された第１のフレーム（first frame）がハードウェア構成要素によって消費されたことを指示する第１のフェンス（first fence）を受信することを含む。本方法は、第１のフェンスを受信することに応答して、アプリケーションバッファ（application buffer）から複数の層をフェッチ（fetch）することをも含み、複数の層は第２のフレーム（second frame）に対応する。本方法は、第２のフレームの合成（composition）のために複数の層を処理するためにＤＰＵとグラフィックス処理ユニット（ＧＰＵ）の両方を使用することを決定することをも含む。本方法は、複数の層を処理するためにＤＰＵとＧＰＵとを使用するという決定に基づいて、ＤＰＵバッファから第１のフェンスをフェッチすること、および第２のフェンス（second fence）を生成することをも含む。本方法は、複数の層のサブセット（subset）から１つまたは複数の層を合成するためのＧＰＵプロセスを始動することをも含み、ＧＰＵプロセスは、第２のフェンスを生成することに応答して始動される。本方法は、第２のフレームを生成するために、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵプロセスを始動することをも含み、ＤＰＵプロセスは、第１のフェンスをフェッチすることに応答して始動される。本方法は、１つまたは複数の合成された層の完了を指示する第３のフェンス（third fence）を受信することをも含む。本方法は、第３のフェンスを受信することに応答して、ＤＰＵプロセスによって、１つまたは複数の合成された層をフェッチすること、およびＤＰＵプロセスによって、１つまたは複数の合成された層と残りの層とに基づいて、第２のフレームを生成することをも含む。本方法は、第２のフレームをハードウェア構成要素に提供することをも含む。

【0007】

[0007] いくつかの態様は、フレームを生成するために構成された装置を対象とする。いくつかの例では、本装置は、メモリと、メモリに結合されたプロセッサとを含む。いくつかの例では、プロセッサおよびメモリは、ディスプレイプロセッサユニット（ＤＰＵ）バッファに記憶された第１のフレームがハードウェア構成要素によって消費されたことを指示する第１のフェンスを受信するように構成される。いくつかの例では、プロセッサおよびメモリは、第１のフェンスを受信することに応答して、アプリケーションバッファから複数の層をフェッチするように構成され、複数の層は第２のフレームに対応する。いくつかの例では、プロセッサおよびメモリは、第２のフレームの合成のために複数の層を処理するためにＤＰＵとグラフィックス処理ユニット（ＧＰＵ）の両方を使用することを決定するように構成される。いくつかの例では、プロセッサおよびメモリは、複数の層を処理するためにＤＰＵとＧＰＵとを使用するという決定に基づいて、ＤＰＵバッファから第１のフェンスをフェッチすること、および第２のフェンスを生成することを行うように構成される。いくつかの例では、プロセッサおよびメモリは、複数の層のサブセットから１つまたは複数の層を合成するためのＧＰＵプロセスを始動するように構成され、ＧＰＵプロセスは、第２のフェンスを生成することに応答して始動される。いくつかの例では、プロセッサおよびメモリは、第２のフレームを生成するために、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵプロセスを始動するように構成され、ＤＰＵプロセスは、第１のフェンスをフェッチすることに応答して始動される。いくつかの例では、プロセッサおよびメモリは、１つまたは複数の合成された層の完了を指示する第３のフェンスを受信するように構成される。いくつかの例では、プロセッサおよびメモリは、第３のフェンスを受信することに応答して、ＤＰＵプロセスによって、１つまたは複数の合成された層をフェッチすること、およびＤＰＵプロセスによって、１つまたは複数の合成された層と残りの層とに基づいて、第２のフレームを生成することを行うように構成される。いくつかの例では、プロセッサおよびメモリは、第２のフレームをハードウェア構成要素に提供するように構成される。

【0008】

[0008] いくつかの態様は、フレームを生成するための装置に関する。いくつかの例では、本装置は、ディスプレイプロセッサユニット（ＤＰＵ）バッファに記憶された第１のフレームがハードウェア構成要素によって消費されたことを指示する第１のフェンスを受信するための手段を含む。いくつかの例では、本装置は、第１のフェンスを受信することに応答して、アプリケーションバッファから複数の層をフェッチするための手段を含み、複数の層は第２のフレームに対応する。いくつかの例では、本装置は、第２のフレームの合成のために複数の層を処理するためにＤＰＵとグラフィックス処理ユニット（ＧＰＵ）の両方を使用することを決定するための手段を含む。いくつかの例では、本装置は、複数の層を処理するためにＤＰＵとＧＰＵとを使用するという決定に基づいて、ＤＰＵバッファから第１のフェンスをフェッチするための手段を含む。いくつかの例では、本装置は、複数の層を処理するためにＤＰＵとＧＰＵとを使用するという決定に基づいて、第２のフェンスを生成するための手段を含む。いくつかの例では、本装置は、第２のフェンスを生成することに応答して、複数の層のサブセットから１つまたは複数の層を合成するためのＧＰＵプロセスを始動するための手段を含む。いくつかの例では、本装置は、第２のフレームを生成するために、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵプロセスを始動するための手段を含み、ＤＰＵプロセスは、第１のフェンスをフェッチすることに応答して始動される。いくつかの例では、本装置は、１つまたは複数の合成された層の完了を指示する第３のフェンスを受信するための手段を含む。いくつかの例では、本装置は、第３のフェンスを受信することに応答して、ＤＰＵプロセスによって、１つまたは複数の合成された層をフェッチするための手段を含む。いくつかの例では、本装置は、第３のフェンスを受信することに応答して、ＤＰＵプロセスによって、１つまたは複数の合成された層と残りの層とに基づいて、第２のフレームを生成するための手段を含む。いくつかの例では、本装置は、第２のフレームをハードウェア構成要素に提供するための手段を含む。

【0009】

[0009] いくつかの態様は、フレームを生成する方法を実施するための命令を記憶した非一時的コンピュータ可読記憶媒体（non-transitory computer-readable storage medium）に関する。いくつかの例では、方法は、ディスプレイプロセッサユニット（ＤＰＵ）バッファに記憶された第１のフレームがハードウェア構成要素によって消費されたことを指示する第１のフェンスを受信することを含む。方法は、第１のフェンスを受信することに応答して、アプリケーションバッファから複数の層をフェッチすることをも含み、複数の層は第２のフレームに対応する。方法は、第２のフレームの合成のために複数の層を処理するためにＤＰＵとグラフィックス処理ユニット（ＧＰＵ）の両方を使用することを決定することをも含む。方法は、複数の層を処理するためにＤＰＵとＧＰＵとを使用するという決定に基づいて、ＤＰＵバッファから第１のフェンスをフェッチすること、および第２のフェンスを生成することをも含む。方法は、複数の層のサブセットから１つまたは複数の層を合成するためのＧＰＵプロセスを始動することをも含み、ＧＰＵプロセスは、第２のフェンスを生成することに応答して始動される。方法は、第２のフレームを生成するために、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵプロセスを始動することをも含み、ＤＰＵプロセスは、第１のフェンスをフェッチすることに応答して始動される。方法は、１つまたは複数の合成された層の完了を指示する第３のフェンスを受信することをも含む。方法は、第３のフェンスを受信することに応答して、ＤＰＵプロセスによって、１つまたは複数の合成された層をフェッチすること、およびＤＰＵプロセスによって、１つまたは複数の合成された層と残りの層とに基づいて、第２のフレームを生成することをも含む。方法は、第２のフレームをハードウェア構成要素に提供することをも含む。

【0010】

[0010] 上記の目的および関係する目的を達成するために、１つまたは複数の態様は、以下で十分に説明され、特に特許請求の範囲において指摘される特徴を備える。以下の説明および添付の図面は、１つまたは複数の態様のうちのいくつかの例示的な特徴を詳細に記載する。ただし、これらの特徴は、様々な態様の原理が採用され得る様々な方法のうちのほんのいくつかを示すものである。

【0011】

[0011] 本開示の上記で具陳された特徴が詳細に理解され得るように、図面にその一部が示される態様を参照することによって、上記で手短に要約されたより具体的な説明が得られ得る。ただし、添付の図面は、本開示のいくつかの態様のみを示し、その説明は他の等しく有効な態様に通じ得ることに留意されたい。

【図面の簡単な説明】

【0012】

【図1】[0012] 本開示で説明される技法を実装するために使用され得る例示的なコンピューティングデバイスを示すブロック図。

【図2】[0013] 本開示のいくつかの態様による、例示的なディスプレイパイプラインを示すブロック図。

【図3】[0014] 本開示のいくつかの態様による、図２の合成器（compositor）と、ハードウェア組成器（hardware composer）と、ドライバとによって実施されるフレーム処理動作を示すブロック図。

【図4】[0015] 本開示のいくつかの態様による、図２の合成器と、ハードウェア組成器と、ドライバとによって実施されるフレーム処理動作を示すブロック図。

【図5】[0016] 本開示のいくつかの態様による、表示のためのフレームを生成するための例示的な動作を示すフローチャート。

【発明を実施するための形態】

【0013】

[0017] いくつかの態様では、コンピューティングデバイスは、コンピューティングデバイスならびに／あるいはモニタまたはプリンタなどの他の周辺デバイス上のグラフィックスおよびディスプレイ機能をサポートするための、グラフィックス処理ユニット（ＧＰＵ）とディスプレイ処理ユニット（ＤＰＵ）とを含み得る。

【0014】

[0018] 本明細書で使用される「コンテンツ」という用語のインスタンスは、「画像データの層」、「グラフィカルコンテンツ」、「画像」を指し得、その逆も同様である。これは、用語が形容詞として使用されているのか、名詞として使用されているのか、他の品詞として使用されているのかにかかわらず当てはまる。いくつかの例では、本明細書で使用される「グラフィカルコンテンツ」という用語は、グラフィックス処理パイプラインの１つまたは複数のプロセスによって作り出されたコンテンツを指し得る。いくつかの例では、本明細書で使用される「グラフィカルコンテンツ」という用語は、グラフィックス処理を実施するように構成された処理ユニットによって作り出されたコンテンツを指し得る。いくつかの例では、本明細書で使用される「グラフィカルコンテンツ」という用語は、グラフィックス処理ユニット（ＧＰＵ）によって作り出された、またはさもなければディスプレイ処理ユニット（ＤＰＵ）によって受信された、コンテンツを指し得る。

【0015】

[0019] いくつかの例では、本明細書で使用される「ディスプレイコンテンツ」という用語は、ディスプレイ処理を実施するように構成された処理ユニットによって生成されたコンテンツを指し得る。いくつかの例では、本明細書で使用される「ディスプレイコンテンツ」という用語は、ディスプレイ処理ユニットによって生成されたコンテンツを指し得る。グラフィカルコンテンツは、ディスプレイコンテンツになるように処理され得る。たとえば、ＧＰＵは、（フレームバッファと呼ばれることがある）バッファに、フレームなど、グラフィカルコンテンツを出力し得る。ディスプレイ処理ユニットは、バッファからの１つまたは複数のフレームなど、グラフィカルコンテンツを読み取り、ディスプレイコンテンツを生成するために、それに対して１つまたは複数のディスプレイ処理技法を実施し得る。

【0016】

[0020] たとえば、ＤＰＵは、フレームを生成するために、１つまたは複数のレンダリングされた層に対して合成を実施するように構成され得る。いくつかの場合には、ＧＰＵも、ＤＰＵが同じことを行うのを支援するときなど、フレームを生成するために、１つまたは複数のレンダリングされた層に対して合成を実施するように構成され得る。別の例として、ＤＰＵは、２つまたはそれ以上の層を一緒に単一のフレームに組成（compose）するか、ブレンド（blend）するか、またはさもなければ組み合わせるように構成され得る。ＤＰＵは、フレームに対してスケーリング、たとえば、アップスケーリングまたはダウンスケーリングを実施するように構成され得る。いくつかの例では、フレームは層を指し得る。他の例では、フレームは、フレームを形成するためにすでに一緒にブレンドされた２つまたはそれ以上の層を指し得、すなわち、フレームは、２つまたはそれ以上の層を含み、２つまたはそれ以上の層を含むフレームは、その後ブレンドされ得る。

【0017】

[0021] 説明されるように、ＧＰＵおよびＤＰＵは、両方とも、表示のための特定のフレームの生成をサポートするためのいくつかのプロセス（たとえば、合成層への、層の合成）を実施するために必要とされ得る。しかしながら、ＧＰＵとＤＰＵの両方を使用するフレームの生成は、ＧＰＵとＤＰＵとの間の比較的拡張された量のアイドル時間をもたらすことがある直列化された処理を生じ、その結果、フレームを生成するために必要とされる時間の量を拡張し得る。

【0018】

[0022] たとえば、ＧＰＵが複数の層の合成層を生成する間、ＤＰＵとコンピューティングデバイスの他の構成要素とは、それらがそれら自体の作業を始めることができる前に、ＧＰＵが合成を完了するのを待っていることがある。そのような構成は、ＤＰＵと他の構成要素とをアイドルのままにし、フレーム生成のためのプロセスを延長する。したがって、本明細書で説明される態様は、ＧＰＵとＤＰＵと他の構成要素との間の処理の直列化を低減するための技法を対象とする。そのような技法は、システム間のアイドル時間の量を低減し、フレームを生成するために必要とされる時間の量を低減するために、いくつかのタスクを並列に実施するための方法を含む。

【0019】

[0023] 添付の図面に関して以下に記載される発明を実施するための形態は、様々な構成の説明として意図されており、本明細書で説明される概念が実践され得る構成のみを表すことが意図されていない。発明を実施するための形態は、様々な概念の完全な理解を提供するための具体的な詳細を含む。ただし、これらの概念はこれらの具体的な詳細なしに実践され得ることが当業者には明らかであろう。いくつかの事例では、そのような概念を不明瞭にすることを回避するために、よく知られている構造および構成要素がブロック図の形態で示されている。

【0020】

[0024] 様々な態様が、添付の図面を参照しながら詳細に説明される。可能な場合はいつでも、同じまたは同様の部分を指すために図面全体にわたって同じ参照番号が使用される。特定の例および実装形態になされる言及は、説明の目的のためのものであり、本開示の範囲または特許請求の範囲を限定するものではない。

【0021】

[0025] 本開示の特徴が、以下のいくつかの態様および図に関連して説明され得るが、本開示のすべての態様は、本明細書で説明される有利な特徴のうちの１つまたは複数を含むことができる。言い換えれば、１つまたは複数の態様が、いくつかの有利な特徴を有するものとして説明され得るが、そのような特徴のうちの１つまたは複数は、本明細書で説明される様々な他の態様に従っても使用され得る。

【0022】

[0026] 「システムオンチップ」（ＳｏＣ）という用語は、本明細書では、単一の基板上に組み込まれた複数のリソースおよび／またはプロセッサを含んでいる単一の集積回路（ＩＣ）チップを指すために使用される。単一のＳｏＣは、デジタル、アナログ、混合信号、および無線周波数機能のための回路を含んでいることがある。単一のＳｏＣはまた、任意の数の汎用および／または専用プロセッサ（デジタル信号プロセッサ、モデムプロセッサ、ビデオプロセッサなど）、メモリブロック（たとえば、ＲＯＭ、ＲＡＭ、フラッシュなど）、ならびにリソース（たとえば、タイマー、電圧調節器、発振器など）を含み得、それらのいずれかまたはすべては、１つまたは複数のコア中に含まれ得る。

【0023】

[0027] いくつかの異なるタイプのメモリおよびメモリ技術が利用可能であるかまたは将来企図され、それらのすべてが、本開示の様々な態様とともに使用するのに好適である。そのようなメモリ技術／タイプは、相変化メモリ（ＰＲＡＭ）、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、スタティックランダムアクセスメモリ（ＳＲＡＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、フラッシュメモリ（たとえば、組込みマルチメディアカード（ｅＭＭＣ）フラッシュ、フラッシュ消去可能プログラマブル読取り専用メモリ（ＦＥＰＲＯＭ））、擬似スタティックランダムアクセスメモリ（ＰＳＲＡＭ）、ダブルデータレート（ＤＤＲ）同期ダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）、ならびに当技術分野で知られている他のランダムアクセスメモリ（ＲＡＭ）および読取り専用メモリ（ＲＯＭ）技術を含む。ＤＤＲ ＳＤＲＡＭメモリは、ＤＤＲタイプ１ ＳＤＲＡＭメモリ、ＤＤＲタイプ２ ＳＤＲＡＭメモリ、ＤＤＲタイプ３ ＳＤＲＡＭメモリ、またはＤＤＲタイプ４ ＳＤＲＡＭメモリであり得る。

【0024】

[0028] 上述のメモリ技術の各々は、たとえば、コンピュータまたは他のデジタル電子デバイスにおけるまたはそれによる使用のための命令、プログラム、制御信号、および／またはデータを記憶するのに好適な要素を含む。個々のタイプのメモリ、インターフェース、規格またはメモリ技術に関係する用語および／または技術詳細へのいかなる言及も、説明の目的のためにすぎず、クレームの文言に明記されていない限り、特許請求の範囲を特定のメモリシステムまたは技術に限定するものではない。モバイルコンピューティングデバイスアーキテクチャは、複雑さが増しており、現在一般に、複数のプロセッサコアと、ＳｏＣと、コプロセッサと、専用プロセッサ（たとえば、通信モデムチップ、全地球測位システム（ＧＰＳ）プロセッサ、ディスプレイプロセッサなど）を含む機能モジュールと、複雑なメモリシステムと、入り組んだ電気相互接続（たとえば、バスおよび／またはファブリック）と、複雑なおよび電力集約的なソフトウェアアプリケーション（たとえば、ビデオストリーミングアプリケーションなど）を実行する多数の他のリソースとを含む。いくつかの態様がＳｏＣに関して説明され得るが、態様は、ＧＰＵおよびＤＰＵを有するものなど、任意の好適なコンピューティングプラットフォームに適用され得ることを理解されたい。

【0025】

[0029] 図１は、本開示で説明される技法を実装するために使用され得る例示的なコンピューティングデバイス１００を示すブロック図である。いくつかの例では、コンピューティングデバイス１００は、ＳｏＣを備え得る。ＳｏＣは、デジタル、アナログ、混合信号、および無線周波数機能のための回路、ならびに／あるいは、任意の数の汎用および／または専用プロセッサ（デジタル信号プロセッサ、モデムプロセッサ、ビデオプロセッサなど）、メモリブロック（たとえば、ＲＯＭ、ＲＡＭ、フラッシュなど）、ならびにリソース（たとえば、タイマー、電圧調節器、発振器など）を含んでいることがあり、それらのいずれかまたはすべては、１つまたは複数のコア中に含まれ得る。

【0026】

[0030] いくつかの例では、コンピューティングデバイス１００は、パーソナルコンピュータ、デスクトップコンピュータ、ラップトップコンピュータ、コンピュータワークステーション、ビデオゲームプラットフォームまたはコンソール、（たとえば、携帯電話、セルラー電話、衛星電話、および／または携帯電話ハンドセットなどの）ワイヤレス通信デバイス、ポータブルビデオゲームデバイスまたは携帯情報端末（ＰＤＡ）などのハンドヘルドデバイス、パーソナル音楽プレーヤ、ビデオプレーヤ、ディスプレイデバイス、あるいはグラフィカルデータを生成、処理、および／または表示する任意の他のタイプのデバイスを備え得る。

【0027】

[0031] 図１の例に示されているように、コンピューティングデバイス１００は、中央処理ユニット（ＣＰＵ）１０２、ディスプレイ処理ユニット（ＤＰＵ）１０４、およびグラフィックス処理ユニット（ＧＰＵ）１０６など、複数の異種プロセッサ（たとえば、汎用／専用プロセッサ）を含んでいる処理システム１２０を含む。図示されていないが、処理システム１２０は、追加の処理ユニット、たとえば、デジタル信号プロセッサ（ＤＳＰ）、アプリケーションプロセッサなどを含み得る。

【0028】

[0032] 本明細書で使用される処理ユニットは、１つまたは複数のプロセッサと、任意の好適なサポートハードウェアおよび／またはソフトウェア（たとえば、レジスタ、組合せ論理、コントローラなど）とを含み得る。処理システム１２０は、１つまたは複数のコアを含み得、各プロセッサ／コアは、他のプロセッサ／コアから独立した動作を実施し得る。処理ユニット１０２、１０４、および１０６は（たとえば、単一の基板、ダイ、集積チップなど上で）互いに極めて近接して編成され得、それにより、それらは、信号がオフチップで移動する場合に可能であろうものよりもはるかに高い周波数／クロックレートにおいて動作し得る。コアの近接はまた、オンチップメモリおよびリソース（たとえば、電圧レール）の共有、ならびにコア間のより協調された協働を可能にし得る。

【0029】

[0033] 処理システム１２０は、バスモジュール１１０を介して、１つまたは複数のコントローラモジュール１１２、（１つまたは複数の）入出力（Ｉ／Ｏ）モジュール１１４、（１つまたは複数の）メモリモジュール１１６、ならびに（１つまたは複数の）システム構成要素およびリソースモジュール１１８と相互接続され、バスモジュール１１０は、再構成可能な論理ゲートのアレイを含み、および／またはバスアーキテクチャ（たとえば、ＣｏｒｅＣｏｎｎｅｃｔ、高度マイクロコントローラバスアーキテクチャ（ＡＭＢＡ）など）を実装し得る。バスモジュール１１０通信は、高性能なネットワークオンチップ（ＮｏＣ）などの高度相互接続によって提供され得る。相互接続／バスモジュール１１０は、構成要素（たとえば、プロセッサ、周辺機器など）に、設定された持続時間、動作の数、バイト数などについての、（たとえば、バーストモード、ブロック転送モードなどにおいてデータを転送するための）バスの排他的な制御を与えるように構成されたバスマスタリングシステムを含むか、または提供し得る。いくつかの場合には、バスモジュール１１０は、複数のマスタ構成要素がバスを同時に駆動することを試みることを防ぐために、調停方式を実装し得る。

【0030】

[0034] ＣＰＵ１０２は、コンピューティングデバイス１００の動作を制御する汎用プロセッサまたは専用プロセッサを備え得る。ユーザは、Ｉ／Ｏモジュール１１４を介して、ＣＰＵ１０２に１つまたは複数のソフトウェアアプリケーションを実行させるために、コンピューティングデバイス１００に入力を提供し得る。ＣＰＵ１０２上で実行するソフトウェアアプリケーションは、たとえば、オペレーティングシステム、ワードプロセッサアプリケーション、電子メールアプリケーション、スプレッドシートアプリケーション、メディアプレーヤアプリケーション、ビデオゲームアプリケーション、グラフィカルユーザインターフェースアプリケーション、または別のプログラムを含み得る。ユーザは、Ｉ／Ｏモジュール１１４を介してコンピューティングデバイス１００に結合されたキーボード、マウス、マイクロフォン、タッチパッドまたは別の入力デバイスなどの１つまたは複数の入力デバイス（図示せず）を介して、コンピューティングデバイス１００に入力を提供し得る。

【0031】

[0035] ＣＰＵ１０２上で実行するソフトウェアアプリケーションは、ＤＰＵ１０４およびＧＰＵ１０６に、フレームに混合するおよび組み合せるために、１つまたは複数の層（たとえば、グラフィックスデータ）を合成するように命令する、１つまたは複数のグラフィックスレンダリングおよび／または合成命令を含み得る。いくつかの例では、ソフトウェア命令は、たとえば、オープングラフィックスライブラリ（ＯｐｅｎＧＬ（登録商標））アプリケーションプログラミングインターフェース（ＡＰＩ）、オープングラフィックスライブラリ組込みシステム（ＯｐｅｎＧＬ ＥＳ）ＡＰＩ、Ｄｉｒｅｃｔ３Ｄ ＡＰＩ、ＤｉｒｅｃｔＸ ＡＰＩ、ＲｅｎｄｅｒＭａｎ ＡＰＩ、ＷｅｂＧＬ ＡＰＩ、あるいは任意の他の公開またはプロプライエタリグラフィックスＡＰＩなどのグラフィックスＡＰＩに準拠し得る。グラフィックス合成命令を処理するために、ＣＰＵ１０２は、ＤＰＵ１０４およびＧＰＵ１０６に１つまたは複数の層のレンダリングおよび／または合成の一部または全部を実施させるために、ＤＰＵ１０４およびＧＰＵ１０６に１つまたは複数のコマンドを発行し得る。

【0032】

[0036] 同様に、ＣＰＵ１０２は、ＤＰＵ１０４に、ＣＰＵ１０２上で稼働するアプリケーション、あるいはメモリまたはデジタルストレージ（たとえば、プロセッサメモリ１０８またはメモリモジュール１１６）から、画像および／またはビデオフレームおよび／または層を受信およびフェッチさせる、１つまたは複数の命令を含み得る。ＤＰＵ１０４は、フレームおよび層に対して１つまたは複数の画像処理動作を実施し、処理されたフレームを表示のためのディスプレイデバイスに出力し得る。そのような画像処理動作は、層合成、フォーマット変換、スケーリング、回転、ブレンディング、追加のグラフィックスを伴う画像の階層化などを含み得る。言い換えれば、ＤＰＵ１０４は、ビデオおよび／または画像データを取得し、ディスプレイデバイスのピクセルに、ビデオまたは画像を照明および表示させる値を出力し得る。

【0033】

[0037] コントローラモジュール１１２は、メモリモジュール１１６に入るおよびそれから出るデータの転送を容易にする。たとえば、コントローラモジュール１１２は、メモリ読取り要求とメモリ書込み要求とをＣＰＵ１０２、ＤＰＵ１０４、および／またはＧＰＵ１０６から受信し、コンピューティングデバイス１００中の構成要素にメモリサービスを提供するためにメモリモジュール１１６および／またはプロセッサメモリ１０８に関するそのような要求をサービスし得る。コントローラモジュール１１２は、メモリモジュール１１６とプロセッサメモリ１０８とに通信可能に結合される。コントローラモジュール１１２は、図１の例示的なコンピューティングデバイス１００では、ＣＰＵ１０２、プロセッサメモリ１０８、およびメモリモジュール１１６とは別である処理モジュールであるものとして示されているが、他の例では、コントローラモジュール１１２の機能の一部または全部は、ＣＰＵ１０２、ＤＰＵ１０４、ＧＰＵ１０６、プロセッサメモリ１０８、およびメモリモジュール１１６のうちの１つまたは複数上に実装され得る。

【0034】

[0038] メモリモジュール１１６およびプロセッサメモリ１０８は、コンピューティングデバイス１００中で実装されたコンピュータ可読記憶媒体である。メモリモジュール１１６は、フラッシュメモリなどの不揮発性記憶装置を、処理システム１２０、コントローラモジュール１１２、Ｉ／Ｏモジュール１１４、ならびに／またはシステム構成要素およびリソースモジュール１１８のうちの１つまたは複数に提供し得る。メモリモジュール１１６は、情報の一時的記憶を提供するための、キャッシュメモリとバッファとを含み得る。メモリモジュール１１６は、ＣＰＵ１０２による実行のためにアクセス可能であるプログラムモジュールおよび／または命令、ならびに／あるいはＣＰＵ１０２上で実行するプログラムによる使用のためのデータを記憶し得る。たとえば、メモリモジュール１１６は、ユーザアプリケーションと、グラフィックスデータとを記憶し得る。メモリモジュール１１６は、コンピューティングデバイス１００の他の構成要素による使用のための情報、および／またはそれらによって生成された情報をも記憶し得る。たとえば、メモリモジュール１１６は、ＧＰＵ１０６およびＤＰＵ１０４のためのデバイスメモリとして働き得、ＧＰＵ１０６およびＤＰＵ１０４によって演算されるべきデータ、ならびにＧＰＵ１０６およびＤＰＵ１０４によって実施される演算から生じるデータを記憶し得る。たとえば、メモリモジュール１１６は、パスデータ、パスセグメントデータ、表面、テクスチャバッファ、深度バッファ、セルバッファ、頂点バッファ、フレームバッファなどの任意の組合せを記憶し得る。さらに、メモリモジュール１１６は、ＧＰＵ１０６および／またはＤＰＵ１０４によって処理するためのコマンドストリームを記憶し得る。メモリモジュール１１６は、いくつかの態様では、プロセッサ１０２～１０６のうちの１つまたは複数の一部であるメモリを指し得ることに留意されたい。

【0035】

[0039] プロセッサメモリ１０８は、ＣＰＵ１０２、ＤＰＵ１０４、およびＧＰＵ１０６のうちの１つまたは複数によって使用される命令および／またはデータを含んでいることがある。プロセッサメモリ１０８は、他のメモリに対するキャッシュなど、処理システム１２０による使用のための専用のローカルメモリ、スクラッチパッドメモリ、または処理システム１２０を備えるＳｏＣ上のメモリであり得る。プロセッサメモリ１０８は、処理システム１２０による使用のための専用のＤＲＡＭメモリであり得る。

【0036】

[0040] Ｉ／Ｏモジュール１１４は、コンピューティングデバイス１００の外部のリソースと通信するために構成される。たとえば、Ｉ／Ｏモジュール１１４は、入出力インターフェース（たとえば、バスアーキテクチャまたは相互接続）、または特定の機能を実施するためのハードウェア設計（たとえば、メモリ、ワイヤレスデバイス、およびデジタル信号プロセッサ）を含む。いくつかの例では、Ｉ／Ｏモジュール１１４は、オフチップで配置されたメモリまたはデジタルストレージデバイス、プリンタ、ディスプレイデバイスなど、１つまたは複数の周辺デバイス１１８とインターフェースするための回路を含む。一例では、Ｉ／Ｏモジュール１１４は、フレームバッファ（たとえば、プロセッサメモリ１０８またはメモリモジュール１１６）から、レンダリングされた画像データを取り出すことと、画像データによって表された画像を表示するように、周辺ディスプレイデバイスを構成することとを行うように構成される。いくつかの例では、Ｉ／Ｏモジュール１１４は、フレームバッファから取り出されたデジタル値を、ディスプレイによって消費可能なアナログ信号に変換するように構成されたデジタルアナログ変換器（ＤＡＣ）を含み得る。他の例では、Ｉ／Ｏモジュール１１４は、処理のために、デジタル値をディスプレイに直接受け渡し得る。

【0037】

[0041] 説明されるように、１つまたは複数の周辺デバイス１１８は、ディスプレイデバイスまたは他のハードウェア構成要素（たとえば、プリンタ）を含み得る。ディスプレイデバイスは、モニタ、テレビジョン、投影デバイス、液晶ディスプレイ（ＬＣＤ）、プラズマディスプレイパネル、発光ダイオード（ＬＥＤ）アレイ、陰極線管（ＣＲＴ）ディスプレイ、電子ペーパー、表面伝導電子放出ディスプレイ（ＳＥＤ）、レーザーテレビジョンディスプレイ、ナノ結晶ディスプレイまたは別のタイプのディスプレイユニットを含み得る。いくつかの例では、そのようなディスプレイデバイスは、コンピューティングデバイス１００を格納するデバイス内に組み込まれ得る。たとえば、ディスプレイデバイスは、携帯電話ハンドセットまたはタブレットコンピュータのスクリーンであり得る。代替的に、ディスプレイデバイスは、ワイヤードまたはワイヤレス通信リンクを介してコンピューティングデバイスに結合されたスタンドアロンデバイスであり得る。たとえば、ディスプレイデバイスは、ケーブルまたはワイヤレスリンクを介してパーソナルコンピュータに接続されたコンピュータモニタまたはフラットパネルディスプレイであり得る。

【0038】

[0042] コンピューティングデバイス１００は、センサーデータ、アナログデジタル変換、ワイヤレスデータ送信を管理するための、および（たとえば、異なるデバイス間のインターオペラビリティをサポートする）他の特殊な動作を実施するための、システム構成要素およびリソースモジュール１１８を含む。システム構成要素およびリソースモジュール１１８は、電圧調節器、発振器、位相ロックループ、周辺ブリッジ、データコントローラ、システムコントローラ、アクセスポート、タイマー、およびコンピューティングデバイス上で稼働するプロセッサとソフトウェアクライアントとをサポートするために使用される他の同様の構成要素などの構成要素をも含み得る。システム構成要素およびリソース１１８は、カメラ、電子ディスプレイ、ワイヤレス通信デバイス、外部メモリチップなどの周辺デバイスとインターフェースするための回路をも含み得る。

【0039】

[0043] 以下でより詳細に説明されるように、コンピューティングデバイス１００は、本明細書で説明されるシステムおよび方法による、画像処理のために使用され得る。たとえば、ＣＰＵ１０２、ＤＰＵ１０４、ＧＰＵ１０６などの処理ユニットおよび／または任意の他の好適なプロセッサが、ディスプレイプロセッサユニット（ＤＰＵ）バッファに記憶された第１のフレームがハードウェア構成要素によって消費されたことを指示する第１のフェンスを受信するように構成され得る。第１のフェンスを受信することに応答して、プロセッサはまた、アプリケーションバッファから複数の層をフェッチし得、複数の層は第２のフレームに対応する。プロセッサはまた、第２のフレームの合成のために複数の層を処理するためにＤＰＵとグラフィックス処理ユニット（ＧＰＵ）の両方を使用することを決定し得る。複数の層を処理するためにＤＰＵとＧＰＵとを使用するという決定に基づいて、プロセッサは、ＤＰＵバッファから第１のフェンスをフェッチすること、および第２のフェンスを生成することを行い得る。プロセッサはまた、複数の層のサブセットから１つまたは複数の層を合成するためのＧＰＵプロセスを始動し得、ここにおいて、ＧＰＵプロセスは、第２のフェンスを生成することに応答して始動される。プロセッサはまた、第２のフレームを生成するために、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵプロセスを始動し得、ここにおいて、ＤＰＵプロセスは、第１のフェンスをフェッチすることに応答して始動される。プロセッサはまた、１つまたは複数の合成された層の完了を指示する第３のフェンスを受信し得る。第３のフェンスを受信することに応答して、プロセッサはまた、ＤＰＵプロセスによって、１つまたは複数の合成された層をフェッチすること、およびＤＰＵプロセスによって、１つまたは複数の合成された層と残りの層とに基づいて、第２のフレームを生成することを行い得る。プロセッサはまた、第２のフレームをハードウェア構成要素に提供し得る。

【0040】

[0044] 図２は、本開示のいくつかの態様による、例示的なディスプレイパイプライン（display pipeline）２００を示すブロック図である。いくつかの例では、ディスプレイパイプライン２００は、図１のコンピューティングデバイス１００、または任意の他の好適なコンピューティングシステム上に実装され得る。

【0041】

[0045] 以下でより詳細に説明されるように、例示的なディスプレイパイプライン２００は、フレーム処理中に、並列ＤＰＵおよびＧＰＵ動作を提供することによって、改善されたユーザエクスペリエンスと、低減された処理時間とを提供する。いくつかの例では、将来のＧＰＵフェンスおよび将来のＤＰＵフェンスは、ＧＰＵプロセスおよびＤＰＵプロセスを並列に始動および稼働するように実装され得る。本明細書で使用される「フェンス（fence）」は、バッファに対応するメモリ値（memory value）に関し得る。たとえば、フェンスは、特定のバッファがコンテンツ（たとえば、１つまたは複数の層、またはフレーム）をいつ含んでいるか、または特定のバッファのコンテンツがいつ消費されたか（たとえば、バッファが現在、再使用しても差しつかえないという指示）を指示するように構成され得る。いくつかの例では、ＤＰＵフェンスは、バッファが、フレーム、または１つまたは複数の層の合成をいつ含んでいるか、あるいはバッファがいつ空であり、使用の準備ができている（たとえば、フレームまたは合成が消費された）かを指示する。いくつかの例では、ＧＰＵフェンスは、特定のバッファが１つまたは複数の層の合成をいつ含んでいるか（たとえば、合成が完了したという指示）、または特定のバッファがいつ空であり、使用の準備ができているかを指示し得る。

【0042】

[0046] 図示のように、（「アプリケーション２０２」と総称される）１つまたは複数のアプリケーション２０２ａ～２０２ｎが、ＣＰＵ１０２上で実行され得、ディスプレイデータ（たとえば、表示のためのフレームのために合成されるべきである１つまたは複数の層）をウィンドウズ（登録商標）マネージャサービス（ＷＭＳ：windows manager service）２０４と通信し得る。ＷＭＳ２０４は、ハードウェア（ＨＷ）組成器２０８にデータを受け渡すことができる合成器（compositor）２０６と通信している。ＨＷ組成器２０８は、ディスプレイデバイス２１２とインターフェースするドライバ２１０（たとえば、直接レンダリングモジュール（ＤＲＭ：direct rendering module）ドライバおよび／またはカーネルレベルドライバ）に、データを受け渡すことができる。合成器２０６、ハードウェア組成器（hardware composer）２０８、およびドライバ２１０はすべて、フレーム処理システム２１４の一部であり、ＤＰＵ１０４およびＧＰＵ１０６など、図１のコンピューティングデバイス１００のハードウェアおよびソフトウェア態様を含み得る。

【0043】

[0047] 図２中の構成要素の図は、論理的であり、必ずしも、個別の構成要素の図であることを意図されるとは限らない。たとえば、図１中のＣＰＵ１０２、ＷＭＳ２０４、合成器２０６、ＨＷ組成器２０８、およびドライバ２１０の分割は、異なる機能を伝達することを意図されるが、２つまたはそれ以上のこれらの構成要素が構成体（たとえば、図１に示されているＤＰＵ１０４および／またはＧＰＵ１０６）に組み込まれ得ることが企図される。さらに、構成要素は、ハードウェア、ハードウェアに関連するソフトウェア、ファームウェア、またはそれらの組合せによって実現され得る。

【0044】

[0048] ＷＭＳ２０４は、概して、異なるソースからの層を管理することと、層がディスプレイ上にどのようにレイアウトされるべきであるかを決定することとを行うように機能する。合成器２０６は、概して、（１つまたは複数の）アプリケーション２０２によって生成された複数の層を管理する。必要ではないが、合成器２０６は、ＡＮＤＲＯＩＤ（登録商標）フレームワークのＳｕｒｆａｃｅＦｌｉｎｇｅｒモジュール（またはＳｕｒｆａｃｅＦｌｉｎｇｅｒモジュールの派生物）によって実現され得る。動作中、たとえば、レンダリングおよび合成されている独立した層とともに、多くの稼動しているアプリケーションがあり得る。合成器２０６は、ディスプレイ上に何が示されることになるかを決定し、必要に応じてオーバーレイを提供する。合成器２０６の役割の態様は、複数のソース（たとえば、（１つまたは複数の）アプリケーション２０２）からディスプレイデータのバッファを受け付け、後の表示のためにそれらを合成することである。ＨＷ組成器２０８は、ＤＰＵ１０４およびＧＰＵ１０６を使用して合成を実施するために、ハードウェア抽象化層（ＨＡＬ）として動作し得る。概して、合成器２０６は、バッファをコンピューティングデバイス上の利用可能なハードウェアとどのように合成するかを決定する。ＡＮＤＲＯＩＤベースのコンピューティングデバイスのコンテキストでは、ＨＷ組成器２０８は、ＡＮＤＲＯＩＤ ＨＷ組成器（またはそれの派生物）を使用して実現され得る。ドライバ２１０は、カーネルレベルドライバであり得、ディスプレイパイプライン２００の下にあるハードウェアを動作させるための、低レベルハードウェア固有命令を含んでいることがある。

【0045】

[0049] 図３は、本開示のいくつかの態様による、図２の合成器２０６と、ハードウェア組成器２０８と、ドライバ２１０とによって実施されるフレーム処理動作３００を示すブロック図である。図示のように、図３は、ディスプレイフレームを処理するための４つの段階、すなわち、（ｉ）フレームを準備する３０２段階と、（ｉｉ）フレームを組成する３０４段階と、（ｉｉｉ）フレームを提示する３０６段階と、（ｉｖ）ポスト合成（post composition）３０８段階とを含み、それらのすべては合成器２０６によって始動される。

【0046】

[0050] いくつかの態様では、フレーム処理動作３００の段階は、直列に実施される。たとえば、動作３００は、フレームを準備する３０２段階において始まり、次いで、フレームを準備する３０４段階の完了の後に、フレームを組成する３０４段階に進み得る。同様に、動作３００は、フレームを組成する３０４段階の完了の後に、フレームを提示する３０６段階に進み得る。動作３００の段階が循環的に実施され得ることに留意されたい。たとえば、動作３００が表示のための第１のフレームを生成し、第１のフレームがパネル（たとえば、ディスプレイデバイス）によって消費された後に、ＤＰＵ（たとえば、図１のＤＰＵ１０４）は、合成器２０６に、ＤＰＵバッファのコンテンツ（たとえば、第１のフレーム）が消費され、バッファが再使用の準備ができていることを指示するために、ＤＰＵフェンスを設定し得る。ＤＰＵフェンスが設定されると、合成器２０６は、１つまたは複数の層の新しいセットを使用して第２のフレームを生成するために、フレームを準備する３０２段階において、動作３００を始動し得る。

【0047】

[0051] フレームを準備する３０２段階において、合成器２０６は、コマンド３２６（たとえば、「ｐｒｅｓｅｎｔＯｒＶａｌｉｄａｔｅＤｉｓｐｌａｙ」コマンド）をハードウェア（ＨＷ）組成器２０８に送ることによって、フレームを準備するために動作３００を始動する。コマンドは、フレーム生成のために合成および／またはレンダリングされるべき層を含んでいるアプリケーションバッファを識別する情報と、フレーム生成中に使用されることになる（１つまたは複数の）ＤＰＵ／ＧＰＵフェンス対応するＤＰＵ／ＧＰＵバッファを識別する情報とを含み得る。コマンド３２６は、フレームのために処理されるべき層の数など、他のパラメータをも含み得る。

【0048】

[0052] コマンド３２６に応答して、ＨＷ組成器２０８は、合成決定（composition decision）３１０において、１つまたは複数の層のうちのどれがＧＰＵ１０６によって合成されるべきであるか、および／または１つまたは複数の層のうちのどれがＤＰＵ１０４によって合成されるべきであるかを決定し得る。合成決定３１０の一部として、ＨＷ組成器２０８は、ＨＷリソース３１２の限界を決定し得る。たとえば、ＨＷ組成器２０８は、合成するために、いくつの層がＤＰＵ１０４によってハンドリングされ得るかを決定し得る。ＤＰＵ１０４がハンドリングするには多すぎる層がある場合、余剰層は、合成するために、ＧＰＵ１０６に割り当てられ得る。したがって、ＨＷ組成器２０８は、いくつかの層（たとえば、層ｘおよび層ｙ）はＤＰＵ１０４によって合成されることになるが、他の層（たとえば、層ｗおよび層ｚ）はＧＰＵ１０６によって合成されなければならないと決定し得る。フレームを組成する３０４段階に関して以下でより詳細に説明されるように、ＧＰＵ１０６は、ＤＰＵ１０４によって実施される合成作業より前に、最初に、層ｘと層ｙとの合成を生成し得る。ＧＰＵ１０６は、次いで、合成層がいつ準備ができている（たとえば、ＧＰＵバッファが合成層を含んでいる）かを合成器２０６に知らせるＧＰＵフェンスを設定し、これは、その場合、ＤＰＵ１０４にそれの合成作業を始めるように促す。しかしながら、層の合成のそのような直列化は、ＧＰＵとＤＰＵとの間のアイドル時間を延長することがあり、フレームを生成するために必要とされる時間の量を延長することがある。

【0049】

[0053] 合成決定３１０中に、ドライバ２１０は、３１４において入出力制御（ＩＯＣＴＬ：input/output control）を検証し得る。たとえば、ドライバは、ＤＰＵ１０４およびＧＰＵ１０６によるハンドリングのために選択された層が、ＤＰＵ１０４およびＧＰＵ１０６ハードウェアによって実際にハンドリングされ得ることを保証し得る。言い換えれば、３１４においてＩＯＣＴＬを検証することは、層が、ＨＷ組成器２０８による層の割当ての後にＤＰＵ１０４およびＧＰＵ１０６によって処理され得ることを確認するループである。ＨＷ組成器２０８は、次いで、３２８において、層のうちのどれがＧＰＵ１０６によって合成されるべきであるか、および／または１つまたは複数の層のうちのどれがＤＰＵ１０４によって合成されるべきであるかを合成器２０６に提供することによって、コマンド３２６に応答し得る。

【0050】

[0054] 合成器２０６は、アプリケーションプログラミングインターフェース（ＡＰＩ）を使用して、ＧＰＵ１０６と通信し得る（たとえば、ＧＰＵ１０６をスケジュールし、ＧＰＵ１０６に、合成されるべき層を提供する）。たとえば、合成器は、オープングラフィックスライブラリ（ＯｐｅｎＧＬ）ＡＰＩを使用して、３１６において、ＧＰＵ合成をスケジュールし、テクスチャ、座標などをプログラムし得る。３１６においてスケジュールした後に、合成器２０６は、完了の後に（１つまたは複数の）合成層を記憶するためにＧＰＵ１０６によって使用されることになるＧＰＵバッファに対応するＧＰＵフェンスを、３１８においてフラッシュ（flush）するか、またはクリアし得る。ＧＰＵフェンスをクリアすることによって、ＧＰＵ１０６は、合成器２０６に、どのＧＰＵ１０６バッファが合成層を記憶するために使用されることになるか、および合成層がまだ完了していないことを指示する。

【0051】

[0055] ＧＰＵ１０６が合成層を完了すると、ＧＰＵ１０６は、ＧＰＵバッファに合成層を記憶し、合成層が完了したことを合成器２０６に指示するために、３２０において、ＧＰＵフェンスを設定する。合成器２０６は、フレームを提示する３０６段階を始動する前に、ＧＰＵフェンスが設定されるまで待ち得ることに留意されたい。したがって、タイミングに関して、合成器２０６は、ＧＰＵフェンスが設定されるまで、フレームを提示する３０６段階を開始しない。

【0052】

[0056] ＧＰＵフェンスが設定されると、合成器２０６は、次いで、フレームを提示する３０６段階を始動する。ここで、ＤＰＵ１０４は、残りの層の合成と、ＤＰＵ１０４とＧＰＵ１０６の両方によって生成された合成層を使用したフレームのレンダリングとを始める。いくつかの例では、合成器２０６は、ＤＰＵ１０４に合成およびレンダリング作業を始めるように促すコマンド３３０（たとえば、「ｐｒｅｓｅｎｔＤｉｓｐｌａｙ」）を、ＨＷ組成器２０８に送る。コマンド３３０は、ＧＰＵ１０６によって生成された合成された層を含んでいるＧＰＵバッファの識別情報を含み得、したがって、ＤＰＵ１０４はそれをフェッチすることができる。

【0053】

[0057] コマンド３３０に応答して、ＨＷ組成器２０８はまた、コミット（commit）する３２２プロセスを始動し得、ここにおいて、オーバーレイエンジンのプログラミングと、完了されたフレームをパネルに押し出すこととが実施される。コミットする３２２プロセス中に、ＨＷ組成器２０８は、ＤＰＵ１０４がフレームを完了する必要があるという、入力バッファ（たとえば、合成層を含んでいるＧＰＵバッファ）と入力フェンス（たとえば、対応するＧＰＵフェンス）とを識別する情報をドライバ２１０に提供し得る。ここで、ドライバ２１０は、ＩＯＣＴＬをコミットする３２４プロセスを実施し得、ここにおいて、ドライバ２１０は、入力バッファと入力フェンスとをＤＰＵ１０４に提供し、ドライバ２１０は、出力フェンスをＨＷ組成器２０８に提供し、ＨＷ組成器２０８は、それらを合成器２０６に受け渡す。いくつかの態様では、出力フェンスは、フレームが完了され、パネルに向けて押されたことを、合成器２０６に知らせる。いくつかの例では、出力フェンスは、ＤＰＵ１０４によって設定されたＤＰＵフェンスであり、次のフレームを準備する３０２段階の始動を指示するために、合成器２０６によって使用される。ポスト合成３０８段階において、フレームは、ディスプレイデバイスにおいて消費され、表示される。消費時に、ＤＰＵ１０４は、動作３００を再開することを合成器２０６に通知することになる出力フェンスを設定し（たとえば、１つまたは複数の層の別のセットのためにフレームを準備する３０２段階を始動し）得る。

【0054】

ＤＰＵおよびＧＰＵによる層の並列処理のための例示的な技法（Example Techniques for Parallel Processing of Layers by a DPU and a GPU）
[0058] 図３に示されているように、ＤＰＵ１０４およびＧＰＵ１０６による層の処理は、概して、直列化される。たとえば、ＤＰＵ１０４は、ＧＰＵが層合成を完了する（たとえば、１つまたは複数の層が合成され、ＧＰＵバッファに記憶され、ＧＰＵフェンスが、合成層の完了を合成器２０６に指示するように設定される）まで、層合成を実施しない。処理のこの直列化は、図４に示されているものなど、並列処理モデルに対して、層を処理するためにおよびフレームを生成するために、より長い時間ウィンドウを必要とする。

【0055】

[0059] 図４は、本開示のいくつかの態様による、図２の合成器２０６と、ハードウェア組成器２０８と、ドライバ２１０とによって実施されるフレーム処理動作４００を示すブロック図である。より詳細には、図４は、合成器２０６と、ＤＰＵ１０４とＧＰＵ１０６の両方との間の未来のフェンスおよびバッファ交換に基づく、統合および予想トランザクションモデルを示す。図４の動作は、並列処理を最大にし、ＧＰＵ１０６およびＤＰＵ１０４が層およびフレームを処理するために利用可能な時間を著しく増加させる。いくつかの態様では、未来のフェンスは、実際のハードウェアプログラミングの前に作成され、将来のフェンスは、後で、実際のハードウェア動作に関連する実際のフェンスに結びつけられる。いくつかの例では、未来のフェンスは、レガシーシステムと後方互換性がある、ポータブルオペレーティングシステムインターフェース（ＰＯＳＩＸ：portable operating system interface）メモリバリアおよびフェンス仕様の上に構築される。

【0056】

[0060] いくつかの態様では、動作４００は、より早期の同期イベントを未来のフェンスに変換するように構成された統合モードを利用する。たとえば、図３の、フレームを提示する３０６段階は、合成器２０６がＤＰＵ１０４をスケジュールするためのコマンド３３０を発行することができる前に、ＧＰＵ１０６が合成層を完了したことを指示するためのＧＰＵフェンスを合成器２０６が待っているので、フレームを組成する３０４段階の後に起こる。しかしながら、統合モードでは、ＨＷ組成器２０８は、それぞれ、どのＧＰＵバッファおよびＤＰＵバッファが、合成層およびフレームについて前に使用されたかを決定することができ、将来のＧＰＵフェンスおよび将来のＤＰＵフェンスを合成器２０６に提示することができ、したがって、合成器２０６は、フレームを処理するための並列命令をＤＰＵ１０４およびＧＰＵ１０６に提供することができる。ＤＰＵ１０４およびＧＰＵ１０６のための命令を並列化することによって、フレームを処理するための時間の量が著しく低減され得る。

【0057】

[0061] より詳細には、フレームを準備する４０２段階において合成器２０６によって受信された将来のＧＰＵフェンスは、ＧＰＵ１０６が依然としてそれの層を合成している間、およびＧＰＵ１０６が実際のＧＰＵフェンスを設定する前に、合成器２０６に、ＤＰＵ１０４が層を合成することを始動するための命令をＨＷ組成器２０８に送ることを行わせることになる。したがって、ＤＰＵ１０４とＧＰＵ１０６の両方は、並列に動作することができ、これは、ＧＰＵ１０６がそれ自体の割り当てられた層の合成を完了する間に、ＤＰＵ１０４が、それが割り当てられた層のＤＰＵ１０４の処理（たとえば、ＤＰＵ１０４の割り当てられた層を合成すること）を完了することができることを意味する。したがって、ＨＷ組成器２０８は、ＤＰＵ１０４およびＧＰＵ１０６が層合成のためにスケジュールされた後に、ならびにＤＰＵ１０４およびＧＰＵ１０６のいずれかがそれらの層合成およびフレーム処理を完了するより前に、将来のＤＰＵフェンスを生成し、それを合成器２０６に提供することができる。したがって、合成器２０６は、層の次のセットを合成することをスケジュールするために、ＤＰＵ１０４がフレーム処理を完了するまで待つことを、もはや必要とされない。これは、合成器２０６が、フレームを準備する４０２段階をはるかに早期に始動することを可能にし、また、合成器２０６が、フレームを組成する４０４段階を、ＨＷ組成器２０６のコミットする４２２段階と並列に実施することを可能にする。したがって、層およびフレーム処理についての低減された、時間の量が、ユーザエクスペリエンスならびにプロセッサ性能を改善する。動作４００のより詳細な説明は、以下の通りである。

【0058】

[0062] 最初に、合成器２０６は、第１のフレームの層の第１のセットについて、コミットする４２２プロシージャ中に、将来のＤＰＵフェンスをＨＷ組成器２０８から受信する。将来のＤＰＵフェンスに応答して、合成器２０６は、第２のフレームの層の第２のセットを合成するためにＧＰＵ１０６およびＤＰＵ１０４をスケジュールするためのコマンド４２６（たとえば、ｐｒｅｓｅｎｔＯｒＶａｌｉｄａｔｅＤｉｓｐｌａｙ）をＨＷ組成器２０８に送る。いくつかの態様では、フレームを準備する４０２段階において、合成器２０６は、ＧＰＵ１０６によって使用された前の（たとえば、キャッシュされた）フェンスに基づいて、将来のＧＰＵフェンスを生成する。キャッシュされたフェンスは、どのＧＰＵバッファが前に使用されたかを識別する情報を含み得る。いくつかの例では、合成器２０６は、キャッシュされたフェンスを将来のＧＰＵフェンスとして使用し、キャッシュされたフェンスに関する情報をコマンド４２６中に含め得る。

【0059】

[0063] コマンド４２６に応答して、ＨＷ組成器２０８は、図３に関して上記で説明されたように、合成決定４１０を実施し、ＨＷリソース４１２の限界を決定し得る。ドライバ２１０は、将来のＧＰＵフェンスが、ＤＰＵ１０４およびＧＰＵ１０６へのいくつかの層の引き渡し（committal）を検証するために、ＨＷ組成器２０８によって使用され得るので、ＩＯＣＴＬを検証する４１４段階を実施することを、もはや必要とされないことがあることに留意されたい。しかしながら、いくつかの態様では、ドライバ２１０は、ＩＯＣＴＬを検証する４１４段階を、フェイルセーフ機構として実施し得る。

【0060】

[0064] 合成決定４１０段階中に、ＨＷ組成器２０８は、将来のＤＰＵフェンスとして使用されるべきキャッシュされたＤＰＵフェンスをフェッチまたは受信し、どのＤＰＵバッファが将来のＤＰＵフェンスに関連するかを指示する情報とともに、将来のＤＰＵフェンスを合成器２０６に受け渡し得る。コマンド４２６に対する応答４２８中で、ＨＷ組成器２０８は、将来のＤＰＵフェンスと、どの層がＧＰＵ１０６によって処理されるべきであるか、およびどの層がＤＰＵ１０４によって処理されるべきであるかの指示とを合成器２０６に提供し得る。

【0061】

[0065] ここで、合成器２０６は、将来のＧＰＵフェンスを有し、どの層がＧＰＵ１０６によって処理されることになるか、およびどの層がＤＰＵ１０４よって処理されることになるかを知っているので、合成器２０６は、合成器２０６がフレームを組成する４０４段階を実施する間に、ＨＷ組成器２０８に、コミットする４２２プロセスとドライバ２１０によるＩＯＣＴＬをコミットする４２４プロセスとを始動するように命令することができる。したがって、合成器２０６が、４１６において、層合成のためにＧＰＵ１０６をスケジュールするとき、合成器２０６はまた、コミットする４２２プロセスを始めるためのコマンド４３０（たとえば、「ｐｒｅｓｅｎｔＤｉｓｐｌａｙ」）を、ＨＷ組成器２０８に送り得、ここにおいて、コマンド４３０は、将来のＧＰフェンスと、対応するＧＰＵバッファとの識別情報を含み得る。

【0062】

[0066] 上記で説明されたように、合成器２０６は、将来のＧＰＵフェンスに対応するＧＰＵバッファのＧＰＵフェンスを、４１８においてフラッシュするか、またはクリアする、に進み得る。ＧＰＵ１０６が、それが生成するようにスケジュールされていた合成層を完了すると、その層はＧＰＵバッファに記憶され、合成層の完了を合成器２０６に指示するために、４２０において実際のＧＰＵフェンスが設定される。ここで、将来のＧＰＵフェンスは、２つのもの、すなわち、合成器２０６が特定の時間期間の間待つようにとの指示（たとえば、ここで待ち、先へ）と、実際のＧＰＵフェンスがシグナリングされるとき、合成器２０６が特定のアクションを行うかまたは実施するようにとの指示とを提供し得る。いくつかの例では、動作（たとえば、動作４００）を実施するプロセッサにとって１秒または複数秒が比較的長い時間であるので、将来のＧＰＵフェンスの重みは１秒または複数秒であり得る。したがって、将来のＧＰＵフェンスは、実際のＧＰＵフェンスがシグナリングされるより前に満了しない可能性が最も高い、重みを与えられ得る。したがって、将来のＧＰＵフェンスは、実際のＧＰＵフェンスがシグナリングされるまで存在し、４１６においてＧＰＵ１０６をスケジュールするために使用されることになり、その時点において、将来のＧＰＵフェンスが実際のＧＰＵフェンスに結びつく（たとえば、それを置き換える）ことになる。

【0063】

[0067] 合成器（compositor）２０６は、次いで、実際のＧＰＵフェンスと、対応するＧＰＵバッファの指示（indication）とをＨＷ組成器２０８に受け渡し得、したがって、ＤＰＵ１０４は、ＧＰＵ１０６によって合成された層をフェッチし、第２のフレームを完了することができる。ここで、ＤＰＵ１０４は、ＧＰＵ１０６がそれの合成された層を完了するより前に、層を合成し始めたので、ＤＰＵ１０４は、比較的すぐに第２のフレームを完了することができる。第２のフレームが完了されると、ドライバ２１０は、実際のＤＰＵフェンスと第２のフレームを含んでいる対応するＤＰＵバッファとをＨＷ組成器２０８に提供し得る。将来のＧＰＵフェンスと同様に、実際のＤＰＵフェンスは、将来のＤＰＵフェンスに結びつき得る。したがって、その後、層の第３のセットが第３のフレームのために受信されたとき、ＨＷ組成器２０８は、第３のフレームのための将来のＤＰＵフェンスとして、第２のフレームのために使用されたキャッシュされた実際のＤＰＵフェンスを利用し得る。動作４００は、次いで、第２のフレームについての、フレームを提示する４０６ステップと、ポスト合成４０８ステップとに進み得る。

【0064】

[0068] 図５は、表示のためのフレームを生成するための例示的な動作５００を示すフローチャートである。本開示の範囲内のいくつかの態様では、動作５００は、汎用プロセッサ、または上記で説明され、図１に示されている処理システム１２０におけるプロセッサのうちのいずれか１つまたは複数、または説明される機能を行うための他の好適な手段によって動作可能であり得る。図５に示されているステップまたはブロックの特定の順序は、本質的に例示的であり、本開示の様々な態様では、これらのステップまたはブロックは、任意の好適な順序で行われ得、いくつかの例は、同時に行われる２つまたはそれ以上のステップまたはブロックを含む。

【0065】

[0069] この例では、動作５００は、ディスプレイプロセッサユニット（ＤＰＵ）バッファに記憶された第１のフレームがハードウェア構成要素によって消費されたことを指示する第１のフェンスを受信することによる、第１のブロック５０２において開始する。

【0066】

[0070] 動作５００は、次いで、第１のフェンスを受信することに応答して、アプリケーションバッファから複数の層をフェッチすること、複数の層が第２のフレームに対応する、による、ブロック５０４に進む。

【0067】

[0071] 動作５００は、次いで、第２のフレームの合成のために複数の層を処理するためにＤＰＵとグラフィックス処理ユニット（ＧＰＵ）の両方を使用することを決定することによる、ブロック５０６に進む。

【0068】

[0072] 動作５００は、次いで、複数の層を処理するためにＤＰＵとＧＰＵとを使用するという決定に基づいて、ＤＰＵバッファから第１のフェンスをフェッチすること、および第２のフェンスを生成することによる、ブロック５０８に進む。

【0069】

[0073] 動作５００は、次いで、複数の層のサブセットから１つまたは複数の層を合成するためのＧＰＵプロセスを始動すること、ＧＰＵプロセスが、第２のフェンスを生成することに応答して始動される、による、ブロック５１０に進む。

【0070】

[0074] 動作５００は、次いで、第２のフレームを生成するために、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵプロセスを始動すること、ＤＰＵプロセスが、第１のフェンスをフェッチすることに応答して始動される、による、ブロック５１２に進む。

【0071】

[0075] 動作５００は、次いで、１つまたは複数の合成された層の完了を指示する第３のフェンスを受信することによる、ブロック５１４に進む。

【0072】

[0076] 動作５００は、次いで、第３のフェンスを受信することに応答して、ＤＰＵプロセスによって、１つまたは複数の合成された層をフェッチすること、およびＤＰＵプロセスによって、１つまたは複数の合成された層と残りの層とに基づいて、第２のフレームを生成することを行うことによる、ブロック５１６に進む。

【0073】

[0077] 動作５００は、次いで、第２のフレームをハードウェア構成要素に提供することによる、ブロック５１８に進む。

【0074】

[0078] いくつかの態様では、ＧＰＵプロセスを始動することは、ＧＰＵプロセスより前に、１つまたは複数の層を合成するためのＧＰＵパラメータを構成することを備え、ＤＰＵプロセスを始動することは、ＤＰＵプロセスより前に、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵパラメータを構成することを備える。

【0075】

[0079] いくつかの態様では、第２のフェンスは、１つまたは複数の層を合成することが保留中である期間（period）を指示する持続時間（time duration）を備え、第３のフェンスは、期間を中断することと、１つまたは複数の層を合成することを始動することとを行うように構成される。

【0076】

[0080] いくつかの態様では、第２のフレームの合成のために複数の層を処理するためにＤＰＵとＧＰＵの両方を使用することを決定することは、複数の層のうちのどれが複数の層のサブセットを形成するかを決定することをさらに備える。

【0077】

[0081] いくつかの態様では、第２のフレームを生成することは、第２のフレームをＤＰＵバッファに記憶することと、ＤＰＵによる第２のフレームの解放（release）を指示する第４のフェンス（fourth fence）を設定することとをさらに備える。

【0078】

[0082] いくつかの態様では、第１のフェンスは、ＤＰＵによる第１のフレームの解放を指示する、ＤＰＵによって設定されたメモリ値である。

【0079】

[0083] いくつかの態様では、第３のフェンスは、ＤＰＵプロセスを始動する間に受信される。

【0080】

[0084] いくつかの態様では、１つまたは複数の合成された層の完了を指示する第３のフェンスを受信することは、１つまたは複数の合成された層を含んでいる１つまたは複数のＧＰＵバッファの指示を受信することをさらに備え、１つまたは複数の合成された層をフェッチすることは、１つまたは複数のＧＰＵバッファから１つまたは複数の合成された層をフェッチすることをさらに備える。

【0081】

例示的な態様（Example Aspects）
[0085] 実装例が、以下の番号付けされた条項において説明される。

【0082】

[0086] １．フレームを生成するための方法であって、ディスプレイプロセッサユニット（ＤＰＵ）バッファに記憶された第１のフレームがハードウェア構成要素によって消費されたことを指示する第１のフェンスを受信することと、第１のフェンスを受信することに応答して、アプリケーションバッファから複数の層をフェッチすることと、複数の層が第２のフレームに対応する、第２のフレームの合成のために複数の層を処理するためにＤＰＵとグラフィックス処理ユニット（ＧＰＵ）の両方を使用することを決定することと、複数の層を処理するためにＤＰＵとＧＰＵとを使用するという決定に基づいて、ＤＰＵバッファから第１のフェンスをフェッチすること、および第２のフェンスを生成することと、複数の層のサブセットから１つまたは複数の層を合成するためのＧＰＵプロセスを始動することと、ＧＰＵプロセスが、第２のフェンスを生成することに応答して始動される、第２のフレームを生成するために、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵプロセスを始動することと、ＤＰＵプロセスが、第１のフェンスをフェッチすることに応答して始動される、１つまたは複数の合成された層の完了を指示する第３のフェンスを受信することと、第３のフェンスを受信することに応答して、ＤＰＵプロセスによって、１つまたは複数の合成された層をフェッチすること、およびＤＰＵプロセスによって、１つまたは複数の合成された層と残りの層とに基づいて、第２のフレームを生成することと、第２のフレームをハードウェア構成要素に提供することとを備える、方法。

【0083】

[0087] ２．ＧＰＵプロセスを始動することが、ＧＰＵプロセスより前に、１つまたは複数の層を合成するためのＧＰＵパラメータを構成することを備え、ＤＰＵプロセスを始動することが、ＤＰＵプロセスより前に、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵパラメータを構成することを備える、態様１に記載の方法。

【0084】

[0088] ３．第２のフェンスは、１つまたは複数の層を合成することが保留中である期間を指示する持続時間を備え、第３のフェンスが、期間を中断することと、１つまたは複数の層を合成することを始動することとを行うように構成された、態様１および２のいずれかに記載の方法。

【0085】

[0089] ４．第２のフレームの合成のために複数の層を処理するためにＤＰＵとＧＰＵの両方を使用することを決定することは、複数の層のうちのどれが複数の層のサブセットを形成するかを決定することをさらに備える、態様１から３のいずれかに記載の方法。

【0086】

[0090] ５．第２のフレームを生成することが、第２のフレームをＤＰＵバッファに記憶することと、ＤＰＵによる第２のフレームの解放を指示する第４のフェンスを設定することとをさらに備える、態様１から４のいずれかに記載の方法。

【0087】

[0091] ６．第１のフェンスが、ＤＰＵによる第１のフレームの解放を指示する、ＤＰＵによって設定されたメモリ値である、態様１から５のいずれかに記載の方法。

【0088】

[0092] ７．第３のフェンスが、ＤＰＵプロセスを始動する間に受信される、態様１から６のいずれかに記載の方法。

【0089】

[0093] ８．１つまたは複数の合成された層の完了を指示する第３のフェンスを受信することが、１つまたは複数の合成された層を含んでいる１つまたは複数のＧＰＵバッファの指示を受信することをさらに備え、１つまたは複数の合成された層をフェッチすることが、１つまたは複数のＧＰＵバッファから１つまたは複数の合成された層をフェッチすることをさらに備える、態様１から７のいずれかに記載の方法。

【0090】

[0094] ９．フレームを生成するために構成された装置であって、装置が、メモリと、メモリに結合されたプロセッサとを備え、プロセッサおよびメモリは、ディスプレイプロセッサユニット（ＤＰＵ）バッファに記憶された第１のフレームがハードウェア構成要素によって消費されたことを指示する第１のフェンスを受信することと、第１のフェンスを受信することに応答して、アプリケーションバッファから複数の層をフェッチすることと、複数の層が第２のフレームに対応する、第２のフレームの合成のために複数の層を処理するためにＤＰＵとグラフィックス処理ユニット（ＧＰＵ）の両方を使用することを決定することと、複数の層を処理するためにＤＰＵとＧＰＵとを使用するという決定に基づいて、ＤＰＵバッファから第１のフェンスをフェッチすること、および第２のフェンスを生成することと、複数の層のサブセットから１つまたは複数の層を合成するためのＧＰＵプロセスを始動することと、ＧＰＵプロセスが、第２のフェンスを生成することに応答して始動される、第２のフレームを生成するために、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵプロセスを始動することと、ＤＰＵプロセスが、第１のフェンスをフェッチすることに応答して始動される、１つまたは複数の合成された層の完了を指示する第３のフェンスを受信することと、第３のフェンスを受信することに応答して、ＤＰＵプロセスによって、１つまたは複数の合成された層をフェッチすること、およびＤＰＵプロセスによって、１つまたは複数の合成された層と残りの層とに基づいて、第２のフレームを生成することと、第２のフレームをハードウェア構成要素に提供することとを行うように構成された、装置。

【0091】

[0095] １０．ＧＰＵプロセスを始動するように構成された、プロセッサおよびメモリが、ＧＰＵプロセスより前に、１つまたは複数の層を合成するためのＧＰＵパラメータを決定するようにさらに構成され、ＤＰＵプロセスを始動するように構成された、プロセッサおよびメモリが、ＤＰＵプロセスより前に、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵパラメータを決定するようにさらに構成された、態様９に記載の装置。

【0092】

[0096] １１．第２のフェンスは、１つまたは複数の層を合成することが保留中である期間を指示する持続時間を備え、第３のフェンスが、期間を中断することと、１つまたは複数の層を合成することを始動することとを行うように構成された、態様９および１０のいずれかに記載の装置。

【0093】

[0097] １２．第２のフレームの合成のために複数の層を処理するためにＤＰＵとＧＰＵの両方を使用することを決定するように構成された、プロセッサおよびメモリは、複数の層のうちのどれが複数の層のサブセットを形成するかを決定するようにさらに構成された、態様９から１１のいずれかに記載の装置。

【0094】

[0098] １３．第２のフレームを生成するように構成された、プロセッサおよびメモリが、第２のフレームをＤＰＵバッファに記憶することと、ＤＰＵによる第２のフレームの解放を指示する第４のフェンスを設定することとを行うようにさらに構成された、態様９から１２のいずれかに記載の装置。

【0095】

[0099] １４．第１のフェンスが、ＤＰＵによる第１のフレームの解放を指示する、ＤＰＵによって設定されたメモリ値である、態様９から１３のいずれかに記載の装置。

【0096】

[0100] １５．第３のフェンスが、ＤＰＵプロセスを始動する間に受信される、態様９から１４のいずれかに記載の装置。

【0097】

[0101] １６．１つまたは複数の合成された層の完了を指示する第３のフェンスを受信するように構成された、プロセッサおよびメモリが、１つまたは複数の合成された層を含んでいる１つまたは複数のＧＰＵバッファの指示を受信するようにさらに構成され、１つまたは複数の合成された層をフェッチするように構成された、プロセッサおよびメモリが、１つまたは複数のＧＰＵバッファから１つまたは複数の合成された層をフェッチするようにさらに構成された、態様９から１５のいずれかに記載の装置。

【0098】

[0102] １７．フレームを生成するための装置であって、装置は、ディスプレイプロセッサユニット（ＤＰＵ）バッファに記憶された第１のフレームがハードウェア構成要素によって消費されたことを指示する第１のフェンスを受信するための手段と、第１のフェンスを受信することに応答して、アプリケーションバッファから複数の層をフェッチするための手段と、複数の層が第２のフレームに対応する、第２のフレームの合成のために複数の層を処理するためにＤＰＵとグラフィックス処理ユニット（ＧＰＵ）の両方を使用することを決定するための手段と、複数の層を処理するためにＤＰＵとＧＰＵとを使用するという決定に基づいて、ＤＰＵバッファから第１のフェンスをフェッチするための手段と、複数の層を処理するためにＤＰＵとＧＰＵとを使用するという決定に基づいて、第２のフェンスを生成するための手段と、第２のフェンスを生成することに応答して、複数の層のサブセットから１つまたは複数の層を合成するためのＧＰＵプロセスを始動するための手段と、第２のフレームを生成するために、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵプロセスを始動するための手段と、ＤＰＵプロセスが、第１のフェンスをフェッチすることに応答して始動される、１つまたは複数の合成された層の完了を指示する第３のフェンスを受信するための手段と、第３のフェンスを受信することに応答して、ＤＰＵプロセスによって、１つまたは複数の合成された層をフェッチするための手段と、第３のフェンスを受信することに応答して、ＤＰＵプロセスによって、１つまたは複数の合成された層と残りの層とに基づいて、第２のフレームを生成するための手段と、第２のフレームをハードウェア構成要素に提供するための手段とを備える、装置。

【0099】

[0103] １８．ＧＰＵプロセスを始動するための手段が、ＧＰＵプロセスより前に、１つまたは複数の層を合成するためのＧＰＵパラメータを構成するための手段を備え、ＤＰＵプロセスを始動するための手段が、ＤＰＵプロセスより前に、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵパラメータを構成するための手段を備える、態様１７に記載の装置。

【0100】

[0104] １９．第２のフェンスは、１つまたは複数の層を合成することが保留中である期間を指示する持続時間を備え、第３のフェンスが、期間を中断することと、１つまたは複数の層を合成することを始動することとを行うように構成された、態様１７および１８のいずれかに記載の装置。

【0101】

[0105] ２０．第２のフレームの合成のために複数の層を処理するためにＤＰＵとＧＰＵの両方を使用することを決定するための手段は、複数の層のうちのどれが複数の層のサブセットを形成するかを決定するための手段をさらに備える、態様１７から１９のいずれかに記載の装置。

【0102】

[0106] ２１．第２のフレームを生成するための手段が、第２のフレームをＤＰＵバッファに記憶するための手段と、ＤＰＵによる第２のフレームの解放を指示する第４のフェンスを設定するための手段とをさらに備える、態様１７から２０のいずれかに記載の装置。

【0103】

[0107] ２２．第１のフェンスが、ＤＰＵによる第１のフレームの解放を指示する、ＤＰＵによって設定されたメモリ値である、態様１７から２１のいずれかに記載の装置。

【0104】

[0108] ２３．ＤＰＵプロセスを始動する間に第３のフェンスを受信するための手段をさらに備える、態様１７から２２のいずれかに記載の装置。

【0105】

[0109] ２４．１つまたは複数の合成された層の完了を指示する第３のフェンスを受信するための手段が、１つまたは複数の合成された層を含んでいる１つまたは複数のＧＰＵバッファの指示を受信するための手段をさらに備え、１つまたは複数の合成された層をフェッチするための手段が、１つまたは複数のＧＰＵバッファから１つまたは複数の合成された層をフェッチするための手段をさらに備える、態様１７から２３のいずれかに記載の装置。

【0106】

[0110] ２５．フレームを生成するための方法を実施するための命令を記憶した非一時的コンピュータ可読記憶媒体であって、方法は、ディスプレイプロセッサユニット（ＤＰＵ）バッファに記憶された第１のフレームがハードウェア構成要素によって消費されたことを指示する第１のフェンスを受信することと、第１のフェンスを受信することに応答して、アプリケーションバッファから複数の層をフェッチすることと、複数の層が第２のフレームに対応する、第２のフレームの合成のために複数の層を処理するためにＤＰＵとグラフィックス処理ユニット（ＧＰＵ）の両方を使用することを決定することと、複数の層を処理するためにＤＰＵとＧＰＵとを使用するという決定に基づいて、ＤＰＵバッファから第１のフェンスをフェッチすること、および第２のフェンスを生成することと、複数の層のサブセットから１つまたは複数の層を合成するためのＧＰＵプロセスを始動することと、ＧＰＵプロセスが、第２のフェンスを生成することに応答して始動される、第２のフレームを生成するために、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵプロセスを始動することと、ＤＰＵプロセスが、第１のフェンスをフェッチすることに応答して始動される、１つまたは複数の合成された層の完了を指示する第３のフェンスを受信することと、第３のフェンスを受信することに応答して、ＤＰＵプロセスによって、１つまたは複数の合成された層をフェッチすること、およびＤＰＵプロセスによって、１つまたは複数の合成された層と残りの層とに基づいて、第２のフレームを生成することと、第２のフレームをハードウェア構成要素に提供することとを備える、非一時的コンピュータ可読記憶媒体。

【0107】

[0111] ２６．ＧＰＵプロセスを始動することが、ＧＰＵプロセスより前に、１つまたは複数の層を合成するためのＧＰＵパラメータを構成することを備え、ＤＰＵプロセスを始動することが、ＤＰＵプロセスより前に、複数の層のうちの残りの層と１つまたは複数の合成された層とを合成するためのＤＰＵパラメータを構成することを備える、態様２５に記載の非一時的コンピュータ可読記憶媒体。

【0108】

[0112] ２７．第２のフェンスは、１つまたは複数の層を合成することが保留中である期間を指示する持続時間を備え、第３のフェンスが、期間を中断することと、１つまたは複数の層を合成することを始動することとを行うように構成された、態様２５および２６に記載の非一時的コンピュータ可読記憶媒体。

【0109】

[0113] ２８．第２のフレームの合成のために複数の層を処理するためにＤＰＵとＧＰＵの両方を使用することを決定することは、複数の層のうちのどれが複数の層のサブセットを形成するかを決定することをさらに備える、態様２５から２７のいずれかに記載の非一時的コンピュータ可読記憶媒体。

【0110】

[0114] ２９．第２のフレームを生成することが、第２のフレームをＤＰＵバッファに記憶することと、ＤＰＵによる第２のフレームの解放を指示する第４のフェンスを設定することとをさらに備える、態様２５から２８のいずれかに記載の非一時的コンピュータ可読記憶媒体。

【0111】

[0115] ３０．第１のフェンスが、ＤＰＵによる第１のフレームの解放を指示する、ＤＰＵによって設定されたメモリ値である、態様２５から２９のいずれかに記載の非一時的コンピュータ可読記憶媒体。

【0112】

追加の考慮事項（Additional Considerations）
[0116] いくつかの構成では、「通信する」、「通信すること」、および／または「通信」という（１つまたは複数の）用語は、本開示の範囲から必ずしも逸脱することなしに、「受信する」、「受信すること」、「受信」、および／あるいは他の関係するまたは好適な態様を指し得る。いくつかの構成では、「通信する」、「通信すること」、および／または「通信」という（１つまたは複数の）用語は、本開示の範囲から必ずしも逸脱することなしに、「送信する」、「送信すること」、「送信」、および／あるいは他の関係するまたは好適な態様を指し得る。

【0113】

[0117] 本開示内で、「例示的」という単語は、「例、事例、または例示として働くこと」を意味するために使用される。「例示的」として本明細書で説明されたいかなる実装形態または態様も、必ずしも本開示の他の態様よりも好ましいまたは有利であると解釈されるべきであるとは限らない。同様に、「態様」という用語は、本開示のすべての態様が、説明される特徴、利点、または動作モードを含むことを必要としない。「結合される」という用語は、本明細書では、２つの物体間の直接または間接的結合を指すために使用される。たとえば、物体Ａが物体Ｂに物理的に接触し、物体Ｂが物体Ｃに接触する場合、物体Ａおよび物体Ｃは、それらが互いに直接物理的に接触しない場合でも、やはり互いに結合されていると見なされ得る。たとえば、第１の物体が第２の物体と決して直接物理的に接触しなくても、第１の物体は第２の物体に結合され得る。「回路（circuit）」および「回路（circuitry）」という用語は、広く使用され、接続および構成されたとき、本開示で説明された機能の実施を可能にする電気デバイスおよび導体の両方のハードウェア実装形態を含むものとする。

【0114】

[0118] 本明細書に示されている構成要素、ステップ、特徴および／または機能のうちの１つまたは複数は、単一の構成要素、ステップ、特徴または機能に再構成され、および／または組み合わせられるか、あるいはいくつかの構成要素、ステップ、または機能で実施され得る。また、本明細書で開示される新規の特徴から逸脱することなく追加の要素、構成要素、ステップ、および／または機能が追加され得る。本明細書に示されている装置、デバイス、および／または構成要素は、本明細書で説明された方法、特徴、またはステップのうちの１つまたは複数を実施するように構成され得る。本明細書で説明された新規のアルゴリズムはまた、効率的にソフトウェアで実装されおよび／またはハードウェアに組み込まれ得る。

【0115】

[0119] 開示される方法におけるステップの特定の順序または階層は、例示的なプロセスの一例であることを理解されたい。設計上の選好に基づいて、本方法におけるステップの特定の順序または階層は並べ替えられ得ることを理解されたい。添付の方法クレームは、様々なステップの要素を例示的な順序で提示しており、方法クレーム中で特に具陳されていない限り、提示された特定の順序または階層に限定されるものではない。

【0116】

[0120] 以上の説明は、どんな当業者でも本明細書で説明された様々な態様を実践できるようにするために提供される。これらの態様への様々な修正は当業者には容易に明らかであり、本明細書で定義された一般原理は他の態様に適用され得る。したがって、特許請求の範囲は、本明細書に示された態様に限定されるものではなく、特許請求の範囲の言い回しに矛盾しない全範囲を与えられるべきであり、ここにおいて、単数形の要素への言及は、そのように明記されていない限り、「唯一無二の」を意味するものではなく、「１つまたは複数の」を意味するものである。別段に明記されていない限り、「いくつか（some）」という用語は１つまたは複数を指す。項目のリスト「のうちの少なくとも１つ」を指す句は、単一のメンバーを含む、それらの項目の任意の組合せを指す。一例として、「ａ、ｂ、またはｃのうちの少なくとも１つ」は、ａ、ｂ、ｃ、ａおよびｂ、ａおよびｃ、ｂおよびｃ、ならびにａ、ｂおよびｃを包含するものとする。当業者に知られている、または後に知られることになる、本開示全体にわたって説明された様々な態様の要素のすべての構造的および機能的等価物は、参照により本明細書に明確に組み込まれ、特許請求の範囲に包含されるものである。その上、本明細書で開示されるいかなることも、そのような開示が特許請求の範囲に明示的に具陳されているかどうかにかかわらず、公に供されるものではない。いかなるクレーム要素も、その要素が「ための手段」という句を使用して明確に具陳されていない限り、または方法クレームの場合には、その要素が「ためのステップ」という句を使用して、または図に示されている単に「ブロック」として具陳されていない限り、米国特許法第１１２条（ｆ）の規定の下で解釈されるべきではない。

【0117】

[0121] 発明を実施するための形態において説明されたこれらの装置および方法は、（「要素」と総称される）様々なブロック、モジュール、構成要素、回路、ステップ、プロセス、アルゴリズムなどによって添付の図面に示されている。これらの要素は、ハードウェア、ソフトウェア、またはそれらの組合せを使用して実装され得る。そのような要素がハードウェアとして実装されるのかソフトウェアとして実装されるのかは、特定の適用例および全体的なシステムに課される設計制約に依存する。

【0118】

[0122] 例として、要素、または要素の任意の部分、または要素の任意の組合せが、１つまたは複数のプロセッサを含む「処理システム」を用いて実装され得る。プロセッサの例は、マイクロプロセッサ、マイクロコントローラ、デジタル信号プロセッサ（ＤＳＰ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、プログラマブル論理デバイス（ＰＬＤ）、状態機械、ゲート論理、個別ハードウェア回路、および本開示全体にわたって説明される様々な機能を実施するように構成された他の好適なハードウェアを含む。処理システム中の１つまたは複数のプロセッサはソフトウェアを実行し得る。ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語などの名称にかかわらず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ファームウェア、ルーチン、サブルーチン、オブジェクト、実行ファイル、実行スレッド、プロシージャ、関数などを意味すると広く解釈されたい。ソフトウェアは、処理システム中に含まれる非一時的コンピュータ可読媒体上に記憶され得る。

【0119】

[0123] したがって、１つまたは複数の例では、説明される機能は、ハードウェア、ソフトウェア、またはそれらの組合せで実装され得る。ソフトウェアで実装される場合、機能は、コンピュータ可読媒体上に記憶されるか、あるいはコンピュータ可読媒体上に１つもしくは複数の命令またはコードとして符号化され得る。コンピュータ可読媒体は、コンピュータ記憶媒体を含む。記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体であり得る。限定ではなく例として、そのようなコンピュータ可読媒体は、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ（登録商標）、ＰＣＭ（相変化メモリ）、フラッシュメモリ、ＣＤ－ＲＯＭまたは他の光ディスクストレージ、磁気ディスクストレージ、または他の磁気ストレージデバイス、あるいは命令またはデータ構造の形態の所望のプログラムコードを搬送または記憶するために使用され得、コンピュータによってアクセスされ得る、任意の他の媒体を備えることができる。本明細書で使用されるディスク（disk）およびディスク（disc）は、コンパクトディスク（disc）（ＣＤ）、レーザーディスク（登録商標）（disc）、光ディスク（disc）、デジタル多用途ディスク（disc）（ＤＶＤ）、フロッピー（登録商標）ディスク（disk）およびＢｌｕ－ｒａｙ（登録商標）ディスク（disc）を含み、ここで、ディスク（disk）は、通常、データを磁気的に再生し、ディスク（disc）は、データをレーザーで光学的に再生する。上記の組合せもコンピュータ可読媒体の範囲内に含まれるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】