特許 5707402 画面合成装置及び画面合成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5707402

(24)【登録日】2015年3月6日

(45)【発行日】2015年4月30日

(54)【発明の名称】画面合成装置及び画面合成方法

(51)【国際特許分類】

   H04N 5/272 20060101AFI20150409BHJP

   G09G 5/377 20060101ALI20150409BHJP

   G09G 5/00 20060101ALI20150409BHJP

   G06F 3/14 20060101ALI20150409BHJP

【ＦＩ】

   H04N5/272

   G09G5/36 520L

   G09G5/00 530M

   G06F3/14 310A

【請求項の数】11

【全頁数】30

(21)【出願番号】特願2012-523513(P2012-523513)

(86)(22)【出願日】2011年6月22日

(86)【国際出願番号】JP2011003569

(87)【国際公開番号】WO2012004942

(87)【国際公開日】20120112

【審査請求日】2014年3月4日

(31)【優先権主張番号】特願2010-153987(P2010-153987)

(32)【優先日】2010年7月6日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】514136668

【氏名又は名称】パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ

【氏名又は名称原語表記】Ｐａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ

(74)【代理人】

【識別番号】100105050

【弁理士】

【氏名又は名称】鷲田 公一

(72)【発明者】

【氏名】岡 敏夫

【審査官】 鈴木 明

(56)【参考文献】

【文献】 特開２００６−３０１０２９（ＪＰ，Ａ）

【文献】 特開２００３−２９８９３８（ＪＰ，Ａ）

【文献】 特開２０００−３０５５４３（ＪＰ，Ａ）

【文献】 特開平０９−１８０４１２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２６２−５／２７８

Ｇ０６Ｆ ３／１４

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３７７

(57)【特許請求の範囲】

【請求項1】

入力される表示レイヤを第１のフレームに合成する第１の合成手段と、
入力される表示レイヤを第２のフレームに合成する第２の合成手段と、
前記第１のフレーム及び前記第２のフレームを合成し、表示画面を生成する合成出力手段と、
前記第１のフレームを合成先候補とする第１の表示レイヤ及び前記第２のフレームを合成先候補とする第２の表示レイヤを含む複数の表示レイヤを入力とし、前記複数の表示レイヤのうち、判定対象の表示レイヤを、前記判定対象の表示レイヤと前記判定対象の表示レイヤに対応する判定基準領域との位置関係を示すレイアウト情報、及び、前記第１のフレーム及び前記第２のフレームのそれぞれの合成処理コストに基づいて、前記第１のフレーム及び前記第２のフレームのいずれに合成するかを判定する判定手段と、
を具備する画面合成装置。

【請求項2】

前記合成処理コストは、前記第１のフレーム及び前記第２のフレームのそれぞれにおいて、合成処理にかかる計算時間、合成処理にかかる計算量、合成処理に必要なメモリアクセス時間、又は、合成処理に必要なメモリアクセス回数である、
請求項１記載の画面合成装置。

【請求項3】

前記第１の表示レイヤは基準レイヤよりも階層順序が上層の表示レイヤであり、前記第２の表示レイヤは前記基準レイヤよりも階層順序が下層の表示レイヤであり、
前記合成出力手段は、前記基準レイヤよりも上層で事前合成される表示レイヤから成る前記第１のフレームと、基準レイヤと、前記基準レイヤよりも下層で事前合成される表示レイヤから成る前記第２のフレームと、を合成し、
前記判定手段は、
前記判定対象の表示レイヤの領域と、前記基準レイヤを含む判定基準領域とに共通部分がある場合、前記判定対象の表示レイヤを、前記第１の合成手段及び前記第２の合成手段のうち、前記判定対象の表示レイヤの合成先候補のフレームに合成すると判定し、
前記判定対象の表示レイヤの領域と前記判定基準領域とに共通部分が無い場合、前記判定対象の表示レイヤを、前記第１の合成手段及び前記第２の合成手段のうち、前記合成処理コストがより低いフレームに合成すると判定する、
請求項１記載の画面合成装置。

【請求項4】

前記判定基準領域は、前記基準レイヤと前記判定対象の表示レイヤとの間の階層に位置する表示レイヤのうち合成先候補のフレームに合成される表示レイヤと、基準レイヤとの和集合の領域である、
請求項３記載の画面合成装置。

【請求項5】

前記判定手段は、前記判定対象の表示レイヤの領域と前記判定基準領域とに共通部分がある場合、前記判定対象の表示レイヤを、少なくとも、前記判定基準領域との共通部分である第１の領域と、前記第１の領域以外の第２の領域とに分割し、
前記第１の領域を、前記第１のフレーム及び前記第２のフレームのうち、前記判定対象の表示レイヤの合成先候補のフレームで合成すると判定し、
前記第２の領域を、前記第１のフレーム及び前記第２のフレームのうち、前記合成処理コストがより低いフレームで合成すると判定する、
請求項３記載の画面合成装置。

【請求項6】

前記判定手段は、更に、前記第１の領域と前記第２の領域とに同一のタイムスタンプを付与し、
前記合成出力手段は、前記タイムスタンプに従って前記複数の表示レイヤを合成するタイミングを決定する、
請求項５記載の画面合成装置。

【請求項7】

前記判定手段は、更に、前記判定対象の表示レイヤの表示内容の属性に基づいて、前記判定対象の表示レイヤを分割するか否かを判断する、
請求項５記載の画面合成装置。

【請求項8】

前記判定手段は、更に、前記判定対象の表示レイヤの表示内容の属性に基づいて、前記判定対象の表示レイヤを前記第１のフレーム及び前記第２のフレームのいずれで合成するかを判定する、
請求項１記載の画面合成装置。

【請求項9】

前記基準レイヤは、前記複数の表示レイヤの中で、更新頻度が最も高い表示レイヤである、
請求項３記載の画面合成装置。

【請求項10】

前記基準レイヤは、動画を表示するための表示レイヤである、
請求項３記載の画面合成装置。

【請求項11】

入力される表示レイヤを第１のフレームに合成し、
入力される表示レイヤを第２のフレームに合成し、
前記第１のフレーム及び前記第２のフレームを合成し、表示画面を生成し、
前記第１のフレームを合成先候補とする第１の表示レイヤ及び前記第２のフレームを合成先候補とする第２の表示レイヤを含む複数の表示レイヤを入力とし、前記複数の表示レイヤのうち、判定対象の表示レイヤを、前記判定対象の表示レイヤと前記判定対象の表示レイヤに対応する判定基準領域との位置関係を示すレイアウト情報、及び、前記第１のフレーム及び前記第２のフレームのそれぞれの合成処理コストに基づいて、前記第１のフレーム及び前記第２のフレームのいずれに合成するかを判定する、
画面合成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画を含む複数の表示面を合成する画面合成装置及び画面合成方法に関する。

【背景技術】

【0002】

近年、高品位ビデオ再生、大画面表示及びマルチアプリケーション対応等、携帯端末装置の機能進化が進んでいる。携帯端末装置は、携帯端末装置の高機能化に伴い、複数のアプリケーションの描画の合成及び表示を如何に省電力で処理するかが重要となる。

【0003】

動画を含む複数の表示面（表示レイヤ）を合成する画面合成する従来技術は、例えば、特許文献１に開示された技術が知られている。特許文献１の技術は、ビデオ面とバックグラウンド面とフォアグランド面とをそれぞれ別々に生成する。そして、特許文献１の技術は、バックグラウンド面、ビデオ面及びフォアグランド面を所定の順序で順次重ね合わせることによりオンスクリーン画像を生成する。なお、「ビデオ面」は、ビデオ画像（動画）を表示するための表示レイヤで構成される。また、「バックグラウンド面」は、ビデオ面に対して背面側（下層側）に位置する背景画像（静止画）を表示するための表示レイヤで構成される。また、フォアグラウンド面は、ビデオ面に対して表面側（上層側）に位置する表面画像（静止画）を表示するための表示レイヤで構成される。すなわち、特許文献１の技術は、ビデオ面との合成の前に、ビデオ面に対して背面側に位置する表示レイヤを事前に合成（事前合成）してバックグラウンド面を生成する。また、特許文献１の技術は、ビデオ面に対して表面側に位置する表示レイヤを事前合成してフォアグラウンド面を生成する。

【0004】

ここで、バックグラウンド面（静止画）及びフォアグラウンド面（静止画）は、ビデオ画像（動画）と比較して更新頻度が少ない。すなわち、上記従来技術では、動画面の更新に併せてバックグラウンド面及びフォアグラウンド面の更新を行う必要は無い。よって、上記従来技術における画面合成装置は、最終画面出力の直前にバックグラウンド面、動画面及びフォアグラウンド面の３面を合成すればよい。よって、上記従来技術は、オンスクリーン画像を生成する際の処理負担を軽減して省電力化を図ることができる。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２００６―３０１０２９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

上記従来技術では、画面合成装置は、最終画面出力の直前にバックグラウンド面、動画面及びフォアグラウンド面の３面を合成する。このとき、画面合成装置は、一般的な画面合成装置のように下層レイヤ（背面側の表示レイヤ）から順に、表示レイヤの合成を繰り返すことで最終画面を構成する場合と出力結果が異なることがないようにする必要がある。このため、画面合成装置は、フォアグラウンド面（表面側の表示レイヤ）の事前合成において、例えば画像の透過度が設定されている場合には、その透過度の設定値（透過度情報）を保持したまま事前合成処理を行う必要がある。透過度の設定値を保持したまま事前合成処理を行う処理は、一般の透過合成よりも複雑でより多くの計算量を要する。更に、画面合成装置は、事前合成後にも透過度情報を保持する。このために、画面合成装置は、フォアグラウンド面の事前合成に対してより多くのメモリを利用する必要がある。

【0007】

一方、バックグラウンド面の事前合成において、画面合成装置は、一般的な画面表示を行う合成を行えばよい。このため、バックグラウンド面の事前合成は、画像の透過度が設定されている場合でもフォアグラウンド面よりも計算量の少ない処理で済む。更に、バックグラウンド面の事前合成後において、透過度情報は必要ない。このため、画面合成装置は、バックグランド面の事前合成に対して、フォアグラウンド面の事前合成結果よりも少ないメモリ利用で済む。

【0008】

ただし、上述した事前合成の計算量の比較は、フォアグラウンド面及びバックグラウンド面に対して同一の計算リソースをアサインした場合の比較である。ここで、例えば、フォアグラウンド面には、合成処理の計算用に高速処理を可能とするハードエンジンを搭載し、バックグラウンド面にはソフトウェアでの合成処理の計算処理が必要という構成の画面合成装置等も考えられる。このような装置では、フォアグラウンド面の事前合成処理の方が、バックグラウンド面の事前合成処理と比較して、より少ない計算量での処理が可能になる。すなわち、このような装置では、フォアグラウンド面の事前合成処理は、バックグラウンド面の事前合成処理と比較して、より低い処理コストでの処理が可能となる。

【0009】

同様に、事前合成結果を格納するメモリに関しては、例えば、フォアグラウンド面に対してバックグラウンド面よりも高速なメモリが配置される構成も考えられる。よって、事前合成結果を格納するメモリについては、一概にフォアグラウンド面の方がバックグラウンド面よりも多くのメモリを要するという訳ではない。すなわち、フォアグラウンド面の事前合成は、一概にバックグラウンド面よりも多くの処理コストを要するという訳ではない。

【0010】

つまり、画面合成装置が有する計算リソース及びメモリリソース等の特性に応じて、フォアグラウンド面及びバックグラウンド面の事前合成における処理負担の状況は、変わってくる。なお、上記処理負担は、例えば、計算量及びメモリ量等の処理コストである。

【0011】

これに対して、上記従来技術における画面合成装置は、表示レイアウト（例えば、表示レイヤの階層順序）のみに基づいて合成処理を行う。このため、上記従来技術では、フォアグラウンド面及びバックグラウンド面の事前合成における処理負担（例えば、上記処理コスト）が考慮されていないという課題がある。そのため、上記従来技術では、省電力効果が十分に得られていない場合があり得る。

【0012】

本発明の目的は、動画を含む複数の表示面を合成する際、表示結果に影響を与えること無く、より省電力効果を得ることができる画面合成装置及び画面合成方法を提供することである。

【課題を解決するための手段】

【0013】

本発明の第１の態様に係る画面合成装置は、入力される表示レイヤを第１のフレームに合成する第１の合成手段と、入力される表示レイヤを第２のフレームに合成する第２の合成手段と、前記第１のフレーム及び前記第２のフレームを合成し、表示画面を生成する合成出力手段と、前記第１のフレームを合成先候補とする第１の表示レイヤ及び前記第２のフレームを合成先候補とする第２の表示レイヤを含む複数の表示レイヤを入力とし、前記複数の表示レイヤのうち、判定対象の表示レイヤを、前記判定対象の表示レイヤと前記判定対象の表示レイヤに対応する判定基準領域との位置関係を示すレイアウト情報、及び、前記第１のフレーム及び前記第２のフレームのそれぞれの合成処理コストに基づいて、前記第１のフレーム及び前記第２のフレームのいずれに合成するかを判定する判定手段と、を具備する構成を採る。

【0014】

本発明の第２の態様に係る画面合成方法は、入力される表示レイヤを第１のフレームに合成し、入力される表示レイヤを第２のフレームに合成し、前記第１のフレーム及び前記第２のフレームを合成し、表示画面を生成し、前記第１のフレームを合成先候補とする第１の表示レイヤ及び前記第２のフレームを合成先候補とする第２の表示レイヤを含む複数の表示レイヤを入力とし、前記複数の表示レイヤのうち、判定対象の表示レイヤを、前記判定対象の表示レイヤと前記判定対象の表示レイヤに対応する判定基準領域との位置関係を示すレイアウト情報、及び、前記第１のフレーム及び前記第２のフレームのそれぞれの合成処理コストに基づいて、前記第１のフレーム及び前記第２のフレームのいずれに合成するかを判定する構成を採る。

【発明の効果】

【0015】

本発明は、動画を含む複数の表示面を合成する際、表示結果に影響を与えること無く、より省電力効果を得ることができる。

【図面の簡単な説明】

【0016】

【図1】本発明の実施の形態１に係る画面合成装置の構成を示すブロック図

【図2】本発明の実施の形態１に係る表示レイアウトの一例を示す図

【図3】本発明の実施の形態１に係るオブジェクト情報の一例を示す図

【図4】本発明の実施の形態１に係るレイアウト情報の一例を示す図

【図5】本発明の実施の形態１に係る合成処理コスト情報の一例を示す図

【図6】本発明の実施の形態１に係る合成先振り分け判定処理を示すフローチャート図

【図7】本発明の実施の形態１に係る合成先判定基準領域の一例を示す図

【図8】本発明の実施の形態２に係る画面合成装置の構成を示すブロック図

【図9】本発明の実施の形態２に係る合成先振り分け判定処理を示すフローチャート図

【図10】本発明の実施の形態２に係る分割後の表示レイアウトの一例を示す図

【図11】本発明の実施の形態２に係る分割後のオブジェクト情報の一例を示す図

【図12】本発明の実施の形態２に係る分割後のレイアウト情報の一例を示す図

【図13】本発明の実施の形態３に係る画面合成装置の構成を示すブロック図

【図14】本発明の実施の形態３に係る分割可能オブジェクト種別の一例を示す図

【図15】本発明の実施の形態３に係る合成先振り分け判定処理を示すフローチャート図

【図16】本発明の実施の形態４に係る画面合成装置の構成を示すブロック図

【図17】本発明の実施の形態４に係るレイアウト情報の一例を示す図

【図18】本発明の実施の形態４に係る合成先振り分け判定処理を示すフローチャート図

【図19】本発明の実施の形態４に係る表示画面合成出力処理を示すフローチャート図

【発明を実施するための形態】

【0017】

以下、本発明の各実施の形態について、図面を参照して詳細に説明する。なお、以下で示す実施の形態は、一例であり、システムの構成、機能ブロックの構成は限定されるものではない。

【0018】

なお、本発明の各実施の形態に係る画面合成装置は、動画を含む複数の表示面（表示レイヤ）を合成する。その際、画面合成装置は、動画を含む複数の表示面の表示レイアウトにおいて、ビデオ面とバックグラウンド面とフォアグラウンド面と、を別々に生成する。ここで、「ビデオ面」は、動画を表示するための表示レイヤで構成される動画面である。「バックグラウンド面」は、動画面に対して背面側に位置する背景画像を表示するための表示レイヤで構成される下層フレームである。「フォアグラウンド面」は、動画面に対して表面側に位置する表面画像を表示するための表示レイヤで構成される上層フレームである。また、背景画像は、動画より下層に位置するグラフィクスであり、以下、下層GFXと称する。また、表面画像は、動画より上層に位置するグラフィクスであり、以下、上層GFXと称する。

【0019】

つまり、本発明の各実施の形態に係る画面合成装置は、動画以外の表示面（例えば、テキスト及び静止画等）を、上層フレームと下層フレームとに振り分けて、それぞれのフレーム毎に事前合成を行う。そして、画面合成装置は、下層フレーム、動画面、及び、上層フレームを順に合成することで最終的な表示画面を生成する。

【0020】

（実施の形態１）
図１は、本実施の形態に係る画面合成装置１００の構成を示すブロック図を示す。

【0021】

図１に示す画面合成装置１００において、アプリケーション群１０１は、画面合成装置１００を利用するアプリケーション群を示す。例えば、アプリケーション群１０１は、アプリケーション１、アプリケーション２、…、アプリケーションＮ等、複数のアプリケーションの集まりで構成される。

【0022】

オブジェクト情報バッファ１０２は、アプリケーション群１０１の各アプリケーションがそれぞれ描画する画像データ、及びテキスト等の実際のデータを示すオブジェクト情報を格納する。オブジェクト情報は、各表示レイヤのオブジェクト情報、すなわち、定義された表示レイアウトに実際に表示する表示レイヤの表示内容を示す。

【0023】

例えば、図２は、表示レイアウトに含まれる各表示レイヤを示す。また、図３は、図２に示す各表示レイヤのオブジェクト情報を示す。図２では、出力画面全体に対して、レイヤＡ，Ｂ，Ｃ，Ｄの４つの表示レイヤが表示される。図３に示すように、オブジェクト情報バッファ１０２に格納されているオブジェクト情報は、「レイヤ名称」、「属性情報」、「フォーマット情報」及び「実体アドレス」から構成される。なお、「レイヤ名称」は、表示レイヤの名称を示す。「属性情報」は、オブジェクトの属性を示す。「フォーマット情報」は、オブジェクトのフォーマットを示す。「実体アドレス」は、オブジェクトの実体アドレスを示す。なお、図３に示す「属性情報」は、textがテキストであることを示し、imageが静止画像であることを示し、movieが動画像であることを示す。例えば、図３において、レイヤＡのオブジェクト情報は、属性情報がimage（静止画像）であり、フォーマット情報がARGB8888であり、実体アドレスが0x00080000であることを示す。レイヤＢ〜Ｄのオブジェクト情報のデータ形式は、レイヤＡと同様である。

【0024】

レイアウト情報バッファ１０３は、アプリケーション群１０１の各アプリケーションがそれぞれ描画するための描画先領域のレイアウト情報を格納する。描画先領域のレイアウト情報は、例えば、画像データの座標情報（表示レイヤの領域を示す情報）、及び、表示レイアウト内の複数の表示レイヤ間の階層順序を示す階層情報等である。

【0025】

例えば、図４は、図２に示す表示レイアウトに含まれる各表示レイヤのレイアウト情報を示す。図４に示すように、レイアウト情報バッファ１０３に格納されているレイアウト情報は、「レイヤ名称」、「最左上端座標」、「最右下端座標」、及び、「階層情報」から構成される。なお、「レイヤ名称」は、表示レイヤの名称を示す。「最左上端座標」は、表示レイヤの最左上の座標点を示す。「最右下端座標」は、表示レイヤの最右下の座標点を示す。「階層情報」は、出力画面全体に表示される複数の表示レイヤ間の階層順序を示す。

【0026】

なお、図４における座標表現としては、図２に示す出力画面全体の左上端が原点(0, 0)として表現され、右方向及び下方向に進むに従って値が増えるものとする。また、図２に示す表示レイアウトにおいて、各表示レイヤは、最左上端座標と最右下端座標とで表現される矩形領域とする。また、図４に示す階層情報は、値が小さいほど画面の奥（下層側）に位置することを示し、値が大きいほど画面の手前（上層側）に位置することを示す。すなわち、図２に示す表示レイアウトは、画面の一番奥（最下層）から、レイヤＢ（階層情報：１）、レイヤＡ（階層情報：２）、レイヤＣ（階層情報：３）、レイヤＤ（階層情報：４）の順の階層構成を示す。

【0027】

合成処理コストＤＢ１０４は、事前合成処理毎の処理コストを示す合成処理コスト情報を記憶する。なお、以下、事前合成処理毎の処理コストは、合成処理コスト、又は、重畳コストと称することもある。例えば、図５は、合成処理コストＤＢ１０４で記憶される合成処理コスト情報を示す。図５に示す合成処理コスト情報は、合成対象のバッファの名称を示す「合成対象バッファ名称」及び合成処理コストの値を示す「合成処理コスト値」から構成される。なお、図５に示す合成対象バッファ名称において、FB0は、上層フレーム合成バッファ１０７を示し、FB1は、下層フレーム合成バッファ１０９を示す。また、図５に示す合成処理コスト値は、各バッファにおいて合成処理にかかる計算時間を示す。つまり、図５では、FB0（上層フレーム）における合成処理にかかる計算時間（３００）は、FB1（下層フレーム）における合成処理にかかる計算時間（２００）よりも長い。すなわち、図５では、上層フレームの合成処理コストの方が下層フレームの合成処理コストよりも高い。

【0028】

なお、本実施の形態において、一例として、合成処理コストＤＢ１０４は、システム設計者が事前に決定した値を保持して用いる場合について説明している。また、本実施の形態において、当該端末は、例えば、端末（画面合成装置１００）の電源投入直後の画面描画時などに、上層フレーム及び下層フレームの処理時間をそれぞれ計測してもよい。そして、端末は、計測結果を合成処理コストとして登録して用いてもよい。

【0029】

合成先振り分け判定部１０５は、アプリケーション群１０１の各アプリケーションによる描画内容（表示レイヤ）の合成先として、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のいずれか一方を選択する。具体的には、合成先振り分け判定部１０５は、オブジェクト情報（例えば、図３）、レイアウト情報（例えば、図４）及び合成処理コスト情報（例えば、図５）を参照する。なお、オブジェクト情報は、オブジェクト情報バッファ１０２に格納される。レイアウト情報は、レイアウト情報バッファ１０３に格納される。合成処理コスト情報は、合成処理コストＤＢ１０４に記憶されている。そして、合成先振り分け判定部１０５は、各アプリケーションにおける描画内容を表示するための表示レイヤを、下層フレームで合成するべきか、上層フレームで合成するべきかを判定する。この際、動画面を表示するための表示レイヤは、合成先振り分け判定部１０５による合成先振り分け対象となる表示レイヤから除かれる。

【0030】

上層フレーム合成部１０６は、合成先振り分け判定部１０５から入力される表示レイヤ（合成対象となるアプリケーションの描画結果）を、上層フレーム合成バッファ１０７に合成する。つまり、上層フレーム合成部１０６は、合成先振り分け判定部１０５で上層フレームに合成すべきと判定された表示レイヤ（上層GFXとして判定された表示レイヤ）を、上層フレーム合成バッファ１０７に合成する。

【0031】

上層フレーム合成バッファ１０７は、動画より上層に位置する表示レイヤ（上層GFX）の合成結果を保持する。

【0032】

下層フレーム合成部１０８は、合成先振り分け判定部１０５から入力される表示レイヤ（合成対象となるアプリケーションの描画結果）を、下層フレーム合成バッファ１０９に合成する。つまり、下層フレーム合成部１０８は、合成先振り分け判定部１０５で下層フレームに合成すべきと判定された表示レイヤ（下層GFXとして判定された表示レイヤ）を、下層フレーム合成バッファ１０９に合成する。

【0033】

下層フレーム合成バッファ１０９は、動画より下層に位置する表示面（下層GFX）の合成結果を保持する。

【0034】

動画復号部１１０は、アプリケーション群１０１に動画再生機能を含むアプリケーションが含まれる場合、画面合成装置１００に蓄積された符号化映像データ又はネットワーク経由で伝送された符号化映像データに対して復号処理を行う。そして、動画復号部１１０は、復号後の映像データを動画面バッファ１１１に出力する。

【0035】

動画面バッファ１１１は、動画復号部１１０から入力される映像データを格納する。

【0036】

表示画面合成出力処理部１１２は、以下の順に、表示画面の背面側から合成する。表示画面の背面側から合成する順番は、下層フレーム合成バッファ１０９が保持する下層フレームの合成結果、動画面バッファ１１１が保持する映像データ、上層フレーム合成バッファ１０７が保持する上層フレームの合成結果の順である。これにより、最終的な出力画像（表示画面）が生成される。なお、下層フレームの合成結果は、動画の表示レイヤ（動画レイヤ）よりも下層で事前合成される表示レイヤから成る下層フレーム（つまり、バックグラウンド面）である。また、映像データは、動画レイヤである。また、上層フレームの合成結果は、動画レイヤよりも上層で事前合成される表示レイヤから成る上層フレーム（つまり、フォアグラウンド面）である。そして、表示画面合成出力処理部１１２は、最終的な出力画像を出力画面１１３に出力する。

【0037】

出力画面１１３は、表示画面合成出力処理部１１２から入力される最終的な出力画像を提示する。

【0038】

次に、画面合成装置１００における事前合成処理の詳細について説明する。なお、ここでは、図３に示すオブジェクト情報及び図２に示す表示レイアウトに対する事前合成処理について説明する。なお、図２に示す表示レイアウトは、図４に示すレイアウト情報から成る。

【0039】

図６は、本実施の形態に係る画面合成装置１００により実行される事前合成処理を、説明するためのフローチャートである。

【0040】

図６のステップ（以下、「ＳＴ」と称する）１０１において、合成先振り分け判定部１０５は、合成先振り分け判定に用いるパラメータを初期化する。具体的には、合成先振り分け判定部１０５は、合成先振り分け判定処理の判定基準となる合成先判定基準領域の値として動画面（動画レイヤ。図２ではレイヤＢ）の領域情報（例えば、座標及び階層情報）を設定する。

【0041】

この合成先判定基準領域は、合成先振り分け判定部１０５が動画レイヤ以外の対象領域を、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のどちらに振り分けるかを、判定する基準となる判定パラメータである。例えば、動画レイヤ以外の対象領域は、図２ではレイヤＡ，Ｃ，Ｄである。具体的には、合成先判定基準領域は、基準レイヤである動画レイヤ、及び、動画レイヤよりも上層で事前合成すべき表示レイヤの和集合である。ここで、動画レイヤよりも上層で事前合成すべき表示レイヤは、合成先振り分け判定部１０５の判定処理過程において、上層フレーム合成バッファ１０７に合成すべきと判定された表示レイヤである。

【0042】

より詳細には、合成先判定基準領域は、基準レイヤと判定対象の表示レイヤとの間の階層に位置する表示レイヤのうち、階層順序に基づいた合成先候補のフレームに合成される表示レイヤと、基準レイヤとの和集合の領域である。例えば、基準レイヤよりも上層に位置するある判定対象の表示レイヤに対する合成先判定基準領域は、表示レイヤと、基準レイヤとの和集合の領域である。なお、表示レイヤは、基準レイヤと判定対象の表示レイヤとの間の階層順序である表示レイヤのうち、階層順序に基づいた合成先候補のフレーム（つまり、上層フレーム合成バッファ１０７）に合成される。

【0043】

図７は、合成先判定基準領域の一例を示す。ここで、合成先判定基準領域は、複数の領域の集合で表現される。合成先判定基準領域は、１行に１つの領域が示された領域情報の和集合で示される。図７に示す合成先判定基準領域は、最左上端座標（0, 0）、最右下端座標（200, 240）、階層情報が２の矩形領域と、最左上端座標（200, 0）、最右下端座標（400, 100）、階層情報が３の矩形領域との和集合で示される。合成先振り分け判定部１０５は、合成先振り分け判定対象の領域（表示レイヤ）が合成先判定基準領域より手前（つまり、表面側又は上層側）に位置するか否かを判断する。また、合成先振り分け判定部１０５は、合成先振り分け判定対象である表示レイヤの領域が合成先判定基準領域と共通部分を持つか否かを判断する。そして、合成先振り分け判定部１０５は、これらの判断結果に応じて、その表示レイヤを上層フレーム合成バッファ１０７又は下層フレーム合成バッファ１０９のどちらで合成させるかを判定する。

【0044】

図６に示すＳＴ１０１において、合成先振り分け判定部１０５は、合成先判定基準領域として、動画レイヤ（図２に示すレイヤＢ）の領域情報を初期値とする。この結果、合成先判定基準領域は、図４に示すレイヤＢのレイアウト情報に基づいて、最右下端座標（200, 100）、最左上端座標（800, 500）、階層情報が１、という領域情報で示される。

【0045】

ＳＴ１０２において、合成先振り分け判定部１０５は、表示レイアウトを構成する複数の表示レイヤのうち、一番奥の階層の表示レイヤ（最下層（最も背面側）の表示レイヤ）を、今回の合成先振り分け判定対象レイヤに設定する。図２において、合成先振り分け判定部１０５は、今回の合成先振り分け判定対象レイヤとして、動画レイヤ（レイヤＢ）を除いた表示レイヤ（レイヤＡ，Ｃ，Ｄ）のうち一番奥の表示レイヤであるレイヤＡ（階層情報：２）を設定する。

【0046】

ＳＴ１０３において、合成先振り分け判定部１０５は、今回の合成先振り分け判定対象レイヤと合成先判定基準領域とに共通部分があるか否かを判断する。

【0047】

今回の合成先振り分け判定対象レイヤと合成先判定基準領域とに共通部分がある場合（ＳＴ１０３：ＹＥＳ）、合成先振り分け判定部１０５は、ＳＴ１０４の処理を行う。ＳＴ１０４において、合成先振り分け判定部１０５は、今回の合成先振り分け判定対象レイヤが、今回の合成先振り分け判定対象レイヤと合成先判定基準領域との共通部分となる領域の手前に位置するか否かを判断する。つまり、合成先振り分け判定部１０５は、今回の合成先振り分け判定対象レイヤの階層情報が上記共通部分における合成先判定基準領域の階層情報より大きいか否かを判断する。

【0048】

今回の合成先振り分け判定対象レイヤが、今回の合成先振り分け判定対象レイヤと合成先判定基準領域との共通部分となる領域の手前に位置する場合（ＳＴ１０４：ＹＥＳ）、合成先振り分け判定部１０５は、ＳＴ１０６の処理を行う。すなわち、合成先振り分け判定部１０５は、今回の合成先振り分け判定対象レイヤを、上層フレーム合成バッファ１０７で必ず合成しないといけない領域であると判断し、ＳＴ１０６の処理に進む。また、今回の合成先振り分け判定対象レイヤが、今回の合成先振り分け判定対象レイヤと合成先判定基準領域との共通部分となる領域の手前に位置しない場合（ＳＴ１０４：ＮＯ）、合成先振り分け判定部１０５は、ＳＴ１０８の処理を行う。すなわち、合成先振り分け判定部１０５は、今回の合成先振り分け判定対象レイヤを、下層フレーム合成バッファ１０９で必ず合成しないといけない領域であると判断し、ＳＴ１０８の処理に進む。

【0049】

このように、合成先振り分け判定対象レイヤと合成先判定基準領域とに共通部分がある場合（ＳＴ１０３：ＹＥＳ）、合成先振り分け判定部１０５は、ＳＴ１０４の処理を行う。すなわち、合成先振り分け判定部１０５は、ＳＴ１０４において、合成先振り分け判定対象レイヤに対して、階層順序が合成先判定基準領域の上層であるか下層であるかを判断する。そして、合成先振り分け判定部１０５は、判断結果に基づいて、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のいずれに合成するかを判定する。

【0050】

一方、合成先振り分け判定対象レイヤと合成先判定基準領域とに共通部分がない場合（ＳＴ１０３：ＮＯ）、合成先振り分け判定部１０５は、ＳＴ１０５の処理を行う。ＳＴ１０５において、合成先振り分け判定部１０５は、合成処理コストＤＢ１０４に記憶された合成処理コスト情報を参照して、上層フレームの合成処理コストが下層フレームの合成処理コストよりも大きいか否かを判断する。なお、上層フレームの合成処理コストは、上層コストと呼ばれ、例えば、図５に示すFB0である。また、下層フレームの合成処理コストは、下層コストと呼ばれ、例えば、図５に示すFB1である。

【0051】

上層コストが下層コスト以下の場合（ＳＴ１０５：ＮＯ）、合成先振り分け判定部１０５は、上層フレームへの合成の方が下層フレームへの合成よりも合成処理コストがかからないと判断する。そして、合成先振り分け判定部１０５は、今回の合成先振り分け判定対象レイヤを上層フレーム合成バッファ１０７に合成すべき領域と判定し、ＳＴ１０６の処理に進む。また、上層コストが下層コストよりも大きい場合（ＳＴ１０５：ＹＥＳ）、合成先振り分け判定部１０５は、下層フレームへの合成の方が上層フレームへの合成よりも合成処理コストがかからないと判断する。そして、合成先振り分け判定部１０５は、今回の合成先振り分け判定対象レイヤを下層フレーム合成バッファ１０９に合成すべき領域と判定し、ＳＴ１０８の処理に進む。

【0052】

このように、合成先振り分け判定対象レイヤと合成先判定基準領域とに共通部分がない場合（ＳＴ１０３：ＮＯ）、合成先振り分け判定部１０５は、ＳＴ１０５の処理を行う。ＳＴ１０５において、合成先振り分け判定部１０５は、今回の合成先振り分け判定対象レイヤを、表示結果のみ考慮し、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のいずれのバッファでも合成できる領域と判断する。つまり、合成先振り分け判定部１０５は、今回の合成先振り分け判定対象レイヤを、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のうち、合成処理コストがより低いフレームに合成すると判定する。

【0053】

今回の合成先振り分け判定対象レイヤが、今回の合成先振り分け判定対象レイヤと合成先判定基準領域との共通部分となる領域の手前に位置する場合（ＳＴ１０４：ＹＥＳ）、合成先振り分け判定部１０５は、ＳＴ１０６の処理を行う。同様に、上層コストが下層コスト以下の場合（ＳＴ１０５：ＮＯ）、合成先振り分け判定部１０５は、ＳＴ１０６の処理を行う。ＳＴ１０６において、合成先振り分け判定部１０５は、今回上層フレーム合成バッファ１０７に合成されると決定された対象領域（今回の合成先振り分け判定対象レイヤ）の領域情報を、合成先判定基準領域に加える処理を行う。すなわち、合成先振り分け判定部１０５は、今回の合成先振り分け判定対象であった領域（表示レイヤ）と、今回の合成先判定基準領域との和集合を新たな合成先判定基準領域とする。

【0054】

これは、今回の合成先振り分け判定処理よりも後に行われる合成先振り分け判定処理における合成先振り分け判定対象レイヤが、今回の合成先判定基準領域と共通部分を有さない領域（表示レイヤ）である場合を、考慮したものである。具体的には、合成先振り分け判定部１０５が、次の場合に、当該表示レイヤを上層フレーム合成バッファ１０７に合成させるためである。次の場合とは、当該表示レイヤが今回合成先振り分け判定対象であった領域と共通部分を有し、かつ、今回合成先振り分け対象であった領域より手前に位置する場合である。すなわち、合成先振り分け判定部１０５は、次回の合成先振り分け判定処理において、新たな合成先判定基準領域との共通部分が無い表示レイヤに対してのみ、合成処理コストに基づく合成先振り分け判定処理を行う。

【0055】

ＳＴ１０７において、上層フレーム合成部１０６は、今回の合成先振り分け判定対象レイヤを、上層フレーム合成バッファ１０７に合成する。

【0056】

一方、今回の合成先振り分け判定対象レイヤが、今回の合成先振り分け判定対象レイヤと合成先判定基準領域との共通部分となる領域の手前に位置しない場合（ＳＴ１０４：ＮＯ）は、ＳＴ１０８の処理に進む。一方、上層コストが下層コストより大きい場合（ＳＴ１０５：ＹＥＳ）は、ＳＴ１０８の処理に進む。ＳＴ１０８において、下層フレーム合成部１０８は、今回の合成先振り分け判定対象レイヤを、下層フレーム合成バッファ１０９に合成する。

【0057】

ＳＴ１０９において、合成先振り分け判定部１０５は、今回の合成先振り分け判定対象レイヤよりも手前に、合成処理すべき表示レイヤがあるか否かを判断する。今回の合成先振り分け判定対象レイヤよりも手前に、合成処理すべき表示レイヤがある場合（ＳＴ１０９：ＹＥＳ）は、ＳＴ１１０の処理に進む。ＳＴ１１０において、合成先振り分け判定部１０５は、次の合成先振り分け判定対象レイヤとして、今回の合成先振り分け判定対象レイヤの次に手前に位置する表示レイヤを再設定する。そして、合成先振り分け判定部１０５は、その表示レイヤに対する合成先振り分け判定処理及び合成処理を行うために、ＳＴ１０３に戻る。一方、今回の合成先振り分け判定対象レイヤよりも手前に、合成処理すべき表示レイヤが無い場合（ＳＴ１０９：ＮＯ）、合成先振り分け判定部１０５は、処理を終了する。

【0058】

図２に示すレイヤＡを対象とする合成先振り分け判定処理の一例について説明する。レイヤＡは、レイヤＢ（基準レイヤ）よりも階層順序が上層の表示レイヤである。また、レイヤＡは、階層順序のみを考慮すると上層フレーム合成バッファ１０７を合成先候補とする表示レイヤである。また、レイヤＡに対応する合成先判定基準領域は、レイヤＢと同一領域である。

【0059】

ここで、図２において、レイヤＡは、レイヤＢとの共通部分を有する。よって、合成先振り分け判定部１０５は、レイヤＡがレイヤＢの上層側に位置するので、レイヤＡを上層フレーム合成バッファ１０７に合成すべきであると判定する。

【0060】

合成先振り分け判定部１０５は、次の場合、判定対象の表示レイヤ（レイヤＡ）を、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のうち、階層順序のみを考慮した際の判定対象の表示レイヤの合成先候補に合成する。次の場合とは、判定対象の表示レイヤ（レイヤＡ）の領域と、基準レイヤを含む合成先判定基準領域とに共通部分がある場合である。なお、ここでは、階層順序のみを考慮した際の判定対象の表示レイヤの合成先候補は、上層フレーム合成バッファ１０７となる。

【0061】

また、図２に示すレイヤＣを対象とする合成先振り分け判定処理の一例について説明する。レイヤＣは、レイヤＢ（基準レイヤ）よりも階層順序が上層の表示レイヤである。また、レイヤＣは、階層順序のみを考慮すると上層フレーム合成バッファ１０７を合成先候補とする表示レイヤである。また、レイヤＣに対応する合成先判定基準領域は、レイヤＢ（基準レイヤ）、及び、レイヤＡ（レイヤＣとレイヤＢとの間の階層順序である表示レイヤであり、上層フレーム合成バッファ１０７に合成される表示レイヤ）の和集合である。

【0062】

ここで、図２において、レイヤＣは、合成先判定基準領域との共通部分を有さない。よって、合成先振り分け判定部１０５は、レイヤＣを、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のうち、合成処理コスト（図５）がより低い下層フレーム合成バッファ１０９に合成すべきであると判定する。

【0063】

つまり、合成先振り分け判定部１０５は、次の場合、判定対象の表示レイヤ（レイヤＣ）を、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のうち、合成処理コストがより低いフレームに合成する。次の場合とは、判定対象の表示レイヤ（レイヤＣ）の領域と、基準レイヤを含む合成先判定基準領域とに共通部分が無い場合である。なお、ここでは、合成処理コストがより低いフレームは、下層フレーム合成バッファ１０９となる。

【0064】

このように、レイヤＣ（階層情報：３）は、階層順序のみを考慮すると、レイヤＢ（階層情報：１）よりも上層側の上層フレームで合成されるべき表示レイヤである。しかし、レイヤＣは、合成処理コストがより低いバッファである下層フレーム合成バッファ１０９に合成される。すなわち、画面合成装置１００は、次の場合、合成処理コストがより低いバッファを合成先のバッファとして選択することができる。次の場合とは、動画レイヤよりも表面側（前面）に位置している表示レイヤＣであっても、最終画面の表示画面を考慮して必ずしも上層フレーム合成バッファ１０７で合成する必要がないと判断される場合である。

【0065】

なお、ここでは、図２に示すレイヤＢ（基準レイヤ）よりも階層順序が上層である表示レイヤ（上記レイヤＡ及びレイヤＣ等）について説明した。しかし、これに限らず、画面合成装置１００は、レイヤＢ（表示レイヤ）よりも階層順序が下層である表示レイヤについても同様の処理を行う。つまり、画面合成装置１００は、階層順序のみを考慮すると下層フレーム合成バッファ１０９を合成先候補とする表示レイヤ（図示せず）についても、上記同様の処理を行う。

【0066】

このように、画面合成装置１００は、複数の表示レイヤのうち、判定対象の表示レイヤを、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のいずれに合成するかを判定する。この際、画面合成装置１００は、レイアウト情報、及び、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のそれぞれの合成処理コストに基づいて上記判定を行う。なお、レイアウト情報は、判定対象の表示レイヤと判定対象の表示レイヤに対応する判定基準領域との位置関係を示す。これにより、画面合成装置１００は、最終的な表示画面に影響を与えることなく、画面合成装置１００における合成処理の負担をより低減することができる。すなわち、画面合成装置１００は、表示レイアウトの階層順序を変化させることなく、画面合成装置１００における合成処理の負担をより低減することができる。

【0067】

なお、本実施の形態では、合成先振り分け判定部１０５が、各レイヤの合成先判定を、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９の内容を、更新するための事前合成処理の際に行う場合について説明した。しかし、本実施の形態では、合成先振り分け判定部１０５が、各レイヤの合成先判定結果の更新が必要となる時点で、各レイヤの合成先判定のみを先行して行う実装もあり得る。各レイヤの合成先判定結果の更新が必要となる時点は、例えば、各レイヤのレイアウト情報が変更された時点がある。

【0068】

よって、本実施の形態に係る画面合成装置は、動画を含む複数の表示面を合成する際、表示結果に影響を与えること無く、より省電力効果を得ることができる。

【0069】

（実施の形態２）
図８は、本実施の形態に係る画面合成装置２００の構成を示すブロック図である。なお、図８において、実施の形態１（図１）と同じ構成要素については、同じ符号を用い、説明を省略する。

【0070】

図８に示す画面合成装置２００において、合成先振り分け判定部２０１は、実施の形態１の合成先振り分け判定部１０５と同様、アプリケーション群１０１の各アプリケーションによる描画内容（表示レイヤ）の合成先を選択する。例えば、図８に示す合成先振り分け判定部２０１は、表示レイヤの合成先として、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のいずれか一方を選択する。このとき、合成先振り分け判定部２０１は、更に、合成先振り分け判定対象である表示レイヤの分割可否を判定する。合成先振り分け判定部２０１は、分割可能と判定した表示レイヤを分割する。そして、合成先振り分け判定部２０１は、分割結果に従って、変更されたオブジェクト情報をオブジェクト情報バッファ１０２に登録し、変更されたレイアウト情報をレイアウト情報バッファ１０３に登録する。

【0071】

次に、画面合成装置２００における事前合成処理の詳細について説明する。なお、ここでは、実施の形態１と同様、図３に示すオブジェクト情報及び図２に示す表示レイアウトに対する事前合成処理について説明する。なお、図２に示す表示レイアウトは、図４に示すレイアウト情報から成る。

【0072】

図９は、本実施の形態に係る画面合成装置２００により実行される事前合成処理を説明するためのフローチャートである。なお、図９において、実施の形態１（図６）と同一の処理については、同じ符号を用い、説明を省略する。

【0073】

図９に示すＳＴ１０４において、今回の合成先振り分け判定対象レイヤが、今回の合成先振り分け判定対象レイヤと合成先判定基準領域との共通部分となる領域の手前に位置する場合（ＳＴ１０４：ＹＥＳ）は、ＳＴ２０１の処理に進む。ＳＴ２０１において、合成先振り分け判定部２０１は、ＳＴ１０５と同様に、合成処理コストＤＢ１０４に記憶された合成処理コスト情報を参照して、上層コストが下層コストよりも大きいか否かを判断する。例えば、ＳＴ２０１において、合成先振り分け判定部２０１は、図５に示す合成処理コスト情報を参照して、上層コスト（例えば、FB0）が下層コスト（例えば、FB1）よりも大きいか否かを判断する。

【0074】

上層コストが下層コスト以下の場合（ＳＴ２０１：ＮＯ）、合成先振り分け判定部２０１は、上層フレームの方が下層フレームよりも合成処理コストがかからないと判断する。そして、合成先振り分け判定部２０１は、今回の合成先振り分け判定対象レイヤを上層フレーム合成バッファ１０７に合成すべき領域と判定し、ＳＴ１０６の処理に進む。すなわち、上層コストが下層コスト以下の場合、合成先振り分け判定部２０１は、次の判断を行う。次の判断とは、今回の合成先振り分け判定対象レイヤと合成先判定基準領域との関係（共通部分があるか否か）にかかわらず、今回の合成先振り分け判定対象レイヤを上層フレーム合成バッファ１０７に合成すべきであると判断することである。

【0075】

一方、上層コストが下層コストよりも大きい場合（ＳＴ２０１：ＹＥＳ）、ＳＴ２０２において、合成先振り分け判定部２０１は、今回の合成先振り分け判定対象レイヤと合成先判定基準領域とに共通部分以外の領域があるか否かを判断する。

【0076】

今回の合成先振り分け判定対象レイヤと合成先判定基準領域とに共通部分以外の領域が無い場合（ＳＴ２０２：ＮＯ）は、ＳＴ１０６の処理に進む。すなわち、合成先振り分け判定部２０１は、今回の合成先振り分け判定対象レイヤを、上層フレーム合成バッファ１０７で必ず合成しないといけない領域であると判断する。

【0077】

一方、今回の合成先振り分け判定対象レイヤと合成先判定基準領域とに共通部分以外の領域がある場合（ＳＴ２０２：ＹＥＳ）は、ＳＴ２０３の処理に進む。ＳＴ２０３において、合成先振り分け判定部２０１は、今回の合成先振り分け判定対象レイヤを、少なくとも、上記共通部分の領域と、共通部分以外の領域とに分割する。そして、合成先振り分け判定部２０１は、分割後の表示レイヤに関するオブジェクト情報及びレイアウト情報を、オブジェクト情報バッファ１０２及びレイアウト情報バッファ１０３にそれぞれ登録する。また、合成先振り分け判定部２０１は、次の合成先振り分け判定対象レイヤとして、分割された表示レイヤのうち上記共通部分の領域を再設定する。そして、処理は、ＳＴ１０３の処理に戻る。

【0078】

図２に示す表示レイアウトにおいて、今回の合成先振り分け判定対象レイヤがレイヤＡである場合について説明する。つまり、合成先判定基準領域は、図２に示すレイヤＢ（最右下端座標が（200, 100）、最左上端座標が（800, 500）、階層情報が１）と同一領域となる。

【0079】

この場合、合成先振り分け判定部２０１は、レイヤＡが合成先判定基準領域（レイヤＢと同一領域）と共通部分を有すると判断する（ＳＴ１０３：ＹＥＳ）。また、合成先振り分け判定部２０１は、レイヤＡが合成先判定基準領域よりも手前（上層側）に位置すると判断する（ＳＴ１０４：ＹＥＳ）。これにより、合成先振り分け判定部２０１は、レイヤＡの少なくとも一部の領域、又は、全ての領域を、上層フレーム合成バッファ１０７に合成しなければならないと判断する。

【0080】

そこで、合成先振り分け判定部２０１は、合成処理コストＤＢ１０４に記憶された合成処理コスト情報（図５）を参照して、上層コストと下層コストとを比較する（ＳＴ２０１）。図５において、上層コストが下層コストより大きい（ＳＴ２０１：ＹＥＳ）場合は、ＳＴ２０２に進む。つまり、下層フレームへの合成処理は、上層フレームへの合成処理よりも合成処理コストがかからない。そこで、合成先振り分け判定部２０１は、レイヤＡと合成先判定基準領域（レイヤＢと同一領域）とに共通部分以外の領域があるか判断する（ＳＴ２０２）。

【0081】

図２に示すように、レイヤＡには、レイヤＢとの共通部分の領域、及び、レイヤＢと共通ではない領域（共通部分以外の領域）が存在する。よって、合成先振り分け判定部２０１は、レイヤＡを、少なくとも、レイヤＢとの共通部分の領域と、レイヤＢとの共通部分以外の領域とに分割する（ＳＴ２０３）。ここで、各表示レイヤは、矩形領域で表現される。このため、図１０に示すように、合成先振り分け判定部２０１は、レイヤＡを、レイヤＢとの共通部分であるレイヤＡ２と、レイヤＢとの共通部分以外の領域であるレイヤＡ０及びレイヤＡ１と、に分割する。

【0082】

そして、合成先振り分け判定部２０１は、図１１に示すように、レイヤＡの分割結果であるレイヤＡ０−レイヤＡ２に関するオブジェクト情報を、レイヤＡのオブジェクト情報の代わりに、オブジェクト情報バッファ１０２に登録する。同様に、合成先振り分け判定部２０１は、図１２に示すように、レイヤＡの分割結果であるレイヤＡ０、レイヤＡ１及びレイヤＡ２に関するレイアウト情報を、レイヤＡのレイアウト情報の代わりに、レイアウト情報バッファ１０３に登録する。

【0083】

そして、合成先振り分け判定部２０１は、更新されたレイアウト情報（図１２）に示される表示レイヤに対して、合成先振り分け判定処理を行う。具体的には、合成先振り分け判定部２０１は、まず、図１０に示すレイヤＡ２を今回の合成先振り分け判定対象レイヤとして、合成先振り分け判定処理を行う。次いで、合成先振り分け判定部２０１は、図１０に示すレイヤＡ０及びレイヤＡ１を順次、合成先振り分け判定対象レイヤとし、合成先振り分け判定処理を行う。

【0084】

これにより、図１０に示すレイヤＡ２（合成先判定基準領域との共通部分の領域）は、上層フレーム合成バッファ１０７に合成されるべき領域であると判定される。一方、図１０に示すレイヤＡ０及びレイヤＡ１（合成先判定基準領域との共通部分以外の領域）は、下層フレーム合成バッファ１０９に合成されるべき領域であると判定される。

【0085】

このように、画面合成装置２００は、次の場合、表示レイヤを分割する。次の場合とは、当該表示レイヤ全体に対して、上層フレーム合成バッファ１０７に合成すべきと判断した場合（ＳＴ１０３：ＹＥＳ、ＳＴ１０４：ＹＥＳ）、かつ、上層コストが下層コストよりも大きい場合（ＳＴ２０１：ＹＥＳ）である。なお、当該表示レイヤは、上層フレーム合成バッファ１０７で必ず合成する必要がある表示レイヤと、下層フレーム合成バッファ１０９に合成しても最終的な表示内容に影響が無い表示レイヤとに分割される。また、上層フレーム合成バッファ１０７で必ず合成する必要がある表示レイヤは、例えば、合成先判定基準領域との共通部分の領域である。また、下層フレーム合成バッファ１０９に合成しても最終的な表示内容に影響が無い表示レイヤは、例えば、合成先判定基準領域との共通部分以外の領域である。

【0086】

つまり、画面合成装置２００は、合成先判定基準領域との共通部分の領域に対して、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のいずれに合成するかを判定する。この際、画面合成装置２００は、階層順序が動画レイヤ（基準レイヤ）の上層であるか下層であるかに基づいて、上記判定を行う。一方、画面合成装置２００は、合成先判定基準領域との共通部分以外の領域を、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のうち、合成処理コストがより低いフレームに合成すると判定する。

【0087】

これにより、画面合成装置２００は、階層順序に従って合成先のバッファを決定すべき領域を最小限（つまり、合成先判定基準領域との共通部分の領域のみ）に抑えることができる。換言すると、画面合成装置２００は、合成処理コストに従って合成先のバッファを決定できる領域を最大限（つまり、合成先判定基準領域との共通部分の領域以外の領域）得ることができる。よって、画面合成装置２００は、表示レイアウトにおいて、表示レイヤ間の階層順序の制約がある領域以外では、合成処理コストを考慮した合成先振り分け判定処理を行うことができる。これにより、画面合成装置２００は、合成処理コストを最大限低減することができる。

【0088】

よって、本実施の形態によれば、画面合成装置は、動画を含む複数の表示面を合成する際、表示結果に影響を与えること無く、実施の形態１よりも更に省電力効果を得ることができる。

【0089】

（実施の形態３）
図１３は、本実施の形態に係る画面合成装置３００の構成を示すブロック図である。なお、図１３において、実施の形態２（図８）と同じ構成要素については同じ符号を用い、説明を省略する。

【0090】

図１３に示す画面合成装置３００において、分割可能オブジェクト種別ＤＢ３０１は、合成先振り分け判定部３０２での合成先振り分け判定処理において、表示レイヤのレイアウト分割の可否を判断するための情報を格納する。ここでは、分割可能オブジェクト種別ＤＢ３０１は、合成先振り分け判定処理において、表示レイヤのレイアウト分割が可能なオブジェクト種別（つまり、表示レイヤの表示内容の属性）を示す情報を格納する。例えば、図１４は、表示レイヤのレイアウト分割が可能なオブジェクト種別を示す情報の一例を示す。すなわち、図１４では、合成先振り分け判定対象の表示レイヤのオブジェクト情報が静止画像（image）である場合に、表示レイヤのレイアウト分割処理が可能となる。

【0091】

合成先振り分け判定部３０２は、実施の形態２の合成先振り分け判定部２０１と同様、アプリケーション群１０１の各アプリケーションによる描画内容（表示レイヤ）の合成先を選択する。例えば、図１３では、合成先振り分け判定部３０２は、表示レイヤの合成先として、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のいずれか一方を選択する。また、合成先振り分け判定部３０２は、実施の形態２の合成先振り分け判定部２０１と同様、合成先振り分け判定対象の表示レイヤのレイアウト分割可否を判定する。このとき、合成先振り分け判定部３０２は、分割可能オブジェクト種別ＤＢ３０１に格納された情報を参照して、合成先振り分け判定対象の表示レイヤのレイアウト分割可否を判定する。合成先振り分け判定部３０２は、分割可能と判定した表示レイヤを分割する。そして、合成先振り分け判定部３０２は、分割結果に従って、変更されたオブジェクト情報をオブジェクト情報バッファ１０２に登録し、変更されたレイアウト情報をレイアウト情報バッファ１０３に登録する。

【0092】

次に、画面合成装置３００における事前合成処理の詳細について説明する。なお、ここでは、実施の形態２と同様、図３に示すオブジェクト情報及び図２に示す表示レイアウトに対する事前合成処理について説明する。なお、図２に示す表示レイアウトは、図４に示すレイアウト情報から成る。

【0093】

図１５は、本実施の形態に係る画面合成装置３００により実行される事前合成処理を、説明するためのフローチャートである。なお、図１５において、実施の形態２（図９）と同一の処理については、同じ符号を用い、説明を省略する。

【0094】

図１５に示すＳＴ２０２において、今回の合成先振り分け判定対象レイヤと合成先判定基準領域とに共通部分以外の領域がある場合（ＳＴ２０２：ＹＥＳ）は、ＳＴ３０１の処理に進む。ＳＴ３０１において、合成先振り分け判定部３０２は、今回の合成先振り分け判定対象レイヤの属性が、分割可能オブジェクト種別ＤＢ３０１に格納されているオブジェクト種別に含まれているか否かを判断する。

【0095】

合成先振り分け判定部３０２は、次の場合、今回の合成先振り分け判定対象レイヤが分割可能であると判断し、ＳＴ２０３の処理に進む。次の場合とは、今回の合成先振り分け判定対象レイヤの属性が、分割可能オブジェクト種別ＤＢ３０１に格納されているオブジェクト種別に含まれている場合である（ＳＴ３０１：ＹＥＳ）。一方、合成先振り分け判定部３０２は、次の場合、今回の合成先振り分け判定対象レイヤが分割できないと判断し、ＳＴ１０６の処理に進む。次の場合とは、今回の合成先振り分け判定対象レイヤの属性が、分割可能オブジェクト種別ＤＢ３０１に格納されているオブジェクト種別に含まれていない場合である（ＳＴ３０１：ＮＯ）。

【0096】

図２に示す表示レイアウトにおいて、今回の合成先振り分け判定対象レイヤがレイヤＡである場合について説明する。つまり、合成先判定基準領域は、図２に示すレイヤＢ（最右下端座標が（200, 100）、最左上端座標が（800, 500）、階層情報が１）と同一領域となる。

【0097】

この場合、合成先振り分け判定部３０２は、レイヤＡが合成先判定基準領域（レイヤＢと同一領域）と共通部分を有すると判断する（ＳＴ１０３：ＹＥＳ）。また、合成先振り分け判定部３０２は、レイヤＡが合成先判定基準領域よりも手前（上層側）に位置すると判断する（ＳＴ１０４：ＹＥＳ）。これにより、合成先振り分け判定部３０２は、レイヤＡの少なくとも一部の領域、又は、全ての領域を、上層フレーム合成バッファ１０７に合成しなければならないと判断する。

【0098】

また、合成先振り分け判定部３０２は、合成処理コストＤＢ１０４に記憶された合成処理コスト情報（図５）を参照して、上層コストが下層コストより大きいと判断する（ＳＴ２０１：ＹＥＳ）。また、合成先振り分け判定部３０２は、レイヤＡと合成先判定基準領域（レイヤＢと同一領域）とに共通部分以外の領域があると判断する（ＳＴ２０２：ＹＥＳ）。

【0099】

すなわち、合成先振り分け判定部３０２は、図２に示すレイヤＡにおいて、一部の領域（合成先判定基準領域との共通部分）を、上層フレーム合成バッファ１０７に合成する必要がある。これに対し、合成先振り分け判定部３０２は、レイヤＡの他の領域（合成先判定基準領域との共通部分以外の領域）を、下層フレーム合成バッファ１０９に合成することができる。これにより、画面合成装置３００は、合成処理コストを低減することができる。

【0100】

ただし、ここで、合成先振り分け判定部３０２は、レイヤＡの属性が分割可能オブジェクト種別ＤＢ３０１に格納されたオブジェクト種別に含まれるか否かを判断する（ＳＴ３０１）。図３に示すように、レイヤＡの属性情報は、imageである。また、図１５に示すように、分割可能オブジェクト種別ＤＢ３０１に格納されたオブジェクト種別は、imageである。よって、合成先振り分け判定部３０２は、レイヤＡを分割可能と判断する。そして、合成先振り分け判定部３０２は、実施の形態２（図１０）と同様にして、レイヤＡをレイアウト分割する（ＳＴ２０３）。例えば、合成先振り分け判定部３０２は、レイヤＡを、合成先判定基準領域との共通部分（レイヤＡ２）と、合成先判定基準領域との共通部分以外の領域（レイヤＡ０及びレイヤＡ１）とにレイアウト分割する。

【0101】

次に、図２に示す表示レイアウトにおいて、今回の合成先振り分け判定対象レイヤがレイヤＤである場合について説明する。この場合、図２に示すレイヤＡ及びレイヤＣに対する合成先振り分け判定処理は、完了している。よって、合成先判定基準領域は、図１０に示すレイヤＢとレイヤＡ２（レイヤＡのうちレイヤＢとの共通部分）との和集合で表される。

【0102】

上述したレイヤＡの場合と同様、合成先振り分け判定部３０２は、図２に示すレイヤＤに対して、一部の領域（合成先判定基準領域との共通部分）では上層フレーム合成バッファ１０７に合成する必要がある。これに対し、合成先振り分け判定部３０２は、レイヤＤの他の領域（合成先判定基準領域との共通部分以外の領域）では、下層フレーム合成バッファ１０９に合成することができると判断する。これにより、画面合成装置３００は、合成処理コストを低減することができる。

【0103】

そこで、合成先振り分け判定部３０２は、更に、レイヤＤの属性が分割可能オブジェクト種別ＤＢ３０１に格納されたオブジェクト種別に含まれるか否かを判断する（ＳＴ３０１）。図３に示すように、レイヤＤの属性情報は、textである。また、図１５に示すように、分割可能オブジェクト種別ＤＢ３０１に格納されたオブジェクト種別は、imageである。よって、合成先振り分け判定部３０２は、レイヤＤを分割不可能と判断し、レイヤＤを上層フレーム合成バッファ１０７に合成する（ＳＴ１０６、ＳＴ１０７）。

【0104】

このように、画面合成装置３００は、合成先振り分け判定対象の表示レイヤの表示内容の属性を参照して、表示レイヤを分割するか否かを判断する。そして、画面合成装置３００は、次の場合、実施の形態２と同様、表示レイヤをレイアウト分割する。次の場合とは、当該表示レイヤのレイアウト分割が可能と判断した場合である。なお、当該表示レイヤは、上層フレーム合成バッファ１０７で必ず合成する必要がある表示レイヤと、下層フレーム合成バッファ１０９に合成しても最終的な表示内容に影響が無い表示レイヤとにレイアウト分割される。また、上層フレーム合成バッファ１０７で必ず合成する必要がある表示レイヤは、例えば、合成先判定基準領域との共通部分の領域である。また、下層フレーム合成バッファ１０９に合成しても最終的な表示内容に影響が無い表示レイヤは、例えば、合成先判定基準領域との共通部分以外の領域である。一方、画面合成装置３００は、表示レイヤのレイアウト分割が不可能と判断した場合には、当該表示レイヤ全体を、階層情報に基づいて選択される合成先のバッファに合成する。

【0105】

画面合成装置３００は、例えば、レイアウト分割に伴う表示内容（オブジェクト）の分割処理が、複雑な形式（図１４では静止画像（image）以外のオブジェクト）の表示レイヤに対してはレイアウト分割を回避する。すなわち、画面合成装置３００は、画面合成装置３００の特性及びオブジェクト属性毎の特性等に基づいて表示レイヤのレイアウト分割を行う。

【0106】

これにより、本実施の形態によれば、画面合成装置は、動画を含む複数の表示面を合成する際、表示レイヤのオブジェクト属性を考慮し、かつ、表示結果に影響を与えること無く、実施の形態１よりも更に省電力効果を得ることができる。

【0107】

なお、本実施の形態では、画面合成装置３００が、図１５に示すＳＴ１０３の判断処理とＳＴ２０２の判断処理とをそれぞれ分けて実施する場合について説明した。なお、ＳＴ１０３の判断は、今回の合成先振り分け判定対象レイヤと合成先判断基準領域とに共通部分があるか否かの判断である。また、ＳＴ２０２の判断は、今回の合成先振り分け判定対象レイヤと合成先判断基準領域に共通部分以外の領域もあるか否かの判断である。しかし、画面合成装置３００は、これら２つの判断処理を一度に実施してもよい。そして、画面合成装置３００は、それぞれの処理が必要な時点（図１５におけるＳＴ１０３の処理の時点、及び、ＳＴ２０２の処理の時点）でその判断結果を参照するような構成にしてもよい。

【0108】

また、本実施の形態では、分割可能オブジェクト種別ＤＢ３０１が、分割可能なオブジェクト種別を格納する場合について説明した。しかし、分割可能オブジェクト種別ＤＢ３０１は、逆に分割不可能なオブジェクト種別を格納してもよい。つまり、合成先振り分け判定部３０２は、分割不可能なオブジェクト種別に基づいて、合成先振り分け判定対象の表示レイヤのレイアウト分割可否を判断してもよい。また、分割可能オブジェクト種別ＤＢ３０１に格納される分割可能なオブジェクト種別は、途中で変化する場合も考えられる。分割可能なオブジェクト種別は、例えば、現時点までの処理でレイアウト分割された領域のサイズの合計、及び、各フレームに合成された領域サイズの合計又は合成時間の合計等を考慮して、途中で変化する場合がある。

【0109】

また、本実施の形態における画面合成装置では、合成先振り分け判定対象の表示レイヤの表示内容の属性が、その表示レイヤの分割可否を判断する際の判断基準として用いられる場合について説明した。しかし、本発明では、合成先振り分け判定対象の表示レイヤの表示内容の属性は、その表示レイヤの合成先の判定基準として用いられてもよい。すなわち、画面合成装置は、合成先振り分け判定対象の表示レイヤの表示内容の属性に基づいて、その表示レイヤを上層フレーム合成バッファ及び下層フレーム合成バッファのいずれに合成するかを判定してもよい。例えば、画面合成装置の構成によっては、上層フレームへの合成処理時には静止画データの高速処理・高品位処理が可能である。しかし、下層フレームへの合成処理時には、高速処理・高品位処理を行える程度の機能及び性能を持ち合わせていない場合もある。かかる場合、画面合成装置は、処理対象の属性が静止画であることを判定基準とし、処理対象の合成先として上層フレームを選択する。このように、画面合成装置は、各表示レイヤの表示内容の属性に対してより適した合成処理が行われるフレームで合成されるように、各表示レイヤの合成先バッファを判定する。

【0110】

（実施の形態４）
図１６は、本実施の形態に係る画面合成装置４００の構成を示すブロック図である。なお、図１６において、実施の形態３（図１３）と同じ構成要素については同じ符号を用い、説明を省略する。

【0111】

図１６に示す画面合成装置４００において、レイアウト情報バッファ４０１は、実施の形態１〜３のレイアウト情報バッファ１０３と同様のレイアウト情報を格納する。レイアウト情報バッファ１０３と同様のレイアウト情報は、例えば、画像データの座標情報（表示レイヤの領域を示す情報）及び階層情報等である。また、レイアウト情報バッファ４０１は、上記レイアウト情報に加え、タイムスタンプ情報を、レイアウト情報として格納する。なお、タイムスタンプ情報は、後述する表示画面合成出力処理部４０３における各表示レイヤの表示合成処理を行うタイミング（表示合成タイミング）を、指定する情報である。

【0112】

例えば、レイアウト情報バッファ４０１に格納されているレイアウト情報は、図１７に示すように、「レイヤ名称」、「最左上端座標」、「最右下端座標」、「階層情報」、及び、「タイムスタンプ情報」から構成される。なお、図１７におけるタイムスタンプ情報に示される値（図１７では“０”）は、各表示レイヤの表示合成タイミングを指定するタイムスタンプを示す。また、タイムスタンプ情報を付与する必要がない場合は、情報が無いことを示す符号（ハイフン（“-”））で表される。

【0113】

合成先振り分け判定部４０２は、実施の形態３の合成先振り分け判定部３０２と同様、アプリケーション群１０１の各アプリケーションによる描画内容（表示レイヤ）の合成先を選択する。例えば、図１６に示す合成先振り分け判定部４０２は、表示レイヤの合成先として、上層フレーム合成バッファ１０７及び下層フレーム合成バッファ１０９のいずれか一方を選択する。また、合成先振り分け判定部４０２は、実施の形態３の合成先振り分け判定部３０２と同様、分割可能オブジェクト種別ＤＢ３０１に格納された情報を参照して、合成先振り分け判定対象の表示レイヤのレイアウト分割可否を判定する。

【0114】

そして、合成先振り分け判定部４０２は、実施の形態３の合成先振り分け判定部３０２と同様、分割可能と判定した表示レイヤを分割する。そして、合成先振り分け判定部４０２は、分割結果に従って、変更されたオブジェクト情報をオブジェクト情報バッファ１０２に登録し、変更されたレイアウト情報をレイアウト情報バッファ１０３に登録する。このとき、合成先振り分け判定部４０２は、分割後の表示レイヤ毎に適切な表示合成タイミングを指示するためのタイムスタンプ情報を付与する。合成先振り分け判定部４０２は、タイムスタンプ情報を、レイアウト情報として、レイアウト情報バッファ４０１に登録する。合成先振り分け判定部４０２は、例えば、或る表示レイヤの分割結果である複数の表示レイヤに対して同一のタイムスタンプ情報（同一の表示合成タイミング）を付与する。

【0115】

表示画面合成出力処理部４０３は、合成出力処理を行う際、レイアウト情報バッファ４０１に格納されたレイアウト情報内のタイムスタンプ情報に従って、最終的な出力画像を生成する。最終的な出力画像は、下層フレーム合成バッファ１０９が保持する下層フレームの合成結果、動画面バッファ１１１が保持する映像データ、上層フレーム合成バッファ１０７が保持する上層フレームの合成結果を合成したものである。そして、表示画面合成出力処理部１１２は、最終的な出力画像を出力画面１１３に出力する。

【0116】

次に、画面合成装置４００における事前合成処理の詳細について説明する。なお、ここでは、実施の形態３と同様、図３に示すオブジェクト情報及び図２に示す表示レイアウトに対する事前合成処理について説明する。

【0117】

図１８は、本実施の形態に係る画面合成装置４００により実行される事前合成処理を、説明するためのフローチャートである。なお、図１８において、実施の形態３（図１５）と同一の処理については、同じ符号を用い、説明を省略する。

【0118】

図１８に示すＳＴ３０１において、今回の合成先振り分け判定対象レイヤの属性が、分割可能オブジェクト種別ＤＢ３０１に格納されているオブジェクト種別に含まれている場合（ＳＴ３０１：ＹＥＳ）は、ＳＴ４０１の処理に進む。ＳＴ４０１において、合成先振り分け判定部３０２は、今回の合成先振り分け判定対象レイヤを、少なくとも、合成先判定基準領域との共通部分の領域と、上記共通部分以外の領域とに分割する。そして、合成先振り分け判定部４０２は、分割後の表示レイヤ全てに対して同一のタイムスタンプ情報を付与する。合成先振り分け判定部４０２は、分割後の表示レイヤに関するオブジェクト情報及びレイアウト情報を、オブジェクト情報バッファ１０２及びレイアウト情報バッファ１０３にそれぞれ登録する。

【0119】

これにより、表示レイヤが複数の表示レイヤ（領域）に分割されても、分割後の複数の表示レイヤには、全て同一のタイムスタンプが付与される。また、合成先振り分け判定部４０２は、次の合成先振り分け判定対象として、分割された表示レイヤのうち上記共通部分の領域を再設定する。そして、処理は、ＳＴ１０３の処理に戻る。

【0120】

次に、表示画面合成出力処理部４０３における表示画面合成出力処理の詳細について説明する。図１９は、表示画面合成出力処理部４０３により実行される表示画面合成出力処理を、説明するためのフローチャートである。

【0121】

図１９に示すＳＴ５０１において、表示画面合成出力処理部４０３は、レイアウト情報バッファ４０１に格納されているレイアウト情報を参照する。表示画面合成出力処理部４０３は、レイヤ情報に基づいて、上層フレーム合成バッファ１０７に合成された表示レイヤと、下層フレーム合成バッファ１０９に合成された表示レイヤに、タイムスタンプ情報が付与されているか否かを判断する。

【0122】

上層フレーム合成バッファ１０７に合成された表示レイヤ、及び、下層フレーム合成バッファ１０９に合成された表示レイヤに、タイムスタンプ情報が付与されている場合（ＳＴ５０１：ＹＥＳ）は、ＳＴ５０２の処理に進む。ＳＴ５０２において、表示画面合成出力処理部４０３は、上層フレーム合成バッファ１０７に合成された表示レイヤと、下層フレーム合成バッファ１０９に合成された表示レイヤとに付与されたタイムスタンプ情報を比較する。例えば、表示画面合成出力処理部４０３は、２つのタイムスタンプ情報が等しいか否かを判断する。表示画面合成出力処理部４０３は、次の場合、ＳＴ５０２の処理（タイムスタンプ情報の比較処理）を継続する。次の場合とは、上層フレーム合成バッファ１０７に合成された表示レイヤと、下層フレーム合成バッファ１０９に合成された表示レイヤとに付与されたタイムスタンプ情報が、等しくない場合（ＳＴ５０２：ＮＯ）である。

【0123】

一方、上層フレーム合成バッファ１０７に合成された表示レイヤ、及び、下層フレーム合成バッファ１０９に合成された表示レイヤに、タイムスタンプ情報が付与されていない場合（ＳＴ５０１：ＮＯ）は、ＳＴ５０３の処理に進む。また、上層フレーム合成バッファ１０７に合成された表示レイヤと、下層フレーム合成バッファ１０９に合成された表示レイヤとに付与されたタイムスタンプ情報が、等しい場合（ＳＴ５０２：ＹＥＳ）は、ＳＴ５０３の処理に進む。ＳＴ５０３において、表示画面合成出力処理部４０３は、表示画面の背面側から合成処理を行う。すなわち、表示画面合成出力処理部４０３は、下層フレームの合成結果、映像データ、上層フレームの合成結果の順に、合成処理を行う。なお、下層フレームの合成結果は、下層フレーム合成バッファ１０９で保持される。また、映像データは、動画面バッファ１１１で保持される。また、上層フレームの合成結果は、上層フレーム合成バッファ１０７で保持される。そして、出力画面１１３は、最終的な表示画面を表示する。

【0124】

すなわち、表示画面合成出力処理部４０３は、次の場合、上層フレーム合成バッファ１０７と下層フレーム合成バッファ１０９とに、同時に表示すべき表示レイヤ（データ）が揃ったと判断する。次の場合とは、各フレームで合成された表示レイヤに付与されたタイムスタンプ情報が等しい場合である（ＳＴ５０２：ＹＥＳ）。

【0125】

次に、例えば、図２に示す表示レイアウトにおいて、今回の合成先振り分け判定対象レイヤがレイヤＡである場合について説明する。つまり、合成先判定基準領域は、図２に示すレイヤＢ（最右下端座標（200, 100）、最左上端座標（800, 500）、階層情報が１）と同一領域となる。

【0126】

この場合、合成先振り分け判定部４０２は、レイヤＡを分割可能と判断する。そして、合成先振り分け判定部４０２は、実施の形態２（図１０）と同様にして、レイヤＡをレイアウト分割する（ＳＴ４０１）。例えば、合成先振り分け判定部４０２は、レイヤＡを、合成先判定基準領域（レイヤＢ）との共通部分の領域（レイヤＡ２）と、合成先判定基準領域との共通部分以外の領域（レイヤＡ０、レイヤＡ１）とにレイアウト分割する。

【0127】

そして、合成先振り分け判定部４０２は、レイアウト情報バッファ４０１に対するレイアウト情報の更新時に、レイヤＡの分割結果であるレイヤＡ０、Ａ１、Ａ２に対して同一のタイムスタンプ情報を付与する。例えば、図１７では、レイヤＡの分割結果であるレイヤＡ０、Ａ１、Ａ２に対して、同一のタイムスタンプ情報（“０”）が付与される。

【0128】

ここで、実施の形態２と同様、レイヤＡ０及びレイヤＡ１（合成先判定基準領域との共通部分以外の領域）は、下層フレーム合成バッファ１０９に合成される。また、レイヤＡ２（合成先判定基準領域との共通部分の領域）は、上層フレーム合成バッファ１０７に合成される。

【0129】

このように、上層フレーム合成バッファ１０７に合成されたレイヤＡ２と、下層フレーム合成バッファ１０９に合成されたレイヤＡ０及びレイヤＡ１には、タイムスタンプ情報が付与される（ＳＴ５０１：ＹＥＳ）。また、そのタイムスタンプ情報が等しい場合（ＳＴ５０２：ＹＥＳ）、表示画面合成出力処理部４０３は、レイヤＡ０、Ａ１、Ａ２を同一のタイミングで表示するように、合成表示処理を行う（ＳＴ５０３）。

【0130】

これにより、出力画面１１３は、元々１つの表示レイヤ（レイヤＡ）であったレイヤＡ０、Ａ１、Ａ２を、同一のタイミングで表示することができる。

【0131】

このように、画面合成装置４００は、実施の形態２と同様、合成処理コストに従って合成先のバッファを決定できる領域（合成先判定基準領域との共通部分が無い領域）を、最大限得ることができる。これにより、画面合成装置４００は、合成処理コストを最大限低減することができる。

【0132】

また、画面合成装置４００は、表示レイヤのレイアウト分割の際に、分割後の表示レイヤに同一のタイムスタンプ情報を付与する。そして、画面合成装置４００は、そのタイムスタンプ情報に基づいて、最終的な表示画面の合成表示処理を行う。これにより、画面合成装置４００は、合成処理コストの低減のために表示レイヤを分割する場合でも、分割後の表示レイヤを正しいタイミングで表示制御することができる。すなわち、画面合成装置４００は、表示結果の再生品質を保ちつつ、合成処理コストを最大限低減することができる。

【0133】

このようにして、本実施の形態によれば、画面合成装置は、動画を含む複数の表示面を合成する際、表示結果に影響を与えること無く、実施の形態１よりも更に省電力効果を得ることができる。

【0134】

なお、本実施の形態では、実施の形態３と同様にして、画面合成装置４００が、次の処理を行う場合について説明した。次の処理とは、合成先振り分け判定対象の表示レイヤのオブジェクト属性情報と、分割可能オブジェクト種別ＤＢ３０１とを比較して、当該表示レイヤのレイアウト分割可否を判断する処理である。しかし、本実施の形態に係る画面合成装置４００では、オブジェクト属性情報の比較によるレイアウト分割可否の判断処理は必須ではない。例えば、本実施の形態に係る画面合成装置４００は、この判断処理を省略して、実施の形態２の動作と同様の動作を行ってもよい。

【0135】

以上、本発明の各実施の形態について説明した。

【0136】

なお、上記実施の形態では、合成処理コスト値の一例として各フレームでの合成処理にかかる時間が用いられる場合（図５）について説明した。しかし、合成処理コスト値は、各フレームでの合成処理にかかる時間に限らない。例えば、合成処理コスト値は、各フレームへの合成処理にかかる計算量、合成処理に必要なメモリアクセス時間又はメモリアクセス回数、又は、これらの複数の値から算出された数値指標等でもよい。

【0137】

また、本発明に係る画面合成装置では、相対的に合成処理コストが最低になる合成対象バッファを選択できれば十分である。よって、合成処理コスト値は、数値ではなく、合成処理コストの大小関係を単純に示す情報であってもよい。また、本実施の形態では、現時点までに各フレームに合成された表示レイヤ（領域）サイズの合計及び合成処理時間の合計等を考慮して、各バッファの合成処理コスト値自体又は合成処理コスト値の大小関係が変動する場合も考えられる。また、本実施の形態では、合成処理コスト値として用いる指標の内容によっては値が大きい方が、合成処理コストが低くなるという解釈が必要になる場合もあり得る。しかし、指標として用いた値に基づいて適切に動作するように本発明に係る画面合成装置は、設計されているものとする。

【0138】

また、本実施の形態では、上層フレームの合成処理コストが下層フレームの合成処理コストよりも高い場合（図５）について説明した。しかし、本実施の形態は、下層フレームの合成処理コストが上層フレームの合成処理コストよりも高い場合についても、同様の効果を得ることができる。また、図６、図９、図１５及び図１８において、ＳＴ１０２において、画面合成装置は、一番手前の階層（最上層）の表示レイヤを最初の合成先振り分け判定対象レイヤに設定してもよい。この場合、画面合成装置は、図６、図９、図１５及び図１８に示すＳＴ１０６の処理の代わりに、ＳＴ１０６の処理と同一の処理を、ＳＴ１０８の処理の直前に行う。これは、次回以降の合成先振り分け判定処理において、次の場合に、表示レイヤを下層フレーム合成バッファ１０９に合成させるためである。次の場合とは、今回の合成先判定基準領域と共通部分を有さない領域（当該表示レイヤ）であっても、今回合成先振り分け対象であった領域と共通部分を有し、かつ、今回合成先振り分け対象であった領域より奥に位置する場合である。なお、この場合における合成先判定基準領域は、判定対象の表示レイヤと基準レイヤとの間の階層順序である表示レイヤである。また、合成先判定基準領域は、下層フレーム合成バッファ１０９に合成される表示レイヤと、基準レイヤとの和集合である。

【0139】

また、本実施の形態では、各表示レイヤの合成先を上層バッファ（上層フレーム合成バッファ）、又は下層バッファ（下層フレーム合成バッファ）のどちらかに決定する際の基準レイヤとして、動画レイヤが用いられる場合について説明した。しかし、本発明では、各表示レイヤの合成先を上層バッファ又は下層バッファのどちらかに決定する基準レイヤは、動画レイヤに限らない。本実施の形態では、例えば、フレーム毎に計算描画するコンピュータグラフィクス画面、及び、カメラ入力画面等、表示レイアウト内の複数の表示レイヤの中で更新頻度が最も高い表示レイヤが基準レイヤとして用いられてもよい。この場合、図１、図８、図１３及び図１６における動画復号部１１０は、動画復号処理の代わりに対象レイヤの描画処理を行う処理を行う機能ブロックとして機能することになる。また、図１、図８、図１３及び図１６における動画面バッファ１１１は、対象レイヤの描画結果を蓄積するバッファとして機能することになる。また、各表示レイヤの合成先を、上層バッファ又は下層バッファのどちらかに決定する基準とする特殊な領域（本実施の形態では動画レイヤ）は、単一の場合のみでなく、複数の表示レイヤから構成されてもよい。

【0140】

また、本実施の形態で説明した各手段は、典型的には集積回路であるＬＳＩ（Large Scale Integration）により構成される。これら各手段は、個別に１チップ化されていてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いによりＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。また、集積回路化の手法は、ＬＳＩに限るものではなく、専用回路または汎用プロセッサにより行ってもよい。本実施の形態では、ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）を利用して各部を構成してもよい。また、本実施の形態では、ＬＳＩ内部の回路セルの接続や設定を再構成可能なコンフィギュラブル・プロセッサを利用して各部を構成してもよい。さらには、本実施の形態は、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術により各部の集積化を行ってもよい。本実施の形態は、例えば、バイオ技術を適用することによって集積化を行ってもよい。

【0141】

２０１０年７月６日出願の特願２０１０−１５３９８７の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

【産業上の利用可能性】

【0142】

本発明は、より高い省電力性能を有し、携帯端末の表示合成処理等として有用である。また、本発明は、テレビ受像機器・ビデオ再生機器等、動画とグラフィクスとの合成を伴う映像機器向けの用途にも応用できる。

【符号の説明】

【0143】

１００，２００，３００，４００ 画面合成装置
１０１ アプリケーション群
１０２ オブジェクト情報バッファ
１０３，４０１ レイアウト情報バッファ
１０４ 合成処理コストＤＢ
１０５，２０１，３０２，４０２ 合成先振り分け判定部
１０６ 上層フレーム合成部
１０７ 上層フレーム合成バッファ
１０８ 下層フレーム合成部
１０９ 下層フレーム合成バッファ
１１０ 動画復号部
１１１ 動画面バッファ
１１２，４０３ 表示画面合成出力処理部
１１３ 出力画面
３０１ 分割可能オブジェクト種別ＤＢ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】