▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-05-15
(54)【発明の名称】メタデータ・ベースの電力管理
(51)【国際特許分類】
H04N 21/431 20110101AFI20230508BHJP
H04N 21/435 20110101ALI20230508BHJP
H04N 21/442 20110101ALI20230508BHJP
H04N 5/66 20060101ALI20230508BHJP
G09G 5/00 20060101ALI20230508BHJP
G09G 5/10 20060101ALI20230508BHJP
【ＦＩ】
H04N21/431
H04N21/435
H04N21/442
H04N5/66 A
G09G5/00 555D
G09G5/10 B
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022559345
(86)(22)【出願日】2021-04-01
(85)【翻訳文提出日】2022-09-28
(86)【国際出願番号】 US2021025454
(87)【国際公開番号】W WO2021202927
(87)【国際公開日】2021-10-07
(31)【優先権主張番号】63/004,019
(32)【優先日】2020-04-02
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】20171001.9
(32)【優先日】2020-04-23
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕ－ｒａｙ
２．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】カンケル，ティモ，ダニエル
(72)【発明者】
【氏名】ウォーレン，フィリップ，ジョン
(72)【発明者】
【氏名】シュニューレ，デイヴィッド，ロイド
【テーマコード（参考）】
5C058
5C164
5C182
【Ｆターム（参考）】
5C058AA06
5C058AA11
5C058AA12
5C058BA05
5C058BA26
5C164MB13S
5C164UB10P
5C164UB43P
5C164UB81P
5C164YA21
5C182AA02
5C182AA03
5C182AB08
5C182AB31
5C182AC03
5C182AC04
5C182AC14
5C182AC43
5C182BB01
5C182BB11
5C182BC03
5C182BC11
5C182BC29
5C182CA01
5C182CA21
5C182CA42
5C182CB44
5C182CB56
5C182DA44
5C182DA66
(57)【要約】
そのための方法および装置は：画像データおよびパワー・メタデータを受領するステップであって、前記パワー・メタデータは、電力消費または期待される電力消費に関する情報を含む、ステップと；前記パワー・メタデータに基づいて、前記電力消費または前記期待される電力消費に応答して、ターゲット・ディスプレイによって実行されうる駆動修正の量および継続時間を決定するステップと；前記決定の結果に基づいて、前記ターゲット・ディスプレイに関連する少なくとも1つの発光要素の駆動を、製造業者が決定した閾値に対して修正する、前記パワー・メタデータに基づく前記ターゲット・ディスプレイの電力管理を実行するステップとを含み、前記パワー・メタデータは、時間的輝度エネルギー・メタデータ、空間的輝度エネルギー・メタデータ、空間的時間的変動メタデータ、またはそれらの組み合わせのうちの少なくとも1つを含む。
【特許請求の範囲】
【請求項1】
画像データおよびパワー・メタデータを受領するステップであって、前記パワー・メタデータは、電力消費または期待される電力消費に関する情報を含む、ステップと；前記パワー・メタデータに基づいて、前記電力消費または前記期待される電力消費に応答して、ターゲット・ディスプレイによって実行されうる駆動修正の量および継続時間を決定するステップと；
前記決定の結果に基づいて、前記ターゲット・ディスプレイに関連する少なくとも1つの発光要素の駆動を、製造業者が決定した閾値に対して修正する、前記パワー・メタデータに基づく前記ターゲット・ディスプレイの電力管理を実行するステップとを含み、
前記パワー・メタデータは、時間的輝度エネルギー・メタデータ、空間的輝度エネルギー・メタデータ、空間的時間的変動メタデータ、またはそれらの組み合わせのうちの少なくとも1つを含む、
方法。
【請求項2】
フレームに含まれる前記パワー・メタデータは、将来のフレームについてのパワー・メタデータをさらに含む、請求項１に記載の方法。
【請求項3】
前記ターゲット・ディスプレイによって実行されうる前記駆動修正の量および継続時間を決定するステップは、前記少なくとも1つの発光要素を損傷することなく前記ターゲット・ディスプレイによって実行されうるオーバードライブの量および継続時間を決定することを含み、前記ターゲット・ディスプレイの電力管理を実行するステップは、前記少なくとも1つの発光要素を、選択的に、製造業者が決定した閾値を超えるようにオーバードライブすることを含む、
請求項１または２に記載の方法。
【請求項4】
前記ターゲット・ディスプレイによって実行されうる駆動修正の量および継続時間を決定するステップは、前記電力消費または前記期待される電力消費に応答して、前記ターゲット・ディスプレイによって実行されうるアンダードライブの量および継続時間を決定することを含み、前記ターゲット・ディスプレイの電力管理を実行するステップは、前記少なくとも1つの発光要素の輝度を低減することを含む、
請求項１ないし３のうちいずれか一項に記載の方法。
【請求項5】
前記画像データおよび前記パワー・メタデータは、符号化ビットストリームとして一緒に受領される、請求項１ないし４のうちいずれか一項に記載の方法。
【請求項6】
前記符号化ビットストリームの第1のフレームにおいて前記パワー・メタデータの第1の部分を受領し；前記パワー・メタデータの前記第1の部分をバッファに記憶することをさらに含む、
請求項５に記載の方法。
【請求項7】
前記バッファから前記パワー・メタデータの前記第1の部分を取り出し；前記パワー・メタデータの前記第1の部分に基づいて、前記符号化ビットストリームの第2のフレームに対応する前記画像データのための前記ターゲット・ディスプレイの電力管理を実行することをさらに含み、
前記第2のフレームは、前記第1のフレームと比較して後の画像フレームである、
請求項６に記載の方法。
【請求項8】
前記画像データおよび前記パワー・メタデータは、異なる伝送経路を介して受領される、請求項１ないし７のうちいずれか一項に記載の方法。
【請求項9】
前記パワー・メタデータは、前記時間的輝度エネルギー・メタデータを含み、当該方法は：前記時間的輝度エネルギー・メタデータからショット輝度メタデータを導出することをさらに含み、前記ショット輝度メタデータは、前記符号化ビットストリームのショットの輝度エネルギーに関する情報を含む、
請求項１ないし８のうちいずれか一項に記載の方法。
【請求項10】
前記パワー・メタデータに基づいてターゲット・メタデータを生成するステップをさらに含み、前記ターゲット・メタデータは、オーバードライブ要求へのフレーム・カウントダウンを示す第1のフラグ・データまたは前記オーバードライブ要求のフレーム継続時間を示す第2のフラグ・データのうちの少なくとも1つを含む、請求項１ないし９のうちいずれか一項に記載の方法。
【請求項11】
前記ターゲット・ディスプレイの電力管理を実行するステップは、前記ターゲット・ディスプレイに、該ターゲット・ディスプレイに付随する少なくとも1つのエネルギー蓄積デバイスを充電または放電させることを含む、請求項１ないし１０のうちいずれか一項に記載の方法。
【請求項12】
画像形成メタデータを受領するステップと；前記画像形成メタデータに基づいて前記画像データを表示するように前記ターゲット・ディスプレイを制御するステップとをさらに含む、請求項１ないし１１のうちいずれか一項に記載の方法。
【請求項13】
コンピュータのプロセッサによって実行されると、請求項１ないし１２のうちいずれか一項に記載の方法を含む動作を該コンピュータに実行させる命令を記憶している非一時的なコンピュータ読み取り可能媒体。
【請求項14】
少なくとも1つの発光要素を含むディスプレイと；ディスプレイ管理回路とを有する装置であって、
前記ディスプレイ管理回路は：
パワー・メタデータを受領するステップであって、前記パワー・メタデータは、電力消費または期待される電力消費に関する情報を含む、ステップと；
前記パワー・メタデータに基づいて、前記電力消費または前記期待される電力消費に応答して前記ディスプレイによって実行されうる駆動修正の量および継続時間を決定するステップと；
前記決定の結果に基づいて、前記少なくとも1つの発光要素の駆動を、製造業者が決定した閾値に対して修正する、前記パワー・メタデータに基づく前記ディスプレイの電力管理を実行するステップとを実行するように構成されており、
前記パワー・メタデータは、時間的輝度エネルギー・メタデータ、空間的輝度エネルギー・メタデータ、空間的時間的変動メタデータ、またはそれらの組み合わせのうちの少なくとも1つを含む、
装置。
【請求項15】
フレームに含まれる前記パワー・メタデータは、将来のフレームについてのパワー・メタデータをさらに含む、請求項１４に記載の方法。
【請求項16】
所定の構成ファイルを記憶するように構成されたメモリをさらに有しており、前記所定の構成ファイルは、前記ディスプレイの少なくとも1つの設定パラメータに関連する情報を含む、請求項１４または請求項１５に記載の装置。
【請求項17】
前記構成ファイルは、前記ディスプレイの電力消費仕様、前記少なくとも1つの発光要素の冷却時間、前記ディスプレイの空間熱伝達、前記ディスプレイの最大オーバードライブ継続時間、または前記ディスプレイ内のスーパーキャパシタの存在のうちの少なくとも1つに関する情報を含む、請求項１６に記載の装置。
【請求項18】
前記構成ファイルは、前記ディスプレイの年齢または前記ディスプレイの磨耗のレベルのうちの少なくとも1つに関する情報を示す使用カウンタを含む、請求項１６または１７に記載の装置。
【請求項19】
周囲条件を検出するように構成された周囲条件センサーをさらに有しており、前記メモリは、前記周囲条件に関する情報を記憶するように構成されている、
請求項１６ないし１８のうちいずれか一項に記載の装置。
【請求項20】
画像データおよび前記パワー・メタデータを含む符号化ビットストリームを受領し、前記パワー・メタデータを前記ディスプレイ管理回路に提供するように構成されたデコーダをさらに有する、請求項１４ないし１９のうちいずれか一項に記載の装置。
【請求項21】
前記符号化ビットストリームは、画像形成メタデータをさらに含み、前記ディスプレイ管理回路は、前記画像形成メタデータに基づいて前記画像データの表示を修正するように前記ディスプレイを制御するように構成される、請求項２０に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互参照
本願は、以下の優先権出願の優先権を主張する：2020年4月2日に出願された米国仮出願第63/004,019号（整理番号D19107USP1）および2020年4月23日に出願された欧州出願第20171001.9号（整理番号D19107EP）。
本願は、以下の優先権出願の優先権を主張する：2020年4月2日に出願された米国仮出願第63/004,019号（整理番号D19107USP1）および2020年4月23日に出願された欧州出願第20171001.9号（整理番号D19107EP）。
【0002】
1. 開示の分野
本願は、概括的には画像に関し、より詳細には、本願は、ディスプレイにおけるメタデータ・ベースの電力管理に関する。
本願は、概括的には画像に関し、より詳細には、本願は、ディスプレイにおけるメタデータ・ベースの電力管理に関する。
【背景技術】
【0003】
2. 関連技術の説明
本明細書で使用されるところでは、用語「メタデータ」は、符号化されたビットストリームの一部として送信され、復号された画像をレンダリングするためにデコーダを支援する任意の補助情報に関する。そのようなメタデータは、本明細書に記載されるように、色空間または色域情報、参照ディスプレイ・パラメータ、および補助信号パラメータを含みうるが、これらに限定されない。
本明細書で使用されるところでは、用語「メタデータ」は、符号化されたビットストリームの一部として送信され、復号された画像をレンダリングするためにデコーダを支援する任意の補助情報に関する。そのようなメタデータは、本明細書に記載されるように、色空間または色域情報、参照ディスプレイ・パラメータ、および補助信号パラメータを含みうるが、これらに限定されない。
【0004】
実際上は、画像は一つまたは複数の色成分（たとえば、RGB、ルーマYおよびクロマCbおよびCr）を含み、ここで、量子化されたデジタルシステムでは、各色成分は、ピクセル当たりnビットの精度（たとえば、n＝8）によって表される。n≦8のビット深さ（たとえば、カラー24ビットJPEG画像）は、標準ダイナミックレンジ（SDR）の画像とともに使用されてもよく、一方、n＞8のビット深さは、輪郭形成および階段アーチファクトを回避するために、向上ダイナミックレンジ（EDR）の画像のために考慮されてもよい。整数データ型に加えて、EDRおよび高ダイナミックレンジ（HDR）画像は、Industrial Light and Magicによって開発されたOpenEXRファイルフォーマットのような、高精度（たとえば16ビット）の浮動小数点フォーマットを使用して記憶され、頒布されてもよい。
【0005】
多くの消費者デスクトップディスプレイは、最大輝度200～300cd/m2の非EDRコンテンツ、および、300～400ニトの消費者高精細度および超高精細度テレビジョン（「HDTV」および「UHD TV」）をレンダリングする。このように、そのようなディスプレイ出力は、HDRまたはEDRとの関連で、SDRとも呼ばれる低ダイナミックレンジ（LDR）の典型である。捕捉設備（たとえばカメラ）およびEDRディスプレイ（たとえばSony Trimaster HX 31" 4K HDR Master Monitor）の両方における進歩に起因してEDRコンテンツの利用可能性が高まるにつれて、EDRコンテンツがカラーグレーディングされ、より高いダイナミックレンジ（700～5000ニトまたはそれ以上）をサポートするEDRディスプレイで表示されることがある。一般に、本明細書に記載されるシステムおよび方法は、任意のダイナミックレンジに関する。
【0006】
ダイナミックレンジにかかわらず、ビデオ・コンテンツは、ショットおよびシーンのようなシーケンスにグループ化されうる一連の静止画（フレーム）を含む。ショットは、たとえば、一時的に接続されたフレームの集合である。ショットは「ショット・カット」（たとえば、画像の一部だけではなく画像の内容全体が変化する時点）によって分離されてもよい。シーンは、たとえば、より大きなコンテンツのうちのストーリーを語るセグメントを記述するショットのシーケンスである。ビデオ・コンテンツがアクション・ムービーである特定の例では、ビデオ・コンテンツは、（とりわけ）チェイス・シーンを含んでいてもよく、このシーンは一連のショット（たとえば、追跡車両のドライバーのショット、追跡される車両のドライバーのショット、チェイスが行われるストリートのショットなど）を含んでいてもよい。
【0007】
本節で述べるアプローチは、追求できるアプローチであるが、必ずしも以前に着想されたまたは追求されたアプローチではない。したがって、別段の指示がない限り、本節に記載されているアプローチのいずれも、単に本節に含まれていることによって先行技術として適格であると想定されるべきではない。同様に、一つまたは複数のアプローチに関して特定された問題は、特に断らない限り、本節に基づいて何らかの先行技術において認識されていたと想定されるべきではない。
【発明の概要】
【課題を解決するための手段】
【0008】
本開示のさまざまな側面は、ディスプレイにおけるメタデータ・ベースの電力管理を含む、画像処理のための回路、システム、および方法に関する。
【0009】
本開示のある例示的側面では、画像データおよびパワー・メタデータを受領するステップであって、前記パワー・メタデータは、電力消費または期待される電力消費に関する情報を含む、ステップと；前記パワー・メタデータに基づいて、前記電力消費または前記期待される電力消費に応答してターゲット・ディスプレイによって実行されうる駆動修正の量および継続時間を決定するステップと；前記決定の結果に基づいて、前記ターゲット・ディスプレイに関連する少なくとも1つの発光要素の駆動を、製造業者が決定した閾値に対して修正する、前記パワー・メタデータに基づく前記ターゲット・ディスプレイの電力管理を実行するステップとを含み、前記パワー・メタデータは、時間的輝度エネルギー・メタデータ、空間的輝度エネルギー・メタデータ、空間的時間的変動メタデータ、またはそれらの組み合わせのうちの少なくとも1つを含む、方法が提供される。
【0010】
本開示の別の例示的な側面では、少なくとも1つの発光要素を含むディスプレイと、ディスプレイ管理回路とを有する装置が提供され、該ディスプレイ管理回路は：パワー・メタデータを受領するステップであって、前記パワー・メタデータは、電力消費または期待される電力消費に関する情報を含む、ステップと；前記パワー・メタデータに基づいて、前記電力消費または前記期待される電力消費に応答して前記ディスプレイによって実行されうる駆動修正の量および継続時間を決定するステップと；前記決定の結果に基づいて、前記少なくとも1つの発光要素の駆動を、製造業者が決定した閾値に対して修正する、前記パワー・メタデータに基づく前記ディスプレイの電力管理を実行するステップとを実行するように構成されており、前記パワー・メタデータは、時間的輝度エネルギー・メタデータ、空間的輝度エネルギー・メタデータ、空間的時間的変動メタデータ、またはそれらの組み合わせのうちの少なくとも1つを含む。
【0011】
このようにして、本開示のさまざまな側面は、少なくとも画像処理およびディスプレイの技術分野、ならびに画像捕捉、エンコード、および放送の関連技術分野における改良を提供する。
【図面の簡単な説明】
【0012】
さまざまな実施形態のこれらおよび他のより詳細かつ個別的な特徴は、添付の図面を参照しながら、以下の説明においてより完全に開示される。
【図1】本開示のさまざまな側面による例示的なビデオ送達パイプラインを示す。
【図2A】本開示のさまざまな側面による例示的なメタデータ生成プロセスを示す。
【図2B】本開示のさまざまな側面による例示的なメタデータ生成プロセスを示す。
【図3A】本開示のさまざまな側面による別の例示的なメタデータ生成プロセスを示す。
【図3B】本開示のさまざまな側面による別の例示的なメタデータ生成プロセスを示す。
【図4】A～Bは、本開示のさまざまな側面による例示的なデータ・ストリームを示す。
【図5】本開示のさまざまな側面による例示的なメタデータ階層を示す。
【図6】本開示のさまざまな側面による例示的な動作タイムラインを示す。
【発明を実施するための形態】
【0013】
本開示およびその諸側面は、コンピュータ実装される方法によって制御されるハードウェアまたは回路、コンピュータ・プログラム・プロダクト、コンピュータ・システムおよびネットワーク、ユーザー・インターフェース、およびアプリケーション・プログラミング・インターフェース、ならびにハードウェア実装される方法、信号処理回路、メモリ・アレイ、特定用途向け集積回路、フィールド・プログラマブル・ゲート・アレイなどを含む、さまざまな形で具現されることができる。前述の要約は、単に本開示のさまざまな側面の一般的な概念を与えることを意図したものであり、本開示の範囲をいかなる仕方であれ制限するものではない。
【0014】
以下の説明では、本開示の一つまたは複数の側面の理解を提供するために、スペクトル、タイミング、動作などの多数の詳細が記載される。当業者には、これらの具体的な詳細は単なる例示であり、本願の範囲を限定することは意図されていないことが容易に明らかになるであろう。
【0015】
さらに、本開示は、主に、消費者ディスプレイ・システムにおいてさまざまな要素が使用される例に焦点を当てるが、これは、実装の一例に過ぎないことが理解されるであろう。さらに、開示されたシステムおよび方法は、画像データを表示する必要がある任意の装置、たとえば、映画館、消費者および他の商用プロジェクションシステム、スマートフォンおよび他の消費者電子装置、ヘッドアップディスプレイ、仮想現実ディスプレイ等において使用できることが理解されるであろう。
【0016】
概要
ディスプレイ装置は、有機発光ダイオードディスプレイ（OLED）またはプラズマディスプレイパネル（PDP）などの自己発光ディスプレイ技術における発光ピクセル、あるいは液晶ディスプレイ（LCD）などの透過型光変調器を使用する他のディスプレイ技術におけるバックライトを含む、いくつかの構成要素を含む。そのような装置では、さまざまな構成要素がそれらの技術的および物理的限界を越えて駆動されると、カラー表現のような期待される挙動が損なわれることがあり、ディスプレイ・システムの故障率が増加する。そのような駆動は、一時的または永久的な部品故障につながる可能性がある。これを改善するために、一部のコンポーネント製造業者（しばしば、オリジナル機器製造業者またはOEMと呼ばれる）は、動作閾値を適用することによって技術的能力を制限することがある。たとえば、コンポーネント製造業者は、発光ダイオード（LED）、LEDドライバチップ、電源などのコンポーネントのための電力消費に関する閾値を適用することができる。追加的または代替的に、コンポーネント製造業者は、ディスプレイ・シャーシを通る空間的熱伝播のような熱的特性に関連した閾値を適用することがある。
ディスプレイ装置は、有機発光ダイオードディスプレイ（OLED）またはプラズマディスプレイパネル（PDP）などの自己発光ディスプレイ技術における発光ピクセル、あるいは液晶ディスプレイ（LCD）などの透過型光変調器を使用する他のディスプレイ技術におけるバックライトを含む、いくつかの構成要素を含む。そのような装置では、さまざまな構成要素がそれらの技術的および物理的限界を越えて駆動されると、カラー表現のような期待される挙動が損なわれることがあり、ディスプレイ・システムの故障率が増加する。そのような駆動は、一時的または永久的な部品故障につながる可能性がある。これを改善するために、一部のコンポーネント製造業者（しばしば、オリジナル機器製造業者またはOEMと呼ばれる）は、動作閾値を適用することによって技術的能力を制限することがある。たとえば、コンポーネント製造業者は、発光ダイオード（LED）、LEDドライバチップ、電源などのコンポーネントのための電力消費に関する閾値を適用することができる。追加的または代替的に、コンポーネント製造業者は、ディスプレイ・シャーシを通る空間的熱伝播のような熱的特性に関連した閾値を適用することがある。
【0017】
これらの閾値は、典型的には保守的である。これは、比較的まれな障害が好意的でない報道の主題となる場合のような潜在的な宣伝上のまたはブランド戦略上の問題を避けるため、また、コンポーネント製造業者のサポートおよび顧客サービス・グループへのサービスを求める電話の増加を防ぐためであり、よって、コンポーネント製造業者へのコストの増加を防ごうとしているためである。しかしながら、閾値は、実際にはディスプレイ・システムの技術的限界に近づかないほど保守的であることがある。コンポーネント製造業者は、比較例において、エネルギー消費に関連するコンテンツ特性が再生の前に知られていないため、閾値を保守的にすることを選択することがある。よって、ディスプレイ装置におけるエネルギー管理パラメータは、しばしばリアルタイムで評価され、たとえば、信号入力は、表示時間においてまたはその直前に解析されることがある。
【0018】
しかしながら、コンテンツの再生中に発生する、または発生すると期待される電力消費が事前に知られていれば、ディスプレイ装置内の電力管理システムは、ディスプレイの駆動を修正する（たとえば、コンテンツの輝度レンダリング要件を調整する）ことができうる。調整のいくつかの非限定的な例は、（たとえば、装置がバッテリー電力で動作している場合に）電力を節約するため輝度を制限すること、および／または、オーバードライブの継続時間がディスプレイ・システムまたはそのコンポーネントに長期的な害を及ぼさないことが知られている場合、製造業者が決定した安全閾値によって決定される最大輝度出力を超過することを含む。これらは、「アンダードライブ」または「オーバードライブ」を実行すると称されることがある。いくつかの例では、オーバードライブ（またはアンダードライブ）レベルおよび継続時間の評価は、コンテンツ制作またはコンテンツ配信プロセスの間に実行されてもよく、次いで、ディスプレイ・システムの発光要素が、評価の結果として、選択的にオーバードライブ（またはアンダードライブ）されうる。
【0019】
図1は、例示的なビデオ配信パイプラインを示し、ビデオ捕捉からビデオ・コンテンツ表示までのさまざまな段階を示す。さらに、以下の説明は、ビデオ（すなわち、動画）に関して提供されるが、本開示は、それに限定されない。いくつかの例では、画像内容は、静止画像またはビデオと静止画像の組み合わせであってもよい。画像内容は、ラスタ（またはピクセル）グラフィックス、ベクトルグラフィックス、あるいはラスタグラフィックスとベクトルグラフィックスの組み合わせによって表現されうる。
【0020】
図1は、画像生成ブロック101、プロダクション・ブロック102、ポストプロダクション・ブロック103、エンコード・ブロック104、デコード・ブロック105、およびディスプレイ管理ブロック106を示す。図1に示されるさまざまなブロックは、ハードウェア、ソフトウェア、ファームウェア、またはそれらの組み合わせとして、またはそれらを介して実装されうる。さらに、図示されたブロックのさまざまなグループは、それらのそれぞれの機能を組み合わせてもよく、および／または異なる装置において、および／または異なる時点で実行されてもよい。図示されたブロックの個々のものまたはグループは、これに限定されるわけではないが、中央処理装置（CPU）、グラフィックス処理装置（GPU）、特定用途向け集積回路（ASIC）、フィールドプログラマブルゲートアレイ（FPGA）、およびそれらの組み合わせを含む回路を介して実装されうる。これらのブロックのうちの一つまたは複数によって実行される動作は、ローカルに、リモートに（たとえば、クラウドベースで）、またはローカルとリモートの組み合わせで処理されうる。
【0021】
図1に示されるように、ビデオ配信パイプラインは、さらに、ポストプロダクション・ブロックで実施される動作を支援または監視するために設けられてもよい参照ディスプレイ111と、ターゲット・ディスプレイ112とを含む。説明の目的ために、画像生成ブロック101、プロダクション・ブロック102、ポストプロダクション・ブロック103、およびエンコード・ブロック104は、「上流」ブロックまたはコンポーネントと称されることがあり、一方、デコード・ブロック105およびディスプレイ管理ブロック106は、「下流」ブロックまたはコンポーネントと称されることがある。
【0022】
図1に示される例では、一連のビデオ・フレーム121が画像生成ブロック101において捕捉または生成される。ビデオ・フレーム121は、ビデオ・データ122を生成するために、デジタル的に（たとえば、デジタル・カメラによって）捕捉されるか、またはコンピュータによって（たとえば、コンピュータ・アニメーションを使用して）生成されうる。代替的に、ビデオ・フレーム121は、フィルム・カメラによってフィルム上に捕捉され、次いでデジタル・フォーマットに変換されて、ビデオ・データ122を提供してもよい。いずれの場合も、ビデオ・データ122は、プロダクション・ブロック102に提供され、そこでプロダクション・ストリーム123を提供するように編集される。
【0023】
次いで、プロダクション・ストリーム112内のビデオ・データは、ポストプロダクション編集のために、ポストプロダクション・ブロック103においてプロセッサ（単数または複数）に提供される。ポストプロダクション・ブロック103において実行される編集は、ビデオ作成者（または編集者の）のクリエイティブな意図に従って、画像品質を向上させたり、または画像についての特定の見え方を達成するために、画像の特定の領域の色または明るさを調整または修正することを含んでいてもよい。これは、「カラータイミング」または「カラーグレーディング」と称されることがある。他の編集（たとえば、シーン選択およびシーケンス化、画像クロッピング、コンピュータで生成された視覚的な特殊効果またはオーバーレイの追加など）が、ポストプロダクション・ブロック103において実行されて、分配ストリーム124を生成することができる。いくつかの例では、ポストプロダクション・ブロック103は、参照ディスプレイ111に中間ストリーム125を提供してもよい。たとえば編集プロセスにおいて支援するために、画像をそのスクリーン上で見られるようにするためである。プロダクション・ブロック102、ポストプロダクション・ブロック103、およびエンコード・ブロック104のうちの1つ、2つ、またはすべては、さらに、ビデオ・データにメタデータを追加する処理を含んでいてもよい。このさらなる処理は、コンテンツ・プロパティの統計解析を含みうるが、それに限定されない。さらなる処理は、ローカルまたはリモート（たとえば、クラウドベースの処理）で実行されうる。
【0024】
ポストプロダクション作業に続いて、配信ストリーム124は、テレビジョン・セット、セットトップボックス、映画館、ラップトップ・コンピュータ、タブレット・コンピュータなどのデコードおよび再生装置への下流に向けた配信のために、エンコード・ブロック104に送達されてもよい。いくつかの例では、エンコード・ブロック104は、先進テレビジョンシステム委員会（Advanced Television Systems Committee、ATSC）、デジタルビデオ放送（Digital Video Broadcasting、DVB）、デジタル多用途ディスク（Digital Versatile Disc、DVD）、Blu-Ray、および他の配信フォーマットによって定義されるものなどのオーディオおよびビデオ・エンコーダを含んでいてもよく、それにより符号化ビットストリーム126を生成することができる。受信機では、符号化されたビットストリーム126は、デコード・ユニット105によってデコードされ、配信ストリーム124の同一または近似を表すデコードされた信号127を生成する。受信機は、参照ディスプレイ111とは異なる特性を有していてもよいターゲット・ディスプレイ112に取り付けられてもよい。参照ディスプレイ111およびターゲット・ディスプレイ112が異なる特性を有する場合、ディスプレイ・マップされた信号128を生成することによって、デコードされた信号127のダイナミックレンジまたは他の特性をターゲット・ディスプレイ112の特性にマップするために、ディスプレイ管理ブロック106が使用されてもよい。ディスプレイ管理ブロック106は、追加的にまたは代替的に、ターゲット・ディスプレイ112の電力管理を提供するために使用されてもよい。
【0025】
ターゲット・ディスプレイ112は、ピクセルのアレイを使用して画像を生成する。特定のアレイ構造は、ディスプレイのアーキテクチャーおよび解像度に依存する。たとえば、ターゲット・ディスプレイ112がLCDアーキテクチャー上で動作する場合、それは、比較的低解像度のバックライト・アレイ（たとえば、LEDまたは他の発光要素のアレイ）と、バックライト・アレイからの白色光を選択的に減衰させてカラー光を提供する比較的高解像度の液晶アレイおよびカラーフィルタ・アレイとを含んでいてもよい（しばしば、二重変調ディスプレイ技術と呼ばれる）。ターゲット・ディスプレイ112がOLEDアーキテクチャー上で動作する場合、それは自己発光カラーピクセルの高解像度アレイを含んでいてもよい。
【0026】
上流ブロックと下流ブロックとの間のリンク（すなわち、それを通じて符号化ビットストリーム126が提供される経路）は、ライブまたはリアルタイム転送、たとえば、電磁波を用いた無線での放送、または光ファイバー、ツイストペア（イーサネット）、および／または同軸ケーブルのようなコンテンツ送達ラインを介して具現されうる。他の例では、リンクは、エンドユーザー装置（たとえば、DVDプレーヤー）への物理的送達のために、物理的媒体（たとえば、DVDまたはハードディスク）上に符号化ビットストリームを記録するような、時間に依存しない転送によって具現されてもよい。デコーダブロック105およびディスプレイ管理ブロック106は、ターゲット・ディスプレイ112に関連する装置、たとえば、デコード、ディスプレイ管理、電力管理、および表示の機能を含むスマートTVの形の装置に組み込まれてもよい。いくつかの例では、デコーダブロック105および／またはディスプレイ管理ブロック106は、ターゲット・ディスプレイ112とは別個の装置、たとえばセットトップボックスまたはメディアプレーヤーの形の装置に組み込まれてもよい。
【0027】
デコーダブロック105および／またはディスプレイ管理ブロック106は、上流ブロックにおいて含められるか、または追加されるメタデータに応答して、受信、解析、および動作するように構成されてもよい。よって、そのようなメタデータは、ターゲット・ディスプレイ112の追加的な制御または管理を提供するために使用されてもよい。メタデータは、画像形成メタデータ（たとえば、ドルビービジョン・メタデータ）および／または非画像形成メタデータ（たとえば、パワーメタデータ）を含みうる。
【0028】
メタデータ生成
上述のように、メタデータ（パワー・メタデータを含む）は、図1に示される一つまたは複数の上流ブロックにおいて生成されうる。次いで、メタデータは、符号化ビットストリーム126の一部として伝送するために、（たとえば、エンコード・ブロック104において）配信ストリームと組み合わされてもよい。パワー・メタデータは、時間的輝度エネルギー・メタデータ、空間的輝度エネルギー・メタデータ、空間的時間的変動メタデータなどを含んでいてもよい。
上述のように、メタデータ（パワー・メタデータを含む）は、図1に示される一つまたは複数の上流ブロックにおいて生成されうる。次いで、メタデータは、符号化ビットストリーム126の一部として伝送するために、（たとえば、エンコード・ブロック104において）配信ストリームと組み合わされてもよい。パワー・メタデータは、時間的輝度エネルギー・メタデータ、空間的輝度エネルギー・メタデータ、空間的時間的変動メタデータなどを含んでいてもよい。
【0029】
時間的輝度エネルギー・メタデータは、ここで使用されるところでは、画像データの特定のフレーム（単数または複数）の時間的輝度エネルギーに関連する情報を含んでいてもよい。たとえば、時間的輝度エネルギー・メタデータは、各コンテンツ・フレームによって利用される全輝度予算のスナップショットを提供することができる。これは、与えられたフレームの中のすべてのピクセルの輝度値の総和として表現されてもよい。いくつかの例では、上記は、ターゲット・ディスプレイ112の解像度に依存しないように（すなわち、1080p、2k、4k、および8kのディスプレイ解像度に適合するように）再サンプリングされてもよい。符号化ビットストリーム126の与えられたフレーム内に含まれる時間的輝度エネルギー・メタデータは、将来のフレームに関連する情報を含んでいてもよい。一例では、所与のフレーム内に含まれる時間的輝度エネルギー・メタデータは、以下の500フレームについての時間的輝度エネルギー情報を含んでいてもよい。別の例では、所与のフレーム内に含まれる時間的輝度エネルギー・メタデータは、より多数またはより少数の後続のフレームのための時間的輝度エネルギー情報を含んでいてもよい。よって、時間的輝度エネルギー・メタデータの送信は、符号化ビットストリーム126内の各フレームについて実行されなくてもよく、代わりに間欠的に送信されてもよい。いくつかの例では、所与のフレーム内に含まれる時間的輝度エネルギー・メタデータは、続くN個のフレームについての時間的輝度エネルギーを含む場合、Nより短い周期（たとえば、N/2、N/3、N/4など）で、符号化ビットストリーム126と一緒に送信されてもよい。時間的輝度エネルギー・メタデータがより頻繁に送信されるほど、メタデータスキームは、レイテンシーまたは他のデータ伝送エラーに対してより堅牢になる。しかしながら、時間的輝度エネルギー・メタデータが送信される頻度が低いほど、メタデータを送信するために使用されるデータ帯域幅は少なくなる。メタデータ送信の頻度と使用されるデータ帯域幅との間の1つの例示的な関係は、図5に関してのちにより詳細に説明される。
【0030】
将来のフレームについてのフレームベースの輝度エネルギーを前もって送信することによって、ディスプレイ電力マネージャ（たとえば、ディスプレイ管理ブロック106）は、輝度エネルギーの時間的進行に基づいて、ハードウェア能力を最大限に活用しながら監督の意図を維持するために、どのようにしてコンテンツを最も効果的にマッピングするかを決定することができる。これは、特定のシーンまたはショットについて、エンドユーザー・ディスプレイ（たとえば、ターゲット・ディスプレイ112）内の発光要素の一部または全部をオーバードライブ（またはアンダードライブ）する決定、電気エネルギー（たとえば、バッテリーからの）を節約するために、選択ピクセルまたは全ピクセルの輝度を低減する決定、集約的な使用後もしくはオーバードライブ期間の間のパネル冷却のための期間を決定すること、などを含みうる。
【0031】
図2A～図2Bは、時間的輝度エネルギー・メタデータのための例示的な生成プロセスを示す。図2Aは、時間的輝度エネルギー・メタデータを生成するための例示的なプロセス・フローを示し、図2Bは、例示的なプロセス・フローを図示する。図示された生成プロセスは、動作201において、ビデオ・コンテンツのあるショットについての画像データを受領することを含む。ショットは、一連のフレームを含んでいてもよく、各フレームは、この例では、2次元アレイに配列されたピクセルによって形成された画像データを含んでいる。いくつかの用途では、各フレームは、立体ディスプレイ、マルチビューディスプレイ、ライトフィールドディスプレイ、および／または体積ディスプレイのための画像データを含むことができ、その場合、画像データは、2次元アレイ以外の形であってもよい。その後、動作202において、量Lsum,i（すなわち、フレーム内のすべてのピクセル輝度レベルについての輝度合計を表す量）が、次の式（1）に従って、所与のフレームiについて計算されてもよい（ショット内の最初のフレームで始まるためにiは1から始まる）：
【数1】
【0032】
上記の式（1）において、xは、アレイにおけるピクセルのx座標に対応し、yは、アレイにおけるピクセルのy座標に対応し、Lxyiは、フレームiについてのピクセル（x,y）の輝度を表す。式（1）において、各フレームは、n×mピクセルを含む。
【0033】
動作203では、ショットが完了しているかどうかが判定される。これは、現在のフレームの値iを、ショットの中のフレームの総数を表す最大値Pと比較することによって達成することができる。ショットが完了していないと判定された場合、フレームiは、動作204において1だけインクリメントされ、プロセス・フローは、新しいフレームについての量Lsum,iを計算するために動作202に戻る。ショットが完了したと判定されると、量Lsum,temporalが生成される。量Lsum,temporalは、そのショット全体についてのフレーム毎の輝度の総和に対応し、i＝1からi＝Pまでの各フレームiについて量Lsum,iを示す一次元データアレイとして表現されてもよい。
【0034】
図2Bは、このことを図的に示している。入力として、プロセスは、画像データの複数のフレーム2111～211Pを受領する。出力として、プロセスは、そのショットのための時間的輝度エネルギー・メタデータ212を一次元データ構造として提供し、それがここでプロットされている。x軸は個々のフレームを表し、y軸はフレームの空間的輝度合計を表す。
【0035】
空間的または時間的輝度エネルギー・メタデータは、シーンまたはショット全体にわたる画像データの、特定の座標xyをもつ特定のピクセルまたは諸ピクセルの全輝度エネルギーに関する情報を含んでいてもよい。いくつかのディスプレイ技術では、ディスプレイ装置コンポーネントの損傷を防止するために、過剰な熱をディスプレイ筐体の外に輸送しなければならない。たとえば、多くの物理的なディスプレイでは、ディスプレイの下側中央部は、過大な熱または熱の蓄積に対して最大の感受性を示す。なぜなら、潜在しているエネルギー（latent energy）は、上部または側面で筐体を出る前に、残りのディスプレイパネルの大きな部分を通過しなければならないからである。問題を回避するために、多くのコンポーネント製造業者は、比較ディスプレイ・システムのための輝度出力をグローバルに（時間的におよび／または空間的に）制限することにより、熱の蓄積を制限する。該比較ディスプレイ・システムでは、比較システムの電力マネージャは、将来のフレームにおける輝度要件に関する情報をもたない。空間的輝度エネルギー・メタデータの場合、エンドユーザー・ディスプレイに空間的輝度エネルギー・メタデータを提供することによって、ディスプレイ電力マネージャ（たとえば、ディスプレイ管理ブロック106）は、エンドユーザー・ディスプレイ（たとえば、ターゲット・ディスプレイ112）内の発光要素をどのくらい駆動する（またはさらにはオーバードライブまたはアンダードライブする）かを、ピクセルの位置および強度または継続時間に基づいて決定することができる。
【0036】
図3A～図3Bは、空間的輝度エネルギー・メタデータのための例示的な生成プロセスを示す。図3Aは、空間的輝度エネルギー・メタデータを生成するための例示的なプロセス・フローを示し、図3Bは、該例示的なプロセス・フローを図的に示している。図示された生成プロセスは、動作301において、ビデオ・コンテンツのショットについての画像データを受領することを含む。ショットは、一連のフレームを含んでいてもよく、各フレームは、2次元アレイ内に各ピクセルに対応する画像データを含む。その後、動作302において、量Lsum,xy（すなわち、所与のピクセルについて、ショットのすべてのフレームについての輝度合計を表す量）が、次の式（2）に従って、所与のピクセル(x,y)について計算されてもよい（この例では左上ピクセルで始まるためにxおよびyは1から始まる）：
上記の式（2）において、x、yおよびLxyiは、式（1）を参照して上述したのと同じ量を表す。動作302は、行のすべてのピクセルが解析されるまで、各反復工程毎にy座標を1ずつインクリメントして、繰り返し実行されてもよい。
【数2】
【0037】
動作303において、ピクセルの行が完了かどうかが判定される。これは、現在のピクセルの値xを、アレイ中の行の総数を表す最大値nと比較することによって達成されうる。その行が完了していないと判定された場合には、動作304において、ピクセルのx座標が1だけインクリメントされ、ピクセルのy座標が1に再初期化され、プロセス・フローは動作302に戻って、新しいピクセルについて量Lsum,xyを計算する。行が完了であると判定された場合には、動作305において、すべての行が解析されたか否かが判定される。これは、現在のピクセルの値yを、アレイ中の列の総数を表す最大値mと比較することによって達成することができる。行が最終行でないと判定された場合、動作306で、ピクセルのx座標は1に再初期化され、ピクセルのy座標は1だけインクリメントされ、プロセス・フローは演算302に戻り、新しいピクセルについての量Lsum,xyを計算する。行が最終行であると判定された場合、動作307において、量Lsum,spatialが生成される。量Lsum,spatialは、ショット全体についての各ピクセルについてのフレーム毎の輝度合計に対応し、各ピクセルについて量Lsum,xyを示す二次元データアレイとして表されてもよい。
【0038】
図3Aは、ピクセルが、左上のピクセル（1,1）で始まって行ごとに解析される例示的なプロセス・フローを示しているが、実際には、ピクセルは、任意の順序で解析されうる。いくつかの例では、ピクセルは、別のコーナー・ピクセル、たとえば右下ピクセル（n,m）、右上ピクセル（1,m）、左下ピクセル（n,1）、または内部ピクセルで始まって行ごとに解析される。他の例では、ピクセルは、コーナーまたは内部ピクセルで始まって列ごとに解析される。
【0039】
図3Bは、上述のプロセスを図的に示している。入力として、プロセスは、画像データの複数のフレーム3111～311Pを受領する。出力として、プロセスは、二次元データ構造としてそのショットについての空間的輝度エネルギー・メタデータ312を提供する。図3Bの図的な例解では、領域313のような暗い領域は、より低い輝度の画像要素がショットのほとんどまたはすべてのフレームにわたって描かれたピクセル位置に対応する。これは、より低い輝度エネルギーのピクセル（たとえば、1からPまでの時間区間にわたるより低いエネルギー）に対応する。領域314のような明るい領域は、ショットのほとんどまたはすべてのフレームにわたって高輝度の画像要素が描かれたピクセル位置に対応する。これは、高輝度エネルギー・ピクセルに対応する。
【0040】
明るい領域の照明を提供する発光要素（たとえば、LCDアーキテクチャーにおけるバックライトLED、またはOLEDアーキテクチャーにおけるOLEDピクセルのグループ）は、長時間にわたってやはりディスプレイの同じ部分において呈示される高輝度の画像部分が存在する場合には、より多くの電力を消費し、および／またはより長い時間にわたって電力を消費する傾向がある。空間的輝度エネルギー・メタデータおよび適切な管理がない場合、これは、コンポーネント（たとえば、発光要素自身、ドライバ、回路基板トレースなど）に対するストレス、上方に流れて筐体から除去されなければならない潜在的な熱の発生、諸ピクセルまたはスクリーン全体の能動的な低輝度化（dimming）などを生じさせる可能性がある。ショットのレンダリングおよび表示の前に、ショットの空間的輝度エネルギー・メタデータをターゲット・ディスプレイ112に提供することによって、これらの問題および／またはコンポーネント損傷が防止されうる。
【0041】
空間的輝度エネルギー・メタデータの計算に加えて、またはその代替として、空間的時間的変動メタデータが計算されてもよい。空間的時間的変動メタデータは、シーンまたはショット全体にわたる画像データの特定のピクセル（単数または複数）のエネルギー変動に関する情報を含んでいてもよい。たとえば、シーンまたはショットを通してほぼ同じ輝度レベルに留まるピクセルは、エネルギー変動の程度が低いが、輝度レベルを変化させる（たとえば、明るい高頻度のストロボ光を表示する）ピクセルは、エネルギー変動の程度が高い。
【0042】
空間的時間的変動メタデータは、図3Aに例示されるのと同様の方法によって計算されてもよいが、ただし、動作302において、量Lsum,xyの計算は、量Lfluct,xy（すなわち、所与のピクセルについてのすべてのフレームについての変動を表す量）の計算で置き換えられてもよい。これは、所与のピクセル（x,y）について、次の式（3）に従って、計算されてもよい（この例では、左上のピクセルから始まるために、xおよびyは1から開始する）:
【数3】
【0043】
式（3）において、σは標準偏差関数を表す。いくつかの例では、空間的輝度エネルギー・メタデータおよび空間的時間的変動メタデータが両方とも動作302において計算されてもよい。他の例では、図3Aのプロセス・フローは、2回連続して実行されてもよく、それにより、第1のプロセス・フローが空間的輝度エネルギー・メタデータを計算し、第2のプロセス・フローが空間的時間的変動メタデータを計算する（またはその逆）。
【0044】
いくつかの例では、輝度分布の歪度
と尖度
の一方または両方が計算される。輝度分布の歪度および／または尖度は、輝度分布の標準偏差に加えて、またはそれに代わるものとして計算されてもよい。
【数4】
【数5】
【0045】
メタデータ伝送
いくつかの実装では、上述のパワー・メタデータは、実際の画像データおよび存在しうる任意の追加的なメタデータとともに、符号化されたビットストリーム126の一部として転送されうる。他の実装では、パワー・メタデータは、実際の画像データとは異なる伝送経路によって転送されてもよい（「サイドロードされる（side-loaded）」）；たとえば、パワー・メタデータは、TCP/IP、Bluetooth、または他の通信規格を介して、インターネットまたは他の配信装置から転送されてもよい。図4Aは、パワー・メタデータが符号化ビットストリーム126の一部として転送される画像データのフレームの一例を示す。この例では、画像データのフレームは、画像形成401に使用されるメタデータ、パワー・メタデータ402、および画像データ403を含む。画像形成メタデータ401は、スクリーン上の画像をレンダリングするために使用される任意のメタデータ（たとえば、トーンマッピングデータ）であってもよい。画像データ403は、スクリーン上に表示される実際のコンテンツ（たとえば、画像ピクセル）を含む。
いくつかの実装では、上述のパワー・メタデータは、実際の画像データおよび存在しうる任意の追加的なメタデータとともに、符号化されたビットストリーム126の一部として転送されうる。他の実装では、パワー・メタデータは、実際の画像データとは異なる伝送経路によって転送されてもよい（「サイドロードされる（side-loaded）」）；たとえば、パワー・メタデータは、TCP/IP、Bluetooth、または他の通信規格を介して、インターネットまたは他の配信装置から転送されてもよい。図4Aは、パワー・メタデータが符号化ビットストリーム126の一部として転送される画像データのフレームの一例を示す。この例では、画像データのフレームは、画像形成401に使用されるメタデータ、パワー・メタデータ402、および画像データ403を含む。画像形成メタデータ401は、スクリーン上の画像をレンダリングするために使用される任意のメタデータ（たとえば、トーンマッピングデータ）であってもよい。画像データ403は、スクリーン上に表示される実際のコンテンツ（たとえば、画像ピクセル）を含む。
【0046】
上述のように、パワー・メタデータ（時間的輝度エネルギー・メタデータ、空間的輝度エネルギー・メタデータ、空間的時間的変動メタデータ、およびそれらの組み合わせを含む）は、非画像形成メタデータのタイプである。つまり、パワー・メタデータなしで、またはパワー・メタデータの部分的な集合のみを用いて画像をレンダリングすることができる。このため、画像を正確にレンダリングするために使用される画像形成メタデータの場合とは対照的に、パワー・メタデータの完全な集合よりも少ないものを、一つ一つのコンテンツ・フレーム中にエンコードすることが可能である。パワー・メタデータは、順序外れで埋め込まれていてもよいし、断片的に埋め込まれてもよい。さらに、パワー・メタデータの欠落部分は、基本的な画像忠実度に悪影響を与えることなく、パワー・メタデータの存在する諸部分から補間されるか、または単に無視されてもよい。
【0047】
本開示の一例において、パワー・メタデータは、セグメント分割され、コンテンツ・フレームごとの断片またはページとして（たとえば、符号化ビットストリーム126の一部として）転送される。図4Bは、この動作に従った画像データの一連のフレーム（ここでは、2つのフレーム）を示している。図4Bでは、各フレームは、画像形成メタデータ401と、そのフレームに対応する画像データ403とを含む。しかしながら、図4Aと比較して、各フレームは、パワー・メタデータ402の集合全体は含まない。この例では、パワー・メタデータ402は、N個のピースに分割される。よって、第1のフレームは、パワー・メタデータの第1の部分402-1を含み、第2のフレームは、パワー・メタデータの第2の部分402-2を含む、などとなり、最終的には、パワー・メタデータのすべてのN個の部分が送信される。電力マネージャ（たとえば、デコード・ブロック105および／またはディスプレイ管理ブロック106）は、まず、パワー・メタデータが現在のフレーム、シーン、またはショットのために存在するかどうかを判定し、次いで、該判定に応答して動作する。たとえば、現在のフレーム、シーン、またはショットについてパワー・メタデータが存在しない場合、電力マネージャは、単に該フレーム、シーン、またはショットをそのまま扱ってもよい（すなわち、オーバードライブ／アンダードライブ、または電力消費マッピングを行わない）。しかしながら、現在のフレーム、シーン、またはショットについてパワー・メタデータが存在する場合、電力マネージャは、（たとえば、ディスプレイ管理ブロック106またはターゲット・ディスプレイ112における）ディスプレイ・マッピングおよび／またはディスプレイ・ハードウェアの電力消費および／またはマッピング挙動を調整することができる。電力マネージャはまた、好ましいマッピング戦略を導出するために、バッファまたは他のメモリに何らかのさらなるパワー・メタデータ（たとえば、将来のフレームのためのパワー・メタデータ）をも格納してもよい。例は、実際の画像フレームがレンダリングされて表示される前に事前に提出されるパワー・メタデータでありうる。再生時に、電力マネージャは、レンダリング挙動を改善するために、あらかじめバッファされた任意のパワー・メタデータを適用することができる。
【0048】
パワー・メタデータ402を転送するために予算化されるフレームの量（すなわち、N）は、この特定のメタデータタイプについてのペイロードのサイズおよび帯域幅割り当てに基づく。パワー・メタデータ402の各ピースは、コンテンツのフレーム区間と同じ長さ（すなわち、総バイト数）をもたなくてもよく、よって、パワー・メタデータ402についてのレート（バイト／フレーム）は、画像形成メタデータ401についてのレートと同じでなくてもよい。さらに、時間的輝度エネルギー・メタデータ、空間的輝度エネルギー・メタデータ、および空間的時間的変動メタデータがすべて実装される例では、いくつかのタイプのパワー・メタデータが他のタイプのパワー・メタデータから計算または導出されてもよい。
【0049】
図5は、本開示のさまざまな側面による例示的なメタデータ階層構造を示す。メタデータ階層構造は、一般的にピラミッド型をもち、ピラミッドのより上位の層はより粗いメタデータに対応し（よって、より小さなデータ・ペイロードをもち、および／またはコンテンツの、より長い時間区間をカバーする）、ピラミッドのより下位の層はより細かいメタデータに対応する（よって、より大きなデータ・ペイロードをもち、典型的には、コンテンツの、より短い時間区間をカバーする）。ピラミッドの最上部には、全輝度メタデータ501がある。全輝度メタデータ501は、フル・コンテンツについての（すなわち、多くのシーンおよびショットについての）輝度エネルギーに関する情報を含む。全輝度メタデータ501はコンテンツ全体を記述するので、そのデータ・ペイロードは比較的小さい。いくつかの例では、全輝度メタデータ501は、すべてのピクセル、フレーム、ショット、およびシーンにわたるすべてのエネルギーレベルの合計を表す単一の数字である。全輝度メタデータ501の下には、ショット輝度メタデータ502がある。ショット輝度メタデータ502は、各フル・ショットについての輝度エネルギーに関する情報を含む。ショット輝度メタデータ502のデータ・ペイロードは、全輝度メタデータのデータ・ペイロードよりも大きいが、絶対値ではまだ小さい。いくつかの例では、ショット輝度メタデータ502は、一次元データアレイであり、アレイ内の各値が、あるショット全体の全輝度を記述する。この例では、コンテンツがN個のショットを含む場合、ショット輝度メタデータ502は長さNの一次元データアレイである。次の階層は、時間的輝度エネルギー・メタデータ503である。
【0050】
時間的輝度エネルギー・メタデータ503は、ショット内の各フレームについての輝度エネルギーに関する情報を含む。よって、時間的輝度エネルギー503の各ブロックは、図2Bに関して上述した時間的輝度エネルギー・メタデータ212に対応しうる。時間的輝度エネルギー・メタデータ503のデータ・ペイロードは、ショット輝度メタデータ502のデータ・ペイロードよりも大きく、全輝度メタデータ501のデータ・ペイロードよりもはるかに大きい。
【0051】
最下層は空間的輝度エネルギー・メタデータ504である。空間的輝度エネルギー・メタデータ504は、個々のショットの継続時間にわたる各ピクセルの輝度エネルギーに関する情報を含む。よって、空間的輝度エネルギー・メタデータの各ブロックは、図3Bに関して上述した空間的輝度エネルギー・メタデータ312に対応しうる。図5に示されるすべてのメタデータ・カテゴリーのうち、空間的輝度エネルギー・メタデータ504は最大ペイロードを有する。いくつかの例では、空間的輝度エネルギー・メタデータ504は、（たとえば、図4Bに示されるような仕方で）ピースに分割されてもよい。
【0052】
与えられたタイプのメタデータについて、データ・ペイロードと伝送頻度の間に逆の関係があってもよい。さらに、データ・ペイロードと、与えられたタイプのメタデータによって記述される実際の画像データへの近接性との間には、逆の関係があってもよい。たとえば、全輝度メタデータ501は非常に小さなデータペイロード（たとえば、単一の数）を有するので、それは符号化ビットストリーム126において非常に頻繁に繰り返されてもよく、そこに記載される画像フレームのあまり近くでは伝送されなくてもよい。ショット輝度メタデータ502は、データ・ペイロードが小さいため、符号化ビットストリーム126において頻繁に繰り返されてもよいが、全輝度メタデータ501ほど頻繁ではなく、同様に、そこに記載される画像フレームの非常に近くでは送信されなくてもよい。さらに、いくつかの例では、ショット輝度メタデータ502は、ショットの総数の部分集合のみを記述してもよく、より早いショットに対応するショット輝度メタデータ502が、より後のショットに対応するショット輝度メタデータ502の前に送信される。
【0053】
いくつかの例では、一部のタイプのメタデータのみが直接計算され、他のタイプのメタデータはそれから導出される。たとえば、時間的輝度エネルギー・メタデータ503は、（たとえば、図3Aに関して上述したような仕方で）計算されてもよい。その後、ショット輝度メタデータ502は、たとえばショット内の全フレームにわたって各フレーム輝度値を加算することによって、時間的輝度エネルギー・メタデータ503から導出されてもよい。いくつかの例では、次いで、全輝度メタデータ501は、たとえばコンテンツ内の全ショットにわたって各ショット輝度値を合計することによって、ショット輝度メタデータ502から導出されてもよい。これらの導出は、図1に示される上流ブロックで実行されて、符号化ビットストリーム126の一部として伝送されてもよく、または図1に示される下流ブロックにおいて実行されてもよい。
【0054】
所定の順序および／または所定の間隔で重要なパワー・メタデータを繰り返すことの代替として、またはそれに加えて、他の伝送順序が実装されてもよい。たとえば、コンテンツが1:1ストリームとして提出される場合、パワー・メタデータは、コンテンツ・ストリームに動的に追加されてもよく、再生サーバー（たとえば、図1に示される上流ブロックの一つまたは複数）によって動的に調整されうる。この構成では、パワー・メタデータの、より関連性の高い部分をより早く、またはより頻繁に伝送することが可能でありえ、これは、伝送エラーに対するさらなる堅牢性を提供でき、エンドユーザーがコンテンツ中でジャンプするか、またはコンテンツを途中から開始することを選択する場合に表示を容易にしうる。これは、関連するターゲット装置のグループの電力消費を調整するためにも使用されうる。たとえば、いくつかのターゲット・ディスプレイが共通の電源から電力を受ける場合に所与の最大電力予算を維持するためである。
【0055】
電力管理
符号化ビットストリーム126を受領すると、図1に示される下流のブロックは、受領されたパワー・メタデータに基づいて電力管理を実施することができる。電力管理を容易にするために、電力管理イベントを事前信号伝達するようある種のメタデータフラグが含められて、フレーム同期されもよい。たとえば、パワー・メタデータがバックライト（または、ピクセル）オーバードライブを示す場合、電力マネージャは、来るべきブースト可能な（boostable）イベントに関する、時刻付きの（timed）事前通知を受領することができる。図6は、そのような電力管理を実施するための例示的な動作タイムラインを示す。当業者には理解され認識されるように、そのような例は、類推により、または同様に、バックライト（またはピクセル）の一部（または全部）をアンダードライブする電力管理に適用されてもよい。
符号化ビットストリーム126を受領すると、図1に示される下流のブロックは、受領されたパワー・メタデータに基づいて電力管理を実施することができる。電力管理を容易にするために、電力管理イベントを事前信号伝達するようある種のメタデータフラグが含められて、フレーム同期されもよい。たとえば、パワー・メタデータがバックライト（または、ピクセル）オーバードライブを示す場合、電力マネージャは、来るべきブースト可能な（boostable）イベントに関する、時刻付きの（timed）事前通知を受領することができる。図6は、そのような電力管理を実施するための例示的な動作タイムラインを示す。当業者には理解され認識されるように、そのような例は、類推により、または同様に、バックライト（またはピクセル）の一部（または全部）をアンダードライブする電力管理に適用されてもよい。
【0056】
図6に示される例では、コンテンツは3つのショットを含む。最初のショットは有意なハイライトを含まず、15フレームの継続時間をもち、2番目のショットにはブースト可能なハイライトを含み、7フレームの継続時間をもち、3番目のショットには有意なハイライトを含まず、8フレームの継続時間をもつ。ソース・メタデータ（たとえば、符号化ビットストリーム126の一部として電力マネージャによって受領されたパワー・メタデータ）は、次のオーバードライブ（OD）要求へのフレーム・カウントダウンを示す第1のフラグ・データと、該オーバードライブ要求のフレーム継続時間を示す第2のフラグ・データとを含む。図6に示されるように、第1のフラグ・データはフレーム6で始まり、次のオーバードライブ要求がフレーム16で始まることを示し、第2のフラグ・データもフレーム6で始まり、次のオーバードライブ要求が7フレームにわたって続くことを示す。
【0057】
いくつかの例では、パワー受領器は、ターゲット・メタデータ（たとえば、ターゲット・ディスプレイ112によって受領され、使用されるパワー・メタデータ）を連続的に（continually）出力する。ターゲット・メタデータは、所与のフレームについての最大のスケーリングされた輝度を示す第1のターゲット・フラグ・データ（ここで、1はオーバードライブがないことを示す）と、ショットの平均ピクチャー・レベル（average picture level、APL）における絶対的な最大輝度を示す第2のターゲット・フラグ・データとを含むことができる。最大のスケーリングされた輝度および絶対的な最大輝度は、図6に示される特定の例では同じであるが、本開示はそれに限定されない。図6において、第1および第2のターゲット・フラグ・データは、フレーム1～フレーム15について（すなわち、ショット1について）オーバードライブがないことを示し、フレーム16～フレーム22について（すなわち、ショット2について）50%のオーバードライブがあることを示し、フレーム23～フレーム30について（すなわち、ショット3について）オーバードライブがないことを示す。
【0058】
パワー受領器は、ターゲット・ディスプレイ112が一つまたは複数の発光要素をオーバードライブ（またはアンダードライブ）するためにスーパーキャパシタ（supercapacitor）または他のそのようなデバイスを実装する場合、スーパーキャパシタまたは他の高速放電エネルギー蓄積デバイスの充電状態に関するデータをさらに出力することができる。エネルギー蓄積デバイスがスーパーキャパシタである場合、オーバードライブが開始するようスケジュールされているときにスーパーキャパシタが十分に充電されているように、このデータは、ターゲット・ディスプレイ112に対し、特定の時間にスーパーキャパシタの充電を開始するように命令する。いくつかの例では、データは代わりに、ターゲット・ディスプレイ112に、オーバードライブ要求のかなり前にスーパーキャパシタを充電し、放電要求が受領されるまで充電状態を維持するように命令してもよい。これは、発光要素がオーバードライブされることを示す。いくつかの例では、ターゲット・ディスプレイ112自体が、どのくらい前もってスーパーキャパシタの充電を開始するかを決定してもよい。当業者には理解され認識されるように、（たとえば、十分に前もってスーパーキャパシタを充電することによって）一つまたは複数の発光要素をオーバードライブする上記の例は、類推により、または同様に、たとえばスーパーキャパシタなどを放電することによって、前記一つまたは複数の発光要素をアンダードライブすることに適用されてもよい。
【0059】
パワー・メタデータ（たとえば、上述のソース・メタデータおよび／またはターゲット・メタデータ）は、図1に示される下流ブロックのうちの一つまたは複数に関連するバッファまたは他のメモリに格納されてもよい。たとえば、パワー・メタデータは、ターゲット・ディスプレイ112自体に設けられたバッファまたは他のメモリに格納されてもよい。これにより、パワー・メタデータの一部が順序外でおよび／または前もって受領され、電力マネージャが、その後にパワー・メタデータの前記一部を並べ替えるまたは組み立て直すように構成される順序付けスキームを許容する。パワー・メタデータのある種の部分の伝送を繰り返す伝送スキームとともに使用される場合、これは、データ損失に対して追加的なロバスト性を提供しうる。よって、たとえパワー・メタデータが完全なコンテンツの一部分についてのみ利用可能であるとしても、オーバードライブ（またはアンダードライブ）を含む電力マネジメントは、依然として適用されうる。いくつかの実装では、パワー・メタデータは、ターゲット・ディスプレイ112の外に、たとえばセットトップボックスまたはクラウドに格納されてもよい。
【0060】
バッファはまた、ターゲット・ディスプレイ112に固有のさまざまな設定パラメータおよびそのハードウェア特性を記述する構成ファイルを格納することができる。たとえば、構成ファイルは、以下のうちの一つまたは複数についての情報を含んでいてもよい：電力供給ユニット、ドライバチップ、発光要素などの最大負荷を含む電力消費仕様；発光要素またはパワーエレクトロニクス（LEDドライバなど）要素の冷却時間；ディスプレイ筐体内の局所的な熱発生の関数としての空間的な熱伝達；オーバードライブ・レベルの関数であってもよい、ディスプレイの最大オーバードライブ継続時間；スーパーキャパシタの存在、および、もしあれば、それらの容量、消耗レート、および充電レート；など。構成ファイルはまた、たとえば使用カウンタを実装し、それによりディスプレイの年齢または磨耗レベルに関する情報を提供するために、全体的にまたは部分的に更新可能であってもよい。いくつかの例では、一つまたは複数の周囲条件センサー（たとえば、温度センサー、湿度センサー、周囲光センサーなど）は、対応する周囲条件を検出するために提供されてもよく、該一つまたは複数の周囲条件センサーによって検出された情報は、ディスプレイの磨耗レベルの決定を容易にするために、構成ファイル内または構成ファイルと並んで記憶されてもよい。このリアルタイム・センサー情報はまた、画像忠実度のアーチファクトを回避するようディスプレイ電力管理システムに影響を与えるために（たとえば、オーバードライブまたはアンダードライブに影響を与えるために）使用されてもよい。一例は、周囲光レベルが高い間にピクセルをアンダードライブすることを避けることである。
【0061】
用途と効果
本明細書に記載されるさまざまなアプローチ、システム、方法、および装置は、パワー・メタデータを実装して、限定なしに上述の方法でターゲット・ディスプレイの挙動に影響を与えることができる。すなわち、本開示のさまざまな側面は、ディスプレイ管理マッピング挙動に影響を与える（たとえば、輝度出力を制限する、ベースライン・マッピングから逸脱する、など）；バックライト・ユニットまたは（自己発光ディスプレイ技術においては）ピクセル自体をオーバードライブし、それにより個々のピクセル、ピクセル・グループまたはパネル全体の最大輝度を、過度に保守的な製造業者が設定した限界を超えて増加させる一方で、電源ユニットへの過度の賦課を回避する；たとえば空間的および／または時間的な電力およびエネルギーの期待に基づいて熱パネルまたはバックライト特性を管理するための、ディスプレイ電力管理システムについての粒度を高める；マルチディスプレイ・システムにおいて電力を管理するために、トリムパスのような挙動を提供し、信号がターゲット装置によってトーンマッピングされた後に輝度レベルを表す；規制（たとえば、エネルギー・スター（Energy Star）・コンプライアンス）目的のためまたは電力節約（たとえば、バッテリーで動作する装置）のためにディスプレイ電力使用をインテリジェントに制限する；などのために使用されてもよい。
本明細書に記載されるさまざまなアプローチ、システム、方法、および装置は、パワー・メタデータを実装して、限定なしに上述の方法でターゲット・ディスプレイの挙動に影響を与えることができる。すなわち、本開示のさまざまな側面は、ディスプレイ管理マッピング挙動に影響を与える（たとえば、輝度出力を制限する、ベースライン・マッピングから逸脱する、など）；バックライト・ユニットまたは（自己発光ディスプレイ技術においては）ピクセル自体をオーバードライブし、それにより個々のピクセル、ピクセル・グループまたはパネル全体の最大輝度を、過度に保守的な製造業者が設定した限界を超えて増加させる一方で、電源ユニットへの過度の賦課を回避する；たとえば空間的および／または時間的な電力およびエネルギーの期待に基づいて熱パネルまたはバックライト特性を管理するための、ディスプレイ電力管理システムについての粒度を高める；マルチディスプレイ・システムにおいて電力を管理するために、トリムパスのような挙動を提供し、信号がターゲット装置によってトーンマッピングされた後に輝度レベルを表す；規制（たとえば、エネルギー・スター（Energy Star）・コンプライアンス）目的のためまたは電力節約（たとえば、バッテリーで動作する装置）のためにディスプレイ電力使用をインテリジェントに制限する；などのために使用されてもよい。
【0062】
トリムパス（trim pass）は、それがなければコンピュータ・アルゴリズム（たとえば、パワー・メタデータの一つまたは複数の部分を生成するアルゴリズム）によって決定されるマッピングパラメータの人間によるオーバーライドを容易にする機能である。いくつかの例では、オーバーライドは、コンピュータ・アルゴリズムの結果が（たとえば400ニトの表示最大（display max）における）特定のターゲット・ディスプレイのダイナミックレンジ・ブラケットについてのビデオまたはコンテンツ作成者の意図をカバーするかどうかを判定した後に、ある見え方が提供されるまたは保存されることを確実にするために、カラーグレーディング・プロセスの間に、実行されてもよい。よって、パワー・メタデータは、ターゲット・ディスプレイに、一つまたは複数のショットまたはシーンについてのアルゴリズム推奨を変更するまたは無効にすることをさせる情報を含むように更新されてもよい。
【0063】
これを実現するために、トリムパスのような挙動は、ターゲットディスプレイ・システムが、その現在の再生輝度ブラケットに従ってパワー・メタデータを利用する構成によって実現されてもよい。ディスプレイがデフォルトでないターゲット輝度ブラケットにマッピングされる場合、ディスプレイ電力管理システムは、それに応じてトリムパスを決定するように構成されてもよい。たとえば、ディスプレイがデフォルト・マッピングからブースト・モード・マッピング（たとえば、オーバードライブ）に移行する場合、ディスプレイ電力管理システムは、より低い輝度エネルギー・トリムパスからより高いものに切り換えることができる。
【0064】
ある具体的な例では、パワー・メタデータの生成中に、アルゴリズムは、アンダードライブが特定のショットについて実行されるべきであることを示すことができる。しかしながら、該特定のショットのためのアンダードライブは、ナラティブまたはその他の理由から推奨できない場合がある。よって、カラーグレーダー（人間またはそれ以外）は、パワー・メタデータを修正または補足して、それにより、ディスプレイ電力管理システムに、アルゴリズムの初期出力にもかかわらず、ターゲット・ディスプレイを（アンダードライブではなく）駆動させてもよい。
【0065】
本開示によるシステムおよび装置は、以下の構成のいずれか一つまたは複数をとることができる。
（１）画像データおよびパワー・メタデータを受領するステップであって、前記パワー・メタデータは、電力消費または期待される電力消費に関する情報を含む、ステップと； 前記パワー・メタデータに基づいて、前記電力消費または前記期待される電力消費に応答して、ターゲット・ディスプレイによって実行されうる駆動修正の量および継続時間を決定するステップと； 前記決定の結果に基づいて、前記ターゲット・ディスプレイに関連する少なくとも1つの発光要素の駆動を、製造業者が決定した閾値に対して修正する、前記パワー・メタデータに基づく前記ターゲット・ディスプレイの電力管理を実行するステップとを含み、 前記パワー・メタデータは、時間的輝度エネルギー・メタデータ、空間的輝度エネルギー・メタデータ、空間的時間的変動メタデータ、またはそれらの組み合わせのうちの少なくとも1つを含む、方法。
（２）前記ターゲット・ディスプレイによって実行されうる前記駆動修正の量および継続時間を決定するステップは、前記少なくとも1つの発光要素を損傷することなく前記ターゲット・ディスプレイによって実行されうるオーバードライブの量および継続時間を決定することを含み、 前記ターゲット・ディスプレイの電力管理を実行するステップは、前記少なくとも1つの発光要素を、選択的に、製造業者が決定した閾値を超えるようにオーバードライブすることを含む、（１）に記載の方法。
（３）前記ターゲット・ディスプレイによって実行されうる駆動修正の量および継続時間を決定するステップは、前記電力消費または前記期待される電力消費に応答して、前記ターゲット・ディスプレイによって実行されうるアンダードライブの量および継続時間を決定することを含み、 前記ターゲット・ディスプレイの電力管理を実行するステップは、前記少なくとも1つの発光要素の輝度を低減することを含む、（１）または（２）に記載の方法。
（４）前記画像データおよび前記パワー・メタデータは、符号化ビットストリームとして一緒に受領される、（１）ないし（３）のうちいずれか一項に記載の方法。
（５）前記符号化ビットストリームの第1のフレームにおいて前記パワー・メタデータの第1の部分を受領し； 前記パワー・メタデータの前記第1の部分をバッファに記憶することをさらに含む、（４）に記載の方法。
（６）前記バッファから前記パワー・メタデータの前記第1の部分を取り出し； 前記パワー・メタデータの前記第1の部分に基づいて、前記符号化ビットストリームの第2のフレームに対応する前記画像データのための前記ターゲット・ディスプレイの電力管理を実行することをさらに含み、 前記第2のフレームは、前記第1のフレームと比較して後の画像フレームである、
（５）に記載の方法。
（７）前記画像データおよび前記パワー・メタデータは、異なる伝送経路を介して受領される、（１）ないし（６）のうちいずれか一項に記載の方法。
（８）前記パワー・メタデータは、前記時間的輝度エネルギー・メタデータを含み、当該方法は： 前記時間的輝度エネルギー・メタデータからショット輝度メタデータを導出することをさらに含み、前記ショット輝度メタデータは、前記符号化ビットストリームのショットの輝度エネルギーに関する情報を含む、
（１）ないし（７）のうちいずれか一項に記載の方法。
（９）前記パワー・メタデータに基づいてターゲット・メタデータを生成するステップをさらに含み、前記ターゲット・メタデータは、オーバードライブ要求へのフレーム・カウントダウンを示す第1のフラグ・データまたは前記オーバードライブ要求のフレーム継続時間を示す第2のフラグ・データのうちの少なくとも1つを含む、（１）ないし（８）のうちいずれか一項に記載の方法。
（１０）前記ターゲット・ディスプレイの電力管理を実行するステップは、前記ターゲット・ディスプレイに、該ターゲット・ディスプレイに付随する少なくとも1つのエネルギー蓄積デバイスを充電させることを含む、（１）ないし（９）のうちいずれか一項に記載の方法。
（１１）前記ターゲット・ディスプレイの電力管理を実行するステップは、前記ターゲット・ディスプレイに、該ターゲット・ディスプレイに付随する少なくとも1つのエネルギー蓄積デバイスを放電させることを含む、（１）ないし（１０）のうちいずれか一項に記載の方法。
（１２）画像形成メタデータを受領するステップと；前記画像形成メタデータに基づいて前記画像データを表示するように前記ターゲット・ディスプレイを制御するステップとをさらに含む、（１）ないし（１１）のうちいずれか一項に記載の方法。
（１３）コンピュータのプロセッサによって実行されると、（１）ないし（１２）のうちいずれか一項に記載の方法を含む動作を該コンピュータに実行させる命令を記憶している非一時的なコンピュータ読み取り可能媒体。
（１４）少なくとも1つの発光要素を含むディスプレイと； ディスプレイ管理回路とを有する装置であって、前記ディスプレイ管理回路は： パワー・メタデータを受領するステップであって、前記パワー・メタデータは、電力消費または期待される電力消費に関する情報を含む、ステップと； 前記パワー・メタデータに基づいて、前記電力消費または前記期待される電力消費に応答して前記ディスプレイによって実行されうる駆動修正の量および継続時間を決定するステップと； 前記決定の結果に基づいて、前記少なくとも1つの発光要素の駆動を、製造業者が決定した閾値に対して修正する、前記パワー・メタデータに基づく前記ディスプレイの電力管理を実行するステップとを実行するように構成されており、 前記パワー・メタデータは、時間的輝度エネルギー・メタデータ、空間的輝度エネルギー・メタデータ、空間的時間的変動メタデータ、またはそれらの組み合わせのうちの少なくとも1つを含む、装置。
（１５）所定の構成ファイルを記憶するように構成されたメモリをさらに有しており、前記所定の構成ファイルは、前記ディスプレイの少なくとも1つの設定パラメータに関連する情報を含む、（１４）に記載の装置。
（１６）前記構成ファイルは、前記ディスプレイの電力消費仕様、前記少なくとも1つの発光要素の冷却時間、前記ディスプレイの空間熱伝達、前記ディスプレイの最大オーバードライブ継続時間、または前記ディスプレイ内のスーパーキャパシタの存在のうちの少なくとも1つに関する情報を含む、（１５）に記載の装置。
（１７）前記構成ファイルは、前記ディスプレイの年齢または前記ディスプレイの磨耗のレベルのうちの少なくとも1つに関する情報を示す使用カウンタを含む、（１５）または（１６）に記載の装置。
（１８）周囲条件を検出するように構成された周囲条件センサーをさらに有しており、 前記メモリは、前記周囲条件に関する情報を記憶するように構成されている、（１５）ないし（１７）のうちいずれか一項に記載の装置。
（１９）画像データおよび前記パワー・メタデータを含む符号化ビットストリームを受領し、前記パワー・メタデータを前記ディスプレイ管理回路に提供するように構成されたデコーダをさらに有する、（１４）ないし（１８）のうちいずれか一項に記載の装置。
（２０）前記符号化ビットストリームは、画像形成メタデータをさらに含み、前記ディスプレイ管理回路は、前記画像形成メタデータに基づいて前記画像データの表示を修正するように前記ディスプレイを制御するように構成される、（１９）に記載の装置。
（１）画像データおよびパワー・メタデータを受領するステップであって、前記パワー・メタデータは、電力消費または期待される電力消費に関する情報を含む、ステップと； 前記パワー・メタデータに基づいて、前記電力消費または前記期待される電力消費に応答して、ターゲット・ディスプレイによって実行されうる駆動修正の量および継続時間を決定するステップと； 前記決定の結果に基づいて、前記ターゲット・ディスプレイに関連する少なくとも1つの発光要素の駆動を、製造業者が決定した閾値に対して修正する、前記パワー・メタデータに基づく前記ターゲット・ディスプレイの電力管理を実行するステップとを含み、 前記パワー・メタデータは、時間的輝度エネルギー・メタデータ、空間的輝度エネルギー・メタデータ、空間的時間的変動メタデータ、またはそれらの組み合わせのうちの少なくとも1つを含む、方法。
（２）前記ターゲット・ディスプレイによって実行されうる前記駆動修正の量および継続時間を決定するステップは、前記少なくとも1つの発光要素を損傷することなく前記ターゲット・ディスプレイによって実行されうるオーバードライブの量および継続時間を決定することを含み、 前記ターゲット・ディスプレイの電力管理を実行するステップは、前記少なくとも1つの発光要素を、選択的に、製造業者が決定した閾値を超えるようにオーバードライブすることを含む、（１）に記載の方法。
（３）前記ターゲット・ディスプレイによって実行されうる駆動修正の量および継続時間を決定するステップは、前記電力消費または前記期待される電力消費に応答して、前記ターゲット・ディスプレイによって実行されうるアンダードライブの量および継続時間を決定することを含み、 前記ターゲット・ディスプレイの電力管理を実行するステップは、前記少なくとも1つの発光要素の輝度を低減することを含む、（１）または（２）に記載の方法。
（４）前記画像データおよび前記パワー・メタデータは、符号化ビットストリームとして一緒に受領される、（１）ないし（３）のうちいずれか一項に記載の方法。
（５）前記符号化ビットストリームの第1のフレームにおいて前記パワー・メタデータの第1の部分を受領し； 前記パワー・メタデータの前記第1の部分をバッファに記憶することをさらに含む、（４）に記載の方法。
（６）前記バッファから前記パワー・メタデータの前記第1の部分を取り出し； 前記パワー・メタデータの前記第1の部分に基づいて、前記符号化ビットストリームの第2のフレームに対応する前記画像データのための前記ターゲット・ディスプレイの電力管理を実行することをさらに含み、 前記第2のフレームは、前記第1のフレームと比較して後の画像フレームである、
（５）に記載の方法。
（７）前記画像データおよび前記パワー・メタデータは、異なる伝送経路を介して受領される、（１）ないし（６）のうちいずれか一項に記載の方法。
（８）前記パワー・メタデータは、前記時間的輝度エネルギー・メタデータを含み、当該方法は： 前記時間的輝度エネルギー・メタデータからショット輝度メタデータを導出することをさらに含み、前記ショット輝度メタデータは、前記符号化ビットストリームのショットの輝度エネルギーに関する情報を含む、
（１）ないし（７）のうちいずれか一項に記載の方法。
（９）前記パワー・メタデータに基づいてターゲット・メタデータを生成するステップをさらに含み、前記ターゲット・メタデータは、オーバードライブ要求へのフレーム・カウントダウンを示す第1のフラグ・データまたは前記オーバードライブ要求のフレーム継続時間を示す第2のフラグ・データのうちの少なくとも1つを含む、（１）ないし（８）のうちいずれか一項に記載の方法。
（１０）前記ターゲット・ディスプレイの電力管理を実行するステップは、前記ターゲット・ディスプレイに、該ターゲット・ディスプレイに付随する少なくとも1つのエネルギー蓄積デバイスを充電させることを含む、（１）ないし（９）のうちいずれか一項に記載の方法。
（１１）前記ターゲット・ディスプレイの電力管理を実行するステップは、前記ターゲット・ディスプレイに、該ターゲット・ディスプレイに付随する少なくとも1つのエネルギー蓄積デバイスを放電させることを含む、（１）ないし（１０）のうちいずれか一項に記載の方法。
（１２）画像形成メタデータを受領するステップと；前記画像形成メタデータに基づいて前記画像データを表示するように前記ターゲット・ディスプレイを制御するステップとをさらに含む、（１）ないし（１１）のうちいずれか一項に記載の方法。
（１３）コンピュータのプロセッサによって実行されると、（１）ないし（１２）のうちいずれか一項に記載の方法を含む動作を該コンピュータに実行させる命令を記憶している非一時的なコンピュータ読み取り可能媒体。
（１４）少なくとも1つの発光要素を含むディスプレイと； ディスプレイ管理回路とを有する装置であって、前記ディスプレイ管理回路は： パワー・メタデータを受領するステップであって、前記パワー・メタデータは、電力消費または期待される電力消費に関する情報を含む、ステップと； 前記パワー・メタデータに基づいて、前記電力消費または前記期待される電力消費に応答して前記ディスプレイによって実行されうる駆動修正の量および継続時間を決定するステップと； 前記決定の結果に基づいて、前記少なくとも1つの発光要素の駆動を、製造業者が決定した閾値に対して修正する、前記パワー・メタデータに基づく前記ディスプレイの電力管理を実行するステップとを実行するように構成されており、 前記パワー・メタデータは、時間的輝度エネルギー・メタデータ、空間的輝度エネルギー・メタデータ、空間的時間的変動メタデータ、またはそれらの組み合わせのうちの少なくとも1つを含む、装置。
（１５）所定の構成ファイルを記憶するように構成されたメモリをさらに有しており、前記所定の構成ファイルは、前記ディスプレイの少なくとも1つの設定パラメータに関連する情報を含む、（１４）に記載の装置。
（１６）前記構成ファイルは、前記ディスプレイの電力消費仕様、前記少なくとも1つの発光要素の冷却時間、前記ディスプレイの空間熱伝達、前記ディスプレイの最大オーバードライブ継続時間、または前記ディスプレイ内のスーパーキャパシタの存在のうちの少なくとも1つに関する情報を含む、（１５）に記載の装置。
（１７）前記構成ファイルは、前記ディスプレイの年齢または前記ディスプレイの磨耗のレベルのうちの少なくとも1つに関する情報を示す使用カウンタを含む、（１５）または（１６）に記載の装置。
（１８）周囲条件を検出するように構成された周囲条件センサーをさらに有しており、 前記メモリは、前記周囲条件に関する情報を記憶するように構成されている、（１５）ないし（１７）のうちいずれか一項に記載の装置。
（１９）画像データおよび前記パワー・メタデータを含む符号化ビットストリームを受領し、前記パワー・メタデータを前記ディスプレイ管理回路に提供するように構成されたデコーダをさらに有する、（１４）ないし（１８）のうちいずれか一項に記載の装置。
（２０）前記符号化ビットストリームは、画像形成メタデータをさらに含み、前記ディスプレイ管理回路は、前記画像形成メタデータに基づいて前記画像データの表示を修正するように前記ディスプレイを制御するように構成される、（１９）に記載の装置。
【0066】
本明細書に記載されたプロセス、システム、方法、ヒューリスティック等に関して、かかるプロセスのステップ等は、ある順序付けられたシーケンスに従って生起するものとして記載されているが、かかるプロセスは、本明細書に記載された順序以外の順序で実行される記載されたステップを用いて実施されうることが理解されるべきである。さらに、ある種のステップは同時に実行されることができること、他のステップを追加されることができること、または本明細書に記載されるある種のステップが省略されることができることを理解すべきである。換言すれば、本明細書におけるプロセスの説明は、ある種の実施形態を説明する目的で提供されるものであり、決して請求項を限定するように解釈されるべきではない。
【0067】
よって、上述の説明は例示的であり、制約するものではないことが理解されるべきである。提供される例以外の多くの実施形態および応用が、上記の説明を読めば明白になるであろう。範囲は、上記の説明を参照してではなく、添付の請求項を参照して、そのような請求項が資格を有する均等物の全範囲とともに決定されるべきである。本明細書中で議論される技術において将来の発展が起こり、開示されるシステムおよび方法がそのような将来の実施形態に組み込まれることが予期され、意図される。要するに、本願は変更および変更が可能であることが理解されるべきである。
【0068】
特許請求の範囲で使用されるすべての用語は、本明細書に記載される技術に精通している者によって理解されるように、それらの最も広い合理的な解釈およびそれらの通常の意味を与えることが意図されている。ただし、本明細書でそうではないことが明示的に示される場合はこの限りではない。特に、「a」、「the」、「said」等の単数冠詞の使用は、請求項が反対の明示的限定を記載していない限り、示された要素の一つまたは複数を記載していると読むべきである。
【0069】
本開示の要約は、読者が技術的開示の性質を迅速に確認できるように提供される。要約書は、特許請求の範囲または意味を解釈または限定するために使用されないという理解のもとに提出される。さらに、前述の詳細な説明では、さまざまな特徴が、本開示の流れをよくする目的で、さまざまな実施形態において、一緒にグループ化されていることがわかる。この開示方法は、特許請求の範囲に記載された実施形態が、各請求項において明示的に記載されているよりも多くの特徴を含むという意図を反映するものとして解釈されるべきではない。むしろ、請求項が反映しているように、発明的な主題は、単一の開示実施形態の全特徴より少ないものにある。したがって、以下の請求項は、詳細な説明に組み込まれ、各請求項は、別個に請求される主題事項として自立する。
【図1】
【図2A】
【図2B】
【図3A】
【図3B】
【図4】
【図5】
【図6】
【国際調査報告】