知財求人 - 知財ポータルサイト「IP Force」
特表2024-517241ディスプレイに最適化されたＨＤＲビデオコントラスト適応
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-19
(54)【発明の名称】ディスプレイに最適化されたＨＤＲビデオコントラスト適応
(51)【国際特許分類】
H04N 5/20 20060101AFI20240412BHJP
G06T 5/90 20240101ALI20240412BHJP
【ＦＩ】
H04N5/20
G06T5/90
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023568026
(86)(22)【出願日】2022-04-24
(85)【翻訳文提出日】2023-11-02
(86)【国際出願番号】 EP2022060792
(87)【国際公開番号】W WO2022233612
(87)【国際公開日】2022-11-10
(31)【優先権主張番号】21172660.9
(32)【優先日】2021-05-07
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
(71)【出願人】
【識別番号】590000248
【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ
【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．
【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ
(74)【代理人】
【識別番号】110001690
【氏名又は名称】弁理士法人Ｍ＆Ｓパートナーズ
(72)【発明者】
【氏名】ナイランド ルトガー
【テーマコード（参考）】
5B057
【Ｆターム（参考）】
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE11
5B057DB02
5B057DB06
5B057DB09
(57)【要約】
様々な潜在的にかなり異なる視聴環境光レベルに対してより良好な視聴可能な画像を実用的なやり方で取得するために、本発明者は、出力画像を取得するために入力画像を処理する方法を提案する。方法は、入力画像が、第１の最大輝度ＰＬ＿Ｖ＿ＨＤＲを有する第１の輝度ダイナミックレンジＤＲ＿１内にある入力輝度を有するピクセルを有し、基準輝度マッピング関数Ｆ＿Ｌが、入力画像に関連するメタデータとして受け取られ、基準輝度マッピング関数が、第１の基準画像の輝度と第２の基準画像の輝度との間の関係を指定し、第１の基準画像が第１の基準最大輝度を有し、第２の基準画像が第２の基準最大輝度ＰＬ＿Ｖ＿ＳＤＲを有し、入力画像が第１の基準画像に等しく、出力画像が、第１の基準画像にも第２の基準画像にも等しくなく、出力画像が、第１の最大輝度よりも低い出力最大輝度ＰＬ＿Ｖ＿ＭＤＲを有し、処理が、基準輝度マッピング関数Ｆ＿Ｌに基づく適応輝度マッピング関数ＦＬ＿ＤＡを決定するステップと、出力輝度を取得するために、適応輝度マッピング関数ＦＬ＿ＤＡを入力ピクセル輝度に適用するステップとを有し、適応輝度マッピング関数ＦＬ＿ＤＡが、調節された最大輝度値ＰＬ＿Ｖ＿ＣＯに基づいて計算され、適応輝度マッピング関数ＦＬ＿ＤＡの計算が、最大輝度のメトリックＳＭ上の位置ｐｏｓを見つけるステップを有し、その位置が、調節された最大輝度値ＰＬ＿Ｖ＿ＣＯに対応し、メトリックの第１の端点が、第１の最大輝度ＰＬ＿Ｖ＿ＨＤＲに対応し、メトリックの第２の端点が、第２の基準画像の第２の基準最大輝度ＰＬ＿Ｖ＿ＳＤＲに対応し、メトリックの第１の端点が、任意の正規化入力ルマＹｎ＿ＣＣ０に対して、その正規化入力ルマに等しい水平及び垂直座標を有する対角線上の点に配置され、第２の端点が、基準輝度マッピング関数Ｆ＿Ｌの出力値と連結され、調節された最大輝度値ＰＬ＿Ｖ＿ＣＯが、周囲照明値Ｌｘ＿ｓｕｒを取得し、基準照明値ＧｅｎＶｗＬｘを周囲照明値Ｌｘ＿ｓｕｒで除算することによって相対的周囲光レベルＳｕｒＭｕｌｔを取得し、出力最大輝度ＰＬ＿Ｖ＿ＭＤＲに相対的周囲光レベルＳｕｒＭｕｌｔを乗算した結果として、調節された最大輝度値ＰＬ＿Ｖ＿ＣＯを取得することによって決定されることを特徴とする。
【特許請求の範囲】
【請求項1】
出力画像を取得するために入力画像を処理する方法であって、前記入力画像が、第１の最大輝度を有する第１の輝度ダイナミックレンジ内にある入力輝度を有するピクセルを有し、
基準輝度マッピング関数が、前記入力画像に関連するメタデータとして受け取られ、
前記基準輝度マッピング関数が、２つの画像内の配置されたピクセルの輝度の間の関係を指定し、前記２つの画像は、同じ画像オブジェクトのピクセル輝度が前記２つの画像において異なるピクセル輝度を有するという点で、異なるようにグレーディングされ、
前記基準輝度マッピング関数が、前記入力画像の輝度と、第２の基準最大輝度を有する二次基準画像の輝度との間の関係を指定し、
前記出力画像が、前記入力画像及び前記二次基準画像とは異なるオブジェクトピクセル輝度のグレーディングであり、前記出力画像が、前記第１の最大輝度及び前記第２の基準最大輝度とは異なる出力最大輝度を有し、
前記処理が、前記基準輝度マッピング関数に基づく適応輝度マッピング関数を決定するステップと、出力輝度を取得するために、前記適応輝度マッピング関数を前記入力ピクセル輝度に適用するステップとを有する方法において、
前記適応輝度マッピング関数が、調節された最大輝度値に基づいて計算され、
前記適応輝度マッピング関数の計算が、最大輝度のメトリック上の位置を見つけるステップを有し、前記位置が、前記調節された最大輝度値に対応し、
前記メトリックの第１の端点が、前記第１の最大輝度に対応し、前記メトリックの第２の端点が、前記第２の基準画像の第２の基準最大輝度に対応し、
前記メトリックの前記第１の端点が、任意の正規化入力ルマに対して、その正規化入力ルマに等しい水平及び垂直座標を有する対角線上の点に配置され、
前記第２の端点は、それが前記基準輝度マッピング関数の点の軌跡上にあるという点で、前記基準輝度マッピング関数の出力値と連結され、
前記調節された最大輝度値が、
周囲照明値を取得するステップと、
基準照明値を前記周囲照明値で除算することによって相対的周囲光レベルを取得するステップと、
前記出力最大輝度に前記相対的周囲光レベルを乗算した結果として、前記調節された最大輝度値を取得するステップと
によって決定されることを特徴とする、方法。
【請求項2】
前記基準輝度マッピング関数が、前記入力画像の作成者によって作成され、画像通信チャネルを介してメタデータとして受信される、請求項１に記載の方法。
【請求項3】
ディスプレイのユーザから入力値を得るステップと、前記入力値に強度値及び前記出力最大輝度を乗算することによってユーザ制御値を計算するステップと、
ユーザ調節された最大輝度値を取得するために前記最大輝度値から前記ユーザ制御値を減算するステップと、
前記適応輝度マッピング関数を決定するために前記ユーザ調節された最大輝度値を前記メトリック上の位置として使用するステップと
を有する、請求項１又は２に記載の方法。
【請求項4】
前記処理が、前記入力画像における最も暗い黒を、前記周囲照明値の関数としての黒オフセット値に設定するステップを加えて実行される、請求項１から３のいずれか一項に記載の方法。
【請求項5】
出力画像を取得するために入力画像を処理するための装置であって、前記入力画像が、第１の最大輝度を有する第１の輝度ダイナミックレンジ内にある入力輝度を有するピクセルを有し、前記装置が、
前記入力画像を取得するための画像入力部と、
前記入力画像に関連するメタデータである基準輝度マッピング関数を受け取るためのデータ入力部であって、
前記基準輝度マッピング関数が、２つの画像内の配置されたピクセルの輝度の間の関係を指定し、前記２つの画像は、同じ画像オブジェクトのピクセル輝度が前記２つの画像において異なるピクセル輝度を有するという点で、異なるようにグレーディングされ、
前記基準輝度マッピング関数が、前記入力画像の輝度と、第２の基準最大輝度を有する二次基準画像の輝度との間の関係を指定し、
前記第２の基準画像が、前記第１の最大輝度とは異なる第２の基準最大輝度を有し、
前記出力画像が、前記入力画像及び前記二次基準画像とは異なるオブジェクトピクセル輝度のグレーディングであり、前記出力画像が、前記第１の最大輝度及び前記第２の基準最大輝度とは異なる出力最大輝度を有する、データ入力部と、
周囲照明値として表される、ディスプレイに当たる周囲環境の光の量を決定するための照度計と、
前記基準輝度マッピング関数に基づく適応輝度マッピング関数を決定するため、及び出力輝度又は対応するルマを取得するために前記適応輝度マッピング関数を入力ピクセル輝度又は対応するルマに適用するためのディスプレイ適応回路と
を含む、装置において、
前記装置が、最大輝度決定ユニットを含み、前記最大輝度決定ユニットが、調節された最大輝度値を決定し、それを前記ディスプレイ適応回路に供給し、
前記最大輝度決定ユニットが、メモリから基準照明値を取得し、出力最大輝度を取得し、前記周囲照明値を受け取り、前記調節された最大輝度値を、
前記基準照明値を前記周囲照明値で除算することによって相対的周囲光レベルを決定し、
前記出力最大輝度に前記相対的周囲光レベルを乗算した結果として、前記調節された最大輝度値を取得する
ことによって決定するためのものであることを特徴とし、
前記ディスプレイ適応回路が、前記調節された最大輝度値に基づいて前記適応輝度マッピング関数を決定するためのものであり、
前記適応輝度マッピング関数の前記計算が、前記調節された最大輝度値に対応するメトリック上の位置を見つけることを含み、
前記メトリックの第１の端点が、前記第１の最大輝度に対応し、前記メトリックの第２の端点が、前記第２の基準画像の最大輝度に対応し、
前記メトリックの前記第１の端点が、任意の正規化入力ルマに対して、前記入力ルマに等しい水平及び垂直座標を有する対角線上の点に配置され、
前記第２の端点が、前記基準輝度マッピング関数の出力値と連結される
ことを特徴とする、装置。
【請求項6】
ディスプレイのユーザから入力値を得て、前記入力値に強度値及び前記出力最大輝度を乗算することによってユーザ制御値を計算するためのユーザ値回路を含み、前記最大輝度決定ユニットが、
前記ユーザ制御値を受け取り、ユーザ調節された最大輝度値を取得するために前記最大輝度値から前記ユーザ制御値を減算するためのものであり、
前記ディスプレイ適応回路が、前記適応輝度マッピング関数を決定するために前記ユーザ調節された最大輝度値を前記メトリック上の位置として使用するためのものである、請求項５に記載の装置。
【請求項7】
前記周囲照明値の関数として、前記入力画像内の最も暗い黒ルマを黒オフセットルマに設定するための黒適応回路を含む、請求項５又は６に記載の装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、特定の視聴サイトの環境光量の下でＨＤＲビデオを表示する状況に所望の見た目をもたらすために高ダイナミックレンジビデオの画像ピクセル輝度を適応させるための方法及び装置に関する。
【背景技術】
【0002】
数年前に、高ダイナミックレンジ（ＨＤＲ）ビデオ符号化の新規な技法が、特に出願人によって紹介された（例えば、ＷＯ２０１７１５７９７７参照）。
【0003】
ビデオの符号化は、一般に、画像を表すために、色コード（例えば、ピクセルごとのルマ及び２つのクロマ）を作ること又はより正確に定義することに主として又はただ単に関係する。これは、ＨＤＲ画像を最適に表示するやり方を知ることとは異なることである（例えば、最も単純な方法は、単に、高度に非線形な光電伝達関数ＯＥＴＦを利用して、所望の輝度を、例えば１０ビットルマコードに変換し、逆の場合も同様であり、逆に形成された電光伝達関数ＥＯＴＦを使用して、１０ビット電気ルマコードを、表示されるべき光ピクセル輝度にマッピングすることによって、それらのビデオピクセルルマコードを、表示されるべき輝度に変換するが、より複雑なシステムは、特に、画像の符号化を符号化画像の特定の使用から切り離すことによっていくつかの方向に逸脱する）。
【0004】
ＨＤＲビデオの符号化及び取り扱いは、旧来のビデオ技術の使われ方とは全く対照をなし、旧来のビデオ技術によれば、最近まですべてのビデオが符号化されており、それは、今日では、標準ダイナミックレンジ（ＳＤＲ）ビデオ符号化（別名、低ダイナミックレンジビデオ符号化；ＬＤＲ）と呼ばれる。このＳＤＲは、アナログ時代にＰＡＬ又はＮＴＳＣとして始まり、デジタルビデオ時代にＲｅｃ．７０９ベース符号化、例えばＭＰＥＧ２圧縮に移行した。
【0005】
２０世紀には動画を通信するための満足な技術であったが、２０世紀ＣＲＴの電子ビーム又は世界的なＴＬバックライトＬＣＤの物理的限界を超えたディスプレイ技術の進歩が、旧来のディスプレイよりも著しく明るい（及び潜在的にさらにより暗い）ピクセルをもつ画像を示すことを可能にし、それは、そのようなＨＤＲ画像を符号化及び作成することができる必要性を主張した。
【0006】
実際、非常に明るい、場合によってはさらにより暗い画像オブジェクトを様々な理由のためにＳＤＲ標準（８ビットＲｅｃ．７０９）で符号化できないことから始まり、最初に、それらの輝度範囲の広い色を技術的に表すことができるやり方が発明され、それから、１つずつビデオ技術のすべてのルールが再考され、多くの場合、再発明されなければならなかった。
【0007】
Ｒｅｃ．７０９のＳＤＲのルマコード定義は、ほぼ平方根ＯＥＴＦ関数形状ルマＹ＿ｃｏｄｅ＝ｐｏｗｅｒ（２，Ｎ）＊ｓｑｒｔ（Ｌ＿ｎｏｒｍ）のために、約１０００：１輝度ダイナミックレンジしか符号化する（８又は１０ビットルマで）ことができなかった。ここで、Ｎはルマチャネルのビット数であり、Ｌ＿ｎｏｒｍは物理的輝度の０と１との間で正規化されたバージョンである。
【0008】
さらに、ＳＤＲ時代には、表示されるべき絶対輝度が定義されておらず、そのため、実際には、最大相対的輝度Ｌ＿ｎｏｒｍ＿ｍａｘ＝１００％、又は１は、平方根ＯＥＴＦを介して、例えば、Ｙ＿ｃｏｄｅ＿ｍａｘ＝２５５に対応する最大正規化ルマコードＹｎ＝１にマッピングされた。これは、絶対ＨＤＲ画像を作ることと比較して、いくつかの技術的な違いを有し、すなわち、２００ｎｉｔとして表示されるように符号化された画像ピクセルは、理想的には（すなわち、可能な場合には）すべてのディスプレイで２００ｎｉｔとして表示され、全く異なる表示輝度として表示されない。相対的パラダイムでは、２００ｎｉｔ符号化ピクセル輝度は、より明るいディスプレイ、すなわち、より明るい最大表示可能輝度ＰＬ＿Ｄ（別名、表示最大輝度）をもつディスプレイでは３００ｎｉｔで表示され、例えば、より少ない能力のディスプレイでは１００ｎｉｔで表示される。さらに、絶対符号化は、正規化輝度表現又は正規化３Ｄ色域で機能するが、１．０は、例えば、一意的に１０００ｎｉｔを意味することに留意されたい。
【0009】
ディスプレイにおいて、そのような相対的画像は、通常、ビデオの最も明るい輝度を最も明るい表示可能なピクセル輝度にマッピングすることによって、多少ヒューリスティックに表示された（それは、さらなる輝度マッピングを必要とすることなく、最大ルマＹ＿ｃｏｄｅ＿ｍａｘによるディスプレイパネルの電気的駆動を介して自動的に行われた）。そのため、２００ｎｉｔＰＬ＿Ｄディスプレイを購入した場合、白は、１００ｎｉｔのＰＬ＿Ｄディスプレイよりも２倍明るく見えるが、目の適応などの要因を考えると、それは、同じＳＤＲビデオ画像をより明るく、よりよく視聴可能な、多少美しいバージョンにすることを除いて、あまり重要でないと考えられた。
【0010】
慣例的に、今日（絶対フレームワークにおいて）ＳＤＲビデオ画像について話す場合、それは、一般に、ＰＬ＿Ｖ＝１００ｎｉｔのビデオピーク輝度（例えば、規格に準拠して合意されている）を有し、そのため、本出願では、ＳＤＲ画像（又はＳＤＲグレーディング）の最高輝度を正確にその値であるか、又はその値のまわりに一般化されていると考える。
【0011】
本出願におけるグレーディングは、例えば、人間の色グレーダ又はオートマトンによって、所望通りのピクセルが輝度を与えられたアクティビティ又は結果として生じた画像のいずれかを意味するように意図される。画像を見る場合、例えば、画像をデザインする場合、いくつかの画像オブジェクトがあり、理想的には、画像とシーンの全体性も考慮して、そのオブジェクトにとって最適である平均輝度のまわりに広がっている輝度をそれらのオブジェクトのピクセルに与えることを望む。例えば、その画像の最も明るい符号化可能なピクセルが１０００ｎｉｔ（画像又はビデオ最高輝度ＰＬ＿Ｖ）であるように利用可能な画像能力を有する場合、あるグレーダは、爆発をパンチが効いたものに見せるために、爆発のピクセルに８００ｎｉｔと１０００ｎｉｔとの間の輝度値に選び、一方、別の映画製作者は、例えば、その瞬間に画像の残りをあまり妨げないように、５００ｎｉｔよりも明るくない爆発を選ぶ（当然、技術は、両方の状況を扱うことができる）。
【0012】
ＨＤＲ画像又はビデオの最大輝度は、かなり変動し、一般に、ＨＤＲビデオ又は画像に関するメタデータとして画像データと共同通信される（典型的な値は、例えば１０００ｎｉｔ、又は４０００ｎｉｔ、又は１０，０００ｎｉｔであり、非限定的である；一般に、ＰＬ＿Ｖが少なくとも６００ｎｉｔであるとき、ＨＤＲ画像を有すると言う）。ビデオ作成者がＰＬ＿Ｖ＝４０００ｎｉｔとして画像を定義することを選択する場合、ビデオ作成者は、当然、より明るい爆発を作成することを選択することができるが、相対的に、それは、ＰＬ＿Ｖの１００％レベルに達するのではなく、例えば、シーンのそのような高いＰＬ＿Ｖ定義に対して５０％までしか達しない。
【0013】
ＨＤＲディスプレイは、最大能力、すなわち、（下端のＨＤＲディスプレイから始めて）例えば６００ｎｉｔ、又は１０００ｎｉｔ、又は１０００ｎｉｔのＮ倍の最高表示可能ピクセル輝度を有する。そのディスプレイの最大（又はピーク）輝度ＰＬ＿Ｄは、ビデオの最大輝度ＰＬ＿Ｖとは別のものであり、それらの２つは混同されるべきではない。ビデオ作成者は、一般に、各々の可能なエンドユーザディスプレイに対して最適なビデオを作ることができない（すなわち、エンドユーザディスプレイの能力は、ビデオによって最適に使用され、ビデオの最大輝度はディスプレイの最大輝度を決して超えない（理想的には）が、それより低くもない、すなわち、ビデオ画像のうちのいくつかにはピクセル輝度Ｌ＿ｐ＝ＰＬ＿Ｖを有する少なくともいくつかのピクセルがあるはずであり、それは、特定のディスプレイへの連続的な最適化では、ＰＬ＿Ｖ＝ＰＬ＿Ｄをさらに含むことになる）。
【0014】
作成者は、自身の決定のいくつか（例えば、どの種類のコンテンツをどのやり方でキャプチャするか）を行い、一般に、ＰＬ＿Ｖをもつビデオを非常に高くして、少なくとも、現在、さらに多分将来、より高いＰＬ＿Ｄディスプレイが現れたとき、意図した視聴者の最も高いＰＬ＿Ｄディスプレイにサービスを提供する。
【0015】
次いで、ピーク輝度ＰＬ＿Ｖをもつ画像を、より低い（しばしば非常に低い）ディスプレイピーク輝度ＰＬ＿Ｄをもつディスプレイにどのように最良に表示するかという二次的な問題が現れ、それは、ディスプレイ適応と呼ばれる。将来においてさえ、通信媒体を介して受け取られる、作成された例えば２０００ｎｉｔのＰＬ＿Ｖ画像よりも低いダイナミックレンジ画像を必要とするディスプレイが依然として存在するであろう。理論的には、ディスプレイは、常に、画像ピクセルの輝度がそれ自体の内部ヒューリスティックスによって表示可能になるように画像ピクセルの輝度を再グレーディングする、すなわちマッピングするが、ビデオ作成者がピクセル輝度を決定する際に十分に注意している場合、ビデオ作成者が、さらに、画像をより低いＰＬ＿Ｄ値にどのように表示適応させるべきかを示すことができ、理想的には、ディスプレイが技術的に必要なものにかなりの程度従うことは有益である。
【0016】
最も暗い表示可能ピクセル輝度ＢＬ＿Ｄに関しては、状況はより複雑である。その一部は、例えばＬＣＤセル漏れ光のようなディスプレイの固定された物理的特性であるが、最良のディスプレイでさえも、視聴者が最終的に異なる最も暗い黒として識別できるものは、十分に定義された値ではない視聴室の照明にも依存する。この照明は、例えばｌｕｘ単位の平均照度レベルとして特徴づけられるが、ビデオ表示目的では、より手際よく最小ピクセル輝度として特徴づけられる。これはまた、一般に、明るい輝度又は中程度の輝度の見た目よりも強く人間の目に関連する。その理由は、人間の目が多くの高い明度のピクセルを見ている場合、より暗いピクセル、特にその絶対輝度は、それほど関連しなくなるからである。しかし、例えば、概して暗いシーン画像を見ているが、依然としてディスプレイ画面の前面の周囲光によってマスクされている場合、目は制限要因でないと仮定することができる。人間が２％ちょうどの顕著な差を見ることができると仮定する場合、最も暗い駆動レベル（又はルマ）ｂがあり、それより上では、次の暗いルマレベル（すなわち、表示輝度がＸ％高い、例えば、２％多い輝度レベルを表示する）を依然として見ることができる。
【0017】
ＬＤＲ時代には、最も暗いピクセルについて全く関心がなかった。主として、最大ＰＬ＿Ｖ＝１００ｎｉｔの約１／４の平均輝度について関心があった。画像がこの値の近くで露出された場合、シーン内のすべては、最大１００％を超えたシーンの明るい部分のクリッピングを除いて、きれいに明るくカラフルに見えた。シーンの最も暗い部分について、それが十分に重要である場合、レコーディングスタジオ又は撮影環境において十分な量のベース照明を用いてキャプチャ画像が作成された。シーンの一部がよく見えなかった場合、例えば、それはコードＹ＝０に埋もれたので、それは正常であると考えられた。
【0018】
それゆえ、さらに何も指定されない場合、最も黒い黒はゼロ、又は実際には０．１ｎｉｔ若しくは０．０１ｎｉｔのようなものであると仮定する。そのような状況では、技術者は、符号化及び／又は表示されたＨＤＲ画像内の平均よりも明るいピクセルにより多く関心がある。
【0019】
符号化に関して、ＨＤＲとＳＤＲとの間の差は、物理的な差（より大きいダイナミックレンジ能力のディスプレイで表示され得るより多くの異なるピクセル輝度）だけでなく、さらに、異なるルマコード割り当て関数（それにはＯＥＴＦを使用する、又は絶対法ではＥＯＴＦの逆数を使用する）を含む技術的な差、潜在的に、さらに、例えば、開始画像ダイナミックレンジとは異なる二次ダイナミックレンジ（２つの輝度レンジは、一般に、少なくとも１．５倍異なるピーク輝度で終了する）の画像を取得するために様々な画像オブジェクトのピクセル輝度を再グレーディングするやり方を指定する、追加の動的に（画像ごとに、又は時間的に連続する画像のセットごとに）変化するメタデータなどのようなさらなる技術的なＨＤＲ概念である。
【0020】
単純なＨＤＲコーデックのＨＤＲ１０コーデックが市場に導入され、それは、例えば、最近登場したブラックジュエルボックスＨＤＲブルーレイを作成するために使用される。このＨＤＲ１０ビデオコーデックは、ＯＥＴＦ（逆ＥＯＴＦ）として平方根よりも対数形状の関数、すなわち、ＳＭＰＴＥ２０８４で標準化されているいわゆる知覚量子化器（ＰＱ）関数を使用する。Ｒｅｃ．７０９ＯＥＴＦのように１０００：１に限定される代わりに、このＰＱ ＯＥＴＦは、実用的なＨＤＲビデオ製造に十分であるさらに多くの（理想的には表示されるべき）輝度、すなわち、１／１０，０００ｎｉｔと１０，０００のｎｉｔとの間の輝度で、ルマを定義することを可能にする。
【0021】
読者は、ＨＤＲを、ルマコード語における大量のビットと単純に混同すべきでないことに留意されたい。それは、アナログ－デジタル変換器のビットの量のような線形システムに当てはまり、実際は、ビットの量は、ダイナミックレンジの底２の対数に従う。しかしながら、コード割り当て関数はかなり非線形な形状を有するので、理論的には、どのように望んでも、１０ビットルマのみでＨＤＲ画像（さらに、色成分あたり８ビットＨＤＲ画像）を定義することができ、それは、既に配備されたシステムの再利用の利点をもたらす（例えば、ＩＣは、特定のビット深度、又はビデオケーブル、などを有することができる）。
【0022】
ルマの計算の後、ピクセルルマＹ＿ｃｏｄｅの１０ビットプレーンを有することができ、これに、ピクセルあたり２つのクロミナンス成分Ｃｂ及びＣｒが、クロミナンスピクセルプレーンとして加えられる。この画像は、数学的に、例えば、ＭＰＥＧ－ＨＥＶＣ圧縮などされたＳＤＲ画像である「かのように」、古典的にさらに完全に処理される。コンプレッサは、実際には、ピクセル色又は輝度を気にかける必要はない。
【0023】
しかし、受信装置、例えば、ディスプレイ（又は実際にはそのデコーダ）は、一般に、｛Ｙ，Ｃｂ，Ｃｒ｝ピクセル色の正しい色解釈を行って、例えば退色した色を有する画像ではなく、正しく見える画像を表示する必要がある。
【0024】
これは、通常、３つのピクセル化色成分プレーンとともにさらなる画像定義メタデータを共同通信することによって処理され、それは、どのＥＯＴＦが使用されるかの指示（それについて、限定することなく、ＰＱ ＥＯＴＦ（又はＯＥＴＦ）が使用されたと仮定する）、及びＰＬ＿Ｖ値、などのような画像符号化を定義する。
【0025】
より洗練されたコーデックは、さらなる画像定義メタデータ、例えば取り扱いメタデータ、例えば、ＰＬ＿Ｖ＝１０００ｎｉｔまでの第１の画像の輝度の正規化されたバージョンを、二次基準画像、例えば、ＰＬ＿Ｖ＝１００ｎｉｔのＳＤＲ基準画像の正規化された輝度にマッピングするやり方を指定する関数を含む（図２でより詳細に説明するように）。
【0026】
ＨＤＲについて知識がそれほど豊富でない読者の理解の便宜のために、図１においていくつかの興味深い態様を手早く説明する。図１は、将来のＨＤＲシステム（例えば、１０００ｎｉｔのＰＬ＿Ｄディスプレイに接続される）が正しく処理できる必要がある、多くのあり得るＨＤＲシーンのいくつかの典型的な例示的な例を示す。ピクセル色の実際の技術的な処理は、様々な色空間定義において様々なやり方で行われるが、再グレーディングで必要なものは、異なるダイナミックレンジにまたがる輝度軸間の絶対輝度マッピングとして示される。
【0027】
例えば、ＩｍＳＣＮ１は、大部分が明るい区域である西部劇映画からの晴れた屋外の画像である。まず誤解すべきでないことは、いかなる画像のピクセル輝度も一般に現実世界で実際に測定することができる輝度ではないことである。
【0028】
出力ＨＤＲ画像（スタータ画像として機能し、マスタＨＤＲグレーディング又は画像と呼ぶ）の作成中に人間のさらなる関与がないとしても、どれほど簡単であろうとも、１つのパラメータを微調整することによって、カメラは、絞りがあるので、少なくとも常に画像センサで相対的輝度を測定する。そのため、マスタＨＤＲ画像の利用可能な符号化輝度範囲において、少なくとも最も明るい画像ピクセルが最後に行き着くところには常に何らかのステップが関与している。
【0029】
例えば、保安官の星形バッジでの太陽の鏡面反射を現実世界では１００，０００ｎｉｔを超えると測定することがあるが、それは、典型的な近未来のディスプレイで表示することはできないし、例えば夕方の薄暗い部屋で映画の画像を見ている視聴者にとって快適でもない。代わりに、ビデオ作成者は、５０００ｎｉｔがバッジのピクセルに対して十分に明るいと決定し、したがって、このピクセルが映画における最も明るいピクセルとする場合、ビデオ作成者は、ＰＬ＿Ｖ＝５０００ｎｉｔのビデオを作るように決定する。マスタＨＤＲグレーディングのＲＡＷバージョンのためのみの相対的ピクセル輝度測定デバイスであるが、カメラはまた、良好な画像を作るために、十分に高いネイティブダイナミックレンジ（全ピクセルがノイズフロアを十分に超える）を有するべきである。グレーディングされた５０００ｎｉｔ画像のピクセルは、一般に、カメラがキャプチャしたＲＡＷ画像から非線形的に導き出され、例えば、色グレーダは、実際の撮影場所、すなわち、暑い砂漠に立っているときと同じではない典型的な視聴状況などの態様を考慮に入れる。このシーンＩｍＳＣＮ１を生み出すために選択した最良の（最も高いＰＬ＿Ｖ）画像、すなわち、この例では、５０００ｎｉｔ画像は、マスタＨＤＲグレーディングである。これは、作成及び通信されるべき最小限必要とされるＨＤＲデータであるが、すべてのコーデックにおいて、通信される唯一のデータではなく、又はいくつかのコーデックでは、全く通信される画像でさえない。
【0030】
そのような符号化可能な高輝度範囲ＤＲ＿１、例えば０．００１ｎｉｔと５０００ｎｉｔとの間を利用可能にすると、視聴者が、同様に、対応するハイエンドＰＬ＿Ｄ＝５０００ｎｉｔディスプレイを有することを前提として、コンテンツメーカは、視聴者に明るい外見のより良好な経験を提供するが、さらに、当然、より薄暗い夜景のより良好な経験を提供する（映画の全体にわたって十分にグレーディングされているとき）ことを可能にする。優れたＨＤＲ映画は、１つの画像だけでなく、映画のストーリー又は一般的に作成されたビデオ素材（例えば、十分に設計されたＨＤＲサッカープログラム）において経時的にも、様々な画像オブジェクトの輝度の平衡を保つ。
【0031】
図１の左端の縦軸には、理想的には５０００ｎｉｔのＰＬ＿Ｄディスプレイのために意図された、５０００ｎｉｔのＰＬ＿ＶマスタＨＤＲグレーディングで見たいいくつかの（平均）オブジェクト輝度が示されている。例えば、映画では、ある作成者は、約５００ｎｉｔのピクセル輝度を有する明るい日に照らされたカウボーイを示すことを望む場合があり（すなわち、一般にＬＤＲよりも１０倍明るいが、別の作成者は若干少ないＨＤＲパンチ、例えば３００ｎｉｔを望む場合がある）、それにより、作成者によってこの西部劇の画像を表示するための最良のやり方が構成され、それは、可能な最良の見た目を最終消費者に与える。
【0032】
輝度のより高いダイナミックレンジの必要性は、同じ画像内に、洞窟の画像ＩｍＳＣＮ３の暗い隅などのかなり暗い領域があるが、さらに、洞窟の入口から見える日の照らされた外界のような非常に明るいピクセルの比較的に大きい区域がある画像について考えることによってより容易に理解される。それは、例えば、街灯のみが高い輝度のピクセル領域を含むＩｍＳＣＮ２の夜間画像とは異なる視覚的経験を作成する。
【0033】
現在、問題は、現時点で、依然として、多くの消費者がＬＤＲディスプレイを有しており、将来においてさえも、典型的な唯一のＨＤＲ画像自体の符号化の代わり、映画の２つのグレーディングを作る十分な理由があるので、マスタＨＤＲ画像に最適に対応するＰＬ＿Ｖ＿ＳＤＲ＝１００ｎｉｔのＳＤＲ画像を定義することができる必要があることである。これは技術的な要望で有り、それは符号化自体に関する技術的選択とは別のものであり、それは、例えば、マスタＨＤＲ画像及びこの二次画像のうちの一方を他方のものから作成する（反転して）やり方を知っている場合、対のどちらか一方を符号化及び通信することを選択することができる（１つの価格で２つの画像を効果的に通信する、すなわち、ビデオ時刻ごとにピクセル色成分プレーンの１つの画像のみを通信する）ことを明示している。
【0034】
そのような縮小されたダイナミックレンジの画像では、当然、実際に明るい太陽のような５０００ｎｉｔピクセル輝度オブジェクトを定義することはできない。最小のピクセル輝度又は最も深い黒はまた、より好ましい０．００１ｎｉｔではなく、０．１ｎｉｔの高さである。
【0035】
そのため、とにかく、縮小された輝度ダイナミックレンジＤＲ＿２を有するこの対応するＳＤＲ画像を作ることができるはずである。
【0036】
これは、受信側ディスプレイにおける何らかの自動アルゴリズムによって行われ、例えば、固定輝度マッピング関数を使用するか、又は、多分、ＰＬ＿Ｖ＿ＨＤＲ値のような単純なメタデータ及び潜在的に１つ又は複数の他の輝度値によって条件付けされたものを使用する。
【0037】
しかしながら、一般に、より複雑な輝度マッピングアルゴリズムが使用されてもよいが、本出願では、一般性を損なうことなく、マッピングは、少なくとも１つの画像について、第１の画像で発生する可能性のあるすべての輝度（すなわち、例えば、０．０００１～５０００）が、第２の出力画像の対応する輝度（例えば、ＳＤＲ出力画像では０．１～１００ｎｉｔ）にどのようにマッピングされるべきかを定義するグローバル輝度マッピング関数Ｆ＿Ｌ（例えば、画像ごとに１つの関数）によって定義されると仮定する。正規化関数は、両方の軸に沿った輝度を、それぞれの最大値で除算することによって得られる。この文脈におけるグローバルとは、例えば画像内の位置のようなさらなる条件に関係なく、同じ関数が画像のすべてのピクセルに使用されることを意味する（より一般的なアルゴリズムは、例えば、ある基準に従って分類可能なピクセルのためのいくつかの関数を使用する）。
【0038】
理想的には、すべての輝度が二次画像のＳＤＲ画像の利用可能な範囲に沿ってどのように再分配されるべきかは、ビデオ作成者によって決定されるべきである。その理由は、制限がある場合、ＳＤＲ画像が、依然として、意図されたマスタＨＤＲ画像のように少なくとも可能な限り良好に見えるように、ビデオ作成者が、縮小されたダイナミックレンジに対してサブ最適化するやり方をよく知っているからである。そのようなオブジェクト輝度を実際に定義する（位置決めする）ことは、輝度マッピング関数Ｆ＿Ｌの形状を定義することに対応することを読者は理解することができ、その詳細は、本出願を超えている。
【0039】
理想的には、関数の形状はまた、異なるシーンごとに、すなわち、映画における洞窟シーン対少し後の晴天の西部劇シーンで、又は一般的に時間的な画像ごとに変化すべきである。これはダイナミックメタデータ（Ｆ＿Ｌ（ｔ）、ここで、ｔは画像時刻を示す）と呼ばれる。
【0040】
ここで、理想的には、コンテンツ作成者は、状況ごとに、すなわち、潜在的にサービスされるエンドユーザディスプレイ、例えば、対応するＰＬ＿Ｖ＿ＭＤＲ＝８００ｎｉｔ画像を必要とするＰＬ＿Ｄ＿ＭＤＲ＝８００ｎｉｔのディスプレイごとに、最適な画像を作ることになるが、それは、一般に、最も高価なオフラインビデオ作成においてさえ、コンテンツ作成者にとってあまりにも大きい労力である。
【0041】
しかしながら、シーンの２つの異なるダイナミックレンジ基準グレーディング（のみ）（一般に、極端な端部において、例えば、５０００ｎｉｔが最も高い必要なＰＬ＿Ｖであり、１００ｎｉｔが一般に最も低い必要とされるＰＬ＿Ｖとして十分である）を作れば十分であることが出願人によって以前に実証されている。その理由は、そのとき、例えば、２つのグレーディングの情報を受け取るエンドユーザのディスプレイに適用される（一般に、固定された、例えば、標準化された）ディスプレイ適応アルゴリズムを介して、それらの２つの基準グレーディング（ＨＤＲ及びＳＤＲ）からすべての他方のグレーディングを自動的に導き出せるからである。一般に、その計算は、任意のビデオ受信機、例えば、セットトップボックス、テレビ、コンピュータ、映画機器、などで行われる。ＨＤＲ画像の通信チャネルはまた、任意の通信技術、例えば、地上放送又はケーブル放送、ブルーレイディスクのような物理媒体、インターネット、ポータブルデバイスへの通信チャネル、プロフェショナルインターサイト間ビデオ通信、などである。
【0042】
このディスプレイ適応は、一般に、輝度マッピング関数を、例えばマスタＨＤＲ画像のピクセル輝度にも適用する。しかし、ディスプレイ適応アルゴリズムは、Ｆ＿Ｌ＿５０００ｔｏ１００（２つの基準グレーディングの輝度を接続する基準輝度マッピング関数である）とは異なる輝度マッピング関数、すなわち、ディスプレイ適応輝度マッピング関数ＦＬ＿ＤＡを決定する必要があり、それは、２つの基準グレーディングＦ＿Ｌ間の元のマッピング関数と必ずしも自明に関連するわけではない（ディスプレイ適応アルゴリズムのいくつかの変形がある）。５０００ｎｉｔのＰＬ＿Ｖダイナミックレンジで定義されたマスタ輝度と、８００ｎｉｔ中間ダイナミックレンジとの間の輝度マッピング関数は、この本文では、Ｆ＿Ｌ＿５０００ｔｏ８００と書かれる。
【0043】
Ｆ＿Ｌ＿５０００ｔｏ１００関数が、８００ｎｉｔのＭＤＲ画像輝度範囲を横切ると「素朴に」予想する場所にマッピングするのではなく、例えば、若干高い場所にマッピングする（すなわち、そのような画像では、カウボーイは、少なくとも、選ばれたディスプレイ適応アルゴリズムに従ってわずかに明るくなければならない）ディスプレイ適応を、象徴的に（平均オブジェクトピクセル輝度のうちの１つについてのみ）矢印によって示した。そのため、いくつかのより複雑なディスプレイ適応アルゴリズムは、指示されたより高い位置にカウボーイを配置することができるが、ある顧客は、５００ｎｉｔのＨＤＲのカウボーイと１８ｎｉｔのＳＤＲカウボーイと間の接続が、８００ｎｉｔのＰＬ＿Ｖ輝度範囲を横切るより単純な位置で満足する。
【0044】
一般に、ディスプレイ適応アルゴリズムは、元の輝度マッピング関数Ｆ＿Ｌ（又は基準輝度マッピング関数、別名、基準再グレーディング関数）の形状に基づいて、ディスプレイ適応輝度マッピング関数ＦＬ＿ＤＡの形状を計算する。
【0045】
この図１に基づく説明は、任意のＨＤＲビデオ符号化及び／又は処理システムの技術的に必要なものを構成しており、図２には、本出願人のコーデック手法に従って、必要なもの（非限定的）を実現するためのいくつかの例示的な技術システム及びその構成要素を示す。これらの構成要素が様々なデバイスなどで具現化されることは当業者によって理解されるであろう。この例は、単に、動作のいくつかの原理の背景を理解するために、様々なＨＤＲコーデックフレームワークについて全体を代表する部分として提示されており、以下で提示される革新的な寄与の実施形態のうちのいずれかを特に限定するように意図されていないことを当業者は理解するであろう。
【0046】
可能ではあるが、時刻ごとの２つの実際の異なる画像の技術的な通信（ＨＤＲ及びＳＤＲグレーディングが、各々、それぞれの３つの色プレーンとして通信される）は、とりわけ、必要とされるデータ量に関して高価である。
【0047】
また、それは、すべての対応する二次画像ピクセル輝度が一次画像及び関数Ｆ＿Ｌの輝度に基づいて計算されることが分かっている場合、メタデータとして時刻ごとに一次画像及び関数Ｆ＿Ｌのみを通信するように決定することができる（及びマスタＨＤＲ又はＳＤＲ画像のいずれかを両方の代表として通信するように選択することができる）ので、必要ではない。受信機は、（一般に固定された）ディスプレイ適応アルゴリズムを知っているので、このデータに基づいて、受信機の端部でＦＬ＿ＤＡ関数を決定する（ディスプレイ適応を制御又は誘導するさらなるメタデータが、通信されることがあるが、現在配置されていない）。
【0048】
時刻ごとの唯一の画像及び関数Ｆ＿Ｌを通信する２つのモードがある。
【0049】
第１の後方互換モードでは、ＳＤＲ画像を通信する（「ＳＤＲ通信モード」）。そのＳＤＲ画像は、旧来のＳＤＲディスプレイで直接（さらなる輝度マッピングを必要とすることなく）表示されるが、ＨＤＲディスプレイは、ＳＤＲ画像からＨＤＲ画像（又はその逆、関数のどの変形が通信されるか、すなわち、アップグレーディング又はダウングレーディングに応じて）を得るためにＦ＿Ｌ又はＦＬ＿ＤＡ関数を適用する必要がある。関心のある読者は、以下において標準化された本出願人の例示的な第１のモードの手法のすべての詳細を見いだすことができる。
【0050】
ＥＴＳＩ ＴＳ １０３ ４３３－１ Ｖ１．２．１ （２０１７－０８）： Ｈｉｇｈ－Ｐｅｒｆｏｒｍａｎｃｅ Ｓｉｎｇｌｅ Ｌａｙｅｒ Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ Ｓｙｓｔｅｍ ｆｏｒ ｕｓｅ ｉｎ Ｃｏｎｓｕｍｅｒ Ｅｌｅｃｔｒｏｎｉｃｓ ｄｅｖｉｃｅｓ； Ｐａｒｔ １： Ｄｉｒｅｃｔｌｙ Ｓｔａｎｄａｒｄ Ｄｙｎａｍｉｃ Ｒａｎｇｅ （ＳＤＲ） Ｃｏｍｐａｔｉｂｌｅ ＨＤＲ Ｓｙｓｔｅｍ （ＳＬ－ＨＤＲ１）．
【0051】
別のモードは、マスタＨＤＲ画像自体（「ＨＤＲ通信モード」）、すなわち、例えば５０００ｎｉｔ画像と、それから１００ｎｉｔＳＤＲ画像（又はディスプレイ適応を介した任意の他のより低いダイナミックレンジ画像）を計算することを可能にする関数Ｆ＿Ｌを通信する。マスタＨＤＲ通信画像自体は、例えば、ＰＱ ＥＯＴＦを使用することによって符号化される。
【0052】
図２は、さらに、全ビデオ通信システムを示す。送信側において、画像のソース２０１から始まる。例えばインターネット配信会社からのオフライン作成のビデオ、又は現実の放送であるかに応じて、これは、ハードディスクから、例えばテレビジョンスタジオからのケーブル出力、などまで及ぶ任意のものである。
【0053】
これにより、例えば、人間の色グレーダによって色グレーディングされた、カメラキャプチャの陰影付きバージョンの、又は自動輝度再分配アルゴリズムによる、などのマスタＨＤＲビデオ（ＭＡＳＴ＿ＨＤＲ）がもたらされる。
【0054】
マスタＨＤＲ画像のグレーディングに加えて、しばしば可逆的な色変換関数Ｆ＿ｃｔのセットが定義される。一般化を失うつもりはなく、これが少なくとも１つの輝度マッピング関数Ｆ＿Ｌを含むと仮定する（しかしながら、例えば、ピクセルの彩度がＨＤＲからＳＤＲグレーディングにどのように変化すべきかを指定するさらなる関数及びデータが存在してもよい）。
【0055】
この輝度マッピング関数は、上述のように、ＨＤＲ基準グレーディングとＳＤＲ基準グレーディングとの間のマッピングを定義する（図２における後者は、受信機に通信されるべきＳＤＲ画像Ｉｍ＿ＳＤＲである；それは、例えばＭＰＥＧ又は他の画像圧縮アルゴリズムを介してデータ圧縮されているか又はそうでない）
【0056】
色変換器２２０の色マッピングを、マスタＨＤＲビデオを取得するために生のカメラフィードに適用されたものと混同すべきではなく、マスタＨＤＲビデオはここでは既に入力されていると仮定されている。その理由は、この色変換が、通信されるべき画像を取得するためものであり、同時に、輝度マッピング関数Ｆ＿Ｌで技術的に定式化されているように再グレーディングに必要なものを取得するためのものであるからである。
【0057】
例示的なＳＤＲ通信タイプ（すなわち、ＳＤＲ通信モード）では、マスタＨＤＲ画像は、出力画像Ｉｍ＿ＳＤＲに書き込まれるすべての対応する輝度を取得するためにＦ＿Ｌ輝度マッピングをマスタＨＤＲ画像（ＭＡＳＴ＿ＨＤＲ）の輝度に適用するように構成された色変換器２０２に入力される。説明のために、この関数の形状が、人間の色グレーダによって色グレーディングソフトウェアを使用して映画の同様のシーンの画像のショットごとに微調整されると仮定しよう。適用される関数Ｆ＿ｃｔ（すなわち、少なくともＦ＿Ｌ）は、画像と共同通信されるべき（ダイナミックな、処理する）メタデータに、例示のＭＰＥＧの補足強化情報データＳＥＩ（Ｆ＿ｃｔ）に、又は他の標準化された若しくは標準化されていない通信方法における同様のメタデータ機構に書き込まれる。
【0058】
通信されるべきＨＤＲ画像を対応するＳＤＲ画像Ｉｍ＿ＳＤＲとして正しく再定義した後、それらの画像は、多くの場合、既存の画像圧縮技法（例えば、ＭＰＥＧ ＨＥＶＣ、ＶＶＣ、又はＡＶ１、など）を使用して圧縮される（少なくとも、例えば、エンドユーザにブロードキャストするために）。これは、ビデオエンコーダ２２１（さらには、様々な形態のビデオ作成装置又はシステムに含まれる）の一部を形成するビデオ圧縮器２０３で実行される。
【0059】
圧縮画像Ｉｍ＿ＣＯＤは、何らかの画像通信媒体２０５によって少なくとも１つの受信機に送信される（例えば、例えばＡＴＳＣ３．０、又はＤＶＢ、などに従った衛星、ケーブル、又はインターネット送信；しかし、ＨＤＲビデオ信号はまた、例えば、２つのビデオ処理装置間のケーブルによって通信されてもよい）。
【0060】
一般に、通信の前に、さらなる変換が、送信フォーマッタ２０４によって行われ、送信フォーマッタ２０４は、システムに応じて、例えばパケット化、変調、伝送プロトコル制御、などの技法を適用する。これは、一般に、集積回路を適用する。
【0061】
受信サイトにおいて、対応するビデオ信号アンフォーマッタ２０６は、例えば圧縮ＨＥＶＣ画像のセット（すなわち、ＨＥＶＣ画像データ）として再取得するための必要なアンフォーマッティング方法、例えば、復調、などを適用する。
【0062】
ビデオ圧縮解除器２０７は、ピクセル化された圧縮解除画像Ｉｍ＿ＵＳＤＲのストリームを取得するために、例えばＨＥＶＣ圧縮解除を行う。ピクセル化された圧縮解除画像Ｉｍ＿ＵＳＤＲは、この例ではＳＤＲ画像であるが、他のモードではＨＤＲ画像である。ビデオ圧縮解除器はまた、例えばＳＥＩメッセージから必要な輝度マッピング関数Ｆ＿Ｌ、又は一般に色変換関数Ｆ＿ｃｔをアンパックする。
【0063】
画像及び関数は、（デコーダ）色変換器２０８に入力され、（デコーダ）色変換器２０８は、ＳＤＲ画像を非ＳＤＲダイナミックレンジの（すなわち、１００ｎｉｔよりも高い、一般に少なくとも数倍高い、例えば５倍高いＰＬ＿Ｖの）画像に変換するように構成される。
【0064】
例えば、５０００ｎｉｔの再構築されたＨＤＲ画像Ｉｍ＿ＲＨＤＲは、ＭＡＳＴ＿ＨＤＲからＩｍ＿ＬＤＲを作るために符号化側で使用された色変換Ｆ＿ｃｔの逆色変換ＩＦ＿ｃｔを適用することによって、マスタＨＤＲ画像（ＭＡＳＴ＿ＨＤＲ）に非常に近いものとして再構築される。次いで、この画像は、例えば、さらなるディスプレイ適応のためにディスプレイ２１０に送られるが、ディスプレイ適応された画像Ｉｍ＿ＤＡ＿ＭＤＲを作ることはまた、復号化中に、色変換器においてＦ＿Ｌ関数の代わりにＦＬ＿ＤＡ関数（オフラインループで、例えばファームウェアで決定される）を使用することによって、１回で行われる。そのため、色変換器は、ＦＬ＿ＤＡ関数を導き出すためにディスプレイ適応ユニット２０９をさらに含む。
【0065】
最適化された、例えば８００ｎｉｔのディスプレイ適応画像Ｉｍ＿ＤＡ＿ＭＤＲは、ビデオデコーダ２２０が、例えばセットトップボックス又はコンピュータなどに含まれる場合、例えばディスプレイ２１０に送られ、又はデコーダが、例えば携帯電話に存在する場合、ディスプレイパネルに送信され、又はデコーダが、例えばインターネット接続サーバに存在する場合、映画劇場プロジェクタに通信される、などである。
【0066】
図３は、ＨＤＲデコーダ（又はエンコーダ、これは、概して一般に同じトポロジを有するが、逆関数を使用し、一般にはディスプレイ適応を含まない）の色変換器３００の内部処理の有用な変形、すなわち、図２の２０８に対応するものを示す。
【0067】
ピクセル、この例では、ＳＤＲ画像ピクセルの輝度は、対応するルマＹ’ＳＤＲとして入力される。クロミナンス、別名、クロマ成分Ｃｂ及びＣｒは、色変換器３００の下位処理経路に入力される。
【0068】
ルマＹ’ＳＤＲは、輝度マッピング回路３１０によって、必要とされる出力輝度Ｌ’＿ＨＤＲ（例えば、マスタＨＤＲ再構成輝度、又は何か他のＨＤＲ画像輝度）にマッピングされる。それは、メタデータと共同通信される基準輝度マッピング関数Ｆ＿Ｌ（ｔ）を入力として使用するディスプレイ適応関数計算器３５０から取得されるような特定の画像及び最大の表示輝度ＰＬ＿Ｄのための適切な関数、例えばディスプレイ適応輝度マッピング関数ＦＬ＿ＤＡ（ｔ）を適用する。ディスプレイ適応関数計算器３５０はまた、クロミナンスを処理するための適切な関数を決定する。さしあたり、各々の可能な入力画像ピクセルルマＹに対する乗算係数ｍＣ［Ｙ］のセットが、例えば色ＬＵＴ３０１に格納されていると単に仮定する。色処理の正確な性質は異なることがある。例えば、最初に、入力ルマ（色ＬＵＴにおける対応する双曲線）によってクロミナンスを正規化し、次いで、出力ルマを補正することによって、ピクセル彩度を一定に保持したいことがあるが、微分彩度処理が同様に使用されてもよい。両方のクロミナンスが同じ乗数で乗算されるので、色相は一般に維持される。
【0069】
現在色変換されている（輝度マッピングされている）ピクセルＹのルマ値で色ＬＵＴ３０１にインデックスを付けると、必要とされる乗法係数ｍＣがＬＵＴ出力として生じる。この乗法係数ｍＣは、乗算器３０２によって使用されて、それに現在のピクセルの２つのクロミナンス値が乗算され、すなわち、色変換された出力クロミナンスがもたらされる。
Ｃｂｏ＝ｍＣ＊Ｃｂ
Ｃｒｏ＝ｍＣ＊Ｃｒ
Ｃｂｏ＝ｍＣ＊Ｃｂ
Ｃｒｏ＝ｍＣ＊Ｃｒ
【0070】
標準測色計算を適用する固定色マトリクス化プロセッサ３０３を介して、クロミナンスは、明度欠落正規化非線形Ｒ’Ｇ’Ｂ座標Ｒ’／Ｌ’、Ｇ’／Ｌ’、及びＢ’／Ｌ’に変換される。
【0071】
適切な輝度を出力画像に与えるＲ’Ｇ’Ｂ’座標は、乗算器３１１によって取得され、乗算器３１１は、
Ｒ’＿ＨＤＲ＝（Ｒ’／Ｌ’）＊Ｌ’＿ＨＤＲ，
Ｇ’＿ＨＤＲ＝（Ｇ’／Ｌ’）＊Ｌ’＿ＨＤＲ，
Ｂ’＿ＨＤＲ＝（Ｂ’／Ｌ’）＊Ｌ’＿ＨＤＲ
を計算し、それらは、色トリプレットＲ’Ｇ’Ｂ’＿ＨＤＲにまとめられる。
Ｒ’＿ＨＤＲ＝（Ｒ’／Ｌ’）＊Ｌ’＿ＨＤＲ，
Ｇ’＿ＨＤＲ＝（Ｇ’／Ｌ’）＊Ｌ’＿ＨＤＲ，
Ｂ’＿ＨＤＲ＝（Ｂ’／Ｌ’）＊Ｌ’＿ＨＤＲ
を計算し、それらは、色トリプレットＲ’Ｇ’Ｂ’＿ＨＤＲにまとめられる。
【0072】
最後に、ディスプレイマッピング回路３２０によって、ディスプレイで必要とされるフォーマットへのさらなるマッピングが行われる。これは、ディスプレイ駆動色Ｄ＿Ｃをもたらし、ディスプレイ駆動色Ｄ＿Ｃは、ディスプレイによって望まれる測色（例えば、ＨＬＧ ＯＥＦＴフォーマットでさえも）に定式化されるだけでなく、さらに、このディスプレイマッピング回路３２０は、いくつかの変形において、ディスプレイのためのいくつかの特定の色処理を行うように構成される、すなわち、例えば、ピクセル輝度の一部をさらに再マッピングする。
【0073】
作成側グレーダが決定したあり得るＦ＿Ｌ関数に対して対応するＦＬ＿ＤＡ関数を導き出すためのいくつかの適切なディスプレイ適応アルゴリズムを説明するいくつかの例が、ＷＯ２０１６／０９１４０６又はＥＴＳＩのＴＳ １０３ ４３３－２ Ｖ１．１．１（２０１８－０１）に教示されている。
【0074】
しかしながら、それらのアルゴリズムは、エンドユーザのディスプレイにおける最小の表示可能な黒に関してあまり考慮していない。
【0075】
実際、それらのアルゴリズムは最小輝度ＢＬ＿Ｄがゼロであると言えるほど十分に小さいふりをしていると言える。それゆえに、ディスプレイ適応は、ビデオの最大輝度ＰＬ＿Ｖと比較して、様々なディスプレイの最大輝度ＰＬ＿Ｄの差に主として対処している。
【0076】
先行出願ＷＯ２０１６／０９１４０６の第１８番目の図面に見られるように、任意の入力関数（説明例では、２つの線形セグメントから形成された単純な関数）は、典型的には１．０の入出力輝度に正規化されたプロットにおいて、入力輝度の横軸から１３５度の角度に沿って位置づけられたメトリックに基づいて、対角線に向けてスケーリングされる。これは、ディスプレイ適応アルゴリズムの全種類のディスプレイ適応の一例にすぎず、それは、発明者らの新規のディスプレイ適応の概念の適用可能性を限定することを意図して述べられておらず、例えば、特に、メトリック方向の角度は他の値を有してもよいことを理解されたい。
【0077】
しかし、このメトリック、及び再形成されたＦ＿Ｌ関数、すなわち、決定されたＦＬ＿ＤＡ関数への作用は、最適に再グレーディングされた中間ダイナミックレンジ画像で供給されるべきディスプレイの最大輝度ＰＬ＿Ｖ及びＰＬ＿Ｄにのみ依存する。例えば、５０００ｎｉｔの位置は、対角線に配置されたゼロメトリック点に対応し（入力画像における可能なピクセル輝度に対応する対角線に沿って位置する任意の場所に対して）、１００ｎｉｔ位置（ＰＢＥとマークされた）は元のＦ＿Ｌ関数の点である。
【0078】
この方法の有用な変形としてのディスプレイ適応が、可能な正規化入力輝度Ｌｎ＿ｉｎ対正規化出力輝度Ｌｎ＿ｏｕｔ（これは、正規化輝度に関連するディスプレイの最大輝度と乗算することによって実際の輝度、すなわち、ＰＬ＿Ｖ値に変換される）のプロット上にその作用を示すことによって、図４に要約されている。
【0079】
例えば、ビデオ作成者は、図１で説明したように、２つの基準グレーディング間の輝度マッピング戦略を設計している。それゆえ、入力画像、例えばマスタＨＤＲ画像におけるピクセルの可能な正規化輝度Ｌｎ＿ｉｎについて、この正規化入力輝度は、出力画像である第２の基準グレーディングの正規化出力輝度Ｌｎ＿ｏｕｔにマッピングされなければならない。すべての輝度のこの再グレーディングは、ある関数Ｆ＿Ｌに対応し、ある関数Ｆ＿Ｌは、人間のグレーダ又はグレーディングオートマトンによって決定される多くの異なる形状を有し、この関数の形状は、ダイナミックメタデータとして共同通信される。
【0080】
問題は、今では、この単純なディスプレイ適応プロトコルにおいて、中間ダイナミックレンジディスプレイのためのＭＤＲ画像に（基準ＳＤＲ画像の代わりに）マッピングする（マッピングは入力画像としてＨＤＲ基準グレーディング画像から再度開始すると仮定する）ために、Ｆ＿Ｌ関数の派生した二次バージョンがどのような形状を有するべきかである。例えば、メトリックに基づいて以下のように計算することができ、例えば８００ｎｉｔディスプレイはグレーディング効果の５０％を有するべきであり、完全な１００％はマスタＨＤＲ画像の１００ｎｉｔのＰＬ＿Ｖ ＳＤＲ画像への再グレーディングである。一般に、メトリックを介して、ディスプレイ適応輝度Ｌ＿Ｐ＿ｎとして表されるピクセルの可能な正規化入力輝度（Ｌｎ＿ｉｎ＿ｐｉｘ）について、第２の基準画像への再グレーディングなしと完全な再グレーディングとの間の任意の点を決定し、その場所は、当然、入力正規化輝度に依存するが、出力画像に関連する最大輝度（ＰＬ＿Ｖ＿ｏｕｔ）の値にも依存する。当業者は、正規化輝度表現で関数を表すことができるが、任意のＯＥＴＦに従って定義された任意の正規化ルマ表現で関数を同等に表すことができることを理解する。
【0081】
対応するディスプレイ適応輝度マッピングＦＬ＿ＤＡは以下のように決定される（図４ａ参照）。すべての入力輝度のうちの任意の１つ、例えば、Ｌｎ＿ｉｎ＿ｐｉｘを取る。これは、正規化輝度の入出力軸に対して等しい角度を有する対角線上の開始位置（正方形として示された）に対応する。対角線に対して垂直であり（又は入力軸から反時計回りに１３５度であり）、対角線で始まり、Ｆ＿Ｌ曲線上の点（１００％レベルで）、すなわち、Ｆ＿Ｌ曲線と、垂直にスケーリングされたメトリックＳＭとの交点（五角形で示された）で終るように対角線上の各点についてメトリックのスケーリングされたバージョン（スケーリングされたメトリックＳＭ）を配置する。（この例では、画像が計算されなければならないディスプレイのこのＰＬ＿Ｄ値について）メトリックの５０％レベル、すなわち中間に点を配置する［この場合、出力画像のＰＬ＿Ｖ値は、ディスプレイ最適化された画像が供給される必要があるディスプレイのＰＬ＿Ｄ値に等しく設定されることに留意されたい］。すべてのＬｎ＿ｉｎ値に対応する対角線上のすべての点に対してこれを行うことによって、ＦＬ＿ＤＡ曲線が得られ、それは、元のものと同様に形成される、すなわち、同じ再グレーディングを行うが、最大輝度再スケーリング／調節される。この関数は、今では、Ｌｎ＿ｉｎの任意の入力ＨＤＲ輝度値が与えられると、必要とされる対応する最適に再グレーディング及び／又はディスプレイ適応された８００ｎｉｔのＰＬ＿Ｖピクセル輝度を計算するために適用する準備ができている。この関数ＦＬ＿ＤＡは、輝度マッピング回路３１０によって適用される。
【0082】
一般に、このディスプレイ適応の特性は、以下の通りである（特にさらに限定するように意図されてない）。メトリックの方向は、技術的に所望されるように事前に固定されてもよい。図４ｂは、別のスケーリングメトリック、すなわち、垂直方向スケーリングメトリックＳＭＶ（すなわち、正規化入力輝度Ｌｎ＿ｉｎの軸に垂直な）を示す。再び、０％及び１００％（又は１．０）は、それぞれ、再グレーディングなし（すなわち、入力画像輝度に対する恒等変換）と、２つの基準グレーディング画像のうちの第２のものへの再グレーディング（この例では、異なる形状の輝度マッピング関数Ｆ＿Ｌ２によって関連づけられる）とに対応する。
【0083】
メトリック上の測定点の位置、すなわち、１０％、２０％などの値が位置する場所は、さらに、技術的に変更されるが、一般に、非線形である。
【0084】
それは、技術的に、例えばテレビジョンディスプレイに、予め設計される。例えば、ＷＯ２０１５００７５０５に記載されているような関数が使用される。ａ＊（ｌｏｇ（ＰＬ＿Ｖ）＋ｂ）が、ＰＬ＿Ｖ＿ＨＤＲ値の１．０（例えば、５０００ｎｉｔ）に等しく、０．０点が、１００ｎｉｔのＰＬ＿Ｖ＿ＳＤＲ基準レベルに対応するように、又はその逆も同様に、対数関数を設計することもできる。次いで、画像輝度を計算する必要があるＰＬ＿Ｖ＿ＭＤＲの位置は、メトリックの設計済み数学から得られる。
【0085】
そのようなメトリックの作用が、図５に要約される。
【0086】
ディスプレイ適応回路５１０は、例えば、テレビジョン、又はセットトップボックス、などにおいて、構成プロセッサ５１１を含む。それは、画像の実行ピクセル色が処理されるようになる前に、その画像の処理のための値を設定する。例えば、ディスプレイ最適化出力画像ＰＬ＿Ｖ＿ｏｕｔの最大輝度値は、接続されたディスプレイからそれをポーリングすることによってセットトップボックスに１回設定されてもよく（すなわち、ディスプレイは、最大表示可能輝度ＰＬ＿Ｄをセットトップボックスに通信する）、又は回路がテレビジョンに存在する場合、これは製造業者などによって設定されてもよい。
【0087】
輝度マッピング関数Ｆ＿Ｌは、いくつかの実施形態では、入力画像ごとに変り（他の変形では、多くの画像に対して固定される）、メタデータ情報５１２のいくつかのソースから入力される（例えば、これは、ＳＥＩメッセージとしてブロードキャストされ、ブルーレイディスクなどのようなメモリのセクタから読み出される）。このデータは、正規化されたメトリック（Ｓｍ１、Ｓｍ２、など）の正規化された高さを確立し、そこの上でＰＬ＿Ｄ値の所望の位置はメトリックの数学的な式から見いだされる。
【0088】
入力画像５１３が入力されると、連続するピクセル輝度（例えば、Ｌｎ＿ｉｎ＿ｐｉｘ＿３３及びＬｎ＿ｉｎ＿ｐｉｘ＿３４、又はルマ）が、ディスプレイ適応を適用する色処理パイプラインを通過し、Ｌｎ＿ｏｕｔ＿ｐｉｘ＿３３などの対応する出力輝度が生じる。
【0089】
この手法では、特に、最小黒輝度を提供するものはないことに留意されたい。
【0090】
その理由は、通常の手法が以下の通りであるからである。黒レベルは、実際の視聴状況に大きく依存し、それは、ディスプレイ特性（すなわち、最も最初のＰＬ＿Ｄ）よりもさらに変わりやすい。物理的な照明態様から人間の目における光感受性分子の最適な構成に及ぶあらゆる種類の影響が生じる。
【0091】
そのため、「ディスプレイのための」良好な画像を作る、それだけである（すなわち、意図されたＨＤＲディスプレイが、典型的なＳＤＲディスプレイよりも（明度的に）どれくらい高い能力があるかに関して）。次いで、必要に応じて、視聴状況に対して後で多少後補正することができ、これは、ディスプレイに残された（未定義の）特別なタスクである。
【0092】
それゆえ、一般に、ディスプレイは、可変の高輝度能力、すなわち、ＰＬ＿Ｄまで、画像において符号化されたすべての必要なピクセル輝度を表示することができると仮定する（さしあたり、既にＰＬ＿Ｄ値に対して最適化されたＭＤＲ画像である、すなわち、一般に画像内にＰＬ＿Ｄまで届く少なくともいくつかのピクセル領域があると仮定する）。それは、一般に、白クリッピングの厳しい結果を受けたくないからであるが、前記のように、画像の黒は多くの場合関心がない。
【0093】
黒は、いずれにしても、「ほとんど」見えるので、その一部が多少見えにくい場合、それは最も重要なことではない。少なくとも、マスタＨＤＲグレーディングの潜在的に非常に明るいピクセル輝度を、ディスプレイの限定された上方範囲、例えば２００ｎｉｔより上に、例えば、２００ｎｉｔからＰＬ＿Ｄ＝６００ｎｉｔに（例えば５０００ｎｉｔまでのマスタＨＤＲ輝度の場合）最適に抑制することができる。
【0094】
これは、すべての画像及びすべてのディスプレイについて黒が常にゼロｎｉｔである（少なくとも近似的に）と仮定することに類似している。白色のクリッピングは、黒の一部を失うよりもはるかに視覚的に厄介な特性であり、それは、しばしば、依然として、何かを見ることができるが、あまり快適ではない。
【0095】
しかしながら、時には、その手法は十分ではない。その理由は、視聴室（例えば、昼間の大きい窓のある消費者テレビ視聴者のリビングルーム）のかなりの周囲光の下では、最も暗い輝度のかなりのサブレンジが、見えなくなるか、又は少なくとも十分に見ることができないからである。これは、ビデオが作成されるビデオ編集室の周囲光状況と異なり、薄暗く、又はさらに暗いことがある。
【0096】
それゆえに、例えば、一般にディスプレイの制御ボタン（いわゆる明度ボタン）を用いてそれらのピクセルの輝度を上げる必要がある。
【0097】
Ｒｅｃ．ＩＴＵ－Ｒ ＢＴ．８１４－４（０７／２０１８）におけるようなテレビジョン電子挙動モデルを使用する場合、ＨＤＲシナリオのテレビジョンは、ルマ＋クロマピクセル色（実際にディスプレイを駆動する）を得て、これらを、パネルを駆動するために非線形Ｒ’、Ｇ’、Ｂ’非線形駆動値に変換する（標準測色計算に従って）。次いで、ディスプレイは、これらのＲ’、Ｇ’、Ｂ’非線形駆動値をＰＱ ＥＯＴＦで処理して、どのフロントスクリーンピクセル輝度を表示するか（すなわち、一般に、依然として、ＬＣＤ材料の電気光学物理的挙動の原因となる内部処理が存在する場合、例えばＯＬＥＤパネルピクセル又はＬＣＤピクセルを駆動するやり方、しかしその態様は本議論とは無関係である）を知る。
【0098】
次いで、例えばディスプレイの前面にある制御ノブが、ルマオフセット値ｂ（ＰＬＵＧＥ又は他のテストパターンにおける最小値より２％上の黒パッチが見えるようになり、一方－２％の黒が見えなくなる瞬間）を与える。
【0099】
元の補正されていないディスプレイ挙動が、
ＬＲ＿Ｄ＝ＥＯＴＦ［ｍａｘ（０，Ｒ’）］＝ＰＱ［ｍａｘ（０，Ｒ’）］
ＬＧ＿Ｄ＝ＥＯＴＦ［ｍａｘ（０，Ｇ’）］＝ＰＱ［ｍａｘ（０，Ｇ’）］
ＬＢ＿Ｄ＝ＥＯＴＦ［ｍａｘ（０，Ｂ’）］＝ＰＱ［ｍａｘ（０，Ｂ’）］ ［式１］
である場合。
ＬＲ＿Ｄ＝ＥＯＴＦ［ｍａｘ（０，Ｒ’）］＝ＰＱ［ｍａｘ（０，Ｒ’）］
ＬＧ＿Ｄ＝ＥＯＴＦ［ｍａｘ（０，Ｇ’）］＝ＰＱ［ｍａｘ（０，Ｇ’）］
ＬＢ＿Ｄ＝ＥＯＴＦ［ｍａｘ（０，Ｂ’）］＝ＰＱ［ｍａｘ（０，Ｂ’）］ ［式１］
である場合。
【0100】
この式において、ＬＲ＿Ｄは、特定の輝度（（部分）ｎｉｔにおける）を有する特定のピクセル色を作成するために、表示されるべき赤の寄与の量（線形）であり、Ｒ’は、非線形ルマ符号値、例えば、１０ビット符号化における１０２３の値のうちの４１９である。
【0101】
同じことが、青成分及び緑成分に対して生じる。例えば、１ｎｉｔ（目に対するその色の総合輝度）の特定の色を作る必要がある場合、例えば、０．３３単位の青を必要とし、赤及び緑についても同じである。その同じ色の１００ｎｉｔを作る必要がある場合、ＬＲ＿Ｄ＝１００＊０．３３ｎｉｔであると言うことができる。
【0102】
ここで、このディプレイ駆動モデルをルマオフセットノブを介して制御する場合、一般式は以下のようになる、
ＬＲ＿Ｄ＿ｃ＝ＥＯＴＦ［ｍａｘ（０，ａ＊Ｒ’＋ｂ）］、ここで、ａ＝１－ｂ／ＯＥＴＦ［ＰＬ＿Ｄ］、など ［式２］
ＬＲ＿Ｄ＿ｃ＝ＥＯＴＦ［ｍａｘ（０，ａ＊Ｒ’＋ｂ）］、ここで、ａ＝１－ｂ／ＯＥＴＦ［ＰＬ＿Ｄ］、など ［式２］
【0103】
見えないディスプレイ黒のどこかに隠れている画像のゼロ黒を表示する代わりに、この手法では、黒が十分に識別できるようになるまさにそのレベルまでゼロ黒を引き上げる（消費者ディスプレイでは、ＰＬＵＧＥ以外の機構が使用されることがある、例えば、視聴者が好む使用可能なルマオフセットｂの値にもかかわらず、視聴者の好みが別のあり得る次善に潜在的に導くことに留意されたい）。
【0104】
これは、最適に再グレーディングされた画像を作成した後のディスプレイの後処理ステップである。すなわち、最初に、最適に理論的に再グレーディングされた画像が、デコーダによって計算され、例えば、最初に、再構築されたマスタＨＤＲ画像にマッピングされ、次いで、例えば５５０ｎｉｔのＰＬ＿Ｖ ＭＤＲ画像に輝度再マッピングされる、すなわち、ディスプレイの明度能力ＰＬ＿Ｄが考慮に入れられる。
【0105】
そして、この最適な画像が、映画作成者の理想的なビジョンに従って決定された後、画像中の黒の予想される視認性を考慮してディスプレイによってさらにマッピングされる。
【0106】
発明者によれば、問題は、これが、どちらかと言えば、表示されるべき画像の視聴室周囲光レベル適応の粗雑なやり方であることである代替のやり方が開発された。代替のやり方、特に、重要である画像の少なくともいくつかの部分において視聴者がよりコントラストの強い画像を見るやり方が開発された。
【0107】
米国特許出願公開第２０１９／０３０４３７９号（Ｐｙｔｌａｒｚ）は、環境光の量への適応を行う１つのやり方を教示しているが、通常のディスプレイ管理マッピングが適用されるように光の状況に対して事前補正した仮想画像を計算しており、最適化ディスプレイマッピング手順自体を適応させることを教示していない。
【0108】
ＷＯ２０２０／１４６６５５（Ａｔｋｉｎｓ）は、一般に、分子と分母をｍ乗したパラメータ化可能なシグモイド曲線を使用して、特定のディスプレイ向けの最適な画像を導き出すためのシステムを記載している。マッピングは、環境光を考慮に入れることによって補償されるが、シーン変化がビデオ内で発生したと決定された場合にのみ適用される。補償は、再び、入力信号に適用される。
【0109】
米国特許出願公開第２０２１／００９６０２３号（Ｙａｎｇ）は、視聴周囲の様々な態様を様々なやり方で考慮に入れるために、固定トーンダウンマッピング関数に対して行うことができる調節を記載している。この方法は、より暗い色とハイライト色との間のアンカー、例えば拡散白レベル、又はそれに関連して、例えば２０％の拡散白のような中間灰色を決定することに基づく。そのとき、第１の実施形態は、様々な環境適応輝度マッピング関数に対して固定されたそのアンカーポイントを維持し、一方、様々なより明るい周囲に対してアンカーより下の曲線の高さをブーストする（例えば、ゼロの近くの傾斜の制御を介して）。これは、比較的中程度の明るさの環境に対して有利であり、最も影響を受けるピクセル輝度（表示／可視の黒に圧倒されるか、又は少なくとも黒ペデスタルに対してコントラスト差をほとんど与えない）をブーストするとともに、ハイライトのために利用可な範囲を保持し、それによって、画像のＨＤＲ領域を壊さない。別の実施形態は、アンカー出力レベルを上方又は下方にオフセットする。これは、周囲（例えば、ディスプレイの背後のより強く照らされた白い壁）の明度に関連して、シーンの拡散白の明度を増加させるのに有用であるが、しかしながら、ヘッドルームの減少、その結果、入力画像の表示バージョンの品質のより劣った（壊れた）ハイライト及び／又はダイナミックレンジの減少という代償を払う。
【発明の概要】
【0110】
様々な周囲照明レベルに対する視覚的により良好に見える画像が、入力画像を処理して出力画像を取得する方法によって取得され、
入力画像が、第１の最大輝度（ＰＬ＿Ｖ＿ＨＤＲ）を有する第１の輝度ダイナミックレンジ（ＤＲ＿１）内にある入力輝度を有するピクセルを有し、
基準輝度マッピング関数（Ｆ＿Ｌ）が、入力画像に関連するメタデータとして受け取られ、
基準輝度マッピング関数が、２つの画像内の配置されたピクセルの輝度の間の関係を指定し、２つの画像は、同じ画像オブジェクトのピクセル輝度が２つの画像において異なるピクセル輝度を有するという点で、異なるようにグレーディングされ、
基準輝度マッピング関数が、入力画像の輝度と、第２の基準最大輝度（ＰＬ＿Ｖ＿ＳＤＲ）を有する二次基準画像の輝度との間の関係を指定し、
出力画像が、入力画像及び二次基準画像とは異なるオブジェクトピクセル輝度のグレーディングであり、出力画像が、第１の最大輝度及び第２の基準最大輝度（ＰＬ＿Ｖ＿ＳＤＲ）とは異なる出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）を有し、
処理が、基準輝度マッピング関数（Ｆ＿Ｌ）に基づく適応輝度マッピング関数（ＦＬ＿ＤＡ）を決定するステップと、出力輝度を取得するために、適応輝度マッピング関数（ＦＬ＿ＤＡ）を入力ピクセル輝度に適用するステップとを有し、
適応輝度マッピング関数（ＦＬ＿ＤＡ）が、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）に基づいて計算され、
適応輝度マッピング関数（ＦＬ＿ＤＡ）の計算が、最大輝度のメトリック（ＳＭ）上の位置（ｐｏｓ）を見つけるステップを有し、その位置が、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）に対応し、
メトリックの第１の端点が、第１の最大輝度（ＰＬ＿Ｖ＿ＨＤＲ）に対応し、メトリックの第２の端点が、第２の基準画像の第２の基準最大輝度（ＰＬ＿Ｖ＿ＳＤＲ）に対応し、
メトリックの第１の端点が、任意の正規化入力ルマ（Ｙｎ＿ＣＣ０）に対して、その正規化入力ルマに等しい水平及び垂直座標を有する対角線上の点に配置され、
第２の端点は、それが基準輝度マッピング関数（Ｆ＿Ｌ）の点の軌跡上にあるという点で、基準輝度マッピング関数（Ｆ＿Ｌ）の出力値と連結され、
調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）が、
周囲照明値（Ｌｘ＿ｓｕｒ）を取得し、
基準照明値（ＧｅｎＶｗＬｘ）を周囲照明値（Ｌｘ＿ｓｕｒ）で除算することによって相対的周囲光レベル（ＳｕｒＭｕｌｔ）を取得し、
出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）に相対的周囲光レベル（ＳｕｒＭｕｌｔ）を乗算した結果として、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）を取得する
ことによって決定されることを特徴とする。
入力画像が、第１の最大輝度（ＰＬ＿Ｖ＿ＨＤＲ）を有する第１の輝度ダイナミックレンジ（ＤＲ＿１）内にある入力輝度を有するピクセルを有し、
基準輝度マッピング関数（Ｆ＿Ｌ）が、入力画像に関連するメタデータとして受け取られ、
基準輝度マッピング関数が、２つの画像内の配置されたピクセルの輝度の間の関係を指定し、２つの画像は、同じ画像オブジェクトのピクセル輝度が２つの画像において異なるピクセル輝度を有するという点で、異なるようにグレーディングされ、
基準輝度マッピング関数が、入力画像の輝度と、第２の基準最大輝度（ＰＬ＿Ｖ＿ＳＤＲ）を有する二次基準画像の輝度との間の関係を指定し、
出力画像が、入力画像及び二次基準画像とは異なるオブジェクトピクセル輝度のグレーディングであり、出力画像が、第１の最大輝度及び第２の基準最大輝度（ＰＬ＿Ｖ＿ＳＤＲ）とは異なる出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）を有し、
処理が、基準輝度マッピング関数（Ｆ＿Ｌ）に基づく適応輝度マッピング関数（ＦＬ＿ＤＡ）を決定するステップと、出力輝度を取得するために、適応輝度マッピング関数（ＦＬ＿ＤＡ）を入力ピクセル輝度に適用するステップとを有し、
適応輝度マッピング関数（ＦＬ＿ＤＡ）が、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）に基づいて計算され、
適応輝度マッピング関数（ＦＬ＿ＤＡ）の計算が、最大輝度のメトリック（ＳＭ）上の位置（ｐｏｓ）を見つけるステップを有し、その位置が、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）に対応し、
メトリックの第１の端点が、第１の最大輝度（ＰＬ＿Ｖ＿ＨＤＲ）に対応し、メトリックの第２の端点が、第２の基準画像の第２の基準最大輝度（ＰＬ＿Ｖ＿ＳＤＲ）に対応し、
メトリックの第１の端点が、任意の正規化入力ルマ（Ｙｎ＿ＣＣ０）に対して、その正規化入力ルマに等しい水平及び垂直座標を有する対角線上の点に配置され、
第２の端点は、それが基準輝度マッピング関数（Ｆ＿Ｌ）の点の軌跡上にあるという点で、基準輝度マッピング関数（Ｆ＿Ｌ）の出力値と連結され、
調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）が、
周囲照明値（Ｌｘ＿ｓｕｒ）を取得し、
基準照明値（ＧｅｎＶｗＬｘ）を周囲照明値（Ｌｘ＿ｓｕｒ）で除算することによって相対的周囲光レベル（ＳｕｒＭｕｌｔ）を取得し、
出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）に相対的周囲光レベル（ＳｕｒＭｕｌｔ）を乗算した結果として、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）を取得する
ことによって決定されることを特徴とする。
【0111】
基準輝度マッピング関数は、典型的には、例えば、一般に、マスタＨＤＲ画像に視覚的に対応するより低い最大（可能）輝度の画像を作るとき、ビデオがどのように再グレーディングされるべきかをビデオのコンテンツ作成者が示すものである（ビデオでは、最大輝度は、一般に、上限であり、作成者が、選択した技術的ＨＤＲ符号化の変形に従って、画像の一部における極めて明るいオブジェクトに対応するピクセルの一部を最大限に明るくするために使用することができる）。すなわち、関数は、２つの基準グレーディングの様々な画像オブジェクトの輝度を関連づけ、少なくとも１つのオブジェクトの輝度（及び一般にそれを符号化する対応するルマも）は、第１及び第２の基準グレーディングにおいて異なる。入力画像（一般にマスタグレーディングＨＤＲ画像）は、第１の基準画像として機能する。したがって、異なるグレーディングは、とりわけ、少なくとも、２つの異なるようにグレーディングされた画像の最大輝度（例えば、太陽を表す円内のピクセル）が異なるが、さらに、一般に、いくつかの他の画像オブジェクトが、第１のグレーディングされた画像と比較して、第２のグレーディングにおいて異なる輝度を有する、例えば、関数マッピングが輝度の低下をもたらす場合、最大画像輝度に対して生じるようにかなり低下することを意味する。適応輝度マッピング関数を計算するディスプレイ適応部の選択されたメトリックは、そのような入力輝度が有することができるすべての可能な値のセットの様々な入力輝度又はルマが、ディスプレイ適応の出力画像の輝度又はルマにどのように変化するかを具体的に決定する。関数は、一般に、ルマドメインで定義され（選択されたＯＥＴＦ関数フレーバーに従って）、色処理もルマドメインで生じる（しかし、メトリックは、輝度再グレーディング関数のそのようなルマドメインプロットに重ね合わされたときでさえ、一般に、ルマではなく最大輝度の位置を示す）。ルマは、一般に、正規化される。第２の基準画像は、典型的には、（非限定で）、一般にマスタＨＤＲ画像から再グレーディングされたＳＤＲ、すなわち、１００ｎｉｔ最大輝度画像である（又は逆も同様であり、ＳＤＲ画像は、対応するＨＤＲ画像を再グレーディングするための開始画像となるが、その態様はコントラスト改善処理を変更しない）。
【0112】
本発明者は、自分の方法を提案するとき、関数Ｆ＿Ｌの形状によって指定されるルマ又は輝度の再グレーディングの必要性の（作成側の、例えば、ＨＤＲビデオ及びその再グレーディング必要性を特徴づける人間のアーティストの）ガイドを考慮に入れる方法を有することを望んだ。
【0113】
それゆえに、本発明者によって発明されたようなディスプレイ適応方法が使用され、それは、今では、異なるように調整される（形状適応される）、すなわち、対角線に向かうスクィージングが、異なる制御変数、すなわち、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）により生じる。
【0114】
様々なメトリックが定義されるが、一般に、常に、第１の端点（マスタＨＤＲグレーディング／画像の最大輝度の位置に対応する）を対角線、すなわち、入力ルマ軸と出力ルマ軸の両方に対して４５度の角度を有する、ゼロと１との間の正規化ルマのプロット内のライン上に位置づける。具体的には、各々の可能な入力ルマＹ＿ｉｎについて、この点は、任意のＹ＿ｉｎに対してＹ＿ｉｎに等しい水平座標に対する対角線上の位置（及びさらに垂直座標の値）を有する。メトリックの終点の位置、すなわち、典型例ではＰＬ＿Ｖ＿ＳＤＲの値を定める位置は、Ｆ＿Ｌ関数の形状の軌跡上のどこかにあり、この位置は、ディスプレイ適応アルゴリズムを行うためにどの角度を選択したかに依存する（例えば、垂直角度では、メトリック終点はｈ＝Ｙ＿ｉｎ；ｖ＝Ｆ＿Ｌ（Ｙ＿ｉｎ）である）。
【0115】
周囲光レベル指示値、すなわち、周囲照明値（Ｌｘ＿ｓｕｒ）が、例えば照度計によって測定され、一般に、輝度に変換される。基準照明値（ＧｅｎＶｗＬｘ）は、典型的な値、例えば、期待値又は良好に機能する値である。理想的には、それは、受信された画像に対応して決定される、例えば、画像がそのような環境照明のために作られたこと、又はそのような環境照明の下で最良に見られることを示した画像のメタデータとして共同通信される。それは、例えば、マスタＨＤＲ画像を見るための値（例えば、ＶＩＥＷ＿ＭＥＴ）であるか、又は、例えば、ＳＤＲグレーディングの値も考慮に入れ、最終的な典型値を取得するために式を適用することによって、それから導き出される値である。この式は、受信側で計算されるか、又はその結果が、ビデオ若しくは画像作成者によって計算され、メタデータとして共同通信される。例えば、ＧｅｎＶｗＬｘ値は、メモリに上書きされ、それは、現在の画像（のセット）のメタデータが受信されない場合、固定された製造業者値又は一般に通信された値（例えば、以前のプログラムからの）、などを含む。
【0116】
ルマは、入力輝度（Ｌ＿ｉｎ）が入力として存在する場合、光電変換関数（ＯＥＴＦ＿ｐｓｙ）を入力画像の入力輝度（Ｌ＿ｉｎ）に適用することによって計算される。いくつかの方法又は装置では、入力画像ピクセル色は、ルマ成分を有する。
【0117】
使用される光電伝達関数（ＯＥＴＦ＿ｐｓｙ）は、好ましくは、心理視覚的に均一な光電伝達関数である。この関数は、輝度からルマへのマッピング関数形状を決定する（一般に実験室において実験的に）ことによって定義され、その結果、ルマの範囲のどこかで選択された第１のルマよりも固定整数Ｎルマ高い第２のルマは、人間の観察者にとっての第１のルマの知覚される明度と比較して、知覚される明度の同様の差にほぼ対応する。次いで、さらなる再グレーディングマッピングが、この視覚的に均一にされたルマドメインにおいて定義される。
【0118】
すなわち、人間の視覚は非線形であり、それゆえに、１０ｎｉｔと（１．０５）＊１０ｎｉｔとの間の差を、例えば２０００ｎｉｔと（１．０５）＊２０００ｎｉｔとの間の差と同じように感じない。その均一化された知覚曲線は、人間が何を見ているか、すなわち、特に、見られているディスプレイのダイナミックレンジ（特定の周囲において）、すなわち、最大輝度ＰＬ＿Ｄ及び最小輝度にも依存する。
【0119】
そこで、理想的には、処理のために、以下の特性を有するＯＥＴＦ（又はその逆のＥＯＴＦ）を定義する。
【0120】
第１のルマを取る場合、例えば、１０ビットにおいて、ｌｕｍａ＿１＝１０である。そして、次いで、例えば、Ｎ＝５ルマ符号をより高く移動させ、第２のルマのｌｕｍａ＿２＝１５を得る。これは、明度感覚（すなわち、特定の物理的に表示された輝度で、人間の視聴者が、表示されたパッチの明度として経験するものを特徴づける値；それは、ＥＯＴＦを適用することによって決定される）の変化に対応する。
【0121】
そこで、１～２００の明度の範囲で、ルマ１０は、５の明度の印象を与え、ルマ１５は、７の印象を与える、すなわち、明度が２単位明るいと仮定する。
【0122】
次いで、より明るい輝度を符号化する２つのルマ、例えば、８００及び８００＋５を取る。そのとき、視聴者がルマ差に起因して同じ明度差を経験する場合、ルマスケールは視覚的にほぼ均一である。例えば、ルマ８００は、１６０の明度知覚を与え、ルマ８０５は明度１６２のように見え、すなわち、再び、明度に２単位の差がある。知覚的に適度に均一化されたルマ定義が既にうまく機能するので、関数は正確に明度決定関数である必要がない。
【0123】
輝度処理に起因する変化の影響は、そのような心理視覚的に均一のシステムで行われた場合、視覚的にそれほど不快ではない（脳がより容易に抑制するので）。
【0124】
ディスプレイ適応は、一般に、ＳＤＲ画像への基準再グレーディングと比較して、より暗いオブジェクトルマの傾斜を小さくするが、今では、目的は、視覚的によく見える画像を提供するために、必要とされる値に傾斜を維持することである。
【0125】
すなわち、図４及び図５、又は同様の技法を用いて説明するような、特別に形成されたＦ＿Ｌ関数のより少ない変形（対応するより低い最大輝度の二次グレーディングを得るために、現在の特定のＨＤＲ画像又はシーンについて、特定の必要とされる輝度再マッピング、別名、再グレーディングの必要性に対応する）を作るための可能な実施形態のいずれかが使用される。輝度マッピング関数は一般に、ルママッピング関数として、すなわち、適切なＯＥＴＦを介して両方の正規化された輝度軸をルマ軸に変換する（入出力画像の適切な最大輝度値を使用した正規化）ことによって表される。
【0126】
発明者らの方法がシグモイドマッピングに限定されることを望んでいないことに留意されたい。多くのディスプレイシナリオに向けた最適化マッピングの全く妥当なやり方は最終的なものではないが、発明者らは、コンテンツ作成者がどれくらい正確に画像を再グレーディングしたいか、すなわち、どの関数形状で再グレーディングしたいかに関してコンテンツ作成者に高い自由度を与えるシステムを機能させる手法を望む。
【0127】
具体的には、Ｆ＿Ｌ関数が定義される二次グレーディングは、有利には、１００ｎｉｔグレーディングであり、それは、ほとんどの将来のディスプレイ状況の要求に応えるのに適している（将来にも、低いダイナミックレンジ品質のディスプレイシナリオがあることに留意されたい）。
【0128】
実際の実施形態において、調節された最大輝度値ＰＬ＿Ｖ＿ＣＯが低くなりすぎないように、例えば、ＰＬ＿Ｖ＿ＳＤＲよりも低くなる場合にはＰＬ＿Ｖ＿ＳＤＲと等しく設定される、などのように、スケーラ及び／又はクリッパが存在するか、又は、一般に、より高い入力値に対して傾斜を低減する制動機能が存在する。
【0129】
有利には、入力画像を処理する方法は、基準輝度マッピング関数（Ｆ＿Ｌ）として、入力画像の作成者によって作成され、画像通信チャネルを介してメタデータとして受信されるものを使用する。
【0130】
システムはまた、よく機能する再グレーディング関数の独特のバージョンを決定する（すなわち、例えば、いくつかの以前の画像及び／又は現在の画像（遅延出力の場合）のルマ発生の分析に基づいて、ヒューリスティックに、Ｆ＿Ｌの良好な形状を決定する）装置で使用されるが、作成者が決定した再グレーディング関数で作動する場合に特に有用である。
【0131】
有利には、入力画像を処理する方法は、
ディスプレイのユーザから入力値（ＵＣＢＳｌｉＶａｌ）を得るステップと、
入力値に強度値（ＥＸＣＳ）及び出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）を乗算することによってユーザ制御値（ＵＣＢＶａｌ）を計算するステップと、
ユーザ調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ＿Ｕ）を取得するために最大輝度値（ＰＬ＿Ｖ＿ＣＯ）からユーザ制御値（ＵＣＢＶａｌ）を減算するステップと、
適応輝度マッピング関数（ＦＬ＿ＤＡ）を決定するために、ユーザ調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ＿Ｕ）をメトリック上の位置として使用するステップと
を有する。
ディスプレイのユーザから入力値（ＵＣＢＳｌｉＶａｌ）を得るステップと、
入力値に強度値（ＥＸＣＳ）及び出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）を乗算することによってユーザ制御値（ＵＣＢＶａｌ）を計算するステップと、
ユーザ調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ＿Ｕ）を取得するために最大輝度値（ＰＬ＿Ｖ＿ＣＯ）からユーザ制御値（ＵＣＢＶａｌ）を減算するステップと、
適応輝度マッピング関数（ＦＬ＿ＤＡ）を決定するために、ユーザ調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ＿Ｕ）をメトリック上の位置として使用するステップと
を有する。
【0132】
次いで、ユーザは、最初に決定された最適設定をユーザの特定の要望にさらに合わせる（すなわち、ディスプレイ適応再グレーディング関数の再計算）。
【0133】
さらに、入力画像内の最も暗い黒を周囲照明値（Ｌｘ＿ｓｕｒ）の関数としての黒オフセット値に設定するステップを含むことによって、入力画像を処理する本方法を黒オフセッティングと組み合わせることは有利である。この２つの順序は交換可能であるが、それは、黒レベルが最初に設定される場合に有用である（これにより、例えば、その状況に対してコントラストが微調整される）。一例として、図６で説明される手法が使用されるか、又は任意の他の黒オフセッティング技法が使用される。
【0134】
この概念は、出力画像を取得するために入力画像を処理するための装置として有用に具現化され、
入力画像は、第１の輝度ダイナミックレンジ（ＤＲ＿１）内にある入力輝度を有するピクセルを有し、第１の輝度ダイナミックレンジは、第１の最大輝度（ＰＬ＿Ｖ＿ＨＤＲ）を有し、この装置は、
入力画像（５１３）を取得するように構成された画像入力部（９２１）と、
入力画像に関連するメタデータである基準輝度マッピング関数（Ｆ＿Ｌ）を受け取るためのデータ入力部（９２０）であって、
基準輝度マッピング関数が、第１の基準画像の輝度と第２の基準画像の輝度との間の関係を指定し、
第１の基準画像が第１の基準最大輝度を有し、第２の基準画像が第２の基準最大輝度を有し、
入力画像が第１の基準画像に等しく、
出力画像が、第１の基準画像にも第２の基準画像にも等しくなく、
出力画像が、第１の最大輝度よりも低い出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）を有する、データ入力部（９２０）と、
周囲照明値（Ｌｘ＿ｓｕｒ）として表される、ディスプレイに当たる周囲環境の光の量を決定するように構成された照度計（９０２）と、
基準輝度マッピング関数（Ｆ＿Ｌ）に基づく適応輝度マッピング関数（ＦＬ＿ＤＡ）を決定するように構成され、及び出力輝度又は対応するルマを取得するために適応輝度マッピング関数（ＦＬ＿ＤＡ）を入力ピクセル輝度又は対応するルマに適用するように構成されたディスプレイ適応回路（５１０）と
を含み、
この装置が、最大輝度決定ユニット（９０１）を含み、最大輝度決定ユニット（９０１）が、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）を決定し、それをディスプレイ適応回路（５１０）に供給するように構成され、
最大輝度決定ユニット（９０１）が、
メモリ（９０５）から基準照明値（ＧｅｎＶｗＬｘ）を取得し、出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）を取得し、周囲照明値（Ｌｘ＿ｓｕｒ）を受け取り、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）を、
基準照明値（ＧｅｎＶｗＬｘ）を周囲照明値（Ｌｘ＿ｓｕｒ）で除算することによって相対的周囲光レベル（ＳｕｒＭｕｌｔ）を決定し、
出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）に相対的周囲光レベル（ＳｕｒＭｕｌｔ）を乗算した結果として、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）を決定する
ことによって決定するように構成されることを特徴とし、
ディスプレイ適応回路（５１０）が、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）に基づいて適応輝度マッピング関数（ＦＬ＿ＤＡ）を決定するように構成され、
適応輝度マッピング関数（ＦＬ＿ＤＡ）の計算が、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）に対応するメトリック（ＳＭ）上の位置（ｐｏｓ）を見つけることを含み、
メトリックの第１の端点が、第１の最大輝度（ＰＬ＿Ｖ＿ＨＤＲ）に対応し、メトリックの第２の端点が、第２の基準画像の最大輝度に対応し、
メトリックの第１の端点が、任意の正規化入力ルマ（Ｙｎ＿ＣＣ０）に対して、入力ルマに等しい水平及び垂直座標を有する対角線上の点に配置され、
第２の端点が、基準輝度マッピング関数（Ｆ＿Ｌ）の出力値と連結される
ことを特徴とする。
入力画像は、第１の輝度ダイナミックレンジ（ＤＲ＿１）内にある入力輝度を有するピクセルを有し、第１の輝度ダイナミックレンジは、第１の最大輝度（ＰＬ＿Ｖ＿ＨＤＲ）を有し、この装置は、
入力画像（５１３）を取得するように構成された画像入力部（９２１）と、
入力画像に関連するメタデータである基準輝度マッピング関数（Ｆ＿Ｌ）を受け取るためのデータ入力部（９２０）であって、
基準輝度マッピング関数が、第１の基準画像の輝度と第２の基準画像の輝度との間の関係を指定し、
第１の基準画像が第１の基準最大輝度を有し、第２の基準画像が第２の基準最大輝度を有し、
入力画像が第１の基準画像に等しく、
出力画像が、第１の基準画像にも第２の基準画像にも等しくなく、
出力画像が、第１の最大輝度よりも低い出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）を有する、データ入力部（９２０）と、
周囲照明値（Ｌｘ＿ｓｕｒ）として表される、ディスプレイに当たる周囲環境の光の量を決定するように構成された照度計（９０２）と、
基準輝度マッピング関数（Ｆ＿Ｌ）に基づく適応輝度マッピング関数（ＦＬ＿ＤＡ）を決定するように構成され、及び出力輝度又は対応するルマを取得するために適応輝度マッピング関数（ＦＬ＿ＤＡ）を入力ピクセル輝度又は対応するルマに適用するように構成されたディスプレイ適応回路（５１０）と
を含み、
この装置が、最大輝度決定ユニット（９０１）を含み、最大輝度決定ユニット（９０１）が、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）を決定し、それをディスプレイ適応回路（５１０）に供給するように構成され、
最大輝度決定ユニット（９０１）が、
メモリ（９０５）から基準照明値（ＧｅｎＶｗＬｘ）を取得し、出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）を取得し、周囲照明値（Ｌｘ＿ｓｕｒ）を受け取り、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）を、
基準照明値（ＧｅｎＶｗＬｘ）を周囲照明値（Ｌｘ＿ｓｕｒ）で除算することによって相対的周囲光レベル（ＳｕｒＭｕｌｔ）を決定し、
出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）に相対的周囲光レベル（ＳｕｒＭｕｌｔ）を乗算した結果として、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）を決定する
ことによって決定するように構成されることを特徴とし、
ディスプレイ適応回路（５１０）が、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）に基づいて適応輝度マッピング関数（ＦＬ＿ＤＡ）を決定するように構成され、
適応輝度マッピング関数（ＦＬ＿ＤＡ）の計算が、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）に対応するメトリック（ＳＭ）上の位置（ｐｏｓ）を見つけることを含み、
メトリックの第１の端点が、第１の最大輝度（ＰＬ＿Ｖ＿ＨＤＲ）に対応し、メトリックの第２の端点が、第２の基準画像の最大輝度に対応し、
メトリックの第１の端点が、任意の正規化入力ルマ（Ｙｎ＿ＣＣ０）に対して、入力ルマに等しい水平及び垂直座標を有する対角線上の点に配置され、
第２の端点が、基準輝度マッピング関数（Ｆ＿Ｌ）の出力値と連結される
ことを特徴とする。
【0135】
入力画像を処理するための装置は、ユーザ値回路（９０３）をさらに含み、ユーザ値回路（９０３）は、
ディスプレイのユーザから入力値（ＵＣＢＳｌｉＶａｌ）を得て、
入力値に強度値（ＥＸＣＳ）及び出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）を乗算することによってユーザ制御値（ＵＣＢＶａｌ）を計算するように構成され、
最大輝度決定ユニット（９０１）は、
ユーザ制御値（ＵＣＢＶａｌ）を受け取り、ユーザ調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ＿Ｕ）を取得するために最大輝度値（ＰＬ＿Ｖ＿ＣＯ）からユーザ制御値（ＵＣＢＶａｌ）を減算する
ように構成され、
ディスプレイ適応回路（５１０）は、適応輝度マッピング関数（ＦＬ＿ＤＡ）を決定するために、ユーザ調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ＿Ｕ）をメトリック上の位置として使用する
ように構成される。
ディスプレイのユーザから入力値（ＵＣＢＳｌｉＶａｌ）を得て、
入力値に強度値（ＥＸＣＳ）及び出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）を乗算することによってユーザ制御値（ＵＣＢＶａｌ）を計算するように構成され、
最大輝度決定ユニット（９０１）は、
ユーザ制御値（ＵＣＢＶａｌ）を受け取り、ユーザ調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ＿Ｕ）を取得するために最大輝度値（ＰＬ＿Ｖ＿ＣＯ）からユーザ制御値（ＵＣＢＶａｌ）を減算する
ように構成され、
ディスプレイ適応回路（５１０）は、適応輝度マッピング関数（ＦＬ＿ＤＡ）を決定するために、ユーザ調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ＿Ｕ）をメトリック上の位置として使用する
ように構成される。
【0136】
入力画像を処理するための装置は、周囲照明値（Ｌｘ＿ｓｕｒ）の関数として、入力画像内の最も暗い黒ルマを黒オフセットルマに設定するように構成された黒適応回路をさらに含む。
【0137】
特に、これらの技術的要素が、ＡＳＩＣ（特定用途向け集積回路、すなわち、一般に、ＩＣ設計者がＩＣ（の一部）にこの方法を実行させる）、ＦＰＧＡ、プロセッサ、などのような様々な処理要素で具現化され、ディスプレイ、又はディスプレイに外部的に接続される非ディスプレイ装置を含むかどうかにかかわらず、様々な消費者又は非消費者装置に存在すること、画像及びメタデータが、無線放送、ケーブルベース通信などの様々な画像通信技術によって出入りして通信されること、装置が、例えばテレビジョン放送、インターネットによるオンデマンド、などのような様々な画像通信及び／又は使用エコシステムにおいて使用されることを当業者は理解する。
【0138】
本発明による方法及び装置のこれら及び他の態様は、以下に記載される実施態様及び実施形態を参照して、及び添付の図面を参照して、明らかになり、説明され、添付の図面は、より一般的な概念を例示する非限定的な特定の例証として単に役立ち、添付の図面において、ダッシュは、構成要素がオプションであることを示すために使用され、ダッシュされていない構成要素は必ずしも不可欠でない。ダッシュはまた、不可欠であると説明されているがオブジェクトの内部に隠されている要素、又は例えばオブジェクト／領域の選択などの無形のものを示すために使用される。
【図面の簡単な説明】
【0139】
【図1】いくつかの典型的な色変換を概略的に示す図である。色変換は、最適に高ダイナミックレンジ画像を、対応する最適に色グレーディングされた及び同様に見える（それぞれ第１ダイナミックレンジＤＲ＿１及び第２のダイナミックレンジＤＲ＿２における違いを考えれば、所望通り及び実現可能な限り同様である）より低いダイナミックレンジ画像、例えば、１００ｎｉｔ最大輝度の標準ダイナミックレンジ画像に最適にマッピングするときに行われ、それは、可逆性の場合、ＨＤＲシーンを実際に符号化する受信されたＳＤＲ画像をそのシーンの再構築されたＨＤＲ画像にマッピングすることにも対応する。輝度は、最も暗い黒から最大輝度ＰＬ＿Ｖまで縦軸上の場所として示されている。輝度マッピング関数は、第１のダイナミックレンジ上の輝度から第２のダイナミックレンジへの平均オブジェクト輝度をマッピングする矢印によって象徴的に示されている（当業者は、これを、古典的関数として、それぞれの最大輝度で除算することによって正規化された、例えば１に正規化された軸上に等価的に描くやり方を知っている）。
【図2】出願人が最近開発した、高ダイナミックレンジ画像、すなわち、典型的には少なくとも６００ｎｉｔ以上の（典型的には１０００ｎｉｔ以上の）輝度を有することができる画像を符号化する技術の高レベルビューの例を概略的に示す図である。それは、実際に、ＨＤＲ画像を、それ自体で、又は対応する輝度再グレーディングＳＤＲ画像と、受信ＳＤＲ画像をＨＤＲ画像に変換するためにデコーダによって使用されるピクセル色に対する少なくとも適切な決定された輝度マッピング関数（Ｆ＿Ｌ）を含む色変換関数を符号化するメタデータとを加えたものとして通信する。
【図3】（非限定的な）好ましい実施形態として、画像デコーダ、特に、ピクセル色処理エンジンの内部の詳細を示す図である。
【図4】サブ画像図４ａ及び図４ｂからなり、２つの基準画像間の輝度再グレーディング必要性を体系化する基準輝度マッピング関数Ｆ＿Ｌから、特定のディスプレイ能力（ＰＬ＿Ｄ）に対して、入力画像の最適なディスプレイ適応バージョンを計算するために使用される最終ディスプレイ適応輝度マッピング関数ＦＬ＿ＤＡを得るためのディスプレイ適応の２つの可能な変形を示す図である。
【図5】本実施形態及び特許請求の範囲の策定における構成要素としてディスプレイ適応の原理をより容易に理解するために、ディスプレイ適応の原理をより一般的に要約する図である。
【図6】環境照明補償処理に関する技術的要素を説明するための例示的な装置を示す図である。
【図7】仮想ターゲットディスプレイの相関概念、特にターゲットディスプレイの最小輝度（ｍＬ＿ＶＤ）と、典型的には輝度再マッピングが実行される視聴者のエンドユーザディスプレイのような実際のディスプレイへの関係又は関連性とを説明する図である。
【図8】メタデータのカテゴリの一部を説明する図であり、メタデータのカテゴリの一部は、長く使われるプロフェショナルＨＤＲ符号化フレームワークのために利用可能であり（例えば、典型的にはピクセル色画像と共同通信する）、そのため、任意の受信機が、特に、特定の最終視聴状況（ディスプレイ及び環境）に対して受信画像を最適化するために必要であるか、又は少なくともエレガントに利用する利用可能なすべてのデータを有する。
【図9】特に、既存のディスプレイ適応手法を基礎にして設計する場合に、画像のコントラストを最適化するためのやり方、特に、様々な視聴環境光レベル又は状況を補償するためのやり方を説明する図である。
【発明を実施するための形態】
【0140】
図６は、本革新の要素、特に、色処理回路６００を実行するやり方を一般的に説明するための装置を示す。それを一般的に説明し、次いで、実施形態の変形のいくつかの詳細を述べる。周囲光適応色処理が特定用途向け集積回路（ＡＳＩＣ）の内部で実行されると仮定するが、当業者は、他の関連した装置で色処理を同様に実施するやり方を理解するであろう。いくつかの態様は、ディスプレイに対して処理を行い、それを既に輝度最適化された画像とともに提供するために、このＡＳＩＣが、例えば、テレビジョンディスプレイ（典型的にはエンドユーザディスプレイ）に存在するか、又はディスプレイに接続された別の装置、例えばセットトップボックスなどに存在するかどうかに応じて異なる（当業者は、この装置構成図を、対応する方法の方法流れ図にマッピングすることもできる）。
【0141】
処理されるべき入力画像の入力輝度（Ｌ＿ｉｎ）（一般性を失いたくないので、マスタＨＤＲ画像ＭＡＳＴ＿ＨＤＲであると仮定する）は、画像ピクセルデータ入力部６９０を介して入力された後、最初に、対応するルマ（例えば、１０ビット符号化ルマ）に変換される。そのために、光－電子伝達関数が使用され、それは、一般に、製造業者によって装置に固定される（それは設定変更可能であるが）。
【0142】
知覚的に均一なＯＥＴＦ（ＯＥＴＦ＿ｐｓｙ）を利用することは有用である。
【0143】
以下のＯＥＴＦが使用される（ルマＹｎ＿ＣＣ０の出力として定義する）と仮定する。
Ｙｎ＿ＣＣ０＝ｖ（Ｌ＿ｉｎ；ＰＬ＿Ｖ＿ｉｎ）＝ｌｏｇ［１＋（ＲＨＯ－１）＊ｐｏｗｅｒ（Ｌ＿ｉｎ；ｐ）］／ｌｏｇ［ＲＨＯ］ ［式３］
ここで、ＲＨＯは、式ＲＨＯ（ＰＬ＿Ｖ＿ｉｎ）＝１＋３２＊ｐｏｗｅｒ（（ＰＬ＿Ｖ＿ｉｎ／１０，０００）；ｐ）による入力最大輝度ＰＬ＿Ｖ＿ｉｎに依存する定数であり、ｐは、好ましくは、１／（２．４）に等しい冪関数の冪である。
Ｙｎ＿ＣＣ０＝ｖ（Ｌ＿ｉｎ；ＰＬ＿Ｖ＿ｉｎ）＝ｌｏｇ［１＋（ＲＨＯ－１）＊ｐｏｗｅｒ（Ｌ＿ｉｎ；ｐ）］／ｌｏｇ［ＲＨＯ］ ［式３］
ここで、ＲＨＯは、式ＲＨＯ（ＰＬ＿Ｖ＿ｉｎ）＝１＋３２＊ｐｏｗｅｒ（（ＰＬ＿Ｖ＿ｉｎ／１０，０００）；ｐ）による入力最大輝度ＰＬ＿Ｖ＿ｉｎに依存する定数であり、ｐは、好ましくは、１／（２．４）に等しい冪関数の冪である。
【0144】
入力最大輝度は、入力画像に関連する最大輝度である（それは、必ずしもビデオシーケンスの各画像における最も明るいピクセルの輝度ではなく、画像又はビデオを絶対上限値として特徴づけるメタデータである）。
【0145】
それは、一般に、設定変更可能であり、ＰＬ＿Ｖ＿ＨＤＲ、例えば２０００ｎｉｔとして第１の最大データ入力部６９１を介して入力される。それは、他の変形では、さらに、画像通信及び／又は処理システムのための固定値、例えば５０００ｎｉｔであり、それゆえに、光電変換回路６０１の処理における固定値である（したがって、ＰＬ＿Ｖ＿ＨＤＲのデータ入力を表す垂直の矢印は、それがすべての実施形態に存在するわけではないので、点線で示されている；白丸は、混合しない重複データバスと混同しないように、このデータ供給の分岐を記号化していることに留意されたい）。
【0146】
続いて、実施形態によっては、本方法又は色処理装置が特定の視聴環境に最適に適応する開始ルマＹｎ＿ＣＣを得るために、輝度マッピング回路６０２によるさらなる輝度マッピングがある。そのようなさらなる輝度マッピングは、一般に、接続されたディスプレイの特定のディスプレイ最大値輝度ＰＬ＿Ｄに画像を事前適合させるためのディスプレイ適応である。
【0147】
より単純な実施形態には、このオプションの輝度マッピングが存在せず、そこで、２０００ｎｉｔ環境最適化画像が、入力２０００ｎｉｔマスタＨＤＲ画像（又は固定の５０００ｎｉｔのＨＤＲ画像状況）に対して計算されることになる、すなわち、最大輝度値が入出力画像間で同じままであると仮定して、最初に色処理について説明するこの場合には、開始ルマＹｎ＿ＣＣは、単純に、光電変換回路６０１によって出力される初期開始ルマＹｎ＿ＣＣ０に等しい。
【0148】
線形スケーリング回路６０３は、
Ｙｉｍ＝（Ｙｄｉｆ＋１）＊Ｙｎ＿ＣＣ－１．０＊Ｙｄｉｆ ［式４］
のタイプの関数を適用することによって中間ルマＹｉｍを計算する。
Ｙｉｍ＝（Ｙｄｉｆ＋１）＊Ｙｎ＿ＣＣ－１．０＊Ｙｄｉｆ ［式４］
のタイプの関数を適用することによって中間ルマＹｉｍを計算する。
【0149】
ルマ差Ｙｄｉｆは、（第２の）光電変換回路６１１から得られる。この回路は、輝度差ｄｉｆを、対応するルマ差Ｙｄｉｆに変換する。この回路は、回路６０１と同じＯＥＴＦ式を使用する、すなわち、同様に、同じＰＬ＿Ｖ＿ｉｎ値（及び冪値）を使用する。
【0150】
輝度差ｄｉｆは、輝度差計算器６１０によって計算され、輝度差計算器６１０は、２つの最も暗い輝度値、すなわち、視聴室の特定の照明特性を与えられたターゲットディスプレイの最小輝度（ｍＬ＿ＶＤ）及びエンドユーザディスプレイの最小輝度（ｍＬ＿Ｄｅ）を受け取り、
ｄｉｆ＝ｍＬ＿ＶＤ－ｍＬ＿Ｄｅ ［式５］
を計算し、
ｍＬ＿Ｄｅは、一般に、一方では、エンドユーザディスプレイの固定ディプレイ最小黒（ｍＢ＿ｆＤ）と、周囲光の量の関数である輝度（ｍＢ＿ｓｕｒ）との関数（一般に加算）である。ディスプレイ最小黒（ｍＢ＿ｆＤ）の典型例は、ＬＣＤディスプレイの漏れ光である。そのようなディスプレイが、完全な（すなわち、理想的には、出力される光子がゼロの）黒を示しているコードで駆動される場合、ＬＣＤ材料の物理的性質のために、そのようなディスプレイは、依然として、常に、例えば０．０５ｎｉｔの光、いわゆる漏れ光を出力する。これは、視聴環境における周囲光に関係なく、そのため、完全に暗い視聴室に当てはまる。
ｄｉｆ＝ｍＬ＿ＶＤ－ｍＬ＿Ｄｅ ［式５］
を計算し、
ｍＬ＿Ｄｅは、一般に、一方では、エンドユーザディスプレイの固定ディプレイ最小黒（ｍＢ＿ｆＤ）と、周囲光の量の関数である輝度（ｍＢ＿ｓｕｒ）との関数（一般に加算）である。ディスプレイ最小黒（ｍＢ＿ｆＤ）の典型例は、ＬＣＤディスプレイの漏れ光である。そのようなディスプレイが、完全な（すなわち、理想的には、出力される光子がゼロの）黒を示しているコードで駆動される場合、ＬＣＤ材料の物理的性質のために、そのようなディスプレイは、依然として、常に、例えば０．０５ｎｉｔの光、いわゆる漏れ光を出力する。これは、視聴環境における周囲光に関係なく、そのため、完全に暗い視聴室に当てはまる。
【0151】
ｍＬ＿ＶＤ及びｍＬ＿Ｄｅの値は、一般に、第１の最小メタデータ入力部６９３及び第２の最小メタデータ入力部６９４を介して、例えば同じ又は異なる装置内の外部メモリから、又は光測定デバイスからの回路などを介して得られる。特定の実施形態において必要とされる最大輝度値、例えば、色処理された出力画像を表示することができるディスプレイの最大輝度（ＰＬ＿Ｄ）は、一般に、第２の最大メタデータ入力部６９２のような入力コネクタを介して入力される。出力画像色は、ピクセル色出力部６９９において完全に書かれる（当業者は、これを、様々な技術的な変形、例えば、ＩＣのピン、ＨＤＭＩ（登録商標）のような標準ビデオケーブル接続、画像のピクセル色データの無線チャネルベース通信、などとして実現するやり方を理解している）。
【0152】
周囲光の量（ｍＢ＿ｓｕｒ）の関数である輝度［周囲黒輝度と縮めて呼ぶ］の正確な決定は、いくつかの代替のやり方で決定されてもよいので、本革新の典型的な態様ではない。例えば、視聴者は、ＰＬＵＧＥ、又は消費者にとってより都合のよい変形などのテスト信号を使用して、一般に、ディスプレイのフロントスクリーン上の反射から生じるマスキング黒を表すと考える輝度ｍＢ＿ｓｕｒの値を決定する。特定の夕方かどうかにかかわらず、又は、例えば、通常、ディスプレイの購入時に消費者が部屋の照明構成を固定したままにする状況から、視聴者が値を単に設定するとさらに仮定する。又は、典型的な消費者の視聴状況の少なくとも１つに対して平均的によく機能する値としてテレビジョン製造業者が焼き込んだ値でさえある。この方法がモバイルデバイスでの視聴のために輝度を適応させるのに使用される場合、視聴環境が比較的安定していないことが一般的である（例えば、列車内でビデオを見ており、列車がトンネルに入ると、照明レベルが屋外から屋内に変化する）。
【0153】
そのような場合、例えば、内蔵照度計の時間フィルタリング測定を利用することができる（経時的に処理をむやみに適応させないためにあまり頻繁に測定しないが、例えば、日の当たるベンチに座っていて、次いで屋内を歩くときに、など）。
【0154】
そのような計器は、一般に、それに当たる、それゆえ、ディスプレイにも当たる光の平均量（ｌｕｘ単位）を測定する
【0155】
異なる測光量であるが、ｌｕｘ値は、よく知られている測光の式によって周囲黒輝度に変換される。
ｍＢ＿ｓｕｒ＝Ｒ＊Ｅｖ／ｐｉ ［式６］
ｍＢ＿ｓｕｒ＝Ｒ＊Ｅｖ／ｐｉ ［式６］
【0156】
この式において、Ｅｖは、ｌｕｘ単位の周囲環境照度であり、Ｐｉは、定数３．１４１５であり、Ｒは、ディスプレイスクリーンの反射率である。一般に、モバイルディスプレイのメーカは、その値を式に入れる。
【0157】
平均的なグレーと白との間のどこかの色をもつ周囲の通常の反射面、例えば家の壁では、約０．３のＲ値を仮定することができる、すなわち、経験則として輝度値は、ｌｕｘ単位で言及された照度値の約１／１０であると言うことができる。ディスプレイの前面は、はるかに少ない光を反射する。特別な反射防止技術が利用されているかどうかに応じて、Ｒ値は、例えば、約１％である（但し、ガラスの８％反射率に向かってより高くなる場合があり、それは、特に、より明るい視聴周囲では問題であることがある）。
それゆえ、ｍＬ＿Ｄｅ＝ｍＢ＿ｆＤ＋ｍＢ＿ｓｕｒ ［式７］
それゆえ、ｍＬ＿Ｄｅ＝ｍＢ＿ｆＤ＋ｍＢ＿ｓｕｒ ［式７］
【0158】
ターゲットディスプレイの最小輝度（ｍＬ＿ＶＤ）の値の技術的な意味が、図７を用いてさらに説明される。
【0159】
左側から始まる最初の３つの輝度範囲は、実際には、「仮想」ディスプレイ範囲、すなわち、必ずしも実際のディスプレイではなく、画像に対応するレンジである（それは、すなわち、ターゲットディスプレイ、すなわち、画像が理想的に示され得るが、潜在的に消費者が所有しないディスプレイに対応する）。これらのターゲットディスプレイは、画像が、ターゲットディスプレイのために特別に作成される（すなわち、輝度は特定の所望のオブジェクト輝度に向けてグレーディングされる）ので共同定義される。例えば、爆発は、５５０ｎｉｔディスプレイではあまり明るくすることができず、そのため、グレーダは、爆発が少なくとも多少コントラストがあるように見えるように、他の画像オブジェクトの輝度を下げたいことがある。しかし、誰もそのようなディスプレイを所有していないことは十分にあり得、画像は、依然として、特定の視聴者が所有する実際のディスプレイへのディスプレイ適応によって最適化される必要がある。このエンドユーザディスプレイで物理的に表示可能な輝度の範囲は、右端の輝度範囲（ＥＵ＿ＤＩＳＰ）として示される。
【0160】
１つ又は複数のターゲットディスプレイのこの情報はメタデータを構成し、その一部は、一般に、画像自体と一緒に、すなわち、画像ピクセル輝度と一緒に通信される。
【0161】
ＨＤＲ画像を特徴づける（符号化する）ためのこの手法は、旧来のＳＤＲ画像符号化から著しく逸脱し、これらの態様は最近発明されたにすぎないので、及び重要な技術的な要素が誤解されるべきでないので、読者のために、必要とされる概念が、図８を用いて要約される。
【0162】
ＨＤＲビデオは、メタデータによって十分に補足されるが、その理由は、多くの態様が異なる可能性がある（例えば、ＳＤＲディスプレイの最大輝度は、常に、ほぼ１００ｎｉｔの範囲であったが、今では、人々は、かなり異なるディスプレイ能力、例えば、５０ｎｉｔ、５００ｎｉｔ、１０００ｎｉｔ、２５００ｎｉｔ、将来には多分さらに１０，０００ｎｉｔに等しいＰＬ＿Ｄのディスプレイを有し、ビデオの最大符号化可能輝度ＰＬ＿Ｖのようなコンテンツ特性もかなり変化し、それゆえにグレーダが典型的なシーンに対して作る暗と明との間の輝度の分配も典型的なＳＤＲ画像と任意のＨＤＲ画像との間で大いに異なる、など）からであり、それらの様々な不安定な範囲にわたる不十分な制御のために困難に陥るべきでない。
【0163】
上述で説明したように、少なくともピクセルルマを含むピクセル色の少なくとも１つのピクセル化マトリクスを取得すべきであり、そうでなければ（比色的に誤って表示され場合でさえ）画像形状さえ見えない。上述のように、時刻ごとに１つの画像のみを実際に通信することによって、２つの異なるダイナミックレンジ画像（ＭＤＲ画像のような異なるダイナミックレンジの画像を作る必要がある場合に特定のビデオコンテンツの輝度再グレーディングの必要性を示すための２つの基準グレーディングの役割を果たすことができる）を通信することができる。
【0164】
マスタＨＤＲ画像自体を通信し、そのため、第１のデータセット８０１（画像色）は、通信される画像のピクセルの色成分トリプレットを含み、例えば、受信側テレビジョンディスプレイに存在する色処理回路の入力になると仮定する。
【0165】
一般に、そのような画像は、（例えば１０ビット）ルマ及び２つのクロマ成分Ｃｒ及びＣｂとしてデジタル化される（けれども非線形Ｒ’Ｇ’Ｂ’成分も通信することができる）。しかし、ルマ１０２３又は例えば２２９がどの輝度を表しているかを知る必要がある。
【0166】
そのため、コンテナメタデータ８０２を共同通信する。ルマは、ＳＭＰＴＥ ＳＴ．２０８４において標準化されているように、例えば、知覚量子化器ＥＯＴＦ（又はその逆のＯＥＴＦ）に従って定義されると仮定する。これは、１０，０００ｎｉｔまでのルマを指定することができる大きいコンテナである。たとえ、現在、画像が、そのように高いピクセル輝度を用いて生成されないとしても、例えば２５００ｎｉｔまでの実際に使用される輝度を含む「理論的コンテナ」であると言うことができる（原色色度も通信するが、それらの詳細は、単に、本説明を不必要に妨げることに留意されたい）。
【0167】
興味深いのは、ビデオの実際に符号化可能な（又は符号化される）最大ピクセル輝度であり、これは別のビデオ特徴付きメタデータに符号化され、それは、一般に、マスタディスプレイ色ボリュームメタデータ８０３である。
【0168】
これは、受信側が知るべき重要な輝度値である。その理由は、ディスプレイが、範囲に沿ってすべての輝度を再マッピングする（少なくともコンテンツ作成者の所望のディスプレイ適応に従って）やり方の具体的な詳細を気にしないとしても、最大を知ることは、画像ピクセルについてビデオがどの輝度を上回らないかを少なくとも知るので、すべての輝度で大まかに何をするのが最善かを依然としてガイドするからである。
【0169】
２０００ｎｉｔの例では、このマスタディスプレイ色ボリューム（ＭＤＣＶ）メタデータ８０３は、マスタＨＤＲ画像最大輝度、すなわち、図７のＰＬ＿Ｖ＿ＨＤＲ値、すなわち、マスタＨＤＲビデオを特徴づけるものを含む（この例では、ＳＭＰＴＥ２０８４で定義されたＰＱピクセルルマとしても実際に通信されるが、その態様は現在無視することもできる。その理由は、当業者が２つの間で変換するやり方を知っているので、（線形）ピクセル輝度自体が入ってくるかのように革新的な色処理の原理を理解することができるからである）。
【0170】
このＭＤＣＶは、ＨＤＲマスタ画像のための「仮想」ディスプレイ、すなわち、ターゲットディスプレイである。メタデータでこれを示すことによって、ビデオ作成者は、受信側の実際のエンドユーザディスプレイに通信されるビデオ信号の中で、映画内のどこに２０００ｎｉｔの明度のピクセルがあるかを示しており、そこで、エンドユーザディスプレイは、現在の画像の輝度への処理を行うときに、それを十分に考慮に入れる。
【0171】
画像のセットのこれらの（実際の）輝度は、実際には、さらに別の態様であり、したがって、さらなるビデオ関連メタデータセット８０４がある。これは、関連するディスプレイの特性（すなわち、例えば、ビデオでの可能な最大）ではなく、実際のビデオのさらなる情報を与える。これを容易に理解するために、２つのビデオが同じＭＤＣＶ ＰＬ＿Ｖ＿ＨＤＲ（及びＥＯＴＦ）で注釈付けされていると想定する。第１のビデオは、夜間ビデオであり、それゆえに、実際には、画像は、例えば８０ｎｉｔよりも高いピクセル輝度に達しない（けれどもそれは依然として２０００ｎｉｔのＭＤＣＶで指定されている；さらに、別のビデオである場合、少なくとも１つの画像内にフラシュライトを有することがあり、それは、２０００ｎｉｔレベル、又はほとんどそのレベルに達する少数のピクセルを有する）、正確に同じ符号化技術に従って指定／作成された（すなわち、８０２及び８０３において同じデータで注釈付けされた）第２のビデオは、爆発のみからなる、すなわち、ほとんどが１０００ｎｉｔを超えるピクセルを有する。
【0172】
一方では、このビデオに関して追加として何かを言いたい場合があるが、他方では、熟練した読者は、両方のビデオを２０００ｎｉｔ表現から例えば２００ｎｉｔ出力表現に再グレーディングしたい場合、別のやり方で行うことを理解することができる（輝度を単に１０で除算することによって爆発をスケーリングすることができ、一方、マスタＨＤＲ及び２００ｎｉｔ出力画像において夜景の輝度を同一に保持することができる）。
【0173】
通信されるＨＤＲ画像に注釈を付けるセット８０４におけるあり得る（本発明ではオプションであるが、それにもかかわらず完全性のために説明する）有用なメタデータは、すべての時系列画像のすべてのピクセルの平均ピクセル輝度であり、ＭａｘＦａｌｌは例えば３５０ｎｉｔである。次いで、受信側の色処理は、この値から、暗い場合、輝度が、そのままで、すなわち、マッピングなしで表示され、明るい場合、調光が必要であることを理解することができる。
【0174】
実際にＳＤＲビデオを通信しない場合でさえ、すなわち、メタデータ（メタデータ８１４）のみを送るとしても、ＳＤＲビデオ（すなわち、第２の基準グレーディング画像、それは、ダイナミックレンジ能力の低減の場合に、コンテンツ作成者によってマスタＨＤＲ画像にできるだけ類似しているＳＤＲ画像がどのように見えなければならないかを示す）に注釈付けすることもできる。
【0175】
したがって、いくつかのＨＤＲコードはまた、ＳＤＲ画像（Ｒｅｃ．７０９ ＯＥＴＦ定義）のピクセルルマを含むピクセル色トリプレット、すなわち、ＳＤＲピクセル色データ８１１を送ることがあるが、上述で説明したように、説明例のコーデック、すなわち、ＳＬＨＤＲコーデックは、実際には、このＳＤＲ画像、すなわち、ピクセル色、又はその色に依存するどんなものも通信しない、したがって、削除である（ピクセル色が通信されない場合、ピクセルコードがどのように定義され、線形ＲＧＢピクセル色成分に復号化されるべきかのコンテナフォーマットを示すＳＤＲコンテナメタデータ８１２を通信する必要もない）。
【0176】
理想的に通信されるべきもの（いくつかのシステムはそれを暗黙に仮定するが）は、対応するＳＤＲターゲットディスプレイメタデータ８１３である。そのような状況では、一般に、ＰＬ＿Ｖ＿ＳＤＲの値を１００ｎｉｔに等しいとして記入する。
【0177】
本革新にとって重要なことは、これはまた、一般に、ビデオ作成者が映画をグレーディングした理論的なターゲットＳＤＲディスプレイの想定最小黒の値、すなわち、ＳＤＲ基準最小黒ｍＢ＿ＳＤＲを記入する場所である。
【0178】
例えば、作成者が、０．１ｎｉｔよりも深くなることができない（例えばＬＣＤ漏れ光のために）ディスプレイのためにビデオを作ると仮定する場合、作成者は、非常に重要な画像オブジェクトピクセル輝度をこの値に近づけたくなく、例えば、０．２ｎｉｔＳＤＲ画像ピクセルから開始し、多分多少それを上回り、ほとんどのピクセルは１ｎｉｔレベルを超える。マスタＨＤＲ画像又はより正確にはそれに関連するターゲットディスプレイを特徴づける同様の値、すなわち、ＨＤＲ最小黒ｍＢ＿ＨＤＲ（メタデータ８０３における）が存在する。
【0179】
再グレーディングの必要性は画像に依存し、そこで、上述で説明したような選択された説明のコーデックに従って、有利には、ＳＤＲビデオメタデータ８１４に符号化される。上述で説明したように、一般に、最大１に正規化されたＨＤＲ輝度（又はルマ）を最大１に正規化されたＳＤＲ輝度又はルマにマッピングするための１つの（又は複数の、単一の時刻であっても）画像最適化輝度マッピング関数（すなわちＦ＿Ｌ基準輝度マッピング関数形状）を通信する（これらの関数を符号化する正確なやり方は、本特許出願には無関係であり、例は、上記のＥＴＳＩ ＳＬＨＤＲ標準に見いだされる）。今では、この関数形状（ターゲットディスプレイの最大輝度、ＨＤＲ、及びＳＤＲのメタデータと結合した）を用いて、すべての可能な画像ピクセル輝度の必要とされる再マッピングが規定されるので、例えばｍａｘＦａｌｌのような画像に関するさらなるメタデータは、通信することもできるが、実際には必要とされない。
【0180】
これは、既に、ＨＤＲビデオ符号化データのかなり専門的なセットを構成しており、それに、現在の周囲適応輝度再マッピング技法を適用することができる。
【0181】
しかしながら（以下でさらに詳述するコントラスト最適化実施形態に特に有用な）２つのさらなるメタデータセットが追加されてもよい（様々なやり方で）が、それは、まだ、十分に標準化されていない。コンテンツ作成者は、知覚量子化器を使用しながらビデオが特定の照度レベル、例えば１０ｌｕｘの視聴環境で作成される（そこで、理想的には、最適な見た目を望む場合に受信側でも極力表示される）という暗黙の仮定の下で作業することもあり得る（特定のコンテンツ作成者がまたこの照明提案に厳密に従っているかどうかは別の事柄である）。
【0182】
確実性を向上させたい場合、マスタＨＤＲ画像が特別にグレーディングされた典型的な（意図された）視聴環境を関連づけることができる（ＨＤＲ視聴メタデータ８０５；オプション／点線）。前記のように、２０００ｎｉｔ最大マスタＨＤＲ画像を作ることができる。しかし、この画像が１０００ｌｕｘ視聴環境で視聴されるように意図された場合、グレーダは、視聴者の脳がこれのすべてをあたかも「平坦な黒」と単に見なす可能性が高いので、多分、あまりにも多くの微細なグレーディングされた暗いオブジェクト輝度（正面の照らされた第１の部屋を含むシーンの背後の開いたドアを通して見える暗い部屋内のわずかに異なる薄暗く照らされたオブジェクトのような）を作らないが、状況は、画像が、典型的は、例えば５０ｌｕｘ又は１０ｌｕｘの部屋での薄暗い夕方の視聴のために作られる場合には異なる。典型的なより明るい視聴状況、例えば、２００ｌｕｘに対して、ＳＤＲ画像、特にＦ＿Ｌ関数への再グレーディングをさらに具体的に行い、それをＳＤＲ周囲メタデータ８１５に注釈付けし、受信側装置はまた、そう望む場合、その情報を有利に利用する（又は異なる意図された視聴の異なるＳＤＲ画像に対する再グレーディングを通信する）。
【0183】
図７に戻ると、６００ｎｉｔのＭＤＲディスプレイのための出力画像を作ることを望む（ディスプレイ適応によって）設定を示す、すなわち、出力画像は、ＰＬ＿Ｖ＿ＭＤＲ＝６００ｎｉｔ出力画像である必要がある。
【0184】
本革新に従って入力画像と同じ最大輝度をもつ出力画像を最適化するとしたら（図６で上述した単純な状況）、ターゲットディスプレイの最小輝度（ｍＬ＿ＶＤ）の値は、単にｍＢ＿ＨＤＲ値となる。しかしながら、ここで、ＭＤＲ表示ダイナミックレンジの最小輝度を設定する（ターゲットディスプレイの最小輝度ｍＬ＿ＶＤの適切な値として）必要がある。これは、２つの基準画像の輝度範囲情報から補間される（すなわち、図８の標準化された実施形態の説明において、ＭＤＣＶ及び提示ディスプレイ色ボリュームＰＤＣＶは、一般に、それぞれメタデータ８０３及び８１３において共同通信されるか又は少なくとも取得可能である）。
【0185】
式は以下の通りである。
ｍＬ＿ＶＤ＝ｍＢ＿ＳＤＲ＋（ｍＢ＿ＨＤＲ－ｍＢ＿ＳＤＲ）＊（ＰＬ＿Ｖ＿ＭＤＲ－ＰＬ＿Ｖ＿ＳＤＲ）／（ＰＬ＿Ｖ＿ＨＤＲ－ＰＬ＿Ｖ＿ＳＤＲ） ［式８］
ｍＬ＿ＶＤ＝ｍＢ＿ＳＤＲ＋（ｍＢ＿ＨＤＲ－ｍＢ＿ＳＤＲ）＊（ＰＬ＿Ｖ＿ＭＤＲ－ＰＬ＿Ｖ＿ＳＤＲ）／（ＰＬ＿Ｖ＿ＨＤＲ－ＰＬ＿Ｖ＿ＳＤＲ） ［式８］
【0186】
この式において、ＰＬ＿Ｖ＿ＭＤＲ値は、ディスプレイ最適化画像が供給されるディスプレイのＰＬ＿Ｄ表示に等しく選択される。
【0187】
図６に戻ると、ｄｉｆ値は、光電変換回路６１１において式３のｖ－関数を適用し、ＰＬ＿Ｖ＿ｉｎで除算した値ｄｉｆ（すなわち、規格化輝度差）をＬ＿ｉｎに代入することによって、心理視覚的に均一なルマ差（Ｙｄｉｆ）に変換され、ここで、ＰＬ＿Ｖ＿ｉｎの値として、それぞれ、入力マスタＨＤＲ画像と同じ最大輝度をもつ周囲調節画像を作る場合には、値ＰＬ＿Ｖ＿ＨＤＲが使用され、ＭＤＲディスプレイに適応するディスプレイのシナリオでは、ＰＬ＿Ｖ＿ｉｎの値は、ディスプレイのＰＬ＿Ｄ値、例えば６００ｎｉｔである。
【0188】
電光変換回路６０４は、中間ルマＹｉｍの正規化線形バージョン、中間輝度Ｌｎ＿ｉｍを計算する。それは、式３の逆の式（ＲＨＯの同じ定義式）を適用する。ＲＨＯ値については、実際、出力画像が入力画像と同じ最大輝度を有し、より暗いピクセル輝度を調節するだけの最も単純な状況では、同じＰＬ＿Ｖ＿ＨＤＲ値が使用される。しかしながら、ＭＤＲ最大輝度へのディスプレイ適応の場合、ＰＬ＿Ｄ値は、ｖ－関数の特定の形状（峻度）を特徴づける適切なＲＨＯ値を計算するために使用される。これを実現するために、出力最大決定回路６７１が、色処理回路６００に存在する。それは、一般に、構成された状況に対して、出力画像ＰＬ＿Ｏの最大輝度、すなわち、電光変換回路６０４によって適用されるＥＯＴＦのＲＨＯを決定するための値として、それぞれＰＬ＿Ｖ＿ＨＤＲ又はＰＬ＿Ｄを使用すべきかどうかを決定する論理プロセッサである（当業者は、いくつかの特定の固定された変形において、状況が、固定された式で構成されてもよいことを理解する）。
【0189】
最終周囲調節回路６０５は、以下の式を用いて最終正規化輝度Ｌｎ＿ｆを計算することによって、輝度ドメインにおいて線形加法オフセットを実行する。
Ｌｎ＿ｆ＝（Ｌｎ＿ｉｍ－（ｍＬ＿Ｄｅ２／ＰＬ＿Ｏ））／（１－（ｍＬ＿Ｄｅ２／ＰＬ＿Ｏ）） ［式９］
ｍＬ＿Ｄｅ２は、エンドユーザディスプレイの第２の最小輝度（別名、第２のエンドユーザディスプレイ最小輝度）であり、一般に、第３の最小メタデータ入力部６９５（中間処理回路を介して照度計に接続される）を介して入力される。それは、ｍＬ－Ｄｅが、ディスプレイの物理的黒の特性値（ｍＢ＿ｆＤ）をさらに含むが、ｍＬ＿Ｄｅは含まず、表示された画像を劣化させる（例えば反射によって）周囲光の量のみを特徴づける、すなわち、典型的に等しいｍＢ＿ｓｕｒのみを特徴づけるという点で、エンドユーザディスプレイの第１の最小輝度ｍＬ＿Ｄｅとは異なる。
Ｌｎ＿ｆ＝（Ｌｎ＿ｉｍ－（ｍＬ＿Ｄｅ２／ＰＬ＿Ｏ））／（１－（ｍＬ＿Ｄｅ２／ＰＬ＿Ｏ）） ［式９］
ｍＬ＿Ｄｅ２は、エンドユーザディスプレイの第２の最小輝度（別名、第２のエンドユーザディスプレイ最小輝度）であり、一般に、第３の最小メタデータ入力部６９５（中間処理回路を介して照度計に接続される）を介して入力される。それは、ｍＬ－Ｄｅが、ディスプレイの物理的黒の特性値（ｍＢ＿ｆＤ）をさらに含むが、ｍＬ＿Ｄｅは含まず、表示された画像を劣化させる（例えば反射によって）周囲光の量のみを特徴づける、すなわち、典型的に等しいｍＢ＿ｓｕｒのみを特徴づけるという点で、エンドユーザディスプレイの第１の最小輝度ｍＬ＿Ｄｅとは異なる。
【0190】
最終周囲調節回路６０５の内部で、ｍＬ＿Ｄｅ２値は、適用可能なＰＬ＿Ｏ値、すなわち、例えばＰＬ＿Ｄによって正規化される。
【0191】
最終的に、ほとんどの変形において、それは、通常の（すなわち、正規化されていない）出力輝度Ｌ＿ｏが現れる場合に有利であり、それは次のように計算する乗算器６０６によって実現される。
Ｌ＿ｏ＝Ｌｎ＿ｆ＊ＰＬ＿Ｏ ［式１０］
すなわち、出力画像の適用可能な最大輝度で正規化される。
Ｌ＿ｏ＝Ｌｎ＿ｆ＊ＰＬ＿Ｏ ［式１０］
すなわち、出力画像の適用可能な最大輝度で正規化される。
【0192】
有利には、いくつかの実施形態は、周囲光状況に対してより暗い輝度を調節するだけでなく、ディスプレイの最大輝度の低下に対しても最適化する色処理においてこれを行う。このシナリオでは、輝度マッピング回路６０２は、適切な計算されたディスプレイ最適化輝度マッピング関数ＦＬ＿ＤＡ（ｔ）を適用し、それは、一般に、ディスプレイ最適化回路６７０によって輝度マッピング回路６０２にロードされる。ディスプレイ最適化の特定のやり方は、単にそのような実施形態の可変部分にすぎず、周囲適応要素にとって典型でないことを当業者は理解するが、いくつかの例が図４及び図５を用いて示されている（設定可能なＰＬ＿Ｏ値の６７０への入力は、当業者がこれを理解することができるので、図６を過度に複雑にしないために描かれていない）。一般に、ディスプレイ適応は、入力最大輝度と出力最大輝度との間の差が小さいほど関数を対角線に近づける特性を有する、すなわち、出力画像の所望の最大輝度（すなわち、ＰＬ＿Ｖ＿ＭＤＲ＝ＰＬ＿Ｄ）が、入力最大輝度（一般に、ＰＬ＿Ｖ＿ＨＤＲを仮定する）に近いほど、したがって、第２の基準グレーディングの最大輝度（一般に、ＰＬ＿Ｖ＿ＳＤＲ）から遠いほど、関数の形状は平坦になる（すなわち、Ｆ＿Ｌと対角線の中間の「より軽い」再グレーディング関数バージョンＦＬ＿ＤＡ）。ダウングレーディングでは、一般に、凸関数を有するが、それは、より明るい輝度の圧縮を犠牲にして、（いくつかの中間点よりも）暗い輝度が相対的にブーストされることを意味することに留意されたい。そのため、ダウングレーディングでは、ＦＬ＿ＤＡは、一般に、Ｆ＿Ｌ関数（他方の末端の端部の第２の基準グレーディングへの完全な再グレーディングを行う）未満の最も暗い入力輝度をブーストするためにそれほど急でない傾斜を有する。
【0193】
以下、画像のコントラストを最適化するための第２の革新が教示され、それは、より明るい周囲で有用である。これらの要素は、様々な実施形態において上述の周囲調節と協力して使用されてもよいが、各革新はまた、他とは切り離して適用されてもよい。
【0194】
特にコントラストを改善するために入力画像を処理するこの方法は、一般に、対応する二次基準画像の輝度への輝度（又は等価のルマ）マッピングによって再グレーディングの必要性を定義する、入力画像に関連する基準輝度マッピング関数（Ｆ＿Ｌ）を取得するステップから構成される。
【0195】
入力画像は、一般に、第１のグレーディング基準画像を兼ねる。
【0196】
出力画像は、一般に、２つの基準グレーディング画像（別名、基準グレーディング）の最大輝度の中間の最大輝度状況に対応し、一般に、対応するＭＤＲディスプレイ（マスタＨＤＲ入力画像と比較して中間ダイナミックレンジＨＤＲディスプレイ）に対して計算され、最適化された出力画像の最大輝度の関係は、ＰＬ＿Ｖ＿ＭＤＲＰＬ＿Ｄ＿ＭＤＲである。
【0197】
ディスプレイ適応（任意の実施形態の）は、通常通り、より低い最大輝度ディスプレイのディスプレイ適応に適用されるが、ここでは特に異なるやり方で適用される（すなわち、ディスプレイ適応の技術的要素の大部分はそのままであるが、一部が変更される）。
【0198】
ディスプレイ適応処理は適応輝度マッピング関数（ＦＬ＿ＤＡ）を決定し、それは基準輝度マッピング関数（Ｆ＿Ｌ）に基づく。この関数Ｆ＿Ｌは、静的である、すなわち、いくつかの画像に対して同じである（その状況において、例えば、周囲照明が著しく変化する場合、又はユーザ制御動作の際に、ＦＬ＿ＤＡは依然として変化する）が、経時的に変化することもある（Ｆ＿Ｌ（ｔ））。基準輝度マッピング関数（Ｆ＿Ｌ）は、一般に、コンテンツ作成者に由来するが、さらに、ビデオ画像の受信側の装置においてオートマトンを計算する最適な再グレーディング関数に由来してもよい（まさに図６から図８で説明したオフセット決定実施形態と同様に）。
【0199】
適応された輝度マッピング関数（ＦＬ＿ＤＡ）は、出力輝度を得るために入力画像ピクセルルマに適用される。
【0200】
既存のディスプレイ適応との重要な差は（一方、メトリックの定義、すなわち、様々な最大輝度を見つけるための数学と、メトリックの方向とは同じである；例えば、メトリックは、１に正規化されたＹｎ＿ＣＣ０ルマに対応する対角線上の任意の位置に１つの点を有することによってスケーリングされ、他の点は、Ｆ＿Ｌ関数の軌跡上のどこかにある、例えば、垂直方向上方にある場合、それは、メトリック位置決め終点の他方の座標が関数Ｆ＿Ｌへの入力Ｙｎ＿ＣＣ０ルマであるときのＦ＿Ｌの出力ルマ又は輝度に対応する）、今では、適応輝度マッピング関数（ＦＬ＿ＤＡ）を得るためのメトリック（より正確には、Ｆ＿Ｌ関数の形状によるそのすべてのスケーリングされたバージョン）上の位置が、必要とされる出力画像の最大値（一般に、ＰＬ＿Ｖ＿ＭＤＲ）ではなく、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）に基づいて計算されることである。
【0201】
この調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）は、
周囲照明値（Ｌｘ＿ｓｕｒ）を取得することと、
基準照明値（ＧｅｎＶｗＬｘ）を周囲照明値（Ｌｘ＿ｓｕｒ）で除算することによって相対的周囲光レベル（ＳｕｒＭｕｌｔ）を取得することと、
出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）に相対的周囲光レベル（ＳｕｒＭｕｌｔ）を乗算した結果として最大輝度値（ＰＬ＿Ｖ＿ＣＯ）を取得することと
によって決定される。
周囲照明値（Ｌｘ＿ｓｕｒ）を取得することと、
基準照明値（ＧｅｎＶｗＬｘ）を周囲照明値（Ｌｘ＿ｓｕｒ）で除算することによって相対的周囲光レベル（ＳｕｒＭｕｌｔ）を取得することと、
出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）に相対的周囲光レベル（ＳｕｒＭｕｌｔ）を乗算した結果として最大輝度値（ＰＬ＿Ｖ＿ＣＯ）を取得することと
によって決定される。
【0202】
周囲照明値（Ｌｘ＿ｓｕｒ）は様々なやり方で得られる、例えば、視聴者は、それをテストパターンの視認性をチェックすることによって経験的に決定するが、それは、一般に、照度計９０２による測定からもたらされ、照度計９０２は、一般に、ディスプレイに対して適切に配置される（例えば、ベゼル縁部にあり、スクリーン正面プレートとほぼ同じ方向を向いているか、又は携帯電話の側面に一体化される、など）。
【0203】
基準周囲値ＧｅｎＶｗＬｘは、さらに、様々なやり方で決定されるが、典型的なターゲット視聴状況に対して妥当な（「平均」の）周囲照明であると予想されるものと関連するので一般に固定される。
【0204】
テレビジョンディスプレイ視聴の場合、これは、一般に、視聴室である。
【0205】
リビングルームの実際の照明は、例えば、視聴者が、日中に見ているか又は夜間に見ているか、さらに、どの部屋構成で見ているか（例えば、小さい又は大きい窓があるか、及びディスプレイが窓と比較してどのように位置づけられているか、又は夜にはムードランプが使用されているか、又は家族の別のメンバが十分な照明の量を必要とする精密な作業をしているか）に応じてかなり変化する。
【0206】
例えば、昼間でさえ、雹を伴う嵐がやって来るため、突然、空が著しく暗くなる場合、屋外の照明は、２００ｌｕｘ（ｌｘ）と低く、屋内では、自然照明からの光レベルは、一般に、１００分の１と低く、そのため、屋内では、それはわずかに２ｌｘである。これは、夜間の外観（日中では特に奇妙である）をもち始め、そのため、これは、多くのユーザが、一般に、快適さのために少なくとも１つのランプをオンにし、実際上再びレベルを引き上げるという事柄である。通常の屋外レベルは、冬の１０，０００ｌｘから夏の１００，０００ｌｘであり、そのため、５０倍以上明るい。
【0207】
しかし、他の視聴者は、例えば、ホラー映画をより怖いものとして楽しみ、及び／又は暗いシーンをよりよく見るために、暗いところでビデオ（特に、ＨＤＲビデオ）を見ることが都合がよいと思う場合がある。
【0208】
中世では一般的であったが、１本のろうそくの照明は、今日では、下限である。その理由は、単に、都市居住者にとって、そのようなレベルでは、より多くの光が街の明かりのような屋外ランプから漏れてくるからである。使用されるカンデラは一般的なろうそくの明度として定義されており、そのため、表面をろうそくから１メートル離して置く場合、１ｌｘを得ることになり、それは、依然としてものを見ることをできるようにするが、例えば、紙上のテキストは非常に読みにくい（参考までに、１ｌｘはまた、屋外での月に照らされたシーンの典型的なものである）。そこで、５メートル幅の部屋をいくつかのろうそくで照らす場合、そのレベルの照明が達成される。単一の４０Ｗ白熱電球でさえ、既に、ろうそくよりも約４０倍の明度を作り出し、そのため、ほとんどの視聴者にとって、１個又は２、３個のそのようなランプは、より一般的な周囲光レベルになる。そのため、あまり多くない（大気）光で見るにはｋ＊１０ｌｘのようなものを期待することができる。しかしながら、ビデオは、日中にも適切に視聴できるように定義されており、その場合、照明は、ｎ＊５０ｌｘである（例えば、２００Ｗの電球セットが約２メートル離れて置かれている場合、約３０００／５０ｌｕｘを得る；キッチンでレシピの表示を見る場合、切るような料理作業を安全に実行するには約３倍高い光レベルを必要とする）。
【0209】
モバイル／屋外の状況では、例えば、列車の窓の近くに座っているとき、又は木の下で影の中に座っている、などのときに、光レベルはより高い。そのとき、光レベルは、例えば１０００ｌｘである。
【0210】
限定するつもりはないが、テレビジョン番組のビデオ視聴のためのＧｅｎＶｗＬｘの良好な値は１００ｌｕｘであると仮定する。
【0211】
光センサがＬｘ＿ｓｕｒ＝５５０ｌｕｘを測定すると仮定する。
【0212】
次いで、相対的周囲光レベルは、次のように計算される。
ＳｕｒＭｕｌｔ＝ＧｅｎＶｗＬｘ／Ｌｘ＿ｓｕｒ＝１００／５５０＝０．１８． ［式１１］
ＳｕｒＭｕｌｔ＝ＧｅｎＶｗＬｘ／Ｌｘ＿ｓｕｒ＝１００／５５０＝０．１８． ［式１１］
【0213】
次いで、１０００ｎｉｔのＭＤＲディスプレイに対する調節された最大輝度値ＰＬ＿Ｖ＿ＣＯは次の通りである。
ＰＬ＿Ｖ＿ＣＯ＝ＰＬ＿Ｄ＊ＳｕｒＭｕｌｔ＝１０００＊０．１８＝１８０ｎｉｔ ［式１２］
ＰＬ＿Ｖ＿ＣＯ＝ＰＬ＿Ｄ＊ＳｕｒＭｕｌｔ＝１０００＊０．１８＝１８０ｎｉｔ ［式１２］
【0214】
実施形態において、これは、自動コントラスト補正が強すぎるか又は逆に弱すぎると自分の中で思うユーザによってさらに制御される（当然、自動設定は、いくつかのシステム及び／又は状況において、視聴者を過度に煩わさないために好ましい）。
【0215】
この場合、ディスプレイ適応は、ディスプレイ適応プロセスにおいて、調節された最大輝度値ＰＬ＿Ｖ＿ＣＯに対して（すなわち、その代わりに）、ユーザ調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ＿Ｕ）を使用し、それは、一般に、
ＰＬ＿Ｖ＿ＣＯ＿Ｕ＝ＰＬ＿Ｖ＿ＣＯ＊ＵＣＢｖａｌ ［式１３］
によって定義される。
ＰＬ＿Ｖ＿ＣＯ＿Ｕ＝ＰＬ＿Ｖ＿ＣＯ＊ＵＣＢｖａｌ ［式１３］
によって定義される。
【0216】
ユーザ制御値ＵＣＢＶａｌは、適切にスケーリングされたユーザ入力によって制御される、例えば、スライダ設定（ＵＣＢＳｌｉＶａｌ、例えば、零補正の近くで対称的に低下するか、又は零補正で開始する、など）は、スライダが最大であるとき、ユーザが、例えば、すべての暗い画像領域がほとんど明るいＨＤＲ白のように見えるように、コントラストを途方もなく変化させないようなやり方でスケーリングされる。
【0217】
そのために、装置（例えば、ディスプレイ）製造業者は、適切な強度値（ＥＸＣＳ）を事前設計し、そのとき、式は、
ＵＣＢＶａｌ＝ＰＬ＿Ｄ＊ＵＣＢＳｌｉＶａｌ＊ＥＸＣＳ ［式１４］
である。
ＵＣＢＶａｌ＝ＰＬ＿Ｄ＊ＵＣＢＳｌｉＶａｌ＊ＥＸＣＳ ［式１４］
である。
【0218】
例えば、１００％を１０％の追加の最大輝度ベースコントラスト変化に対応させたい場合、以下を得る。
ＰＬ＿Ｄ＊１＊ＥＸＣＳ＝０．１＊ＰＬ＿Ｄ、それゆえ、ＥＸＣＳ＝０．１など（０．７５の値が、特定の実施形態では良好であることが見いだされた）。
ＰＬ＿Ｄ＊１＊ＥＸＣＳ＝０．１＊ＰＬ＿Ｄ、それゆえ、ＥＸＣＳ＝０．１など（０．７５の値が、特定の実施形態では良好であることが見いだされた）。
【0219】
図９は、典型的な装置構成における可能な実施形態要素を示す。
【0220】
出力画像を得るために入力画像を処理するための装置（別名、周囲最適化ディスプレイ最適化装置）９００は、入力画像に関連するメタデータである基準輝度マッピング関数（Ｆ＿Ｌ）を受け取るためのデータ入力部（９２０）を有する。この関数は、再び、第１の基準画像の輝度と第２の基準画像の輝度との関係を指定する。これらの２つの画像は、再び、いくつかの実施形態では、ビデオの作成者によってグレーディングされ、例えば、衛星テレビ放送を介して、メタデータとしてビデオ自体と共同通信されている。しかしながら、適切な再グレーディング輝度マッピング関数Ｆ＿Ｌはまた、受信側装置、例えば、テレビジョンディスプレイ内の再グレーディングオートマトンによって決定される。関数は、時間とともに変化する（Ｆ＿Ｌ（ｔ））。
【0221】
入力画像は、一般に、第１の基準グレーディングとして機能し、それに基づいて、ディスプレイ最適化画像及び環境最適化画像が決定され、それは、一般に、ＨＤＲ画像である。ディスプレイ適応出力画像の最大輝度（すなわち、出力最大輝度ＰＬ＿Ｖ＿ＭＤＲ）は、一般に、２つの基準画像の最大輝度の間に入る。
【0222】
装置は、一般に、ディスプレイ、すなわち、視聴するための最適化画像が供給されているディスプレイに当たる周囲環境の光の量を決定するように構成された照度計（９０２）を含むか、又は同等に接続される。視聴環境からのこの照明の量は、ｌｕｘの単位である周囲照明値（Ｌｘ＿ｓｕｒ）として表され、又はディビジョンで使用されるようにｎｉｔ単位の等価輝度として表される。
【0223】
ディスプレイ適応回路５１０は適応輝度マッピング関数（ＦＬ＿ＤＡ）を決定するように構成され、それは基準輝度マッピング関数（Ｆ＿Ｌ）に基づく。それはまた、実際には、ピクセル色処理も行い、そのため、上述の色変換器２０２と同様の輝度マッパ（９１５）を含む。色処理も関係する。構成プロセッサ５１１は、現在の画像のピクセルごとの処理を実行する前に、使用すべき（周囲最適化）輝度マッピング関数の実際の決定を行う。そのような入力画像（５１３）は、画像入力部（９２１）、例えばＩＣピンを介して受け取られ、画像入力部（９２１）自体は、装置への画像供給源、例えばＨＤＭＩ（登録商標）ケーブル、などに接続される。
【0224】
適応輝度マッピング関数（ＦＬ＿ＤＡ）は、上述のディスプレイ適応アルゴリズムの変形に従って、基準輝度マッピング関数Ｆ＿Ｌ及び最大輝度の値に基づいて決定されるが、ここでは、最大輝度は、接続されたディスプレイの典型的な最大輝度（ＰＬ＿Ｄ）ではなくて、視聴環境の光量（及び潜在的にさらなるユーザ補正）に合わせて調節された、特別に調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）である。輝度マッパは、適応輝度マッピング関数（ＦＬ＿ＤＡ）を入力ピクセル輝度に適用して、出力輝度を得る。
【0225】
調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）を計算するために、装置は、最大輝度決定ユニット（９０１）を含み、最大輝度決定ユニット（９０１）は、ディスプレイ適応回路５１０に接続されて、この調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）をディスプレイ適応回路（５１０）に供給する。
【0226】
この最大輝度決定ユニット（９０１）は、メモリ９０５から基準照明値（ＧｅｎＶｗＬｘ）を取得する（例えば、この値は、装置製造業者によって事前格納されるか、又はどのタイプの画像が入ってくるかに基づいて選択可能であるか、又は画像と共同通信される典型的な意図された周囲メタデータとともにロードされる、など）。それは、さらに、最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）を取得し、最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）は、例えば、ディスプレイに格納された固定値であるか、又は画像を様々なディスプレイに供給することができる装置（例えば、セットトップボックス又は他の画像前処理装置）において設定可能である。
【0227】
調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）は、最大輝度決定ユニット（９０１）によって以下のように決定される。
最初に、相対的周囲光レベル（ＳｕｒＭｕｌｔ）が、基準照明値（ＧｅｎＶｗＬｘ）を周囲照明値（Ｌｘ＿ｓｕｒ）で除算することによって取得され、
次いで、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）が、出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）に相対的周囲光レベル（ＳｕｒＭｕｌｔ）を乗算した結果として決定される。
最初に、相対的周囲光レベル（ＳｕｒＭｕｌｔ）が、基準照明値（ＧｅｎＶｗＬｘ）を周囲照明値（Ｌｘ＿ｓｕｒ）で除算することによって取得され、
次いで、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）が、出力最大輝度（ＰＬ＿Ｖ＿ＭＤＲ）に相対的周囲光レベル（ＳｕｒＭｕｌｔ）を乗算した結果として決定される。
【0228】
いくつかの実施形態では、ユーザ（視聴者）は、好みに従ってディスプレイ適応の自動周囲最適化をさらに制御する。
【0229】
それに、ユーザインタフェース制御構成要素９０４、例えばスライダが結合され、それにより、ユーザは、より高いか又はより低い値、例えばスライダ設定ＵＣＢＳｌｉＶａｌを設定することができる。この値は、ユーザ値回路９０３に入力され、ユーザ値回路９０３は、式１４で計算されるユーザ制御値ＵＣＢＶａｌを最大輝度決定ユニット９０１に通信する（ＰＬ＿Ｄ＝ＰＬＶ＿ＭＤＲ）。
【0230】
図１０は、特定の輝度マッピング関数Ｆ＿Ｌによる処理の一例を示す。基準マッピング関数（１０００）は、単純な輝度アイデンティティ変換、すなわち、６００ｎｉｔの最大ディスプレイ能力より上をクリッピングするものであると仮定する。輝度マッピングは、ここで、式３に従って計算可能である等価な心理視覚的に均一化されたルマのプロットで表される。入力正規化ルマＹｎ＿ｉは、ＨＤＲ入力輝度に対応し、それは１０００ｎｉｔ最大輝度ＨＤＲ画像である（すなわち、ＰＬ＿Ｖ＿ＨＤＲ＝１０００ｎｉｔのＲＨＯが式に使用される）と仮定する。出力正規化ルマＹｎ＿ｏについて、６００ｎｉｔの例示的なディスプレイを仮定し、それゆえに、出力正規化ルマＹｎ＿ｏは、６００ｎｉｔに対応するＲＨＯ値を使用することによって輝度に再変換される。便宜のため、右側及び上側に、ルマ位置に対応する輝度がある。したがって、この選択されたＦ＿Ｌ基準マッピング関数１０００は、視覚的に均一化されたルマドメインにおいて等圧縮を実行する。（周囲）適応輝度マッピング関数ＦＬ＿ＤＡが、曲線１００１として示される。一方、オフセットＢｋｏが見られ、それは、特に、ディスプレイのリークブラック（ｌｅａｋ ｂｌａｃｋ）に依存する。他方、主として最も暗い黒をブーストする湾曲が見られるが、それは、非線形の心理視覚的に均一化されたルマドメインにおける処理の残りの影響に起因する。
【0231】
図１１は、コントラストブースティングの実施形態の一例を示す（周囲照明のオフセットはゼロに設定されているが、前記のように、両方の処理が組み合わされる）。相対的に正規化された心理視覚的に均一化されたルマドメインにおいて輝度マッピングを変更する場合、この相対的ドメインは、値ゼロから始まる。マスタＨＤＲ画像は、ある黒値で始まるが、少ない出力では、黒オフセットを使用してこれをゼロ（又はディスプレイの最小黒に、注：ディスプレイは、より暗い入力の様々な挙動、例えばクリッピングを有することがあり、そのため、真のゼロをそこに置くことができる）にマッピングする。
【0232】
修正されたディスプレイ適応を使用する場合、黒ゼロ入力は、一般に、調節された最大輝度値（ＰＬ＿Ｖ＿ＣＯ）の値が何であっても、黒ゼロにマッピングする。一般に、出力ルマのゼロ点は、仮想の黒レベルｍＬ＿ＶＤ（理想的には）、又は実際のエンドユーザディスプレイの最小黒ｍＢ＿ｆＤで始まるが、いずれにしても、最も暗い色に明度の差があり、それは、夜景のような暗いピクチャに、より良好な可視コントラストをもたらす（入力輝度ヒストグラム１０１０は、出力ルマの正規化ルマ軸上で出力輝度ヒストグラム１０１１として伸ばされ、それは、より低いＰＬ＿Ｖ＿ＭＤＲ＝ＰＬ＿Ｄ＝６００ｎｉｔにもかかわらず、十分な画像コントラストを与える）。２つの方法が組み合わされる場合、適切な黒レベルオフセットＢｋｏを得るためのすべて処理は、図６などで説明した処理に最適に移される（すなわち、ゼロで始まる画像とゼロで始まる関数とを用いて、調節されたコントラスト処理を行うことができる）。実際には、ゼロが実際に入力画像で生じるかどうかにかかわらず、ディスプレイ適応輝度（ルマ）マッピングが単純にとにかく生じるので、ゼロから始まるＦ＿Ｌ曲線を常に単純に定義する（ゼロＨＤＲ輝度又はルマを、ゼロ出力輝度又はルマにマッピングする）。
【0233】
別の実施形態では、照度計が存在せず、ユーザ制御（９０４、９０３）のみが存在することに留意されたい。そのとき、この実施形態は、式１３のＰＬ＿Ｖ＿ＣＯの自動的周囲補正が存在しないかのように、ユーザ入力に基づいてコントラストを変化させる。そのとき、エンドユーザディスプレイの最大輝度ＰＬ＿Ｄは、式１５に従って中立点として機能する。
ＰＬ＿Ｖ＿ＣＯ＿Ｕ＝ＰＬ＿Ｄ＊ＵＣＢｖａｌ ［式１５］
ＰＬ＿Ｖ＿ＣＯ＿Ｕ＝ＰＬ＿Ｄ＊ＵＣＢｖａｌ ［式１５］
【0234】
本明細書で開示されるアルゴリズム構成要素は、実際には、ハードウェア（例えば、特定用途向けＩＣの一部）として、又は専用のデジタル信号プロセッサ若しくは汎用プロセッサなどで動作するソフトウェアとして（全面的に又は部分的に）実現される。
【0235】
どの構成要素が、オプションの改善であり、他の構成要素と組み合わせて実現されるか、及び方法の（オプションの）ステップが装置のそれぞれの手段に、及びその逆も同様にどのように対応するかが発明者らの提示から当業者には理解可能であるはずである。本出願における「装置」という語は、最も広い意味で、すなわち、特定の目的の実現を可能にする一群の手段で使用され、したがって、例えば、ＩＣ（の小さい回路部分）、又は専用機器（ディスプレイをもつ機器など）、又はネットワーク化システムの一部、などである。「構成（ａｒｒａｎｇｅｍｅｎｔ）」は、さらに、最も広い意味で使用されるように意図されており、そのため、とりわけ、単一の装置、装置の一部、協働する装置（の一部）の集合、などを含む。
【0236】
コンピュータプログラム製品の意味は、汎用プロセッサ又は専用プロセッサが、一連のローディングステップ（中間変換ステップ、例えば、中間言語及び最終プロセッサ言語への変換などを含む）の後、コマンドをプロセッサに入力するために、及び発明の特徴的な機能のいずれかを実行することを可能にするコマンドの集合の任意の物理的な実現を包含すると理解されるべきである。特に、コンピュータプログラム製品は、例えばディスク又はテープなどの担体上のデータ、メモリ内にあるデータ、ネットワーク接続（有線又は無線）を介して移動するデータ、又は紙上のプログラムコードとして実現される。プログラムコードとは別に、プログラムで必要とされる特徴データが、さらに、コンピュータプログラム製品として具現化されてもよい。
【0237】
方法の動作で必要とされるステップの一部は、データ入力及び出力ステップなどのコンピュータプログラム製品に記述されるものの代わりに、プロセッサの機能に既に存在していてもよい。
【0238】
上記の実施形態は、本発明を限定するのではなく例示するものであることに留意されたい。当業者が、提示された例を特許請求の範囲の他の領域にマッピングすることを容易に実現することができる場合、簡潔にするために、すべてのこれらのオプションを詳細に述べてはいない。特許請求の範囲において組み合わされているような本発明の要素の組合せとは別に、要素の他の組合せが可能である。要素の任意の組合せは、単一の専用の要素で実現されてもよい。
【0239】
請求項における括弧内の任意の参照符号は、請求項を限定することを意図するものではない。「含む、備える、有する）」という語は、請求項に列挙されていない要素又は態様の存在を排除しない。単数形の要素は、複数のそのような要素の存在を排除しない。
【図1】
【図2】
【図3】
【図4a】
【図4b】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】