特許 7553153 ＨＤＲ画像をエンコードする方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-09

(45)【発行日】2024-09-18

(54)【発明の名称】ＨＤＲ画像をエンコードする方法及び装置

(51)【国際特許分類】

   H04N 19/85 20140101AFI20240910BHJP

   H04N 19/46 20140101ALI20240910BHJP

【ＦＩ】

H04N19/85

H04N19/46

【請求項の数】 4

(21)【出願番号】P 2023141256

(22)【出願日】2023-08-31

(62)【分割の表示】P 2022008351の分割

【原出願日】2015-07-21

(65)【公開番号】P2023162375

(43)【公開日】2023-11-08

【審査請求日】2023-08-31

(31)【優先権主張番号】14180314.8

(32)【優先日】2014-08-08

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】62/135,452

(32)【優先日】2015-03-19

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】マルテンス マーク ジョゼフ ウィレム

【審査官】田中 純一

(56)【参考文献】

【文献】米国特許出願公開第２０１４／０２１０８４７（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００ － １９／９８

(57)【特許請求の範囲】

【請求項1】

第１最大輝度以下の輝度を有するピクセルカラーを有する一群の画像を含む入力高ダイナミックレンジビデオを符号化するエンコーダであって、前記第１最大輝度は前記入力高ダイナミックレンジビデオのピクセルが有することのできる最高輝度として定義され、
前記入力高ダイナミックレンジビデオは、符号化高ダイナミックレンジビデオとして符号化され、
前記符号化高ダイナミックレンジビデオは、第２最大輝度を有し、
前記第２最大輝度は、少なくとも９００ニットの値を有し、
前記第１最大輝度は、前記第２最大輝度より少なくとも２倍高い値を有し、
前記エンコーダは、
前記入力高ダイナミックレンジビデオの輝度から前記符号化高ダイナミックレンジビデオのピクセル輝度を導出するためのトーンマッピング関数をコンテンツ作成者が生成することを可能にするよう構成され、前記トーンマッピング関数を前記入力高ダイナミックレンジビデオのピクセルに適用することにより前記符号化高ダイナミックレンジビデオを導出するよう構成される再グレーディングユニットと、
送信されるべきビデオ信号に、前記符号化高ダイナミックレンジビデオを、及びメタデータとして、前記符号化高ダイナミックレンジビデオから前記入力高ダイナミックレンジビデオの再生を計算するために使用できる、前記トーンマッピング関数に関するデータを書き込むよう構成されるフォーマッタと、
を含むエンコーダ。

【請求項2】

第１最大輝度以下の輝度を有するピクセルカラーを有する一群の画像を含む入力高ダイナミックレンジビデオを符号化高ダイナミックレンジビデオとして符号化する方法であって、前記符号化高ダイナミックレンジビデオ内のピクセルの輝度は、少なくとも９００ニットである第２最大輝度以下であり、前記第１最大輝度は、前記第２最大輝度より少なくとも２倍であり、
前記方法は、
前記入力高ダイナミックレンジビデオの輝度を前記符号化高ダイナミックレンジビデオの輝度にマッピングするトーンマッピング関数を指定し、前記トーンマッピング関数を適用して前記符号化高ダイナミックレンジビデオを取得するステップと、
送信されるべきビデオ信号に、前記符号化高ダイナミックレンジビデオのピクセルカラーデータを、及びメタデータとして、前記符号化高ダイナミックレンジビデオから前記入力高ダイナミックレンジビデオの再生を計算するために使用できる、前記トーンマッピング関数に関するデータを書き込むステップと、
を含む方法。

【請求項3】

最大で第１最大輝度を有する輝度を有するピクセルを有する一群の画像を含む再生高ダイナミックレンジビデオへの復号のためのビデオデコーダであって、前記再生高ダイナミックレンジビデオのピクセルは、最大で前記第１最大輝度の輝度を有することができ、
前記再生高ダイナミックレンジビデオのピクセルデータは、２次HDRビデオである符号化高ダイナミックレンジビデオとして受信され、前記符号化高ダイナミックレンジビデオ内のピクセルの輝度が、少なくとも９００ニットの値を有する第２最大輝度以下であり、前記第１最大輝度が前記第２最大輝度より少なくとも２倍高いことを特徴とし、
前記デコーダは、
ビデオ信号内で受信したメタデータからトーンマッピング関数のデータを抽出するよう構成されるメタデータ読出ユニットと、
前記ビデオ信号から、圧縮画像データを読み出し伸張して、前記符号化高ダイナミックレンジビデオを取得するよう構成されるビデオ伸張器と、
前記トーンマッピング関数のデータを使用して、前記符号化高ダイナミックレンジビデオのピクセルを、前記再生高ダイナミックレンジビデオのピクセルにマッピングするよう構成されるカラー処理ユニットと、
を含むビデオデコーダ。

【請求項4】

最大で第１最大輝度を有する輝度を有するピクセルを有する一群の画像を含む再生高ダイナミックレンジビデオへのビデオ復号の方法であって、前記再生高ダイナミックレンジビデオのピクセルは、最大で前記第１最大輝度の輝度を有することができ、
前記再生高ダイナミックレンジビデオへのピクセルデータは、２次HDRビデオである符号化高ダイナミックレンジビデオとして受信され、前記符号化高ダイナミックレンジビデオ内のピクセルの輝度が、少なくとも９００ニットの値を有する第２最大輝度以下であり、前記第１最大輝度が前記第２最大輝度より少なくとも２倍高いことを特徴とし、
前記方法は、
ビデオ信号内で受信したメタデータからトーンマッピング関数のデータを抽出するステップ 前記ビデオ信号から、圧縮画像データを読み出し伸張して、前記符号化高ダイナミックレンジビデオを取得するステップと、
前記トーンマッピング関数のデータを使用して、前記符号化高ダイナミックレンジビデオのピクセルを、前記再生高ダイナミックレンジビデオのピクセルにマッピングするステップと、
を含む方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、１つの（即ち、静止の）好ましくはそれ以上の（即ち、ビデオの）高ダイナミックレンジ画像のエンコード、必要な符号化画像情報を受信側に伝送する技術的システム及び方法、及び符号化画像を復号し、最終的に表示可能にするデコーダに関する。

【背景技術】

【0002】

今や低ダイナミックレンジ（ＬＤＲ）符号化と称する古典的画像／ビデオ符号化技術（ＮＴＳＣで始まり、ＭＰＥＧ２からＭＰＥＧ-ＨＥＶＣで継続している）を多年にわたり使用した後、近年、所謂高ダイナミックレンジ（ＨＤＲ）シーンのＨＤＲ画像を処理することができる次世代のビデオコーデックを決定するための研究及び開発が開始されている。

【0003】

このことは、一方で、少なくとも１１絞り（例えば、ＡＲＲＩの現在のカメラは約１４絞りを得ている）を超える、又は好ましくは１６絞りをも超える増加されたダイナミックレンジを捕捉するカメラを必要とする。幾つかのカメラは例えば低速及び高速露光を用い、これらを混合し、他のカメラは異なる感度の２以上のセンサに向けたビーム分割を用いる。

【0004】

古典的撮像においては、例えば部屋又は自動車の外側等の、多くの情報が破棄される（ハード的にクリップされる）が、現在の撮像システムは斯様な全ての情報をキャプチャすることができ、問題はその場合に該情報を、特に該情報をディスプレイ上にレンダリングする場合に、どう処理するかである。多くの（全てではなくても）ＨＤＲシーンをキャプチャするには１６絞りで既に十分であろうが、ディスプレイ上では、例えば溶接アークを平均輝度と比較して実際のシーンにおけるように明るくレンダリングすることは必ずしも必要とせず、典型的なディスプレイ上ではそのようにすることもできない。ＬＤＲディスプレイの現在典型的な５００ニット（又は、グレーディングのためには１００ニットの基準モニタ）のピーク輝度（ＰＢ）よりも高いピーク輝度を持つ一層高いダイナミックレンジのディスプレイが目下出現しており、例えば８００～１０００ニットのテレビジョンが出現している一方、ＳＩＭ２は５０００ニットのモニタを作製している。

【0005】

しかしながら、ＬＤＲコーデック仕様は、特に、なかでも種々のＩＣにより処理されねばならない例えば輝度を表すコードワード（ルマと称されるコード等）のビット数でのワード長（少なくとも幾つかのビデオ通信アプリケーションでは、カラー成分当たり例えば１０ビットが望まれ得る）等の現在の典型的な制限を考慮に入れる必要もある場合に、受信機に対してＨＤＲ画像における細部を十分にエンコードすることができない。特に、短期間で実用的システムを欲する場合、当該分野における既存のテクノロジから大幅に逸脱してはならず、それでいて、ＬＤＲ画像より大幅に綺麗なＨＤＲの見え方（例えば、一層明るいランプ、リアルな火又は日向でのトカゲのコントラストの強い鱗等）で画像のエンコード、処理及び最終的表示を可能にしなければならない。

【0006】

ＨＤＲ画像とは、ＨＤＲシーン（非常に明るい及び暗い領域の両方、並びに恐らくは中間の明るさの領域さえも、理想的には正確にレンダリングされることを要する非常に多数のグレイ値も伴って典型的に同時に含み得る）のテクスチャを、該ＨＤＲシーンの視覚的に良質なレンダリングを例えば５０００ニット等の高ピーク輝度を持つ高品質ＨＤＲディスプレイ上で実施することができるという意味で、該シーン内の種々のキャプチャされたオブジェクトのカラーテクスチャの高品質なエンコードのための十分な情報で以ってエンコードする画像である。図１は、例えば平均的照明と比較して強く照明された明るい有色の玩具又は箱が備わった（これら玩具の幾つかは局所ランプに近く、それでいて、他の玩具は遠く離れて陰領域にあるため）夜の玩具店等の典型的なＨＤＲ画像を示している。太陽及び空が各点を同様に照明する昼のシーンとは対照的に、夜間は、当該シーンを二次的に減衰する態様で照らす僅かな光源しか存在しない可能性がある。このことは、光源自身の周囲に明るい領域１０４を、遠く離れた角には暗い領域を形成する。例えば、下水道入口１１４は殆ど何処からの光も受けず、従って下水道は非常に暗い。即ち、夜のシーンでは、ランプ自体に関する10,000ニットを超える及び暗い領域に関する例えば0.001ニット等のニットの極僅かな割合の画像領域輝度（又は、リニアなカメラでキャプチャされた場合、これら領域におけるピクセル輝度）を同時に有し得、全体のダイナミックレンジを千万対１にさせる。これは、最明対最暗ピクセルに対する理論的範囲であり、見る者に対して２～３の小さなランプ又は下水道入口の背後の小さな暗い斑点は正確に表現する必要はないので有用なダイナミックレンジは勿論もっと小さくすることができるが、典型的なＨＤＲシーンでは重要な通常のオブジェクトの有用なダイナミックレンジは10,000：１（又は１４絞り）を優に超えるものでさえあり得る。これらの輝度を2000ニットのピーク輝度のディスプレイに対してレンダリングされるべきオブジェクトピーク輝度の賢い最決定を行わずに闇雲にマッピングすることは、“理論的に”少なくとも０.２ニットの最小（可視）黒色を有すべきことを意味する（この例示的シーンの良好な視覚的品質のレンダリングに関して、対ピーク白色レンダリングが十分であると仮定する）。

【0007】

ＨＤＲビデオ（又は静止画像さえもの）符号化は極最近になって研究され、今までは手強い課題であったが、研究団体の典型的な確信は、シーンオブジェクトのＬＤＲ範囲を超える輝度をエンコードする（例えば、シーン輝度を独立にエンコードする符号化）ために大幅に多いビットに向かう必要があるか、又は例えばオブジェクト反射画像に加えて照明ブースト画像が存在するような何らかの２層方法若しくは同様の分解方法が必要であるということである。このような瞬時当たり２画像ＨＤＲビデオエンコードシステムの一例は、米国特許第8248486号又は国際特許出願公開第WO2005/1040035に見ることができる。

【0008】

出願人は、最近、ＨＤＲ及びＬＤＲの両方の外見画像をエンコードするパラメータ的、機能的態様である非常に簡単な瞬時当たり単一画像法を提案したが、これは、例えば1500ニット等の事前に選択された基準値の周辺にピーク輝度（又は、実際にダイナミックレンジ）を備えるディスプレイに典型的に適した単一のＨＤＲ画像（外見（見え方）又はグレーディングとも称する）を単にエンコードすることに加え、枠組み内で、市場における他のダイナミックレンジを持つ他のディスプレイの要求にも応じたいからである。即ち、例えば５００又は１００ニットの携帯ディスプレイも存在するので、符号化された高ダイナミックレンジ画像を自動変換により何らかの適度に見えるＬＤＲ画像に如何に変更するかを盲目的に受信側に任せるよりは、カラー処理機能（及び機能的形状を特徴付けるパラメータ）に、該符号化ＨＤＲ画像から始まる適切なＬＤＲ画像（例えば、コンテンツ創作者が同意し得るＬＤＲ画像）に如何に到達するかを同時エンコードする。

【0009】

“高ダイナミックレンジ（ＨＤＲ）”によれば、１）キャプチャ側からキャプチャされた画像（又は複数の画像）が旧来のＬＤＲ符号化と比較して高い輝度コントラスト比（即ち、10,000:1又はそれ以上のコントラストを当該符号化及びレンダリングまでの画像処理チェーンの全ての構成要素により達成可能である）を有し；及び２）少なくとも1000ニットを超えるキャプチャされたオブジェクトの輝度が符号化可能であるべきであるか、より詳細には、再生環境が与えられたとして、例えば灯ったライト又は日の当たる外部等の何らかの所望の見え方を発生するために1000ニットを超えて再生可能でなければならないことを典型的に意味する。又は、このような画像（又は複数の画像）のレンダリングがＨＤＲである（即ち、これら画像が、高品質のＨＤＲレンダリングのために十分な情報を、好ましくは技術的に使用するのが容易な態様で含むという点で適切でなければならない）とは、該画像（又は複数の画像）が少なくとも1000ニットのピーク輝度を持つディスプレイ上でレンダリングされる若しくはレンダリングされることを目的とすることを意味する（これら画像が、結果的なオブジェクトの輝度が異なるディスプレイのダイナミックレンジ及び恐らくは視聴環境に一層適するように、典型的には種々の画像オブジェクトの輝度を適切なカラーマッピングについて再決定した後に、例えば100ニットのピーク輝度のＬＤＲディスプレイ上でレンダリングすることができないということを意味するものではない）。

【0010】

新たなＨＤＲコーティングシステムを設計する際には、良い一様な見方が存在しなかった何らかの実用的コーティングシステムの詳細を書き込むことができるまで、多数の事項について続けて研究すると共に解決策に至らなければならない。第１に、シーンオブジェクト輝度を、当該ピクセルに関してレンダリングされるべきものを実際にエンコードする例えば１０ビット（又は一層低い品質のシステムのための８ビット、若しくは例えばプロ用品質のための１２ビット）のルマにマッピングするどの様なコード割当関数を使用すべきかである。ピクセルの知覚可能な明るさ又はレンダリングされる輝度をエンコードする当該コードはルマ（luma）と呼ぶ（これはＬＤＲの符号化にも付与されている名称であるからである）一方、上記コード割当関数は、この場合、少なくともＬＤＲビデオ符号化のガンマ２.２コード割当関数とは大幅に相違するが、可能性のある代替関数の１つとすることができる。当業者であれば、輝度又は等価的にルマの挙動に関する技術を説明する場合、実際の実施態様では、Ｙ’が事前に定められたコード割当関数により決定されるルマであり、ｕ’及びｖ’が色度座標であるY’u’v’カラー表現を使用する場合のようにルマ自体に対して、又は等価的に線形若しくは非線形ＲＧＢ表現に対して処理を実行することができると理解するであろう。コード割当関数の選択は、ＨＤＲ画像のルマコード又はルマを基準ディスプレイ上でレンダリングされる輝度に変換する理論的な基準ディスプレイモデルがどの様なものであるかを定めるマスタＥＯＴＦ（電気光学伝達関数）を定義するものとして等価的に定めることができる。ＬＤＲ変種は、ＣＲＴ電子銃の物理的挙動から２.２べき法則又は所謂ガンマ関数にむしろ偶然に決定された。該ＬＤＲ変種は、約１００ニットのピーク輝度を持つ種類のディスプレイ上で、とりわけシーンの合理的に均一な照明、正しい露出及び余り重要でない画像領域の省略による対応するＬＤＲキャプチャ理念に従ってキャプチャされた画像に対して偶然に心理視覚的に良好に動作した。

【0011】

しかしながら、第２に、輝度をコードにコード範囲（例えば、０～１０１３）に沿って分配するコード割当関数を定義することができる前に、典型的なＨＤＲをエンコードするための最良の範囲であるマスタ輝度範囲と呼ぶことができるものを定義しなければならない。このステップは見落とされてはならない。ＬＤＲにおいては、中間のグレイ及び白に対して露光することにより、並びにセンサがどの様なダイナミックレンジを有していたかにより（そして、恐らくはセルロイドフィルムの穏やかな傾斜が相当にコントラストの低い画像を生じ得る一方、デジタルカメラ画像が当該符号化の白側でのクリッピング及び／又は黒側でのノイズへの没入を有し得ることを無視することにより）或る範囲を偶然に有する。静止画について研究していた初期の研究者は、単にマスタ輝度範囲をシーンにおける典型的な輝度の線形範囲（即ち、ニットの非常に小さな部分から何十億のニットまで）にすることが道理にかなっていると考えたが、全ての実際的な側面が考慮に入れられたビデオ符号化の場合、このマスタ輝度範囲を日光の十億ものニットまで到達させることは実用的に余り意味が無い。

【0012】

しかしながら、全ての典型的ＨＤＲ画像（表示（高品質ＨＤＲ表示であっても）に適し得るオブジェクト輝度への適切な芸術的グレーディングの後に典型的な）を処理するための新たなマスタ輝度範囲を定義することが必要であると理解しても、予測は、全てのシナリオに対して十分である単一の十分に大きなＨＤＲマスタ輝度範囲を定義するだけでよいというものであった。シーンのＨＤＲ外見（見え方）を望むアプリケーションは、この場合、このマスタ輝度範囲（例えば、10000又は5000ニットである最大輝度までの輝度を伴う）に沿ってエンコードされた受信画像に対して動作することになる。

【0013】

国際特許出願公開第WO2014/009844号は、出願人の瞬時当たり単一画像符号化方式に従うという点で後述の実施態様に類似する斯様なマスタ輝度範囲型ＨＤＲビデオ符号化システムの一例を記載しており、これによれば、この教示においては第１ＬＤＲ（即ち、１００ニット）外見である唯一の画像が当該ビデオの各瞬時に対してエンコードされると共に、これに加えて、ＨＤＲ外見（5000ニットのマスタグレーディング再生であり得る）に変換するためのカラー処理関数が上記唯一画像に関連付けられたメタデータにエンコードされる。しかしながら、この特許出願における教示内容は単一固定マスタ輝度範囲技術設計法の原理に従うものである。典型的に単一のＬＤＲ及びＨＤＲ外見のみがエンコードされる（この情報からは、受信側において計算される他の中間の外見が存在し得る（例えば、ＬＤＲ画像は1200ニットの接続されたディスプレイに必要とされる外見にアップグレードすることができる）が、自身をエンコードする他の中間の一層低いＨＤＲ品質の画像は教示されていない（即ち、１００ニットのＬＤＲ画像のみが送信される））。そして、このＨＤＲ外見は5000ニットのマスタ輝度範囲で形成されるマスタ外見であり、ＬＤＲ画像はＬＤＲ時代にあったような100ニットの基準ディスプレイのための画像であり、ＨＤＲ画像は上記の唯一の伝送されるＬＤＲ画像から機能的変換を介して実際にエンコードされる。即ち、旧来のディスプレイとの互換性等にとり典型的に必要とされるＬＤＲ外見に加えて、マスタＨＤＲ、例えば5000ニットの画像（HDR_ORIG,HDR_FIN）が教示されているに過ぎない。

【0014】

出願人の米国特許出願公開第2014/097113号も、受信される唯一のＨＤＲ画像であり得るＨＤＲ画像をどの様に伝送することができるかを教示しており、該画像からは他のグレーディングを計算することができるが、その態様に関して該文献は言及していない。この従来技術が教示するものは、幾つかのダイナミックレンジの外見を、同じ既存のＬＤＲ符号化コンテナ技術に代替的にエンコードすることができるということである。この場合、受信機が混乱しないように、どのバージョンが使用されたかを示さなければならない。例えば、画像ピクセルは標準のＬＤＲ符号化定義による（即ち、Rec.709コード割当関数を用いた）３つの１６ビットＲ、Ｇ及びＢカラー成分により定義されたカラーを有する。この場合、受信機は、これが100ニットディスプレイのためのグレーディングであることを知り、従って、該ディスプレイが2500ニットのピーク輝度を有し、そのように明るく画像をレンダリングすることができるとしても、当該画像を100ニットに正確に又は大凡等しい最大輝度で表示するであろう。代わりに、同じＲ、Ｇ及びＢカラー成分は、例えば5000ニットのＨＤＲ画像のカラーを含み得、このことは、オブジェクトピクセルカラーの相対値が異なる（例えば、暗いオブジェクトはＬＤＲでは0.05であるがＨＤＲでは0.0005の赤成分を有し得る）ことを意味する。受信されたＬＤＲコンテナ符号化画像がＨＤＲ画像を実際に格納している場合、その事実は受信機に対して当該符号化が実際に何であるかを記述するメタデータにより示される。従って、受信機は自身の最適化処理により特定のディスプレイ上にどの様に最適にレンダリングすべきかを知ることができる。例えば、5000ニットの画像が受信され、4500ニットのディスプレイが接続されている場合、該画像は事前の測色変換なしで直接レンダリングすることができる。しかしながら、１００ニットのディスプレイが接続されている場合、斯様な受信5000ニット画像は先ず格下げ処理されねばならないが、既に適切な１００ニット画像が受信されていたなら該格下げ処理は必要とされない。従って、該従来技術において教示されることは、受信機は自身の側で例えば1000ニットの受信ＨＤＲ画像を例えば５００ニットディスプレイにとり一層適したものにさせるための何らかのカラー変換を実施することを要し得るということであるが、この教示では、それがどの様になされるべきかについては教示されておらず、ましてや、それが送信側から一層多くの情報を通知することにより容易化されるべきか又はどの様に容易化されるべきか教示されていない。即ち、種々の可能性のあるＨＤＲ及びＬＤＲグレーディングをどの様にエンコード及び指定するかを教示することは別として、この文献は、送信機側に少なくとも２つのＨＤＲ符号化を実際に有するシステム構成についても、受信側における斯かる符号化の復元可能性についても教示していない（この従来技術においては、出願人のマスタ5000ニットグレーディングと同等と見なすことができる１つのみのＨＤＲ画像しか存在しない）。

【0015】

汎用ＨＤＲ符号化システムを策定する場合に単一マスタ輝度範囲上での最終的ＨＤＲ画像符号化から逸脱することは一見したところ非論理的に見えるが（とりわけ、最高の合理的にレンダリング可能なオブジェクト輝度であるものに到達するまでのＨＤＲシーンの該最良の可能なグレーディング以外の何かを何故必要とするか、又はＨＤＲを定義するための一層多くの方法を有することにより何故物事を複雑にさせるのか等）、発明者は、ある種のアプリケーションに対しては、ルマコードの定義及びどのＨＤＲ輝度（もっと正確には１以上のディスプレイ上でレンダリングされるべき輝度）に当該ルマが対応するかに関しての更に一層の汎用性に対する必要性が存在すると感じた。

【発明の概要】

【発明が解決しようとする課題】

【0016】

本発明の目的は、より将来性のある一層汎用的ＨＤＲビデオ符号化技術を提供することである。

【課題を解決するための手段】

【0017】

より将来性のある一層汎用的ＨＤＲビデオ符号化技術を有するという上記目的は、第１最大輝度（L_MAX_M）以下の輝度を伴うピクセルカラーを持つ一群の画像（Im_5000）を有する入力高ダイナミックレンジビデオを、符号化高ダイナミックレンジビデオ（Im_2000）にエンコードするエンコーダ（３０１）であって、前記符号化高ダイナミックレンジビデオ（Im_2000）における如何なるピクセルの輝度も少なくとも９００ニットである第２最大輝度（L_MAX_C）以下であり、前記第１最大輝度（L_MAX_M）が前記第２最大輝度（L_MAX_C）の少なくとも２倍であることを特徴とするエンコーダにより実現され、当該エンコーダは、
－ コンテンツ作成者に、低い方の第２最大輝度（L_MAX_C）の前記符号化高ダイナミックレンジビデオ（Im_2000）を前記高ダイナミックレンジビデオ（Im_5000）の高ダイナミックレンジビデオ再生（Im_5000*）にカラーマッピングするための少なくとも１つのトーンマッピング関数（F_2Tu）を指定することを可能にするように構成された再グレーディングユニット（３２０）と、
－ ビデオ信号（S_im）に、前記符号化高ダイナミックレンジビデオ（Im_2000）及び、メタデータとして、前記少なくとも１つのトーンマッピング関数（F_2Tu,601）を書き込むように構成されたフォーマッタと、
を有する。

【0018】

このことは、グレーダが例えば5000ニットのマスタグレーディングを、技術的理由により利用可能な別の2000ニットの基準範囲／色域上で利用可能な空間にマッピングするために非常に正確に必要とされるカラーマッピング仕様（F_2Tu）を指定することを可能にするので、如何なる従来技術の教示又は自明な論理が示すものとは反して、実際に２つのＨＤＲグレーディングが存在する。グレーダが任意に作成することができるものと、該グレーダが少なくとも１つの受信機への伝達のために最適化することを要するものである。第１のマスタグレーディングの輝度は、例えば5000ニットにまで達する。実際に伝達されるＨＤＲ符号化のピクセルの輝度は、潜在的に一層低い最大値（L_MAX_C）まで達し、見た目では、これを一層低い品質のＨＤＲグレーディングにさせる。これらの最大値はグレーディングされた画像に関連付けられ、例えば、典型的には、エンコードされた高ダイナミックレンジの画像ピクセルのカラーデータは、これが2000ニットなる可能性のある最大値（例えば、CODE_MAX=2000）までの輝度を持つグレーディングであることを示すメタデータ指示子により補足される。典型的に、実用的なコード割当関数も存在し、その機能的形態も他のメタデータで受信機に伝達することができる。グレーダは符号化の品質をバランスさせることもでき、これは、とりわけ、5000ニットのディスプレイはマスタグレーディングの近似Im_5000*を必要とするが、これに加えて、受信機が約2000ニットのピーク輝度のディスプレイ上にレンダリングするためIm_2000の外見（見え方）も必要とする場合に関係する。グレーダが何を選択しても、当該再グレーディングユニットのツールセットの可逆性の制約が、相応の再生（再構築）Im_5000*を保証する。即ち、受信された2000ニット画像から5000ニット画像へアップグレードするカラーマッピング関数の正確な計算を指定するデータとして典型的に同時に伝送されるであろうものは、所与のアプリケーションにとり前記5000ニット画像に十分に近い5000ニット画像を生じさせる（即ち、典型的に当該関数は工場においてアプリケーションに対し、例えば縞模様（banding）又はノイズがどの様な場合においても妥当なものとなるように設計され、本発明の場合、これは、グレーダが調整することができる（即ち、グレーダが上記機能のうちの少なくとも１つを選択すると共に、次いで例えばスライダにより線形セグメントの傾斜等のパラメータを指定する）少なくとも１つのトーンマッピング関数を有する一群のカラー変換関数であり、如何なる受信機も、該関数を受信したら、必要とされるIm_5000*を簡単に計算することができる）。更なる実施態様は、グレーダがこれに気付かされ当該微調整に関わらされているか、自身の最良のIm_2000を自身の芸術的判断のみに基づいて作成することだけに集中しているかによらず、2000ニット及び5000ニットのグレーディング／外見を同じ単一の符号化画像に同時にエンコードすることの最適なバランスを達成するために該グレーダを更に補助するための入念な技術的計算を使用することができる。

【0019】

エンコーダ３０１の種々の実施態様は、第２最大輝度（L_MAX_C）に対して、意図するアプリケーション（例えば、インターネットからの無料ビデオは、より低い品質要件を有し得る）にとり有用な事前に協定された値を使用することができる。L_MAX_Cに対する値は、典型的には９００ニットと3500ニットとの間に入ることができ、好ましくは、例えば1000又は2000ニットである。これらは、なかでも、近い将来において市場に最も高い頻度で配備されるディスプレイの平均的に想定されるピーク輝度との合致故に、MPEG_HEVC/265等のＭＰＥＧ技術を再利用する実用的なビデオ符号化に適した最大輝度と見られる。

【0020】

一実施態様として有利なものは、前記再グレーディングユニットが、任意形状の単調増加トーンマッピング関数及び輝度依存性彩度乗算（増倍）関数を適用するカラーマッピング仕様であって、これらの関数が対応する輝度及び彩度の変更を、前記高ダイナミックレンジビデオ再生（Im_5000*）の出力画像におけるピクセルカラーに対して前記符号化高ダイナミックレンジビデオ（Im_2000）の入力画像におけるのと同一の色相（hue）を保ちながら適用するカラー処理に使用されるべきものであるカラーマッピング仕様を有する前記マッピング関数（F_2Tu）の仕様を可能にするよう構成された、入力高ダイナミックレンジビデオをエンコードするエンコーダである。これは、前記技術システムに準拠したカラーマッピングの一番簡単であるが汎用的な態様であると共に、エンコーダ又はデコーダＩＣ構造の点で簡単であると見ることができる。色相を一定に保つ処理を用いることには意味があり、次いで、ピクセルの輝度及び彩度を最適に変換することにより、新たなレンダリング状況、特に最適に再グレーディングされた画像が供給される接続されたディスプレイのピーク輝度に対して所望の再グレーディングされた外見を得ることができる（等価的に、輝度処理をルマ処理として指定することもできるが、これは本発明及びその実施態様の主たる思想のために熟考されるべき細部ではない）。熟練した読者は、シーン及びそのＨＤＲ効果の意味論的複雑さ故に、グレーダは低い品質（2000ニット）のＨＤＲグレーディングと高い品質のもの（マスタの5000ニットのグレーディング）との間の複雑なマッピングを設計することを欲し得るが、典型的に、これらの関数的形状は、明暗反転は望まないので、単調に増加するものである。また、有利なものは、請求項の１つに記載される入力高ダイナミックレンジビデオをエンコードするエンコーダ３０１であって、前記符号化高ダイナミックレンジビデオ（Im_2000）を前記第１最大輝度（L_MAX_M）及び前記第２最大輝度（L_MAX_C）とは異なるピーク輝度（PL_1,PL_2）を持つディスプレイ上でレンダリングするために最適化された第３ビデオにどの様にカラーマッピングするかを指定するための少なくとも１つの他のカラーマッピング関数（F_2T1,F_d2d）を指定するように構成された他のグレーディングユニット３２５を有する。市場に出回った各等級のディスプレイに対して、グレーダは、この技術的メカニズムにより、最も適した外見をレンダリングされたディスプレイ出力として得るために必要とされるカラー処理を正確に指定することができる。又は、グレーダは２～３のグレーディング、例えば2000ニットのものIm_2000、5000ニットのものIm_5000*及びIm_100ニットのもののみを指定することができ、この情報から、当該ディスプレイに、ディスプレイのピーク輝度が2000ニットより高く又は低くなった場合にどの最終処理を適用すべきかを解明させるようにする。グレーダが、１つの他の基準状況に、より詳細には１つのＬＤＲグレーディングにどの様に再グレーディングすべきかを少なくとも指定することができれば、有益である。何故なら、種々のＨＤＲグレーディングの間で変換することは、ＨＤＲグレーディングとＬＤＲグレーディングとの間でグレーディングすることとは、芸術的及び技術的の両方で非常に異なり得るからである。そこでは、グレーダは、種々のディスプレイのピーク輝度に対して望むだけ多くのカラーマッピングシナリオを対応する関数で指定することができるが、典型的には、労力及び予算に鑑みて、グレーダは当該符号化ビデオが応じなければならないディスプレイピーク輝度の範囲の両端に対して２～３の重要な主たる変換のみを指定し、受信機に特定のディスプレイに対する所要のグレーディングの最終的最適化を実施させることもできる（しかしながら、ここに記載する符号化技術は、少なくとも最小限の量の所要のカラーマッピング関数情報を指定することを可能にする）。

【0021】

有利なものは、前記他のグレーディングユニットが、前記少なくとも１つの他のカラーマッピング関数が前記符号化高ダイナミックレンジビデオ（Im_2000）から１００ニットのビデオを得るためのカラーマッピング関数であることを指定するように構成されたエンコーダの実施態様である。典型的に、ユーザは依然として幾つかの古い装置を有している（例えば、ユーザは自宅を介して自動車まで歩く間の幾らかの時間に自身の携帯電話にビデオを共有させたい場合がある）ので、デコーダが旧来のＨＤＲストリームも発生することができれば有益であり、このことは、エンコーダがグレーダに斯様なＬＤＲグレーディングがどの様に見えるべきかを、特に該ＬＤＲグレーディングがＨＤＲ外見にどの様に関係すべきか、即ち該ＬＤＲグレーディングが2000ニットの受信された画像から少なくとも変化する種々のオブジェクト輝度をカラー処理することによりどの様に導出されるべきかを指定することを可能にしなければならないことを意味する。また、他のピーク輝度のディスプレイのための他のグレーディングに調整するために、大幅に低いピーク輝度の１つの基準ディスプレイ（典型的には、旧来の１００ニットＬＤＲディスプレイ）に対する該カラーマッピング、即ち、その関数及びパラメータは、受信機が、如何なる所要のディスプレイピーク輝度グレーディングに対しても自身の最適化されたカラーマッピングを実行するために、斯様な関数をどの様に修正するかを決定するための非常に有用な情報を含むが、如何なる受信機も斯かるマッピング関数を再計算することを望むものである。

【0022】

また、有用なものは、コンテンツ作成者が、前記符号化高ダイナミックレンジビデオ（Im_2000）又は他のカラーマッピング（F_2d2）を適用することにより該ビデオから導出された何れかのビデオが該コンテンツ作成者によれば十分な視覚的品質のものであるピーク輝度範囲内のディスプレイを識別するディスプレイピーク輝度の少なくとも１つの限界（LH_100,LL_100）を指定することを可能にするように構成された限界指定ユニット３８９を有するエンコーダ３０１の実施態様である。この構成は、どの範囲のディスプレイに対して当該関数的再マッピング定義が一番適する／最適であるかを特定することを可能にし、例示的な正確な実施化は後述される。

【0023】

また、有利なものは、第１最大輝度（L_MAX_M）以下の輝度を伴うピクセルカラーを持つ一群の画像（Im_5000）を有する入力高ダイナミックレンジビデオを、符号化高ダイナミックレンジビデオ（Im_2000）としてエンコードする方法であって、前記符号化高ダイナミックレンジビデオ（Im_2000）における如何なるピクセルの輝度も少なくとも９００ニットである第２最大輝度（L_MAX_C）以下であり、前記第１最大輝度（L_MAX_M）は前記第２最大輝度（L_MAX_C）の少なくとも２倍であり、
－ 低い方の第２最大輝度（L_MAX_C）の前記符号化高ダイナミックレンジビデオ（Im_2000）を前記高ダイナミックレンジビデオ（Im_5000）の高ダイナミックレンジビデオ再生（Im_5000*）にカラーマッピングするための少なくとも１つのトーンマッピング関数（F_2Tu）を有するカラーマッピングを指定するステップと、
－ ビデオ信号（S_im）に、前記符号化高ダイナミックレンジビデオ（Im_2000）のピクセルカラーデータ及び、メタデータとして、前記少なくとも１つのトーンマッピング関数（F_2Tu,601）を書き込むステップと、
を有する方法である。

【0024】

受信側には、前記種々のエンコーダ実施態様を鏡映させると、第１最大輝度（L_MAX_M）までの値の輝度を持つピクセルを備えた一群の画像（Im_5000）を有する高ダイナミックレンジビデオを復号するためのビデオデコーダ４０１が存在し得、前記高ダイナミックレンジビデオは符号化高ダイナミックレンジビデオ（Im_2000）としてエンコードされ、前記符号化高ダイナミックレンジビデオ（Im_2000）における如何なるピクセルの輝度も少なくとも９００ニットである第２最大輝度（L_MAX_C）以下であり、前記第１最大輝度（L_MAX_M）は前記第２最大輝度（L_MAX_C）の少なくとも２倍であり、当該デコーダは、
－ ビデオ信号（S_im）から圧縮画像データを読み出すと共に該データを伸張して前記符号化高ダイナミックレンジビデオ（Im_2000）を得るように構成されたビデオ伸張器４０３と、
－ 前記ビデオ信号（S_im）から少なくとも１つのカラーマッピング仕様（F_2Tu）を抽出するように構成されたメタデータ読出ユニット４７７と、
－ 前記カラーマッピング仕様を前記符号化高ダイナミックレンジビデオ（Im_2000）に適用して、前記第２最大輝度（L_MAX_C）より少なくとも２倍高い第３最大輝度を持つ再生高ダイナミックレンジビデオ（Im_5000*）を得るように構成されたカラー処理ユニット４１０と、
を有する。

【0025】

従って、このビデオデコーダは、カラーグレーダのコンピュータ内では（非常に異なってグレーディングされた画像又は一群の画像を受信しても）一層小さな輝度範囲（Im_2000）のものであったオリジナルのIm_5000を大凡再構築することができる。当該分野における種々のアプリケーションは、マスタグレーディングの最大輝度と、符号化のものとの比について大体が意欲的であり得るが、典型的にはマスタグレーディングは少なくとも符号化のもの（L_MAX_C）の２倍である最大値を有さなければならないと言うことができるものの、１０倍大きい又はそれ以上とすることもできる（典型的に、２つのＨＤＲグレーディングの間のマッピングの関数及び／又はパラメータは幾らか異なり得るが、同じ技術的枠組みは適用可能なままである）。典型的に、どのL_MAX_Cをグレーダが使用するかは送信側で選択可能であり、グレーダは、確かに、自身のマスタグレーディングを符号化高ダイナミックレンジビデオ内に忠実にエンコードされ得るように作成する（又は、逆に、自身のマスタグレーディングを特定の最大値で作成した後、グレーダは受信機に通知するための一群のコーデックから、どれが十分な精度で斯かるマスタグレーディングを処理することができるかを選択することができる）。一旦選択されると、エンコーダは全てをメタデータにエンコードし、従って、如何なる受信機も、どのピクセルカラーを得ているかを、特にどのカラーマッピングにより受信されたIm_2000画像からIm_5000*画像を再生すべきかを正確に知ることができる。

【0026】

有利なものは、前記第３最大輝度が前記第１最大輝度（L_MAX_M）に等しい、一群の画像の高ダイナミックレンジビデオを復号するためのビデオデコーダ４０１である。これは、例えば6000ニットのものではない、正確な輝度再生である。勿論、デコーダは、例えば中間の3000ニットグレーディングのように、マスタグレーディング以外のピーク輝度のグレーディングに再グレーディングすることもできる。グレーダは、これを、一群のカラーマッピング関数を正確に受信されたままで適用することにより実行するか、又は受信された全カラーマッピング関数の少なくとも幾つかから最終組のカラーマッピング関数を導出することができる（例えば、２つのＨＤＲグレーディングの間で再グレーディングする場合、受信機は、グレーダが選択した２つのＨＤＲグレーディングの間で再グレーディングすべきであることを、該グレーダがどの様に指定したかをチェックすべきである）。

【0027】

有用なものは、また、論理プロセッサ４０５を有する一群の画像の高ダイナミックレンジビデオを復号するためのビデオデコーダであり、該論理プロセッサは、どのピーク輝度を持つどの少なくとも１つのディスプレイ４５２が接続され、且つ、ビデオが供給されることを要しているかを決定すると共に、該少なくとも１つのディスプレイ４５２のピーク輝度に基づいて、該ディスプレイに伝送するための出力画像（Im_x00,Im_5000*）を得るために前記符号化高ダイナミックレンジビデオ（Im_2000）に対しどのカラー処理（F_2Tu,F_d2d）が適用されるべきかを決定するように構成される。

【0028】

この論理プロセッサは、受信機が、非常に広い範囲の可能性として接続されるディスプレイの要求を満たすために駆動画像を最適化することを可能にする。該プロセッサは、常にIm_2000で定義されたオブジェクトピクセルカラーテクスチャ情報から開始して、適用する適切な関数を読み出し、決定する。

【0029】

該ビデオデコーダ４０１の実施態様は、有線ビデオ伝送コネクタ４３２又は無線ビデオ伝送コネクタ４３３に接続することができると共に、少なくとも出力画像（Im_x00,Im_5000*）を、有線ビデオ伝送コネクタ４３２又は無線ビデオ伝送コネクタ４３３を経るビデオ伝送に使用可能なビデオ伝送プロトコルのために必要とされるものに従ってフォーマットするように構成された伝送フォーマッタ４１５を有する。従って、例えばWi-Fi規格が特定の態様での（例えば、1500ニット等の基準範囲／色域の更に他の最大輝度による）ＨＤＲ画像伝送を必要とする場合、当該フォーマッタは該フォーマットに従って再エンコードすることができる。重要なことは、オリジナルの画像情報（Im_5000）及び作成者が有した芸術的カラー情景、即ちIm_2000にエンコードされたもの及びその処理方法、即ち少なくともF_2Tuは、受信側で決定することができると共に、次いで固有のローカルなレンダリング状況に要するものに最適に変換することができることである。

【0030】

該ビデオデコーダ４０１の実施態様は、前記論理プロセッサが、更に、前記ビデオ信号（S_im）からディスプレイピーク輝度の少なくとも１つの限界（LH_100,LL_100）を読み出すと共に、該ディスプレイピーク輝度の少なくとも１つの限界（LH_100,LL_100）に基づいてどのカラー処理（F_2Tu,F_d2d）が適用されるべきかを決定するように構成されることを特徴とすることができる。このようにして、該デコーダは、画像を供給する必要があるディスプレイが、当該ビデオ信号S_imと同時供給された例えば第３組のカラーマッピング関数を適用することにより例えば再グレーディングされた画像を作成することによってサービスすることができる特定の範囲に入るか（熟練した当業者は、受信機が全ての情報を時間内に有する場合、如何なるメカニズムも斯様な同時供給と同等と見なすことができると理解するものであることに注意されたい）、又は例えば受信されたIm_2000画像から計算することにより当該ディスプレイに伝達されるべき所要の再グレーディングされた画像を導出するために自身の最適なカラーマッピング関数を計算する必要があるか、を即座に確認することができる。

【0031】

有利なものは、また、第１最大輝度（L_MAX_M）まで復号可能な輝度を持つピクセルを備えた一群の画像の高ダイナミックレンジビデオをビデオ復号する方法であって、前記高ダイナミックレンジビデオは符号化高ダイナミックレンジビデオ（Im_2000）としてエンコードされ、前記符号化高ダイナミックレンジビデオ（Im_2000）における如何なるピクセルの輝度も少なくとも９００ニットである第２最大輝度（L_MAX_C）以下であり、前記第１最大輝度（L_MAX_M）は前記第２最大輝度（L_MAX_C）の少なくとも２倍であり、
－ 前記符号化高ダイナミックレンジビデオ（Im_2000）を、ビデオ信号（S_im）から読み出すと共に伸張するステップと、
－ 前記ビデオ信号（S_im）から少なくとも１つのカラーマッピング仕様（F_2Tu）を抽出するステップと、
－ 前記カラーマッピング仕様を前記符号化高ダイナミックレンジビデオ（Im_2000）に適用して、前記第２最大輝度（L_MAX_C）より少なくとも２倍高い第３最大輝度を持つ再生高ダイナミックレンジビデオ（Im_5000*）を得るステップと、
を有する方法である。

【0032】

本発明による方法及び装置の上記及び他の態様は、後述する実施化構成及び実施態様並びに添付図面から明らかとなり、これらを参照して解説されるであろう。これら実施化構成及び実施態様並びに添付図面は、より一般的な概念を例示する限定するものでない特定の解説としてのみ役立つものである。

【図面の簡単な説明】

【0033】

【図1】図１は、グレーダがどの様にして如何なるＨＤＲシーンも、例えば０ニットから5000ニットまでの大きな輝度基準範囲を持つ高品質マスタ符号化に変換することができるかを概略的に示す。

【図2】図２は、基準輝度範囲GRAD_MSTR上で指定された該マスタグレーディングを、大幅に小さい最大輝度を持つ（それでも、撮像されたシーンのＨＤＲ側面の全て又は殆どを依然として捕捉している）受信側に伝達されるべきＨＤＲ符号化に如何にして再定義することができるかを概略的に示し、上記コードの最大輝度M_COD_REFは典型的にはオリジナル範囲（5000）の８０％以下、例えば2000ニットであり、時には少なくとも２倍小さい。

【図3】図３は、伝達される2000ニットグレーディングから5000ニットグレーディングを再現するためのカラー処理関数と共に、特には例えば2000ニットグレーディング及び該グレーディングと一緒にパラメータ関数態様で技術的にエンコードされる5000ニットグレーディング等の創作者が必要とするものをグレーダが指定することを可能にする後述の新規な教示内容によるエンコーダ実施態様を備えた可能性のある創作側符号化技術を概略的に示す。

【図4】図４は、少なくともディスプレイのピーク輝度及び視聴環境、視聴者の好み等の他の要因に基づいて各接続ディスプレイに対して最適にグレーディングされたビデオを用いることを可能にする可能な受信側復号及びＨＤＲ画像使用システムを概略的に示す。

【図5】図５は、この例では開始画像として機能するエンコードされ受信される画像（Im_2000）の最大輝度より低いピーク輝度の２つのディスプレイに対する本カラーマッピング仕様（F_d2d）による可能なカラー再マッピングであって、これらディスプレイには各ディスプレイ（４００又は１００ニットのピーク輝度ＰＢを持つ）のための当該ビデオ画像セットの適切にグレーディングされたディスプレイ駆動画像に到達するために上記カラーマッピングが適用されるようなカラー再マッピングを概略的に示すと共に、例えば教会内部又は暗い地下室等のシーンの場面の画像からの幾つかの選択されたカラーの相対的明化による例示的処理を示し、該図において図５ａは輝度及び彩度の両方が重要なオブジェクトに関するＨＤＲへの典型的なマッピングを示し、図５ｂは外れたカラーを処理するための可能な方法を示す。

【図6】図６は、2000ニットグレーディング（ビデオ信号S_imにエンコードされた）から最大輝度5000ニットでグレーディングされたビデオ、即ち創作者の側及び時点におけるマスタグレーディングの最大と外見的に実質的に等しいものに到達するための可能なカラー再マッピングを概略的に示す。

【図7】図７は、例えば約5000ニットのピーク輝度のディスプレイに供給するために又は該一層高い品質のビデオを後の使用のために記憶するために、2000ニットの参照ビデオから5000ニットの参照ビデオに到るための他のカラー再マッピング例を概略的に示す。

【図8】図８は、何らかのピーク輝度又はダイナミックレンジ能力のディスプレイ上で使用されるべき何らのオリジナル品質（即ち、例えば5000ニット又は15000ニット等の、GRAD_MSTRの何らかの最大輝度）のＨＤＲ画像を、大幅に低減されたダイナミックレンジ能力（即ち、例えば2000ニット又は1200ニット等の最大輝度L_MAX_Cであるが、勿論、エンコードされた画像が依然としてＨＤＲ符号化、即ち最小でも９００ニットの関連する基準ディスプレイのピーク輝度を超えるものとなるのに十分に高い最大輝度の）のＨＤＲコーデックにより伝送するためにエンコードされることにより、エンコードするために後述の技術をどの様に使用することができるかを概略的に示す。

【図9】図９は、より高いピーク輝度のＨＤＲグレーディング及びＬＤＲグレーディングの両方を、受信された2000ニットのグレーディングからどの様に導出することができるか、及び斯かる２つがどの様に技術的に基本的に異なる性質のものであり得るかを概略的に示す。

【図10】図１０は、ＨＤＲ画像の２～３の典型的なルマのヒストグラムを概略的に示す。

【発明を実施するための形態】

【0034】

図１は、夜間の内部照明された玩具店に関する典型的なＨＤＲ撮像シナリオの一例を示す。該例は高度に照明された（夜の暗い外部と比較して）玩具を含み、これら玩具は、勿論、如何なる反射物体とも同様にランプ自体よりも大幅に低いピーク輝度を有するが、それでも相対的に高い輝度を有することができる。そして、子供用の玩具は、通常、非常にカラフルでもある。そして、見る者が品質の難点を持つことなくクリップされた状態で容易にレンダリングすることができるランプ１０１とは対照的に（もっとも、ランプ、照明器具１０２及びランプの周辺の領域１０４の間の構造の幾らかは理想的には忠実にエンコードされ、可能なら、好ましくは種々のグレイ値でレンダリングされるべきである）、玩具１０６の関連する情報のクリッピングは低品質でレンダリングされた画像につながり得る。コード割当の問題、即ちどのルマ値Ｙ’がどのカメラでキャプチャされた又はレンダリングされるべき輝度Ｙ（これらは更にディスプレイに最適化されるというより直接レンダリングされると仮定する）に対応すべきかに注目する前に、先ずどの輝度が如何なる斯様な符号化においてもキャプチャされることを要するかの問題に注目する必要があり、これは技術的に基準輝度範囲を指定することにより実施することができる。この基準輝度範囲は、この例示的画像のみでなく、全てのＨＤＲ画像に関する全ての必要とされるオブジェクトの輝度を現実的にレンダリングするために十分に高いエンコード可能な最大輝度を有するものであろう。店舗の一般的照明は例えば２００ルクスであると仮定する。ＴＬランプに１０倍近い天井における玩具は、１００倍大きな照明、即ち20,000ルクスを受けるであろう。従って、反射するオブジェクトカラーとしての白の輝度は、約0.8*20,000/pi＝5000ニットであろう。このことは、最大値が5000ニットであるならばランプの輝度に近い斯様に相対的に明るく照らされたオブジェクトの輝度をもたらすか、又は明るいオブジェクトの少なくともカラーは、例えば5000ニットの基準輝度範囲又は2000ニットの基準輝度範囲（COD_REF）により定義される可能なカラーの色域（ガマット）の上部領域に入り得る。勿論、一方において、最適なレンダリングのためのカラーは現実のシーンにおける値により正確にグレーディングされる必要はなく（何故なら、当該レンダリングの如何なる特定の視聴環境の平均輝度が撮像されたシーンの平均輝度と正確に同一であったとしても、これは、その性質上幾らか近似的なものであるレンダリングに過ぎないからである）、他方において、後に示すように、或る輝度を他の輝度でエンコードするための数学的技術、もっと正確には他の輝度をエンコードすることを前提とされたルマコードが存在し得る。しかしながら、計算は、ＨＤＲ符号化システムにとり望ましい技術的制約についての即座の見通しを与える。高度に飽和されたカラーは、例えば赤い玩具の場合、これの約３０％の輝度を生じるが、これらカラーは、より小さな色域の最上部の輝度領域における赤の角に存在し得る（しかしながら、強くクリップされるか穏やかにクリップされるかによらず、マッピングされる）。このことは、シーンの所望のＨＤＲ（ネイティブの又は導出された）符号化の特性は付与するが、同じシーンに対する如何なる低いダイナミックレンジの外見画像について未だ何も指定しておらず、これは、その技術的限界、即ち意図する中間ダイナミックレンジ（ＭＤＲ）レンダリングディスプレイのピーク輝度の正に性質により非常に異なったものになり得る。

【0035】

如何なるＨＤＲ画像符号化チェーンにおいても第１の問題は、現実のシーン輝度をどの様に本基準輝度範囲GRAD_MSTRの輝度にマッピングするかであり、これは、簡略化のために、典型的にコンテンツ創作者が、これを用いて作業をしたい、即ち所望の芸術的外見を生じる自身の最終的カラーグレーディングを行いたいものと仮定する。理想的には、少なくとも忠実にレンダリングされることが必要な輝度をレンダリングすることができる高品質ディスプレイ（グレーダは自身の高品質マスタグレーディングを高品質基準ディスプレイ上でチェックしたいものであり、最終的ディスプレイがどの様なものでも自身のコンテンツは種々の視聴者に対して見せられるので、理想的には幾つかのレンダリングは非常に高いピーク輝度のＨＤＲディスプレイ上で生じ、それでもコンテンツは見事に見えなければならない）、即ち少なくとも5000ニットのピーク輝度を有するものが、基準範囲の輝度をレンダリングするべきであり、説明の簡略化のために、実際の視聴環境が定義された基準視聴環境と同一であるならば、この基準ディスプレイはGRAD_MSTRからの基準輝度を正に１対1でレンダリングすると仮定することができる。即ち、指定された輝度が例えば3200ニットである場合、該基準ディスプレイは3200ニットをレンダリングする。

【0036】

合理的な基準輝度範囲GRAD_MSTRを固定した後、適切な基準範囲GRAD_MSTRを一旦選択したら、決定しなければならないことは、シーン基準を該基準範囲にどの様にマッピングするかである。非常に明るい20,000ニットのＴＬ管における全ての細部が正確に表される／コード化されることを望む場合、確かなことに、実用的なビデオ符号化にとり太陽の表面の10億ニットの正確な符号化を有することは必要ではない。この第１ステップは主にシーンに依存する芸術的最適化であり、その場合、斯かる高輝度は“歪めて表示される”、即ち斯かる輝度はGRAD_MSTR上の合理的な代用として表される。例えば、マスタグレーダはどの極端に明るいオブジェクトが自身のマスタＨＤＲグレーディングにおいてクリップするかを選択すると共に、例えばグレーディングすることができ、これにより、如何なる後のステップに対しても該太陽を白色又は単一の高輝度黄色（例えば、最大の黄色（Ｒ＝Ｇ＝１００％，Ｂ＝０％））で表すことができる。ＨＤＲ画像及び特にビデオ符号化における全ての関連する要因を念頭に置くと、典型的な基準範囲GRAD_MSTRは例えば20000ニット、10000ニット又は5000ニットであり、当該実施態様の残りの説明においてGRAD_MSTRは輝度［0,5000］をカバーするものと仮定するが、これは技術的に良い実利的な選択である。値ゼロは実際に非常に小さな輝度とすることができ、該値は使用されるべき規格化されたコード割当関数に依存して変化し得るものであるが、実用的目的ではゼロに等しくすることができる如くに小さいものであろう。

【0037】

第２の問題は、キャプチャされたシーン輝度をどの様にマッピングするかである。この問題は輝度を何れかのディスプレイ上にどの様にレンダリングするかとは必ずしも同一ではない。何故なら、特定のディスプレイ及び典型的には何らかの視聴環境に対しても最も適したレンダリングを得るために当該基準輝度（及び実際にはカラー、しかしながら、説明を簡略化するために、カラーの色相及び彩度は撮像パイプラインを通して同一に留まり、該カラーの輝度のみが変化すると概して仮定する）に対して作用する何らかのレンダリングカラー変換が依然として存在し得るからである。しかしながら、これらは幾らかリンクされ、基準範囲を何らかの近未来及び中期的未来のディスプレイと関連付けるなら、ディスプレイの特性を基準範囲自体に供給する。今後何年も、そして恐らくは永久に、ディスプレイは典型的に20000ニットを遙かに超える又は恐らく2000ニットを超えるピーク輝度さえ有さないであろうから、正確なシーンの符号化という観点よりもディスプレイでレンダリング可能という観点から如何なるシーン輝度もエンコードすることに一層意味がある。即ち、シーン輝度を“歪めて表す”ことができる。これに役立つものは、２つの要因、即ち１）ピークテクスチャに関する十分に区別可能な情報がコード化されている限り、如何なる符号化からも異なる表現を導出することができるという事実及び洞察（即ち、最悪ケースで、例えば赤いキルトのテクスチャをキャプチャすると共に該キルトをソフトウェアでピクセル毎に緑のキルトに再着色することができ、同じことをグレイ値又は輝度に関しても実施することができるが、その場合、模様を決定する異なる輝度又はカラー値の何れも単一の値にグループ化されるべきでない）；及び２）人の視覚は順応可能なものであり、特に見る者が現場におらず実際のカラーを知らなかった場合、脳は不体裁なカラーに関して想像により補正することができる。如何なるＨＤＲ技術、特に符号化システムの任務も、測光的に正しいものより信じられる画像を作成することができるということである。

【0038】

従って、一般的に、グレーダは当該玩具店又は暗い部屋内部から見た太陽の当たる景色等のＨＤＲシーンを、5000ニットまでもの十分に大きな基準範囲GRAD_MSTR上に自身の好みに従って相対的に忠実にマッピングすることができる。該初期のマスタグレーディングは自身の記述的及び芸術的規則を有するが、画像処理パイプラインの更に下流の技術的構成要素において何が生じるかを混同してはならない。特に、このような環境を例えば最大で2000ニットのCOD_REF等の一層小さな範囲にどの様にマッピングするかは些細なことではない。もっとも、種々の理由で、当該パイプラインには斯様な小さな範囲を自身のＨＤＲ基準範囲として用いる（典型的に、その時点以降に又は少なくとも当該パイプラインの一部において）種々の技術は存在し得る。

【0039】

本出願は、より大きな一層良好な基準範囲GRAD_MSTR及び典型的に該基準範囲上でグレーディングされた最良品質の画像から開始して、より小さな基準範囲COD_REFによる斯様な中間表示に進むための幾つかの実施態様を説明する。

【0040】

図１は、一例により、グレーダが典型的に自身のシーン輝度をGRAD_MSTRの種々の利用可能な副範囲に対してどの様に表したいか（割り当てたいか）を詳細に示している。ＴＬ管又は他のランプ１０１自体は、当該グレーダは最大値L_max_M又は該最大値に非常に近い値（例えば、Ｌ１＝4995）にマッピングしたいであろう。典型的に反射性金属である照明器具１０２自体は幾つかの興味ある模様を含み、これら模様は、当該照明器具を単なる“白い穴”としてより一層現実的にレンダリングするために幾つかの区別する値により少なくとも暗示したい（即ち、該照明器具を非常に明るい光の範囲R_BL内で符号化したい）であろう。これらは、恐らく、無色ではなくても中間色に近い非常に彩度が減じられたものであり得、従って、これらのピクセルカラーはＲＧＢコード化可能な色域の典型的に狭いテント上部に入ることができる。該非常に明るい光の範囲R_BLより下は、ランプに非常に近い当該玩具１０６のような、明るいオブジェクトの範囲R_BOであろう。明るいオブジェクトの斯かるピクセル（本例では、当該玩具のみならず、例えば家の塗装された壁又は屋外の日向の草等）は、しばしば、（強く）有色であるので、オリジナルのシーンカラーと比較して該カラーのコード化値を少なくとも幾らか彩度を減じるようにすることができるとしても、明るい有色カラーを表すことができるＲＧＢ色域テントの範囲を割り当てる必要がある。実際のシーンとの相関関係が存在するので、これらを合理的に明るく且つ合理的に着色させるだけで十分であり得る。図１Ａには、余り説明に役立たない１Ｄ輝度ビューではなくコード化可能な色域における三次元の（もっと正確には、三次元からの二次元的赤-シアン-輝度カット）サブセット選択を示す（当該方法の実際的実施化においては、該選択を決定するために例えばValue=max(R,G,B)等の輝度相関も使用し得るか、又は何らかのカラー処理を実行し得ることに注意）。見られるように、実際に有色（例えば、赤いＴＬ管）でない限り、明るいランプは、しばしば、低減された彩度の非常に明るい値により表すことができ、見る者はこれを許容する。しかしながら、このようなパステル化は、例えば日の当たった草に対しては行ってはならない。何故なら、これは正確にはＬＤＲコード化において生じる一種のエラーであるからである。色彩に富んだカラーが必要とされる場合、これらカラーは明るい合理的に有色の副範囲R_BOにグレーディングすることができる。一層高い彩度をレンダリングすることができるディスプレイ（例えば、専用の原色を有する多原色ディスプレイ）のために、カラーをオリジナルの彩度の半分でコード化したとしても、過度の画像アーチファクトを有さずに彩度を常に２倍にすることができる。

【0041】

例えば5000ニットの良好なＨＤＲ基準ディスプレイを定義したとして、シーンカラーを、又はもっと特定的には斯かるカラーの輝度をどの様にエンコードするかの問題を定める必要がある。古典的なＬＤＲ撮像は、この見地に関して余分な考慮を有さなかった。シーンの照度がどの様なものであっても、カメラの自動露出は、単に、撮像されたシーンにおける何らかの明るいカラーをコード白に関連付けた（実際には、何らかの平均カラー計算を介して、中間グレイにマッピングする）。ここで、これをＨＤＲ研究からの後知恵により熟考すると、このことはシーンに対する非常に特有の見方であり、これは常に数学的に働くが、技術的及び芸術的には、過度のコントラスト比でない良好に照明された環境、例えば均一に照明された１％～１００％反射するオブジェクトに最も適しており、ノイズを超えて当該センサ又は符号化数学において依然として偶然に忠実に表されるどんなに暗いオブジェクトカラーまでも記録する（ＬＤＲ画像が対応しなければならないどのレンダリングされる輝度に対しても付与される通常の数は、０.１ニット～１００ニットのピクセル輝度である）。幾つかの又は多くのカラーはクリップされている可能性があり、最も白い忠実にコード化された白は、日当たりの良いシーンでは20,000ニットであり得、長時間露出された夜のシーンでは５０ニットであり得た。また、ＬＤＲ画像処理方式におけるレンダリング側においても、１００ニットに対して理論的に最適なグレーディングが特定の視聴者により２００ニット、４００ニット又は５０ニットのディスプレイ上で実際に見られているかも、又は該グレーディングが暗くされた部屋で又は駅のプラットフォーム上で見られるかも無関心であった。殆どの画像及び通常の厳しくない視聴者にとり、多分２～３絞りの斯様な差はその様に重大ではないが、１００ニットからピーク輝度で多数の絞りにより相違する高度に厳しいＨＤＲ画像及び／又はディスプレイに関しては特定の時点で、差は好ましくないものとなる。最終的にレンダリングされる外見及び創作する芸術家の意図する外見の類似性は、そもそもＬＤＲ符号化時に明確に定義されていたとしても、視聴条件が理論的基準条件から過度に相違しない場合にのみ保証されることは明らかであろう。

【0042】

しかしながら、画像（コンテンツの複雑さがどのようであっても）が現場（ディスプレイ＋環境）において多様な異なるレンダリング条件で合理的にレンダリングするために正しく解釈可能でなければならない未来志向のＨＤＲ画像又はビデオ符号化技術においては、基準範囲及び色域のみならず該範囲及び色域をキャプチャされ表現されるシーンカラーによりどの様に使用／満たすかが、十分に検討されなければならない。

【0043】

好ましくは、当該割当をＬＤＲにおけるように完全に相対的には行わない（即ち、ＬＤＲ画像においてシーンがどの様であっても、コードの白は常にディスプレイの白にマッピングされ、該ディスプレイがどの様なピーク輝度をもっていても、例えば暗いシーンをレンダリングする必要がある場合、ピーク輝度より低い輝度をエンコードするコードをうまく利用する）。ＨＤＲ符号化システムに関しても最終的レンダリングに幾らかの相対性が存在する。何故なら、目／脳は相対的なカラー検出器であり、レンダリング条件は大幅に変化し得るが、該可変性は、何らかのカラー表現での中間のカラーの一層数学的に正確な仕様から開始するが、受信側において処理することができる（これ自体は、ＮＴＳＣ及びＭＰＥＧ２が市場において一時は唯一のディスプレイであったガンマ2.2及びEBU原色のＣＲＴにリンクされていたように、１つの特定の表示技術に最早リンクされるものではない）。

【0044】

しかしながら、一方ではシーン輝度の例えば5000ニットの基準範囲内の基準輝度への、及び他方では該基準輝度のディスプレイでレンダリングされる輝度への正確な１対1のマッピングを必要とすることも、実利的で容易且つ汎用的な使用にとって制約である。

【0045】

従って、典型的には輝度の大部分が大凡１対1でマッピングされるように構成及び充填される基準範囲GRAD_MSTRを有したいものであり、これによれば、特定のシーン輝度が全てのタイプの受信ディスプレイ上でレンダリングされるべき輝度に最終的に一致するであろうことを意味する（これにより、ある種のシーン、例えば明るい日当たり又は夜景、に関してはレンダリングされる輝度がシーン輝度と等しくなることは必要でない。何故なら、当該シーンにおける物理的に観察され得る輝度とディスプレイ上のものとの間には幾らかの減光係数（dimming factor）が存在し得、斯かる減光係数は或る程度ディスプレイ依存性でもあり得て、典型的なディスプレイ分類に対して最初に決定することができるからである）。種々のディスプレイ上で一層暗くレンダリングされるピクセル輝度の該近似的同一性は、典型的に、多くの（全てではなくても）ディスプレイ上でレンダリングされ得る当該シーン内の一層低い輝度に典型的に当てはまる。しかしながら、上端において輝度は理論的に何かであり得るので（可能性として、例えばセンサを照らす画像レーザビームに対応する輝度まで）、可能性のあるシーン輝度の明るい端部においては、シーン輝度の基準輝度に対する一層自由な割当を用いることができる。何故なら、例えば50,000ニット（そもそも、市場における十分な量のディスプレイ上で既にレンダリング可能である場合）は視聴者にとり快適であるには明る過ぎ（特に暗い視聴環境において）、従って、いずれにせよ一層レンダリングされるのに適した輝度値に変換される必要があるからである（レンダリングするディスプレイのピクセル輝度がどの様なものであっても）。出願人によれば、10000ニットも良好に利用可能な値であるが、5000ニットが基準範囲の上限にとり合理的な値であろう。

【0046】

この場合、幾分暗い余り強く照明されていない玩具／オブジェクト１０８はＬＤＲディスプレイ上でも適度に忠実にレンダリングすることができる通常範囲R_N内の何らかの輝度に割り当てることができ、オブジェクト１１０が前記ランプから一層遠くなるにつれて、即ち当該シーンから線形に測定可能な該オブジェクトのピクセル輝度が一層暗くなるにつれて、これらオブジェクトは基準範囲に一層低く割り当てられる（ここでは、GRAD_MSTR上のL_ref=k*L_シーンによる線形の割当方法であると仮定し、ｋは１に等しいか、全てのピクセルカラー及び特に一層低いものを十分に明るく維持するために典型的には過度に小さくない、例えば０.５等の何らかの状況に応じて最適に選択された（カラーグレーダにより）倍率である）。当該玩具店の外部、即ち僅かのランプにより照明された夜間の街路には、非常に暗いオブジェクトが存在し、これらオブジェクトは基準範囲の暗い副範囲R_Dにマッピングされる。そこでは、これらオブジェクトを幾らか明るくするために典型的には何らかの非線形コード割当を用いることができるが、輝度に対して十分なコード（例えば、１０ビット）が存在する場合、選択された値を持つｋにより上記線形割当を継続することができる。この場合、例えば殆ど照明されていない扉１１２の斯かる値は、これらの暗いカラーが低コントラストのＬＤＲディスプレイ上で酷い、即ち相対的に明るい黒でレンダリングされる（され得る）かに拘わらず、少なくともクリップされない十分に固有なコードによりコード化される。同じことが暗い溝のピクセルにも当てはまるが、下水道格子を介して見られる下水道１１４のピクセルは、グレーダが最小のコード化可能な値（例えば、ルマ１又は０）であるコード（最小）黒及びその対応する輝度に全てマッピングすることができるほど暗く関心のないものであろう（そもそも、カメラにより十分に明瞭に且つ無雑音でキャプチャされた場合）。

【0047】

この5000ニット範囲へのマッピングは実行するのが合理的に素直なものであり得、例えばグレーダは斯かるマッピングを実行すると推測することができるが、これら値を一層小さな［0,2000］ニット範囲に直接マッピングすることは、少なくとも幾つかの厳しいシーンに関してグレーダに問題を課し得る。即ち、これら問題は異なるシーンオブジェクトに対して適切な基準輝度を選択するというグレーダの芸術的熟練度により全て純粋に解決されるべきものではなく、グレーダは自身を補助する技術的解決策を有すべきである。例えば、当該店舗の電灯及び明るい部分がCOD_REFの1500～2000の副範囲にマッピングするために暗く（調光）された場合、この調光により当該暗い部分に何が起きるだろうか？該調光が簡単な非線形コード（再）割当を使用する場合、これらの一層暗いカラーは、少なくとも簡単な直接的使用の場合、例えばコードを固定のＥＯＴＦで表示するレンダラにより過度に暗くなったであろうか？とりわけ、一方における輝度範囲に沿って恐らくは存在し得る（又は実際のシーンに存在する）各オブジェクトテクスチャに対してどの程度多くのコードを確保すべきか等の見地と、当該画像の妥当な見え方（外見）、即ち１つの典型的レンダリングシナリオに対応する少なくとも１つの基準輝度範囲上での各オブジェクトに対する妥当な輝度値（後に特定のディスプレイ上での特定のレンダリングシナリオに調整するために測色的外見に対して余り影響のない二次オーダ的カラー変換しか必要としない）等の見地との間には対立が存在する。幾つかの取引を、その場的に想定することができるが、事をうまく実行するために、常に、ガイドする枠組みが望ましい。

【0048】

図２には、マスタ基準輝度範囲GRAD_MSTRに沿うピクセル輝度（及び、これに関連して、例えば１０ビットワードのような実際のコードのために使用するワードであるルマ）を、大幅に小さな（典型的には少なくとも１／２であり、１絞り少ないとも書くことができる）コード化基準輝度範囲COD_REFに再コード化する一般的問題をどの様に処理するかについての図が見られ、これは、例えば、［0,5000］ニットへのグレーダのマスタグレーディング、及び例えば［0,2000］ニットの規格化された基準輝度範囲を持つビデオ伝送コード化技術による例えばブルーレイ等のメモリ上への記憶又はネットワーク技術を介しての伝送のために実際に使用される技術的コード化である。

【0049】

該再割当問題は、マスタ輝度範囲［0,5000］上で定義される合理的にグレーディングされた画像へのシーン輝度の初期的マスタグレーディングとは技術的に非常に異なる問題であるが、勿論、オリジナルの基準表現（GRAD_MSTRにおける）、並びに最終的に比色特性を伴うオリジナルのシーン及び該シーンに含まれるオブジェクト又は十分に忠実なディスプレイレンダリングとの幾らかの関連は存在する。

【0050】

これは２つの側面を含む。即ち、一方では、両範囲が無限のコード化精度を有すると見なす場合（この場合、簡略化のために、両範囲に沿う輝度を正規化された輝度の再正規化された［０，１］範囲内の実数として書くことができ、これにより、勿論［0,5000］における定義から再正規化された輝度は、［0,2000］で定義されたので、同一のオブジェクトに関して対応する輝度と同一の値を有することはないであろう）、原理的に本教示によれば輝度をマッピングするために非線形マッピング関数を使用することができ、勿論、状況により幾つかのマッピングは他のものより望ましい。例えば、種々の理由により恐らく最適ではないであろうが、概念として原理的には線形伸張を使用することができる。他方において、この輝度の再割当において、COD_REFの輝度を実際の（例えば、１０ビットの）ルマにより表さねばならない場合に生じることを要するコード化精度の問題を扱うことができる。ピクセルルマを定義するために利用可能な該ビット量は、どの特定の選択されたコード割当関数が輝度範囲に沿う種々のオブジェクトに対して副範囲及び該副範囲のコードの量をどの様に割り当てるかに依存して、常にオブジェクト（例えばピーク輝度の１０％より明るくないもの等）のコード化の精度及び、特に、忠実なレンダリングのために十分なコードが存在するか（例えば、ピーク輝度の２０％と３０％との間でグレーディングを滑らかに変化させる青、対、最高のコード化及び輝度／カラー再生精度を必要としなくてもよい背景内の玩具店の複雑なテクスチャ部分）を決定する。

【0051】

実際に、１０ビットのルマは1024の異なる輝度（／グレイ値）しかエンコードすることができないので（とりあえず色度成分は無視する）、何処においても（明るいカラー副範囲、中間上部のグレイ、中間下部のグレイ、暗部及び超暗部）最高の精度を必要とする非常に高いダイナミックレンジのシーンを有する場合、全ての画像構造を忠実にエンコードするには1024を超える異なる値を必要とし得る。これが、ＨＤＲ画像符号化を単純なＬＤＲ撮像方式から相違させるものである。このような状況においては、当該シーンを5000ニット又は2000ニットの範囲の何れにおいても忠実にエンコードすることができる如何なる可能な解決策も存在しないと言うことができる。しかしながら、全ての実際的な画像において、十分な品質の符号化のために必要とされるコードの量を緩和することができる。恐らく、空間的にテクスチャ化された領域は一層少ないコードしか必要とせず、一層多くのコードを滑らかな勾配のために見越しておく。最悪の場合、時には幾らかの縞模様（banding）を許容し、それでいて少なくともＨＤＲディスプレイ上で全ての綺麗なＨＤＲ効果をレンダリングすることができるようにすることさえ考えることができる（マスタ範囲及び該範囲上のグレーディングを有することにより、グレーダは種々の後の受信側のレンダリングシナリオの品質についての良好な初期的見方を有することができる）。

【0052】

ここで、特にＨＤＲ符号化に対する新たな概念を熟考するために一息つく必要があろう。即ち、特に以下の場合には２つの競合する互いに関連する事項が存在する。この場合とは、該2000ニットの再マッピングを、実質的に直接的にレンダリングするための画像として（即ち、最終的ディスプレイ、例えば2800ニットディスプレイ又は1500ニットディスプレイに対して最適な外見を得るためには何らかの更なる再マッピングが存在し得るが、2000ニットのコード化でグレーディングされた外見から開始するものであり、該外見にはオリジナルの外見は依然としてどうにか染みこまれているものであり、これは２ステップ的アプローチ：即ち最終的画像レンダリングに対する画像及び外見作成、並びに、ＨＤＲ画像処理チェーンの当該部分で生じ得る全ての更なる考察及び処理である）、及び同時にオリジナルのＨＤＲシーン内にあった全ての興味あるもの究極の（即ち、如何なる将来の使用に対しても、装置非依存性及び使用非依存性の）完全な符号化として、即ち該オリジナルシーンの全オブジェクトの測色的特性の十分に忠実な表現又は該シーンの少なくとも十分なＨＤＲ品質の表現としての両方で使用したい場合である。前者の考えは芸術的グレーダが典型的に関わる何かであり、後者の要件は部分的又は主に技術的問題である。

【0053】

5000ニットから2000ニットへの線形圧縮、及び例えば2000ニットピーク輝度の実際のディスプレイ（モニタ若しくはＴＶ又はプロジェクタ等）又は例えば5000ニットディスプレイの０～2000ニット副範囲（これは、０～2000ニットの再定義されたシーン輝度の5000ニットのピーク輝度のディスプレイの全範囲への（再）伸張とは異なり得る）での2000ニット範囲の１対1のレンダリングを一例として挙げよう。

【0054】

利用可能なディスプレイに関し人の視覚についての心理物理学を良く考慮に入れてハードウェアを最適化することができるとして、この不適切な“図らずも選択された”マッピングにより何らかのＨＤＲレンダリングの品質問題が存在し得る。例えば、明るい領域のＨＤＲ効果は準最適であり得る。即ち、実際の5000ニットグレーディングの画像が利用可能でないので、該明るい領域を2000ニットのディスプレイ上でさえ心理視覚的に一層ＨＤＲ的に見えるようにさせるための何らかのカラー処理操作を実施したい場合があり得る。しかしながら、5000ニットのディスプレイが利用可能である場合はどうであろうか？これら輝度を単純に伸張（画像処理ソフトウェア又はハードウェアで自動的に）する（これは、当該マッピングに関する如何なる知的ガイダンスも無しに実施し得る）ことが、これら輝度を5000ニットのディスプレイ上で最適にレンダリングするために行う最良のことであろうか？少なくとも一層厳しいＨＤＲシーンにとっては、大概そうでないであろう。

【0055】

一方、グレーダは直接レンダリングされた2000ニット範囲の下側副範囲におけるオブジェクトの幾つかが暗過ぎる又は低コントラスト過ぎると感じ得る。該グレーダが、そのために例えば当該副範囲を明るくすることにより調整しようと試みる場合、該グレーダは、例えば再グレーディング／再マッピングにおいて穏やかに圧縮することにより該明るいＨＤＲ範囲を更に悪化さえさせ得る。

【0056】

一方、例えば或るシナリオに対して定義された特定のビデオ規格（該定義は、典型的に、特定の輝度ステップが依然として見えるか否か、当該2000ニット範囲にわたって不均一に分布されている、最適な関数として何らかの対数ガンマ的関数又は同様のものを生じるという仮定から開始し得る）において、該2000ニット範囲に対して最適コード割当関数又はＥＯＴＦを固定的に定義した場合、例えばLc3とL_max_Cとの間の範囲の1/10等の各副範囲に対してどの程度多くのルマコードが利用可能であるかの問題にも気を配らねばならない。どういう訳か、余りにも少ないコードしか利用可能でない場合、ＨＤＲシーンは最適に表されることはない。何故なら、例えば10000ニットのディスプレイ上で綺麗にレンダリングされ得る重要な非常に明るい内容を伴うシーンに対する当該副範囲は、2000ニットのコード化において十分にエンコードされ得ないからである。このことは、該2000ニットのグレーディングを2000ニットのディスプレイ上で１対１にレンダリング場合のような可視的問題ではないかも知れないが、例えば20,000ニットのディスプレイにマッピングする場合に現れる。

【0057】

従って、このバランスを注意深く処理するための何らかのメカニズムが必要であり、ＨＤＲシーン画像をエンコードすると共に、特に単一の基準ディスプレイ（例えば、5000ニット）のみならず市場における将来の全てのディスプレイに正しくサービスすることができる（シーン符号化における調整可能で再決定可能な見え方を介して）ために我々の技術に導入された基本概念は、以下に示されるように、この問題に非常に良く適している。読者が要点を理解することを確かにするために、２つの新たな命名を用いることができる。一方において、典型的に受信機における最適化ユニットにより自動的に決定することができる最終グレーディングが存在し得、これは、どの様なコード化表現を受信しようとも特定のディスプレイに調整する。例えば１００ニット周辺にピーク輝度を持つレガシＬＤＲディスプレイのための１００ニットグレーディング及び例えば5000ニットのハイエンドＨＤＲディスプレイ等の一連のディスプレイ調整における末端の２つの標準グレーディングの間の例えば1250ニットディスプレイ上にレンダリングされるべき該グレーディングを、中ダイナミックレンジ（ＭＤＲ）グレーディングと呼ぶ。以下の教示では、中間の符号化、即ち例えば1000ニット（これも１００及び5000なる範囲末端の間である）の関連する基準ディスプレイを有する符号化にも言及し、これを中間ダイナミックレンジ（ＩＤＲ）と呼ぶ。何かの理由で特定の技術が、シーンのどの様なダイナミックレンジ画像でも（即ち、どの様なオリジナルシーンでも、及びどの様にレンダリングされるべきであっても）、例えば1000ニットの基準ディスプレイピーク輝度によるＩＤＲ符号化にエンコードするよう指示する場合、これは依然としてレンダリングされ得るものである、即ち、例えば実際に接続された８５０ニットのディスプレイ又は代わりに若しくは加えて1550ニットのディスプレイ等のために、種々のＭＤＲグレーディングへの更なるカラー変換により調整されることを要し得るものであると理解されるべきである。

【0058】

第１実施態様が、エンコーダ３０１を示す図３を参照して説明される。該エンコーダ３０１により、グレーダは、何が起きているか、及び該エンコーダが2000ニット画像を全ての外見の代表的画像として使用することを必要とし得るので何が技術的に起きなければならないかに過度に気を配ることを要せずに2000ニットの芸術的グレーディングを自由に行うことができる。即ち、グレーダは2000ニット画像の外見に集中することができ、従って、約2000ニットのピーク輝度のディスプレイに直接適用された場合、これら画像は最適に見えるであろう（例えば、暗闇に隠れている人がはっきりと見えることもなく見えないこともないような十分な明るさ、霧に半分隠れている人がぼんやりと見えるような十分な局部的コントラスト、又はビンが光って見える等）。例えば記憶メモリ３００から到来し、グレーディング装置３０３に入力するオリジナルのＲＡＷ ＨＤＲビデオ（例えば、ＨＤＲカメラから発生し、線形カラー表現である）が存在すると仮定する。熟練した読者は、例えばカメラに直に組み込まれたエンコーダを有するような本発明又は実施態様の異なる実際的実現例も存在し得る、と勿論理解することができる。

【0059】

グレーダは、多くの実施態様では初期グレーディングユニット３１０及びユーザ入力コントローラ３１１（例えば、グレーディングコンソールであり得る）を使用したマスタグレーディングである初期グレーディングを行う。初期グレーディングユニット３１０は、例えばダビンチ（Da Vinci’s）等のグレーディングソフトウェアを実行するプロセッサとすることができ、該ソフトウェアは例えば全体的トーン及びカラーマッピング関数を実行し、画像の場面における移動するくすんだ局部的領域を選択し、これらのための処理を指定すること等ができる。一例として、上記ＲＡＷビデオは例えばＡＲＲＩのカメラからの不適切なオブジェクト間及びオブジェクト内コントラストを持つ対数ビデオであると仮定することができる。グレーダは自身のマスタグレーディング画像（又は複数の画像）Im_5000を作成し、その場合において、該グレーダは、とりわけ、対応する5000ニットのGRAD_MSTR基準範囲における適切な輝度により全てのオブジェクト及びピクセルカラーを指定する。これは、何らかのビデオ伝送規格が該5000ニット参照ビデオを自身の規格によりエンコードする方法を定義する場合にのみ、ＨＤＲビデオの素晴らしい表現（これは、次いで、とりわけＤＣＴ符号化等によりビデオ圧縮され得る）であろう（伝送規格とは、とりわけ、例えばＢＤ上のビデオのような光学規格等のメモリ担体を介しての伝送、及び例えばDVBによる航空会社放送等のネットワーク化規格又はインターネット供給若しくはＨＤＭＩ（登録商標）ケーブル通信等の装置間通信システムを介しての伝送の両方を意味する）。

【0060】

しかしながら、規格は、一層の自由度を欲し得ると共に、例えば2000ニットのピーク輝度で定義されたコード化ビデオのみを許容すると規定し得る。その場合、グレーダは自身の5000ニット基準内部符号化を直接使用することができず、再エンコードすることを必要とし得、このことは相当な再マッピングを含み得る（何故なら、必ずしも2000ニットグレーディングの比色的外見が2000ニットディスプレイ上でレンダリングされる場合に最適でなければならない場合ということではないが、原理的に、如何なる再定義及び該2000ニットの見え方内でエンコードされた5000ニット外見を用いることもできるからである）。可能性のあるシナリオは、グレーダが自身の殆どの時間を2000ニットグレーディングの所望の外見を作成するために集中させ、二次的な作業は、これから5000ニットグレーディングをどの様に作成することができるかに集中する。逆も可能であり（基本的に、技術的には両シナリオに、伝達される低ダイナミックレンジのＨＤＲ画像、及び、これを受信機により高ダイナミックレンジＨＤＲ画像に再グレーディングするための関数が存在する）、下記の解説では、この第２のシナリオ、即ちグレーダが自身の殆どの時間を所望の5000ニットＨＤＲグレーディングを作成することに集中させ、次いで二次的に（高価なグレーディング時間を節約するために、自身は許容又は補正しなければならないだけで、部分的に自動的に実行することもできる）良好な2000ニット外見（及び典型的には１００ニットのＬＤＲ外見も。該外見は5000ニット外見から定義すると共に2000ニット外見からの再定義に変換することができるが、ＬＤＲ外見が2000ニットグレーディング画像から開始してグレーディングすることにより定義されるのみならず作成される例を説明する）を定義するシナリオを説明する。

【0061】

グレーダは小範囲ＨＤＲ画像（例えば、2000又は1200ニット）への大範囲ＨＤＲ画像（例えば、5000ニット）の再マッピングを再グレーディングユニット３２０により実行する。このユニット３２０は、カラーグレーディングを初期グレーディングユニット３１０と同様に実行することができるが、２つの基本的な差がある。即ち、１）限られた組の再グレーディング関数しか使用することができず（これはＨＤＲ外見のコード化システムであるので、全ての受信機により理解可能な言語を形成すべきであるからである）、２）これらは実質的に視覚的に可逆的でなければならない（もっと一般的に言うと、2000ニット画像へのカラー変換は実質的に全ての高品質大範囲ＨＤＲ情報を保持すべきであり、かくして、該情報を何らかのディスプレイ依存性マッピングの後にどの様なＨＤＲレンダリングシステム上でも最適に使用することができるようにし、画像意味的に余り関心の無い情報のみを符号化の観点から大幅に不適切な値に置換する（例えば、粗く量子化する）ことができるようにする）。実質的に可逆的とは、ａ）5000ニットＨＤＲから2000ニットＨＤＲへの適用された関数又は再マッピング手順の何らかの数学的逆数を計算することができる、及びｂ）平方根がとられた画像を量子化するため、二乗し直された画像はオリジナル画像とは少し異なって見え得るが、視覚的に過度に重大な差は有すべきでない（重大さの量はグレーダ及び／又は自動画像解析アルゴリズムが決定することができる）ことを意味する。例えば、テクスチャにおいては、幾らかの量子化アーチファクトで免れることができる。何故なら、空間パターンは脳においてピクセルの非常に正確なカラー値よりも支配的な情報であるからである。このことは、数学的に、受信された2000ニットのＨＤＲグレーディングを最終的品質（例えば、5000ニットグレーディングの画像）にカラーマッピングする関数は、輝度（又はルマ若しくは線形Ｒ、Ｇ及びＢ成分のうちの最大のもの等の何らかの等価的表現）に対して単調に増加すべきであることを意味し、さもなければ、トーンマッピング関数をアップグレードすることは幾つかの複雑なＨＤＲシーンに対しては非常に複雑となり得る。

【0062】

読者にとり一層明瞭にするために、ここに提示される新規なＨＤＲ画像／ビデオコード化技術と混同すべきでない２つの他のシナリオとの明確な区別を行う。例えば2000又は例えば1000ニット等のピーク輝度を持つ最適な意図するものの周辺にピーク輝度を持つディスプレイに対して素晴らしく見える画像を表す芸術的グレーディングがなされるとしても、そして、この得られたIm_2000ニットグレーディングの視聴者にとっての最終的な外見は、当該グレーダが如何なる他のディスプレイ又はグレーディングを考慮に入れる必要がない（即ち、単に芸術的に唯一の2000ニットグレーディングを作成し、この画像から何らかの他のグレーディングが導出され得るかに悩まされる必要がない）場合に取得するものと実質的に同一であり得るとしても、当該記載される技術は、単にIm_5000画像から新たなIm_2000画像を生じる簡単な（再）グレーディングが存在しない状況に対処する必要があるというより、むしろ更なる要件を考慮に入れる必要がある。2000ニットより大幅に明るいピーク輝度を持つディスプレイ上で（即ち、グレーダが実行していることの実際のＨＤＲの視覚的影響をチェックするために該グレーダがコンテンツ創作側に利用可能にすると共に、該グレーダが5000ニット最大値及び2000ニット最大値のエミュレーションモードの間で切り換えることができる基準ディスプレイ３６０であり得る、約5000ニットのピーク輝度を持つ対応するディスプレイにより）良好なＨＤＲ外見を得るのに最適であるオリジナルの（一層高い品質のＨＤＲレンダリングに必要とされる）Im_5000画像は、実際には記憶され又は送信されようとしているのではなく、むしろ、当該規格は2000ニット画像をコード化することを規定しているので、当該エンコーダはＨＤＲシーンの2000ニット画像のみを記憶又は送信する。このIm_2000は、当該シーン上にどの様な外見で最終的にレンダリング（即ち、カラー変換）されるとしても、全てのオブジェクトテクスチャに対して十分に正確な情報を含む必要がある。

【0063】

このIm_2000に加えて、当該エンコーダは、5000ニット外見をエンコードするIm_5000内の追加情報（この情報は、殆どの場合、オブジェクトが正確な幾何学的テクスチャというよりどの最終的平均カラーを有すべきかである）をパラメータ的に同時エンコードする何らかの関数F_2Yuを同時記憶しようとする。即ち、例えば日の当たる屋外景色又はランプ（又は他の高輝度ＨＤＲ外見効果）が、異なるディスプレイのピーク輝度に対応する異なる外見に関して輝度軸又は全範囲カラー空間を介してどの様に最適に進展し得るか、即ち良くても2000ニットのディスプレイ又は1000ニットのディスプレイさえもの余り明るくないディスプレイしか有さない場合と比較して一層明るいディスプレイを有した場合にどの様に最適にレンダリングすることができるかである。この少なくとも１組の追加の関数F_2Tuは、5000ニット外見自体のみならず、例えば2000及び5000ニットの間の他の中間の外見に（即ち、斯様なピーク輝度により最適に見える画像でサービスされるべきディスプレイのために）再グレーディングする（ディスプレイチューニングと称する）ことを可能にする。従って、送信機側においてのみ複数の外見を再グレーディングする技術だけでなく、一群の外見をエンコードするための新たな方法に関して言及しているのである。

【0064】

本技術は、5000ニットのディスプレイがレンダリングするために2000ニット画像Im_2000により直接供給されるような更に他のシナリオとは明確に区別されるべきであると共に混同されるべきではない。2000ニット画像は相当のオブジェクト間コントラストを持つ何らかのＨＤＲ画像であり、従って、この画像は例えば5000ニットのディスプレイ上に、所謂相対符号化及びレンダリング枠組みにおいて使用することにより、即ち2000ニットであるべき白を5000ニットの白としてレンダリングする（これが、視覚的に一層見事に見えるか又は例えばかすんだ景色の所与のシーンにとり明るすぎる故に余り望ましくないかによらず）ことにより直接レンダリングすることができる。これらが消費側で必要とされる唯一の画像であった場合、誤った比色（即ち、カラーコードは誤っており、これらの模倣画像を2000ニットのディスプレイ上で直接レンダリングしようと欲したかを示すであろう）によるものであるが2000ニットの外見であると見せかける、斯様な最終的に望まれる5000ニット外見を真似るためのトリックを想定することさえできる。このシナリオにおいて、受信端におけるディスプレイは、Im_2000（しかしながら、これは何らかの選択された芸術的理由で取得されたものである）のみを有し、オリジナルのIm_5000がどうであったかについてのどの情報も有さない。従って、受信機は受信端における例えば5000又は6000ニットのディスプレイのための“最適な”駆動画像を導出する際に、全ての種類の闇雲の仮定を行わなければならない。このようなことは、特に複雑なＨＤＲシーンに対し最適であるとは思われない。この技術的画像化チェーンは市場における2000ニットディスプレイを有するユーザの割合は最適に満足させるが、一層高品質の5000ニットディスプレイに多くの金銭を使ったユーザは、自身の費用に対する最良の品質及びオリジナルのグレーダが意図したもの（該グレーダの最適化したIm_5000画像）を確かに常に自動的は得ていないことになり兼ねない。従って、全体の潜在的にサービスされるべき市場、即ち特定のユーザが有するどのシステムに対しても満足のゆく、何らかの技術的手段を介して伝達することができる追加の技術を必要とする。これは、視聴者が、例えば、ＢＤ読取器を有する何らかの装置により読み取り、該ディスク上の何らかの更なるカラーマッピングメタデータ情報を得るようなＢＤディスクのＨＤＲｘ型バージョンを介して、又は代わりに例えばインターネットを介して何らかの特定の情報を購入する一方、該ユーザが当該ビデオを、例えば別荘又は滞在している高級ホテルにおけるハイエンド6000ニットＴＶ及び自身の息子が自宅で使用している５００ニットの携帯電話４５１等の２つの異なるディスプレイ上で同時に表示したいというシナリオで動作する。

【0065】

当該符号化システムは、基準ディスプレイのうちの実際に送信された画像に関連されるものより高い種々の可能性のある実際のディスプレイピーク輝度を満足させることができなければならないだけでなく、一層低いもの、例えば２００ニットも満足させることができなければならない。従って、典型的には、コンテンツ作成側には、本発明の核心ではないが、簡単に説明する他のグレーディングユニット３２５が存在する。本コード化方式では、単一の（ＨＤＲ外見のみの）符号化でも動作し得るが、好ましくは、グレーダがＬＤＲ外見についても何かを（即ち、より小さな輝度ダイナミックレンジ能力しか持たないディスプレイに対して最適となるために、ＨＤＲがどの様にダウングレードされるべきかを）記述することができるようにしたい。このために、グレーダは、当該画像伝達技術にコード化されるIm_2000外見を例えば１００ニット基準ＬＤＲにマッピングするために使用することができる少なくとも１つの関数F_2T1（又は、典型的には、例えば全体的及び／又は部分的に局部的な彩度等のピクセルの輝度及び色度の両方に作用する関数の組）を指定することができる。

【0066】

読者は、当該2000ニットＨＤＲは依然としてＨＤＲ画像であり、従って、2000及び5000ニット、並びに2000及び１００ニット（及びシーン上のＬＤＲ外見）の間で変換することは技術的且つ芸術的に非常に異なるものであり得ると理解すべきである。更に、実際に伝送される画像（又は複数の画像）の基準範囲のピーク輝度が、例えば1000若しくは2000、又は恐らくは4000であるかが関連する。前者は１００ニットＬＤＲより１０倍（だけ）明るい（即ち、約３絞り）のに対し、後者は既に印象的に４０倍明るい（これは、特に薄暗い又は暗い視聴環境において見られる画像にとり重要な要因である）。エンコードされるべきＨＤＲシーンのタイプに依存して、ＬＤＲと比較して上記３つの追加の絞りのために付加的に利用可能な絞りに対し幾つかの余分に明るい画像領域を割り当てることができる。４０倍（５絞り、即ち更なる２つの追加絞り）に対しては、極めて明るいレーザ剣又は爆発等の幾つかの素晴らしいＨＤＲ効果を作成することができる。勿論、上記剣は2000ニットでもレンダリングすることができるが、その場合、余り素晴らしく明るいものとならない。

【0067】

種々の解説例に関して、カラーマッピングは相対輝度色域において行うと仮定する。即ち、画像は典型的に１０ビットのカラー成分表現を有する場合例えば０～１０２３に量子化され、最大コード１０２３は特定のコーデックに対して何らかの基準最大輝度に対応するので、例えば入力Im_2000画像及び１００ニット基準ＬＤＲディスプレイのための出力Im_100の両方を１０２３に対応するLmax＝１.０に物理的にコード化可能／実現可能な正規化されたピーク輝度を持つ相対色域又はグラフ上で指定することができ、そこで如何なるカラーマッピングも指定することができる。

【0068】

図９は、上方グレーディング（及びF_2Tuで伝送される該グレーディングの情報）が下方グレーディング、即ち2000より低いピーク輝度へのグレーディング（例えば2000から１００ニットへ再グレーディングするために少なくとも１つの又は一群の関数F_2T1でエンコードされるが、例えば８００ニットに再グレーディングするための他の群の関数も受信機に付加的に通知することもできるか、又は一般的に下方グレーディングをどの様に行うべきかを指定する一群のカラー変換のみに基づいて再グレーディングするためのメカニズムが存在してもよい）とはどの様に大幅に相違し得るかの解説例を示す。困難な又は容易なＨＤＲシーンが存在し得るが、システムは、勿論、これらの全てを妥当な態様で処理することができなければならないことに注意されたい。古典的ビデオ符号化（画像がＤＣＴブロックに分割されねばならない等の技術的問題を主に扱い、幾つかのブロックアーチファクトは別として、撮像されるシーンが実際にどの様であろうとも常に実行され得、恐らく移動する水が最悪のシーンである）との大きな差は、このＨＤＲ外見スペクトル符号化方式では、種々の外見も現実的に見えるか又は芸術的に望ましいように見えることを要することであり、これは、シーン／画像の種類及び特定のレンダリング環境に順応される人の視覚の非線形な挙動の両方の複雑な関数である。従って、どの様な種類のオブジェクトレンダリングが１０ｘＬＤＲ範囲（即ち、1000ニットまで）及び１５ｘ範囲（従って、1000及び1500ニットの間の部分も）等におけるＨＤＲ効果となり得るかとの質問を問うことができる。これは、視覚脳は状況及び見られる画像の解釈に高度に順応することができるので、部分的に相対的問題である。また、例えばファン・スヘンデルの古い絵画において、キャンバス又は白絵の具と黒絵の具との間には物理的に確かに大きなダイナミックレンジは存在しないが、画家は、脳が例えば明るい光を推定することによる高ダイナミックレンジ効果を模するためのトリックを用いることができる。従って、単に一部が陰にある晴れた日の街路を挙げると、ある者は日向部分に対して陰がどの様に暗くあるべきか又はあるべきでないかについて厳格であり得る一方、他の者は幾つかの可能なレンダリングを許容し得る。日向部分がどの様に正確に明るくあるべきかについては、一層多くの意見の不一致、又は言い換えると最適なレンダリングの一層大きな相違が存在し得る。勿論、視聴者の居間において2000ニットで最適にレンダリングされなければならない場合、1000ニットのピーク輝度のモニタは上記日向の街路を“正しく”レンダリングすることはできないが、大凡1000ニットのレンダリングは、1000ニットのディスプレイが当該画像から形成することができる最良のものであり、このことは完全に駄目というものでもない（これは、見る者が、実際に完全に体験する（正しい輝度外見から）というよりも、自身により脳内で日当たりの体験の多くを埋め込むような何となく余りインパクトのない画像というだけである）。図９は、素晴らしい例により、意図するディスプレイのピーク輝度範囲に沿う種々の点に対するグレーディングがどの様に変化し得るか、即ち主たるグレーディング案内方式に関して変化し得るかを示す。２～３の白色（例えば、自動車の前照灯のように見え得る）、街路灯及び建物の窓を介しての光等を有する、自然の自然的というより一層図形的（グラフィック的）な画像を有すると仮定する。実生活におけるようにＨＤＲでは、ＬＤＲとは対照的に、幾つかの白色が存在し得ることに注意されたい。ＬＤＲは自身の白色及び明るい表示に対する僅かな余裕しか有さないが、実世界では、及び主関心領域拡散的白色を超えて残された十分な輝度範囲を有する如何なるコード化においても、例えば日光により外部から強く照明される白、又はＴＬ管の白い表面等が存在し得、これらは全て大幅に異なる平均輝度を有し得る。グラフィック的レンダリングにおいては（例えば、映画シン・シティー２を想像されたい）、芸術的に（不自然に）白くされたオブジェクトさえ有し得る。例えば、白い眼鏡をした人が存在するとする。ＬＤＲにおいては、これらを１００ニット又は例えば５００ニットのピーク輝度によりどの問題も無くレンダリングすることができるが、これらを例えば5000ニットのディスプレイ上でピーク輝度の白でレンダリングすると、上記人は目から灯台のビームが出ているように見え、これは元々の意図とはかけ離れ得る。従って、これら白をＨＤＲでは例えば自動車の前照灯よりも大幅に低い輝度でレンダリングし、それでいて、ＬＤＲでは１つ且つ同一の白に対しての色域余裕しか存在しないようにしたいであろう。

【0069】

ここで図９を受信側から見ると仮定する。グラフ９０２は、送信側において6000ニットのマスタグレーディングであったかもしれないが（カメラから直接のもので、恐らくは、カメラ操作者が何らかの輝度及びコントラスト値を変える何らかの調整ボタンで外見を素早く調整したものか、又はオフラインで高度に芸術的にグレーディングされたかによらず）、ここでは伝送されたグレーディング９０１から導出することができるグレーディングである。幾つかのＨＤＲ白色（又は、明るい領域）の実世界の例は、例えば、窓を介しての屋内カーペット上への日差し、屋外の一層明るい空、及び例えば屋外金属屋根上への一層明るい日差しである。

【0070】

従って、受信機は2000ニットのピーク輝度に対応する正規化された輝度軸上で定義された画像を得る。当該グラフ（ここでは、ｘ軸上の2000ニット入力がそれ自体に出力として再グレーディングされねばならない場合、同一性として変換又は対角線を示す）は４つの部分からなる。最も暗い部分は、通常のシーン、即ち室内の反射性物体又は街路等に対し約４５％（即ち、９００ニットまでのレンダリングされるべき輝度であり、これは、例えば薄暗い視聴環境においてレンダリングされた日の当たる屋外を模することができる）にまで達する。この範囲より上には、３つの明るい範囲が存在し、これらは簡略化のために仮定するものは白色範囲である（即ち、これらには物体構造により幾つかの異なる輝度が存在し得るが、カラーは存在しないと仮定する）。これら３つのうちの一番低いものは、例えば人の芸術的な極めて白い眼鏡（spectacles）である。中間のものは、外から見た心地よく照明された部屋の内部であり得る一方、最も高いものは、例えば街路等又は自動車の前照灯ビーム等であり得る。

【0071】

読者は、当該再グレーディング、即ち伝達されたIm_2000より高いピーク輝度に向かってF_2Tuにエンコードされたトーンマッピングによりなされる事項は、主に光の再分配に関するものであると理解することができる。（下部の）オブジェクトカラーは、視聴者が2000ニット、6000ニット又は10000ニットさえものディスプレイを有しているかどうかに無関係に同一にレンダリングされるべきであると仮定する。即ち、相対（線形）軸上において、曲線９０２の下部は曲線９０１の三分の一である。しかしながら、5000ニットグレーディング（９０２）における明るい領域は現実的な絶対位置に配置される。即ち、撮像されたシーンの全ての高品質レンダリングは見えなければならない。グレーダは、良好な追加輝度の印象を与えるためには、第２の明るい領域は理想的には第１のものより平均で２倍明るくなるべきである（avL_2_6000＝2*avL_1_6000）ことに気付く。しかしながら、2000ニットグレーディングにおいて、これは簡単に実現することはできない。この場合、第２の明るい領域の幾らかはクリップせざるを得ないのみならず、もっと重要なことに、2000ニット基準輝度軸上に第３の明るい領域をエンコードするためのそれ以上の余裕が全く存在しない。即ち、技術的必要性により、これらは一緒に一層近くに配置されねばならない。しかしながら、グレーダは、これを、それでもavL_2_2000とavL_1_6000との間に幾らかの妥当な差（即ち、これが依然として異なる種類の光であるとの幾らかの妥当な印象）が存在するような方法で実行することを選択し得る。更に、受信機が正しい関数を受信した場合、2000ニットの受信された画像のピーク輝度に基づいて5000ニットグレーディングに対する必要な相対輝度を再計算することができる。勿論、特にどの様に視聴者に対しものが芸術的に最適に見えるかは、高度にシーン依存性の問題であり、従って、良好なＨＤＲ処理及び符号化技術を有するためには、これらの詳細な事項の全てを十分に処理することができるシステムを必要とする。下方グレーディングの場合、このことは、当該カラー処理関数の矢印の単なる反転とはかけ離れていることに注意されたい。この例において、グレーダは、最初に曲線９０１の下部を係数２０により押し上げるのではなく、これら輝度を１００ニットグレーディング（曲線９０３）の利用可能な相対輝度範囲の殆どにわたって広げることを選択し、次いで３つの明るい領域を全てピーク輝度の白にすることを決定する。従って、前後の上方再グレーディングとは対照的に、これは、この例では確かに必ずしも逆演算ではない。

【0072】

図５における図５ａは、ステンドグラスを備えた教会のＨＤＲ範囲画像を表す必要がある、可能なＬＤＲへのマッピングの幾つかの詳細を示す。該教会の内部は、視覚的に（即ち、その見え方は）普通に明るいが、勿論、白に対してはかなり暗い。これは、当該色域において明るいステンドグラス窓のカラーに対して余裕が必要とされるからである。即ち、教会内部のピクセル（CD_HRD2000又はCD_LDR100）とステンドグラスのピクセル（CR_HDR2000又はCR_LDR100）との間のオブジェクト間コントラストCR_ioは、ＬＤＲグレーディングにおいても大きい（即ち、レンダリング時にオブジェクトも平均輝度で十分に相違するように、コーデック色域の輝度範囲の大きな割合）ことを要するからである（当該ＬＤＲグレーディングにおいて、コントラストは、勿論、せいぜい物理的に実現可能で、それでいて妥当である程度に大きく、このことは、グレーダの好ましい解決策として時にはクリッピング又は少なくともカラーの減彩度が含まれ得ることを意味する）。輝度軸に沿って色度動作及び明化の両方を示すために、ここでも赤-シアン断面を形成した該色域図には、（（最良にエンコードされた）開始画像としての）ＨＤＲのIm_2000、第２の中間表現ＭＤＲ（例えば、４００ニットのピーク輝度ディスプレイのための）及び１００ニットのピーク輝度の典型的な基準ＬＤＲの間でマッピングするためのマッピング関数の結果を示す（ここでは、どの汎用マルチセグメント・トーンマッピング関数、彩度制御関数及び局部領域選択関数等を使用することができるかについての詳細を重視する必要はない。というのは、これらは当業者が一般的に推測することができ、本発明は、むしろ、グレーディングの枠組み、このグレーディング情報が受信側に正しく到達することを可能にするための関連するコード化の枠組み、及び最終的な対応する正しいレンダリングに関するものであるからである）。一層暗いピーク輝度のディスプレイに向かうことは、しばしば、相対色域において明るくすることを典型的に伴う。従って、このことは典型的に、［当該符号化信号が、典型的に当該画像が基準ディスプレイのどのピーク輝度のためのものであるか及び当該ルマコードを発生する際にどのコード割当関数が使用されたか（そして、他のピーク輝度へ変換するための関数が存在する場合は、これらのピーク輝度の値）等の、これら符号化信号が何であるかを説明するメタデータを有することは別として］ＨＤＲ及びＬＤＲ画像の間の差をどの様に見ることができるかでもある。即ち、ＬＤＲ画像は、しばしば、シーンオブジェクトの均一な照明により一層均一に広げられたヒストグラム（時には、簡略化して単一モードの又は“ガウス分布の”とも呼ばれる）を有する一方、ＨＤＲは相対的に暗い副範囲に相当に強い極大部（ローブ）を有すると共に明るい副範囲に、例えば強く照らされた領域及び、時には、間に疎に割り当てられた輝度のギャップ等のコンテンツを有し得る。図１０には、数個の例示的なＨＤＲシーンのルマヒストグラムが示され、1001は外部への視界を備える倉庫（bunker）、1002は内部に暗い部分を有し、日の当たる外部から見られる建物、1003は教会のステンドグラス窓、1004は日没を背景にした建物及び低木、1005は建物の相対的に暗い内部及び相対的に大きな窓を介して見られる外部である。例えば、空は典型的に当該シーンの残部よりも２～３絞り明るく、ランプ（少なくともランプ自体）は、勿論、典型的に当該シーンの残部よりも大幅に明るい。暗いローブ（極大部）内に非常に多くのピクセルを持つ画像を直接レンダリングする（即ち、ＬＤＲディスプレイ上で、ＬＤＲディスプレイに適していないＨＤＲ画像をレンダリングする）と、当該ピクセルの大きな領域又は割合が、見分けるのが困難な黒みがかったものに見えるので、典型的に過度に暗く見える画像を得ることになる。即ち、各シーンに対してグレーダがどの様に正確なカラー変換を望もうとも、ＬＤＲ再グレーディングは、時には、少なくとも例えば当該輝度ヒストグラム副ローブの掛け算的コントラスト伸張を介しての暗いピクセルの明化を伴う。読者にとり、ダイナミックレンジが一般的に何を意味するかに注意することも有益である。過去の専門家は、非常に簡単な形で、例えばダイナミックレンジは最も高くレンダリングされるカラーの輝度、対、最も暗いものの輝度であると答えたであろう。これは、レンダリングのための十分に合理的な尺度であり得るが、符号化については殆ど述べていない。前述したように、画像は例えば０.０１ニット～2000ニット（基準ディスプレイのピーク輝度）としてエンコードされ得る、即ち200,000：１なるダイナミックレンジのシーンの符号化として見え得る。しかしながら、5000ニット表現までアップグレードすることができる場合、同一画像内に500,000：１なるダイナミックレンジの符号化を有するように思われる。符号化の観点からは、ダイナミックレンジ、もっと重要なことには画像の輝度の複雑さは、むしろ、どれだけ多くの（そして、どの、即ち、それらの典型的にレンダリング可能な平均輝度が何であるべきかの）異なるグレイ値の（又は、典型的には、異なって照明された）副領域が存在するか、及びどのオブジェクト内テクスチャ／幾何学的オブジェクト特性の複雑さの符号化品質によりエンコードされるかにより決定される。例えば、霧の中に部分的に隠れた人又は怪物は、心理視覚的又は芸術的に、その平均輝度がレンダリング可能な輝度軸上において何処に配置されるかのみの問題ではなく、該怪物を正確に不気味にさせるためにどの正確なオブジェクト内コントラストが必要とされるかの問題でもある。この輝度分布特定は、何故に相対的レンダリング（即ち、ディスプレイのピーク輝度とＬＤＲディスプレイの知覚可能な黒との間の色域上への圧縮）が、しばしば、ＨＤＲレンダリング（レンダリングのこのやり方は、この特定の画像及びシーンの正しいダイナミックレンジ又は輝度分布の側面を無視し、従って、非常に誤ったダイナミックレンジのレンダリングを行う）を処理するため良い態様ではないことを示している。または、技術的要素の枠組みが、これらの全ての側面を、即ち全ての必要なピクセルの明るさ（輝度）の例えば5000ニットディスプレイ上での高品質レンダリングのみならず、より低い能力（即ち、より低いピーク輝度の）ディスプレイ上でレンダリングすることが必要な場合の忠実な近似も、処理することができるであろう。このことは、当該シーンの画像のどの高品質的側面、特にどのＨＤＲ効果（例えば、ランプの明るさの外見、対、霧から現れる人のコントラスト）が、より低いディスプレイのピーク輝度である場合、特定の程度まで犠牲にされることを要するかについての複雑な取引を伴い、これは、幾つかのケースでは知的画像解析ソフトウェアにより部分的に実行することができるが、しばしば、人のカラーグレーダにより芸術的に最適化される。

【0073】

図５における図５ａの教会のＬＤＲ再グレーディングに戻ると、教会内部の暗い角のカラー（ＣＤ）を種々のディスプレイ上で可能な範囲において同一に見える（即ち、同一のディスプレイ出力輝度でレンダリングされる）ようにしたい場合、2000ニットのディスプレイが全てのカラーに対して（即ち、例えばピークの白色に対して相対的に等しく駆動される場合）１００ニットディスプレイよりも２０倍明るいなら、同一の出力レンダリングのために、ＬＤＲディスプレイ（又は、そのカラーCD_LDR100）に対する駆動輝度（又は、実際に、勿論対応するルマＲ’，Ｇ’，Ｂ’）を２０倍ブーストしなければならない。勿論、教会内部を十分に見ることができるために要する場合でさえ、これは、ＬＤＲディスプレイの色域限界が与えられた場合、可能な場合にのみ行うことができる。例えば、CD_HDR2000が０.０５の輝度を有する場合、このようなＬＤＲ変換は現実的でないであろう。何故なら、ＬＤＲに対しては１.０の輝度、即ち白になってしまうが、勿論、典型的に非常に暗い輝度まで低下することができるＨＤＲコード化においては、相対輝度は例えばピーク白色の1/10000又はそれ以下となり得るからである。それでも、勿論、CD_HDR2000をCD_LDR100にマッピングする場合、グレーダは自身の規準として正確な出力輝度の同等性を用いる必要はなく、視覚的に心地よいと思うどんなマッピングも使用することができる。これらの一層低いダイナミックレンジ外見へのマッピングは可逆的である必要はないことに注意されたい。何故なら、Im_2000からＬＤＲ画像を導出することだけが必要であり、再び再グレードアップする必要はないからである。簡単にするために、ＭＤＲのマッピングはＬＤＲへのマッピングの何らかの補間（心理視覚的等距離目盛上の中間点）とすることができるが、勿論、どのようなものとすることもでき、グレーダはIm_2000からＭＤＲにマッピングするために他の専用の関数を指定することを欲しさえもし得る。当該シーンにおけるステンドグラス内の表現されるべき赤のカラーは、高度に飽和されたものであるが、それでいて非常に明るいものであり得る。このことはIm_2000ＨＤＲ画像では、これらを赤原色Ｒの最大輝度又は駆動値（例えば、２５５又は1023）の近くでエンコードする場合に生じる。下方に（例えば、ＭＤＲ）に進むと、グレーダは当該システムの物理的限界に出会い、窓の明るさの印象を可能な限り多く得るために色彩の豊かさをバランスさせる、即ち十分なオブジェクト間コントラスト（脳が素晴らしく明るい色彩豊かな窓と解釈する）を維持することを欲し得る。これは、色域頂部におけるカラーを十分な彩度（即ち、無色輝度軸から依然として十分な距離）に、即ち該色域の集束する上部において依然として十分に低く且つ色域境界に対し可能な限り近くに（即ち、当該テクスチャにおける隣接するカラーが等しくなることによるポスター化が生じることなく）維持するCD_MDR400へのマッピングを伴う。ＬＤＲに対して、グレーダは当該マッピングを継続することを選択する（2000から４００は約２絞りであり、４００から１００もそうであるので、グレーダは当該マッピングを同一方向に等しい距離にわたって実行することを考えることができるが、一般的に、これは両ディスプレイの心理視覚的側面（即ち、一層高いピーク輝度のディスプレイに関しどのピーク輝度から特定の光効果が視覚的外見に生じ始めるか、対、グレーダが１００ニットのもの等の一層低いピーク輝度のディスプレイ上に何らかのＨＤＲ効果を過度に詰め込まねばならない）を考慮に入れて輝度及び彩度をバランスさせる如何なるマッピングとすることもできる。）。この例では、グレーダの選択は、CR_LDR100の白（の近傍）にクリップし、当該ＬＤＲ外見に微妙に透き通るステンドグラス上の絵のテクスチャの僅かのものだけを残すものであることが分かる。これらの下方マッピング関数F_2T1を技術的にどの様にエンコードするかに関しては、種々の方法が存在し得る。例えば、グレーダはディスク上の関数を（有効な）限られた範囲[0,1]内に留まるように指定する（即ち、ＭＤＲへのマッピングがIm_2000に対するメタデータとして同時エンコードされる）と共に、これからＬＤＲ外見が受信側において数学的に外挿される技術を用いることができる。又は、典型的な[0,1]色域範囲を超える拡張色域内に定義された擬似カラーＰＣへのカラーマッピングを技術的に可能にすることができる。その場合、適切なＭＤＲカラーCD_MDR400を補間により得るためにＬＤＲカラーＰＣを正確に指定することができ、実際のレンダリング可能なＬＤＲカラーCR_LDR100は受信端においてデコーダがクリッピングメカニズム（固定とするか、又は例えば複数の選択可能なクリッピング方法からの選択番号をエンコードすることにより指定することもできる）を適用することにより決定される。図５における図５ｂは、ＬＤＲグレーディングの画像仕様に関して外れた値をどの様にエンコードすることができるかの実施態様の１つを示す。或る者は、０.０と１.０との間の全色域５５５にマッピングするが、コードの幾つかはＬＤＲにおいてレンダリング不可能な（ＭＤＲカラーに調整された場合はレンダリング可能である）カラーのために確保される。ＬＤＲでレンダリング可能なカラーの実際の色域は５５６であり（即ち、恐らくは望ましいクリッピングを含み、これらカラーがＬＤＲディスプレイ上でどの様にレンダリングされるべきか）、これは最大の又は白の点ＣＷを例えば０.８５に定義することにより指定することができる。色域５５６の外部のカラーは、何らかの固定の又は伝達されるクリッピング方法により、ＬＤＲ画像をレンダリングする前に当該色域にクリップされる。一部のコンテンツ創作者は、ＬＤＲオブジェクト領域に対しては少なくないカラーが存在するので、ディスク上のＭＤＲコード化からのＬＤＲ外見の外挿が一層無難な実施態様であると思うかも知れない。それでも、結局は同様の方法となる。何故なら、実際には一層大きな色域５５５を、現画像（又は複数の画像）のために必要とされる殆どのＬＤＲ色域外カラーの定義の周囲でぴったりと囲むことによりＣＷを相対的に定義するからである。即ち、テクスチャデータを、最大の占有度を持つ、即ち最も低くエンコードされた画像にクリッピングがない画像により定義する。従って、このことは、何らかのＭＤＲ画像をディスク上に置くと共に、たまにはクリッピング成分を有する、レンダリングするべき最終ＬＤＲを生じさせるための更なるマッピングを適用することに対応する。

【0074】

要約すると、一般的に、ＨＤＲ表現の間のマッピングは典型的に相対輝度軸に沿う一層明るいオブジェクトの再配置（例えば、ディスプレイの能力を実際に画像におけるオブジェクトの意味とバランスを取り、明るさの外見に加えて輝きの外見を心理視覚的に利用しながら、これらオブジェクトを特別に明るくさせるために）が伴うのに対し、ＬＤＲ画像へのマッピングは、利用可能なレンダリング可能なカラーの小さな色域が与えられたとして、全てのオブジェクトのグレイ値範囲を一緒に、何らかの最適な態様による解決を伴い、これらは２つの技術的に異なる作業である。

【0075】

この背後にあるのは、単一のＨＤＲ画像だけでなく、実際に種々のディスプレイのピーク輝度による種々のレンダリング状況のための一連の外見もエンコードする有効性についての考え方であるが、これは些細なことではない。何故なら、各外見の画像に対して、協定されたカラーコードのワード長等の技術的制限（実際には、計算ＩＣの複雑さ、通信のために利用可能なビットの予算、及び時には例えば衛星ビデオ放送等の古い技術への組み込み可能性等）のような全ての要因が与えられた場合の最適化動作のみならず、勿論芸術的考慮も常に必要とするが、実際に、これらの全ての必要なものは一緒に最適化されるものであるからである（従って、例えば人のカラーグレーダが、芸術的には素晴らしいが利用可能な技術によってはマッピングせず、結局は期待外れに見えるようなものを作成し得ないような優れた技術的枠組みを必要とする）。

【0076】

例えば、平均的に照明されているが相当に暗い領域を備えると共に、幾つかの開口部を介して臨界的なカラー及び／又は輝度の幾つかの領域を持つ日の当たる外部の眺めも備える内部の部屋を含むダイナミックレンジ的に複雑なシーン（5000ニットの基準輝度範囲又は色域上で最適化するには既に複雑なシーンであり得る）を有すると考えよう。この場合でも、視聴者は当該部屋の内部における幾らか暗い種々の領域を視認性のみならず当該シーンの雰囲気が正しいような正しい平均輝度で正確に見るのみならず、実際の外部領域を模する種々の明るい領域も正しく見るであろう。しかしながら、ここで問題は、当該シーン上の全ての一層小さなダイナミックレンジのビューに対し、どの様にして、これら全ての様々に照明された領域がバランスされた態様で分散されるように維持するか（即ち、一層小さな最大輝度で、及び一層低いピーク輝度のディスプレイ上でレンダリングするために）である。2000ニットのレンダリングは、依然として極めて高い品質のＨＤＲ外見を有し得るが、例えば3000及び5000ニットの間であった輝度を2000ニットより幾らか低い輝度にどの様に再分布させるかを依然として決定しなければならない。例えば、グレーダは、これは最適に実施されるべきと考え、内部の全ての輝度を5000ニットグレーディングのものと等しく維持し、外部を十分に明るく且つ日の照ったものに維持し、即ち外部の平均輝度を2000ニットの最大値（又は、より良くは、外部にあるどの様なオブジェクトに対しても十分な彩度という制約の下で達成可能な最大値）の近くに維持し、例えば当該領域の反射的な最も明るい部分で幾らかを犠牲にし得る。

【0077】

1000ニットの場合、明るい領域を一層厳格に再グレーディングする必要があり得、従って内部及び外部の平均輝度の間のコントラスト比を十分に高く維持するために、ここでは、内部のカラーも暗くすることを考えることができる。例えば７００ニットの場合、グレーダは、例えばローカルな及び準全体的なコントラスト等を考慮しながらではあるが、一層小さな利用可能な輝度副範囲内で全ての斯かる様々に照明された内部領域を一緒に解決するために屋内オブジェクトの全ての輝度を大幅に変更することを要することを考え得る。勿論、ここでも、グレーダは屋外オブジェクトの輝度に目を向けることを要し得る。

【0078】

ＨＤＲ符号化のための優れた技術的枠組みは、勿論画像消費側において必要とされる種々のシナリオも与えられたとして、特に全てのオブジェクトを少なくとも輝度軸方向に沿って再着色するための種々の態様を可能にする十分な自由度をコンテンツ作成者に付与する必要がある。

【0079】

最後に、フォーマッタ３３０は単一の例えば2000ニットの参照した画像Im_2000を、ＨＤＲ画像をコード化するための選択されたビデオ伝送符号化規格による何らかの規定されたフォーマットにエンコードする。既存のＬＤＲ画像コード化及び通信技術を大いに再使用することができる方法を開発した。最終的には、ＨＤＲ画像に対してさえも、例えば正規化されたＲＧＢ値を有するのみであり、これらを、ピクセルが実際には何であるかについては構わないコード化フォーマットで記憶することができる（勿論、受信機は当該ルマ又は非線形R’G’B’値が実際にどの輝度に対応するかを説明するメタデータを必要とし、さもなければ、例えば該受信機が古いＬＤＲ画像を受信すると仮定すると、当該ピクセルの大部分を低いピーク輝度を持つディスプレイ上に過度に暗くレンダリングする）。出願人の研究において、利用可能な1024のコードが特定の輝度をルマとしてエンコードするためにどの様に使用されるかを定義するために正しいＥＯＴＦが使用されるという条件で、ＨＤＲ画像を標準のＭＰＥＧコード化構造（例えば、YCrCb 10ビット）でエンコードすることができることを示したので、エンコードされたIm_2000Cを得るために典型的にＤＣＴ符号化が関わり得る。この画像と同時伝送されて、例えば低ダイナミックレンジディスプレイ（例えば、３００ニットまで）のための最終駆動画像を得るために、少なくとも１つの低ダイナミックレンジ画像（例えば、典型的には１００ニット）を計算するためのF_2T1関数等の、どの様に導出画像（即ち、グレーディング又は外見）がIm_2000から得られるべきかを規定する（又は少なくともガイドする）全ての所要のメタデータが存在すべきである。上記画像及びメタデータは、例えばＢＤディスク上に配置されるか又はビデオ伝送コード化信号としてエンコードすることができると共に、例えばネットワーク接続を介して送信されるか、又は後の伝送のために記憶することができる。これに加えて、本発明によれば、追加の組のメタデータMET(F_2Tu)が存在し、該メタデータは本説明ではＢＤディスク上に記憶されたIm_2000ニット画像から例えばIm_5000ニットグレーディングの非常に近い近似を再構築するための関数F_2Tuとして解説する。従って、要約すると、ユニット３１０により生じるグレーディングは、芸術家が如何にして現実のシーンが高品質（一層大きなピーク輝度の）ＨＤＲ画像上にマッピングされることを欲するかを定義する基本的な芸術的グレーディングである。２番目のグレーディングユニット３２０は、この最適なＨＤＲ表現をグレーダの指示の下で一層低いピーク輝度のＨＤＲ画像にマッピングするために典型的に使用される（一層高いピーク輝度のディスプレイに対して最適な再変換を可能にするための領域の十分なコード化品質を依然として有するが、オブジェクト輝度が一層低いピーク輝度範囲にマッピングされているので心理視覚的には少ないＨＤＲ効果しか有さないトレードオフ）。幾つかのエンコーダ実施態様は、これのみを実施し、ディスプレイしかサービスする必要がない受信機アプリケーションにサービスして、画像通信に関して協定されたものより高いピーク輝度のシナリオをレンダリングすることができる。しかしながら、一層低いピーク輝度に如何にしてダウングレードするかについての情報も有することが典型的に有益である。従って、典型的には、第３のユニット３２５も存在し、自動アルゴリズムが又は典型的にはグレーダも、2000ニットの画像が如何にして典型的には１００ニットの画像にダウングレードされるべきかを指定することを可能にする。最後に、全てのデータは、協定された記憶又は通信システムが必要とするものに従ってフォーマットされる。

【0080】

ここで、5000ニット及び2000ニットのＨＤＲ符号化の間におけるマッピングに関してグレーダが何を実行することができるか、及びこのためにどの技術的側面を種々の技術的実施態様が満たさねばならないかについての更に幾つかの実施態様の側面を解説する。前述したように、自身により使用されねばならないIm_2000ニット符号化を単にグレーディングするのみならず、当該パラメータ関数符号化技術により5000ニットの最適グレーディングIm_5000もコード化する場合、実際に2000ニットへのグレーディングは、常に、グレーダが理解し注意を払うか否かに拘わらず、シーンカラー表現（即ち、全てのＨＤＲオブジェクトテクスチャの十分に正確に量子化された特性）と他方における芸術的外見との間のバランスをとる行為となる。従って、良いグレーディングは、最適化する際に、これらの両制約を考慮に入れなければならない。図６における１つの可能性のあるグレーディング方法で理論的に開始する。非常に異なる照明の２つの副領域（例えば、暗褐色のパブの内部及び窓を介しての明るい外部、又は、その逆に、夜間の暗い外部及び例えば明るく照らされたショーウインドウ内部等）からなるＨＤＲ画像を有すると仮定する。これら２つの領域を輝度境界子Ltにより少なくとも概念的に区切る。実際には、例えばLtより上のIm_2000の輝度に対しては複雑なマッピング及び下の輝度に対しては簡単な乗算的スケーリング係数を単に指定するか、又は5000ニットグレーディングに再構築されるべき入力Im_2000の全輝度範囲にわたり単一のマッピングを指定する等のように、当該マッピングを技術的に種々の同等の態様で実現及びエンコードすることができる。この例において、グレーダは自身のコンテンツ創作を、5000ニットの基準外見（Im_5000）内にパブの内部のための素敵な外見を作成することにより開始した。ここで、グレーダは上記外見をエンコード及び伝送するために、該外見をIm_2000ニットグレーディングにコピー（即ち、レンダリングされるのと同一の輝度、即ち基準輝度範囲における同一の輝度で）したい。即ち、Ltより下の領域においては、２つのグレーディングが２.５なるスケーリング係数による線形マッピングにより関係付けられる。勿論、熟練した読者はグレーダが全ての種類の他のマッピングを使用する、例えば低い副範囲の幾らかの部分を暗くすることができることを理解することができる。何故なら、この場合、幾つかの茶色の椅子は5000ニットのレンダリング／グレーディングで実行するものと比較して2000ニットのレンダリングでは一層良好に見え、このことは、例えば線形マッピング曲線６０１上に小さな隆起を付与するであろう。

【0081】

次いで、グレーダは一層高い輝度のカラーに対して何をなすべきかについて集中することができる（簡略化のために、これらカラーの色度は両ＨＤＲ符号化に対して同一に留まると仮定し、これは、本発明を輝度の挙動に基づいて解説することができることを意味するが、熟練した読者は、これが例えば彩度又は色調も変化させ得る（例えば日光を模擬するための黄色に向かう移動等）より一般的なカラーマッピングに対してどの様に動作すべきかを理解するであろう）。これが単に種々の明るいＨＤＲテクスチャの符号化である場合、即ち、2000ニットではいずれにしても完全に作成することができないか又は後処理することができるので、これら領域に対する理想的輝度の外見要件を今や無視する場合、当該画像の残部に対して部分的マッピング曲線６０２を用いることができる。即ち、この例では、正規化されたLN_2000がLtより上では同じ相対的／正規化されたLN_5000輝度に１対1でマッピングされる（この場合、これは勿論比色計又は光度計に対しては5000ニットの意図するディスプレイ上でレンダリングされた場合に一層明るく見えるであろうが、人の視覚系に対する見え方は、とりわけ、視覚的順応性及び人の脳による画像の認識的解釈に依存するであろう）。即ち、多分外部の日の当たる領域の上部は5000ニットのディスプレイ上では一層明るく見えるが、そうすることができ、そうあるべきである。そして、脳は、外部ではどの様に正確に日が当たるかを知ることも構うこともないが、少なくとも特定のピーク輝度の何れかのディスプレイが許す限りにおいて、“相当に明るい”領域を期待する。従って、幾つかのタイプのシーンに対し、これは、妥当な結果を伴い、悪いグレーディング方法ではない。もっとも、これは、依然として可逆的ではあるが不連続なマッピングを有するので、少し直感に反するものに見え得る。可逆性の基準（即ち、グレーダが一層高い品質の5000ニットグレーディングから“より低い品質の”2000ニットコード化を何らかの関数を適用することにより行う場合、受信側では、これらの関数は受信された2000ニットのものから5000ニットグレーディングを再構築するために逆に適用されねばならない）は、送信側においてIm_2000を再構築Im_5000*に、Im_5000に対する十分な視覚的近さの特性で以ってマッピングするための何らかのF_2Tu関数（又は複数の関数）を定義することができることしか必要とせず、従って、当該実施態様の説明では単に当該エンコーダはメタデータとして下方マッピング関数自体ではなく、Im_5000*を再構築するために必要とされると共に典型的には単調に増加する上記関数の逆関数F_2Tu（この場合、5000ニットグレーディングを再構築するためのF_2T5）をエンコードすると仮定することに注意されたい。

【0082】

恐らく、グレーダは、例えば限られたグレーディングツールセットには連続関数（例えば、調整可能なセグメント位置を持つ多重線形等の）が存在するので、他の関数を使用することを欲し得る。その場合、グレーダは上部の輝度（上部輝度範囲R_U）に対して部分マッピング６０３を使用することを選択し得ると共に、例えばIm_2000を輝度値がLtの直ぐ上には存在せず、例えば入力輝度範囲の最後の四分の一のみに存在するようにグレーディングし得る。とはいえグレーダは種々の要件を連続してバランスさせねばならず、従って、良好な5000ニットグレーディングが導出可能であることを欲すると共に、特に、その品質に関して責任を負うことを欲する場合、該グレーダは典型的に2000ニットのグレーディングに対して何を行っているかのみならず、再構築される5000ニットのものについてもチェックするであろう。グレーダは、例えば、これらを並べてチェックすることができるか、又は自身の単一のディスプレイ上で切り替えてチェックすることができる。該切り替えは大きな変更の領域を即座に示すが、並べるものは他の種類のチェック（例えば、何らかの付加的理由又は効果のために意図的に違ってグレーディングされた副領域）のために用いることもできる。更に、自動アルゴリズムが、例えば縞模様（banding）等の何らかの視覚的状況により厳しいものであり得る領域の事前分析を行うことができ、この場合、これら領域はグレーダが其処をもっと厳格に見るように赤で点滅させることができる。両画像はＨＤＲでなければならないが、これらは勿論幾らか異なるＨＤＲ外見であろう。曲線６０３の延び方は、特にIm_5000画像が明るい5000ニットのディスプレイ上に示されねばならない故に、例えばIm_2000画像における局部的に利用可能なコードの数Ｎと比較して過度に大きな微分値Ｄによる縞模様等を伴った幾つかの領域につながり得る。この場合、グレーダは当該曲線を、これを考慮に入れるために再調整することができる。例えば、グレーダは該曲線の傾斜を少なくとも当該範囲において僅かに低下させ、曲線６０３に関して、少なくとも視覚的に許容可能であるなら、高い傾斜部分の間の小さな傾斜の部分によりＮ字状曲線を得るようにすることができる。又は、グレーダは当該曲線を僅かにずらし、６０２ほど多くではないが、該曲線に平均で一層小さな傾斜を付与するようにすることができる（グレーダは、内側と比較した外側領域に対する心地よいオブジェクト間コントラストを決定することにより絞り高を調和させたい、例えば窓の境界の周りでのパブ内部への光の染み込みを制限したいと欲し得る）。又は、自動アルゴリズムが、これをグレーダのために実行し得る。その場合、何らかの技術的にグレーディングされた画像Im_2000Tをディスク上に記憶することができ、そして、この場合、該Im_2000Tからグレーダにより望まれたように芸術的グレーディングIm_2000を導出するF_2T2T等の更なるマッピングパラメータが典型的に存在する。

【0083】

図７は、２つの明るい及び薄暗いＨＤＲグレーディングを関数変換により関係付けるためにグレーダが何を行うことができるかの或る一般例を概略的に示す。一層低い輝度の内部領域の正確な再生の代わりに、グレーダは、例えば、それが5000ニットにおいて一層良く見えるか、又は2000ニットの一層小さな範囲における最適化であると思う故に、２つの外見のうちの一方に何らかの付加的なグレーディング効果を追加することができる。例えば、グレーダが例えば典型的な5000ニットのディスプレイは暗い部分（又は、少なくとも相対的に暗い部分であるが、多分、例えば０.０１ニットの代わりに0.005又は0.0001ニットまでもレンダリングする超ＨＤＲディスプレイにより絶対的な暗い部分も）をレンダリングすることができる、即ち、例えば暗い地下室若しくは洞窟又は夜のような森のホラー映画における画像に役立ち得る何らかの追加の暗闇の見え方を取り入れることができると思う場合、該グレーダは７０１のマッピング部分を僅かに一層暗い方に曲げることができる。同様に、グレーダは、上部の部分的なマッピング曲線７０３を曲げて、幾らかの一層のコントラストをもたらすと共に、特定の輝度の副領域を強調することができ、又はその逆に目立たないようにすることもできる。局部的なグレーディングの例も示している。即ち、通常は、画像Im_2000における全てのピクセルに対して曲線７０１が純粋に空間的位置に基づいてではなくピクセルの輝度に基づいて使用されるが、該例においては、曲線７１０が幾つかの局部的な領域／オブジェクト（例えば、内部の相対的に暗い部分により囲まれた小さな窓を介しての明るい外部に対する第２の眺め）に対して使用される。このことは、カラー処理機能の形状指定データに加えて、受信機が画像７１０におけるどのピクセルに適用されるべきかを決定することを可能にするために何らかの位置特定情報が伝達されることを意味する。このことは、例えば何らかの特定のオブジェクトには、例えばIm_2000において一層良く見えるようにさせるべく追加の非平均的ブーストが付与されるが、これは過剰にならないように軽減されることを要するからである。また、人の視覚の局部順応的性質により、暗い内部の壁の小さな開口を介して見られる空の一部が、当該画像内の他の位置における空の一層大きな残部とは、両者が比色的に正確に同一であるにも拘わらず、異なるカラーのものとして知覚され得ると理解することができ、これは局部的な処理仕様により補正することができる。又は、これはグレーダが場面の何らかの部分に関して全体の曲線をいじくり回すより局部的処理を指定する方が有利であることに気付く故に使用することもできる。これらの全ての必要とされるマッピング関数は、簡略化のためにF_2Tuにより概念的に示しているものであり、全ての該所要のパラメータ及び他のデータは、受信機により理解され得るように事前に規格化された態様でメタデータとして適切にエンコードされる。グレーダは原理的に5000ニットのIm_5000*から更に高いピーク輝度のディスプレイへどの様にマッピングするかを同時エンコードすることを望むことさえできることに注意すべきであり、該関数F_5TEは、例えば、白っぽい曇った空等の特定の大きな領域を日が当たった場合でも決して過度に明るくさせないが、小さな電灯は極めて明るくさせる等の頭打ち処理を規定することができる。これらの関数は、Im_2000から例えば20,000ニットのグレーディングへ直接計算するために再計算しディスク上に記憶することができる。勿論、グレーダは、Im_5000画像が気に掛ける最も明るいものであり、やるとしても更なるブーストは、テレビジョンメーカ若しくはＳＴＢメーカの好み、又は何らかの受信端画像変換装置にまかせることを考えることもできる。

【0084】

例えば光ディスク上での記憶のため又は何らかのテレビジョン規格のための、画像信号S_imへの所要のカラー処理関数メタデータの符号化は、例えば、ＨＤＲ画像グレーディング処理定義部において、これが斯様なタイプの情報であることを示す特定の指示子コード値及び処理状況、特に必要とされるカラーマッピング関数の形状をエンコードするパラメータにより行い得る。記述子が、一方においてＳＴＢ表の処理を、他方において2000ニットビデオの定義をエンコードすることができる。例えば、どのディスプレイのピーク輝度にグレーディングされた画像が最適に合っているかの定義は：
Video_Type_definition_descriptor()
{ Peak Luminance of codec reference range
EOTF
}
とすることができる。

【0085】

ＢＤに書かれるピーク輝度は、当該解説例では、2000ニットであり、ＥＯＴＦはブルーレイスペックに（数学的関数又はＬＵＴとして）定義されるであろう。というのは、どの様な単一又は複数変形例を規定しようとも、複数の場合はどの１つが使用されるかを示すために例えば整数を使用するからである。

【0086】

勿論、3000ニットを書き込み、指定された2000ニットの定義で何らかの3000ニットコード化を強制することもできるが（即ち、ＥＯＴＦを2000ニット符号化のために使用して）、通常は仕様に従う。

【0087】

Im_5000*を再生する処理は、例えば：
Video_processing_descriptor(){
Characterizing type #2000_to_5000
Ｋ ルママッピングのための線形セグメントの数
For(i=0;i<K;i++){(LN_2000_i,LN_5000_i)}なる部分セグメントの終点の座標であり、LN_2000_iは例えばセグメントの始点のｘ座標、LN_5000_iはｙ座標であり、LN_2000_iが最大値（典型的に１）を有する場合、最後の始点は終点である、
Ｌ ルマ依存性彩度乗数のための線形セグメントの数
For(j=0;j<L;j++){(LN_2000_j,MULT_SATJ)}なる、現在の線形セグメントで開始又は終了する軸に沿った輝度（又はルマ）の座標であり、ｙ方向においては彩度ブースト値、例えば０.３又は３.５の乗数である［注：このグラフは、例えば８ビット＝２５５の可能な値がMULTSAT=f(mult_sat_code)=例えばA*mult_sat_code+Bとして線形又は非線形に分布された例えば０.２５～３.０の標準範囲を、例えば２.０のSAT_SCAL_FACTORによりスケーリングすることによりエンコードすることができるので、彩度は2.0*3.0までエンコードすることができる］
}
と定義することができる。

【0088】

このメタデータ（一層簡単なＨＤＲコード化シナリオにおける）から、受信側は必要とする全ての情報を有する。即ち、受信側はIm_2000がどの様に指定されたか、即ち装置非依存性（それでいて、当該ＨＤＲ効果を特定のＨＤＲディスプレイ能力に対して最適にグレーディングすることにより、一群のレンダリングシナリオにとり部分的に最適化された）符号化として比色的に何を意味するかの確認を取り、これは装置固有の必要性を満たすために必要なら更に調整することができる。また、デコーダは処理関数を読み取ると共に、これらを自身のカラー処理ユニットにロードすることができる。

【0089】

図４は、例示的な消費者向け家庭用レンダリング構成（勿論、読者は、当該実施態様を、適宜変更を加えて映画館用のデジタルシネマ等のプロ用システムとして具現化することもできると理解する）の受信端におけるＨＤＲ画像（又はビデオ）デコーダ４０１（例えば、ＩＣ若しくは処理ボード、又はＴＶ、ＢＤ読取器を備えるＳＴＢ、コンピュータ又は医療画像受信ステーション等の装置におけるプロセッサ上で動作するソフトウェアであり得る）を概略的に示す。

【0090】

画像信号S_imは、例えばブルーレイディスク３４０から読み出されて、圧縮画像Im_2000Cを開始画像として生じ、画像伸張器４０３は該画像を、例えばランレングス復号、逆ＤＣＴ等を実行することにより非圧縮画像に伸張し、例えば線形輝度CIE(X,Y,Z)の符号化Im_2000を得る。これに加えて、種々のメタデータ処理関数、例えばIm_2000から１００ニット外見画像を得るための関数F_d2d及び本発明の種々の実施態様を説明するために特に重要なIm_5000*を再構築するためのF_2Tu関数が、同じディスク及び／又はメタデータの二次源から読み出される。論理プロセッサ４０５は、例えば内部デコーダを備えるセットトップボックス（ＳＴＢ）の特別な構成は何であるか、特にどのディスプレイ（又は複数のディスプレイ）が現在接続されているかを決定する（該プロセッサは、更に、例えば平均の視聴用周辺照明、視聴者がリモコンを介して当該システムに記憶した視聴の好み等のレンダリング環境の他の側面を更に分析することもできる）。現在2000ニットのディスプレイ４５０（のみ）が接続されている場合、上記論理プロセッサは処理されていない（斯様なディスプレイにとり芸術的に既に最適であるから）Im_2000ビデオを該ディスプレイに直接中継することができる。これは、典型的に、当該画像を何らかの特定のビデオ伝送（メモリが接続されビデオが供給される場合は、ビデオストレージ）規格に準拠するように更に（如何なる比色的処理自体は行う必要はないが）フォーマットすることができる伝送フォーマッタ４１５を介して行う。例えば、ディスプレイ４５０は、例えばＨＤＭＩ（登録商標）の十分にＨＤＲ可能なバージョンに準拠したケーブル接続出力端（例えば、ＨＤＭＩ（登録商標）コネクタ）４３２を介して接続することができる。メタデータが、例えば当該ディスプレイが自身の最終の比色的微調整処理を実行することを可能にするための有用な情報として、伝送される場合、このメタデータは、ＨＤＭＩ（登録商標）仕様の協定されたフォーマットで伝送することができる。同時に、当該ＳＴＢは、例えば携帯電話又はタブレットの携帯ディスプレイ４５１に情報を供給することもできる。これは、x*100ニットに最適化された画像を、無線出力端４３３を介した無線接続を経て（例えば、802.11Wi-Fiプロトコル又は同様のものを介してストリーミングビデオにより）行うことができる。勿論、この大幅に低いダイナミックレンジ能力（例えば、ピーク輝度５００ニット）の携帯ディスプレイには、異なるカラー／輝度外見で処理された信号、即ち異なってグレーディングされた画像が供給されねばならない。このために、カラー処理ユニット４１０は正しい処理機能F_d2dから情報を取り出し、例えば典型的には該関数をIm_2000に適用することにより適切なグレーディングを得る（及び、論理プロセッサ４０５は所要のデータ、即ちIm_2000及びF_d2dを伝送する）。従って、カラー処理ユニット４１０は各シナリオに対して（即ち、受信された符号化画像のピーク輝度がどの様であっても、及び再グレーディングされた画像が示されるディスプレイのピーク輝度がどの様なものであっても）適切な比色的変換を、受信された関数を直接適用することにより、又は適切なカラーマッピング関数を受信された画像にエンコードされた再グレーディング情報に基づいて決定することにより計算して、正しくグレーディングされた出力画像を得ると共に、該正しくグレーディングされた例えば１００ニットの画像を伝送フォーマッタ４１５に（直接に又は論理プロセッサを介して）伝送するか、又は3200ニット画像等を伝送するように構成される。伝送フォーマッタ４１５は、従って、所要の情報が接続されたディスプレイに伝達可能となるために必要とされる如何なる再フォーマッティングも実行する。即ち、該フォーマッタは、少なくとも何らかの事前に協定された画像符号化プロトコルに従う画像を送る（例えば、８５０ニット画像をＬＤＲ画像符号化コンテナに記憶する）と共に、メタデータ内の全ての又は幾つかのカラーマッピング関数を伝達することもできる。

【0091】

論理プロセッサ４０５は、例えば1000ニットで参照された復号ビデオの画像を1500ニットのディスプレイのための画像に変換するために、カラー処理が必要とされるか又はどの様なカラー処理が必要とされるかを決定することができる。

【0092】

このために、作成者は当該カラーマッピング関数F_d2dがどの様なレンダリング状況のためのものであるかをエンコードすることができ、これは：
Mapping_function_meaning {
Starting_max_luminance 2000 nit
Optimal_max_luminance 100 nit [即ち、当該マッピングは、“平均で”、１００ニットのディスプレイのために適切にグレーディングされた駆動画像を作成するためのものである]
Upper_limit_max_luminance 500 nit
Lower limit max luminance 40 nit
}
として実行することができる。

【0093】

最後の２つのパラメータは全ての実施態様において必要とされないが（これらは、伝送される画像のピーク輝度が事前に定められるとして、ディスプレイの少なくともどの意図するピーク輝度まで当該関数が再グレーディングするかのみを典型的にエンコードし、典型的には、ここでStarting_max_luminanceと呼ぶ符号化ピーク輝度を書き込むことも有効であり得る）、受信機が接続されたディスプレイに対して当該画像を再グレーディングする必要があるかを即座に決定することができるように、外見の適切さに関する限界を伝達することも有益であり得る。

【0094】

即ち、コンテンツ作成者が最適出力最大輝度のみならず、限界も記入する場合、該作成者は自身によれば何が、この例ではIm_2000から始まるカラーマッピングが使用可能なＬＤＲディスプレイであるかを定義することになる。もっと正確には、該作成者は、当該画像を１００ニット周辺から例えば５００ニットまでのディスプレイ上で使用する場合［即ち、たとえ該ディスプレイ自体が自身の改善処理を行わず、このＬＤＲグレーディングIm_100を直接レンダリングするとしても］、該画像は依然として妥当に見え、例えば過度に明るく見えないことを保証する。該作成者は、例えば当該画像は過度に暗くはなく、５０ニットのディスプレイ上でも十分な視覚的品質でレンダリングすることができるが、４０ニットより下では、少なくともグレーダの判断によれば、平均的視聴者にとり暗い領域は気楽に見るには暗くなり過ぎることを理解している可能性がある。このことは、ディスプレイ又は論理プロセッサが、例えば７５０ニットのディスプレイのためのIm_750の予測のために種々の可能性のある関数のうちのどれを使用すべきかを推定することを容易にし得る。これは、F_2000T1000関数ではなくて、例えばF_2000T400関数であり得るか、該ディスプレイが両予測を使用し、適切に補間することができる。これらの限界は、ＨＤＲシーン上のどのダイナミックレンジ外見に対して当該グレーダの芸術的レンダリングの選択が有効であるか、対、どの場合において範囲に沿う種々の平均的オブジェクトの輝度の他の最適化が一層良くなるかを指定する。

【0095】

第３の例は、ＳＴＢの所有者又はユーザが、例えば6000ニットのピーク輝度を持つハイエンドＨＤＲディスプレイを利用可能にした場合である。これは5000ニットに十分に近く、該ディスプレイはIm_5000*でグレーディングされた画像を供給されることが可能で、これら画像を、直接、僅かに準最適にレンダリングすることができるか、又は代わりに自身の5000から6000へのカラー処理を実行することができる。この例において、当該信号は出力端４３１を介して進み、インターネット４２０（又は、これはローカルネットワーク等であり得る）へ供給する。当業者であれば、種々の第三者又は追加の技術的要素がインターネットを介して関わり得、例えばディスプレイ４５２が、Im_2000信号（既にディスプレイに最適化された画像の代わりに）を供給されたなら2000から5000への変換を実行する場合、ユーザはインターネット上の第三者を介して該ディスプレイに対する所要のF_2Tu関数を得ることができることを理解するであろう。

【0096】

当該符号化枠組みには余りにも多数の変数が存在するので（何故なら、種々のＬＤＲ又はＨＤＲビデオキャプチャをコーデック色域に関して異なる基準輝度範囲を持つ種々のコーデック定義で処理することができると共に、種々のディスプレイに対して最適な画像を供給することができることを欲するからである）、図８は本発明の幾つかの側面を再度図式的に要約する。

【0097】

従って、グレーダが作成側のグレーディング装置内に内部的に有するもの、例えば何らかの線形輝度符号化においては、例えばビデオ伝送のために未だ最適化されていない一群のOpenEXR画像等は、左側の軸、即ちL_orig上にある。前述したように、このマスタグレーディング画像におけるピクセル輝度は、それ自体、実際のシーンにおける輝度ではなく、この画像は、最終結果を、これらが例えば２つの違なる露出のARRIカメラの装置によりどの様にキャプチャされたか、からコード化していると共に、次いで余り遠くない将来の大多数のＨＤＲディスプレイにサービスするように適切にグレーディングされたものである（勿論、該グレーディングは、幾つかの例では、カメラマンが自身のカメラ上で構成するもののように簡単であり得る）。出願人は、グレーダが5000ニットの最大輝度の基準輝度範囲を選択する解説例を提供した。例えば、これは手に入れることができた最良の基準ディスプレイであり、いずれにせよ一層明るい輝度は見ることができないからである。従って、十分な資金を持つ消費者が同じディスプレイを購入する場合、該消費者は該オリジナルのグレーディング（“ディレクターズ版”）を見ることができるであろう。最終的にレンダリングされるもの（中間のコード化選択については、未だ何も言っていない）はL_DISP軸上に示され、これはディスプレイが当該輝度を、特にピーク白（例えば、R’=G’=B’=1023）のレンダリングにより簡略化された出力輝度としてどの様にレンダリングするかを示している。

【0098】

しかしながら、このチェーンは、この場合、大幅に低いコーデックの最大輝度値（当該コード化における色域の可能性のある標準化された輝度最大値のL_COD軸上に見られるが、これは前述したように両側の画像／カメラ及びディスプレイの色域／範囲と混同されるべきでない）を介して進行する。即ち、当該コーデックは例えば2500ニットのピーク輝度(L_MAX_C)を持つように定義されており、全てのコード化を、このことを考慮に入れて正しいパイプライン通信を得るように実行しなければならない。前述したように、このIm_2500なる組のビデオ画像を例えばＤＶＢ又はＡＴＳＣ通信を介して送信する場合、例えばF_2T10等の種々のカラーマッピング関数組を同時に供給することができ、これらは、受信側のカラー処理ユニットが上記Im_2500から始まる例えば10,000ニットの最適にグレーディングされた画像を導出するために適用することができる。これらの関数は間接的に指定することもでき、例えばF_D1T05は５０ニット周辺にピーク輝度を持つディスプレイのために５０ニットのビデオにマッピングするが、カラーマッピングされた１００ニットのものから開始して、Im_2500から直接というよりは受信側で計算可能である。

【0099】

当該ビデオ信号は、幾つかの方法で、例えばブルーレイディスク３４０又は固体メモリ製品等のメモリ製品上で伝達することができ、９００ニット及び3500ニットの間の及び好ましくは2000ニット又は1000ニットの最大輝度(L_MAX_C)を持つ符号化高ダイナミックレンジビデオIm_2000、並びに該符号化高ダイナミックレンジビデオIm_2000にカラーマッピングを適用することにより上記最大輝度(L_MAX_C)より高い、好ましくは少なくとも１.２５倍高い最大輝度を備えたピクセルを持つ第２ビデオを導出するための少なくとも輝度マッピング関数を有するカラーマッピング仕様F_2Tuを有するビデオ信号S_imを有する。上記メモリ製品は、オプションとして、少なくとも１つの他のカラーマッピング仕様F_2d2を有すると共に、オプションとして、どの範囲のディスプレイに対して当該符号化高ダイナミックレンジビデオIm_2000又は該ビデオからカラー処理により計算される何らかのビデオが視覚的に最適であるかを示すために使用することが可能なディスプレイピーク輝度の少なくとも１つの限界(LH_100,LL_100)を有する。視覚的に最適とは、当該画像が、更なるカラー処理（多分、ＲＧＢに基づくマトリクス処理の変更等の些細な処理は除く）なしに当該範囲内にピーク輝度を持つディスプレイ上で直接レンダリングされた場合に最も適して見える（コンテンツ作成者／グレーダによれば）一方、例えば一層暗いディスプレイ上では当該画像の幾つかが楽に見るには暗過ぎるか又は見苦しいと判断される領域を含み得ることを意味する。特に、グレーダは比色的に正確なＨＤＲ効果を形成したものとすることができ、従って、これらは例えば1000及び2000ニットの間のピーク輝度のディスプレイ上で最良に見られると共に、例えば５００又は4000ニットでは他の対応するカラー処理が実行されねばならず、当該領域に幾らか異なる外見を付与し、これが当該ＨＤＲを斯様な異なるダイナミックレンジ能力のディスプレイ上で一層好適にレンダリングする。

【0100】

本明細書に開示されるアルゴリズム的構成要素は、（完全に又は部分的に）実際にハードウェア（例えば、特定用途向けＩＣの部品）として、又は特別なデジタル信号プロセッサ若しくは汎用プロセッサ上で動作するソフトウェアとして実現することができる。

【0101】

当業者にとっては、どの構成要素がオプション的な改善であり得るか及び他の構成要素との組み合わせで実現可能であるか、並びに方法の（オプション的）ステップが装置の各手段に及びその逆にどの様に対応するかは本提示から理解可能であろう。この出願における“装置”なる用語は、最も広い意味で、即ち特定の目的を実現することを可能にする一群の手段として用いられ、従って、例えばＩＣ（の小部分）、専用の機器（ディスプレイを備える機器等）又はネットワーク化されたシステムの一部等であり得る。“配置（装置）”も最も広い意味で使用されることを意図し、従って該用語は、なかでも、単一の装置、装置の一部、協動する装置（の各部）の集合等を含み得る。

【0102】

明示的意味としての本実施態様のコンピュータプログラム製品版は、汎用又は専用プロセッサを可能にするコマンドの集合の、これらコマンドをプロセッサに入力するための及び発明の特徴的機能の何れかを実行するための一連のローディングステップ（中間言語及び最終プロセッサ言語への翻訳等の中間変換ステップを含み得る）の後の如何なる物理的実現も含むと理解されるべきである。特に、コンピュータプログラム製品は、例えばディスク若しくはテープ等の担体上のデータ、メモリ内に存在するデータ、有線若しくは無線のネットワーク接続を介して伝送するデータ、又は紙上のプログラムコードとして実現することができる。プログラムコードとは別に、当該プログラムに必要とされる特徴的データも、コンピュータプログラム製品として具現化することができる。コンピュータにより、データ計算を実行することができる如何なる装置も意味する、即ちコンピュータは例えば携帯電話でもあり得ることは明らかであろう。また、装置の請求項は、前記実施態様のコンピュータで実施化されるものもカバーすることができる。

【0103】

本方法の動作に必要とされるステップの幾つかは、データ入力及び出力ステップのようにコンピュータプログラム製品に記述される代わりに、当該プロセッサの機能に既に存在し得る。

【0104】

上述した実施態様は本発明を限定するというよりは解説するものであることに注意すべきである。当業者が請求項の他の領域への提示された例のマッピングを容易に実現することができる場合、簡潔にするために、これらオプションの全てには詳細に言及していない。請求項において組み合わされた、本発明の構成要素の組み合わせとは別に、構成要素の他の組み合わせも可能である。構成要素の如何なる組み合わせも、単一の専用の要素において実現することができる。

【0105】

請求項における括弧内の如何なる符号も、該請求項を限定することを意図するものではない。“有する”なる用語は、請求項に記載されていない要素又は態様の存在を排除するものではない。単数形の要素は、複数の斯様な要素の存在を排除するものではない。

【符号の説明】

【0106】

４０１ ビデオデコーダ
４０３ ビデオ伸張器
４０５ 論理プロセッサ
４１０ カラー処理ユニット
４１５ 伝送フォーマッタ
４２０ インターネット
４５０ ディスプレイ
４５１ 携帯電話
４５２ ディスプレイ
４７７ メタデータ読出ユニット

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】