【課題を解決するための手段】
【0007】
我々は、特に、現状、多くのレガシーなLDRシステムがこの分野においてなお存在しており、ある程度の互換性を必要とするという視点に端を発する、HDRイメージの改善された符号化を必要とする。一方、これは、我々が、(第1レベルの互換性を持つ)(I)DCTなどの機能を実装する既存のコーダ(デコーダ)ICを維持したいということを意味する。また、LDR(即ち、なお十分視聴可能な暗い領域などを有する、かかるディスプレイダイナミックレンジ能力の下での正確なLDRルック)のみをレンダリング可能であるため、LDRイメージを必要とするディスプレイとの第2レベルの互換性が必要である。これは、現在展開されているレガシーなTVに加え、将来において、消費者がHDR映画のレンダリングを所望する、ラップトップ又はパッド型コンピュータ又は携帯電話などの小さい携帯用ディスプレイの低輝度能力から、将来的には、例えば、10000ニットのピーク輝度を持つであろう最新のHDRディスプレイまで、さらに、それらの範囲の間にある全てのディスプレイにまでが対象となるためである。ディスプレイは、いまだレガシー且つ単純であるが、例えば、HDMI(登録商標)又は他の接続などを介して、我々が発明及び説明するオプションの任意の組み合わせを提供するセットトップボックス又はコンピュータが供給するHDRコンテンツにおいて、高い複雑性を有する新たなデコーディング及び色マッピングICによって機能し得る。我々は、このことを、理想的なシナリオにおいて、コンテンツ供給元からの同一の映画又は画像に関して、(少なくとも)2つのグレーディングを必要とするアプローチに変換した。これを、我々は、単純に、(約100ニットのピーク輝度を有するディスプレイなどのLDRディスプレイシナリオで使用される)LDRイメージ及び(より明るいディスプレイのための)HDRイメージと呼ぶ。しかし、たとえ(例えば、ブルーレイディスク上で、HDRディスプレイの特定の想定レンジのみで機能する、又は、独立した態様でレンジ外のディスプレイのためのマッピングを導出する)単一のHDRイメージのみが符号化される場合であっても、以下の実施形態も有用である。我々は、任意の想定される戦略において適合できるように上記教示を提案する。
【0008】
このため、幾つかの実例的なシナリオに関し、我々は、マスターHDRグレーデッドイメージの入力(例えば、作成者の嗜好がどんな色処理ソフトウェアであろうと、それは、自由自在に、グレーディングされている、及び、OpenEXRなどの開始色エンコーディングにおいて符号化されている)として、新規のHDRエンコーディングのための開始点を持つ。様々な現在のイメージ/映像エンコーディング技術に広く適合する、新しいBD(登録商標)ディスク再生器、又は、インターネットストリーム映像を受信するテレビIC、又は、どんなイメージソースにも接続された任意の受信器のため、現在の映像又はイメージ技術のために(即ち、かかる符号化技術を使用する通常の方法からわずかにのみ修正するだけで、即ち、我々の方法は、12ビットのハードウェアで動作すべきであるが、コンポーネント毎に10ビットのみが利用可能である場合、又は、8ビットのシステム上である程度の低品質を許容する場合も、例えば、全てのバスを12ビットに変更する必要なく)、実際に使用可能である態様でこれを符号化する必要がある。
【0009】
我々は、HDRイメージ及び幾つかの「LDR」イメージ(それが、LDRレンダリングのために直接的に使用されるグレーディングであろうと、更なる色処理の後、HDR技術上のHDRの方法でレンダリングされるのみのイメージを単に符号化するための、見られることがないただの「準イメージ」であろうと)が、ピクセルカラーの輝度を符号化する色成分上の関数変換(変更可能なこれらの関数がネットワーク通信経路を介して送信され、接続されたメモリ装置などに格納される場合、単一の関数、又は、有用且つ事前に合意された関数の典型的に限定されたセットの1つであり、映画の最初及び可能であれば映画を受信するテレビなどのための再生時間の数分などにおいて、前記事前合意は、コンテンツ作成側がコンテンツ受信側と機能的にリンク付けされる場合に、即ち、多くの映画を符号化する事に関し、準備及び合意していない場合、少なくとも起こるべきである)により、HDRイメージにリンク付けされ得るということの実現に至った。
【0010】
本発明は、例えば、少なくとも以下の方法において実現されることができる。
【0011】
ハイダイナミックレンジイメージを符号化するための方法であって、前記方法は、
入力ハイダイナミックレンジイメージのピクセルカラーを入力するステップであって、前記ピクセルカラーは、輝度及び色度の情報を持つ前記ステップと、
ピクセルカラーの前記輝度のルマコード(v)を抽出するために、マッピング関数の逆関数を適用するステップであって、前記マッピング関数は、
【数1】
として定義される第1の部分関数と、
【数2】
として定義される第2の部分関数と、を有するものとして予め定められ、ここで、ロー(ρ)は、同調定数であり、vは、符号化される輝度(L)に対応する前記ルマコードであり、L
mは、所定の基準ディスプレイのピーク輝度であり、ガンマ(γ)は、好ましくは2.4に等しい定数である、前記ステップと、
前記ルマコード(v)を有するカラー符号化を持つピクセルのマトリクスを出力するステップと、を有する、方法。
【0012】
この関数は、区間[0,1]においてシンボルvが与えられる[0−1023]符号などのNビットルマY´の正規化バージョンを持つ色を有する少なくともHDRマスタイメージを符号化するために使用されることができ、イメージ(人々が影にいるエジプトの青空市場や、屋根の穴を通じた強い日光の輝きによって照らされる別の人など多数であり得るが、映像は、天気図又はディスコにおけるレーザ又は人工的にシミュレートされたレーザなどのグラフィックを含んでいてもよい)における様々なオブジェクト全ての関心のある輝度レンジが十分な精度で符号化されることを保障する。このため、この関数は、均一量子化の前にルマへ輝度を再割り当てするように、素早く予め決定されていてもよいし、又は、オンザフライで決定されてもよい。この輝度マッピング関数を設計する場合(又は、より正確には、基準ディスプレイ上でレンダリング可能な輝度に対して[0,1]におけるルマコードをマッピングする対応する電気光学的等価関数EOTF(Electro-optical transfer function)を開始点として)、我々は、いくつかの技術的挙動基準を考慮した。第1に、多数の輝度を符号化可能とするために、(部分的な)対数的な挙動が良い特徴であるが、これは、確実に、幾つかの線形範囲の輝度の単純な対数表現ではない。(確実に、イメージ処理の理由を考慮して所望のイメージ処理ルックのみを得るためだけではなく、また、最適な符号化のために適応対数関数を切り取るだけでもない)。それどころか、この関数は、長い実験から生まれた幾つかの考慮後に設計された。これらを考慮し、それは、実際に起こるHDRシーンにおける全ての必要な表現を十分現実的に示すために定義されたユニバーサル線形基準輝度レンジ(例えば、0.0001ニット〜5000ニット)を定義することが可能となった後、全ての基準(少なくとも良好なHDR量子化精度)に関し最適な挙動をする関数であることが分かった。形式的には、我々の基準EOTFは、指数部を持つが、逆に、「対数的」挙動として理解及び説明することもできることに留意すべきである。。そのような基準レンジを持つことは、明るい輝度(又はルマ)のための幾つかの「対数的」挙動、及び、より暗い輝度のための幾つかのガンマ挙動を持つために最も有用である。実際、1+xとしての数学的な近似exp(x)では、暗い領域において主にガンマ挙動を有し、暗い領域において必要とされる精度をパラメータρで調整可能である(ディスプレイを操作する最大の符号は、最大の表示可能な輝度に対応するため、ガンマは、最大で1:1のマッピングの場合に更なる形状コントローラである)ため、これは、我々が、容易に制御可能な関数を有することを意味する。HDRイメージの異なるクラスを持つ場合、HDRのみのイメージエンコーディングのための単一のマスタEOTFを持つことだけでなく、ガンマも極めて有用である。事実、全てのシナリオのためにリーズナブルな単一の最適な関数を適用することを決定しない場合、EOTF(及び、対応する逆OETF)を調整することができる。例えば、当業者である読者は、(まずく照らされた様々な反射率を有する全てのそれらのオブジェクトが、全て暗い領域に溶け込んでしまうため)暗いベースのイメージは、特に暗い周囲で、より暗いグレー値を見るように視聴者の目を適合させる一方、他方で、おそらくより関連性のある暗いグレー値を持ち、明るさは、特に、それらがランプそのものである場合、極限精度を必要としないであろうことを想像することができる。逆に、極めて明るい輝度(例えば、1000ニット〜3000ニット)を有する日光のシーンを見ている場合、極限精度は、暗さに関して必要とされない。これは、視覚系が、一般的にほとんどを無視するためである。これは、全て、明るさに対する暗さにおける挙動、及び、丁度可知差異の量、対応するルマコードレンジの特定のサブ領域における各ルマステップ(符号化解像度又は精度とも称される)を制御する我々のガンマ及びロー形状のパラメータで容易に調整されることができる。固定された事前合意済みのパラメータ関数は、新たに発明された符号が実施に意味するものを復号化するために事前合意された関数を使用するため、受信側に伝達されるパラメータを持つ必要がない。しかしながら、より一般的な適応能力のケースでは、例えば、人間のグレーダ又は自動イメージ分析プログラムによって、受信端で選択された要求されるパラメータ(ピーク輝度Lm、ロー、及び、ガンマのうちの少なくとも1つ)は、BDディスクなどのメモリ上での符号化、イメージ信号におけるメタデータとしての伝送、他の信号通信経路を介した再生時間における検索などの任意の複数の可能なメカニズムにより、受信側に伝達される。
【0013】
しかしながら、この技術について興味深いことが起こる。この関数は、HDRの符号化を作る際、より低いダイナミックレンジイメージを作る(より小さいビット数でより良く符号化可能であると言うこともできるが、より正確な技術的定式化が、少なくとも幾つかのより重要なシーンのサブ部分、又は、イメージヒストグラムのサブレンジが、オリジナルの入力マスタHDRイメージに比して中間のグレーにより近い輝度で符号化されることであろう)。ただ、一方で、好ましくは、少なくとも高い近似精度で、符号化されたLDRイメージが、なお、オリジナルマスタHDRルックを回復するための全ての情報を持つため、それは、HDRイメージの全ての重要なデータを含む。このため、EOTFパラメータがうまく選択される場合、最終的な符号化イメージは、尤もらしい良好な品質のLDRルックを生み出すLDRディスプレイ上でのレンダリングのための色処理の更なる最適化なしに、又は、少なくとも幾つかの更なる二次オーダの最適化変換(例えば、LDRディスプレイの異なるセットへのマッピングなど)後に、直接使用され得る。
【0014】
単一のマスタEOTF関数で符号化する場合(我々は、利用可能な複数の関数から1つを選択するより、単一の関数を使用する場合)、即ち、少なくともHDRルックのイメージテクスチャの十分な符号化を考慮に入れるだけの最もシーンに関連する基準ディスプレイにより定義されるが、我々は、一般的に、レンダリング側の特性を考慮することなく、関数を定義することができる。しかし、好ましくは、我々は、正確なルマサブレンジにおけるルマ軸に沿ってキャプチャされた様々なシーンオブジェクトを既に配置しているLDRルックをも符号化したい。結果、LDRルックは、直接表示される場合、コンテンツ作成者によって好まれるように見える。しかし、我々は、マスタ関数としての更なる最適化されたルマ割り当て関数を生成する特定の視聴アプリケーションに関して既に符号化可能である。例えば、暗い又はぼんやりとした環境における視聴に関して最高品質を与えるルマコードが、15ルクスなどの基準輝度、又は、10ニットなどの周囲中間グレー(18%反射)の基準環境輝度で特徴付けられる。これは、幾つかの実施形態では、1.25である、拡張ガンマ関数を組み込むことによって達成され得る。最終的に、これは、我々が、全ての所望の部分的ガンマを最適な最終ガンマであるとモデル化する場合に、EOTFの主な実施形態においてガンマを変更することに対応する。全ての変形例は、特定の利用可能なビット数で、最高のイメージオブジェクトテクスチャ品質を実現する、又は、他の方法において、我々が、例えば、12ビットのみなどの比較的少ないビット数で良好な品質を得られることを保証する。一方、我々が、我々が好む選択で調整されるUCS 1976 CIE (u,v)などの色度方向においてより大きな色平面を使用する場合、広い色域能力を提示する。
【0015】
また、我々は、この逆EOTFがどのようにして輝度からルマコードにマッピングする(いわゆる光電気伝達関数OETFがカメラ又は色処理ソフトウェアなどからの輝度の光測定を、結果として得られる一般的にディジタルである電気的コードにマッピングする、これは、単位区間[0,1]×2
N、(ここで、Nはビット量)として見られる)かについても発明した。また、対応するEOTFは、対応する最適化された(理論的な)HDR基準ディスプレイで((理論的な符号を直接レンダリングすることができる理論上のディスプレイと同一の特性を持つ実際のディスプレイで)最も良く機能することができる。映像がレンダリングされる必要がある最終的なディスプレイに関わらず、ルマコードを有する映像は、一意の明確な態様で定義される必要がある(原理上、コード作成側は、符号を割り当てるために任意の原理を使用することができるが、我々は、更なる明確化における単純化のために、EOTFの逆関数を有するカメラから直接得られる輝度の線形キャプチャ範囲を符号化することを想定している)。原理的には、我々が発明した任意の所望のLmピーク輝度、又は、ピーク白色とも称される、又は、より正確には、基準ディスプレイのピーク輝度(完全性に関して、ディスプレイのピーク輝度がディスプレイが作ることのできる、3つのRGBチャネルを最大(例えば、1023)で駆動する場合に発生する白色である最も明るい色であり、その周りにディスプレイ色域のための開始極を形成すると当業者は言う)を有する対数ガンマ関数を用いることができる。しかしながら、多くの分析の後、我々は、たった1つの値が使用されるべきである(映像イメージ(ピクセルカラーエンコーディング)とともに、符号化のために使用される特定の基準ピーク白色値を任意の受信器に送信する必要はなく、例えば、混乱は発生し得ない)場合、5000ニットが極めて良好な実際の値であることを発見した。かかるシナリオでは、例えば、0.0001ニット〜5000ニットの範囲で究極のディスプレイのために透過的な表現輝度を忠実にレンダリングするために、5000ニット以上の生の入力輝度をグレーディングできる。この場合、かかるデータが、例えば、20000ニットの実際のディスプレイ上で表示されることが望まれる場合、アップグレード関数が、基準ディスプレイより明るい実際のディスプレイについての全て情報が与えられるこのルック最適化のためのメタデータとして追加されることができる。例えば、我々の基準輝度ベースのマスタ色空間の外側にある25000ニットのシーンの色を前記マスタ色空間内の色に芸術的に再決定するための上記の第1の戦略を、既に特定のRGB空間(即ち、同一の原色を有するが異なるピーク白色を持つ2つの色域が、一旦[0,1]に再正規化されるように配列するよう、なお作られ、それらのうちの1つが、一般的に、我々のマスタ輝度軸によって定義される我々のマスタRGB空間、及び、他の任意の現行の対数ガンマ関数を具備する任意の符号化されたR´G´B´空間である)にある色をどのように再決定するかについての本開示と混同すべきではない。また、より低いダイナミックレンジディスプレイ(例えば、1200ニット又は100ニット)、又は、50ニットしかない暗い霧のシーンのためにグレーディングされたイメージは、このマスタ輝度レンジ[0−5000]において符号化されることができる。混同されるべきでないことは、我々のユニバーサルルマ符号化(即ち、ルマコードの割り当てが、固定又は可変のコード割り当てEOTFにより、起こるべきである)に変換されることである。我々は、色アスペクトからダイナミックレンジアスペクトを分離している、ルマ割り当て関数が使用されることに関して、両方向において、特にルマ軸に沿ってより多くの多目的性を可能とする、ルマ(u,v)色空間を教示し、例えば、この符号化色空間の範囲内にある他のピーク輝度のディスプレイのためにマッピングする場合、再割り当て関数についても教示する。
【0016】
ガンマ2.4及びロー25の最適な値が、幾らかの考慮及び実験の後、全てのシナリオ(例えば、同時に幾つかの明るい領域、中間の明るい領域、及び、暗い領域を有するイメージ)に関して単一のルマ割り当て関数を使用したい場合、特に、HDRのみを符号化したい場合(即ち、我々は、HDRピクセルイメージエンコーディングから所望のLDRルック抽出するための他のマッピング関数をメタデータとして符号化することができるが、我々は、必ずしも、全ての実施形態において、この最適な単一の対数ガンマ関数の適用から生じるイメージを直接表示することにより、良好なLDRルックを得る必要はない)に発見された。
【0017】
幾つかの色表現が、我々のルマ定義アプローチで使用され得るが、特に、(u,v)空間が良好に機能することを発見した。また、我々は、例えば、(u´,v´)=(u,v)−(u_D65,v_D65)などと、選択された白色に対する基準として定義された(u´,v´)を定義することができる。
【0018】
我々が、入力色が輝度及び色度の情報を有することについて述べる場合、かかる色がかかる色表現において表現された色であることを示唆しないが、この情報は、数学的に導出され、例えば、入力イメージが、XYZ又は幾つかの一意に定義されたRGBなどにおいて表現される場合に満たされる。我々は、来るべきHDR符号化技術に関して有用なルマを定義するための根本的に新たな方法に至ったが、当業者である読者は、我々の教示から、どのようにして、例えば、Y=a1*R+a2*G+a3*B(a1,a2,a3は、所与の特定のRGB原色及び白色点の選択であり得る定数)として定義される所望の白色点バランスを与えるRGB座標についての第1の重み付けによって、RGB座標からルマを定義することができるかを理解するであろう。それらの輝度Yは、我々のEOTFで処理される。
【0019】
また、当業者である読者は、どのようにして、我々が、Rec_HDR(所望のマスタHDR入力の近似再構成)と称する、最終的に出力されるイメージの情報を導出できるか、並びに、これが、例えば、XYZ出力(我々は、ルマが[0.0,1.0]で正規化される場合、輝度のために文字Y又はLを使用し、ルマのためにY´又はvを使用することに留意する)として、好適になされ得ることを理解するであろう。しかしながら、我々は、Rec_HDRを、特定のR´G´B´、又は、特定のディスプレイを駆動するための他の装置依存性の符号化などの他の色表現に変換することもできる。さらに、Rec_HDRは、例えば、我々が、直接的に、1200ニットのディスプレイ上で所望のルックをレンダリングするために必要な駆動RGBイメージにマッピングするか、又は、代替的に、1200ニットの実際のディスプレイを駆動するために、中間ステップを介して、第1のRec_HDR1(我々の5000ニットの基準ディスプレイなど)をRec_HDR2にマッピングすることができる他のHDRイメージであってもよい。
【0020】
この新規なメタデータ(ロー、ガンマ、及び、必要であればLm)は、我々が、勿論、任意の以前の技術に関連しない、このメタデータを有する新規のイメージ信号を定義することもできることを意味する(それは、ピクセルマトリクス色成分のために使用されるレガシーな戦略が何であっても使用可能であるが、これにより、我々は、例えば、YCrCbを求めるMPEG−HEVC構造において、Yuv座標を実行する。しかし、我々が、本実施形態に従った変換を行なうIC又はソフトウェアの一部を有する限り、例えば、DCTを行なう残りのコーダ(又は、デコーダ)、あるいは、ランレングス符号化などは、ケアしない)。このため、上記「フォーマット」部分が、MPEG又はJPEG、あるいは、他のイメージ又は映像符号化と類似の任意のレガシーなイメージ技術であってもよいが、我々の新たな戦略に従ってピクセルコードを満たす場合の実際のイメージテクスチャは、既に、(検証可能な形で)根本的に異なっている(何が起こっているかについての適切な理解がない場合、技術的に全ての復号化ステップを行なうことができるものの、レガシーな符号化が、完全に間違ったイメージルックをレンダリングする点で、このイメージルックは、技術的に異なっている)。事実、この将来的なイメージ符号化プロジェクトに従事しているフィリップスの何名かの発明者の上記理解は、通信のOSIモデルに類似の何かである将来的な幾つかのシステムに必要とされるということである。技術が進歩する場合、多くの領域において、それは複雑になるので、より構造化された態様において定義される必要があるが、問題は、どのようにそれを行なうかである。イメージ操作技術において、外側コンテナにイメージを置くための解決法(例えば、どのオーディオ及び映像コンポーネントがどの符号化戦略を使用しているかの説明が含まれ、あるいは、IP転送又はブロードキャストカルーセリングなどのためのデータのチャンクにおける分割)が既にあった。これは、古典的なOSIの単純な相関性であるが、例えば、Rec.709(全てが、特に、RGB原色の単一の想定される完全に定義されたシステム、想定される一般的な視聴環境などのために定義されている)などの特定の直接符号化を用いて、あるレイヤは、なお完全に固定されている。パラメータメタデータ(又は、定義及び/又はピクセルカラーイメージと関連付けられた色変換関数のメタデータ)を「有する」信号により、我々は、任意の方法において、例えば、同時且つ同じ信号で、又は、第1の通信チャネルを介して第1の時間でピクセルカラーマトリクスを受信し、他の通信チャネルを介して後でメタデータを受信することで、最終的にはデコーダ側で全ての必要なデータが一緒になり、メタデータが、受信側に伝達されることを意味する。このため、我々は、信号(ピクセルカラー+関数メタデータ)を同一のBlu-ray(登録商標)ディスク上に配置し、あるいは、幾つかの予め存在している又は将来的なイメージ又は映像通信技術などによる、ブロードキャスト又はインターネットなどのネットワーク上で、上記信号を通信することができる。
【0021】
最適な関数が、Lm=5000、ρ=25、及び、γ=2.4を有するイメージ信号においてのみ(例えば、ディスク上のHDRルックのみであり、LDRピクセルマトリクスでなく、潜在的には、LDRルックイメージを抽出するための幾つかの色マッピング関数のみ)、HDRイメージのために決定されることができる。Lm=5000の代わりに、上記方法は、コンテンツ作成者が、より高いLm値(例えば、10000ニット)を望む場合、又は、より低いLm値(例えば、2000ニット又は1500ニットを望む場合にも、使用され得る。
【0022】
また、例えば、Rec.709の等価ガンマ及びガンマ2.4に含まれる最終的なガンマを定義することにより、所望の環境的レンダリングが決定され得ることを部分的に考慮したガンマなどの他のガンマ値が設計され得る。等価ガンマに関し、当業者は、これは、線形部を有する式におけるガンマ値でないが、国力において線形部よりもむしろガンマとして開始する場合に、Rec.709符号化OETFを最も良く近似するガンマであることを理解するであろう。
【0023】
パラメータρ及びγが、100ニットのディスプレイ上で人間のカラーグレーダに従って良好に見える符号化されたイメージを生み出すために更に最適化された、ハイダイナミックレンジイメージを符号化する方法により、パラメータρ及びγの少なくとも1つが、好ましくは、人間のグレーダによって最適化されている。幾つかの可変性が存在するが、シーンに依存するパラメータの範囲が明確にあり、HDRイメージのための尤もらしい見た目のLDR対応部分を与え、このため、これは、最終的に定義及び識別されることができる方法である。イメージの可変性及び複雑性のため、通常、処理中、人間のカラーグレーダは、最も良く見えるLDRイメージ、ひいては対応するρ及びγパラメータを決定する。しかしながら、少なくとも部分的な自動イメージ分析アルゴリズムは、良好に見える値を備え、例えば、一般的には、グレーダは、全てのデータ(イメージピクセル+1又は複数のルックに対して1又は複数の色変換を記述している関数メタデータ)がイメージ信号符号化に書き込まれる前に、単に、アクセプトボタンをクリックすることによって、生成されたLDRルックがユーザの嗜好に合うことを検証するだけでよい。撮影可能な暗いイメージ/シーン(例えば、光がないか、又は、暗闇の中の月のような僅かな小さい光しかない夜のシーン)をより好む曲線に関し、符号のより大きな部分が、一般的に、シーンにおけるより暗い色のために利用可能とされ、これは、例えば、約2.55などのγのより大きな値を選択する(さらに、これに最適なρが選択され得る)場合に起こり得る。比例的により大量のより明るいオブジェクトを持つイメージ(例えば、イメージ又はLmにおいて最大のオブジェクト輝度より極めて暗い輝度を有するより小さいパッチが数個のみあるような場合)に関し、2〜2.2(2.15が、良い例である)など、又は、1.2など、2より低く且つ1より大きい値などの、より小さい値のガンマが使用され得る。
【0024】
上記方法に対応して、ハイダイナミックレンジイメージを符号化するためのイメージ符号化装置であって、
入力ハイダイナミックレンジイメージのピクセルカラーを得るための入力部であって、前記ピクセルカラーは、輝度及び色度の情報を持つ前記入力部と、
ピクセルカラーの前記輝度のルマコードvを抽出するためのマッピング関数の逆関数を適用するグレーディング管理ユニット202であって、前記マッピング関数は、
【数3】
として定義される第1の部分関数と、
【数4】
として定義される第2の部分関数と、を有するものとして予め定められ、ここで、ρは、同調定数であり、vは、符号化される輝度に対応する前記ルマコードであり、L
mは、所定の基準ディスプレイのピーク輝度であり、γは、好ましくは2.4に等しい定数である、前記グレーディング管理ユニット202と、
映像メモリ又はネットワークに接続可能な映像送信接続部221に接続された符号化部210であって、前記ルマコードである1つの色成分で符号化されたピクセルカラーを具備するピクセルマトリクスイメージを有するイメージ信号S_imを符号化及び送信するとともに、前記ρ及びγパラメータのうちの少なくとも1つを有するメタデータと関連付けられている、前記符号化部210と、を有する、イメージ符号化装置の幾つかの変形例があり得る。ある典型的な変形例は、グレーディンググレーディングの組(グレーダが少なくともHDRイメージを決定するために適用するソフトウェアであるが、ここでは、符号化及び/又はグレーディングされた見た目を抽出するために組み込まれる我々の特定の技術)であり得るが、装置は、例えば、カメラの内側にあってもよく、この場合、ロー及びガンマは、ともに変更されるか、又は、1又は2つの調整つまみにより同時に変更され得る。これは、例えば、標準化された映像ケーブル出力、インターネットパケットなどにおいて映像をカプセル化するためのプロトコル、ブルーレイディスク上に書き込むためのプロトコル化されたハードウェアなどであり得るため、当業者は、どのようにして、映像送信接続部211が、一般的に実現され得るかを理解するであろう。
【0025】
エンコーダに対応して、ほとんど同様に動作する様々なデコーダがあり得る。即ち、エンコーダ側及びデコーダ側の両方で幾つかの更なる変形例がなお存在するものの、ここで述べるような符号割り当てのコアは、一旦符号化される任意の受信側により一意に理解されるべきである。
【0026】
ハイダイナミックレンジイメージ符号化S_imを復号化するためのイメージ復号化装置301であって、
前記ハイダイナミックレンジイメージ符号化S_imを受信するとともに、請求項1記載の符号化方法から生じる、ルマコードを有する前記ハイダイナミックレンジイメージ符号化からイメージ符号化(Im_1)を抽出する受信及びフォーマットユニットと、
前記イメージ符号化(Im_1)からハイダイナミックレンジイメージ(REC_HDR)を抽出するための色マッピング戦略を適用する色マッピングユニット305であって、
【数5】
として定義される第1の部分関数と、
【数6】
として定義される第2の部分関数と、を有する(ここで、ρは、同調定数であり、vは、符号化される輝度に対応する前記ルマコードであり、L
mは、所定の基準ディスプレイのピーク輝度であり、γは、前記ハイダイナミックレンジイメージREC_HDRのピクセルの輝度Lを得るために、好ましくは2.4に等しい定数である)ものとして定義された所定のマッピング関数を、前記イメージ符号化におけるピクセルルマvを適用する前記色マッピングユニットと、を有する、イメージ復号化装置が提供される。
【0027】
勿論、変形例として、基準輝度レンジ(0〜5000)及びそれから構築される色空間(XYZなど)の代わりに、又は、これらに加えて、様々なデコーダが、出力として他のイメージを復号化してもよい。例えば、HDRルックの再構成Rec_HDRを出力するための出力部に加えて、復号化装置は、LDRイメージのための第2の出力部(又は、ディスプレイなどの接続されたシステムが出力イメージとして何を所望しているかに依存する同じ出力部)を有していてもよい。
【0028】
さらに、我々は、幾つかの興味深い実施形態を発明した。例えば、ハイダイナミックレンジを符号化する方法であって、
入力ハイダイナミックレンジイメージ(HDR_ORIG)からローダイナミックレンジイメージ(LDR_CONT)を導出するためのマッピング関数を決定するステップであって、ハイダイナミックレンジイメージ(HDR_ORIG)の輝度相関(L)が、
【数7】
として決定される関数を適用することにより、ローダイナミックレンジイメージ(LDR_CONT)のピクセルのルマ(Y)に変換され、ここで、上記式の係数は、前記関数が、区間[0,1]におけるL及びY値に関し、値L=0をY=0に割り当て、L=1をY=1に割り当てるように、標準化されるように規定され、Yレンジの中間におけるY値の近傍において前記関数の特定の挙動を実装する特定の更なる制限が存在し、結果、前記関数の形状が、単一のパラメータaにより制御可能である、前記ステップと、
ローダイナミックレンジイメージ(LDR_CONT)及びハイダイナミックレンジイメージ(HDR_ORIG)の1つ、並びに、前記少なくとも1つのパラメータaを、映像メモリ又はネットワークに接続された映像送信接続部221に送信するステップと、を有する方法である。
【0029】
この良く選択された対数関数は、特に、ルマコンポーネントに関して10ビットのみ(例えば、色度u及びvに関して8ビット)が利用可能である場合、最小の可視的エラーで均一に量子化され得る最適なマッピングを生成することを可能にする。
【0030】
最終的なイメージLDR_CONTは、LDRイメージと称され得る。それは、様々な輝度サブ領域において明るい効果を有する一種のHDRイメージのコントラストが滑らかにされたバージョンであるためである。正しい符号割り当て関数が選択された場合、LDRディスプレイ上で、プログラムの直接的なレンダリングのために、このLDR_CONTを使用することさえできる。しかし、そのことは、我々の発明の全ての実施形態に必要とはされない。幾つかは、単に、HDRのみの符号化のための中間的なダミーとして、LDR_CONTを使用し得るためである。
【0031】
ハイダイナミックレンジイメージを符号化する方法において、更なる制限が、Yレンジの中間における、又は、その近傍のY値に関し、請求項1記載の関数の逆関数であるパワー関数L
1/γを適用することによって得られる最終的なL値と、L^1/γ(Y=1/2)=K/a(ここで、Kは定数)などのパラメータaとの間の関数的関係を定義する。好適には、ほとんどの関心動作が発生するこれらの領域において、曲線の特定の滑らかさを定義する。
【0032】
ハイダイナミックレンジイメージを符号化する方法において、上記パラメータaは、初期値を有し、この値は、信号を用いる一般的なディスプレイなどの基準ディスプレイのピーク輝度に依存してもよい。一般的に、グレーダは、このグレーディングが1又は数個の範囲のディスプレイのためのものである(例えば、HDR再構成されたイメージが5000ニットのピーク輝度ディスプレイ又はそれに準ずるディスプレイに関して最適である(即ち、バンディングなどのアーチファクトが最も少ない))とみなす。幾つかの実施形態では、関数的マッピングFH2Lも興味深い。なぜなら、LDR_CONTイメージは、約200ニットのディスプレイなどに関して適切なイメージを供給し、15000ニット又は50ニットのディスプレイなどでのレンダリングのために最適なイメージを得るために符号化されたシーン(又は、全体のプログラム)毎に他の関数が存在し得るためである。
【0033】
ハイダイナミックレンジイメージを符号化する方法において、人間のカラーグレーダは、映像送信接続部221に送信される最適な値aを決定する。
【0034】
好ましくは、作成者側での我々の技術は、重要な領域における最小のアーチファクトのために、又は、良好な全体のカラールックなどのために、最適なa値の選択を可能にする。受信側は、a値を符号化されるイメージ又は意図されたディスプレイの物理的特性と関連付けるための特定のアルゴリズムを知る必要がないが、適用する(逆)関数、即ち、a値が対応する関数的形状のみを知る必要がある。
【0035】
ハイダイナミックレンジイメージを符号化する方法において、自動イメージ分析ユニット227が、例えば、それらの輝度の中央値、又は、発生する輝度の範囲のデリミタ輝度などの、ハイダイナミックレンジイメージ(HDR_ORIG)におけるピクセルの輝度を特徴付ける少なくとも1つのサマリ値に依存する値を決定する。また、人間のグレーダは、イメージのどこに関心値があるのかを特定することができる。例えば、彼は、イメージ上に走り書きできる。ユニット227は、95%が符号0.7より上にあるなど、これらが最も明るい色であることを確立することができる。
【0036】
符号化ユニットにおいて、予め設計された幾つかの決定アルゴリズムがあってもよい。
【0037】
ハイダイナミックレンジイメージを符号化する方法において、色符号化の色座標(u,v)が、以下のタイプの分数方程式により、ハイダイナミックレンジイメージ(HDR_ORIG)におけるピクセルの色のCIE XYZ座標から導出される。
【数8】
及び
【数9】
ここで、a〜lは、定数であり、好ましくは、a=4、b=c=0、d=1、e=15、f=3、h=9、g=i=0、j=1、k=15、l=3である。
【0038】
ハイダイナミックレンジイメージを符号化するためのイメージ符号化装置であって、
入力ハイダイナミックレンジイメージHDR_ORIGからローダイナミックレンジイメージLDR_CONTを導出するためのマッピング関数を決定するように構成されたグレーディング管理ユニット202であって、前記ハイダイナミックレンジイメージHDR_ORIGのピクセルの輝度相関Lは、
【数10】
として定義される関数を適用することによって、ローダイナミックレンジイメージLDR_CONTのピクセルのルマYに変換され、ここで、上記式の係数は、前記関数が、区間[0,1]におけるL及びY値に関し、値L=0をY=0に割り当て、L=1をY=1に割り当てるように、標準化されるように規定され、Yレンジの中間におけるY値の近傍において前記関数の特定の挙動を実装する特定の更なる制限が存在し、結果、前記関数の形状が、単一のパラメータaにより制御可能である、前記グレーディング管理ユニット202と、
映像メモリ又はネットワークに接続可能な映像送信接続部221に接続されたエンコーダ210であって、ローダイナミックレンジイメージLDR_CONT及びハイダイナミックレンジイメージHDR_ORIGの1つ、並びに、前記少なくとも1つのパラメータaを有するイメージ信号S_imを符号化及び送信するように構成される前記エンコーダ210と、を有する符号化装置が提供される。
【0039】
イメージ符号化装置は、人間のグレーダが特定のa値を選択可能にするユーザインタフェースユニット203と有する。
【0040】
イメージ符号化装置は、例えば、符号化がなされるディスプレイのピーク輝度としてのかかるパラメータに基づいて、特定のa値及び/又はハイダイナミックレンジイメージHDR_ORIGの輝度統計を決定するように構成された自動イメージ分析ユニット227を有する。
【0041】
イメージ符号化装置において、上記グレーディング管理ユニット202は、ルマ独立性が、
【数11】
及び
【数12】
(ここで、a〜lは、定数であり、好ましくは、a=4、b=c=0、d=1、e=15、f=3、h=9、g=i=0、j=1、k=15、l=3である)としての、オリジナルHDR入力のローダイナミックレンジイメージ符号化LDR_CONTの色度でもあるため、ハイダイナミックレンジイメージHDR_ORIGのピクセルの色成分を決定するように構成される。
【0042】
HDRイメージ符号化信号は、ピクセル値のイメージの符号化、及び、少なくとも請求項1の関数のパラメータaの値を有する。
【0043】
幾つかの実施形態は、完全な関数定義を転送してもよい(例えば、事前合意された関数知識を有さない受信器のために、又は、標準では1つのみの曲線しか許可されていないが、作成者側は、他の曲線を使用したい場合、任意の受信側に通知する必要がある)が、我々の実施形態の幾つかにおいて、関数は、単純である場合、関数形状を再作成するために、単に、1又は数個の係数を伝達するだけで十分である。
【0044】
ブルーレイディスク又はメモリスティックなどのメモリ製品は、HDRイメージ符号化信号を有する。
【0045】
ハイダイナミックレンジイメージ符号化S_imを復号化するためのイメージ復号化装置301は、
前記ハイダイナミックレンジイメージ符号化S_imを受信するとともに、処理されるイメージ符号化Im_1をを抽出する受信及びフォーマットユニット388と、
入力されたイメージIm_1からハイダイナミックレンジイメージREC_HDRを抽出するための色マッピング戦略を適用する色マッピングユニット305であって、前記色マッピングユニットは、ハイダイナミックレンジイメージREC_HDRのピクセルの輝度Lを得るため、イメージ符号化Im_1におけるピクセルルマYに対して、マッピング関数
【数13】
(ここで、a,b,c,d及びγは、イメージ復号化装置にとって既知の定数である)の逆関数を適用する、イメージ復号化装置が提供される。
【0046】
少なくとも復号化装置(実際には、ICの小さな部分であり得、これは、例えば、テレビ、電話、映写機、プログラム作成の間の視聴ブートシステムなどの、任意のより大きな家庭用又は専門的装置に含まれ得る)は、最大で、それが通常のイメージであるかのようにスマートにパックされたイメージにおいて全ての情報を有する極めて高い輝度である潜在的に多くの輝度レンジを有するハイダイナミックレンジイメージを持つ、即ち、無彩色成分のための任意の我々の提案する標準符号割り当て関数の逆関数を適用可能でなければならない、即ち、HDRオブジェクトカラーの輝度又はルマが、HDRイメージ信号であるがLDRイメージ信号のように見え、標準的な符号化色域において可能なほど高い輝度を配置することができる輝度定義と適合可能な幾つかの色変換を実行する、我々の符号化原理に追従できるように構成されなければならない。このため、それは、実際に伝達される必要がなく、例えば、将来のMPEGタイプのX標準などの特定のシステムが、たった1つの標準ルマ割り当て曲線を用いる場合、任意の受信器は、既にそのパラメータを知っており、メモリに格納された、又は、IC回路において等価な処理アルゴリズムにおいて、メモリ内に格納していてもよい。しかしながら、曲線の幾つかが変化できる(例えば、映画における暗いシーンのために、映画の残りとは異なる他の曲線を使用する)実施形態では、受信端は、幾つかのアルゴリズムにより、符号化の間、どの符号割り当て曲線が使用されたのかを一意に決定できてもよいが、好ましくは、幾つかの情報が、受信端も、どのルマコードYの定義が、このイメージIm_1において使用されたかを確認するような任意の方法により、伝達される。次いで、最小のコアな復号化ユニット又は装置である。
【0047】
請求項13に記載のハイダイナミックレンジイメージ符号化S_imを復号化するためのイメージ復号化装置301において、 前記受信及びフォーマットユニット388は、ハイダイナミックレンジイメージ符号化S_imから、aパラメータ値、可能であれば、マッピング関数の逆関数を導出するためのガンマ値γなどの、マッピング関数の形状を定義する少なくとも1つのパラメータを導出するように構成される。
【0048】
生成側は、上記パラメータを送信し、我々の実施形態は、1つのみのパラメータが送信される場合、他のパラメータを決定することができるため、これは、符号空間の範囲に対するHDRイメージの輝度スパンの特定のサブ領域の割り当てに関する異なる挙動を有する曲線のファミリーから1つを送信するための極めて有用な態様である。例えば、ガンマが、固定及び事前合意されてもよく、イメージデータの中又はイメージデータに添付して、あるいは、別個の通信経路を介して、a値のみが送信されてもよい(例えば、テレビ局は、これから特定のa値を使用することを示し、定期的にこれを伝達するなど)。
【0049】
請求項13又は14に記載のハイダイナミックレンジイメージ符号化S_imを復号化するためのイメージ復号化装置301において、色マッピングユニット305は、入力されたイメージIm_1のピクセルカラーのu及びv成分を、CIE XYZ空間などのようなユニバーサル色表現にマッピングするための変換を適用するように構成される。
【0050】
ここで述べられるように、好ましくは、我々は、色方向において色のスマートな割り当てを有する輝度の直接的な割り当てを適用する。結果、量子化された色の総エラー(例えば、デルタE2000)は、イメージ、即ち、少なくとも再構成されたREC_HDRの任意の最終的な使用に影響せず、例えば、HDR信号が実際の10000ニットのディスプレイに符号化される基準ディスプレイの5000ニットの基準レベルからのブーストなど、更に処理されるバージョンであってもよい。次いで、デコーダは、この色空間マッピングの逆変換を行なう必要がある。これは、一般的に、Yuv色を、線形XYZのような幾つかのユニバーサル色空間にマッピングすることにより実装される。
【0051】
上述のハイダイナミックレンジイメージ符号化S_imを復号化するためのイメージ復号化装置301において、色マッピングユニット305は、ハイダイナミックレンジイメージREC_HDRを導出するための第2の色マッピング戦略を、基準ダイナミックレンジよりも低い又は高い輝度ダイナミックレンジを有するイメージに適用するように更に構成される。符号化されたイメージを基準レンジ(0ニット〜5000ニット)に復号化することは、物理的に実現可能なイメージを我々が有するため、有用である。勿論、典型的な実際の接続されたディスプレイは、例えば、1200ニットのディスプレイなどであってもよい。このため、理想的には、ディスプレイを直接的に駆動することにより、1200ニットのピーク白色に[0ニット〜5000ニット]のディスプレイをスケーリングする代わりに、見た目の幾つかの更なる最適化が望まれる(これは、基準イメージRec_HDRから第2のステップとして実行される、又は、Yuv色符号化からのアルゴリズム的な色変換の1ステップとして既に実行されている)。一般的に、少なくとも1つの導出されるイメージが存在し、ダイナミックレンジがどの典型的なダイナミックレンジに依存しているかは、ピクセル化されたイメージにおける特定の符号化されたルックと最も良く関連付け可能であった。例えば、LDRが、信号S_imにおいて書き込まれた場合、通常、LDRルック(一般的に、100ニットのピーク白色)から、1500ニットのディスプレイのためのHDRで最終的に導出するイメージを導出するため、幾つかのアップグレードが実行される。勿論、ルックがHDRであった場合、LDRディスプレイのためのダウングレードが含まれてもよく、一般的に、幾つかの再グレーディングがなされてもよい。これらの新しいイメージを得るために、実際に、これらの様々な輝度/色マッピング関数(例えば、HDRからLDRへの、及び、中間ダイナミックレンジMDRルックにおいて)のための全てのデータ(色変換、ルックアップテーブルなどのパラメータ関数のための関数定数)が、実際に、様々なセットのメタデータとして符号化され得るが、勿論、受信器も、幾つかのマッピング自体を導出できる(例えば、HDRからLDRへの再グレーディングがメタデータとして符号化された場合、受信器は、MDRを導出するための良好な中間マッピングの自己推定を導出することができる)。
【0052】
幾つかのより単純なシステムでは、我々の技術が、単一の種類の「閉じた」システムのために使用され、意図される最適な(基準)HDRディスプレイは、例えば、5000ニットであってもよい。しかしながら、例えば、2000ニットのディスプレイのための駆動イメージにどのようにマッピングするかについての更なる関数命令があってもよい。これは、一般的に、REC_HDRから開始して実行されるが、LDR_CONT/Im_1イメージにおける値を考慮することによって、異なって実行され得る。
【0053】
上述のハイダイナミックレンジイメージ符号化S_imを復号化するためのイメージ復号化装置301において、受信及びフォーマットユニット388は、入力イメージIm_1、可能であれば、ガンマ値もが符号化された基準ディスプレイの少なくともピーク輝度を受信し、そこからマッピング関数の逆関数を導出するように構成される。
【0054】
符号割り当て関数を一意に定義するための間接的な方法がある。1つは、例えば、意図された(基準)ディスプレイのピーク輝度のレンジのために使用される複数の関数を事前に決めておく方法である。他のピーク輝度を有する実際のディスプレイは、その特性に関して最適に見せるためにREC_HDRをマッピングしてもよいが、少なくとも、どの符号定義が使用されたかを知る必要がある。
【0055】
上述の請求項13〜16のいずれかに記載のハイダイナミックレンジイメージ符号化S_imを復号化するためのイメージ復号化装置301において、受信及びフォーマットユニット388は、入力されたイメージIm_1からハイダイナミックレンジイメージREC_HDRを導出するために、色マッピングユニット305によって、複数の事前合意済みの逆マッピング関数のうちのどれが使用されるべきかを示す連続的な数などの符号を受信するように構成される。
【0056】
実際の符号化及び送信は、様々な方法で実行されることができる。例えば、標準では、3つの異なる曲線のみが、このプログラム又はプログラムの一部のために、関数「2」が使用されることを送信することを可能とする。
【0057】
ディスプレイは、上述のイメージ復号化装置を有する。
【0058】
受信したローダイナミックレンジイメージLDR_CONTのイメージ復号化方法は、
ハイダイナミックレンジイメージ符号化S_imを受信するとともに、そこから処理されるイメージ符号化Im_1を導出するステップと、
入力されたイメージIm_1から、ハイダイナミックレンジイメージREC_HDRを導出するための色マッピング戦略を適用することによって色マッピングを行なうステップと、を有し、色マッピングユニットが、イメージ符号化Im_1におけるピクセルルマYに対して、マッピング関数
【数14】
(ここで、a,b,c,d及びγは、イメージ復号化方法において既知の定数である)の逆関数を適用するように構成される。
【0059】
請求項20記載の受信したローダイナミックレンジイメージLDR_CONTのイメージ復号化方法において、前記受信するステップは、マッピング関数
【数15】
の逆関数を一意に定義する任意の情報を受信するステップを有する。
【0060】
本発明は、信号において実現されるパラメータを定義するような様々な実施形態の主な技術的要件を含む中間体を具備するような多くの他の(部分的)方法において実現されることができ、その多くのアプリケーションは、消費者又は専門家向けのシステムにおいて、通信、使用、色処理などを行なう様々な方法のように、様々な可能な信号及び様々なハードウェアコンポーネントを組み込む又は様々な方法を使用するための様々な方法を生じ得る。