【課題を解決するための手段】
【0021】
我々の発明は、例えば少なくとも以下の手段において実現され得る。高ダイナミックレンジ画像(M_HDR)をエンコードする方法であって、
− 以下のa)−d)を適用することにより前記高ダイナミックレンジ画像を低いルミナンスのダイナミックレンジ(LDR_o)の画像に変換するステップと、
a)正規化されたルミナンス(Yn_HDR)を有する正規化された色により正規化された高ダイナミックレンジ画像をもたらす[0,1]であるluma軸のスケールへの高ダイナミックレンジ画像の正規化、
b)ガンマ変換されたルミナンス(xg)をもたらす正規化されたルミナンス上のガンマ関数を計算すること、
c)luma(v)をもたらす1.5と5.0との間にある予め決められた量を伴う0.1より低い正規化された高ダイナミックレンジ画像の画素のこれらのガンマ変換されたルミナンスをブーストする第1のトーンマッピングを適用すること、
d)低ダイナミックレンジ画像(LDR_o)のluma(Yn_LDR)を出力するためにステップb及びcを実行することから生じるlumaをマッピングする任意の単調に増大するトーンマッピング関数を適用すること、
− 画像信号(S_im)において、低いルミナンスのダイナミックレンジ画像(LDR_o)の画素色の
符号化結果を出力するステップと、
− 前記画像信号(S_im)において、上記の色変換bのメタデータとしてのdへの関数形状をエンコードする値又はこれらの逆関数のための値を出力するステップであって、メタデータは、レシーバが、低いルミナンスのダイナミックレンジ画像(LDR_o)から、復元された高ダイナミックレンジ画像(Rec_HDR)を復元するのを可能にする、ステップとを有する、方法。
【0022】
luma変換関数のこの特別な組み合わせは、モードiiの思考法においてHDR画像をエンコードすることを処理するための極めて良好な手段であると判明した。即ち、とりわけ、マスターHDRからのこれらの変換関数により導出されるLDRの見た目の画像としてHDR画像をエンコードするという二重の手段において、LDR画像は、適切に使用可能なLDRの見た目の画像であるのと同様にHDRの見た目を忠実にエンコードするという二重の目的にかなう。
【0023】
画素色の任意の
符号化結果(即ち、色空間コードシステムにおいて画素の色を表す)が用いられ得ること、及び、他のものより実際的であることに留意されたい。例えば、LDR_oは、(R´G´B´)画像として出力され得る。ここで、ダッシュは、線形RGB成分の非線形マッピングを示す。我々は、Yu´vの態様においてレシーバに通信されるべきLDR画像をエンコードすることができる例により解明する。そして、トーンマッピングのような処理は、例えばu´v´のようなxy色度座標を有するYxy表現において実行され得る。しかしながら、同じ以下の発明原理は、他の色表現(例えば線形RGB表現)において具現化されてもよい(即ち、計算は、後に、Y成分よりもむしろRGB成分によって直接行われる)。また、当業者は、幾つかの態様のうちいずれかを機能的なマッピングを特徴付けるパラメータを共同エンコードするために用いることができることを理解するだろう(これは、例えば、そのセグメントの変化ポイントにより規定される多重線形関数であり得る)。これは、典型的には、画像信号S_imにおけるメタデータ又はそれに関連付け可能なメタデータであるだろう(例えばSEIメッセージ構造又は類似物)。これは、その時に、レシーバが、これらを接続されたディスプレイ上でレンダリングするための例えば線形RGB出力画像に変換するためのエンコードされた画素色データを理解するためにこれらのパラメータを必要とすることを意味する。データ通信技術によりこれらの観察を規定するパラメータを取得しなければならない(例えば通信リンクを介した接続可能なメモリ位置)。
【0024】
少なくとも画像における最も暗いオブジェクトの色(最も暗い画素色の下位範囲において、実際には、正規化された線形画像の10%の最も低いルミナンスになるように規定することができる。これは、例えばYチャネル、又は、対応する最も低い線形RGB値であってもよい。)を輝かせる"感度的"マッピング及びガンマ/べき関数のこの特定の組み合わせは、HDR画像の比色特性及びとりわけLDRレンダリングを伴うこれらの典型的な不適当な組合せを適切に扱うように機能する。もちろん、多くのLDRレンダリングを予想することができた。例えば、全ての色を無視する些細なもの。これらは、クリッピングにより明るすぎるか又は暗すぎると見なされる。しかしながら、これは、必ずしも、最良のLDRの見た目というわけではなく、良好な画質のHDRの見た目の復元のために確実に使用可能というわけではない。
【0025】
(直接的にモードiにおける)HDR画像及びLDR画像(とりわけ、HDR画像を実際にエンコードするLDR画像)は、類似の、例えば3x10ビットのHEVCコンテナにおいて実際にエンコードされ得るので、HDR画像とLDR画像との間の差について尋ねるかもしれない。この差分は比色差分であり、これは、ディスプレイ、表示環境及び観察者が含まれるときに非常に重要である。数学的には、正規化された画像(即ち、正規化されたLDR又はHDR画像)における典型的な画素値及びとりわけヒストグラムからこれを測定することができる。通常のLDR画像である場合、典型的には、最も暗い画素色と最も明るい画素色との間で斯様な高コントラストは存在しないだろう。もちろん、LDR画像においても、白色である値及び黒色である値(ゼロ)があってもよい。しかしながら、これらは、レンダリングされたルミナンスになるだろう。これらを規定する異なるコード割当て関数があるためである。我々の新規なレシーバ/デコーダは、この状況を認識し、いずれの場合においても適切なデコーディングを適用するだろう。我々が、LDR画像がレガシーディスプレイ上で直接使用可能であるべきであると言うとき、我々は、デコードされた画像をレシーバに供給するレシーバが、レガシーのコード割当て関数(即ち、典型的にはRec.709のガンマ2.2)を有するluma値を理解/デコードすることを意味する。ここで、master_HDR(モードi)画像は、全体として異なるコード割当て関数によりエンコードされ得る。これは、言わば0.05の黒いlumaがLDR画像より非常に暗い黒色に対応し、0.96が非常に明るい色に対応することを意味する。それに加えて、モードiiは、更なる新たな概念を取り込む。lumaコードは、さらに他のコード割当てによるレンダリングされたlumaになるべきHDRに関連してもよい。グレーダ(とりわけカスタマイズした曲線)による選択に依存して可変でさえあってもよい。とりわけ、モードi画像は、典型的には、レガシーのLDRエンコーディングにおけるもののような、比較的均一な(明るい)ヒストグラムを有しないだろう。しかしながら、典型的には多数のより暗いオブジェクトがあり、多数の非常に明るい画素がある二峰性ヒストグラムである(例えば、線形ルミナンス表現において100xより明るい外側の画素。しかしながら、即ち最終的に用いられたluma表現において、特定のコード割当て関数を用いるときに例えば3xより明るくてもよい)。幾つかのHDR画像において、より明るい画素は、極めて少なくてもよい(例えば夜景における2、3のランプ)。
モードii画像において、この関係は、前と同じように異なるだろう。(単純な解明においてHDR画像がそのように形成されると想定する)明るい領域と暗い領域との間にいくらかの充分な差が依然としてあるだろう。比較的単純な関数は、Rec_HDRにマッピングすることができるだけでなく、LDR直接レンダリングでさえも、コントラストの見た目を多少保持することを望み得るためである。しかしながら、一方、2つのルミナンス範囲は、LDR全域の制約のため、ある程度、互いに向かって、又は、互いに縮小されてもよかった。しかしながら、これの全てにおいて重要なことは、画像がLDRシーン又はHDRシーンだったかどうかのサインを依然として見ることができるということである。数学的画像分析アルゴリズムだけが、画像においてエンコードされるダイナミックレンジの見た目を解析することができるというわけではない(例えば、見た目の最終的な画質は例えば生産コストよりもあまり重要でないリアルタイムのテレビ製造のため)。画像解析ユニット177が用いられ得る。しかし、一般に、これらの最高画質フォーマットにおける我々の符号化技術は、生成側における人間の色等級分け部によって用いられるだろう。生成側は、典型的には、HDR及びLDRディスプレイ上で、システムがどのように動作するかを見ることができ(即ち、LDRの見た目及びHDRの見た目が実際に見える)、等級化キーボードのダイヤルをオンにすることができ、最後に、彼が満足するLDR画像及びHDR復元関数をエンコードすることができる。典型的には、レシーバは、この状況の完全な分析を行う必要がないことに留意されたい。これらは、受信した正規化された画像がHDR画像又はLDR画像であったかどうか、及び、どれがLDR画像の変形であるかについてそれ自体気にかける必要はない。これらは、受信した関数を"盲目的に"適用することだけを必要とする。典型的に知ることを必要とする唯一のものは、関数が規定するもの及び/又は唯一の画像が規定するものである。従って、典型的には、信号は、信号のタイプのインジケータ(IND)を含むだろう。もちろん、更なる画像改良を行いたい、例えばテレビのための信号についての通信される多くのものがあってもよい。しかしながら、典型的には、レシーバが最小限知ることを必要とするものは、このHDRエンコーディング信号S_imのタイプである。これは、LDRレンダリングのために直接使用可能な画像を含む(その見た目がレシーバにより良好なLDR画像に微調整され得るかどうか。これは、[Ff1、Ff2等によってパラメータ化される]更なるトーンマッピング関数を有する受信したLDR画像LDR_tをトーンマッピングすることができる)。この情報により、レシーバは、接続されたLDRディスプレイが適切な画像によって機能する場合にはLDRの見た目の画像は直接送信され得ること、及び、HDRディスプレイである場合にはレンダリングのための正しいHDR画像を取得するために最初に色変換が適用されることを知る。技術を要する読者は、これが幾つかの手段において、例えば"DIRECTLDR"のようなキーワードによって、又は、一組の数"100/5000"によって、示され得ることを理解するだろう。これは、唯一の画像が100nitディスプレイ(実際の又は基準ディスプレイ)のために意図される画像であり、5000nitのHDR画像から導出され、これにマッピング可能であることを示す(他のピーク輝度のディスプレイのための他の画像が、色変換関数を規定するパラメータにおける情報によりLDR画像から導出され得るものではないことを意味するものではない)。
【0026】
我々が、HDR画像の詳細をもう少し見る場合(正規化されたとき、及び、最適なモードiiのLDR画像に等級分けされる)、種々のシーンが典型的には例えば5000又は10000nitのピーク輝度を有するHDR基準ディスプレイで規定された環境においてマスターグレーディングされることを理解すべきである。
【0027】
前と同じように、明るい日当りのよい屋外を伴う屋内のシーンの説明例を利用すると、M_HDRにおける屋外の色をほぼHDR中央グレー、従って5000nitの約20%(即ち±1000nit)に等級分けしたくてもよい。屋内の色は、実際の典型的な屋内ルミナンスによりレンダリングされるべきでない。我々は、他の環境(例えばテレビ表示の典型的な暗い環境)において動画を見ているためである。従って、明確には、屋内の色は、日が照っている屋外の画素ルミナンスの1/100でレンダリングされるべきでない。これらは、正確にレンダリングされるわけではなく、基準ディスプレイ上の基準マスターグレーディングが何であったかという任意の受信側での正確なコピーしかないためである。我々は、適合された平均的な観察者に対する外観を考慮することを必要とする。とりわけ、HDRの見た目において、屋内は、非現実的に暗く見えるべきではない。我々は、例えば"日当りのよい屋外"の画像領域色の1/10の平均ルミナンスにおいて、従って±100nitのまわりでこれらの色を等級分けすることができる。しかしながら、(少なくとも概念的に言わば線形拡張に近い色マッピングによって)100nitのLDR基準ディスプレイ上へこれらのlumaを素朴にマッピングすると、LDRにおける日が照っている屋外の色は、約20nit周辺で完全に、及び、もっと高いところでは白色に見えるだろう。しかしながら、屋内の色は、2nitまわりでレンダリングされるだろう。これは、精神視覚的な黒色として見えるだろう。これは、"いくらか"最適化を行うことを必要とする。これは、特定のHDRシーンの複雑性上に依存して非常に複雑になるかもしれない。これは、好ましくは、(我々のエンコーディングフレームワークの態様のための)コンテンツ生成側に含まれる人間の色等級分け部を有する。これらの屋内の色をかなり見えるようにするために、我々は、これらを中間グレー(18%)より多少暗くしてもよい。しかしながら、最適化においてあまり暗くならない。従って、我々は、典型的には5〜7のファクタによりこれらのより暗い色をブーストしたくてもよい(もちろん暗いそれぞれの明るい小領域におけるものに依存して、最適化は、異なる暗い地階に対して異なり得る。壁上のツールをかろうじて見るべきであり、これを照明するランプの光をクリップしてもよい)。それより高いより明るい色を維持する。
図5は、我々のHDR/LDRエンコーディングチェインの2つの例となるシナリオを示している。曲線501及び502は、即ちガンマの前の、典型的な第1の"感度"トーンマッピング曲線を示す。これらは、
【数1】
により規定される。0〜1.0の入力xgのための可能な正規化された値、及び、最適なRHO値を有する。この場合において、マスターHDRは、曲線501のための1000nit(取り込まれたシーンにおけるいかなるコンテンツでも、M_HDRにおけるオブジェクトルミナンスは、0〜最大1000nit(例えば溶接スパーク又は太陽が等級分けされ得る値)の間で規定される)及び曲線502のための5000nitの基準ディスプレイピーク輝度によって規定された。例えば、グレーダは、特定のM_HDR画像を与えた良好なLDRの見た目を考慮するのに適切なものを選択し得る。あるいは、生成側の装置は、例えば以下の式に従って自動的に計算してもよい。
【数2】
【0028】
この式において、PBHDRは、M_HDRグレーディング(例えば
図5のような1000又は5000nit)と関連付けられる基準ディスプレイのピーク輝度である(即ち、これは、考えられる値の範囲を規定し、典型的には、グレーダがマスターHDRの見た目を検討及び生成した現実のディスプレイのPBに対応する)。GAMはガンマ値であり、これは、例えば、典型的には、2.4であってもよい。もちろん、装置(又はグレーダ)は、任意の他のアルゴリズム又は経験則によりこれらの値から逸れてもよい。例えば、多少明るい、又は、平坦な見た目が必要とされる等である。
【0029】
図5において、±1.5〜4.0の間の値のみに対する第1の/感度トーンマッピング部分のためのブーストファクタ(対角線と比較して、正規化されたHDR lumaはx軸上にあり、正規化されたLDR lumaはy軸上にある)を決定する場合、2.4のガンマを伴うガンママッピング、色の最も暗い10%のための約6〜7のブーストファクタ)を適用する(曲線503及び504は、対数及びガンマの組み合わせられたマッピングである)。これは、概略的に必要とするものである(グレーダは、任意のトーンマッピング曲線によって要望通り後に微調整することができる。しかしながら、これは、例えば自動変換装置のための良好なストラテジである。これは、グレーダのみを最小限含む。この場合、微調整が必要とされるか又は望ましい)。一般に、組み合わせられた対数/ガンマトーンマッピング動作(即ちユニット602及び603)のための±4〜8のブーストを一般的に有することを望む。これは、1.5〜5.0の間のブースト値は、RHOベースの感度部分(ユニット603)のみに対して適切であることを意味する。より暗い色のための斯様な動作を有するユニット603のための任意のトーンマッピング関数は、我々が本発明のために必要とするものを満たすだろう。しかしながら、上記の対数ベースの式は、これを実現する単純な実際的な態様である。より明るい色のための動作は、典型的には、典型的にはブーストされたより暗い色により取り込まれた範囲より高いより明るいルミナンスを非線形的にマッピングする関数形状によって穏やかな圧縮になるだろう。極めて複雑なHDR画像を有することができる。これは、他の値を要求するかもしれない。しかしながら、斯様な極端な状況は、グレーダ(又は自動等級化アルゴリズム)により適切な任意の曲線定義により扱われ得る。デコーディング側において、処理のチェインは、唯一の通信されたLDR画像からRec_HDRを計算することができるように、実質的に逆行可能である必要があることに留意されたい。実質的に逆行可能は、元のM_HDRのような、Rec_HDRにおいて同じ色成分値を必ずしも正確に取得する必要はないことを意味する。しかしながら、色の差分は、許容誤差制限の範囲内であるべきである。従って、レシーバは、LDR_o(又はLDR_i)にM_HDRを形成させるとき、及び、これらの関数の形状情報を受信するときにレシーバ側でもともと使用されたダウングレーディング関数を反転させることによりこれらを計算するかどうかに関わらず、又は、Rec_HDRにアップグレードを行うために必要な逆関数を直接受信することにより、最後に、HDRの見た目Rec_HDRにアップグレードするための必要とされる色変換関数を取得することができるべきである。これは、とりわけ、典型的には、グレーダがLDRの見た目を厳しい優先度に微調整するために規定することができる任意のトーンマッピング関数のために、当業者が理解するように正規化されたLDR luma及びHDR lumaを関連させる単調に増大する関数を規定することを必要とすることを意味するだろう。
【0030】
基本的なモードiiの技術的なチェインは、単純な態様において動作する。例えば、幾つかのあまり重要でないシーンのために、グレーダは、任意の関数をインデント性の変換であるデフォルト値で満たしてもよい。我々がチェインにおいて必要な基本的な技術的な成分について述べるにもかかわらず、実用的なリアリゼーションにおいて、これらのブロックの1又はそれ以上は、関数を実行する実際のユニットにおいてグループ化されてもよいことに留意されたい。例えば、幾つかのアプリケーションにおいて、全ての色マッピング関数の全体LUTを一緒に送信することは望ましいかもしれない。その一方で、他のアプリケーションにおいて、分離した関数を送信することが有利であるかもしれない。テレビが(例えばシーンの分析の後に、又は、観察者によるユーザインタフェース制御下で、自動的に)例えば第1の関数を更に調整したくてもよいためである。これは、画像/ビデオ通信技術を介して受信された感度又はRHO値と比較して画像を多少輝かせる。より高度なバージョンは、幾つかの更なる処理ステップを用いてもよい。例えば、エンコーディングの方法は、復元された高ダイナミックレンジ画像(Rec_HDR)における考えられる値の特定の値に対して低ダイナミックレンジ画像(LDR_o)の最大のlumaをマッピングするためのゲイン値(gai)を決定してもよい。及び、画像信号(S_im)におけるそのゲイン値をエンコードする。これは、接続されたディスプレイのピーク輝度(例えばLm=5000nit)に対して最終的なスケーリング形式の正規化された色と混同されるべきでない。このゲインは、より用途が広いグレーディング及び/又は符号化を可能にする。
【0031】
高ダイナミックレンジ画像(M_HDR)をエンコードする極めて有益な改良された方法は以下を有する。
低ダイナミックレンジ画像(LDR_o)を決定するために上記の色マッピングのいずれかを適用した後に、第2の低ダイナミックレンジ画像(LDR_i)を決定するために更なる技術的なトーンマッピングを適用する(301)。これは、低ルミナンスダイナミックレンジ画像(LDR_o)に対する代替駆動画像としてLDRディスプレイを駆動させるために用いられ得る。技術的なトーンマッピングは、以下により決定される。
a)低ルミナンスダイナミックレンジ画像(LDR_o)の第1の幾何形状領域を決定する。対応する復元された高ダイナミックレンジ画像(Rec_HDR)においてバンディングする可視性は許容可能なレベルを越える。
b)その領域のためのluma(L_u)の範囲を決定する。
c)luma(L_u)の範囲に対するluma軸上の隣り合う画素luma(L_uu)の第2の範囲を決定する。第2の範囲は、最小数(MIN)より高い多数のlumaを有するという条件を満たすために識別され、テクスチャを含む第2の幾何学像領域に対応する。テクスチャは、LDR画像(LDR_i)における最小数より少ないコードを用いて表され得る。その第2の領域のための充分な視覚的な画質の復元された高ダイナミックレンジ画像(Rec_HDR)をもたらす関数を適用する。
d)追加のコードが第1の範囲に対して利用可能になるように、lumaの第1及び第2の範囲のlumaを再分配する再分配マッピング関数を決定し、画像信号(S_im)において、再分配マッピング関数又は好ましくはその逆の関数形状をエンコードする値を出力する。
【0032】
とりわけ、ハードウェア(及び、グレーディングコスト)がグレーディング関数の比較的制限された量が用いられるべきであることを指示する場合、Rec_HDRの完全な又は十分に正確な復元とLDR画像LDR_oの見た目との間のトレードオフについて多少限定される。幾つかのHDRシーンはそれほど難しくならないかもしれない(例えば、平均的な観察者は、最適な見た目から過度にずれ過ぎない限り、日の当たる道路の影側の影が少し暗いか又は少しの明るいグレーであるかについてあまり重要ではないかもしれない)。しかしながら、幾つかのHDRシーンはより重要になり得る(例えば、HDRルミナンス範囲上のどこかに、明るい霧において部分的に隠される人がいるかもしれない。局所的コントラストが高過ぎる場合、見え過ぎるだけかもしれない。しかしながら、コントラストが低過ぎる場合、不可視になり、ストーリーを変えるかもしれない)。レガシーではない(及び、任意のHDR処理を行う方法を知らない)、及び、更なるトーンマッピングを行うことができる少なくともレシーバのために、グレーディングの他の次元を可能にすることが有利であるだろう。そして、レガシーディスプレイは、"最良の努力の"LDR画像を得ることができる。これは、送信される唯一の画像であるだろう。しかしながら、スマートな将来のレシーバは、LDRの見た目を更に最適化するために幾つかのスマートな技術的トリックを行い得る。従って、グレーダが要求するものにより近くなる(おそらく最終的なLDRの見た目におけるいくつかの値さえクリップする。これは、唯一の送信されたLDR画像において起こる場合、HDR復元と一致しないだろう)。斯様な可能性を有する場合、幾つかのエンコーディング方法又はエンコーダは、この要求を満たすことができる。LDR単独画像における極めて複雑な極めて高コントラスト比のHDR画像を圧搾する場合(例えば、多くのグレー値を有する幾つかの重要な領域を有するHDR画像、例えば、暗い点灯されていない部屋、比較的適切に照らされた第2の部屋、及び同時にカラフルな日に照らされた屋外、及び、例えば適切に照らされた部屋におけるランプの下の白色テーブルの、多くのグレー値をカバーする重要な勾配を含むこれらの3つの領域を伴う)、1又はそれ以上の領域が受け入れられなくなることが生じ得る。色成分のための制限されたワード長(例えば10ビット)に起因して、(色マッピング関数の形状に依存する)どこかで、どこが厳し過ぎると判断されるかというバンディングがあるためである。
この領域は、例えばこれを見分けるグレーダにより識別され得る(グレーディング装置におけるHDR画像分析ソフトウェアにより潜在的に重要なエリアにポイントされることにより支援されてもよい)。バンディング検出部は、例えば拡張された領域のためにそれを計算することができる(潜在的にこの領域がどのルミナンスを有するか、及び、推定されたJNDを考慮する)。各時間のジャンプ、多数の連続的に同等の色が存在する。これらは、斯様な計算からの(及び、典型的には工場実験における)値に基づいて許容可能なレベルを規定することができる。(例えばグレーダが粗く選択したものをより微細に分割することにより)斯様な領域を見つけた後のグレーディング装置は、その後、これに対応するルミナンスの範囲L_uを粗く決定することができる。例えば、青空においてバンディングがあってもよく、その色は、L_sky_lowとL_sky_highとの間のルミナンスを有する。LDRエンコーディングが画像をエンコードするためにより多くの値を有する場合に問題は軽減されるだろう。我々は、エンコーディング側で、M_HDR及び任意の変換が依然として極めて高精度であってもよいことを理解すべきである。しかしながら、これらのコードは存在しない。我々は、全ての必要とされるルミナンスに対して利用可能な10のビットのみを有する。我々は、異なるイルミネーションの全ての他の画像領域を十分にエンコードすることも必要とする。しかしながら、幾つかのコードがL_uに隣接するルミナンスを有する画像の領域から借りられ得る場合、とりわけこれらの領域の視覚的な質がこれらのコード範囲からの少しのコードを利用することによりほとんど低下しない場合、トリックが用いられ得る(典型的には、グレーダは、その結果に順応する単純な動作により、判断するだろう。あるいは、一致しないこの場合において、他の試みが試されるだろう。バンディングが依然として元のバンディングされたエリアのための高い場合により積極的になる。隣り合う領域は、依然としてより劣化され得る。あるいは、グレーダが隣り合う領域があまりに多く劣化し始めていることを示す場合、あまり積極的にはならない)。コードを再分配する単純な態様は、例えば局所的関数部分の線形又は非線形的変更である。唯一の送信された画像LDR_oによる問題は、空が例えば少しばかり暗くなってもよかったこと、及び、おそらく、この動作によりあまりにコントラストが強くなることである(また、隣接領域がいくらか暗すぎるかもしれない、これらのテクスチャの見た目は変えてもよかった等)。これは、小さな変化及びあまり重要でないシーンの場合にはあまり問題を含まないかもしれない、及び、困難なシーンにとって少し不都合かもしれない。これは、レガシーシステムが払わなければならないかもしれない価格である。これらは、LDR_oを直接レンダリングすることを除いて、受信したデータのいずれかにより絶対的に何も行うことができないためである。しかしながら、新たなレシーバは、(即ち適切な空のルミナンス等を有する)もともと意図されたものに非常に近いが少ないバンディングを有するLDRの見た目を生成するために、lumaを再分配するために使用される変換の逆を適用することができる。レシーバは、非常にスマートな分析を行う必要はない。斯様な技術的なトーンマッピング関数が利用可能であるということを知ることしか必要としない。及び、より良好なLDRの見た目の画像LDR_ulを取得するために唯一の送信されたLDR画像LDR_tの復元に適用する。多数の方法は、隣り合う領域のための良好な提案をもたらすように、グレーディング装置において適用されてもよい。例えば、(例えば空における量に等しい)lumaの充分な量を有する領域及び複雑なテクスチャが決定されてもよい。単純な実施形態は、例えば、最も黒い黒色までの、バンディングされた領域の範囲より低い全てのコードを用いてもよい。
【0033】
第1の範囲のための追加のコードの量は、第1の幾何学形状領域のためのバンディング可視性基準に基づいて決定される。自動のアルゴリズムは、計画(例えば20%の追加のコード)によってもよい。典型的には、人間のグレーダはこれを認識するだろう。アルゴリズムは、例えばこれらの領域の色彩を点滅させることにより、劣化させなければならなかった領域を強調してもよい。従って、グレーダは、復元されたHDR Rec_HDRにおける充分な視覚的な画質のものかどうかを素早くチェックすることができる。
【0034】
最も実用的な実施形態において、過度なバンディングを示す第1の幾何学形状領域の識別は、典型的には、例えばバンディングされた領域に沿って波形のラインを走り書きすることにより、ユーザインタフェースユニット(105)を介して人間のグレーダにより最終的に実行される。復元された高ダイナミックレンジ画像(Rec_HDR)における第1の幾何学形状領域のバンディングの量、及び、復元された高ダイナミックレンジ画像(Rec_HDR)における第2の幾何学形状領域の復元の視覚的画質は、許容可能な又は許容不能として人間のグレーダにより判断される。許容可能という判断の場合には、再分配マッピング関数又はその逆の関数形状をエンコードする値は、画像信号においてエンコードされ、又は、許容不能という判断の場合には、これらのステップは、代替再分配マッピング関数をもたらすように異なるパラメータによって前と同じように行われる。例えば、10%より多いコードが(おそらく、拡張された隣り合うluma範囲L_uuを犠牲にして)バンディングされた領域に割り当てられてもよい。
【0035】
高ダイナミックレンジ画像(M_HDR)をエンコードする方法の興味深い実施形態は、低ルミナンスダイナミックレンジ画像(LDR_o)の画素色が、lumaチャネル並びにu´及びv´色座標としてエンコードされることである。u´及びv´色座標は、
【数3】
及び
【数4】
として計算される。X,Y及びZは、任意のRGB表現(即ち、CIE1976(u´,v´)色度表現)のために導出可能であるデバイス非依存の1931CIE色座標である。通常、レガシーの観点によれば、画像(とりわけLDR画像)は、YCrCb画像としてエンコードされるだろう。しかしながら、(例えばインターネット伝送のための)任意のコーデックを変える場合、Yuv成分平面として色成分をエンコードした方がよい。これは、も送信された画像の画質、及び、我々のシステムの種々の色変換を適用することの容易さにおいて幾つかの利点を有する(もちろん、レガシーのテレビは、これの良好な見た目の画像をもたらすことはできないだろう)。
【0036】
我々は、一般的に選ばれたluma定義を見出した(上記ステップの選ばれた完全なトーンマッピングストラテジにより規定され、LDR_o又はLDR_iにおけるlumaを最終的に取得する)。これらは、2つのluma非依存の色度座標、とりわけCIEにより規格化されたu´,v´座標と一緒に、規格の画像又はビデオ圧縮技術において用いられるべき良好な
符号化であるだろう。例えばHEVCに類似の圧縮技術は、典型的には、サンプルのブロックのDCTを行うことにより、少なくとも空間圧縮を適用するだろう。しかしながら、ビデオに関して、これらは、圧縮等に基づいて動作推定を行ってもよい。
【0037】
単純な実施形態において、色変換の機能的色変換動作のエンコーディングは、唯一の画像と関連付けられるか又は関連付け可能なメタデータにおいて以下のものを格納することにより、少しだけの単純なパラメータと通信され得る。
a)感度値(例えばRHO、又は、SENSと呼ばれるとともに以下に規定されるRHOを規定する等価パラメータ、又は、RHO値を決定するのを可能にするRHOの任意の関数又は相関物)
b)ガンマ値(GAM)
c)lumaをマッピングする任意の関数の機能的形状を特徴付ける多数の値
【0038】
高ダイナミックレンジ画像(M_HDR)をエンコードする方法は、低ダイナミックレンジ画像(LDR_o)の最大lumaを、復元された高ダイナミックレンジ画像(Rec_HDR)における考えられる値の特定の値にマッピングするためのゲイン値を決定すること、及び、画像信号(S_im)においてそのゲイン値をエンコードすることを有する。これは、例えば比較的暗いショットのLDR画像が比較的明るく表される場合、LDR画像から取得可能なRec_HDR画像の更なるスケーリングのために有益である。即ち、lumaを考えられるLDR lumasの範囲の比較的高い値まで上げる。それでも、HDR画像は、あまり明るくレンダリングされるべきでない。これは、あまり高過ぎないlumaによりこれをデコードすることにより最良に扱われる。
【0039】
高ダイナミックレンジ画像(M_HDR)をエンコードする方法は、低ダイナミックレンジ画像(LDR_o)における色に対する高ダイナミックレンジ画像(M_HDR)の色の彩度変更ストラテジ又はその反対を決定すること、及び、信号(S_im)におけるメタデータにおけるパラメトリック値としてこの彩度変更ストラテジを符号化することを有する。典型的には、グレーダは、画像の彩度の影響を受けたいだろう。例えば、彩度マッピングストラテジー、及び/又は、LDR_oからのRec_HDRの彩度により、M_HDRから取得されるLDR_oの彩度を変えてもよい(例えば、第1のトーンマッピングは、LDR_oにおいて有した値での取得されたRec_HDR色のu,v色度を残し、その後、これらのRec_HDR色の彩度を変える)。
【0040】
高ダイナミックレンジ画像(M_HDR)をエンコードする方法の幾つかの実施形態は、低ダイナミックレンジ画像(LDR_o)を決定するために上記の色マッピングのいずれかを適用した後に、再分配されたluma、即ち少なくとも画像のlumaサブレンジ及び幾何学領域のための典型的に僅かに変更された値のluma(即ち、再分配されたlumaの低ダイナミックレンジ画像LDR_i)を有する第2の低ダイナミックレンジ画像を決定するために更なる技術的トーンマッピングを適用すること(301)を有する。これは、少なくとも第2の低ダイナミックレンジ画像(LDR_i)のより重要な領域をグレーダに対して保証する。例えば、これらは、典型的な意図された観察者により慎重に見られる。これらは、例えば大きく且つ明るいものであり、バンディングを起こしやすいためである。充分なlumaコードは、予め決められた誤差基準(最小バンディング量)より低い誤差を有する復元された高ダイナミックレンジ画像(Rec_HDR)を復元することを可能にするために、これらの領域におけるテクスチャを充分な精度でエンコードするために割り当てられ得る。
【0041】
幾つかの実施形態は、任意の変なトーンマッピングストラテジを選ばないことが重要である。とりわけ、数学的画素色値においてM_HDRに近い良好な画質Rec_HDRを取得したい場合、LDR_iにおいてアンダーサンプリングされたテクスチャがないことを保証することを必要とする。これは、均一な量子化の前の最終的なマッピングがどこでもあまり平坦にならないことを保証する場合に生じる。
【0042】
典型的には、これは、例えばHDR画像上のバンディング検出部又は斯様な任意の予め決められたHDR復元誤差基準のようなluma計数ストラテジ及び/又はLDR画像上のluma計数ストラテジにより行われてもよい。幾つかの実施形態において、前記基準は、人間のグレーダにより実行されてもよい。その存在は、よりスマートな将来の世代のレシーバにより適用されるべき、S_imにおいて共同エンコードされた技術的リマッピングストラテジを有することにより理解され得る。
【0043】
本方法は、以下のものを有する高ダイナミックレンジ画像(M_HDR)をエンコードするように構成された画像エンコーダ(100)において具現化されてもよい。
− 高ダイナミックレンジ画像を低ルミナンスダイナミックレンジ(LDR_o)の画像に変換するように構成されたダイナミックレンジ変換ユニット(104)。ダイナミックレンジ変換ユニット(104)は、以下の処理順序で接続されるものを有する。
a)高ダイナミックレンジ画像を、[0,1]の範囲にあるluma軸に正規化し、正規化されたルミナンス(Yn_HDR)を出力するように構成された正規化部(601)。
b)正規化されたルミナンスにガンマ関数を適用し、ガンマ変換されたルミナンス(xg)を出力するように構成されたガンマ変換ユニット(602)。
c)luma(v)をもたらすよう、1.5〜5.0の間にある予め決められた量により0.1より低いこれらのガンマ変換されたルミナンスをブーストする第1のトーンマッピングを適用するように構成された第1のトーンマッピングユニット(603)。
d)luma(v)を低ダイナミックレンジ画像(LDR_o)の出力luma(Yn_LDR)にマッピングする任意の関数を適用するように構成された任意のトーンマッピングユニット(604)。
及び、画像エンコーダ(100)は、以下のものを更に有する。
− 低ダイナミックレンジ画像(LDR_o)の色に対してデータ整削減変換を適用するように構成された画像圧縮部(108)。これらの色は、成分画像において構成される。削減変換は、少なくともDCT変換を隣り合う色成分値のブロックに適用し、低ルミナンスダイナミックレンジ画像の画素色の圧縮された
符号化結果(LDR_c)をもたらす。
− 圧縮された
符号化結果(LDR_c)を画像信号(S_im)において出力するように構成され、加えて、色変換の関数形状又はこれらの逆関数のための値をメタデータとしてエンコードする値を画像信号(S_im)において出力するように構成されたフォーマッタ(110)。メタデータは、レシーバが低ルミナンスダイナミックレンジ画像(LDR_o)に基づいて高ダイナミックレンジ画像(Rec_HDR)を復元するのを可能にする。
【0044】
斯様なエンコーダの実際的な実施形態は、ガンマ変換ユニット(602)が1/(2.4)に等しいガンマ値を用いるものである。及び/又は、第1のトーンマッピングユニット(603)は、式
【数5】
により規定されるトーンマッピングを用いる。RHOは予め決められた値を有する。この値は、典型的には、マスターHDRエンコーディングM_HDRと関連付けられた基準ディスプレイ及び/又は意図された整備されたディスプレイのピーク輝度の関数である。
【0045】
画像エンコーダ(100)は、低ダイナミックレンジ画像(LDR_o)におけるlumaコードで最大のものを復元された高ダイナミックレンジ画像(Rec_HDR)の選ばれたluma値にマッピングすることを可能にするゲインを特定するように構成され、画像信号(S_im)におけるメタデータにおける値としてこのゲインを出力するように構成されたフォーマッタ(110)を有する。
【0046】
上記のエンコーダに係る請求項のいずれかに記載の画像エンコーダ(100)は、技術的トーンマッピングユニット(106)を有する。これは、低ダイナミックレンジ画像(LDR_o)のテクスチャ及び統計情報、とりわけ少なくとも1つの重要な幾何学形状領域を自動的に又は人間によるガイドにより決定するように構成される。少なくとも1つの重要な幾何学形状領域は、誤差、とりわけRec_HDRにおけるバンディングを復元する傾向にある。これに基づいて、低ダイナミックレンジ画像(LDR_o)に対して変換として適用されるための第2のトーンマッピング(Ff1、Ff2...)を計算する。第2の低ダイナミックレンジ画像(LDR_i)の少なくとも少し重要な誤差を起こしやすい領域のテクスチャを特徴付けるlumaコードの最小数(例えば1.3*L_u)を有する第2の低ダイナミックレンジ画像(LDR_i)をもたらす。これにより、予め決められた誤差基準より低い誤差を有する復元された高ダイナミックレンジ画像(Rec_HDR)を復元することを可能にする。エンコーディングの後にレシーバが我々のモードiiのシステムをミラーのように実装するのを可能にする必要な情報を通信することを可能にするために、以下のものを有する高ダイナミックレンジ画像信号(S_im)を送信(又は後に伝送のために格納)することが有益である。
− エンコードされた画素色を有する画素化された低ダイナミックレンジ画像(LDR_o)
− 感度値(RHO)
− ガンマ値(GAM)
− ゲイン値(GAI)
− 任意のトーンマッピング関数形状を特定する値のセット(P_CC)
【0047】
そして、これらの値から、レシーバは、唯一の通信されたLDR画像(LDR_o又はLDR_i)に適用されるべき全ての関数の関数形状を決定することができ、100nitのLDR画像より高いダイナミックレンジの任意の画像が必要とされるべきであり、計算されるべきである。
【0048】
とりわけ、S_imは、コンテンツの人間の作者/グレーダにより要求される芸術的なLDRグレーディングと技術的なLDRとの間のマッピングのための技術的リマッピングストラテジ(Ff1、Ff2...)を
符号化する値207を有してもよい。技術的なLDRは、サンプリングされたときに、良好なRec_HDR復元のための画像の全ての領域のための充分なluma、又は、自動画像分析ユニット又は人間により重要なものとして決定される少なくともこれらの領域を有する。
【0049】
とりわけ、これは有益である。非常に実際的に、とりわけ高ダイナミックレンジの画像がエンコードされたことを特定するインジケータ(IND)を画像信号S_imにおいて有することにより、及び、LDRディスプレイ上のレンダリングのために更なるトーンマッピングの必要なく直接使用可能である低ダイナミックレンジの画像としてこれをエンコードする方法によって、レシーバが幾つかの(非常に)異なる考えられるHDR画像エンコーディングメカニズムのうちどれが用いられたかを素早く決定するためである。エンコーディングの種々の斯様な手段は、任意のレシーバがこれを理解する限り、合意され得る。
【0050】
メモリ製品は、例えば、我々の高ダイナミックレンジ画像信号(S_im)の任意の実施形態を格納するブルーレイディスクである。
【0051】
受信側で画像通信チェインを有するために、高ダイナミックレンジ画像信号(S_im)を受信するように構成された画像デコーダであるか又はこれを有する種々のリアリゼーションを有してもよく、及び、以下のものを有する。
− 画像信号(S_im)からの圧縮され画素化された低ダイナミックレンジ画像(LDR_c)及びパラメータデータ(P)を取得するように構成されたデフォーマッタ(151)。
− 画素化された低ダイナミックレンジ画像(LDR_t)を取得するために圧縮され画素化された低ダイナミックレンジ画像(LDR_c)に対して少なくとも逆DCTを適用するように構成されたデコンププレッサ(152)。及び、低ダイナミックレンジ画像(LDR_t)を復元された高ダイナミックレンジ画像(Rec_HDR)に変換するように構成されたダイナミックレンジ変換ユニット(153)。ダイナミックレンジ変換ユニット(153)は、処理順序において、以下のものを有する。
a)任意のトーンマッピングを適用するように設けた任意のトーンマッピングユニット(402)。パラメータは、パラメータデータ(P)において受信される(P_CC)規定する。
b)第1のトーンマッピングを規定する少なくとも1つの受信したパラメータ(RHO)により規定されるマッピングを適用するように構成された第1のトーンマッピングユニット(403)。第1のトーンマッピングは、我々のエンコーダ又はエンコーディング方法の実施形態のいずれかによって前に決定されたものである。
c)受信したガンマ値(GAM)によりガンママッピングを適用するように構成されたガンマ変換ユニット(404)。
【0052】
このデコーダは、全ての典型的なレガシー、例えばHEVC又は類似の圧縮
された符号化結果を最初に元に戻すだろう。そして、逆の順序で種々のマッピングを適用するだろう(全ての実施形態において必要される全てのものが正確に逆の順序にあるわけではないことに留意されたい。例えばYu´v´において、最終結果が正確に又はおおよそ意図された色である限り、おそらく僅かに異なる数学的関数を伴って、逆の順序において直交するluma及び彩度処理を選択するかもしれない)。追加の処理ステップがあってもよいことに留意されたい。これは、受信側にのみ存在してもよい(例えば、画像は、Rec.2020のようなRGB表現においてエンコードされてもよいが、テレビ(例えばDCI−P3)により理解される他のフォーマットに変換される必要性があってもよく、TVの実際のプライマリに更に変換されてもよい)。
【0053】
従って、画像デコーダ(150)は、低ダイナミックレンジ画像(LDR_t)を復元された高ダイナミックレンジ画像(Rec_HDR)に変換するように構成されたダイナミックレンジ変換ユニット(153)を有するだろう。及び、典型的には、論理回路装置があってもよく、更なる色処理関数は、(例えば、どのディスプレイが現在接続されているか、及び、機能しているかに依存して)少なくともいつ何を行うかを規定する。
【0054】
画像デコーダの実際的な実施形態は、以下の形式の関数を適用するように構成された第1のトーンマッピングユニット(403)を有する。
【数6】
vは、画素lumaであり、RHOは、パラメータデータ(P)において受信される実数値化された又は整数パラメータである。
【0055】
画像デコーダ(150)の有益な実施形態は、第2の低ダイナミックレンジ画像(LDR_ul)を取得するために、画像信号(S_im)において受信された更なるトーンマッピング(Ff1、Ff2...)を低ダイナミックレンジ画像(LDR_t)に適用するように構成されたトーンリマッピングユニット(159)を有する。これは、少なくとも復元された高ダイナミックレンジ画像(Rec_HDR)の領域における低減されたバンディングを取得するための再分配されたlumaによって第2の低ダイナミックレンジ画像(LDR_i)をもたらすエンコーダ方法5〜7のいずれかにより適用されるコード再分配アクションを反転させたものである。実際には、エンコーダは、必ずしも任意のエンコーダがlumaを再分配する特定の変換関数をどのようにもたらすかを必ずしも知る必要があるというわけではない。実質的に意図されたLDRの見た目(LDR_ul)をもたらすように逆関数を適用することを必要とするだけである。
【0056】
デコーダの他の有益な実施形態は、LDR画像のYu´v´エンコーディングを理解することができ、RGB色表現においてYu´v´色表現を変換するように構成された色変換ユニット(155)を有する。トーンマッピングは、変換が行われる前に行われ得る。それ故、処理チェインの最後の部分に対するRGBへの変換を残す。あるいは、代わりに、変換が最初に行われてもよく、等価な色処理がRGB信号上で行われてもよい。
【0057】
デコーダのうちいずれかに対応して、高ダイナミックレンジ画像信号(S_im)をデコードする対応する方法は、パラメータデータ(P)においてエンコードされた色変換を低ダイナミックレンジ画像(LDR_t)に適用することにより、復元された高ダイナミックレンジ画像(Rec_HDR)を取得することを有する。とりわけ、高ダイナミックレンジ画像信号(S_im)をデコードする方法は、以下のステップを有する。画像信号(S_im)からのパラメータデータ(P)及び圧縮され画素化された低ダイナミックレンジ画像(LDR_c)を取得するステップ。画素化された低ダイナミックレンジ画像(LDR_t)を取得するために圧縮され画素化された低ダイナミックレンジ画像(LDR_c)に少なくとも逆DCT変換を適用することにより、圧縮され画素化された低ダイナミックレンジ画像(LDR_c)を解凍するステップ。以下のものにより、低ダイナミックレンジ画像(LDR_t)を復元された高ダイナミックレンジ画像(Rec_HDR)に変換するステップ。
a)任意のトーンマッピングを適用する。パラメータは、パラメータデータ(P)において受信される(P_CC)を規定する。
b)我々のエンコーダ又はエンコーディング方法の実施形態のいずれかにより前に決定された第1のトーンマッピングを規定する少なくとも1つの受信したパラメータ(RHO)により規定されるマッピングを適用する。
c)好ましくは2.4に等しい受信したガンマ値(GAM)によりガンママッピングを適用する。
我々は、グレーダが、HDRシーンのHDR画像上のLDRの見た目を、単純であるが依然として力強く最適化するのを可能にするシステムについて述べる。好ましくは、可能な限り少しの視覚的品質の犠牲しか払われない。しかしながら、LDRは、そのダイナミックレンジの制約に起因して何らかの最適化を必要としてもよいので、本システムは、グレーダが関心のあるシーンオブジェクト(即ち、このシーンにおける典型的に重要な特性オブジェクト)のマイクロコントラストを微調整するのを可能にする。これにより、何らかの輝度―質の犠牲が払われる必要がある場合に、シーンにおける主なオブジェクトよりもむしろ、背景における壁のような幾つかのあまり重要ではないオブジェクトの正確な見た目を犠牲にする。本発明は、信号において具現化される規定のパラメータのような種々の実施形態の中心的技術的要件を含むような、多くの他の(部分的な)手段において実現され得る。その多くのアプリケーションは、種々の考えられる信号について通信、使用、色変換等を行うようにもたらしてもよい。及び、種々のハードウェアコンポーネントを取り込むか、又は、消費者向け又はプロフェッショナル向けのシステムにおいて種々の方法を用いる種々の手段をもたらしてもよい。任意の成分は、もちろん、小さな成分において又はそれとして実現されてもよく、又は、その逆に、この成分のため主に機能する大きな装置又はシステムの中心として実現されてもよい。
【0058】
本発明による方法及び装置のこれらの及び他の態様は、後述される実装及び実施形態、及び単により一般的な概念を例証する非限定的な特定の図としての役割を果たす添付の図面から明らかになり、これらを参照して説明されるだろう。