(58)【調査した分野】(Int.Cl.,DB名)
前記インジケータが、どれだけ正確にMビット表現におけるコード化可能な色の範囲に沿った全てのルマ又は色値が、Nビット信号のコード化可能範囲に沿って分配されるかに関する情報を有する、請求項1に記載の装置。
前記第1の色表現が、前記第1の色表現の各色成分に対して別々の色値を採用し、前記第2の色表現が、共通指数因子と一緒に前記第2の色表現の各色成分に対する色値のセットを採用する、請求項1に記載の装置。
前記画像信号が、画素画像データに対するセグメントを有し、前記第1の生成器が、前記セグメント内にローダイナミックレンジ画素値又は第2の色表現による前記ハイダイナミックレンジ画素値を含めるように構成され、前記インジケータは、第1のセグメントがローダイナミックレンジ画素値を有するのか又はハイダイナミックレンジ画素値を有するのかを示す、請求項1に記載の装置。
前記第2の生成器は、前記画像信号内に第2のインジケータを含め、前記第2のインジケータは、前記セグメントがローダイナミックレンジ画素値を有する場合及び前記セグメントがハイダイナミックレンジ画素値を有する場合の両方に、前記セグメントがローダイナミックレンジ画素値を符号化していると記述する、請求項8に記載の装置。
前記プロセッサが、前記インジケータにより示される前記Nビットワードにおいて使用されるコーディングに依存して、レンダリング可能な出力信号を表示するように前記Nビットワードをマッピングするように処理を適応させる、請求項13に記載の装置。
前記プロセッサが、ディスプレイと関連付けられた第2の輝度範囲に対して、前記Nビットワードと関連付けられた第1の輝度範囲に沿ったグレイ値のマッピングを実施する色変換を適用し、前記色変換が、前記ピークホワイト、又は前記Nビットワードを用いてコード化可能な最大輝度のシーン輝度レベルを特徴づけるホワイトレベル指標に依存する、請求項13に記載の装置。
前記画像信号が、HDMI(登録商標)規格により、前記装置が、HDMI(登録商標)ベンダ固有データブロック内のハイダイナミックレンジ画素値を処理する能力の指標を伝送する手段を有する、請求項13に記載の装置。
【発明の概要】
【発明が解決しようとする課題】
【0006】
結果として、消費者が最新の(及び未来の)センサ及びディスプレイシステムの性能から完全に利益を得ることを可能にする新しいアプローチに対するニーズが高まっている。好ましくは、このような追加の情報の表現は、レガシー機器が依然として通常のビデオストリームを受信することができる一方で、新しいHDR使用可能装置が新しいフォーマットにより伝達される追加の情報を完全に利用することができるように後方互換性がある。このように、符号化されたビデオデータがHDR画像を表すだけでなく、従来の機器で表示されることができる対応する従来のローダイナミックレンジ(LDR)画像の符号化をも可能にすることが、望ましい。
【0007】
増大されたダイナミックレンジビデオ及び画像の導入に対する重大な問題は、関連した情報を効果的に符号化、記憶及び分配する方法である。特に、後方互換性が維持され、既存のシステムに対するハイダイナミックレンジの導入が容易化されることが、望ましい。また、データレート及び処理複雑性に関する効率も重要である。他の重大な問題は、もちろん、結果として生じる画質である。
【0008】
したがって、ハイダイナミックレンジ画像を分配、通信及び/又は表現する改良されたアプローチが、有利である。
【0009】
したがって、本発明は、好ましくは、従来技術の1つ又は複数の不利点を単独で又はいかなる組み合わせでも軽減、緩和又は消去しようとする。
【課題を解決するための手段】
【0010】
本発明の一態様によると、画素ごとに少なくともルマ(luma)を符号化して、画素がNビットワードに符号化される、画像信号を生成する装置が提供され、前記装置は、Mビットワードの第1の色表現によってハイダイナミックレンジ画素値を得る受信器と、第2の色表現によって前記Nビットワードの前記画像信号内に前記ハイダイナミックレンジ画素値を含める第1の生成器と、ハイダイナミックレンジ画素値が符号化されるインジケータを前記画像信号内に含める第2の生成器とを有する。
【0011】
画素値ワードが、例えば成分のような分離されたデータセクション上で符号化されることができる、又は、一部のセクションが、ハイダイナミックレンジ(HDR)パースではないデータを有することができることに注意する。
【0012】
本発明は、ハイダイナミックレンジ(HDR)画像データを分配するように改良された画像信号を提供することができる。このアプローチは、特に、多くの応用において改良された後方互換性を提供することができる及び/又は例えば既存の画像及びビデオシステムへのHDR画像分配の導入を容易化することができる。
【0013】
前記画像信号は、デジタル画像ファイルのような単一の画像信号であることができるか、又は例えば複数の画像を有するビデオ信号であることができる。
【0014】
前記Nビットワードは、異なる色成分を別々に及び個別に表すことができる複数の成分を有することができる。1つのNビットワードが、複数の色成分を表してもよい。前記Nビットワードは、個別の色成分に割り当てられることができる異なるセグメントに分割されることができる。例えば、N1ビットは、第1の色成分に対する画素データに対して使用されることができ、N2ビットは、第2の色成分に対する画素データに対して使用されることができ、N3ビットは、第3の色成分に対する画素データに対して使用されることができる(ここで例えばN1+N2+N3=N)。具体例として、RBG色表現が、Nビットワードにおいて提供されることができ、ここでN/3ビットは、R、G及びB色成分の各々に割り当てられる。
【0015】
同様に、前記Mビットワードは、異なる色成分を別々に及び個別に表すことができる複数の成分を有することができる。1つのMビットワードが、複数の色成分を表してもよい。前記Mビットワードは、個別の色成分に割り当てられることができる異なるセグメントに分割されることができる。例えば、M1ビットは、第1の色成分に対する画素データに対して使用されることができ、M2ビットは、第2の色成分に対する画素データに対して使用されることができ、M3ビットは、第3の色成分に対する画素データに対して使用されることができる(ここで例えばM1+M2+M3=M)。
【0016】
前記画像信号は、単一の連続的かつ包括的画像信号であることができる。しかしながら、他の実施例において、前記画像信号は、合成画像又は分割された画像信号であってもよい。例えば、前記Nビットワードの形式の画像に対する画素データは、複数のデータパケット又はメッセージにわたり広がっていてもよい。同様に、前記インジケータは、前記Nビットワードと一緒に又は別々に提供されてもよく、例えばメモリの異なる部分に記憶される、又は異なる通信リンクを介して提供される。例えば、前記インジケータは、前記Nビットワードとは異なるデータパケット又はメッセージにおいて送信されることができる。例えば、前記画像信号は、画像データパケット及び制御データパケットに分割されてもよく、前記Nビットワードは前者において提供され、前記インジケータは後者のタイプのデータパケットにおいて提供される。最小に、エンコーダ及びデコーダは、固定された利用可能なNビットワードにHDRデータを符号化する固定された(単一又は複数)方法を持ち、前記インジケータは単純であり、符号化されたデータが、LDRデータではなく、"HDRデータ"又は例えば "HDRタイプ1"若しくは"HDRタイプ2"データを表すということにする。受信側は、この場合、合意した例えばタイプ2符号化シナリオによって、これをディスプレイ(又はプリンタ等)でレンダリングされるべき信号に最終的に変換する方法を知る。このようなシナリオは、例えば(ピークホワイト5000ニトに対応するコード最大値を持つ16ビット・ルマ、又はピークホワイト550000ニトを持つ22ビット・ルマを持つ)任意のHDRオリジナルが、まず(550000ニトの明るい対象はいずれにしろレンダリングされることができず、好ましくは依然としてディスプレイ上でレンダリングされることができる膨大な輝度を伝達する何らかの値にまず等級分けされるので、表示に対してより使用可能である)中間信号に変換される場合に、使用されることができる。現実世界のシーン表現を有用なレンダリング可能信号に変換する難しい数学的又は芸術的選択は、撮像チェーンのこの部分から行われ、以前の部分において対処され、タイプ2符号化は、最後に中間Mビット表現で終わるものを、タイプ2のNビット表現に変換することのみに対処すべきである。しかしながら、前記インジケータは、より複雑、又は他の形で規定され、どれだけ正確にマッピングが前記Nビット信号に対して行われたかを指定する追加のデータを相互供給され、例えば22ビット/550000ニトオリジナルが、第2の撮像チェーン部分に直接的に付加され、前記Nビット信号に変換されることができる。このような場合、有用な情報は、例えば550000ニトレベル(又は算出されたホワイト値、例えば、前記ディスプレイが6000ニトに等しいディスプレイ出力輝度として第1のホワイト[すなわち例えばY=1023のコード値を持つ画素]をレンダリングし、10000ニトに等しいディスプレイ出力輝度として第2のものをレンダリングすることができる10000ニトのピークホワイトを示すことができる場合に、例えば実際に受信するディスプレイがピークホワイトとして最大に生成することができるものによって最適にマッピングすることができる、すなわち50000ニトのホワイトレベルを持つデータとは異なって例えば5000ニトの符号化されたホワイトレベルを持っていたデータをレンダリングする、[関連したディスプレイ輝度の一例と見なされることができる]推定された、スケーリングされた、若しくは基準ディスプレイ上でレンダリングされることを意図されたホワイトレベル)の仕様書のような、(例えばMビットワードの第1の符号化と関連付けられた第1の輝度範囲と前記Nビットワードの第2の範囲との間のスケーリングと関連付けられた)(線形)スケーリング情報である。更に、どれだけ正確にMビット表現におけるコード化可能な色に沿った全てのルマ又は色値が、例えば最良の可能な方法で新しいNビット表現内のビットを使用し、例えばマッピング関数を共に符号化することにより、前記Mビット表現における入力されたピクチャにおける輝度範囲に沿って様々な重要なオブジェクトの全てのテクスチャを可能な限り正確に符号化するように、前記Nビット信号のコード化可能範囲に沿って分配されるかに関する情報を含めることが、有用でありうる。もちろん、これらの全てが、異なるNビット符号化統計を生じる異なる画像統計を用いて、例えばLDR符号化で最良に表現されうる簡素な屋内の明るいシーンと、よりHDR調整された変数で最良に表現されうる華やかで鮮やかな花火を持つ外のシーンとの間で切り替わる、映画の異なるシーンの間で動的に変化することができる。
【0017】
本発明のオプションのフィーチャによると、第1の色表現は、第2の色表現とは異なる。
【0018】
これは、多くの実施例において改良された性能を提供することができ、多くのシナリオにおいて、特に、HDR画像データの高度に効率的な通信を可能にすることができる。前記装置は、特に特定の分配媒体の要件、特徴及び/又は優先傾向にマッチするようにHDR画像データを適応させることができる。
【0019】
本発明のオプションのフィーチャによると、前記装置は、第1の色表現から第2の色表現にハイダイナミックレンジ画素値を変換する変換ユニットを更に有する。
【0020】
これは、多くの実施例において改良された性能を提供することができ、多くのシナリオにおいて、特に、HDR画像データの高度に効率的な通信を可能にすることができる。前記装置は、特に特定の分配媒体の要件、特徴及び/又は優先傾向にマッチするようにHDR画像データを適応させることができる。
【0021】
本発明のオプションのフィーチャによると、前記変換は、NビットワードへのMビットワードの圧縮を有し、ここでMはNより大きい。
【0022】
HDRコンテンツを分配する、より効率的な画像信号は、多くの実施例において達成されうる。より効率的な分配を可能にする圧縮は、例えば、例えば線形Mビットワード色表現を非線形Nビットワード色表現に変換するのに非線形変換を使用することができる。
【0023】
本発明のオプションのフィーチャによると、前記圧縮は、第2の色表現による画素値に対して、第1の色表現による画素値とは異なる量子化スキームを使用することを含む。
【0024】
HDRコンテンツを分配する、より効率的な画像信号は、多くの実施例において達成されうる。第2の色表現に対する量子化スキームは、例えば、前記ダイナミックレンジが、より少数の量子化レベルによりカバーされることを可能にすることができ、NがMより小さいことを可能にすることができる。第2の色表現に対する量子化スキームは、例えば、色成分値及び/又は輝度ダイナミックレンジの非一様量子化であることができる。
【0025】
本発明のオプションのフィーチャによると、第1の色表現は、第2の色表現と同じである。
【0026】
これは、多くのシナリオにおいて効率的な表現及び/又は低い複雑さ及び/又は容易化された動作を可能にしうる。特に、低い複雑さ及び低い計算リソース処理が、ハイダイナミックレンジ画像を効率的に処理するのに使用されることを可能にすることができる。
【0027】
本発明のオプションのフィーチャによると、前記インジケータは、第2の色表現と関連付けられたディスプレイ輝度の指標を有する。
【0028】
前記画像信号は、どのようにして提供された画素値が意図された輝度に名目上関連付けられるかの指標を含みうる。このアプローチは、例えば、前記画像信号を受信するディスプレイが、前記ディスプレイの実際の特徴に対応するように前記画素値のレンダリングを適応させることを可能にすることができる。例えば、変換は、第2の色表現と関連付けられた名目上又は基準ディスプレイから前記レンダリングに対して使用される実際のディスプレイへの正確な又は適切な変換を提供するように適用されることができる。
【0029】
前記インジケータは、特に、基準画素値に対応する基準輝度の指標を提供することができる。例えば、第2の色表現の最高輝度を表す画素値に対応する輝度は、前記インジケータにより示されることができる。
【0030】
このアプローチは、いかなるHDR空間も、符号化されることを可能にし、同時にいかなるディスプレイにも表示されることを可能にすることができる。例えば、HDR画像は、50000ニトの最高輝度放射を持つダイナミックレンジに対応するように符号化されることができる。しかしながら、このような信号を1000ニトディスプレイ上でレンダリングする場合、符号化されたダイナミックレンジと前記レンダリングのダイナミックレンジとの間のインテリジェントマッピングを提供することが望ましい。このような変換は、第2の色表現と関連付けられたディスプレイ輝度を示す前記インジケータにより改良及び/又は容易化されることができる。
【0031】
本発明のオプションのフィーチャによると、前記インジケータは、第2の色表現の指標を有する。
【0032】
これは、性能を改良する及び/又はレンダリングを容易化することができる。特に、これは、前記画像信号を受信する装置が、使用される特定の色表現に対して処理を最適化することを可能にすることができる。色表現は、どのようにデータ値がパックされるか(例えば、第一にルマ、次いで3ビット成分としてのヒュー、次いで連続したワードビットの何らかの割り当てマッピングによる飽和)、及び何を意味するか(いずれの原色か等)の両方を指定することができる。
【0033】
本発明のオプションのフィーチャによると、第1の色表現は、第1の色表現の各色成分に対して別の色値を使用し、第2の色表現は、共通の指数因子と一緒の第2の色表現の各色成分に対する色値のセットを使用する。
【0034】
これは、特に効率的な表現を提供することができる。第2の色表現の各色成分に対する色値のセットは、色成分輝度値の線形又は(例えば対数のような)非線形表現に対応することができる。
【0035】
本発明のオプションのフィーチャによると、前記画像信号は、画素画像データに対するセグメントを有し、第1の生成器は、代替的には、前記セグメント内の第2の色表現によってローダイナミックレンジ画素値又はハイダイナミックレンジ画素値を含むように構成され、前記インジケータは、第1のセグメントがローダイナミックレンジ色値を有するか又はハイダイナミックレンジ色値を有するかを示すように構成される。
【0036】
これは、特に有利な表現を提供することができる。多くのシナリオにおいて、これは、改良された後方互換性を提供する及び/又は既存のシステム又は規格におけるHDRの導入を容易化することができる。このアプローチは、特に、ローダイナミックレンジ画像分配に対する既存のビデオ分配アプローチが、ハイダイナミックレンジ画像分配に容易に適応させられることを可能にすることができる。
【0037】
前記セグメントは、例えば、強化された色データの通信に対して予約されたセグメントであることができる。例えば、画像信号規格は、画像データが標準色表現によって及び強化された色表現によって通信されることを可能にすることができ、前記強化された色表現は、標準色表現に対して改良された色度表現を可能にする(例えば、より細かい色度量子化、又はより幅広い範囲)。典型的には、前記強化された色表現は、標準的色表現より多くのビットを使用することができる。このアプローチは、前記強化された色表現に対して予約されたセグメントがハイダイナミックレンジデータの通信に対して使用されることを可能にすることができる。
【0038】
本発明のオプションのフィーチャによると、第2の生成器は、前記画像信号に第2のインジケータを含めるように構成され、第2のインジケータは、前記セグメントがローダイナミックレンジ画素値を有する場合及び前記セグメントがハイダイナミックレンジ画素値を有する場合の両方に前記セグメントがローダイナミックレンジ画素に対して使用されることを示す。
【0039】
これは、特に有利な表現を提供することができる。多くのシナリオにおいて、これは、改良された後方互換性を提供する及び/又は既存のシステム又は規格におけるHDRの導入を容易化することができる。このアプローチは、特に、ローダイナミックレンジ画像分配に対する既存のビデオ分配アプローチが、ハイダイナミックレンジ画像分配を可能にするように容易に適応させられることを可能にすることができる。
【0040】
ハイダイナミックレンジデータを含む場合でさえ前記セグメントがローダイナミックレンジデータを使用することを示しうる第2のインジケータの使用は、このインジケータに基づく処理又は分配が、ローダイナミックレンジデータに対するものと同じであることを保証するのに使用されることができる。これは、不一致を避けることができ、特に、ハイダイナミックレンジデータを処理することができない機能性又は第1のインジケータが依然として前記信号を処理することを可能にすることができる。他の機能性は、前記画素値をハイダイナミックレンジデータとして処理するように第1のインジケータを利用することができる。例えば、一部の実施例において、レンダリングディスプレイのみが、画素データを処理するのに第1のインジケータを使用するのに対し、介在する分配又は記憶機能性は、第2のインジケータのみに基づき、したがって、第1のインジケータ又は実際にハイダイナミックレンジ画素値を処理することができる必要がない。第2のインジケータは、既存の標準化されたインジケータであることができ、第1のインジケータは、既存の規格に導入される新しいインジケータである。
【0041】
本発明のオプションのフィーチャによると、前記セグメント内の各画素に対して予約されたビット数Kは、Nより大きい。
【0042】
これは、多くのシナリオにおいて、改良された及び/又は容易化された動作を可能にすることができ、K−Nビットは、例えば色度強化データのような他のデータの通信に対して使用されることができる。
【0043】
本発明のオプションのフィーチャによると、画像コード化信号は、HDMI規格による。
【0044】
本発明は、HDMI(登録商標)によって分配に対して特に有利なHDMI(高精細度マルチメディアインターフェース)画像信号を提供することができる。
【0045】
本発明のオプションのフィーチャによると、第1の生成器は、ディープカラーデータセグメントにハイダイナミックレンジ画素値を含めるように構成される。
【0046】
これは、特に有利なアプローチを提供することができ、特に、改良された後方互換性を可能にすることができる。
【0047】
本発明のオプションのフィーチャによると、第2の生成器は、補助ビデオ情報インフォフレームに前記インジケータを含めるように構成される。
【0048】
これは、特に有利なアプローチを提供することができ、特に、改良された後方互換性を提供することを可能にすることができる。
【0049】
本発明のオプションのフィーチャによると、前記画像コード化信号は、ディスプレイポート規格による。
【0050】
本発明は、ディスプレイポート(登録商標)規格による分配に対する特に有利なディスプレイポート画像信号を提供することができる。
【0051】
本発明の一態様によると、画素ごとに少なくともルマを符号化して、画素がNビットワードに符号化される、画像信号を生成する方法が提供され、前記方法は、Mビットワードにおいて第1の色表現によるハイダイナミックレンジ画素値を得るステップと、第2の色表現によって前記Nビットワードにおいて前記画像信号に前記ハイダイナミックレンジ画素値を含めるステップと、前記ハイダイナミックレンジ画素値が符号化されるインジケータを前記画像信号に含めるステップとを有する。
【0052】
本発明の一態様によると、画像信号を処理する装置が提供され、前記装置は、前記画像信号を受信する受信器であって、前記画像信号のデータセグメントが、第1の色表現によるNビットワードのハイダイナミックレンジ画素値及び第2の色表現によるローダイナミックレンジ画素値の一方を有し、前記受信器は、前記データセグメントが前記ハイダイナミックレンジ画素値を有するか又は前記ローダイナミックレンジ画素値を有するかを示すインジケータを受信する、前記受信器と、前記データセグメントのデータを抽出する抽出器と、前記インジケータに依存してハイダイナミックレンジ画素値として又はローダイナミックレンジ画素値として前記データセグメントのデータを処理するように構成されたプロセッサとを有する。
【0053】
本発明のオプションのフィーチャによると、前記画像信号は、HDMI規格により、前記装置は、HDMIベンダ固有データブロックにおいてハイダイナミックレンジ画素値を処理する能力の指標を送信する手段を更に有する。
【0054】
これは、特に有利な画像信号分配を可能にすることができる。特に、これは、改良された後方互換性及び/又はHDMIシステムにおけるHDR情報の容易化された導入を提供することができる。
【0055】
本発明の一態様によると、画像信号を処理する方法が提供され、前記方法は、前記画像信号を受信するステップであって、前記画像信号のデータセグメントが、第1の色表現によるNビットワードのハイダイナミックレンジ画素値及び第2の色表現によるローダイナミックレンジ画素値の一方を有する、ステップと、前記データセグメントが前記ハイダイナミックレンジ画素値を有するか又は前記ローダイナミックレンジ画素値を有するかを示すインジケータを受信するステップと、前記データセグメントのデータを抽出するステップと、前記インジケータに依存してハイダイナミックレンジ画素値として又はローダイナミックレンジ画素値として前記データセグメントのデータを処理するステップとを有する。
【0056】
本発明の一態様によると、画素ごとに少なくともルマを符号化して、画素がNビットワードに符号化される、画像信号が提供され、前記画像信号は、色表現による前記Nビットワードの前記画像信号内の前記ハイダイナミックレンジ画素値と、ハイダイナミックレンジ画素値が符号化されるインジケータとを有する。
【0057】
本発明のこれら及び他の態様、フィーチャ及び利点は、以下に記載される実施例を参照して説明され、明らかになる。
【0058】
本発明の実施例は、図面を参照して、例としてのみ、説明される。
【発明を実施するための形態】
【0060】
図1は、オーディオビジュアル分配経路の例を示す。この例において、コンテンツプロバイダ装置101は、例えば、映画、テレビ番組等のようなオーディオビジュアルコンテンツに対してオーディオビジュアルコンテンツ信号を生成する。コンテンツプロバイダ101は、適切な符号化フォーマット及び色表現によって前記オーディオビジュアルコンテンツを特定的に符号化することができる。特に、コンテンツプロバイダ装置101は、例えばYCrCbのような適切な表現によってオーディオビジュアルコンテンツアイテムのビデオシーケンスの画像を符号化することができる。コンテンツプロバイダ装置101は、前記コンテンツを作成及び放送する製作及び分配ハウスを表すとみなされることができる。
【0061】
前記オーディオビジュアルコンテンツ信号は、次いで、分配経路105を介してコンテンツ処理装置103に分配される。コンテンツ処理装置103は、例えば、前記コンテンツアイテムの特定の消費者とともにあるセットトップボックスであることができる。
【0062】
前記オーディオビジュアルコンテンツは、符号化され、コンテンツプロバイダ装置101から、例えばパッケージ媒体(DVD又はBD等)、インターネット又は放送からなることができる媒体を通って分配される。これは、前記コンテンツを復号及び再生する機能性を有するコンテンツ処理装置103の形式のソース装置に到達する。
【0063】
分配経路105が、いかなる媒体を介する又はいかなる適切な通信規格を使用するいかなる分配経路であってもよいと理解されたい。更に、前記分配経路は、リアルタイムである必要はないが、永久記憶又は一次記憶を含んでもよい。例えば、前記分配経路は、インターネット、衛星又は地上波放送等、DVD又はブルーレイディスク(登録商標)又はメモリカード等のような物理的に分配される媒体に対する記憶を含むことができる。同様に、コンテンツ処理装置103は、ブルーレイ(登録商標)プレーヤ、衛星又は地上波テレビ受信器等のようないかなる適切な装置であってもよい。
【0064】
コンテンツ処理装置103は、通信経路109を介してディスプレイ107に結合される。コンテンツ処理装置103は、前記オーディオビジュアルコンテンツアイテムを表すオーディオビジュアル信号を有するディスプレイ信号を生成する。前記ディスプレイ信号は、特に、前記オーディオビジュアルコンテンツ信号と同じであってもよい。このようにして、ソース装置は、復号されたコンテンツをシンク装置に流し、前記シンク装置は、テレビ又はデジタル信号を物理的表現に変換する他の装置でありうる。
【0065】
一部の実施例において、前記オーディオビジュアルコンテンツの画像を表すデータは、前記オーディオビジュアルコンテンツ信号に対して及び前記ディスプレイ信号に対して同じである。この例において、ディスプレイ107は、例えば増大されたダイナミックレンジを持つ画像の生成を含む画像処理に対する機能性を有することができる。しかしながら、一部の実施例において、コンテンツ処理装置103は、前記データに対して例えば画像強化又は信号処理アルゴリズムを実行することができ、特に前記(処理された)オーディオビジュアル信号を復号及び再符号化することができる。前記再符号化は、前記オーディオビジュアルコンテンツ信号に対するものとは異なる符号化又は表現フォーマットでありうる。
【0066】
図1のシステムは、ハイダイナミックレンジ(HDR)ビデオ情報を提供するように構成される。更に、例えば改良された後方互換性を提供するために、これは、一部のシナリオにおいて、LDR画像が提示されることを可能にするローダイナミックレンジ(LDR)情報を提供することもできる。特に、前記システムは、LDR及びHDR画像の両方に関する画像信号を通信/分配することができる。
【0067】
以下に記載されるアプローチは、コンテンツプロバイダ装置101からコンテンツ処理装置103へのリンク105及びコンテンツ処理装置103からディスプレイ107へのリンク109のいずれか一方又は両方に使用されることができる。更に、前記アプローチは、例えば異なる色表現又は符号化規格を使用することにより、2つの経路に対して異なって使用されることができる。以下の記載は、しかしながら、簡潔さ及び明確さのために、オーディオビジュアルセットトップボックスと、対応するディスプレイとの間のインタフェースに対する前記アプローチの使用に焦点を合わせる。このようにして、この記載は、
図1のコンテンツ処理装置103とディスプレイ107との間の通信経路109に対する使用に焦点を合わせる。
【0068】
従来のディスプレイは、典型的には、LDR表現を使用する。典型的には、このようなLDR表現は、特定の原色に関する三成分8ビット表現により提供される。例えば、RGB色表現は、それぞれ赤、緑及び青の原色に対して参照された3つの8ビットサンプルにより提供されることができる。他の表現は、1つのルマ成分及び2つの色成分を使用する(例えばYCrCb)。これらのLDR表現は、所定の輝度又はルマ範囲に対応する。
【0069】
しかしながら、増加的に、より大きなダイナミックレンジを獲得することができる画像獲得装置が、提供される。例えば、カメラは、典型的には、12ビット、14ビット又は16ビットの範囲を提供する。このようにして、従来の標準的なLDR8ビットカメラと比較して、HDRカメラは、より明るい白から所定の黒までの範囲を取る12ビット、14ビット(又はそれ以上)を正確に(線形に)獲得することができる。このようにして、前記HDRは、LDRに対応するデータサンプルに対して増加するビット数に対応することができ、これにより、より高いダイナミックレンジが表されることを可能にする。
【0070】
HDRは、特に、大幅に明るい画像(又は画像領域)が提示されることを可能にする。実際に、HDR画像は、対応するLDR画像により提供されることができるものより実質的に明るい白を提供することができる。実際に、HDR画像は、前記LDR画像より少なくとも4倍明るい白が可能でありうる。輝度は、特に、表されることができる最も暗い黒に対して測定されることができるか、又は所定のグレイ又は黒レベルに対して測定されることができる。
【0071】
前記LDR画像は、特に、原色の特定のセット及び/又は特定の白点に関する固定ビット解像度のような特定のディスプレイパラメータに対応することができる。例えば、8ビットは、RBG原色の所定のセット及び例えば500Cd/m
2の白点に対して提供されることができる。前記HDR画像は、これらの制約の上でレンダリングされるべきであるデータを含む画像である。特に、輝度は、前記白点より4倍以上明るくてもよい(例えば2000CD/m
2)。
【0072】
ハイダイナミックレンジ画素値は、(典型的なRGB原色及び最大駆動レベル[255、255、255]を持つD65白、例えば500ニト以下の基準輝度を持つ)NTSC及びMPEG−2時代に標準化されたディスプレイに正確に表示されることができる範囲より(大幅に)大きい輝度コントラスト範囲(最も暗い輝度により除算された画素のセットの最大輝度)を持つ。典型的には、このような基準ディスプレイに対して、8ビットは、視覚的に小さなステップで約500ニトないし約0.5ニトとの間(すなわちコントラスト範囲1000:1以下)の全てのグレイ値を表示するのに十分であるのに対し、HDR画像は、より高いビット、例えば(より大きなウェル深度及びDAC、例えば14ビットを持つカメラにより獲得される)10ビットで符号化される。特に、HDR画像は、典型的には、シーンホワイトより上の(明るい画像オブジェクトの)多くの画素値を含む。特に、複数の画素は、シーンホワイトの2倍明るい。このシーンホワイトは、典型的には、NTSC/MPEG−2基準ディスプレイの白と同等とみなされることができる。
【0073】
前記HDR画像に対して使用されるビット数Xは、典型的には、LDR画像に対して使用されるビット数Yより大きいか又は等しくてもよい(Xは典型的には(複数のチャネルが使用される場合に色チャネル毎に)例えば10若しくは12、又は14ビットであることができ、Yは例えば8又は10であることができる)。変換/マッピングは、より小さな範囲に画素をフィットさせる、例えば圧縮スケーリングに必要とされうる。典型的には、非線形変換が含まれることができ、例えば、対数符号化は、ある値から次への輝度差ステップが等距離ではないが、人間視覚系に対して等距離であることを必要とされる場合に、線形符号化より大幅に大きな輝度範囲をXビットワードにおいて(ルマとして)符号化することができる。
【0074】
図2は、画像信号を生成する装置を示す。前記画像信号において、画素は、Nビットワードに符号化され、少なくとも1つのルマが、画素ごとに符号化される。前記Nビットワードは、複数の個別の成分を有することができる。例えば、画素を表すNビットワードは、前記画素に対する特性を表す複数のビットを各々含む複数のセクションに分割されることができる。例えば、前記Nビットワードは、原色に対応する画素値成分を各々含む複数のセクションに分割されることができる。例えば、Nビットワードは、R画素値を提供するビットを含む1つのセクション、G画素値を提供するビットを含む他のセクション、及びB画素値を提供するビットを含む第3のセクションによりRGB画素値を提供することができる。
【0075】
HDR画素値を表すNビットワードは、色表現によって提供される。例えばRGB又はYCrCb色表現を含む、HDR画素が表されることを可能にするいかなる適切な色表現も使用されることができると理解されたい。3より多い原色を使用する複数原色表現が使用されうることも理解されたい。
【0076】
前記装置は、画像コンテンツ生成から画像コンテンツレンダリングまでの前記分配経路のいかなる適切な場所においても使用されることができると理解されたい。しかしながら、以下の記載は、前記装置が
図1のコンテンツ処理装置103の一部として実施される実施例に焦点を合わせる。
【0077】
前記装置は、Mビットワードにおいて第1の色表現によってハイダイナミックレンジ画素値を受信する受信器201を有する。受信器201は、特に、HDR画像に対する画素値を有する画像信号を受信することができる。前記信号は、如何なる適切な外部又は内部ソースからも受信されることができるが、具体例において、前記信号は、コンテンツプロバイダ装置101からコンテンツ処理装置103により受信される。
【0078】
図2の装置により生成されたNビットワードと同様に、受信されたMビットワードは、複数の個別の成分を有することもできる。例えば、画素を表すMビットワードは、前記画素に対する特性を表す複数のビットを各々含む複数のセクションにおいて提供されることができる。例えば、前記Mビットワードは、原色に対応する画素値成分を各々含む複数のセクションに分割されることができる。例えば、Mビットワードは、R画素値を提供するビットを含む1つのセクション、G画素値を提供するビットを含む他のセクション、及びB画素値を提供するビットを含む第3のセクションによりRGB画素値を提供することができる。
【0079】
また、前記HDR画素値を提供するMビットワードは、第1の色表現によって提供される。例えばRGB又はYCrCb色表現を含む、HDR画素が表されることを可能にするいかなる適切な色表現も、使用されることができると理解されたい。また、3より多い原色を使用する複数原色表現が使用されることができることも理解されたい。簡潔さ及び明確さのために、以下の記載は、RGB色表現によるMビットワードとしてHDR画素値を有する入力信号に焦点を合わせる。
【0080】
一部の実施例において、前記(入力)Mビットワードの色表現(第1の色表現)及び前記(出力)Nビットワードの色表現(第2の色表現)は、同じであることができ、実際にNは、Mに等しくてもよい。このようにして、一部の実施例において、受信された(入力)画像信号に対するものと同じ色表現が、前記(出力)画像信号に対して使用されてもよい。
【0081】
図2の例において、受信器201は、前記画像信号にNビットワードを含めるように構成された第1の生成器203に結合される。具体例において、これは、前記画像に対する前記Nビットワードを含むデータパケットを生成することによりなされる。更に、この例において、入力及び出力信号に対するワードの色表現及び長さは同じであり、このようにして第1の生成器203は、例えばMビット値を有する適切なデータパケット又はセグメントを直接的に生成することにより、前記出力画像信号において前記HDR画素値を表す受信されたMビットワードを直接的に含めることができる。
【0082】
受信器201は、HDR画素値が前記画像信号において符号化されることを示すインジケータを生成し、前記画像信号に含めるように構成される第2の生成器205に更に結合される。このようにして、インジケータは、前記信号がHDR値を有することを示す前記画像信号の一部として提供される。前記インジケータは、例えば、データメッセージ又は前記データメッセージと一緒に分配されたデータパケット又は前記画素値データを有するデータパケットに含められることにより前記画像信号に含められることができる。
【0083】
第1及び第2の生成器203、205は、前記画像信号を出力するように構成された出力ユニット207に結合される。具体例において、出力ユニット207は、前記画素値データ及び前記インジケータを含むデータメッセージ又はパケットを単純に送信することができる。
【0084】
このようにして、具体例において、前記画像信号は、複数の独立に通信された部分により作られる合成又は分割信号である。具体例において、前記画像信号は、複数の異なるタイプのデータパケットを有する。しかしながら、他の実施例において、前記画像信号は、前記画素値データ及び前記インジケータの両方を有する結合された単一のデータストリームとして提供されることができる。このような例において、第1及び第2の生成器203、205により提供されたデータは、出力ユニット207により単一のデータ又はビットストリームに結合されることができる。特に、出力ユニット207は、前記データを単一のデータストリーム又はファイルに多重化するマルチプレクサを有することができる。
図2の装置は、HDR画像データの効率的な表現を含むことができるだけでなく、フレキシブルなHDR分配及び通信をも提供する画像信号を生成する。特に、これは、改良された後方互換性を提供することができ、例えば、元々はHDR画像に対して設計されていないシステム又は規格に対するHDR画像の導入を可能にする又は容易化することができる。例えば、これは、適切な能力を持つ(ディスプレイのような)機器がHDRデータに対して適切に前記画像信号を処理することを可能にすることができ、このようにして、HDR指標の存在又は不在に基づく受信された画素値の条件付き処理が、達成されることができる。
【0085】
図2の例において、入力信号の色表現は、出力信号の色表現と同じであり、実際に、受信されたHDRサンプルは、前記画像信号に直接的に含まれる。しかしながら、多くの応用において、第1の色表現は、第2の色表現とは異なる。
【0086】
図3は、受信器201と第1の生成器203との間に変換プロセッサ301を含むように修正された
図2の装置を示す。変換プロセッサ301は、前記ハイダイナミックレンジ画素値を第1の色表現から第2の色表現に変換するように構成される。
【0087】
変換プロセッサ301は、特に、要求されるビット数が減少されるようにHDR画素値の表現の圧縮を実行するように構成されることができる。このようにして、多くのシナリオにおいて、この変換ユニットは、入力Mビットワードを出力Nビットワードに変換するように構成され、ここでMはNより大きい。このようにして、変換プロセッサ301は、典型的には、前記HDR画素値のよりコンパクトな表現を生成するように構成されることができ、これにより減少されたデータレートを可能にする。
【0088】
前記変換は、特に、ダイナミックレンジの非線形表現を含むことができる。例えば、入力信号は、線形16ビットRGB色表現によってサンプルとして受信されることができる。このようにして、入力ワードは、48ビット入力ワードであることができる。このような表現は、ダイナミックレンジのかなり正確な表現を提供する傾向にあり、比較的高いダイナミックレンジに対してさえバンディング等を許容可能な限界まで減少させる。しかしながら、画素ごとに48ビットを要求することは、多くの応用に対して不適切又は不所望である比較的高いデータレートを結果として生じる。
【0089】
変換プロセッサ301は、これに応じて、より効率的な表現を提供するように前記48ビットワードを処理することができる。このようなアプローチは、典型的には、人間視覚系の知覚的特性を使用することができる。人間の視覚の特性は、輝度変化に対する感度が非線形である傾向にあることである。実際に、人間が明るさの増加(又は減少)を知覚するのに必要とされる輝度増加は、増加する輝度に対して増加する。これに応じて、より大きなステップが、低輝度より高輝度に対して使用されることができ、これに応じて、変換プロセッサ301は、多くの実施例において、線形Mビット表現を非線形Nビット表現に変換することができる。多くのシナリオにおいて、適切な変換は、画素値に対数関数を適用することにより達成されることができる。
【0090】
前記変換は、一部の実施例において、画素値に対して使用される量子化スキームの変更として実施される又は前記変更を含むことができる。量子化スキームは、実際の画素値と前記ディスプレイから(又は名目上のディスプレイから)放射される対応する光との間の関係を提供することができる。渡航に、前記量子化スキームは、ビット値とフルダイナミックレンジの対応する値との間の相関を提供することができる。
【0091】
例えば、所定の表示範囲は、0ないし1の範囲に正規化されることができ、ここで0は放射される最小の光に対応し、1は放射される最大の光に対応する。単純な線形及び一様な量子化スキームは、単純に、0ないし1の範囲を等しいサイズの量子化間隔に分割することができる。例えば、12ビット表現に対して、0ないし1の範囲は、4096の等しいステップに分割される。
【0092】
変換プロセッサ301は、前記Mビットワードの成分に適用される入力量子化スキームを、前記Nビットワードの出力に適用される異なる量子化スキームに変更することができる。
【0093】
例えば、各色成分に対する65336ステップの入力量子化は、1024ステップに変換されることができる。しかしながら、単に対応する線形量子化を使用するのではなく、変換プロセッサ301は、特に量子化ステップのサイズが(増加された光出力に対応する)増加するビット値に対して増加する非線形量子化スキームを適用することができる。非一様及び非線形表現は、人間の知覚を反映し、このようにして、多くの場合に、減少された数のビットが、一様及び線形の量子化により生成されたより多数のビットのものと同じ品質を持つように知覚される画像を提供することを可能にする。
【0094】
量子化スキームの変更は、原理的に、入力Mビットワードを逆量子化し、その後にNビットワードへの量子化が後に続くことにより実行されることができる。しかしながら、多くのシナリオにおいて、変換プロセッサ301は、Mビットワードに直接的に適切なビット操作を適用し、特に、10ビットの対応する出力色成分への16ビットの各入力色成分の非線形マッピングを提供することにより前記ワードを単純に変換することができる。
【0095】
一部の実施例において、変換プロセッサ301は、Mビットワードの各成分をNビットワードの対応する成分に個別に及び別々に変換することができる。例えば、Mビットワードは、RGB色表現に対してR画素サンプル、G画素サンプル及びB画素サンプルを含むことができ、これは、NビットワードのRGB表現に対するR画素サンプル、G画素サンプル、及びB画素サンプルに変換されることができ、ここでR、G及びBサンプルは、前記Nビットワードの異なるビットに割り当てられる。
【0096】
しかしながら、特に有利な性能は、しばしば、各成分に対する個別のセクション及びNビットワードの個別の成分に対する共通の成分を表す共通セクションの両方を有するNビットワードにより達成されることができる。
【0097】
特に、別個の色値が、前記Mビットワードの色表現の各色成分に対して提供されることができる。このようにして、前記Mビットワードは、例えばRGB表現のように、別個の色サンプルとして提供されることのみができる。しかしながら、前記Nビットワードの色表現は、(前記R、G及びB成分のような)各色成分に対する別個の値を含むことができるが、加えて、前記色成分の全てに対する共通の指数因子を提供することができる。このようにして、Nビット表現は、個別の色成分に対する個別のサンプル値を提供する3つのセクションと、全ての色値に対する共通の指数因子を提供する第4のセクションとを持つ4つのセクションを有することができる。具体例として、変換ユニット201は、HDR画素値のより効率的な表現を提供するためにMビットRGB表現からNビットRGBE表現に変換することができる。
【0098】
一部の実施例において、変換プロセッサ301は、より複雑な処理を実行するように構成されることができ、例えば、画像特性、ディスプレイ特性等を考慮に入れて1つの色表現から他の色表現にマッピングすることができると理解されたい。
【0099】
例えば、前記装置は、HDRサンプルを符号化するようにある範囲の色表現の間で選択するように構成されることができ、現在の画像データに最も適したものを選択することができる。例えば、非常に高いダイナミックレンジを持つ画像のシーケンスに対して、非線形(例えば対数)表現が使用されることができ、より低いダイナミックレンジを持つ画像範囲のシーケンスに対して、線形表現が使用されることができる。前記装置は、このような実施例において、前記画像信号に選択された符号化の指標(例えばトーンマッピング関数又はガンマ関数等の指標)を含めるように構成されることができる。このようにして、前記インジケータは、前記画像信号のNビットワードに対して使用される特定の色表現を示すことができる。
【0100】
前記Mビットワードと前記Nビットワードとの間の(したがって第1の色表現と第2の色表現との間の)いかなる適切なマッピングも、本発明を損なうことなしに使用されることができると理解されたい。
【0101】
一部の実施例において、前記インジケータは、前記Nビットワードの色表現と関連付けられたディスプレイ輝度の指標を有することができる。例えば、色符号化範囲によりカバーされる輝度の指標が、提供されることができる。
【0102】
具体例として、第2の色表現は、基準又は名目上のディスプレイと関連付けられることができる。前記基準ディスプレイは、所定の最大輝度に対応することができ、前記指標は、例えば、最も明るいコード(例えば10ビット表現に対する1023)が、例えば50000ニトの輝度に対応することが意図されることを示すことができる。これは、例えば、異なって等級分けされた表現を含むことを可能にし、スマート受信装置が、これを考慮に入れることができる。
【0103】
このような指標は、受信器において、受信されたHDR画素サンプルを特定のディスプレイのレンダリング輝度に適応させるのに使用されることができる。実際に、多くの場合に、提供されることができる絶対的輝度範囲を考慮に入れることによりディスプレイに対する駆動値に対するHDR画素サンプルのマッピングを実行することは、より有利である。
【0104】
例えば、HDR画素値が、単に正規化されたダイナミックレンジ(例えば0から1)に対する相対的な値として提供される場合、前記ディスプレイは、典型的には、対応する分数輝度を使用して画像をレンダリングする。例えば、0.5の画素値は、最大光出力の半分としてレンダリングされる。しかしながら、HDRコンテンツ及び/又はHDRディスプレイに対して、このようなアプローチは、最適ではないかもしれない。例えば、空の太陽及び一部の暗い領域を有するビーチの画像は、50000ニトディスプレイ上に提示される場合に非常に明るい(高輝度の)太陽を提供するのにフルダイナミックレンジを使用することができる。大きなダイナミックレンジにより、これは、依然として明るい(しかし、より暗い)ビーチ及び空を提供しながら、及び依然として影領域の細部を提供しながら、可能である。しかしながら、同じ画像が10000ニトディスプレイ上に提示される場合、単純な線形スケーリングは、空及びビーチが大幅に低い明度により表される結果となり、比較的暗くぼんやりと見える結果となる。更に、影細部は、細部が知覚可能でなくなるほど圧縮されうる(又はレンダリング可能である)。代わりに、前記ディスプレイが空及びビーチに対する輝度を維持しながら又は穏やかにのみ減少させながら、非常に強い太陽をより低い輝度値にクリップすることは、有利である。このようにして、適応的及び非線形マッピングが、実行されることができる。しかしながら、このようなアプローチは、前記ディスプレイが、ディスプレイ特性、特に輝度範囲を考慮するだけでなく、受信されたHDR画素値が対応することを意図される実際の絶対輝度を知ることをも要求する。
【0105】
前記アプローチは、例えば、HDR画像の符号化が、前記画像がいかなるディスプレイ、例えば1000ニト出力を持つもの、20000ニト出力を持つもの等でレンダリングされることを可能にしながら、如何なる適切なHDR空間によっても実行されることを可能にすることができる。これは、全範囲マッピングを実行することにより達成されることができ、この全範囲マッピングは、特に、絶対輝度差の間の差に応答し、前記符号化に対する基準とレンダリングされる実際のディスプレイとの間でありうる。例えば、ディスプレイが、単に、例えば50000ニトHDR範囲を、例えば特定のディスプレイにおいて利用可能な1000ニトにマッピングした場合(全て線形に圧縮)、ほとんどの色は、暗すぎるようにレンダリングされる。より良いアプローチは、例えば、例えば5000ニトより上の輝度を、前記ディスプレイの白(例えば950ニト)の非常に近くにマッピングすることでありうる。例えば、5000ニトから50000ニトまでの範囲は、950ニトから1000ニトにマッピングされることができ、1000ニトから5000ニトは、850ニトから950ニトにマッピングされることができ、750ニトから1000ニトは、750ニトから850ニトにマッピングされることができ、0ないし750ニトの残りの範囲は、単純にこれ自体にマッピングされることができる。
【0106】
多くの実施例において、前記画像信号は、画素画像データが提供されるデータセグメントを含むように生成されることができる。例えば、前記画像信号は、いずれに画素値を含めるか特定のデータセグメントを指定する規格によることができる。一部の実施例において、このようなセグメントは、HDR画素値に対して使用されることができるか又はLDR画素値に対して使用されることができる。このようにして、時々、前記データセグメントは、LDR画素値を有することができ、他の時には、前記データセグメントは、HDR画素値を含むことができる。このような実施例において、前記インジケータは、前記データセグメントに含められるデータのタイプを示すのに使用されることができる。このようにして、前記インジケータは、前記データセグメントがHDRデータを含むのか又はLDRデータを含むのかを示すことができる。このようなアプローチは、非常にフレキシブルなシステムを可能にし、特に、既存の規定されたLDRデータセグメントがHDRデータに対して再使用されることができ、唯一の要件は新しいインジケータが導入されることであるので、既存のシステム及び規格におけるHDRデータ通信/分配の導入を容易化することができる。
【0107】
図4は、以前に記載された装置により提供される信号を処理するシンクの例を示す。具体例において、前記シンクは、前記画像信号の画像を提示するように構成されたディスプレイである。前記シンクは、特に、
図1のディスプレイ107であることができる。
【0108】
ディスプレイ107は、前記画像信号を受信する受信器401を有する。前記画像信号は、1つの色表現によるNビットワードのハイダイナミックレンジ画素値を含むことができるか又は(他の色表現による)ローダイナミックレンジ画素値を含むことができるデータセグメントを有する。前記画像信号は、前記データセグメントが前記ハイダイナミックレンジ画素値を有するか又は前記ローダイナミックレンジ画素値を有するかを示すインジケータを更に有する。
【0109】
受信器401は、前記データセグメントからデータを抽出するように構成された抽出器403に結合される。抽出器403は、このようにして、前記画像信号から画素サンプルデータを取り出す。
【0110】
抽出器403は、前記画素サンプルデータを処理するプロセッサに結合される。この例において、前記プロセッサは、ディスプレイパネル407及び受信器401に更に結合されるディスプレイドライバ405である。
【0111】
ディスプレイドライバ403は、抽出器403から画素サンプルデータを、受信器401から前記インジケータを受信し、ディスプレイパネル407に対するディスプレイ駆動信号を生成するように進む。
【0112】
ディスプレイドライバ405の処理は、前記インジケータが、前記画素データがHDRに対するものであることを示すか又はLDR画像に対するものであることを示すかに依存する。例えば、前記ディスプレイがLDRディスプレイである場合、これは、前記インジケータが画素値が既にLDR値であることを反映していることを条件として前記ディスプレイに対する画素値に対応する駆動信号を直接的に生成することができる。しかしながら、前記インジケータは、受信された画素値が実際にはHDR画素値であることを反映する場合、ディスプレイドライバ405は、HDRからLDRへの全範囲マッピング及び他の変換を実行するように進むことができる。例えば、非線形スケーリングは、HDR画素値に適用されることができる(例えば対数演算及びクリッピング操作に対応する)。このような変換は、前記変換を適応させる際に前記受信されたHDRデータと関連付けられたダイナミックレンジを考慮に入れることができる。
【0113】
逆に、前記ディスプレイがHDRディスプレイである場合、これは、前記インジケータが、画素データがHDRデータであることを示す場合に、画素値を直接的に使用することができ、前記インジケータが、画素データがLDRデータであることを示す場合に、(輝度強化を含む)全範囲変換を実行することができる。
【0114】
一部の実施例において、前記システムは、全ての利用可能なデータビットが使用されるわけではないようなHDR画素値の効率的な符号化を提供するように構成されることができる。例えば、前記データセグメントは、Kビットワードにおいて画素データ値を提供するように構成されることができる。前記データセグメントは、例えば、改良された精度を提供することができる色強化データセグメントであることができる。例えば、前記データセグメントは、48ビットに等しいKに対応する16ビットLDR RGBデータ値を提供することができる。しかしながら、前記HDRデータは、例えば32ビットRGBE表現によって、効率的な符号化によって生成されることができる。このような実施例において、前記HDRデータにより使用されない各画素に対して16の追加ビットが存在する。この追加データは、場合により、他の情報を提供するのに使用されることができる。例えば、使用されないビットは、追加の色情報を提供するのに使用されることができる。他の実施例において、ビットは、より効率的なコード化を提供し、これによりデータレートを減少させるように一定値にセットされることができる。
【0115】
一部の実施例において、
図2(又は3)の装置は、LDRデータに対して使用される場合でさえ前記データセグメントがLDRデータに対して使用されることを示す第2のインジケータを有する画像信号を生成するように構成されることができる。このようにして、この第2のインジケータは、前記データセグメントが実際にこのようなLDRデータを含む場合及び異なる色表現によるHDRデータを含む場合の両方において前記データセグメントのデータが適切なLDR表現による従来のLDRデータであることを示すことができる。
【0116】
したがって、このような実施例において、前記画像信号は、一部のシナリオにおいて、互いに衝突し得る(又は1つのインジケータが"間違っている"ことがありうる)複数のインジケータを含むことができる。
【0117】
このアプローチは、一部の機器、処理及び機能性が第2のインジケータを使用することのみを可能にすることができ、結果として、データが、LDRデータであるかのように正確に処理される。このようなアプローチは、特に、HDRデータを処理することができないが、LDRデータを持つ画像信号を処理することができるコンポーネント(例えばレガシー機器)に適している。しかしながら、同時に、他の機器、処理及び機能性は、前記データセグメントのデータを正確に解釈するように第1のインジケータを使用し、これに応じてHDRデータとして処理するように構成されることができる。このようなHDR可能コンポーネントは、これに応じて、HDRデータをフルに利用することができる。
【0118】
このアプローチは、特に、HDRデータを含むように既存のLDRシステム及び規格を強化するのに適していることがありうる。例えば、第2のインジケータは、元のLDRシステム/規格のインジケータであることができ、第1のインジケータは、HDRを含むようにこれを強化する場合に前記システムに導入される新しいインジケータである。前記新しいインジケータは、前記画像信号のオプションのセクションにおいて提供されることができる。このようにして、例えば通信、ルーティング、切り替え等に対して使用される既存の機器は、第1のインジケータのみに基づいてLDR信号と同じように正確に前記信号を処理することができる。このようにして、HDRデータは、LDRデータに対して使用されることができるデータセグメントにおいて符号化され、第2のインジケータは、これに対応するので、レガシー機器は、HDR信号とLDR信号との間の差を知らない。これに応じて、既存のLDR分配機器は、前記HDRデータをHDRソースからHDRシンクに分配するのに使用されることができる。しかしながら、HDR可能シンクは、第1のインジケータを探すように構成され、これに応じて、前記データセグメントに含まれるデータがHDRデータであり、LDRデータではないことを決定することができる。
【0119】
以下、前記画像信号がHDMI規格によって生成される実施例の具体例が、提供される。前記実施例は、HDRコンテンツを導入するのにHDMIのディープカラーモードを使用する。
【0120】
HDMIは、YCbCr4:4:4、YCbCr4:2:2及びRGB4:4:4のような様々な画素符号化のビデオコンテンツの伝送をサポートする。標準HDMI符号化フォーマットにおいて、8ビットが、24ビットワードにおいて提供される画素値に対応する成分ごとに利用可能である。しかしながら、これに加えて、HDMIは、成分ごとの通常の8ビットより高い色精度及び/又は幅広い色範囲を持つコンテンツの伝送をサポートする。これは、ディープカラーモードと称され、このモードにおいて、HDMIは、成分ごとに16ビット(画素ごとに48ビット、すなわち48ビットワード)までサポートする。
【0121】
ディープカラーモードは、画素深度/24に対してある比で増加されるリンクのクロックレート(24ビット/画素=1.0×画素クロック)及び前記シンクに対して色深度及び前記ビットのパッキングを示す、送信される追加の制御パケットに基づく(制御パケットは、このように、上述の第2のインジケータの例でありうる)。この同じメカニズムは、この例において、HDRコンテンツの伝送に対しても使用され、このメカニズムに対する変更は必要とされない。
【0122】
この例において、HDRコンテンツは、強化された精度のLDRデータではなくディープカラーデータセグメントにおいて通信される。前記通信は、HDMI通信をディープカラーモードに設定することにより達成されるが、データが、強化されたLDRデータではなく、代わりにHDRデータであることを反映するように、追加の指標が導入される。
【0123】
更に、画素符号化は、単に、強化されたダイナミックレンジを持つディープカラーモードの線形RGB16ビット/成分アプローチを使用するだけでなく、代わりに、例えばRGBE、XYZE、LogLuvのような効率的なHDR画素符号化、又は例えばHDMIディープカラーモードに対しても使用される12ビットRGB単精度浮動小数点符号化を使用して前記HDRデータを提供する。このより効率的なHDR符号化データは、この場合、HDMIのディープカラーに対する伝送モードを使用して伝送される。
【0124】
例えば、
図5に示されるように、ディープカラー48ビットワードは、線形R、G及びBサンプルに対応する3つの16ビット成分を有する。このような線形色表現におけるHDRデータの符号化は、準最適である傾向にあり、
図5の例において、前記48ビットワードは、代わりに、8ビット指数と一緒に各R、G及びBサンプルに対する8ビット仮数を提供するのに使用される。又はこれは、3×12又は3×14ビット仮数+6ビット指数等に対して使用されることができる。
【0125】
この指数値は、3つの仮数に対する共通のスケーリング因子を提供し、前記スケーリング因子は、2の前記指数値マイナス128乗に等しい。前記仮数は、線形であることができ、浮動小数点値として提供されることができる。このようなRGBE符号化は、HDRデータと関連付けられた非常に大きなダイナミックレンジの大幅に効率的な表現を提供することができる。実際に、この例において、前記符号化は、32ビットしか使用せず、これにより、例えば3D又は4k2kフォーマットの伝送に対して使用されることができるインタフェース上のより大きな帯域幅を残す。
【0126】
このアプローチは、HDMIを使用してHDRの効率的な通信を可能にし、実際に、HDMI規格に対する最小の変化を必要とする。HDMIに対するHDRの容易化された導入が、達成されることができ、特に、新しいハードウェアが必要とされない。更に、既存の機器は、HDRデータがディープカラーデータとして扱われることができるので、HDRデータを切り替えることができる。
【0127】
この例において、HDMIインタフェースは、ディープカラーモードに設定されるが、インジケータは、送信されるコンテンツがディープカラーデータではなく、HDRデータであることを示すように設定される。前記インジケータは、AVI(補助ビデオ情報)インフォフレームの適切に予約されたフィールドを設定することにより提供されることができる。他の例として、前記インジケータは、特にHDRコンテンツの伝送を示すように規定された新しいインフォフレームの形式で提供されることができる。更に他の例として、HDMIベンダ固有インフォフレームが、前記指標を提供するのに使用されることができる。
【0128】
より詳細には、HDMIにおける信号伝達は、CEA861−Dに基づく。CEA861−Dは、E−EDIDによる前記シンクから前記ソースへの信号伝達及びAVIインフォフレームによる前記ソースから前記シンクへの信号伝達を規定する。前記AVIインフォフレームは、色及びクロマサンプリング、オーバスキャン及びアンダースキャン並びにアスペクト比に関して信号伝達するフレームを提供する。
【0129】
一部の実施例によると、前記HDMIインタフェースは、好ましくは例えばRGBE(又は他の効率的なHDR表現)の形式のHDR画素符号化を用いて、ディープカラーコンテンツの伝送を示すように設定される。
【0130】
可能な典型的なAVIインフォフレーム(の一部)は、以下の通りでありうる。
【表1】
【0131】
Y1及びY0は、使用される色成分サンプルフォーマット及びクロマサンプリングを示す。HDRコンテンツの伝送に対して、これは、RGB及びYCbCr4:4:4を示す00又は10でありうる。好ましくは、現在予約されている値11が、RGBE又は他の適切なHDR表現を示すのに使用されることができる。
【0132】
C1及びC0は、伝送されたコンテンツのカラリメトリ(colorimetry)を示す。HDRコンテンツに対して、これは、データなしを意味する00又はビットEC0、EC1及びEC2において更に示されるように拡大されたカラリメトリが使用されることを示す11に設定されることができる。
【0133】
ITCは、前記コンテンツがITコンテンツであるかどうかを示し、このビットは、フィルタ演算又はアナログ再構成を避けるべきかどうかを前記シンクに対して示すのにCN1及びCN0と併せて使用される。HDRコンテンツに対して、このビットは、典型的には、設定されることができる。
【0134】
EC2、EC1及びEC0は、色空間、前記コンテンツのカラリメトリを示す。HDRに対して、現在規定されている幅広い範囲の1つが使用されることができる。また、現在予約されているフィールドは、未来のHDRディスプレイに対してより適している他の色空間を示すのに使用されることができる。
【0135】
Q1及びQ0は、RGB量子化範囲を示し、HDRコンテンツに対してフルレンジ(10)又は(現在予約されている)11が、ディープカラーモードで伝送されたHDRコンテンツを示すのに使用されることができる。YQ1及びYQ0は、YCC量子化に対して同じことを示す。再び、例えば36ビットYCrCbのような、ディープカラーモードで運ばれたHDRコンテンツを示す目的で使用されることができる2つの予約されたフィールドが存在する。
【0136】
CN1及びCN0は、ITアプリケーションに対するコンテンツタイプ(グラフィックス、フォト、シネマ、ゲーム)を示し、ITビットと組み合わせて使用される。
【0137】
前記シンク(前記ディスプレイ)がHDRコンテンツをサポートすることを前記シンク(前記ディスプレイ)が示すことを可能にするために、E−EDID仕様書の拡張が実施されることができる。HDMIは、前記ディスプレイから再生装置に戻すように表示性能を信号伝達するためにE−EDIDを使用する。HDMI仕様書は、前記E−EDID内のHDMIベンダ固有データブロックにより、ディープカラーモード伝送に対するサポートを示す方法を既に指定している。これは、RGBE又は他のHDR色符号化のようなHDRフォーマットに対するサポートの可能性をも含むように強化されることができる。
【0138】
他の例として、前記ディスプレイがHDRコンテンツをサポートすることを示すインジケータ、及びRGBE、XYZE、LogLuv32又はEXRのようなHDMIにおいて既に指定されているものに加えてサポートすることができる色符号化のリストが、含められることができる。
【0139】
HDRサポートに対する信号伝達を持つHDMIベンダ固有データブロックの拡張バージョンは、例えば、以下のようであることができる。
【表2】
ここで"HDMI_HDR_present"は、前記ディスプレイがHDRコンテンツをサポートすることを示し、"HDR_color encoding"は、サポートされる追加の色符号化を示す。
【0140】
他の例として、前記アプローチは、ディスプレイポートインタフェースに対して使用されることができる。例えば、HDMIに対して記載されたものと同様のアプローチは、LDRデータ、HDRデータ又は実際に両方を含むメインコンテンツストリームの画像データとともに使用されることができる。前記コンテンツストリーム内の前記画像データのタイプを示すインジケータが、提供されることができる。(特に前記インジケータを含む)制御及び設定データは、セカンダリデータパケットにおいて提供されることができ、特に、HDMIに対して記載されたようにCEA861インフォフレームを使用して提供されることができる。更に、AUXチャネルが、制御情報を交換するのに使用されることができる。特に、HDRデータを処理する前記ディスプレイの能力が、前記AUXチャネルを使用して通信されることができる。
【0141】
更に他の例として、前記アプローチは、ブルーレイディスクシステムに対して使用されることができる。
【0142】
前記システムが、例えば消費者システムを含む多くの異なるタイプのコンテンツ作成、提供及び消費とともに使用されることができると理解されたい。
【0143】
図6は、良好な色記述信号を作成するのに使用されるように作成(伝送)時に存在することができるいくつかの前記装置の例を概略的に示す。この例において、当業者は、これらの成分を色評価器の部屋に対して入れ替える方法、又は例えば古いローレル&ハーディ映画に対して同じことをするトランスコーダを理解するので、前記装置は、古典的映画フィルムカメラと一体化される(シーンのデジタル支援表現が、映画材料校正モデルが2つをマッピングするように組み込まれる場合にのみ、[アナログvsデジタル記録の画素値に関して]実際に獲得されたセル画に対して十分にリンク可能であるが、これらなしの場合でさえ、デジタル記録が、依然として非常に価値のあるサイド情報をもたらすことができ、例えばセルロイドキャプチャビューウィンドウと幾何学的に共同登録される場合に、領域を規定することができ、セルロイドキャプチャデベロップグレイン値とは別に、デジタルキャプチャリングにより例えば線形の実際のシーンビューをコード化することができることに注意する)。
【0144】
図6は、カメラ601に付随して、(例えばカメラレンズと共同登録されたCCDからフィードを得る)デジタルディスプレイ603を示す。しかしながら、接続604は、固定される必要はないが、複数の別個のディスプレイ(例えばカメラオペレータに対して1つ及びディレクタのオーバビュースタック内に1つ)に対する送信器であることもできる。ディスプレイ603上で、前記カメラオペレータ又は写真のディレクタは、例えば舞台照明で較正したことを知っている領域650を、前記画像の暗い部分として描くことができ、これは、例えば光ペン608又は他のユーザインタフェース入力手段で行われることができる[我々は、当業者が、いずれのタイプのシステムが、ユーザが表示される画像上にフィードバックを与えることを可能にするかを良好に理解することができると考えるので、我々は、1つの例のみを示す]。ディスプレイ603は、追加された情報をメモリ606(例えば着脱可能メモリスティック)に記憶する、又は伝送システム605を介して通信することができる。これは、最終データ蓄積場所(すなわち640)に送信することもできる伝送システム621を介して、(単純に光メータ又は空間サンプリング分光計であることができる)インフィルミングシチュ(in-filming-situ)シーン分析装置620から他の情報を受信することもできる。更に、インシーン(in-scene)メータ630(すなわち、特に、高度に可変の照明を用いて、球システムが周囲の照明分布を見る場合に、どのようにアクタの顔が証明されるかを測定する局所照射メータ等)は、伝送システム631を介して前記システムのいずれかの部分にデータを伝送することができる。受信するディスプレイは、この場合、典型的には同様の外観又は芸術的外観等を作成する何らかのサイコビジュアルモデルによって、元の明るさで、又は少なくともその割合(又は関数)で前記光を再現しようと試みることができる。全てのデータは、オンボードメモリを持つデータ蓄積装置640、典型的には(伝送システム641を持つ)コンピュータ上に蓄積される。
【0145】
図6に示されるシステムは、このようにして、例えば、手動色等級分け/トーンマッピングによりLDR画像を生成するようにオペレータにより使用されることができる(また、HDR画像又は少なくとも部分的外観も合成されることができる)。結果として生じるLDR画像は、この場合、符号化され、第1の画素ピクチャに表されることができる。前記システムは、更に、自動的に、前記HDR画像を生成するパラメータを決定することができる。代替的には、前記オペレータは、例えば半自動化された処理により、HDR拡張データを生成するのに
図6のシステムを使用することもできる。
【0146】
図7は、受信側、例えば消費者のリビングルームにおける典型的な画像復号及び表示システムを示す(当業者は、どのようにして本発明の原理による同様のシステムが、例えばデジタルシネマシアターを見るかを理解している)。色レンダリング画像処理装置701の実施例は、ビルトインブルーレイリーダを持つ(
図1のコンテンツ処理装置103に対応することができる)セットトップボックスであり(しかしながら、これは、例えばラップトップコンピュータ、又は携帯電話等のような携帯型装置であることもでき、すなわち装置701は、[レジーム仕様書を読み、色処理を可能にすることができる限り]プラグインカードほど小さい、又はプロフェッショナルシネマトランスコーディングスタジオほど大きいことができる)、符号化された全体的なLDR/HDR拡張画像信号、すなわちLDRを持つ第1のピクチャ及び含まれるHDR拡張データを持つ第2のピクチャの両方を持つブルーレイ702を受けることができる。
【0147】
前記装置は、例えば(典型的には圧縮符号化された)入力信号を運ぶテレビ信号伝送ケーブル(又はアンテナ、又はメモリカード上のデジタルフォトに対する入力等、画像信号は、例えばテレビ規格符号化信号又は生画像ファイル等を様々に意味することもできる)704に対して第1の接続703を介して前記信号を受信することができる。一部の実施例において、前記2つのピクチャは、2つの経路を介して提供されることができ、例えばHDR記述データは、例えばインターネット705に接続された第2のコネクタ704を介して他の媒体上で来ることができる。
【0148】
装置701は、データを抽出し、直接的に出力するか又は画像処理ユニット712により制御された画像処理を行うのにより適した新しい値に変換するかのいずれかを行うように構成された少なくとも抽出器711を持つICを持つ。これは、レンダリングされたレジーム(regime)になるように特別なものに対応する画素に何らかのトーン再生変換を適用するのみであるように単純に実施される、又は例えば典型的には作成側において適用されることができるアルゴリズムのいずれか、例えばセグメンテーション及び/又は追跡アルゴリズム/ユニットに対応する、複雑なアルゴリズムを持つことができる。
【0149】
プレーヤ701は、ビデオケーブル720(例えばHDMI)上で前記ディスプレイ/テレビに改良された意図されたレンダリング出力画像IR'を出力することができるが、前記テレビは、(画像分析及び/又は処理IC731上で)追加の処理を行う(又は行うように要求される)ことができるので、第2の接続(ケーブル又は無線)721は、(前記信号からのデータ及び/又はそれから得られる制御データを有することができる)制御信号CSに対して存在することができる。典型的には、これらの追加の制御信号は、例えば(無線)HDMIプロトコルを更新することにより、ビデオケーブル上で追加されることができる。装置723は、ディスプレイ730を介して意図されたレンダリング色入力信号を得ることもできる第2の環境色ディスプレイ740に対して接続723上で色信号を送信することもできる。典型的なディスプレイは、HDRレンダリングに対して理想的なLEDバックライト732を持つ。測定装置780のような環境測定装置は、例えばテレビの周囲、室内の光、テレビ前面の反射、較正グレイスケールの可視性等を確認することができる安価なカメラが、存在することができ、これらは、この情報を装置701及び/又はディスプレイ730に通信することができる。
【0150】
このテキストに開示されたアルゴリズムコンポーネントは、実際には、ハードウェア(例えば特定用途向けICの部品)として又は特別なデジタル信号プロセッサ又は汎用プロセッサ等の上で実行するソフトウェアとして、(全体的に又は一部において)実現されることができる。
【0151】
いずれのコンポーネントがオプションの改良であることができ、他のコンポーネントと組み合わせて実現されることができ、方法のいずれの(オプションの)ステップが、装置のそれぞれの手段に対応するか、及びその逆は、我々の提示から当業者に対して理解可能であるべきである。この明細書内の単語"装置"は、最も広い意味で使用され、特に特定の目的の実現を可能にする手段のグループであり、したがって、例えばIC(の小さな部分)、又は(ディスプレイを持つ装置のような)専用装置、又はネットワーク化されたシステムの一部等であることができる。"構成"も、最も広い意味で使用されることを意図され、したがって、これは、とりわけ、単一の装置、装置の一部、協働する装置(の部分)の集合等を有することができる。
【0152】
コンピュータプログラムの意味は、(中間言語及び最終プロセッサ言語への変換のような中間の変換ステップを含むことができる)一連のローディングステップの後に、汎用又は特別用途プロセッサがコマンドをプロセッサに入力し、本発明の特徴的機能のいずれかを実行することを可能にするコマンドの集合の物理的実現を含むように理解されるべきである。特に、前記コンピュータプログラムは、例えばディスク又はテープのようなキャリア上のデータ、メモリ内に存在するデータ、有線又は無線ネットワーク接続を介して移動するデータ、又は紙の上のプログラムコードとして実現されることができる。プログラムコードとは別に、プログラムに対して要求される特徴的データは、コンピュータプログラムとして実施されることもできる。前記方法の動作に対して要求されるステップのいくつかは、データ入力及び出力ステップのような、前記コンピュータプログラムに記載される代わりに前記プロセッサの機能性に既に存在してもよい。
【0153】
上の記載が、明確性のため、異なる機能回路、ユニット及びプロセッサを参照して本発明の実施例を記載していると理解されたい。しかしながら、異なる機能回路、ユニット又はプロセッサの間の機能性のいかなる適切な分配も、本発明を損なうことなしに使用されることができることは、明らかである。例えば、別個のプロセッサ又はコントローラにより実行されるように示された機能性は、同じプロセッサ又はコントローラにより実行されてもよい。したがって、特定の機能ユニット又は回路に対する参照は、厳密な論理的又は物理的構造又は組織を示すのではなく、記載された機能性を提供する適切な手段に対する参照としてのみ見なされる。
【0154】
本発明は、ハードウェア、ソフトウェア、ファームウェア又はこれらの組み合わせを含む適切な形式で実施されることができる。本発明は、オプションとして、少なくとも部分的に、1つ又は複数のデータプロセッサ及び/又はデジタル信号プロセッサ上で実行するコンピュータソフトウェアとして実施されうる。本発明の実施例の要素及びコンポーネントは、如何なる適切な形でも物理的に、機能的に及び論理的に実施されうる。実際に、機能性は、単一のユニットにおいて、複数のユニットにおいて、他の機能ユニットの一部として実施されてもよい。このように、本発明は、単一のユニットにおいて実施されてもよく、又は異なるユニット、回路及びプロセッサ間で物理的に及び機能的に分配されてもよい。
【0155】
本発明は、一部の実施例に関連して記載されているが、ここに記載された特定の形式に限定されることを意図されない。むしろ、本発明の範囲は、添付の請求項によってのみ限定される。加えて、フィーチャは、特定の実施例と関連して記載されるように見えるかもしれないが、当業者は、記載された実施例の様々なフィーチャが本発明によって組み合わせられることができることを認識する。請求項において、有するという単語は、他の要素又はステップの存在を除外しない。
【0156】
更に、個別にリストされるが、複数の手段、要素、回路又は方法ステップは、例えば単一の回路、ユニット又はプロセッサにより実施されてもよい。加えて、個別のフィーチャは、異なる請求項に含められるかもしれないが、これらは、場合により、有利に組み合わせられることができ、異なる請求項における包含は、フィーチャの組み合わせが可能及び/又は有利ではないことを意味しない。また、請求項の1つのカテゴリにおけるフィーチャの包含は、このカテゴリに対する限定を意味せず、むしろ、前記フィーチャが、必要に応じて他の請求項カテゴリに等しく適用可能であることを示す。更に、請求項内のフィーチャの順序は、前記フィーチャが動作されなくてはならない特定の順序を意味せず、特に、方法請求項における個別のステップの順序は、前記ステップがこの順序で実行されなければならないことを意味しない。むしろ、前記ステップは、如何なる適切な順序で実行されてもよい。加えて、単数形は、複数を除外しない。したがって、"1つの"、"第1の"、"第2の"等の参照は、複数を除外しない。請求項内の参照符号は、単に明確化する例として提供され、いかなる形にも請求項の範囲を限定すると解釈されるべきではない。