特許 5992997 映像符号化信号を発生する方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5992997

(24)【登録日】2016年8月26日

(45)【発行日】2016年9月14日

(54)【発明の名称】映像符号化信号を発生する方法及び装置

(51)【国際特許分類】

   H04N 19/36 20140101AFI20160901BHJP

   H04N 19/70 20140101ALI20160901BHJP

   H04N 19/182 20140101ALI20160901BHJP

   H04N 19/186 20140101ALI20160901BHJP

   H04N 19/597 20140101ALI20160901BHJP

【ＦＩ】

   H04N19/36

   H04N19/70

   H04N19/182

   H04N19/186

   H04N19/597

【請求項の数】17

【全頁数】50

(21)【出願番号】特願2014-506957(P2014-506957)

(86)(22)【出願日】2012年4月17日

(65)【公表番号】特表2014-519221(P2014-519221A)

(43)【公表日】2014年8月7日

(86)【国際出願番号】IB2012051913

(87)【国際公開番号】WO2012147010

(87)【国際公開日】20121101

【審査請求日】2015年4月15日

(31)【優先権主張番号】11164002.5

(32)【優先日】2011年4月28日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】110001690

【氏名又は名称】特許業務法人Ｍ＆Ｓパートナーズ

(72)【発明者】

【氏名】ニュートン フィリップ スティーブン

(72)【発明者】

【氏名】デ ハーン ウィーブ

(72)【発明者】

【氏名】マルテンス マーク ジョゼフ ウィレム

【審査官】 久保 光宏

(56)【参考文献】

【文献】 国際公開第２０１０／１０５０３６（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２００９／００１５６６２（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００９／００４６２０７（ＵＳ，Ａ１）

【文献】 特表２０１２−５２０６１９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８，

Ｈ０４Ｎ１３／００−１５／００，

ＣＳＤＢ（日本国特許庁），

ＩＥＥＥＸｐｌｏｒｅ（ＩＥＥＥ）

(57)【特許請求の範囲】

【請求項1】

捕捉される物理的シーンの表現を符号化した映像信号を発生する方法であって、前記映像信号は第１画素化画像符号化情報及び第２画素化画像符号化情報を有し、これら画素化画像符号化情報はピクセル位置の二次元アレイに対応するＮ個のビットのコードワードの群である輝度成分及びカラー成分を有し、当該方法が、
前記捕捉される物理的シーンの第１映像を輝度及びカラーコードワードにより前記第１画素化画像符号化情報に符号化するステップと、
前記第２画素化画像符号化情報の任意のカラー成分の対応するピクセル位置に対するカラー値の代わりに、ダイナミックレンジ拡張データを符号化するステップであって、前記ダイナミックレンジ拡張データが、少なくとも１つのピクセル領域に対応し、前記第１映像に基づいて増加されたダイナミックレンジの映像を得るための輝度方向のダイナミックレンジ拡張変換を表すデータを有し、前記ダイナミックレンジ拡張データは変換又は変換の修正についての情報を提供する、前記ダイナミックレンジ拡張データを符号化するステップと、
を有する映像信号を発生する方法。

【請求項2】

前記第２画素化画像符号化情報のカラー成分にダイナミックレンジ拡張データを符号化するステップが、前記第１画素化画像符号化情報に基づいて得られる第２の増加されたダイナミックレンジの映像を第２ダイナミックレンジ拡張変換により修正するために使用することが可能なダイナミックレンジ拡張補償データを含めるステップからなる請求項１に記載の映像信号を発生する方法。

【請求項3】

ダイナミックレンジ拡張データを前記第２画素化画像符号化情報の輝度成分に含めるステップを更に有し、該ダイナミックレンジ拡張データが前記第２ダイナミックレンジ拡張変換を表すデータを有する請求項２に記載の方法。

【請求項4】

前記ダイナミックレンジ拡張補償データが前記第１映像のピクセル位置に関するピクセル誤差補正値を有する請求項２又は請求項３に記載の方法。

【請求項5】

前記ピクセル誤差補正値が、前記第２の増加されたダイナミックレンジの映像の映像ピクセル値と、対応する入力された高ダイナミックレンジ映像の映像ピクセル値との間の加重差を示す請求項４に記載の方法。

【請求項6】

前記第２の増加されたダイナミックレンジの映像及び対応する入力された高ダイナミックレンジ映像の比較に応じて前記ダイナミックレンジ拡張補償データを発生するステップを更に有する請求項２に記載の方法。

【請求項7】

前記ダイナミックレンジ拡張補償データが彩度補償データを有する請求項２に記載の方法。

【請求項8】

前記第１映像がシーンの第１幾何学ビュー映像である請求項２に記載の方法であって、当該方法が、
前記第２画素化画像符号化情報に、前記シーンの第２幾何学ビュー映像である第２映像に関する映像符号化データを含めるステップ、
を更に有する方法。

【請求項9】

少なくとも幾つかの時点に対して、前記第２画素化画像符号化情報に前記第２幾何学ビュー映像及び前記ダイナミックレンジ拡張データのうちの一方のみが含まれる請求項８に記載の方法であって、当該方法が、
前記映像符号化データに、前記第２画素化画像符号化情報が前記第２幾何学ビュー映像を有するか又は前記ダイナミックレンジ拡張補償データを有するかの指示情報を含めるステップ、
を更に有する方法。

【請求項10】

符号化された前記第２幾何学ビュー映像に関する映像符号化データが前記第２画素化画像符号化情報の輝度成分に含まれ、前記ダイナミックレンジ拡張補償データが前記第２画素化画像符号化情報のカラー成分に含まれる請求項８又は請求項９に記載の方法。

【請求項11】

前記ダイナミックレンジ拡張変換が予測関数を適用するステップを有する請求項１又は請求項２に記載の方法。

【請求項12】

前記第２画素化画像符号化情報の他のカラー成分に他のダイナミックレンジ拡張補償データを含めるステップを更に有し、該他のダイナミックレンジ拡張補償データが前記増加されたダイナミックレンジの映像に対する第２補償を表すデータを有する請求項２に記載の方法。

【請求項13】

前記ダイナミックレンジ拡張データが、前記第１画素化画像符号化情報から復号される前記第１映像に、前記ダイナミックレンジ拡張変換を適用する前に適用するための前補償データを有する請求項１に記載の方法。

【請求項14】

前記符号化した映像信号が、高精細度マルチメディアインターフェース及びディスプレイポートビデオインターフェース規格のうちの少なくとも一方と互換性がある請求項１又は請求項２に記載の方法。

【請求項15】

共に輝度成分及びカラー成分を含む第１画素化画像符号化情報及び第２画素化画像符号化情報を有する映像符号化信号を発生する装置であって、当該装置が、
第１映像に関する映像符号化データを前記第１画素化画像符号化情報に含める第１画像プロセッサと、
前記第２画素化画像符号化情報の任意のカラー成分の対応するピクセル位置に対するカラー値の代わりに、ダイナミックレンジ拡張データを前記第２画素化画像符号化情報のカラー成分に含める第２画像プロセッサであって、前記ダイナミックレンジ拡張データが、少なくとも１つのピクセル領域に対応し、前記第１映像の増加されたダイナミックレンジの映像への輝度方向の変換を表すデータを有し、前記ダイナミックレンジ拡張データは変換又は変換の修正についての情報を提供する、第２画像プロセッサと、
を有する映像符号化信号を発生する装置。

【請求項16】

増加されたダイナミックレンジの映像を発生する方法であって、当該方法が、
共に輝度成分及びカラー成分を含む第１画素化画像符号化情報及び第２画素化画像符号化情報を有する映像符号化信号を受信するステップであって、前記映像符号化信号が前記第１画素化画像符号化情報内の第１映像に関する映像符号化データと前記第２画素化画像符号化情報のカラー成分内のカラー符号化データではなくダイナミックレンジ拡張データとを有し、前記ダイナミックレンジ拡張データが、少なくとも１つのピクセル領域に対し、前記第１映像の増加されたダイナミックレンジの映像への輝度方向の変換を符号化し、前記ダイナミックレンジ拡張データは変換又は変換の修正についての情報を提供する、前記映像符号化信号を受信するステップ、
を有し、当該方法が更に、
前記第１画素化画像符号化情報に符号化された前記第１映像の映像符号化データから該第１映像を発生するステップと、
ダイナミックレンジ拡張変換処理を前記ダイナミックレンジ拡張データに基づいて決定すると共に、該ダイナミックレンジ拡張変換処理を前記第１映像に適用して、増加されたダイナミックレンジの映像を発生するステップと、
を有する方法。

【請求項17】

増加されたダイナミックレンジの映像（ＨＤＲ）を発生する装置であって、当該装置が、
共に輝度成分及びカラー成分を含む第１画素化画像符号化情報及び第２画素化画像符号化情報を有する映像符号化信号を受信する受信器であって、前記映像符号化信号が前記第１画素化画像符号化情報内の第１映像に関する映像符号化データと前記第２画素化画像符号化情報のカラー成分内のカラー符号化データではなくダイナミックレンジ拡張データとを有し、前記ダイナミックレンジ拡張データが、少なくとも１つのピクセル領域に対し、前記第１映像の増加されたダイナミックレンジの映像への輝度方向の変換を表すデータを有し、前記ダイナミックレンジ拡張データは変換又は変換の修正についての情報を提供する、前記映像符号化信号を受信する受信器と、
前記第１画素化画像符号化情報における前記第１映像に関する映像符号化データから第１映像（ＬＤＲ）を発生するデコーダと、
前記ダイナミックレンジ拡張データに基づいて形成されたダイナミックレンジ拡張変換を前記第１映像に適用して、前記増加されたダイナミックレンジの映像を発生する変換ユニットと、
を有する装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像符号化信号を発生する方法及び装置に係り、専らではないが特には、低ダイナミックレンジ（ＬＤＲ）映像及び高ダイナミックレンジ（ＨＤＲ）映像の両方の表現を有する映像符号化信号の発生に関する。

【背景技術】

【0002】

デジタル表現及び通信がアナログ表現及び通信に益々置き換わるにつれて、この何十年にわたり、種々のソース信号のデジタル符号化が益々重要になってきている。データレートを許容可能なレベルに同時に維持しながら、符号化された映像及びビデオシーケンス（ビデオ信号系列）から得ることが可能な品質を如何にして改善するかについての継続した研究及び開発が進んでいる。

【0003】

知覚される映像品質に関する重要な要素は、映像が表示される際に再生することが可能なダイナミックレンジである。しかしながら、従来においては、再生された映像のダイナミックレンジは通常の見え方に対して大幅に減少される傾向にあった。実際に、現実の世界で遭遇する輝度レベルは、無月の夜から太陽を直接見るまで変化する等の、１４桁の大きさまでものダイナミックレンジにわたるものである。瞬間輝度ダイナミックレンジ及び対応する人の視覚系応答は、晴れた日又は夜間において（明るい反射対暗い陰の領域）10,000：１と100,000：１との間に入り得る。伝統的に、表示器のダイナミックレンジは約２〜３桁に限定される一方、センサも雑音容認性に依存して例えば＜10,000：１等の限られた範囲を有している。従って、従来のレンダリング装置上に知覚的に目立つアーチファクトを生じさせることなく、従来は８ビットでガンマ符号化されたフォーマットで映像を記憶及び送信することが可能であった。しかしながら、一層正確で且つ一層生き生きした像を記録しようと努力して、６桁より大きなダイナミックレンジを記録することが可能な高ダイナミックレンジ（ＨＤＲ）映像センサが開発された。更に、殆どの特殊効果、コンピュータグラフィックス強化及び他のポストプロダクション作業も、一層大きなビット深度で且つ一層高いダイナミックレンジで既に規定通りに行われている。

【0004】

更に、最新技術の表示システムのコントラスト及びピーク輝度は、増加し続けている。近年、3000Cd/m²もの高さのピーク輝度及び５〜６桁のコントラスト比（表示器の属地性、視聴環境も最終的にレンダリングされたコントラスト比に影響を与え、日中のテレビジョン視聴では50：１以下にも低下し得る）を持つ新たな試作品表示器が提示されている。将来の表示器は更に大きなダイナミックレンジ並びに特別に高いピーク輝度及びコントラスト比を提供することができるものと予想される。このような表示器上で従来のように符号化された８ビット信号が表示されると、目障りな量子化及びクリッピングアーチファクトが現れるであろう。更に、従来のビデオフォーマットは、新しいＨＤＲ像に含まれる豊富な情報を伝達するには不十分なヘッドルーム（空き容量）及び精度しか提供しない。

【発明の概要】

【発明が解決しようとする課題】

【0005】

結果として、消費者が最新技術の（及び将来の）センサ及び表示システムの能力から利益を得ることを可能にするような新たな方法に対する要求が高まっている。好ましくは、斯様な追加の情報の表現は、旧来の装置が通常のビデオストリームを依然として受信することができる一方、新しいＨＤＲを使用可能な装置は新たなフォーマットにより伝達される追加の情報を十分に活用することができるように、後方互換性があるものとする。このように、符号化されたビデオデータは、ＨＤＲ映像を表すのみならず、従来の装置上で表示することが可能な対応する従来の低ダイナミックレンジ（ＬＤＲ）映像の符号化も可能にすることが望ましい。

【0006】

最も素直な方法は、ＬＤＲ及びＨＤＲストリームを互いに独立に圧縮し、記憶することであろう（サイマルキャスト）。しかしながら、この方法は高いデータレートとなる。

【0007】

従って、増加されたダイナミックレンジのビデオ及び映像を導入するための重大な問題は、関連する情報を如何にして効率的に符号化し、表現し、記憶し及び分配するかである。特に、後方互換性が維持されることが望ましい。また、データレート及び処理の複雑さの点での効率さも重要である。他の重大な問題は、勿論、結果的な映像品質である。

【0008】

このように、増加されたダイナミックレンジの映像を表すための改善された方法が有利であろう。

【0009】

従って、本発明は、好ましくは上述した問題点の1以上を単独で又は組み合わせで緩和し、軽減し又は除去することを追求するものである。

【課題を解決するための手段】

【0010】

本発明の一態様によれば、輝度成分及び少なくとも１つのカラー成分を持つ第１画素化画像符号化情報（pixelised picture coding）及び第２画素化画像符号化情報を［各映像瞬時に対して（ビデオシーケンスが符号化される場合）、及びカメラアングル、焦点スタック数等の更なる映像列挙変数が存在し得る］有する映像符号化信号（image coding signal）を発生する方法が提供され、該方法は、符号化される第１映像に関する映像符号化データを第１画素化画像に含めるステップと、ダイナミックレンジ拡張データを第２画素化画像の少なくとも１つのカラー成分（例えば、８ビットのデータワードの二次元的群としてのクロミナンスＣｒ、これらデータワードは例えばジグザグ走査等の幾何学的割り付け、又はデータワードに対するピクセルの群の一層複雑なマッピングによるピクセル位置に対応する。本明細書の残部では同様の文言クロマも使用する）に含めるステップとを有する。上記ダイナミックレンジ拡張データは、符号化された第１映像をダイナミックレンジ拡張変換により、オリジナルの捕捉された（キャプチャされた）シーンのＨＤＲ映像（の近似）等の増加されたダイナミックレンジの映像にどの様に変換するかを表すデータを有する。即ち、ピクセル又は領域に対して（例えば、当該変換はＤＣＴ又はテクスチャ表現等のように数学的変換空間で適用することができる）、高ダイナミックレンジ映像を変換（事前に決める、例えば映像毎に限られた変換の群から選択される、又は各領域に対して特定の変換として供給され得る）により低ダイナミックレンジ映像に関係づける方法が存在する。この変換には、補償データと呼ばれる、例えば当該変換を微調整又は最適化する等のための（仮定された変換の如何なる修正でもよい）他の固有のデータ（少なくとも１つの数値）が関連される。簡略化のために、例えばＬＤＲピクセル輝度値の、例えばスケーリング係数である変数（当該映像の異なる領域に対して変化し得る）による線形なスケーリングを考えるが、勿論、一層複雑な変換も符号化することができる（例えば、多重線形近似の傾斜により表される非線形関数）。

【0011】

本発明の特質故に、混同されるべきでない幾つかの用語が存在することを強調したい。先ず、表現されるべきオリジナルのシーン、例えばカメラにより捕捉（キャプチャ）された、又はコンピュータグラフィックス装置により計算されたオリジナルのシーンが存在する。用語“映像（image）”は、シーンの或る実際の表現（言ってみれば、シーンの“物理的”表現）に対して使用する。同一のシーン（例えば、ビデオシーケンスにおける或る瞬時）を表す種々の方法が存在し得る。例えば、当該シーンを、該シーンに対して異なる投射を持つ２つのカメラで撮影することができ（この場合、例えば左及び右のビューを、即ちシーン特性の幾何学的符号化の差を符号化する映像を得ることができる）、又は上記２つのビューは当該シーンのオブジェクトの表面テクスチャ特性の異なる表現を有することができるか、若しくは、言い換えると、当該カメラから見て光が当該オブジェクトとどの様に作用し合うかである（その結果、同一のキャプチャされたオリジナル映像の異なる表現精度、異なるカラー空間又は異なるグレーディングから生じる特定の所望の見え方の映像が生じ得る）。これを用語“画像”により対比させ、該用語は、如何なる斯様な画像の数学的特徴付けのためにも確保される（言ってみれば、プレースホルダ（place-holder））。我々は映像信号に関して言及していることを強調したい（信号は復号を可能にするように符号化される必要があるものの全体である。即ち、例えばフレームレート等のメタデータ、又は特定の輝度若しくはルマのコードワードが表示器（ディスプレイ）のどの実際にレンダリングされるべき輝度に対応するかの仕様等を含む）。上記信号には、該信号に一緒に符号化された少なくとも２つの映像又は“ビュー”が存在し（例えば、ビデオに対しては同一のキャプチャ時点におけるシーンの２つのビューのために２つの画像プレースホルダが存在し得る）、これらを第１及び第２画像符号化情報（picture encoding）と称する。当業者であれば、このような符号化情報がどの様なものであるか、及び該符号化情報が必ずしも（典型的には、そのようであり得るが）ＭＰＥＧ規格のＤＣＴのように“圧縮された”符号化情報である必要はないことを理解するだろうことに注意されたい。例えば、該符号化情報は、例えば１つの８ビットワードが二次元画像におけるピクセル位置毎の輝度を符号化する一群のコードワード及びカラー成分におけるカラーワード等とすることができる。即ち、該符号化情報は、二次元カラー映像の如何なるＲＡＷ符号化、又はＭＰＥＧ２、ＡＶＣ若しくはＨＥＶＣ圧縮規格に従う等のＤＣＴに基づく符号化とすることもできる。映像符号化の技術分野におけるビューは、通常は、カメラ又はカメラアングルに関係するものとして解釈されるが、ビューは、同一のキャプチャの異なるレンダリング、例えば異なる芸術的グレーディング又は比色的変換として解釈することもできる。ここでは、符号化を動詞及び名詞の両方の意味で使用することに注意すべきであり（例えば、映像符号化（情報）は該特定の映像のJPEG DCT表現であり得る）、その違いは映像符号化の当業者の知識を以って本明細書を読む如何なる者にとっても非常に明確であろう。映像なる用語を使用することは、ピクセル位置が必要とされる場合に有用であることに注意すべきであり、その理由は、これらピクセル位置が典型的には通常のサブサンプリングピクセル位置であるからである。一方、画像もピクセル位置を有し得るが、これらは例えばＤＣＴ型関数により当該映像における種々の他のピクセル位置に対応し得る。当該映像のピクセルの少なくとも幾つかに関して、当該変換、例えば誤差補償値を当該画像におけるワードに基づいて導出することができる限り、本方法を適用することができる。勿論、このことは、例えばスパース符号化の場合において最終値を形成するために補間方式が用いられる場合（映像処理はオブジェクト特性に調整された非線形適応フィルタ等のオブジェクト配列構造を使用することができるので、照明効果は非常に正確である必要はない）、当該画像符号化情報の正確に何処に何が書かれているかの定義を介して常に可能である。

【0012】

驚くべきことは、２つのビュー、もっと正確には２つのビューを符号化するために利用可能なプレースホルダを有するので、これらを必ずしも同じ方法で符号化する必要はないということである。第１映像／画像は、通常ＬＤＲ映像の符号化でなされているように、古典的に符号化することができる（例えば、標準のカメラキャプチャのＭＰＥＧ２の８ビット符号化）。しかしながら、第２画像が例えば同じキャプチャ幾何学構造の異なる比色的表現（特には、一層大きな輝度ダイナミックレンジを持つ）又は、他の例として、第２の幾何学的ビューである場合、映像オブジェクトのカラーの符号化は、最早、該第２映像／ビューに対しては必要でないことを推測することができる。何故なら、これは既に第１画像符号化情報に十分に存在するからである（色度は大きく輝度に依存するオブジェクト特性であるから、３Ｄの左／右符号化に対しては、輝度成分のみで定義及び符号化された右ビューオブジェクトに左ビューオブジェクトからカラーをマッピングするために配列（colocation）アルゴリズムを使用することができることが理解できる）。このことは、典型的には、第２画像の符号化のための２つの色度（クロミナンス）画像成分を、自由に再利用されるために、即ちＬＤＲ画像をキャプチャされたシーンのＨＤＲ画像に関係づけるために使用することが可能なデータを符号化するために残存させることになる。

【0013】

特に、例えば局部的に適用されるべきガンマ関数伸張等の“完全な変換データ”の代わりに、斯様なカラー成分に“補償データ”を配置することができ、該データは、例えば、第１画像から一層大きなダイナミックレンジの映像予測への例えば映像瞬時毎のメタデータとして符号化された単一の固定のガンマを用いることによる第１の近似マッピングの後に、符号化されるべきオリジナルのＨＤＲ映像と比較して差分的に残存する誤差である。この構成は、オリジナルの近似が十分に正確でない（例えば、バンディングにより）と考えられる場合にのみ、カラー成分（又は複数のカラー成分）に局部的に幾らかの補償データを追加すればよい（僅かな追加のビットしか消費する必要がないことを意味する）という利点を有している。

【0014】

実施態様は、ＨＤＲは主として合理的に見える８又は１０ビットのＬＤＲ等級として符号化することができ（例えば、最良のガンマ関数又はＳ字状関数等の他のトーンマッピングを適用することにより）、次いで、ＬＤＲ／第１画像符号化情報からは良好に予測されない重要なＨＤＲ効果は第２画像のカラー成分（又は複数のカラー成分）に符号化することができるという考え方で、動作することを可能にする。我々は、これを、ダイナミックレンジ変換が第２画像符号化情報のカラー成分における符号化により少なくとも部分的に（時には完全に）決定される第１のものから形式的に区別するために、第２の高ダイナミックレンジ予測映像及び第２のダイナミックレンジ変換と呼んでいる。一方、これらの実施態様では、これは、典型的なＬＤＲ-ＨＤＲガンママッピング等の前置変換により決定され、次いで該第２の予測ＨＤＲ映像は補償データで微調整される。該補償データは、加算的“誤差補正”又は例えば特定の輝度領域でガンマから逸れるトーンマッピング等の他の変換とすることができる。しかしながら、一般的に、上記ＨＤＲデータはＨＤＲ画像と同一である必要はなく、又は画像幾何学構造を有する必要さえない。何故なら、該データは、例えば第１映像の幾つかの領域に適用されるべき種々の多重線形輝度変換のための一群の成分であり得るからである。ダイナミックレンジ変換は輝度／ルマ（luma）軸に沿う変換を主に必要とすることに注意されたい（特に、コードがどの様なものであろうとも（８ビットワードで符号化されていても）、レンダリング表示器上にどの程度明るいカラーが発生されるかを指定する必要がある）。即ち、全てはカラー空間の斯様な明度相関次元に対して符号化される。カラー修正も含まれ得るが（表示可能な色域の形状を考慮し、光対彩度の影響等に対する妥協を利用したカラー空間の非線形性の補正等）、これは、例えば多原色又は一層飽和された原色等の広いカラー技術と混同されるべきでない。

【0015】

当業者であれば、種々のＨＤＲ変形例を斯様な２画像方法で如何にして符号化するかを理解するであろう。即ち、例えばグレーダからＨＤＲ及びＬＤＲの両方のグレーディングを入手可能であり、次いで、ＨＤＲバージョンが、自身の固有の品質基準（標準ＬＤＲグレーディングモニタ上のグレーディングにより指定される）を持つＬＤＲ信号に基づいて可能な限り忠実な差分予測に符号化される。又は、他の例として、ＨＤＲ映像のみが存在し得、該ＨＤＲ映像は本発明によるＬＤＲからの予測方法で符号化される。又は、ＨＤＲバージョンを、知的映像処理装置により唯一利用可能な（レガシ）ＬＤＲビデオから予測することができ、その場合、これらの何れの実施態様に対してもＨＤＲ信号符号化方法が映像又はビデオ伝送システムにおいて更に完全に使用されるべきである。ＬＤＲ又はＨＤＲ映像の何れか及び対応する画像符号化情報は、カメラから直接得ることができるか、又は他の例として映像処理ソフトウェアから得ることができ、これは例えばファイヤボール又は窓の外に見える景色等のＨＤＲグラフィックス効果を含む。更に、上記映像の何れも、１以上の映像変換を受けているものとすることができ、例えばオリジナルの生の（ＲＡＷ）ＬＤＲ映像は、ＨＤＲをオリジナルに基づいてではなく受信側で再生可能なものに基づいて予測するために、MPEG又はJPEGモデルに従って圧縮し次いで伸張することができる。

【0016】

勿論、当業者であれば、例えば入力フォーマットから出力フォーマットへと計算ユニットを介して進む際に、フォーマッティング、（アン）パッキング、映像変換等の何の種の中間処理が含まれ得るかを理解するであろう。

【0017】

本発明は、多くのシステムにおいて増加されたダイナミックレンジの映像をサポートする改善された方法を提供することができる。該方法は、第１の一層小さなダイナミックレンジ表現の映像、及び対応する一層大きなダイナミックレンジの映像の両方の効率的な表現を可能にし得る。

【0018】

動きベクトルフィールド又は奥行きマップ等の、数学的に映像として符号化することが可能な幾つかの物理的主体が存在するが、これらの目下の実施態様の背後には複数の新しく且つ驚くべき考慮事項が存在する。我々は、特別な方法でプレースホルダ画像を一緒に有するように既に事前調整された信号を有する（即ち、媒体上の十分なスペース、技術分野における認識された必要性等の複数の厳しい条件が満たされない限り当業者がこれを基本的に非標準的方法で再利用しないように教示するような構造を記述するメタデータフォーマット、特に合理的に後方互換性がある場合の容易な修正等）。即ち、当該システムは、複数の関係するビュー映像（典型的には、例えばステレオのための幾何学的ビュー）に関して事前調整される。当該原理は、上記データの幾らかが必要でない可能性があるので、動作する。即ち、第２ルマ映像（即ち、ルマ成分を符号化する第２画像）が利用可能であるとしても、カラー成分を、当該映像の１つに関係する若しくは関係しない、特には潜在的に関係しない、又は第２画像における映像ビューに対して一寸だけ関係するが映像オブジェクトに対して幾何学的に配列されない全く異なる何かのために再利用することができる。この場合、この新たな意味は、幾つかの余り能力のないシステムは当該データの幾らかを無視し、より高い能力のシステムは特別な方法でこれを再利用することを可能にする等のように、新たなメタデータにより通知される。特に、符号化されたダイナミックレンジ拡張データは、映像の実際のテクスチャの一部のみを符号化する実際のピクセル値には殆ど関係ないが、実際に使用されるＬＥＤ／ＨＤＲ計算に依存して数学的意味を有し得る。もっと興味深いことに、１つの配慮は、将来においてＬＤＲを介してのＨＤＲの符号化（特に、旧来の表示器又は品質の劣る表示器を備えるシステムが、ＨＤＲのみで符号化された映像から最適なＬＤＲ映像を導出するための映像処理を行わなければならないというよりも、ＬＤＲの第１映像を使用することを可能にする）を有することを欲さないかも知れず、消費者に対し高品質ブルーレイディスク等の高品質ビデオが３Ｄ及びＨＤＲの両方の能力を供給する必要があり得るということであった。もっと驚くべきことに、当該実施態様は、これも可能にする。何故なら、前記画像プレースホルダは、当該システムが部分的に意図したように動作し（第２画像（又は複数の画像）のＹ成分が３Ｄ右ビュー（又は複数のビュー）を伝達する）、それでいて、当該カラー成分が例示としての３Ｄ等の如何なる単一符号化技術とも無関係な全く異なる何かを伝達するように使用することができるからである。

【0019】

本発明は、改善された後方互換性を可能にし得る。特に、第２画像にダイナミックレンジ拡張データを設けることは、多くの多重画像符号化方法が再利用されることを可能にする。例えば、（幾何学的）マルチビュー符号化方法及び規格を、時には、大いに再利用することができる。更に、既存の方法及び規格に対する補正及び変更を、高品質のダイナミックレンジ拡張映像を可能にしながら、低減することができる。更に、幾何学的マルチビュー符号化に関しては異なる輝度画像のみが必要とされ、これらは、１つのみのカラー画像の仕様に基づいて（再）着色することができる（例えば、変位マッピングにより）という興味ある特性が存在する。即ち、ステレオ符号化情報を両方記憶し、利用可能な第２画像カラー成分（大きなデータ容量を提供する）を良い品質のＨＤＲ情報を同時に符号化するために使用することができる。［我々は、同一のシーンの幾何学的ビューを汎用ビューから、前者は典型的に変化するアングル若しくは当該シーンに平行なライン上のカメラ位置、スケール又は焦点ぼけ等を有する一方、後者は斯様な特性を、当該シーンを表現するためのグレイ値又はカラーの変化として含む（例えば、シーンを一層ぼやけて見えるようにさせる）という点で区別していることに注意されたい。］

【0020】

当該方法は、更に、例えば高ダイナミックレンジ映像の直接的符号化又は第１符号化映像と高ダイナミックレンジ映像との間の差分の直接的符号化と比較して、大幅に低減されたデータレートを提供することができる。

【0021】

当該ダイナミックレンジ拡張変換は、増加されたダイナミックレンジの映像を発生するために第１映像に適用することが可能な如何なる演算、関数及び／又はアルゴリズムとすることもできる。例えば、簡単なガンマ変換を適用することができ、該変換は少なくともＨＤＲの見え方の、良好な第１近似を提供する（例えば、該ガンマは、より低い輝度のオブジェクトのカラーを概して保持すると共に、明るい部分を増強するように選択することができる）。前記補償データは、ダイナミックレンジ拡張変換の結果（又は逆に、入力）に適用されるべき補償の指示情報を提供することができると共に、特には、当該変換から生じる映像サンプルに（又は、当該変換へ入力される映像サンプルに）加算される加算的補償値であり得る。このことは、なかでも、ＨＤＲの見え方の高度の調整可能性を可能にし、例えばインターネット、ケーブルの特別なチャンネル又は携帯装置等を介しての例えば低帯域幅配信等のアプリケーションにとり興味あるものである。しかしながら、当該原理を、補償データとしてコンテンツ制作側の変換を直接的に同時符号化するために使用することもできる（例えば、レガシ映画のオリジナルのＬＤＲ符号化情報を、カラーグレーダにより定義された一層強調された見え方を与える複数の領域を増強する変換、又は第１の改善変換の更なる修正と一緒に記憶する。例えば、上記第１の変換は非常に高品質の表示器に対する最適なレンダリングとして働き、それから逸れる第２変換は中間のダイナミックレンジの表示器に対する案内変換として働き得る）。
上記第１映像は特には低ダイナミックレンジ（ＬＤＲ）映像とすることができ、上記第２映像は高ダイナミックレンジ（ＨＤＲ）映像とすることができる。

【0022】

当該方法は、例えば、個々の映像が所望に応じて最適化されることを可能にしながら、関連するＬＤＲ及びＨＤＲ情報の効率的な通信を可能にし得る。例えば、ＬＤＲ及びＨＤＲ映像の一方又は両方は、所望の（芸術的）映像を形成するために手動でカラーグレーディングをすることができる。ＬＤＲ及びＨＤＲ映像は、所望の効果を付与するために個別にカラーグレーディングすることができ、その祭に、この個別のカラーグレーディングが映像符号化信号内に効果的に表されることを可能にする。

【0023】

当該補償は、ダイナミックレンジ拡張変換に対する前補償であり得るか、又は斯かる前補償を含むことができる。該前補償は、ダイナミックレンジ拡張変換の適用前の符号化第１映像の補償に対応し得る。
前記増加されたダイナミックレンジの映像は、典型的には、符号化第１映像よりも輝度方向に一層大きな色域を有することができる。
前記第１及び第２画素化画像は、マルチビュー映像表現と互換性があり得る。

【0024】

本発明のオプション的なフィーチャによれば、当該方法は、ダイナミックレンジ拡張データを前記第２画素化画像の輝度成分に含めるステップを更に有し、該ダイナミックレンジ拡張データは、例えば、前記ダイナミックレンジ拡張変換を表す、又は該ダイナミックレンジ拡張変換のパラメータ化として使用可能なデータを有する。即ち、３Ｄ表現が必要でない場合、ＬＤＲ-ＨＤＲ変換を行うために２つの成分（輝度、及びクロミナンス画像の少なくとも１つ）を使用することができる。例えば、輝度画像は例えばブースティング等の局部的近似マッピングを含むことができ、クロミナンスは該マッピングを微調整するための更なる補正画像を供給することができる。マッピングを別途記憶することが有利である。何故なら、マッピングは、キャプチャされたシーンの２つの（ＬＤＲ対ＨＤＲ）表現が互いにどの様に関係するかの非常に興味ある情報を含み得るからである（特に、特定の表現能力に関してアーチストの所望の見え方を指定する潜在的な最適なカラーグレーディングが存在するなら）。該変換情報は、（前記補償データなしで、又は該補償データと共に）異なる中間表現にマッピングするために使用することができる（例えば、低減された最大輝度のＨＤＲ表示器のために）。これは、例えば前記第２画像の輝度成分におけるデータから新たな機能的変換を本質的に定義することにより、非常に用途が広い分解を可能にする。該変換はＬＤＲ映像から高品質のＨＤＲ映像をどの様に導出するかについての正確な仕様である必要さえなく（むしろ、例えば何らかのＨＤＲ効果の潜在的適用を示すローカルな変換を大凡示すことができ、これは次いで選択されるか又は表示器自体により最終的に決定される）、この場合、正確なＨＤＲ画像は１以上のカラー成分における補正データにより形成する。

【0025】

この構成は、当該変換の多様性及び柔軟性を改善することができ、及び／又は改善され且つ増加されたダイナミックレンジの映像を形成することができる。当該ダイナミックレンジ拡張変換を表すデータは、例えば、当該変換のための重み（又は、ローカルな重みを持つ２つの変換を適用することもできる）、パワー変換のためのガンマ値等の、該変換のパラメータを定義することができる。

【0026】

当該方法は、例えば手動カラーグレーダにより、符号化された第１映像（例えば、ＬＤＲ映像）及び増加されたダイナミックレンジの映像（例えば、オリジナルのＨＤＲ映像又は該映像の何らかの近似若しくは派生物）の個別の最適化の更なる自由度を可能にする。

【0027】

本発明のオプション的なフィーチャによれば、前記ダイナミックレンジ拡張補償データは前記第１映像に関する、即ち例えば該第１映像におけるピクセル位置に関するピクセル誤差補正値を有する。

【0028】

このような誤差（エラー）フィールドは、所望の機能的変換部分及び補正部分にわたる一層良好な分散を可能にし、これは、例えば最終的なレンダリング環境の想定されるスペクトルの観点で（特に、これらが自身の映像カラー変換能力の種々の変形を有する場合）、又は当該映像信号（又は複数の信号）の更なるグレーディング若しくは修正が予測され得る場合の介在物として有用であり得る。誤差補正値は、典型的に（少なくとも１つの）ＨＤＲ映像に関して固有のピクセル輝度目標値が想定される場合、補償値（一般的に、想定される輝度変換を修正することが可能な何かであり得る）の特定の変形である。勿論、補償値は多様であり得、シーンオブジェクトの輝度範囲の幾つかの領域への変換を可能にする。

【0029】

本発明のオプション的フィーチャによれば、前記ピクセル誤差補正値は、前記増加されたダイナミックレンジの映像の映像ピクセル値と、対応する入力された高ダイナミックレンジ映像の映像ピクセル値との間の加重差を示す。

【0030】

この構成は、多くのシナリオにおいて、複雑さ、精度及び柔軟性の間の極めて有利な取引を可能にする。或るシナリオでは、符号化された第１映像は、入力された高ダイナミックレンジ映像（即ち、例えば高品質カメラからのデータ及びコンピュータ効果からなるデジタルマスタ映像）から発生することができる。上記の増加されたダイナミックレンジの映像は、入力された高ダイナミックレンジ映像、入力された低ダイナミックレンジ映像、又は両方に関する予測であり得る。

【0031】

例えば、ＨＤＲ映像が受信され、ＬＤＲ映像に変換され得る（手動で、半自動的に又は自動的に）。入力されたＨＤＲ映像に関する予測ＨＤＲ映像を発生するために、ＬＤＲ映像に対してダイナミックレンジ拡張変換を適用することができる。次いで、入力ＨＤＲ映像と予測ＨＤＲ映像との間の差分を決定することができる。幾つかのシナリオにおいて、これらの誤差値は等しく加重（例えばスケーリング）することができるが、他の実施態様では、異なる誤差値に異なる重み（例えば、スケーリング係数）を適用することができる。種々の誤差の影響を測定するために種々の誤差尺度を適用することができることに注意されたい。例えば、明るい光は、オリジナルのキャプチャとは値が相違し得るが、それでも、平均周囲輝度の乗算係数倍を越える平均ピクセル輝度を有するなら、良好に表現されていると評価される。

【0032】

本発明のオプション的フィーチャによれば、当該方法は、前記増加されたダイナミックレンジの映像及び対応する入力された高ダイナミックレンジ映像の比較に応答して前記ダイナミックレンジ拡張補償データを発生するステップを更に有する。

【0033】

この構成は、多くのシナリオにおいて、複雑さ、精度及び柔軟性の間での極めて有利な取引を可能にする。符号化された第１映像は、入力された高ダイナミックレンジ映像から発生することができる。上記の増加されたダイナミックレンジの映像は、該入力された高ダイナミックレンジ映像に関する予測又は近似であり得る。

【0034】

例えば、ＨＤＲ映像が受信され、ＬＤＲ映像に変換され得る（手動で、半自動的に又は自動的に）。入力されたＨＤＲ映像に関する予測ＨＤＲ映像を発生するために、上記ＬＤＲ映像に対してダイナミックレンジ拡張変換を適用することができる。次いで、入力ＨＤＲ映像と予測ＨＤＲ映像との間の差分を決定することができる。

【0035】

本発明のオプション的フィーチャによれば、前記ダイナミックレンジ拡張補償データは、彩度（color saturation）補償データを有する。

【0036】

古典的な表示器（及び、特には、これらが駆動されるビュー、又は言い換えると色が当該カラーチャンネルの最小及び最大駆動に対応する黒及び白の間の範囲上で表現されるビュー）は、鋭い（pointed）色域を有するので、一層高い輝度対一層高い彩度との間には取引関係が存在することが知られている。より高いダイナミックレンジの表示器は、これらを選択する（例えば、明るい飽和した（純粋な）青を生成する）大きな自由度を有している。従って、少なくとも１つの又は幾つかの予想される表示器、又は表示ストラテジに対して、色方向にも補正関数を更に指定することが有利であり得る。

【0037】

前記第１カラー成分（例えば、Ｃｒ）は輝度補償データを有することができ、第２カラー成分（Ｃｂ）はカラー補償データを有することができる。

【0038】

上記データを２つのカラー成分に賢明に割り当てることにより、多くの実施態様及びシナリオにおいて特に有利な性能を提供することができる。特に、このことは、最終的な増加されたダイナミックレンジの映像の発生に対する非常に高度の制御を持つシステムを可能にし得る。例えば、第２ビューの輝度画像を３Ｄステレオのために使用することができ、第１カラー成分画像を局部的（ローカルな）ＬＤＲ／ＨＤＲ変換のローカルな微調整のために使用することができ、第２カラー成分は少なくとも幾つかのピクセル（恐らくはサブサンプリングされた）のための加算的補償値を有することができる。または、第２画像の輝度成分が、第２幾何学的ビューを記憶する代わりに、適当なＨＤＲ変換／見え方を得るための良品質なデータを既に含んでいる場合、２つのカラー成分は、例えば輝度成分により決定される変換により得ることが可能な見え方から幾つかの導出されるＨＤＲ的見え方を生成するために、例えば幾つかの微調整又は導出ストラテジを含むことができる。２つの成分における表現を、例えばピクセル位置における利用可能なコードワード内の係数の特定のサブサンプリング、又は成分符号化に対応する当該映像の空間的副部分の幾何学的副割り付け等の混合方式に従って混合することさえ可能である。

【0039】

本発明のオプション的フィーチャによれば、前記第１符号化映像はシーンの第１ビュー映像であり、当該方法は、前記第２画素化画像に、前記シーンの第２ビュー映像である符号化される第２映像に関する映像符号化データを含めるステップを更に有する。

【0040】

この構成は、多くの実施態様において特に有利であり得、特に、３Ｄ信号等の幾何学的マルチビュー信号のために設計された送信器、受信器及び通信媒体等の機能が、組み合わされたＬＤＲ／ＨＤＲ映像の配信のために容易に使用されることを可能にする。

【0041】

本発明のオプション的フィーチャによれば、前記第２画素化画像に（例えば、少なくとも輝度成分に）前記符号化第２映像（例えば、３Ｄマルチビューセットメンバ）及び前記ダイナミックレンジ拡張補償データのうちの一方のみが含まれ、当該方法は、前記映像符号化信号に、前記第２画素化画像が前記符号化第２映像を有するか又は前記ダイナミックレンジ補償データを有するかの指示情報を含めるステップを更に有する。典型的には、当該選択は、上記指示情報が時間的に変化することを許可することにより、全体の映画又はビデオプログラムに対してラベル付けされるが、これを、（一群の）シーン毎に行うことができ、その場合、例えば特定の部分に対してのみ３Ｄを有する（又は、特定の部分に対して一層高い品質の３Ｄ、テレビジョンにおいてレポーティングは高品質３Ｄであり、その間のニュースアナウンサの話は２Ｄ／３Ｄ変換されるようなニュース番組を想定することができる）プログラムを作成することができ、従って、ＨＤＲ又は２Ｄ部分における他の特性に対して利用可能な一層多くのデータ空間を有することができる。

【0042】

この構成は、マルチビュー映像のための又は一層高いダイナミックレンジの映像のための機能の相互運用性を容易にし得る。該構成は、配信媒体が一方又は他方（又は、可能性として両方）のために容易に使用されることを可能にすることができると同時に、シンク／受信端における適切な処理の容易な決定を可能にする。

【0043】

本発明のオプション的フィーチャによれば、符号化された前記第２映像に関する映像符号化データは前記第２画素化画像の輝度成分に含まれ、前記ダイナミックレンジ補償データは前記第２画素化画像のカラー成分に含まれる。

【0044】

この構成は、同一の映像信号におけるマルチビュー映像及び高ダイナミックレンジ映像の両方の効率的な表現を可能にし得る。上記符号化第２映像のデータは、幾つかのシナリオでは、輝度データのみとすることができる。

【0045】

幾つかのシナリオにおいて、上記符号化第２映像に関する映像符号化データは第２画素化画像の或るカラー成分に含まれ、上記ダイナミックレンジ拡張補償データは該第２画素化画像の他のカラー成分又は、可能性として、輝度成分に含まれる。

【0046】

本発明のオプション的フィーチャによれば、当該方法は、前記第２画素化画像の他のカラー成分に他のダイナミックレンジ拡張補償データを含めるステップを更に有し、該他のダイナミックレンジ拡張補償データは前記増加されたダイナミックレンジの映像に対する第２補償を表すデータを有する。

【0047】

この構成は、増加されたダイナミックレンジの映像の最適化／適応化の更なる柔軟性を可能にし得る。当該方法は、例えば代替的補償を可能にし得るか、又は例えば上記他のカラー成分が一層正確な補償データ（しかしながら、これはオプション的なものであり、一層強力な受信器によってのみ使用される）を供給することを可能にし得る（斯かる受信器に関しては、一層高い精度を可能にする、毎秒当たり一層多くの演算を実行することが可能な強力な映像処理計算エンジンを有する、又はプログラマブル図形要素（グラフィックスプリミティブ）等の異なる映像処理機能を有する表示器が考えられ得る）。

【0048】

本発明のオプション的フィーチャによれば、前記ダイナミックレンジ拡張補償データは、前記ダイナミックレンジ拡張変換の前に前記符号化された第１映像に適用する前補償データを有する。

【0049】

この構成は、多くの実施態様及びシナリオにおいて特に有利な性能／動作を提供することができる。

【0050】

本発明の一態様によれば、各映像に対して輝度成分及びカラー成分を含む第１画素化画像及び第２画素化画像を有する映像符号化信号を発生する装置が提供され、該装置は、符号化される第１映像に関する映像符号化データを前記第１画素化画像に含める第１画像プロセッサと、例えばダイナミックレンジ補償データ又は何らかのダイナミックレンジ修正関数データ等のダイナミックレンジ拡張データを前記第２画素化画像のカラー成分に含める第２画像プロセッサとを有する。

【0051】

本発明の一態様によれば、増加されたダイナミックレンジの映像を発生する方法が提供され、該方法は、各映像に対して輝度成分及びカラー成分を含む第１画素化画像及び第２画素化画像を有する映像符号化信号を受信するステップであって、該映像符号化信号が前記第１画素化画像に符号化される第１映像に関する映像符号化データを有すると共に前記第２画素化画像のカラー成分にダイナミックレンジ拡張データを有するステップと、前記符号化された第１映像に関する映像符号化データから第１映像を発生するステップと、ダイナミックレンジ拡張変換を前記第１映像に適用して、変換により増加されたダイナミックレンジの映像を発生するステップと、を有する。

【0052】

例えば、典型的には、当該方法は、
− 前記符号化された第１映像に関する映像符号化データから第１映像を発生するステップと、

− ダイナミックレンジ拡張変換を決定すると共に、ダイナミックレンジ拡張変換を前記第１映像に適用して、増加されたダイナミックレンジの映像を発生するステップと、
− 強化されたダイナミックレンジの映像を、前記発生された増加されたダイナミックレンジの映像に対する補償を表すデータに基づいて発生するステップと、
を有し得る。

【0053】

即ち、この場合、当該方法は反復型のものである。ダイナミックレンジ拡張変換を決定する上記ステップは、全てのＨＤＲ映像に対して固定の変換（例えば、単なるスケーリング）を選択するほど簡単なものとすることができるか、又はピクセル領域毎のパラメータ的組成を含み得る。これから修正する第２ステップは、例えば第２変換を構築することができる。当該補償は、このような補正映像（例えば、サブサンプリングされ、次いでアップコンバートされた）を何れのダイナミックレンジ拡張変換を適用する前にも入力（ＬＤＲ）映像に適用することによる簡単な加算的又は乗算的のタイプのものとすることができるか、又は該補償は後補正とすることができる。しかしながら、当該変換自体の修正又は指定も含まれ得る。例えば、幾つかの領域に対してデフォルト変換の逆（Ｔ^−１）を適用し、次いで当該補償データの少なくとも幾らかに基づいて決定された修正されたローカルに一層適した変換（Ｔ_２）適用することを想定することもできる。勿論、これを１つの処理で実行するための幾つかのストラテジを具現化することもできる（即ち、例えば、補償データから適切な変換を決定するためのデフォルト変換ストラテジの書き換え、及びその置換として）。

【0054】

［従って、以下の文言により２つの高ダイナミックレンジ映像（典型的には、低ダイナミックレンジ映像に基づいて得られ得る）を区別する。即ち、“大まかな変形”ＨＤＲ映像と見ることができる増加されたダイナミックレンジの映像、及び強化されたダイナミックレンジの映像と称される、目下説明されている発明的実施態様による一層良好な品質又は有用性の最終的ＨＤＲ映像である。カラー成分が更なる補償無しで単一のＤＲ変換しか含まない場合、勿論、前記予測が最終的な符号化ＨＤＲ映像となる。］

【0055】

本発明の一態様によれば、増加されたダイナミックレンジの映像を発生する装置が提供され、該装置は、各映像に対して輝度成分及びカラー成分を含む第１画素化画像及び第２画素化画像を有する映像符号化信号を受信する受信器であって、前記映像符号化信号が前記第１画素化画像内の符号化された第１映像に関する映像符号化データと前記第２画素化画像のカラー成分内のダイナミックレンジ拡張データとを有する受信器と、前記第１映像に関する映像符号化データから第１映像を発生するデコーダと、前記ダイナミックレンジ拡張データに基づいて形成された全体のダイナミックレンジ拡張変換を前記第１映像に適用して、前記増加されたダイナミックレンジの映像を発生するように構成された変換ユニット５２０と、を有する。

【0056】

多くの実施態様又は実用的な実現化において、変換ユニット５２０は、第１の（典型的には大まかな、例えば限られた群の変換から選択されたデフォルト）ダイナミックレンジ拡張変換を前記第１映像に適用して、変換により増加されたダイナミックレンジの映像を発生する変換器５０７を有して構成される。上記変換ユニットは、更に、上記増加されたダイナミックレンジの映像に更なる補正ストラテジを適用する（例えば、加算的誤差補正画像を適用する）ことにより強化されたダイナミックレンジの映像を発生して、最終的な所望の強化されたダイナミックレンジの映像ＨＤＲを得る補償器５０９を有する（これは、全体のダイナミックレンジ拡張変換を、該変換を一群の分解された基本変換として実施化することにより実現する方法の１つである）。当業者であれば、単一のユニット若しくは複数のユニット、又はハードウェア若しくはソフトウェアとして実現されるかに拘わらず、例えば変換器５０７により変換を適用する前にＬＤＲ映像に前補償を適用する（前補償ユニットにより）ために、又は他の変換ストラテジを該変換器にロードするために、これを如何にして再具現化することができるかを理解するであろう。

【0057】

本発明の一態様によれば、各映像に対して輝度成分を含む第１画素化画像及び第２画素化画像を有する映像符号化信号を発生する方法が提供され、該方法は、符号化された第１映像に関する映像符号化データを前記第１画素化画像に含めるステップと、ダイナミックレンジ拡張データを前記第２画素化画像の輝度成分に含めるステップであって、該ダイナミックレンジ拡張データが前記符号化された第１映像から増加されたダイナミックレンジの映像を発生するためのダイナミックレンジ拡張変換を表すデータを有するステップと、を有する。

【0058】

本発明は、多くのシステムにおいて増加されたダイナミックレンジの映像をサポートする改善された方法を提供することができる。該方法は、映像と、対応する一層大きなダイナミックレンジの映像との両方の効率的な表現を可能にすることができる。

【0059】

本発明は、改善された後方互換性を可能にすることができる。特に、ダイナミックレンジ拡張データを第２画像に設けることは、多くの複数画像符号化方法が再利用されることを可能にする。例えば、（幾何学的）マルチビュー符号化方法及び規格を、時には、大規模に再利用することができる。更に、既存の方法及び規格に対する補正及び変更を、高品質ダイナミックレンジ拡張映像を可能にしながら、低減することができる。

【0060】

当該方法は、更に、例えば高ダイナミックレンジ映像の直接的符号化又は第１映像と高ダイナミックレンジ映像との間の差分の直接的符号化と比較して、大幅に低減されたデータレートを提供することができる。

【0061】

前記ダイナミックレンジ拡張変換は、増加されたダイナミックレンジを持つ映像を発生するために前記第１映像に適用することが可能な如何なる演算、関数及び／又はアルゴリズムとすることもできる。例えば、簡単なガンマ変換を適用することができる。

【0062】

当該変換は、高ダイナミックレンジ映像に関する詳細な情報が通知されることを要せずにダイナミックレンジを増加させるための効率的な方法を提供する。このように、ダイナミックレンジ拡張変換の使用は、当該拡張を正確に記述する詳細なデータが通知されることを要せずに（必要なだけ又は望まれるだけ多くのＨＤＲ映像オブジェクトの改善だけしか含まれる必要はない）、ダイナミックレンジの効率的な拡張を可能にする。

【0063】

前記第１映像は、特には、低ダイナミックレンジ（ＬＤＲ）映像であり得、前記第２映像は高ダイナミックレンジ（ＨＤＲ）映像であり得る。

【0064】

当該方法は、例えば、個々の映像が所望に応じて最適化されるのを可能にしながら、関連するＬＤＲ及びＨＤＲ情報の効率的な通信を可能にする。例えば、ＬＤＲ及びＨＤＲ映像の一方又は両方は、所望の（芸術的）映像を形成するため手動でカラーグレーディングをすることができる。ＬＤＲ及びＨＤＲ映像は、所望の効果を生成するために個別にカラーグレーディングすることができ、同時に、この個別のカラーグレーディングが前記映像符号化信号において効果的に表されることを可能にする。

【0065】

前記増加されたダイナミックレンジの映像は、前記符号化された第１映像よりも輝度方向に一層大きな色域を有し得る。

【0066】

前記第１及び第２画素化画像は、マルチビュー映像表現と互換性があり得る。

【0067】

本発明のオプション的フィーチャによれば、前記ダイナミックレンジ拡張データは前記符号化された第１映像の少なくとも１つのカラー成分に対するスケーリング係数を有する。

【0068】

この構成は、ダイナミックレンジを増加させるための低複雑度で、それでいて、効率的な変換を提供し得る。

【0069】

幾つかの実施態様において、前記ダイナミックレンジ拡張データは、前記符号化された第１映像の少なくとも１つの輝度成分に対するスケーリング係数を有することができる。

【0070】

本発明のオプション的フィーチャによれば、前記スケーリング係数は、当該映像の少なくとも１つのピクセルに対して低減されたダイナミックレンジとなる値を含む。

【0071】

本発明は、増加されたダイナミックレンジの映像の柔軟な最適化／適応化を可能にし得る。特に、当該方法は、幾つかの領域の輝度又は明るさが拡張されることを可能にし得る一方、他の領域は可能性として暗くし又は減衰させることができる。

【0072】

本発明のオプション的フィーチャによれば、前記第１符号化映像はシーンの第１ビュー映像であり、当該方法は、更に、前記第２画素化画像に前記シーンの第２ビュー映像である符号化された第２映像に関する映像符号化データを含めるステップを更に有する。

【0073】

この構成は、多くの実施態様において特に有利であり得、特には、３Ｄ信号等のマルチビュー信号のために設計された送信器、受信器及び通信媒体等の機能が、組み合わされたＬＤＲ／ＨＤＲ映像の配信のために容易に使用されることを可能にすることができる。

【0074】

本発明のオプション的フィーチャによれば、当該方法は、前記第２画素化画像の或る成分に他のダイナミックレンジ拡張データを含めるステップを更に有し、該他のダイナミックレンジ拡張データは前記符号化第１映像から増加されたダイナミックレンジの映像を発生するための他のダイナミックレンジ拡張変換を表すデータを有する。

【0075】

この構成は、前記増加されたダイナミックレンジの映像の最適化／適応化の更なる柔軟性を可能にする。当該方法は、例えば代替的補償を可能にすることができるか、又は例えば前記他のカラー成分が一層正確な補償データを供給することを可能にし得るが、これはオプションであり、従って一層強力な装置によってのみ使用される。

【0076】

本発明の一態様によれば、各映像に対して輝度成分を含む第２画素化画像及び第１画素化画像を有する映像符号化信号を発生する装置が提供され、該装置は、符号化された第１映像に関する映像符号化データを前記第１画素化画像に含める第１画像プロセッサと、ダイナミックレンジ拡張データを前記第２画素化画像の輝度成分に含める第２画像プロセッサであって、前記ダイナミックレンジ拡張データが、前記符号化された第１映像から増加されたダイナミックレンジの映像を発生するためのダイナミックレンジ拡張変換を表すデータを有する第２画像プロセッサと、を有する。

【0077】

本発明の一態様によれば、増加されたダイナミックレンジの映像を発生する方法が提供され、該方法は、各映像に対して輝度成分を含む第２画素化画像及び第１画素化画像を有する映像符号化信号を受信するステップであって、前記映像符号化信号が前記第１画素化画像内の符号化された第１映像に関する映像符号化データと前記第２画素化画像の輝度成分内のダイナミックレンジ拡張データとを有し、前記ダイナミックレンジ拡張データが前記符号化された第１映像から増加されたダイナミックレンジの映像を発生するためのダイナミックレンジ拡張変換を表すデータを有するステップと、符号化された第１映像に関する映像符号化データから第１映像を発生するステップと、前記ダイナミックレンジ拡張変換を前記第１映像に適用して、変換により増加されたダイナミックレンジの映像を発生するステップと、前記ダイナミックレンジ拡張変換を前記ダイナミックレンジ拡張データに応答して調整するステップと、を有する。

【0078】

本発明の一態様によれば、増加されたダイナミックレンジの映像を発生する装置が提供され、該装置は、各映像に対して輝度成分を含む第２画素化画像及び第１画素化画像を有する映像符号化信号を受信する受信器であって、前記映像符号化信号が前記第１画素化画像内の符号化された第１映像に関する映像符号化データと前記第２画素化画像の輝度成分内のダイナミックレンジ拡張データとを有し、前記ダイナミックレンジ拡張データが前記符号化された第１映像から増加されたダイナミックレンジの映像を発生するためのダイナミックレンジ拡張変換を表すデータを有する受信器と、符号化された第１映像に関する映像符号化データから第１映像を発生するデコーダと、前記ダイナミックレンジ拡張変換を前記第１映像に適用して、変換により増加されたダイナミックレンジの映像を発生する変換器と、前記ダイナミックレンジ拡張変換を前記ダイナミックレンジ拡張データに応答して調整する調整器と、を有する。

【0079】

本発明の上記及び他の態様、フィーチャ及び利点は、後述する実施態様から明らかとなり、斯かる実施態様を参照して解説されるであろう。

【図面の簡単な説明】

【0080】

【図1】図１は、オーディオビジュアルコンテンツに対する配信経路の図である。

【図2】図２は、本発明の幾つかの実施態様による映像エンコーダの構成要素の一例を示す。

【図3】図３は、ＨＤＲ映像の輝度値とＬＤＲ映像の輝度値との間の可能性のある変換を示す。

【図4】図４は、本発明の幾つかの実施態様による映像エンコーダの構成要素の一例を示す。

【図5】図５は、本発明の幾つかの実施態様による映像デコーダの構成要素の一例を示す。

【図6】図６は、本発明の幾つかの実施態様によるダイナミックレンジ拡張データの要素の一例を示す。

【図7】図７は、本発明の幾つかの実施態様によるＡＶＣストリームに関するアクセス単位の一例を示す。

【図8】図８は、従来技術による立体映像を通信するためのフォーマットの一例を示す。

【図9】図９も、従来技術による立体映像を通信するためのフォーマットの一例を示す。

【図10】図１０は、本発明の或る実施態様によるＬＤＲ及びＨＤＲ画像を通信するための構成の一例を示す。

【図11】図１１は、本発明の他の実施態様によるＬＤＲ及びＨＤＲ映像を通信するための構成の一例を示す。

【図12】図１２は、オーディオビジュアルコンテンツを発生するためのシステムの一例を示す。

【図13】図１３は、オーディオビジュアルコンテンツを処理するためのシステムの一例を示す。

【図14】図１４は、数個のＨＤＲ変換モデルデータパラメータのサブサンプリングされた構成での可能性のある符号化を示す。

【発明を実施するための形態】

【0081】

以下、本発明の実施態様を、図面を参照して例示のみとして説明する。

【0082】

図１は、オーディオビジュアル配信経路の一例を示す。該例において、コンテンツ供給者装置１０１は、映画、テレビジョン番組等のオーディオビジュアルコンテンツ項目に関するオーディオビジュアル信号を発生する。コンテンツ供給者装置１０１は、特には、上記オーディオビジュアルコンテンツを適切な符号化フォーマット及びカラー表現に従って符号化することができる。特に、コンテンツ供給者装置１０１は、上記オーディオビジュアルコンテンツ項目のビデオシーケンスの映像を、例えばＹＣｒＣｂ等の適切な表現に従って符号化することができる。コンテンツ供給者装置１０１は、当該コンテンツを作成又は放送する製作又は配信ハウスの現場に存在し得る。

【0083】

上記オーディオビジュアル信号は、配信経路１０５を介してコンテンツ処理装置１０３に配信することができる。コンテンツ処理装置１０３は、例えば当該コンテンツ項目の特定の消費者に対して存在するセットトップボックスであり得る（該セットトップボックスは、例えば種々の簡単な及び／又は進んだ画像処理変換を適用することが可能な、相当の記憶及び計算資源を有し得る）。

【0084】

上記オーディオビジュアルコンテンツは符号化されると共に、コンテンツ供給者装置１０１から媒体を介して配信され、該媒体は例えばパッケージ化された媒体（ＤＶＤ又はＢＤ等）、インターネット又は放送からなることができる。該コンテンツは、次いで、コンテンツ処理装置１０３の形態のソース装置に到達し、該ソース装置は当該コンテンツをデコード（復号）及び再生する機能を有する。

【0085】

上記配信経路１０５は、如何なる配信経路であっても、如何なる媒体を介するものであっても又は如何なる好適な通信規格を使用するものであってもよいことが理解される。更に、斯かる配信経路はリアルタイムである必要はなく、永久的又は一時的記憶を含むこともできる。例えば、上記配信経路は、インターネット、衛星若しくは地上放送等、ＤＶＤ、ブルーレイディスク若しくはメモリカード等の物理的に分配される媒体を含むことができる。同様に、コンテンツ処理装置１０３は、ブルーレイプレーヤ又は衛星若しくは地上テレビジョン受信機等の如何なる好適な装置とすることもできる。

【0086】

コンテンツ処理装置１０３は、通信経路１０９を介して表示器（ディスプレイ）１０７に結合される。コンテンツ処理装置１０３は、前記オーディオビジュアルコンテンツ項目を表すオーディオビジュアル信号を有する表示信号を発生する。該表示信号は、特には、上記オーディオビジュアルコンテンツ信号と同一とすることができる。このように、ソース装置はデコードされたコンテンツをシンク装置に流し、該シンク装置はデジタル信号を物理的表現に変換するＴＶ又は他の装置であり得る。全ての図示と同様に、これらは本発明の概念を簡単で包括的な方法で単に概略的に説明及び教示するものであり、当業者であれば、今日の進んだシステムによれば、コンテンツ処理機能は表示装置と統合することができ、例えば全てがタブレット等の携帯型ＨＤＲ装置内又は例えば壁に一時的に取り付けることができる装置内にあるようにすることができることを理解するであろう。同様に、各機能はホームネットワーク上に分散させることができ、例えば高解像度の大きなスケールのＨＤＲシーンをレンダリングする高品質表示が夕方に寝室でレンダリングされるようにし、その際に、他の信号をローカルに重畳させることができ（例えば、友達とのビジュアル通信であって、例えばダイナミックレンジ又は格付けグレイ範囲割り付け等の異なるＨＤＲ輝度品質を有し得る通信）、これら信号の幾つかは例えば小型の携帯表示器に再通信することもできる。

【0087】

幾つかの実施態様において、オーディオビジュアルコンテンツの映像を表すデータは、上記オーディオビジュアルコンテンツ信号に対して及び上記表示信号に対して同一である。この例では、表示器１０７は、例えば増加されたダイナミックレンジを持つ映像の発生を含む映像処理のための機能を有することができる。しかしながら、幾つかの実施態様では、コンテンツ処理装置１０３が、当該データに対して例えば映像強化及び信号処理アルゴリズムを実行することができると共に、（処理された）オーディオビジュアル信号を特にデコード及び再符号化することができると理解される。上記再符号化は、特には、上記オーディオビジュアルコンテンツ信号に対するものとは異なる符号化又は表現フォーマットであり得る。例えば、上記表示器は、自身の本来的能力により、異なるＨＤＲフィーチャの符号化を必要とし得る（このことを、セットトップボックスはハンドシェーキングにより知らされ、これにより、汎用の入力ＨＤＲ信号を当該表示器のための又は一時的記憶のための固有のＨＤＲ信号に変換する（当該表示器が特定の能力しか有さないことを知って）等）。

【0088】

図１のシステムは、高ダイナミックレンジ（ＨＤＲ）ビデオ情報を供給するように構成される。更に、例えば改善された後方互換性を提供するために、該システムはＬＤＲ映像が提示されることを可能にする低ダイナミックレンジ（ＬＤＲ）情報も供給する。即ち、当該システムはＬＤＲ及びＨＤＲ映像の両方に関する情報を単一の信号（オーディオビジュアルコンテンツ信号又は表示信号かを問わず）内で通信／配信することができ、該信号は一緒になって処理、伝送等に使用することが可能な関係する一連のデータ（例えば、並置された、インターリーブされた及び／又は共符号化（co-encoded）された等）である。当該方法は、当該ビデオ信号の各映像又はフレームが複数の画像を用いて符号化されるようなフォーマットを使用する映像符号化信号（オーディオビジュアルコンテンツ信号又は表示信号）に基づいている。このような符号化は、例えば、画像がビューの各々に対して符号化されるようなステレオ又はマルチビュー画像の通信のために使用される。即ち、ステレオ映像の場合、該映像符号化信号は当該ビデオシーケンスの各フレーム又は映像に対して右画像及び左画像の両方を有する。

【0089】

図１のシステムは、ＬＤＲ映像を供給するために、各映像に関する画像のうちの第１のものを使用する。典型的に、このＬＤＲ映像は、コンテンツ供給者又はコンテンツ創作者によって、自動化された又は、もっと典型的には、半自動化された若しくは手作業の処理により発生することができる。例えば、映画のコンテンツ供給者はオリジナルのＨＤＲビデオシーケンスに対して手作業のカラーグレーディング（color grading）又はトーンマッピング（tone mapping）を実行して、対応するＬＤＲビデオシーケンスを発生することができる。この方法は、好まれる視覚的印象を与えるように最適化された改善されたＬＤＲ映像が配信されることを可能にする。このような処理は複雑であり時間が掛かるものであるが、典型的にはコンテンツ項目当たり１回しか必要とされない。例えば、制作者は、オリジナルの映画（例えば、デジタルマスタ）を、該映画がシネマフォーマットからブルーレイディスク又はＤＶＤで発行されるように変換される場合、より高いダイナミックレンジから一層低いダイナミックレンジへ変換することができる。

【0090】

上記ＬＤＲ映像は、第１画像に如何なる符号化フォーマット及びカラー表現に従って符号化することもでき、特には１つの輝度成分及び少なくとも１つの色成分を持つ画素カラー表現を用いて符号化することができる（当業者が変形例を理解する場合は、簡略化のために、古典的なテレビジョン（例えば、MPEG2）の色信号の幾つかの実施態様及び関連のものを説明する）。当該例において、当該映像符号化信号の第１画像における各画素に対して、該第１画像は輝度サンプル値及び１以上の色サンプル値を供給する。即ち、当該システムは、１つの輝度成分及び２つの色成分を有することができ、多くの実施態様では有利にはYCrCbカラー表現であり得る。

【0091】

上記映像符号化信号は、更に、各映像／フレーム（典型的には、ビデオシーケンスにおける単一の時点に対応する映像）に対して少なくとも第２画像を有している。しかしながら、該第２画像は、単に異なる幾何学的ビューの映像等の代替映像を含むのではなく、むしろ、受信機が当該ＬＤＲ映像に対応するＨＤＲ映像を発生することを可能にするＨＤＲデータを含む。このように、第２画像は、ＨＤＲ映像を第１画像のＬＤＲ映像からどの様にして発生することができるかを示すダイナミックレンジ拡張データを含む。

【0092】

更に、このダイナミックレンジ拡張データは、画像フォーマットで供給され、従って画像表現及び構造と互換性がある／一貫性がある（即ち、該データは同様であって、例えばステレオ対を形成するために使用することができ、それのみでは変に見えるが、該データを、例えばストラテジ識別又は説明により典型的には共符号化された、種々の対応する可能なＨＤＲ符号化ストラテジのうちの１つで再翻訳することにより、該データは少なくとも１つのＨＤＲ映像を形成することを可能にする）。即ち、第１画像に対するのと同一の画像構造を使用することができる。従って、該ダイナミックレンジ拡張データは、画素化された画像データ構造に適合させるために画素単位で符号化することができる（ただ、これら画素値の意味のみが異なり、該意味は所定のタイプに対するタイプコード等の少ないデータによってさえも共符号化することができる）。該第２画像は、少なくとも１つの輝度成分又は１つの色成分を有する。以下においては、説明を、該第２画像が１つの輝度成分及び２つの色成分を有する例に、特には該第２画像がYCrCb構造を採用する例に絞る。

【0093】

このように、第２画像は、符号化された第１画像（即ち、第１画像内のＬＤＲ映像）から増加されたダイナミックレンジ拡張画像を発生するためのダイナミックレンジ拡張データを含む画素化画像である。該拡張データは第２画像の各ピクセルに関係し得ることが理解されよう。第２画像は、各ピクセルに対してデータ値を含む必要はない。例えば、幾つかのピクセルは通知される必要のない通常の又はデフォルトの値を使用することができるか、又は幾つかの値を複数のピクセルに対して使用することができる（ＨＤＲ修正は、必ずしも画像コンテンツ／テクスチャを符号化する基礎構造と同一の高精細度を有する必要はないことに注意されたい）。しかしながら、典型的には、第２画像は第１画像の各ピクセルに対してダイナミックレンジ拡張に関する情報を供給する（即ち、このような変形は導き出することができ、例えば所与のピクセルに明示的なデータが含まれていない場合、これは、該ピクセルがデフォルト値又は他のピクセルのために供給された値を使用すべきであるか、又は単に恒等変換等の標準的な変換をＬＤＲピクセル値に適用すべきであることを示す。準全体的変形のためのパラメータさえピクセル値として符号化することができることに注意されたい）。このように、第２画像は必ずしも各ピクセルに対してデータ値を含む必要はないが、それでも、各ピクセルに関する情報を供給することができ、該第２画像の構成は、或る（恐らくは異なる）値が各ピクセルに対して定義されることを可能にする。特に低サブサンプリング比に対しては補間ストラテジが非常に簡単であることに注意されたい（例えば、ローカルなテクスチャパターンが再度明るくされねばならない場合、このことは、ＬＤＲピクセルの幾つかに対して再照明情報を使用し、更にＬＤＲ画像に符号化されているＬＤＲテクスチャに頼ることにより実行することができる）。また、徐々に変化する明度の修正の場合、例えばＬＥＤバックライトの低解像度又は多くのグレーディング変換により証明されるように、小さな空間的なエラーを犯すことさえ大きな問題とはならない。

【0094】

本明細書では、例えばカメラにより捕捉された（又はコンピュータグラフィックス環境で発生された）等の画素化オブジェクトの幾何学的構図である映像なる用語と、多数の可能性のある符号化、特には当該映像のグレーディングの１つである画像なる用語との間を区別する（即ち、映像は一群の画像の父のようなものであり、映像は例えばカメラの生ファイルであり得るが、該映像から導出される第１画像は８ビットの線形符号化であり得、第２画像はガンマ０.４５による８ビットの非線形符号化であり得る）。グレーディングは、典型的には、ピクセルカラーの芸術的変更（人のカラーグレーダによる）である一方、符号化は、どちらかと言えば、純粋に記述的／数学的なものである。

【0095】

画像は、通常は見える／レンダリング可能なシーンオブジェクトのテクスチャ捕捉を符号化することができるプレースホルダ（place-holder）であるが、本実施態様において見た場合、画像は実際には斯様なデータを有する必要はない。例えば、図１４に見られるように、空間的に隣接するワードは、例えばＬＤＲ第１映像ピクセルをＨＤＲ映像ピクセルにローカルに変換する（例えば、１４ビットワードでの数学的計算による）ためのオフセット及びガンマ係数等のパラメータを有することができる。このシナリオでは、依然として見える何らかの映像構造が存在し得る。何故なら、例えばガンマ係数は例えば暗いグレイ値のように見え得るが、これら係数は、異なるローカルに必要とされる変換の点で、オブジェクトの境界を依然として辿るからである。モデル番号もカラー成分と一緒に、例えば“ガンマ高輝度化（gamma brightening）”から“リニアブースト（linear boost）”へ、更に“Ｓ字状当てはめ（sigmoidal fitting）”へ等のように変化する場合、当該カラー成分が表示された場合に映像として実際にどの様に見えるかは、オリジナルのシーンの如何なるビュー映像とも非常に異なり得る（従って、“ダイナミックレンジ拡張データ”なる用語となる）。また、誤差画像も、シーンの視覚的表現を直接もたらすことはなく、２つの画像の間の視覚的差をもたらすのみである（即ち、誤差画像は、過度に単純で予測が誤った場合、せいぜい、潜在的なオブジェクトの大雑把なエッジを示すだけである）。このように、誤差画像は基準映像に関係する。画像は、それ自体では、実際のシーンを表し得るものではなく、例えばＷｘＨピクセルの長方形アレイ等の複数のピクセルのアレイ／配列に対応した構造における視覚情報を提供し得る。従って、当該システムは、典型的には、ＨＤＲ処理を実行する場合に、これらの未知の新たな符号化をどの様に処理すべきかを通知される。

【0096】

当該方法は、コンテンツ供給者装置１０１からコンテンツ処理装置１０３への配信リンク１０５及びコンテンツ処理装置１０３から表示器１０７へのリンク１０９の何れか一方又は両方に適用することができる。更に、該方法は、例えば異なるカラー表現又は符号化規格を用いることにより上記２つの経路に異なるように適用することもできる。

【0097】

当該方法は、より高いダイナミックレンジの情報を、より低いダイナミックレンジの映像と一緒に通信することが可能なシステムを提供する。このように、適切な装置により直接使用することができる映像が供給される一方、同時に、ダイナミックレンジが増加された改善された映像を供給するために適切な装置のための追加の情報を供給する。更に、このことは、低データレートと維持しながら、且つ、現在の規格及び方法の変更を殆ど必要としないような方法及び構成を用いて達成することができる。

【0098】

当該方法は、対応する低ダイナミックレンジ（ＬＤＲ）映像及び高ダイナミックレンジ（ＨＤＲ）映像の組み合わせ配信に特に適している。ＬＤＲ映像は第１画像に符号化される一方、第２画像は、ＨＤＲ映像を形成するために該ＬＤＲ映像を如何にして拡張することができるかを記述した（少なくとも部分的に）拡張データを含むように符号化される。このように、当該システムは、例えば元の映画ソースから一層高いダイナミックレンジでトーンマッピングされた（典型的には、賢明に選択されたＳ字状曲線又は同様のものによるが、その際に、一層固有の局部的輝度のチューニングを適用することができる）最適化されたＬＤＲ映像を供給することができる。このＬＤＲ映像は、例えば、特定のトーンマッピングにより発生することができる。更に、上記ダイナミックレンジ拡張データは、当該ＨＤＲ映像に対して最適化された性能がもたらされることを目標とし得るようなＨＤＲ映像が発生されることを可能にする（理想的には、ＬＤＲ映像から発生されるＨＤＲ映像は、オリジナルのＨＤＲ捕捉映画と同様の見え方を有するが、このような見え方のために、該ＨＤＲ映像は特定のレンダリング技術及び視聴環境を考慮して固有にグレーディングすることもできる）。

【0099】

このように、ＬＤＲ映像とＨＤＲ映像との間の直接的な関係は、大幅に改善されたＨＤＲ映像を発生することができるように、動的に且つ局部的に変更することができる。確かに、当該方法は、ＬＤＲ及びＨＤＲ映像の個別化された最適化を或る程度可能にする。例えば、非常に明るい領域に対してはＬＤＲ映像からＨＤＲ映像を発生するために第１の関係を使用することができる一方、暗い領域に対しては別の関係を使用することができる。このように、斯かるＨＤＲ映像は、同一の固定された関係が使用された場合よりも、改善された視覚的印象を提供することができる。更に、コンテンツ提供者は所望のＨＤＲ映像を発生するための所要の変換を、動的に、柔軟に、且つ、恐らくは手作業で決定及び定義することができる。これらの利点は、当該ＨＤＲ映像の詳細な符号化（ＬＤＲ映像に対して直接的か又は異なってかによらず）を必ずしも必要とすることなく達成することができる。むしろ、当該ＬＤＲ映像に適用され得る変換のパラメータを定義することができ、これにより、該変換が局部的に適合されることを可能にする。代わりに又は加えて、斯かる変換に対する補償も設けることができる。この補償データは、所望の映像を発生するために当該変換の出力がどの様に修正されるべきかを定義することができる。このように、所望の映像を形成するために、ダイナミックレンジ拡張変換及び／又は該変換の入力若しくは出力がどの様に修正されるべきかについての情報を提供するようなダイナミックレンジ拡張データを供給することができる。斯かる変換はＬＤＲ映像の各ピクセルに対して固有に独立に適用することができ、第２画像はダイナミックレンジ拡張データが各ピクセルに対して独立に適用されることを可能にすることができる。

【0100】

従来の表示器は、ＬＤＲ表現を典型的に使用している。典型的には、このようなＬＤＲ表現は、指定された原色に関係する３つの成分の８ビット表現によりもたらされる。例えば、ＲＧＢカラー表現は、赤、緑及び青の原色を各々参照する３つの８ビットサンプルにより形成される。他の表現は、１つの輝度成分と２つの色成分（YCrCb等の）とを使用する。これらのＬＤＲ表現は、所与の輝度又は輝度範囲に対応する（典型的に、これらは例えば２０nitの平均的環境を伴う５００nitの白色表示器に対して意図されたものであることを前提とすると共に、捕捉側は撮影のディレクタにより選択された一連の捕捉され、クリップされた輝度に対応することを前提とする）。

【0101】

しかしながら、益々、一層大きなダイナミックレンジを捕捉（キャプチャ）することが可能な映像捕捉装置が提供されようになっている。例えば、カメラは典型的に１２ビットの、１４ビットの、又は１６ビットさえもの範囲を提供する。このように、従来の標準的なＬＤＲの８ビットのカメラと比較すると、ＨＤＲカメラは一層明るい白から所与の黒まで１２ビット、１４ビット（又はそれ以上）（線形）を忠実に捕捉することができる。このように、ＨＤＲは、ＬＤＲに対応するデータサンプルに対して増加するビット数に対応し、これにより、一層高いダイナミックレンジが表現されることを可能にする。

【0102】

ＨＤＲは、極めて明るい映像（又は映像領域）が提示されることを特に可能にする。確かに、ＨＤＲ映像は、対応するＬＤＲ映像により供給され得るよりも大幅に明るい白色を供給することができる。確かなことに、ＨＤＲ映像はＬＤＲ映像よりも少なくとも４倍明るい白色を可能にし得る。明るさは、所与のグレイ又は黒レベルに対して測定することができる又は表され得る最も暗い黒に対して特に測定することができる。

【0103】

ＬＤＲ映像は、特定の白色点及び／又は特定の組みの原色に関係する固定のビット解像度等の特定の表示パラメータに特別に対応し得る。例えば、所与の組みのＲＧＢ原色及び、例えば、５００Cd/m²の白色点に対して８ビットを供給することができる（即ち、色域（gamut）内の一群のカラーを指定する）。ＨＤＲ映像は、これらの制限を超えてレンダリングされるべきデータを含む映像である。特に、輝度はＬＤＲ白色点より４倍以上高いものとすることができる（例えば、２０００Cd/m²又はそれ以上）。

【0104】

高ダイナミックレンジのピクセル値は、ＮＴＳＣ及びＭＰＥＧ−２時代に規格化された表示器上で忠実に表示することが可能な範囲（典型的なＲＧＢ原色及び最大駆動レベル［255,255,255］に対するＤ６５の白色によれば、例えば５００nit又はそれ以下の基準輝度）よりも（大幅に）大きな輝度コントラスト範囲（一群のピクセルにおける最も明るい輝度を、最も暗い輝度で割ったもの）を有している。典型的に、このような基準表示器に対しては、約５００nitと約０.５nitとの間の（即ち、１０００：１又はそれ以下のコントラスト範囲で）全てのグレイ値を視覚的に小さなステップで表示するには８ビットで十分であるが（特に、ソースノイズ等の他の典型的な要因を考慮した場合）、ＨＤＲ映像は一層大きなビットのワード、例えば１０ビット（より大きなウエル深さ及び例えば１４ビットのＤＡＣを備えたカメラによっても捕捉される）で符号化される。特に、ＨＤＲ映像は典型的にはシーンの白色より高い多くのピクセル値（明るい映像オブジェクトの）を含み、特に幾つかのピクセルはシーンの白色より２倍以上明るい。このシーン白色は、典型的には、ＮＴＳＣ又はＭＰＥＧ−２基準表示器の白色と同等と見なすことができる（コンテンツ制作側では、シーン白色、１８％グレイ及びシーン黒色を、例えば全体の範囲における良好に照明される中間範囲内で定義することができる）。

【0105】

ＨＤＲ映像のために使用されるビットの数Ｍは、典型的には、ＬＤＲ映像のために使用されるビットの数Ｎ以上であり得る（Ｎは典型的には例えば８又は１０ビット（幾つかのチャンネルが使用される場合は、各カラーチャンネル当たり）とすることができ、Ｍは例えば１４又は１６ビットとすることができる）。ピクセルを一層小さな範囲に適合させるためには、変換／マッピングが必要とされよう（例えば、圧縮的なスケーリング）。典型的には、非線形変換が関係し得、例えば対数符号化は、線形符号化よりも遙かに大きな輝度範囲をＮビットワードに符号化することができる（lumasのように）。この場合、或る値から次の値への輝度差のステップは等距離とはならないが、人の視覚系にとっては、そのようである必要もない。

【0106】

以下の説明は、立体映像表現と互換的な画素化画像表現におけるＬＤＲ及びＨＤＲ映像情報の表現に焦点を合わせる。即ち、ＬＤＲ映像は左画像に符号化される一方、ＨＤＲ拡張データは、右映像に、特には該右映像の１以上の色／クロマ成分に符号化される。しかしながら、これは単に明瞭化及び簡略化のためになされる例示的説明であり、説明される映像の一般性の如何なる喪失を示すことを意図するものでもないことが理解されよう。確かなことに、当該原理は、ＬＤＲ及びＨＤＲ映像に限定されるものではなく、第１基準映像に基づいてダイナミックレンジの拡張を増加させようとする如何なるシステムにも適用可能であることが理解されるであろう。また、左及び右画像への言及は、単に簡略化のためのものであり、符号化と空間的特性との間の固有の相関関係を何ら意図するものではないことも理解されよう。

【0107】

図２は、本発明の幾つかの実施態様によるエンコーダの一例を示す。以下の説明は当該エンコーダがコンテンツ供給者装置１０１に配置されるような例に焦点を合わせるが、説明される原理及び図２のエンコーダは、例えばコンテンツ処理装置１０３に設けることもできることが理解されるであろう。ここでは例えば全体的な又は２〜３の局部的に事前に定められた（例えば、メタデータに共符号化された）変換ストラテジに関して補償データを符号化する興味ある例を一層詳細に説明するが、当業者であれば、全体の教示内容から、他の変換ストラテジを如何にして色成分に符号化するかも理解するであろう。

【0108】

当該例において、エンコーダはＨＤＲ入力映像を受けるＨＤＲ入力部２０１を有する。ＨＤＲ入力映像は、例えば成分（例えば、ＲＧＢ若しくはYCrCb、又はデジタルシネマ符号化等）当たり１２又は１４ビットを使用するＨＤＲカメラに由来するか、又は高ダイナミックレンジのフイルム映画及びテレシネを用いて発生される主要シネマ公開からのビデオシーケンスであり得る。他の例として、当該入力映像は、高ダイナミックレンジ及び高ビット表現でコンピュータにより発生されたＨＤＲ映像とすることもできる。

【0109】

ＨＤＲ入力部２０１はトーンマッピングユニット２０３に結合されており、該トーンマッピングユニットは受信されたＨＤＲ映像からＬＤＲ映像を発生する。ＨＤＲ映像に対応するＬＤＲ映像の如何なる好適な発生法も利用することができることが分かる。当該例では、半自動化されたトーンマッピング法又はグレーディング法を使用することができ、該方法では、初期ＬＤＲ映像が自動的に発生され、ＬＤＲに対する所望の視覚的印象を付与するために手動調整が後続する。例えば、操作者は個別の領域においてトーンマッピング又はカラーグレーディングを手動で修正することができる。例えば、上記ＬＤＲ映像は、人の顔等に対応する映像領域において手動で最適化される。ＬＤＲ映像は、旧来の表示器上で最適に見えるように発生することができるか、又は他のアプリケーションに対して特定のシーン描写を得る等の他の評価基準に従い、それでも旧来の表示器上で妥当に見えるように発生することができる。

【0110】

このように、当該エンコーダはオリジナルのＨＤＲ映像及び対応するＬＤＲ映像を利用可能にする。次いで、該エンコーダは上記ＬＤＲ映像からＨＤＲ映像を如何にして発生することができるかを記述するダイナミックレンジ拡張データを発生する。当該例では、該ダイナミックレンジ拡張データは、結果として発生されるＨＤＲ映像が前記オリジナルのＨＤＲ映像に可能な限り多く類似するように（これは、PSNR等の純粋に数値的基準に基づくか、又は人の視覚的基準等に基づくものとすることができる）、固有に決定される。他の実施態様では、上記ＨＤＲ映像に対して手動のトーンマッピング又はカラーグレーディングを適用することができる。例えば、入力されたＨＤＲ映像に対して手作業による処理により修正を加えることができ、上記ダイナミックレンジ拡張データは、結果として発生されるＨＤＲ映像が該修正されたＨＤＲ映像に可能な限り多く類似するように（これは、例えば特定のＨＤＲの見え方においてグレーダ（grader）が意図したものとの近い類似性を得るために、表示器側における調整を可能にする）、決定することができる。

【0111】

図２のエンコーダにおいて、トーンマッピングユニット２０３は変換ユニット２０５に結合されており、該変換ユニットは上記ＬＤＲ映像を受信すると共に、増加されたダイナミックレンジの映像（HDR_es）を発生するためにダイナミックレンジ拡張変換を適用する。上記の増加されたダイナミックレンジの映像は、特にはＨＤＲ映像であり、上記ＬＤＲ映像よりも大きなダイナミックレンジを有する。即ち、該増加されたダイナミックレンジの映像は、上記ＬＤＲ映像よりも少なくとも４倍明るい白色点を有することができる。該ＨＤＲ映像は、ＬＤＲ映像よりも多いデータビットにより当該ピクセルを表すことができる。例えば、上記ＬＤＲ映像はピクセル成分（例えば、ＲＧＢ又はYCrCb）当たり８ビットを使用することができる一方、上記HDR_es映像はピクセル当たり１２、１４又はそれ以上さえものビットを使用することができる。

【0112】

特定の低複雑度の例として、上記変換は指数関数的変換又はガンマ変換とすることができ、該変換は、対応するＬＤＲピクセルに関するルマ値（luma value）に対して累乗を適用することにより、ＨＤＲ出力ピクセルを発生する。例えば、

【数1】

であり、ここで、αは変換パラメータである。

【0113】

他の例として、ＬＤＲ輝度とＨＤＲ輝度との間に、例えば図３に示されるような区分的線形関係を設けることができる。このような実施態様において、線形な区間の間の遷移点の各々は適切なパラメータにより示すことができる。当該変換関数は、例えば適切なカラー表現を基準とする［０.０５，１］なる入力輝度範囲を同一の表現に従う大幅に大きな範囲に変換することにより、ダイナミックレンジを大幅に増加させることができることが理解されよう。

【0114】

更に他の例として、下記の変換を当該映像における位置ｉ，ｊのピクセルに適用することができ：

【数2】

ここで、ｋ、ｋ_２、ｅ及びｂは適切な変換パラメータである（そして、映像（の一部）として符号化することができる。即ち、b(i,j)等の空間的に変化するパラメータを符号化し、ここで、ｉ及びｊは空間的ピクセル位置である。例えば、レベルパラメータｅは、累乗変更子ｂよりも粗い目盛（例えば５０ｘ５０ピクセル）上で符号化することができる）。

【0115】

有効なパラメータ化可能な変換の他の例は、Y_HDR=[k(i,j)*Y_LDR+offset(i,j)]^pow(i,j)であり、３つの成分画像が必要とされることを意味するが、ブロックの大きな領域に対しては例えば累乗pow(i,j)を固定し、これを間欠的なメタデータとしてのみ符号化することができる。

【0116】

勿論、サブサンプリングにより、幾つかの斯様な局部的関数を１つの成分画像のみに符号化することができる。

【0117】

図１４は、単一の成分（例えば、全解像度Ｙ、しかしながらクロマ成分とすることもできる）への幾つかのモデルパラメータの複素符号化の一例を示す。

【0118】

この例においては、複数のパラメータが３ｘ３の繰り返し方式でインターリーブされており（サブサンプリングされた局部位置インデックスｋ及びｌにより示されている）、各パラメータは例えば８ビット値を有する。対角位置上には、基礎となるＬＤＲピクセルに適用されるべき変換モデルのパラメータ値があり、他の（菱形）位置（Diff_1, Diff_2, …）には、当該モデルからのＨＤＲ予測（補間後の）に対する加算によりＨＤＲ画像を得るための差分のフィールドがある。Mod_nrは、例えば、この領域にガンマモデルが使用される、モデル番号を示す。更に、対角位置はガンマ関数のローカルパラメータのために使用することができ、例えば3,1のピクセル値は指数のGam_VALを含むことができる。2,2位置は、このようなガンマ関数に沿う当該値のシフトGAM_SHFTを含むことができる。他のモデル、例えば線形ブースト（Boost_1）は、パラメータ3,3に符号化される。パラメータ1,3は重み係数Wght、例えば８ビットの精度で符号化された０と１との間の係数を含み、該重み係数により第１予測（ガンマ修正）及び第２予測（線形ブースト）は平均されるべきである（この重み付けは、例えば空間的隣接度、又は穏やかから強い等の階層的な効果における好ましい見え方を示すことができる）。次の３ｘ３のピクセル組み（k+1,l）は、次のＨＤＲの決定のための同様のパラメータを含む。当業者にとっては、このような態様において幾つかの符号化を、純粋に最少情報のビューからであるか又は汎用的ビューからであるかに拘わらず多数の関心のある関数を符号化することができるように共同指定することができ、創造的コンテンツ創作者が幾つかの受信側システムにより或る程度適用することが可能な多数のＨＤＲ様相最適化変換を共符号化することを可能にすることは、明らかであろう。例えば、或るシステムのユーザは、第１変換の効果／レンダリングを好む故に、リモコン上で該第１変換のみを使用する（全重み＝１で）ことを選択することができる。また、スケーラブルなシステムは、携帯表示器に移動体リンクを介して送信する前に、当該情報の幾らかを廃棄することもできる。

【0119】

コードは特定のブーストに対応する、例えば１＝＋２０輝度単位、２＝＋４０、３＝＋１００等とすることもできることに注意されたい。変換データは、事前に指定された変換を訂正し、補償し、オーバーライドし、等をすることができる。

【0120】

図２の例において、当該変換は固定された変換ではなく、むしろ、種々のパラメータを修正することにより調整することが可能な変換である。例えば、前の例において、適用される累乗ｂは各ピクセル毎に又はピクセル群毎に異なることができ、動的に変更することもできる。同様に、図３の伝達関数の直線区間の間の遷移点は、各ピクセルに対して異なることができると共に、動的に変更することもできる。該例において、単一のパラメータ値を、全ての遷移点がその関数として設けられるようにして、各ピクセルに対して適用することができる。例えば、該伝達関数は、スケーリング係数が各ピクセルに対して個々に設定されるようにして、単にスケーリングすることができる。他の例として、当該変換に関する変換パラメータαの値：

【数3】

は、当該ＬＤＲ／ＨＤＲ映像の個々のピクセルに対して変更することができる。

【0121】

上記個々のパラメータは、各ピクセルに対して全てが個別に設定可能でなくてもよいが、例えば、これらパラメータの１以上はサブサンプリングすることができる。

【0122】

幾つかの実施態様において、上記変換パラメータは、ＨＤＲ画像に基づいて、又は例えばＬＤＲ画像に直接的に基づいて決定することができる。例えば、当該映像の暗い領域に対しては、変換パラメータ（又は複数の変換パラメータ）を第１の値に設定することができる一方、明るい領域に関しては他の変換パラメータを設定することができる。このようにして、変換パラメータは、入力されるＨＤＲ映像（又はＬＤＲ映像）に基づいて自動的に適切な値に設定することができる。

【0123】

しかしながら、他の実施態様では、上記変換パラメータは半自動的に又は完全に手作業で（手動で）設定することができる。例えば、第１群の変換パラメータ値は、前記入力ＨＤＲ映像に基づいて自動的に発生することができる。結果としての推定されるＨＤＲ映像は操作者に提示することができ、該操作者は一層望ましい推定ＨＤＲ映像を形成するために上記パラメータを手動で修正することができる。この修正は、オリジナルのＨＤＲ映像に一層類似した推定ＨＤＲ映像を形成するために使用することができるが、可能性として、オリジナルの映像に存在しない所望の視覚的印象を形成するために付加的に又は代替的に使用することもできる。このように、芸術的修正を手動で適用することができる。

【0124】

このような手動での介入は複雑であり時間の掛かるものであり得るが、操作は所与のコンテンツ項目に対して一度しか必要とされないものであるから、多くの実際的応用に対しては好適であり得る。例えば、ブルーレイディスク（登録商標）上で分配されるべき映画を変換する場合、ＬＤＲ映像の発生のためのトーンマッピングは１回実行されねばならないだけである。同様に、ＬＤＲ映像から又はオリジナルのＨＤＲ映像からＨＤＲ映像を発生するための変換パラメータの微調整も、１回実行されねばならないだけである。

【0125】

幾つかの実施態様において、発生されたＨＤＲ映像HDR_esが可能な限りオリジナル映像の近い近似となるような結果を得るために、上記変換パラメータは自動的に決定することができる。このような例において、パラメータプロセッサ２０７は、例えば、ＨＤＲ入力部２０１及び（オプションとしての）変換ユニット２０５に結合することができ、上記ＨＤＲ入力部からオリジナルのＨＤＲ映像を受信すると共に上記変換ユニット２０５から推定されたＨＤＲ映像を受信することができる。次いで、該パラメータプロセッサ２０７は、適切な最適化処理により変換パラメータを決定することができる。如何なる適応化アルゴリズム、及びオリジナルのＨＤＲ映像と発生されたＨＤＲ映像との間の距離測度を使用することもできることが理解されよう。例えば、最小平均二乗適応化法を適用することができる。

【0126】

特定の例として、初期ＨＤＲ映像は各ピクセルに対するデフォルトの変換パラメータに基づいて発生することができる（例えば、ＨＤＲ映像の映像特性に対する固定の依存性を用いて）。この場合、パラメータプロセッサ２０７は第１のピクセルに対して、オリジナルのＨＤＲ映像と発生されたＨＤＲ映像との間に最小距離測度が達成されるまで、変換パラメータ値を順次変更する。この場合、当該システムは当該ピクセルに対する極小を見付けるために次のピクセルに進むことができる。全てのピクセルが調整された後、当該システムは第２のパス（一連の処理）を実行することができる。このようにして、反復的且つピクセル順次の最適化を実行することができる。このような方法は相当に計算的に強烈なものであるが、該方法はコンテンツ項目当たり１回だけ実行され得ないから、許容可能であり得る。

【0127】

例示されたエンコーダは、ＨＤＲ入力部２０１及び変換ユニット２０５に結合された比較器２０９を更に有する。該比較器２０９はオリジナルの入力ＨＤＲ映像及び発生されたＨＤＲ映像HDR_esの両方を（変換パラメータの最適化後）受け取る。次いで、該比較器２０９は、変換ユニット２０５により発生されたＨＤＲ映像に適用することが可能な補償を表すダイナミックレンジ拡張補償データを発生する（即ち、該比較器は当該変換内のデータが十分であるか、又は追加の誤差画像が必要とされるか等を考慮することができる）。

【0128】

このように、上記ダイナミックレンジ拡張補償データは、ＨＤＲ映像を発生するために当該変換処理の出力に適用することができる後処理データを供給することができる。該補償データは、特には、発生されたＨＤＲ映像をオリジナルのＨＤＲ映像に近くさせるために該発生されたＨＤＲ映像に適用することが可能なデータを供給することができる。

【0129】

上記補償データは、特には、発生されたＨＤＲ映像とオリジナルのＨＤＲ映像との間の差を示す誤差データであり得る。比較器２０９は、特には、上記２つのＨＤＲ映像のピクセル値を互いから減算して、補償データとして使用される差分画像を発生し、次いで、この差分画像を例えばオブジェクト上の緻密な（シルキーな）変化する色プロファイル等の重要な領域に対してのみ保持する。

【0130】

かくして、特定の例では、上記エンコーダはＬＤＲ装置により直接使用することが可能なＬＤＲ映像を発生する。更に、該エンコーダは、ＨＤＲ映像を発生するために上記ＬＤＲ映像に適用することが可能なダイナミックレンジ拡張変換を調整するための変換パラメータを決定する。発生されたＨＤＲ映像は、特には、上記ＬＤＲ映像に基づく上記オリジナルのＨＤＲ映像に対する予測ＨＤＲ映像であり得る（又はオリジナルのＨＤＲ映像の手動で調整されたバージョン等の他のＨＤＲ映像に対する予測であり得る）。上記エンコーダは、更に、上記の発生されたＨＤＲ映像に適用することが可能な修正に関する情報を供給する補償データを発生する。即ち、入力されたＨＤＲ映像に対する予測ＨＤＲ映像に関する誤差又は差分データを発生することができる。

【0131】

本説明は簡略化のためにトーンマッピングユニット２０３により発生されたＬＤＲ映像を参照しているが、前記変換に対する入力として使用されるＬＤＲ映像は、デコーダで実行される符号化及び復号処理を表す映像であっても良いことが分かる。即ち、前記発生されるＬＤＲ映像は、符号化されたＬＤＲデータを発生するための適切な符号化方式に従って符号化することもできる。これは、デコーダに送られる出力ストリームに含めることができる。上記符号化されたＬＤＲデータは、更に、デコーダにより使用されるものに対応する復号アルゴリズムを用いて復号することができる。このことは、デコーダで発生されるであろうものに直接該当するＬＤＲ映像を発生させるであろう。次いで、この符号化／復号されたＬＤＲ映像は、当該エンコーダにおける予測ＨＤＲ映像を発生させるための前記変換に対する入力として使用される。このようにして、当該エンコーダが、デコーダと正確に同一の動作を実行すると共に、該デコーダにおいて発生されるであろうものと同一の予測ＨＤＲ映像を発生することが可能である。このように、上記ＨＤＲ映像に対する残留又は誤差映像は、予測におけるのみならず、符号化及び復号処理における不正確さも反映するであろう。かくして、改善された映像品質を得ることができる。

【0132】

このように、トーンマッピングユニット２０３により発生されたＬＤＲ映像の無損失符号化の場合、トーンマッピングされたＬＤＲ映像は図２に示されるように変換ユニット２０５により直接使用することができる。しかしながら、ＬＤＲ映像の損失性符号化の場合、このような方法の結果、デコーダにおける予測がオリジナルのトーンマッピングされたＬＤＲ映像ではなく符号化／復号されたＬＤＲ映像に基づくものである故に劣化が生じる。この劣化は、幾つかの実施態様では許容可能であり得るが、典型的には、当該エンコーダにおける上記変換は、デコーダにおいて発生されるものに対応する符号化／復号されたＬＤＲ映像に基づいて実行することが有利であろう。従って、当該エンコーダは、ＬＤＲ映像を符号化するための符号化機能、及び結果としてのデータを復号して上記変換に供給される修正されたＬＤＲ映像を形成するための復号機能を含むことができる。このように、トーンマッピング機能から変換機能までの経路は、時には、符号化及び復号動作を含むであろう。

【0133】

このような符号化及び復号機能は如何なる方法においても、如何なる好適なエレメントでも実施化することができることが理解される。例えば、図２の場合、マッピングユニット２０３が符号化機能を含み、変換ユニット２０５が復号機能を含むことが考えられる。他の例として、上記符号化及び復号機能を、変換ユニット２０５に含めることができるか、又は変換ユニット２０５が符号化ユニット２１１に結合されると共に該符号化ユニットから符号化／復号されたＬＤＲ映像を入力するようにして、該符号化ユニット２１１に含めることができる。このように、当業者であれば、本発明の種々の実施態様が、ＬＤＲ映像を得るための幾つかの方法、特には何らかの共符号化されるパラメータ化変換によるＬＤＲ画像の何らかのＨＤＲ改善を構成するための幾つかの方法、及び／又はＨＤＲバージョンを得るためのＬＤＲ映像の強化に関する何らかのデータを符号化する、例えば加算的若しくは乗算的、前置の若しくは後置の等の幾つかの方法であり得る簡単な補正機能／映像（２０９により例示される）等のオプションを含むことができることを理解するであろう。

【0134】

ＬＤＲ映像に対する言及は、当該映像の種々の変形を含み、特にはオリジナルのトーンマッピングされたＬＤＲ映像及び該ＬＤＲ映像の符号化／復号されたバージョンの両方に対する言及を含むものである。

【0135】

図２の例において、トーンマッパ２０３、パラメータプロセッサ２０７及び比較器２０９は、全て、マルチ画像エンコーダユニット２１１に結合される。該マルチ画像エンコーダユニット２１１は、ＬＤＲ映像、変換パラメータ値及び補償データを入力し、出力映像符号化信号を発生する。

【0136】

マルチ画像エンコーダユニット２１１は、符号化される各映像又はフレームに関する２以上の画素化された画像構造を形成するように構成されている。例えば、該エンコードユニットは、典型的には、瞬時映像に対応する1群の画像のうちの第１画像に通常のＬＤＲ映像をルマＹ及びカラー／クロマＣのデータで符号化することができ、第２画像には、該エンコードユニットは典型的には利用可能なクロマフィールドに何らかのＨＤＲ拡張データeh_HDRを少なくとも符号化し、Ｐ２のルマチャンネルは例えば３Ｄアプリケーションのための第２の幾何学的ビュー又は例えばブーストマップ等の他のＨＤＲ情報等の何かそれ以外のものに対して利用可能である（xxにより示される）。以下の説明は、各映像／フレームに対して２つの画素化された画像が形成される例に焦点を合わせるが、他の実施態様では各映像に対してもっと多くの画像を設けることもできることが理解されよう。

【0137】

各画像は画素化されたアレイであり、該アレイにおいては、対応する映像の画素に対して情報が提供される。このように、情報は、レンダリングされた場合に当該映像を形成する画素に対して提供される。各々の画素化画像は、特に、データ群のアレイを有し、各ピクセルに対して１つのデータ群が（潜在的に）設けられる。各データ群は複数の成分を有することができ、これら成分は適切な表現に従って設けることができる。

【0138】

各画素化画像は、特に、各ピクセルに対してＮビットワードが利用可能なデータ構造として形成することができる。当該映像の各空間位置に対して、各成分が１つのデータビットワードである複数の成分が設けられる。

【0139】

本例において、各画像はビジュアル映像の符号化と一貫性のある、特にはＬＤＲ映像と一貫性のある表現を使用する。更に、上記２つの画像は同一のフォーマットに従うことができる。例えば、各ピクセルに対して同一数及び同一サイズのデータワードを設けることができる。

【0140】

各ピクセルに対して、各画像は特にＭデータワードの形態のＭ個の成分を設けることができる。各データワードは典型的には同一のビット数Ｎを有することができる。もっとも、異なる成分に対して使用されるビット数が異なるようにすることもできる。

【0141】

上記画像は、更に、異なる成分が異なる特性に関連付けられるような構造を使用する。特には、上記画像は、少なくとも１つの成分がルマ成分であり、少なくとも１つの成分がクロマ成分となるように設けられる。上記画像は、特には、各ピクセルに対して１つのルマ成分及び２つのクロマ成分を備えたデータアレイとして配置することができる。例えば、上記画像はデータをYCrCbデータ構造に従って設けることができる。

【0142】

従って、本例ではＬＤＲ映像は第１画素化画像に符号化される。符号化されるデータは、ルマ及び２つのクロマサンプル値に従って、特にはYUV又はYCrCbフォーマットに従って形成される。

【0143】

前記変換パラメータ値及び補償値は、第２画素化画像に符号化される。第２画素化画像は、典型的には、第１画素化画像と同一の構造を有し、特には同じ数の成分を有することができる（そして、特に各成分は同じＮビットワードにより表すことができる）。本例では、上記２つの画素化画像は同じデータ構造を有し、従って、第２画像は第１画素化画像のルマ及びクロマ成分に対応する少なくとも１つのルマ成分及び少なくとも１つのクロマ成分を有する。特に、該第２画素化画像は、YUV又はYCrCbフォーマットに対応するデータ構造も有することができる。

【0144】

図２の例において、前記変換パラメータは第２画素化画像のルマ成分に含まれ、及び／又は前記補償データ（例えば、後変換加算訂正値）は第２画素化画像のクロマ成分に含まれる。このように、当該システムはＬＤＲ映像及びＨＤＲ映像の両方に関する組み合わせデータを供給するのみならず、これが非常に効率的な方法で提供される。特に、当該方法は、多くの既存の動作及び機能と互換的であり得る。

【0145】

図４は、マルチ画像エンコーダユニット２１１の可能性のある実現例の構成要素の一例を示す。

【0146】

本例において、マルチ画像エンコーダユニット２１１は、前記トーンマッピングユニット２０３からＬＤＲ映像を入力するＬＤＲ入力部４０１を有する。当該ＬＤＲ映像データは第１画像プロセッサ４０３に供給され、該第１画像プロセッサは上記ＬＤＲ映像データを第１画素化画像に含める。特には、上記ＬＤＲ映像データは、各データ群がルマ成分と２つのクロマ成分とを有するようにして、データ群のデータアレイに配置される。各成分は特には８ビット値とすることができ、その結果、上記第１画素化画像はピクセル当たり２４ビットを使用する（YUV444におけるような、全クロマサブサンプリング密度の場合）。多くの実施態様において、トーンマッピングユニット２０３は上記データを所望のフォーマットで、即ち例えば8ビットのルマサンプル値及び２つの８ビットクロマサンプル値を伴う画素化画像として、直接供給することができることが分かる。しかしながら、勿論、上記ＬＤＲ画像は別のソース（例えば、前のＬＤＲグレーディングの結果を含むメモリ）から到来することもできる。

【0147】

第１画像プロセッサ４０３は、第１画像の符号化（例えば、ＭＰＥＧ２又はＡＶ ＤＣＴに基づく符号化）を実行するように構成されたオプションとしての第１画像エンコーダ４０５に結合される。該符号化は、典型的には、結果として大幅に低減されたデータレートを生じさせるような大幅な圧縮を導入する。より高い圧縮比を達成するために、該エンコーダは損失性のものとすることが好ましい。しかしながら、この結果として、デコーダにおいて復号されたＬＤＲ映像はトーンマッピングユニット２０３からのＬＤＲ映像からずれることになる。従って、このような実施態様においては、第１画像エンコーダ４０５の出力は符号化／復号されたＬＤＲ映像を発生するように復号することができ、該符号化／復号されたＬＤＲ映像は、次いで、ＨＤＲ映像の予測に使用するために変換ユニット２０５に供給される。

【0148】

マルチ画像エンコーダユニット２１１は、更に、前記パラメータプロセッサ２０７から変換パラメータを入力する変換パラメータ入力部４０７、及び前記比較器２０９から補償値（及び特には誤差値）を入力する補償データ入力部４０９を有する。変換パラメータ入力部４０７及び補償データ入力部４０９は第２画像プロセッサ４１１に結合され、該第２画像プロセッサは、前記第１画素化画像と同じデータ構造を有するが、例えばルマ成分に上記変換パラメータを有すると共にクロマ成分に上記補償値を有する第２画素化画像を発生するように動作する。特には、上記変換パラメータは８ビットのルマデータワードに含めることができる一方、上記誤差値はクロマ成分のうちの１つにおける８ビットクロマデータワードに含めることができる（又は、可能性として、両クロマ成分を使用して１６ビットワードとして含めることもできる）。

【0149】

第２画像プロセッサ４１１は、第２画素化画像を符号化する第２画像エンコーダ４１３に結合されている。幾つかの実施態様では、上記第２画像内のデータを圧縮するように最適化されたエンコーダを使用することもできることが分かる。また、典型的には、当該データ値が変更されないことを保証するために無損失エンコーダを使用することができる（例えば、ランレングス符号化等の数学的符号化のみ、しかしながら、何らかの更なる損失低減も可能である）。このことは、ＨＤＲ変換及び／又は補償の誤差に対する感度は相対的に高いので特に有利であり得る。しかしながら、幾つかの実施態様では、該第２画像エンコーダ４１３により映像符号化処理を用いることもでき、確かなことに、幾つかの実施態様においては、第１画像エンコーダ４０５及び第２画像エンコーダ４１３の両方に対して同一の符号化アルゴリズムを使用することができる。もっとも、典型的には、データの異なる性質に鑑みて、異なる符号化技術を使用することができるか、又は少なくとも当該符号化において異なるパラメータの設定を使用することができる。

【0150】

このような方法は、例えば前記変換パラメータがデコーダにおいて正確に再生され得るような無損失符号化にとり特に好適である。しかしながら、幾つかの筋書きでは、このような方法を損失性符号化に対して使用することも可能であり得る。特に、幾つかの実施態様では、前記変換パラメータは誤差（エラー）に対して相対的に鈍感なパラメータであり得る。このような場合、量子化エラー等は劣化を生じさせるが、斯かる劣化は殆どの筋書きでは許容可能である。例えば、当該変換パラメータが輝度伸張係数（luminance stretching factor）を示す場合、量子化エラーが該輝度伸張に影響を与え得るが、それでも改善された（ＨＤＲ）映像を供給し得る。また、ＨＤＲ変換プロファイルが低解像度のものである場合、当該画像の部分における多くの容易に符号化可能なゼロにより、詰め直された縮尺画像となり得るような、サブサンプリング及び補間から相対的に類似したプロファイルを得ることができる。同様に、残差データの形態の補償データは軽微なエラーに対しては敏感ではなく、従って符号化エラーはデータレートの低減に鑑みて許容可能であり得る。このように、幾つかの実施態様では、映像符号化アルゴリズムを非映像データを符号化するために、特に変換パラメータ及び／又は補償データを符号化するために使用することさえ可能であり得る。

【0151】

第１画像エンコーダ４０５及び第２画像エンコーダ４１３は出力プロセッサ４１５に結合され、該出力プロセッサは第１画像エンコーダ４０５及び第２画像エンコーダ４１３からの符号化されたデータを出力映像信号へと組み合わせる。特には、上記２つのエンコーダ４０５、４１３からのデータは、組み合わせデータストリームへと多重化することができる。

【0152】

このように、図２のシステムは最適化されたＬＤＲ映像を有する出力映像信号を発生する。加えて、ＨＤＲ映像をＬＤＲ映像からどの様にして発生することができるかを記述した特定の情報が供給される。前記ＨＤＲ拡張データにはダイナミックレンジ拡張変換に対する参照情報が設けられ、これにより、完全なＨＤＲ表現に対して低減されたデータレート及び非常に効率的な通信を提供する。例えば、オリジナルのＨＤＲ映像はピクセル当たり１６ビットからなり得るもので、これはＬＤＲ映像に対してより（約）２倍のデータレートを必要とする。これとは対照的に、現方法は、ピクセル当たり例えば僅か８又は１０ビット（例えば、変換に対して４ビット及び訂正に対して６ビット、又は訂正に対して８ビット）を使用して適切なダイナミックレンジ拡張データを供給することができ、これにより、ＬＤＲ情報に加えてＨＤＲ情報を供給するオーバーヘッドを大幅に低減する。更に、当該追加の情報は、既存の規格若しくは機能に対して互換性のある又は非常に僅かな変更しか必要としないフォーマットで供給される。このように、高度の後方互換性が達成される。このことは、特に、多くの既存のオーディオビジュアル配信システム及び規格がＨＤＲコンテンツをサポートするように容易に構成されることを可能にする。

【0153】

前記エンコーダがコンテンツ処理装置１０３（例えば幾つかの映画を記憶するローカル記憶部を備えたセットトップボックス等）内に配置されるような例において、トーンマッパ２０３は、典型的には、如何なる操作者も関わることのない自動化された処理であり得る。しかしながら、該トーンマッパは、例えば現シーンに関するビデオコンテンツを分析することに依存して、スマートトーンマッピングの利用可能なスペクトルから選択することもできる（例えば、幾らか明るくされているかも知れないＨＤＲに多数の暗いピクセルが存在する場合、該マッパは二区域的（bi-regional）ストラテジを適用して、暗いピクセルを暗くすると共に、適切な明るくされる輝度レベルを強調させる）。他の例では、コンテンツ処理装置１０３は、ＨＤＲ映像からＬＤＲ映像を発生するための機能を含まなくてもよい。このような場合、コンテンツ処理装置１０３は、例えばＨＤＲ映像及び対応するＬＤＲ映像の両方を有する入力信号を受信することができる。例えば、ブルーレイディスク（登録商標）は、オーディオビジュアルコンテンツのＨＤＲバージョン及びＬＤＲバージョンの両方を含み得る。このように、対応するＨＤＲフレーム及びＬＤＲフレームを供給することができる。更に他の例として、コンテンツ処理装置１０３は、如何なるＨＤＲ映像も受信せず、ＬＤＲ映像及び適切なダイナミックレンジ拡張データのみを受信するようにすることもできる。この構成は、特に、コンテンツ供給者装置１０１からコンテンツ処理装置１０３までの経路及びコンテンツ処理装置１０３から表示器１０７までの経路の両方が上述した方法を使用するような場合に該当し得る。

【0154】

図５は、本発明の幾つかの実施態様によるデコーダの一例を示す。図５のデコーダは、図２のエンコーダと両立する／相補的である。

【0155】

該デコーダは受信部５０１を有し、該受信部は、特定の例では、図２のエンコーダから映像符号化信号｛P1{.,.},P2{.,.}｝を受信する。受信部５０１は前記第１及び第２画素化画像に対応する符号化データを抽出する。該デコーダは、更に、第１画素化画像の抽出された符号化データが供給される第１画像復号ユニット５０３を有している。この場合、第１画像復号ユニット５０３は前記第１画像エンコーダ４０５の符号化処理と対応する／相補的な復号処理を適用する。このように、該第１画像復号ユニット５０３は、例えばＬＤＲ装置によりＬＤＲ映像を形成するために使用することが可能なＬＤＲ映像を発生する。しかしながら、図５のデコーダは、更に、ＨＤＲ映像を発生する機能も有している。

【0156】

即ち、該デコーダは、更に、前記第２画素化画像の抽出された符号化データが供給される第２画像復号ユニット５０５を有している。この場合、第２画像復号ユニット５０５は前記第２画像エンコーダ４１３の符号化処理と対応する／相補的な復号処理を適用する。このように、該第２画像復号ユニット５０５は、ルマ成分に変換パラメータ値を有すると共にクロマ成分に補償値を有する第２画素化画像を発生する。

【0157】

該デコーダは、第１及び第２画像復号ユニット５０３、５０５に結合されたＨＤＲ変換ユニット５０７を有している。該ＨＤＲ変換ユニット５０７は、第１画像復号ユニット５０３からＬＤＲ映像を入力すると共に、第２画像復号ユニット５０５から変換パラメータを入力する。この場合、該ＨＤＲ変換ユニットは、供給された変換パラメータに基づいてダイナミックレンジ拡張変換を調整する。このように、ＨＤＲ変換ユニット５０７は当該パラメータ値に対して前記変換ユニット２０５により適用されたものと同一の変換を適用する（ＬＤＲ映像の無損失符号化、又は変換ユニット２０５が当該デコーダに対応する符号化／復号されたＬＤＲ映像を使用することを仮定する）。従って、該ＨＤＲ変換ユニット５０７はＨＤＲ映像を発生する。

【0158】

当該デコーダは、更に、第２画像復号ユニット５０５及びＨＤＲ変換ユニット５０７に結合された補償ユニット５０９を有している。該補償ユニット５０９は、ＨＤＲ変換ユニット５０７からＨＤＲ映像を入力すると共に、第２画像復号ユニット５０５から補償データを入力する。この場合、該補償ユニット５０９は上記補償データを適用して、補償されたＨＤＲ映像を発生する。例えば、抽出された誤差映像を、ＨＤＲ変換ユニット５０７により発生された予測ＨＤＲ映像に加えることができる。結果としてのＨＤＲ映像は、次いで、適切なＨＤＲ装置によりレンダリングすることができる。

【0159】

本例において、上記補償データは当該変換の出力に適用される後補償データである。しかしながら、代わりに又は加えて、上記補償データは当該変換の前にＬＤＲ映像に適用される前補償データとすることもできることが分かる。例えば、図２のエンコーダは、変換後に好ましいＨＤＲ映像が生じるように、どのカラー補償がＬＤＲ映像に適用されるべきかを決定する機能を有することができる。該エンコーダが、例えば、数学的最適化方法を使用することができるか、又は前補償データを操作者により手動で導入することができる。対応するデコーダにおいては、上記前補償データ（例えば、各ピクセルに対するカラーオフセット）に従う前補償を、ＬＤＲ映像に対して実行することができる。結果としてのＬＤＲ映像は、次いで、ＨＤＲ変換ユニット５０７に供給することができる。

【0160】

異なる実施態様では異なる変換を使用することができ、異なる変換パラメータを個々の実施態様の固有の要件及び好みに依存して使用することもできることが理解されよう。

【0161】

幾つかの実施態様では、変換パラメータは、（予測された）ＨＤＲピクセル値を発生するためにＬＤＲピクセル値に適用される利得又はスケーリング係数であり得る。例えば、ＬＤＲ値は区間［0,1］を表す８ビット値として供給することができ、利得又はスケーリング係数はＨＤＲが例えば［0,10］の範囲内の例えば１２ビットとなることを可能にする乗算係数とすることができる（同じカラー表現を参照する）。このように、大幅に広い表現を達成することができる。

【0162】

上記スケーリング又は利得係数は、各ピクセルに関して個々のサンプル値により乗算される分数値とすることができる。

【0163】

幾つかの実施態様において、スケーリング又は利得係数は、ＬＤＲ映像の成分のうちの１つに対して供給することができ、又は１つのみに関係することができる。例えば、ＬＤＲ映像はYCbCrフォーマットで供給され、スケーリング係数は輝度チャンネルＹに対してのみ供給することができる。

【0164】

このように、スケーリング係数を設けることは、ＨＤＲ映像をＬＤＲ映像から如何にして発生することができるかを記述するために使用することができる。該方法は、更に非常に大きな輝度ダイナミックレンジの拡張を可能にし、特には該ダイナミックレンジを５倍、１０倍又は百倍（若しくはそれ以上）増加させることができる。

【0165】

前記利得係数は、個々のピクセルに対して設けることができ、前記第2画像の輝度カラー成分の対応する８ビットデータワードに８ビット値として符号化することができる。

【0166】

符号化効率は、例えば輝度利得係数のみを供給する、即ちＬＤＲ映像の輝度成分に対してのみ利得係数を供給すること等を含む、種々の方法で得ることができる。また、特定の利得値を、幾つかのピクセルに対してのみ供給することもできる。例えば、所与の映像の大きな部分に対して、相対的に正確なＨＤＲ映像を標準のスケーリング係数を用いて（特には、スケーリングを適用しないで、即ち１の利得係数で）発生することができる。これらのピクセルに対しては、利得係数は供給されず、従って、利得係数は例えば増加されたダイナミックレンジが利用される当該映像の非常に明るい領域に対してのみ供給される。

【0167】

当該変換は、ＨＤＲ映像に関して第１映像よりも輝度方向に一層大きな色域を提供するように構成される。該変換は、一層高い輝度及びコントラストレベルを生成することが可能な表示器を意図した大きな群の輝度値を提供するよう構成される。勿論、色方向の更なる変換を指定することもできる（例えば、利用可能な成分若しくは画像において、又はメタデータとして）。

【0168】

前記変換パラメータは、ダイナミックレンジ拡張の強さを示すことができる。例えば、ＬＤＲ映像のピクセルのダイナミックレンジを増強する標準的変換を定義することができ、ＨＤＲピクセルの出力を、上記変換の出力（即ち、増強されたピクセル）及びオリジナルのＬＤＲピクセルの加重和として発生することができる。即ち、
Ｙ_ＨＤＲ＝Ｙ_ＬＤＲ＋Ｎ・ｆ(Ｙ_ＬＤＲ)
であり、ここで、ｆ(Ｙ_ＬＤＲ)はＬＤＲ輝度値に適用される（恐らくは）固定の変換を表す。同様に、例えば２ｘ２の重みのサブサンプリングされたアレイを形成することにより、所望のＨＤＲの見え方を得るために幾つかの変換を混合することもできる。

【0169】

例えば、この場合、第２映像の輝度成分は上記値Ｎを供給することができる。Ｎ＝０の場合、出力ＨＤＲピクセルは入力ＬＤＲピクセルに直に対応する。

【0170】

図６は、上記のような加重値が第２画像で供給される例を示している。該図は、第２画像の或る区域の輝度成分のデータ値を示す。該例は、非常に明るい光源がＨＤＲ映像において、ＬＤＲ映像で可能なものよりも大幅に明るくレンダリングされる小さな映像領域に相当する。当該光源の中心において、Ｎは５に等しく、その結果、非常に強い輝度の増加が生じる（例えば、当該ＨＤＲピクセルは当該変換により支配される）一方、このことは該光源の縁部に向かって減衰する。このように、該方法は、ＨＤＲの発生を調整及び改善することを可能にする空間的情報を提供する。また、多くのシナリオにおいてはＮ＝０のデフォルト値を符号化することができ、これにより、符号化効率を改善することができることにも注意すべきである。

【0171】

前記補償値は、異なる実施態様では異なる特性に関するものであり得ることが分かる。多くの実施態様において、ダイナミックレンジ拡張補償データは、当該ダイナミックレンジ拡張変換の結果に加算される加算的補正値であり得る。例えば、前記スケーリング係数を適用した後、又は前記加重和ＨＤＲピクセル出力を発生した後、クロマ成分に含まれる補償値を加算することができる。このように、当該変換の出力を、クロマ成分で供給される補償データを使用することにより更に洗練することができる。

【0172】

このような方法は、例えばコンテンツ供給者に、ＬＤＲ映像及び結果としてのＨＤＲ映像の両方に対する多くの柔軟性及び制御を提供する。確かなことに、該方法は、コンテンツ供給者がＬＤＲ及びＨＤＲ映像の両方に対して芸術的最適化／トーンマッピングを付与することを可能にするのと同時に、符号化効率及び当該変換が例えば部分的に所定の変換に基づいたものとすることも可能にする。特に、ＬＤＲ表現に対して最適化されたＬＤＲ映像からＨＤＲ映像への変換を、汎用又は所定の変換に基づいたものすることができ、これにより、複雑さの低減、計算効率、実施の容易化及び／又は符号化効率の改善を提供する。同時に、結果としてのＨＤＲ映像に対する高度の制御を、柔軟に、局部的に及び空間的に当該変換を調整し、及び／又は当該変換の出力を補償することにより提供することができる。

【0173】

例えば、カラーグレーダは当該ＨＤＲ映像からＬＤＲ映像を発生することができる。これを行う際に、該カラーグレーダは当該映像をＬＤＲに対して注意深く最適化するために自身の専門知識及び判断を用いる。このように、グレーダのシステム上で、該グレーダは異なる領域における輝度を注意深く増強又は減衰させ、色調（クロマ）を修正し、等々に時間を掛ける。次いで、該グレーダは結果としての最適化されたＬＤＲ映像に前記汎用変換を適用し、これにより、初期ＨＤＲ映像を発生させる。次いで、該カラーグレーダは、結果としてのＨＤＲ映像を修正するために、前記変換パラメータ及び／又は補償値を修正及び調整することができる。この調整は、該カラーグレーダが変換結果をオリジナルのＨＤＲ映像と手作業により比較することによる等の、オリジナルのＨＤＲ映像に基づくものであり得る。しかしながら、カラーグレーダは、オリジナルのＨＤＲ映像に対する改善であると考えられるＨＤＲ映像を発生するために、主観的又は芸術的調整を行うこともできる。次いで、結果としての変換パラメータは、第２画像の輝度成分に含められ、補償値はクロマ成分に含められる。

【0174】

幾つかの実施態様において、前記ダイナミックレンジ拡張補償データは第１映像に関するピクセル値誤差値を有し、これらピクセル値誤差値はダイナミックレンジが増加された映像の映像ピクセル値と、対応する入力高ダイナミックレンジ映像の映像ピクセル値との間の（加重された）差分を示し得る。当該変換は、予測映像であるＨＤＲ映像（ＨＤＲ映像に関する推定映像）を発生することができ、当該誤差値は、斯様な予測映像とオリジナルの（“正しい”）ＨＤＲ映像との間の相違を反映するように発生することができる。このように、当該変換は、ＬＤＲ映像からオリジナルのＨＤＲ映像の推定を形成する予測関数である。前記変換パラメータは、このような例では、該予測関数の局部的調整を行うパラメータであり得る。このように、上記誤差値は予測ＨＤＲ映像とオリジナルのＨＤＲ映像との間の差を反映する。（幾つかの実施態様において、上記オリジナルのＨＤＲ映像は、ＨＤＲ映像の修正バージョンにより置換することができる。）

【0175】

特には、前記補償器２０９は、前記誤差値を、各ピクセルに関して変換ユニット２０５からの変換ＨＤＲ映像のＹ値からオリジナルのＨＤＲ画像のＹ値を減算することにより発生することができる。

【0176】

上記誤差値は、直接供給することが、従って等しい重み付けを有することができ、特には、計算された差分そのままとすることができる。しかしながら、他の例では、上記誤差値は、例えば差分値が別々にスケーリングされることにより、加重されたものとすることもできる。他の例として、非線形加重を適用することができ、その結果、例えばクロマ成分におけるＮビットデータワードが上記差分値の非線形量子化に対応するようになる。

【0177】

先の例は、輝度誤差又は差分値を供給するダイナミックレンジ拡張補償データに焦点を合わせた。しかしながら、幾つかの実施態様では、ダイナミックレンジ拡張補償データは、代わりに又は加えて、カラー（クロマ）補償データを有することができる。特には、ダイナミックレンジ拡張補償データは、彩度（color saturation）補償データを有することができる。

【0178】

確かに、多くの実施態様では、ダイナミックレンジの拡張の結果、異なる色の彩度の知覚が変化し得る。例えば、或る映像オブジェクトはＬＤＲ映像では所与の彩度で知覚され得る一方、該映像オブジェクトに関する輝度の増強に伴って、同一のクロマ値は異なる彩度であるように知覚され得る。このような知覚的効果は、クロマ調整、特には彩度調整を反映する補償値により対処することができる。

【0179】

幾つかの実施態様において、ダイナミックレンジ拡張補償データは輝度補償値及びクロマ補償値の両方を有する。特に、上記彩度補償データは第２画像の１つのクロマ成分に設けることができ、輝度補償データは他のクロマ成分に設けられる。この構成は、ソースがシンクにより発生することができるＨＤＲ映像に対して厳格な制御を有することを可能にする、非常に効率的で柔軟性のあるシステムを可能にし得る。例えば、コンテンツ供給者は、クロマ及び輝度の両方の効果を効果的に通知することができるので、消費者側で発生されるＨＤＲ映像を正確に制御することができる。更に、容易化された操作及び改善された再使用／後方互換性が可能となり、例えば輝度及びクロマ情報が容易に抽出され、適用されることを可能にする。カラー修正変換／データは、輝度変換上で部分的にモデル化される（及び、例えば表示器の色域形状を考慮する）場合、相対的に簡素であり得る。

【0180】

先の例は、ダイナミックレンジ拡張データが、ダイナミックレンジ拡張補償データ及びダイナミックレンジ拡張変換のための１以上のパラメータを表すデータの両方を含む実施態様に焦点を合わせた。しかしながら、幾つかの実施態様では、ダイナミックレンジ拡張データは、これらのうちの１つだけを含むことができることが理解されよう。

【0181】

例えば、幾つかの実施態様では、変換パラメータデータのみが輝度成分で供給され、如何なる補償データもクロマ成分では供給されないものとすることができる。この構成は、例えば前記予測が特定の映像特性に適合される一方、依然としてクロマ成分が他のデータに対して使用され得る（又は使用されず、これにより、一層低いデータレートを得る）ことを可能にする。補償データの処理が必要とされないので、複雑さの更なる低減及び計算資源の使用の低減を達成することができる。これらの利点は、幾つかの実施態様では、結果としてのＨＤＲ映像の品質の可能性のある低下よりも勝り得る。

【0182】

他の例として、当該変換は、多くの実施態様では、適合化パラメータが設けられない所定の（そして、恐らくは固定の）変換であり得る。このように、デコーダは基本ＨＤＲ映像を発生するために標準的な固定の変換を適用することができる。このＨＤＲ映像は、次いで、補償データの使用により修正及び調整することができる。従って、このような実施態様では、第２画像の輝度成分では変換パラメータは通知されず、クロマ成分における補償データのみが供給される。この構成は、データレート、複雑さ、資源の使用等を低減することができるが、変換パラメータ及び補償データの両方を供給するシステムと比較して、結果としての映像の品質又は創作者の制御が低下する可能性がある。

【0183】

他の例として、前記変換関数は適応変換（adaptive transform）であり得るが、該適応変換は動的に及びローカルに更新されることはない。むしろ、該変換のパラメータ、又は該変換自体の定義は、例えば第２画像ではなく前記信号に含まれるメタデータで供給することができる。

【0184】

幾つかの実施態様において、異なる群のダイナミックレンジ拡張データを、第２画像の異なる成分で供給することができる。これらの異なる群は、代替の群とすることができるか、又は互いに独立とすることができる。例えば、複数の群の変換パラメータを、第２画像の異なる成分で供給することができ、各群はＬＤＲ画像に適用されるべき代替変換を記述することができる。このように、適切なＨＤＲ装置は、所望の変換を選択するために、異なる代替群の間で選択することができる。

【0185】

同様に、２つの異なる群の補償データを、第２画像の異なる成分に設けることができる。例えば、第１群の差分値を変換ＨＤＲ映像とオリジナルＨＤＲ映像（例えば、カメラにより捕捉された）との間の差分に対応して設けることができ、第２群の差分値を変換ＨＤＲ映像と手作業で発生された主観的（芸術的に強化された）ＨＤＲ映像との間の差分に対応して設けることができる。この場合、ＨＤＲ装置は、ＨＤＲ映像を発生する際に上記２つの群のうちの何れを使用すべきかを選択することができる。このようにして、上記２つのＬＤＲ対ＨＤＲグレーディングが互いにどの様に関係するかのみならず、これらが例えばオリジナルの捕捉シーンの（疑似）線形符号化にどの様に関係するかについての情報を有することになる。

【0186】

他の例として、異なる群の補償データを代替の変換に対応して設けることができる。例えば、第１クロマ成分は第１予測関数に対応する予測誤差データを有することができる一方、第２クロマ成分は第２予測関数に対応する予測誤差データを有することができる。この場合、異なるＨＤＲ受信装置は、一層適切な関数を、該関数（例えば、再照明モデル化関数）が当該表示器の能力に一層合致する、又は当該受信装置の映像処理ＩＣの一群の関数内に存在する関数であること等を理由に選択することができる。

【0187】

更に他の例として、第２画像の第１クロマ成分は当該変換に対する前補償データを有することができ、第２クロマ成分は該変換に対する後補償データを有することができる。この様に、第１クロマ成分は、例えば当該変換が適用される前のＬＤＲ映像に対する補償データを有することができ、第２クロマ成分は結果としての予測されたＨＤＲ映像に対する補償データを供給することができる。補償値は、同一の特性に関係するものとすることができるか、又は、可能性として、異なる特性に関係するものとすることができる。例えば、上記前補償データはＬＤＲピクセルの３以上のカラー成分上で又はクロマ面内で作用する彩度調整データであり得、上記後補償データは輝度方向に作用する輝度データであり得る。

【0188】

このように、幾つかの実施態様において、第２画像は複数の群のダイナミックレンジ拡張補償データを異なる成分に有することができる。特には、第２画像は例えば２つの誤差映像（例えば、Ｃｒ成分に１つ及びＣｂ成分に１つ）を有することができる。当該補正は、同一の変換に対して（例えば、べき乗則の前及び後）使用することができるか、又は異なる変換に対して使用することができる。

【0189】

代わりに又は加えて、第２画像は、幾つかの実施態様では、異なる変換を記述する（又は定義する）異なる変換パラメータを供給することができる。例えば、輝度成分の変換パラメータは、単純なスケーリング（ブースト）又はべき乗則（power law）変換等の単純なダイナミックレンジ拡張変換に適用することができる。更に、非常に複雑で計算的に重い変換に対する変換パラメータは、第２画像のクロマ成分で供給することができる（例えば、当該ピクセル自身のみならず、該ピクセルの近傍領域における他のピクセルも、例えば空間フィルタ処理又はエッジ強調を適用することにより、考慮するアルゴリズム等）。この場合、所与のＨＤＲ装置は、低複雑度で余り正確でないＨＤＲ拡張と、一層正確であるが一層計算的に重いＨＤＲ拡張との間で選択することができる。該選択は、単に当該装置の能力に基づくものとすることができる。

【0190】

他の例として、２つの変換（又は、実際に２つの補償群）は、ＨＤＲの発生に関する２つの好みに対応し得る。このように、これら２つの方法は異なるＨＤＲ映像を生じさせ得るものであり、例えば、ユーザは自身の好みに基づいて、これらの間を手動で選択することができる。例えば、上記の異なる群は異なるトーンマッピングに対応し得る。

【0191】

他の例として、上記の異なる群は、ＨＤＲレンダリングの異なる特性に対して（異なる表示技術に対して等）、最適化することができる。例えば、一方の群はＬＣＤ表示器上での表示のために最適化することができ、他方の群はＤＬＰプロジェクタによるレンダリングのために最適化することができる。

【0192】

複数の群が完全である必要はないことも理解される。例えば、輝度成分は、全体の映像に対する低い複雑度の変換のための変換パラメータを有することができる。クロマ成分は、非常に複雑で資源を消費する変換のための変換パラメータを有することができる。しかしながら、上記クロマ成分は斯様な変換パラメータを当該映像の部分群に関してのみ供給することができる。例えば、これは、一層複雑な処理を正当化するような特定の領域に対してのみ供給することができる。例えば、複雑な変換パラメータは、人の顔に対応する映像領域に対してのみ供給される。幾つかの実施態様では、変換パラメータは（又は、等価的に補償値は）、特定の映像特性に対してのみ適応化することができる。例えば、これらパラメータは人の顔のＨＤＲ変換の固有の最適化に対応することができ、従って、当該データは人の顔に対応する映像領域に対してのみ供給される。

【0193】

前記第１及び第２画素化画像は、幾つかの実施態様では、マルチビュー映像表現と互換性があり得る。確かなことに、三次元の、特にはステレオ映像等のマルチビュー映像の表現に適した又は斯かる表現のために作成された映像符号化信号フォーマットは、代わりに又は加えて、（ＬＤＲ）映像及び該映像からの増加されたダイナミックレンジの映像の発生を制御するためのデータの両方を表すために使用することができる。

【0194】

例えば、第１及び第２画素化画像は、各々、例えば三次元ステレオ映像の右及び左映像に関するYCrCb表現に対応した輝度及び２つのクロマ成分を有することができる。しかしながら、該ステレオ映像フォーマットをステレオ映像のために使用する代わりに、該フォーマットは、前述したように、第１画像でＬＤＲ映像を供給し、第２画像でダイナミックレンジ拡張データを供給するために使用することができる。特には、Ｙ成分は変換パラメータを供給することができ、クロマ成分の一方又は両方が誤差データを供給することができる。

【0195】

幾つかの実施態様において、第２画素化画像はダイナミックレンジ拡張データ又は第２ビュー映像データを有することができる。このように、同一の信号フォーマットを、多くの互換性及び共通性を維持しながら、２つの完全に異なる目的のために使用することができ、これにより、操作が容易になると共に機能の再利用性が増加する。実際に、マルチビュー映像のための信号を配信及び処理するための多くの機能が開発されている。上述した方法は、斯様な機能が、ダイナミックレンジ拡張データを処理するために、及び、特には、ＬＤＲ映像を該ＬＤＲ映像を如何にして発生するかの情報と一緒に配信するために使用されることを可能にする。このように、既存のフォーマット及び機能を、末端の回路（即ち、ＨＤＲ装置）がＨＤＲ拡張データを特別に処理することができることを必要とするだけで再使用することができるので、ＨＤＲ能力の導入は大幅に容易化され得る。

【0196】

このような実施態様において、当該映像符号化信号は、第２画素化画像が符号化された第２映像を有するか又はダイナミックレンジ拡張補償データを有するかの指示情報を有することができる。この構成は、固有のデータが適切に処理されることを依然として可能にしながら、共通のフォーマットが異なる目的のために再使用されることを可能にするような低い複雑度の方法を提供し得る。

【0197】

幾つかの実施態様において、第２画素化画像は、第２ビュー映像及びダイナミックレンジ拡張データの両方を表すデータを有することができる。例えば、第１画像は左眼視界（ビュー）のＬＤＲ表現を有することができる。第１成分は右眼ビューのための映像データを有することができ、第２成分はダイナミックレンジ拡張データを有することができる。

【0198】

例えば、第２画像の輝度成分は、三次元映像の右眼ビューのための輝度データを有することができる（第１画像は左眼ビューの全カラー表現を供給する）。この場合、３Ｄレンダリング装置は、右眼ビューのためのカラー映像を左眼ビューからのカラー情報に基づいて発生することができる（例えば、２つのビューの間の合致するピクセルは、当業者により知られているように、如何なる適切なアルゴリズムを用いて見付けることもできる。この場合、第２ビュー映像における合致するピクセルには、第１ビュー映像におけるピクセルと同じクロマ値を割り当てることができる。残存する如何なるピクセルにも、第２ビュー映像における補間に基づいてカラー値を割り当てることができる）。この方法は、フルカラーの３Ｄ映像がレンダリングされることを可能にする。

【0199】

同時に、当該クロマ成分の１つ（又はそれ以上）はダイナミックレンジ拡張データを有することができる。例えば、第１クロマ成分は変換パラメータ又は補償データ（例えば、誤差値）を有することができる。この構成は、第１画像のＬＤＲ映像がＨＤＲ映像に変換されることを可能にする。

【0200】

幾つかの実施態様において、変換パラメータは第２画像の輝度成分において供給することができ、第２ビュー映像のための輝度データは第２画像のクロマ成分において供給することができる。

【0201】

多くの実施態様において、第２ピクセル画像は、第２ビュー映像のための映像データ、ダイナミックレンジ拡張変換のための変換パラメータ及び該変換のための補償データを有することができる。実際に、３つの成分を備える第２映像は、１つの成分において第２ビュー映像データを、他の成分において変換パラメータを、第３の成分において誤差データを供給することができる。特には、YCrCb表現の場合、Ｙ成分は変換パラメータを供給することができ、Ｃｒ成分は第２ビュー映像のための輝度ピクセル値を供給することができ、Ｃｂ成分はＨＤＲ変換のための誤差補償データを供給することができる。

【0202】

異なる実施態様に使用される特定のフォーマットは、様々であり得、個々の好み及び当該実施態様の要件に依存し得る。特に、当該信号が伝送される方法は、特定の配信媒体に依存する。

【0203】

広く用いられている方法は、ビデオ信号をITU-T Rec. H.264及びISO/IEC 14496-10に定義されているＡＶＣビデオ符号化方式に基づかせるものである。幾つかの実施態様においては、立体３Ｄビデオストリームをマルチビュービデオ符号化（ＭＶＣ）により符号化するために使用されるものと類似した方法が、ＨＤＲデータに対して使用される。ＭＶＣは、MPEG/VCEGによる共同活動により開発されたH.264/MPEG-4 AVCビデオ圧縮規格に対する、複数のカメラから同時に捕捉（キャプチャ）されるシーケンスの単一のビデオストリームを用いた効率的な符号化を可能にする補正である。

【0204】

ＭＶＣは、ＡＶＣ符号化を用いるが、該符号化を２つのビデオストリーム、即ち２Ｄ（又は左眼ストリーム）及び強化ビデオストリーム（右眼ビデオストリーム）、が符号化されるように拡張することに基づくものである。上記強化ストリームは上記２Ｄストリームに依存して符号化され、これにより、符号化効率を更に改善する。

【0205】

幾つかの実施態様においては、同様の方法がＨＤＲデータに対して使用され、その場合、ＨＤＲ強化データ（変換パラメータ及び／又は補正データ）はＭＶＣ強化ストリーム内に、ＨＤＲ強化ストリーム（第２画素化画像）内の情報がＬＤＲビデオ（第１画素化画像）を伝送するベースレイヤストリームに対する補正として作用するように、埋め込まれる。

【0206】

ＭＶＣは、ステレオビューに限定されるものではなく、３以上の異なるビューも含むことができることに注意すべきである。また、このような追加のビューはＨＤＲデータのために、特には変換パラメータ及び補償データのために使用することができることが分かる。更に、このような追加のビューはステレオ（又はマルチビュー）を提供するために使用することもできることが分かる。例えば、異なるＭＶＣビューストリームは、異なるビューに対応するＨＤＲ映像のための変換パラメータ及び補償データを有することができる。

【0207】

ＡＶＣは、特には符号化されたビデオに関係する追加の通知情報のための特別なメタデータ格納部を定義している。このメタデータ格納部は、補足強化情報メッセージ（略して、ＳＥＩメッセージ）と称される。該ＳＥＩメッセージは、ストリーム内においてビデオデータと一緒に別のデータブロックで伝送される。

【0208】

H.264ストリームは、ＮＡＬ（ネットワーク抽象化レイヤ）単位で構築される。ＡＶＣにおいては、例えば符号化された画像データを含むＮＡＬ単位及びＳＥＬメッセージを含むＮＡＬ単位等の、幾つかの異なるタイプのＮＡＬ単位が定義される。これらのＮＡＬ単位の幾つかが、一緒になって、アクセス単位を形成する。アクセス単位では、１以上のビデオフレームを復号及び提示を開始するために必要とされる全てのデータが利用可能である。

【0209】

アクセス単位の一例が、図７に示されている。該アクセス単位は、以下のブロックを有する：
７０１ ＡＵ単位の開始を示すＮＡＬ
７０３ 他のＮＡＬ単位
７０５ ＳＥＩのＮＡＬ単位
７０７ 符号化された画像データを含むＮＡＬ単位
７０９ シーケンスの終了
各ＳＥＩのＮＡＬ単位は、更に、下記のブロックを有する：
７１１ ＨＤＲ強化メッセージ
７１３ 他のＳＥＩメッセージ

【0210】

ＨＤＲ強化メッセージを伝送するためのＳＥＩメッセージ構文（シンタックス）は、特には、下記のようであり得る：

【表1】

ここでは、下記のフィールドが使用される：
＊マーカビット（Marker bit）：ＨＤＲを示すために所定の値に設定する（例えば、１に設定される）；
＊フレームレート（Frame_rate）：このフィールドは、このビデオストリームにおける毎秒のフレーム数を示す；
＊ＰＴＳ：このフィールドは、ISO 13818-(1)で規定されるように、当該グループオブピクチャ（ＧＯＰ）における第１フレームのプレゼンテーションタイムスタンプ（ＰＴＳ）を９０kHzクロックで示す；
＊演算数（Number_of_operations）：当該フレーム内の全ピクセルに適用する演算（訂正）の数；
＊ＧＯＰにおけるフレーム数（Number_of_frames_in_GOP）：このグループオブピクチャ（ＧＯＰ）におけるフレーム数；
＊演算子（operator）：ベースストリームにおけるＬＤＲビデオのYCbCrピクセル値に適用すべき演算を定義する８ビット値。このように、この値は、何れのダイナミックレンジ拡張変換が使用されるべきかを指定する。かくして、この値は、可能性のある変換のうちのどの特定の１つが使用されるべきかを示す上記演算子により、多数の異なる変換が事前に定義されることを可能にすることができる。複数の演算子フィールドが存在すれば、幾つかの実施態様では異なる変換を代替的とすることができ、又は幾つかの実施態様では組み合わされた演算とすることができる（即ち、ＬＤＲからＨＤＲへの変換を、演算子フィールドに定義された演算を実行する組み合わされた効果として定義することができる）。

【0211】

幾つかの可能性のある演算子が、対応する演算と共に下記の表に掲載される：

【表2】

【0212】

当該変換／ダイナミックレンジ拡張は、特定の実施態様に依存して多くの異なる装置及び主体において実行することができることが分かる。例えば、斯かる変換及び補償は、再生装置（例えば、セットトップボックス）において又は表示器（例えば、テレビジョン）において実行することができる。例えば、ＬＤＲからＨＤＲへの変換は再生装置おいて実行することができる（もし、この再生装置が当該処理能力をサポートし、表示器に対するビデオインターフェースがＨＤＲビデオの伝送をサポートするなら）。上記再生装置、又は上記表示器に対するビデオインターフェースがＨＤＲコンテンツの直接的伝送をサポートしないなら、ＳＥＩメッセージ内のＨＤＲ強化の通知も、ＬＤＲ及び強化画像データと一緒に表示器に伝送されねばならない。即ち、この場合、表示器に対する当該信号の通信は、前述した原理に従うものとすることができる。

【0213】

セットトップボックスと表示器との間等の、装置間のビデオ信号の通信は、典型的には、適切な規格に従うものである。現在のところ好評であり且つ将来性のあるビデオインターフェース規格は、ＨＤＭＩ(登録商標)（高精細度マルチメディアインターフェース）及びディスプレイポートビデオインターフェース規格である。前述した方法は、このようなビデオインターフェース規格にとり特に適している。

【0214】

ＨＤＭＩ(登録商標)及びディスプレイポート等のビデオインターフェース規格における信号伝達はCEA861-Dに基づくものである。CEA861-Dは、インフォフレーム（infoframe）の概念を定義している。このインフォフレームは、所謂データアイランド、即ちビデオ伝送における“ブランキング期間”において伝送される。該ブランキング期間はアナログＣＲＴ（陰極線管）表示器から生じた概念であり、斯かる表示器において、陰極線はラインを描くべく逆戻りするために幾らかの時間を要した。ＨＤＭＩ(登録商標)においては、これらの垂直及び水平ブランキング期間は、オーディオ及び制御データを伝送するために使用される。ＨＤＭＩ(登録商標)における制御データはインフォフレームで伝送され、これらは３０バイトに制限されている。

【0215】

ＨＤＲ補正又は“強化”データを通知するために、このようなインフォフレームを定義することができる。このように、ダイナミックレンジ拡張データの存在の指示子及び恐らくはこれに関連する種々の特性を、適切なインフォフレームに設けることができる。これは、特には、前記ＨＤＲ強化ＳＥＩメッセージに関して定義したのと同じデータを伝送することができる。しかしながら、フレーム数のタイミング及び指示は、ＨＤＭＩ(登録商標)においては、ＭＰＥＧにおけるものとは異なる。

【0216】

ＨＤＭＩ(登録商標)ベンダ独自のデータブロックＨＤＲに関する可能性のあるインフォフレーム定義は、下記の通りであり得る：

【表3】

【0217】

ＨＤＲ補正及び強化データのＨＤＭＩ(登録商標)及びディスプレイポートでの伝送のために、立体３Ｄフォーマットに対して規定されたものと同様のメカニズムを使用することができ、該フォーマットによれば、左眼画像データ及び右眼画像データは１つの“フレーム”内で拡張された大きさで伝送される。この方法が、図８〜１１に示されている。

【0218】

図８及び９は、立体映像のための従来の方法を示す。図１０は、関係する原理をＨＤＲ強化データに適用する例を示す。図１１は、立体及びＨＤＲ強化データを如何にして組み合わせることができるかの例を示す。

【0219】

即ち、本実施態様によれば、ＨＤＲデータを画像用の場所及び周囲のデータ用の場所の両方に符号化することができる。

【0220】

記載されるシステムは、例えば消費者用システムを含む、多くの異なるタイプのコンテンツの作成、提供及び消費で以って使用することができることが理解される。

【0221】

図１２は、良好なＨＤＲ信号を形成するために使用されるべき、作成（送信）側に存在し得る装置の幾つかのうちの一例を示す。該例において、当該装置は、当業者であれば、これらの構成部品をカラーグレーダ又は例えば古いローレル及びハーディーの画像に対して同様のことを行うトランスコーダの部屋に如何にして入れ換えるかを理解するだろうから、旧来のセルロイドフィルムカメラと統合されている（シーンのデジタル支援表現は、映画題材校正モデルが当該２つをマッピングするために組み込まれている場合にのみ、実際にキャプチャされたセルロイド画像に完全に［アナログ対デジタル記録のピクセル値に関して］リンク可能であることに注意されたい（しかしながら、依然として現像は補足的に振る舞い得る未知の変数である）。しかしながら、これら無しでも、デジタル記録は非常に貴重な副情報を依然として生じることができる。例えば、該デジタル記録がセルロイドでキャプチャされたビューウインドウに幾何学的に重ね合わされた場合、領域を定義することができると共に、セルロイドでキャプチャされ且つ現像されたグレイン（粒子）値は別として、デジタルキャプチャを介して例えば線形な実際のシーンビュー値を符号化することができる）。

【0222】

図１２は、カメラ１２０１に取り付けられたデジタル表示器１２０３（該表示器は例えばカメラレンズと位置合わせされたＣＣＤから供給を受ける）を示す。しかしながら、接続部１２０４は、固定される必要はなく、複数の別個の表示器（例えば、カメラ操作者に対するもの及びディレクタの総括スタックにおけるもの等）に対する送信器とすることもできる。表示器１２０３上に、カメラ操作者又は撮影のディレクタは、例えばステージ照明により当該映像の暗い部分として校正されたことを知っている領域１２５０を描くことができ、これは、例えばライトペン１２０８又は他のユーザインターフェース入力手段により実行することができる［１つの例のみを示す。何故なら、当業者であれば、どの様なタイプのシステムが、ユーザが表示映像上でフィードバックを行うことを可能にするかを良く理解していると思うからである］。表示器１２０３は、追加された情報を、メモリ１２０６（例えば、着脱可能なメモリスティック）に記憶し、又は伝送システム１２０５を介して通知することができる。該表示器は、更なる情報を撮影位置シーン分析装置１２２０（該装置は、単に光度計又は空間サブサンプリング分光計でさえあり得る）から該装置の伝送システム１２２１（最終データ蓄積位置（即ち、１２４０）に送信することもできる）を介して受信することもできる。更に、シーン内計測器１２３０（即ち、特に周囲の照明分布に向けられた球体システム等の高度に変化する照明を伴う場合に、俳優の顔がどの様に照明されるかを測定する局部照明測定器）も、自身のデータを当該システムの如何なる部分へ伝送システム１２３１を介して送信することもできる。この場合、受信する表示器は、当該光を、オリジナルの輝度で、又は少なくともその割合（若しくは関数）で、典型的には同様の見え方を形成するための何らかの心理視覚的モデルに従って再生しようと試みることができる。全てのデータは、オンボードメモリを備えるデータ蓄積装置１２４０、典型的にはコンピュータ（伝送システム１２４１を備える）に蓄積される。

【0223】

全ての構成部品が存在する必要はない。しかしながら、当業者であれば理解するように、当該システムは全体の環境を詳細に分析する装置により拡張することができ、これは、同時的なコンピュータグラフィックス効果の挿入にとり有効であるのみならず、最終的な居間の表示器のレンダリング及び周囲照明も、当該シーンの反射的物体及び実際の照明の両方に関する一層の詳細が最終映像信号と共に記録されるなら（これは、視聴者の環境に一層調和した状態にするための一層良好な再照明を可能にする）、利益を受けることになる。

【0224】

このように、図１２に示したシステムは、操作者によって、手動のカラーグレーディング／トーンマッピングによりＬＤＲ映像を発生するために使用することができる。結果としてのＬＤＲ映像は、次いで、第１ピクセル画像に符号化し、表すことができる。当該システムは、更に、ＨＤＲ映像を発生するためのパラメータを自動的に決定することができる。他の例として、操作者は、例えば半自動的処理により前記ＨＤＲ拡張データ発生するために図１２のシステムを使用することもできる。

【0225】

図１３は、例えば消費者の居間内等の受信側における例示的な映像復号及び表示システムを示す（当業者であれば、本発明の原理による同様のシステムが、例えばデジタルシネマ劇場ではどの様であるかを理解するであろう）。カラーレンダリング映像処理装置１３０１の一実施態様は、組込ブルーレイ読取器を備えるセットトップボックス（図１のコンテンツ処理装置１０３に対応し得る）であり（しかしながら、これは、例えばラップトップコンピュータ、又は携帯電話等の携帯装置とすることもできる）。即ち、装置１３０１は、プラグインカードのように小さくすることもでき、又は専門のシネマトランスコーディングスタジオのように大きくすることもできる。該装置は、全ＬＤＲ／ＨＤＲ拡張映像信号が符号化されている、即ちＬＤＲを伴う第１画像及びＨＤＲ拡張データを伴う第２画像の両方が含まれるブルーレイ１３０２を受け入れることができる。

【0226】

当該装置は、他の例として、例えば（典型的には圧縮符号化された）入力信号を伝送するテレビジョン信号伝送ケーブル（又はアンテナ若しくはメモリカード上のデジタル写真のための入力等である。また、映像信号は例えばテレビジョン規格符号化信号又は生の映像ファイル等のように種々に意味し得る）に対する第１接続部１３０３を介して上記信号を受信することができる。幾つかの実施態様において、上記２つの画像は２つの経路を介して供給することができる。例えば、ＨＤＲ描画データは、例えばインターネット１３０５に接続された、第２コネクタ１３０４を介して他の媒体上で到来し得る。

【0227】

装置１３０１はＩＣ１３１０を有し、該ＩＣは、上記データを抽出すると共に、該データを直接出力するか又は該データを映像処理ユニット１３１２により制御された映像処理を行うのに一層適した新たな値に変換するように構成された抽出器１３１１を少なくとも有している。これは、特別なレンダリングされるべき領域に対応するピクセルに幾つかの色調再生変換を適用するだけ程度に簡単に具現化することができるか、又は、例えば典型的には作成側で適用することが可能なアルゴリズムの何れか（例えば、セグメンテーション及び／又は追跡アルゴリズム／ユニット）等の複雑なアルゴリズムを有し得る。

【0228】

プレーヤ１３０１は、改善され且つ意図したレンダリング出力映像ＩＲ’を、ビデオケーブル１３２０（例えば、ＨＤＭＩ(登録商標)）を介して表示器／テレビジョンに出力することができる。しかしながら、当該テレビジョンは追加の処理（自身の映像解析及び／又は処理ＩＣ上における）を実行し（又は実行するよう要求され）得るので、制御信号ＣＳ（前記信号からの如何なるデータ及び／又はこれから導出された制御データをも含む）のための第２の接続部（ケーブル又は無線）１３２１が存在し得る。典型的には、これらの追加の制御信号は、例えば（無線）ＨＤＭＩ(登録商標)プロトコルを更新することにより、上記ビデオケーブルを介して追加することができる。装置１３０１は接続部１３２３を介して第２の環境カラー表示器１３４０へカラー信号を送ることもでき、該環境カラー表示器は、自身の意図したレンダリングカラー入力信号を、表示器１３３０を介して得ることもできる。例示的な表示器は、ＨＤＲレンダリングにとり理想的な、ＬＥＤバックライト１３３２を備えるものである。例えば安価なカメラ等の測定装置１３８０のような環境測定装置が存在することができ、該装置は当該テレビジョンの周囲環境、当該部屋の照明、テレビジョン前面板での反射、校正グレイスケールの視認性等をチェックすることができ、該装置は、この情報を装置１３０１及び／又は表示器１３３０に通知することができる。

【0229】

この明細書において開示されたアルゴリズム的構成要素は（全体として又は部分的に）、実際には、ハードウェア（例えば、特定用途向けＩＣの部分）として、又は特別なデジタル信号プロセッサ若しくは汎用プロセッサ等上で動作するソフトウェアとして実現することができる。

【0230】

尚、当業者であれば、当該開示から、どの構成要素がオプションとしての改善である得、他の構成要素との組み合わせで実現することができるか、及び方法のどの（オプション的な）ステップが装置の各手段に対応するか、並びにその逆を理解することが可能である。この出願における“装置（apparatus）”なる文言は、最も広い意味で、即ち特定の目的の実現を可能にする一群の手段という意味で使用され、従って、例えばＩＣ（の小さな部分）、専用の機器（表示器を備える機器等）又はネットワークシステムの一部等であり得る。“装置、構成（arrangement）”も、最も広い意味で使用されることを意図するものであり、従って、とりわけ、単一の装置、装置の一部及び共動する装置（の一部）の集合を含むことができる。

【0231】

コンピュータプログラム製品なる表記は、一連のローディング過程（中間言語及び最終的なプロセッサ言語への翻訳等の中間変換ステップを含み得る）の後に汎用若しくは特定目的のプロセッサにコマンドを当該プロセッサに入力し、発明の特徴的機能の何れかを実行させることを可能にするコマンドの集合の如何なる物理的実現をも含むと理解されるべきである。特に、コンピュータプログラム製品は、ディスク若しくはテープ等の担体上のデータ、メモリ内に存在するデータ、有線若しくは無線のネットワーク接続を介して伝達するデータ、又は紙上のプログラムコード等として実現することができる。プログラムコードは別として、当該プログラムのために要する特徴的データは、コンピュータプログラム製品として具現化することもできる。当該方法の動作のために要するステップの幾つかは、データ入力及び出力ステップのように、当該コンピュータプログラム製品に記述する代わりに当該プロセッサの機能に既に存在し得るものである。

【0232】

上記記載は、明瞭化のために、本発明の実施態様を異なる機能回路、ユニット及びプロセッサを参照して説明したことが分かる。しかしながら、異なる機能回路、ユニット又はプロセッサの間での機能の如何なる適切な分配も、本発明から逸脱することなしに、使用することができることは明らかであろう。例えば、別のプロセッサ又はコントローラにより実行されるものとして解説された機能は、同じプロセッサ又はコントローラにより実行することができる。従って、特定の機能ユニット又は回路の言及は、厳格な論理的若しくは物理的構成又は編成を示すというよりも、記載された機能を提供する好適な手段に対する参照としてのみ見られるべきである。

【0233】

本発明は、ハードウェア、ソフトウェア、ファームウエア又はこれらの何からの組み合わせを含む如何なる適切な形態でも実施化することができる。本発明は、オプションとして、少なくとも部分的に、１以上のデータプロセッサ及び／又はデジタル信号プロセッサ上で動作するコンピュータソフトウェアとして実施化することができる。本発明の実施態様の構成要素及び部品は、物理的に、機能的に及び論理的に如何なる適切な方法でも実施化することができる。実際に、機能は、単一のユニットで、複数のユニットで又は他の機能ユニットの一部として実施化することができる。そのようであるので、本発明は、単一のユニットにおいて実施化することができるか、又は物理的に及び機能的に異なるユニット、回路及びプロセッサの間で分散させることができる。

【0234】

以上、本発明を幾つかの実施態様に関連して説明したが、これは本明細書で記載された特定の形態に限定することを意図するものではない。更に、或るフィーチャは特定の実施態様に関連して説明されているように見え得るが、当業者であれば、説明された実施態様の種々のフィーチャを本発明に従って組み合わせることができることを認識するであろう。請求項において、有するなる用語は他の構成要素又はステップの存在を排除するものではない。当業者によれば、方法に関して記載された組み合わせは、装置又は他の請求項の分類に関しても同様のバージョンを有し得ることが理解されるべきである。また、種々の実施態様のオプションは種々のバージョンにおいて種々の方法で組み合わせ又は削除することができ、それでいて本明細書における例により明らかにされた教示に従うものとすることができることが理解される。

【0235】

更に、個別に掲載されていても、複数の手段、エレメント、回路又は方法のステップは、例えば単一の回路、ユニット又はプロセッサにより実施することができる。更に、個々のフィーチャが異なる請求項に含まれ得るとしても、これらは可能性として有利に組み合わせることができ、異なる請求項に含まれていることが、フィーチャの組み合わせが可能でない、及び／又は有利でないことを意味するものではない。また、或るフィーチャが１つの分類の請求項に含まれていることは、この分類への限定を意味するものではなく、むしろ該フィーチャが他の請求項の分類にも、適宜、等しく適用可能であることを示す。更に、請求項におけるフィーチャの順番は、斯かるフィーチャが動作されねばならない如何なる特定の順序を意味するものでもなく、特に、方法の請求項における個々のステップの順序は、これらステップがこの順序で実行されねばならないことを意味するものではない。むしろ、これらステップは如何なる適切な順序で実行することもできる。更に、単数形での参照は複数を排除するものではない。従って、“１つの”、“第１の”、“第２の”等の参照は、複数を排除するものではない。また、請求項における符号は、単に明瞭化する例として設けられるもので、決して当該請求項の範囲を限定するものと見なしてはならない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】