特許 6349053 ＨＤＲ画像をエンコードする方法および装置、ＨＤＲ画像を再構成する方法および装置ならびに非一時的記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6349053

(24)【登録日】2018年6月8日

(45)【発行日】2018年6月27日

(54)【発明の名称】ＨＤＲ画像をエンコードする方法および装置、ＨＤＲ画像を再構成する方法および装置ならびに非一時的記憶媒体

(51)【国際特許分類】

   H04N 19/147 20140101AFI20180618BHJP

   H04N 19/33 20140101ALI20180618BHJP

   H04N 19/36 20140101ALI20180618BHJP

   H04N 19/46 20140101ALI20180618BHJP

   H04N 19/59 20140101ALI20180618BHJP

   H04N 19/70 20140101ALI20180618BHJP

【ＦＩ】

   H04N19/147

   H04N19/33

   H04N19/36

   H04N19/46

   H04N19/59

   H04N19/70

【請求項の数】16

【外国語出願】

【全頁数】24

(21)【出願番号】特願2012-213797(P2012-213797)

(22)【出願日】2012年9月27日

(65)【公開番号】特開2013-81170(P2013-81170A)

(43)【公開日】2013年5月2日

【審査請求日】2015年9月18日

【審判番号】不服2017-7734(P2017-7734/J1)

【審判請求日】2017年5月30日

(31)【優先権主張番号】11306281.4

(32)【優先日】2011年10月4日

(33)【優先権主張国】EP

(73)【特許権者】

【識別番号】501263810

【氏名又は名称】トムソン ライセンシング

【氏名又は名称原語表記】Ｔｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】デイビッド トウゼ

(72)【発明者】

【氏名】ヤニック オリヴィエ

(72)【発明者】

【氏名】フィリップ ボルデ

(72)【発明者】

【氏名】ドミニク トロ

(72)【発明者】

【氏名】ジョーン ルラッチ

【合議体】

【審判長】 清水 正一

【審判官】 小池 正彦

【審判官】 坂東 大五郎

(56)【参考文献】

【文献】 特開２００３−２９９０６７（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０８５３６１（ＷＯ，Ａ２）

【文献】 特開２００９−３３５８６（ＪＰ，Ａ）

【文献】 特開２０１１−１６６７２８（ＪＰ，Ａ）

【文献】 特開２０１１−１４６９５７（ＪＰ，Ａ）

【文献】 特開２０１１−１４２６８２（ＪＰ，Ａ）

【文献】 特開昭６３−３５０９２（ＪＰ，Ａ）

【文献】 特開平６−２０４８９２（ＪＰ，Ａ）

【文献】 特表２００７−５３４２３８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

H04N19/00-19/98

(57)【特許請求の範囲】

【請求項1】

高ダイナミックレンジのHDR画像をエンコードする方法であって：
・三つの低ダイナミックレンジ（LDR）画像を取得する段階であって、前記三つのLDR画像のそれぞれはHDR画像コンテンツのより低いダイナミックレンジの表現を提供し、前記三つのLDR画像のうちの一つは露出正常であり、前記三つのLDR画像のうちの一つは露出過剰であり、前記三つのLDR画像のうちの一つは露出過少である、段階と；
・前記露出過少のLDR画像および露出過剰のLDR画像のそれぞれの正常に露出された領域における詳細を保存する仕方で前記露出過少のLDR画像および露出過剰のLDR画像の露出を改善するよう、前記露出過少のLDR画像および前記露出過剰のLDR画像を、ヒストグラム整列を使って調整する段階と；
・前記露出正常のLDR画像および前記の調整された露出過少および露出過剰のLDR画像をダウンサンプリングする段階と；
・フレーム中に、前記のダウンサンプリングされた露出正常のLDR画像と、前記のダウンサンプリングされた露出過少および露出過剰のLDR画像を含む追加データとを配置する段階であって、前記のダウンサンプリングされた露出過少および露出過剰のLDR画像は、前記追加データと前記のダウンサンプリングされた露出正常のLDR画像が上下に配置される場合には隣り合わせに配置され、前記のダウンサンプリングされた露出過少および露出過剰のLDR画像は、前記追加データと前記のダウンサンプリングされた露出正常のLDR画像が隣り合わせに配置される場合には上下に配置される、段階と；
・前記フレームをエンコードする段階とを含む、
方法。

【請求項2】

請求項１記載の方法であって、前記フレームのメタデータにおいてダウンサンプリング情報がエンコードされ、前記ダウンサンプリング情報は：前記のダウンサンプリングされた露出正常のLDR画像において奇数ラインが除去されているかどうかおよび前記のダウンサンプリングされた露出過少および露出過剰のLDR画像において奇数ラインが除去されているかどうかのうちの少なくとも一方を示す、方法。

【請求項3】

請求項１または２記載の方法であって、前記フレームのメタデータにおいて配置情報がエンコードされ、前記配置情報は前記のダウンサンプリングされた露出正常のLDR画像および追加データが前記フレームにおいてどのように配置されているかを示し、
・ダウンサンプリングは横方向であり、配置は隣り合わせである、または
・ダウンサンプリングは縦方向であり、配置は上下である、
方法。

【請求項4】

前記ヒストグラム整列の少なくとも一つのパラメータが前記フレームにおけるメタデータとしてエンコードされる、請求項１記載の方法。

【請求項5】

高ダイナミックレンジのHDR画像をエンコードする装置であって：
・三つの低ダイナミックレンジ（LDR）画像を取得する手段であって、前記三つのLDR画像のそれぞれはHDR画像コンテンツのより低いダイナミックレンジの表現を提供し、前記三つのLDR画像のうちの一つは露出正常であり、前記三つのLDR画像のうちの一つは露出過剰であり、前記三つのLDR画像のうちの一つは露出過少である、手段と；
・前記露出過少のLDR画像および露出過剰のLDR画像のそれぞれの正常に露出された領域における詳細を保存する仕方で前記露出過少のLDR画像および露出過剰のLDR画像の露出を改善するために、前記露出過少のLDR画像および前記露出過剰のLDR画像を、ヒストグラム整列を使って調整する手段と；
・前記露出正常のLDR画像および前記の調整された露出過少および露出過剰のLDR画像をダウンサンプリングする手段と；
・フレーム中に、前記のダウンサンプリングされた露出正常のLDR画像と、前記のダウンサンプリングされた露出過少および露出過剰のLDR画像を含む追加データとを配置する手段であって、前記のダウンサンプリングされた露出過少および露出過剰のLDR画像は、前記追加データと前記のダウンサンプリングされた露出正常のLDR画像が上下に配置される場合には隣り合わせに配置され、前記のダウンサンプリングされた露出過少および露出過剰のLDR画像は、前記追加データと前記のダウンサンプリングされた露出正常のLDR画像が隣り合わせに配置される場合には上下に配置される、手段と；
・前記フレームをエンコードする手段とを有する、
装置。

【請求項6】

請求項５記載の装置であって、前記フレームのメタデータにおいてダウンサンプリング情報がエンコードされ、前記ダウンサンプリング情報は：前記のダウンサンプリングされた露出正常のLDR画像において奇数ラインが除去されているかどうかおよび前記のダウンサンプリングされた追加の露出過少および露出過剰のLDR画像において奇数ラインが除去されているかどうかのうちの少なくとも一方を示す、装置。

【請求項7】

請求項６記載の装置であって、前記フレームのメタデータにおいて配置情報がエンコードされ、前記配置情報は前記のダウンサンプリングされた露出正常のLDR画像および追加データが前記フレームにおいてどのように配置されているかを示し、
・ダウンサンプリングは横方向であり、配置は隣り合わせである、または
・ダウンサンプリングは縦方向であり、配置は上下である、
装置。

【請求項8】

前記ヒストグラム整列の少なくとも一つのパラメータが前記フレームにおけるメタデータとしてエンコードされる、請求項５記載の装置。

【請求項9】

高ダイナミックレンジの高ダイナミックレンジ（HDR）画像を再構成する方法であって：
・フレームをデコードする段階と；
・前記フレームを三つの低ダイナミックレンジ（LDR）画像に分割する段階であって、前記三つのLDR画像のそれぞれはHDR画像コンテンツのより低いダイナミックレンジの表現を提供し、前記三つのLDR画像のうちの一つは露出正常であり、前記三つのLDR画像のうちの一つは露出過剰であり、前記三つのLDR画像のうちの一つは露出過少であり、追加データは前記露出過少および露出過剰のLDR画像を含み、前記露出過剰および露出過少のLDR画像は、前記追加データと前記の露出正常のLDR画像が上下に配置される場合には隣り合わせに配置され、前記の露出過少および露出過剰のLDR画像は、前記追加データと前記の露出正常のLDR画像が隣り合わせに配置される場合には上下に配置される、段階と；
・前記露出正常のLDR画像および前記の露出過少および露出過剰のLDR画像を含む追加データをアップサンプリングする段階と；
・アップサンプリングされた露出過少のLDR画像およびアップサンプリングされた露出過剰のLDR画像に逆ヒストグラム整列を適用する段階と；
・アップサンプリングされた露出正常の画像と、調整されたアップサンプリングされた露出過少および露出過剰のLDR画像を含む前記追加データとからHDR画像を再構成する段階とを有しており、
前記逆ヒストグラム整列は、露出過少のLDR画像および露出過剰のLDR画像の露出を、前記露出過少のLDR画像および露出過剰のLDR画像のそれぞれの正常に露出された領域における詳細を保存する仕方で改善するよう意図されたヒストグラム整列の逆である、
方法。

【請求項10】

請求項９記載の方法であって、前記フレームのメタデータにおいてダウンサンプリング情報がエンコードされており、前記ダウンサンプリング情報は：前記のダウンサンプリングされた露出正常のLDR画像において奇数ラインが除去されているかどうかおよび前記のダウンサンプリングされた露出過少および露出過剰のLDR画像において奇数ラインが除去されているかどうかのうちの少なくとも一方を示す、方法。

【請求項11】

請求項９または１０記載の方法であって、前記フレームのメタデータにおいて配置情報がエンコードされており、前記配置情報は前記のダウンサンプリングされた露出正常のLDR画像および追加データが前記フレームにおいてどのように配置されているかを示し、
・ダウンサンプリングは横方向であり、配置は隣り合わせである、または
・ダウンサンプリングは縦方向であり、配置は上下である、
方法。

【請求項12】

前記ヒストグラム整列の少なくとも一つのパラメータが前記フレームにおけるメタデータとしてエンコードされている、請求項９記載の方法。

【請求項13】

高ダイナミックレンジのHDR画像を再構成する装置であって：
・フレームをデコードする手段と；
・前記フレームを三つの低ダイナミックレンジ（LDR）画像に分割する手段であって、前記三つのLDR画像のそれぞれはHDR画像コンテンツのより低いダイナミックレンジの表現を提供し、前記三つのLDR画像のうちの一つは露出正常であり、前記三つのLDR画像のうちの一つは露出過剰であり、前記三つのLDR画像のうちの一つは露出過少であり、追加データは前記露出過少および露出過剰のLDR画像を含み、前記露出過剰および露出過少のLDR画像は、前記追加データと前記の露出正常のLDR画像が上下に配置される場合には隣り合わせに配置され、前記の露出過少および露出過剰のLDR画像は、前記追加データと前記の露出正常のLDR画像が隣り合わせに配置される場合には上下に配置される、手段と；
・前記露出正常のLDR画像および前記の露出過少および露出過剰のLDR画像をアップサンプリングする手段と；
・アップサンプリングされた露出過少のLDR画像およびアップサンプリングされた露出過剰のLDR画像に逆ヒストグラム整列を適用する手段と；
・アップサンプリングされた露出正常の画像と、調整されたアップサンプリングされた露出過少および露出過剰のLDR画像を含む前記追加データとからHDR画像を再構成する手段とを有しており、
前記逆ヒストグラム整列は、露出過少のLDR画像および露出過剰のLDR画像の露出を、前記露出過少のLDR画像および露出過剰のLDR画像のそれぞれの正常に露出された領域における詳細を保存する仕方で改善するよう意図されたヒストグラム整列の逆である、
装置。

【請求項14】

請求項１３記載の装置であって、前記フレームのメタデータにおいてダウンサンプリング情報がエンコードされており、前記ダウンサンプリング情報は：前記のダウンサンプリングされた露出正常のLDR画像において奇数ラインが除去されているかどうかおよび前記のダウンサンプリングされた露出過少および露出過剰のLDR画像において奇数ラインが除去されているかどうかのうちの少なくとも一方を示す、装置。

【請求項15】

請求項１３記載の装置であって、前記フレームのメタデータにおいて配置情報がエンコードされており、前記配置情報は前記のダウンサンプリングされた露出正常のLDR画像および追加データが前記フレームにおいてどのように配置されているかを示し、
・ダウンサンプリングは横方向であり、配置は隣り合わせである、または
・ダウンサンプリングは縦方向であり、配置は上下である、
装置。

【請求項16】

前記ヒストグラム整列の少なくとも一つのパラメータが前記フレームにおけるメタデータとしてエンコードされている、請求項１３記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、高ダイナミックレンジの画像の符号化の分野においてなされる。

【背景技術】

【0002】

スチール画像であれ画像シーケンスの画像フレームであれ、画像は一般に、輝度信号を表現するための限られた値の範囲に対応して、限られたビット数（たとえば8ビット、10ビット、12ビットまたはそれ以上のビット）で表現される。そのようにして表現される画像は低ダイナミックレンジ（low dynamic range）の画像または略してLDR画像と呼ばれる。しかしながら、人間の視覚系はより広い範囲の輝度を知覚できる。上記の限られた表現では、たいていの場合、特にきわめて暗いまたは明るい輝度の画像領域において、小さな信号変動を正しく再構成することができない。HDR（High Dynamic Range［高ダイナミックレンジ］）フォーマットは、輝度範囲全体で信号の高い精度を保つために、信号表現のビット深さをより多くのビット、たとえば20ないし64ビットを用いた整数表現に、またさらには浮動小数点表現に著しく拡張するものである。

【0003】

HDR画像はさまざまな仕方で取り込むことができる。たとえば、デジタル一眼レフ・カメラは、同じシーンの一連の画像を種々の露出で取り込むブラケット機能を使うことができる。ここで、露出は、画像を撮影するプロセスの間に撮像媒体（写真フィルムまたはイメージセンサー）に入射することが許容される光の総密度である。異なる露出の画像はLDR画像として表現される。過少露出の画像は明るい領域において詳細を捕捉する一方、過剰露出の画像は暗い領域において詳細を捕捉する。このことは、異なる露出値（exposure value）EVについて図１に例示的に描かれている。

【0004】

これら異なる露出のLDR画像の融合により、浮動小数点表現をもつHDR画像を生成できる。生成されたHDR画像は暗い領域も明るい領域もすべての詳細を含む。

【0005】

HDR画像は、その源フォーマットのまま、LDR画像で使うよう指定された装置、たとえばセットトップボックス、PVRおよびレガシー・ディスプレイと一緒に使うことはできない。いずれにせよ、トーン・マッピング（Tone Mapping）と呼ばれるプロセスが、特に暗い強度範囲と明るい強度範囲における異なる信号強度のセグメントの良好な復元を保証しつつ、画像を表現することを許容する。トーン・マッピングはHDR画像から、すべての要素が正しく露出されたLDR画像を生成する。LDR画像は、暗い領域および白い領域の両方においてずっと多くの詳細がある。これは図２に例示的に描かれている。

【0006】

HDRは特にポストプロダクションにおいて使われる。すべての特殊効果ツールは、浮動小数点表現でHDR画像を扱っている。自然なシーンと特殊効果の混合もHDR表現において実現される。ポストプロダクション・プロセスの終わりに、写真監督（Director of Photography）のもとでトーン・マッピングが適用されて、標準的な8/10/12ビットのマスターが生成される。

【0007】

非特許文献１は、HDRビデオ・ストリームを残差ストリームと標準的なLDRストリームに分解するために使用されるコンパクトな再構成機能を導入する、従来のものと互換なHDRビデオ圧縮（HDR MPEG）方法を提案している。この標準的なLDRストリームは、DVDプレーヤーのような既存のMPEGデコーダで再生できる。非特許文献１の残差ストリームは、LDRストリームだけに比べて約30%のビットストリーム・オーバーヘッドを生じる。

【0008】

非特許文献２は、著者によって提案される適応LogLuv変換を用いてHDRビデオ・シーケンスをエンコードするために既存のエンコーダが使用できるアプローチを記載している。非特許文献２はさらに、それらのデータをエンコードするためにMPEG AVCの高ビット深さプロファイルを使うことを記載している。

【先行技術文献】

【非特許文献】

【0009】

【非特許文献1】Mantiuk et al.、"Backward Compatible High Dynamic Range MPEG Video Compression"、Proc. of SIGGRAPH '06（ACM Transactions on Graphicsの特別号）、25(3)、pp.713-723、2006

【非特許文献1】Motra and Thoma、"An Adaptive LogLuv Transform for High Dynamic Range Video Compression"、Proceedings of 2010 IEEE 17th International Conference on Image Processing、Sept. 2010、香港

【発明の概要】

【発明が解決しようとする課題】

【0010】

上述した両方法の一つの欠点は、標準的なHDTVエコ・システムに対する後方互換性がないことである。

【0011】

本発明者は、当技術分野において、すでに展開された画像／ビデオ・エンコーダを再利用することを許容し、かつ標準的なLDR HDTVに対して上位互換である、HDR画像およびビデオのための代替的なエンコード方式が必要とされていることを認識した。

【課題を解決するための手段】

【0012】

本発明は、フレーム互換（Frame Compatible）フォーマットの概念に基づく。その発想は、ダウンサンプリングされたLDRコンテンツを、該LDRコンテンツからHDRコンテンツを再構成することを許容する追加情報と一緒に転送するフレーム互換方法を使うというものである。デコーダ側では、LDRコンテンツを使ってLDRディスプレイのソースとすることができ、HDRコンテンツを再構成し、HDRディスプレイのソースとして使うことができる。あるいは、HDRコンテンツ再構成は、LDRディスプレイによって使われるためにトーン・マッピングされる。

【0013】

こうして、請求項１記載の高ダイナミックレンジのHDR画像をエンコードする方法が提案される。前記方法は、LDR画像および追加データをダウンサンプリングすることを含み、前記LDR画像は前記HDR画像コンテンツのより低いダイナミックレンジの表現を提供し、前記追加データは、前記LDR画像から前記HDR画像を再構成することを許容する。前記方法はさらに、フレーム中に、ダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データを配置することを含む。

【0014】

さらに、請求項２記載の高ダイナミックレンジのHDR画像を再構成する方法が提案される。このさらなる提案される方法は、フレームをデコードする段階と、該フレームをダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データに分割する段階であって、前記LDR画像は前記HDR画像コンテンツのダウンサンプリングされた、より低いダイナミックレンジの表現を提供し、前記追加データは前記LDR画像から前記HDR画像を再構成することを許容する、段階と、ダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データをアップサンプリングする段階と、アップサンプリングされた追加データを使ってアップサンプリングされたLDR画像からHDR画像を再構成する段階とを含む。

【0015】

また、低ダイナミックレンジのダウンサンプリングされたLDR画像およびダウンサンプリングされた追加情報を含むエンコードされたフレームを担持する記憶媒体であって、前記追加データが、前記LDR画像コンテンツのより高ダイナミックレンジの表現を与えるHDR画像を再構成することを許容する、記憶媒体が提案される。

【0016】

さらに、本発明者は、請求項１１に基づく、高ダイナミックレンジのHDR画像をエンコードする装置および請求項１４に基づく、高ダイナミックレンジのHDR画像を再構成する装置を提案する。

【0017】

ある実施形態では、前記フレームは基本層でエンコードされ、前記LDR画像および／または前記追加データをダウンサンプリングすることによって除去される情報は向上層でエンコードされる。

【0018】

さらなる諸実施形態では、ダウンサンプリングおよびアップサンプリングはあるサンプリング方向、たとえば横、斜めまたは縦のサンプリング方向において行われる。サンプリング方向に対応して、配置パターンがある。たとえば、隣り合わせ（side-by-side）〔本願では「隣り合わせ」はside-by-side、すなわち上下ではなく「横に隣り合わせ」の意で用いる〕の配置は横方向のサンプリングに対応し、上下（top-and-bottom）は縦方向のダウンサンプリングおよびアップサンプリングに対応する。

【0019】

さらに有利な諸実施形態の特徴は従属請求項において指定される。

【図面の簡単な説明】

【0020】

本発明の例示的な実施形態は図面において例解され、以下の記述においてより詳細に説明される。例示的な実施形態は、本発明を明快にするためだけに説明されるのであって、本発明の開示または請求項において定義される範囲を限定するためではない。

【図1】種々の露出による同じシーンの同じビューの例示的な系列を描いた図である。

【図2】明るい領域にトーン・マッピングが適用された例示的な画像を描いた図である。

【図3】第一および第二の例示的な実施形態のエンコード側における隣り合わせのダウンサンプリングおよびパッキングを例示的に描いた図である。

【図4】第一および第二の例示的な実施形態のエンコード側における上下のダウンサンプリングおよびパッキングを例示的に描いた図である。

【図5】第一の例示的な実施形態の符号化枠組みを描いた図である。

【図6】第一の例示的な実施形態の二つの可能なフレーム構造を描いた図である。

【図7】第一および第二の例示的な実施形態のデコード側における隣り合わせのパッキング解除およびアップサンプリングを例示的に描いた図である。

【図8】第一および第二の例示的な実施形態のデコード側における上下のパッキング解除およびアップサンプリングを例示的に描いた図である。

【図9】第二の例示的な実施形態の二つの可能なフレーム構造を描いた図である。

【図10】第二の実施形態の符号化枠組みを描いた図である。

【図11】第三の例示的な実施形態の二つの可能なフレーム構造を描いた図である。

【図12】第三の実施形態の符号化枠組みを描いた図である。

【図13】MVC対応デコード装置を用いたマルチビュー符号化に基づく第一の例示的な実施形態のさらなる符号化枠組みを描いた図である。

【図14】MVC対応でないデコード装置を用いたマルチビュー符号化に基づく第一の例示的な実施形態のさらなる符号化枠組みを描いた図である。

【図15】スケーラブル・ビデオ符号化に基づく第一の例示的な実施形態のさらなる符号化枠組みを描いた図である。

【発明を実施するための形態】

【0021】

本発明は、しかるべく適応された処理装置を有する任意の電子装置で実現されうる。たとえば、本発明は、テレビジョン、メディア・ゲートウェイ、セットトップボックス、携帯電話、パーソナル・コンピュータ、デジタル・スチール・カメラ、デジタル・ビデオ・カメラまたは自動車娯楽システムにおいて実現されてもよい。これら例示的なシステムのそれぞれは、低ダイナミックレンジ、高ダイナミックレンジまたは両方の画像コンテンツを処理するよう構成されていることができる。本発明は、HDRスチール画像ならびにHDRビデオ／HDR画像シーケンスに適用できる。

【実施例1】

【0022】

本発明の第一の例示的な実施形態は、高ダイナミックレンジの画像が、露出の異なる整列された画像から、たとえば一方が露出過少で他方が露出過剰な同じ視点から撮影された同じシーンの一対の画像から、生成されることができるという事実を活用する。

【0023】

一対の画像を単一のフレームに収めるために、両画像がダウンサンプリングされる。第一の例示的な実施形態では、ダウンサンプリングは横方向にであることができる。すなわち、図３に例示的に描かれるように、すべての奇数番目の列またはすべての偶数番目の列が除去される。あるいは縦方向にであることもできる。すなわち、図４に例示的に描かれるように、すべての奇数番目の行またはすべての偶数番目の行が除去される。次いで、ダウンサンプリングされた画像が単一のフレーム内に配置されることができる。配置は、横方向のダウンサンプリングの場合には隣り合わせであり、縦方向のダウンサンプリングの場合には上下である。このことは図５に例示的に描かれている。例示的に描かれている二つのLDR画像は1080行および1920列を有し、横方向にダウンサンプリングされて960列にされ、図６ａに描かれるように隣り合わせに配置されるか、縦方向にダウンサンプリングされて540行にされ、図６ｂに描かれるように上下に配置される。

【0024】

他のサンプリング方向、たとえば斜め上がりまたは斜め下がりの方向も可能である。サンプリング方向は固定でもよいし、コンテンツ保持に適応して選択されてもよい。たとえば、エンコーダ側で、画像毎またはピクチャー・グループ毎にいくつかのサンプリング方向が試験されることができ、たとえばレート‐歪みが最もよくなるものが選択される。配置の型はメタデータにおいて信号伝達されてもよいし、あるいはフレーム内で、該フレームを半分に分かつエッジの諸特徴を検索することによって決定されてもよい。前記諸特徴の有意性が比較されることができ、最も有意なものがフレームを再び画像に分割するために使われることができる。

【0025】

同様に、前記サンプリング方向に垂直な奇数ラインと偶数ラインのどちらが除去されるかは、固定であってもよいし、たとえばレート‐歪みを改善するために両方の画像について、共通してまたは個々に調整されてもよい。この調整は、サンプリング方向の適応とは独立に、たとえば固定したサンプリング方向の場合であっても行われてもよいし、あるいはサンプリング方向の適応と整合して行われてもよい。

【0026】

フレーム内に配置したのち、そのフレームがエンコードされる。HDRビデオを再構成するために好適なLDR画像対のシーケンスに属するLDR画像の場合、フレームは、任意の既知のビデオ符号化規格、たとえばH.264/MPEG-4 AVCに従ってエンコードされることができる。本発明の要点のためには、どの符号化規格が使われるかは重要でない。

【0027】

エンコードは、二つのLDR画像が異なる露出で同じコンテンツを示すという事実を利用することができる。すなわち、動きベクトル検索はフレームの半分に制約されることができ、半分のフレームで決定された動きベクトルは他方の半分のフレームで再利用できる。再利用は必須とすることさえできる。その場合、半分のフレームの動きベクトルをエンコードするだけでよい。

【0028】

任意的に、エンコーダはスケーラブル画像／ビデオ符号化（SVC: scalable image/video coding）フォーマットの基本層を出力し、ダウンサンプリングされたLDR画像中で省略された行および列はSVCフォーマットの向上層においてエンコードされる。あるいは、エンコーダはマルチビュー符号化（MVC）フォーマットの第一のビューを出力し、ダウンサンプリングされたLDR画像中で省略された行および列はMVCフォーマットの第二のビューにおいてエンコードされる。

【0029】

二つのLDR画像それぞれの正常に露出された領域における詳細を保存する仕方で二つのLDR画像の露出を改善するために、ダウンサンプリングの前または後に、任意的なヒストグラム整列（histogram alignment）が適用されることができる。ヒストグラム調整の個別的な設定は固定であってもよいし、適応されることもできる。後者の場合、デコーダが逆変換を実行できるよう、設定はメタデータを介してデコード・プロセスに送られることができる。

【0030】

二つの露出が異なるLDR画像に基づく例示的な符号化枠組みが図５に描かれている。

【0031】

エンコード装置ENCは、低ダイナミックレンジをもつ二つの、異なる露出の、整列された画像またはビデオ・フレームを受領し、その露出をモジュールHSTにおいてヒストグラム等化によって調整する。次いで、露出調整された画像はダウンサンプリングDWNされ、単一のフレーム中にパックPCKされる。該単一のフレームはH.264/MPEG-4 AVCエンコーダAVCによってエンコードされる。モジュールMDEはヒストグラム整列のパラメータと、ダウンサンプリングについての情報と、パッキングについての情報とを前記フレームのメタデータ中にエンコードする。次いで、メタデータを含むエンコードされたフレームは、ストリーム中での送信または記憶媒体、たとえば光ディスクへの記憶のために出力される。

【0032】

デコード装置DECは、前記メタデータを含むエンコードされたフレームを、前記記憶媒体を読む装置から、またはストリーム受領装置から受領し、前記フレームを、エンコードのために使われた規格に従ってデコードIAVCする。次いで、メタデータがデコードMDDされ、フレームをダウンサンプリングされたLDR画像に分割SEPするために使われる。メタデータはさらに、アップサンプリングUPが奇数ラインを加えるか偶数ラインを加えるかに使われる。分割およびアップサンプリングは、図７では隣り合わせに配置されたLDR画像について、図８では上下に配置されたLDR画像について例示的に描かれている。次に、ヒストグラム整列パラメータのメタデータが、ヒストグラム整列をもとに戻すIHSTために使われる。逆整列後、LDR画像を融合FUSすることで、HDRコンテンツが生成される。

【0033】

HDRコンテンツは次いで、HDRディスプレイにソースを与えるためにそのまま出力される、あるいはLDRディスプレイにソースを与えるためにトーン・マッピングMAPされて出力される。

【実施例2】

【0034】

図９に描かれる第二の例示的な実施形態では、エンコード装置ENCは赤緑青（RGB）色空間においてHDRコンテンツを供給される。コンテンツは、RGBにおいてLDRコンテンツを生成するためにトーン・マッピングMAPされる。LDRコンテンツはルミナンス・クロミナンス空間、たとえばYUV 420に色変換CCVされ、HDRコンテンツのルミナンス値が決定される。次いで、これらの値はHDRコンテンツから露出マップを抽出するために使われる。該抽出はたとえば、ピクセルごとにHDRコンテンツのルミナンス値をLDRコンテンツのルミナンス値で割るDIVことによる。これは、ルミナンス・クロミナンス空間への変換がたとえば対数スケールまたは線形スケールを使ってできることを要求する。次いで露出マップは、フォーマットによって許されるビット深さに規格化および量子化NQされる。エンコードがYUV 420フレームに最適化されていることを利用するため、規格化および量子化された露出マップはYUV 400空間からYUV 420空間に変換される。

【0035】

次いで、変換された露出マップおよびLDRコンテンツはダウンサンプリングDWNされ、図１０ａに例示的に描かれるように隣り合わせにまたは図１０ｂに例示的に描かれるように上下に、一つのフレームにパックPCKされる。その後、フレームはAVCエンコードされる。ダウンサンプリングは横方向または縦方向であることができ、奇数ラインまたは偶数ラインが除去されることができ、および／またはダウンサンプリングのために除去された情報がSVCの向上層またはMVCの異なるビューにおいて伝達されることができる。

【0036】

図９に例示的に描かれるこの第二の例示的な実施形態では、メタデータは、奇数ラインまたは偶数ラインのどちらが除去されるかについての情報のほか、規格化のために使われるルミナンス比の極端値を含む。配置、たとえば隣り合わせか上下かについての情報も含めてもよいし、あるいはフレームを半分に分かつエッジ特徴の検出を使ってデコーダ側で決定されることもできる。

【0037】

デコーダDECは、エンコードされたフレームをデコードIAVCし、ダウンサンプリングされたトーン・マッピングされたLDRコンテンツとダウンサンプリングされた露出マップに分割SEPする。アップサンプリングUPによって、LDRコンテンツおよび露出マップは再びフレーム・サイズに拡大される。

【0038】

アップサンプリングされたLDRコンテンツはLDR対応の装置にそのまま出力されることができる。露出マップは、メタデータとして伝達される最小および最大ルミナンス値を使って逆量子化および逆規格化IQNされることができる。次いで、拡大された露出マップは逆トーン・マッピングITMのために使用されることができ、結果として得られるHDRコンテンツはHDR対応のディスプレイのソースとなることができる。

【実施例3】

【0039】

本発明の第三の例示的な実施形態も、高ダイナミックレンジの画像が、整列された、異なる露出の画像から生成できるという事実を活用する。異なる露出の整列された画像とは、たとえば、同じ視点から撮影された同じシーンの三つの画像で、そのうち一つは露出過少で、一つは露出正常で、一つは露出過剰というものである。

【0040】

図１２に描かれるこの第三の実施形態では、整列された画像のうち正常に露出されなかったものが横方向および縦方向にダウンサンプリングされる。任意的に、ダウンサンプリングに先立ってヒストグラム整列が適用される。正常に露出されたLDR画像は、ヒストグラム整列なしに縦方向または横方向にダウンサンプリングされる。次いで、三つの画像は、図１１ａまたは図１１ｂに例示的に描かれるようにフレーム内に配置される。

【0041】

すなわち、正常に露出されたLDR画像が縦方向にダウンサンプリングされる場合、ダウンサンプリングされた正常に露出されなかった二つの画像は隣り合わせに配置され、その下か上にダウンサンプリングされた正常に露出された画像が配置される。正常に露出されたLDR画像が横方向にダウンサンプリングされる場合、ダウンサンプリングされた正常に露出されなかった二つの画像は上下に配置され、それと隣り合わせにダウンサンプリングされた正常に露出された画像が配置される。次いで結果として得られるフレームは、たとえばAVCエンコーダを使ってエンコードされる。フレームのメタデータは、除去されるラインのパリティ、正常に露出された画像のダウンサンプリングの方向および／またはヒストグラム整列のパラメータについての情報を担持できる。

【0042】

デコーダ側では、ストリームはまず、たとえばAVCのような標準的なビデオ・コーダを使ってデコードされる。次いでフレームは、メタデータによって担持される準拠方法を使って、または検出された縦方向または横方向の中央エッジを使ってアンパックされる。結果として得られる画像または画像ストリームの正常に露出されたものは、次いで、メタデータによって担持される準拠方法を使ってオーバーサンプリングされ、再構成された正常に露出されたLDR画像／ビデオを生成する。露出過剰のLDRビデオおよび露出過少のLDRビデオは縦方向および横方向にオーバーサンプリングされる。

【0043】

結果として得られる正常に露出されたLDRコンテンツは、直接、LDRディスプレイのソースとなることができる。

【0044】

エンコーダ側でヒストグラム整列が適用されていた場合、逆ヒストグラム調整が、メタデータによって担持されるパラメータを使って、露出過剰または露出過少のコンテンツに任意的に適用されることができる。

【0045】

結果として得られる正常に露出されたLDRコンテンツはさらに、HDRコンテンツを再構成するために、逆ヒストグラム整列された、露出過剰のLDRコンテンツおよび露出過少のLDRコンテンツと融合されることができる。再構成されたHDRコンテンツはHDRディスプレイに与えられることができる。

【実施例4】

【0046】

第一および第二の例示的な実施形態でも第三の例示的な実施形態でも、フレームはスケーラブル・ビデオ符号化フォーマットの基本層においてエンコードされることもできる。あるいは、あるいは、MVCを使うこともできる。その際、ダウンサンプリングしたために基本層／主要ビューにおいて欠けている情報は、一つまたは複数の向上層／副次ビューにおいてエンコードされることができる。異なるビューまたは層に情報を分配するこの原理が適用されるあらゆる場合において、基本層／第一ビューの半フレームの動きベクトル情報が基本層／第一ビューの他方の半フレームについて再利用できるばかりでなく、向上層の両半フレームにも再利用できる。

【0047】

たとえば、HDRコンテンツが異なる露出の四つの画像に基づく場合、四つのLDR画像のそれぞれのピクセルは、四分の一の解像度の四つのLDRサブ画像に分類されることができる。たとえば、奇数行の奇数ピクセルは第一のサブ画像に分類され、偶数行の奇数ピクセルは第二のサブ画像に分類され、奇数行の偶数ピクセルは第三のサブ画像に分類され、偶数行の偶数ピクセルは第四のサブ画像に分類される。すると、四つのLDR画像の第一の諸サブ画像はSVC基本層または主要MVCビューに配置され、四つのLDR画像の第二の諸サブ画像は第一のSVC向上層または第一の副次MVCビューに配置され、四つのLDR画像の第三の諸サブ画像は第二のSVC向上層／第二の副次MVCビューに配置され、四つのLDR画像の第四の諸サブ画像は第三のSVC向上層または第三の副次MVCビューに配置される。フレームのエンコードがH.264/MPEG-4 AVCに基づく例示的な実施形態でメタデータをエンコードするために、下記の例示的なシンタックスが提案される。

【実施例5】

【0048】

すなわち、本発明のある側面は、修正されたまたは新たなSEIメッセージの提案に関する。たとえば、下記の表１に例示的に描かれているように、sei_payload()は45に等しい追加的なpayloadType〔ペイロード型〕が定義されるよう修正されることができる。これは、表２に例示的に描かれているhdr_frame_compatible_info(payloadSize)へのアクセスをトリガーする。

【0049】

【表1】

【0050】

【表2】

SEI HDRフレーム互換情報（HDR Frame compatible information）メッセージはデコーダに、出力されるデコードされたピクチャが、指示されるフレーム・パッキング配置を使って、複数の相異なる空間的にパッキングされた構成フレームからなるフレームのサンプルを含んでいることを通知する。この情報は、デコーダによって、サンプルを適切に再配置し、表示もしくは他の目的（これは本明細書の範囲外である）のために適切に構成フレームのサンプルを処理するために使用されることができる。

【0051】

hdr_frame_compatible_idは、HDRフレーム互換情報SEIメッセージの使用を同定するために使用できる識別番号を含む。hdr_frame_compatible_idの値は両端を含めて0から2^32−2の範囲内でなければならない。
hdr_frame_compatible_idの値0ないし255および512ないし2-31−1は、本願によって決定されるように使用されてもよい。hdr_frame_compatible_idの値256ないし511および2^31ないし2-32−2は、ITU-T｜ISO/IECによる将来の使用のためにリザーブされる。デコーダは、hdr_frame_compatible_idの256ないし511の範囲および2^31ないし2-32−2の範囲内の値を含むあらゆるHDRフレーム互換情報SEIメッセージを無視しなければならず、ビットストリームはそのような値を含んではならない。

【0052】

hdr_frame_compatible_cancel_flagが1に等しいことは、HDRフレーム互換情報SEIメッセージが出力オーダー（output order）における、いかなるHDRフレーム互換情報SEIメッセージの持続をも打ち消すことを示す。
hdr_frame_compatible_cancel_flagが0に等しいことは、HDRフレーム互換情報SEIメッセージ情報が続くことを示す。

【0053】

hdr_frame_packing_arrangement_typeは、次の表３に指定されるフレームのパッキング配置の型を示す。

【0054】

値0：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の隣り合わせのパッキング配置を含む。
左の半フレームは対応する全フレームの偶数列で構築される。
右の半フレームは対応する全フレームの偶数列で構築される。

【0055】

値1：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の隣り合わせのパッキング配置を含む。
左の半フレームは対応する全フレームの偶数列で構築される。
右の半フレームは対応する全フレームの奇数列で構築される。

【0056】

値2：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の隣り合わせのパッキング配置を含む。
左の半フレームは対応する全フレームの奇数列で構築される。
右の半フレームは対応する全フレームの偶数列で構築される。

【0057】

値3：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の隣り合わせのパッキング配置を含む。
左の半フレームは対応する全フレームの奇数列で構築される。
右の半フレームは対応する全フレームの奇数列で構築される。

【0058】

値4：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の上下のパッキング配置を含む。
上の半フレームは対応する全フレームの偶数ラインで構築される。
下の半フレームは対応する全フレームの偶数ラインで構築される。

【0059】

値5：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の上下のパッキング配置を含む。
上の半フレームは対応する全フレームの偶数ラインで構築される。
下の半フレームは対応する全フレームの奇数ラインで構築される。

【0060】

値6：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の上下のパッキング配置を含む。
上の半フレームは対応する全フレームの奇数ラインで構築される。
下の半フレームは対応する全フレームの偶数ラインで構築される。

【0061】

値7：
解釈：デコードされたフレームの各成分平面は、二つの構成フレームの対応する平面の上下のパッキング配置を含む。
上の半フレームは対応する全フレームの奇数ラインで構築される。
下の半フレームは対応する全フレームの奇数ラインで構築される。

【0062】

表３：hdr_frame_packing_arrangement_type。

【0063】

hdr_frame_compatible_typeはHDR関係情報を転送するために使われる解決策を指定する。
hdr_frame_compatible_typeが0とは、二つのLDRビューを使った方式に対応し、hdr_frame_compatible_typeが1とは、LDRビューおよび露出マップを使った方式に対応し、hdr_frame_compatible_typeが2とは、一つの半フレームでのLDRビュー、一つの四分の一フレームでの露出過少の一つのLDRビューおよび一つの四分の一フレームでの露出過剰の一つのLDRビューを使う方式に対応する。2より大きなhdr_frame_compatible_typeは三つより多くのLDR画像の使用を示すことができる。

【0064】

over_exposed_view_mappingは、どちらの半フレームが露出過剰のLDRビューをマッピングされるかを指定する。このフラグは、hdr_frame_compatible_typeが0または2に等しいときに存在する。

【0065】

hdr_frame_packing_arrangement_typeが0から3の範囲にあるとき（隣り合わせの配置）、
・over_exposed_view_mappingが0に等しいことは、露出過剰のLDRビューが左の半フレーム上にマッピングされ、よって露出過少のLDRビューは右の半フレーム上にマッピングされることを示す。
・over_exposed_view_mappingが1に等しいことは、露出過剰のLDRビューが右の半フレーム上にマッピングされ、よって露出過少のLDRビューは左の半フレーム上にマッピングされることを示す。

【0066】

hdr_frame_packing_arrangement_typeが4から7の範囲にあるとき（上下の配置）、
・over_exposed_view_mappingが0に等しいことは、露出過剰のLDRビューが上の半フレーム上にマッピングされ、よって露出過少のLDRビューは下の半フレーム上にマッピングされることを示す。
・over_exposed_view_mappingが1に等しいことは、露出過剰のLDRビューが下の半フレーム上にマッピングされ、よって露出過少のLDRビューは上の半フレーム上にマッピングされることを示す。

【0067】

ldr_view_mappingは、どちらの半フレームがLDRビューをマッピングされるかを指定する。このフラグは、hdr_frame_compatible_typeが1に等しいときに存在する。

【0068】

hdr_frame_packing_arrangement_typeが0から3の範囲にあるとき（隣り合わせの配置）、
・ldr_view_mappingが0に等しいことは、LDRビューが左の半フレーム上にマッピングされ、よって露出マップは右の半フレーム上にマッピングされることを示す。
・ldr_view_mappingが1に等しいことは、LDRビューが右の半フレーム上にマッピングされ、よって露出マップは左の半フレーム上にマッピングされることを示す。

【0069】

hdr_frame_packing_arrangement_typeが4から7の範囲にあるとき（上下の配置）、
・ldr_view_mappingが0に等しいことは、LDRビューが上の半フレーム上にマッピングされ、よって露出マップは下の半フレーム上にマッピングされることを示す。
・ldr_view_mappingが1に等しいことは、LDRビューが下の半フレーム上にマッピングされ、よって露出マップは上の半フレーム上にマッピングされることを示す。

【0070】

hdr_luminance_minは、規格化前のHDRフレームと対応するLDRフレームとの間のルミナンス比の最小値を与える。この16ビット値は半精度の値（IEEE754表現）として解釈される。

【0071】

hdr_luminance_maxは、規格化前のHDRフレームと対応するLDRフレームとの間のルミナンス比の最大値を与える。この16ビット値は半精度の値（IEEE754表現）として解釈される。

【0072】

luminance_ratio_scaling_methodは、ルミナンス比の値を圧縮するために使われる方法を指定する。
luminance_ratio_scaling_methodが0とは、線形スケーリングに対応する。
luminance_ratio_scaling_methodが1とは、log2スケーリングに対応する。
luminance_ratio_scaling_methodが2とは、log10スケーリングに対応する。

【0073】

multi_view_mappingはどの半フレームが正常露出されたLDRビューをマッピングされ、どの四分の一フレームが露出過少および露出過剰のLDRビューをマッピングしているかを指定する。このフラグは、hdr_frame_compatible_typeが2に等しい場合にのみ存在する。

【0074】

hdr_frame_packing_arrangement_typeが0から3の範囲にあるとき（隣り合わせの配置）、
・multi_view_mappingが0に等しいことは、正常露出のLDRビューが左の半フレーム上にマッピングされ、露出過少のLDRビューが右上の四分の一フレーム上にマッピングされ、露出過剰のLDRビューが右下の四分の一フレーム上にマッピングされることを示す。
・multi_view_mappingが1に等しいことは、正常露出のLDRビューが左の半フレーム上にマッピングされ、露出過剰のLDRビューが右上の四分の一フレーム上にマッピングされ、露出過少のLDRビューが右下の四分の一フレーム上にマッピングされることを示す。
・multi_view_mappingが2に等しいことは、正常露出のLDRビューが右の半フレーム上にマッピングされ、露出過少のLDRビューが左上の四分の一フレーム上にマッピングされ、露出過剰のLDRビューが左下の四分の一フレーム上にマッピングされることを示す。
・multi_view_mappingが3に等しいことは、正常露出のLDRビューが右の半フレーム上にマッピングされ、露出過剰のLDRビューが左上の四分の一フレーム上にマッピングされ、露出過少のLDRビューが左下の四分の一フレーム上にマッピングされることを示す。

【0075】

hdr_frame_packing_arrangement_typeが4から7の範囲にあるとき（上下の配置）、
・multi_view_mappingが0に等しいことは、正常露出のLDRビューが上の半フレーム上にマッピングされ、露出過少のLDRビューが左下の四分の一フレーム上にマッピングされ、露出過剰のLDRビューが右下の四分の一フレーム上にマッピングされることを示す。
・multi_view_mappingが1に等しいことは、正常露出のLDRビューが上の半フレーム上にマッピングされ、露出過剰のLDRビューが左下の四分の一フレーム上にマッピングされ、露出過少のLDRビューが右下の四分の一フレーム上にマッピングされることを示す。
・multi_view_mappingが2に等しいことは、正常露出のLDRビューが下の半フレーム上にマッピングされ、露出過少のLDRビューが左上の四分の一フレーム上にマッピングされ、露出過剰のLDRビューが右上の四分の一フレーム上にマッピングされることを示す。
・multi_view_mappingが3に等しいことは、正常露出のLDRビューが下の半フレーム上にマッピングされ、露出過剰のLDRビューが左上の四分の一フレーム上にマッピングされ、露出過少のLDRビューが右上の四分の一フレーム上にマッピングされることを示す。

【0076】

secondary_down_sample_mappingは、二次ダウンサンプリング方法が適用される仕方を、すなわちどのラインまたは列（偶数または奇数）が使われるかを指定する。このフラグはhdr_frame_compatible_typeが2に等しい場合にのみ存在する。

【0077】

hdr_frame_packing_arrangement_typeが0から3の範囲にあるとき（隣り合わせの配置）、横方向のサブサンプリングのための列選択はhdr_frame_packing_arrangement_typeの値によってすでに指定されている。
secondary_down_sample_mappingが0に等しいことは、縦方向のサブサンプリングのための露出過剰および露出過少のLDRビューの両方について偶数ラインが使われることを示す。
secondary_down_sample_mappingが1に等しいことは、縦方向のサブサンプリングのための露出過剰および露出過少のLDRビューの両方について奇数ラインが使われることを示す。

【0078】

hdr_frame_packing_arrangement_typeが4から7の範囲にあるとき（上下の配置）、縦方向のサブサンプリングのためのライン選択はhdr_frame_packing_arrangement_typeの値によってすでに指定されている。
secondary_down_sample_mappingが0に等しいことは、横方向のサブサンプリングのための露出過剰および露出過少のLDRビューの両方について偶数列が使われることを示す。
secondary_down_sample_mappingが1に等しいことは、横方向のサブサンプリングのための露出過剰および露出過少のLDRビューの両方について奇数列が使われることを示す。

【0079】

本発明は、すでに展開されているソリューション（標準的なHDTVシステム）を使ったHDR分配を許容する。

【0080】

本発明はさらに、標準的なHDTVシステムとの後方互換性をもつHDRデータの効率的かつスケーラブルなエンコードを許容する。

【0081】

本発明は、多くのディスプレイ技術に適合する能力をもつので、柔軟である。

【0082】

本発明は、配送および／または記憶のためのHDRビデオ・エンコード／デコードの分野において適用可能である。

【0083】

本発明は、ビデオ表現フォーマット、ビデオ配送チェーンおよび受信機（セットトップボックス、デコーダ、PVR）またはディスプレイ装置のいずれにも関わりうる。
いくつかの付記を記載しておく。
〔付記１〕
高ダイナミックレンジのHDR画像をエンコードする方法であって：
・LDR画像および追加データをダウンサンプリングする段階であって、前記LDR画像は前記HDR画像コンテンツのより低いダイナミックレンジの表現を提供し、前記追加データは、前記LDR画像から前記HDR画像を再構成することを許容する、段階と；
・フレーム中に、ダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データを配置する段階と；
・前記フレームをエンコードする段階とを含む、
方法。
〔付記２〕
高ダイナミックレンジのHDR画像を再構成する方法であって：
・フレームをデコードする段階と；
・前記フレームをダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データに分割する段階であって、前記LDR画像は前記HDR画像コンテンツのダウンサンプリングされた、より低いダイナミックレンジの表現を提供し、前記追加データは前記LDR画像から前記HDR画像を再構成することを許容する、段階と；
・ダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データをアップサンプリングする段階と；
・アップサンプリングされた追加データを使ってアップサンプリングされたLDR画像からHDR画像を再構成する段階とを含む、
方法。
〔付記３〕
付記１または２記載の方法であって、前記LDR画像は露出過少であり、前記追加データは、前記HDR画像コンテンツの低ダイナミックレンジの表現のさらなるLDR画像を含み、前記さらなるLDR画像は露出過剰である、方法。
〔付記４〕
付記１または２記載の方法であって、前記LDR画像は露出正常であり、前記ダウンサンプリングされた追加データは、前記HDR画像コンテンツの低ダイナミックレンジの表現の二つのさらなるダウンサンプリングされたLDR画像を含み、前記二つのさらなるダウンサンプリングされたLDR画像の一つは露出過剰であり、二つのさらなるダウンサンプリングされたLDR画像の一つは露出過少であり、両方のさらなるダウンサンプリングされたLDR画像は横方向および縦方向にダウンサンプリングされており、前記追加データにおいて、前記二つのさらなるダウンサンプリングされたLDR画像は、前記ダウンサンプリングされた追加データと前記LDR画像が上下に配置される場合には隣り合わせに配置され、前記二つのさらなるダウンサンプリングされたLDR画像は、前記ダウンサンプリングされた追加データと前記LDR画像が隣り合わせに配置される場合には上下に配置される、方法。
〔付記５〕
付記２ないし４のうちいずれか一項記載の方法であって、前記露出過少のLDR画像および前記露出過剰のLDR画像は、ヒストグラム整列を使って調整されており、前記ヒストグラム整列の少なくとも一つのパラメータが前記フレームのメタデータにおいてエンコードされている、方法。
〔付記６〕
付記１または２記載の方法であって、前記LDR画像は前記HDR画像のトーン・マッピングされたバージョンであり、前記追加データは逆トーン・マッピングを許容する露出マップである、方法。
〔付記７〕
付記６記載の方法であって、前記露出マップは、前記HDR画像と前記HDR画像のトーン・マッピングされたバージョンのルミナンス値の比の規格化されたマップであり、最小ルミナンス比の値および最大ルミナンス比の値の少なくとも一方が前記フレームのメタデータにおいてエンコードされる、方法。
〔付記８〕
付記１ないし７のうちいずれか一項記載の方法であって、前記フレームのメタデータにおいてダウンサンプリング情報がエンコードされ、前記ダウンサンプリング情報は：前記ダウンサンプリングされたLDR画像において奇数ラインが除去されているかどうかおよび前記ダウンサンプリングされた追加データにおいて奇数ラインが除去されているかどうかのうちの少なくとも一方を示す、方法。
〔付記９〕
付記１ないし８のうちいずれか一項記載の方法であって、前記フレームのメタデータにおいて配置情報がエンコードされ、前記配置情報は前記ダウンサンプリングされたLDR画像および前記ダウンサンプリングされた追加データが前記フレームにおいてどのように配置されているかを示し、
・ダウンサンプリングは横方向であり、配置は隣り合わせである、または
・ダウンサンプリングは縦方向であり、配置は上下である、
方法。
〔付記１０〕
低ダイナミックレンジのダウンサンプリングされたLDR画像およびダウンサンプリングされた追加情報を含むエンコードされたフレームを担持する非一時的記憶媒体であって、前記追加データが、前記LDR画像コンテンツのより高ダイナミックレンジの表現を与えるHDR画像を再構成することを許容する、記憶媒体。
〔付記１１〕
高ダイナミックレンジのHDR画像をエンコードする装置であって：
・LDR画像および追加データをダウンサンプリングする手段であって、前記LDR画像は前記HDR画像コンテンツのより低いダイナミックレンジの表現を提供し、前記追加データは、前記LDR画像から前記HDR画像を再構成することを許容する、手段と；
・フレーム中に、ダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データを配置する手段と；
・前記フレームをエンコードする手段とを有する、
装置。
〔付記１２〕
ヒストグラム整列手段をさらに有する、付記１１記載の装置。
〔付記１３〕
露出マップを決定する手段をさらに有する、付記１１記載の装置。
〔付記１４〕
高ダイナミックレンジのHDR画像を再構成する装置であって：
・フレームをデコードする手段と；
・前記フレームをダウンサンプリングされたLDR画像およびダウンサンプリングされた追加データに分割する手段であって、前記LDR画像は前記HDR画像コンテンツのダウンサンプリングされた、より低いダイナミックレンジの表現を提供し、前記追加データは前記LDR画像から前記HDR画像を再構成することを許容する、手段と；
・ダウンサンプリングされたLDR画像をアップサンプリングする手段と；
・アップサンプリングされた追加データを使ってアップサンプリングされたLDR画像からHDR画像を再構成する手段とを有する、
装置。
〔付記１５〕
ヒストグラム整列手段および逆トーン・マッピング手段のうちの少なくとも一方をさらに有する、付記１１記載の装置。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】