特許 6121331 時間的コヒーレンス・ダイナミックレンジ・マッピングを用いたビデオ符号化および復号化

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6121331

(24)【登録日】2017年4月7日

(45)【発行日】2017年4月26日

(54)【発明の名称】時間的コヒーレンス・ダイナミックレンジ・マッピングを用いたビデオ符号化および復号化

(51)【国際特許分類】

   H04N 19/503 20140101AFI20170417BHJP

   H04N 19/85 20140101ALI20170417BHJP

   H04N 19/46 20140101ALI20170417BHJP

   H04N 19/105 20140101ALI20170417BHJP

   H04N 19/136 20140101ALI20170417BHJP

   H04N 19/172 20140101ALI20170417BHJP

   H04N 19/196 20140101ALI20170417BHJP

【ＦＩ】

   H04N19/503

   H04N19/85

   H04N19/46

   H04N19/105

   H04N19/136

   H04N19/172

   H04N19/196

【請求項の数】7

【全頁数】28

(21)【出願番号】特願2013-534258(P2013-534258)

(86)(22)【出願日】2011年10月12日

(65)【公表番号】特表2013-545371(P2013-545371A)

(43)【公表日】2013年12月19日

(86)【国際出願番号】EP2011067840

(87)【国際公開番号】WO2012052338

(87)【国際公開日】20120426

【審査請求日】2013年6月19日

(31)【優先権主張番号】11166909.9

(32)【優先日】2011年5月20日

(33)【優先権主張国】EP

(31)【優先権主張番号】61/394,405

(32)【優先日】2010年10月19日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】591037214

【氏名又は名称】フラウンホッファー−ゲゼルシャフト ツァ フェルダールング デァ アンゲヴァンテン フォアシュンク エー．ファオ

(74)【代理人】

【識別番号】100079577

【弁理士】

【氏名又は名称】岡田 全啓

(72)【発明者】

【氏名】ガルバス イェンス−ウーヴェ

(72)【発明者】

【氏名】トーマ ヘルベルト

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 国際公開第２０１０／１０５０３６（ＷＯ，Ａ１）

【文献】 特開２００８−２２７７０２（ＪＰ，Ａ）

【文献】 Ajit Motra, Herbert Thoma，An Adaptive LogLuv Transform for High Dynamic Range Video Compression，Image Processing (ICIP), 2010 17th IEEE International Conference on ，IEEE，２０１０年 ９月２６日，pp.2061-2064，ＵＲＬ，http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5654069

【文献】 Jens-Uwe Garbas, Herbert Thoma，TEMPORALLY COHERENT LUMINANCE-TO-LUMA MAPPING FOR HIGH DYNAMIC RANGE VIDEO CODING WITH H.264/AVC，Acoustics, Speech and Signal Processing (ICASSP), 2011 IEEE International Conference on，IEEE，２０１１年 ５月２２日，pp.829-832，ＵＲＬ，http://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=5946532

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０４Ｎ １／４１−１／４１９

Ｇ０６Ｔ １／００−１／４０

Ｇ０６Ｔ ３／００−５／４０

Ｇ０６Ｔ ９／００−９／４０

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

そのサンプル値がデータストリームから第１のダイナミックレンジをカバーする第１のフォーマットで表されるフレームの第１のシーケンス（１０２）を再現するためのビデオデコーダであって、
参照フレームとして、重み付けパラメータによって重み付けされ、データストリームからなるオフセット・パラメータによりオフセットされる、第２のシーケンス（３０´）の第２のフレームを用いて第２のシーケンス（３０´）の第１のフレームの重み付けされた時間予測により、そのサンプル値が第１のダイナミックレンジより低い第２のダイナミックレンジ（４２）をカバーする第２のフォーマットで表されるフレーム（３２´）の第２のシーケンス（３０´）をデータストリームから再現するように構成されるビデオ復号化ステージ（１０８）、
第２のシーケンス（３０´）の第２のフレームのためのマッピング・パラメータ、重み付けパラメータおよびオフセット・パラメータに応じて第２のシーケンス（３０´）の第１のフレームのためのマッピング・パラメータ（１３２）を設定するように構成されるパラメータ・セッター（１１０）、および
部分（３８）の下界および上界ならびに長さが、第２のシーケンスのそれぞれのフレームのためのマッピング・パラメータによって設定され、第１のダイナミックレンジ（４０）からの部分（３８）に第２のダイナミックレンジ（４２）をマッピングする写像関数を用いて第２のシーケンスのフレーム（３２´）のサンプル値（３４´）を第２のフォーマットから第１のフォーマットに変換するように構成されたサンプル値再変換器（１１２）を含む、ビデオデコーダ。

【請求項2】

マッピング・パラメータは、第２のシーケンスの第１のフレームを得るために、第１のダイナミックレンジ（４０）からの部分（３８）の長さおよび第１のダイナミックレンジからの部分（３８）の下界および上界を定め、パラメータ・セッターは、第２のシーケンスの第１のフレームのための運動パラメータによって規定される部分（３８）の長さを引き出すための重み付けパラメータに応じて第２のシーケンス（３０´）の第２のフレームのための運動パラメータによって規定される第１のダイナミックレンジ（４０）からの部分（４８）の長さを変更することにより、および、オフセット・パラメータに応じて第２のシーケンスの第２のフレームのための運動パラメータによって規定される第１のダイナミックレンジ（４０）からの部分（４８）の下界または上界を変更することにより、第２のシーケンス（３０´）の第１のフレームのためのマッピング・パラメータを設定するように構成される、請求項１に記載のビデオデコーダ。

【請求項3】

【請求項4】

ビデオ復号化ステージ（１０８）が、第２のシーケンスのそれぞれのフレームに設定されているように、フレームの第２のシーケンスの再現において量子化ステップ・サイズ・パラメータを使用するように構成され、パラメータ・セッターが第１のダイナミックレンジからの部分（３８）の長さに応じて第２のシーケンスのフレームのための量子化ステップ・サイズ・パラメータを設定するように構成される、請求項１ないし請求項３のいずれかに記載のビデオデコーダ。

【請求項5】

第１のシーケンスのフレームのサンプル値は輝度浮動小数点値であり、第２のシーケンスのフレームのサンプル値は、ｌｕｍａ整数値である、請求項１ないし請求項４のいずれかに記載のビデオデコーダ。

【請求項6】

そのサンプル値が第１のダイナミックレンジをカバーする第１のフォーマットに表されるフレームの第１のシーケンス（１０２）をデータストリームから再現するための方法であって、
参照フレームとして、重み付けパラメータによって重み付けされデータストリームからなるオフセット・パラメータによってオフセットされる第２のシーケンス（３０´）の第２のフレームを用いて第２のシーケンス（３０´）の第１のフレームの重み付けされた時間予測により、第１のダイナミックレンジより低い第２のダイナミックレンジ（４２）をカバーする第２のフォーマットに表されるサンプル値のフレーム（３２´）の第２のシーケンス（３０´）をデータストリームから再現する工程、
第２のシーケンス（３０´）の第２のフレームのためのマッピング・パラメータ、重み付けパラメータおよびオフセット・パラメータに応じて第２のシーケンス（３０´）の第１のフレームのためのマッピング・パラメータ（１３２）を設定する工程、および
部分（３８）の下界および上界ならびに長さが、第２のシーケンスのそれぞれのフレームのためのマッピング・パラメータによって設定され、第１のダイナミックレンジ（４０）からの部分（３８）に第２のダイナミックレンジ（４２）をマッピングする写像関数を用いて第２のシーケンスのフレーム（３２´）のサンプル値（３４´）を第２のフォーマットから第１のフォーマットに変換する工程を含み、前記各工程をコンピュータに実行させるための方法。

【請求項7】

コンピュータに、請求項６に記載の方法を実行させるためのプログラムコードを有するコンピュータ・プログラムが格納されたコンピュータ読み取り可能なデジタル記憶装置。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、ＨＤＲシーケンスとともに使用するために用いられるような、例えばビデオ符号化に関する。

【背景技術】

【0002】

これまで、大部分の画像およびビデオ符号化アプリケーションは、約２桁の輝度範囲（低いダイナミックレンジ（ＬＤＲ））だけをカバーすることができる［１］（非特許文献１参照）。しかしながら、人間の視覚系（ＨＶＳ）によって、我々が１０桁以上の範囲をカバーすることができる光条件に適応し、同時に約５桁を把握することができる［２］（非特許文献２参照）。全部のＨＤＲ輝度（例えばＣＧＩ、特殊効果演出、ＨＤＲディスプレイ）の表現から利益を得ることができる数多くのアプリケーションで、ＨＤＲビデオ符号化方法において需要が増加している。Ｈ．２６４／ＡＶＣのような標準的な符号化方法を用いることは、付加的な努力をすることなく、ＬＤＲからＨＤＲビデオ符号化への継ぎ目のない移行を可能にしている。用語ＨＤＲがこの研究を通して本当の輝度値の表現に言及しているのであって、ときどきＨＤＲＩと呼ばれているトーンマッピングされたＬＤＲ表現に言及しているわけではないことに注意すべきである。

【0003】

ＨＤＲデータの最も自然な表現、浮動小数点数が良好な圧縮という結果にならず、取り扱うのに高コストであるので、数人の創造者は浮動小数点輝度値から整数ｌｕｍａ値への適切なマッピングを提案した［３、４、５、６］（非特許文献３、４、５、６参照）。これらの輝度−ｌｕｍａマッピングは、精度の関連する損失がＨＶＳの許容度以下であるという共通点があり、歪曲に気付くことはない。それらは、更に、それらが更なる処理の前にＨＤＲ画像データのＣＩＥＬＵＶ色空間［１］（非特許文献１参照）への変換に適用するという共通点がある。すなわち、データは、輝度成分Ｙおよび彩度成分（ｕ´、ｖ´）によって表される。（ｕ´、ｖ´）色表現の効果は、それが知覚的に同一であるということである。すなわち、この表現の等しいオフセットは、等しい知覚色差を示し、したがって、それらは、例えば８ビットのビット深度を有する整数値に直線的にマッピングされることができる。知覚できる（ｕ´、ｖ´）間隔［０、０．６２］から範囲［０、２５５］における整数値へのこの種のマッピングは、可視閾値をはるかに下回っている０．００１７２の最大の絶対の量子化エラーを取り込む。

【0004】

【0005】

それは、間隔［５．４４×１０^-20、１．８４×１０¹⁹］の実数値の輝度を範囲［０、２¹⁵−１］の範囲の１５ビットの整数ｌｕｍａ値にマッピングし、逆の場合も同様である。すなわち、約３８桁の輝度は、０．２７％の相対的なステップ・サイズによって表される。これは、約１％の可視量子化閾値をはるに下回っている［１］（非特許文献１参照）。

【0006】

しかしながら、この種のマッピングによってカバーされるダイナミックレンジは、ＨＶＳが同時に把握することができるものの範囲を遥かに超えている。さらに、この種の高いダイナミックレンジに及ぶ自然の画像データが存在しない。更なる画像処理ステップを受けることができるデータの可逆画像圧縮のために、この極めて高い範囲および忠実度が役立つかもしれないのに対して、人間のオブザーバによって見られることを目的とする不可逆ビデオ符号化のために、それはそうではない。したがって、知覚できない、または、ソース画像またはビデオフレームで起こらない輝度値を表すためにビットを確保する必要はない。これが、例えば、ＴＩＦＦライブラリを有するＨＤＲ静止画像符号化で圧縮効率を下げるので［３］（非特許文献３参照）、拡大縮小はＬｏｇＬｕｖ変換の前に適当な範囲にソース画像を拡大縮小するために用いることができる。類似のＬｏｇＬｕｖ方法［６］（非特許文献６参照）において、拡大縮小は、所与のビット深度に対してあらゆる可能なｌｕｍａコード値の全範囲を有効に使うために、ビデオ・シーケンスの個々のフレームに適用されている。

【0007】

しかしながら、多くのＨＤＲビデオ符号化方法のように、後者は、ちょうど個々のビデオフレームに対するＨＤＲ画像符号化の直接的な拡張である。したがって、アプローチは、若干のビデオに特有の特徴を欠いており、それは圧縮効率を大きく低下させる。中でも注目すべきは、一連のフレームの輝度値を個々の拡大縮小を有する異なるコード値にマッピングすることは、シーケンスの時間的コヒーレンスに悪影響を与える。したがって、Ｈ．２６４／ＡＶＣビデオ・コーダーの時間的運動補償予測は、大部分は失敗する。

【先行技術文献】

【非特許文献】

【0008】

【非特許文献1】[1] Eric Reinhard, Greg Ward, Sumanta Pattanaik, and Paul Debevec, High Dynamic Range Imaging: Acquisition, Display, and Image-Based Lighting, Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 2005

【非特許文献2】[2] J. A. Ferwerda, "Elements of early vision for computer graphics," IEEE Comp. Graph. and Appl., vol. 21, no.5, pp.22-33, 2001

【非特許文献3】[3]Gregory Ward Larson, "The Logluv encoding for full gamut, highdynamic range images," Journal of Graph. Tools. Vol.3, no, 1, pp.15-31, 1998

【非特許文献4】[4]Rafal Mantiuk, Grzegorz, Krawczyk, Karol Myszkowski, and Hans-Peter Seidel,"Perception-motivated high dynamic range video encoding" ACM Trans. Graph., vol.23, no,3,pp.733-741,2004

【非特許文献5】[5]Masahiro Okuda and Nicola Adami, "Effictive color space representation for wavelet based compression of HDR images," in International Conference on Image Analysis and Processing, 2007,pp.388-392

【非特許文献6】[6]Ajit Motra and Herbert Thoma, "An adaptive LogLuv transform for high dynamic range video compression," in Proc. Intl. Conf. on Image Processing (ICIP), Hong Kong, China, Sept.2010

【発明の概要】

【発明が解決しようとする課題】

【0009】

当然、これは、他の時間的に予測している符号器や、輝度値以外のサンプル値にとっても同様のことである。

【0010】

したがって、この発明の目的は、一方ではダイナミックレンジ・マッピングのより効率的な共同活用法を考慮に入れている符号化概念を提供し、他方では時間的予測を提供することである。

【課題を解決するための手段】

【0011】

この目的は、独立クレームの主題によって達成される。

【0012】

本発明の基礎をなしている基本的な考えは、例えばＨＤＲフレーム・シーケンスを符号化するため、一方ではダイナミックレンジ・マッピングおよび他方では時間的予測のより効果的な共同使用が、マッピング・パラメータを参照フレームから現在の時間的に予測されるフレームに移行するために重み付けされた予測の概念を利用することにより成し遂げられることができるということである。このような計測によって、時間的予測は失敗せず、ダイナミックレンジ・マッピングにおけるフレーム的な変化にもかかわらず、符号化効率は、このように、維持される。良好な付随する側面として、重み付けされた時間的予測は、例えばＨ．２６４／ＡＶＣのような既存のビデオ符号化ステージの能力の範囲内である。
本発明の好ましい実施例は、下で更に詳細に後述する。

【図面の簡単な説明】

【0013】

【図1】図１は、実施例によるビデオエンコーダのブロック図を示す。

【図2】図２は、実施例による図１のビデオ符号化ステージのブロック図を示す。

【図3】図３は、実施例によるビデオデコーダのブロック図を示す。

【図4】図４は、実施例によるビデオ復号化ステージのブロック図を示す。

【図5】図５は、実施例により、図１のビデオエンコーダによって生成され、図３のビデオデコーダによって復号化されるデータストリームの部分を示す図解図である。

【図6】図６は、異なるフレームに対する異なる範囲での典型的な適応対数で表された輝度−ｌｕｍａマッピングを有するグラフを示す。

【図7】図７は、３つのケースに対する符号化結果を示し、すなわち図に関して記載されている実施例に従って時間的コヒーレンス・マッピングを使用する場合、異なるビデオ部分（左、中間、右）に対して恒常的なマッピングを使用する場合、時間的コヒーレンスに従うことのないフレーム的な適合を使用する場合、および質の低下（上下の行）に対する異なる計測を使用する場合を示す。

【発明を実施するための形態】

【0014】

本発明の実施例が図に関して以下において更に詳細に記載される前に、これらの図の異なる実施例の範囲内で発生している等しい要素が等しい参照符号を使用して示される点に留意する必要があり、したがって、後者に関して提案される具体的な詳細が反対に教示しない限り、１つの図に関するこれらの要素の説明は他の図に関しても適用できる。

【0015】

図１は、本発明の一実施例に係るビデオエンコーダ１０を示す。ビデオエンコーダ１０はフレーム１４の最初のシーケンス１２を符号化するように構成され、そのサンプル値１６は第１のダイナミックレンジをカバーする第１のフォーマットにおいて示される。たとえば、フレーム・シーケンス１２はＨＤＲビデオのようなビデオであってもよく、サンプル値１６は個々のフレーム１４の輝度分布の空間サンプリングを表すことができる。サンプル値１６が表される第１のフォーマットは、浮動小数点フォーマットであってもよい。詳細な実施例は、下で概説される。しかしながら、サンプル値１６によって空間的にサンプリングされる情報のタイプは輝度に制限されない点に留意する必要がある。むしろ、他のタイプの情報は、その代わりにサンプル値１６の目的であり得る。例えば、フレーム１４は深度図を表すことができ、したがって、シーケンス１２は特定の場面等の深度図の時間的サンプリングを表すことができる。

【0016】

ビデオエンコーダ１０は、サンプル値コンバータ１８、ビデオ符号化ステージ２０およびパラメータ・セッター２２を含む。サンプル値コンバータ１８およびビデオ符号化ステージ２０は、ビデオエンコーダ１０の入力２４および出力２６の間で接続され、入力２４がフレーム・シーケンス１２を受信するように構成され、出力２６はビデオエンコーダ１０による符号化シーケンス１２から得られるデータストリームを出力するためのものである。パラメータ・セッター２２は、入力２４に接続される入力、および、それぞれ、サンプル値コンバータ１８およびビデオ符号化ステージ２０のパラメータ入力に接続される出力を有する。点線２８によって示されるように、更に以下において詳細に概説されるように、パラメータ・セッター２２はデータストリーム２６に関与しているサイド情報を出力することもできる

【0017】

サンプル値コンバータ１８は、第１のシーケンス１２のフレーム１４のサンプル値１６を、第１のフォーマットから第１のダイナミックレンジより低い第２のダイナミックレンジを有する第２のフォーマットに換算するように構成される。このように、サンプル値コンバータ１８は、ビデオ符号化ステージ２０に、第１のフォーマットから第２のフォーマットに変換されたサンプル値１６を除いて完全にシーケンス１２に対応するフレーム３２の第２のシーケンス３０を送る。したがって、各フレーム３２はシーケンス１２のそれぞれのフレーム１４に対応し、シーケンス１２の中の対応するフレーム１４と同じ順序となるようにシーケンス３０の中で配置されているフレーム３２を有する。

【0018】

【0019】

第１のシーケンス１２のフレーム１４のサンプル値を第１のフォーマットから第２のフォーマットに変換するために、サンプル値コンバータ１８は、部分３８を第１のダイナミックレンジ４０から第２のダイナミックレンジ４２にマッピングする写像関数３６を使用する。特に、写像関数３６が第２のフォーマットに対応してダイナミックレンジ４２にマッピングする部分３８が、フレーム的な基準で、以下に詳細に概説されるようにパラメータ・セッター２２によって設定されるマッピング・パラメータ４４によって設定可能であるように、サンプル値コンバータ１８は設定される。以下において更に詳細に概説される特定の実施例において、写像関数３６は、対数関数的領域の第１のダイナミックレンジ４０と線形領域の第２のダイナミックレンジの間の線形写像関数を表す。しかしながら、他の狭義単調関数が、この種の関数の代わりに用いられることもできる。以下の更なる説明からより明らかになるように、部分３８は、第１のフォーマットのそれぞれのフレーム１４の範囲内に含まれるすべての情報を実質的に捕えるために１フレームごとにパラメータ・セッター２２によって設定される。簡単に言えば、パラメータ・セッター２２は、それぞれのフレーム１４の範囲内のすべての知覚的に関連したサンプルがその部分３８の範囲内でそれらのサンプル値１６を有するように、第１のダイナミックレンジ４０内で部分３８を位置付け、範囲−または大きさ−を定めようとし、それにより、すべてのこれらのサンプル値が第２のフォーマット４２の第２のダイナミックレンジに−省略されることなく−正しくマッピングされるようにする。現行フレームの範囲内のサンプル値１６の典型的な分布４４は、図１に典型的に示される。図１の実施例において、この分布は、部分３８の範囲内に完全に含まれる。以下において更に詳細に概説されるように、分布４４は、ビデオ内容のシーンにおける最も重要な部分を含みそうなその中心部分のようなフレーム１４の特定の部分の中のサンプル値１６の分布を示すだけである。

【0020】

明らかであるように、第１のダイナミックレンジ４０の中のサンプル値１６の分布はフレームからフレームに変更することができ、したがって、図１は、点線４６で、シーケンス１２の中の他のフレーム１４の分布を例として示している。図１に例として示されるように、この分布４６は、例えば、現行フレームの分布４４に対して置き換えることができ、および／または現行フレームの分布４４より狭くすることができる。したがって、パラメータ・セッター２２は、部分４８を規定するマッピング・パラメータ４５とは異なって、マッピング・パラメータ４４をサンプル値分布４６を有するフレームに対して設定することができた。たとえば、部分４８が分布４６で満たされている第１のダイナミックレンジ４０の部分に近づくように、すなわち、部分４８ができるだけ小さいが、分布４４に関して同じ程度に部分３８を適用して、まだ分布４６の範囲をカバーするように、サンプル値分布４６はこれらのフレームのためにマッピング・パラメータを設定することができる。

【0021】

このように、シーケンス３０は実質的にサンプル値を有するシーケンス１２に対応するが、他のフォーマットにおいて表される。しかしながら、シーケンス３０の中の１つのフレームのサンプル値３４が同じシーケンスの他のフレームの中のサンプル値３４より他の輝度部分に関して規定されるために、視聴シーケンス３０は不快な印象という結果になる。たとえば、シーケンス１２の前述のフレームは、それぞれ、部分３８および４８の範囲内で存在するサンプル値３４にマッピングされるサンプル値１６を有する。したがって、１つのフレームの１つのサンプル値３４は、例えば、シーケンス３０の異なるフレームの範囲内の１つのサンプル値より他の実際の輝度値に対応しそうである。追加的な評価がなければ、必要な運動ベクトル検索がたぶん成功していないため、ビデオ符号化ステージ２０は、このように、例えば、運動補償予測を使用している通常の時間的予測を実行することができない。

【0022】

特に、ビデオ符号化ステージ２０は、参照用に重み付けパラメータによって重み付けされ、オフセット・パラメータによってオフセットされる、第２のシーケンス３０の第２のフレームまたは第２のシーケンス３０の第２のフレームの再現バージョンを用いて、第２のシーケンス３０の第１のフレームの重み付けされた時間的予測によって、フレーム３２の第２のシーケンス３０を符号化するように構成される。換言すれば、ビデオ符号化ステージ２０は、運動補償予測により、および参照用として別の、以前に符号化されたシーケンス３０のフレーム３２を用いることにより、シーケンス３０の現行フレーム３２を時間的に予測することができる。運動補償予測は、ブロックごとに実行されることができる。運動ベクトルおよび参照フレーム・インデックスのような運動予測データは、以下のような重み付け／オフセット・パラメータとともに、サイド情報としてデータストリームに挿入される。各時間的に予測されたブロックは、ビデオ符号化ステージ２０が参照の中の現行フレーム３２、すなわちパラメータ５０によって重み付けされサンプル値オフセットされた参照フレームの現行ブロックの内容の最適合の決定により決定する運動ベクトルと、現行フレームにおけるブロックの位置に対応する位置に関連して試みられるさまざまな置換（運動ベクトル）とを関連付けたかもしれない。検索費用を制限するために、ビデオ符号化ステージ２０は、検索を若干の検索範囲に制限する。

【0023】

以下において明らかになるように、ビデオ符号化ステージ２０が重み付けされた時間的予測を使用するという事実により、それぞれ、パラメータ・セッター２２が関連するマッピング部分４８および３８の違いに関して参照フレームを現行フレームに適応させることは可能である。

【0024】

特に、パラメータ・セッター２２は、図１に矢印５０で共に示されているように、以下にいて詳述するように、重み付けパラメータおよびオフセット・パラメータを介して現行レームに対するマッピング・パラメータに関する参照フレームのためのマッピング・パラメータをもって、参照フレームに対するマッピング・パラメータ４５に応じて、重み付けパラメータとオフセット・パラメータとを設定している。一方では、現行フレームのための重み付けパラメータおよびオフセット・パラメータ５０、および、他方では、現行フレームのためのマッピング・パラメータ４５の両方の設定に関与している。しかしながら、パラメータ・セッター２２は、現行フレームのためのマッピング・パラメータ４５を設定することから独立して自由に重み付けおよびオフセット・パラメータ５０を設定することができない。むしろ、両方の設定は、例えば独自に確定した方法で、互いに関連している。したがって、事実、パラメータ・セッター２２は、重み付けおよびオフセット・パラメータ５０とマッピング・パラメータ４５とを同時に設定し、特に、参照フレームの部分４８の範囲を置換よび拡大縮小し、この置換および拡大縮小から得られる間隔が上述のような分布の知覚的に関連のある部分を保存するのに適している現行フレームに対する部分３８を得る。重み付け／オフセット・パラメータ５０は、参照フレームに対するアプリケーションにより参照フレームの部分４８の範囲を置換し拡大縮小する。重み付け／オフセット・パラメータ５０は、部分４８の範囲内のすべての可能な値を、部分３８を定める範囲に及んでいる値の上にマッピングする。

【0025】

以下に更に詳細に特定の実施例に従う図１のビデオエンコーダの機能を記載する前に、ビデオ符号化ステージ２０の実現のための実施例は、図２に関して記載されている。図２の実施例によれば、ビデオ符号化ステージ２０は、残差符号器６０、エントロピーエンコーダ６２、残差再現器６４、時間予測器６６、減算器６８、加算器７０、更なる加算器７２、および、重み付け器または乗算器７４を含む。サンプル値コンバータ１８の出力に接続されているビデオ符号化ステージ２０の入力７６と、ビデオエンコーダ１０の出力２６に接続されているビデオ符号化ステージ２０の出力７８との間において、減算器６８、残差符号器６０およびエントロピーエンコーダ６２が、この順序で接続される。残差再現器６４は、残差符号器６０の出力に接続された入力を有する。加算器７０の第１の入力は、残差再現器６４の出力に接続される。乗算器７４、加算器７２および時間予測器６６はループを形成し、加算器７０の出力およびその入力の間で、前述の順序で直列に接続される。同時に、乗算器７４、加算器７２および時間予測器６６の直列接続は、減算器６８の更なる、減算入力に接続される。それぞれ、加算器７２および乗算器７４の更なる入力に適用される値は、それぞれ、ビデオ符号化ステージ２０のパラメータ・インプット８０において入力されるオフセット・パラメータ５０を重み付けすることによって決定される。

【0026】

動作において、現行フレームの時間予測が減算器６８の減算入力において適用される間、現行フレームは入力７６を入力する。現行フレームから時間予測８４を減算することから生じている予測残差８２は、残差符号器６０によって符号化される。残差符号器６０は、例えば、残差信号８２を変換、例えばスペクトル的に分解している変換を考察することができ、残差符号器６０は、ブロック毎の基準でこの変換を実行することができる。さらに、あるいは、残差符号器６０は、データストリームに符号化される予測残差８２の中に含まれる情報内容を減らすために、残差信号８２に量子化を適用することができる。残差符号器６０は、実施例として破線の矢印８６によって示されているように、フレームからフレームにさらに変更可能な量子化のためのパラメータとして、量子化ステップサイズ・パラメータを使用することができる。残差符号器６０の出力において、残差予測の不可逆符号化バージョン８８が得られる。それは、可逆方法におけるエントリピーエンコーダ６２によって、出力７８でデータストリームに符号化される。

【0027】

【0028】

ビデオ符号化ステージ２０が重み付けされた時間予測を使用するため、時間予測器６６は、加算器７０による出力として、直接よりもむしろ９２からサンプル値重み付けおよびサンプル値オフセットにおける以前に符号化されたフレームの再現バージョンを使用する。それにより、これらのフレーム間の部分３８および４８の位置決めおよび範囲の違いは、バランスを保っている。他の語においてさえ、バランスをとることは、同様に、適切に入力８０に入力している重み付けしてオフセットしたパラメータ５０を設定するパラメータ・セッター２２によって保証される。

【0029】

そこで、再び図１に戻って、パラメータ・セッター２２は、現行フレームのためのマッピング・パラメータによって設定される部分３８が満たされた部分に近づくように、重み付けおよびオフセット・パラメータ５０を設定することで、その中で第１のシーケンス１２の現行フレームのサンプル値１６が分布する第１のダイナミックレンジ４０の満たされた部分を決定するように構成される。言い換えれば、パラメータ・セッター２２は、第１のダイナミックレンジ４０の興味深い満たされた部分を決定するために、分布４４を最初に検査することができる。そして、パラメータ・セッター２２は現行フレームの重み付けおよびオフセット・パラメータ５０を設定し、これらの再現されたバージョン７０のサンプル値へのこれらのパラメータ５０の適用が、分布４４によって規定される満たされた部分に近づく部分３８を得るために、再現された部分７０が再現を示すフレームの部分４８の置換および拡大縮小に効果的に導く。

【0030】

この点に関しては、参照フレームの再現７０の上に入力８０における重み付けおよびオフセット・パラメータの適用から得られる拡大縮小されサンプル値オフセットされた参照フレームを示すために、すなわち、参照フレーム９２のために、シーケンス３０のダイナミックレンジと比べて、ビデオ符号化ステージ２０はより高いビット数のような高いダイナミックレンジを使用することができ、それにより、これらのパラメータの適用が問題を削減することにつながらないことに留意すべきである。例えば、表示ビットの数は、２増やされることができる。

【0031】

【0032】

【0033】

さらに、以下において概説される詳細な実施例に関しても述べられるように、ビデオ符号化ステージ２０および残差符号器６０はフレーム３２の第２のシーケンス３０を符号化する際に量子化ステップ・サイズ・パラメータを使用するように構成され、そして、パラメータ・セッター２２は各部３８、４８の長さに応じて量子化ステップ・サイズ・パラメータをシーケンス３０のフレーム３２に設定するように構成され、それぞれのフレームに設定される。この基準によって、それぞれ、部分３８および４８の長さの時間的変化のために静的量子化ステップ・サイズ・パラメータを使用する場合、量子化ノイズを時間的なバリエーションに調和させることは、それが起こらなければ可能である。パラメータ・セッター２２は、第２のシーケンス、例えばＩＰＰＰＰＰ・・・シーケンスのＩフレームのような第２のシーケンスの最初のフレームのための量子化されたステップ・サイズ・パラメータに差別的にデータストリームに量子化ステップ・サイズ・パラメータを符号化するように構成されることができる。

【0034】

図３に関して、ビデオエンコーダのための実施例を記載した後に、実施例に従うビデオ・デコーダ１００について後述する。ビデオ・デコーダは、フレーム１０４のシーケンス１５２を再現するためのものであり、そのサンプル値１０６は、図１のビデオエンコーダによって生成されるもののように、データストリームから第１のダイナミックレンジをカバーする第１のフォーマットに示される。値１０６が表されるフォーマットは、サンプル値１６の基礎をなしているフォーマットでもよい。しかしながら、これは、必須のものではない。

【0035】

ビデオ・デコーダ１００は、ビデオ復号化ステージ１０８、パラメータ・セッター１１０およびサンプル値再変換器１１２を含む。さらに、ビデオ・デコーダ１００は、前述のデータストリームがビデオ・デコーダ１００に入る入力１１４、およびシーケンス１０２を出力するための出力１１６を含む。入力１１４および出力１１６の間に、ビデオ復号化ステージ１０８およびサンプル値再変換器１１２が、その順序で、連続的に接続される。パラメータ・セッター１１０は、入力１１４およびサンプル値再変換器１１２のパラメータ入力の間に接続される。

【0036】

図４に関して、ビデオ復号化ステージ１０８は、図２のエンコーダの構成要素６４、７０、７４、７２、および６６と実質的に同様に行うことができることが示されている。特に、ビデオ復号化ステージ１０８は、残差再変換器１１８、加算器１２０、時間予測器１２２、計数器／乗算器１２４および更なる加算器１２６を含む。残差再変換器１１８および加算器１２０は、入力１１４に接続しているビデオ復号化ステージ１０８の入力１２８と、サンプル値再変換器１１２に接続されているビデオ復号化ステージの出力１３０との間に連続的に接続される。ループの形において、乗算器１２４、加算器１２６および時間予測器１２２は、加算器１２０の出力およびその更なる入力の間において、その順序で連続的に接続される。乗算器１２４および加算器１２６の更なる入力に適用される値は、ビデオ復号化ステージ１０８がデータストリーム入力１２８から引き出される重み付けおよびオフセット・パラメータにしたがって制御される。

【0037】

このように、それぞれ、実施例にしたがって、ビデオ・デコーダ１００およびビデオ復号化ステージ１０８の内部構造を記載した後に、それらの動作モードが、以下において更に詳細に記載される。

【0038】

すでに前述した様に、ビデオ・デコーダ１００は、例えば、図１のビデオエンコーダによって生成されたデータストリームを復号化するためにある。データストリームは、ビデオ符号化ステージ２０がサイド情報としてデータストリームに挿入した重み付けおよびオフセット・パラメータ５０を用いて、より低いダイナミックレンジ・フォーマットでシーケンス３０から引き出された。したがって、ビデオ・デコーダは、符号化側で用いられる重み付けおよびオフセット・パラメータ５０にアクセスし、たとえば、若干の割合／歪曲最適化を経由して、符号化側で最終的に選択されるパラメータを使用して符号化側における再現を模倣することが可能である。

【0039】

特に、ビデオ復号化ステージ１０８は、入力１１４を入力しているデータストリームから、例えばビデオ符号化ステージ２０によって導入される量子化損失のような符号化損失とは別に、図１のシーケンス３０に対応するフレーム３２´の第２のシーケンス３０´を再現するように構成される。フレーム３２´のサンプル値３４´は、したがって、最終的な再現されたシーケンス１０２のダイナミックレンジより低い第２のダイナミックレンジ４２をカバーする第２のフォーマットにおいて表される。それがビデオ符号化ステージ２０に関するものであったのと同じように、ビデオ復号化ステージ１０８は、参照としてデータストリーム入力１１４からなる、重み付けパラメータによって重み付けされ、オフセット・パラメータによってオフセットされた第２のシーケンス３０´の参照フレームを使用して、第２のシーケンス３０´の現行フレームの重み付けされた時間予測によって再現を実行する。パラメータ・セッター１１０は、同様に、第２のシーケンス３０´の参照フレームおよび現行フレームの重み付けされたパラメータおよびオフセット・パラメータ５０に対するマッピング・パラメータに応じて、第２のシーケンス３０´の現行フレームのためにマッピング・パラメータ１３２を設定するように構成される。サンプル値再現器１１２は、次に、第２のシーケンスのそれぞれのフレームのためのマッピング・パラメータによって設定される４０のような第１のダイナミックレンジからの部分の上に第２のダイナミックレンジ４２をマッピングするサンプル値コンバータ１８によって使用される写像関数とは逆の写像関数を用いて、第２のシーケンス３０´のフレーム３２´のサンプル値３４´を第２のフォーマットから第１のフォーマットに変換するように構成される。

【0040】

【0041】

このように、ビデオ復号化ステージ１０８によって出力されるシーケンス３０´は、符号化側におけるビデオ符号化ステージ２０に入力されるフレーム・シーケンス３０の再現を表す。サンプル値再変換器１１２は、元の資料１２に含まれるダイナミックレンジに適応するためにフレーム３２´のサンプル値を十分なダイナミックレンジを有する一般のフォーマットにマッピングすることによって、このシーケンス３０´を意味があるシーケンス１０２に変換する。このフォーマットは、シーケンス１２のサンプル値１６のフォーマットであるかもしれないが、そこからそれることもある。それぞれのフレーム３２´のサンプル値３４´がカバーするこの一般のダイナミックレンジの中の部分を得るために、サンプル値再変換器１１２は、順次これらのフレーム３２´と関連した重み付け／オフセット・パラメータの連鎖を適用する。特に、現行フレームのために、サンプル値再変換器１１２は、現行フレームの参照フレームに対してすでに決定されている部分の位置および範囲の上に現行フレームのための重み付けおよびオフセット・パラメータを適用することによって、この部分、すなわちその位置および範囲を決定する。この基準によって、サンプル値再変換器１１２は、順次図１に示される部分３８および４８を回復する。

【0042】

【0043】

図３のパラメータ・セッター１１０が単にサンプル値再変換器１１２に接続されているが、パラメータ・セッターは、それぞれ、サンプル値変換器およびビデオ符号化ステージ２０を制御するために用いられている点にも留意する必要がある。符号化および復号化の間の外見上の相違は、エンコーダのビデオ符号化ステージ２０が自由に重み付け／オフセット・パラメータを選択することができないという前述の事実から生じている。むしろ、それは外側から、すなわち、これらの重み付け／オフセット・パラメータを設定するときに、オリジナルの信号およびその分布４４および４６をそれぞれ考慮しなければならないパラメータ・セッター２２によって規定される。しかしながら、パラメータ・セッター１１０は、入力１１０を経て到着するデータストリームに含まれるサイド情報を介した選択の結果によって導かれ、そして、このように、ビデオ復号化ステージ１０８は、同じ情報、すなわち重み付け／オフセット・パラメータ情報のパラメータ・セッターの評価から独立してデータストリーム内に含まれる重み付け／オフセット・パラメータ情報を用いることができ、したがって、パラメータ・セッター１１０からビデオ復号化ステージ１０８に導かれるコントロール・パスは必要ない。しかしながら、別の実施例によれば、パラメータ・セッター１１０は、ビデオ復号化ステージ１０８の設定およびコントロールの両方に対して、すなわち外側から責任を負うものと考えられる。後者の場合、コントロール・パスは、パラメータ・セッター１１０からビデオ復号化ステージ１０８まで通じる。

【0044】

【0045】

【0046】

さらに、上述の説明と同様にビデオ復号化ステージ１０８はフレームの第２のシーケンスを再現する際の量子化ステップ・サイズ・パラメータを使用するように構成されることができ、そして、パラメータ・セッターは、第２のシーケンスのそれぞれのフレームのために設定されているように、第１のダイナミックレンジからの部分の長さに応じて第２のシーケンスのフレームのための量子化ステップ・サイズ・パラメータを設定するように構成される。この点に関しては、パラメータ・セッター１１０は、第２のシーケンスの始まっているフレームの量子化ステップ・サイズ・パラメータと区別してデータストリームから量子化ステップ・サイズ・パラメータを復号化するように構成されることができる。

【0047】

上術のように、第１のシーケンスのフレームのサンプル値は、輝度浮動小数点値であるとみなされ、ｌｕｍａの第２のシーケンスのフレームのサンプル値が整数値であると仮定され、他の可能性も存在する。

【0048】

図５は、図１〜４に関して上で概説される実施例に従って符号化側から復号化側に送信されているデータストリームの典型的な部分を示す。データストリーム１５０がフレームの第１のシーケンス１０２を有し、そのサンプル値が、再現可能なフォームでそこに符号化される第１のダイナミックレンジをカバーする第１のフォーマットに示されることは、上述の説明から続く。特に、第１のシーケンスは、そのサンプル値が第１のダイナミックレンジより低い第２のダイナミックレンジ４２をカバーする第２のフォーマットに示されるフレーム３２の第２のシーケンス３０を介して間接的にデータストリーム１５０に符号化され、第２のシーケンスは例として重み付けパラメータによって重み付けされオフセット・パラメータによってオフセットされる第２のシーケンス３０´の第２のフレームを用いて第２のシーケンス３０´の第１のフレームの重み付けされた時間予測によりデータストリームに符号化され、重み付けパラメータおよびオフセット・パラメータは、第２のシーケンス３０´の第１のフレームのためのマッピング・パラメータ１３２が第２のシーケンス３０´の第２のフレームのためのマッピング・パラメータに依存するようにデータストリームによって成り、重み付けパラメータおよびオフセット・パラメータ、および第２のシーケンスのフレーム３２´のサンプル値３４´が第２のシーケンスのそれぞれのフレームのためのマッピング・パラメータによって設定される第１のダイナミックレンジ４０からの部分の上に第２のダイナミックレンジ４２をマッピングする写像関数を用いて第２のフォーマットから第１のフォーマットに変換され、第１のシーケンスを再現する。換言すれば、データストリームは、各々フレーム３０´および１０４のそれぞれの１つと関連したフレーム部分１５２に構成されることができる。各フレーム３０´は、ブロック単位でデータストリーム１５０に符号化されることができる。各フレーム部分１５２は、例えば、運動ベクトルを含む運動予測データ１５４を含むことができる。さらに、各フレーム部分１５２データは、それぞれの要求において、重み付けおよびオフセット・パラメータ５０を含むことができる。各フレーム部分の運動予測データ１５４が時間ｔにおいて前のフレーム部分、すなわち、提示された時間軸に沿ってフレーム部分１５２を配置するときにすぐに戻ることができるように、データストリームは符号化されることができる。すなわち、各フレームは参照フレームとして直前のフレームを使用しているＰフレームでもよく、一般のダイナミックレンジ４０からの部分はこの依存チェーンを使用して更新されることができる。単に、全体として最初の、すなわち、フレームシーケンスの出発時のフレーム１５８は、各ＧＯＰ、すなわち（直前の）画像のグループのＩフレームまたは最初のフレームである。この最初のフレーム１５８は、第１のフレーム１５８のためのマッピング・パラメータの明確な符号化１６０を組み込むことができた。あるいは、この明確な符号化１６０でさえ、不必要であるかもしれない。さらに、各フレーム１５２または最初のフレーム１５８以外の各フレーム１５２は、そこにおいて、残差再現器１１８における反量子化に用いられ、部分３８の長さの依存を設定する量子化ステップ・サイズを規定する量子化ステップ・サイズ・パラメータ１６２を符号化することができた。特に、量子化ステップ・サイズ・パラメータ１６２は、参照として最初のフレーム部分１５８の（明確に、または、暗に決定された）量子化ステップ・サイズ・パラメータを使用する異なる方法でデータストリームに符号化されることができた。

【0049】

むしろ一般の条件を用いて、符号化および復号化装置のための実施例を記載した後に、前記実施例の具体的な実施態様を表しているより詳細な実施例が以下において概説される。以下において概説される具体的な実施の詳細によれば、フレーム的な適応する輝度からｌｕｍａへのマッピングは、それぞれ、ビデオ復号化／符号化ステージおよびサンプル値再変換／変換との間の移行を実行するために用いられる。以下で概説される実施例によれば、Ｈ．２６４／ＡＶＣの重み付け予測ツールは、時間的コヒーレンスを維持するために活用される。換言すれば、以下に述べる実施例によれば、Ｈ．２６４のような実施例におけるビデオ符号化ステージおよびビデオ復号化カテージは実際に存在し、すなわち、ビデオ符号化ステージ２０はＨ．２６４に従ったデータストリームを生成し、ビデオ復号化ステージ１０８はＨ．２６４／ＡＶＣ規格に従って実施される。図５のデータストリームは、完全にＨ．２６４／ＡＶＣに合致する。重み付け予測ツールは、このように、時間的コヒーレンスを維持するために利用されるだけでなく、サンプル値変換のために用いられる適応マッピング・パラメータを送信する。さらに、実施例は、量子化パラメータ（ＱＰ）を適応マッピングに依存している各フレームに適応させる方法に関して示される。

【0050】

このように、以下において、図１〜５の概略の実施例について、数学的方程式を用いてより詳細に説明される。その後、セクション２において、これらの実施の詳細を使用している実験の結果が提示される。

【0051】

【0052】

明らかに、マッピングは、それぞれ、Ｙ_minおよびＹ_maxが現在のビデオフレームの最小限および最大限の輝度に等しいとき最も高い忠実度を達成する。すなわち、ビデオフレームの既存の輝度の値が十分にマッピングされる場合、ｌｕｍａは最も急な可能な傾斜を有する写像関数によって変動する。しかしながら、ダイナミックレンジが１つのフレームから次（静的場面においても、ノイズにより）まで変化することができるので、この種の直接の適合はビデオ・シーケンスの時間的コヒーレンスを壊して、効果的な時間的予測を防止する。次の部門は、この種の効果を考慮に入れる適応マッピングを提示する。

【0053】

【0054】

【0055】

【0056】

【0057】

【0058】

【0059】

【0060】

2. 実験の結果
第１節の時間的コヒーレントな輝度からｌｕｍａへのマッピングを評価するために、我々は、３つのＨＤＲ試験シーケンスの符号化実験を行った。パノラマ、トンネルおよび太陽である。すべてのシーケンスは、６４０×４８０ピクセルの解像度と３０ｆｐｓのフレームレートを有する。パノラマ試験シーケンスは、８０００×４０００ピクセルＨＤＲパノラマイメージをパンすることによって生成された。ウインドウの外側からの非常に明るい太陽反射と同様に暗い内部域が示される。その全体のダイナミックレンジは、１０¹⁰：１の割合である。両方とも、トンネルおよび太陽は、ＨＤＲビデオ・カメラを有する駆動車内部からとられたものであり、それはマックス−プランク研究所［８］から入手可能である。前者は暗いトンネル内のドライブを示し、後者は明るい太陽に向かっているハイウェイ上のドライブを示す。これらのシーケンスにおいて表される全体のダイナミックレンジは、それぞれ、１０⁵：１および１０⁷：１である。我々の実験において、我々は、復号化ＨＤＲビデオの品質を評価するために、２つの測定基準を使用する。ＨＤＲ可視差予測器（ＶＤＰ）［９］および知覚的に同一のピークの信号対雑音比（ＰＵ ＰＳＮＲ）［１０］である。前者は、看者が７５％以上の確率をもって異なるものと気付く一対の画像のピクセルのパーセンテージを推定する。後者の測定基準は、ＨＤＲに対する一般のＰＳＮＲ測定基準の直接の拡張である。ＬＤＲ画像のために、ガンマ補正ピクセル・コード値が知覚的均一、すなわち等しいエラーの大きさがイメージの明暗部分において等しく見える値であると仮定される。しかしながら、この仮定はＨＤＲイメージを保たず、従って、意味があるＰＳＮＲ値が計算されることができる前に、コード値は知覚的に同一の空間に拡大・縮小されなければならない［１０］。

【0061】

シーケンスを符号化するために、それらは、最初にＲＧＢ浮動小数点値からＬｏｇＬｕｖ空間に変換されて、それからＨ．２６４／ＡＶＣ参照ソフトウェアＪＭ １７．２を用いて符号化される。ｌｕｍａ成分は１２ビット／サンプルのビット深度で符号化され、ｕ´およびｖ´成分は２つの垂直におよび水平に副サンプルをとられて、８ビット／サンプルで符号化される。我々は、全ての実験に対して可能な、８×８変換、ＩＰＰＰ ＧＯＰ構造、１５のイントラ・フレーム期間、およびＣＡＢＡＣと同じＨ．２６４／ＡＶＣの構成を使用する。固定参照ＱＰは各エンコーダの実行のために選択され、そして、レートコントロールは可能にされない。しかしながら、フレーム的なＱＰは、セクション１．３において説明したように、この参照ＱＰから逸脱することができる。シーケンスを復号化した後に、それらはＲＧＢ浮動小数点値へ戻ってマッピングされ、それらの品質は前に記載されている測定基準に従って評価される。

【0062】

特に、図７は、セクション１（「計画される」）、時間的コヒーレンスのない各フレームに対するフレーム的な適合（「フレーム的な」）［６］、および全部の視覚の輝度範囲のコンスタントなマッピング［１０^-4、１０⁸］（「視覚範囲」）の３つのケースについて符号化の結果を示す。上の列：可視差予測器（ＶＤＰ）。下の列：知覚的に同一のピークの信号−ノイズ比（ＰＵ ＰＳＮＲ）。

【0063】

図７は、すべての復号化フレーム（上の列）を通じて平均化されたＶＤＰに関して、そして、輝度成分（下の列）の平均ＰＵ ＰＳＮＲに関して、すべての試験シーケンスについての符号化結果を示す。特に、図７は、時間的コヒーレント・マッピング（「計画される」）、時間的コヒーレンスのない各フレームｗ／ｏのためのフレーム的な適合（「フレーム的な」）［６］、および全ての視覚の輝度範囲［１０^-4、１０⁸］（「視界」）の恒常的なマッピング３つのケースのための符号化結果を示す。上の列：可視差予測器（ＶＤＰ）。下の列：知覚的に同一のピークの信号対ノイズ比（ＰＵ ＰＳＮＲ）。

【0064】

計画された方法（「計画される」）は、図７における２つの参照方法と比較され、それは、時間的コヒーレンス（「フレーム的な」）を考慮することのない各フレームのダイナミックレンジに対する輝度に対するｌｕｍａのマッピングの直接のフレーム的な適合［６］、および全部の知覚できる輝度範囲［１０^-4、１０⁸］（「視界」）の恒常的なマッピングである。後者の場合、写像関数の輝度範囲は、多くのＨＤＲビデオ・シーケンスにおいて発生している輝度の範囲を超えているかもしれない。しかしながら、リアルタイム符号化アプリケーションにおいて、シーケンスの絶対の輝度範囲に対してマッピング範囲を狭くすることは可能でない。なぜならば、これは符号化の前に全部のシーケンスの処理を必要とするからである。図７は、全ての試験シーケンスについて、提案されたマッピングが著しく参照方法より優れていることを明らかに示している。ＶＤＰ測定基準は、ピクセルが間違っているかどうかを把握しているかどうかについての見込みを提供するだけである閾値測定基準であることに注目すべきである。それは、このエラーが看者のためにどれくらい面倒かについて告示しない。このように、例えば、図７（ａ）の結果は、以下の通りに解釈されることができる。我々によってピクセルの約１％が誤って認められることができる場合、提案されたマッピングについては、我々は２５００ｋｂｉｔｓ／ｓ未満のビット・レートを必要とするだけである。これは、我々が同じＶＤＰ値を「視界」（「フレーム的な」）シナリオにおいて成し遂げるために費やさなければならない５０００ｋｂｉｔｓ／ｓ（３２５０ｋｂｉｔｓ／ｓ）と比較した約５０％（２５％）の減少である。同様に、大きな節約は、図７（ｂ）および（ｃ）のトンネルおよび太陽試験シーケンスのために観察されることができる。

【0065】

予想通りに、ＰＵ ＰＳＮＲは、全てのシーケンスに対してＶＤＰ結果と同様に類似の定量的特性を表現する図７（ｄ）−（ｆ）の結果となる。さらに、それらは、ビット・レートのかなりの範囲のための提案された方法によって成し遂げられることができる品質の増加の定量的結果を許容する。たとえば、パノラマ・シーケンスに対して、提案された方法のＰｕ ＰＳＮＲ値は、３２５０ｋｂｉｔｓ／ｓ（参照図７（ｄ））での３ｄＢによる「視界」マッピングのＰｕ ＰＳＮＲ値を上回る。これは、知覚的に同一の輝度空間における平均二乗エラーが同じビット・レートで半分にされ、そして、視覚の品質が著しく増加することを意味する。

【0066】

それは、パノラマ・シーケンスのために、フレーム的な適応マッピングが非適応「視界」マッピングと比較して符号化効率の上で非常に有害な影響を及ぼす点に考慮する必要がある。このシーケンスはそのダイナミックレンジの非常に大きいおよび速いバリエーションを呈し、従って、フレーム的な適応マッピングの場合、時間予測は失敗する（図７（ａ）(ｄ)参照）。一方において、 (ｅ) ほぼ「フレーム的な」マッピングと同一の提案された方法が図７（ｂ）および（ｃ）において観察されることができる。このシーケンスにおいて、ダイナミックレンジの時間的変更は、非常に滑らかである。我々の実験において、我々は、ダイナミックレンジが著しく変化するときはいつでも、「フレーム的な」マッピングのために、ビット・レートおよび品質の強い時間的バリエーションが存在すると更に述べた。この負の効果は、提案された方法の時間的に整合的コヒーレントおよびマッピングによって避けることができる。

【0067】

3. 結論
セクション１において、最新技術のＨ．２６４／ＡＶＣビデオ符号化基準を有する浮動小数点の高さのダイナミックレンジ・ビデオデータの圧縮を可能にする輝度からｌｕｍａへのマッピングが提案された。他の方法とは異なり、マッピングは、各フレームのダイナミックレンジに適合している。それにもかかわらず、Ｈ．２６４／ＡＶＣの重み付けされた予測ツールを利用することにより、そして、写像関数に従って量子化パラメータのフレーム的な適合を適用することによって、時間的コヒーレンスは維持されている。付加的なサイド情報は不要であり、非適応方法と比較した５０％以上の重要なビット・レート節減は同じ品質で観察されることができる。

【0068】

【0069】

さらに、すでに上術したように、輝度に対するｌｕｍａへのマッピングの代わりに、他のマッピングは上で概説される実施例の主題でありえた。換言すれば、サンプル値は、輝度以外の情報に関係することができる。さらに、図２および図４のビデオ符号化ステージ２０およびビデオ復号化ステージ１０８は、単に図示する特質としてだけ理解されることになっている。たとえば、残差信号８８をエントロピー符号化することに関与するエントロピー符合器６２が中止され、同様に、エントロピー復号器１２９は、入力１２８および図４のビデオ復号化ステージ１０８の残差再現器１１８の間にそれを任意に接続することができる。

【0070】

若干の態様が装置の文脈に記載されたが、これらの態様も対応する方法の説明を表すことは明らかであり、そこにおいて、ブロックまたは装置は、方法ステップまたは方法ステップの特徴に対応する。類似して、方法ステップの文脈に記載されている態様は、対応する装置の対応するブロックまたは部材または特徴の説明を表す。いくらかのまたは全てのステップは、例えば、マイクロプロセッサ、プログラム可能なコンピュータまたは電子回路などのハードウェア装置によって（または用いて）実行される。いくつかの実施形態において、最も重要な方法ステップの若干または一つ以上は、この種の装置によって実行されることができる。

【0071】

発明のデータストリームは、デジタル記憶媒体に保存されることができるか、またはインターネットなどの無線伝送媒体または有線の伝送媒体のような伝送媒体上で送信されることができる。

【0072】

特定の実施要件に応じて、本発明の実施例は、ハードウェアにおいて、または、ソフトウェアで実施されることができる。実施は、その上に格納される電子的に読み込み可能な制御信号を有するデジタル記憶媒体、例えばフレキシブルディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭまたはフラッシュメモリを使用して実行されることができ、それぞれの方法が実行されるように、それはプログラム可能なコンピュータシステムと協働する（または協働することができる）。したがって、デジタル記憶媒体は、計算機可読であってもよい。

【0073】

本発明による若干の実施例は、電子的に読み込み可能な制御信号を有するデータキャリアを含み、本願明細書において記載されている方法のうちの１つが実行されるように、それはプログラム可能なコンピュータシステムと協働することができる。

【0074】

通常、本発明の実施例はプログラムコードを有するコンピュータ・プログラム製品として実施されることができ、コンピュータ・プログラム製品がコンピュータで動くときに、プログラムコードが方法のうちの１つを実行するために実施される。プログラムコードは、機械読み取り可読キャリアに例えば格納されることができる。

【0075】

他の実施例は、本願明細書において記載されていて、機械読み取り可読キャリアに格納される方法のうちの１つを実行するためのコンピュータ・プログラムを含む。

【0076】

換言すれば、発明の方法の実施例は、従って、コンピュータ・プログラムがコンピュータで動くとき、本願明細書において記載されている方法のうちの１つを実行するためのプログラムコードを有するコンピュータ・プログラムである。

【0077】

発明の方法の更なる実施例は、従って、その上に記録されて、本願明細書において記載されている方法のうちの１つを実行するためのコンピュータ・プログラムを含むデータキャリア（またはデジタル記憶媒体またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体または記録媒体は、典型的に有形および／または変化しないものである。

【0078】

発明の方法の更なる実施例は、従って、本願明細書において記載されている方法のうちの１つを実行するためのコンピュータ・プログラムを表しているデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、データ通信接続を経て、例えばインターネットで転送されるように例えば構成されることができる。

【0079】

更なる実施例は、ここに記載された方法の１つを実行し、または適応させるように構成された処理手段、例えばコンピュータまたはプログラム可能な論理装置を含む。

【0080】

更なる実施例は、ここに記載されている方法のうちの１つを実行するためのコンピュータ・プログラムをインストールしたコンピュータを含む。

【0081】

本発明による更なる実施例は、レシーバに本願明細書において記載されている方法のうちの１つを実行するためのコンピュータ・プログラムを移す（例えば、電子的に、または、光学的に）ように構成される装置またはシステムを含む。レシーバは、例えば、コンピュータ、モバイル機器、メモリデバイス等であってもよい。装置またはシステムは、例えば、コンピュータ・プログラムをレシーバに移動するためのファイル・サーバを含む。

【0082】

いくつかの実施形態において、プログラマブル論理装置（例えばフィールド・プログラマブル・ゲート・アレイ）は、本願明細書において記載されている方法の機能のいくらかまたは全てを実行するために用いることができる。いくつかの実施形態では、フィールド・プログラマブル・ゲート・アレイは、本願明細書において記載されている方法のうちの１つを実行するために、マイクロプロセッサと協働することができる。通常、方法は、いかなるハードウェア装置によっても好ましくは実行される。

【0083】

上記した実施例は、本発明の原理のために、単に図示されているだけである。配置の修正変更および本願明細書において記載されている詳細は、他の当業者にとって明らかであるものと理解される。したがって、間近に迫った特許クレームの範囲だけによって制限され、本願明細書において実施例の説明および説明として示される具体的な詳細だけで制限されないことが意図されている。

【0084】

他の語においてさえ、高いダイナミックレンジ・ビデオ（ＨＤＲ）シーケンスの効果的な圧縮に適している実施例は、記載されていた。Ｈ．２６４／ＡＶＣビデオ符号化基準と互換性を持つ符号化表現を得るために、浮動小数点ＨＤＲ値は、適切な整数表現にマッピングされる。使用されるマッピングは、各ビデオフレームのダイナミックレンジに適している。さらに、フレーム全体の関連する動的なコントラスト変化を補償するために、重み付け予測方法および量子化適応が導入される。

【0085】

他の観点から、前記実施例はまた、ＥＰ１０１５１０７４．１に記載されているＡｄａｐｔｉｖｅ−ＬｏｇＬｕｖ変換の改良であり、その説明はさらに詳しくするために組み込まれている。基本的に、ＥＰ１０１５１０７４．１のそれと類似の整数値に対するフロートの適応対数関数的マッピングが、用いられた。しかしながら、このマッピングのパラメータは、完全に自由ではない。その代わりに、それらは、前記実施例に従って、Ｈ．２６４／ＡＶＣビデオ・コーデックの特徴および特にＨ．２６４／ＡＶＣの重み付け予測（ＷＰ）ツールに合うために制限される。これらの規制については、以下の利点が得られた。(1) ＷＰツールは、時間的コヒーレンスを確実にするために用いることができる。(2) ＷＰのためのＨ．２６４／ＡＶＣ構文はＬｏｇＬｕｖマッピングのパラメータを示すために用いることができ、付加的なサイド情報の必要を取り除く。前記説明において、どのように適応マッピングに依存しているＨ．２６４／ＡＶＣコーダーの量子化パラメータを適応させるべきかが示された。

【0086】

参照
[1] Eric Reinhard, Greg Ward, Sumanta Pattanaik, and Paul Debevec, High Dynamic Range Imaging: Acquisition, Display, and Image-Based Lighting, Morgan Kaufmann Publishers Inc., San Francisco, CA, USA, 2005
[2] J. A. Ferwerda, "Elements of early vision for computer graphics," IEEE Comp. Graph. and Appl., vol. 21, no.5, pp.22-33, 2001
[3]Gregory Ward Larson, "The Logluv encoding for full gamut, highdynamic range images," Journal of Graph. Tools. Vol.3, no, 1, pp.15-31, 1998
[4]Rafal Mantiuk, Grzegorz, Krawczyk, Karol Myszkowski, and Hans-Peter Seidel,"Perception-motivated high dynamic range video encoding" ACM Trans. Graph., vol.23, no,3,pp.733-741,2004
[5]Masahiro Okuda and Nicola Adami, "Effictive color space representation for wavelet based compression of HDR images," in International Conference on Image Analysis and Processing, 2007,pp.388-392
[6]Ajit Motra and Herbert Thoma, "An adaptive LogLuv transform for high dynamic range video compression," in Proc. Intl. Conf. on Image Processing (ICIP), Hong Kong, China, Sept.2010
[7]J.M. Boyce, "Weighted prediction in the H.264/MPEG AVC video coding standard," in Proc. Intl. Symposium on Circuits and Systems (ISCAS), May 2004,pp.789-792
[8]Grzegorz Krawczy, "HDR video environment maps samples," HYPERLINK "http://www.mpi-inf.mpg.de/resources/bdr/video/,MPI" http://www.mpi-inf.mpg.de/resources/bdr/video/,MPI
[9]Rafal Mantiuk, Scot Daly, Karol Myszkowski, and Hans-Peter Seidel, "Predicting visible differences in high dynamic range images−model and its calibration," in SPIE Human Vision and Electronic Imaging X, 2005.
[10]TunC, Ozan Aydm, Rafal Mantiuk, and Hans−Peter Seidel, "Extending quality metrics to full dynamic range images," inSPIE Human Vision and Electronic Imaging XIII, San Jose, USA,Jan.2008

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】