知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-06-12
(45)【発行日】2024-06-20
(54)【発明の名称】トーンマッピング曲線のためのパラメータセットの決定
(51)【国際特許分類】
H04N 19/85 20140101AFI20240613BHJP
H04N 19/186 20140101ALI20240613BHJP
H04N 19/117 20140101ALI20240613BHJP
【ＦＩ】
H04N19/85
H04N19/186
H04N19/117
【請求項の数】
16
(21)【出願番号】P 2022567467
(86)(22)【出願日】2020-05-08
(65)【公表番号】
(43)【公表日】2023-06-13
(86)【国際出願番号】 CN2020089105
(87)【国際公開番号】W WO2021223193
(87)【国際公開日】2021-11-11
【審査請求日】2022-12-14
(73)【特許権者】
【識別番号】503433420
【氏名又は名称】華為技術有限公司
【氏名又は名称原語表記】ＨＵＡＷＥＩ ＴＥＣＨＮＯＬＯＧＩＥＳ ＣＯ．，ＬＴＤ．
【住所又は居所原語表記】Ｈｕａｗｅｉ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｂｕｉｌｄｉｎｇ， Ｂａｎｔｉａｎ， Ｌｏｎｇｇａｎｇ Ｄｉｓｔｒｉｃｔ， Ｓｈｅｎｚｈｅｎ， Ｇｕａｎｇｄｏｎｇ ５１８１２９， Ｐ．Ｒ． Ｃｈｉｎａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】チェン，フゥ
(72)【発明者】
【氏名】ワン，イチョアン
(72)【発明者】
【氏名】シュイ，ウエイウエイ
(72)【発明者】
【氏名】ユィ，チュアンホ
(72)【発明者】
【氏名】アルシナ，エレナ アレクサンドロヴナ
【審査官】間宮 嘉誉
(56)【参考文献】
【文献】特開２０１７－４９９９２（ＪＰ，Ａ）
【文献】特表２０１８－５２５９０５（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０１４４６９２（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１７／０１０３７２９（ＵＳ，Ａ１）
【文献】特開２０１８－６６９０９（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００－１９／９８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
トーンマッピング曲線のためのパラメータセットを決定する方法であって、当該方法は、複数のパラメータセットを取得するステップであって、各パラメータセットは、トーンマッピング曲線を定義し、各パラメータセットは、複数の高ダイナミックレンジＨＤＲビデオフレームのうちの１つに基づいて導出されたものである、ステップと、
前記複数のパラメータセットを時間的にフィルタリングして、時間的にフィルタリングされたパラメータセットを取得するステップと、
を含み、
前記複数のパラメータセットを取得するステップは、
第１ＨＤＲビデオフレームの第１パラメータセットを取得して、前記第１パラメータセットをキューにプッシュするステップと、
第２ＨＤＲビデオフレームの第２パラメータセットを取得して、前記第１ＨＤＲビデオフレームと前記第２ＨＤＲビデオフレームとの間でシーン変化が生じなかった場合に、前記第２パラメータセットをキューにプッシュするステップと、
を含み、
前記複数のパラメータセットを時間的にフィルタリングして、時間的にフィルタリングされたパラメータセットを取得するステップは、
前記キュー内のパラメータセットの平均を計算して、前記時間的にフィルタリングされたパラメータセットを取得するステップ、
を含む、方法。
【請求項2】
前記複数のパラメータセットを時間的にフィルタリングすることは、前記複数のパラメータセットのうちのパラメータの少なくとも一部の加重平均又は平均を計算することを含む、請求項１に記載の方法。
【請求項3】
前記時間的にフィルタリングされたパラメータセットに基づいて、前記トーンマッピング曲線を生成するステップ、を更に含む、請求項１又は２に記載の方法。
【請求項4】
各パラメータセットは、前記トーンマッピング曲線を直接又は間接的に定義する、請求項１乃至３のいずれかに記載の方法。
【請求項5】
各パラメータセットは、それぞれのＨＤＲビデオフレームのメタデータ又は前記トーンマッピング曲線の１つ以上の曲線パラメータを含む、請求項１乃至４のいずれかに記載の方法。
【請求項6】
各パラメータセットは、それぞれのＨＤＲビデオフレームから抽出されたメタデータを含み、前記時間的にフィルタリングされたパラメータセットは、時間的にフィルタリングされたメタデータを含む、
請求項１乃至５のいずれかに記載の方法。
【請求項7】
前記時間的にフィルタリングされたメタデータに基づいて、前記トーンマッピング曲線の１つ以上の曲線パラメータを計算するステップ、を更に含む、請求項６に記載の方法。
【請求項8】
前記１つ以上の曲線パラメータに基づいて、前記トーンマッピング曲線を生成するステップ、を更に含む、請求項７に記載の方法。
【請求項9】
各パラメータセットは、それぞれのＨＤＲビデオフレームから抽出されたメタデータに基づいて計算された前記トーンマッピング曲線の１つ以上の曲線パラメータを含み、前記時間的にフィルタリングされたパラメータセットは、１つ以上の時間的にフィルタリングされた曲線パラメータを含む、
請求項１乃至５のいずれかに記載の方法。
【請求項10】
前記１つ以上の時間的にフィルタリングされた曲線パラメータに基づいて前記トーンマッピング曲線を生成するステップ、を更に含む、請求項９に記載の方法。
【請求項11】
前記トーンマッピング曲線は、【数1】
によって与えられ、
ここで、Ｌは、ＨＤＲビデオフレームの入力画素の輝度であり、ｍ＿ｎは、第１値であり、ｍ＿ｍは、第２値であり、ｍ＿ｂは、所定の知覚量子化ＰＱ値であり、ｍ＿ｐは、輝度制御係数であり、ｍ＿ａは、出力画素の最大輝度を定義するスケーリング係数であり、
１つ以上の曲線パラメータは、ｍ＿ｐ及びｍ＿ａを含む、
請求項１乃至１０のいずれかに記載の方法。
【請求項12】
前記複数のＨＤＲビデオフレームとともに前記時間的にフィルタリングされたパラメータセットを送信又は記憶するステップ、を更に含む、請求項１乃至１１のいずれかに記載の方法。
【請求項13】
前記複数のパラメータセットを取得するステップは、
前記シーン変化が生じた場合、前記キューをクリアするステップ、
を更に含む、請求項１に記載の方法。
【請求項14】
ＨＤＲビデオフレームを符号化するためのエンコーダであって、当該エンコーダは、請求項１、２、４乃至７、９、１１乃至１３のいずれかに記載の方法を実行するように構成される、
エンコーダ。
【請求項15】
ＨＤＲビデオフレームを復号するためのデコーダであって、当該デコーダは、請求項１乃至１３のうちの一項に記載の方法を実行するように構成される、
デコーダ。
【請求項16】
プロセッサによって実行されると、該プロセッサに、請求項１乃至１３のいずれかに記載の方法を実行させるプログラムコードを含むコンピュータ読取可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、ビデオ処理の分野に関し、より具体的には、高ダイナミックレンジ（ＨＤＲ：high dynamic range）のビデオ又は画像処理に関する。特に、本開示は、ＨＤＲビデオフレームをトーンマッピングするためのトーンマッピング曲線のためのパラメータセットを決定する方法に関する。さらに、本開示はまた、それぞれＨＤＲビデオフレームを符号化又は復号するためのエンコーダ及びデコーダにも関する。エンコーダ又はデコーダは、本方法を実行するよう構成され得る。
【背景技術】
【0002】
デジタルイメージングでは、ダイナミックレンジは、撮影されているシーンのルミナンス範囲、所与のデジタルカメラ又はフィルムがキャプチャすることができるルミナンス範囲の限界又はディスプレイが可能なルミナンス範囲を定義することができる。実際、典型的な実世界のシーンのダイナミックレンジは、しばしば１０－３～１０６ｎｉｔの間である。比較すると、消費者ディスプレイは、典型的に、はるかに小さなダイナミックレンジを有する。そのような実世界のシーンをこのようなディスプレイ上に表示することが望まれる場合、ＨＤＲをより低いダイナミックレンジにスケールダウンする必要性があり、このプロセスはトーンマッピングと呼ばれる。トーンマッピングは、一般に、非線形マッピングである。
【0003】
ＨＤＲ画像及びビデオ処理では、ｎｉｔ又はｃｄ／ｍ２単位の光信号を０と１の間の電気信号に変換するために、知覚量子化（ＰＱ：Perception Quantization）曲線がしばしば使用される。典型的なＰＱ曲線の方程式は、以下のように与えられる：
ここで、Ｌは、線形領域の輝度値であり、０ｎｉｔ～１００００ｎｉｔの間の範囲であり、Ｌは、Ｒ値又はＧ値又はＢ値又はルミナンス成分Ｙとすることができる。
【数1】
【0004】
Ｌ’は、ＰＱ領域の電気信号を示し、［０，１］の範囲内に含まれ、これは、しばしば、ＰＱ値又はＰＱ領域の値と呼ばれる。
【数2】
【0005】
ＰＱ変換関数（transfer function）の入力は線形領域の光信号であり、出力はＰＱ領域の電気信号である。１対１のマッピングがあるため、量子化が適用されない場合、入力値と出力値は実際には等価である。単にそれらは２つの異なる領域、すなわち線形領域とＰＱ領域にあるにすぎない。
【0006】
ＰＱ光－電気変換関数（ＰＱ ＯＥＴＦ）が量子化のためにしばしば使用される。線形領域のＨＤＲ画像は、最初にＰＱ領域に変換され、次に１０ビット又は１２ビットに量子化される。ＰＱ領域の画像は、コーデックによって記憶されるか又は圧縮される。ＰＱ領域における量子化は、人間の視覚系が非線形であるため、人間の視覚系に対してより均一である。線形領域における量子化が実施された場合、知覚歪み（perceptual distortion）はずっと大きくなるであろう。
【0007】
上述のように、ディスプレイのダイナミックレンジ及びピーク輝度はしばしば、実世界のシーンのもの、あるいはソースＨＤＲ画像又はビデオのものよりも小さい。したがって、例えばＨＤＲビデオフレームをディスプレイに適合させるために、トーンマッピングを使用することができる。非線形曲線をトーンマッピングに使用することができる。トーンマッピング曲線がビデオシーケンス内のすべてのＨＤＲビデオフレームに対して同じである場合、これは静的トーンマッピングと呼ばれる。しかしながら、静的トーンマッピングは、各ＨＤＲビデオフレームの画像統計に適合しないため、最適ではない。比較すると、動的トーンマッピングは、各ＨＤＲビデオフレームの統計に適合し、したがって、トーンマッピング曲線は、フレームごとに異なる。動的トーンマッピングは、ディスプレイのダイナミックレンジを最大限活用し、より高い品質を有することが期待される。
【0008】
しかしながら、動的トーンマッピングは制御がより難しく、１つの一般的な問題はちらつきである。画像統計はフレームごとに異なるため、トーンマッピング曲線も同様に異なる。特定のアプリケーションにおいて、メタデータは、トーンマッピング手順をガイドするためのコンテンツの鍵情報又は特徴を含み、ソース（エンコーダ）と受信者（デコーダ）との間の「ブリッジ」として重要な役割を果たす。しかしながら、コンテンツは、状況によっては、連続するフレーム間で大きく変化する可能性があり、したがって、メタデータ及び対応するトーンマッピング曲線も変化する可能性がある。これにより、ディスプレイが不安定になり、「ちらつき」という名前の現象が生じる可能性がある。
【0009】
上述のちらつきの問題を解決するための既存のアプローチは、以下で明らかにされるように、例えばＳＭＰＴＥ ２０９４－１０、ＳＭＰＴＥ ２０９４－２０、ＳＭＰＴＥ ２０９４－３０及びＳＭＰＴＥ ２０９４－４０で標準化された動的トーンマッピングスキームによって与えられる。動的トーンマッピングは、トーンマッピング曲線パラメータが適応的に計算されること、すなわち、画像を変化させるように適合され、したがって、フレームごとに異なることを意味する。動的トーンマッピングは、ディスプレイのダイナミックレンジのより効率的な使用を可能にする。しかしながら、これらの既存のアプローチは、ちらつきの問題を満足に解決しない。
【0010】
Rafal Mantiuk等（Display Adaptive Tone Mapping、ACM Transactions on Graphics 27(3)、２００８年８月）によって提案された従来の方法１４００は、動的トーンマッピングのためのちらつき防止フィルタを含み、図１４に図示されている。この方法１４００では、動的メタデータが、ＨＤＲソース（例えばＨＤＲビデオフレーム）から抽出１４０１され、対応するトーンマッピング曲線が、メタデータに基づいて生成１４０２される。次いで、ちらつきを克服するために、トーンマッピング曲線が急速に変化するとき、トーンマッピング１４０４を実行する前に、トーンマッピング曲線が時間的にフィルタリング１４０３される。特に、ウインドウ化された線形位相ＦＩＲデジタルフィルタが、トーンマッピング結果を得る前に、トーンマッピング曲線のノードに適用される。
【0011】
しかしながら、この方法は、以前のフレームのトーンマッピング曲線をメモリに保存する必要があるという欠点がある。さらに、完全なトーンマッピング曲線を時間的にフィルタリングすること（temporally filtering）は、かなり複雑なプロセスである。例えば１２８の値のルックアップテーブル（ＬＵＴ）がトーンマッピング曲線を表現するために使用され、１６のサイズのフィルタリングウィンドウが採用される場合、１２８×１６の値がメモリに記憶される必要がある。
【発明の概要】
【発明が解決しようとする課題】
【0012】
上述の問題点及び欠点を考慮して、本開示の実施形態は、ＨＤＲビデオ又はビデオフレームの品質を改善するため、例えばちらつきを低減するための効率的な方法を提供することを目的とする。
【課題を解決するための手段】
【0013】
本目的は、包含される独立請求項において提供される実施形態によって達成される。実施形態の有利な実装は、従属請求項において更に定義される。
【0014】
第１態様によると、本開示は、トーンマッピング曲線のためのパラメータセットを決定する方法に関し、当該方法は、複数のパラメータセットを取得するステップであって、各パラメータセットは、トーンマッピング曲線を定義し、各パラメータセットは、複数のＨＤＲビデオフレームのうちの１つに基づいて導出される、ステップと、複数のパラメータセットを時間的にフィルタリングして、時間的にフィルタリングされたパラメータセットを取得するステップと、を含む。
【0015】
第１態様の方法によると、トーンマッピング曲線自体が時間的にフィルタリングされるのではなく、トーンマッピング曲線を定義するパラメータセットが時間的にフィルタリングされる。したがって、時間リソースと計算リソースの両方を節約することができる。特に、計算複雑性及びメモリ要件は、トーンマッピング曲線全体を時間的にフィルタリングするときと比較して小さくなる。加えて、時間的にフィルタリングされたパラメータセットに基づいてトーンマッピング曲線を取得することができ、これにより、表示されるコンテンツ（特にＨＤＲビデオ）の安定性が改善され、ちらつきが減少されるか又は全くなくなることさえある。特に、ちらつきは、複数のＨＤＲビデオフレームの連続するＨＤＲビデオフレームの間でシーンが急速に変化するときにも減少される。
【0016】
メタデータは、例えばそのＨＤＲフレーム及び／又は例えば同じシーンの他のＨＤＲフレームから導出又は抽出される、ＨＤＲフレームの輝度特性を定義する統計データであり得るか又はこれを含み得る。
【0017】
本方法は、エンコーダ、デコーダ、エンコーダとデコーダを含むシステム、ＨＤＲシステム、ＨＤＲテレビジョン（ＴＶ）、ＨＤＲカラーグレーディングソフトウェア、ＨＤＲビデオトランスコーダ等のような電子デバイスによって（例えば完全に又は部分的に）実行され得る。
【0018】
第１態様の実装形態において、複数のパラメータセットの時間的フィルタリングは、複数のパラメータセットのうちのパラメータの少なくとも一部の加重平均又は平均を算出することを含む。
【0019】
これは、パラメータセットを時間的にフィルタリングするための効率的かつ効果的な方法を提供する。
【0020】
第１態様の実装形態において、方法は、時間的にフィルタリングされたパラメータセットに基づいて、トーンマッピング曲線を生成するステップを更に含む。
【0021】
このようにして生成されたトーンマッピング曲線は、特に、複数のＨＤＲビデオフレームがＨＤＲビデオフレームよりも低いダイナミックレンジを有するディスプレイ上に表示されるときに、ちらつきの減少をもたらす。
【0022】
第１態様の実装形態において、各パラメータセットは、トーンマッピング曲線を直接又は間接的に定義する。
【0023】
例えばトーンマッピング曲線を直接定義するパラメータセットは、曲線パラメータを含み得る。トーンマッピング曲線を間接的に定義するパラメータセットは、メタデータを含み得、当該メタデータからそのような曲線パラメータが算出され得る。
【0024】
第１態様の実装形態において、各パラメータセットは、ＨＤＲビデオフレームのメタデータ又はトーンマッピング曲線の１つ以上の曲線パラメータを含む。
【0025】
第１態様の実装形態において、各パラメータセットは、それぞれのＨＤＲビデオフレームから抽出されたメタデータを含み、時間的にフィルタリングされたパラメータセットは、時間的にフィルタリングされたメタデータを含む。
【0026】
第１態様の実装形態において、方法は、時間的にフィルタリングされたメタデータに基づいて、トーンマッピング曲線の１つ以上の曲線パラメータを計算するステップを更に含む。
【0027】
第１態様の実装形態において、方法は、１つ以上の曲線パラメータに基づいて、トーンマッピング曲線を生成するステップを更に含む。
【0028】
このようにして、トーンマッピング曲線自体の代わりに、メタデータを時間的にフィルタリングすることに基づいて、上述のちらつきの問題を低減することができる。
【0029】
第１態様の実装形態において、各パラメータセットは、それぞれのＨＤＲビデオフレームから抽出されたメタデータに基づいて計算されたトーンマッピング曲線の１つ以上の曲線パラメータを含み、時間的にフィルタリングされたパラメータセットは、１つ以上の時間的にフィルタリングされた曲線パラメータを含む。
【0030】
第１態様の実装形態において、方法は、１つ以上の時間的にフィルタリングされた曲線パラメータに基づいてトーンマッピング曲線を生成するステップを更に含む。
【0031】
このようにして、トーンマッピング曲線自体の代わりに、トーンマッピング曲線の曲線パラメータを時間的にフィルタリングすることに基づいて、上述したちらつきの問題を低減することができる。
【0032】
第１態様の実装形態において、トーンマッピング曲線は、
によって与えられ、
ここで、Ｌは、ＨＤＲビデオフレームの入力画素の輝度であり、ｍ＿ｎは、第１値であり、特にｍ＿ｎ＝１であり、ｍ＿ｍは、第２値であり、特にｍ＿ｍ＝２．４であり、ｍ＿ｂは、所定の知覚量子化ＰＱ値であり、ｍ＿ｐは、輝度制御係数であり、ｍ＿ａは、出力画素の最大輝度を定義するスケーリング係数であり、１つ以上の曲線パラメータは、ｍ＿ｐ及びｍ＿ａを含む。
【数3】
ここで、Ｌは、ＨＤＲビデオフレームの入力画素の輝度であり、ｍ＿ｎは、第１値であり、特にｍ＿ｎ＝１であり、ｍ＿ｍは、第２値であり、特にｍ＿ｍ＝２．４であり、ｍ＿ｂは、所定の知覚量子化ＰＱ値であり、ｍ＿ｐは、輝度制御係数であり、ｍ＿ａは、出力画素の最大輝度を定義するスケーリング係数であり、１つ以上の曲線パラメータは、ｍ＿ｐ及びｍ＿ａを含む。
【0033】
このトーンマッピング曲線はまた、フェニックス曲線とも呼ばれ、ＨＤＲビデオフレームを低ダイナミックレンジディスプレイ上に表示するときに、特に低いちらつきと安定性をもたらす。
【0034】
第１態様の実装形態において、方法は、補足／副情報として、例えば基本メタデータ又はアーティスティックメタデータとして、時間的にフィルタリングされたパラメータセットを複数のＨＤＲビデオフレームとともに送信又は記憶するステップを更に含む。
【0035】
第１態様の実装形態において、方法は、第１ＨＤＲビデオフレームの第１パラメータセットを取得し、第１パラメータセットをキューにプッシュするステップと、第２ＨＤＲビデオフレームの第２パラメータセットを取得するステップと、第１ＨＤＲビデオフレームと第２ＨＤＲビデオフレームとの間でシーン変化が生じたかどうかを検出し、シーン変化が生じなかった場合、第２パラメータセットをキューにプッシュするステップと、時間的にフィルタリングされたパラメータセットを取得するために、キュー内のパラメータセットの平均を計算するステップと、を更に含む。
【0036】
これは、パラメータセットを時間的にフィルタリングし、時間的にフィルタリングされたパラメータセットを取得するための、簡単であるが効率的な方法を提供する。
【0037】
第１態様の実装形態において、方法は、シーン変化が生じた場合、キューをクリアするステップを更に含む。
【0038】
シーン変化は、本方法によって、例えばシーン変化の場合に急速に／劇的に変化する、例えばＨＤＲビデオフレームの１つ以上の特性（例えば画像統計）に基づいて検出され得る。
【0039】
第１態様の実装形態において、方法はエンコーダによって及び／又はデコーダによって実行される。
【0040】
第２態様によると、本開示は、ＨＤＲビデオフレームを符号化するためのエンコーダに関し、当該エンコーダは、第１態様及び／又は第１態様の実装形態のいずれかによる方法を実行するように構成される。
【0041】
第３態様によると、本開示は、ＨＤＲビデオフレームを復号するためのデコーダに関し、当該デコーダは、第１態様及び／又は第１態様の実装形態のいずれかによる方法を実行するように構成される。
【0042】
第４態様によると、本開示は、トーンマッピング曲線を生成するためのシステムに関し、当該システムは、第２態様によるエンコーダ及び／又は第３態様によるデコーダを含む。
【0043】
エンコーダ、デコーダ及びシステムは、第１態様の方法及びその実装形態に関して上述したものと同じ利点及び効果を達成する。
【0044】
第５態様によると、本開示は、プロセッサによって実行されると、特に、第２態様によるエンコーダのプロセッサによって及び／又は第３態様によるデコーダのプロセッサによって実行されると、第１態様及び／又はそのいずれかの実装形態による方法を実行するためのプログラムコードを含むコンピュータプログラムに関する。
【0045】
第６態様によると、本開示は、プロセッサによって実行されると、第１態様及び／又はその実装形態のいずれかによる方法を実行させるための実行可能なプログラムコードを記憶する、非一時的な記憶媒体を提供する。
【0046】
本出願で説明されるすべてのデバイス、要素、ユニット及び手段は、ソフトウェア又はハードウェア要素又はそれらの任意の種類の組合せで実装されることができることに留意されたい。本出願で説明される様々なエンティティによって実行されるすべてのステップ、並びに様々なエンティティによって実行されるように説明される機能性は、それぞれのエンティティがそれぞれのステップ及び機能性を実行するように適合されるか又は構成されることを意味するように意図される。特定の実施形態の以下の説明において、外部エンティティによって実行される特定の機能性又はステップが、その特定のステップ又は機能性を実行するそのエンティティの特定の詳細な要素の説明に反映されていない場合であっても、これらの方法及び機能性を、それぞれのソフトウェア又はハードウェア要素又はそれらの任意の種類の組合せにおいて実装することができることは、当業者にとって明らかであるべきである。
【図面の簡単な説明】
【0047】
上述の態様及び実装形態（本発明の実施形態）は、添付の図面に関連して、以下の具体的な実施形態の説明において説明される：
【0048】
【図1】一実施形態による、デバイス（例えばＨＤＲビデオフレームをそれぞれ符号化及び復号するためのエンコーダ又はデコーダ）の概略表現を示す図である。
【0049】
【図2】一実施形態による、トーンマッピング曲線のためのパラメータセットを決定する方法の概略図である。
【0050】
【図3】一実施形態による、決定されたパラメータセットに基づいてデコーダによって生成され得る、異なる例示的なトーンマッピング曲線を示す図である。
【0051】
【図4】異なる動作モードについての例示的なメタデータの概略表現を示す図である。
【0052】
【図5】従来例による２つのトーンマッピング曲線と、一実施形態に従って生成されるトーンマッピング曲線との性能比較を示す図である。
【0053】
【図6】一実施形態による、複数のパラメータセットを時間的にフィルタリングするための手順の概略図である。
【0054】
【図7】本発明の一実施形態による、メタデータがエンコーダにおいて時間的にフィルタリングされる方法の概略図である。
【0055】
【図8】本発明の一実施形態による、メタデータがデコーダにおいて時間的にフィルタリングされる方法の概略図である。
【0056】
【図9】本発明の一実施形態による、トーンマッピング曲線の曲線パラメータがデコーダにおいて時間的にフィルタリングされる方法の概略図である。
【0057】
【図10】本発明の一実施形態による、メタデータがエンコーダにおいて時間的にフィルタリングされる方法の概略図である。
【0058】
【図11】本発明の一実施形態による、トーンマッピング曲線の曲線パラメータがエンコーダにおいて時間的にフィルタリングされる方法の概略図である。
【0059】
【図12】本発明の一実施形態による、メタデータがエンコーダにおいて時間的にフィルタリングされる方法の概略図である。
【0060】
【図13】ＨＤＲ動的トーンマッピングプロセスの例示的なパイプラインの例を示す図である。
【0061】
【図14】トーンマッピング曲線を時間的にフィルタリングすることにより、ちらつき問題に対処する従来のアプローチの概略表現である。
【発明を実施するための形態】
【0062】
図１は、本発明の一実施形態によるデバイス１００の概略表現を示す。デバイス１００は、ＨＤＲビデオフレーム１０１を符号化するためのエンコーダであり得る。あるいは、デバイス１００は、ＨＤＲビデオフレーム１０１を復号するためのデコーダであり得る。デバイス１００は、トーンマッピング曲線３００（例えば例示的なトーンマッピング曲線３００について図３を参照されたい）のためのパラメータセットを決定する方法２００（図２に示される方法２００の概略図も参照されたい）を実行するように構成され得る。特に、決定されたパラメータセットは、トーンマッピング曲線３００を生成するためにデコーダによって更に使用され得る。次に、トーンマッピング曲線３００を使用して、ＨＤＲビデオフレーム１０１をトーンマッピングすることができる。
【0063】
少なくとも１つのそのようなエンコーダ及び／又は１つのそのようなデコーダを含むシステム（例えばそのようなシステムの様々な例について、図７～図１１を参照されたい）が更に形成され得る。特に、本発明の一実施形態によるデバイス１００は、通常、このようなシステムで動作する。当該システムでは、一般に、ＨＤＲビデオビットストリームがエンコーダからデコーダに送信される。ビットストリームは、ＨＤＲビデオフレーム１０１及び様々な種類のメタデータを含み得る。
【0064】
特に、本発明の実施形態は、図１３に示されるように（特に、エンコーダ及びデコーダのシステムを示す）パイプライン１３００のブロック１３０１／１３０２又はブロック１３０３／１３０４で実装され得る。特に、方法２００は、デコーダ又はエンコーダのいずれかにおいて、これらのブロックで実行され得る。
【0065】
デバイス１００は、（図２及び図３に関連して）複数のパラメータセット１０２を取得２０１するように構成され得、ここで、各パラメータセット１０２は、トーンマッピング曲線３００を定義し、各パラメータセット１０２は、複数のＨＤＲビデオフレーム１０１、例えば以前に処理されたＨＤＲビデオフレーム１０１（エンコーダ）又はコーディングされたＨＤＲビデオフレーム１０１（デコーダ）、のうちの１つに基づいて導出される。さらに、デバイス１００は、複数のパラメータセット１０２を時間的にフィルタリング２０２して、時間的にフィルタリングされたパラメータセット１０３を取得するよう構成される。
【0066】
これにより、後により詳細に説明されるように、各パラメータセット１０２は、それぞれのＨＤＲビデオフレーム１０１のメタデータ４０２（例えば図４では基本メタデータ４０２と称される、例示的なメタデータ４０２について図４を参照されたい）を含み得る。メタデータ４０２は、例えばそれぞれのＨＤＲビデオフレーム１０１から抽出され得る（すなわち、取得ステップ２０１として）。メタデータ４０２は、次いで、時間的にフィルタリング２０２されて、時間的にフィルタリングされたメタデータ４０２（例えば図７を参照されたい）を取得し得、トーンマッピング曲線３００の１つ以上の曲線パラメータ５０２（例えば例示的な曲線パラメータ５０２について図４を参照されたい）を、時間的にフィルタリングされたメタデータ４０３に基づいて計算され得る。さらに、トーンマッピング曲線３００が、１つ以上の曲線パラメータ５０２に基づいて生成され得る。
【0067】
あるいは、各パラメータセット１０２は、トーンマッピング曲線３００の１つ以上の曲線パラメータ５０２を含み得る。トーンマッピング曲線３００の１つ以上の曲線パラメータ５０２は、それぞれのＨＤＲビデオフレーム１０１から抽出されたメタデータ４０２に基づいて計算され得る（すなわち、取得ステップ２０１として）。曲線パラメータ５０２が、時間的にフィルタリング２０２されて、時間的にフィルタリングされた曲線パラメータ５０３（例えば図９を参照されたい）を取得し得、次に、トーンマッピング曲線３００が、時間的にフィルタリングされた曲線パラメータ５０３に基づいて生成され得る。
【0068】
パラメータセット１０２（すなわち、メタデータ４０２又は曲線パラメータ５０２のいずれか）の時間的フィルタリング２０２は、エンコーダ又はデコーダ（したがって、デバイス１００として機能する;様々な実施形態は、図７～図１２に関連して後述される）で行われ得る。また、時間的にフィルタリングされたメタデータ４０２に基づいて曲線パラメータ５０２を生成することも、エンコーダ又はデコーダで行われ得る。トーンマッピング曲線３００は、典型的に、デコーダで生成される。トーンマッピング曲線３００自体の代わりに、パラメータセット１０２の時間的フィルタリング２０２は、前述したように、様々な利点をもたらす。
【0069】
デバイス１００（エンコーダ又はデコーダ）は、本明細書で説明されるデバイス１００の様々な動作を実行、実施又は開始するよう構成される処理回路（図１には図示されず）を含み得る。処理回路は、ハードウェア及びソフトウェアを含み得る。ハードウェアは、アナログ回路又はデジタル回路、あるいはアナログ回路とデジタル回路の両方を含み得る。デジタル回路は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）又は多目的プロセッサのような構成要素を含み得る。一実施形態では、処理回路は、１つ以上のプロセッサと、該１つ以上のプロセッサに接続される非一時的なメモリとを含む。非一時的なメモリは、１つ以上のプロセッサによって実行されると、デバイス１００に、本明細書で説明される動作又は方法を実行、実施又は開始させる、実行可能プログラムコードを担持し得る。
【0070】
特に、デバイス１００は、方法２００を実行するため、すなわち、パラメータセット１０２を取得２０１し、パラメータセット１０２を時間的にフィルタリング２０２して、フィルタリングされたパラメータセット１０３を取得するための上述のステップを実行するようデバイス１００を制御するためのプログラムコードを含むコンピュータプログラムを実行するために、プロセッサを含み得る。
【0071】
本発明の実施形態によると、例示的なトーンマッピング曲線３００は、本開示において「フェニックス曲線」とも称されるが、以下によって与えられ得る：
ここで、Ｌは、ＨＤＲビデオフレーム１０１の入力画素の輝度であり、ｍ＿ｎは第１値であり、特にｍ＿ｎ＝１であり、ｍ＿ｍは第２値であり、特にｍ＿ｍ＝２.４であり、ｍ＿ｂは、所定の知覚量子化ＰＱ値であり、ｍ＿ｐは輝度制御係数（brightness control factor）であり、ｍ＿ａは出力画素の最大輝度を定義するスケーリング係数である。
「フェニックス曲線」を使用する他の実施形態は、他のパラメータを使用してもよく、例えばｍ＿ｍは１～５の範囲であってよく、ｍ＿ｎは０.５～２の範囲であってもよい。
【数4】
「フェニックス曲線」を使用する他の実施形態は、他のパラメータを使用してもよく、例えばｍ＿ｍは１～５の範囲であってよく、ｍ＿ｎは０.５～２の範囲であってもよい。
【0072】
実施形態は、他の非線形トーンマッピング曲線（「フェニックス曲線」以外）を使用してもよく、これらの他の非線形曲線を定義するために使用されるメタデータの時間的フィルタリングを実施するか又はこれらの他の非線形曲線の曲線パラメータの時間的フィルタリングを直接実施してもよい。
【0073】
上述の曲線パラメータ５０２は、特に、パラメータｍ＿ｐ及びｍ＿ａを含み得る。
【0074】
時間的にフィルタリングされたパラメータセット１０３は、デコーダによって、このようなフェニックス・トーンマッピング曲線３００を生成するために使用され得る。それにより、パラメータセット１０２のフィルタリングは、エンコーダ又はデコーダによって行われ得る。例えば時間的にフィルタリングされたパラメータセット１０３は、パラメータｍ＿ｐ及びｍ＿ａを含む、時間的にフィルタリングされた曲線パラメータ５０３を含み得る。
【0075】
これにより、パラメータｍ＿ｐは輝度制御係数の物理的な意味を有し、ｍ＿ｐが大きいほど輝度は高くなる。さらに、ｍ＿ａは、トーンマッピング曲線３００で実行されるトーンマッピングの最大出力輝度を制御するスケーリング係数である。トーンマッピング曲線３００を、ＰＱ領域において設計することができる。換言すれば、トーンマッピング曲線３００の入力Ｌ及び出力は、両方ともＰＱ値を参照することができる。入力Ｌは０から１の範囲であり、ここで、ＰＱ値０は線形領域では０ｎｉｔであり、ＰＱ値１は線形領域では１００００ｎｉｔである。出力値は、０から、ＰＱ領域の最大表示輝度以下のＰＱ値の範囲である。
【0076】
異なる最大入力輝度及び最大表示輝度を有するトーンマッピング曲線３００のいくつかの例３００Ａ、３００Ｂ及び３００Ｃが図３にプロットされている。例示的なトーンマッピング曲線３００Ａ、３００Ｂ及び３００Ｃは、デコーダによって生成され得るが、特に、（例えばＨＤＲビデオフレーム１０１に関連する）異なる最大入力輝度と（例えばＨＤＲビデオフレーム１０１がトーンマッピングされるディスプレイの）最大表示輝度に基づいて生成される。さらに、一例として、ｍ＿ｐ＝５.０である。トーンマッピング曲線３００Ａは、デコーダによって、１００００ｎｉｔの最大入力輝度と５００ｎｉｔの最大表示輝度に基づいて生成され得る。さらに、トーンマッピング曲線３００Ｂは、デコーダによって、１００００ｎｉｔの最大入力輝度と１０００ｎｉｔの最大表示輝度に基づいて生成され得る。さらに、トーンマッピング曲線３００Ｃは、デコーダによって、４０００ｎｉｔの最大入力輝度と１０００ｎｉｔの最大表示輝度に基づいて生成され得る。
【0077】
エンコーダ及びデコーダのシステムが動作する異なるモードが存在してもよく、本発明の実施形態は異なるように適用されてもよい。システムのモードに応じて、エンコーダ及びデコーダは異なるように動作されてよく、デバイス１００は、エンコーダ又はデコーダのいずれかであり得る。すなわち、本発明の実施形態による方法２００は、モードに応じてエンコーダ又はデコーダにおいて実行され得る。エンコーダ及びデコーダは、一般に、モードにおいて異なる役割を有し得る。
【0078】
一例として、China Ultra-HD Video Industrial Alliance（ＣＵＶＡ）ＨＤＲ規格（ＣＵＶＡ ＨＤＲ規格）を参照して、第１モードは、以下では「自動モード」と称されてよく、第２モードは、以下では「アーティスティックモード（artistic mode）」と称されてよい。これらのモードの両方において、トーンマッピング曲線３００を定義するパラメータセット１０２は、上述のように、時間的にフィルタリング２０２され得る。ＣＵＶＡ ＨＤＲ規格のこれら２つのモードは、以下で簡単に説明される：
【0079】
自動モード（モードフラグｔｏｎｅ＿ｍａｐｐｉｎｇ＿ｍｏｄｅ＝０）。この第１モードでは、トーンマッピング曲線３００を生成するための曲線パラメータ５０２は、デコーダにおいて、（基本）メタデータ４０２に基づいて計算される。メタデータ４０２（又は一部の実施形態では時間的にフィルタリングされたメタデータ４０３）は、エンコーダによってデコーダに提供される。例示的なメタデータ４０２は、図４に示されており、典型的な画像統計を含み得、例えば１つ以上のＨＤＲビデオフレーム１０１に関して、最小輝度値、最大輝度値、平均輝度値及び／又は輝度値の分散を含み得る。メタデータ４０２（又は一部の実施形態では時間的にフィルタリングされたメタデータ４０３）は、曲線パラメータ５０２を計算するのに十分であり得るパラメータの最小セットを含み得る。例えばメタデータ４０２は、以下のように４つのパラメータを含み得る（ＣＵＶＡ ＨＤＲ規格を参照）:
・ｍｉｎｉｍｕｍ＿ｍａｘｒｇｂ＿ｐｑ：フレーム内のすべての画素のｍａｘｒｇｂ値の最小値。値はＰＱ領域内である。
・ａｖｅｒａｇｅ＿ｍａｘｒｇｂ＿ｐｑ：フレーム内のすべての画素のｍａｘｒｇｂ値の平均。
・ｖａｒｉａｎｃｅ＿ｍａｘｒｇｂ＿ｐｑ：フレーム内のすべての画素のｍａｘｒｇｂ値の９０パーセンタイルのｍａｘｒｇｂ値と、フレーム内のすべてのｍａｘｒｇｂ値の１０パーセンタイルのｍａｘｒｇｂ値との間の差。
・ｍａｘｉｍｕｍ＿ｍａｘｒｇｂ＿ｐｑ：フレーム内のすべての画素のｍａｘｒｇｂ値の最大値。値はＰＱ領域内である。
・ｍｉｎｉｍｕｍ＿ｍａｘｒｇｂ＿ｐｑ：フレーム内のすべての画素のｍａｘｒｇｂ値の最小値。値はＰＱ領域内である。
・ａｖｅｒａｇｅ＿ｍａｘｒｇｂ＿ｐｑ：フレーム内のすべての画素のｍａｘｒｇｂ値の平均。
・ｖａｒｉａｎｃｅ＿ｍａｘｒｇｂ＿ｐｑ：フレーム内のすべての画素のｍａｘｒｇｂ値の９０パーセンタイルのｍａｘｒｇｂ値と、フレーム内のすべてのｍａｘｒｇｂ値の１０パーセンタイルのｍａｘｒｇｂ値との間の差。
・ｍａｘｉｍｕｍ＿ｍａｘｒｇｂ＿ｐｑ：フレーム内のすべての画素のｍａｘｒｇｂ値の最大値。値はＰＱ領域内である。
【0080】
ここで、画素のｍａｘｒｇｂ値は、画素のＲ値、Ｇ値及びＢ値の最大値である。値はＰＱ領域内である。また、上記で与えられた４つのパラメータはすべて、ＰＱ領域の値である（したがって、各値の名前は＿ｐｑで終了している）。
【0081】
アーティスティックモード（モードフラグｔｏｎｅ＿ｍａｐｐｉｎｇ＿ｍｏｄｅ＝１）。この第２モードでは、１つ以上の曲線パラメータ５０２は、コンテンツ生成の段階で又はトランスコーディングの段階でアルゴリズムを使用して決定される、例えば計算され得る。アーティスティックモードでは、ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ強度のような追加の三次スプラインパラメータと、ｍ＿ａ、ｍ＿ｐ、ｍ＿ｂのような計算された「フェニックス」曲線パラメータ５０２が使用され得る。図４に例示的に示されているように、計算された曲線パラメータ５０２（又は一部の実施形態では時間的にフィルタリングされた曲線パラメータ５０３）は、（更なるメタデータ４０１として、例えば「アーティスティックモードメタデータ」として）メタデータ４０２に追加され、メタデータ４０２と、更なるメタデータ４０１と、任意にカラーメタデータ４０４とを含む、拡張メタデータを形成し得る。拡張メタデータは、デコーダに送信され得る。デコーダは次いで、曲線パラメータ５０２又は５０３が、ＨＤＲビデオフレーム１０１が表示されることになるディスプレイに適している場合、トーンマッピングを直接実行するために（すなわち、曲線パラメータ５０２又は時間的にフィルタリングされた曲線パラメータ５０３に基づいて、トーンマッピング曲線３００を生成し、生成されたトーンマッピング曲線３００でトーンマッピングを実行するために）、曲線パラメータ５０２（又は一部の実施形態では時間的にフィルタリングされた曲線パラメータ５０３）を使用するよう構成され得る。デコーダはまた、これらの予め計算された曲線パラメータ５０２又は５０３を破棄し、自動モードに戻すようにも構成されることができる、すなわち、デコーダは、メタデータ４０２に基づいて新たな曲線パラメータ５０２を計算し得る。この２つの組合せも可能である。特に、アーティスティックモードは、曲線パラメータ５０２又は５０３が、エンコーダによって更なるメタデータ４０１として予め計算されて、デコーダに送信され得ることを意味する。カラー関連のメタデータ４０４も続くことができるが、それらは任意である。
【0082】
「アーティスティックモード」は、必ずしも人間の芸術家又はカラーリストが関与していることを意味するものではないことに留意する価値がある。人工知能（ＡＩ）は、カラーグレーディングにおける人間の芸術家又はカラーリストに取って代わり、曲線パラメータ５０２を決定するのに役立ち得る。したがって、上述の定義による、自動モードとアーティスティックモードとの根本的な違いは、自動モードでは、（基本）メタデータ４０２のみが送信されるのに対し、アーティスティックモードでは、曲線パラメータ５０２又は５０３がエンコーダで計算され、拡張メタデータに埋め込まれ得ることである。
【0083】
以下に、（基本）メタデータ４０２に基づいて、曲線パラメータ５０２、特にパラメータｍ＿ｐ及びｍ＿ａを計算する方法を、図４に関して説明する。メタデータ４０２内の４つのパラメータとは別に、他のすべての変数は、中間値又は予め設定された値のいずれかであり得る。したがって、曲線パラメータ５０２、すなわち、ｍ＿ａ及びｍ＿ｐは、例示的な基本メタデータ４０２における４つのパラメータが与えられると、決定されることができる。以下で使用されるパラメータについては、ＣＵＶＡ ＨＤＲ規格を参照する。
【0084】
第１に、ＭＡＸ１とｍａｘ＿ｌｕｍの中間値が計算され得る。ここで、メタデータ４０２のうちの２つのパラメータ、すなわち、ａｖｅｒａｇｅ＿ｍａｘｒｇｂ及びｖａｒｉａｎｃｅ＿ｍａｘｒｇｂが使用され得る。
Ａ、Ｂは、予め設定された重み付け係数であり、ＭＩＮは、ｍａｘ＿ｌｕｍの下限閾値の予め設定された値である。ＭａｘＲｅｆＤｉｓｐｌａｙは、基準ディスプレイ（reference display）のピーク輝度である。基準ディスプレイは、カラーリストがカラーグレーディング中にＨＤＲビデオを表示するディスプレイである。標準基準ディスプレイピーク輝度は、１０００ｎｉｔ又は４０００ｎｉｔであり得るが、実際には他の値も存在し得る。
【数5】
【0085】
第２に、パラメータｍ＿ｐが、以下のように計算され得る：
ここで、ａｖｇＬは、フレーム内のすべての画素のｍａｘＲＧＢ値の平均であり、ＴＰＬ０とＴＰＨ０は、ａｖｇＬの予め設定された閾値であり、ＰｖａｌｕｅＨ０とＰｖａｌｕｅＨ１は、ｍ＿ｐの予め設定された閾値であり、ｇ０（ｗ０）は重みである。
【数6】
【0086】
第３に、パラメータｍ＿ｐが、ｍａｘ＿ｌｕｍを使用して更新され得る：
ここで、ＴＰＬ１とＴＰＨ１は、ｍａｘ＿ｌｕｍの予め設定された閾値であり、ＰｄｅｌｔａＨ１とＰｄｅｌｔａＬ１は、ｍ＿ｐオフセットの予め設定された閾値であり、ｇ１（ｗ１）は重みである。
【数7】
【0087】
最後に、パラメータｍ＿ａが、ｍ＿ｐを使用して計算され得る。このステップでは、他の中間値Ｈ（Ｌ）が算出される。
ここで、ＭａｘＤＩＳＰＬＡＹとＭｉｎＤＩＳＰＬＡＹは、ディスプレイの最大輝度と最小輝度を意味し、ＭａｘＳｏｕｒｃｅとＭｉｎＳｏｕｒｃｅは、ソースＨＤＲビデオの最大輝度と最小輝度（ｍａｘＲＧＢ値）を意味する。
【数8】
【0088】
有利には、例えば本発明の実施形態に従って生成されたトーンマッピング曲線３００は、図５に示されるように、従来のトーンマッピング曲線よりも安定しており、ここで、Ｃ１及びＣ２は、従来のトーンマッピング曲線を表し（グラフＣ１は、真ん中のグラフであり、Ｃ２は、３つのグラフのうちの下のグラフである）、「フェニックス」は、（例えば図３に示される実施例のような）本発明の実施形態によるトーンマッピング曲線３００（図５の３つのグラフのうちの上のグラフによって示される改善された性能）を表す。「フェニックス」トーンマッピング曲線３００は、従来のトーンマッピング曲線よりも本質的により安定しているため、トーンマッピング曲線３００全体を時間的にフィルタリングするために多くの計算を費やす必要はない。したがって、本発明の実施形態によると、代わりに、パラメータセット１０２（メタデータ４０２又は曲線パラメータ５０２）のみを時間的にフィルタリング２０２することができる。例えば１２８の値のルックアップテーブル（ＬＵＴ）に記憶されるであろう完全なトーンマッピング曲線３００を時間的にフィルタリングすることと比較して、例えばメタデータ４０２は、上述の４つのパラメータのみを含み得る。したがって、例えばメタデータ４０２を時間的にフィルタリング２０２することは、トーンマッピング曲線３００を完全にフィルタリングすることよりも１２８／４＝３２倍、効率的である。
【0089】
図６は、本発明の一実施形態によるデバイス１００として機能するエンコーダ又はデコーダによって実行され得るとき、フィルタリングされたパラメータセット１０３を取得するための例示的な手順の概略図を示す。本手順は、上述のように、メタデータ４０２をフィルタリングするため及び曲線パラメータ５０２をフィルタリングするために同様に機能する。本手順は、以下のステップを含む：
【0090】
最初に、第１ＨＤＲビデオフレーム１０１の少なくとも第１パラメータセット１０２が取得２０１され得、取得された第１パラメータセット１０２がキュー（図示せず）にプッシュされ得る。次いで、第２ＨＤＲビデオフレーム１０１の第２パラメータセット１０２が、（図示されるように）取得２０１され得る。次に、第１ＨＤＲビデオフレーム１０１と第２ＨＤＲビデオフレーム１０１との間でシーン変化が生じたかどうかが（ブロック６０１において）検出され得る。シーン変化が生じなかった場合（ブロック６０１においてＮ）、第２パラメータセット１０２が（ブロック６０２において）キューにプッシュされる。シーン変化が生じた場合（ブロック６０１においてＹ）、キューは（ブロック６０３において）クリアされる。第１のケース（ブロック６０１においてＮ）では、キュー内のパラメータセット１０２の平均が、時間的フィルタリングステップ２０２として（ブロック６０４において）計算され、時間的にフィルタリングされたパラメータセット１０３を取得し得る。
【0091】
一実施形態では、複数のパラメータセット１０２の時間的フィルタリング２０２は、複数のパラメータセット１０２のパラメータの加重平均（例えばブロック６０４で行われるような）又は少なくともその一部の平均を算出することを含む。
【0092】
特に、時間領域においてＨＤＲビデオフレーム１０１のフィルタリングされたパラメータセット１０３を得るために、キューの加重平均を（ブロック６０４において）算出することができる。時間的フィルタリング２０２は、以下の式に基づいて実行され得る:
ここで、Ｑ（ｋ）はキュー内のｋ番目の値、ｗｋは重みである。すべての重みの合計は１に等しい。デフォルトでは、すべての重みは等しくてよい、すなわち、ｗ＝１／ｎである。一実施形態では、現在のＨＤＲビデオフレーム１０１（図６では「第２フレーム」）により近いＨＤＲビデオフレーム１０１のパラメータセットに、より大きな重みを割り当てることができる。テストは、このような実施形態が、等しい重みと比較して、品質における小さな利益しか提供しないことを示した。したがって、等しい利益を有する実施形態は、ほぼ同様の品質を提供するが、それほど複雑ではないので、効率的な実装形態を提供する。ｎは必ずしもキューの最大長とは限らないことに留意されたい。ビデオの開始にＨＤＲビデオフレーム１０１において、シーンカット（すなわち、シーンの変化）が生じる場合、ｎは０にリセットされてよく、次いで、キューの最大長に到達するまで、フレームごとに１ずつ増加され得る。キューがいっぱいになると、ルール「先入れ先出し」ルールに従い得る。換言すれば、キュー内の最も古いＨＤＲビデオフレーム１０１のパラメータセット１０２がポップアウトされ得、最も新しいＨＤＲビデオフレーム１０１のパラメータセット１０２がプッシュインされ得る。
【数9】
【0093】
図６の手順は、時間リソースと計算リソースの両方をパラメータセット１０２の時間的フィルタリング２０２によって節約することができ、トーンマッピング曲線３００が、時間的にフィルタリングされたパラメータセット１０３に基づいて計算されると、フリッカなしに、表示されるコンテンツの安定性がなお保証され得るという利点を有する。時間的にフィルタリング２０２するためのキューの長さは、フレームレートに依存し、デフォルトでは０．５秒～１秒のＨＤＲビデオフレーム１０１の数に依存する可能性がある。例えばＨＤＲビデオのフレームレートが３０ｆｐｓ（フレーム毎秒）である場合、妥当なキューの長さは１５～３０である可能性がある。一実施形態では、２の累乗をキューの長さとしてとってよく、したがって、３２を、３０ｆｐｓのソフトウェアで、１６を１５ｆｐｓのソフトウェアでとることができる。
【0094】
図７のこの手順を、（例えば基本）メタデータ４０２を時間的にフィルタリング２０２するため、並びに曲線パラメータ５０２、例えばパラメータｍ＿ｐ及びｍ＿ａを時間的にフィルタリングするために使用することができる。アーティスティックモードでは、曲線パラメータｍ＿ｐ及びｍ＿ａは拡張メタデータの一部であり得、また、拡張メタデータを時間的にフィルタリングすることも可能である。
【0095】
本発明の実施形態は、時間的フィルタリング２０２を、メタデータ４０２と曲線パラメータ５０２の両方に適用することができることを含むが、以下の２つの理由から、メタデータ４０２をフィルタリングすることがより有利であり得る：
１）パラメータｍ＿ａ及びｍ＿ｐのような曲線パラメータ５０２は、メタデータ４０２の非線形関数とすることができる。したがって、非線形領域でそのような曲線パラメータ５０２をフィルタリングすることは、制御することがより困難であり得る。メタデータ４０２は、このような線形フィルタリングにより適している可能性がある。
２）自動モードでは、パラメータｍ＿ａ及びｍ＿ｐのような曲線パラメータ５０２をフィルタリングすることは、デコーダにおいてのみ使用され得る。自動モードでは、曲線パラメータ５０２はエンコーダによってデコーダに送信されないため、曲線パラメータ５０２をエンコーダにおいてフィルタリングすること不可能であり得る。しかし、自動モードにおいて、メタデータ４０２をフィルタリングすることは、デコーダだけでなくエンコーダにおいても実施されることができる。
１）パラメータｍ＿ａ及びｍ＿ｐのような曲線パラメータ５０２は、メタデータ４０２の非線形関数とすることができる。したがって、非線形領域でそのような曲線パラメータ５０２をフィルタリングすることは、制御することがより困難であり得る。メタデータ４０２は、このような線形フィルタリングにより適している可能性がある。
２）自動モードでは、パラメータｍ＿ａ及びｍ＿ｐのような曲線パラメータ５０２をフィルタリングすることは、デコーダにおいてのみ使用され得る。自動モードでは、曲線パラメータ５０２はエンコーダによってデコーダに送信されないため、曲線パラメータ５０２をエンコーダにおいてフィルタリングすること不可能であり得る。しかし、自動モードにおいて、メタデータ４０２をフィルタリングすることは、デコーダだけでなくエンコーダにおいても実施されることができる。
【0096】
上述の実施形態は、トーンマッピング曲線３００全体を時間的にフィルタリングすることと比較して、計算複雑性及びメモリ要件が低減されるという利点を提供する。さらに、潜在的なちらつき現象は回避又は低減され、連続するＨＤＲビデオフレーム１０１の間でシーンが急速に変化するときであっても、表示されるコンテンツの安定性を保証することができる。
【0097】
【0098】
図７は、デバイス１００が、エンコーダとデコーダのシステム内のエンコーダである実施形態を示す。特に、メタデータ４０２（パラメータセット１０２である）の時間的フィルタリング２０２は、エンコーダで行われる。
【0099】
特に、エンコーダは、最初に、複数のＨＤＲビデオフレーム１０１からメタデータ４０２を（取得ステップ２０１として）抽出７０１する。次いで、メタデータ４０２は、エンコーダにおいて時間的にフィルタリング２０２される。時間的フィルタリング２０２に関して、図６に示されるものと同じ処理手順がメタデータ４０２に使用され得る。フィルタリングされたメタデータ４０３（フィルタリングされたパラメータセット１０３である）を取得した後、フィルタリングされたメタデータ４０３がデコーダに提供される。デコーダは、時間的にフィルタリングされたメタデータ４０３に基づいて曲線パラメータ５０２を計算７０２する。さらに、デコーダは、曲線パラメータ５０２に基づいてトーンマッピング曲線３００を生成７０３する。
【0100】
図８は、デバイス１００が、エンコーダとデコーダのシステム内のデコーダである別の実施形態を示す。特に、メタデータ４０２（パラメータセット１０２である）の時間的フィルタリング２０２は、デコーダで行われる。
【0101】
特に、エンコーダは、最初に、複数のＨＤＲビデオフレーム１０１からメタデータ４０２を抽出７０１し、メタデータ４０２をデコーダに送信する。デコーダは、（取得ステップ２０１として）メタデータ４０２を受信し、メタデータ４０２を時間的にフィルタリング２０２して、時間的にフィルタリングされたメタデータ４０３（フィルタリングされたパラメータセット１０３である）を取得する。デコーダにおける時間的フィルタリング２０２に関して、図６に示されるものと同じ処理手順がメタデータ４０２に使用され得る。フィルタリングされたメタデータ４０３を取得した後、デコーダでトーンマッピング曲線３００を生成７０３するために、トーンマッピング曲線パラメータ５０２がデコーダにおいて算出７０２される。
【0102】
図９は、デバイス１００が、エンコーダとデコーダのシステム内のデコーダである別の実施形態を示す。特に、曲線パラメータ５０３（パラメータセット１０２である）の時間的フィルタリング２０２は、デコーダで行われる。
【0103】
特に、エンコーダは、最初に、複数のＨＤＲビデオフレーム１０１からメタデータ４０２を抽出７０１し、それをデコーダに送信する。次いで、デコーダは、（取得ステップ２０１として）曲線パラメータ５０２を計算７０２し、その後、曲線パラメータ５０２を時間的にフィルタリング２０２して、時間的にフィルタリングされた曲線パラメータ５０３（フィルタリングされたパラメータセット１０３である）を取得する。時間的フィルタリング２０２に関して、図６に示されるものと同じ処理手順が、曲線パラメータ５０２に使用され得る。フィルタリングされた曲線パラメータ５０３を取得した後、デコーダは、時間的にフィルタリングされた曲線パラメータ５０３に基づいてトーンマッピング曲線３００を生成７０３する。
【0104】
【0105】
図１０は、デバイス１００が、エンコーダとデコーダのシステム内のエンコーダである実施形態を示す。特に、メタデータ４０２（パラメータセットである）の時間的フィルタリング２０２は、エンコーダで行われる。
【0106】
特に、エンコーダは、最初に、（取得ステップ２０１として）複数のＨＤＲビデオフレーム１０１からメタデータ４０２を抽出７０１する。次いで、メタデータが、エンコーダにおいて時間的にフィルタリング２０２され、フィルタリングされたメタデータ１０３（時間的にフィルタリングされたパラメータセット１０３である）を取得する。時間的フィルタリング２０２に関して、図６に示されるものと同じ処理手順が、メタデータ４０２に使用され得る。フィルタリングされたメタデータ４０３を取得した後、エンコーダは、曲線パラメータ５０２を計算７０２し、曲線パラメータを、更なるメタデータ４０１としてメタデータ４０２に追加１０００して、拡張メタデータ１００１を取得し得る。この拡張メタデータ１００１は、デコーダに送信され、デコーダは、そこから更なるメタデータ４０１を抽出し、したがって、曲線パラメータ５０２を抽出し、抽出した曲線パラメータ５０２に基づいてトーンマッピング曲線３００を生成７０３する。
【0107】
図１１は、デバイス１００が、エンコーダとデコーダのシステム内のエンコーダである実施形態を示す。特に、曲線パラメータ５０２（パラメータセット１０２である）の時間的フィルタリング２０２は、エンコーダで行われる。
【0108】
特に、エンコーダは、最初に、複数のＨＤＲビデオフレーム１０１からメタデータ４０２を抽出７０１する。次いで、エンコーダは、（取得ステップ２０１として）曲線パラメータ５０２を計算７０２する。次に、曲線パラメータ５０２は、エンコーダにおいて時間的にフィルタリング２０２され、フィルタリングされた曲線パラメータ５０３（時間的にフィルタリングされたパラメータセット１０３である）を取得する。時間的フィルタリング２０２に関して、図６に示されものと同じ処理手順が、曲線パラメータ５０２に使用され得る。時間的にフィルタリングされた曲線パラメータ５０３を取得した後、エンコーダは、時間的にフィルタリングされた曲線パラメータ５０３を、更なるメタデータ４０１としてメタデータ４０２に追加１０００して、拡張メタデータ１００１を取得し得る。この拡張メタデータ１００１は、デコーダに送信され、デコーダは、そこから更なるメタデータ４０１を抽出し、したがって、時間的にフィルタリングされた曲線パラメータ５０３を抽出し、これらの曲線パラメータ５０３に基づいてトーンマッピング曲線３００を生成７０３する。
【0109】
図１２は、デバイス１００が、エンコーダとデコーダのシステム内のエンコーダである実施形態を示す。特に、メタデータ４０２（パラメータセット１０２である）の時間的フィルタリング２０２は、エンコーダで行われる。
【0110】
図１２は、特に、ＳＭＰＴＥ ２０９４－１０について、メタデータ４０２の時間的フィルタリング２０２を適用するための例を示す。この実施形態では、メタデータ４０２の一部（したがって、フィルタリングされたパラメータセット１０３である、時間的にフィルタリングされたメタデータ４０３の一部）である「順応点（adaptation point）」が、エンコーダによって、トーンマッピング曲線パラメータ５０２ ｃ１、ｃ２及びｃ３を計算７０２するために使用され得る。時間的フィルタリング２０２を、特に、順応点に適用する、すなわち、時間的にフィルタリングされた順応点を取得するために適用することができる。次いで、時間的にフィルタリングされたメタデータ４０２は、拡張メタデータ１００１内の更なるメタデータ４０１として（例えば埋め込みアーティスティックモードメタデータとして）デコーダに送信される。最後に、トーンマッピング曲線３００は、抽出された更なるメタデータ４０１に基づいて、したがって曲線パラメータ５０２に基づいて、デコーダによって生成７０３される。
【0111】
同様に、ＳＭＰＴＥ ２０９４－４０では、アンカー点が曲線パラメータ５０２を決定するために使用されてよく、したがって、特に、時間的フィルタリング２０２をそのようなアンカー点にも適用することができる。ＳＭＰＴＥ ２０９４－２０及び２０９４－３０では、「ＳｈａｄｏｗＧａｉｎＣｏｎｔｒｏｌ」、「ＭｉｄｔｏｎｅＷｉｄｔｈＡｄｊｕｓｔｍｅｎｔＦａｃｔｏｒ」及び「ＨｉｇｈｌｉｇｈＧａｉｎＣｏｎｔｒｏｌ」を含むメタデータ４０２内の３つのパラメータ５０２が、トーンマッピング曲線３００を決定し、したがって、時間的フィルタリング２０２を、特に、これらの３つのパラメータに適用することができる。
【0112】
上記の実施形態のすべてにおいて、メタデータ４０２は動的メタデータであり得る、すなわち、メタデータ４０２は、フレーム１０１ごとに変化し得る。さらに、上記の実施形態のすべてにおいて、曲線パラメータ５０２は、パラメータｍ＿ａ及びｍ＿ｐであってよく、これは、フェニックス・トーンマッピング曲線３００を定義するために使用され得る。
【0113】
図９～図１１に図示される上記の実施形態では、メタデータ４０２は、例えばメタデータ４０２を時間的フィルタリング２０２する前又は後に、曲線パラメータ５０２を計算するために使用され得る。次に、三次スプラインパラメータ及び計算された曲線パラメータ５０２が、拡張メタデータ１００１に埋め込まれる、更なるメタデータ４０１として結合され得る。
【0114】
図１３は、本発明の実施形態を実装するよう構成されるＨＤＲ動的トーンマッピングプロセスの信号処理パイプライン１３００の例を示す。システムの入力は、ＨＤＲビデオ、例えばＨＤＲビデオのＨＤＲビデオフレームである。一般に、このＨＤＲビデオは、カラーリストがより良い品質又は特定の芸術的意図のためにカラーグレーディングシステムを使用してビデオを編集していた、ポストプロダクション段階の出力であり得る。ＨＤＲビデオはピーク輝度が高く、しばしば１０００ｎｉｔ又は２０００ｎｉｔである可能性があり、近い将来には４０００ｎｉｔ又は１００００ｎｉｔである可能性がある。さらに、ビデオの画素値はＰＱ領域内である。
【0115】
ＨＤＲ前処理ブロック１３０１では、ＨＤＲビデオは、入力と同じままである。しかしながら、メタデータは計算される。さらに、ＨＤＲビデオコーディングブロック１３０２では、ＨＤＲビデオは、例えばビデオコーデックによって、例えばＨ．２６５又は（国内、国際又は専有の）任意の他のビデオ規格に従うビデオコーデックによって圧縮される。さらに、メタデータはビデオストリームのヘッダに埋め込まれ、これは、エンコーダからデコーダに送信される（又はデコーダによる後の取り出しのために記憶媒体に記憶される）。ＨＤＲビデオ復号ブロック１３０３では、デコーダは、ＨＤＲビデオビットストリームを受信し、圧縮された（又はコーディングされた）ビデオを復号し、ヘッダからメタデータを抽出する。
【0116】
さらに、ＨＤＲ動的トーンマッピングブロック１３０４では、ＨＤＲビデオをディスプレイ容量に適合させるためにトーンマッピングが実行される。
【0117】
例えばＨＤＲ前処理ブロック１３０１及び／又はＨＤＲ動的トーンマッピングブロック１３０４は、本発明の実施形態を実装し得る。
【0118】
本発明を、実装だけでなく実施例として様々な実施形態に関連して説明してきた。しかしながら、他の変形が、図面、本開示及び独立請求項の研究から、特許請求に係る請求項を実施する当業者によって理解され、実施され得る。請求項並びに本説明において、「含む（comprising）」という語は、他の要素又はステップを除外せず、不定冠詞「ａ」又は「ａｎ」は複数を除外しない。単一要素又は他のユニットが、請求項に記載された幾つかのエンティティ又はアイテムの機能を満たすことがある。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組合せが有利な実装において使用することができないことを示すものではない。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】