(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-11-19
(54)【発明の名称】構成可能なHDR及びSDR拡散白色レベルを有するトーンマッピング
(51)【国際特許分類】
G06T 5/90 20240101AFI20241112BHJP
H04N 5/202 20230101ALI20241112BHJP
【FI】
G06T5/90
H04N5/202
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024523392
(86)(22)【出願日】2022-10-24
(85)【翻訳文提出日】2024-04-18
(86)【国際出願番号】 EP2022079534
(87)【国際公開番号】W WO2023078707
(87)【国際公開日】2023-05-11
(32)【優先日】2021-11-08
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】518341334
【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】トゥゼ、ダビド
(72)【発明者】
【氏名】ロペス、パトリック
(72)【発明者】
【氏名】ル ナウール、ロバン
(72)【発明者】
【氏名】プリソンノー、フレデリック
【テーマコード(参考)】
5B057
【Fターム(参考)】
5B057AA20
5B057BA01
5B057CA01
5B057CA08
5B057CA12
5B057CB01
5B057CB08
5B057CB12
5B057CE11
5B057DB02
5B057DB06
5B057DB09
(57)【要約】
高ダイナミックレンジデータを取得すること(401)と、結合トーンマッピング曲線の低高ダイナミックレンジ値に対応する高ダイナミックレンジデータから、第1のトーンマッピング曲線であって、第1のトーンマッピング曲線は、高ダイナミックレンジ拡散白色を表す横座標と、標準ダイナミックレンジ拡散白色を表す縦座標を有する、第1の点と呼ばれる点によって終了し、結合トーンマッピング曲線は、高ダイナミックレンジデータから標準ダイナミックレンジデータを取得することを可能にする、第1のトーンマッピング曲線を計算すること(402、403)と、第1の点から始まる高標準ダイナミックレンジのための第2のトーンマッピング曲線を用いて、結合トーンマッピング曲線を完成させること(404)と、を含む方法。
【特許請求の範囲】
【請求項1】
高ダイナミックレンジデータを取得すること(401)と、
結合トーンマッピング曲線の低高ダイナミックレンジ値に対応する前記高ダイナミックレンジデータから、第1のトーンマッピング曲線であって、前記第1のトーンマッピング曲線は、高ダイナミックレンジ拡散白色を表す横座標と、標準ダイナミックレンジ拡散白色を表す縦座標とを有する第1の点によって終了し、前記結合トーンマッピング曲線は、前記高ダイナミックレンジデータから標準ダイナミックレンジデータを取得することを可能にする、第1のトーンマッピング曲線を計算すること(402、403)と、
前記第1の点から始まる高標準ダイナミックレンジのための第2のトーンマッピング曲線を用いて、前記結合トーンマッピング曲線を完成させること(404)と、
を含む方法。
【請求項2】
前記第2のトーンマッピング曲線が直線である、請求項1に記載の方法。
【請求項3】
前記第2のトーンマッピング曲線が放物線を含む、請求項1に記載の方法。
【請求項4】
前記結合トーンマッピング曲線を使用して、前記高ダイナミックレンジデータから前記標準ダイナミックレンジデータを計算すること(406)を更に含む、請求項1~3のいずれか一項に記載の方法。
【請求項5】
前記結合トーンマッピング曲線を表すメタデータを推定すること(405)を含む、請求項1~4のいずれか一項に記載の方法。
【請求項6】
前記第1のトーンマッピング曲線を計算することは、
前記高ダイナミックレンジデータであって、前記高ダイナミックレンジ拡散白色より小さい前記高ダイナミックレンジデータの非線形輝度値が前記標準ダイナミックレンジデータの非線形輝度値にマッピングされる、前記高ダイナミックレンジデータから中間トーンマッピング曲線を取得することと、
前記中間トーンマッピング曲線の横座標を、0と前記高ダイナミックレンジ拡散白色との間の前記高ダイナミックレンジデータの輝度値の範囲から、0と前記高ダイナミックレンジデータの最大輝度値との間の前記高ダイナミックレンジデータの輝度値の範囲に再スケーリングすることと、
前記中間トーンマッピング曲線の縦座標を、0と前記標準ダイナミックレンジ拡散白色に依存する値との間における前記標準ダイナミックレンジデータの輝度値の範囲にマッピングして、前記第1のトーンマッピング曲線を取得することと、
を含む、請求項1~5のいずれか一項に記載の方法。
【請求項7】
前記マッピングの前に、前記中間トーンマッピング曲線の前記縦座標が、知覚均一領域において変換され、変換された縦座標値が、0と前記標準ダイナミックレンジデータの最大輝度値に対応する最大縦座標値との間にある、請求項6に記載の方法。
【請求項8】
電子回路を備えるデバイスであって、前記電子回路は、
高ダイナミックレンジデータを取得し(401)、
結合トーンマッピング曲線の低高ダイナミックレンジ値に対応する前記高ダイナミックレンジデータから、第1のトーンマッピング曲線であって、前記第1のトーンマッピング曲線は、高ダイナミックレンジ拡散白色を表す横座標と、標準ダイナミックレンジ拡散白色を表す縦座標とを有する第1の点によって終了し、前記結合トーンマッピング曲線は、前記高ダイナミックレンジデータから標準ダイナミックレンジデータを取得することを可能にするように、第1のトーンマッピング曲線を計算し(402、403)、
前記第1の点から始まる高標準ダイナミックレンジのための第2のトーンマッピング曲線を用いて、前記結合トーンマッピング曲線を完成させる(404)、
ように構成されている、デバイス。
【請求項9】
前記第2のトーンマッピング曲線は直線である、請求項8に記載のデバイス。
【請求項10】
前記第2のトーンマッピング曲線は放物線を含む、請求項8に記載のデバイス。
【請求項11】
前記電子回路は、前記結合トーンマッピング曲線を使用して、前記高ダイナミックレンジデータから前記標準ダイナミックレンジデータを計算する(406)ように更に構成されている、請求項8~10のいずれか一項に記載のデバイス。
【請求項12】
前記電子回路は、前記結合トーンマッピング曲線を表すメタデータを推定する(405)ように更に構成されている、請求項8~11のいずれか一項に記載のデバイス。
【請求項13】
前記第1のトーンマッピング曲線を計算することは、
前記高ダイナミックレンジデータであって、前記高ダイナミックレンジ拡散白色より小さい前記高ダイナミックレンジデータの非線形輝度値が前記標準ダイナミックレンジデータの非線形輝度値にマッピングされる、前記高ダイナミックレンジデータから中間トーンマッピング曲線を取得することと、
前記中間トーンマッピング曲線の横座標を、0と前記高ダイナミックレンジ拡散白色との間の前記高ダイナミックレンジデータの輝度値の範囲から、0と前記高ダイナミックレンジデータの最大輝度値との間の前記高ダイナミックレンジデータの輝度値の範囲に再スケーリングすることと、
前記中間トーンマッピング曲線の縦座標を、0と前記標準ダイナミックレンジ拡散白色に依存する値との間における前記標準ダイナミックレンジデータの輝度値の範囲にマッピングして、前記第1のトーンマッピング曲線を取得することと、
を含む、請求項8~12のいずれか一項に記載のデバイス。
【請求項14】
前記マッピングの前に、前記中間トーンマッピング曲線の前記縦座標が、知覚均一領域において変換され、変換された縦座標値が、0と前記標準ダイナミックレンジデータの最大輝度値に対応する最大縦座標値との間にある、請求項13に記載のデバイス。
【請求項15】
請求項1~7のいずれか一項に記載の方法を用いて、又は請求項8~14のいずれか一項に記載のデバイスを用いて生成される信号。
【請求項16】
請求項1~7のいずれか一項に記載の方法を実装するためのプログラムコード命令を含む、コンピュータプログラム。
【請求項17】
請求項1~7のいずれか一項に記載の方法を実装するためのプログラムコード命令を記憶する、非一時的情報記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態の少なくとも1つは、概して、高ダイナミックレンジ(High Dynamic Range、HDR)ビデオから標準ダイナミックレンジ(Standard Dynamic Range、SDR)ビデオを生成するための方法及びデバイスに関し、特に、トーンマッピング曲線を定義するための方法及びデバイスに関する。
【背景技術】
【0002】
ディスプレイ技術における最近の進歩は、表示される画像における色、輝度、及びコントラストの拡張ダイナミックレンジを可能にしている。画像という用語は、本明細書では、例えば、ビデオ又は静止ピクチャ若しくは画像であり得る画像コンテンツを指す。
【0003】
高ダイナミックレンジ(HDR)ビデオは、標準ダイナミックレンジ(SDR)ビデオのダイナミックレンジと比較して拡張されたダイナミックレンジを有するビデオからなる。HDRビデオは、HDRキャプチャデバイスによってキャプチャされ、より明るい白及びより深い黒が可能なディスプレイデバイスによって表示される。このことに対処するために、HDR対応符号化基準では、この拡張範囲にわたって適合された精度を維持するために、最大輝度を高めることを可能にし、(非専門的なSDRビデオの場合の最大8ビット及び専門的なSDRビデオの場合の最大10ビットと比較して)少なくとも10ビットのダイナミックレンジを使用する。
【0004】
HDR制作は新しい領域であり、HDRコンテンツとSDRコンテンツの両方が共存する移行フェーズが存在する。この共存フェーズの間、同じライブコンテンツがHDRバージョン及びSDRバージョンで同時に生成される。次いで、ユーザは、自分の好み又は能力に応じて、コンテンツのHDR又はSDRバージョンを表示することができる。
【0005】
コンテンツ制作産業の現在の傾向は以下の通りである。
・第1に、HDRコンテンツを生成し、次に自動ツールを使用してHDRコンテンツからSDRコンテンツを自動的に導出する。
・第2に、HDR技術にとって逆効果であり得る、ユーザへの悪いHDRコンテンツの配信を回避するために、HDR制作のための制御された安全な手法を適用する。
【0006】
その点に関して、いくつかの勧告がITU-R文書「Report ITU-R BT.2408-3,Guidance for operational practices in HDR television production,07/2019」によって導入されており、以下では単にBT.2408-3レポートと呼ぶ。BT.2408-3レポートに導入された1つの重要な推奨は、HDR拡散白色を「203」nitに等しい固定値に設定するという制約である。この制約により、固定された3Dルックアップテーブル(Look-Up Table、LUT)を使用して、SDRからHDRへの変換(すなわち、逆トーンマッピング(Inverse Tone Mapping、ITM)及びHDRからSDRへの変換(トーンマッピング(Tone Mapping、TM)を実施することが可能になる。
【0007】
HDR拡散白色を「203」nitに等しい固定値に設定することは、コンテンツ製作者にとって強い制約である。実際、これらの制約により、HDRカメラは、それらの最大能力まで活用されず、写真撮影のカメラマン/ディレクタは、それらの選択/芸術的意図においてかなり制限される。
【0008】
上記の欠点を克服することが望ましい。
【0009】
HDR/SDRコンテンツ製作において、更なる柔軟性、更なる芸術的自由度を可能にするシステムを提案することが特に望ましい。
【発明の概要】
【0010】
第1の態様では、本実施形態のうちの1つ以上は方法を提供し、方法は、高ダイナミックレンジデータを取得することと、結合トーンマッピング曲線の低高ダイナミックレンジ値に対応する高ダイナミックレンジデータから、第1のトーンマッピング曲線であって、第1のトーンマッピング曲線は、高ダイナミックレンジ拡散白色を表す横座標と、標準ダイナミックレンジ拡散白色を表す縦座標を有する、第1の点と呼ばれる点によって終了し、結合トーンマッピング曲線は、第1のトーンマッピング曲線を高ダイナミックレンジデータから標準ダイナミックレンジデータを取得することを可能にする、計算することと、第1の点から始まる高標準ダイナミックレンジのための第2のトーンマッピング曲線を用いて、結合トーンマッピング曲線を完成させることと、を含む。
【0011】
一実施形態では、第2のトーンマッピング曲線は直線である。
【0012】
一実施形態では、第2のトーンマッピング曲線は放物線を含む。
【0013】
一実施形態では、方法は、結合トーンマッピング曲線を使用して、高ダイナミックレンジデータから標準ダイナミックレンジデータを計算することを更に含む。
【0014】
一実施形態では、方法は、結合トーンマッピング曲線を表すメタデータを推定することを含む。
【0015】
一実施形態では、第1のトーンマッピング曲線を計算することは、高ダイナミックレンジデータであって、高ダイナミックレンジ拡散白色より小さい高ダイナミックレンジデータの非線形輝度値が標準ダイナミックレンジデータの非線形輝度値にマッピングされる、高ダイナミックレンジデータから中間トーンマッピング曲線を取得することと、中間トーンマッピング曲線の横座標を、0と高ダイナミックレンジ拡散白色との間の高ダイナミックレンジデータの輝度値の範囲から、0と高ダイナミックレンジデータの最大輝度値との間の高ダイナミックレンジデータの輝度値の範囲に再スケーリングすることと、中間トーンマッピング曲線の縦座標を、0と標準ダイナミックレンジ拡散白色に依存する値との間における標準ダイナミックレンジデータの輝度値の範囲にマッピングして、第1のトーンマッピング曲線を取得することとを、含む。
【0016】
一実施形態では、マッピングの前に、中間トーンマッピング曲線の縦座標が、知覚均一領域において変換され、変換された縦座標値が、0と標準ダイナミックレンジデータの最大輝度値に対応する最大縦座標値との間にある。
【0017】
第2の態様では、本実施形態のうちの1つ以上は電子回路を備えるデバイスを提供し、電子回路は、高ダイナミックレンジデータを取得し、結合トーンマッピング曲線の低高ダイナミックレンジ値に対応する高ダイナミックレンジデータから、第1のトーンマッピング曲線であって、第1のトーンマッピング曲線は、高ダイナミックレンジ拡散白色を表す横座標と、標準ダイナミックレンジ拡散白色を表す縦座標とを有する第1の点によって終了し、結合トーンマッピング曲線は、高ダイナミックレンジデータから標準ダイナミックレンジデータを取得することを可能にするように、第1のトーンマッピング曲線を計算し、第1の点から始まる高標準ダイナミックレンジのための第2のトーンマッピング曲線を用いて、結合トーンマッピング曲線を完成させる、ように構成されている。
【0018】
一実施形態では、第2の曲線は直線である。
【0019】
一実施形態では、第2の曲線は放物線を含む。
【0020】
一実施形態では、電子回路は、結合トーンマッピング曲線を使用して、高ダイナミックレンジデータから標準ダイナミックレンジデータを計算するように更に構成されている。
【0021】
一実施形態では、電子回路は、結合トーンマッピング曲線を表すメタデータを推定するように更に構成されている。
【0022】
一実施形態では、第1のトーンマッピング曲線を計算することは、
高ダイナミックレンジデータであって、高ダイナミックレンジ拡散白色より小さい高ダイナミックレンジデータの非線形輝度値が標準ダイナミックレンジデータの非線形輝度値にマッピングされる、高ダイナミックレンジデータから中間トーンマッピング曲線を取得することと、中間トーンマッピング曲線の横座標を、0と高ダイナミックレンジ拡散白色との間の高ダイナミックレンジデータの輝度値の範囲から、0と高ダイナミックレンジデータの最大輝度値との間の高ダイナミックレンジデータの輝度値の範囲に再スケーリングすることと、中間トーンマッピング曲線の縦座標を、0と標準ダイナミックレンジ拡散白色に依存する値との間における標準ダイナミックレンジデータの輝度値の範囲にマッピングして、第1のトーンマッピング曲線を取得することとを、含む。
【0023】
一実施形態では、マッピングの前に、中間トーンマッピング曲線の縦座標が、知覚均一領域において変換され、変換された縦座標値が、0と標準ダイナミックレンジデータの最大輝度値に対応する最大縦座標値との間にある。
【0024】
第3の態様では、本実施形態のうちの1つ以上は、第1の態様の方法を用いて、又は第2の態様のデバイスを用いて生成される信号を提供する。
【0025】
第4の態様では、本実施形態のうちの1つ以上は、第1の態様による方法を実装するためのプログラムコード命令を含むコンピュータプログラムを提供する。
【0026】
第5の態様では、本実施形態のうちの1つ以上は、第1の態様による方法を実装するためのプログラムコード命令を記憶する、非一時的情報記憶媒体を提供する。
【図面の簡単な説明】
【0027】
【
図1A】拡散白色が現れる輝度値のスケールを示す。
【
図1B】拡散白色が「203」nitに固定されたときの輝度値のスケールの分離を示す。
【
図2】様々な実施形態のコンテキストを概略的に示す。
【
図3A】様々な態様及び実施形態を実施することができる処理モジュールのハードウェアアーキテクチャの一例を概略的に示す。
【
図3B】様々な態様及び実施形態が実装される第1のシステムの一例のブロック図を示す。
【
図3C】様々な態様及び実施形態が実装される第2のシステムの一例のブロック図を示す。
【
図4】様々な実施形態のトーンマッピング曲線構築方法の例を示す。
【
図5】SL-HDR1コンテキストにおけるトーンマッピング曲線の例を提供する。
【
図6】SL-HDR1のトーンマッピング曲線構築方法によって得られたトーンマッピング曲線を示す。
【
図7】様々な実施形態のトーンマッピング曲線構築方法によって得られたトーンマッピング曲線を示す。
【
図8】トーンマッピングルックアップテーブルの例を提供する。
【
図9】トーンマッピングルックアップテーブルに適用される再スケーリングプロセスの詳細を概略的に示す。
【
図10】知覚均一領域において変換されたトーンマッピングルックアップテーブルに対応するトーンマッピング曲線の形状の例を提供する。
【
図11】再スケーリングされたトーンマッピングルックアップテーブルに対応するトーンマッピング曲線の形状の例を提供する。
【
図12】直線を使用して実装された鏡面反射TM曲線とディテールTM曲線とを組み合わせることによって得られる、結合TM曲線の例を提供する。
【
図13】放物線を使用して実装された鏡面反射TM曲線とディテールTM曲線とを組み合わせることによって得られる、結合TM曲線の例を提供する。
【
図14】輝度マッピング変数を決定するためのプロセスの例を示す。
【発明を実施するための形態】
【0028】
先に述べたように、BT.2408-3レポートは、いくつかの推奨、特に拡散白色の制約を提案した。拡散白色は、BT.2408-3レポートにおいて、「鏡面ハイライトを最小化し、スペクトルパワー吸収率を最小化することによって、測色的に灰色であるだけでなくスペクトル的に灰色であることによって、完全な反射拡散体に近似するカードによって提供される白色」と定義されている。「完全な反射拡散体」は、「対象の各波長において1に等しいスペクトル放射輝度係数を有する理想的な等方性非蛍光拡散体」として定義される。
【0029】
言い換えれば、拡散白色は、以下を分離するビデオ信号の輝度レベルである。
・拡散白色より下の輝度レベルに対応する、全てのディテールを有するシーン。
・鏡面反射。すなわち、非常に明るい画素であり、一般的に白に近く、ディテールが非常に少なく、拡散白色レベルを超える輝度レベルに対応する。
【0030】
図1Aは、拡散白色が現れる輝度値のスケールを示す。図から分かるように、拡散白色は、全ての可能な輝度値のセットを2つの部分に分離する。
【0031】
拡散白色の概念は、HDR信号及びSDR信号に有効である。
【0032】
BT.2408-3レポートは、HDR拡散白色が「203」nitに等しいことを規定している。
【0033】
しかしながら、「203」nitの制約は推奨に過ぎず、多くのコンテンツ製作者は、その推奨に同意しない。
【0034】
実際、この仕様は、HDRコンテンツが制約されるという大きな欠点をもたらす。すなわち、典型的な1000nitのHDRコンテンツに対して、わずかな量のHDR輝度範囲[0;203nit]しかシーンのディテールに充てられず、HDR輝度範囲の最大部分[203;1000nit]が、ディテールをもたらさない鏡面反射のために確保される。
【0035】
図1Bは、拡散白色が「203」nitに固定されたときの輝度値のスケールの分離を示す。
【0036】
この制限の理由の1つは、制御された「非常に安全な」ライブHDRコンテンツ生成の必要性である。加えて、この制限は以下の利点を有する。
・HDRからSDRへの変換の実施(すなわち、トーンマッピング(TM))は、「203」nitで定義されるHDR拡散白色が、最大SDR値の90%~100%(すなわち、90nit~100nit)で一般に定義されるSDR拡散白色にマッピングされる必要があるので、より単純である。したがって、トーンマッピングは、非常に基本的な静的3D-LUTを使用して実施することができる。
・SDRからHDRへの変換の実施(すなわち、逆トーンマッピング(Inverse Tone Mapping、ITM)も同じ理由でより単純であり、逆トーンマッピングも非常に基本的な静的3D-LUTを用いて実施することができる。
【0037】
しかしながら、シーンのディテールに割り当てられる輝度値と、「203」nitの拡散白色によって引き起こされる鏡面反射に割り当てられる輝度値との間のそのような比は、結果として得られるHDR画像を非常に鈍くし、魅力的でないものにする。
【0038】
以下の実施形態は、HDR作成において更なる柔軟性及び更なる芸術的自由度を可能にし、したがって、以下を使用することによってより魅力的なHDRコンテンツを取得することを可能にするシステムを提案することによって、これらの欠点を取り除くことを可能にする。
・HDRからSDRへの、構成可能で動的なHDR拡散白色レベル(トーンマッピング)、
・HDRからSDRへの動的変換(トーンマッピング)。
【0039】
図2は、様々な実施形態が実装されるコンテキストの例を示す。
【0040】
図2において、例えばHDRカメラであるソースデバイス20は、HDRビデオを生成し、このHDRビデオを符号化デバイス21に提供する。符号化デバイスは、HDRビデオにトーンマッピング(TM)プロセスを適用してSDRビデオを生成する。次いで、SDRビデオは、例えば、AVC((ISO/CEI 14496-10/ITU-T H.264)、HEVC(ISO/IEC 23008-2-MPEG-H Part 2、High Efficiency Video Coding/ITU-T H.265))、VVC(ISO/IEC 23090-3-MPEG-I、Versatile Video Coding/ITU-T H.266)、又は任意の他のビデオ圧縮規格などのビデオ圧縮規格を使用して符号化される。
【0041】
符号化デバイス21は、符号化されたSDRビデオを含むストリームを復号デバイス22に提供(通信ネットワークを介して送信)する。復号デバイスは、符号化されたSDRビデオを復号し、復号したSDRビデオをディスプレイデバイス23に提供する。ディスプレイデバイス23は、SDRビデオを表示可能である。
【0042】
別の実施形態では、復号デバイス22は、符号化されたSDRビデオを復号し、逆トーンマッピング(ITM)プロセスを復号されたSDRビデオに適用して、HDRビデオを生成する。そして、生成されたHDRビデオは、HDRビデオを表示可能なディスプレイデバイス23に供給される。この実施形態では、例えば、符号化デバイス21は、SDRデータと共に、TM曲線を表すメタデータを提供する。これらのメタデータは、復号デバイス22によって適用されるITMプロセスをガイドするのに役立つ。
【0043】
図3Aは、符号化デバイス21又は復号デバイス22によって実行される様々なプロセスを実施することができる処理モジュール30のハードウェアアーキテクチャの一例を概略的に示す。例えば、処理モジュール30は、
図4に関連して後述されるプロセスを実施するように適合される。処理モジュール30は、非限定的な例として、通信バス305によって接続された、1つ以上のマイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサを包含するプロセッサ又は中央処理ユニット(Central Processing Unit、CPU)300と、ランダムアクセスメモリ(Random Access Memory、RAM)301と、リードオンリーメモリ(Read Only Memory、ROM)302と、電気的消去可能プログラマブルリードオンリーメモリ(Electrically Erasable Programmable Read-Only Memory、EEPROM)、リードオンリーメモリ(ROM)、プログラマブルリードオンリーメモリ(Programmable Read-Only Memory、PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory、DRAM)、スタティックランダムアクセスメモリ(Static Random Access Memory、SRAM)、フラッシュ、磁気ディスクドライブ、並びに/又は光ディスクドライブ、又は、SD(セキュアデジタル、secure digital)カードリーダ及び/若しくはハードディスクドライブ(hard disc drive、HDD)などの記憶媒体リーダ及び/若しくはネットワークアクセス可能な記憶デバイスを含むがこれらに限定されない不揮発性メモリ及び/若しくは揮発性メモリを含むことができる記憶ユニット303と、データを他のモジュール、デバイス、又は機器と交換するための少なくとも1つの通信インターフェース304と、を備える。通信インターフェース304は、通信チャネルを介してデータを送信及び受信するように構成された送受信機を含むことができるが、これらに限定されない。通信インターフェース304は、モデム又はネットワークカードを含むことができるが、これらに限定されない。
【0044】
処理モジュール30が符号化デバイス21のプロセスを実施する場合、通信インターフェース304は、例えば、処理モジュール30が、HDRビデオを受信し、符号化されたSDRビデオを含むストリームを提供することを可能にする。処理モジュール30が復号デバイス22のプロセスを実施する場合、通信インターフェース304は、例えば、処理モジュール30が、符号化されたSDRビデオを含むストリームを受信し、復号されたSDRビデオ又はHDRビデオを提供することを可能にする。
【0045】
プロセッサ300は、ROM302、外部メモリ(図示せず)、記憶媒体、又は通信ネットワークからRAM301にロードされた命令を実行することができる。処理モジュール30の電源が投入されると、プロセッサ300は、RAM301から命令を読み出し、それらを実行することができる。これらの命令は、例えば、
図4に関連して後述される符号化デバイス21のプロセス又は復号デバイス22のプロセスをプロセッサ300に実行させるコンピュータプログラムを形成する。
【0046】
符号化デバイス21又は復号デバイス22によって実行されるプロセスのアルゴリズム及びステップの全て又は一部は、デジタル信号プロセッサ(Digital Signal Processor、DSP)若しくはマイクロコントローラなどのプログラマブルマシンによる命令セットの実行によってソフトウェア形態で実装され得るか、又はフィールドプログラマブルゲートアレイ(Field-Programmable Gate Array、FPGA)若しくは特定用途向け集積回路(Application-Specific Integrated Circuit、ASIC)などのマシン若しくは専用コンポーネントによってハードウェア形態で実装され得る。
【0047】
図3Cは、様々な態様及び実施形態が実装され得る復号デバイス22の一例のブロック図を示す。復号デバイス22は、後述する様々な構成要素を含むデバイスとして具現化することができ、本明細書に記載の態様及び実施形態のうちの1つ以上を実行するように構成されている。かかるデバイスの実施例としては、これらに限定されないが、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ記録システム、及びコネクテッド家電などの様々な電子デバイスが挙げられる。復号デバイス22の要素を、単独で又は組み合わせて、単一の集積回路(Integrated Circuit、IC)、複数のIC、及び/又は別個の構成要素に具体化することができる。例えば、少なくとも1つの実施形態では、復号デバイス22は、復号モジュール又はITMモジュールを実装する1つの処理モジュール30を備える。しかし、別の実施形態では、復号デバイス22は、復号モジュールを実装する第1の処理モジュール30と、ITMモジュールを実装する第2の処理モジュール30、又は復号モジュール及びITMモジュールを実装する1つの処理モジュール30を備えることができる。様々な実施形態では、復号デバイス22は、例えば、通信バスを介して、又は専用の入力ポート及び/若しくは出力ポートを通して、1つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態では、復号デバイス22は、本明細書に説明される態様のうちの1つ以上を実装するように構成されている。
【0048】
復号デバイス22は、1つの復号モジュールを実装することができる少なくとも1つの処理モジュール30を備える。
【0049】
処理モジュール30への入力は、入力ブロック32に示すように様々な入力モジュールを介して提供することができる。そのような入力モジュールとしては、(i)例えば、放送局から無線で送信される無線周波数(radio frequency、RF)信号を受信するRFモジュール、(ii)構成要素(COMP)入力モジュール(又は一組のCOMP入力モジュール)、(iii)ユニバーサルシリアルバス(Universal Serial Bus、USB)入力モジュール、及び/又は(iv)高精細度マルチメディアインターフェース(High Definition Multimedia Interface、HDMI)入力モジュールが挙げられるが、これらに限定されない。他の実施例には、
図3Cには示されていないが、コンポジットビデオが含まれる。
【0050】
様々な実施形態では、入力ブロック32の入力モジュールは、当技術分野で既知のように、関連するそれぞれの入力処理要素を有する。例えば、RFモジュールは、(i)所望の周波数を選択する(信号を選択する、又は信号を周波数帯域に帯域制限するとも称される)、(ii)選択された信号をダウンコンバートする、(iii)特定の実施形態で、(例えば)チャネルと称され得る信号周波数帯域を選択するために、再びより狭い周波数帯域に帯域制限する、(iv)ダウンコンバート及び帯域制限された信号を復調する、(v)誤り訂正を実施する、並びに(vi)データパケットの所望のストリームを選択するために多重分離する、ために好適な要素と関連付けられ得る。様々な実施形態のRFモジュールは、これらの機能を実行する1つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。RF部分は、例えば、受信信号をより低い周波数(例えば、中間周波数又はベースバンドに近い周波数)又はベースバンドにダウンコンバートすることを含む、これらの機能のうちの様々な機能を実行するチューナを含むことができる。セットトップボックスの一実施形態では、RFモジュール及びその関連する入力処理要素は、有線(例えば、ケーブル)媒体を介して送信されるRF信号を受信し、所望の周波数帯域にフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上で説明される(及び他の)要素の順序を並べ替える、これらの要素の一部を削除する、並びに/又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ-デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態では、RFモジュールは、アンテナを含む。
【0051】
追加的に、USBモジュール及び/又はHDMIモジュールは、復号デバイス22をUSB接続及び/又はHDMI接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理、例えばリードソロモン誤り訂正の様々な態様は、例えば、別個の入力処理IC内又は必要に応じて復号デバイス22内で実装することができることを理解すべきである。同様に、USB又はHDMIインターフェース処理の態様は、必要に応じて別個のインターフェースIC内又は処理モジュール30内で実装され得る。復調され、誤り訂正され、逆多重化されたストリームは、処理モジュール30に提供される。
【0052】
復号デバイス22の様々な要素は、一体型ハウジング内に提供され得る。一体型ハウジング内で、様々な要素は、好適な接続配置、例えば、IC間(I2C)バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して、相互接続され、それらの間でデータを送信し得る。例えば、復号デバイス22では、処理モジュール30は、バス305によって復号デバイス22の他の要素に相互接続される。
【0053】
処理モジュール30の通信インターフェース304は、復号デバイス22が通信チャネル31上で通信することを可能にする。通信チャネル31は、例えば、有線及び/又は無線媒体内に実装することができる。
【0054】
データは、様々な実施形態では、Wi-Fiネットワーク、例えば、IEEE802.11(IEEEは、米国電気電子技術者協会(Institute of Electrical and Electronics Engineers)を指す)などの無線ネットワークを使用して、復号デバイス22にストリーミングされるか、又は別様に提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信用に適合された通信チャネル31及び通信インターフェース304によって受信される。これらの実施形態の通信チャネル31は、典型的には、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック32のHDMI接続によってデータを配信するセットトップボックスを使用して、復号デバイス22にストリーミングされたデータを提供する。更に他の実施形態では、入力ブロック32のRF接続を使用して、復号デバイス22にストリーミングされたデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えば、セルラネットワーク又はBluetoothネットワークを使用する。
【0055】
復号デバイス22は、ディスプレイデバイス23、スピーカ36、及び他の周辺デバイス37を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイデバイス23は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(Organic Light-Emitting Diode、OLED)ディスプレイ、湾曲ディスプレイ、及び/又は折り畳み式ディスプレイのうちの1つ以上を含む。ディスプレイデバイス23は、テレビ、タブレット、ラップトップ、携帯電話(スマートフォン)、又は他のデバイス用とすることができる。ディスプレイデバイス23はまた、他のコンポーネントと統合され得るか(例えば、スマートフォンのように)、又は別個に(例えば、ラップトップのための外部モニタ)され得る。他の周辺デバイス37は、実施形態の様々な例において、スタンドアロンのデジタルビデオディスク(又はデジタル多用途ディスク)(両方の用語でDVR)、ディスクプレーヤ、ステレオシステム、及び/又は照明システムのうちの1つ以上を含む。様々な実施形態は、復号デバイス22の出力に基づいて機能を提供する1つ以上の周辺デバイス37を使用する。例えば、ディスクプレーヤは、復号デバイス22の出力を再生する機能を実施する。
【0056】
様々な実施形態では、制御信号が、復号デバイス22と、ディスプレイデバイス23、スピーカ36、又は他の周辺デバイス37との間で、AV.Link、家庭用電子制御(Consumer Electronics Control、CEC)、又はユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどの信号伝送を使用して通信される。出力デバイスは、それぞれのインターフェース33、34、及び35を通じた専用接続を介して復号デバイス22に通信可能に連結することができる。代替的に、出力デバイスを、通信インターフェース304を介し、通信チャネル31を使用して、復号デバイス22に接続させることができる。ディスプレイデバイス23及びスピーカ36を、例えば、テレビなどの電子デバイスにおける復号デバイス22の他の構成要素と単一のユニットに統合することができる。様々な実施形態において、ディスプレイインターフェース33は、例えば、タイミングコントローラ(Timing Controller、T Con)チップなどのディスプレイドライバを含む。
【0057】
あるいは、ディスプレイデバイス23及びスピーカ36は、例えば入力32のRFモジュールが別個のセットトップボックスの一部である場合、他の構成要素のうちの1つ以上から分離することができる。ディスプレイデバイス23及びスピーカ36が外部構成要素である様々な実施形態では、例えば、HDMIポート、USBポート、又はCOMP出力を含む専用の出力接続を介して出力信号を提供することができる。
【0058】
図3Bは、様々な態様及び実施形態が実装されている符号化デバイス21の一例のブロック図を例解する。符号化デバイス21は、復号デバイス22と非常に類似している。符号化デバイス21は、後述する様々な構成要素を含むデバイスとして具現化することができ、本明細書に記載の態様及び実施形態のうちの1つ以上を実行するように構成されている。そのようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、カメラ及びサーバなどの様々な電子デバイスが挙げられるが、これらに限定されない。符号化デバイス21の要素を、単独で又は組み合わせて、単一の集積回路(Integrated Circuit、IC)、複数のIC、及び/又は別個の構成要素に具体化することができる。例えば、少なくとも1つの実施形態では、符号化デバイス21は、符号化デバイス21のプロセスを実施する1つの処理モジュール30を備える。様々な実施形態では、符号化デバイス21は、例えば、通信バスを介して、又は専用の入力ポート及び/若しくは出力ポートを通して、1つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態では、符号化デバイス21は、本明細書に説明される態様のうちの1つ以上を実装するように構成されている。
【0059】
処理モジュール30への入力は、既に
図3Cに関して説明した入力ブロック32に示すように様々な入力モジュールを介して提供することができる。
【0060】
符号化デバイス21の様々な要素は、一体型ハウジング内に提供され得る。一体型ハウジング内で、様々な要素は、好適な接続配置、例えば、IC間(I2C)バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して、相互接続され、それらの間でデータを送信し得る。例えば、符号化デバイス21では、処理モジュール30は、バス305によって符号化デバイス21の他の要素に相互接続される。
【0061】
処理モジュール30の通信インターフェース304は、符号化デバイス21が通信チャネル31上で通信することを可能にする。
【0062】
データは、様々な実施形態では、Wi-Fiネットワーク、例えば、IEEE802.11(IEEEは、米国電気電子技術者協会(Institute of Electrical and Electronics Engineers)を指す)などの無線ネットワークを使用して、符号化デバイス21にストリーミングされるか、又は別様に提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信用に適合された通信チャネル31及び通信インターフェース304によって受信される。これらの実施形態の通信チャネル31は、典型的には、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック32のRF接続を使用して、符号化デバイス21にストリーミングされたデータを提供する。
【0063】
上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えば、セルラネットワーク又はBluetoothネットワークを使用する。
【0064】
符号化デバイス21に提供されるデータは、一般に、例えば符号化デバイス21に接続されたHDRカメラ20によって提供される生のHDRビデオである。
【0065】
符号化デバイス21は、復号デバイス22などの出力信号を記憶及び/又は復号することができる様々な出力デバイスに出力信号を提供することができる。
【0066】
様々な実装形態は、復号を伴う。本出願で使用される場合、「復号」は、例えば、ディスプレイに適した最終出力を生成するために、受信された符号化されたビデオストリームに対して実行されるプロセスの全て又は一部を包含し得る。様々な実施形態において、このようなプロセスは、例えば、エントロピー復号、逆量子化、逆変換、及び予測など、デコーダによって一般的に実行されるプロセスのうちの1つ以上を含む。
【0067】
様々な実装形態は、符号化を伴う。「復号」に関する上記の考察と同様に、本出願で使用される場合、「符号化」は、例えば、符号化されたSDRビデオストリームを生成するために入力RAW SDRビデオで実行されるプロセスの全部又は一部を包含し得る。様々な実施形態において、このようなプロセスは、例えば、分割、予測、変換、量子化、及びエントロピー符号化など、エンコーダによって一般的に実行されるプロセスのうちの1つ以上を含む。
【0068】
図がフロー図として提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法/プロセスのフロー図も提供するものと理解されたい。
【0069】
本明細書に記載の実装形態及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも(例えば、方法としてのみ考察される)、考察された特徴の実装形態は、他の形態(例えば、装置又はプログラム)でも実装することができる。例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて装置を実装することができる。方法は、例えば、プロセッサにおいて実装することができ、プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスを指す。プロセッサには、例えば、エンドユーザ間の情報の通信を容易にする、コンピュータ、携帯電話、ポータブル/携帯情報端末(Personal Digital Assistant、「PDA」)などのデバイスなどの通信デバイスも含まれる。
【0070】
「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、並びにそれらの他の変形形態への言及は、その実施形態に関連して説明する特定の特徴、構造、特性などが、少なくとも1つの実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「ある実装形態では」、並びに他の変形形態という句が現れるとき、必ずしも全てが同じ実施形態を指しているのではない。
【0071】
加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、メモリから情報を取得すること、又は、例えば、別のデバイス、モジュール若しくはユーザから情報を取得することのうちの1つ以上を含むことができる。
【0072】
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、(例えば、メモリから)情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、又は情報を推定することのうちの1つ以上を含むことができる。
【0073】
加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は(例えば、メモリから)情報を取得することのうちの1つ以上を含むことができる。更に、「受信すること」は、一般には、例えば、情報を記憶する、情報を処理する、情報を送信する、情報を移動する、情報をコピーする、情報を消去する、情報を計算する、情報を判定する、情報を予測する、又は情報を推定するなどの操作時に、何らかの方式で関与する。
【0074】
「/」、「及び/又は」、「のうちの少なくとも1つ」、「1つ以上」のいずれかの使用、例えば、「A/B」、「A及び/又はB」、「A及びBのうちの少なくとも1つ」、「A及びBの1つ以上」の場合、最初にリストされた選択肢(A)のみの選択、又は2番目にリストされた選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することを意図しているものと理解されたい。更なる例として、「A、B、及び/又はC」及び「A、B、及びCのうちの少なくとも1つ」、「A、B及びCのうちの1つ以上」の場合、このような句は、最初にリストされた選択肢(A)のみの選択、又は2番目にリストされた選択肢(B)のみの選択、又は3番目にリストされた選択肢(C)のみの選択、又は、最初及び2番目にリストされた選択肢(A及びB)のみの選択、又は、最初及び3番目にリストされた選択肢(A及びC)のみの選択、又は、2番目及び3番目にリストされた選択肢(B及びC)のみの選択、又は3つの選択肢(A及びB及びC)全ての選択を包含するように意図されている。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
【0075】
また、本明細書で使用されるとき、「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。例えば、特定の実施形態では、エンコーダは、いくつかのコーディングツールの使用をシグナリングする。このようにして、実施形態では、エンコーダ側とデコーダ側の両方で、同じパラメータを使用することができる。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる(明示的なシグナリング)。これに対し、デコーダが既にその特定のパラメータと共に他のパラメータも有する場合は、単にデコーダがその特定のパラメータを知ること、及びそれを選択することを可能にするように、送信を行わないシグナリング(暗黙的なシグナリング)を使用することができる。いかなる実際の機能の送信も回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成することができることが理解されよう。例えば、1つ以上のシンタックス要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上記は、「信号」という語の動詞形に関連し、「信号」という語は、本明細書では名詞としても使用されることがある。
【0076】
当業者には明白であるように、実装形態は、例えば、記憶され得る、又は送信され得る情報を搬送するようにフォーマットされた様々な信号をもたらすことができる。情報は、例えば、方法を実施するための命令、又は説明されている実装形態の1つによって生成されるデータを含むことができる。例えば、符号化されたSDRビデオを搬送するように、信号をフォーマットすることができる。例えば、電磁波として(例えば、スペクトルの無線周波数部分を使用して)、又はベースバンド信号として、このような信号をフォーマットすることができる。フォーマットすることは、例えば、符号化されたビデオストリームを符号化すること、及び符号化ビデオストリームで搬送波を変調することを含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報とすることができる。既知であるように、様々な異なる有線リンク又は無線リンク上で信号を送信することができる。信号は、プロセッサ可読媒体に記憶することができる。
【0077】
様々な実施形態は、ビットストリームに言及し得る。ビットストリームは、例えば、ビットの任意のシリーズ又はシーケンスを含み、データビットが、例えば、送信、受信、又は記憶される必要はない。
【0078】
以下の実施形態のいくつかは、トーンマッピング曲線の構築に関する。トーンマッピング曲線を、この曲線を定義する変数と共に構築する方法は、仕様ETSI TS 103 433-1 v1.4.1, High-Performance Single Layer High Dynamic Range(HDR)System for use in Consumer Electronics devices;Part 1:Directly Standard Dynamic Range(SDR)Compatible HDR System(SL-HDR1),08/2021のセクション7.2.3.1に詳述されており、以下ではSL-HDR1と呼ぶ。
【0079】
図5は、SL-HDR1コンテキストにおけるトーンマッピング曲線の例を提供する。
【0080】
トーンマッピング曲線は、知覚的に均一な領域において適用され、3つの部分を含む区分的曲線である。
・底部セクション:底部セクションは線形であり、その急峻度はパラメータshadowGainによって決定される。
・上部セクション:上部セクションも線形であり、その急峻度はパラメータhighlightGainによって決定される。
・中間セクション:中間セクションは、2つの線形セクションの間に滑らかなブリッジを提供する放物線である。クロスオーバの広さはパラメータmidToneWidthAdjFactorによって決定される。
【0081】
図3のトーンマッピング曲線の例は、HDR拡散白色もSDR拡散白色も考慮しないトーンマッピング曲線を構築する方法の結果である。
【0082】
SL-HDR1に記載されるTM曲線構築方法が従う主な制約は、以下の通りである。
【0083】
・原点として定義されるSDR最小値(0nit)にHDRヌル輝度値(0nit)をマッピングする。
・最大目標点として定義されるSDR最大値(100nit)にHDRピーク輝度値(すなわち、最大HDR輝度値)をマッピングする。
・原点と最大目標との間のTM曲線を定義する。
【0084】
図6は、SL-HDR1のTM曲線構築方法によって得られたトーンマッピング曲線を示す。
【0085】
以下の実施形態で提案されるTM曲線構築方法では、HDR拡散白色及びSDR拡散白色は、以下の2つの追加の制約を伴って考慮される。
・常にHDRピーク輝度以下であるHDR拡散白色値、
・常にSDR最大値(100nit)以下であるSDR拡散白色値。
【0086】
新しいTM曲線構築方法の原理は以下の通りである。
・原点として定義されるSDR最小値(0nit)にHDRヌル輝度値(0nit)をマッピングする(SL-HDR1のTM曲線構築方法に関するものと同一)。
・拡散白色目標として定義されるSDR拡散白色値(0<SDR拡散白色<SDR最大値)にHDR拡散白色値(0<HDR拡散白色<HDRピーク輝度)をマッピングする。
・原点と拡散白色目標との間のTM曲線を定義する。SL-HDR1のこのTM曲線構築方法は、最大目標点を拡散白色目標点で置き換えるという、わずかな修正を伴って使用される。すなわち以下の通りである。
○HDRピーク輝度値が、新しい入力パラメータであるHDR拡散白色値に置き換えられる。
○SDR最大値(100nit)が、新たな入力パラメータであるSDR拡散白色値に置き換えられる。
・拡散白色目標と最大目標との間の鏡面反射マッピング曲線を定義する。対応する画素は、コンテンツの鏡面反射部分に対応する。
【0087】
図7は、様々な実施形態のTM曲線構築方法によって得られたトーンマッピング曲線を示す。
【0088】
以下では、様々な実施形態のTM曲線構築方法によって得られたトーンマッピング曲線を結合TM曲線と呼ぶ。
図7の結合TM曲線の例に見られるように、この結合TM曲線は、2つの部分、すなわち、ディテールTM曲線と呼ばれる第1の部分と、鏡面反射TM曲線と呼ばれる第2の部分とから構成されている。ディテールTM曲線は、ピクチャのディテールのマッピングに関与する。ディテールTM曲線は、原点(0,0)と拡散白色目標開始点との間にある。鏡面反射TM曲線は、ピクチャの鏡面反射のマッピングに関与する。鏡面反射TM曲線は、直線、曲線、放物線などの任意の形状であり得る。鏡面反射TM曲線の唯一の制約は、拡散白色目標開始点で開始し、最大目標終了点で終了することである。通常のTM曲線と比較して、結合TMマッピング曲線は、拡散白色目標開始点という新しい制御点を使用すると考えられる。
【0089】
図4は、様々な実施形態のトーンマッピング曲線構築方法の例を示す。
図4の方法は、例えば、符号化デバイス21の処理モジュール30によって実行される。
【0090】
ステップ401において、処理モジュール30は、HDRビデオコンテンツを表すHDRデータを取得する。HDRデータは、例えば、生のHDRビデオコンテンツである。
【0091】
ステップ401の後にステップ402及び403が続き、処理モジュール30は、HDRデータから
図7に関連して表されるようなディテールTM曲線を計算する。
【0092】
ステップ402において、処理モジュール30は、HDRデータからTM曲線を計算する。
【0093】
一実施形態では、ステップ402において、SL-HDR1のTM曲線構築方法の変形を再使用する。SL-HDR1の元のTM曲線構築方法は、HDRデータの最大ピーク輝度をHDR最大値として使用し、HDRデータのこの最大ピーク輝度値をSDR最大値、すなわち「100」nitにマッピングする。
【0094】
SL-HDR1のTM曲線構築方法の変形において、HDR最大ピーク輝度値は、HDR拡散白色値に置き換えられ、これは、ここで、TM曲線構築方法が、HDR拡散白色値をSDR最大値にマッピングすることを意味する。その場合、HDR拡散白色よりも高いHDR値は、無視されるか、又はHDR拡散白色値に設定され得る。言い換えれば、SL-HDR1のTM曲線構築方法の変形は、最大ピーク輝度値がHDR拡散白色値に置き換えられるという事実を除いて、その全ての特性においてSL-HDR1のTM曲線構築方法と同一である。
【0095】
この変形の出力は、ガンマ2.4領域におけるトーンマッピングLUTであり、すなわち、トーンマッピングLUTは、HDRデータの非線形輝度値(ガンマ2.4)をSDRデータの非線形輝度値(ガンマ2.4)にマッピングする。そのようなLUTに対応するTM曲線の形状の例を
図8に示す。
図8の例では、TM LUTは1001エントリLUTである。
・横座標は、「0」から「1000」までの範囲であり、各エントリは、(nit単位のHDR輝度値)/(nit単位のHDR拡散白色値)
2,4*1000を表す。言い換えれば、範囲[0;1000]内のTM LUTの各エントリのうち、HDR拡散白色以下のものは、[0;HDR拡散白色]内のHDR値を表す。
・縦座標は、「0」」から「1023」までの範囲であり、各値は、((nit単位のSDR輝度値)/(nit単位のSDR最大値))
2,4*1023を表す。SDR輝度値は範囲[0;SDR最大値]内に留まる。
【0096】
ステップ403において、処理モジュール30は、ステップ402で計算されたTM曲線に再スケーリングを適用する。
【0097】
TM曲線の再スケーリングは、TM LUTの横座標を[0;HDR拡散白色]から[0;HDRピーク輝度](すなわち、HDR値の範囲を[0;HDR拡散白色]から[0;HDRピーク輝度])に再スケーリングする一方で、SDR拡散白色制約を追加することによって縦座標を[0;SDR最大値]に保つことに相当する。
【0098】
図9は、ステップ403で適用される再スケーリングプロセスの詳細を概略的に示す。
【0099】
ステップ4031において、処理モジュール30は、知覚均一領域においてTM LUTを変換する。そうするために、「0」とLUTSize=1001との間の各横座標値i(すなわちi∈[0;LUTSize-1])について、変換された縦座標SDR_PU_Y[i]は次のように計算される。
【0100】
【数1】
ここで、
・PeakSDRLuminance:最大SDR輝度=100nit
・SdrOETF(.)は、線形SDR値YinをSDR知覚領域値に変換する関数である。例えば、
SdrOETF(Yin)=log(32.(100/10000)
(1/2.4).(Yin)
(1/2.4)+1)/log(32.(100/10000)
(1/2.4)+1)
・LUTSize-1は、HDR拡散白色値に対応する。
・SDR_PU_Y[i]縦座標は「0」から「1」までの範囲であり、最大値「1」は最大SDR輝度値=100nitに対応する。
【0101】
図10は、知覚均一領域において変換されたTM LUTに対応するTM曲線の形状の例を提供する。
【0102】
ステップ4032において、処理モジュール30は、変換されたTM LUTから再スケーリングされたTM LUTを計算する。言い換えれば、再スケーリングされたTM LUTは、変換されたTM LUTの再スケーリングされたバージョンであり、以下の通りである。
【0103】
・再スケーリングされたTM LUTの横座標は「0」から(LUTSize-1)までの範囲であり、横座標値(LUTSize-1)は、HDRピーク輝度値(すなわち、HDRデータの最大輝度値)に対応する。
・再スケーリングされた縦座標は「0」から「1」までの範囲であり、最大値「1」は最大SDR輝度(=100nit)に対応する。
・HDR拡散白色値に対応する、変換されたTM LUT横座標の最大値は、ここで、以下のように計算される整数横座標rescalePerceptualInputDiffuseWhitePointにマッピングされる。
rescalePerceptualInputDiffuseWhitePoint=HDR_Diffuse_White/最大ピーク輝度)(1/2.4)*LUTSize+0.5、
ここで、HDR_Diffuse_Whiteは、HDR拡散白色の値である。
・最大SDR輝度値(「100」nit)に対応する、変換されたTM LUT縦座標の最大値は、ここで、縦座標rescalePerceptualOutputにマッピングされ、rescalePerceptualOutputは、以下のように計算される。
rescalePerceptualOutput=SdrOETF(SDR_Diffuse_White/100)(1/2.4)
・横座標i=0から(rescalePerceptualInputDiffuseWhitePoint-1)までの再スケーリングされたTM LUT縦座標SDR_PU_Y_rescaled[i]の各値は、以下のように計算される。
curRescalePerceptualInput=(i/rescalePerceptualInput)、
SDR_PU_Y_rescaled[i]=SDR_PU_Y[curRescalePerceptualInput]*rescalePerceptualOutput。
ここで、rescalePerceptualInput=(HDR_Diffuse_White/最大ピーク輝度)(1/2.4))である。
【0104】
図から分かるように、変換された縦座標SDR_PU_Y[i]は、[0;rescalePerceptualOutput]にマッピングされ、SDR_PU_Y_rescaled[i]を得る。
【0105】
図11は、再スケーリングされたTM LUTに対応するTM曲線の形状の例を提供する。
【0106】
図11に見られるように、結合TM曲線の低いSDR(及びHDR)値に対応するディテールTM曲線は、HDR拡散白色を表す横座標(すなわちrescalePerceptualInputDiffuseWhitePoint)及びSDR拡散白色を表す縦座標(すなわちrescalePerceptualOutput)を有する最高SDR値の点で終了する。
【0107】
ステップ404において、処理モジュール30は、rescalePerceptualInputDiffuseWhitePointと(LUTSize-1)との間の横座標について、及び縦座標rescalePerceptualOutputと「1」との間の縦座標について、再スケーリングされたTM LUTを完成させる。言い換えれば、処理モジュールは、鏡面反射TM曲線を表す部分を有するディテールTM曲線のみを表す現在の再スケーリングされたTM LUTを完成させる。
【0108】
再スケーリングされたTM LUTを完成させる前に、処理モジュール30は、必要に応じて横座標rescalePerceptualInputDiffuseWhitePoint及び縦座標rescalePerceptualOutputを補正する。
【0109】
横座標rescalePerceptualInputDiffuseWhitePointに関して、再スケーリングされたTM LUTの既に計算された値の最後の値が全て等しい場合、すなわち、ステップ4032で計算された再スケーリングされたTM LUTがrescalePerceptualInputDiffuseWhitePointまで水平な直線で終わる場合、この直線は除去される必要がある。これは、横座標rescalePerceptualInputDiffuseWhitePointを更新することによって行われる。更新では、縦座標の値が横座標の次の値(i-1)に対応する縦座標の値と異なる横座標iの値(すなわち、SDR_PU_Y_rescaled[i]≠SDR_PU_Y_rescaled[i-1]))を見つけるまで、横座標i=rescalePerceptualInputDiffuseWhitePointから逆の順序で1つずつ、再スケーリングされたTM LUTの縦座標SDR_PU_Y_rescaled[i]を通して反復する。
【0110】
縦座標rescalePerceptualOutputに関して、再スケーリングされたTM LUTの縦座標の最大値が最大値(すなわち、「1」)に達しない場合、縦座標SDR_PU_Y_rescaled[rescalePerceptualInputDiffuseWhitePoint-1]は、上で計算された理論縦座標rescalePerceptualOutput値よりも低い。したがって、rescalePerceptualOutputは以下のように更新される必要がある。
rescalePerceptualOutput=min(rescalePerceptualOutput,SDR_PU_Y_rescaled[rescalePerceptualInputDiffuseWhitePoint-1])
ここで、min(x,y)はxとyとの間の最小値をとる。
【0111】
鏡面反射TM曲線は、直線、曲線、放物線などの任意の形状であり得る。
【0112】
以下では、鏡面反射TM曲線の2つの例、すなわち直線及び放物線を示す。
【0113】
直線を使用して実装された鏡面反射TM曲線
ディテールTM曲線は、点(rescalePerceptualInputDiffuseWhitePoint-1,rescalePerceptualOutput)で終了し、P1(x1,y1)と改名される。
・x1=rescalePerceptualInputDiffuseWhitePoint-1、
・y1=rescalePerceptualOutput。
【0114】
鏡面反射TM曲線は、P1と、再スケーリングされたTM LUTのSDR_PU_Y_rescaledの最後の点(すなわちLUTSize-1],1)との間の直線によって表される。鏡面反射TM曲線に対応する鏡面反射TM LU Tm_PerceptualDiffuseWhiteLUTY[i]は、rescalePerceptualInputDiffuseWhitePointとLUTSizeとの間の各横座標iについて以下の通り計算される(すなわち、i∈[rescalePerceptualInputDiffuseWhitePoint;LUTSize-1]。
m_PerceptualDiffuseWhiteLUTY[i]=rescalePerceptualOutput+(i-rescalePerceptualInputDiffuseWhitePoint)*specularStep。
ここで、specularStep=(1-rescalePerceptualOutput)/(LUTSize-1-rescalePerceptualInputDiffuseWhitePoint)である。
【0115】
図12は、直線を使用して実装された鏡面反射TM曲線とディテールTM曲線とを組み合わせることによって得られる、結合TM曲線の例を提供する。
【0116】
放物線を使用して実装された鏡面反射TM曲線
この場合も、ディテールTM曲線は、点(rescalePerceptualInputDiffuseWhitePoint-1,rescalePerceptualOutput)で終了し、P1(x1,y1)と改名される。
・x1=rescalePerceptualInputDiffuseWhitePoint-1、
・y1=rescalePerceptualOutput。
【0117】
ディテールTM曲線の終端における傾向は、以下の式を有する直線によって表すことができる。
DtmYtm=atm.x+btm、
【0118】
鏡面反射TM曲線は、以下の2つの部分からなると考えられる。
・点P2(x2,y2)と再スケーリングされたTM LUT SDR_PU_Y_rescaledの最後の点(すなわち、LUTSize-1,1)との間の直線。以下の式を有する。(Ds)y=as.x+bs、
・点P1とP2との間の放物線。以下の式を有する。ap.x2+bp.x+cp。
【0119】
図13は、放物線を使用して実装された鏡面反射TM曲線とディテールTM曲線とを組み合わせることによって得られる、結合TM曲線の例を提供する。
【0120】
図13では以下の通りである。
・Ptm1は、(Dtm)と直線(Dy1):y=1との交点であり、横座標はxXmaxである。
・PXは(Dtm)と(Ds)との交点であり、点PXの横座標xXは[x1;x2]の中央である。
【0121】
(Dtm)の傾向atmは、再スケーリングされたTM LUT SDR_PU_Y_rescaledの最後の計算済み値から計算することができる。
【0122】
例えば、傾向atmは以下のように計算することができる。
・最後の2点を用いる:atm=SDR_PU_Y_rescaled[x1-1]-SDR_PU_Y_rescaled[x1-2]、
・最後の3点を用いる:atm=(SDR_PU_Y_rescaled[x1-1]-SDR_PU_Y_rescaled[x1-3])/2、
・最後の4点を用いる:atm=(SDR_PU_Y_rescaled[x1-1]-SDR_PU_Y_rescaled[x1-4])/3、
・N個の最後の点を用いる:atm=(SDR_PU_Y_rescaled[x1-1]-SDR_PU_Y_rescaled[x1-N])/(N-1)、
・又は、atmの以前の値の任意の組み合わせから。
【0123】
次に、btmを計算することができる:btm=y1-atm*x1。
【0124】
次に、xXmaxを計算することができる:xXmax=(1-y1+atm*x1)/atm。
【0125】
点PXの位置は、鏡面反射TM曲線の直線部分の傾向又は急峻度に依存する。一貫した放物線曲線(Ps)を構築するために、点PXのxX横座標は、点P1の横座標x1の次の値と点Ptm1の横座標xXmaxの前の値との間でのみ変化することができ、すなわち、xXは範囲[x1+1,xXmax-1]内にある。
【0126】
xX位置に応じて、鏡面反射TM曲線の直線部分(Ds)の傾向又は急峻度は変化し、これは、HDRコンテンツの鏡面反射値をマッピングするときに異なる精度を意味する。鏡面反射マッピング曲線の直線部分(Ds)の急峻度は、範囲[0;1]内の値Specular_Steepnessを介して構成可能であり、この値はPX点のxX横座標を以下のように固定する。
・Specular_Steepness=0の場合、xX=x1+1、
・そうでない場合、Specular_Steepness=1である場合、xX=xXmax-1、
・そうでなければ、xX=x1+1+Specular_Steepness*(xXmax-x1-2)。
【0127】
次に、yX及びx2は、以下のように計算することができる。
・yX=atm*xX+btm、
・x2=2*xX-x1。
【0128】
as及びbsは、以下のように計算することができる。
・as=(1-yX)/(LUTSize-1-xX)、
・bs=(1000*yX-xX)/(LUTSize-1-xX)。
【0129】
y2は以下のように計算することができる。
・y2=as*x2+bs。
【0130】
そして、ap、bp及びcpは、以下のように計算することができる。
・ap=(as-atm)/2/(x2-x1)、
・bp=(y2-y1)/(x2-x1)-ap*(x2+x1)、
・Cp=y1-ap*x1*x1-bp*x1。
【0131】
ここで、全てのパラメータが計算されるので、鏡面反射TM曲線の放物線部分を表す再スケーリングされたTM LUT SDR_PU_Y_rescaled[i]は、x1とx2との間の各i(すなわち、i∈[x1;x2[)に対して以下のように計算することができる。
【0132】
SDR_PU_Y_rescaled[i]=ap*i*i+bp*i+cp、
鏡面反射TM曲線の直線部分を表す再スケーリングされたTM LUTSDR_PU_Y_rescaled[i]は、x2とLUTSizeとの間のiごと(すなわち、i∈[x2;LUTSize[)に以下のように計算することができる。
SDR_PU_Y_rescaled[i]=as*i+bs、
【0133】
直線部分と放物線部分との組み合わせは、鏡面反射TM曲線を形成し、ディテールTM曲線と鏡面反射TM曲線との組み合わせは、結合TM曲線を形成する。
【0134】
SL-HDR1では、TM曲線は、輝度マッピング変数と呼ばれる変数によって表される。輝度マッピング変数は、例えば、メタデータの形態で、HDRデータにトーンマッピングを適用することを担当するデバイスに(又は、SDRデータに逆トーンマッピングを適用することを担当するデバイスに)提供される。
【0135】
SL-HDR1のコンテキストにおいて適用されるステップ405において、処理モジュール30は、ステップ404において得られた再スケーリングされたTM LUT SDR_PU_Y_rescaledによって表される結合TM曲線を表す輝度マッピング変数を推定する。
【0136】
SL-HDR1に記載されているように、輝度マッピング変数は、以下の2組のパラメータによって定義される。
・パラメータの第1のセットは、輝度マッピング曲線を定義するために使用される5つのパラメータtmInputSignalBlackLevelOffset、tmInputSignalWhiteLevelOffset、shadowGain、highlightGain、midToneWidthAdjFactorを含む。
・パラメータの第2のセットは、トーンマッピング出力微調整関数において使用される限られた数のペア(tmOutputFineTuningX[i],tmOutputFineTuningY[i])を含む。これらのペアは、ピボット点の座標を定義し、第1の座標tmOutputFineTuningX[i]はピボット点の位置に対応し、第2の座標tmOutputFineTuningY[i]はピボット点の値に対応する。ピボット点の数はパラメータtmOutputFineTuningNumValによって与えられる。
【0137】
図14は、輝度マッピング変数を決定するためのプロセスの例を示す。
【0138】
ステップ1401において、処理モジュール30は、パラメータの第1のセットを推定する。ステップ1401の第1の実施形態では、パラメータの第1のセットは、再スケーリングされたTM LUT SDR_PU_rescale[i]値が何であれ、HDRピーク輝度値の関数としてデフォルトで決定される。
【0139】
ステップ1401の別の実施形態では、再スケーリングされたTM LUT SDR_PU_rescaleルックを用いて得られた結合TM曲線が、第1の実施形態に従って計算されたパラメータのデフォルトセットから導出された輝度マッピング曲線から非常に遠い場合、追加のプロセスが達成される。例えば、TM曲線の原点における傾きと、パラメータのデフォルトセットから導出される輝度マッピング曲線の傾きとが大きく異なる場合、SL-HDR1において定義されるパラメータshadowGainは、低輝度レベルにおいてより良好にマッチングするように修正される。
【0140】
ステップ1402及び1403において、処理モジュール30は、ピボット点の位置(tmOutputFineTuningX)及び値(tmOutputFineTuningY)を最適化することによって、パラメータの第2のセットを再帰的に決定する。ステップ1402の実施形態では、(パラメータtmOutputFineTuningNumValによって与えられる)ピボット点の数は、SL-HDR1において可能な最大値である「10」に固定される。しかしながら、パラメータtmOutputFineTuningNumValの値は、「10」未満であってもよい。
【0141】
ステップ1402中に、処理モジュール30は、ピボット点に初期化プロセスを適用する。この初期化プロセスでは、ピボット点の初期セットが定義される。初期セット内のピボット点の数は、「10」から、再スケーリングされたTM LUT SDR_PU_rescalの点の数までの異なる値に設定することができる。一例として、ピボット点の数は「65」に設定されている。初期化プロセス中に、各ピボット点に初期値が与えられる。
【0142】
ステップ1403において、処理モジュール30は、ステップ1403の終わりにセット内のピボット点の数をtmOutputFineTuningNumValに等しく保つために、ピボット点を再帰的に削除する。どのピボット点を削除できるかを決定するために、コスト関数に基づく基準が適用される。いくつかのコスト関数を使用することができる。
・推定されたパラメータに基づいて、再スケーリングされたTM LUT SDR_PU_rescaleと再構成された再スケーリングされたTM LUT SDR_PU_rescaleとの間の誤差関数に対応するコスト関数、
・「65」の初期ピボット点を有するトーンマッピング出力微調整関数のアップサンプリングされたバージョンと、残りのピボット点を有するトーンマッピング出力微調整関数のアップサンプリングされたバージョンとの間の誤差関数に対応するコスト関数。
【0143】
もちろん、SL-HDR1コンテキストとは異なるコンテキストにおいて、処理モジュール30は、SL-HDR1において定義された輝度マッピング変数とは異なるTM曲線を表す他の変数を計算することができる。
【0144】
ステップ406において、処理モジュール30は、ステップ401で取得されたHDRデータ及び結合TM曲線からSDRデータを生成する。一実施形態では、符号化デバイスの処理モジュール30は、例えばフォーマットVVCに従ってSDRデータを符号化し、符号化されたSDRデータを輝度マッピング変数を表すメタデータと共に復号デバイス22に送信する。
【0145】
ステップ402において、横座標が[0;HDR拡散白色]及び縦座標が範囲[0;SDR拡散白色]であるLUTによって表されるTM曲線を構築することによって、再スケーリングステップ403を回避することができることに留意されたい。代替LUTと呼ばれるこのLUTは、ステップ404、405、及び406において再スケーリングされたTM LUTに取って代わり、ディテールTM曲線を表す。更に、ステップ4031の知覚均一領域におけるTM LUTの変換は任意であり、ステップ4032の再スケーリングはTM LUTに直接適用される。
【0146】
以上、いくつかの実施形態について説明した。これらの実施形態の特徴は、単独で、又は任意の組み合わせで提供することができる。更に、実施形態は、様々な特許請求のカテゴリ及びタイプにわたる、以下の特徴、デバイス、又は態様のうちの1つ以上を、単独で、又は任意の組み合わせにおいて、含むことができる。
・説明したSDR若しくはHDRデータ及び/若しくはメタデータ、又はそれらの変形のうちの1つ又は複数を含むビットストリーム又は信号。
・説明したSDR若しくはHDRデータ及び/若しくはメタデータ、又はそれらの変形のうちの1つ以上を含むビットストリーム又は信号を作成及び/又は送信及び/又は受信及び/又は復号すること。
・記載された実施形態のうちの少なくとも1つを実行するサーバ、カメラ、テレビ、セットトップボックス、携帯電話、タブレット、パーソナルコンピュータ、又は他の電子デバイス。
・説明した実施形態のうちの少なくとも1つを実行し、得られた画像を(例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して)表示するテレビ、セットトップボックス、携帯電話、タブレット、パーソナルコンピュータ、又は他の電子デバイス。
・符号化SDR若しくはHDRデータ及び/又はメタデータを含む信号を受信するために(例えば、チューナを使用して)チャネルをチューニングし、説明した実施形態のうちの少なくとも1つを実行するテレビ、セットトップボックス、携帯電話、タブレット、パーソナルコンピュータ、又は他の電子機器。
・SDR若しくはHDRデータ及び/又はメタデータを含む信号を(例えば、アンテナを使用して)無線で受信し、説明した実施形態のうちの少なくとも1つを実行するテレビ、セットトップボックス、携帯電話、タブレット、パーソナルコンピュータ、又は他の電子デバイス。
・SDR若しくはHDRデータ及び/又はメタデータを含む信号を送信するために(例えば、チューナを使用して)チャネルをチューニングし、説明した実施形態のうちの少なくとも1つを実行するサーバ、カメラ、携帯電話、タブレット、パーソナルコンピュータ、又は他の電子機器。
・SDR若しくはHDRデータ及び/又はメタデータを含む信号を(例えば、アンテナを使用して)無線で送信し、説明した実施形態のうちの少なくとも1つを実行するサーバ、カメラ、携帯電話、タブレット、パーソナルコンピュータ、又は他の電子デバイス。
【手続補正書】
【提出日】2024-05-10
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
高ダイナミックレンジデータを取得することと、
前記高ダイナミックレンジデータから標準ダイナミックレンジデータを取得することを可能にする結合トーンマッピング曲線の低高ダイナミックレンジ値に対応する前記高ダイナミックレンジデータから、第1のトーンマッピング曲線を計算することは、
前記高ダイナミックレンジデータであって、前記高ダイナミックレンジ拡散白色より小さい前記高ダイナミックレンジデータの非線形輝度値が前記標準ダイナミックレンジデータの非線形輝度値にマッピングされる、前記高ダイナミックレンジデータから中間トーンマッピング曲線を取得することと、
前記中間トーンマッピング曲線の横座標を、0と前記高ダイナミックレンジ拡散白色との間の前記高ダイナミックレンジデータの輝度値の範囲から、0と前記高ダイナミックレンジデータの最大輝度値との間の前記高ダイナミックレンジデータの輝度値の範囲に再スケーリングすることと、
前記中間トーンマッピング曲線の縦座標を、0と前記標準ダイナミックレンジ拡散白色に依存する値との間における前記標準ダイナミックレンジデータの輝度値の範囲にマッピングして、前記第1のトーンマッピング曲線であって、
前記第1のトーンマッピング曲線は、高ダイナミックレンジ拡散白色を表す横座標と、標準ダイナミックレンジ拡散白色を表す縦座標とを有する第1の点によって終了する、前記第1のトーンマッピング曲線を取得することと、によって、計算する、計算することと、
前記第1の点から始まる高標準ダイナミックレンジのための第2のトーンマッピング曲線を用いて、前記結合トーンマッピング曲線を完成させることと、
を含む、方法。
【請求項2】
前記第2のトーンマッピング曲線が直線である、請求項1に記載の方法。
【請求項3】
前記第2のトーンマッピング曲線は、前記第1の点と第2の点との間の放物線と、それに続く、高ダイナミックレンジ最大値を表す横座標および標準ダイナミックレンジ最大値を表す縦座標を有する第3の点までの直線とを含み、前記放物線の傾向は、前記第1の点における前記第1のトーンマッピング曲線の傾向と前記第2の点における前記直線の傾向との間にある、請求項1に記載の方法。
【請求項4】
前記結合トーンマッピング曲線を使用して、前記高ダイナミックレンジデータから前記標準ダイナミックレンジデータを計算することを更に含む、請求項1に記載の方法。
【請求項5】
前記結合トーンマッピング曲線を表すメタデータを推定することを含み、前記メタデータは、前記標準ダイナミックレンジデータと共にビデオデータに挿入されることが意図されている、請求項1に記載の方法。
【請求項6】
前記マッピングの前に、前記中間トーンマッピング曲線の前記縦座標が、知覚均一領域において変換され、変換された縦座標値が、0と前記標準ダイナミックレンジデータの最大輝度値に対応する最大縦座標値との間にある、請求項1に記載の方法。
【請求項7】
電子回路を備えるデバイスであって、前記電子回路は、
高ダイナミックレンジデータを取得し、
前記高ダイナミックレンジデータから標準ダイナミックレンジデータを取得することを可能にする結合トーンマッピング曲線の低高ダイナミックレンジ値に対応する前記高ダイナミックレンジデータから、第1のトーンマッピング曲線を計算することは、
前記高ダイナミックレンジデータであって、前記高ダイナミックレンジ拡散白色より小さい前記高ダイナミックレンジデータの非線形輝度値が前記標準ダイナミックレンジデータの非線形輝度値にマッピングされる、前記高ダイナミックレンジデータから中間トーンマッピング曲線を取得することと、
前記中間トーンマッピング曲線の横座標を、0と前記高ダイナミックレンジ拡散白色との間の前記高ダイナミックレンジデータの輝度値の範囲から、0と前記高ダイナミックレンジデータの最大輝度値との間の前記高ダイナミックレンジデータの輝度値の範囲に再スケーリングすることと、
前記中間トーンマッピング曲線の縦座標を、0と前記標準ダイナミックレンジ拡散白色に依存する値との間における前記標準ダイナミックレンジデータの輝度値の範囲にマッピングして、前記第1のトーンマッピング曲線であって、
前記第1のトーンマッピング曲線は、高ダイナミックレンジ拡散白色を表す横座標と、標準ダイナミックレンジ拡散白色を表す縦座標とを有する第1の点によって終了する、前記第1のトーンマッピング曲線を取得することと、によって計算する、計算し、、
前記第1の点から始まる高標準ダイナミックレンジのための第2のトーンマッピング曲線を用いて、前記結合トーンマッピング曲線を完成させる、
ように構成されている、デバイス。
【請求項8】
前記第2のトーンマッピング曲線は直線である、請求項7に記載のデバイス。
【請求項9】
前記第2のトーンマッピング曲線は放物線を含む、請求項7に記載のデバイス。
【請求項10】
前記電子回路は、前記結合トーンマッピング曲線を使用して、前記高ダイナミックレンジデータから前記標準ダイナミックレンジデータを計算するように更に構成されている、請求項7に記載のデバイス。
【請求項11】
前記電子回路は、前記結合トーンマッピング曲線を表すメタデータを推定する(405)ように更に構成されている、請求項7に記載のデバイス。
【請求項12】
前記マッピングの前に、前記中間トーンマッピング曲線の前記縦座標が、知覚均一領域において変換され、変換された縦座標値が、0と前記標準ダイナミックレンジデータの最大輝度値に対応する最大縦座標値との間にある、請求項7に記載のデバイス。
【請求項13】
請求項1に記載の方法を実装するためのプログラムコード命令を記憶する非一時的情報記憶媒体。
【国際調査報告】