特許 7439251 ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-16

(45)【発行日】2024-02-27

(54)【発明の名称】ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフ

(51)【国際特許分類】

   H04N 19/85 20140101AFI20240219BHJP

   H04N 19/46 20140101ALI20240219BHJP

【ＦＩ】

H04N19/85

H04N19/46

【請求項の数】 17

(21)【出願番号】P 2022522878

(86)(22)【出願日】2020-10-16

(65)【公表番号】

(43)【公表日】2023-01-20

(86)【国際出願番号】 US2020055864

(87)【国際公開番号】W WO2021076822

(87)【国際公開日】2021-04-22

【審査請求日】2022-06-15

(31)【優先権主張番号】19203773.7

(32)【優先日】2019-10-17

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】62/916,579

(32)【優先日】2019-10-17

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】507236292

【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ソーン，チーン

(72)【発明者】

【氏名】ラージ，アルン

(72)【発明者】

【氏名】スゥ，グワン－ミーン

【審査官】鉢呂 健

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１１００５４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０００７３５６（ＵＳ，Ａ１）

【文献】PU, Fangjun et al.，CE12-4: SDR In-loop Reshaping，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 12th Meeting: Macao, CN, 3-12 Oct. 2018, [JVET-L0246-v2]，JVET-L0246 (version 2)，ITU-T，2018年10月04日，＜URL:https://jvet-experts.org/doc_end_user/documents/12_Macao/wg11/JVET-L0246-v2.zip＞: JVET-L0246_CE12-4_SDR_inloop_reshaping_v2.docx: pp. 1-9

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

後方再整形マッピングテーブルを前方再整形マッピングテーブルの逆として初めに生成するステップであって、前記前方再整形マッピングテーブルは、第１のダイナミックレンジの前方再整形された画像を第２のダイナミックレンジのソース画像から生成するための前方再整形マッピングを生成するために使用され、前記第１のダイナミックレンジは前記第２のダイナミックレンジよりも低く、前記前方再整形マッピングテーブルは、前記ソース画像からのサンプルの前記第２のダイナミックレンジの輝度コードワード、及び前記第２のダイナミックレンジの色度コードワード、並びに前記ソース画像をカラーグレーディングすることによって生成される前記第１のダイナミックレンジの基準画像からの対応するサンプルの前記第１のダイナミックレンジの輝度コードワード、及び前記第１のダイナミックレンジの色度コードワードを含み、前記ソース画像からの前記サンプルの数は、前記ソース画像内の画素の数と比較して低減される、ステップと、
前記後方再整形マッピングテーブルにおいて前記第１のダイナミックレンジの前記輝度コードワードを前方再整形された輝度コードワードで置き換えることによって前記後方再整形マッピングテーブルを更新するステップであって、前記前方再整形された輝度コードワードは、前記第２のダイナミックレンジの前記輝度コードワードに輝度前方再整形関数を適用することによって生成され、前記輝度前方再整形関数は前記前方再整形マッピングテーブルから累積密度関数（CDF）マッチングを用いて構築される、ステップと、
前記第１のダイナミックレンジの輝度コードワードを前記第２のダイナミックレンジの輝度コードワードにマッピングする輝度後方再整形関数を前記輝度前方再整形関数から構築するステップと、
バンディングアーチファクトを示すことなく表され得る推計された最大の輝度レンジと前記輝度後方再整形関数によって表される実際の輝度レンジとの間の比に基づいて前記第１のダイナミックレンジの特定の輝度コードワードより上の前記輝度後方再整形関数の一部を修正するステップと、
前記後方再整形マッピングテーブルにおいて前記第２のダイナミックレンジの前記色度コードワードを不飽和化された色度コードワードで置き換えることによって前記後方再整形マッピングテーブルを更新するステップであって、前記不飽和化された色度コードワードは、前記第２のダイナミックレンジの前記色度コードワードに不飽和化関数を適用することによって適用され、前記不飽和化関数は、前記修正された輝度後方再整形関数と元の輝度後方再整形関数との間の比に基づいて構築される、ステップと、
前記第１のダイナミックレンジの前記前方再整形された画像から前記第２のダイナミックレンジの再構成された画像を創るための後方再整形マッピングを生成するために前記後方再整形マッピングテーブルと前記輝度前方再整形関数を使用するステップと、
前記前方再整形された画像を、前記後方再整形マッピングを指定する画像メタデータとともに、ビデオ信号中にエンコードするステップを含む方法。

【請求項2】

エンドツーエンドのビデオ配信パイプラインで使用可能な計算リソースを決定するステップと、
前記使用可能な計算リソースを用いて、デコーダ側の前記第２のダイナミックレンジの前記再構成された画像の品質と、エンコーダ側の前記後方再整形マッピングを生成することの計算の複雑さとの間のトレードオフオプションの特定のセットを決定するステップと、
トレードオフオプションの前記特定のセットに従って画像処理操作の特定のセットを実行して、前記後方再整形マッピングを生成するステップとをさらに含む、請求項１に記載の方法。

【請求項3】

表示画像を前記再構成された画像から導出させ、前記ビデオ信号の受信デバイスでレンダリングさせるステップをさらに含む、請求項１または２に記載の方法。

【請求項4】

前記後方再整形マッピングテーブル内で前記第１のダイナミックレンジの前記色度コードワードを前方再整形された色度コードワードで置き換えることによって前記後方再整形マッピングテーブルを更新するステップであって、前記前方再整形された色度コードワードは、前記第２のダイナミックレンジの前記輝度および色度コードワードに多変量重回帰（ＭＭＲ）色度前方マッピングを適用することによって生成され、前記ＭＭＲ色度前方マッピングは、前記前方再整形マッピングテーブルから構築される、ステップをさらに含む、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記再構成された画像のバンディングアーチファクトを低減するために、後方ルックアップテーブル修正を適用させるステップをさらに含む、請求項１～４のいずれか１項に記載の方法。

【請求項6】

前記後方再整形マッピングテーブル及び前記前方再整形マッピングテーブルのうちの少なくとも１つは、前記ソース画像及び前記前方再整形された画像から少なくとも部分的に動的に構築された三次元マッピングテーブル（３ＤＭＴ）を表す、請求項１～５のいずれか１項に記載の方法。

【請求項7】

前記輝度前方再整形関数は、輝度ルックアップテーブルによって表される、請求項１～６のいずれか１項に記載の方法。

【請求項8】

前記第２のダイナミックレンジの前記再構成された画像は、前記第２のダイナミックレンジの前記ソース画像を近似する、請求項１～７のいずれか１項に記載の方法。

【請求項9】

前記ビデオ信号は、単一層の後方互換ビデオ信号を表す、請求項１～８のいずれか１項に記載の方法。

【請求項10】

前記ビデオ信号の受信デバイスは、前記前方再整形された画像に前記後方再整形マッピングを適用して、前記第２のダイナミックレンジの前記再構成された画像を創る、請求項１～９のいずれか１項に記載の方法。

【請求項11】

第１のダイナミックレンジの前方再整形された画像を、請求項１～１０のいずれか１項に記載の方法で生成された前記ビデオ信号からデコードするステップであって、前記前方再整形された画像は、前方再整形マッピングテーブルから生成される前方再整形マッピングによって第２のダイナミックレンジのソース画像から生成され、前記前方再整形マッピングテーブルは、前記ソース画像からのサンプルの前記第２のダイナミックレンジの輝度コードワード及び前記第２のダイナミックレンジの色度コードワード、並びに前記ソース画像をカラーグレーディングすることによって生成された前記第１のダイナミックレンジの基準画像からの対応するサンプルの前記第１のダイナミックレンジの輝度コードワード及び前記第１のダイナミックレンジの色度コードワードを含み、前記ソース画像からのサンプルの数は、前記ソース画像内の画素の数と比較して低減される、ステップと、
後方再整形マッピングを含む画像メタデータを前記ビデオ信号からデコードするステップと、
前記前方再整形された画像に前記後方再整形マッピングを適用して再構成された画像を生成するステップと、
前記再構成された画像から導出される表示画像を表示デバイスでレンダリングさせるステップとを含む方法。

【請求項12】

請求項１～１０のいずれか１項に記載の方法を実行するように構成されたコンピュータシステム。

【請求項13】

請求項１１に記載の方法を実行するように構成されたコンピュータシステム。

【請求項14】

プロセッサを含み、請求項１～１０のいずれか１項に記載の方法を実行するように構成された装置。

【請求項15】

プロセッサを含み、請求項１１に記載の方法を実行するように構成された装置。

【請求項16】

請求項１～１０のいずれか１項に記載の方法に従って１つ以上のプロセッサによって方法を実行するためのコンピュータ実行可能命令を記憶した非一時的なコンピュータ読取可能記憶媒体。

【請求項17】

請求項１１に記載の方法に従って１つ以上のプロセッサによって方法を実行するためのコンピュータ実行可能命令を記憶した非一時的なコンピュータ読取可能記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年１０月１７日に出願された米国仮特許出願第６２／９１６，５７９号、および２０１９年１０月１７日に出願された欧州特許出願第１９２０３７７３．７号の優先権を主張するものであり、各出願は、その全体が参照により本明細書に組み込まれる。

【0002】

技術
本開示は、概して画像に関する。より詳細には、本開示の一実施形態は、ビデオコーデックにおける品質と計算の複雑さとの間の調整可能なトレードオフに関する。

【背景技術】

【0003】

本明細書で使用する場合、用語「ダイナミックレンジ」（ＤＲ）は、例えば、最も暗い黒（ダーク）から最も明るい白（ハイライト）までの、画像での強度（例えば、輝度、ルマ）の範囲を知覚する人間の視覚システム（ＨＶＳ）の能力に関連してもよい。この意味で、ＤＲは「シーン基準」強度に関する。また、ＤＲは、特定の幅の強度範囲を十分にまたは近似的にレンダリングするディスプレイデバイスの能力にも関連し得る。この意味で、ＤＲは「ディスプレイ基準」強度に関する。本明細書の記載のいずれかの時点において、特定の意味が特定の意義を有するように明示的に規定されていない限り、この用語は、いずれの意味においても、例えば、互換的に使用され得ると推測されるべきである。

【0004】

本明細書で使用する場合、用語「高ダイナミックレンジ（ＨＤＲ）」は、人間の視覚システム（ＨＶＳ）のおよそ１４～１５桁以上の大きさに及ぶＤＲ幅に関連する。実際には、人間が同時に強度範囲中の広い範囲を知覚できるＤＲは、ＨＤＲとの関係でいくぶん切り捨てられる可能性がある。本明細書で使用する場合、強化ダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、シーンまたは画像を横切る光順応変化を許容して、目の動きを含む人間の視覚システム（ＨＶＳ）によってシーンまたは画像内で知覚可能なＤＲに個別にまたは交換可能に関連することができる。本明細書中で使用される場合、ＥＤＲは、５～６桁の大きさのＤＲに関することができる。したがって、ＥＤＲは、真のシーン基準ＨＤＲとの関連ではおそらく多少狭いが、ＥＤＲは、それにもかかわらず、広いＤＲ幅を表し、ＨＤＲと呼んでもよい。

【0005】

実際には、画像は、色空間の１つ以上の色成分（例えば、輝度Ｙおよび色度ＣｂおよびＣｒ）を含み、各色成分は、画素当たりｎビットの精度（例えば、ｎ＝８）によって表される。非線形輝度コーディング（例えば、ガンマエンコーディング）を用いて、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）を標準ダイナミックレンジの画像とみなし、ｎ＞８の画像を強化ダイナミックレンジの画像とみなすことができる。

【0006】

所与のディスプレイのための基準電気光学伝達関数（ＥＯＴＦ）は、入力ビデオ信号のカラー値（例えば、輝度）とディスプレイによって生成されたスクリーンのカラー値（例えば、スクリーン輝度）との間の関係を特徴付ける。例えば、ＩＴＵ Ｒｅｃ． ＩＴＵ－Ｒ ＢＴ． １８８６ 「Ｒｅｆｅｒｅｎｃｅ ｅｌｅｃｔｒｏ－ｏｐｔｉｃａｌ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ ｆｏｒ ｆｌａｔ ｐａｎｅｌ ｄｉｓｐｌａｙｓ ｕｓｅｄ ｉｎ ＨＤＴＶ ｓｔｕｄｉｏ ｐｒｏｄｕｃｔｉｏｎ」（２０１１年３月）は、その全体が参照により本明細書に組み込まれているが、それはフラットパネルディスプレイのための基準ＥＯＴＦを定義する。ビデオストリームが与えられた場合、そのＥＯＴＦに関する情報は（画像）メタデータとしてビットストリームに埋め込まれる可能性がある。本明細書での用語「メタデータ」は、コーディングされたビットストリームの一部として送信される任意の補助情報に関し、デコーダがデコードされた画像を描画するのを支援する。そのようなメタデータは、本明細書に記載されるように、色空間または色域情報、参照表示パラメータ、および補助信号パラメータを含み得るが、これらに限定されない。

【0007】

本明細書で使用される用語「ＰＱ」は、知覚的輝度振幅量子化を指す。人間の視覚系は、光レベルの増加に非常に非線形的に応答する。刺激を見る人間の能力は、その刺激の輝度、刺激の大きさ、刺激を構成する空間周波数、および刺激を見るときに眼が適応した輝度レベルによって影響される。いくつかの実施形態では、知覚量子化関数は、線形入力グレーレベルを、人間の視覚システムにおけるコントラスト感度しきい値により良くマッチングする出力グレーレベルにマッピングする。例示的なＰＱマッピング関数は、ＳＭＰＴＥ ＳＴ ２０８４：２０１４「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ＥＯＴＦ ｏｆ Ｍａｓｔｅｒｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｄｉｓｐｌａｙｓ」（以下、「ＳＭＰＴＥ」）に記載されており、その全体が参照により本明細書に組み込まれ、ここで、一定の刺激サイズが与えられると、各輝度レベル（例えば、刺激レベルなど）について、その輝度レベルでの最小可視コントラストステップは、最も感度の高い順応レベルおよび最も感度の高い空間周波数に従って（ＨＶＳモデルに従って）選択される。

【0008】

２００～１，０００ｃｄ／ｍ^２またはニトの輝度をサポートするディスプレイは、より低いダイナミックレンジ（ＬＤＲ）を典型的に示しＥＤＲ （またはＨＤＲ）に関連して、標準ダイナミックレンジ（ＳＤＲ）とも呼ばれる。ＥＤＲの内容は、より高いダイナミックレンジ（例えば、１０００から５０００ニト以上）をサポートするＥＤＲディスプレイに表示することができる。そのようなディスプレイは、高輝度能力（例えば、０～１０，０００ニト以上）をサポートする代替ＥＯＴＦを使用して定義され得る。そのようなＥＯＴＦの例は、ＳＭＰＴＥ ２０８４およびＲｅｃ． ＩＴＵ－Ｒ ＢＴ．２１００「Ｉｍａｇｅ ｐａｒａｍｅｔｅｒ ｖａｌｕｅｓ ｆｏｒ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｔｅｌｅｖｉｓｉｏｎ ｆｏｒ ｕｓｅ ｉｎ ｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｒｏｇｒａｍｍｅ ｅｘｃｈａｎｇｅ」（２０１７年６月）において定義される。ここでの発明者らによって高評価されるように、広範なＳＤＲおよびＨＤＲ表示デバイスの表示能力をサポートするために使用することができるビデオコンテンツデータを構成するための改良された技術が望まれている。

【0009】

本セクションに記載されているアプローチは、追求でき得たアプローチであるが、必ずしも以前に考案または追求されたアプローチではない。したがって、別段の記載がない限り、本セクションに記載されているいずれのアプローチも、単に本セクションに含まれているという理由のみで先行技術であると仮定するべきではない。同様に、特に断らない限り、１つ以上のアプローチに関して特定された問題点は、本セクションに基づいていかなる先行技術においても認識されていたと仮定すべきではない。

【図面の簡単な説明】

【0010】

本発明の一実施形態が、添付の図面において、限定としてではなく例示として説明される。図面においては、同様の参照番号は同様の要素を指す。

【0011】

【図1A】ビデオ配信パイプラインの例示的プロセスを示す。

【図1B】再構成画像の品質と、再構成画像を作成するための生成マッピングの計算上の複雑さとの間のトレードオフの例を示す。

【図2A】例示的なコーデックを示す。

【図2B】例示的なコーデックを示す。

【図2C】例示的なコーデックを示す。

【図3A】予測誤差の例を示す。

【図3B】異なるカラーグレードを生成するための画像処理操作のセットの例を示す。

【図3C】異なるカラーグレードに適用可能な色補正の例を示す。

【図3D】マッピングテーブル更新操作と関連して実行される色補正の例を示す。

【図3E】輝度更新、バックアップルックアップテーブル修正、および色補正を伴う後方再整形マッピング生成の例を示す。

【図4A】例示的なプロセスフローを示す。

【図4B】例示的なプロセスフローを示す。

【図4C】例示的なプロセスフローを示す。

【図5】本明細書に記載されるコンピュータまたはコンピュータデバイスが実装され得る例示的なハードウェアプラットフォームの簡略化されたブロック図を示す。

【発明の概要】

【0012】

実施例の説明
以下の説明において、説明の目的で、本開示の完全な理解を提供するために、多数の具体的な詳細が記載される。しかしながら、本開示は、これらの具体的な詳細なしに実施することができることは明らかであろう。他の例では、本開示を不必要に閉塞、不明瞭化、または不明確化することを避けるために、周知の構造およびデバイスは、徹底的に詳細には記載されていない。

【0013】

比較的狭いダイナミックレンジのベースレイヤ（ＢＬ）画像データ（例えば、比較的低いビット深度、８ビット、１０ビットなど）は、ＢＬ画像データからＨＤＲ画像データを生成／再構成するために使用される画像メタデータと共に、コーディングされたビットストリーム中にエンコードしてもよい。ＢＬ画像データ及び画像メタデータは、受信するデコード及び再生デバイスに提供することができ、比較的低いダイナミックレンジのディスプレイ（例えば、ＳＤＲディスプレイ等）上でデコードした後にＢＬ画像データ（例えば、ＳＤＲ画像データ等）を直接レンダリングすることができるか、あるいはデコードしたＢＬ画像データ及び画像メタデータからＨＤＲ画像データを再構成し、比較的高いダイナミックレンジのディスプレイ（例えば、ＨＤＲディスプレイ等）上でＨＤＲ画像データをレンダリングすることができる。

【0014】

一例（例えば、高忠実度等）のアプローチでは、再構成されたＨＤＲ画像データの品質は、計算コストおよびビデオ配信遅延を著しく増加させることを犠牲にして最大化され得る。別の例（例えば、高効率等）のアプローチでは、ＨＤＲ画像データを再構成するために使用される画像メタデータを生成するための計算コストは、再構成されたＨＤＲ画像データの品質を著しく低下させることを犠牲にして最小化され得る。再構成されたＨＤＲ画像のレンダリングのデコーダ側品質およびエンコーダ側計算コスト（または効率）の点で、高忠実度アプローチと高効率アプローチの間には比較的大きなギャップが存在する。例示的な高忠実度および高効率画像メタデータ生成は、２０１９年５月９日に出願されたＰＣＴ特許出願第ＰＣＴ／ＵＳ２０１９／０３１６２０号に記載されており、その内容全体は、本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。

【0015】

種々のコーデック及び媒体処理システムの能力をより良く活用し、また、最大限実現可能な品質で種々の媒体消費アプリケーションをタイムリーにサポートする柔軟性をより良く提供するために、品質と計算の複雑さとの間のトレードオフを実装するコーディングツールが、前述の高忠実度及び高効率アプローチの間の比較的大きなギャップを埋めるために、本明細書に記載される技術の下で提供される。例えば、これらのコーディングツールは、再構成されたＨＤＲ画像データのデコーダ側の達成可能な品質と、再構成されたＨＤＲ画像を生成するために使用される画像メタデータを生成するエンコーダ側計算コストとの間のトレードオフを提供するために使用することができる。

【0016】

コンテンツプロバイダおよび／またはコンテンツ消費者は、リソース予算（計算コスト予算、エンドツーエンド又は個々のシステムの待ち時間予算、エンドツーエンド又は個々の遅延予算など）および再構成されたＨＤＲ画像データの視覚的な品質目標または目的に基づいて、コーディングツールの一部または全部を選択することができる。

【0017】

これらのコーディングツールのいくつかまたは全ては、ＢＬ画像データ及び再構成されたＨＤＲ画像データの両方において色精度を達成するための技術を実装することができる。さらに、任意に、または代替的に、これらのコーディングツールの一部または全部は、いくつかの動作シナリオ（例えば、ＳＤＲ画像データなど）で起こりやすいバンディングアーチファクトのリスクを軽減または低減する技術を実装することができる。ＰＣＴ／ＵＳ２０１９／０５４２９９に対してＷＯ／２０２０／０７２６５１としても公開されている２０１９年８月１３日に出願された米国仮特許出願第６２／８８５，９２１号に記載されているようなバンディング低減をさらに改善するために、この技術を使用することができ、その全内容は、参照により本明細書に組み込まれる。

【0018】

動的（例えば、画像依存的、画像特異的、シーン依存的、シーン特異的など）な三次元マッピングテーブル（ｄ３ＤＭＴ）のような前方マッピングテーブル（例えば、ＨＤＲコードワードを対応するＳＤＲコードワードにマッピングするマッピング対などを含む）を使用して、前方再整形マッピング（例えば、前方再整形関数／曲線または多項式セット、前方ルックアップテーブルまたはＦＬＵＴ、前方再整形多変量重回帰（ＭＭＲ）係数など）を生成して、ソースＨＤＲ画像をＳＤＲ画像（またはＢＬ画像データ）に前方再整形することができる。

【0019】

後方ｄ３ＤＭＴのような後方マッピングテーブル（例えば、ＳＤＲコードワードを対応するＨＤＲコードワードにマッピングするマッピング対などを含む）を使用して、後方再整形マッピング（例えば、後方再整形関数／曲線または多項式セット、後方ルックアップテーブルまたはＢＬＵＴ、後方再整形ＭＭＲ係数など）を生成して、ＳＤＲ画像を、ソースＨＤＲ画像を近似するＨＤＲ画像（または再構成されたＨＤＲ画像データ）に後方再整形することができる。

【0020】

前方再整形されたＳＤＲ画像および後方再整形マッピングを指定する画像メタデータは、コーディングされたビットストリーム中にエンコードされて、受信するデコード／再生デバイスが直接ＳＤＲ画像をレンダリングすること、またはＳＤＲ画像および後方再整形マッピングから構築された（後方再整形された）ＨＤＲをレンダリングすることを可能にする。

【0021】

後方ｄ３ＤＭＴは、対応する前方マッピングテーブル（前方ｄ３ＤＭＴ）から計算的に効率的に構築することができる。さらに、任意にまたは代替として、後方ｄ３ＤＭＴは、ソースＨＤＲ画像および前方再整形されたＳＤＲ画像（一旦、前方再整形されたＳＤＲ画像が利用可能になると）を用いて直接構築されて、再整形マッピング精度を向上させることができる。

【0022】

本明細書に記載されるｄ３ＤＭＴは、後方再整形マッピングを生成するために使用される前に、色空間のすべてのチャネルまたは平面のセットにおけるチャネルまたは平面の適切なサブセットの１つで更新され得る。いくつかの動作シナリオでは、ｄ３ＤＭＴは、色空間の輝度（または輝度）チャネル／平面のみで更新され得、それによって、ＢＬおよび／または再構成されたＨＤＲ画像データの色精度をある程度改善する。いくつかの動作シナリオでは、ｄ３ＤＭＴは、輝度および色度（または色度）チャネル／平面（例えば、すべてなど）で更新され得、それによって、ＢＬおよび／または再構成されたＨＤＲ画像データの色精度を比較的有意に改善する。

【0023】

従って、色精度を含むがこれに限定されない再整形マッピング精度および対応する計算コストは、前方ｄ３ＤＭＴの輝度チャネル／平面のみを更新することによって、または前方ｄ３ＤＭＴの輝度および色度平面の両方を更新することによって、またはソースＨＤＲ画像および前方再整形ＳＤＲ画像から後方ｄ３ＤＭＴを直接構築することによって、調整可能とすることができる。

【0024】

バンディングアーチファクトを軽減するために、ノイズ注入、ＢＬＵＴ修正などの一部または全部を実施することができる。例示的なノイズ注入および／またはＢＬＵＴ修正は、前述の米国仮特許出願第６２／８８５，９２１号に記載されている。

【0025】

輝度ＢＬＵＴのような輝度後方再整形マッピングの修正／更新は、再構成ＨＤＲ画像の色精度に影響を与え、再構成ＨＤＲ画像の色外観の意図しない変化を引き起こす可能性があることが観察される。

【0026】

本明細書に記載されるような色補正操作は、再構成されたＨＤＲ画像内の色（例えば、バンディングアーチファクトを緩和した後など）がソースＨＤＲ画像内の色により近づくように、ＢＬＵＴ修正（例えば、バンディングアーチファクトを緩和するために使用される）によって影響を受ける画素の色を補正するために実施または実行することができる。さらに、任意または代替的に、ノイズ注入動作は、注入されたノイズをより視覚的に楽しめるように改善される。

【0027】

本明細書に記載する例示的な実施形態は、画像再構成のための後方再整形マッピングを生成し、及びエンコードすることに関する。後方再整形マッピングテーブルは、前方再整形マッピングテーブルの逆として初めに生成される。前方再整形テーブルは、第２のダイナミックレンジのソース画像から第１のダイナミックレンジの前方再整形画像を生成するために前方再整形マッピングを生成するために使用される。第１のダイナミックレンジは、第２のダイナミックレンジよりも低い。前方再整形マッピングテーブルは、第２のダイナミックレンジのサンプリングされた輝度コードワード、第２のダイナミックレンジのサンプリングされた色度コードワード、第２のダイナミックレンジのサンプリングされた輝度コードワードに対応する第１のダイナミックレンジのコンテンツマッピングされた輝度コードワード、及び第２のダイナミックレンジのサンプリングされた色度コードワードに対応する第１のダイナミックレンジのコンテンツマッピングされた色度コードワードを含む。後方再整形マッピングテーブルは、コンテンツマッピング輝度コードワードを前方再整形輝度コードワードで置き換えることによって更新される。前方に再構成された輝度コードワードは、第２のダイナミックレンジのサンプリングされた輝度コードワードに輝度前方マッピングを適用することによって生成される。輝度の前方マッピングは、前方再整形マッピングテーブルから構成される。後方再整形マッピングテーブルと輝度前方マッピングを用いて、第１のダイナミックレンジの前方再整形画像から第２のダイナミックレンジの再構築画像を作成するための後方再整形マッピングを生成する。前方再整形画像は、後方再整形マッピングを指定する画像メタデータと共に、ビデオ信号内にエンコードされる。ビデオ信号の受信側デバイスは、後方再整形マッピングを前方再整形画像に適用し、第２のダイナミックレンジの再構成画像を生成する。

【0028】

本明細書に記載される例示的な実施形態は、画像再構成およびレンダリングのための後方再整形マッピングのデコーディングに関する。第１のダイナミックレンジの前方再整形画像は、ビデオ信号からデコードされる。後方再整形マッピングを含む画像メタデータは、ビデオ信号からデコードされる。後方再整形マッピングは、後方再整形マッピングテーブルと輝度前方マッピングから上流画像処理デバイスによって生成した。後方再整形マッピングテーブルは、輝度前方マッピングを生成する前方再整形マッピングテーブルの逆数として、上流の画像処理デバイスによって最初に生成された。後方再整形マッピングテーブル中のコンテンツマッピング輝度コードワードは、前方再整形輝度コードワードで更新された。前方再整形輝度コードワードは、輝度前方マッピングをソース画像中のサンプリングされたソース輝度コードワードに適用することによって生成された。後方再整形マッピングを前方再整形画像に適用し、再構成画像を生成する。表示画像は、表示デバイスを用いて描画される再構成画像から導出される。

【発明を実施するための形態】

【0029】

ビデオ配信処理パイプラインの例
図１Ａは、ビデオキャプチャからビデオコンテンツディスプレイまでの様々な段階を示す、ビデオ配信パイプライン（１００）の例示的なプロセスを示す。一連のビデオフレーム（１０２）は、画像生成ブロック（１０５）を用いて捕捉または生成される。ビデオフレーム（１０２）は、ビデオデータ（１０７）を提供するために、デジタル的に（例えば、デジタルカメラによって）キャプチャされるか、またはコンピュータによって（例えば、コンピュータアニメーションを使用して）生成され得る。さらに、任意にまたは代替として、ビデオフレーム（１０２）は、フィルムカメラによってフィルム上に捕捉されてもよい。フィルムは、ビデオデータ（１０７）を提供するためにデジタルフォーマットに変換される。制作フェーズ（１１０）では、ビデオデータ（１０７）は、ビデオ制作ストリーム（１１２）を提供するように編集される。

【0030】

次に、制作ストリーム（１１２）のビデオデータが、制作後編集（１１５）のためにプロセッサに提供される。ポストプロダクション編集（１１５）は、ビデオ作成者の創造的意図に従って、画像の画質を向上させるか、または画像の特定の外観を達成するために、画像の特定の領域における色または輝度を調整または修正することを含んでもよい。これは、「カラータイミング」または「カラーグレーディング」と呼ばれることがある。他の編集（例えば、シーン選択およびシーケンス、手動および／または自動シーンカット情報生成、画像クロッピング、コンピュータ生成された視覚的特殊効果の追加など）は、ＨＤＲ画像（１１７－１）またはＳＤＲ（または比較的狭いダイナミックレンジ）画像（１１７）のリリースバージョン（例えば、ＳＤＲなど）を生成するために、制作後編集（１１５）で実行され得る。いくつかの実施態様において、生産後編集（１１５）の間に、ＨＤＲ画像（１１７－１）は、ＨＤＲ画像（１１７－１）上で生産後編集操作を実行しているカラリストによって、高いダイナミックレンジをサポートする基準ＨＤＲディスプレイ上で観察される。さらに、任意に、または代替として、生産後編集（１１５）中に、ＳＤＲ画像（１１７）は、ＳＤＲ画像（１１７）上で生産後編集操作を実行しているカラリストによって、標準ダイナミックレンジ（または比較的狭いダイナミックレンジ）をサポートする参照ディスプレイ（１２５）上で観察される。さらに、任意にまたは代替として、ＳＤＲ画像（１１７）は、ＨＤＲ画像（１１７－１）からコンテンツマッピングされてもよい。

【0031】

いくつかの実施形態では、コーディングブロック（１２０）は、デコードされたＨＤＲ画像データのデコーダ側品質と、後方再整形マッピングのエンコーダ側の計算の複雑性との間の種々の調整可能なトレードオフの一部または全部を実装することができる。コーディングブロック（１２０）は、制作後編集（１１５）からＨＤＲ画像（１１７－１）を受信し、ＨＤＲ画像（１１７－１）を（前方）再整形されたＳＤＲ画像に前方再整形する。。

【0032】

再整形されたＳＤＲ画像は、コーディングブロック（１２０）によって、コーディングされたビットストリーム（１２２）に、例えば、単一層に、圧縮／エンコードすることができる。例示的な単一層ビデオコーディング操作は、２０１７年３月２２日に出願され、米国特許出願公開第２０１９／０１１００５４号として公開された米国特許出願第１６／０８７，２４１号に記載されており、その全内容は、参照により本明細書に組み込まれる。

【0033】

いくつかの実施形態では、コーディングブロック（１２０）は、コーディングされたビットストリーム（１２２）を生成するために、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕ－Ｒａｙ、および他の配信フォーマットによって定義されるものなどのオーディオおよびビデオエンコーダを含んでもよい。

【0034】

再整形されたＳＤＲ画像は、広範なＳＤＲディスプレイデバイス（例えば、ＳＤＲディスプレイ等）と後方互換性のあるビデオ信号（例えば、８ビットＳＤＲビデオ信号、１０ビットＳＤＲビデオ信号等）においてビデオデータにエンコードすることができる。非限定的な例では、再整形されたＳＤＲ画像でエンコードされたビデオ信号は、単一層の後方互換性ビデオ信号であってもよい。本明細書において、「単一層の後方互換ビデオ信号」は、単一信号層におけるＳＤＲディスプレイ用に特に最適化された、またはカラーグレード付けされたＳＤＲ画像を搬送するビデオ信号を指すことができる。

【0035】

いくつかの実施形態では、コーディングブロック（１２０）によって出力されるコーディングされたビットストリーム（１２２）は、コーディングブロック（１２０）によって生成される後方再整形マッピングを含むが、これに限定されない、画像メタデータと共に出力８ビットＳＤＲビデオ信号を表すことができる。本明細書に記載される技術の下では、後方再整形マッピング（または構成者メタデータ）は、再構成されたＨＤＲ画像データのデコーダ側品質と後方再整形マッピングのエンコーダ側の計算の複雑性との間の調整可能なトレードオフオプションの特定のセット（例えば、コーディングブロック（１２０）を含むエンドツーエンドの単一レイヤ後方互換性エンコーディングパイプラインのコンテンツプロバイダおよび／またはコンテンツ消費者によって作成または選択される）に基づいて生成される。

【0036】

後方再整形マッピングは、ＨＤＲ（例えば、参照など）ディスプレイ上のレンダリングのために最適化され得る後方再整形画像を生成するために、再整形されたＳＤＲ画像上で後方再整形（例えば、逆トーンマッピングなど）を実行するために、下流のデコーダによって使用され得る。いくつかの実施形態では、後方再整形画像は、少なくとも部分的に後方再整形マッピング（または構成者メタデータ）に基づく逆トーンマッピングを実行する１つ以上のＳＤＲ－ＨＤＲ変換ツールを使用して、再整形されたＳＤＲ画像（またはそのデコードされたバージョン）から生成されてもよい。本明細書で使用される、後方再整形は、再量子化された画像を元のＥＯＴＦドメイン（例えば、ガンマ、ＰＱ、ハイブリッドログガンマまたはＨＬＧなど）に戻し、ディスプレイ管理などのさらなる下流処理のために変換する画像処理操作を指す。例示的な後方再整形動作は、２０１５年３月２０日に出願された米国仮出願第６２／１３６，４０２号（米国特許出願公開第２０１８／００２０２２４号として、２０１８年１月１８日にも公開された）に記載されており、その内容全体は、本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。

【0037】

さらに、任意に、または代替的に、コーディングされたビットストリーム（１２２）は、下流のデコーダによって使用され、ＨＤＲ参照ディスプレイのための後方再整形画像上の表示管理動作を実行して、非基準ＨＤＲディスプレイなどの他のディスプレイ上のレンダリングに最適化された表示画像を生成することができる表示管理メタデータを含むが、これらに限定されない付加的な画像メタデータとともにエンコードされる。

【0038】

次いで、コーディングされたビットストリーム（１２２）は、デコードおよび再生デバイス、メディアソースデバイス、メディアストリーミングクライアントデバイス、テレビジョンセット、セットトップボックス、映画館などの受信機に下流に送られる。受信機（または下流デバイス）において、コーディングされたビットストリーム（１２２）は、デコーディングブロック（１３０）によってデコードされ、デコードされた画像１８２を生成する。これは、再整形されたＳＤＲ画像と同じであってもよく、コーディングブロック（１２０）によって実行される圧縮およびデコーディングブロック（１３０）によって実行される復元において発生される量子化エラーを条件とする。

【0039】

受信機が、標準ダイナミックレンジ又は標準ダイナミックレンジと同等以下の比較的狭いダイナミックレンジをサポートするターゲットディスプレイ１４０と共に動作する（又は取り付けられる）動作シナリオにおいて、デコーディングブロック（１３０）は、コーディングされたビットストリーム（１２２）から再整形ＳＤＲ画像をデコードし、ターゲットディスプレイ（１４０）上のレンダリングのために、デコードされた再整形ＳＤＲ画像を直接的又は間接的に使用することができる。ターゲットディスプレイ（１４０）がＳＤＲリファレンスディスプレイ（１２５）と同様の特性を有する実施形態では、再整形されたＳＤＲ画像は、ターゲットディスプレイ（１４０）上で直接観察可能である。

【0040】

いくつかの実施形態では、受信機は、高いダイナミックレンジ（例えば、４００ニト、１０００ニト、４０００ニト、１００００ニト以上など）をサポートするＨＤＲターゲットディスプレイ１４０－１と共に動作する（またはこれに取り付けられる）ことにより、コード化されたビットストリーム（１２２）から構成者メタデータを抽出し、後方再整形メタデータ（構成者メタデータ）を使用して、後方再整形メタデータ（構成者メタデータ）に基づいて再整形されたＳＤＲ画像を後方再整形することによって、再整形されたＳＤＲ画像から後方再整形画像１３２－１を作製し、後方再整形画像（１３２－１）を直接または間接的にＨＤＲターゲットディスプレイ（１４０－１）上のレンダリングに使用することができる。

【0041】

後方再整形画像（１３２－１）は、同一ではなく、ＨＤＲターゲットディスプレイ（１４０－１）の最大輝度値またはピーク輝度値よりも大きい値をサポートするＨＤＲディスプレイ（例えば、基準など）上で表示するために最適化することができる。受信機、ＨＤＲターゲットディスプレイ（１４０－１）内、または別のデバイス内にあるディスプレイ管理ブロック（１３５－１など）は、ＨＤＲターゲットディスプレイ（１４０－１）の特性に適合したディスプレイマップ信号（１３７－１）を生成することにより、ＨＤＲターゲットディスプレイ（１４０－１）の特性に合わせて、後方再整形画像（１３２－１）をさらに調整する。

【0042】

ビデオコーデックと品質と複雑さのトレードオフ
図１Ｂは、再構成されたＨＤＲ画像の品質のデコーダ側と、後方再整形マッピングの生成のエンコーダ側計算複雑性との間のトレードオフの例を示す。本明細書に記載するコーディングブロック（例えば、ビデオエンコーダ、ビデオトランスコーダ、メディアストリーミングシステム、コンテンツ提供システムなど）は、コンテンツプロバイダおよび／またはコーディングブロックを含むビデオ処理システムで動作するコンテンツ消費者によって選択される特定のトレードオフオプションのセットで構成することができる（例えば、動的に、静的に、適応的に、スケジュールされるように、独立に、など）。

【0043】

図１Ｂに示すように、例示的なトレードオフは、（ａ）ノイズ注入、（ｂ） ＢＬＵＴ修正、（ｃ）色補正などのいずれかを可能にまたは無効にする（オンまたはオフにする）こと、ならびに（ｄ）ｄ３ＤＭＴを更新（または構築）する際の異なるオプションを選択することを含むが、これらに限定されるものではない。いくつかの運用シナリオでは、ＢＬＵＴの修正と色補正を可能にすることで、バンディングアーチファクトを緩和し、色の外観を改善し、再構成されたＨＤＲ画像の全体的な品質を改善することができる。

【0044】

ｄ３ＤＭＴの更新（または構築）における例示的なトレードオフオプション（例えば、コーディングブロックにおいて選択可能または調整可能）は、必ずしも限定されるものではないが、（１）ｄ３ＤＭＴの前方への更新を行わない、（２）ｄ３ＤＭＴの前方における輝度チャネル／平面の更新、（３）ｄ３ＤＭＴの前方における輝度チャネル／平面および色度チャネル／平面の更新、（４）ソースＨＤＲ画像および前方再整形ＳＤＲ画像に基づくｄ３ＤＭＴの後方の構築などを含むことができる。図１Ｂに示すように、これらの異なるオプションは、デコードされたＨＤＲ画像のデコーダ側品質の異なるカラーグレード、及び／又は後方再整形マッピングのエンコーダ側生成の異なる計算量（又は効率）を提供する。

【0045】

図２Ａおよび図２Ｂは、エンドツーエンドビデオ配信パイプラインにおけるビデオエンコーダ（例えば、図１Ａのコーディングブロック（１２０）など）などの例示的なビデオコーデックを示す。本明細書に記載されるようなエンドツーエンドのビデオ送達パイプライン、またはその中のデバイスは、ソフトウェア、ハードウェア、ソフトウェアとハードウェアの組み合わせなどの１つ以上のコンピューティングデバイスを備えた本明細書に示されるものよりも多くても少なくてもよい処理ブロックによって実現されてもよい。限定ではなく例示として、いくつかまたはすべての処理フローおよび／またはデータフローは、括弧内に数字またはアルファベットでマークされる。図２Ａおよび図２Ｂに示すように、これらの処理ブロックのいずれか、一部または全部は、エンドツーエンドのビデオ配信パイプライン内のビデオコードを構成するために、選択または（例えば、コンテンツプロバイダユーザ、コンテンツコンシューマユーザなどによって）選択または作成される（例えば、図１Ｂに示すような）トレードオフオプションの特定のセットに応じて、任意であってもよい。

【0046】

図２Ａ及び図２Ｂに示すように、本明細書に記載のビデオエンコーダは、ＨＤＲからＳＤＲへのマッピング情報を生成するための「マッピング情報」ブロック、可逆ＳＤＲ画像（又は前方再整形ＳＤＲ画像）を生成するための「前方再整形」ブロック、画像メタデータ（「ＲＰＵ」又は「ｒｐｕ」と称する）を生成するための「後方再整形」ブロックを含み、これらのブロックは、可能な限り入力又は基準ＨＤＲ画像に近いＨＤＲ画像（例えば、可逆ＳＤＲから後方再整形されたもの）を再構成するために受信デバイスによって使用されるべき後方再整形マッピングを含み得る。

【0047】

図２Ａのビデオエンコーダでは、図１Ｂに示されるような（ａ）ノイズ注入、（ｂ）ＢＬＵＴ修正、および（ｃ）色補正の一部または全部を有効にすることができ、図１Ｂに示されるようなｄ３ＤＭＴ更新のオプション（ｄ）（２）または（ｄ）（３）のうちの１つを選択することができる。前述のように、図１Ｂのオプション（ｄ）（２）は、前方ｄ３ＤＭＴにおける輝度チャネル／平面の更新（例えば、のみ）に対応し、図１Ｂのオプション（ｄ）（３）は、前方ｄ３ＤＭＴにおける輝度チャネル／平面および色度チャネル／平面の更新に対応する。

【0048】

図２Ａの「マッピング情報」ブロックは、基準ＨＤＲ画像からＨＤＲカラーサンプルをサンプリング（または抽出）し、コンテンツマッピング（ＣＭ；例えば、芸術的な、またはカラリストの意図に基づいて実行される操作／動作、カラーグレーディング操作など）をこれらのＨＤＲカラーサンプルに適用して、対応するＳＤＲカラーサンプルなどを生成することを含む。ソースまたは基準ＨＤＲ画像からＨＤＲカラーサンプルをサンプリングするために使用されるサンプリング戦略の例には、以下のいずれかが含まれるが、これらに限定されるわけではない：基準ＨＤＲ画像のすべての画素をサンプリングすること、基準ＨＤＲ画像の比較的小さなセット（例えば、１／２、１／４、１／８、１／１６など）をサンプリングすること、基準ＨＤＲ画像の空間的寸法において均一または不均一にサンプリングすること、基準ＨＤＲ画像の輝度コードワード／値の輝度分布において均一または不均一にサンプリングすること、など。

【0049】

マッピング情報ステージでは、少なくとも部分的にサンプリング戦略に基づいて、３Ｄサンプリンググリッド（例えば、直線的な３Ｄグリッド、疎な３Ｄグリッド、頂点の均一または不均一な分布／密度を有する３Ｄグリッドなど）を構築することができる。様々な実施形態では、サンプルポイントは、３Ｄサンプリンググリッドに基づいて選択されても、されなくてもよい。いくつかの実施形態において、サンプルポイントは、密度分布に基づいて選択されてもよく、例えば、サンプルポイントは、密度分布に示されるように、画像に存在する色の有無に基づいて選択されてもよい。ＣＭは、ＨＤＲサンプルポイントから対応するＳＤＲサンプルポイントへのコンテンツマッピング（例えば、それだけ、等）を生成するために使用され得る。コンテンツマッピングは、すべての対応するＳＤＲ画素へのすべてのＨＤＲ画素（例えば、１９２０ｘ１０８０空間分解能の画像の場合、２００万画素以上）からのコンテンツマッピングではなく、比較的少数のサンプルポイント（例えば、１０，０００サンプルポイントなど）でのコンテンツマッピングのセットを含むことができ、従って、すべての画素に対するすべてのコンテンツマッピングよりもずっと軽く生成することができる。

【0050】

ＨＤＲ（例えば、カラー、コードワードなど）サンプルおよび対応するＳＤＲ（例えば、カラー、コードワードなど）サンプルは、前方ｄ３ＤＭＴ（例えば、多次元マッピングテーブル、ヒストグラムなど）を構築または生成するサンプルとして使用されるマッピング対を形成するために使用される。図２Ａの「マッピング情報」ブロックは、さらに、文字ボックスがＨＤＲ画像内に存在するか否か、存在する場合には、文字ボックスの画素値を含むが、これらに限定されない、ＨＤＲ画像からの文字ボックス情報を収集することを含んでもよい。

【0051】

ビデオエンコーダは、ＰＣＴ／ＵＳ２０１９／０３１６２０に記載されているように、高効率低減基準（ＨＥＲＲ）コーデックアーキテクチャを実装して、計算の複雑さを低減することができる。マッピング側の情報（マッピングサイド情報）－個々の画素の画素値（例えば、全て、実質的に全て、等々）を含む基準ＳＤＲ画像の代わりに－が、マッピング情報ステージからビデオエンコーダの前方再整形ステージ、後方再整形ステージ等のその後の処理ステージへ送られることができる。ＨＥＲＲエンコード動作では、ソース（または基準）ＨＤＲ画像とソース（または基準）ＨＤＲ画像に関連するマッピング側の情報とを後の処理段階で使用して、前方再整形関数（例えば、ＦＬＵＴ、ＭＭＲ係数など）を構築し、前方再整形関数に基づいてソースＨＤＲ画像を前方に再整形することによって（前方）再整形されたＳＤＲ画像を生成し、ソースＨＤＲ画像を近似する再構成されたＨＤＲ画像を生成するために、受信デバイス（または受信者ビデオデコーダ）によって使用される後方再整形画像メタデータを生成し、ＳＬＢＣビデオ信号内の後方再整形画像メタデータとともに、再整形されたＳＤＲ画像をエンコードする。いくつかの運用シナリオでは、マッピング側の情報は、完全参照（フルリファレンス）ＳＤＲ画像で表されるものと比較して、色の数を減らすことができる。

【0052】

ＰＣＴ／ＵＳ２０１９／０３１６２０に記載されている高忠実度フルリファレンス（ＨＦＦＲ）モードでは、基準ＳＤＲ画像は、ソースＨＤＲ画像の各画素にコンテンツマッピング（カラーマッピングなど）を適用することによって生成され、色度前方再整形のためのｄ３ＤＭＴを構築するために使用される。ＨＦＦＲモードでは、基準ＳＤＲ画像はＳＬＢＣビデオ信号にエンコードされず、色度前方再整形のためのｄ３ＤＭＴを構築するための近似基準として働く。従って、ＨＦＦＲモードでは、各個々の画素レベル（例えば、画像中の百万画素の各々）で実行される多くのエンコーディング関連操作がある。

【0053】

対照的に、ＰＣＴ／ＵＳ２０１９／０３１６２０に記載されているＨＥＲＲモードでは、ｄ３ＤＭＴは、各個々の画素レベルで完全参照ＳＤＲ画像を生成又は操作することなく、低減された数の点（例えば、１０，０００点、１００万点よりはるかに少ない点など）で、コンテンツマッピング情報（例えば、カラーマッピング情報など）のようなマッピング側の情報から生成することができる。その結果、大量の計算または関連する演算を節約または回避することができる。

【0054】

フルリファレンスモードの場合と同様に、縮小リファレンスモードのマッピング情報段階でマッピング側の情報を生成するために、ソースＨＤＲ画像（フレームｔと称する）中のコードワードは、各カラーチャネルについて、そのような各チャネルの最小および最大コードワード値に基づいてＱ個のビンに分割することができる。全体として、

【数1】

個の３Ｄビンがある。正規化されていない最小コードワード値を、

【数2】

と示し、正規化されていない最大コードワード値を、

【数3】

と示し、ここで

【数4】

である。ビン

【数5】

の範囲は次のように表される。

【数6】

ここで、

【数7】

であり、

【数8】

であり、

【数9】

はＨＤＲ（またはＥＤＲ）のビット深度である。

【0055】

ＨＤＲ画素値（またはコードワード値）に対する３Ｄヒストグラム（

【数10】

として示される）は、ビンインデックス

【数11】

によって指定される３Ｄヒストグラム内の各３Ｄビンとともに収集される。各３ＤビンにおけるＨＤＲ画素値のチャネル固有の和（

【数12】

として示される）がそれぞれ計算される。（３Ｄヒストグラム

【数13】

非ゼロの画素数を有する空でないビンについては、チャネル固有の平均ＨＤＲ画素値（またはコードワード値）（

【数14】

として示される）は、それぞれ、すべてのカラーチャネルについて計算することができ、空でないビンに表されるＨＤＲ画素値についてのマッピングされたＳＤＲ画素値は、それぞれ、すべてのカラーチャネルについての平均ＨＤＲ画素値におけるコンテンツマッピングを用いて決定または計算することもできる。

【数15】

をＫｔ個のビンとして示し、ここで、

【数16】

である。マッピングされたＳＤＲ画素値を

【数17】

として示し、チャネル固有の平均ＨＤＲ画素値

【数18】

およびマッピングされたＳＤＲ画素値

【数19】

などのマッピング統計を収集するための例示的な手順を、下記の表１に示す。

【表1-1】

【表1-2】

【表1-3】

【0056】

上記の表１に見られるように、フルリファレンスモードとは異なり、縮小リファレンスモードにおけるマッピングされたＳＤＲ画素値は、参照ＳＤＲ画像における個々のＳＤＲ画素値を平均する代わりに、サンプリングされたポイントにおけるＨＤＲ画素値にコンテンツマッピング（カラーマッピングなど）を適用することによって得られる。このようなコンテンツマッピングは、ｄ３ＤＭＴを表す３Ｄヒストグラム

【数20】

の非ゼロのビンにのみ適用される可能性がある。サンプリングされたＨＤＲ及びＳＤＲコードワード統計

【数21】

を含む３Ｄヒストグラム

【数22】

によって表されるｄ３ＤＭＴは、ヒストグラム

【数23】

と共に、マッピング情報ステージから前方再整形ステージ及び／又は後方再整形ステージへのマッピング側情報として送られ、前方再整形ステージ及び後方再整形ステージにおける前方及び後方再整形関数を構築するために使用され得る。

【0057】

図２Ａの「前方再整形」ブロックは、前方ｄ３ＤＭＴを用いて、前方ｄ３ＤＭＴから得られたＨＤＲ輝度サンプル（例えば、ＨＤＲサンプルの輝度成分など）およびＳＤＲ輝度サンプル（例えば、対応するＳＤＲサンプルの輝度成分など）の輝度ヒストグラムを構築し、累積密度関数（ＣＤＦ）マッチングを適用して、輝度チャネル／プレーンなどのための前方ルックアップテーブル（ＦＬＵＴ）を形成または生成することを含む。例示的なＣＤＦマッチング操作は、２０１７年９月１１日に出願されたＰＣＴ出願第ＰＣＴ／ＵＳ２０１７／５０９８０号、２０１６年１０月５日に出願された米国仮出願第６２／４０４，３０７号（米国特許出願公開第２０１８／００９８０９４号として２０１８年４月５日にも公開されている）に記載されており、その全内容は、参照により本明細書に組み入れられる。

【0058】

いくつかの実施形態では、ＣＤＦマッチングを使用して、前方再整形ルックアップテーブルを構築することができる。１Ｄ輝度ヒストグラムは、ソースＨＤＲ画像および各未サンプリングレベルの基準ＳＤＲ画像からではなく、サンプリングポイント（例えば、ＨＤＲおよびＳＤＲ画像フレームの各々におけるサンプリンググリッドなど）におけるソースＨＤＲコードワード値およびＳＤＲコードワード値から生成されたｄ３ＤＭＴを使用して構築されてもよい。ｄ３ＤＭＴを表す３Ｄヒストグラムは、マッピング情報ステージからマッピング側の情報で既に利用可能であるため、前方変更ステージは、輝度値が１Ｄ輝度ヒストグラムの同じ輝度ビンに対応する３Ｄヒストグラムのすべての３Ｄビンを合計することによって、１Ｄ輝度ヒストグラムを構築することができる。

【0059】

ＣＤＦマッチングは、１Ｄ輝度ヒストグラムに基づいて補間ＦＬＵＴを生成するために、ＣＤＦマッチングブロックによって実行され得る。補間されたＦＬＵＴは、平滑化されたＦＬＵＴを生成するために平滑化されてもよい。さらに、後方再整形ＬＵＴ（ＢＬＵＴ）は、平滑化されたＦＬＵＴに表されるコードワードマッピングまたは曲線（例えば、８ピースの２次多項式など）を使用して、ＢＬＵＴ構成ブロック４５６によって構成されてもよい。

【0060】

異なる計算コストを伴う１Ｄ輝度ヒストグラムを構築するための２つの例示的な方法または手順は、以下の表２および３に示されている。表２に示す第１の方法では、各ビンの重心が計算される。ＣＤＦマッチングは、セントロイドを使用して実行される。これは、比較的高コストの計算を必要とするが、比較的高精度のマッピングを生成する。表３に示す第２の方法では、各ビンは、その中間点で表され、これは、比較的低コストの計算で容易に決定することができる。２つの方法を以下に示す。

【表2-1】

【表2-2】

【表2-3】

【表3-1】

【表3-2】

【表3-3】

【0061】

いくつかの運用シナリオでは、ブロック標準偏差（「ＢＬＫＳＴＤ」と表記）がＨＤＲ画像から計算される。バンディングアーチファクトのリスクは、ＢＬＫＳＴＤ（ＨＤＲ画像から計算）およびＦＬＵＴ（ＣＤＦマッチングで作成）から推定される。ＨＤＲ画像のバンディングアーチファクトおよび／または輝度レベルのリスクに依存するノイズは、ＨＤＲ画像の暗部またはＨＤＲ輝度チャネル／平面のサブレンジに（「（ａ）ノイズ注入」サブブロックで）注入されることがある。

【0062】

例示的なブロック標準偏差計算およびバンディングアーチファクトリスク推定は、米国特許第１０，０３２，２６２号に記載されており、その全体の内容は、本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。

【0063】

さらに、レターボックス操作は、レターボックス処理操作を実行して、基準ＨＤＲ画像内に存在し得る任意のレターボックスを処理して、前方に再整形されたＳＤＲ画像および／または再構成されたＨＤＲ画像内の正確な色を確実にするのを助けることができる。レターボックス処理操作の例は、前述のＰＣＴ特許出願第ＰＣＴ／ＵＳ２０１９／０３１６２０号に記載されている。

【0064】

ＨＤＲ画像のディザリングされた（またはノイズ注入された）ＨＤＲ輝度チャネル／プレーンにＦＬＵＴを適用することにより、対応する前方再整形ＳＤＲ画像のＢＬ輝度チャネル／プレーン／コンポーネントを生成することができる。

【0065】

ＨＤＲ画像のＨＤＲ色度チャネル／平面に前方ＭＭＲ係数を適用することにより、対応する前方再整形ＳＤＲ画像のＢＬ色度チャネル／平面／コンポーネントを生成することができる。前方ＭＭＲ係数（色度前方再整形マッピングを表す）は、前方ｄ３ＤＭＴおよび文字ボックス情報から計算することができる。

【0066】

マッピング情報ステージからのｄ３ＤＭＴは、前方再整形ステージにおける無制約ＭＭＲマトリックス構築によって受信され得る。無制約最小二乗問題は、ソースＨＤＲ画像内の色度コードワード（該当する場合、任意のレターボックスソースＨＤＲ色度コードワードを含む）を再整形ＳＤＲ画像内の再整形色度コードワード（該当する場合、任意のレターボックスリ成形ＳＤＲ色度コードワードを含む）に転送するために使用されるＭＭＲ係数を解くために定式化することができる。

【0067】

マッピングサイド情報で提供されるｄ３ＤＭＴから、２つのベクトルは、ｄ３ＤＭＴを表す３Ｄヒストグラムの非ゼロのビン（または空でないビン）のＳＤＲ色度値を用いて、以下のように構成することができる：

【数24】

【0068】

さらに、以下のように、非ゼロのビンの平均ＨＤＲ画素値を用いて行列を構成することができる：

【数25】

ここで、

【数26】

これには、サポートされるすべてのＭＭＲ項が含まれている。

【0069】

以下の関係式が成り立つとする。

【数27】

【0070】

無制約のＭＭＲ係数は、次のように、無制約のＭＭＲ行列を用いて無制約の最小二乗問題を解くことによって、閉じた形で得られる：

【数28】

【0071】

図２Ａの「後方再整形」ブロックは、前述のＰＣＴ特許出願第ＰＣＴ／ＵＳ２０１９／０３１６２０号に記載されたヒストグラム強調ＢＬＵＴ構築法のようなヒストグラムベースの方法を用いて、ＦＬＵＴから輝度チャネル／平面に対する後方ルックアップテーブルを構築し、ＢＬＵＴ修正（「（ｂ）」と称する）を実行して、前方再整形されたＳＤＲ画像の後方再整形から生成された再構築されたＨＤＲ画像におけるバンディングアーチファクトのリスクを軽減または低減する。

【0072】

図２Ａの「前方再整形」ブロックによって生成されたＦＬＵＴおよび前方ＭＭＲ係数は、（「（ｄ）ｄ３ＤＭＴ更新」サブブロックにおいて）前方ｄ３ＤＭＴから生成された後方ｄ３ＤＭＴの（例えば、逆等としての）輝度および／または色度チャネル／平面におけるＳＤＲコードワード／サンプルを更新するために使用される。修正されたＢＬＵＴ（「（ｂ）ＢＬＵＴ修正」サブブロックで生成された）は、「（ｃ）色補正」サブブロックで使用され、色を修正するために、後方ｄ３ＤＭＴ内のＨＤＲ色度コードワード（例えば、値、サンプルなど）を修正し、それによって、再構成されたＨＤＲ画像の色の外観を改善する。後方再整形ＭＭＲ係数は、更新された後方ｄ３ＤＭＴと文字ボックス情報から計算することができる。

【0073】

ｄ３ＤＭＴは、後方再整形ステージにおける無制約ＭＭＲマトリックス構成によって受信され得る。無制約最小二乗問題は、再構成されたＳＤＲ画像内の色度コードワード（該当する場合、レターボックス再構成されたＳＤＲ色度コードワードを含む）を再構成されたＨＤＲ画像内の色度コードワード（該当する場合、レターボックス再構成されたＨＤＲ色度コードワードを含む）に戻すために使用されるＭＭＲ係数を解くために定式化され得る。

【0074】

ｄ３ＤＭＴから、ｄ３ＤＭＴを表す３Ｄヒストグラムの非ゼロのビン（または空でないビン）の平均ＨＤＲ色度値を用いて、２つのベクトルを次のように構成することができる：

【数29】

【0075】

さらに、以下のように、非ゼロのビンのＳＤＲ画素値を用いて行列を構成することができる：

【数30】

ここで、

【数31】

これには、サポートされるすべてのＭＭＲ項が含まれている。

【0076】

以下の関係式が成り立つとしよう。

【数32】

【数33】

【0077】

無制約のＭＭＲ係数は、次のように、無制約のＭＭＲ行列を用いて無制約の最小二乗問題を解くことによって、閉じた形で得られる：

【数34】

【0078】

ＢＬＵＴと後方再整形ＭＭＲ係数を含む（または指定する）後方再整形マッピングは、再整形されたＳＤＲ画像に付随する画像メタデータ（例えば、「ｒｐｕ」など）の一部として、コード化されたビットストリームに出力されてもよい。

【0079】

図１Ｂに示すいくつかの又は全てのトレードオフオプションの各々は、復号化されたＨＤＲ画像のデコーダ側品質とエンコーダ側計算コストとの間の特定の調整可能なトレードオフを達成するために、ビデオエンコーダを構成するように個別に選択又は作製することができる。第１のトレードオフオプションは、図２Ａの処理サブブロック（ａ）を保持／除去することによって、ノイズ注入を有効／無効にするために行われてもよい。第２のトレードオフオプションは、図２Ａの処理サブブロック（ｂ）を保持／除去することによって、ＢＬＵＴ変更を有効／無効にするために行うことができる。第３のトレードオフオプションは、図２Ａの処理サブブロック（ｃ）を保持／除去することによって、色補正を有効／無効にするようにすることができる。ｄ３ＤＭＴ更新に関して、いくつかのトレードオフオプションを行うことができる。例えば、図２Ａの処理サブブロック（ｄ）を有効／無効にするために、第４のトレードオフオプションを行うことができる。第５のトレードオフオプションは、図２Ａのデータフロー（２）および処理サブブロック（ｄ）を維持するために行われてもよい。第６のトレードオフオプションは、図２Ａのデータフロー（３）および処理サブブロック（ｄ）を維持するために行われてもよい。

【0080】

第７のトレードオフオプションが図２Ｂに示されている。このオプションの下では、後方再整形マッピングを生成するために使用される後方ｄ３ＤＭＴは、基準ＨＤＲ画像と、図２Ｂの（４）として示されるデータフローで提供される前方再整形ＳＤＲ画像とから構成される。

【0081】

要約すると、本明細書に記載されるような調整可能なトレードオフ技術は、後方再整形マッピングを生成し、ビデオコーデック間のエンドツーエンドビデオ配信をサポートするために使用され得る。エンコーダ側の計算リソースの利用可能性に従い、再構成されたＨＤＲ画像のデコーダ側の最適な品質を達成するために、ビデオエンコーダを構成するために、様々なトレードオフオプションを選択または作成することができる。

【0082】

エンコーダ側および／またはデコーダ側の計算リソースの利用可能性は、特定の調整可能なトレードオフオプションを選択または作成するために（例えば、動的に、静的に、適応的に、など）使用され得る。本明細書に記載の例示的な計算リソースには、ＣＰＵ消費量、ＤＳＰ処理能力、メモリサイズ、キャッシュ、データストア、ネットワークリソース、レイテンシー、エンドツーエンドビデオ配信パイプラインの遅延などが含まれるが、これらに限定されない。

【0083】

図２Ｃは、ビデオデコーダ（例えば、図１Ａのデコーディングブロック（１３０）など）のような例示的なビデオコーデックを示し、これは、下流のビデオデコーダ（例えば、受信機など）内の１つ以上のコンピューティングプロセッサで実装することもできる。

【0084】

図２Ｃに示すようないくつかの動作シナリオでは、単一層１４４内の（前方）再整形されたＳＤＲ画像及び画像メタデータ１５２によって符号化されたビデオ信号は、ビデオデコーダによる入力として、必ずしも上流のビデオエンコーダによって生成された後方整形マッピングのみを含むが、これに限定されない。

【0085】

復元ブロック１５４（例えば、図１Ａの解読ブロック（１３０）の一部など）は、ビデオ信号の単一層（１４４）内の圧縮ビデオデータを解読ＳＤＲ画像（１８２）に解読／解読する。デコードされたＳＤＲ画像（１８２）は、コーディングブロック（１２０）および復元ブロック（１５４）における量子化誤差に従い、再整形されたＳＤＲ画像と同一であってもよく、これはＳＤＲディスプレイデバイスに対して最適化されていた可能性がある。デコードされたＳＤＲ画像（１８２）は、出力ＳＤＲビデオ信号１５６に出力され、ＳＤＲディスプレイデバイスにレンダリングされる。

【0086】

さらに、後方再整形ブロック１５８は、入力ビデオ信号から後方再整形マッピングを抽出し、画像メタデータ（１５２）において抽出された後方再整形マッピングに基づく最適後方再整形関数を構築し、再構築ＨＤＲ画像（例えば、後方再整形ＨＤＲ画像、図１Ａの１３２－１、ＨＤＲ参照画像の近似など）を生成するために、最適後方再整形関数に基づく再整形ＳＤＲ画像に対する後方再整形操作を実行する。

【0087】

いくつかの実施態様において、後方再整形されたＨＤＲ画像は、ＨＤＲターゲット／リファレンス表示デバイスに対して最適化された、生産品質又は生産品質に近いＨＤＲ画像を表す。後方再整形されたＨＤＲ画像は、出力ＨＤＲビデオ信号１６０に出力され、ＨＤＲディスプレイデバイスにレンダリングされる。一部の動作では、ＤＭは、コストまたは待ち時間を低減するために受信機に実装されない場合がある。

【0088】

さらに、任意に、または代替として、いくつかの動作シナリオにおいて、ＤＭメタデータは、画像メタデータ（１５２）および再整形されたＳＤＲ画像内で受信機に送信され得る。ＨＤＲ表示デバイスに特有の表示管理動作は、画像メタデータ（１５２）内のＤＭメタデータに少なくとも部分的に基づいて、例えば、ＨＤＲ表示デバイス上にレンダリングされるＨＤＲ表示画像を生成するために、後方再整形されたＨＤＲ画像に対して実行されてもよい。

【0089】

説明のために、単一層コーデックアーキテクチャが記載されている。本明細書に記載した技術は、図２Ａから図２Ｃに示すもの以外の異なる単層コーデックアーキテクチャで使用することができることに留意されたい。さらに、任意にまたは代替として、これらの技術は、多層コーデックアーキテクチャにおいて使用することができる。従って、単層または多層コーデックアーキテクチャのこれらおよび他のバリエーションは、本明細書に記載の技術の一部または全部と共に動作可能である。

【0090】

後方再整形のためのｄ３ＤＭＴの更新
前述のＰＣＴ特許出願第ＰＣＴ／ＵＳ２０１９／０３１６２０号に記載されているような高忠実度アプローチと高効率アプローチとの間の比較的大きなギャップの多くは、再構成ＨＤＲ画像のデコーダ側品質及びエンコーダ側計算コスト（又は効率）に関して、色度チャネル／平面におけるＳＤＲ画像の後方再整形のための後方再整形ＭＭＲ係数のような後方再整形マッピング（又は関数）を計算又は生成するために使用される方法に起因することができる。

【0091】

一方、高効率アプローチは、前方ｄ３ＤＭＴから直接後方再整形ＭＭＲ係数を計算し、それによって、復号器側の再構成ＨＤＲ画像の品質に著しい影響を与える誤差を導入する。これは、前方ｄ３ＤＭＴが前方再整形に対して十分に正確であるが、後方再整形に対して十分に正確でない可能性があるためである。

【0092】

色空間の単一（輝度）チャネル／平面で実行されるため、輝度の再整形は、再整形されたコードワード／値にある程度の誤差を生じやすい可能性がある。色度再整形のＭＭＲ予測では、さらなるエラーが発生する可能性がある。

【0093】

図３Ａは、前方ｄ３ＤＭＴ内の各エントリに対する前方再整形によって引き起こされるＹ、Ｃｂ（Ｃ０またはＣ０として示される）およびＣｒ（Ｃ１またはＣ１として示される）の予測誤差の例を示す。これらの予測誤差は、前方ｄ３ＤＭＴにおけるオリジナルのコードワード／値とＦＬＵＴ／ＭＭＲ予測コードワード／値との間の差異または偏差を表す。輝度予測誤差は、色度予測誤差よりも顕著である可能性がある。これらの予測誤差は、さらに後方再整形に伝播し、それにより、再構成されたＨＤＲ画像に比較的重大な誤差を生じる。

【0094】

他方、高忠実度アプローチは、基準（またはソース）ＨＤＲおよび対応するＳＤＲ画像（例えば、前方再整形ＳＤＲ画像など）から新しい後方ｄ３ＤＭＴを構築し、それにより、かなりの計算コストおよび待ち時間を負う。

【0095】

輝度チャネル／平面におけるＳＤＲコードワード／値を予測するために使用されるＦＬＵＴと色度チャネル／平面におけるＳＤＲコードワード／値を予測するために使用される前方ＭＭＲ係数を最初に解いた／得た。次いで、後方再整形マッピングにおける前方再整形によって導入される予測誤差を修正または最小化するために、前方ｄ３ＤＭＴに対応する後方ｄ３ＤＭＴを、ＦＬＵＴ予測輝度ＳＤＲコードワード／値および前方ＭＭＲ予測色度コードワード／値を用いた前方ｄ３ＤＭＴのＳＤＲエントリ内のコンテンツマッピングされたＳＤＲコードワード／値（図２Ａまたは図２Ｂの「マッピング情報」ブロック内のＨＤＲコードワード／値／サンプルを、コンテンツマッピングすることによって生成された）を置換または修正することによって生成することができる。

【0096】

以下のように、ｔ番目のＨＤＲ基準画像（またはフレーム）のＨＤＲサンプル（またはＹ、Ｃ０およびＣ１チャネル／平面のソースＨＤＲ値）から生成された前方ｄ３ＤＭＴ内のマッピング対と、ＨＤＲサンプルのコンテンツマッピングから生成された対応するＳＤＲサンプル（またはコンテンツマッピングＳＤＲ値）のマッピング対を記述する：

【数35】

ここでＫは、前方ｄ３ＤＭＴのエントリまたは行の総数であり、

【数36】

は、マッピングテーブルのｋ番目のエントリのＹ、Ｃ０およびＣ１チャネル／平面におけるソースＨＤＲ値をそれぞれ示し、

【数37】

は、前方ｄ３ＤＭＴのｋ番目のエントリのＹ、Ｃ０およびＣ１チャネル／平面におけるコンテンツマッピングＳＤＲ値を示す。ｋは０と（Ｋ－１）の間の整数である。

【0097】

本明細書に記載されているマッピングテーブルのマッピング対は、ＨＤＲ値のエントリ（例えば、上記式（１）の左側）のペア、およびＳＤＲ値の対応するエントリ（例えば、上記式（１）の右側）のペアを指す。本明細書に記載される技術の下では、マッピング対におけるこれらの値は、比較的高品質の後方再整形マッピングを生成する目的で更新され得る。

【0098】

輝度チャネル／平面内のＨＤＲコードワード／値からＳＤＲコードワード／値を予測するために使用される前方ＦＬＵＴ（前方ｄ３ＤＭＴから生成される）を、

【数38】

と記す。色度チャネル／平面Ｃ０およびＣ１におけるＨＤＲコードワード／値からＳＤＲコードワード／値を予測するために使用される前方ＭＭＲ係数（前方ｄ３ＤＭＴから生成される）を、それぞれ、

【数39】

と記すと、以下のようになる：

【数40】

ここで、ＭはＭＭＲに基づく前方再整形マッピングにおける項の総数を表す。

【0099】

ＳＤＲからＨＤＲへのペアのマッピングを含む後方ｄ３ＤＭＴは、最初、前方ｄ３ＤＭＴの逆数として生成することができる。例えば、後方ｄ３ＤＭＴを最初に前方ｄ３ＤＭＴの逆数として構築する目的のために、前方ｄ３ＤＭＴ内のＳＤＲ値にマップされるＨＤＲ値を、後方ｄ３ＤＭＴ内のＳＤＲ値がマップされる対応するＨＤＲ値として使用することができる。

【0100】

輝度チャネル／平面において、コンテンツマッピングされたＳＤＲコードワード／値を、後方ｄ３ＤＭＴにおけるＦＬＵＴで予測された前方に再構成されたＳＤＲコードワード／値と置き換える例示的な手順を、以下の表４に示す。

【表4】

【0101】

いくつかの運用シナリオでは、最初に前方ｄ３ＤＭＴの逆数として生成された後方ｄ３ＤＭＴのＳＤＲ輝度コード／値を更新した後、ＨＤＲからＳＤＲへの修正後方ｄ３ＤＭＴを次のように生成できる：

【数41】

【0102】

前述したように、この後方ｄ３ＤＭＴを構築するために、前方ｄ３ＤＭＴ内のＳＤＲ値にマップされるＨＤＲ値は、後方ｄ３ＤＭＴ内のＳＤＲ値がマップされる対応するＨＤＲ値として使用され得る。

【0103】

色度チャネル／平面において、コンテンツマッピングされたＳＤＲコードワード／値を、後方ｄ３ＤＭＴにおける前方ＭＭＲ係数で予測された前方再整形されたＳＤＲコードワード／値と置き換える例示的な手順を、以下の表５に示す。

【表5】

【0104】

一部の運用シナリオでは、最初に前方ｄ３ＤＭＴの逆として生成された後方ｄ３ＤＭＴ内のＳＤＲ色度コードワード／値を更新した後、ＳＤＲからＨＤＲへの修正後方ｄ３ＤＭＴを次のように生成することができる：

【数42】

【0105】

さらに、任意にまたは代替として、後方ｄ３ＤＭＴのＳＤＲ輝度および色度コードワード／値を更新した後、ＳＤＲからＨＤＲへの修正後の後方ｄ３ＤＭＴを次のように生成することができる：

【数43】

【0106】

再構成されたＨＤＲコードワード／値を予測するために使用される後方ＭＭＲ係数は、式（３）から（５）で表されるように修正された後方ｄ３ＤＭＴから計算され得る。式（５）の更新された後方ｄ３ＤＭＴを例にとる。行列を次のように構成する：

【数44】

ここで、

【数45】

は、ＭＭＲ予測演算でサポートされるすべての（Ｍ個の）項を含む。

【0107】

以下の関係式が成り立つとする：

【数46】

【数47】

【数48】

【数49】

【数50】

【0108】

後方再整形のための後方ＭＭＲ係数は、以下のように計算できる：

【数51】

【数52】

【0109】

いくつかの運用シナリオでは、輝度チャネル／平面における後方再整形における予測誤差は、後方再整形色度チャネル／平面における予測誤差よりも重要である。さらに、後方ｄ３ＤＭＴの更新／修正におけるＳＤＲ輝度コードまたは値の生成および更新は、ＳＤＲ色度コードまたは値の生成および更新よりも計算的に効率的である。これらの運用シナリオでは、表４に示される処理は、表５に示される処理よりも高い優先度を与えられてもよい。

【0110】

図４Ａは、再構成されたＨＤＲ画像のデコーダ側品質と、後方再構成マッピングを生成するためにｄ３ＤＭＴを更新または構築するエンコーダ側計算コストとの間の調整可能なトレードオフのための例示的なプロセスフローを示す。いくつかの実施形態では、１つ以上の計算デバイスで実装されたビデオエンコーダは、このプロセスフローを実行することができる。

【0111】

ブロック４０２は、前方ｄ３ＤＭＴの更新／構築（または、その逆として最初に生成された対応する後方ｄ３ＤＭＴの更新／構築）をサポートするために、デコーダ／再生デバイス等にビデオデータを配信することに関与する１つ以上のビデオコーデックの（例えば、ビデオエンコーダ、コーディングブロックのビデオエンコーダの）計算リソースが利用可能であるかどうかを判断することを含む。

【0112】

ブロック４０４は、計算リソースが前方ｄ３ＤＭＴ（または後方ｄ３ＤＭＴ）のアップデート／ビルドをサポートするために利用できないという決定に応答して、後方ＭＭＲ係数を計算するために後方ｄ３ＤＭＴとして前方ｄ３ＤＭＴの逆数を直接使用して、前方ｄ３ＤＭＴに変更を加えることを回避することを含む。再構成されたＨＤＲ画像の第１のカラーグレードは、前方再整形されたＳＤＲ画像と、少なくとも部分的には後方ＭＭＲ係数によって生成された対応する後方再整形マッピングを受信するビデオデコーダによって生成することができる。

【0113】

第１のカラーグレードを生成するために、図３Ｂに示すように、ビデオエンコーダは、最初に、各ソース（または入力）ＨＤＲ画像のＨＤＲサンプル、およびソースＨＤＲ画像に対応するコンテンツマップＳＤＲ画像の対応するＳＤＲサンプルから前方ｄ３ＤＭＴを作成する。次いで、ビデオエンコーダは、後方ｄ３ＤＭＴから導出された後方再整形ＭＭＲ係数によって表される色度後方再整形関数を含むが、これに限定されない後方再整形マッピングを、前方ｄ３ＤＭＴの逆数として計算する（前方ｄ３ＤＭＴまたは後方ｄ３ＤＭＴへの更なる更新なしに）。

【0114】

本明細書中で使用されるように、異なる色グレードが、同じ視覚的意味内容を描写するために生成され得る。カラーグレードは、同一の視覚的意味内容を描写する再構成されたＨＤＲ画像の特定のバージョン（例えば、エンコーダ生成等）を参照することができる。

【0115】

ブロック４０６は、前方ｄ３ＤＭＴ（または後方ｄ３ＤＭＴ）の更新／構築をサポートするために計算リソースが利用可能であることを決定することに応答して、利用可能な計算リソースの特定のレベルを決定することを含む。

【0116】

いくつかの動作シナリオでは、複数の計算リソースレベルしきい値がビデオエンコーダのために構成され、利用可能な計算リソースの特定のレベルと比較するためにビデオエンコーダによって使用されてもよい。

【0117】

ブロック４０８は、利用可能なコンピューティングリソースの特定のレベルおよび複数のコンピューティングリソースレベル閾値に基づいて、ｄ３ＤＭＴを更新／構築するための、複数のトレードオフオプションの中の対応する特定のトレードオフオプションを決定することを含む。

【0118】

例えば、利用可能なコンピューティングリソースの特定レベルを決定することに応答して、第１のコンピューティングリソースレベル閾値を超えるが第２のコンピューティングリソースレベル閾値を下回る場合（第１のコンピューティングリソースレベル閾値を上回る）、ビデオエンコーダは、表４に示すように、前方ｄ３ＤＭＴ（または対応する後方ｄ３ＤＭＴ）のＳＤＲ輝度コード／値を更新することができる。再構成されたＨＤＲ画像の第２のカラーグレードは、前方再整形されたＳＤＲ画像と、少なくとも部分的には更新されたｄ３ＤＭＴから導出された後方ＭＭＲ係数によって生成された対応する後方再整形マッピングとを受信するビデオデコーダによって生成することができる。

【0119】

第２のカラーグレードを生成するために、図３Ｂに示すように、ビデオエンコーダは、最初に、各ソース（または入力） ＨＤＲ画像のＨＤＲサンプル、およびソースＨＤＲ画像に対応するコンテンツマップＳＤＲ画像の対応するＳＤＲサンプルから前方ｄ３ＤＭＴを作成する。ビデオエンコーダは、前方ｄ３ＤＭＴに基づく輝度前方再整形関数を生成し、前方ｄ３ＤＭＴ内の輝度コードワード／値（ただし、色度コード／値を更新しない）を更新するために輝度前方再整形関数を使用します。次に、ビデオエンコーダは、更新された後方ｄ３ＤＭＴから導出された後方再整形ＭＭＲ係数によって表される色度後方再整形関数を含むが、これに限定されない後方再整形マッピングを計算する。

【0120】

利用可能なコンピューティングリソースの特定レベルが第２のコンピューティングリソースレベル閾値を上回るが、第３のコンピューティングリソースレベル閾値（第２のコンピューティングリソースレベル閾値を上回る）を下回る場合、ビデオエンコーダは、表４および５に示すように、前方ｄ３ＤＭＴ （または対応する後方ｄ３ＤＭＴ）のＳＤＲ輝度および色度コードワード／値を更新することができる。再構成されたＨＤＲ画像の第３のカラーグレードは、前方再整形されたＳＤＲ画像および対応する後方再整形マッピングを受信するビデオデコーダによって、少なくとも部分的に、更新されたｄ３ＤＭＴから導出された後方ＭＭＲ係数によって生成することができる。

【0121】

第３のカラーグレードを生成するために、図３Ｂに示すように、ビデオエンコーダは、最初に、各ソース（または入力） ＨＤＲ画像のＨＤＲサンプル、およびソースＨＤＲ画像に対応するコンテンツマップＳＤＲ画像の対応するＳＤＲサンプルから前方ｄ３ＤＭＴを作成する。ビデオエンコーダは、前方ｄ３ＤＭＴに基づく輝度前方再整形関数を生成し、前方ｄ３ＤＭＴに基づく色度前方再整形関数（例えば、前方再整形ＭＭＲ係数など）を生成する。ビデオエンコーダは、輝度および色度前方再構成関数を使用して、前方ｄ３ＤＭＴまたは前方ｄ３ＤＭＴから後方として最初に生成された後方ｄ３ＤＭＴ内の輝度コード／値だけでなく、輝度コード／値を更新する。次に、ビデオエンコーダは、更新された後方ｄ３ＤＭＴから導出された後方再整形ＭＭＲ係数によって表される色度後方再整形関数を含むが、これに限定されない後方再整形マッピングを計算する。

【0122】

利用可能な計算リソースの特定のレベルが第３の計算リソースレベルしきい値を上回ることに応答して、ビデオエンコーダは、ＨＤＲソース（または参照）画像および対応する前方再整形ＳＤＲ画像を使用して、後方再整形のための（新規）後方ｄ３ＤＭＴ （例えば、前方ｄ３ＤＭＴの逆数などを使用せずに）を構築し、構築された後方ｄ３ＤＭＴに基づいて後方ＭＭＲ係数を計算することができる。再構成されたＨＤＲ画像の第４のカラーグレードは、前方再整形されたＳＤＲ画像と、少なくとも部分的に、構築された後方ｄ３ＤＭＴから導出された後方ＭＭＲ係数によって生成された対応する後方再整形マッピングを受信するビデオデコーダによって生成することができる。

【0123】

第４のカラーグレードを生成するために、図３Ｂに示すように、ビデオエンコーダは、最初に、各ソース（または入力） ＨＤＲ画像のＨＤＲサンプル、およびソースＨＤＲ画像に対応するコンテンツマップＳＤＲ画像の対応するＳＤＲサンプルから前方ｄ３ＤＭＴを作成する。ビデオエンコーダは、前方ｄ３ＤＭＴに基づく輝度前方再整形関数を生成し、前方ｄ３ＤＭＴに基づく色度前方再整形関数（例えば、前方再整形ＭＭＲ係数など）を生成する。ビデオエンコーダは、輝度と色度の前方再整形関数を使用して、前方再整形ＳＤＲ画像を生成する。次に、ビデオエンコーダは、ソースＨＤＲ画像及び前方再整形ＳＤＲ画像に基づいて直接構築された後方ｄ３ＤＭＴから導出された後方再整形ＭＭＲ係数によって表される色度後方再整形関数を含むが、これに限定されない後方再整形マッピングを計算する。

【0124】

ＢＬＵＴ修正
いくつかの動作シナリオでは、例示的なトレードオフオプションは、図１Ｂに示されるようなＢＬＵＴ修正である。バンディングアーチファクトを示さずにＳＤＲビンの利用可能なコードワードで表現できる最大輝度範囲をＢＬＫＳＴＤを用いて推定した。利用可能なコードワードによって表される実際の輝度範囲（例えば、バンディングアーチファクトなどを示す可能性がある）は、ＢＬＵＴから計算される。特定の輝度コードワード／値（例えば、として示されるなど）の上のＢＬＵＴ部分（例えば、最も明るい、天井の輝度コードワード／値の下の最も明るいなど）は、最大輝度範囲と実際の輝度範囲の間の比に基づいて修正されることがある。さらに、任意にまたは代替的に、暗（例えば、最も暗く、床の輝度コード／値より上で最も暗い） ＢＬＵＴ部分は、ノイズ注入操作の一部として変更されてもよい。例示的なＢＬＵＴ修正およびノイズ注入は、前述の米国仮特許出願第６２／８８５，９２１号に記載されている。

【0125】

本明細書に記載されるように、ビデオエンコーダにおけるＢＬＵＴの変更を可能にすることは、再構成されたＨＤＲ画像の明るい領域におけるバンディングアーチファクトを緩和または低減することができ、それによって、これらの再構成されたＨＤＲ画像の視覚品質を大幅に改善することができる。

【0126】

ＢＬＵＴ修正のための色補正
いくつかの運用シナリオでは、ＢＬＵＴ修正は明るい領域のバンディングアーチファクトを緩和することができるが、例えば、ＢＬＵＴ修正によって輝度コード／値が変化するような、衝突した画素の色の外観が変化する可能性があることが観察される。例えば、バンディングアーチファクトが、ＢＬＵＴの変更によって再構成されたＨＤＲ画像の太陽周囲の空から除去された場合、再構成されたＨＤＲ画像の空の色は、ＢＬＵＴの変更を伴わない再構成されたＨＤＲ画像よりも飽和して見える可能性がある。

【0127】

一般に、画素の輝度値を減少させると、画素の色がより飽和して見えるようになる可能性があり、画素の輝度値を増加させると、画素の色度値が変わらない場合、画素の色がより飽和して見えなくなる可能性があります。

【0128】

サチュレーションが実際に変化することを意味しないかもしれませんが、視聴者が視覚的に知覚する画素の色の外観は、同じ色度値に対して異なる輝度値で異なります。

【0129】

いくつかの運用シナリオでは、画素の対応する色度値（ＢＬＵＴ修正によって変更された画素の輝度値に対応する）は、これらの画素の色の外観が、ソース（例えば、参照、入力など） ＨＤＲ画像の色に比較的近く見えるように修正されてもよい。変更されたＢＬＵＴと元のＢＬＵＴ（ＢＬＵＴの変更によって変更されない）との比率は、彩度値を調整するための不飽和（または色度スケーリング）関数として使用される。

【0130】

元のＢＬＵＴを、

【数53】

と記し、バンディングアーチファクトを抑制する改良型ＢＬＵＴを、

【数54】

と記すことにする。ＢＬＵＴは（例えば、正規化、非正規化等された）ＳＤＲ輝度値を（例えば、正規化、非正規化等された）ＨＤＲ輝度値にマッピングする。

【0131】

例示のみを目的として、色度値は、ＹＣｂＣｒ、ＩＣｔＣｐ、ＩＰＴＰＱなどを含むが、これらに限定されない色空間で表現され、正規化ドメイン［０ １］の色度値は、オフセット０．５で表現される。したがって、色度値が０．５の場合、ニュートラルカラー（グレイスケール）を意味します。色度値（またはその彩度／色の外観）を調整するために、オフセットを色度値から除去することができる。

【0132】

色度チャネル／平面において、入力（または参照） ＨＤＲ色度コードワード／値を、後方ｄ３ＤＭＴ内の不飽和ＨＤＲコードワード／値で置き換える例示的な手順を、以下の表６に示す。これにより、入力（または参照） ＨＤＲ色度コードワード／値の代わりに、不飽和ＨＤＲコードワード／値が、本明細書に記載されるような後方再構成マッピングによって生成される再構成ＨＤＲコードワード／値によって近似される。

【表6】

【0133】

一部の運用シナリオでは、前方ｄ３ＤＭＴの後方として最初に生成された後方ｄ３ＤＭＴにおいて、ＨＤＲ色度コードワード／値を更新した後（およびコンテンツマッピングされたＳＤＲコードワード／値を前方再構成されたＳＤＲコードワード／値に置き換えた後）、ＨＤＲからＳＤＲへの修正後の後方ｄ３ＤＭＴを次のように生成することができる：

【数55】

【0134】

次いで、後方再整形マッピングにおける後方ＭＭＲ係数を、後方ｄ３ＤＭＴから計算することができる。

【0135】

表６に示されるような不飽和関数

【数56】

のパラメータβは、元の（例えば、トレーニング中などの）ＨＤＲ画像のカラー外観と、色度値が不飽和で色度値が不飽和でない対応する再構成されたＨＤＲ画像のカラー外観の経験的研究を通して、実際の値が決定またはチューニングされ得るチューニングパラメータを表す。パラメータβの値の例としては、１．５、２、２．５、３、３．５などのうちの１つが挙げられるが、必ずしもこれらに限定されない。

【0136】

表６に示すように、Ｃ０またはＣｂチャネルの不飽和色度値

【数57】

は、２つの項を含む。第１項

【数58】

は、ニュートラルグレー値０．５からの不飽和色度値の偏差を表す。したがって、Ｃ０またはＣｂチャネルの不飽和色度値

【数59】

の第１項が比較的小さい場合、不飽和色度値

【数60】

は、ニュートラルグレー値０．５に比較的近い値に調整される。その結果、この非飽和色度値

【数61】

を有する画素の色は、ニュートラルグレー値０．５に比較的近く調整されたので、対応する調整前の色度値

【数62】

を有する画素よりも不飽和化される。

【0137】

同様に、Ｃ１またはＣｒチャネルの不飽和色度値

【数63】

は、２つの項を含む。第１項

【数64】

は、ニュートラルグレー値０．５からの不飽和色度値の偏差を表す。したがって、Ｃ１またはＣｂチャネルの不飽和色度値

【数65】

の第１項が比較的小さい場合、不飽和色度値

【数66】

は、ニュートラルグレー値０．５に比較的近い値に調整される。その結果、この非飽和色度値

【数67】

を有する画素の色は、ニュートラルグレー値０．５に比較的近く調整されたので、対応する調整前の色度値

【数68】

を有する画素よりも不飽和化される。

【0138】

図３Ｃは、様々な色グレード（例えば、図３Ｂに示されるような色グレード２～４など）における任意の色グレードに適用可能な色補正の例を示す。一例として、ビデオエンコーダは、本明細書に記載されているように、後方ｄ３ＤＭＴに基づいて（例えば、修正前の、等）ＢＬＵＴのような輝度後方再整形関数を生成する。次に、ビデオエンコーダは、バンディングアーチファクト（例えば、そのリスク等）を低減するためにＢＬＵＴを修正する。ビデオエンコーダは、修正前のＢＬＵＴおよび修正されたＢＬＵＴを使用して、後方ｄ３ＤＭＴ内のＨＤＲ色度コードワード／値を更新するために、不飽和関数を生成する（例えば、上記の表６に示される比率などとして）。次に、ビデオエンコーダは、更新された後方ｄ３ＤＭＴから導出された後方再整形ＭＭＲ係数によって表される色度後方再整形関数を含むが、これに限定されない後方再整形マッピングを計算する。

【0139】

図３Ｄは、（図３Ｂに示されるように）カラーグレード２に対するｄ３ＤＭＴアップデート動作と関連して実行される例示的な色補正を示す。ビデオエンコーダは、最初に、各ソース（または入力） ＨＤＲ画像のＨＤＲサンプル、およびソースＨＤＲ画像に対応するコンテンツマップＳＤＲ画像の対応するＳＤＲサンプルから前方ｄ３ＤＭＴを構築する。ビデオエンコーダは、前方ｄ３ＤＭＴに基づく輝度前方再整形関数を構築または生成します。ビデオエンコーダは、前方ｄ３ＤＭＴまたは前方ｄ３ＤＭＴから逆変換として最初に生成された後方ｄ３ＤＭＴの輝度コード／値を更新するために、輝度前方再編成関数を使用します。次いで、ビデオエンコーダは、後方ｄ３ＤＭＴに基づく輝度後方再整形関数を構築または生成する。ビデオエンコーダは、バンディングアーチファクトを低減するためにＢＬＵＴをさらに修正する。ビデオエンコーダは、予め修正されたＢＬＵＴおよび修正されたＢＬＵＴを使用して、後方ｄ３ＤＭＴ内のＨＤＲ色度コードワード／値を更新するために、不飽和関数を生成する（例えば、上記の表６に示される比率など）。続いて、ビデオエンコーダは、更新された後方ｄ３ＤＭＴから導出された後方再整形ＭＭＲ係数によって表される色度後方再整形関数を含むが、これに限定されない後方再整形マッピングを計算する。

【0140】

後方再整形マッピングと時間的安定性
図３Ｅは、輝度更新、ＢＬＵＴ修正、および色補正を伴う後方再整形マッピング生成の例を示す。ブロック３０２は、ソースＨＤＲ画像のサンプリングされたＨＤＲコードワードと、対応するコンテンツマッピングされたＳＤＲコードワードとを用いてｄ３ＤＭＴを構築することを含み、これらの各々は、所与のソースＨＤＤ画像についてのＨＤＲコードワードとＳＤＲコードワードとの間の複数のマッピング対を含む。ブロック３０４は、各ｄ３ＤＭＴ内の複数のマッピング対に基づいて、前方ルックアップテーブルのような対応する輝度前方再整形関数を構築することを含む。ブロック３０６は、各ｄ３ＤＭＴ内の複数のマッピング対に基づいて、前方ＭＭＲ係数によって表される対応する前方色度マッピングを構築することを含む。ブロック３０８は、コンテンツマッピングされたＳＤＲ輝度コードワードを、ＦＬＵＴで予測された前方に再構成されたＳＤＲコードワードで置き換えることによって、各ｄ３ＤＭＴ内の複数のマッピング対内のＳＤＲ輝度コードを更新することを含む。ブロック３１０は、ＦＬＵＴから輝度後方再整形関数（ＢＬＵＴ）を構築することを含む。ブロック３１２は、バンディングアーチファクトのリスクを軽減または低減するためにＢＬＵＴを修正することを含む。ブロック３１４は、サンプリングされたＨＤＲ色度コードワードを、元のＢＬＵＴおよび修正されたＢＬＵＴに基づいて生成された不飽和ＨＤＲ色度コードワードで置き換えることによって、各ｄ３ＤＭＴ内の複数のマッピング対におけるＨＤＲ色度コードワードを整流することを含む。ブロック３１６は、更新された輝度ＳＤＲコードワード及び更新された色度ＨＤＲコードワードを有する複数のマッピング対を含む更新されたｄ３ＤＭＴに基づいて、ソースＨＤＲ画像の１つに対応する各前方再整形されたＳＤＲ画像に対する色度後方再整形マッピング（例えば、色度後方再整形関数、後方（再整形） ＭＭＲ係数等）を計算することを含む。

【0141】

いくつかの運用シナリオでは、画像メタデータの時間的安定性を維持する目的で、画像メタデータの後方再整形マッピングを計算／生成／含める際に、線形セグメントベースの構造を使用することができる。例示的な線形セグメントベースの構造は、２０１８年１月４日に公開された米国特許出願第２０１８／０００７３５６号に記載されており、その全体の内容は、本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。

【0142】

本明細書に記載されるいくつかのまたは全ての技術は、放送ビデオアプリケーション、リアルタイムストリーミングアプリケーションなどのための適切なカラーグレードのビデオコンテンツを生成するために、リアルタイム動作の一部として実装および／または実行することができる。さらに、任意にまたは代替として、本明細書に記載されるいくつかのまたは全ての技術を、時間遅延またはオフライン動作の一部として実装および／または実行して、非リアルタイムストリーミングアプリケーション、シネマアプリケーションなどのための適切なカラーグレードのビデオコンテンツを生成することができる。

【0143】

プロセスフローの例
図４Ｂは、一実施形態による例示的なプロセスフローを示す図である。いくつかの実施形態では、１つ以上のコンピューティングデバイスまたはコンポーネント（例えば、エンコードデバイス／モジュール、トランスコードデバイス／モジュール、デコードデバイス／モジュール、逆トーンマッピングデバイス／モジュール、トーンマッピングデバイス／モジュール、メディアデバイス／モジュール、逆マッピング生成およびアプリケーションシステムなど）が、このプロセスフローを実行してもよい。ブロック４２２において、画像処理システムは、前方再整形テーブルの逆として、最初に後方再整形テーブルを生成する。

【0144】

前方再整形テーブルは、第２のダイナミックレンジのソース画像から第１のダイナミックレンジの前方再整形画像を生成するために前方再整形マッピングを生成するために使用される。第１のダイナミックレンジは、第２のダイナミックレンジよりも低い。前方再編成マッピングテーブルは、第２のダイナミックレンジのサンプリングされた輝度コードワード、第２のダイナミックレンジのサンプリングされた色度コードワード、第２のダイナミックレンジのサンプリングされた輝度コードワードに対応する第１のダイナミックレンジのコンテンツマッピングされた輝度コードワード、及び第２のダイナミックレンジのサンプリングされた色度コードワードに対応する第１のダイナミックレンジのコンテンツマッピングされた色度コードワードを含む。

【0145】

ブロック４２４において、画像処理システムは、コンテンツマッピングされた輝度コードワードを前方に再構成された輝度コードワードで置き換えることによって、後方再構成マッピングテーブルを更新する。前方に再構成された輝度コードワードは、第２のダイナミックレンジのサンプリングされた輝度コードワードに輝度前方マッピングを適用することによって生成される。輝度の前方マッピングは、前方再整形マッピングテーブルから構成される。

【0146】

ブロック４２６では、画像処理システムは、第１のダイナミックレンジの前方再整形画像から第２のダイナミックレンジの再構成画像を作成するために、後方再整形マッピングを生成するために、後方再整形マッピングテーブルと輝度前方マッピングを使用する。

【0147】

ブロック４２８では、画像処理システムは、後方再整形マッピングを指定する画像メタデータと共に、前方再整形画像をビデオ信号で符号化する。ビデオ信号の受信側デバイスは、後方再整形マッピングを前方再整形画像に適用し、第２のダイナミックレンジの再構成画像を生成する。

【0148】

一実施形態では、画像処理システムは、エンドツーエンドのビデオ配信パイプラインで利用可能な計算リソースを決定すること、利用可能な計算リソースを使用して、第２のダイナミックレンジの復号化画像のデコーダ側品質と、後方再整形マッピングを生成するエンコーダ側計算複雑性との間の特定のトレードオフオプションのセットを決定すること、後方再整形マッピングを生成するための特定のトレードオフオプションのセットに従って画像処理動作の特定のセットを実行すること、を実行するようにさらに構成される。

【0149】

一実施形態では、画像処理システムは、さらに、表示画像を再構成画像から導出し、ビデオ信号の受信デバイスで描画させるように構成される。

【0150】

一実施形態では、画像処理システムは、コンテンツマッピングされた色度コードワードを前方再整形された色度コードワードで置き換えることによって、後方再整形マッピングテーブルを更新するようにさらに構成される。前方再構成された色度コードワードは、多変量重回帰（ＭＭＲ）色度前方マッピングを第２のダイナミックレンジのサンプリングされた輝度と色度コードワードに適用することによって生成される。ＭＭＲ色度前方マッピングは、前方再整形マッピングテーブルから構成される。

【0151】

一実施形態では、画像処理システムは、サンプリングされた色度コードワードを不飽和色度コードワードで置き換えることによって、後方再整形マッピングテーブルを更新するようにさらに構成される。

【0152】

一実施形態では、不飽和化された色度コードワードは、サンプリングされた色度コードワードに不飽和関数を適用することによって生成され、不飽和関数は、修正された輝度後方再整形マッピングと元の輝度後方再整形マッピングとの間の比として構築される。

【0153】

一実施形態では、画像処理システムは、再構成画像内のバンディングアーチファクトを低減するために、後方ルックアップテーブル修正を適用させるようにさらに構成される。

【0154】

一実施形態では、後方マッピングテーブル及び前方マッピングテーブルのうちの少なくとも１つは、ソース画像及び前方再整形画像から少なくとも部分的にダイナミックに構築された三次元マッピングテーブルを表す。

【0155】

一実施形態では、輝度前方マッピングは、輝度ルックアップテーブルによって表される。

【0156】

一実施形態では、第２のダイナミックレンジの再構成された画像は、第２のダイナミックレンジのソース画像を近似する。

【0157】

一実施形態では、ビデオ信号は、単一層の後方互換性ビデオ信号を表す。

【0158】

図４Ｃは、本発明の一実施形態による例示的なプロセスフローを示す図である。いくつかの実施形態では、１つ以上のコンピューティングデバイスまたはコンポーネント（例えば、符号化デバイス／モジュール、トランスコーディングデバイス／モジュール、復号化デバイス／モジュール、逆トーンマッピングデバイス／モジュール、トーンマッピングデバイス／モジュール、メディアデバイス／モジュール、予測モデルおよび特徴選択システム、逆マッピング生成およびアプリケーションシステムなど）は、このプロセスフローを実行してもよい。ブロック４４２では、ビデオ復号システムは、ビデオ信号から、第１のダイナミックレンジの前方再整形画像を復号する。

【0159】

ブロック４４４では、ビデオ復号化システムは、ビデオ信号から、後方再整形マッピングを含む画像メタデータを復号化する。

【0160】

後方再整形マッピングは、後方再整形マッピングテーブルと輝度前方マッピングから上流画像処理デバイスによって生成した。後方再整形マッピングテーブルは、輝度前方マッピングを生成する前方再整形マッピングテーブルの逆数として、上流の画像処理デバイスによって最初に生成された。後方再整形マッピングテーブル中のコンテンツマッピング輝度コードワードは、前方再整形輝度コードワードで更新された。前方再整形輝度コードワードは、輝度前方マッピングをソース画像中のサンプリングされたソース輝度コードワードに適用することによって生成された。

【0161】

ブロック４４６では、ビデオ復号化システムは、再構成画像を生成するために、前方再整形画像に後方再整形マッピングを適用する。

【0162】

ブロック４４８では、ビデオ復号化システムは、再構成された画像から導出された表示画像を表示デバイスで描画させる。

【0163】

一実施形態では、ディスプレイデバイス、モバイルデバイス、セットトップボックス、マルチメディアデバイスなどの計算デバイスは、前述の方法のいずれかを実行するように構成される。一実施形態では、装置は、プロセッサを備え、前述の方法のいずれかを実施するように構成される。一実施形態では、ソフトウェア命令を記憶する非一時的コンピュータ読取可能記憶媒体であって、１つ以上のプロセッサによって実行されると、前記方法のいずれかの性能を引き起こす。

【0164】

一実施形態では、１つ以上のプロセッサと、１つ以上のプロセッサによって実行された場合に前記方法のいずれかの性能を引き起こす命令のセットを記憶する１つ以上の記憶媒体とを備える計算デバイス。

【0165】

別個の実施形態が本明細書で議論されるが、本明細書で議論される実施形態および／または部分的実施形態の任意の組み合わせが、さらなる実施形態を形成するために組み合わされ得ることに留意されたい。

【0166】

コンピュータシステムの実装例
本発明の実施形態は、コンピュータシステム、電子回路および電子部品に構成されるシステム、マイクロコントローラなどの集積回路、フィールドプログラマブルゲートアレイ、または他の構成可能またはプログラマブルロジックデバイス、離散時間またはデジタル信号プロセッサ、特定用途向けＩＣ、および／またはこれらのシステム、デバイスまたはコンポーネントの１つ以上を含む装置を用いて実施することができる。コンピュータおよび／またはＩＣは、本明細書に記載されるような、拡張されたダイナミックレンジを有する画像の適応知覚量子化に関する命令を実行、制御、または実行することができる。コンピュータおよび／またはＩＣは、本明細書に記載される適応知覚量子化プロセスに関連する様々なパラメータまたは値のいずれかを計算することができる。画像およびビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらの様々な組み合わせで実装することができる。

【0167】

本発明の特定の実装は、プロセッサに本開示の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ等における１つ以上のプロセッサは、プロセッサにアクセス可能なプログラムメモリにおいてソフトウェア命令を実行することによって、上述したようなＨＤＲ画像の適応知覚量子化に関連する方法を実施することができる。本発明の実施形態はまた、プログラム製品の形態で提供されてもよい。プログラム生成物は、データプロセッサによって実行されると、データプロセッサに本発明の実施形態の方法を実行させる命令を含む一組のコンピュータ読取可能な信号を担持する任意の非一時的媒体を含んでもよい。本発明の実施形態によるプログラム製品は、多種多様な形態のいずれであってもよい。プログラム製品は、例えば、フロッピーディスケットを含む磁気データ記憶媒体、ハードディスクドライブ、ＣＤ－ＲＯＭを含む光データ記憶媒体、ＤＶＤ、ＲＯＭを含む電子データ記憶媒体、フラッシュＲＡＭ等の物理媒体を含むことができる。プログラム生成物上のコンピュータ読取可能信号は、任意に圧縮または暗号化されてもよい。

【0168】

構成要素（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路等）が上記で言及されている場合、別段の指示がない限り、当該構成要素への言及（「手段」への言及を含む）は、本発明の例示的実施形態において関数を実行する開示された構造と構造的に等価でない構成要素を含む、説明された構成要素の関数を実行する（例えば、関数的に同等である）任意の構成要素を含む、当該構成要素の等価物として解釈されるべきである。

【0169】

一実施形態によれば、本明細書に記載される技術は、１つ以上の専用目的のコンピューティングデバイスによって実装される。専用目的の計算デバイスは、技術を実行するためにハードワイヤード配線されてもよく、または技術を実行するために永続的にプログラムされた１つ以上の特定用途向け集積回路またはフィールドプログラマブルゲートアレイのようなデジタル電子デバイスを含んでもよく、またはファームウェア、メモリ、他の記憶デバイス、または組み合わせのプログラム命令に従って技術を実行するためにプログラムされた１つ以上の汎用ハードウェアプロセッサを含んでもよい。このような特殊目的のコンピューティングデバイスはまた、カスタムハードワイヤードロジック、ＡＳＩＣ、またはＦＰＧＡをカスタムプログラミングと組み合わせて、技術を達成することもできる。特殊目的の計算デバイスは、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルドデバイス、ネットワーキングデバイス、またはこの技術を実施するためにハードワイヤードおよび／またはプログラムロジックを組み込んだ他の任意のデバイスであってもよい。

【0170】

例えば、図５は、本発明の一実施形態を実装することができるコンピュータシステム５００を示すブロック図である。コンピュータシステム５００は、情報を通信するためのバス５０２または他の通信メカニズムと、情報を処理するためのバス５０２と結合されたハードウェアプロセッサ５０４とを含む。ハードウェアプロセッサ５０４は、例えば、汎用マイクロプロセッサであってもよい。

【0171】

コンピュータシステム５００はまた、プロセッサ５０４によって実行される情報および命令を記憶するためにバス５０２に結合された、ランダムアクセスメモリまたは他の動的記憶デバイスのようなメインメモリ５０６を含む。主メモリ５０６はまた、プロセッサ５０４によって実行される命令の実行中に、一時変数または他の中間情報を記憶するために使用されてもよい。このような命令は、プロセッサ５０４にアクセス可能な非一時的記憶媒体に記憶されると、命令に指定された操作を実行するようにカスタマイズされた専用マシンにコンピュータシステム５００をレンダリングする。

【0172】

コンピュータシステム５００は、さらに、バス５０２に結合された読み出し専用メモリ５０８または他のスタティック記憶デバイスを含み、プロセッサ５０４のためのスタティック情報および命令を記憶する。情報および命令を記憶するために、磁気ディスクまたは光ディスクなどの記憶デバイス５１０が設けられ、バス５０２に結合される。

【0173】

コンピュータシステム５００は、バス５０２を介して、コンピュータユーザに情報を表示するための液晶ディスプレイのようなディスプレイ５１２に結合することができる。入力デバイス５１４は、英数字及び他のキーを含み、情報及びコマンド選択をプロセッサ５０４に通信するためにバス５０２に結合される。別のタイプのユーザ入力デバイスは、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御デバイス５１６であり、方向情報およびコマンド選択をプロセッサ５０４に通信し、ディスプレイ５１２上のカーソルの動きを制御する。この入力デバイスは、典型的には、第１の軸（例えば、ｘ）および第２の軸（例えば、ｙ）の２つの軸における２つの自由度を有し、デバイスが平面内の位置を指定することを可能にする。

【0174】

コンピュータシステム５００は、カスタマイズされたハードワイヤードロジック、１つ以上のＡＳＩＣまたはＦＰＧＡ、ファームウェア、および／またはプログラムロジックを使用して、本明細書に記載の技術を実装することができ、これらは、コンピュータシステムと組み合わせて、コンピュータシステム５００を専用マシンにするか、またはプログラムする。一実施形態によれば、本明細書に記載される技術は、主メモリ５０６に含まれる１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ５０４に応答して、コンピュータシステム５００によって実行される。そのような命令は、記憶デバイス５１０のような別の記憶媒体からメインメモリ５０６に読むことができる。メインメモリ５０６に含まれる命令のシーケンスの実行により、プロセッサ５０４は、本明細書に記載のプロセスステップを実行する。別の実施形態では、ハードワイヤード回路が、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて使用されてもよい。

【0175】

本明細書で使用される用語「記憶媒体」は、デバイスを特定の態様で動作させるデータおよび／または命令を記憶する任意の非一時的媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含んでもよい。不揮発性媒体は、例えば、記憶デバイス５１０のような光ディスクまたは磁気ディスクを含む。揮発性媒体は、メインメモリ５０６のようなダイナミックメモリを含む。記憶媒体の一般的な形態としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または他の任意の磁気データ記憶媒体、ＣＤ－ＲＯＭ、他の任意の光学データ記憶媒体、穴パターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ、およびＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ、ＮＶＲＡＭ、他の任意のメモリチップまたはカートリッジが挙げられる。

【0176】

記憶媒体は、伝送媒体とは区別されるが、伝送媒体と共に使用することができる。伝送媒体は、記憶媒体間の情報の転送に関与する。例えば、伝送媒体は、バス５０２を構成するワイヤを含む同軸ケーブル、銅線および光ファイバを含む。伝送媒体は、また、無線波及び赤外線データ通信の間に発生されるような音波又は光波の形態をとることができる。

【0177】

１つ以上の命令の１つ以上のシーケンスを実行のためにプロセッサ５０４に搬送することには、様々な形態の媒体が関与し得る。例えば、命令は、最初、遠隔コンピュータの磁気ディスクまたはソリッドステートドライブ上で実行されてもよい。遠隔コンピュータは、命令をそのダイナミックメモリにロードし、モデムを使用して電話回線を介して命令を送信することができる。コンピュータシステム５００のモデムローカルは、電話回線上のデータを受信し、赤外線送信機を使用して、データを赤外線信号に変換することができる。赤外線検出器は、赤外線信号内に搬送されたデータを受信することができ、適切な回路は、バス５０２上にデータを配置することができる。バス５０２はデータをメインメモリ５０６に運び、そこからプロセッサ５０４が命令を取り出して実行する。メインメモリ５０６によって受信された命令は、任意に、プロセッサ５０４による実行の前または後のいずれかで、記憶デバイス５１０上に記憶することができる。

【0178】

コンピュータシステム５００はまた、バス５０２に結合された通信インターフェース５１８を含む。通信インターフェース５１８は、ローカルネットワーク５２２に接続されたネットワークリンク５２０への双方向データ通信結合を提供する。例えば、通信インターフェース５１８は、統合サービスデジタルネットワークカード、ケーブルモデム、衛星モデム、または対応するタイプの電話回線にデータ通信接続を提供するモデムであってもよい。別の例として、通信インターフェース５１８は、データ通信接続を互換性のあるＬＡＮに提供するためのローカルエリアネットワークカードであってもよい。また、無線リンクが実装されてもよい。そのような実装では、通信インターフェース５１８は、種々のタイプの情報を表すデジタルデータストリームを搬送する電気信号、電磁信号、または光信号を送受信する。

【0179】

ネットワークリンク５２０は、典型的には、１つ以上のネットワークを介して他のデータデバイスへのデータ通信を提供する。例えば、ネットワークリンク５２０は、ローカルネットワーク５２２を介してホストコンピュータ５２４またはインターネットサービスプロバイダ５２６によって操作されるデータデバイスへの接続を提供することができる。次に、ＩＳＰ ５２６は、現在一般に「インターネット」５２８と呼ばれている世界的なパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク５２２およびインターネット５２８は両方とも、デジタルデータストリームを搬送する電気信号、電磁信号または光信号を使用する。種々のネットワークを介する信号およびネットワークリンク５２０上の信号、ならびにコンピュータシステム５００との間でデジタルデータを搬送する通信インターフェース５１８を介する信号は、伝送媒体の例示的な形態である。

【0180】

コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０および通信インターフェース５１８を介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバ５３０は、インターネット５２８、ＩＳＰ ５２６、ローカルネットワーク５２２、および通信インターフェース５１８を介して、アプリケーションプログラムの要求されたコードを送信することができる。

【0181】

受信されたコードは、それが受信されたときにプロセッサ５０４によって実行され、および／または後の実行のために記憶デバイス５１０、または他の不揮発性記憶デバイスに記憶される。

【0182】

同等物、拡張、代替物及びその他
先述の明細では、実装ごとに異なる可能性のある多数の具体的詳細を参照して、本発明の実施形態を説明してきた。したがって、本発明のクレームされた実施態様の唯一かつ排他的な指標であって、本発明のクレームされた実施態様であることが出願人によって意図されているものは、この出願から当該クレームが発行された特定の形式のクレームのセットであり、その後の訂正を含む。当該クレームに含まれる用語について本契約に明示的に記載される定義は、当該クレームにおいて使用される用語の意味を支配するものとする。したがって、クレームに明示的に記載されていない限定、要素、特性、特徴、利点又は属性は、そのようなクレームの範囲を決して限定すべきではない。したがって、本明細書および図面は、制限的な意味ではなく例示的な意味に考えられるべきである。

【0183】

本発明の種々の態様は、以下に列挙した実施例（ＥＥＥ）から理解することができる：
ＥＥＥ１
後方再整形マッピングテーブルを前方再整形マッピングテーブルの逆として初めに生成するステップであって、前記前方再整形テーブルは、第１のダイナミックレンジの前方再整形された画像を第２のダイナミックレンジのソース画像から生成するための前方再整形マッピングを生成するために使用され、前記第１のダイナミックレンジは前記第２のダイナミックレンジよりも低く、前記前方再整形マッピングテーブルは、前記第２のダイナミックレンジの前記サンプリングされた輝度コードワード、前記第２のダイナミックレンジのサンプリングされた色度コードワード、前記第２のダイナミックレンジの前記サンプリングされた輝度コードワードに対応する前記第１のダイナミックレンジのコンテンツマッピングされた輝度コードワード、及び前記第２のダイナミックレンジの前記サンプリングされた色度コードワードに対応する前記第１のダイナミックレンジのコンテンツマッピングされた色度コードワードを含む、ステップと、
前記コンテンツマッピングされた輝度コードワードを前方再整形された輝度コードワードで置き換えることによって前記後方再整形マッピングテーブルを更新するステップであって、前記前方再整形された輝度コードワードは、前記第２のダイナミックレンジの前記サンプリングされた輝度コードワードに輝度前方マッピングを適用することによって生成され、前記輝度前方マッピングは前記前方再整形マッピングテーブルから構築される、ステップと、
前記第１のダイナミックレンジの前記前方再整形された画像から前記第２のダイナミックレンジの再構成された画像を創るための後方再整形マッピングを生成するために前記後方再整形マッピングテーブルと前記輝度前方マッピングを使用するステップと、
前記前方再整形された画像を、前記後方再整形マッピングを指定する画像メタデータとともに、ビデオ信号中にエンコードするステップとを含む方法。
ＥＥＥ２
前記ビデオ信号の受信デバイスは、前記後方再整形マッピングを前記前方再整形された画像に適用して、前記第２のダイナミックレンジの前記再構成された画像を創る、ＥＥＥ１に記載の方法。
ＥＥＥ３
エンドツーエンドのビデオ配信パイプラインで使用可能な計算リソースを決定するステップと、
前記使用可能な計算リソースを用いて、デコーダ側の前記第２のダイナミックレンジの前記再構成された画像の品質と、エンコーダ側の前記後方再整形マッピングを生成することの計算の複雑さとの間のトレードオフオプションの特定のセットを決定するステップと、
トレードオフオプションの前記特定のセットに従って画像処理操作の特定のセットを実行して、前記後方再整形マッピングを生成するステップとをさらに含む、ＥＥＥ１又は２に記載の方法。
ＥＥＥ４
表示画像を前記再構成された画像から導出させ、前記ビデオ信号の受信デバイスでレンダリングさせるステップをさらに含む、ＥＥＥ２又は３に記載の方法。
ＥＥＥ５
前記コンテンツマッピングされた色度コードを前方再整形された色度コードワードで置き換えることによって前記後方再整形マッピングテーブルを更新するステップであって、前記前方再整形された色度コードワードは、前記第２のダイナミックレンジの前記サンプリングされた輝度および色度コードワードに多変量重回帰（ＭＭＲ）色度前方マッピングを適用することによって生成され、前記ＭＭＲ色度前方マッピングは、前記前方再整形マッピングテーブルから構築される、ステップをさらに含む、ＥＥＥ１～４のいずれか１つに記載の方法。
ＥＥＥ６
前記サンプリングされた色度コードワードを不飽和化された色度コードワードで置き換えることによって、前記後方再整形マッピングテーブルを更新するステップをさらに含む、ＥＥＥ１～５のいずれか１つに記載の方法。
ＥＥＥ７
前記不飽和化された色度コードワードは、前記サンプリングされた色度コードワードに不飽和化関数を適用することによって生成され、前記不飽和化関数は、修正された輝度後方再整形マッピングと元の輝度後方再整形マッピングとの間の比として構築される、ＥＥＥ６に記載の方法。
ＥＥＥ８
前記再構成された画像のバンディングアーチファクトを低減するために、後方ルックアップテーブル修正を適用させるステップをさらに含む、ＥＥＥ１～７のいずれか１つに記載の方法。
ＥＥＥ９
前記後方マッピングテーブル及び前記前方マッピングテーブルのうちの少なくとも１つは、少なくとも部分的には前記ソース画像及び前記前方再整形された画像から動的に構築された三次元マッピングテーブル（３ＤＭＴ）を表す、ＥＥＥ１～８のいずれか１つに記載の方法。
ＥＥＥ１０
前記輝度前方マッピングは、輝度ルックアップテーブルによって表される、ＥＥＥ１～９のいずれか１つに記載の方法。
ＥＥＥ１１
前記第２のダイナミックレンジの前記再構成された画像は、前記第２のダイナミックレンジの前記ソース画像を近似する、ＥＥＥ１～１０のいずれか１つに記載の方法。
ＥＥＥ１２
前記ビデオ信号は、単一層の後方互換ビデオ信号を表す、ＥＥＥ１～１１のいずれか１つに記載の方法。
ＥＥＥ１３
第１のダイナミックレンジの前方再整形された画像をビデオ信号からデコードするステップと、
後方再整形マッピングを含む画像メタデータを前記ビデオ信号からデコードするステップであって、前記後方再整形マッピングは、後方再整形マッピングテーブル及び輝度前方マッピングから上流画像処理デバイスによって生成されており、前記後方再整形マッピングテーブルは、前記輝度前方マッピングを生成する前方再整形マッピングテーブルの逆として前記上流画像処理デバイスによって初めに生成されており、前記後方再整形マッピングテーブル内のコンテンツマッピングされた輝度コードワードは、前方再整形された輝度コードワードで更新されており、前記前方再整形された輝度コードワードは、前記ソース画像におけるサンプリングされた輝度コードワードに前記輝度前方マッピングを適用することによって生成されたものである、ステップと、
前記前方再整形された画像に前記後方再整形マッピングを適用して前記再構成された画像を生成するステップと、
前記再構成された画像から導出される表示画像を表示デバイスでレンダリングさせるステップとを含む方法。
ＥＥＥ１４
ＥＥＥ１～１３に記載される方法のいずれか１つを実行するように構成されたコンピュータシステム。
ＥＥＥ１５
プロセッサを含み、ＥＥＥ１～１３に記載される方法のいずれか１つを実行するように構成された装置。
ＥＥＥ１６
ＥＥＥ１～１３に記載の方法のいずれかに従って１つ以上のプロセッサによって方法を実行するためのコンピュータ実行可能命令を記憶した非一時的なコンピュータ読取可能記憶媒体。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図4A】

【図4B】

【図4C】

【図5】