IP Force 特許公報掲載プロジェクト 2022.1.31 β版

ホーム > 特許ランキング > ドルビー ラボラトリーズ ライセンシング コーポレイション

このエントリーをはてなブックマークに追加

知財求人 - 知財ポータルサイト「IP Force」

▶ ドルビー　ラボラトリーズ　ライセンシング　コーポレイションの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-09
(45)【発行日】2024-02-20
(54)【発明の名称】カスケード予測
(51)【国際特許分類】
   H04N 19/50 20140101AFI20240213BHJP
   H04N 19/46 20140101ALI20240213BHJP
【ＦＩ】
H04N19/50
H04N19/46
【請求項の数】 14
(21)【出願番号】P 2022533503
(86)(22)【出願日】2020-12-03
(65)【公表番号】
(43)【公表日】2023-02-07
(86)【国際出願番号】 US2020063165
(87)【国際公開番号】W WO2021113549
(87)【国際公開日】2021-06-10
【審査請求日】2022-10-06
(31)【優先権主張番号】19214124.0
(32)【優先日】2019-12-06
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】62/944,636
(32)【優先日】2019-12-06
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】カドゥ，ハルシャド
(72)【発明者】
【氏名】スゥ，グワン－ミーン
【審査官】岩井 健二
(56)【参考文献】
【文献】米国特許出願公開第２０１８／００９８０９４（ＵＳ，Ａ１）
【文献】国際公開第２０１７／０２４０４２（ＷＯ，Ａ２）
【文献】国際公開第２０１７／０１９８１８（ＷＯ，Ａ１）
【文献】特表２００９－５２４３７１（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
第１の予測子を、第１のドメインでコーディングされた入力画像に適用し、第１のドメインとは異なる第２のドメインでコーディングされた予測標的画像の予測標的符号語に近似する第１段階の予測符号語を生成するステップと；
第２段階の予測標的値を、前記予測標的符号語と前記第１段階の予測符号語に対して逆カスケード演算を行うことによって作成するステップと；
第１のドメインでの前記入力画像に第２の予測子を適用し、前記第２段階の予測標的値に近似する第２段階の予測値を生成するステップと；
カスケード予測係数の複数の組を生成するステップであって、カスケード予測係数の該複数の組は、前記第１の予測子を規定するカスケード予測係数の第１の組を含み、カスケード予測係数の該複数の組は、前記第２の予測子を規定するカスケード予測係数の第２の異なる組を含む、ステップと；
カスケード予測係数の前記複数の組を、画像メタデータとしてビデオ信号内にエンコードするステップであって、前記ビデオ信号は、第1のドメインでの前記入力画像を以てさらにエンコードされ、前記ビデオ信号の受信デバイスは、前記第１の組のカスケード予測係数を使用して前記第１の予測子を前記入力画像に適用し、前記第２の組のカスケード予測係数を使用して前記第２の予測子を前記入力画像に適用し、カスケード演算を使用して前記第１の予測子および前記第２の予測子の出力を組み合わせて、第２のドメインでの予測画像を生成し、第２のドメインでの前記予測画像は、第２のドメインでの前記予測標的画像に近似する、ステップとを含み、
前記逆カスケード演算は前記カスケード演算の共役である、
方法。
【請求項2】
前記ビデオ信号は：単一層の後方互換信号または単一層の逆ディスプレイ管理信号のうちの1つを表し；第2のドメインは：第1のドメインよりも高いダイナミックレンジ、第1のドメインと同じダイナミックレンジ、または第1のドメインよりも低いダイナミックレンジのうちの1つを有する、請求項１に記載の方法。
【請求項3】
前記第1の予測子および前記第2の予測子は、第1のドメインでの前記入力画像を第2のドメインでの前記予測画像にマッピングする全体的な後方再成形マッピングを表す、請求項１または２に記載の方法。
【請求項4】
前記第1の予測子は、第1の輝度予測子および第1の色度予測子を含み、前記第2の予測子は、第2の輝度予測子および第2の色度予測子を含み、前記第1および第2の輝度予測子は、異なるタイプの輝度予測子であり、前記第1および第2の色度予測子は、異なるタイプの色度予測子である、請求項１ないし３のうちいずれか一項に記載の方法。
【請求項5】
前記第1の輝度予測子は、単一チャネル多項式予測子を表し；前記第2の輝度予測子は、多チャネル多変量多重回帰（MMR）予測子を表す、請求項４に記載の方法。
【請求項6】
前記第1の色度予測子は、二次の多変量多重回帰（MMR）予測子を表し；前記第2の色度予測子は、一次よりも高い三次のMMR予測子を表す、請求項４ないし５のうちいずれか一項に記載の方法。
【請求項7】
第1のドメインでの前記入力画像は、第2のドメインでの前記予測標的画像に前方再成形マッピングを適用することによって生成される前方再成形画像である、請求項１ないし６のうちいずれか一項に記載の方法。
【請求項8】
前記前方再成形マッピングは、多段階カスケード予測に基づかないマッピング、または多段階カスケード予測に基づくマッピングのうちの1つを表し、前記多段階カスケード予測は、カスケード演算子によって組み合わされる2つ以上の予測子を使用する予測である、請求項７に記載の方法。
【請求項9】
前記カスケード演算は、算術加算演算、算術乗算演算、可逆算術演算、可逆関数演算、または他の可逆演算のうちの1つを表す、請求項１ないし８のうちいずれか一項に記載の方法。
【請求項10】
ビデオ信号から、第１のドメインでコーディングされた入力画像をデコードするステップと；
前記ビデオ信号から、カスケード予測係数の複数の組を含む画像メタデータをデコードするステップであって；
カスケード予測係数の前記複数の組は、上流の画像処理デバイスによって生成されたものであり；
カスケード予測係数の前記複数の組は、第2のドメインでコーディングされた予測標的画像に少なくとも部分的に基づいて生成され、第1の予測子を規定する、カスケード予測係数の第1の組を含み、第1のドメインは、第2のドメインとは異なり；
カスケード予測係数の前記複数の組は、第2のドメインでの予測標的画像に少なくとも部分的に基づいて生成され、第２の予測子を規定する、カスケード予測係数の第２の組を含む、ステップと；
前記第１の予測子および前記第２の予測子を、第１のドメインでの前記入力画像に適用して、第２のドメインでの再構成画像を生成するステップであって、第２のドメインでの前記再構成画像は、第２のドメインでの前記予測標的画像に近似し、カスケード演算が、前記入力画像に前記第１の予測子を適用することから生成される第１段階の予測符号語を、前記入力画像に前記第２の予測子を適用することから生成される第２段階の予測値と組み合わせる、ステップと；
第２のドメインでの前記再構成画像から導出された表示画像を、表示デバイスを用いて描画させるステップとを含む、
方法。
【請求項11】
前記第1の予測子および前記第2の予測子は、第1のドメインでの前記入力画像を第2のドメインでの前記再構成画像にマッピングする全体的な後方再成形マッピングを表す、請求項１０に記載の方法。
【請求項12】
前記表示画像は、第３のドメインでコーディングされた第２の再構成画像から直接導出され、第３のドメインでの前記第２の再構成画像は、第３のドメインでの第２の予測標的画像に近似し、第３のドメインでの前記第２の再構成画像は部分的には、前記入力画像に第３の予測子を適用することから生成される第３段階の予測値を、第２のドメインでの前記再構成画像における再構成符号語と組み合わせる第２のカスケード演算を使って生成される、請求項１０または１１に記載の方法。
【請求項13】
請求項１ないし１２のうちいずれか一項に記載の方法を実行するように構成された、プロセッサを有する装置。
【請求項14】
請求項１ないし１２のうちいずれか一項に記載の方法に従って、一つまたは複数のプロセッサで方法を実行するためのコンピュータ実行可能命令を記憶している、非一時的なコンピュータ読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願への相互基準
本出願は、２０１９年１２月６日に出願された欧州特許出願第１９２１４１２４．０号および２０１９年１２月６日に出願された米国仮特許出願第６２／９４４，６３６号に対する優先権を主張し、これらは参照により本明細書に組み込まれる。
【0002】
本開示は、一般に、画像処理操作に関する。より詳細には、本開示の一実施形態は、ビデオコーデックに関する。
【背景技術】
【0003】
本明細書で使用する場合、用語「ダイナミックレンジ」（ＤＲ）は、例えば、最も暗い黒（ダーク）から最も明るい白（ハイライト）までの、画像での強度（例えば、輝度、ルマ）の範囲を知覚する人間の視覚システム（ＨＶＳ）の能力に関連してもよい。この意味で、ＤＲは「シーン基準」強度に関する。また、ＤＲは、特定の幅の強度範囲を十分にまたは近似的に描画する表示デバイスの能力にも関連し得る。この意味で、ＤＲは「ディスプレイ基準」強度に関する。本明細書の記載のいずれかの時点において、特定の意味が特定の意義を有するように明示的に規定されていない限り、この用語は、いずれの意味においても、例えば、互換的に使用され得ると推測されるべきである。
【0004】
本明細書で使用する場合、用語「高ダイナミックレンジ（ＨＤＲ）」は、人間の視覚システム（ＨＶＳ）のおよそ１４～１５桁以上の大きさに及ぶＤＲ幅に関連する。実際には、人間が同時に強度範囲中の広い範囲を知覚できるＤＲは、ＨＤＲとの関係でいくぶん切り捨てられる可能性がある。本明細書で使用する場合、強化ダイナミックレンジ（ＥＤＲ）または視覚ダイナミックレンジ（ＶＤＲ）という用語は、シーンまたは画像を横切る光順応変化を許容して、目の動きを含む人間の視覚システム（ＨＶＳ）によってシーンまたは画像内で知覚可能なＤＲに個別にまたは交換可能に関連することができる。本明細書中で使用される場合、ＥＤＲは、５～６桁の大きさのＤＲに関することができる。したがって、ＥＤＲは、真のシーン基準ＨＤＲとの関連ではおそらく多少狭いが、ＥＤＲは、それにもかかわらず、広いＤＲ幅を表し、ＨＤＲと呼んでもよい。
【0005】
実際には、画像は、色空間の１つ以上の色成分（例えば、輝度Ｙおよび色度ＣｂおよびＣｒ）を含み、各色成分は、画素当たりｎビットの精度（例えば、ｎ＝８）によって表される。非線形輝度コーディング（例えば、ガンマエンコーディング）を用いて、ｎ≦８の画像（例えば、カラー２４ビットＪＰＥＧ画像）を標準ダイナミックレンジの画像とみなし、ｎ＞８の画像を強化ダイナミックレンジの画像とみなすことができる。
【0006】
所与のディスプレイに対する基準電気光学伝達関数（ＥＯＴＦ）は、入力ビデオ信号のカラー値（例えば、輝度）とディスプレイによって生成されたスクリーンのカラー値（例えば、スクリーン輝度）との間の関係を特徴付ける。例えば、ＩＴＵ Ｒｅｃ． ＩＴＵ－Ｒ ＢＴ． １８８６ 「Ｒｅｆｅｒｅｎｃｅ ｅｌｅｃｔｒｏ－ｏｐｔｉｃａｌ ｔｒａｎｓｆｅｒ ｆｕｎｃｔｉｏｎ ｆｏｒ ｆｌａｔ ｐａｎｅｌ ｄｉｓｐｌａｙｓ ｕｓｅｄ ｉｎ ＨＤＴＶ ｓｔｕｄｉｏ ｐｒｏｄｕｃｔｉｏｎ」（２０１１年３月）は、その全体が参照により本明細書に組み込まれているが、それはフラットパネルディスプレイのための基準ＥＯＴＦを定義する。ビデオストリームが与えられた場合、そのＥＯＴＦに関する情報は（画像）メタデータとしてビットストリームに埋め込まれる可能性がある。本明細書での用語「メタデータ」は、コーディングされたビットストリームの一部として送信される任意の補助情報に関し、デコーダがデコードされた画像を描画するのを支援する。そのようなメタデータは、本明細書に記載されるように、色空間または色域情報、基準表示パラメータ、および補助信号パラメータを含み得るが、これらに限定されない。
【0007】
本明細書で使用される用語「ＰＱ」は、知覚的輝度振幅量子化を指す。人間の視覚系は、光レベルの増加に非常に非線形的に応答する。刺激を見る人間の能力は、その刺激の輝度、刺激の大きさ、刺激を構成する空間周波数、および刺激を見るときに眼が適応した輝度レベルによって影響される。いくつかの実施形態では、知覚量子化関数は、線形入力グレーレベルを、人間の視覚システムにおけるコントラスト感度しきい値により良くマッチングする出力グレーレベルにマッピングする。例示的なＰＱマッピング関数は、ＳＭＰＴＥ ＳＴ ２０８４：２０１４「Ｈｉｇｈ Ｄｙｎａｍｉｃ Ｒａｎｇｅ ＥＯＴＦ ｏｆ Ｍａｓｔｅｒｉｎｇ Ｒｅｆｅｒｅｎｃｅ Ｄｉｓｐｌａｙｓ」（以下、「ＳＭＰＴＥ」）に記載されており、その全体が参照により本明細書に組み込まれ、ここで、一定の刺激サイズが与えられると、各輝度レベル（例えば、刺激レベルなど）について、その輝度レベルでの最小可視コントラストステップは、最も感度の高い順応レベルおよび最も感度の高い空間周波数に従って（ＨＶＳモデルに従って）選択される。
【0008】
２００～１，０００ｃｄ／ｍ２またはニトの輝度をサポートするディスプレイは、より低いダイナミックレンジ（ＬＤＲ）を典型的に示し、ＥＤＲ（またはＨＤＲ）に関連して、標準ダイナミックレンジ（ＳＤＲ）とも呼ばれる。ＥＤＲの内容は、より高いダイナミックレンジ（例えば、１，０００から５，０００ニト以上）をサポートするＥＤＲディスプレイに表示することができる。そのようなディスプレイは、高輝度能力（例えば、０～１０，０００ニト以上）をサポートする代替ＥＯＴＦを使用して定義され得る。そのようなＥＯＴＦの例は、ＳＭＰＴＥ ２０８４およびＲｅｃ． ＩＴＵ－Ｒ ＢＴ．２１００「Ｉｍａｇｅ ｐａｒａｍｅｔｅｒ ｖａｌｕｅｓ ｆｏｒ ｈｉｇｈ ｄｙｎａｍｉｃ ｒａｎｇｅ ｔｅｌｅｖｉｓｉｏｎ ｆｏｒ ｕｓｅ ｉｎ ｐｒｏｄｕｃｔｉｏｎ ａｎｄ ｉｎｔｅｒｎａｔｉｏｎａｌ ｐｒｏｇｒａｍｍｅ ｅｘｃｈａｎｇｅ」（２０１７年６月）において定義される。ここでの発明者らによって高評価されるように、広範なＳＤＲおよびＨＤＲ表示デバイスの表示能力をサポートするために使用することができるビデオコンテンツデータを構成するための改良された技術が望まれている。
【0009】
本セクションに記載されているアプローチは、追求でき得たアプローチであるが、必ずしも以前に考案または追求されたアプローチではない。したがって、別段の記載がない限り、本セクションに記載されているいずれのアプローチも、単に本セクションに含まれているという理由のみで先行技術であると仮定するべきではない。同様に、特に断らない限り、１つ以上のアプローチに関して特定された問題点は、本セクションに基づいていかなる先行技術においても認識されていたと仮定すべきではない。
【図面の簡単な説明】
【0010】
本発明の一実施形態が、添付の図面において、限定としてではなく例示として説明される。図面においては、同様の基準番号は同様の要素を指す。
【0011】
【図1A】ビデオ配信パイプラインの例示的なプロセスを示す。
【図1B】カスケード予測操作を実施する例示的なコーデックを示している。
【図1C】カスケード予測操作を実施する例示的なコーデックを示している。
【図1D】カスケード予測操作を実施する例示的なコーデックを示している。
【図1E】カスケード予測操作を実施する例示的なコーデックを示している。
【図1F】カスケード予測操作を実施する例示的なコーデックを示している。
【0012】
【図2A】入力符号語および予測符号語の分布および相関の例を示す。
【図2B】入力符号語および予測符号語の分布および相関の例を示す。
【図2C】入力符号語および予測符号語の分布および相関の例を示す。
【図2D】入力符号語および予測符号語の分布および相関の例を示す。
【0013】
【図3A】例示的な単層後方互換（ＳＬＢＣ）コーデックを示す。
【図3B】例示的な単層逆表示管理（ＳＬｉＤＭ）コーデックを示す。
【0014】
【図4A】例示的なプロセス・フローを示す。
【図4B】例示的なプロセス・フローを示す。
【0015】
【図5】本明細書に記載されるコンピュータまたは計算デバイスが実装され得る例示的なハードウェアプラットフォームの簡略化されたブロック図を示す。
【発明の概要】
【0016】
以下の説明において、説明の目的で、本開示の完全な理解を提供するために、多数の具体的な詳細が記載される。しかしながら、本開示は、これらの具体的な詳細なしに実施することができることは明らかであろう。他の例では、本開示を不必要に閉塞、不明瞭化、または不明確化することを避けるために、周知の構造およびデバイスは、徹底的に詳細には記載されていない。
【0017】
本明細書に記載されるカスケード予測方法は、後方互換性をサポートするものを含むが、これに限定されない、広範なビデオ配信および表示用途で実施および実行することができる。いくつかの操作シナリオでは、ベース層（ＢＬ）画像データは、コーディングされたビットストリーム中の（例えば、第１のダイナミックレンジの、第１の色空間中の、第１のＥｌｅｃｔｒｏ－Ｏｐｔｉｃ Ｔｒａｎｓｆｅｒ Ｆｕｎｃｔｉｏｎ又はＥＯＴＦ対応する、等の）第１のドメイン内に、画像メタデータとともにエンコードされてもよく、画像メタデータは、第1のドメイン内にエンコードされたＢＬ画像データから、（例えば、第２のダイナミックレンジの、第２の色空間中の、第２のＥＯＴＦに対応する、等の）第２のドメイン内にコーディングされた画像データを生成／再構成するために使用される。ＢＬ画像データおよび画像メタデータは、受信側のデコーディングおよび再生デバイスへ提供され得、それらのデバイスは、第１のドメイン内の画像の描画をサポートするディスプレイ上でデコードした後に（例えば、第１のダイナミックレンジの、第１の色空間中の、第１のＥＯＴＦに対応する、等の）ＢＬ画像データを直接描画してもよいし、またはデコードされたＢＬ画像データおよび画像メタデータから第２のドメイン内の画像データを再構成し、第２のドメイン内の画像の描画をサポートするディスプレイ上で（例えば、第２のダイナミックレンジの、第２の色空間中の、第２のＥＯＴＦに対応する、等の）再構成画像データを描画してもよい。第１のドメイン内のＢＬまたは入力画像データと、第２のドメイン内の再構成または出力画像データとは、異なるダイナミックレンジであってもよい。さらに、任意にまたは代替として、第１のドメイン内のＢＬまたは入力画像データと第２のドメイン内の再構成または出力画像データとは同じダイナミックレンジであってもよいが、ＢＬまたは入力画像データと再構成または出力画像データとは異なる色空間にあってもよく、および／または異なるＥＯＴＦに対応してもよい。例えば、第１のドメイン内のＢＬ又は入力画像データは、ＨＬＧ ＥＯＴＦに対応するＲ．２０２０色空間において最大輝度１０００ニトのダイナミックレンジであってもよく、一方、再構成又は出力画像データは、ＰＱ ＥＯＴＦに対応するＲ．２０２０色空間において最大輝度１０００ニトの同じダイナミックレンジであってもよい。この実施例では、第１のドメインおよび第２のドメインは、両方とも、最大輝度１０００ニトと同じダイナミックレンジを有し、同じ色空間内にあるが、ＢＬまたは入力画像データおよび再構成または出力画像データは、異なるＥＯＴＦに従ってコーディングされてもよく、または異なるＥＯＴＦに対応してもよい。従って、画像データが表現される／コーディングされるドメインのうちの少なくとも１つの属性（例えば、ダイナミックレンジ、色空間またはＥＯＴＦ）が、ＢＬまたは入力画像データと、再構築または出力画像データとの間で異なる限り、本明細書に記載されるカスケード予測方法が適用され得る。その結果、コーディングされたビットストリーム中の、いくつかの表示デバイスによってサポートされるあるドメインに対してコーディングされた画像データを使用して、コーディングされたビットストリーム中の、他のいくつかの表示デバイスによってサポートされる他の1つ以上のドメインに対する再構成画像データを、上記他の1つ以上のドメインに対する他の画像データを必要とすることなく、生成することができる。いくつかの操作シナリオでは、種々のドメインにおける表示または画像処理操作をサポートする多様な表示デバイスタイプが、本明細書に記載される技術の下で生成されるコーディングされたストリームによってサポートされてもよい。
【0018】
いくつかの操作シナリオでは、カスケード予測係数の複数の異なる組が生成されて、再構成画像データにおける様々なビデオ品質レベルをサポートし得る。例えば、カスケード予測係数の第１の組を使用して、再構成画像データを有する第１の予測ビデオ信号を構築し、第１のビデオ品質レベルをサポートすることができる。カスケード予測係数の第２の組を使用して、リファインメント信号を構築し、それを第１の予測信号と組み合わせると、再構成画像データを有する第２の予測信号を発生させ、第１のビデオ品質レベルよりも高い第２のビデオ品質レベルをサポートすることができる。異なる組のカスケード予測係数を使用して、異なるバージョンのビデオデコーダまたは再生デバイスをサポートすることができる。それらのビデオデコーダまたは再生デバイスのうちのいくつかは、フィールドに広く配置されてもよいが、カスケード予測係数の第１の組のみを認識し、それに応じて予測操作にカスケード予測係数の第１の組を適用してもよい。比較的進歩したビデオデコーダまたは再生デバイスによる予測操作において、予測係数の追加の組が認識され、適用されるとき、ビデオ品質レベルは、徐々に改善され得る。
【0019】
本明細書に記載する例示的な実施形態は、画像再構成のためのカスケード予測メタデータの生成およびエンコードに関する。第１の予測子は、第１のドメイン内にコーディングされた入力画像に適用され、第１のドメインとは異なる第２のドメイン内にコーディングされた予測標的画像の予測標的符号語に近似する第１段階の予測符号語を生成する。第２段階の予測標的値は、予測標的符号語と第１段階の予測符号語に対して逆カスケード演算を行うことによって作成される。第１のドメイン内の入力画像に第２の予測子を適用し、第２段階の予測標的値に近似する第２段階の予測値を生成する。カスケード予測係数の複数の組が生成され、第１の予測子を規定するカスケード予測係数の第１の組と、第２の予測子を規定するカスケード予測係数の第２の異なる組とを含む。カスケード予測係数の複数の組は、画像メタデータとしてビデオ信号内にエンコードされる。ビデオ信号は、第1のドメイン内の入力画像を以てさらにエンコードされる。ビデオ信号の受信デバイスは、複数の組のカスケード予測係数を使用して、第１の予測子および第２の予測子を入力画像に適用し、第２のドメイン内の予測画像を生成する。第２のドメイン内の予測画像は、第２のドメイン内の予測標的画像に近似する。
【0020】
本明細書に記載する例示的な実施形態は、画像の再構成および描画のためのカスケード予測メタデータのデコードに関する。第１のドメイン内にコーディングされた入力画像は、ビデオ信号からデコードされる。カスケード予測係数の複数の組を含む画像メタデータは、ビデオ信号からデコードされる。カスケード予測係数の複数の組は、上流の画像処理デバイスによって生成されたものであり、第2のドメイン内にコーディングされた予測標的画像に少なくとも部分的に基づいて生成され、第1の予測子を規定する、カスケード予測係数の第1の組と、第2のドメイン内の予測標的画像に少なくとも部分的に基づいて生成され、第２の予測子を規定する、カスケード予測係数の第２の組と、を含む。第1のドメインは、第2のドメインとは異なる。第１の予測子と第２の予測子は、カスケード演算によって結合されて、第１のドメイン内の入力画像に適用され、第２のドメイン内の予測標的画像に近似する第２のドメイン内の再構成画像を生成する。第２のドメイン内の再構成画像から導出された表示画像は、表示デバイスを用いて描画される。
【発明を実施するための形態】
【0021】
例示的なビデオ配信処理パイプライン
図１Ａは、ビデオキャプチャからビデオコンテンツ表示までの様々な段階を示す、ビデオ配信パイプライン（１００）の例示的なプロセスを描く。一連のビデオフレーム（１０２）は、画像生成ブロック（１０５）を用いてキャプチャまたは生成される。ビデオフレーム（１０２）は、ビデオデータ（１０７）を提供するために、デジタル的に（例えば、デジタルカメラなどによって）キャプチャされてもよく、またはコンピュータによって（例えば、コンピュータアニメーションなどを使用して）生成されてもよい。さらに、任意にまたは代替として、ビデオフレーム（１０２）は、フィルムカメラによってフィルム上にキャプチャされてもよい。フィルムは、ビデオデータ（１０７）を提供するためにデジタルフォーマットに変換することができる。制作フェーズ（１１０）では、ビデオデータ（１０７）は、ビデオ制作ストリーム（１１２）を提供するように編集される。
【0022】
次に、制作ストリーム（１１２）のビデオデータが、制作後編集（１１５）のためにプロセッサに提供される。制作後編集（１１５）は、ビデオ作成者の創造的意図に従って、画像の画質を向上させるか、または画像の特定の外観を達成するために、画像の特定の領域における色または輝度を調整または修正することを含んでもよい。これは、「カラータイミング」または「カラーグレーディング」と呼ばれることがある。他の編集（例えば、シーン選択およびシーケンス、手動および／または自動シーンカット情報生成、画像クロッピング、コンピュータ生成された視覚的特殊効果の追加など）は、ＨＤＲ画像（１１７－１）またはＳＤＲ（または比較的狭いダイナミックレンジの）画像（１１７）のリリースバージョン（例えば、ＳＤＲなど）を生成するために、制作後編集（１１５）で実行され得る。いくつかの実施形態において、制作後編集（１１５）中に、ＨＤＲ画像（１１７－１）は、高いダイナミックレンジをサポートする基準ＨＤＲディスプレイ上で、ＨＤＲ画像（１１７－１）に関する制作後編集操作を実行しているカラリストによって、検討される。さらに、任意に、または代替として、制作後編集（１１５）中に、ＳＤＲ画像（１１７）は、ＳＤＲ画像（１１７）について制作後編集操作を実行しているカラリストによって、標準ダイナミックレンジ（または比較的狭いダイナミックレンジ）をサポートする基準ディスプレイ（１２５）上で検討される。さらに、任意にまたは代替として、ＳＤＲ画像（１１７）は、ＨＤＲ画像（１１７－１）からコンテンツマッピングされてもよい。
【0023】
いくつかの実施形態において、コーディングブロック（１２０）は、カスケード予測係数の複数の組を生成するためのカスケード予測操作の一部または全部を実行してもよい。コーディングブロック（１２０）は、制作後編集（１１５）からＨＤＲ画像（１１７－１）を受信し、ＨＤＲ画像（１１７－１）を（前方）再成形ＳＤＲ画像へ前方再成形する。前方再成形ＳＤＲ画像は、カラーグレーディング操作から（入手可能な場合）ＳＤＲ画像（１１７）に密接に近似し得る。例示のみの目的のために、コーディングブロック（１２０）は、ＳＤＲ画像（例えば、前方再成形ＳＤＲ画像など）及び画像メタデータを含むコーディングされたビットストリームを生成し、ここで、画像メタデータは、ＳＤＲ画像からＨＤＲ画像を再構成するために、コーディングされたビットストリームの受信デバイスによって使用される。しかしながら、様々な実施形態において、第１のドメイン内にコーディング／表現された画像データが、画像メタデータとともにコーディングされたビットストリーム中にエンコードされてもよく、ここで、画像メタデータは、第1のドメイン内の画像データから第２のドメイン内にコーディングされた画像データを再構成するために、コーディングされたビットストリームの受信デバイスによって使用されてもよいことに留意されたい。
【0024】
いくつかの実施形態では、コーディングブロック（１２０）は、コーディングされたビットストリーム（１２２）を生成するために、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕ－Ｒａｙ、および他の配信フォーマットによって規定されるようなオーディオおよびビデオエンコーダを含んでもよい。
【0025】
前方再成形ＳＤＲ画像は、コーディングブロック（１２０）によって、コーディングされたビットストリーム（１２２）に圧縮／エンコードすることができる。カスケード予測係数の複数の組は、画像メタデータの一部として、同一のコーディングされたビットストリームに含まれるか、またはエンコードされてもよい。
【0026】
コーディングされたビットストリーム（１２２）は、広範囲のＳＤＲ表示デバイス（例えば、ＳＤＲディスプレイなど）と後方互換性のあるビデオ信号（例えば、８ビットＳＤＲビデオ信号、１０ビットＳＤＲビデオ信号など）を表すことができる。非限定的な例では、再成形ＳＤＲ画像を以てエンコードされたビデオ信号は、単一層の後方互換性ビデオ信号であってもよい。本明細書において、「単一層の後方互換ビデオ信号」は、単一信号層におけるＳＤＲディスプレイ用に特に最適化された、またはカラーグレード付けされたＳＤＲ画像を搬送するビデオ信号を指すことができる。例示的な単一層ビデオコーディング操作については、２０１６年３月２３日に出願された米国仮特許出願第６２／３１２，４５０号に記載されており、米国特許出願公報第２０１９／０１１０５４号として２０１９年４月１１日に公開されてもおり、それらの全体の内容は、本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。
【0027】
カスケード予測係数の複数の組は、デコードされ、ビデオ信号またはコーディングされたビットストリームの受信デバイスによってカスケード予測操作に使用され、デコードされた前方再成形ＳＤＲ画像から再構成ＨＤＲ画像を生成する。再構成ＨＤＲ画像は、カラーグレーディングされたＨＤＲ画像（１１７－１）における対応する入力またはソースＨＤＲ画像に近似し得る。（上流の）コーディングブロック（１２０）によって生成されたカスケード予測係数の複数の組を有するカスケード予測操作（例えば、後方再成形操作、逆トーンマッピング操作など）を用いて、再構成ＨＤＲ画像に対して異なるビデオ品質レベルを生成することができる。本明細書で使用される「後方再成形」とは、第１のダイナミックレンジの（例えば、コーディングされたビットストリーム中にあるか、又はその中にエンコードされている）画像を、第２のより高いダイナミックレンジの画像に変換する画像処理操作を指す。前方再成形とは、第２のダイナミックレンジの画像を、第１のより高いダイナミックレンジの（例えば、コーディングされたビットストリーム中にあるか、又はその中にエンコードされている）画像に変換する画像処理操作を指す。例示的な再成形操作は、２０１５年３月２０日に出願された米国仮出願第６２／１３６，４０２号（米国特許出願公開第２０１８／００２０２２４号として２０１８年１月１８日にも公開）に記載されており、その内容全体は、本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。
【0028】
さらに、任意に、または代替的に、コーディングされたビットストリーム（１２２）は、表示管理（ＤＭ）メタデータを含むが、これらに限定されない付加的な画像メタデータを以てエンコードされ、ここで、表示管理メタデータは、下流のデコーダによって使用され、ＨＤＲ基準ディスプレイのための後方再成形画像上の表示管理操作を実行して、非基準ＨＤＲディスプレイなどの他のディスプレイ上での描画に最適化された表示画像を生成することができる。
【0029】
次いで、コーディングされたビットストリーム（１２２）は、デコーディングおよび再生デバイス、メディアソースデバイス、メディアストリーミングクライアントデバイス、テレビセット（例えば、スマートテレビなど）、セットトップボックス、映画館などの受信機へ向かって下流に配信される。受信機（または下流デバイス）において、コーディングされたビットストリーム（１２２）は、デコーディングブロック（１３０）によってデコードされ、デコードされた画像１８２を生成する。このデコードされた画像１８２は、コーディングブロック（１２０）によって実行される圧縮およびデコーディングブロック（１３０）によって実行される復元において生成される量子化エラーに応じて、再成形ＳＤＲ画像と同じであってもよい。
【0030】
受信機が、標準ダイナミックレンジ又は標準ダイナミックレンジに匹敵するかそれ未満の比較的狭いダイナミックレンジをサポートする標的ディスプレイ１４０と共に動作する（または接続されており、または動作的にリンクされている）という操作シナリオにおいて、デコーディングブロック（１３０）は、コーディングされたビットストリーム（１２２）（中の、例えば、単一の層）から再成形ＳＤＲ画像をデコードし、標的ディスプレイ（１４０）上に描画するために、デコードされた再成形ＳＤＲ画像を直接的又は間接的に使用することができる。標的ディスプレイ（１４０）がＳＤＲ基準ディスプレイ（１２５）と同様の特性を有する実施形態では、再成形されたＳＤＲ画像は、標的ディスプレイ（１４０）上で直接観察可能である。
【0031】
いくつかの実施形態では、受信機は、（例えば、４００ニト、１０００ニト、４０００ニト、１００００ニト以上など）高いダイナミックレンジをサポートするＨＤＲ標的ディスプレイ１４０－１と共に動作して（または接続されており、または動作的にリンクされていて）、コーディングされたビットストリーム（１２２）（の中の、例えば、メタデータコンテナ等）から画像メタデータを抽出し、画像メタデータ（または構成メタデータ）中のカスケード予測係数の複数の組のうちの２つ以上を使用して、画像メタデータ（構成メタデータ）に少なくとも部分的に基づいて再成形ＳＤＲ画像に対して―カスケード予測操作の実行を含むが、それに限定されない―後方再成形をすることによって再成形ＳＤＲ画像から後方再成形画像１３２－１を構成することができる。
【0032】
いくつかの操作シナリオでは、後方再成形画像（１３２－１）は、受信機と共に動作するＨＤＲ標的ディスプレイと同じか、またはそれに匹敵するＨＤＲ（例えば、基準、などの）ディスプレイ上での表示に最適化された再構成ＨＤＲ画像を表す。受信機は、ＨＤＲ標的ディスプレイ上での描画のために、後方再成形画像（１３２－１）を直接使用することができる。
【0033】
いくつかの操作シナリオでは、後方再成形画像（１３２－１）は、受信機と共に動作するＨＤＲ標的ディスプレイ（１４０－１）と同じではないＨＤＲ（例えば、基準、などの）ディスプレイ上での表示に最適化された再構成ＨＤＲ画像を表す。表示管理ブロック（例えば、１３５－１など）は、受信機内、ＨＤＲ標的ディスプレイ（１４０－１）内、または別のデバイス内にあってもよく、ＨＤＲ標的ディスプレイ（１４０－１）の特性に適合した表示マッピング信号（１３７－１）を生成することにより、ＨＤＲ標的ディスプレイ（１４０－１）の特性に合わせて、後方再生成画像（１３２－１）をさらに調整する。表示画像または調整された後方再成形画像がＨＤＲ標的ディスプレイ（１４０－１）上に表示されてもよい。
【0034】
ビデオコーデックとカスケード予測
図１Ｂは、デコーダ側における例示的な２段階カスケード予測操作を示す。示されるように、入力信号は、第１の予測ブロック（「予測１」と表記）に入力として供給され、これは、出力として第１の予測（ビデオ）信号（「予測信号１」と表記）を生成する。また、入力信号は、第２の予測ブロック（「予測２」と表記）に入力として供給され、出力として予測残留（ビデオ）信号を生成する。第１の予測ブロックから出力された第１の予測信号と、第２の予測ブロックによって生成された予測残留信号とは、カスケード演算ブロックに入力として供給され、入力された信号に対してマージ操作（例えば、加算、乗算など）を行い、第２の予測（ビデオ）信号（「予測信号２」と表記）を出力として生成する。第２の予測信号は、第１の予測信号および第２の予測信号の各々が近似するようにタスクされるソースまたは入力（ビデオ）信号に関して、第１の予測信号よりも高精度および良品質の再構成ビデオ信号を表す。
【0035】
いくつかの操作シナリオでは、図１Ｂの第１の予測ブロックは、８ピースの２次多項式を用いて色空間（例えば、ＹＣｂＣｒなど）の輝度チャネル（「Ｙ」と表記）において、ＭＭＲ係数を用いて色空間の色度チャネル（「Ｃｂ」または「Ｃ０」、「Ｃｒ」または「Ｃ１」と表記）において予測操作を実行する。図１Ｂの第２の予測ブロックは、ＭＭＲ（多重カラーチャネル多重回帰）係数またはＴＰＢ（テンソル積Ｂ－スプライン）予測係数を用いて輝度および色度チャネルの一部または全部において予測操作を実行する。ＭＭＲベースの予測が第１および第２の予測ブロックの両方で使用されるシナリオにおいて、ＭＭＲベースの予測を実行するいくつかまたは全ての処理ロジックは、これらの予測ブロックで再利用され得る。例示的な累積密度関数（ＣＤＦ）マッチング操作は、２０１７年９月１１日に出願されたＰＣＴ出願第ＰＣＴ／ＵＳ２０１７／５０９８０号、および（米国特許出願公開第２０１８／００９８０９４号として２０１８年４月５日に公開もされている）２０１６年１０月５日に出願された米国仮出願第６２／４０４，３０７号に記載されており、それらの内容全体は、参照により本明細書に組み込まれる。ＭＭＲ操作の例は、米国特許第８，８１１，４９０号に記載されており、これは、本明細書に完全に記載されているかのように、その全体が参照により援用される。ＴＰＢ操作の例は、２０１９年１０月１日に出願された「ＴＥＮＳＯＲ－ＰＲＯＤＵＣＴ Ｂ－ＳＰＬＩＮＥ ＰＲＥＤＩＣＴＯＲ」というタイトルの米国仮出願番号第６２／９０８，７７０号（代理人番号第６０１７５－０４１７号）に記載されており、これは、本明細書に完全に記載されているかのように、その全体が参照により援用される。
【0036】
図１Ｃは、関数の関数モデルに基づく例示的な２段階予測を示す。このモデルでは、第１の予測ブロックの出力は、第２の予測ブロックに直接供給される。いくつかの操作シナリオでは、このモデルにおける予測操作は、第1の予測ブロックによって得られたものを超える追加の情報を全く、あるいはほとんど得ることはない。対照的に、図１Ｂに示すようなカスケードモデルでは、第２の予測ブロックは、入力（またはソース）信号から直接オリジナルの画像データを受信する。従って、第２の予測ブロックは、第１の予測ブロックによって生成された予測誤差または不正確さを補正するのに良好な位置である。
【0037】
本明細書に記載されるようなカスケード予測によって生み出される例示的な長所および利点は、（１）既存のコーデックアーキテクチャへの後方互換性、及び（２）比較的低い（例えば、処理の、全体の、などの）遅延および比較的独立した予測処理を提供するために活用または実行され得る、第１の予測ブロックおよび第２の予測ブロックに対する並列処理を含むが、これらに限定されるものではない。
【0038】
図１Ｄは、カスケード予測のためのエンコーダ側アーキテクチャの例を示す。ビデオコーデック（例えば、ビデオエンコーダ、ビデオトランスコーダなど）は、ソース（ビデオ）信号および基準（ビデオ）信号を受信する。例示のみを目的として、ソース信号は、ＳＤＲ画像（例えば、図１Ａの１２２のようなコーディングされたビットストリーム中にエンコードされるべき、前方再成形ＳＤＲ画像など）を含む。基準信号は、受信デバイスによってＳＤＲ画像から生成された再構成ＨＤＲ画像が近似すべき基準ＨＤＲ画像を含む。コーデックの目標は、ソース信号中のＳＤＲ画像にカスケード予測係数の複数の組のうちの１つ、複数、または全部を適用する場合に再構成ＨＤＲ画像が基準信号中の基準ＨＤＲ画像に（例えば、密接に、複数の品質レベル内の特定の品質レベルで、可能な限り密接に、など）近似するように予測（ビデオ）信号中に生成されるように、カスケード予測係数の複数の組を生成することである。
【0039】
カスケード予測係数の複数の組のうちの（例えば、８ピースの２次多項式およびＭＭＲ係数などを規定する、などの）カスケード予測係数の第１の組は、第１の品質レベルで基準ＨＤＲ画像に近似する第１の再構成ＨＤＲ画像を生成するために、フィールド内に比較的広範囲に配置された受信デコーディングまたは再生デバイスの第１の集団によって使用され得る。
【0040】
図１Ｄに示すように、コーデックは、基準信号及びソース信号を受信し、受信した基準信号及びソース信号に少なくとも部分的に基づいてカスケード予測係数の第１の組を生成し、（例えば、図１Ａの１２２等の）コーディングされたビットストリーム中にソース信号と共にエンコードされるべき画像メタデータ（又は構成メタデータ）の一部としてカスケード予測係数の第１の組（「予測子１の係数」と表記）を出力し、カスケード予測係数の第１の組に少なくとも部分的に基づいてソース信号内のソース画像から生成される第１の予測（ビデオ）信号を生成及び出力するために、第１の予測ブロック（「予測子１」と表記）を使用することができる。
【0041】
カスケード予測係数の複数の組のうちの（例えば、ＭＭＲ係数またはＴＰＢ予測係数などを規定する、などの）カスケード予測係数の第２の組は、第1の組と共に、比較的進歩した受信デコーディングまたは再生デバイスの第２の集団によって使用されて、第１の品質レベルよりも高い第２の品質レベルで基準ＨＤＲ画像に近似する第２の再構成ＨＤＲ画像を生成することができる。
【0042】
図１Ｄに示すように、コーデックは、2つの段階を用いて、カスケード予測係数の第２の組を生成する。第１の段階は、逆カスケード演算ブロックによって実行され、第２の基準信号を生成し、第２の予測ブロック（「予測２」と表記）に第２の基準信号を出力する。逆カスケード演算ブロックは、カスケード演算の逆（または反対）の逆カスケード演算を実行して、受信デコーダまたは再生デバイスによって適用されてもよい。逆カスケード演算ブロックによって生成された第２の基準信号を受信することに加えて、第２の予測ブロックは、第１の予測ブロックによって受信されたのと同じソース信号も受信する。第２の予測ブロックは、少なくとも部分的にはソース信号及び第２の基準信号に基づいてカスケード予測係数の第２の組を生成し、予測残留信号は、少なくとも部分的にはカスケード予測係数の第２の組に基づいてソース信号から生成されて、逆カスケード演算ブロックから出力される第２の基準信号に可能な限り密接に近似する。図１Ｄのコーデックは、受信デコーダまたは再生デバイスに配信されるべきコーディングされたビットストリーム内の画像メタデータの一部として、カスケード予測係数の第２の組（「予測子２の係数」と表記）を（例えば、オンデマンドに、動的に、静的に、など）含んでもよい。
【0043】
図１Ｅは、カスケード予測のためのデコーダ側アーキテクチャの例を示す。ビデオコーデック（例えば、ビデオデコーダ、ビデオトランスコーダなど）は、受信した（例えば、図１Ａの１２２などの）コーディングされたビットストリームを、（コーディング／デコーディングまたは圧縮／解凍によって生じる量子化／コーディングエラーに応じてソース信号と同じであってもよい）ソース信号のデコードバージョン、及び上流のコーデック（例えば、図１Ｄ、コーディングブロック（１２０）など）によって生成されたカスケード予測係数の複数の組のうちの1つ以上の組へデコードする。
【0044】
カスケード予測係数の複数の組のうちの１つ以上は、カスケード予測係数の第１の組を含む。図１Ｅのコーデックの第１の予測ブロック（「予測１」と表記）は、ソース信号（またはそのデコードバージョン）およびカスケード予測係数の第１の組（「予測子１の係数」と表記）を受信し、少なくとも部分的にカスケード予測係数の第１の組に基づいて、ソース信号中のＳＤＲ画像から（第１の予測基準信号において）第１の再構成ＨＤＲ画像を生成することができる。第１の再構成ＨＤＲ画像は、第１の品質レベルで（図１Ｄの基準信号における）基準ＨＤＲ画像に近似する。
【0045】
いくつかの操作シナリオでは、図１Ｅのコーデックは、第1の再構成ＨＤＲ画像に基づいて第1の表示画像を導出し、カスケード予測係数の第１の組以外のカスケード予測係数のさらなる組を必要とすることなく、ＨＤＲ表示デバイス上に第1の表示画像を描画する。
【0046】
いくつかの操作シナリオでは、図１Ｅのコーデックは、受信したコーディングされたビットストリームからカスケード予測係数の第２の組（「予測子２の係数」と表記）をデコードし、予測２を使用する。予測2は、ソース信号（またはそのデコードバージョン）およびカスケード予測係数の第２の組を入力として受信し、少なくとも部分的にカスケード係数の第２の組に基づいてソース信号から予測残留信号を生成する。予測残留信号は予測２によりカスケード演算ブロック（「予測２」と表記）に出力されてもよい。第１の予測信号は、第１の予測ブロックによってカスケード演算ブロックに出力され、カスケード演算ブロックは、予測残留信号を第１の予測信号と組み合わせて、第２の予測信号を生成する。第２の予測信号は、第１の品質レベルよりも高い第２の品質レベルで基準ＨＤＲ画像に近似する第２の再構成ＨＤＲ画像を含む。
【0047】
エンコーダでの前方および後方マッピングにおけるカスケード予測
いくつかの操作シナリオでは、本明細書に記載のビデオエンコーダは、エンコーダによって実行される全体的な画像処理操作の一部として、（ＨＤＲ－ｔｏ－ＳＤＲ）前方マッピングと（ＳＤＲ－ｔｏ－ＨＤＲ）後方マッピングの両方を実行することができる。例えば、エンコーダは、基準（または入力）ＨＤＲビデオ信号およびコンテンツマッピングされたＳＤＲビデオ信号を受信することができる。これらのビデオ信号のうちの１つ以上は、例えば、ＳＤＲ基準ディスプレイ、ＨＤＲ基準ディスプレイ、ＳＤＲおよびＨＤＲ基準ディスプレイの両方、などを用いてカラリストによって実行される、カラーグレーディング操作の結果であってもよい。さらに、任意にまたは代替的に、これらのビデオ信号のうちの１つのビデオ信号の中の画像データは、その他のビデオ信号の中の対応する画像データから、例えば、ユーザの介入または手動入力なしに完全に自動的に、ユーザの介入または手動入力を以て実質的に自動的な方法、またはユーザの介入および手動入力を伴って実質的に自動的な方法、などでコンテンツマッピングされてもよい。
【0048】
カスケード予測は、エンコーダにおいて前方マッピングおよび後方マッピングに適用することができる。エンコーダにおけるカスケード予測の適用により、前方マッピングと後方マッピングの両方の精度と品質を改善できる。
【0049】
エンコーダ側での前方マッピングまたは後方マッピングのいずれかに本明細書に記載されるようなカスケード予測を適用するために、図１Ｄに描かれるものと同一または類似の複数段階（またはカスケード）予測を実現して実行することができる。
【0050】
エンコーダでの前方マッピングにおけるカスケード予測
（ビデオエンコーダによって受信される）入力ＳＤＲビデオ信号中のｊ番目の入力ＳＤＲ画像および（ビデオエンコーダによって受信される）入力ＨＤＲビデオ信号中のｊ番目の入力ＨＤＲ画像（それは入力ＳＤＲ画像と同じ視覚的意味内容を表すが、より高い輝度のダイナミックレンジを有する）のそれぞれにＰ個の画素があると仮定する。
【0051】
トリプレット
【数1】
および
【数2】
を、それぞれ、ｊ番目のＳＤＲ画像およびＨＤＲ画像のｉ番目の画素についての（ＹＣｂＣｒやＹＣ０Ｃ１のような色空間の）正規化されたＹ、Ｃ０、およびＣ１値を表すとする。
【0052】
色空間のルマまたは輝度チャネル（Ｙと表記）では、単一チャネル輝度予測操作を実行して、ＨＤＲ符号語
【数3】
を、輝度前方再成形関数
【数4】
を使用して、ＳＤＲ符号語
【数5】
に近似するように、以下のように、予測またはマッピングされたＳＤＲ符号語（
【数6】
と表記）にマッピングまたは前方再成形することができる。
【数7】
【0053】
輝度前方再成形関数は、ＨＤＲ輝度符号語／輝度値から予測またはマッピングされたＳＤＲ輝度符号語／輝度値への１対１のマッピングを提供する一次元ルックアップ表（１Ｄ－ＬＵＴ）―またはＦＬＵＴ―であってもよい。輝度前方再成形関数は、予測のための（例えば、マッピングされるべきＨＤＲ符号語
【数8】
を含む、などの）入力としての入力ＨＤＲ信号と、予測のための（例えば、予測ＳＤＲ符号語
【数9】
によって近似されるべきＳＤＲ符号語
【数10】
を含む、などの）基準としての入力ＳＤＲ信号とを使用して生成されてもよい。
【0054】
しかしながら、画素の輝度符号語/輝度値/輝度強度は、画素の色度成分によって影響されることが多い。単一チャネル輝度前方再生成関数は、画素の色度成分と輝度成分との間のクロスカラー情報あるいは影響を取り込むのに適していない場合がある。その結果、予測SDR符号語
【数11】
は、予測SDR符号語
【数12】
によって近似されるべき入力SDR符号語
【数13】
によって表される期待SDR符号語から逸脱し得る。
【0055】
単一チャネル輝度前方再成形関数に関連する欠点を克服するために、単一チャネル輝度前方再成形関数は、第１の予測標的値を含む第１の予測標的信号としての入力ＳＤＲ信号を以て生成される第１の輝度前方予測関数として（例えば、ただ単に、など）みなすことができる。第２の輝度前方予測関数
【数14】
は、輝度成分へ色度情報または影響をさらに組み込む（又はより良く取り込む）ために使用することができる。
【0056】
第２の輝度前方予測関数を使用して生成された第２の予測値が近似すべき第２の予測標的値を含むべく、第２の予測標的信号（
【数15】
と表記）が、以下のように生成されてもよい。
【数16】
ここで、式（２）の右辺の演算子「－」は逆カスケード演算子ＯＰ－１（）を表す。例示のみを目的として、逆カスケード演算子ＯＰ－１（）は、式（２）において減算演算子として表される。様々な実施形態において、本明細書に記載される逆カスケード演算子は、減算演算子、除算演算子、可逆演算子、関数ベースの演算子などとして表され得ることに留意されたい。
【0057】
第２の輝度前方予測関数（
【数17】
と表記）は、入力ＨＤＲ画像内のＨＤＲ輝度及び／又は色度符号語（例えば、
【数18】
など）－またはその特定の関数－を入力として使用し、第２の予測標的信号
【数19】
を予測標的として使用して生成することができる。一旦生成されると、第２の輝度前方予測関数
【数20】
を使用して、入力ＨＤＲ画像内のＨＤＲ輝度および色度符号語
【数21】
－またはそれらの特定の関数－を、以下のように、予測符号語残差
【数22】
にマッピングすることができる。
【数23】
【0058】
全体的な輝度前方予測関数（
【数24】
と表記）は、カスケード演算子ＯＰ（）で結合された第１および第２の輝度前方予測関数の両方として、以下のように与えられてもよい。
【数25】
ここで、式（４）の右辺の演算子「＋」は、式（２）の逆カスケード演算子ＯＰ－１（）の逆であるカスケード演算子ＯＰ（）を表す。例示のみを目的として、カスケード演算子ＯＰ（）は式（４）で加算演算子として表現される。種々の実施形態において、本明細書に記載されるカスケード演算子は、式（４）に表されるカスケード演算が式（２）の逆カスケード演算に共役である限り、加算演算子、乗算演算子、可逆演算子、関数ベース演算子などとして表され得ることに留意されたい。
【0059】
より具体的には、ＳＤＲ輝度チャネル内の全体的にマッピングされた（または全体的に前方再成形された）ＳＤＲ符号語／値を含む前方再成形ＳＤＲ信号は、以下のように、予測残基としての―第２の輝度前方予測関数を入力ＨＤＲ信号に適用することによって生成された―第２のマップ値を、入力ＨＤＲ信号に第１の輝度前方予測関数を適用することによって生成された第１のマップ値に加算することによって得ることができる。
【数26】
【0060】
色度チャネル（または非輝度チャネル）における前方予測（または前方再成形における予測操作）は、輝度チャネルにおける前方予測について本明細書に記載されたものと同様のカスケードプロセスに従うことができる。様々な実施形態において、色度チャネルにおける前方予測は、輝度チャネルにおける前方予測に使用されるような予測関数と類似または異なる選択を使用することができる。例示として、限定ではないが、色度チャネルにおける前方予測は、色度チャネルにおけるＳＤＲ色度符号語／色度値を予測するために、第１の色度予測関数を（2次のＭＭＲ係数で規定される）2次のＭＭＲ演算子と選択し、さらに、色度チャネルにおける残留ＳＤＲ色度符号語／色度値を予測するために、第２の色度予測関数を（３次のＭＭＲ係数で規定される）3次のＭＭＲ演算子、または何らかの他の演算子（例えば、2次のＭＭＲ演算子以外、など）を選択してもよい。
【0061】
本明細書に記載されるカスケード前方予測によって生成された前方再成形ＳＤＲ符号語／値を含む前方再成形ＳＤＲ画像のＳＤＲ信号は、前方再成形ＳＤＲ画像から再構成ＨＤＲ画像を生成および描画するための後方再成形メタデータと共に、コーディングされたビットストリーム（例えば、図１Ａの１２２など）にエンコードされて、下流のデコーダおよび／または再生デバイスに配信されてもよい。
【0062】
エンコーダでの後方マッピングにおけるカスケード予測
ＳＤＲビデオ信号中の（後方再成形される）ｊ番目のＳＤＲ画像と、ＨＤＲビデオ信号中の（対応する予測標的の）（ＳＤＲ画像と同じ視覚的意味内容を表すが、輝度ダイナミックレンジがより高い）ｊ番目のＨＤＲ画像のそれぞれにＰ個の画素があると仮定する。
【0063】
トリプレット
【数27】
および
【数28】
を、それぞれ、ｊ番目のＳＤＲ画像およびＨＤＲ画像のｉ番目の画素についての（ＹＣｂＣｒやＹＣ０Ｃ１のような色空間の）正規化されたＹ、Ｃ０、およびＣ１値を表すとする。
【0064】
色空間のルマまたは輝度チャネル（Ｙと表記）では、単一チャネル輝度予測操作を実行して、ＳＤＲ符号語
【数29】
を、輝度後方再成形関数
【数30】
を使用して、ＨＤＲ符号語
【数31】
に近似するように、以下のように、予測またはマッピングされたＨＤＲ符号語（
【数32】
と表記）にマッピングまたは後方再成形することができる。
【数33】
【0065】
輝度後方再成形関数は、ＳＤＲ輝度符号語／輝度値から予測またはマッピングされたＨＤＲ輝度符号語／輝度値への１対１のマッピングを提供する一次元ルックアップ表（１Ｄ－ＬＵＴ）―またはＢＬＵＴ―であってもよい。輝度後方再成形関数は、予測のための（例えば、マッピングされるべきＳＤＲ符号語
【数34】
を含む、などの）入力としての（後方再成形される）ＳＤＲ画像と、予測のための（例えば、予測ＨＤＲ符号語
【数35】
によって近似されるべきＨＤＲ符号語
【数36】
を含む、などの）基準としての（予測標的）ＨＤＲ画像とを使用して生成されてもよい。
【0066】
しかしながら、画素の輝度符号語/輝度値/輝度強度は、画素の色度成分によって影響されることが多い。単一チャネル輝度後方再生成関数は、画素の色度成分と輝度成分との間のクロスカラー情報あるいは影響を取り込むのに適していない場合がある。その結果、予測ＨＤＲ符号語
【数37】
は、予測ＨＤＲ符号語
【数38】
によって近似されるべきＨＤＲ符号語
【数39】
によって表される期待ＨＤＲ符号語から逸脱し得る。
【0067】
単一チャネル輝度後方再成形関数に関連する欠点を克服するために、単一チャネル輝度後方再成形関数は、第１の予測標的値を含む予測標的としての（予測標的）ＨＤＲ画像を以て生成される第１の輝度後方予測関数として（例えば、ただ単に、など）みなすことができる。第２の輝度後方予測関数
【数40】
は、輝度成分へ色度情報または影響をさらに組み込む（又はより良く取り込む）ために使用することができる。
【0068】
第２の輝度後方予測関数を使用して生成された第２の予測値が近似すべき第２の予測標的値を含むべく、第２の予測標的信号（
【数41】
と表記）が、以下のように生成されてもよい。
【数42】
ここで、式（７）の右辺の演算子「－」は逆カスケード演算子ＯＰ－１（）を表す。例示のみを目的として、逆カスケード演算子ＯＰ－１（）は、式（７）において減算演算子として表される。様々な実施形態において、本明細書に記載される逆カスケード演算子は、減算演算子、除算演算子、可逆演算子、関数ベースの演算子などとして表され得ることに留意されたい。さらに、任意に、または代替として、様々な実施形態において、前方再成形および後方再成形において、類似の、または異なるタイプの逆カスケード演算子を使用してもよい。従って、前方再成形および後方再成形において、同一のタイプの逆カスケード演算を使用する必要はない。
【0069】
第２の輝度後方予測関数（
【数43】
と表記）は、（後方再成形される）ＳＤＲ画像中の（後方再成形される）ＳＤＲ輝度および色度の符号語（例えば、
【数44】
など）－またはその特定の関数－を入力として使用し、第２の予測標的信号
【数45】
を予測標的として使用して生成することができる。一旦生成されると、第２の輝度後方予測関数
【数46】
を使用して、（後方再成形される）ＳＤＲ画像中の（後方再成形される）ＳＤＲ輝度および色度符号語
【数47】
－またはそれらの特定の関数－を、以下のように、予測符号語残差
【数48】
にマッピングすることができる。
【数49】
【0070】
全体的な輝度後方予測関数（
【数50】
と表記）は、逆カスケード演算子ＯＰ（）で結合された第１および第２の輝度後方予測関数の両方として、以下のように与えられてもよい。
【数51】
ここで、式（９）の右辺の演算子「＋」は、式（７）の逆カスケード演算子ＯＰ－１（）の逆であるカスケード演算子ＯＰ（）を表す。例示のみを目的として、カスケード演算子ＯＰ（）は式（９）で加算演算子として表現される。種々の実施形態において、本明細書に記載されるカスケード演算子は、式（９）に表されるカスケード演算が式（７）の逆カスケード演算に共役である限り、加算演算子、乗算演算子、可逆演算子、関数ベース演算子などとして表され得ることに留意されたい。さらに、任意に、または代替として、様々な実施形態において、類似の、または異なるタイプのカスケード演算子を前方再成形および後方再成形において使用してもよい。従って、前方再成形および後方再成形において同一のタイプのカスケード演算を使用する必要はない。
【0071】
より具体的には、ＨＤＲ輝度チャネル内の全体的にマッピングされた（または全体的に後方再成形された）ＨＤＲ符号語／値を含む後方再成形ＨＤＲ信号は、以下のように、予測残基としての―第２の輝度後方予測関数を（後方再成形される）ＳＤＲ信号に適用することによって生成された―第２のマップ値を、（後方再成形される）ＳＤＲ信号またはその中のＳＤＲ画像に第１の輝度後方予測関数を適用することによって生成された第１のマップ値に加算することによって得ることができる。
【数52】
【0072】
色度チャネル（または非輝度チャネル）における後方予測（または後方再成形における予測操作）は、輝度チャネルにおける後方予測について本明細書に記載されたものと同様のカスケードプロセスに従うことができる。様々な実施形態において、色度チャネルにおける後方予測は、輝度チャネルにおける後方予測に使用されるような予測関数と類似または異なる選択を使用することができる。例示として、限定ではないが、色度チャネルにおける後方予測は、色度チャネルにおけるＳＤＲ色度符号語／色度値を予測するために、第１の色度予測関数を（2次のＭＭＲ係数で規定される）2次のＭＭＲ演算子と選択し、さらに、色度チャネルにおける残留ＨＤＲ色度符号語／色度値を予測するために、第２の色度予測関数を（３次のＭＭＲ係数で規定される）3次のＭＭＲ演算子、または何らかの他の演算子（例えば、2次のＭＭＲ演算子以外、など）を選択してもよい。
【0073】
第1の輝度および色度後方予測関数のような第1の後方成形マッピングを規定するカスケード予測係数（または予測操作パラメータ）の第1の組と、第２の輝度および色度後方予測関数のような第２の後方成形マッピングを規定するカスケード予測係数（または予測操作パラメータ）の第２の組は、（例えば、図１Ａの１２２などの）コーディングされたビットストリーム中に（後方再成形される）ＳＤＲ画像とともにエンコードされている画像メタデータの一部として含まれ、ＳＤＲ画像から再構成ＨＤＲ画像を生成および描画するために下流のデコーダおよび／または再生デバイスに配信されてもよい。
【0074】
デコーダにおけるカスケード予測
いくつかの操作シナリオでは、図１Ｅに示すように、ビデオデコーダのようなコーデックは、ＳＤＲからＨＤＲへの後方マッピングのみを実行する。例示のみを目的として、デコーダ側の後方マッピングは、まず、輝度の後方再成形（または輝度チャネル中の後方再成形）によって説明することができる。デコーダは、受信した（例えば、図１Ａの１２２などの）コーディングされたビットストリームまたはその中の画像メタデータコンテナから、カスケード予測係数の複数の組をデコードまたは読取る。
【0075】
カスケード予測係数の複数の組は、第１の予測操作のためのカスケード予測係数の第１の組と、第２の予測操作のためのカスケード予測係数の第２の組を含む。カスケード予測係数の第１の組は、例えば８ピースの２次多項式として第１の輝度後方予測関数
【数53】
を規定することができ、デコードされたＳＤＲ符号語
【数54】
を、カスケード予測係数の複数の組を生成する上流デバイスにおける予測標的（または基準）ＨＤＲ信号における基準ＨＤＲ画像に近似する予測ＨＤＲ符号語
【数55】
に、以下のようにマッピングする。
【数56】
【0076】
いくつかの操作シナリオでは、デコーダは、第１の輝度後方予測関数で生成された予測ＨＤＲ輝度符号語
【数57】
を含む第１の予測／再構成ＨＤＲ画像から表示画像を生成し、デコーダと共に動作する表示デバイスで表示画像を描画することができる。
【0077】
いくつかの操作シナリオでは、デコーダは、カスケード予測係数の第２の組によって規定される第２の輝度後方予測関数
【数58】
を（例えば、同時に、並列処理で、など）使用して、（例えば、
【数59】
などの）デコードされたＳＤＲ輝度及び色度符号語、またはそれらの特定の関数から、以下のように差分信号（例えば、予測残差）
【数60】
を予測又は推定する。
【数61】
【0078】
第２の輝度後方予測関数で生成された推定差分信号は、カスケード演算を使用して、第１の輝度後方予測関数で生成された予測ＨＤＲ符号語
【数62】
に追加され、以下のように、さらに改善された予測信号（
【数63】
と表記）中に第２の予測または後方再成形ＨＤＲ画像が得られる。
【数64】
【0079】
第１及び第２の予測／再構成ＨＤＲ画像の色度成分も同様に得ることができる。いくつかの操作シナリオでは、第１の色度後方予測関数／マッピングは、３チャネルのＭＭＲ予測子または関数であってもよい。第２の色度後方予測関数／マッピングは、異なる次数または異なるタイプのＭＭＲ予測子または関数、あるいは第１の色度後方予測関数／マッピングとは異なる（またはより進歩した）別の予測子／関数であり得る。
【0080】
例示的なカスケード予測子と動作タイプ／カテゴリ
いくつかの操作シナリオでは、複数のカスケード予測子の中の第１のカスケード予測子は、必ずしも限定はされないが、比較的単純な予測子（例えば、単一チャネルの予測子、より低次の多項式、より低次のＭＭＲ演算子など）であってもよく、一方、複数のカスケード予測子の中の第２の又はさらなるカスケード予測子は、必ずしも限定はされないが、比較的複雑な又は高度な予測子（例えば、クロスチャネルの予測子、高次の多項式、高次のＭＭＲ演算子など）であってもよい。
【0081】
いくつかの操作シナリオでは、複数のカスケード予測子の中の２つ以上のカスケード予測子は、必ずしも限定はされないが、同等の複雑さの予測子であってもよい。２つ以上のカスケード予測子は、多様であるか、あるいはタイプまたはカテゴリの点で異なってもよい。
【0082】
単なる例示として、異なるタイプまたはカテゴリのカスケード予測子または演算を説明するための例として、ＨＤＲ－ｔｏ－ＳＤＲマッピング（例えば、後方再成形マッピングなど）が使用できる。様々な実施形態では、ＨＤＲ－ｔｏ－ＳＤＲマッピングに対するものと類似または異なるタイプまたはカテゴリのカスケード予測子または演算が、ＳＤＲ－ｔｏ－ＨＤＲマッピング（例えば、前方再成形マッピングなど）についても使用され得ることに留意されたい。
【0083】
第１の例示的なタイプまたはカテゴリのカスケード予測子は、色度チャネル中の符号語から構成される単一の入力変数を有する多項式を使用する単一変数関数である。１つの入力変数のみを使用するため、彩度は多くの異なる候補のうちの１つの候補である。彩度（
【数65】
と表記）は、以下のように定義または計算される。
【数66】
【0084】
第１の例示的なタイプのカスケード予測子は、式（１４）の彩度を単一の入力変数として有する多項式によって表すことができ、
【数67】
と表記してもよい。そのようなカスケード予測子を表す多項式の多項式係数は、予測標的信号（例えば、近似されるべき信号など）および予測入力信号（例えば、前方再成形される信号、後方再成形される信号など）の関数として、誤差測定値／コストを最小化することによって得られる。
【0085】
第２の例示的なタイプまたはカテゴリのカスケード予測子は、色度チャネル中の符号語を入力とするＭＭＲ予測子／関数である。入力変数の選択には、多くのオプションがある。
【0086】
第１の例示的なオプションとして、２つの入力変数
【数68】
が、本明細書に記載されるように、ＭＭＲ予測子／関数（
【数69】
と表記）において使用され得る。
【0087】
第２の例示的なオプションとして、２つの入力変数
【数70】
が、本明細書に記載されるように、ＭＭＲ予測子／関数（
【数71】
と表記）において使用され得る。
【0088】
第３の例示的なオプションとして、３つの入力変数
【数72】
が、本明細書に記載されるように、ＭＭＲ予測子／関数（
【数73】
と表記）において使用され得る。
【0089】
第４の例示的なオプションとして、３つの入力変数
【数74】
が、本明細書に記載されるように、ＭＭＲ予測子／関数（
【数75】
と表記）において使用され得る。入力変数
【数76】
は、特定の画素位置における局所変化を効率的にキャプチャするために使用され得る。
【0090】
カスケード予測子を表すＭＭＲ予測子のＭＭＲ予測係数は、予測標的信号（例えば、近似されるべき信号など）および予測入力信号（例えば、前方再成形される信号、後方再成形される信号など）の関数として、誤差測定値／コストを最小化することによって得られてもよい。
【0091】
第３の例示的なタイプまたはカテゴリのカスケード予測子は、色度チャネル中の符号語を入力とするＴＰＢ予測子／関数である。入力変数の選択には、多くのオプションがある。
【0092】
第１の例示的なオプションとして、２つの入力変数
【数77】
が、本明細書に記載されるように、ＴＰＢ予測子／関数（
【数78】
と表記）において使用され得る。
【0093】
第２の例示的なオプションとして、２つの入力変数
【数79】
が、本明細書に記載されるように、ＴＰＢ予測子／関数（
【数80】
と表記）において使用され得る。
【0094】
第３の例示的なオプションとして、３つの入力変数
【数81】
が、本明細書に記載されるように、ＴＰＢ予測子／関数（
【数82】
と表記）において使用され得る。
【0095】
第４の例示的なオプションとして、３つの入力変数
【数83】
が、本明細書に記載されるように、ＴＰＢ予測子／関数（
【数84】
と表記）において使用され得る。入力変数
【数85】
は、特定の画素位置における局所変化を効率的にキャプチャするために使用され得る。
【0096】
カスケード予測子を表すＴＰＢ予測子のＴＰＢ予測係数は、予測標的信号（例えば、近似されるべき信号など）および予測入力信号（例えば、前方再成形される信号、後方再成形される信号など）の関数として、誤差測定値／コストを最小化することによって得ることができる。
【0097】
さらに、任意に、または代替として、本明細書に示されているもの以外のカスケード予測子(例えば、非多項式、非MMR、非TPBなど)のタイプまたはカテゴリを、カスケード予測子のタイプまたはカテゴリで使用することができる。さらに、任意に、または代替として、本明細書に示されているもの以外の入力変数を、カスケード予測子のタイプまたはカテゴリで使用することができる。
【0098】
様々な実施形態では、類似または異なるタイプまたはカテゴリのカスケード演算（例えば、可逆、正則など）およびそれらの共役または逆カスケード演算が使用されてもよい。
【0099】
第１の例示的なカスケード演算は、
【数86】
におけるような（算術）加算である。第２の例示的なカスケード演算は、
【数87】
におけるような（算術）乗算である。
さらに、任意に、または代替として、本明細書に示されているもの以外のカスケード演算のタイプを、カスケード予測子のタイプまたはカテゴリで使用することができる。
【0100】
多重カスケード予測
２段階カスケード予測は、３段階カスケード予測のような多重（または多段階）カスケード予測に拡張することができる。いくつかの操作シナリオでは、複数の区分的ＭＭＲ演算子が、本明細書に記載されるように、カスケード予測において複数の予測子として生成され得る。さらに、任意に、または代替として、（例えば、シングルチャネル・マルチピース・ＭＭＲ予測、マルチチャネル・シングルピース・ＭＭＲ予測などの）ＭＭＲ予測を導くための１Ｄ－ＬＵＴの作成の代わりに、またはそれに加えて、任意に、または代替として、カスケード予測を適用して、ピース・パーティションの境界で複数のＭＭＲ予測結果を融合するなどの特別な処理を行う必要なく、マルチチャネル・マルチピースＭＭＲ予測をサポートすることができる。例えば、異なるタイプのマルチチャネル・マルチピースＭＭＲ予測は、比較的高い計算効率及び比較的高い性能を有する異なる連続的又はカスケード予測段階で実施することができる。図１Ｆに示すように、第３の予測操作（「予測３」と表記）は、第１および第２の予測子
【数88】
をそれぞれ使用する第１および第２の予測操作（「予測１」および「予測２」とそれぞれ表記）に加えて、第３の予測子
【数89】
を使用してもよい。
【0101】
前述のように、異なるタイプのカスケード演算が、本明細書に記載されるようなコーデックによって異なる操作シナリオにおいて使用され得る。限定ではなく例示として、２つの異なるタイプのカスケード演算子を使用することができる。
【0102】
第一に、いくつかの操作シナリオでは、（算術）加算演算子をカスケード演算として使用して、図１Ｆの３つの予測操作からの予測値を以下のように組み合わせることができる。
【数90】
【0103】
第二に、いくつかの操作シナリオでは、（算術）乗算演算子をカスケード演算として使用して、図１Ｆの３つの予測操作からの予測値を以下のように組み合わせることができる。
【数91】
【0104】
（２段階カスケード予測と比較した）第３段階及び新しい段階の追加により、他の段階での他の予測操作によって見逃された画像データ中のいくつかの追加の構造、情報等がキャプチャされ得る。後の予測操作（本明細書に記載されるように、デコーダにおいて前の予測操作と完全に同時に実行され得る）は、前の予測操作とは異なる又は多様であるか、あるいは前の予測操作よりも進んでいるように選択され得る。新しい段階が加えられると、後続の予測操作によって予測されるその後の残留物は、よりランダムな雑音のようになり、それによって、より多くの新たな段階が加えられるにつれて、計算の複雑さを増加させながら、より少ないまたはより多くのあまり重要でない利益を提供する。
【0105】
予測係数の導出
第１の予測子は、多項式、ＭＭＲ、ＴＰＢなどで計算または表現され得る。限定ではないが、例示として、第２の予測子に対するカスケード予測係数（または演算パラメータ）の計算例が、（ＨＤＲからＳＤＲへの）前方再成形に関して本明細書に記載される。
【0106】
簡単のために、第２の予測子の標的信号を
【数92】
と表記し、第１の予測子
【数93】
からの（第１の）予測値を
【数94】
と表記する。したがって、以下が成り立つ。
【数95】
【0107】
第１の予測子（または第１の予測操作）は、単一入力変数または複数入力変数の形式の入力を伴う単一チャネル多項式またはＭＭＲに基づくことができる。（カスケード予測係数の第１の組を構成する）予測係数は、以下のように平均二乗誤差（ＭＳＥ）として表されるものなどの誤差測定値／コストを最小化するための最適化プロセスを介して得られる。
【数96】
【0108】
エンコーダ側では、元の予測標的（または基準）信号と、第１の予測子からの出力予測信号との間の差分などの残留信号（
【数97】
と表記）が決定され得る。第１及び第２の予測子と共に使用されるカスケード演算子又はカスケード演算のタイプ（例えば、可逆、など）に応じて、第２の予測操作において予測する第２の予測子に対して異なる予測標的（又は基準）値が決定され得る。
【0109】
一例では、カスケード演算は算術加算である。したがって、対応する逆カスケード演算（または逆カスケード演算子）は、（算術）減算である。輝度チャネルにおける残留信号は、元の予測標的信号と第１の予測信号とから逆カスケード演算子を用いて以下のように計算され得る。
【数98】
【0110】
別の例では、カスケード演算は算術乗算である。したがって、対応する逆カスケード演算（または逆カスケード演算子）は（算術）除算である。輝度チャネルにおける残留信号は、元の予測標的信号と第１の予測信号とから逆カスケード演算子を用いて以下のように計算され得る。
【数99】
【0111】
第２の予測子（または予測操作）は、第２の予測関数によって以下のように表され得る。
【数100】
【0112】
第２の予測子（または予測操作）は、元の入力値
【数101】
を用いて
【数102】
を予測することを目的としている。限定ではないが、例示として、第２の予測演算子のタイプは、ＭＭＲ、ＴＰＢ、または複数の入力変数の形式の入力を有する別のタイプとすることができる。第２の予測子に対する（カスケード予測係数の第２の組を構成する）予測係数は、以下のように、平均二乗誤差（ＭＳＥ）として表されるものなどの誤差測定値／コストを最小化するための最適化プロセスを介して得られる。

【数103】
【0113】
例えば、３チャネルＭＭＲを例にとると、設計ベクトルは、入力ソース（例えば、前方再成形されるなどの）信号の多変量多項式のベクトルとして、以下のように構成することができる。
【数104】
【0114】
すべての画素（又はＳＤＲ及びＨＤＲ画素対）についての式（２３）の設計ベクトルを含む設計行列は、以下のように構成することができる。
【数105】
【0115】
すべての画素（又はＳＤＲ及びＨＤＲ画素対）についてＹ、Ｃｂ、およびＣｒチャネルの第２の予測子で生成された値によって近似される値を含む基準（または予測標的）信号
【数106】
のＹ、Ｃｂ又はＣ１、およびＣｒ又はＣ２成分は、以下のように構築され得る。
【数107】
【0116】
第２の予測子は輝度チャネルと色度チャネルに対してＭＭＲ係数で以下のように規定される。
【数108】
ここで、ＭはＭＭＲ係数の総数（たとえば、７＊ＭＭＲ＿ＯＲＤＥＲ＋１）である。
【0117】
式（２５）の基準（又は予測標的）信号
【数109】
のＹ、Ｃｂ又はＣ０、およびＣｒ又はＣ１成分の各々に近似する予測値は、ＭＭＲ係数を用いて以下のように生成され得る。
【数110】
【0118】
ＭＭＲ係数を導出する目的で、すべての画素（または画素のビン）について全体的な近似誤差を最小化する最適化問題は、以下のように解くことができる。
【数111】
【0119】
この最適化問題は、線形最小二乗解法によって、以下のように解くことができる。
【数112】
【0120】
図２Ａは、ＳＤＲ画像内の輝度（Ｙ）符号語／値（垂直軸で示される）の、ＳＤＲ画像と同じ視覚コンテンツを描く対応するＨＤＲ画像内の対応する輝度（Ｙ）符号語／値（水平軸で示される）に対する散布図の例を示す。
【0121】
図２Ｂは、入力としてＨＤＲ画像を用い、予測輝度（Ｙ）符号語／値によって近似される予測標的／基準としてＳＤＲ画像を用いて、第１の予測子又は予測操作（「予測子＃１」と表記）によって生成される予測輝度（Ｙ）符号語／値（垂直軸で示される）の、ＳＤＲ画像内の対応する輝度（Ｙ）符号語／値（水平軸で示される）に対する散布図の例を示す。
【0122】
図２Ｃは、入力としてＨＤＲ画像を用い、逆カスケード演算によって生成され、第２段階の予測値によって近似された標的／基準値を用いて、第２の予測子または予測操作によって生成された第２段階の予測値（垂直軸で示される；「予測信号＃２」と表記）の、第１の予測子または予測操作によって生成された予測輝度（Ｙ）符号語／値（水平軸によって示される）に対する散布図の例を示す。
【0123】
図２Ｄは、第１および第２の予測子または予測操作からの予測値を組み合わせることによって生成される全体的な予測輝度（Ｙ）符号語／値（垂直軸で示される）の、ＳＤＲ画像内の対応する輝度（Ｙ）符号語／値（水平軸で示される）に対する散布図の例を示す。
【0124】
第１の予測子または予測操作のみを使用する図２Ｂの散布図と比較すると、本明細書に記載のカスケード予測の下で第１および第２の予測子または予測操作の両方によって生成された全体的な予測輝度（Ｙ）符号語／値は、ＳＤＲ画像内の輝度（Ｙ）符号語／値と比較的強い相関を示し、それによって全体の予測輝度（Ｙ）符号語／値を含む予測画像での比較的高い精度および品質レベルを達成する。
【0125】
アプリケーションアーキテクチャ
本明細書に記載のカスケード予測は、単一層の後方互換性（ＳＬＢＣ）ビデオアプリケーションおよび単一層の逆表示管理（ＳＬｉＤＭ）ビデオアプリケーションをサポートするアプリケーションアーキテクチャを含むが、これらに限定されない、ビデオコーデックで実装された広範なアプリケーションアーキテクチャに組み込むことができる。
【0126】
ＳＬＢＣアーキテクチャ
図３Ａは、例示的なＳＬＢＣコーデック（例えば、ＳＬＢＣビデオエンコーダ、前方再成形経路及び後方再成形経路を含むＳＬＢＣビデオトランスコーダ）を示している。逆カスケード演算で結合された２段階のカスケード予測などのカスケード予測は、前方及び後方再成形経路の各々において（例えば、追加的に、任意に、又は代替的に、など）実行され得る。
【0127】
図示のように、前方再成形経路におけるカスケード予測は、第１の前方予測操作（「前方予測１」と表記）および第２の前方予測操作（「前方予測２」と表記）を含む。後方再成形経路におけるカスケード予測は、第１の後方予測操作（「後方予測１」と表記）および第２の後方予測操作（「後方予測２」と表記）を含む。
【0128】
前方再成形経路における予測子又は予測操作は、後方再成形経路における予測子又は予測操作に関して対称的である必要はなく、また、他の点で決定論的である必要はないことに留意されたい。例えば、第２の前方予測は、第１の後方予測と同一の予測である必要はなく、また第１の後方予測と共役な予測（例えば、逆向き予測、転置予測など）である必要もない。同様に、第１の前方予測は、第２の後方予測と同一の予測である必要はなく、また第２の後方予測と共役な予測（例えば、逆向き予測、転置予測など）である必要もない。
【0129】
さらに、任意に、または代替として、異なるタイプのカスケード予測を、前方および後方再成形経路のそれぞれの２段階予測に使用することができる。例えば、前方及び後方再成形経路の各々について、比較的単純な予測子又は予測操作を第１段階に配置することができ、一方、異なる、比較的高度な予測子又は予測操作を、より単純な予測子又は予測操作の後の第２段階に配置して、追加の予測精度及び性能利得を得ることができる。
【0130】
より具体的には、いくつかの操作シナリオでは、第２の前方予測子または予測操作は、第１の前方予測子または予測子操作とは異なるかまたは多様であるように選択され得る。同様に、第２の後方予測子または予測操作は、第１の後方予測子または予測操作とは異なるかまたは多様（または第１の後方予測子または予測操作よりさらに高度）であるように選択され得る。
【0131】
前方再成形経路において、入力（またはソース）ＨＤＲ信号（「ＨＤＲ信号」と表記）における各ＨＤＲ画像を構成する輝度および色度のＨＤＲ符号語／値は、前方再成形信号（「前方再成形ＳＤＲ信号」と表記）中の対応する前方再成形ＳＤＲ画像を構成する輝度および色度のＳＤＲ符号語／値に前方再成形することができる。前方再成形された輝度及び色度のＳＤＲ符号語／値は、対応する基準（又は標的）ＳＤＲ信号（「ＳＤＲ信号」と表記）中の対応する基準（又は標的）ＳＤＲ画像における輝度及び色度のＳＤＲ符号語／値に近似する（例えば、密接に、様々な品質レベルで、など）。
【0132】
限定ではないが例示として、前方（再成形）経路において、第１の前方予測子または予測操作は、以下のように、ＣＤＦマッチング技術から構築された第１の輝度前方予測子（例えば、関数、曲線、ルックアップ表、ＦＬＵＴなど）を含む。
【数113】
ここで、
【数114】
は、第１の輝度前方予測子によって出力された第１の予測輝度符号語／値を表す。
【0133】
第１の予測輝度符号語／値と、第１の予測輝度符号語／値によって近似される基準（または標的）ＳＤＲ信号中の標的輝度符号語／値
【数115】
との間の予測誤差は、逆カスケード演算（それは、輝度固有、第１段階固有、エンコーダ固有などであってもよい）を使用して、以下のように生成され得る。
【数116】
【0134】
予測誤差は、以下のように、第２の前方予測子または予測操作におけるＭＭＲマッピングなどの第２の輝度前方予測子を用いて予測または近似される予測標的値として使用され得る。
【数117】
【0135】
輝度チャネルの最終予測値
【数118】
は、第１および第２の輝度前方予測子の両方によって出力された予測値を、以下のように合計することによって生成される。
【数119】
【0136】
同様に、前方（再成形）経路において、色度チャネルＣｂ／Ｃ０およびＣｒ／Ｃ１について、第１の前方予測子または予測操作は、以下のように、第１の色度前方予測子を含む。
【数120】
ここで、
【数121】
は、色度チャネルに対して単一段階ＭＭＲ操作に基づいた第１の予測色度値を示す。
【0137】
第１の予測色度符号語／値
【数122】
と、第１の予測色度符号語／値によって近似される基準ＳＤＲ信号中の標的色度符号語／値
【数123】
との間の予測誤差は、各色度チャネルに対して、逆カスケード演算（それは、輝度固有、第１段階固有、エンコーダ固有などであってもよい）を使用して、以下のように生成され得る。
【数124】
【0138】
予測誤差は、（使用される総段階数、使用される構成概念、マッピングおよび関数の次数、操作、入力変数の総数、入力変数の種類などに関して第１の色度前方予測子で使用されるものよりも）高度なＭＭＲマッピングなどの第２の色度前方予測子を使用して、第２の前方予測子または予測操作において、以下のように予測または近似される予測標的値として使用され得る。
【数125】
【0139】
色度チャネルについての最終的な予測値
【数126】
は、第１および第２の色度前方予測子の両方によって出力された予測値を、以下のように合計することによって生成される。
【数127】
【0140】
いくつかの操作シナリオでは、式(33)および(37)における最終予測値は、前方再成形SDR画像/信号の一部としての前方再成形輝度および色度符号語/値として出力され得る。前方再成形画像/信号は、符号化されたビットストリーム(例えば、図1Aの122など)中にエンコードされ、後方再成形経路への入力として提供される。
【0141】
後方再成形経路では、前方再成形ＳＤＲ信号中の各前方再成形ＳＤＲ画像を構成する前方再成形輝度及び色度ＳＤＲ符号語／値は、再構成ＨＤＲ信号中の対応する再構成ＨＤＲ画像を構築する再構成輝度及び色度ＨＤＲ符号語／値に後方再成形することができる。再構成または後方再成形された輝度および色度ＨＤＲ符号語／値は、入力ＨＤＲ信号中の対応する入力ＨＤＲ画像における輝度および色度ＨＤＲ符号語／値に近似する（例えば、密接に、様々な品質レベルで、など）。入力ＨＤＲ信号も再構成ＨＤＲ信号もコーディングされたビットストリーム中にエンコードされない。むしろ、カスケード予測操作の複数の組などの後方再成形マッピングを規定する画像メタデータ（または構成メタデータ）が、コーディングされたビットストリーム中に含まれる。コーディングされたビットストリームからＨＤＲ画像をデコードする代わりに、受信デコーダまたは再生デバイスは前方再成形ＳＤＲ画像をデコードし、後方再成形マッピングを前方再成形ＳＤＲ画像に適用することにより、前方再成形ＳＤＲ画像から再構成ＨＤＲ画像を生成する。
【0142】
限定ではないが、例として、後方（再成形）経路において、第１の後方予測子または予測操作は、以下のように、ＣＤＦマッチング技術から構築された第１の輝度後方予測子（例えば、関数、曲線、ルックアップ表、ＢＬＵＴなど）を含む。
【数128】
ここで、
【数129】
は、第１の輝度後方予測子によって出力された第１の予測輝度符号語／値を表す。
【0143】
第１の予測輝度符号語／値と、第１の予測輝度符号語／値によって近似される入力ＨＤＲ信号中の標的輝度符号語／値
【数130】
との間の予測誤差は、逆カスケード演算（それは、輝度固有、第１段階固有、エンコーダ固有などであってもよい）を使用して、以下のように生成され得る。
【数131】
【0144】
予測誤差は、第２の後方予測子または予測操作におけるＭＭＲマッピングなどの第２の輝度後方予測子を用いて予測または近似される予測標的値として、以下のように使用され得る。
【数132】
【0145】
輝度チャネルについての最終予測値
【数133】
は、第１および第２の輝度後方予測子の両方によって出力された予測値を以下のように合計して生成される。
【数134】
【0146】
同様に、後方（再成形）経路において、色度チャネルＣｂ／Ｃ０およびＣｒ／Ｃ１について、第１の後方予測子または予測操作は、以下のように、第１の色度後方予測子を含む。
【数135】
ここで、
【数136】
は、色度チャネルについて単一段階ＭＭＲ操作に基づいた第１の予測色度値を示す。
【0147】
第１の予測色度符号語／値
【数137】
と、第１の予測色度符号語／値によって近似される基準（または標的）ＨＤＲ信号中の標的色度符号語／値
【数138】
との間の予測誤差は、逆カスケード演算（それは、輝度固有、第１段階固有、エンコーダ固有などであってもよい）を使用して、各色度チャネルに対して、以下のように生成され得る。
【数139】
【0148】
予測誤差は、（使用される総段階数の種類、使用される構成概念、マッピングおよび関数の次数、操作、入力変数の総数、入力変数の種類などに関して、第１の色度後方予測子で使用されるものより）高度なＭＭＲマッピングなどの第２の色度後方予測子を使用して、第２の後方予測子または予測操作において、以下のように予測または近似される予測標的値として使用され得る。
【数140】
【0149】
色度チャネルについての最終的な予測値
【数141】
は、第１および第２の色度後方予測子の両方によって出力された予測値を、以下のように合計することによって生成される。
【数142】
【0150】
最終的な予測輝度および色度値
【数143】
は、カスケード予測係数の複数の組を含む画像メタデータ（または構成メタデータ）を受信する受信デバイスによって生成されることに留意されたい。カスケード予測係数の複数の組は、第１の輝度及び色度後方予測子
【数144】
を規定する第１の組と、第２の輝度及び色度後方予測子
【数145】
を規定する第２の組を含む。これらの後方予測子は、受信デバイスによって、コーディングされたビットストリームからデコードされた（前方再成形ＳＤＲ符号語／値
【数146】
を含む）前方再成形ＳＤＲ画像に適用されて、再構成ＨＤＲ画像に対する最終的な予測輝度値及び色度値
【数147】
を生成し得る。
【0151】
ＳＬｉＤＭアーキテクチャ
図３Ｂは、例示的なＳＬｉＤＭコーデック（例えば、ＳＬｉＤＭビデオエンコーダ、後方再成形経路を含むＳＬｉＤＭビデオトランスコーダ）を示す。逆カスケード演算で結合された２段階のカスケード予測などのカスケード予測は、後方再成形経路において（例えば、追加的に、任意に、又は代替的に）実行され得る。
【0152】
図に示すように、後方再成形経路におけるカスケード予測は、第１の後方予測操作（「後方予測１」と表記）と第２の後方予測操作（「後方予測２」と表記）を含む。
【0153】
後方再成形経路の２段階予測には、異なるタイプのカスケード予測を用いることができる。例えば、比較的単純な予測子又は予測操作を第１段階に配置することができ、一方、異なる、比較的高度な予測子又は予測操作を、より単純な予測子又は予測操作の後の第２段階に配置して、追加の予測精度及び性能利得を得ることができる。
【0154】
いくつかの操作シナリオでは、入力ＳＤＲ信号中の各ＳＤＲ画像の輝度及び色度符号語／値は、コーディングされたビットストリーム（例えば、図１Ａの１２２など）中にエンコードされ、後方再成形経路への入力として提供される。
【0155】
入力ＳＤＲ信号中の各入力ＳＤＲ画像を構成する輝度及び色度ＳＤＲ符号語／値は、再構成ＨＤＲ信号中の対応する再構成ＨＤＲ画像を構築する再構成輝度及び色度ＨＤＲ符号語／値に後方再成形することができる。再構成または後方再成形された輝度及び色度ＨＤＲ符号語／値は、入力ＨＤＲ信号中の対応する入力ＨＤＲ画像における輝度及び色度ＨＤＲ符号語／値に近似する（例えば、密接に、様々な品質レベルで、など）。入力ＨＤＲ信号も再構成ＨＤＲ信号もコーディングされたビットストリーム中にエンコードされない。むしろ、カスケード予測操作の複数の組などの後方再成形マッピングを規定する画像メタデータ（または構成メタデータ）が、コーディングされたビットストリーム中に含まれる。コーディングされたビットストリームからＨＤＲ画像をデコードする代わりに、受信するデコーダまたは再生デバイスは、ＳＤＲ画像をデコードし、ＳＤＲ画像に後方再成形マッピングを適用することによって、ＳＤＲ画像から再構成ＨＤＲ画像を生成する。
【0156】
限定ではないが、一例として、第１の後方予測子または予測操作は、以下のように、ＣＤＦマッチング技術から構築された第１の輝度後方予測子（例えば、関数、曲線、ルックアップ表、ＢＬＵＴなど）を含む。
【数148】
ここで、
【数149】
は、第１の輝度後方予測子によって出力された第１の予測輝度符号語／値を表す。
【0157】
第１の予測輝度符号語／値と、第１の予測輝度符号語／値によって近似される入力ＨＤＲ信号中の標的輝度符号語／値
【数150】
との間の予測誤差は、逆カスケード演算（それは、輝度固有、第１段階固有、エンコーダ固有などであってもよい）を使用して、以下のように生成され得る。
【数151】
【0158】
予測誤差は、以下のように、第２の後方予測子または予測操作におけるＭＭＲマッピングなどの第２の輝度後方予測子を用いて予測または近似される予測標的値として使用され得る。
【数152】
【0159】
輝度チャネルの最終予測値
【数153】
は、第１および第２の輝度後方予測子の両方によって出力された予測値を、以下のように合計することによって生成され得る。
【数154】
【0160】
同様に、後方（再成形）経路において、色度チャネルＣｂ／Ｃ０およびＣｒ／Ｃ１について、第１の後方予測子または予測操作は、以下のように、第１の色度後方予測子を含む。
【数155】
ここで、
【数156】
は、色度チャネルに対して単一段階ＭＭＲ操作に基づいた第１の予測色度値を示す。
【0161】
第１の予測色度符号語／値
【数157】
と、第１の予測色度符号語／値によって近似される基準（又は標的）ＨＤＲ信号中の標的色度符号語／値
【数158】
との間の予測誤差は、各色度チャネルに対して、逆カスケード演算（それは、輝度固有、第１段階固有、エンコーダ固有などであってもよい）を使用して、以下のように生成され得る。
【数159】
【0162】
予測誤差は、（使用される総段階数の種類、使用される構成概念、マッピングおよび関数の次数、操作、入力変数の総数、入力変数の種類などに関して第１の色度後方予測子で使用されるものよりも）高度なＭＭＲマッピングなどの第２の色度後方予測子を使用して、第２の後方予測子または予測操作において、以下のように予測または近似される予測標的値として使用され得る。
【数160】
【0163】
色度チャネルについての最終的な予測値
【数161】
は、第１および第２の色度後方予測子の両方によって出力された予測値を、以下のように合計することによって生成される。
【数162】
【0164】
最終的な予測輝度および色度値
【数163】
は、カスケード予測係数の複数の組を含む画像メタデータ（または構成メタデータ）を受信する受信デバイスによって生成されることに留意されたい。カスケード予測係数の複数の組は、第１の輝度及び色度後方予測子
【数164】
を規定する第１の組と、第２の輝度及び色度後方予測子
【数165】
を規定する第２の組を含む。これらの後方予測子は、受信デバイスによって、コーディングされたビットストリームからデコードされた（ＳＤＲ符号語／値
【数166】
を含む）デコードされたＳＤＲ画像に適用されて、再構成ＨＤＲ画像に対する最終的な予測輝度値及び色度値
【数167】
を生成し得る。
像に対して適用され得る。
【0165】
いくつかの操作シナリオでは、画像メタデータの時間的安定性を維持する目的で、画像メタデータの後方再成形マッピングを計算／生成／含める際に、線形セグメントベースの構造を使用することができる。例示的な線形セグメントベースの構造は、２０１８年１月４日に公開された米国特許出願公開第２０１８／０００７３５６号に記載されており、その全体の内容は、本明細書に完全に記載されているかのように、参照により本明細書に組み込まれる。
【0166】
本明細書に記載されるいくつかのまたは全ての技術は、放送ビデオアプリケーション、リアルタイムストリーミングアプリケーションなどのための適切なカラーグレードのビデオコンテンツを生成するために、リアルタイム操作の一部として実装および／または実行することができる。さらに、任意にまたは代替として、本明細書に記載されるいくつかのまたは全ての技術を、時間遅延またはオフライン操作の一部として実装および／または実行されて、非リアルタイムストリーミングアプリケーション、シネマアプリケーションなどのための適切なカラーグレードのビデオコンテンツを生成することができる。
【0167】
プロセス・フローの例
図4Aは、ある実施形態による例示的なプロセス・フローを示す。いくつかの実施形態では、一つまたは複数の計算デバイスまたはコンポーネント（たとえば、エンコードデバイス/モジュール、トランスコードデバイス/モジュール、デコードデバイス/モジュール、逆トーンマッピングデバイス/モジュール、トーンマッピングデバイス/モジュール、メディアデバイス/モジュール、逆マッピング生成および適用システムなど）が、このプロセス・フローを実行してもよい。ブロック402において、画像処理システムは、第１の予測子を、第１のドメインでコーディングされた入力画像に適用し、第１のドメインとは異なる第２のドメインでコーディングされた予測標的画像の予測標的符号語に近似する第１段階の予測符号語を生成する。
【0168】
ブロック404において、画像処理システムは、第２段階の予測標的値を、予測標的符号語と第１段階の予測符号語に対して逆カスケード演算を行うことによって作成する。
【0169】
ブロック406において、画像処理システムは、第１のドメインでの入力画像に第２の予測子を適用し、第２段階の予測標的値に近似する第２段階の予測値を生成する。
【0170】
ブロック408において、画像処理システムは、カスケード予測係数の複数の組を生成する。カスケード予測係数の該複数の組は、第１の予測子を規定するカスケード予測係数の第１の組を含む。カスケード予測係数の該複数の組は、第２の予測子を規定するカスケード予測係数の第２の異なる組を含む。
【0171】
ブロック410において、画像処理システムは、カスケード予測係数の前記複数の組を、画像メタデータとしてビデオ信号内にエンコードする。ビデオ信号は、第1のドメインでの前記入力画像を以てさらにエンコードされる。ビデオ信号の受信デバイスは、前記複数の組のカスケード予測係数を使用して、第１の予測子および第２の予測子を入力画像に適用し、第２のドメインでの予測画像を生成する。第２のドメインでの予測画像は、第２のドメインでの予測標的画像に近似する。
【0172】
ある実施形態では、ビデオ信号は：単一層の後方互換信号または単一層の逆ディスプレイ管理信号のうちの1つを表し；第2のドメインは：第1のドメインよりも高いダイナミックレンジ、第1のドメインと同じダイナミックレンジ、または第1のドメインよりも低いダイナミックレンジのうちの1つを有する。
【0173】
ある実施形態では、第1の予測子および第2の予測子は、第1のドメインでの入力画像を第2のドメインでの予測画像にマッピングする全体的な後方再成形マッピングを表す。
【0174】
ある実施形態では、第1の予測子は、第1の輝度予測子および第1の色度予測子を含み；第2の予測子は、第2の輝度予測子および第2の色度予測子を含み；第1および第2の輝度予測子は、異なるタイプの輝度予測子であり、第1および第2の色度予測子は、異なるタイプの色度予測子である。
【0175】
ある実施形態では、第2の輝度予測子は、第1の輝度予測子よりも進歩している。
【0176】
ある実施形態では、第1の輝度予測子は、単一チャネル多項式予測子を表し；第2の輝度予測子は、多チャネル多変量多重回帰（MMR）予測子を表す。
【0177】
ある実施形態では、第2の色度予測子は、第1の色度予測子よりも進歩している。
【0178】
ある実施形態では、第1の色度予測子は、一次の多変量多重回帰（MMR）予測子を表し；第2の色度予測子は、一次よりも高い二次のMMR予測子を表す。
【0179】
ある実施形態では、第1のドメインでの入力画像は、第2のドメインでの予測標的画像に前方再成形マッピングを適用することによって生成される前方再成形画像である。
【0180】
ある実施形態では、前方再成形マッピングは、多段階カスケード予測に基づかないマッピング、または多段階カスケード予測に基づくマッピングのうちの1つを表す。
【0181】
ある実施形態では、カスケード予測は、算術加算演算、算術乗算演算、可逆算術演算、可逆関数演算、他の可逆演算などのうちの1つを表す。
【0182】
図4Bは、本発明のある実施形態による例示的なプロセス・フローを示す図である。いくつかの実施形態では、一つまたは複数の計算デバイスまたはコンポーネント（たとえば、エンコードデバイス/モジュール、トランスコードデバイス/モジュール、デコードデバイス/モジュール、逆トーンマッピングデバイス/モジュール、トーンマッピングデバイス/モジュール、メディアデバイス/モジュール、予測モデルおよび特徴選択システム、逆マッピング生成および適用システムなど）がこのプロセス・フローを実行してもよい。452では、ビデオデコードシステムが、ビデオ信号から、第１のドメインでコーディングされた入力画像をデコードする。
【0183】
454では、ビデオデコードシステムは、ビデオ信号から、カスケード予測係数の複数の組を含む画像メタデータをデコードする。
【0184】
カスケード予測係数の複数の組は、上流の画像処理デバイスによって生成されたものである。
【0185】
カスケード予測係数の複数の組は、第2のドメインでコーディングされた予測標的画像に少なくとも部分的に基づいて生成され、第1の予測子を規定する、カスケード予測係数の第1の組を含む。第1のドメインは、第2のドメインとは異なる。
【0186】
カスケード予測係数の複数の組は、第2のドメインでの予測標的画像に少なくとも部分的に基づいて生成され、第２の予測子を規定する、カスケード予測係数の第２の組を含む。
【0187】
456では、ビデオでコードシステムは、カスケード動作によって組み合わされた第１の予測子および第２の予測子を、第１のドメインでの入力画像に適用して、第２のドメインでの再構成画像を生成する。第２のドメインでの再構成画像は、第２のドメインでの予測標的画像に近似する。
【0188】
458では、ビデオデコードシステムは、第２のドメインでの再構成画像から導出された表示画像を、表示デバイスを用いて描画させる。
【0189】
ある実施形態では、表示デバイス、モバイル装置、セットトップボックス、マルチメディア装置などの計算デバイスが、前述の方法のいずれかを実行するように構成される。ある実施形態では、装置は、プロセッサを備え、前述の方法のいずれかを実行するように構成される。ある実施形態では、ソフトウェア命令を記憶する非一時的なコンピュータ読み取り可能な記憶媒体であって、該命令は、一つまたは複数のプロセッサによって実行されると、前述の方法のいずれかの実行を引き起こす。
【0190】
ある実施形態では、一つまたは複数のプロセッサと、該一つまたは複数のプロセッサによって実行されたときに前述の方法のいずれかの実行を引き起こす命令の組を記憶している一つまたは複数の記憶媒体とを備える計算装置。
【0191】
別個の諸実施形態が本明細書で議論されるが、本明細書で議論される実施形態および／または部分的実施形態の任意の組み合わせが、さらなる実施形態を形成するために組み合わされ得ることに留意されたい。
【0192】
コンピュータ・システム実装の例
本発明の実施形態は、コンピュータ・システム、電子回路およびコンポーネントにおいて構成されるシステム、集積回路（IC）デバイス、たとえばマイクロコントローラ、フィールド・プログラマブル・ゲート・アレイ（FPGA）、または他の構成可能またはプログラマブル・ロジック・デバイス（PLD）、離散時間またはデジタル信号プロセッサ（DSP）、特定用途向けIC（ASIC）、および／またはこれらのシステム、デバイスまたはコンポーネントの一つまたは複数を含む装置を用いて実装されうる。コンピュータおよび／またはICは、本明細書に記載されるような、拡張されたダイナミックレンジを有する画像の適応的な知覚量子化に関する命令を実行、制御、または執行することができる。コンピュータおよび／またはICは、本明細書に記載される適応的な知覚量子化プロセスに関連するさまざまなパラメータまたは値のいずれかを計算することができる。画像およびビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア、およびそれらのさまざまな組み合わせで実装することができる。
【0193】
本発明のある種の実装は、プロセッサに本開示の方法を実行させるソフトウェア命令を実行するコンピュータプロセッサを含む。たとえば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ等における一つまたは複数のプロセッサは、プロセッサにとってアクセス可能なプログラムメモリ内のソフトウェア命令を実行することによって、上述したようなHDR画像の適応的な知覚量子化に関連する方法を実装することができる。本発明の実施形態はまた、プログラム・プロダクトの形で提供されてもよい。プログラム・プロダクトは、データ・プロセッサによって実行されると、データ・プロセッサに本発明の実施形態の方法を実行させる命令を含む一組のコンピュータ読み取り可能な信号を担持する任意の非一時的媒体を含んでいてもよい。本発明の実施形態によるプログラム・プロダクトは、多種多様な形のいずれであってもよい。プログラム・プロダクトは、たとえば、フロッピーディスケット、ハードディスクドライブを含む磁気データ記憶媒体、CD-ROM、DVDを含む光データ記憶媒体、ROM、フラッシュRAMを含む電子的データ記憶媒体等の物理媒体を含むことができる。プログラム・プロダクト上のコンピュータ読み取り可能な信号は、任意的に圧縮または暗号化されてもよい。
【0194】
コンポーネント（たとえば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路等）が上記で言及されている場合、別段の指示がない限り、当該コンポーネントへの言及（「手段」への言及を含む）は、本発明の示されている例示的実施形態において機能を実行する開示された構造と構造的に等価でないコンポーネントを含む、記載されたコンポーネントの機能を実行する（たとえば、機能的に同等である）任意のコンポーネントを、その当該コンポーネントの等価物として含むものとして解釈されるべきである。
【0195】
ある実施形態によれば、本明細書に記載される技術は、一つまたは複数の特殊目的の計算デバイスによって実装される。特殊目的の計算デバイスは、技術を実行するために固定結線にされてもよく、または技術を実行するために永続的にプログラムされた一つまたは複数の特定用途向け集積回路（ASIC）またはフィールド・プログラマブル・ゲート・アレイ（FPGA）のようなデジタル電子装置を含んでいてもよく、またはファームウェア、メモリ、他の記憶装置、または組み合わせのプログラム命令に従って技術を実行するためにプログラムされた一つまたは複数の汎用ハードウェア・プロセッサを含んでいてもよい。そのような特殊目的の計算デバイスは、カスタムの固定結線ロジック、ASIC、またはFPGAに本技法を達成するカスタムプログラミングをもたせたものと組み合わせてもよい。特殊目的の計算デバイスは、デスクトップ・コンピュータ・システム、ポータブル・コンピュータ・システム、ハンドヘルド・デバイス、ネットワーキング・デバイス、またはこの技術を実施するために固定結線のおよび／またはプログラムのロジックを組み込んだ他の任意の装置であってもよい。
【0196】
たとえば、図5は、本発明のある実施形態が実装されうるコンピュータ・システム500を示すブロック図である。コンピュータ・システム500は、情報を通信するためのバス502または他の通信機構と、情報を処理するための、バス502と結合されたハードウェア・プロセッサ504とを含む。ハードウェア・プロセッサ504は、たとえば、汎用マイクロプロセッサであってもよい。
【0197】
コンピュータ・システム500はまた、プロセッサ504によって実行される情報および命令を記憶するためにバス502に結合された、ランダム・アクセス・メモリ（RAM）または他の動的記憶装置のようなメイン・メモリ506を含む。メイン・メモリ506はまた、プロセッサ504によって実行される命令の実行中に、一時変数または他の中間情報を記憶するために使用されてもよい。そのような命令は、プロセッサ504にとってアクセス可能な非一時的な記憶媒体に記憶されると、コンピュータ・システム500を、該命令において指定された動作を実行するようにカスタマイズされた専用マシンにする。
【0198】
コンピュータ・システム500は、さらに、プロセッサ504のための静的情報および命令を記憶するための、バス502に結合された読み出し専用メモリ（ROM）508または他の静的記憶装置を含む。情報および命令を記憶するために、磁気ディスクまたは光ディスクなどの記憶装置510が設けられ、バス502に結合される。
【0199】
コンピュータ・システム500は、バス502を介して、コンピュータユーザに情報を表示するための液晶ディスプレイのようなディスプレイ512に結合されうる。入力装置514は、英数字および他のキーを含み、情報およびコマンド選択をプロセッサ504に通信するためにバス502に結合される。別のタイプのユーザ入力装置は、方向情報およびコマンド選択をプロセッサ504に通信し、ディスプレイ512上のカーソルの動きを制御するための、マウス、トラックボール、またはカーソル方向キーなどのカーソル制御装置516である。この入力装置は、典型的には、第1の軸（たとえば、x）および第2の軸（たとえば、y）の2つの軸における2つの自由度を有し、装置が平面内の位置を指定することを許容する。
【0200】
コンピュータ・システム500は、カスタマイズされた固定結線ロジック、一つまたは複数のASICまたはFPGA、ファームウェア、および／またはプログラム・ロジックを使用して、本明細書に記載の技術を実装することができ、これらは、コンピュータ・システムと組み合わさって、コンピュータ・システム500を特殊目的の機械にするか、またはプログラムする。ある実施形態によれば、本明細書に記載される技術は、プロセッサ504がメイン・メモリ506に含まれる一つまたは複数の命令の一つまたは複数のシーケンスを実行することに応答して、コンピュータ・システム500によって実行される。そのような命令は、記憶装置510のような別の記憶媒体からメイン・メモリ506に読み込まれてもよい。メイン・メモリ506に含まれる命令のシーケンスの実行により、プロセッサ504は、本明細書に記載のプロセスステップを実行する。代替的な実施形態では、固定結線回路が、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて使用されてもよい。
【0201】
本明細書で使用される用語「記憶媒体」は、機械を特定の仕方で動作させるデータおよび／または命令を記憶する任意の非一時的な媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含んでいてもよい。不揮発性媒体は、たとえば、記憶装置510のような光ディスクまたは磁気ディスクを含む。揮発性媒体は、メイン・メモリ506のようなダイナミック・メモリを含む。記憶媒体の一般的な形態は、たとえば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または他の任意の磁気データ記憶媒体、CD-ROM、他の任意の光学式データ記憶媒体、穴のパターンを有する任意の物理的媒体、RAM、PROM、およびEPROM、FLASH-EPROM、NVRAM、他の任意のメモリチップまたはカートリッジを含む。
【0202】
記憶媒体は、伝送媒体とは区別されるが、伝送媒体との関連で使用することができる。伝送媒体は、記憶媒体間の情報の転送に参加する。たとえば、伝送媒体は、バス502を構成するワイヤを含む、同軸ケーブル、銅線および光ファイバーを含む。伝送媒体は、また、電波および赤外線データ通信の間に生成されるような光波または音響波の形をとることができる。
【0203】
一つまたは複数の命令の一つまたは複数のシーケンスを実行のためにプロセッサ504に搬送することには、さまざまな形の媒体が関与し得る。たとえば、命令は、最初、遠隔コンピュータの磁気ディスクまたはソリッドステートドライブ上で担持されてもよい。遠隔コンピュータは、命令をそのダイナミック・メモリにロードし、モデムを使用して電話回線を介して命令を送信することができる。コンピュータ・システム500にローカルなモデムは、電話線上でデータを受信し、赤外線送信機を使用して、該データを赤外線信号に変換することができる。赤外線検出器は、赤外線信号内で搬送されるデータを受信することができ、適切な回路が該データをバス502上に載せることができる。バス502はデータをメイン・メモリ506に搬送し、そこからプロセッサ504が命令を取り出して実行する。メイン・メモリ506によって受信された命令は、任意的に、プロセッサ504による実行の前または後のいずれかで、記憶装置510上に記憶されうる。
【0204】
コンピュータ・システム500はまた、バス502に結合された通信インターフェース518を含む。通信インターフェース518は、ローカル・ネットワーク522に接続されたネットワーク・リンク520への双方向データ通信結合を提供する。たとえば、通信インターフェース518は、統合サービス・デジタル・ネットワーク（ISDN）・カード、ケーブル・モデム、衛星モデム、または対応するタイプの電話回線にデータ通信接続を提供するモデムであってもよい。別の例として、通信インターフェース518は、データ通信接続を互換性のあるLANに提供するためのローカルエリアネットワーク（LAN）カードであってもよい。また、無線リンクが実装されてもよい。いずれかのそのような実装では、通信インターフェース518は、種々のタイプの情報を表すデジタル・データ・ストリームを搬送する電気信号、電磁信号、または光信号を送受信する。
【0205】
ネットワーク・リンク520は、典型的には、一つまたは複数のネットワークを通じて他のデータ装置へのデータ通信を提供する。たとえば、ネットワーク・リンク520は、ローカル・ネットワーク522を通じて、ホスト・コンピュータ524への、またはインターネット・サービス・プロバイダー（ISP）526によって運営されるデータ設備への接続を提供することができる。ISP 526は、現在一般に「インターネット」528と呼ばれている世界規模のパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカル・ネットワーク522およびインターネット528は両方とも、デジタル・データ・ストリームを搬送する電気信号、電磁信号または光信号を使用する。コンピュータ・システム500との間でデジタル・データを搬送する、種々のネットワークを介する信号およびネットワーク・リンク520上および通信インターフェース518を介する信号は、伝送媒体の例示的な形態である。
【0206】
コンピュータ・システム500は、ネットワーク、ネットワーク・リンク520および通信インターフェース518を介して、メッセージを送信し、プログラム・コードを含むデータを受信することができる。インターネットの例では、サーバー530は、インターネット528、ISP 526、ローカル・ネットワーク522、および通信インターフェース518を介して、アプリケーション・プログラムのための要求されたコードを送信することができる。
【0207】
受信されたコードは、それが受信されたときにプロセッサ504によって実行され、および／または後の実行のために記憶装置510、または他の不揮発性記憶装置に記憶される。
【0208】
同等物、拡張、代替およびその他
上記の明細書では、本発明の実施形態が、実装ごとに異なる可能性のある多数の具体的詳細を参照して、説明されてきた。よって、何が本発明の特許請求される実施形態であり、出願人によって本発明の特許請求される実施形態であると意図されているかの唯一かつ排他的な指標は、任意のその後の訂正も含めて、請求項が特許される特定の形での、この出願に対して発行される請求項のセットである。そのような請求項に含まれる用語について本明細書に明示的に記載される定義は、当該請求項において使用される用語の意味を支配するものとする。よって、請求項に明示的に記載されていない限定、要素、特性、特徴、利点または属性は、そのような請求項の範囲をいかなる仕方であれ限定すべきではない。よって、本明細書および図面は、制約する意味ではなく例示的な意味に考えられるべきである。
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図1F】
【図2A】
【図2B】
【図2C】
【図2D】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
Copyright © 2010-2025 Science Impact Inc. All Rights Reserved.