知財求人 - 知財ポータルサイト「IP Force」
▶ ドルビー ラボラトリーズ ライセンシング コーポレイションの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-16
(45)【発行日】2023-11-27
(54)【発明の名称】テンソル積Ｂスプライン予測子
(51)【国際特許分類】
H04N 19/70 20140101AFI20231117BHJP
H04N 19/50 20140101ALI20231117BHJP
【ＦＩ】
H04N19/70
H04N19/50
【請求項の数】
20
(21)【出願番号】P 2022520205
(86)(22)【出願日】2020-09-29
(65)【公表番号】
(43)【公表日】2022-11-30
(86)【国際出願番号】 US2020053172
(87)【国際公開番号】W WO2021067204
(87)【国際公開日】2021-04-08
【審査請求日】2022-05-30
(31)【優先権主張番号】19200793.8
(32)【優先日】2019-10-01
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】62/908,770
(32)【優先日】2019-10-01
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】507236292
【氏名又は名称】ドルビー ラボラトリーズ ライセンシング コーポレイション
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】スゥ，グワン－ミーン
(72)【発明者】
【氏名】カドゥ，ハルシャド
(72)【発明者】
【氏名】ソーン，チーン
(72)【発明者】
【氏名】ガドジル，ニーラージ ジェイ．
【審査官】田中 純一
(56)【参考文献】
【文献】特表２０１５－５０３８７３（ＪＰ，Ａ）
【文献】特表２０１４－５２０４１４（ＪＰ，Ａ）
【文献】特表２００９－５２４３７１（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１４／００８６３２１（ＵＳ，Ａ１）
【文献】Cheung Auyeung 1730 N. First Street San Jose, CA 95112, USA，Color gamut scalable video coding with piecewise linear predictions and shift-offset model[online]， JCTVC-N JCTVC-N0271_r1，インターネット＜URL:http://phenix.it-sudparis.eu/jct/doc_end_user/documents/14_Vienna/wg11/JCTVC-N0271-v2.zip＞，2013年07月27日，pp.1-6
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００ － １９／９８
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
ソースカラーグレードの１つ以上のソース画像におけるソース画像データから、１つ以上のマッピングされた画像の少なくとも１つのカラーチャンネルの予測画像データを生成するために予測パラメータのセットを生成することであって、該１つ以上のマッピングされた画像は、Ｍ個（Ｍ＞１）のカラーチャンネルを含み、前記少なくとも１つのカラーチャンネルのための前記予測パラメータのセットを生成することは、
Ｂスプライン基底関数のＭ個のセットのテンソル積に対応するテンソル積Ｂスプライン（ＴＰＢ）基底関数のセットを決定することと、
前記ソースカラーグレードの前記１つ以上のソース画像における前記ソース画像データから前記１つ以上のマッピングされた画像の前記少なくとも１つのカラーチャンネルの予測画像データを生成するために、前記ＴＰＢ基底関数のセットと共に用いられるべき選択されたＴＰＢ予測パラメータのセットを、前記少なくとも１つのカラーチャンネルのための前記予測パラメータのセットとして生成することであって、該選択されたＴＰＢ予測パラメータのセットは、前記１つ以上のマッピングされた画像の前記少なくとも１つのカラーチャンネルの予測画像データと、参照カラーグレードの１つ以上の参照画像における参照画像データとの間の差を最小化することによって生成され、該１つ以上の参照画像は前記１つ以上のソース画像に対応し、前記１つ以上のソース画像によって描写されるものと同じ視覚コンテンツを描写する、ことと、
を含む、ことと、
前記選択されたＴＰＢ予測パラメータのセットを、前記１つ以上のソース画像におけるソース画像データと共に画像メタデータの一部としてビデオ信号にエンコードし、該ビデオ信号の受信装置で前記１つ以上のマッピングされた画像の再構築及びレンダリングを可能にすることと、
を含む方法。
【請求項2】
前記ＴＰＢ基底関数のセットを決定することは、前記Ｍ個のカラーチャンネルのそれぞれのためにＢスプライン基底関数のセットを決定することと、
前記ＴＰＢ基底関数のセットを、Ｂスプライン基底関数のセットのそれぞれのテンソル積として決定することと、
を含む、請求項１に記載の方法。
【請求項3】
前記ソース画像データ又は前記参照画像データの少なくとも１つは、色空間のサブサンプリング形式で表される、請求項１又は２に記載の方法。
【請求項4】
前記１つ以上のソース画像は、メディアプログラムにおける視覚シーンを構成する画像、スライディングウィンドウ内で選択される画像又は線形セグメント内で選択される画像のうちの１つを表す、請求項１乃至３のいずれかに記載の方法。
【請求項5】
前記Ｂスプライン基底関数のセットのうちの少なくとも１つは、特定の次数のＢスプライン基底関数の完全なセットを表す、請求項１乃至４のいずれかに記載の方法。
【請求項6】
前記Ｂスプライン基底関数のセットのそれぞれは、均一に分布するノット点のセットを用いて生成される、請求項１乃至５のいずれかに記載の方法。
【請求項7】
前記Ｂスプライン基底関数のセットのそれぞれは、打ち切り多項式を用いて生成される、請求項１乃至６のいずれかに記載の方法。
【請求項8】
前記Ｍ個のカラーチャンネルのそれぞれのために選択されたＴＰＢ予測パラメータのセットが生成され、少なくとも２つのカラーチャンネルの前記選択されたＴＰＢ予測パラメータのセットは、同じＴＰＢ基底関数のセットを用いて生成される、請求項１乃至７のいずれかに記載の方法。
【請求項9】
前記選択されたＴＰＢ予測パラメータのセットと前記ＴＰＢ基底関数のセットとの組み合わせは、前記１つ以上のマッピングされた画像における前記予測画像データを生成するためのクロスチャンネル予測子を表す、請求項１乃至８のいずれかに記載の方法。
【請求項10】
前記ＴＰＢ予測パラメータのセットは複数のマッピング対を用いて生成され、該複数のマッピング対のそれぞれは、前記ソース画像データから生成された１つ以上のソース符号語の第１のアレイと、前記参照画像データから生成された１つ以上の参照符号語の第２のアレイとを含む、請求項１乃至９のいずれかに記載の方法。
【請求項11】
前記複数のマッピング対は、３次元マッピングテーブル（３ＤＭＴ）に基づいて生成される、請求項１０に記載の方法。
【請求項12】
前記ソース画像の画素のソース符号語は固定数のビンに分割され、該ビンのそれぞれについて、それぞれの前記ビンにおける前記ソース画像の画素に対応する参照画像の画素の参照符号語の平均が計算され、前記第１のアレイは、前記ソース符号語のビンの中心値を含み、前記第２のアレイは、前記参照符号語の対応する計算された平均を含む、請求項１０又は１１に記載の方法。
【請求項13】
第１のカラーグレードの、Ｍ個（Ｍ＞１）のカラーチャンネルを含む１つ以上の第１の画像を、ビデオ信号からデコーディングすることと、Ｂスプライン基底関数のＭ個のセットのテンソル積に対応するＴＰＢ基底関数のセットにアクセスすることと、
テンソル積Ｂスプライン（ＴＰＢ）基底関数のセットと乗算するための選択されたテンソル積Ｂスプライン（ＴＰＢ）予測パラメータのセットを含む画像メタデータを、前記ビデオ信号からデコーディングすることと、
前記ＴＰＢ基底関数のセットと共に前記ＴＰＢ予測パラメータのセットを用いて、前記１つ以上の第１の画像から１つ以上のマッピングされた画像を生成することと、
前記１つ以上のマッピングされた画像から導出された１つ以上の表示画像がディスプレイ装置でレンダリングされるようにすることと、
を含む方法。
【請求項14】
複数のＢスプライン基底関数出力値を生成することと、前記複数のＢスプライン基底関数出力値にクロス積演算を適用して複数のＴＰＢ基底関数出力値を生成することにより、複数のＴＰＢ基底関数出力値のセットを生成することと、
前記ビデオ信号からデコードされた前記ＴＰＢ予測パラメータのセットを、前記複数のＴＰＢ基底関数出力値のセットで乗算して、予測符号語のセットを生成することと、
をさらに含む、請求項１３に記載の方法。
【請求項15】
複数のＢスプライン基底関数出力値を生成することは、複数のＢスプライン基底関数における各Ｂスプライン基底関数について、各Ｂスプライン基底関数を表すために打ち切り多項式で用いるべきノット点及び対応する倍数因子を決定することと、
前記１つ以上の第１の画像におけるデコードされた符号語を前記打ち切り多項式の入力として用いて、各Ｂスプライン基底関数のための出力値を生成することと、
を含む、請求項１４に記載の方法。
【請求項16】
前記複数のＢスプライン基底関数出力値をローカルレジスタに記憶することと、前記ＴＰＢ基底関数における各ＴＰＢ基底関数について、前記複数のＢスプライン基底関数出力値のうちの、色空間の各チャンネルにおける（ｎ＋１）個の非ゼロＢスプライン基底関数出力値を特定することであって、ｎは、前記複数のＢスプライン基底関数の次数を示す、ことと、
前記（ｎ＋１）個の非ゼロＢスプライン基底関数出力値を入力の一部として用いて、前記１つ以上の第１の画像におけるデコードされた符号語から、各ＴＰＢ基底関数のための出力値を生成することと、
をさらに含む、請求項１４に記載の方法。
【請求項17】
前記１つ以上の第１の画像における各デコードされた符号語について、前記１つ以上のマッピングされた画像における出力符号語を、前記出力符号語をゼロに開始することと、
前記ＴＰＢ基底関数における各ＴＰＢ基底関数について、
色空間の３つのチャンネルにおける各チャンネルのために（ｎ＋１）個の非ゼロＢスプライン基底関数出力値を生成することにより、（ｎ＋１）個の非ゼロＢスプライン基底関数出力値の３つのセットを生成することであって、ｎは前記複数のＢスプライン基底関数の次数を示す、ことと、
（ｎ＋１）個の非ゼロＢスプライン基底関数出力値の３つのセットにクロス積演算を適用して、前記１つ以上の画像における前記デコードされた符号語からＴＰＢ基底関数出力値を生成することと、
前記ＴＰＢ基底関数出力値に前記ＴＰＢ予測パラメータのセットにおける対応する予測パラメータを乗算することにより積を生成することと、
前記積を前記出力符号語に加えることと、
を行うことと、
を行うことにより、生成すること、
をさらに含む、請求項１４に記載の方法。
【請求項18】
前記選択されたＴＰＢ予測パラメータのセットはコーディングシンタックスにおいて複数の重み係数としてエンコードされ、該コーディングシンタックスは、前記ＴＰＢ基底関数のセットにおける対応するＴＰＢ基底関数のために、前記複数の重み係数におけるそれぞれの重み係数を運ぶのをサポートする、請求項１３乃至１７のいずれかに記載の方法。
【請求項19】
プロセッサを含み、請求項１乃至１８に記載の方法のいずれか１つを行うように構成された装置。
【請求項20】
請求項１乃至１８に記載の方法のいずれかに従って方法を実行するためのコンピュータ実行可能命令が記憶された非一時的コンピュータ読み取り可能記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本願は、２０１９年１０月１日に出願された米国仮特許出願第６２／９０８７７０号及び２０１９年１０月１日に出願された欧州特許出願第１９２００７９３．８号の優先権を主張し、該出願のそれぞれは、参照によりその全体が本明細書に組み込まれる。
本願は、２０１９年１０月１日に出願された米国仮特許出願第６２／９０８７７０号及び２０１９年１０月１日に出願された欧州特許出願第１９２００７９３．８号の優先権を主張し、該出願のそれぞれは、参照によりその全体が本明細書に組み込まれる。
【0002】
本開示は概して画像に関する。より具体的には、本開示の一実施形態はテンソル積Ｂスプライン予測子に関する。
【背景技術】
【0003】
本明細書で用いる「ダイナミックレンジ」（ＤＲ）という用語は、例えば最も暗い黒（ダーク）から最も明るい白（ハイライト）までの画像における強度の範囲（例えば、ルミナンス、ルーマ）を知覚するための人間の視覚システム（ＨＶＳ）の能力に関連し得る。この意味では、ＤＲは「シーン参照」強度に関する。ＤＲは、特定の幅の強度範囲を適切に又はおおよそにレンダリングするディスプレイ装置の能力にも関連し得る。この意味では、ＤＲは「ディスプレイ参照」強度に関する。本明細書の説明のいずれかの時点で特定の意味が格別な重要性を有すると明示的に規定されていない限り、この用語はいずれの意味でも、例えば同義で用いられ得ると推定されるべきである。
【0004】
本明細書で用いる、高ダイナミックレンジ（ＨＤＲ）という用語は、人間の視覚システム（ＨＶＳ）のおよそ１４～１５桁以上に及ぶＤＲ幅に関する。実際には、人間が強度範囲において同時に知覚する広い範囲を知覚できるＤＲは、ＨＤＲとの関係でいくぶん短縮されていることがある。本明細書で用いる強化ダイナミックレンジ（ＥＤＲ）又は視覚ダイナミックレンジ（ＶＤＲ）という用語は、個別に又は互換的にシーン又は画像にわたる光縦横変化を許容して、目の動きを含む人間の視覚システム（ＨＶＳ）によってシーン又は画像内で知覚可能なＤＲに関連してもよい。本明細書で用いるように、ＥＤＲは、５～６桁の大きさのＤＲに関し得る。そのため、ＨＤＲとの関連では多少狭いが、ＥＤＲは広いＤＲ幅を表し、ＨＤＲと呼ばれることもある。
【0005】
実際に、画像は、色空間の１つ以上の色成分（例えば、ルーマＹ、クロマＣｂ及びＣｒ）を含み、各色成分は画素当たりｎビット（例えば、ｎ＝８）の精度によって表される。非線形輝度コーディング（例えば、ガンマエンコーディング）を用いて、ｎ≦８（例えば、カラー２４ビットＪＰＥＧ画像）の画像は標準ダイナミックレンジの画像とみなされ、ｎ＞８の画像は強化ダイナミックレンジの画像とみなされ得る。
【0006】
所与のディスプレイのための参照電気光伝達関数（ＥＯＴＦ）は、入力ビデオ信号の明度（例えば、輝度）とディスプレイによって生成されるスクリーン明度（例えば、スクリーン輝度）との間の関係を特徴付ける。例えば、その全体が参照により本願に組み込まれるＩＴＵ勧告ＩＴＵ－Ｒ ＢＴ．１８８６「ＨＤＴＶスタジオ制作で用いられるフラットパネルディスプレイのための参照電気光伝達関数（Reference electro-optical transfer function for flat panel displays）」（２０１１年３月）は、フラットパネルディスプレイのための参照ＥＯＴＦを定義する。ビデオストリームが与えられた場合、そのＥＯＴＦに関する情報は（画像）メタデータとしてビットストリームに埋め込まれ得る。本明細書では、「メタデータ」という用語は、コード化ビットストリームの一部として送信される任意の補助情報に関し、デコーダがデコードされた画像をレンダリングするのを支援する。そのようなメタデータは、本明細書に記載されるように、限定されないが、色空間又は色域情報、参照ディスプレイパラメータ及び補助信号パラメータを含み得る。
【0007】
本明細書で用いる「ＰＱ」という用語は知覚的な輝度振幅（luminance amplitude）の量子化をいう。人間の視覚システムは、光レベルの増大に対して非常に非線形的に反応する。人間が刺激を見る能力は、その刺激の輝度、その刺激の大きさ、その刺激を構成する空間周波数及びその刺激を見ている特定の瞬間までに目が適応した輝度レベルに影響される。一部の実施形態では、知覚的量子化器関数は、線形入力グレイレベルを、人間の視覚システムにおけるコントラスト感度閾値によりマッチした出力グレイレベルにマッピングする。例示のＰＱマッピング関数は、その全体が参照により本願に組み込まれる、ＳＭＰＴＥ ＳＴ ２０８４：２０１４「リファレンスディスプレイをマスタリングする高ダイナミックレンジＥＯＴＦ（High Dynamic Range EOTF of Mastering Reference Display）」（以下、「ＳＭＰＴＥ」という）に記載されている。ここでは、ある固定刺激サイズに対して、それぞれの輝度レベル（即ち、刺激レベル等）について、最高感度の適応レベル及び最高感度の空間周波数（ＨＶＳモデルによる）に応じて、その輝度レベルにおける最小可視コントラストステップが選択される。
【0008】
２００～１０００ｃｄ／ｍ２又はニトの輝度をサポートするディスプレイは、ＥＤＲ（又はＨＤＲ）に関して、標準ダイナミックレンジ（ＳＤＲ）とも呼ばれる、より低いダイナミックレンジ（ＬＤＲ）を典型的に示す。ＥＤＲコンテンツは、より高いダイナミックレンジ（例えば、１０００ニト～５０００ニト以上）をサポートするＥＤＲディスプレイに表示され得る。そのようなディスプレイは、高輝度能力（例えば、０～１００００ニト以上）をサポートする代替的なＥＯＴＦを使用して定義され得る。そのようなＥＯＴＦの例は、ＳＭＰＴＥ２０８４及び勧告ＩＴＵ－Ｒ ＢＴ．２１００「制作及び国際番組交換で用いるためのハイダイナミックレンジテレビの画像パラメータ値（Image parameter values for high dynamic range television for use in production and international programme exchange）」（２０１７年６月）で定義されている。本発明者らがここで理解するように、広範なＳＤＲ及びＨＤＲディスプレイ装置の表示能力をサポートするために用いることが可能なビデオコンテンツデータを構成するための改良された技術が望まれている。
【0009】
本節で説明するアプローチは、追求でき得るアプローチであるが、以前に着想されるか又は追求されたアプローチでは必ずしもない。したがって、別段表示がない限り、本節で説明するいずれかの手法は、単に本節に含まれているという理由のみで先行技術であるとみなすべきではない。同様に、１つ以上のアプローチに関して特定された問題は、別段表示がない限り、本節に基づいて何らかの先行技術で認識されてものと仮定すべきではない。
【図面の簡単な説明】
【0010】
添付の図面の図において、本発明の一実施形態が限定としてではなく例示として記載され、同様の参照番号は同様の要素を表す。
【発明を実施するための形態】
【0011】
以下の説明では、説明の目的のために、本開示の完全な理解を提供するために、多数の特定の詳細が記載されている。しかしながら、本開示はこれらの具体的な詳細なしに実施され得ることは明らかであろう。他の場合では、本開示を不必要に閉塞、不明瞭化又は曖昧化を避けるために、周知の構造及び装置は、包括的な詳細に記載していない。
【0012】
概要
本明細書では、テンソル積Ｂスプライン（ＴＰＢ）予測子を説明する。本明細書で説明する技術は、ビデオコンテンツ処理パイプラインにおいて予測動作を行い、下流のビデオコンテンツプロセッサが、第１のダイナミックレンジ（例えば、ＨＤＲ、ＳＤＲ等）のビデオコンテンツをビデオ信号で運ばれる第２の異なるダイナミックレンジ（例えば、ＳＤＲ、ＨＤＲ等）のデコードされたビデオコンテンツから再構成することができるように上流ビデオコンテンツプロセッサを用いてコンポーザーメタデータ（composer metadata）を作成するために用いることができる。一部の動作シナリオでは、コンポーザーメタデータは、単一チャンネルルーマ予測子及び単一の（例えば、可能な入力ルミナンス及びクロミナンス符号語の一部又は全てに適用可能な）多チャンネル多重回帰（ＭＭＲ）クロマ予測子を用いて作成され得る。単一チャンネルルーマ予測子は、同じ輝度を有するピクセルに対する彩度を制限し得る。単一のＭＭＲは、グローバルマッピングを適用することにより局所的な色の予測を制限する。これらの制限は、再構成又はマッピングされた画像（mapped image）の精度を低下させ、色の精度をより不正確にし、カラーチャート（例えば、表現又は測定される全ての可能な色の一部又は全てを含む）の一部の部分（例えば、鮮やかな色、高度に飽和した色等）について比較的大きな色差を生じさせ得る。例示の単一チャンネルルーマ予測及びＭＭＲクロマ予測動作は、２０１８年１２月１８日に出願された米国仮特許出願第６２／７８１１８５号に記載されており、その内容の全体は、それが本明細書に完全に記載されているかのように参照により本願に組み込まれる。
本明細書では、テンソル積Ｂスプライン（ＴＰＢ）予測子を説明する。本明細書で説明する技術は、ビデオコンテンツ処理パイプラインにおいて予測動作を行い、下流のビデオコンテンツプロセッサが、第１のダイナミックレンジ（例えば、ＨＤＲ、ＳＤＲ等）のビデオコンテンツをビデオ信号で運ばれる第２の異なるダイナミックレンジ（例えば、ＳＤＲ、ＨＤＲ等）のデコードされたビデオコンテンツから再構成することができるように上流ビデオコンテンツプロセッサを用いてコンポーザーメタデータ（composer metadata）を作成するために用いることができる。一部の動作シナリオでは、コンポーザーメタデータは、単一チャンネルルーマ予測子及び単一の（例えば、可能な入力ルミナンス及びクロミナンス符号語の一部又は全てに適用可能な）多チャンネル多重回帰（ＭＭＲ）クロマ予測子を用いて作成され得る。単一チャンネルルーマ予測子は、同じ輝度を有するピクセルに対する彩度を制限し得る。単一のＭＭＲは、グローバルマッピングを適用することにより局所的な色の予測を制限する。これらの制限は、再構成又はマッピングされた画像（mapped image）の精度を低下させ、色の精度をより不正確にし、カラーチャート（例えば、表現又は測定される全ての可能な色の一部又は全てを含む）の一部の部分（例えば、鮮やかな色、高度に飽和した色等）について比較的大きな色差を生じさせ得る。例示の単一チャンネルルーマ予測及びＭＭＲクロマ予測動作は、２０１８年１２月１８日に出願された米国仮特許出願第６２／７８１１８５号に記載されており、その内容の全体は、それが本明細書に完全に記載されているかのように参照により本願に組み込まれる。
【0013】
一部の動作シナリオでは、本明細書で説明するＴＰＢ予測子は、下流ビデオコンテンツプロセッサが、より良好な画質及び比較的高い色精度の画像を再構築できるように、上位ビデオコンテンツプロセッサによりコンポーザーメタデータを生成するためにビデオコンテンツ処理パイプラインで用いられ得る。
【0014】
Ｂスプラインは、特定の次数の連続性制約（continuity constraint）を有する多項式を用いて、その所与の曲線又はセグメントを近似するための特性を有する。Ｂスプラインは、単にＢスプラインモデルの上にデータフィッティングを行うことにより回帰処理で用いることができる。ビデオ処理における複数の入力変数の比較的高い次元性を捕らえるために、テンソル積Ｂスプライン（又はＴＰＢ）は、複数の入力変数をターゲット値（又は出力変数）に相互に関連付けるマッピング、曲線等の比較的高い次元の近似を得るために、複数のＢスプライン関数を共に乗算することによって規定できる。コンポーザーメタデータを生成するための単一チャンネル輝度予測子と単一のＭＭＲとの組み合わせと比較して、ＴＰＢを用いてコンポーザーメタデータを生成することは、おそらく異なるダイナミックレンジの異なるカラーグレード間の変換をモデル化するためのより良いツールを提供する。加えて、任意で又は代替的に、本質的に連続曲線を提供する（特定の次数までの連続性を保証する固有の能力による）ためにＴＰＢを用いることができるため、予測、変換及び／又はマッピングの初期生成後の曲線適合動作を回避又は大幅に低減できる。例えば、単一チャンネル輝度予測子に適用される複数の多項式ピースにおける連続性を保証する計算集約的多項式近似アルゴリズムは、本明細書で説明する技術の下で回避できる。
【0015】
ＴＰＢ予測は、シーンベースの場合及び線形ベースの場合等の異なるエンコーディングシナリオで用いられ得る。３次元マッピングテーブル（３ＤＭＴ）技術は、視覚的に知覚可能なカラーアーチファクトを低減するためにＴＰＢ予測と共に用いることができる。実験結果は、予測精度がルーマの場合で１０～４０倍、クロマの場合で１～４倍改善できることを示す。
【0016】
本明細書で説明する例示の実施形態は、画像再構成のためにＴＰＢ予測パラメータを生成及びエンコードすることに関する。テンソル積Ｂスプライン（ＴＰＢ）基底関数のセットが決定される。ＴＰＢ基底関数のセットと共に用いられる選択されたＴＰＢ予測パラメータのセットは、１つ以上のマッピングされた画像内の予測画像データをソースカラーグレードの１つ以上のソース画像内のソース画像データから生成するために生成される。選択されたＴＰＢ予測パラメータのセットは、１つ以上のマッピングされた画像内の予測画像データと、参照カラーグレードの１つ以上の参照画像における参照画像データとの間の差を最小化することによって生成される。１つ以上の参照画像は、１つ以上のソース画像に対応し、１つ以上のソース画像によって描写されるのと同じ視覚コンテンツを描写する。選択されたＴＰＢ予測パラメータのセットは、１つ以上のソース画像内のソース画像データと共に画像メタデータの一部としてビデオ信号にエンコードされる。１つ以上のマッピングされた画像は、ビデオ信号の受信装置で再構成され、レンダリングされる。
【0017】
本明細書で説明する例示の実施形態は、画像再構成及びレンダリングのためのＴＰＢ予測パラメータのデコーディングに関する。第１のカラーグレードの１つ以上の第１の画像がビデオ信号からデコードされる。テンソル積Ｂスプライン（ＴＰＢ）基底関数のセットと乗算するための選択されたＴＰＢ予測パラメータのセットを含む画像メタデータは、ビデオ信号からデコードされる。選択されたＴＰＢ予測パラメータのセットは、上流のビデオコンテンツプロセッサによって生成された。選択されたＴＰＢ予測パラメータのセットは、第１のカラーグレードの１つ以上の第１の画像における第１の画像データから１つ以上のマッピングされた画像における予測画像データを生成するために、ＴＰＢ基底関数のセットと共に用いられる。上流のビデオコンテンツプロセッサは、１つ以上のマッピングされた画像における予測画像データと、参照カラーグレードの１つ以上の参照画像における参照画像データとの間の差を最小化することにより、選択されたＴＰＢ予測パラメータのセットを生成した。１つ以上の参照画像は１つ以上の第１の画像に対応し、１つ以上の第１の画像によって描写されるのと同じ視覚コンテンツを描写する。ＴＰＢ予測パラメータのセットは、１つ以上の第１の画像から１つ以上のマッピングされた画像を生成するためにＴＰＢ基底関数のセットと共に用いられる。１つ以上のマッピング画像から導出された１つ以上の表示画像は、表示装置でレンダリングされる。
【0018】
例示のビデオ配信処理パイプライン
図１Ａは、ビデオキャプチャ／生成からＨＤＲ又はＳＤＲディスプレイまでの様々な段階を示す、ビデオ配信パイプライン（１００）の例示のプロセスを示す。ＨＤＲディスプレイの例としては、限定されないが、テレビ、モバイル装置、ホームシアター等と共に動作する画像ディスプレイが挙げられる。ＳＤＲディスプレイの例としては、限定されないが、ＳＤＲテレビ、モバイル装置、ホームシアターディスプレイ、ヘッドマウントディスプレイ装置、ウェアラブルディスプレイ装置等が挙げられる。
図１Ａは、ビデオキャプチャ／生成からＨＤＲ又はＳＤＲディスプレイまでの様々な段階を示す、ビデオ配信パイプライン（１００）の例示のプロセスを示す。ＨＤＲディスプレイの例としては、限定されないが、テレビ、モバイル装置、ホームシアター等と共に動作する画像ディスプレイが挙げられる。ＳＤＲディスプレイの例としては、限定されないが、ＳＤＲテレビ、モバイル装置、ホームシアターディスプレイ、ヘッドマウントディスプレイ装置、ウェアラブルディスプレイ装置等が挙げられる。
【0019】
ビデオフレーム（１０２）は、画像生成ブロック（１０５）を用いて取り込み又は生成される。ビデオフレーム（１０２）は、ビデオデータ（１０７）を提供するために（例えば、デジタルカメラによって）デジタル的に取りこまれ得るか又はコンピュータにより（例えば、コンピュータアニメーション等を用いて）生成され得る。加えて、任意で又は代替的に、ビデオフレーム（１０２）は、フィルムカメラによりフィルムに取り込まれ得る。フィルムは、ビデオデータ（１０７）を提供するためにデジタル形式に変換される。一部の実施形態では、ビデオデータ（１０７）は、ビデオ配信パイプライン（１００）における次の処理段階／フェーズに渡される前に、（例えば、人間の入力なしで自動的に、手動で、人間の入力を伴って自動的に）画像のシーケンスに編集又は変換され得る。
【0020】
次いで、ビデオデータ（１０７）は、ポストプロダクション編集（１１５）のためにプロセッサに提供される。ポストプロダクション編集（１１５）は、ビデオ作成者の創造的な意図に従って画像の特定の外観を得るか又は画質を高めるために、画像の特定の領域における色又は輝度を調整又は修正することを含み得る。これは、時折「カラータイミング」又は「カラーグレーディング」と呼ばれる。ＨＤＲ画像（１１７－１）又はＳＤＲ（又は比較的狭いダイナミックレンジ）画像（１１７）（例えば、ＳＤＲ等）のリリースバージョンを生成するために、他の編集（例えば、シーン選択及びシーケンシング、手動及び／又は自動のシーンカット情報生成、画像クロッピング、コンピュータによって生成された視覚的特殊効果の追加等）がポストプロダクション編集（１１５）で行われ得る。
【0021】
一部の実施形態では、ポストプロダクション編集（１１５）の間に、ＨＤＲ画像（１１７－１）は、ＨＤＲ画像（１１７－１）に対してポストプロダクション編集操作を行うカラリストによって、高いダイナミックレンジをサポートするリファレンスＨＤＲディスプレイ上で視聴される。
【0022】
一部の他の実施形態では、ポストプロダクション編集（１１５）の間に、ＳＤＲ画像（１１１７）は、ＳＤＲ画像（１１７）に対してポストプロダクション編集操作を行うカラリストによって、標準ダイナミックレンジ（又は比較的狭いダイナミックレンジ）をサポートするリファレンスディスプレイ上で視聴される。
【0023】
一部の実施形態では、コーディングブロック（１２０）は、図２Ａ又は図２Ｂに示すようなコーデックフレームワークを実施し得る。コーディングブロック（１２０）が、ポストプロダクション編集（１１５）からＨＤＲ画像（１１７－１）を受信する動作シナリオでは、ＨＤＲ画像（１１７－１）は、コーディングブロック（１２０）によりＳＤＲ画像（例えば１１７）に順方向再整形（forward reshaped）され得る。
【0024】
ＳＤＲ画像（１１７）は、コーディングブロック（１２０）によって、例えば単層のコード化ビットストリーム（１２２）に圧縮される。一部の実施形態では、コーディングブロック（１２０）は、コード化ビットストリーム（１２２）を生成するために、ＡＴＳＣ、ＤＶＢ、ＤＶＤ、Ｂｌｕ－Ｒａｙ及び他の配信フォーマットにより定義されるもの等のオーディオ及びビデオエンコーダを含み得る。
【0025】
一部の実施形態では、コード化ビットストリーム（１２２）は、ＳＤＲ画像（１１７）がポストプロダクション編集（１１５）で生成される際の芸術的意図を保存するＳＤＲ画像（１１７）でエンコードされる。加えて、任意で又は代替的に、一部の実施形態では、コード化ビットストリーム（１２２）は、（ＳＤＲ画像（１１７）に順方向で再整形される）ＨＤＲ画像（１１７－１）が、ポストプロダクション編集（１１５）で生成される際の芸術的意図を保持するＳＤＲ画像（１１７）でエンコードされる。
【0026】
コーディングブロック（１２０）は、広範なＳＤＲ表示装置（例えば、ＳＤＲディスプレイなど）と下位互換性（あるは、非下位互換性）を有するビデオ信号（例えば、８ビットＳＤＲビデオ信号、１０ビットＳＤＲビデオ信号等）におけるビデオデータにＳＤＲ画像（１１７）をエンコードし得る。非限定的な例では、ＳＤＲ画像（１１７）でエンコードされたビデオ信号は、単層の下位互換（あるいは、非下位互換性）ビデオ信号であり得る。
【0027】
一部の実施形態では、コード化ビットストリーム（１２２）は、コーディングブロック（１２０）によって受信された入力ＳＤＲ ＹＣｂＣｒビデオ信号と同じビデオ信号形式に準拠するビデオ信号である。例えば、コーディングブロック（１２０）によって受信される入力ＳＤＲ ＹＣｂＣｒビデオ信号が８ビットのＳＤＲ ＹＣｂＣｒビデオ信号の場合、コーディングブロック（１２０）によって出力されたコード化ビットストリーム（１２２）は、限定されないが、コーディングブロック（１２０）及び／又はポストプロダクションブロック（１１５）によって生成されたコンポーザーメタデータを含む画像メタデータを有する出力８ビットＳＤＲ ＹＣｂＣｒビデオ信号を表し得る。コンポーザーメタデータ（又は逆方向再整形（backward reshaping）マッピング）は、（例えば、複数のターゲット等の）ＨＤＲリファレンスディスプレイ上でレンダリングする場合に比較的正確であり得る逆方向再整形画像を生成するために、ＳＤＲ画像（１１７）に対して逆方向再整形（例えば、逆トーンマッピング等）を行うために、下流デコーダによって用いることができる。
【0028】
一部の実施形態では、逆方向再成形画像は、少なくとも部分的にコンポーザーメタデータに基づいて逆トーンマッピングを実施する１つ以上のＳＤＲ-ＨＤＲ変換ツールを用いて、ＳＤＲ画像（１１７）（又はそのデコードされたバージョン）から生成され得る。本明細書で用いる逆方向再整形とは、ディスプレイ管理等のさらなる下流処理のために、再量子化された画像が元のＥＯＴＦドメイン（例えば、ガンマ又はＰＱ）又は異なるＥＯＴＦドメインに戻るように変換する画像処理動作のことをいう。加えて、任意で又は代替的に、本明細書に記載の再整形（例えば、順方向再整形、逆方向再整形等）は、異なるＥＯＴＦ、異なる色空間、異なるダイナミックレンジ等の間で変換する画像処理操作をいう。
【0029】
コード化ビットストリーム（１２２）は、限定されないが、表示管理（ＤＭ）メタデータを含む画像メタデータをさらにエンコードされる。該ＤＭメタデータは、ＨＤＲリファレンスディスプレイが（例えば、複数などの）バイス固有のＨＤＲディスプレイ上にレンダリングするための表示画像を生成するため、逆方向再整形画像に表示管理動作を行うために下流のデコーダによって用いることが可能である。
【0030】
次いで、コード化ビットストリーム（１２２）は、デコーディング及び再生装置、メディアソース装置、メディアストリーミングクライアント装置、テレビ（例えば、スマートテレビ等）、セットトップボックス、映画館等の受信機へと下流に配信される。受信機（又は下流装置）では、コード化ビットストリーム（１２２）は、デコード画像１８２を生成するためにデコーディングブロック（１３０）によってデコードされる。該デコード画像は、コーディングブロック（１２０）によって行われる圧縮及びデコーディングブロック（１３０）によって行われる解凍で生じる量子化エラーを受けるがＤＲ画像（１１７）と同じであり得る。
【0031】
ＳＤＲ画像（１１７）又はそのデコードされたバージョンによって表される例示のＳＤＲビデオコンテンツは、ＳＤＲ＋ビデオコンテンツ、ＳＤＲ画像、ＳＤＲムービーリリース、ＳＤＲ＋画像、ＳＤＲメディアプログラム等であり得るが、必ずしもこれらのみに限定されない。本明細書で用いる「ＳＤＲ＋」という用語は、ＳＤＲ画像データとメタデータとの組み合わせを意味し、これらが共に組み合わせると、対応する高ダイナミックレンジ（ＨＤＲ）の画像データを生成することができる。ＳＤＲ＋画像メタデータは逆方向再整形マッピング（例えば、ＴＰＢ逆方向再整形マッピング等）を生成するためのコンポーザーデータを含み得る。コンポーザーメタデータは、入力ＳＤＲ画像に適用された場合に、対応するＨＤＲ画像が生成される。ＳＤＲ+画像は、ＳＤＲ＋画像メタデータを無視し、単にＳＤＲ画像を表示することが可能なレガシーＳＤＲディスプレイとの下位互換性を可能にする。
【0032】
ＳＤＲビデオコンテンツと共に受信側デバイスに送信される画像メタデータは、本明細書で説明する技術の下で生成される（例えば、自動的に、リアルタイムで、オフライン処理で、等）コンポーザーメタデータを含み得る。一部の実施形態では、ビデオデータ（１０７）は、コンポーザーメタデータ生成（１１５）のためのプロセッサに提供される。コンポーザーメタデータ生成（１１５）は、人とのやり取りをほとんど必要とせずにコンポーザーメタデータを自動的に生成し得る。自動的に生成されたコンポーザーメタデータは、ビデオデータ（１０７）内のＳＤＲ画像から対応する高ダイナミックレンジ（ＨＲＤ）画像を生成するための逆方向再整形動作を行うために受信装置によって用いることができる。
【0033】
ビデオコンテンツを広範なディスプレイ装置に利用可能にするための１つ以上の貴重なサービス（valuable services）を提供するためにコンポーザーメタデータ生成（１１５）を用いることができる。コンポーザーメタデータ生成（１１５）によって提供される貴重なサービスの１つは、ＳＤＲ画像で描写されたビデオコンテンツのためのＨＤＲ画像が利用できないが、ビデオコンテンツを描写するＳＤＲ画像が利用可能な動作シナリオで、上述したようにＳＤＲ画像からＨＤＲ画像を生成することである。そのため、本明細書で説明する技術は、ＳＤＲ画像が利用可能なこれらの動作シナリオで、ＨＤＲディスプレイのためのＨＤＲビデオコンテンツを生成又は構成するために用いることができる。
【0034】
コンポーザーメタデータ生成（１１５）によって提供される別の貴重なサービスは、「カラータイミング」又は「カラーグレーディング」として知られるカラリストの手動操作の一部又は全てに依存することなく、ＨＤＲディスプレイのためのＨＤＲビデオコンテンツを（例えば、全体的に、部分的に等）生成することである。
【0035】
加えて、任意で又は代替的に、画像メタデータ内のＤＭメタデータは、ＨＤＲリファレンス表示装置又は非リファレンスＨＤＲ表示装置等の他の表示装置上でレンダリングするために表示画像（例えば、ＨＤＲ表示画像等）を生成するために、逆方向再整形画像に対して表示管理操作を行うために下流デコーダによって用いることができる。
【0036】
受信機が標準ダイナミックレンジ又は比較的狭いダイナミックレンジをサポートするＳＤＲディスプレイ１４０と共に動作する（又は取り付けられる）動作シナリオでは、受信機は、デコードされたＳＤＲ画像をターゲットディスプレイ（１４０）上に直接又は間接的にレンダリングできる。
【0037】
高ダイナミックレンジ（例えば、４００ニト、１０００ニト、４０００ニト、１００００ニト以上等）をサポートするＨＤＲディスプレイ１４０－１と共に動作する（又はそれに取り付けられる）動作シナリオでは、受信機は、コード化ビットストリーム（１２２）（内の例えばメタデータコンテナ）からコンポーザーメタデータ（例えば、ＴＰＢコンポーザーメタデータ等）を抽出し、（コンポーザーメタデータに基づいてＳＤＲ画像を逆方向再整形することによって生成される逆方向再構成画像であり得る）ＨＤＲ画像（１３２）を作成するためにコンポーザーメタデータを用いることができる。加えて、受信機は、コード化ビットストリーム（１２２）からＤＭメタデータを抽出し、ＤＭメタデータに基づいてＨＤＲ画像（１３２）上にＤＭ演算（１３５）を適用して、ＨＤＲ（例えば、非リファレンス等）表示装置（１４０－１）上にレンダリングするための表示画像（１３７）を生成し、ＨＤＲ表示装置（１４０－１）上に表示画像（１３７）をレンダリングすることができる。
【0038】
コーデックフレームワーク
一部の動作シナリオでは、ＨＤＲ表示装置上へのレンダリングのためにＳＤＲコンテンツを強化するためにＳＤＲ＋を用いることができる。ＳＤＲ画像のルーマチャンネル及びクロマチャンネル（又は色空間コンポーネント）は、（マップ）ＨＤＲ画像の対応するルーマ及びクロマチャンネルを生成するためにコンポーザーメタデータ等の画像メタデータを用いて別々にマッピングされ得る。
一部の動作シナリオでは、ＨＤＲ表示装置上へのレンダリングのためにＳＤＲコンテンツを強化するためにＳＤＲ＋を用いることができる。ＳＤＲ画像のルーマチャンネル及びクロマチャンネル（又は色空間コンポーネント）は、（マップ）ＨＤＲ画像の対応するルーマ及びクロマチャンネルを生成するためにコンポーザーメタデータ等の画像メタデータを用いて別々にマッピングされ得る。
【0039】
なお、しかしながら、様々な実施形態では、本明細書で説明する技術は単層逆表示管理（single layer inverse display management）（ＳＬｉＤＭ）又は非ＳＬｉＤＭコーデックフレームワークのために用いられ得る。例えば、本明細書で説明するＴＰＢメタデータ生成、送信及び消費は、ＳＤＲ又はＨＤＲコンテンツを含む２つ以上のコーディング層を含む多層ビデオ信号と共に用いられ得る。
【0040】
加えて、任意で又は代替的に、本明細書に記載のＴＰＢメタデータ生成、送信及び消費は、ＨＤＲ信号等の非ＳＤＲ（又は非ＳＤＲ＋）ビデオ信号と共に用いられ得る。例えば、再構成されたＨＤＲコンテンツを生成するためにデコードされたＳＤＲコンテンツを逆方向再整形するために受信側装置によって用いられるＴＰＢ逆方向再構成メタデータを含める代わりに、ＨＤＲ信号は、再構成されたＳＤＲコンテンツを生成するために、デコードされたＨＤＲコンテンツを順方向再整形するために受信側装置によって用いられるＴＰＢ順方向再整形メタデータを含み得る。
【0041】
そのため、本明細書で説明する技術は、例示のみを目的として、例示のコーデックフレームワーク又はビデオ信号を用いて説明され得るが、これらの技術は例示のコーデックフレームワーク又はビデオ信号に限定されず、他のコーデックフレームワーク又はビデオ信号を用いて実施され得る。
【0042】
図２Ａ～図２Ｃは、例示のコーデックフレームワークを示す。より具体的には、図２Ａは、上流ビデオエンコーダ等の１つ以上のコンピューティングプロセッサで実施され得る第１のエンコーダ側コーデックアーキテクチャの例を示し、図２Ｂは、上流ビデオエンコーダ等の１つ以上のコンピューティングプロセッサで実施され得る第２のエンコーダ側コーデックアーキテクチャの例を示し、図２Ｃは、下流ビデオデコーダ（例えば、受信機等）等の１つ以上のコンピューティングプロセッサで実施され得るデコーダ側コーデックアーキテクチャの例を示す。
【0043】
第１のフレームワークでは、図２Ａに示すように、ＳＤＲ画像（１１７）等の下位互換性ＳＤＲ画像が、コーデックフレームワークのエンコーダ側の入力として受信される。
【0044】
限定ではなく例示として、ＳＤＲからＨＤＲへの変換ツール等を表し得る逆ダイナミックレンジマッピング（ＤＭ）モジュール１６２が、リファレンスＨＤＲディスプレイ上で見るためにＳＤＲ画像（１１７）をＨＤＲ画像１４８に変換するために用いられる。一部の実施形態では、逆ＤＭモジュールは、逆トーンマッピングツールとも呼ばれ得る。
【0045】
図２Ｂに示すように、第２のフレームワークでは、リファレンスＨＤＲディスプレイ等のためのＨＤＲ画像（１４８）がコーデックフレームワークのエンコーダ側の入力として受信される。ここで、「リファレンスＨＤＲディスプレイのためのＨＤＲ画像」とは、ＨＤＲ（リファレンス）ディスプレイ用に具体的にカラーグレーディングされたＨＤＲ画像をいう。
【0046】
限定ではなく例示として、ＳＤＲディスプレイ上での視聴のために、ＨＤＲ画像（１４８）をＳＤＲ画像（１１７）に変換するためＨＤＲからＳＤＲへの変換ツール等を表し得る順方向再整形モジュール１６４が用いられる。一部の実施形態では、順方向再整形モジュールはトーンマッピングツールとも呼ばれ得る。
【0047】
第１及び第２エンコーダ側コーデックアーキテクチャの両方において、画像メタデータ生成器１５０（例えば、コーディングブロック（１２０）の一部等）は、ＳＤＲ画像（１１７）及びＨＤＲ画像（１４８）の双方を入力として受信し、ＴＰＢコンポーザーメタデータ、ＤＭメタデータ等の画像メタデータ１５２を生成する。ＨＤＲ（例えば、リファレンス、ターゲット等）ディスプレイのための逆方向再整形画像（１３２）は、ＴＰＢコンポーザーメタデータで規定される逆方向再整形関数／曲線を用いてＳＤＲ画像（１１７）を逆方向再整形することにより生成できる。
【0048】
一部の実施形態では、逆方向再整形画像（１３２）は、ＨＤＲディスプレイのための生産品質の又は生産品質に近いＨＤＲ画像を表す。逆方向再整形画像（１３２）は、出力ＨＤＲビデオ信号１６０で（例えば、ＨＤＭＩ（登録商標）インターフェイスを介して、ビデオリンクを介して）、ＨＤＲディスプレイ装置に出力され、レンダリングされる。これらの実施形態では、受信機はＴＰＢコンポーザのメタデータを読み出し、ＴＰＢコンポーザーメタデータに基づいてＳＤＲ画像（１１７）を逆方向再整形することにより再構築されたＨＤＲ画像を再構築し、レンダリングすることができる。
【0049】
第１及び第２エンコーダ側アーキテクチャの両方では、圧縮ブロック１４２（例えば、図１Ａのコーディングブロック（１２０）の一部等）は、ビデオ信号の単一層１４４にＳＤＲ画像（１１７）を圧縮／エンコードする。例示のビデオ信号は図１Ａのコード化ビットストリーム（１２２）であり得るが、必ずしもこれのみに限定されない。画像メタデータ生成器（１５０）によって生成される画像メタデータ（１５２）（「ｒｐｕ」と表記される）は、ビデオ信号（例えば、コード化ビットストリーム等）に（例えば、図１Ａのコーディングブロック（１２０）等により）エンコードされ得る。
【0050】
第１及び第２のエンコーダ側アーキテクチャの両方では、画像メタデータ（１５２）は、ＳＤＲ画像がビデオ信号にエンコードされる単一層とは別個にビデオ信号で運ばれ得る。例えば、画像メタデータ（１５２）は、コード化ビットストリーム内のコンポーネントストリームにエンコードされ、該コンポーネントストリームは、ＳＤＲ画像（１１７）がエンコードされる（コード化ビットストリームの）単一層と別個であってもなくてもよい、
第１及び第２のエンコーダ側アーキテクチャの両方では、ビデオ信号内の画像メタデータ（１５２）におけるＴＰＢコンポーザーメタデータは、下流の受信機がＨＤＲターゲットディスプレイのために、（ビデオ信号にエンコードされた）ＳＤＲ画像（１１７）を再構築画像（又は逆方向再整形画像）に逆方向再整形できるように用いることができる。ＨＤＲターゲットディスプレイの例としては、ＨＤＲリファレンスディスプレイと同様の表示能力を有するＨＤＲターゲットディスプレイ、ＨＤＲリファレンスディスプレイとは異なる表示能力を有するＨＤＲターゲットディスプレイ、ＨＤＲターゲットディスプレイのためのビデオコンテンツを表示するために、ＨＤＲリファレンスディスプレイのための再構築ビデオコンテンツをマッピングする追加のＤＭ動作を伴うＨＤＲターゲットディスプレイ等のいずれかが挙げられるが、必ずしもこれらのみに限定されない。
第１及び第２のエンコーダ側アーキテクチャの両方では、ビデオ信号内の画像メタデータ（１５２）におけるＴＰＢコンポーザーメタデータは、下流の受信機がＨＤＲターゲットディスプレイのために、（ビデオ信号にエンコードされた）ＳＤＲ画像（１１７）を再構築画像（又は逆方向再整形画像）に逆方向再整形できるように用いることができる。ＨＤＲターゲットディスプレイの例としては、ＨＤＲリファレンスディスプレイと同様の表示能力を有するＨＤＲターゲットディスプレイ、ＨＤＲリファレンスディスプレイとは異なる表示能力を有するＨＤＲターゲットディスプレイ、ＨＤＲターゲットディスプレイのためのビデオコンテンツを表示するために、ＨＤＲリファレンスディスプレイのための再構築ビデオコンテンツをマッピングする追加のＤＭ動作を伴うＨＤＲターゲットディスプレイ等のいずれかが挙げられるが、必ずしもこれらのみに限定されない。
【0051】
一部の動作シナリオでは、第１及び第２のエンコーダ側アーキテクチャの両方で、ＳＤＲコンテンツは、エンコーダ側のコーデックアーキテクチャを実施する上流エンコーディング装置によって、コード化ビットストリーム（１２２）等のビデオ信号の単一層にエンコードされ、送信される。ＳＤＲコンテンツは、デコーダ側のコーデックアーキテクチャを実施する下流のデコーディング装置（又は受信機）により受信され、ビデオ信号の単一層でデコードされる。ＴＰＢコンポーザーメタデータは、受信側装置がＳＤＲコンテンツ及びＴＰＢコンポーザーメタデータに基づいてＨＤＲコンテンツを再構築できるように、ＳＤＲコンテンツと共にビデオ信号にエンコードされ且つ送信される。
【0052】
一部の実施形態では、図２Ｃに示すように、単一層（１４４）にＳＤＲ画像（１１７）がエンコードされたビデオ信号及び全体の画像メタデータの一部であるＴＰＢ逆方向再整形メタデータ（１５２）は、第１及び第２のエンコーダ側アーキテクチャのデコーダ側で入力として受信される。
【0053】
解凍ブロック１５４（例えば、図１Ａのデコーディングブロック（１３０）の一部）は、ビデオ信号の単一層（１４４）内の圧縮ビデオデータを解凍／デコードして、デコードされたＳＤＲ画像（１８２）にする。デコードされたＳＤＲ画像（１８２）は、圧縮ブロック（１４２）及び解凍ブロック（１５４）で量子化誤差を受けるＳＤＲ画像（１１７）と同じであり得る。デコードされたＳＤＲ画像（１８２）は、ＳＤＲディスプレイ装置に、出力ＳＤＲビデオ信号１５６で（ＨＤＭＩ（登録商標）インターフェイスを介して、ビデオリンクを介して等）出力され、レンダリングされ得る。
【0054】
加えて、逆方向再整形ブロック１５８は、入力ビデオ信号からＴＰＢコンポーザーメタデータ（又は逆方向再整形メタデータ）等の画像メタデータ（１５２）を抽出し、画像メタデータ内の抽出されたＴＰＢコンポーザーメタデータに基づいて逆方向再整形機能を構築し、逆方向再整形機能に基づいて、デコードされたＳＤＲ画像（１１７）に逆方向再整形動作を行って、特定のＨＤＲターゲットディスプレイのために逆方向再整形画像（１３２）（又は再構築ＨＤＲ画像）を生成する。
【0055】
一部の実施形態では、逆方向再整形画像は、ＨＤＲリファレンスディスプレイのための、生産品質又は生産品質に近いＨＤＲ画像を表す。逆方向再整形画像（１３２）は、ＨＤＲリファレンスディスプレイと同様の表示能力を有するＨＤＲディスプレイに、出力ＨＤＲビデオ信号１６０で（例えば、ＨＤＭＩ（登録商標）インターフェイスを介して、ビデオリンクを介して等）に出力され、レンダリングされ得る。そのため、これらの実施形態では、ＤＭ機能は、デバイス動作を簡略化し、デバイスコストを低減するために、受信機によって実施されないことがある。
【0056】
加えて、任意で又は代替的に、一部の実施形態では、ＤＭメタデータは、受信機に、ＴＰＢコンポーザーメタデータ及びＳＤＲ画像（１１７）と共に送信され得る。ＨＤＲリファレンスディスプレイとは異なる表示能力を有するＨＤＲターゲットディスプレイに特有の表示管理操作が、例えば、ＨＤＲターゲットディスプレイ上にレンダリングすべき表示ＨＤＲ画像を生成するために、画像メタデータ（１５２）内のＤＭメタデータに少なくとも部分的に基づいて、逆方向再整形画像（１３２）に対して行われ得る。
【0057】
Ｂスプラインベースの予測
ＴＰＢ（ベースの）予測は、同じ視覚的な意味内容を描写する異なるカラーグレードの間で又はうちでのマッピング又は変換の選択された動作パラメータを導出するために用いられ得る。本明細書で用いるカラーグレードとは、ビデオ画像の（例えば、リリース、専門的にカラーグレードされた、ユーザ又はビデオ専門家によってカラーグレードされた、再構築された、予測すべき）バージョンを意味し得る。
ＴＰＢ（ベースの）予測は、同じ視覚的な意味内容を描写する異なるカラーグレードの間で又はうちでのマッピング又は変換の選択された動作パラメータを導出するために用いられ得る。本明細書で用いるカラーグレードとは、ビデオ画像の（例えば、リリース、専門的にカラーグレードされた、ユーザ又はビデオ専門家によってカラーグレードされた、再構築された、予測すべき）バージョンを意味し得る。
【0058】
同じ視覚的な意味内容を描写する２つのカラーグレード間のマッピング又は変換は、順方向再整形マッピング又は変換、逆方向再整形マッピング又は変換等のことをいい得る。例示の再整形動作は、２０１５年３月２０日に出願された米国仮特許出願第６２／１３６４０２号（米国特許出願公開第２０１８／００２０２２４号として２０１８年１月１８日に公開）、２０１８年５月１１日に出願された米国仮特許出願第６２／６７００８６号に記載されており、それらの内容の全体は、参照により、本明細書に完全に記載されているかのように本願に組み込まれる。
【0059】
一部の動作シナリオでは、順方向再整形とは、（同じ視覚的な意味内容を描写する）より高いダイナミックレンジのビデオ画像から、同じ又はより低いダイナミックレンジのビデオ画像を生成することをいう。
【0060】
一部の動作シナリオでは、順方向再整形とは、（同じ視覚的な意味内容を描写する）同一又は異なるダイナミックレンジの入力又はソースビデオ画像から、ダイナミックレンジのエンコードすべきビデオ画像を（例えば、上流のビデオコンテンツプロセッサから下流のビデオコンテンツプロセッサに届けられるアウトビデオ信号内に）生成することをいう。
【0061】
一部の動作シナリオでは、逆方向再整形とは、（同じ視覚的な意味内容を描写する）比較的低いダイナミックレンジのビデオ画像から、より高いダイナミックレンジのビデオ画像を生成することをいう。
【0062】
一部の動作シナリオでは、逆方向再形成とは、（同じ視覚的な意味内容を描写する）ダイナミックレンジが同じ又は異なる（例えば、上流のビデオコンテンツプロセッサから下流のビデオコンテンツプロセッサに届けられる受信したビデオ信号にエンコードされた）受信したビデオ画像から、ダイナミックレンジの画像を生成することをいう。
【0063】
本明細書で説明するＴＰＢ予測技術は、順方向再整形マッピング／変換及び／又は逆方向再整形マッピング／変換を表す画像メタデータ又はコンポーザーメタデータを生成するために用いることができる。Ｂスプラインベースの予測は、テンソル積Ｂスプラインにより単一の変数（例えば、色空間の単一のカラーチャンネル、色空間の単一の色成分、Ｒ、Ｇ、Ｂチャンネルのうちの１つのチャンネル、Ｙ、Ｃｂ、Ｃｒチャンネルのうちの１つのチャンネル等）だけでなく、複数の変数（例えば、色空間の２つ以上のカラーチャンネル、色空間の２つ以上の色成分、Ｒ、Ｇ、Ｂチャンネルのうちの２つ以上のチャンネル、Ｙ、Ｃｂ、Ｃｒチャンネルのうちの２つ以上のチャンネル）について行われ得る。一部の動作シナリオでは、ＴＰＢ予測は、ＳＤＲからＨＤＲ又はＨＤＲからＳＤＲの予測プロセスで実施され得る。
【0064】
以下の表１は、例示の多項式スプラインを示す。
【0065】
【表1】
【0066】
Ｂスプライン基底関数は、所望の平滑性又は連続性制約を実現するために、ノット（knot）（例えば、隣接する区分的多項式を接続するブレイクポイント等）で滑らかに融合される区分的多項式から構築できる。Ｂプライン基底関数は、全次数（又は次数）がｎの（ｎ＋１）の多項式からなり、多項式は（ｎ－１）次の連続性又は微分可能性までノットで連結される。Ｂスプラインの基底（又は基底関数）の完全なセットを用いて、所与の関数ｆ（ｚ）（例えば、マッピング、曲線等）は、完全なセットにおけるＤ＝Ｔ＋ｎ－１のＢスプライン基底関数（Ｔはノットの数を表す）を介して以下のように表すことができる。
【0067】
【数1】
【0068】
なお、Ｂスプライン基底関数は、（例えば、Ｔ、ｎ＋２等）のノットのうちの２つの隣接するノットに基づく間隔でのみ正であるか又はサポートされる。
【0069】
０（ゼロ）次のＢスプライン基底関数は以下のように規定され得る。
【0070】
【数2】
【0071】
高次（ｎ次）のＢスプライン基底関数は以下のように再帰的に規定され得る。
【0072】
【数3】
【0073】
インテリアノット（interior knots）ｋ０、ｋ１、．．．、ｋＴ－１に加えて、２ｎ外側ノット等のエクステリアノット（exterior knots）は、インテリアノットが分布する範囲である［ａ，ｂ］の外に置かれ得る。
【0074】
図３Ａ～図３Ｄは、均一に分布したノット（又はノット点（knot points））のセットのための０（ゼロ）次～３次Ｂスプライン基底関数の４つの例示の完全なセットを示す。異なる次数のＢスプライン基底関数のさらなる完全なセットは、上記式（３）を用いて再帰的に構築され得る。
【0075】
インテリアノットの数がＴ＝８ノットであり、２次Ｂスプライン基底関数の完全なセットが用いられる動作シナリオでは、セット内の基底関数の総数Ｄは９である。対応する９つの係数｛ｍｉ｝のセットは、例えば、ビデオコンテンツを表すために用いられる色空間の輝度チェンネルの単一チャンネル予測のための一次元（１Ｄ）マッピング又は曲線を予測又は近似するために用いることができる。
【0076】
例示のみを目的として、ＨＤＲとＳＤＲの間の１Ｄマッピング又は曲線を予測又は近似するために、９つの２次Ｂスプライン基底関数の完全なセットが適用される。
【0077】
ＳＤＲ画像（例えば、ｊ番目のＳＤＲ画像等）及び対応するＨＤＲ画像（例えば、ＳＤＲ画像と同じ視覚的な意味内容を描写するが、ダイナミックレンジが比較的高いｊ番目のＨＤＲ画像等）のそれぞれがＰ画素を含むものとする。トリプレット（triplets）
［外１]
及び
［外２]
が、ｊ番目のＳＤＲ及びＨＤＲ画像におけるｉ番目の画素についての正規化されたＹ、Ｃ０（例えば、Ｃｂ等）及びＣ１（例えば、Ｃｒ等）の値をそれぞれ表すものとする。ルーマ又は輝度チャンネルについて、
［外３]
から
［外４]
を予測するために、単一チャンネルのＢスプライン予測子が用いられ得る。
［外１]
［外２]
［外３]
［外４]
【0078】
特定のノット又はノット点のセットが選択され、
［外５]
と表記されるＤｙ（＝Ｔ＋ｎ－１）Ｂスプライン基底関数の完全なセットを構築するために用いられ得る。ＨＤＲ輝度符号語値
［外３]
からのＳＤＲ輝度符号語値の単一チャンネル予測
［外６]
は、対応する係数
［外７]
のセットを用いて以下のように行われ得る。
［外５]
［外３]
［外６]
［外７]
【0079】
【数4】
【0080】
ＳＤＲ及びＨＤＲ画像のそれぞれにＰ画素があり、全てのＰ個の予測すべき（又はターゲット）ＳＤＲ輝度符号語値と仮定すると、対応する係数
［外８]
及びＢスプライン基底関数
［外９]
は、対応する（入力）ＨＤＲ輝度符号語値
［外１０]
から（ターゲット）ＳＤＲ輝度符号語値
［外１１]
を予測するために、以下のようにマトリクスの形態に集めることができる。
［外８]
［外９]
［外１０]
［外１１]
【0081】
【数5】
【数6】
【数7】
【数8】
【0082】
全てのＰ個の実際の（例えば、ターゲット、参照等）のＳＤＲ符号語値を含むグラウンドトゥルースベクトルを以下のように表す。
【0083】
【数9】
【0084】
係数
［外１２]
の解は、閉形式（closed form）の最小二乗解を介して以下の様に得ることができる。
［外１２]
【0085】
【数10】
【0086】
この最小二乗問題を解くために、例えば、Ｂスプラインマトリクス
［外１３]
が比較的疎らな（sparse）シナリオを考慮に入れるために、特別な注意が払われ得る。どのような種類の信号又は画素のデータ分布であるかにかかわらず、ノット点が予め選択され得るか又は固定され得る動作シナリオでは、隣接するノット間のノット間隔に画素が存在しないか又は空であり得る。Ｂスプライン基底関数は比較的小さな間隔でしか正でないか又はサポートされず、間隔の外ではゼロであるため、画素が存在しないかもしれない空の間隔は、
［外１３]
においていくつかの又は全てのゼロ列（それぞれが全てのゼロを含む）をもたらし得る。そのようなゼロ列は、マトリクス
［外１４]
の計算を不明瞭にし得るか又は特異性に遭遇し得る。一部の動作シナリオでは、この問題を解決するか又は改善するために、
［外１３]
において全ゼロであるか又は（例えば、プログラムによって、経験的に又はユーザによって設定された数値閾値と比べて）全てが比較的小さな値の場合、対応する係数
［外８]
をゼロに設定され得る。
［外１３]
［外１３]
［外１４]
［外１３]
［外８]
【0087】
［外１３]
における各要素を
［外１５]
で示し、α番目の列を
［外１６]
で示す。全てがゼロ値又は全てが比較的小さい値（例えば、列内の合計が数値的閾値を下回る、列内の各マトリクス要素が数値的閾値を下回る等）の列を除外してデザインマトリックスを再構築する例示の手順を以下の表２に示す。
［外１５]
［外１６]
【0088】
【表2】
【0089】
一部の動作シナリオでは、上記の式（１０）を用いる代わりに、最小二乗問題は、上記表２で得られる
［外１７]
を用いることにより、以下のように解かれ得る。
［外１７]
【0090】
【数11】
【0091】
列の総数Ｄｙがｃに減らされており、それぞれが全てゼロ又は全て比較的小さい数を有する（Ｄｙ－ｃ）の列を除く新たな列の総数を表すため、式（１１）の解は、除外される列に対応する係数又はパラメータを欠き得る。以下の表３に示す例示の手順を用いて、全ての列に対するパラメータ／係数を含むパラメータ／係数ベクトルは、以下のように除外される（Ｄｙ－ｃ）の列を０で充填することにより構築され得る。
【0092】
【数12】
【0093】
【表3】
【0094】
一部の動作シナリオでは、ノット又はノット点の位置は予め選択されているか又は固定されている。なお、しかしながら、様々な実施形態では、ノット又はノット点の位置は（及び／又は総数）は予め選択又は固定であってもなくてもよい。例えば、一部の動作シナリオでは、ノット又はノット点の位置（及び／又は総数）が解の最適性に影響を与え得るため、パラメータ／係数
［外７]
と共にノット又はノット点｛ｋｔ｝の位置（及び／又は総数）は、全体的な最小化（又は最適化）問題又は解の一部として適応的に決定され得る。
［外７]
【0095】
ノット点を適応的に選択することは、ビデオコンテンツの異なるカラーグレード間又はうちのでのマッピング又は変換の性能及び精度をさらに向上させることができるが、均一に分散されたノット点を予め設定するか又は予め選択することは、限定されないが、（１）画像メタデータ内のＢスプライン基底関数のノット位置を上流のビデオコンテンツプロセッサが下流のビデオコンテンツプロセッサにシグナリングするか又は送信する必要がなく、画像メタデータを運び且つエンコードするためのビットストリームオーバヘッドが低減されること及び（２）異なるノット点に応答して、デコーダ側で基底関数を再計算する必要がない（さもなければ、フレーム毎に適応的に変更され得る）こと等を含む例示の利点をもたらす。つまり、ノット点が予め設定されているか又は固定されているＢスプライン基底関数は、実行時間計算負荷及び／又はハードウェア複雑性を低減するために、ロジックにハードワイヤするか又はデコーダ側のデータストアに記憶できる。
【0096】
ＴＰＢクロスコアチャンネル予測器
一部の動作シナリオでは、単一チャンネル（又は１Ｄ）のＢスプライン予測子等の単一チャンネル予測子を用いてＨＤＲとＳＤＲとの間（その逆）のマッピングを生成するには、比較的大きな制限があり得る。１ＤのＢスプライン予測子は、他のアプローチ（例えば、累積分布関数又はＣＤＦに基づくアプローチ、最小平均二乗誤差又はＭＭＳＥに基づくアプローチ等）と同等の予測性能及び精度を提供し得るが、追加の計算複雑性が伴う可能性がある。ビデオコンテンツの異なるカラーグレードに対するマッピングの問題は、多次元色空間（例えば、ＲＧＢ、ＩＰＴ、ＹＤｚＤｘ及びＹＣｂＣｒ等の３Ｄ色空間、色空間における３つ以上のチャンネル等）にあり、一部の動作シナリオでは１Ｄ機能又は予測は制限を受け得る。例えば、ＨＤＲとＳＤＲ（前後）との間の比較的正確なマッピングは、色変換及び彩度制御等の（カラーグレーディングの専門家によって手動で実行されるものと同様の）クロスカラー動作を含み得る。そのため、１Ｄ予測子を用いて、異なる輝度レベルでの色、色相及び彩度の人間の知覚を伴う多次元色空間におけるこのマッピングの問題を解決するのは最適でないかもしれない。
一部の動作シナリオでは、単一チャンネル（又は１Ｄ）のＢスプライン予測子等の単一チャンネル予測子を用いてＨＤＲとＳＤＲとの間（その逆）のマッピングを生成するには、比較的大きな制限があり得る。１ＤのＢスプライン予測子は、他のアプローチ（例えば、累積分布関数又はＣＤＦに基づくアプローチ、最小平均二乗誤差又はＭＭＳＥに基づくアプローチ等）と同等の予測性能及び精度を提供し得るが、追加の計算複雑性が伴う可能性がある。ビデオコンテンツの異なるカラーグレードに対するマッピングの問題は、多次元色空間（例えば、ＲＧＢ、ＩＰＴ、ＹＤｚＤｘ及びＹＣｂＣｒ等の３Ｄ色空間、色空間における３つ以上のチャンネル等）にあり、一部の動作シナリオでは１Ｄ機能又は予測は制限を受け得る。例えば、ＨＤＲとＳＤＲ（前後）との間の比較的正確なマッピングは、色変換及び彩度制御等の（カラーグレーディングの専門家によって手動で実行されるものと同様の）クロスカラー動作を含み得る。そのため、１Ｄ予測子を用いて、異なる輝度レベルでの色、色相及び彩度の人間の知覚を伴う多次元色空間におけるこのマッピングの問題を解決するのは最適でないかもしれない。
【0097】
予測性能及び精度を改善するために、ビデオコンテンツの異なるカラーグレード間の局所的及び／又は全体的なクロスカラーチャンネル関係を探索することが可能なＴＰＢ予測が本明細書で説明する技術の下で用いられ得る。
【0098】
クロスチャンネル予測がグローバルマッピングオペレータを表す一部のアプローチとは対照的に、ＴＰＢクロスチャンネル予測は、色空間又は色階調の各局所的なパーティションにおけるマッピングを柔軟にモデル化することができ（例えば、全ての符号語又は色等にグローバルマッピングを適用する代わりに、多くの局所的な一次元又は多次元符号語領域のそれぞれに領域固有のマッピングを適用する）、本明細書で説明する技術を実施しない他のアプローチに勝る。
【0099】
ＴＰＢクロスチャンネル予測は、ＨＤＲからＳＤＲへの（又はその逆の）輝度又はルーマチャンネルにおける符号語を予測するために適用され得る。前述の色空間Ｙ、Ｃ０（又はＣｂ）及びＣ１（又はＣｒ）の例では、各カラーチャンネル又は次元において、Ｂスプライン基底関数の完全なセットが独立して提供される。そのため、Ｙ、Ｃ０、Ｃ１の各カラーチャンネル又は次元について、Ｂスプラインの基底関数の３つのセット
［外１８]
［外１９]
及び
［外２０]
がそれぞれある。ここで、ｊはｊ番目のＳＤＲ及びＨＤＲ画像を示し、ｔｙはルーマ又は輝度Ｙ次元のためのＢスプライン基底関数インデックス（Ｙ次元に沿ったノット点のセットを与える）、ｔｃ０はクロマ又はクロミナンスＣ０次元のためのＢスプライン基底関数インデックス（Ｃ０次元に沿ったノット点のセットが与えらる）を示し、ｔｃ１はクロマ又はクロミナンスＣ１次元のためのＢスプライン基底関数インデックス（Ｃ１次元に沿ったノット点のセットが与えらる）を示し、ｉはＳＤＲ及びＨＤＲ画像のそれぞれのＰピクセル間の画素インデックスを示す。
［外１８]
［外２０]
【0100】
これらのＢスプライン基底関数の３つの完全なセット
［外１８]
［外１９]
及び
［外２０]
におけるＢスプライン基底関数の総数をそれぞれＤ０
ｙ、Ｄ１
ｙ及びＤ２
ｙで示す。３次元のそれぞれにおけるノット点の各セットが与えられ、Ｂスプライン基底関数の３つの完全なセット
［外１８]
［外１９]
及び
［外２０]
における各セットは、上記の式（３）を用いて構築され得る。
［外１８]
［外２０]
［外１８]
［外２０]
【0101】
輝度及びルーマチャンネルにおける符号語を予測するためのＴＰＢ基底関数は、全ての３つのチャンネル又は次元のためのＢスプライン基底関数の３つの完全なセット
［外１８]
［外１９]
及び
［外２０]
のベクトル積を取ることにより構築できる。ｔｙ、ｔｃ０とｔｃ１の固有の組み合わせを表す（３Ｄ）ＴＰＢインデックスを持つＴＰＢ基底関数は以下のように与えられ得るか又は計算され得る。
［外１８]
［外２０]
【0102】
【数13】
【0103】
ＨＤＲ輝度及びクロミナンス符号語値
［外３]
［外２１]
及び
［外２２]
からのＳＤＲ輝度符号語値のクロスチャンネル予測
［外６]
は対応する係数のセット
［外２３]
を用いて以下のように行われ得る。
［外３]
［外２２]
［外６]
［外２３]
【0104】
【数14】
【0105】
ここでは、３ＤＴＰＢインデックス（ｔｙ、ｔｃ０及びｔｃ１）は、式を簡素化するために１Ｄインデックス（ｔとして示される）にベクトル化され得る。以前３ＤＴＰＢインデックス（ｔｙ、ｔｃ０及びｔｃ１）であったＴＰＢ基底関数は以下のように書き換得られ得る。
【0106】
【数15】
【0107】
Ｄｙ＝Ｄ０
ｙ・Ｄ１
ｙ・Ｄ２
ｙとする。式（１４）のＴＢＰクロスチャンネル予測は以下のように書き換えられ得る。
【0108】
【数16】
【0109】
ＳＤＲ及びＨＤＲ画像のそれぞれにＰ画素があり、全てのＰ個の予測すべき（又はターゲット）ＳＤＲ輝度符号語値と仮定すると、対応する係数
［外２４]
及びクロスチャンネルＴＰＢ関数
［外２５]
は、対応する（入力）ＨＤＲ輝度及びクロミナンス符号語値
［外２６]
から（ターゲット）ＳＤＲ輝度符号語値
［外１１]
を予測するために、以下のようにマトリクスの形態に集めることができる。
［外２４]
［外２５]
［外２６]
［外１１]
【0110】
【数17】
【数18】
【数19】
【0111】
係数
［外２７]
の解は、閉形式における最小二乗解を介して以下のように得ることができる。
［外２７]
【0112】
【数20】
［外１３]
【0113】
説明を容易にするために、式（２０）はマトリクス及びベクトルを用いて以下のように書き換えられ得る。
【0114】
【数21】
【数22】
【数23】
【0115】
同様に、ＴＰＢクロスチャンネル予測子は、２つのクロマチャンネル又は次元のために構築されて得る。例示として、クロマチャンネルＣ０及びＣ１のいずれかをＣと表記する。Ｙ、Ｃ０及びＣ１次元にノット点のセットが３つあるとすると、クロマチャンネルＣ（ここで、ＣはＣ０又はＣ１であり得る）における符号語のＴＰＢ予測のために、Ｙ、Ｃ０及びＣ１次元のためにＢスプライン基底関数の３つの完全なセット
［外２８]
［外２９]
及び
［外３０]
が構築され得る。Ｂスプライン基底関数の３つの完全なセットの総数は、Ｄ０
ｃ、Ｄ１
ｃ及びＤ２
ｃであり得る。３つの次元にノット点のセットを与えることで、３つの個別の基底関数セット
［外２８]
［外２９]
及び
［外３０]
ができる。
［外２８]
［外３０]
［外２８]
［外３０]
【0116】
Ｙチャンネルにおける符号語のＴＰＢクロスチャンネル予測と同様に、クロマチャンネルＣについて、ＴＰＢクロスチャンネル基底関数は、インデックス付きテンソル要素を用いて以下のように構築され得る。
【0117】
【数24】
【0118】
同様に、ここでは、３ＤＴＰＢインデックス（ｔｙ、ｔｃ０及びｔｃ１）は、式を簡素化するために１Ｄインデックス（ｔとして示される）にベクトル化することができる。Ｄｃ＝Ｄ０
ｃ・Ｄ１
ｃ・Ｄ２
ｃとする。クロマチャンネルＣにおける符号語のためのＴＰＢクロスチャンネル予測は以下のように与えらる。
【0119】
【数25】
【0120】
ＳＤＲ及びＨＤＲ画像のそれぞれにＰ画素があり、全てのＰ個の予測すべき（又はターゲット）ＳＤＲクロミナンス符号語値と仮定すると、対応する係数
［外３１]
及びクロスチャンネルＴＰＢ関数
［外３２]
は、対応する（入力）ＨＤＲ輝度及びクロミナンス符号語値
［外２６]
から（ターゲット）ＳＤＲ輝度符号語値
［外３３]
を予測するために、以下のようにマトリクスの形態に集めることができる。
［外３１]
［外３２]
［外２６]
［外３３]
【0121】
【数26】
【数27】
【0122】
【数28】
【0123】
係数
［外３４]
の解は、閉形式における最小二乗解を介して以下のように得ることができる。
［外３４]
【0124】
【数29】
【0125】
【数30】
【数31】
【数32】
【0126】
一部の動作シナリオでは、ノット又はノット点の位置が予め選択されているか又は固定されている。なお、しかしながら、様々な実施形態では、ノット又はノット点の位置（及び／又は総数）は予め選択又は固定されていてもいなくてもよい。例えば、一部の動作シナリオでは、ノット又はノット点の位置（及び／又は総数）が解の最適性に影響を及ぼし得るため、ノット又はノット点｛ｋｔ｝の位置（及び／又は総数）は、パラメータ／係数
［外３４]
と共に、ＴＰＢクロスチャンネル予測のための全体的な最小化（又は最適化）の問題又は解の一部として適応的に決定され得る。
［外３４]
【0127】
ノット点を適応的に選択することは、ビデオコンテンツの異なるカラーグレード間の又はうちの異なるカラーグレード間のマッピング又は変換の性能及び精度をさらに向上させることができ、多次元ＴＰＢテンソルで用いられる均一に分散されたノット点を予め設定又は事前選択することは、限定されないが、（１）画像メタデータ内の多次元ＴＰＢ基底関数で用いられるノット位置を上流のビデオコンテンツプロセッサが下流のビデオコンテンツプロセッサにシグナリングするか又は送信する必要がなく、画像メタデータを運び且つエンコードするためのビットストリームオーバヘッドが低減されること及び（２）異なるノット点に応答して、デコーダ側でＢスプライン又はＴＰＢ基底関数を再計算する必要がない（さもなければ、フレーム毎に適応的に変更され得る）こと等を含む例示の利点をもたらす。つまり、ノット点が予め設定されているか又は固定されているＴＰＢ基底関数は、実行時間計算負荷及び／又はハードウェア複雑性を低減するために、ロジックにハードワイヤするか又はデコーダ側のデータストアに記憶できる。
【0128】
３つのチャンネル又は次元の全てのそれぞれが同じＴＰＢ基底関数を有する動作シナリオでは、異なるチャンネルのＳマトリクスは以下のように同じである。
【0129】
【数33】
【0130】
デコーダ側では、同じ
［外３５]
マトリクスが計算され、異なるチャンネル又は次元のために異なるＳマトリクスを計算する必要ない。次に、各チャンネルのためのクロスチャンネル予測符号語値は、同じＳマトリクスを対応する予測パラメータ／係数で乗じることによって以下のように得ることができる。
［外３５]
【0131】
【数34】
【数35】
【数36】
【0132】
別の例では、２つのクロマチャンネルは同じＳマトリクスを用いるのに対して、ルーマチャンネルのために異なるＳマトリクスが用いられる。例えば、ルーマチャンネルのためのＳマトリクスは、クロマチャンネルのためのＳマトリクスよりも大きい次元を有する。このような場合、ルーマチャンネルのための予測子係数の数は、ルーマチャンネルのそれぞれのための予測子係数の数よりも大きくなる。
【0133】
効率的なデコーダアーキテクチャ
エクステリアノット点を含むノット又はノット点が均一に分布する場合、Ｂスプライン基底関数は打ち切り多項式の線形結合によって表すことができる。ｎ次の打ち切り多項式は次のように定義され得る。
エクステリアノット点を含むノット又はノット点が均一に分布する場合、Ｂスプライン基底関数は打ち切り多項式の線形結合によって表すことができる。ｎ次の打ち切り多項式は次のように定義され得る。
【0134】
【数37】
【0135】
チャンネルＹ、Ｃ０及びＣ１のためのノット点を｛ｋｔ
ｙ｝、｛ｋｔ
ｃ０｝、｛ｋｔ
ｃ１｝と表記する。ノット点｛ｋｔ
ｙ｝、｛ｋｔ
ｃ０｝、｛ｋｔ
ｃ１｝が均一に分布する場合、２つの連続する（又は隣接する）ノット点毎の距離をそれぞれｈｙ、ｈｃ０及びｈｃ１と表すことができる。単純にするために、各チャンネルのノット点はそれぞれ｛ｋｔ｝及びｈで表記され得る。
【0136】
ｔ番目の一次Ｂスプライン基底関数は、打ち切り多項式の線形結合によって以下のように構成できる。
【0137】
【数38】
［外３６]
［外３７]
［外３８]
［外３７]
【0138】
ｔ番目の二次Ｂスプライン基底関数は、打ち切り多項式の線形結合によって以下のように構成できる。
【0139】
【数39】
［外３９]
［外４０]
［外４１]
［外３１]
［外４０]
【0140】
ｔ番目の三次Ｂスプライン基底関数は、打ち切り多項式の線形結合によって以下のように構成できる。
【0141】
【数40】
【0142】
ここで、
［外４２]
は、［ｋｔ－１ ｋｔ＋２］範囲の間で又は４ｈの間隔でのみ正であるか又サポートされ、そうでなければ、この範囲外ではゼロ（０）である。式（３８）に示すように、三次Ｂスプライン基底関数は、それぞれが入力値（例えば、参照符号語等を近似するターゲット符号語を予測するために用いられる入力又はソース符号語等）とそれぞれのノット点との差で乗算したそれぞれのノット乗算係数（ｃｉと表記され、ｉは、０と４との間の整数を表す）を含む５つの項を含む。例えば、式（３８）の第１項の第１のノット乗算係数は
［外４３]
であり、式（３８）の第２項の第２のノット乗算係数は―
［外４４]
であり、式（３８）の第３項の第３のノット乗算係数は
［外４５]
であり、式（３８）の第４項の第４のノット乗算係数は
［外４４]
であり、式（３８）の第５項の第５のノット乗算係数は
［外４３]
である。
［外４２]
［外４３]
［外４４]
［外４５]
［外４４]
［外４３]
【0143】
Ｂスプライン基底関数のためのこれらの多項式を有することにより、エンコーダ、デコーダ、トランスコーダ等のビデオコンテンツプロセッサは、Ｂスプライン基底関数のために多項式を用い、Ｂスプライン基底関数を再帰的に得ることを回避することができる。これは、再帰的Ｂスプライン式を実施することは比較的複雑であり得るため、ハードウェアの実施を簡素化する。再帰式は、計算及び記憶するのに比較的長い時間及び比較的大きなメモリ容量を必要とする可能性も高い。打ち切り多項式は、不均一な（例えば、適応的等）ノット点を有することの柔軟性をトレードすることにより、計算を節約するために用いることができる。
【0144】
加えて、任意で又は代替的に、ｎ次Ｂスプライン基底関数
［外４６]
は、（ｎ＋１）ｈ間隔を交差させることにより正である。点ｘが与えられた場合、（ｎ＋１）基底関数のみが、点ｘをカバーする範囲にわたってサポートを又は正である可能性のある値を含む。その結果、これらの（ｎ＋１）基底関数のみが所与の点ｘのためにアクティブになる。所与の点ｘは残りの基底関数が非ゼロの範囲外にあるため、所与の点ｘでは、残りの基底関数はゼロ（０）である。３つのカラーチャンネル又は次元のＴＰＢ基底関数を構築するために、全てのＢスプライン基底関数ではなく、むしろ（ｎ＋１）３Ｂスプライン基底関数のみがアクティブになる。これは、Ｂスプライン基底関数の（元の）総数（Ｄｙ＝Ｄ０
ｙ・Ｄ１
ｙ・Ｄ２
ｙ）からの潜在的に多数の乗算を大幅に低減する。
［外４６]
【0145】
デコーダの実施
図１Ｂは、１つ以上のコンピュータプロセッサを有するビデオコンテンツプロセッサ（例えば、デコーダ、エンコーダ、トランスコーダ等）で実施され得る、ＴＰＢクロスチャンネル予測のための例示の処理ブロックを示す。これらの処理ブロックの一部又は全部は、ハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組み合わせで実施され得る。
図１Ｂは、１つ以上のコンピュータプロセッサを有するビデオコンテンツプロセッサ（例えば、デコーダ、エンコーダ、トランスコーダ等）で実施され得る、ＴＰＢクロスチャンネル予測のための例示の処理ブロックを示す。これらの処理ブロックの一部又は全部は、ハードウェア、ソフトウェア又はハードウェアとソフトウェアとの組み合わせで実施され得る。
【0146】
ブロック１９２は、各チャンネル又は次元においてＢスプライン基底関数
［外４６]
を準備し、Ｙチャンネル又は次元で各基底関数からＤｙの異なる値を出力し、Ｃｂチャンネル又は次元で各基底関数からＤｃｂの異なる値を出力し、Ｃｒチャンネル又は次元で各基底関数からＤｃｒの異なる値を出力するＴＰＢ基底生成演算を含む。各チャンネル又は次元には（ｎ＋１）の非ゼロ値しかないため、非ゼロ信号又は値のみを出力すれば、３チャンネル又は寸法からは３＊（ｎ＋１）の非ゼロ信号又は値しかない。このブロックにおける動作は、Ｂスプライン基底関数のノット点が予め設定されているか、固定されているか又は利用可能である限り、ビデオコンテンツ又は画像メタデータが受信されるのを待つことなく、予め設定されいるか、固定されいるか及び／又は予め実行され得る。
［外４６]
【0147】
ブロック１９４は、一次元Ｂスプライン基底関数からのクロス積乗算を行って、以下のようにより高次元のＴＰＢ基底関数を構築するＴＰＢクロス積演算を含む。
【0148】
【数41】
【数42】
【0149】
各チャンネル又は次元には（ｎ＋１）の非ゼロ値があるため、（ｎ＋１）３の乗算及びブロック１９４から（ｎ＋１）３の出力がある。このブロックでの動作は固定され得るが、ＴＰＢ予測に使用されるインデックス（又は複数のインデックス）は追跡する必要があり得る。
【0150】
ブロック１９６は、ブロック１９４から出力された非ゼロ値を、受信されたビデオ信号でビデオコンテンツと共に届けられた画像メタデータ（例えば、コンポーザーメタデータ）から読み出された予測パラメータ／係数
［外４７]
で乗算するＴＰＢ係数乗算動作を含む。最終予測値
［外６]
［外４８]
及び
［外４９]
を生成するために、各高次元基底関数を重み付けする（ｎ＋１）３の乗法と、全ての値を合計する加算があり、以下のようになる。
［外４７]
［外６]
［外４９]
【0151】
【数43】
【数44】
【0152】
ブロック１９６における動作は、基底インデックス及びパラメーターインデックスを動的に識別及び／又は割り当て得る。
【0153】
【0154】
図１Ｃは、ＴＰＢ基底関数出力を表すテンソル積を生成するために用いることができるＢスプライン基底関数出力の生成の例示の方程式ベースの実施を示す。一部の動作シナリオでは、図１Ｃの方程式ベースの実施は、一次～三次Ｂスプライン基底関数のための式（３６）～（３８）のいずれかに基づき得る。一部の動作シナリオでは、図１Ｃの方程式ベースの実施は、一次～三次以外の次数のＢスプライン基底関数のための式（３６）～（３８）と同様の打ち切り多項式に基づき得る。
【0155】
図１Ｃに示すように、ｔ番目のＢスプライン基底関数（上記式（２４）でＴＰＢ基底関数を形成するために用いられ得る）の出力値は、入力ｘ（例えば、色空間のチャンネル又は次元における参照符号語を近似するターゲット符号語が少なくとも部分的に基づいて予測される入力又はソース符号語等）及び（例えば、固定等の）ノット点ｋｔ，ｉ等のＢスプライン基底関数パラメータ及びノット乗算パラメータｃｉを用いて計算することができる。そして、対応するＴＰＢ基底関数の出力値はＢスプライン基底関数の出力値のテンソル積として生成することができる。
【0156】
一部の動作シナリオでは、図１Ｃの方程式ベースの実施は、並列で実行される比較的多数のインスタンス又はスレッドにインスタンス化できる。一部の動作シナリオでは、ハードウェア（例えば、この方程式ベースのアプローチを実施する処理ロジック又はプロセッサ等）が比較的高い周波数で動作する場合、異なる基底関数パラメータをロードすることにより、図１Ｃの方程式ベースの実施を、例えば単一のスレッド又は比較的少数のスレッドで再利用できる。
【0157】
図１Ｄに示すように、各Ｂスプライン基底関数の出力はローカルレジスタに記憶できる。上述したように、対応する数のＢスプライン基底関数からは（ｎ＋１）の非ゼロ出力しかない。そのため、与えられた入力値xに対して、（ｎ＋１）の基底関数の出力を完了するだけでよい。
【0158】
選択された（ｎ＋１）の非ゼロ出力は、内部ノット点の数が２プラス１のべき乗であれば、最上位ビット又はＭＳＢを用いて素早くインデックス化することができる。次に、２つ（例えば、連続する、隣接する等）の内部ノット点｛ｋｔ，ｉ｝の間の間隔は単純に２のべき乗である。特定の出力及び非ゼロ出力の数は、ＭＳＢビットを用いて単純に識別できる。
【0159】
加えて、任意で又は代替的に、Ｂスプライン基底関数の出力は、方程式ベースの実施に加えて又はその代わりに、ルックアップテーブルベース（ＬＵＴ）のものであってもよい。例えば、一部の動作シナリオでは、１Ｄ Ｂスプライン基底関数毎に１Ｄ－ＬＵＴを構築できる。例えば、いくつかのＬＵＴエントリ（例えば、Ｄ０
ｙ＋Ｄ１
ｙ＋Ｄ２
ｙの合計等）の数が各チャンネル又は次元のためにそれぞれ記憶され得る。キャッシュ又はメモリ容量が比較的十分に大きい場合、Ｄｙの基底関数の全てのためのエントリが同時に記憶され得る。なお、均一に分布したノット点により、各チャンネル又は次元に沿ったＢスプライン基底関数は、図３Ａ～図３Ｄに示すＢスプライン基底関数のうちの１つを単純にシフトしたバージョンである。この特性は、ハードウェア及びソフトウェア設計の双方及びメモリ容量及び計算の両方において、比較的効率的な解決策を可能にするために利用され得る。Ｂスプライン関数の出力は、複数のオフセットに基づいて入力にシフト演算を適用することによって生成され得る。結果として、１Ｄ－ＬＵＴは、全入力値（例えば、信号、符号語等）範囲全体をカバーする代わりに、（ｎ＋１）ｈの間隔をカバーするだけでよく、それにより必要とされるＬＵＴエントリの数を大幅に低減することができる。追加又は実施するための唯一の追加のロジックは、オフセットのシフト演算であり得る。ハードウェア又はプロセッサが比較的高い周波数で動作可能な場合、同じチャンネル又は次元における異なるＢスプライン基底関数の出力の生成は、同じ処理ロジックを例えば異なるオフセットと共有できる。
【0160】
【0161】
図１Ｅは、並列モードにおけるＴＰＢクロス積動作の例を示す。図１Ｅに示すように、チャンネル又は次元毎に、（ｎ＋１）の出力が各チャンネルのＢスプライン基底関数から生成される。チャンネル又は次元毎に、ブロック１９４におけるＴＰＢクロス積動作は、それぞれの（ｎ＋１）の出力に対して（ｎ＋１）３の乗算を行い、乗算（又はテンソル積）の結果をＴＰＢクロス積出力（例えば、式（２４）に示されるように）として、例えば出力レジスタに記憶する。次に、ＴＰＢクロス積出力は、式（３４）を用いて、例えばビデオ信号で受信されるか又はビデオ信号からデコードされた画像メタデータからの予測係数（例えば、
［外５０]
等）と乗算するために（例えば、エンコーダ生成、上流のビデオコンテンツプロセッサによる生成等）ブロック１９６に提供される。
［外５０]
【0162】
図１Ｆは、シリアル又はシーケンシャルモードにおける例示のＴＰＢクロス積動作を示す。図１Ｆに示すように、比較的高周波数の処理ロジックでＴＰＢクロス積動作を比較的高速に行うことができる場合、ブロック１９４におけるＴＰＢクロス積動作とブロック１９６におけるＴＰＢ係数乗算動作とを併合することができる。ハードウェア能力及びフットプリントに応じて、（ｎ＋１）３の項をＮ個（Ｎは正の整数）のグループに分割することができ、Ｎ個のグループのそれぞれは、例えば、「ｆｏｒ」ループで（ｎ＋１）３/Ｎ回繰り返すことによりＴＰＢクロス積動作及び対応するＴＰＢ係数乗算を完了するために自身の乗数を有する。Ｎは、限定されないが、速度、ダイサイズ、クロック周波数等を含む特定の設計性能ターゲットを実現するためのハードウェア設計パラメータを表す。
【0163】
図１Ｇ及び図１Ｈは、ビデオコンテンツの参照コードグレード１６０における参照符号語を近似するＴＰＢ予測（例えば、ターゲット、マッピング等）符号語を含むターゲット又はマップカラーグレードを生成するために、ＴＰＢ予測をビデオコンテンツの入力又はソースカラーグレード１５８に適用するための例示のフローチャートを示す。ビデオコンテンツの参照コードグレード（１６０）に近似する入力又はソースコードグレード（１５８）から予測されるターゲット又はマップカラーグレードを生成するために、図１Ｇ及び図１Ｈのものと同様のフローチャートがエンコーダ側で実施され得る。これらのフローチャートの一部又は全ては、ソフトウェア、ハードウェア、ソフトウェアとハードウェアとの組み合わせ等で実施してもよく、１つ以上のコンピュータプロセッサによって行われてもよい。
【0164】
単なる例示として、カラーグレード（１５８）及び（１６０）は、ＹＣｂＣｒ色空間における４：２：０等のサブサンプリング形式でコード化され得る。４：２：０のサブサンプリング形式では、クロマ又はクロミナンス符号語（Ｃｂ及びＣｒ）はルーマ又はルミナンス符号語の４分の１サイズである。ＴＰＢクロスチャンネル予測等のクロスカラーチャンネル予測を行うために、符号語のサイズ（又は寸法）は、全ての入力又はソースカラーチャンネルに対して整列（例えば、適宜アップサンプリング、適宜ダウンサンプリング等）され得る。
【0165】
図１Ｇに示すように、ＴＰＢルミナンス予測のために、ソースカラーグレード（１５８）のクロマ又はクロミナンス符号語（Ｃｂ／Ｃｒ）が処理ブロック１６４によりアップサンプリングされ得る。アップサンプリングされたクロマ符号語は、処理ブロック（１６４）によってＴＰＢ輝度予測ブロック１６６に出力される。アップサンプリングされたクロマ符号語は、参照カラーグレード（１６０）におけるルーマ又は輝度符号語を近似するマッピングされた又は再整形されたルーマ又は輝度符号語を予測するために、同じサイズ（又は次元）のソースコードグレード（１５８）のルーマ又は輝度符号語（Ｙ）との組み合わせでＴＰＢ輝度予測ブロック（１６６）によって用いられ得る。
【0166】
図１Ｇに示すように、ＴＰＢクロマＣｂ予測のために、ソースカラーグレード（１５８）のルーマ符号語（Ｙ）は、処理ブロック１６２によってダウンサンプリングされ得る。ダウンサンプリングされたルーマ符号語は、処理ブロック（１６２）によってＴＰＢクロマＣｂ予測ブロック１６８に出力される。ダウンサンプリングされたルーマ符号語は、参照カラーグレード（１６０）におけるクロマＣｂ符号語を近似するマッピングされた又は再整形されたクロマＣｂ符号語を予測するために、同じサイズ（又は次元）のソースコードグレード（１５８）のクロマ符号語との組み合わせでＴＰＢクロマＣｂ予測ブロック（１６８）によって用いられ得る。
【0167】
図１Ｇに示すように、ＴＰＢクロマＣｒ予測のために、ダウンサンプリングされたルーマ符号語は、処理ブロック（１６２）によってＴＰＢクロマＣｒ予測ブロック１７０に出力される。ダウンサンプリングされたルーマ符号語は、参照カラーグレード（１６０）におけるクロマＣｒ符号語を近似するマッピングされた又は再整形されたクロマＣｒ符号語を予測するために、同じサイズ（又は次元）のソースコードグレード（１５８）のクロマ符号語との組み合わせでＴＰＢクロマＣｒ予測ブロック（１７０）によって用いられ得る。
【0168】
一部の動作シナリオでは、図１Ｈに示すように、ソースカラーグレード（１５８）の（例えば、処理ブロック１６２－１及び１６２－２等で）ダウンサンプリングされたルーマ符号語から導出されたダウンサンプリングされたルーマ符号語のみが、全てのチャンネルのためのＴＰＢ予測及びＴＰＢ予測パラメータ又は係数を得るために、全体的なＴＰＢ予測ブロック１７２によって用いられる。これは、輝度ダウンサンプリングのみが用いられるため、メモリ消費が大幅に低減される。
【0169】
一部の動作シナリオでは、エンコーダ側で、ＴＰＢ予測パラメータ又は係数は、マッピングされたか又は再整形されたルーマ/クロマ符号語間の差を、参照カラーグレード（１６０）の整列された（例えば、適宜アップサンプリングされたか、適宜ダウンサンプリングされた）ルーマ／クロマ符号語で最小化する解決策として、ＴＰＢ予測ブロック（例えば、１６６、１６８、１７０、１７２等）によって生成され得る。ＴＰＢ予測パラメータ又は係数は、画像メタデータの一部（例えば、コンポーザーメタデータ）として、下流のビデオコンテンツプロセッサへのビデオ信号にエンコードすることができる。
【0170】
一部の動作シナリオでは、デコーダ側で、ＴＰＢ予測パラメータ又は係数は、画像メタデータの一部としてビデオ信号から下流の受信装置によってデコードされ得る。ソースカラーグレード（１５８）のデコードされたバージョンも、ビデオ信号から装置によってデコードされ得る。ＴＰＢ予測パラメータ又は係数は、参照カラーグレード（１６０）に密に近似する再構成されたカラーグレードを表すマッピング又は再整形された画像を生成するために装置によって用いられ得る。マッピング又は再整形された画像は、ソースカラーグレード（１５８）のデコードされたバージョンとは異なるカラーグレードとして、ディスプレイ装置上でレンダリングされ得る。
【0171】
加えて、任意で又は代替的に、一部の動作シナリオでは、ノット点の総数及びＢスプライン次数は、ルーマ及びクロマチャンネルの両方で同じであり、計算をさらに低減できる。例えば、図１Ｂに示す３段階の実施では、２つの段階、すなわち、ＴＰＢ基底生成及びＴＰＢクロス積は、３つのチャンネル又は次元の全てで同じである。そのため、チャンネル間での唯一の違いは、単一の段階でのＴＰＢ係数乗算に用いられる異なるＴＰＢ予測パラメータ／係数である。なお、一部の他の実施形態又は実施では、性能及び/又は精度を実現する上で追加の柔軟性又はトレードオフを提供するために、異なるカラーチャンネルでノットの数が異なり得る。
【0172】
３ＤＭＴベースＴＰＢ予測
一部の動作シナリオでは、ＴＰＢ予測は、３Ｄマッピングテーブル（３ＤＭＴ）技術に基づいて生成される符号語ヒストグラム又は分布を用いて実施され得る。
一部の動作シナリオでは、ＴＰＢ予測は、３Ｄマッピングテーブル（３ＤＭＴ）技術に基づいて生成される符号語ヒストグラム又は分布を用いて実施され得る。
【0173】
ビデオコンテンツの第１のカラーグレードのＨＤＲ画像等の第１の画像（例えば、入力又はソース画像等）からのｉ番目の画素の第１のルーマ及びクロマ符号語を含む第１の３Ｄアレイが
［外５１]
であるとする。ビデオコンテンツの第２のカラーグレードのＳＤＲ画像等の第２の画像（第１の画像に対応するか又は第１の画像と同じ視覚的コンテンツを描写する、例えば参照画像等）からのｉ番目の画素の第２のルーマ及びクロマ符号語を含む第２の３Ｄアレイが
［外５２]
であるとする。
［外５１]
［外５２]
【0174】
第１のカラーグレードの画像コンテンツを表すために用いられる３つのチャンネルのルーマ及びクロマ符号語値（Ｙ、Ｃ０及びＣ１）は、各チャンネル又はコンポーネントのために固定数の１Ｄビン（例えば、第１の固定数Ｑｙのルーマビン、第２の固定数Ｑｃ０のクロマＣｂビン、第３の固定数Ｑｃ１のクロマＣｂビン等）にそれぞれカウントされるか又は量子化され得る。固定数の（Ｑｙ×ＱＣ０×ＱＣ１）３Ｄビンを有する、ΩＱ，ｖ（ここで、Ｑ＝［Ｑｙ，ＱＣ０，ＱＣ１）と表記される３Ｄヒストグラムは、第１のカラーグレードの１Ｄビンを用いて構成され得る。一部の動作シナリオでは、第１のカラーグレードをエンコードするための全ての可能なルーマ及びクロマ符号語値を含む第１の３チャンネルのルーマ及び符号語クロマ空間は、各チャンネルが固定数の１Ｄビン（例えば、第１の固定数Ｑｙのルーマビン、第２の固定数Ｑｃ０のクロマＣｂビン、第３の固定数Ｑｃ１のクロマＣｂビン等）に均一に分割された（Ｑｙ×ＱＣ０×ＱＣ１）３Ｄビンに均一に分割され得る。
【0175】
そのため、３ＤヒストグラムΩＱ，ｖは、各３Ｄビンがそれぞれのビンインデックスｑ=ｑｙ，ｑＣ０，ｑＣ１により指定できるように、合計（Ｑｙ・ＱＣ０・ＱＣ１）ビンを含み、ビンは、３Ｄビンの境界内に入る３チャンネル量子化値を有する（第１のカラーグレードの）第１の画像の画素数のカウントを表すか又は維持する。
【0176】
加えて、（第２のカラーグレードの、例えば、第１の画像のマッピングされた画像によって近似される参照画像等）第２の画像の各色成分の合計は、３ＤヒストグラムΩＱ，ｖの各３Ｄビンで又はために維持され得る。各３Ｄビンが、第２の画像の画素のルーマ及びクロマ（Ｃ０及びＣ１）符号語値の合計を含むように（第２の画像の画素は、そのカウントが同じ３Ｄビンに記憶される第１の画像の画素に対応する）、
［外５３]
［外５４]
及び
［外５５]
がそれぞれ第２の画像ドメインにおける（参照）ルーマ及びクロマ符号語の合計であるとする。
［外５３]
［外５５]
【0177】
第１及び第２画像のそれぞれはＰ個の画素を有すると仮定する。第１のカラーグレードの第１の画像の画素のカウントと、第２のカラーグレードの第２の画像の（第１の画像の画素に対応する）画素の符号語値の合計とを有する３Ｄビンを生成する例示の手順を以下の表４に示す。
【0178】
【表4】
【0179】
［外５６]
が、３ＤヒストグラムΩＱ，ｖのｑ番目のＳＤＲビンの中央を表すとする。これらの中央の値は第１のカラーグレードの全ての画像のために固定されており、予め計算することができる。中央の値が近似される対応する参照又はターゲットＨＤＲ値は、以下の表５に示す例示の手順を用いて得られ得る。
【0180】
【表5】
【0181】
一部の動作シナリオでは、３ＤヒストグラムΩＱ，ｖにおいて、それぞれ第１のカラーグレードの第１の画像の画素のための画素カウントが非ゼロの３Ｄビンが特定及び維持される一方で、それぞれ第１のカラーグレードの第１の画像の画素のための画素カウントがゼロの（又は所与の画素カウント閾値を下回る比較的小さい画素カウントの）他の３Ｄビンの全ては破棄される。ｑ０, ｑ１, ．．．ｑｋ－１をｋ個のそのようなビンであるとする
［外５７]
。
［外５８]
の平均値は、以下の表６に示す例示の手順を用いて計算できる。
［外５７]
［外５８]
【0182】
【表6】
【0183】
所与の有効なビンインデックス（例えば、画素カウントが非ゼロのビンインデックス等）の場合、第１のカラーグレードの第１の画像の（ビンインデックスを有する３Ｄビンの中央の値によって表される）マッピングすべきルーマ及びクロマ符号化値と、マッピングされた画像によって近似されるべき第２のカラーグレードの第２の画像の（対応する画素のルーマ及びクロマ符号語値の合計の平均によって表される）参照ルーマ及びクロマ符号語値とを含むマッピング対は以下のように得られ得る。
【0184】
【数45】
【数46】
【0185】
３ＤＭＴ（又はその下で生成された３Ｄビン）に基づいて、式（４１－２）で表される参照値を近似するために、式（４１－１）で表される３Ｄビンの中央の値からのマッピングされた値
［外５９]
のＴＰＢクロスチャンネル予測は、以下のように行われる。
［外５９]
【0186】
【数47】
【数48】
【0187】
ＴＰＢ予測子パラメータ又は係数
［外６０]
は、個々の画素ベースの解におけるものと同様の処理を介して得ることができる。設計マトリクス及びターゲットベクトルは、全ての有効な３Ｄビンについての全てのマッピング対（例えば、上述の式４１等）を含むマッピングテーブルから入力値を取ることによって構築できる。
［外６０]
【0188】
ＴＰＢルーマ予測の場合、設計マトリクス及びターゲットベクトルは以下のように構築できる。
【0189】
【数49】
【数50】
【0190】
ＴＰＢクロマ予測の場合、設計マトリクス及びターゲットベクトルは以下のように構築できる。
【0191】
【数51】
【数52】
【0192】
ＴＰＢ予測パラメータ又は係数の解は、最小二乗解を用いて、以下のように得ることができる。
【0193】
【数53】
【数54】
【0194】
３ＤＭＴベースのＴＰＢ予測技術は、比較的速い計算速度を提供するために用いることができる。各画像対に対する全てのＰ個の個々の画素からＢ及びａマトリクスを構築する代わりに、３Ｄビンに基づくマッピング対を含むマッピングテーブルからのｋ個のエントリが使用されてもよい。一部の動作シナリオでは、ｋは（数百万以上の範囲であり得るＰよりもはるかに小さい）数千の範囲内に維持されるか、制約されるか又は選択され得る。計算における節約の桁は３であり得る。
【0195】
加えて、任意で又は代替的に、３ＤＭＴベースのＴＰＢ予測技術を使用して、同じ画像内の比較的小さな画像領域／エリアを犠牲にして、画像内の比較的大きな画像領域／エリアを有利にするか又は過度に重み付けし得る多数派及び少数派（majority-and-minority）の問題を緩和又は防止するために用いることができる。３Ｄビンで表される各色の立方体に比較的公平な重みを持たせることにより、色のアーチファクトを低減し、色の精度を高めるのに役立つ。
【0196】
シーン／セグメント／線形ベースＴＰＢ予測
本明細書で説明するＴＰＢ予測は、シーンベース、セグメントベース及び／又は線形ベースのエンコーディングアーキテクチャを用いて行われ得る。
本明細書で説明するＴＰＢ予測は、シーンベース、セグメントベース及び／又は線形ベースのエンコーディングアーキテクチャを用いて行われ得る。
【0197】
シーンベースのアーキテクチャを用いて、ビデオ信号のビデオコンテンツにおいて描写される１つのシーンにＦ個の画像／フレームがあると仮定すると、このシーン内の全てのフレームからの全てのＢ及びａは以下のように合計され得る。
【0198】
【数55】
【数56】
【0199】
なお、様々な実施形態では、式（４９）又は（５０）におけるＢ及びａは、ビデオコンテンツの異なるカラーグレード間のピクセルベースの又は３ＤＭＴベースのマッピングデータのいずれかから構築され得る。
【0200】
Ｂマトリクスは、全ゼロ（又は個々に又はセット的に閾値を下回る比較的小さな値）を含む列（及び行）を含む、不明瞭な条件にあり得るため、これらの列（及び行）は、例えば、以下の表７に示す例示の手順を用いてＢマトリクスから取り除かれ得る。
【0201】
【表7-1】
【表7-2】
【0202】
同様に、マトリクスａは、マトリクスＢから特定され且つ除外される列（及び行）に対応する行を有する不明瞭な条件にあり得るため、マトリクスａにおけるこれらのエントリは取り除かれ得る。マトリクスaにおけるこれらのエントリを特定するための例示の手順は、以下の表８に示される。
【0203】
【表8】
【0204】
シーンベースのＴＰＢ予測の解は以下の通りである。
【0205】
【数57】
【0206】
（Ｂマトリックスから特定され且つ除外された列／行に対応するものを含む）全てのＴＰＢ予測パラメータ又は係数を生成するための例示の手順を以下の表９に示す。
【0207】
【表9】
【0208】
一部の実施形態では、このシーンベースのＴＰＢ予測方法は、静的ＴＰＢマッピングを特定するか又は導出するために、トレーニング画像対を追加するために適用され得る。
【0209】
加えて、任意で又は代替として、ＴＰＢ予測を行うためにセグメントベース及び／又は線形ベースのエンコーディングアーキテクチャが用いられ得る。例えば、一部の動作シナリオでは、上述のシーンベースのＴＰＢ予測技術で用いたもの同様の技術で、スライディングウィンドウアプローチがセグメント／線形ベースのアーキテクチャで用いられる。シーンベースのＴＰＢ予測技術等は、「シーン」をスライディングウィンドウとして又は逆として単に取り扱うことによりスライディングウィンドウで適用することができる。
【0210】
画像メタデータエンコーディング／デコーディングシンタックス及びセマンティクス
ＴＰＢ予測パラメータ又は係数を含む画像メタデータをエンコード及び／又はデコードするために、広範なシンタックス及びセマンティクスが用いられ得る。ＴＰＢパラメータ又は係数を含む画像メタデータをエンコーディング／デコーディングするための例示のシンタックス及びセマンティクスを以下の表１０に示す。
ＴＰＢ予測パラメータ又は係数を含む画像メタデータをエンコード及び／又はデコードするために、広範なシンタックス及びセマンティクスが用いられ得る。ＴＰＢパラメータ又は係数を含む画像メタデータをエンコーディング／デコーディングするための例示のシンタックス及びセマンティクスを以下の表１０に示す。
【0211】
【表10】
【0212】
表１０において、「ｘ」及び「ｙ」は、画像／フレームが分割される画像ブロックの二次元インデックスを表し、「ｃｍｐ」は、ＴＰＢパラメータが関連する色空間成分又はチャンネルの数を表す。
【0213】
表１０におけるコーディングシンタックスで用いられるルーピング変数の一部は、次のように定義される。
【0214】
【表11】
【0215】
表１０のコーディングシンタックスでエンコード／デコードされる一部の（例えば、インデックスゴロムコード等として差分符号化で表される）要素のセマンティクスは以下のように定義される。
－tpb_num_not_minus１[y][x][cmp][k]は、ｋ番目のチャンネルにおける１を差し引いたノットの数を規定する。
－tpb_order_minus１[y][x][cmp][k]は、１を差し引いたＴＰＢ次数を規定する。
－tpb_zero_coef[y][x][cmp][i][j][k]は、係数がゼロかどうかを規定する。
－tpb_int[y][x][cmp][i][j][k]は、coefficient_data_type＝０の場合にfp_ tpb_coef[y][x][cmp][i][j][k]の整数部分を規定する。coefficient_data_type＝１の場合、tpb_int[y][x][cmp][i][j][k]は存在しない。（例えば、fp_tpb_coef[y][x][cmp][i][j][k]は、coefficient_data_type＝０の場合に、mapping_idc[y][x][cmp]に関連する対応するＴＰＢ基底関数iの重み係数（例えば、ｍＴＰＢ，ｙ，（ｏｐｔ）、ｍＴＰＢ，Ｃ０，（ｏｐｔ）、ｍＴＰＢ，Ｃ１，（ｏｐｔ）等）を導出するために用いられ得る。）
－tpb_coef[y][x][cmp][i]は、coefficient_data_type＝０の場合に、fp_tpb_coef[y][x][cmp][i][j][k]の分数部分を規定する。coefficient_data_type＝１の場合、tpb_coef[y][x][cmp][i][j][k]は、mapping_idc[y][x][cmp]に関連する利得係数又は重み係数を導出するために用いられる。coefficient_data_type＝０の場合、tpb_coef[y][x][cmp][i][j][k]シンタックス要素の長さは、coefficient_log2_denomビットである。coefficient_data_type＝１の場合、tpb_coef[y][x][cmp][i][j][k]シンタックス要素の長さは３２ビットである。mapping_idc[y][x][cmp]に関連する正規化における利得係数又は重み係数の値は以下のように導出される。
・coefficient_data_type＝０の場合、重み係数又は利得係数の値は、fp_ tpb_coef[y][x][cmp][i][j][k] =（tpb_int[y][x][cmp][i][j][k] << coefficient_log2_denom） + tpb_coef[y][x][cmp][i][j][k]と等しく、ここで、「<<」はシフト演算を表す。
・coefficient_data_type＝１の場合、重み付け係数又は利得係数の値はtpb_coef[y][x][cmp][i][j][k]と等しい。
－tpb_num_not_minus１[y][x][cmp][k]は、ｋ番目のチャンネルにおける１を差し引いたノットの数を規定する。
－tpb_order_minus１[y][x][cmp][k]は、１を差し引いたＴＰＢ次数を規定する。
－tpb_zero_coef[y][x][cmp][i][j][k]は、係数がゼロかどうかを規定する。
－tpb_int[y][x][cmp][i][j][k]は、coefficient_data_type＝０の場合にfp_ tpb_coef[y][x][cmp][i][j][k]の整数部分を規定する。coefficient_data_type＝１の場合、tpb_int[y][x][cmp][i][j][k]は存在しない。（例えば、fp_tpb_coef[y][x][cmp][i][j][k]は、coefficient_data_type＝０の場合に、mapping_idc[y][x][cmp]に関連する対応するＴＰＢ基底関数iの重み係数（例えば、ｍＴＰＢ，ｙ，（ｏｐｔ）、ｍＴＰＢ，Ｃ０，（ｏｐｔ）、ｍＴＰＢ，Ｃ１，（ｏｐｔ）等）を導出するために用いられ得る。）
－tpb_coef[y][x][cmp][i]は、coefficient_data_type＝０の場合に、fp_tpb_coef[y][x][cmp][i][j][k]の分数部分を規定する。coefficient_data_type＝１の場合、tpb_coef[y][x][cmp][i][j][k]は、mapping_idc[y][x][cmp]に関連する利得係数又は重み係数を導出するために用いられる。coefficient_data_type＝０の場合、tpb_coef[y][x][cmp][i][j][k]シンタックス要素の長さは、coefficient_log2_denomビットである。coefficient_data_type＝１の場合、tpb_coef[y][x][cmp][i][j][k]シンタックス要素の長さは３２ビットである。mapping_idc[y][x][cmp]に関連する正規化における利得係数又は重み係数の値は以下のように導出される。
・coefficient_data_type＝０の場合、重み係数又は利得係数の値は、fp_ tpb_coef[y][x][cmp][i][j][k] =（tpb_int[y][x][cmp][i][j][k] << coefficient_log2_denom） + tpb_coef[y][x][cmp][i][j][k]と等しく、ここで、「<<」はシフト演算を表す。
・coefficient_data_type＝１の場合、重み付け係数又は利得係数の値はtpb_coef[y][x][cmp][i][j][k]と等しい。
【0216】
例示のプロセスフロー
図４Ａは、本発明の一実施形態に係る例示のプロセスフローを示す。一部の実施形態では、１つ以上のコンピューティング装置又はコンポーネント（例えば、エンコーディング装置／モジュール、トランスコーディング装置／モジュール、デコーディング装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュール、逆マッピング生成及びアプリケーションシステム等）がこのプロセスフローを行い得る。ブロック４０２で、画像処理システムはテンソル積Ｂスプライン（ＴＰＢ）基底関数のセットを決定する。
図４Ａは、本発明の一実施形態に係る例示のプロセスフローを示す。一部の実施形態では、１つ以上のコンピューティング装置又はコンポーネント（例えば、エンコーディング装置／モジュール、トランスコーディング装置／モジュール、デコーディング装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュール、逆マッピング生成及びアプリケーションシステム等）がこのプロセスフローを行い得る。ブロック４０２で、画像処理システムはテンソル積Ｂスプライン（ＴＰＢ）基底関数のセットを決定する。
【0217】
ブロック４０４では、画像処理システムは、ソースカラーグレードの１つ以上のソース画像におけるソース画像データから１つ以上のマッピングされた画像において予測画像データを生成するために、ＴＰＢ基底関数のセットと共に用いられるべき選択されたＴＰＢ予測パラメータのセットを生成する。選択されたＴＰＢ予測パラメータのセットは、１つ以上のマッピングされた画像における予測画像データと、参照カラーグレードの１つ以上の参照画像における参照画像データとの間の差を最小化することにより生成される。１つ以上の参照画像は１つ以上のソース画像に対応し、１つ以上のソース画像によって描写されるものと同じ視覚コンテンツを描写する。
【0218】
ブロック４０６では、画像処理システムは、画像メタデータの一部として、１つ以上のソース画像内のソース画像データと共に、選択されたＴＰＢ予測パラメータのセットをビデオ信号にエンコードする。
【0219】
ブロック４０８では、画像処理システムは、ビデオ信号の受信装置で１つ以上のマッピングされた画像が再構築され、レンダリングされるようにする。
【0220】
一実施形態では、ソース画像データ又は参照画像データのうちの少なくとも１つは、色空間のサブサンプリング形式で表される。
【0221】
一実施形態では、１つ以上のソース画像は、メディアプログラム内の視覚シーンを構成する画像、スライディングウィンドウ内で選択される画像、線形セグメント内で選択される画像等のうちの１つを表す。
【0222】
一実施形態では、ＴＰＢ基底関数のセットは、Ｂスプライン基底関数の１つ以上のセットのテンソル積によって生成され、Ｂスプライン基底関数の１つ以上のセットのうちのＢスプライン基底関数の各セットは、色空間の１つ以上のカラーチャンネルのそれぞれのカラーチャンネルに対応する。
【0223】
一実施形態では、Ｂスプライン基底関数の１つ以上のセットのうちのＢスプライン基底関数の少なくとも１つのセットは、特定の次数の完全なＢスプライン基底関数を表す。
【0224】
一実施形態では、Ｂスプライン基底関数の１つ以上のセットは、打ち切り多項式及び均一に分布したノット点のセットを用いて生成されるＢスプライン基底関数のセットを含む。
【0225】
一実施形態では、選択されたＴＰＢ予測パラメータのセットとＴＰＢ基底関数のセットとの組み合わせは、１つ以上のマッピングされた画像における予測画像データを生成するためのクロスチャンネル予測子を表す。
【0226】
一実施形態では、ＴＰＢ予測パラメータのセットは複数のマッピング対を用いて生成され、マッピング対のそれぞれは、ソース画像データから生成された１つ以上のソース符号語の第１のアレイと、参照画像データから生成された１つ以上の参照符号語の第２のアレイとを含む。
【0227】
一実施形態では、複数のマッピング対は、３次元マッピングテーブル（３ＤＭＴ）に基づいて生成される。
【0228】
図４Ｂは、本発明の一実施形態に係る例示のプロセスフローを示す。一部の実施形態では、１つ以上のコンピューティング装置又はコンポーネント（例えば、エンコーディング装置／モジュール、トランスコーディング装置／モジュール、デコーディング装置／モジュール、逆トーンマッピング装置／モジュール、トーンマッピング装置／モジュール、メディア装置／モジュール、予測モデル及び特徴選択システム、逆マッピング生成及びアプリケーションシステム等）がこのプロセスフローを行い得る。ブロック４５２では、ビデオ復号システムは、ビデオ信号から、第１のカラーグレードの１つ以上の第１の画像をデコードする。
【0229】
ブロック４５４では、ビデオデコーディングシステムは、ビデオ信号から、テンソル積Ｂスプライン基底関数のセットと乗算するための選択されたＴＰＢ予測パラメータのセットを含む画像メタデータをデコードする。
【0230】
選択されたＴＰＢ予測パラメータのセットは上流のビデオコンテンツプロセッサによって生成され、選択されたＴＰＢ予測パラメータのセットは、第１のカラーグレードの１つ以上の第１の画像における第１の画像データから１つ以上のマッピングされた画像における予測画像データを生成するために、ＴＰＢ基底関数のセットと共に用いられる。上流のビデオコンテンツプロセッサは、１つ以上のマッピングされた画像における予測画像データと、参照カラーグレードの１つ以上の参照画像における参照画像データとの間の差を最小化することにより、選択されたＴＰＢ予測パラメータのセットを生成した。１つ以上の参照画像は、１つ以上の第１の画像に対応し、１つ以上の第１の画像によって描写されるものと同じ視覚コンテンツを描写する。
【0231】
ブロック４５６では、ビデオデコーディングシステムは、１つ以上の第１の画像から１つ以上のマッピングされた画像を生成するために、ＴＰＢ基底関数のセットと共にＴＰＢ予測パラメータのセットを用いる。
【0232】
ブロック４５８では、ビデオデコーディングシステムは、１つ以上のマッピングされた画像から導出された１つ以上の表示画像をディスプレイ装置でレンダリングさせる。
【0233】
一実施形態では、ビデオデコーディングシステムは、複数のＢスプライン基準関数出力値を生成することと、複数のＴＰＢ基準関数出力値を生成するために、複数のＢスプライン基準関数出力値にクロス積演算を適用することにより、複数のＴＰＢ基準関数出力値のセットを生成することと、ビデオ信号からデコードされたＴＰＢ予測パラメータのセットを複数のＴＰＢ基準関数出力値のセットで乗算して、予測符号語のセットを生成することとを行うようにさらに構成されている。
【0234】
一実施形態では、選択されたＴＰＢ予測パラメータのセットは、ＴＰＢ基底関数のセットにおける対応するＴＰＢ基底関数について、複数の重み係数のうちのそれぞれの重み係数を保持することをサポートするコーディングシンタックスにおいて、複数の重み係数としてエンコードされる。
【0235】
一実施形態では、ディスプレイ装置、モバイル装置、セットトップボックス、マルチメディア装置等のコンピューティング装置は、前述の方法のいずれかを行うように構成されている。一実施形態では、装置はプロセッサを含み、前述の方法のいずれかを行うように構成されている。一実施形態では、非一時的コンピュータ読み取り可能記憶媒体は、１つ以上のプロセッサによって実行されると、前述の方法のいずれかを行わせるソフトウェア命令を記憶する。
【0236】
一実施形態では、コンピューティング装置は、１つ以上のプロセッサと、１つ以上のプロセッサによって実行された場合に前述の方法のいずれかを行わせる命令のセットを記憶する１つ以上の記憶媒体とを含む。
【0237】
なお、本明細書では別個の実施形態を説明しているが、本明細書で説明する実施形態及び／又は部分的な実施形態の任意の組み合わせは、さらなる実施形態を形成するために組み合わされ得る。
【0238】
例示のコンピュータシステムの実施
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネントで構成されるシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の構成可能又はプログラム可能なロジックデバイス（ＰＬＤ）、離散時間又はデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）等の集積回路（ＩＣ）及び／又はこれらのシステム、デバイス又はコンポーネントのうちの１つ以上を含む装置を用いて実施することができる。コンピュータ及び／又はＩＣは、本明細書で説明する、拡張されたダイナミックレンジで画像の適応知覚量子化に関する命令を行うか、制御するか又は実行し得る。コンピュータ及び／又はＩＣは、本明細書で説明する適応知覚量子化プロセスに関連する様々なパラメータ又は値のいずれかを計算し得る。画像及びビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア及びそれらの様々な組み合わせで実施され得る。
本発明の実施形態は、コンピュータシステム、電子回路及びコンポーネントで構成されるシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の構成可能又はプログラム可能なロジックデバイス（ＰＬＤ）、離散時間又はデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）等の集積回路（ＩＣ）及び／又はこれらのシステム、デバイス又はコンポーネントのうちの１つ以上を含む装置を用いて実施することができる。コンピュータ及び／又はＩＣは、本明細書で説明する、拡張されたダイナミックレンジで画像の適応知覚量子化に関する命令を行うか、制御するか又は実行し得る。コンピュータ及び／又はＩＣは、本明細書で説明する適応知覚量子化プロセスに関連する様々なパラメータ又は値のいずれかを計算し得る。画像及びビデオの実施形態は、ハードウェア、ソフトウェア、ファームウェア及びそれらの様々な組み合わせで実施され得る。
【0239】
本発明の特定の実施はコンピュータプロセッサを含み、コンピュータプロセッサは、該プロセッサに本開示の方法を行わせるソフトウェア命令を実行する。例えば、ディスプレイ、エンコーダ、セットトップボックス、トランスコーダ等における１つ以上のプロセッサは、プロセッサにアクセス可能なプログラムメモリ内のソフトウェア命令を実行することにより、上述のＨＤＲ画像の適応知覚量子化に関連する方法を実施し得る。本発明の実施形態は、プログラム製品の形態でも提供され得る。プログラム製品は、データプロセッサによって実行された場合に、データプロセッサに本発明の実施形態の方法を実行させる命令を含む一式のコンピュータ読み取り可能信号を運ぶ任意の非一時的媒体を含み得る。本発明の実施形態に係るプログラム製品は多種多様な形態のいずれかであり得る。プログラム製品は、例えば、フロッピーディスケットを含む磁気データ記憶媒体、ハードディスクドライブ、ＣＤ－ＲＯＭ、ＤＶＤを含む光データ記憶媒体、ＲＯＭ、フラッシュＲＡＭを含む電子データ記憶媒体等の物理媒体を含み得る。プログラム製品上のコンピュータ読み取り可能信号は、任意で圧縮又は暗号化され得る。
【0240】
コンポーネント（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路等）が上記で言及されている場合、別段の指示がない限り、そのコンポーネントへの言及（「手段」への言及を含む）は、本発明の説明した例示の実施形態における機能を行う開示した構造と構造的に同等でないコンポーネントを含む、説明したコンポーネントの機能を行う任意のコンポーネント（例えば、機能的に同等の）を含む、当該コンポーネントの等価物を含むものと解釈すべきである。
【0241】
一実施形態によれば、本明細書で説明する技術は、１つ以上の専用コンピューティング装置によって実施される。専用コンピューティング装置は技術を行うために配線接続されているか又は技術を行うために永続的にプログラムされた１つ以上の特定用途向け集積回路（ＡＳＩＣ）又はフィールドプログラマブルゲートアレイ等のデジタル電子装置を含み得るか又はファームウェア、メモリ、他の記憶装置又は組み合わせのプログラム命令に従って技術を行うようにプログラムされた１つ以上の汎用ハードウェアプロセッサを含み得る。そのような専用コンピューティング装置は、技術を実現するために、カスタムハードワイヤードロジック、ＡＳＩＣ又はＦＰＧＡをカスタムプログラミングと組み合わされ得る。専用コンピューティング装置は、デスクトップコンピュータシステム、ポータブルコンピュータシステム、ハンドヘルドデバイス、ネットワーキングデバイス又は技術を実施するためにハードワイヤード及び／又はプログラムロジックが組み込まれた他の任意の装置であり得る。
【0242】
例えば、図５は、本発明の一実施形態が実施され得るコンピュータシステム５００を示すブロック図である。コンピュータシステム５００は、情報を通信するためのバス５０２又は他の通信メカニズムと、情報を処理するためにバス５０２に連結されたハードウェアプロセッサ５０４とを含む。ハードウェアプロセッサ５０４は、例えば汎用マイクロプロセッサであり得る。
【0243】
コンピュータシステム５００は、プロセッサ５０４によって実行される情報及び命令を記憶するために、バス５０２に連結されたランダムアクセスメモリ（ＲＡＭ）又は他の動的記憶装置等のメインメモリ５０６も含む。メインメモリ５０６は、プロセッサ５０４によって実行される命令の実行の間に一時変数又は他の中間情報を記憶するためにも用いられ得る。そのような命令は、プロセッサ５０４にアクセス可能な非一時的記憶媒体に記憶された場合、コンピュータシステム５００を、命令に指定された動作を実行するようにカスタム化された専用マシンにする。
【0244】
コンピュータシステム５００は、プロセッサ５０４のための静的情報及び命令を記憶するために、バス５０２に連結された読み取り専用メモリ（ＲＯＭ）５０８又は他の静的記憶装置をさらに含む。磁気ディスク又は光ディスク等の記憶装置５１０が設けられ、情報及び命令を記憶するためにバス５０２に連結されている。
【0245】
コンピュータシステム５００は、バス５０２を介して、コンピュータユーザに情報を表示するために、液晶ディスプレイ等のディスプレイ５１２に連結され得る。英数字及び他のキーを含む入力装置５１４は、プロセッサ５０４に情報及びコマンド選択を通信するためにバス５０２に連結されている。別のタイプのユーザ入力装置は、プロセッサ５０４に方向情報及びコマンド選択を通信し、ディスプレイ５１２上でカーソルの動きを制御するためのマウス、トラックボール又はカーソル方向キー等のカーソル制御装置５１６である。この入力装置は、典型的には、装置が平面内の位置を指定できるようにする第１の軸（例えば、ｘ）及び第２の軸（例えば、ｙ）の２つの軸において２つの自由度を有する。
【0246】
コンピュータシステム５００は、コンピュータシステムとの組み合わせで、コンピュータシステム５００を専用マシンにするか又はプログラムするカスタム化されたハードワイヤードロジック、１つ以上のＡＳＩＣ又はＦＰＧＡ、ファームウェア及び／又はプログラムロジックを用いて、本明細書に記載の技術を実施し得る。一実施形態によれば、本明細書に記載の技術は、プロセッサ５０４がメインメモリ５０６に含まれる１つ以上の命令の１つ以上のシーケンスを実行することに応答して、コンピュータシステム５００によって行われる。そのような命令は、記憶装置５１０等の別の記憶媒体からメインメモリ５０６に読み出され得る。メインメモリ５０６に含まれる命令のシーケンスの実行により、プロセッサ５０４は、本明細書に記載のプロセスステップを行う。代替的な実施形態では、ハードワイヤード回路が、ソフトウェア命令の代わりに又はソフトウェア命令との組み合わせで用いられ得る。
【0247】
本明細書で用いられる「記憶媒体」という用語は、マシンを特定の態様で動作させるデータ及び／又は命令を記憶する任意の非一時的媒体をいう。そのような記憶媒体は、不揮発性媒体及び／又は揮発性媒体を含み得る。不揮発性媒体は、例えば、記憶装置５１０等の光ディスク又は磁気ディスクを含む。揮発性媒体は、メインメモリ５０６等の動的メモリを含む。記憶媒体の一般的な形態としては、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ又は他の任意の磁気データ記憶媒体、ＣＤ－ＲＯＭ、他の任意の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、ＲＡＭ、ＰＲＯＭ及びＥＰＲＯＭ、ＦＬＡＳＨ（登録商標）－ＥＰＲＯＭ、ＮＶＲＡＭ、他の任意のメモリチップ又はカートリッジが挙げられる。
【0248】
記憶媒体は、伝送媒体とは異なるが、伝送媒体と共に用いられ得る。伝送媒体は、記憶媒体間の情報の転送に関与する。例えば、伝送媒体は、バス５０２を構成するワイヤを含む同軸ケーブル、銅線及び光ファイバを含む。伝送媒体は、無線波及び赤外線データ通信の間に発生されるもの等の音波又は光波の形態をとることもできる。
【0249】
１つ以上の命令の１つ以上のシーケンスを実行のためにプロセッサ５０４に運ぶ上で、様々な形態の媒体が関与し得る。例えば、命令は、最初に遠隔コンピュータの磁気ディスク又はソリッドステートドライブ上で保持され得る。遠隔コンピュータは、そのダイナミックメモリに命令をロードし、モデムを用いて電話回線を介して命令を送信することができる。コンピュータシステム５００に固有のモデムは電話回線を介してデータを受信し、赤外線送信機を用いてデータを赤外線信号に変換できる。赤外線検出器は、赤外線信号で運ばれたデータを受信でき、適切な回路はバス５０２上にデータを置くことができる。バス５０２はデータをメインメモリ５０６に運び、プロセッサ５０４はメインメモリ５０６から命令を取り出して実行する。メインメモリ５０６によって受信された命令は、任意で、プロセッサ５０４による実行の前又は後のいずれかで、記憶装置５１０に記憶され得る。
【0250】
コンピュータシステム５００は、バス５０２に連結された通信インターフェイス５１８も含む。通信インターフェイス５１８は、ローカルネットワーク５２２に接続されたネットワークリンク５２０への双方向データ通信連結を提供する。例えば、通信インターフェイス５１８は、統合サービスデジタルネットワーク（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム又は対応する種類の電話回線にデータ通信接続を提供するモデムであり得る。別の例として、通信インターフェイス５１８は、互換性のあるＬＡＮにデータ通信接続を提供するためのローカルエリアネットワーク（ＬＡＮ）カードであり得る。無線リンクも実施され得る。そのような実施では、通信インターフェイス５１８は、様々な種類の情報を表すデジタルデータストリームを運ぶ電気信号、電磁信号又は光信号を送受信する。
【0251】
ネットワークリンク５２０は、典型的には、１つ以上のネットワークを介して他のデータ装置にデータ通信を提供する。例えば、ネットワークリンク５２０は、ローカルネットワーク５２２を介してホストコンピュータ５２４に又はインターネットサービスプロバイダ（ＩＳＰ）５２６によって運用されるデータ装置に接続を提供し得る。次に、ＩＳＰ５２６は、現在一般に「インターネット」５２８と呼ばれる世界的なパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク５２２及びインターネット５２８の双方は、デジタルデータストリームを運ぶ電気信号、電磁信号又は光信号を用いる。コンピュータシステム５００への及びからのデジタルデータを運ぶ、様々なネットワークを介した信号及びネットワークリンク５２０上の及び通信インターフェイス５１８を介した信号は伝送媒体の例示の形態である。
【0252】
コンピュータシステム５００は、ネットワーク、ネットワークリンク５２０及び通信インターフェイス５１８を介して、メッセージを送信し、プログラムコードを含むデータを受信できる。インターネットの例では、サーバ５３０は、インターネット５２８、ＩＳＰ５２６、ローカルネットワーク５２２及び通信インターフェイス５１８を介して、アプリケーションプログラムのための要求されたコードを送信し得る。
【0253】
受信されたコードは、それが受信されたときに及び／又は後の実行のために記憶装置５１０若しくは他の不揮発性記憶装置に記憶されたときにプロセッサ５０４によって実行され得る。
【0254】
均等物、拡張、代替物及びその他
上記の詳述では、実施ごとに異なり得る数多くの具体的な詳細を参照して、本発明の実施形態を説明してきた。そのため、本発明のクレームされた実施形態の唯一且つ排他的な指標であって、出願人が意図する本発明のクレームされた実施形態は、本願に由来し、後の訂正を含む、クレームが由来する特定の形式の一式のクレームである。そのようなクレームに含まれる用語について本願において明示的に記載される定義は、クレームで用いられる用語の意味に適用されるものとする。したがって、クレームに明示的に記載されていない限定、要素、特性、特徴、利点又は属性は、そのようなクレームの範囲を決して限定すべきではない。したがって、本明細書及び図面は、制限的な意味ではなく例示的な意味で考えられるべきである。
上記の詳述では、実施ごとに異なり得る数多くの具体的な詳細を参照して、本発明の実施形態を説明してきた。そのため、本発明のクレームされた実施形態の唯一且つ排他的な指標であって、出願人が意図する本発明のクレームされた実施形態は、本願に由来し、後の訂正を含む、クレームが由来する特定の形式の一式のクレームである。そのようなクレームに含まれる用語について本願において明示的に記載される定義は、クレームで用いられる用語の意味に適用されるものとする。したがって、クレームに明示的に記載されていない限定、要素、特性、特徴、利点又は属性は、そのようなクレームの範囲を決して限定すべきではない。したがって、本明細書及び図面は、制限的な意味ではなく例示的な意味で考えられるべきである。
【0255】
列挙される例示の実施形態
本発明は、限定されないが、本発明の実施形態のいくつかの部分の構造、特徴及び機能を説明する以下の列挙される例示の実施形態（ＥＥＥ）を含む、本明細書で説明した形態のいずれかで実施され得る。
本発明は、限定されないが、本発明の実施形態のいくつかの部分の構造、特徴及び機能を説明する以下の列挙される例示の実施形態（ＥＥＥ）を含む、本明細書で説明した形態のいずれかで実施され得る。
【0256】
ＥＥＥ１
テンソル積Ｂスプライン（ＴＰＢ）基底関数のセットを決定することと、
ソースカラーグレードの１つ以上のソース画像におけるソース画像データから１つ以上のマッピングされた画像における予測画像データを生成するために、前記ＴＰＢ基底関数のセットと共に用いられるべき選択されたＴＰＢ予測パラメータのセットを生成することであって、該選択されたＴＰＢ予測パラメータのセットは、前記１つ以上のマッピングされた画像における予測画像データと、参照カラーグレードの１つ以上の参照画像における参照画像データとの間の差を最小化することによって生成され、該１つ以上の参照画像は前記１つ以上のソース画像に対応し、前記１つ以上のソース画像によって描写されるものと同じ視覚コンテンツを描写する、ことと、
前記選択されたＴＰＢ予測パラメータのセットを、前記１つ以上のソース画像におけるソース画像データと共に画像メタデータの一部としてビデオ信号にエンコードすることと、
前記１つ以上のマッピングされた画像が前記ビデオ信号の受信装置で再構築及びレンダリングされるようにすることと、
を含む方法。
テンソル積Ｂスプライン（ＴＰＢ）基底関数のセットを決定することと、
ソースカラーグレードの１つ以上のソース画像におけるソース画像データから１つ以上のマッピングされた画像における予測画像データを生成するために、前記ＴＰＢ基底関数のセットと共に用いられるべき選択されたＴＰＢ予測パラメータのセットを生成することであって、該選択されたＴＰＢ予測パラメータのセットは、前記１つ以上のマッピングされた画像における予測画像データと、参照カラーグレードの１つ以上の参照画像における参照画像データとの間の差を最小化することによって生成され、該１つ以上の参照画像は前記１つ以上のソース画像に対応し、前記１つ以上のソース画像によって描写されるものと同じ視覚コンテンツを描写する、ことと、
前記選択されたＴＰＢ予測パラメータのセットを、前記１つ以上のソース画像におけるソース画像データと共に画像メタデータの一部としてビデオ信号にエンコードすることと、
前記１つ以上のマッピングされた画像が前記ビデオ信号の受信装置で再構築及びレンダリングされるようにすることと、
を含む方法。
【0257】
ＥＥＥ２
前記ソース画像データ又は前記参照画像データの少なくとも１つは、色空間のサブサンプリング形式で表される、ＥＥＥ１の方法。
前記ソース画像データ又は前記参照画像データの少なくとも１つは、色空間のサブサンプリング形式で表される、ＥＥＥ１の方法。
【0258】
ＥＥＥ３
前記１つ以上のソース画像は、メディアプログラムにおける視覚シーンを構成する画像、スライディングウィンドウ内で選択される画像又は線形セグメント内で選択される画像のうちの１つを表す、ＥＥＥ１又は２の方法。
前記１つ以上のソース画像は、メディアプログラムにおける視覚シーンを構成する画像、スライディングウィンドウ内で選択される画像又は線形セグメント内で選択される画像のうちの１つを表す、ＥＥＥ１又は２の方法。
【0259】
ＥＥＥ４
前記ＴＰＢ基底関数のセットは、Ｂスプライン基底関数の１つ以上のセットのテンソル積により生成され、該Ｂスプライン基底関数の１つ以上のセットの各うちのＢスプライン基底関数の各セットは、色空間の１つ以上のカラーチャンネルにおけるそれぞれのカラーチャンネルに対応する、ＥＥＥ１乃至３のいずれかの方法。
前記ＴＰＢ基底関数のセットは、Ｂスプライン基底関数の１つ以上のセットのテンソル積により生成され、該Ｂスプライン基底関数の１つ以上のセットの各うちのＢスプライン基底関数の各セットは、色空間の１つ以上のカラーチャンネルにおけるそれぞれのカラーチャンネルに対応する、ＥＥＥ１乃至３のいずれかの方法。
【0260】
ＥＥＥ５
前記Ｂスプライン基底関数の１つ以上のセットのうちのＢスプライン基底関数の少なくとも１つのセットは、特定の次数のＢスプライン基底関数の完全なセットを表す、ＥＥＥ４の方法。
前記Ｂスプライン基底関数の１つ以上のセットのうちのＢスプライン基底関数の少なくとも１つのセットは、特定の次数のＢスプライン基底関数の完全なセットを表す、ＥＥＥ４の方法。
【0261】
ＥＥＥ６
前記Ｂスプライン基底関数の１つ以上のセットは、打ち切り多項式及び均一に分布されたノット点のセットを用いて生成されたＢスプライン基底関数のセットを含む、ＥＥＥ４又は５の方法。
前記Ｂスプライン基底関数の１つ以上のセットは、打ち切り多項式及び均一に分布されたノット点のセットを用いて生成されたＢスプライン基底関数のセットを含む、ＥＥＥ４又は５の方法。
【0262】
ＥＥＥ７
前記選択されたＴＰＢ予測パラメータのセットと前記ＴＰＢ基底関数のセットとの組み合わせは、前記１つ以上のマッピングされた画像における前記予測画像データを生成するためのクロスチャンネル予測子を表す、ＥＥＥ１乃至６のいずれかの方法。
前記選択されたＴＰＢ予測パラメータのセットと前記ＴＰＢ基底関数のセットとの組み合わせは、前記１つ以上のマッピングされた画像における前記予測画像データを生成するためのクロスチャンネル予測子を表す、ＥＥＥ１乃至６のいずれかの方法。
【0263】
ＥＥＥ８
前記ＴＰＢ予測パラメータのセットは複数のマッピング対を用いて生成され、該複数のマッピング対のそれぞれは、前記ソース画像データから生成された１つ以上のソース符号語の第１のアレイと、前記参照画像データから生成された１つ以上の参照符号語の第２のアレイとを含む、ＥＥＥ１乃至７のいずれかの方法。
前記ＴＰＢ予測パラメータのセットは複数のマッピング対を用いて生成され、該複数のマッピング対のそれぞれは、前記ソース画像データから生成された１つ以上のソース符号語の第１のアレイと、前記参照画像データから生成された１つ以上の参照符号語の第２のアレイとを含む、ＥＥＥ１乃至７のいずれかの方法。
【0264】
ＥＥＥ９
前記複数のマッピング対は、３次元マッピングテーブル（３ＤＭＴ）に基づいて生成される、ＥＥＥ８の方法。
前記複数のマッピング対は、３次元マッピングテーブル（３ＤＭＴ）に基づいて生成される、ＥＥＥ８の方法。
【0265】
ＥＥＥ１０
第１のカラーグレードの１つ以上の第１の画像を、ビデオ信号からデコーディングすることと、
テンソル積Ｂスプライン（ＴＰＢ）基底関数のセットと乗算するための選択されたＴＰＢ予測パラメータのセットを含む画像メタデータを、前記ビデオ信号からデコーディングすることと、
前記ＴＰＢ基底関数のセットと共に前記ＴＰＢ予測パラメータのセットを用いて、前記１つ以上の第１の画像から１つ以上のマッピングされた画像を生成することと、
前記１つ以上のマッピングされた画像から導出された１つ以上の表示画像がディスプレイ装置でレンダリングされるようにすることと、
を含む方法。
第１のカラーグレードの１つ以上の第１の画像を、ビデオ信号からデコーディングすることと、
テンソル積Ｂスプライン（ＴＰＢ）基底関数のセットと乗算するための選択されたＴＰＢ予測パラメータのセットを含む画像メタデータを、前記ビデオ信号からデコーディングすることと、
前記ＴＰＢ基底関数のセットと共に前記ＴＰＢ予測パラメータのセットを用いて、前記１つ以上の第１の画像から１つ以上のマッピングされた画像を生成することと、
前記１つ以上のマッピングされた画像から導出された１つ以上の表示画像がディスプレイ装置でレンダリングされるようにすることと、
を含む方法。
【0266】
ＥＥＥ１１
選択されたＴＰＢ予測パラメータのセットは、上流のビデオコンテンツプロセッサによって生成されたものであり、前記選択されたＴＰＢ予測パラメータのセットは、第１のカラーグレードの１つ以上の第１の画像における第１の画像データから１つ以上のマッピングされた画像データにおける予測画像データを生成するために、前記ＴＰＢ基底関数のセットと共に用いられるべきものであり、前記上流のビデオコンテンツプロセッサは、前記１つ以上のマッピングされた画像における予測画像データと、参照カラーグレードの１つ以上の参照画像における参照画像データとの間の差を最小化することにより、前記選択されたＴＰＢ予測パラメータのセットを生成し、前記１つ以上の参照画像は、前記１つ以上の第１の画像に対応し、前記１つ以上の第１の画像によって描写されるものと同じ視覚コンテンツを描写する、ＥＥＥ１０の方法。
選択されたＴＰＢ予測パラメータのセットは、上流のビデオコンテンツプロセッサによって生成されたものであり、前記選択されたＴＰＢ予測パラメータのセットは、第１のカラーグレードの１つ以上の第１の画像における第１の画像データから１つ以上のマッピングされた画像データにおける予測画像データを生成するために、前記ＴＰＢ基底関数のセットと共に用いられるべきものであり、前記上流のビデオコンテンツプロセッサは、前記１つ以上のマッピングされた画像における予測画像データと、参照カラーグレードの１つ以上の参照画像における参照画像データとの間の差を最小化することにより、前記選択されたＴＰＢ予測パラメータのセットを生成し、前記１つ以上の参照画像は、前記１つ以上の第１の画像に対応し、前記１つ以上の第１の画像によって描写されるものと同じ視覚コンテンツを描写する、ＥＥＥ１０の方法。
【0267】
ＥＥＥ１２
複数のＢスプライン基底関数出力値を生成することと、
前記複数のＢスプライン基底関数出力値にクロス積演算を適用して複数のＴＰＢ基底関数出力値を生成することにより、複数のＴＰＢ基底関数出力値のセットを生成することと、
前記ビデオ信号からデコードされた前記ＴＰＢ予測パラメータのセットを、前記複数のＴＰＢ基底関数出力値のセットで乗算して、予測符号語のセットを生成することと、
をさらに含む、ＥＥＥ１０の方法。
複数のＢスプライン基底関数出力値を生成することと、
前記複数のＢスプライン基底関数出力値にクロス積演算を適用して複数のＴＰＢ基底関数出力値を生成することにより、複数のＴＰＢ基底関数出力値のセットを生成することと、
前記ビデオ信号からデコードされた前記ＴＰＢ予測パラメータのセットを、前記複数のＴＰＢ基底関数出力値のセットで乗算して、予測符号語のセットを生成することと、
をさらに含む、ＥＥＥ１０の方法。
【0268】
ＥＥＥ１３
複数のＢスプライン基底関数出力値を生成することは、
複数のＢスプライン基底関数における各Ｂスプライン基底関数について、各Ｂスプライン基底関数を表すために打ち切り多項式で用いるべきノット点及び対応する倍数因子を決定することと、
前記１つ以上の第１の画像におけるデコードされた符号語を前記打ち切り多項式の入力として用いて、各Ｂスプライン基底関数のための出力値を生成することと、
を含む、ＥＥＥ１２の方法。
複数のＢスプライン基底関数出力値を生成することは、
複数のＢスプライン基底関数における各Ｂスプライン基底関数について、各Ｂスプライン基底関数を表すために打ち切り多項式で用いるべきノット点及び対応する倍数因子を決定することと、
前記１つ以上の第１の画像におけるデコードされた符号語を前記打ち切り多項式の入力として用いて、各Ｂスプライン基底関数のための出力値を生成することと、
を含む、ＥＥＥ１２の方法。
【0269】
ＥＥＥ１４
前記複数のＢスプライン基底関数出力値をローカルレジスタに記憶することと、
前記ＴＰＢ基底関数における各ＴＰＢ基底関数について、前記複数のＢスプライン基底関数出力値のうちの、色空間の各チャンネルにおける（ｎ＋１）の非ゼロＢスプライン基底関数出力値を特定することであって、ｎは、複数のＢスプライン基底関数の次数を示す、ことと、
前記（ｎ＋１）の非ゼロＢスプライン基底関数出力値を入力の一部として用いて、前記１つ以上の第１の画像におけるデコードされた符号語から、各ＴＰＢ基底関数のための出力値を生成することと、
をさらに含む、ＥＥＥ１２の方法。
前記複数のＢスプライン基底関数出力値をローカルレジスタに記憶することと、
前記ＴＰＢ基底関数における各ＴＰＢ基底関数について、前記複数のＢスプライン基底関数出力値のうちの、色空間の各チャンネルにおける（ｎ＋１）の非ゼロＢスプライン基底関数出力値を特定することであって、ｎは、複数のＢスプライン基底関数の次数を示す、ことと、
前記（ｎ＋１）の非ゼロＢスプライン基底関数出力値を入力の一部として用いて、前記１つ以上の第１の画像におけるデコードされた符号語から、各ＴＰＢ基底関数のための出力値を生成することと、
をさらに含む、ＥＥＥ１２の方法。
【0270】
ＥＥＥ１５
前記１つ以上の第１の画像における各デコードされた符号語について、前記１つ以上のマッピングされた画像における出力符号語を、
前記出力符号語をゼロに開始すること（initiating）と、
前記ＴＰＢ基底関数における各ＴＰＢ基底関数について、
色空間の３つのチャンネルにおける各チャンネルのために（ｎ＋１）の非ゼロＢスプライン基底関数出力値を生成することにより、（ｎ＋１）の非ゼロＢスプライン基底関数出力値の３つのセットを生成することであって、ｎは前記複数のＢスプライン基底関数の次数を示す、ことと、
（ｎ＋１）の非ゼロＢスプライン基底関数出力値の３つのセットにクロス積演算を適用して、前記１つ以上の画像における前記デコードされた符号語からＴＰＢ基底関数出力値を生成することと、
前記ＴＰＢ基底関数出力値を前記ＴＰＢ予測パラメータのセットにおける対応する予測パラメータで乗算することにより積を生成することと、
前記積を出力符号語に加えることと、
を行うことと、
を行うことにより、生成すること、
をさらに含む、ＥＥＥ１２の方法。
前記１つ以上の第１の画像における各デコードされた符号語について、前記１つ以上のマッピングされた画像における出力符号語を、
前記出力符号語をゼロに開始すること（initiating）と、
前記ＴＰＢ基底関数における各ＴＰＢ基底関数について、
色空間の３つのチャンネルにおける各チャンネルのために（ｎ＋１）の非ゼロＢスプライン基底関数出力値を生成することにより、（ｎ＋１）の非ゼロＢスプライン基底関数出力値の３つのセットを生成することであって、ｎは前記複数のＢスプライン基底関数の次数を示す、ことと、
（ｎ＋１）の非ゼロＢスプライン基底関数出力値の３つのセットにクロス積演算を適用して、前記１つ以上の画像における前記デコードされた符号語からＴＰＢ基底関数出力値を生成することと、
前記ＴＰＢ基底関数出力値を前記ＴＰＢ予測パラメータのセットにおける対応する予測パラメータで乗算することにより積を生成することと、
前記積を出力符号語に加えることと、
を行うことと、
を行うことにより、生成すること、
をさらに含む、ＥＥＥ１２の方法。
【0271】
ＥＥＥ１６
前記選択されたＴＰＢ予測パラメータのセットはコーディングシンタックスにおいて複数の重み係数としてエンコードされ、該コーディングシンタックスは、前記ＴＰＢ基底関数のセットにおける対応するＴＰＢ基底関数のために、前記複数の重み係数におけるそれぞれの重み係数を運ぶのをサポートする、ＥＥＥ１０乃至１５のいずれかの方法。
前記選択されたＴＰＢ予測パラメータのセットはコーディングシンタックスにおいて複数の重み係数としてエンコードされ、該コーディングシンタックスは、前記ＴＰＢ基底関数のセットにおける対応するＴＰＢ基底関数のために、前記複数の重み係数におけるそれぞれの重み係数を運ぶのをサポートする、ＥＥＥ１０乃至１５のいずれかの方法。
【0272】
ＥＥＥ１７
ＥＥＥ１乃至ＥＥＥ１６に記載の方法のいずれか１つを実行するように構成されたコンピュータシステム。
ＥＥＥ１乃至ＥＥＥ１６に記載の方法のいずれか１つを実行するように構成されたコンピュータシステム。
【0273】
ＥＥＥ１８
プロセッサを含み、ＥＥＥ１乃至ＥＥＥ１６に記載の方法のいずれか１つを行うように構成された装置。
プロセッサを含み、ＥＥＥ１乃至ＥＥＥ１６に記載の方法のいずれか１つを行うように構成された装置。
【0274】
ＥＥＥ１９
ＥＥＥ１乃至ＥＥＥ１６に記載の方法のいずれかに従って方法を実行するためのコンピュータ実行可能命令が記憶された非一時的コンピュータ読み取り可能記憶媒体。
ＥＥＥ１乃至ＥＥＥ１６に記載の方法のいずれかに従って方法を実行するためのコンピュータ実行可能命令が記憶された非一時的コンピュータ読み取り可能記憶媒体。
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図1F】
【図1G】
【図1H】
【図2A】
【図2B】
【図2C】
【図3A】
【図3B】
【図3C】
【図3D】
【図4A】
【図4B】
【図5】