IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ インターデジタル シーイー パテント ホールディングスの特許一覧

特表2024-503971成分間スケーリングを伴うルママッピングのための方法及びデバイス
<>
  • 特表-成分間スケーリングを伴うルママッピングのための方法及びデバイス 図1
  • 特表-成分間スケーリングを伴うルママッピングのための方法及びデバイス 図2
  • 特表-成分間スケーリングを伴うルママッピングのための方法及びデバイス 図3
  • 特表-成分間スケーリングを伴うルママッピングのための方法及びデバイス 図4A
  • 特表-成分間スケーリングを伴うルママッピングのための方法及びデバイス 図4B
  • 特表-成分間スケーリングを伴うルママッピングのための方法及びデバイス 図5
  • 特表-成分間スケーリングを伴うルママッピングのための方法及びデバイス 図6
  • 特表-成分間スケーリングを伴うルママッピングのための方法及びデバイス 図7
  • 特表-成分間スケーリングを伴うルママッピングのための方法及びデバイス 図8
  • 特表-成分間スケーリングを伴うルママッピングのための方法及びデバイス 図9
  • 特表-成分間スケーリングを伴うルママッピングのための方法及びデバイス 図10A
  • 特表-成分間スケーリングを伴うルママッピングのための方法及びデバイス 図10B
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-01-30
(54)【発明の名称】成分間スケーリングを伴うルママッピングのための方法及びデバイス
(51)【国際特許分類】
   H04N 19/70 20140101AFI20240123BHJP
【FI】
H04N19/70
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023531582
(86)(22)【出願日】2021-12-03
(85)【翻訳文提出日】2023-07-04
(86)【国際出願番号】 EP2021084102
(87)【国際公開番号】W WO2022135876
(87)【国際公開日】2022-06-30
(31)【優先権主張番号】20306679.0
(32)【優先日】2020-12-23
(33)【優先権主張国・地域又は機関】EP
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.HDMI
2.BLUETOOTH
(71)【出願人】
【識別番号】518341334
【氏名又は名称】インターディジタル・シーイー・パテント・ホールディングス・ソシエテ・パ・アクシオンス・シンプリフィエ
(74)【代理人】
【識別番号】100079108
【弁理士】
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【弁理士】
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【弁理士】
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【弁理士】
【氏名又は名称】内藤 和彦
(74)【代理人】
【識別番号】100108213
【弁理士】
【氏名又は名称】阿部 豊隆
(72)【発明者】
【氏名】フランソワ,エドワール
(72)【発明者】
【氏名】ボルデ,フィリップ
(72)【発明者】
【氏名】アンドリヴォン,ピエール
(72)【発明者】
【氏名】ド ラグランジュ,フィリップ
(72)【発明者】
【氏名】マーティン-コッヘル,ガエル
(72)【発明者】
【氏名】グドゥマス,シュリーニバス
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159RC12
(57)【要約】
ビデオデータに関連付けられたシンタックス要素を取得すること(601)を含み、当該シンタックス要素は、少なくとも1つの第2の色成分が第2の色成分とは異なる少なくとも1つの第1の色成分に基づいて変換される色成分間変換プロセスが、ビデオデータに適用されるべき復号プロセスに続く後処理プロセスとしてビデオデータに適用されるべきであることを指定する、方法。
【選択図】図6
【特許請求の範囲】
【請求項1】
方法であって、
ビデオデータに関連付けられたシンタックス要素を取得すること(501、601、701)を含み、前記シンタックス要素は、第1の色成分の関数が前記第1の色成分とは異なる少なくとも1つの第2の色成分に適用される色成分間変換プロセスが、前記ビデオデータに適用されるべき復号プロセスに続く後処理プロセスとして前記ビデオデータに適用されるべきであることを指定する、方法。
【請求項2】
前記シンタックス要素が、前記色成分間変換プロセスが前記ビデオデータに適用されるべき前記復号プロセスに続く後処理プロセスとして前記ビデオデータに適用されること(603、703)を第1の値で指定し、前記シンタックス要素が、前記色成分間変換プロセスが前記復号プロセスに含まれる予測ループにおいて前記ビデオデータに適用されること(602、702)を第2の値で指定する、請求項1に記載の方法。
【請求項3】
前記シンタックス要素が、成分内変換前の前記第1の色成分のサンプルが、前記少なくとも1つの第2の成分の前記色成分間変換プロセスのために使用されなければならないことを第3の値で更に指定し、前記成分内変換後の前記第1の色成分の前記サンプルが、前記少なくとも1つの第2の成分の前記成分間変換のために使用されなければならないことを第4の値で更に指定する、請求項1又は2に記載の方法。
【請求項4】
前記色成分間変換プロセスが、少なくとも1つの変換を表すパラメータによって、前記シンタックス要素において指定される、請求項1、2又は3に記載の方法。
【請求項5】
前記少なくとも1つの第2の色成分のうちの1つに適用されることが意図される変換が、前記シンタックス要素において指定された前記少なくとも1つの第2の色成分のうちの別の1つに適用されるべき変換を表すパラメータから、又は前記シンタックス要素において指定された前記第1の色成分に適用されるべき変換を表すパラメータから導出される、請求項4に記載の方法。
【請求項6】
前記シンタックス要素が、前記色成分間変換プロセスを表すパラメータが、別のシンタックス要素から取得されたクロマスケーリングプロセスを伴うルママッピングを指定するパラメータから導出されることを指定する、請求項1~5のいずれか一項に記載の方法。
【請求項7】
前記色成分間変換プロセスが、クロマスケーリングプロセスを伴うルママッピングである、請求項1~5のいずれか一項に記載の方法。
【請求項8】
前記色成分間変換プロセスが、前記復号プロセスの予測ループにおいて適用されるべき第2の色成分間変換プロセスの非アクティブ化に応答して、前記ビデオデータに適用されるべき前記復号プロセスに続く後処理プロセスとして前記ビデオデータに適用される(603、703)、請求項1~7のいずれか一項に記載の方法。
【請求項9】
デバイスであって、
ビデオデータに関連付けられたシンタックス要素を取得するための手段(501、601、701)を含み、前記シンタックス要素は、第1の色成分の関数が前記第1の色成分とは異なる少なくとも1つの第2の色成分に適用される色成分間変換プロセスが、前記ビデオデータに適用されるべき復号プロセスに続く後処理プロセスとして前記ビデオデータに適用されるべきであることを指定する、デバイス。
【請求項10】
前記シンタックス要素が、前記色成分間変換プロセスが前記ビデオデータに適用されるべき前記復号プロセスに続く後処理プロセスとして前記ビデオデータに適用されること(603、703)を第1の値で指定し、前記シンタックス要素が、前記色成分間変換プロセスが前記復号プロセスに含まれる予測ループにおいて前記ビデオデータに適用されること(602、702)を第2の値で指定する、請求項9に記載のデバイス。
【請求項11】
前記シンタックス要素が、成分内変換前の前記第1の色成分のサンプルが、前記少なくとも1つの第2の成分の前記色成分間変換プロセスのために使用されなければならないことを第3の値で更に指定し、前記成分内変換後の前記第1の色成分の前記サンプルが、前記少なくとも1つの第2の成分の前記成分間変換のために使用されなければならないことを第4の値で更に指定する、請求項9又は10に記載のデバイス。
【請求項12】
前記色成分間変換プロセスが、少なくとも1つの変換を表すパラメータによって、前記シンタックス要素において指定される、請求項9、10又は11に記載のデバイス。
【請求項13】
前記少なくとも1つの第2の色成分のうちの1つに適用されることが意図される変換が、前記シンタックス要素において指定された前記少なくとも1つの第2の色成分のうちの別の1つに適用される変換を表すパラメータから、又は前記シンタックス要素において指定された前記第1の色成分に適用される変換を表すパラメータから導出される、請求項12に記載のデバイス。
【請求項14】
前記シンタックス要素が、前記色成分間変換プロセスを表すパラメータが、別のシンタックス要素から取得されたクロマスケーリングプロセスを伴うルママッピングを指定するパラメータから導出されることを指定する、請求項9~13のいずれか一項に記載のデバイス。
【請求項15】
前記色成分間変換プロセスが、クロマスケーリングプロセスを伴うルママッピングである、請求項9~13のいずれか一項に記載のデバイス。
【請求項16】
前記デバイスが、前記色成分間変換プロセスを、前記復号プロセスの予測ループにおいて適用されるべき第2の色成分間変換プロセスの非アクティブ化に応答して、前記ビデオデータに適用されるべき前記復号プロセスに続く後処理プロセスとして前記ビデオデータに適用する(603、703)ための手段を備える、請求項9~15のいずれか一項に記載のデバイス。
【請求項17】
ビデオデータに関連付けられたシンタックス要素を備える信号であって、前記シンタックス要素は、第1の色成分の関数が前記第1の色成分とは異なる少なくとも1つの第2の色成分に適用される色成分間変換プロセスが、前記ビデオデータに適用されるべき復号プロセスに続く後処理プロセスとして前記ビデオデータに適用されるべきであることを指定する、信号。
【請求項18】
前記シンタックス要素が、前記色成分間変換プロセスが前記ビデオデータに適用されるべき前記復号プロセスに続く後処理プロセスとして前記ビデオデータに適用されること(603、703)を第1の値で指定し、前記シンタックス要素が、前記色成分間変換プロセスが前記復号プロセスに含まれる予測ループにおいて前記ビデオデータに適用されること(602、702)を第2の値で指定する、請求項17に記載の信号。
【請求項19】
前記シンタックス要素が、成分内変換前の前記第1の色成分のサンプルが、前記少なくとも1つの第2の成分の前記色成分間変換プロセスのために使用されなければならないことを第3の値で更に指定し、前記成分内変換後の前記第1の色成分の前記サンプルが、前記少なくとも1つの第2の成分の前記成分間変換のために使用されなければならないことを第4の値で更に指定する、請求項17又は18に記載の信号。
【請求項20】
前記色成分間変換プロセスが、少なくとも1つの変換を表すパラメータによって、前記シンタックス要素において指定される、請求項17、18又は19に記載の信号。
【請求項21】
前記少なくとも1つの第2の色成分のうちの1つに適用されることが意図される変換が、前記シンタックス要素において指定された前記少なくとも1つの第2の色成分のうちの別の1つに適用されるべき変換を表すパラメータから、又は前記シンタックス要素において指定された前記第1の色成分に適用されるべき変換を表すパラメータから導出される、請求項20に記載の信号。
【請求項22】
前記シンタックス要素が、前記色成分間変換プロセスを表すパラメータが、別のシンタックス要素から取得されたクロマスケーリングプロセスを伴うルママッピングを指定するパラメータから導出されることを指定する、請求項17~21のいずれか一項に記載の信号。
【請求項23】
前記色成分間変換プロセスが、クロマスケーリングプロセスを伴うルママッピングである、請求項17~21のいずれか一項に記載の信号。
【請求項24】
方法であって、
ビデオデータに関連付けられたシンタックス要素をシグナリングすることを含み、前記シンタックス要素は、第1の色成分の関数が前記第1の色成分とは異なる少なくとも1つの第2の色成分に適用される色成分間変換プロセスが、前記ビデオデータに適用されるべき復号プロセスに続く後処理プロセスとして前記ビデオデータに適用されるべきであることを指定する、方法。
【請求項25】
前記シンタックス要素が、前記色成分間変換プロセスが前記ビデオデータに適用されるべき前記復号プロセスに続く後処理プロセスとして前記ビデオデータに適用されること(603、703)を第1の値で指定し、前記シンタックス要素が、前記色成分間変換プロセスが前記復号プロセスに含まれる予測ループにおいて前記ビデオデータに適用されること(602、702)を第2の値で指定する、請求項24に記載の方法。
【請求項26】
前記シンタックス要素が、成分内変換前の前記第1の色成分のサンプルが、前記少なくとも1つの第2の成分の前記色成分間変換プロセスのために使用されなければならないことを第3の値で更に指定し、前記成分内変換後の前記第1の色成分の前記サンプルが、前記少なくとも1つの第2の成分の前記成分間変換のために使用されなければならないことを第4の値で更に指定する、請求項24又は25に記載の方法。
【請求項27】
前記色成分間変換プロセスが、少なくとも1つの変換を表すパラメータによって、前記シンタックス要素において指定される、請求項24、25又は26に記載の方法。
【請求項28】
前記少なくとも1つの第2の色成分のうちの1つに適用されることが意図される変換が、前記シンタックス要素において指定された前記少なくとも1つの第2の色成分のうちの別の1つに適用されるべき変換を表すパラメータから、又は前記シンタックス要素において指定された前記第1の色成分に適用されるべき変換を表すパラメータから導出される、請求項27に記載の方法。
【請求項29】
前記シンタックス要素が、前記色成分間変換プロセスを表すパラメータが、別のシンタックス要素から取得されたクロマスケーリングプロセスを伴うルママッピングを指定するパラメータから導出されることを指定する、請求項24~28のいずれか一項に記載の方法。
【請求項30】
前記色成分間変換プロセスが、クロマスケーリングプロセスを伴うルママッピングである、請求項24~28のいずれか一項に記載の方法。
【請求項31】
デバイスであって、
ビデオデータに関連付けられたシンタックス要素をシグナリングするための手段を含み、前記シンタックス要素は、第1の色成分の関数が前記第1の色成分とは異なる少なくとも1つの第2の色成分に適用される色成分間変換プロセスが、前記ビデオデータに適用されるべき復号プロセスに続く後処理プロセスとして前記ビデオデータに適用されるべきであることを指定する、デバイス。
【請求項32】
前記シンタックス要素が、前記色成分間変換プロセスが前記ビデオデータに適用されるべき前記復号プロセスに続く後処理プロセスとして前記ビデオデータに適用されること(603、703)を第1の値で指定し、前記シンタックス要素が、前記色成分間変換プロセスが前記復号プロセスに含まれる予測ループにおいて前記ビデオデータに適用されること(602、702)を第2の値で指定する、請求項31に記載のデバイス。
【請求項33】
前記シンタックス要素が、成分内変換前の前記第1の色成分のサンプルが、前記少なくとも1つの第2の成分の前記色成分間変換プロセスのために使用されなければならないことを第3の値で更に指定し、前記成分内変換後の前記第1の色成分の前記サンプルが、前記少なくとも1つの第2の成分の前記成分間変換のために使用されなければならないことを第4の値で更に指定する、請求項31又は32に記載のデバイス。
【請求項34】
前記色成分間変換プロセスが、少なくとも1つの変換を表すパラメータによって、前記シンタックス要素において指定される、請求項31、32又は33に記載のデバイス。
【請求項35】
前記少なくとも1つの第2の色成分のうちの1つに適用されることが意図される変換が、前記シンタックス要素において指定された前記少なくとも1つの第2の色成分のうちの別の1つに適用される変換を表すパラメータから、又は前記シンタックス要素において指定された前記第1の色成分に適用される変換を表すパラメータから導出される、請求項34に記載のデバイス。
【請求項36】
前記シンタックス要素が、前記色成分間変換プロセスを表すパラメータが、別のシンタックス要素から取得されたクロマスケーリングプロセスを伴うルママッピングを指定するパラメータから導出されることを指定する、請求項31~36のいずれか一項に記載のデバイス。
【請求項37】
前記色成分間変換プロセスが、クロマスケーリングプロセスを伴うルママッピングである、請求項31~36のいずれか一項に記載のデバイス。
【請求項38】
請求項1~8又は請求項24~30のいずれか一項に記載の方法を実装するためのプログラムコード命令を含む、コンピュータプログラム。
【請求項39】
請求項1~8又は請求項24~30のいずれか一項に記載の方法を実装するためのプログラムコード命令を記憶する、情報記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本実施形態のうちの少なくとも1つは、概して、画像符号化及び復号のための方法及びデバイスに関し、より詳細には、成分間スケーリングプロセスを伴うルママッピングの適用を制御するための方法、装置及び信号に関する。
【背景技術】
【0002】
高い圧縮効率を実現するために、ビデオのコーディング方式は、通常、ビデオコンテンツの空間的冗長性及び時間的冗長性を活用した予測及び変換を採用している。符号化中、ビデオコンテンツの画像はサンプル(すなわち、ピクセル)のブロックに等分され、これらのブロックは次いで、以下で元のサブブロックと呼ばれる1つ以上のサブブロックに分割される。次いで、イントラ予測又はインター予測を各サブブロックに適用して、画像内又は画像間相関を利用する。使用される予測方法(イントラ又はインター)が何であれ、元のサブブロックごとに予測子サブブロックが決定される。次いで、元のサブブロックと予測子サブブロックとの間の差を表すサブブロックは、多くの場合、予測誤差サブブロック、予測残差サブブロック、又は単に残差ブロックとして示され、符号化されたビデオストリームを生成するために、変換され、量子化され、エントロピコード化される。ビデオを再構成するには、変換、量子化、及びエントロピコーディングに対応する逆の処理によって、圧縮データを復号する。
【0003】
符号化すべき元のビデオ信号は、一般にビット数(「0」~「255」のダイナミックレンジに対して「8」ビット、「0」~「1023」のダイナミックレンジに対して10ビット)によって表される値の元のダイナミックレンジに含まれる元の値のセットからなる。量子化の1つの効果は、同じ量子化値によっていくつかの異なる値を表すことである。したがって、量子化後のビデオ信号は、元のビデオ信号と比較して低減された粒度を有する。しかしながら、いくつかのビデオ信号では、元の値の大部分が、元のダイナミックレンジの限られたサブレンジ(又は、限られたサブレンジ)に集中している。ダイナミックレンジに対して定義された量子化を、ダイナミックレンジの限られたサブレンジのみを占有する信号に適用することは、ビデオ信号の粒度に強く影響を及ぼすであろう。ルママッピング(すなわち、ルミナンス値のマッピング)は、ターゲットダイナミックレンジをより良く使用することによってビデオ信号のコード化効率を改善するために提案された(すなわち、ルマ値は、全てのターゲットダイナミックレンジを占有するようにターゲットダイナミックレンジにわたって再分配される)。ターゲットダイナミックレンジは、元のダイナミックレンジと等しくても異なっていてもよい。
【0004】
ビデオ信号において、ルマ信号は、概してクロマ信号と関連付けられる。いったん量子化されたルマ信号の粒度を改善するためにこのルマ信号に対して処理が適用される場合、粒度の同様の改善を得るために、関連するクロマ信号に対して処理が適用されるべきである。クロマ信号にマッピングを適用することは、可能ではあるがビデオ符号化及び復号プロセスの複雑さを著しく増大させる。符号化/復号の複雑さを低減するために、いくつかの方法は、ルマ信号のみにマッピングを適用し、マッピングされたルマ信号に応じてクロマ信号にスケーリングプロセスを適用することを提案している。このスケーリングプロセスは、成分間スケーリングプロセスという用語で知られている。
【0005】
ルママッピングを成分間スケーリングと組み合わせる、クロマスケーリングを伴うルママッピング(Luma Mapping with Chroma Scaling、LMCS)と呼ばれる新たな圧縮ツールが、以下VVCと称する、Joint Video Experts Team(JVET)として知られるITU-T及びISO/IEC専門家の共同協力チームによって開発中のVersatile Video Coding(VVC)と題される国際規格に導入された。ループフィルタの前の新たな処理ブロックとして、LMCSが追加された。したがって、LMCSは、符号化/復号プロセスの予測ループにおいて適用される。
【0006】
予測ループ内で成分間スケーリングを伴うルママッピングを適用することは、圧縮効率の観点から最適でない場合がある。予測ループからの前処理又は後処理として成分間スケーリングを伴うルママッピングを適用することなどの他の構成は、より良好な圧縮効率をもたらす可能性がある。
【0007】
予測ループの内又は予測ループの外において、成分間スケーリングを伴うルママッピング又はより一般的には色成分間変換を適用することを可能にする解決策を提案することが望まれる。
【発明の概要】
【0008】
第1の態様では、本実施形態のうちの1つ以上は、ビデオデータに関連付けられたシンタックス要素を取得することを含む方法を提供し、当該シンタックス要素は、少なくとも1つの第2の色成分が第2の色成分とは異なる少なくとも1つの第1の色成分に基づいて変換される色成分間変換プロセスが、ビデオデータに適用されるべき復号プロセスに続く後処理プロセスとしてビデオデータに適用されるべきであることを指定する。
【0009】
一実施形態では、シンタックス要素は、色成分間変換プロセスがビデオデータに適用されるべき復号プロセスに続く後処理プロセスとしてビデオデータに適用されることを第1の値で指定し、シンタックス要素は、色成分間変換プロセスが復号プロセスに含まれる予測ループにおいてビデオデータに適用されることを第2の値で指定する。
【0010】
一実施形態では、シンタックス要素は、成分内変換前の第1の色成分のサンプルが少なくとも1つの第2の成分の色成分間変換プロセスのために使用されなければならないことを第3の値で更に指定し、成分内変換後の第1の色成分のサンプルが少なくとも1つの第2の成分の成分間変換のために使用されなければならないことを第4の値で更に指定する。
【0011】
一実施形態では、色成分間変換プロセスは、少なくとも1つの変換を表すパラメータによって、シンタックス要素において指定される。
【0012】
一実施形態では、少なくとも1つの第2の色成分のうちの1つに適用されることが意図される変換は、シンタックス要素において指定された少なくとも1つの第2の色成分のうちの別の1つに適用される変換を表すパラメータから、又はシンタックス要素において指定された第1の色成分に適用される変換を表すパラメータから導出される。
【0013】
一実施形態では、シンタックス要素は、色成分間変換プロセスを表すパラメータが、別のシンタックス要素から取得されたクロマスケーリングプロセスを伴うルママッピングを指定するパラメータから導出されることを指定する。
【0014】
一実施形態では、色成分間変換プロセスは、クロマスケーリングプロセスを伴うルママッピングである。
【0015】
一実施形態では、色成分間変換プロセスは、復号プロセスの予測ループにおいて適用されるべき第2の色成分間変換プロセスの非アクティブ化に応答して、ビデオデータに適用されるべき復号プロセスに続く後処理プロセスとしてビデオデータに適用される。
【0016】
第2の態様では、本実施形態のうちの1つ以上はデバイスを提供し、デバイスは、
ビデオデータに関連付けられたシンタックス要素を取得するための手段を提供し、当該シンタックス要素は、少なくとも1つの第2の色成分が第2の色成分とは異なる少なくとも1つの第1の色成分に基づいて変換される色成分間変換プロセスが、ビデオデータに適用されるべき復号プロセスに続く後処理プロセスとしてビデオデータに適用されるべきであることを指定する。
【0017】
一実施形態では、シンタックス要素は、色成分間変換プロセスがビデオデータに適用されるべき復号プロセスに続く後処理プロセスとしてビデオデータに適用されることを第1の値で指定し、シンタックス要素は、色成分間変換プロセスが復号プロセスに含まれる予測ループにおいてビデオデータに適用されることを第2の値で指定する。
【0018】
一実施形態では、シンタックス要素は、成分内変換前の第1の色成分のサンプルが少なくとも1つの第2の成分の色成分間変換プロセスのために使用されなければならないことを第3の値で更に指定し、成分内変換後の第1の色成分のサンプルが少なくとも1つの第2の成分の成分間変換のために使用されなければならないことを第4の値で更に指定する。
【0019】
一実施形態では、色成分間変換プロセスは、少なくとも1つの変換を表すパラメータによって、シンタックス要素において指定される。
【0020】
一実施形態では、少なくとも1つの第2の色成分のうちの1つに適用されることが意図される変換は、シンタックス要素において指定された少なくとも1つの第2の色成分のうちの別の1つに適用される変換を表すパラメータから、又はシンタックス要素において指定された第1の色成分に適用される変換を表すパラメータから導出される。
【0021】
一実施形態では、シンタックス要素は、色成分間変換プロセスを表すパラメータが、別のシンタックス要素から取得されたクロマスケーリングプロセスを伴うルママッピングを指定するパラメータから導出されることを指定する。
【0022】
一実施形態では、色成分間変換プロセスは、クロマスケーリングプロセスを伴うルママッピングである。
【0023】
一実施形態では、デバイスは、色成分間変換プロセスを、復号プロセスの予測ループにおいて適用されるべき第2の色成分間変換プロセスの非アクティブ化に応答して、ビデオデータに適用されるべき復号プロセスに続く後処理プロセスとしてビデオデータに適用するための手段を備える。
【0024】
第3の態様では、本実施形態のうちの1つ以上は、ビデオデータに関連付けられたシンタックス要素を含む信号を提供し、該シンタックス要素は、少なくとも1つの第2の色成分が第2の色成分とは異なる少なくとも1つの第1の色成分に基づいて変換される色成分間変換プロセスが、ビデオデータに適用されるべき復号プロセスに続く後処理プロセスとしてビデオデータに適用されるべきであることを指定する。
【0025】
一実施形態では、シンタックス要素は、色成分間変換プロセスがビデオデータに適用されるべき復号プロセスに続く後処理プロセスとしてビデオデータに適用されることを第1の値で指定し、シンタックス要素は、色成分間変換プロセスが復号プロセスに含まれる予測ループにおいてビデオデータに適用されることを第2の値で指定する。
【0026】
一実施形態では、シンタックス要素は、成分内変換前の第1の色成分のサンプルが、少なくとも1つの第2の成分の色成分間変換プロセスのために使用されなければならないことを第3の値で更に指定し、成分内変換後の第1の色成分のサンプルが少なくとも1つの第2の成分の成分間変換のために使用されなければならないことを第4の値で更に指定する。
【0027】
一実施形態では、色成分間変換プロセスは、少なくとも1つの変換を表すパラメータによって、シンタックス要素において指定される。
【0028】
一実施形態では、少なくとも1つの第2の色成分のうちの1つに適用されることが意図される変換は、シンタックス要素において指定された少なくとも1つの第2の色成分のうちの別の1つに適用される変換を表すパラメータから、又はシンタックス要素において指定された第1の色成分に適用される変換を表すパラメータから導出される。
【0029】
一実施形態では、シンタックス要素は、色成分間変換プロセスを表すパラメータが、別のシンタックス要素から取得されたクロマスケーリングプロセスを伴うルママッピングを指定するパラメータから導出されることを指定する。
【0030】
一実施形態では、色成分間変換プロセスは、クロマスケーリングプロセスを伴うルママッピングである。
【0031】
第4の態様では、本実施形態のうちの1つ以上は方法を提供し、方法は、
ビデオデータに関連付けられたシンタックス要素をシグナリングすることを含み、当該シンタックス要素は、少なくとも1つの第2の色成分が第2の色成分とは異なる少なくとも1つの第1の色成分に基づいて変換される色成分間変換プロセスが、ビデオデータに適用されるべき復号プロセスに続く後処理プロセスとしてビデオデータに適用されるべきであることを指定する。
【0032】
一実施形態では、シンタックス要素は、色成分間変換プロセスがビデオデータに適用されるべき復号プロセスに続く後処理プロセスとしてビデオデータに適用されることを第1の値で指定し、シンタックス要素は、色成分間変換プロセスが復号プロセスに含まれる予測ループにおいてビデオデータに適用されることを第2の値で指定する。
【0033】
一実施形態では、シンタックス要素は、成分内変換前の第1の色成分のサンプルが、少なくとも1つの第2の成分の色成分間変換プロセスのために使用されなければならないことを第3の値で更に指定し、成分内変換後の第1の色成分のサンプルが少なくとも1つの第2の成分の成分間変換のために使用されなければならないことを第4の値で更に指定する。
【0034】
一実施形態では、色成分間変換プロセスは、少なくとも1つの変換を表すパラメータによって、シンタックス要素において指定される。
【0035】
一実施形態では、少なくとも1つの第2の色成分のうちの1つに適用されることが意図される変換は、シンタックス要素において指定された少なくとも1つの第2の色成分のうちの別の1つに適用される変換を表すパラメータから、又はシンタックス要素において指定された第1の色成分に適用される変換を表すパラメータから導出される。
【0036】
一実施形態では、シンタックス要素は、色成分間変換プロセスを表すパラメータが、別のシンタックス要素から取得されたクロマスケーリングプロセスを伴うルママッピングを指定するパラメータから導出されることを指定する。
【0037】
一実施形態では、色成分間変換プロセスは、クロマスケーリングプロセスを伴うルママッピングである。
【0038】
第5の態様では、本実施形態のうちの1つ以上はデバイスを提供し、デバイスは、
ビデオデータに関連付けられたシンタックス要素をシグナリングするための手段を含み、当該シンタックス要素は、少なくとも1つの第2の色成分が第2の色成分とは異なる少なくとも1つの第1の色成分に基づいて変換される色成分間変換プロセスが、ビデオデータに適用されるべき復号プロセスに続く後処理プロセスとしてビデオデータに適用されるべきであることを指定する。
【0039】
一実施形態では、シンタックス要素は、色成分間変換プロセスがビデオデータに適用されるべき復号プロセスに続く後処理プロセスとしてビデオデータに適用されることを第1の値で指定し、シンタックス要素は、色成分間変換プロセスが復号プロセスに含まれる予測ループにおいてビデオデータに適用されることを第2の値で指定する。
【0040】
一実施形態では、シンタックス要素は、成分内変換前の第1の色成分のサンプルが、少なくとも1つの第2の成分の色成分間変換プロセスのために使用されなければならないことを第3の値で更に指定し、成分内変換後の第1の色成分のサンプルが少なくとも1つの第2の成分の成分間変換のために使用されなければならないことを第4の値で更に指定する。
【0041】
一実施形態では、色成分間変換プロセスは、少なくとも1つの変換を表すパラメータによって、シンタックス要素において指定される。
【0042】
一実施形態では、少なくとも1つの第2の色成分のうちの1つに適用されることが意図される変換は、シンタックス要素において指定された少なくとも1つの第2の色成分のうちの別の1つに適用される変換を表すパラメータから、又はシンタックス要素において指定された第1の色成分に適用される変換を表すパラメータから導出される。
【0043】
一実施形態では、シンタックス要素は、色成分間変換プロセスを表すパラメータが、別のシンタックス要素から取得されたクロマスケーリングプロセスを伴うルママッピングを指定するパラメータから導出されることを指定する。
【0044】
一実施形態では、色成分間変換プロセスは、クロマスケーリングプロセスを伴うルママッピングである。
【0045】
第6の態様では、本実施形態のうちの1つ以上は、第1の態様又は第4の態様による方法を実装するためのプログラムコード命令を含む、コンピュータプログラムを提供する。
【0046】
第7の態様では、本実施形態のうちの1つ以上は、第1の態様又は第4の態様による方法を実装するためのプログラムコード命令を記憶する、情報記憶媒体を提供する。
【図面の簡単な説明】
【0047】
図1】元のビデオのピクセルの画像による分割の例を示す。
図2】符号化モジュールによって実行されるビデオストリームを符号化するための方法を概略的に示す。
図3】符号化されたビデオストリーム(すなわち、ビットストリーム)を復号モジュールによって復号するための方法を概略的に示す。
図4A】様々な態様及び実施形態が実装される、符号化モジュール又は復号モジュールを実装することができる処理モジュールのハードウェアアーキテクチャの例を概略的に示す。
図4B】様々な態様及び実施形態が実装されているシステムの一例のブロック図を示す。
図5】修正された色再マッピング情報(Color Remapping Information、CRI)SEIメッセージの解析を概略的に示す。
図6】復号モジュールによるCRI SEIメッセージの解析を概略的に示す。
図7】復号モジュールによるLMCS_APSタイプのAPSの解析を概略的に示す。
図8】成分間クロマスケーリング関数を示す。
図9】LMCSのループ外適用を改善することを可能にする実施形態を示す。
図10A】8個のセグメントを使用するLMCS順マッピング関数の構成を示す。
図10B】LMCSパラメータからの成分間変換のパラメータの導出を示す。
【発明を実施するための形態】
【0048】
以下の説明において、いくつかの実施形態は、VVCのコンテキスト又はHEVC((ISO/IEC23008-2-MPEG-H Part 2、High Efficiency Video Coding/ITU-T H.265))のコンテキストにおいて開発されたツールを使用する。しかしながら、これらの実施形態は、VVC又はHEVCに対応するビデオコード化/復号方法に限定されず、AVC(H.264/MPEG-4 part10)、EVC(Essential Video Coding/MPEG-5)、AV1、及びVP9などの他のビデオコード化/復号方法に適用され、画像コード化/復号方法にも適用される。
【0049】
図1図2及び図3に関連して、ビデオ圧縮方法を説明する。
【0050】
図1は、元のビデオ10のサンプル11の画像が受ける分割の例を示している。ここで、サンプルは、3つの成分、すなわちルミナンス(又はルマ)成分と2つのクロミナンス(又はクロマ)成分とからなると考えられる。その場合、サンプルはピクセルに対応している。ただし、以下の実施形態は、別の数の成分を含むサンプル、例えば、サンプルが1つの成分を含むグレーレベルサンプルから構成される画像、又は3つの色成分と透明度成分及び/又は深度成分を含むサンプルから構成される画像に適応される。
【0051】
画像は、複数のコード化エンティティに等分される。まず、図1の参照番号13で示すように、画像がコード化ツリーユニット(coding tree unit、CTU)と呼ばれるブロックのグリッドに等分される。CTUは、ルミナンスサンプルのN×Nブロックと、クロミナンスサンプルの2つの対応するブロックとからなる。Nは、概して、例えば、「128」の最大値を有する2のべき乗である。第二に、画像は、CTUの1つ以上のグループに等分される。例えば、それは1つ以上のタイル行及びタイル列に等分することができ、タイルは画像の矩形区域をカバーするCTUのシーケンスである。いくつかの場合では、タイルを1つ以上のブリックに等分することができ、ブリックの各々はタイル内の少なくとも1つのCTU行からなる。タイル及びブリックの概念の上には、スライスと呼ばれる別の符号化エンティティが存在し、符号化エンティティは、画像の少なくとも1つのタイル又はタイルの少なくとも1つのブリックを組み込むことができる。
【0052】
図1の例では、参照番号12で示すように、画像11は、3つのスライスS1、S2、及びS3に等分され、各スライスは複数のタイル(図示せず)を含む。
【0053】
図1の参照番号14で示すように、CTUは、コード化ユニット(coding unit、CU)と呼ばれる1つ以上のサブブロックの階層ツリーの形態に分割され得る。CTUは、階層ツリーのルート(すなわち、親ノード)であり、複数のCU(すなわち、子ノード)に分割することができる。各CUは、より小さいCUに更に分割されていない場合は階層ツリーの葉になり、更に分割されている場合はより小さいCU(すなわち、子ノード)の親ノードになる。例えば、四分木、二分木、及び三分木を含む、いくつかのタイプの階層ツリーを適用することができる。四分木では、CTU(それぞれCU)は、等しいサイズの「4」つの方形CUに分割することができる(すなわち、その親ノードであることができる)。二分木では、CTU(それぞれCU)は、等しいサイズの「2」つの矩形CUに水平又は垂直に分割することができる。三分木では、CTU(それぞれCU)は、「3」つの矩形CUに水平又は垂直に分割することができる。例えば、高さN及び幅MのCUは、高さN(それぞれN/4)及び幅M/4(それぞれM)の第1のCU、高さN(それぞれN/2)及び幅M/2(それぞれM)の第2のCU、並びに高さN(それぞれN/4)及び幅M/4(それぞれM)の第3のCUに垂直に(それぞれ水平に)分割される。
【0054】
図1の例では、CTU14は、四分木タイプの分割を使用して、最初に「4」つの方形CUに分割される。左上のCUは、更に分割されていないため、階層ツリーの葉であり、すなわち、他のCUの親ノードではない。右上のCUは、やはり四分木タイプの分割を使用して、「4」つのより小さい正方形CUに更に分割される。右下のCUは、二分木タイプの分割を使用して「2」つの矩形CUに垂直に分割される。左下のCUは、三分木タイプの分割を使用して「3」つの矩形CUに垂直に分割される。
【0055】
二分木と三分木の組み合わせは、Multi-type tree(MTT)として知られている。
【0056】
画像のコード化中、分割はアダプティブであり、各CTUは、CTU基準の圧縮効率を最適化するために分割される。
【0057】
いくつかのビデオ圧縮スキームでは、予測ユニット(prediction unit、PU)及び変換ユニット(transform unit、TU)の概念が登場した。その場合、予測(すなわち、PU)及び変換(すなわち、TU)に使用されるコード化エンティティは、CUの細目とすることができる。例えば、図1に示すように、サイズ2N×2NのCUは、サイズN×2N又はサイズ2N×NのPU1411に等分することができる。更に、当該CUは、サイズN×Nの「4」つのTU1412又はサイズ(N/2)×(N/2)の「16」個のTUに等分することができる。
【0058】
本出願では、「ブロック」又は「画像ブロック」又は「サブブロック」という用語は、CTU、CU、PU、及びTUのうちのいずれか1つを指すために使用することができる。更に、「ブロック」又は「画像ブロック」という用語は、MPEG-4/AVC又は他のビデオコーディング規格において指定されるようなマクロブロック、パーティション、及びサブブロックを指すために、より一般的には、多数のサイズのサンプルのアレイを指すために使用することができる。
【0059】
本出願では、「再構成された」及び「復号された」という用語は互換的に使用することができ、「ピクセル」及び「サンプル」という用語は互換的に使用することができ、「画像」、「ピクチャ」、「サブピクチャ」、「スライス」、及び「フレーム」という用語は互換的に使用することができる。
【0060】
図2は、符号化モジュールによって実行されるビデオストリームを符号化するための方法を概略的に示す。符号化のためのこの方法の変形形態が企図されるが、以下では、明確さを目的として、予想される全ての変形形態について説明することなく、図2の符号化のための方法について説明する。
【0061】
現在の元の画像200を符号化することは、図1に関連して記載したように、ステップ202中に現在の元の画像200を分割することから始まる。これにより、現在の画像200は、CTU、CU、PU、TUなどに分割される。各ブロックについて、符号化モジュールは、イントラ予測とインター予測との間のコード化モードを判定する。
【0062】
イントラ予測は、ステップ203によって示されるが、イントラ予測方法に従って、コード化される現在のブロックの因果的近傍に位置する再構成ブロックのサンプルから導出された予測ブロックから現在のブロックのサンプルを予測することからなる。イントラ予測の結果は、近傍ブロックのどのサンプルを使用するかを示す予測方向と、現在のブロックと予測ブロックとの差の計算から生じる残差ブロックである。
【0063】
インター予測は、現在の画像の先行する又は後続の画像の、基準ブロックと呼ばれる、サンプルのブロックから現在のブロックのサンプルを予測することからなり、この画像は基準画像と称される。
【0064】
インター予測方法による現在のブロックのコード化中に、類似性基準に従って現在のブロックに最も近い基準画像のブロックが、動き推定ステップ204によって判定される。ステップ204中に、基準画像内の基準ブロックの位置を示す動きベクトルが決定される。当該動きベクトルは、動き補償ステップ205中に使用され、その間に残差ブロックは、現在のブロックと基準ブロックとの間の差の形態で計算される。
【0065】
第1のビデオ圧縮規格では、上述した一方向インター予測モードが利用可能な唯一のインターモードであった。ビデオ圧縮規格が進化するにつれて、インターモードのファミリーは著しく成長しており、現在は多くの異なるインターモードを含む。
【0066】
選択ステップ206中に、レート/歪み基準(すなわち、RDO基準)に従って、試験された予測モード(イントラ予測モード、インター予測モード)の中から圧縮性能を最適化する予測モードが符号化モジュールによって選択される。
【0067】
予測モードが選択されると、ステップ207において、選択された予測モードに対応する残差ブロックが(例えば、ステップ203及び205において算出された残差ブロックから)取得され、ステップ209中に変換され、ステップ210中に量子化される。量子化中、変換された領域において、変換された係数は、量子化パラメータに加えてスケーリング行列によって重み付けされる。スケーリング行列は、他の周波数を犠牲にしていくつかの周波数を優先することを可能にするコード化ツールである。概して、低頻度が好ましい。
【0068】
符号化モジュールは、変換をスキップして、変換されていない残差信号に量子化を直接適用することができることに留意されたい。
【0069】
現在のブロックがイントラ予測モードに従ってコーディングされると、予測方向と、変換され量子化された残差ブロックとは、ステップ212中にエントロピエンコーダによって符号化される。
【0070】
現在のブロックがインター予測モードに従って符号化されると、このインター予測モードに関連付けられた動きデータは、ステップ211においてコード化される。
【0071】
概して、2つのモードを使用して、それぞれ、AMVP(Adaptive Motion Vector Prediction、アダプティブ動きベクトル予測)及びマージと呼ばれる動きデータを符号化することができる。
【0072】
AMVPは基本的に、現在のブロックを予測するために使用される基準画像、動きベクトル予測子インデックス、及び動きベクトル差(動きベクトル残差とも呼ばれる)をシグナリングすることにある。
【0073】
マージモードは、動きデータ予測子のリストに収集されたいくつかの動きデータのインデックスをシグナリングすることにある。リストは、「5」つ又は「7」つの候補からなり、デコーダ及びエンコーダ側で同じように構成される。したがって、マージモードは、マージリストから取り出されるいくつかの動きデータを導出することを目的とする。マージリストは、典型的には、いくつかの空間的及び時間的に隣接するブロックに関連付けられた動きデータを含み、これらブロックは再構成された状態で、現在のブロックが処理されているときに、利用可能である。
【0074】
予測されると、動き情報は、次に、変換され量子化された残差ブロックと共に、ステップ212中にエントロピエンコーダによって符号化される。符号化モジュールは、変換及び量子化の両方をバイパスすることができる、すなわちエントロピ符号化は、変換処理又は量子化処理を適用することなく残差に適用されることに留意されたい。エントロピ符号化の結果は、符号化されたビデオストリーム(すなわち、ビットストリーム)213に挿入される。
【0075】
エントロピエンコーダは、コンテキストアダプティブバイナリアリスマティックコーダ(context adaptive binary arithmetic coder、CABAC)の形態で実装することができることに留意されたい。CABACは、バイナリシンボルを符号化し、複雑さを低く保ち、任意の記号のより頻繁に使用されるビットの確率モデリングを可能にする。
【0076】
量子化ステップ210の後、現在のブロックは、そのブロックに対応するピクセルが将来の予測に使用され得るように再構成される。この再構成段階は、予測ループとも呼ばれる。したがって、逆量子化は、ステップ214中に変換され量子化された残差ブロックに適用され、ステップ215中に逆変換が適用される。ステップ217中に取得された現在のブロックに使用される予測モードによって、現在のブロックの予測ブロックが再構成される。現在のブロックがインター予測モードに従って符号化される場合、符号化モジュールは、適切なときには、ステップ218中に、現在のブロックの動き情報を使用して基準ブロックに動き補償を適用する。現在のブロックがイントラ予測モードに従って符号化される場合、ステップ220中に、現在のブロックに対応する予測方向が、現在のブロックの基準ブロックを再構成するために使用される。
【0077】
ステップ221において、再構成された現在のブロックを取得するために、基準ブロック及び再構成された残差ブロックが追加される。
【0078】
再構成後、ステップ223中に、符号化アーチファクトを低減することを意図したインループポストフィルタリングが、再構成ブロックに適用される。このポストフィルタリングは、エンコーダにおいてデコーダと同じ基準画像を取得し、これにより、符号化プロセスと復号プロセスとの間のドリフトを回避するために予測ループで行われるので、インループポストフィルタリングと呼ばれる。例えば、インループポストフィルタリングは、デブロッキングフィルタリング、SAO(sample adaptive offset、サンプルアダプティブオフセット)フィルタリング、及びブロックベースのフィルタ適応を伴うアダプティブループフィルタリング(Adaptive Loop Filtering、ALF)を含む。
【0079】
インループデブロッキングフィルタのアクティブ化又は非アクティブ化を表すパラメータ、及びアクティブ化されると、当該インループデブロッキングフィルタの特性は、エントロピコード化ステップ212中に、符号化されたビデオストリーム213に導入される。
【0080】
ブロックが再構成されると、ブロックは、ステップ224中に、復号ピクチャバッファ(decoded picture buffer、DPB)225に記憶された再構成画像に挿入される。そのように記憶された再構成画像は、コーディングされる他の画像の参照画像として機能することができる。
【0081】
図3は、図2に関連して記載された方法に従って符号化された、符号化されたビデオストリーム(すなわち、ビットストリーム)213を復号するための方法を概略的に示している。復号のための当該方法は、復号モジュールによって実行される。復号するためのこの方法の変形形態が企図されるが、明確さを目的として、以下では予想される全ての変形形態を記載することなく、図3の復号するための方法について記載する。
【0082】
復号はブロックごとに行われる。現在のブロックの場合、復号はステップ312中に現在のブロックをエントロピ復号することから始まる。エントロピ復号は、ブロックの予測モードを取得することを可能にする。
【0083】
現在のブロックがイントラ予測モードに従って符号化されている場合、エントロピ復号は、予測方向及び残差ブロックを表す情報を取得することを可能にする。
【0084】
現在のブロックがインター予測モードに従って符号化されている場合、エントロピ復号は、動きデータ及び残差ブロックを表すデータを取得することを可能にする。適切な場合、ステップ311中に、動きデータは、AMVP又はマージモードに従って現在のブロックに対して再構成される。マージモードでは、エントロピ復号によって取得された動きデータは、動きベクトル予測子候補のリストにおけるインデックスを含む。復号モジュールは、通常のマージモード及びサブブロックマージモードの候補のリストを構築するために、符号化モジュールと同じプロセスを適用する。再構成されたリスト及びインデックスを用いて、復号モジュールは、ブロックの動きベクトルを予測するために使用される動きベクトルを取り出すことができる。
【0085】
復号のための本方法は、符号化のための方法のステップ212、214、215、217、218、219、220、221、及び223と全ての点でそれぞれ同一のステップ312、314、315、317、318、319、320、321、及び323を含む。ステップ324において、復号されたブロックは、復号された画像に保存され、復号された画像は、DPB325に記憶される。復号モジュールが所与の画像を復号すると、DPB325に記憶された画像は、当該所与の画像の符号化中に符号化モジュールによってDPB225に記憶された画像と同一である。復号された画像はまた、例えば表示のために復号モジュールによって出力され得る。
【0086】
上述したように、図2の符号化及び図3の復号方法の変形形態が企図され、特に、成分間スケーリングプロセス又はより一般的には色成分間変換を伴うルママッピングを含む変形形態が企図される。以下では、成分間スケーリングを伴うルママッピング及び色成分間変換が区別なく使用される。実際、成分間スケーリングを用いたルママッピングでは、クロマ成分はルマ成分に基づいて変換される。色成分間変換では、少なくとも1つの第1の色成分が、第1の色成分とは異なる少なくとも1つの第2の色成分に基づいて変換される。したがって、色成分間変換の概念は、成分間スケーリングを伴うルママッピングの概念よりも広範である。しかしながら、後述する様々な実施形態は、成分間スケーリングを用いた色成分間変換及びルママッピングに適用される。
【0087】
符号化及び復号方法における成分間スケーリングプロセスを伴うルママッピングの導入は、異なる形態をとることができる。
【0088】
第1の実施形態では、成分間スケーリングプロセスを伴うルママッピング(LMCCS)が、予測ループにおいて実装される。
【0089】
予測ループ内のLMCCSプロセスの実装例(第1の実施形態の例)は、LMCSである
LMCSは、2つの主要な成分、すなわち
・ 適応区分線形モデルに基づくルマ成分のインループマッピングと、
・ クロマ成分に対して適用される、ルマ依存残差スケーリングと、を有する。
【0090】
ルマのインループマッピングは、順ルママッピング関数FwdMap、及び対応する逆ルママッピング関数InvMapを使用する。順ルママッピング関数FwdMapは、「16」個の等しい部分を有する区分線形モデルを使用してシグナリングされる。逆ルママッピング関数InvMapは、シグナリングされる必要はなく、代わりに順ルママッピング関数FwdMapから導出される。
【0091】
ルママッピング関数は、区分線形モデルを使用して適応パラメータセット(adaptation parameter set、APS)と呼ばれるコンテナ内でシグナリングされる。区分線形モデルは、入力信号のダイナミックレンジを「16」個の等しい部分に分割し、各部分について、その線形マッピングパラメータは、その部分に割り当てられたいくつかのコードワードを使用して表現される。10ビット入力信号を例にとる。「16」個のピースの各々は、デフォルトで割り当てられた「64」個のコードワードを有する。コードワードのシグナリングされた数は、スケーリング係数を計算し、それに応じてその部分について順ルママッピング関数を調整するために使用される。区分線形モデルの各部分は、2つの入力ピボット点及び2つの出力(マッピングされた)ピボット点によって定義される。
【0092】
復号側では、図3に表されるように、ステップ319中に順ルママッピング関数が適用される。ステップ322において、逆ルママッピング関数が適用される。図3に見られるように、インター予測されたブロックに対して、動き補償は元の領域で実行される。動き補償された予測ブロックY_predがDPB325内の基準画像に基づいて計算された後、順マッピング関数FwdMapが適用されて、予測ブロックY_predのルマ成分を元の領域(すなわち、元のダイナミックレンジ)からマッピングされた領域(すなわち、ターゲットダイナミックレンジ)にマッピングする:Y’_pred=FwdMap(Y_pred)。イントラ符号化されたブロックに対して、順マッピング関数FwdMap関数は、マッピングされた領域においてイントラ予測が実行されるため、適用されない。
【0093】
ステップ321において、予測ブロックY_predと残差ブロックY_resとから再構成されたブロックY_rが計算された後、ステップ322において、再構成されたルマ値をマッピングされた領域から元の領域に変換し戻すために、逆マッピング関数InvMapが適用される:Y_i=InvMap(Y_r)。逆マッピング関数InvMapは、イントラ符号化されたルマブロック及びインター符号化されたルマブロックの両方に適用される。
【0094】
ルママッピングプロセス(順マッピング及び/又は逆マッピング)は、ルックアップテーブル(look-up-table、LUT)を使用して、又はオンザフライ計算を使用して実装することができる。
【0095】
ルマ依存のクロマ残差スケーリングは、ルマ信号とその対応するクロマ信号との間の相互作用を補償するように設計されている。ルママッピングが有効化されている場合、ルマ依存のクロマ残差スケーリングが有効化されているか否かを示すために、追加のフラグがシグナリングされる。
【0096】
ルマ依存のクロマ残差スケーリングは、上部及び/又は左側の再構成された隣接ルマサンプルの平均値に依存する。再構成された隣接ルマサンプルの平均としてavgYrを示す。スケーリング係数C_ScaleInvの値は、以下のステップにおいて算出される。
1. InvMap関数に基づいて、avgYrが属する区分線形モデルのインデックスY_Idxを見つける。
2. C_ScaleInv=cScaleInv[Y_Idx]であり、式中、cScaleInv[]は、APS中でシグナリングされた値に基づいて事前算出された16個のLUTである。
【0097】
サンプルベースで実行されるルママッピング及び逆ルママッピングとは異なり、スケーリング係数C_ScaleInvは、クロマブロック全体について一定の値である。
【0098】
復号側では、ステップ316において、現在のクロマブロックの再構成の前に、ルマ依存のクロマ残差スケーリングプロセスが、スケーリングされたクロマ残差ブロックに適用される。クロマ残差ブロックC_Resは、スケーリング係数C_ScaleInvを使用してスケーリングされたクロマ残差ブロックをスケーリングすることによって取得される。
C_Res=C_ResScaleC_ScaleInv
【0099】
次いで、ステップ321において、残差ブロックC_resがクロマ予測子ブロックC_predに加算されて、現在のクロマブロックC_rが再構成される。
C_r=C_Res+C_pred
【0100】
見られるように、クロマについては、インループフィルタリングの前の逆マッピングも、動き補償の後の順マッピングも実行されない。
【0101】
符号化側では、LMCSの導入は、図2の符号化方法におけるステップ201及び208、216、219及び222の導入によって表される。ステップ216、219及び222は、それぞれステップ316、319及び322と同一である。ステップ201はステップ219と同一であるが、LMCCSプロセスが元の画像に適用される一方、ステップ219においては再構成された画像に適用される場合を除く。
【0102】
ステップ208において、ルマ依存のクロマ残差スケーリングプロセスがクロマ残差ブロックに適用される。スケーリングされたクロマ残差ブロックC_ResScaleは、スケーリング係数C_ScaleInvを使用してクロマ残差ブロックをスケーリングすることによって取得される。
C_ResScale=C_Res/C_ScaleInv
【0103】
前述のように、いくつかの実装形態では、LMCSパラメータは、タイプLMCS_APSのAPSコンテナ内に記憶される。LMCSパラメータは、lmcs_dataと呼ばれるシンタックス要素に記憶される。
【0104】
【表1】
【0105】
表TAB1は、シンタックス要素lmcs_dataを表す。シンタックス要素lmcs_dataのシンタックス要素のセマンティックは、文書JVET-S2001vH、Versatile Video Coding(Draft10)、ITU-T SG16 WP3及びISO/IEC JTC1/SC29/WG11のJoint Video Experts Team(JVET)、第19回会議:遠隔会議、2020年6月22日~7月1日のセクション7.4.3.19に見出すことができる。
【0106】
いくつかの実装形態によれば、順ルママッピング関数は、以下のように導出されるi=0~「15」又は「16」について、パラメータlmcsCW[i](iest部分のコードワードの数を表す)、InputPivot[i](iest部分の入力ピボット点を表す)、lmcsPivot[i](iest部分の出力ピボット点を表す)によって定義される(式番号は、VVC規格、文書ITU-T H.266、SERIES H:AUDIOVISUAL AND MULTIMEDIA SYSTEMS、Infrastructure of audiovisual services-Coding of moving video、Versatile video coding、08/2020の式番号である)。
【0107】
パラメータLmcsMaxBinIdxは、(「15」-lmcs_delta_max_bin_idx)に等しく設定される。以下のイタリック体のテキストは、VVC規格からコピーされたものである。
【0108】
変数OrgCWは、下記のように導出される。
OrgCW=(1<<BitDepth)/16 (93)
【0109】
変数lmcsDeltaCW[i](i=lmcs_min_bin_idx~LmcsMaxBinIdx)は、以下のように導出される。
lmcsDeltaCW[i]=(1-2lmcs_delta_sign_cw_flag[i])lmcs_delta_abs_cw[i] (94)
【0110】
変数lmcsCW[i]は、以下のように導出される。
- i=0~lmcs_min_bin_idx-1の場合、lmcsCW[i]は0に等しく設定される。
- i=lmcs_min_bin_idx~LmcsMaxBinIdxの場合、以下が適用される。
lmcsCW[i]=OrgCW+lmcsDeltaCW[i] (95)
【0111】
lmcsCW[i]の値は、OrgCW>>3~(OrgCW<<3)-1の両端を含む範囲内になければならない。
- i=LmcsMaxBinIdx+1~15の場合、lmcsCW[i]は0に等しく設定される。
【0112】
以下の条件が真であることが、ビットストリーム適合の要件である。
【0113】
【数1】
【0114】
変数InputPivot[i](i=0~15)は、次のように導出される。
InputPivot[i]=iOrgCW (97)
【0115】
変数LmcsPivot[i](i=0~16)、変数ScaleCoeff[i]及びInvScaleCoeff[i](i=0~15)は、以下のように導出される。
LmcsPivot[0]=0
for(i=0;i<=15;i++){
LmcsPivot[i+1]=LmcsPivot[i]+lmcsCW[i]
ScaleCoeff[i]=(lmcsCW[i](1<<11)+(1<<
(Log2(OrgCW)-1)))>>(Log2(OrgCW))
if(lmcsCW[i]==0) (98)
InvScaleCoeff[i]=0
else
InvScaleCoeff[i]=OrgCW(1<<11)/lmcsCW[i]
【0116】
LMCS順マッピング関数構成の(16個の代わりに)8個のセグメントを使用する図が、図10Aに提供されている。上で見たように、予測ループ内でLMCCSプロセスを適用することは1つの可能な実施形態であるが、他の実施形態も存在する。
【0117】
第2の実施形態では、LMCSSプロセスは予測ループの外で適用される。
【0118】
復号側では、第1の実施形態と比較して、ステップ316、319、及び322が、図3の復号のための方法から除去される。新たな後処理ステップ326が導入される。LMCSSプロセスがLMCSであるとき、再構成された画像の再構成されたルマ値をマッピングされた領域から元の領域に変換するために、逆マッピング関数InvMapが適用される。上述のプロセスを使用して決定されたスケーリング係数C_ScaleInvは、再構成された画像のクロマ値に適用される。
【0119】
符号化側では、第1の実施形態と比較して、ステップ208、216、219、及び222が、図2の符号化のための方法から除去される。ステップ201は同一のままである。
【0120】
第1及び第2の実施形態は、特に、量子化されたルマ信号及びクロマ信号の粒度を制御するように適合される。しかしながら、LMCSSプロセスは、他の目的のために使用され得る。
【0121】
第3の実施形態では、復号プロセスの出力を元のダイナミックレンジからターゲットダイナミックレンジにマッピングするために、LMCSSプロセスを使用する。例えば、LMCSSプロセスは、ディスプレイがそのような拡張されたデータを表示することが可能である場合、コード化されたビデオを(例えば、UHDTV Rec.2020のようなより高品質のグレーディングされたコンテンツを用いて)拡張するために使用される。それはまた、広色域グレーディングされたコンテンツ(例えば、Rec.709カラリストグレード)をグレースフルデグレード(例えば、Rec.2020カラリストグレード)することを可能にする。
【0122】
第3の実施形態では、第2の実施形態と比較して、ステップ201、208、216、219、222、316、319及び322が符号化のための方法及び復号のための方法から除去される。ステップ326は維持されるが、逆マッピング関数の代わりに順マッピング関数を適用することからなる。LMCSSプロセスがLMCSである場合、ステップ326中に、再構成された画像の再構成されたルマ値を元の領域からマッピングされた領域に変換するために、順マッピング関数fwdMapが適用される。スケーリング係数1/(C_ScaleInv)は、再構成された画像のクロマ値に適用される。
【0123】
第4の実施形態では、第1及び第3の実施形態、又は第2及び第3の実施形態が組み合わされている。
【0124】
前世代のビデオ圧縮規格では、色マッピングに関連するデータを輸送することを可能にするための、2つのシンタックス要素が知られている。
・ LMCSパラメータを輸送するための上述のAPS。
・ 色再マッピング情報(CRI)と呼ばれるSEIメッセージ。
【0125】
例えば、AVC、HEVC、又はVVCなどの規格において定義されるSEI(補足拡張情報)メッセージは、ビデオストリームに関連付けられ、ビデオストリームに対する情報を提供するメタデータを含むデータコンテナである。
【0126】
【表2】
【0127】
表TAB2は、HEVC規格のセクションD.2.23において定義されるようなCRI SEIメッセージのシンタックスを提供している。CRI SEIメッセージに含まれるシンタックス要素のセマンティックは、HEVCのセクションD.3.33において提供されている。CRI SEIメッセージは、出力画像を代替ディスプレイにより適した表現に変換するなどの目的で、デコーダによって出力された画像の再構成された色サンプルのマッピングを可能にする情報を提供する。
【0128】
CRI SEIは、3つの変換を定義する。
・ 第1の変換(以下では「pre_lut」と呼ぶ)は、各色成分に適用される3つの1D-LUTに基づき、
・ 第2の変換は、3×3行列に基づき、かつ
・ 第3の変換(以下では「post_lut」と呼ぶ)は、各色成分に適用される3つの1D-LUTに基づく。
【0129】
3つの変換はカスケードで行うことができる。3×3行列変換が有効化されると、色成分は4:4:4フォーマットで処理されなければならず、これは、ピクセルごとに3つの色サンプルがあることを意味する。1D-LUT変換のみが使用されるとき、各色サンプルが他から独立して処理されるので、プロセスは、4:2:0、4:2:2、又は4:4:4色フォーマットで適用することができる。カスケード変換は、それぞれC0、C1、C2で示される3つの色成分について以下の式で示される。ピクチャ内の相対位置pにおける入力サンプルC0_in(p)、C1_in(p)、C2_in(p)は、以下のように処理されて、出力サンプルC0_out(p)、C1_out(p)、C2_out(p)を生成する。
【0130】
第1の変換アプリケーション:
C0’=pre_lut[0][C0_in(p)]
C1’=pre_lut[1][C1_in(p)] (式1)
C2’=pre_lut[2][C2_in(p)]
式中、pre_lut[0][]は、第1の成分に適用される第1の変換を表し、pre_lut[1][]は、第2の成分に適用される第1の変換を表し、pre_lut[2][]は、第3の成分に適用される第1の変換を表す。
【0131】
3×3行列アプリケーション(適用される場合):
(C0”,C1”,C2”)=M3×3.(C0’,C1’,C2’) (式2)
【0132】
式中、M3×3は、3×3行列(シンタックス要素colour_remap_coeffs[c][i])であり、()は、転置演算子である。
【0133】
第2の変換アプリケーション:
C0_out(p)=post_lut[0][C0”]
C1_out(p)=post_lut[1][C1”] (式3)
C2_out(p)=post_lut[2][C2”]
式中、post_lut[0][]は、第1の成分に適用される第2の変換を表し、post_lut[1][]は、第2の成分に適用される第2の変換を表し、post_lut[2][]は、第3の成分に適用される第2の変換を表す。
【0134】
1D-LUTは、成分内変換に対応する各色成分に独立して適用されることに留意されたい。
【0135】
見られるように、CRI SEIメッセージは、LMCCSプロセス、より一般的には色成分間変換のパラメータを提供するようには適合されていない。更に、CRI SEIメッセージは、後処理プロセスのための色マッピングパラメータを提供する。その側では、タイプLMCS_APSのAPSコンテナは、LMCCSプロセス(ここではLMCS)のためのパラメータを提供するように設計され、LMCCSプロセスは予測ループにおいて適用される。したがって、CRI SEIメッセージ及びタイプLMCS_APSのAPSコンテナは、上で喚起された各実施形態に準拠しない。
【0136】
したがって、LMCCSプロセスをサポートし、より一般的には色成分間変換をサポートするための解決策が必要とされる。
【0137】
第5の実施形態によれば、色成分間変換を可能にするために、新たな変換がCRI SEIメッセージに追加される。新たな変換は、1D-LUTに基づき、以下のように適用される(第1の変換(pre_lut)を使用して以下に示される)。変形形態では、これは第2の変換事例(post_lut)に拡張することができる。
【0138】
第1の色成分の入力サンプルC0_inは、成分内変換pre_lutを使用して、相対位置pにおける各ピクセルについて第1の成分の出力サンプルC0_outにマッピングされる。
C0_out(p)=pre_lut[0][C0_in(p)] (式4)
【0139】
第2及び第3の色成分の入力サンプルC1_in(p)及びC2_in(p)は、以下のように、成分間変換を使用して、第2及び第3の成分の出力サンプルC1_out(p)及びC2_out(p)にそれぞれマッピングされる。
C1_out(p)=pre_lut[1][C0coloc(p)]C1_in(p)-2B1-1)+2B1-1
C2_out(p)=pre_lut[2][C0coloc(p)]C2_in(p)-2B2-1)+2B2-1
(式5)
式中、B1及びB2は、それぞれ第2及び第3の色成分サンプルのビット深度であり、C0coloc(p)は、相対位置pに又はその近くに位置する第1の成分サンプルから算出された値である。
【0140】
第5の実施形態によれば、第2及び第3の成分のための第1の変換pre_lutを表す1D LUTが成分内変換として使用されるか、又は成分間変換として使用されるかを示すために、シンタックス要素colour_remap_pre_lut_cross_component_flagがCRI SEIメッセージに追加される。
【0141】
第1の実施形態の変形形態では、同様のシンタックス要素colour_remap_post_lut_cross_component_flagが、第2の変換post_lutのためのCRI SEIメッセージに追加される。
【0142】
表TAB3は、シンタックス要素colour_remap_pre_lut_cross_component_flag及びcolour_remap_post_lut_cross_component_flagのCRI SEIメッセージへの挿入を示す。新たなシンタックス要素は太字で表されている。
【0143】
変形形態では、シンタックス要素は、成分間変換で使用される第1の成分からのサンプルが、第1の変換によって変換される前に使用されるか、又は変換された後に使用されるかを示すために挿入することもできる。
【0144】
新たなシンタックス要素のセマンティクスの例は、以下の通りである。
・ 「1」に等しいcolour_remap_pre_lut_cross_component_flagは、シンタックス要素pre_lut_coded_value[1][i]及びpre_lut_coded_value[2][i](すなわち、それぞれ変換pre_lut[1][i]及びpre_lut[2][i]を表す)が、第1の色成分サンプルに応じた値によってインデックス付けされ、かつそれぞれ第2及び第3の色成分サンプルに適用される区分線形スケーリング関数を定義することを示している。「0」に等しい。colour_remap_pre_lut_cross_component_flagは、シンタックス要素pre_lut_coded_value[1][i]及びpre_lut_coded_value[2][i](すなわち、それぞれ変換pre_lut[1][i]及びpre_lut[2][i]を表す)が、それぞれ第2及び第3の色成分サンプルに適用される区分線形関数を定義することを示している。
・ colour_remap_pre_lut_cross_comp_modeは、それぞれシンタックス要素pre_lut_coded_value[1][i]及びpre_lut_coded_value[2][i]によって定義される、第2及び第3の色成分サンプルの変換が、それらがシンタックス要素pre_lut_coded_value[0][i](すなわち変換pre_lut[0][i]を表す)によって定義される変換によって処理される前(colour_remap_pre_lut_cross_comp_modeが「0」に等しい)又は処理された後(colour_remap_pre_lut_cross_comp_modeが「1」に等しい)の第1の色成分サンプルに依存することを示す。
・ colour_remap_post_lut_cross_component_flagは、colour_remap_pre_lut_cross_component_flagと同じセマンティクスを有し、「pre」が「post」に置き換えられる。
・ colour_remap_post_lut_cross_comp_modeは、colour_remap_pre_lut_cross_comp_modeと同じセマンティクスを有し、「pre」が「post」に置き換えられる。
【0145】
【表3】
【0146】
図5は、修正されたCRI SEIメッセージの解析を概略的に示す。図5は、表TAB3に表されているように、CRI SEIメッセージに導入された新たなシンタックス要素に焦点を当てている。
【0147】
図5のプロセスは、CRI SEIメッセージの解析中に、図4A及び図4Bに関連して後述する処理モジュール40によって実行される。
【0148】
ステップ501において、処理モジュール40は、シンタックス要素colour_remap_pre_lut_cross_component_flagを取得し、シンタックス要素colour_remap_pre_lut_cross_component_flagがゼロに等しいかどうかを判定する。シンタックス要素colour_remap_pre_lut_cross_component_flagがゼロに等しい場合、処理モジュール40は、ステップ502において、式1、2及び3を使用して、各色成分に成分内変換を適用する。
【0149】
ゼロでない場合、ステップ503において、処理モジュール40は、式4を使用して、第1の色成分に成分内変換を適用する。したがって、「1」に等しいシンタックス要素colour_remap_pre_lut_cross_component_flagは、色成分間変換プロセスが適用されるべきであることを指定する。デフォルトで(すなわち、更なる情報なしで)、この色成分間変換プロセスは、復号プロセスに続く後処理プロセスとして適用されるべきである。
【0150】
ステップ504において、処理モジュール40は、シンタックス要素colour_remap_pre_lut_cross_comp_modeがゼロに等しいかどうかを判定する。シンタックス要素colour_remap_pre_lut_cross_comp_modeがゼロに等しい場合、処理モジュール40は、成分内変換前の第1の成分のサンプルが、第2及び第3の成分の色成分間変換のために使用されなければならないと決定する。
【0151】
ゼロでない場合、処理モジュール40は、ステップ506において、成分内変換後の第1の成分の変換されたサンプルが、第2及び第3の成分の成分間変換のために使用されなければならないと決定する。
【0152】
ステップ505及び506の後にステップ507が続き、このステップ507の間、処理モジュール40は、式5と、ステップ505及び506で決定された第1の成分の変換された若しくは未変換のサンプルとを使用して、第2及び第3の成分に成分間変換を適用する。
【0153】
変形形態では、色成分間変換がビデオ復号プロセスの予測ループ内で達成されるか又は後処理として復号プロセスの後で達成されるかを示すために、シンタックス要素colour_remap_in_loop_flagが、(表TAB4において太字で表されているように)CRI SEIメッセージに追加される。
【0154】
【表4】
【0155】
図6は、復号モジュールによるCRI SEIメッセージの解析を概略的に示す。
【0156】
図6のプロセスは、シンタックス要素colour_remap_in_loop_flagの解析に焦点を当てている。
【0157】
ステップ601において、復号モジュールの処理モジュール40は、シンタックス要素colour_remap_in_loop_flagが「1」に等しいかどうかを判定する。
【0158】
シンタックス要素colour_remap_in_loop_flagが「1」に等しい場合、ステップ602において、第1の実施形態で説明したように、予測ループ内で色成分間変換(例えばLMCS)が適用される。シンタックス要素colour_remap_in_loop_flagが「0」に等しい場合、ステップ603において、第2及び第3の実施形態で説明したように、復号プロセスの後に後処理として色成分間変換(例えばLMCS)が適用される。
【0159】
表TAB5に表される変形形態では、成分間変換が有効化されると、第2及び第3の色成分の成分間変換のために1つ又は2つのLUTがシグナリングされるかどうかを示すために、シンタックス要素colour_remap_pre_lut_number_minus1が追加される。例えば、colour_remap_pre_lut_number_minus1が「0」に等しい場合、変換pre_lut[1][i](シンタックス要素pre_lut_coded_value[1][i]によって表される)のみがシグナリングされ、変換pre_lut[2][i](シンタックス要素pre_lut_coded_value[2][i]によって表される)は、変換pre_lut[1][i]に等しく設定される。colour_remap_pre_lut_number_minus1が「1」に等しい場合、両方の変換がシグナリングされる。
【0160】
表TAB5に表される変形形態では、成分間変換が有効化されると、第2及び第3の色成分の成分間変換に使用される変換pre_lut[1][i]及びpre_lut[2][i]が明示的にシグナリングされるか、又は第1の色成分に関連する変換から推論されるかどうかを示すために、シンタックス要素colour_remap_pre_lut_cross_component_inferred_flagが追加される。例えば、colour_remap_pre_lut_cross_component_inferred_flagが「0」に等しい場合、変換がシグナリングされる。colour_remap_pre_lut_cross_component_inferred_flagが「1」に等しい場合、変換pre_lut[1][i]及びpre_lut[2][i]は、変換pre_lut[0][i]から推測される。例えば、変換pre_lut[1][i]及びpre_lut[2][i]は、傾きとして、又は変換pre_lut[0][i]の傾き値のフィルタリングされたバージョンとして算出される。
【0161】
【表5】
【0162】
第6の実施形態では、メタデータを伝達するためにSEIメッセージを使用する代わりに、メタデータは適応パラメータセット(APS)で伝達される。
【0163】
成分間マッピングのためのパラメータは、タイプLMCS_APSのAPSに含まれるVVC LMCSシンタックスに埋め込まれる。
【0164】
第6の実施形態では、シンタックス要素lmcs_in_loop_flagがタイプLMCS_APSのAPSに追加されて、式4及び式5で説明したように、LMCSプロセスがビデオ復号プロセスの予測ループ内で達成されるか、又はビデオ復号プロセスの後で後処理として達成されるかを示す。
【0165】
【表6】
【0166】
表TAB6は、シンタックス要素lmcs_in_loop_flagのタイプLMCS_APSのAPSのシンタックス要素lmcs_dataへの挿入を(太字で)示している。
【0167】
図7は、復号モジュールによるLMCS_APSタイプのAPSの解析を概略的に示す。
【0168】
図7のプロセスは、シンタックス要素lmcs_in_loop_flagの解析に焦点を当てている。
【0169】
ステップ701において、復号モジュールの処理モジュール40は、シンタックス要素lmcs_in_loop_flagが「1」に等しいかどうかを判定する。
【0170】
シンタックス要素lmcs_in_loop_flagが「1」に等しい場合、ステップ702において、第1の実施形態で説明したように、予測ループ内でLMCSプロセスが適用される。シンタックス要素lmcs_in_loop_flagが「0」に等しい場合、ステップ703において、第2及び第3の実施形態で説明したように、復号化プロセスの後に後処理としてLMCSプロセスが適用される。
【0171】
第6の実施形態の変形形態では、CRI SEIメッセージにおいて成分間変換が選択されると、成分間変換のパラメータがビットストリームのAPSに埋め込まれたLMCSパラメータから継承される(すなわち導出される)ことを示すために、フラグcolour_remap_pre_lut_from_APS_flagがCRI SEIメッセージに挿入される。
【0172】
colour_remap_pre_lut_from_APS_flagフラグが真の場合、参照すべきAPSの識別子を示すパラメータcolour_remap_pre_lut_from_APS_idが追加される。APSの識別子は、例えば、シンタックス要素aps_adaptation_parameter_set_idである。シンタックス要素pre_lut_num_val_minus1、pre_lut_coded_value、pre_lut_target_valueは、APSでシグナリングされたシンタックス要素lmcs_dataから推論される。
【0173】
推論プロセスの例を以下に説明する。
pre_lut_num_val_minus1[c]は、LMCSにおけるように「16」に設定され、色成分を表すc=0~2に対して「16」個のセグメントが使用される。
pre_lut_coded_value[0][i]は、i=0~「16」に対してlmcsPivot[i]に設定される。
pre_lut_target_value[0][i]は、i=0~「16」に対してInputPivot[i]に設定される。
【0174】
LUTpre_lut[1][i]及びpre_lut[2][i]によって表される成分「1」及び「2」の変換について、c=1及び「2」、並びにi=0~「15」に対して、以下を適用することができる。
pre_lut_coded_value[c][i]=pre_lut_coded_value[0][i]
slope=pre_lut_target_value[0][i+1]-pre_lut_target_value[0][i]
slope=0の場合、pre_lut_target_value[c][i]=2048
そうでない場合、pre_lut_target_value[c][i]=OrgCW2048/slope
【0175】
値「2048」は、中立成分間スケーリングに対応し、すなわち、浮動小数点表現で「1.0」に等しい。
【0176】
図10Aに図示された関数を使用した図が図10Bに提供されている。
【0177】
【表7】
【0178】
表TAB7は、シンタックス要素colour_remap_pre_lut_cross_component_flag、colour_remap_pre_lut_from_APS_flag、colour_remap_pre_lut_from_APS_idのCRI SEIメッセージへの挿入を(太字で)示している。
【0179】
同じ原理が、(「pre」を「post」で置き換えることによって)変換post_lutにも適用される。
【0180】
代替的に、LMCSプロセスがビデオ復号プロセスの予測ループ内で達成されるか、又はビデオ復号プロセスの後に後処理として達成されるかを示すシンタックス要素は、SPS(シーケンスパラメータセット)、PPS(ピクチャパラメータセット)、ピクチャヘッダ、スライスヘッダ、タイルヘッダ、サブピクチャヘッダなどの他の高レベルシンタックス構造に挿入することもできる。好ましくは、このシンタックス要素は、SPS、PPS、又はピクチャヘッダに挿入されるべきである。なぜなら、このシンタックス要素はピクチャ全体に適用され、1つのイントラ期間に含まれるピクチャのセットにも適用される(言い換えれば、IDRピクチャと共に挿入される)ことが予想されるからである。
【0181】
【表8】
【0182】
表TAB8は、シンタックス要素sps_lmcs_in_loop_flagが追加されたSPSシンタックスの修正(太字で表される)を示している。シンタックス要素sps_lmcs_in_loop_flagが「1」に等しい場合、第1の実施形態で説明したように、予測ループ内でLMCSプロセスが適用される。シンタックス要素sps_lmcs_in_loop_flagが「0」に等しい場合、LMCSプロセスは、第2及び第3の実施形態で説明されたように、復号プロセスの後に後処理として適用される。
【0183】
代替的に、gci_no_lmcs_in_loop_constraint_flagのための制約フラグは、表TAB9に示されるように定義され得る。
【0184】
【表9】
【0185】
定義は以下の通りである。
・ 「1」に等しいgci_no_lmcs_constraint_flagは、OlsInScope内の全てのピクチャに対してsps_lmcs_enabled_flagが「0」に等しくなければならないことを指定する。「0」に等しいgci_no_lmcs_constraint_flagは、そのような制約は課さない。
・ 「1」に等しいgci_no_lmcs_in_loop_constraint_flagは、OlsInScope内の全てのピクチャに対してsps_lmcs_in_loop_flagが「0」に等しく、かつ受信した場合はcolour_remap_in_loop_flagが0に等しくなければならないことを指定する。「0」に等しいgci_no_lmcs_inloop_constraint_flagは、そのような制約は課さない。
【0186】
代替的に、これらのパラメータのシグナリングは、SEIメッセージ内ではなくシステムレベルで、又は高レベルシンタックス内のシンタックス要素に加えて行われ得る。利益のいくつかは、いくつかのエンコーダがSEIメッセージをサポートしないこと、及びセッション全体のために使用される情報が、シグナリング/ペイロードネゴシエーションレベルにおいて容易に利用可能にされ得ることであり得る。
【0187】
例えば、これらのパラメータは、以下においてシグナリングされ得る。
・ SDP(セッション記述プロトコル(session description protocol))、例えば、RFCに説明され、RTP(リアルタイム輸送プロトコル(Real-time Transport Protocol))送信と連動して使用されるような、セッション告知及びセッション招待の目的のためのマルチメディア通信セッションを記述するためのフォーマット。例えば、以下のように定義することができる。
a=fmtp:xxx profile-id=xxx;lmcs_inloop_flag=1;Color_Mapping_in_loop_flag=1;
・ DASH(Dynamic Adaptive Streaming over HTTP)MPD(Media Presentation Description)記述子。例えば、DASHにおいて使用され、HTTPを介して送信されるように、記述子は、コンテンツ表現(コンテンツとは、例えばビデオストリームである)に追加の特性を提供するために、表現又は表現の集合に関連付けられる。
・ 例えば、RTPストリーミング中に使用されるような、RFC8285で規定されたRTPヘッダ拡張子。例えば、以下のように定義することができる。
a=extmap:xxx URI-lmcs_in_loop_flag
a=extmap:xxx URI-color_mapping_in_loop_flag
m=video
a=sendrecv;
・ あるいは、例えばOMAF(Omnidirectional MediA Format)で使用され、いくつかの仕様では「atom」としても既知である一意のタイプ識別子及び長さによって画定されるオブジェクト配向構築ブロックであるボックスを使用するような、ISOベースメディアファイルフォーマット(ISO Base Media File Format)。
【0188】
古典的なLMCS設計では、成分間クロマスケーリング関数は、間隔ごとの連続する固定値として定義され、図8に示すように、非連続関数となる。ループ外で適用されると、これらの不連続性は、コード化効率損失につながり得る。実際に、ルマ値のわずかな変動は、クロマスケーリング値における大きい差につながり得る。ルマ信号は圧縮エラーを受けやすいため、これらの差が頻繁に発生し得る。そのような不連続関数の例が図9に示されており、マッピングされた領域内のルマ成分Yで定義されている(図8及び図9ではYmapと記されている)。
【0189】
したがって、この欠点を回避するために、成分間関数のためのクロマスケーリング関数の平滑化されたバージョン又はより連続的なバージョンを使用することが提案される。例えば、図9に破線で示されるように、LMCSクロマスケーリング関数のクロマスケーリング値から定義される区分線形関数を使用することができる。
【0190】
以上、第1(又は第2)の実施形態と第3の実施形態とが組み合わされた第4の実施形態を見てきた。例えば、この第4の実施形態では、第1の実施形態におけるような予測ループ内の(又は第2の実施形態におけるような予測ループ外の)LMCSが、CRI SEIメッセージにおいて定義された色成分間変換と組み合わされる。例えば、CRIは、イントラ期間ごとに静的関数を用いて成分間変換を実行するために使用され、LMCSは、フレームごとに変換を調整又は精緻化するために使用される。これは、CRIのみを使用すること、又はLMCSのみを使用すること、又はそれらのいずれも使用しないことと比較して、コード化利得を有利に提供することができる。
【0191】
第7の実施形態では、ループ内LMCSとCRI SEIメッセージからの成分間変換とは排他的である。成分間変換は、LMCSが無効化された場合にのみ適用することができる。
【0192】
第8の実施形態では、ループ内LMCSとCRI SEIメッセージからの成分間変換とは非排他的である。これは、エンドユーザによるビットレート低減及びエネルギー消費制御を可能にするために有利に活用され得る。例えば、入力ビデオは、HDR PQフォーマット(BT.2020PQ)である。これは、SEIでシグナリングされるループ外マッピングによって、よりSDRに類似したビデオにマッピングされる。マッピングされたビデオは、符号化されたビデオがSDRであることを示すVUI(ITU-T勧告H.274 ISO/IEC23002-7において規定されるVideo Usability Information)におけるシグナリングを用いて符号化及び復号される。ループ内のLMCSは、(ループ外マッピング関数とは異なる、APSにおいてシグナリングされるマッピング関数を用いて)より高いコード化性能を達成するために、ループ外マッピングを補完して使用され得る。デコーダでは、圧縮されたビデオが復号される。HDRバージョンよりもピクチャ輝度が低いため、それはそのまま、すなわち、ディスプレイによるエネルギー消費がより少なくなる可能性のあるSDRのようなビデオとして表示され得る。エンドユーザがHDRバージョンを表示したい場合、エンドユーザは、ターゲットビデオがHDR PQフォーマットであることを示す、SEIでシグナリングされたループ外逆マッピングを適用することができる。利点は3つある。
1. ビットレート低減:ループ外マッピングは、HDR PQ(例えば、勧告BT.2100において規定される)ビデオに対してインループLMCSよりも良好なコード化圧縮を提供し、また、LMCSは、追加のコード化利得を得るために、マッピングされたビデオに対して、ループ外マッピングの上に適用され得る。実際、LMCSは、SDRビデオをコード化するのにも有益である。
2. 配信におけるエネルギー消費の低減:圧縮の向上、ひいてはビットレートの向上によって、ビデオを配信するためのエネルギー消費が低減される。
3. レンダリングにおけるエネルギー消費の低減:レンダリング側では、クライアント/エンドユーザによって選択されたエネルギー使用量に応じて、復号されマッピングされたビデオをそのまま、より低い輝度、ひいてはより低い表示エネルギー消費で選択するか、又は復号されマッピングされたビデオをループ外逆マッピングによって処理し、より高い輝度、ひいてはより高い表示エネルギー消費で選択することが可能である。
【0193】
修正されたCRI SEIメッセージの変形形態では、pre_lut_coded_value[c][i]はコード化されないが、信号ビット深度及びコード化された値の数に依存してデフォルト値に設定される(pre_lut_num_val_minus1[c]+1)。例えば、pre_lut_coded_value[c][0]は「0」に設定され、pre_lut_coded_value[c][i+1]=pre_lut_coded_value[c][i]+preLutDeltaであり、式中、preLutDelta=2bitdepth/(pre_lut_num_val_minus1[c]+1)である。更に、pre_lut_target_value[c][i]を絶対値としてコード化する代わりに、pre_lut_target_value[c][i-1]に相対する差分値としてコード化することもできる。この変形形態を適用することにより、実際には、LMCS APSシグナリングに類似したシグナリングに対応する。同様に、これは、変換post_lutに関連付けられたシンタックスに適用することができる。対応するシンタックスの一例が表TAB10に提供されており、この表TAB10では、本明細書で説明する修正されたCRI SEIメッセージの異なる変形形態を連結している。加えて、SEIメッセージは、CRI SEIメッセージの一般化されたバージョンであるため、改名されたColour Transform Information SEI messageである。
【0194】
【表10-1】
【0195】
【表10-2】
【0196】
colour_transform_pre_lut_cross_component_flagが「0」に等しいとき、変数colourTransformPreLutNumberは「3」に等しい(「3」個の変換pre_lutが成分c=0~2についてシグナリングされる)。colour_transform_pre_lut_cross_component_flagが「1」に等しいときに、olour_transform_pre_lut_cross_component_inferred_flagが「1」に等しいと(「1」の単一変換pre_lutが成分c=0についてシグナリングされ、成分c=1のための変換pre_lut及び「2」は、シグナリングされたこの単一の変換pre_lutから推測される)、colourTransformPreLutNumberは、「1」に等しく、又はcolour_transform_pre_lut_cross_component_inferred_flagが「0」に等しいと(「1」の変換pre_lutが成分c=0についてシグナリングされ、成分c=1のための(colour_transform_pre_lut_number_minus1+1)変換pre_lut及び「2」がシグナリングされる)、(2+colour_transform_pre_lut_number_minus1)に等しい。同じことが、「pred」を「post」で置き換えることによって変換post_lutにも適用される。
【0197】
第5、第6及び第7の実施形態は、主に図3の復号モジュール及び復号方法に関連して説明された。しかしながら、符号化されたビデオストリーム211と共に復号モジュールによって取得された第5、第6、及び第7の実施形態に関連して説明された全てのシンタックス要素(すなわち、修正されたCRI SEIメッセージ及びタイプLMCS_APSの修正されたAPS)が、符号化モジュールによって、符号化されたビデオストリーム211に関連付けられたことは明らかである。
【0198】
図4Aは、上述した異なる態様及び実施形態に従って修正された図2の符号化方法及び図3の復号方法をそれぞれ実施することができる符号化モジュール又は復号モジュールを実施することができる処理モジュール40のハードウェアアーキテクチャの一例を概略的に示す。処理モジュール40は、非限定的な例として、通信バス405によって接続された、1つ以上のマイクロプロセッサ、汎用コンピュータ、専用コンピュータ、及びマルチコアアーキテクチャに基づくプロセッサを包含するプロセッサ又はCPU(中央処理ユニット)400と、ランダムアクセスメモリ(random access memory、RAM)401と、リードオンリーメモリ(ROM)402と、電気的消去可能プログラマブルリードオンリーメモリ(Electrically Erasable Programmable Read-Only Memory、EEPROM)、リードオンリーメモリ(ROM)、プログラマブルリードオンリーメモリ(Programmable Read-Only Memory、PROM)、ランダムアクセスメモリ(RAM)、ダイナミックランダムアクセスメモリ(Dynamic Random Access Memory、DRAM)、スタティックランダムアクセスメモリ(Static Random Access Memory、SRAM)、フラッシュ、磁気ディスクドライブ、並びに/又は光ディスクドライブ、又は、SD(secure digital)(セキュアデジタル)カードリーダ及び/若しくはハードディスクドライブ(hard disc drive、HDD)などの記憶媒体リーダ及び/若しくはネットワークアクセス可能な記憶デバイスを含むがこれらに限定されない不揮発性メモリ及び/若しくは揮発性メモリを含むことができる記憶ユニット403と、データを他のモジュール、デバイス、又は機器と交換するための少なくとも1つの通信インターフェース404と、を備える。通信インターフェース404は、通信チャネルを介してデータを送信及び受信するように構成された送受信機を含むことができるが、これらに限定されない。通信インターフェース404は、モデム又はネットワークカードを含むことができるが、これらに限定されない。
【0199】
処理モジュール40が復号モジュールを実装する場合、通信インターフェース404は、例えば、処理モジュール40が、符号化されたビデオストリームを受信し、復号されたビデオストリームを提供することを可能にする。処理モジュール40が符号化モジュールを実装する場合、通信インターフェース404は、例えば、処理モジュール40が元の画像データを受信して、符号化し、符号化されたビデオストリームを提供することを可能にする。
【0200】
プロセッサ400は、ROM402、外部メモリ(図示せず)、記憶媒体、又は通信ネットワークからRAM401にロードされた命令を実行することができる。処理モジュール40の電源が投入されると、プロセッサ400は、RAM401から命令を読み出し、それらを実行することができる。これらの命令は、例えば、図3に関連して説明した復号方法又は図2に関連して説明した符号化方法のプロセッサ400によって実施させるコンピュータプログラムを形成し、復号方法及び符号化方法は、本明細書において後述する様々な態様及び実施形態を含む。
【0201】
符号化又は復号方法のアルゴリズム及びステップの全て又は一部は、DSP(digital signal processor)(デジタル信号プロセッサ)又はマイクロコントローラなどのプログラマブルマシンによる命令セットの実行によってソフトウェア形式で実装されてもよく、又はFPGA(field-programmable gate array)(フィールドプログラマブルゲートアレイ)又はASIC(application-specific integrated circuit)(特定用途向け集積回路)などのマシン又は専用コンポーネントによってハードウェア形式で実装されてもよい。
【0202】
図4Bは、様々な態様及び実施形態が実装されているシステム4の一例のブロック図を示す。システム4は、後述する様々な構成要素を含むデバイスとして具現化することができ、本明細書に記載の態様及び実施形態のうちの1つ以上を実行するように構成される。このようなデバイスの例としては、パーソナルコンピュータ、ラップトップコンピュータ、スマートフォン、タブレットコンピュータ、デジタルマルチメディアセットトップボックス、デジタルテレビ受信機、パーソナルビデオ録画システム、接続型家電、カメラ、及びサーバなどの様々な電子デバイスが挙げられるが、これらに限定されない。システム4の要素は、単独で又は組み合わせて、1つの集積回路(integrated circuit、IC)、複数のIC、及び/又は別個の構成要素において具体化することができる。例えば、少なくとも1つの実施形態では、システム4は、復号モジュール又は符号化モジュールを実装する1つの処理モジュール40を備える。しかし、別の実施形態では、システム4は、復号モジュールを実装する第1の処理モジュール40と復号モジュールを実装する第2の処理モジュール40、又は復号モジュール及び符号化モジュールを実装する1つの処理モジュール40を備えることができる。様々な実施形態では、システム40は、例えば、通信バスを介して、又は専用の入力ポート及び/若しくは出力ポートを通して、1つ以上の他のシステム又は他の電子デバイスに通信可能に結合される。様々な実施形態では、システム4は、本明細書に記載される態様のうちの1つ以上を実装するように構成されている。
【0203】
システム4は、符号化モジュール又は復号モジュールのうちの1つ又はその両方を実装することができる少なくとも1つの処理モジュール40を含む。
【0204】
処理モジュール40への入力は、ブロック42に示すように様々な入力モジュールを介して提供することができる。そのような入力モジュールとしては、(i)例えば、放送局から無線で送信される無線周波数(radio frequency、RF)信号を受信するRFモジュール、(ii)構成要素(COMP)入力モジュール(又は一組のCOMP入力モジュール)、(iii)ユニバーサルシリアルバス(Universal Serial Bus、USB)入力モジュール、及び/又は(iv)高精細度マルチメディアインターフェース(High Definition Multimedia Interface、HDMI)入力モジュールが挙げられるが、これらに限定されない。図4Bに示されていない他の例としては、複合ビデオが挙げられる。
【0205】
様々な実施形態では、ブロック42の入力モジュールは、当技術分野で知られているように、関連するそれぞれの入力処理要素を有する。例えば、RFモジュールは、(i)所望の周波数を選択する(信号を選択する、又は信号を周波数帯域に帯域制限するとも称される)、(ii)選択された信号をダウンコンバートする、(iii)特定の実施形態で、(例えば)チャネルと称され得る信号周波数帯域を選択するために、再びより狭い周波数帯域に帯域制限する、(iv)ダウンコンバート及び帯域制限された信号を復調する、(v)誤り訂正を実施する、及び(vi)データパケットの所望のストリームを選択するために多重分離する、ために適切な要素と関連付けられ得る。様々な実施形態のRFモジュールは、これらの機能を実行する1つ以上の要素、例えば、周波数セレクタ、信号セレクタ、バンドリミッタ、チャネルセレクタ、フィルタ、ダウンコンバータ、復調器、エラー訂正器、及びデマルチプレクサを含む。RF部分は、例えば、受信信号をより低い周波数(例えば、中間周波数又はベースバンドに近い周波数)又はベースバンドにダウンコンバートすることを含む、これらの機能のうちの様々な機能を実行するチューナを含むことができる。セットトップボックスの一実施形態では、RFモジュール及びその関連する入力処理要素は、有線(例えば、ケーブル)媒体を介して送信されるRF信号を受信し、所望の周波数帯域にフィルタリング、ダウンコンバート、及び再フィルタリングすることによって周波数選択を実行する。様々な実施形態では、上で説明される(及び他の)要素の順序を並べ替える、これらの要素の一部を削除する、並びに/又は、類似若しくは異なる機能を実行する他の要素を追加する。要素を追加することは、例えば、増幅器及びアナログ-デジタル変換器を挿入するなど、既存の要素間に要素を挿入することを含み得る。様々な実施形態において、RFモジュールは、アンテナを含む。
【0206】
追加的に、USBモジュール及び/又はHDMIモジュールは、システム4をUSB接続及び/又はHDMI接続を介して他の電子デバイスに接続するためのそれぞれのインターフェースプロセッサを含むことができる。入力処理、例えばリード・ソロモン誤り訂正の様々な態様は、例えば、別個の入力処理IC内又は必要に応じて処理モジュール40内で実施することができることを理解すべきである。同様に、USB又はHDMIインターフェース処理の態様は、必要に応じて別個のインターフェースIC内又は処理モジュール40内で実施され得る。復調され、誤り訂正され、逆多重化されたストリームは、処理モジュール40に提供される。
【0207】
システム4の様々な要素は、一体型ハウジング内に設けることができる。一体型ハウジング内で、様々な要素は、適切な接続配置、例えば、IC間(I2C)バス、配線、及びプリント回路基板を含む、当該技術分野で既知の内部バスを使用して、相互接続され、それらの間でデータを送信し得る。例えば、システム4において、処理モジュール40は、バス405によってシステム4の他の要素に相互接続される。
【0208】
処理モジュール40の通信インターフェース404は、システム4が通信チャネル41上で通信することを可能にする。通信チャネル41は、例えば、有線及び/又は無線媒体内に実装することができる。
【0209】
データは、様々な実施形態では、Wi-Fiネットワーク、例えば、IEEE802.11(IEEEは、米国電気電子技術者協会(Institute of Electrical and Electronics Engineers)を指す)などの無線ネットワークを使用して、システム4にストリーミングされるか、又は別様に提供される。これらの実施形態のWi-Fi信号は、Wi-Fi通信に適合されている通信チャネル41及び通信インターフェース404上で受信される。これらの実施形態の通信チャネル41は、典型的に、ストリーミングアプリケーション及び他のオーバザトップ通信を可能にするために、インターネットを含む外部ネットワークへのアクセスを提供するアクセスポイント又はルータに接続される。他の実施形態では、入力ブロック42のHDMI接続を介してデータを配信するセットトップボックスを使用して、システム4にストリーミングデータを提供する。更に他の実施形態では、入力ブロック42のRF接続を使用して、システム4にストリーミングデータを提供する。上で示されるように、様々な実施形態は、データを非ストリーミングの様式で提供する。追加的に、様々な実施形態は、Wi-Fi以外の無線ネットワーク、例えば、セルラネットワーク又はBluetoothネットワークを使用する。
【0210】
システム4は、ディスプレイ46、スピーカ47、及び他の周辺デバイス48を含む様々な出力デバイスに出力信号を提供することができる。様々な実施形態のディスプレイ46は、例えば、タッチスクリーンディスプレイ、有機発光ダイオード(organic light-emitting diode、OLED)ディスプレイ、湾曲ディスプレイ、及び/又は折り畳み可能なディスプレイのうちの1つ以上を含む。ディスプレイ46は、テレビジョン、タブレット、ラップトップ、携帯電話(移動電話)、又は他のデバイス用とすることができる。ディスプレイ46はまた、他のコンポーネントと統合され得るか(例えば、スマートフォンのように)、又は別個に(例えば、ラップトップのための外部モニタ)され得る。他の周辺デバイス46としては、実施形態の様々な実施例において、スタンドアロンデジタルビデオディスク(又はデジタル多用途ディスク)(両方の用語について、digital versatile disc、DVR)、ディスクプレーヤ、ステレオシステム、及び/又は照明システム、のうちの1つ以上が挙げられる。様々な実施形態は、システム4の出力に基づいて機能を提供する1つ以上の周辺デバイス48を使用する。例えば、ディスクプレーヤは、システム4の出力を再生する機能を実行する。
【0211】
様々な実施形態では、制御信号が、システム4と、ディスプレイ46、スピーカ47、又は他の周辺デバイス48との間で、AV.Link、家庭用電子制御(Consumer Electronics Control、CEC)、又はユーザ介入の有無にかかわらずデバイス間の制御を可能にする他の通信プロトコルなどのシグナリングを使用して通信される。出力デバイスは、それぞれのインターフェース43、44、及び45を通した専用接続を介してシステム4に通信可能に結合することができる。代替的に、出力デバイスは、通信インターフェース404を介して、通信チャネル41を使用してシステム4に接続することができる。ディスプレイ46及びスピーカ47は、例えば、テレビなどの電子デバイスにおいてシステム4の他の構成要素と1つの単位に一体化され得る。様々な実施形態において、ディスプレイインターフェース43は、例えば、タイミングコントローラ(timing controller、T Con)チップなどのディスプレイドライバを含む。
【0212】
あるいは、ディスプレイ46及びスピーカ47は、例えば入力42のRFモジュールが別個のセットトップボックスの一部である場合、他の構成要素のうちの1つ以上から分離することができる。ディスプレイ46及びスピーカ47が外部構成要素である様々な実施形態では、例えば、HDMIポート、USBポート、又はCOMP出力を含む専用の出力接続を介して出力信号を提供することができる。
【0213】
様々な実装形態は、復号化することを含む。本出願で使用される場合、「復号」は、例えば、ディスプレイに適した最終出力を生成するために、受信された符号化されたビデオストリームに対して実行されるプロセスの全て又は一部を包含し得る。様々な実施形態において、このような処理は、例えば、エントロピ復号、逆量子化、逆変換、及び予測など、デコーダによって一般的に実行される処理のうちの1つ以上を含む。様々な実施形態では、そのようなプロセスは、更に、又は代替的に、例えば、ループ内又はループ外の色成分間変換プロセス、LMCCSプロセス、又はLMCSプロセスを適用するために、本出願で説明する様々な実装形態又は実施形態のデコーダによって実行されるプロセスを含む。
【0214】
「復号プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な復号プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
【0215】
様々な実装形態は、符号化を伴う。「復号」に関する上記の考察と同様に、本出願で使用される場合、「符号化」は、例えば、符号化されたビデオストリームを生成するために入力ビデオシーケンスで実行されるプロセスの全部又は一部を包含し得る。様々な実施形態において、そのようなプロセスは、例えば、分割、予測、変換、量子化、インループポストフィルタリング及びエントロピ符号化など、エンコーダによって典型的に実行されるプロセスのうちの1つ以上を含む。様々な実施形態では、そのようなプロセスは、更に、又は代替的に、例えば、ループ内又はループ外の色成分間変換プロセス、LMCCSプロセス、又はLMCSプロセスを適用するために、本出願で説明する様々な実装形態又は実施形態のエンコーダによって実行されるプロセスを含む。
【0216】
「符号化プロセス」という句が、具体的に作業部分集合を指すことを目的とするものであるか、又は全体としてより広範な符号化プロセスを指すことを目的とするものであるかは、具体的な説明の背景に基づいて明らかになり、当業者によって十分に理解されると考えられる。
【0217】
本明細書で使用される構文要素名、フラグ名、コンテナ名、コード化ツール名は、記述用語であることに留意されたい。したがって、それらは、他の構文要素名、フラッグ名、コンテナ名、又はコード化ツール名の使用を排除するものではない。
【0218】
図がフローチャートとして提示されている場合、その図は対応する装置のブロック図も提供するものと理解されたい。同様に、図がブロック図として提示されている場合、その図は対応する方法/プロセスのフローチャートも提供するものと理解されたい。
【0219】
様々な実施形態は、速度歪み最適化を指す。特に、符号化プロセス中に、レートと歪みとの間のバランス又はトレードオフが通常考慮される。レート歪み最適化は、通常、レートと歪みの加重和であるレート歪み関数を最小化するように定式化される。レート歪み最適化問題を解くには、異なるアプローチがある。例えば、これらのアプローチは、全ての考慮されるモード又はコーディングパラメータ値を含む全ての符号化オプションの広範なテストに基づき得、それらのコーディングコスト、並びにコーディング及び復号後の再構成された信号の関連する歪みの完全な評価を伴う。また、符号化の複雑度を軽減するために、より高速なアプローチ、特に、再構成された信号ではなく、予測又は予測残差信号に基づく近似歪みの計算を使用することもできる。考えられる符号化選択肢の一部のみに対して近似歪みを使用し、他の符号化選択肢に対しては完全な歪みを使用することなどによって、これらの2つの手法の混合を使用することもできる。他の手法では、考えられる符号化選択肢部分集合のみを評価する。より一般的には、多くのアプローチは、最適化を実行するために様々な技術のいずれかを採用するが、最適化は、必ずしもコーディングコスト及び関連する歪みの両方の完全な評価ではない。
【0220】
本明細書に記載の実装形態及び態様は、例えば、方法若しくはプロセス、装置、ソフトウェアプログラム、データストリーム、又は信号において実装することができる。たとえ単一の形態の実装形態の文脈でのみ考察される場合でも(例えば、方法としてのみ考察される)、考察された特徴の実装形態は、他の形態(例えば、装置又はプログラム)でも実装することができる。例えば、適切なハードウェア、ソフトウェア、及びファームウェアにおいて装置を実装することができる。方法は、例えば、プロセッサにおいて実装することができ、プロセッサは、例えば、コンピュータ、マイクロプロセッサ、集積回路、又はプログラマブルロジックデバイスを含む一般的な処理デバイスを指す。プロセッサには、例えば、エンドユーザ間の情報の通信を容易にする、コンピュータ、携帯電話、ポータブル/携帯情報端末(「Personal Digital Assistant、PDA」)などのデバイスなどの通信デバイスも含まれる。
【0221】
「一実施形態」若しくは「ある実施形態」又は「一実装形態」若しくは「ある実装形態」、またそれらの他の変形形態への言及は、その実施形態に関連して説明する特定の特徴、構造、特性などが、少なくとも1つの実施形態に含まれることを意味する。したがって、本出願全体を通して様々な場所に現れる「一実施形態では」若しくは「ある実施形態では」又は「一実装形態では」若しくは「ある実装形態では」、また他の変形形態という句が現れるとき、必ずしも全てが同じ実施形態を指しているのではない。
【0222】
加えて、本出願は、様々な情報を「判定する」ことに言及し得る。情報を判定することは、例えば、情報を推定すること、情報を計算すること、情報を予測すること、他の情報から情報を推測すること、メモリから情報を取り出すこと、又は、例えば、別のデバイス、モジュール若しくはユーザから情報を取得すること、のうちの1つ以上を含むことができる。
【0223】
更に、本出願は、様々な情報に「アクセスすること」に言及する場合がある。情報にアクセスすることは、例えば、情報を受信すること、(例えば、メモリから)情報を取得すること、情報を記憶すること、情報を移動すること、情報をコピーすること、情報を計算すること、情報を判定すること、情報を予測すること、情報を推測すること、又は情報を推定することのうちの1つ以上を含むことができる。
【0224】
加えて、本出願は、様々な情報を「受信すること」に言及する場合がある。受信することは、「アクセスすること」と同様に、広義の用語であることを意図している。情報を受信することは、例えば、情報にアクセスすること、又は(例えば、メモリから)情報を取得することのうちの1つ以上を含むことができる。更に、「受信すること」は、典型的には、例えば、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を消去すること、情報を計算すること、情報を判定すること、情報を予測すること、情報を推測すること、又は情報を推定することなどの動作中に、何らかの形で含まれる。
【0225】
「/」、「及び/又は」、「のうちの少なくとも1つ」、「1つ以上」のいずれかの使用、例えば、「A/B」、「A及び/又はB」、「A及びBのうちの少なくとも1つ」、「A及びBの1つ以上」の場合、最初にリストされた選択肢(A)のみの選択、又は2番目にリストされた選択肢(B)のみの選択、又は両方の選択肢(A及びB)の選択を包含することを意図しているものと理解されたい。更なる例として、「A、B、及び/又はC」及び「A、B、及びCのうちの少なくとも1つ」、「A、B及びCのうちの1つ以上」の場合、このような句は、最初にリストされた選択肢(A)のみの選択、又は2番目にリストされた選択肢(B)のみの選択、又は3番目にリストされた選択肢(C)のみの選択、又は、最初及び2番目にリストされた選択肢(A及びB)のみの選択、又は、最初及び3番目にリストされた選択肢(A及びC)のみの選択、又は、2番目及び3番目にリストされた選択肢(B及びC)のみの選択、又は3つの選択肢(A及びB及びC)全ての選択を包含するように意図されている。このことは、当該技術分野及び関連技術分野の当業者に明らかであるように、リストされたアイテムの数だけ拡張され得る。
【0226】
また、本明細書で使用されるとき、「シグナリングする」という語は、特に、対応するデコーダに対して何かを示すことを意味する。例えば、いくつかの実施形態では、エンコーダは、APS又はSEIメッセージ中で色成分間変換、LMCCS又はLMCSに関連する情報をシグナリングする。このように、ある実施形態では、同じパラメータがエンコーダ側とデコーダ側の両方で使用される。したがって、例えば、エンコーダは、デコーダが同じ特定のパラメータを使用することができるように、特定のパラメータをデコーダに送信することができる(明確なシグナリング)。これに対し、デコーダがすでにその特定のパラメータと共に他のパラメータも有する場合は、単にデコーダがその特定のパラメータを知ること、及びそれを選択することを可能にするように、送信を行わないシグナリング(暗黙的なシグナリング)を使用することができる。いかなる実際の機能の送信も回避することにより、様々な実施形態において、ビットの節約が実現される。シグナリングは、様々な方法で達成することができることが理解されよう。例えば、1つ以上のシンタックス要素、フラグなどが、様々な実施形態において、対応するデコーダに情報をシグナリングするために使用される。上記は、「信号」という語の動詞形に関連し、「信号」という語は、本明細書では名詞としても使用されることがある。
【0227】
当業者には明白であるように、実装形態は、例えば、格納され得る、又は送信され得る情報を搬送するようにフォーマットされた様々な信号をもたらすことができる。情報は、例えば、方法を実行するための命令、又は説明されている実装形態の1つによって生成されるデータを含むことができる。例えば、説明されている実施形態の符号化されたビデオストリームを伝えるように信号をフォーマットすることができる。例えば、電磁波として(例えば、スペクトルの無線周波数部分を使用して)、又はベースバンド信号として、このような信号をフォーマットすることができる。フォーマットすることは、例えば、符号化されたビデオストリームを符号化すること、及び符号化ビデオストリームで搬送波を変調することを含むことができる。信号が搬送する情報は、例えば、アナログ情報又はデジタル情報とすることができる。既知であるように、様々な異なる有線リンク又は無線リンク上で信号を送信することができる。信号は、プロセッサ可読媒体に格納することができる。
【0228】
更に、実施形態は、様々な特許請求の範疇及びタイプにわたって、以下の特徴、デバイス、又は態様のうちの1つ以上を、単独で、又は任意の組み合わせにおいて、含むことができる。
・ 説明される実施形態のうちのいずれかにより生成された情報を搬送するシンタックス要素を含むビットストリーム又は信号、
・ エンコーダによって使用される方法に対応する方法で復号プロセスをデコーダが適応させることを可能にする構文要素をシグナリングに挿入すること、
・ 説明されるシンタックス要素又はそのバリエーションのうちの1つ以上を含むビットストリーム又は信号を作成及び/又は送信及び/又は受信及び/又は復号すること、
・ 説明される実施形態のいずれかにより、作成及び/又は送信及び/又は受信及び/又は復号すること、
・ 説明される実施形態のいずれかによる、方法、プロセス、装置、命令を記憶する媒体、データを記憶する媒体、又は信号、
・ 説明される実施形態のいずれかに従って符号化又は復号プロセスの適応を実行するTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス、
・ 説明される実施形態のいずれかに従って符号化又は復号プロセスの適応を実行し、結果として生じる画像を(例えば、モニタ、スクリーン、又は他のタイプのディスプレイを使用して)表示するTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス、
・ 符号化された画像を含む信号を受信するために(例えば、チューナを使用して)チャネルを選択し、説明される実施形態のいずれかに従って復号プロセスの適応を実行する、TV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス、
・ 符号化された画像を含む無線上の信号を(例えば、アンテナを使用して)受信し、説明される実施形態のうちのいずれかに従って符号化プロセスの適応を実行するTV、セットトップボックス、携帯電話、タブレット、又は他の電子デバイス。
図1
図2
図3
図4A
図4B
図5
図6
図7
図8
図9
図10A
図10B
【国際調査報告】