IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ベイジン ダイジャ インターネット インフォメーション テクノロジー カンパニー リミテッドの特許一覧

特開2024-99724ビデオ復号のための方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、コンピュータプログラム、および、ビデオ復号方法によって復号するビットストリームを格納する方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024099724
(43)【公開日】2024-07-25
(54)【発明の名称】ビデオ復号のための方法、コンピューティングデバイス、非一時的コンピュータ可読記憶媒体、コンピュータプログラム、および、ビデオ復号方法によって復号するビットストリームを格納する方法
(51)【国際特許分類】
   H04N 19/105 20140101AFI20240718BHJP
   H04N 19/186 20140101ALI20240718BHJP
   H04N 19/70 20140101ALI20240718BHJP
【FI】
H04N19/105
H04N19/186
H04N19/70
【審査請求】有
【請求項の数】8
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024071223
(22)【出願日】2024-04-25
(62)【分割の表示】P 2023176011の分割
【原出願日】2021-06-24
(31)【優先権主張番号】63/043,569
(32)【優先日】2020-06-24
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】521289098
【氏名又は名称】ベイジン ダジア インターネット インフォメーション テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】BEIJING DAJIA INTERNET INFORMATION TECHNOLOGY CO., LTD.
【住所又は居所原語表記】Room 101,8th Floor,Building 12,No.16,Xierqi West Road,Haidian District,Beijing 100085,P.R.China
(74)【代理人】
【識別番号】100112656
【弁理士】
【氏名又は名称】宮田 英毅
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】シュウ,シャオユウ
(72)【発明者】
【氏名】チェン,イウェン
(72)【発明者】
【氏名】マ,ツンチュアン
(72)【発明者】
【氏名】ジュ,ホンジェン
(72)【発明者】
【氏名】チェン,ウェイ
(72)【発明者】
【氏名】ワン,シャンリン
(72)【発明者】
【氏名】ユ,ビン
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159LA02
5C159MA04
5C159MA05
5C159MA17
5C159MA21
5C159MC11
5C159ME01
5C159PP04
5C159RC11
5C159TA30
5C159TB08
5C159UA02
5C159UA05
(57)【要約】      (修正有)
【課題】彩度スケーリングを伴う輝度マッピング(LMCS)によって導入された順方向マッピング符号化ビット長問題を修正する方法および装置を提供する。
【解決手段】方法は、マッピングされたドメインにおいて、LMCSフレームワークの下でインターモード又は結合インターイントラ予測モードによって符号化された、符号化ユニット(CU)の輝度成分の複数の予測サンプルを取得し、マッピングされたドメインにおいて、CUの輝度成分の複数の残差サンプルをビットストリームから受信し、マッピングされたドメインにおける複数の予測サンプルを、マッピングされたドメインにおける複数の残差サンプルに加算し、マッピングされたドメインにおいて、輝度成分の複数の再構成サンプルを得て、輝度成分の複数の再構成サンプルを、事前定義された複数の逆マッピングスケーリング係数に基づいて、マッピングされたドメインから元のドメインに変換する。
【選択図】図23
【特許請求の範囲】
【請求項1】
彩度スケーリングを伴う輝度マッピング(LMCS)のフレームワーク下で、インター
モードまたは結合インターイントラ予測(CIIP)モードによって符号化された、符号
化ユニット(CU)の輝度成分の、マッピングされたドメインにおける複数の予測サンプ
ルを取得することと、
前記CUの前記輝度成分の、前記マッピングされたドメインにおける複数の残差サンプ
ルを、前記ビットストリームから受信することと、
前記マッピングされたドメインにおける前記複数の予測サンプルを、前記マッピングさ
れたドメインにおける前記複数の残差サンプルに加算し、前記輝度成分の、前記マッピン
グされたドメインにおける複数の再構成されたサンプルを得ることと、
事前定義された複数の逆マッピングスケーリング係数に基づいて、前記輝度成分の前記
複数の再構成されたサンプルを、前記マッピングされたドメインから元のドメインに変換
することと、
を含む、ビデオ復号のための方法。
【請求項2】
前記CUは、前記インターモードによって符号化され、前記CUの前記輝度成分の、前
記マッピングされたドメインにおける前記複数の予測サンプルを取得することは、
前記CUの時間参照ピクチャから前記CUの前記輝度成分の、前記元のドメインにおけ
る複数のインター予測サンプルを導出することと、
事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にあ
る事前定義された複数の順方向マッピングスケーリング係数に基づいて、前記元のドメイ
ンから前記マッピングされたドメインに、前記輝度成分の前記複数のインター予測サンプ
ルを変換することと、
を含む、請求項1に記載の方法。
【請求項3】
前記CUは、前記CIIPモードによって符号化され、前記CUの前記輝度成分の、前
記マッピングされたドメインにおける前記複数の予測サンプルを取得することは、
前記CUの時間参照ピクチャから前記CUの前記輝度成分の、前記の元のドメインにお
ける複数のインター予測サンプルを導出することと、
事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にあ
る事前定義された複数の順方向マッピングスケーリング係数に基づいて、前記輝度成分の
前記複数のインター予測サンプルを、前記元のドメインから前記マッピングされたドメイ
ンに変換することと、
前記CUの前記輝度成分の、前記マッピングされたドメインにおける複数のイントラ予
測サンプルを計算することと、
前記マッピングされたドメインにおける前記CUの前記輝度成分の前記予測サンプルを
、前記変換された複数のインター予測サンプルおよび前記複数のイントラ予測サンプルの
加重平均として導出することと、
を含む、請求項1に記載の方法。
【請求項4】
前記事前定義された符号化ビット深度、および前記事前定義された順方向マッピング精
度内にある前記事前定義された複数の順方向マッピングスケーリング係数に基づいて、前
記輝度成分の前記複数のインター予測サンプルを、前記元のドメインから前記マッピング
されたドメインに変換することは、
前記事前定義された複数の順方向マッピングスケーリング係数を使用して、前記輝度成
分の前記複数のインター予測サンプルを、前記元のドメインから前記マッピングされたド
メインに変換することと、
前記事前定義された符号化ビット深度、および前記事前定義された順方向マッピング精
度に基づいて、クリッピング操作が必要かどうかを判定することと、
前記クリッピング操作が必要であるという判定に応答して、前記輝度成分の、前記マッ
ピングされたドメインにおける前記複数のインター予測サンプルを、前記事前定義された
符号化ビット深度にクリッピングすることと、
を含む、請求項2または3に記載の方法。
【請求項5】
前記事前定義された符号化ビット深度、および前記事前定義された順方向マッピング精
度内にある前記事前定義された複数の順方向マッピングスケーリング係数に基づいて、前
記輝度成分の前記複数のインター予測サンプルを、前記元のドメインから前記マッピング
されたドメインに変換することは、
前記事前定義された複数の順方向マッピングスケーリング係数を使用して、前記輝度成
分の前記複数のインター予測サンプルを、前記元のドメインから前記マッピングされたド
メインに変換することと、
前記事前定義された符号化ビット深度、および前記事前定義された順方向マッピング精
度に基づいて、クリッピング操作が必要かどうかを判定することと、
前記クリッピング操作が必要ではないという判定に応答して、前記輝度成分の前記複数
のインター予測サンプルのクリッピングをバイパスすることと、
を含む、請求項2または3に記載の方法。
【請求項6】
前記クリッピング操作が必要であるかどうかを判定することは、前記事前定義された符
号化ビット深度が前記事前定義された順方向マッピング精度よりも大きい場合に、前記ク
リッピング操作が必要であると判定すること、を含む、請求項4または5に記載の方法。
【請求項7】
前記クリッピング操作が必要であるかどうかを判定することは、前記事前定義された符
号化ビット深度が前記事前定義された順方向マッピング精度よりも小さい場合に、前記ク
リッピング操作が必要ではないと判定すること、を含む、請求項4または5に記載の方法
【請求項8】
前記クリッピング操作が必要であるかどうかを判定することは、前記事前定義された符
号化ビット深度および前記事前定義された順方向マッピング精度にかかわらず、前記クリ
ッピング操作が必要であると判定すること、を含む、請求項4または5に記載の方法。
【請求項9】
前記クリッピング操作が必要であるかどうかを判定することは、前記事前定義された符
号化ビット深度および前記事前定義された順方向マッピング精度にかかわらず、前記クリ
ッピング操作が必要ではないと判定すること、を含む、請求項4または5に記載の方法。
【請求項10】
前記事前定義された順方向マッピング精度が15ビットである、請求項6、7、8、ま
たは9のいずれか一項に記載の方法。
【請求項11】
前記事前定義された順方向マッピング精度が11ビットである、請求項6、7、8、ま
たは9のいずれか一項に記載の方法。
【請求項12】
コンピューティングデバイスであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサに結合された非一時的記憶装置と、
前記1つまたは複数のプロセッサによって実行されると、前記コンピューティングデバ
イスに請求項1から11のいずれか一項に記載の方法を実行させる、前記非一時的記憶装
置に格納された複数のプログラムと、
を含む、コンピューティングデバイス。
【請求項13】
1つまたは複数のプロセッサを有するコンピューティングデバイスによって実行される
複数のプログラムを格納する非一時的コンピュータ可読記憶媒体であって、前記複数のプ
ログラムは、前記1つまたは複数のプロセッサによって実行されると、前記コンピューテ
ィングデバイスに請求項1から11のいずれか一項に記載の方法を実行させる、非一時的
コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、2020年6月24日出願の米国仮特許出願番号第63/043,569号
に記載されている利益を主張する。前述の出願の全開示は、あらゆる目的のためにその全
体が参照により本明細書に組み込まれる。
【0002】
本発明は、一般に、ビデオ符号化および圧縮に関する。より詳細には、本発明は、符号
化ユニットに対して予測依存残差スケーリング(prediction depende
nt residual scaling,PDRS)を使用してビデオ符号化を実行す
るためのシステムおよび方法に関する。
【背景技術】
【0003】
このセクションは、本開示に関連する背景情報を提供する。このセクションに含まれる
情報は、必ずしも先行技術と解釈されるべきではない。
【0004】
ビデオデータを圧縮するために、様々なビデオ符号化技術のうちのいずれかを使用する
ことができる。ビデオ符号化は、1つまたは複数のビデオ符号化規格に従って実行するこ
とができる。いくつかの例示的なビデオ符号化規格は、多用途ビデオ符号化(Versa
tile Video Coding,VVC)、共同探索テストモデル(joint
exploration model,JEM)符号化、高効率ビデオ符号化(H.26
5/HEVC)、アドバンストビデオ符号化(H.264/AVC)、および動画エキス
パートグループ(MPEG)符号化を含む。
【0005】
ビデオ符号化は、一般に、ビデオ画像またはシーケンスに固有の冗長性を利用する予測
方法(例えば、インター予測、イントラ予測など)を利用する。ビデオ符号化技術の目的
の1つは、ビデオ品質の低下を回避または最小化しながら、ビデオデータをより低いビッ
トレートを使用する形式に圧縮することである。
【発明の概要】
【発明が解決しようとする課題】
【0006】
このセクションは、本開示の一般的な概要を提供し、その全範囲またはその特徴のすべ
ての包括的な開示ではない。
【課題を解決するための手段】
【0007】
本出願の第1の態様によれば、彩度スケーリングを伴う輝度マッピング(luma m
apping with chroma scaling,LMCS)のフレームワーク
の下で、インターモードまたは結合インターイントラ予測(combined inte
r and intra prediction,CIIP)モードによって符号化され
た符号化ユニット(CU)の輝度成分の、マッピングされたドメインにおける複数の予測
サンプルが取得され、CUの輝度成分の、マッピングされたドメインにおける複数の残差
サンプルがビットストリームから受信され、マッピングされたドメインにおける複数の予
測サンプルが、マッピングされたドメインにおける複数の残差サンプルに加算されて、輝
度成分の、マッピングされたドメインにおける複数の再構成サンプルが得られ、輝度成分
の複数の再構成サンプルが、事前定義された複数の逆マッピングスケーリング係数に基づ
いて、マッピングされたドメインから元のドメインに変換される。
【0008】
本出願の第2の態様によれば、コンピューティングデバイスは、1つまたは複数のプロ
セッサと、メモリと、メモリに格納された複数のプログラムとを含む。プログラムは、1
つまたは複数のプロセッサによって実行されると、コンピューティングデバイスに、本出
願の第1の態様で上述したような操作を実行させる。
【0009】
本出願の第3の態様によれば、非一時的コンピュータ可読記憶媒体は、1つまたは複数
のプロセッサを有するコンピューティングデバイスによって実行される複数のプログラム
を格納する。プログラムは、1つまたは複数のプロセッサによって実行されると、コンピ
ューティングデバイスに、本出願の第1の態様で上述したような操作を実行させる。
【0010】
以下、本開示の例示的な非限定的な実施形態のセットを、添付の図面と併せて説明する
。構造、方法、または機能の変形は、本明細書に提示された例に基づいて当業者によって
実施されてもよく、そのような変形はすべて本開示の範囲内に含まれる。矛盾が存在しな
い場合、異なる実施形態の教示は、互いに組み合わせることができるが、必ずしも組み合
わせる必要はない。
【図面の簡単な説明】
【0011】
図1】多くのビデオ符号化規格と共に使用され得る、例示的なブロックベースのハイブリッドビデオエンコーダを示すブロック図である。
図2】多くのビデオ符号化規格と共に使用され得る、例示的なビデオデコーダを示すブロック図である。
図3】多くのビデオ符号化規格と併せて使用され得る、マルチタイプツリー構造におけるブロック分割の図である。
図4】LMCSを適用した復号処理を示すフローチャートである。
図5】双方向オプティカルフロー(Bi-Directional Optical Flow,BDOF)処理の図である。
図6】デコーダ側動きベクトル微調整(Decoder-side Motion Vector Refinement,DMVR)、BDOF、およびCIIPのすべてが有効にされている場合のLMCSにおける彩度残差スケーリングのワークフローを示すフローチャートである。
図7】予測依存残差スケーリング(PDRS)手順のステップを示すフローチャートである。
図8】LMCS処理においてPDRS手順が適用される場合の復号処理のワークフローを示すフローチャートである。
図9】スケーリング係数を導出するために、予測サンプルのみを使用することによって生じる、残差マッピング誤差を示す図である。
図10】彩度サンプル再構成手順のステップを示すフローチャートである。
図11】第2の彩度サンプル再構成手順のステップを示すフローチャートである。
図12】DMVR、BDOF、およびCIIPが彩度スケーリングのための輝度予測サンプルを生成するために適用されない、第2の彩度サンプル再構成手順の一例における、LMCS復号処理のワークフローを示すフローチャートである。
図13】彩度スケーリングのための輝度予測サンプルを生成するために初期単一予測信号が適用される、第2の彩度サンプル再構成手順の第2の例における、LMCS復号処理のワークフローを示すフローチャートである。
図14】彩度残差サンプル再構成手順のステップを示すフローチャートである。
図15】彩度残差サンプル再構成手順の1つまたは複数の実施形態における、LMCS復号処理のワークフローを示すフローチャートである。
図16】彩度残差サンプル再構成手順の他の一実施形態における、LMCS復号処理のワークフローを示すフローチャートである。
図17】第2の彩度残差サンプル再構成手順のステップを示すフローチャートである。
図18】非クリッピング彩度残差スケーリング係数導出手順のステップを示すフローチャートである。
図19】非クリッピング彩度残差スケーリング係数導出手順の一例に関与する領域の図である。
図20】非クリッピング彩度サンプル復号手順のステップを示すフローチャートである。
図21】非クリッピング彩度サンプル復号手順の1または複数の実施形態のステップを示すフローチャートである。
図22】非クリッピング彩度サンプル復号手順の1つまたは複数の実施形態のステップを示すフローチャートである。
図23】本開示の第1の態様のステップを示すフローチャートである。
図24】本開示の第1の態様の1つまたは複数の実施形態のステップを示すフローチャートである。
図25】本開示の第1の態様の1つまたは複数の実施形態のステップを示すフローチャートである。
図26】本開示の第1の態様の1つまたは複数の実施形態のステップを示すフローチャートである。
図27】本開示のいくつかの実装形態による、ビデオ符号化のための例示的な装置を例示するブロック図である。
【発明を実施するための形態】
【0012】
本開示で使用される用語は、本開示を限定するためではなく、特定の例を示すためのも
のである。本開示および添付の特許請求の範囲で使用される単数形「a」、「an」およ
び「the」は、他の意味が文脈に明確に含まれない限り、複数形も指す。本明細書で使
用される「および/または(and/or)」という用語は、1つまたは複数の関連する
列挙された項目の任意のまたはすべての可能な組み合わせを指すことを理解されたい。
【0013】
本明細書では、「第1」、「第2」、「第3」などの用語を使用して様々な情報を説明
することができるが、情報はこれらの用語によって限定されるべきではないことを理解さ
れたい。これらの用語は、情報のあるカテゴリを別のカテゴリと区別するためにのみ使用
される。例えば、本開示の範囲から逸脱することなく、第1の情報を第2の情報と呼ぶこ
とができる。同様に、第2の情報を第1の情報と呼ぶこともできる。本明細書で使用され
る場合、「場合(if)」という用語は、文脈に応じて、「時(when)」または「際
(upon)」または「~に応答して(in response to)」を意味すると
理解され得る。
【0014】
本明細書を通して、単数または複数の「一実施形態」、「実施形態」、「別の実施形態
」などへの言及は、実施形態に関連して説明される1つまたは複数の特定の特徴、構造、
または特性が、本開示の少なくとも1つの実施形態に含まれることを意味する。したがっ
て、本明細書全体の様々な場所における単数または複数の「一実施形態では」または「実
施形態では」、「別の実施形態では」などの句の出現は、必ずしもすべてが同じ実施形態
を指すとは限らない。さらに、1つまたは複数の実施形態における特定の特徴、構造、ま
たは特性は、任意の適切な方法で組み合わせることができる。
【0015】
HEVC規格の最初のバージョンは2013年10月に完成され、これは、前世代のビ
デオ符号化規格H.264/MPEG AVCと比較して、約50%のビットレート節約
または同等の知覚品質を提供する。HEVC規格は、その先行規格よりも大幅な符号化改
善を提供するが、HEVCの上に追加の符号化ツールを用いることで、優れた符号化効率
を達成できる証拠がある。それに基づいて、VCEGおよびMPEGの両方は、将来のビ
デオ符号化の標準化のための新しい符号化技術の探索作業を開始した。符号化効率を大幅
に向上する可能性がある高度技術の重要研究を開始するために、ITU-T VECGお
よびISO/IEC MPEGによって2015年10月に1つの共同ビデオ探索チーム
(Joint Video Exploration Team,JVET)が形成され
た。共同探索モデル(JEM)と呼ばれる1つの参照ソフトウェアは、HEVCテストモ
デル(HM)の上にいくつかの追加の符号化ツールを統合することにより、JVETによ
って維持された。
【0016】
2017年10月、HEVCを超える能力を有するビデオ圧縮に関する提案(CfP)
、ITU-TおよびISO/IECにより共同で募集された。2018年4月に、23回
のCfP応答が受け取られ、10回のJVET会議で評価したところ、HEVCを約40
%上回る圧縮効率の増加が実証された。このような評価結果に基づき、JVETは、新世
代動画像符号化規格である多用途ビデオ符号化(VVC)の開発プロジェクトを新たに立
ち上げた。同じ月に、VVC試験モデル(VVC test model,VTM)と呼
ばれる1つの参照ソフトウェアが、VVC規格の参照実装を実証するために確立された。
【0017】
ビデオ符号化で利用される予測方法は、通常、ビデオデータに固有の冗長性を低減また
は除去するために空間(フレーム内)予測および/または時間(フレーム間)予測を実行
することを含み、概して、ブロックベースのビデオ符号化に関連付けられる。HEVCと
同様に、VVCはブロックベースのハイブリッドビデオ符号化フレームワークに基づいて
構築されている。
【0018】
ブロックベースのビデオ符号化では、入力ビデオ信号はブロックごとに処理される。各
ブロックについて、空間予測および/または時間予測を実行することができる。現在のV
VC設計などのより新しいビデオ符号化規格では、ブロックは、四分木だけでなく二分木
および/または三分木も含む、マルチタイプツリー構造に基づいてさらに分割することが
できる。これは、変化する局所的特性のより良好な適応を可能にする。
【0019】
空間予測(「イントラ予測」としても知られる)は、現在のブロックを予測するために
、同じビデオピクチャ/スライス内の既に符号化された隣接ブロック(参照サンプルと呼
ばれる)のサンプルからの画素を使用する。空間予測は、ビデオ信号に固有の空間的冗長
性を低減する。
【0020】
復号処理の間、ビデオビットストリームは最初にエントロピー復号ユニットにおいてエ
ントロピー復号される。符号化モードおよび予測情報は、予測ブロックを形成するために
、空間予測ユニット(イントラ符号化された場合)または時間予測ユニット(インター符
号化された場合)のいずれかに送信される。残差変換係数は、残差ブロックを再構成する
ために、逆量子化ユニットおよび逆変換ユニットに送られる。そして、予測ブロックと残
差ブロックとが加算される。再構成されたブロックは、参照ピクチャストア内に格納され
る前に、ループ内フィルタリングをさらに通過してもよい。その後、参照ピクチャストア
内の再構成されたビデオは、ディスプレイデバイスを駆動するために送出されるとともに
、将来のビデオブロックを予測するために使用される。
【0021】
現在のVVC設計などのより新しいビデオ符号化規格では、彩度スケーリングを伴う輝
度マッピング(LMCS)の符号化ツールは、ループ内フィルタリングの前に適用され得
る。LMCSは、符号化効率を改善するために入力信号のダイナミックレンジを調整する
ことを目的とする。
【0022】
しかしながら、LMCSの現在の設計では、輝度成分のインター予測サンプルのマッピ
ング精度は、内部符号化深度のダイナミックレンジを超える可能性がある。
【0023】
概念的には、背景技術のセクションで前述したものを含む、多くのビデオ符号化規格が
類似している。例えば、実質的にすべてのビデオ符号化規格はブロックベースの処理を使
用し、ビデオ圧縮を達成するために同様のビデオ符号化ブロック図を共有する。
【0024】
図1は、多くのビデオ符号化規格と共に使用され得る、例示的なブロックベースのハイ
ブリッドビデオエンコーダ100のブロック図を示す。エンコーダ100では、ビデオフ
レームが複数のビデオブロックに分割されて処理される。所与のビデオブロックごとに、
インター予測手法またはイントラ予測手法のいずれかに基づいて、予測が形成される。イ
ンター予測では、以前に再構成されたフレームからの画素に基づいて、動き推定および動
き補償によって、1つまたは複数の予測子が形成される。イントラ予測では、現在のフレ
ーム内の再構成された画素に基づいて予測子が形成される。モード決定により、現在のブ
ロックを予測するために最良の予測子を選択することができる。
【0025】
現在のビデオブロックとその予測子との間の差を表す予測残差は、変換回路102に送
信される。変換係数はその後、エントロピー低減のために変換回路102から量子化回路
104へ送信される。量子化された係数は、その後、圧縮ビデオビットストリームを生成
するためにエントロピー符号化回路106に供給される。図1に示すように、ビデオブロ
ック分割情報、動きベクトル、参照ピクチャインデックス、およびイントラ予測モードな
どのインター予測回路および/またはイントラ予測回路112からの予測関連情報110
も、エントロピー符号化回路106を介して供給され、圧縮ビデオビットストリーム11
4に保存される。
【0026】
エンコーダ100では、予測の目的で画素を再構成するために、デコーダ関連の回路も
必要とされる。まず、予測残差が逆量子化回路116および逆変換回路118によって再
構成される。この再構成された予測残差は、現在のビデオブロックのフィルタリングされ
ていない再構成画素を生成するために、ブロック予測子120と組み合わされる。
【0027】
時間予測(「インター予測」または「動き補償予測」とも呼ばれる)は、現在のビデオ
ブロックを予測するために、既に符号化されたビデオピクチャからの再構成画素を使用す
る。時間予測は、ビデオ信号に固有の時間的冗長性を低減する。所与のCUの時間予測信
号は、通常、現在のCUとその時間基準との間の動きの量および方向を示す、1つまたは
複数の動きベクトル(MV)によってシグナリングされる。また、複数の参照ピクチャが
サポートされている場合、1つの参照ピクチャインデックスがさらに送信され、これは、
参照ピクチャストア内のどの参照ピクチャから時間予測信号が来るかを識別するために使
用される。
【0028】
空間および/または時間予測が実行された後、エンコーダ100内のイントラ/インタ
ーモード決定回路121は、例えばレート歪み最適化方法に基づいて、最良の予測モード
を選択する。次に、ブロック予測子120は、現在のビデオブロックから減算される。そ
して、得られた予測残差は、変換回路102および量子化回路104を使用して逆相関さ
れる。得られた量子化残差係数は、逆量子化回路116によって逆量子化され、逆変換回
路118によって逆変換されて再構成残差が形成され、次いで、これが予測ブロックに加
算されてCUの再構成信号が形成される。再構成されたCUがピクチャバッファ117の
参照ピクチャストアに入れられ、将来のビデオブロックを符号化するために使用される前
に、再構成されたCUにデブロッキングフィルタ、サンプル適応オフセット(sampl
e adaptive offset,SAO)、および/または適応ループ内フィルタ
(adaptive in-loop filter,ALF)などの、さらなるループ
内フィルタリング115を適用することができる。出力ビデオビットストリーム114を
形成するために、符号化モード(インターまたはイントラ)、予測モード情報、動き情報
、および量子化残差係数はすべて、ビットストリームを形成するためにさらに圧縮および
パックされるようにエントロピー符号化ユニット106に送信される。
【0029】
例えば、デブロッキングフィルタは、AVC、HEVC、ならびにVVCの現在のバー
ジョンで利用可能である。HEVCでは、符号化効率をさらに向上させるために、SAO
(sample adaptive offset)と呼ばれる追加のループ内フィルタ
が定義されている。VVC規格の現在のバージョンでは、ALF(適応ループフィルタ)
と呼ばれるさらに別のループ内フィルタが積極的に研究されており、最終規格に含まれる
可能性が高い。
【0030】
これらのループ内フィルタ操作は任意である。これらの操作を実行することは、符号化
効率および視覚的品質を改善するのに役立つ。それらはまた、計算複雑性を軽減するため
にエンコーダ100が提供する決定として、オフにされてもよい。
【0031】
イントラ予測は、通常、フィルタ処理されていない再構成された画素に基づいているが
、インター予測は、フィルタ処理された再構成された画素に基づいており、これらのフィ
ルタオプションがエンコーダ100によってオンにされていることに留意されたい。
【0032】
図2は、多くのビデオ符号化規格と共に使用され得る例示的なビデオデコーダ200を
示すブロック図である。このデコーダ200は、図1のエンコーダ100に存在する再構
成関連セクションと同様である。デコーダ200(図2)において、入力ビデオビットス
トリーム201は、量子化された係数レベルおよび予測関連情報を導出するために、エン
トロピー復号202を介して最初に復号される。次いで、量子化された係数レベルは、逆
量子化204および逆変換206を介して処理され、再構成された予測残差を取得する。
イントラ/インターモード選択器212に実装されたブロック予測子メカニズムは、復号
された予測情報に基づいて、イントラ予測208または動き補償210のいずれかを実行
するように構成される。フィルタリングされていない再構成画素のセットは、加算器21
4を使用して、逆変換206からの再構成された予測残差とブロック予測子メカニズムに
よって生成された予測出力とを合計することによって得られる。
【0033】
再構成されたブロックは、参照ピクチャストアとして機能するピクチャバッファ213
に格納される前に、ループ内フィルタ209をさらに通過することができる。ピクチャバ
ッファ213内の再構成されたビデオは、その後、ディスプレイデバイスを駆動するため
に送出されることができるとともに、将来のビデオブロックを予測するために使用される
ことができる。ループ内フィルタ209がオンになっている状況では、これらの再構成さ
れた画素に対してフィルタ操作が実行され、最終的な再構成されたビデオ出力222を導
出する。
【0034】
HEVCのようなビデオ符号化規格では、ブロックは、四分木に基づいて分割されても
よい。現在のVVCなどのより新しいビデオ符号化規格では、より多くの分割方法が採用
され、1つの符号化ツリーユニット(CTU)をCUに分割して、四分木、二分木、また
は三分木に基づく、様々なローカル特性に適応させることができる。CU、予測ユニット
(PU)、および変換ユニット(TU)の分離は、現在のVVCのほとんどの符号化モー
ドには存在せず、各CUは、さらなる分割なしで予測と変換の両方のための基本ユニット
として常に使用される。しかしながら、イントラサブ分割符号化モードなどのいくつかの
特定の符号化モードでは、各CUは依然として複数のTUを含むことができる。マルチタ
イプツリー構造では、1つのCTUが最初に四分木構造によって分割される。次に、各四
分木リーフノードは、二分木構造および三分木構造によってさらに分割することができる
【0035】
図3は、現在のVVCで採用されている5つの分割タイプ、すなわち、四分割301、
水平二分割302、垂直二分割303、水平三分割304、および垂直値分割305を示
す。マルチタイプツリー構造が利用される状況では、1つのCTUが最初に四分木構造に
よって分割される。次に、各四分木リーフノードは、二分木構造および三分木構造によっ
てさらに分割することができる。
【0036】
図3の例示的なブロック分割301,302,303,304または305のうちの1
つまたは複数を使用して、図1に示す構成を使用して空間予測および/または時間予測を
実行することができる。空間予測(または「イントラ予測」)は、同じビデオピクチャ/
スライス内の符号化済みの隣接ブロック(参照サンプルと呼ばれる)のサンプルからの画
素を使用して、現在のビデオブロックを予測する。空間予測は、ビデオ信号に固有の空間
的冗長性を低減する。
【0037】
現在のVVCなどの新しいビデオ符号化規格では、新しい符号化ツールである彩度スケ
ーリングを伴う輝度マッピング(LMCS)が追加されている。ループフィルタ(例えば
、デブロッキングフィルタ、SAO、およびALF)の前に適用される1つの新しい符号
化ツールとして、LMCSが追加される。
【0038】
一般に、LMCSは2つの主要なモジュールを有する。第1には、適応区分線形モデル
に基づく輝度成分のループ内マッピング、そして、第2には、輝度依存性彩度残差スケー
リングである。
【0039】
図4は、LMCSを適用した修正復号処理を示す。図4では、特定のブロックは、マッ
ピングされたドメインで実行される復号モジュールを表し、エントロピー復号401、逆
量子化402、逆変換403、輝度イントラ予測404、および輝度サンプル再構成40
5(すなわち、輝度予測サンプルY’predと輝度残差サンプルY’resとを加算し
て、再構成された輝度サンプルY’reconを生成する)を含む。特定の他のブロック
は、元の(すなわち、マッピングされていない)ドメインで実行される復号モジュールを
示し、動き補償予測409、彩度イントラ予測412、彩度サンプル再構成413(すな
わち、彩度予測サンプルCpredと彩度残差サンプルCresとを加算して、再構成さ
れた彩度サンプルCreconを生成する)、およびループ内フィルタ処理407(デブ
ロッキング、SAO、およびALFを包含する)を含む。ブロックのさらなるグループは
、輝度サンプルの順方向マッピング410および逆(または逆方向)マッピング406、
ならびに彩度残差スケーリング411を含む、LMCSによって導入された新しい操作モ
ジュールを表す。また、図4に示すように、復号されたピクチャバッファ(DPB)40
8(輝度用)および415(彩度用)に格納されているすべての参照ピクチャは、元のド
メインにある。
【0040】
LMCSのループ内マッピングは、符号化効率を改善するために入力信号のダイナミッ
クレンジを調整することを目的とする。既存のLMCS設計における輝度サンプルのルー
プ内マッピングは、2つのマッピング関数、1つの順方向マッピング関数FwdMap、
および1つの対応する逆マッピング関数InvMapに基づいて構築される。順方向マッ
ピング関数は、16個の等しいサイズの断片を有する1つの区分線形モデルを使用してエ
ンコーダからデコーダにシグナリングされる。逆マッピング関数は、順方向マッピング関
数から直接導出することができ、したがってシグナリングされる必要はない。
【0041】
輝度マッピングモデルのパラメータは、スライスレベルでシグナリングされる。輝度マ
ッピングモデルが現在のスライスに対してシグナリングされるべきかどうかを示すために
、存在フラグが最初にシグナリングされる。輝度マッピングモデルが現在のスライスに存
在する場合、対応する区分線形モデルパラメータがさらにシグナリングされる。区分線形
モデルに基づいて、入力信号のダイナミックレンジは、元のドメインで等しいサイズを有
する16個のセグメントに分割され、各セグメントは対応するセグメントにマッピングさ
れる。元のドメインにおける所与のセグメントについて、マッピングされたドメインにお
けるその対応するセグメントは、同じまたは異なるサイズを有し得る。マッピングされた
ドメインにおける各セグメントのサイズは、そのセグメントのコードワード数(すなわち
、マッピングされたサンプル値)によって示される。元のドメインにおける各セグメント
について、マッピングされたドメインにおける対応するセグメント内のコードワードの数
に基づいて、線形マッピングパラメータを導出することができる。例えば、入力が10ビ
ット深度であるとき、元のドメインにおける16個のセグメントの各々は64個の画素値
を有し、マッピングされたドメインにおけるセグメントの各々もそれに割り当てられた6
4個のコードワードを有する場合、それは単純な一対一マッピング(すなわち、各サンプ
ル値を変更しないマッピング)を示す。マッピングされたドメインにおける各セグメント
のシグナリングされたコードワード数は、スケーリング係数を計算し、そのセグメントに
応じてマッピング関数を調整するために使用される。さらに、スライスレベルでは、別の
LMCS制御フラグがシグナリングされ、スライスのLMCSを有効/無効にする。
【0042】
各セグメントについて、対応する区分線形モデルは、この段落の直後のボックスに記載
されているように定義される。

i番目のセグメント(i=0...15)の場合、対応する区分線形モデルは、2つの
入力ピボット点InputPivot[i]およびInputPivot[i+1]、な
らびに、2つの出力(マッピング)ピボット点MappedPivot[i]およびMa
ppedPivot[i+1]、によって定義される。さらに、10ビットの入力ビデオ
を想定すると、InputPivot[i]およびMappedPivot[i]の値(
i=0...15)は、以下のように計算される。
1.変数OrgCW=64を設定する。
2.i=0:16の場合、InputPivot[i]=i*OrgCW
3.i=0:16の場合、MappedPivot[i]は以下のように計算される。
MappedPivot[0]=0;
(i=0;i<16;i++)の場合
MappedPivot[i+1]=MappedPivot[i]+Signale
dCW[i]
ここで、SignaledCW[i]は、第iのセグメントについてのコードワードの
シグナリングされた数である。
【0043】
図4に示すように、LMCS処理中に2つの異なるドメインで動作する必要がある。イ
ンター予測モード(「インターCU」)を介して符号化された各CUについて、その動き
補償予測は、元のドメインで実行される。しかしながら、輝度成分(すなわち、輝度予測
サンプルと輝度残差サンプルとの加算)の再構成はマッピングされたドメインで実行され
るため、動き補償輝度予測Ypredは、Y’predが画素再構成405に使用される
前に、順方向マッピング関数410すなわちY’pred=FwdMap(Ypred
を介して、元のドメインからマッピングされたドメインにおける値Y’predにマッピ
ングされる必要がある。一方、イントラ予測モード(「イントラCU」)を介して符号化
された各CUについて、Y’predが画素再構成405に使用される前に、マッピング
されたドメインでイントラ予測404が実行されることを考える(図4に示す)と、予測
サンプルのマッピングは必要ではない。最後に、再構成された輝度サンプルY’reco
を生成した後、逆方向マッピング関数406を適用して、再構成された輝度サンプルY
reconを元のドメインの値Yreconに変換してから、輝度DPB 408に進
む、すなわち、Yrecon=InvMap(Y’recon)である。インターCUに
のみ適用される必要がある予測サンプルの順方向マッピング410とは異なり、再構成さ
れたサンプルの逆方向マッピング406は、インターCUとイントラCUの両方に適用さ
れる必要がある。
【0044】
要約すると、デコーダ側では、現在のLMCSのループ内輝度マッピングは、輝度予測
サンプルYpredが必要に応じてマッピングされたドメインに最初に変換されるように
行われる。Y’pred=FwdMap(Ypred)。次に、マッピングされた予測サ
ンプルがデコードされた輝度残差に加算され、マッピングされたドメインの再構成された
輝度サンプルを形成する。Y’recon=Y’pred+Y’res。最後に、逆マッ
ピングを適用して、再構成された輝度サンプルY’reconを元のドメインに変換する
。Yrecon=InvMap(Y’recon)。エンコーダ側では、輝度残差はマッ
ピングされたドメインで符号化されるため、マッピングされた輝度の元のサンプルとマッ
ピングされた輝度の予測サンプルとの間の差として生成される。Y’res=FwdMa
p(Yorg)-FwdMap(Ypred)。
【0045】
LMCSの第2のステップである輝度依存彩度残差スケーリングは、ループ内マッピン
グが輝度信号に適用されるときに、輝度信号とその対応する彩度信号との間の量子化精度
の相互作用を補償するように設計される。彩度残差スケーリングが有効であるか無効であ
るかは、スライスヘッダでも通知される。輝度マッピングが有効にされており、現在のス
ライスに対して輝度成分および彩度成分の並列木分割が無効にされている場合、輝度依存
彩度残差スケーリングが適用されるかどうかを示すために、追加のフラグがシグナリング
される。輝度マッピングが使用されない場合、または現在のスライスに対して並列木分割
が有効にされている場合、輝度依存彩度残差スケーリングは常に無効にされる。さらに、
4つ以下の彩度サンプルを含むCUについて、彩度残差スケーリングは常に無効にされる
【0046】
イントラCUおよびインターCUの両方について、彩度残差をスケーリングするために
使用されるスケーリングパラメータは、対応するマッピングされた輝度予測サンプルの平
均に依存する。スケーリングパラメータは、この段落の直後のボックスに記載されている
ように導出される。

avg’を、マッピングされたドメインにおける輝度予測サンプルの平均として表す
。スケーリングパラメータCScaleInvは、以下のステップに従って計算される。
1.マッピングされたドメインでavg’が属する区分線形モデルのセグメントイン
デックスY1dxを見つける。ここで、Y1dxは、0から15の範囲の整数値を有する

2.CScaleInv=cScaleInv[Y1dx]、式中、cScaleIn
v[i]、i=0...15は、予め計算された16個のルックアップテーブル(LUT
)である。
イントラ予測はLMCSのマッピングされたドメインで実行されるため、イントラ、結
合インターイントラ予測(CIIP)、またはイントラ・ブロック・コピー(IBC)モ
ードとして符号化されたCUの場合、avg’は、輝度予測サンプルの平均として計算
される。そうでない場合、avg’は、順方向マッピングされたインター予測輝度サン
プルの平均として計算される。
【0047】
図4はまた、輝度依存彩度残差スケーリングについての輝度予測サンプルの平均の計算
を示す。インターCUの場合、順方向マッピングされた輝度予測Y’predは、スケー
リングされた彩度残差CresScaleと共に彩度残差スケーリング411に供給され
て、彩度残差Cresが導出され、これは、再構成された彩度値Creconを導出する
ために、彩度予測Cpredと共に彩度再構成413に供給される。イントラCUの場合
、イントラ予測404は、既にマッピングされたドメインにあるY’predを生成し、
それは、インターCUの場合と同様の方法で彩度残差スケーリング411に供給される。
【0048】
サンプルベースで実行される輝度マッピングとは異なり、CScaleInvは、彩度
CU全体に対して固定される。CScaleInvが与えられると、この段落の直後のボ
ックスに記載されているように、彩度残差スケーリングが適用される。

エンコーダ側:
【数1】
デコーダ側:
【数2】
ここで、CResScaleおよびCResは、それぞれ、元のおよびスケーリングさ
れた彩度残差サンプル値を表す。
【0049】
現在のVVCなどの新しいビデオ符号化規格では、新しい符号化ツールが導入されてお
り、新しい符号化ツールのいくつかの例は、双方向オプティカルフロー(Bi-Dire
ctional Optical Flow,BDOF)、デコーダ側動きベクトル微調
整(Decoder-side Motion Vector Refinement,
DMVR)、結合インターイントラ予測(Combined Inter and In
tra Prediction,CIIP)、アフィンモード、およびアフィンモード用
のオプティカルフローによる予測微調整(Prediction Refinement
with Optical Flow,PROF)である。
【0050】
現在のVVCでは、双方向オプティカルフロー(BDOF)を適用して、双方向予測符
号化ブロックの予測サンプルを補正する。
【0051】
図5は、BDOF処理の説明図である。BDOFは、双予測が使用される場合にブロッ
クベースの動き補償予測の上で実行されるサンプルに関する動きの微調整である。各4×
4サブブロック501の動き微調整
【数3】
は、サブブロックの周りの1つの6×6ウインドウΩ
【数4】
内にBDOFが適用された後の参照ピクチャリスト0(L0)と参照ピクチャリスト1(
L1)の予測サンプル、502と503との間の差を最小化することによって計算される
【0052】
具体的には、この段落の直後のボックスに記載されているように、動き微調整
【数5】
の値が導出される。

【数6】
ここで、
【数7】
はフロア関数であり、clip3(min,max,x)は、[min,max]の範囲
内の任意の値xをクリッピングする関数である。記号>>は、ビット単位の右シフト操作
を表す。記号<<は、ビット単位の左シフト操作を表す。
【数8】
は、不規則な局所的な動きに起因する伝播された誤差を防止するための動き補正閾値で
あり、これは1<<max(5,bitDepth-7)に等しく、ここで、bitDe
pthは内部ビット深度である。さらに、
【数9】
である。
【0053】
すぐ上のボックス内の値
【数10】
【数11】
【数12】
【数13】
および
【数14】
は、この段落の直後のボックスに記載されているようにさらに計算される。

【数15】
ここで、
【数16】
【0054】
すぐ上のボックス内の値
【数17】
は、中間高精度(すなわち、16ビット)で生成されるリスト
【数18】
【数19】
内の予測信号の座標
【数20】
におけるサンプル値である。値
【数21】
および
【数22】
は、その2つの隣接するサンプル間の差を直接計算することによって得られる、サンプ
ルの水平勾配および垂直勾配である。値
【数23】
および
【数24】
は、この段落の直後のボックスに記載されているように計算される。

【数25】
【0055】
上記の段落[0078]の直後のボックスに記載されているように、式(1)に従って導
出された動き微調整に基づき、この段落の直後のボックスに示されるように、オプティカ
ルフローモデルに基づいて動き軌跡に沿ってL0/L1予測サンプルを補間することによ
って、CUの最終的な双予測サンプルが計算される。
【0056】
上述したビット深度制御方法に基づいて、BDOF処理全体の中間パラメータの最大ビ
ット深度は32ビットを超えず、乗算への最大入力は15ビット以内であることが保証さ
れ、すなわち、BDOF実装には15ビット乗算器があれば十分である。

【数26】
ここで、
【数27】
および
【数28】
は、双予測のためにL0およびL1予測信号を結合するために適用される右シフト値お
よびオフセット値であり、それぞれ
【数29】
および
【数30】
に等しい。
【0057】
DMVRは、バイラテラルマッチング予測を使用することによってさらに補正すること
ができる2つの初期シグナリングされたMVを有するマージブロックに使用される双予測
技術である。
【0058】
具体的には、DMVRでは、バイラテラルマッチングは、2つの異なる参照ピクチャ内
の現在のCUの動き軌跡に沿った2つのブロック間の最良一致を見つけることによって、
現在のCUの動き情報を導出するために使用される。マッチング処理に用いられるコスト
関数は、行サブサンプリングされたSAD(差分絶対値和)である。マッチング処理が行
われた後、補正されたMVは予測段階で動き補償に使用され、後続のピクチャの時間的動
きベクトル予測および未補正のMVは、現在のCUの動きベクトルとその空間的近傍の動
きベクトルとの間の動きベクトル予測に使用される。
【0059】
連続的な動き軌跡の仮定の下では、2つの参照ブロックを指す動きベクトルMV0およ
びMV1は、現在のピクチャと2つの参照ピクチャとの間の時間距離、すなわちTD0お
よびTD1に比例するものとする。特殊なケースとして、現在のピクチャが2つの参照ピ
クチャの間に時間的にあり、現在のピクチャから2つの参照ピクチャまでの時間的距離が
同じである場合、バイラテラルマッチングはミラーベースの双方向MVになる。
【0060】
現在のVVCでは、ハイブリッドビデオ符号化方式でインター予測方法およびイントラ
予測方法が使用され、各PUは、時間ドメインまたは空間ドメインのいずれかで相関を利
用するためにインター予測またはイントラ予測を選択することしかできないが、両方では
ない。しかしながら、以前の文献で指摘されたように、インター予測ブロックおよびイン
トラ予測ブロックによって生成された残差信号は、互いに非常に異なる特性を提示する可
能性がある。したがって、2種類の予測を効率的に組み合わせることができれば、予測残
差のエネルギーを削減して符号化効率を向上させるために、もう一つのより正確な予測が
期待できる。さらに、自然なビデオコンテンツでは、動くオブジェクトの動きが複雑にな
る可能性がある。例えば、古いコンテンツ(例えば、以前に符号化されたピクチャに含ま
れるオブジェクト)と新たなコンテンツ(例えば、以前に符号化されたピクチャにおいて
除外されるオブジェクト)の両方を含む領域が存在する可能性がある。そのようなシナリ
オでは、インター予測もイントラ予測も現在のブロックの1つの正確な予測を提供するこ
とができない。
【0061】
予測効率をさらに向上させるために、マージモードで符号化された1つのCUのイント
ラ予測とインター予測とを組み合わせた、結合インターイントラ予測(CIIP)が、V
VC規格で採用されている。具体的には、各マージCUについて、現在のCUに対してC
IIPが有効にされているかどうかを示すために、1つの追加のフラグがシグナリングさ
れる。フラグが1に等しい場合、CIIPは、輝度および彩度成分のイントラ予測サンプ
ルを生成するために平面モードのみを適用する。さらに、等しい重み(すなわち、0.5
)が、CIIP CUの最終予測サンプルとして、インター予測サンプルおよびイントラ
予測サンプルを平均するために適用される。
【0062】
VVCはまた、動き補償予測のためのアフィンモードをサポートする。HEVCでは、
動き補償予測には並進する動きモデルのみが適用される。現実世界では、ズームイン/ズ
ームアウト、回転、遠近の動き、および他の不規則な動きなど、多くの種類の動きがある
。VVCでは、インター符号化ブロックごとに1つのフラグをシグナリングすることによ
って、アフィン動き補償予測が適用され、並進する動きまたはアフィン動きモデルがイン
ター予測に適用されるかどうかを示す。現在のVVC設計では、4パラメータアフィンモ
ードおよび6パラメータアフィンモードを含む2つのアフィンモードが、1つのアフィン
符号化ブロックに対してサポートされている。
【0063】
4パラメータアフィンモデルは、次のパラメータを有する。水平方向および垂直方向の
各々の並進する動きのための2つのパラメータ、ズームの動きのための1つのパラメータ
、および両方向の回転する動きのための1つのパラメータである。水平ズームパラメータ
は垂直ズームパラメータと等しい。水平回転パラメータは垂直回転パラメータと等しい。
動きベクトルおよびアフィンパラメータのより良好な適応を達成するために、VVCにお
いて、それらのアフィンパラメータは、現在のブロックの左上隅および右上隅に位置する
、2つのMV(制御点動きベクトル(CPMV)とも呼ばれる)に変換される。ブロック
のアフィン動きフィールドは、2つの制御点MV(V、V)によって記述される。
【0064】
制御点の動きに基づいて、1つのアフィン符号化ブロックの動きフィールド(v、v
)が、この段落の直後のボックスに記載されているように計算される。

【数31】
【0065】
6パラメータアフィンモードは、次のパラメータを有する。水平方向および垂直方向の
各々の並進する動きための2つのパラメータ、ズームの動きのための1つのパラメータお
よび水平方向の回転する動きのための1つのパラメータ、ズームの動きのための1つのパ
ラメータおよび垂直方向の回転する動きのための1つのパラメータである。6パラメータ
アフィン動きモデルは、3つのCPMVにおいて3つのMVで符号化される。
【0066】
1つの6パラメータアフィンブロックの3つの制御点は、ブロックの左上、右上、およ
び左下隅に位置する。左上制御点の動きは並進する動きに関連し、右上制御点の動きは水
平方向の回転およびズームの動きに関連し、左下制御点の動きは垂直方向の回転およびズ
ームの動きに関連する。4パラメータアフィン動きモデルと比較して、6パラメータの水
平方向の回転およびズームの動きは、垂直方向のそれらの動きと同じではない場合がある
【0067】
(V,V,V)が現在のブロックの左上、右上、および左下隅のMVであると仮
定すると、各サブブロック(v、v)の動きベクトルは、この段落の直後のボックス
に記載されているように、制御点で3つのMVを使用して導出される。

【数32】
【0068】
アフィン動き補償精度を向上させるために、オプティカルフローによる予測微調整(P
ROF)が、現在のVVCにおいて現在研究され、それは、オプティカルフローモデルに
基づいてサブブロックベースのアフィン動き補償を補正する。具体的には、サブブロック
ベースのアフィン動き補償を行った後、1つのアフィンブロックの輝度予測サンプルは、
オプティカルフロー方程式に基づいて導出された1つのサンプル微調整値によって修正さ
れる。詳細には、PROFの操作は、以下の4つのステップにまとめることができる。
【0069】
ステップ1において、サブブロックベースのアフィン動き補償が実行され、4パラメー
タアフィンモデルについては上記の式(6)において、および6パラメータアフィンモデ
ルについては上記の式(7)において、導出されたサブブロックMVを使用して、サブブ
ロック予測
【数33】
を生成する。
【0070】
ステップ2において、各予測サンプルの空間勾配
【数34】
および
【数35】
は、この段落の直後のボックスに記載されているように計算される。

【数36】
【0071】
さらにステップ2において、勾配を計算するために、予測サンプルの1つの追加の行/
列が1つのサブブロックの各側で生成される必要がある。メモリ帯域幅および複雑さを低
減するために、拡張された境界上のサンプルは、追加の補間処理を回避するために、参照
ピクチャ内の最も近い整数画素位置からコピーされる。
【0072】
ステップ3では、輝度予測微調整値は、この段落の直後のボックスに記載されているよ
うに計算される。

【数37】
ここで、
【数38】
は、サンプル位置
【数39】
について計算され
【数40】
と記述された画素MVと、画素
【数41】
が位置するサブブロックのサブブロックMVとの差である。
【0073】
さらに、現在のPROF設計では、元の予測サンプルに予測微調整を加えた後、この段
落の直後のボックスに記載されているように、補正された予測サンプルの値を15ビット
以内にクリッピングするために、第4のステップとして一回のクリッピング操作が実行さ
れる。

【数42】
ここで、
【数43】
および
【数44】
は、それぞれ位置
【数45】
における元のおよび補正された予測サンプルである。
【0074】
アフィンモデルパラメータおよびサブブロック中心に対する画素位置は、サブブロック
ごとに変更されないので、
【数46】
を第1のサブブロックについて計算し、同じCU内の他のサブブロックについて再利用
することができる。サンプル位置
【数47】
からサンプルが属するサブブロックの中心までの水平および垂直オフセットを
【数48】
および
【数49】
とすると、この段落の直後のボックスに記載されているように
【数50】
を導出することができる。

【数51】
【0075】
上記のアフィンサブブロックMV導出式(6)および(7)に基づいて、MV差

【数52】
は、この段落の直後のボックスに記載されているように導出することができる。

4パラメータアフィンモデルの場合、
【数53】
6パラメータアフィンモデルの場合、
【数54】

ここで、
【数55】
【数56】
【数57】
は現在の符号化ブロックの左上、右上および左下の制御点MVであり、
【数58】
および
【数59】
はブロックの幅および高さである。既存のPROF設計では、MV差
【数60】
および
【数61】
は常に、1/32 pelの精度で導出される。
【0076】
現在のLMCS設計によれば、彩度残差サンプルは、それらの対応する輝度予測サンプ
ルに基づいてスケーリングされる。より新しい符号化ツールがインターCUに対して有効
にされると、このインターCU内のLMCSを介して彩度残差サンプルをスケーリングす
るために使用される輝度予測サンプルは、これらのより新しい符号化ツールの十字適用し
た最後に取得される。
【0077】
図6は、DMVR、BDOF、およびCIIPのすべてが有効にされている場合のLM
CSにおける彩度残差スケーリングのワークフローを示すフローチャートである。輝度L
0予測値601および輝度L1予測値602からの出力は、DMVR 603およびBD
OF 604に順次供給され、得られた輝度インター予測値621は、輝度イントラ予測
605からの輝度イントラ予測値622と共に平均606に供給されて平均輝度予測値6
23を生成し、これは、彩度残差608と共に彩度残差スケーリング607に供給され、
その結果、彩度残差スケーリング607、彩度予測610、および彩度再構成609が協
働して、最終結果を生成することができる。
【0078】
現在のLMCS設計は、ビデオ復号処理に3つの課題を提示する。第1に、異なるドメ
イン間のマッピング(異なるドメインマッピング)は、追加の計算複雑性およびオンチッ
プメモリを必要とする。第2に、輝度および彩度スケーリング係数の導出が、異なる輝度
予測値を使用するという事実は、追加の複雑さをもたらす。第3に、LMCSとより新し
い符号化ツールとの間の相互作用は、復号処理に遅延、すなわちLMCSに関連する遅延
問題を導入する。
【0079】
第1に、現在のLMCS設計では、元のドメインの再構成されたサンプルとマッピング
されたドメインの両方が、様々な復号モジュールで使用される。結果として、これらのサ
ンプルは、異なる復号モジュール間で1つのドメインから別のドメインに変換される必要
があることが多く、これは、より高い計算複雑性およびより多くのオンチップメモリの両
方を招く可能性がある。
【0080】
具体的には、イントラモード、CIIPモード、およびIBCモードの場合、1つの現
在のCUの隣接の再構成されたドメインからのマッピングされたドメイン参照サンプルが
、予測サンプルを生成するために使用される。しかし、インターモードの場合、動き補償
予測は、参照として時間参照ピクチャの元のドメイン再構成サンプルを使用して実行され
る。DPBに格納された再構成サンプルも、元のドメインにある。図4に示すように、異
なる予測モードの下での再構成されたサンプルのそのような混合表現は、追加の順方向お
よび逆輝度マッピング操作を招く。
【0081】
例えば、インターCUの場合、輝度再構成操作(すなわち、予測サンプルと残差サンプ
ルとを一緒に加算すること)は、マッピングされたドメインで実行されるため、元のドメ
インで生成されたインター予測輝度サンプルは、それらが輝度サンプル再構成に使用され
る前にマッピングされたドメインに変換される必要がある。別の例では、イントラCUと
インターCUの両方について、逆(または逆方向)マッピングが常に適用されて、再構成
された輝度サンプルがマッピングされたドメインから元のドメインに変換された後、DP
Bに格納される。そのような設計は、追加の順方向/逆マッピング操作に起因して計算複
雑性を増大させるだけでなく、再構成されたサンプルの複数のバージョンを維持するため
に、より多くのオンチップメモリを必要とする。
【0082】
上記の説明に基づいて、いくつかのLMCS設計では、輝度マッピングおよび輝度依存
彩度残差スケーリングが、それぞれ輝度成分および彩度成分を符号化するために実行され
る。実際のハードウェア実装形態では、順方向および逆(または逆方向)マッピング関数
FwdMapおよびInvMapは、ルックアップテーブル(LUT)を使用して、また
はオンザフライで計算されて実装することができる。LUTベースの解決策が使用される
場合、関数FwdMap、InvMap、およびcScaleInvからの可能な出力要
素は、事前に計算され、LUTとして事前に格納されることができ、その後、現在のスラ
イス内のすべてのCUの輝度マッピングおよび彩度残差スケーリング操作に使用すること
ができる。入力ビデオが10ビットであると仮定すると、FwdMapおよびInvMa
pの各LUTには210=1024個の要素があり、LUTの各要素は10ビットを有す
る。したがって、順方向および逆輝度マッピングのLUTの合計記憶容量は、2*102
4*10=20480ビット=2560バイトに等しい。一方、彩度スケーリングパラメ
ータCScaleInvを導出するためには、エンコーダおよびデコーダにおいて16エ
ントリのLUTテーブルcScaleInvが維持される必要があり、各彩度スケーリン
グパラメータは32ビットで格納される。これに対応して、LUT cScaleInv
を格納するために使用されるメモリサイズは、16*32=512ビット=64バイトに
等しい。2560と64との間の差は、順方向および逆(逆方向)マッピング操作によっ
て必要とされる追加のオンチップメモリのスケールを示す。
【0083】
さらに、現在のVVCなどの新しいビデオ符号化規格では、イントラ予測とデブロッキ
ングフィルタの両方が、上記の隣接ブロックの再構成されたサンプルを使用する。したが
って、現在のピクチャ/スライスの幅における再構成サンプルの1つの余分な行は、ビデ
オ符号化において「ラインバッファ」としても知られる、バッファ内に維持される必要が
ある。ラインバッファ内の再構成されたサンプルは、1つのCTU内の第1の行に位置す
るCUのイントラ予測およびデブロッキング操作のための基準として、少なくとも使用さ
れる。既存のLMCS設計によれば、イントラ予測およびデブロッキングフィルタは、異
なるドメインの再構成されたサンプルを使用する。したがって、元のドメイン再構成サン
プルとマッピングされたドメイン再構成サンプルの両方を格納するために追加のオンチッ
プメモリが必要になり、これはラインバッファのサイズをほぼ2倍にする可能性がある。
【0084】
ライン・バッファ・サイズを増加させることに加えて、ライン・バッファ・サイズの2
倍化を回避するための別の実装形態選択は、オンザフライでドメインマッピング操作を実
行することである。しかしながら、これは無視できない計算複雑性の増加の犠牲を伴う。
【0085】
したがって、LMCSの現在の設計は、異なるドメイン間の必要なマッピングのために
、追加の計算複雑性およびオンチップメモリを必要とする。
【0086】
第2に、提案された適応輝度残差スケーリングでは、輝度成分と彩度成分の両方が、そ
れらの予測残差に対してスケーリング操作を有する。LMCSの現在の設計における輝度
および彩度スケーリング係数導出方法の両方は、対応するスケーリング係数を導出するた
めに輝度予測サンプル値を使用するが、それらの対応する操作の間には違いがある。
【0087】
輝度残差スケーリングの場合、スケーリング係数は、各輝度残差サンプルがそれ自体の
スケーリング係数を有することを可能にすることによって、サンプルごとに導出される。
しかしながら、彩度残差スケーリングの場合、スケーリング係数はCU全体に対して固定
され、すなわち、CU内のすべての彩度残差サンプルは、マッピングされた輝度予測サン
プルの平均に基づいて計算される同じスケーリング係数を共有する。
【0088】
また、2つの異なるLUTが、輝度残差および彩度残差のスケーリング係数を計算する
ために使用される。具体的には、輝度LUTへの入力は、元の輝度予測サンプル値のマッ
ピングモデルセグメントインデックスであり、彩度LUTへの入力は、マッピングされた
輝度予測サンプルの平均値のマッピング・モデル・セグメント・インデックスである。い
くつかの例では、輝度予測サンプルをマッピングされたドメインにマッピングする必要な
しに、1つのLUTを使用して輝度残差と彩度残差の両方をスケーリングすることが可能
になる。
【0089】
このような違いは、符号化処理に余分な複雑さをもたらし、輝度および彩度スケーリン
グ係数導出に対する調和された手法が望ましい。したがって、1つの統一された設計を達
成するために、輝度残差および彩度残差のスケーリング方法を調和させるためのいくつか
の方法を提案することができる。
【0090】
第3に、「輝度依存彩度残差スケーリング」に関して上述したように、現在のLMCS
設計に従って、彩度残差サンプルは、それらの対応する輝度予測サンプルに基づいてスケ
ーリングされる。これは、CUのすべての輝度予測サンプルが完全に生成されるまで、1
つのLMCS CUの彩度残差サンプルを再構成することができないことを意味する。ま
た、上述したように、インター予測の効率を高めるために、DMVR、BDOF、および
CIIPを適用することができる。図6に示すように、LMCSの現在の設計の彩度残差
スケーリングについて、DMVR、BDOF、およびCIIPの3つのモジュールすべて
などの新しい符号化ツールを順次呼び出して、彩度残差のスケーリング係数を判定するた
めに使用される輝度予測サンプルを生成することができる。3つのモジュールの高い計算
複雑性を考えると、LMCSの彩度残差スケーリングを実行する前にそれらの成功完了ま
で待つことは、彩度サンプルの復号のために、深刻な遅延を引き起こす可能性がある。ア
フィンCUの場合、各アフィンCUがPROF処理を実行し、続いてLMCSを実行する
ことができるため、PROF処理は遅延問題も有する可能性があり、これは彩度サンプル
の復号の遅延問題も引き起こす可能性がある。
【0091】
さらに、LMCSの現在の設計では、彩度残差スケーリング係数導出処理中に不要なク
リッピング操作が実行され、計算の複雑さおよびオンチップメモリの余分な要件がさらに
増加する。
【0092】
本開示は、LMCSの現在の設計によって提示されるこれらの課題を解決または緩和す
ることを目的とし、より詳細には、本開示は、符号化利得を維持しながらハードウェアコ
ーデック実装のためのLMCSの複雑性を低減することができる方式を論じている。
【0093】
マッピング操作によって予測/再構成サンプルを変換する既存のLMCSフレームワー
クを使用する代わりに、予測依存残差スケーリング(PDRS)と呼ばれる1つの新しい
方法が提案され、サンプルマッピングなしで予測残差を直接スケーリングする。提案され
た方法は、LMCSと同様の効果および符号化効率を達成することができるが、実装複雑
性ははるかに低い。
【0094】
PDRS手順では、図7に示すように、輝度残差サンプルを復号するための輝度予測サ
ンプルを取得し(701)、輝度予測サンプルを使用してスケーリング係数を導出し(7
02)、スケーリング係数を使用して輝度残差サンプルをスケーリングし(703)、輝
度予測サンプルとスケーリングされた輝度残差サンプルとを加算することによって再構成
された輝度サンプルを計算する(704)。
【0095】
いくつかの例では、LMCSの実装複雑性を低減するために、適応輝度残差スケーリン
グ方法が提案される。具体的には、輝度予測残差を計算する前に予測/再構成された輝度
サンプルをマッピングされたドメインに直接変換する既存のLMCS方法とは異なり、P
DRS手順の提案された方法では、輝度予測残差サンプルは、マッピング操作なしで元の
ドメインにおける通常の予測処理と同じ方法で導出され、続いて輝度予測残差に対するス
ケーリング操作が行われる。輝度予測残差のスケーリングは、対応する輝度予測サンプル
値および区分線形モデルに依存する。結果として、現在のLMCS設計における順方向お
よび逆輝度マッピング操作は完全に削除することができ、復号処理中に関与するすべての
予測サンプルおよび再構成サンプルは、元のサンプルドメインに維持される。上記の特徴
に基づいて、提案された方法は予測依存残差スケーリングと呼ばれる。さらに、彩度残差
スケーリング導出の遅延を改善するために、彩度残差サンプルのスケーリングパラメータ
を計算するために使用される輝度予測サンプルの生成から、DMVR、BDOF、および
CIIP操作を、完全にまたは部分的に除外するためのいくつかの方法が提案され得る。
【0096】
図8は、LMCS処理においてPDRS手順を適用した場合の復号処理のワークフロー
を示すフローチャートである。これは、異なるドメイン間のマッピングの必要性の排除を
示している。ここで、残差復号モジュール(例えば、エントロピー復号801、逆量子化
802および逆変換803)を除いて、他のすべての復号モジュール(イントラ予測80
4,809,812およびインター予測816、再構成806および813、ならびにす
べてのループ内フィルタ807および814を含む)は元のドメインで動作している。具
体的には、輝度サンプルを再構成するために、PDRS手順で提案された方法は、輝度予
測残差サンプルYresを元の振幅レベルに逆スケーリングし、次にそれらを輝度予測サ
ンプルYpredに加算するだけでよい。
【0097】
PDRS手順により、既存のLMCS設計における順方向および逆輝度サンプルマッピ
ング操作が完全に除去される。これは、計算複雑性を節約/低減するだけでなく、LMC
Sパラメータを節約するための潜在的な記憶容量サイズも低減する。例えば、LUTベー
スの解決策が輝度マッピングを実施するために使用される場合、2つのマッピングLUT
FwdMap[]およびInvMap[](約2560バイト)を格納するために以前
に使用された記憶容量は、提案された方法ではもはや必要とされない。さらに、元のドメ
インとマッピングされたドメインの両方に再構成輝度サンプルを格納する必要がある既存
の輝度マッピング方法とは異なり、PDRS手順の提案された方法は、元のドメインのみ
ですべての予測サンプルおよび再構成サンプルを生成し維持する。これに対応して、既存
の輝度マッピングと比較して、PDRS手順における提案された方法は、イントラ予測お
よびデブロッキングのために再構成されたサンプルを格納するために使用されるラインバ
ッファのサイズを、半分だけ効率的に削減することができる。
【0098】
PDRS手順の1つまたは複数の実施形態によれば、輝度予測サンプルおよび輝度残差
サンプルは、輝度予測ブロックおよびその関連残差ブロック内の1つの同一位置からのも
のである。
【0099】
PDRS手順の1つまたは複数の実施形態によれば、輝度予測サンプルを使用してスケ
ーリング係数を導出するステップは、可能な輝度予測サンプル値の全範囲を複数の輝度予
測サンプルセグメントに分割するステップと、事前定義された断片線形モデルに基づいて
複数の輝度予測サンプルセグメントの各々について1つのスケーリング係数を計算するス
テップと、複数の輝度予測サンプルセグメントのスケーリング係数に基づいて輝度予測サ
ンプルのスケーリング係数を判定するステップとを含む。
【0100】
一例では、複数の輝度予測サンプルセグメントのスケーリング係数に基づいて輝度予測
サンプルのスケーリング係数を判定するステップは、輝度予測サンプルを複数の輝度予測
サンプルセグメントのうちの1つのセグメントに割り当てるステップと、輝度予測サンプ
ルのスケーリング係数を割り当てられた輝度予測サンプルセグメントのスケーリング係数
として計算するステップと、を含む。
【0101】
この例では、複数の輝度予測サンプルセグメントは、事前定義された16個のLUTテ
ーブルscaleForward内の16個のセグメントを含み、複数の輝度予測サンプ
ルセグメントの各々について1つのスケーリング係数を計算するための事前定義された断
片線形モデルは、事前定義されたLUTテーブルscaleForward内の16個の
セグメントに対応する16個の値を含む。
【0102】
操作精度を維持するために、輝度残差サンプルをスケーリング/逆スケーリングするた
めに使用されるスケーリングパラメータは、それらの対応する同じ場所に配置された輝度
予測サンプルに基づいて判定されてもよい。一例では、Predを1つの輝度予測サン
プルの値とすると、その対応する残差サンプルのスケーリング係数は、以下のステップを
介して計算される。
【0103】
同じ例では、スケーリング係数(例えば、輝度残差スケーリング係数Scale)は
、この段落の直後のボックスで記載されているように、割り当てられた輝度予測サンプル
セグメントに基づいて計算される。

Scale=scaleForward[Idx
ここで、Yは、スケーリング係数が計算されている輝度残差値であり、Scale
、スケーリング係数であり、scaleForward[i](i=0...15)は、
事前定義された16個のLUTテーブルであり、Idxは、輝度予測サンプルドメイン
値に割り当てられたセグメントのセグメントインデックスである。
scaleForward[i](i=0...15)は、以下のように事前計算され
る。
scaleForward[i]=(OrgCW<<SCALE_FP_PREC)/
SignaledCW[i]
ここで、OrgCWおよびSignaledCW[i]は、元のドメインおよびマッピ
ングされたドメインにおけるi番目のセグメントのコードワードの数であり、SCALE
_FP_PRECは、スケーリング係数の精度である。
【0104】
同じ例では、輝度スケーリング係数Scaleが与えられると、この段落の直後のボ
ックスに記載されているように、輝度残差サンプルスケーリング方法を適用することがで
きる。
【0105】
この例の背後にある動機は、現在のLMCSにおける順方向マッピングが、1つの区分
線形モデルに基づいていることである。元の輝度サンプルと輝度予測サンプルの両方が同
じ断片(すなわち、2つのピボット点InputPivot[i]およびInputPi
vot[i+1]によって定義される同じセグメント)に位置する場合、元の輝度サンプ
ルと予測輝度サンプルの2つの順方向マッピング関数は、全く同じになる。これに対応し
て、Y’res=FwdMap(Yorg)-FwdMap(Ypred)=FwdMa
p(Yorg-Ypred)==FwdMap(Yres)となる。この式の両側に逆マ
ッピングを適用することにより、対応するデコーダ側再構成操作は、以下のように表すこ
とができる。Yrecon=Ypred+InvMap(Y’res)。
【0106】
言い換えれば、元の輝度サンプルと輝度予測サンプルの両方が同じ断片に位置する状況
では、LMCSにおける輝度マッピング方法は、例えば、図8に示すように、この可能な
実装形態で実施されるように、復号処理における1つの残差スケーリング操作によって達
成することができる。

エンコーダ側:
【数62】
デコーダ側:
【数63】
【0107】
このような結論は、元の輝度サンプルと輝度予測サンプルの両方が2つのピボット点I
nputPivot[i]およびInputPivot[i+1]によって定義される同
じセグメントに位置するという仮定に基づいて導出されるが、この例のこの可能な実装形
態は、元の輝度サンプルと輝度予測サンプルが区分線形モデルの異なるセグメントに位置
する場合であっても、VVCにおける既存の輝度マッピング操作の単純化および/または
近似として依然として使用することができる。実験結果は、そのような単純化および/ま
たは近似が、符号化性能にほとんど影響を及ぼさないことを示している。
【0108】
繰り返しになるが、この例は、元の輝度サンプル値と予測された輝度サンプル値の両方
が区分線形モードの同じセグメントに位置するという仮定に基づいている。この場合、元
の輝度サンプルおよび予測輝度サンプルに適用される順方向/逆マッピング関数は同じで
ある。したがって、単に輝度予測サンプルに依存して、対応する残差スケーリング係数を
計算することが安全である。
【0109】
しかしながら、CUの予測サンプルが十分に正確でない場合(例えば、参照サンプルか
ら遠く離れているサンプルは通常はあまり正確に予測されない、イントラ予測されたCU
の場合)、予測サンプルおよび元のサンプルは、区分線形モデルの異なるセグメントに位
置することが多い。この場合、予測サンプル値に基づいて導出されたスケーリング係数は
、元の(すなわち、マッピングされていない)ドメインにおける残差サンプルとマッピン
グされたドメインにおける残差サンプルとの間の元のマッピング関係を反映する際に、信
頼できない可能性がある。
【0110】
図9は、スケーリング係数を導出するために、予測サンプルのみを用いることで生じる
残差マッピング誤差を示す図である。図9において、塗りつぶされた三角形の点は、区分
線形関数における異なるセグメントのピボット制御点を表し、塗りつぶされた円形の点は
、元のサンプル値および予測されたサンプル値を表す。YorgおよびYpredは、元
の(すなわち、マッピングされていない)ドメインにおける元のサンプルおよび予測され
たサンプルである。Y’orgおよびY’predは、それぞれYorgおよびYpre
のマッピングされたサンプルである。YresおよびY’resは、VVCにおける既
存のサンプルベースの輝度マッピング方法が適用される場合の元のドメインおよびマッピ
ングされたドメインにおける対応する残差である。Y’resScaleは、提案された
輝度残差スケーリング方式に基づいて導出されるマッピングされた残差サンプルである。
図9に示すように、元のサンプルと予測サンプルとが区分線形モデルの同じセグメント内
にないため、予測サンプルに基づいて導出されたスケーリング係数は、マッピングされた
ドメイン(すなわち、Y’res)内の元の残差を近似するスケーリングされた残差(す
なわち、Y’resScale)を生成するのに十分に正確ではない可能性がある。
【0111】
第2の例では、元の輝度サンプル値と予測された輝度サンプル値の両方が、区分線形モ
ードの同じセグメントに位置するという仮定は必要ではない。
【0112】
この第2の例では、残差スケーリング係数の精度を向上させるために、輝度予測サンプ
ルが位置する区分線形モデルのセグメントから直接スケーリング係数を導出する代わりに
、スケーリング係数は、N個(Nは正の整数)の隣接するセグメントのスケーリング係数
の平均として計算される。
【0113】
この第2の例では、複数の輝度予測サンプルセグメントのスケーリング係数に基づいて
輝度予測サンプルのスケーリング係数を判定するステップは、輝度予測サンプルを複数の
輝度予測サンプルセグメントのうちの1つのセグメントに割り当てるステップと、輝度予
測サンプルのスケーリング係数を、割り当てられた輝度予測サンプルセグメントに隣接す
るいくつかの輝度予測サンプルセグメントのスケーリング係数の平均として計算するステ
ップと、を含む。
【0114】
より具体的には、この第2の例の1つの可能な実装形態では、スケーリング係数は、以
下のステップで説明するように、割り当てられた輝度予測サンプルセグメントに基づいて
計算され得る。例えば、デコーダ側では、輝度予測サンプルPredおよび輝度残差
【数64】
が与えられると、逆スケーリング
【数65】
に適用されるスケーリング係数は以下のように計算される。
1)元のドメインでPredが属する区分線形モデルの対応するセグメントインデッ
クスIdxを見つけるか、または取得する。
2)
【数66】
≧0
の場合、輝度残差スケーリング係数は、以下のように計算される。
【数67】

3)そうでない場合(すなわち、
【数68】
輝度残差スケーリング係数は、以下のように計算される。
【数69】
ここで、scaleForward[i](i=0...15)は、事前定義された1
6個のLUTであり、次のように計算される。
scaleForward[i]=(OrgCW<<SCALE_FP_PREC)/
SignaledCW[i]
ここで、OrgCWおよびSignaledCW[i]は、それぞれ元のドメインおよ
びマッピングされたドメインにおけるi番目のセグメントのコードワードの数であり、S
CALE_FP_PRECはスケーリング係数の精度である。
【0115】
上記の実装形態と他の点では同一であるこの第2の例の第2の可能な実装形態では、ス
ケーリング係数は、この段落の直後のボックスに記載されているように、割り当てられた
輝度予測サンプルセグメントに基づいて計算することができる。

1)元のドメインでPredが属する区分線形モデルの対応するセグメントインデッ
クスIdxを見つけるか、または取得する。
2)輝度残差スケーリング係数は、以下のように計算される。
【数70】
ここで、scaleForwardは前の例と同じままであり、Mは[0、(N-1)
]の範囲の整数である。Mの一例の値は、(N-1)/2である。Mの別の例示的な値は
、N/2であってもよい。
【0116】
この第2の例の上記の2つの可能な実装形態は、割り当てられたセグメントに基づくN
個の輝度予測サンプルドメイン値セグメントの選択においてのみ異なる。
【0117】
1つの彩度サンプル再構成手順では、図10に示すように、入力位置において輝度残差
サンプルと彩度残差サンプルの両方を復号するために輝度予測サンプル値が取得され(1
001)、次に、輝度残差サンプルに関連付けられた輝度予測サンプルが取得され(10
02)、次に、彩度残差サンプルに関連付けられた彩度予測サンプルが取得され(100
3)、輝度予測サンプルを使用して、輝度残差サンプルの第1のスケーリング係数および
彩度残差サンプルの第2のスケーリング係数を導出し(1004)、第1のスケーリング
係数を使用して、輝度残差サンプルをスケーリングし(1005)、第2のスケーリング
係数を使用して、彩度残差サンプルをスケーリングし(1006)、再構成された輝度サ
ンプルは、彩度予測サンプルとスケーリングされた彩度残差サンプルとを加算することに
よって計算され(1007)、再構成された彩度サンプルは、彩度予測サンプルとスケー
リングされた彩度残差サンプルとを加算することによって計算される(1008)。
【0118】
彩度サンプル再構成手順は、より統一された設計を達成するように、輝度残差および彩
度残差のスケーリング方法を調和させることを目的とする。
【0119】
彩度サンプル再構成手順の1つまたは複数の実施形態によれば、輝度予測サンプル値は
、入力位置を含む符号化ユニット(CU)内のすべての輝度予測サンプルの平均である。
これらの実施形態では、彩度スケーリング導出方法は、輝度残差のスケーリング係数を計
算するために使用され、より具体的には、各輝度残差サンプルに対して1つのスケーリン
グ係数を別々に導出する代わりに、輝度予測サンプルの平均に基づいて計算される1つの
共有スケーリング係数が、CU全体の輝度残差サンプルをスケーリングするために使用さ
れる。
【0120】
彩度サンプル再構成手順の別の実施形態によれば、輝度予測サンプル値は、入力位置を
含む符号化ユニット(CU)から細分された事前定義されたサブブロック内のすべての輝
度予測サンプルの平均である。この実施形態では、輝度残差および彩度残差の両方のスケ
ーリング係数を導出するために、サブブロックベースの方法を提案することができる。具
体的には、1つのCUは、まず、複数のM×N個のサブブロックに等しく分割される。各
サブブロックについて、すべてまたは部分的な輝度予測サンプルが使用され、サブブロッ
クの輝度および彩度の両方の残差をスケーリングするために使用される、対応するスケー
リング係数を導出する。第1の方法と比較して、第2の方法は、サブブロックの外側にあ
る相関の低い輝度予測サンプルが、サブブロックのスケーリング係数の計算から除外され
るため、推定されたスケーリング係数の空間精度を改善することができる。一方、第2の
方法はまた、サブブロックの輝度予測が終了した後に、すなわち、CU全体の輝度予測サ
ンプルの完全な生成を待つことなく直ちに、1つのサブブロック内の輝度残差および彩度
残差のスケーリングが開始され得ることを考慮すると、輝度および彩度残差再構成の遅延
を低減することができる。
【0121】
彩度サンプル再構成手順の第3の実施形態によれば、輝度予測サンプルドメイン値は、
同じ場所に配置された輝度予測サンプルを含む。この実施形態では、輝度残差スケーリン
グ方法は、彩度残差をスケーリングするように拡張され、各彩度残差サンプルの異なるス
ケーリング係数は、その同じ場所に配置された輝度予測サンプル値に基づいて導出される
【0122】
彩度サンプル再構成手順の上記の実施形態では、彩度残差のスケーリングを行うために
、輝度スケーリング係数の計算に使用されるのと同じLUTを使用することが提案される
。一例では、彩度残差のCUレベルのスケーリング係数Scaleを導出するために、
以下に従うことができる。
1)avgとして示される、CU内の輝度予測サンプル(元のドメインで表される)
の平均を計算する。
2)avgが属する区分線形モデルの対応するセグメントインデックスIdxを見
つけるか、または取得する。
3)Scaleの値を以下のように計算する。
Scale=scaleForward[Idx
ここで、scaleForward[i](i=0...15)は、1つの事前定義さ
れた16個のLUTであり、これは次のように計算される。
scaleForward[i]=(OrgCW<<SCALE_FP_PREC)/
SignaledCW[i]
ここで、OrgCWおよびSignaledCW[i]は、それぞれ元のドメインおよ
びマッピングされたドメインにおけるi番目のセグメントのコードワードの数であり、S
CALE_FP_PRECはスケーリング係数の精度である。
【0123】
上記の例は、現在のCUの各サブブロックごとに彩度残差のスケーリング係数が導出さ
れる場合に、容易に拡張することができる。その場合、上記の第1のステップでは、av
gYはサブブロックの元のドメインにおける輝度予測サンプルの平均として計算されるが
、ステップ2およびステップ3は同じままである。
【0124】
第2の彩度サンプル再構成手順では、図11に示すように、符号化ユニット(CU)の
ための輝度予測処理中にいくつかの事前定義された中間輝度予測段階をスキップすること
によって複数の輝度予測サンプルが取得され(1101)、取得された複数の輝度予測サ
ンプルを使用して、CU内の彩度残差サンプルのためのスケーリング係数を導出し(11
02)、スケーリング係数を使用して、CU内の彩度残差サンプルをスケーリングし(1
103)、再構成された彩度サンプルは、CU内の彩度予測サンプルおよびスケーリング
された彩度残差サンプルを加算することによって計算される(1104)。
【0125】
第2の彩度サンプル再構成手順の1つまたは複数の実施形態によれば、事前定義された
中間輝度予測段階は、デコーダ側動きベクトル導出(DMVR)、双方向オプティカルフ
ロー(BDOF)、および結合インターイントラ予測(CIIP)の1つまたは複数の双
予測モジュールを含む。これらの実施形態では、遅延問題を解決するために、DMVR、
BDOF/PROF、CIIPイントラ/インター結合処理の前に導出されたインター予
測サンプルを使用して、彩度残差のスケーリング係数を導出する。
【0126】
図12は、DMVR、BDOF、およびCIIPが彩度スケーリングのための輝度予測
サンプルを生成するために適用されない、第2の彩度サンプル再構成手順のこの実施形態
の一例における、LMCS復号処理のワークフローを示すフローチャートである。ここで
、DMVR 1203、BDOF 1204および/またはCIIPの輝度イントラ予測
部1205が完全に終了するのを待つ代わりに、初期L0およびL1の輝度予測1201
および1202に基づく、予測サンプル1221および1222が利用可能になるとすぐ
に、彩度残差スケーリング処理1208を開始することができる。
【0127】
図12では、DMVR 1203、BDOF 1204、および/またはCIIP 1
205の前に、初期L0およびL1の予測サンプル1221および1222を組み合わせ
るために、元の平均化操作1206に加えて、1つの追加の平均化操作1211が必要で
ある。
【0128】
複雑さを低減するために、第2の彩度サンプル再構成手順のこの実施形態の第2の例で
は、初期L0予測サンプルが常に使用され、彩度残差のためのスケーリング係数を導出す
ることができる。
【0129】
図13は、初期単一予測信号が彩度スケーリングのための輝度予測サンプルを生成する
ために適用される、第2の彩度サンプル再構成手順のこの実施形態の第2の例における、
LMCS復号処理のワークフローを示すフローチャートである。元の平均化操作1306
に加えて追加の平均化操作は必要ない。初期L0の予測サンプル1321は、DMVR
1303、BDOF 1304、および/またはCIIP 1305の前の彩度残差のス
ケーリング係数を導出するために使用される。
【0130】
第2の彩度サンプル再構成手順のこの実施形態の第3の例では、彩度残差スケーリング
係数を導出するために使用される輝度予測サンプルとして、1つの初期予測信号(L0ま
たはL1)が適応的に選択される。この例の1つの可能な実装形態では、初期予測信号(
L0またはL1)の間で、その参照ピクチャが現在のピクチャよりも小さいピクチャ順序
カウント(POC)距離を有するものが、彩度残差スケーリング係数を導出するために選
択される。
【0131】
第2の彩度サンプル再構成手順の別の実施形態では、彩度残差スケーリング係数を判定
するために使用されるインター予測サンプルを生成するためにCIIPを有効にしながら
、DMVR、BDOF/PROFのみを無効にすることが提案される。具体的には、この
方法では、DMVRおよびBDOF/PROFの前に導出されたインター予測サンプルが
最初に平均化される。次に、CIIPのイントラ予測サンプルと組み合わされる。最後に
、結合された予測サンプルは、彩度残差スケーリング係数を決定するための予測サンプル
として使用される。
【0132】
第2の彩度サンプル再構成手順のさらに別の実施形態では、彩度残差スケーリング係数
を判定するために使用される予測サンプルを生成するために、DMVRおよびCIIPを
保持しながら、BDOF/PROFのみを無効にすることが提案される。
【0133】
第2の彩度サンプル再構成手順のさらに別の実施形態では、彩度残差スケーリング係数
を判定するために使用される輝度予測サンプルを導出する際に、DMVRを無効にしなが
ら、BDOF/PROFおよびCIIPを保持することが提案される。
【0134】
さらに、第2の彩度サンプル再構成手順の上記の実施形態における方法は、彩度予測残
差スケーリングの遅延を低減するように設計されているので示されているが、それらの方
法は、輝度予測残差スケーリングの遅延を低減するためにも使用できること、に言及する
価値がある。例えば、「予測依存残差スケーリングに基づく輝度マッピング」のセクショ
ンで説明したPDRS方法にも、すべての方法を適用することができる。
【0135】
既存のDMVR設計によれば、計算複雑性を軽減するために、DMVR動き微調整に使
用される予測サンプルは、デフォルトの8タップ補間の代わりに2タップバイリニアフィ
ルタを使用して生成される。補正された動きが判定された後、現在のCUの最終予測サン
プルを生成するためにデフォルトの8タップフィルタが適用される。したがって、DMV
Rによって生じる彩度残差復号遅延を低減するために、バイリニアフィルタによって生成
された輝度予測サンプル(現在のCUが双予測される場合、L0およびL1予測サンプル
の平均)を使用して、彩度残差のスケーリング係数を判定することが提案される。
【0136】
1つの彩度残差サンプル再構成手順によれば、図14に示すように、1つまたは複数の
輝度予測サンプル値が、デコーダ側動きベクトル導出(DMVR)のバイリニアフィルタ
の出力から選択され(1401)、1つまたは複数の選択された輝度予測サンプル値が、
入力ビデオの元の符号化ビット深度と同じビット深度を有する別の1つまたは複数の輝度
予測サンプル値に調整され(1402)、入力ビデオの元の符号化ビット深度と同じビッ
ト深度を有する輝度予測サンプル値を使用して、1つまたは複数の彩度残差サンプルを復
号するためのスケーリング係数を導出し(1403)、スケーリング係数を使用して、1
つまたは複数の彩度残差サンプルをスケーリングし(1404)、1つまたは複数の彩度
残差サンプルが、1つまたは複数のスケーリングされた彩度残差サンプルとそれらの対応
する彩度予測サンプルとを加算することによって再構成される(1405)。
【0137】
彩度残差サンプル再構成手順の1つまたは複数の実施形態では、DMVRのバイリニア
フィルタの出力から1つまたは複数の輝度予測サンプル値を選択するステップは、DMV
Rのバイリニアフィルタの出力からL0およびL1の輝度予測サンプルを選択するステッ
プを含む。
【0138】
図15は、彩度残差サンプル再構成手順のそのような一実施形態におけるLMCS復号
処理のワークフローを示すフローチャートである。DMVR 1503のバイリニアフィ
ルタ1512成分の出力からのL0およびL1予測サンプル1521および1522は、
1つまたは複数の彩度残差サンプルを復号するための彩度残差スケーリング1507で使
用されるべき彩度残差スケーリング入力1523を導出するために、平均1511に供給
される。
【0139】
これらの実施形態では、ビットコード深度の問題がある。DMVRによって使用される
内部記憶容量サイズを節約するために、DMVRのバイリニアフィルタによって生成され
る中間L0およびL1予測サンプルは、10ビット精度である。これは、14ビットに等
しい通常の双予測の即時予測サンプルの表現ビット深度とは異なる。したがって、バイリ
ニアフィルタから出力された中間予測サンプルは、その異なる精度のために、彩度残差ス
ケーリング係数を判定するために直接適用することができない。
【0140】
この問題に対処するために、最初に、DMVR中間ビット深度を通常の動き補償補間に
使用される中間ビット深度と整合させる、すなわち、ビット深度を10ビットから14ビ
ットに増加させることが提案される。その後、通常の双予測信号を生成するために適用さ
れる既存の平均処理を再利用して、彩度残差スケーリング係数を判定するための対応する
予測サンプルを生成することができる。
【0141】
これらの実施形態の一例では、1つまたは複数の選択された輝度予測サンプル値を、入
力ビデオの元の符号化ビット深度と同じビット深度を有する別の1つまたは複数の輝度予
測サンプル値に調整することは、左シフトにより、DMVRのバイリニアフィルタの出力
からのL0およびL1輝度予測サンプルの内部ビット深度を14ビットに増加させること
と、14ビットシフトされたL0およびL1輝度予測サンプル値を平均することによって
14ビット平均輝度予測サンプル値を取得することと、右シフトにより、14ビット平均
輝度予測サンプル値の内部ビット深度を入力ビデオの元の符号化ビット深度に変更するこ
とによって、14ビット平均輝度予測サンプル値を変換することと、を含む。
【0142】
より具体的には、この例では、彩度スケーリング係数は、この段落の直後のボックスに
記載されたステップによって判定される。

1)内部ビット深度整合。次のように示されるように、バイリニアフィルタによって生
成されたL0およびL1の予測サンプルの内部ビット深度を、10ビットから14ビット
に増加させる。
【数71】
ここで、
【数72】
および
【数73】
はバイリニアフィルタから出力された予測サンプルであり、
【数74】
および
【数75】
はビット深度整合後のスケーリングされた予測サンプルである。
【数76】
は、以下の平均操作によって生じる予測サンプルのシフトされたダイナミックレンジを
補償するために使用される定数である。
2)L0およびL1のスケーリングされた予測サンプルの平均。彩度残差スケーリング
係数を判定するために使用される最終的な輝度サンプルは、以下のように2つのスケーリ
ングされた輝度予測サンプルを平均することによって計算される。
【数77】
ここで、ビット深度は、入力ビデオの符号化ビット深度である。
【0143】
彩度残差サンプル再構成手順の他の実施形態では、DMVRのバイリニアフィルタの出
力から1つまたは複数の輝度予測サンプル値を選択し、入力ビデオの元の符号化ビット深
度と同じビット深度を有する別の1つまたは複数の輝度予測サンプル値に1つまたは複数
の選択された輝度予測サンプル値を調整するステップは、DMVRのバイリニアフィルタ
の出力からL0およびL1の輝度予測サンプルのうちの1つの輝度予測サンプルを選択す
るステップと、シフトによって選択された1つの輝度予測値の内部ビット深度を入力ビデ
オの元の符号化ビット深度に変更することによって1つの選択された輝度予測サンプルを
調整するステップと、入力ビデオの元の符号化ビット深度と同じビット深度を有する輝度
予測サンプルとして調整された輝度予測サンプルを使用するステップと、を含む。
【0144】
図16は、彩度残差サンプル再構成手順のそのような他の一実施形態における、LMC
S復号処理のワークフローを示すフローチャートである。DMVR 1603のバイリニ
アフィルタ1612成分の出力からのL0予測サンプル1621は、1つまたは複数の彩
度残差サンプルを復号するための彩度残差スケーリング1607で使用される。この実施
形態では、初期単一予測サンプル(すなわち、L0予測サンプル)を直接使用して、彩度
残差のスケーリング係数を導出することが提案される。
【0145】
彩度残差サンプル再構成手順の1つのそのような他の実施形態の一例では、現在のCU
が双予測されると仮定すると、彩度スケーリング係数は、この段落の直後のボックスに記
載されたように、バイリニアフィルタから出力された輝度サンプルを入力ビデオの元の符
号化ビット深度にシフトすることによって判定される。

ビット深度が10以下である場合、
【数78】
そうでない場合、
【数79】
【0146】
最後に、輝度予測サンプルを生成する代わりに、参照サンプル(すなわち、外部参照ピ
クチャから取り出される整数位置のサンプル)を直接使用して、彩度残差のスケーリング
係数を判定することが提案される。1つまたは複数の実施形態において、彩度残差スケー
リング係数を判定するために、L0およびL1における参照サンプルの平均を使用するこ
とが提案される。別の実施形態では、彩度残差スケーリング係数を計算するために、一方
向(例えば、リストL0)の参照サンプルのみに提案することができる。
【0147】
第2の彩度残差サンプル再構成手順によれば、図17に示すように、1つまたは複数の
輝度参照サンプル値が参照ピクチャから選択され(1701)、1つまたは複数の選択さ
れた輝度参照サンプル値が輝度サンプル値に変換され(1702)、変換された輝度サン
プルを使用してスケーリング係数を導出し(1703)、スケーリング係数を使用して1
つまたは複数の彩度残差サンプルをスケーリングし(1704)、1つまたは複数の彩度
残差サンプルが、1つまたは複数のスケーリングされた彩度残差サンプルとそれらの対応
する彩度予測サンプルとを加算することによって再構成される(1705)。
【0148】
第2の彩度残差サンプル再構成手順の1つまたは複数の実施形態では、参照ピクチャか
ら1つまたは複数の輝度参照サンプル値を選択し、1つまたは複数の選択された輝度参照
サンプル値を輝度サンプル値に変換するステップは、L0およびL1参照ピクチャからL
0およびL1の両方の輝度参照サンプル値を取得するステップと、変換された輝度サンプ
ル値としてL0およびL1の輝度参照サンプル値を平均するステップと、を含む。
【0149】
第2の彩度残差サンプル再構成手順の他の実施形態では、参照ピクチャから1つまたは
複数の輝度参照サンプルを選択し、1つまたは複数の選択された輝度参照サンプルを輝度
サンプル値に変換するステップは、L0およびL1参照ピクチャからのL0およびL1輝
度参照サンプル値の中から1つの輝度参照サンプル値を選択するステップと、1つの選択
された輝度参照サンプル値を変換された輝度サンプル値として使用するステップと、を含
む。
【0150】
既存のLMCS設計によれば、現在のCUが位置する64x64領域に隣接する再構成
輝度サンプルは、領域内のCUの彩度残差スケーリング係数を計算するために使用される
。さらに、1つのクリッピング操作、すなわちClip 1()は、再構成された輝度隣
接サンプルを、平均が計算される前に、内部ビット深度のダイナミックレンジ([0,(
1<<bitDepth)-1]の範囲内にクリッピングするために適用される。
【0151】
具体的には、本方法は、まず、現在のCUが属する対応する64x64領域の、64個
の左隣接輝度サンプルおよび64個の上隣接輝度サンプル、をフェッチする。次いで、左
および上の隣接サンプルの平均、すなわちavgYを計算し、LMCS区分線形モデル内
のavgYのセグメントインデックスY1dxを見つける。最後に、彩度残差CScal
eInv=cScaleInv[Y1dx]を導出する。
【0152】
具体的には、現在のVVC草案では、対応する平均輝度をどのように導出するかは以下
のように説明され、クリッピング操作Clip 1()は、目立つフォントサイズで示さ
れるように適用されている。
変数varScaleの導出には、以下の順序付きステップが適用される。
変数invAvgLumaは、以下のように導出される。
-配列recLuma[i](i=0(2*sizeY-1))、および変数cntは、
以下のように導出される。
-変数cntは0に等しく設定される。
-availLがTRUEに等しい場合、配列recLuma[i](i=0..si
zeY-1は、currPic[xCuCb-1][Min(yCuCb+i,pic_
height_in_luma_samples-1)](i=0..sizeY-1)
に等しく設定され、cntはsizeYに等しく設定される。
-availTがTRUEに等しい場合、配列recLuma[cnt+i](i=0
..sizeY-1)は、currPic[Min(xCuCb+i,pic_widt
h_in_luma_samples-1)][yCuCb-1](i=0..size
Y-1)に等しく設定され、cntは(cnt+sizeY)に等しく設定される。
-変数invAvgLumaは、以下のように導出される。
-cntが0より大きい場合、以下が適用される。
【数80】
-そうでない場合(cntは0に等しい)、以下が適用される。
invAvgLuma=1<<(BitDepth-1)
上記の説明では、sizeYは64である。recLuma[i]は、上および左の隣
接する輝度サンプルの再構成サンプルである。invAvgLumaは、計算された輝度
平均である。
【0153】
しかしながら、再構成処理では、1つのCUの残差サンプルに予測サンプルを加算した
後、結果のサンプル値は、内部ビット深度のダイナミックレンジに既にクリッピングされ
ている。これは、現在の64x64領域の周りのすべての隣接する再構成輝度サンプルが
、内部ビット深度の範囲内にあることが保証されることを意味する。したがって、それら
の平均、すなわちavgYもこの範囲を超えることはできない。その結果、既存のクリッ
ピング(すなわち、Clip 1())は、対応する彩度残差スケーリング係数を計算す
る必要がない。LMCS設計の複雑さおよびメモリ要件をさらに低減するために、隣接す
る再構成された輝度サンプルの平均を計算するときから、クリッピング操作を除去し、彩
度残差スケーリング係数を導出することが提案される。
【0154】
図18は、非クリッピング彩度残差スケーリング係数導出手順のステップを示すフロー
チャートである。図18では、CUが位置する第2の所定の領域に隣接する第1の所定の
領域からの複数の再構成された輝度サンプルが、CUの復号中に選択され(1801)、
複数の再構成された輝度サンプルの平均が計算され(1802)、複数の再構成された輝
度サンプルの平均が、CUを復号するための彩度残差スケーリング係数を導出する際に、
クリッピングなしで直接使用される(1803)。
【0155】
非クリッピング彩度残差スケーリング係数導出手順の1つまたは複数の実施形態では、
複数の再構成輝度サンプルの平均は、複数の再構成輝度サンプルの算術平均である。
【0156】
非クリッピング彩度残差スケーリング係数導出手順の1つまたは複数の実施形態では、
CUを復号するための彩度残差スケーリング係数を導出する際に、複数の再構成された輝
度サンプルの平均をクリッピングなしで直接使用するステップは、事前定義された区分線
形モデルにおける平均のセグメントインデックスを識別するステップと、セグメントの線
形モデルの勾配に基づいてCUを復号するためのクロム残差スケーリング係数を導出する
ステップと、を含む。
【0157】
非クリッピング彩度残差スケーリング係数導出手順の1つまたは複数の実施形態では、
第1の所定の領域内の輝度予測サンプルおよび輝度残差サンプルを生成するステップと、
輝度残差サンプルを輝度予測サンプルに加算するステップと、加算された輝度サンプルを
符号化ビット深度のダイナミックレンジにクリッピングするステップと、によって、第1
の所定の領域内の複数の再構成輝度サンプルが生成される。
【0158】
非クリッピング彩度残差スケーリング係数導出手順の1つまたは複数の実施形態では、
複数の再構成輝度サンプルは、複数の順方向マッピングされたインター輝度再構成サンプ
ルである。
【0159】
非クリッピング彩度残差スケーリング係数導出手順の1つまたは複数の実施形態におい
て、第2の所定の領域は、CUが位置する64×64の領域である。
【0160】
一例では、図19に示すように、第1の所定の領域は、第2の所定の領域1904の真
上の1x64の領域1902内の上部隣接サンプルを含み得る。これに代え、あるいはこ
れに加えて、第1の所定の領域は、第2の所定の領域1904のすぐ左の64x1の領域
1903内の左の近隣サンプルを含み得る。
【0161】
既存のLMCS設計によれば、元のドメインとマッピングされたドメインの両方の再構
成されたサンプルは、異なるモードで符号化されたCUに使用される。これに対応して、
2つのドメイン間で予測および再構成輝度サンプルを変換するために、複数のLMCS変
換が現在の符号化/復号処理に関与する。
【0162】
具体的には、イントラモード、CIIPモード、およびIBCモードの場合、イントラ
予測サンプルを生成するために使用される1つの現在のCUの隣接する再構成ドメインか
らの参照サンプルは、マッピングされたドメイン内に維持される。対照的に、CIIPモ
ードおよびすべてのインターモードでは、時間参照ピクチャから生成される動き補償予測
サンプルは、元のドメインにある。輝度再構成操作はマッピングされたドメインで実行さ
れるため、輝度成分のそれらのインター予測サンプルは、残差サンプルと加算される前に
マッピングされたドメインに変換される必要がある。一方、イントラおよびインターモー
ドの両方について、逆マッピングは、マッピングされたドメインから元のドメインに変換
された、再構成された輝度サンプルに常に適用される。
【0163】
さらに、クリッピング操作、すなわちClip 1()は、インター予測サンプルを、
マッピングされたドメインに変換された後に、内部ビット深度のダイナミックレンジ(す
なわち、[0,(1<<bitDepth)-1]の範囲内にクリッピングするために適
用される。一方、イントラおよびインターモードの両方について、再構成された輝度サン
プルが元のドメインに変換された後、同じクリッピング操作が再構成された輝度サンプル
にも適用される。
【0164】
しかしながら、既存のLMCS設計に基づいて、順方向LMCSから得られるサンプル
が常に内部ビット深度のダイナミックレンジ内にあることを保証するビットストリーム制
約が一つある。これは、インターCUのマッピングされた輝度予測サンプルが、そのよう
なダイナミックレンジを超えることができないことを意味する。したがって、インターモ
ードのマッピングされた輝度予測サンプルに適用される既存のクリッピング操作は、冗長
である。一例として、インターモードおよびCIIPモードのインター予測サンプルの順
方向変換後に、クリッピング操作を除去することが提案され得る。別の例では、再構成さ
れた輝度サンプルをマッピングされたドメインから元のドメインに変換するときに、逆L
MCSマッピング処理からクリッピング操作を除去することが提案され得る。
【0165】
より具体的には、現在のVVC草案では、輝度サンプルの逆マッピング処理は以下のよ
うに説明され、式(1242)のクリッピング操作Clip 1()は、目立つフォント
サイズで示されるように適用されている。
8.8.2.2 輝度サンプルの逆マッピング処理
この処理への入力は、輝度サンプルlumaSampleである。
この処理の出力は、修正された輝度サンプルinvLumaSampleである。
invLumaSampleの値は以下のように導出される。
-輝度サンプルlumaSampleを含むスライスのslice_lmcs_enab
led_flagが1に等しい場合、以下の順序付きステップが適用される。
1.変数idxYInvは、lumaSampleを入力として、idxYInvを出
力として、条項8.8.2.3で指定されているように、輝度サンプルの区分関数インデ
ックス処理の識別を呼び出すことによって導出される。
2.変数invSampleは以下のように導出される。
【数81】
3.逆マッピングされた輝度サンプルinvLumaSampleは、以下のように導
出される。
【数82】
-そうでない場合、invLumaSampleはlumaSampleと等しく設定さ
れる。
【0166】
さらに、現在のVVC草案では、結合マージおよびイントラ予測のための重み付きサン
プル予測処理は、以下のように説明され、ここでは、目立つフォントサイズで示されるよ
うに、クリッピング操作Clip 1()が適用されている。
8.5.6.7 結合マージおよびイントラ予測のための重み付きサンプル予測処理
この処理への入力は以下の通りである。
-現在のピクチャの左上輝度サンプルに対して、現在の輝度符号化ブロックの左上サン
プルを指定する輝度位置(xCb、yCb)
-現在の符号化ブロックの幅cbWidth、
-現在の符号化ブロックの高さcbHeight
-2つの(cbWidth)x(cbHeight)配列predSamplesIn
terおよびpredSamplesIntra
-色成分インデックスを指定する変数cIdx
この処理の出力は、予測サンプル値の(cbWidth)×(cbHeight)配列
predSamplesCombである。
変数scallFactは以下のように導出される。
【数83】
隣接する輝度位置(xNbA、yNbA)および(xNbB、yNbB)は、それぞれ
、(xCb-1,yCb-1+(cbHeight<<scallFactY))および
(xCb-1+(cbWidth<<scallFactX)、yCb-1)に、等しく
設定される。
XがAまたはBのいずれかに置き換えられる場合、変数availableXおよびi
sIntraCodedNeighbourXは、以下のように導出される。
-条項6.4.4で指定された隣接ブロック可用性の導出処理では、(xCb、yCb
)に等しく設定された位置(xCurr、yCurr)、(xNbX、yNbX)に等し
く設定された隣接位置(xNbY、yNbY)、FALSEに等しく設定されたchec
kPredModeY、および0に等しく設定されたcIdx、が入力として呼び出され
、出力はavailableXに割り当てられる。
-変数isIntraCodedNeighbourXは、以下のように導出される。
-availableXがTRUEに等しく、CuPredMode[0][xNbX
][yNbX]がMODE_INTRAに等しい場合、isIntraCodedNei
ghbourXはTRUEに等しく設定される。
-そうでない場合、isIntraCodedNeighbourXは、FALSEと
等しく設定される。
重みwは以下のように導出される。
-isIntraCodedNeighbourAとisIntraCodedNei
ghbourBの両方がTRUEに等しい場合、wは3に等しく設定される。
-そうでない場合、isIntraCodedNeighbourAとisIntra
CodedNeighbourBの両方がFALSEに等しい場合、wは1に等しく設定
される。
-そうでない場合、wは2に等しく設定される。
cIdxが0に等しく、slice_lmcs_enabled_flagが1に等し
い場合、x=0..cbWidth-1およびy=0..cbHeight-1を有する
predSamplesInter[x][y]は、以下のように修正される。
【数84】
x=0..cbWidth-1およびy=0..cbHeight-1を有する予測サ
ンプルpredSamplesComb[x][y]は、以下のように導出される。
【数85】
【0167】
さらに、現在のVVC草案では、輝度サンプルのマッピング処理を用いたピクチャ再構
成は以下のように説明され、クリッピング操作Clip 1()は、目立つフォントサイ
ズで示されるように適用されている。
8.7.5.2 輝度サンプルのマッピング処理によるピクチャ再構成
この処理への入力は以下の通りである。
-現在のピクチャの左上サンプルに対する、現在のブロックの左上サンプルの位置(x
Curr、yCurr)、
-ブロック幅を規定する変数nCurrSw
-ブロック高さを指定する変数nCurrSh
-現在のブロックの輝度予測サンプルを指定する(nCurrSw)x(nCurrS
h)配列predSamples
-現在のブロックの輝度残差サンプルを指定する(nCurrSw)x(nCurrS
h)配列resSamples
この処理の出力は、再構成された輝度ピクチャサンプルアレイrecSamplesで
ある。
マッピングされた予測輝度サンプルpredMapSamplesの(nCurrSw
)×(nCurrSh)配列は、以下のように導出される。
-以下の条件のうちの1つが真である場合、predMapSamples[i][j
]は、i=0..nCurrSw-1、j=0..nCurrSh-1に対してpred
Samples[i][j]と等しく設定される。
-CuPredMode[0][xCurr][yCurr]はMODE_INTRA
と等しい。
-CuPredMode[0][xCurr][yCurr]は、MODE_IBCと
等しい。
-CuPredMode[0][xCurr][yCurr]は、MODE_PLTと
等しい。
-CuPredMode[0][xCurr][yCurr]はMODE_INTER
に等しく、ciip_flag[xCurr][yCurr]は1に等しい。
-そうでない場合(CuPredMode[0][xCurr][yCurr]がMO
DE_INTERに等しく、ciip_flag[xCurr][yCurr]が0に等
しい)、以下が適用される。
【数86】
ここで、i=0..nCurrSw-1、j=0..nCurrSh-1)
再構成された輝度ピクチャサンプルrecSamplesは、以下のように導出される

【数87】

ここで、i=0..nCurrSw-1,j=0..nCurrSh-1
【0168】
これらの冗長なクリッピング操作は、既存のLMCS設計における計算複雑性およびオ
ンチップメモリの余分な要件を招く。LMCS設計の複雑さおよびメモリ要件をさらに低
減するために、これらの冗長なクリッピング操作を除去することが提案される。
【0169】
非クリッピング彩度サンプル復号手順によれば、図20に示すように、彩度スケーリン
グを伴う輝度マッピング(LMCS)フレームワークの下で、インターモードまたは結合
インターイントラ予測(CIIP)モードによって符号化された符号化ユニット(CU)
の復号中に、輝度成分の複数の再構成されたサンプルが、マッピングされたドメイン内で
取得され(2001)、輝度成分の複数の再構成されたサンプルをマッピングされたドメ
インから元のドメインに変換することにより、輝度成分の複数の変換されたサンプルが元
のドメイン内で取得され(2002)、CUの彩度サンプルを復号するための彩度スケー
リング係数を導出する際に、元のドメインにおける複数の変換された輝度成分のサンプル
が、クリッピングなしで、で使用される(2003)。
【0170】
非クリッピング彩度サンプル復号手順の1つまたは複数の実施形態では、図21に示す
ように、CUがインターモードによって符号化される場合、マッピングされたドメインに
おける輝度成分の複数の再構成されたサンプルを取得するステップは、元のドメインにお
ける輝度成分の複数のインター予測サンプルを計算するステップ(2101)と、マッピ
ングされたドメインにおける輝度成分の複数の変換されたインター予測サンプルを取得す
るために、輝度成分の複数のインター予測サンプルを元のドメインからマッピングされた
ドメインに、クリッピングなしで、変換するステップ(2102)と、
マッピングされたドメインにおける輝度成分の複数の変換されたインター予測サンプル
を、マッピングされたドメインにおける輝度成分の複数の残差サンプルに加算し、その結
果、マッピングされたドメインにおける輝度成分の複数の再構成されたサンプルが得られ
るステップ(2103)と、を含む。
【0171】
非クリッピング彩度サンプル復号手順の他の1つまたは複数の実施形態では、図22
示すように、CUがCIIPモードによって符号化される場合、マッピングされたドメイ
ンにおける輝度成分の複数の再構成されたサンプルを取得するステップは、元のドメイン
における輝度成分の複数のインター予測サンプルを計算するステップ(2201)と、マ
ッピングされたドメインにおける輝度成分の複数の変換されたインター予測サンプルを取
得するために、輝度成分の複数のインター予測サンプルを元のドメインからマッピングさ
れたドメインに、クリッピングなしで、変換するステップ(2202)と、マッピングさ
れたドメインにおける輝度成分の複数のイントラ予測サンプルを計算するステップ(22
03)と、複数の変換されたインター予測サンプルと複数のイントラ予測サンプルとの加
重平均によって、マッピングされたドメインにおける輝度成分の予測サンプルを導出する
ステップ(2204)と、
マッピングされたドメインにおける輝度成分の導出された予測サンプルを、マッピング
されたドメインにおける輝度成分の複数の残差サンプルに加算し、その結果、マッピング
されたドメインにおける輝度成分の複数の再構築されたサンプルが得られるステップ(2
205)と、を含む。
【0172】
現在のLMCSが有効にされると、順方向および逆方向輝度マッピングは、11ビット
の精度で定義された1つのLUTテーブルを使用して実行される。例えば、順方向輝度マ
ッピングを例にとると、現在の順方向マッピングスケーリング係数は、以下のように定義
される。
ScaleCoeff[i]=(lmcsCW[i]*(1<<11)+(1<<(L
og 2(OrgCW)-1)))>>(Log 2(OrgCW))
ここで、lmcsCWは、マッピングされた輝度ドメインの1つのセグメントの長さで
あり、OrgCWは、1<<(BitDepth-4)に等しい元の輝度ドメインの1つ
のセグメントの長さである。
【0173】
しかしながら、11ビットのこのような精度は、16ビット未満の内部符号化ビット深
度にのみ十分であることが分かった。内部符号化ビット深度が16ビットである場合、L
og 2(OrgCW)の値は12となる。そのような場合、11ビット精度の向上は、
スケーリング係数導出をサポートするのに十分ではない。これにより、現在のビットスト
リーム適合性が適用された場合、すなわち、マッピングされた輝度ドメインにおけるセグ
メントの長さの合計が(1<<BitDepth)-1以下である場合でも、順方向輝度
マッピング後のマッピングされた予測輝度サンプル値は、内部符号化ビット深度のダイナ
ミックレンジを超えることになり得る。
【0174】
このような考察に基づいて、2つの解決策が提案される。
【0175】
1つの解決策では、インターモードおよびCIIPモードのマッピングされた輝度予測
サンプルに、常にクリッピング操作を適用することが提案される。その上、現在のビット
ストリーム適合性を除去することができる。
【0176】
この解決策の下で、結合マージおよびイントラ予測のための重み付きサンプル予測処理
は以下のようになる。現在のVVC草案における同じ手順の仕様と比較して、マッピング
された輝度予測サンプルがクリッピング値を含むように、クリッピング操作Clip 1
()が式(1028 a)に常に適用される。
8.5.6.7 結合マージおよびイントラ予測のための重み付きサンプル予測処理
この処理への入力は以下の通りである。
cIdxが0に等しく、slice_lmcs_enabled_flagが1に等し
い場合、x=0..cbWidth-1およびy=0..cbHeight-1を有する
predSamplesInter[x][y]は、以下のように修正される。
【数88】
x=0..cbWidth-1およびy=0..cbHeight-1を有する予測サ
ンプルpredSamplesComb[x][y]は、以下のように導出される。
【数89】
【0177】
この解決策の下でも、輝度サンプルのマッピング処理を用いたピクチャ再構成は以下の
ようになる。現在のVVC草案における同じ手順の仕様と比較して、マッピングされた輝
度予測サンプルがクリッピング値を含むように、クリッピング操作Clip 1()が追
加される。
8.7.5.2 輝度サンプルのマッピング処理によるピクチャ再構成
この処理への入力は以下の通りである。
-現在のピクチャの左上サンプルに対する、現在のブロックの左上サンプルの位置(x
Curr、yCurr)、
-ブロック幅を規定する変数nCurrSw
-ブロック高さを指定する変数nCurrSh
-現在のブロックの輝度予測サンプルを指定する(nCurrSw)x(nCurrS
h)配列predSamples
-現在のブロックの輝度残差サンプルを指定する(nCurrSw)x(nCurrS
h)配列resSamples
この処理の出力は、再構成された輝度ピクチャサンプルアレイrecSamplesで
ある。
マッピングされた予測輝度サンプルpredMapSamplesの(nCurrSw
)×(nCurrSh)配列は、以下のように導出される。
-以下の条件のうちの1つが真である場合、predMapSamples[i][j
]は、i=0..nCurrSw-1、j=0..nCurrSh-1に対してpred
Samples[i][j]と等しく設定される。
-CuPredMode[0][xCurr][yCurr]はMODE_INTRA
と等しい。
-CuPredMode[0][xCurr][yCurr]は、MODE_IBCと
等しい。
-CuPredMode[0][xCurr][yCurr]は、MODE_PLTと
等しい。
-CuPredMode[0][xCurr][yCurr]はMODE_INTER
に等しく、ciip_flag[xCurr][yCurr]は1に等しい。
-そうでない場合(CuPredMode[0][xCurr][yCurr]がMO
DE_INTERに等しく、ciip_flag[xCurr][yCurr]が0に等
しい)、以下が適用される。
【数90】
ここで、i=0..nCurrSw-1、j=0..nCurrSh-1)
再構成された輝度ピクチャサンプルrecSamplesは、以下のように導出される

【数91】
ここで、i=0..nCurrSw-1,j=0..nCurrSh-1
【0178】
第2の解決策では、LMCSのスケーリング係数導出の精度を11ビット(Mビットと
表記)を超えるように増加させることが提案される。
【0179】
この第2の解決策の下では、順方向輝度マッピングは以下のようになる。
ScaleCoeff[i]=(lmcsCW[i]*(1<<M)+(1<<(Lo
g 2(OrgCW)-1)))>>(Log 2(OrgCW))
idxY=predSamples[i][j]>>Log2(OrgCW)
predMapSamples[i][j]=LmcsPivot[idxY]+
(ScaleCoeff[idxY]*(predSamples[i][j]-In
putPivot[idxY])+(1<<(M-1)))>>M(1219)
with i=0..nCurrSw-1,j=0..nCurrSh-1
【0180】
第2の解決策の一実施形態では、順方向および逆輝度マッピングの両方のスケーリング
係数導出の精度を高めることが提案される。第2の解決策の別の実施形態では、順方向輝
度マッピングのスケーリング係数導出の精度のみを高めることが提案される。
【0181】
上記の2つの解決策のいずれかが適用される場合、インターモードおよびCIIPモー
ドのマッピングされた輝度予測サンプルに適用される現在のクリッピング操作も安全に除
去することができる。
【0182】
本開示の第1の態様によれば、図23に示すように、LMCSフレームワークの下でイ
ンターモードまたはCIIPモードによって符号化されたCUの輝度成分の、マッピング
されたドメインにおける複数の予測サンプルが取得され(2301)、CUの輝度成分の
、マッピングされたドメインにおける複数の残差サンプルがビットストリームから受信さ
れ(2302)、マッピングされたドメインにおける複数の予測サンプルが、マッピング
されたドメインにおける複数の残差サンプルに加算され、その結果、輝度成分の、マッピ
ングされたドメインにおける複数の再構成サンプルが得られ(2303)、輝度成分の複
数の再構成サンプルが、事前定義された複数の逆マッピングスケーリング係数に基づいて
、マッピングされたドメインから元のドメインに変換される(2304)。
【0183】
本開示の第一の態様の1つまたは複数の実施形態では、図24に例示されるように、C
Uはインターモードによって符号化され、CUの輝度成分の、マッピングされたドメイン
における複数の予測サンプルを取得することは、CUの時間参照ピクチャからCUの輝度
成分の、元のドメインにおける複数のインター予測サンプルを導出すること(2401)
と、その後、事前定義された符号化ビット深度、および事前定義された順方向マッピング
精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、輝度
成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変
換すること(2402)と、を含む。
【0184】
本開示の第一の態様の他の1つまたは複数の実施形態では、図25に例示されるように
、CUはCIIPモードによって符号化され、CUの輝度成分の、マッピングされたドメ
インにおける複数の予測サンプルを取得することは、CUの時間参照ピクチャからCUの
輝度成分の、元のドメインにおける複数のインター予測サンプルを導出すること(250
1)と、事前定義された符号化ビット深度、および事前定義された順方向マッピング精度
内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、輝度成分
の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換す
ること(2502)と、CUの輝度成分の、マッピングされたドメインにおける複数のイ
ントラ予測サンプルを計算すること(2503)と、変換された複数のインター予測サン
プルおよび複数のイントラ予測サンプルの加重平均として、マッピングされたドメインに
おけるCUの輝度成分の予測サンプルを導出すること(2504)と、を含む。
【0185】
一例では、図26に示すように、事前定義された符号化ビット深度、および事前定義さ
れた順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング
係数に基づいて、輝度成分の複数のインター予測サンプルを、元のドメインからマッピン
グされたドメインに変換することは、事前定義された複数の順方向マッピングスケーリン
グ係数を使用して、輝度成分の複数のインター予測サンプルを、元のドメインからマッピ
ングされたドメインに変換すること(2601)と、事前定義された符号化ビット深度、
および事前定義された順方向マッピング精度に基づいて、クリッピング操作が必要である
かどうかを判定すること(2602)と、クリッピング操作が必要であるという判定に応
答して、マッピングされたドメインにおける輝度成分の複数のインター予測サンプルを、
事前定義された符号化ビット深度にクリッピングすること(2603)と、クリッピング
操作が必要ではないという判定に応答して、輝度成分の複数のインター予測サンプルのク
リッピングをバイパスすること(2604)と、を含む。
【0186】
1つまたは複数の場合において、クリッピング操作が必要であるかどうか判定すること
は、事前定義された符号化ビット深度が事前定義された順方向マッピング精度よりも大き
い場合に、クリッピング操作が必要であると判定することを含む。
【0187】
1つまたは複数の場合において、クリッピング操作が必要であるかどうか判定すること
は、事前定義された符号化ビット深度が事前定義された順方向マッピング精度よりも小さ
い場合に、クリッピング操作が必要ではないと判定することを含む。
【0188】
1つまたは複数の例では、クリッピング操作が必要であるかどうかを判定することは、
事前定義された符号化ビット深度および事前定義された順方向マッピング精度に関係なく
、クリッピング操作が必要であると判定することを含む。
【0189】
1つまたは複数の例では、クリッピング操作が必要かどうかを判定することは、事前定
義された符号化ビット深度および事前定義された順方向マッピング精度に関係なく、クリ
ッピング操作が必要ではないと判定することを含む。
【0190】
1つまたは複数の例では、事前定義された順方向マッピング精度は15ビットである。
【0191】
1つまたは複数の例では、事前定義された順方向マッピング精度は11ビットである。
【0192】
図27は、本開示のいくつかの実装形態にしたがうビデオ符号化のための装置を例示す
るブロック図である。装置2700は、携帯電話、タブレットコンピュータ、デジタル放
送端末、タブレットデバイス、または携帯情報端末などの端末であってもよい。
【0193】
図27に示すように、装置2700は、以下の構成要素、処理構成要素2702、メモ
リ2704、電源構成要素2706、マルチメディア構成要素1408、オーディオ構成
要素2710、入力/出力(I/O)インターフェース2712、センサ構成要素271
4、および通信構成要素2716、のうちの1つまたは複数を含み得る。
【0194】
処理構成要素2702は、通常、表示、通話、データ通信、カメラ操作および記録操作
に関連する操作など、装置2700の全体的な操作を制御する。処理構成要素2702は
、上記の方法のステップの全部または一部を完了するために命令を実行するための1つま
たは複数のプロセッサ2720を含むことができる。さらに、処理構成要素2702は、
処理構成要素2702と他の構成要素との間の相互作用を容易にするために、1つまたは
複数のモジュールを含むことができる。例えば、処理構成要素2702は、マルチメディ
ア構成要素2708と処理構成要素2702との間の対話を容易にするために、マルチメ
ディアモジュールを含むことができる。
【0195】
メモリ2704は、装置2700の操作をサポートするために、異なるタイプのデータ
を格納するように構成される。そのようなデータの例は、装置2700上で動作する任意
のアプリケーションまたは方法のための命令、連絡先データ、電話帳データ、メッセージ
、写真、ビデオなどを含む。メモリ2704は、任意のタイプの一時的または非一時的記
憶媒体またはそれらの組み合わせを含むことができ、メモリ2704は、スタティックラ
ンダムアクセスメモリ(SRAM)、電気的消去可能プログラマブル読み出し専用メモリ
(EEPROM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、プログ
ラマブル読み出し専用メモリ(PROM)、読み出し専用メモリ(ROM)、磁気メモリ
、フラッシュメモリ、磁気ディスクまたはコンパクトディスクであってもよい。非一時的
記憶媒体は、例えば、ハードディスクドライブ(HDD)、ソリッドステートドライブ(
SSD)、フラッシュメモリ、ハイブリッドドライブまたはソリッドステートハイブリッ
ドドライブ(SSHD)、読み出し専用メモリ(ROM)、コンパクトディスク読み出し
専用メモリ(CD-ROM)、磁気テープ、フロッピー(登録商標)ディスクなどであっ
てもよい。
【0196】
電源構成要素2706は、装置2700の異なる構成要素に電力を供給する。電源構成
要素2706は、電源管理システム、1つまたは複数の電源、および装置2700のため
の電力の生成、管理、および分配に関連する他の構成要素を含むことができる。
【0197】
マルチメディア構成要素2708は、装置2700とユーザとの間の出力インターフェ
ースを提供する画面を含む。いくつかの例では、画面は、液晶ディスプレイ(LCD)お
よびタッチパネル(TP)を含むことができる。画面がタッチパネルを含む場合、画面は
、ユーザからの入力信号を受信するタッチスクリーンとして実装されてもよい。タッチパ
ネルは、タッチパネル上のタッチ、スライド、およびジェスチャを検知するための1つま
たは複数のタッチセンサを含むことができる。タッチセンサは、タッチまたはスライド操
作の境界を感知するだけでなく、タッチまたはスライド操作に関連する持続時間および圧
力を検出することもできる。いくつかの例では、マルチメディア構成要素2708は、フ
ロントカメラおよび/またはリアカメラを含むことができる。装置2700が撮影モード
またはビデオモードなどの操作モードにあるとき、フロントカメラおよび/またはリアカ
メラは外部マルチメディアデータを受信することができる。
【0198】
オーディオ構成要素2710は、オーディオ信号を出力および/または入力するように
構成される。例えば、オーディオ構成要素2710は、マイクロフォン(MIC)を含む
。装置2700が通話モード、録音モード、および音声認識モードなどの動作モードにあ
るとき、マイクロフォンは外部オーディオ信号を受信するように構成される。受信された
オーディオ信号は、メモリ2704にさらに格納されてもよく、または通信構成要素27
16を介して送信されてもよい。いくつかの例では、オーディオ構成要素2710は、オ
ーディオ信号を出力するためのスピーカをさらに含む。
【0199】
I/Oインターフェース2712は、処理構成要素2702と周辺インターフェースモ
ジュールとの間のインターフェースを提供する。上記の周辺インターフェースモジュール
は、キーボード、クリックホイール、ボタンなどであってもよい。これらのボタンは、ホ
ームボタン、音量ボタン、開始ボタン、およびロックボタンを含むことができるが、これ
らに限定されない。
【0200】
センサ構成要素2714は、装置2700の異なる態様で状態評価を提供するための1
つまたは複数のセンサを含む。例えば、センサ構成要素2714は、装置2700のオン
/オフ状態および構成要素の相対位置を検出することができる。例えば、構成要素は、装
置2700のディスプレイおよびキーパッドである。センサ構成要素2714はまた、装
置2700または装置2700の構成要素の位置変化、装置2700上のユーザの接触の
有無、装置2700の向きまたは加速/減速、および装置2700の温度変化を検出する
ことができる。センサ構成要素2714は、物理的な接触なしに近くの物体の存在を検出
するように構成された近接センサを含むことができる。センサ構成要素2714は、撮像
用途に使用されるCMOSまたはCCDイメージセンサなどの光学センサをさらに含むこ
とができる。いくつかの例では、センサ構成要素2714は、加速度センサ、ジャイロス
コープセンサ、磁気センサ、圧力センサ、または温度センサをさらに含むことができる。
【0201】
通信構成要素2716は、装置2700と他のデバイスとの間の有線または無線通信を
容易にするように構成される。装置2700は、WiFi、4G、またはそれらの組み合
わせなどの通信規格に基づいて無線ネットワークにアクセスすることができる。一例では
、通信構成要素2716は、放送チャネルを介して外部の放送管理システムから放送信号
または放送関連情報を受信する。一例では、通信構成要素2716は、短距離通信を促進
するための近距離無線通信(NFC)モジュールをさらに含んでもよい。例えば、NFC
モジュールは、無線周波数識別(RFID)技術、赤外線データ協会(IrDA)技術、
超広帯域(UWB)技術、ブルートゥース(登録商標)(BT)技術、および他の技術に
基づいて実装
されてもよい。
【0202】
一例では、装置2700は、特定用途向け集積回路(ASIC)、デジタル信号プロセ
ッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス
(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイ
クロコントローラ、マイクロプロセッサ、または上記の方法を実行する他の電子素子のう
ちの1つまたは複数によって実装されてもよい。
【0203】
1つまたは複数の例では、記載された機能は、ハードウェア、ソフトウェア、ファーム
ウェア、またはそれらの任意の組み合わせで実施され得る。ソフトウェアで実装される場
合、機能は、コンピュータ可読媒体に記憶されるか、または1つまたは複数の命令または
コードとしてコンピュータ可読媒体を介して送信され、ハードウェアベースの処理ユニッ
トによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体などの有形媒体
に対応するコンピュータ可読記憶媒体、または、例えば通信プロトコルに従って、ある場
所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒
体、を含むことができる。このようにして、コンピュータ可読媒体は、一般に、(1)非
一時的である有形のコンピュータ可読記憶媒体、または(2)信号または搬送波などの通
信媒体、に対応することができる。データ記憶媒体は、本出願に記載された実装形態を実
装するための命令、コード、および/またはデータ構造を取り出すために、1つもしくは
複数のコンピュータ、または、1つもしくは複数のプロセッサによってアクセスされ得る
任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可
読媒体を含むことができる。
【0204】
さらに、上記の方法は、装置2700を使用して実施することができる。本開示は、特
定用途向け集積回路、プログラマブル論理アレイ、および他のハードウェアデバイスなど
の専用ハードウェア実装を含むことができる。ハードウェア実装は、本明細書に記載の方
法のうちの1つまたは複数を実装するように構成することができる。様々な実装形態の装
置およびシステムを含むことができる例は、様々な電子およびコンピューティングシステ
ムを広く含むことができる。本明細書に記載された1つまたは複数の例は、モジュール間
およびモジュールを介して、または特定用途向け集積回路の一部として、通信することが
できる関連する制御およびデータ信号を有する2つ以上の特定の相互接続されたハードウ
ェアモジュールまたはデバイスを使用して機能を実装することができる。したがって、開
示された装置またはシステムは、ソフトウェア、ファームウェア、およびハードウェアの
実装形態を包含し得る。「モジュール(module)」、「サブモジュール(sub-
module)」、「回路(circuit)」、「サブ回路sub-circuit」
、「回路(circuitry)」、「サブ回路(sub-circuitry)」、「
ユニット(unit)」、または「サブユニット(sub-unit)」という用語は、
1つまたは複数のプロセッサによって実行することができるコードまたは命令を記憶する
メモリ(共有、専用、またはグループ)を含むことができる。本明細書で言及されるモジ
ュールは、格納されたコードまたは命令の有無にかかわらず、1つまたは複数の回路を含
むことができる。モジュールまたは回路は、接続された1つまたは複数の構成要素を含む
ことができる。
【0205】
本発明の他の実施形態は、本明細書の考察および本明細書に開示される本発明の実施か
ら当業者には明らかであろう。本出願は、本発明の一般的な原理に従い、当技術分野にお
ける既知のまたは慣習的な実施に含まれるような本開示からの逸脱を含む、本発明の任意
の変形、使用、または適合を網羅することを意図している。本明細書および実施例は、例
示としてのみ考慮されることが意図され、本発明の真の範囲および精神は、以下の特許請
求の範囲によって示される。
【0206】
本発明は、上記で説明され、添付の図面に示された正確な例に限定されず、その範囲か
ら逸脱することなく様々な修正および変更を行うことができることが理解されよう。本発
明の範囲は、添付の特許請求の範囲によってのみ限定されることが意図されている。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
【手続補正書】
【提出日】2024-04-25
【手続補正1】
【補正対象書類名】明細書
【補正対象項目名】0007
【補正方法】変更
【補正の内容】
【0007】
本出願の第1の態様によれば、彩度スケーリングを伴う輝度マッピング(luma mapping with chroma scaling,LMCS)のフレームワークの下で、結合インターイントラ予測(combined inter and intra prediction,CIIP)モードによって符号化された符号化ユニット(CU)の輝度成分の、マッピングされたドメインにおける複数の予測サンプルが取得され、CUの輝度成分の、マッピングされたドメインにおける複数の残差サンプルが取得され、マッピングされたドメインにおける複数の予測サンプルが、マッピングされたドメインにおける複数の残差サンプルに加算されて、輝度成分の、マッピングされたドメインにおける複数の再構成サンプルが得られ、輝度成分の複数の再構成サンプルが、事前定義された複数の逆マッピングスケーリング係数に基づいて、マッピングされたドメインから元のドメインに変換される。
本出願の第2の態様によれば、ビデオ復号のための方法が提供される。この方法は、彩度スケーリングを伴う輝度マッピング(LMCS)のフレームワーク下で、結合インターイントラ予測(CIIP)モードによって符号化された、符号化ユニット(CU)の輝度成分の、マッピングされたドメインにおける複数の予測サンプルを取得することと、CUの輝度成分の、マッピングされたドメインにおける複数の残差サンプルを取得することと、マッピングされたドメインにおける複数の予測サンプルを、マッピングされたドメインにおける複数の残差サンプルに加算し、輝度成分の、マッピングされたドメインにおける複数の再構成されたサンプルを得ることと、事前定義された複数の逆マッピングスケーリング係数に基づいて、輝度成分の複数の再構成されたサンプルを、マッピングされたドメインから元のドメインに変換することと、を含む。
一実施態様では、CUの輝度成分の、マッピングされたドメインにおける複数の予測サンプルを取得することは、CUの時間参照ピクチャからCUの輝度成分の、元のドメインにおける複数のインター予測サンプルを導出することと、事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、輝度成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換することと、を含む。
一実施態様では、事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、輝度成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換することは、事前定義された複数の順方向マッピングスケーリング係数を使用して、クリッピング操作なしで、輝度成分の複数のインター予測サンプルを、元のドメインからマッピングされたドメインに変換することと、を含む。
一実施態様では、事前定義された順方向マッピング精度が11ビットである。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】変更
【補正の内容】
【0008】
本出願の第の態様によれば、コンピューティングデバイスは、1つまたは複数のプロセッサと、メモリと、メモリに格納された複数のプログラムとを含む。プログラムは、1つまたは複数のプロセッサによって実行されると、コンピューティングデバイスに、本出願の第1の態様または第2の態様で上述したような操作を実行させる。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0009
【補正方法】変更
【補正の内容】
【0009】
本出願の第の態様によれば、非一時的コンピュータ可読記憶媒体は、1つまたは複数のプロセッサを有するコンピューティングデバイスによって実行される複数のプログラムを格納する。プログラムは、1つまたは複数のプロセッサによって実行されると、コンピューティングデバイスに、本出願の第1の態様または第2の態様で上述したような操作を実行させる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0055
【補正方法】変更
【補正の内容】
【0055】
上述の動き微調整
【数1】
の値を導出するためのボックスに記載されているように、式(1)に従って導出された動き微調整に基づき、この段落の直後のボックスに示されるように、オプティカルフローモデルに基づいて動き軌跡に沿ってL0/L1予測サンプルを補間することによって、CUの最終的な双予測サンプルが計算される。
【数2】
ここで、
【数3】
および
【数4】
は、双予測のためにL0およびL1予測信号を結合するために適用される右シフト値およびオフセット値であり、それぞれ
【数5】
および
【数6】
に等しい。
【手続補正5】
【補正対象書類名】明細書
【補正対象項目名】0056
【補正方法】変更
【補正の内容】
【0056】
上述したビット深度制御方法に基づいて、BDOF処理全体の中間パラメータの最大ビット深度は32ビットを超えず、乗算への最大入力は15ビット以内であることが保証され、すなわち、BDOF実装には15ビット乗算器があれば十分である
【手続補正6】
【補正対象書類名】明細書
【補正対象項目名】0064
【補正方法】変更
【補正の内容】
【0064】
制御点の動きベクトルに基づいて、1つのアフィン符号化ブロックの動きフィールド(v、v)が、この段落の直後のボックスに記載されているように計算される。

【数7】
【手続補正7】
【補正対象書類名】明細書
【補正対象項目名】0066
【補正方法】変更
【補正の内容】
【0066】
1つの6パラメータアフィンブロックの3つの制御点は、ブロックの左上、右上、および左下隅に位置する。左上制御点の動きは並進する動きに関連し、右上制御点の動きは水平方向の回転およびズームの動きに関連し、左下制御点の動きは垂直方向の回転およびズームの動きに関連する。4パラメータアフィン動きモデルと比較して、6パラメータアフィン動きモードの水平方向の回転およびズームの動きは、垂直方向のそれらの動きと同じではない場合がある。
【手続補正8】
【補正対象書類名】明細書
【補正対象項目名】0099
【補正方法】変更
【補正の内容】
【0099】
PDRS手順の1つまたは複数の実施形態によれば、輝度予測サンプルを使用してスケーリング係数を導出するステップは、可能な輝度予測サンプル値の全範囲を複数の輝度予測サンプルセグメントに分割するステップと、事前定義された区分線形モデルに基づいて複数の輝度予測サンプルセグメントの各々について1つのスケーリング係数を計算するステップと、複数の輝度予測サンプルセグメントのスケーリング係数に基づいて輝度予測サンプルのスケーリング係数を判定するステップとを含む。
【手続補正9】
【補正対象書類名】明細書
【補正対象項目名】0101
【補正方法】変更
【補正の内容】
【0101】
この例では、複数の輝度予測サンプルセグメントは、事前定義された16個のLUTテーブルscaleForward内の16個のセグメントを含み、複数の輝度予測サンプルセグメントの各々について1つのスケーリング係数を計算するための事前定義された区分線形モデルは、事前定義されたLUTテーブルscaleForward内の16個のセグメントに対応する16個の値を含む。
【手続補正10】
【補正対象書類名】明細書
【補正対象項目名】0193
【補正方法】変更
【補正の内容】
【0193】
図27に示すように、装置2700は、以下の構成要素、処理構成要素2702、メモリ2704、電源構成要素2706、マルチメディア構成要素2708、オーディオ構成要素2710、入力/出力(I/O)インターフェース2712、センサ構成要素2714、および通信構成要素2716、のうちの1つまたは複数を含み得る。
【手続補正11】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
彩度スケーリングを伴う輝度マッピング(LMCS)のフレームワーク下で、インターモードによって符号化された、符号化ユニット(CU)の輝度成分の、マッピングされたドメインにおける複数の予測サンプルを取得することと、
前記CUの前記輝度成分の、前記マッピングされたドメインにおける複数の残差サンプルを取得することと、
前記マッピングされたドメインにおける前記複数の予測サンプルを、前記マッピングされたドメインにおける前記複数の残差サンプルに加算し、前記輝度成分の、前記マッピングされたドメインにおける複数の再構成されたサンプルを得ることと、
事前定義された複数の逆マッピングスケーリング係数に基づいて、前記輝度成分の前記複数の再構成されたサンプルを、前記マッピングされたドメインから元のドメインに変換することと、
を含む、ビデオ復号のための方法。
【請求項2】
記CUの前記輝度成分の、前記マッピングされたドメインにおける前記複数の予測サンプルを取得することは、
前記CUの時間参照ピクチャから前記CUの前記輝度成分の、前記元のドメインにおける複数のインター予測サンプルを導出することと、
事前定義された符号化ビット深度、および事前定義された順方向マッピング精度内にある事前定義された複数の順方向マッピングスケーリング係数に基づいて、前記輝度成分の前記複数のインター予測サンプルを、前記元のドメインから前記マッピングされたドメインに変換することと
含む、請求項1に記載の方法。
【請求項3】
前記事前定義された符号化ビット深度、および前記事前定義された順方向マッピング精度内にある前記事前定義された複数の順方向マッピングスケーリング係数に基づいて、前記輝度成分の前記複数のインター予測サンプルを、前記元のドメインから前記マッピングされたドメインに変換することは、
クリッピング操作することなく、前記事前定義された複数の順方向マッピングスケーリング係数を使用して、前記輝度成分の前記複数のインター予測サンプルを、前記元のドメインから前記マッピングされたドメインに変換することと
含む、請求項2に記載の方法。
【請求項4】
前記事前定義された順方向マッピング精度が11ビットである、請求項に記載の方法。
【請求項5】
コンピューティングデバイスであって、
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサに結合された非一時的記憶装置と、
前記1つまたは複数のプロセッサによって実行されると、前記コンピューティングデバイスに請求項1からのいずれか一項に記載の方法を実行させる、前記非一時的記憶装置に格納された複数のプログラムと、
を含む、コンピューティングデバイス。
【請求項6】
1つまたは複数のプロセッサを有するコンピューティングデバイスによって実行される複数のプログラムを格納する非一時的コンピュータ可読記憶媒体であって、前記複数のプログラムは、前記1つまたは複数のプロセッサによって実行されると、前記コンピューティングデバイスに、復号すべきビットストリームを前記非一時的コンピュータ可読記憶媒体に格納させ、前記コンピューティングデバイスに請求項1からのいずれか一項に記載の方法を実行させて前記ビットストリームを復号する、非一時的コンピュータ可読記憶媒体。
【請求項7】
請求項1から4のいずれか一項に記載の方法をコンピュータに実行させることができる、ビットストリーム中のコンピュータプログラム。
【請求項8】
ビデオ復号方法によって復号するビットストリームを格納する方法であって、前記ビデオ復号方法は、
彩度スケーリングを伴う輝度マッピング(LMCS)のフレームワーク下で、インターモードによって符号化された、符号化ユニット(CU)の輝度成分の、マッピングされたドメインにおける複数の予測サンプルを取得することと、
前記CUの前記輝度成分の、前記マッピングされたドメインにおける複数の残差サンプルを取得することと、
前記マッピングされたドメインにおける前記複数の予測サンプルを、前記マッピングされたドメインにおける前記複数の残差サンプルに加算し、前記輝度成分の、前記マッピングされたドメインにおける複数の再構成されたサンプルを得ることと、
事前定義された複数の逆マッピングスケーリング係数に基づいて、前記輝度成分の前記複数の再構成されたサンプルを、前記マッピングされたドメインから元のドメインに変換することと、
を含む、方法。
【外国語明細書】