(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-06-23
(45)【発行日】2023-07-03
(54)【発明の名称】クロスコンポーネントモードの利用可能性に対する制約
(51)【国際特許分類】
H04N 19/11 20140101AFI20230626BHJP
H04N 19/157 20140101ALI20230626BHJP
H04N 19/176 20140101ALI20230626BHJP
H04N 19/593 20140101ALI20230626BHJP
【FI】
H04N19/11
H04N19/157
H04N19/176
H04N19/593
(21)【出願番号】P 2021559967
(86)(22)【出願日】2020-04-20
(86)【国際出願番号】 CN2020085654
(87)【国際公開番号】W WO2020211862
(87)【国際公開日】2020-10-22
【審査請求日】2021-10-11
(31)【優先権主張番号】PCT/CN2019/083320
(32)【優先日】2019-04-18
(33)【優先権主張国・地域又は機関】CN
(73)【特許権者】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Beijing Bytedance Network Technology Co., Ltd.
【住所又は居所原語表記】Room B-0035, 2/F, No.3 Building, No.30, Shixing Road, Shijingshan District Beijing 100041 China
(73)【特許権者】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】100107766
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】デン,ジピン
(72)【発明者】
【氏名】ザン,リー
(72)【発明者】
【氏名】リュウ,ホンビン
(72)【発明者】
【氏名】ザン,カイ
(72)【発明者】
【氏名】シュイ,ジィジォン
【審査官】久保 光宏
(56)【参考文献】
【文献】Edouard Francois, et al.,"AHG16/non-CE3: Study of CCLM restrictions in case of separate luma/chroma tree",Document: JVET-N0390r1, [online],JVET-N0390 (version 5),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2019年03月23日,Pages 1-7,[令和5年5月13日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=6112> and <URL: https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N0390-v5.zip>.,(See document file "JVET-N0390r1.docx" included in the zip file "JVET-N0390-v5.zip".)
【文献】Ji-Yeon Jung, et al.,"AHG16/CE3-related: CCLM mode restriction for increasing decoder throughput",Document: JVET-N0376_r1, [online],JVET-N0376 (version 2),Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11,2019年03月20日,Pages 1-6,[令和5年5月13日検索], インターネット, <URL: https://jvet-experts.org/doc_end_user/current_document.php?id=6098> and <URL: https://jvet-experts.org/doc_end_user/documents/14_Geneva/wg11/JVET-N0376-v2.zip>.,(See document file "JVET-N0376_r1.docx" included in the zip file "JVET-N0376-v2.zip".)
(58)【調査した分野】(Int.Cl.,DB名)
H04N19/00-19/98
CSDB(日本国特許庁)
IEEEXplore(IEEE)
(57)【特許請求の範囲】
【請求項1】
ビデオデータを処理する方法であって、
ビデオのクロマブロックと前記ビデオのビットストリームとの間の変換について、前記クロマブロックの対応するルマ領域の少なくとも1つのサンプルをカバーする1つ以上のルマコーディングユニットがサブブロックに基づく予測モードによりコーディングされるかどうかに基づき、前記クロマブロックに対するクロスコンポーネント線形モデルイントラ予測を有効化又は無効化するかを決定するステップであって、前記クロマブロックは、ルマ成分及び少なくとも1つのクロマ成分が別個のパーティションツリー構造を有するデュアルツリー構造である、ステップと、
前記クロスコンポーネント線形モデルイントラ予測が有効化されることに応答して、前記クロマブロックの近隣クロマサンプルに少なくとも基づき、クロスコンポーネント線形モデルのパラメータを決定するステップと、
前記パラメータに基づき、前記クロスコンポーネント線形モデルを適用して、前記クロマブロックの予測値を導出するステップと、
前記予測値に基づき前記変換を実行するステップと、
を含む方法。
【請求項2】
前記サブブロックに基づく予測モードは、イントラサブパーティションモードに対応する、請求項1に記載の方法。
【請求項3】
前記クロスコンポーネント線形モデルは、前記1つ以上のルマコーディングユニットが前記サブブロックに基づく予測モードによりコーディングされることに応答して、無効化される、請求項1又は2に記載の方法。
【請求項4】
前記クロマブロックに対する前記クロスコンポーネント線形モデルイントラ予測を有効化又は無効化するかは、前記1つ以上のルマコーディングユニットのパーティション情報に更に基づく、請求項1~3のいずれかに記載の方法。
【請求項5】
前記パーティション情報は、前記1つ以上のルマコーディングユニットのパーティションツリー深さを含む、請求項4に記載の方法。
【請求項6】
前記パーティションツリー深さは、4分木深さである、請求項5に記載の方法。
【請求項7】
前記クロマブロックに対する前記クロスコンポーネント線形モデルイントラ予測を有効化又は無効化するかは、前記クロマブロックの対応するクロマ領域の少なくとも1つのサンプルをカバーする1つ以上のクロマコーディングユニットのブロック寸法に更に基づく、請求項1~6のいずれかに記載の方法。
【請求項8】
前記クロマブロックに対する前記クロスコンポーネント線形モデルイントラ予測を有効化又は無効化するかは、前記1つ以上のルマコーディングユニットが、4分木演算と異なるマルチタイプパーティションツリー演算から分割されるかどうかに更に基づく、請求項1~7のいずれかに記載の方法。
【請求項9】
前記クロスコンポーネント線形モデルの前記パラメータは、以下:
前記クロマブロックの1つ以上の近隣クロマブロックの利用可能性をチェックし、
前記1つ以上の近隣クロマブロックの近隣クロマサンプルからR個のクロマサンプルを見付けて、前記クロスコンポーネント線形モデルの前記パラメータの値セットを決定し、Rは2より大きい整数である、
ことにより導出され、
少なくとも1つの近隣クロマサンプルは、前記クロマブロックのサイズに基づき、前記R個のクロマサンプルに属さない、請求項1~8のいずれかに記載の方法。
【請求項10】
前記1つ以上の近隣クロマブロックが利用不可能であることに応答して、前記クロマブロックの予測値は、1<<(bitDepth-1)に設定され、bitDepthは前記ビデオのビット深さである、請求項9に記載の方法。
【請求項11】
前記変換は、前記クロマブロックを前記ビットストリームに符号化することを含む、請求項1~10のいずれかに記載の方法。
【請求項12】
前記変換は、前記ビットストリームから前記クロマブロックを復号することを含む、請求項1~10のいずれかに記載の方法。
【請求項13】
ビデオデータを処理する機器であって、プロセッサと命令を有する非一時的メモリとを含み、前記命令は、前記プロセッサにより実行されると前記プロセッサに、
ビデオのクロマブロックと前記ビデオのビットストリームとの間の変換について、前記クロマブロックの対応するルマ領域の少なくとも1つのサンプルをカバーする1つ以上のルマコーディングユニットがサブブロックに基づく予測モードによりコーディングされるかどうかに基づき、前記クロマブロックに対するクロスコンポーネント線形モデルイントラ予測を有効化又は無効化するかを決定させ、前記クロマブロックは、ルマ成分及び少なくとも1つのクロマ成分が別個のパーティションツリー構造を有するデュアルツリー構造であり、
前記クロスコンポーネント線形モデルイントラ予測が有効化されることに応答して、前記クロマブロックの近隣クロマサンプルに少なくとも基づき、クロスコンポーネント線形モデルのパラメータを決定させ、
前記パラメータに基づき、前記クロスコンポーネント線形モデルを適用して、前記クロマブロックの予測値を導出させ、
前記予測値に基づき前記変換を実行させる、
機器。
【請求項14】
命令を格納している非一時的コンピュータ可読記憶媒体であって、前記命令はプロセッサに、
ビデオのクロマブロックと前記ビデオのビットストリームとの間の変換について、前記クロマブロックの対応するルマ領域の少なくとも1つのサンプルをカバーする1つ以上のルマコーディングユニットがサブブロックに基づく予測モードによりコーディングされるかどうかに基づき、前記クロマブロックに対するクロスコンポーネント線形モデルイントラ予測を有効化又は無効化するかを決定させ、前記クロマブロックは、ルマ成分及び少なくとも1つのクロマ成分が別個のパーティションツリー構造を有するデュアルツリー構造であり、
前記クロスコンポーネント線形モデルイントラ予測が有効化されることに応答して、前記クロマブロックの近隣クロマサンプルに少なくとも基づき、クロスコンポーネント線形モデルのパラメータを決定させ、
前記パラメータに基づき、前記クロスコンポーネント線形モデルを適用して、前記クロマブロックの予測値を導出させ、
前記予測値に基づき前記変換を実行させる、
非一時的コンピュータ可読記憶媒体。
【請求項15】
ビデオのビットストリームを格納する
方法であって、前記方法は、
クロマブロックの対応するルマ領域の少なくとも1つのサンプルをカバーする1つ以上のルマコーディングユニットがサブブロックに基づく予測モードによりコーディングされるかどうかに基づき、ビデオの前記クロマブロックに対するクロスコンポーネント線形モデルイントラ予測を有効化又は無効化するかを決定するステップであって、前記クロマブロックは、ルマ成分及び少なくとも1つのクロマ成分が別個のパーティションツリー構造を有するデュアルツリー構造である、ステップと、
前記クロスコンポーネント線形モデルイントラ予測が有効化されることに応答して、前記クロマブロックの近隣クロマサンプルに少なくとも基づき、クロスコンポーネント線形モデルのパラメータを決定するステップと、
前記パラメータに基づき、前記クロスコンポーネント線形モデルを適用して、前記クロマブロックの予測値を導出するステップと、
前記決定に基づき前記ビデオの前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的コンピュータ可読記録媒体に格納するステップと、
を含む
方法。
【発明の詳細な説明】
【技術分野】
【0001】
[関連出願]
本願は、国際特許出願番号第PCT/CN2019/083320号、2019年4月18日出願、の優先権を請求する国際特許出願番号第PCT/CN2020/085654号、2020年4月20日出願に基づく。前述の特許出願の全ては、参照によりそれらの全体がここに組み込まれる。
【0002】
[技術分野]
本願明細書は、ビデオコーディング及び復号技術、装置、及びシステムに関する。
【背景技術】
【0003】
ビデオ圧縮における利益にも拘わらず、デジタルビデオは、インターネット及び他のデジタル通信ネットワーク上で依然として最大の帯域幅使用を占める。ビデオを受信及び表示可能な接続されたユーザ装置の数が増加するにつれ、デジタルビデオ使用のための帯域幅要求は増大し続けることが予想される。
【発明の概要】
【0004】
装置、システム、及び方法は、デジタルビデオコーディング/復号に関し、具体的には、ビデオコーディング/復号におけるクロスコンポーネント線形モデル(cross-component linear model (CCLM))予測モードのための簡易線形モデル導出が記載される。記載される方法は、既存のビデオコーディング規格(例えば、High Efficiency Video Coding (HEVC))及び将来のビデオコーディング規格(例えば、Versatile Video Coding (VVC))又はコーデックの両方に適用できる。
【0005】
1つの代表的な態様では、映像メディア処理の方法が開示される。当該方法は、映像メディアデータの現在クロマビデオブロックと前記現在クロマビデオブロックのビットストリーム表現との間の変換を実行するステップを含み、前記変換の間に、前記現在クロマビデオブロックのクロマ残差は、スケーリング係数に基づきスケーリングされ、前記スケーリング係数は、所定の位置に位置するルマサンプルに少なくとも基づき導出される。
【0006】
1つの代表的な態様では、映像メディア処理の方法が開示される。当該方法は、映像メディアデータの現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換を実行するステップを含み、前記変換の間に、前記現在ビデオブロックの第2色成分値セットが、クロスコンポーネント線形モデル(cross-component linear model (CCLM))及び/又はクロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))モード処理ステップを用いて、前記映像メディアデータの第1色成分値セットから導出される。
【0007】
別の代表的な態様では、映像メディア処理の方法が開示される。当該方法は、映像メディアデータの現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換を実行するステップを含み、前記変換の間に、前記映像メディアデータの現在フレームに関連付けられた1つ以上の再構成サンプルは、クロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))モード処理ステップにおけるクロマ残差スケーリング因子を導出するために使用される。
【0008】
別の代表的な態様では、映像メディア処理の方法が開示される。当該方法は、映像メディアデータの現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換を実行するステップを含み、前記変換の間に、参照フレーム以外の現在フレーム内にある1つ以上のルマ予測サンプル又はルマ再構成サンプルは、クロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))モード処理ステップにおけるクロマ残差スケーリング因子を導出するために使用される。
【0009】
別の代表的な態様では、映像メディア処理の方法が開示される。当該方法は、
現在クロマビデオブロックと前記現在クロマビデオブロックのビットストリーム表現との間の変換の間に、同一位置のルマブロックの左上サンプルをカバーする対応するルマブロックの1つ以上の近隣ルマブロックの利用可能性をチェックするステップと、
1つ以上の近隣ルマブロックの前記利用可能性に基づき、前記対応するルマブロックの近隣ルマサンプルを検索するかどうかを決定するステップと、
決定する前記ステップに基づき、スケーリング係数を導出するステップと、
前記スケーリング係数に基づき、前記現在クロマビデオブロックのクロマ残差をスケーリングして、スケーリング済みクロマ残差を生成するステップと、
前記スケーリング済みクロマ残差に基づき、前記変換を実行するステップと、を含む。
【0010】
別の代表的な態様では、映像メディア処理の方法が開示される。当該方法は、
映像メディアデータの現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換の間に、処理ステップに関連付けられたモデルを用いて前記映像メディアデータの第1色成分値セットから、前記現在ビデオブロックの第2色成分値セットを導出するステップであって、前記第1色成分値セットは、同一位置のルマブロックの左上サンプルをカバーする対応するルマブロックの近隣サンプルである、ステップを含む。
【0011】
別の代表的な態様では、映像メディア処理の方法が開示される。当該方法は、映像メディアデータの現在クロマビデオブロックと前記現在クロマビデオブロックのビットストリーム表現との間の変換の間に、クロスコンポーネント線形モデル(cross-component linear model (CCLM))及び/又はクロマ残差スケーリング(chroma residual scaling (CRS))の前記現在クロマビデオブロックへの適用を選択的に有効又は無効にすることを、前記現在クロマビデオブロックの同一位置のルマブロックに関連付けられた1つ以上の条件に少なくとも部分的に基づき決定するステップを含む。
【0012】
別の代表的な態様では、映像メディア処理の方法が開示される。当該方法は、
映像メディアデータのビデオ領域内の現在ビデオブロックを前記映像メディアデータのビットストリーム表現へと符号化するために、前記映像メディアデータの前記現在ビデオブロックのクロマ成分に対するルマ依存クロマ残差スケーリング(chroma residual scaling (CRS))の適用を選択的に有効又は無効にするステップと、
前記映像メディアデータの前記ビットストリーム表現にフィールドを含む又は除外することを決定するステップであって、前記フィールドは、前記の選択的に有効又は無効にすることを示し、含まれる場合には前記現在ビデオブロックに関連付けられた第1シンタックスレベル以外でシグナリングされる、ステップと、を含む。
【0013】
別の代表的な態様では、映像メディア処理の方法が開示される。当該方法は、
映像メディアデータのビットストリーム表現内のフィールドをパースするステップであって、前記フィールドは、現在ビデオブロックに関連付けられた第1シンタックスレベル以外のレベルに含まれる、ステップと、
前記フィールドに基づき、前記ビットストリーム表現から復号ビデオ領域を生成するために、映像メディアデータの前記現在ビデオブロックのクロマ成分に対するルマ依存クロマ残差スケーリング(chroma residual scaling (CRS))の適用を選択的に有効又は無効にするステップと、を含む。
【0014】
別の代表的な態様では、映像メディア処理の方法が開示される。当該方法は、
現在ビデオブロックを映像メディアデータのビットストリーム表現へと符号化するために、前記映像メディアデータの前記現在ビデオブロックに対するクロスコンポーネント線形モデル(cross-component linear model (CCLM))の適用を選択的に有効又は無効にするステップと、
前記映像メディアデータの前記ビットストリーム表現にフィールドを含む又は除外することを決定するステップであって、前記フィールドは、前記の選択的に有効又は無効にすることを示し、含まれる場合には前記現在ビデオブロックに関連付けられた第1シンタックスレベル以外でシグナリングされる、ステップと、を含む。
【0015】
別の代表的な態様では、映像メディア処理の方法が開示される。当該方法は、
映像メディアデータのビットストリーム表現内のフィールドをパースするステップであって、前記フィールドは、現在ビデオブロックに関連付けられた第1シンタックスレベル以外のレベルに含まれる、ステップと、
前記フィールドに基づき、前記ビットストリーム表現から復号ビデオ領域を生成するために、映像メディアデータの前記現在ビデオブロックに対するクロスコンポーネント線形モデル(cross-component linear model (CCLM))の適用を選択的に有効又は無効にするステップと、を含む。
【0016】
更に別の例示的な態様では、上述の方法を実施するよう構成されるプロセッサを含むビデオエンコーダ又はデコーダ機器が開示される。
【0017】
別の例示的な態様によると、コンピュータ可読プログラム媒体が開示される。当該媒体は、開示の方法のうちの1つを実施するためのプロセッサ実行可能命令を具現化するコードを格納する。
【0018】
更に別の代表的な態様では、上述の方法は、プロセッサ実行可能コードの形式で具現化され、コンピュータ可読プログラム媒体に格納される。
【0019】
更に別の代表的な態様では、上述の方法を実行するよう構成され又は動作する装置が開示される。当該装置は、本方法を実施するようプログラムされるプロセッサを含んでよい。
【0020】
開示される技術の上述の及び他の態様及び特徴は、図面、説明、及び請求の範囲において更に詳細に説明される。
【図面の簡単な説明】
【0021】
【
図1】HEVCにおける角度イントラ予測モードの一例示す。
【
図4】クロマスケーリングアーキテクチャによるルママッピングの例を示す。
【
図5】異なる色フォーマットのルマブロック及びクロマブロックの例を示す。
【
図6】同じ色フォーマットのルマブロック及びクロマブロックの例を示す。
【
図7】複数のフォーマットをカバーする同一位置のルマブロックの例を示す。
【
図8】より大きなルマブロック内のルマブロックの例を示す。
【
図9】より大きなルマブロック内の及び境界ボックス内のルマブロックの例を示す。
【
図10】本願明細書に記載される映像メディア復号又は映像メディア符号化技術を実施するハードウェアプラットフォームの例のブロック図である。
【
図11】開示の技術による、クロスコンポーネント予測のための線形モデル導出の例示的な方法のフローチャートを示す。
【
図12】開示の技術が実施され得る例示的なビデオ処理システムのブロック図である。
【
図13】映像メディア処理のための例示的な方法のフローチャートを示す。
【
図14】映像メディア処理のための例示的な方法のフローチャートを示す。
【
図15】映像メディア処理のための例示的な方法のフローチャートを示す。
【
図16】映像メディア処理のための例示的な方法のフローチャートを示す。
【
図17】映像メディア処理のための例示的な方法のフローチャートを示す。
【
図18】映像メディア処理のための例示的な方法のフローチャートを示す。
【
図19】映像メディア処理のための例示的な方法のフローチャートを示す。
【
図20】映像メディア処理のための例示的な方法のフローチャートを示す
【
図21】映像メディア処理のための例示的な方法のフローチャートを示す。
【
図22】映像メディア処理のための例示的な方法のフローチャートを示す。
【
図23】映像メディア処理のための例示的な方法のフローチャートを示す。
【発明を実施するための形態】
【0022】
2.1 HEVCに関する概要
2.1.1 HEVC/H.265におけるイントラ予測
イントラ予測は、検討中の色チャネルにおいて前に再構成されたサンプルを用いて、所与のTB(変換ブロック、transform block)のサンプルを生成することを含む。イントラ予測モードは、ルマ及びクロマチャネルについて別個にシグナリングされ、クロマチャネルイントラ予測モードは、任意で、「DM_CHROMA」によりルマチャネルイントラ予測に依存する。イントラ予測モードはPB(予測ブロック、prediction block)レベルでシグナリングされるが、イントラ予測処理は、CUの残差4分木階層構造に従い、TBレベルで適用される。それにより、1つのTVのコーディングが、CU内の次のTBのコーディングに影響を与えることを可能にし、従って、参照値として使用されるサンプルまでの距離を縮小する。
【0023】
HEVCは、35個のイントラ予測モード、つまり、DCモード、平面モード、及び33個の方向若しくは「角度」イントラ予測モードを含む。33個の角度イントラ予測モードは、
図1に示される。
【0024】
クロマ色チャネルに関連付けられたPBでは、イントラ予測モードは、平面、DC、水平、垂直、「DM_CHROMA」モード、又は時には対角モード「34」として指定される。
【0025】
クロマフォーマット4:2:2及び4:2:0では、クロマPBは、2又は4個の(それぞれ)ルマPBと重なり有ってよく、この場合には、DM_CHROMAのルマ方向がこれらのルマPBの左上から取り入れられることに留意する。
【0026】
DM_CHROMAモードは、ルマ色チャネルPBのイントラ予測モードがクロマ色チャネルPBに適用されることを示す。これは比較的一般的なので、intra_chroma_pred_modeの最確モード(most-probable-mode)コーディング方式は、このモードが選択されるようにバイアスされる。
【0027】
2.2 VVC(Versatile Video Coding)アルゴリズムの説明
2.2.1 VVCコーディングアーキテクチャ
HEVCより先の将来のコーディング技術を開発するために、共同ビデオ探索チーム(Joint Video Exploration Team (JVET))が2015年にVCEG及びMPEGにより共同で設立された。JVET会議が、現在、四半期毎に行われており、新しいコーディング規格は、HEVCと比べて50%のビットレートの削減を目標としている。新しいビデオコーディング規格は、2018年4月のJVET会議においてVersatile Video Coding (VVC)として公式に命名され、そのとき、VVCテストモデル(VVC test model (VTM))の第1バージョンが公表された。VVC標準化に貢献する絶え間ない努力により、JVET会議の度にVVC規格に新しいコーディング技術が採用されている。VVCワーキングドラフト及びテストモデルVTMは、従って、毎回の会議の後に更新される。VVCプロジェクトは、目下、2020年7月の会議における技術的完成(FDIS)を目指している。
【0028】
殆どの先行する規格におけるように、VVCは、ブロックに基づくハイブリッドコーディングアーキテクチャ、結合インターピクチャ及びイントラピクチャ予測、及びエントロピーコーディングによる変換コーディングを有する。ピクチャパーティション構造は、入力ビデオを、コーディングツリーユニット(coding tree unit (CTU))と呼ばれるブロックに分割する。CTUは、ネストマルチタイプツリー構造を有する4分木を用いて、コーディングユニット(coding unit (CU))へと分割され、リーフコーディングユニット(CU)は同じ予測モード(例えば、イントラ又はインター)を共有する領域を定義する。本明細書では、用語「ユニット」は、全部の色成分をカバーする画像の領域を定義し、用語「ブロック」は、特定の色成分(例えば、ルマ)をカバーする領域を定義するために使用され、4:2:0のようなクロマサンプリングフォーマットを考えるときに空間位置において異なってよい。
【0029】
2.2.2 VVCにおけるデュアル/個別ツリーパーティション
ルマ成分及びクロマ成分は、Iスライスについて別個のパーティションツリーを有し得る。別個のツリーパーティションは、CTUレベルではなく、64×64ブロックレベル未満である。VTMソフトウェアには、デュアルツリーのオン及びオフを制御するためのSPSフラグがある。
【0030】
2.2.3 VVCにおけるイントラ予測
2.2.3.1 イントラ予測モード
自然なビデオに存在する任意のエッジ方向をキャプチャするために、VTM4における方向イントラモードの数は、HEVCにおける33から、65にまで拡張された。HEVCにない新しい方向モードは、
図2の赤点線矢印で示され、平面及びDCモードは同じままである。これらのより高密度の方向イントラ予測モードは、全てのブロックサイズに、及びルマ及びクロマイントラ予測の両方に適用される。
【0031】
2.2.3.2 クロスコンポーネント線形モデル予測(Cross-component linear model prediction (CCLM))
成分間の冗長性を低減するために、クロスコンポーネント線形モデル(cross-component linear model (CCLM))予測モードがVTM4で使用される。このために、クロマサンプルが、以下のように線形モデルを用いて、同じCUの再構成ルマサンプルに基づき予測される。
【数1】
ここで、pred
C(i,j)は、CU内の予測クロマサンプルを表し、rec
L(i,j)は、同じCUのダウンサンプリングされた再構成ルマサンプルを表す。線形モデルパラメータα及びβは、ダウンサンプリングされた近隣ルマサンプルのセットの中の、最小サンプル値を有するルマサンプル及び最大サンプルを有するルマサンプルである2個のサンプルからのルマ値及びクロマ値と、それらの対応するクロマサンプルと、の間の関係から導出される。線形モデルパラメータα及びβは、次式に従い取得される。
【数2】
ここで、Y
a及びX
aは、最大ルマサンプル値を有するルマサンプルのルマ値及びクロマ値を表す。X
b及びY
bは、それぞれ、最小ルマサンプル値を有するルマサンプルのルマ値及びクロマ値を表す。
図3は、左及び上のサンプル、並びにCCLMモードに関連する現在ブロックのサンプルの位置の例を示す。
【0032】
パラメータαを計算するための除算演算は、ルックアップテーブルにより実施される。テーブルを格納するために必要なメモリを削減するために、diff値(最大値と最小値との間の差)、及びパラメータαは、指数表記で表現される。例えば、diffは、4ビットの有効桁部分と指数とにより近似される。従って、1/diffのためのテーブルは、以下のように、16個の値の仮数について、16個の要素にまで削減される。
【数3】
【0033】
これは、計算の複雑さ及び必要なテーブルを格納するために必要なメモリサイズの両方を削減するという利点を有し得る。
【0034】
上テンプレート及び左テンプレートが線形モデル係数を計算するために一緒に使用できることに加えて、それらは、代替として、LM_A及びLM_Lモードと呼ばれる他の2LMモードでも使用できる。
【0035】
LM_Aモードでは、上テンプレートのみが、線形モデル係数を計算するために使用される。より多くのサンプルを得るために、上テンプレートは(W+H)に拡張される。LM_Lモードでは、左テンプレートのみが、線形モデル係数を計算するために使用される。より多くのサンプルを得るために、左テンプレートは(H+W)に拡張される。
【0036】
非正方形ブロックでは、上テンプレートはW+Wに拡張され、左テンプレートはH+Hに格納される。
【0037】
4:2:0ビデオシーケンスについてクロマサンプル位置を一致させるために、2種類のダウンサンプリングフィルタが、ルマサンプルに適用されて、水平及び垂直方向の両方で2体のダウンサンプリング比を達成する。ダウンサンプリングフィルタの選択は、SPSレベルフラグにより指定される。2つのダウンサンプリングフィルタは、以下の通りであり、それぞれ「タイプ0(type-0)」及び「タイプ2(type-2)」コンテンツに対応する。
【数4】
【0038】
上側参照ラインがCTU境界にあるとき、1つのルマライン(イントラ予測における汎用ラインバッファ)のみが、ダウンサンプリングされたルマサンプルを生成するために使用されることに留意する。
【0039】
このパラメータ計算は、復号処理の部分として実行され、単なるエンコーダ検索動作ではない。結果として、α及びβ値をデコーダへ伝達するために使用されるシンタックスは存在しない。
【0040】
クロマイントラモードコーディングでは、クロマイントラモードコーディングのために、全部で8個のイントラモードが許可される。それらのモードは、5個の伝統的なイントラモード及び3個のクロスコンポーネント線形モデルモード(CCLM、LM_A、及びLM_L)を含む。クロマモードコーディングは、対応するルマブロックのイントラ予測モードに直接依存する。Iスライスではルマ及びクロマ成分の別個のブロックパーティション構造が可能なので、1つのクロマブロックが複数のルマブロックに対応してよい。従って、クロマDMモードでは、現在クロマブロックの中央位置をカバーする対応するルマブロックのイントラ予測モードが直接継承される。
【0041】
2.2.3.2.1 対応する変更されたワーキングドラフト(JVET-N0271)
以下の仕様は、JVET-M1001の変更されたワーキングドラフト、及びJVET-N0271における採択に基づく。採択されたJVET-N0220の変更は、太字及び下線により示される。
【0042】
シンタックステーブル
【表1】
セマンティクス
sps_cclm_enabled_flagが0に等しいことは、ルマ成分からクロマ成分へのクロスコンポーネント線形モデルイントラ予測が無効であることを指定する。sps_cclm_enabled_flagが1に等しいことは、ルマ成分からクロマ成分へのクロスコンポーネント線形モデルイントラ予測が有効であることを指定する。
【0043】
復号処理
8.4.4.2.8 Specification of INTRA_LT_CCLM, INTRA_L_CCLM and INTRA_T_CCLM intra prediction modeにおいて、
この処理への入力は:
・イントラ予測モードpredModeIntra、
・現在ピクチャの左上サンプルに対する、現在変換ブロックの左上サンプルのサンプル位置( xTbC, yTbC )、
・変換ブロック幅を指定する変数nTbW、
・変換ブロック高さを指定する変数nTbH、
・近隣サンプルp[ x ][ y ]、ここで、x = -1, y = 0..2 * nTbH - 1及びx = 0..2 * nTbW - 1,y = - 1、
この処理の出力は、予測サンプルpredSamples[ x ][ y ]、ここで、x = 0..nTbW - 1, y = 0..nTbH - 1。
【0044】
現在ルマ位置( xTbY, yTbY )は以下のように導出される。
【数5】
変数availL、availT、及びavailTLは、以下のように導出される。
【0045】
・clause 6.4.X [Ed.( BB): Neighbouring blocks availabilitycheckingprocesstbd]に指定されるようなブロックについての左近隣サンプルの利用可能性の導出処理は、( xTbC, yTbC )に等しく設定された現在クロマ位置( xCurr, yCurr )、及び近隣クロマ位置 (xTbC - 1, yTbC )を入力として引き起こされ、出力はavailLに割り当てられる。
【0046】
・clause 6.4.X [Ed.( BB): Neighbouring blocks availabilitycheckingprocesstbd]に指定されるようなブロックについての上近隣サンプルの利用可能性の導出処理は、( xTbC, yTbC )に等しく設定された現在クロマ位置( xCurr, yCurr )、及び近隣クロマ位置( xTbC, yTbC - 1 )を入力として引き起こされ、出力はavailTに割り当てられる。
【0047】
・clause 6.4.X [Ed.( BB): Neighbouring blocks availabilitycheckingprocesstbd]に指定されるようなブロックについての左近隣サンプルの利用可能性の導出処理は、( xTbC, yTbC )に等しく設定された現在クロマ位置( xCurr, yCurr )、及び近隣クロマ位置( xTbC - 1, yTbC - 1 )を入力として引き起こされ、出力はavailTLに割り当てられる。
【0048】
・利用可能な右上近隣クロマサンプルの数numTopRightは、以下のように導出される。
【0049】
-変数numTopRightは、0に等しく設定され、availTRは真(TRUE)に等しく設定される。
【0050】
-predModeIntraがINTRA_T_CCLMに等しいとき、x = nTbW..2 * nTbW - 1について、availTRが偽(FALSE)に等しくなるまで又はxが2 * nTbW - 1に等しくなるまで、以下が適用される。
【0051】
・clause 6.4.X [Ed.( BB): Neighbouring blocks availabilitycheckingprocesstbd]に指定されるようなブロックについての利用可能性の導出処理は、( xTbC, yTbC )に等しく設定された現在クロマ位置( xCurr, yCurr )、及び近隣クロマ位置( xTbC + x, yTbC - 1 )を入力として引き起こされ、出力はavailableTRに割り当てられる。
【0052】
・availableTRがTUREに等しいとき、numTopRightは1だけインクリメントされる。
【0053】
・利用可能な左下近隣クロマサンプルの数numLeftBelowは、以下のように導出される。
【0054】
-変数numLeftBelowは、0に等しく設定され、availLBは真(TRUE)に等しく設定される。
【0055】
-predModeIntraがINTRA_L_CCLMに等しいとき、y = nTbH..2 * nTbH - 1について、availLBが偽(FALSE)に等しくなるまで又はyが2 * nTbH - 1に等しくなるまで、以下が適用される。
【0056】
・clause 6.4.X [Ed.( BB): Neighbouring blocks availabilitycheckingprocesstbd]に指定されるようなブロックについての利用可能性の導出処理は、( xTbC, yTbC )に等しく設定された現在クロマ位置( xCurr, yCurr )、及び近隣クロマ位置( xTbC - 1, yTbC + y )を入力として引き起こされ、出力はavailableLBに割り当てられる。
【0057】
・availableLBがTUREに等しいとき、numLeftBelowは1だけインクリメントされる。
【0058】
上及び右上にある利用可能な近隣クロマサンプルの数numTopSamp、及び左及び左下にある利用可能な近隣クロマサンプルの数nLeftSampは、以下のように導出される。
【0059】
predModeIntraがINTRA_LT_CCLMに等しい場合、以下が適用される。
【数6】
その他の場合、以下が適用される。
【数7】
変数bCTUboundaryは、以下のように導出される。
【数8】
変数cntN及びアレイpickPosN[]は、ここでNはL及びTにより置き換えられ、以下のように導出される。
【数9】
予測サンプルpredSamples[ x ][ y ]、ここでx = 0..nTbW - 1, y = 0..nTbH - 1、は以下のように導出される:
numSampL及びnumSampTの両方が0に等しい場合、以下が適用される。
【数10】
その他の場合、以下の順序付きステップが適用される。
【数11】
2.2.3.3 種々のイントラ予測態様
VTM4は、HEVCと異なる多くのイントラコーディングツールを含み、例えば、以下の特徴が、ブロックツリー構造の上に、VCCテストモデル3に含まれている。
【0060】
・広角モード拡張を有する67個のイントラモード
・ブロックサイズ及びモードに依存する4タップ補間フィルタ
・位置依存イン予測の組合せ(Position-dependent intra prediction combination (PDPC))
・クロスコンポーネント線形モデルイントラ予測
・マルチ参照ラインイントラ予測
・イントラサブパーティション
2.2.4 VVCにおけるインター予測
2.2.4.1結合インター及びイントラ予測(Combined Inter and Intra Prediction (CIIP))
VTM4では、CUがマージモードでコーディングされるとき、CUが少なくとも64個のルマサンプルを含む場合(つまり、CU幅×CU高さが64以上である)、結合インター/イントラ予測(combined inter/intra prediction (CIIP))モードが現在CUに適用されるかどうかを示すために、追加フラグがシグナリングされる。
【0061】
CIIP予測を形成するために、イントラ予測モードが先ず2個の追加シンタックス要素から導出される。最大4個の可能なイントラ予測モードが使用できる:つまり、DC、平面、水平、又は垂直。次に、インター予測及びイントラ予測信号が、通常のイントラ及びインター復号処理を用いて導出される。最後に、インター及びイントラ予測信号の加重平均が、CIIP予測を取得するために実行される。
【0062】
2.2.4.2 種々のインター予測態様
VTM4は、HEVCと異なる多くのインターコーディングツールを含み、例えば、以下の特徴が、ブロックツリー構造の上に、VCCテストモデル3に含まれている。
・アフィン動きインター予測
・サブブロックに基づく時間動きベクトル予測
・適応動きベクトル解像度
・時間動き予測のための8×8ブロックに基づく動き圧縮
・ルマ成分のための8タップ補間フィルタ及びクロマ成分のための4タップ補間フィルタによる高精度(1/16ペル)動きベクトル記憶及び動き補償
・三角形パーティション
・結合されたイントラ及びインター予測
・MVDとのマージ(Merge with MVD (MMVD))
・対称MVDコーディング
・双方向オプティカルフロー
・デコーダ側動きベクトル精緻化
・双予測加重平均
【0063】
2.2.5 インループフィルタ
VTM4には、全部で3個のインループフィルタがある。HEVCにおける2個のループフィルタである、デブロッキングフィルタ及びサンプル適応オフセットフィルタ(sample adaptive offset filter (SAO))に加えて、適応ループフィルタ(adaptive loop filter (ALF))がVTM4において適用される。VTM4におけるフィルタリング処理の順序は、デブロッキングフィルタ、SAO、及びALFである。
【0064】
VTM4では、SAO及びデブロッキングフィルタ処理は、HEVCにおけるものとほぼ同じである。
【0065】
VTM4では、クロマスケーリングによるルママッピングと呼ばれる新しい処理が追加された(この処理は、適応インループリシェーパとして前から知られている)。この新しい処理は、デブロッキングの前に実行される。
【0066】
2.2.6 クロマスケーリングによるルママッピング(Luma mapping with chroma scaling (LMCS)、インループリシェーピングとしても知られている)
VTM4では、クロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))と呼ばれるコーディングツールが、ループフィルタの前の新しい処理ブロックとして追加される。LMCSは、2つの主要なコンポーネントを有する:1)適応区分線形モデル(adaptive piecewise linear model)に基づくルマ成分のインループマッピング、2)クロマ成分について、ルマ依存クロマ残差スケーリングが適用される。
図4は、デコーダの観点からLMCSアーキテクチャを示す。
図4で、薄い影付きブロックは、処理がマッピング済みドメインで適用される場所を示し、これらは、逆量子化、逆変換、ルマイントラ予測及びルマ予測のルマ残差との加算、を含む。
図4で、白いブロックは、処理が元の(つまりマッピングされていない)ドメインで適用される場所を示し、これらは、デブロッキング、ALF及びSAOのようなループフィルタ、動き補償予測、クロマイントラ予測、クロマ予測のクロマ残差との加算、及び参照ピクチャとしての復号ピクチャの記憶、を含む。
図4で、濃い影付きブロックは、新しいLMCS機能ブロックであり、ルマ信号の順方向及び逆方向マッピング、及びルマ依存クロマスケーリング処理を含む。VVCにおける大部分の他のツールと同様に、LMCSは、SPSフラグを用いてシーケンスレベルで有効/無効にできる。
【0067】
2.2.6.1 区分線形モデル(piecewise linear model)によるルママッピング
ルマ成分のインループマッピングは、ダイナミックレンジに渡るコードワードを再分配することにより、入力信号のダイナミックレンジを調整して、圧縮効率を向上する。ルママッピングは、順方向マッピング関数FwdMap、及び対応する逆方向マッピング関数InvMapを使用する。FwdMap関数は、16個の等しい区分を有する区分線形モデルを用いてシグナリングされる。InvMap関数は、シグナリングされる必要がなく、代わりにFwdMap関数から導出される。
【0068】
ルママッピングモデルは、タイルグループレベルでシグナリングされる。存在(presence)フラグが先ずシグナリングされる。ルママッピングモデルが現在タイルグループ内に存在する場合、対応する区分線形モデルパラメータがシグナリングされる。区分線形モデルは、入力信号のダイナミックレンジを16個の等しい区分にパーティションし、各区分について、その線形マッピングパラメータは、該区分に割り当てられたコードワードの数を用いて表現される。10ビット入力を例として取り上げる。16個の区分の各々は、デフォルトで該区分に割り当てられる64個のコードワードを有する。コードワードのシグナリングされる数は、スケーリング因子を計算するため、及び該区分について相応してマッピング関数を調整するために使用される。タイルグループレベルで、
図4に示すようなLMCS処理が現在タイルグループに適用されるかどうかを示すために、別のLMCS有効フラグがシグナリングされる。
【0069】
FwdMap区分線形モデルの各々のi番目、i=0…15の区分は、2つの入力ピボットポイントInputPivot[]、及び2つの出力(マッピング済み)ピボットポイントMappedPivot[]により定義される。
【0070】
InputPivot[]及びMappedPivot[]は、以下のように計算される(10ビットビデオを想定している):
【数12】
図4に示すように、インターコーディングブロックについて、マッピング済みドメインで動き補償予測が実行される。言い換えると、動き補償予測ブロックY
predがDPB内の参照信号に基づき計算された後に、FwdMap関数が適用されて、元のドメインにおけるルマ予測ブロックをマッピング済みドメインへとマッピングする:
【数13】
イントラコーディングブロックについては、マッピング済みドメインでイントラ予測が実行されないので、FwdMap関数は適用されない。再構成ブロックY
γが計算された後に、InvMap関数が適用されて、マッピング済みドメインにおける再構成ルマ値を、元のドメインにおける再構成ルマ値へと変換して戻す:
【数14】
InvMap関数は、イントラ及びインターコーディングルマブロックの両方に適用される。
【0071】
ルママッピング処理(順方向及び/又は逆方向マッピング)は、ルックアップテーブル(look-up-table (LUT))を用いて又はオンザフライ計算を用いて実施できる。LUTが使用される場合、FwdMapLUT及びInvMapLUTは、タイルグループレベルで使用するために、予め計算され予め格納でき、逆方向マッピングは、それぞれ次式のように簡単に実施できる:
【数15】
【0072】
代替として、オンザフライ計算が使用されてよい。順方向マッピング関数FwdMapを例として取り上げる。ルマサンプルが属する区分を求めるために、サンプル値が6ビット(これは、16個の等しい区分に対応する)だけ右シフトされる。次に、該区分の線形モデルパラメータが、検索され、オンザフライで適用されて、マッピング済みルマ値を計算する。iが区分インデックスであるとすると、a1及びa2はそれぞれ次式であり:
【数16】
b1、b2はそれぞれ次式である:
【数17】
FwdMap関数は以下のように評価される。
【数18】
【0073】
InvMap関数は、同様の方法でオンザフライで計算できるが、サンプル値が属する区分を求めるとき、マッピング済みドメインにおける区分は等しいサイズではないので、単純な右ビットシフトの代わりに条件チェックが適用される必要がある。
【0074】
2.2.6.2 ルマ依存クロマ残差スケーリング(Luma-dependent chroma residual scaling)
クロマ残差スケーリングは、ルマ信号とその対応するクロマ信号との間の相互作用を補償するよう設計される。クロマ残差スケーリングが有効か否かも、タイルグループレベルでシグナリングされる。ルママッピングが有効であり、デュアルツリーパーティション(個別クロマツリーとしても知られている)が現在タイルグループに適用されない場合、ルマ依存クロマ残差スケーリングが有効か否かを示すために、追加フラグがシグナリングされる。現在タイルグループでデュアルツリーパーティションが使用されないとき、又はルママッピングが使用されないとき、ルマ依存クロマ残差スケーリングは無効にされる。更に、ルマ依存クロマ残差スケーリングは、領域が4以下であるクロマブロックについて常に無効にされる。
【0075】
クロマ残差スケーリングは、(イントラ及びインターコーディングブロックの両方について)対応するルマ予測ブロックの平均値に依存する。avgY'は、ルマ予測ブロックの平均を示す。C
ScaleInvの値は、以下のステップで計算される。
【数19】
【0076】
現在ブロックが、イントラ、CIIP、又はイントラブロックコピー(IBC、現在ピクチャ参照又はCPR(current picture referencing)としても知られている)モードでコーディングされる場合、avgY'は、イントラ、CIIP、又はIBC予測されたルマ値の平均として計算され、その他の場合、avgY'は、順方向マッピングされたインター予測ルマ値の平均として計算される(
図4のY'
pred)。サンプル毎に実行されるルママッピングと異なり、C
ScaleInveは、クロマブロック全体について一定値である。C
ScaleInveにより、クロマ残差スケーリングが以下のように適用される。
【数20】
【0077】
2.2.6.3 JVET-N0220での採択、及びJVET-M1001_v7における対応するワーキングドラフト
以下の仕様は、JVET-M1001の変更されたワーキングドラフト、及びJVET-N0220における採択に基づく。採択されたJVET-N0220における変更は太字及び下線で示される。
【0078】
シンタックステーブル
【表2】
【表3】
【表4】
【0079】
セマンティクス
7.4.3.1 シーケンスパラメータセットRBSP背マンディクスにおいて、
sps_lmcs_enabled_flagが1に等しいことは、クロマスケーリングによるルママッピングがCVSにおいて使用されることを指定する。sps_lmcs_enabled_flagが0に等しいことは、クロマスケーリングによるルママッピングがCVSにおいて使用されないことを指定する。
【0080】
tile_group_lmcs_model_present_flagが1に等しいことは、タイルグループヘッダ内にlmcs_data()が存在することを指定する。tile_group_lmcs_model_present_flagが0に等しいことは、タイルグループヘッダ内にlmcs_data()が存在しないことを指定する。tile_group_lmcs_model_present_flagが存在しないとき、それは0に等しいと推定される。
【0081】
tile_group_lmcs_enabled_flagが1に等しいことは、現在タイルグループについて、クロマスケーリングによるルママッピングが有効であることを指定する。tile_group_lmcs_enabled_flagが0に等しいことは、現在タイルグループについて、クロマスケーリングによるルママッピングが有効ではないことを指定する。tile_group_lmcs_enabled_flagが存在しないとき、それは0に等しいと推定される。
【0082】
tile_group_chroma_residual_scale_flagが1に等しいことは、現在タイルグループについて、クロマ残差スケーリングが有効であることを指定する。tile_group_chroma_residual_scale_flagが0に等しいことは、現在タイルグループについて、クロマ残差スケーリングが有効ではないことを指定する。tile_group_chroma_residual_scale_flagが存在しないとき、それは0に等しいと推定される。
【0083】
7.4.5.4 クロマスケーリングによるルママッピングのデータセマンティクスでは、
lmcs_min_bin_idxは、クロマスケーリングによるルママッピング構成処理において使用される最小ビンインデックスを指定する。lmcs_min_bin_idxの値は、両端を含む0~15の範囲であるべきである。
【0084】
lmcs_delta_max_bin_idxは、15と、クロマスケーリングによるルママッピング構成処理において使用される最大ビンインデックスLmcsMaxBinIdxとの間のデルタ値を指定する。lmcs_delta_max_bin_idxの値は、両端を含む0~15の範囲であるべきである。LmcsMaxBinIdxの値は、15 - lmcs_delta_max_bin_idxに等しく設定される。LmcsMaxBinIdxの値は、lmcs_min_bin_idx以上であるべきである。
【0085】
lmcs_delta_cw_prec_minus1に1を加えたものは、シンタックスlmcs_delta_abs_cw[ i ]の表現のために使用されるビットの数を指定する。lmcs_delta_cw_prec_minus1の値は、両端を含む0~BitDepthY - 2の範囲であるべきである。
【0086】
lmcs_delta_abs_cw[ i ]は、i番目のビンの絶対デルタコードワード値を指定する。
【0087】
lmcs_delta_sign_cw_flag[ i ]は、以下のように変数lmcsDeltaCW[ i ]の符号を指定する。
【数21】
【0088】
3. 既存の実装の欠点
LMCS/CCLMの現在の設計は、以下の問題を有することがある。
(1)LMCSコーディングツールでは、クロマ残差スケーリング因子は、同一位置のルマ予測ブロックの平均値により導出される。これは、LMCSクロマ残差スケーリングにおいてクロマサンプルを処理するための遅延を生じる。
a)単一の/共有ツリーの場合には、遅延は、(a)利用可能なルマブロック全体の全部の予測サンプルを待機し、及び(b)(a)により取得された全部のルマ予測サンプルを平均することにより、引き起こされる。
b)デュアル/個別ツリーの場合には、Iスライスにおいてルマ及びクロマ成分について別個のブロックパーティション構造が有効にされるので、遅延は更に悪化する。従って、1つのクロマブロックは複数のルマブロックに対応してよく、1つの4×4クロマブロックは64×64ルマブロックに対応してよい。従って、最悪の場合は、現在4×4クロマブロックのクロマ残差スケーリング因子が、64×64ルマブロック全体の全部の予測サンプルが利用可能になるまで待つ必要があることである。つまり、デュアル/個別ツリーにおける遅延問題は、遙かに深刻である。
(2)CCLMコーディングツールでは、イントラクロマ予測のためのCCLMモデル計算は、ルマブロック及びクロマブロックの両方の左及び上参照サンプルに依存する。そして、クロマブロックのCCLM予測は、同じCUの同一位置のルマ再構成サンプルに依存する。これは、デュアル/個別ツリーにおいて高い待ち時間を引き起こし得る。
・デュアル/個別ツリーの場合には、1つの4×4クロマブロックは64×64ルマブロックに対応してよい。従って、最悪の場合は、現在クロマブロックのCCLM処理が、対応する64×64ルマブロック全体が再構成されるまで待つ必要があることである。この遅延問題は、デュアル/個別ツリーにおけるLMCSクロマスケーリングと同様である。
【0089】
4.例示的な技術及び実施形態
問題に対処するために、私たちは、ルマ依存クロマ残差スケーリング、CCLM、及び異なる色成分からの情報に依存する他のコーディングツールにおけるクロスコンポーネント(成分間)依存性を除去し/低減し/制限する幾つかの方法を提案する。
【0090】
以下に説明する詳細な実施形態は、一般的な概念を説明するための例として考えられるべきである。これらの実施形態は、狭義に解釈されるべきではない。更に、これらの実施形態は任意の方法で結合できる。
【0091】
留意すべきことに、以下に言及される行頭文字は明示的にLMCS/CCLMに言及するが、方法は、異なる色成分からの情報に依存する他のコーディングツールにも適用可能であってよい。更に、以下に言及される用語「ルマ」及び「クロマ」は、それぞれ、RGB色フォーマットにおける「G成分」及び「B/R成分」のような「第1色成分」及び「第2色成分」により置き換えられてよい。
【0092】
以下の議論では、「同一位置の(collocated)サンプル/ブロック」の定義は、VVCワーキングドラフトJVET-M1001における同一位置の(collocated)サンプル/ブロックの定義と整合する。より具体的には、4:2:0色フォーマットでは、クロマブロックの左上サンプルは位置( xTbC,yTbC )にあると想定され、従って、同一位置のルマブロック位置の左上サンプル( xTbY, yTbY )は以下のように導出される。
【数22】
図5に示されるように、現在クロマブロックの左上サンプルは、クロマピクチャ内の(x=16,y=16)に位置し、従って、その同一位置のルマブロックの左上サンプルは、ルマピクチャ内の同一位置のルマブロックのブロックパーティションに関係なく、ルマピクチャ内の(x=32,y=32)に位置する。別の例では、同じ色成分で言うと、参照フレーム内の同一位置のブロックの左上サンプルの位置は、現在フレーム内の現在ブロックの左上サンプルの位置と同じでなければならず、
図6に示すように、現在ブロックの左上サンプルが現在フレーム内の(x,y)にあるとすると、現在ブロックの同一位置のブロックの左上サンプルは参照フレーム内の同じ位置(x,y)を有する。
【0093】
以下の議論では、「対応するブロック」は、現在ブロックと異なる位置を有してよい。例えば、現在ブロックと、参照フレーム内のその対応するブロックとの間の動きシフトがあってよい。
図6に示すように、現在ブロックが現在フレーム内の(x,y)に位置し、動きベクトル(mv
x,mv
y)を有するとすると、現在ブロックの対応するブロックは、参照フレーム内の(x+mv
x,y+mv
y)に位置してよい。また、IBCコーディングブロックでは、同一位置のルマブロック(ゼロベクトルにより指される)、及び対応するルマブロック(非ゼロBVにより指される)は、現在フレームの異なる場所に位置してよい。別の例では、(Iスライスのデュアルツリーパーティションにおける)ルマブロックのパーティションがクロマブロックのパーティションと揃わないとき、現在クロマブロックの同一位置のルマブロックは、同一位置のルマブロックの左上サンプルをカバーする重なり合うルマコーディングブロックのパーティションサイズに依存する、より大きなルマブロックに属してよい。
図5に示すように、太線の長方形がブロックのパーティションを示すとすると、64×64ルマブロックが先ずBTにより分割され、次に64×64ルマブロックの右部分がTTにより更に分割され、結果として、それぞれ32×16、32×32、32×16に等しいサイズの3個のルマブロックを生じる。従って、現在クロマブロックの同一位置のルマブロックの左上サンプル(x=32,y=32)において、それは、TTパーティションの中央の32×32ルマブロックに属する。この場合、私たちは、同一位置のルマブロックの左上サンプルをカバーする対応するルマブロックを、「対応するルマブロック」と呼ぶ。従って、本例では、対応するルマブロックの左上サンプルは、(x=32,y=16)に位置する。
【0094】
以後、DMVD(decoder-side motion vector derivation、デコーダ側動きベクトル導出)は、BDOF(BIOとしても知られる)又は/及びDMVR(decode-side motion vector refinement、デコーダ側動きベクトル精緻化)又は/及びFRUC(frame rate up-conversion、フレームレートアップコンバージョン)、又は/及びデコーダ側で動きベクトル又は/及び予測サンプル値を精緻化する他の方法を表すために使用される。
【0095】
LMCSのクロマスケーリング遅延の除去と、CCLMのモデル計算
(1)インターコーディングブロックでは、参照フレーム内の現在ブロックの1又は複数の参照サンプルが、LMCSモードにおけるクロマ残差スケーリング因子を導出するために使用されてよいことが提案される。
a)一例では、参照ルマサンプルは、クロマ残差スケーリング因子を導出するために直接使用されてよい。
i.代替として、補間が、先ず参照サンプルに適用され、補間済みサンプルが、クロマ残差スケーリング因子を導出するために使用されてよい。
ii.代替として、異なる参照フレーム内の参照サンプルは、クロマ残差スケーリング因子導出のために使用される最終参照サンプルを導出するために利用されてよい。
1)一例では、双予測コーディングブロックについて、上述の方法が適用されてよい。
iii.一例では、参照サンプルの強度は、クロマ残差スケーリング因子を導出するために使用される前に、リシェーピングドメインに変換されてよい。
iv.一例では、参照サンプルの線形結合が、クロマ残差スケーリング因子を導出するために使用されてよい。
1)例えば、a×S+bが、クロマ残差スケーリング因子を導出するために使用されてよい。ここで、Sは参照サンプルであり、a及びbはパラメータである。一例では、a及びbは、局所照明補償(Localized Illumination Compensation (LIC) )により導出されてよい。
b)一例では、参照フレーム内の参照ルマサンプルの位置は、現在ブロックの動きベクトルに依存してよい。
i.一例では、参照サンプルは、参照ピクチャ内の、現在ルマブロックと同じ幅及び高さを有する参照ルマブロックに属する。参照ピクチャ内の参照ルマサンプルの位置は、動きベクトルを加算して、現在ピクチャ内のその対応するルマサンプルの位置として計算されてよい。
ii.一例では、参照ルマサンプルの位置は、現在ルマブロックの左上(又は中央、又は右下)サンプルの位置、及び現在ブロックの動きベクトルにより導出され、参照フレーム内の対応するルマサンプルと呼ばれてよい。
1)一例では、整数動きベクトルが、参照フレーム内の対応するルマサンプルを導出するために使用されてよい。一例では、1つのブロックに関連付けられた動きベクトルは、整数動きベクトルを導出するために、ゼロへと丸め込まれるか、ゼロから離れるように丸め込まれてよい。
2)代替として、分数動きベクトルが、参照フレーム内の対応するルマサンプルを導出するために使用されてよい。その結果、分数参照サンプルを導出するために、補間処理が必要であってよい。
iii.代替として、参照ルマサンプルの位置は、現在ルマブロックの左上(又は中央、又は右下)サンプルの位置により導出されてよい。
iv.代替として、参照フレーム内の幾つかの所定の位置にある複数の対応するルマサンプルが、クロマ残差スケーリング因子を計算するために選び取られてよい。
c)一例では、複数の参照ルマサンプルの中央値又は平均値が、クロマ残差スケーリング因子を導出するために使用されてよい。
d)一例では、所定の参照フレーム内の参照ルマサンプルが、クロマ残差スケーリング因子を導出するために使用されてよい。
i.一例では、所定の参照フレームは、参照ピクチャリスト0の、0に等しい参照インデックスを有するものであってよい。
ii.代替として、所定の参照フレームの参照インデックス及び/又は参照ピクチャリストは、シーケンス/ピクチャ/タイルグループ/スライス/タイル/CTU行/ビデオユニットレベルでシグナリングされてよい。
iii.代替として、複数の参照フレーム内の参照ルマサンプルが導出されてよく、平均値又は加重平均値がクロマ残差スケーリング因子を得るために利用されてよい。
(2)LMCSモードでルマサンプルからクロマ残差スケーリング因子をするかどうか及びその方法が、現在ブロックが双予測を適用されるかどうかに依存してよいことが提案される。
a)一例では、クロマ残差スケーリング因子は、予測方向毎に個別に導出される。
(3)LMCSモードでルマサンプルからクロマ残差スケーリング因子をするかどうか及びその方法が、現在ブロックがサブブロックに基づく予測を適用されるかどうかに依存してよいことが提案される。
a)一例では、サブブロックに基づく予測はアフィン予測である。
b)一例では、サブブロックに基づく予測は高度時間動きベクトル予測(Alternative Temporal Motion Vector Prediction (ATMVP))である。
c)一例では、クロマ残差スケーリング因子は、サブブロック毎に個別に導出される。
d)一例では、クロマ残差スケーリング因子は、サブブロックにより予測される場合でも、ブロック全体について導出される。
i.一例では、1つの選択されたサブブロック(例えば、左上サブブロック)の動きベクトルは、点(bullet)1で示されるように、現在ブロックの参照サンプルを識別するために使用されてよい。
(4)クロマ残差スケーリング因子を導出するために使用されるルマ予測値が、最終ルマ予測値の代わりに、中間ルマ予測値であってよいことが提案される。
a)一例では、双方向オプティカルフロー(Bi-Directional Optical Flow (BDOF)、BIOとしても知られている)の処理の前のルマ予測値は、クロマ残差スケーリング因子を導出するために使用されてよい。
b)一例では、デコーダ側動きベクトル精緻化(DMVR)の処理の前のルマ予測値は、クロマ残差スケーリング因子を導出するために使用されてよい。
c)一例では、LICの処理の前のルマ予測値は、クロマ残差スケーリング因子を導出するために使用されてよい。
d)一例では、JVET-N0236で提案されるような予測精緻化オプティカルフロー(Prediction Refinement Optical Flow (PROF))の処理の前のルマ予測値は、クロマ残差スケーリング因子を導出するために使用されてよい。
(5)中間動きベクトルは、参照サンプルを識別するために使用されてよい。
a)一例では、BDOF又は/及びDMVR又は/及び他のDMVD方法の処理の前の動きベクトルは、参照サンプルを識別するために使用されてよい。
b)一例では、JVET-N0236で提案されるような予測精緻化オプティカルフロー(Prediction Refinement Optical Flow (PROF))の処理の前の動きベクトルは、参照サンプルを識別するために使用されてよい。
(6)上述の方法は、現在ブロックがインターモードでコーディングされるときに適用可能であってよい。
(7)IBCコーディングブロックでは、現在フレームの参照ブロック内の1又は複数の参照サンプルが、LMCSモードにおけるクロマ残差スケーリング因子を導出するために使用されてよいことが提案される。ブロックがIBCコーディングされるとき、参照ピクチャが現在ピクチャとして設定される場合、用語「動きベクトル」は、「ブロックベクトル」とも呼ばれてよい。
a)一例では、参照サンプルは、現在ピクチャ内の、現在ブロックと同じ幅及び高さを有する参照ブロックに属する。参照サンプルの位置は、動きベクトルを加算してその対応するルマサンプルの位置として計算されてよい。
b)一例では、参照ルマサンプルの位置は、動きベクトルを加算して、現在ルマブロックの左上(又は中央、又は右下)サンプルの位置により導出されてよい。
c)代替として、参照ルマサンプルの位置は、現在ブロックのブロックベクトルを加算して、現在ルマブロックの左上(又は中央、又は右下)サンプルの位置により導出されてよい。
d)代替として、現在ルマブロックの参照領域内の幾つかの所定の位置にある複数の対応するルマサンプルが、クロマ残差スケーリング因子を計算するために選び取られてよい。
e)一例では、複数の対応するルマサンプルは、クロマ残差スケーリング因子を導出する関数により計算されてよい。
i.例えば、複数の対応するルマサンプルの中央値又は平均値が、クロマ残差スケーリング因子を導出するために計算されてよい。
f)一例では、参照サンプルの強度は、クロマ残差スケーリング因子を導出するために使用される前に、リシェーピングドメインに変換されてよい。
i.代替として、参照サンプルの強度は、クロマ残差スケーリング因子を導出するために使用される前に、元のドメインに変換されてよい。
(8)現在フレーム内の現在ルマブロックの識別された位置に位置する1又は複数の予測/再構成サンプルが、LMCSモードで現在クロマブロックのクロマ残差スケーリング因子を導出するために使用されてよいことが提案される。
a)一例では、現在ブロックがインターコーディングされる場合、現在ブロックの中央に位置するルマ予測(又は再構成)サンプルは、クロマ残差スケーリング因子を導出するために選び取られてよい。
b)一例では、最初のM×N個のルマ予測(又は再構成)サンプルの平均値が、クロマ残差スケーリング因子を導出するために選び取られてよい。ここで、M×Nは、同一位置のルマブロックサイズ幅×高さより小さくなり得る。
(9)CCLMモデルを計算するために使用される手順の全体又は一部が、LMCSモードにおける現在クロマブロックのクロマ残差スケーリング因子導出のために使用されてよいことが提案される。
a)一例では、CCLMモデルパラメータ導出処理における同一位置のルマブロックの近隣ルマサンプルの識別された位置に位置する参照サンプルは、クロマ残差スケーリング因子を導出するために利用されてよい。
i.一例では、それらの参照サンプルは、直接使用されてよい。
ii.代替として、ダウンサンプリングが、それらの参照サンプルに適用されてよく、ダウンサンプリング済み参照サンプルが適用されてよい。
b)一例では、CCLMモデル計算のために選択されたS個の参照サンプルのうちのK個が、LMCSモードにおけるクロマ残差スケーリング因子導出のために使用されてよい。例えば、Kは1に等しく、Sは4に等しい。
c)一例では、CCLMモードにおける同一位置のルマブロックの参照サンプルの平均/最小/最大値が、LMCSモードにおけるクロマ残差スケーリング因子導出のために使用されてよい。
(10)クロマ残差スケーリング因子の導出のためにサンプルをどのように選択するかは、現在ブロックのコーディング情報に依存してよい。
a)コーディング情報は、QP、コーディングモード、POC、イントラ予測モード、動き情報、等を含んでよい。
b)一例では、IBCコーディング又は非IBCコーディングブロックについて、サンプルを選択する方法が異なってよい。
c)一例では、サンプルを選択する方法は、参照ピクチャと現在ピクチャとの間のPOC差のような参照ピクチャ情報に基づき異なってよい。
(11)CCLMのクロマ残差スケーリング因子及び/又はモデル計算は、同一位置のルマブロックの左上サンプルをカバーする対応するルマブロックの近隣サンプルに依存してよい。
a)「対応するルマコーディングブロック」は、同一位置のルマコーディングブロックの左上位置をカバーするコーディングブロックとして定義されてよい。
i.
図5は、デュアルツリーの場合におけるイントラコーディングクロマブロックについて、クロマ成分のCTUパーティションがルマ成分のCTUパーティションと異なってよい場合の例を示す。先ず、現在クロマブロックの同一位置のルマブロックの左上サンプルをカバーする「対応するルマコーディングブロック」が検索される。次に、「対応するルマコーディングブロック」のブロックサイズ情報を使用することにより、「対応するルマコーディングブロック」の左上サンプルが導出でき、同一位置のルマブロックの左上サンプルをカバーする「対応するルマコーディングブロック」の左上ルマサンプルが(x=32,y=16)にあると特定される。
b)一例では、「対応するルマコーディングブロック」内にない再構成サンプルが、CCLMのクロマ残差スケーリング因子及び/又はモデル計算を導出するために使用されてよい。
i.一例では、「対応するルマコーディングブロック」に隣接する再構成サンプルが、CCLMのクロマ残差スケーリング因子及び/又はモデル計算を導出するために使用されてよい。
1)一例では、「対応するルマコーディングブロック」の左近隣列及び/又は上近隣行に位置するN個のサンプルが、CCLMのクロマ残差スケーリング因子及び/又はモデル計算を導出するために使用されてよい。ここで、N=1…2W+2H、W及びHは「対応するルマコーディングブロック」の幅及び高さである。
a)「対応するルマコーディングブロック」の左上サンプルが(xCb,yCb)にあるとすると、一例では、上近隣ルマサンプルは、(xCb+W/2,yCb-1)又は(xCb-1,yCb-1)に位置してよい。代替例では、左近隣ルマサンプルは、(xCb+W-1,yCb-1)に位置してよい。
b)一例では、近隣サンプルの位置は、固定され、及び/又は所定のチェック順序であってよい。
2)一例では、N個のうちの1個の近隣サンプルが、CCLMのクロマ残差スケーリング因子及び/又はモデル計算を導出するために選択されてよい。N=3、及び3個の近隣サンプルのチェック順序が(xCb-1,yCb-H-1)、(xCb+W/2,yCb-1)、(xCb-1,yCb-1)であるとすると、クロマ残差スケーリング因子を導出するために、チェックリストの中で最初に利用可能な近隣サンプルが選択されてよい。
3)一例では、「対応するルマコーディングブロック」の左近隣列及び/又は上近隣行に位置するN個のサンプルの中央値又は平均値が、CCLMのクロマ残差スケーリング因子及び/又はモデル計算を導出するために使用されてよい。ここで、N=1…2W+2H、W及びHは「対応するルマコーディングブロック」の幅及び高さである。
c)一例では、クロマ残差スケーリングを実行するかどうかは、対応するルマブロックの「利用可能な」近隣サンプルに依存してよい。
i.一例では、近隣サンプルの「利用可能性」は、現在ブロック/サブブロックの符号化モード、又は/及び近隣サンプルの符号化モードに依存してよい。
1)一例では、インターモードでコーディングされたブロックについて、イントラモード又は/及びIBCモード又は/及びCIIPモード又は/及びLICモードでコーディングされた近隣サンプルは「利用不可能」であると考えられてよい。
2)一例では、インターモードでコーディングされたブロックについて、拡散フィルタ又は/及びバイラテラルフィルタ又は/及びアダマール変換フィルタを利用する近隣サンプルは、「利用不可能」であると考えられてよい。
ii.一例では、近隣サンプルの「利用可能性」は、現在ピクチャ/タイル/タイルグループ/VPDU/スライスの幅及び/又は高さに依存してよい。
1)一例では、近隣ブロックが現在ピクチャの外側に位置する場合、それは「利用不可能」であるとして扱われる。
iii.一例では、「利用可能な」近隣サンプルが存在しないとき、クロマ残差スケーリングは許可されなくてよい。
iv.一例では、「利用可能な」近隣サンプルの数がK(K>=1)より小さいとき、クロマ残差スケーリングは許可されなくてよい。
v.代替として、利用不可能な近隣サンプルは、デフォルトの固定値で満たされ、パディングされ、又は代用されてよく、その結果、クロマ残差スケーリングが常に適用されてよい。
1)一例では、近隣サンプルが利用可能ではない場合、それは1<<(bitDepth-1)により満たされてよい。ここで、bitDepthは、ルマ/クロマ成分のサンプルのビット深さを指定する。
2)代替として、近隣サンプルが利用可能ではない場合、それは、左/右/上/下近隣に位置する周囲サンプルからパディングすることにより満たされてよい。
3)代替として、近隣サンプルが利用可能ではない場合、それは、所定のチェック順序で最初に利用可能な隣接サンプルにより代用されてよい。
d)一例では、「対応するルマコーディングブロック」の近隣のフィルタリング済み/マッピング済み再構成サンプルが、CCLMのクロマ残差スケーリング因子及び/又はモデル計算を導出するために使用されてよい。
i.一例では、フィルタリング/マッピング処理は、イントラブロックのための参照円滑化フィルタ、バイラテラルフィルタ、アダマール変換に基づくフィルタ、リシェーパドメインの順方向マッピング、等のようなポストフィルタリングを含んでよい。
【0096】
クロマ残差スケーリング及び/又はCCLMが適用されるか否かに関する制約
(12)クロマ残差スケーリング又はCCLMが適用されるか否かは、対応する及び/又は同一位置のルマブロックのパーティションに依存してよいことが提案される。
a)一例では、クロスコンポーネント情報を有するツールを有効化又は無効化するかは、同一位置のルマ(例えば、Y又はG成分)ブロック内のCU/PU/TUの数に依存してよい。
i.一例では、同一位置のルマ(例えば、Y又はG成分)ブロック内のCU/PU/TUの数が閾値を超える場合、そのようなツールは無効化されてよい。
ii.代替として、クロスコンポーネント情報を有するツールを有効化又は無効化するかは、パーティションツリーの深さに依存してよい。
1)一例では、同一位置のルマブロック内のCUの最大(又は最小又は平均又は他の変量)の4分木の深さが閾値を超える場合、そのようなツールは無効化されてよい。
2)一例では、同一位置のルマブロック内のCUの最大(又は最小又は平均又は他の変量)のBT及び/又はTTの深さが閾値を超える場合、そのようなツールは無効化されてよい。
iii.代替として、更に、クロスコンポーネント情報を有するツールを有効化又は無効化するかは、クロマブロックのブロック寸法(dimension)に依存してよい。
iv.代替として、更に、クロスコンポーネント情報を有するツールを有効化又は無効化するかは、同一位置のルマが複数のVPDU/所定の領域サイズに渡るかに依存してよい。
v.上述の議論における閾値は、固定数であってよく、又はシグナリングされてよく、又は規格プロファイル/レベル/ティアに依存してよい。
b)一例では、現在クロマブロックの同一位置のルマブロックが複数のパーティション(例えば、
図7)により分割される場合、クロマ残差スケーリング及び/又はCCLMは禁止されてよい。
i.代替として、現在クロマブロックの同一位置のルマブロックが(例えば、1個のCU/TU/PU内で)分割されない場合、クロマ残差スケーリング及び/又はCCLMは適用されてよい。
c)一例では、現在クロマブロックの同一位置のルマブロックがM個より多くのCU/PU/TUを含む場合、クロマ残差スケーリング及び/又はCCLMは禁止されてよい。
i.一例では、Mは1より大きい整数であってよい。
ii.一例では、Mは、CCLM又はクロマ残差スケーリング処理であるかに依存してよい。
iii.Mは、固定数であってよく、又はシグナリングされてよく、又は規格プロファイル/レベル/ティアに依存してよい。
d)同一位置のルマブロック内の上述のCUは、同一位置のルマブロック内の全部のCUであると解釈されてよい。代替として、同一位置のルマブロック内のCUは、同一位置のルマブロックの境界に沿うCUのような、同一位置のルマブロック内の一部のCUであると解釈されてよい。
e)同一位置のルマブロック内の上述のCUは、サブCU又はサブブロックであると解釈されてよい。
i.例えば、サブCU又はサブブロックは、ATMVPにおいて使用されてよい。
ii.例えば、サブCU又はサブブロックは、アフィン予測において使用されてよい。
iii.例えば、サブCU又はサブブロックは、イントラサブパーティション(Intra Sub-Partitions (ISP))モードにおいて使用されてよい。
f)一例では、同一位置のルマブロックの左上ルマサンプルをカバーするCU/PU/TUが所定のルマブロックサイズより大きい場合、クロマ残差スケーリング及び/又はCCLMが禁止されてよい。
i.
図8に例が示され、同一位置のルマブロックは32×32であるが、64×64に等しいサイズを有する対応するルマブロック内にあり、所定のルマブロックサイズが32×64である場合、クロマ残差スケーリング及び/又はCCLMはこの場合に禁止される。
ii.代替として、現在クロマブロックの同一位置のルマブロックが分割されず、同一位置のルマブロックの左上ルマサンプルをカバーする対応するルマブロックが所定の境界ボックス内に完全に含まれる場合、クロマ残差スケーリング及び/又はCCLMが適用されてよい。
図9に示されるように、境界ボックスは、幅W及び高さHを有し、W×Hにより示される長方形として定義されてよい。っこで、対応するルマブロックは、幅32及び高さ64を有し、境界ボックスは、幅40及び高さ70を有する。
1)一例では、境界ボックスのサイズW×Hは、CTU幅及び/又は高さに従い、又はCU幅及び/又は高さに従い、又は任意の値に従い、定義されてよい。
g)一例では、現在クロマブロックの同一位置のルマブロックが複数のパーティションにより分割される場合、同一位置のルマブロックの所定のパーティション内の予測サンプル(又は再構成サンプル)のみが、LMCSモードでクロマ残差スケーリング因子を導出するために使用される。
i.一例では、同一位置のルマブロックの最初のパーティション内の全部の予測サンプル(又は再構成サンプル)の平均が、LMCSモードでクロマ残差スケーリング因子を導出するために使用される。
ii.代替として、同一位置のルマブロックの最初のパーティション内の左上予測サンプル(又は再構成サンプル)が、LMCSモードでクロマ残差スケーリング因子を導出するために使用される。
iii.代替として、同一位置のルマブロックの最初のパーティション内の中央の予測サンプル(又は再構成サンプル)が、LMCSモードでクロマ残差スケーリング因子を導出するために使用される。
h)CCLM及びLMCSのようなクロスコンポーネントツールを適用するかどうか及びどのように適用するかが、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUのコーディングモードに依存してよいことが提案される。
i.例えば、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUがアフィンモードでコーディングされる場合、クロスコンポーネントツールは無効化される。
ii.例えば、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUが双予測でコーディングされる場合、クロスコンポーネントツールは無効化される。
iii.例えば、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUがBDOFでコーディングされる場合、クロスコンポーネントツールは無効化される。
iv.例えば、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUがDMVRでコーディングされる場合、クロスコンポーネントツールは無効化される。
v.例えば、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUがJVET-N0217で提案されたマトリクスアフィン予測モードでコーディングされる場合、クロスコンポーネントツールは無効化される。
vi.例えば、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUがインターモードでコーディングされる場合、クロスコンポーネントツールは無効化される。
vii.例えば、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCUがISPモードでコーディングされる場合、クロスコンポーネントツールは無効化される。
viii.一例では、「同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のルマCU」は、対応するルマブロックを参照してよい。
i)CCLM/LMCSが禁止されるとき、CCLM/LMCSの使用の指示のシグナリングはスキップされてよい。
j)本開示では、CCLMは、LMモード、LM-Tモード、及びLM-Lモードを含む、CCLMの任意の変形モードを表してよい。
(13)CCLM及びLMCSのようなクロスコンポーネントツールを適用するかどうか及びどのように適用するかが、クロマブロックの部分に対して実行されてよいことが提案される。
a)一例では、CCLM及びLMCSのようなクロスコンポーネントツールを適用するかどうか及びどのように適用する化は、クロマサブブロックのレベルである。
i.一例では、クロマサブブロックは、クロマCU内の2×2又は4×4ブロックとして定義される。
ii.一例では、クロマサブブロックについて、現在クロマCUの対応するルマコーディングブロックが、サブブロックの対応するブロックの全部のサンプルをカバーするとき、CCLMが適用されてよい。
iii.一例では、クロマサブブロックについて、対応するブロックの必ずしも全部のサンプルが、現在クロマCUの対応するルマコーディングブロックによりカバーされないとき、CCLMは適用されない。
iv.一例では、CCLM又はLMCSのパラメータは、サブブロックをクロマCUとして扱うとき、各クロマサブブロックについて導出される。
v.一例では、CCLM又はLMCSがクロマサブブロックについて適用されるとき、同一位置のブロックのサンプルが使用されてよい。
【0097】
LMCSモードにおけるクロマ残差スケーリングの適用可能性
(14)ルマ依存クロマ残差スケーリングが適用できるかどうかが、JVET-M1001で指定されるようなタイルグループヘッダに加えて、他のシンタックスレベルでシグナリングされてよいことが提案される。
a)例えば、chroma_residual_scale_flagは、シーケンスレベルで(例えば、SPS内で)、ピクチャレベルで(例えば、PPS又はピクチャヘッダ内で)、スライスレベルで(例えば、スライスヘッダ内で)、タイルレベルで、CTU行レベルで、CTUレベルで、CUレベルで、シグナリングされてよい。chroma_residual_scale_flagが1に等しいことは、シグナリングされるシンタックスレベルより下のCUについて、クロマ残差スケーリングが有効であることを指定する。chroma_residual_scale_flagが0に等しいことは、シグナリングされるシンタックスレベルより下について、クロマ残差スケーリングが有効ではないことを指定する。chroma_residual_scale_flagが存在しないとき、それは0に等しいと推定される。
b)一例では、クロマ残差スケーリングが、パーティションノードレベルで制限されない場合、chroma_residual_scale_flagは、シグナリングされず、パーティションノードによりカバーされるCUについて0であると推定されてよい。一例では、パーティションノードは、CTUであってよい(CTUは、4分木パーティションのルートノードとして取り扱われる)。
c)一例では、クロマ残差スケーリングが32×32以下のクロマブロックサイズについて制限される場合、chroma_residual_scale_flagは、シグナリングされず、32×32以下のクロマブロックサイズについて0であると推定されてよい。
【0098】
CCLMモードの適用可能性
(15)CCLMモードが適用できるかどうかが、JVET-M1001で指定されるようなSPSレベルに加えて、他のシンタックスレベルでシグナリングされてよいことが提案される。
a)例えば、それは、ピクチャレベルで(例えば、PPS又はピクチャヘッダ内で)、スライスレベルで(例えば、スライスヘッダ内で)、タイルグループレベルで(例えば、タイルグループヘッダ内で)、タイルレベルで、CTU行レベルで、CTUレベルで、CUレベルで、シグナリングされてよい。
b)一例では、cclm_flagは、シグナリングされず、CCLMが適用できない場合に0であると推定されてよい。
i.一例では、クロマ残差スケーリングが8×8以下のクロマブロックサイズについて制限される場合、cclm_flagは、シグナリングされず、8×8以下のクロマブロックサイズについて0であると推定されてよい。
【0099】
イントラモード及びインターモードのクロマ残差スケーリング因子導出の統一
(16)クロマ残差スケーリング因子は、ルマブロックを符号化/復号した後に導出されてよく、後のコーディングブロックのために格納され使用されてよい。
a)一例では、ルマブロック内の特定の予測サンプル又は/及び中間予測サンプル又は/及び再構成サンプル又は/及びループフィルタリング前の(例えば、デブロッキングフィルタ又は/及びSAOフィルタ又は/及びバイラテラルフィルタ又は/及びアダマール変換フィルタ又は/及びALFフィルタにより処理される前の)再構成サンプルが、クロマ残差スケーリング因子の導出のために使用されてよい。
i.例えば、ルマブロックの下の行又は/及び右の列内の一部のサンプルが、クロマ残差スケーリング因子の導出のために使用されてよい。
b)シングルツリーの場合には、イントラモード又は/及びIBCモード又は/及びインターモードでコーディングされたブロックを符号化するとき、近隣ブロックの導出されたクロマ残差スケーリング因子は、現在ブロックのスケーリング因子を導出するために使用されてよい。
i.一例では、特定の近隣ブロックが、順にチェックされてよく、最初の利用可能なクロマ残差スケーリング因子が、現在ブロックのために使用されてよい。
ii.一例では、特定の近隣ブロックが、順にチェックされてよく、スケーリング因子は、最初のK個の利用可能な近隣クロマ残差スケーリング因子に基づき導出されてよい。
iii.一例では、インターモード又は/及びCIIPモードでコーディングされたブロックについて、近隣ブロックがイントラモード又は/及びIBCモード又は/及びCIIPモードでコーディングされる場合、近隣ブロックのクロマ残差スケーリング因子は「利用不可能」であると考えられてよい。
iv.一例では、近隣ブロックは、左(又は左上)から上(又は右上)への順にチェックされてよい。
1)代替として、近隣ブロックは、上(又は右上)から左(又は左上)への順にチェックされてよい。
c)個別ツリーの場合には、クロマブロックを符号化するとき、対応するルマブロックが先ず識別されてよい。次に、その(例えば対応するルマブロックの)近隣ブロックの導出されたクロマ残差スケーリング因子が、現在ブロックのスケーリング因子を導出するために使用されてよい。
i.一例では、特定の近隣ブロックが、順にチェックされてよく、最初の利用可能なクロマ残差スケーリング因子が、現在ブロックのために使用されてよい。
ii.一例では、特定の近隣ブロックが、順にチェックされてよく、スケーリング因子は、最初のK個の利用可能な近隣クロマ残差スケーリング因子に基づき導出されてよい。
d)近隣ブロックは、所定の順序でチェックされてよい。
i.一例では、近隣ブロックは、左(又は左上)から上(又は右上)への順にチェックされて
ii.一例では、近隣ブロックは、上(又は右上)から左(又は左上)への順にチェックされてよい。
iii.一例では、近隣ブロックは、左下→左→右上→上→左上の順にチェックされてよい。
iv.一例では、近隣ブロックは、左→上→右上→左下→左上の順にチェックされてよい。
e)一例では、クロマ残差スケーリングを適用するかどうかは、近隣ブロックの「利用可能性」に依存してよい。
i.一例では、「利用可能な」近隣ブロックが存在しないとき、クロマ残差スケーリングは許可されなくてよい。
ii.一例では、「利用可能な」近隣ブロックの数がK(K>=1)より小さいとき、クロマ残差スケーリングは許可されなくてよい。
iii.代替として、「利用可能な」近隣ブロックが存在しないとき、クロマ残差スケーリング因子は、デフォルト値により導出されてよい。
1)一例では、デフォルト値1<<(BitDepth-1)が、クロマ残差スケーリング因子を導出するために使用されてよい。
【0100】
5.開示の技術の例示的実装
図10は、ビデオ処理機器1000のブロック図である。機器1000は、ここに記載した方法のうちの1つ以上を実施するために使用されてよい。機器1000は、スマートフォン、タブレット、コンピュータ、モノのインターネット(Internet of Things (IoT))受信機、等において実施されてよい。機器1000は、1つ以上のプロセッサ1002、1つ以上のメモリ1004、及びビデオ処理ハードウェア1006を含んでよい。プロセッサ1002は、本願明細書に記載した1つ以上の方法(方法800及び900を含むが、それに限定されない)を実施するよう構成されてよい。メモリ(複数のメモリ)1004は、本願明細書に記載の方法及び技術を実施するために使用されるデータ及びコードを格納するために使用されてよい。ビデオ処理ハードウェア106は、ハードウェア回路で、本願明細書に記載した幾つかの技術を実施するために使用されてよい。
【0101】
幾つかの実施形態では、ビデオコーディング方法は、
図10に関して説明したようなハードウェアプラットフォーム上に実装される機器を用いて実施されてよい。
【0102】
図11は、開示の技術による、クロスコンポーネント予測のための線形モデル導出の例示的な方法1100のフローチャートを示す。方法1100は、ステップ1110で、現在ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換を実行するステップを含む。ここで、変換中に、現在ビデオブロックの第2色成分値セットが、1つ以上の参照フレームに含まれる第1色成分値セットから導出され、第1色成分値セットは、ビデオコーディングステップの線形モデルで使用可能である。
【0103】
幾つかの実施形態は、以下の項に基づく形式を用いて記述され得る。
【0104】
(1)ビデオ処理の方法であって、
現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換を実行するステップであって、前記変換中に、前記現在ビデオブロックの第2色成分値セットが、1つ以上の参照フレームに含まれる第1色成分値セットから導出され、前記第1色成分値セットは、ビデオコーディングステップの線形モデルで使用可能である、ステップを含む方法。
【0105】
(2)前記第1色成分値セットは、前記ビデオコーディングステップの前記線形モデルで使用する前に補間される、項1に記載の方法。
【0106】
(3)前記第1色成分値セットの線形結合は、前記線形モデルにおけるパラメータとして使用可能である、項1~2の1つ以上に記載の方法。
【0107】
(4)前記1つ以上の参照フレームに含まれる前記第1色成分値セットの位置は、前記現在ビデオブロックの動き情報に少なくとも部分的に基づき選択される、項1に記載の方法。
【0108】
(5)前記1つ以上の参照フレーム内のルマ成分値の位置は、前記現在ビデオブロック内の対応するルマ成分値の位置、及び前記現在ビデオブロックの前記動き情報から計算される、項4に記載の方法。
【0109】
(6)前記対応するルマ成分値の位置は、前記現在ビデオブロックの左上サンプル、中央サンプル、又は右下サンプルである、項5に記載の方法。
【0110】
(7)前記現在ビデオブロックの前記動き情報は、整数動きベクトル又は分数動きベクトルに対応する、項6に記載の方法。
【0111】
(8)前記分数動きベクトルは、前記1つ以上の参照フレーム内の分数ルマ成分値を用いて導出される、項7に記載の方法。
【0112】
(9)前記整数動きベクトルは、ゼロに向かって又はゼロから離れるよう丸め込むことにより、導出される、項7に記載の方法。
【0113】
(10)前記1つ以上の参照フレームに含まれる前記第1色成分値セットの位置は、所定の位置である、項1に記載の方法。
【0114】
(11)前記第1色成分値セットの中央値又は平均は、前記現在ビデオブロックの前記第2色成分値セットを導出するために使用される、項1~10の1つ以上に記載の方法。
【0115】
(12)前記1つ以上の参照フレームは、所定の参照フレームである、項1~11の1つ以上に記載の方法。
【0116】
(13)前記所定の参照フレームは、参照ピクチャリストの参照インデックスを有するフレームを含む、項12に記載の方法。
【0117】
(14)前記参照インデックスは0であり、前記参照ピクチャリストは0である、項13に記載の方法。
【0118】
(15)前記参照インデックス及び/又は前記参照ピクチャリストは、以下:シーケンス、ピクチャ、タイル、グループ、スライス、タイル、コーディングツリーユニット行、又はビデオブロック、のうちの1つ以上に関連付けられた前記ビットストリーム表現の中でシグナリングされる、項13に記載の方法。
【0119】
(16)前記現在ビデオブロックの前記第2色成分値セットは、前記1つ以上の参照フレームに含まれる前記第1色成分値セットの算術平均又は加重平均から導出される、項1に記載の方法。
【0120】
(17)前記現在ビデオブロックの前記第2色成分値セットは、前記現在ビデオブロックが双予測コーディングブロックであるかどうかに基づき、前記1つ以上の参照フレームに含まれる前記第1色成分値セットから選択的に導出される、項1に記載の方法。
【0121】
(18)前記現在ビデオブロックの前記第2色成分値セットは、前記第1色成分値セットの各予測方向について個別に導出される、項17に記載の方法。
【0122】
(19)前記現在ビデオブロックの前記第2色成分値セットは、前記現在ビデオブロックがサブブロックに基づく予測に関連付けられるかどうかに基づき、前記1つ以上の参照フレームに含まれる前記第1色成分値セットから選択的に導出される、項1に記載の方法。
【0123】
(20)前記サブブロックに基づく予測は、アフィン予測又は高度時間動きベクトル予測(alternative temporal motion vector prediction (ATMVP))に対応する、項1に記載の方法。
【0124】
(21)前記現在ビデオブロックの前記第2色成分値セットは、個々のサブブロックについて導出される、項19~20の1つ以上に記載の方法。
【0125】
(22)前記現在ビデオブロックの前記第2色成分値セットは、前記サブブロックに基づく予測と無関係に、前記現在ビデオブロックの全体について導出される、項19~21の1つ以上に記載の方法。
【0126】
(23)1つ以上の参照フレームに含まれる前記第1色成分値セットは、前記現在ビデオブロックのサブブロックの動きベクトルに少なくとも部分的に基づき選択される、項19~22の1つ以上に記載の方法。
【0127】
(24)1つ以上の参照フレームに含まれる前記第1色成分値セットは、中間色成分値である、項1~23の1つ以上に記載の方法。
【0128】
(25)前記ビデオコーディングステップは、別のビデオコーディングステップより先行する、項1~24の1つ以上に記載の方法。
【0129】
(26)前記1つ以上の参照フレームに含まれる前記第1色成分値セットは、前記現在ビデオブロック又は前記現在ビデオブロックのサブブロックの中間動きベクトルに少なくとも部分的に基づき選択され、前記中間動きベクトルは、前記別のビデオコーディングステップの前に計算される、項25に記載の方法。
【0130】
(27)前記ビデオコーディングステップは、以下のステップ:双方向オプティカルフロー(Bi-Directional Optical Flow (BDOF))ステップ、デコーダ側動きベクトル精緻化(decoder-side motionectorefinement(DMVR))ステップ、予測精緻化オプティカルフロー(prediction refinement optical flow (PROF))ステップ、のうちの1又は組合せを含む、項24~26の1つ以上に記載の方法:
(28)前記1つ以上の参照フレームに含まれる前記第1色成分値セットは、対応するルマブロックに関連付けられたM×Nルマ成分値に対応する、項1~27の1つ以上に記載の方法。
【0131】
(29)前記対応するルマブロックは前記現在ビデオブロックの同一位置のルマブロックである、項28に記載の方法。
【0132】
(30)M及びNの積は、前記現在ビデオブロックの前記同一位置のルマブロックのブロック幅及びブロック高さの積より小さい、項29に記載の方法。
【0133】
(31)前記1つ以上の参照フレームに含まれる前記第1色成分値セットは、少なくとも、前記同一位置のルマブロックの近隣ルマサンプルの位置で識別された参照サンプルの一部に対応する、項27~30の1つ以上に記載の方法。
【0134】
(32)前記第1色成分値セットは、前記ビデオコーディングステップの前記線形モデルで使用する前にダウンサンプリングされる、項1~31の1つ以上に記載の方法。
【0135】
(33)前記現在ビデオブロックの前記第2色成分値セットは、前記現在ビデオブロックの以下の情報:量子化パラメータ、コーディングモード、又はピクチャオーダカウント(picture order count (POC))、のうちの1つ以上に少なくとも部分的に基づき選択される、項1に記載の方法。
【0136】
(34)前記近隣ルマサンプルの前記位置は、前記同一位置のルマブロックの左上サンプルがカバーされるようにされる、項31に記載の方法。
【0137】
(35)前記1つ以上の参照フレームに含まれる前記第1色成分値セットは、少なくとも、前記対応するルマブロックの外部の位置で識別された参照サンプルの一部に対応する、項228に記載の方法。
【0138】
(36)前記現在ビデオブロックの前記第2色成分値セットは、前記対応するルマブロックの近隣サンプルの利用可能性に基づき、前記1つ以上の参照フレームに含まれる前記第1色成分値セットから選択的に導出される、項28に記載の方法。
【0139】
(37)前記対応するルマブロックの前記近隣サンプルの前記利用可能性は、前記現在ビデオブロックのコーディングモードの使用、前記対応するルマブロックの前記近隣サンプルのコーディングモードの使用、前記対応するルマブロックの前記近隣サンプルに関連付けられたフィルタのタイプの使用、前記現在ブロック又はそのサブブロックに対する前記対応するルマブロックの前記近隣サンプルの位置、のうちの1つ以上に基づく、項28に記載の方法。
【0140】
(38)前記対応するルマブロックの前記近隣サンプルの前記利用可能性の欠如に応答して、利用不可能なサンプルを他のサンプルで置き換え、フィルタリングし、又はパディングするステップ、を更に含む項28に記載の方法。
【0141】
(39)前記対応するルマブロックの近隣のサンプルに円滑化フィルタを適用するステップ、を更に含む項28に記載の方法。
【0142】
(40)ビデオ処理の方法であって、
現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換を実行するステップであって、前記変換中に、前記現在ビデオブロックの第2色成分値セットが、1つ以上の参照フレームに含まれる第1色成分値セットから導出され、前記第1色成分値セットは、ビデオコーディングステップの線形モデルで使用可能である、ステップと、
前記1つ以上の参照フレームに含まれる前記第1色成分値セットが前記現在ビデオブロックの同一位置のルマブロックであると決定することに応答して、前記現在ビデオブロックの前記同一位置のルマブロックに関連付けられた1つ以上の条件に基づき、前記現在ビデオブロックの前記第2色成分値セットの導出を選択的に有効化又は無効化するステップと、
を含む方法。
【0143】
(41)前記現在ビデオブロックの前記同一位置のルマブロックに関連付けられた前記1つ以上の条件は、前記同一位置のルマブロックのパーティションサイズ、前記同一位置のルマブロックのコーディングユニットの数が閾値に達すること、前記同一位置のルマブロックの左上ルマサンプルが閾サイズに達すること、前記同一位置のルマブロックのパーティションツリーの深さ、又は対応するルマブロックが前記同一位置のルマブロックの前記左上ルマサンプルをカバーすること、又は対応するルマブロックが前記同一位置のルマブロックの前記左上ルマサンプルをカバーし更に所定のサイズの境界ボックス内に含まれること、を含む、項40に記載の方法。
【0144】
(42)前記導出を選択的に有効化又は無効化することを示す情報は、前記ビットストリーム表現に含まれる、項40に記載の方法。
【0145】
(43)前記対応するルマブロックの近隣サンプルの利用可能性は、所定の順序に従う前記近隣サンプルについてのチェックに関連付けられる、項28に記載の方法。
【0146】
(44)前記現在ビデオブロックの前記第2色成分値セットは、1つ以上の他のビデオブロックと関連して使用するために格納される、項1~43の1つ以上に記載の方法。
【0147】
(45)前記線形モデルは、クロスコンポーネント線形モデル(cross-component linear model (CCLM))に対応し、及び前記ビデオコーディングステップは、クロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))モードに対応する、項1~44の1つ以上に記載の方法。
【0148】
(46)前記現在ビデオブロックは、インターコーディングブロック、双予測コーディングブロック、又はイントラブロックコピー(IBC)コーディングブロックである、項1~45の1つ以上に記載の方法。
【0149】
(47)前記第1色成分値セットはルマサンプル値に対応し、前記第2色成分値セットはクロマスケーリング因子に対応する、項1~46の1つ以上に記載の方法。
【0150】
(48)プロセッサと命令を有する非一時的メモリとを含むビデオシステム内の機器であって、前記命令は、前記プロセッサにより実行されると、前記プロセッサに項1~47のいずれか一項に記載の方法を実施させる、機器。
【0151】
(49)非一時的コンピュータ可読媒体に格納されたコンピュータプログラムプロダクトであって、前記コンピュータプログラムプロダクトは、項1~47のいずれか一項に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラムプロダクト。
【0152】
図12は、ここに開示される種々の技術が実施され得る例示的なビデオ処理システム1200を示すブロック図である。種々の実装は、システム1200のコンポーネントの一部又は全部を含んでよい。システム1200は、ビデオコンテンツを受信する入力1202を含んでよい。ビデオコンテンツは、生(raw)又は非圧縮フォーマット、例えば8又は10ビット複数成分ピクセル値で受信されてよく、或いは圧縮又は符号化フォーマットであってよい。入力1202は、ネットワークインタフェース、周辺機器バスインタフェース、又はストレージインタフェースを表してよい。ネットワークインタフェースの例は、イーサネット(登録商標)、受動光ネットワーク(passive optical network (PON))等のような有線インタフェース、及びWi-Fi又はセルラインタフェースのような無線インタフェースを含む。
【0153】
システム1200は、本願明細書に記載された種々のコーディング又は符号化方法を実施し得るコーディングコンポーネント1204を含んでよい。コーディングコンポーネント1204は、入力1202からコーディングコンポーネント1204の出力へのビデオの平均ビットレートを低減して、ビデオのコーディング表現を生成してよい。コーディング技術は、従って、時に、ビデオ圧縮又はビデオトランスコーディング技術と呼ばれる。コーディングコンポーネント1204の出力は、コンポーネント1206により表されるように、格納されるか、又は通信接続を介して送信されてよい。入力1202で受信された、格納され又は通信されたビットストリーム(又はコーディングされた)表現は、コンポーネント1208により、ディスプレイインタフェース1210へ送信されるピクセル値又は表示可能なビデオを生成するために、使用されてよい。ビットストリーム表現からユーザに閲覧可能なビデオを生成する処理は、時に、ビデオ伸長と呼ばれる。更に、特定のビデオ処理動作は「コーディング」動作又はツールと呼ばれるが、コーディングツール又は動作は、エンコーダにおいて使用され、コーディングの結果を逆にする対応する復号ツール又は動作がデコーダにより実行されることが理解される。
【0154】
周辺機器バスインタフェース又はディスプレイインタフェースの例は、ユニバーサルシリアルバス(universal serial bus (USB))又は高解像度マルチメディアインタフェース(high definition multimedia interface (HDMI(登録商標)))又はディスプレイポート(Displayport)、等を含んでよい。ストレージインタフェースの例は、SATA(serial advanced technology attachment)、PCI、IDEインタフェース、等を含む。本願明細書に記載した技術は、移動電話機、ラップトップ、スマートフォン、又はデジタルデータ処理を実行可能な他の装置、及び/又はビデオディスプレイのような種々の電子装置に実装されてよい。
【0155】
図13は、映像メディア処理のための例示的な方法のフローチャートを示す。このフローチャートのステップは、本願明細書の第4章の例示的な実施形態7d及び7e8と関連して議論される。ステップ1302で、処理は、映像メディアデータの現在クロマビデオブロックと現在クロマビデオブロックのビットストリーム表現との間の変換を実行する。ここで、変換の間に、現在クロマビデオブロックのクロマ残差は、スケーリング係数に基づきスケーリングされ、スケーリング係数は、所定の位置に位置するルマサンプルに少なくとも基づき導出される。
【0156】
図14は、映像メディア処理のための例示的な方法のフローチャートを示す。このフローチャートのステップは、本願明細書の第4章の例示的な実施形態1と関連して議論される。ステップ1402で、処理は、映像メディアデータの現在ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換を実行する。ここで、変換の間に、現在ビデオブロックの第2色成分値セットが、クロスコンポーネント線形モデル(cross-component linear model (CCLM))及び/又はクロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))モード処理ステップを用いて、映像メディアデータの第1色成分値セットから導出される。
【0157】
図15は、映像メディア処理のための例示的な方法のフローチャートを示す。このフローチャートのステップは、本願明細書の第4章の例示的な実施形態7と関連して議論される。ステップ1502で、処理は、映像メディアデータの現在ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換を実行する。ここで、変換の間に、映像メディアデータの現在フレームに関連付けられた1つ以上の再構成サンプルは、クロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))モード処理ステップにおけるクロマ残差スケーリング因子を導出するために使用される。
【0158】
図16は、映像メディア処理のための例示的な方法のフローチャートを示す。このフローチャートのステップは、本願明細書の第4章の例示的な実施形態8と関連して議論される。ステップ1602で、処理は、映像メディアデータの現在ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換を実行する。ここで、変換の間に、参照フレーム以外の現在フレーム内にある1つ以上のルマ予測サンプル又はルマ再構成サンプルは、クロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))モード処理ステップにおけるクロマ残差スケーリング因子を導出するために使用される。
【0159】
図17は、映像メディア処理のための例示的な方法のフローチャートを示す。このフローチャートのステップは、本願明細書の第4章の例示的な実施形態11a、11b、11c及び11dと関連して議論される。ステップ1702で、処理は、現在クロマビデオブロックと現在クロマビデオブロックのビットストリーム表現との間の変換中に、同一位置のルマブロックの左上サンプルをカバーする対応するルマブロックの1つ以上の近隣ルマブロックの利用可能性をチェックする。ステップ1704で、処理は、1つ以上の近隣ルマブロックの利用可能性に基づき、対応するルマブロックの近隣ルマサンプルを検索するかどうかを決定する。ステップ1706で、処理は、該決定に基づき、スケーリング係数を導出する。ステップ1708で、処理は、スケーリング係数に基づき、現在クロマビデオブロックのクロマ残差をスケーリングして、スケーリング済みクロマ残差を生成する。ステップ1710で、処理は、スケーリング済みクロマ残差に基づき変換を実行する。
【0160】
図18は、映像メディア処理のための例示的な方法のフローチャートを示す。このフローチャートのステップは、本願明細書の第4章の例示的な実施形態11と関連して議論される。ステップ1802で、処理は、映像メディアデータの現在ビデオブロックと現在ビデオブロックのビットストリーム表現との間の変換の間に、処理ステップに関連付けられたモデルを用いて映像メディアデータの第1色成分値セットから、現在ビデオブロックの第2色成分値セットを導出する。ここで、第1色成分値セットは、同一位置のルマブロックの左上サンプルをカバーする対応するルマブロックの近隣サンプルである。
【0161】
図19は、映像メディア処理のための例示的な方法のフローチャートを示す。このフローチャートのステップは、本願明細書の第4章の例示的な実施形態12と関連して議論される。ステップ1902で、処理は、映像メディアデータの現在クロマビデオブロックと現在クロマビデオブロックのビットストリーム表現との間の変換の間に、クロスコンポーネント線形モデル(cross-component linear model (CCLM))及び/又はクロマ残差スケーリング(chroma residual scaling (CRS))の現在クロマビデオブロックへの適用を選択的に有効又は無効にすることを、現在クロマビデオブロックの同一位置のルマブロックに関連付けられた1つ以上の条件に少なくとも部分的に基づき決定する。
【0162】
図20は、映像メディア符号化のための例示的な方法のフローチャートを示す。このフローチャートのステップは、本願明細書の第4章の例示的な実施形態14と関連して議論される。ステップ2002で、処理は、映像メディアデータのビデオ領域内の現在ビデオブロックを映像メディアデータのビットストリーム表現へと符号化するために、映像メディアデータの現在ビデオブロックのクロマ成分に対する、ルマ依存クロマ残差スケーリング(chroma residual scaling (CRS))の適用を選択的に有効又は無効にする。ステップ2004で、処理は、映像メディアデータのビットストリーム表現にフィールドを含めるか除外するかの決定を行う。ここで、フィールドは、選択的に有効化又は無効化することを示し、含める場合、現在ビデオブロックに関連付けられた第1シンタックスレベル以外でシグナリングされる。
【0163】
図21は、映像メディア復号のための例示的な方法のフローチャートを示す。このフローチャートのステップは、本願明細書の第4章の例示的な実施形態14と関連して議論される。ステップ2102で、処理は、映像メディアデータのビットストリーム表現内のフィールドをパースする。ここで、フィールドは、現在ビデオブロックに関連付けられた第1シンタックスレベル以外のレベルに含まれる。ステップ2104で、処理は、ビットストリーム表現から復号ビデオ領域を生成するために、フィールドに基づき、映像メディアデータの現在ビデオブロックのクロマ成分に対する、ルマ依存クロマ残差スケーリング(chroma residual scaling (CRS))の適用を選択的に有効化又は無効化する。
【0164】
図22は、映像メディア符号化のための例示的な方法のフローチャートを示す。このフローチャートのステップは、本願明細書の第4章の例示的な実施形態15と関連して議論される。ステップ2202で、処理は、現在ビデオブロックを映像メディアデータのビットストリーム表現へと符号化するために、映像メディアデータの現在ビデオブロックに対する、クロスコンポーネント線形モデル(cross-component linear model (CCLM))の適用を選択的に有効又は無効にする。ステップ2204で、処理は、映像メディアデータのビットストリーム表現にフィールドを含めるか除外するかの決定を行う。ここで、フィールドは、選択的に有効化又は無効化することを示し、含める場合、現在ビデオブロックに関連付けられた第1シンタックスレベル以外でシグナリングされる。
【0165】
図23は、映像メディア復号のための例示的な方法のフローチャートを示す。このフローチャートのステップは、本願明細書の第4章の例示的な実施形態15と関連して議論される。ステップ2302で、処理は、映像メディアデータのビットストリーム表現内のフィールドをパースする。ここで、フィールドは、現在ビデオブロックに関連付けられた第1シンタックスレベル以外のレベルに含まれる。ステップ2304で、処理は、ビットストリーム表現から復号ビデオ領域を生成するために、フィールドに基づき、映像メディアデータの現在ビデオブロックに対する、クロスコンポーネント線形モデル (cross-component linear model (CCLM))の適用を選択的に有効化又は無効化する。
【0166】
本願明細書で議論される幾つかの実施形態は、項に基づくフォーマットでいかに提示される。
【0167】
(Y1)映像メディア処理の方法であって、
現在クロマビデオブロックと前記現在クロマビデオブロックのビットストリーム表現との間の変換の間に、同一位置のルマブロックの左上サンプルをカバーする対応するルマブロックの1つ以上の近隣ルマブロックの利用可能性をチェックするステップと、
1つ以上の近隣ルマブロックの前記利用可能性に基づき、前記対応するルマブロックの近隣ルマサンプルを検索するかどうかを決定するステップと、
決定する前記ステップに基づき、スケーリング係数を導出するステップと、
前記スケーリング係数に基づき、前記現在クロマビデオブロックのクロマ残差をスケーリングして、スケーリング済みクロマ残差を生成するステップと、
前記スケーリング済みクロマ残差に基づき、前記変換を実行するステップと、
を含む方法。
【0168】
(Y2)前記1つ以上の近隣ルマブロックは、左近隣ルマブロック及び上近隣ルマブロックを含む、項Y1に記載の方法。
【0169】
(Y3)前記近隣ルマサンプルは、前記対応するルマブロックの1つ以上の左近隣サンプル列及び/又は1つ以上の上近隣サンプル行を含む、項Y1に記載の方法。
【0170】
(Y4)前記1つ以上の近隣ルマブロックが利用可能な場合に、前記スケーリング係数を導出するために、前記近隣ルマサンプルは、検索され、丸め込みに基づき平均化される、項Y1又はY3に記載の方法。
【0171】
(Y5)前記近隣ルマサンプルが検索され、前記近隣ルマサンプルの中央値は、前記1つ以上の近隣ルマブロックが利用可能な場合に前記スケーリング係数を導出するために使用される、項Y1又はY3に記載の方法。
【0172】
(Y6)近隣ルマサンプルの数はNであり、ここで、1<=N<=2W+2H、W及びHは前記対応するルマブロックの幅及び高さである、項Y3に記載の方法。
【0173】
(Y7)1つ以上の近隣ルマブロックの利用可能性は、現在ピクチャ、タイル、タイルグループ、仮想パイプラインデータユニット(VPDU)、又はスライスに基づき決定される、項Y1又はY2に記載の方法。
【0174】
(Y8)前記1つ以上の近隣ルマブロックは、前記1つ以上の近隣ブロックが異なるピクチャ、異なるタイル、異なるタイルグループ、異なるVPDU、又は異なるスライスに位置する場合に、利用不可能である、項Y7に記載の方法。
【0175】
(Y9)前記対応する前記近隣ルマサンプルは、前記1つ以上の近隣ルマブロックが利用不可能である場合に検索からスキップされる、項Y1に記載の方法。
【0176】
(Y10)前記スケーリング係数は、前記対応する前記近隣ルマサンプルが検索からスキップされる場合に、導出される、項Y9に記載の方法。
【0177】
(Y11)前記スケーリング係数は、デフォルト値に基づき導出される、項Y10に記載の方法。
【0178】
(Y12)前記デフォルト値は、前記現在クロマビデオブロック及び前記同一位置のルマブロックのビット深さに基づく、項Y11に記載の方法。
【0179】
(Y13)前記デフォルト値は、1<<(bitDepth-1)として表され、bitDepthは前記現在クロマビデオブロック及び前記同一位置のルマブロックの前記ビット深さを示す、項Y12に記載の方法。
【0180】
(Y14)前記近隣ルマサンプルは、順方向マッピングに基づき再構成される、項Y1に記載の方法。
【0181】
(X1)映像メディア処理の方法であって、映像メディアデータの現在クロマビデオブロックと前記現在クロマビデオブロックのビットストリーム表現との間の変換を実行するステップを含み、前記変換の間に、前記現在クロマビデオブロックのクロマ残差は、スケーリング係数に基づきスケーリングされ、前記スケーリング係数は、所定の位置に位置するルマサンプルに少なくとも基づき導出される、方法。
【0182】
(X2)前記スケーリング係数は、前記所定の位置にある前記ルマサンプルに適用される関数を用いて計算される、項X1に記載の方法。
【0183】
(X3)前記関数は、中央値関数又は丸め込みに基づく平均値関数である、項X1に記載の方法。
【0184】
(X4)前記所定の位置は、前記現在クロマビデオブロックに対応する同一位置のルマブロックに基づき決定される、項X1に記載の方法。
【0185】
(A1)映像メディア処理の方法であって、
映像メディアデータの現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換を実行するステップであって、前記変換の間に、前記現在ビデオブロックの第2色成分値セットが、クロスコンポーネント線形モデル(cross-component linear model (CCLM))及び/又はクロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))モード処理ステップを用いて、前記映像メディアデータの第1色成分値セットから導出される、ステップを含む方法。
【0186】
(A2)前記第1色成分値セットは、前記現在ビデオブロックの参照サンプルであり、前記第2色成分値セットは、前記LMCSモードにおけるクロマ残差スケーリング因子である、項A1に記載の方法。
【0187】
(A3)前記参照サンプルは、クロマ残差スケーリング因子を導出する前に補間される参照ルマサンプルである、項A2に記載の方法。
【0188】
(A4)前記第1色成分値セットは、異なる参照フレームに含まれる参照サンプルである、項A1に記載の方法。
【0189】
(A5)参照サンプルの位置は、前記現在ビデオブロック内の対応するルマ成分値の位置、及び前記現在ビデオブロックの動き情報から計算される、項A1~A4に記載の方法。
【0190】
(A6)前記対応するルマ成分値の位置は、前記現在ビデオブロックの左上サンプル、中央サンプル、又は右下サンプルである、項A5に記載の方法。
【0191】
(A7)前記現在ビデオブロックの前記動き情報は、整数動きベクトル又は分数動きベクトルに対応する、項A6に記載の方法。
【0192】
(A8)前記分数動きベクトルは、参照フレーム内の分数ルマ成分値を用いて導出される、項A7に記載の方法。
【0193】
(A9)前記整数動きベクトルは、ゼロに向かって又はゼロから離れるよう丸め込むことにより、導出される、項A7に記載の方法。
【0194】
(A10)前記第1色成分値セットは、前記映像メディアデータの所定の参照フレームに含まれる、項A1~A2の1つ以上に記載の方法。
【0195】
(A11)前記第1色成分値セットの中央値又は平均値は、前記現在ビデオブロックの前記第2色成分値セットを導出するために使用される、項A1~A10の1つ以上に記載の方法。
【0196】
(A12)前記所定の参照フレームは、参照ピクチャリストの参照インデックスを有するフレームを含む、項A10に記載の方法。
【0197】
(A13)前記参照インデックスは0であり、前記参照ピクチャリストは0である、項A12に記載の方法。
【0198】
(A14)前記第1色成分値セットは、前記映像メディアデータの複数の参照フレームに含まれ、前記第1色成分値セットの重み付き組合せが、前記第2色成分値セットを導出するために使用される、項A1~A2の1つ以上に記載の方法。
【0199】
(A15)前記参照インデックス及び/又は前記参照ピクチャリストは、以下:シーケンス、ピクチャのグループ、ピクチャ、タイル、タイルグループ、スライス、サブピクチャ、コーディングツリーユニット行、コーディングツリーユニット、仮想パイプラインデータユニット(virtual pipeline data unit (VPDU))又はビデオブロック、のうちの1つ以上に関連付けられた前記ビットストリーム表現内のフィールドとしてシグナリングされる、項A13に記載の方法。
【0200】
(A16)前記現在ビデオブロックの前記第2色成分値セットは、前記現在ビデオブロックが双予測コーディングブロックであるかどうかに基づき、前記第1色成分値セットから選択的に導出される、項A1に記載の方法。
【0201】
(A17)前記現在ビデオブロックの前記第2色成分値セットは、前記第1色成分値セットに関連付けられた各予測方向について個別に導出される、項A16に記載の方法。
【0202】
(A18)前記現在ビデオブロックの前記第2色成分値セットは、前記現在ビデオブロックがサブブロックに基づく予測に関連付けられるかどうかに基づき、前記第1色成分値セットから選択的に導出される、項A1に記載の方法。
【0203】
(A19)前記サブブロックに基づく予測は、アフィン予測又は高度時間動きベクトル予測(alternative temporal motion vector prediction (ATMVP))に対応する、項A18に記載の方法。
【0204】
(A20)前記現在ビデオブロックの前記第2色成分値セットは、個々のサブブロックについて導出される、項A18~A19の1つ以上に記載の方法。
【0205】
(A21)前記現在ビデオブロックの前記第2色成分値セットは、前記サブブロックに基づく予測と無関係に、前記現在ビデオブロックの全体について導出される、項A18~A19の1つ以上に記載の方法。
【0206】
(A22)前記第1色成分値セットは、前記現在ビデオブロックのサブブロックの動きベクトルに少なくとも部分的に基づき選択される、項A18~A21の1つ以上に記載の方法。
【0207】
(A23)前記現在ビデオブロックのサブブロックに関連付けられた動きベクトルは、前記第1色成分値セットを選択するために使用される、項A18~A21の1つ以上に記載の方法。
【0208】
(A24)前記第1色成分値セットは、中間色成分値である、項A1~A23の1つ以上に記載の方法。
【0209】
(A25)前記LMCSモード処理ステップは、別の後続の処理ステップより先行する、項A1~A24の1つ以上に記載の方法。
【0210】
(A26)前記第1色成分値セットは、前記現在ビデオブロック又は前記現在ビデオブロックのサブブロックの中間動きベクトルに少なくとも部分的に基づき選択され、前記中間動きベクトルは、前記別のビデオコーディングステップの前に計算される、項A25に記載の方法。
【0211】
(A27)前記別の処理ステップは、以下:双方向オプティカルフロー(Bi-Directional Optical Flow (BDOF))ステップ、デコーダ側動きベクトル精緻化(decoder-side motionectorefinement(DMVR))ステップ、又は予測精緻化オプティカルフロー(prediction refinement optical flow (PROF))ステップ、のうちの1又は組合せを含む、項A26に記載の方法。
【0212】
(A28)映像メディア処理の方法であって、
映像メディアデータの現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換を実行するステップであって、前記変換の間に、前記映像メディアデータの現在フレームに関連付けられた1つ以上の再構成サンプルは、クロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))モード処理ステップにおけるクロマ残差スケーリング因子を導出するために使用される、ステップを含む方法。
【0213】
(A29)前記現在ビデオブロックはイントラブロックコピー(intra block copy (IBC))コーディングされる、項A28に記載の方法。
【0214】
(A30)前記1つ以上の再構成サンプルは、前記現在フレームに関連付けられた参照ブロック内の参照サンプルである、項A28に記載の方法。
【0215】
(A31)前記1つ以上の再構成サンプルは予め定められる、項A28に記載の方法。
【0216】
(A32)前記1つ以上の再構成サンプルは、前記現在ビデオブロックの対応するルマブロックをカバーするブロックに隣接する上の行及び左の列に位置する再構成ルマサンプルである、項A31に記載の方法。
【0217】
(A33)前記1つ以上の再構成サンプルの位置は、前記現在ビデオブロックの対応するルマブロックの位置、及び前記現在ビデオブロックの動き情報に基づく、項A28に記載の方法。
【0218】
(A34)映像メディア処理の方法であって、
映像メディアデータの現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換を実行するステップであって、前記変換の間に、参照フレーム以外の現在フレーム内にある1つ以上のルマ予測サンプル又はルマ再構成サンプルは、クロマスケーリングによるルママッピング(luma mapping with chroma scaling (LMCS))モード処理ステップにおけるクロマ残差スケーリング因子を導出するために使用される、ステップを含む方法。
【0219】
(A35)前記1つ以上のルマ予測サンプル又はルマ再構成サンプルは、対応するルマブロックをカバーするM×Nルマブロックの近隣領域に位置する、項A34に記載の方法。
【0220】
(A36)前記対応するルマブロックは前記現在ビデオブロックの同一位置のルマブロックである、項A35に記載の方法。
【0221】
(A37)M及びNの積は、前記現在ビデオブロックの前記同一位置のルマブロックのブロック幅及びブロック高さの積より小さい、項A36に記載の方法。
【0222】
(A38)M及びNは、前記現在ビデオブロックの前記同一位置のルマブロックをカバーするビデオブロックの所定の幅及び所定の高さである、項A36に記載の方法。
【0223】
(A39)M及びNは、前記現在ビデオブロックの前記同一位置のルマブロックをカバーする仮想パイプラインデータユニット(virtual pipeline data unit (VPDU))の幅及び高さである、項A36に記載の方法。
【0224】
(A40)前記変換の間に、前記参照サンプルは、直接使用され、又は導出で使用する前にダウンサンプリングされる、項A1~A39の1つ上に記載の方法。
【0225】
(A41)クロマ残差スケーリング因子を導出する際に使用されるサンプルは、前記現在ビデオブロックの以下の情報:量子化パラメータ、コーディングモード、又はピクチャオーダカウント(picture order count (POC))、のうちの1つ以上に少なくとも部分的に基づき選択される、項A1~A40の1つ以上に記載の方法。
【0226】
(A42)前記現在ビデオブロックは、インターコーディングブロック、イントラコーディングブロック、双予測コーディングブロック、又はイントラブロックコピー(IBC)コーディングブロックである、項A1~A41の1つ以上に記載の方法。
【0227】
(A43)前記第1色成分値セットはルマサンプル値に対応し、前記第2色成分値セットは前記現在ビデオブロックのクロマスケーリング因子に対応する、項A1~A42の1つ以上に記載の方法。
【0228】
(A44)前記変換は、前記現在ビデオブロックから前記ビットストリーム表現を生成することを含む、項A1~A43の1つ以上に記載の方法。
【0229】
(A45)前記変換は、前記ビットストリーム表現から前記現在ビデオブロックのピクセル値を生成することを含む、項A1~A43の1つ以上に記載の方法。
【0230】
(A46)項A1~A45の1つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオエンコーダ機器。
【0231】
(A47)項A1~A45の1つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオデコーダ機器。
【0232】
(A48)格納されたコードを有するコンピュータ可読媒体であって、前記コードは、項A1~A38のうちの1つ以上に記載の方法を実施するためのプロセッサ実行可能命令を具現化する、コンピュータ可読媒体。
【0233】
(B1)映像メディア処理の方法であって、
映像メディアデータの現在ビデオブロックと前記現在ビデオブロックのビットストリーム表現との間の変換の間に、処理ステップに関連付けられたモデルを用いて前記映像メディアデータの第1色成分値セットから、前記現在ビデオブロックの第2色成分値セットを導出するステップであって、前記第1色成分値セットは、同一位置のルマブロックの左上サンプルをカバーする対応するルマブロックの近隣サンプルである、ステップ、
を含む方法。
【0234】
(B2)前記現在ビデオブロックは、デュアルツリーパーティションを有するイントラコーディングビデオブロック、又はシングルツリーパーティションを有するイントラコーディングビデオブロック、又はシングルツリーパーティションを有するインターコーディングビデオブロック、のうちの1つである、項B1に記載の方法。
【0235】
(B3)前記第1色成分値セットは、少なくとも、前記対応するルマブロックの外部の位置で識別された参照サンプルの位置に対応する、項B1~B2の1つ以上に記載の方法。
【0236】
(B4)前記対応するルマブロックの外部の位置で識別された参照サンプルの前記一部は、前記対応するルマコーディングブロックに隣接するサンプルを含む、項B3に記載の方法。
【0237】
(B5)前記対応するルマコーディングブロックに隣接する前記サンプルは、前記対応するルマコーディングブロックの左近隣列及び/又は上近隣行に位置するN個のサンプルを含み、N=1…2W+2H、W及びHは前記対応するルマコーディングブロックの幅及び高さである、項B4に記載の方法。
【0238】
(B6)上近隣ルマサンプルは、前記同一位置のルマブロックの左上サンプルが(xCb,yCb)に位置するとき、(xCb+W/2,yCb-1)又は(xCb-1,yCb-1)に位置する、項B5に記載の方法。
【0239】
(B7)左近隣ルマサンプルは、前記同一位置のルマブロックの左上サンプルが(xCb,yCb)に位置するとき、(xCb+W-1,yCb-1)に位置する、項B5に記載の方法。
【0240】
(B8)前記対応するルマブロックの外部の位置で識別された参照サンプルの前記一部は、所定の位置にある、項B4に記載の方法。
【0241】
(B9)前記現在ビデオブロックの前記第2色成分値セットは、前記対応するルマコーディングブロックの左近隣列及び/又は上近隣行に位置するN個のサンプルの中央値又は算術平均に基づき導出される、項B4に記載の方法。
【0242】
(B10)前記現在ビデオブロックの前記第2色成分値セットは、前記対応するルマブロックの近隣サンプルの利用可能性に基づき、前記第1色成分値セットから選択的に導出される、項B1~B2の1つ以上に記載の方法。
【0243】
(B11)前記対応するルマブロックの前記近隣サンプルの前記利用可能性は、前記現在ビデオブロックのコーディングモードの使用、前記対応するルマブロックの前記近隣サンプルのコーディングモードの使用、前記対応するルマブロックの前記近隣サンプルに関連付けられたフィルタのタイプの使用、前記現在ブロック又はそのサブブロックに対する前記対応するルマブロックの前記近隣サンプルの位置、現在ピクチャ/サブピクチャ/タイル/タイルグループ/VPDU/スライスの幅、及び/又は現在ピクチャ/サブピクチャ/タイル/タイルグループ/VPDU/スライス/コーディングツリーユニット(CTU)行の高さ、のうちの1つ以上に基づく、項B10に記載の方法。
【0244】
(B12)前記対応するルマブロックの前記近隣サンプルの前記利用可能性の欠如を決定することに応答して、利用不可能なサンプルを他のサンプルで置き換え、フィルタリングし、又はパディングするステップ、を更に含む項B10に記載の方法。
【0245】
(B13)前記対応するルマブロックの前記近隣サンプルの前記利用可能性の前記欠如は、前記現在ビデオブロックのコーディングモードがインターモードであるとき、前記近隣サンプルの前記コーディングモードがイントラモード及び/又はイントラブロックコピー(IBC)モード及び/又は結合インターイントラ予測(CIIP)モード及び/又は局所輝度補償(LIC)モードであるという決定に少なくとも部分的に基づく、項B12に記載の方法。
【0246】
(B14)前記対応するルマブロックの前記近隣サンプルの前記利用可能性の前記欠如は、前記現在ビデオブロックのコーディングモードがインターモードであるとき、前記近隣サンプルが拡散フィルタ及び/又はバイラテラルフィルタ及び/又はアダマール変換フィルタを実施されるという決定に少なくとも部分的に基づく、項B12に記載の方法。
【0247】
(B15)前記対応するルマブロックの前記近隣サンプルの前記利用可能性の前記欠如は、近隣ブロックが前記現在ビデオブロックに関連付けられた現在ピクチャ/サブピクチャ/タイル/タイルグループ/VPDU/スライス/コーディングツリーユニット(CTU)行の外部に位置するという決定に少なくとも部分的に基づく、項B12に記載の方法。
【0248】
(B16)前記対応するルマブロックの前記近隣サンプルの前記利用可能性の前記欠如の決定に応答して、前記第1色成分値セットからの前記現在ビデオブロックの前記第2色成分値セットの導出を無効にするステップ、を更に含む項B12~B15の1つ以上に記載の方法。
【0249】
(B17)利用可能な近隣サンプルの数が閾値より小さいという決定に応答して、前記第1色成分値セットからの前記現在ビデオブロックの前記第2色成分値セットの導出を無効にするステップ、を更に含む項B10に記載の方法。
【0250】
(B18)前記閾値は1である、項B17に記載の方法。
【0251】
(B19)近隣サンプルが利用可能ではないと決定された場合、前記近隣サンプルは1<<(bitDepth-1)個のサンプルにより満たされ、bitDepthは第1色成分値セットのサンプル又は第2色成分値セットのサンプルのビット深さを示す、項B12に記載の方法。
【0252】
(B20)近隣サンプルが利用可能ではないと決定された場合、前記近隣サンプルは、所定のチェック順序に従い、第1利用可能隣接サンプルにより置き換えられる、項B12に記載の方法。
【0253】
(B21)近隣サンプルが利用可能ではないと決定された場合、前記近隣サンプルは、左近隣サンプル、右近隣サンプル、上近隣サンプル、又は下近隣サンプル、のうちの1つ以上を用いてパディングされる、項B13に記載の方法。
【0254】
(B22)前記現在ビデオブロックの前記第2色成分値セットの導出において使用される前記対応するルマブロックの近隣のサンプルに円滑化フィルタを適用するステップ、を更に含む項B10に記載の方法。
【0255】
(B23)前記円滑化フィルタは、以下:バイラテラルフィルタ、アダマール変換フィルタ、又はリシェーパドメインの順方向マッピング、のうちの1つ以上を含む、項B22に記載の方法。
【0256】
(B24)前記現在ビデオブロックの前記第2色成分値セットは、1つ以上の他のビデオブロックと関連して使用されるために格納される、項B1~B23の1つ以上に記載の方法。
【0257】
(B25)前記モデルは、クロスコンポーネント線形モデル(CCLM)に対応し、及び/又は前記処理ステップは、クロマスケーリングによるルママッピング(LMCS)モードに対応する、項B1~B23の1つ以上に記載の方法。
【0258】
(B26)前記現在ビデオブロックは、イントラコーディングブロック、インターコーディングブロック、双予測コーディングブロック、又はイントラブロックコピー(IBC)コーディングブロックである、項B1~B23の1つ以上に記載の方法。
【0259】
(B27)前記第1色成分値セットはルマサンプル値に対応し、前記第2色成分値セットは前記現在ビデオブロックのクロマスケーリング因子に対応する、項B1~B23の1つ以上に記載の方法。
【0260】
(B28)前記変換は、前記現在ビデオブロックから前記ビットストリーム表現を生成することを含む、項B1~B23の1つ以上に記載の方法。
【0261】
(B29)前記変換は、前記ビットストリーム表現から前記現在ビデオブロックのピクセル値を生成することを含む、項B1~B23の1つ以上に記載の方法。
【0262】
(B30)項B1~B23の1つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオエンコーダ機器。
【0263】
(B31)項B1~B23の1つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオデコーダ機器。
【0264】
(B32)格納されたコードを有するコンピュータ可読媒体であって、前記コードは、項B1~B23のうちの1つ以上に記載の方法を実施するためのプロセッサ実行可能命令を具現化する、コンピュータ可読媒体。
【0265】
(C1)映像メディア処理の方法であって、
映像メディアデータの現在クロマビデオブロックと前記現在クロマビデオブロックのビットストリーム表現との間の変換の間に、クロスコンポーネント線形モデル(cross-component linear model (CCLM))及び/又はクロマ残差スケーリング(chroma residual scaling (CRS))の現在クロマビデオブロックへの適用を選択的に有効又は無効にすることを、現在クロマビデオブロックの同一位置のルマブロックに関連付けられた1つ以上の条件に少なくとも部分的に基づき決定する、ステップを含む方法。
【0266】
(C2)前記現在クロマビデオブロックの前記同一位置のルマブロックに関連付けられた前記1つ以上の条件は、前記同一位置のルマブロックのパーティションサイズ、前記同一位置のルマブロックのコーディングユニットの数が閾値に達すること、前記同一位置のルマブロックの左上ルマサンプルが閾サイズに達すること、前記同一位置のルマブロックのパーティションツリーの深さ、対応するルマブロックが前記同一位置のルマブロックの前記左上ルマサンプルをカバーすること、対応するルマブロックが前記同一位置のルマブロックの前記左上ルマサンプルをカバーし更に所定のサイズの境界ボックス内に含まれること、同一位置のルマブロックの少なくとも1つのサンプルをカバーする1又は複数のコーディングユニット(coding unit (CU))のコーディングモード、及び/又は現在クロマビデオブロックの寸法、を含む、項C1に記載の方法。
【0267】
(C3)前記CCLM及び/又はCRSの前記現在クロマビデオブロックへの適用は、前記現在クロマビデオブロックの前記同一位置のルマブロックが複数のパーティションに分割されると決定することに応答して無効化される、項C1~C2の1つ以上に記載の方法。
【0268】
(C4)前記CCLM及び/又はCRSの前記現在クロマビデオブロックへの適用は、前記現在クロマビデオブロックの前記同一位置のルマブロックが複数のパーティションに分割されないと決定することに応答して有効化される、項C1~C2の1つ以上に記載の方法。
【0269】
(C5)前記CCLM及び/又はCRSの前記現在クロマビデオブロックへの適用は、前記現在クロマビデオブロックの前記同一位置のルマブロックが閾数のコーディングユニット及び/又は閾数のパーティションユニット及び/又は閾数の変換ユニットのうちの1つより多くを含むと決定することに応答して無効化される、項C1~C2の1つ以上に記載の方法。
【0270】
(C6)前記閾数は1である、項C5に記載の方法。
【0271】
(C7)前記閾数は、前記CCLM及び/又は前記CRSが適用されるかどうかに少なくとも部分的に基づく、項C5に記載の方法。
【0272】
(C8)前記閾数は固定されるか又は前記ビットストリーム表現に含まれる、項C5に記載の方法。
【0273】
(C9)前記閾数は、前記現在クロマビデオブロックに関連付けられたプロファイル/レベル/ティアに少なくとも部分的に基づく、項C5に記載の方法。
【0274】
(C10)前記コーディングユニット及び/又は前記パーティションユニット及び/又は前記変換ユニットは、全部、前記同一位置のルマブロック内に位置する、項C5に記載の方法。
【0275】
(C11)前記コーディングユニット及び/又は前記パーティションユニット及び/又は前記変換ユニットは、部分的に、前記同一位置のルマブロック内に位置する、項C5に記載の方法。
【0276】
(C12)前記コーディングユニット及び/又は前記パーティションユニット及び/又は前記変換ユニットは、部分的に、前記同一位置のルマブロックの境界に沿って位置する、項C11に記載の方法。
【0277】
(C13)コーディングユニット及び/又は前記パーティションユニット及び/又は前記変換ユニットは、サブブロックに基づく予測に関連付けられる、項C5に記載の方法。
【0278】
(C14)前記サブブロックに基づく予測は、イントラサブパーティション(Intra Sub-Partitions (ISP))又はアフィン予測又は高度時間動きベクトル予測(alternative temporal motion vector prediction (ATMVP))に対応する、項C13に記載の方法。
【0279】
(C15)前記CCLM及び/又は前記CRSの前記現在クロマビデオブロックへの適用は、前記同一位置のルマブロックの左上ルマサンプルをカバーするコーディングユニット及び/又はパーティションユニット及び/又は変換ユニットが所定のブロックサイズより大きいと決定することに応答して無効化される、項C1~C2の1つ以上に記載の方法。
【0280】
(C16)前記同一位置のルマブロックは、32×32のサイズであり、サイズ64×64の対応するルマブロック内に含まれ、前記所定のルマブロックサイズは32×64である、項C15に記載の方法。
【0281】
(C17)前記CCLM及び/又は前記CRSの前記現在クロマビデオブロックへの適用は、前記現在クロマビデオブロックの前記同一位置のルマブロックが分割されず、前記同一位置のルマブロックの前記左上ルマサンプルをカバーする前記対応するルマブロックが完全に所定のサイズの前記境界ボックス内に含まれると決定することに応答して有効化される、項C2に記載の方法。
【0282】
(C18)前記対応するブロックは32×64のサイズであり、前記境界ボックスは40×70のサイズである、項C17に記載の方法。
【0283】
(C19)前記境界ボックスの前記所定のサイズは、前記現在クロマビデオブロックに関連付けられたコーディングツリーユニット(coding tree unit (CTU))のサイズ、及び/又は前記現在クロマビデオブロックに関連付けられたコーディングユニット(coding unit (CU))のサイズに部分的に基づく、項C17に記載の方法。
【0284】
(C20)前記現在クロマビデオブロックの前記同一位置のルマブロックは複数のパーティションに分割され、前記複数のパーティションのうちの1つ以上の内部にある予測サンプル又は再構成サンプルは、前記現在クロマビデオブロックの前記CRSに関連付けられた値を導出するために使用される、項C1~C2の1つ以上に記載の方法。
【0285】
(C21)前記現在クロマビデオブロックの前記同一位置のルマブロックの第1パーティションの内部の前記予測サンプル又は前記再構成サンプルの平均は、前記現在クロマビデオブロックの前記CRSに関連付けられた前記値を導出するために使用される、項C20に記載の方法。
【0286】
(C22)前記現在クロマビデオブロックの前記同一位置のルマブロックの第1パーティションの内部の左上予測サンプル又は左上再構成サンプルは、前記現在クロマビデオブロックの前記CRSに関連付けられた前記値を導出するために使用される、項C20に記載の方法。
【0287】
(C23)前記現在クロマビデオブロックの前記同一位置のルマブロックの第1パーティションの内部の中央予測サンプル又は中央再構成サンプルは、前記現在クロマビデオブロックの前記色成分値を導出するために使用される、項C20に記載の方法。
【0288】
(C24)前記CCLM及び/又は前記CRSの前記現在クロマビデオブロックへの適用は、前記同一位置のルマブロックの前記少なくとも1つのサンプルをカバーする前記1又は複数のコーディングユニット(coding unit (CU))の前記コーディングモードが、アフィンモード、双予測モード、双方向オプティカルフロー(Bi-Directional Optical Flow (BDOF))モード、DMVRモード、マトリクスアフィン予測モード、インターモード、又はイントラサブパーティション(Intra Sub-Partitions (ISP))モード、のうちの1つであると決定することに応答して無効化される、項C2に記載の方法。
【0289】
(C25)前記同一位置のルマブロックの前記少なくとも1つのサンプルをカバーする前記1又は複数のコーディングユニット(coding unit (CU))は、前記対応するルマブロックである、項C2に記載の方法。
【0290】
(C26)前記ビットストリーム表現内のフィールドに基づき、前記CCLM及び/又は前記CRSが前記現在クロマビデオブロックに対して選択的に有効化又は無効化されることを示すステップ、を更に含む項C1~C25の1つ以上に記載の方法。
【0291】
(C27)前記CCLM及び/又は前記CRSの前記現在クロマビデオブロックへの適用を選択的に有効化又は無効化することは、前記現在クロマビデオブロックの1つ以上のサブブロックに対して実行される、項C1~C26の1つ以上に記載の方法。
【0292】
(C28)前記現在クロマビデオブロックの前記1つ以上のサブブロックは、2×2又は4×4のサイズである、項C27に記載の方法。
【0293】
(C29)前記CCLM及び/又は前記CRSの適用は、前記現在クロマビデオブロックの前記対応するルマコーディングブロックがサブブロックの対応するブロックの全部のサンプルをカバーするとき、前記現在クロマビデオブロックの前記サブブロックについて有効化される、項C27に記載の方法。
【0294】
(C30)前記CCLM及び/又は前記CRSの適用は、サブブロックの対応するブロックの全部のサンプルが前記対応するルマコーディングブロックによりカバーされないとき、前記現在クロマビデオブロックの前記サブブロックについて無効化される、項C27に記載の方法。
【0295】
(C31)前記CCLM及び/又は前記CRSのパラメータは、前記現在クロマビデオブロックの各サブブロックに関連付けられる、項C27に記載の方法。
【0296】
(C32)前記CCLM及び/又は前記CRSの前記現在クロマビデオブロックのサブブロックへの適用を選択的に有効化又は無効化することは、前記同一位置のルマブロック内に含まれるサンプルに基づく、項C27に記載の方法。
【0297】
(C33)前記現在クロマビデオブロックは、インターコーディングブロック、イントラコーディングブロック、双予測コーディングブロック、又はイントラブロックコピー(IBC)コーディングブロックである、項C1~C32の1つ以上に記載の方法。
【0298】
(C34)前記変換は、前記現在クロマビデオブロックから前記ビットストリーム表現を生成することを含む、項C1~C33の1つ以上に記載の方法。
【0299】
(C35)前記変換は、前記ビットストリーム表現から前記現在クロマビデオブロックのピクセル値を生成することを含む、項C1~C33の1つ以上に記載の方法。
【0300】
(C36)項C1~C33の1つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオエンコーダ機器。
【0301】
(C37)項C1~C33の1つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオデコーダ機器。
【0302】
(C38)格納されたコードを有するコンピュータ可読媒体であって、前記コードは、項C1~C33のうちの1つ以上に記載の方法を実施するためのプロセッサ実行可能命令を具現化する、コンピュータ可読媒体。
【0303】
(D1)映像メディア符号化の方法であって、
映像メディアデータのビデオ領域内の現在ビデオブロックを前記映像メディアデータのビットストリーム表現へと符号化するために、前記映像メディアデータの前記現在ビデオブロックのクロマ成分に対するルマ依存クロマ残差スケーリング(chroma residual scaling (CRS))の適用を選択的に有効又は無効にするステップと、
前記映像メディアデータの前記ビットストリーム表現にフィールドを含む又は除外することを決定するステップであって、前記フィールドは、前記の選択的に有効又は無効にすることを示し、含まれる場合には前記現在ビデオブロックに関連付けられた第1シンタックスレベル以外でシグナリングされる、ステップと、を含む方法。
【0304】
(D2)映像メディア復号の方法であって、
映像メディアデータのビットストリーム表現内のフィールドをパースするステップであって、前記フィールドは、現在ビデオブロックに関連付けられた第1シンタックスレベル以外のレベルに含まれる、ステップと、
前記フィールドに基づき、前記ビットストリーム表現から復号ビデオ領域を生成するために、映像メディアデータの前記現在ビデオブロックのクロマ成分に対するルマ依存クロマ残差スケーリング(chroma residual scaling (CRS))の適用を選択的に有効又は無効にするステップと、を含む方法。
【0305】
(D3)前記第1シンタックスレベルはタイルグループヘッダレベルであり、前記フィールドは、前記現在ビデオブロックに関連付けられたシーケンスパラメータセット(sequence parameter set (SPS))、前記現在ビデオブロックに関連付けられたタイル、前記現在ビデオブロックに関連付けられたコーディングツリーユニット(coding tree unit (CTU))行、前記現在ビデオブロックに関連付けられたコーディングツリーユニット(coding tree unit (CTU))、前記現在ビデオブロックに関連付けられた仮想パイプラインデータユニット(virtual pipeline data unit (VPDU))、又は前記現在ビデオブロックに関連付けられたコーディングユニット(coding unit (CU))、のうちの1つに含まれる、項D1~D2の1つ以上に記載の方法。
【0306】
(D4)前記フィールドは、chroma_residual_scale_flagとして示されるフラグである、項D1~D3の1つ以上に記載の方法。
【0307】
(D5)前記フィールドはシンタックスレベルに関連付けられ、前記フィールドが1であれば、前記シンタックスレベルより下の前記ルマ依存クロマ残差スケーリングの適用が有効化され、前記フィールドが0であれば、前記シンタックスレベルより下の前記ルマ依存クロマ残差スケーリングの適用が無効化される、項D1~D4の1つ以上に記載の方法。
【0308】
(D6)前記フィールドはパーティションノードレベルに関連付けられ、前記フィールドが1であれば、前記パーティションノードレベルより下の前記ルマ依存クロマ残差スケーリングの適用が有効化され、前記フィールドが0であれば、前記パーティションノードレベルより下の前記ルマ依存クロマ残差スケーリングの適用が無効化される、項D5に記載の方法。
【0309】
(D7)前記フィールドは閾寸法(dimension)に関連付けられ、前記フィールドが1であれば、前記閾寸法以上のビデオブロックについて前記ルマ依存クロマ残差スケーリングの適用が有効化され、前記フィールドが0であれば、前記閾寸法より下のビデオブロックについて前記ルマ依存クロマ残差スケーリングの適用が無効化される、項D1~D4の1つ以上に記載の方法。
【0310】
(D8)前記閾寸法は32×32である、項D7に記載の方法。
【0311】
(D9)前記フィールドは前記ビットストリーム表現の中でシグナリングされず、前記ビットストリーム表現内に前記フィールドが存在しないことは、前記ルマ依存クロマ残差スケーリングの適用が無効化されると推定するために使用され、前記フィールドは0であると推定される、項D1~D8の1つ以上に記載の方法。
【0312】
(D10)前記現在ビデオブロックの前記ルマ依存CRSに関連付けられた値は、1つ以上の他のビデオブロックと関連して使用されるために格納される、項D1~D9の1つ以上に記載の方法。
【0313】
(D11)前記ルマ依存CRSに関連付けられた前記値は、ルマブロックの符号化又は復号の後に導出される、項D10に記載の方法。
【0314】
(D12)前記ルマブロック内で、予測サンプル及び/又は中間予測サンプル及び/又は再構成サンプル及び/又はループフィルタリングの前の再構成サンプルは、前記ルマ依存CRSに関連付けられた前記値を導出するために使用される、項D11に記載の方法。
【0315】
(D13)前記ループフィルタリングは、デブロッキングフィルタ及び/又はサンプル適応オフセット(sample adaptive offset (SAO))フィルタ及び/又はバイラテラルフィルタ及び/又はアダマール変換フィルタ及び/又は適応ループフィルタ(adaptive loop filter (ALF))、の使用を含む、項D12に記載の方法。
【0316】
(D14)前記ルマブロックの下の行及び/又は右の列の中のサンプルは、前記ルマ依存CRSに関連付けられた前記値を導出するために使用される、項D11に記載の方法。
【0317】
(D15)近隣ブロックに関連付けられたサンプルは、前記ルマ依存CRSに関連付けられた前記値を導出するために使用される、項D11に記載の方法。
【0318】
(D16)前記現在ビデオブロックは、イントラコーディングブロック、インターコーディングブロック、双予測コーディングブロック、又はイントラブロックコピー(IBC)コーディングブロックである、項D15に記載の方法。
【0319】
(D17)前記近隣ブロックに関連付けられたサンプルの利用可能性は、所定の順序に従いチェックされる、項D15に記載の方法。
【0320】
(D18)前記現在ビデオブロックに対する前記所定の順序は、左から右、左上から右上、左から上、左上から右上、上から左、右上から左上、のうちの1つである、項D17に記載の方法。
【0321】
(D19)前記現在ビデオブロックに対する前記所定の順序は、左下から左へ右上へ上へ左上へ、のうちの1つである、項D17に記載の方法。
【0322】
(D20)前記現在ビデオブロックに対する前記所定の順序は、左から上へ右上へ左下へ左上へ、のうちの1つで項D17に記載の方法。
【0323】
(D21)前記所定の順序は、前記近隣ブロックの第1の利用可能なサブセットの中のサンプルに関連付けられる、項D17に記載の方法。
【0324】
(D22)前記現在ビデオブロックがインターコーディングブロックであり、近隣ブロックがイントラコーディングブロック、IBCコーディングブロック、又はCIIPコーディングブロックである場合、前記近隣ブロックに関連付けられた前記サンプルは利用可能ではないと決定される、項D15に記載の方法。
【0325】
(D23)前記現在ビデオブロックがCIIPコーディングブロックであり、近隣ブロックがイントラコーディングブロック、IBCコーディングブロック、又はCIIPコーディングブロックである場合、前記近隣ブロックに関連付けられた前記サンプルは利用可能ではないと決定される、項D15に記載の方法。
【0326】
(D24)前記近隣ブロックの数が閾値より少ないと決定することに応答して、前記ルマ依存CRSの導出を無効化するステップ、を更に含む項D15に記載の方法。
【0327】
(D25)前記閾値は1である、項D24に記載の方法。
【0328】
(D26)近隣ブロックからのサンプルが利用可能ではないと決定された場合、前記サンプルは1<<(bitDepth-1)個のサンプルにより満たされ、bitDepthは前記クロマ成分又はルマ成分のビット深さを示す、項D24に記載の方法。
【0329】
(E1)映像メディア符号化の方法であって、
現在ビデオブロックを映像メディアデータのビットストリーム表現へと符号化するために、前記映像メディアデータの前記現在ビデオブロックに対するクロスコンポーネント線形モデル(cross-component linear model (CCLM))の適用を選択的に有効又は無効にするステップと、
前記映像メディアデータの前記ビットストリーム表現にフィールドを含む又は除外することを決定するステップであって、前記フィールドは、前記の選択的に有効又は無効にすることを示し、含まれる場合には前記現在ビデオブロックに関連付けられた第1シンタックスレベル以外でシグナリングされる、ステップと、を含む方法。
【0330】
(E2)映像メディア復号の方法であって、
映像メディアデータのビットストリーム表現内のフィールドをパースするステップであって、前記フィールドは、現在ビデオブロックに関連付けられた第1シンタックスレベル以外のレベルに含まれる、ステップと、
前記フィールドに基づき、前記ビットストリーム表現から復号ビデオ領域を生成するために、映像メディアデータの前記現在ビデオブロックに対するクロスコンポーネント線形モデル(cross-component linear model (CCLM))の適用を選択的に有効又は無効にするステップと、を含む方法。
【0331】
(E3)前記第1シンタックスレベルはシーケンスパラメータセット(sequence parameter set (SPS))レベルであり、前記フィールドは、前記現在ビデオブロックに関連付けられたピクチャパラメータセット(picture parameter set (PPS))、前記現在ビデオブロックに関連付けられたスライス、前記現在ビデオブロックに関連付けられたピクチャヘッダ、前記現在ビデオブロックに関連付けられたタイル、前記現在ビデオブロックに関連付けられたタイルグループ、前記現在ビデオブロックに関連付けられたコーディングツリーユニット(coding tree unit (CTU))行、前記現在ビデオブロックに関連付けられたコーディングツリーユニット(coding tree unit (CTU))、前記現在ビデオブロックに関連付けられた仮想パイプラインデータユニット(virtual pipeline data unit (VPDU))、又は前記現在ビデオブロックに関連付けられたコーディングユニット(coding unit (CU))、のうちの1つに含まれる、項E1~E2の1つ以上に記載の方法。
【0332】
(E4)前記フィールドは、cclm_flagとして示されるフラグである、項E1~E3の1つ以上に記載の方法。
【0333】
(E5)前記ビットストリーム表現が存在しないことは、前記CCLMの適用が無効化されると推定するために使用される、項E1~E4の1つ以上に記載の方法。
【0334】
(E6)前記ビットストリーム表現内の前記フィールドが存在することは、前記CCLMの適用が有効化されると推定するために使用される、項E1~E4の1つ以上に記載の方法。
【0335】
(E7)前記現在ビデオブロックの寸法(dimension)が閾寸法以下である場合、前記フィールドは前記ビットストリーム表現から除外され、それにより、前記フィールドの除外が前記CCLMの適用が無効化されることを推定するために使用される、項E5に記載の方法。
【0336】
(E8)前記閾寸法は8×8である、項E7に記載の方法。
【0337】
(F1)項X1~E8の1つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオエンコーダ機器。
【0338】
(F2)項X1~E8の1つ以上に記載の方法を実施するよう構成されるプロセッサを含むビデオデコーダ機器。
【0339】
(F3)格納されたコードを有するコンピュータ可読媒体であって、前記コードは、項X1~E8のうちの1つ以上に記載の方法を実施するためのプロセッサ実行可能命令を具現化する、コンピュータ可読媒体。
【0340】
本願明細書では、用語「ビデオ処理」又は「映像メディア処理」は、ビデオ符号化、ビデオ復号、ビデオ圧縮、又はビデオ伸長を表してよい。例えば、ビデオ圧縮アルゴリズムは、ビデオをピクセル表現から対応するビットストリーム表現へ又はその逆に変換する間に適用されてよい。現在ビデオブロックのビットストリーム表現は、シンタックスにより定義されるように、例えば、ビットストリーム内の同一位置にある又は異なる場所に拡散しているビットに対応してよい。例えば、マクロブロックは、変換されたコーディングされた誤差残差値の観点で、ヘッダ及びビットストリーム内の他のフィールドのビットも使用して、符号化されてよい。更に、変換中、デコーダは、上述のソリューションで説明されたように、決定に基づき、幾つかのフィールドが存在する又は不存在であり得るという知識により、ビットストリームをパースしてよい。同様に、エンコーダは、特定のシンタックスフィールドが含まれる又は含まれないことを決定し、コーディング表現にシンタックスフィールドを含める又は除外することにより、相応してコーディング表現を生成してよい。
【0341】
以上から、本開示の技術の特定の実施形態が説明の目的でここに記載されたが、種々の変形が本発明の範囲から逸脱することなく行われてよいことが理解される。従って、本開示の技術は、添付の請求の範囲を除いて、限定されない。
【0342】
本願明細書に記載された主題及び機能動作の実装は、種々のシステム、デジタル電子回路で、又は本願明細書に開示された構造を含む、コンピュータソフトウェア、ファームウェア、又はハードウェア、及びそれらの構造的均等物で、又はそれらの1つ以上の結合で、実装されてよい。本願明細書に記載された主題の実装は、データ処理機器による実行のための、又はその動作を制御するための、有形非一時的コンピュータ可読媒体上に符号化された1つ以上のコンピュータプログラムプロダクト、つまり、コンピュータプログラム命令の1つ以上のモジュールとして実装できる。コンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリ装置、機械可読伝搬信号に影響を与える物質の組成、又は1つ以上のそれらの組合せであり得る。用語「データ処理ユニット」又は「データ処理機器」は、データを処理するあらゆる機器、装置、及び機械を包含し、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含む。機器は、ハードウェアに加えて、対象となるコンピュータプログラムの実行環境を生成するコード、例えばプロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらの1つ以上の組合せを構成するコードを含むことができる。
【0343】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる)は、コンパイルされた又はインタープリットされた言語を含む任意の形式のプログラミング言語で記述でき、それは、スタンドアロンプログラム又はモジュール、コンポーネント、サブルーチン、又はコンピューティング環境内での使用に適する他のユニットを含む任意の形式で展開できる。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応する必要はない。プログラムは、他のプログラム又はデータ(例えばマークアップ言語文書内に格納された1つ以上のスクリプト)を保持するファイルの一部に、問題のプログラムに専用の単一のファイルに、又は複数の連携ファイル(例えば、1つ以上モジュール、サブプログラム、又はコードの部分を格納するファイル)に、格納できる。コンピュータプログラムは、1つのコンピュータ上で、又は1つの場所に置かれた若しくは複数の場所に分散されて通信ネットワークにより相互接続される複数のコンピュータ上で、実行されるよう展開できる。
【0344】
本願明細書に記載の処理及びロジックフローは、入力データに作用し及び出力を生成することにより機能を実行する1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサにより実行できる。特定用途論理回路、例えば、FPGA(field programmable gate array)又はASIC(application specific integrated circuit)により、処理及びロジックフローが実行でき、それとして機器が実装できる。
【0345】
コンピュータプログラムの実行に適するプロセッサは、例えば、汎用及び特定用途向けマイクロプロセッサの両方、及び任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。通常、プロセッサは、命令及びデータを読み出し専用メモリ又はランダムアクセスメモリ又は両者から受信する。コンピュータの基本的要素は、命令を実行するプロセッサ、及び命令及びデータを格納する1つ以上のメモリ装置である。通常、コンピュータは、データを格納する1つ以上の大容量記憶装置、例えば、磁気、光磁気ディスク、又は光ディスク、も含み、又はそれらからデータを受信し又はそれらへデータを転送するために又は両者のために動作可能に結合される。しかしながら、コンピュータはこのような装置を有する必要はない。コンピュータプログラム命令及びデータを格納するために適するコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、及びメモリ装置をふくみ、例えば半導体メモリ装置、例えばEPROM、EEPROM、及びフラッシュメモリ装置を含む。プロセッサ及びメモリは、特定用途向け論理回路により補足され、又はその中に組み込むことができる。
【0346】
本願明細書は、図面と共に、単なる代表例であることが意図され、代表例は例を意味する。本願明細書で使用されるとき、「又は」の使用は、文脈上特に明確に示されない限り、「及び/又は」を含むことが意図される。
【0347】
本願明細書は多数の特定事項を含むが、これらは、任意の発明の又は請求され得るものの範囲に対する限定としてではなく、むしろ、特定の発明の特定の実施形態に固有の特徴の説明として考えられるべきである。別個の実装の文脈で本願明細書に記載された特定の特徴は、単一の実装形態において組み合わせることもできる。反対に、単一の実施形態の文脈で記載された種々の特徴は、複数の実施形態の中で別個に又は任意の適切な部分的組み合わせで実装されることもできる。更に、特徴は特定の組み合わせで動作するよう上述され、そのように初めに請求され得るが、請求される組み合わせからの1つ以上の特徴は、幾つかの場合には、組み合わせから切り離されてよく、請求される組み合わせは、部分的組み合わせ又は部分的組み合わせの変形に向けられてよい。
【0348】
同様に、動作は、図中に特定の順序で示されるが、これは、望ましい結果を達成するために、そのような動作が示された特定の順序で又はシーケンシャルに実行されること、及び全ての図示の動作が実行されること、を要求すると理解されるべきではない。更に、本願明細書に記載された実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてこのような分離を必要とすると理解されるべきではない。
【0349】
小数の実装及び例のみが記載され、本願明細書に記載され示されたものに基づき他の実装、拡張、及び変形が行われ得る。