(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023184634
(43)【公開日】2023-12-28
(54)【発明の名称】映像コーディングモードのブロックサイズ依存使用
(51)【国際特許分類】
H04N 19/70 20140101AFI20231221BHJP
H04N 19/119 20140101ALI20231221BHJP
H04N 19/136 20140101ALI20231221BHJP
【FI】
H04N19/70
H04N19/119
H04N19/136
【審査請求】有
【請求項の数】34
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023189116
(22)【出願日】2023-11-06
(62)【分割の表示】P 2022505205の分割
【原出願日】2020-07-27
(31)【優先権主張番号】PCT/CN2019/097926
(32)【優先日】2019-07-26
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/103892
(32)【優先日】2019-08-31
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Beijing Bytedance Network Technology Co., Ltd.
【住所又は居所原語表記】Room B-0035, 2/F, No.3 Building, No.30, Shixing Road, Shijingshan District Beijing 100041 China
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】デン,ジピン
(72)【発明者】
【氏名】ザン,リー
(72)【発明者】
【氏名】ザン,カイ
(72)【発明者】
【氏名】リュウ,ホンビン
(57)【要約】
【課題】 ピクチャパーティションモードがブロックサイズに基づく、映像を符号化又は復号するための方法、システム、及び装置が提供される。
【解決手段】
映像処理のための一方法例は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)の寸法を用いて、上記1つ以上の映像ブロックのうちの映像ブロックの三分木(TT)又は二分木(BT)分割が有効にされるのかの決定を実行し、該決定に基づいて上記変換を実行する、ことを含み、上記寸法は、ルマサンプルにおけるVSizeに等しく、映像ブロックの寸法は、ルマサンプルにおけるCtbSizeYであり、ただし、VSize=min(M,CtbSizeY)であり、Mは正の整数である。
【選択図】
図4
【特許請求の範囲】
【請求項1】
映像データを処理する方法であって、
映像の映像領域と前記映像のビットストリームとの間での第1の変換に関して、前記映像領域の第1ブロックに対して第1コーディングツールが可能にされるか否かを、前記第1ブロックの高さ及び幅と前記映像領域の最大変換サイズとに基づいて決定するステップであり、前記第1コーディングツールが可能にされる場合、前記第1ブロックは複数の変換ブロックにスプリットされる、ステップと、
前記決定に基づいて前記第1の変換を実行するステップと、
を有し、
前記第1ブロックの前記高さ又は前記幅の少なくとも一方が前記最大変換サイズより大きいことに応答して、前記第1ブロックに対して前記第1コーディングツールは可能にされない、
方法。
【請求項2】
前記第1ブロックに対して前記第1コーディングツールが可能にされるか否かを指し示す第1のシンタックス要素が前記ビットストリームに含められるか否かが、前記最大変換サイズに基づく、請求項1に記載の方法。
【請求項3】
前記第1ブロックに対して前記第1コーディングツールが可能にされることは更に、前記第1ブロックがインター予測モードでコーディングされ且つ結合インターピクチャマージ・イントラピクチャ予測を適用しないことに基づく、請求項1又は2に記載の方法。
【請求項4】
前記第1コーディングツールが可能にされる場合、前記第1ブロックは2つの変換ブロックにスプリットされ、一方の変換ブロックは残差データを有し、他方の変換ブロックは残差データを有しない、請求項1乃至3のいずれか一項に記載の方法。
【請求項5】
前記映像領域の第2ブロックに対して、第2コーディングツールが、前記第2ブロックの高さ又は幅の少なくとも一方がNより大きいことに応答して無効にされ、Nは正の整数であり、
前記第2コーディングツールはイントラブロックコピー(IBC)モードである、
請求項1乃至4のいずれか一項に記載の方法。
【請求項6】
N=64である、請求項5に記載の方法。
【請求項7】
前記第2ブロックの前記高さ又は前記幅の少なくとも一方がNより大きいことに応答して、前記第2ブロックに対して前記第2コーディングツールが可能にされるか否かを指し示す第2のシンタックス要素が前記ビットストリームから除外され、前記第2のシンタックス要素の値は、前記第2ブロックに対して前記第2コーディングツールが可能にされないことを指し示すと推定される、請求項5又は6に記載の方法。
【請求項8】
前記映像領域の第3ブロックに対して、第3コーディングツールが、前記第3ブロックの高さ又は幅の少なくとも一方がMより大きいことに応答して無効にされ、Mは正の整数であり、
前記第3コーディングツールはパレット予測モードである、
請求項1乃至7のいずれか一項に記載の方法。
【請求項9】
M=64である、請求項8に記載の方法。
【請求項10】
前記第3ブロックの前記高さ又は前記幅の少なくとも一方がMより大きいことに応答して、前記第3ブロックに対して前記第3コーディングツールが可能にされるか否かを指し示す第3のシンタックス要素が前記ビットストリームから除外され、前記第3のシンタックス要素の値は、前記第3ブロックに対して前記第3コーディングツールが可能にされないことを指し示すと推定される、請求項8又は9に記載の方法。
【請求項11】
イントラコーディングブロックである第4ブロックに対して、第4コーディングツールが、前記第4ブロックの高さ又は幅の少なくとも一方がSより大きいことに応答して無効にされ、Sは正の整数であり、
前記第4コーディングツールはイントラサブパーティション予測モードである、
請求項1乃至10のいずれか一項に記載の方法。
【請求項12】
前記第4ブロックの前記高さ又は前記幅の少なくとも一方がSより大きいことに応答して、前記第4ブロックに対して前記第4コーディングツールが可能にされるか否かを指し示す第4のシンタックス要素、及び前記イントラサブパーティション予測モードのスプリットタイプが水平であるのか垂直であるのかを指し示す第5のシンタックス要素が、前記ビットストリームから除外され、前記第4のシンタックス要素の値は、前記第4ブロックに対して前記第4コーディングツールが可能にされないことを指し示すと推定される、請求項11に記載の方法。
【請求項13】
S=64である、請求項11又は12に記載の方法。
【請求項14】
前記映像領域の第5ブロックに対して、第5コーディングツールが、前記第5ブロックの高さ又は幅の少なくとも一方が64より大きいことに応答して無効にされ、
前記第5コーディングツールは結合イントラインター予測(CIIP)モードである、
請求項1乃至13のいずれか一項に記載の方法。
【請求項15】
当該方法は更に、
前記映像の現在映像ブロックの寸法に基づいて、水平方向又は垂直方向において前記現在映像ブロックを2つのサブブロックにスプリットする第1のパーティションプロセス又は前記現在映像ブロックを3つのサブブロックにスプリットする第2のパーティションプロセスが可能にされるか否かを決定するステップであり、前記現在映像ブロックの前記寸法は、ルマサンプルにおける前記現在映像ブロックの高さ又は幅を有する、ステップと、
該決定に基づいて、前記現在映像ブロックと前記映像の前記ビットストリームとの間での第2の変換を実行するステップと、
を有し、
Nは正の整数であるとして、(i)ルマサンプルにおける前記現在映像ブロックの前記幅と前記現在映像ブロックの左上ルマサンプルの水平座標との和が、ルマサンプルにおける前記現在映像ブロックを有するピクチャの幅又はサブピクチャの幅より大きい、又は(ii)ルマサンプルにおける前記現在映像ブロックの前記高さがNより大きい場合、前記垂直方向における前記第1のパーティションプロセスは無効にされる、
請求項1に記載の方法。
【請求項16】
N=64である、請求項15に記載の方法。
【請求項17】
ルマサンプルにおける前記現在映像ブロックの前記高さ又は前記幅が64より大きい場合、前記第2のパーティションプロセスは無効にされる、請求項15又は16に記載の方法。
【請求項18】
Nは正の整数であるとして、(i)ルマサンプルにおける前記現在映像ブロックの前記幅がN以下であり、且つ(ii)ルマサンプルにおける前記現在映像ブロックの前記高さがNより大きい場合、前記垂直方向における前記第1のパーティションプロセスは無効にされる、請求項15乃至17のいずれか一項に記載の方法。
【請求項19】
Nは正の整数であるとして、(i)ルマサンプルにおける前記現在映像ブロックの前記幅がNより大きく、且つ(ii)ルマサンプルにおける前記現在映像ブロックの前記高さがN以下である場合、前記水平方向における前記第1のパーティションプロセスは無効にされる、請求項15乃至18のいずれか一項に記載の方法。
【請求項20】
Nは正の整数であるとして、ルマサンプルにおける前記現在映像ブロックの前記高さと前記現在映像ブロックの左上ルマサンプルの垂直座標との和が、ルマサンプルにおける前記現在映像ブロックを有する前記ピクチャの高さ又は前記サブピクチャの高さより大きく、且つ(ii)ルマサンプルにおける前記現在映像ブロックの前記幅がNより大きい場合、前記水平方向における前記第1のパーティションプロセスは無効にされる、請求項15乃至18のいずれか一項に記載の方法。
【請求項21】
ルマサンプルにおける前記現在映像ブロックの前記幅と前記現在映像ブロックの左上ルマサンプルの水平座標との和が、ルマサンプルにおける前記現在映像ブロックを有するピクチャの幅より大きいという条件のみに従って、前記水平方向における前記第1のパーティションプロセスが無効にされると決定することはできない、請求項15乃至20のいずれか一項に記載の方法。
【請求項22】
前記最大変換サイズとは独立であるように前記第1のパーティションプロセス又は前記第2のパーティションプロセスが可能にされるか否かを決定するステップ、を更に有する請求項15乃至21のいずれか一項に記載の方法。
【請求項23】
前記最大変換サイズはコーディングツリーユニットの寸法に依存し、前記コーディングツリーユニットの前記寸法は前記コーディングツリーユニットの幅及び/又は高さを有する、請求項22に記載の方法。
【請求項24】
前記最大変換サイズは前記コーディングツリーユニットの前記寸法以下である、請求項23に記載の方法。
【請求項25】
前記コーディングツリーユニットの前記寸法がMより小さい場合、前記最大変換サイズはMより小さく、M=64である、請求項23に記載の方法。
【請求項26】
前記第1のパーティションプロセスは二分木(BT)パーティションを有し、前記第2のパーティションプロセスは三分木(TT)パーティションを有する、請求項15乃至25のいずれか一項に記載の方法。
【請求項27】
仮想パイプラインデータユニットの寸法が決定され、
前記仮想パイプラインデータユニットの前記寸法は、ルマサンプルにおけるVSizeに等しく、前記映像のコーディングツリーブロックの寸法は、ルマサンプルにおけるCtbSizeYであり、VSize=min(M,CtbSizeY)であり、Mは正の整数である、請求項1に記載の方法。
【請求項28】
M=64である、請求項27に記載の方法。
【請求項29】
水平方向又は垂直方向において前記映像の現在映像ブロックを2つのサブブロックにスプリットする第1のパーティションプロセス又は前記現在映像ブロックを3つのサブブロックにスプリットする第2のパーティションプロセスが可能にされるか否かが、少なくとも前記仮想パイプラインデータユニットの前記寸法に基づいて決定される、請求項27又は28に記載の方法。
【請求項30】
前記第1の変換は、前記映像領域を前記ビットストリームへと符号化することを含む、請求項1乃至29のいずれかに記載の方法。
【請求項31】
前記第1の変換は、前記ビットストリームから前記映像領域を復号することを含む、請求項1乃至29のいずれかに記載の方法。
【請求項32】
プロセッサと、命令を有する非一時的なメモリと、を有する映像データを処理する装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、
映像の映像領域と前記映像のビットストリームとの間での第1の変換に関して、前記映像領域の第1ブロックに対して第1コーディングツールが可能にされるか否かを、前記第1ブロックの高さ及び幅と前記映像領域の最大変換サイズとに基づいて決定させ、前記第1コーディングツールが可能にされる場合、前記第1ブロックは複数の変換ブロックにスプリットされ、
前記決定に基づいて前記第1の変換を実行させ、
前記第1ブロックの前記高さ又は前記幅の少なくとも一方が前記最大変換サイズより大きいことに応答して、前記第1ブロックに対して前記第1コーディングツールは可能にされない、
装置。
【請求項33】
命令を格納した非一時的なコンピュータ読み取り可能記憶媒体であって、前記命令は、プロセッサに、
映像の映像領域と前記映像のビットストリームとの間での第1の変換に関して、前記映像領域の第1ブロックに対して第1コーディングツールが可能にされるか否かを、前記第1ブロックの高さ及び幅と前記映像領域の最大変換サイズとに基づいて決定させ、前記第1コーディングツールが可能にされる場合、前記第1ブロックは複数の変換ブロックにスプリットされ、
前記決定に基づいて前記第1の変換を実行させ、
前記第1ブロックの前記高さ又は前記幅の少なくとも一方が前記最大変換サイズより大きいことに応答して、前記第1ブロックに対して前記第1コーディングツールは可能にされない、
コンピュータ読み取り可能記憶媒体。
【請求項34】
映像のビットストリームを格納する方法であって、
前記映像の映像領域に関して、前記映像領域の第1ブロックに対して第1コーディングツールが可能にされるか否かを、前記第1ブロックの高さ及び幅と前記映像領域の最大変換サイズとに基づいて決定するステップであり、前記第1コーディングツールが可能にされる場合、前記第1ブロックは複数の変換ブロックにスプリットされる、ステップと、
前記決定に基づいて前記ビットストリームを生成するステップと、
前記ビットストリームを非一時的なコンピュータ読み取り可能記録媒体に格納するステップと、
を有し、
前記第1ブロックの前記高さ又は前記幅の少なくとも一方が前記最大変換サイズより大きいことに応答して、前記第1ブロックに対して前記第1コーディングツールは可能にされない、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
この出願は、2019年7月26日に出願された国際特許出願第PCT/CN2019/097926号及び2019年8月31日に出願された国際特許出願第PCT/CN2019/103892号の優先権及び利益を適時に主張するものである2020年7月27日に出願された国際特許出願第PCT/CN2020/104786号に基づく特願2022-505205の分割出願である。上記特許出願の全てをそれらの全体にてここに援用する。
【0002】
この文書は、映像及び画像の符号化及び復号技術に関する。
【背景技術】
【0003】
デジタル映像は、インターネット及び他のデジタル通信ネットワークにおいて最大の帯域幅使用を占めている。映像を受信して表示することが可能な接続ユーザ装置の数が増えるにつれて、デジタル映像使用に対する帯域幅需要が増加し続けることが予期される。
【発明の概要】
【0004】
開示される技術は、ピクチャパーティションモードがブロックサイズに基づいて決定される映像の符号化又は復号を実行するために、映像又は画像デコーダ又はエンコーダの実施形態によって使用され得る。
【0005】
一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)の寸法を用いて、前記1つ以上の映像ブロックのうちの映像ブロックの三分木(TT)又は二分木(BT)分割が有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを含み、前記寸法は、ルマサンプルにおけるVSizeに等しく、前記映像ブロックの寸法は、ルマサンプルにおけるCtbSizeYであり、ただし、VSize=min(M,CtbSizeY)であり、Mは正の整数である。
【0006】
他の一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換のために、前記1つ以上の映像ブロックのうちの映像ブロックの寸法を用いて、該映像ブロックの三分木(TT)又は二分木(BT)分割が有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを含む。
【0007】
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、映像ブロックの高さ又は幅を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを含み、前記決定は、前記高さ又は前記幅と値Nとの間の比較に基づき、ただし、Nは正の整数である。
【0008】
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、映像ブロックの高さ又は幅と変換ブロックのサイズとの間の比較を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを含む。
【0009】
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、映像ブロックの高さ又は幅を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを含む。
【0010】
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、映像ブロックのサブパーティションの寸法と最大変換サイズとの間の比較を用いて、(a)前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像との間での変換に、イントラサブパーティション予測(ISP)モードが有効にされるのかの決定、及び(b)前記変換のための1つ以上の許されるパーティションタイプの選択を実行し、前記決定及び前記選択に基づいて前記変換を実行する、ことを含み、前記ISPモードにおいて、前記1つ以上の映像ブロックのうちの映像ブロックは、イントラ予測及び変換の適用前に複数のサブパーティションへと分割される、方法。
【0011】
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、無効にされた符号化ツールを有し、前記符号化ツールに関するシンタックス要素が、前記ビットストリーム表現から除外され、前記符号化ツールが無効にされることを規定する所定の値であると推定される、ことを含む。
【0012】
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、無効にされた符号化ツールを有し、前記ビットストリーム表現は、前記符号化ツールが無効にされることに基づいて所定の値であると推定される前記符号化ツールに関するシンタックス要素を有する、ことを含む。
【0013】
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)及び/又は最大変換サイズの寸法を用いて、前記1つ以上の映像ブロックのうちの映像ブロックの暗黙的(QT)分割が有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを含む。
【0014】
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換はサブブロック変換(SBT)を有し、前記SBTの最大高さ又は最大幅は、最大変換サイズに基づき、前記SBTは、前記1つ以上の映像ブロックのうちの映像ブロックの1つ以上のパーティションに別々に適用される1つ以上の変換を有する、ことを含む。
【0015】
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、変換スキップモード及び/又はイントラブロックベース差動パルス符号変調(BDPCM)モードを有し、前記変換スキップモードに使用される最大ブロックサイズが、最大変換サイズに基づき、前記変換スキップモードは、対応する符号化ツールについての変換及び逆変換プロセスをスキップすることを有し、前記BDPCMモードにおいて、前記現在映像ブロックのイントラ予測の残差は、差動パルス符号化変調処理を用いて予測的に符号化される、ことを含む。
【0016】
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、映像ブロックの高さ又は幅と最大変換サイズとの間の比較を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、結合インターイントラ予測(CIIP)モードが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを含み、前記CIIPモードにおいて、前記映像ブロックの最終予測は、前記映像ブロックのインター予測と前記映像ブロックのイントラ予測との加重和に基づく。
【0017】
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換のために、結合インターイントラ予測(CIIP)で符号化される前記1つ以上の映像ブロックのうちの映像ブロックを分割することに関して決定を行い、前記決定に基づいて前記変換を実行する、ことを含み、前記CIIPモードにおいて、前記映像ブロックの最終予測は、前記映像ブロックのインター予測と前記映像ブロックのイントラ予測との加重和に基づく。
【0018】
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、複数の映像ブロックを有した映像領域を有する映像と、該映像のビットストリーム表現との間での変換を、ルールに従って実行する、ことを含み、前記ルールは、変換符号化を用いて前記ビットストリーム表現内に符号化される前記映像領域内の前記複数の映像ブロックの最大ブロックサイズが、変換符号化を用いずに前記ビットストリーム表現内に符号化される前記映像領域内の前記複数の映像ブロックの最大ブロックサイズを決定する、ことを規定する、方法。
【0019】
更なる他の一態様例において、映像処理の方法が開示される。当該方法は、複数の映像ブロックを有した映像領域を有する映像と、該映像のビットストリーム表現との間での変換を、ルールに従って実行する、ことを含み、前記ルールは、前記映像領域に対して可逆コーディングが有効にされるときに、前記映像領域に対してクロマスケーリング付きルママッピング(LMCS)プロセスが無効にされる、ことを規定し、前記映像領域は、シーケンス、ピクチャ、サブピクチャ、スライス、タイルグループ、タイル、ブリック、コーディングツリーユニット(CTU)行、CTU、コーディングユニット(CU)、予測ユニット(PU)、変換ユニット(TU)、又はサブブロックであり、前記LMCSプロセスは、前記映像領域のルマサンプルが第1ドメインと第2ドメインとの間でリシェイピングされること、及びルマ依存的にクロマ残差がスケーリングされることを含む。
【0020】
他の一態様例において、上述の方法は、プロセッサを有するビデオエンコーダ装置によって実装され得る。
【0021】
更なる他の一態様例において、これらの方法は、プロセッサ実行可能命令の形態で具現化されてコンピュータ読み取り可能プログラム媒体に格納され得る。
【0022】
これら及び他の態様が本文書に更に記載される。
【図面の簡単な説明】
【0023】
【
図1】映像ブロックサイズに応じた二分木(BT)及び三分木(TT)スプリットの例を示している。
【
図2】本文書に記載される技術を実装するのに使用されるハードウェアプラットフォームの一例のブロック図である。
【
図3】開示される技術が実装され得る映像処理システムの一例のブロック図である。
【
図4】映像処理の方法の一例に関するフローチャートである。
【
図5】映像処理の方法の他の一例に関するフローチャートである。
【
図6】映像処理の方法の更なる他の一例に関するフローチャートである。
【
図7】映像処理の方法の更なる他の一例に関するフローチャートである。
【
図8】映像処理の方法の更なる他の一例に関するフローチャートである。
【
図9】映像処理の方法の更なる他の一例に関するフローチャートである。
【
図10】映像処理の方法の更なる他の一例に関するフローチャートである。
【
図11】映像処理の方法の更なる他の一例に関するフローチャートである。
【
図12】映像処理の方法の更なる他の一例に関するフローチャートである。
【
図13】映像処理の方法の更なる他の一例に関するフローチャートである。
【
図14】映像処理の方法の更なる他の一例に関するフローチャートである。
【
図15】映像処理の方法の更なる他の一例に関するフローチャートである。
【
図16】映像処理の方法の更なる他の一例に関するフローチャートである。
【
図17】映像処理の方法の更なる他の一例に関するフローチャートである。
【
図18】映像処理の方法の更なる他の一例に関するフローチャートである。
【発明を実施するための形態】
【0024】
本文書は、解凍又は復号されたデジタル映像又は画像の品質を向上させるために画像又は映像ビットストリームのデコーダによって使用されることができる様々な技術を提供する。簡潔さのため、用語“映像”は、ここでは、一連のピクチャ(伝統的に映像(ビデオ)と呼ばれる)及び個々の画像の両方を含むように使用される。また、ビデオエンコーダも、更なる符号化のために使用される復号フレームを再構成するために、符号化のプロセスにおいてこれらの技術を実装し得る。
【0025】
本文書では、理解を容易にするためにセクション見出しを使用するが、それらは実施形態及び技術を対応するセクションに限定するものではない。従って、1つのセクションからの実施形態を、他のセクションからの実施形態と組み合わせることができる。
【0026】
1. 概要
この文書は映像符号化技術に関する。具体的には、これは、映像符号化及び復号におけるコーディングツリーユニット又は変換ユニットのサイズを制御するためのルールに関する。これは、HEVCのような既存の映像符号化標準に適用されてもよいし、成立される標準(バーサタイルビデオコーディング)に適用されてもよい。これは、将来の映像符号化標準又は映像コーデックにも適用可能である。
【0027】
2. 冒頭説明
映像符号化標準は、主に、周知のITU-T及びISO/IEC標準の開発を通じて発展してきた。ITU-TがH.261及びH.263を作成し、ISO/IECがMPEG-1及びMPEG-4 Visualを作成し、そして、これら2つの組織が共同で、H.262/MPEG-2 Video及びH.264/MPEG-4 AVC(Advanced Video Coding)及びH.265/HEVC標準を作成した。H.262以来、映像符号化標準は、時間予測に加えて変換符号化が利用されるハイブリッド映像符号化構造に基づいている。HEVCの先の将来の映像符号化技術を探求するため、2015年にVCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、数多くの新しい方法が、JVETによって採用され、共同探索モデルJEM(Joint Exploration Model)と名付けられたリファレンスソフトウェアに入れられてきた。JVETミーティングは四半期に一度同時開催されており、新たな符号化標準は、HEVCと比較して50%のビットレート低減を目指している。新たな映像符号化標準は、2018年4月のJVETミーティングでバーサタイルビデオコーディング(VVC)として正式に命名され、その時にVVCテストモデル(VTM)の最初のバージョンがリリースされた。VVC標準化に寄与する継続的な努力が行われているため、JVETミーティング毎に新たな符号化技術がVVC標準に採用されている。そして、各ミーティングの後に、VVC作業原案及びテストモデルVTMが更新される。VVCプロジェクトは現在、2020年7月のミーティングでの技術的完成(FDIS)を目指している。
【0028】
2.1 VVCにおけるCTUサイズ
VTM-5.0ソフトウェアでは、16×16、32×32、64×64、及び128×128という4つの異なるCTUサイズを許している。しかし、2019年7月のJVETミーティングにおいて、JVET-O0526の採用により、最小CTUサイズが32×32に規定変更された。そして、VVC作業原案6におけるCTUサイズは、log2_ctu_size_minus_5と呼ばれるUEエンコードされるシンタックス要素にてSPSヘッダ内にエンコードされる。
【0029】
以下は、仮想パイプラインデータユニット(Virtual pipeline data units;VPDU)の定義及びJVET-O0526の採用に伴うVVC原案6での仕様変更である:
(外1)
【0030】
2.2 VVCにおける最大変換サイズ
VVC原案5において、最大変換サイズはSPS内でシグナリングされるが、64の長さに固定され、コンフィギュラブルではない。しかし、2019年7月のJVETミーティングにて、SPSレベルのフラグのみを用いて、最大ルマ変換サイズを64又は32のいずれにもし得るようにすることが決定された。最大クロマ変換サイズは、最大ルマ変換サイズに対して、クロマサンプリング比から導出される。
【0031】
以下は、JVET-O05xxxの採用に伴うVVC原案6における対応する仕様変更である:
(外2)
【0032】
3. 開示される技術的ソリューションによって対処される技術的問題の例
最新のVVC作業原案JVET-O2001-v11には幾つか問題があり、それらを以下に説明する。
1) 現在のVVC原案6では、最大変換サイズとCTUサイズとが独立に規定されており、例えば、CTUサイズを32とし得る一方で、変換サイズは64にすることができる。望ましくは、最大変換サイズをCTUサイズ以下とすべきである。
2) 現在のVVC原案6では、ブロックパーティションプロセスは、VPDUサイズ以外の最大変換ブロックサイズに依存する。従って、最大変換ブロックサイズが32×32である場合、128×128TTスプリット、64×128垂直BTスプリット、128×64水平BTスプリットをVPDUルールに従うことを禁止するとともに、さらに、64×64ブロックに対してTTスプリットを禁止し、32×64/16×64/8×64コーディングブロックに対して垂直BTスプリットを禁止し、また、64×8/64×16/64×32コーディングブロックに対して水平BTスプリットを禁止することになり、こては、符号化効率にとって効率的でないことがある。
3) 現在のVVC原案6は、32、64、及び128に等しいCTUサイズを許している。しかし、CTUサイズが128より大きくなることが可能である。従って、一部のシンタックス要素を変更する必要がある:
a) より大きいCTUサイズが許される場合、ブロックパーティション構造及びブロックスプリットフラグのシグナリングが再設計され得る;
b) より大きいCTUサイズが許される場合、現行設計の一部(例えば、アフィンパラメータ導出、IBC予測、IBCバッファサイズ、マージ三角予測、CIIP、通常マージモードなど)が再設計され得る。
4) 現在のVVC原案6では、CTUサイズはSPSレベルでシグナリングされる。しかし、参照ピクチャリサンプリング(適応解像度変更としても知られる)の採用が、1つのビットストリーム内でピクチャが複数の異なる解像度で符号化され得ることを可能にするので、CTUサイズが複数のレイヤにわたって異なることがある。
5) WD6では、MIP及びISPに使用される最大ブロックサイズが、VPDUサイズ又は64×64以外の、最大変換サイズに依存し、これは、符号化効率にとって効率的でないことがある。
6) WD6では、変換スキップ及びイントラBDPCMに使用される最大ブロックサイズが、最大変換スキップサイズに依存し、これは、最大変換サイズによって制限される。
7) WD6では、SBTに使用される最大ブロックサイズが、最大SBTサイズに依存し、これは、最大変換サイズによって制限される。
8) WD6では、IBC及びPLTに使用されるコーディングブロックのサイズが64×64に制限され、これは、最大変換サイズ、CTUサイズ、及び/又はVPDUサイズによって調節され得る。
9) WD6では、CIIPに使用されるコーディングブロックのサイズが、最大変換サイズよりも大きくなり得る。
10) WD6では、LMCS有効フラグが変換量子化バイパスフラグによって条件付けられていない。
【0033】
4. 実施形態及び技術の例
以下のソリューションの列挙は、一部の概念を説明するための例としてみなされるべきである。これらのアイテムは狭く解釈されるべきでない。さらに、これらのアイテムは、任意に組み合わされることができる。
【0034】
この文書において、C=min(a,b)は、Cがaとbとの間で最小の値に等しいことを示す。
【0035】
この文書において、映像ユニットサイズ/寸法は、映像ユニットの高さ又は幅(例えば、ピクチャ/サブピクチャ/スライス/ブリック/タイル/CTU/CU/CB/TU/TBの幅又は高さ)のいずれかとし得る。映像ユニットサイズがM×Nによって表記される場合、Mは映像ユニットの幅を表し、Nは映像ユニットの高さを表す。
【0036】
この文書において、“コーディングブロック”は、ルマコーディングブロック及び/又はクロマコーディングブロックとし得る。コーディングブロックに関するルマサンプルにおけるサイズ/寸法は、この発明において、ルマサンプル単位で測定されるサイズ/寸法を表すために使用され得る。例えば、128×128コーディングブロック(又はルマサンプルにおけるコーディングブロックサイズ128×128)は、128×128ルマコーディングブロック、及び/又は4:2:0カラーフォーマットでの64×64クロマコーディングブロックを指し示し得る。同様に、4:2:2カラーフォーマットの場合、それは、128×128ルマコーディングブロック及び/又は64×128クロマコーディングブロックを指し得る。4:4:4カラーフォーマットの場合には、それは、128×128ルマコーディングブロック及び/又は128×128クロマコーディングブロックを指し得る。
コンフィギュラブルCTUサイズ関連
1. 例えばレイヤ/ピクチャ/サブピクチャ/スライス/タイル/ブリックなどの異なる映像ユニットに対して異なるCTU寸法(例えば幅及び/又は高さなど)を可能にすることが提案される:
a) 一例において、一組の又は複数組のCTU寸法が、例えばVPS/DPS/SPS/PPS/APS/ピクチャ/サブピクチャ/スライス/スライスヘッダ/タイル/ブリックのレベルなどの映像ユニットレベルで明示的にシグナリングされ得る;
b) 一例において、参照ピクチャリサンプリング(適応解像度変更としても知られる)が許可されるとき、異なるレイヤ間でCTU寸法が異なり得る:
i. 例えば、インターレイヤピクチャのCTU寸法は、ダウンサンプル/アップサンプルスケーリングファクタに従って暗黙的に導出され得る:
1. 例えば、ベースレイヤに関してシグナリングされるCTU寸法がM×N(例えばM=128及びN=128など)であり、且つインターレイヤ符号化ピクチャが、幅においてスケーリングファクタSで、及び高さにおいてスケーリングファクタTでリサンプリングされる場合(スケーリングファクタは1より大きい又は小さいとし得る(例えば、S=1/4及びT=1/2が、インターレイヤ符号化ピクチャが幅において1/4にダウンサンプリングされ、高さにおいて1/2にダウンサンプリングされることを表すなど)、インターレイヤ符号化ピクチャのCTU寸法は、(M×S)×(N×T)又は(M/S)×(N/T)に導出され得る;
ii. 例えば、映像ユニットレベルで複数のレイヤについて異なるCTU寸法が明示的にシグナリングされてもよく、例えば、インターレイヤリサンプリングピクチャ/サブピクチャに対して、CTU寸法が、ベースレイヤCTU寸法とは異なるVPS/DPS/SPS/PPS/APS/ピクチャ/サブピクチャ/スライス/スライスヘッダ/タイル/ブリックのレベルでシグナリングされ得る。
2. TT又はBTスプリットが許されるか否かがVPDU寸法(例えば幅及び/又は高さなど)に依存し得ることが提案される。VPDUがルマサンプルにおいて寸法VSizeを有し、且つ符号化ツリーブロックがルマサンプルにおいて寸法CtbSizeYを有するとする:
a) 一例において、VSize=min(M,CtbSizeY)である。Mは、例えば64などの整数値である;
b) 一例において、TT又はBTスプリットが許されるか否かは、最大変換サイズに依存しないとし得る;
c) 一例において、ルミナンスサンプルにおけるコーディングブロック幅又は高さがmin(VSize,maxTtSize)より大きいとき、TTスプリットは無効にされ得る:
i. 一例において、最大変換サイズが32×32に等しいが、VSizeが64×64に等しいとき、128×128/128×64/64×128コーディングブロックに対してTTスプリットは無効にされ得る;
ii. 一例において、最大変換サイズが32×32に等しいが、VSizeが64×64に等しいとき、64×64コーディングブロックに対してTTスプリットが許され得る;
d) 一例において、ルマサンプルにおけるコーディングブロック幅がVSize以下であるが、ルマサンプルにおけるその高さがVSizeより大きいとき、垂直BTスプリットが無効にされ得る:
i. 一例において、最大変換サイズが32×32であるが、VPDUサイズが64×64に等しい場合、64×128コーディングブロックに対して垂直BTスプリットが無効にされ得る;
ii. 一例において、最大変換サイズが32×32であるが、VPDUサイズが64×64に等しい場合、32×64/16×64/8×64コーディングブロックに対して垂直BTスプリットが許可され得る;
e) 一例において、コーディングブロックがルマサンプルにおいてピクチャ/サブピクチャ幅を超えているが、ルマサンプルにおけるその高さがVSizeより大きいとき、垂直BTスプリットが無効にされ得る:
i. あるいは、コーディングブロックがルマサンプルにおいてピクチャ/サブピクチャ幅を超えているとき、水平BTスプリットが許可され得る;
f) 一例において、ルマサンプルにおけるコーディングブロック幅がVSizeより大きいが、ルマサンプルにおけるその高さがVSize以下であるとき、水平BTスプリットが無効にされ得る:
i. 一例において、最大変換サイズが32×32であるが、VPDUサイズが64×64に等しい場合、128×64コーディングブロックに対して垂直BTスプリットが無効にされ得る;
ii. 一例において、最大変換サイズが32×32であるが、VPDUサイズが64×64に等しい場合、64×8/64×16/64×32コーディングブロックに対して水平BTスプリットが許可され得る;
g) 一例において、コーディングブロックがルマサンプルにおいてピクチャ/サブピクチャの高さを超えているが、ルマサンプルにおけるその幅がVSizeより大きいとき、水平BTスプリットが無効にされ得る:
i. あるいは、コーディングブロックがルマサンプルにおけるピクチャ/サブピクチャ高さを超えるとき、垂直BTスプリットが許可され得る;
h) 一例において、TT又はBTスプリットが無効にされるとき、TT又はBTスプリットフラグは、シグナリングされず、ゼロであると暗黙的に導出され得る:
i. あるいは、TT及び/又はBTスプリットが有効にされるとき、TT及び/又はBTスプリットフラグは、ビットストリーム内で明示的にシグナリングされ得る;
ii. あるいは、TT又はBTスプリットが無効にされるとき、TT又はBTスプリットフラグはシグナリングされるがデコーダによって無視され得る;
iii. あるいは、TT又はBTスプリットが無効にされるとき、TT又はBTスプリットフラグはシグナリングされるが、適合ビットストリームにおいてゼロでなければならない。
3. CTU寸法(例えば幅及び/又は高さなど)が128より大きくなり得ることが提案される:
a) 一例において、シグナリングされるCTU寸法は256又は更にはそれより大きくてもよい(例えば、log2_ctu_size_minus5は3以上であり得る);
b) 一例において、導出されるCTU寸法は256又は更にはそれより大きくてもよい:
i. 例えば、ピクチャ/サブピクチャをリサンプリングするための導出CTU寸法は128より大きいとし得る。
4. より大きいCTU寸法が許されるとき(例えばCTU幅及び/又は高さが128より大きいなど)、QTスプリットフラグが真であると推定されることができ、スプリットされたコーディングブロックの寸法が指定値(例えば、指定値は、最大変換ブロック寸法又は128又は64又は32に設定され得る)に達するまでQTスプリットが再帰的に適用され得ることが提案される:
a) 一例において、再帰的QTスプリットは、スプリットされたコーディングブロックサイズが最大変換ブロックサイズに達するまで、シグナリングなしで暗黙的に行われ得る;
b) 一例において、CTU 256×256がデュアルツリーに適用されるとき、QTスプリットフラグは、最大変換ブロックサイズより大きいコーディングブロックに対してシグナリングされないとすることができ、QTスプリットは、スプリットされたコーディングブロックサイズが最大変換ブロックサイズに達するまで、コーディングブロックに対して強制的に使用され得る。
5. TTスプリットフラグが、128より大きいCU/PU寸法(幅及び/又は高さ)に対して条件付きでシグナリングされ得ることが提案される:
a) 一例において、水平及び垂直の双方のTTスプリットフラグが、256×256CUに対してシグナリングされ得る;
b) 一例において、垂直TTスプリットはされずに、水平TTスプリットは、256×128/256×64CU/PUに対してシグナリングされ得る;
c) 一例において、垂直TTスプリットはされずに、水平TTスプリットは、128×256/64×256CU/PUに対してシグナリングされ得る;
d) 一例において、128より大きいCU寸法に対してTTスプリットフラグが禁止されるとき、それはシグナリングされずに暗黙的にゼロとして導出され得る:
i. 一例において、256×128/256×64CU/PUに対して水平TTスプリットは禁止され得る;
ii. 一例において、128×256/64×256CU/PUに対して垂直TTスプリットは禁止され得る。
6. BTスプリットフラグが、128より大きいCU/PU寸法(幅及び/又は高さ)に対して条件付きでシグナリングされ得ることが提案される:
a) 一例において、水平及び垂直の双方のTTスプリットフラグが、256×256/256×128/128×256CU/PUに対してシグナリングされ得る;
b) 一例において、水平BTスプリットフラグが、64×256CU/PUに対してシグナリングされ得る;
c) 一例において、垂直BTスプリットフラグが、256×64CU/PUに対してシグナリングされ得る;
d) 一例において、128より大きいCU寸法に対してBTスプリットフラグが禁止されるとき、それはシグナリングされずに暗黙的にゼロとして導出され得る:
i. 一例において、K×256CU/PU(例えば、ルマサンプルにおいてKは64以下である)に対して垂直BTスプリットが禁止され、垂直BTスプリットフラグはシグナリングされずにゼロとして導出され得る:
1. 例えば、上のケースにおいて、64×256CU/PUに対して垂直BTスプリットは禁止され得る;
2. 例えば、上のケースにおいて、ピクチャ/サブピクチャ境界で32×256CU/PUを回避するために垂直BTスプリットは禁止され得る;
ii. 一例において、コーディングブロックがルマサンプルにおけるピクチャ/サブピクチャ幅を超えるが、ルマサンプルにおけるその高さがMより大きい(ルマサンプルにおいて例えばM=64など)とき、垂直BTスプリットは禁止され得る;
iii. 一例において、水平BTスプリットは、256×Kコーディングブロック(例えば、Kはルマサンプルにおいて64以下である)に対して禁止され、水平BTスプリットフラグは、シグナリングされずにゼロとして導出され得る:
1. 例えば、上のケースにおいて、256×64コーディングブロックに対して水平BTスプリットは禁止され得る;
2. 例えば、上のケースにおいて、ピクチャ/サブピクチャ境界で256×32コーディングブロックを回避するために水平BTスプリットは禁止され得る;
iv. 一例において、コーディングブロックがルマサンプルにおけるピクチャ/サブピクチャ高さを超えるが、ルマサンプルにおけるその幅がMより大きい(ルマサンプルにおいて例えばM=64など)とき、水平BTスプリットは禁止され得る。
7. アフィンモデルパラメータ計算がCTU寸法に依存し得ることが提案される:
a) 一例において、スケーリングされた動きベクトル及び/又はアフィン予測における制御点動きベクトルの導出がCTU寸法に依存し得る。
8. イントラブロックコピー(IBC)バッファは、最大設定可能/許容CTU寸法に依存し得ることが提案される:
a) 例えば、ルマサンプルにおけるIBCバッファ幅は、N×NをルマサンプルにおけるCTU幅(又は高さ)で除算したものに等しいとすることができ、ただし、Nは、ルマサンプルにおける最大設定可能CTUサイズであり、例えば、N=1<<(log2_ctu_size_minus5+5)などとし得る。
9. 指定された(1つ以上の)符号化ツールのセットが、大きいCU/PUに対して無効にされ得ることが提案され、ここで、大きいCU/PUとは、CU/PU幅又はCU/PU高さのいずれかがN(例えばN=64又は128など)より大きいCU/PUを指す:
a) 一例において、上述の指定された(1つ以上の)符号化ツールは、パレット、及び/又はイントラブロックコピー(IBC)、及び/又はイントラスキップモード、及び/又は三角予測モード、及び/又はCIIPモード、及び/又は通常マージモード、及び/又はデコーダ側動き導出、及び/又は双方向オプティカルフロー、及び/又は予測精緻化ベースオプティカルフロー、及び/又はアフィン予測、及び/又はサブブロックベースTMVPなどとし得る:
i. あるいは、例えばパレット及び/又はイントラブロックコピー(IBC)モードなどの(1つ以上の)スクリーンコンテンツ符号化ツールが、大きいCU/PUに適用されてもよい;
b) 一例において、指定された(1つ以上の)符号化ツールを大きいCU/PUに対して無効にするための明示的にシンタックス制約を使用してもよい:
i. 例えば、パレット/IBCフラグは、大きいCU/PUではないCU/PUに対して明示的にシグナリングされ得る;
c) 一例において、指定された(1つ以上の)符号化ツールを大きいCU/PUに対して無効にするためのビットストリーム制約を使用してもよい。
10. TT又はBTスプリットが許可されるか否かがブロック寸法に依存し得る:
a) 一例において、ルマサンプルにおけるコーディングブロック幅又は高さがN(例えば、N=64)より大きいとき、TTスプリットは無効にされ得る:
i. 一例において、最大変換サイズが32×32に等しいとき、128×128/128×64/64×128コーディングブロックに対してTTスプリットは無効にされ得る;
ii. 一例において、最大変換サイズが32×32に等しいとき、64×64コーディングブロックに対してTTスプリットが許可され得る;
b) 一例において、ルマサンプルにおけるコーディングブロック幅がN(例えば、N=64)以下であるが、ルマサンプルにおけるその高さがN(例えば、N=64)より大きいとき、垂直BTスプリットが無効にされ得る:
i. 一例において、最大変換サイズ32×32である場合に、64×128コーディングブロックに対して垂直BTスプリットが無効にされ得る;
ii. 一例において、最大変換サイズ32×32である場合に、32×64/16×64/8×64コーディングブロックに対して垂直BTスプリットが許可され得る;
c) 一例において、コーディングブロックがルマサンプルにおけるピクチャ/サブピクチャ幅を超えるが、ルマサンプルにおけるその高さが64より大きいとき、垂直BTスプリットが無効にされ得る:
i. あるいは、コーディングブロックがルマサンプルにおけるピクチャ/サブピクチャ幅を超えるとき、水平BTスプリットが許可されてもよい;
d) 一例において、ルマサンプルにおけるコーディングブロック幅がN(例えば、N=64)より大きいが、ルマサンプルにおけるその高さがN(例えば、N=64)以下であるとき、水平BTスプリットが無効にされ得る:
i. 一例において、最大変換サイズ32×32である場合に、128×64コーディングブロックに対して垂直BTスプリットが無効にされ得る;
ii. 一例において、最大変換サイズ32×32である場合に、64×8/64×16/64×32コーディングブロックに対して水平BTスプリットが許可され得る;
e) 一例において、コーディングブロックがルマサンプルにおけるピクチャ/サブピクチャ高さを超えるが、ルマサンプルにおけるその幅がN(例えば、N=64)より大きいとき、水平BTスプリットが無効にされ得る:
i. あるいは、コーディングブロックがルマサンプルにおけるピクチャ/サブピクチャ高さを超えるとき、垂直BTスプリットが許可されてもよい。
コンフィギュラブル最大変換サイズ関連
11. 最大TUサイズがCTU寸法(幅及び/又は高さ)に依存し得ること、又はCTU寸法が最大TUサイズに依存し得ることが提案される:
a) 一例において、最大TUサイズはCTU寸法以下とするというビットストリーム制約が用いられ得る;
b) 一例において、最大TUサイズのシグナリングはCTU寸法に依存し得る:
i. 例えば、CTU寸法がN(例えば、N=64)より小さいとき、シグナリングされる最大TUサイズはNより小さくなければならない;
ii. 例えば、CTUの寸法がN(例えば、N=64)より小さいとき、最大ルマ変換サイズが64であるのか32であるのかのインジケーション(例えば、sps_max_luma_transform_size_64_flag)はシグナリングされないとすることができ、最大ルマ変換サイズは暗黙的に32として導出され得る。
12. 変換ブロックサイズより大きい幅及び/又は高さを有するブロックに対して、特定の符号化ツールが有効にされ得る:
a) 一例において、特定の符号化ツールは、イントラサブパーティション予測(ISP)、MIP、SBT、又は1つのCUを複数のTUへとスプリットしたり、1つのCBを複数のTBへとスプリットしたりする他の符号化ツールとし得る;
b) 一例において、特定の符号化ツールは、例えば変換スキップモード、BDPCM/DPCM/PCMなど、変換を適用しない(又はアイデンティティ変換のみが適用される)符号化ツールとし得る;
c) 特定のツールは、イントラブロックコピー(IBC)、パレット(PLT)とし得る;
d) 特定のツールは、結合インターイントラ予測(CIIP)とし得る。
13. 特定の符号化ツールが有効にされるか否かは、コーディングブロック寸法に依存し得る:
a) 一例において、特定の符号化ツールは、イントラサブパーティション予測(ISP)、行列ベースイントラ予測(MIP)、サブブロック変換(SBT)、イントラブロックコピー(IBC)、パレット(PLT)などとし得る;
b) 一例において、ルマサンプルにおけるコーディングブロック幅及び/又は高さがN(例えば、N=64)以下であるとき、特定の符号化ツール(例えばISP、MIPなど)が許可され得る:
i. あるいは、ルマサンプルにおけるコーディングブロック幅及び/又は高さがN(例えば、N=64)より大きいとき、特定の符号化ツールが無効にされてもよい;
c) 特定の符号化ツール(例えばISP、MIPなど)が有効にされるか否かは、コーディングブロックサイズとVPDUサイズとの間の関係に依存し得る:
i. 一例において、ルマサンプルにおけるコーディングブロック幅及び/又は高さがVPDUサイズ(例えば32又は64など)以下であるとき、特定の符号化ツールが許可され得る:
1. あるいは、ルマサンプルにおけるコーディングブロック幅及び/又は高さがVPDUサイズ(例えば32又は64など)以下であるとき、特定の符号化ツールが無効にされてもよい;
d) イントラサブパーティション予測(ISP)が有効にされるか否か、及び/又はどの(1つ以上の)パーティションタイプ(例えば、スプリット方向)が許可されるかは、サブパーティションの寸法と最大変換ブロックサイズとの間の関係に依存し得る:
i. 一例において、サブパーティション幅及び/又は高さが、少なくとも1つのパーティションタイプについて最大変換ブロックサイズより大きくないとき、ISPが有効にされ得る:
1. あるいは、さらに、それ以外の場合にISPは無効にされ得る;
ii. 一例において、サブパーティション幅及び/又は高さが、許される全てのパーティションタイプについて最大変換ブロックサイズより大きくないとき、ISPが有効にされ得る:
1. あるいは、さらに、それ以外の場合にISPは無効にされ得る;
iii. 一例において、パーティションタイプ(例えば、intra_subpartitions_split_flag)のシグナリングは、パーティションタイプに基づく対応するサブパーティションの幅及び/又は高さと最大変換ブロックサイズとの間の関係に依存し得る:
1. 一例において、パーティションタイプに基づく対応するサブパーティションの幅及び/又は高さが最大変換ブロックサイズより大きくないという条件を1つのパーティションタイプのみが満たす場合、そのパーティションタイプは、シグナリングされずに推測され得る;
e) 特定の符号化ツール(例えばIBC、PLTなど)が有効にされるか否かは、コーディングブロックサイズと最大変換サイズ(例えば32又は64など)との間の関係に依存し得る:
i. 一例において、特定の符号化ツール(例えばIBC、PLTなど)が有効にされるか否かは、コーディングブロック寸法と固定数64との間の関係に条件付けられないとし得る;
ii. 一例において、ルマサンプルにおけるコーディングブロック幅及び高さが最大変換サイズより大きくないとき、特定の符号化ツール(例えばIBC、PLTなど)が許可され得る:
1. 一例において、ルマサンプルにおけるブロック幅及び/又は高さが最大変換サイズより大きいとき、特定の符号化ツール(例えばIBC、PLTなど)が無効にされ得る;
2. 一例において、最大変換サイズが32に等しい場合、ルマサンプルにおけるブロック幅及び/又は高さが64に等しいとき、特定の符号化ツール(例えばIBC、PLTなど)が無効にされ得る;
f) 特定の符号化ツールが無効にされる場合、関連するシンタックス要素(例えば、ISPでのintra_subpartitions_mode_flag及びintra_subpartitions_split_flag、MIPでのintra_mip_flag及びintra_mip_mode、IBCでのpred_mode_ibc_flag、PLTでのpred_mode_plt_flagなど)は、シグナリングされずに、0であると推定され得る;
g) 特定の符号化ツールが無効にされる場合、関連するシンタックス要素(例えば、ISPでのintra_subpartitions_mode_flag及びintra_subpartitions_split_flag、MIPでのintra_mip_flag及びintra_mip_mode、IBCでのpred_mode_ibc_flag、PLTでのpred_mode_plt_flagなど)は、シグナリングされ得るが、適合ビットストリームにおいて0でなければならない。
14. 暗黙的QTスプリットはVPDUサイズ及び/又は最大変換サイズに依存し得る:
a) 一例において、暗黙的QTスプリットは、コーディングブロック寸法と固定数64との間の関係に条件付けられないとし得る;
b) 一例において、コーディングブロックは暗黙的に4パーティションにスプリットされ、サブパーティションの幅及び高さの両方がVPDUサイズに達するまで、各サブパーティションが再帰的に暗黙スプリットされる;
c) 一例において、コーディングブロックは暗黙的に4パーティションにスプリットされ、サブパーティションの幅及び高さの両方が最大変換サイズに達するまで、各サブパーティションが再帰的に暗黙スプリットされる。
15. サブブロック変換(SBT)に使用される最大ブロック幅及び/又は高さは最大変換サイズに依存し得る:
a) 一例において、最大SBTサイズは最大変換サイズに等しく設定され得る;
b) 一例において、最大SBTサイズに関連するシンタックス要素(例えばsps_sbt_max_size_64_flagなど)はシグナリングされないとし得る;
i. 例えば、最大変換サイズが64より小さいとき、sps_sbt_max_size_64_flagはシグナリングされずに0であると推定される;
ii. 例えば、最大変換サイズが64より小さいが、適合ビットストリームにおいて0に等しくなければならないとき、sps_sbt_max_size_64_flagはシグナリングされる;
c) 一例において、関連するシンタックス要素(例えばcu_sbt_flagなどの)のシグナリングは最大変換サイズに依存し得る;
d) 一例において、関連するシンタックス要素(例えばcu_sbt_flagなどの)のシグナリングは最大SBTサイズに依存しないとし得る。
16. 変換スキップ及び/又はイントラBDPCMに使用される最大ブロックサイズは最大変換サイズに依存し得る:
a) 一例において、最大変換スキップサイズは最大変換サイズに等しく設定され得る;
b) 一例において、最大変換スキップサイズに関連するシンタックス要素(例えばlog2_transform_skip_max_size_minus2など)はシグナリングされないとし得る。
17. イントラBDPCMに使用される最大ブロックサイズは独立にシグナリングされ得る:
a) 一例において、イントラBDPCMに使用される最大ブロックサイズは、変換スキップに使用される最大ブロックサイズに依存しないとし得る;
b) 一例において、イントラBDPCMに使用される最大ブロックサイズを規定するために、SPS/VPS/PPS/スライス/VPDU/CTU/CUレベルフラグがビットストリーム内でシグナリングされ得る。
18. ブロックに対して結合インターイントラ予測(CIIP)を有効にするか無効にするかは、ブロック幅及び/又は高さと最大変換サイズとの間の関係に依存し得る:
a) 一例において、ブロック幅及び/又は高さが最大変換サイズより大きい場合、ブロックに対してCIIPは無効にされ得る;
b) 一例において、CIIPが無効にされる場合、CIIPを指し示すシンタックス要素(例えばciip_flagなど)はシグナリングされないとし得る。
19. CIIPで符号化されるCUの幅及び高さの両方が128より小さいとき、CUを複数のサブパーティションにスプリットすることは許されず、第1のサブパーティションに関するイントラ予測は、第1のサブパーティションの前にイントラ予測が実行される第2のサブパーティションの再構築に依存する可能性がある。
20. CIIPで符号化されたCUを一部のサブパーティションに分割することが許されており、第1のサブパーティションのためのイントラ予測は、第1のサブパーティションにイントラ予測が実行されるのより前にイントラ予測が実行される第2のサブパーティションの再構成に依存し得る。
可逆コーディング関連
21. 変換スキップ符号化される(すなわち、変換が適用されない/アイデンティティ変換のみが適用される)ブロックの最大サイズは、変換が適用されるブロックに関する最大サイズ(例えば、MaxTbSizeY)から導出される:
a) 一例において、変換スキップコーディングブロックに関する最大サイズはMaxTbSizeYに推定される;
b) 一例において、変換スキップコーディングブロックに関する最大サイズのシグナリングはスキップされる。
22. 可逆コーディングが有効にされるとき、シーケンス/ピクチャ/サブピクチャ/スライス/タイルグループ/タイル/ブリック/CTU行/CTU/CU/PU/TU/サブブロックレベルの現在映像ユニットに対して、ルママッピングクロマスケーリング(LMCS)が無効にされ得る:
a) 一例において、LMCS有効化フラグ(例えばsps_lmcs_enabled_flag、slice_lmcs_enabled_flag、slice_chroma_residual_scale_flag、lmcs_dataなど)は、シーケンス/ピクチャ/サブピクチャ/スライス/タイルグループ/タイル/ブリック/CTU行/CTU/CU/PU/TU/サブブロックレベルの変換量子化バイパスフラグ(例えばsps_transquant_bypass_flag、pps_transquant_bypass_flag、cu_transquant_bypass_flagなど)を条件にしてシグナリングされ得る:
i. 一例において、変換量子化バイパスフラグが1に等しい場合、LMCS有効フラグはシグナリングされずに0であると推定され得る:
1. 一例において、シーケンスレベル変換量子化バイパスフラグ(例えばsps_transquant_bypass_flagなど)が1に等しい場合、シーケンス及び下位レベルのLMCS有効化フラグ(例えばsps_lmcs_enabled_flag、slice_lmcs_enabled_flag、slice_chroma_residual_scale_flagなど)は、シグナリングされずに0であると推定され得る;
2. 一例において、シーケンスレベルTransquantBypassEnabledFlagが1に等しい場合、APSレベルlmcs_dataはシグナリングされないとし得る;
3. 一例において、PPSレベル変換量子化バイパスフラグ(例えばpps_transquant_bypass_flag)が1に等しい場合、スライスレベルLMCS有効化フラグ(例えばslice_lmcs_enabled_flag、slice_lmcs_aps_id、slice_chroma_residual_scale_flagなど)は、シグナリングされずに0であると推定され得る;
b) 一例において、変換量子化バイパスフラグが1に等しいとき、LMCS有効化フラグは0に等しくあるべきであるというビットストリーム制約が適用され得る。
【0037】
5. 実施形態
新たに追加される部分は太字の二重括弧で囲まれ、例えば、{{a}}は、“a”が追加されたことを表し、VVC作業原案から削除される部分は太字の二重角括弧で囲まれ、例えば、[[b]]は、“b”が削除されたことを表す。これらの変更箇所は最新のVVC作業原案(JVET-O2001-v11)をベースにしている。
【0038】
5.1 実施形態例#1
以下の実施形態は、最大TUサイズをCTUサイズに依存させる発明方法に関する:
(外3)
【0039】
5.2 実施形態例#2
以下の実施形態は、TT及びBTスプリットプロセスをVPDUサイズに依存させる発明方法に関する:
(外4)
【0040】
5.3 実施形態例#3
以下の実施形態は、アフィンモデルパラメータ計算をCTUサイズに依存させる発明方法に関する:
(外5)
【0041】
5.4 ブロックサイズに応じてBT及びTTスプリットを許可することについての実施形態#4
図1に示すように、最大変換サイズが32×32であろうと64×64であろうと、TTスプリットは、ブロックサイズ64×64のコーディングブロックに対して許可されることができ、BTスプリットは、ブロックサイズ32×64、16×64、8×64、64×32、64×16、64×8に対して許可されることができる。
【0042】
図1は、ブロックサイズに応じてBT及びTTスプリットを許可することの一例である。
【0043】
5.5 VPDUサイズ又は64×64に応じてISPを適用することについての実施形態#5
変更箇所は最新のVVC作業原案(JVET-O2001-v14)をベースにしている:
(外6)
【0044】
5.6 VPDUサイズ又は64×64に応じてMIPを適用することについての実施形態#6
以下の実施形態は、ISPをVPDUサイズに依存させる発明方法に関する。変更箇所は最新のVVC作業原案(JVET-O2001-v14)をベースにしている:
(外7)
【0045】
5.7 最大変換サイズに応じてSBTを適用することについての実施形態#7
(外8)
【0046】
5.8 最大変換サイズに応じて変換スキップを適用することについての実施形態#8
(外9)
【0047】
5.9 最大変換サイズに応じたclip_flagについての実施形態#9
(外10)
【0048】
5.10 CtbSizeYに応じたsps_max_luma_transform_size_64_flagについての実施形態#10
(外11)
【0049】
図2は、映像処理装置200のブロック図である。装置200は、ここに記載される方法のうちの1つ以上を実装するために使用され得る。装置200は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信器にて具現化され得る。装置200は、1つ以上のプロセッサ202、1つ以上のメモリ204、及び映像処理ハードウェア206を含み得る。(1つ以上の)プロセッサ202は、本文書に記載される1つ以上の方法を実行するように構成され得る。(1つ以上の)メモリ204は、ここに記載される方法及び技術を実行するのに使用されるデータ及びコードを格納するために使用され得る。映像処理ハードウェア206は、本文書に記載される一部の技術をハードウェア回路にて実装するために使用され得る。一部の実施形態において、映像処理ハードウェア206は、少なくとも部分的に、プロセッサ(グラフィカルコプロセッサユニット内にあるとし得る。
【0050】
一部の実施形態において、映像符号化方法は、
図2に関して説明したようなハードウェアプラットフォーム上に実装される装置を用いて実装され得る。
【0051】
開示される技術の一部の実施形態は、映像処理ツール又はモードを有効にする決定を行うことを含む。一例において、映像処理ツール又はモードが有効にされるとき、エンコーダは、映像のブロックの処理においてそのツール又はモードを使用又は実装することになるが、必ずしも、そのツール又はモードの使用に基づいて、結果として生じるビットストリームを変更するわけではない。すなわち、映像のブロックから映像のビットストリーム表現への変換は、映像処理ツール又はモードを、それが決定に基づいて有効にされるときに使用することになる。他の一例において、映像処理ツール又はモードが有効にされるとき、デコーダは、その映像処理ツール又はモードに基づいてビットストリームが変更されていることを知って、ビットストリームを処理することになる。すなわち、映像のビットストリーム表現から映像のブロックへの変換は、決定に基づいて有効にされていた映像処理ツール又はモードを用いて実行されることになる。
【0052】
開示される技術の一部の実施形態は、映像処理ツール又はモードを無効にする決定を行うことを含む。一例において、映像処理ツール又はモードが無効にされるとき、エンコーダは、映像のブロックの映像のビットストリームへの変換においてそのツール又はモードを使用しないことになる。他の一例において、映像処理ツール又はモードが無効にされるとき、デコーダは、決定に基づいて有効にされた映像処理ツール又はモードを用いてはビットストリームが変更されていないことを知って、ビットストリームを処理することになる。
【0053】
図3は、ここに開示される様々な技術が実装され得る映像処理システム300の一例を示すブロック図である。様々な実装は、システム300のコンポーネントの一部又は全てを含み得る。システム300は、映像コンテンツを受信する入力302を含み得る。映像コンテンツは、例えば8ビット又は10ビットのマルチコンポーネント(多成分)ピクセル値といった、ロー(未加工)又は未圧縮のフォーマットで受信されてもよいし、あるいは圧縮又は符号化されたフォーマットで受信されてもよい。入力302は、ネットワークインタフェース、周辺バスインタフェース、又はストレージインタフェースを表し得る。ネットワークインタフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)などの有線インタフェース、及びWi-Fi(登録商標)若しくはセルラーインタフェースなどの無線インタフェースを含む。
【0054】
システム300は、本文書に記載される様々なコーディング又は符号化方法を実装し得る符号化コンポーネント304を含み得る。符号化コンポーネント304は、入力302から符号化コンポーネント304の出力まで映像の平均ビットレートを低減させて、映像の符号化表現を生成し得る。符号化技術は、それ故に、映像圧縮技術又は映像トランスコーディング技術と呼ばれることがある。符号化コンポーネント304の出力は、格納されるか、コンポーネント306によって表されるように接続されて通信を介して伝送されるかし得る。入力302で受信された映像の格納又は通信されるビットストリーム(又は符号化)表現は、ディスプレイインタフェース310に送られるピクセル値又は表示可能映像を生成するためにコンポーネント308によって使用され得る。ビットストリーム表現からユーザが見ることができる映像を生成するプロセスは、映像解凍と呼ばれることがある。また、特定の映像処理操作が“符号化”の操作又はツールとして参照されることがあるが、理解されることには、符号化のツール又は操作はエンコーダで使用され、符号化の結果を裏返す対応する復号のツール又は操作がデコーダで実行されることになる。
【0055】
周辺バスインタフェース又はディスプレイインタフェースの例は、ユニバーサルシリアルバス(USB)又は高精細マルチメディアインタフェース(HDMI(登録商標))又はディスプレイポート(Displayport)などを含み得る。ストレージインタフェースの例は、SATA(serial advanced technology attachment)、PCI、IDEインタフェースなどを含む。本文書に記載される技術は、例えば携帯電話、ラップトップ、スマートフォン、又はデジタルデータ処理及び/又は映像表示を実行することが可能な他の装置などの、種々のエレクトロニクス装置にて具現化され得る。
【0056】
図4は、映像処理の方法400のフローチャートである。方法400は、処理410にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)の寸法を用いて、上記1つ以上の映像ブロックのうちの映像ブロックの三分木(TT)又は二分木(BT)分割が有効にされるのかの決定を実行することを含み、上記寸法は、ルマサンプルにおけるVSizeに等しい。
【0057】
方法400は、処理420にて、上記決定に基づいて上記変換を実行することを含む。
【0058】
図5は、映像処理の方法500のフローチャートである。方法500は、処理510にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換のために、上記1つ以上の映像ブロックのうちの映像ブロックの寸法を用いて、該映像ブロックの三分木(TT)又は二分木(BT)分割が有効にされるのかの決定を実行することを含む。
【0059】
方法500は、処理520にて、上記決定に基づいて上記変換を実行することを含む。
【0060】
図6は、映像処理の方法600のフローチャートである。方法600は、処理610にて、映像ブロックの高さ又は幅を用いて、上記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行することを含み、該決定は、高さ又は幅と値Nとの間の比較に基づき、Nは正の整数である。
【0061】
方法600は、処理620にて、上記決定に基づいて上記変換を実行することを含む。
【0062】
図7は、映像処理の方法700のフローチャートである。方法700は、処理710にて、映像ブロックの高さ又は幅と変換ブロックのサイズとの間の比較を用いて、上記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行することを含む。
【0063】
方法700は、処理720にて、上記決定に基づいて上記変換を実行することを含む。
【0064】
図8は、映像処理の方法800のフローチャートである。方法800は、処理810にて、映像ブロックの高さ又は幅を用いて、上記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行することを含む。
【0065】
方法800は、処理820にて、上記決定に基づいて上記変換を実行することを含む。
【0066】
図9は、映像処理の方法900のフローチャートである。方法900は、処理910にて、映像ブロックのサブパーティションの寸法と最大変換サイズとの間の比較を用いて、(a)上記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像との間での変換に、イントラサブパーティション予測(ISP)モードが有効にされるのかの決定、及び(b)変換のための1つ以上の許されるパーティションタイプの選択を実行することを含む。
【0067】
方法900は、処理920にて、上記決定及び上記選択に基づいて上記変換を実行することを含む。
【0068】
図10は、映像処理の方法1000のフローチャートである。方法1000は、処理1010にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行することを含み、該変換は、無効にされた符号化ツールを有し、符号化ツールに関するシンタックス要素が、ビットストリーム表現から除外され、符号化ツールが無効にされることを規定する所定の値であると推定される。
【0069】
図11は、映像処理の方法1100のフローチャートである。方法1100は、処理1110にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行することを含み、該変換は、無効にされた符号化ツールを有し、ビットストリーム表現は、符号化ツールが無効にされることに基づいて所定の値であると推定される符号化ツールに関するシンタックス要素を有する。
【0070】
図12は、映像処理の方法1200のフローチャートである。方法1200は、処理1210にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)及び/又は最大変換サイズの寸法を用いて、上記1つ以上の映像ブロックのうちの映像ブロックの暗黙的(QT)分割が有効にされるのかの決定を実行することを含む。
【0071】
方法1200は、処理1220にて、上記決定に基づいて上記変換を実行することを含む。
【0072】
図13は、映像処理の方法1300のフローチャートである。方法1300は、処理1310にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行することを含み、該変換はサブブロック変換(SBT)を有し、SBTの最大高さ又は最大幅は、最大変換サイズに基づく。
【0073】
図14は、映像処理の方法1400のフローチャートである。方法1400は、処理1410にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行することを含み、該変換は、変換スキップモード及び/又はイントラブロックベース差動パルス符号変調(BDPCM)モードを有し、変換スキップモードに使用される最大ブロックサイズが、最大変換サイズに基づく。
【0074】
図15は、映像処理の方法1500のフローチャートである。方法1500は、処理1510にて、映像ブロックの高さ又は幅と最大変換サイズとの間の比較を用いて、映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、結合インターイントラ予測(CIIP)モードが有効にされるのかの決定を実行することを含む。
【0075】
方法1500は、処理1520にて、上記決定に基づいて上記変換を実行することを含む。
【0076】
図16は、映像処理の方法1600のフローチャートである。方法1600は、処理1610にて、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換のために、結合インターイントラ予測(CIIP)で符号化される1つ以上の映像ブロックのうちの映像ブロックを分割することに関して決定を行うことを含む。
【0077】
方法1600は、処理1620にて、上記決定に基づいて上記変換を実行することを含む。
【0078】
図17は、映像処理の方法1700のフローチャートである。方法1700は、処理1710にて、複数の映像ブロックを有した映像領域を有する映像と、該映像のビットストリーム表現との間での変換を、ルールに従って実行することを含み、該ルールは、変換符号化を用いてビットストリーム表現内に符号化される映像領域内の複数の映像ブロックの最大ブロックサイズが、変換符号化を用いずにビットストリーム表現内に符号化される映像領域内の複数の映像ブロックの最大ブロックサイズを決定する、ことを規定する。
【0079】
図18は、映像処理の方法1800のフローチャートである。方法1800は、処理1810にて、複数の映像ブロックを有した映像領域を有する映像と、該映像のビットストリーム表現との間での変換を、ルールに従って実行することを含み、該ルールは、映像領域に対して可逆コーディングが有効にされるときに、映像領域に対してクロマスケーリング付きルママッピング(LMCS)プロセスが無効にされる、ことを規定し、映像領域は、シーケンス、ピクチャ、サブピクチャ、スライス、タイルグループ、タイル、ブリック、コーディングツリーユニット(CTU)行、CTU、コーディングユニット(CU)、予測ユニット(PU)、変換ユニット(TU)、又はサブブロックである。
【0080】
方法400-1800において、ISPモードにおいて、上記1つ以上の映像ブロックのうちの映像ブロックは、イントラ予測及び変換の適用前に複数のサブパーティションへと分割される。
【0081】
方法400-1800において、SBTは、上記1つ以上の映像ブロックのうちの映像ブロックの1つ以上のパーティションに別々に適用される1つ以上の変換を有する。
【0082】
方法400-1800において、変換スキップモードは、対応する符号化ツールについての変換及び逆変換プロセスをスキップすることを有し、BDPCMモードにおいて、現在映像ブロックのイントラ予測の残差は、差動パルス符号化変調処理を用いて予測的に符号化される。
【0083】
方法400-1800において、CIIPモードにおいて、映像ブロックの最終予測は、映像ブロックのインター予測と映像ブロックのイントラ予測との加重和に基づく。
【0084】
方法400-1800において、LMCSプロセスは、映像領域のルマサンプルが第1ドメインと第2ドメインとの間でリシェイピングされること、及びルマ依存的にクロマ残差がスケーリングされることを含む。
【0085】
一部の実施形態において、以下の技術的ソリューションが実装され得る。
【0086】
A1. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)の寸法を用いて、前記1つ以上の映像ブロックのうちの映像ブロックの三分木(TT)又は二分木(BT)分割が有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを有し、前記寸法は、ルマサンプルにおけるVSizeに等しく、前記映像ブロックの寸法は、ルマサンプルにおけるCtbSizeYであり、ただし、VSize=min(M,CtbSizeY)であり、Mは正の整数である、方法。
【0087】
A2. M=64である、ソリューションA1の方法。
【0088】
A3. 前記VPDUの前記寸法は高さ又は幅である、ソリューションA1又はA2の方法。
【0089】
A4. 前記決定は最大変換サイズに依存しない、ソリューションA1の方法。
【0090】
A5. VSizeは所定の値である、ソリューションA1乃至A4のいずれかの方法。
【0091】
A6. VSize=64である、ソリューションA5の方法。
【0092】
A7. 前記TT分割の決定は、ルマサンプルにおける前記映像ブロックの幅又は高さがmin(VSize,maxTtSize)より大きいことに基づき、ただし、maxTtSizeは最大変換サイズである、ソリューションA1の方法。
【0093】
A8. 前記TT分割の決定は、ルマサンプルにおける前記映像ブロックの幅又は高さがVSizeより大きいことに基づく、ソリューションA1の方法。
【0094】
A9. maxTtSizeは32×32であり、且つVSizeは64×64であり、前記TT分割は、前記映像ブロックのサイズが128×128、128×64、又は64×128であるときに無効にされる、ソリューションA7の方法。
【0095】
A10. maxTtSizeは32×32であり、且つVSizeは64×64であり、前記TT分割は、前記映像ブロックのサイズが64×64であるときに有効にされる、ソリューションA7の方法。
【0096】
A11. 垂直BT分割の前記決定は、ルマサンプルにおける前記映像ブロックの幅がVSize以下であり且つルマサンプルにおける前記映像ブロックの高さがVSizeより大きいことに基づく、ソリューションA1の方法。
【0097】
A12. 最大変換サイズは32×32であり、且つVSizeは64×64であり、前記垂直BT分割は、前記映像ブロックのサイズが64×128であるときに無効にされる、ソリューションA11の方法。
【0098】
A13. 最大変換サイズは32×32であり、且つVSizeは64×64であり、前記垂直BT分割は、前記映像ブロックのサイズが32×64、16×64、又は8×64であるときに有効にされる、ソリューションA11の方法。
【0099】
A14. (i)ルマサンプルにおける前記映像ブロックの幅と、前記映像ブロックの左上ルマサンプルの水平座標との和が、ピクチャの幅、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの幅より大きく、且つ(ii)ルマサンプルにおける前記映像ブロックの高さがVSizeより大きいとき、垂直BT分割が無効にされる、ソリューションA1の方法。
【0100】
A15. ルマサンプルにおける前記映像ブロックの幅と、前記映像ブロックの左上ルマサンプルの水平座標との和が、ピクチャの幅、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの幅より大きいとき、水平BT分割が有効にされる、ソリューションA1の方法。
【0101】
A16. 水平BT分割の前記決定は、ルマサンプルにおける前記映像ブロックの幅がVSizeより大きく且つルマサンプルにおける前記映像ブロックの高さがVSize以下であることに基づく、ソリューションA1の方法。
【0102】
A17. 最大変換サイズは32×32であり、且つVSizeは64×64であり、前記水平BT分割は、前記映像ブロックのサイズが128×64であるときに無効にされる、ソリューションA16の方法。
【0103】
A18. 最大変換サイズは32×32であり、且つVSizeは64×64であり、前記水平BT分割は、前記映像ブロックのサイズが64×8、64×16、又は64×32であるときに有効にされる、ソリューションA16の方法。
【0104】
A19. (i)ルマサンプルにおける前記映像ブロックの高さと、前記映像ブロックの左上ルマサンプルの垂直座標との和が、ピクチャの高さ、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの高さより大きく、且つ(ii)ルマサンプルにおける前記映像ブロックの幅がVSizeより大きいとき、水平BT分割が無効にされる、ソリューションA1の方法。
【0105】
A20. ルマサンプルにおける前記映像ブロックの高さと、前記映像ブロックの左上ルマサンプルの垂直座標との和が、ピクチャの高さ、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの高さより大きいとき、垂直BT分割が有効にされる、ソリューションA1の方法。
【0106】
A21. 前記TT又は前記BT分割が無効にされ、前記TT又は前記BT分割のインジケーションが前記ビットストリーム表現から除外され、前記インジケーションは、前記TT又は前記BT分割が無効にされることを指し示す所定の値であると暗黙的に導出される、ソリューションA1の方法。
【0107】
A22. 前記所定の値はゼロである、ソリューションA21の方法。
【0108】
A23. 前記TT又は前記BT分割が有効にされ、前記TT又は前記BT分割のインジケーションが前記ビットストリーム表現内でシグナリングされる、ソリューションA1の方法。
【0109】
A24. 前記TT又は前記BT分割が無効にされ、前記TT又は前記BT分割のインジケーションが前記ビットストリーム表現内でシグナリングされ、該インジケーションはデコーダによって無視される、ソリューションA1の方法。
【0110】
A25. 前記TT又は前記BT分割が無効にされ、前記TT又は前記BT分割のインジケーションが前記ビットストリーム表現内でシグナリングされ、該インジケーションは、前記TT又は前記BT分割が無効にされることに基づいてゼロである、ソリューションA1の方法。
【0111】
A26. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換のために、前記1つ以上の映像ブロックのうちの映像ブロックの寸法を用いて、該映像ブロックの三分木(TT)又は二分木(BT)分割が有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを有する方法。
【0112】
A27. 前記TT又は前記BT分割の前記決定は、ルマサンプルにおける前記映像ブロックの幅又は高さがNより大きいことに基づき、ただし、Nは正の整数である、ソリューションA26の方法。
【0113】
A28. N=64である、ソリューションA27の方法。
【0114】
A29. 最大変換サイズは32×32であり、前記TT分割は、前記映像ブロックのサイズが128×128、128×64、又は64×128であるときに無効にされる、ソリューションA27又はA28の方法。
【0115】
A30. maxTtSizeは32×32であり、前記TT分割は、前記映像ブロックのサイズが64×64であるときに有効にされる、ソリューションA27又はA28の方法。
【0116】
A31. 垂直BT分割の前記決定は、ルマサンプルにおける前記映像ブロックの幅がN以下であり且つルマサンプルにおける前記映像ブロックの高さがNより大きいことに基づき、ただし、Nは正の整数である、ソリューションA26の方法。
【0117】
A32. N=64である、ソリューションA31の方法。
【0118】
A33. 最大変換サイズは32×32であり、前記垂直BT分割は、前記映像ブロックのサイズが64×128であるときに無効にされる、ソリューションA31又はA32の方法。
【0119】
A34. 最大変換サイズは32×32であり、前記垂直BT分割は、前記映像ブロックのサイズが32×64、16×64、又は8×64であるときに有効にされる、ソリューションA31又はA32の方法。
【0120】
A35. (i)ルマサンプルにおける前記映像ブロックの幅と、前記映像ブロックの左上ルマサンプルの水平座標との和が、ピクチャの幅、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの幅より大きく、且つ(ii)ルマサンプルにおける前記映像ブロックの高さが64より大きいとき、垂直BT分割が無効にされる、ソリューションA26の方法。
【0121】
A36. ルマサンプルにおける前記映像ブロックの幅と、前記映像ブロックの左上ルマサンプルの水平座標との和が、ピクチャの幅、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの幅より大きいとき、水平BT分割が有効にされる、ソリューションA26の方法。
【0122】
A37. 水平BT分割の前記決定は、ルマサンプルにおける前記映像ブロックの幅がNより大きく且つルマサンプルにおける前記映像ブロックの高さがN以下であることに基づき、ただし、Nは整数である、ソリューションA26の方法。
【0123】
A38. N=64である、ソリューションA37の方法。
【0124】
A39. 最大変換サイズは32×32であり、前記水平BT分割は、前記映像ブロックのサイズが128×64であるときに無効にされる、ソリューションA37又はA38の方法。
【0125】
A40. 最大変換サイズは32×32であり、前記水平BT分割は、前記映像ブロックのサイズが64×8、64×16、又は64×32であるときに有効にされる、ソリューションA37又はA38の方法。
【0126】
A41. (i)ルマサンプルにおける前記映像ブロックの高さと、前記映像ブロックのルマサンプルの垂直座標との和が、ピクチャの高さ、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの高さより大きく、且つ(ii)ルマサンプルにおける前記映像ブロックの幅がNより大きいとき、水平BT分割が無効にされ、ただし、Nは正の整数である、ソリューションA26の方法。
【0127】
A42. ルマサンプルにおける前記映像ブロックの高さと、前記映像ブロックの左上ルマサンプルの垂直座標との和が、ピクチャの高さ、又はルマサンプルにおける前記映像ブロックを有するサブピクチャの高さより大きいとき、垂直BT分割が有効にされる、ソリューションA26の方法。
【0128】
A43. 前記映像ブロックは、前記映像を前記ビットストリーム表現へと符号化するのに使用される論理パーティションを表すコーディングツリーユニット(CTU)に対応する、ソリューションA1乃至A42のいずれかの方法。
【0129】
A44. 前記変換を実行することは、前記映像領域から前記ビットストリーム表現を生成することを有する、ソリューションA1乃至A43のいずれかの方法。
【0130】
A45. 前記変換を実行することは、前記ビットストリーム表現から前記映像領域を生成することを含む、ソリューションA1乃至A43のいずれかの方法。
【0131】
A46. プロセッサと、命令を有する非一時的なメモリと、を有する映像システム内の装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、ソリューションA1乃至A45のいずれかの方法を実行させる、装置。
【0132】
A47. 非一時的なコンピュータ読み取り可能媒体に格納されたコンピュータプログラムプロダクトであって、ソリューションA1乃至A45のいずれかの方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクト。
【0133】
一部の実施形態において、以下の技術的ソリューションが実装され得る。
【0134】
B1. 映像処理の方法であって、映像ブロックの高さ又は幅を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを有し、前記決定は、前記高さ又は前記幅と値Nとの間の比較に基づき、ただし、Nは正の整数である、方法。
【0135】
B2.N=64である、ソリューションB1の方法。
【0136】
B3. N=128である、ソリューションB1の方法。
【0137】
B4. 無効にされる前記符号化ツールは、パレット符号化モード、イントラブロックコピー(IBC)モード、及び/又は結合イントラインター予測(CIIP)モードを有する、ソリューションB1乃至B3のいずれかの方法。
【0138】
B5. 前記符号化ツールは更に、イントラスキップモード、三角予測モード、通常マージモード、デコーダ側動き導出モード、双方向オプティカルフローモード、予測精緻化ベースオプティカルフローモード、アフィン予測モード、及び/又はサブブロックベース時間動きベクトル予測モードを有する、ソリューションB1乃至B4のいずれかの方法。
【0139】
B6. 有効にされる前記符号化ツールは、パレット符号化モード及び/又はイントラブロックコピー(IBC)モードを有する、ソリューションB1乃至B3のいずれかの方法。
【0140】
B7. 前記ビットストリーム表現は、前記符号化ツールを無効にするための明示的シンタックス制約を有する、ソリューションB1乃至B3のいずれかの方法。
【0141】
B8. 前記明示的シンタックス制約は、パレット符号化モードフラグ及び/又はイントラブロックコピー(IBC)モードフラグを有する、ソリューションB7の方法。
【0142】
B9. 前記映像ブロックは、コーディングユニット(CU)又は予測ユニット(PU)を有する、ソリューションB1乃至B8のいずれかの方法。
【0143】
B10. 映像処理の方法であって、映像ブロックの高さ又は幅と変換ブロックのサイズとの間の比較を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを有する方法。
【0144】
B11. 前記符号化ツールは、イントラサブパーティション予測(ISP)、行列ベースイントラ予測(MIP)、サブブロック変換(SBT)、又は前記映像領域に関連付けられた1つのコーディングユニット(CU)を複数の変換ユニット(TU)へとスプリットする又は前記映像領域に関連付けられた1つのコーディングブロックを複数の変換ブロック(TB)へとスプリットする符号化ツールを有する、ソリューションB10の方法。
【0145】
B12. 前記符号化ツールは、変換スキップモード、ブロックベースデルタパルス符号変調(BDPCM)、DPCM、又はPCMを有する、ソリューションB10の方法。
【0146】
B13. 前記符号化ツールは、イントラブロックコピー(IBC)モード又はパレットモード(PLT)を有する、ソリューションB10の方法。
【0147】
B14. 前記符号化ツールは、結合イントラインター予測(CIIP)モードを有する、ソリューションB10の方法。
【0148】
B15. 映像処理の方法であって、映像ブロックの高さ又は幅を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、符号化ツールが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを有する方法。
【0149】
B16. 前記符号化ツールは、イントラサブパーティション予測(ISP)、サブブロック変換(SBT)、イントラブロックコピー(IBC)モード、又はパレットモードを有する、ソリューションB15の方法。
【0150】
B17. 前記符号化ツールは、ルマサンプルにおける前記映像ブロックの前記高さ又は前記幅がN以下であるときに有効にされるイントラサブパーティション予測(ISP)を有し、ただし、Nは正の整数である、ソリューションB15の方法。
【0151】
B18. 前記符号化ツールは、ルマサンプルにおける前記映像ブロックの前記高さ又は前記幅がNより大きいときに無効にされるイントラサブパーティション予測(ISP)を有し、ただし、Nは正の整数である、ソリューションB15の方法。
【0152】
B19. N=64である、ソリューションB17又はB18の方法。
【0153】
B20. 前記決定は、前記映像ブロックの前記高さ又は前記幅と仮想パイプラインデータユニット(VPDU)のサイズとの間の比較に基づく、ソリューションB15の方法。
【0154】
B21. 前記符号化ツールは、ルマサンプルにおける前記映像ブロックの前記高さ又は前記幅が前記VPDUの前記サイズ以下であるときに有効にされる、ソリューションB20の方法。
【0155】
B22. 前記符号化ツールは、ルマサンプルにおける前記映像ブロックの前記高さ又は前記幅が前記VPDUの前記サイズより大きいときに無効にされる、ソリューションB20の方法。
【0156】
B23. 前記VPDUの前記サイズは32又は64である、ソリューションB21又はB22の方法。
【0157】
B24. 映像処理の方法であって、映像ブロックのサブパーティションの寸法と最大変換サイズとの間の比較を用いて、(a)前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像との間での変換に、イントラサブパーティション予測(ISP)モードが有効にされるのかの決定、及び(b)前記変換のための1つ以上の許されるパーティションタイプの選択を実行し、前記決定及び前記選択に基づいて前記変換を実行する、ことを有し、前記ISPモードにおいて、前記1つ以上の映像ブロックのうちの映像ブロックは、イントラ予測及び変換の適用前に複数のサブパーティションへと分割される、方法。
【0158】
B25. 前記映像ブロックの高さ又は幅が、前記1つ以上の許されるパーティションタイプのうちの少なくとも1つについて前記最大変換サイズ以下であるとき、前記ISPモードは有効にされる、ソリューションB24の方法。
【0159】
B26. 前記映像ブロックの高さ又は幅が、前記1つ以上の許されるパーティションタイプのうちの少なくとも1つについて前記最大変換サイズより大きいとき、前記ISPモードは無効にされる、ソリューションB24の方法。
【0160】
B27. 前記映像ブロックの高さ又は幅が、前記1つ以上の許されるパーティションタイプの各々について前記最大変換サイズ以下であるとき、前記ISPモードは有効にされる、ソリューションB24の方法。
【0161】
B28. 前記映像ブロックの高さ又は幅が、前記1つ以上の許されるパーティションタイプの各々について前記最大変換サイズより大きいとき、前記ISPモードは無効にされる、ソリューションB24の方法。
【0162】
B29. 前記1つ以上の許されるパーティションタイプを前記ビットストリーム表現内でシグナリングすることが、対応するサブパーティションの高さ又は幅と前記最大変換サイズとの間の関係に基づく、ソリューションB24の方法。
【0163】
B30. 前記1つ以上の許されるパーティションタイプを前記ビットストリーム表現内でシグナリングすることが、前記映像ブロックの高さ又は幅と前記最大変換サイズとの間の関係に基づく、ソリューションB24の方法。
【0164】
B31. 前記映像ブロックに対する符号化ツールの適用を有効又は無効にすることが、前記映像ブロックの高さ又は幅と前記最大変換サイズとの間の関係に基づく、ソリューションB24の方法。
【0165】
B32. 前記最大変換サイズは32又は64である、ソリューションB31の方法。
【0166】
B33. 前記符号化ツールは、前記映像ブロックの高さ又は幅が最大変換サイズ以下であるときに有効にされる、ソリューションB31又はB32の方法。
【0167】
B34. 前記符号化ツールは、イントラブロックコピー(IBC)モード又はパレットモードを有する、ソリューションB31乃至B33のいずれかの方法。
【0168】
B35. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、無効にされた符号化ツールを有し、前記符号化ツールに関するシンタックス要素が、前記ビットストリーム表現から除外され、前記符号化ツールが無効にされることを規定する所定の値であると推定される、ことを有する方法。
【0169】
B36. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、無効にされた符号化ツールを有し、前記ビットストリーム表現は、前記符号化ツールが無効にされることに基づいて所定の値であると推定される前記符号化ツールに関するシンタックス要素を有する、ことを有する方法。
【0170】
B37. 前記所定の値はゼロである、ソリューションB35又はB36の方法。
【0171】
B38. 前記符号化ツールはイントラサブパーティション予測(ISP)を有し、前記シンタックス要素は、前記1つ以上の映像ブロックのうちの映像ブロックが複数のサブパーティションに分割されるかを指し示し(intra_subpartitions_mode_flagと表記される)、及び/又は前記映像ブロックをどのように複数のサブパーティションに分割するかを指し示す(intra_subpartitions_split_flagと表記される)、ソリューションB35又はB36の方法。
【0172】
B39. 前記符号化ツールは行列ベースイントラ予測(MIP)を有し、前記シンタックス要素は、前記1つ以上の映像ブロックのうちの映像ブロックが前記MIPを使用するのかを指し示し(intra_mip_flagと表記される)、及び/又はMIPモードインデックスのインジケーションを指し示す(intra_mip_modeと表記される)、ソリューションB35又はB36の方法。
【0173】
B40. 前記符号化ツールはイントラブロックコピー(IBC)モードを有し、前記シンタックス要素は、前記1つ以上の映像ブロックのうちの映像ブロックが前記IBCモードを使用するのかを指し示す(pred_mode_ibc_flagと表記される)、ソリューションB35又はB36の方法。
【0174】
B41. 前記符号化ツールはパレットモードを有し、前記シンタックス要素は、前記1つ以上の映像ブロックのうちの映像ブロックがパレットモードを使用するのかを指し示す(pred_mode_plt_flagと表記される)、ソリューションB35又はB36の方法。
【0175】
B42. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に使用される仮想パイプラインデータユニット(VPDU)及び/又は最大変換サイズの寸法を用いて、前記1つ以上の映像ブロックのうちの映像ブロックの暗黙的(QT)分割が有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを有する方法。
【0176】
B43. 前記暗黙的QT分割の各サブパーティションは、該サブパーティションのサイズが前記VPDUのサイズに等しくなるまで、再帰的に分割される、ソリューションB42の方法。
【0177】
B44. 前記暗黙的QT分割の各サブパーティションは、該サブパーティションのサイズが前記最大変換サイズに等しくなるまで、再帰的に分割される、ソリューションB42の方法。
【0178】
B45. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換はサブブロック変換(SBT)を有し、前記SBTの最大高さ又は最大幅は、最大変換サイズに基づき、前記SBTは、前記1つ以上の映像ブロックのうちの映像ブロックの1つ以上のパーティションに別々に適用される1つ以上の変換を有する、ことを有する方法。
【0179】
B46. 前記SBTの前記最大高さ又は前記最大幅のうち少なくとも一方が前記最大変換サイズに等しく設定される、ソリューションB45の方法。
【0180】
B47. 前記ビットストリーム表現は、前記SBTの前記最大高さ又は前記最大幅に関するシンタックス要素を除外する、ソリューションB45の方法。
【0181】
B48. 前記シンタックス要素は、sps_sbt_max_size_64_flagであり、前記最大変換サイズが64より小さいことを指し示す所定の値であると推定される、ソリューションB47の方法。
【0182】
B49. 前記所定の値はゼロである、ソリューションB48の方法。
【0183】
B50. 前記SBTに関するシンタックス要素を前記ビットストリーム表現内でシグナリングすることが前記最大変換サイズに基づく、ソリューションB47の方法。
【0184】
B51. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換を実行し、前記変換は、変換スキップモード及び/又はイントラブロックベース差動パルス符号変調(BDPCM)モードを有し、前記変換スキップモードに使用される最大ブロックサイズが、最大変換サイズに基づき、前記変換スキップモードは、対応する符号化ツールについての変換及び逆変換プロセスをスキップすることを有し、前記BDPCMモードにおいて、前記現在映像ブロックのイントラ予測の残差は、差動パルス符号化変調処理を用いて予測的に符号化される、ことを有する方法。
【0185】
B52. 前記変換スキップモードでの前記最大ブロックサイズは、前記最大変換サイズに等しく設定される、ソリューションB51の方法。
【0186】
B53. 前記ビットストリーム表現は、前記変換スキップモードでの前記最大ブロックサイズに関するシンタックス要素を除外する、ソリューションB51の方法。
【0187】
B54. 前記イントラBDPCMモードに使用される最大ブロックサイズが、前記ビットストリーム表現内で独立にシグナリングされる、ソリューションB51の方法。
【0188】
B55. 前記イントラBDPCMモードに使用される最大ブロックサイズは、前記変換スキップモードでの前記最大ブロックサイズに基づかない、ソリューションB54の方法。
【0189】
B56. 前記イントラBDPCMモードに使用される最大ブロックサイズは、前記ビットストリーム表現内の、シーケンスパラメータセット(SPS)、ビデオパラメータセット(VPS)、ピクチャパラメータセット(PPS)、スライスヘッダ、仮想パイプラインデータユニット(VPDU)、コーディングツリーユニット(CTU)、又はコーディングユニット(CU)内でシグナリングされる、ソリューションB51の方法。
【0190】
B57. 映像処理の方法であって、映像ブロックの高さ又は幅と最大変換サイズとの間の比較を用いて、前記映像ブロックを有する1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換に、結合インターイントラ予測(CIIP)モードが有効にされるのかの決定を実行し、前記決定に基づいて前記変換を実行する、ことを有し、前記CIIPモードにおいて、前記映像ブロックの最終予測は、前記映像ブロックのインター予測と前記映像ブロックのイントラ予測との加重和に基づく、方法。
【0191】
B58. 前記映像ブロックの前記高さ及び/又は前記幅が前記最大変換サイズより大きいとき、前記CIIPモードは無効にされる、ソリューションB57の方法。
【0192】
B59. 映像処理の方法であって、1つ以上の映像ブロックを有した1つ以上の映像領域を有する映像と、該映像のビットストリーム表現との間での変換のために、結合インターイントラ予測(CIIP)で符号化される前記1つ以上の映像ブロックのうちの映像ブロックを分割することに関して決定を行い、前記決定に基づいて前記変換を実行する、ことを有し、前記CIIPモードにおいて、前記映像ブロックの最終予測は、前記映像ブロックのインター予測と前記映像ブロックのイントラ予測との加重和に基づく、方法。
【0193】
B60. 前記コーディングユニットの高さ及び幅が128より小さいとき、前記映像ブロックは分割されない、ソリューションB59の方法。
【0194】
B61. 前記コーディングユニットの高さ及び幅が64以下であるとき、前記映像ブロックは分割されない、ソリューションB59の方法。
【0195】
B62. 前記映像ブロックは、複数のサブパーティションに分割され、前記複数のサブパーティションの第1のサブパーティションに対するイントラ予測が、前記複数のサブパーティションの第2のパーティションの再構成に基づき、前記第2のサブパーティションのイントラ予測は、前記第1のサブパーティションの前記イントラ予測に先立って実行される、ソリューションB59の方法。
【0196】
B63. 前記映像ブロックはコーディングユニット(CU)である、ソリューションB59乃至B62のいずれかの方法。
【0197】
B64. 映像処理の方法であって、複数の映像ブロックを有した映像領域を有する映像と、該映像のビットストリーム表現との間での変換を、ルールに従って実行する、ことを有し、前記ルールは、変換符号化を用いて前記ビットストリーム表現内に符号化される前記映像領域内の前記複数の映像ブロックの最大ブロックサイズが、変換符号化を用いずに前記ビットストリーム表現内に符号化される前記映像領域内の前記複数の映像ブロックの最大ブロックサイズを決定する、ことを規定する、方法。
【0198】
B65. 前記変換スキップモードでの前記最大サイズがMaxTbSizeYに等しい、ソリューションB64の方法。
【0199】
B66. 前記ビットストリーム表現は、前記変換スキップモードでの前記最大サイズのインジケーションを除外する、ソリューションB64の方法。
【0200】
B67. 映像処理の方法であって、複数の映像ブロックを有した映像領域を有する映像と、該映像のビットストリーム表現との間での変換を、ルールに従って実行する、ことを有し、前記ルールは、前記映像領域に対して可逆コーディングが有効にされるときに、前記映像領域に対してクロマスケーリング付きルママッピング(LMCS)プロセスが無効にされる、ことを規定し、前記映像領域は、シーケンス、ピクチャ、サブピクチャ、スライス、タイルグループ、タイル、ブリック、コーディングツリーユニット(CTU)行、CTU、コーディングユニット(CU)、予測ユニット(PU)、変換ユニット(TU)、又はサブブロックであり、前記LMCSプロセスは、前記映像領域のルマサンプルが第1ドメインと第2ドメインとの間でリシェイピングされること、及びルマ依存的にクロマ残差がスケーリングされることを含む、方法。
【0201】
B68. 前記LMCSプロセスに関するインジケーションをシグナリングすることが、前記映像領域についての変換量子化バイパスフラグに基づく、ソリューションB67の方法。
【0202】
B69. 前記変換量子化バイパスフラグが1に等しいとき、前記LMCSプロセスに関する前記インジケーションは、前記ビットストリーム表現から除外され、ゼロであると推定される、ソリューションB68の方法。
【0203】
B70. 前記変換を実行することは、前記映像領域から前記ビットストリーム表現を生成することを有する、ソリューションB1乃至B69のいずれかの方法。
【0204】
B71. 前記変換を実行することは、前記ビットストリーム表現から前記映像領域を生成することを含む、ソリューションB1乃至B69のいずれかの方法。
【0205】
B72. プロセッサと、命令を有する非一時的なメモリと、を有する映像システム内の装置であって、前記命令は、前記プロセッサによって実行されると、前記プロセッサに、ソリューションB1乃至B71のいずれかの方法を実行させる、装置。
【0206】
B73. 非一時的なコンピュータ読み取り可能媒体に格納されたコンピュータプログラムプロダクトであって、ソリューションB1乃至B71のいずれかの方法を実行するためのプログラムコードを含むコンピュータプログラムプロダクト。
【0207】
開示される及びその他のソリューション、この文書に記述される例、実施形態、モジュール及び機能動作は、この文書に開示されている構造及びそれらに構造的に均等なものを含め、デジタル電子回路、又はコンピュータソフトウェア、ファームウェア、若しくはハードウェアにて、あるいはこれらのうちの1つ以上の組み合わせにて実施されることができる。開示される及びその他の実施形態は、1つ以上のコンピュータプログラムプロダクトとして実装されることができ、すなわち、データ処理装置による実行のための、又はデータ処理装置の動作を制御するための、コンピュータ読み取り可能媒体にエンコードされたコンピュータプログラム命令の1つ以上のモジュールとして実装されることができる。コンピュータ読み取り可能媒体は、機械読み取り可能記憶装置、機械読み取り可能記憶基板、メモリ装置、機械読み取り可能な伝搬信号を生じさせる物質の組成、又はそれらのうちの1つ以上の組み合わせとすることができる。用語“データ処理装置”は、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含め、データを処理するあらゆる装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらのうちの1つ以上の組み合わせを構成するコードといった、問題としているコンピュータプログラムのための実行環境を作り出すコードを含むことができる。伝播される信号は、人工的に生成される信号であり、例えば、適切な受信器装置への伝送のために情報をエンコードするために生成される機械生成による電気信号、光信号、又は電磁信号である。
【0208】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる)は、コンパイル型又はインタープリタ型の言語を含め、如何なる形態のプログラミング言語で記述されてもよく、また、スタンドアロンプログラムとして、又はコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとして、を含め、如何なる形態で展開されてもよい。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムは、他のプログラム若しくはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に格納されてもよいし、問題としているプログラムに専用の単一ファイルに格納されてもよいし、あるいは、複数の連携ファイル(例えば、1つ以上のモジュール、サブプログラム、又はコードの部分を格納するファイル)に格納されてもよい。コンピュータプログラムは、1つのコンピュータ上で実行されるように展開されてもよいし、あるいは、一箇所に配置された、又は複数箇所に分散されて通信ネットワークによって相互接続された、複数のコンピュータ上で実行されるように展開されてもよい。
【0209】
この文書に記載されるプロセス及び論理フローは、入力データについて演算して出力を生成することによって機能を実行するよう、1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサによって実行されることができる。これらのプロセス及び論理フローはまた、例えばFPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)といった専用の論理回路によって実行されることもでき、また、装置も、そのような専用の論理回路として実装されることができる。
【0210】
コンピュータプログラムの実行に適したプロセッサは、例として、汎用及び専用の双方のマイクロプロセッサ、及び任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリ若しくはランダムアクセスメモリ又はこれらの両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令及びデータを格納する1つ以上のメモリデバイスである。一般に、コンピュータはまた、例えば磁気ディスク、磁気光ディスク、又は光ディスクといった、データを格納するための1つ以上の大容量ストレージ装置を含み、あるいは、大容量ストレージ装置からデータを受信したり、それにデータを転送したりするように動作的に結合される。しかしながら、コンピュータは、そのような装置を有する必要はない。コンピュータプログラム命令及びデータを格納するのに適したコンピュータ読み取り可能媒体は、例として、例えばEPROM、EEPROM、及びフラッシュメモリデバイスといった半導体メモリデバイス、例えば内部ハードディスク又はリムーバブルディスクといった磁気ディスク;光磁気ディスク;並びにCD ROM及びDVD-ROMディスクを含め、あらゆる形態の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用の論理回路によって補われたり、それに組み込まれたりしてもよい。
【0211】
この特許文書は数多くの詳細が含んでいるが、それらは、いずれかの主題又は特許請求され得るものの範囲についての限定として解釈されるべきでなく、むしろ、特定の技術の特定の実施形態に特有とし得る機構の説明として解釈されるべきである。別々の実施形態の文脈でこの特許文書に記載されている特定の複数の機構が、単一の実施形態にて組み合わせて実装されることもできる。逆に、単一の実施形態の文脈で説明されている種々の機構が、複数の実施形態にて別々に、又は何らかの好適なサブコンビネーションで実装されることもできる。さらには、複数の機構が、特定の組み合わせにて作用するものとして上述され、さらには当初はそのように特許請求されていることがあり得るが、場合によって、特許請求されている組み合わせからの1以上の機構を組み合わせから除くこともでき、また、特許請求されている組み合わせをサブコンビネーション又はサブコンビネーションのバリエーションへと導いてもよい。
【0212】
同様に、図面には処理が特定の順序で示されるが、このことは、所望の結果を達成するために、それらの動作が図示される特定の順序で若しくは順番に実行されること、又は図示される全ての処理が実行されることを要求するものとして理解されるべきでない。また、この特許文書に記載されている実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を必要とするものとして理解されるべきでない。
【0213】
ほんの少しの実装及び例を記載したのみであり、この特許文書に記載及び図示されているものに基づいて、他の実装、拡張及び変形が行われ得る。
【外国語明細書】