(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-30
(45)【発行日】2024-10-08
(54)【発明の名称】ビデオ復号化方法、ビデオ復号化装置、及び非一時的コンピュータ可読記憶媒体
(51)【国際特許分類】
H04N 19/11 20140101AFI20241001BHJP
H04N 19/136 20140101ALI20241001BHJP
H04N 19/176 20140101ALI20241001BHJP
H04N 19/593 20140101ALI20241001BHJP
【FI】
H04N19/11
H04N19/136
H04N19/176
H04N19/593
(21)【出願番号】P 2021545471
(86)(22)【出願日】2020-02-05
(86)【国際出願番号】 US2020016888
(87)【国際公開番号】W WO2020163535
(87)【国際公開日】2020-08-13
【審査請求日】2021-08-03
【審判番号】
【審判請求日】2023-05-10
(32)【優先日】2019-02-05
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】521248394
【氏名又は名称】ベイジン、ターチア、インターネット、インフォメーション、テクノロジー、カンパニー、リミテッド
【氏名又は名称原語表記】BEIJING DAJIA INTERNET INFORMATION TECHNOLOGY CO.,LTD.
(74)【代理人】
【識別番号】110001519
【氏名又は名称】弁理士法人太陽国際特許事務所
(72)【発明者】
【氏名】チェン、イー-ウェン
(72)【発明者】
【氏名】シウ、シアオユイ
(72)【発明者】
【氏名】ワン、シアンリン
(72)【発明者】
【氏名】マー、トゥン-チョアン
【合議体】
【審判長】高橋 宣博
【審判官】片岡 利延
【審判官】畑中 高行
(56)【参考文献】
【文献】Santiago De-Luxan-Hernandez et al.,CE3: Intra Sub-Partitions Coding Mode (Tests 1.1.1 and 1.1.2), Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC29/WG 11, 13th Meeting:Marrakech,MA,9-18 Jan. 2019, Document:JVET-M0102-v5(version 7)、2019年1月16日、pp.1-9
【文献】Zhi-Yi Lin et al.,CE3-related: Shared reference samples for multiple chroma intra CBs, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC29/WG 11, 13th Meeting:Marrakech,MA,9-18 Jan. 2019,Document:JVET-M0169-v1(version 5)、2019年1月11日、pp.1-4
(58)【調査した分野】(Int.Cl.,DB名)
H04N 19/00 - 19/98
(57)【特許請求の範囲】
【請求項1】
複数のサブ分割が複数の垂直サブ分割であり、前記複数のサブ分割の各々が2以下の幅を有するとの判定に応じて、イントラサブ分割(ISP)モードの符号化ブロックの複数の前記サブ分割についてイントラ予測を実行し、
前記符号化ブロックの複数のサブ分割についてイントラ予測を実行することは、
複数の前記サブ分割の少なくとも2つのサブ分割を前記イントラ予測の1つの予測領域にマージし、
前記予測領域に隣接する複数のリファレンスサンプルに基づいて前記イントラ予測の前記予測領域について予測サンプルを生成する、
ことを含む、ビデオ復号化方法。
【請求項2】
少なくとも2つの前記サブ分割のうちの1つのサブ分割からの再構成されたサンプルが、少なくとも2つのサブ分割のうちの他の何れかのサブ分割のためのイントラ予測を実行するために使用されない、
請求項1に記載のビデオ復号化方法。
【請求項3】
50よりも大きいモードインデックスで垂直予測モードを使用して、前記複数の垂直サブ分割について予測されたサンプルのセットを生成することをさらに含む、
請求項1に記載のビデオ復号化方法。
【請求項4】
複数の予測領域について、前記イントラ予測を独立して並列に実行することをさらに含む、
請求項1に記載のビデオ復号化方法。
【請求項5】
前記複数のサブ分割は、最後のサブ分割を含み、
前記最後のサブ分割のための係数ブロックフラグ(CBF)値を信号化することをさらに含む、
請求項1に記載のビデオ復号化方法。
【請求項6】
前記複数のサブ分割は、最後のサブ分割を含み、
デコーダにおいて、前記最後のサブ分割の係数ブロックフラグ(CBF)値を推測することをさらに含む、
請求項5に記載のビデオ復号化方法。
【請求項7】
前記係数ブロックフラグ(CBF)値は、常に1または0として推測される、
請求項6に記載のビデオ復号化方法。
【請求項8】
前記予測領域の1以上の予測されたサンプルは、並列に生成される、
請求項1に記載のビデオ復号化方法。
【請求項9】
1以上のプロセッサと、
前記1以上のプロセッサによって実行可能な命令を記憶した非一時的コンピュータ可読メモリと、
を含み、
前記1以上のプロセッサは、
複数のサブ分割が複数の垂直サブ分割であり、前記複数のサブ分割の各々が2以下の幅を有するとの判定に応じて、イントラサブ分割(ISP)モードの符号化ブロックの複数のサブ分割についてイントラ予測を実行し、
前記符号化ブロックの複数のサブ分割についてイントラ予測を実行することは、
複数の前記サブ分割の少なくとも2つのサブ分割を前記イントラ予測の1つの予測領域にマージし、
前記予測領域に隣接する複数のリファレンスサンプルに基づいて前記イントラ予測の前記予測領域について予測サンプルを生成する、ことを含む、
ビデオ復号化装置。
【請求項10】
少なくとも2つの前記サブ分割のうちの1つの分割から再構成されたサンプルが、少なくとも2つの前記サブ分割のうちの他の何れかのサブ分割のためのイントラ予測を実行するために使用されない、
請求項9に記載のビデオ復号化装置。
【請求項11】
前記1以上のプロセッサは、さらに、
50よりも大きいモードインデックスで垂直予測モードを使用して、前記複数の垂直サブ分割について予測されたサンプルのセットを生成する、
ように構成されている、
請求項9に記載のビデオ復号化装置。
【請求項12】
1以上のプロセッサを有するビデオ復号化装置によって実行される複数のプログラムを記憶した非一時的コンピュータ可読記憶媒体であって、
前記1以上のプロセッサによって実行されると、前記複数のプログラムは、請求項1~請求項8の何れか1項に記載のビデオ復号化方法を、前記ビデオ復号化装置に実行させる、
非一時的コンピュータ可読記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、ビデオ符号化及び圧縮に関する。より詳細には、本開示は、イントラサブ分割符号化モードを使用してビデオ符号化を実行するシステム及び方法に関する。
【背景技術】
【0002】
このセクションは、本開示に関連する背景情報を提供する。このセクションに含まれる情報は、必ずしも先行技術として解釈されるべきではない。
【0003】
ビデオデータを圧縮するために、様々なビデオ符号化技術の何れかを使用することができる。ビデオ符号化は、1つ以上のビデオ符号化標準に従って実行することができる。いくつかの例示的なビデオ符号化規格は、VVC(versatile video coding)、JEM(joint exploration test model)符号化、H.265/HEVC(high-efficiency video coding)、H.264/AVC(advanced video coding)、及びMPEG(moving picture experts group)符号化を含む。
【0004】
ビデオ符号化は、一般に、ビデオ画像またはシーケンスに固有の冗長性を利用する予測方法(例えば、インター予測、イントラ予測など)を利用する。ビデオ符号化技法の1つの目標は、ビデオ品質の劣化を回避しながら、または最小限に抑えながら、ビデオデータを、より低いビットレートを使用する形式に圧縮することである。
【0005】
2013年10月に完成したHEVC規格の最初のバージョンは、前世代のビデオ符号化規格(H.264/MPEG AVC)と比較して、約50%のビットレート節約または同等の知覚品質を提供する。HEVC規格は、以前の技術と比較して、著しい符号化改善を提供するが、追加の符号化ツールを使用することによって、HEVCよりも優れた符号化効率を達成することができるというエビデンスがある。このエビデンスに基づき、ビデオ符号化エキスパートグループ(VCEG)及び動画エキスパートグループ(MPEG)の両方が、将来のビデオ符号化標準化のための新しい符号化技術を開発するための探索的研究を開始した。JVET(Joint Video Exploration Team)は、ITU-T VECG及びISO/IEC MPEGによって2015年10月に設立され、符号化効率の大幅な向上を可能にする高度な技術の重要な研究を開始した。JEM(Joint Exploration Model)と呼ばれる1つのリファレンスソフトウェアモデルは、HEVC試験モデル(HM)の上にいくつかの追加のコーディングツールを統合することによってJVETによって維持された。
【0006】
2017年10月には、ITU-T及びISO/IECが、HEVCを超えた能力を有する映像圧縮に関する共同提案(CfP)を発表した。2018年4月には、第10回JVETで23件のCfP回答を受け、評価を行った。これらの応答は、HEVC標準に対して約40%の圧縮効率利得を示した。このような評価結果を踏まえ、JVETは、次世代ビデオ符号化規格「VVC(Versatile Video Coding)」の開発に向けた新たなプロジェクトを立ち上げた。また、2018年4月には、VVC規格のリファレンス実装を実証するために、VVCテストモデル(VTM)と呼ばれる1つのリファレンスソフトウェアコードベースが確立された。
【0007】
このセクションは、本開示の一般的な概要を提供し、その全範囲またはその特徴の全ての包括的な開示ではない。
【発明の概要】
【課題を解決するための手段】
【0008】
本開示の第1の態様によれば、ビデオ符号化方法は、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行される複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて実行される。この方法は、複数の対応するサブ分割のそれぞれについてそれぞれのイントラ予測を独立して生成することを含み、それぞれのイントラ予測は、現在の符号化ブロックからの複数のリファレンスサンプルを使用して生成される。
【0009】
本開示の第2の態様によれば、ビデオ符号化方法は、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行される複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて実行される。この方法は、イントラサブ分割(ISP)符号化ブロックの輝度成分について、Mの可能なイントラ予測モードのうちのNのモードのみを使用して、複数の対応するサブ分割のそれぞれについてそれぞれのイントラ予測を生成することを含み、M及びNは正の整数であり、NはM未満である。
【0010】
本開示の第3の態様によれば、ビデオ符号化方法は、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行される複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて実行される。この方法は、イントラサブ分割(ISP)符号化ブロックの彩度成分について、Mの可能なイントラ予測モードのうちのNのモードのみを使用してイントラ予測を生成することを含み、M及びNは正の整数であり、NはM未満である。
【0011】
本開示の第4の態様によれば、ビデオ符号化方法は、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行される複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて実行される。この方法は、輝度成分のためのイントラサブ分割(ISP)符号化ブロック全体の複数の対応するサブ分割のそれぞれについて、及び彩度成分について、それぞれの輝度イントラ予測を生成し、イントラサブ分割(ISP)符号化ブロック全体について彩度イントラ予測を生成する。
【0012】
本開示の第5の態様によれば、ビデオ符号化方法は、1つまたは複数のプロセッサと、1つまたは複数のプロセッサによって実行される複数のプログラムを記憶するメモリとを有するコンピューティングデバイスにおいて実行される。この方法は、イントラサブ分割モードを使用して第1予測を生成し、インター予測モードを使用して第2予測を生成し、第1予測及び第2予測に加重平均を適用することによって最終的な予測を生成するために、第1予測及び第2予測を組み合わせる。
【図面の簡単な説明】
【0013】
【
図1】多くのビデオ符号化規格と併せて使用することができる例示的なエンコーダを示すブロック図である。
【
図2】多くのビデオ符号化規格と併せて使用することができる例示的なデコーダを示すブロック図である。
【
図3】マルチタイプ木構造のための5つのタイプの例示的なブロック分割を示す。
【
図4】VVC標準と共に使用するための例示的なイントラモードのセットを示す。
【
図5】イントラ予測を実行するための複数のリファレンス線のセットを示す図である。
【
図6A】第1矩形ブロックのイントラ予測を実行するために使用される、第1セットのリファレンスサンプル及び角度方向を示す。
【
図6B】第2矩形ブロックのイントラ予測を実行するために使用される、第2セットのリファレンスサンプル及び角度方向を示す。
【
図6C】正方形ブロックのイントラ予測を実行するために使用される、第3セットのリファレンスサンプル及び角度方向を示す。
【
図7】1つの符号化ブロックの位置依存イントラ予測結合(PDPC)のために使用される、隣接する再構成されたサンプルのための例示的な位置のセットを示す。
【
図8A】8×4ブロックのための短距離イントラ予測分割(SDIP)の例示的なセットを示す。
【
図8B】4×8ブロックのための短距離イントラ予測分割(SDIP)の例示的なセットを示す。
【
図8C】任意のサイズのブロックのための短距離イントラ予測分割(SDIP)の例示的なセットを示す。
【
図9A】輝度値の関数としての彩度値のプロットであり、プロットは、1セットのリニアモデルパラメータを導出するために使用される。
【
図9B】
図9Aのリニアモデルパラメータの導出に使用されるサンプルの位置を示す。
【
図10】現在の符号化ブロックの外側のリファレンスサンプルのみを使用する、全てのサブ分割のためのイントラ予測のためのリファレンスサンプルの生成を示す。
【
図11】
図10の第1サブ分割に対するインター予測子サンプルとイントラ予測子サンプルとの結合を示す。
【
図12】
図10の第2サブ分割に対するインター予測子サンプルとイントラ予測サンプルとの結合を示す。
【発明を実施するための形態】
【0014】
以下、本開示の例示的で非限定的な実施形態のセットを、添付の図面と併せて説明する。構造、方法、または機能の変形は、本明細書で提示される例に基づいて、関連技術の当業者によって実装されてもよく、そのような変形は全て、本開示の範囲内に含まれる。矛盾が存在しない場合には、異なる実施形態の教示は、互いに組み合わせることができるが、必ずしもそうである必要はない。
【0015】
本開示で使用される用語は、本開示を限定するのではなく、特定の例を説明することを対象とする。本開示ならびに添付の特許請求の範囲で使用される単数形「1つの」などは、他の意味が文脈に明確に含まれない限り、複数形も指す。本明細書で使用される用語「及び/または」は、1つまたは複数の関連する列挙されたアイテムの任意のまたは全ての可能な組合せを指すことを理解されたい。
【0016】
ここでは、「第1」、「第2」、「第3」などの用語を用いて、様々な情報を記述することができるが、これらの用語によって情報が限定されるべきではない。これらの用語は、情報の1つのカテゴリーを別のカテゴリーと区別するためにのみ用いられる。例えば、本開示の範囲から逸脱することなく、第1情報は第2情報と称されてもよく、同様に、第2情報は、第1情報と称されてもよい。本明細書で使用されるように、「ならば」という用語は、文脈に応じて、「とき」、「際」、または「応答して」を意味する。
【0017】
本明細書全体を通して、単数または複数の「一実施形態」、「ある実施形態」、「別の実施形態」などへの言及は、一実施形態に関連して説明された1つまたは複数の特定の特徴、構造、または特性が本開示の少なくとも1つの実施形態に含まれることを意味し、したがって、単数または複数の「一実施形態において」、「ある実施形態において」、「別の実施形態において」などの語句の、本明細書全体の様々な位置での出現は、必ずしも全て同じ実施形態を指すわけではない。さらに、1つまたは複数の実施形態における特定の特徴、構造、または特性は、任意の適切な方法で組み合わせることができる。
【0018】
概念的には、多くのビデオ符号化標準は、上記したように類似している。例えば、実質的に全てのビデオ符号化規格は、ブロックベースの処理を使用し、ビデオ圧縮を達成するために同様のビデオ符号化ブロックダイアグラムを共有する。HEVCと同様に、VVC規格はブロックベースのハイブリッドビデオ符号化フレームワークに基づいて構築されている。
【0019】
図1は、多くのビデオ符号化規格と併せて使用され得る、例示的なエンコーダ100のブロック図を示す。エンコーダ100において、ビデオフレームは、処理のために複数のビデオブロックに分割される。与えられた各ビデオブロックに対して、インター予測アプローチまたはイントラ予測アプローチの何れかに基づいて予測が形成される。インター予測では、1つまたは複数の予測子が、以前に再構成されたフレームからのピクセルに基づいて、動き推定及び動き補償によって形成される。イントラ予測では、予測子は、現在のフレーム内の再構成されたピクセルに基づいて形成される。モード決定により、現在のブロックを予測するために最良の予測子を選択することができる。
【0020】
現在のビデオブロックとその予測子の差を表す予測残差が、変換回路102に送信される。次いで、変換係数が、エントロピー低減のために、変換回路102から量子回路104に送信される。次いで、量子化係数をエントロピー符号化回路106に供給し、圧縮ビデオビットストリームを生成する。
図1に示すように、ビデオブロック分割情報、動きベクトル、リファレンスピクチャインデックス、及びイントラ予測モードなどの、インター予測回路及び/またはイントラ予測回路112からの予測関連情報110も、エントロピー符号化回路106を通して供給され、圧縮ビデオビットストリーム114に保存される。
【0021】
エンコーダ100では、予測の目的でピクセルを再構成するために、デコーダ関連の回路も必要である。まず、逆量子化回路116と逆変換回路118を通して予測残差を再構成する。この再構成された予測残差をブロック予測子120と組み合わせて、現在のビデオブロックについてフィルタ処理されていない再構成画素を生成する。
【0022】
符号化効率及び視覚品質を改善するために、インループフィルタ115が一般に使用される。例えば、デブロッキングフィルタは、AVC、HEVC、並びにVVCの現在のバージョンにおいて利用可能である。HEVCでは、符号化効率をさらに改善するために、SAO(Sample Adaptive Offset)と呼ばれる追加のインループフィルタが定義される。現在のVVC規格では、ALF(Adaptive Loop Filter)と呼ばれるさらに別のインループフィルタが活発に検討されており、最終規格に含まれる可能性が高い。
【0023】
これらのインループフィルタ動作はオプションである。これらの動作を実行することは、符号化効率及び視覚品質を改善するのに役立つ。それらはまた、エンコーダ100による決定としてオフにされて、計算の複雑さを節約することができる。
【0024】
イントラ予測は、通常、フィルタリングされていない再構成ピクセルに基づいており、一方、インター予測は、これらのフィルタオプションがエンコーダ100によってオンにされる場合、フィルタリングされた再構成ピクセルに基づいていることに留意されたい。
【0025】
図2は、多くのビデオ符号化規格と共に使用され得る例示的なデコーダ200を示すブロック図である。このデコーダ200は、
図1のエンコーダ100内に存在する再構成関連部分に類似している。デコーダ200(
図2)において、入力ビデオビットストリーム201は、まず、エントロピー復号化回路202を通して復号化され、量子化係数レベル及び予測関連情報を導出する。量子化された係数レベルは、逆量子化回路204及び逆変換回路206を通して処理され、再構成された予測残差を得る。イントラ/インターモードセレクタ212で実施されるブロック予測機構は、復号化された予測情報に基づいて、イントラ予測プロシージャ208または動き補償プロシージャ210の何れかを実行するように構成される。加算器214を用いて、逆変換回路206からの再構成予測残差とブロック予測子機構により生成された予測出力とを合計することにより、フィルタ処理されていない再構成画素の集合が得られる。再構成されたブロックは、リファレンスピクチャストアとして機能するピクチャバッファ213に格納される前に、インループフィルタ209をさらに通過することができる。ピクチャバッファ213内の再構成されたビデオは、その後、ディスプレイデバイスを駆動するために送出されるとともに、将来のビデオブロックを予測するために使用されることができる。インループフィルタ209がオンにされる状況において、最終的な再構成されたビデオ出力222を導出するために、フィルタリング操作がこれらの再構成されたピクセルに対して実行される。
【0026】
ここで
図1に戻ると、エンコーダ100への入力ビデオ信号はブロック毎に処理される。各ブロックは、符号化ユニット(CU)と呼ばれる。VTM-1.0では、CUは128×128ピクセルまでであってよい。HEVC(High Efficiency Video Encoding)、JEM(Joint Exploration Test Model)、VVC(Versatile Video Encoding)では、圧縮の基本単位は、符号化木ユニット(CTU)と呼ばれる。しかしながら、4分木のみに基づいてブロックを分割するHEVC標準とは対照的に、VVC標準では、1つのCTUは、4分木/2分木/3分木構造に基づいて変化する局所特性に適応するためにCUに分割される。さらに、HEVC規格における複数分割ユニットタイプの概念は、VVC規格には存在しない。すなわち、CU、PU(Prediction Unit)、及びTU(Transform Unit)の分離は、VVC規格には存在しない。代わりに、各CUは、さらなる分割なしで、予測及び変換の両方のための基本ユニットとして常に使用される。HEVC及びJEMの最大CTUサイズは、最大で64×64輝度ピクセル、及び、4:2:0彩度形式の場合、32×32彩度ピクセルの2ブロックとして定義される。CTU内の輝度ブロックの最大許容サイズは、128×128に指定される(輝度変換ブロックの最大サイズは64×64であるが)。
【0027】
図3は、マルチタイプ木構造のための5つのタイプの例示的なブロック分割を示す。5つのタイプの例示的なブロック分割は、4分割301、水平2分割302、垂直2分割303、水平3分割304、及び垂直3分割305を含む。マルチタイプ木構造が利用される状況では、1つのCTUが最初に4分木構造によって分割される。次に、各4分木リーフノードは、2分木構造及び3分木構造によってさらに分割することができる。
【0028】
図3の例示的なブロック分割301、302、303、304、または305のうちの1つまたは複数を使用して、
図1に示す構成を使用して、空間予測及び/または時間予測を実行することができる。空間予測(または「イントラ予測」)は、現在のビデオブロックを予測するために、同じビデオピクチャ/スライス内の既に符号化された隣接ブロック(リファレンスサンプルと呼ばれる)のサンプルからのピクセルを使用する。空間予測は、ビデオ信号に固有の空間冗長性を低減する。
【0029】
時間予測(「インター予測」または「動き補償予測」とも呼ばれる)は、既に符号化されたビデオピクチャからの再構成ピクセルを使用して、現在のビデオブロックを予測する。時間予測は、ビデオ信号に固有の時間的冗長性を低減する。所与のCUについての時間予測信号は、通常、現在のCUとその時間リファレンスとの間の動きの量及び方向を示す1つまたは複数の動きベクトル(MV)によって信号化される。また、複数のリファレンスピクチャがサポートされている場合、1つのリファレンスピクチャインデックスがさらに送信され、リファレンスピクチャインデックスは、リファレンスピクチャストア内のどのリファレンスピクチャから時間予測信号が来るかを識別するために使用される。
【0030】
空間及び/または時間予測が実行された後、エンコーダ100内のイントラモード/インターモード決定回路121は、例えば、レート歪み最適化法に基づいて、最良の予測モードを選択する。次いで、ブロック予測子120は、現在のビデオブロックから減算され、結果として生じる予測残差は、変換回路102及び量子化回路104を使用して、非相関化される。得られた量子化された残差係数は、逆量子化回路116によって逆量子化され、逆変換回路118によって逆変換され、再構成された残差を形成し、次いで、CUの再構成された信号を形成するために予測ブロックに戻される。デブロッキングフィルタ、サンプル適応オフセット(SAO)、及び/または適応インループフィルタ(ALF)などのさらなるインループフィルタ115を、再構成されたCUがピクチャバッファ117のリファレンスピクチャストアに入れられ、将来のビデオブロックを符号化するために使用される前に、再構成されたCUに適用することができる。出力ビデオビットストリーム114を形成するために、符号化モード(インターまたはイントラ)、予測モード情報、動き情報、及び量子化された残差係数は全て、エントロピー符号化ユニット106に送信され、さらに圧縮され、パックされてビットストリームを形成する。
【0031】
VVC標準において適用される基本イントラ予測方式は、いくつかのモジュールが、イントラサブ分割(ISP)符号化モード、イントラ広角方向による拡張イントラ予測、位置依存イントラ予測組み合わせ(PDPC)及び4タップイントラ補間などのVVC標準においてさらに拡張及び/または改良されていることを除いて、HEVC標準と概ね同じに保たれる。本開示の1つの広い態様は、VVC規格における既存のISP設計を改善することを対象とする。さらに、VVC規格に含まれ、本開示において提案される技法に密接に関連する他の符号化ツール(例えば、イントラ予測及び変換符号化プロセスにおけるツール)が、以下でより詳細に説明される。
【0032】
〔イントラ広角方向を持つイントラ予測モード〕
HEVC標準の場合のように、VVC標準は、CUのサンプルを予測するために、1つの現在のCUに隣接する(すなわち、上または左)、以前に復号されたサンプルのセットを使用する。しかしながら、自然ビデオ(特に、高解像度、例えば4Kを有するビデオコンテンツについて)に存在するより微細なエッジ方向を捕捉するために、イントラ角度モードの量は、HEVC規格の33モードからVVC規格の93モードに拡張される。角度方向に加えて、HEVC標準及びVVC標準の両方は、平面モード(境界から導出された水平及び垂直傾斜を有する緩やかに変化する表面を仮定する)及びDCモード(平坦な表面を仮定する)のために提供する。
【0033】
図4は、VVC標準と共に使用するための1セットの例示的なイントラモード400を図示し、
図5は、イントラ予測を実行するための1セットの複数のリファレンス線を図示する。
図4を参照すると、例示的なイントラモード400のセットは、モード0、1、-14、-12、-10、-8、-6、-4、-2、2、4、6、8、10、12、14、16、18、20、22、24、26、28、30、32、34、36、38、40、42、44、46、48、50、52、54、56、58、60、62、64、66、68、70、72、74、76、78及び80を含む。モード0は平面モード、モード1はDCモードに対応する。HEVC標準のイントラ予測プロセスと同様に、VVC標準における定義されたイントラモード(すなわち、平面、DC及び角度方向)の全ては、イントラ予測のためのリファレンスとして、予測されたブロックの上及び左にある1セットの隣接する再構築されたサンプルを利用する。しかしながら、再構成されたサンプルの最も近い行/列(
図5の行0、501)のみがリファレンスとして使用されるHEVC規格とは異なり、2つの追加の行/列(すなわち、
図5の行1、503及び行3、505)がイントラ予測プロセスのために使用されるマルチリファレンスライン(MRL)がVVCに導入される。選択されたリファレンス行/列のインデックスは、エンコーダ100(
図1)からデコーダ200(
図2)に信号で送信される。行1、503または行3、505など、
図5において最も近くない行/列が選択される場合、
図4の平面モード及びDCモードは、現在のブロックを予測するために使用され得るイントラモードのセットから除外される。
【0034】
図6Aは、矩形ブロック(幅Wを高さHで除した値は2に等しい)のイントラ予測のために使用されるリファレンスサンプル及び角度方向602、604の第1セットを図示する。リファレンスサンプルの第1セットは、第1サンプル601及び第2サンプル603を含む。
図6Bは、垂直に長い矩形ブロック(W/H=1/2)のイントラ予測に使用される第2セットのリファレンスサンプル及び角度方向606、608を示す。リファレンスサンプルの第2セットは、第3サンプル605及び第4サンプル607を含む。
図6Cは、正方形ブロック(W=H)のイントラ予測のために使用される、第3セットのリファレンスサンプル及び角度方向610及び612を示す。リファレンスサンプルの第3セットは、第5サンプル609及び第6サンプル610を含む。最近傍を利用すると仮定すると、
図6Cは、1つのイントラブロックの予測サンプルを導出するためにVVC規格で使用することができる第3リファレンスサンプルの位置を示す。
図6Cに示されるように、4分木/2分木/3分木分割構造が適用されるため、正方形の符号化ブロックに加えて、VVC標準の文脈でのイントラ予測手順に矩形符号化ブロックも存在する。
【0035】
1つの与えられたブロックの不均等な幅と高さのために、異なるブロック形状に対して様々な角度方向のセットが選択され、これは広角イントラ予測とも呼ばれる。詳細には、平面及びDCモードの他に、正方形及び矩形の両符号化ブロックについて、表1に示すように、93の角度方向のうち65の角度方向も各ブロック形状に対してサポートされる。このような設計は、(ブロック形状に基づいて角度方向を適応的に選択することにより)ビデオに典型的に存在する方向構造を効率的に捕らえることができるだけでなく、各符号化ブロックに対して合計67のイントラモード(すなわち、平面、DC及び65の角度方向)を確実に有効にすることができる。これは、異なるブロックサイズにわたって一貫した設計を提供しながら、信号イントラモードの良好な効率を達成することができる。
【0036】
【表1】
[表1 VVCの異なるブロック形状のイントラ予測のために選択された角度方向]
【0037】
〔位置依存イントラ予測結合〕
先に述べたように、イントラ予測サンプルは、フィルタリングされていない、またはフィルタリングされた近傍リファレンスサンプルのセットの何れかから生成され、これは、現在の符号化ブロックとその近傍との間のブロック境界に沿って不連続性を導入し得る。このような問題を解決するために、境界フィルタリングは、DC、水平(すなわち、
図4のモード18)及び垂直(すなわち、モード50)予測モードの予測サンプルの第1の行/列を、フィルタリングされていないリファレンスサンプルと組み合わせることによって、2タップフィルタ(DCモード用)または勾配ベースの平滑化フィルタ(水平及び垂直予測モード用)を利用することによって、HEVC規格において適用される。
【0038】
VVC規格における位置依存イントラ予測結合(PDPC)ツールは、イントラ予測サンプルとフィルタリングされていないリファレンスサンプルとの重み付けされた結合を使用することによって、前述の概念を拡張する。現在のVVCワーキングドラフトでは、PDPCは、信号化なしの以下のイントラモード、すなわち、平面、DC、水平(すなわち、モード18)、垂直(すなわち、モード50)、左下対角方向に近い角度方向(すなわち、モード2、3、4、…、10)、及び右上対角方向に近い角度方向(すなわち、モード58、59、60、…、66)に対してイネーブルされる。座標(x,y)として位置する予測サンプルがpred(x,y)であると仮定すると、PDPC後のその対応する値は、以下のように計算される。
pred(x,y)=(wL×R-1,y+wT×Rx-1-wTL×R-1,-1+(64-wL-wT+wTL)×pred(x,y)+32)>>6 … (1)
ここで、Rx-1、R-1,yはそれぞれ現在のサンプル(x、y)の上及び左にあるリファレンスサンプルを表し、R-1,-1は現在のブロックの左上隅にあるリファレンスサンプルを表す。
【0039】
図7は、1つの符号化ブロックの位置依存イントラ予測結合(PDPC)のために使用される、隣接する再構成されたサンプルのための例示的な位置のセットを示す。第1リファレンスサンプル701(R
x-1)は、現在の予測サンプル(x、y)の上に位置するリファレンスサンプルを表す。第2リファレンスサンプル703(R
-1,y)は、現在の予測サンプル(x、y)の左に位置するリファレンスサンプルを表す。第3のリファレンスサンプル705(R
-1,-1)は、現在の予測サンプル(x、y)の左上隅に位置するリファレンスサンプルを表す。
【0040】
第1、第2、及び第3リファレンスサンプル701、703、及び705を含むリファレンスサンプルは、PDPCプロセス中に現在の予測サンプル(x、y)と結合される。現在の符号化ブロックがW×Hの大きさであると仮定した場合、以下のように、式(1)の重みwL、wT及びwTLは、予測モード及びサンプル位置に応じて適応的に選択される。
【0041】
DCモードでは、
wT=32>>((y<<1)>>shift)、wL=32>>((x<<1)>>shift)、wTL=(wL>>4)+(wT>>4)…(2)
【0042】
平面モードでは、
wT=32>>(y<<1)>>shift)、wL=32>>((x<<1)>>shift)、wTL=0…(3)
【0043】
水平モードでは、
wT=32>>((y<<1)>>shift)、wL=32>>((x<<1)>>shift)、wTL=wT …(4)
【0044】
垂直モードでは、
wT=32>>((y<<1)>>shift)、wL=32>>((x<<1)>>shift)、wTL=wL…(5)
【0045】
左下対角方向では、
wT=16>>((y<<1)>>shift)、wL=16>>((x<<1)>>shift)、wTL=0…(6)
【0046】
右上対角方向では、
wT=16>>((y<<1)>>shift)、wL=16>>((x<<1)>>shift)、wTL=0…(7)
【0047】
ここで、shift=(log2(W)-2+log2(H)-2+2)>>2
【0048】
〔多重変換選択と形状適応変換選択〕
【0049】
HEVC規格で使用されるDCT-II変換に加えて、DCT-VIII及びDST-VIIの追加のコア変換を導入することによって、VVC規格で多重変換選択(MTS)ツールが使用可能になる。VVC規格では、変換の適応選択は、1つのMTSフラグをビットストリームに信号化することによって、符号化ブロックレベルで可能にされる。詳細には、1つのブロックについてMTSフラグが0に等しい場合、1対の固定変換(例えば、DCT-II)が水平方向及び垂直方向に適用される。そうでない場合(MTSフラグが1に等しい場合)、各方向の変換タイプ(DCT-VIIIまたはDST-VIIの何れか)を示すために、ブロックに対して2つの追加のフラグがさらに信号化される。
【0050】
一方、VVC標準における4分木/2分木/3分木ベースのブロック分割構造の導入により、イントラ予測の残差の分布はブロック形状と強く相関する。したがって、MTSがディスエーブルされる(すなわち、MTSフラグが1つの符号化ブロックに対して0に等しい)とき、1つの形状適応変換選択方法が、DCT-II及びDST-VII変換が現在のブロックの幅及び高さに基づいて暗黙的にイネーブルされる全てのイントラ符号化ブロックに適用される。より詳細には、各矩形ブロックに対して、本方法は、1つのブロックの短辺に関連する方向にDST-VII変換を使用し、ブロックの長辺に関連する方向にDCT-II変換を使用する。各正方形ブロックに対して、DST-VIIは両方向に適用される。さらに、異なるブロックサイズの新しい変換を導入することを回避するために、DST-VII変換は、1つのイントラ符号化ブロックの短辺が16以下である場合にのみ有効にされる。そうでなければ、DCT-II変換が常に適用される。
【0051】
表2は、VVCにおける形状適応変換選択法に基づくイントラ符号化ブロックのための、イネーブルされた水平及び垂直変換を示す。
【0052】
【表2】
[表2 VVCのブロック内の形状適応変換選択]
【0053】
〔イントラサブ分割符号化モード〕
従来のイントラモードは、1つの符号化ブロックに隣接する再構成されたサンプルのみを利用して、そのブロックのイントラ予測サンプルを生成する。このような方法に基づいた予測サンプルとリファレンスサンプルとの間の空間相関は、予測サンプルとリファレンスサンプルとの間の距離にほぼ比例する。したがって、内側部分のサンプル(特に、ブロックの右下隅に位置するサンプル)は、通常、ブロック境界に近いサンプルよりも低い予測品質を有する。イントラ予測効率をさらに改善するために、短距離イントラ予測(SDIP)が提案され、よく研究された。この方法は、1つのイントラ符号化ブロックを、水平方向または垂直方向に、予測のために複数のサブブロックに分割する。通常、正方形ブロックは4つのサブブロックに分割される。例えば、8×8ブロックは、4つの2×8または4つの8×2サブブロックに分割され得る。このようなサブブロックベースのイントラ予測の1つの極端なケースは、いわゆるラインベース予測であり、ここで、ブロックは予測のために1次元の行/列に分割される。例えば、1つのW×H(幅×高さ)ブロックを、W×1のサイズのHサブブロックに、または1×HのサイズのWサブブロックに、イントラ予測のために分割することができる。得られた行/列のそれぞれは、(
図6A、6B、6C、及び7に示されるように)通常の2次元(2D)ブロックと同じ方法で符号化され、すなわち、利用可能なイントラモードの1つによって予測され、予測誤差は、変換及び量子化に基づいて非相関化され、再構成のためにデコーダ200(
図2)に送信される。その結果、1つのサブブロック(例えば、行/列)内の再構成されたサンプルは、次のサブブロック内のサンプルを予測するためのリファレンスとして使用することができる。上記のプロセスは、現在のブロック内の全てのサブブロックが予測され、符号化されるまで繰り返される。さらに、信号化オーバーヘッドを低減するために、1つの符号化ブロック内の全てのサブブロックは、同じイントラモードを共有する。
【0054】
SDIPでは、異なるサブブロック分割が異なる符号化効率を提供する場合がある。一般に、ラインベースの予測は、異なる分割間で「最短予測距離」を提供するので、最良の符号化効率を提供する。一方、コーデックハードウェア実装では、最悪の符号化/復号化スループットを備えている。例えば、4×4のサブブロックを有するブロックと、4×1または1×4のサブブロックを有する同じブロックと、を考慮すると、後者の場合は前者の場合のスループットの4分の1に過ぎない。HEVCでは、輝度に対する最小のイントラ予測ブロックサイズは4×4である。
【0055】
図8Aは、8×4ブロック801のための短距離イントラ予測(SDIP)分割の例示的なセットを示し、
図8Bは、4×8ブロック803のための短距離イントラ予測(SDIP)分割の例示的なセットを示し、
図8Cは、任意のサイズのブロック805のための短距離イントラ予測(SDIP)分割の例示的なセットを示す。近年、サブ分割予測(ISP)と呼ばれるビデオ符号化ツールがVVC規格に導入された。概念的には、ISPはSDIPと非常に似ている。詳細には、ブロックサイズに応じて、ISPは、現在の符号化ブロックを、水平方向または垂直方向の何れかで2つまたは4つのサブブロックに分割し、各サブブロックは、少なくとも16個のサンプルを含む。
【0056】
まとめると、
図8A、8B、及び8Cは、異なる符号化ブロックサイズに対して考えられる全ての分割ケースを示している。さらに、VVC規格における他の符号化ツールとの相互作用を取り扱うために、現在のISP設計には、以下の主な態様も含まれている。
【0057】
●広角イントラ方向との相互作用:ISPは広角イントラ方向と組み合わされる。現在の設計では、通常のイントラ方向またはその対応する広角イントラ方向が適用されるべきかどうかを決定するために使用されるブロックサイズ(すなわち、幅/高さ比)は、元の符号化ブロックのうちの1つ、すなわち、サブブロック分割の前のブロックである。
【0058】
●複数のリファレンス線との相互作用:ISPを複数のリファレンス線と一緒にイネーブルにすることはできない。詳細には、現在のVVC信号化設計では、ISPイネーブル/ディスエーブルフラグは、MRLインデックスの後に信号化される。1つのイントラブロックが1つの非ゼロMRLインデックスを有する(すなわち、非最近傍隣接サンプルを参照する)場合、ISPイネーブル/ディスエーブルフラグは、信号化されず、0として推測され、すなわち、この場合、ISPは、符号化ブロックに対して自動的にディスエーブルされる。
【0059】
●最も確率の高いモードとの相互作用:通常のイントラモードと同様に、1つのISPブロックに対して使用されるイントラモードは、最も確率の高いモード(MPM)メカニズムを介して信号化される。しかしながら、通常のイントラモードと比較して、ISPのMPM方式には、以下の変更が行われている。1)分割ISPブロックは、MPMリストに含まれるイントラモードのみをイネーブルにし、MPMリストにない他の全てのイントラモードをディスエーブルにする。2)分割ISPブロックに対して、そのMPMリストはDCモードを除外し、ISP水平分割に水平イントラモードを優先し、ISP垂直分割に垂直モードを優先する。
【0060】
●少なくとも1つの非ゼロ係数ブロックフラグ(CBF):現在のVVCでは、変換ブロックが0に等しくない1つ以上の変換係数レベルを含むことを特定するために、CBFフラグが各変換ユニット(TU)に対して信号化される。ISPを使用する特定のブロックがあると、デコーダはサブ分割の少なくとも1つに非ゼロのCBFがあると看做す。このため、nがサブ分割の数で、最初のn-1のサブ分割がゼロのCBFを生成した場合、n番目のサブ分割のCBFは1と推測される。したがって、それを送信し、復号する必要はない。
【0061】
●多重変換選択との相互作用:ISPはMTSと排他的に適用される。すなわち、1つの符号化ブロックがISPを使用する場合、そのMTSフラグは通知されないが、常に0(ディスエーブル)と推測される。しかしながら、DCT-II変換を常に使用する代わりに、(DST-VII及びDCT-IIを含む)コア変換の固定セットが、ブロックサイズに基づいてISP符号化ブロックに暗黙的に適用される。詳細には、W及びHが1つのISPサブ分割の幅及び高さであると仮定すると、その水平変換及び垂直変換は、表3に記載されるように、以下の規則に従って選択される。
【0062】
【表3】
[表3 ISPブロックに対する選択された水平及び垂直変換]
【0063】
〔交差成分リニアモデル予測〕
図9Aは、輝度値の関数としての彩度値のプロットであり、ここで、プロットは、1セットのリニアモデルパラメータを導出するために使用される。より詳細には、以下のように、彩度値と輝度値との間の関係を表す直線901が、1セットのリニアモデルパラメータを導出するために使用される。交差成分冗長性を低減するために、交差成分リニアモデル(CCLM)予測モードがVVCで使用され、そのために、彩度サンプルは、以下のようなリニアモデルを使用することによって、同じCUの再構成された輝度サンプルに基づいて予測される。
pred
C(i,j)=α・rec
L’(i,j)+β …(8)
ここで、pred
C(i,j)はCU内の予測彩度サンプルを表し、rec
L’(i,j)は同じCUのダウンサンプリングされ再構成された輝度サンプルを表す。リニアモデルパラメータα及びβは、
図9Aに例示されるように、2つのサンプルから、輝度値と彩度値との間の関係を表す直線901から導出される。これらは、最小輝度サンプルA(X
A、Y
A)と、隣接する輝度サンプルの集合内の最大ルミナンスサンプルB(X
B、Y
B)である。ここで、X
A、Y
AはサンプルAのx座標(輝度値)及びy座標(彩度値)の値で、X
B、Y
BはサンプルBのx座標及びy座標の値である。リニアモデルパラメータは以下の式に従って取得される。
α=(y
B-y
A)/(x
B-x
A)
β=y
A-αx
A
このような方法は、min-Max法とも呼ばれる。上式の除算は回避でき、乗算とシフトで置き換えることができる。
【0064】
図9Bは、
図9Aのリニアモデルパラメータの導出に使用されるサンプルの位置を示す。正方形の形状を持つ符号化ブロックに対しては、リニアモデルパラメータα及びβに対する上記2つの式が直接適用される。非正方形符号化ブロックの場合、長い方の境界の隣接するサンプルは、最初に、短い方の境界と同じ数のサンプルを有するようにサブサンプリングされる。
図9Bは、彩度サンプル903のN×Nセット及び輝度サンプル905の2N×2Nセットを含む、CCLMモードに関与する、左及び上のサンプルの位置、ならびに現在のブロックのサンプルを示す。リニアモデル係数を一緒に計算するために上テンプレート及び左テンプレートを使用することに加えて、これらのテンプレートはまた、LM_A及びLM_Lモードと呼ばれる他の2つのLMモードにおいて代替的に使用され得る。
【0065】
LM_Aモードでは、上記テンプレート内のピクセルサンプルのみが、リニアモデル係数を計算するために使用される。より多くのサンプルを得るために、上記のテンプレートは(W+W)に拡張される。LM_Lモードでは、左テンプレート内のピクセルサンプルのみが、リニアモデル係数を計算するために使用される。より多くのサンプルを得るために、左テンプレートを(H+H)に拡張する。上側リファレンス線がCTU境界にあるとき、ダウンサンプリングされた輝度サンプルを作成するために、1つの輝度線(イントラ予測における一般的なラインバッファ)のみが使用されることに留意されたい。
【0066】
彩度イントラモード符号化の場合、彩度イントラモード符号化のために合計8のイントラモードが許容される。これらのモードは、5の従来のイントラモード及び3のクロスコンポーネントリニアモデルモード(CCLM、LM_A、及びLM_L)を含む。彩度モード信号化及び導出プロセスを表4に示す。彩度モード符号化は、対応する輝度ブロックのイントラ予測モードに直接依存する。Iスライスでは、輝度成分及び彩度成分のための別個のブロック分割構造が使用可能であるので、1つの彩度ブロックは、複数の輝度ブロックに対応することができる。したがって、彩度DMモードの場合、現在の彩度ブロックの中心位置をカバーする対応する輝度ブロックのイントラ予測モードは、直接継承される。
【0067】
【表4】
[表4:CCLM_がイネーブルされているときの輝度モードからの彩度予測モードの導出]
【0068】
VVCにおけるISPツールはイントラ予測効率を高めることができるが、VVCの性能をさらに改善する余地がある。一方、既存のISPのいくつかの部分は、より効率的なコーデックハードウェア実装を提供するために、及び/または改善された符号化効率を提供するために、さらなる単純化から恩恵を受けることになる。本開示では、ISP符号化効率をさらに改善するため、既存のISP設計を単純化するため、及び/または改善されたハードウェア実装を容易にするために、いくつかの方法が提案される。
【0069】
〔ISPのための独立(または並列)サブ分割予測子生成〕
図10は、現在の符号化ブロック1000の外部のリファレンスサンプルのみを使用して、全てのサブ分割についてのイントラ予測1007のためのリファレンスサンプルの生成を示す。現在の符号化ブロック1000は、第1のサブ分割1、1001、第2のサブ分割2、1002、第3のサブ分割3、1003、及び第4のサブ分割4、1004を含む。本開示では、各サブ分割1001、1002、1003、及び1004について独立してイントラ予測を生成することが提案される。言い換えれば、サブ分割1001、1002、1003、及び1004の全ての予測子を並列に生成することができる。一実施形態では、全てのサブ分割の予測子は、従来の非サブ分割イントラモードで使用されるのと同じ手法を使用して生成される。詳細には、1つのサブ分割の再構成されたサンプルは、同じ符号化ユニット内の他の任意のサブ分割のためのイントラ予測サンプルを生成するために使用されず、各サブ分割1001、1002、1003、1004の全ての予測子は、
図10に示されるように、現在の符号化ブロック1000のリファレンスサンプルを使用して生成される。
【0070】
VVC規格におけるISPモードの場合、各サブ分割の幅は、2以下とすることができる。1つの詳細な例は、以下の通りである。VVC規格におけるISPモードによれば、符号化ブロックの以前に復号された2×Nサブブロックの再構成された値に対する2×N(幅×高さ)サブブロック予測の依存性は許容されず、その結果、サブブロックの予測のための最小幅は4サンプルになる。例えば、垂直分割でISPを用いて符号化された8×8符号化ブロックは、それぞれサイズ2×8の4つの予測領域に分割され、左2つの2×8予測領域は、イントラ予測を実行するために第1の4×8予測領域にマージされる。変換回路102(
図1)は、各2×8分割に適用される。
【0071】
この例によれば、右の2つの2×8予測領域は、イントラ予測を実行するために第2の4×8予測領域にマージされる。変換回路102は、各2×8分割に適用される。第1の4×8予測領域は、現在の符号化ブロックの隣接画素を使用してイントラ予測子を生成し、第2の4×8領域は、第1の4×8領域(第2の4×8領域の左に位置する)からの再構成画素、または現在の符号化ブロック(第2の4×8の上に位置する)からの隣接画素を使用することに留意されたい。
【0072】
別の実施形態では、水平(HOR)予測モード(
図4に示されるようにモード18)のみ、ならびに(
図4に示されるように)18よりも小さいモード指標を有する予測モードのみを使用して、水平サブ分割のイントラ予測を形成することができ、垂直(VER)予測モード(すなわち、
図4に示されるモード50)のみを使用し、(
図4に示されるように)50よりも大きなモード指標を有する予測モードを使用して、垂直サブ分割のイントラ予測を形成することができることに留意されたい。その結果、HOR予測モード(
図4のモード18として示される)と、モードが18より小さい角度予測モードの全てとで、各水平サブ分割に対するイントラ予測は、独立して、かつ、並列に行うことができる。同様に、VER予測モード(
図4のモード50)、及び50を超えるモードを有する角度予測モードの全てで、各垂直サブ分割に対するイントラ予測は、独立して、かつ、並列に実行され得る。
【0073】
〔ISPのための輝度成分のためのイントラ予測モード符号化〕
本開示では、ISP符号化ブロック(Nは正の整数である)のための輝度成分のために、全ての可能なイントラ予測モードのうちのN個のモードのみを許可することが提案される。一実施形態では、ISP符号化ブロックの輝度成分に対して1つのモードのみが許可される。例えば、このシングル許可モードは、平面モードであってもよい。別の例では、このシングル許可モードはDCモードであってもよい。第3の例では、このシングル許可モードは、HOR予測モード、VER予測モード、または対角(DIA)モード(
図4のモード34)イントラ予測モードのうちの1つであってもよい。
【0074】
別の実施形態では、ISP符号化ブロックの輝度成分に対して1つのモードのみが許可され、このモードは、サブ分割の方向、すなわち、それが水平サブ分割であるか垂直サブ分割であるかによって異なってもよい。例えば、HOR予測モードのみが水平サブ分割のために許可され、一方、VER予測モードのみが垂直サブ分割のために許可される。さらに別の例では、VER予測モードのみが水平サブ分割のために許可され、一方、HOR予測モードのみが垂直サブ分割のために許可される。
【0075】
さらに別の実施形態では、ISP符号化ブロックの輝度成分に対して2つのモードのみが許容される。それぞれのモードの各々は、対応するサブ分割の方向、すなわち、サブ分割の方向が水平であるか垂直であるかに応答して選択され得る。例えば、平面及びHOR予測モードのみが水平サブ分割に対して許可され、一方、平面及びVER予測モードのみが垂直サブ分割に対して許可される。
【0076】
ISP符号化ブロックの輝度成分に対して許容されるN個のモードを信号伝達するために、従来の最確モード(MPM)メカニズムは利用されない。代わりに、本発明者らは、各イントラモードについて決定されたバイナリ符号ワードを使用して、ISP符号化ブロックについてイントラモードを信号化することを提案する。符号ワードは、切り捨てバイナリ(TB)2値化プロセス、固定長(Fixed-Length)2値化プロセス、切り捨てライス(TR:Truncated Rice)2値化プロセス、k次Exp-Golomb2値化プロセス、限定EGk2値化プロセスなどを含む、様々な異なるプロセスの何れかを使用して生成され得る。これらのバイナリ符号ワード生成プロセスは、HEVCの仕様において明確に定義されている。ライスパラメータがゼロに等しい切り捨てライスは、切り捨て単項(Truncated Unary)2値化としても知られている。異なる2値化方法を使用する符号ワードのセットの例を表5に示す。
【0077】
【表5】
[表5 様々な2値化方法を使用して生成されたバイナリ符号ワード]
【0078】
〔ISPのための独立(または並列)サブ分割予測子生成〕
さらに別の実施形態では、通常のイントラモードのためのMPM導出プロセスは、ISPモードのために直接再使用され、MPMフラグ及びMPMインデックスの信号化方法は、既存のISP設計と同じに保たれる。
【0079】
〔ISPのための彩度成分のためのイントラ予測モード符号化〕
本開示では、ISP符号化ブロック(Ncは正の整数)のための彩度成分に対して、全ての可能な彩度イントラ予測モードからのNcモードのみを許可することが提案される。一実施形態では、ISP符号化ブロックの彩度成分に対して1つのモードのみが許可される。例えば、このシングル許可モードは、直接モード(DM)であってもよい。別の例では、このシングル許可モードは、LMモードであってもよい。第3の例では、このシングル許可モードは、HOR予測モードまたはVER予測モードのうちの1つとすることができる。直接モード(DM)は、対応する輝度ブロックによって使用される同じイントラ予測モードを彩度ブロックに適用するように構成される。
【0080】
別の実施形態では、ISP符号化ブロックの彩度成分に対して2つのモードのみが許容される。一例では、DM及びLMのみが、ISP符号化ブロックの彩度成分に対して許可される。
【0081】
さらに別の実施形態では、ISP符号化ブロックの彩度成分に対して4つのモードのみが許可される。一例では、ISP符号化ブロックの彩度コンポーネントにはDM、LM、LM_L、及びLM_A のみが許可される。
【0082】
ISP符号化ブロックの彩度構成要素のためのNcモードを信号化するために、従来のMPMメカニズムは利用されない。代わりに、ビットストリームで選択された彩度モードを示すために、固定バイナリ符号ワードが使用される。例えば、ISP符号化ブロックの彩度イントラ予測モードは、決定されたバイナリ符号ワードを使用して信号化されることができる。符号ワードは、切り捨てバイナリ(TB)2値化プロセス、固定長2値化プロセス、切り捨てライス(TR)2値化プロセス、k次Exp-Golomb2値化プロセス、限定EGk2値化プロセスなどを含む異なるプロセスを使用して生成され得る。
【0083】
〔ISP符号化ブロックの彩度成分の符号化ブロックサイズ〕
本開示では、ISP符号化ブロックのための彩度成分のためのサブ分割符号化を許可しないことが提案される。代わりに、ISP符号化ブロックの彩度成分には、通常の全ブロックベースのイントラ予測が使用される。言い換えると、ISP符号化ブロックの場合、サブ分割は、その彩度成分にサブ分割を持たないそのルミナンス成分に対してのみ実行される。
【0084】
〔ISPとインター予測との組み合わせ〕
図11は、
図10の第1サブ分割1001のためのインター予測子サンプルとイントラ予測子サンプルとの結合を示す。同様に、
図12は、
図10の第2サブ分割1002のためのインター予測子サンプルとイントラ予測サンプルとの結合を示す。より詳細には、符号化効率をさらに改善するために、予測がISPモードとインター予測モードとの重み付けされた組み合わせ(例えば、重み付けされた平均化)として生成される、新しい予測モードが提供される。ISPモードのためのイントラ予測子生成は、
図10に関連して前述したものと同じである。インター予測子は、マージモードまたはインターモードのプロセスによって生成されてもよい。
【0085】
図11の例示的な例では、現在のブロック(全てのサブ分割を含む)のインター予測子サンプル1101は、マージインデックスによって示されるマージ候補を使用して動き補償を実行することによって生成される。イントラ予測子サンプル1103は、信号化されたイントラモードを使用してイントラ予測を実行することによって生成される。このプロセスは、以前のサブ分割の再構成されたサンプルを使用して、
図12に示すように、第1ではないサブ分割(すなわち、第2サブ分割1002)のイントラ予測子サンプルを生成することができることに留意されたい。インター及びイントラ予測子サンプルが生成された後、それらは、サブ分割のための最終予測子サンプルを生成するために加重平均される。組み合わされたモードは、イントラモードとして扱うことができる。あるいは、結合されたモードは、イントラモードの代わりにインターモードまたはマージモードとして扱われてもよい。
【0086】
〔ISP符号化ブロックのためのCBF信号化〕
ISPの設計を単純化するために、本開示では、最後のサブ分割のために常にCBFを信号化することが提案される。
【0087】
本開示の別の実施形態では、最後のサブ分割のCBFを信号化せずに、デコーダ側でその値を推測することが提案される。例えば、最後のサブ分割のCBFの値は常に1として推測される。別の例では、最後のサブ分割に対するCBFの値は、常にゼロとして推測される。
【0088】
本開示の一実施形態によれば、ビデオ符号化の方法は、複数の対応するサブ分割のそれぞれについてそれぞれのイントラ予測を独立して生成することを含み、それぞれのイントラ予測は、現在の符号化ブロックからの複数のリファレンスサンプルを使用して生成される。
【0089】
いくつかの例では、複数の対応するサブ分割のうちの第1のサブ分割からの再構成されたサンプルは、複数の対応するサブ分割のうちの任意の他のサブ分割のためのそれぞれのイントラ予測を生成するために使用されない。
【0090】
いくつかの例では、複数の対応するサブ分割のそれぞれは、2以下の幅を有する。
【0091】
いくつかの例では、複数の対応するサブ分割は、複数の垂直サブ分割及び複数の水平サブ分割を含み、方法は、水平予測モードのみを使用して複数の水平サブ分割のためのイントラ予測の第1セットを生成することと、垂直予測モードのみを使用して複数の垂直サブ分割のためのイントラ予測の第2セットを生成することとをさらに備える。
【0092】
いくつかの例では、水平予測モードは、18より小さいモードインデックスを使用して実行される。
【0093】
いくつかの例では、垂直予測モードは、50より大きいモードインデックスを使用して実行される。
【0094】
いくつかの例では、水平予測モードは、複数の水平サブ分割のそれぞれについて独立して並列に実行される。
【0095】
いくつかの例では、垂直予測モードは、複数の垂直サブ分割のそれぞれについて独立して並列に実行される。
【0096】
いくつかの例では、複数の対応するサブ分割は、最後のサブ分割を含み、方法は、最後のサブ分割の係数ブロックフラグ(CBF)値を信号化することをさらに備える。
【0097】
いくつかの例では、複数の対応するサブ分割は、最後のサブ分割を含み、この方法は、デコーダにおいて、最後のサブ分割の係数ブロックフラグ(CBF)値を推測することをさらに備える。
【0098】
いくつかの例では、係数ブロックフラグ(CBF)値は、常に1として推測される。
【0099】
いくつかの例では、係数ブロックフラグ(CBF)値は、常にゼロとして推測される。
【0100】
本開示の別の実施形態によれば、ビデオ符号化の方法は、イントラサブ分割(ISP)符号化ブロックの輝度成分について、M個の可能なイントラ予測モードのうちのN個のモードのみを使用して、複数の対応するサブ分割のそれぞれについてそれぞれのイントラ予測を生成することを含み、M及びNは正の整数であり、NはM未満である。
【0101】
いくつかの例では、複数の対応するサブ分割のそれぞれは、2以下の幅を有する。
【0102】
いくつかの例では、Nは1に等しく、その結果、シングルモードのみが輝度成分に対して許容される。
【0103】
いくつかの例では、シングルモードは平面モードである。
【0104】
いくつかの例では、シングルモードはDCモードである。
【0105】
いくつかの例では、シングルモードは、水平(HOR)予測モード、垂直(VER)予測モード、または対角(DIA)予測モードの何れか1つである。
【0106】
いくつかの例では、シングルモードは、サブ分割の方向に応答して選択され、水平(HOR)予測モードは、サブ分割の方向が水平であることに応答して選択され、垂直(VER)予測モードは、サブ分割の方向が垂直であることに応答して選択される。
【0107】
いくつかの例では、シングルモードは、サブ分割の方向に応答して選択され、水平(HOR)予測モードは、サブ分割の方向が垂直であることに応答して選択され、垂直(VER)予測モードは、サブ分割の方向が水平であることに応答して選択される。
【0108】
いくつかの例では、Nは2に等しく、2つのモードが輝度成分に対して許容される。
【0109】
いくつかの例では、2つのモードの第1セットは、第1サブ分割の方向に応答して選択され、2つのモードの第2セットは、第2サブ分割の方向に応答して選択される。
【0110】
いくつかの例では、2つのモードの第1セットは、平面モード及び水平(HOR)予測モードを含み、第1サブ分割方向は、水平サブ分割を含み、第2モードのセットは、平面モード及び垂直(VER)予測モードを含み、第2サブ分割方向は、垂直サブ分割を含む。
【0111】
いくつかの例では、N個のモードのそれぞれのモードは、所定のバイナリ符号ワードのセットからの対応するバイナリ符号ワードを使用して信号化される。
【0112】
いくつかの例では、所定のバイナリ符号ワードのセットは、切り捨てバイナリ(TB)2値化プロセス、固定長2値化プロセス、切り捨てライス(TR)2値化プロセス、切り捨て単項2値化プロセス、k次Exp-Golumb2値化プロセス、または限定EGk2値化プロセスのうちの少なくとも1つを使用して生成される。
【0113】
本開示の別の実施形態によれば、ビデオ符号化の方法は、イントラサブ分割(ISP)符号化ブロックの彩度成分について、M個の可能なイントラ予測モードのうちのN個のモードのみを使用してイントラ予測を生成することを含み、ここで、M及びNは正の整数であり、NはM未満である。
【0114】
いくつかの例では、Nは1に等しく、その結果、シングルモードのみが彩度成分に対して許容される。
【0115】
いくつかの例では、シングルモードは、直接モード(DM)、リニアモデル(LM)モード、水平(HOR)予測モード、または垂直(VER)予測モードである。
【0116】
いくつかの例では、Nは2に等しく、その結果、2つのモードが彩度成分に対して許容される。
【0117】
いくつかの例では、Nは4に等しく、その結果、4つのモードが彩度成分に対して許容される。
【0118】
いくつかの例では、N個のモードのそれぞれのモードは、所定のバイナリ符号ワードのセットからの対応するバイナリ符号ワードを使用して信号化される。
【0119】
いくつかの例では、所定のバイナリ符号ワードのセットは、切り捨てバイナリ(TB)2値化プロセス、固定長2値化プロセス、切り捨てライス(TR)2値化プロセス、切り捨て単項2値化プロセス、k次Exp-Golumb2値化プロセス、または限定EGk2値化プロセスのうちの少なくとも1つを使用して生成される。
【0120】
本開示の別の実施形態によれば、ビデオ符号化の方法は、輝度成分のためのイントラサブ分割(ISP)符号化ブロック全体の複数の対応するサブ分割のそれぞれについて、及び彩度成分のために、それぞれの輝度イントラ予測を生成することと、イントラサブ分割(ISP)符号化ブロック全体について、彩度イントラ予測を生成することとを備える。
【0121】
いくつかの例では、複数の対応するサブ分割のそれぞれは、2以下の幅を有する。
【0122】
本開示の別の実施形態によれば、ビデオ符号化の方法は、イントラサブ分割モードを使用して第1予測を生成し、インター予測モードを使用して第2予測を生成し、第1の予測及び第2の予測に加重平均を適用することによって最終的な予測を生成するために、第1及び第2の予測を組み合わせる。
【0123】
いくつかの例では、第2予測は、マージモードまたはインターモードのうちの少なくとも1つを使用して生成される。
【0124】
1つまたは複数の例では、説明された機能は、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実装され得る。ソフトウェアで実施される場合、機能は、1つ以上の命令またはコードとして、コンピュータ読み取り可能な媒体上に記憶され、またはそれを介して送信され、ハードウェアベースの処理ユニットによって実行されてもよい。コンピュータ可読媒体は、データ記憶媒体のような有形の媒体に対応するコンピュータ可読記憶媒体、または、例えば通信プロトコルに従って、ある場所から別の場所へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信媒体を含んでいてもよい。このようにして、コンピュータ可読媒体は、一般に、(1)非一時的である有形のコンピュータ可読記憶媒体、または(2)信号または搬送波などの通信媒体に対応することができる。データ記憶媒体は、本出願に記載の実施のための命令、コード及び/またはデータ構造を検索するために、1つ以上のコンピュータまたは1つ以上のプロセッサによってアクセス可能な任意の利用可能な媒体であってもよい。コンピュータプログラム製品は、コンピュータ可読媒体を含み得る。
【0125】
さらに、上記の方法は、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)、デジタル信号処理デバイス(DSPD)、プログラマブル論理デバイス(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コントローラ、マイクロコントローラ、マイクロプロセッサ、または他の電子構成要素を含む1つまたは複数の回路を含む装置を使用して実装され得る。装置は、上述の方法を実行するために、他のハードウェアまたはソフトウェアコンポーネントと組み合わせて回路を使用することができる。上記で開示された各モジュール、サブモジュール、ユニット、またはサブユニットは、1つまたは複数の回路を使用して少なくとも部分的に実装され得る。
【0126】
本発明の他の実施形態は、本明細書を考慮し、本明細書に開示された本発明を実施することにより、当業者には明らかになるであろう。本出願は、本発明の一般的な原理に従い、当該技術分野における既知の又は慣例の実施の範囲内に入るような本開示からの逸脱を含む、本発明の任意の変形、使用、又は適応を包含することが意図される。本明細書及び各実施形態は、単なる例示を意図するものであり、本発明の真の範囲及び趣旨は、特許請求の範囲に記載する。
【0127】
本発明は、上述し、添付図面に示した例に正確に限定されるものではなく、本発明の範囲から逸脱することなく、様々な修正及び変更を行うことができることが理解されるであろう。本発明の範囲は、添付の特許請求の範囲によってのみ限定されることが意図される。
【0128】
〔関連出願の相互参照〕
本出願は、2019年2月5日に出願された米国仮特許出願第62/801,214号の利益を主張する。前述の出願の全開示は、その全体が参照により本明細書に組み込まれる。