IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ベイジン バイトダンス ネットワーク テクノロジー カンパニー リミテッドの特許一覧 ▶ バイトダンス インコーポレイテッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023159148
(43)【公開日】2023-10-31
(54)【発明の名称】動き情報の位置依存記憶装置
(51)【国際特許分類】
   H04N 19/105 20140101AFI20231024BHJP
   H04N 19/70 20140101ALI20231024BHJP
   H04N 19/52 20140101ALI20231024BHJP
【FI】
H04N19/105
H04N19/70
H04N19/52
【審査請求】有
【請求項の数】15
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023126471
(22)【出願日】2023-08-02
(62)【分割の表示】P 2021523359の分割
【原出願日】2019-11-06
(31)【優先権主張番号】PCT/CN2018/114057
(32)【優先日】2018-11-06
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/087372
(32)【優先日】2019-05-17
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/090127
(32)【優先日】2019-06-05
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/092151
(32)【優先日】2019-06-20
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Beijing Bytedance Network Technology Co., Ltd.
【住所又は居所原語表記】Room B-0035, 2/F, No.3 Building, No.30, Shixing Road, Shijingshan District Beijing 100041 China
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】ジャン リー
(72)【発明者】
【氏名】ジャン カイ
(72)【発明者】
【氏名】リウ ホンビン
(72)【発明者】
【氏名】ワン ユエ
(72)【発明者】
【氏名】ジャン ナ
(57)【要約】      (修正有)
【課題】ジオメトリ分割を含む、デジタル映像符号化に関連するデバイス、システムおよび方法を提供する。
【解決手段】映像処理方法は、優先規則に基づいて、現在の映像ブロックとこの映像のビットストリーム表現との間で変換を行うために、動き候補を動き候補リストに挿入する順序を決定することを含む。現在のブロックは、ジオメトリ分割モードを使用して符号化される。方法はまた、決定およびこの動き候補リストに基づいて、この変換を行うことと、を含む。
【選択図】図31
【特許請求の範囲】
【請求項1】
映像処理方法であって、
ジオメトリ分割モードを使用して複数の分割に分割される現在の映像ブロックに向けて、4×4個のサンプルサイズとは異なるサンプルサイズを有する前記複数の分割のうちの少なくとも2つの共通の境界に沿ったサンプル上で動き補償処理を行うことと、
前記動き補償処理に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことを含む、方法。
【請求項2】
前記動き補償処理は、前記変換に必要なメモリ帯域幅を低減するために、8×8個のサンプルサイズで行われる請求項1に記載の方法。
【請求項3】
前記動き補償処理は、前記変換に必要なメモリ帯域幅を低減するために、8×4個のサンプルサイズまたは4×8個のサンプルサイズで行われる請求項1に記載の方法。
【請求項4】
前記サンプルサイズは、前記現在のブロックの高さまたは幅に基づく、請求項3に記載の方法。
【請求項5】
前記サンプルサイズが、前記現在のブロックの前記複数の分割のための分割パターンに基づく、請求項3に記載の方法。
【請求項6】
前記分割パターンは、それぞれ45°の分割パターンまたは135°の分割パターンで表される、右上隅から左下隅へ、または左上隅から右下隅への分割を含む、請求項5に記載の方法。
【請求項7】
映像処理方法であって、
ジオメトリ分割モードを使用して現在の映像ブロックを複数の分割に分割することと、
前記複数の分割に関連付けられた動き情報から導出された、前記現在のブロック内のK×L領域のための1つの動き情報のセットを記憶することと、
前記複数の分割のうち少なくとも1つの分割に関連付けられた少なくとも1つの動き情報のセットを使用して、前記現在のブロックと前記映像のビットストリーム表現との間で変換を行うことを含む、映像処理方法。
【請求項8】
MVInfoiがi番目の分割の動き情報を表し、i=1およびi=2であり、MVInfo1が第1の参照ピクチャリストLXおよびMVInfo2からのものであると判定されると、前記1つの動き情報のセットは、MVInfo1とMVInfo2との組み合わせに基づいて、前記現在のブロックの双予測および関連する動き情報を含み、ここで、X=0またはX=1であり、Y=(1-X)である、請求項7に記載の方法。
【請求項9】
MVInfoiが、i番目の分割の動き情報を表し、i=1およびi=2であり、MVInfo1およびMVInfo2の両方が参照リストLXからのものであると判定された場合、MVInfojに基づいて、前記現在のブロックのための前記1つの動き情報単一予測および関連する動き情報のセットであり、j=1またはj=2であり、X=0またはX=1である、請求項7に記載の方法。
【請求項10】
動きベクトルとMVInfo1およびMVInfo2の参照ピクチャインデックスとを組み合わせることによって、双予測を含む前記1つの動き情報のセットを導出する、請求項8に記載の方法。
【請求項11】
単一予測を含む前記1つの動き情報のセットは、MVInfo1に基づく、請求項9に記載の方法。
【請求項12】
単一予測を含む前記1つの動き情報のセットは、MVInfo2に基づく、請求項9に記載の方法。
【請求項13】
MVInfo1は、右上隅のサンプルを覆う分割に関連する動き情報のセットを含み、MVInfo2は、右上隅のサンプルと左下隅のサンプルとが2つの異なる分割にあると判定された場合、左下隅のサンプルを覆う分割に関連付けられた動き情報のセットを含む、請求項1~12のいずれか1項に記載の方法。
【請求項14】
前記現在のブロックの分割方向が左上隅から右下隅である、請求項13に記載の方法。
【請求項15】
MVInfo1は、左上隅のサンプルを覆う分割に関連する動き情報のセットを含み、MVInfo2は、前記左上隅のサンプルと前記右下隅のサンプルとが2つの異なる分割にあると判定された場合、右下隅のサンプルを覆う分割に関連付けられた動き情報のセットを含む、請求項1~12のいずれか1項に記載の方法。
【請求項16】
前記現在のブロックの分割方向が右上隅から左下隅である、請求項15に記載の方法。
【請求項17】
前記記憶された1つの動き情報のセットが、前記映像の後続のブロックの時間的動き予測、空間的動き予測、または前記現在のブロックのフィルタリング処理のうちの1つに使用される、請求項7に記載の方法。
【請求項18】
記憶された1つの動き情報のセットが、異なるピクチャにおける他のブロックの処理に用いられる、請求項7に記載の方法。
【請求項19】
前記フィルタリング処理は、デブロッキングまたは適応ループフィルタリング(ALF)を含む、請求項17に記載の方法。
【請求項20】
MVInfoiおよびMVInfojが、それぞれi番目の分割およびj番目の分割の動き情報を表し、MVInfoiおよびMVInfojの両方が、参照ピクチャリストLXからのものであり、X=0またはX=1であり、前記1つの動き情報のセットは、MVInfoiと、MVInfojを参照ピクチャリストLYにスケーリングすることによって生成されるスケーリングされた動きベクトルとを組み合わせることに基づいており、Y=(1-X)である、請求項7に記載の方法。
【請求項21】
Xの値が予め判定されるか、またはビットストリーム表現で信号通知される、請求項20に記載の方法。
【請求項22】
MVInfoiおよびMVInfojが、それぞれi番目の分割およびj番目の分割の動き情報を表し、MVInfoiおよびMVInfojの両方が、参照ピクチャリストLXからのものであり、X=0またはX=1であり、前記1つの動き情報のセットは、MVInfoiと、MVInfojを参照ピクチャリストLYにマッピングすることによって生成されるマッピングされた動きベクトルとを組み合わせることに基づいており、Y=(1-X)である、請求項7に記載の方法。
【請求項23】
1つの動き情報のセットは、双予測動きベクトルを含む、請求項22に記載の方法。
【請求項24】
MVInfojをリストLYにおける前記参照ピクチャにマッピングすることは、スケーリング演算を除外する、請求項22に記載の方法。
【請求項25】
前記1つの動き情報のセットを記憶することは、前記複数の分割に関連付けられた復号化された動き情報に基づく、請求項7に記載の方法。
【請求項26】
MVInfoiおよびMVInfojは、それぞれi番目およびj番目の分割の動き情報を表し、MVInfoiおよびMVInfojは、いずれも同じ参照ピクチャリストLXに由来し、X=0またはX=1であり、前記1つの動き情報のセットは、単一予測の動き情報を含む、請求項25に記載の方法。
【請求項27】
MVInfoiおよびMVInfojが、i番目の分割およびj番目の分割の動き情報をそれぞれ表し、MVInfoiが、参照ピクチャリストLXおよびMVInfojからのものであり、X=0またはX=1であり、Y=(1-X)であり、前記1つの動き情報のセットが双予測動き情報を含む、請求項25に記載の方法。
【請求項28】
MVInfoiおよびMVInfojが、それぞれi番目およびj番目の分割の動き情報を表し、MVInfoiおよびMVInfojの両方が参照ピクチャリストLXからのものであり、X=0またはX=1であり、参照ピクチャリストLYがMVInfoiまたはMVInfojを含み、Y=(1-X)であり、前記1つの動き情報のセットが双予測動き情報を含む、請求項25に記載の方法。
【請求項29】
1つの動き情報のセットを記憶することは、前記複数の分割のうちの少なくとも2つの共通の境界に沿って位置する前記現在のブロックのサブ領域に基づく、請求項7に記載の方法。
【請求項30】
異なるサブ領域が異なる動き情報を記憶する、請求項29に記載の方法。
【請求項31】
サブ領域は、単一予測または双予測動き情報を記憶する、請求項29に記載の方法。
【請求項32】
単一の動き情報のセットを記憶することは、前記現在のブロックにおける1つのサブブロックの位置に基づいており、前記サブブロックは、単一予測動き情報のみを記憶する、請求項7に記載の方法。
【請求項33】
前記現在のブロックに適用される動き補償処理において前記1つの動き情報のセットを使用する、請求項1~32のいずれか1項に記載の方法。
【請求項34】
MVInfoiおよびMVInfojが、それぞれi番目およびj番目の分割の動き情報を表し、MVInfoiおよびMVInfojの両方が参照ピクチャリストLXからのものであり、X=0またはX=1であり、前記1つの動き情報のセットが、(a)MVInfoi、(b)MVInfojまたは(c)MVInfoiおよびMVInfojを平均することから導出された前記参照ピクチャリストLXのための双予測動きベクトルを含む、請求項7に記載の方法。
【請求項35】
MVInfoiおよびMVInfojが、それぞれi番目およびj番目の分割の動き情報を表し、MVInfoiおよびMVInfojの両方が参照ピクチャリストLXからのものであり、X=0またはX=1であり、且つ前記1つの動き情報のセットがMVInfoiおよびMVInfojの平均または重み付け平均を含み、且つ前記1つの動き情報のセットに関連付けられた前記参照ピクチャがMVInfoiの参照ピクチャまたはMVInfojの参照ピクチャのいずれかを含む、請求項7に記載の方法。
【請求項36】
K×L領域が、前記複数の分割のうちの少なくとも2つの分割間の共通の境界に少なくとも1つのサンプルを含む、請求項1~35のいずれか1項に記載の方法。
【請求項37】
ジオメトリ分割モードは、三角形分割モードを含む、請求項1~36のいずれか1項に記載の方法。
【請求項38】
複数の分割の少なくとも1つの分割が、非正方形であり、かつ非長方形である、請求項1~36のいずれか1項に記載の方法。
【請求項39】
前記変換は、前記現在の映像ブロックから前記ビットストリーム表現を生成する、請求項1~38のいずれか1項に記載の方法。
【請求項40】
前記変換は、前記ビットストリーム表現から前記現在の映像ブロックを生成する、請求項1~38のいずれか1項に記載の方法。
【請求項41】
処理装置と、前記処理装置に命令が記憶された非一時的メモリとを含む、映像システムにおける装置であって、前記命令が処理装置によって実装されることにより、前記処理装置に、請求項1~40のいずれか1項に記載の方法を実装させる装置。
【請求項42】
非一時的なコンピュータ可読媒体に記憶された前記コンピュータプログラム製品であって、請求項1~40のいずれか1項に記載の前記方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2018年11月6日出願の国際特許出願PCT/CN2018/114057号、2019年5月17日出願の国際特許出願PCT/CN2019/087372号、2019年6月5日出願の国際特許出願PCT/CN2019/090127、および2019年6月20日出願の国際特許出願PCT/CN2019/092151号の優先権および利益を適時に主張することを目的とする。米国法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により援用される。
【0002】
本明細書は、映像符号化技術、システムおよびデバイスに関する。
【背景技術】
【0003】
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像の受信および表示が可能な接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
【発明の概要】
【0004】
ジオメトリ分割を含む、デジタル映像符号化に関連するデバイス、システム、および方法が記載される。記載された方法は、既存の映像符号化規格(例えば、高効率映像符号化(HEVC)および/または汎用映像符号化(VVC))および将来の映像符号化規格またはビデオコーデックの両方に適用され得る。
【0005】
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックと映像のビットストリーム表現との間で変換を行うために、動き候補を動き候補リストに挿入する順序を、優先規則に基づいて決定することであって、ジオメトリ分割モードを使用して符号化される、決定することと、この判定および動き候補リストに基づいて、この変換を行うことを含む。
【0006】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックと映像のビットストリーム表現の間で変換を行うための動き候補リストに、1つの正規の動き候補から導出された、List0とList1との1つ以上の平均化された単一予測動き候補を挿入することであって、現在のブロックを、ジオメトリ分割モードを使用して符号化する、挿入することと、動き候補リストに基づいて、この変換を行うことを含む。
【0007】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックと映像のビットストリーム表現との間で変換を行うための動き候補リストに、単一予測を伴う正規の動き候補から導出された、単一予測を伴う1つ以上の平均化動き候補を挿入することであって、現在のブロックを、ジオメトリ分割モードを使用して符号化する、挿入することと、この動き候補リストに基づいて、この変換を行うこととを含む。
【0008】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックと映像のビットストリーム表現との間で変換を行うための動き候補リストに、利用可能な動き候補から導出された1つ以上の仮想動き候補を挿入することであって、現在のブロックは、ジオメトリ分割モードを使用して符号化されている、挿入することと、動き候補リストに基づいて、この変換を行うことと、を含む。
【0009】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、ジオメトリ分割モードを使用して符号化された映像の現在のブロックと映像のビットストリーム表現との間で変換するための動き候補リストへの動き候補の挿入する順序について、優先規則に基づいて決定することであって、優先規則が、動き候補の動き候補が導出された位置、または動き候補に関連付けられた1つ以上の参照ピクチャリストに基づくものである、決定することと、決定および動き候補リストに基づいて、変換を行うことを含む。
【0010】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は現在の映像ブロックと映像のビットストリーム表現との間で変換するために、動き候補を動き候補リストに挿入する順序を優先規則に基づいて決定することであって、現在のブロックは、ジオメトリ分割モードを使用して符号化され、順番または挿入は、シーケンス間、ピクチャ間、スライス間、タイルグループ間、または現在のブロックから映像の次のブロックに亘って変更可能である、決定することと、決定と動き候補リストに基づいて変換を行うことと、を含む。
【0011】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、ジオメトリ分割モードを使用して符号化された現在の映像ブロックを複数の分割に分割することと、複数の分割の各々に対応する複数の動き候補リストを構築することと、複数の動き候補リストに基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む。
【0012】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、ジオメトリ分割モードを使用して符号化された現在の映像ブロックを複数の分割に分割することと、複数の動き候補リストを構築することと、複数の分割の各々が、複数の動き候補リストのうち同じ動き候補リストを選択するように構成されることと、選択された同じ動き候補リストに基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む。
【0013】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、ビデオユニットにおける現在の映像ブロックとこの映像のビットストリーム表現との間で変換を行うことを含み、このビットストリーム表現は、この映像領域において有効にされるジオメトリ分割モードのための動き候補リストにおける許容される動き候補の最大数を示すフィールドを含む。
【0014】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、ジオメトリ分割モードを使用して複数の分割に分割された現在の映像ブロックに対して、現在のブロックの少なくとも1つの幅または高さに基づいて選択された、複数の重み係数群から1つの重み係数群を選択することと、現在のブロックと映像のビットストリーム表現との間での変換の一部として、複数の分割のうちの少なくとも2つの共通の境界に沿ったサンプルにこの重み係数群を適用することとを含む。
【0015】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、ジオメトリ分割モードを使用して、複数の分割に分割された現在の映像ブロック内のサンプルに対して、複数の分割のうちの少なくとも2つの共通の境界の角度に基づく少なくとも1つの重み係数を判定することと、少なくとも1つの重み係数に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む。
【0016】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、ジオメトリ分割モードを使用して複数の分割に分割された現在の映像ブロックに対して、複数の分割のうちの少なくとも2つの共通の境界に沿った、サンプルサイズが4×4のサンプルサイズとは異なるサンプルに対する動き補償処理を行うことと、動き補償処理に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うこととを含む。
【0017】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、ジオメトリ分割モードを使用して、現在の映像ブロックを複数の分割に分割することと、複数の分割に関連付けられた動き情報から導出された、現在のブロックにおけるK×L領域のための1つの動き情報のセットを記憶することと、複数の分割のうちの少なくとも1つに関連付けられた少なくとも1つの動き情報のセットを使用して、現在のブロックと、映像のビットストリーム表現の間で変換を行うことと、を含む。
【0018】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックを複数の分割に分割することと、ジオメトリ分割モードを使用して符号化された現在のブロックと映像のビットストリーム表現との間で変換を行うこととを含み、現在のブロックの各M×Nブロックユニットごとに1つの動き情報のセットが記憶され、この1つの動き情報のセットは、複数の分割の各々に関連付けられた動き情報から導出されたものであり、MまたはNのいずれか一方が4に等しくなく、M×Nブロックユニットにおける各サンプルが同じ動き情報を共有する。
【0019】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックを複数の分割に分割することと、現在のブロックと映像のビットストリーム表現との間での変換の一部として、記憶されるべき第1のサブ領域に関連付けられた第2の動き情報とは異なる第1の動き情報に基づいて、現在のブロックの第1のサブ領域に対して動き補償処理を行うこととを含む。
【0020】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、ジオメトリ分割モードを使用して、現在の映像ブロックを複数の分割に分割することと、複数の分割に関連付けられた分割方向または復号化されたマージインデックスまたはマージ候補リストに基づいて、第1のサンプルセットおよび第2のサンプルセットの動き情報を記憶することであって、第1のサンプルセットは、複数の分割のうちの少なくとも2つの共通の境界上にあり、第2のサンプルセットは、複数の分割のうちの少なくとも2つのうちの1つの内部にある、記憶することと、記憶された動き情報に基づいて、現在のブロックと映像のビットストリーム表現との間で変換、または映像の後続のブロックとビットストリーム表現との間で変換を行うこととを含む。
【0021】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックを複数の分割に分割することと、複数の分割のうちの少なくとも2つの分割の動き情報に基づく仮想双予測動き情報を記憶することと、仮想双予測動き情報に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む。
【0022】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、現在の映像ブロックを複数の分割に分割することと、低遅延チェックフラグに基づいて、複数の分割の第1の分割(MvInfo1)の動き情報および複数の分割の第2の分割(MvInfo2)の動き情報を記憶することであって、低遅延チェックフラグは、現在のブロックを構成する現在のピクチャのPOC値以下のピクチャオーダカウント(POC)値を有するすべての参照ピクチャを示す、記憶することと、記憶した動き情報に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む。
【0023】
さらに別の代表的な態様において、上記方法は、処理装置が実行可能なコードの形式で実施され、コンピュータ可読プログラム媒体に記憶される。
【0024】
さらに別の代表的な態様では、上述した方法を行うように構成された、または行うように動作可能なデバイスが開示される。このデバイスは、この方法を実装するようにプログラムされた処理装置を含んでもよい。
【0025】
さらに別の代表的な態様では、ビデオデコーダ装置は、本明細書で説明されるような方法を実装し得る。
【0026】
開示される技術の上記および他の態様および特徴は、図面、説明および特許請求の範囲でより詳細に説明される。
【図面の簡単な説明】
【0027】
図1】マージ候補リスト構築の導出処理の一例である。
図2】空間的マージ候補の位置の例を示す。
図3】空間的マージ候補の冗長性チェックに考慮される候補対の例を示す。
図4A】N×2Nおよび2N×N個の分割の第2の予測ユニット(PU)のための例示的な位置を示す。
図4B】N×2Nおよび2N×N個の分割の第2の予測ユニット(PU)のための例示的な位置を示す。
図5】時間的マージ候補のための動きベクトルのスケーリングの例である。
図6】時間的マージ候補の候補位置の例、C0およびC1を示す。
図7】結合双予測マージ候補の例を示す。
図8】動きベクトル予測候補の導出処理例を示す。
図9】空間的動きベクトル候補のための動きベクトルのスケーリングの例である。
図10】CUのための代替的な時間的動きベクトル予測(ATMVP)動き予測の例を示す。
図11】4つのサブブロック(A-D)およびその近傍のブロック(a-d)を有する1つのCUの例を示す。
図12】異なるMV精度で符号化する例のフローチャートである。
図13A】135度分割タイプ(左上隅から右下隅への分割)、および45度分割パターンを示す。1つのCUを2つの三角形予測ユニット(2つの分割パターン)に分割する図である。
図13B】135度分割タイプ(左上隅から右下隅への分割)、および45度分割パターンを示す。1つのCUを2つの三角形予測ユニット(2つの分割パターン)に分割する図である。
図14】近傍のブロックの位置の例を示す。
図15A】動きベクトル記憶装置の例を示す。
図15B】動きベクトル記憶装置の例を示す。
図16A】三角形予測モード(TPM)の信号通知の例を示す。
図16B】三角形予測モード(TPM)の信号通知の例を示す。
図17】TPMフラグ符号化におけるコンテキスト選択に用いられる近傍のブロック(AおよびL)の例を示す。
図18A】重複ブロック動き補償OBMCが適用されるサブブロックの例を示す。
図18B】重複ブロック動き補償OBMCが適用されるサブブロックの例を示す。
図18C】三角形予測モードのための単一予測MV選択の例を示す。
図19】ICパラメータを導出するために使用される近傍のサンプルの例を示す。
図20A】簡略化したアフィン動きモデル4-パラメータアフィンおよび6-パラメータアフィンモデルを示す。
図20B】簡略化したアフィン動きモデル4-パラメータアフィンおよび6-パラメータアフィンモデルを示す。
図21】サブブロックごとのアフィン動きベクトルフィールド(MVF)の例を示す。
図22A】4パラメータアフィンモデルおよび6パラメータアフィンモデルの例を示す。
図22B】4パラメータアフィンモデルおよび6パラメータアフィンモデルの例を示す。
図23】AF_INTERのための動きベクトル予測子MVPの一例を示す。
図24A】AF_MERGEの候補の例を示す。
図24B】AF_MERGEの候補の例を示す。
図25】アフィンマージモードの候補位置の例を示す。
図26】オプティカルフローの軌跡の一例を示す。
図27A】a)ブロックの外側のアクセス位置、b)余分なメモリアクセスおよび計算を回避するためにパディングを用いる、BIO w/oブロック拡張の例を示す。
図27B】a)ブロックの外側のアクセス位置、b)余分なメモリアクセスおよび計算を回避するためにパディングを用いる、BIO w/oブロック拡張の例を示す。
図28】バイラテラルテンプレートマッチングに基づくデコーダ側動きベクトル改良(DMVR)の例を示す。
図29】異なる分割の動き候補リスト構築処理に用いられるブロックの例を示す。
図30A】triangleDir=0の場合のMV記憶領域の3つの例を示す。
図30B】triangleDir=0の場合のMV記憶領域の3つの例を示す。
図30C】triangleDir=0の場合のMV記憶領域の3つの例を示す。
図31】映像処理方法の例を示すフローチャートである。
図32】映像処理方法の例を示すフローチャートである。
図33】映像処理方法の例を示すフローチャートである。
図34】映像処理方法の例を示すフローチャートである。
図35】映像処理方法の例を示すフローチャートである。
図36】映像処理方法の例を示すフローチャートである。
図37】映像処理方法の例を示すフローチャートである。
図38】映像処理方法の例を示すフローチャートである。
図39】映像処理方法の例を示すフローチャートである。
図40】映像処理方法の例を示すフローチャートである。
図41】映像処理方法の例を示すフローチャートである。
図42】映像処理方法の例を示すフローチャートである。
図43】映像処理方法の例を示すフローチャートである。
図44】映像処理方法の例を示すフローチャートである。
図45】映像処理方法の例を示すフローチャートである。
図46】映像処理方法の例を示すフローチャートである。
図47】映像処理方法の例を示すフローチャートである。
図48】映像処理方法の例を示すフローチャートである。
図49】本明細書に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実装するためのハードウェアプラットフォームの一例を示すブロック図である。
図50】開示される技術が実装され得る例示的な映像処理システムのブロック図である。
【発明を実施するための形態】
【0028】
本明細書は、伸張または復号化されたデジタル映像の品質を向上させるために、ビデオビットストリームのデコーダで使用できる様々な技術を提供する。さらに、ビデオエンコーダは、さらなる符号化に使用される復号化されたフレームを再構成するために、符号化の処理中にこれらの技術を実装してもよい。
【0029】
本明細書では、理解を容易にするために章見出しを使用しているが、実施形態および技術を対応する章に限定するものではない。このように、一つの章からの実施形態は、他の章からの実施例と組み合わせることができる。
【0030】
1. 概要
【0031】
本特許明細書は、映像符号化技術に関する。具体的には、本発明は、映像符号化のジオメトリ分割における動きベクトル符号化および信号通知に関する。本発明は、HEVCのような既存の映像符号化規格またはファイナライズされるべき規格(例えば、汎用映像符号化:VVC)に適用され得る。本発明は、将来の映像符号化規格またはビデオコーデックにも適用可能である。
【0032】
2. 導入コメント
【0033】
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を、ISO/IECはMPEG-1とMPEG-4Visualを、両団体はH.262/MPEG-2VideoとH.264/MPEG-4高度映像符号化(AVC)とH.265/HEVC規格を共同で作成した。映像符号化規格、H.262は、時間予測プラス変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超えた将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同で共同映像探索チーム(JVET)を設立した。それ以来、多くの新しい方法がJVETによって採用され、共同探索モデル(JEM)と呼ばれる参照ソフトウェアに組み込まれてきた。2018年4月、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)の間に共同映像探索チーム(JVET)が作られ、HEVCと比較してビットレートを50%低減することを目標とした汎用映像符号化(VVC)規格に取り組むことになった。
【0034】
VVCドラフトの最新バージョン、即ち、汎用映像符号化(ドラフト2)は、以下を参照することができる。
【0035】
http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/11_Ljubljana/wg11/JVET-K1001-v7.zip
【0036】
VTMと呼ばれるVVCの最新の参照ソフトウェアは、以下のものを見出すことができる。
【0037】
https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-2.1
【0038】
2.1 HEVC/H.265におけるインター予測
【0039】
各インター予測PUは、1つまたは2つの参照ピクチャリストのための動きパラメータを有する。動きパラメータは、動きベクトルおよび参照ピクチャインデックスを含む。2つの参照ピクチャリストのうちの1つの参照ピクチャリストの使用は、inter_pred_idcを使用して信号通知されてもよい。動きベクトルは、予測子に対してデルタとして明確に符号化されてもよい。
【0040】
1つのCUがスキップモードで符号化される場合、1つのPUがこのCUに関連付けられ、有意な残差係数がなく、符号化動きベクトルデルタも参照ピクチャインデックスもない。マージモードを指定し、これにより、現在のPUのための動きパラメータを、空間的および時間的候補を含む近傍のPUから取得する。マージモードは、スキップモードのためだけでなく、任意のインター予測されたPUに適用することができる。マージモードの代替は、動きパラメータを明確に送信することであり、動きベクトル(より正確には、動きベクトル予測子と比較した動きベクトルの差)、各参照ピクチャリストに対応する参照ピクチャインデックス、および参照ピクチャリストの使用量が、PUごとに明確に信号通知される。このようなモードを、本開示では高度動きベクトル予測(AMVP)と呼ぶ。
【0041】
2つの参照ピクチャリストのうちの1つを使用することを信号通知が示す場合、1つのサンプルのブロックからPUを生成する。これを「単一予測」と呼ぶ。PスライスおよびBスライスの両方に対して単一予測が利用可能である。
【0042】
両方の参照ピクチャリストを使用することを信号通知が示す場合、2つのサンプルのブロックからPUを生成する。これを「双予測」と呼ぶ。Bスライスのみに双予測が利用可能である。
【0043】
以下、HEVCに規定されるインター予測モードについて詳細に説明する。まず、マージモードについて説明する。
【0044】
2.1.1 参照ピクチャリスト
【0045】
HEVCにおいて、インター予測という用語は、現在の復号化されたピクチャ以外の参照ピクチャのデータ要素(例えば、サンプル値または動きベクトル)から導出された予測を示すために用いられる。H.264/AVCと同様に、複数の参照ピクチャから1つのピクチャを予測することができる。インター予測に用いられる参照ピクチャは、1つ以上の参照ピクチャリストにまとめられる。参照インデックスは、リストにおけるいずれの参照ピクチャを使用して予測信号を生成するかを識別する。
【0046】
1つの参照ピクチャリストList0はPスライスに用いられ、2つの参照ピクチャリストList0およびList1はBスライスに用いられる。なお、List0/1に含まれる参照ピクチャは、撮影/表示順にしても、過去および将来のピクチャからのものであってもよい。
【0047】
2.1.2 マージモード
【0048】
2.1.2.1 マージモードの候補の導出
【0049】
マージモードを使用してPUを予測する場合、ビットストリームからマージ候補リストにおけるエントリを指すインデックスを構文解析し、これを使用して動き情報を検索する。このリストの構成は、HEVC規格で規定されており、以下のステップのシーケンスに基づいてまとめることができる。
・ステップ1:初期候補導出
oステップ1.1:空間的候補導出
oステップ1.2:空間的候補の冗長性チェック
oステップ1.3:時間的候補導出
・ステップ2:追加候補挿入
oステップ2.1:双予測候補の作成
oステップ2.2:動きゼロ候補の挿入
【0050】
これらのステップは図1にも概略的に示されている。空間的マージ候補導出のために、5つの異なる位置にある候補の中から最大4つのマージ候補を選択する。時間的マージ候補導出のために、2つの候補の中から最大1つのマージ候補を選択する。デコーダ側ではPUごとに一定数の候補を想定しているので、ステップ1で得られた候補の数が、スライスヘッダにおいて信号通知されるマージ候補の最大数(MaxNumMergeCand)に達しない場合、追加の候補を生成する。候補の数は一定であるので、最良マージ候補のインデックスを、短縮された単項2値化(TU)を使用して符号化する。CUのサイズが8に等しい場合、現在のCUのすべてのPUは、2N×2N予測ユニットのマージ候補リストと同じ1つのマージ候補リストを共有する。
【0051】
以下、上述したステップに関連付けられた動作を詳しく説明する。
【0052】
2.1.2.2 空間的候補導出
【0053】
空間的マージ候補の導出において、図2に示す位置にある候補の中から、最大4つのマージ候補を選択する。導出の順序はA、B、B、A、Bである。位置A、B、B、AのいずれかのPUが利用可能でない場合(例えば、別のスライスまたはタイルに属しているため)、またはイントラ符号化された場合にのみ、位置Bが考慮される。位置Aの候補を加えた後、残りの候補を加えると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、符号化効率を向上させることができる。計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えられる候補対のすべてを考慮することはしない。その代わりに、図3の矢印で結ばれたペアのみを考慮し、冗長性チェックに使用された対応する候補が同じ動き情報を持っていない場合にのみ、候補をリストに加える。重複した動き情報の別のソースは、2N×2Nとは異なる分割に関連付けられた「第2のPU」である。一例として、4Aおよび図4Bは、それぞれ、N×2Nおよび2N×Nの場合の第2のPUを描いている。現在のPUをN×2Nに分割する場合、リスト構築に位置Aの候補は考慮されない。実際、この候補を加えることにより、双予測ユニットが同じ動き情報を有するようになり、1つの符号化ユニットに1つのPUのみを有することは冗長である。同様に、現在のPUを2N×Nに分割する場合、位置Bは考慮されない。
【0054】
2.1.2.3 時間的候補導出
【0055】
このステップにおいて、1つの候補のみがリストに追加される。具体的には、この時間的マージ候補の導出において、所与の参照ピクチャリストにおける現在のピクチャとの間に最小のPOC差を有するピクチャに属する同一位置PUに基づいて、スケーリングされた動きベクトルを導出する。スライスヘッダにおいて、同一位置PUの導出に用いられる参照ピクチャリストが明確に信号通知される。図5に点線で示すように、時間的マージ候補のスケーリングされた動きベクトルが得られる。これは、POC距離tbおよびtdを利用して、同一位置PUの動きベクトルからスケーリングしたものである。tbは、現在のピクチャの参照ピクチャと現在のピクチャのPOC差として規定し、tdは、同一位置PUの参照ピクチャと同一位置ピクチャのPOC差として規定する。時間的マージ候補の参照ピクチャインデックスをゼロに等しく設定する。このスケーリング処理の実際的な実現については、HEVC仕様に記載されている。Bスライスの場合、2つの動きベクトル、即ち、1つは参照ピクチャリスト0のためのもの、もう1つは参照ピクチャリスト1のためのものを取得し、これらを組み合わせることによって、双予測マージ候補を形成する。
【0056】
参照フレームに属する同一位置PU(Y)において、図6に示すように、候補Cと候補Cとの間で時間的候補の位置を選択する。位置CのPUが利用可能でない場合、イントラ符号化されている場合、または現在のCTUの外側にある場合、位置Cが使用される。そうでない場合、位置Cが時間的マージ候補の導出に使用される。
【0057】
2.1.2.4 追加候補挿入
【0058】
時空間的マージ候補の他に、2つの追加のタイプのマージ候補、すなわち、結合双予測マージ候補およびゼロマージ候補がある。空間的および時間的マージ候補を利用することで、結合双予測マージ候補を生成する。結合双予測マージ候補は、Bスライスのみに使用される。最初の候補の第1の参照ピクチャリスト動きパラメータと別の候補の第2の参照ピクチャリスト動きパラメータとを組み合わせることで、結合双予測候補を生成する。これら2つのタプルが異なる動き仮説を提供する場合、これらのタプルは、新しい双予測候補を形成する。一例として、図7は、オリジナルリスト(左側)における、mvL0、refIdxL0またはmvL1、refIdxL1を有する2つの候補を使用して、最終リスト(右側)に加えられる結合双予測マージ候補を生成する場合を示す。これらの追加のマージ候補を生成するために考慮される組み合わせについては、様々な規則が存在する。
【0059】
動きゼロ候補を挿入し、マージ候補リストにおける残りのエントリを埋めることにより、MaxNumMergeCand容量にヒットする。これらの候補は、空間的変位がゼロであり、新しいゼロ動き候補をリストに加える度にゼロから始まり増加する参照ピクチャインデックスを有する。これらの候補が使用する参照フレームの数は、それぞれ、一方向予測の場合は1つ、双予測の場合は2つである。最終的には、これらの候補に対して冗長性チェックは行われない。
【0060】
2.1.2.5 並列処理のための動き推定領域
【0061】
符号化処理を高速化するために、動き推定を並列に行うことができ、それによって、所与の領域内のすべての予測ユニットの動きベクトルを同時に導出する。1つの予測ユニットは、その関連する動き推定が完了するまで、隣接するPUから動きパラメータを導出することができないので、空間的近傍からのマージ候補の導出は、並列処理に干渉する可能性がある。符号化効率と処理待ち時間との間のトレードオフを緩和するために、HEVCは、動き推定領域(MER)を規定し、そのサイズは、「log2_parallel_merge_level_minus2」構文要素を使用してピクチャパラメータセットにおいて信号通知される。1つのMERを規定するとき、同じ領域にあるマージ候補は使用不可としてマークされ、それゆえにリスト構築においては考慮されない。
【0062】
2.1.3 AMVP
【0063】
AMVPは、動きパラメータの明確な伝送に使用される、動きベクトルの近傍のPUとの時空間的相関を利用する。各参照ピクチャリストにおいて、まず、左側の時間的に近傍のPU位置の可用性をチェックし、冗長な候補を取り除き、ゼロベクトルを加えることで、候補リストの長さを一定にすることで、動きベクトル候補リストを構成する。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応するインデックスを送信することができる。マージインデックスの信号通知と同様に、最良の動きベクトル候補のインデックスは、短縮された単項を使用して符号化される。この場合に符号化対象の最大値は2である(図8参照)。以下の章では、動きベクトル予測候補の導出処理の詳細を説明する。
【0064】
2.1.3.1 AMVP候補の導出
【0065】
図8に、動きベクトル予測候補の導出処理をまとめる。
【0066】
動きベクトル予測において、空間的動きベクトル候補と時間的動きベクトル候補という2つのタイプの動きベクトル候補が考えられる。空間的動きベクトル候補を導出するために、図2に示したように、5つの異なる位置にある各PUの動きベクトルに基づいて、最終的には2つの動きベクトル候補を導出する。
【0067】
時間的動きベクトル候補を導出するために、2つの異なる同じ場所に配置された位置に基づいて導出された2つの候補から1つの動きベクトル候補を選択する。第1の時空間的候補リストを作成した後、リストにおける重複した動きベクトル候補を除去する。候補の数が2よりも多い場合、関連づけられた参照ピクチャリストにおける参照ピクチャインデックスが1よりも大きい動きベクトル候補をリストから削除する。時空間的動きベクトル候補の数が2未満である場合は、追加のゼロ動きベクトル候補をリストに加える。
【0068】
2.1.3.2 空間的動きベクトル候補
【0069】
空間的動きベクトル候補の導出において、図2に示すような位置にあるPUから導出された5つの候補のうち、最大2つの候補を考慮するそれらの位置は動きマージの位置と同じである。現在のPUの左側のための導出の順序は、A、A、スケーリングされたA、スケーリングされたAとして規定される。現在のPUの上側のための導出の順序は、B、B、B、スケーリングされたB、スケーリングされたB、スケーリングされたBとして規定される。そのため、辺ごとに、動きベクトル候補として使用できる場合は4つ、すなわち空間的スケーリングを使用する必要がない2つの場合と、空間的スケーリングを使用する2つの場合とがある。4つの異なる場合をまとめると、以下のようになる。
・空間的スケーリングなし
-(1)同じ参照ピクチャリスト、および同じ参照ピクチャインデックス(同じPOC)
-(2)異なる参照ピクチャリストであるが、同じ参照ピクチャ(同じPOC)
・空間的スケーリング
-(3)同じ参照ピクチャリストであるが、異なる参照ピクチャ(異なるPOC)
-(4)異なる参照ピクチャリスト、および異なる参照ピクチャ(異なるPOC)
【0070】
最初に非空間的スケーリングの場合をチェックし、次に空間的スケーリングを行う。参照ピクチャリストにかかわらず、POCが近傍のPUの参照ピクチャと現在のPUの参照ピクチャとで異なる場合、空間的スケーリングを考慮する。左側候補のすべてのPUが利用可能でないか、またはイントラ符号化されている場合、上側の動きベクトルのスケーリングは、左側および上側MV候補の並列導出に役立つ。そうでない場合、上側の動きベクトルに対して空間的スケーリングは許可されない。
【0071】
空間的スケーリング処理において、図9に示すように、時間的スケーリングと同様にして、近傍のPUの動きベクトルをスケーリングする。主な違いは、現在のPUの参照ピクチャリストおよびインデックスを入力として与え、実際のスケーリング処理は時間的スケーリングと同じであることである。
【0072】
2.1.3.3 時間的動きベクトル候補
【0073】
参照ピクチャインデックスを導出する以外は、時間的マージ候補を導出するための処理は、すべて、空間的動きベクトル候補を導出するための処理と同じである(図6参照)。
参照ピクチャインデックスはデコーダに信号通知される。
【0074】
2.2 JEMにおける新しいインター予測方法
【0075】
2.2.1 サブCUに基づく動きベクトル予測
【0076】
QTBTを有するJEMにおいて、各CUは、各予測方向に対して最大1つの動きパラメータセットを有することができる。エンコーダにおいて、ラージCUをサブCUに分割し、ラージCUのすべてのサブCUの動き情報を導出することにより、2つのサブCUレベルの動きベクトル予測方法を考慮する。代替的な時間的動きベクトル予測(ATMVP)方法により、各CUが、配列された参照ピクチャにおける現在のCUよりも小さい複数のブロックから複数の動き情報のセットをフェッチすることが可能となる。時空間的動きベクトル予測(STMVP)法において、時間的動きベクトル予測子および空間的近傍動きベクトルを使用して、サブCUの動きベクトルを再帰的に導出する。
【0077】
サブCU動き予測のためにより正確な動きフィールドを維持するために、参照フレームの動き圧縮は現在無効にされている。
【0078】
2.2.1.1 代替の時間的動きベクトル予測
【0079】
図10を参照する。代替的な時間的動きベクトル予測(ATMVP)において、動きベクトルの時間的動きベクトル予測(TMVP)法は、現在のCUより小さいブロックから複数の動き情報のセット(動きベクトルおよび参照インデックスを含む)を取り出すことで修正される。一例において、サブCUは、N×N個のブロックの正方形である(Nは、デフォルトで4に設定される)。
【0080】
ATMVPは、CU内のサブCUの動きベクトルを2つのステップで予測する。第1のステップは、参照ピクチャ1における対応するブロックを、いわゆる時間的ベクトルで特定することである。この参照ピクチャをモーションソースピクチャと呼ぶ。第2のステップでは、現在のCUをサブCUに分割し、各サブCUに対応するブロックから、各サブCUの動きベクトルおよび参照インデックスを得る。
【0081】
第1のステップにおいて、現在のCUの空間的に近傍のブロックの動き情報によって、参照ピクチャおよび対応するブロックを判定する。近傍のブロックの繰り返し走査処理を回避するために、現在のCUのマージ候補リストにおける第1のマージ候補を用いる。第1の利用可能な動きベクトルおよびその関連する参照インデックスを、時間的ベクトルおよびモーションソースピクチャのインデックスに設定する。このように、ATMVPでは、TMVPに比べて、対応するブロックをより正確に特定することができ、対応するブロック(配列されたブロックと呼ばれることがある)は、常に現在のCUに対して右下または中心位置にある。
【0082】
第2のステップにおいて、現在のCUの座標に時間ベクトルを加えることで、モーションソースピクチャにおける時間的ベクトルによって、サブCUの対応するブロックを特定する。サブCUごとに、その対応するブロックの動き情報(中心サンプルを覆う最小の動きグリッド)を使用して、サブCUの動き情報を導出する。対応するN×Nブロックの動き情報を特定した後、HEVCのTMVPと同様に、現在のサブCUの動きベクトルおよび参照インデックスに変換され、動きスケーリングや他の手順が適用される。例えば、デコーダは、低遅延条件(現在のピクチャのすべての参照ピクチャのPOCが現在のピクチャのPOCよりも小さい)が満たされているかどうかをチェックし、場合によっては、動きベクトルMV(参照ピクチャリストXに対応する動きベクトル)を使用して、各サブCUの動きベクトルMV(Xが0または1に等しく、Yが1-Xに等しい)を予測する。
【0083】
2.2.1.2 時空間的動きベクトル予測(STMVP)
【0084】
この方法において、サブCUの動きベクトルは、ラスタスキャンの順に沿って再帰的に導出される。図11はこの概念を説明する。4つの4×4サブCU、A、B、C、およびDを含む8×8CUを考える。現在のフレームの近傍の4×4ブロックには、a、b、c、dというラベルが付けられている。
【0085】
サブCU Aの動きの導出は、その2つの空間的近傍を特定することで始まる。第1の近傍は、サブCU Aの上のN×Nブロックである(ブロックc)。このブロックcが利用可能でないか、またはイントラ符号化されている場合、サブCU Aより上の他のN×N個のブロックをチェックする(ブロックcから始まり、左から右へ)。第2の近傍は、サブCU Aの左側のブロックである(ブロックb)。ブロックbが利用可能でないか、またはイントラ符号化されている場合、サブCU Aの左側の他のブロックをチェックする(ブロックbを中心に、上から下へ)。各リストの近傍のブロックから得られた動き情報を、所与のリストの第1の参照フレームにスケーリングする。次に、HEVCに規定されているTMVP導出と同じ手順に従って、サブブロックAの時間的動きベクトル予測子(TMVP)を導出する。ロケーションDにおける配列されたブロックの動き情報をフェッチし、それに応じてスケーリングする。最後に、動き情報を検索し、スケーリングした後、参照リストごとにすべての利用可能な動きベクトル(3まで)を別々に平均する。この平均化された動きベクトルを現在のサブCUの動きベクトルとする。
【0086】
2.2.1.3 サブCU動き予測モード信号通知
【0087】
サブCUモードは追加のマージ候補として有効とされ、モードを信号通知するために追加の構文要素は必要とされない。ATMVPモードおよびSTMVPモードを表すように、各CUのマージ候補リストに2つの追加のマージ候補を加える。シーケンスパラメータセットがATMVPおよびSTMVPが有効であることを示す場合、7個までのマージ候補を使用する。追加のマージ候補の符号化ロジックは、HMにおけるマージ候補の場合と同じであり、つまり、PまたはBスライスにおける各CUについて、2つの追加のマージ候補に対して2回以上のRDチェックが必要となる。
【0088】
JEMにおいて、マージインデックスのすべてのビンは、CABACによってコンテキスト符号化される。一方、HEVCにおいては、第1の2値のみがコンテキスト符号化され、残りの2値はコンテキストバイパス符号化される。
【0089】
2.2.2 適応型動きベクトル差解像度
【0090】
HEVCにおいて、use_integer_mv_flagがスライスヘッダにおいて0であるとき、1/4輝度サンプルの単位で動きベクトルの差(MVD)(動きベクトルとPUの予測動きベクトルとの差)が信号通知される。JEMにおいて、ローカル適応型動きベクトル解像度(LAMVR)が導入される。JEMにおいて、MVDは、1/4輝度サンプル、整数輝度サンプルまたは4つの輝度サンプルの単位で符号化できる。MVD分解能は符号化ユニット(CU)レベルで制御され、MVD解像度フラグは、少なくとも1つのノンゼロMVDモジュールを有する各CUに対して条件付きで信号通知される。
【0091】
少なくとも1つのノンゼロMVDモジュールを有するCUの場合、1/4輝度サンプルMV精度がCUにおいて使用されるかどうかを示すために、第1のフラグが信号通知される。第1のフラグ(1に等しい)が、1/4輝度サンプルMV精度が使用されていないことを示す場合、整数輝度サンプルMV精度が使用されるかまたは4輝度サンプルMV精度が使用されるかを示すために、別のフラグが信号通知される。
【0092】
CUの第1のMVD解像度フラグがゼロであるか、またはCUに対して符号化されていない(つまり、CUにおけるすべてのMVDがゼロである)場合、CUに対して1/4輝度サンプルMV解像度が使用される。CUが整数輝度サンプルMV精度または4輝度サンプルMV精度を使用する場合、CUのAMVP候補リストにおけるMVPを対応する精度に丸める。
【0093】
エンコーダにおいて、CUレベルのRDチェックは、どのMVD解像度をCUに用いるかを判定するために用いられる。すなわち、1つのMVD解像度ごとに3回、CUレベルのRDチェックを行う。エンコーダの速度を速めるために、JEMにおいては、以下の符号化方式が適用される。
・通常の1/4輝度サンプルMVD解像度を有するCUのRDチェック中、現在のCUの動き情報(整数輝度サンプル精度)が記憶される。整数輝度サンプルおよび4輝度サンプルのMVD解像度を有する同じCUのRDチェック中に、記憶された動き情報(丸められた後)は、更なる小範囲動きベクトル改良の開始点として使用されるので、時間がかかる動き推定処理が3回重複しない。
・4輝度サンプルMVD解像度を有するCUのRDチェックを条件付きで呼び出す。CUの場合、整数輝度サンプルMVD解像度のRDコストが1/4輝度サンプルMVD解像度のそれよりもはるかに大きい場合、CUのための4輝度サンプルMVD解像度のRDチェックはスキップされる。
【0094】
符号化処理を図12に示す。まず、1/4画素MVをテストし、RDコストを計算し、RDCost0と表し、次に、整数MVをテストし、RDコストをRDCost1と表す。RDCost1<th*RDCost0(ただし、thは正の値である)である場合、4画素MVをテストし、そうでない場合、4画素MVをスキップする。基本的に、整数または4画素MVをチェックするときには、1/4画素MVに対して動き情報およびRDコスト等が既知であり、これを再利用して整数または4画素MVの符号化処理を高速化することができる。
【0095】
2.2.3 三角形予測モード
【0096】
三角形予測モード(TPM)の概念は、動き補償予測のために新しい三角形分割を導入することである。図13A、13Bに示すように、CUを対角線または逆対角線方向に2つの三角形予測ユニットに分割する。CUにおける各三角形予測ユニットは、1つの単一予測候補リストから導出された独自の単一予測動きベクトルおよび参照フレームインデックスを使用して、インター予測される。三角形予測ユニットを予測した後、対角エッジに対して適応重み付け処理を行う。そして、CU全体に対して変換および量子化処理を行う。なお、このモードは、マージモード(スキップモードを含む。スキップモードは、特別なマージモードとして扱われる)にのみ適用される。
【0097】
本願において、三角形予測モード(TPM)を、三角形分割モード、三角形予測モード、三角形分割モード、ジオメトリ分割モード、またはジオメトリパーティショニングモードともいう。
【0098】
いくつかの実施形態において、非TPM(非ジオメトリとも称する)マージモードの場合、マージリストへのマージインデックスを信号通知し、複数の正規マージ候補を含むマージリストを、(最大5個の空間的近傍から導出された)空間的マージ候補、時間的マージ候補(TMVP)、HMVP、対の平均化候補、デフォルトマージ候補(いくつかの割り当てられた参照ピクチャを有するゼロMV)として構築する。いくつかの実施形態において、通常のマージ候補は、非ジオメトリ(非TPM)分割モードを使用して符号化された映像のブロックに対して導出された動き候補である。
【0099】
対照的に、TPM符号化ブロックの場合、マージリストへの2つのマージインデックス(予測符号化を伴う)が信号通知される。
【0100】
ある場合では、マージリストは、上述した非TPM分割モードの場合と同様に構築されてもよく、その結果、TPM動き候補が生成される。
【0101】
別の場合において、2つの分割の単一予測の動き情報を選択するために、パリティが使用してもよい。2つの選択されたマージインデックスは、idx0およびidx1と表されてもよい。各マージ候補について、その参照ピクチャリストX=(idx0&idx1)が真である場合、分割の動き情報をマージ候補リストX情報に設定する。そうでない場合、分割の動き情報をマージ候補リストY(Y=1-X)情報に設定する。その結果、単一予測をTPM候補とする最終的な動き情報が得られ、第1の場合の候補は、通常のマージ候補(非TPMモード符号化ブロックについて説明したマージリスト構築処理を使用して生成された)となる。
【0102】
2.2.3.1 TPMの単一予測候補リスト
【0103】
TPM動き候補リストと呼ばれる単一予測候補リストは、5つの単一予測動きベクトル候補からなる。これは、図14に示すように、5つの空間的に近傍のブロック(1~5)および2つの時間的に同じ位置にあるブロック(6~7)を含むCUの7つの近傍のブロックから導出される。単一予測動きベクトル、双予測動きベクトルのL0動きベクトル、双予測動きベクトルのL1動きベクトル、および双予測動きベクトルのL0、L1動きベクトルの平均動きベクトルの順に、7つの近傍のブロックの動きベクトルを収集し、単一予測候補リストに入れる。候補の数が5未満である場合、動きベクトルゼロをリストに加える。このTPMリストに追加された動き候補をTPM候補と呼び、空間的/時間的ブロックから導出された動き情報を正規の動き候補と呼ぶ。
【0104】
具体的には、以下のステップが含まれる。
1)A、B、B、A、B、Col、Col2から正規の動き候補を、プルーニング操作を実行せずに得る(図14のブロック1-7に対応)。
2)変数numCurrMergeCand=0を設定する
3)A、B、B、A、B、Col、Col2、から導出された各正規の動き候補で、numCurrMergeCandが5未満のものに対し、正規の動き候補が単一予測である(List0またはList1のいずれかから)場合、であり、numCurrMergeCandを1だけ増加させたTPM候補としてマージリストに直接加えられる。このようなTPM候補を、「もともと単一予測されている候補」と命名する。
フルプルーニングを適用する。
4)A,B,B,B,A,B,Col,Col2から導出され、numCurrMergeCandが5未満である各動き候補について、正規の動き候補が双予測である場合には、リスト0からの動き情報を新たなTPM候補としてTPMマージリストに追加し(つまり、リスト0からの単一予測となるように修正し)、numCurrMergeCandを1だけ増加させる。このようなTPM候補を、「短縮List0予測候補」と呼ぶ。
フルプルーニングを適用する。
5)A,B,B,B,A,B,Col,Col2から導出され、numCurrMergeCandが5未満である各動き候補について、正規の動き候補が双予測である場合には、リスト1からの動き情報をTPMマージリストに追加し(つまり、リスト1からの単一予測となるように修正し)、numCurrMergeCandを1だけ増加させる。このようなTPM候補を「短縮List1-予測候補」と呼ぶ。
フルプルーニングを適用する。
6)A、B、B、A、B、Col、Col2、から導出され、numCurrMergeCandが5未満である各動き候補について、正規の動き候補が双予測である場合、
-List0参照ピクチャスライスQPがList1参照ピクチャスライスQPよりも小さい場合、List1の動き情報をまずList0参照ピクチャにスケーリングし、2つのMVの平均(一方はオリジナルList0からのもので、他方はList1からのスケーリングされたMV)をTPMマージリストに加える。このような候補を、List0動き候補からの平均単一予測と呼び、numCurrMergeCandを1だけ増加させる。
-そうでない場合、List0の動き情報をまずList1参照ピクチャにスケーリングし、2つのMVの平均(一方はオリジナルList1からのものであり、他方はList0からのスケーリングされたMV)をTPMマージリストに加える。このようなTPM候補を、List1動き候補からの平均単一予測と呼ばれ、numCurrMergeCandを1だけ増加させる。
フルプルーニングを適用する。
7)numCurrMergeCandが5未満である場合、ゼロ動きベクトル候補を加える。
【0105】
2.2.3.2 適応重み付け処理
【0106】
各三角形予測ユニットを予測した後、2つの三角形予測ユニット間の対角エッジに適応重み付け処理を施し、CU全体の最終予測を導出する。2つの重み係数群を以下のように定義する。
・第1の重み係数群は、{7/8,6/8,4/8,2/8,1/8}および{7/8,4/8,1/8}をそれぞれ輝度およびクロミナンスサンプルに用いる。
・第2の重み係数群は、{7/8,6/8,5/8,4/8,3/8,2/8,1/8}および{6/8,4/8,2/8}をそれぞれ輝度および色差サンプルに用いる。
【0107】
2つの三角形予測ユニットの動きベクトルの比較に基づいて、重み係数群を選択する。
第2の重み係数群は、2つの三角形予測ユニットの参照ピクチャが異なる場合、またはその動きベクトルの差が16画素よりも大きい場合に用いられる。そうでない場合、第1の重み係数群を用いる。例を図15A~15Bに示す。
【0108】
2.2.3.3 動きベクトル記憶装置
【0109】
三角形予測ユニットの動きベクトル(図16Aおよび16B中、Mv1、Mv2)は、4×4個のグリッドに記憶される。各4×4グリッドに対して、CUにおける4×4グリッドの位置に基づいて、単一予測または双予測動きベクトルを記憶する。図16A~16Bに示すように、重み付けされていない領域に位置する(すなわち、対角エッジに位置しない)4×4グリッドに対して、Mv1またはMv2のいずれか一方の単一予測動きベクトルを記憶する。一方、重み付け領域に位置する4×4グリッドについては、双予測動きベクトルを記憶する。以下の規則に基づいて、Mv1およびMv2から双予測動きベクトルを導出する。
1)Mv1およびMv2が異なる方向(L0またはL1)の動きベクトルを有する場合、Mv1およびMv2を単に組み合わせることで、双予測動きベクトルが形成される。
2)Mv1とMv2の両方が同じL0(またはL1)方向から来ている場合、
-Mv2の参照ピクチャがL1(またはL0)参照ピクチャリストにおけるピクチャと同じである場合、Mv2はそのピクチャにスケーリングされる。Mv1とスケーリングされたMv2とを組み合わせ、双予測動きベクトルを形成する。
-Mv1の参照ピクチャがL1(またはL0)参照ピクチャリストにおけるピクチャと同じである場合、Mv1はそのピクチャにスケーリングされる。スケーリングされたMv1およびMv2を組み合わせ、双予測動きベクトルを形成する。
-そうでない場合、重み付け領域のためにMv1のみが記憶される。
【0110】
2.2.3.4 三角形予測モード(TPM)の信号通知
【0111】
TPMが使用されているかどうかを示すための1つのビットフラグが、まず信号通知されてもよい。その後、(図13A、13Bに示すような)2つの分割パターン、および2つの分割の各々に対して選択されたマージインデックスをさらに信号通知する。
【0112】
2.2.3.4.1 TPMフラグの信号通知
【0113】
1つの輝度ブロックの幅および高さを、それぞれWおよびHで表す。W*H<64の場合、三角形予測モードは無効になる。
【0114】
1つのブロックをアフィンモードで符号化する場合、三角形予測モードも無効にされる。
【0115】
1つのブロックがマージモードで符号化されるとき、1つのビットフラグを信号通知して、このブロックに対して三角形予測モードが有効とされるか無効とされるかを示すことができる。
【0116】
このフラグは、次式(図17参照)に基づいて、3つのコンテキストで符号化される。
【0117】
Ctx index=((left block L available && L
is coded with TPM?)1:0)
+((Above block A available && A is coded
with TPM?)1:0);
【0118】
2.2.3.4.2 (図13A~13Bに示すような)2つの分割パターンの表示の信号通知、および2つの分割の各々に対する選択されたマージインデックス
【0119】
なお、分割パターンと、2つの分割のマージインデックスとは、互いに符号化される。一例において、2つの分割が同じ参照インデックスを使用できないように制限される。そのため、2つの(分割パターン)*N(マージ候補の最大数)*(N-1)個の可能性があり、Nが5に設定される。1つの表示はコード化され、分割パターン、2つのマージインデックス、コード化された指示の間のマッピングは、以下に定義された配列から導出される。
const uint8_t g_TriangleCombination[TRIANGLE_MAX_NUM_CANDS][3]={{0,1,0},{1,0,1},{1,0,2},{0,0,1},{0,2,0},{1,0,3},{1,0,4},{1,1,0},{0,3,0},{0,4,0},{0,0,2},{0,1,2},{1,1,2},{0,0,4},{0,0,3},{0,1,3},{0,1,4},{1,1,4},{1,1,3},{1,2,1},{1,2,0},{0,2,1},{0,4,3},{1,3,0},{1,3,2},{1,3,4},{1,4,0},{1,3,1},{1,2,3},{1,4,1},{0,4,1},{0,2,3},{1,4,2},{0,3,2},{1,4,3},{0,3,1},{0,2,4},{1,2,4},{0,4,2},{0,3,4}};
【0120】
分割パターン(45°または135°)=g_TriangleCombination[signaled indication][0];
【0121】
候補Aのマージインデックス=g_TriangleCombination[signaled indication];
【0122】
候補Bのマージインデックス=g_TriangleCombination[signaled indication];
【0123】
2つの動き候補A、Bを導出すると、AまたはBのいずれか一方から2つの分割の(PU1、PU2)動き情報を設定することができ、PU1がマージ候補AまたはBの動き情報を使用するかどうかは、2つの動き候補の予測方向に依存する。表1は、2つの分割を有する、2つの導出された動き候補AおよびBの間の関係を示す。
【0124】
【表1】
【0125】
2.2.3.4.3 (merge_triangle_idxで示す)表示のエントロピー符号化
【0126】
merge_triangle_idxは、[0,39](それぞれを含む)の範囲内にある。K-th order Exponential Golomb(EG)コードは、merge_triangle_idxの2値化に使用される(Kは1に設定される)。
【0127】
K-th order EG
【0128】
(より多くのビットを使用してより小さな数を符号化することを犠牲にして)より少ないビットでより大きな数を符号化するため、これは、非負の整数パラメータkを使用して一般化され得る。非負の整数xを次数kのexp-Golombコードで符号化するには、次のようにする。
1.前述のorder-0 exp-Golombコードを使用して[x/2]を符号化する。次に、
2.x mod 2をバイナリでエンコードする。
【0129】
【表2】
【0130】
2.2.3.5 TPMの最近の進展
通常のマージ候補リストは、動きベクトルを余分にプルーニングすることなく、三角形分割マージ予測に再利用される。通常のマージ候補リストにおける各マージ候補について、そのL0またはL1動きベクトルのうちの1つのみを三角形予測に用いる。また、L0対L1の動きベクトルを選択する順番は、そのマージインデックスパリティに基づく。この方式によれば、通常のマージリストをそのまま使用してもよい。
【0131】
一度正規マージリストを構築すると、正規マージ候補リストにおける各マージ候補について、そのL0またはL1動きベクトルのうちの1つのみを三角形予測に用いる。また、L0対L1の動きベクトルを選択する順番は、そのマージインデックスパリティに基づく。具体的には、図18Cに示すように、偶数値インデックスを有する候補の場合、まずそのL0動きベクトルを選択し、三角形予測に使用する。それが利用可能でない場合、そのL1動きベクトルが代わりに使用される。奇数値インデックスを有する候補の場合、まず、そのL1動きベクトルを選択し、これを三角形予測に使用する。それが利用可能でない場合、そのL0動きベクトルが代わりに使用される。図18Cにおいて、各マージインデックスに対応し、まず「x」でマークされた動きベクトルを三角形予測のために選択する。
【0132】
7.3.7.7 データ構文のマージ
【0133】
【表3】
【0134】
2.2.4 重複ブロック動き補償
【0135】
H.263では、以前から重複ブロック動き補償(OBMC)が使用されている。JEMにおいて、H.263とは異なり、OBMCは、CUレベルの構文を使用してオン/オフを切り替えることができる。JEMにおいてOBMCを使用する場合、OBMCは、CUの右下の境界を除くすべての動き補償(MC)ブロック境界に対して行われる。また、輝度およびクロマ成分の両方に適用される。JEMにおいて、1つのMCブロックは1つの符号化ブロックに対応する。CUがサブCUモードで符号化された(サブCUマージ、アフィン、およびFRUCモードを含む)場合、CUの各サブブロックはMCブロックである。均一にCU境界を処理するために、OBMCは、すべてのMCブロック境界に対してサブブロックレベルで実行され、サブブロックサイズは、図18A、18Bに示すように、4×4に等しく設定される。
【0136】
OBMCが現在のサブブロックに適用される場合、現在の動きベクトルの他に、4つの接続された近傍のサブブロックの動きベクトルも、利用可能であり、現在の動きベクトルと同一でない場合には、現在のサブブロックのための予測ブロックを導出するために使用される。複数の動きベクトルに基づくこれらの複数の予測ブロックを組み合わせ、現在のサブブロックの最終予測信号を生成する。
【0137】
近傍のサブブロックの動きベクトルに基づく予測ブロックをP(Nは、近傍の上、下、左、右のサブブロックのインデックス)とし、現在のサブブロックの動きベクトルに基づく予測ブロックをPとする。Pが現在のサブブロックと同じ動き情報を含む近傍のサブブロックの動き情報に基づく場合、OBMCはPから行われない。そうでない場合、PのすべてのサンプルをP内の同じサンプルに加える。すなわち、Pの4つの行/列をPに加える。Pには重み係数{1/4,1/8,1/16,1/32}を用い、Pには重み係数{3/4,7/8,15/16,31/32}を用いる。例外は、小さなMCブロック(すなわち、符号化ブロックの高さまたは幅が4に等しいか、または1つのCUがサブCUモードで符号化された場合)であり、その場合、2つの行/列のPのみがPに追加される。この場合、Pに対して重み係数{1/4,1/8}が使用され、Pに対して重み係数{3/4,7/8}が使用される。垂直(水平)方向に近傍のサブブロックの動きベクトルに基づいて生成されたPに対して、Pの同じ行(列)におけるサンプルを、同じ重み係数でPに加算する。
【0138】
JEMにおいて、サイズが256輝度サンプル以下のCUの場合、CUレベルフラグを信号通知して現在のCUに対してOBMCが適用されているかどうかを示す。サイズが256輝度サンプルよりも大きい、またはAMVPモードで符号化されていないCUの場合、OBMCがデフォルトで適用される。エンコーダにおいて、OBMCがCUに適用される場合、その影響は動き推定ステージ中に考慮される。上側近傍のブロックおよび左側近傍のブロックの動き情報を使用してOBMCにより形成された予測信号は、現在のCUの元の信号の上側および左側の境界を補償するために用いられ、その後、通常の動き推定処理が適用される。
【0139】
2.2.5 局所照明補償
【0140】
局所照明補償(LIC)は、倍率aおよびオフセットbを使用して、照明変化の線形モデルに基づく。そして、各インターモード符号化ユニット(CU)に対して適応的に有効または無効とされる。
【0141】
LICがCUに適用される場合、最小二乗誤差法が使用され、現在のCUの近傍のサンプルおよびそれらに対応する基準サンプルを使用することによって、パラメータaおよびbを導出する。具体的には、図19に示すように、CUのサブサンプリング(2:1のサブサンプリング)された近傍サンプルと、参照ピクチャ内の対応するサンプル(現在のCUまたはサブCUの動き情報によって特定される)とが使用される。ICパラメータは、各予測方向に対して別々に導出され、適用される。
【0142】
CUがマージモードで符号化される場合、LICフラグは、マージモードにおける動き情報のコピーと同様に、近傍のブロックからコピーされ、そうでない場合、ICフラグがCUに信号通知され、LICが適用されるかどうかを示す。
【0143】
1つのピクチャに対してLICが有効化されるとき、1つのCUに対してLICが適用されるかどうかを判定するために、追加のCUレベルRDチェックが必要である。CUのためにLICが有効化される場合、整数画素動き探索および小数画素動き探索のために、SADおよびSATDの代わりに、それぞれ、絶対差の平均除去和(MR-SAD)および絶対アダマール変換差の平均除去和(MR-SATD)が使用される。
【0144】
符号化の複雑性を低減するために、JEMにおいては、以下の符号化方式が適用される。
・現在のピクチャとその参照ピクチャとの間に明瞭な照度変化がない場合、LICはピクチャ全体に対して無効にされる。この状況を識別するために、エンコーダにおいて、現在のピクチャおよび現在のピクチャのすべての参照ピクチャのヒストグラムを計算する。現在のピクチャと現在のピクチャのすべての参照ピクチャとの間のヒストグラム差が所与の閾値よりも小さい場合、現在のピクチャに対してLICを無効化し、そうでない場合、現在のピクチャに対してLICを有効化する。
【0145】
2.2.6 アフィン動き補償予測
【0146】
HEVCにおいて、動き補償予測(MCP)のために並進運動モデルのみが適用される。実際の世界ではあるが、動きには様々な種類があり、例えば、ズームイン/ズームアウト、回転、透視運動、および他の不規則な動きがある。JEMにおいて、簡易アフィン変換動き補償予測が適用される。図20A-20Bに示すように、ブロックのアフィン動きフィールドは、2つの制御点動きベクトルで表される。
【0147】
ブロックの動きベクトルフィールド(MVF)は、以下の式で表される。
【0148】
【数1】
【0149】
6パラメータアフィンの場合、
【0150】
【数2】
【0151】
(v0x,v0y)は、左上隅の制御点の動きベクトルであり、(v1x,v1y)は、右上隅の制御点の動きベクトルであり、(v2x,v2y)は、左下隅の制御点の動きベクトルであり、(x,y)は、現在のブロックにおける左上サンプルに対する代表点の座標を表す。VTMにおいて、代表点をサブブロックの中心位置とする。例えば、現在のブロックにおけるサブブロックの左上の角の左上のサンプルの座標が(xs,ys)である場合、代表点の座標を(xs+2,ys+2)とする。
【0152】
動き補償予測をさらに簡単にするために、サブブロックに基づくアフィン変換予測が適用される。サブブロックのサイズM×Nは、式2のように導出され、MvPreは、動きベクトルの分数精度(JEMでは、1/16)であり、(v2x,v2y)は、式(1)に従って算出された、左下制御点の動きベクトルである。
【0153】
【数3】
【0154】
式(2)によって導出された後、MおよびNは、それぞれwおよびhの除数とするために、必要に応じて下方向に調整されるべきである。
【0155】
各M×N個のサブブロックの動きベクトルを導出するために、図20A~20Bに示すように、式(1)に基づいて、各サブブロックの中心サンプルの動きベクトルを計算し、1/16の分数精度に丸める。次に、2.2.3章に記載の動き補償補間フィルタを適用し、導出された動きベクトルを使用して各サブブロックの予測を生成する。
【0156】
図21は、サブブロックごとのアフィン動きベクトルフィールド(MVF)の例を示す。
【0157】
MCPの後、各サブブロックの高精度動きベクトルを丸め、通常の動きベクトルと同じ精度で保存する。
【0158】
2.2.6.1 AF_INTERモード
【0159】
JEMにおいて、2つのアフィン動きモード、AF_INTERモードおよびAF_MERGEモードがある。幅と高さの両方が8より大きいCUの場合、AF_INTERモードを適用することができる。AF_INTERモードが使用されるかどうかを示すために、ビットストリームにおいてCUレベルのアフィンフラグが信号通知される。このモードでは、近傍のブロックを使用して、動きベクトル対{(v,v)|v={v,v,v},v={v,v}}を有する候補リストを構築する。図22A~22Bに示すように、ブロックA、BまたはCの動きベクトルからvを選択し、近傍のブロックからの動きベクトルを、参照リストおよび近傍のブロックへの参照のPOCと、現在のCUへの参照のPOCと、現在のCUのPOCとの関係に基づいてスケーリングする。そして、近傍のブロックDおよびEからvを選択する方法は類似している。候補リストの数が2未満である場合、AMVP候補の各々を複製した動きベクトル対でリストを埋める。候補リストが2よりも大きい場合、まず、近傍の動きベクトルの整合性(対候補における2つの動きベクトルの類似性)に基づいて候補をソートし、最初の2つの候補のみを保持する。RDコストチェックを使用して、どの動きベクトル対候補を現在のCUの制御点動きベクトル予測(CPMVP)として選択するかを判定する。そして、候補リストにおけるCPMVPの位置を示すインデックスをビットストリームにおいて信号通知する。現在のアフィンCUのCPMVPを判定した後、アフィン動き推定を適用し、制御点動きベクトル(CPMV)を求める。次に、CPMVとCPMVPとの差をビットストリームにおいて信号通知する。
【0160】
図23は、AF_INTERのための動きベクトル予測子MVPの一例を示す。
【0161】
AF_INTERモードにおいて、4/6パラメータアフィンモードが使用される場合、2/3個の制御点が必要であり、従って、図22A、22Bに示すように、これらの制御点のために2/3個のMVDを符号化することが必要である。既存の実装形態において、MVを以下のように導出することが提案され、即ち、mvdおよびmvdはmvdから予測される。
【0162】
【数4】
【0163】
ここでm 、mvd、mvは、それぞれ、図22Bに示すように、左上の画素(i=0)、右上の画素(i=1)、左下の画素(i=2)の予測動きベクトル、動きベクトルの差分、動きベクトルである。なお、2つの動きベクトル(例えば、mvA(xA,yA)およびmvB(xB,yB))の加算は、2つの成分を別々に合計したものに等しく、即ち、newMV=mvA+mvBであり、newMVの2つのコンポーネントをそれぞれ(xA+xB)および(yA+yB)に設定する。
【0164】
2.2.6.2 AF_MERGEモード
【0165】
AF_MERGEモードでCUを適用する場合、CUは、有効な近傍の再構築ブロックから、アフィンモードで符号化された第1のブロックを得る。そして、候補ブロックの選択順は、図24Aに示すように、左、上、右上、左下から左上へとなる。図24Bに示すように、左下近傍のブロックAをアフィンモードで符号化すると、ブロックAを含むCUの左上隅、右上隅、左下隅の動きベクトルv、v、vが導出される。そして、v、v、vに基づいて、現在のCUにおける左上隅の動きベクトルvを算出する。次に、現在のCUの右上の動きベクトルvを算出する。
【0166】
現在のCU v,vのCPMVを導出した後、簡易アフィン動きモデル式1に基づいて、現在のCUのMVFを生成する。現在のCUがAF_MERGEモードで符号化されているかどうかを識別するために、アフィンモードで符号化された近傍のブロックが少なくとも1つある場合、ビットストリーム内にアフィンフラグを信号通知する。
【0167】
いくつかの実装形態において、アフィンマージ候補リストは次のステップを含む。
【0168】
継承されたアフィン候補を挿入する
【0169】
継承されたアフィン候補は、その有効な近傍のアフィン符号化ブロックのアフィン動きモデルからその候補から導出されたことを意味する。共通のベースでは、図24A~24Bに示すように、候補位置のスキャン順序は、A1,B1、B0、A0、B2のようになる。
【0170】
候補を導出した後、フルプルーニング処理を行い、同じ候補がリストに挿入されているかを確認する。同じ候補が存在する場合、導出された候補を廃棄する。
【0171】
構築されたアフィン候補を挿入する
【0172】
アフィンマージ候補リストにおける候補の数がMaxNumAffineCand未満である(この寄与において5に設定される)場合、構築されたアフィン候補を候補リストに挿入する。構築されたアフィン候補は、各制御点の近傍の動き情報を組み合わせることで候補を構築することを意味する。
【0173】
まず、図24A~24Bに示される特定された空間的近傍および時間的近傍から、制御点の動き情報を導出する。CPk(k=1,2,3,4)は、k番目の制御点を表す。A0,A1、A2、B0、B1、B2、B3は、CPk(k=1,2,3)を予測するための空間的位置であり、Tは、CP4を予測するための時間的位置である。
【0174】
CP1、CP2、CP3、CP4の座標は、それぞれ、(0、0)、(W、0)、(H、0)、(W、H)であり、W、Hは、現在のブロックの幅および高さである。
【0175】
図25は、アフィンマージモードの候補位置の例を示す。
【0176】
各制御点の動き情報は、以下の優先順位に従って取得される。
【0177】
CP1の場合、チェックの優先順位はB2→B3→A2である。利用可能であれば、B2を使用する。そうではなく、B2が利用可能である場合、B3が使用される。B2とB3の両方が使用できない場合、A2が使用される。3つの候補のすべてが利用可能でない場合、CP1の動き情報を取得することができない。
【0178】
CP2の場合、チェックの優先順位はB1→B0である。
【0179】
CP3の場合、チェックの優先順位はA1→A0である。
【0180】
CP4にはTを用いる。
【0181】
次に、これらの制御点の組み合わせを使用して、アフィンマージ候補を構築する。
【0182】
6パラメータアフィン候補を構築するためには、3つの制御点の動き情報が必要である。3つの制御点は、以下の4つの組み合わせ({CP1,CP2,CP4},{CP1,CP2,CP3},{CP2,CP3,CP4},{CP1,CP3,CP4})のうち1つを選択することができる。{CP1,CP2,CP3},{CP2,CP3,CP4},{CP1,CP3,CP4}の組み合わせを、左上、右上、左下の制御点で表される6パラメータ動きモデルに変換する。
【0183】
4パラメータアフィン候補を構築するためには、2つの制御点の動き情報が必要である。2つの制御点は、以下の6つの組み合わせ({CP1,CP4}、{CP2,CP3},{CP1,CP2}、{CP2,CP4},{CP1,CP3}、{CP3,CP4})のうち1つを選択することができる。{CP1,CP4}、{CP2,CP3}、{CP2,CP4}、{CP1,CP3}、{CP3,CP4}の組み合わせを、左上および右上の制御点で表される4パラメータ動きモデルに変換する。
【0184】
構築されたアフィン候補の組み合わせを以下の順に候補リストに挿入する。
【0185】
{CP1,CP2,CP3}、{CP1,CP2,CP4}、{CP1,CP3,CP4}、{CP2,CP3,CP4}、{CP1,CP2},{CP1,CP3}、{CP2,CP3}、{CP1,CP4}、{CP2,CP4}、{CP3,CP4}
【0186】
ある組み合わせの参照リストX(Xは0または1)に対して、制御点における使用率が最も高い参照インデックスをリストXの参照インデックスとして選択し、差分参照ピクチャに対する動きベクトルのポイントをスケーリングする。
【0187】
候補を導出した後、フルプルーニング処理を行い、同じ候補がリストに挿入されているかを確認する。同じ候補が存在する場合、導出された候補を廃棄する。
【0188】
動きベクトルがゼロのパディング
【0189】
アフィンマージ候補リストにおける候補の数が5未満である場合、リストが一杯になるまで、参照インデックスがゼロのゼロ動きベクトルを候補リストに挿入する。
【0190】
2.2.7 双方向オプティカルフロー
【0191】
双方向オプティカルフロー(BIO)は、双予測のためにブロック単位の動き補償の上で行われるサンプル単位の動きの改良である。サンプルレベルの動きの改良は、信号通知を使用しない。
【0192】
図26は、オプティカルフローの軌跡の一例を示す。
【0193】
ブロックの動き補償の後、I(k)を基準k(k=0,1)からの輝度値、そして∂I
(k)/∂xと∂I(k)/∂yを、それぞれ、I(k)勾配の水平および垂直方向成分とする。オプティカルフローが有効であると仮定すると、動きベクトルフィールド(v,v)は、次式で与えられる。
【0194】
【数5】
【0195】
このオプティカルフロー方程式と各試料の動き軌跡のエルミート補間を組み合わせると、関数値I(k)と導関数∂I(k)/∂xと∂I(k)/∂yの両方に一致するユニークな3次多項式が得られる。t=0におけるこの多項式の値がBIO予測である。
【0196】
【数6】
【0197】
τおよびτは、図28に示すように、参照フレームまでの距離を示す。距離τおよびτは、Ref0およびRef1のτ=POC(current)-POC(Ref0),τ=POC(Ref1)-POC(current)のPOCに基づいて、算出される。両方の予測が同じ時系列から来たものである場合(両方とも過去から来たものであるか、または両方とも将来から来たものである)、符号が異なっている(例えばτ・τ<0)BIOは、予測が同じ時間的モーメントからのものではない(即ち、τ≠τ)場合にのみ適用され、両方の参照領域は、非ゼロの動き(MVx,MVy,MVx,MVy≠0)を有し、ブロックの動きベクトルは、時間的間隔MVx/MVx=MVy/MVy=-τ/τに比例する。
【0198】
点Aと点Bとの間の値の差Δ(図26における動き軌跡と基準フレーム平面との交差点)を最小にすることで、動きベクトルフィールド(v_x,v_y)を判定する。
モデルは、Δに対してローカルテイラー展開の第1の線形項のみを用いる。
【0199】
【数7】
【0200】
式(5)におけるすべての値は、サンプル位置(i’,j’)に依存し、これまでの表記から省略した。動きがローカル周辺エリアにおいて一貫していると仮定すると、現在の予測点(i,j)を中心とする(2M+1)×(2M+1)個の正方形窓の内側で、Δを最小限に抑える。Mは2に等しい。
【0201】
【数8】
【0202】
この最適化問題に対して、JEMは、まず垂直方向に最小化し、次に水平方向に最小化する簡単なアプローチを使用する。その結果
【0203】
【数9】
【0204】
【数10】
【0205】
ゼロで割るかまたは非常に小さな値になることを回避するために、式(7)および式(8)に正則化パラメータrおよびmを導入する。
【0206】
【数11】
【0207】
dは映像サンプルのビット深さである。
【0208】
BIOのメモリアクセスを通常の二重予測運動き補償と同じにするために、すべての予測値と勾配値であるI(k)、∂I(k)/∂x、∂I(k)/∂yは、現在のブロック内の位置について計算される。式9において、予測ブロックの境界上の現在の予測点を中心とする(2M+1)×(2M+1)個の正方形窓は、ブロックの外側の位置にアクセスする必要がある(図27Aに示す)。JEMでは、ブロック外のI(k)、∂I(k)/∂x、∂I(k)/∂yの値は、ブロック内で最も近い利用可能な値に等しくなるように設定されている。例えば、これは、図27Bに示すように、パディングとして実装されてもよい。
【0209】
BIOを用いることで、サンプルごとに動きフィールドを改良することができる。計算の複雑性を低減するために、JEMではブロックに基づくBIOの設計が用いられている。4×4ブロックに基づいて動きの改良を計算する。ブロックに基づくBIOにおいて、4×4ブロックにおけるすべてのサンプルの、式(9)におけるsの値を統合し、次いで、sの統合した値を使用して、4×4ブロックのためのBIO動きベクトルオフセットを導出する。具体的には、ブロックに基づくBIO導出には、以下の式が用いられる。
【0210】
【数12】
【0211】
は、予測ブロックのk番目の4×4のブロックに属するサンプルのセットを示す。式(7)および式(8)におけるsを((s,b)>>4)に置き換え、関連する動きベクトルオフセットを導出する。
【0212】
場合によっては、BIOのMV管理は、雑音または不規則な動きのために信頼できない場合がある。従って、BIOにおいて、MVレジメンの大きさは閾値thBIOにクリップされる。閾値は、現在のピクチャの参照ピクチャがすべて一方向からのものであるかどうかに基づいて判定される。例えば、現在のピクチャの参照ピクチャが全て一方向からのものであれば、閾値は12×214-dに設定され、そうでなければ12×213-dに設定される。
【0213】
HEVC動き補償処理(2D分離可能FIR)に準拠した演算を使用して、動き補償補間と同時にBIOの勾配を算出する。この2D分離可能FIRの入力は、ブロック動きベクトルの分数部分に基づいて、動き補償処理および端数位置(fracX,fracY)の場合と同じ参照フレームサンプルである。水平勾配∂I/∂x信号を、まずデスケーリングシフトd-8で端数位置fracYに対応するBIOfilterSを使用して垂直に補間するとき、次に、勾配フィルタBIOfilterGを、分数位置fracXに対応する水平方向に18-dだけデスケーリングシフトして適用する。垂直方向勾配∂I/∂yのとき、デスケーリングシフトd-8で分数位置fracYに対応するBIOfilterGを使用して垂直に第1の勾配フィルタを適用し、次に、BIOfilterSを使用して、端数位置fracXに対応する水平方向に18-dだけデスケーリングシフトさせて信号を移動させる。妥当な複雑性を維持するために、勾配計算BIOfilterGおよび信号変位BIOfilterFのための補間フィルタの長さはより短い(6タップ)。表4は、BIOにおけるブロック動きベクトルの異なる分数位置のための勾配計算に使用されるフィルタを示す。表5は、BIOにおける予測信号の生成に用いられる補間フィルタを示す。
【0214】
【表4】
【0215】
【表5】
【0216】
JEMにおいて、2つの予測が異なる参照ピクチャからのものである場合、BIOをすべての双予測ブロックに適用することができる。CUに対してLICが有効になっている場合、BIOは無効になる。
【0217】
JEMにおいて、OBMCは、通常のMC処理の後のブロックに適用される。計算の複雑性を低減するために、OBMC処理中にBIOを適用しない。つまり、BIOは、それ自身のMVを使用する場合、1つのブロックのMC処理において適用され、OBMC処理において近傍のブロックのMVを使用する場合、MC処理においては適用されない。
【0218】
2.2.8 デコーダ側動きベクトル改良
【0219】
バイプレディクション動作では、1つのブロック領域の予測のために、リスト0の動きベクトル(MV)とリスト1の動きベクトル(MV)を使用して形成された双予測ブロックをそれぞれ組み合わせて1つの予測信号を形成する。デコーダ側動きベクトル改良(DMVR)方法において、バイラテラルテンプレートマッチング処理によって、双予測の2つの動きベクトルをさらに改良する。追加の動き情報を送信することなく改良されたMVを得るために、デコーダにおいてバイラテラルテンプレートマッチングを適用し、バイラテラルテンプレートと参照ピクチャにおける再構成サンプルとの間でひずみに基づく検索を行う。
【0220】
DMVRにおいて、図28に示すように、list0の最初のMV0とlist1のMV1とから、それぞれ双予測ブロックの重み付け結合(すなわち、平均)としてバイラテラルテンプレートを生成する。テンプレートマッチング操作は、生成されたテンプレートと参照ピクチャにおけるサンプル領域(最初の予測ブロックの付近)との間のコスト尺度を計算することからなる。2つの参照ピクチャの各々について、テンプレートコストが最小となるMVを、そのリストの更新されたMVと見なし、元のMVに置き換える。JEMにおいて、各リストに対して9つのMV候補を検索する。9つのMV候補は、元のMVと、水平または垂直方向のいずれかまたは両方向に元のMVに対してオフセットしている1つの輝度サンプルを有する8つの周囲のMVを含む。最後に、2つの新しいMV、即ち、MV0’およびMV1’は、図28に示すように、最終的な双予測結果を生成するために使用される。絶対差の合計(SAD)をコスト尺度として使用する。なお、1つの周囲のMVによって生成された予測ブロックのコストを計算する場合、実際のMVの代わりに、丸められたMV(整数画素)を使用して予測ブロックを得る。
【0221】
DMVRは、追加の構文要素を送信することなく、過去の参照ピクチャからの1つのMVと、将来の参照ピクチャからの1つのMVとの間の双予測のマージモードに適用される。JEMにおいて、CUに対してLIC、アフィンの動き、FRUCまたはサブCUマージ候補が有効である場合、DMVRは適用されない。
【0222】
2.2.9 サブブロックマージ候補リスト
【0223】
なお、非サブブロックマージ候補の通常マージリストに加え、すべてのサブブロック関連の動き候補を別個のマージリストに入れることが推薦される。
【0224】
サブブロック関連動き候補を別個のマージリストに入れ、「サブブロックマージ候補リスト」とする。
【0225】
一例において、サブブロックマージ候補リストは、アフィンマージ候補、ATMVP候補、および/またはサブブロックに基づくSTMVP候補を含む。
【0226】
2.2.9.1 アフィンマージリスト構築の他の例
【0227】
この寄与において、通常マージリストにおけるATMVPマージ候補をアフィンマージリストの第1の位置に移動させる。新しいリストにおけるすべてのマージ候補(すなわち、サブブロックに基づくマージ候補リスト)は、サブブロック符号化ツールに基づく。
【0228】
3. 実施形態によって克服される問題の例
【0229】
三角形分割の設計において、1つのブロックを2つの分割に分割することができる。動き補償に起因するメモリ帯域幅を節約するために、2つの分割は単一予測されるべきであることが必要である。動き補償処理中、対角エッジに対して双予測が使用され、他のすべての部分に対して単一予測が使用される。各分割に対して双予測が許可される場合、対角エッジに位置するサンプルは、4つのMVを有し、そのうちの2つは1つの分割からのものであり、2つは別の分割からのものである。このような設計には、以下のような問題がある。
1)単一予測マージリストの設計は、参照ピクチャリストに依存しており、すなわち、参照ピクチャリスト0から参照ピクチャに関連付けられたMVの優先度が高くなるように設計されている。すなわち、すべての単一予測の正規の動き候補から導出されたTPM候補を、すべての双予測の正規の動き候補から導出されたTPM候補の前に挿入する。しかしながら、一般的に、空間的に近傍のブロックの位置は、mv情報の類似性の点でより強い相関を有する。
2)2つの分割は異なるTPM候補インデックスを選択することができるが、2つの分割は現在のブロックの近傍のブロックとの間に異なる相関を有する可能性があるため、両方の分割に対して同じマージ候補リストを利用することは最適ではない。
3)TPM候補の最大数は5に固定され、少なくともソフトウェア設計には使い勝手が悪い。
4)重み係数群は、あらゆる種類のブロックに対して予め規定される。
5)4×4レベルに動き情報を記憶し、メモリ容量を増加させる。それらをどのように圧縮するかは研究すべき問題である。
6)TPM動き情報は、2つの復号化されたマージインデックスのパリティに依存する。偶数値インデックスを有する候補の場合、まずそのL0動きベクトルを選択し、三角形予測に使用する。それが利用可能でない場合、そのL1動きベクトルが代わりに使用される。奇数値インデックスを有する候補の場合、まず、そのL1動きベクトルを選択し、これを三角形予測に使用する。それが利用可能でない場合、そのL0動きベクトルが代わりに使用される。従って、2つの候補が同じ参照ピクチャリストからのものであることが可能である。
【0230】
4. 例示の実施形態
【0231】
提案された方法は、任意の非正方形/非長方形の分割、例えば幾何学的分割に適用されてもよい。以下の説明において、非正方形/非長方形分割モード(TPM)の一例として、「三角形分割モード」を使用し、TPM候補リストに挿入される動きベクトル予測候補を「TPM候補」と呼ぶ。そして、以前に符号化ブロックに関連付けられた動き情報を、
「正規の動き候補」とする。なお、他の種類の分割であってもよい。
【0232】
以下の技術の詳細なリストは、一般的な概念を説明するための例と見なされるべきである。これらの技術は狭い意味で解釈されるべきではない。さらに、これらの技術は、任意の方法で組み合わせることができる。
【0233】
オーダーの異なるTPM候補リスト(AMVP/マージ/その他)構築処理
1.すべての双予測正規の動き候補から導出されたTPM候補の前に、すべての単方向予測の正規の動き候補から導出されたTPM候補を常に挿入するのではなく、予測方向を優先基準として、まずどのTPM候補を追加するかを判定することが提案される。
a.一例において、リストXからの単一予測を伴うすべての正規の動き候補を、リストYからの単一予測を伴うものの前にTPM候補として候補リストに挿入する。
b.一例において、双予測の正規の動き候補から導出されたすべてのTPM候補(例えば、短縮List0-予測候補、短縮List1-予測候補)にはより高い優先順位が与えられ、すなわち、単一予測正規の動き候補から導出されたものの前にTPM候補を挿入することができる。
c.一例において、この順序は、双予測の正規の動き候補のListXから導出されたすべてのTPM候補(例えば、短縮ListX-予測候補)、双予測の正規の動き候補のListYから導出されたすべてのTPM候補(例えば、短縮ListY-予測候補)、単一予測の正規の動き候補から導出されたすべてのTPM候補(例えば、元々は単一予測候補)として定義される。
d.一例において、1つの双予測の正規の動き候補から導出されたTPM候補を、別の双予測の正規の動き候補から導出されたTPM候補の前にリストに加えてもよい。
e.一例において、1つの双予測の正規の動き候補から導出されたTPM候補を、別の双予測の正規の動き候補から導出されたTPM候補とインターリーブ方式で加算してもよい。
i.正規の動き候補C、Cが2つであり、TPM候補が4つである場合、それぞれC、Cから導出された短縮List0/1-予測候補を含む。リストへの追加順序は、以下のように定義されてもよい。Cから導出された短縮List0-予測候補、Cから導出された短縮List1-予測候補、Cから導出された短縮List1-予測候補、Cから導出された短縮List0-予測候補。
ii.代替的に、2つの正規の動き候補C、C、および4つのTPM候補がある場合、それぞれC、Cから導出された短縮List0/1-予測候補を含む。リストへの追加順序は、以下のように定義されてもよい。Cから導出された短縮List1-予測候補、Cから導出された短縮List0-予測候補、Cから導出された短縮List0-予測候補、Cから導出された短縮List1-予測候補。
2.すべての単方向予測正規の動き候補から導出されたTPM候補を、すべての双予測正規の動き候補から導出されたTPM候補の前に常に挿入するのではなく、正規の動き候補に関連付けられた符号化モード情報を優先基準として、まずどのTPM候補を追加するかを判定することが提案される。
a.符号化された情報は、AMVPまたはマージモードを含んでもよい。
i.一例において、1つの正規の動き候補CがブロックAから導出され、別の1つのCがブロックBから導出され、ブロックAがAMVPモードで符号化され、Bがマージモードで符号化される場合、Cから導出されたTPM候補を、Cから導出されたものの前にリストに加えてもよい。代替的に、Cから導出されたTPM候補を、Cから導出されたTPM候補の前にリストに加えてもよい。
b.符号化された情報は、参照インデックスおよび/またはPOC差を含んでもよい。
i.一例において、1つのTPM候補C’が別のTPM候補C’に比べて小さい参照インデックスに関連付けられている場合、C’をC’の前にリストに追加してもよい。
ii.一例において、1つのTPM候補C’が、別のTPM候補C’と比較して、参照ピクチャと現在のピクチャとの間のより小さいPOC距離に関連付けられている場合、C’は、C’の前にリストに追加してもよい。
c.符号化された情報は、参照ピクチャのピクチャ/スライス/タイルグループ量子化パラメータ(QP)および/または参照ピクチャの時間層インデックスを含んでもよい。
i.一例において、1つのTPM候補C’が、別のTPM C’と比較して小さいQPを有する参照ピクチャに関連付けられている場合、C’は、C’の前にリストに追加してもよい。
3.すべての単方向予測正規の動き候補から導出されたTPM候補を、すべての双予測正規の動き候補から導出されたTPM候補の前に常に挿入するのではなく、動き候補が導出された位置を優先基準として、まずどのTPM候補を追加するかを判定することが提案されている。
a.一例において、1つの正規の動き候補CがブロックAから導出され、Aの後に別のCがブロックBから導出され、Bがチェックされた場合、Cから導出されたTPM動き候補を、Cから導出されたものの前にリストに加えてもよい(例えば、Cが単一予測である場合、直接継承するか、またはそれぞれがCに関連付けられた単一予測方向からコピーされた2つのTPM候補)。
b.代替的に、位置および参照ピクチャリスト(または予測方向)の両方を優先基準として使用してもよい。例えば、1つの正規の動き候補CAがブロックAから導出され、別のCBがブロックBから導出され、Aの後にBがチェックされた場合、リストXのCから導出されたTPM動き候補をリストに加えた後、リストXのCから導出されたTPM動き候補をリストに加えてもよい。リストYのCから導出されたTPM動き候補をリストYのCから導出されたものに加えてもよく、Xが0または1に等しく、Yが(1-X)に等しい。
4.短縮List0-予測候補の前に、すべての短縮List1-予測候補を加えることが提案される。
a.代替的に、例えば、利用可能なTPM動き候補に基づいて、短縮List0-予測候補および短縮List1-予測候補の順番を適応的に変更してもよい。
i.一例において、第1のTPM動き候補が、List1からの単一予測を伴う、本来1つの予測された候補である場合、短縮List0-予測候補の前に、トランケートされたList1-予測候補を追加してもよい。
ii.代替的に、元々未予測の候補がList1よりも多い場合、短縮List0-予測候補の前に短縮List1-予測候補を追加してもよい。
b.代替的に、1つの双予測動き候補から導出されたすべてのTPM候補(例えば、1つの短縮List0-予測候補および1つの短縮List0-予測候補)を、別の双予測動き候補から導出されたすべてのTPM候補の前にリストに追加してもよい。
i.代替的に、1つの動き候補から導出されたTPM候補について、それらを加える順番は、リストにおける利用可能なTPM動き候補の情報にさらに依存してもよく、例えば、4.aである。
【0234】
より多くのTPM候補を有するTMP候補リスト(AMVP/マージ/その他)構築処理
5.1つの正規の動き候補から導出されたList0およびList1の動き候補からの複数の平均単一予測を、両方ともTPM動き候補リストに加えてもよい。
a.代替的に、それらのうちの1つのみを追加してもよく、どの1つを追加するかは、リストにおける利用可能なTPM候補の情報、例えば、4.aに依存する。
b.代替的に、2つの予測リストの参照ピクチャインデックスに基づいて、いずれか一方のみを加えるようにしてもよい。より小さい参照ピクチャインデックスに関連付けられた動きベクトルは保持され、最終予測方向がこのような参照ピクチャに関連付けられる。
c.代替的に、これらのうちの1つのみを追加してもよく、いずれを追加するかは、2つの予測リストにおける参照ピクチャと現在のピクチャとの間のPOC距離に依存する。より小さなPOC距離に関連付けられた動きベクトルが保持され、最終的な予測方向がこのような参照ピクチャに関連付けられる。
d.一例において、List0の動き候補からのすべての平均化された単一予測を、List1の動き候補からのすべての平均化された単一予測の前に挿入してもよい。代替的に、List1の動き候補からのすべての平均化された単一予測を、List0の動き候補からのすべての平均化された単一予測の前に挿入してもよい。
6.単一予測の正規の動き候補を使用して平均単一予測TPM候補を導出できるようにすることが提案される。
a.リストLXからの単一予測正規の動き候補を使用して、例えば、双予測正規の動き候補またはリストXからの他の単一予測正規の動き候補を使用して、リストLXの平均化単一予測候補を生成してもよい。
b.リストLXからの単一予測正規の動き候補をまずLY(Y=1-X)にスケーリングし、このスケーリングした動きベクトルを使用して、リストLYの平均化単一予測候補を生成してもよく、例えば、双予測正規の動き候補またはリストXからの他の単一予測正規の動き候補を用いる。
7.また、利用可能なTPM動き候補から導出された仮想TPM動き候補をTPM候補リストに加えてもよい。
a.一例において、特定のステップの後(例えば、短縮List1予測候補を生成した後)、マージリストに追加された仮想候補から仮想候補から導出されてもよい。
b.一例において、仮想候補は、元の単一予測候補のみから導出されてもよい。
c.一例において、仮想候補は、元の単一予測候補および短縮List1予測候補のみから導出されてもよい。
d.一例において、仮想候補は、ある参照ピクチャインデックス(即ち、0に等しい)を有する候補、および/または参照ピクチャと現在のピクチャとの間にある範囲のPOC距離を有する候補、または1つの参照ピクチャリストから導出されてもよい。
e.一例において、仮想候補は、第1のK個のTPM動き候補のみから導出されてもよく、例えば、Kを1に設定する。
i.例えば、2つのTPM動き候補のMVを平均化し、仮想候補を得ることができる。
f.動きベクトルがCmvであり、参照インデックスがCrefidxであるTPM動き候補に対して、以下の方法を使用して仮想ベクトルを導出してもよい。
i.Cmvの水平または垂直成分にオフセットを加え、同じCrefidxを用いる。
ii.Cmvの水平成分および垂直成分の両方にオフセットを加え、同じCrefidxを使用する。
iii.Crefidxが指していない他の参照ピクチャにCmvをスケーリングする。スケーリングされた動きベクトルとCmvをスケーリングした参照ピクチャのインデックスとを使用して、新しいTPM動き候補とする。
g.仮想TPM候補を追加するとき、プルーニングは適用されないことがある。
i.代替的に、仮想TPM候補を生成したものを除いた候補に対してプルーニングを適用してもよい。
【0235】
適応挿入順序を有するTPM候補リスト(AMVP/マージ/その他)構築処理
8.TPM候補の挿入順序(優先順位基準)は、シーケンスからシーケンスへ、ピクチャからピクチャへ、スライスからスライスへ、タイルグループからタイルグループへ、ブロックからブロックへ等々と変更されてもよい。
a.一例において、それは、ブロックサイズ/ブロック形状/分割パターンに依存し得る。
b.代替的に、この順序は、VPS/SPS/PPS/スライスヘッダ/タイルグループヘッダ/タイル/CTU/CUにおいて、エンコーダからデコーダに信号通知されてもよい。
【0236】
TPM符号化ブロックにおける分割のための複数のTPMリスト
9.ジオメトリ分割ごとに、すべての分割に1つのリストを使用する代わりに、1つの別個の動き候補リストを構築してもよい。
a.一例において、1つの分割の場合、その関連付けられた候補リストは、リストXから予測された動き候補のみを含み、他の分割の場合、その関連付けられた候補リストは、リストYから予測された動き候補のみを含み、YはXに等しくない。
b.一例において、異なる空間的ブロックおよび/または時間的ブロックにアクセスして、マージリストに追加されるべき動き候補を導出してもよい。
c.一例において、1つのジオメトリ分割における空間的ブロックおよび/または時間的ブロックの位置は、分割の位置に依存してもよい。
d.一例において、1つのジオメトリ分割における空間的ブロックおよび/または時間的ブロックの位置は、分割方式(左上から右下へ(45度)または右上から左下へ(135度))に依存してもよい。
e.一例において、135度の分割パターン(図13A~13Bに示す)においては、PU1のマージリストを構築するために、より上のブロックをチェックしてもよい。上記ブロック(灰色でマークされている)のいくつかの例を図29に示す。
f.一例において、135度の分割パターン(図13A~13Bに示す)においては、PU2のマージリストを構築するために、より多くの左側のブロックをチェックしてもよい。左ブロック(灰色でマークされている)のいくつかの例を図29に示す。
g.一例において、45°の分割パターン(図13A~13Bに示す)においては、PU1のマージリストを構築するために、より左側のブロックおよびより上側のブロックをチェックしてもよい。左上のブロック(灰色でマークされている)のいくつかの例を図29に示す。
h.一例において、45°の分割パターン(図13A~13Bに示す)においては、PU2のマージリストを構築するために、より多くの時間的ブロックをチェックしてもよい。
i.一例において、TPMリストのインデックスは、分割ごとに信号通知される。
10.複数のTPMリストを構築し、すべての分割で共有することができ、各分割はそれらのうちの1つを選択することができる(例えば、各分割は、複数のTPMリストから同じTPMリストを選択することができる)。
a.一例において、TPMリストのインデックスは、最初に信号通知されてもよい。
次いで、TPM候補のインデックスをさらに信号通知することができる。
b.別の例において、TPMリストのインデックスとTPM候補のインデックスとは、結合して符号化されてもよい。
【0237】
最大許容TPM候補の信号通知
11.マージ/AMVPのための最大許容TPM候補は、SPS/VPS/PPS/ピクチャヘッダ/スライスヘッダ/タイルグループヘッダ/LCUの行/グループにおいて信号通知される。
a.代替的に、最大許容TPM動き候補は、非TPM符号化ブロックに使用されるもの、例えば、非TPMマージ候補リストサイズ、またはサブブロックマージ候補リストサイズに設定される。
b.最大数は、信号通知される時に、単項符号化または切り捨て単項符号化によって2値化される。
c.最大数を直接信号通知する代わりに、(M-最大数)を信号通知してもよく、例えば、M=5または6である。
d.1つのビットフラグを、TPM候補の最大数が正規の動き候補/サブブロック動き候補の最大数と同じであるかどうかを示すように信号通知することができる。
【0238】
重み係数群
12.重み係数群の選択は、現在のブロックの幅および/または高さに依存してもよい。
a.一例において、幅と高さの比が閾値よりも大きい場合、特定の重み係数群(例えば、群1)を選択してもよい。
b.一例において、高さと幅との比が閾値よりも大きい場合、特定の重み係数群(例えば、群1)を選択してもよい。
c.複数の重み係数群のセットを予め規定しておき、ブロックの幅および/または高さが異なる場合、そのうちの1つまたは2つから1つの重み係数群を選択してもよい。
13.サンプルの位置に基づいて、重み係数をオンザフライで変更してもよい。
a.一例において、この角度は、2つの分割を区別するエッジの角度に依存してもよい。
b.一例において、重み係数は、サンプルの位置の関数として定義されてもよい。
c.一例において、1つのTPM符号化ブロックの最終予測ブロックは、(f(x,y)*P1(x,y)+(2-f(x,y))*P2(x,y)+offset)>>Mと設定される。P1,P2は、(x,y)に位置するサンプルの2つの予測値であり、Mは整数値であり、オフセットは(1<<(M-1))に設定でき、f(x,y)は、第1の予測値に適用された重みを戻す係数である。
14.重み付け領域に位置するブロックに対して、メモリ帯域幅を低減するために、4×4レベルの代わりに8×8レベルで動き補償を行う。
a.代替的に、重み付け領域に位置するブロックに対して、メモリ帯域幅を低減するために、4×4レベルの代わりに8×4または4×8レベルで動き補償を行う。
b.代替的に、8×4または4×8に基づく動き補償が許可される場合、8×4または4×8の選択は、以下に依存し得る。
i.ブロックの幅および/または高さ
ii.分割パターン(例えば、45度または135度)。
【0239】
動き情報の記憶装置
15.TPM符号化ブロックを復号化した後、1つまたは複数のHMVPテーブルを更新してもよい。
a.一例において、他の分割の動き情報を除く1つの分割の動き情報に基づいて、1つまたは複数のHMVPテーブルを更新してもよい。
b.一例において、記憶された動き情報に基づいて、重み付けられていない領域を除いた重み付け領域/または重み付けられていない領域から重み付けられた領域を除いた重み付け領域のために、1つまたは複数のHMVPテーブルを更新してもよい。
c.一例において、TPM符号化ブロックスフ動き情報の導出に用いられるマージ候補リストにおける1つのマージ候補に基づいて、1つまたは複数のHMVPテーブルを更新してもよい。
i.一例において、1つのマージ候補は、復号化されたマージインデックスのマージインデックス(例えば、merge_triangle_idx0またはmerge_triangle_idx1)に関連付けられる。
ii.一例において、1つのマージ候補は、kに等しいマージインデックス(例えば、k=0)に関連付けられる。
16.1つの分割のための三角形動き情報の導出処理は、例えば他の分割の予測方向に基づいて、他の分割からの復号化された動き情報に依存してもよい。
d.一例において、merge_triangle_idx0に等しいインデックスを有する1つの復号化された候補のLXとして表される第1の参照ピクチャリストが(例えば、merge_triangle_idx0のパリティおよびLXの可用性に基づいて)選択される。第2の復号化された候補インデックスのパリティにかかわらず、第2の候補のLY(Y=1-X)として示される第2の参照ピクチャリストに関連付けられた動き情報が利用可能である場合、それを三角形分割の動き情報として選択する。以下の説明において、参照ピクチャリストLXまたはLYに関連付けられた動き情報を、LX動き情報またはLY動き情報とも呼ぶ。
i.代替的に、merge_triangle_idx1を有する第2の候補のLY(Y=1-X)動き情報が利用可能でない場合、第2の候補のLX動き情報を代わりに使用してもよい。
ii.代替的に、merge_triangle_idx1を有する第2の候補のLY(Y=1-X)動き情報が利用可能でない場合、第2の候補のLX動き情報を使用してLYの動き情報を導出してもよい。そして、導出されたLY動き情報をTPM符号化に使用してもよい。
1)一例において、この導出処理は、LXにおける参照ピクチャを参照し、LYにおける参照ピクチャを参照する動きベクトルのスケーリングを含んでもよい。
e.一例において、merge_triangle_idx1に等しいインデックスを有する1つの復号化された候補のLXとして表される第1の参照ピクチャリストが選択される(例えば、merge_triangle_idx1のパリティおよびLXの可用性に基づいて)。第2の復号化された候補インデックスのパリティにかかわらず、LY(Y=1-X)動き情報が利用可能である場合、それを三角形分割の動き情報として選択する。
i.代替的に、merge_triangle_idx0を有する候補のLY(Y=1-X)動き情報が利用可能でない場合、LX動き情報を代わりに使用してもよい。
ii.代替的に、merge_triangle_idx0を有する候補のLY(Y=1-X)動き情報が利用できない場合、merge_triangle_idx0を有する候補のLX動き情報を使用してLYの動き情報を導出してもよい。そして、導出されたLY動き情報をTPM符号化に使用してもよい。
1)一例において、この導出処理は、LXにおける参照ピクチャを参照し、LYにおける参照ピクチャを参照する動きベクトルのスケーリングを含んでもよい。
17.複数の三角形分割に対して同じ参照ピクチャリストからの動き情報を使用することは許されない。
f.一例において、1つの適合ビットストリームは、2つの三角形分割が異なる参照ピクチャリストから予測されることを満たすべきである。
g.代替的に、マージインデックスのパリティから動き情報を導出する処理は、例えば、黒丸15に開示される方法を使用して、2つの異なるリストから2つの分割を予測することを常に出力してもよい。
18.動き情報をどのように記憶するか、および/または重み付け領域および/または非重み付け領域のために記憶されるべき動き情報をどのように導出するかは、参照ピクチャリストにおける三角形分割および/または参照ピクチャの動き情報を導出するために利用される三角形分割および/またはマージ候補リストの分割方向および/またはデコードされたマージインデックスに依存してもよい(例えば、全ての参照ピクチャは現在のピクチャと比較してPOC値が小さいまたは大きくない)。
a.一例において、1つの分割のために選択された復号化マージインデックスに関連付けられたマージ候補の動き情報を記憶してもよい。
i.一例において、選択された復号マージインデックスは、復号マージ候補インデックスの1つ、例えば、merge_triangle_idx0またはmerge_triangle_idx1に設定されてもよい。
ii.一例において、選択された復号化マージインデックスは、変数kに設定される。
1)一例において、kは0に設定される。
2)一例において、k番目のマージ候補のすべての情報を継承して記憶してもよい。
3)一例において、k番目のマージ候補の部分情報を継承し、残りの情報を記憶する前に修正してもよい。
(a)一例において、k番目のマージ候補の一般化双予測(GBi)に用いられる重み係数の表示は、継承されなくてもよい。代替的に、TPMが記憶した動き情報に特定のGBi重み付けインデックスを割り当ててもよい(例えば、0)。
(b)一例において、k番目のマージ候補の動きベクトル精度の表示は、継承されなくてもよい。
iii.代替的に、選択された復号化マージインデックスは、分割方向に依存してもよい。
iv.一例において、選択された復号化されたマージインデックスに等しいインデックスを有するマージ候補が双予測である場合、双予測動き情報を記憶してもよい。
v.一例において、選択された復号化されたマージインデックスに等しいインデックスを有するマージ候補が単一予測である場合、単一予測の動き情報を記憶してもよい。
1)代替的に、双予測動き情報を記憶してもよく、記憶された動き情報はマージ候補から導出されてもよい。
vi.代替的に、2つの分割の動き情報に関する関数を記憶してもよい。
1)例えば、2つの分割の動きベクトルの平均を記憶してもよい。
b.一例において、MvInfo1およびMvInfo2が2つの分割の動き情報を示すとすると、MvInfoAにおけるLXからLY(Y=1-X)(Aが1または2)に1つの予測方向を修正することで、仮想双予測動き情報を記憶してもよい。
i.一例において、MvInfoAの動きベクトルおよび参照インデックスは、不変に維持される。
ii.一例において、MvInfoAの参照インデックスは不変に維持され、MvInfoAの動きベクトルは反対の値に設定される。
iii.双予測動き情報は、修正MvInfoAおよび未修正MvInfoB(B=3-Aと共に)を含んでもよい。
iv.一例において、このような修正は、MvInfo1およびMvInfo2の両方が1つの同じ予測方向から来たものである場合にのみ適用されてもよい。
c.一例において、MvInfo1およびMvInfo2が2つの分割の動き情報を示すとすると、動き情報をどのように記憶するかは、現在のピクチャと比較してすべての参照ピクチャのPOC値が小さいか否かを示す低遅延チェックフラグに依存しうる。
i.一例において、以下が順に適用される。
MvInfo1とMvInfo2が異なる参照ピクチャリストである場合、MvInof0とMvInfo1を組み合わせ、双予測動き情報として記憶してもよい。
ii.MvInfo1とMvInfo2が同じLX(X=0または1)方向にある場合、以下が適用されてもよい。
低遅延チェックフラグが真であれば(例えば、全ての参照ピクチャが現在のピクチャに比べてPOC値が小さいか、または大きくない)、予測方向リストをLXからLYに設定してMvInfoA(例えば、A=2)を修正してもよく(Y=1~X)、修正されたMvInfoAと修正されていないMvInfoC(C=3~A)を組み合わせて仮想的な双予測動き情報を形成して記憶する。
そうでない場合、MvInfoB(例えば、B=2)が記憶される。すなわち、単一予測の動き情報が記憶される。
iii.一例において、MvInfo1は、図13AのPU1および図13BのPU1と関連付けられ、MvInfo2は、図13AのPU2および図13BのPU2に関連付けられる。
d.一例において、上記方法は、1つのブロック内の特定のサブブロックの動き情報の記憶に適用されてもよい。
i.一例において、特定のサブブロックは、重み付け領域におけるサブブロックであってもよい。
ii.一例において、特定のサブブロックは、ブロックにおける対角線または反対角線を含むサブブロックであってもよい。
iii.一例において、特定のサブブロックは、ブロックの右下隅にあるサブブロックであってもよい。
iv.一例において、特定のサブブロックは、ブロックの右列または下行にあるサブブロックであってもよい。
v.代替的に、上記方法は、1つのブロック内のすべてのサブブロックの動き情報の記憶に適用されてもよい。
19.TPMモードの場合、ブロック内のあるサブ領域の動き情報は、このサブ領域の再構成のための動き補償処理で使用されるものとは異なっていてもよい。
a.一例において、重み付け領域に位置するMxNサブ領域(例えば、三角形予測モードの現在の符号化ユニットにおける4×4)の場合、動き補償は、双予測として行われてもよいが、双予測のList0またはList1からの1つの動き情報のセットのみが記憶されてもよい。
i.代替的に、重み付け領域に位置するMxNサブ領域(例えば、三角形予測モードの現在の符号化ユニットにおける4×4)の場合、動き補償は、双予測として行われてもよいが、リストXからの単一予測情報のみを記憶してもよく、記憶された情報は、動き補償処理で利用されるリストXからの動き情報とは異なる。
ii.代替的に、重み付け領域に位置するMxNサブ領域(例えば、三角形予測モードの現在の符号化ユニットにおける4×4)の場合、動き補償は、双予測として行われてもよいが、動き補償処理において利用されるものとは異なる(例えば、異なるMVおよび/または異なる参照ピクチャ)双予測情報が記憶されてもよい。
b.一例において、非重み付けエリアに位置するMxNサブ領域(例えば、三角形予測モードの現在の符号化ユニットにおける4×4)の場合、動き補償は、単一予測として行われてもよいが、双予測動き情報が記憶されてもよい。
i.代替的に、非重み付け領域に位置するMxN個のサブ領域(例えば、三角形予測モードの現在の符号化ユニットにおいて4×4)の場合、動き補償は、単一予測として行われてもよいが、単一予測の動き情報が記憶されてもよく、動き補償処理において利用されるものとは異なってもよい。
c.記憶された動き情報は、他のブロックの符号化に利用されてもよい(例えば、近傍のブロックのマージ/AMVPモードにおける空間的動き候補として)。
d.記憶された動き情報は、異なるピクチャにおける将来のブロックを符号化するために利用されてもよい(例えば、時間的動きベクトル候補を導出するために用いられる)。
e.記憶された動き情報は、デブロッキングまたはALF等のインループ処理に利用されてもよい。
f.一例において、ブロック内の第1のサブ領域の動き情報は、第1のサブ領域の再構成の動き補償処理に用いられるものと異なってもよく、一方、ブロック内の第2のサブ領域の動き情報は、第2のサブ領域の再構成の動き補償処理に用いられるものと同じであってもよく、第1のサブ領域と第2のサブ領域とは、三角形予測モードにおいて同じ符号化ユニットであってもよい。
20.重み付け領域に位置するか否かにかかわらず、ブロック全体に対して同じ動き情報のセットを記憶することが提案される。MvInfo1およびMvInfo2が、2つの分割の動き情報をそれぞれ示す(例えば、復号化された/導出された2つのマージ候補インデックスに基づいて)。
a.一例において、単一予測の動き情報(例えば、2つの分割のうちの1つの分割から継承する、または2つの分割の動き情報から導出される)が記憶されてもよい。
i.一例において、MvInfo1は、ブロック全体に対して記憶されてもよい。
1.一例において、MvInfo1は、ブロック内のすべてのサブ領域に対して記憶されてもよい。
ii.一例において、MvInfo2は、ブロック全体に対して記憶されてもよい。
1.一例において、MvInfo1は、ブロック内のすべてのサブ領域に対して記憶されてもよい。
iii.一例において、どの分割の動き情報を記憶するかは、現在のピクチャとの間のPOC距離に依存してもよい。
1.例えば、MvInfo1が参照する現在のピクチャと参照ピクチャとの間のPOC距離の絶対値が、MvInfo2が参照する現在のピクチャと参照ピクチャとの間の値よりも小さい場合、MvInfo1を記憶してもよい。
iv.一例において、どの分割の動き情報を記憶するかは、参照ピクチャのQPに依存しうる。
1.例えば、MvInfo1は、MvInfo1が参照する参照ピクチャのQPが、MvInfo2が参照する参照ピクチャの値よりも小さいことを記憶してもよい。
v.一例において、どの分割の動き情報を記憶するかは、参照ピクチャの参照インデックスに依存してもよい。
1.例えば、MvInfo1は、MvInfo1が参照する参照ピクチャのQPが、MvInfo2が参照する参照ピクチャの値よりも小さいことを記憶してもよい。
2.例えば、MvInfo1が参照する参照ピクチャの参照インデックスが、MvInfo2が参照する参照ピクチャの値よりも小さい場合、MvInfo1を記憶してもよい。
vi.一例において、どの分割の動き情報を記憶するかは、1つの分割に関連付けられたマージインデックスに依存してもよい。
1.例えば、MvInfo1から導出された関連付けられたマージインデックスがMvInfo2から導出されたものよりも小さい場合、MvInfo1を記憶してもよい。
2.例えば、merge_triangle_idx0がmerge_triangle_idx1より小さい場合、merge_triangle_idx0から導出された動き情報を記憶してもよい。
vii.一例において、MvInfo1およびMvInfo2から導出された第3の動き情報のセット(MvInfo3と表される)が記憶されてもよい。
1.一例において、MvInfo3のMVは、MvInof1およびMvInfo2の2つのMVの平均として導出されてもよく、またはMvnof1およびMvInfo2の一方のMVからのスケーリングされたまたはマッピングされた動きベクトルとして導出され、他方のMVを平均してMvInfo3のMVを生成してもよい。
2.一例において、MvInfo3の参照ピクチャは、MvInof1およびMvInfo2の2つの参照ピクチャのうちの1つであってもよい。
viii.一例において、MvInfoX(Xは0または1)における1つの動きベクトルを、MvInfoY(Yは1-X)における参照ピクチャに対してスケーリングし、次に、それを使用して記憶されるべき動き情報を導出してもよい。
1.一例において、スケーリングされたMvInfo1およびMvInfo2は、黒丸viiに規定されるような、記憶されるべき動き情報を導出するために用いられてもよい。
ix.上記方法は、重み付け領域に位置するサブ領域にのみ適用可能である。
1.代替的に、上記方法は、重み付けされていない領域に位置するサブ領域にのみ適用可能であってもよい。
2.代替的に、上記方法は、重み付け領域に位置する特定のサブ領域にのみ適用可能であってもよい。
a.例えば、重み付け領域に位置する右上および/または左下のサブ領域に適用されてもよい。
b.例えば、重み付け領域に位置する左上および/または右下のサブ領域に適用されてもよい。
c.どのサブ領域を適用するかは、分割方向に依存してもよい。
b.一例において、MvInfo1およびMvInfo2から双予測動きベクトルを導出し、記憶する。
i.MvInfo1およびMvInfo2が異なる方向(L0またはL1)の動きベクトルを有する場合、MvInfo1およびMvInfo2を簡単に組み合わせて双予測動きベクトルを形成する。
ii.MvInfo1とMvInfo2の両方が同じLX(X=0または1)方向から来ている場合、
1.LXのために記憶されたMVは、MvInfo1およびMvInfo2の1つの動きベクトルから、またはそれらの2つから(例えば、平均化によって)導出されてもよい。
2.MvInfo1またはMvInfo2という参照ピクチャがLY(Y=1-X)に含まれている場合、MvInfo1とMvInfo2とを簡単に組み合わせ、双予測動きベクトルを形成し、予測方向の1つをLYに設定する。
3.1つの動きベクトルをLY(Y=1-X)における参照ピクチャにスケーリングし、スケーリングされたMVおよび他のMVを組み合わせて双予測動きベクトルを形成することができる。一例において、スケーリングされたMVが参照するLYにおけるオブジェクト参照ピクチャは、予め規定されてもよく(例えば、参照ピクチャインデックスが0に等しい)、または信号通知されてもよい。
4.1つの動きベクトルをLY(Y=1-X)における参照ピクチャにマッピングし、マッピングされたMVおよび他のMVを組み合わせて双予測動きベクトルを形成することができる。一例において、マッピングされたMVが参照するLYにおけるオブジェクト参照ピクチャは、予め規定されてもよく(例えば、参照ピクチャインデックスが0に等しい)、または信号通知されてもよい。一例において、マッピング処理は、スケーリングせずに行われてもよい。例えば、マッピングされたMVは、元のMVと等しいかまたは反対であってもよい。
i.上記方法は、重み付け領域に位置するサブ領域にのみ適用可能である。
1)代替的に、上記方法は、重み付けられていない領域に位置するサブ領域にのみ適用可能であってもよい。
2)代替的に、上記方法は、重み付け領域に位置する特定のサブ領域にのみ適用可能であってもよい。
(a)例えば、重み付け領域に位置する右上および/または左下のサブ領域に適用されてもよい。
(b)例えば、重み付け領域に位置する左上および/または右下のサブ領域に適用されてもよい。
(c)どのサブ領域を適用するかは、分割方向に依存してもよい。
c.単一または双予測動き情報を記憶するかまたは双予測動き情報を記憶するかは、2つの分割の復号化された動き情報に依存し得る。
i.一例において、MvInfo1およびMvInfo2の両方が同じLX参照リストに含まれている場合、単一予測の動き情報を記憶してもよい。
ii.一例において、MvInfo1およびMvInfo2が異なる参照リスト(L0からの1つおよびL1からの他の1つ)からのものである場合、双予測動き情報を記憶してもよい。
iii.一例において、MvInfo1およびMvInfo2の両方が同じLX参照リストに含まれているが、MvInfo1またはMvInfo2が参照する参照ピクチャのうち少なくとも1つが他の参照リストLY(Y=1-X)に含まれている場合、双予測動き情報を記憶してもよい。
d.代替的に、動き情報の記憶は、依然として、1つのサブブロックが重み付け領域に位置するかどうかに基づいて行われる。重み付け領域に位置するものについて、記憶された動き情報は、以下の規則に従って導出される。
i.一例において、MvInfo1およびMvInfo2が同じLX(X=0または1)方向からのものである場合、
1.MvInfo1またはMvInfo2のいずれか一方の参照ピクチャがLY(Y=1-X)に含まれている場合、MvInfo1およびMvInfo2を簡単に結合して双予測動きベクトルを形成し、予測方向の1つをLYに設定する。
2.1つの動きベクトルをLY(Y=1-X)における参照ピクチャにスケーリングし、スケーリングされたMVおよび他のMVを組み合わせて双予測動きベクトルを形成することができる。一例において、スケーリングされたMVが参照するLYにおけるオブジェクト参照ピクチャは、予め規定されてもよく(例えば、参照ピクチャインデックスが0に等しい)、または信号通知されてもよい。
3.1つの動きベクトルをLY(Y=1-X)における参照ピクチャにマッピングし、マッピングされたMVおよび他のMVを組み合わせて双予測動きベクトルを形成することができる。一例において、マッピングされたMVが参照するLYにおけるオブジェクト参照ピクチャは、予め規定されてもよく(例えば、参照ピクチャインデックスが0に等しい)、または信号通知されてもよい。一例において、マッピング処理は、スケーリングせずに行われてもよい。例えば、マッピングされたMVは、元のMVと等しいかまたは反対であってもよい。
ii.一例において、MvInfo1およびMvInfo2が同じLX(X=0または1)方向からのものである場合、MvInfo1またはMvInfo2のいずれかが記憶される。すなわち、単一予測動きベクトルを記憶する。
iii.一例において、MvInfo1およびMvInfo2が同じLX(X=0または1)方向からのものである場合、一方の動きベクトルを他方の参照ピクチャに対してスケーリングし、スケーリングされた動きベクトルと他方の動きベクトルとの平均または重み付け平均を記憶してもよい。
iv.一例において、MvInfo1およびMvInfo2が同じLX(X=0または1)方向からのものであり、2つの動きベクトルの平均または重み付け平均を記憶してもよい場合、参照ピクチャは、MvInof1およびMvInfo2の2つの参照ピクチャのうちの1つであってもよい。
v.一例において、ブロック全体のために記憶された動き情報は、各サブブロックにおける動き情報から導出されてもよい。例えば、すべてのまたは一部のサブブロックにおけるMVを重み付け加算し、ブロック全体の記憶されたMVを導出する。
vi.上記の例では、異なるサブ領域は、異なる動き情報を記憶してもよい。
vii.上記の例では、重み付けエリアにおけるサブ領域は、ユニ予測動き情報または双予測動き情報を記憶してもよい。
e.代替的に、動き情報の記憶は、依然としてサブブロックの位置に基づく。しかしながら、各サブブロックに対して、単一予測の動き情報のみが記憶されてもよい。
i.一例において、重み付け領域におけるサブ領域の動き情報は、MvInfo1および/またはMvInfo2に継承されてもよいし、またはMvInfo1および/またはMvInfo2から導出されてもよく、MvInfo2が記憶されてもよい。
f.一例において、記憶された動き情報は、一部のモジュールにおいてのみ使用される。
i.一例において、記憶された動き情報は、時間的動き予測に用いられる。
ii.代替的に、記憶された動き情報は、空間的動き予測に用いられる。
iii.代替的に、記憶された動き情報は、フィルタリング(例えば、デブロッキング)処理に用いられる。
g.一例において、記憶された動き情報は、ブロックの動き補償処理において用いられてもよい。
h.一例において、記憶された動き情報に基づいて、1つまたは複数のHMVPテーブルを更新してもよい。
21.動き情報の記憶は、MxNブロック単位(MおよびNは、同時に4に等しいことができた)に基づくことが提案される。各MxNブロックは、同じ動き情報を共有する。
a.一例において、MおよびNは8に設定される。
b.一例において、MxNブロックの場合、その一部が重み付け領域に属する場合、その一部は非重み付け領域に属し、このようなブロックは、動きベクトル記憶装置のための重み付け領域の規則に従う。
c.代替的に、MxNブロックの場合、その第1の部分が重み付け領域に属するが、その第2の部分が非重み付け領域に属する場合、このようなブロックは、非重み付け領域の規則に従い、動き情報を記憶してもよい。
22.同じ参照ピクチャから2つの分割に対してTPMを予測することを有効にするかまたは無効にするかは、2つの分割の動きベクトルが十分に異なるような条件下にあることができる。
a.一例において、2つの分割の参照サンプルは重複してはならない。
b.一例において、abs(MV0[0]-MV1[0])はTHよりも小さく、MV0およびMV1は、2つの分割の動きベクトルであり、MVX[0]およびMVX[1]は、それぞれMVXの水平および垂直成分である。関数abs(x)はxの絶対値を返す。
c.一例において、abs(MV0[1]-MV1[1])は、THよりも小さい。
d.一例において、abs(MV0[0]-MV1[0])+abs(MV0[1]-MV1[1])は、THよりも小さい。
e.一例において、Max(abs(MV0[0]-MV1[0]),abs(MV0[1]-MV1[1])は、THよりも小さくなければならず、関数Max(x,y)は、xおよびyのうちの大きい方を返す。
f.1つの適合ビットストリームは、1つのブロックに対してTPMが有効にされた場合、1つ以上の前述の黒丸が真であることを満たす。
23.開示される方法において、記憶された動き情報は、現在のピクチャまたは他の復号対象のピクチャにおける、後続の復号対象のブロックの動き情報を予測するために用いられてもよい。
a.記憶された動き情報は、以下を含んでもよい。
vii.動きベクトル
viii.参照インデックス
ix.単一予測または双予測の表示
x.インター予測方向の表示
xi.一般化双予測(GBi)の表示
xii.動きベクトルの解像度
xiii.アフィン予測の表示
【0240】
5. 開示される技術の例示的な実施形態
5.1 実施形態#1
三角形マージモードにおける動きベクトル記憶処理
現在の符号化ブロックにおける水平および垂直方向の4×4ブロックの数を指定する変数numSbXおよびnumSbYは、numSbX=cbWidth>>2およびnumSbY=cbHeight>>2に等しい。
cbWidthおよびcbHeighは、輝度サンプルにおける現在の符号化ブロックの幅および高さを特定する。
変数minSbは、min(numSbX,numSbY)-1に等しく設定される。
変数cbRatioは、以下のように導出される。
cbRatio=(cbWidth>cbHeight)?(cbWidth/cbHeight):(cbHeight/cbWidth)サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
-変数xIdxおよびyIdxは、以下のように導出される。
xIdx=(cbWidth>cbHeight)?(xSbIdx/cbRatio):xSbIdx
yIdx=(cbWidth>cbHeight)?ySbIdx:(ySbIdx/cbRatio)
-変数sTypeは、以下のように導出される。
-triangleDirが0に等しい場合、以下が適用される。
sType=(xIdx==yIdx)?2:((xIdx>yIdx)?0:1)
-そうでない場合(triangleDir=1)、以下が適用される。
sType=(xIdx+yIdx==minSb)?2:((xIdx+yIdx<minSb)?0:1)
triangleDirは、分割の方向を指定する。
図30A~30Cに示すように、sType=0はP1領域に対応し、sType=1はP2領域に対応し、sType=2は重み付け領域に対応する。
P1領域の動き情報を(Mv1,refIdx1)とし、P2領域の動き情報を(Mv2,refIdx2)とする。
-sTypeの値によって、以下の割り当てが行われる。
-sTypeが0に等しい場合、4×4サブブロックの動き情報は、(Mv1,refIdx1)である。
-そうではなく、sTypeが1に等しいかまたはsTypeが2に等しい場合、且つMv1およびMv2の両方が同じ参照リストからのものであり、且つ現在のブロックが後方参照ピクチャを有するスライス内に位置する(slice.getCheckLDC()が偽である)場合、4×4サブブロックの動き情報は、(Mv2,refIdx2)である。
-そうでない場合(sTypeが2に等しい)、以下が適用される。
refIdxL0=(predListFlagA==0)?refIdx1:refIdx2
refIdxL1=(predListFlagA==0)?refIdx2:refIdx1
mvL0=(predListFlagA==0)?Mv1:Mv2
mvL1=(predListFlagA==0)?Mv2:Mv1
predListFlagAは、P1領域の予測リストフラグである。
5.2 実施形態#2
サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
-sTypeの値によって、以下の割り当てが行われる。
-sTypeが0に等しい場合、4×4サブブロックの動き情報は、(Mv1,refIdx1)である。
-そうではなく、sTypeが1に等しい場合、4×4サブブロックの動き情報は、(Mv2,refIdx2)である。
-そうでない場合(sTypeが2に等しい)、以下が適用される。
refIdxL0=(predListFlagA==0)?refIdx1:refIdx2
refIdxL1=(predListFlagA==0)?refIdx2:refIdx1
mvL0=(predListFlagA==0)?Mv1:Mv2
mvL1=(predListFlagA==0)?Mv2:Mv1
predListFlagAは、P1領域の予測リストフラグである。
5.3 実施形態#3
サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
-sTypeの値によって、以下の割り当てが行われる。
-sTypeが0に等しい場合、4×4サブブロックの動き情報は、(Mv1,refIdx1)である。
-そうではなく、sTypeが1に等しいかまたはsTypeが2に等しく、且つMv1およびMv2の両方が同じ参照リストからのものである場合、4×4サブブロックの動き情報は(Mv2,refIdx2)である。
-そうでない場合(sTypeが2に等しい)、以下が適用される。
-Mv1とMv2が異なる参照リストからのものである場合
refIdxL0=(predListFlagA==0)?refIdx1:refIdx2
refIdxL1=(predListFlagA==0)?refIdx2:refIdx1
mvL0=(predListFlagA==0)?Mv1:Mv2
mvL1=(predListFlagA==0)?Mv2:Mv1
predListFlagAは、P1領域の予測リストフラグである。
5.4 実施形態#4
サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
-sTypeの値によって、以下の割り当てが行われる。
-sTypeが0に等しいかまたはsTypeが2に等しい場合、且つMv1およびMv2の両方が同じ参照リストからのものであり、且つ現在のブロックが後方参照ピクチャを有するスライス内に位置する(slice.getCheckLDC()が偽である)場合、4×4サブブロックの動き情報は、(Mv1,refIdx1)である。
-そうではなく、sTypeが1に等しい場合、4×4サブブロックの動き情報は、(Mv2,refIdx2)である。
-そうでない場合(sTypeが2に等しい)、以下が適用される。
refIdxL0=(predListFlagA==0)?refIdx1:refIdx2
refIdxL1=(predListFlagA==0)?refIdx2:refIdx1
mvL0=(predListFlagA==0)?Mv1:Mv2
mvL1=(predListFlagA==0)?Mv2:Mv1
predListFlagAは、P1領域の予測リストフラグである。
5.5 実施形態#5
サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
-sTypeの値によって、以下の割り当てが行われる。
-sTypeが0に等しいか、またはsTypeが2に等しい場合、且つMv1およびMv2の両方が同じ参照リストからのものである場合、4×4サブブロックの動き情報は、(Mv1,refIdx1)である。
-そうではなく、sTypeが1に等しい場合、4×4サブブロックの動き情報は、(Mv2,refIdx2)である。
-そうでない場合(sTypeが2に等しい)、以下が適用される。
-Mv1とMv2が異なる参照リストからのものである場合
refIdxL0=(predListFlagA==0)?refIdx1:refIdx2
refIdxL1=(predListFlagA==0)?refIdx2:refIdx1
mvL0=(predListFlagA==0)?Mv1:Mv2
mvL1=(predListFlagA==0)?Mv2:Mv1
predListFlagAは、P1領域の予測リストフラグである。
5.6 実施形態#6
サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
-sTypeの値によって、以下の割り当てが行われる。
-sTypeが0に等しい場合、4×4サブブロックの動き情報は、(Mv1,refIdx1)である。
-そうではなく、sTypeが1に等しい場合、4×4サブブロックの動き情報は、(Mv2,refIdx2)である。
-そうでない場合(sTypeが2に等しい)、以下が適用される。
-Mv1とMv2が異なる参照リストからのものである場合
refIdxL0=(predListFlagA==0)?refIdx1:refIdx2
refIdxL1=(predListFlagA==0)?refIdx2:refIdx1
mvL0=(predListFlagA==0)?Mv1:Mv2
mvL1=(predListFlagA==0)?Mv2:Mv1
predListFlagAは、P1領域の予測リストフラグである。
-そうでない場合、4×4サブブロックの動き情報は、((Mv1+Mv2)/2,refIdx1)である。
5.7 実施形態#7
サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
-sTypeの値によって、以下の割り当てが行われる。
-sTypeが0に等しい場合、4×4サブブロックの動き情報は、(Mv1,refIdx1)である。
-そうではなく、sTypeが1に等しい場合、4×4サブブロックの動き情報は、(Mv2,refIdx2)である。
-そうでない場合(sTypeが2に等しい)、4×4サブブロックの動き情報は、merge_triangle_idx0に対応する元のマージ候補の動きである。
5.8 実施形態#8
サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
-sTypeの値によって、以下の割り当てが行われる。
-sTypeが0に等しいか、またはsTypeが2に等しい場合、およびMv1とMv2の両方が同じ参照リストからのものであり、且つtriangleDirが0に等しく、ySbIdx<numSbY-1,4×4サブブロックの動き情報は、(Mv1,refIdx1)である。
-そうではなく、sTypeが1に等しいかまたはsTypeが2に等しく、且つMv1およびMv2の両方が同じ参照リストからのものであり、且つ(triangleDirが0に等しく、ySbIdx=numSbY-1またはtriangleDirが1に等しい)である場合、4×4サブブロックの動き情報は、(Mv2,refIdx2)である。
-そうでない場合(sTypeが2に等しい)、以下が適用される。
-Mv1とMv2が異なる参照リストからのものである場合
refIdxL0=(predListFlagA==0)?refIdx1:refIdx2
refIdxL1=(predListFlagA==0)?refIdx2:refIdx1
mvL0=(predListFlagA==0)?Mv1:Mv2
mvL1=(predListFlagA==0)?Mv2:Mv1
predListFlagAは、P1領域の予測リストフラグである。
5.9 実施形態#9
サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
-Mv1とMv2の両方が同じ参照リストからのものであり、且つ現在のブロックが後方参照ピクチャを有するスライス内に位置する(slice.getCheckLDC()が偽である)場合、4×4サブブロックの動き情報は、(Mv2,refIdx2)である。
-そうでない場合、以下が適用される。
refIdxL0=(predListFlagA==0)?refIdx1:refIdx2
refIdxL1=(predListFlagA==0)?refIdx2:refIdx1
mvL0=(predListFlagA==0)?Mv1:Mv2
mvL1=(predListFlagA==0)?Mv2:Mv1
predListFlagAは、P1領域の予測リストフラグである。
5.10 実施形態#10
サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
refIdxL0=(predListFlagA==0)?refIdx1:refIdx2
refIdxL1=(predListFlagA==0)?refIdx2:refIdx1
mvL0=(predListFlagA==0)?Mv1:Mv2
mvL1=(predListFlagA==0)?Mv2:Mv1
predListFlagAは、P1領域の予測リストフラグである。
5.11 実施形態#11
サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
-Mv1とMv2の両方が同じ参照リストからのものである場合、4×4サブブロックの動き情報は、(Mv2,refIdx2)である。
-そうでない場合、以下が適用される。
refIdxL0=(predListFlagA==0)?refIdx1:refIdx2
refIdxL1=(predListFlagA==0)?refIdx2:refIdx1
mvL0=(predListFlagA==0)?Mv1:Mv2
mvL1=(predListFlagA==0)?Mv2:Mv1
predListFlagAは、P1領域の予測リストフラグである。
5.12 実施形態#12
サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
-Mv1とMv2の両方が同じ参照リストからのものであり、且つ現在のブロックが後方参照ピクチャを有するスライス内に位置する(slice.getCheckLDC()が偽である)場合、4×4サブブロックの動き情報は、(Mv1,refIdx1)である。
-そうでない場合、以下が適用される。
refIdxL0=(predListFlagA==0)?refIdx1:refIdx2
refIdxL1=(predListFlagA==0)?refIdx2:refIdx1
mvL0=(predListFlagA==0)?Mv1:Mv2
mvL1=(predListFlagA==0)?Mv2:Mv1
predListFlagAは、P1領域の予測リストフラグである。
5.13 実施形態#13
サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
-Mv1とMv2の両方が同じ参照リストからのものである場合、4×4サブブロックの動き情報は、(Mv1,refIdx1)である。
-そうでない場合、以下が適用される。
-Mv1とMv2が異なる参照リストからのものである場合
refIdxL0=(predListFlagA==0)?refIdx1:refIdx2
refIdxL1=(predListFlagA==0)?refIdx2:refIdx1
mvL0=(predListFlagA==0)?Mv1:Mv2
mvL1=(predListFlagA==0)?Mv2:Mv1
predListFlagAは、P1領域の予測リストフラグである。
5.14 実施形態#14
サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
-Mv1とMv2が異なる参照リストからのものである場合
refIdxL0=(predListFlagA==0)?refIdx1:refIdx2
refIdxL1=(predListFlagA==0)?refIdx2:refIdx1
mvL0=(predListFlagA==0)?Mv1:Mv2
mvL1=(predListFlagA==0)?Mv2:Mv1
predListFlagAは、P1領域の予測リストフラグである。
-そうでない場合、4×4サブブロックの動き情報は、((Mv1+Mv2)/2,refIdx1)である。
5.15 実施形態#15
xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1であるサブブロックインデックス(xSbIdx,ySbIdx)の各4×4サブブロックごとに、4×4サブブロックの動き情報は、merge_triangle_idx0に対応する元のマージ候補の動きである。
5.16 実施形態#16
サブブロックインデックス(xSbIdx,ySbIdx)で、xSbIdx=0..numSbX-1、およびySbIdx=0..numSbY-1の各4×4サブブロックについて、以下が適用される。
-Mv1とMv2の両方が同じ参照リストからのものであり、且つtriangleDirが0に等しく、ySbIdx<numSbY-1の場合、4×4サブブロックの動き情報は、(Mv1,refIdx1)である。
-そうではなく、Mv1およびMv2の両方が同じ参照リストからのものである(triangleDirが0に等しく、ySbIdx=numSbY-1またはtriangleDirが1に等しい)場合、4×4サブブロックの動き情報は(Mv2,refIdx2)である。
-そうでない場合、以下が適用される。
refIdxL0=(predListFlagA==0)?refIdx1:refIdx2
refIdxL1=(predListFlagA==0)?refIdx2:refIdx1
mvL0=(predListFlagA==0)?Mv1:Mv2
mvL1=(predListFlagA==0)?Mv2:Mv1
predListFlagAは、P1領域の予測リストフラグである。
【0241】
図31は、映像処理方法3100のフローチャートである。方法3100は、工程3102において、現在の映像ブロックと映像のビットストリーム表現との間で変換するために、動き候補を動き候補リストに挿入する順序を、優先規則に基づいて決定することを含み、現在のブロックは、ジオメトリ分割モード(geometry partition mode)を使用して符号化される。
【0242】
方法3100は、工程3104において、決定および動き候補リストに基づいて変換を行うことを含む。
【0243】
図32は、映像処理方法3200のフローチャートである。方法3200は、工程3202において、現在の映像ブロックと映像のビットストリーム表現との間で変換するための動き候補リストに、1つの正規の動き候補から導出されたList0およびList1からの1つ以上の平均化された単一予測動き候補を挿入することを含み、現在のブロックは、ジオメトリ分割モードを使用して符号化される。
【0244】
方法3200は、工程3204において、動き候補リストに基づいて変換を行うことを含む。
【0245】
図33は、映像処理方法3300のフローチャートである。方法3300は、工程3302において、現在の映像ブロックと映像のビットストリーム表現との間で変換するための動き候補リストに、単一予測を有する正規の動き候補から導出された単一予測を有する1つ以上の平均化動き候補を挿入することを含み、現在のブロックは、ジオメトリ分割モードを使用して符号化される。
【0246】
方法3300は、工程3304において、動き候補リストに基づいて変換を行うことを含む。
【0247】
図34は、映像処理方法3400のフローチャートである。方法3400は、工程3402において、現在の映像ブロックと映像のビットストリーム表現との間で変換するための動き候補リストに、利用可能な動き候補から導出された1つ以上の仮想動き候補を挿入することを含み、現在のブロックは、ジオメトリ分割モードを使用して符号化される。
【0248】
方法3400は、工程3404において、動き候補リストに基づいて変換を行うことを含む。
【0249】
図35は、映像処理方法3500のフローチャートである。方法3500は、工程3502において、優先規則に基づいて、ジオメトリ分割モード使用して符号化された現在の映像ブロックと映像のビットストリーム表現との間で変換を行うために、動き候補を動き候補リストに挿入する順序を決定することであって、この優先規則は、複数の動き候補のうちの1つの動き候補を導出する位置またはこの動き候補に関連付けられた1つ以上の参照ピクチャリストに基づく、決定することを含む。
【0250】
方法3500は、工程3504において、決定および動き候補リストに基づいて、変換を行うことを含む。
【0251】
図36は、映像処理方法3600のフローチャートである。方法3600は、工程3602において、現在の映像ブロックと映像のビットストリーム表現との間で変換するために、動き候補を動き候補リストに挿入する順序を優先規則に基づいて決定することを含み、現在のブロックは、ジオメトリ分割モードを使用して符号化され、順番または挿入は、シーケンス間、ピクチャ間、スライス間、タイルグループ間、または現在のブロックから映像の次のブロックに亘って変更可能である。
【0252】
方法3600は、工程3604において、決定および動き候補リストに基づいて、変換を行うことを含む。
【0253】
図37は、映像処理方法3700のフローチャートである。方法3700は、工程3702において、ジオメトリ分割モードを使用して符号化された現在の映像ブロックを複数の分割に分割することを含む。
【0254】
方法3700は、工程3704において、複数の動き候補リストを構築することを含み、各動き候補リストは複数の分割の各々に対応する。
【0255】
方法3700は、工程3706において、複数の動き候補リストに基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことを含む。
【0256】
図38は、映像処理方法3800のフローチャートである。方法3800は、工程3802において、ジオメトリ分割モードを使用して符号化された現在の映像ブロックを複数の分割に分割することを含む。
【0257】
方法3800は、動作3804において、複数の動き候補リストを構築することを含み、複数の分割の各々は、複数の動き候補リストのうち同じ動き候補リストを選択するように構成される。
【0258】
方法3800は、工程3806において、選択された同じ動き候補リストに基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことを含む。
【0259】
図39は、映像処理方法3900のフローチャートである。方法3900は、工程3902において、ビデオユニットにおける現在の映像ブロックと映像のビットストリーム表現との間で変換を行うことを含み、ビットストリーム表現は、映像領域において有効にされるジオメトリ分割モードのための動き候補リストにおける許容される動き候補の最大数を示すフィールドを含む。
【0260】
図40は、映像処理方法4000のフローチャートである。方法4000は、ステップ4002において、ジオメトリ分割モードを利用して複数の分割に分割される現在の映像ブロックのために、複数の重み係数群から1つの重み係数群を選択し、現在のブロックの、少なくとも幅または高さに基づいて1つの重み係数群を選択することを含む。
【0261】
方法4000は、動作4004において、現在のブロックと映像のビットストリーム表現との間の変換の一部として、複数の分割のうちの少なくとも2つの共通の境界に沿ったサンプルに重み係数群を適用することを含む。
【0262】
図41は、映像処理方法4100のフローチャートである。方法4100は、動作4102において、ジオメトリ分割モードを使用して複数の分割に分割される現在の映像ブロック内のサンプルについて、複数の分割のうちの少なくとも2つの共通の境界の角度に基づいて、少なくとも1つの重み係数を判定することを含む。
【0263】
方法4100は、ステップ4104において、少なくとも1つの重み係数に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことを含む。
【0264】
図42は、映像処理方法4200のフローチャートである。方法4200は、動作4202において、ジオメトリ分割モードを使用して複数の分割に分割された現在の映像ブロックに対して、複数の分割のうち少なくとも2つの共通の境界に沿ったサンプルに対して、4×4個のサンプルサイズとは異なるサンプルサイズの動き補償処理を行うことを含む。
【0265】
方法4200は、動作4204において、動き補償処理に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことを含む。
【0266】
図43は、映像処理方法4300のフローチャートである。方法4300は、動作4302において、ジオメトリ分割モードを使用して、現在の映像ブロックを複数の分割に分割することを含む。
【0267】
方法4300は、動作4304において、複数の分割に関連付けられた動き情報から導出された、現在のブロック内のK×L領域のための1つの動き情報のセットを記憶することを含む。
【0268】
方法4300は、ステップ4306において、複数の分割のうち少なくとも1つの分割に関連付けられた少なくとも1つの動き情報のセットを使用して、現在のブロックと映像のビットストリーム表現との間で変換を行うことを含む。
【0269】
図44は、映像処理方法4400のフローチャートである。方法4400は、動作4402において、現在の映像ブロックを複数の分割に分割することを含む。
【0270】
方法4400は、動作4404において、ジオメトリ分割モードを使用して符号化された現在のブロックと映像のビットストリーム表現との間で変換を行うことを含み、現在のブロックの各M×Nブロックユニットごとに1つの動き情報のセットが記憶され、この1つの動き情報のセットは、複数の分割の各々に関連付けられた動き情報から導出され、MまたはNのいずれかが4に等しくなく、M×Nブロックユニットにおける各サンプルが同じ動き情報を共有する。
【0271】
図45は、映像処理方法4500のフローチャートである。方法4500は、動作4502において、現在の映像ブロックを複数の分割に分割することを含む。
【0272】
方法4500は、動作4504において、現在のブロックと映像のビットストリーム表現との間の変換の一部として、記憶されるべき第1のサブ領域に関連付けられた第2の動き情報とは異なる第1の動き情報に基づいて、現在のブロックの第1のサブ領域に対して動き補償処理を行うことを含む。
【0273】
図46は、映像処理方法4600のフローチャートである。方法4600は、動作4602において、ジオメトリ分割モードを使用して、現在の映像ブロックを複数の分割に分割することを含む。
【0274】
方法4600は、動作4604において、複数の分割に関連付けられた分割方向または復号化されたマージインデックスまたはマージ候補リストに基づいて、第1のサンプルセットおよび第2のサンプルセットの動き情報を記憶することを含み、第1のサンプルセットは、複数の分割のうちの少なくとも2つの共通の境界上にあり、第2のサンプルセットは、複数の分割のうちの少なくとも2つの内部にある。
【0275】
方法4600は、動作4606において、記憶された動き情報に基づいて、現在のブロックと映像のビットストリーム表現との間の変換、または後続の映像のブロックとビットストリーム表現との間で変換を行うことを含む。
【0276】
図47は、映像処理方法4700のフローチャートである。方法4700は、動作4702において、現在の映像ブロックを複数の分割に分割することを含む。
【0277】
方法4700は、動作4704において、複数の分割のうちの少なくとも2つの分割の動き情報に基づく仮想双予測動き情報を記憶することを含む。
【0278】
方法4700は、ステップ4706において、仮想双予測動き情報に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことを含む。
【0279】
図48は、映像処理方法4800のフローチャートである。方法4800は、動作4802において、現在の映像ブロックを複数の分割に分割することを含む。
【0280】
方法4800は、ステップ4804において、複数の分割の第1の分割(MvInfo1)の動き情報および複数の分割の第2の分割(MvInfo2)の動き情報を、低遅延チェックフラグに基づいて記憶することを含み、低遅延チェックフラグは、現在のブロックを構成する現在のピクチャのPOC値以下のピクチャオーダカウント(POC)値を有するすべての参照ピクチャを示す。
【0281】
方法4800は、ステップ4806において、記憶された動き情報に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことを含む。
【0282】
いくつかの実施形態において、次の技術案を実装することができる。
A1.優先規則に基づいて、現在の映像ブロックとこの映像のビットストリーム表現との間で変換を行うために、動き候補を動き候補リストに挿入する順序を決定し、現在のブロックをジオメトリ分割モード使用して符号化することと、この決定およびこの動き候補リストに基づいて、この変換を行うことと、を含む、映像処理方法。
A2.優先規則は、動き候補のうちの少なくとも1つの動き候補の予測方向に基づく、案A1に記載の方法。
A3.挿入する順序は、リストYからの単一予測を伴う任意の正規の動き候補を挿入する前に、リストXからの単一予測を伴う正規の動き候補を挿入することを含む、案A2に記載の方法。
A4.挿入する順序は、単一予測を有する任意の動き候補を挿入する前に、双予測を有する動き候補を挿入することを含む、案A2に記載の方法。
A5.挿入する順序は、双予測を伴う正規の動き候補から導出されたリストXの動き候補、双予測を伴う正規の動き候補から導出されたリストXの動き候補、単一予測を伴う正規の動き候補の順で定義され、X=0またはX=1である、案A2に記載の方法。
A6.挿入する順序は、第1の正規の動き候補から導出された動き候補を双予測挿入することと、その後に第2の正規の動き候補から導出された動き候補を双予測挿入することと、を含み、現在のブロックの挿入する順序は、非ジオメトリ分割モードを使用して符号化された映像ブロックの挿入する順序と同一である、案A2に記載の方法。
A7.挿入する順序は、第1の双予測正規の動き候補から導出された動き候補と、第2の双予測正規の動き候補から導出された動き候補とをインターリーブ方式で挿入することを含む、案A2に記載の方法。
A8.インターリーブ方式は、CAから導出された短縮List0予測候補、CBから導出された短縮List1予測候補、CAから導出された短縮List1予測候補、およびCBから導出された短縮List0予測候補を挿入することを含み、CAおよびCBは2つの正規の動き候補である、案A7に記載の方法。
A9.インターリーブ方式は、CAから導出されたList1で短縮List1予測候補、CBから導出された短縮List0予測候補、CAから導出された短縮list1予測候補、およびCBから導出された短縮List1を挿入することを含み、CAおよびCBは2つの正規の動き候補である、案A7に記載の方法。
A10.正規の動き候補は、非ジオメトリ分割モードを使用して符号化された映像のブロックに対して導出された動き候補である、案A1~A9のいずれか1案に記載の方法。
A11.優先規則は、正規の動き候補に関連付けられた符号化モード情報に基づく、案A1に記載の方法。
A12.符号化モード情報は、マージモードまたは高度動きベクトル予測(AMVP)モードを使用する符号化を含む、案A11に記載の方法。
A13.挿入する順序は、マージモードで符号化ブロックから導出された動き候補を挿入する前に、AMVPモードで符号化ブロックから導出された動き候補を挿入することを含む、案A12に記載の方法。
A14.挿入する順序は、AMVPモードで符号化ブロックから導出された動き候補を挿入する前に、マージモードで符号化ブロックから導出された動き候補を挿入することを含む、案A12に記載の方法。
A15.符号化モード情報は、参照インデックスまたはピクチャオーダカウント(POC)差を含む、案A11に記載の方法。
A16.挿入する順序は、第1の参照インデックスに関連付けられた動き候補を挿入することと、その後に、第1の参照インデックスよりも大きい第2の参照インデックスに関連付けられた動き候補を挿入することとを含む、案A15に記載の方法。
A17.挿入する順序は、第1のPOC差に関連付けられた動き候補を挿入することと、その後に、第1のPOC差よりも大きい第2のPOC差参照インデックスに関連付けられた動き候補を挿入することとを含む、案A15に記載の方法。
A18.符号化モード情報は、現在のブロックを含むピクチャ、スライスまたはタイルグループに関連付けられた参照ピクチャの量子化パラメータ(QP)または時間層インデックスを含む、案A11に記載の方法。
A19.挿入する順序は、第1のQPに関連付けられた動き候補を挿入することと、その後に、第1のQPよりも大きい第2のQPに関連付けられた動き候補を挿入することとを含む、案A18に記載の方法。
A20.挿入する順序は、すべての短縮List1-predicted候補を、いずれかの短縮List0-predicted候補の前に挿入することを含む、案A1に記載の方法。
A21.挿入する順序は、利用可能な幾何学的動き候補に基づいて、1つ以上の短縮List0予測候補および1つ以上の短縮List1予測候補を挿入することを含む、案A1に記載の方法。
A22.挿入する順序は、利用可能な幾何学的動き候補に基づいて、双予測を伴う第1の動き候補を挿入した後、双予測を伴う第2の動き候補を挿入することを含む、案A1に記載の方法。
A23.現在の映像ブロックと該映像のビットストリーム表現との間で変換を行うための動き候補リストに、1つの正規の動き候補から導出された、List0とList1からの1つ以上の平均化された単一予測動き候補を挿入することを含み、現在のブロックは、ジオメトリ分割モードを使用して符号化する、挿入することと、この動き候補リストに基づいて、この変換を行うことと、を含む、映像処理方法。
A24.動き候補リストへの挿入のために、1つ以上の平均化された単一予測動き候補から1つの平均化された単一予測動き候補を選択することをさらに含む、案A23に記載の方法。
A25.選択することは、動き候補リストにおける利用可能な幾何学的動き候補に基づく、案A24に記載の方法。
A26.選択することは、List0およびList1の参照ピクチャインデックスに基づく、案A24に記載の方法。
A27.選択することは、List0およびList1のための参照ピクチャと現在のピクチャとの間のピクチャオーダカウント(POC)距離に基づく、案A24に記載の方法。
A28.List1からの任意の平均化された単一予測動き候補を挿入する前に、List0からのすべての平均化された単一予測動き候補を挿入する、案A23に記載の方法。
A29.List0からの任意の平均化された単一予測動き候補を挿入する前に、List1からのすべての平均化された単一予測動き候補を挿入する、案A23に記載の方法。
A30.現在の映像ブロックと該映像のビットストリーム表現との間で変換を行うための動き候補リストに、単一予測を伴う正規の動き候補から導出された、単一予測を伴う1つ以上の平均化動き候補を挿入することを含み、現在のブロックは、ジオメトリ分割モード使用して符号化することと、この動き候補リストに基づいて、この変換を行うことと、を含む、映像処理方法。
A31.リストLXからの単一予測を伴う平均化動き候補が、リストLXからの単一予測を伴う正規の動き候補から導出され、X=0またはX=1である、案A30に記載の方法。
A32.リストLYからの単一予測を伴う平均動き候補が、スケーリングされた正規の動き候補から導出され、リストLXからの正規の動き候補がリストLYにスケーリングされて、スケーリングされた正規の動き候補を生成し、X=0またはX=1であり、Y=1-Xである、案A30に記載の方法。
A33.現在の映像ブロックと映像のビットストリーム表現との間で変換を行うための動き候補リストに、利用可能な動き候補から導出された1つ以上の仮想動き候補を挿入することであって、現在のブロックは、ジオメトリ分割モードを使用して符号化されている、挿入することと、動き候補リストに基づいて、この変換を行うことと、を含む、映像処理方法。
A34.1つ以上の仮想動き候補は、まず、動き候補リストにおける動き候補の短縮リストを生成することによって導出される、案A33に記載の方法。
A35.1つ以上の仮想動き候補は、単一予測を有する動き候補のみに基づいて導出される、案A33に記載の方法。
A36.1つ以上の仮想動き候補が、単一予測された動き候補と、リスト1から予測された動き候補の短縮リストとにのみ基づいて導出される、案A33の方法。
A37.所定の参照ピクチャインデックスを有するか、またはピクチャオーダカウント(POC)距離が一定の範囲内にある動き候補に基づいて、1つ以上の仮想動き候補を導出する、案A33に記載の方法。
A38.プルーニング操作を適用せずに、1つ以上の仮想動き候補を導出する、案A33に記載の方法。
A39.案A1~A38のいずれか1案に記載の方法において、現在のブロックは、分割パターンに基づいて複数の分割に分割される。
A40.複数の分割のうちの少なくとも1つの分割が、非正方形であり、かつ非長方形である、案A1~A39のいずれかに記載の方法。
A41.ジオメトリ分割モードは、三角形分割モードを含む、案A1~A39のいずれか1案に記載の方法A42.変換は、ビットストリーム表現から現在のブロックを生成する、案A1~A41のいずれか1案に記載の方法。
A43.変換は、現在のブロックからビットストリーム表現を生成する、案A1~A41のいずれか1案に記載の方法。
A44.処理装置と、命令を搭載した非一時的メモリとを含む、映像システムにおける装置であって、処理装置が実行する命令は、処理装置に、解決策A1~A43のいずれか1案に記載の方法を実装させる映像システムにおける装置。
A45.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、案A1~A43のいずれか1案に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【0283】
いくつかの実施形態において、次の技術案を実装することができる。
B1.ジオメトリ分割モードを使用して符号化された映像の現在のブロックと映像のビットストリーム表現との間で変換を行うための動き候補リストへの動き候補の挿入する順序について、優先規則に基づいて決定することであって、優先規則が、動き候補の動き候補が導出された位置、または動き候補に関連付けられた1つ以上の参照ピクチャリストに基づくものである、決定することと、決定および動き候補リストに基づいて、変換を行うことを含む、映像処理方法。
B2.第1の動き候補CAがブロックAから導出されたものである場合、第2の動き候補CBがブロックBから導出され、ブロックAの後にブロックBがチェックされる、挿入する順序は、CAから導出された動き候補を動き候補リストに挿入した後に、CBから導出された動き候補を挿入することを含む、案B1に記載の映像処理方法。
B3.正規の動き候補リストの構築処理において、ブロックAの後のブロックBをチェックすることをさらに含む、案B2に記載の方法。
B4.挿入する順序は、CAから導出されたリストXからの予測を有する動き候補を挿入した後、CBから導出されたリストXからの予測を有する動き候補を挿入することをさらに含み、X=0またはX=1である案B2の方法。
B5.挿入する順序は、CAから導出されたリストYからの予測を有する動き候補を挿入した後、CBから導出されたリストYからの予測を有する動き候補を挿入することをさらに含み、X=0またはX=1であり、Y=(1-X)である、案B2に記載の方法。
B6.挿入する順序は、CAから導出されたリストYからの予測を有する動き候補を挿入した後、CBから導出されたリストXからの予測を有する動き候補を挿入することをさらに含み、X=0またはX=1であり、Y=(1-X)である、案B2に記載の方法。
B7.現在のブロックを分割パターンに基づいて複数の分割に分割する、案B1~B6のいずれか1つに記載の方法。
B8.ジオメトリ分割モードは、三角形分割モードを含む、案B1~B6のいずれか1案に記載の方法。
B9.現在のブロックが、非正方形および非長方形である少なくとも1つの分割を有する複数の分割に分割される、案B1~B6のいずれかに記載の方法。
B10.変換は、ビットストリーム表現から現在のブロックを生成する、案B1~B9のいずれか1案に記載の方法。
B11.変換は、現在のブロックからビットストリーム表現を生成する、案B1~B9のいずれか1案に記載の方法。
B12.処理装置と、命令を搭載した非一時的メモリとを備え、映像システムにおける装置であって、処理装置が実行する命令は、処理装置に、案B1~B11のいずれか1案に記載の方法を実装させることを特徴とする装置。
B13.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、コンピュータプログラム製品は、案B1~B11のいずれか1案に記載の方法を実行するためのプログラムコードを含む。
【0284】
いくつかの実施形態において、次の技術案を実装することができる。
C1.現在の映像ブロックと映像のビットストリーム表現との間で変換するために、動き候補を動き候補リストに挿入する順序を優先規則に基づいて決定することであって、現在のブロックは、ジオメトリ分割モードを使用して符号化され、順番または挿入は、シーケンス間、ピクチャ間、スライス間、タイルグループ間、または現在のブロックから映像の次のブロックに亘って変更可能である。そして、決定および動き候補リストに基づいて、この変換を行うことを含む、映像処理方法。
C2.挿入する順序は、現在のブロック、または現在のブロックを含むシーケンス、ピクチャ、スライス若しくはタイルグループに基づく、案C1に記載の方法。
C3.優先規則は、現在のブロックのサイズ、形状または分割パターンのうちの少なくとも1つに基づく、案C2に記載の方法。
C4.挿入する順序は、シーケンスパラメータセット(SPS)、映像パラメータセット
(VPS)、ピクチャパラメータセット(PPS)、スライスヘッダ、タイルグループヘッダ、タイル、符号化ツリーユニット(CTU)、またはビットストリーム表現における符号化ユニット(CU)において、エンコーダからデコーダに信号通知される、案C1~C3のいずれか1案に記載の方法。
C5.ジオメトリ分割モードを使用して符号化された現在の映像ブロックを複数の分割に分割することと、複数の分割の各々に対応する複数の動き候補リストを構築することと、複数の動き候補リストに基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む映像処理方法。
C6.複数の分割のうちの第1の分割のための複数の動き候補リストのうちの第1のリストは、リストXから予測された動き候補のみを含み、複数の分割のうちの第2の分割のための複数の動き候補リストのうちの第2のリストは、リストYから予測された動き候補のみを含み、X=0またはX=1であり、Y=(1-X)である、案C5に記載の方法。
C7.複数の動き候補リストに挿入される1つ以上の動き候補は、異なる空間的ブロックまたは時間的ブロックに関連付けられた動き情報に基づく、案C5に記載の方法。
C8.複数の分割の第1の分割のための1つ以上の動き候補を導出するために使用される異なる空間的または時間的ブロックの位置は、現在のブロックにおける複数の分割の第1の分割または第2の分割の位置に基づく、案C7に記載の方法。
C9.複数の分割の第1の分割または第2の分割のための1つ以上の動き候補を導出するために使用される異なる空間的または時間的ブロックの位置は、現在のブロックの分割パターンに基づく、案C7に記載の方法。
C10.分割パターンは、それぞれ45°の分割パターンまたは135°の分割パターンで表される、右上隅から左下隅へ、または左上隅から右下隅への分割を含む、案C9に記載の方法。
C11.分割パターンは、135度の分割パターンを含み、方法は、現在のブロックの右上隅を含む分割について、より多くのブロックをチェックすることをさらに含む、案C10に記載の方法。
C12.分割パターンは、135度の分割パターンを含み、方法は、現在のブロックの左下隅を含む区画について、より多くの左ブロックをチェックすることをさらに含む、案C10に記載の方法。
C13.複数の分割に対応する複数の動き候補リストの各々のためのインデックスを信号通知する、案C5に記載の方法。
C14.複数の動き候補リストの各々のためのインデックスを含むビットストリーム表現は、変換のために構文解析される、案C5に記載の方法。
C15.ジオメトリ分割モードを使用して符号化された現在の映像ブロックを複数の分割に分割することと、複数の動き候補リストを構築することであって、複数の分割の各々は、複数の動き候補リストのうち同じ動き候補リストを選択するように構成される、構築することと、選択された同じ動き候補リストに基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む映像処理方法。
C16.ビットストリーム表現は、複数の動き候補リストの第1の動き候補リストのインデックスを含む、案C15に記載の方法。
C17.ビットストリーム表現は、第1の動き候補リストからの動き候補のインデックスをさらに含み、動き候補のインデックスは、第1の動き候補リストのインデックスの後に信号通知される、案C16に記載の方法。
C18.ビットストリーム表現は、第1の動き候補リストのインデックスに続く、第1の動き候補リストからの動き候補のインデックスをさらに含み、ビットストリーム表現は、変換のために構文解析される、案C16に記載の方法。
C19.第1の動き候補リストのインデックスを、ビットストリーム表現における第1の動き候補リストからの動き候補のインデックスと結合して符号化する、案C15に記載の方法。
C20.第1の動き候補リストからの動き候補のインデックスと結合して符号化された第1の動き候補リストのインデックスを含むビットストリームを、変換のために構文解析する、案C15に記載の方法。
C21.少なくとも1つの分割パターンに基づいて、現在のブロックを複数の区画に分割する、案C1~C20のいずれか1つに記載の方法。
C22.ジオメトリ分割モードは三角形分割モードを含む、案C1~C21のいずれか1案に記載の方法。
C23.現在のブロックを、少なくとも1つの区画が非正方形かつ非長方形である複数の区画に分割する、案C1~C21のいずれかに記載の方法。
C24.変換は、ビットストリーム表現から現在のブロックを生成する、案C1~C23のいずれか1案に記載の方法。
C25.変換は、現在のブロックからビットストリーム表現を生成する、案C1~C23のいずれか1案に記載の方法。
C26.処理装置と、命令を搭載した非一時的メモリとを含む映像システムにおける装置であって、処理装置が実行する命令は、処理装置に、案C1~C25のいずれか1案に記載の方法を実装させることを特徴とする装置。
C27.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、コンピュータプログラム製品は、案C1~C25のいずれか1案に記載の方法を実行するためのプログラムコードを含む。
【0285】
いくつかの実施形態において、次の技術案を実装することができる。
D1.ビデオユニットにおける現在の映像ブロックと映像のビットストリーム表現との間で変換を行うことを含み、ビットストリーム表現は、映像領域において有効にされるジオメトリ分割モードのための動き候補リストにおける許容される動き候補の最大数を示すフィールドを含む、映像処理方法。
D2.フィールドは、ビットストリーム表現における許容される動き候補の最大数の表示の明確な信号通知を含む、案D1に記載の方法。
D3.フィールドは、許容される動き候補の最大数が、非ジオメトリ分割モードを使用して符号化される別のブロックの動き候補リストにおける許容される動き候補の最大数に等しいことを暗黙的に示す、案D1に記載の方法。
D4.案D1~D3のいずれか1つに記載の方法において、現在のブロックは、マージモードまたは高度動きベクトル予測(AMVP)モードを使用してさらに符号化される。
D5.映像ユニットは、シーケンス、映像、ピクチャ、スライス、タイルグループ、最大符号化ユニット(LCU)行、または最大符号化ユニット(LCU)のグループを含む、案D1~D3のいずれかに記載の方法。
D6.フィールドにおける許容される動き候補の最大数の表示は、シーケンスパラメータセット(SPS)、映像パラメータセット(VPS)、ピクチャパラメータセット(PPS)、ピクチャヘッダ、スライスヘッダ、タイルグループヘッダ、最大符号化ユニット(LCU)行または最大符号化ユニット(LCU)群において信号通知される、案D1~D3のいずれかに記載の方法。
D7.フィールドにおける許容される動き候補の最大数の表示が、単項符号化または短縮単項符号化で2値化される、案D1~D6のいずれかに記載の方法。
D8.フィールドにおける許容される動き候補の最大数の表示を明確に信号通知することは、Mと許容される動き候補の最大数との間の差を信号通知することを含み、Mは整数である、案D2に記載の方法。
D9.ジオメトリ分割モードを使用して符号化された1つのブロックのための許容される動き候補の最大数は、Mから構文解析されたインジケータを引いたものに設定される、案D8に記載の方法。
D10.M=5またはM=6である、案D8または9に記載の方法。
D11.フィールドにおける許容される動き候補の最大数の表示を含むビットストリーム表現は、変換のために構文解析される、案D1~D8のいずれか1案に記載の方法。
D12.ビットストリーム表現は、1つのビットフラグを含み、この1つのビットフラグは、ジオメトリ分割モードを使用して符号化された映像のブロックに対して許可される動き候補の最大数が、許可される正規の動き候補またはサブブロック動き候補の最大数と同じであることを示す、案D1に記載の方法。
D13.1つのビットフラグを含むビットストリーム表現は、変換のために構文解析される、案D12に記載の方法。
D14.現在のブロックは、分割パターンに基づいて複数の分割に分割される、案D1~D13のいずれか1案に記載の方法。
D15.ジオメトリ分割モードは、三角形分割モードを含む案D1~D14のいずれか1案に記載の方法。
D16.現在のブロックを、複数の分割に分割し、複数の分割のうちの少なくとも1つの分割は、非正方形であり、かつ非長方形である、案D1~D14のいずれかに記載の方法。
D17.変換は、ビットストリーム表現から現在のブロックを生成する、案D1~D16のいずれか1案に記載の方法。
D18.変換は、現在のブロックからビットストリーム表現を生成する、案D1~D16のいずれか1案に記載の方法。
D19.処理装置と、命令を搭載した非一時的メモリとを含む、映像システムにおける装置であって、処理装置が実行する命令は、処理装置に、案D1~D18のいずれかいずれか1案に記載の方法を実装させることを特徴とする装置。
D20.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、コンピュータプログラム製品は、案D1~D18のいずれかいずれか1案に記載の方法を実行するためのプログラムコードを含む。
【0286】
いくつかの実施形態において、次の技術案を実装することができる。
E1.映像処理方法。ジオメトリ分割モードを使用して複数の分割に分割される現在の映像ブロックに対して、複数の重み係数群から重み係数群を選択することであって、重み係数群は、現在のブロックの少なくとも1つの幅または高さに基づいて選択される、選択することと、現在のブロックと映像のビットストリーム表現との間の変換の一部として、重み係数群を、複数の分割のうちの少なくとも2つの共通の境界に沿ったサンプルに適用することと、を含む。
E2.選択することは、幅と高さとの間の比が閾値よりも大きいことに基づく、案E1に記載の方法。
E3.選択することは、高さと幅との間の比が閾値よりも大きいことに基づく、案E1に記載の方法。
E4.複数の重み係数群は、現在のブロックの幅または高さに基づいて予め規定される、案E1に記載の方法。
E5.複数の重み係数群から1つまたは2つの重み係数群を選択する、案E4に記載の方法。
E6.ジオメトリ分割モードを使用して、複数の分割に分割された現在の映像ブロック内のサンプルについて、複数の分割のうちの少なくとも2つの共通の境界の角度に基づいて、少なくとも1つの重み係数を判定することと、少なくとも1つの重み係数に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む映像処理方法。
E7.判定することは、サンプルの位置にさらに基づいている、案E6に記載の方法。
E8.少なくとも1つの重み係数に基づいて、現在のブロックにおけるサンプルの最終予測値を2つの予測値の重み付け和として導出する、案E1~7のいずれか1案に記載の方法。
E9.現在のブロックの最終予測ブロックが、(f(x,y)×P1(x,y)+(2M-f(x,y))×P2(x,y)+offset)>>Mであり、P1(x,y)およびP2(x,y)は、それぞれ、座標(x,y)を有するサンプルの第1の予測値および第2の予測値であり、Mおよびオフセットは整数であり、f(x,y)は、第1の予測値に適用された重みを戻す、案E8に記載の方法。
E10.offset=(1<<(M-1)である、案E9に記載の方法。
E11.現在のブロックは、分割パターンに基づいて複数の分割に分割される、案E1~E10のいずれか1案に記載の方法。
E12.ジオメトリ分割モードは、三角形分割モードを含む、案E1~E11のいずれか1案に記載の方法。
E13.ジオメトリ分割モードは、1つのブロックを2つの区画に分割することを含む、案E12に記載の方法。
E12.現在のブロックが、複数の区画に分割され、複数の区画のうちの少なくとも1つの区画は、非正方形であり、かつ非長方形である、案E1~E10のいずれかに記載の方法。
E13.変換は、ビットストリーム表現から現在のブロックを生成する、案E1~E12のいずれか1案に記載の方法。
E14.変換は、現在のブロックからビットストリーム表現を生成する、案E1~E12のいずれか1案に記載の方法。
E15.処理装置と、命令を搭載した非一時的メモリとを含む、映像システムにおける装置であって、処理装置が実行する命令は、処理装置に、案E1~E14のいずれかいずれか1案に記載の方法を実装させることを特徴とする装置。
E16.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、コンピュータプログラム製品は、案E1~E14のいずれかいずれか1案に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【0287】
いくつかの実施形態において、次の技術案を実装することができる。
F1.ジオメトリ分割モードを使用して、複数の分割に分割された現在の映像ブロックに対して、複数の分割のうち少なくとも2つの共通の境界に沿った、サンプルサイズが4×4のサンプルサイズとは異なるサンプルに対する動き補償処理を行うことと、動き補償処理に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む映像処理方法。
F2.変換に必要なメモリ帯域幅を低減するために、8×8個のサンプルサイズで動き補償処理を行う、案F1に記載の方法。
F3.動き補償処理は、8×4個のサンプルサイズまたは4×8個のサンプルサイズで行われ、変換に必要なメモリ帯域幅を低減することを特徴とする案F1に記載の方法。
F4.サンプルサイズは、現在のブロックの高さまたは幅に基づく、案F3に記載の方法。
F5.サンプルサイズが、現在のブロックの複数の区画のための分割パターンに基づく、案F3に記載の方法。
F6.分割パターンは、それぞれ45°の分割パターンまたは135°の分割パターンで表される、右上隅から左下隅へ、または左上隅から右下隅への分割を含む、案F5に記載の方法。
F7.ジオメトリ分割モードを使用して、現在の映像ブロックを複数の分割に分割することと、複数の分割に関連付けられた動き情報から導出された、現在のブロックにおけるK×L領域のための1つの動き情報のセットを記憶することと、複数の分割のうちの少なくとも1つに関連付けられた少なくとも1つの動き情報のセットを使用して、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む、映像処理方法。
F8.MVInfoiがi番目の分割の動き情報を表し、i=1およびi=2であり、MVInfo1が第1の参照ピクチャリストLXおよびMVInfo2からのものであると判定されると、1つの動き情報のセットは、MVInfo1とMVInfo2との組み合わせに基づいて、現在のブロックの双予測および関連する動き情報を含み、X=0またはX=1であり、Y=(1-X)である、案F7に記載の方法。
F9.MVInfoiが、i番目の分割の動き情報を表し、i=1およびi=2であり、MVInfo1およびMVInfo2の両方が参照リストLXからのものであると判定された場合、MVInfojに基づいて、現在のブロックのための1つの動き情報単一予測および関連する動き情報のセットであり、j=1またはj=2であり、X=0またはX=1である、案F7に記載の方法。
F10.動きベクトルとMVInfo1およびMVInfo2の参照ピクチャインデックスとを組み合わせることによって、双予測を含む1つの動き情報のセットを導出する、案F8に記載の方法。
F11.単一予測を含む1つの動き情報のセットは、MVInfo1に基づく、案F9に記載の方法。
F12.単一予測を含む1つの動き情報のセットは、MVInfo2に基づく、案F9に記載の方法。
F13.MVInfo1は、右上隅のサンプルを覆う分割に関連する動き情報のセットを含み、MVInfo2は、右上隅のサンプルと左下隅のサンプルとが2つの異なる分割にあると判定された場合、左下隅のサンプルを覆う分割に関連付けられた動き情報のセットを含む、案F1~F12のいずれか1案に記載の方法。
F14.現在のブロックの分割方向が左上隅から右下隅である、案F13に記載の方法。
F15.MVInfo1は、左上隅のサンプルを覆う分割に関連する動き情報のセットを含み、MVInfo2は、左上隅のサンプルと右下隅のサンプルとが2つの異なる分割にあると判定された場合、右下隅のサンプルを覆う分割に関連付けられた動き情報のセットを含む、案F1~F12のいずれか1案に記載の方法。
F16.現在のブロックの分割方向が右上隅から左下隅である、案F15に記載の方法。
F17.記憶された1つの動き情報のセットが、映像の後続のブロックの時間的動き予測、空間的動き予測、または現在のブロックのフィルタリング処理のうちの1つに使用される、案F7に記載の方法。
F18.記憶された1つの動き情報のセットが、異なるピクチャにおける他のブロックの処理に用いられる、案F7に記載の方法。
F19.フィルタリング処理は、デブロッキングまたは適応ループフィルタリング(ALF)を含む、案F17に記載の方法。
F20.MVInfoiおよびMVInfojが、それぞれi番目の分割およびj番目の分割の動き情報を表し、MVInfoiおよびMVInfojの両方が、参照ピクチャリストLXからのものであり、X=0またはX=1であり、1つの動き情報のセットは、MVInfoiと、MVInfojを参照ピクチャリストLYにスケーリングすることによって生成されるスケーリングされた動きベクトルとを組み合わせることに基づいており、Y=(1-X)である、案7に記載の方法。
F21.Xの値が予め判定されるか、またはビットストリーム表現で信号通知される、案F20に記載の方法。
F22.MVInfoiおよびMVInfojが、それぞれi番目の分割およびj番目の分割の動き情報を表し、MVInfoiおよびMVInfojの両方が、参照ピクチャリストLXからのものであり、X=0またはX=1であり、1つの動き情報のセットは、MVInfoiと、MVInfojを参照ピクチャリストLYにマッピングすることによって生成されるマッピングされた動きベクトルとを組み合わせることに基づいており、Y=(1-X)である、案F7に記載の方法。
F23.1つの動き情報のセットは、双予測動きベクトルを含む、案F22に記載の方法。
F24.MVInfojをリストLYにおける参照ピクチャにマッピングすることは、スケーリング演算を除外する、案F22に記載の方法。
F25.1つの動き情報のセットを記憶することは、複数の分割に関連付けられた復号化された動き情報に基づく、案F7に記載の方法。
F26.MVInfoiおよびMVInfojが、それぞれi番目の分割およびj番目の分割の動き情報を表し、MVInfoiおよびMVInfojは、いずれも同じ参照ピクチャリストLXからのものであり、X=0またはX=1であり、1つの動き情報のセットが単一予測の動き情報を含む、案F25に記載の方法。
F27.MVInfoiおよびMVInfojが、i番目の分割およびj番目の分割の動き情報をそれぞれ表し、MVInfoiが、参照ピクチャリストLXおよびMVInfojからのものであり、X=0またはX=1であり、Y=(1-X)であり、1つの動き情報のセットが双予測動き情報を含む、案F25に記載の方法。
F28.MVInfoiおよびMVInfojが、それぞれi番目およびj番目の分割の動き情報を表し、MVInfoiおよびMVInfojの両方が参照ピクチャリストLXからのものであり、X=0またはX=1であり、参照ピクチャリストLYがMVInfoiまたはMVInfojを含み、Y=(1-X)であり、1つの動き情報のセットが双予測動き情報を含む、案F25に記載の方法。
F29.1つの動き情報のセットを記憶することは、複数の分割のうちの少なくとも2つの共通の境界に沿って位置する現在のブロックのサブ領域に基づく、案F7に記載の方法。
F30.異なるサブ領域が異なる動き情報を記憶する、案F29に記載の方法。
F31.サブ領域は、単一予測または双予測動き情報を記憶する、案F29に記載の方法。
F32.単一の動き情報のセットを記憶することは、現在のブロックにおける1つのサブブロックの位置に基づいており、このサブブロックは、単一予測動き情報のみを記憶する、案F7に記載の方法。
F33.現在のブロックに適用される動き補償処理において1つの動き情報のセットを使用する、案F1~F32のいずれかに記載の方法。
F34.MVInfoiおよびMVInfojが、それぞれi番目およびj番目の分割の動き情報を表し、MVInfoiおよびMVInfojの両方が参照ピクチャリストLXからのものであり、X=0またはX=1であり、1つの動き情報のセットが、(a)MVInfoi、(b)MVInfojまたは(c)MVInfoiおよびMVInfojを平均することから導出された参照ピクチャリストLXのための双予測動きベクトルを含む、案F7に記載の方法。
F35.MVInfoiおよびMVInfojが、それぞれi番目およびj番目の分割の動き情報を表し、MVInfoiおよびMVInfojの両方が参照ピクチャリストLXからのものであり、X=0またはX=1であり、且つ1つの動き情報のセットがMVInfoiおよびMVInfojの平均または重み付け平均を含み、且つ1つの動き情報のセットに関連付けられた参照ピクチャがMVInfoiの参照ピクチャまたはMVInfojの参照ピクチャのいずれかを含む、案F7に記載の方法。
F36.K×L領域が、複数の分割のうちの少なくとも2つの分割間の共通の境界に少なくとも1つのサンプルを含む、案F1~F35のいずれかに記載の方法。
F37.ジオメトリ分割モードは三角形分割モードを含む、案F1~F36のいずれか1案に記載の方法。
F38.複数の分割の少なくとも1つの分割が、非正方形であり、かつ非長方形である、案F1~F36のいずれか1つに記載の方法。
F39.変換は、ビットストリーム表現から現在のブロックを生成する、案F1~F38のいずれか1案に記載の方法。
F40.変換は、現在のブロックからビットストリーム表現を生成する、案F1~F38のいずれか1案に記載の方法。
F41.処理装置と、命令を搭載した非一時的メモリとを含む、映像システムにおける装置であって、処理装置が実行する命令は、処理装置に、案F1~F40のいずれか1案に記載の方法を実装させることを特徴とする装置。
F42.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、コンピュータプログラム製品は、案F1~F40のいずれか1案に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【0288】
いくつかの実施形態において、次の技術案を実装することができる。
G1.現在の映像ブロックを複数の分割に分割することと、ジオメトリ分割モードを使用して符号化された現在のブロックと映像のビットストリーム表現との間で変換を行うこととを含み、現在のブロックのM×N個のブロック単位ごとに1つの動き情報のセットが記憶され、この1つの動き情報のセットは、複数の分割の各々に関連付けられた動き情報から導出されたものであり、MまたはNが4に等しくなく、M×N個のブロック単位における各サンプルが同じ動き情報を共有する、映像処理方法。
G2.M=8であり、N=8である、案G1に記載の方法。
G3.M×Nブロックユニットの第1の部分は、複数の区画のうちの少なくとも2つの共通の境界上にある第1のサンプルセットを備え、M×Nブロックユニットの第2の部分は、複数の分割のうちの少なくとも2つの分割のうちの1つの内部にある第2のサンプルセットを含む、案G1に記載の方法。
G4.MVInfoiがi番目の分割の動き情報を表し、i=1およびi=2であり、MVInfo1が第1の参照ピクチャリストLXからのものであり、MVInfo2がLYからのものであると判定されると、同じ動き情報が、複数の分割のMVInfoiに基づいて、現在のブロックの双予測および関連する動き情報を含み、X=0またはX=1であり、Y=(1-X)である、案G3に記載の方法。
G5.MVInfoiが、i番目の分割の動き情報を表し、i=1およびi=2であり、MVInfo1およびMVInfo2の両方が参照ピクチャリストLXからのものであると判定されると、同じ動き情報が、MVInfojに基づいて、現在のブロックのための単一予測および関連する動き情報を含み、j=1またはj=2であり、X=0またはX=1である、案G3に記載の方法。
G6.MVInfoiがi番目の分割の動き情報を表し、i=1、i=2であり、同じ動き情報が、MVInfojに基づいて、現在のブロックのための単一予測および関連する動き情報を含み、j=1またはj=2である、案G3に記載の方法。
G7.現在の映像ブロックを複数の分割に分割することと、現在のブロックと映像のビットストリーム表現との間の変換の一部として、記憶されるべき第1のサブ領域に関連付けられた第2の動き情報とは異なる第1の動き情報に基づいて、現在のブロックの第1のサブ領域に対して動き補償処理を行うこととを含む、映像処理方法。
G8.第1のサブ領域は、複数の分割のうちの少なくとも2つの共通の境界上にM×N個のサンプルセットを含み、動き補償処理は、双予測を含み、かつ双予測のList0またはList1からの1つの動き情報のセットのみが記憶される、案G7に記載の方法。
G9.1つの動き情報のセットは、マージモードまたは高度動きベクトル予測(AMVP)モードを使用して符号化される近傍のブロックの空間的動き候補を導出するために使用される、案G8に記載の方法。
G10.1つの動き情報のセットは、現在のブロックを含む現在のピクチャと異なるピクチャにおける後続のブロックの時間的動き候補を導出するために用いられる、案G8に記載の方法。
G11.1つの動き情報のセットは、現在のブロックのインループ処理に使用される、案G8に記載の方法。
G12.インループ処理は、デブロッキングまたは適応ループフィルタリングを含む、案G11に記載の方法。
G13.第2のサブ領域に関連付けられた第3の動き情報に基づいて、現在のブロックの第2のサブ領域に対する動き補償処理、および、第1のサブ領域と第2のサブ領域とが、複数の分割を含む同じ符号化ユニット(CU)内にある、案G7に記載の方法。
G14.ジオメトリ分割モードを使用して、現在の映像ブロックを複数の分割に分割することと、複数の分割に関連付けられた分割方向または復号化されたマージインデックスまたはマージ候補リストに基づいて、第1のサンプルセットおよび第2のサンプルセットの動き情報を記憶することであって、第1のサンプルのセットは、複数の分割の少なくとも2つの共通の境界上にあり、第2のサンプルのセットは、複数の分割の少なくとも2つのうちの1つの内部にある、記憶することと、記憶された動き情報に基づいて、現在のブロックと映像のビットストリーム表現との間で変換、または映像の後続のブロックとビットストリーム表現との間で変換を行うこととを含む、映像処理方法。
G15.記憶された動き情報は、選択された復号化マージインデックスに関連付けられた複数の分割のうちの1つの分割に関連付けられた動き情報に対応する、案G14に記載の方法。
G16.記憶された動き情報は、選択されたマージインデックスセットが変数kである動き候補リストにおける動き候補に対応する、案G14に記載の方法。
G17.k=0である、案G16に記載の方法。
G18.記憶された動き情報は、1つのマージ候補リストにおけるk番目のマージ候補の動き情報に対応する、案G16に記載の方法。
G19.選択された復号化マージインデックスは、分割方向に基づく、案G15に記載の方法。
G20.選択された復号化マージインデックスに等しいインデックスを有するマージ候補が双予測に基づくものであると判定されると、記憶された動き情報が双予測動き情報を含む、案G15に記載の方法。
G21.選択されたデコードされたマージインデックスに等しいインデックスを有するマージ候補が単一予測に基づくものであると判定されると、記憶された動き情報が単一予測の動き情報を含む、案G15に記載の方法。
G22.第1のサブ領域は、複数の分割のうちの少なくとも2つの共通の境界上にM×N個のサンプルを含み、動き補償処理は、双予測を含み、かつ双予測のList0またはList1からの1つの動き情報のセットのみを記憶する、案G6に記載の方法。
G23.第1のサブ領域は、複数の分割のうちの少なくとも2つの共通の境界上にM×N個のサンプルを含み、動き補償処理は、双予測を含み、ListXからの単一予測情報のみが記憶され、X=0およびX=1である、案G6に記載の方法。
G24.第1のサブ領域は、複数の分割のうちの少なくとも2つの共通の境界上にM×N個のサンプルを含み、動き補償処理は、単一予測を含み、第2の動き情報は、記憶されるListXからの単一予測情報を含み、X=0およびX=1である、案G6に記載の方法。
G25.現在の映像ブロックを複数の分割に分割することと、複数の分割のうちの少なくとも2つの分割の動き情報に基づく仮想双予測動き情報を記憶することと、仮想双予測動き情報に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む映像処理方法。
G26.MvInfo1およびMvInfo2が、それぞれ第1の分割および第2の分割の動き情報であり、仮想双予測動き情報は、MvInfoAの予測方向をListXからListYに修正することに基づくものであり、A=1またはA=2であり、X=0またはX=1であり、Y=(1-X)である、案G25に記載の方法。
G27.MvInfoAの動きベクトルおよび参照インデックスが不変に維持される、案G26に記載の方法。
G28.MvInfoAの参照インデックスは変更されず、MvInfoAの動きベクトルは反対の値に設定される、案G26に記載の方法。
G29.MvInfo1およびMvInfo2が同じ予測方向からのものである、案G26~G28のいずれか1つに記載の方法。
G30.現在の映像ブロックを複数の分割に分割することと、低遅延チェックフラグに基づいて、複数の分割の第1の分割(MvInfo1)の動き情報および複数の分割の第2の分割(MvInfo2)の動き情報を記憶することであって、低遅延チェックフラグは、現在のブロックを構成する現在のピクチャのPOC値以下のピクチャオーダカウント(POC)値を有するすべての参照ピクチャを示す、記憶することと、記憶した動き情報に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む、映像処理方法。
G31.MvInfo1とMvInfo2が異なる予測方向からのものであり、動き情報を記憶することは、MvInfo1とMvInfo2を組み合わせて生成された双予測動き情報を記憶することを含む、案G30に記載の方法。
G32.MvInfo1およびMvInfo2が同じ予測方向(ListX)からのものであり、X=0またはX=1であり、MvInfo2の双予測リストをListXからListYに設定することで、MvInfo2を修正することをさらに含み、Y=(1-X)であり、動き情報を記憶することは、MvInfo1と修正されたMvInfo2とを結合することによって生成される双予測動作を記憶することを含む、案G30に記載の方法。
G33.動き情報を記憶することは、現在のブロックのサブブロックの動き情報を記憶することを含む、案G25~G32のいずれか1案に記載の方法。
G34.サブブロックは、複数の分割のうちの少なくとも2つの共通の境界上のサンプルを含む、案G33に記載の方法。
G35.サブブロックは、現在のブロックにおける対角線または反対角線を含む、案G33に記載の方法。
G36.サブブロックは、現在のブロックの右下隅にある、案G33に記載の方法。
G37.サブブロックは、現在のブロックの右列または下行にある、案G33に記載の方法。
G38.複数の分割の少なくとも1つの分割が、非正方形であり、かつ非長方形である、案G1~G37のいずれか1案に記載の方法。
G39.変換は、ビットストリーム表現から現在のブロックを生成する、案G1~G38のいずれか1案に記載の方法。
G40.変換は、現在のブロックからビットストリーム表現を生成する、案G1~G38のいずれか1案に記載の方法。
G41.処理装置と、命令を搭載した非一時的メモリとを含む、映像システムにおける装置であって、処理装置が実行する命令は、処理装置に、案G1~G40のいずれか1案に記載の方法を実装させることを特徴とする装置。
G42.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、コンピュータプログラム製品は、案G1~G40のいずれか1案に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【0289】
図49は、映像処理装置4900のブロック図である。装置4900は、本明細書で説明される方法の1つ以上を実装するために使用してもよい。装置4900は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT(Internet of Things))受信機等に実施されてもよい。装置4900は、1つ以上の処理装置4902と、1つ以上のメモリ4904と、映像処理ハードウェア4906と、を含んでもよい。1つ以上の処理装置4902は、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(複数可)4904は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用されてもよい。映像処理ハードウェア4906は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
【0290】
いくつかの実施形態において、映像符号化方法は、図49を参照して説明したように、ハードウェアプラットフォームに実装される装置を使用して実施されてもよい。
【0291】
開示される技術の一部の実施形態は、映像処理ツールまたはモードを有効にする決定または判定を行うことを含む。一例において、映像処理ツールまたはモードが有効される場合、エンコーダは、1つの映像ブロックを処理する際に、このツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効にされる場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効にされる場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを認識して、ビットストリームを処理する。すなわち、決定または判定に基づいて有効にされた映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。
【0292】
開示される技術の一部の実施形態は、映像処理ツールまたはモードを無効にする決定または判定を行うことを含む。一例において、映像処理ツールまたはモードが無効にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされる場合、デコーダは、ビットストリームが、決定または判定に基づいて有効にされた映像処理ツールまたはモードを使用して修正されていないことを認識して、ビットストリームを処理する。
【0293】
図50は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム5000を示すブロック図である。様々な実装形態は、システム5000のモジュールの一部または全部を含んでもよい。システム5000は、映像コンテンツを受信するための入力ユニット5002を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、8または10ビットのマルチモジュール画素値で受信されてもよく、または圧縮または符号化フォーマットで受信されてもよい。入力ユニット5002は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インターフェース、およびWi-Fiまたはセルラーインターフェース等の無線インターフェースを含む。
【0294】
システム5000は、本明細書に記載される様々な符号化または符号化方法を実装することができる符号化モジュール5004を含んでもよい。符号化モジュール5004は、入力ユニット5002からの映像の平均ビットレートを符号化モジュール5004の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール5004の出力は、モジュール5006によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット5002において受信された、記憶されたまたは通信された映像のビットストリーム(または符号化)表現は、モジュール5008によって使用されて、表示インターフェースユニット5010に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像伸張(映像展開)と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作またはツールと呼ぶが、符号化ツールまたは動作は、エンコーダおよびそれに対応するデコーダツールで使用され、復号化の結果を逆にする復号化ツールまたは動作が、デコーダによって行われることが理解されよう。
【0295】
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および/または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
【0296】
本明細書における説明に関して、現在の映像ブロックのビットストリーム表現は、必ずしも連続したビットの形式である必要はなく、ビットストリーム構文の異なる位置に存在するビット(例えば、ヘッダフィールドおよびパラメータセット)に基づいてもよい。
【0297】
さらに、いくつかの開示された実施形態において、ATMVPおよびアフィンマージを含むサブブロック符号化モードの場合、1つのマージリスト構築処理が共有される。なお、ATMVPおよびアフィンマージ候補を順に追加してもよい。
【0298】
いくつかの実施形態において、三角形予測モードにおいて、2つの分割に対する1つのマージリスト構築処理は、2つの分割が独自のマージ候補インデックスを選択しても共有される。このマージリストを構築するとき、空間的に近傍のブロックとこのブロックの2つの時間的ブロックとをチェックする。空間的近傍および時間的ブロックから導出された動き情報を、本発明者らのIDFにおいて正規の動き候補と呼ぶ。これらの正規の動き候補をさらに利用して、複数のTPM候補を導出する。この変換は、ブロックレベル全体で行われてもよく、2つの分割は、それら自身の予測ブロックを生成するために異なる動きベクトルを使用してもよい。
【0299】
残りの符号化ブロックについては、1つのマージリスト構築処理を共有する。空間的/時間的/HMVP、ペアワイズ合成双予測マージ候補、および動きゼロ候補を順に挿入してもよい。
【0300】
映像符号化または復号化方法(圧縮/展開)が開示されていることが、当業者には理解されるであろう。映像ブロックの幾何学的(または幾何学的)分割は、動き情報を正確に追跡し、符号化された映像の圧縮性能を改善するために使用してもよい。さらに、開示された方法を使用することによって、実施形態は、今日の映像符号化/復号化技術に比べて、さらなる符号化利得を実現し、かつ/または実装形態の複雑性を低減することができることが理解される。
【0301】
本明細書に開示されたそして他の解決案、例、実施形態、モジュール、および機能操作は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実装されてもよく、またはそれらの1つ以上の組み合わせでしてもよい。開示された、そして他の実施形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の操作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実施することができる。このコンピュータ可読媒体は、機械可読記憶装置、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを含んでもよい。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するように生成される。
【0302】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットを含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の1つのファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開可能である。
【0303】
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を行うための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
【0304】
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置を含む。一般的に、処理装置は、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を実行するための処理装置と、命令およびデータを記憶するための1つ以上のメモリデバイスとである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュメモリデバイス、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体メモリデバイスを含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
【0305】
本特許明細書は多くの詳細を含むが、これらは、任意の主題または特許請求され得るものの範囲を限定するものと解釈されるべきではなく、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許明細書において別の実施形態の文脈で説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例の文脈で説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブ組み合わせまたはサブコンビネーションのバリエーションに向けられてもよい。
【0306】
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で行われること、または示された全ての操作が行われることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている例における様々なシステムモジュールの分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
【0307】
いくつかの実装形態および例のみが記載されており、本特許明細書に記載され図示されている内容に基づいて、他の実施形態、拡張および変形が可能である。
図1
図2
図3
図4A
図4B
図5
図6
図7
図8
図9
図10
図11
図12
図13A
図13B
図14
図15A
図15B
図16A
図16B
図17
図18A
図18B
図18C
図19
図20A
図20B
図21
図22A
図22B
図23
図24A
図24B
図25
図26
図27A
図27B
図28
図29
図30A
図30B
図30C
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43
図44
図45
図46
図47
図48
図49
図50
【手続補正書】
【提出日】2023-08-25
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
映像の映像ユニットにおける現在のブロックと前記映像のビットストリームとの間の変換について、コーディングユニットである前記現在のブロックが、前記コーディングユニットの予測モードであるジオメトリ分割モードでコーディングされることを決定することと、前記ジオメトリ分割モードにおいて、前記現在のブロックの第1のジオメトリ分割のための第1の動き情報と、前記現在のブロックの第2のジオメトリ分割のための第2の動き情報とが決定され、前記第1の動き情報と前記第2の動き情報とに基づいて導出された予測サンプルの重み付け合計に基づいて、前記現在のブロックの重み付け領域内のサンプルの最終予測を生成するための重み付け処理が適用され、
前記決定に基づいて前記変換を実行することと、を含み、
前記ビットストリームは、前記映像ユニットにおいて有効化される前記ジオメトリ分割モードに対して許容される動き候補の最大数を示すシーケンスパラメータセット(SPS)のフィールドを含み、
前記フィールドは、前記ビットストリームに明示的に含まれ、Mと前記許容される動き候補の最大数との間の差が設定され、Mは整数であり、
前記現在のブロックに対する前記許容される動き候補の最大数は、Mから前記フィールドによって示される前記差をマイナスした値に設定され、
Mは6以下である、映像データをコーディングする方法。
【請求項2】
Mは5又は6に等しい、請求項1に記載の方法。
【請求項3】
前記映像ユニットは、シーケンス、映像、ピクチャ、スライス、タイルグループ、最大コーディングユニット(LCU)列、または、最大コーディングユニット(LCUs)のグループを含む、請求項1に記載の方法。
【請求項4】
前記現在のブロックは、マージモードまたは高度動きベクトル予測(AMVP)モードを使用してコーディングされる、請求項1に記載の方法。
【請求項5】
前記ジオメトリ分割モードは複数の分割パターンを含み、少なくとも1つの分割パターンは前記現在のブロックを2つのパーティションに分割し、そのうちの少なくとも1つは非正方形かつ非矩形である、請求項1に記載の方法。
【請求項6】
前記ジオメトリ分割モードは、三角形分割モードを含む、請求項1に記載の方法。
【請求項7】
前記変換を実行する前に、前記現在のブロックに対する前記第1の動き情報と前記第2の動き情報とを決定することと、
前記第1の動き情報と前記第2の動き情報の両方が参照ピクチャリストLXからのものであることに応答して、参照ピクチャリストL(1-X)における前記第1の動き情報の参照ピクチャまたは前記第2の動き情報の参照ピクチャの有無に関わらず、前記現在のブックの重み付け領域内のm×n個のサブブロックに対する動き情報の第1の単一セットを記憶することと、をさらに含み、前記動き情報の第1の単一セットは単一予測動き情報を含み、X=0またはX=1である、請求項1に記載の方法。
【請求項8】
前記第1の動き情報が第1の参照ピクチャリストLXからのものであり、前記第2の動き情報が第2の参照ピクチャリストL(1-X)からのものであることに応答して、前記現在のブロックの前記重み付け領域内のm×n個のサブブロックに対する前記動き情報の第2の単一セットを記憶することと、をさらに含み、前記動き情報の第2の単一セットは双予測動き情報を含み、X=0またはX=1である、請求項7に記載の方法。
【請求項9】
非重み付け領域内のm×n個のサブブロックに対する動き情報の第3の単一セットを記憶することと、をさらに含み、
前記動き情報の第3の単一セットは、前記第1の動き情報または前記第2の動き情報に基づく単予測動き情報を含む、請求項7に記載の方法。
【請求項10】
前記フィールドを含む前記ビットストリームが、前記変換のために解析される、請求項1に記載の方法。
【請求項11】
前記変換は、前記ビットストリームから前記現在のブロックを復号することを含む、請求項1~10のいずれか1項に記載の方法。
【請求項12】
前記変換は、前記現在のブロックを前記ビットストリームに符号化することを含む、請求項1~10のいずれか1項に記載の方法。
【請求項13】
プロセッサと命令を記憶する非一時的メモリとを備える、映像データをコーディングする装置であって、前記プロセッサによって実行される前記命令は前記プロセッサに、
映像の映像ユニットにおける現在のブロックと前記映像のビットストリームとの間の変換について、コーディングユニットである前記現在のブロックが、前記コーディングユニットの予測モードであるジオメトリ分割モードでコーディングされることを決定することと、前記ジオメトリ分割モードにおいて、前記現在のブロックの第1のジオメトリ分割のための第1の動き情報と、前記現在のブロックの第2のジオメトリ分割のための第2の動き情報とが決定され、前記第1の動き情報と前記第2の動き情報とに基づいて導出された予測サンプルの重み付け合計に基づいて、前記現在のブロックの重み付け領域内のサンプルの最終予測を生成するための重み付け処理が適用され、
前記決定に基づいて前記変換を実行することと、を行わせ、
前記ビットストリームは、前記映像ユニットにおいて有効化される前記ジオメトリ分割モードに対して許容される動き候補の最大数を示すシーケンスパラメータセット(SPS)のフィールドを含み、
前記フィールドは、前記ビットストリームに明示的に含まれ、Mと前記許容される動き候補の最大数との間の差が設定され、Mは整数であり、
前記現在のブロックに対する前記許容される動き候補の最大数は、Mから前記フィールドによって示される前記差をマイナスした値に設定され、
Mは6以下である、映像データをコーディングする装置。
【請求項14】
命令を記憶する非一時的なコンピュータ読み取り可能な記憶媒体であって、前記命令はプロセッサに、
映像の映像ユニットにおける現在のブロックと前記映像のビットストリームとの間の変換について、コーディングユニットである前記現在のブロックが、前記コーディングユニットの予測モードであるジオメトリ分割モードでコーディングされることを決定することと、前記ジオメトリ分割モードにおいて、前記現在のブロックの第1のジオメトリ分割のための第1の動き情報と、前記現在のブロックの第2のジオメトリ分割のための第2の動き情報とが決定され、前記第1の動き情報と前記第2の動き情報とに基づいて導出された予測サンプルの重み付け合計に基づいて、前記現在のブロックの重み付け領域内のサンプルの最終予測を生成するための重み付け処理が適用され、
前記決定に基づいて前記変換を実行することと、を行わせ、
前記ビットストリームは、前記映像ユニットにおいて有効化される前記ジオメトリ分割モードに対して許容される動き候補の最大数を示すシーケンスパラメータセット(SPS)のフィールドを含み、
前記フィールドは、前記ビットストリームに明示的に含まれ、Mと前記許容される動き候補の最大数との間の差が設定され、Mは整数であり、
前記現在のブロックに対する前記許容される動き候補の最大数は、Mから前記フィールドによって示される前記差をマイナスした値に設定され、
Mは6以下である、非一時的なコンピュータ読み取り可能な記憶媒体。
【請求項15】
映像処理装置によって実行される方法によって生成されるビットストリームを記憶する非一時的なコンピュータ読み取り可能な記録媒体であって、前記方法は、
映像の映像ユニットにおける現在のブロックと前記映像のビットストリームとの間の変換について、コーディングユニットである前記現在のブロックが、前記コーディングユニットの予測モードであるジオメトリ分割モードでコーディングされることを決定することと、前記ジオメトリ分割モードにおいて、前記現在のブロックの第1のジオメトリ分割のための第1の動き情報と、前記現在のブロックの第2のジオメトリ分割のための第2の動き情報とが決定され、前記第1の動き情報と前記第2の動き情報とに基づいて導出された予測サンプルの重み付け合計に基づいて、前記現在のブロックの重み付け領域内のサンプルの最終予測を生成するための重み付け処理が適用され、
前記決定に基づいて前記ビットストリームを生成することと、含み、
前記ビットストリームは、前記映像ユニットにおいて有効化される前記ジオメトリ分割モードに対して許容される動き候補の最大数を示すシーケンスパラメータセット(SPS)のフィールドを含み、
前記フィールドは、前記ビットストリームに明示的に含まれ、Mと前記許容される動き候補の最大数との間の差が設定され、Mは整数であり、
前記現在のブロックに対する前記許容される動き候補の最大数は、Mから前記フィールドによって示される前記差をマイナスした値に設定され、
Mは6以下である、非一時的なコンピュータ読み取り可能な記録媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正の内容】
【0001】
関連出願の相互参照
本願は、2018年11月6日出願の国際特許出願PCT/CN2018/114057号、2019年5月17日出願の国際特許出願PCT/CN2019/087372号、2019年6月5日出願の国際特許出願PCT/CN2019/090127、および2019年6月20日出願の国際特許出願PCT/CN2019/092151号の優先権および利益を主張する、2019年6月11月6日出願の国際特許出願PCT/CN2019/116078号に基づく、2021年4月28日出願の日本国特許出願第2021-523359号の分割出願である前述の特許出願はすべて、参照によりその全体が本明細書に組み込まれる。
【外国語明細書】