(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024038053
(43)【公開日】2024-03-19
(54)【発明の名称】サブブロックに基づくインター予測のための調整方法
(51)【国際特許分類】
H04N 19/52 20140101AFI20240312BHJP
H04N 19/13 20140101ALI20240312BHJP
【FI】
H04N19/52
H04N19/13
【審査請求】有
【請求項の数】17
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023217004
(22)【出願日】2023-12-22
(62)【分割の表示】P 2023117792の分割
【原出願日】2019-11-22
(31)【優先権主張番号】PCT/CN2018/116889
(32)【優先日】2018-11-22
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2018/125420
(32)【優先日】2018-12-29
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/100396
(32)【優先日】2019-08-13
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/107159
(32)【優先日】2019-09-22
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Beijing Bytedance Network Technology Co., Ltd.
【住所又は居所原語表記】Room B-0035, 2/F, No.3 Building, No.30, Shixing Road, Shijingshan District Beijing 100041 China
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】ジャン カイ
(72)【発明者】
【氏名】ジャン リー
(72)【発明者】
【氏名】リウ ホンビン
(72)【発明者】
【氏名】シュ ジジョン
(72)【発明者】
【氏名】ワン ユエ
(57)【要約】 (修正有)
【課題】サブブロックに基づくインター予測方法を含む、デジタル映像符号化のためのデバイス、システムおよび方法を提供する。
【解決手段】映像処理方法は、映像の現在のブロックと映像のビットストリーム表現との間での変換のため、サブブロックに基づくマージ候補リストにおける最大数の候補および/またはサブブロックに基づく時間的動きベクトル予測(SbTMVP)候補を、時間的動きベクトル予測(TMVP)が変換中の使用に対して有効であるかどうか又は変換に、現在のピクチャ参照(CPR)符号化モードを使用するかどうかに基づいて、サブブロックに基づくマージ候補リストに加えるかどうかを判定することと、判定に基づいて、前記変換を行うこと、を含む。
【選択図】
図30
【特許請求の範囲】
【請求項1】
映像処理方法であって、
映像の現在のブロックと前記映像のビットストリーム表現との間での変換のために、サ
ブブロックに基づくマージ候補リストにおける最大数の候補(ML)、および/または時
間的動きベクトル予測(SbTMVP)を、前記サブブロックに基づくマージ候補リスト
に加えるかどうかを、時間的動きベクトル予測(TMVP)を変換中の使用に対して有効
であるか、または現在のピクチャ参照(CPR)符号化モードが前記変換に使用されてい
るかどうかに基づいて、判定することと、
この判定に基づいて変換を行うことと、
を含む方法。
【請求項2】
前記TMVPツールが無効であるか、またはSbTMVPツールが無効である判定に基
づいて、前記SbTMVP候補の前記使用を無効にする、
請求項1に記載の方法。
【請求項3】
MLを判定することは、
前記SbTMVPツールまたは前記TMVPツールが無効にされているかどうかに基づ
いて、前記サブブロックに基づくマージ候補リストからSbTMVP候補を除外すること
を含む、
請求項2に記載の方法。
【請求項4】
映像処理方法であって、
映像の現在のブロックと前記映像のビットストリーム表現との間での変換のために、時
間的動きベクトル予測(TMVP)、サブブロックに基づく時間的動きベクトル予測(S
bTMVP)ツール、およびアフィン符号化モードがこの変換に対する使用に対して有効
であるかどうかに基づいて、サブブロックに基づくマージ候補リストにおける最大数の候
補(ML)を判定することと、
この判定に基づいて変換を行うことと、
を含む方法。
【請求項5】
前記アフィン符号化モードが有効にされている場合にMLがオンザフライで設定され、
前記ビットストリーム表現で信号通知される、
請求項4に記載の方法。
【請求項6】
前記アフィン符号化モードが無効にされている場合にMLが予め定義される、
請求項4に記載の方法。
【請求項7】
MLを判定することは、
前記TMVPツールが無効にされており、場合にMLを0に設定すると、SbTMVP
ツールが有効にされており、前記現在のブロックのアフィン符号化モードが無効にされる
、
請求項2または6に記載の方法。
【請求項8】
MLを判定することは、
SbTMVPツールが有効になっており、前記TMVPツールが有効になっており、前
記現在のブロックのアフィン符号化モードが無効になっている場合に、MLを1に設定す
る、
請求項2または6に記載の方法。
【請求項9】
SbTMVPツールが無効にされているか、または前記現在のブロックの現在のピクチ
ャのコロケーションされた参照ピクチャが前記現在のピクチャである場合に、前記SbT
MVP候補の使用が無効にされる、
請求項1に記載の方法。
【請求項10】
MLを判定することは、
前記SbTMVPツールが無効になっているか、または前記現在のピクチャの前記コロ
ケーションされた参照ピクチャが前記現在のピクチャであるか、に基づいて、前記サブブ
ロックに基づくマージ候補リストから前記SbTMVP候補を除外する、
請求項9に記載の方法。
【請求項11】
MLを判定することは、
前記現在のピクチャの前記コロケーションされた参照ピクチャが前記現在のピクチャで
ある場合にMLを0に設定し、前記現在のブロックのアフィン符号化を無効にする、
請求項9に記載の方法。
【請求項12】
MLを判定することは、
前記SbTMVPツールが有効になっており、前記現在のピクチャの前記コロケーショ
ンされた参照ピクチャが前記現在のピクチャでなく、前記現在のブロックのアフィン符号
化が無効にされる場合に、MLを1に設定する、
請求項9に記載の方法。
【請求項13】
SbTMVPツールが無効になっている、または参照ピクチャリスト0(L0)におけ
る参照ピクチャインデックス0を有する参照ピクチャが前記現在のブロックの現在のピク
チャである場合に、前記SbTMVP候補の前記使用が無効にされる、
請求項1に記載の方法。
【請求項14】
MLを判定することは、
前記SbTMVPツールが無効になっているか、またはL0における参照ピクチャイン
デックス0を有する前記参照ピクチャが前記現在のピクチャであるか、に基づいて、前記
サブブロックに基づくマージ候補リストから前記SbTMVP候補を除外する、
請求項13に記載の方法。
【請求項15】
MLを判定することは、
前記SbTMVPツールが有効にされており、L0における前記参照ピクチャインデッ
クス0を有する参照ピクチャは前記現在のピクチャであり、前記現在のブロックのアフィ
ン符号化が無効にされている場合に、MLを0に設定する、
請求項13に記載の方法。
【請求項16】
MLを判定することは、
前記SbTMVPツールが有効にされており、L0における参照ピクチャインデックス
0の前記参照ピクチャが前記現在のピクチャではなく、前記現在のブロックのアフィン符
号化が無効にされている場合に、MLを1に設定することを含む、
請求項13に記載の方法。
【請求項17】
SbTMVPツールが無効にされているか、または参照ピクチャリスト1(L1)にお
ける参照ピクチャインデックス0を有する参照ピクチャが前記現在のブロックの現在のピ
クチャである場合に、前記SbTMVP候補の前記使用が無効にされる、
請求項1に記載の方法。
【請求項18】
MLを判定することは、
前記SbTMVPツールが無効であるか、またはL1における前記参照ピクチャインデ
ックス0を有する前記参照ピクチャが現在のピクチャであるか、に基づいて、前記サブブ
ロックに基づくマージ候補リストから前記SbTMVP候補を除外する、
請求項17に記載の方法。
【請求項19】
MLを判定することは、
前記SbTMVPツールが有効にされ、L1における参照ピクチャインデックス0を有
する前記参照ピクチャが前記現在のピクチャであり、前記現在のブロックのアフィン符号
化が無効にされる場合に、MLを0に設定することを含む、
請求項17に記載の方法。
【請求項20】
MLを判定することは、
前記SbTMVPツールが有効になっており、L1における前記参照ピクチャインデッ
クス0を有する参照ピクチャが前記現在のピクチャではなく、前記現在のブロックのアフ
ィン符号化が無効にされている場合に、MLを1に設定することを含む、
請求項17に記載の方法。
【請求項21】
映像処理方法であって、
映像の第1の映像セグメントの現在のブロックと前記映像のビットストリーム表現との
間での変換のために、サブブロックに基づく動きベクトル予測(SbTMVP)モードは
、時間的動きベクトル予測(TMVP)モードが第1の映像セグメントレベルで無効にな
っているために、前記変換に対して無効になっていることを判定することと、
前記判定に基づいて前記変換を行うことと、を含み、
前記ビットストリーム表現は、前記SbTMVPモードの表示が含まれているかどうか
、および/または、マージ候補リストにおける前記TMVPモードの表示に対する前記S
bTMVPの前記表示の位置を規定するフォーマットに準拠している、
方法。
【請求項22】
前記第1の映像セグメントは、シーケンス、スライス、タイルまたはピクチャである、
請求項21に記載の方法。
【請求項23】
前記フォーマットは、前記第1の映像セグメントレベルに前記TMVPモードの前記表
示を含めることにより、前記SbTMVPモードの前記表示を省略することを規定する、
請求項21に記載の方法。
【請求項24】
前記フォーマットは、前記SbTMVPモードの前記表示が、前記TMVPモードの前
記表示の後に、復号化順に前記第1の映像セグメントレベルにあることを規定する、
請求項21に記載の方法。
【請求項25】
前記フォーマットは、前記TMVPモードが無効であると示された場合にSbTMVP
モードの表示を省略することを規定する、
請求項21~24のいずれか1項に記載の方法。
【請求項26】
前記フォーマットは、前記SbTMVPモードの前記表示が前記映像のシーケンスレベ
ルに含まれ、第2の映像セグメントレベルでは省略されることを規定する、
請求項21に記載の方法。
【請求項27】
前記第2の映像セグメントレベルの第2の映像セグメントは、スライス、タイルまたは
ピクチャである、
請求項26に記載の方法。
【請求項28】
前記変換は、前記ビットストリーム表現から前記現在のブロックを生成する、
請求項1~27のいずれか1項に記載の方法。
【請求項29】
前記変換は、前記ビットストリーム表現から前記現在の映像ブロックを生成する、
請求項1~27のいずれか1項に記載の方法。
【請求項30】
前記変換を行うことは、1つ以上の復号化規則に基づいて前記ビットストリーム表現を
構文解析することを含む、
請求項1~27のいずれか1項に記載の方法。
【請求項31】
処理装置と、命令を搭載した非一時的メモリと、を備え、前記処理装置が実行すると、
前記命令は、前記処理装置に、請求項1~30のいずれか1項以上に記載の前記方法を
実装させる、
映像システムにおける装置。
【請求項32】
非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、
請求項1~30のいずれか1項以上に記載の前記方法を実行するためのプログラムコー
ドを含む、
コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2018
年11月22日出願の国際特許出願PCT/CN2018/116889号、2018年
12月29日出願の国際特許出願PCT/CN2018/125420号、2019年8
月13日出願の国際特許出願PCT/CN2019/100396号、および2019年
9月22日出願の国際特許出願PCT/CN2019/107159号の優先権および利
益を適時に主張することを目的とする。米国法に基づくすべての目的のために、上記出願
の開示全体は、本明細書の開示の一部として参照により組み込まれる。
【0002】
本明細書は、画像および映像符号化および復号化に関する。
【背景技術】
【0003】
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネットおよび
他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像の受信
および表示が可能な接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に
対する帯域幅需要は増大し続けることが予測される。
【発明の概要】
【0004】
サブブロックに基づくインター予測方法を含む、デジタル映像符号化に関連するデバイ
ス、システム、および方法を説明する。記載された方法は、既存の映像符号化規格(例え
ば、高効率映像符号化(HEVC)および/または汎用映像符号化(VVC))および将
来の映像符号化規格またはビデオコーデックの両方に適用され得る。
【0005】
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使
用してもよい。この方法は、映像の現在のブロックと映像のビットストリーム表現との間
での変換のために、サブブロックに基づくマージ候補リストにおける最大数の候補(ML
)および/または、サブブロックに基づく時間的動きベクトル予測(SbTMVP)候補
を、時間的動きベクトル予測(TMVP)が変換時に有効とされているかどうか、または
、変換に、現在のピクチャ参照(CPR)符号化モードを使用するかどうかに基づいて、
サブブロックに基づくマージ候補リストに加えるかどうかを判定することと、この判定に
基づいて変換を行うことを含む。
【0006】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、映像の現在のブロックと映像のビットストリーム表現との間での変
換のために、時間的動きベクトル予測(TMVP)、サブブロックに基づく時間的動きベ
クトル予測(SbTMVP)ツール、およびアフィン符号化モードが変換時の使用に対し
て有効であるかどうかに基づいて、サブブロックに基づくマージ候補リストにおける候補
の最大数(ML)を判定することと、この判定に基づいて変換を行うことを含む。
【0007】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、映像の第1の映像セグメントの現在のブロックと映像のビットスト
リーム表現との間での変換のために、サブブロックに基づく動きベクトル予測(SbTM
VP)モードは、時間的動きベクトル予測(TMVP)モードが第1の映像セグメントレ
ベルで変換に対して無効になっているために、変換に対して無効にされていると判定する
ことと、その決定に基づいて、変換を行うことであって、ビットストリーム表現は、Sb
TMVPモードの表示が含めるかどうか、および/またはマージ候補リストにおけるTM
VPモードの表示に対するSbTMVPモードの表示の位置を規定するフォーマットに準
拠している、変換を行うことと、を含む。
【0008】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツ
ールまたは時間的動きベクトル予測(TMVP)ツールを使用して符号化された映像の現
在のブロックと、この映像のビットストリーム表現との間で変換を行うことを含み、現在
のブロックまたはこの現在のブロックの対応する位置の座標を、マスクを使用して、Sb
TMVPツールまたはTMVPツールに関連付けられた動きベクトルの圧縮に基づいて選
択的にマスクし、このマスクを適用することは、この座標の値とこのマスクの値とのビッ
ト単位のAND演算を含む。
【0009】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、映像の映像セグメントの現在のブロックの1つ以上特徴に基づいて
、この現在のブロックに基づいてサブブロックに基づく動きベクトル予測(SbTMVP
)ツールを適用するための、この現在のブロックの有効な対応する領域を判定することと
、この判定に基づいて、この現在のブロックとこの映像のビットストリーム表現との間で
の変換を行うこととを含む。
【0010】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツ
ールを使用して符号化される映像の現在のブロックに対して、デフォルトの動きベクトル
を判定することと、この判定に基づいて、現在のブロックとこの映像のビットストリーム
表現との間で変換を行うこととを含み、現在のブロックの中心位置に関連付けられた、こ
のコロケーションされたピクチャにおける対応する位置を含むブロックから動きベクトル
が得られない場合にこのデフォルトの動きベクトルが判定される。
【0011】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、映像の映像セグメントの現在のブロックについて、現在のブロック
の現在のピクチャが、参照ピクチャリストXにおけるインデックスがMに設定された参照
ピクチャであり、ここで、MおよびXが整数であり、X=0またはX=1である場合に映
像セグメントに対して、サブブロックに基づく時間的動きベクトル予測(SbTMVP)
ツールまたは時間的動きベクトル予測(TMVP)ツールが無効にされていると推論する
ことと、推論に基づいて、現在のブロックとビデオのビットストリーム表現との間で変換
を行うことと、を含む。
【0012】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、映像の現在のブロックに対して、現在のブロックの現在のピクチャ
が、参照ピクチャリストXにおけるインデックスがMに設定された参照ピクチャであり、
MおよびXが整数である場合にサブブロックに基づく時間的動きベクトル予測(SbTM
VP)ツールの適用が有効にされることを判定することと、この判定に基づいて、現在の
ブロックと映像のビットストリーム表現との間での変換を行うこととを含む。
【0013】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、映像の現在のブロックと映像のビットストリーム表現との間で変換
を行うことを含み、現在のブロックは、サブブロックに基づく符号化ツールを使用して符
号化され、この変換を行うことは、サブブロックに基づく時間的動きベクトル予測(Sb
TMVP)ツールが有効にされるか無効にされる場合に複数のビン(N)を使用してサブ
ブロックマージインデックスを統一方法で符号化することを含む。
【0014】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツ
ールを使用して符号化された映像の現在のブロックに対して、SbTMVPツールが現在
のブロックを含む現在のピクチャと異なるピクチャにおける対応するブロックの位置を突
き止めるために使用する動きベクトルを判定することと、この判定に基づいて、現在のブ
ロックと映像のビットストリーム表現との間で変換を行うこととを含む。
【0015】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、映像の現在のブロックと映像のビットストリーム表現との間での変
換のために、現在のブロックの変換に対してアフィン予測が有効にされるかどうかに基づ
いて、動きゼロアフィンマージ候補をサブブロックマージ候補リストに挿入するかどうか
を判定することと、この判定に基づいて、変換を行うことを含む。
【0016】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、映像の現在のブロックと、サブブロックマージ候補リストを使用す
る映像のビットストリーム表現との間での変換のために、サブブロックマージ候補リスト
が満たされていない場合にゼロ動き非アフィンパディング候補をサブブロックマージ候補
リストに挿入することと、挿入の後に、変換を行うことと、を含む。
【0017】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用して
もよい。この方法は、映像の現在のブロックと映像のビットストリーム表現との間での変
換のために、動きベクトルが、コロケーションされたピクチャにおける対応する位置を含
むブロックの1つ以上の動きベクトルから導出するものであると判定する規則を使用して
、動きベクトルを判定することと、動きベクトルに基づいて、この変換を行うこととを含
む。
【0018】
さらに別の例示的な態様では、ビデオエンコーダ装置が開示される。このビデオエンコ
ーダ装置は、本明細書で説明される方法を実装するように構成されている処理装置を含む
。
【0019】
さらに別の例示的な態様では、ビデオデコーダ装置が開示される。このビデオデコーダ
装置は、本明細書に記載の方法を実装するように構成されている処理装置を含む。
【0020】
さらに別の態様では、コードが記憶されたコンピュータ可読媒体が開示される。このコ
ードは、処理装置によって実行されると、この処理装置に、本明細書に記載の方法を実装
させる。
【0021】
これらの、および他の態様は、本明細書で説明される。
【図面の簡単な説明】
【0022】
【
図1】
図1は、マージ候補リスト構築の導出処理の一例を示す図である。
【
図2】
図2は、空間的マージ候補の位置の例を示す図である。
【
図3】
図3は、空間的マージ候補の冗長性チェックで考慮される候補対の例を示す図である。
【
図4A】
図4Aは、N×2N個の分割の第2の予測ユニット(PU)のための例示的な位置を示す図である。
【
図4B】
図4Bは、2N×N個の分割の第2の予測ユニット(PU)のための例示的な位置を示す図である。
【
図5】
図5は、時間的マージ候補のための動きベクトルのスケーリングの例を示す図である。
【
図6】
図6は、時間的マージ候補の候補位置の例、C0およびC1を示す図である。
【
図7】
図7は、結合双予測マージ候補の例を示す図である。
【
図8】
図8は、動きベクトル予測候補の導出処理例を示す図である。
【
図9】
図9は、空間的動きベクトル候補のための動きベクトルのスケーリングの例を示す図である。
【
図10】
図10は、CUのための代替的な時間的動きベクトル予測(ATMVP)動き予測の例を示す図である。
【
図11】
図11は、4つのサブブロック(A-D)およびその近傍のブロックを有する1つのCUの例を示す図である。
【
図12】
図12は、異なるMV精度で符号化する例のフローチャートである。
【
図13A】
図13Aは、135度分割タイプ(左上隅から右下隅への分割)を示す図である。
【
図14】
図14は、近傍のブロックの位置の例を示す図である。
【
図15】
図15は、上側および左右のブロックの例を示す図である。
【
図16A】
図16Aは、2つの制御点動きベクトル(CPMV)の例を示す図である。
【
図17】
図17は、サブブロックごとのアフィン動きベクトルフィールド(MVF)の例を示す図である。
【
図19】
図19は、継承されたアフィン候補のAF_INTERのMVPの例を示す図である。
【
図20】
図20は、AF_INTERでアフィン動き予測子を構築する例を示す図である。
【
図21A】
図21Aは、AF_MERGEにおけるアフィン符号化における制御点動きベクトルの例を示す図である。
【
図21B】
図21Bは、AF_MERGEにおけるアフィン符号化における制御点動きベクトルの例を示す図である。
【
図22】
図22は、アフィンマージモードの候補位置の例を示す図である。
【
図23】
図23は、ピクチャ内ブロックコピー動作の一例を示す図である。
【
図24】
図24は、コロケーションされたピクチャにおける有効な対応する領域の例を示す図である。
【
図25】
図25は、履歴に基づく動きベクトル予測のための例示的なフローチャートを示す図である。
【
図26】
図26は、修正されたマージリスト構築処理を示す図である。
【
図27】
図27は、現在のブロックが基本領域内にある場合の、提案される有効領域の例示的な実施形態を示す図である。
【
図28】
図28は、現在のブロックが基本領域内にない場合の有効領域の例示的な実施形態を示す図である。
【
図29A】
図29Aは、既存のデフォルト動き情報の識別のための場所の例を示す図である。
【
図29B】
図29Bは、提案されたデフォルト動き情報の識別のための場所の例を示す図である。
【
図30】
図30は、映像処理方法の例を示すフローチャートである。
【
図31】
図31は、映像処理方法の例を示すフローチャートである。
【
図32】
図32は、映像処理方法の例を示すフローチャートである。
【
図33】
図33は、映像処理方法の例を示すフローチャートである。
【
図34】
図34は、映像処理方法の例を示すフローチャートである。
【
図35】
図35は、映像処理方法の例を示すフローチャートである。
【
図36】
図36は、映像処理方法の例を示すフローチャートである。
【
図37】
図37は、映像処理方法の例を示すフローチャートである。
【
図38】
図38は、映像処理方法の例を示すフローチャートである。
【
図39】
図39は、映像処理方法の例を示すフローチャートである。
【
図40】
図40は、映像処理方法の例を示すフローチャートである。
【
図41】
図41は、映像処理方法の例を示すフローチャートである。
【
図42】
図42は、映像処理方法の例を示すフローチャートである。
【
図43】
図43は、本明細書に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実装するためのハードウェアプラットフォームの一例を示すブロック図である。
【
図44】
図44は、開示される技術が実装され得る例示的な映像処理システムのブロック図である。
【発明を実施するための形態】
【0023】
本明細書は、伸張または復号化されたデジタル映像または画像の品質を向上させるため
に、ビデオビットストリームのデコーダで使用できる様々な技術を提供する。さらに、ビ
デオエンコーダは、さらなる符号化に使用される復号化されたフレームを再構成するため
に、符号化の処理中にこれらの技術を実装してもよい。
【0024】
本明細書では、理解を容易にするために章見出しを使用しているが、実施形態および技
術を、対応する章に限定するものではない。このように、一つの章からの実施形態は、他
の章からの実施例と組み合わせることができる。
【0025】
1. 概要
【0026】
本特許明細書は、映像符号化技術に関する。具体的には、本発明は、映像符号化におけ
る動きベクトル符号化に関する。本発明は、HEVCのような既存の映像符号化規格また
はファイナライズされるべき規格(例えば、汎用映像符号化)に適用され得る。本発明は
、将来の映像符号化規格またはビデオコーデックにも適用可能である。
【0027】
2. 序文
【0028】
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発
展してきた。ITU-TはH.261とH.263を、ISO/IECはMPEG-1と
MPEG-4Visualを、両団体はH.262/MPEG-2VideoとH.26
4/MPEG-4高度映像符号化(AVC)とH.265/HEVC規格を共同で作成し
た。映像符号化規格、H.262は、時間的予測プラス変換符号化が利用されるハイブリ
ッド映像符号化構造に基づく。HEVCを超えた将来の映像符号化技術を探索するため、
2015年には、VCEGとMPEGが共同で共同映像探索チーム(Joint Vid
eo Exploration Team:JVET)を設立した。それ以来、多くの新
しい方法がJVETによって採用され、共同探索モデル(JEM)と呼ばれる参照ソフト
ウェアに組み込まれてきた。2018年4月、VCEG(Q6/16)とISO/IEC
JTC_1 SC29/WG11(MPEG)の間に共同映像探索チーム(JVET)
が作られ、HEVCと比較してビットレートを50%低減することを目標としたVVC規
格に取り組むことになった。
【0029】
VVCドラフトの最新バージョン、即ち、汎用映像符号化(ドラフト3)は、以下を参
照することができる。
【0030】
http://phenix.it-sudparis.eu/jvet/doc_e
nd_user/documents/12_Macao/wg11/JVET-L10
01-v2.zip VTMと呼ばれるVVCの最新のリファレンスソフトウェアは、以
下を参照。
【0031】
https://vcgit.hhi.fraunhofer.de/jvet/VV
CSoftware_VTM/tags/VTM-3.0rC1
【0032】
2.1 HEVC/H.265におけるインター予測
【0033】
各インター予測されたPUは、1つまたは2つの参照ピクチャリストのための動きパラ
メータを有する。動きパラメータは、動きベクトルおよび参照ピクチャインデックスを含
む。2つの参照ピクチャリストのうちの1つの参照ピクチャリストの使用は、inter
_pred_idcを使用して信号通知されてもよい。動きベクトルは、予測子に対する
デルタ(delta)として明確に符号化されてもよい。
【0034】
1つのCUがスキップモードで符号化される場合、1つのPUがこのCUに関連付けら
れ、有意な残差係数がなく、符号化動きベクトルデルタも参照ピクチャインデックスもな
い。マージモードを指定し、これにより、現在のPUのための動きパラメータを、空間的
および時間的候補を含む近傍のPUから取得する。マージモードは、スキップモードのた
めだけでなく、任意のインター予測されたPUに適用することができる。マージモードの
代替としては、動きパラメータの明確な送信があり、PUごとに、各参照ピクチャリスト
および参照ピクチャリストの使用に対応する参照ピクチャインデックスである、動きベク
トル(より正確には、動きベクトル予測子(MVD)と比較した動きベクトルの差)を明
確に信号通知する。このようなモードを、本開示では高度動きベクトル予測(AMVP)
と呼ぶ。
【0035】
2つの参照ピクチャリストのうちの1つを使用することを信号通知が示す場合、1つの
サンプルのブロックからPUを生成する。これを「単一予測」と呼ぶ。単一予測は、Pス
ライスおよびBスライスの両方に利用可能である。
【0036】
両方の参照ピクチャリストを使用することを信号通知が示す場合、2つのサンプルのブ
ロックからPUを生成する。これを「双予測」と呼ぶ。Bスライスのみに双予測が利用可
能である。
【0037】
以下、HEVCに規定されるインター予測モードについて詳細に説明する。まず、マー
ジモードについて説明する。
【0038】
2.1.1 参照ピクチャリスト
【0039】
HEVCにおいて、インター予測という用語は、現在の復号化されたピクチャ以外の参
照ピクチャのデータ要素(例えば、サンプル値または動きベクトル)から導出された予測
を示すために使用される。H.264/AVCと同様に、複数の参照ピクチャから1つの
ピクチャを予測することができる。インター予測に使用される参照ピクチャは、1つ以上
の参照ピクチャリストにまとめられる。参照インデックスは、リストにおけるいずれの参
照ピクチャを使用して予測信号を生成するかを識別する。
【0040】
1つの参照ピクチャリストList0はPスライスに用いられ、2つの参照ピクチャリ
ストList0およびList1はBスライスに使用される。なお、List0/1に含
まれる参照ピクチャは、撮影/表示順にしても、過去および将来のピクチャからのもので
あってもよい。
【0041】
2.1.2 マージモード
【0042】
2.1.2.1 マージモードの候補の導出
【0043】
マージモードを使用してPUを予測する場合、ビットストリームからマージ候補リスト
におけるエントリを指すインデックスを構文解析し、これを使用して動き情報を検索する
。このリストの構成は、HEVC規格で規定されており、以下のステップのシーケンスに
基づいてまとめることができる。
【0044】
・ ステップ1:初期候補導出
o ステップ1.1:空間的候補導出
o ステップ1.2:空間的候補の冗長性チェック
o ステップ1.3:時間的候補導出
・ ステップ2:追加候補挿入
o ステップ2.1:双予測候補の作成
o ステップ2.2:動きゼロ候補の挿入
【0045】
これらのステップは
図1にも概略的に示されている。空間的マージ候補導出のために、
5つの異なる位置にある候補の中から最大4つのマージ候補を選択する。時間的マージ候
補導出のために、2つの候補の中から最大1つのマージ候補を選択する。デコーダ側では
PUごとに一定数の候補を想定しているので、ステップ1で得られた候補の数が、スライ
スヘッダにおいて信号通知されるマージ候補の最大数(MaxNumMergeCand
)に達しない場合、追加の候補を生成する。候補の数は一定であるので、短縮された単項
2値化(TU)を使用して最良マージ候補のインデックスを符号化する。CUのサイズが
8に等しい場合、現在のCUのすべてのPUは、2N×2N予測ユニットのマージ候補リ
ストと同じ1つのマージ候補リストを共有する。
【0046】
以下、上述したステップに関連付けられた動作を詳しく説明する。
【0047】
2.1.2.2 空間的候補導出
【0048】
空間的マージ候補の導出において、
図2に示す位置にある候補の中から、最大4つのマ
ージ候補を選択する。導出の順序はA
1、B
1、B
0、A
0、B
2である。位置A
1、B
1、B
0、A
0のいずれかのPUが利用可能でない場合(例えば、別のスライスまたはタ
イルに属しているため)、またはイントラ符号化された場合にのみ、位置B
2が考慮され
る。位置A
1の候補を加えた後、残りの候補を加えると、冗長性チェックを受け、それに
より、同じ動き情報を有する候補を確実にリストから排除でき、符号化効率を向上させる
ことができる。計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えら
れる候補対のすべてを考慮することはしない。その代わりに、
図3の矢印で結ばれたペア
のみを考慮し、冗長性チェックに使用された対応する候補が同じ動き情報を持っていない
場合にのみ、候補をリストに加える。重複した動き情報の別のソースは、2N×2Nとは
異なる分割に関連付けられた「第2のPU」である。一例として、
図4A及び
図4Bは、
それぞれN×2Nおよび2N×Nの場合の第2のPUを示す。現在のPUをN×2Nに分
割する場合、リスト構築に位置A
1の候補は考慮されない。実際、この候補を加えること
により、双予測ユニットが同じ動き情報を有するようになり、1つの符号化ユニットに1
つのPUのみを有することは冗長である。同様に、現在のPUを2N×Nに分割する場合
、位置B
1は考慮されない。
【0049】
2.1.2.3 時間的候補導出
【0050】
このステップにおいて、1つの候補のみがリストに追加される。具体的には、この時間
的マージ候補の導出において、所与の参照ピクチャリストにおける現在のピクチャとの間
に最小のPOC差を有するピクチャに属する同一位置PUに基づいて、スケーリングされ
た動きベクトルを導出する。スライスヘッダにおいて、同一位置PUの導出に用いられる
参照ピクチャリストが明確に信号通知される。
図5に点線で示すように、時間的マージ候
補のスケーリングされた動きベクトルが得られる。これは、POC距離tbおよびtdを
利用して、同一位置PUの動きベクトルからスケーリングしたものである。tbは、現在
のピクチャの参照ピクチャと現在のピクチャのPOC差として規定し、tdは、同一位置
PUの参照ピクチャと同一位置ピクチャのPOC差として規定する。時間的マージ候補の
参照ピクチャインデックスをゼロに等しく設定する。このスケーリング処理の実際的な実
現については、HEVC仕様に記載されている。Bスライスの場合、2つの動きベクトル
、即ち、1つは参照ピクチャリスト0のためのもの、もう1つは参照ピクチャリスト1の
ためのもの、を取得し、これらを組み合わせることによって、双予測マージ候補を形成す
る。
【0051】
図5は、時間的マージ候補の動きベクトルのスケーリングを示す図である。
【0052】
参照フレームに属する同一位置PU(Y)において、
図6に示すように、候補C
0と候
補C
1との間で時間的候補の位置を選択する。位置C
0のPUが利用可能でなく、イント
ラ符号化されるか、または現在の符号化ツリーユニット(CTU別名、LCU、最大符
号化ユニット)行の外側にある場合、位置C
1が使用される。そうでない場合、位置C
0
が時間的マージ候補の導出に使用される。
【0053】
図6は、時間的マージ候補の候補位置C0、C1の例を示す。
【0054】
2.1.2.4 追加候補挿入
【0055】
時空間的マージ候補の他に、2つの追加のタイプのマージ候補、すなわち、結合双予測
マージ候補およびゼロマージ候補がある。時空間的マージ候補を利用することで、結合双
予測マージ候補を生成する。結合双予測マージ候補は、Bスライスのみに使用される。最
初の候補の第1の参照ピクチャリスト動きパラメータと別の候補の第2の参照ピクチャリ
スト動きパラメータとを組み合わせることで、結合双予測候補を生成する。これら2つの
タプルが異なる動き仮説を提供する場合、これらのタプルは、新しい双予測候補を形成す
る。一例として、
図7は、オリジナルリスト(左側)における、mvL0、refIdx
L0またはmvL1、refIdxL1を有する2つの候補を使用して、最終リスト(右
側)に加えられる結合双予測マージ候補を生成する場合を示す。これらの追加のマージ候
補を生成するために考慮される組み合わせについては、様々な規則が存在する。
【0056】
動きゼロ候補を挿入し、マージ候補リストにおける残りのエントリを埋めることにより
、MaxNumMergeCand容量にヒットする。これらの候補は、空間的変位がゼ
ロであり、ゼロから始まり、新しいゼロ動き候補をリストに加える度に増加する参照ピク
チャインデックスを有する。
【0057】
具体的には、マージリストが一杯になるまで、以下のステップを順に行う。
1. Pスライスの場合、変数numRefを、リスト0に関連付けられた参照ピクチャ
の数またはBスライスの場合、2つのリストにおける参照ピクチャの最小数のいずれかに
設定する。
2. 非反復動きゼロ候補を加える。
変数iが0~numRef-1の場合、MVを(0,0)に設定し、参照ピクチャインデ
ックスをiに設定したデフォルトの動き候補を、リスト0(Pスライスの場合)に追加し
、両方のリスト(Bスライスの場合)に加える。
3. MVを(0,0)に設定し、リスト0の参照ピクチャインデックスを0(Pスライ
スの場合)に設定し、両方のリストの参照ピクチャインデックスを0(Bスライスの場合
)に設定した繰り返し動きゼロ候補を加える。
【0058】
最終的には、これらの候補に対して冗長性チェックは行われない。
【0059】
2.1.3 高度動きベクトル予測(AMVP)
【0060】
AMVPは、動きパラメータの明確な伝送に使用される、動きベクトルの近傍のPUと
の時空間的相関を利用する。各参照ピクチャリストにおいて、左側、上側の時間的に近傍
のPU位置の可用性をチェックし、冗長な候補を取り除き、ゼロベクトルを加えることで
、候補リストの長さを一定にすることにより、動きベクトル候補リストを構築する。次い
で、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応す
るインデックスを送信することができる。マージインデックスの信号通知と同様に、最良
の動きベクトル候補のインデックスは、短縮された単項を使用して符号化される。この場
合に符号化対象の最大値は2である(
図8参照)。以下の章では、動きベクトル予測候補
の導出処理の詳細を説明する。
【0061】
2.1.3.1 AMVP候補の導出
【0062】
図8に、動きベクトル予測候補の導出処理をまとめる。
【0063】
動きベクトル予測において、空間的動きベクトル候補と時間的動きベクトル候補という
2つのタイプの動きベクトル候補が考えられる。空間的動きベクトル候補を導出するため
に、
図2に示したように、5つの異なる位置にある各PUの動きベクトルに基づいて、最
終的には2つの動きベクトル候補を導出する。
【0064】
時間的動きベクトル候補を導出するために、2つの異なる同一位置に配置された位置に
基づいて導出された2つの候補から1つの動きベクトル候補を選択する。第1の時空間的
候補リストを作成した後、リストにおける重複した動きベクトル候補を除去する。候補の
数が2よりも多い場合、関連づけられた参照ピクチャリストにおける参照ピクチャインデ
ックスが1よりも大きい動きベクトル候補をリストから削除する。時空間的動きベクトル
候補の数が2未満である場合は、追加のゼロ動きベクトル候補をリストに加える。
【0065】
2.1.3.2 空間的動きベクトル候補
【0066】
空間的動きベクトル候補の導出において、
図2に示すような位置にあるPUから導出さ
れた5つの候補のうち、最大2つの候補を考慮するそれらの位置は動きマージの位置と同
じである。現在のPUの左側のための導出の順序は、A
0、A
1、スケーリングされたA
0、スケーリングされたA
1として規定される。現在のPUの上側のための導出の順序は
、B
0、B
1、B
2、スケーリングされたB
0、スケーリングされたB
1、スケーリング
されたB
2として規定される。そのため、辺ごとに、動きベクトル候補として使用できる
場合は4つ、すなわち空間的スケーリングを使用する必要がない2つの場合と、空間的ス
ケーリングを使用する2つの場合とがある。4つの異なる場合をまとめると、以下のよう
になる。
【0067】
・ 空間的スケーリングなし
- (1)同じ参照ピクチャリスト、および同じ参照ピクチャインデックス(同じPOC
)
- (2)異なる参照ピクチャリストであるが、同じ参照ピクチャ(同じPOC)
・ 空間的スケーリング
- (3)同じ参照ピクチャリストであるが、異なる参照ピクチャ(異なるPOC)
- (4)異なる参照ピクチャリスト、および異なる参照ピクチャ(異なるPOC)
【0068】
最初に非空間的スケーリングの場合をチェックし、次に空間的スケーリングを行う。参
照ピクチャリストにかかわらず、POCが近傍のPUの参照ピクチャと現在のPUの参照
ピクチャとで異なる場合、空間的スケーリングを考慮する。左側候補のすべてのPUが利
用可能でないか、またはイントラ符号化されている場合、上側の動きベクトルのスケーリ
ングは、左側および上側MV候補の並列導出に役立つ。そうでない場合、上側の動きベク
トルに対して空間的スケーリングは許可されない。
【0069】
空間的スケーリング処理において、
図9に示すように、時間的スケーリングと同様にし
て、近傍のPUの動きベクトルをスケーリングする。主な違いは、現在のPUの参照ピク
チャリストおよびインデックスを入力として与え、実際のスケーリング処理は時間的スケ
ーリングと同じであることである。
【0070】
2.1.3.3 時間的動きベクトル候補
【0071】
参照ピクチャインデックスを導出する以外は、時間的マージ候補を導出するための処理
は、すべて、空間的動きベクトル候補を導出するための処理と同じである(
図6参照)。
参照ピクチャインデックスはデコーダに信号通知される。
【0072】
2.2 JEMにおけるサブCUに基づく動きベクトル予測方法
【0073】
QTBTを有するJEMにおいて、各CUは、各予測方向に対して最大1つの動きパラ
メータセットを有することができる。エンコーダにおいて、ラージCUをサブCUに分割
し、ラージCUのすべてのサブCUの動き情報を導出することにより、2つのサブCUレ
ベルの動きベクトル予測方法を考慮する。代替的な時間的動きベクトル予測(ATMVP
)方法により、各CUが、配列された参照ピクチャにおける現在のCUよりも小さい複数
のブロックから複数の動き情報のセットを取り出すことが可能となる。時空間的動きベク
トル予測(STMVP)法において、時間的動きベクトル予測子および空間的近傍動きベ
クトルを使用して、サブCUの動きベクトルを再帰的に導出する。
【0074】
サブCU動き予測のためにより正確な動きフィールドを保守するために、参照フレーム
の動き圧縮は現在無効にされている。
【0075】
図10は、CUのためのATMVP動き予測の例を示す。
【0076】
2.2.1 代替の時間的動きベクトル予測
【0077】
代替的な時間的動きベクトル予測(ATMVP)において、動きベクトル時間的動きベ
クトル予測(TMVP)法は、現在のCUより小さいブロックから複数動き情報のセット
(動きベクトルおよび参照インデックスを含む)を取り出すことで修正される。いくつか
の実装形態において、サブCUは、N×N個の正方形ブロックである(Nは、デフォルト
で4に設定される)。
【0078】
ATMVPは、CU内のサブCUの動きベクトルを2つのステップで予測する。第1の
ステップでは、参照ピクチャにおける対応するブロックを時間的ベクトルで特定する。こ
の参照ピクチャをモーションソースピクチャと呼ぶ。第2のステップでは、現在のCUを
サブCUに分割し、各サブCUに対応するブロックから、各サブCUの動きベクトルおよ
び参照インデックスを得る。
【0079】
第1のステップにおいて、現在のCUの空間的に近傍のブロックの動き情報によって、
参照ピクチャおよび対応するブロックを判定する。近傍のブロックの繰り返し走査処理を
回避するために、現在のCUのマージ候補リストにおける第1のマージ候補を用いる。第
1の利用可能な動きベクトルおよびその関連する参照インデックスを、時間的ベクトルお
よびモーションソースピクチャのインデックスに設定する。このように、ATMVPでは
、TMVPに比べて、対応するブロックをより正確に特定することができ、対応するブロ
ック(配列されたブロックと呼ばれることがある)は、常に現在のCUに対して右下また
は中心位置にある。
【0080】
第2のステップにおいて、現在のCUの座標に時間ベクトルを加えることで、モーショ
ンソースピクチャにおける時間的ベクトルにより、サブCUの対応するブロックを特定す
る。サブCUごとに、その対応するブロックの動き情報(中心サンプルを覆う最小の動き
グリッド)を使用して、サブCUの動き情報を導出する。対応するN×Nブロックの動き
情報を特定した後、HEVCのTMVPと同様に、現在のサブCUの動きベクトルおよび
参照インデックスに変換され、動きスケーリングや他の手順が適用される。例えば、デコ
ーダは、低遅延条件(すなわち、現在のピクチャのすべての参照ピクチャのPOCが現在
のピクチャのPOCよりも小さい)が満たされているか否かをチェックし、場合によって
は、動きベクトルMVx(参照ピクチャリストXに対応する動きベクトル)を使用して、
各サブCUの動きベクトルMVy(Xが0または1に等しく、Yが1-Xに等しい)を予
測する。
【0081】
2.2.2 時空間的動きベクトル予測(STMVP)
【0082】
この方法において、サブCUの動きベクトルは、ラスタスキャンの順に沿って再帰的に
導出される。
図11はこの概念を説明する。4つの4×4サブCU、A、B、C、および
Dを含む8×8CUを考える。現在のフレームの近傍の4×4ブロックには、a、b、c
、dというラベルが付けられている。
【0083】
サブCU Aの動きの導出は、その2つの空間的近傍を特定することで始まる。第1の
近傍は、サブCU Aの上のN×Nブロックである(ブロックc)。このブロックcが利
用可能でないか、またはイントラ符号化されている場合、サブCU Aより上の他のN×
N個のブロックをチェックする(ブロックcから始まり、左から右へ)。第2の近傍は、
サブCU Aの左側のブロックである(ブロックb)。ブロックbが利用可能でないか、
またはイントラ符号化されている場合、サブCU Aの左側の他のブロックをチェックす
る(ブロックbを中心に、上から下へ)。各リストの近傍のブロックから得られた動き情
報を、所与のリストの第1の参照フレームにスケーリングする。次に、HEVCで規定さ
れているTMVP導出と同じ手順に従って、サブブロックAの時間的動きベクトル予測子
(TMVP)を導出する。位置Dの同一位置のブロックの動き情報を取り出し、それに応
じてスケーリングする。最後に、動き情報を検索し、スケーリングした後、参照リストご
とにすべての利用可能な動きベクトル(3まで)を別個に平均する。この平均化された動
きベクトルを現在のサブCUの動きベクトルとする。
【0084】
2.2.3 サブCU動き予測モード信号通知
【0085】
サブCUモードは追加のマージ候補として有効とされ、モードを信号通知するために追
加の構文要素は必要とされない。ATMVPモードおよびSTMVPモードを表すように
、各CUのマージ候補リストに2つの追加のマージ候補を加える。シーケンスパラメータ
セットがATMVPおよびSTMVPが有効であることを示す場合、7個までのマージ候
補を使用する。追加のマージ候補のエン符号化ロジックは、HMにおけるマージ候補の場
合と同じであり、つまり、PまたはBスライスにおける各CUについて、2つの追加のマ
ージ候補に対して2回以上のRDチェックが必要となる。
【0086】
JEMにおいて、マージインデックスのすべての2値は、CABACによってコンテキ
スト符号化される。一方、HEVCにおいては、第1の2値のみがコンテキスト符号化さ
れ、残りの2値はコンテキストバイパス符号化される。
【0087】
2.3 VVCにおけるインター予測方法
【0088】
MVDを信号通知するための適応動きベクトル差解像度(AMVR)、アフィン予測モ
ード、三角形予測モード(TPM)、ATMVP、一般化双予測(GBI)、双方向オプ
ティカルフロー(BIO)などのインター予測を改良するための新しい符号化ツールがい
くつか存在する。
【0089】
2.3.1 適応動きベクトル差解像度
【0090】
HEVCにおいて、use_integer_mv_flagがスライスヘッダにおい
て0であるとき、1/4輝度サンプルの単位で動きベクトルの差(MVD)(動きベクト
ルとPUの予測動きベクトルとの差)が信号通知される。VVCにおいて、ローカル適応
動きベクトル解像度(LAMVR)が導入される。VVCにおいて、MVDは、1/4輝
度サンプル、整数輝度サンプルまたは4つの輝度サンプル(即ち、1/4画素、1画素、
4画素)の単位で符号化することができる。MVD分解能は符号化ユニット(CU)レベ
ルで制御され、MVD解像度フラグは、少なくとも1つのノンゼロMVDモジュールを有
する各CUに対して条件付きで信号通知される。
【0091】
少なくとも1つのノンゼロMVDモジュールを有するCUの場合、1/4輝度サンプル
MV精度がCUにおいて使用されるか否かを示すために、第1のフラグが信号通知される
。第1のフラグ(1に等しい)が、1/4輝度サンプルMV精度が使用されていないこと
を示す場合、整数輝度サンプルMV精度が使用されるかまたは4輝度サンプルMV精度が
使用されるかを示すために、別のフラグが信号通知される。
【0092】
CUの第1のMVD解像度フラグがゼロであるか、またはCUに対して符号化されてい
ない(つまり、CUにおけるすべてのMVDがゼロである)場合、CUに対して1/4輝
度サンプルMV解像度が使用される。CUが整数輝度サンプルMV精度または4輝度サン
プルMV精度を使用する場合、CUのAMVP候補リストにおけるMVPを対応する精度
に丸める。
【0093】
エンコーダにおいて、CUレベルのRDチェックは、どのMVD解像度をCUに用いる
かを判定するために使用される。すなわち、1つのMVD解像度ごとに3回、CUレベル
のRDチェックを行う。エンコーダの速度を速めるために、JEMにおいては、以下の符
号化方式が適用される。
【0094】
●通常の1/4輝度サンプルMVD解像度を有するCUのRDチェック中、現在のCUの
動き情報(整数輝度サンプル精度)が記憶される。整数輝度サンプルおよび4輝度サンプ
ルのMVD解像度を有する同じCUのRDチェック中に、記憶された動き情報(丸められ
た後)は、更なる小範囲動きベクトル改良の開始点として使用されるので、時間がかかる
動き推定処理が3回重複しない。
【0095】
●4輝度サンプルMVD解像度を有するCUのRDチェックを条件付きで呼び出す。CU
の場合、整数輝度サンプルMVD解像度のRDコストが1/4輝度サンプルMVD解像度
のそれよりもはるかに大きい場合、CUのための4輝度サンプルMVD解像度のRDチェ
ックはスキップされる。
【0096】
符号化処理を
図12に示す。まず、1/4画素MVをテストし、RDコストを計算し、
RDCost0と表し、次に、整数MVをテストし、RDコストをRDCost1と表す
。RDCost1<th*RDCost0(ただし、thは正の値である)である場合、
4画素MVをテストし、そうでない場合、4画素MVをスキップする。基本的に、整数ま
たは4画素MVをチェックするときには、1/4画素MVに対して動き情報およびRDコ
スト等が既知であり、これを再利用して整数または4画素MVの符号化処理を高速化する
ことができる。
【0097】
2.3.2 三角形予測モード
【0098】
三角形予測モード(TPM)の概念は、動き補償予測のために新しい三角形分割を導入
することである。
図13A及び
図13Bに示すように、CUを対角線方向または逆対角線
方向に2つの三角形予測ユニットに分割する。CUにおける各三角形予測ユニットは、1
つの単一予測候補リストから導出された独自の単一予測動きベクトルおよび参照フレーム
インデックスを使用して、インター予測される。三角形予測ユニットを予測した後、対角
エッジに対して適応重み付け処理を行う。そして、CU全体に対して変換および量子化処
理を行う。なお、このモードは、マージモードにのみ適用される(なお、スキップモード
は、特別なマージモードとして扱われる)。
【0099】
図13A及び13Bは、CUを2つの三角形予測ユニット(2つの分割パターン)に分
割する説明図である。
図13A:135度分割タイプ(左上隅から右下隅への分割)、図
13B:45度分割パターン。
【0100】
2.3.2.1 TPMの単一予測候補リスト
【0101】
TPM動き候補リストと呼ばれる単一予測候補リストは、5つの単一予測動きベクトル
候補からなる。これは、
図14に示すように、5つの空間的に近傍のブロック(1~5)
および2つの時間的に同一位置にあるブロック(6~7)を含む7つの近傍のブロックか
ら導出される。単一予測動きベクトル、双予測動きベクトルのL0動きベクトル、双予測
動きベクトルのL1動きベクトル、および双予測動きベクトルのL0、L1動きベクトル
の平均動きベクトルの順に、7つの近傍のブロックの動きベクトルを収集し、単一予測候
補リストに入れる。候補の数が5未満である場合、動きベクトルゼロをリストに加える。
このTPMリストに追加された動き候補をTPM候補と呼び、空間的/時間的ブロックか
ら導出された動き情報を正規の動き候補と呼ぶ。
【0102】
具体的には、以下のステップが含まれる。
【0103】
1)
空間的に近傍のブロックから正規の動き候補を加える場合、フルプルーニング操作
によって、A
1、B
1、B
0、A
0、B
2、Col、Col2から正規の動き候補を得る
(
図14のブロック1-7に対応)。
【0104】
2) 変数numCurrMergeCand=0を設定する。
【0105】
3) A1、B1、B0、A0、B2、Col、Col2から導出された各正規の動き候
補に対し、プルーニングされておらず、numCurrMergeCandが5未満の場
合、正規の動き候補が(List0またはList1のいずれかからの)単一予測である
場合は、numCurrMergeCandを1だけ増加させたTPM候補としてマージ
リストに直接加えられる。このようなTPM候補を、「もともと単一予測されている候補
」と命名する。
フルプルーニングを適用する。
【0106】
4) A1、B1、B0、A0、B2、Col、Col2から導出された各動き候補につ
いて、プルーニングされていない場合、およびnumCurrMergeCandが5未
満である場合、正規の動き候補が双予測である場合、リスト0からの動き情報を、新しい
TPM候補としてTPMマージリストに追加し(すなわち、リスト0から単一予測に修正
される)、numCurrMergeCandに1を加える。このようなTPM候補を、
「短縮List0予測候補」と呼ぶ。
フルプルーニングを適用する。
【0107】
5) A1、B1、B0、A0、B2、Col、Col2から導出された各動き候補につ
いて、プルーニングされていない場合、およびnumCurrMergeCandが5未
満である場合、正規の動き候補が双予測である場合、リスト1からの動き情報をTPMマ
ージリストに追加し(即ち、リスト1から単一予測に修正され)、numCurrMer
geCandを1だけ増加させる。このようなTPM候補を「短縮List1-予測候補
」と呼ぶ。
フルプルーニングを適用する。
【0108】
6) A1、B1、B0、A0、B2、Col、Col2から導出された各動き候補につ
いて、プルーニングされていない場合、正規の動き候補が双予測である場合は、numC
urrMergeCandが5未満である。
- List0参照ピクチャスライスQPがList1参照ピクチャスライスQPよりも
小さい場合、List1の動き情報をまずList0参照ピクチャにスケーリングし、2
つのMVの平均(一方はオリジナルList0からのもので、他方はList1からのス
ケーリングされたMV)をTPMマージリストに加える。このような候補を、List0
動き候補からの平均単一予測と呼び、numCurrMergeCandを1だけ増加さ
せる。
- そうでない場合、List0の動き情報をまずList1参照ピクチャにスケーリン
グし、2つのMVの平均(一方はオリジナルList1からのものであり、他方はLis
t0からのスケーリングされたMV)をTPMマージリストに加える。このようなTPM
候補を、List1動き候補からの平均単一予測と呼ばれ、numCurrMergeC
andを1だけ増加させる。
フルプルーニングを適用する。
【0109】
7) numCurrMergeCandが5未満である場合、ゼロ動きベクトル候補を
加える。
【0110】
リストに候補を挿入するとき、それが前述の追加されたすべての候補と比較されてそれ
らのうちの1つと同じであるかどうかを調べなければならない場合、このような処理はフ
ルプルーニングと呼ばれる。
【0111】
2.3.2.2 適応重み付け処理
【0112】
各三角形予測ユニットを予測した後、2つの三角形予測ユニット間の対角エッジに適応
重み付け処理を施し、CU全体の最終予測を導出する。2つの重み係数群を以下のように
定義する。
・ 第1の重み係数群は、{7/8,6/8,4/8,2/8,1/8}および{7/8
,4/8,1/8}をそれぞれ輝度および色差サンプルに用いる。
・ 第2の重み係数群は、{7/8、6/8、5/8、4/8、3/8、2/8、1/8
}および{6/8、4/8、2/8}をそれぞれ輝度および色差サンプルに使用する。
【0113】
2つの三角形予測ユニットの動きベクトルの比較に基づいて、重み係数群を選択する。
第2の重み係数群は、2つの三角形予測ユニットの参照ピクチャが異なる場合、またはそ
の動きベクトルの差が16画素よりも大きい場合に使用される。そうでない場合、第1の
重み係数群を使用する。
【0114】
2.3.2.3 三角形予測モード(TPM)の信号通知
【0115】
TPMが使用されているか否かを示すための1つのビットフラグが、まず信号通知され
てもよい。その後、(
図13A及び
図13Bに示すような)2つの分割パターン、および
2つの分割の各々の選択されたマージインデックスをさらに信号通知する。
【0116】
2.3.2.3.1 TPMフラグの信号通知
【0117】
1つの輝度ブロックの幅および高さを、それぞれWおよびHで表すことにする。W*H
<64の場合、三角形予測モードは無効になる。
【0118】
1つのブロックをアフィンモードで符号化する場合、三角形予測モードも無効にされる
。
【0119】
1つのブロックがマージモードで符号化されるとき、1つのビットフラグを信号通知し
て、このブロックに対して三角形予測モードが有効とされるか無効とされるかを示すこと
ができる。
【0120】
このフラグは、次式に基づいて、3つのコンテキストで符号化される。
Ctx index=((left block L available && L
is coded with TPM?)1:0)
+((Above block A available && A is coded
with TPM?)1:0);
【0121】
図15は、TPMフラグ符号化におけるコンテキスト選択に用いられる近傍のブロック
(AおよびL)の例を示す。
【0122】
2.3.2.3.2 2つの分割パターンの表示(
図13に示す)、および2つの分割の
各々に対して選択されたマージインデックスの信号通知
【0123】
なお、分割パターンと、2つの分割のマージインデックスとは、互いに符号化される。
既存の実装形態において、2つの分割が同じ参照インデックスを使用できなかったことが
制限される。そのため、2つの(分割パターン)*N(マージ候補の最大数)*(N-1
)個の可能性があり、Nが5に設定される。1つの表示はコード化され、分割パターン、
2つのマージインデックス、コード化された指示の間のマッピングは、以下に定義された
配列から導出される。
【0124】
const uint8_t g_TriangleCombination[TRIA
NGLE_MAX_NUM_CANDS][3]={
{0,1,0},{1,0,1},{1,0,2},{0,0,1},{0,2,0},
{1,0,3},{1,0,4},{1,1,0},{0,3,0},{0,4,0},
{0,0,2},{0,1,2},{1,1,2},{0,0,4},{0,0,3},
{0,1,3},{0,1,4},{1,1,4},{1,1,3},{1,2,1},
{1,2,0},{0,2,1},{0,4,3},{1,3,0},{1,3,2},
{1,3,4},{1,4,0},{1,3,1},{1,2,3},{1,4,1},
{0,4,1},{0,2,3},{1,4,2},{0,3,2},{1,4,3},
{0,3,1},{0,2,4},{1,2,4},{0,4,2},{0,3,4}}
;
【0125】
分割パターン(45度または135度)=g_TriangleCombinatio
n[signaled indication][0];
Merge index of candidate A=g_TriangleCom
bination[signaled indication][1];
Merge index of candidate B=g_TriangleCom
bination[signaled indication][2];
【0126】
2つの動き候補A、Bを導出すると、AまたはBのいずれか一方から2つの分割の(P
U1、PU2)動き情報を設定することができ、PU1がマージ候補AまたはBの動き情
報を使用するか否かは、2つの動き候補の予測方向に依存する。表1は、2つの分割を有
する、2つの導出された動き候補AおよびBの間の関係を示す。
【0127】
【0128】
2.3.2.3.3(merge_triangle_idxで示す)表示のエントロピ
ー符号化
【0129】
merge_triangle_idxは、[0,39](それぞれを含む)の範囲内
にある。K_th order Exponential Golomb(EG)コード
は、merge_triangle_idxの2値化に使用される(Kは1に設定される
)。
【0130】
K-th orderEG
【0131】
(より多くのビットを使用してより小さな数を符号化することを犠牲にして)より少ない
ビットでより大きな数を符号化するため、これは、非負の整数パラメータkを使用して一
般化され得る。非負の整数xを次数kのexp-Golombコードで符号化するには、
次のようにする。
1. 前述のorder-0 exp-Golombコードを使用して[x/2k]を符
号化する。次に、
2. x mod 2kをバイナリで符号化する。
【0132】
【0133】
2.3.3 アフィン動き補償予測
【0134】
HEVCにおいて、動き補償予測(MCP)のために並進運動モデルのみが適用される
。実際の世界ではあるが、動きには様々な種類があり、例えば、ズームイン/ズームアウ
ト、回転、透視運動、および他の不規則な動きがある。VVCにおいて、4パラメータア
フィンモデルおよび6パラメータアフィンモデルを使用して、簡易アフィン変換動き補償
予測を適用する。
図16A~
図16Bに示すように、ブロックのアフィン動きフィールド
は、4パラメータアフィンモデル(
図16A)の場合、2つの制御点動きベクトル(CP
MV)によって表され、6パラメータアフィンモデル(
図16B)の場合、3つのCPM
Vによって表される。
【0135】
ブロックの動きベクトルフィールド(MVF)は、式(1)における4パラメータアフ
ィンモデル(ここで、4パラメータを変数a、b、e、fとして定義する)および式(2
)における6パラメータアフィンモデル(ここで、4パラメータを変数a、b、c、d、
e、fとして定義する)を使用して、それぞれ、以下の式で表される。
【0136】
【0137】
【0138】
ここで、(mvh
0,mvh
0)は、左上隅の制御点の動きベクトルであり、(mvh
1,mvh
1)は、右上隅の制御点の動きベクトルであり、(mvh
2,mvh
2)は、
左下隅の制御点の動きベクトルであり、3つの動きベクトルは、すべて、制御点動きベク
トル(CPMV)と呼ばれ、(x,y)は、現在のブロック内の左上サンプルに対する代
表点の座標を表し、(mvh(x,y),mvv(x,y))は、(x,y)に位置する
サンプルに対して導出した動きベクトルである。CP動きベクトルは、信号通知されても
(アフィンAMVPモードのように)、またはオンザフライで導出されても(アフィンマ
ージモードのように)よい。wおよびhは、現在のブロックの幅および高さである。実際
、この除算は、丸め演算を伴う右シフトによって実装される。VTMにおいて、代表点を
サブブロックの中心位置とする。例えば、現在のブロックにおけるサブブロックの左上の
角の左上のサンプルの座標が(xs,ys)である場合、代表点の座標を(xs+2,y
s+2)とする。各サブブロック(すなわち、VTMにおいて4×4)について、代表点
を利用して、サブブロック全体の動きベクトルを導出する。
【0139】
動き補償予測をさらに簡単にするために、サブブロックに基づくアフィン変換予測が適
用される。各M×N(現在のVVCにおいて、MおよびNの両方を4に設定する)サブブ
ロックの動きベクトルを導出するために、
図17に示すように、各サブブロックの中心サ
ンプルの動きベクトルは、式(1)および式(2)に従って算出され、1/16の端数精
度に丸められる。次に、1/16画素の動き補償補間フィルタを適用し、導出された動き
ベクトルを使用して各サブブロックの予測を生成する。1/16画素の補間フィルタは、
アフィンモードで導入される。
【0140】
MCPの後、各サブブロックの高精度動きベクトルを丸め、通常の動きベクトルと同じ
精度で保存する。
【0141】
2.3.3.1 アフィン予測の信号通知
【0142】
並進運動モデルと同様に、アフィン予測によるサイド情報の信号通知にも2つのモード
がある。それらはAFFINE_INTERモードとAFFINE_MERGEモードで
ある。
【0143】
2.3.3.2. AF_INTERモード
【0144】
幅と高さの両方が8より大きいCUの場合、AF_INTERモードを適用することが
できる。AF_INTERモードが使用されるか否かを示すために、ビットストリームに
おいてCUレベルのアフィンフラグが信号通知される。
【0145】
本実施例において、各参照ピクチャリスト(リスト0またはリスト1)に対して、3種
類のアフィン動き予測子を使用して、以下の順にアフィンAMVP候補リストを構築し、
各候補は、現在のブロックの推定CPMVを含む。エンコーダ側で見つかった最良のCP
MVの差(
図20のmv
0、mv
1、mv
2など)および推定されたCPMVが信号通知される。さらに、推定されたCPMVを導出するアフィンAMVP候補のインデックスが信号通知される。
【0146】
1) 継承されたアフィン動き予測子
【0147】
そのチェック順序は、HEVC AMVPリスト構築における空間的MVPのチェック
順序に類似している。まず、{A1,A0}のうち、アフィン符号化された現在のブロッ
クと同じ参照ピクチャを有する第1のブロックから、左側の継承されたアフィン動き予測
子を導出する。次に、上記継承されたアフィン動き予測子を、アフィン符号化され、現在
のブロックと同じ参照ピクチャを有する{B1,B0,B2}における第1のブロックか
ら導出する、ブロックから導出する。
図19には、5つのブロックA1、A0、B1、B
0、B2が示されている。
【0148】
近傍のブロックがアフィンモードで符号化されていることが見出されると、この近傍の
ブロックを含む符号化ユニットのCPMVを使用して、現在のブロックのCPMVの予測
子を導出する。例えば、A1が非アフィンモードで符号化され、A0が4パラメータアフ
ィンモードで符号化される場合、左側の継承されたアフィンMV予測子は、A0から導出
する。この場合、
図21Bの左上のCPMVについてはMV
0
N、右上のCPMVについ
てはCPMVおよびMV
1
Nで示されるA0を含むCUのCPMVを使用して、左上(座
標(x0、y0))、現在のブロックの右上(座標(x1、y1))および右下の位置(
座標(x2、y2))に対してMV
0
C,MV
1
C,MV
2
Cで表される、現在のブロッ
クの推定CPMVを導出する。
【0149】
2) 構築されたアフィン動き予測子
【0150】
構築されたアフィン動き予測子は、
図20に示すように、近傍のインター符号化ブロッ
クから導出された、同じ参照ピクチャを有する制御点動きベクトル(CPMV)からなる
。現在のアフィン動きモデルが4パラメータアフィンである場合、CPMVの数は2であ
り、そうでない場合、現在のアフィン動きモデルが6パラメータアフィンである場合、C
PMVの数は3である。左上のCPMVm ̄v
0 ̄は、インターコードされており、現在
のブロックと同じ参照ピクチャを持っているグループ{A、B、C}の第1のブロックの
MVによって導出する。右上のCPMVm ̄v
1 ̄は、インターコードされており、現在
のブロックと同じ参照ピクチャを持っているグループ{D、E}の第1のブロックのMV
によって導出する。左下のCPMVm ̄v
2 ̄は、インターコードされており、現在のブ
ロックと同じ参照ピクチャを持っているグループ{F、G}の第1のブロックのMVによ
って導出する。
【0151】
- 現在のアフィンモーションモデルが4パラメータアフィンである場合、構築されたア
フィン動き予測子は、m ̄v0 ̄とm ̄v1 ̄の両方が確立されている場合、つまりm ̄
v0 ̄とm ̄v1 ̄の場合にのみ候補リストに挿入される。現在のブロックの左上(座標
(x0、y0))、右上(座標(x1、y1))の位置の推定CPMVとして使用される
。
【0152】
- 現在のアフィンモーションモデルが6パラメータアフィンである場合、m ̄v0 ̄、
m ̄v1 ̄、およびm ̄v2 ̄がすべて確立されている場合、つまりm ̄v0 ̄、m ̄v
1 ̄、およびm ̄v2 ̄がすべて、現在のブロックの位置の左上(座標(x0、y0))
、右上(座標(x1、y1))、および右下(座標(x2、y2))の推定CPMVとし
て使用される場合にのみ、構築されたアフィン動き予測子が候補リストに挿入される。
【0153】
構築されたアフィン動き予測子を候補リストに挿入する場合、プルーニング処理は適用
されない。
【0154】
3) 通常のAMVP動き予測子
【0155】
アフィン動き予測子の数が最大に達するまで、以下が適用される。
1) 利用可能な場合は、すべてのCPMVをm ̄v2 ̄に等しく設定して、アフィン動
き予測子を導出する。
2) 利用可能な場合は、すべてのCPMVをm ̄v1 ̄に等しく設定して、アフィン動
き予測子を導出する。
3) 利用可能な場合は、すべてのCPMVをm ̄v0 ̄に設定して、アフィン動き予測
子を導出する。
4) 利用可能な場合は、すべてのCPMVをHEVCTMVPに等しく設定することで
、アフィン動き予測子を導出する。
5) すべてのCPMVをゼロMVに設定することによって、アフィン動き予測子を導出
する。
【0156】
なお、m ̄vi ̄は、構築されたアフィン動き予測子ですでに導出されている。
【0157】
図18Aは、4パラメータアフィンモデルの例を示す。
図18Bは、6パラメータアフ
ィンモデルの例を示す。
【0158】
図19は、継承されたアフィン候補のAF_INTERのMVPの例を示す。
【0159】
図20は、構築されたアフィン候補のAF_INTERのMVPの例を示す。
【0160】
AF_INTERモードにおいて、4/6パラメータアフィンモードが使用される場合
、2/3個の制御点が必要であり、従って、
図18に示すように、これらの制御点のため
に2/3個のMVDを符号化することが必要である。既存の実装形態において、MVを以
下のように導出することが提案され、即ち、mvd
1およびmvd
2はmvd
0から予測
される。
【0161】
mv0=m ̄v0 ̄+mvd0
mv1=m ̄v1 ̄+mvd1+mvd0
mv2=m ̄v2 ̄+mvd2+mvd0
【0162】
ここで、m ̄v
i ̄、mvd
i、mv
1は、それぞれ、
図18Bに示すように、左上の
画素(i=0)、右上の画素(i=1)、左下の画素(i=2)の予測動きベクトル、動
きベクトルの差分、動きベクトルである。なお、2つの動きベクトル(例えば、mvA(
xA,yA)およびmvB(xB,yB))の加算は、2つのモジュールを別個に合計し
たものに等しく、即ち、newMV=mvA+mvBであり、newMVの2つのモジュ
ールをそれぞれ(xA+xB)および(yA+yB)に設定する。
【0163】
2.3.3.3 AF_MERGEモード
【0164】
AF_MERGEモードでCUを適用する場合、CUは、有効な近傍の再構築ブロック
から、アフィンモードで符号化された第1のブロックを得る。そして、候補ブロックの選
択順は、
図21AのA、B、C、D、Eの順に示すように、左、上、右上、左下から左上へとなる。例えば、隣接する左下のブロックが、
図21B中のA0で示されるように、アフィンモードで符号化される場合、ブロックAを含む近傍のCU/PUの左上隅、右上隅、左下隅の制御点(CP)動きベクトルmv
0
N、mv
1
Nおよびmv
2
Nを取り出す。そして、mv
0
N、mv
1
Nおよびmv
2
Nに基づいて、現在のCU/PUにおける左上/右上/左下の動きベクトルmv
0
C、mv
1
Cおよびmv
2
C(6パラメータアフィンモデルにのみ用いられる)を算出する。なお、VTM-2.0において、左上隅に位置するサブブロック(例えば、VTMにおける4×4ブロック)は、MV0を記憶し、右上隅に位置するサブブロックは、現在のブロックがアフィン符号化されている場合、mv1を記憶する。現在のブロックが6パラメータアフィンモデルで符号化されている場合、左下隅に位置するサブブロックはmv2を記憶し、そうでない場合(4パラメータアフィンモデルで)、LBはmv2’を記憶する。他のサブブロックは、MCに用いられるMVを記憶する。
【0165】
現在のCU mv0
C、mv1
C、mv2
CのCPMVを導出した後、簡易アフィン動きモデル式(1)、(2)にしたがって、現在のCUのMVFを生成する。現在のCUがAF_MERGEモードで符号化されているか否かを識別するために、アフィンモードで符号化された近傍のブロックが少なくとも1つある場合、ビットストリーム内にアフィンフラグを信号通知する。
【0166】
既存の実装形態において、アフィンマージ候補リストは、以下のステップを使用して構
築される。
【0167】
1) 継承されたアフィン候補を挿入する
【0168】
継承されたアフィン候補は、その有効な近傍アフィン符号化ブロックのアフィン動きモ
デルからその候補を導出することを意味する。近傍のブロックのアフィン動きモデルから
最大2つの継承されたアフィン候補を導出し、候補リストに挿入する。左側の予測子の場
合、スキャン順序は{A0,A1}であり、上記の予測子の場合、スキャン順序は{B0
,B1,B2}である。
【0169】
2) 構築されたアフィン候補を挿入する
【0170】
アフィンマージ候補リストにおける候補の数がMaxNumAffineCand未満
である場合(例えば、5個)、構築されたアフィン候補を候補リストに挿入する。構築さ
れたアフィン候補は、各制御点の近傍の動き情報を組み合わせることで候補を構築するこ
とを意味する。
【0171】
a) まず、
図22に示される特定された空間的近傍および時間的近傍から、制御点の動
き情報を導出する。CPk(k=1,2,3,4)は、k番目の制御点を表す。A0,A
1、A2、B0、B1、B2、B3は、CPk(k=1,2,3)を予測するための空間
的位置であり、Tは、CP4を予測するための時間的位置である。
CP1、CP2、CP3、CP4の座標は、それぞれ、(0、0)、(W、0)、(H
、0)、(W、H)であり、W、Hは、現在のブロックの幅および高さである。
【0172】
各制御点の動き情報は、以下の優先順位に従って取得される。
- CP1の場合、チェックの優先順位はB2->B3->A2である。利用可能であれ
ば、B2を使用する。そうではなく、B2が利用可能である場合、B3が使用される。B
2とB3の両方が利用不可能である場合、A2が使用される。3つの候補のすべてが利用
不可能である場合、CP1の動き情報を取得することができない。
- CP2の場合、チェックの優先順位はB1->B0である。
- CP3の場合、チェックの優先順位はA1->A0である。
- CP4にはTを用いる。
【0173】
b) 次に、アフィンマージ候補を構築するためにこれらの制御点の組み合わせを使用す
る。
I. 6パラメータアフィン候補を構築するためには、3つの制御点の動き情報が必要
である。3つの制御点は、以下の4つの組み合わせ({CP1、CP2、CP4}、{C
P1、CP2、CP3}、{CP2、CP3、CP4}、{CP1、CP3、CP4})
のうち1つを選択することができる。{CP1,CP2,CP3},{CP2,CP3,
CP4},{CP1,CP3,CP4}の組み合わせを、左上、右上、左下の制御点で表
される6パラメータ動きモデルに変換する。
II. 4パラメータアフィン候補を構築するためには、2つの制御点の動き情報が必
要である。2つの制御点は、2つの組み合わせ({CP1,CP2}、{CP1,CP3
})の1つから選択されてもよい。この2つの組み合わせを、左上および右上の制御点で
表される4パラメータ動きモデルに変換する。
III. 構築されたアフィン候補の組み合わせを以下の順に候補リストに挿入する。
{CP1,CP2,CP3},{CP1,CP2,CP4},{CP1,CP3,CP4
},{CP2,CP3,CP4},{CP1,CP2},{CP1,CP3}
i. 各組み合わせについて、各CPに対するリストXの参照インデックスをチェックし
、それらがすべて同じである場合、このコンビネーションはリストXに対して有効なCP
MVを有する。このコンビネーションがリスト0およびリスト1の両方に対して有効なC
PMVを有していない場合、このコンビネーションは無効としてマークされる。そうでな
い場合、それは有効であり、CPMVはサブブロックマージリストに入れられる。
【0174】
3) 動きベクトルがゼロのパディング
【0175】
アフィンマージ候補リストにおける候補の数が5未満である場合、リストが一杯になる
まで、参照インデックスがゼロのゼロ動きベクトルを候補リストに挿入する。
【0176】
具体的には、サブブロックマージ候補リストについて、MVが(0,0)に設定され、
予測方向がリスト0(Pスライスの場合)から単一予測に設定される4パラメータマージ
候補と、双予測(Bスライスの場合)とを行う。
【0177】
2.3.4 現在のピクチャの参照
【0178】
現在のピクチャ参照(CPR)とも呼ばれる、イントラブロックコピー(別名IBC、
またはイントラピクチャブロック補償)は、HEVC画面内容符号化拡張(SCC)にお
いて採用された。このツールは、テキストおよびグラフィックスに富んだコンテンツにお
ける繰り返されるパターンが同じピクチャ内で頻繁に発生するという点で、スクリーンコ
ンテンツ映像の符号化に非常に効率的である。同じまたは類似したパターンを有する、前
述の再構築されたブロックを予測子として用いることは、予測誤差を効果的に低減し、従
って符号化効率を改善することができる。
図23に、ブロック内補償の一例を示す。
【0179】
HEVC SCC、VVCにおけるCRPの設計と同様に、IBCモードの使用は、シ
ーケンスレベルおよびピクチャレベルの両方で信号通知される。シーケンスパラメータセ
ット(SPS)においてIBCモードが有効にされる場合、それはピクチャレベルで有効
にされることができる。IBCモードがピクチャレベルで有効にされる場合、現在の再構
築ピクチャは参照ピクチャとして扱われる。従って、IBCモードの使用を合図するため
に、既存のVVCインターモードの上部では、ブロックレベルでの構文変更は必要とされ
ない。
【0180】
主な特徴:
- それは通常のインターモードとして扱われる。そのため、IBCモードにおいても、
マージモードおよびスキップモードが利用可能である。IBCモードまたはHEVCイン
ターモードで符号化された近傍の位置からのマージ候補を含むマージ候補リスト構築を統
一する。選択されたマージインデックスに基づいて、マージまたはスキップモード下の現
在のブロックは、IBCモードで符号化された近傍にマージされるか、または異なるピク
チャを参照ピクチャとして有する通常のインターモードで符号化される。
- IBCモードのためのブロックベクトル予測および符号化方式は、HEVCインター
モード(AMVPおよびMVD符号化)における動きベクトル予測および符号化に使用さ
れる方式を再利用する。
- IBCモードのための動きベクトルは、ブロックベクトルとも呼ばれるが、整数画素
精度で符号化されるが、補間およびデブロッキング段において1/4画素精度が必要とさ
れるので、復号化の後、1/16画素精度でメモリに記憶される。IBCモードのための
動きベクトル予測に使用される場合、記憶されたベクトル予測子は、4だけ右シフトされ
る。
- 検索範囲:現在のCTU内に制限される。
- アフィンモード/三角モード/GBI/重み付け予測が有効にされる場合、CPRは
許可されない。
【0181】
2.3.5 VVCにおけるマージリスト設計
【0182】
VVCでサポートされる3つの異なるマージリスト構築処理がある。
【0183】
1) サブブロックマージ候補リスト:ATMVPおよびアフィンマージ候補を含む。1
つのマージリスト構築処理は、アフィンモードおよびATMVPモードの両方に対して共
有される。なお、ATMVPおよびアフィンマージ候補を順に追加してもよい。サブブロ
ックマージリストのサイズはスライスヘッダで信号通知され、その最大値は5である。
【0184】
2) 単一予測TPMマージリスト:三角形予測モードの場合、2つの分割に対して1つ
のマージリスト構築処理を共有し、2つの分割が独自のマージ候補インデックスを選択し
てもよい。このマージリストを構築するとき、空間的に近傍のブロックとこのブロックの
2つの時間的ブロックとをチェックする。空間的近傍および時間的ブロックから導出され
た動き情報を、本発明者らのIDFにおいて正規の動き候補と呼ぶ。これらの正規の動き
候補をさらに利用して、複数のTPM候補を導出する。なお、この変換はブロックレベル
全体で行われ、2つの分割においても、それら自身の予測ブロックを生成するために異な
る動きベクトルを使用してもよい。
単一予測TPMマージリストサイズ5に固定される。
【0185】
3) 通常のマージリスト:残りの符号化ブロックについては、1つのマージリスト構築
処理を共有する。空間的/時間的/HMVP、ペアワイズ合成双予測マージ候補、および
動きゼロ候補を順に挿入してもよい。通常のマージリストのサイズはスライスヘッダに信
号通知され、その最大値は6である。
【0186】
2.3.5.1 サブブロックマージ候補リスト
【0187】
なお、非サブブロックマージ候補の通常マージリストに加え、すべてのサブブロック関
連の動き候補を別個のマージリストに入れることが推薦される。
【0188】
サブブロック関連動き候補を別個のマージリストに入れ、「sub-blockマージ
候補リスト」とする。
【0189】
一例において、サブブロックマージ候補リストは、アフィンマージ候補、ATMVP候
補、および/またはサブブロックに基づくSTMVP候補を含む。
【0190】
2.3.5.1.1 別のATMVP実施形態
【0191】
この寄与において、通常マージリストにおけるATMVPマージ候補をアフィンマージ
リストの第1の位置に移動させる。新しいリストにおけるすべてのマージ候補(すなわち
、サブブロックに基づくマージ候補リスト)は、サブブロック符号化ツールに基づく。
【0192】
2.3.5.1.2 VTM-3.0のATMVP
【0193】
VTM-3.0において、通常のマージ候補リストの他に、サブブロックマージ候補リ
スト(別名、アフィンマージ候補リスト)と呼ばれる特殊なマージ候補リストを加える。
サブブロックマージ候補リストは、以下の順に候補を満たす。
b. ATMVP候補(利用可能でも、または利用不可能でもよい)
c. 継承されたアフィン候補
d. 構築されたアフィン候補
e. ゼロMV4パラメータアフィンモデルとしてのパディング
【0194】
サブブロックマージ候補リストにおける候補の最大数(MLとする)は、以下のように
導出する。
1) ATMVP使用フラグ(例えば、フラグに「sps_sbTMVp_enable
d_flag」という名前を付けてもよい)がオン(1に等しい)であるが、アフィン使
用フラグ(例えば、フラグに「sps_affine_enabled_flag」とい
う名前を付けることができる)がオフ(0に等しい)の場合、次に、MLは1に設定され
る。
2) ATMVP使用フラグがオフ(0に等しい)であり、かつアフィン使用フラグがオ
フ(0に等しい)である場合、MLは0に等しく設定される。この場合、サブブロックマ
ージ候補リストは用いられない。
3) そうでない場合(アフィン使用フラグがオン(1に等しい)、ATMVP使用フラ
グがオンまたはオフ)、エンコーダからデコーダにMLが信号通知される。有効なMLは
0<=ML<=5である。
【0195】
サブブロックマージ候補リストを構築する場合、まず、ATMVP候補をチェックする
。以下の条件のいずれか1つが真である場合、ATMVP候補をスキップし、サブブロッ
クマージ候補リストに入れない。
1) ATMVP使用フラグがOFFになっている。
2) TMVP使用フラグ(例えば、スライスレベルで信号通知された場合、フラグは「
slice_temporal_mvp_enabled_flag」と名付けられる場
合がある)はオフである。
3) 参照リスト0における参照インデックス0を有する参照ピクチャは、現在のピクチ
ャと同じである(CPRである)。
【0196】
VTM-3.0におけるATMVPは、JEMにおけるATMVPよりもずっとシンプ
ルである。ATMVPマージ候補を生成する場合、以下の処理が適用される。
a.
図22に示すように、近傍のブロックA1、B1、B0、A0をチェックして、ブ
ロックXとして示される、インターコードされているがCPRコードされていない第1の
ブロックを見出す。
b. TMV=(0,0)を初期化する。ブロックXに1つのMV(MV’と表記される
)がある場合、(スライスヘッダに信号通知されたら)コロケーションされた参照ピクチ
ャを参照し、TMVをMV’に等しく設定する。
c. 現在のブロックの中心点を(x0,y0)とし、次に、コロケーションされたピク
チャにおける(x0,y0)の対応する位置をM=(x0+MV’x,y0+MV’y)
として配置する。Mを含むブロックZを見つける。
i. Zがイントラ符号化されている場合、ATMVPは利用できない。
ii. Zがインター符号化されている場合、ブロックZの2つのリストのMVZ_0
とMVZ_1は、MVdefault0、MVdefault1として(Reflist
0 index0)と(Reflist1 index0)にスケーリングされ、記憶さ
れる。
d. 各8×8サブブロックに対して、その中心点が(x0S,y0S)であると仮定し
、次に、コロケーションされたピクチャにおける(x0S,y0S)の対応する位置をM
S=(x0S+MV’x,y0S+MV’y)として位置指定する。MSを含むブロック
ZSを見つける。
i. ZSがイントラ符号化されている場合、MVdefault0、MVdefau
lt1がサブブロックに割り当てられる。
ii. ZSがインター符号化されている場合、ブロックZSの2つのリストのMVZ
S_0とMVZS_1は、(Reflist0 index0)と(Reflist1
index0)にスケーリングされ、サブブロックに割り当てられる。
【0197】
ATMVPでのMVクリッピングとマスキング:
【0198】
コロケーションされたピクチャにおいて、MまたはMS等の対応する位置を規定する場
合、所定の領域内にあるようにクリッピングされる。CTUのサイズは、VTM-3.0
においてS×S、S=128である。コロケーションされたCTUの左上の位置が(xC
TU,yCTU)であるとすると、対応する位置MまたはMSの(xN,yN)における
位置は、有効領域xCTU<=xN<xCTU+S+4;yCTU<=yN<yCTU+
Sにクリッピングされる。
【0199】
クリッピングの他に、(xN,yN)もまた、xN=xN&MASK,yN=yN&M
ASKとしてマスクされ、ここで、MASKは、~(2N-1)に等しい整数であり、N
=3であり、最低3ビットを0に設定する。よって、xNおよびyNは、8の倍数でなけ
ればならない。(“~”はビット単位の補数演算子を表する。)
【0200】
図24は、コロケーションされたピクチャにおける有効な対応する領域の例を示す。
【0201】
2.3.5.1.3 スライスヘッダにおける構文設計
【0202】
【0203】
2.3.5.2 通常マージリスト
【0204】
マージリストの設計とは異なり、VVCでは、履歴に基づく動きベクトル予測(HMV
P)法が採用されている。
【0205】
HMVPには、前述の符号化された動き情報が記憶される。前述の符号化されたブロッ
クの動き情報をHMVP候補と定義する。複数のHMVP候補をHMVPテーブルと呼ば
れるテーブルに記憶し、このテーブルは符号化/復号化処理中、オンザフライで維持され
る。新しいスライスの符号化/復号化を開始するとき、HMVPテーブルは空になる。イ
ンターコーディングされたブロックがあるときはいつでも、関連する動き情報を新しいH
MVP候補としてテーブルの最後のエントリに加える。全体の符号化フローを
図25に示
す。
【0206】
HMVP候補は、AMVPおよびマージ候補リスト構築処理の両方に用いることができ
る。
図26は、修正されたマージ候補リスト構築処理(青色で強調表示)を示す。TMV
P候補を挿入した後、マージ候補リストが満杯でない場合、HMVPテーブルに記憶され
たHMVP候補を利用してマージ候補リストに記入することができる。1つのブロックは
、通常、動き情報の観点から、最も近接した近傍のブロックとの間に高い相関を有するこ
とを考慮し、テーブルにおけるHMVP候補をインデックスの降順に挿入する。テーブル
の最後のエントリをまずリストに加え、最後に第1のエントリを加える。同様に、HMV
P候補に対して冗長性除去が適用される。利用可能なマージ候補の総数がマージ可能なマ
ージ候補の信号通知可能な最大数に達すると、マージ候補リスト構築処理を終了する。
【0207】
2.4 MVの四捨五入
【0208】
VVCにおいて、MVが右シフトしている場合、MVを0に向かって丸めるように求め
る。定式化した形で、MV(MVx,MVy)をNビット右シフトすると、結果MV‘(
MVx’,MVy’)は、以下のように導出する。
【0209】
MVx’=(MVx+((1<<N)>>1)-(MV_x>=0?1:0))>>N
;
【0210】
MVy’=(MVy+((1<<N)>>1)-(MVy>=0?1:0))>>N;
【0211】
2.5 参照ピクチャ再サンプリング(RPR)の実施形態
【0212】
ARC、別名、参照ピクチャ再サンプリング(RPR)は、既存のおよび今後の映像規
格に組み込まれている。
【0213】
RPRのいくつかの実施形態において、コロケーションされたピクチャが現在のピクチ
ャと異なる解像度を有する場合、TMVPは無効にされる。また、参照ピクチャの解像度
が現在のピクチャと異なる場合、BDOFおよびDMVRは無効にされる。
【0214】
参照ピクチャの解像度が現在のピクチャの解像度と異なる場合、通常のMCを扱うため
に、補間セクションは、以下のように定義される。
【0215】
8.5.6.3 端数サンプル補間処理
【0216】
8.5.6.3.1 概説
【0217】
この処理への入力は以下の通りである。
【0218】
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化サブブロックの左上のサ
ンプルを規定する輝度位置(xSb,ySb)
- 現在の符号化サブブロックの幅を規定する変数sbWidth、
- 現在の符号化サブブロックの高さを規定する変数sbHeight、
- 動きベクトルオフセットmvOffset、
- 微調整された動きベクトルrefMvLX、
- 選択された参照ピクチャサンプル配列refPicLX、
- 1/2サンプル補間フィルタインデックスhpelIfIdx、
- 双方向オプティカルフローフラグbdofFlag、
- 現在のブロックの色成分インデックスを規定する変数cIdx。
【0219】
この処理の出力は以下の通りである。
- 予測サンプル値の(sbWidth+brdExtSize)×(sbHeight
+brdExtSize)配列predSamplesLX。
【0220】
予測ブロック境界拡大サイズbrdExtSizeは、以下のように導出する。
brdExtSize=(bdofFlag||(inter_affine_flag
[xSb][ySb] && sps_affine_prof_enabled_fl
ag))?2:0 (8-752)
【0221】
変数fRefWidthは、輝度サンプルにおける参照ピクチャのPicOutput
WidthLに等しく設定される。
【0222】
変数fRefHeightは、輝度サンプルにおける参照ピクチャのPicOutpu
tHeightLに等しく設定される。
【0223】
動きベクトルmvLXは、(refMvLX-mvOffset)に等しく設定される
。
- cIdxが0に等しい場合、以下が適用される。
- スケーリングファクタおよびその固定小数点表現は、以下のように定義される。
hori_scale_fp=((fRefWidth<<14)+(PicOut
putWidthL>>1))/PicOutputWidthL (8-753)
vert_scale_fp=((fRefHeight<<14)+(PicOu
tputHeightL>>1))/PicOutputHeightL (8-754
)
- (xIntL,yIntL)をフルサンプルユニットで与えられた輝度位置とし、
(xFracL,yFracL)を1/16サンプル単位で与えられたオフセットとする
。これらの変数は、本項でのみ、参照サンプル配列refPicLX内の端数サンプル位
置を規定するために使用される。
- 参照サンプルパディング用バウンディングブロック(xSbIntL,ySbInt
L)の左上座標を、(xSb+(mvLX[0]>>4),ySb+(mvLX[1]>
>4))に等しく設定する。
- 予測輝度サンプル配列predSamplesLX内の各輝度サンプル位置(xL
=0..sbWidth-1+brdExtSize,yL=0..sbHeight-
1+brdExtSize)について、対応する予測輝度サンプル値predSampl
esLX[xL][yL]は下記のように導出する。
- (refxSbL,refySbL)および(refxL,refyL)を、1/
16サンプル単位で与えられる動きベクトル(refMvLX[0],refMvLX[
1])が指す輝度位置とする。変数refxSbL、refxL、refySbL、re
fyLは、以下のように導出する。
refxSbL=((xSb<<4)+refMvLX[0])*hori_sca
le_fp (8-755)
refxL=((Sign(refxSb)*((Abs(refxSb)+128
)>>8)+xL*((hori_scale_fp+8)>>4))+32)>>6
(8-756)
refySbL=((ySb<<4)+refMvLX[1])*vert_sca
le_fp (8-757)
refyL=((Sign(refySb)*((Abs(refySb)+128
)>>8)+yL*((vert_scale_fp+8)>>4))+32)>>6
(8-758)
- 変数xIntL、yIntL、xFracL、およびyFracLは、以下のよう
に導出する。
xIntL=refxL>>4 (8-759)
yIntL=refyL>>4 (8-760)
xFracL=refxL&15 (8-761)
yFracL=refyL&15 (8-762)
- bdofFlagがTRUEに等しいか(sps_affine_prof_en
abled_flagがTRUEに等しく、inter_affine_flag[xS
b][ySb]がTRUEに等しい)、次の条件の1つ以上が真である場合、予測輝度サ
ンプル値predSamplesLX[xL][yL]は、8.5.6.3.3項で規定
されているように、入力として(xIntL+(xFracL>>3)-1),yInt
L+(yFracL>>3)-1)およびrefPicLXを使用して輝度整数サンプル
取り出し処理を呼び出すことによって導出する。
1. xLは0に等しい。
2. xLは、sbWidth+1に等しい。
3. yLは0に等しい。
4. yLは、sbHeight+1に等しい。
- そうでない場合、8.5.6.3.2項で規定されるように、(xIntL-(b
rdExtSize>0?1:0),yIntL-(brdExtSize>0?1:0
))、(xFracL,yFracL)、(xSbIntL,ySbIntL)、ref
PicLX、hpelIfIdx、sbWidth、sbHeight、および(xSb
,ySb)を入力として、輝度サンプル8タップ補間フィルタリング処理を呼び出すこと
によって、予測輝度サンプル値predSamplesLX[xL][yL]を導出する
。
- そうでない場合(cIdxが0に等しくない)、以下が適用される。
- (xIntC,yIntC)をフルサンプルユニットで与えられたクロマ位置とし
、(xFracC,yFracC)を1/32サンプル単位で与えられたオフセットとす
る。これらの変数は、本項でのみ、参照サンプル配列refPicLX内の一般的な端数
サンプルの位置を規定するために使用される。
- 参照サンプルパディング用バウンディングブロック(xSbIntC,ySbIn
tC)の左上座標は、((xSb/SubWidthC)+(mvLX[0]>>5),
(ySb/SubHeightC)+(mvLX[1]>>5))に等しく設定される。
- 予測クロマサンプル配列predSamplesLX内の各クロマサンプル位置(
xC=0..sbWidth-1,yC=0..sbHeight-1)について、対応
する予測クロマサンプル値predSamplesLX[xC][yC]は、以下のよう
に導出する。
- (refxSbC,refySbC)および(refxC,refyC)を、1
/32サンプル単位で与えられる動きベクトル(mvLX[0],mvLX[1])が指
すクロマ位置とする。変数refxSbC、refySbC、refxC、refyCは
、以下のように導出する。
refxSbC=((xSb/SubWidthC<<5)+mvLX[0])*
hori_scale_fp (8-763)
refxC=((Sign(refxSbC)*((Abs(refxSbC)+
256)>>9)+xC*((hori_scale_fp+8)>>4))+16)>
>5 (8-764)
refySbC=((ySb/SubHeightC<<5)+mvLX[1])
*vert_scale_fp (8-765)
refyC=((Sign(refySbC)*((Abs(refySbC)+256)>>9)+yC*((vert_scale_fp+8)>>4))+16)>
>5 (8-766)
- 変数xIntC、yIntC、xFracC、yFracCは、以下のように導
出する。
xIntC=refxC>>5 (8-767)
yIntC=refyC>>5 (8-768)
xFracC=refyC&31 (8-769)
yFracC=refyC&31 (8-770)
- 予測サンプル値predSamplesLX[xC][yC]は、(xIntC,
yIntC),(xFracC,yFracC),(xSbIntC,ySbIntC)
,sbWidth,sbHeight、およびrefPicLXを入力として、8.5.
6.3.4項で指定した処理を呼び出すことによって導出される。
【0224】
8.5.6.3.2 輝度サンプル補間フィルタリング処理
【0225】
この処理への入力は以下の通りである。
- フルサンプルユニット(xIntL,yIntL)における輝度位置、
- 端数サンプル単位での輝度位置(xFracL,yFracL)、
- 参照ピクチャの左上の輝度サンプルに対する参照サンプルのパディングのための境界
ブロックの左上のサンプルを規定する、フルサンプルユニット(xSbIntL,ySb
IntL)における輝度位置、
- 輝度参照サンプル配列refPicLXL、
- 1/2サンプル補間フィルタインデックスhpelIfIdx、
- 現在のサブブロックの幅を規定する変数sbWidth、
- 現在のサブブロックの高さを規定する変数sbHeight、
- 現在のピクチャの左上の輝度サンプルに対する現在のサブブロックの左上のサンプル
を規定する輝度位置(xSb,ySb)、
【0226】
この処理の出力は、予測輝度サンプル値predSampleLXLである。
【0227】
変数shift1、shift2、およびshift3は、以下のように導出する。
- 変数shift1をMin(4,BitDepthY-8)に等しく設定し、変数s
hift2を6に等しく設定し、変数shift3をMax(2,14-BitDept
hY)に等しく設定する。
- 変数picWはpic_width_in_luma_samplesに等しく設定
され、変数picHはpic_height_in_luma_samplesに等しく
設定される。
【0228】
xFracLまたはyFracLに等しい各1/16端数サンプル位置pに対する輝度
補間フィルタ係数fL[p]は、以下のように導出する。
- MotionModelIdc[xSb][ySb]が0より大きく、sbWidt
hおよびsbHeightがともに4に等しい場合、輝度補間フィルタ係数fL[p]を
表8-12で指定する。
- そうでない場合、hpelIfIdxに基づいて輝度補間フィルタ係数fL[p]を
表8-11で指定する。
【0229】
i=0..7の場合、フルサンプルユニット(xInti,yInti)における輝度
位置は、以下のように導出する。
- subpic_treated_as_pic_flag[SubPicIdx]が
1に等しい場合、以下が適用される。
xInti=Clip3(SubPicLeftBoundaryPos,SubPi
cRightBoundaryPos,xIntL+i-3) (8-771)
yInti=Clip3(SubPicTopBoundaryPos,SubPic
BotBoundaryPos,yIntL+i-3) (8-772)
- それ以外の場合(subpic_treated_as_pic_flag[Sub
PicIdx]が0に等しい)、以下が適用される。
xInti=Clip3(0,picW-1,sps_ref_wraparound
_enabled_flag?
ClipH((sps_ref_wraparound_offset_minus
1+1)*MinCbSizeY,picW,xIntL+i-3): (8-773)
xIntL+i-3)
yInti=Clip3(0,picH-1,yIntL+i-3) (8-77
4)
【0230】
i=0..7の場合、フルサンプルユニットにおける輝度位置は、以下のようにさらに
修正される。
xInti=Clip3(xSbIntL-3,xSbIntL+sbWidth+4
,xInti) (8-775)
yInti=Clip3(ySbIntL-3,ySbIntL+sbHeight+
4,yInti) (8-776)
【0231】
予測輝度サンプル値predSampleLXLは、以下のように導出する。
- 両方のxFracLおよびyFracLが0に等しい場合、predSampleL
XLの値は、以下のように導出する。
predSampleLXL=refPicLXL[xInt3][yInt3]<<s
hift3 (8-777)
- そうではなく、xFracLが0に等しくなく、yFracLが0に等しい場合は、
predSampleLXLの値は、以下のように導出する。
predSampleLXL=(Σ7
i=0fL[xFracL][i]*ref
PicLXL[xInti][yInt3])>>shift1 (8-778)
- そうではなく、xFracLが0に等しく、yFracLが0に等しくない場合、p
redSampleLXLの値は、以下のように導出する。
predSampleLXL=(Σ7
i=0fL[yFracL][i]*ref
PicLXL[xInt3][yInti])>>shift1 (8-779)
- そうではなく、xFracLが0に等しくなく、yFracLが0に等しくない場合
、predSampleLXLの値は、以下のように導出する。
- n=0..7のサンプル配列temp[n]は、以下のように導出する。
temp[n]=(Σ7
i=0fL[xFracL][i]*refPicLXL[xI
nti][yIntn])>>shift1 (8-780)
- 予測輝度サンプル値predSampleLXLは、以下のように導出する。
predSampleLXL=(Σ7
i=0fL[yFracL][i]*temp[i
])>>shift2 (8-781)
【0232】
【0233】
【0234】
8.5.6.3.3 輝度整数サンプル取り出し処理
【0235】
この処理への入力は以下の通りである。
- フルサンプルユニット(xIntL,yIntL)における輝度位置、
- 輝度参照サンプル配列refPicLXL、
【0236】
この処理の出力は、予測輝度サンプル値predSampleLXLである。
この変数shiftは、Max(2,14-BitDepthY)に等しく設定される
。
変数picWはpic_width_in_luma_samplesに等しく設定さ
れ、変数picHはpic_height_in_luma_samplesに等しく設
定される。
【0237】
フルサンプルユニット(xInt,yInt)における輝度位置は、以下のように導出
する。
xInt=Clip3(0,picW-1,sps_ref_wraparound
_enabled_flag?
ClipH((sps_ref_wraparound_offset_min
us1+1)*MinCbSizeY,picW,xIntL):xIntL)(8-7
82)
yInt=Clip3(0,picH-1,yIntL) (8-783)
【0238】
予測輝度サンプル値predSampleLXLは、以下のように導出する。
predSampleLXL=refPicLXL[xInt][yInt]<<s
hift3 (8-784)
【0239】
8.5.6.3.4 クロマサンプル補間処理
【0240】
この処理への入力は以下の通りである。
- フルサンプルユニット(xIntC,yIntC)におけるクロマ位置、
- 1/32の端数サンプル単位でのクロマ位置(xFracC,yFracC)、
- 参照ピクチャの左上のクロマサンプルに対する参照サンプルパディングのための境界
ブロックの左上のサンプルを規定する、フルサンプルユニット(xSbIntC,ySb
IntC)におけるクロマ位置、
- 現在のサブブロックの幅を規定する変数sbWidth、
- 現在のサブブロックの高さを規定する変数sbHeight、
- クロマ参照サンプル配列refPicLXC。
【0241】
この処理の出力は、予測クロマサンプル値predSampleLXCである。
【0242】
変数shift1、shift2、およびshift3は、以下のように導出する。
- 変数shift1をMin(4,BitDepthC-8に等しく設定し、変数sh
ift2を6に等しく設定し、変数shift3をMax(2,14-BitDepth
C)に等しく設定する。
- 変数picWCはpic_width_in_luma_samples/SubW
idthCに等しく設定され、変数picHCはpic_height_in_luma
_samples/SubHeightCに等しく設定される。
【0243】
表8-13に、xFracCまたはyFracCに等しい各1/32端数サンプル位置
pのクロマ補間フィルタ係数fC[p]を示す。
【0244】
変数xOffsetは、(sps_ref_wraparound_offset_m
inus1+1)*MinCbSizeY)/SubWidthCに等しく設定される。
【0245】
i=0..3の場合、フルサンプルユニット(xInti,yInti)におけるクロ
マ位置は、以下のように導出する。
- subpic_treated_as_pic_flag[SubPicIdx]が
1に等しい場合、以下が適用される。
xInti=Clip3(SubPicLeftBoundaryPos/SubWi
dthC,SubPicRightBoundaryPos/SubWidthC,xI
ntL+i) (8-785)
yInti=Clip3(SubPicTopBoundaryPos/SubHei
ghtC,SubPicBotBoundaryPos/SubHeightC,yIn
tL+i) (8-786)
- それ以外の場合(subpic_treated_as_pic_flag[Sub
PicIdx]が0に等しい)、以下が適用される。
xInti=Clip3(0,picWC-1,sps_ref_wraparoun
d_enabled_flag?ClipH(xOffset,picWC,xIntC
+i-1): (8-787)
xIntC+i-1)
yInti=Clip3(0,picHC-1,yIntC+i-1) (8-78
8)
【0246】
フルサンプルユニット(xInti,yInti)におけるクロマ位置は、i=0..
3の場合、以下のようにさらに修正される。
xInti=Clip3(xSbIntC-1,xSbIntC+sbWidth+2
,xInti) (8-789)
yInti=Clip3(ySbIntC-1,ySbIntC+sbHeight+
2,yInti) (8-790)
【0247】
予測クロマサンプル値predSampleLXCは、以下のように導出する。
- xFracCおよびyFracCの両方が0に等しい場合、predSampleL
XCの値は、以下のように導出する。
predSampleLXC=refPicLXC[xInt1][yInt1]
<<shift3 (8-791)
- そうではなく、xFracCが0に等しくなく、yFracCが0に等しい場合、p
redSampleLXCの値は、以下のように導出する。
predSampleLXC=(Σ3
i=0fC[xFracC][i]*ref
PicLXC[xInti][yInt1])>>shift1 (8-792)
- そうではなく、xFracCが0に等しく、yFracCが0に等しくない場合、p
redSampleLXCの値は、以下のように導出する。
predSampleLXC=(Σ3
i=0fC[yFracC][i]*ref
PicLXC[xInt1][yInti])>>shift1 (8-793)
- そうではなく、xFracCが0に等しくなく、yFracCが0に等しくない場合
、predSampleLXCの値は、以下のように導出する。
- n=0..3のサンプル配列temp[n]は、以下のように導出する。
temp[n]=(Σ3
i=0fC[xFracC][i]*refPicLX
C[xInti][yIntn])>>shift1 (8-794)
- 予測クロマサンプル値predSampleLXCは、以下のように導出する。
predSampleLXC=(fC[yFracC][0]*temp[0]
+fC[yFracC][1]*temp[1]+fC[yFracC][2]*tem
p[2]+ (8-795)
fC[yFracC][3]*temp[3])>>shift2
【0248】
【0249】
2.6 サブピクチャを用いる実施形態
【0250】
既存の実装形態におけるサブピクチャの現在の構文設計では、サブピクチャの位置およ
び寸法は、以下のように導出する。
【0251】
【0252】
subpics_present_flagが1の場合、SPSRBSP構文の現在に
サブピクチャパラメータが存在することを示す。subpics_present_fl
agが0の場合、SPSRBSP構文の現在にサブピクチャパラメータが存在しないこと
を示す。
注2-ビットストリームがサブビットストリーム抽出処理の結果であり、サブビットス
トリーム抽出処理への入力ビットストリームのサブピクチャのサブセットのみが含まれて
いる場合、SPSのRBSPでsubpics_present_flagの値を1に設
定する必要がある場合がある。
【0253】
max_subpics_minus1 plus1は、CVSに存在し得るサブピク
チャの最大数を規定する。max_subpics_minus1は、0から254の範
囲でなければならない。255の値は、将来ITU-T|ISO/IECによる使用に対
して予定しておく。
【0254】
subpic_grid_col_width_minus1 plus1は、サブピ
クチャ識別子グリッドの各要素の幅を4サンプル単位で規定する。構文要素の長さはCe
il(Log2(pic_width_max_in_luma_samples/4)
)ビットである。
【0255】
変数NumSubPicGridColsは、以下のように導出する。
NumSubPicGridCols=(pic_width_max_in_luma
_samples+subpic_grid_col_width_minus1*4+
3)/
(subpic_grid_col_width_minus1*4+4) (7-
5)
【0256】
subpic_grid_row_height_minus1 plus1は、サブ
ピクチャ識別子グリッドの各要素の高さを4サンプル単位で指定する。構文要素の長さは
Ceil(Log2(pic_height_max_in_luma_samples
/4))bitsビットである。
【0257】
変数NumSubPicGridRowsは、以下のように導出する。
NumSubPicGridRows=(pic_height_max_in_lum
a_samples+subpic_grid_row_height_minus1*
4+3)/
(subpic_grid_row_height_minus1*4+4) (7
-6)
【0258】
subpic_grid_idx[i][j]は、グリッド位置(i、j)のサブピク
チャインデックスを規定する。構文要素の長さはCeil(Log2(max_subp
ics_minus1+1))ビットである。
【0259】
変数SubPicTop[subpic_grid_idx[i][j]]、SubP
icLeft[subpic_grid_idx[i][j]]、SubPicWidt
h[subpic_grid_idx[i][j]]、SubPicHeight[su
bpic_grid_idx[i][j]]、およびNumSubPicsは次のように
導出する。
【0260】
NumSubPics=0
for(i=0;i.<NumSubPicGridRows;i++){
for(j=0;j<NumSubPicGridCols;j++){
if(i==0)
SubPicTop[subpic_grid_idx[i][j]]=0
else if(subpic_grid_idx[i][j]!=subpic_
grid_idx[i-1][j]){
SubPicTop[subpic_grid_idx[i][j]]=i
SubPicHeight[subpic_grid_idx[i-1][j]]
=
i-SubPicTop[subpic_grid_idx[i-1][j]]
}
if(j==0)
SubPicLeft[subpic_grid_idx[i][j]]=0 (
7-7)
else if(subpic_grid_idx[i][j]!=subpic_
grid_idx[i][j-1]){
SubPicLeft[subpic_grid_idx[i][j]]=j
SubPicWidth[subpic_grid_idx[i][j]]=
j-SubPicLeft[subpic_grid_idx[i][j-1]]
}
if(i==NumSubPicGridRows-1)
SubPicHeight[subpic_grid_idx[i][j]]=
i-SubPicTop[subpic_grid_idx[i-1][j]]+1 if(j==NumSubPicGridRows-1)
SubPicWidth[subpic_grid_idx[i][j]]=
j-SubPicLeft[subpic_grid_idx[i][j-1]]+1
if(subpic_grid_idx[i][j]>NumSubPics)
NumSubPics=subpic_grid_idx[i][j]
}
}
【0261】
subpic_treated_as_pic_flag[i]が1の場合、CVS内
の各コード化ピクチャのi番目のサブピクチャが、ループ内フィルタリング操作を除いて
、復号化処理でピクチャとして扱われることを規定する。subpic_treated
_as_pic_flag[i]が0の場合、CVS内の各コード化ピクチャのi番目の
サブピクチャが、ループ内フィルタリング操作を除いて、復号化処理でピクチャとして扱
われないことを規定する。存在しない場合は、subpic_treated_as_p
ic_flag[i]の値は0に等しいと推測される。
【0262】
2.7 インターイントラ結合予測(CIIP)
【0263】
インターイントラ結合予測は、特殊マージ候補として、CIIP(Combined
Inter-Intra Prediction)をVVCに採用する。これは、W<=
64およびH<=64のWxHブロックに対してのみ有効にすることができる。
【0264】
3. 既存の実装形態の欠点
【0265】
現在のVVCの設計において、ATMVPには以下のような問題がある。
1) ATMVPを適用するかどうかが、スライスレベルとCUレベルで不整合である。
2) スライスヘッダにおいて、TMVPが無効にされてもATMVPは有効としてもよ
い。一方、TMVPフラグの前にATMVPフラグを信号通知する。
3) マスキングは、MVが圧縮されているかどうかを考慮せずに、常に行われる。
4) 有効な対応する領域が大き過ぎてもよい。
5) TMVの導出は非常に複雑である。
6) ATMVPが利用できなくてもよい、より優れたデフォルトMVが望ましい。
7) ATMVPにおけるMVスケーリング方法は、効率的でなくてもよい。
8) ATMVPはCPR症例を考慮すべきである。
9) アフィン予測が無効にされても、デフォルトの0アフィンマージ候補をリストに含
めてもよい。
10) 現在のピクチャは長期参照ピクチャとして扱われ、他のピクチャは短期参照ピク
チャとして扱われる。ATMVP候補およびTMVP候補の両方について、コロケーショ
ンされたピクチャにおける時間的ブロックからの動き情報は、固定された参照インデック
スを有する参照ピクチャにスケーリングされる(即ち、現在の設計における各参照ピクチ
ャリストに対して0)。しかしながら、CPRモードが有効にされると、現在のピクチャ
はまた参照ピクチャとして扱われ、現在のピクチャは、0に等しいインデックスを有する
参照ピクチャリスト0(RefPicList0)に追加してもよい。
a. TMVPにおいて、時間的ブロックがCPRモードで符号化され、RefPic
List0の参照ピクチャが短い参照ピクチャである場合、TMVP候補は利用不可能に
設定される。
b. インデックスが0のRefPicList0の参照ピクチャが現在のピクチャで
あり、現在のピクチャがイントラランダムアクセスポイント(IRAP)ピクチャである
場合、ATMVP候補は利用不可能に設定される。
c. 1つのブロック内のATMVPサブブロックの場合、1つの時間的ブロックから
サブブロックの動き情報を導出する時に、この時間的ブロックがCPRモードで符号化さ
れている場合、このサブブロックの動き情報を埋めるために、デフォルトのATMVP候
補(開始TMVと現在のブロックの中心位置とによって特定される1つの時間的ブロック
から導出する)が使用される。
11) MVは整数精度に右シフトされるが、VVCにおける丸め規則に従わない。
12) ATMVPにおいて、異なるピクチャにおける対応するブロックの位置を規定す
るために用いられるMV(MVx,MVy)(例えば、TMVが0)は、コロケーション
されたピクチャを指すため、そのまま用いられる。これは、すべてのピクチャが同じ解像
度であるという仮定に基づく。しかしながら、RPRが有効にされる場合、異なるピクチ
ャ解像度を利用してもよい。サブブロック動き情報を導出するために、コロケーションさ
れたピクチャにおける対応するブロックを識別することに関しても、同様の問題が存在す
る。
13) 1つのブロックの幅または高さが32より大きく、CIIP符号化ブロックに対
して最大変換ブロックのサイズが32である場合、CUサイズでイントラ予測信号を生成
し、一方、インター予測信号は、TUサイズで生成する(現在のブロックを複数の32×
32ブロックに再帰的に分割する)。CUを使用してイントラ予測信号を導出することは
、より低い効率をもたらす。
【0266】
現在の設計には問題がある。第1に、インデックスが0であるRefPicList0
の参照ピクチャが現在のピクチャであり、現在のピクチャがIRAPピクチャでない場合
、ATMVP手続きが依然として呼び出されるが、いずれの時間的動きベクトルも現在の
ピクチャに合わせてスケーリングすることができないので、ATMVP手続きは利用可能
なATMVP候補を見つけることができなかった。
【0267】
4. 実施形態および技術の例
【0268】
以下の技術および実施形態のリストは、一般的な概念を説明するための例と見なされる
べきである。これらの技術は狭い意味で解釈されるべきではない。さらに、これらの技術
は、エンコーダまたはデコーダの実施形態において任意の方法で組み合わせることができ
る。
【0269】
1. TMVPが許可されるかどうか、および/またはCPRが使用されるかどうかは、
サブブロックマージ候補リストにおける候補の最大数を判定/構文解析するため、および
/またはATMVP候補を候補リストに加えるべきかどうかを判定するために考慮される
べきである。サブブロックマージ候補リストにおける最大数をMLとする。
a) 一例において、ATMVPは、サブブロックマージ候補リストにおける候補の最
大数の判定または構文解析において、ATMVP使用フラグがオフ(0に等しい)である
か、またはTMVPが無効にされている場合、適用不可能であると推測される。
i. 一例において、ATMVP使用フラグがオン(1に等しい)であり、TMVP
が無効にされている場合、ATMVP候補は、サブブロックマージ候補リストまたはAT
MVP候補リストに追加されない。
ii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、TMV
Pが無効にされており、且つアフィン使用フラグがオフ(0に等しい)である場合、ML
が0に等しく設定され、これは、サブブロックマージが適用可能でないことを意味する。
iii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、TM
VPが有効とされ、アフィン使用フラグがオフ(0に等しい)である場合、MLが1に等
しく設定される。
b) 一例において、ATMVPは、ATMVP使用フラグがオフ(0に等しい)であ
るか、または現在のピクチャのコロケーションされた参照ピクチャが現在のピクチャ自体
である場合、サブブロックマージ候補リストにおける候補の最大数を判定または構文解析
する時に、適用可能でないと推測される。
i. 一例において、ATMVP使用フラグがオン(1に等しい)であり、現在のピ
クチャのコロケーションされた参照ピクチャが現在のピクチャそのものである場合、AT
MVP候補は、サブブロックマージ候補リストまたはATMVP候補リストに追加されな
い。
ii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、現在の
ピクチャのコロケーションされた参照ピクチャが現在のピクチャそのものであり、アフィ
ン使用フラグがオフ(0に等しい)である場合、MLが0に等しく設定され、これは、サ
ブブロックマージが適用可能でないことを意味する。
iii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、現在
のピクチャのコロケーションされた参照ピクチャが現在のピクチャそのものでなく、アフ
ィン使用フラグがオフ(0に等しい)である場合、MLは1に等しく設定される。
c) 一例において、ATMVP使用フラグがオフ(0に等しい)であるか、または参
照リスト0における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャ
そのものである場合、ATMVPは、サブブロックマージ候補リストにおける候補の最大
数を判定または構文解析する時に、適用可能でないと推測される。
i. 一例において、ATMVP使用フラグがオン(1に等しい)であり、参照リス
ト0における参照ピクチャインデックス0を有するコロケーションされた参照ピクチャは
、現在のピクチャそのものであり、ATMVP候補は、サブブロックマージ候補リストま
たはATMVP候補リストに追加されない。
ii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、参照リ
スト0における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャその
ものであり、且つアフィン使用フラグがオフ(0に等しい)である場合、MLが0に等し
く設定され、これは、サブブロックマージが適用可能でないことを意味する。
iii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、参照
リスト0における参照ピクチャインデックス0を有する参照ピクチャは、現在のピクチャ
そのものではなく、アフィン使用フラグがオフ(0に等しい)である場合、MLは1に等
しく設定される。
d) 一例において、ATMVP使用フラグがオフ(0に等しい)であるか、または参
照リスト1における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャ
そのものである場合、ATMVPは、サブブロックマージ候補リストにおける候補の最大
数を判定または構文解析する時に、適用可能でないと推測される。
i. 一例において、ATMVP使用フラグがオン(1に等しい)であり、参照リス
ト1における参照ピクチャインデックス0を有するコロケーションされた参照ピクチャは
、現在のピクチャそのものであり、ATMVP候補は、サブブロックマージ候補リストま
たはATMVP候補リストに追加されない。
ii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、参照リ
スト1における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャその
ものであり、且つアフィン使用フラグがオフ(0に等しい)である場合、MLが0に等し
く設定され、これは、サブブロックマージが適用可能でないことを意味する。
iii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、参照
リスト1における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャそ
のものでなく、アフィン使用フラグがオフ(0に等しい)である場合、MLは1に等しく
設定される。
【0270】
2. TMVPがスライス/タイル/ピクチャレベルで無効にされている場合、ATMV
Pは暗黙的に無効にされ、ATMVPフラグは信号通知されないとされている。
a) 一例において、ATMVPフラグは、スライスヘッダ/タイルヘッダ/PPSに
おけるTMVPフラグの後に信号通知される。
b) 一例において、ATMVPまたは/およびTMVPフラグは、スライスヘッダ/
タイルヘッダ/PPSにおいて信号通知されなくてもよく、SPSヘッダにおいてのみ信
号通知される。
【0271】
3. ATMVPにおける対応する位置をマスクするかどうか、およびどのようにマスク
するかは、MVが圧縮されているかどうか、およびどのように圧縮されているかに依存す
る。(xN,yN)が、現在のブロック/サブブロックのコーディネータと、コロケーシ
ョンされたピクチャにおける開始動きベクトル(例えば、TMV)とを使用して算出され
た対応する位置であるとする。
a) 一例において、MVを圧縮する必要がない場合(例えば、SPSで信号通知され
るsps_disable_motioncompressionが1の場合)、(xN
,yN)はマスクされない。それ以外の場合、(MVは圧縮する必要がある)(xN,y
N)はxN=xN&MASK,yN=yN&MASKとしてマスクされる。ここで、MA
SKは~(2M-1)に等しく、Mは3または4などのような整数である。
b) 各2K×2KブロックにおけるMV記憶結果のMV圧縮方法は、同じ動き情報を
共有し、ATMVP処理におけるマスクを~(2M-1)と定義する。KはMに等しくな
くてもよく、例えば、M=K+1であるとされている。
c) ATMVPおよびTMVPに用いられるMASKは、同じであってもよいし、異
なっていてもよい。
【0272】
4. 一例において、MV圧縮方法はフレキシブルであってもよい。
a) 一例において、MV圧縮方法は非圧縮、8×8圧縮(Bullet3.aにおけ
るM=3),または16×16圧縮(Bullet3.aにおけるM=4)の間で選択す
ることができる。
b) 一例において、MV圧縮方法は、VPS/SPS/PPS/スライスヘッダ/タ
イルグループヘッダにおいて信号通知されてもよい。
c) 一例において、MV圧縮方法は、異なる標準プロファイル/レベル/層において
異なるように設定してもよい。
【0273】
5. ATMVPにおける有効な対応する領域は適応可能でもよい。
a) 例えば、有効な対応する領域は、現在のブロックの幅および高さに依存してもよ
い。
b) 例えば、有効な対応領域はMV圧縮方法に依存してもよい。
i. 一例において、MV圧縮方法が使用されない場合、有効な対応領域はより小さ
く、MV圧縮方法が使用される場合、有効な対応領域はより大きい。
【0274】
6. ATMVPにおける有効な対応する領域は、CTU領域よりも小さいサイズM×N
を有する基本領域に基づいてもよい。例えば、VTM-3.0におけるCTUのサイズは
128×128であり、基本領域のサイズは64×64であってもよい。現在のブロック
の幅および高さをWおよびHとする。
a) 一例において、W<=MおよびH<=Nであり、現在のブロックが1つの基本領
域の内側にあることを意味する場合、ATMVPにおける有効な対応する領域は、コロケ
ーションされた基本領域およびコロケーションされたピクチャにおける拡張である。
図2
7は、一例を示す。
i. 例えば、配置された基本領域の左上の位置が(xBR,yBR)であるとする
と、(xN,yN)における対応する位置は、有効領域xBR<=xN<xBR+M+4
;yBR<=yN<yBR+Nにクリッピングされる。
【0275】
図27は、現在のブロックが基本領域(BR)内にある場合の、提案される有効領域の
例示的な実施形態を示す。
【0276】
図28は、現在のブロックが基本領域内にない場合の有効領域の例示的な実施形態を示
す。
b) 一例において、W>Mであり、H>Nである場合、現在のブロックが1つの基本
領域内にないことを意味し、現在のブロックを複数の部分に分ける。各部分は、ATMV
P内に個々の有効な対応する領域を有する。現在のブロックにおける位置Aについて、コ
ロケーションされたブロックにおけるその対応する位置Bは、位置Aが位置する部分の有
効な対応する領域内にあるべきである。
i. 例えば、現在のブロックを非重複基本領域に分ける。1つの基本領域に対応す
る有効領域は、そのコロケーション基本領域およびコロケーションされたピクチャにおけ
る拡張である。
図28は、一例を示す。
1. 例えば、現在のブロックの位置Aが1つの基本領域Rにあるとする。コロケ
ーションされたピクチャにおけるRのコロケーション基本領域をCRとする。コロケーシ
ョンされたブロックにおけるAの対応する位置は、位置Bであり、CRの左上の位置は(
xCR,yCR)であり、次に、位置Bの(xN,yN)が、有効領域xCR<=xN<
xCR+M+4;yCR<=yN<yCR+Nにクリッピングされる。
【0277】
7. ATMVPにおいて用いられる、異なるピクチャにおける対応するブロックの位置
を規定するための動きベクトルを、以下のように導出することができる(例えば、2.3
.5.1.2におけるTMV)。
a) 一例において、TMVは、常に、(0,0)等のデフォルトMVに等しく設定さ
れる。
i. 一例において、デフォルトMVは、VPS/SPS/PPS/スライスヘッダ
/タイルグループヘッダ/CTU/CUにおいて信号通知される。
b) 一例において、TMVは、以下の方法で、HMVPテーブルに記憶される1つの
MVに設定される。
i. HMVPリストが空である場合、TMVは、デフォルトMV、例えば(0,0
)に等しく設定される。
ii. そうでない(HMVPリストが空でない)場合、
1. TMVは、HMVPテーブルに記憶された第1の要素と等しく設定してもよ
い。
2. あるいは、TMVは、HMVPテーブルに記憶された最後の要素に等しく設
定してもよい。
3. あるいは、TMVは、HMVPテーブルに記憶された特定のMVに等しく設
定してもよい。
a. 一例において、特定のMVは、参照リスト0を参照する。
b. 一例において、特定のMVは、参照リスト1を参照する。
c. 一例において、特定のMVは、参照リスト0における特定の参照ピクチャ
、例えばインデックス0を有する参照ピクチャを参照する。
d. 一例において、特定のMVは、参照リスト1における特定の参照ピクチャ
、例えばインデックス0を有する参照ピクチャを参照する。
e. 一例において、特定のMVは、コロケーションされたピクチャを参照する
。
4. あるいは、HMVPテーブルに記憶された特定のMV(例えば、bulle
t3.に記載)が見つからない場合、TMVをデフォルトMVに等しく設定してもよい。
a. 一例において、HMVPテーブルに記憶された第1の要素のみを検索し、
特定のMVを見出す。
b. 一例において、HMVPテーブルに記憶された最後の要素のみを検索し、
特定のMVを見出す。
c. 一例において、HMVPテーブルに記憶された一部または全部の要素を検
索し、特定のMVを見出す。
5. あるいは、さらに、HMVPから取得したTMVは、現在のピクチャそのも
のを参照することができない。
6. あるいは、さらに、HMVPテーブルから取得したTMVは、参照していな
い場合、コロケーションされたピクチャに合わせてスケーリングされてもよい。
c) 一例において、TMVは、1つの特定の近傍のブロックの1つのMVに設定され
る。他の近傍のブロックは含まれない。
i. 特定の近傍のブロックは、
図22のブロックA0、A1、B0、B1、B2で
あってもよい。
ii. TMVは、以下の場合、デフォルトMVに等しく設定してもよい。
1. 特定の近傍のブロックが存在しない。
2. 特定の近傍のブロックは、インター符号化されない。
iii. TMVは、特定の近傍のブロックに記憶された特定のMVに等しく設定し
てもよい。
1. 一例において、特定のMVは、参照リスト0を参照する。
2. 一例において、特定のMVは、参照リスト1を参照する。
3. 一例において、特定のMVは、参照リスト0における特定の参照ピクチャ、
例えばインデックス0を有する参照ピクチャを参照する。
4. 一例において、特定のMVは、参照リスト1における特定の参照ピクチャ、
例えばインデックス0を有する参照ピクチャを参照する。
5. 一例において、特定のMVは、コロケーションされたピクチャを参照する。
6. 特定の近傍のブロックに記憶された特定のMVが見つからない場合、TMV
をデフォルトMVに等しく設定してもよい。
iv. 特定の近傍のブロックから得られたTMVは、それが参照しない場合、コロ
ケーションされたピクチャに合わせてスケーリングされてもよい。
v. 特定の近傍のブロックから得られたTMVは、現在のピクチャそのものを参照
することができない。
【0278】
8. 2.3.5.1.2に開示されているように、ATMVPにおいて使用されるMV
default0およびMVdefault1は、次のように導出されてもよい。
a) 一例において、MVdefault0およびMVdefault1は、(0,0
)に等しく設定される。
b) 一例において、MVdefaultX(X=0または1)は、HMVPから導出
する。
i. HMVPリストが空である場合、MVdefaultXは、(0,0)等の予
め定義されたデフォルトMVに等しく設定される。
1. 予め定義されたデフォルトMVは、VPS/SPS/PPS/スライスヘッ
ダ/タイルグループヘッダ/CTU/CUにおいて信号通知されてもよい。
ii. そうでない(HMVPリストが空でない)場合、
1. MVdefaultXは、HMVPテーブルに記憶された第1の要素と等し
く設定してもよい。
2. MVdefaultXは、HMVPテーブルに記憶された最後の要素に等し
く設定してもよい。
3. MVdefaultXは、HMVPテーブルに記憶された特定のMVにのみ
等しく設定してもよい。
a. 一例において、特定のMVは、参照リストXを参照する。
b. 一例において、特定のMVは、参照リストXにおける特定の参照ピクチャ
、例えばインデックス0を有する参照ピクチャを参照する。
4. HMVPテーブルに記憶された特定のMVが見つからない場合、MVdef
aultXを予め定義されたデフォルトMVに等しく設定してもよい。
a. 一例において、HMVPテーブルに記憶された第1の要素のみを検索する
。
b. 一例において、HMVPテーブルに記憶された最後の要素のみを検索する
。
c. 一例において、HMVPテーブルに記憶された要素の一部または全部を検
索する。
5. HMVPテーブルから取得したMVdefaultXは、参照していない場
合、コロケーションされたピクチャ(collocated picture)に合わせ
てスケーリングされてもよい。
6. HMVPから取得したMVdefaultXは、現在のピクチャそのものを
参照することができない。
c) 一例において、MVdefaultX(X=0または1)は、近傍のブロックか
ら導出する。
i. 近傍のブロックは、
図22のブロックA0、A1、B0、B1、B2を含んで
もよい。
1. 例えば、これらのブロックの1つのみを使用してMVdefaultXを導
出する。
2. あるいは、これらのブロックの一部または全部を使用してMVdefaul
tXを導出する。
a. これらのブロックは、有効なMVdefaultXが見つかるまで、順に
チェックされる。
3. 選択された1つ以上の近傍のブロックから有効なMVdefaultXが見
つからない場合、それは、(0,0)等の予め定義されたデフォルトMVに等しく設定さ
れる。
a. 予め定義されたデフォルトMVは、VPS/SPS/PPS/スライスヘ
ッダ/タイルグループヘッダ/CTU/CUにおいて信号通知されてもよい。
ii. 次の場合、特定の近傍のブロックから有効なMVdefaultXが見つか
らない。
1. 特定の近傍のブロックが存在しない。
2. 特定の近傍のブロックは、インター符号化されない。
iii. MVdefaultXは、特定の近傍のブロックに記憶された特定のMV
にのみ等しく設定してもよい。
1. 一例において、特定のMVは、参照リストXを参照する。
2. 一例において、特定のMVは、参照リストXにおける特定の参照ピクチャを
参照し、例えば、インデックス0を有する参照ピクチャが挙げられる。
iv. 特定の近傍のブロックから取得したMVdefaultXを、特定の参照ピ
クチャ、例えば参照リストXにおけるインデックス0を有する参照ピクチャにスケーリン
グしてもよい。
v. 特定の近傍のブロックから取得したMVdefaultXは、現在のピクチャ
そのものを参照することができない。
【0279】
9. サブブロックまたは非サブブロックATMVP候補のいずれかに対して、コロケー
ションされたピクチャにおける1つのサブブロック/全ブロックのための1つの時間的ブ
ロックがCPRモードで符号化される場合、代わりに、1つのデフォルトの動き候補を利
用してもよい。
a) 一例において、デフォルト動き候補は、現在のブロックの中心位置に関連付けら
れた動き候補として定義されてもよい(例えば、2.3.5.1.2に開示されるように
、ATMVPにおいて用いられるMVdefault0および/またはMVdefaul
t1)。
b) 一例において、デフォルト動き候補は、利用可能である場合、両方の参照ピクチ
ャリストに対して、(0,0)動きベクトルおよび0に等しい参照ピクチャインデックス
として定義されてもよい。
【0280】
10. なお、ATMVP処理におけるデフォルト動き情報(例えば、2.3.5.1.
2に開示されるように、ATMVPにおいて用いられるMVdefault0、MVde
fault1)は、サブブロック動き情報導出処理において用いられる位置の場所に基づ
いて導出されてもよい。この提案された方法では、そのサブブロックに対して、デフォル
ト動き情報が直接割り当てられるので、動き情報をさらに導出する必要がない。
a) 一例において、現在のブロックの中心位置を用いる代わりに、現在のブロックに
おけるサブブロック(例えば、中心サブブロック)の中心位置を利用してもよい。
b) 既存のおよび提案された実装形態の例を
図29Aおよび29Bにそれぞれ示す。
【0281】
11. ATMVP候補は、常に以下の方法で利用可能とすることとされている。
a) 現在のブロックの中心点を(x0,y0)とすると、コロケーションされたピク
チャにおける(x0,y0)の対応する位置をM=(x0+MV’x,y0+MV’y)
とする。Mを含むブロックZを見つける。Zがイントラ符号化されている場合、項目6に
提案される何らかの方法によってMVdefault0、MVdefault1を導出す
る。
b) あるいは、ブロックZは、動き情報を取得するために配置されず、項目8に提案
されるいくつかの方法は、MVdefault0およびMVdefault1を取得する
ために直接適用される。
c) あるいは、ATMVP処理で使用されるデフォルトの動き候補は、常に利用可能
である。現在の設計に基づいて、それが利用不可能に設定されている(例えば、時間的ブ
ロックがイントラ符号化されている)場合、デフォルト動き候補の代わりに他の動きベク
トルを利用してもよい。
i. 一例において、参照により本明細書に組み込まれる国際出願PCT/CN20
18/124639号の解決案が適用されてもよい。
d) あるいは、さらに、ATMVP候補が常に利用可能であるかどうかは、他の高レ
ベル構文情報に依存する。
i. 一例において、スライス/タイル/ピクチャヘッダまたは他の映像ユニットに
おけるATMVPイネーブルフラグが真であると推測される場合にのみ、ATMVP候補
は常に利用可能であると設定してもよい。
ii. 一例において、上記方法は、スライスヘッダ/ピクチャヘッダまたは他の映
像ユニットにおけるATMVPイネーブルフラグが真に設定され、且つ現在のピクチャが
IRAPピクチャでなく、且つ現在のピクチャが0に等しい参照インデックスでRefP
icList0に挿入されていない場合にのみ適用可能であってもよい。
e) ATMVP候補には、固定インデックスまたは固定グループのインデックスが割
り当てられる。ATMVP候補が常に利用可能でない場合、固定インデックス/群インデ
ックスは、他の種類の動き候補(例えば、アフィン候補)に推論してもよい。
【0282】
12. なお、動きゼロアフィンマージ候補をサブブロックマージ候補リストに含めるか
どうかは、アフィン予測が有効にされるかどうかに依存するべきであるとされている。
a) 例えば、アフィン使用フラグがオフの場合(sps_affine_enabl
ed_flagが0に等しい場合)、動きゼロアフィンマージ候補はサブブロックマージ
候補リストに入れられない。
b) あるいは、さらに、代わりに、非アフィン候補であるデフォルトの動きベクトル
候補を加える。
【0283】
13. なお、非アフィンパディング候補をサブブロックマージ候補リストに含めてもよ
いとされている。
a) サブブロックマージ候補リストが満たされていない場合、動きゼロ非アフィンパ
ディング候補を追加してもよい。
b) このようなパディング候補を選択する場合は、現在のブロックのaffine_
flagを0に設定する必要がある。
c) あるいは、サブブロックマージ候補リストが満たされず、かつ、アフィン使用フ
ラグがオフである場合、ゼロ動き非アフィンパディング候補をサブブロックマージ候補リ
ストに含める。
【0284】
14. MV0とMV1が、対応する位置を含むブロックの参照リスト0と参照リスト1
のMVを表すとする(例えば、MV0とMV1は、2.3.5.1.2章で説明されてい
るMVZ_0とMVZ_1、またはMVZS_0とMVZS_1の場合がある)。MV0
’およびMV1’は、現在のブロックまたはサブブロックに対して導出するべき参照リス
ト0および参照リスト1におけるMVを表す。その場合、MV0’およびMV1’は、ス
ケーリングによって導出するべきである。
a) MV0、コロケーションされたピクチャが参照リスト1にある場合。
b) MV1、コロケーションされたピクチャが参照リスト0にある場合。
【0285】
15. 参照ピクチャリストX(PicRefListX、例えば、X=0)において、
現在のピクチャをインデックスがM(例えば、0)に設定された参照ピクチャとして扱う
場合、ATMVPおよび/またはTMVP許可/禁止フラグは、スライス/タイルまたは
他の種類の映像ユニットに対して偽であると推測されてもよい。ここで、Mは、ATMV
P/TMVP処理において時間的ブロックの動き情報をPicRefListXに対して
スケーリングするオブジェクト参照ピクチャインデックスに等しくてもよい。
a) あるいは、上記方法は、現在のピクチャがイントラランダムアクセスポイント(
IRAP)ピクチャである場合にのみ適用可能である。
b) 一例において、PicRefListXにおける現在のピクチャをインデックス
がM(例えば、0)に設定された参照ピクチャとして扱う場合、および/または、Pic
RefListYにおけるインデックスがN(例えば、0)に設定された参照ピクチャと
して扱う場合、ATMVPおよび/またはTMVP許可/禁止フラグが偽であると推測し
てもよい。変数MおよびNは、TMVPまたはATMVP処理で使用されるオブジェクト
参照ピクチャインデックスを表す。
c) ATMVP処理の場合、確認ビットストリームは、現在のブロックの動き情報が
導出されるコロケーションされたピクチャが現在のピクチャではないという規則に従うよ
う、制限されている。
d) あるいは、上記の条件が真である場合、ATMVPまたはTMVP処理は呼び出
されない。
【0286】
16. 現在のブロックのための参照ピクチャリストX(PicRefListX、例え
ば、X=0)におけるインデックスがM(例えば、0)に設定された参照ピクチャが現在
のピクチャである場合、ATMVPは、このブロックに対して依然として有効にできると
されている。
a) 一例において、すべてのサブブロックの動き情報は、現在のピクチャを指す。
b) 一例において、時間的ブロックからサブブロックの動き情報を取得する場合、時
間的ブロックは、時間的ブロックの現在のピクチャを指す少なくとも1つの参照ピクチャ
で符号化される。
c) 一例において、時間的ブロックからサブブロックの動き情報を取得する場合、ス
ケーリング演算は適用されない。
【0287】
17. ATMVPの使用に関わらず、サブブロックマージインデックスの符号化方法を
統一する。
a) 一例において、第1のL個のビンに対して、それらはコンテキスト符号化される
。残りのビンについては、バイパス符号化される。一例において、Lは1に設定される。
b) あるいは、すべてのビンに対して、それらはコンテキスト符号化される。
【0288】
18. ATMVPにおいて、異なるピクチャにおいて対応するブロックを見つけるため
に用いられるMV(MVx,MVy)(例えば、TMVが0)は、MVスケーリング処理
と同様な丸め方法によって、整数精度(MVx’、MVy’と表記される)に右シフトし
てもよい。
a) あるいは、ATMVPにおいて異なるピクチャ内の対応するブロックを突き止め
るために使用されるMV(例えば、TMVが0)を、MV平均化処理と同じ丸め方法で、
整数精度に右シフトしてもよい。
b) あるいは、ATMVPにおいて異なるピクチャ内の対応するブロックを突き止め
るために使用されるMV(例えば、TMVが0)は、適応MV解像度(AMVR)処理と
同じ丸め方法で、整数精度に右シフトしてもよい。
【0289】
19. ATMVPにおいて、異なるピクチャにおいて対応するブロックを見つけるため
に用いられるMV(MVx,MVy)(例えば、TMVが0)は、0に近づく方向に丸め
ることで、整数精度((MVx’,MVy’)と表記される)に右シフトしてもよい。
a) 例えば、MVx’=(MVx+((1<<N)>>1)-(MVx>=0?1:
0))>>N;Nは、MVの解像度、例えばN=4を表す整数である。
i. 例えば、MVx’=(MVx+(MVx>=0?7:8))>>4.
b) 例えば、MVy’=(MVy+((1<<N)>>1)-(MVy>=0?1:
0))>>N;Nは、MVの解像度、例えばN=4を表す整数である。
i. 例えば、MVy’=(MVy+(MVy>=0?7:8))>>4.
【0290】
20. 一例において、bullet18およびbullet19におけるMV(MVx
,MVy)は、ATMVPにおいて用いられるデフォルトの動き情報を導出するために、
サブブロックの中心位置およびシフトされたMVを使用して、または現在のブロックの左
上の位置およびシフトされたMVを使用して、対応するブロックの位置を規定するために
用いられる。
a) 一例において、MV(MVx,MVy)は、ATMVP処理中に、現在のブロッ
クにおけるサブブロックの動き情報を導出するために、例えば、サブブロックの中心位置
およびシフトされたMVを使用して、対応するブロックの位置を規定するために用いられ
る。
【0291】
21. bullet18、19、20に提案された方法は、異なるピクチャまたは現在
のピクチャにおける参照ブロックの位置を動きベクトルで規定することを必要とする他の
符号化ツールに適用してもよい。
【0292】
22. ATMVPにおいて異なるピクチャ内の対応するブロックを見つけるために使用
されるMV(MVx,MVy)(例えば、0におけるTMV)は、それがコロケーション
されたピクチャを指しても、スケーリングされてもよい。
a) 一例において、コロケーションされたピクチャ(またはその中のコンフォーマン
スウィンドウ)の幅および/または高さが、現在のピクチャ(またはその中のコンフォー
マンスウィンドウ)の幅および/または高さと異なる場合、MVをスケーリングしてもよ
い。
b) コロケーションされたピクチャの(コンフォーマンスウィンドウの)幅および高
さを、それぞれW1およびH1として示す。現在のピクチャ(のコンフォーマンスウィン
ドウ)の幅および高さをそれぞれW2およびH2とする。そして、MV(MVx,MVy
)は、MVx’=MVx*W1/W2およびMVy’=MVy*H1/H2としてスケー
リングされてもよい。
【0293】
23. ATMVP処理における動き情報を導出するために使用される現在のブロックの
中心点(例えば、2.3.5.1.2における位置(x0,y0))は、スケーリングお
よび/またはオフセットの追加によってさらに修正してもよい。
a) 一例において、コロケーションされたピクチャ(またはその中のコンフォーマン
スウィンドウ)の幅および/または高さが現在のピクチャ(またはその中のコンフォーマ
ンスウィンドウ)の幅および/または高さと異なる場合、中心点をさらに修正してもよい
。
b) コロケーションされたピクチャにおけるコンフォーマンスウィンドウの左上の位
置をX1およびY1とする。現在のピクチャに定義されたコンフォーマンスウィンドウの
左上の位置をX2およびY2とする。コロケーションされたピクチャ(のコンフォーマン
スウィンドウ)の幅および高さは、それぞれW1およびH1として示される。現在のピク
チャの(コンフォーマンスウィンドウの)幅および高さを、それぞれW2およびH2とす
る。その場合、(x0,y0)は、x0’=(x0-X2)*W1/W2+X1、y0’
=(y0-Y2)*H1/H2+Y1として修正してもよい。
i. あるいは、x0’=x0*W1/W2、y0’=y0*H1/H2である。
【0294】
24. ATMVP処理における動き情報を導出するために使用される対応する位置(例
えば、2.3.5.1.2における位置M)は、スケーリングおよび/またはオフセット
の追加によってさらに修正してもよい。
a) 一例において、コロケーションされたピクチャ(またはその中のコンフォーマン
スウィンドウ)の幅および/または高さが現在のピクチャ(またはその中のコンフォーマ
ンスウィンドウ)の幅および/または高さと異なる場合、対応する位置をさらに修正して
もよい。
b) コロケーションされたピクチャにおけるコンフォーマンスウィンドウの左上の位
置をX1およびY1とする。現在のピクチャに定義されたコンフォーマンスウィンドウの
左上の位置をX2およびY2とする。コロケーションされたピクチャ(のコンフォーマン
スウィンドウ)の幅および高さは、それぞれW1およびH1として示される。現在のピク
チャの(コンフォーマンスウィンドウの)幅および高さを、それぞれW2およびH2とす
る。その場合、M(x,y)は、x’=(x-X2)*W1/W2+X1およびy’=(
y-Y2)*H1/H2+Y1として修正してもよい。
i. あるいは、x’=x*W1/W2、y’=y*H1/H2である。
【0295】
サブピクチャ関連
【0296】
25. 一例において、位置(i,j)および(i,j-1)が異なるサブピクチャに属
する場合、(j-1)列で終わるサブピクチャSの幅は、j―サブピクチャSの最左列に
等しく設定してもよい。
a) 既存の実装形態例に基づく実施形態を以下に強調する。
NumSubPics=0
for(i=0;i.<NumSubPicGridRows;i++){
for(j=0;j<NumSubPicGridCols;j++){
if(i==0)
SubPicTop[subpic_grid_idx[i][j]]=0
else if(subpic_grid_idx[i][j]!=subpic_
grid_idx[i-1][j]){
SubPicTop[subpic_grid_idx[i][j]]=i
SubPicHeight[subpic_grid_idx[i-1][j]]
=
i-SubPicTop[subpic_grid_idx[i-1][j]]
}
if(j==0)
SubPicLeft[subpic_grid_idx[i][j]]=0 (
7-7)
else if(subpic_grid_idx[i][j]!=subpic_
grid_idx[i][j-1]){
SubPicLeft[subpic_grid_idx[i][j]]=j
SubPicWidth[subpic_grid_idx[i][j-1]]=
j-SubPicLeft[subpic_grid_idx[i][j-1]]
}
if(i==NumSubPicGridRows-1)
SubPicHeight[subpic_grid_idx[i][j]]=
i-SubPicTop[subpic_grid_idx[i-1][j]]+1 if(j==NumSubPicGridRows-1)
SubPicWidth[subpic_grid_idx[i][j]]=
j-SubPicLeft[subpic_grid_idx[i][j-1]]+1
if(subpic_grid_idx[i][j]>NumSubPics)
NumSubPics=subpic_grid_idx[i][j]
}
}
【0297】
26. 一例において、(NumSubPicGridRows-1)行で終わるサブピ
クチャSの高さは、(NumSubPicGridRows-1)-サブピクチャSの最
上行+1に等しく設定してもよい。
a) 既存の実装形態例に基づく実施形態を以下に強調する。
NumSubPics=0
for(i=0;i.<NumSubPicGridRows;i++){
for(j=0;j<NumSubPicGridCols;j++){
if(i==0)
SubPicTop[subpic_grid_idx[i][j]]=0
else if(subpic_grid_idx[i][j]!=subpic_
grid_idx[i-1][j]){
SubPicTop[subpic_grid_idx[i][j]]=i
SubPicHeight[subpic_grid_idx[i-1][j]]
=
i-SubPicTop[subpic_grid_idx[i-1][j]]
}
if(j==0)
SubPicLeft[subpic_grid_idx[i][j]]=0 (
7-7)
else if(subpic_grid_idx[i][j]!=subpic_
grid_idx[i][j-1]){
SubPicLeft[subpic_grid_idx[i][j]]=j
SubPicWidth[subpic_grid_idx[i][j]]=
j-SubPicLeft[subpic_grid_idx[i][j-1]]
}
if(i==NumSubPicGridRows-1)
SubPicHeight[subpic_grid_idx[i][j]]=
i-SubPicTop[subpic_grid_idx[i][j]]+1 if(j==NumSubPicGridRows-1)
SubPicWidth[subpic_grid_idx[i][j]]=
j-SubPicLeft[subpic_grid_idx[i][j-1]]+1
if(subpic_grid_idx[i][j]>NumSubPics)
NumSubPics=subpic_grid_idx[i][j]
【0298】
27. 一例において、(NumSubPicGridColumns-1)列で終わる
サブピクチャSの幅は、(NumSubPicGridColumns-1)-サブピク
チャSの左端の列、次に1を加えたものに等しく設定してもよい。
a) 既存の実装形態例に基づく実施形態を以下に強調する。
NumSubPics=0
for(i=0;i.<NumSubPicGridRows;i++){
for(j=0;j<NumSubPicGridCols;j++){
if(i==0)
SubPicTop[subpic_grid_idx[i][j]]=0
else if(subpic_grid_idx[i][j]!=subpic_
grid_idx[i-1][j]){
SubPicTop[subpic_grid_idx[i][j]]=i
SubPicHeight[subpic_grid_idx[i-1][j]]
=
i-SubPicTop[subpic_grid_idx[i-1][j]]
}
if(j==0)
SubPicLeft[subpic_grid_idx[i][j]]=0 (
7-7)
else if(subpic_grid_idx[i][j]!=subpic_
grid_idx[i][j-1]){
SubPicLeft[subpic_grid_idx[i][j]]=j
SubPicWidth[subpic_grid_idx[i][j]]=
j-SubPicLeft[subpic_grid_idx[i][j-1]]
}
if(i==NumSubPicGridRows-1)
SubPicHeight[subpic_grid_idx[i][j]]=
i-SubPicTop[subpic_grid_idx[i-1][j]]+1 if(j==NumSubPicGridColumns-1)
SubPicWidth[subpic_grid_idx[i][j]]=
j-SubPicLeft[subpic_grid_idx[i][j]]+1
if(subpic_grid_idx[i][j]>NumSubPics)
NumSubPics=subpic_grid_idx[i][j]
【0299】
28. サブピクチャグリッドは、CTUサイズの整数倍でなければならない。
a) 既存の実装形態例に基づく実施形態を以下に強調する。
subpic_grid_col_width_minus1 plus1は、サブピク
チャ識別子グリッドの各要素の幅をCtbSizeYの単位で規定する。構文要素の長さ
はCeil(Log2(pic_width_max_in_luma_samples
/CtbSizeY))ビットである。
変数NumSubPicGridColsは、以下のように導出する。
NumSubPicGridCols=(pic_width_max_in_luma
_samples+subpic_grid_col_width_minus1*Ct
bSizeY+CtbSizeY-1)/
(subpic_grid_col_width_minus1*CtbSizeY
+CtbSizeY) (7-5)subpic_grid_row_height_m
inus1 plus1は、サブピクチャ識別子グリッドの各要素の高さを4サンプル単
位で指定する。構文要素の長さはCeil(Log2(pic_height_max_
in_luma_samples/CtbSizeY))ビットである。
変数NumSubPicGridRowsは、以下のように導出する。
NumSubPicGridRows=(pic_height_max_in_lum
a_samples+subpic_grid_row_height_minus1*
CtbSizeY+CtbSizeY-1)/
(subpic_grid_row_height_minus1*CtbSize
Y+CtbSizeY) (7-6)
【0300】
29. サブピクチャが互いに重複せず、すべてのサブピクチャがピクチャ全体を含まな
ければならないということを保証するために、コンフォーマンス制約が追加される。
a) 既存の実装に基づく実施形態例を以下に強調する。
次の条件が両方とも満たされる場合、subpic_grid_idx[i][j]は
idxと等しくなければならない。
i>=SubPicTop[idx]およびi<SubPicTop[idx]+Su
bPicHeight[idx].
j>=SubPicLeft[idx]およびj<SubPicLeft[idx]+
SubPicWidth[idx].
次の条件が両方とも満たされない場合、subpic_grid_idx[i][j]
はidxとは異なっていなければならない。
i>=SubPicTop[idx]およびi<SubPicTop[idx]+Su
bPicHeight[idx].
j>=SubPicLeft[idx]およびj<SubPicLeft[idx]+
SubPicWidth[idx].
【0301】
RPR関連
【0302】
30. RPR_flagとして示される構文要素(フラグなど)は、RPRが映像ユニ
ット(シーケンスなど)で使用できるかどうかを示すために信号通知される。RPR_f
lagは、SPS、VPS、またはDPSで信号通知されてもよい。
a) 一例において、RPRが使用されないように通知される場合(例えば、RPR_
flagが0の場合)、PPSで通知されるすべての幅/高さは、SPSで信号通知され
る最大幅/最大高さと同じである必要がある。
b) 一例において、RPRが使用されないように通知された場合(例えば、RPR_
flagが0の場合)、PPSのすべての幅/高さは通知されず、SPSで信号通知され
た最大幅/最大高さであると推測される。
c) 一例において、RPRが使用されないように信号通知される場合(例えば、RP
R_flagが0である場合)、コンフォーマンスウィンドウ情報は、復号化処理で使用
されない。そうでない場合(RPRを使用するように信号通知される)、コンフォーマン
スウィンドウ情報を復号化処理において使用してもよい。
【0303】
31. 動き補償処理において現在のブロックの予測ブロックを導出するために用いられ
る補間フィルタは、参照ピクチャの解像度が現在のピクチャと異なるかどうか、または参
照ピクチャの幅および/または高さが現在のピクチャの解像度よりも大きいかどうかに基
づいて選択されてもよい。
a. 一例において、条件Aが満たされ、条件Aが現在のピクチャおよび/または参照
ピクチャの寸法に依存する場合、よりタップが少ない補間フィルタを適用してもよい。
i. 一例において、条件Aは、参照ピクチャの解像度が現在のピクチャと異なるこ
とである。
ii. 一例において、条件Aは、参照ピクチャの幅および/または高さが現在のピ
クチャのそれよりも大きいことである。
iii. 一例において、条件Aは、W1>a*W2および/またはH1>b*H2
であり、ここで、(W1、H1)は参照ピクチャの幅および高さを表し、(W2、H2)
は現在のピクチャの幅および高さを表し、aおよびbは2つの因子、例えば、a=b=1
.5である。
iv. 一例において、条件Aは、双予測が使用されるかどうかに依存してもよい。
1) 現在のブロックに対して双予測を用いる場合にのみ、条件Aを満たす。
v. 一例において、条件Aは、MおよびNに依存してもよく、ここで、MおよびN
は、現在のブロックの幅および高さを表す。
1) 例えば、条件Aは、M*N<=Tの場合にのみ満たされ、ここで、Tは、6
4などの整数である。
2) 例えば、条件Aは、M<=T1またはN<=T2の場合にのみ満たされ、こ
こで、T1およびT2は整数、例えばT1=T2=4である。
3) 例えば、条件Aは、M<=T1およびN<=T2の場合にのみ満たされ、こ
こで、T1およびT2は整数、例えば、T1=T2=4である。
4) 例えば、条件Aは、M*N=T、またはM=T1またはN=T2の場合にの
み満たされ、ここで、T、T1、T2は整数、例えばT=64、T1=T2=4である。
5) 一例において、上記sub-bulletにおける小さい方の条件は、大き
い方に置き換えられてもよい。
vi. 一例において、1タップフィルタが適用される。すなわち、フィルタリング
されていない整数画素を補間結果として出力する。
vii. 一例において、参照ピクチャの解像度が現在のピクチャと異なる場合、バ
イリニアフィルタが適用される。
viii. 一例において、参照ピクチャの解像度が現在のピクチャと異なる場合、
または参照ピクチャの幅および/または高さが現在のピクチャの解像度よりも大きい場合
、4タップフィルタまたは6タップフィルタが適用される。
1) 6タップフィルタは、アフィン動き補償に使用されてもよい。
2) 4タップフィルタは、クロマサンプルの補間に使用されてもよい。
b. bullet31に開示された方法を適用するかどうか、および/またはどのよ
うに適用するかは、色成分に依存してもよい。
i. 例えば、これらの方法は、輝度成分にのみ適用される。
c. bullet31に開示された方法を適用するかどうか、および/またはどのよ
うに適用するかは、補間フィルタリング方向に依存してもよい。
i. 例えば、この方法は水平フィルタリングにのみ適用される。
ii. 例えば、この方法は垂直フィルタリングにのみ適用される。
【0304】
CIIP関連
【0305】
32. CIIP処理で使用されるイントラ予測信号は、CUレベルの代わりにTUレベ
ルで(例えば、CUの代わりにTUの外側の参照サンプルを使用して)行われてもよい。
a) 一例において、CUの幅または高さのいずれかが最大変換ブロックサイズよりも
大きい場合、CUは複数のTUに分割してもよく、例えば、TUの外側の参照サンプルを
使用して、TUごとにイントラ/インター予測が生成されてもよい。
b) 一例において、最大変換サイズKが64よりも小さい(例えば、K=32)場合
、CIIPにおいて使用されるイントラ予測は、通常のイントラコードブロックにおける
ように再帰的な方法で実行される。
c) 例えば、MおよびNが整数であるKM×KN CIIP符号化ブロックを、K×
K個のブロックのMN個に分割することで、各K×K個のブロックごとにイントラ予測を
行う。後に符号化/復号されたK×Kブロックのイントラ予測は、前述の符号化/復号化
されたK×Kブロックの再構成サンプルに依存してもよい。
【0306】
5. 追加の例示的な実施形態
【0307】
5.1 実施形態#1:SPS/PPS/スライスヘッダ/タイルグループヘッダにおけ
る構文設計の例
【0308】
VTM3.0.1rC1標準ソフトウェアと比較した場合の変化を、大きな太字のフォ
ントで以下のように強調する。
【0309】
【0310】
5.2 実施形態#2:SPS/PPS/スライスヘッダ/タイルグループヘッダにおけ
る構文設計の例
【0311】
7.3.2.1 シーケンスパラメータセットRBSP構文
【0312】
【0313】
sps_sbtmvp_enabled_flagが1に等しい場合、サブブロックに
基づく時間的動きベクトル予測子を使用してもよく、CVSでslice_typeがI
に等しくないすべてのスライスを含むピクチャを復号化できることを規定する。0に等し
いsps_sbtmvp_enabled_flagは、サブブロックに基づく時間的動
きベクトル予測子がCVSで使用されないことを規定する。sps_sbtmvp_en
abled_flagが存在しない場合、0に等しいと推測される。
【0314】
five_minus_max_num_subblock_merge_candは
、5から減算されたスライスでサポートされるサブブロックに基づくマージ動きベクトル
予測(MVP)候補の最大数を規定する。five_minus_max_num_su
bblock_merge_candが存在しない場合、5-sps_sbtmvp_e
nabled_flagに等しいと推測される。サブブロックに基づくマージMVP候補
の最大数MaxNumSubblockMergeCandは、以下のように導出する。
【0315】
MaxNumSubblockMergeCand=5-five_minus_ma
x_num_subblock_merge_cand (7-45)
【0316】
MaxNumSubblockMergeCandの値は、0~5の範囲内にある。
【0317】
8.3.4.2 サブブロックマージモードにおける動きベクトルおよび参照インデッ
クスの導出処理
【0318】
この処理への入力は以下の通りである。
【0319】
..[現在のVVC仕様案に変更はない]
【0320】
この処理の出力は以下の通りである。
【0321】
...[現在のVVC仕様案に変更はない]
【0322】
変数numSbX、numSbY、およびサブブロックマージ候補リストsubblo
ckMergeCandListは、以下の順序ステップによって導出する。
【0323】
sps_sbtmvp_enabled_flagが1に等しく、(現在の画像がIR
APであり、参照ピクチャリスト0のインデックス0が現在の画像である)が真でない場
合、以下が適用される。
【0324】
8.3.2.3項で規定されている近傍の符号化ユニットからの候補をマージするため
の導出処理は、Xが0または1として、輝度符号化ブロックの位置(xCb,yCb)、
輝度符号ブロック幅cbWidth、輝度符号ブロック高さcbHeight、輝度符号
ブロック幅を入力として呼び出され、出力は、可用性フラグavailableFlag
A0、availableFlagA1、availableFlagB0、avail
ableFlagB1およびavailableFlagB2、参照インデックスref
IdxLXA0、refIdxLXA1,refIdxLXB0、refIdxLXB1
およびrefIdxLXB2、および予測リスト利用フラグpredFlagLXA0、
predFlagLXA1、predFlagLXB0,predFlagLXB1およ
びpredFlagLXB2、および動きベクトルmvLXA0、mvLXA1、mvL
XB0、mvLXB1およびmvLXB2である。
【0325】
8.3.4.3項で規定されているサブブロックベースの時間的マージ候補の導出処理
は、xSbIdx=0..numSbX-1,ySbIdx=0..numSbY-1お
よびXは0または1として、輝度位置(xCb,yCb)、輝度符号化ブロック幅cbW
idth、輝度符号化ブロック高さcbHeight、可用性フラグ、availabl
eFlagA0、availableFlagA1、availableFlagB0、
availableFlagB1、参照インデックスrefIdxLXA0、refId
xLXA1、refIdxLXB0、efIdxLXB1、予測リスト利用フラグpre
dFlagLXA0、predFlagLXA1、predFlagLXB0、pred
FlagLXB1、動きベクトルmvLXA0,mvLXA1,mvLXB0,mvLX
B1を入力として呼び出され、出力は、可用性フラグavailableFlagSbC
ol、水平方向numSbXおよび垂直方向numSbYにおける輝度符号化サブブロッ
クの数、参照インデックスrefIdxLXSbCol、輝度動きベクトルmvLXSb
Col[xSbIdx][ySbIdx]および予測リスト利用フラグpredFlag
LXSbCol[xSbIdx][ySbIdx]である。
【0326】
sps_affine_enabled_flagが1に等しい場合、サンプルの場所
(xNbA0,yNbA0)、(xNbA1,yNbA1)、(xNbA2,yNbA2
)、(xNbB0,yNbB0)、(xNbB1,yNbB1)、(xNbB2,yNb
B2)、(xNbB3,yNbB3)、および変数numSbXおよびnumSbYは次
のように導出する。
【0327】
[現在のVVC仕様案に変更はない]
【0328】
5.3 実施形態#3 MVの丸めの例
構文の変更は、既存の実装形態に基づいている。
【0329】
8.5.5.3 サブブロックに基づく時間的マージ候補の導出処理
…
- ColPic内部のコロケーションされたサブブロックの位置(xColSb,y
ColSb)は、以下のように導出する。
【0330】
【0331】
8.5.5.4 サブブロックに基づく時間的マージベースの動きデータの導出処理
…
ColPic内部のコロケーションされたブロックの位置(xColCb,yColCb
)は、以下のように導出する。
【0332】
【0333】
5.3 実施形態#3:MVの丸めの例
構文の変更は、既存の実装形態に基づいている。
【0334】
8.5.5.3 サブブロックに基づく時間的マージ候補の導出処理
…
【0335】
【0336】
8.5.5.4 サブブロックに基づく時間的マージベースの動きデータの導出処理
…
【0337】
【0338】
5.4 実施形態#4:MVの丸めの第2の例
【0339】
8.5.5.3 サブブロックに基づく時間的マージ候補の導出処理
【0340】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサ
ンプルの輝度位置(xCb、yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight
。
- 近傍の符号化ユニットの可用性フラグavailableFlagA1、
- 近傍の符号化ユニットの参照インデックスrefIdxLXA1であってXは0また
は1、
- 近傍の符号化ユニットの予測リスト利用フラグpredFlagLXA1であってX
は0または1、
- 近傍の符号化ユニットの1/16端数サンプル精度mvLXA1における動きベクト
ルであってXが0または1である。
【0341】
この処理の出力は以下の通りである。
- 可用性フラグavailableFlagSbCol、
- 水平方向numSbXおよび垂直方向numSbYにおける輝度符号化サブブロック
の数、
- 参照インデックスrefIdxL0SbColおよびrefIdxL1SbCol、
- 1/16端数サンプル精度mvL0SbCol[xSbIdx][ySbIdx]お
よびmvL1SbCol[xSbIdx][ySbIdx]における輝度動きベクトル、
但しxSbIdx=0..numSbX-1,ySbIdx=0..numSbY-1、
- 予測リスト利用フラグpredFlagL0SbCol[xSbIdx][ySbI
dx]およびpredFlagL1SbCol[xSbIdx][ySbIdx]、但し
xSbIdx=0..numSbX-1,ySbIdx=0..numSbY-1。
【0342】
可用性フラグavailableFlagSbCollは、以下のように導出する。
- 以下の条件の1つ以上が真である場合、availableFlagSbColに0
が設定される。
- slice_temporal_mvp_enabled_flagは0に等しい。
- sps_sbtmvp_enabled_flagは0に等しい。
- cbWidthが8未満である。
- cbHeightが8未満である。
- そうでない場合、以下の順序付けられたステップが適用される。
【0343】
1. 現在の符号化ブロックを含む輝度符号化ツリーブロックの左上のサンプルの位置(
xCtb,yCtb)および現在の輝度符号化ブロックの右下の中心サンプルの位置(x
Ctr,yCtr)は、以下のように導出する。
xCtb=(xCb>>CtuLog2Size)<<CtuLog2Size (
8-542)
yCtb=(yCb>>CtuLog2Size)<<CtuLog2Size (
8-543)
xCtr=xCb+(cbWidth/2) (8-544)
yCtr=yCb+(cbHeight/2) (8-545)
【0344】
2. 輝度位置(xColCtrCb,yColCtrCb)は、ColPicによって
規定されたコロケーションされたピクチャの左上輝度サンプルに対して、ColPic内
部の(xCtr,yCtr)によって与えられる位置を含む同一位置輝度符号化ブロック
の左上サンプルに等しく設定される。
【0345】
3. 8.5.5.4項で規定されているサブブロックに基づく時間的マージベース動き
データの導出処理は、Xを0および1として、(xCtb,yCtb)、場所(xCol
CtrCb,yColCtrCb)、可用性フラグ可用性フラグAvailabilit
yフラグA1、予測リスト利用フラグpredFlagLXA1、および参照インデック
スrefIdxLXA1、並びに動きベクトルmvLXA1を入力として呼び出され、出
力は、Xを0および1として、動きベクトルctrMVLX、並びにコロケーションされ
たブロックの予測リスト利用フラグctrPredFlagLX、時間動きベクトルte
mpMvである。
【0346】
4. 変数availableFlagSbColは、以下のように導出する。
- ctrPredFlagL0およびctrPredFlagL1の両方が0に等しい
場合、availableFlagSbColは0に等しく設定される。
- そうでない場合、availableFlagSbColは1に等しく設定される。
【0347】
availableFlagSbColが1に等しい場合、以下が適用される。
- 変数numSbX、numSbY,sbWidth、sbHeight、refId
xLXSbColは、以下のように導出する。
numSbX=cbWidth>>3 (8-546)
numSbY=cbHeight>>3 (8-547)
sbWidth=cbWidth/numSbX (8-548)
sbHeight=cbHeight/numSbY (8-549)
refIdxLXSbCol=0 (8-550)
- xSbIdx=0..numSbX-1およびySbIdx=0...numSbY
-1の場合、動きベクトルmvLXSbCol[xSbIdx][ySbIdx]および
予測リスト利用フラグpredFlags LXSbCol[xSbIdx]は、以下の
ように導出する。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化サブブロックの左上の
サンプルを規定する輝度位置(xSb,ySb)は、以下のように導出する。
xSb=xCb+xSbIdx*sbWidth+sbWidth/2 (8-55
1)
ySb=yCb+ySbIdx*sbHeight+sbHeight/2 (8-
552)
- ColPic内部のコロケーションされたサブブロックの位置(xColSb,y
ColSb)は、以下のように導出する。
【0348】
【0349】
- 変数currCbは、現在のピクチャ内の現在の符号化サブブロックを含む輝度符
号化ブロックを規定する。
- 変数colCbは、ColPicの内部において、((xColSb>>3)<<
3,(yColSb>>3)<<3)で与えられる修正位置を含む輝度符号化ブロックを
規定する。
- 輝度位置(xColCb,yColCb)は、ColPicによって指定されたコ
ロケーションされたピクチャの左上輝度サンプルに対して、colCbによって指定され
た同一位置輝度符号化ブロックの左上サンプルに等しく設定される。
- 8.5.2.12項で規定されている同一位置動きベクトルの導出処理は、cur
rCb,colCb,(xColCb,yColCb),0と等しく設定されたrefI
dxL0、1と等しく設定されたsbFlagを入力として呼び出され、出力は、サブブ
ロックmvL0SbCol[xSbIdx][ySbIdx]およびavailable
FlagL0SbColの動きベクトルに割り当てられる。
- 8.5.2.12項で規定されている同一位置動きベクトルの導出処理は、cur
rCb,colCb,(xColCb,yColCb)、0と等しく設定されたrefI
dxL1、1と等しく設定されたsbFlagを入力として呼び出され、出力はサブブロ
ックMVL1SbCol[xSbIdx][ySbIdx]およびavailableF
lagL1SbColの動きベクトルに割り当てられる。
- availableFlagL0SbColおよびavailableFlagL
1SbColが両方とも0に等しい場合、Xが0および1である場合、以下が適用される
。
mvLXSbCol[xSbIdx][ySbIdx]=ctrMvLX (8-5
56)
predFlagLXSbCol[xSbIdx][ySbIdx]=ctrPre
dFlagLX (8-557)
【0350】
8.5.5.4 サブブロックに基づく時間的マージベースの動きデータの導出処理
【0351】
この処理への入力は以下の通りである。
- 現在の符号化ブロックを含む輝度符号化ツリーブロックの左上のサンプルの位置(x
Ctb,yCtb)、
- 右下中心サンプルを含む、同じ場所に位置する輝度符号化ブロックの左上サンプルの
位置(xColCtrCb,yColCtrCb)。
- 近傍の符号化ユニットの可用性フラグavailableFlagA1、
- 近傍の符号化ユニットの参照インデックスrefIdxLXA1、
- 近傍の符号化ユニットの予測リスト利用フラグpredFlagLXA1、
- 近傍の符号化ユニットの1/16端数サンプル精度mvLXA1における動きベクト
ル。
【0352】
この処理の出力は以下の通りである。
- 動きベクトルctrMvL0およびctrMvL1、
- 予測リスト利用フラグctrPredFlagL0、ctrPredFlagL1、
- 時間的動きベクトルtempMv。
【0353】
変数tempMvは、以下のように設定される。
tempMv[0]=0 (8-558)
tempMv[1]=0 (8-559)
【0354】
変数currPicは、現在のピクチャを規定する。
【0355】
availableFlagA1がTRUEに等しい場合、以下が適用される。
- 以下のすべての条件が真である場合、tempMvはmvL0A1に等しく設定され
る。
- predFlagL0A1が1に等しい、
- DiffPicOrderCnt(ColPic,RefPicList[0][
refIdxL0A1])が0に等しい、
- そうでない場合、以下のすべての条件が真である場合、tempMvはmvL1A1
:に等しく設定される。
- スライスタイプはBと同じである、
- predFlagL1A1が1に等しい、
- DiffPicOrderCnt(ColPic,RefPicList[1][
refIdxL1A1])は0に等しい。
【0356】
【0357】
配列colPredModeは、ColPicが指定したコロケーションされたピクチ
ャの予測モード配列CuPredMode[0]に等しく設定される。
【0358】
動きベクトルctrMvL0、ctrMvL1、および予測リスト利用フラグctrP
redFlagL0、ctrPredFlagL1は、以下のように導出する。
- colPredMode[xColCb][yColCb]がMODE_INTE
Rと等しい場合、以下が適用される。
- 変数currCbは、現在のピクチャ内で(xCtrCb,yCtrCb)を含む
輝度符号化ブロックを規定する。
- 変数colCbは、ColPicの内部において、((xColCb>>3)<<
3,(yColCb>>3)<<3)で与えられる修正位置を含む輝度符号化ブロックを
規定する。
- 輝度位置(xColCb,yColCb)は、ColPicによって指定されたコ
ロケーションされたピクチャの左上輝度サンプルに対して、colCbによって指定され
た同一位置輝度符号化ブロックの左上サンプルに等しく設定される。
- 8.5.2.12項に規定されている同一位置動きベクトルの導出処理は、cur
rCb、colCb,(xColCb,yColCb)、0と等しく設定されたrefI
dxL0、および1に等しく設定されたsbFlagを入力とし、出力をctrMvL0
およびctrPredFlagL0に割り当てることにより呼び出される。
- 8.5.2.12項に規定されている同一位置動きベクトルの導出処理は、cur
rCb,colCb,(xColCb,yColCb),0に等しく設定されたrefI
dxL1、および1に等しく設定されたsbFlagを入力とし、出力をctrMvL1
およびctrPredFlagL1に割り当てることにより呼び出される。
- そうでない場合、以下が適用される。
ctrPredFlagL0=0 (8-563)
ctrPredFlagL1=0 (8-564)
【0359】
5.5 実施形態#5:MVの丸めの第3の例
【0360】
8.5.5.3 サブブロックに基づく時間的マージ候補の導出処理
【0361】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサ
ンプルの輝度位置(xCb、yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight
。
- 近傍の符号化ユニットの可用性フラグavailableFlagA1、
- 近傍の符号化ユニットの参照インデックスrefIdxLXA1であってXは0また
は1、
- 近傍の符号化ユニットの予測リスト利用フラグpredFlagLXA1であってX
は0または1、
- 近傍の符号化ユニットの1/16端数サンプル精度mvLXA1における動きベクト
ルであってXが0または1である。
【0362】
この処理の出力は以下の通りである。
- 可用性フラグavailableFlagSbCol,
- 水平方向numSbXおよび垂直方向numSbYにおける輝度符号化サブブロック
の数、
- 参照インデックスrefIdxL0SbColおよびrefIdxL1SbCol、
- 1/16端数サンプル精度mvL0SbCol[xSbIdx][ySbIdx]お
よびmvL1SbCol[xSbIdx][ySbIdx]における輝度動きベクトル、
但しxSbIdx=0..numSbX-1,ySbIdx=0..numSbY-1、
- 予測リスト利用フラグpredFlagL0SbCol[xSbIdx][ySbI
dx]およびpredFlagL1SbCol[xSbIdx][ySbIdx]、但し
xSbIdx=0..numSbX-1,ySbIdx=0..numSbY-1。
【0363】
可用性フラグavailableFlagSbCollは、以下のように導出する。
- 以下の条件の1つ以上が真である場合、availableFlagSbColに0
が設定される。
- slice_temporal_mvp_enabled_flagは0に等しい。
- sps_sbtmvp_enabled_flagは0に等しい。
- cbWidthが8未満である。
- cbHeightが8未満である。
- そうでない場合、以下の順序付けられたステップが適用される。
【0364】
5. 現在の符号化ブロックを含む輝度符号化ツリーブロックの左上のサンプルの位置(
xCtb,yCtb)および現在の輝度符号化ブロックの右下の中心サンプルの位置(x
Ctr,yCtr)は、以下のように導出する。
xCtb=(xCb>>CtuLog2Size)<<CtuLog2Size (
8-542)
yCtb=(yCb>>CtuLog2Size)<<CtuLog2Size (
8-543)
xCtr=xCb+(cbWidth/2) (8-544)
yCtr=yCb+(cbHeight/2) (8-545)
【0365】
6. 輝度位置(xColCtrCb,yColCtrCb)は、ColPicによって
規定されたコロケーションされたピクチャの左上輝度サンプルに対して、ColPic内
部の(xCtr,yCtr)によって与えられる位置を含む同一位置輝度符号化ブロック
の左上サンプルに等しく設定される。
【0366】
7. 8.5.5.4項で規定されているサブブロックに基づく時間的マージベース動き
データの導出処理は、Xを0および1として、(xCtb,yCtb)、場所(xCol
CtrCb,yColCtrCb)、可用性フラグ可用性フラグAvailabilit
yフラグA1、予測リスト利用フラグpredFlagLXA1、および参照インデック
スrefIdxLXA1、並びに動きベクトルmvLXA1を入力として呼び出され、出
力は、Xを0および1として、動きベクトルctrMVLX、並びにコロケーションされ
たブロックの予測リスト利用フラグctrPredFlagLX、時間動きベクトルte
mpMvである。
【0367】
8. 変数availableFlagSbColは、以下のように導出する。
- ctrPredFlagL0およびctrPredFlagL1の両方が0に等し
い場合、availableFlagSbColは0に等しく設定される。
- そうでない場合、availableFlagSbColは1に等しく設定される
。
【0368】
availableFlagSbColが1に等しい場合、以下が適用される。
- 変数numSbX、numSbY,sbWidth、sbHeight、refId
xLXSbColは、以下のように導出する。
numSbX=cbWidth>>3 (8-546)
numSbY=cbHeight>>3 (8-547)
sbWidth=cbWidth/numSbX (8-548)
sbHeight=cbHeight/numSbY (8-549)
refIdxLXSbCol=0 (8-550)
- xSbIdx=0..numSbX-1およびySbIdx=0...numSbY
-1の場合、動きベクトルmvLXSbCol[xSbIdx][ySbIdx]および
予測リスト利用フラグpredFlags LXSbCol[xSbIdx]は、以下の
ように導出する。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化サブブロックの左上の
サンプルを規定する輝度位置(xSb,ySb)は、以下のように導出する。
xSb=xCb+xSbIdx*sbWidth+sbWidth/2 (8-55
1)
ySb=yCb+ySbIdx*sbHeight+sbHeight/2 (8-
552)
- ColPic内部のコロケーションされたサブブロックの位置(xColSb,y
ColSb)は、以下のように導出する。
【0369】
【0370】
- 変数currCbは、現在のピクチャ内の現在の符号化サブブロックを含む輝度符
号化ブロックを規定する。
- 変数colCbは、ColPicの内部において、((xColSb>>3)<<
3,(yColSb>>3)<<3)で与えられる修正位置を含む輝度符号化ブロックを
規定する。
- 輝度位置(xColCb,yColCb)は、ColPicによって指定されたコ
ロケーションされたピクチャの左上輝度サンプルに対して、colCbによって指定され
た同一位置輝度符号化ブロックの左上サンプルに等しく設定される。
- 8.5.2.12項で規定されている同一位置動きベクトルの導出処理は、cur
rCb,colCb,(xColCb,yColCb),0と等しく設定されたrefI
dxL0、1と等しく設定されたsbFlagを入力として呼び出され、出力は、サブブ
ロックmvL0SbCol[xSbIdx][ySbIdx]およびavailable
FlagL0SbColの動きベクトルに割り当てられる。
- 8.5.2.12項で規定されている同一位置動きベクトルの導出処理は、cur
rCb,colCb,(xColCb,yColCb)、0と等しく設定されたrefI
dxL1、1と等しく設定されたsbFlagを入力として呼び出され、出力はサブブロ
ックMVL1SbCol[xSbIdx][ySbIdx]およびavailableF
lagL1SbColの動きベクトルに割り当てられる。
- availableFlagL0SbColおよびavailableFlagL
1SbColが両方とも0に等しい場合、Xが0および1である場合、以下が適用される
。
mvLXSbCol[xSbIdx][ySbIdx]=ctrMvLX (8-
556)
predFlagLXSbCol[xSbIdx][ySbIdx]=ctrPre
dFlagLX (8-557)
【0371】
8.5.5.4 サブブロックに基づく時間的マージベースの動きデータの導出処理
【0372】
この処理への入力は以下の通りである。
- 現在の符号化ブロックを含む輝度符号化ツリーブロックの左上のサンプルの位置(x
Ctb,yCtb)、
- 右下中心サンプルを含む、同じ場所に位置する輝度符号化ブロックの左上サンプルの
位置(xColCtrCb,yColCtrCb)。
- 近傍の符号化ユニットの可用性フラグavailableFlagA1、
- 近傍の符号化ユニットの参照インデックスrefIdxLXA1、
- 近傍の符号化ユニットの予測リスト利用フラグpredFlagLXA1、
- 近傍の符号化ユニットの1/16端数サンプル精度mvLXA1における動きベクト
ル。
【0373】
この処理の出力は以下の通りである。
- 動きベクトルctrMvL0およびctrMvL1、
- 予測リスト利用フラグctrPredFlagL0、ctrPredFlagL1、
- 時間的動きベクトルtempMv。
【0374】
変数tempMvは、以下のように設定される。
tempMv[0]=0 (8-558)
tempMv[1]=0 (8-559)
【0375】
変数currPicは、現在のピクチャを規定する。
【0376】
availableFlagA1がTRUEに等しい場合、以下が適用される。
- 以下のすべての条件が真である場合、tempMvはmvL0A1に等しく設定され
る。
- predFlagL0A1が1に等しい、
- DiffPicOrderCnt(ColPic,RefPicList[0][
refIdxL0A1])が0に等しい、
- そうでない場合、以下のすべての条件が真である場合、tempMvはmvL1A1
:に等しく設定される。
- スライスタイプはBと同じである、
- predFlagL1A1が1に等しい、
- DiffPicOrderCnt(ColPic,RefPicList[1][
refIdxL1A1])は0に等しい。
【0377】
【0378】
配列colPredModeは、ColPicが指定したコロケーションされたピクチ
ャの予測モード配列CuPredMode[0]に等しく設定される。
【0379】
動きベクトルctrMvL0、ctrMvL1、および予測リスト利用フラグctrP
redFlagL0、ctrPredFlagL1は、以下のように導出する。
- colPredMode[xColCb][yColCb]がMODE_INTER
と等しい場合、以下が適用される。
- 変数currCbは、現在のピクチャ内で(xCtrCb,yCtrCb)を含む
輝度符号化ブロックを規定する。
- 変数colCbは、ColPicの内部において、((xColCb>>3)<<
3,(yColCb>>3)<<3)で与えられる修正位置を含む輝度符号化ブロックを
規定する。
- 輝度位置(xColCb,yColCb)は、ColPicによって指定されたコ
ロケーションされたピクチャの左上輝度サンプルに対して、colCbによって指定され
た同一位置輝度符号化ブロックの左上サンプルに等しく設定される。
- 8.5.2.12項に規定されている同一位置動きベクトルの導出処理は、cur
rCb、colCb,(xColCb,yColCb)、0と等しく設定されたrefI
dxL0、および1に等しく設定されたsbFlagを入力とし、出力をctrMvL0
およびctrPredFlagL0に割り当てることにより呼び出される。
- 8.5.2.12項に規定されている同一位置動きベクトルの導出処理は、cur
rCb,colCb,(xColCb,yColCb),0に等しく設定されたrefI
dxL1、および1に等しく設定されたsbFlagを入力とし、出力をctrMvL1
およびctrPredFlagL1に割り当てることにより呼び出される。
- そうでない場合、以下が適用される。
ctrPredFlagL0=0 (8-563)
ctrPredFlagL1=0 (8-564)
【0380】
8.5.6.3 端数サンプル補間処理
【0381】
8.5.6.3.1 一般
【0382】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化サブブロックの左上のサ
ンプルを規定する輝度位置(xSb,ySb)、
- 現在の符号化サブブロックの幅を規定する変数sbWidth、
- 現在の符号化サブブロックの高さを規定する変数sbHeight、
- 動きベクトルオフセットmvOffset、
- 微調整された動きベクトルrefMvLX、
- 選択された参照ピクチャサンプル配列refPicLX、
- 1/2サンプル補間フィルタインデックスhpelIfIdx、
- 双方向オプティカルフローフラグbdofFlag、
- 現在のブロックの色成分インデックスを規定する変数cIdx。
【0383】
この処理の出力は以下の通りである。
- 予測サンプル値の(sbWidth+brdExtSize)×(sbHeight
+brdExtSize)配列predSamplesLX。
【0384】
予測ブロック境界拡大サイズbrdExtSizeは、以下のように導出する。
brdExtSize=(bdofFlag||(inter_affine_fl
ag[xSb][ySb] && sps_affine_prof_enabled_
flag))?2:0 (8-752)
【0385】
変数fRefWidthは、輝度サンプルにおける参照ピクチャのPicOutput
WidthLに等しく設定される。
【0386】
変数fRefHeightは、輝度サンプルにおける参照ピクチャのPicOutpu
tHeightLに等しく設定される。
【0387】
動きベクトルmvLXは、(refMvLX-mvOffset)に等しく設定される
。
- cIdxが0に等しい場合、以下が適用される。
- スケーリングファクタおよびその固定小数点表現は、以下のように定義される。
hori_scale_fp=((fRefWidth<<14)+(PicOut
putWidthL>>1))/PicOutputWidthL (8-753)
vert_scale_fp=((fRefHeight<<14)+(PicOu
tputHeightL>>1))/PicOutputHeightL (8-754
)
- (xIntL,yIntL)をフルサンプルユニットで与えられた輝度位置とし、
(xFracL,yFracL)を1/16サンプル単位で与えられたオフセットとする
。これらの変数は、本項でのみ、参照サンプル配列refPicLX内の端数サンプル位
置を規定するために使用される。
- 参照サンプルパディング用バウンディングブロック(xSbIntL,ySbIn
tL)の左上座標を、(xSb+(mvLX[0]>>4),ySb+(mvLX[1]
>>4))に等しく設定する。
- 予測輝度サンプル配列predSamplesLX内の各輝度サンプル位置(xL=0..sbWidth-1+brdExtSize,yL=0..sbHeight-
1+brdExtSize)について、対応する予測輝度サンプル値predSampl
esLX[xL][yL]は下記のように導出する。
- (refxSbL,refySbL)および(refxL,refyL)を、1
/16サンプル単位で与えられる動きベクトル(refMvLX[0],refMvLX
[1])が指す輝度位置とする。変数refxSbL、refxL、refySbL、r
efyLは、以下のように導出する。
refxSbL=((xSb<<4)+refMvLX[0])*hori_sc
ale_fp (8-755)
refxL=((Sign(refxSb)*((Abs(refxSb)+12
8)>>8)
+xL*((hori_scale_fp+8)>>4))+32)>>6 (8
-756)
refySbL=((ySb<<4)+refMvLX[1])*vert_sc
ale_fp (8-757)
refyL=((Sign(refySb)*((Abs(refySb)+12
8)>>8)+yL*
((vert_scale_fp+8)>>4))+32)>>6 (8-758
)
- 変数xIntL、yIntL、xFracL、およびyFracLは、以下のよ
うに導出する。
xIntL=refxL>>4 (8-759)
yIntL=refyL>>4 (8-760)
xFracL=refxL&15 (8-761)
yFracL=refyL&15 (8-762)
【0388】
【0389】
- bdofFlagがTRUEに等しいか(sps_affine_prof_en
abled_flagがTRUEに等しく、inter_affine_flag[xS
b][ySb]がTRUEに等しい)、次の条件の1つ以上が真である場合、予測輝度サ
ンプル値predSamplesLX[xL][yL]は、8.5.6.3.3で規定さ
れているように、入力として(xIntL+(xFracL>>3)-1),yIntL
+(yFracL>>3)-1)およびrefPicLXを使用して輝度整数サンプル取
り出し処理を呼び出すことによって導出する。
1. xLは0に等しい。
2. xLは、sbWidth+1に等しい。
3. yLは0に等しい。
4. yLは、sbHeight+1に等しい。
【0390】
【0391】
- そうでない場合(cIdxが0に等しくない)、以下が適用される。
- (xIntC,yIntC)をフルサンプルユニットで与えられたクロマ位置とし
、(xFracC,yFracC)を1/32サンプル単位で与えられたオフセットとす
る。これらの変数は、本項でのみ、参照サンプル配列refPicLX内の一般的な端数
サンプルの位置を規定するために使用される。
- 参照サンプルパディング用バウンディングブロック(xSbIntC,ySbIn
tC)の左上座標は、((xSb/SubWidthC)+(mvLX[0]>>5),
(ySb/SubHeightC)+(mvLX[1]>>5))に等しく設定される。
- 予測クロマサンプル配列predSamplesLX内の各クロマサンプル位置(
xC=0..sbWidth-1,yC=0..sbHeight-1)について、対応
する予測クロマサンプル値predSamplesLX[xC][yC]は、以下のよう
に導出する。
- (refxSbC,refySbC)および(refxC,refyC)を、1
/32サンプル単位で与えられる動きベクトル(mvLX[0],mvLX[1])が指
すクロマ位置とする。変数refxSbC、refySbC、refxC、refyCは
、以下のように導出する。
refxSbC=((xSb/SubWidthC<<5)+mvLX[0])*
hori_scale_fp (8-763)
refxC=((Sign(refxSbC)*((Abs(refxSbC)+
256)>>9)
+xC*((hori_scale_fp+8)>>4))+16)>>5 (8
-764)
refySbC=((ySb/SubHeightC<<5)+mvLX[1])
*vert_scale_fp (8-765)
refyC=((Sign(refySbC)*((Abs(refySbC)+
256)>>9)
+yC*((vert_scale_fp+8)>>4))+16)>>5 (8
-766)
- 変数xIntC、yIntC、xFracC、yFracCは、以下のように導
出する。
xIntC=refxC>>5 (8-767)
yIntC=refyC>>5 (8-768)
xFracC=refyC&31 (8-769)
yFracC=refyC&31 (8-770)
- 予測サンプル値predSamplesLX[xC][yC]は、(xIntC,
yIntC),(xFracC,yFracC),(xSbIntC,ySbIntC)
,sbWidth,sbHeight、およびrefPicLXを入力として、8.5.
6.3.4で指定した処理を呼び出すことによって導出される。
【0392】
8.5.6.3.2 輝度サンプル補間フィルタリング処理
【0393】
【0394】
この処理の出力は、予測輝度サンプル値predSampleLXLである。
【0395】
変数shift1、shift2、およびshift3は、以下のように導出する。
- 変数shift1をMin(4,BitDepthY-8)に等しく設定し、変数s
hift2を6に等しく設定し、変数shift3をMax(2,14-BitDept
hY)に等しく設定する。
- 変数picWはpic_width_in_luma_samplesに等しく設定
され、変数picHはpic_height_in_luma_samplesに等しく
設定される。
【0396】
【0397】
i=0..7の場合、フルサンプルユニット(xInti,yInti)における輝度
位置は、以下のように導出する。
- subpic_treated_as_pic_flag[SubPicIdx]が
1に等しい場合、以下が適用される。
xInti=Clip3(SubPicLeftBoundaryPos,SubP
icRightBoundaryPos,xIntL+i-3) (8-771)
yInti=Clip3(SubPicTopBoundaryPos,SubPi
cBotBoundaryPos,yIntL+i-3) (8-772)
- それ以外の場合(subpic_treated_as_pic_flag[Sub
PicIdx]が0に等しい)、以下が適用される。
xInti=Clip3(0,picW-1,sps_ref_wraparoun
d_enabled_flag?
ClipH((sps_ref_wraparound_offset_minu
s1+1)*MinCbSizeY,picW,xIntL+i-3): (8-773
)
xIntL+i-3)
yInti=Clip3(0,picH-1,yIntL+i-3) (8-774
)
【0398】
i=0..7の場合、フルサンプルユニットにおける輝度位置は、以下のようにさらに
修正される。
xInti=Clip3(xSbIntL-3,xSbIntL+sbWidth+
4,xInti) (8-775)
yInti=Clip3(ySbIntL-3,ySbIntL+sbHeight
+4,yInti) (8-776)
【0399】
予測輝度サンプル値predSampleLXLは、以下のように導出する。
- xFracLおよびyFracLの両方が0に等しい場合、predSampleL
XLの値は、以下のように導出する。
predSampleLXL=refPicLXL[xInt3][yInt3]<
<shift3 (8-777)
- そうではなく、xFracLが0に等しくなく、yFracLが0に等しい場合は、
predSampleLXLの値は、以下のように導出する。
predSampleLXL=(Σ7
i=0fL[xFracL][i]*refP
icLXL[xInti][yInt3])>>shift1 (8-778)
- そうではなく、xFracLが0に等しく、yFracLが0に等しくない場合、p
redSampleLXLの値は、以下のように導出する。
predSampleLXL=(Σ7
i=0fL[yFracL][i]*refP
icLXL[xInt3][yInti])>>shift1 (8-779)
- そうではなく、xFracLが0に等しくなく、yFracLが0に等しくない場合
、predSampleLXLの値は、以下のように導出する。
- n=0..7のサンプル配列temp[n]は、以下のように導出する。
temp[n]=(Σ7
i=0fL[xFracL][i]*refPicLXL[
xInti][yIntn])>>shift1 (8-780)
- 予測輝度サンプル値predSampleLXLは、以下のように導出する。
predSampleLXL=(Σ7
i=0fL[yFracL][i]*temp
[i])>>shift2 (8-781)
【0400】
【0401】
【0402】
図30は、映像処理方法3000のフローチャートである。方法3000は、ステップ
3010において、映像の現在のブロックと映像のビットストリーム表現との間での変換
のために、サブブロックに基づくマージ候補リストにおける最大数の候補(ML)および
/または、サブブロックに基づく時間的動きベクトル予測(SbTMVP)候補を、時間
的動きベクトル予測(TMVP)が変換時に使用に対して有効にされるかどうか、または
、変換に、現在のピクチャ参照(CPR)符号化モードを使用するかどうかに基づいて、
サブブロックに基づくマージ候補リストに加えるかどうかを判定すること、を含む。
【0403】
方法3000は、ステップ3020において、前記判定をすることに基づいて前記変換
を行うことを含む。
【0404】
図31は、映像処理方法3100のフローチャートである。方法3100は、ステップ
3110において、映像の現在のブロックと映像のビットストリーム表現との間での変換
のために、時間的動きベクトル予測(TMVP)、サブブロックに基づく時間的動きベク
トル予測(SbTMVP)ツール、およびアフィン符号化モードを変換に対して有効とさ
れているかどうかに基づいて、サブブロックに基づくマージ候補リストにおける候補の最
大数(ML)を判定することを含む。
【0405】
方法3100は、ステップ3120において、判定に基づいて変換を行うことを含む。
【0406】
図32は、映像処理方法3200のフローチャートである。方法3200は、ステップ
3210において、映像の第1の映像セグメントの現在のブロックと映像のビットストリ
ーム表現との間での変換のために、第1の映像セグメントレベルにおいて時間的動きベク
トル予測(TMVP)モードが無効であるために、サブブロックに基づく動きベクトル予
測(SbTMVP)モードの変換が無効にされていると判定することを含む。
【0407】
方法3200は、ステップ3220において、判定に基づいて変換を行うことを含み、
ビットストリーム表現は、SbTMVPモードの表示が含まれているか否か、および/ま
たはマージ候補リストにおけるTMVPモードの表示に対するSbTMVPモードの表示
の位置を規定するフォーマットに準拠する。
【0408】
図33は、映像処理方法3300のフローチャートである。方法3300は、ステップ
3310において、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツー
ルまたは時間的動きベクトル予測(TMVP)ツールを使用して符号化された映像の現在
のブロックと、映像のビットストリーム表現との間で変換を行うことを含み、現在のブロ
ックまたは現在のブロックの対応する位置の座標または現在のブロックのサブブロックは
、SbTMVPツールまたはTMVPツールに関連付けられた動きベクトルの圧縮に基づ
いてマスクを使用して選択的にマスクされ、マスクの適用は、座標の値とマスクの値との
間のビット単位のAND演算を含む。
【0409】
図34は、映像処理方法3400のフローチャートである。方法3400は、ステップ
3410において、映像の映像セグメントの現在のブロックの1つ以上の特徴に基づいて
、現在のブロックに対してサブブロックに基づく動きベクトル予測(SbTMVP)ツー
ルを適用するための現在のブロックの有効な対応する領域を判定することを含む。
【0410】
方法3400は、ステップ3420において、この判定に基づいて現在のブロックと映
像のビットストリーム表現との間で変換を行うことを含む。
【0411】
図35は、映像処理方法3500のフローチャートである。方法3500は、ステップ
3510において、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツー
ルを使用して符号化される映像の現在のブロックについて、デフォルトの動きベクトルを
判定することを含む。
【0412】
方法3500は、ステップ3520において、判定に基づいて、現在のブロックと映像
のビットストリーム表現との間で変換を行うことを含み、現在のブロックの中心位置に関
連付けられたコロケーションされたピクチャにおける対応する位置を含むブロックから動
きベクトルが得られない場合にデフォルトの動きベクトルを判定する。
【0413】
図36は、映像処理方法3600のフローチャートである。方法3600は、ステップ
3610において、映像の映像セグメントの現在のブロックについて、現在のブロックの
現在のピクチャが、参照ピクチャリストXにおけるインデックスをMに設定した参照ピク
チャであり、MおよびXが整数であり、X=0またはX=1である場合にサブブロックに
基づく時間的動きベクトル予測(SbTMVP)ツールまたは時間的動きベクトル予測(
TMVP)ツールが無効になると推論することを含む。
【0414】
方法3600は、ステップ3620において、推論に基づいて、現在のブロックと映像
のビットストリーム表現との間で変換を行うことを含む。
【0415】
図37は、映像処理方法3700のフローチャートである。方法3700は、ステップ
3710において、映像の現在のブロックに対して、現在のブロックの現在のピクチャが
、参照ピクチャリストXにおけるMに設定されたインデックスを有する参照ピクチャであ
り、MおよびXが整数である場合にサブブロックに基づく時間的動きベクトル予測(Sb
TMVP)ツールの適用が有効にされることを判定することを含む。
【0416】
方法3700は、ステップ3720において、この判定に基づいて現在のブロックと映
像のビットストリーム表現との間で変換を行うことを含む。
【0417】
図38は、映像処理方法3800のフローチャートである。方法3800は、ステップ
3810において、映像の現在のブロックと映像のビットストリーム表現との間で変換を
行うことを含み、現在のブロックは、サブブロックに基づく符号化ツールを使用して符号
化され、変換を行うことは、サブブロックに基づく時間的動きベクトル予測(SbTMV
P)ツールが有効にされているか無効にされている場合に複数のビン(N)を使用してサ
ブブロックマージインデックスを統一方法で符号化する。
【0418】
図39は、映像処理方法3900のフローチャートである。方法3900は、ステップ
3910において、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツー
ルを使用して符号化された映像の現在のブロックに対して、SbTMVPツールが現在の
ブロックを含む現在のピクチャと異なるピクチャにおける対応するブロックを規定するた
めの動きベクトルを判定することを含む。
【0419】
方法3900は、ステップ3920において、判定に基づいて、現在のブロックと映像
のビットストリーム表現との間で変換を行うことを含む。
【0420】
図40は、映像処理方法4000のフローチャートである。方法4000は、ステップ
4010において、映像の現在のブロックと映像のビットストリーム表現との間での変換
のために、現在のブロックを変換するためにアフィン予測が有効にされるか否かに基づい
て、動きゼロアフィンマージ候補をサブブロックマージ候補リストに挿入するか否かを判
定することを含む。
【0421】
方法4000は、ステップ4020において、前記判定に基づいて前記変換を行うこと
を含む。
【0422】
図41は、映像処理方法4100のフローチャートである。方法4100は、ステップ
4110において、映像の現在のブロックと、サブブロックマージ候補リストを用いる映
像のビットストリーム表現との間での変換のために、サブブロックマージ候補リストが満
たされていない場合にゼロ動き非アフィンパディング候補をサブブロックマージ候補リス
トに挿入することを含む。
【0423】
方法4100は、ステップ4120において、挿入した後、変換を行うことを含む。
【0424】
図42は、映像処理方法4200のフローチャートである。方法4200は、ステップ
4210において、映像の現在のブロックと映像のビットストリーム表現との間での変換
のために、コロケーションされたピクチャにおける対応する位置を含むブロックの1つ以
上の動きベクトルから動きベクトルを導出することを判定する規則を使用して、動きベク
トルを判定することを含む。
【0425】
方法4200は、ステップ4220において、動きベクトルに基づいて変換を行うこと
を含む。
【0426】
図43は、映像処理装置4300のブロック図である。本明細書に記載の方法の1つ以
上を実装するために、装置4300を使用してもよい。装置4300は、スマートフォン
、タブレット、コンピュータ、モノのインターネット(IoT)受信機等に実施されても
よい。装置4300は、1つ以上の処理装置4302と、1つまたは複数のメモリ430
4と、映像処理ハードウェア4306と、を含んでもよい。処理装置4302は、本明細
書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(複数可)4
304は、本明細書で説明される方法および技術を実装するために使用されるデータおよ
びコードを記憶するために使用してもよい。映像処理ハードウェア4306は、本明細書
に記載される技術をハードウェア回路にて実装するために使用してもよい。
【0427】
いくつかの実施形態において、映像符号化方法は、
図43を参照して説明したように、
ハードウェアプラットフォームに実装される装置を使用して実施されてもよい。
【0428】
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効にするよ
うに決定または判定することを含む。一例において、映像処理ツールまたはモードが有効
にされる場合、エンコーダは、1つの映像ブロックを処理する際にこのツールまたはモー
ドを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として
得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックか
ら映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールま
たはモードが有効にされる場合に、この映像処理ツールまたはモードを使用する。別の例
において、映像処理ツールまたはモードが有効にされる場合、デコーダは、ビットストリ
ームが映像処理ツールまたはモードに基づいて修正されたことを認識して、ビットストリ
ームを処理する。すなわち、決定または判定に基づいて有効にされた映像処理ツールまた
はモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。
【0429】
開示される技術の一部の実施形態は、映像処理ツールまたはモードを無効にする決定ま
たは判定を行うことを含む。一例において、映像処理ツールまたはモードが無効にされて
いる場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に
、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモード
が無効にされている場合、デコーダは、ビットストリームが、決定または判定に基づいて
有効にされた映像処理ツールまたはモードを使用して修正されていないことを認識して、
ビットストリームを処理する。
【0430】
図44は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム
4400を示すブロック図である。様々な実装形態は、システム4400のモジュールの
一部または全部を含んでもよい。システム4400は、映像コンテンツを受信するための
入力ユニット4402を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマ
ット、例えば、8または10ビットのマルチモジュール画素値で受信されてもよく、また
は圧縮または符号化フォーマットで受信されてもよい。入力ユニット4402は、ネット
ワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表
してもよい。ネットワークインターフェースの例としては、イーサネット(登録商標)、
パッシブ光ネットワーク(PON)等の有線インターフェース、およびWi-Fi(登録
商標)またはセルラーインターフェース等の無線インターフェースが挙げられる。
【0431】
システム4400は、本明細書に記載される様々な符号化または符号化方法を実装する
ことができる符号化モジュール4404を含んでもよい。符号化モジュール4404は、
入力ユニット4402からの映像の平均ビットレートを符号化モジュール4404の出力
に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮ま
たは映像コード変換技術と呼ばれることがある。符号化モジュール4404の出力は、モ
ジュール4406によって表されるように、記憶されてもよいし、接続された通信を介し
て送信されてもよい。入力ユニット4402において受信された、記憶されたまたは通信
された映像のビットストリーム(または符号化)表現は、モジュール4408によって使
用されて、表示インターフェースユニット1910に送信される画素値または表示可能な
映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成
する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「符号化」
動作またはツールと呼ぶが、符号化ツールまたは動作は、エンコーダおよびそれに対応す
る、復号化の結果を逆にする復号化ツールまたは動作が、デコーダによって行われること
が理解されよう。
【0432】
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニ
バーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDM
I(登録商標))またはディスプレイポート等を含んでもよい。ストレージインターフェ
ースの例は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、
IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソ
コン、スマートフォン、またはデジタルデータ処理および/または映像表示を実施可能な
他のデバイス等の様々な電子デバイスに実施されてもよい。
【0433】
いくつかの実施形態において、次の技術案を実装することができる。
【0434】
A1.映像の現在のブロックと該映像のビットストリーム表現との間での変換のために
、サブブロックに基づくマージ候補リストにおける最大数の候補(ML)および/または
時間的動きベクトル予測(SbTMVP)を、該サブブロックに基づくマージ候補リスト
に加えるかどうかを、時間的動きベクトル予測(TMVP)を変換中の使用に対して有効
であるか、または現在のピクチャ参照(CPR)符号化モードが該変換に使用されている
かどうかに基づいて、判定することと、判定に基づいて、変換を行うことと、を含む、映
像処理方法。
【0435】
A2.TMVPツールが無効にされているか、またはSbTMVPツールが無効にされ
ているかの判定に基づいて、SbTMVP候補の使用が無効にされる、解決案A1に記載
の方法。
【0436】
A3.MLを判定することは、SbTMVPツールまたはTMVPツールが無効にされ
ているかどうかに基づいて、サブブロックに基づくマージ候補リストからSbTMVP候
補を除外することを含む、解決案A2に記載の方法。
【0437】
A4.映像の現在のブロックとこの映像のビットストリーム表現との間での変換のため
に、時間的動きベクトル予測(TMVP)、サブブロックに基づく時間的動きベクトル予
測(SbTMVP)ツール、およびアフィン符号化モードがこの変換に対する使用に対し
て有効であるかどうかに基づいて、サブブロックに基づくマージ候補リストにおける最大
数の候補(ML)を判定することと、判定に基づいて、この変換を行うことを含む、映像
処理方法。
【0438】
A5.アフィン符号化モードが有効であるとの判定に起因して、MLがオンザフライで
設定され、ビットストリーム表現で信号通知される、解決案A4に記載の方法。
【0439】
A6.アフィン符号化モードが無効にされているとの判定により、MLが予め定義され
る、解決案A4に記載の方法。
【0440】
A7.MLを判定することは、TMVPツールが無効にされていると判定されることに
よって、MLを0に設定することを含み、SbTMVPツールが有効にされ、現在のブロ
ックのアフィン符号化モードが無効にされる、解決案A2またはA6に記載の方法。
【0441】
A8.MLを判定することは、SbTMVPツールが有効であると判定されることによ
って、MLを1に設定することを含み、TMVPツールが有効にされ、現在のブロックの
アフィン符号化モードが無効にされる、解決案A2またはA6に記載の方法。
【0442】
A9.SbTMVPツールが無効にされている、または現在のブロックの現在のピクチ
ャのコロケーションされた参照ピクチャが現在のピクチャであると判定することによって
、SbTMVP候補の使用が無効にされる、解決案A1に記載の方法。
【0443】
A10.MLを判定することは、SbTMVPツールが無効であるか、または現在のピ
クチャのコロケーションされた参照ピクチャが現在のピクチャであるかに基づいて、サブ
ブロックに基づくマージ候補リストからSbTMVP候補を除外することを含む、解決案
A9に記載の方法。
【0444】
A11.MLを判定することは、現在のピクチャのコロケーションされた参照ピクチャ
が現在のピクチャであると判定されることに基づいて、MLを0に設定することと、現在
のブロックのアフィン符号化が無効にされることとを含む、解決案A9に記載の方法。
【0445】
A12.MLを判定することは、SbTMVPツールが有効であると判定されることに
よって、現在のピクチャのコロケーションされた参照ピクチャが現在のピクチャではなく
、現在のブロックのアフィン符号化が無効にされている場合、MLを1に設定することを
含む、解決案A9に記載の方法。
【0446】
A13.SbTMVPツールが無効にされているか、または参照ピクチャリスト0(L
0)における参照ピクチャインデックス0を有する参照ピクチャが現在のブロックの現在
のピクチャであると判定されることによって、SbTMVP候補の使用が無効にされる、
解決案A1に記載の方法。
【0447】
A14.MLを判定することは、SbTMVPツールが無効にされているか、またはL
0における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャであるか
に基づいて、サブブロックに基づくマージ候補リストからSbTMVP候補を除外するこ
とを含む、解決案A13に記載の方法。
【0448】
A15.MLを判定することは、SbTMVPツールが有効であると判定されることに
よって、MLを0に設定することを含み、L0における参照ピクチャインデックス0を有
する参照ピクチャが現在のピクチャであり、現在のブロックのアフィン符号化が無効にさ
れる、解決案A10またはA13に記載の方法。
【0449】
A16.MLを判定することは、SbTMVPツールが有効であると判定されることに
よってMLを1に設定することを含み、L0における参照ピクチャインデックス0を有す
る参照ピクチャが現在のピクチャではなく、現在のブロックのアフィン符号化が無効にさ
れる、A13に記載の方法。
【0450】
A17.SbTMVPツールが無効にされているとの判定により、SbTMVP候補の
使用が無効にされているか、または参照ピクチャリスト1(L1)における参照ピクチャ
インデックス0を有する参照ピクチャが現在のブロックの現在のピクチャである、解決案
A1に記載の方法。
【0451】
A18.MLを判定することは、SbTMVPツールが無効とされているか、またはL
1における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャであるか
に基づいて、SbTMVP候補をサブブロックに基づくマージ候補リストから除外するこ
とを含む、解決案A17に記載の方法。
【0452】
A19.MLを判定することは、SbTMVPツールが有効であると判定されることに
よって、MLを0に設定することと、L1における参照ピクチャインデックス0が現在の
ピクチャである参照ピクチャと、現在のブロックのアフィン符号化とを無効にすることと
を含む、A17に記載の方法。
【0453】
A20.MLを判定することは、SbTMVPツールが有効であると判定されることに
よって、MLを1に設定することを含む、L1における参照ピクチャインデックス0を有
する参照ピクチャが現在のピクチャではなく、現在のブロックのアフィン符号化が無効で
ある、A17に記載の方法。
【0454】
A21.1つの映像の第1の映像セグメントの現在のブロックとこの映像のビットスト
リーム表現との間での変換のために、第1の映像セグメントレベルで時間的動きベクトル
予測(TMVP)モードが無効にされているために、1つのサブブロックに基づく動きベ
クトル予測(SbTMVP)モードがこの変換に対して無効にされていることを判定する
ことと、この判定に基づいて、変換を行うこととを含み、ビットストリーム表現は、Sb
TMVPモードの表示が含まれているかどうか、および/または、マージ候補リストにお
けるTMVPモードの表示に対するSbTMVPの表示の位置を規定するフォーマットに
準拠している、映像処理方法。
【0455】
A22.第1の映像セグメントは、シーケンス、スライス、タイルまたはピクチャであ
る、解決案A21に記載の方法。
【0456】
A23.フォーマットは、第1の映像セグメントレベルにTMVPモードの表示を含め
ることによって、SbTMVPモードの表示を省略することを規定する、解決案A21に
記載の方法。
【0457】
A24.前記フォーマットは、SbTMVPモードの表示が、TMVPモードの表示の
後、復号化順に第1の映像セグメントレベルにあることを規定する、解決案A21に記載
の方法。
【0458】
A25.前記フォーマットは、TMVPモードが無効であると判定されるため、SbT
MVPモードの表示を省略することを規定する、解決案A21~A24のいずれかに記載
の方法。
【0459】
A26.前記フォーマットは、SbTMVPモードの表示が映像のシーケンスレベルに
含まれ、第2の映像セグメントレベルでは省略されることを規定する、解決案A21に記
載の方法。
【0460】
A27.第2の映像セグメントレベルの第2の映像セグメントは、スライス、タイル、
またはピクチャである、解決案A26に記載の方法。
【0461】
A28.変換は、ビットストリーム表現から現在のブロックを生成する、解決案A1~
A27のいずれかに記載の方法。
【0462】
A29.前記変換は、現在のブロックからビットストリーム表現を生成する、解決案A
1~A27のいずれかに記載の方法。
【0463】
A30.前記変換を行うことは、1つ以上の復号化規則に基づいて前記ビットストリー
ム表現を構文解析するステップを含む、解決案A1~A27のいずれかに記載の方法。
【0464】
A31.処理装置と、命令を搭載した非一時的メモリとを含む、映像システムにおける
装置であって、処理装置が実行する命令は、処理装置に、解決案A1~A30のいずれか
1案に記載の方法を実装させる映像システムにおける装置。
【0465】
A32.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品で
あって、解決案A1~A30のいずれか1案に記載の方法を実行するためのプログラムコ
ードを含む、コンピュータプログラム製品。
【0466】
いくつかの実施形態において、次の技術案を実装することができる。
【0467】
B1.サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールまたは時
間的動きベクトル予測(TMVP)ツールを使用して符号化された映像の現在のブロック
と、この映像のビットストリーム表現との間で変換を行うことを含み、SbTMVPツー
ルまたはTMVPツールに関連付けられた動きベクトルの圧縮に基づいて、マスクを使用
して、現在のブロックまたはこの現在のブロックのサブブロックに対応する位置の座標を
選択的にマスクし、このマスクを適用することは、この座標の値とこのマスクの値とのビ
ット単位のAND演算を含む、映像処理方法。
【0468】
B2.座標が(xN,yN)であり、マスク(MASK)が~(2M-1)に等しい整
数であり、Mが整数であり、マスクの適用によりマスクされた座標(xN’,yN’)が
得られ、xN’=xN&MASKであり、yN’=yN&MASKであり、“~”がビッ
ト単位のNOT演算であり、“&”がビット単位のAND演算である、解決手段B1に記
載の方法。
【0469】
B3.M=3またはM=4である、解決案B2に記載の方法。
【0470】
B4.前記動きベクトルの圧縮に基づいて、サイズ2K×2Kの複数のサブブロックが
同じ動き情報を共有し、KがMに等しくない整数である、解決案B2またはB3に記載の
方法。
【0471】
B5.M=K+1である、解決案B4に記載の方法。
【0472】
B6.SbTMVPツールまたはTMVPツールに関連付けられた動きベクトルが圧縮
されていないと判定された場合、前記マスクを適用しない、解決案B1に記載の方法。
【0473】
B7.SbTMVPツールのためのマスクがTMVPツールのためのマスクと同じであ
る、解決案B1~B6のいずれかに記載の方法。
【0474】
B8.ATMVPツールのためのマスクがTMVPツールのためのマスクと異なる、解
決案B1~B6のいずれかに記載の方法。
【0475】
B9.1つのタイプの圧縮は、非圧縮、8×8圧縮、または16×16圧縮である、解
決案B1に記載の方法。
【0476】
B10.前記圧縮のタイプは、映像パラメータセット(VPS)、シーケンスパラメー
タセット(SPS)、ピクチャパラメータセット(PPS)、スライスヘッダ、またはタ
イルグループヘッダで信号通知される、解決案B9に記載の方法。
【0477】
B11.前記圧縮のタイプは、現在のブロックに対応する標準プロファイル、レベルま
たは層に基づく、解決案B9またはB10に記載の方法。
【0478】
B12.映像の映像セグメントの現在のブロックの1つ以上の特徴に基づいて、現在の
ブロックに基づいてサブブロックに基づく動きベクトル予測(SbTMVP)ツールを適
用するための、現在のブロックの有効な対応する領域を判定することと、この判定に基づ
いて、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む
映像処理方法。
【0479】
B13.1つ以上の特徴は、前記現在のブロックの高さまたは幅を含む、解決案B12
に記載の方法。
【0480】
B14.1つ以上の特徴は、現在のブロックに関連付けられた動きベクトルの圧縮のタ
イプを含む、解決案B12に記載の方法。
【0481】
B15.圧縮のタイプが圧縮を含まないと判定されることによって、有効な対応する領
域が第1のサイズであり、有効な対応する領域が、圧縮のタイプがK×K圧縮を含むと判
定されることによって、第1のサイズよりも大きい第2のサイズである、解決案B14に
記載の方法。
【0482】
B16.有効な対応する領域のサイズは、サイズM×Nが符号化ツリーユニット(CT
U)領域のサイズよりも小さい基本領域に基づいており、現在のブロックのサイズはW×
Hである、解決案B12に記載の方法。
【0483】
B17.CTU領域のサイズが128×128であり、M=64であり、N=64であ
る、解決案B16に記載の方法。
【0484】
B18.W≦Mであり、H≦Nであると判定されることにより、有効な対応する領域が
、コロケーションされたピクチャにおけるコロケーション基本領域および拡張である、解
決案B16に記載の方法。
【0485】
B19.W>M、H>Nであると判定されると、現在のブロックを複数の部分に分割し
、複数の部分の各々は、SbTMVPツールを適用するための個々の有効な対応する領域
を含む、解決案B16に記載の方法。
【0486】
B20.サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールを使用
して符号化された映像の現在のブロックに対して、デフォルトの動きベクトルを判定する
ことと、この判定に基づいて、現在のブロックとこの映像のビットストリーム表現との間
で変換を行うこととを含み、現在のブロックの中心位置に関連付けられた、このコロケー
ションされたピクチャにおける対応する位置を含むブロックから動きベクトルが得られて
いないと判定されたことによりデフォルトの動きベクトルを判定する、映像処理方法。
【0487】
B21.前記デフォルトの動きベクトルが(0,0)に設定される、解決案B20に記
載の方法。
【0488】
B22.デフォルトの動きベクトルは、履歴に基づく動きベクトル予測(HMVP)テ
ーブルから導出する、解決案B20に記載の方法。
【0489】
B23.HMVPテーブルが空であると判定されることにより、デフォルトの動きベク
トルが(0,0)に設定される、解決案B22に記載の方法。
【0490】
B24.デフォルトの動きベクトルは、予め定義され、映像パラメータセット(VPS
)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、ス
ライスヘッダ、タイルグループヘッダ、符号化ツリーユニット(CTU)、または符号化
ユニット(CU)に信号通知される、解決案B22に記載の方法。
【0491】
B25.HMVPテーブルが空でないと判定されることに基づいて、デフォルトの動き
ベクトルをHMVPテーブルに記憶された第1の要素に設定する、解決案B22に記載の
方法。
【0492】
B26.HMVPテーブルが空でないと判定されることに基づいて、デフォルトの動き
ベクトルをHMVPテーブルに記憶された最後の要素に設定する、解決案B22に記載の
方法。
【0493】
B27.HMVPテーブルが空でないと判定されることに基づいて、デフォルトの動き
ベクトルをHMVPテーブルに記憶された特定の動きベクトルに設定する、解決案B22
に記載の方法。
【0494】
B28.特定の動きベクトルは、参照リスト0を参照する、解決案B27に記載の方法
。
【0495】
B29.特定の動きベクトルは、参照リスト1を参照する、解決案B27に記載の方法
。
【0496】
B30.特定の動きベクトルは、参照リスト0における特定の参照ピクチャを参照する
、解決案B27に記載の方法。
【0497】
B31.特定の動きベクトルは、参照リスト1における特定の参照ピクチャを参照する
、解決案B27に記載の方法。
【0498】
B32.特定の参照ピクチャは、インデックス0を有する、解決案B30またはB31
に記載の方法。
【0499】
B33.特定の動きベクトルは、コロケーションされたピクチャを参照する、解決案B
27に記載の方法。
【0500】
B34.HMVPテーブルにおける検索処理において特定の動きベクトルが見つからな
いと判定された場合、デフォルトの動きベクトルを予め定義されたデフォルトの動きベク
トルに設定する、解決案B22に記載の方法。
【0501】
B35.検索処理は、HMVPテーブルの最初の要素のみを検索するか、または最後の
要素のみを検索する、解決案B34に記載の方法。
【0502】
B36.検索処理は、HMVPテーブルの要素のサブセットのみを検索する、解決案B
34に記載の方法。
【0503】
B37.デフォルトの動きベクトルは、現在のブロックの現在のピクチャを参照しない
、解決案B22に記載の方法。
【0504】
B38.デフォルトの動きベクトルがコロケーションされたピクチャを参照しない判定
に基づいて、デフォルトの動きベクトルをコロケーションされたピクチャにスケーリング
する、解決案B22に記載の方法。
【0505】
B39.デフォルトの動きベクトルは、近傍のブロックから導出する、解決案B20に
記載の方法。
【0506】
B40.近傍のブロック(A0)の右上隅が現在のブロックの左下隅に直接隣接してい
るか、または近傍のブロック(A1)の右下隅が現在のブロックの左下隅に直接隣接して
いるか、または近傍のブロック(B0)の左下隅が現在のブロックの右上隅に直接隣接し
ているか、または近傍のブロック(B1)の右下隅が現在のブロックの右上隅に直接隣接
しているか、または近傍のブロック(B2)の右下隅が現在のブロックの左上隅に直接隣
接している、解決案B39に記載の方法。
【0507】
B41.デフォルトの動きベクトルは、近傍のブロックA0、A1、B0、B1、B2
のうちの1つのみから導出する、解決案B40に記載の方法。
【0508】
B42.デフォルトの動きベクトルは、近傍のブロックA0、A1、B0、B1、B2
のうちの1つ以上のブロックから導出する、解決案B40に記載の方法。
【0509】
B43.近傍のブロックA0、A1、B0、B1、B2のいずれかに有効なデフォルト
の動きベクトルが見つからないと判定された場合、デフォルトの動きベクトルを予め定義
されたデフォルトの動きベクトルに設定する、解決案B40に記載の方法。
【0510】
B44.予め定義されたデフォルトの動きベクトルは、映像パラメータセット(VPS
)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、ス
ライスヘッダ、タイルグループヘッダ、符号化ツリーユニット(CTU)、または符号化
ユニット(CU)において信号通知される、解決案B43に記載の方法。
【0511】
B45.予め定義されたデフォルトの動きベクトルが(0,0)である、解決案B43
またはB44に記載の方法。
【0512】
B46.デフォルトの動きベクトルは、近傍のブロックからの特定の動きベクトルに設
定される、解決案B39に記載の方法。
【0513】
B47.特定の動きベクトルは、参照リスト0を参照する、解決案B46に記載の方法
。
【0514】
B48.特定の動きベクトルは、参照リスト1を参照する、解決案B46に記載の方法
。
【0515】
B49.特定の動きベクトルは、参照リスト0における特定の参照ピクチャを参照する
、解決案B46に記載の方法。
【0516】
B50.特定の動きベクトルは、参照リスト1における特定の参照ピクチャを参照する
、解決案B46に記載の方法。
【0517】
B51.特定の参照ピクチャは、インデックス0を有する、解決案B49またはB50
に記載の方法。
【0518】
B52.特定の動きベクトルは、コロケーションされたピクチャを参照する、解決案B
46に記載の方法。
【0519】
B53.コロケーションされたピクチャにおける対応する位置を含むブロックがイント
ラ符号化されていると判定されることにより、デフォルトの動きベクトルを使用する、解
決案B20に記載の方法。
【0520】
B54.導出方法は、コロケーションされたピクチャにおける対応する位置を含むブロ
ックが位置していないと判定されることによって修正される、解決案B20に記載の方法
。
【0521】
B55.デフォルトの動きベクトル候補が常に利用可能である、解決案B20に記載の
方法。
【0522】
B56.デフォルトの動きベクトル候補が利用不可能に設定されていると判定されると
、代替的にデフォルトの動きベクトルを導出する、解決案B20に記載の方法。
【0523】
B57.デフォルトの動きベクトルの可用性は、映像セグメントに関連付けられたビッ
トストリーム表現における構文情報に基づく、解決案B20に記載の方法。
【0524】
B58.構文情報は、SbTMVPツールを有効にする表示を含み、映像セグメントは
、スライス、タイルまたはピクチャである、解決案B57に記載の方法。
【0525】
B59.現在のブロックの現在のピクチャはイントラランダムアクセスポイント(IR
AP)参照インデックスピクチャではなく、現在のピクチャは、参照インデックス0を有
する参照ピクチャリスト0(L0)に挿入されない、解決案B58に記載の方法。
【0526】
B60.SbTMVPツールが有効であるとの判定により、SbTMVPツールに関連
付けられた候補に固定インデックスまたは固定インデックス群を割り当て、SbTMVP
ツールが無効であると判断された場合、SbTMVPツール以外の符号化ツールに関連付
けられた候補に固定インデックスまたは固定インデックス群を割り当てる、解決案B20
に記載の方法。
【0527】
B61.映像の映像セグメントの現在のブロックに対して、現在のブロックの現在のピ
クチャが、参照ピクチャリストXにおけるMに設定されたインデックスを有する参照ピク
チャであり、MおよびXが整数であり、X=0またはX=1であると判定されることに基
づいて、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールまたは時
間的動きベクトル予測(TMVP)ツールが映像セグメントに対して無効にされることを
推論することと、推論に基づいて、現在のブロックと映像のビットストリーム表現との間
の変換を行うことと、を含む映像処理方法。
【0528】
B62.SbTMVPツールまたはTMVPツールのための参照ピクチャリストXに対
して、Mが、時間的ブロックの動き情報をスケーリングする対象参照ピクチャインデック
スに対応する、解決案B61に記載の方法。
【0529】
B63.現在のピクチャは、イントラランダムアクセスポイント(IRAP)ピクチャ
である、解決案B61に記載の方法。
【0530】
B64.映像の現在のブロックに対して、現在のブロックの現在のピクチャが、参照ピ
クチャリストXにおけるMに設定されたインデックスを有する参照ピクチャであり、Mお
よびXが整数であると判定されることによって、サブブロックに基づく時間的動きベクト
ル予測(SbTMVP)ツールの適用が有効であることを判定することと、この判定に基
づいて、現在のブロックと映像のビットストリーム表現との間の変換を行うことと、を含
む映像処理方法。
【0531】
B65.現在のブロックの各サブブロックに対応する動き情報は、現在のピクチャを参
照する、解決案B64に記載の方法。
【0532】
B66.現在のブロックのサブブロックのための動き情報が1つの時間的ブロックから
導出され、この時間的ブロックは、この時間的ブロックの現在のピクチャを参照する、少
なくとも1つの参照ピクチャで符号化される、解決案B64に記載の方法。
【0533】
B67.変換は、スケーリング演算を除外する、解決案B66に記載の方法。
【0534】
B68.映像の現在のブロックと映像のビットストリーム表現との間で変換を行うこと
を含み、現在のブロックは、サブブロックに基づく符号化ツールを使用して符号化され、
この変換を行うことは、サブブロックに基づく時間的動きベクトル予測(SbTMVP)
ツールが有効または無効であると判定されることに基づいて、複数のビン(N)を使用し
てサブブロックマージインデックスを統一方法で符号化することを含む、映像処理方法。
【0535】
B69.複数のビンの第1の数のビン(L)はコンテキスト符号化され、第2の数のビ
ン(N-L)はバイパス符号化される、解決案B68に記載の方法。
【0536】
B70.L=1である、解決案B69に記載の方法。
【0537】
B71.複数のビンの各々は、コンテキスト符号化される、解決案B68に記載の方法
。
【0538】
B72.変換は、ビットストリーム表現から現在のブロックを生成する、解決案B1~
B71のいずれかに記載の方法。
【0539】
B73.変換は、現在のブロックからビットストリーム表現を生成する、解決案B1~
B71のいずれかに記載の方法。
【0540】
B74.変換を行うことは、1つ以上の復号化規則に基づいてビットストリーム表現を
構文解析することを含む、解決案B1~B71のいずれかに記載の方法。
【0541】
B75.処理装置と、命令を搭載した非一時的メモリとを備え、映像システムにおける
装置であって、処理装置が実行する命令は、処理装置に、解決案B1~B71のいずれか
1案に記載の方法を実装させることを特徴とする装置。
【0542】
B76.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品で
あって、コンピュータプログラム製品は、解決案B1~B74のいずれか1案に記載の方
法を実行するためのプログラムコードを含む。
【0543】
いくつかの実施形態において、次の技術案を実装することができる。
【0544】
C1.サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールを使用し
て符号化された映像の現在のブロックに対して、SbTMVPツールが現在のブロックを
含む現在のピクチャと異なるピクチャにおける対応するブロックの位置を突き止めるため
に使用する動きベクトルを判定することと、この判定に基づいて、現在のブロックと映像
のビットストリーム表現との間の変換を行うことと、を含む映像処理方法。
【0545】
C2.動きベクトルは、デフォルトの動きベクトルに設定される、解決案C1に記載の方法。
【0546】
C3.デフォルトの動きベクトルは、(0,0)である、解決案C2に記載の方法。
【0547】
C4.デフォルトの動きベクトルは、映像パラメータセット(VPS)、シーケンスパ
ラメータセット(SPS)、ピクチャパラメータセット(PPS)、スライスヘッダ、タ
イルグループヘッダ、符号化ツリーユニット(CTU)、または符号化ユニット(CU)
において信号通知される、ステップC2に記載の方法。
【0548】
C5.動きベクトルが、履歴に基づく動きベクトル予測(HMVP)テーブルに記憶さ
れた動きベクトルに設定される、解決案C1に記載の方法。
【0549】
C6.HMVPテーブルが空であると判定されることに基づいて、動きベクトルをデフ
ォルトの動きベクトルに設定する、解決案C5に記載の方法。
【0550】
C7.デフォルトの動きベクトルは、(0,0)である、解決案C6に記載の方法。
【0551】
C8.HMVPテーブルが空でないと判定されることに基づいて、動きベクトルをHM
VPテーブルに記憶された第1の動きベクトルに設定する、解決案C5に記載の方法。
【0552】
C9.HMVPテーブルが空でないと判定されることにより、動きベクトルをHMVP
テーブルに記憶された最後の動きベクトルに設定する、解決案C5に記載の方法。
【0553】
C10.HMVPテーブルが空でないと判定されることに基づいて、動きベクトルをH
MVPテーブルに記憶された特定の動きベクトルに設定する、解決案C5に記載の方法。
【0554】
C11.特定の動きベクトルは、参照リスト0を参照する、解決案C10に記載の方法
。
【0555】
C12.特定の動きベクトルは、参照リスト1を参照する、解決案C10に記載の方法
。
【0556】
C13.特定の動きベクトルは、参照リスト0における特定の参照ピクチャを参照する
、解決案C10に記載の方法。
【0557】
C14.特定の動きベクトルは、参照リスト1における特定の参照ピクチャを参照する
、解決案C10に記載の方法。
【0558】
C15.特定の参照ピクチャは、インデックス0を有する、解決案C13または14に
記載の方法。
【0559】
C16.特定の動きベクトルは、コロケーションされたピクチャを参照する、解決案C
10に記載の方法。
【0560】
C17.HMVPテーブルにおける検索処理において特定の動きベクトルが見つからな
いと判定された場合、動きベクトルをデフォルトの動きベクトルに設定する、解決案C5
に記載の方法。
【0561】
C18.検索処理は、HMVPテーブルの最初の要素のみを検索するか、または最後の
要素のみを検索する、解決案C17に記載の方法。
【0562】
C19.検索処理は、HMVPテーブルの要素のサブセットのみを検索する、解決案C
17に記載の方法。
【0563】
C20.HMVPテーブルに記憶された動きベクトルが現在のピクチャを参照しない、
解決案C5に記載の方法。
【0564】
C21.HMVPテーブルに記憶された動きベクトルがコロケーションされたピクチャ
を参照していないと判定されたため、HMVPテーブルに記憶された動きベクトルをコロ
ケーションされたピクチャにスケーリングする、解決案C5に記載の方法。
【0565】
C22.動きベクトルは、特定の近傍のブロックの特定の動きベクトルに設定される、
解決案C1に記載の方法。
【0566】
C23.特定の近傍のブロック(A0)の右上隅が現在のブロックの左下隅に直接隣接
するか、または特定の近傍のブロック(A1)の右下隅が現在のブロックの左下隅に直接
隣接するか、または特定の近傍のブロック(B0)の左下隅が現在のブロックの右上隅に
直接隣接するか、または特定の近傍のブロック(B1)の右下隅が現在のブロックの右上
隅に直接隣接するか、または特定の近傍のブロック(B2)の右下隅が現在のブロックの
左上隅に直接隣接する、または現在のブロックの左上隅に直接隣接する、解決案C22に
記載の方法。
【0567】
C24.特定の近傍のブロックが存在しないと判定されることにより、動きベクトルを
デフォルトの動きベクトルに設定する、解決案C1に記載の方法。
【0568】
C25.特定の近傍のブロックがインター符号化されていないと判定されることにより
、動きベクトルをデフォルトの動きベクトルに設定する、解決案C1に記載の方法。
【0569】
C26.特定の動きベクトルは、参照リスト0を参照する、解決案C22に記載の方法
。
【0570】
C27.特定の動きベクトルは、参照リスト1を参照する、解決案C22に記載の方法
。
【0571】
C28.特定の動きベクトルは、参照リスト0における特定の参照ピクチャを参照する
、解決案C22に記載の方法。
【0572】
C29.特定の動きベクトルは、参照リスト1における特定の参照ピクチャを参照する
、解決案C22に記載の方法。
【0573】
C30.特定の参照ピクチャはインデックス0を有する、解決案C28またはC29に
記載の方法。
【0574】
C31.特定の動きベクトルは、コロケーションされたピクチャを参照する、解決案C
22またはC23に記載の方法。
【0575】
C32.特定の近傍のブロックがコロケーションされたピクチャを参照していないと判
定されることにより、動きベクトルをデフォルトの動きベクトルに設定する、解決案C2
2またはC23に記載の方法。
【0576】
C33.デフォルトの動きベクトルが(0,0)である、解決案C24~C32のいず
れかに記載の方法。
【0577】
C34.特定の近傍のブロックに記憶された特定の動きベクトルが見つからないと判定
された場合、この動きベクトルをデフォルトの動きベクトルに設定する、解決案C1に記
載の方法。
【0578】
C35.特定の動きベクトルは、該特定の動きベクトルが該コロケーションされたピク
チャを参照しないと判定されることにより、1つのコロケーションされたピクチャにスケ
ーリングされる、解決案C22に記載の方法。
【0579】
C36.特定の動きベクトルは、現在のピクチャを参照しない、解決案C22に記載の
方法。
【0580】
C37.変換は、ビットストリーム表現から現在のブロックを生成する、解決案C1~
C36のいずれかに記載の方法。
【0581】
C38.変換は、現在のブロックからビットストリーム表現を生成する、解決案C1~
C36のいずれかに記載の方法。
【0582】
C39.変換を行うことは、1つ以上の復号化規則に基づいてビットストリーム表現を
構文解析することを含む、解決案C1~C36のいずれかに記載の方法。
【0583】
C40.処理装置と、命令を搭載した非一時的メモリとを含む映像システムにおける装
置であって、処理装置が実行する命令は、処理装置に、解決案C1~C39のいずれか1
案に記載の方法を実装させることを特徴とする装置。
【0584】
C41.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品で
あって、コンピュータプログラム製品は、解決案C1~C39のいずれか1案に記載の方
法を実行するためのプログラムコードを含む。
【0585】
いくつかの実施形態において、次の技術案を実装することができる。
【0586】
D1.映像の現在のブロックと映像のビットストリーム表現との間での変換のために、
現在のブロックの変換に対してアフィン予測が有効にされているかどうかに基づいて、動
きゼロアフィンマージ候補をサブブロックマージ候補リストに挿入するかどうかを判定す
ることと、この判定に基づいて、この変換を行うことを含む、映像処理方法。
【0587】
D2.ビットストリーム表現におけるアフィン使用フラグがオフであると判定されるた
めに、動きゼロアフィンマージ候補をサブブロックマージ候補リストに挿入しない、解決
案D1に記載の方法。
【0588】
D3.アフィン使用フラグがオフであると判定されたことにより、非アフィン候補であ
るデフォルトの動きベクトル候補をサブブロックマージ候補リストに挿入することをさら
に含む、解決案D2に記載の方法。
【0589】
D4.映像の現在のブロックと、サブブロックマージ候補リストを使用する映像のビッ
トストリーム表現との間での変換のために、サブブロックマージ候補リストが満たされて
いないと判定された場合、ゼロ動き非アフィンパディング候補をサブブロックマージ候補
リストに挿入することと、この挿入に続いて、この変換を行うことと、を含む、映像処理
方法。
【0590】
D5.現在のブロックのアフィン使用フラグを0に設定することをさらに含む、解決案
D4に記載の方法。
【0591】
D6.挿入するステップは、ビットストリーム表現におけるアフィン使用フラグがオフ
であるかどうかにさらに基づく、解決案D4に記載の方法。
【0592】
D7.映像の現在のブロックと映像のビットストリーム表現との間での変換のために、
動きベクトルが、コロケーションされたピクチャにおける対応する位置を含むブロックの
1つ以上の動きベクトルから導出されたものであると判定する規則を使用して、動きベク
トルを判定し、この動きベクトルに基づいて、この変換を行うことを含む、映像処理方法
。
【0593】
D8.1つ以上の動きベクトルは、参照リスト0および参照リスト1における動きベク
トルをそれぞれ表すMV0およびMV1を備え、導出するべき動きベクトルは、参照リス
ト0および参照リスト1における動きベクトルを表すMV0’およびMV1’を備える、
解決案D7に記載の方法。
【0594】
D9.1つのコロケーションされたピクチャが参照リスト0にあると判定されることに
より、MV0’およびMV1’がMV0に基づいて導出する、解決案D8に記載の方法。
【0595】
D10.1つのコロケーションされたピクチャが参照リスト1にあると判定されること
に基づいて、MV0’およびMV1’がMV1に基づいて導出する、解決案D8に記載の
方法。
【0596】
D11.変換は、ビットストリーム表現から現在のブロックを生成する解決案D1~D
10のいずれかに記載の方法。
【0597】
D12.変換は、現在のブロックからビットストリーム表現を生成する、解決案D1~
D16のいずれか1案に記載の方法。
【0598】
D13.変換を行うことは、1つ以上の復号化規則に基づいてビットストリーム表現を
構文解析することを含む、解決案D1~D10のいずれかに記載の方法。
【0599】
D14.処理装置と、命令を搭載した非一時的メモリとを含む、映像システムにおける
装置であって、処理装置が実行する命令は、処理装置に、解決案D1~D13のいずれか
いずれか1案に記載の方法を実装させることを特徴とする装置。
【0600】
D15.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品で
あって、コンピュータプログラム製品は、解決案D1~D13のいずれかいずれか1案に
記載の方法を実行するためのプログラムコードを含む。
【0601】
本明細書に記載された開示されたそして他の解決案、実施例、実施形態、モジュール、
および機能操作は、本明細書に開示された構造およびその構造的等価物を含め、デジタル
電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで
実施されてもよく、またはそれらの1つ以上の組み合わせで実装されてもよい。開示され
た、そして他の実施形態は、1つ以上のコンピュータプログラム製品、すなわち、データ
処理装置によって実装されるため、またはデータ処理装置の操作を制御するために、コン
ピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュール
として実装することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機
械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこ
れらの1つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば
、プログラマブル処理装置、コンピュータ、または複数の処理装置若しくはコンピュータ
を含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置
は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば
、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレー
ティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを含むことが
できる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または
電磁信号であり、適切な受信装置に送信するための情報を符号化するように生成される。
【0602】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション
、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された
言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタ
ンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジ
ュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展
開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるフ
ァイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持する
ファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に
記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよい
し、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコー
ドの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラム
を、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネ
ットワークによって相互接続される複数のコンピュータで実行させるように展開すること
も可能である。
【0603】
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生
成することによって機能を行うための1つ以上のコンピュータプログラムを実行する1つ
以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローは
また、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートア
レイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、
特別目的のロジック回路として実装することができる。
【0604】
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ
処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置
を含む。一般的に、処理装置は、読み出し専用メモリまたはランダムアクセスメモリまた
はその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を行
うための処理装置と、命令およびデータを記憶するための1つ以上のメモリデバイスであ
る。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス
、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大
容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作
可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する
必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュー
タ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例
えば、EPROM、EEPROM、フラッシュメモリデバイス、磁気ディスク、例えば内
部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMお
よびDVD-ROMディスク等の半導体メモリデバイスを含む。処理装置およびメモリは
、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に
組み込まれてもよい。
【0605】
本特許明細書は多くの詳細を含むが、これらは、任意の主題または特許請求され得るも
のの範囲を限定するものと解釈されるべきではなく、特定の技術の特定の実施形態に特有
であり得る特徴の説明と解釈されるべきである。本特許明細書において別個の実施形態の
文脈で説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆
に、1つの例の文脈で説明された様々な特徴は、複数の実施形態において別個にまたは任
意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせ
で作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張
された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋される
ことができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーショ
ンのバリエーションに向けられてもよい。
【0606】
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成
するために、このような動作が示された特定の順番でまたは連続した順番で実行されるこ
と、または示された全ての操作が実行されることを必要とするものと理解されるべきでは
ない。また、本特許明細書に記載されている実施形態における様々なシステムモジュール
の分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきで
はない。
【0607】
いくつかの実装形態および例のみが記載されており、本特許明細書に記載され図示され
ている内容に基づいて、他の実施形態、拡張および変形が可能である。
【手続補正書】
【提出日】2024-01-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
映像データをコーディングする方法であって、
映像の第1の映像セグメントと前記映像のビットストリームとの変換のために、第1の映像セグメントレベルで時間的動きベクトル予測モードが無効にされることに起因して、サブブロックに基づく時間的動きベクトル予測モードが前記変換のために無効にされることを判定することと、
前記判定に基づいて、前記変換を行うことと、
を含む方法。
【請求項2】
前記サブブロックに基づくマージ候補リストにおける最大数の候補(ML)は、前記時間的動きベクトル予測モードが有効にされているか否かに基づいている、
請求項1に記載の方法。
【請求項3】
前記第1の映像セグメントは、シーケンス、スライス、タイル又はピクチャである、
請求項1または2に記載の方法。
【請求項4】
前記サブブロックに基づく時間的動きベクトル予測モードの表示は、前記ビットストリームにおける前記時間的動きベクトル予測モードの表示の後に、前記第1の映像セグメントレベルにある、
請求項1から3のいずれか1項に記載の方法。
【請求項5】
前記サブブロックに基づく時間的動きベクトル予測モードの表示は、前記時間的動きベクトル予測モードが無効にされることが表示されている場合、省略される、
請求項1から3のいずれか1項に記載の方法。
【請求項6】
前記サブブロックに基づく時間的動きベクトル予測モードの表示は、前記映像のシーケンスレベルでは含まれ、第2の映像セグメントレベルでは省略される、
請求項1から3のいずれか1項に記載の方法。
【請求項7】
前記第2の映像セグメントレベルは、スライスレベル、タイルレベル又はピクチャレベルである、
請求項6に記載の方法。
【請求項8】
前記映像の第2の映像セグメント内のブロックに対するサブブロック動き候補リストを構築することであって、前記ブロックは、前記サブブロックに基づく時間的動きベクトル予測モードでコーディングされる、構築することと、を更に含み、
前記変換を行うことは、前記サブブロック動き候補リストに基づいて前記変換を行うことを含み、
サブブロックマージインデックスが、前記ビットストリームに含まれる、
請求項1から7のいずれか1項に記載の方法。
【請求項9】
前記サブブロックマージインデックスを提示するために、複数のビン(N)が使用される、
請求項8に記載の方法。
【請求項10】
前記複数のビンのうちの第1の数のビン(L)がコンテキストコーディングされ、
第2の数のビン(N-L)がバイパスコーディングされる、
請求項9に記載の方法。
【請求項11】
L=1である、
請求項10に記載の方法。
【請求項12】
前記変換は、前記ビットストリームから前記第1の映像セグメントを復号することを含む、
請求項1から11のいずれか1項に記載の方法。
【請求項13】
前記変換は、前記第1の映像セグメントを前記ビットストリームに符号化することを含む、
請求項1から11のいずれか1項に記載の方法。
【請求項14】
前記変換は、前記映像から前記ビットストリームを生成することを含み、
前記方法は、前記ビットストリームを非一時的コンピュータ可読記録媒体に記憶すること、を更に含む、
請求項1から11のいずれか1項に記載の方法。
【請求項15】
処理装置と、命令が記憶された非一時的メモリと、を備える、コーディングする映像データを処理する装置であって、
前記命令は、前記処理装置による実行時に、前記処理装置に、
映像の第1の映像セグメントと前記映像のビットストリームとの変換のために、第1の映像セグメントレベルで時間的動きベクトル予測モードが無効にされることに起因して、サブブロックに基づく時間的動きベクトル予測モードが前記変換のために無効にされることを判定することと、
前記判定に基づいて、前記変換を行うことと、を実行させる、
装置。
【請求項16】
映像処理装置によって実行される方法によって生成された映像のビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、
前記方法は、
前記映像の第1の映像セグメントのために、第1の映像セグメントレベルで時間的動きベクトル予測モードが無効にされることに起因して、サブブロックに基づく時間的動きベクトル予測モードが変換のために無効にされることを判定することと、
前記判定に基づいて、前記映像から前記ビットストリームを生成することと、を含む、
非一時的なコンピュータ可読記録媒体。
【請求項17】
命令を記憶する非一時的なコンピュータ可読記憶媒体であって、
前記命令は、処理装置に、
映像の第1の映像セグメントと前記映像のビットストリームとの変換のために、第1の映像セグメントレベルで時間的動きベクトル予測モードが無効にされることに起因して、サブブロックに基づく時間的動きベクトル予測モードが前記変換のために無効にされることを判定することと、
前記判定に基づいて、前記変換を行うことと、を実行させる、
非一時的なコンピュータ可読記憶媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正の内容】
【0001】
(関連出願の相互参照)
本願は、日本特許出願2023-117792号に基づく分割出願であり、この日本特許出願は、日本特許出願2021-526695号に基づく分割出願であり、この日本特許出願は、2019年11月22日出願の国際特許出願PCT/CN2019/120301号に基づくものであり、この国際特許出願は、2018年11月22日出願の国際特許出願PCT/CN2018/116889号、2018年12月29日出願の国際特許出願PCT/CN2018/125420号、2019年8月13日出願の国際特許出願PCT/CN2019/100396号、および2019年9月22日出願の国際特許出願PCT/CN2019/107159号の優先権および利益を主張する。全ての上記特許出願の開示全体は、本明細書の開示の一部として参照により組み込まれる。
【外国語明細書】