IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ベイジン バイトダンス ネットワーク テクノロジー カンパニー リミテッドの特許一覧 ▶ バイトダンス インコーポレイテッドの特許一覧

特開2023-156316サブブロックの時間的動きベクトル予測モードでコロケーションされたブロックの使用
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023156316
(43)【公開日】2023-10-24
(54)【発明の名称】サブブロックの時間的動きベクトル予測モードでコロケーションされたブロックの使用
(51)【国際特許分類】
   H04N 19/52 20140101AFI20231017BHJP
   H04N 19/537 20140101ALI20231017BHJP
【FI】
H04N19/52
H04N19/537
【審査請求】有
【請求項の数】13
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023117792
(22)【出願日】2023-07-19
(62)【分割の表示】P 2021526695の分割
【原出願日】2019-11-22
(31)【優先権主張番号】PCT/CN2018/116889
(32)【優先日】2018-11-22
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2018/125420
(32)【優先日】2018-12-29
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/100396
(32)【優先日】2019-08-13
(33)【優先権主張国・地域又は機関】CN
(31)【優先権主張番号】PCT/CN2019/107159
(32)【優先日】2019-09-22
(33)【優先権主張国・地域又は機関】CN
(71)【出願人】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Beijing Bytedance Network Technology Co., Ltd.
【住所又は居所原語表記】Room B-0035, 2/F, No.3 Building, No.30, Shixing Road, Shijingshan District Beijing 100041 China
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】ジャン カイ
(72)【発明者】
【氏名】ジャン リー
(72)【発明者】
【氏名】リウ ホンビン
(72)【発明者】
【氏名】シュ ジジョン
(72)【発明者】
【氏名】ワン ユエ
(57)【要約】      (修正有)
【課題】サブブロックに基づくインター予測方法を含む、デジタル映像符号化および復号化のためのデバイス、システム並びに方法を提供する。
【解決手段】映像処理のための方法は、映像の現在のブロックと映像のビットストリーム表現との間での変換のため、サブブロックに基づくマージ候補リストにおける最大数の候補、および/または、サブブロックに基づく時間的動きベクトル予測(SbTMVP)候補を、時間的動きベクトル予測(TMVP)が変換中の使用に対して有効であるかどうかまたは変換に、現在のピクチャ参照(CPR)符号化モードを使用するかどうかに基づいて、サブブロックに基づくマージ候補リストに加えるかどうかを判定することと、判定に基づいて、前記変換を行うこと、を含む。
【選択図】図30
【特許請求の範囲】
【請求項1】
映像処理方法であって、
映像の現在のブロックと前記映像のビットストリーム表現との間での変換のために、サブブロックに基づくマージ候補リストにおける最大数の候補(ML)、および/または時間的動きベクトル予測(SbTMVP)を、前記サブブロックに基づくマージ候補リストに加えるかどうかを、時間的動きベクトル予測(TMVP)を変換中の使用に対して有効であるか、または現在のピクチャ参照(CPR)符号化モードが前記変換に使用されているかどうかに基づいて、判定することと、
この判定に基づいて変換を行うことと、
を含む方法。
【請求項2】
前記TMVPツールが無効であるか、またはSbTMVPツールが無効である判定に基づいて、前記SbTMVP候補の前記使用を無効にする、
請求項1に記載の方法。
【請求項3】
MLを判定することは、
前記SbTMVPツールまたは前記TMVPツールが無効にされているかどうかに基づいて、前記サブブロックに基づくマージ候補リストからSbTMVP候補を除外することを含む、
請求項2に記載の方法。
【請求項4】
映像処理方法であって、
映像の現在のブロックと前記映像のビットストリーム表現との間での変換のために、時間的動きベクトル予測(TMVP)、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツール、およびアフィン符号化モードがこの変換に対する使用に対して有効であるかどうかに基づいて、サブブロックに基づくマージ候補リストにおける最大数の候補(ML)を判定することと、
この判定に基づいて変換を行うことと、
を含む方法。
【請求項5】
前記アフィン符号化モードが有効にされている場合にMLがオンザフライで設定され、
前記ビットストリーム表現で信号通知される、
請求項4に記載の方法。
【請求項6】
前記アフィン符号化モードが無効にされている場合にMLが予め定義される、
請求項4に記載の方法。
【請求項7】
MLを判定することは、
前記TMVPツールが無効にされており、場合にMLを0に設定すると、SbTMVPツールが有効にされており、前記現在のブロックのアフィン符号化モードが無効にされる、
請求項2または6に記載の方法。
【請求項8】
MLを判定することは、
SbTMVPツールが有効になっており、前記TMVPツールが有効になっており、前記現在のブロックのアフィン符号化モードが無効になっている場合に、MLを1に設定する、
請求項2または6に記載の方法。
【請求項9】
SbTMVPツールが無効にされているか、または前記現在のブロックの現在のピクチャのコロケーションされた参照ピクチャが前記現在のピクチャである場合に、前記SbTMVP候補の使用が無効にされる、
請求項1に記載の方法。
【請求項10】
MLを判定することは、
前記SbTMVPツールが無効になっているか、または前記現在のピクチャの前記コロケーションされた参照ピクチャが前記現在のピクチャであるか、に基づいて、前記サブブロックに基づくマージ候補リストから前記SbTMVP候補を除外する、
請求項9に記載の方法。
【請求項11】
MLを判定することは、
前記現在のピクチャの前記コロケーションされた参照ピクチャが前記現在のピクチャである場合にMLを0に設定し、前記現在のブロックのアフィン符号化を無効にする、
請求項9に記載の方法。
【請求項12】
MLを判定することは、
前記SbTMVPツールが有効になっており、前記現在のピクチャの前記コロケーションされた参照ピクチャが前記現在のピクチャでなく、前記現在のブロックのアフィン符号化が無効にされる場合に、MLを1に設定する、
請求項9に記載の方法。
【請求項13】
SbTMVPツールが無効になっている、または参照ピクチャリスト0(L0)における参照ピクチャインデックス0を有する参照ピクチャが前記現在のブロックの現在のピクチャである場合に、前記SbTMVP候補の前記使用が無効にされる、
請求項1に記載の方法。
【請求項14】
MLを判定することは、
前記SbTMVPツールが無効になっているか、またはL0における参照ピクチャインデックス0を有する前記参照ピクチャが前記現在のピクチャであるか、に基づいて、前記サブブロックに基づくマージ候補リストから前記SbTMVP候補を除外する、
請求項13に記載の方法。
【請求項15】
MLを判定することは、
前記SbTMVPツールが有効にされており、L0における前記参照ピクチャインデックス0を有する参照ピクチャは前記現在のピクチャであり、前記現在のブロックのアフィン符号化が無効にされている場合に、MLを0に設定する、
請求項13に記載の方法。
【請求項16】
MLを判定することは、
前記SbTMVPツールが有効にされており、L0における参照ピクチャインデックス0の前記参照ピクチャが前記現在のピクチャではなく、前記現在のブロックのアフィン符号化が無効にされている場合に、MLを1に設定することを含む、
請求項13に記載の方法。
【請求項17】
SbTMVPツールが無効にされているか、または参照ピクチャリスト1(L1)における参照ピクチャインデックス0を有する参照ピクチャが前記現在のブロックの現在のピクチャである場合に、前記SbTMVP候補の前記使用が無効にされる、
請求項1に記載の方法。
【請求項18】
MLを判定することは、
前記SbTMVPツールが無効であるか、またはL1における前記参照ピクチャインデックス0を有する前記参照ピクチャが現在のピクチャであるか、に基づいて、前記サブブロックに基づくマージ候補リストから前記SbTMVP候補を除外する、
請求項17に記載の方法。
【請求項19】
MLを判定することは、
前記SbTMVPツールが有効にされ、L1における参照ピクチャインデックス0を有する前記参照ピクチャが前記現在のピクチャであり、前記現在のブロックのアフィン符号化が無効にされる場合に、MLを0に設定することを含む、
請求項17に記載の方法。
【請求項20】
MLを判定することは、
前記SbTMVPツールが有効になっており、L1における前記参照ピクチャインデックス0を有する参照ピクチャが前記現在のピクチャではなく、前記現在のブロックのアフィン符号化が無効にされている場合に、MLを1に設定することを含む、
請求項17に記載の方法。
【請求項21】
映像処理方法であって、
映像の第1の映像セグメントの現在のブロックと前記映像のビットストリーム表現との間での変換のために、サブブロックに基づく動きベクトル予測(SbTMVP)モードは、時間的動きベクトル予測(TMVP)モードが第1の映像セグメントレベルで無効になっているために、前記変換に対して無効になっていることを判定することと、
前記判定に基づいて前記変換を行うことと、を含み、
前記ビットストリーム表現は、前記SbTMVPモードの表示が含まれているかどうか、および/または、マージ候補リストにおける前記TMVPモードの表示に対する前記SbTMVPの前記表示の位置を規定するフォーマットに準拠している、
方法。
【請求項22】
前記第1の映像セグメントは、シーケンス、スライス、タイルまたはピクチャである、
請求項21に記載の方法。
【請求項23】
前記フォーマットは、前記第1の映像セグメントレベルに前記TMVPモードの前記表示を含めることにより、前記SbTMVPモードの前記表示を省略することを規定する、
請求項21に記載の方法。
【請求項24】
前記フォーマットは、前記SbTMVPモードの前記表示が、前記TMVPモードの前記表示の後に、復号化順に前記第1の映像セグメントレベルにあることを規定する、
請求項21に記載の方法。
【請求項25】
前記フォーマットは、前記TMVPモードが無効であると示された場合にSbTMVPモードの表示を省略することを規定する、
請求項21~24のいずれか1項に記載の方法。
【請求項26】
前記フォーマットは、前記SbTMVPモードの前記表示が前記映像のシーケンスレベルに含まれ、第2の映像セグメントレベルでは省略されることを規定する、
請求項21に記載の方法。
【請求項27】
前記第2の映像セグメントレベルの第2の映像セグメントは、スライス、タイルまたはピクチャである、
請求項26に記載の方法。
【請求項28】
前記変換は、前記ビットストリーム表現から前記現在のブロックを生成する、
請求項1~27のいずれか1項に記載の方法。
【請求項29】
前記変換は、前記ビットストリーム表現から前記現在の映像ブロックを生成する、
請求項1~27のいずれか1項に記載の方法。
【請求項30】
前記変換を行うことは、1つ以上の復号化規則に基づいて前記ビットストリーム表現を構文解析することを含む、
請求項1~27のいずれか1項に記載の方法。
【請求項31】
処理装置と、命令を搭載した非一時的メモリと、を備え、前記処理装置が実行すると、
前記命令は、前記処理装置に、請求項1~30のいずれか1項以上に記載の前記方法を実装させる、
映像システムにおける装置。
【請求項32】
非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、
請求項1~30のいずれか1項以上に記載の前記方法を実行するためのプログラムコードを含む、
コンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
パリ条約に基づく適用可能な特許法および/または規則に基づいて、本願は、2018年11月22日出願の国際特許出願PCT/CN2018/116889号、2018年12月29日出願の国際特許出願PCT/CN2018/125420号、2019年8月13日出願の国際特許出願PCT/CN2019/100396号、および2019年9月22日出願の国際特許出願PCT/CN2019/107159号の優先権および利益を適時に主張することを目的とする。米国法に基づくすべての目的のために、上記出願の開示全体は、本明細書の開示の一部として参照により組み込まれる。
【0002】
本明細書は、画像および映像符号化および復号化に関する。
【背景技術】
【0003】
映像圧縮の進歩にもかかわらず、デジタル映像は、依然として、インターネットおよび他のデジタル通信ネットワークにおいて最大の帯域幅の使用量を占めている。映像の受信および表示が可能な接続されたユーザ機器の数が増加するにつれ、デジタル映像の使用に対する帯域幅需要は増大し続けることが予測される。
【発明の概要】
【0004】
サブブロックに基づくインター予測方法を含む、デジタル映像符号化に関連するデバイス、システム、および方法を説明する。記載された方法は、既存の映像符号化規格(例えば、高効率映像符号化(HEVC)および/または汎用映像符号化(VVC))および将来の映像符号化規格またはビデオコーデックの両方に適用され得る。
【0005】
1つの代表的な態様において、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックと映像のビットストリーム表現との間での変換のために、サブブロックに基づくマージ候補リストにおける最大数の候補(ML)および/または、サブブロックに基づく時間的動きベクトル予測(SbTMVP)候補を、時間的動きベクトル予測(TMVP)が変換時に有効とされているかどうか、または、変換に、現在のピクチャ参照(CPR)符号化モードを使用するかどうかに基づいて、サブブロックに基づくマージ候補リストに加えるかどうかを判定することと、この判定に基づいて変換を行うことを含む。
【0006】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックと映像のビットストリーム表現との間での変換のために、時間的動きベクトル予測(TMVP)、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツール、およびアフィン符号化モードが変換時の使用に対して有効であるかどうかに基づいて、サブブロックに基づくマージ候補リストにおける候補の最大数(ML)を判定することと、この判定に基づいて変換を行うことを含む。
【0007】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の第1の映像セグメントの現在のブロックと映像のビットストリーム表現との間での変換のために、サブブロックに基づく動きベクトル予測(SbTMVP)モードは、時間的動きベクトル予測(TMVP)モードが第1の映像セグメントレベルで変換に対して無効になっているために、変換に対して無効にされていると判定することと、その決定に基づいて、変換を行うことであって、ビットストリーム表現は、SbTMVPモードの表示が含めるかどうか、および/またはマージ候補リストにおけるTMVPモードの表示に対するSbTMVPモードの表示の位置を規定するフォーマットに準拠している、変換を行うことと、を含む。
【0008】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールまたは時間的動きベクトル予測(TMVP)ツールを使用して符号化された映像の現在のブロックと、この映像のビットストリーム表現との間で変換を行うことを含み、現在のブロックまたはこの現在のブロックの対応する位置の座標を、マスクを使用して、SbTMVPツールまたはTMVPツールに関連付けられた動きベクトルの圧縮に基づいて選択的にマスクし、このマスクを適用することは、この座標の値とこのマスクの値とのビット単位のAND演算を含む。
【0009】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の映像セグメントの現在のブロックの1つ以上特徴に基づいて、この現在のブロックに基づいてサブブロックに基づく動きベクトル予測(SbTMVP)ツールを適用するための、この現在のブロックの有効な対応する領域を判定することと、この判定に基づいて、この現在のブロックとこの映像のビットストリーム表現との間での変換を行うこととを含む。
【0010】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールを使用して符号化される映像の現在のブロックに対して、デフォルトの動きベクトルを判定することと、この判定に基づいて、現在のブロックとこの映像のビットストリーム表現との間で変換を行うこととを含み、現在のブロックの中心位置に関連付けられた、このコロケーションされたピクチャにおける対応する位置を含むブロックから動きベクトルが得られない場合にこのデフォルトの動きベクトルが判定される。
【0011】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の映像セグメントの現在のブロックについて、現在のブロックの現在のピクチャが、参照ピクチャリストXにおけるインデックスがMに設定された参照ピクチャであり、ここで、MおよびXが整数であり、X=0またはX=1である場合に映像セグメントに対して、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールまたは時間的動きベクトル予測(TMVP)ツールが無効にされていると推論することと、推論に基づいて、現在のブロックとビデオのビットストリーム表現との間で変換を行うことと、を含む。
【0012】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックに対して、現在のブロックの現在のピクチャが、参照ピクチャリストXにおけるインデックスがMに設定された参照ピクチャであり、MおよびXが整数である場合にサブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールの適用が有効にされることを判定することと、この判定に基づいて、現在のブロックと映像のビットストリーム表現との間での変換を行うこととを含む。
【0013】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックと映像のビットストリーム表現との間で変換を行うことを含み、現在のブロックは、サブブロックに基づく符号化ツールを使用して符号化され、この変換を行うことは、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールが有効にされるか無効にされる場合に複数のビン(N)を使用してサブブロックマージインデックスを統一方法で符号化することを含む。
【0014】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールを使用して符号化された映像の現在のブロックに対して、SbTMVPツールが現在のブロックを含む現在のピクチャと異なるピクチャにおける対応するブロックの位置を突き止めるために使用する動きベクトルを判定することと、この判定に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うこととを含む。
【0015】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックと映像のビットストリーム表現との間での変換のために、現在のブロックの変換に対してアフィン予測が有効にされるかどうかに基づいて、動きゼロアフィンマージ候補をサブブロックマージ候補リストに挿入するかどうかを判定することと、この判定に基づいて、変換を行うことを含む。
【0016】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックと、サブブロックマージ候補リストを使用する映像のビットストリーム表現との間での変換のために、サブブロックマージ候補リストが満たされていない場合にゼロ動き非アフィンパディング候補をサブブロックマージ候補リストに挿入することと、挿入の後に、変換を行うことと、を含む。
【0017】
別の代表的な態様では、開示される技術は、映像処理の方法を提供するために使用してもよい。この方法は、映像の現在のブロックと映像のビットストリーム表現との間での変換のために、動きベクトルが、コロケーションされたピクチャにおける対応する位置を含むブロックの1つ以上の動きベクトルから導出するものであると判定する規則を使用して、動きベクトルを判定することと、動きベクトルに基づいて、この変換を行うこととを含む。
【0018】
さらに別の例示的な態様では、ビデオエンコーダ装置が開示される。このビデオエンコーダ装置は、本明細書で説明される方法を実装するように構成されている処理装置を含む。
【0019】
さらに別の例示的な態様では、ビデオデコーダ装置が開示される。このビデオデコーダ装置は、本明細書に記載の方法を実装するように構成されている処理装置を含む。
【0020】
さらに別の態様では、コードが記憶されたコンピュータ可読媒体が開示される。このコードは、処理装置によって実行されると、この処理装置に、本明細書に記載の方法を実装させる。
【0021】
これらの、および他の態様は、本明細書で説明される。
【図面の簡単な説明】
【0022】
図1】マージ候補リスト構築の導出処理の一例を示す図
図2】空間的マージ候補の位置の例を示す図
図3】空間的マージ候補の冗長性チェックで考慮される候補対の例を示す図
図4A】N×2N個の分割の第2の予測ユニット(PU)のための例示的な位置を示す図
図4B】2N×N個の分割の第2の予測ユニット(PU)のための例示的な位置を示す図
図5】時間的マージ候補のための動きベクトルのスケーリングの例を示す図
図6】時間的マージ候補の候補位置の例、C0およびC1を示す図
図7】結合双予測マージ候補の例を示す図
図8】動きベクトル予測候補の導出処理例を示す図
図9】空間的動きベクトル候補のための動きベクトルのスケーリングの例を示す図
図10】CUのための代替的な時間的動きベクトル予測(ATMVP)動き予測の例を示す図
図11】4つのサブブロック(A-D)およびその近傍のブロックを有する1つのCUの例を示す図
図12】異なるMV精度で符号化する例のフローチャート
図13A】135度分割タイプ(左上隅から右下隅への分割)を示す図
図13B】45度分割パターンを示す図
図14】近傍のブロックの位置の例を示す図
図15】上側および左右のブロックの例を示す図
図16A】2つの制御点動きベクトル(CPMV)の例を示す図
図16B】3つのCPMVの例を示す図
図17】サブブロックごとのアフィン動きベクトルフィールド(MVF)の例を示す図
図18A】4パラメータアフィンモデルの例を示す図
図18B】6パラメータアフィンモデルの例を示す図
図19】継承されたアフィン候補のAF_INTERのMVPの例を示す図
図20】AF_INTERでアフィン動き予測子を構築する例を示す図
図21A】AF_MERGEにおけるアフィン符号化における制御点動きベクトルの例を示す図
図21B】AF_MERGEにおけるアフィン符号化における制御点動きベクトルの例を示す図
図22】アフィンマージモードの候補位置の例を示す図
図23】ピクチャ内ブロックコピー動作の一例を示す図
図24】コロケーションされたピクチャにおける有効な対応する領域の例を示す図
図25】履歴に基づく動きベクトル予測のための例示的なフローチャートを示す図
図26】修正されたマージリスト構築処理を示す図
図27】現在のブロックが基本領域内にある場合の、提案される有効領域の例示的な実施形態を示す図
図28】現在のブロックが基本領域内にない場合の有効領域の例示的な実施形態を示す図
図29A】既存のデフォルト動き情報の識別のための場所の例を示す図
図29B】提案されたデフォルト動き情報の識別のための場所の例を示す図
図30】映像処理方法の例を示すフローチャート
図31】映像処理方法の例を示すフローチャート
図32】映像処理方法の例を示すフローチャート
図33】映像処理方法の例を示すフローチャート
図34】映像処理方法の例を示すフローチャート
図35】映像処理方法の例を示すフローチャート
図36】映像処理方法の例を示すフローチャート
図37】映像処理方法の例を示すフローチャート
図38】映像処理方法の例を示すフローチャート
図39】映像処理方法の例を示すフローチャート
図40】映像処理方法の例を示すフローチャート
図41】映像処理方法の例を示すフローチャート
図42】映像処理方法の例を示すフローチャート
図43】本明細書に記載されるビジュアルメディアの復号化またはビジュアルメディアの符号化技術を実装するためのハードウェアプラットフォームの一例を示すブロック図
図44】開示される技術が実装され得る例示的な映像処理システムのブロック図
【発明を実施するための形態】
【0023】
本明細書は、伸張または復号化されたデジタル映像または画像の品質を向上させるために、ビデオビットストリームのデコーダで使用できる様々な技術を提供する。さらに、ビデオエンコーダは、さらなる符号化に使用される復号化されたフレームを再構成するために、符号化の処理中にこれらの技術を実装してもよい。
【0024】
本明細書では、理解を容易にするために章見出しを使用しているが、実施形態および技術を、対応する章に限定するものではない。このように、一つの章からの実施形態は、他の章からの実施例と組み合わせることができる。
【0025】
1. 概要
【0026】
本特許明細書は、映像符号化技術に関する。具体的には、本発明は、映像符号化における動きベクトル符号化に関する。本発明は、HEVCのような既存の映像符号化規格またはファイナライズされるべき規格(例えば、汎用映像符号化)に適用され得る。本発明は、将来の映像符号化規格またはビデオコーデックにも適用可能である。
【0027】
2. 序文
【0028】
映像符号化規格は、主に周知のITU-TおよびISO/IEC規格の開発によって発展してきた。ITU-TはH.261とH.263を、ISO/IECはMPEG-1とMPEG-4Visualを、両団体はH.262/MPEG-2VideoとH.264/MPEG-4高度映像符号化(AVC)とH.265/HEVC規格を共同で作成した。映像符号化規格、H.262は、時間的予測プラス変換符号化が利用されるハイブリッド映像符号化構造に基づく。HEVCを超えた将来の映像符号化技術を探索するため、2015年には、VCEGとMPEGが共同で共同映像探索チーム(Joint Video Exploration Team:JVET)を設立した。それ以来、多くの新しい方法がJVETによって採用され、共同探索モデル(JEM)と呼ばれる参照ソフトウェアに組み込まれてきた。2018年4月、VCEG(Q6/16)とISO/IEC JTC_1 SC29/WG11(MPEG)の間に共同映像探索チーム(JVET)が作られ、HEVCと比較してビットレートを50%低減することを目標としたVVC規格に取り組むことになった。
【0029】
VVCドラフトの最新バージョン、即ち、汎用映像符号化(ドラフト3)は、以下を参照することができる。
【0030】
http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/12_Macao/wg11/JVET-L1001-v2.zip VTMと呼ばれるVVCの最新のリファレンスソフトウェアは、以下を参照。
【0031】
https://vcgit.hhi.fraunhofer.de/jvet/VVCSoftware_VTM/tags/VTM-3.0rC1
【0032】
2.1 HEVC/H.265におけるインター予測
【0033】
各インター予測されたPUは、1つまたは2つの参照ピクチャリストのための動きパラメータを有する。動きパラメータは、動きベクトルおよび参照ピクチャインデックスを含む。2つの参照ピクチャリストのうちの1つの参照ピクチャリストの使用は、inter_pred_idcを使用して信号通知されてもよい。動きベクトルは、予測子に対するデルタ(delta)として明確に符号化されてもよい。
【0034】
1つのCUがスキップモードで符号化される場合、1つのPUがこのCUに関連付けられ、有意な残差係数がなく、符号化動きベクトルデルタも参照ピクチャインデックスもない。マージモードを指定し、これにより、現在のPUのための動きパラメータを、空間的および時間的候補を含む近傍のPUから取得する。マージモードは、スキップモードのためだけでなく、任意のインター予測されたPUに適用することができる。マージモードの代替としては、動きパラメータの明確な送信があり、PUごとに、各参照ピクチャリストおよび参照ピクチャリストの使用に対応する参照ピクチャインデックスである、動きベクトル(より正確には、動きベクトル予測子(MVD)と比較した動きベクトルの差)を明確に信号通知する。このようなモードを、本開示では高度動きベクトル予測(AMVP)と呼ぶ。
【0035】
2つの参照ピクチャリストのうちの1つを使用することを信号通知が示す場合、1つのサンプルのブロックからPUを生成する。これを「単一予測」と呼ぶ。単一予測は、PスライスおよびBスライスの両方に利用可能である。
【0036】
両方の参照ピクチャリストを使用することを信号通知が示す場合、2つのサンプルのブロックからPUを生成する。これを「双予測」と呼ぶ。Bスライスのみに双予測が利用可能である。
【0037】
以下、HEVCに規定されるインター予測モードについて詳細に説明する。まず、マージモードについて説明する。
【0038】
2.1.1 参照ピクチャリスト
【0039】
HEVCにおいて、インター予測という用語は、現在の復号化されたピクチャ以外の参照ピクチャのデータ要素(例えば、サンプル値または動きベクトル)から導出された予測を示すために使用される。H.264/AVCと同様に、複数の参照ピクチャから1つのピクチャを予測することができる。インター予測に使用される参照ピクチャは、1つ以上の参照ピクチャリストにまとめられる。参照インデックスは、リストにおけるいずれの参照ピクチャを使用して予測信号を生成するかを識別する。
【0040】
1つの参照ピクチャリストList0はPスライスに用いられ、2つの参照ピクチャリストList0およびList1はBスライスに使用される。なお、List0/1に含まれる参照ピクチャは、撮影/表示順にしても、過去および将来のピクチャからのものであってもよい。
【0041】
2.1.2 マージモード
【0042】
2.1.2.1 マージモードの候補の導出
【0043】
マージモードを使用してPUを予測する場合、ビットストリームからマージ候補リストにおけるエントリを指すインデックスを構文解析し、これを使用して動き情報を検索する。このリストの構成は、HEVC規格で規定されており、以下のステップのシーケンスに基づいてまとめることができる。
【0044】
・ ステップ1:初期候補導出
o ステップ1.1:空間的候補導出
o ステップ1.2:空間的候補の冗長性チェック
o ステップ1.3:時間的候補導出
・ ステップ2:追加候補挿入
o ステップ2.1:双予測候補の作成
o ステップ2.2:動きゼロ候補の挿入
【0045】
これらのステップは図1にも概略的に示されている。空間的マージ候補導出のために、5つの異なる位置にある候補の中から最大4つのマージ候補を選択する。時間的マージ候補導出のために、2つの候補の中から最大1つのマージ候補を選択する。デコーダ側ではPUごとに一定数の候補を想定しているので、ステップ1で得られた候補の数が、スライスヘッダにおいて信号通知されるマージ候補の最大数(MaxNumMergeCand)に達しない場合、追加の候補を生成する。候補の数は一定であるので、短縮された単項2値化(TU)を使用して最良マージ候補のインデックスを符号化する。CUのサイズが8に等しい場合、現在のCUのすべてのPUは、2N×2N予測ユニットのマージ候補リストと同じ1つのマージ候補リストを共有する。
【0046】
以下、上述したステップに関連付けられた動作を詳しく説明する。
【0047】
2.1.2.2 空間的候補導出
【0048】
空間的マージ候補の導出において、図2に示す位置にある候補の中から、最大4つのマージ候補を選択する。導出の順序はA、B、B、A、Bである。位置A、B、B、AのいずれかのPUが利用可能でない場合(例えば、別のスライスまたはタイルに属しているため)、またはイントラ符号化された場合にのみ、位置Bが考慮される。位置Aの候補を加えた後、残りの候補を加えると、冗長性チェックを受け、それにより、同じ動き情報を有する候補を確実にリストから排除でき、符号化効率を向上させることができる。計算の複雑性を低減するために、前述の冗長性チェックにおいて、考えられる候補対のすべてを考慮することはしない。その代わりに、図3の矢印で結ばれたペアのみを考慮し、冗長性チェックに使用された対応する候補が同じ動き情報を持っていない場合にのみ、候補をリストに加える。重複した動き情報の別のソースは、2N×2Nとは異なる分割に関連付けられた「第2のPU」である。一例として、図4A及び図4Bは、それぞれN×2Nおよび2N×Nの場合の第2のPUを示す。現在のPUをN×2Nに分割する場合、リスト構築に位置Aの候補は考慮されない。実際、この候補を加えることにより、双予測ユニットが同じ動き情報を有するようになり、1つの符号化ユニットに1つのPUのみを有することは冗長である。同様に、現在のPUを2N×Nに分割する場合、位置Bは考慮されない。
【0049】
2.1.2.3 時間的候補導出
【0050】
このステップにおいて、1つの候補のみがリストに追加される。具体的には、この時間的マージ候補の導出において、所与の参照ピクチャリストにおける現在のピクチャとの間に最小のPOC差を有するピクチャに属する同一位置PUに基づいて、スケーリングされた動きベクトルを導出する。スライスヘッダにおいて、同一位置PUの導出に用いられる参照ピクチャリストが明確に信号通知される。図5に点線で示すように、時間的マージ候補のスケーリングされた動きベクトルが得られる。これは、POC距離tbおよびtdを利用して、同一位置PUの動きベクトルからスケーリングしたものである。tbは、現在のピクチャの参照ピクチャと現在のピクチャのPOC差として規定し、tdは、同一位置PUの参照ピクチャと同一位置ピクチャのPOC差として規定する。時間的マージ候補の参照ピクチャインデックスをゼロに等しく設定する。このスケーリング処理の実際的な実現については、HEVC仕様に記載されている。Bスライスの場合、2つの動きベクトル、即ち、1つは参照ピクチャリスト0のためのもの、もう1つは参照ピクチャリスト1のためのもの、を取得し、これらを組み合わせることによって、双予測マージ候補を形成する。
【0051】
図5は、時間的マージ候補の動きベクトルのスケーリングを示す図である。
【0052】
参照フレームに属する同一位置PU(Y)において、図6に示すように、候補Cと候補Cとの間で時間的候補の位置を選択する。位置CのPUが利用可能でなく、イントラ符号化されるか、または現在の符号化ツリーユニット(CTUaka.LCU、最大符号化ユニット)行の外側にある場合、位置Cが使用される。そうでない場合、位置Cが時間的マージ候補の導出に使用される。
【0053】
図6は、時間的マージ候補の候補位置C0、C1の例を示す。
【0054】
2.1.2.4 追加候補挿入
【0055】
時空間的マージ候補の他に、2つの追加のタイプのマージ候補、すなわち、結合双予測マージ候補およびゼロマージ候補がある。時空間的マージ候補を利用することで、結合双予測マージ候補を生成する。結合双予測マージ候補は、Bスライスのみに使用される。最初の候補の第1の参照ピクチャリスト動きパラメータと別の候補の第2の参照ピクチャリスト動きパラメータとを組み合わせることで、結合双予測候補を生成する。これら2つのタプルが異なる動き仮説を提供する場合、これらのタプルは、新しい双予測候補を形成する。一例として、図7は、オリジナルリスト(左側)における、mvL0、refIdxL0またはmvL1、refIdxL1を有する2つの候補を使用して、最終リスト(右側)に加えられる結合双予測マージ候補を生成する場合を示す。これらの追加のマージ候補を生成するために考慮される組み合わせについては、様々な規則が存在する。
【0056】
動きゼロ候補を挿入し、マージ候補リストにおける残りのエントリを埋めることにより、MaxNumMergeCand容量にヒットする。これらの候補は、空間的変位がゼロであり、ゼロから始まり、新しいゼロ動き候補をリストに加える度に増加する参照ピクチャインデックスを有する。
【0057】
具体的には、マージリストが一杯になるまで、以下のステップを順に行う。
1. Pスライスの場合、変数numRefを、リスト0に関連付けられた参照ピクチャの数またはBスライスの場合、2つのリストにおける参照ピクチャの最小数のいずれかに設定する。
2. 非反復動きゼロ候補を加える。
変数iが0~numRef-1の場合、MVを(0,0)に設定し、参照ピクチャインデックスをiに設定したデフォルトの動き候補を、リスト0(Pスライスの場合)に追加し、両方のリスト(Bスライスの場合)に加える。
3. MVを(0,0)に設定し、リスト0の参照ピクチャインデックスを0(Pスライスの場合)に設定し、両方のリストの参照ピクチャインデックスを0(Bスライスの場合)に設定した繰り返し動きゼロ候補を加える。
【0058】
最終的には、これらの候補に対して冗長性チェックは行われない。
【0059】
2.1.3 高度動きベクトル予測(AMVP)
【0060】
AMVPは、動きパラメータの明確な伝送に使用される、動きベクトルの近傍のPUとの時空間的相関を利用する。各参照ピクチャリストにおいて、左側、上側の時間的に近傍のPU位置の可用性をチェックし、冗長な候補を取り除き、ゼロベクトルを加えることで、候補リストの長さを一定にすることにより、動きベクトル候補リストを構築する。次いで、エンコーダは、候補リストから最良の予測子を選択し、選択された候補を示す対応するインデックスを送信することができる。マージインデックスの信号通知と同様に、最良の動きベクトル候補のインデックスは、短縮された単項を使用して符号化される。この場合に符号化対象の最大値は2である(図8参照)。以下の章では、動きベクトル予測候補の導出処理の詳細を説明する。
【0061】
2.1.3.1 AMVP候補の導出
【0062】
図8に、動きベクトル予測候補の導出処理をまとめる。
【0063】
動きベクトル予測において、空間的動きベクトル候補と時間的動きベクトル候補という2つのタイプの動きベクトル候補が考えられる。空間的動きベクトル候補を導出するために、図2に示したように、5つの異なる位置にある各PUの動きベクトルに基づいて、最終的には2つの動きベクトル候補を導出する。
【0064】
時間的動きベクトル候補を導出するために、2つの異なる同一位置に配置された位置に基づいて導出された2つの候補から1つの動きベクトル候補を選択する。第1の時空間的候補リストを作成した後、リストにおける重複した動きベクトル候補を除去する。候補の数が2よりも多い場合、関連づけられた参照ピクチャリストにおける参照ピクチャインデックスが1よりも大きい動きベクトル候補をリストから削除する。時空間的動きベクトル候補の数が2未満である場合は、追加のゼロ動きベクトル候補をリストに加える。
【0065】
2.1.3.2 空間的動きベクトル候補
【0066】
空間的動きベクトル候補の導出において、図2に示すような位置にあるPUから導出された5つの候補のうち、最大2つの候補を考慮するそれらの位置は動きマージの位置と同じである。現在のPUの左側のための導出の順序は、A、A、スケーリングされたA、スケーリングされたAとして規定される。現在のPUの上側のための導出の順序は、B、B、B、スケーリングされたB、スケーリングされたB、スケーリングされたBとして規定される。そのため、辺ごとに、動きベクトル候補として使用できる場合は4つ、すなわち空間的スケーリングを使用する必要がない2つの場合と、空間的スケーリングを使用する2つの場合とがある。4つの異なる場合をまとめると、以下のようになる。
【0067】
・ 空間的スケーリングなし
- (1)同じ参照ピクチャリスト、および同じ参照ピクチャインデックス(同じPOC)
- (2)異なる参照ピクチャリストであるが、同じ参照ピクチャ(同じPOC)
・ 空間的スケーリング
- (3)同じ参照ピクチャリストであるが、異なる参照ピクチャ(異なるPOC)
- (4)異なる参照ピクチャリスト、および異なる参照ピクチャ(異なるPOC)
【0068】
最初に非空間的スケーリングの場合をチェックし、次に空間的スケーリングを行う。参照ピクチャリストにかかわらず、POCが近傍のPUの参照ピクチャと現在のPUの参照ピクチャとで異なる場合、空間的スケーリングを考慮する。左側候補のすべてのPUが利用可能でないか、またはイントラ符号化されている場合、上側の動きベクトルのスケーリングは、左側および上側MV候補の並列導出に役立つ。そうでない場合、上側の動きベクトルに対して空間的スケーリングは許可されない。
【0069】
空間的スケーリング処理において、図9に示すように、時間的スケーリングと同様にして、近傍のPUの動きベクトルをスケーリングする。主な違いは、現在のPUの参照ピクチャリストおよびインデックスを入力として与え、実際のスケーリング処理は時間的スケーリングと同じであることである。
【0070】
2.1.3.3 時間的動きベクトル候補
【0071】
参照ピクチャインデックスを導出する以外は、時間的マージ候補を導出するための処理は、すべて、空間的動きベクトル候補を導出するための処理と同じである(図6参照)。
参照ピクチャインデックスはデコーダに信号通知される。
【0072】
2.2 JEMにおけるサブCUに基づく動きベクトル予測方法
【0073】
QTBTを有するJEMにおいて、各CUは、各予測方向に対して最大1つの動きパラメータセットを有することができる。エンコーダにおいて、ラージCUをサブCUに分割し、ラージCUのすべてのサブCUの動き情報を導出することにより、2つのサブCUレベルの動きベクトル予測方法を考慮する。代替的な時間的動きベクトル予測(ATMVP)方法により、各CUが、配列された参照ピクチャにおける現在のCUよりも小さい複数のブロックから複数の動き情報のセットを取り出すことが可能となる。時空間的動きベクトル予測(STMVP)法において、時間的動きベクトル予測子および空間的近傍動きベクトルを使用して、サブCUの動きベクトルを再帰的に導出する。
【0074】
サブCU動き予測のためにより正確な動きフィールドを保守するために、参照フレームの動き圧縮は現在無効にされている。
【0075】
図10は、CUのためのATMVP動き予測の例を示す。
【0076】
2.2.1 代替の時間的動きベクトル予測
【0077】
代替的な時間的動きベクトル予測(ATMVP)において、動きベクトル時間的動きベクトル予測(TMVP)法は、現在のCUより小さいブロックから複数動き情報のセット(動きベクトルおよび参照インデックスを含む)を取り出すことで修正される。いくつかの実装形態において、サブCUは、N×N個の正方形ブロックである(Nは、デフォルトで4に設定される)。
【0078】
ATMVPは、CU内のサブCUの動きベクトルを2つのステップで予測する。第1のステップでは、参照ピクチャにおける対応するブロックを時間的ベクトルで特定する。この参照ピクチャをモーションソースピクチャと呼ぶ。第2のステップでは、現在のCUをサブCUに分割し、各サブCUに対応するブロックから、各サブCUの動きベクトルおよび参照インデックスを得る。
【0079】
第1のステップにおいて、現在のCUの空間的に近傍のブロックの動き情報によって、参照ピクチャおよび対応するブロックを判定する。近傍のブロックの繰り返し走査処理を回避するために、現在のCUのマージ候補リストにおける第1のマージ候補を用いる。第1の利用可能な動きベクトルおよびその関連する参照インデックスを、時間的ベクトルおよびモーションソースピクチャのインデックスに設定する。このように、ATMVPでは、TMVPに比べて、対応するブロックをより正確に特定することができ、対応するブロック(配列されたブロックと呼ばれることがある)は、常に現在のCUに対して右下または中心位置にある。
【0080】
第2のステップにおいて、現在のCUの座標に時間ベクトルを加えることで、モーションソースピクチャにおける時間的ベクトルにより、サブCUの対応するブロックを特定する。サブCUごとに、その対応するブロックの動き情報(中心サンプルを覆う最小の動きグリッド)を使用して、サブCUの動き情報を導出する。対応するN×Nブロックの動き情報を特定した後、HEVCのTMVPと同様に、現在のサブCUの動きベクトルおよび参照インデックスに変換され、動きスケーリングや他の手順が適用される。例えば、デコーダは、低遅延条件(すなわち、現在のピクチャのすべての参照ピクチャのPOCが現在のピクチャのPOCよりも小さい)が満たされているか否かをチェックし、場合によっては、動きベクトルMV(参照ピクチャリストXに対応する動きベクトル)を使用して、各サブCUの動きベクトルMV(Xが0または1に等しく、Yが1-Xに等しい)を予測する。
【0081】
2.2.2 時空間的動きベクトル予測(STMVP)
【0082】
この方法において、サブCUの動きベクトルは、ラスタスキャンの順に沿って再帰的に導出される。図11はこの概念を説明する。4つの4×4サブCU、A、B、C、およびDを含む8×8CUを考える。現在のフレームの近傍の4×4ブロックには、a、b、c、dというラベルが付けられている。
【0083】
サブCU Aの動きの導出は、その2つの空間的近傍を特定することで始まる。第1の近傍は、サブCU Aの上のN×Nブロックである(ブロックc)。このブロックcが利用可能でないか、またはイントラ符号化されている場合、サブCU Aより上の他のN×N個のブロックをチェックする(ブロックcから始まり、左から右へ)。第2の近傍は、サブCU Aの左側のブロックである(ブロックb)。ブロックbが利用可能でないか、またはイントラ符号化されている場合、サブCU Aの左側の他のブロックをチェックする(ブロックbを中心に、上から下へ)。各リストの近傍のブロックから得られた動き情報を、所与のリストの第1の参照フレームにスケーリングする。次に、HEVCで規定されているTMVP導出と同じ手順に従って、サブブロックAの時間的動きベクトル予測子(TMVP)を導出する。位置Dの同一位置のブロックの動き情報を取り出し、それに応じてスケーリングする。最後に、動き情報を検索し、スケーリングした後、参照リストごとにすべての利用可能な動きベクトル(3まで)を別個に平均する。この平均化された動きベクトルを現在のサブCUの動きベクトルとする。
【0084】
2.2.3 サブCU動き予測モード信号通知
【0085】
サブCUモードは追加のマージ候補として有効とされ、モードを信号通知するために追加の構文要素は必要とされない。ATMVPモードおよびSTMVPモードを表すように、各CUのマージ候補リストに2つの追加のマージ候補を加える。シーケンスパラメータセットがATMVPおよびSTMVPが有効であることを示す場合、7個までのマージ候補を使用する。追加のマージ候補のエン符号化ロジックは、HMにおけるマージ候補の場合と同じであり、つまり、PまたはBスライスにおける各CUについて、2つの追加のマージ候補に対して2回以上のRDチェックが必要となる。
【0086】
JEMにおいて、マージインデックスのすべての2値は、CABACによってコンテキスト符号化される。一方、HEVCにおいては、第1の2値のみがコンテキスト符号化され、残りの2値はコンテキストバイパス符号化される。
【0087】
2.3 VVCにおけるインター予測方法
【0088】
MVDを信号通知するための適応動きベクトル差解像度(AMVR)、アフィン予測モード、三角形予測モード(TPM)、ATMVP、一般化双予測(GBI)、双方向オプティカルフロー(BIO)などのインター予測を改良するための新しい符号化ツールがいくつか存在する。
【0089】
2.3.1 適応動きベクトル差解像度
【0090】
HEVCにおいて、use_integer_mv_flagがスライスヘッダにおいて0であるとき、1/4輝度サンプルの単位で動きベクトルの差(MVD)(動きベクトルとPUの予測動きベクトルとの差)が信号通知される。VVCにおいて、ローカル適応動きベクトル解像度(LAMVR)が導入される。VVCにおいて、MVDは、1/4輝度サンプル、整数輝度サンプルまたは4つの輝度サンプル(即ち、1/4画素、1画素、4画素)の単位で符号化することができる。MVD分解能は符号化ユニット(CU)レベルで制御され、MVD解像度フラグは、少なくとも1つのノンゼロMVDモジュールを有する各CUに対して条件付きで信号通知される。
【0091】
少なくとも1つのノンゼロMVDモジュールを有するCUの場合、1/4輝度サンプルMV精度がCUにおいて使用されるか否かを示すために、第1のフラグが信号通知される。第1のフラグ(1に等しい)が、1/4輝度サンプルMV精度が使用されていないことを示す場合、整数輝度サンプルMV精度が使用されるかまたは4輝度サンプルMV精度が使用されるかを示すために、別のフラグが信号通知される。
【0092】
CUの第1のMVD解像度フラグがゼロであるか、またはCUに対して符号化されていない(つまり、CUにおけるすべてのMVDがゼロである)場合、CUに対して1/4輝度サンプルMV解像度が使用される。CUが整数輝度サンプルMV精度または4輝度サンプルMV精度を使用する場合、CUのAMVP候補リストにおけるMVPを対応する精度に丸める。
【0093】
エンコーダにおいて、CUレベルのRDチェックは、どのMVD解像度をCUに用いるかを判定するために使用される。すなわち、1つのMVD解像度ごとに3回、CUレベルのRDチェックを行う。エンコーダの速度を速めるために、JEMにおいては、以下の符号化方式が適用される。
【0094】
●通常の1/4輝度サンプルMVD解像度を有するCUのRDチェック中、現在のCUの動き情報(整数輝度サンプル精度)が記憶される。整数輝度サンプルおよび4輝度サンプルのMVD解像度を有する同じCUのRDチェック中に、記憶された動き情報(丸められた後)は、更なる小範囲動きベクトル改良の開始点として使用されるので、時間がかかる動き推定処理が3回重複しない。
【0095】
●4輝度サンプルMVD解像度を有するCUのRDチェックを条件付きで呼び出す。CUの場合、整数輝度サンプルMVD解像度のRDコストが1/4輝度サンプルMVD解像度のそれよりもはるかに大きい場合、CUのための4輝度サンプルMVD解像度のRDチェックはスキップされる。
【0096】
符号化処理を図12に示す。まず、1/4画素MVをテストし、RDコストを計算し、RDCost0と表し、次に、整数MVをテストし、RDコストをRDCost1と表す。RDCost1<th*RDCost0(ただし、thは正の値である)である場合、4画素MVをテストし、そうでない場合、4画素MVをスキップする。基本的に、整数または4画素MVをチェックするときには、1/4画素MVに対して動き情報およびRDコスト等が既知であり、これを再利用して整数または4画素MVの符号化処理を高速化することができる。
【0097】
2.3.2 三角形予測モード
【0098】
三角形予測モード(TPM)の概念は、動き補償予測のために新しい三角形分割を導入することである。図13A及び図13Bに示すように、CUを対角線方向または逆対角線方向に2つの三角形予測ユニットに分割する。CUにおける各三角形予測ユニットは、1つの単一予測候補リストから導出された独自の単一予測動きベクトルおよび参照フレームインデックスを使用して、インター予測される。三角形予測ユニットを予測した後、対角エッジに対して適応重み付け処理を行う。そして、CU全体に対して変換および量子化処理を行う。なお、このモードは、マージモードにのみ適用される(なお、スキップモードは、特別なマージモードとして扱われる)。
【0099】
図13A及び13Bは、CUを2つの三角形予測ユニット(2つの分割パターン)に分割する説明図である。図13A:135度分割タイプ(左上隅から右下隅への分割)、図13B:45度分割パターン。
【0100】
2.3.2.1 TPMの単一予測候補リスト
【0101】
TPM動き候補リストと呼ばれる単一予測候補リストは、5つの単一予測動きベクトル候補からなる。これは、図14に示すように、5つの空間的に近傍のブロック(1~5)および2つの時間的に同一位置にあるブロック(6~7)を含む7つの近傍のブロックから導出される。単一予測動きベクトル、双予測動きベクトルのL0動きベクトル、双予測動きベクトルのL1動きベクトル、および双予測動きベクトルのL0、L1動きベクトルの平均動きベクトルの順に、7つの近傍のブロックの動きベクトルを収集し、単一予測候補リストに入れる。候補の数が5未満である場合、動きベクトルゼロをリストに加える。このTPMリストに追加された動き候補をTPM候補と呼び、空間的/時間的ブロックから導出された動き情報を正規の動き候補と呼ぶ。
【0102】
具体的には、以下のステップが含まれる。
【0103】
1) 空間的に近傍のブロックから正規の動き候補を加える場合、フルプルーニング操作によって、、B、B、A、B、Col、Col2から正規の動き候補を得る(図14のブロック1-7に対応)。
【0104】
2) 変数numCurrMergeCand=0を設定する。
【0105】
3) A、B、B、A、B、Col、Col2から導出された各正規の動き候補に対し、プルーニングされておらず、numCurrMergeCandが5未満の場合、正規の動き候補が(List0またはList1のいずれかからの)単一予測である場合は、numCurrMergeCandを1だけ増加させたTPM候補としてマージリストに直接加えられる。このようなTPM候補を、「もともと単一予測されている候補」と命名する。
フルプルーニングを適用する。
【0106】
4) A、B、B、A、B、Col、Col2から導出された各動き候補について、プルーニングされていない場合、およびnumCurrMergeCandが5未満である場合、正規の動き候補が双予測である場合、リスト0からの動き情報を、新しいTPM候補としてTPMマージリストに追加し(すなわち、リスト0から単一予測に修正される)、numCurrMergeCandに1を加える。このようなTPM候補を、「短縮List0予測候補」と呼ぶ。
フルプルーニングを適用する。
【0107】
5) A、B、B、A、B、Col、Col2から導出された各動き候補について、プルーニングされていない場合、およびnumCurrMergeCandが5未満である場合、正規の動き候補が双予測である場合、リスト1からの動き情報をTPMマージリストに追加し(即ち、リスト1から単一予測に修正され)、numCurrMergeCandを1だけ増加させる。このようなTPM候補を「短縮List1-予測候補」と呼ぶ。
フルプルーニングを適用する。
【0108】
6) A、B、B、A、B、Col、Col2から導出された各動き候補について、プルーニングされていない場合、正規の動き候補が双予測である場合は、numCurrMergeCandが5未満である。
- List0参照ピクチャスライスQPがList1参照ピクチャスライスQPよりも小さい場合、List1の動き情報をまずList0参照ピクチャにスケーリングし、2つのMVの平均(一方はオリジナルList0からのもので、他方はList1からのスケーリングされたMV)をTPMマージリストに加える。このような候補を、List0動き候補からの平均単一予測と呼び、numCurrMergeCandを1だけ増加させる。
- そうでない場合、List0の動き情報をまずList1参照ピクチャにスケーリングし、2つのMVの平均(一方はオリジナルList1からのものであり、他方はList0からのスケーリングされたMV)をTPMマージリストに加える。このようなTPM候補を、List1動き候補からの平均単一予測と呼ばれ、numCurrMergeCandを1だけ増加させる。
フルプルーニングを適用する。
【0109】
7) numCurrMergeCandが5未満である場合、ゼロ動きベクトル候補を加える。
【0110】
リストに候補を挿入するとき、それが前述の追加されたすべての候補と比較されてそれらのうちの1つと同じであるかどうかを調べなければならない場合、このような処理はフルプルーニングと呼ばれる。
【0111】
2.3.2.2 適応重み付け処理
【0112】
各三角形予測ユニットを予測した後、2つの三角形予測ユニット間の対角エッジに適応重み付け処理を施し、CU全体の最終予測を導出する。2つの重み係数群を以下のように定義する。
・ 第1の重み係数群は、{7/8,6/8,4/8,2/8,1/8}および{7/8,4/8,1/8}をそれぞれ輝度および色差サンプルに用いる。
・ 第2の重み係数群は、{7/8、6/8、5/8、4/8、3/8、2/8、1/8}および{6/8、4/8、2/8}をそれぞれ輝度および色差サンプルに使用する。
【0113】
2つの三角形予測ユニットの動きベクトルの比較に基づいて、重み係数群を選択する。第2の重み係数群は、2つの三角形予測ユニットの参照ピクチャが異なる場合、またはその動きベクトルの差が16画素よりも大きい場合に使用される。そうでない場合、第1の重み係数群を使用する。
【0114】
2.3.2.3 三角形予測モード(TPM)の信号通知
【0115】
TPMが使用されているか否かを示すための1つのビットフラグが、まず信号通知されてもよい。その後、(図13A及び図13Bに示すような)2つの分割パターン、および2つの分割の各々の選択されたマージインデックスをさらに信号通知する。
【0116】
2.3.2.3.1 TPMフラグの信号通知
【0117】
1つの輝度ブロックの幅および高さを、それぞれWおよびHで表すことにする。W*H<64の場合、三角形予測モードは無効になる。
【0118】
1つのブロックをアフィンモードで符号化する場合、三角形予測モードも無効にされる。
【0119】
1つのブロックがマージモードで符号化されるとき、1つのビットフラグを信号通知して、このブロックに対して三角形予測モードが有効とされるか無効とされるかを示すことができる。
【0120】
このフラグは、次式に基づいて、3つのコンテキストで符号化される。
Ctx index=((left block L available && L is coded with TPM?)1:0)
+((Above block A available && A is coded with TPM?)1:0);
【0121】
図15は、TPMフラグ符号化におけるコンテキスト選択に用いられる近傍のブロック(AおよびL)の例を示す。
【0122】
2.3.2.3.2 2つの分割パターンの表示(図13に示す)、および2つの分割の各々に対して選択されたマージインデックスの信号通知
【0123】
なお、分割パターンと、2つの分割のマージインデックスとは、互いに符号化される。既存の実装形態において、2つの分割が同じ参照インデックスを使用できなかったことが制限される。そのため、2つの(分割パターン)*N(マージ候補の最大数)*(N-1)個の可能性があり、Nが5に設定される。1つの表示はコード化され、分割パターン、2つのマージインデックス、コード化された指示の間のマッピングは、以下に定義された配列から導出される。
【0124】
const uint8_t g_TriangleCombination[TRIANGLE_MAX_NUM_CANDS][3]={
{0,1,0},{1,0,1},{1,0,2},{0,0,1},{0,2,0},{1,0,3},{1,0,4},{1,1,0},{0,3,0},{0,4,0},{0,0,2},{0,1,2},{1,1,2},{0,0,4},{0,0,3},{0,1,3},{0,1,4},{1,1,4},{1,1,3},{1,2,1},{1,2,0},{0,2,1},{0,4,3},{1,3,0},{1,3,2},{1,3,4},{1,4,0},{1,3,1},{1,2,3},{1,4,1},{0,4,1},{0,2,3},{1,4,2},{0,3,2},{1,4,3},{0,3,1},{0,2,4},{1,2,4},{0,4,2},{0,3,4}};
【0125】
分割パターン(45度または135度)=g_TriangleCombination[signaled indication][0];
Merge index of candidate A=g_TriangleCombination[signaled indication][1];
Merge index of candidate B=g_TriangleCombination[signaled indication][2];
【0126】
2つの動き候補A、Bを導出すると、AまたはBのいずれか一方から2つの分割の(PU1、PU2)動き情報を設定することができ、PU1がマージ候補AまたはBの動き情報を使用するか否かは、2つの動き候補の予測方向に依存する。表1は、2つの分割を有する、2つの導出された動き候補AおよびBの間の関係を示す。
【0127】
【表1】
【0128】
2.3.2.3.3(merge_triangle_idxで示す)表示のエントロピー符号化
【0129】
merge_triangle_idxは、[0,39](それぞれを含む)の範囲内にある。K_th order Exponential Golomb(EG)コードは、merge_triangle_idxの2値化に使用される(Kは1に設定される)。
【0130】
K-th orderEG
【0131】
(より多くのビットを使用してより小さな数を符号化することを犠牲にして)より少ないビットでより大きな数を符号化するため、これは、非負の整数パラメータkを使用して一般化され得る。非負の整数xを次数kのexp-Golombコードで符号化するには、次のようにする。
1. 前述のorder-0 exp-Golombコードを使用して[x/2]を符号化する。次に、
2. x mod 2をバイナリで符号化する。
【0132】
【表2】
【0133】
2.3.3 アフィン動き補償予測
【0134】
HEVCにおいて、動き補償予測(MCP)のために並進運動モデルのみが適用される。実際の世界ではあるが、動きには様々な種類があり、例えば、ズームイン/ズームアウト、回転、透視運動、および他の不規則な動きがある。VVCにおいて、4パラメータアフィンモデルおよび6パラメータアフィンモデルを使用して、簡易アフィン変換動き補償予測を適用する。図16A図16Bに示すように、ブロックのアフィン動きフィールドは、4パラメータアフィンモデル(図16A)の場合、2つの制御点動きベクトル(CPMV)によって表され、6パラメータアフィンモデル(図16B)の場合、3つのCPMVによって表される。
【0135】
ブロックの動きベクトルフィールド(MVF)は、式(1)における4パラメータアフィンモデル(ここで、4パラメータを変数a、b、e、fとして定義する)および式(2)における6パラメータアフィンモデル(ここで、4パラメータを変数a、b、c、d、e、fとして定義する)を使用して、それぞれ、以下の式で表される。
【0136】
【数1】
【0137】
【数2】
【0138】
ここで、(mv ,mv )は、左上隅の制御点の動きベクトルであり、(mv ,mv )は、右上隅の制御点の動きベクトルであり、(mv ,mv )は、左下隅の制御点の動きベクトルであり、3つの動きベクトルは、すべて、制御点動きベクトル(CPMV)と呼ばれ、(x,y)は、現在のブロック内の左上サンプルに対する代表点の座標を表し、(mv(x,y),mv(x,y))は、(x,y)に位置するサンプルに対して導出した動きベクトルである。CP動きベクトルは、信号通知されても(アフィンAMVPモードのように)、またはオンザフライで導出されても(アフィンマージモードのように)よい。wおよびhは、現在のブロックの幅および高さである。実際、この除算は、丸め演算を伴う右シフトによって実装される。VTMにおいて、代表点をサブブロックの中心位置とする。例えば、現在のブロックにおけるサブブロックの左上の角の左上のサンプルの座標が(xs,ys)である場合、代表点の座標を(xs+2,ys+2)とする。各サブブロック(すなわち、VTMにおいて4×4)について、代表点を利用して、サブブロック全体の動きベクトルを導出する。
【0139】
動き補償予測をさらに簡単にするために、サブブロックに基づくアフィン変換予測が適用される。各M×N(現在のVVCにおいて、MおよびNの両方を4に設定する)サブブロックの動きベクトルを導出するために、図17に示すように、各サブブロックの中心サンプルの動きベクトルは、式(1)および式(2)に従って算出され、1/16の端数精度に丸められる。次に、1/16画素の動き補償補間フィルタを適用し、導出された動きベクトルを使用して各サブブロックの予測を生成する。1/16画素の補間フィルタは、アフィンモードで導入される。
【0140】
MCPの後、各サブブロックの高精度動きベクトルを丸め、通常の動きベクトルと同じ精度で保存する。
【0141】
2.3.3.1 アフィン予測の信号通知
【0142】
並進運動モデルと同様に、アフィン予測によるサイド情報の信号通知にも2つのモードがある。それらはAFFINE_INTERモードとAFFINE_MERGEモードである。
【0143】
2.3.3.2. AF_INTERモード
【0144】
幅と高さの両方が8より大きいCUの場合、AF_INTERモードを適用することができる。AF_INTERモードが使用されるか否かを示すために、ビットストリームにおいてCUレベルのアフィンフラグが信号通知される。
【0145】
本実施例において、各参照ピクチャリスト(リスト0またはリスト1)に対して、3種類のアフィン動き予測子を使用して、以下の順にアフィンAMVP候補リストを構築し、各候補は、現在のブロックの推定CPMVを含む。エンコーダ側で見つかった最良のCPMVの差(図20のmvmvmvなど)および推定されたCPMVが信号通知される。さらに、推定されたCPMVを導出するアフィンAMVP候補のインデックスが信号通知される。
【0146】
1) 継承されたアフィン動き予測子
【0147】
そのチェック順序は、HEVC AMVPリスト構築における空間的MVPのチェック順序に類似している。まず、{A1,A0}のうち、アフィン符号化された現在のブロックと同じ参照ピクチャを有する第1のブロックから、左側の継承されたアフィン動き予測子を導出する。次に、上記継承されたアフィン動き予測子を、アフィン符号化され、現在のブロックと同じ参照ピクチャを有する{B1,B0,B2}における第1のブロックから導出する、ブロックから導出する。図19には、5つのブロックA1、A0、B1、B0、B2が示されている。
【0148】
近傍のブロックがアフィンモードで符号化されていることが見出されると、この近傍のブロックを含む符号化ユニットのCPMVを使用して、現在のブロックのCPMVの予測子を導出する。例えば、A1が非アフィンモードで符号化され、A0が4パラメータアフィンモードで符号化される場合、左側の継承されたアフィンMV予測子は、A0から導出する。この場合、図21Bの左上のCPMVについてはMV 、右上のCPMVについてはCPMVおよびMV で示されるA0を含むCUのCPMVを使用して、左上(座標(x0、y0))、現在のブロックの右上(座標(x1、y1))および右下の位置(座標(x2、y2))に対してMV ,MV ,MV で表される、現在のブロックの推定CPMVを導出する。
【0149】
2) 構築されたアフィン動き予測子
【0150】
構築されたアフィン動き予測子は、図20に示すように、近傍のインター符号化ブロックから導出された、同じ参照ピクチャを有する制御点動きベクトル(CPMV)からなる。現在のアフィン動きモデルが4パラメータアフィンである場合、CPMVの数は2であり、そうでない場合、現在のアフィン動きモデルが6パラメータアフィンである場合、CPMVの数は3である。左上のCPMVm ̄v ̄は、インターコードされており、現在のブロックと同じ参照ピクチャを持っているグループ{A、B、C}の第1のブロックのMVによって導出する。右上のCPMVm ̄v ̄は、インターコードされており、現在のブロックと同じ参照ピクチャを持っているグループ{D、E}の第1のブロックのMVによって導出する。左下のCPMVm ̄v ̄は、インターコードされており、現在のブロックと同じ参照ピクチャを持っているグループ{F、G}の第1のブロックのMVによって導出する。
【0151】
- 現在のアフィンモーションモデルが4パラメータアフィンである場合、構築されたアフィン動き予測子は、m ̄v ̄とm ̄v ̄の両方が確立されている場合、つまりm ̄v ̄とm ̄v ̄の場合にのみ候補リストに挿入される。現在のブロックの左上(座標(x0、y0))、右上(座標(x1、y1))の位置の推定CPMVとして使用される。
【0152】
- 現在のアフィンモーションモデルが6パラメータアフィンである場合、m ̄v ̄、m ̄v ̄、およびm ̄v ̄がすべて確立されている場合、つまりm ̄v ̄、m ̄v ̄、およびm ̄v ̄がすべて、現在のブロックの位置の左上(座標(x0、y0))、右上(座標(x1、y1))、および右下(座標(x2、y2))の推定CPMVとして使用される場合にのみ、構築されたアフィン動き予測子が候補リストに挿入される。
【0153】
構築されたアフィン動き予測子を候補リストに挿入する場合、プルーニング処理は適用されない。
【0154】
3) 通常のAMVP動き予測子
【0155】
アフィン動き予測子の数が最大に達するまで、以下が適用される。
1) 利用可能な場合は、すべてのCPMVをm ̄v ̄に等しく設定して、アフィン動き予測子を導出する。
2) 利用可能な場合は、すべてのCPMVをm ̄v ̄に等しく設定して、アフィン動き予測子を導出する。
3) 利用可能な場合は、すべてのCPMVをm ̄v ̄に設定して、アフィン動き予測子を導出する。
4) 利用可能な場合は、すべてのCPMVをHEVCTMVPに等しく設定することで、アフィン動き予測子を導出する。
5) すべてのCPMVをゼロMVに設定することによって、アフィン動き予測子を導出する。
【0156】
なお、m ̄v ̄は、構築されたアフィン動き予測子ですでに導出されている。
【0157】
図18Aは、4パラメータアフィンモデルの例を示す。図18Bは、6パラメータアフィンモデルの例を示す。
【0158】
図19は、継承されたアフィン候補のAF_INTERのMVPの例を示す。
【0159】
図20は、構築されたアフィン候補のAF_INTERのMVPの例を示す。
【0160】
AF_INTERモードにおいて、4/6パラメータアフィンモードが使用される場合、2/3個の制御点が必要であり、従って、図18に示すように、これらの制御点のために2/3個のMVDを符号化することが必要である。既存の実装形態において、MVを以下のように導出することが提案され、即ち、mvdおよびmvdはmvdから予測される。
【0161】
mv=m ̄v ̄+mvd
mv=m ̄v ̄+mvd+mvd
mv=m ̄v ̄+mvd+mvd
【0162】
ここで、m ̄v ̄、mvd、mvは、それぞれ、図18Bに示すように、左上の画素(i=0)、右上の画素(i=1)、左下の画素(i=2)の予測動きベクトル、動きベクトルの差分、動きベクトルである。なお、2つの動きベクトル(例えば、mvA(xA,yA)およびmvB(xB,yB))の加算は、2つのモジュールを別個に合計したものに等しく、即ち、newMV=mvA+mvBであり、newMVの2つのモジュールをそれぞれ(xA+xB)および(yA+yB)に設定する。
【0163】
2.3.3.3 AF_MERGEモード
【0164】
AF_MERGEモードでCUを適用する場合、CUは、有効な近傍の再構築ブロックから、アフィンモードで符号化された第1のブロックを得る。そして、候補ブロックの選択順は、図21AのABCDEの順に示すように、左、上、右上、左下から左上へとなる。例えば、隣接する左下のブロックが、図21B中のA0で示されるように、アフィンモードで符号化される場合、ブロックAを含む近傍のCU/PUの左上隅、右上隅、左下隅の制御点(CP)動きベクトルmv 、mv およびmv を取り出す。そして、mv 、mv およびmv に基づいて、現在のCU/PUにおける左上/右上/左下の動きベクトルmv 、mv およびmv (6パラメータアフィンモデルにのみ用いられる)を算出する。なお、VTM-2.0において、左上隅に位置するサブブロック(例えば、VTMにおける4×4ブロック)は、MV0を記憶し、右上隅に位置するサブブロックは、現在のブロックがアフィン符号化されている場合、mv1を記憶する。現在のブロックが6パラメータアフィンモデルで符号化されている場合、左下隅に位置するサブブロックはmv2を記憶し、そうでない場合(4パラメータアフィンモデルで)、LBはmv2’を記憶する。他のサブブロックは、MCに用いられるMVを記憶する。
【0165】
現在のCU mv0、mv1、mv2のCPMVを導出した後、簡易アフィン動きモデル式(1)、(2)にしたがって、現在のCUのMVFを生成する。現在のCUがAF_MERGEモードで符号化されているか否かを識別するために、アフィンモードで符号化された近傍のブロックが少なくとも1つある場合、ビットストリーム内にアフィンフラグを信号通知する。
【0166】
既存の実装形態において、アフィンマージ候補リストは、以下のステップを使用して構築される。
【0167】
1) 継承されたアフィン候補を挿入する
【0168】
継承されたアフィン候補は、その有効な近傍アフィン符号化ブロックのアフィン動きモデルからその候補を導出することを意味する。近傍のブロックのアフィン動きモデルから最大2つの継承されたアフィン候補を導出し、候補リストに挿入する。左側の予測子の場合、スキャン順序は{A0,A1}であり、上記の予測子の場合、スキャン順序は{B0,B1,B2}である。
【0169】
2) 構築されたアフィン候補を挿入する
【0170】
アフィンマージ候補リストにおける候補の数がMaxNumAffineCand未満である場合(例えば、5個)、構築されたアフィン候補を候補リストに挿入する。構築されたアフィン候補は、各制御点の近傍の動き情報を組み合わせることで候補を構築することを意味する。
【0171】
a) まず、図22に示される特定された空間的近傍および時間的近傍から、制御点の動き情報を導出する。CPk(k=1,2,3,4)は、k番目の制御点を表す。A0,A1、A2、B0、B1、B2、B3は、CPk(k=1,2,3)を予測するための空間的位置であり、Tは、CP4を予測するための時間的位置である。
CP1、CP2、CP3、CP4の座標は、それぞれ、(0、0)、(W、0)、(H、0)、(W、H)であり、W、Hは、現在のブロックの幅および高さである。
【0172】
各制御点の動き情報は、以下の優先順位に従って取得される。
- CP1の場合、チェックの優先順位はB2->B3->A2である。利用可能であれば、B2を使用する。そうではなく、B2が利用可能である場合、B3が使用される。B2とB3の両方が利用不可能である場合、A2が使用される。3つの候補のすべてが利用不可能である場合、CP1の動き情報を取得することができない。
- CP2の場合、チェックの優先順位はB1->B0である。
- CP3の場合、チェックの優先順位はA1->A0である。
- CP4にはTを用いる。
【0173】
b) 次に、アフィンマージ候補を構築するためにこれらの制御点の組み合わせを使用する。
I. 6パラメータアフィン候補を構築するためには、3つの制御点の動き情報が必要である。3つの制御点は、以下の4つの組み合わせ({CP1、CP2、CP4}、{CP1、CP2、CP3}、{CP2、CP3、CP4}、{CP1、CP3、CP4})のうち1つを選択することができる。{CP1,CP2,CP3},{CP2,CP3,CP4},{CP1,CP3,CP4}の組み合わせを、左上、右上、左下の制御点で表される6パラメータ動きモデルに変換する。
II. 4パラメータアフィン候補を構築するためには、2つの制御点の動き情報が必要である。2つの制御点は、2つの組み合わせ({CP1,CP2}、{CP1,CP3})の1つから選択されてもよい。この2つの組み合わせを、左上および右上の制御点で表される4パラメータ動きモデルに変換する。
III. 構築されたアフィン候補の組み合わせを以下の順に候補リストに挿入する。{CP1,CP2,CP3},{CP1,CP2,CP4},{CP1,CP3,CP4},{CP2,CP3,CP4},{CP1,CP2},{CP1,CP3}
i. 各組み合わせについて、各CPに対するリストXの参照インデックスをチェックし、それらがすべて同じである場合、このコンビネーションはリストXに対して有効なCPMVを有する。このコンビネーションがリスト0およびリスト1の両方に対して有効なCPMVを有していない場合、このコンビネーションは無効としてマークされる。そうでない場合、それは有効であり、CPMVはサブブロックマージリストに入れられる。
【0174】
3) 動きベクトルがゼロのパディング
【0175】
アフィンマージ候補リストにおける候補の数が5未満である場合、リストが一杯になるまで、参照インデックスがゼロのゼロ動きベクトルを候補リストに挿入する。
【0176】
具体的には、サブブロックマージ候補リストについて、MVが(0,0)に設定され、予測方向がリスト0(Pスライスの場合)から単一予測に設定される4パラメータマージ候補と、双予測(Bスライスの場合)とを行う。
【0177】
2.3.4 現在のピクチャの参照
【0178】
現在のピクチャ参照(CPR)とも呼ばれる、イントラブロックコピー(別名IBC、またはイントラピクチャブロック補償)は、HEVC画面内容符号化拡張(SCC)において採用された。このツールは、テキストおよびグラフィックスに富んだコンテンツにおける繰り返されるパターンが同じピクチャ内で頻繁に発生するという点で、スクリーンコンテンツ映像の符号化に非常に効率的である。同じまたは類似したパターンを有する、前述の再構築されたブロックを予測子として用いることは、予測誤差を効果的に低減し、従って符号化効率を改善することができる。図23に、ブロック内補償の一例を示す。
【0179】
HEVC SCC、VVCにおけるCRPの設計と同様に、IBCモードの使用は、シーケンスレベルおよびピクチャレベルの両方で信号通知される。シーケンスパラメータセット(SPS)においてIBCモードが有効にされる場合、それはピクチャレベルで有効にされることができる。IBCモードがピクチャレベルで有効にされる場合、現在の再構築ピクチャは参照ピクチャとして扱われる。従って、IBCモードの使用を合図するために、既存のVVCインターモードの上部では、ブロックレベルでの構文変更は必要とされない。
【0180】
主な特徴:
- それは通常のインターモードとして扱われる。そのため、IBCモードにおいても、マージモードおよびスキップモードが利用可能である。IBCモードまたはHEVCインターモードで符号化された近傍の位置からのマージ候補を含むマージ候補リスト構築を統一する。選択されたマージインデックスに基づいて、マージまたはスキップモード下の現在のブロックは、IBCモードで符号化された近傍にマージされるか、または異なるピクチャを参照ピクチャとして有する通常のインターモードで符号化される。
- IBCモードのためのブロックベクトル予測および符号化方式は、HEVCインターモード(AMVPおよびMVD符号化)における動きベクトル予測および符号化に使用される方式を再利用する。
- IBCモードのための動きベクトルは、ブロックベクトルとも呼ばれるが、整数画素精度で符号化されるが、補間およびデブロッキング段において1/4画素精度が必要とされるので、復号化の後、1/16画素精度でメモリに記憶される。IBCモードのための動きベクトル予測に使用される場合、記憶されたベクトル予測子は、4だけ右シフトされる。
- 検索範囲:現在のCTU内に制限される。
- アフィンモード/三角モード/GBI/重み付け予測が有効にされる場合、CPRは許可されない。
【0181】
2.3.5 VVCにおけるマージリスト設計
【0182】
VVCでサポートされる3つの異なるマージリスト構築処理がある。
【0183】
1) サブブロックマージ候補リスト:ATMVPおよびアフィンマージ候補を含む。1つのマージリスト構築処理は、アフィンモードおよびATMVPモードの両方に対して共有される。なお、ATMVPおよびアフィンマージ候補を順に追加してもよい。サブブロックマージリストのサイズはスライスヘッダで信号通知され、その最大値は5である。
【0184】
2) 単一予測TPMマージリスト:三角形予測モードの場合、2つの分割に対して1つのマージリスト構築処理を共有し、2つの分割が独自のマージ候補インデックスを選択してもよい。このマージリストを構築するとき、空間的に近傍のブロックとこのブロックの2つの時間的ブロックとをチェックする。空間的近傍および時間的ブロックから導出された動き情報を、本発明者らのIDFにおいて正規の動き候補と呼ぶ。これらの正規の動き候補をさらに利用して、複数のTPM候補を導出する。なお、この変換はブロックレベル全体で行われ、2つの分割においても、それら自身の予測ブロックを生成するために異なる動きベクトルを使用してもよい。
単一予測TPMマージリストサイズ5に固定される。
【0185】
3) 通常のマージリスト:残りの符号化ブロックについては、1つのマージリスト構築処理を共有する。空間的/時間的/HMVP、ペアワイズ合成双予測マージ候補、および動きゼロ候補を順に挿入してもよい。通常のマージリストのサイズはスライスヘッダに信号通知され、その最大値は6である。
【0186】
2.3.5.1 サブブロックマージ候補リスト
【0187】
なお、非サブブロックマージ候補の通常マージリストに加え、すべてのサブブロック関連の動き候補を別個のマージリストに入れることが推薦される。
【0188】
サブブロック関連動き候補を別個のマージリストに入れ、「sub-blockマージ候補リスト」とする。
【0189】
一例において、サブブロックマージ候補リストは、アフィンマージ候補、ATMVP候補、および/またはサブブロックに基づくSTMVP候補を含む。
【0190】
2.3.5.1.1 別のATMVP実施形態
【0191】
この寄与において、通常マージリストにおけるATMVPマージ候補をアフィンマージリストの第1の位置に移動させる。新しいリストにおけるすべてのマージ候補(すなわち、サブブロックに基づくマージ候補リスト)は、サブブロック符号化ツールに基づく。
【0192】
2.3.5.1.2 VTM-3.0のATMVP
【0193】
VTM-3.0において、通常のマージ候補リストの他に、サブブロックマージ候補リスト(別名、アフィンマージ候補リスト)と呼ばれる特殊なマージ候補リストを加える。サブブロックマージ候補リストは、以下の順に候補を満たす。
b. ATMVP候補(利用可能でも、または利用不可能でもよい)
c. 継承されたアフィン候補
d. 構築されたアフィン候補
e. ゼロMV4パラメータアフィンモデルとしてのパディング
【0194】
サブブロックマージ候補リストにおける候補の最大数(MLとする)は、以下のように導出する。
1) ATMVP使用フラグ(例えば、フラグに「sps_sbTMVp_enabled_flag」という名前を付けてもよい)がオン(1に等しい)であるが、アフィン使用フラグ(例えば、フラグに「sps_affine_enabled_flag」という名前を付けることができる)がオフ(0に等しい)の場合、次に、MLは1に設定される。
2) ATMVP使用フラグがオフ(0に等しい)であり、かつアフィン使用フラグがオフ(0に等しい)である場合、MLは0に等しく設定される。この場合、サブブロックマージ候補リストは用いられない。
3) そうでない場合(アフィン使用フラグがオン(1に等しい)、ATMVP使用フラグがオンまたはオフ)、エンコーダからデコーダにMLが信号通知される。有効なMLは0<=ML<=5である。
【0195】
サブブロックマージ候補リストを構築する場合、まず、ATMVP候補をチェックする。以下の条件のいずれか1つが真である場合、ATMVP候補をスキップし、サブブロックマージ候補リストに入れない。
1) ATMVP使用フラグがOFFになっている。
2) TMVP使用フラグ(例えば、スライスレベルで信号通知された場合、フラグは「slice_temporal_mvp_enabled_flag」と名付けられる場合がある)はオフである。
3) 参照リスト0における参照インデックス0を有する参照ピクチャは、現在のピクチャと同じである(CPRである)。
【0196】
VTM-3.0におけるATMVPは、JEMにおけるATMVPよりもずっとシンプルである。ATMVPマージ候補を生成する場合、以下の処理が適用される。
a. 図22に示すように、近傍のブロックA1、B1、B0、A0をチェックして、ブロックXとして示される、インターコードされているがCPRコードされていない第1のブロックを見出す。
b. TMV=(0,0)を初期化する。ブロックXに1つのMV(MV’と表記される)がある場合、(スライスヘッダに信号通知されたら)コロケーションされた参照ピクチャを参照し、TMVをMV’に等しく設定する。
c. 現在のブロックの中心点を(x0,y0)とし、次に、コロケーションされたピクチャにおける(x0,y0)の対応する位置をM=(x0+MV’x,y0+MV’y)として配置する。Mを含むブロックZを見つける。
i. Zがイントラ符号化されている場合、ATMVPは利用できない。
ii. Zがインター符号化されている場合、ブロックZの2つのリストのMVZ_0とMVZ_1は、MVdefault0、MVdefault1として(Reflist0 index0)と(Reflist1 index0)にスケーリングされ、記憶される。
d. 各8×8サブブロックに対して、その中心点が(x0S,y0S)であると仮定し、次に、コロケーションされたピクチャにおける(x0S,y0S)の対応する位置をMS=(x0S+MV’x,y0S+MV’y)として位置指定する。MSを含むブロックZSを見つける。
i. ZSがイントラ符号化されている場合、MVdefault0、MVdefault1がサブブロックに割り当てられる。
ii. ZSがインター符号化されている場合、ブロックZSの2つのリストのMVZS_0とMVZS_1は、(Reflist0 index0)と(Reflist1 index0)にスケーリングされ、サブブロックに割り当てられる。
【0197】
ATMVPでのMVクリッピングとマスキング:
【0198】
コロケーションされたピクチャにおいて、MまたはMS等の対応する位置を規定する場合、所定の領域内にあるようにクリッピングされる。CTUのサイズは、VTM-3.0においてS×S、S=128である。コロケーションされたCTUの左上の位置が(xCTU,yCTU)であるとすると、対応する位置MまたはMSの(xN,yN)における位置は、有効領域xCTU<=xN<xCTU+S+4;yCTU<=yN<yCTU+Sにクリッピングされる。
【0199】
クリッピングの他に、(xN,yN)もまた、xN=xN&MASK,yN=yN&MASKとしてマスクされ、ここで、MASKは、~(2-1)に等しい整数であり、N=3であり、最低3ビットを0に設定する。よって、xNおよびyNは、8の倍数でなければならない。(“~”はビット単位の補数演算子を表する。)
【0200】
図24は、コロケーションされたピクチャにおける有効な対応する領域の例を示す。
【0201】
2.3.5.1.3 スライスヘッダにおける構文設計
【0202】
【表3】
【0203】
2.3.5.2 通常マージリスト
【0204】
マージリストの設計とは異なり、VVCでは、履歴に基づく動きベクトル予測(HMVP)法が採用されている。
【0205】
HMVPには、前述の符号化された動き情報が記憶される。前述の符号化されたブロックの動き情報をHMVP候補と定義する。複数のHMVP候補をHMVPテーブルと呼ばれるテーブルに記憶し、このテーブルは符号化/復号化処理中、オンザフライで維持される。新しいスライスの符号化/復号化を開始するとき、HMVPテーブルは空になる。インターコーディングされたブロックがあるときはいつでも、関連する動き情報を新しいHMVP候補としてテーブルの最後のエントリに加える。全体の符号化フローを図25に示す。
【0206】
HMVP候補は、AMVPおよびマージ候補リスト構築処理の両方に用いることができる。図26は、修正されたマージ候補リスト構築処理(青色で強調表示)を示す。TMVP候補を挿入した後、マージ候補リストが満杯でない場合、HMVPテーブルに記憶されたHMVP候補を利用してマージ候補リストに記入することができる。1つのブロックは、通常、動き情報の観点から、最も近接した近傍のブロックとの間に高い相関を有することを考慮し、テーブルにおけるHMVP候補をインデックスの降順に挿入する。テーブルの最後のエントリをまずリストに加え、最後に第1のエントリを加える。同様に、HMVP候補に対して冗長性除去が適用される。利用可能なマージ候補の総数がマージ可能なマージ候補の信号通知可能な最大数に達すると、マージ候補リスト構築処理を終了する。
【0207】
2.4 MVの四捨五入
【0208】
VVCにおいて、MVが右シフトしている場合、MVを0に向かって丸めるように求める。定式化した形で、MV(MVx,MVy)をNビット右シフトすると、結果MV‘(MVx’,MVy’)は、以下のように導出する。
【0209】
MVx’=(MVx+((1<<N)>>1)-(MV_x>=0?1:0))>>N;
【0210】
MVy’=(MVy+((1<<N)>>1)-(MVy>=0?1:0))>>N;
【0211】
2.5 参照ピクチャ再サンプリング(RPR)の実施形態
【0212】
ARC、別名、参照ピクチャ再サンプリング(RPR)は、既存のおよび今後の映像規格に組み込まれている。
【0213】
RPRのいくつかの実施形態において、コロケーションされたピクチャが現在のピクチャと異なる解像度を有する場合、TMVPは無効にされる。また、参照ピクチャの解像度が現在のピクチャと異なる場合、BDOFおよびDMVRは無効にされる。
【0214】
参照ピクチャの解像度が現在のピクチャの解像度と異なる場合、通常のMCを扱うために、補間セクションは、以下のように定義される。
【0215】
8.5.6.3 端数サンプル補間処理
【0216】
8.5.6.3.1 概説
【0217】
この処理への入力は以下の通りである。
【0218】
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化サブブロックの左上のサンプルを規定する輝度位置(xSb,ySb)
- 現在の符号化サブブロックの幅を規定する変数sbWidth、
- 現在の符号化サブブロックの高さを規定する変数sbHeight、
- 動きベクトルオフセットmvOffset、
- 微調整された動きベクトルrefMvLX、
- 選択された参照ピクチャサンプル配列refPicLX、
- 1/2サンプル補間フィルタインデックスhpelIfIdx、
- 双方向オプティカルフローフラグbdofFlag、
- 現在のブロックの色成分インデックスを規定する変数cIdx。
【0219】
この処理の出力は以下の通りである。
- 予測サンプル値の(sbWidth+brdExtSize)x(sbHeight+brdExtSize)配列predSamplesLX。
【0220】
予測ブロック境界拡大サイズbrdExtSizeは、以下のように導出する。
brdExtSize=(bdofFlag||(inter_affine_flag[xSb][ySb] && sps_affine_prof_enabled_flag))?2:0 (8-752)
【0221】
変数fRefWidthは、輝度サンプルにおける参照ピクチャのPicOutputWidthLに等しく設定される。
【0222】
変数fRefHeightは、輝度サンプルにおける参照ピクチャのPicOutputHeightLに等しく設定される。
【0223】
動きベクトルmvLXは、(refMvLX-mvOffset)に等しく設定される。
- cIdxが0に等しい場合、以下が適用される。
- スケーリングファクタおよびその固定小数点表現は、以下のように定義される。
hori_scale_fp=((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL (8-753)
vert_scale_fp=((fRefHeight<<14)+(PicOutputHeightL>>1))/PicOutputHeightL (8-754)
- (xIntL,yIntL)をフルサンプルユニットで与えられた輝度位置とし、(xFracL,yFracL)を1/16サンプル単位で与えられたオフセットとする。これらの変数は、本項でのみ、参照サンプル配列refPicLX内の端数サンプル位置を規定するために使用される。
- 参照サンプルパディング用バウンディングブロック(xSbInt,ySbInt)の左上座標を、(xSb+(mvLX[0]>>4),ySb+(mvLX[1]>>4))に等しく設定する。
- 予測輝度サンプル配列predSamplesLX内の各輝度サンプル位置(x=0..sbWidth-1+brdExtSize,y=0..sbHeight-1+brdExtSize)について、対応する予測輝度サンプル値predSamplesLX[x][y]は下記のように導出する。
- (refxSb,refySb)および(refx,refy)を、1/16サンプル単位で与えられる動きベクトル(refMvLX[0],refMvLX[1])が指す輝度位置とする。変数refxSb、refx、refySb、refyは、以下のように導出する。
refxSb=((xSb<<4)+refMvLX[0])*hori_scale_fp (8-755)
refx=((Sign(refxSb)*((Abs(refxSb)+128)>>8)+x*((hori_scale_fp+8)>>4))+32)>>6 (8-756)
refySb=((ySb<<4)+refMvLX[1])*vert_scale_fp (8-757)
refyL=((Sign(refySb)*((Abs(refySb)+128)>>8)+yL*((vert_scale_fp+8)>>4))+32)>>6
(8-758)
- 変数xInt、yInt、xFrac、およびyFracは、以下のように導出する。
xInt=refx>>4 (8-759)
yInt=refy>>4 (8-760)
xFrac=refx&15 (8-761)
yFrac=refy&15 (8-762)
- bdofFlagがTRUEに等しいか(sps_affine_prof_enabled_flagがTRUEに等しく、inter_affine_flag[xSb][ySb]がTRUEに等しい)、次の条件の1つ以上が真である場合、予測輝度サンプル値predSamplesLX[x][y]は、8.5.6.3.3項で規定されているように、入力として(xInt+(xFrac>>3)-1),yInt+(yFrac>>3)-1)およびrefPicLXを使用して輝度整数サンプル取り出し処理を呼び出すことによって導出する。
1. xは0に等しい。
2. xは、sbWidth+1に等しい。
3. yは0に等しい。
4. yは、sbHeight+1に等しい。
- そうでない場合、8.5.6.3.2項で規定されるように、(xIntL-(brdExtSize>0?1:0),yIntL-(brdExtSize>0?1:0))、(xFracL,yFracL)、(xSbInt,ySbInt)、refPicLX、hpelIfIdx、sbWidth、sbHeight、および(xSb,ySb)を入力として、輝度サンプル8タップ補間フィルタリング処理を呼び出すことによって、予測輝度サンプル値predSamplesLX[xL][yL]を導出する。
- そうでない場合(cIdxが0に等しくない)、以下が適用される。
- (xIntC,yIntC)をフルサンプルユニットで与えられたクロマ位置とし、(xFracC,yFracC)を1/32サンプル単位で与えられたオフセットとする。これらの変数は、本項でのみ、参照サンプル配列refPicLX内の一般的な端数サンプルの位置を規定するために使用される。
- 参照サンプルパディング用バウンディングブロック(xSbIntC,ySbIntC)の左上座標は、((xSb/SubWidthC)+(mvLX[0]>>5),(ySb/SubHeightC)+(mvLX[1]>>5))に等しく設定される。
- 予測クロマサンプル配列predSamplesLX内の各クロマサンプル位置(xC=0..sbWidth-1,yC=0..sbHeight-1)について、対応する予測クロマサンプル値predSamplesLX[xC][yC]は、以下のように導出する。
- (refxSb,refySb)および(refx,refy)を、1/32サンプル単位で与えられる動きベクトル(mvLX[0],mvLX[1])が指すクロマ位置とする。変数refxSb、refySb、refx、refyは、以下のように導出する。
refxSb=((xSb/SubWidthC<<5)+mvLX[0])*hori_scale_fp (8-763)
refx=((Sign(refxSb)*((Abs(refxSb)+256)>>9)+xC*((hori_scale_fp+8)>>4))+16)>>5 (8-764)
refySb=((ySb/SubHeightC<<5)+mvLX[1])*vert_scale_fp (8-765)
refyC=((Sign(refySb)*((Abs(refySb)+256)>>9)+yC*((vert_scale_fp+8)>>4))+16)>>5 (8-766)
- 変数xInt、yInt、xFrac、yFracは、以下のように導出する。
xInt=refx>>5 (8-767)
yInt=refy>>5 (8-768)
xFrac=refy&31 (8-769)
yFrac=refy&31 (8-770)
- 予測サンプル値predSamplesLX[xC][yC]は、(xIntC,yIntC),(xFracC,yFracC),(xSbIntC,ySbIntC),sbWidth,sbHeight、およびrefPicLXを入力として、8.5.6.3.4項で指定した処理を呼び出すことによって導出される。
【0224】
8.5.6.3.2 輝度サンプル補間フィルタリング処理
【0225】
この処理への入力は以下の通りである。
- フルサンプルユニット(xInt,yInt)における輝度位置、
- 端数サンプル単位での輝度位置(xFrac,yFrac)、
- 参照ピクチャの左上の輝度サンプルに対する参照サンプルのパディングのための境界ブロックの左上のサンプルを規定する、フルサンプルユニット(xSbInt,ySbInt)における輝度位置、
- 輝度参照サンプル配列refPicLX
- 1/2サンプル補間フィルタインデックスhpelIfIdx、
- 現在のサブブロックの幅を規定する変数sbWidth、
- 現在のサブブロックの高さを規定する変数sbHeight、
- 現在のピクチャの左上の輝度サンプルに対する現在のサブブロックの左上のサンプルを規定する輝度位置(xSb,ySb)、
【0226】
この処理の出力は、予測輝度サンプル値predSampleLXである。
【0227】
変数shift1、shift2、およびshift3は、以下のように導出する。
- 変数shift1をMin(4,BitDepth_8)に等しく設定し、変数shift2を6に等しく設定し、変数shift3をMax(2,14-BitDepth)に等しく設定する。
- 変数picWはpic_width_in_luma_samplesに等しく設定され、変数picHはpic_height_in_luma_samplesに等しく設定される。
【0228】
xFracまたはyFracに等しい各1/16端数サンプル位置pに対する輝度補間フィルタ係数f[p]は、以下のように導出する。
- MotionModelIdc[xSb][ySb]が0より大きく、sbWidthおよびsbHeightがともに4に等しい場合、輝度補間フィルタ係数f[p]を表8-12で指定する。
- そうでない場合、hpelIfIdxに基づいて輝度補間フィルタ係数f[p]を表8-11で指定する。
【0229】
i=0..7の場合、フルサンプルユニット(xInt,yInt)における輝度位置は、以下のように導出する。
- subpic_treated_as_pic_flag[SubPicIdx]が1に等しい場合、以下が適用される。
xInt=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,xInt+i-3) (8-771)
yInt=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,yInt+i-3) (8-772)
- それ以外の場合(subpic_treated_as_pic_flag[SubPicIdx]が0に等しい)、以下が適用される。
xInt=Clip3(0,picW-1,sps_ref_wraparound_enabled_flag?
ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xInt+i-3): (8-773)
xInt+i-3)
yInt=Clip3(0,picH-1,yInt+i-3) (8-774)
【0230】
i=0..7の場合、フルサンプルユニットにおける輝度位置は、以下のようにさらに修正される。
xInt=Clip3(xSbInt-3,xSbInt+sbWidth+4,xInt) (8-775)
yInt=Clip3(ySbInt-3,ySbInt+sbHeight+4,yInt) (8-776)
【0231】
予測輝度サンプル値predSampleLXは、以下のように導出する。
- 両方のxFracおよびyFracが0に等しい場合、predSampleLXの値は、以下のように導出する。
predSampleLX=refPicLX[xInt][yInt]<<shift3 (8-777)
- そうではなく、xFracが0に等しくなく、yFracが0に等しい場合は、predSampleLXの値は、以下のように導出する。
predSampleLX=(Σ i=0[xFrac][i]*refPicLX[xInt][yInt])>>shift1 (8-778)
- そうではなく、xFracが0に等しく、yFracが0に等しくない場合、predSampleLXの値は、以下のように導出する。
predSampleLX=(Σ i=0[yFrac][i]*refPicLX[xInt][yInt])>>shift1 (8-779)
- そうではなく、xFracが0に等しくなく、yFracが0に等しくない場合、predSampleLXの値は、以下のように導出する。
- n=0..7のサンプル配列temp[n]は、以下のように導出する。
temp[n]=(Σ i=0[xFrac][i]*refPicLX[xInt][yInt])>>shift1 (8-780)
- 予測輝度サンプル値predSampleLXは、以下のように導出する。
predSampleLX=(Σ i=0[yFrac][i]*temp[i])>>shift2 (8-781)
【0232】
【表4】
【0233】
【表5】
【0234】
8.5.6.3.3 輝度整数サンプル取り出し処理
【0235】
この処理への入力は以下の通りである。
- フルサンプルユニット(xInt,yInt)における輝度位置、
- 輝度参照サンプル配列refPicLX
【0236】
この処理の出力は、予測輝度サンプル値predSampleLXである。
この変数shiftは、Max(2,14-BitDepth)に等しく設定される。
変数picWはpic_width_in_luma_samplesに等しく設定され、変数picHはpic_height_in_luma_samplesに等しく設定される。
【0237】
フルサンプルユニット(xInt,yInt)における輝度位置は、以下のように導出する。
xInt=Clip3(0,picW-1,sps_ref_wraparound_enabled_flag?
ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xInt):xInt)(8-782)
yInt=Clip3(0,picH-1,yInt) (8-783)
【0238】
予測輝度サンプル値predSampleLXは、以下のように導出する。
predSampleLX=refPicLX[xInt][yInt]<<shift3 (8-784)
【0239】
8.5.6.3.4 クロマサンプル補間処理
【0240】
この処理への入力は以下の通りである。
- フルサンプルユニット(xInt,yInt)におけるクロマ位置、
- 1/32の端数サンプル単位でのクロマ位置(xFrac,yFrac)、
- 参照ピクチャの左上のクロマサンプルに対する参照サンプルパディングのための境界ブロックの左上のサンプルを規定する、フルサンプルユニット(xSbIntC,ySbIntC)におけるクロマ位置、
- 現在のサブブロックの幅を規定する変数sbWidth、
- 現在のサブブロックの高さを規定する変数sbHeight、
- クロマ参照サンプル配列refPicLX
【0241】
この処理の出力は、予測クロマサンプル値predSampleLXである。
【0242】
変数shift1、shift2、およびshift3は、以下のように導出する。
- 変数shift1をMin(4,BitDepth-8に等しく設定し、変数shift2を6に等しく設定し、変数shift3をMax(2,14-BitDepth)に等しく設定する。
- 変数picWはpic_width_in_luma_samples/SubWidthCに等しく設定され、変数picHはpic_height_in_luma_samples/SubHeightCに等しく設定される。
【0243】
表8-13に、xFracまたはyFracに等しい各1/32端数サンプル位置pのクロマ補間フィルタ係数f[p]を示す。
【0244】
変数xOffsetは、(sps_ref_wraparound_offset_minus1+1)*MinCbSizeY)/SubWidthCに等しく設定される。
【0245】
i=0..3の場合、フルサンプルユニット(xInt,yInt)におけるクロマ位置は、以下のように導出する。
- subpic_treated_as_pic_flag[SubPicIdx]が1に等しい場合、以下が適用される。
xInt=Clip3(SubPicLeftBoundaryPos/SubWidthC,SubPicRightBoundaryPos/SubWidthC,xInt+i) (8-785)
yInt=Clip3(SubPicTopBoundaryPos/SubHeightC,SubPicBotBoundaryPos/SubHeightC,yInt+i) (8-786)
- それ以外の場合(subpic_treated_as_pic_flag[SubPicIdx]が0に等しい)、以下が適用される。
xInt=Clip3(0,picW-1,sps_ref_wraparound_enabled_flag?ClipH(xOffset,picW,xInt+i-1): (8-787)
xInt+i-1)
yInt=Clip3(0,picH-1,yInt+i-1) (8-788)
【0246】
フルサンプルユニット(xInt,yInt)におけるクロマ位置は、i=0..3の場合、以下のようにさらに修正される。
xInt=Clip3(xSbIntC-1,xSbIntC+sbWidth+2,xInt) (8-789)
yInt=Clip3(ySbIntC-1,ySbIntC+sbHeight+2,yInt) (8-790)
【0247】
予測クロマサンプル値predSampleLXは、以下のように導出する。
- xFracおよびyFracの両方が0に等しい場合、predSampleLXの値は、以下のように導出する。
predSampleLX=refPicLX[xInt][yInt]<<shift3 (8-791)
- そうではなく、xFracが0に等しくなく、yFracが0に等しい場合、predSampleLXの値は、以下のように導出する。
predSampleLX=(Σ i=0[xFrac][i]*refPicLX[xInt][yInt])>>shift1 (8-792)
- そうではなく、xFracが0に等しく、yFracが0に等しくない場合、predSampleLXの値は、以下のように導出する。
predSampleLXC=(Σ i=0[yFrac][i]*refPicLX[xInt][yInt])>>shift1 (8-793)
- そうではなく、xFracが0に等しくなく、yFracが0に等しくない場合、predSampleLXの値は、以下のように導出する。
- n=0..3のサンプル配列temp[n]は、以下のように導出する。
temp[n]=(Σ i=0[xFrac][i]*refPicLX[xInt][yInt])>>shift1 (8-794)
- 予測クロマサンプル値predSampleLXは、以下のように導出する。
predSampleLX=(f[yFrac][0]*temp[0]+f[yFrac][1]*temp[1]+f[yFrac][2]*temp[2]+ (8-795)
[yFrac][3]*temp[3])>>shift2
【0248】
【表6】

【表7】
【0249】
2.6 サブピクチャを用いる実施形態
【0250】
既存の実装形態におけるサブピクチャの現在の構文設計では、サブピクチャの位置および寸法は、以下のように導出する。
【0251】
【表8】
【0252】
subpics_present_flagが1の場合、SPSRBSP構文の現在にサブピクチャパラメータが存在することを示す。subpics_present_flagが0の場合、SPSRBSP構文の現在にサブピクチャパラメータが存在しないことを示す。
注2-ビットストリームがサブビットストリーム抽出処理の結果であり、サブビットストリーム抽出処理への入力ビットストリームのサブピクチャのサブセットのみが含まれている場合、SPSのRBSPでsubpics_present_flagの値を1に設定する必要がある場合がある。
【0253】
max_subpics_minus1 plus1は、CVSに存在し得るサブピクチャの最大数を規定する。max_subpics_minus1は、0から254の範囲でなければならない。255の値は、将来ITU-T|ISO/IECによる使用に対して予定しておく。
【0254】
subpic_grid_col_width_minus1 plus1は、サブピクチャ識別子グリッドの各要素の幅を4サンプル単位で規定する。構文要素の長さはCeil(Log2(pic_width_max_in_luma_samples/4))ビットである。
【0255】
変数NumSubPicGridColsは、以下のように導出する。
NumSubPicGridCols=(pic_width_max_in_luma_samples+subpic_grid_col_width_minus1*4+3)/
(subpic_grid_col_width_minus1*4+4) (7-5)
【0256】
subpic_grid_row_height_minus1 plus1は、サブピクチャ識別子グリッドの各要素の高さを4サンプル単位で指定する。構文要素の長さはCeil(Log2(pic_height_max_in_luma_samples/4))bitsビットである。
【0257】
変数NumSubPicGridRowsは、以下のように導出する。
NumSubPicGridRows=(pic_height_max_in_luma_samples+subpic_grid_row_height_minus1*4+3)/
(subpic_grid_row_height_minus1*4+4) (7-6)
【0258】
subpic_grid_idx[i][j]は、グリッド位置(i、j)のサブピクチャインデックスを規定する。構文要素の長さはCeil(Log2(max_subpics_minus1+1))ビットである。
【0259】
変数SubPicTop[subpic_grid_idx[i][j]]、SubPicLeft[subpic_grid_idx[i][j]]、SubPicWidth[subpic_grid_idx[i][j]]、SubPicHeight[subpic_grid_idx[i][j]]、およびNumSubPicsは次のように導出する。
【0260】
NumSubPics=0
for(i=0;i.<NumSubPicGridRows;i++){
for(j=0;j<NumSubPicGridCols;j++){
if(i==0)
SubPicTop[subpic_grid_idx[i][j]]=0
else if(subpic_grid_idx[i][j]!=subpic_grid_idx[i-1][j]){
SubPicTop[subpic_grid_idx[i][j]]=i
SubPicHeight[subpic_grid_idx[i-1][j]]=i-SubPicTop[subpic_grid_idx[i-1][j]]

if(j==0)
SubPicLeft[subpic_grid_idx[i][j]]=0 (7-7)
else if(subpic_grid_idx[i][j]!=subpic_grid_idx[i][j-1]){
SubPicLeft[subpic_grid_idx[i][j]]=j
SubPicWidth[subpic_grid_idx[i][j]]=j-SubPicLeft[subpic_grid_idx[i][j-1]]

if(i==NumSubPicGridRows-1)
SubPicHeight[subpic_grid_idx[i][j]]=i-SubPicTop[subpic_grid_idx[i-1][j]]+1 if(j==NumSubPicGridRows-1)
SubPicWidth[subpic_grid_idx[i][j]]=j-SubPicLeft[subpic_grid_idx[i][j-1]]+1
if(subpic_grid_idx[i][j]>NumSubPics)
NumSubPics=subpic_grid_idx[i][j]

【0261】
subpic_treated_as_pic_flag[i]が1の場合、CVS内の各コード化ピクチャのi番目のサブピクチャが、ループ内フィルタリング操作を除いて、復号化処理でピクチャとして扱われることを規定する。subpic_treated_as_pic_flag[i]が0の場合、CVS内の各コード化ピクチャのi番目のサブピクチャが、ループ内フィルタリング操作を除いて、復号化処理でピクチャとして扱われないことを規定する。存在しない場合は、subpic_treated_as_pic_flag[i]の値は0に等しいと推測される。
【0262】
2.7 インターイントラ結合予測(CIIP)
【0263】
インターイントラ結合予測は、特殊マージ候補として、CIIP(Combined Inter-Intra Prediction)をVVCに採用する。これは、W<=64 and H<=64のWxHブロックに対してのみ有効にすることができる。
【0264】
3. 既存の実装形態の欠点
【0265】
現在のVVCの設計において、ATMVPには以下のような問題がある。
1) ATMVPを適用するかどうかが、スライスレベルとCUレベルで不整合である。
2) スライスヘッダにおいて、TMVPが無効にされてもATMVPは有効としてもよい。一方、TMVPフラグの前にATMVPフラグを信号通知する。
3) マスキングは、MVが圧縮されているかどうかを考慮せずに、常に行われる。
4) 有効な対応する領域が大き過ぎてもよい。
5) TMVの導出は非常に複雑である。
6) ATMVPが利用できなくてもよい、より優れたデフォルトMVが望ましい。
7) ATMVPにおけるMVスケーリング方法は、効率的でなくてもよい。
8) ATMVPはCPR症例を考慮すべきである。
9) アフィン予測が無効にされても、デフォルトの0アフィンマージ候補をリストに含めてもよい。
10) 現在のピクチャは長期参照ピクチャとして扱われ、他のピクチャは短期参照ピクチャとして扱われる。ATMVP候補およびTMVP候補の両方について、コロケーションされたピクチャにおける時間的ブロックからの動き情報は、固定された参照インデックスを有する参照ピクチャにスケーリングされる(即ち、現在の設計における各参照ピクチャリストに対して0)。しかしながら、CPRモードが有効にされると、現在のピクチャはまた参照ピクチャとして扱われ、現在のピクチャは、0に等しいインデックスを有する参照ピクチャリスト0(RefPicList0)に追加してもよい。
a. TMVPにおいて、時間的ブロックがCPRモードで符号化され、RefPicList0の参照ピクチャが短い参照ピクチャである場合、TMVP候補は利用不可能に設定される。
b. インデックスが0のRefPicList0の参照ピクチャが現在のピクチャであり、現在のピクチャがイントラランダムアクセスポイント(IRAP)ピクチャである場合、ATMVP候補は利用不可能に設定される。
c. 1つのブロック内のATMVPサブブロックの場合、1つの時間的ブロックからサブブロックの動き情報を導出する時に、この時間的ブロックがCPRモードで符号化されている場合、このサブブロックの動き情報を埋めるために、デフォルトのATMVP候補(開始TMVと現在のブロックの中心位置とによって特定される1つの時間的ブロックから導出する)が使用される。
11) MVは整数精度に右シフトされるが、VVCにおける丸め規則に従わない。
12) ATMVPにおいて、異なるピクチャにおける対応するブロックの位置を規定するために用いられるMV(MVx,MVy)(例えば、TMVが0)は、コロケーションされたピクチャを指すため、そのまま用いられる。これは、すべてのピクチャが同じ解像度であるという仮定に基づく。しかしながら、RPRが有効にされる場合、異なるピクチャ解像度を利用してもよい。サブブロック動き情報を導出するために、コロケーションされたピクチャにおける対応するブロックを識別することに関しても、同様の問題が存在する。
13) 1つのブロックの幅または高さが32より大きく、CIIP符号化ブロックに対して最大変換ブロックのサイズが32である場合、CUサイズでイントラ予測信号を生成し、一方、インター予測信号は、TUサイズで生成する(現在のブロックを複数の32×32ブロックに再帰的に分割する)。CUを使用してイントラ予測信号を導出することは、より低い効率をもたらす。
【0266】
現在の設計には問題がある。第1に、インデックスが0であるRefPicList0の参照ピクチャが現在のピクチャであり、現在のピクチャがIRAPピクチャでない場合、ATMVP手続きが依然として呼び出されるが、いずれの時間的動きベクトルも現在のピクチャに合わせてスケーリングすることができないので、ATMVP手続きは利用可能なATMVP候補を見つけることができなかった。
【0267】
4. 実施形態および技術の例
【0268】
以下の技術および実施形態のリストは、一般的な概念を説明するための例と見なされるべきである。これらの技術は狭い意味で解釈されるべきではない。さらに、これらの技術は、エンコーダまたはデコーダの実施形態において任意の方法で組み合わせることができる。
【0269】
1. TMVPが許可されるかどうか、および/またはCPRが使用されるかどうかは、サブブロックマージ候補リストにおける候補の最大数を判定/構文解析するため、および/またはATMVP候補を候補リストに加えるべきかどうかを判定するために考慮されるべきである。サブブロックマージ候補リストにおける最大数をMLとする。
a) 一例において、ATMVPは、サブブロックマージ候補リストにおける候補の最大数の判定または構文解析において、ATMVP使用フラグがオフ(0に等しい)であるか、またはTMVPが無効にされている場合、適用不可能であると推測される。
i. 一例において、ATMVP使用フラグがオン(1に等しい)であり、TMVPが無効にされている場合、ATMVP候補は、サブブロックマージ候補リストまたはATMVP候補リストに追加されない。
ii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、TMVPが無効にされており、且つアフィン使用フラグがオフ(0に等しい)である場合、MLが0に等しく設定され、これは、サブブロックマージが適用可能でないことを意味する。
iii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、TMVPが有効とされ、アフィン使用フラグがオフ(0に等しい)である場合、MLが1に等しく設定される。
b) 一例において、ATMVPは、ATMVP使用フラグがオフ(0に等しい)であるか、または現在のピクチャのコロケーションされた参照ピクチャが現在のピクチャ自体である場合、サブブロックマージ候補リストにおける候補の最大数を判定または構文解析する時に、適用可能でないと推測される。
i. 一例において、ATMVP使用フラグがオン(1に等しい)であり、現在のピクチャのコロケーションされた参照ピクチャが現在のピクチャそのものである場合、ATMVP候補は、サブブロックマージ候補リストまたはATMVP候補リストに追加されない。
ii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、現在のピクチャのコロケーションされた参照ピクチャが現在のピクチャそのものであり、アフィン使用フラグがオフ(0に等しい)である場合、MLが0に等しく設定され、これは、サブブロックマージが適用可能でないことを意味する。
iii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、現在のピクチャのコロケーションされた参照ピクチャが現在のピクチャそのものでなく、アフィン使用フラグがオフ(0に等しい)である場合、MLは1に等しく設定される。
c) 一例において、ATMVP使用フラグがオフ(0に等しい)であるか、または参照リスト0における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャそのものである場合、ATMVPは、サブブロックマージ候補リストにおける候補の最大数を判定または構文解析する時に、適用可能でないと推測される。
i. 一例において、ATMVP使用フラグがオン(1に等しい)であり、参照リスト0における参照ピクチャインデックス0を有するコロケーションされた参照ピクチャは、現在のピクチャそのものであり、ATMVP候補は、サブブロックマージ候補リストまたはATMVP候補リストに追加されない。
ii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、参照リスト0における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャそのものであり、且つアフィン使用フラグがオフ(0に等しい)である場合、MLが0に等しく設定され、これは、サブブロックマージが適用可能でないことを意味する。
iii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、参照リスト0における参照ピクチャインデックス0を有する参照ピクチャは、現在のピクチャそのものではなく、アフィン使用フラグがオフ(0に等しい)である場合、MLは1に等しく設定される。
d) 一例において、ATMVP使用フラグがオフ(0に等しい)であるか、または参照リスト1における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャそのものである場合、ATMVPは、サブブロックマージ候補リストにおける候補の最大数を判定または構文解析する時に、適用可能でないと推測される。
i. 一例において、ATMVP使用フラグがオン(1に等しい)であり、参照リスト1における参照ピクチャインデックス0を有するコロケーションされた参照ピクチャは、現在のピクチャそのものであり、ATMVP候補は、サブブロックマージ候補リストまたはATMVP候補リストに追加されない。
ii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、参照リスト1における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャそのものであり、且つアフィン使用フラグがオフ(0に等しい)である場合、MLが0に等しく設定され、これは、サブブロックマージが適用可能でないことを意味する。
iii. 一例において、ATMVP使用フラグがオン(1に等しい)であり、参照リスト1における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャそのものでなく、アフィン使用フラグがオフ(0に等しい)である場合、MLは1に等しく設定される。
【0270】
2. TMVPがスライス/タイル/ピクチャレベルで無効にされている場合、ATMVPは暗黙的に無効にされ、ATMVPフラグは信号通知されないとされている。
a) 一例において、ATMVPフラグは、スライスヘッダ/タイルヘッダ/PPSにおけるTMVPフラグの後に信号通知される。
b) 一例において、ATMVPまたは/およびTMVPフラグは、スライスヘッダ/タイルヘッダ/PPSにおいて信号通知されなくてもよく、SPSヘッダにおいてのみ信号通知される。
【0271】
3. ATMVPにおける対応する位置をマスクするかどうか、およびどのようにマスクするかは、MVが圧縮されているかどうか、およびどのように圧縮されているかに依存する。(xN,yN)が、現在のブロック/サブブロックのコーディネータと、コロケーションされたピクチャにおける開始動きベクトル(例えば、TMV)とを使用して算出された対応する位置であるとする。
a) 一例において、MVを圧縮する必要がない場合(例えば、SPSで信号通知されるsps_disable_motioncompressionが1の場合)、(xN,yN)はマスクされない。それ以外の場合、(MVは圧縮する必要がある)(xN,yN)はxN=xN&MASK,yN=yN&MASKとしてマスクされる。ここで、MASKは~(2-1)に等しく、Mは3または4などのような整数である。
b) 各2×2ブロックにおけるMV記憶結果のMV圧縮方法は、同じ動き情報を共有し、ATMVP処理におけるマスクを~(2-1)と定義する。KはMに等しくなくてもよく、例えば、M=K+1であるとされている。
c) ATMVPおよびTMVPに用いられるMASKは、同じであってもよいし、異なっていてもよい。
【0272】
4. 一例において、MV圧縮方法はフレキシブルであってもよい。
a) 一例において、MV圧縮方法は非圧縮、8×8圧縮(Bullet3.aにおけるM=3),または16×16圧縮(Bullet3.aにおけるM=4)の間で選択することができる。
b) 一例において、MV圧縮方法は、VPS/SPS/PPS/スライスヘッダ/タイルグループヘッダにおいて信号通知されてもよい。
c) 一例において、MV圧縮方法は、異なる標準プロファイル/レベル/層において異なるように設定してもよい。
【0273】
5. ATMVPにおける有効な対応する領域は適応可能でもよい。
a) 例えば、有効な対応する領域は、現在のブロックの幅および高さに依存してもよい。
b) 例えば、有効な対応領域はMV圧縮方法に依存してもよい。
i. 一例において、MV圧縮方法が使用されない場合、有効な対応領域はより小さく、MV圧縮方法が使用される場合、有効な対応領域はより大きい。
【0274】
6. ATMVPにおける有効な対応する領域は、CTU領域よりも小さいサイズM×Nを有する基本領域に基づいてもよい。例えば、VTM-3.0におけるCTUのサイズは128×128であり、基本領域のサイズは64×64であってもよい。現在のブロックの幅および高さをWおよびHとする。
a) 一例において、W<=MおよびH<=Nであり、現在のブロックが1つの基本領域の内側にあることを意味する場合、ATMVPにおける有効な対応する領域は、コロケーションされた基本領域およびコロケーションされたピクチャにおける拡張である。図27は、一例を示す。
i. 例えば、配置された基本領域の左上の位置が(xBR,yBR)であるとすると、(xN,yN)における対応する位置は、有効領域xBR<=xN<xBR+M+4;yBR<=yN<yBR+Nにクリッピングされる。
【0275】
図27は、現在のブロックが基本領域(BR)内にある場合の、提案される有効領域の例示的な実施形態を示す。
【0276】
図28は、現在のブロックが基本領域内にない場合の有効領域の例示的な実施形態を示す。
b) 一例において、W>Mであり、H>Nである場合、現在のブロックが1つの基本領域内にないことを意味し、現在のブロックを複数の部分に分ける。各部分は、ATMVP内に個々の有効な対応する領域を有する。現在のブロックにおける位置Aについて、コロケーションされたブロックにおけるその対応する位置Bは、位置Aが位置する部分の有効な対応する領域内にあるべきである。
i. 例えば、現在のブロックを非重複基本領域に分ける。1つの基本領域に対応する有効領域は、そのコロケーション基本領域およびコロケーションされたピクチャにおける拡張である。図28は、一例を示す。
1. 例えば、現在のブロックの位置Aが1つの基本領域Rにあるとする。コロケーションされたピクチャにおけるRのコロケーション基本領域をCRとする。コロケーションされたブロックにおけるAの対応する位置は、位置Bであり、CRの左上の位置は(xCR,yCR)であり、次に、位置Bの(xN,yN)が、有効領域xCR<=xN<xCR+M+4;yCR<=yN<yCR+Nにクリッピングされる。
【0277】
7. ATMVPにおいて用いられる、異なるピクチャにおける対応するブロックの位置を規定するための動きベクトルを、以下のように導出することができる(例えば、2.3.5.1.2におけるTMV)。
a) 一例において、TMVは、常に、(0,0)等のデフォルトMVに等しく設定される。
i. 一例において、デフォルトMVは、VPS/SPS/PPS/スライスヘッダ/タイルグループヘッダ/CTU/CUにおいて信号通知される。
b) 一例において、TMVは、以下の方法で、HMVPテーブルに記憶される1つのMVに設定される。
i. HMVPリストが空である場合、TMVは、デフォルトMV、例えば(0,0)に等しく設定される。
ii. そうでない(HMVPリストが空でない)場合、
1. TMVは、HMVPテーブルに記憶された第1の要素と等しく設定してもよい。
2. あるいは、TMVは、HMVPテーブルに記憶された最後の要素に等しく設定してもよい。
3. あるいは、TMVは、HMVPテーブルに記憶された特定のMVに等しく設定してもよい。
a. 一例において、特定のMVは、参照リスト0を参照する。
b. 一例において、特定のMVは、参照リスト1を参照する。
c. 一例において、特定のMVは、参照リスト0における特定の参照ピクチャ、例えばインデックス0を有する参照ピクチャを参照する。
d. 一例において、特定のMVは、参照リスト1における特定の参照ピクチャ、例えばインデックス0を有する参照ピクチャを参照する。
e. 一例において、特定のMVは、コロケーションされたピクチャを参照する。
4. あるいは、HMVPテーブルに記憶された特定のMV(例えば、bullet3.に記載)が見つからない場合、TMVをデフォルトMVに等しく設定してもよい。
a. 一例において、HMVPテーブルに記憶された第1の要素のみを検索し、特定のMVを見出す。
b. 一例において、HMVPテーブルに記憶された最後の要素のみを検索し、特定のMVを見出す。
c. 一例において、HMVPテーブルに記憶された一部または全部の要素を検索し、特定のMVを見出す。
5. あるいは、さらに、HMVPから取得したTMVは、現在のピクチャそのものを参照することができない。
6. あるいは、さらに、HMVPテーブルから取得したTMVは、参照していない場合、コロケーションされたピクチャに合わせてスケーリングされてもよい。
c) 一例において、TMVは、1つの特定の近傍のブロックの1つのMVに設定される。他の近傍のブロックは含まれない。
i. 特定の近傍のブロックは、図22のブロックA0、A1、B0、B1、B2であってもよい。
ii. TMVは、以下の場合、デフォルトMVに等しく設定してもよい。
1. 特定の近傍のブロックが存在しない。
2. 特定の近傍のブロックは、インター符号化されない。
iii. TMVは、特定の近傍のブロックに記憶された特定のMVに等しく設定してもよい。
1. 一例において、特定のMVは、参照リスト0を参照する。
2. 一例において、特定のMVは、参照リスト1を参照する。
3. 一例において、特定のMVは、参照リスト0における特定の参照ピクチャ、例えばインデックス0を有する参照ピクチャを参照する。
4. 一例において、特定のMVは、参照リスト1における特定の参照ピクチャ、例えばインデックス0を有する参照ピクチャを参照する。
5. 一例において、特定のMVは、コロケーションされたピクチャを参照する。
6. 特定の近傍のブロックに記憶された特定のMVが見つからない場合、TMVをデフォルトMVに等しく設定してもよい。
iv. 特定の近傍のブロックから得られたTMVは、それが参照しない場合、コロケーションされたピクチャに合わせてスケーリングされてもよい。
v. 特定の近傍のブロックから得られたTMVは、現在のピクチャそのものを参照することができない。
【0278】
8. 2.3.5.1.2に開示されているように、ATMVPにおいて使用されるMVdefault0およびMVdefault1は、次のように導出されてもよい。
a) 一例において、MVdefault0およびMVdefault1は、(0,0)に等しく設定される。
b) 一例において、MVdefaultX(X=0または1)は、HMVPから導出する。
i. HMVPリストが空である場合、MVdefaultXは、(0,0)等の予め定義されたデフォルトMVに等しく設定される。
1. 予め定義されたデフォルトMVは、VPS/SPS/PPS/スライスヘッダ/タイルグループヘッダ/CTU/CUにおいて信号通知されてもよい。
ii. そうでない(HMVPリストが空でない)場合、
1. MVdefaultXは、HMVPテーブルに記憶された第1の要素と等しく設定してもよい。
2. MVdefaultXは、HMVPテーブルに記憶された最後の要素に等しく設定してもよい。
3. MVdefaultXは、HMVPテーブルに記憶された特定のMVにのみ等しく設定してもよい。
a. 一例において、特定のMVは、参照リストXを参照する。
b. 一例において、特定のMVは、参照リストXにおける特定の参照ピクチャ、例えばインデックス0を有する参照ピクチャを参照する。
4. HMVPテーブルに記憶された特定のMVが見つからない場合、MVdefaultXを予め定義されたデフォルトMVに等しく設定してもよい。
a. 一例において、HMVPテーブルに記憶された第1の要素のみを検索する。
b. 一例において、HMVPテーブルに記憶された最後の要素のみを検索する。
c. 一例において、HMVPテーブルに記憶された要素の一部または全部を検索する。
5. HMVPテーブルから取得したMVdefaultXは、参照していない場合、コロケーションされたピクチャ(collocated picture)に合わせてスケーリングされてもよい。
6. HMVPから取得したMVdefaultXは、現在のピクチャそのものを参照することができない。
c) 一例において、MVdefaultX(X=0または1)は、近傍のブロックから導出する。
i. 近傍のブロックは、図22のブロックA0、A1、B0、B1、B2を含んでもよい。
1. 例えば、これらのブロックの1つのみを使用してMVdefaultXを導出する。
2. あるいは、これらのブロックの一部または全部を使用してMVdefaultXを導出する。
a. これらのブロックは、有効なMVdefaultXが見つかるまで、順にチェックされる。
3. 選択された1つ以上の近傍のブロックから有効なMVdefaultXが見つからない場合、それは、(0,0)等の予め定義されたデフォルトMVに等しく設定される。
a. 予め定義されたデフォルトMVは、VPS/SPS/PPS/スライスヘッダ/タイルグループヘッダ/CTU/CUにおいて信号通知されてもよい。
ii. 次の場合、特定の近傍のブロックから有効なMVdefaultXが見つからない。
1. 特定の近傍のブロックが存在しない。
2. 特定の近傍のブロックは、インター符号化されない。
iii. MVdefaultXは、特定の近傍のブロックに記憶された特定のMVにのみ等しく設定してもよい。
1. 一例において、特定のMVは、参照リストXを参照する。
2. 一例において、特定のMVは、参照リストXにおける特定の参照ピクチャを参照し、例えば、インデックス0を有する参照ピクチャが挙げられる。
iv. 特定の近傍のブロックから取得したMVdefaultXを、特定の参照ピクチャ、例えば参照リストXにおけるインデックス0を有する参照ピクチャにスケーリングしてもよい。
v. 特定の近傍のブロックから取得したMVdefaultXは、現在のピクチャそのものを参照することができない。
【0279】
9. サブブロックまたは非サブブロックATMVP候補のいずれかに対して、コロケーションされたピクチャにおける1つのサブブロック/全ブロックのための1つの時間的ブロックがCPRモードで符号化される場合、代わりに、1つのデフォルトの動き候補を利用してもよい。
a) 一例において、デフォルト動き候補は、現在のブロックの中心位置に関連付けられた動き候補として定義されてもよい(例えば、2.3.5.1.2に開示されるように、ATMVPにおいて用いられるMVdefault0および/またはMVdefault1)。
b) 一例において、デフォルト動き候補は、利用可能である場合、両方の参照ピクチャリストに対して、(0,0)動きベクトルおよび0に等しい参照ピクチャインデックスとして定義されてもよい。
【0280】
10. なお、ATMVP処理におけるデフォルト動き情報(例えば、2.3.5.1.2に開示されるように、ATMVPにおいて用いられるMVdefault0、MVdefault1)は、サブブロック動き情報導出処理において用いられる位置の場所に基づいて導出されてもよい。この提案された方法では、そのサブブロックに対して、デフォルト動き情報が直接割り当てられるので、動き情報をさらに導出する必要がない。
a) 一例において、現在のブロックの中心位置を用いる代わりに、現在のブロックにおけるサブブロック(例えば、中心サブブロック)の中心位置を利用してもよい。
b) 既存のおよび提案された実装形態の例を図29Aおよび29Bにそれぞれ示す。
【0281】
11. ATMVP候補は、常に以下の方法で利用可能とすることとされている。
a) 現在のブロックの中心点を(x0,y0)とすると、コロケーションされたピクチャにおける(x0,y0)の対応する位置をM=(x0+MV’x,y0+MV’y)とする。Mを含むブロックZを見つける。Zがイントラ符号化されている場合、項目6に提案される何らかの方法によってMVdefault0、MVdefault1を導出する。
b) あるいは、ブロックZは、動き情報を取得するために配置されず、項目8に提案されるいくつかの方法は、MVdefault0およびMVdefault1を取得するために直接適用される。
c) あるいは、ATMVP処理で使用されるデフォルトの動き候補は、常に利用可能である。現在の設計に基づいて、それが利用不可能に設定されている(例えば、時間的ブロックがイントラ符号化されている)場合、デフォルト動き候補の代わりに他の動きベクトルを利用してもよい。
i. 一例において、参照により本明細書に組み込まれる国際出願PCT/CN2018/124639号の解決案が適用されてもよい。
d) あるいは、さらに、ATMVP候補が常に利用可能であるかどうかは、他の高レベル構文情報に依存する。
i. 一例において、スライス/タイル/ピクチャヘッダまたは他の映像ユニットにおけるATMVPイネーブルフラグが真であると推測される場合にのみ、ATMVP候補は常に利用可能であると設定してもよい。
ii. 一例において、上記方法は、スライスヘッダ/ピクチャヘッダまたは他の映像ユニットにおけるATMVPイネーブルフラグが真に設定され、且つ現在のピクチャがIRAPピクチャでなく、且つ現在のピクチャが0に等しい参照インデックスでRefPicList0に挿入されていない場合にのみ適用可能であってもよい。
e) ATMVP候補には、固定インデックスまたは固定グループのインデックスが割り当てられる。ATMVP候補が常に利用可能でない場合、固定インデックス/群インデックスは、他の種類の動き候補(例えば、アフィン候補)に推論してもよい。
【0282】
12. なお、動きゼロアフィンマージ候補をサブブロックマージ候補リストに含めるかどうかは、アフィン予測が有効にされるかどうかに依存するべきであるとされている。
a) 例えば、アフィン使用フラグがオフの場合(sps_affine_enabled_flagが0に等しい場合)、動きゼロアフィンマージ候補はサブブロックマージ候補リストに入れられない。
b) あるいは、さらに、代わりに、非アフィン候補であるデフォルトの動きベクトル候補を加える。
【0283】
13. なお、非アフィンパディング候補をサブブロックマージ候補リストに含めてもよいとされている。
a) サブブロックマージ候補リストが満たされていない場合、動きゼロ非アフィンパディング候補を追加してもよい。
b) このようなパディング候補を選択する場合は、現在のブロックのaffine_flagを0に設定する必要がある。
c) あるいは、サブブロックマージ候補リストが満たされず、かつ、アフィン使用フラグがオフである場合、ゼロ動き非アフィンパディング候補をサブブロックマージ候補リストに含める。
【0284】
14. MV0とMV1が、対応する位置を含むブロックの参照リスト0と参照リスト1のMVを表すとする(例えば、MV0とMV1は、2.3.5.1.2章で説明されているMVZ_0とMVZ_1、またはMVZS_0とMVZS_1の場合がある)。MV0’およびMV1’は、現在のブロックまたはサブブロックに対して導出するべき参照リスト0および参照リスト1におけるMVを表す。その場合、MV0’およびMV1’は、スケーリングによって導出するべきである。
a) MV0、コロケーションされたピクチャが参照リスト1にある場合。
b) MV1、コロケーションされたピクチャが参照リスト0にある場合。
【0285】
15. 参照ピクチャリストX(PicRefListX、例えば、X=0)において、現在のピクチャをインデックスがM(例えば、0)に設定された参照ピクチャとして扱う場合、ATMVPおよび/またはTMVP許可/禁止フラグは、スライス/タイルまたは他の種類の映像ユニットに対して偽であると推測されてもよい。ここで、Mは、ATMVP/TMVP処理において時間的ブロックの動き情報をPicRefListXに対してスケーリングするオブジェクト参照ピクチャインデックスに等しくてもよい。
a) あるいは、上記方法は、現在のピクチャがイントラランダムアクセスポイント(IRAP)ピクチャである場合にのみ適用可能である。
b) 一例において、PicRefListXにおける現在のピクチャをインデックスがM(例えば、0)に設定された参照ピクチャとして扱う場合、および/または、PicRefListYにおけるインデックスがN(例えば、0)に設定された参照ピクチャとして扱う場合、ATMVPおよび/またはTMVP許可/禁止フラグが偽であると推測してもよい。変数MおよびNは、TMVPまたはATMVP処理で使用されるオブジェクト参照ピクチャインデックスを表す。
c) ATMVP処理の場合、確認ビットストリームは、現在のブロックの動き情報が導出されるコロケーションされたピクチャが現在のピクチャではないという規則に従うよう、制限されている。
d) あるいは、上記の条件が真である場合、ATMVPまたはTMVP処理は呼び出されない。
【0286】
16. 現在のブロックのための参照ピクチャリストX(PicRefListX、例えば、X=0)におけるインデックスがM(例えば、0)に設定された参照ピクチャが現在のピクチャである場合、ATMVPは、このブロックに対して依然として有効にできるとされている。
a) 一例において、すべてのサブブロックの動き情報は、現在のピクチャを指す。
b) 一例において、時間的ブロックからサブブロックの動き情報を取得する場合、時間的ブロックは、時間的ブロックの現在のピクチャを指す少なくとも1つの参照ピクチャで符号化される。
c) 一例において、時間的ブロックからサブブロックの動き情報を取得する場合、スケーリング演算は適用されない。
【0287】
17. ATMVPの使用に関わらず、サブブロックマージインデックスの符号化方法を統一する。
a) 一例において、第1のL個のビンに対して、それらはコンテキスト符号化される。残りのビンについては、バイパス符号化される。一例において、Lは1に設定される。
b) あるいは、すべてのビンに対して、それらはコンテキスト符号化される。
【0288】
18. ATMVPにおいて、異なるピクチャにおいて対応するブロックを見つけるために用いられるMV(MVx,MVy)(例えば、TMVが0)は、MVスケーリング処理と同様な丸め方法によって、整数精度(MVx’、MVy’と表記される)に右シフトしてもよい。
a) あるいは、ATMVPにおいて異なるピクチャ内の対応するブロックを突き止めるために使用されるMV(例えば、TMVが0)を、MV平均化処理と同じ丸め方法で、整数精度に右シフトしてもよい。
b) あるいは、ATMVPにおいて異なるピクチャ内の対応するブロックを突き止めるために使用されるMV(例えば、TMVが0)は、適応MV解像度(AMVR)処理と同じ丸め方法で、整数精度に右シフトしてもよい。
【0289】
19. ATMVPにおいて、異なるピクチャにおいて対応するブロックを見つけるために用いられるMV(MVx,MVy)(例えば、TMVが0)は、0に近づく方向に丸めることで、整数精度((MVx’,MVy’)と表記される)に右シフトしてもよい。
a) 例えば、MVx’=(MVx+((1<<N)>>1)-(MVx>=0?1:0))>>N;Nは、MVの解像度、例えばN=4を表す整数である。
i. 例えば、MVx’=(MVx+(MVx>=0?7:8))>>4.
b) 例えば、MVy’=(MVy+((1<<N)>>1)-(MVy>=0?1:0))>>N;Nは、MVの解像度、例えばN=4を表す整数である。
i. 例えば、MVy’=(MVy+(MVy>=0?7:8))>>4.
【0290】
20. 一例において、bullet18およびbullet19におけるMV(MVx,MVy)は、ATMVPにおいて用いられるデフォルトの動き情報を導出するために、サブブロックの中心位置およびシフトされたMVを使用して、または現在のブロックの左上の位置およびシフトされたMVを使用して、対応するブロックの位置を規定するために用いられる。
a) 一例において、MV(MVx,MVy)は、ATMVP処理中に、現在のブロックにおけるサブブロックの動き情報を導出するために、例えば、サブブロックの中心位置およびシフトされたMVを使用して、対応するブロックの位置を規定するために用いられる。
【0291】
21. bullet18、19、20に提案された方法は、異なるピクチャまたは現在のピクチャにおける参照ブロックの位置を動きベクトルで規定することを必要とする他の符号化ツールに適用してもよい。
【0292】
22. ATMVPにおいて異なるピクチャ内の対応するブロックを見つけるために使用されるMV(MVx,MVy)(例えば、0におけるTMV)は、それがコロケーションされたピクチャを指しても、スケーリングされてもよい。
a) 一例において、コロケーションされたピクチャ(またはその中のコンフォーマンスウィンドウ)の幅および/または高さが、現在のピクチャ(またはその中のコンフォーマンスウィンドウ)の幅および/または高さと異なる場合、MVをスケーリングしてもよい。
b) コロケーションされたピクチャの(コンフォーマンスウィンドウの)幅および高さを、それぞれW1およびH1として示す。現在のピクチャ(のコンフォーマンスウィンドウ)の幅および高さをそれぞれW2およびH2とする。そして、MV(MVx,MVy)は、MVx’=MVx*W1/W2およびMVy’=MVy*H1/H2としてスケーリングされてもよい。
【0293】
23. ATMVP処理における動き情報を導出するために使用される現在のブロックの中心点(例えば、2.3.5.1.2における位置(x0,y0))は、スケーリングおよび/またはオフセットの追加によってさらに修正してもよい。
a) 一例において、コロケーションされたピクチャ(またはその中のコンフォーマンスウィンドウ)の幅および/または高さが現在のピクチャ(またはその中のコンフォーマンスウィンドウ)の幅および/または高さと異なる場合、中心点をさらに修正してもよい。
b) コロケーションされたピクチャにおけるコンフォーマンスウィンドウの左上の位置をX1およびY1とする。現在のピクチャに定義されたコンフォーマンスウィンドウの左上の位置をX2およびY2とする。コロケーションされたピクチャ(のコンフォーマンスウィンドウ)の幅および高さは、それぞれW1およびH1として示される。現在のピクチャの(コンフォーマンスウィンドウの)幅および高さを、それぞれW2およびH2とする。その場合、(x0,y0)は、x0’=(x0-X2)*W1/W2+X1、y0’=(y0-Y2)*H1/H2+Y1として修正してもよい。
i. あるいは、x0’=x0*W1/W2、y0’=y0*H1/H2である。
【0294】
24. ATMVP処理における動き情報を導出するために使用される対応する位置(例えば、2.3.5.1.2における位置M)は、スケーリングおよび/またはオフセットの追加によってさらに修正してもよい。
a) 一例において、コロケーションされたピクチャ(またはその中のコンフォーマンスウィンドウ)の幅および/または高さが現在のピクチャ(またはその中のコンフォーマンスウィンドウ)の幅および/または高さと異なる場合、対応する位置をさらに修正してもよい。
b) コロケーションされたピクチャにおけるコンフォーマンスウィンドウの左上の位置をX1およびY1とする。現在のピクチャに定義されたコンフォーマンスウィンドウの左上の位置をX2およびY2とする。コロケーションされたピクチャ(のコンフォーマンスウィンドウ)の幅および高さは、それぞれW1およびH1として示される。現在のピクチャの(コンフォーマンスウィンドウの)幅および高さを、それぞれW2およびH2とする。その場合、M(x,y)は、x’=(x-X2)*W1/W2+X1およびy’=(y-Y2)*H1/H2+Y1として修正してもよい。
i. あるいは、x’=x*W1/W2、y’=y*H1/H2である。
【0295】
サブピクチャ関連
【0296】
25. 一例において、位置(i,j)および(i,j-1)が異なるサブピクチャに属する場合、(j-1)列で終わるサブピクチャSの幅は、j―サブピクチャSの最左列に等しく設定してもよい。
a) 既存の実装形態例に基づく実施形態を以下に強調する。
NumSubPics=0
for(i=0;i.<NumSubPicGridRows;i++){
for(j=0;j<NumSubPicGridCols;j++){
if(i==0)
SubPicTop[subpic_grid_idx[i][j]]=0
else if(subpic_grid_idx[i][j]!=subpic_grid_idx[i-1][j]){
SubPicTop[subpic_grid_idx[i][j]]=i
SubPicHeight[subpic_grid_idx[i-1][j]]=i-SubPicTop[subpic_grid_idx[i-1][j]]

if(j==0)
SubPicLeft[subpic_grid_idx[i][j]]=0 (7-7)
else if(subpic_grid_idx[i][j]!=subpic_grid_idx[i][j-1]){
SubPicLeft[subpic_grid_idx[i][j]]=j
SubPicWidth[subpic_grid_idx[i][j-1]]=j-SubPicLeft[subpic_grid_idx[i][j-1]]

if(i==NumSubPicGridRows-1)
SubPicHeight[subpic_grid_idx[i][j]]=i-SubPicTop[subpic_grid_idx[i-1][j]]+1 if(j==NumSubPicGridRows-1)
SubPicWidth[subpic_grid_idx[i][j]]=j-SubPicLeft[subpic_grid_idx[i][j-1]]+1
if(subpic_grid_idx[i][j]>NumSubPics)
NumSubPics=subpic_grid_idx[i][j]

【0297】
26. 一例において、(NumSubPicGridRows-1)行で終わるサブピクチャSの高さは、(NumSubPicGridRows-1)-サブピクチャSの最上行+1に等しく設定してもよい。
a) 既存の実装形態例に基づく実施形態を以下に強調する。
NumSubPics=0
for(i=0;i.<NumSubPicGridRows;i++){
for(j=0;j<NumSubPicGridCols;j++){
if(i==0)
SubPicTop[subpic_grid_idx[i][j]]=0
else if(subpic_grid_idx[i][j]!=subpic_grid_idx[i-1][j]){
SubPicTop[subpic_grid_idx[i][j]]=i
SubPicHeight[subpic_grid_idx[i-1][j]]=i-SubPicTop[subpic_grid_idx[i-1][j]]

if(j==0)
SubPicLeft[subpic_grid_idx[i][j]]=0 (7-7)
else if(subpic_grid_idx[i][j]!=subpic_grid_idx[i][j-1]){
SubPicLeft[subpic_grid_idx[i][j]]=j
SubPicWidth[subpic_grid_idx[i][j]]=j-SubPicLeft[subpic_grid_idx[i][j-1]]

if(i==NumSubPicGridRows-1)
SubPicHeight[subpic_grid_idx[i][j]]=i-SubPicTop[subpic_grid_idx[i][j]]+1 if
(j==NumSubPicGridRows-1)
SubPicWidth[subpic_grid_idx[i][j]]=j-SubPicLeft[subpic_grid_idx[i][j-1]]+1
if(subpic_grid_idx[i][j]>NumSubPics)
NumSubPics=subpic_grid_idx[i][j]
【0298】
27. 一例において、(NumSubPicGridColumns-1)列で終わるサブピクチャSの幅は、(NumSubPicGridColumns-1)-サブピクチャSの左端の列、次に1を加えたものに等しく設定してもよい。
a) 既存の実装形態例に基づく実施形態を以下に強調する。
NumSubPics=0
for(i=0;i.<NumSubPicGridRows;i++){
for(j=0;j<NumSubPicGridCols;j++){
if(i==0)
SubPicTop[subpic_grid_idx[i][j]]=0
else if(subpic_grid_idx[i][j]!=subpic_grid_idx[i-1][j]){
SubPicTop[subpic_grid_idx[i][j]]=i
SubPicHeight[subpic_grid_idx[i-1][j]]=i-SubPicTop[subpic_grid_idx[i-1][j]]

if(j==0)
SubPicLeft[subpic_grid_idx[i][j]]=0 (7-7)
else if(subpic_grid_idx[i][j]!=subpic_grid_idx[i][j-1]){
SubPicLeft[subpic_grid_idx[i][j]]=j
SubPicWidth[subpic_grid_idx[i][j]]=j-SubPicLeft[subpic_grid_idx[i][j-1]]

if(i==NumSubPicGridRows-1)
SubPicHeight[subpic_grid_idx[i][j]]=i-SubPicTop[subpic_grid_idx[i-1][j]]+1 if(j==NumSubPicGridColumns-1)
SubPicWidth[subpic_grid_idx[i][j]]=j-SubPicLeft[subpic_grid_idx[i][j]]+1
if(subpic_grid_idx[i][j]>NumSubPics)
NumSubPics=subpic_grid_idx[i][j]
【0299】
28. サブピクチャグリッドは、CTUサイズの整数倍でなければならない。
a) 既存の実装形態例に基づく実施形態を以下に強調する。
subpic_grid_col_width_minus1 plus1は、サブピクチャ識別子グリッドの各要素の幅をCtbSizeYの単位で規定する。構文要素の長さはCeil(Log2(pic_width_max_in_luma_samples/CtbSizeY))ビットである。
変数NumSubPicGridColsは、以下のように導出する。
NumSubPicGridCols=(pic_width_max_in_luma_samples+subpic_grid_col_width_minus1*CtbSizeY+CtbSizeY-1)/
(subpic_grid_col_width_minus1*CtbSizeY+CtbSizeY) (7-5)subpic_grid_row_height_minus1 plus1は、サブピクチャ識別子グリッドの各要素の高さを4サンプル単位で指定する。構文要素の長さはCeil(Log2(pic_height_max_in_luma_samples/CtbSizeY))ビットである。
変数NumSubPicGridRowsは、以下のように導出する。
NumSubPicGridRows=(pic_height_max_in_luma_samples+subpic_grid_row_height_minus1*CtbSizeY+CtbSizeY-1)/
(subpic_grid_row_height_minus1*CtbSizeY+CtbSizeY) (7-6)
【0300】
29. サブピクチャが互いに重複せず、すべてのサブピクチャがピクチャ全体を含まなければならないということを保証するために、コンフォーマンス制約が追加される。
a) 既存の実装に基づく実施形態例を以下に強調する。
次の条件が両方とも満たされる場合、subpic_grid_idx[i][j]はidxと等しくなければならない。
i>=SubPicTop[idx]and i<SubPicTop[idx]+SubPicHeight[idx].
j>=SubPicLeft[idx]and j<SubPicLeft[idx]+SubPicWidth[idx].
次の条件が両方とも満たされない場合、subpic_grid_idx[i][j]はidxとは異なっていなければならない。
i>=SubPicTop[idx]and i<SubPicTop[idx]+SubPicHeight[idx].
j>=SubPicLeft[idx]and j<SubPicLeft[idx]+SubPicWidth[idx].
【0301】
RPR関連
【0302】
30. RPR_flagとして示される構文要素(フラグなど)は、RPRが映像ユニット(シーケンスなど)で使用できるかどうかを示すために信号通知される。RPR_flagは、SPS、VPS、またはDPSで信号通知されてもよい。
a) 一例において、RPRが使用されないように通知される場合(例えば、RPR_flagが0の場合)、PPSで通知されるすべての幅/高さは、SPSで信号通知される最大幅/最大高さと同じである必要がある。
b) 一例において、RPRが使用されないように通知された場合(例えば、RPR_flagが0の場合)、PPSのすべての幅/高さは通知されず、SPSで信号通知された最大幅/最大高さであると推測される。
c) 一例において、RPRが使用されないように信号通知される場合(例えば、RPR_flagが0である場合)、コンフォーマンスウィンドウ情報は、復号化処理で使用されない。そうでない場合(RPRを使用するように信号通知される)、コンフォーマンスウィンドウ情報を復号化処理において使用してもよい。
【0303】
31. 動き補償処理において現在のブロックの予測ブロックを導出するために用いられる補間フィルタは、参照ピクチャの解像度が現在のピクチャと異なるかどうか、または参照ピクチャの幅および/または高さが現在のピクチャの解像度よりも大きいかどうかに基づいて選択されてもよい。
a. 一例において、条件Aが満たされ、条件Aが現在のピクチャおよび/または参照ピクチャの寸法に依存する場合、よりタップが少ない補間フィルタを適用してもよい。
i. 一例において、条件Aは、参照ピクチャの解像度が現在のピクチャと異なることである。
ii. 一例において、条件Aは、参照ピクチャの幅および/または高さが現在のピクチャのそれよりも大きいことである。
iii. 一例において、条件Aは、W1>a*W2および/またはH1>b*H2であり、ここで、(W1、H1)は参照ピクチャの幅および高さを表し、(W2、H2)は現在のピクチャの幅および高さを表し、aおよびbは2つの因子、例えば、a=b=1.5である。
iv. 一例において、条件Aは、双予測が使用されるかどうかに依存してもよい。
1) 現在のブロックに対して双予測を用いる場合にのみ、条件Aを満たす。
v. 一例において、条件Aは、MおよびNに依存してもよく、ここで、MおよびNは、現在のブロックの幅および高さを表す。
1) 例えば、条件Aは、M*N<=Tの場合にのみ満たされ、ここで、Tは、64などの整数である。
2) 例えば、条件Aは、M<=T1またはN<=T2の場合にのみ満たされ、ここで、T1およびT2は整数、例えばT1=T2=4である。
3) 例えば、条件Aは、M<=T1およびN<=T2の場合にのみ満たされ、ここで、T1およびT2は整数、例えば、T1=T2=4である。
4) 例えば、条件Aは、M*N=T、またはM=T1またはN=T2の場合にのみ満たされ、ここで、T、T1、T2は整数、例えばT=64、T1=T2=4である。
5) 一例において、上記sub-bulletにおける小さい方の条件は、大きい方に置き換えられてもよい。
vi. 一例において、1タップフィルタが適用される。すなわち、フィルタリングされていない整数画素を補間結果として出力する。
vii. 一例において、参照ピクチャの解像度が現在のピクチャと異なる場合、バイリニアフィルタが適用される。
viii. 一例において、参照ピクチャの解像度が現在のピクチャと異なる場合、または参照ピクチャの幅および/または高さが現在のピクチャの解像度よりも大きい場合、4タップフィルタまたは6タップフィルタが適用される。
1) 6タップフィルタは、アフィン動き補償に使用されてもよい。
2) 4タップフィルタは、クロマサンプルの補間に使用されてもよい。
b. bullet31に開示された方法を適用するかどうか、および/またはどのように適用するかは、色成分に依存してもよい。
i. 例えば、これらの方法は、輝度成分にのみ適用される。
c. bullet31に開示された方法を適用するかどうか、および/またはどのように適用するかは、補間フィルタリング方向に依存してもよい。
i. 例えば、この方法は水平フィルタリングにのみ適用される。
ii. 例えば、この方法は垂直フィルタリングにのみ適用される。
【0304】
CIIP関連
【0305】
32. CIIP処理で使用されるイントラ予測信号は、CUレベルの代わりにTUレベルで(例えば、CUの代わりにTUの外側の参照サンプルを使用して)行われてもよい。
a) 一例において、CUの幅または高さのいずれかが最大変換ブロックサイズよりも大きい場合、CUは複数のTUに分割してもよく、例えば、TUの外側の参照サンプルを使用して、TUごとにイントラ/インター予測が生成されてもよい。
b) 一例において、最大変換サイズKが64よりも小さい(例えば、K=32)場合、CIIPにおいて使用されるイントラ予測は、通常のイントラコードブロックにおけるように再帰的な方法で実行される。
c) 例えば、MおよびNが整数であるKM×KN CIIP符号化ブロックを、K×K個のブロックのMN個に分割することで、各K×K個のブロックごとにイントラ予測を行う。後に符号化/復号されたK×Kブロックのイントラ予測は、前述の符号化/復号化されたK×Kブロックの再構成サンプルに依存してもよい。
【0306】
5. 追加の例示的な実施形態
【0307】
5.1 実施形態#1:SPS/PPS/スライスヘッダ/タイルグループヘッダにおける構文設計の例
【0308】
VTM3.0.1rC1標準ソフトウェアと比較した場合の変化を、大きな太字のフォントで以下のように強調する。
【0309】
【表9】
【0310】
5.2 実施形態#2:SPS/PPS/スライスヘッダ/タイルグループヘッダにおける構文設計の例
【0311】
7.3.2.1 シーケンスパラメータセットRBSP構文
【0312】
【表10】
【0313】
sps_sbtmvp_enabled_flagが1に等しい場合、サブブロックに基づく時間的動きベクトル予測子を使用してもよく、CVSでslice_typeがIに等しくないすべてのスライスを含むピクチャを復号化できることを規定する。0に等しいsps_sbtmvp_enabled_flagは、サブブロックに基づく時間的動きベクトル予測子がCVSで使用されないことを規定する。sps_sbtmvp_enabled_flagが存在しない場合、0に等しいと推測される。
【0314】
five_minus_max_num_subblock_merge_candは、5から減算されたスライスでサポートされるサブブロックに基づくマージ動きベクトル予測(MVP)候補の最大数を規定する。five_minus_max_num_subblock_merge_candが存在しない場合、5-sps_sbtmvp_enabled_flagに等しいと推測される。サブブロックに基づくマージMVP候補の最大数MaxNumSubblockMergeCandは、以下のように導出する。
【0315】
MaxNumSubblockMergeCand=5-five_minus_max_num_subblock_merge_cand (7-45)
【0316】
MaxNumSubblockMergeCandの値は、0~5の範囲内にある。
【0317】
8.3.4.2 サブブロックマージモードにおける動きベクトルおよび参照インデックスの導出処理
【0318】
この処理への入力は以下の通りである。
【0319】
..[現在のVVC仕様案に変更はない]
【0320】
この処理の出力は以下の通りである。
【0321】
...[現在のVVC仕様案に変更はない]
【0322】
変数numSbX、numSbY、およびサブブロックマージ候補リストsubblockMergeCandListは、以下の順序ステップによって導出する。
【0323】
sps_sbtmvp_enabled_flagが1に等しく、(現在の画像がIRAPであり、参照ピクチャリスト0のインデックス0が現在の画像である)が真でない場合、以下が適用される。
【0324】
8.3.2.3項で規定されている近傍の符号化ユニットからの候補をマージするための導出処理は、Xが0または1として、輝度符号化ブロックの位置(xCb,yCb)、輝度符号ブロック幅cbWidth、輝度符号ブロック高さcbHeight、輝度符号ブロック幅を入力として呼び出され、出力は、可用性フラグavailableFlagA0、availableFlagA1、availableFlagB0、availableFlagB1およびavailableFlagB2、参照インデックスrefIdxLXA0、refIdxLXA1,refIdxLXB0、refIdxLXB1およびrefIdxLXB2、および予測リスト利用フラグpredFlagLXA0、predFlagLXA1、predFlagLXB0,predFlagLXB1およびpredFlagLXB2、および動きベクトルmvLXA0、mvLXA1、mvLXB0、mvLXB1およびmvLXB2である。
【0325】
8.3.4.3項で規定されているサブブロックベースの時間的マージ候補の導出処理は、xSbIdx=0..numSbX-1,ySbIdx=0..numSbY-1およびXは0または1として、輝度位置(xCb,yCb)、輝度符号化ブロック幅cbWidth、輝度符号化ブロック高さcbHeight、可用性フラグ、availableFlagA0、availableFlagA1、availableFlagB0、availableFlagB1、参照インデックスrefIdxLXA0、refIdxLXA1、refIdxLXB0、efIdxLXB1、予測リスト利用フラグpredFlagLXA0、predFlagLXA1、predFlagLXB0、predFlagLXB1、動きベクトルmvLXA0,mvLXA1,mvLXB0,mvLXB1を入力として呼び出され、出力は、可用性フラグavailableFlagSbCol、水平方向numSbXおよび垂直方向numSbYにおける輝度符号化サブブロックの数、参照インデックスrefIdxLXSbCol、輝度動きベクトルmvLXSbCol[xSbIdx][ySbIdx]および予測リスト利用フラグpredFlagLXSbCol[xSbIdx][ySbIdx]である。
【0326】
sps_affine_enabled_flagが1に等しい場合、サンプルの場所(xNbA0,yNbA0)、(xNbA1,yNbA1)、(xNbA2,yNbA2)、(xNbB0,yNbB0)、(xNbB1,yNbB1)、(xNbB2,yNbB2)、(xNbB3,yNbB3)、および変数numSbXおよびnumSbYは次のように導出する。
【0327】
[現在のVVC仕様案に変更はない]
【0328】
5.3 実施形態#3 MVの丸めの例
構文の変更は、既存の実装形態に基づいている。
【0329】
8.5.5.3 サブブロックに基づく時間的マージ候補の導出処理

- ColPic内部のコロケーションされたサブブロックの位置(xColSb,yColSb)は、以下のように導出する。
【0330】
【化1】
【0331】
8.5.5.4 サブブロックに基づく時間的マージベースの動きデータの導出処理

ColPic内部のコロケーションされたブロックの位置(xColCb,yColCb)は、以下のように導出する。
【0332】
【化2】
【0333】
5.3 実施形態#3:MVの丸めの例
構文の変更は、既存の実装形態に基づいている。
【0334】
8.5.5.3 サブブロックに基づく時間的マージ候補の導出処理
【0335】
【化3】
【0336】
8.5.5.4 サブブロックに基づく時間的マージベースの動きデータの導出処理
【0337】
【化4】
【0338】
5.4 実施形態#4:MVの丸めの第2の例
【0339】
8.5.5.3 サブブロックに基づく時間的マージ候補の導出処理
【0340】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルの輝度位置(xCb、yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight。
- 近傍の符号化ユニットの可用性フラグavailableFlagA
- 近傍の符号化ユニットの参照インデックスrefIdxLXAであってXは0または1、
- 近傍の符号化ユニットの予測リスト利用フラグpredFlagLXAであってXは0または1、
- 近傍の符号化ユニットの1/16端数サンプル精度mvLXAにおける動きベクトルであってXが0または1である。
【0341】
この処理の出力は以下の通りである。
- 可用性フラグavailableFlagSbCol、
- 水平方向numSbXおよび垂直方向numSbYにおける輝度符号化サブブロックの数、
- 参照インデックスrefIdxL0SbColおよびrefIdxL1SbCol、
- 1/16端数サンプル精度mvL0SbCol[xSbIdx][ySbIdx]およびmvL1SbCol[xSbIdx][ySbIdx]における輝度動きベクトル、但しxSbIdx=0..numSbX-1,ySbIdx=0..numSbY-1、
- 予測リスト利用フラグpredFlagL0SbCol[xSbIdx][ySbIdx]およびpredFlagL1SbCol[xSbIdx][ySbIdx]、但しxSbIdx=0..numSbX-1,ySbIdx=0..numSbY-1。
【0342】
可用性フラグavailableFlagSbCollは、以下のように導出する。
- 以下の条件の1つ以上が真である場合、availableFlagSbColに0が設定される。
- slice_temporal_mvp_enabled_flagは0に等しい。
- sps_sbtmvp_enabled_flagは0に等しい。
- cbWidthが8未満である。
- cbHeightが8未満である。
- そうでない場合、以下の順序付けられたステップが適用される。
【0343】
1. 現在の符号化ブロックを含む輝度符号化ツリーブロックの左上のサンプルの位置(xCtb,yCtb)および現在の輝度符号化ブロックの右下の中心サンプルの位置(xCtr,yCtr)は、以下のように導出する。
xCtb=(xCb>>CtuLog2Size)<<CtuLog2Size (8-542)
yCtb=(yCb>>CtuLog2Size)<<CtuLog2Size (8-543)
xCtr=xCb+(cbWidth/2) (8-544)
yCtr=yCb+(cbHeight/2) (8-545)
【0344】
2. 輝度位置(xColCtrCb,yColCtrCb)は、ColPicによって規定されたコロケーションされたピクチャの左上輝度サンプルに対して、ColPic内部の(xCtr,yCtr)によって与えられる位置を含む同一位置輝度符号化ブロックの左上サンプルに等しく設定される。
【0345】
3. 8.5.5.4項で規定されているサブブロックに基づく時間的マージベース動きデータの導出処理は、Xを0および1として、(xCtb,yCtb)、場所(xColCtrCb,yColCtrCb)、可用性フラグ可用性フラグAvailabilityフラグA、予測リスト利用フラグpredFlagLXA、および参照インデックスrefIdxLXA、並びに動きベクトルmvLXAを入力として呼び出され、出力は、Xを0および1として、動きベクトルctrMVLX、並びにコロケーションされたブロックの予測リスト利用フラグctrPredFlagLX、時間動きベクトルtempMvである。
【0346】
4. 変数availableFlagSbColは、以下のように導出する。
- ctrPredFlagL0およびctrPredFlagL1の両方が0に等しい場合、availableFlagSbColは0に等しく設定される。
- そうでない場合、availableFlagSbColは1に等しく設定される。
【0347】
availableFlagSbColが1に等しい場合、以下が適用される。
- 変数numSbX、numSbY,sbWidth、sbHeight、refIdxLXSbColは、以下のように導出する。
numSbX=cbWidth>>3 (8-546)
numSbY=cbHeight>>3 (8-547)
sbWidth=cbWidth/numSbX (8-548)
sbHeight=cbHeight/numSbY (8-549)
refIdxLXSbCol=0 (8-550)
- xSbIdx=0..numSbX-1およびySbIdx=0...numSbY-1の場合、動きベクトルmvLXSbCol[xSbIdx][ySbIdx]および予測リスト利用フラグpredFlags LXSbCol[xSbIdx]は、以下のように導出する。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化サブブロックの左上のサンプルを規定する輝度位置(xSb,ySb)は、以下のように導出する。
xSb=xCb+xSbIdx*sbWidth+sbWidth/2 (8-551)
ySb=yCb+ySbIdx*sbHeight+sbHeight/2 (8-552)
- ColPic内部のコロケーションされたサブブロックの位置(xColSb,yColSb)は、以下のように導出する。
【0348】
【化5】
【0349】
- 変数currCbは、現在のピクチャ内の現在の符号化サブブロックを含む輝度符号化ブロックを規定する。
- 変数colCbは、ColPicの内部において、((xColSb>>3)<<3,(yColSb>>3)<<3)で与えられる修正位置を含む輝度符号化ブロックを規定する。
- 輝度位置(xColCb,yColCb)は、ColPicによって指定されたコロケーションされたピクチャの左上輝度サンプルに対して、colCbによって指定された同一位置輝度符号化ブロックの左上サンプルに等しく設定される。
- 8.5.2.12項で規定されている同一位置動きベクトルの導出処理は、currCb,colCb,(xColCb,yColCb),0と等しく設定されたrefIdxL0、1と等しく設定されたsbFlagを入力として呼び出され、出力は、サブブロックmvL0SbCol[xSbIdx][ySbIdx]およびavailableFlagL0SbColの動きベクトルに割り当てられる。
- 8.5.2.12項で規定されている同一位置動きベクトルの導出処理は、currCb,colCb,(xColCb,yColCb)、0と等しく設定されたrefIdxL1、1と等しく設定されたsbFlagを入力として呼び出され、出力はサブブロックMVL1SbCol[xSbIdx][ySbIdx]およびavailableFlagL1SbColの動きベクトルに割り当てられる。
- availableFlagL0SbColおよびavailableFlagL1SbColが両方とも0に等しい場合、Xが0および1である場合、以下が適用される。
mvLXSbCol[xSbIdx][ySbIdx]=ctrMvLX (8-556)
predFlagLXSbCol[xSbIdx][ySbIdx]=ctrPredFlagLX (8-557)
【0350】
8.5.5.4 サブブロックに基づく時間的マージベースの動きデータの導出処理
【0351】
この処理への入力は以下の通りである。
- 現在の符号化ブロックを含む輝度符号化ツリーブロックの左上のサンプルの位置(xCtb,yCtb)、
- 右下中心サンプルを含む、同じ場所に位置する輝度符号化ブロックの左上サンプルの位置(xColCtrCb,yColCtrCb)。
- 近傍の符号化ユニットの可用性フラグavailableFlagA
- 近傍の符号化ユニットの参照インデックスrefIdxLXA
- 近傍の符号化ユニットの予測リスト利用フラグpredFlagLXA
- 近傍の符号化ユニットの1/16端数サンプル精度mvLXAにおける動きベクトル。
【0352】
この処理の出力は以下の通りである。
- 動きベクトルctrMvL0およびctrMvL1、
- 予測リスト利用フラグctrPredFlagL0、ctrPredFlagL1、
- 時間的動きベクトルtempMv。
【0353】
変数tempMvは、以下のように設定される。
tempMv[0]=0 (8-558)
tempMv[1]=0 (8-559)
【0354】
変数currPicは、現在のピクチャを規定する。
【0355】
availableFlagAがTRUEに等しい場合、以下が適用される。
- 以下のすべての条件が真である場合、tempMvはmvL0Aに等しく設定される。
- predFlagL0Aが1に等しい、
- DiffPicOrderCnt(ColPic,RefPicList[0][refIdxL0A])が0に等しい、
- そうでない場合、以下のすべての条件が真である場合、tempMvはmvL1A:に等しく設定される。
- スライスタイプはBと同じである、
- predFlagL1Aが1に等しい、
- DiffPicOrderCnt(ColPic,RefPicList[1][refIdxL1A])は0に等しい。
【0356】
【化6】
【0357】
配列colPredModeは、ColPicが指定したコロケーションされたピクチャの予測モード配列CuPredMode[0]に等しく設定される。
【0358】
動きベクトルctrMvL0、ctrMvL1、および予測リスト利用フラグctrPredFlagL0、ctrPredFlagL1は、以下のように導出する。
- colPredMode[xColCb][yColCb]がMODE_INTERと等しい場合、以下が適用される。
- 変数currCbは、現在のピクチャ内で(xCtrCb,yCtrCb)を含む輝度符号化ブロックを規定する。
- 変数colCbは、ColPicの内部において、((xColCb>>3)<<3,(yColCb>>3)<<3)で与えられる修正位置を含む輝度符号化ブロックを規定する。
- 輝度位置(xColCb,yColCb)は、ColPicによって指定されたコロケーションされたピクチャの左上輝度サンプルに対して、colCbによって指定された同一位置輝度符号化ブロックの左上サンプルに等しく設定される。
- 8.5.2.12項に規定されている同一位置動きベクトルの導出処理は、currCb、colCb,(xColCb,yColCb)、0と等しく設定されたrefIdxL0、および1に等しく設定されたsbFlagを入力とし、出力をctrMvL0およびctrPredFlagL0に割り当てることにより呼び出される。
- 8.5.2.12項に規定されている同一位置動きベクトルの導出処理は、currCb,colCb,(xColCb,yColCb),0に等しく設定されたrefIdxL1、および1に等しく設定されたsbFlagを入力とし、出力をctrMvL1およびctrPredFlagL1に割り当てることにより呼び出される。
- そうでない場合、以下が適用される。
ctrPredFlagL0=0 (8-563)
ctrPredFlagL1=0 (8-564)
【0359】
5.5 実施形態#5:MVの丸めの第3の例
【0360】
8.5.5.3 サブブロックに基づく時間的マージ候補の導出処理
【0361】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の輝度符号化ブロックの左上のサンプルの輝度位置(xCb、yCb)、
- 輝度サンプルにおける現在の符号化ブロックの幅を規定する変数cbWidth、
- 輝度サンプルにおける現在の符号化ブロックの高さを規定する変数cbHeight。
- 近傍の符号化ユニットの可用性フラグavailableFlagA
- 近傍の符号化ユニットの参照インデックスrefIdxLXAであってXは0または1、
- 近傍の符号化ユニットの予測リスト利用フラグpredFlagLXAであってXは0または1、
- 近傍の符号化ユニットの1/16端数サンプル精度mvLXAにおける動きベクトルであってXが0または1である。
【0362】
この処理の出力は以下の通りである。
- 可用性フラグavailableFlagSbCol,
- 水平方向numSbXおよび垂直方向numSbYにおける輝度符号化サブブロックの数、
- 参照インデックスrefIdxL0SbColおよびrefIdxL1SbCol、
- 1/16端数サンプル精度mvL0SbCol[xSbIdx][ySbIdx]およびmvL1SbCol[xSbIdx][ySbIdx]における輝度動きベクトル、但しxSbIdx=0..numSbX-1,ySbIdx=0..numSbY-1、
- 予測リスト利用フラグpredFlagL0SbCol[xSbIdx][ySbIdx]およびpredFlagL1SbCol[xSbIdx][ySbIdx]、但しxSbIdx=0..numSbX-1,ySbIdx=0..numSbY-1。
【0363】
可用性フラグavailableFlagSbCollは、以下のように導出する。
- 以下の条件の1つ以上が真である場合、availableFlagSbColに0が設定される。
- slice_temporal_mvp_enabled_flagは0に等しい。
- sps_sbtmvp_enabled_flagは0に等しい。
- cbWidthが8未満である。
- cbHeightが8未満である。
- そうでない場合、以下の順序付けられたステップが適用される。
【0364】
5. 現在の符号化ブロックを含む輝度符号化ツリーブロックの左上のサンプルの位置(xCtb,yCtb)および現在の輝度符号化ブロックの右下の中心サンプルの位置(xCtr,yCtr)は、以下のように導出する。
xCtb=(xCb>>CtuLog2Size)<<CtuLog2Size (8-542)
yCtb=(yCb>>CtuLog2Size)<<CtuLog2Size (8-543)
xCtr=xCb+(cbWidth/2) (8-544)
yCtr=yCb+(cbHeight/2) (8-545)
【0365】
6. 輝度位置(xColCtrCb,yColCtrCb)は、ColPicによって規定されたコロケーションされたピクチャの左上輝度サンプルに対して、ColPic内部の(xCtr,yCtr)によって与えられる位置を含む同一位置輝度符号化ブロックの左上サンプルに等しく設定される。
【0366】
7. 8.5.5.4項で規定されているサブブロックに基づく時間的マージベース動きデータの導出処理は、Xを0および1として、(xCtb,yCtb)、場所(xColCtrCb,yColCtrCb)、可用性フラグ可用性フラグAvailabilityフラグA、予測リスト利用フラグpredFlagLXA、および参照インデックスrefIdxLXA、並びに動きベクトルmvLXAを入力として呼び出され、出力は、Xを0および1として、動きベクトルctrMVLX、並びにコロケーションされたブロックの予測リスト利用フラグctrPredFlagLX、時間動きベクトルtempMvである。
【0367】
8. 変数availableFlagSbColは、以下のように導出する。
- ctrPredFlagL0およびctrPredFlagL1の両方が0に等しい場合、availableFlagSbColは0に等しく設定される。
- そうでない場合、availableFlagSbColは1に等しく設定される。
【0368】
availableFlagSbColが1に等しい場合、以下が適用される。
- 変数numSbX、numSbY,sbWidth、sbHeight、refIdxLXSbColは、以下のように導出する。
numSbX=cbWidth>>3 (8-546)
numSbY=cbHeight>>3 (8-547)
sbWidth=cbWidth/numSbX (8-548)
sbHeight=cbHeight/numSbY (8-549)
refIdxLXSbCol=0 (8-550)
- xSbIdx=0..numSbX-1およびySbIdx=0...numSbY-1の場合、動きベクトルmvLXSbCol[xSbIdx][ySbIdx]および予測リスト利用フラグpredFlags LXSbCol[xSbIdx]は、以下のように導出する。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化サブブロックの左上のサンプルを規定する輝度位置(xSb,ySb)は、以下のように導出する。
xSb=xCb+xSbIdx*sbWidth+sbWidth/2 (8-551)
ySb=yCb+ySbIdx*sbHeight+sbHeight/2 (8-552)
- ColPic内部のコロケーションされたサブブロックの位置(xColSb,yColSb)は、以下のように導出する。
【0369】
【化7】
【0370】
- 変数currCbは、現在のピクチャ内の現在の符号化サブブロックを含む輝度符号化ブロックを規定する。
- 変数colCbは、ColPicの内部において、((xColSb>>3)<<3,(yColSb>>3)<<3)で与えられる修正位置を含む輝度符号化ブロックを規定する。
- 輝度位置(xColCb,yColCb)は、ColPicによって指定されたコロケーションされたピクチャの左上輝度サンプルに対して、colCbによって指定された同一位置輝度符号化ブロックの左上サンプルに等しく設定される。
- 8.5.2.12項で規定されている同一位置動きベクトルの導出処理は、currCb,colCb,(xColCb,yColCb),0と等しく設定されたrefIdxL0、1と等しく設定されたsbFlagを入力として呼び出され、出力は、サブブロックmvL0SbCol[xSbIdx][ySbIdx]およびavailableFlagL0SbColの動きベクトルに割り当てられる。
- 8.5.2.12項で規定されている同一位置動きベクトルの導出処理は、currCb,colCb,(xColCb,yColCb)、0と等しく設定されたrefIdxL1、1と等しく設定されたsbFlagを入力として呼び出され、出力はサブブロックMVL1SbCol[xSbIdx][ySbIdx]およびavailableFlagL1SbColの動きベクトルに割り当てられる。
- availableFlagL0SbColおよびavailableFlagL1SbColが両方とも0に等しい場合、Xが0および1である場合、以下が適用される。
mvLXSbCol[xSbIdx][ySbIdx]=ctrMvLX (8-556)
predFlagLXSbCol[xSbIdx][ySbIdx]=ctrPredFlagLX (8-557)
【0371】
8.5.5.4 サブブロックに基づく時間的マージベースの動きデータの導出処理
【0372】
この処理への入力は以下の通りである。
- 現在の符号化ブロックを含む輝度符号化ツリーブロックの左上のサンプルの位置(xCtb,yCtb)、
- 右下中心サンプルを含む、同じ場所に位置する輝度符号化ブロックの左上サンプルの位置(xColCtrCb,yColCtrCb)。
- 近傍の符号化ユニットの可用性フラグavailableFlagA
- 近傍の符号化ユニットの参照インデックスrefIdxLXA
- 近傍の符号化ユニットの予測リスト利用フラグpredFlagLXA
- 近傍の符号化ユニットの1/16端数サンプル精度mvLXAにおける動きベクトル。
【0373】
この処理の出力は以下の通りである。
- 動きベクトルctrMvL0およびctrMvL1、
- 予測リスト利用フラグctrPredFlagL0、ctrPredFlagL1、
- 時間的動きベクトルtempMv。
【0374】
変数tempMvは、以下のように設定される。
tempMv[0]=0 (8-558)
tempMv[1]=0 (8-559)
【0375】
変数currPicは、現在のピクチャを規定する。
【0376】
availableFlagAがTRUEに等しい場合、以下が適用される。
- 以下のすべての条件が真である場合、tempMvはmvL0Aに等しく設定される。
- predFlagL0Aが1に等しい、
- DiffPicOrderCnt(ColPic,RefPicList[0][refIdxL0A])が0に等しい、
- そうでない場合、以下のすべての条件が真である場合、tempMvはmvL1A:に等しく設定される。
- スライスタイプはBと同じである、
- predFlagL1Aが1に等しい、
- DiffPicOrderCnt(ColPic,RefPicList[1][refIdxL1A])は0に等しい。
【0377】
【化8】
【0378】
配列colPredModeは、ColPicが指定したコロケーションされたピクチャの予測モード配列CuPredMode[0]に等しく設定される。
【0379】
動きベクトルctrMvL0、ctrMvL1、および予測リスト利用フラグctrPredFlagL0、ctrPredFlagL1は、以下のように導出する。
- colPredMode[xColCb][yColCb]がMODE_INTERと等しい場合、以下が適用される。
- 変数currCbは、現在のピクチャ内で(xCtrCb,yCtrCb)を含む輝度符号化ブロックを規定する。
- 変数colCbは、ColPicの内部において、((xColCb>>3)<<3,(yColCb>>3)<<3)で与えられる修正位置を含む輝度符号化ブロックを規定する。
- 輝度位置(xColCb,yColCb)は、ColPicによって指定されたコロケーションされたピクチャの左上輝度サンプルに対して、colCbによって指定された同一位置輝度符号化ブロックの左上サンプルに等しく設定される。
- 8.5.2.12項に規定されている同一位置動きベクトルの導出処理は、currCb、colCb,(xColCb,yColCb)、0と等しく設定されたrefIdxL0、および1に等しく設定されたsbFlagを入力とし、出力をctrMvL0およびctrPredFlagL0に割り当てることにより呼び出される。
- 8.5.2.12項に規定されている同一位置動きベクトルの導出処理は、currCb,colCb,(xColCb,yColCb),0に等しく設定されたrefIdxL1、および1に等しく設定されたsbFlagを入力とし、出力をctrMvL1およびctrPredFlagL1に割り当てることにより呼び出される。
- そうでない場合、以下が適用される。
ctrPredFlagL0=0 (8-563)
ctrPredFlagL1=0 (8-564)
【0380】
8.5.6.3 端数サンプル補間処理
【0381】
8.5.6.3.1 一般
【0382】
この処理への入力は以下の通りである。
- 現在のピクチャの左上の輝度サンプルに対する現在の符号化サブブロックの左上のサンプルを規定する輝度位置(xSb,ySb)、
- 現在の符号化サブブロックの幅を規定する変数sbWidth、
- 現在の符号化サブブロックの高さを規定する変数sbHeight、
- 動きベクトルオフセットmvOffset、
- 微調整された動きベクトルrefMvLX、
- 選択された参照ピクチャサンプル配列refPicLX、
- 1/2サンプル補間フィルタインデックスhpelIfIdx、
- 双方向オプティカルフローフラグbdofFlag、
- 現在のブロックの色成分インデックスを規定する変数cIdx。
【0383】
この処理の出力は以下の通りである。
- 予測サンプル値の(sbWidth+brdExtSize)x(sbHeight+brdExtSize)配列predSamplesLX。
【0384】
予測ブロック境界拡大サイズbrdExtSizeは、以下のように導出する。
brdExtSize=(bdofFlag||(inter_affine_flag[xSb][ySb] && sps_affine_prof_enabled_flag))?2:0 (8-752)
【0385】
変数fRefWidthは、輝度サンプルにおける参照ピクチャのPicOutputWidthLに等しく設定される。
【0386】
変数fRefHeightは、輝度サンプルにおける参照ピクチャのPicOutputHeightLに等しく設定される。
【0387】
動きベクトルmvLXは、(refMvLX-mvOffset)に等しく設定される。
- cIdxが0に等しい場合、以下が適用される。
- スケーリングファクタおよびその固定小数点表現は、以下のように定義される。
hori_scale_fp=((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL (8-753)
vert_scale_fp=((fRefHeight<<14)+(PicOutputHeightL>>1))/PicOutputHeightL (8-754)
- (xIntL,yIntL)をフルサンプルユニットで与えられた輝度位置とし、(xFracL,yFracL)を1/16サンプル単位で与えられたオフセットとする。これらの変数は、本項でのみ、参照サンプル配列refPicLX内の端数サンプル位置を規定するために使用される。
- 参照サンプルパディング用バウンディングブロック(xSbInt,ySbInt)の左上座標を、(xSb+(mvLX[0]>>4),ySb+(mvLX[1]>>4))に等しく設定する。
- 予測輝度サンプル配列predSamplesX内の各輝度サンプル位置(xL=0..sbWidth-1+brdExtSize,y=0..sbHeight-1+brdExtSize)について、対応する予測輝度サンプル値predSamplesLX[x][y]は下記のように導出する。
- (refxSb,refySb)および(refx,refy)を、1/16サンプル単位で与えられる動きベクトル(refMvLX[0],refMvLX[1])が指す輝度位置とする。変数refxSb、refx、refySb、refyは、以下のように導出する。
refxSb=((xSb<<4)+refMvLX[0])*hori_scale_fp (8-755)
refx=((Sign(refxSb)*((Abs(refxSb)+128)>>8)
+x*((hori_scale_fp+8)>>4))+32)>>6 (8-756)
refySb=((ySb<<4)+refMvLX[1])*vert_scale_fp (8-757)
refyL=((Sign(refySb)*((Abs(refySb)+128)>>8)+yL*
((vert_scale_fp+8)>>4))+32)>>6 (8-758)
- 変数xInt、yInt、xFrac、およびyFracは、以下のように導出する。
xInt=refx>>4 (8-759)
yInt=refy>>4 (8-760)
xFrac=refx&15 (8-761)
yFrac=refy&15 (8-762)
【0388】
【化9】
【0389】
- bdofFlagがTRUEに等しいか(sps_affine_prof_enabled_flagがTRUEに等しく、inter_affine_flag[xSb][ySb]がTRUEに等しい)、次の条件の1つ以上が真である場合、予測輝度サンプル値predSamplesLX[x][y]は、8.5.6.3.3で規定されているように、入力として(xInt+(xFrac>>3)-1),yInt+(yFrac>>3)-1)およびrefPicLXを使用して輝度整数サンプル取り出し処理を呼び出すことによって導出する。
1. xは0に等しい。
2. xは、sbWidth+1に等しい。
3. yは0に等しい。
4. yは、sbHeight+1に等しい。
【0390】
【化10】
【0391】
- そうでない場合(cIdxが0に等しくない)、以下が適用される。
- (xIntC,yIntC)をフルサンプルユニットで与えられたクロマ位置とし、(xFracC,yFracC)を1/32サンプル単位で与えられたオフセットとする。これらの変数は、本項でのみ、参照サンプル配列refPicLX内の一般的な端数サンプルの位置を規定するために使用される。
- 参照サンプルパディング用バウンディングブロック(xSbIntC,ySbIntC)の左上座標は、((xSb/SubWidthC)+(mvLX[0]>>5),(ySb/SubHeightC)+(mvLX[1]>>5))に等しく設定される。
- 予測クロマサンプル配列predSamplesLX内の各クロマサンプル位置(xC=0..sbWidth-1,yC=0..sbHeight-1)について、対応する予測クロマサンプル値predSamplesLX[xC][yC]は、以下のように導出する。
- (refxSb,refySb)および(refx,refy)を、1/32サンプル単位で与えられる動きベクトル(mvLX[0],mvLX[1])が指すクロマ位置とする。変数refxSb、refySb、refx、refyは、以下のように導出する。
refxSb=((xSb/SubWidthC<<5)+mvLX[0])*hori_scale_fp (8-763)
refx=((Sign(refxSb)*((Abs(refxSb)+256)>>9)
+xC*((hori_scale_fp+8)>>4))+16)>>5 (8-764)
refySb=((ySb/SubHeightC<<5)+mvLX[1])*vert_scale_fp (8-765)
refy=((Sign(refySb)*((Abs(refySb)+256)>>9)
+yC*((vert_scale_fp+8)>>4))+16)>>5 (8-766)
- 変数xInt、yInt、xFrac、yFracは、以下のように導出する。
xInt=refx>>5 (8-767)
yInt=refy>>5 (8-768)
xFrac=refy&31 (8-769)
yFrac=refy&31 (8-770)
- 予測サンプル値predSamplesLX[xC][yC]は、(xIntC,yIntC),(xFracC,yFracC),(xSbIntC,ySbIntC),sbWidth,sbHeight、およびrefPicLXを入力として、8.5.6.3.4で指定した処理を呼び出すことによって導出される。
【0392】
8.5.6.3.2 輝度サンプル補間フィルタリング処理
【0393】
【化11】
【0394】
この処理の出力は、予測輝度サンプル値predSampleLXである。
【0395】
変数shift1、shift2、およびshift3は、以下のように導出する。
- 変数shift1をMin(4,BitDepth_8)に等しく設定し、変数shift2を6に等しく設定し、変数shift3をMax(2,14-BitDepth)に等しく設定する。
- 変数picWはpic_width_in_luma_samplesに等しく設定され、変数picHはpic_height_in_luma_samplesに等しく設定される。
【0396】
【化12】
【0397】
i=0..7の場合、フルサンプルユニット(xInt,yInt)における輝度位置は、以下のように導出する。
- subpic_treated_as_pic_flag[SubPicIdx]が1に等しい場合、以下が適用される。
xInt=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,xInt+i-3) (8-771)
yInt=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,yInt+i-3) (8-772)
- それ以外の場合(subpic_treated_as_pic_flag[SubPicIdx]が0に等しい)、以下が適用される。
xInt=Clip3(0,picW-1,sps_ref_wraparound_enabled_flag?
ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xInt+i-3): (8-773)
xInt+i-3)
yInt=Clip3(0,picH-1,yInt+i-3) (8-774)
【0398】
i=0..7の場合、フルサンプルユニットにおける輝度位置は、以下のようにさらに修正される。
xInt=Clip3(xSbInt-3,xSbIntL+sbWidth+4,xInt) (8-775)
yInt=Clip3(ySbInt-3,ySbInt+sbHeight+4,yInt) (8-776)
【0399】
予測輝度サンプル値predSampleLXは、以下のように導出する。
- xFracおよびyFracの両方が0に等しい場合、predSampleLXの値は、以下のように導出する。
predSampleLX=refPicLX[xInt][yInt]<<shift3 (8-777)
- そうではなく、xFracが0に等しくなく、yFracが0に等しい場合は、predSampleLXの値は、以下のように導出する。
predSampleLX=(Σ i=0[xFrac][i]*refPicLX[xInt][yInt])>>shift1 (8-778)
- そうではなく、xFracが0に等しく、yFracが0に等しくない場合、predSampleLXの値は、以下のように導出する。
predSampleLX=(Σ i=0[yFrac][i]*refPicLX[xInt][yInt])>>shift1 (8-779)
- そうではなく、xFracが0に等しくなく、yFracが0に等しくない場合、predSampleLXの値は、以下のように導出する。
- n=0..7のサンプル配列temp[n]は、以下のように導出する。
temp[n]=(Σ i=0[xFrac][i]*refPicLX[xInt][yInt])>>shift1 (8-780)
- 予測輝度サンプル値predSampleLXは、以下のように導出する。
predSampleLX=(Σ i=0[yFrac][i]*temp
[i])>>shift2 (8-781)
【0400】
【表11】
【0401】
【表12】
【0402】
図30は、映像処理方法3000のフローチャートである。方法3000は、ステップ3010において、映像の現在のブロックと映像のビットストリーム表現との間での変換のために、サブブロックに基づくマージ候補リストにおける最大数の候補(ML)および/または、サブブロックに基づく時間的動きベクトル予測(SbTMVP)候補を、時間的動きベクトル予測(TMVP)が変換時に使用に対して有効にされるかどうか、または、変換に、現在のピクチャ参照(CPR)符号化モードを使用するかどうかに基づいて、サブブロックに基づくマージ候補リストに加えるかどうかを判定すること、を含む。
【0403】
方法3000は、ステップ3020において、前記判定をすることに基づいて前記変換を行うことを含む。
【0404】
図31は、映像処理方法3100のフローチャートである。方法3100は、ステップ3110において、映像の現在のブロックと映像のビットストリーム表現との間での変換のために、時間的動きベクトル予測(TMVP)、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツール、およびアフィン符号化モードを変換に対して有効とされているかどうかに基づいて、サブブロックに基づくマージ候補リストにおける候補の最大数(ML)を判定することを含む。
【0405】
方法3100は、ステップ3120において、判定に基づいて変換を行うことを含む。
【0406】
図32は、映像処理方法3200のフローチャートである。方法3200は、ステップ3210において、映像の第1の映像セグメントの現在のブロックと映像のビットストリーム表現との間での変換のために、第1の映像セグメントレベルにおいて時間的動きベクトル予測(TMVP)モードが無効であるために、サブブロックに基づく動きベクトル予測(SbTMVP)モードの変換が無効にされていると判定することを含む。
【0407】
方法3200は、ステップ3220において、判定に基づいて変換を行うことを含み、ビットストリーム表現は、SbTMVPモードの表示が含まれているか否か、および/またはマージ候補リストにおけるTMVPモードの表示に対するSbTMVPモードの表示の位置を規定するフォーマットに準拠する。
【0408】
図33は、映像処理方法3300のフローチャートである。方法3300は、ステップ3310において、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールまたは時間的動きベクトル予測(TMVP)ツールを使用して符号化された映像の現在のブロックと、映像のビットストリーム表現との間で変換を行うことを含み、現在のブロックまたは現在のブロックの対応する位置の座標または現在のブロックのサブブロックは、SbTMVPツールまたはTMVPツールに関連付けられた動きベクトルの圧縮に基づいてマスクを使用して選択的にマスクされ、マスクの適用は、座標の値とマスクの値との間のビット単位のAND演算を含む。
【0409】
図34は、映像処理方法3400のフローチャートである。方法3400は、ステップ3410において、映像の映像セグメントの現在のブロックの1つ以上の特徴に基づいて、現在のブロックに対してサブブロックに基づく動きベクトル予測(SbTMVP)ツールを適用するための現在のブロックの有効な対応する領域を判定することを含む。
【0410】
方法3400は、ステップ3420において、この判定に基づいて現在のブロックと映像のビットストリーム表現との間で変換を行うことを含む。
【0411】
図35は、映像処理方法3500のフローチャートである。方法3500は、ステップ3510において、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールを使用して符号化される映像の現在のブロックについて、デフォルトの動きベクトルを判定することを含む。
【0412】
方法3500は、ステップ3520において、判定に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことを含み、現在のブロックの中心位置に関連付けられたコロケーションされたピクチャにおける対応する位置を含むブロックから動きベクトルが得られない場合にデフォルトの動きベクトルを判定する。
【0413】
図36は、映像処理方法3600のフローチャートである。方法3600は、ステップ3610において、映像の映像セグメントの現在のブロックについて、現在のブロックの現在のピクチャが、参照ピクチャリストXにおけるインデックスをMに設定した参照ピクチャであり、MおよびXが整数であり、X=0またはX=1である場合にサブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールまたは時間的動きベクトル予測(TMVP)ツールが無効になると推論することを含む。
【0414】
方法3600は、ステップ3620において、推論に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことを含む。
【0415】
図37は、映像処理方法3700のフローチャートである。方法3700は、ステップ3710において、映像の現在のブロックに対して、現在のブロックの現在のピクチャが、参照ピクチャリストXにおけるMに設定されたインデックスを有する参照ピクチャであり、MおよびXが整数である場合にサブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールの適用が有効にされることを判定することを含む。
【0416】
方法3700は、ステップ3720において、この判定に基づいて現在のブロックと映像のビットストリーム表現との間で変換を行うことを含む。
【0417】
図38は、映像処理方法3800のフローチャートである。方法3800は、ステップ3810において、映像の現在のブロックと映像のビットストリーム表現との間で変換を行うことを含み、現在のブロックは、サブブロックに基づく符号化ツールを使用して符号化され、変換を行うことは、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールが有効にされているか無効にされている場合に複数のビン(N)を使用してサブブロックマージインデックスを統一方法で符号化する。
【0418】
図39は、映像処理方法3900のフローチャートである。方法3900は、ステップ3910において、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールを使用して符号化された映像の現在のブロックに対して、SbTMVPツールが現在のブロックを含む現在のピクチャと異なるピクチャにおける対応するブロックを規定するための動きベクトルを判定することを含む。
【0419】
方法3900は、ステップ3920において、判定に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことを含む。
【0420】
図40は、映像処理方法4000のフローチャートである。方法4000は、ステップ4010において、映像の現在のブロックと映像のビットストリーム表現との間での変換のために、現在のブロックを変換するためにアフィン予測が有効にされるか否かに基づいて、動きゼロアフィンマージ候補をサブブロックマージ候補リストに挿入するか否かを判定することを含む。
【0421】
方法4000は、ステップ4020において、前記判定に基づいて前記変換を行うことを含む。
【0422】
図41は、映像処理方法4100のフローチャートである。方法4100は、ステップ4110において、映像の現在のブロックと、サブブロックマージ候補リストを用いる映像のビットストリーム表現との間での変換のために、サブブロックマージ候補リストが満たされていない場合にゼロ動き非アフィンパディング候補をサブブロックマージ候補リストに挿入することを含む。
【0423】
方法4100は、ステップ4120において、挿入した後、変換を行うことを含む。
【0424】
図42は、映像処理方法4200のフローチャートである。方法4200は、ステップ4210において、映像の現在のブロックと映像のビットストリーム表現との間での変換のために、コロケーションされたピクチャにおける対応する位置を含むブロックの1つ以上の動きベクトルから動きベクトルを導出することを判定する規則を使用して、動きベクトルを判定することを含む。
【0425】
方法4200は、ステップ4220において、動きベクトルに基づいて変換を行うことを含む。
【0426】
図43は、映像処理装置4300のブロック図である。本明細書に記載の方法の1つ以上を実装するために、装置4300を使用してもよい。装置4300は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信機等に実施されてもよい。装置4300は、1つ以上の処理装置4302と、1つまたは複数のメモリ4304と、映像処理ハードウェア4306と、を含んでもよい。処理装置4302は、本明細書に記載される1つ以上の方法を実装するように構成されてもよい。メモリ(複数可)4304は、本明細書で説明される方法および技術を実装するために使用されるデータおよびコードを記憶するために使用してもよい。映像処理ハードウェア4306は、本明細書に記載される技術をハードウェア回路にて実装するために使用してもよい。
【0427】
いくつかの実施形態において、映像符号化方法は、図43を参照して説明したように、ハードウェアプラットフォームに実装される装置を使用して実施されてもよい。
【0428】
開示される技術のいくつかの実施形態は、映像処理ツールまたはモードを有効にするように決定または判定することを含む。一例において、映像処理ツールまたはモードが有効にされる場合、エンコーダは、1つの映像ブロックを処理する際にこのツールまたはモードを使用するまたは実装するが、このツールまたはモードの使用に基づいて、結果として得られるビットストリームを必ずしも修正しなくてもよい。すなわち、映像のブロックから映像のビットストリーム表現への変換は、決定または判定に基づいて映像処理ツールまたはモードが有効にされる場合に、この映像処理ツールまたはモードを使用する。別の例において、映像処理ツールまたはモードが有効にされる場合、デコーダは、ビットストリームが映像処理ツールまたはモードに基づいて修正されたことを認識して、ビットストリームを処理する。すなわち、決定または判定に基づいて有効にされた映像処理ツールまたはモードを使用して、映像のビットストリーム表現から映像のブロックへの変換を行う。
【0429】
開示される技術の一部の実施形態は、映像処理ツールまたはモードを無効にする決定または判定を行うことを含む。一例において、映像処理ツールまたはモードが無効にされている場合、エンコーダは、映像のブロックを映像のビットストリーム表現に変換する際に、このツールまたはモードを使用しない。別の例において、映像処理ツールまたはモードが無効にされている場合、デコーダは、ビットストリームが、決定または判定に基づいて有効にされた映像処理ツールまたはモードを使用して修正されていないことを認識して、ビットストリームを処理する。
【0430】
図44は、本明細書で開示される様々な技術が実装され得る例示的な映像処理システム4400を示すブロック図である。様々な実装形態は、システム4400のモジュールの一部または全部を含んでもよい。システム4400は、映像コンテンツを受信するための入力ユニット4402を含んでもよい。映像コンテンツは、未加工または非圧縮フォーマット、例えば、8または10ビットのマルチモジュール画素値で受信されてもよく、または圧縮または符号化フォーマットで受信されてもよい。入力ユニット4402は、ネットワークインターフェース、周辺バスインターフェース、または記憶インターフェースを表してもよい。ネットワークインターフェースの例としては、イーサネット(登録商標)、パッシブ光ネットワーク(PON)等の有線インターフェース、およびWi-Fi(登録商標)またはセルラーインターフェース等の無線インターフェースが挙げられる。
【0431】
システム4400は、本明細書に記載される様々な符号化または符号化方法を実装することができる符号化モジュール4404を含んでもよい。符号化モジュール4404は、入力ユニット4402からの映像の平均ビットレートを符号化モジュール4404の出力に低減し、映像の符号化表現を生成してもよい。従って、この符号化技術は、映像圧縮または映像コード変換技術と呼ばれることがある。符号化モジュール4404の出力は、モジュール4406によって表されるように、記憶されてもよいし、接続された通信を介して送信されてもよい。入力ユニット4402において受信された、記憶されたまたは通信された映像のビットストリーム(または符号化)表現は、モジュール4408によって使用されて、表示インターフェースユニット1910に送信される画素値または表示可能な映像を生成してもよい。ビットストリーム表現からユーザが見ることができる映像を生成する処理は、映像展開と呼ばれることがある。さらに、特定の映像処理動作を「符号化」動作またはツールと呼ぶが、符号化ツールまたは動作は、エンコーダおよびそれに対応する、復号化の結果を逆にする復号化ツールまたは動作が、デコーダによって行われることが理解されよう。
【0432】
周辺バスインターフェースユニットまたは表示インターフェースユニットの例は、ユニバーサルシリアルバス(USB)または高精細マルチメディアインターフェース(HDMI(登録商標))またはディスプレイポート等を含んでもよい。ストレージインターフェースの例は、シリアルアドバンスドテクノロジーアタッチメント(SATA)、PCI、IDEインターフェース等を含む。本明細書に記載される技術は、携帯電話、ノートパソコン、スマートフォン、またはデジタルデータ処理および/または映像表示を実施可能な他のデバイス等の様々な電子デバイスに実施されてもよい。
【0433】
いくつかの実施形態において、次の技術案を実装することができる。
【0434】
A1.映像の現在のブロックと該映像のビットストリーム表現との間での変換のために、サブブロックに基づくマージ候補リストにおける最大数の候補(ML)および/または時間的動きベクトル予測(SbTMVP)を、該サブブロックに基づくマージ候補リストに加えるかどうかを、時間的動きベクトル予測(TMVP)を変換中の使用に対して有効であるか、または現在のピクチャ参照(CPR)符号化モードが該変換に使用されているかどうかに基づいて、判定することと、判定に基づいて、変換を行うことと、を含む、映像処理方法。
【0435】
A2.TMVPツールが無効にされているか、またはSbTMVPツールが無効にされているかの判定に基づいて、SbTMVP候補の使用が無効にされる、解決案A1に記載の方法。
【0436】
A3.MLを判定することは、SbTMVPツールまたはTMVPツールが無効にされているかどうかに基づいて、サブブロックに基づくマージ候補リストからSbTMVP候補を除外することを含む、解決案A2に記載の方法。
【0437】
A4.映像の現在のブロックとこの映像のビットストリーム表現との間での変換のために、時間的動きベクトル予測(TMVP)、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツール、およびアフィン符号化モードがこの変換に対する使用に対して有効であるかどうかに基づいて、サブブロックに基づくマージ候補リストにおける最大数の候補(ML)を判定することと、判定に基づいて、この変換を行うことを含む、映像処理方法。
【0438】
A5.アフィン符号化モードが有効であるとの判定に起因して、MLがオンザフライで設定され、ビットストリーム表現で信号通知される、解決案A4に記載の方法。
【0439】
A6.アフィン符号化モードが無効にされているとの判定により、MLが予め定義される、解決案A4に記載の方法。
【0440】
A7.MLを判定することは、TMVPツールが無効にされていると判定されることによって、MLを0に設定することを含み、SbTMVPツールが有効にされ、現在のブロックのアフィン符号化モードが無効にされる、解決案A2またはA6に記載の方法。
【0441】
A8.MLを判定することは、SbTMVPツールが有効であると判定されることによって、MLを1に設定することを含み、TMVPツールが有効にされ、現在のブロックのアフィン符号化モードが無効にされる、解決案A2またはA6に記載の方法。
【0442】
A9.SbTMVPツールが無効にされている、または現在のブロックの現在のピクチャのコロケーションされた参照ピクチャが現在のピクチャであると判定することによって、SbTMVP候補の使用が無効にされる、解決案A1に記載の方法。
【0443】
A10.MLを判定することは、SbTMVPツールが無効であるか、または現在のピクチャのコロケーションされた参照ピクチャが現在のピクチャであるかに基づいて、サブブロックに基づくマージ候補リストからSbTMVP候補を除外することを含む、解決案A9に記載の方法。
【0444】
A11.MLを判定することは、現在のピクチャのコロケーションされた参照ピクチャが現在のピクチャであると判定されることに基づいて、MLを0に設定することと、現在のブロックのアフィン符号化が無効にされることとを含む、解決案A9に記載の方法。
【0445】
A12.MLを判定することは、SbTMVPツールが有効であると判定されることによって、現在のピクチャのコロケーションされた参照ピクチャが現在のピクチャではなく、現在のブロックのアフィン符号化が無効にされている場合、MLを1に設定することを含む、解決案A9に記載の方法。
【0446】
A13.SbTMVPツールが無効にされているか、または参照ピクチャリスト0(L0)における参照ピクチャインデックス0を有する参照ピクチャが現在のブロックの現在のピクチャであると判定されることによって、SbTMVP候補の使用が無効にされる、解決案A1に記載の方法。
【0447】
A14.MLを判定することは、SbTMVPツールが無効にされているか、またはL0における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャであるかに基づいて、サブブロックに基づくマージ候補リストからSbTMVP候補を除外することを含む、解決案A13に記載の方法。
【0448】
A15.MLを判定することは、SbTMVPツールが有効であると判定されることによって、MLを0に設定することを含み、L0における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャであり、現在のブロックのアフィン符号化が無効にされる、解決案A10またはA13に記載の方法。
【0449】
A16.MLを判定することは、SbTMVPツールが有効であると判定されることによってMLを1に設定することを含み、L0における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャではなく、現在のブロックのアフィン符号化が無効にされる、A13に記載の方法。
【0450】
A17.SbTMVPツールが無効にされているとの判定により、SbTMVP候補の使用が無効にされているか、または参照ピクチャリスト1(L1)における参照ピクチャインデックス0を有する参照ピクチャが現在のブロックの現在のピクチャである、解決案A1に記載の方法。
【0451】
A18.MLを判定することは、SbTMVPツールが無効とされているか、またはL1における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャであるかに基づいて、SbTMVP候補をサブブロックに基づくマージ候補リストから除外することを含む、解決案A17に記載の方法。
【0452】
A19.MLを判定することは、SbTMVPツールが有効であると判定されることによって、MLを0に設定することと、L1における参照ピクチャインデックス0が現在のピクチャである参照ピクチャと、現在のブロックのアフィン符号化とを無効にすることとを含む、A17に記載の方法。
【0453】
A20.MLを判定することは、SbTMVPツールが有効であると判定されることによって、MLを1に設定することを含む、L1における参照ピクチャインデックス0を有する参照ピクチャが現在のピクチャではなく、現在のブロックのアフィン符号化が無効である、A17に記載の方法。
【0454】
A21.1つの映像の第1の映像セグメントの現在のブロックとこの映像のビットストリーム表現との間での変換のために、第1の映像セグメントレベルで時間的動きベクトル予測(TMVP)モードが無効にされているために、1つのサブブロックに基づく動きベクトル予測(SbTMVP)モードがこの変換に対して無効にされていることを判定することと、この判定に基づいて、変換を行うこととを含み、ビットストリーム表現は、SbTMVPモードの表示が含まれているかどうか、および/または、マージ候補リストにおけるTMVPモードの表示に対するSbTMVPの表示の位置を規定するフォーマットに準拠している、映像処理方法。
【0455】
A22.第1の映像セグメントは、シーケンス、スライス、タイルまたはピクチャである、解決案A21に記載の方法。
【0456】
A23.フォーマットは、第1の映像セグメントレベルにTMVPモードの表示を含めることによって、SbTMVPモードの表示を省略することを規定する、解決案A21に記載の方法。
【0457】
A24.前記フォーマットは、SbTMVPモードの表示が、TMVPモードの表示の後、復号化順に第1の映像セグメントレベルにあることを規定する、解決案A21に記載の方法。
【0458】
A25.前記フォーマットは、TMVPモードが無効であると判定されるため、SbTMVPモードの表示を省略することを規定する、解決案A21~A24のいずれかに記載の方法。
【0459】
A26.前記フォーマットは、SbTMVPモードの表示が映像のシーケンスレベルに含まれ、第2の映像セグメントレベルでは省略されることを規定する、解決案A21に記載の方法。
【0460】
A27.第2の映像セグメントレベルの第2の映像セグメントは、スライス、タイル、またはピクチャである、解決案A26に記載の方法。
【0461】
A28.変換は、ビットストリーム表現から現在のブロックを生成する、解決案A1~A27のいずれかに記載の方法。
【0462】
A29.前記変換は、現在のブロックからビットストリーム表現を生成する、解決案A1~A27のいずれかに記載の方法。
【0463】
A30.前記変換を行うことは、1つ以上の復号化規則に基づいて前記ビットストリーム表現を構文解析するステップを含む、解決案A1~A27のいずれかに記載の方法。
【0464】
A31.処理装置と、命令を搭載した非一時的メモリとを含む、映像システムにおける装置であって、処理装置が実行する命令は、処理装置に、解決案A1~A43のいずれか1案に記載の方法を実装させる映像システムにおける装置。
【0465】
A32.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、解決案A1~A43のいずれか1案に記載の方法を実行するためのプログラムコードを含む、コンピュータプログラム製品。
【0466】
いくつかの実施形態において、次の技術案を実装することができる。
【0467】
B1.サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールまたは時間的動きベクトル予測(TMVP)ツールを使用して符号化された映像の現在のブロックと、この映像のビットストリーム表現との間で変換を行うことを含み、SbTMVPツールまたはTMVPツールに関連付けられた動きベクトルの圧縮に基づいて、マスクを使用して、現在のブロックまたはこの現在のブロックのサブブロックに対応する位置の座標を選択的にマスクし、このマスクを適用することは、この座標の値とこのマスクの値とのビット単位のAND演算を含む、映像処理方法。
【0468】
B2.座標が(xN,yN)であり、マスク(MASK)が~(2M-1)に等しい整数であり、Mが整数であり、マスクの適用によりマスクされた座標(xN’,yN’)が得られ、xN’=xN&MASKであり、yN’=yN&MASKであり、“~”がビット単位のNOT演算であり、“&”がビット単位のAND演算である、解決手段B1に記載の方法。
【0469】
B3.M=3またはM=4である、解決案B2に記載の方法。
【0470】
B4.前記動きベクトルの圧縮に基づいて、サイズ2K×2Kの複数のサブブロックが同じ動き情報を共有し、KがMに等しくない整数である、解決案B2またはB3に記載の方法。
【0471】
B5.M=K+1である、解決案B4に記載の方法。
【0472】
B6.SbTMVPツールまたはTMVPツールに関連付けられた動きベクトルが圧縮されていないと判定された場合、前記マスクを適用しない、解決案1に記載の方法。
【0473】
B7.SbTMVPツールのためのマスクがTMVPツールのためのマスクと同じである、解決案B1~B6のいずれかに記載の方法。
【0474】
B8.ATMVPツールのためのマスクがTMVPツールのためのマスクと異なる、解決案B1~B6のいずれかに記載の方法。
【0475】
B9.1つのタイプの圧縮は、非圧縮、8×8圧縮、または16×16圧縮である、解決案B1に記載の方法。
【0476】
B10.前記圧縮のタイプは、映像パラメータセット(VPS)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、スライスヘッダ、またはタイルグループヘッダで信号通知される、解決案B9に記載の方法。
【0477】
B11.前記圧縮のタイプは、現在のブロックに対応する標準プロファイル、レベルまたは層に基づく、解決案B9またはB10に記載の方法。
【0478】
B12.映像の映像セグメントの現在のブロックの1つ以上の特徴に基づいて、現在のブロックに基づいてサブブロックに基づく動きベクトル予測(SbTMVP)ツールを適用するための、現在のブロックの有効な対応する領域を判定することと、この判定に基づいて、現在のブロックと映像のビットストリーム表現との間で変換を行うことと、を含む映像処理方法。
【0479】
B13.1つ以上の特徴は、前記現在のブロックの高さまたは幅を含む、解決案B12に記載の方法。
【0480】
B14.1つ以上の特徴は、現在のブロックに関連付けられた動きベクトルの圧縮のタイプを含む、解決案B12に記載の方法。
【0481】
B15.圧縮のタイプが圧縮を含まないと判定されることによって、有効な対応する領域が第1のサイズであり、有効な対応する領域が、圧縮のタイプがK×K圧縮を含むと判定されることによって、第1のサイズよりも大きい第2のサイズである、解決案B14に記載の方法。
【0482】
B16.有効な対応する領域のサイズは、サイズM×Nが符号化ツリーユニット(CTU)領域のサイズよりも小さい基本領域に基づいており、現在のブロックのサイズはW×Hである、解決案B12に記載の方法。
【0483】
B17.CTU領域のサイズが128×128であり、M=64であり、N=64である、解決案B16に記載の方法。
【0484】
B18.W≦Mであり、H≦Nであると判定されることにより、有効な対応する領域が、コロケーションされたピクチャにおけるコロケーション基本領域および拡張である、解決案B16に記載の方法。
【0485】
B19.W>M、H>Nであると判定されると、現在のブロックを複数の部分に分割し、複数の部分の各々は、SbTMVPツールを適用するための個々の有効な対応する領域を含む、解決案B16に記載の方法。
【0486】
B20.サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールを使用して符号化された映像の現在のブロックに対して、デフォルトの動きベクトルを判定することと、この判定に基づいて、現在のブロックとこの映像のビットストリーム表現との間で変換を行うこととを含み、現在のブロックの中心位置に関連付けられた、このコロケーションされたピクチャにおける対応する位置を含むブロックから動きベクトルが得られていないと判定されたことによりデフォルトの動きベクトルを判定する、映像処理方法。
【0487】
B21.前記デフォルトの動きベクトルが(0,0)に設定される、解決案B20に記載の方法。
【0488】
B22.デフォルトの動きベクトルは、履歴に基づく動きベクトル予測(HMVP)テーブルから導出する、解決案B20に記載の方法。
【0489】
B23.HMVPテーブルが空であると判定されることにより、デフォルトの動きベクトルが(0,0)に設定される、解決案B22に記載の方法。
【0490】
B24.デフォルトの動きベクトルは、予め定義され、映像パラメータセット(VPS)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、スライスヘッダ、タイルグループヘッダ、符号化ツリーユニット(CTU)、または符号化ユニット(CU)に信号通知される、解決案B22に記載の方法。
【0491】
B25.HMVPテーブルが空でないと判定されることに基づいて、デフォルトの動きベクトルをHMVPテーブルに記憶された第1の要素に設定する、解決案B22に記載の方法。
【0492】
B26.HMVPテーブルが空でないと判定されることに基づいて、デフォルトの動きベクトルをHMVPテーブルに記憶された最後の要素に設定する、解決案B22に記載の方法。
【0493】
B27.HMVPテーブルが空でないと判定されることに基づいて、デフォルトの動きベクトルをHMVPテーブルに記憶された特定の動きベクトルに設定する、解決案B22に記載の方法。
【0494】
B28.特定の動きベクトルは、参照リスト0を参照する、解決案B27に記載の方法。
【0495】
B29.特定の動きベクトルは、参照リスト1を参照する、解決案B27に記載の方法。
【0496】
B30.特定の動きベクトルは、参照リスト0における特定の参照ピクチャを参照する、解決案B27に記載の方法。
【0497】
B31.特定の動きベクトルは、参照リスト1における特定の参照ピクチャを参照する、解決案B27に記載の方法。
【0498】
B32.特定の参照ピクチャは、インデックス0を有する、解決案B30またはB31に記載の方法。
【0499】
B33.特定の動きベクトルは、コロケーションされたピクチャを参照する、解決案B27に記載の方法。
【0500】
B34.HMVPテーブルにおける検索処理において特定の動きベクトルが見つからないと判定された場合、デフォルトの動きベクトルを予め定義されたデフォルトの動きベクトルに設定する、解決案B22に記載の方法。
【0501】
B35.検索処理は、HMVPテーブルの最初の要素のみを検索するか、または最後の要素のみを検索する、解決案B34に記載の方法。
【0502】
B36.検索処理は、HMVPテーブルの要素のサブセットのみを検索する、解決案B34に記載の方法。
【0503】
B37.デフォルトの動きベクトルは、現在のブロックの現在のピクチャを参照しない、解決案B22に記載の方法。
【0504】
B38.デフォルトの動きベクトルがコロケーションされたピクチャを参照しない判定に基づいて、デフォルトの動きベクトルをコロケーションされたピクチャにスケーリングする、解決案B22に記載の方法。
【0505】
B39.デフォルトの動きベクトルは、近傍のブロックから導出する、解決案B20に記載の方法。
【0506】
B40.近傍のブロック(A0)の右上隅が現在のブロックの左下隅に直接隣接しているか、または近傍のブロック(A1)の右下隅が現在のブロックの左下隅に直接隣接しているか、または近傍のブロック(B0)の左下隅が現在のブロックの右上隅に直接隣接しているか、または近傍のブロック(B1)の右下隅が現在のブロックの右上隅に直接隣接しているか、または近傍のブロック(B2)の右下隅が現在のブロックの左上隅に直接隣接している、解決案B39に記載の方法。
【0507】
B41.デフォルトの動きベクトルは、近傍のブロックA0、A1、B0、B1、B2のうちの1つのみから導出する、解決案B40に記載の方法。
【0508】
B42.デフォルトの動きベクトルは、近傍のブロックA0、A1、B0、B1、B2のうちの1つ以上のブロックから導出する、解決案B40に記載の方法。
【0509】
B43.近傍のブロックA0、A1、B0、B1、B2のいずれかに有効なデフォルトの動きベクトルが見つからないと判定された場合、デフォルトの動きベクトルを予め定義されたデフォルトの動きベクトルに設定する、解決案B40に記載の方法。
【0510】
B44.予め定義されたデフォルトの動きベクトルは、映像パラメータセット(VPS)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、スライスヘッダ、タイルグループヘッダ、符号化ツリーユニット(CTU)、または符号化ユニット(CU)において信号通知される、解決案B43に記載の方法。
【0511】
B45.予め定義されたデフォルトの動きベクトルが(0,0)である、解決案B43またはB44に記載の方法。
【0512】
B46.デフォルトの動きベクトルは、近傍のブロックからの特定の動きベクトルに設定される、解決案B39に記載の方法。
【0513】
B47.特定の動きベクトルは、参照リスト0を参照する、解決案B46に記載の方法。
【0514】
B48.特定の動きベクトルは、参照リスト1を参照する、解決案B46に記載の方法。
【0515】
B49.特定の動きベクトルは、参照リスト0における特定の参照ピクチャを参照する、解決案B46に記載の方法。
【0516】
B50.特定の動きベクトルは、参照リスト1における特定の参照ピクチャを参照する、解決案B46に記載の方法。
【0517】
B51.特定の参照ピクチャは、インデックス0を有する、解決案B49またはB50に記載の方法。
【0518】
B52.特定の動きベクトルは、コロケーションされたピクチャを参照する、解決案B46に記載の方法。
【0519】
B53.コロケーションされたピクチャにおける対応する位置を含むブロックがイントラ符号化されていると判定されることにより、デフォルトの動きベクトルを使用する、解決案B20に記載の方法。
【0520】
B54.導出方法は、コロケーションされたピクチャにおける対応する位置を含むブロックが位置していないと判定されることによって修正される、解決案B20に記載の方法。
【0521】
B55.デフォルトの動きベクトル候補が常に利用可能である、解決案B20に記載の方法。
【0522】
B56.デフォルトの動きベクトル候補が利用不可能に設定されていると判定されると、代替的にデフォルトの動きベクトルを導出する、解決案B20に記載の方法。
【0523】
B57.デフォルトの動きベクトルの可用性は、映像セグメントに関連付けられたビットストリーム表現における構文情報に基づく、解決案B20に記載の方法。
【0524】
B58.構文情報は、SbTMVPツールを有効にする表示を含み、映像セグメントは、スライス、タイルまたはピクチャである、解決案B57に記載の方法。
【0525】
B59.現在のブロックの現在のピクチャはイントラランダムアクセスポイント(IRAP)参照インデックスピクチャではなく、現在のピクチャは、参照インデックス0を有する参照ピクチャリスト0(L0)に挿入されない、解決案B58に記載の方法。
【0526】
B60.SbTMVPツールが有効であるとの判定により、SbTMVPツールに関連付けられた候補に固定インデックスまたは固定インデックス群を割り当て、SbTMVPツールが無効であると判断された場合、SbTMVPツール以外の符号化ツールに関連付けられた候補に固定インデックスまたは固定インデックス群を割り当てる、解決案B20に記載の方法。
【0527】
B61.映像の映像セグメントの現在のブロックに対して、現在のブロックの現在のピクチャが、参照ピクチャリストXにおけるMに設定されたインデックスを有する参照ピクチャであり、MおよびXが整数であり、X=0またはX=1であると判定されることに基づいて、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールまたは時間的動きベクトル予測(TMVP)ツールが映像セグメントに対して無効にされることを推論することと、推論に基づいて、現在のブロックと映像のビットストリーム表現との間の変換を行うことと、を含む映像処理方法。
【0528】
B62.SbTMVPツールまたはTMVPツールのための参照ピクチャリストXに対して、Mが、時間的ブロックの動き情報をスケーリングする対象参照ピクチャインデックスに対応する、解決案B61に記載の方法。
【0529】
B63.現在のピクチャは、イントラランダムアクセスポイント(IRAP)ピクチャである、解決案B61に記載の方法。
【0530】
B64.映像の現在のブロックに対して、現在のブロックの現在のピクチャが、参照ピクチャリストXにおけるMに設定されたインデックスを有する参照ピクチャであり、MおよびXが整数であると判定されることによって、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールの適用が有効であることを判定することと、この判定に基づいて、現在のブロックと映像のビットストリーム表現との間の変換を行うことと、を含む映像処理方法。
【0531】
B65.現在のブロックの各サブブロックに対応する動き情報は、現在のピクチャを参照する、解決案B64に記載の方法。
【0532】
B66.現在のブロックのサブブロックのための動き情報が1つの時間的ブロックから導出され、この時間的ブロックは、この時間的ブロックの現在のピクチャを参照する、少なくとも1つの参照ピクチャで符号化される、解決案B64に記載の方法。
【0533】
B67.変換は、スケーリング演算を除外する、解決案B66に記載の方法。
【0534】
B68.映像の現在のブロックと映像のビットストリーム表現との間で変換を行うことを含み、現在のブロックは、サブブロックに基づく符号化ツールを使用して符号化され、この変換を行うことは、サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールが有効または無効であると判定されることに基づいて、複数のビン(N)を使用してサブブロックマージインデックスを統一方法で符号化することを含む、映像処理方法。
【0535】
B69.複数のビンの第1の数のビン(L)はコンテキスト符号化され、第2の数のビン(N-L)はバイパス符号化される、解決案B68に記載の方法。
【0536】
B70.L=1である、解決案B69に記載の方法。
【0537】
B71.複数のビンの各々は、コンテキスト符号化される、解決案B68に記載の方法。
【0538】
B72.変換は、ビットストリーム表現から現在のブロックを生成する、解決案B1~B71のいずれかに記載の方法。
【0539】
B73.変換は、現在のブロックからビットストリーム表現を生成する、解決案B1~B71のいずれかに記載の方法。
【0540】
B74.変換を行うことは、1つ以上の復号化規則に基づいてビットストリーム表現を構文解析することを含む、解決案B1~B71のいずれかに記載の方法。
【0541】
B75.処理装置と、命令を搭載した非一時的メモリとを備え、映像システムにおける装置であって、処理装置が実行する命令は、処理装置に、解決案B1~B11のいずれか1案に記載の方法を実装させることを特徴とする装置。
【0542】
B76.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、コンピュータプログラム製品は、解決案B1~B11のいずれか1案に記載の方法を実行するためのプログラムコードを含む。
【0543】
いくつかの実施形態において、次の技術案を実装することができる。
【0544】
C1.サブブロックに基づく時間的動きベクトル予測(SbTMVP)ツールを使用して符号化された映像の現在のブロックに対して、SbTMVPツールが現在のブロックを含む現在のピクチャと異なるピクチャにおける対応するブロックの位置を突き止めるために使用する動きベクトルを判定することと、この判定に基づいて、現在のブロックと映像のビットストリーム表現との間の変換を行うことと、を含む映像処理方法。
【0545】
C2.動きベクトルは、デフォルトの動きベクトルに設定される、解決案1に記載の方法。
【0546】
C3.デフォルトの動きベクトルは、(0,0)である、解決案C2に記載の方法。
【0547】
C4.デフォルトの動きベクトルは、映像パラメータセット(VPS)、シーケンスパラメータセット(SPS)、ピクチャパラメータセット(PPS)、スライスヘッダ、タイルグループヘッダ、符号化ツリーユニット(CTU)、または符号化ユニット(CU)において信号通知される、ステップC2に記載の方法。
【0548】
C5.動きベクトルが、履歴に基づく動きベクトル予測(HMVP)テーブルに記憶された動きベクトルに設定される、解決案C1に記載の方法。
【0549】
C6.HMVPテーブルが空であると判定されることに基づいて、動きベクトルをデフォルトの動きベクトルに設定する、解決案C5に記載の方法。
【0550】
C7.デフォルトの動きベクトルは、(0,0)である、解決案C6に記載の方法。
【0551】
C8.HMVPテーブルが空でないと判定されることに基づいて、動きベクトルをHMVPテーブルに記憶された第1の動きベクトルに設定する、解決案C5に記載の方法。
【0552】
C9.HMVPテーブルが空でないと判定されることにより、動きベクトルをHMVPテーブルに記憶された最後の動きベクトルに設定する、解決案C5に記載の方法。
【0553】
C10.HMVPテーブルが空でないと判定されることに基づいて、動きベクトルをHMVPテーブルに記憶された特定の動きベクトルに設定する、解決案C5に記載の方法。
【0554】
C11.特定の動きベクトルは、参照リスト0を参照する、解決案C10に記載の方法。
【0555】
C12.特定の動きベクトルは、参照リスト1を参照する、解決案C10に記載の方法。
【0556】
C13.特定の動きベクトルは、参照リスト0における特定の参照ピクチャを参照する、解決案C10に記載の方法。
【0557】
C14.特定の動きベクトルは、参照リスト1における特定の参照ピクチャを参照する、解決案C10に記載の方法。
【0558】
C15.特定の参照ピクチャは、インデックス0を有する、解決案C13または14に記載の方法。
【0559】
C16.特定の動きベクトルは、コロケーションされたピクチャを参照する、解決案C10に記載の方法。
【0560】
C17.HMVPテーブルにおける検索処理において特定の動きベクトルが見つからないと判定された場合、動きベクトルをデフォルトの動きベクトルに設定する、解決案C5に記載の方法。
【0561】
C18.検索処理は、HMVPテーブルの最初の要素のみを検索するか、または最後の要素のみを検索する、解決案C17に記載の方法。
【0562】
C19.検索処理は、HMVPテーブルの要素のサブセットのみを検索する、解決案C17に記載の方法。
【0563】
C20.HMVPテーブルに記憶された動きベクトルが現在のピクチャを参照しない、解決案C5に記載の方法。
【0564】
C21.HMVPテーブルに記憶された動きベクトルがコロケーションされたピクチャを参照していないと判定されたため、HMVPテーブルに記憶された動きベクトルをコロケーションされたピクチャにスケーリングする、解決案C5に記載の方法。
【0565】
C22.動きベクトルは、特定の近傍のブロックの特定の動きベクトルに設定される、解決案C1に記載の方法。
【0566】
C23.特定の近傍のブロック(A0)の右上隅が現在のブロックの左下隅に直接隣接するか、または特定の近傍のブロック(A1)の右下隅が現在のブロックの左下隅に直接隣接するか、または特定の近傍のブロック(B0)の左下隅が現在のブロックの右上隅に直接隣接するか、または特定の近傍のブロック(B1)の右下隅が現在のブロックの右上隅に直接隣接するか、または特定の近傍のブロック(B2)の右下隅が現在のブロックの左上隅に直接隣接する、または現在のブロックの左上隅に直接隣接する、解決案C22に記載の方法。
【0567】
C24.特定の近傍のブロックが存在しないと判定されることにより、動きベクトルをデフォルトの動きベクトルに設定する、解決案C1に記載の方法。
【0568】
C25.特定の近傍のブロックがインター符号化されていないと判定されることにより、動きベクトルをデフォルトの動きベクトルに設定する、解決案C1に記載の方法。
【0569】
C26.特定の動きベクトルは、参照リスト0を参照する、解決案C22に記載の方法。
【0570】
C27.特定の動きベクトルは、参照リスト1を参照する、解決案C22に記載の方法。
【0571】
C28.特定の動きベクトルは、参照リスト0における特定の参照ピクチャを参照する、解決案C22に記載の方法。
【0572】
C29.特定の動きベクトルは、参照リスト1における特定の参照ピクチャを参照する、解決案C22に記載の方法。
【0573】
C30.特定の参照ピクチャはインデックス0を有する、解決案C28またはC29に記載の方法。
【0574】
C31.特定の動きベクトルは、コロケーションされたピクチャを参照する、解決案C22またはC23に記載の方法。
【0575】
C32.特定の近傍のブロックがコロケーションされたピクチャを参照していないと判定されることにより、動きベクトルをデフォルトの動きベクトルに設定する、解決案C22またはC23に記載の方法。
【0576】
C33.デフォルトの動きベクトルが(0,0)である、解決案C24~C32のいずれかに記載の方法。
【0577】
C34.特定の近傍のブロックに記憶された特定の動きベクトルが見つからないと判定された場合、この動きベクトルをデフォルトの動きベクトルに設定する、解決案C1に記載の方法。
【0578】
C35.特定の動きベクトルは、該特定の動きベクトルが該コロケーションされたピクチャを参照しないと判定されることにより、1つのコロケーションされたピクチャにスケーリングされる、解決案C22に記載の方法。
【0579】
C36.特定の動きベクトルは、現在のピクチャを参照しない、解決案C22に記載の方法。
【0580】
C37.変換は、ビットストリーム表現から現在のブロックを生成する、解決案C1~C36のいずれかに記載の方法。
【0581】
C38.変換は、現在のブロックからビットストリーム表現を生成する、解決案C1~C36のいずれかに記載の方法。
【0582】
C39.変換を行うことは、1つ以上の復号化規則に基づいてビットストリーム表現を構文解析することを含む、解決案C1~C36のいずれかに記載の方法。
【0583】
C40.処理装置と、命令を搭載した非一時的メモリとを含む映像システムにおける装置であって、処理装置が実行する命令は、処理装置に、解決案C1~C25のいずれか1案に記載の方法を実装させることを特徴とする装置。
【0584】
C41.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、コンピュータプログラム製品は、解決案C1~C25のいずれか1案に記載の方法を実行するためのプログラムコードを含む。
【0585】
いくつかの実施形態において、次の技術案を実装することができる。
【0586】
D1.映像の現在のブロックと映像のビットストリーム表現との間での変換のために、現在のブロックの変換に対してアフィン予測が有効にされているかどうかに基づいて、動きゼロアフィンマージ候補をサブブロックマージ候補リストに挿入するかどうかを判定することと、この判定に基づいて、この変換を行うことを含む、映像処理方法。
【0587】
D2.ビットストリーム表現におけるアフィン使用フラグがオフであると判定されるために、動きゼロアフィンマージ候補をサブブロックマージ候補リストに挿入しない、解決案D1に記載の方法。
【0588】
D3.アフィン使用フラグがオフであると判定されたことにより、非アフィン候補であるデフォルトの動きベクトル候補をサブブロックマージ候補リストに挿入することをさらに含む、解決案D2に記載の方法。
【0589】
D4.映像の現在のブロックと、サブブロックマージ候補リストを使用する映像のビットストリーム表現との間での変換のために、サブブロックマージ候補リストが満たされていないと判定された場合、ゼロ動き非アフィンパディング候補をサブブロックマージ候補リストに挿入することと、この挿入に続いて、この変換を行うことと、を含む、映像処理方法。
【0590】
D5.現在のブロックのアフィン使用フラグを0に設定することをさらに含む、解決案D4に記載の方法。
【0591】
D6.挿入するステップは、ビットストリーム表現におけるアフィン使用フラグがオフであるかどうかにさらに基づく、解決案D4に記載の方法。
【0592】
D7.映像の現在のブロックと映像のビットストリーム表現との間での変換のために、動きベクトルが、コロケーションされたピクチャにおける対応する位置を含むブロックの1つ以上の動きベクトルから導出されたものであると判定する規則を使用して、動きベクトルを判定し、この動きベクトルに基づいて、この変換を行うことを含む、映像処理方法。
【0593】
D8.1つ以上の動きベクトルは、参照リスト0および参照リスト1における動きベクトルをそれぞれ表すMV0およびMV1を備え、導出するべき動きベクトルは、参照リスト0および参照リスト1における動きベクトルを表すMV0’およびMV1’を備える、解決案D7に記載の方法。
【0594】
D9.1つのコロケーションされたピクチャが参照リスト0にあると判定されることにより、MV0’およびMV1’がMV0に基づいて導出する、解決案D8に記載の方法。
【0595】
D10.1つのコロケーションされたピクチャが参照リスト1にあると判定されることに基づいて、MV0’およびMV1’がMV1に基づいて導出する、解決案D8に記載の方法。
【0596】
D11.変換は、ビットストリーム表現から現在のブロックを生成する解決案D1~D10のいずれかに記載の方法。
【0597】
D12.変換は、現在のブロックからビットストリーム表現を生成する、解決案D1~D16のいずれか1案に記載の方法。
【0598】
D13.変換を行うことは、1つ以上の復号化規則に基づいてビットストリーム表現を構文解析することを含む、解決案D1~D10のいずれかに記載の方法。
【0599】
D14.処理装置と、命令を搭載した非一時的メモリとを含む、映像システムにおける装置であって、処理装置が実行する命令は、処理装置に、解決案D1~D18のいずれかいずれか1案に記載の方法を実装させることを特徴とする装置。
【0600】
D15.非一時的なコンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、コンピュータプログラム製品は、解決案D1~D18のいずれかいずれか1案に記載の方法を実行するためのプログラムコードを含む。
【0601】
本明細書に記載された開示されたそして他の解決案、実施例、実施形態、モジュール、および機能操作は、本明細書に開示された構造およびその構造的等価物を含め、デジタル電子回路、またはコンピュータソフトウェア、ファームウェア、若しくはハードウェアで実施されてもよく、またはそれらの1つ以上の組み合わせで実装されてもよい。開示された、そして他の実施形態は、1つ以上のコンピュータプログラム製品、すなわち、データ処理装置によって実装されるため、またはデータ処理装置の操作を制御するために、コンピュータ可読媒体上に符号化されたコンピュータプログラム命令の1つ以上のモジュールとして実装することができる。このコンピュータ可読媒体は、機械可読記憶デバイス、機械可読記憶基板、メモリデバイス、機械可読伝播信号をもたらす物質の組成物、またはこれらの1つ以上の組み合わせであってもよい。「データ処理装置」という用語は、例えば、プログラマブル処理装置、コンピュータ、または複数の処理装置若しくはコンピュータを含め、データを処理するためのすべての装置、デバイス、および機械を含む。この装置は、ハードウェアの他に、当該コンピュータプログラムの実行環境を作るコード、例えば、処理装置ファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、またはこれらの1つ以上の組み合わせを構成するコードを含むことができる。伝播信号は、人工的に生成した信号、例えば、機械で生成した電気、光、または電磁信号であり、適切な受信装置に送信するための情報を符号化するように生成される。
【0602】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、またはコードとも呼ばれる)は、コンパイルされた言語または解釈された言語を含む任意の形式のプログラミング言語で記述することができ、また、それは、スタンドアロンプログラムとして、またはコンピューティング環境で使用するのに適したモジュール、コンポーネント、サブルーチン、または他のユニットとして含む任意の形式で展開することができる。コンピュータプログラムは、必ずしもファイルシステムにおけるファイルに対応するとは限らない。プログラムは、他のプログラムまたはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に記録されていてもよいし、当該プログラム専用の単一のファイルに記憶されていてもよいし、複数の調整ファイル(例えば、1つ以上のモジュール、サブプログラム、またはコードの一部を格納するファイル)に記憶されていてもよい。1つのコンピュータプログラムを、1つのサイトに位置する1つのコンピュータ、または複数のサイトに分散され通信ネットワークによって相互接続される複数のコンピュータで実行させるように展開することも可能である。
【0603】
本明細書に記載された処理およびロジックフローは、入力データ上で動作し、出力を生成することによって機能を行うための1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブル処理装置によって行うことができる。処理およびロジックフローはまた、特定用途のロジック回路、例えば、FPGA(フィールドプログラマブルゲートアレイ)またはASIC(特定用途向け集積回路)によって行うことができ、装置はまた、特別目的のロジック回路として実装することができる。
【0604】
コンピュータプログラムの実行に適した処理装置は、例えば、汎用および専用マイクロ処理装置の両方、並びに任意の種類のデジタルコンピュータの任意の1つ以上の処理装置を含む。一般的に、処理装置は、読み出し専用メモリまたはランダムアクセスメモリまたはその両方から命令およびデータを受信する。コンピュータの本質的な要素は、命令を行うための処理装置と、命令およびデータを記憶するための1つ以上のメモリデバイスである。一般的に、コンピュータは、データを記憶するための1つ以上の大容量記憶デバイス、例えば、磁気、光磁気ディスク、または光ディスクを含んでもよく、またはこれらの大容量記憶デバイスからデータを受信するか、またはこれらにデータを転送するように動作可能に結合されてもよい。しかしながら、コンピュータは、このようなデバイスを有する必要はない。コンピュータプログラム命令およびデータを記憶するのに適したコンピュータ可読媒体は、あらゆる形式の不揮発性メモリ、媒体、およびメモリデバイスを含み、例えば、EPROM、EEPROM、フラッシュメモリデバイス、磁気ディスク、例えば内部ハードディスクまたはリムーバブルディスク、光磁気ディスク、およびCD-ROMおよびDVD-ROMディスク等の半導体メモリデバイスを含む。処理装置およびメモリは、特定用途のロジック回路によって補完されてもよく、または特定用途のロジック回路に組み込まれてもよい。
【0605】
本特許明細書は多くの詳細を含むが、これらは、任意の主題または特許請求され得るものの範囲を限定するものと解釈されるべきではなく、特定の技術の特定の実施形態に特有であり得る特徴の説明と解釈されるべきである。本特許明細書において別個の実施形態の文脈で説明されている特定の特徴は、1つの例において組み合わせて実装してもよい。逆に、1つの例の文脈で説明された様々な特徴は、複数の実施形態において別個にまたは任意の適切なサブコンビネーションで実装してもよい。さらに、特徴は、特定の組み合わせで作用するものとして上記に記載され、最初にそのように主張されていてもよいが、主張された組み合わせからの1つ以上の特徴は、場合によっては、組み合わせから抜粋されることができ、主張された組み合わせは、サブコンビネーションまたはサブコンビネーションのバリエーションに向けられてもよい。
【0606】
同様に、動作は図面において特定の順番で示されているが、これは、所望の結果を達成するために、このような動作が示された特定の順番でまたは連続した順番で実行されること、または示された全ての操作が実行されることを必要とするものと理解されるべきではない。また、本特許明細書に記載されている実施形態における様々なシステムモジュールの分離は、全ての実施形態においてこのような分離を必要とするものと理解されるべきではない。
【0607】
いくつかの実装形態および例のみが記載されており、本特許明細書に記載され図示されている内容に基づいて、他の実施形態、拡張および変形が可能である。
図1
図2
図3
図4A
図4B
図5
図6
図7
図8
図9
図10
図11
図12
図13A
図13B
図14
図15
図16A
図16B
図17
図18A
図18B
図19
図20
図21A
図21B
図22
図23
図24
図25
図26
図27
図28
図29A
図29B
図30
図31
図32
図33
図34
図35
図36
図37
図38
図39
図40
図41
図42
図43
図44
【手続補正書】
【提出日】2023-08-16
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
映像データをコーディングする方法であって、
サブブロックに基づく時間的動きベクトル予測を用いてコーディングされた映像の現在のブロックと前記映像のビットストリームとの変換のために、時間的動き情報をデフォルトの動き情報に初期化することと、
前記時間的動き情報を、特定の近傍のブロックA1に関連する特定の動き情報に設定することであって、前記特定の近傍のブロックA1は、前記現在のブロックに対して左下隅に隣接し、前記特定の近傍のブロックA1の参照ピクチャは、前記現在のブロックを構成する現在のピクチャとは異なる、前記現在のブロックのコロケーションされたピクチャである、設定することと、
前記コロケーションされたピクチャにおいて、前記現在のブロックの少なくとも1つの映像領域を特定することと、
前記現在のブロックに関連する少なくとも1つのサブブロック動き情報を導出することとと、
を含む方法。
【請求項2】
前記特定の近傍のブロックA1は、輝度位置(xCb-1,yCb+cbHeight-1)をカバーし、
(xCb,yCb)は、前記現在のピクチャの左上輝度サンプルに関連する前記現在のブロックの左上サンプルの輝度位置であり、
cbHeightは、前記現在のブロックの高さである、
請求項1に記載の方法。
【請求項3】
少なくとも前記サブブロック動き情報に基づいてサブブロック動き候補リストを構築することと、
前記サブブロック動き候補リストに基づいて前記変換を実行することと、を含み、
前記ビットストリームにサブブロックマージインデックスが含まれる、
請求項1又は2に記載の方法。
【請求項4】
複数のビン(N)が、前記サブブロックマージインデックスを提示するために使用される、
請求項3に記載の方法。
【請求項5】
前記複数のビンのうちの第1の数のビン(L)がコンテキストコーディングされ、第2の数のビン(N-L)がバイパスコーディングされる、
請求項4に記載の方法。
【請求項6】
L=1である、
請求項5に記載の方法。
【請求項7】
前記デフォルトの動き情報に関連する動きベクトルが、(0,0)である、
請求項1から6のいずれか1項に記載の方法。
【請求項8】
前記変換は、前記ビットストリームから前記現在のブロックを復号することを含む、
請求項1から7のいずれか1項に記載の方法。
【請求項9】
前記変換は、前記現在のブロックを前記ビットストリームに符号化することを含む、
請求項1から7のいずれか1項に記載の方法。
【請求項10】
前記変換は、前記現在のブロックから前記ビットストリームを生成することを含み、
前記方法は、更に、前記ビットストリームを非一時的なコンピュータ可読記録媒体に記憶することを含む、
請求項1から7のいずれか1項に記載の方法。
【請求項11】
処理装置と、命令が記憶された非一時的メモリと、を備える映像データを処理する装置であって、
前記命令は、前記処理装置による実行時に、前記処理装置に、
サブブロックに基づく時間的動きベクトル予測を用いてコーディングされた映像の現在のブロックと前記映像のビットストリームとの変換のために、時間的動き情報をデフォルトの動き情報に初期化することと、
前記時間的動き情報を、特定の近傍のブロックA1に関連する特定の動き情報に設定することであって、前記特定の近傍のブロックA1は、前記現在のブロックに対して左下隅に隣接し、前記特定の近傍のブロックA1の参照ピクチャは、前記現在のブロックを構成する現在のピクチャとは異なる、前記現在のブロックのコロケーションされたピクチャである、設定することと、
前記コロケーションされたピクチャにおいて、前記現在のブロックの少なくとも1つの映像領域を特定することと、
前記現在のブロックに関連する少なくとも1つのサブブロック動き情報を導出することとと、を実行させる、
装置。
【請求項12】
映像処理装置によって実行される方法によって生成されたビットストリームを記憶する非一時的なコンピュータ可読記録媒体であって、
前記方法は、
サブブロックに基づく時間的動きベクトル予測を用いてコーディングされた映像の現在のブロックのために、時間的動き情報をデフォルトの動き情報に初期化することと、
前記時間的動き情報を、特定の近傍のブロックA1に関連する特定の動き情報に設定することであって、前記特定の近傍のブロックA1は、前記現在のブロックに対して左下隅に隣接し、前記特定の近傍のブロックA1の参照ピクチャは、前記現在のブロックを構成する現在のピクチャとは異なる、前記現在のブロックのコロケーションされたピクチャである、設定することと、
前記コロケーションされたピクチャにおいて、前記現在のブロックの少なくとも1つの映像領域を特定することと、
前記現在のブロックに関連する少なくとも1つのサブブロック動き情報を導出することとと、
前記少なくとも1つのサブブロック動き情報に基づいて前記ビットストリームを生成することと、を含む、
非一時的なコンピュータ可読記録媒体。
【請求項13】
命令を記憶する非一時的なコンピュータ可読記憶媒体であって、
前記命令は、処理装置に、
サブブロックに基づく時間的動きベクトル予測を用いてコーディングされた映像の現在のブロックと前記映像のビットストリームとの変換のために、時間的動き情報をデフォルトの動き情報に初期化することと、
前記時間的動き情報を、特定の近傍のブロックA1に関連する特定の動き情報に設定することであって、前記特定の近傍のブロックA1は、前記現在のブロックに対して左下隅に隣接し、前記特定の近傍のブロックA1の参照ピクチャは、前記現在のブロックを構成する現在のピクチャとは異なる、前記現在のブロックのコロケーションされたピクチャである、設定することと、
前記コロケーションされたピクチャにおいて、前記現在のブロックの少なくとも1つの映像領域を特定することと、
前記現在のブロックに関連する少なくとも1つのサブブロック動き情報を導出することとと、を実行させる、
非一時的なコンピュータ可読記憶媒体。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正の内容】
【0001】
(関連出願の相互参照)
願は、日本特許出願2021-526695号に基づく分割出願であり、この日本特許出願は、2019年11月22日出願の国際特許出願PCT/CN2019/120301号に基づくものであり、この国際特許出願は、2018年11月22日出願の国際特許出願PCT/CN2018/116889号、2018年12月29日出願の国際特許出願PCT/CN2018/125420号、2019年8月13日出願の国際特許出願PCT/CN2019/100396号、および2019年9月22日出願の国際特許出願PCT/CN2019/107159号の優先権および利益を主張する。全ての上記特許出願の開示全体は、本明細書の開示の一部として参照により組み込まれる。
【手続補正4】
【補正対象書類名】明細書
【補正対象項目名】0306
【補正方法】変更
【補正の内容】
【0306】
5. 追加の例示的な実施形態(太字のテキストは現行バージョンの規格に対する変更を示す)
【外国語明細書】