IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ベイジン バイトダンス ネットワーク テクノロジー カンパニー リミテッドの特許一覧 ▶ バイトダンス インコーポレイテッドの特許一覧

特表2022-551937参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
<>
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図1
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図2
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図3A
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図3B
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図3C
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図4A
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図4B
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図5
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図6
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図7
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図8
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図9
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図10
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図11
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図12
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図13
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図14
  • 特表-参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用 図15
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-12-14
(54)【発明の名称】参照ピクチャリサンプリングと映像コーディングツールとの間の相互作用
(51)【国際特許分類】
   H04N 19/513 20140101AFI20221207BHJP
【FI】
H04N19/513
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022521959
(86)(22)【出願日】2020-10-13
(85)【翻訳文提出日】2022-04-19
(86)【国際出願番号】 CN2020120554
(87)【国際公開番号】W WO2021073488
(87)【国際公開日】2021-04-22
(31)【優先権主張番号】62/914,544
(32)【優先日】2019-10-13
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】520476341
【氏名又は名称】北京字節跳動網絡技術有限公司
【氏名又は名称原語表記】Beijing Bytedance Network Technology Co., Ltd.
【住所又は居所原語表記】Room B-0035, 2/F, No.3 Building, No.30, Shixing Road, Shijingshan District Beijing 100041 China
(71)【出願人】
【識別番号】520477474
【氏名又は名称】バイトダンス インコーポレイテッド
【氏名又は名称原語表記】BYTEDANCE INC.
【住所又は居所原語表記】12655 West Jefferson Boulevard, Sixth Floor, Suite No. 137 Los Angeles, California 90066 United States of America
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ザン,カイ
(72)【発明者】
【氏名】ザン,リー
(72)【発明者】
【氏名】リュウ,ホンビン
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159LB15
5C159LC09
5C159MA04
5C159MA05
5C159MA21
5C159MC11
5C159ME01
5C159NN15
5C159NN21
5C159RC12
5C159UA02
5C159UA05
5C159UA22
(57)【要約】
映像処理の方法の一例は、映像の現在ピクチャと該映像のビットストリーム表現との間での変換のために、複数参照ピクチャのうちの1つの参照ピクチャの部分又は現在ピクチャの部分の寸法に関連する条件に基づいて、コーディングツールの使用を決定することを含む。当該方法はまた、上記決定に基づいて上記変換を実行することを含む。
【特許請求の範囲】
【請求項1】
映像処理のための方法であって、
映像の現在ピクチャと前記映像のビットストリーム表現との間での変換のために、複数参照ピクチャのうちの1つの参照ピクチャの部分又は前記現在ピクチャの部分の寸法に関連する条件に基づいて、コーディングツールの使用を決定するステップと、
前記決定に基づいて前記変換を実行するステップと、
を有する方法。
【請求項2】
前記使用は、前記コーディングツールが前記現在ピクチャに対して有効にされるかということを有する、請求項1に記載の方法。
【請求項3】
ピクチャの前記部分は、その外側のサンプルが前記映像を出力するときに廃棄可能となる適合ウィンドウ、その中のサンプルがリサンプリング処理にかけられるスケーリングウィンドウ、又は前記ピクチャの全体を有する、請求項1又は2に記載の方法。
【請求項4】
前記コーディングツールは、デコーダ側動きベクトル精緻化コーディングツール、双方向オプティカルフローコーディングツール、オプティカルフローでの予測精緻化(PROF)コーディングツール、又は動き補償用のハーフペル精度の補間フィルタを有する、請求項1乃至3のいずれかに記載の方法。
【請求項5】
前記コーディングツールは更に、時間動きベクトル予測コーディングツール、複数変換セットコーディングツール、クロスコンポーネント適応ループフィルタリングコーディングツール、幾何学的分割コーディングツール、ブロックを複数のパーティションにスプリットするコーディングツールのための混合プロセス、現在ピクチャとは異なるピクチャ内の格納情報を必要とするコーディングツール、ペアワイズマージ候補を生成するコーディングツール、コーディングユニットレベルの重みを用いる双予測、重み付け予測コーディングツール、アフィン予測コーディングツール、又は適応動きベクトル解像度コーディングツールを有する、請求項4に記載の方法。
【請求項6】
前記複数参照ピクチャのうちの少なくとも1つの参照ピクチャの前記部分の前記寸法が前記現在ピクチャの寸法と異なることを規定する前記条件が満たされる場合、前記コーディングツールは無効にされる、請求項1乃至5のいずれかに記載の方法。
【請求項7】
前記部分の前記寸法は、前記決定のために変更される、請求項1乃至6のいずれかに記載の方法。
【請求項8】
前記コーディングツールの前記使用は、(1)前記ピクチャの幅から1つ以上の水平オフセットを引いたもの、又は(2)前記ピクチャの高さから1つ以上の垂直オフセットを引いたもの、のうちの少なくとも一方に基づく、請求項1乃至7のいずれかに記載の方法。
【請求項9】
前記1つ以上の水平オフセットは、スケーリングウィンドウに関する左オフセットを有する、請求項8に記載の方法。
【請求項10】
前記1つ以上の垂直オフセットは、スケーリングウィンドウに関する上オフセットを有する、請求項8に記載の方法。
【請求項11】
前記1つ以上の水平オフセットは、スケーリングウィンドウに関する右オフセット及び左オフセットを有する、請求項8に記載の方法。
【請求項12】
前記1つ以上の垂直オフセットは、スケーリングウィンドウに関する下オフセット及び上オフセットを有する、請求項8に記載の方法。
【請求項13】
前記1つ以上の水平オフセットは、スケーリングウィンドウに関する右オフセット及び左オフセットの和をスケーリングすることに基づく値を有する、請求項8に記載の方法。
【請求項14】
前記1つ以上の垂直オフセットは、スケーリングウィンドウに関する下オフセット及び上オフセットの和をスケーリングすることに基づく値を有する、請求項8に記載の方法。
【請求項15】
前記複数参照ピクチャのうちの少なくとも2つの参照ピクチャの部分の寸法が相異なることを規定する前記条件が満たされる場合、前記コーディングツールは無効にされる、請求項1乃至5のいずれかに記載の方法。
【請求項16】
1つ又は2つの参照ピクチャリストについて第1のペアワイズマージ候補を導出するために使用される前記複数参照ピクチャのうちの少なくとも2つの参照ピクチャの部分の寸法が相異なる場合、該第1のペアワイズマージ候補は使用不可としてマークされる、請求項1乃至5のいずれかに記載の方法。
【請求項17】
前記コーディングツールの前記使用を指し示すシンタックス要素が、前記部分の前記寸法に基づいて条件付きで、前記ビットストリーム表現内でシグナリングされる、請求項1乃至16のいずれかに記載の方法。
【請求項18】
前記コーディングツールの前記使用を指し示す前記シンタックス要素は、前記ビットストリーム表現内で省略される、請求項17に記載の方法。
【請求項19】
前記コーディングツールの前記使用を指し示す前記シンタックス要素は、参照ピクチャリサンプリング(RPR)プロセスが有効にされるかに更に基づいて条件付きで、前記ビットストリーム表現に含められる、請求項17に記載の方法。
【請求項20】
前記シンタックス要素は、amvr_precision_idx、sym_mvd_flag、又はmmvd_merge_flagのうちの1つを有する、請求項18に記載の方法。
【請求項21】
前記コーディングツールの前記使用に従う前記変換は、前記部分の前記寸法に基づいて変更される、請求項1乃至20のいずれかに記載の方法。
【請求項22】
前記変換は、対称動きベクトル差プロセスにて参照ピクチャリストについて動きベクトル差を導出することを有し、該導出は、前記複数参照ピクチャのうちの少なくとも2つのさん部分の寸法の差に基づく、請求項21に記載の方法。
【請求項23】
前記変換は、ペアワイズマージ候補を導出することを有し、該導出は、前記複数参照ピクチャのうちの少なくとも2つの参照ピクチャの部分の寸法の差に基づいて加重平均を適用することを有する、請求項21に記載の方法。
【請求項24】
映像処理のための方法であって、
映像のブロックと前記映像のビットストリーム表現との間での変換を実行するステップ、
を有し、
前記変換において、前記ブロックに参照ピクチャリサンプリングプロセスが適用可能であることに起因して、前記ブロックに対して1/2ペル動きベクトル精度での適応動きベクトル解像度(AMVR)が有効にされる、
方法。
【請求項25】
1/2ペル精度とは異なる精度を持つブロックには異なる補間フィルタが使用される、請求項24に記載の方法。
【請求項26】
前記参照ピクチャの前記部分の前記寸法に関連する前記条件は、前記参照ピクチャに関連付けられたフラグによって示される、請求項1乃至25のいずれかに記載の方法。
【請求項27】
参照ピクチャリスト内の少なくとも1つの参照ピクチャがスケーリングされていることを前記フラグが示す場合、前記コーディングツールは無効にされる、請求項26に記載の方法。
【請求項28】
前記フラグはRefPicIsScaled[0][refIdxL0]を有し、refIdxL0は第1参照ピクチャリストに対するインデックスである、請求項27に記載の方法。
【請求項29】
前記フラグはRefPicIsScaled[0][refIdxL1]を有し、refIdxL1は第2参照ピクチャリストに対するインデックスである、請求項27に記載の方法。
【請求項30】
前記フラグは、参照ピクチャリスト構築プロセス中に決定される、請求項26乃至29のいずれかに記載の方法。
【請求項31】
映像処理のための方法であって、
映像のブロックと前記映像のビットストリーム表現との間での変換のために、双方向オプティカルフロー(BDOF)コーディングツール又はデコーダ側動きベクトル精緻化(DMVR)コーディングツールで使用される絶対差の和を、前記ブロックのビット深度に基づくやり方で決定するステップと、
前記決定に基づいて前記変換を実行するステップと、
を有する方法。
【請求項32】
前記絶対差の和は、前記BDOFコーディングツール又は前記DMVRコーディングツールのための閾値と比較される前に、前記ビット深度の関数に基づいてシフトされる、請求項31に記載の方法。
【請求項33】
前記絶対差の和は、前記ビット深度の関数に基づいて変更される閾値と比較される、請求項31に記載の方法。
【請求項34】
前記変換は、前記映像を前記ビットストリーム表現に符号化することを含む、請求項1乃至33のいずれかに記載の方法。
【請求項35】
前記変換は、前記ビットストリーム表現を前記映像に復号することを含む、請求項1乃至33のいずれかに記載の方法。
【請求項36】
請求項1乃至35のいずれかに記載の方法を実行するように構成されたプロセッサを有する映像処理装置。
【請求項37】
コードを格納したコンピュータ読み取り可能媒体であって、前記コードは、プロセッサによる実行を受けて、該プロセッサに請求項1乃至35のいずれかに記載の方法を実行させる、コンピュータ読み取り可能媒体。
【請求項38】
請求項1乃至35のいずれかに記載の方法に従って生成されたビットストリーム表現を格納したコンピュータ読み取り可能媒体。
【発明の詳細な説明】
【技術分野】
【0001】
パリ条約に基づく適用可能な特許法及び/又は規則の下で、この出願は、2019年10月13日に出願された米国仮特許出願第62/914,544号の優先権及び利益を適時に主張して行われる。法律の下での全ての目的のために、上記出願の開示全体を、この出願の開示の一部として援用する。
【0002】
この特許文書は、映像コーティング技術、装置及びシステムに関する。
【背景技術】
【0003】
現在、より良い圧縮比を提供するため、又はより低い複雑さ若しくは並列化実装を可能にする映像符号化及び復号スキームを提供するために、現行のビデオコーデック技術の性能を向上させるための努力が進められている。産業界の専門家が最近、幾つかの新しい映像コーディングツールを提案しており、それらの有効性を判定するためのテストが現在進行中である。
【発明の概要】
【0004】
デジタル映像コーティング、そして具体的には、動きベクトルの管理に関係する装置、システム及び方法が記載される。記載される方法は、既存の映像符号化標準(例えば、ハイエフィシェンシビデオコーディング(High Efficiency Video Coding,HEVC)若しくはバーサタイルビデオコーディング(Versatile Video Coding))及び将来の映像符号化標準若しくはビデオコーデックに適用され得る。
【0005】
代表的な一態様において、開示される技術は、映像処理のための方法を提供するために使用され得る。この方法は、現在映像ブロックと該現在映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、参照ピクチャの解像度及び/又はサイズが現在映像ブロックの解像度及び/又はサイズと異なる場合、現在映像ブロックを用いて予測される一群の隣接又は非隣接サンプルに同一の補間フィルタが適用される。
【0006】
代表的な他の一態様において、開示される技術は、映像処理のための別の方法を提供するために使用され得る。この方法は、現在映像ブロックと該現在映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、参照ピクチャの解像度及び/又はサイズが現在映像ブロックの解像度及び/又はサイズと異なる場合、現在映像ブロックを用いて予測されるブロックは、現在ブロックに関係する整数値動き情報を用いることのみ許される。
【0007】
代表的な他の一態様において、開示される技術は、映像処理のための別の方法を提供するために使用され得る。この方法は、現在映像ブロックと該現在映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、参照ピクチャの解像度及び/又はサイズが現在映像ブロックの解像度及び/又はサイズと異なる場合、現在映像ブロックを用いて予測されるブロックを導出するために補間フィルタが適用され、該補間フィルタはルールに基づいて選択される。
【0008】
代表的な他の一態様において、開示される技術は、映像処理のための別の方法を提供するために使用され得る。この方法は、現在映像ブロックと該現在映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、参照ピクチャの解像度及び/又はサイズが現在映像ブロックの解像度及び/又はサイズと異なる場合、デブロッキングフィルタを選択的に適用し、該デブロッキングフィルタの強さが、現在映像ブロックの解像度及び/又はサイズに対する参照ピクチャの解像度及び/又はサイズに関係するルールに従って設定される。
【0009】
代表的な他の一態様において、開示される技術は、映像処理のための別の方法を提供するために使用され得る。この方法は、現在映像ブロックと該現在映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、現在映像ブロックの参照ピクチャが、現在映像ブロックの寸法に基づくルールに従ってリサンプリングされる。
【0010】
代表的な他の一態様において、開示される技術は、映像処理のための別の方法を提供するために使用され得る。この方法は、現在映像ブロックと該現在映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、現在映像ブロックへのコーディングツールの使用が、現在映像ブロックの解像度/サイズに対する現在映像ブロックの参照ピクチャの解像度/サイズに応じて選択的に有効又は無効にされる。
【0011】
代表的な他の一態様において、開示される技術は、映像処理のための別の方法を提供するために使用され得る。この方法は、複数の映像ブロックと該複数の映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、第1の適合ウィンドウが第1の映像ブロックに対して画成され、第2の適合ウィンドウが第2の映像ブロックに対して画成され、第2の適合ウィンドウに対する第1の適合ウィンドウの幅及び/又は高さの比が、少なくとも適合ビットストリームに基づくルールに従う。
【0012】
代表的な他の一態様において、開示される技術は、映像処理のための別の方法を提供するために使用され得る。この方法は、複数の映像ブロックと該複数の映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、第1の適合ウィンドウが第1の映像ブロックに対して画成され、第2の適合ウィンドウが第2の映像ブロックに対して画成され、第2の適合ウィンドウに対する第1の適合ウィンドウの幅及び/又は高さの比が、少なくとも適合ビットストリームに基づくルールに従う。
【0013】
さらに、代表的な一態様において、プロセッサと、命令を有する非一時的なメモリと、を有する映像システム内の装置が開示される。当該命令は、当該プロセッサによる実行を受けて、当該プロセッサに、開示される方法のうちのいずれか1つ以上を実行させる。
【0014】
代表的な一態様において、ここに記載される方法を実装するように構成されたプロセッサを有する映像復号装置が開示される。
【0015】
代表的な一態様において、ここに記載される方法を実装するように構成されたプロセッサを有する映像符号化装置が開示される。
【0016】
また、非一時的なコンピュータ読み取り可能媒体に格納されたコンピュータプログラムプロダクトであって、開示される方法のうちの1つ以上を実行するためのプログラムコードを含むコンピュータプログラムプロダクトが開示される。
【0017】
開示される技術の上述の及び他の態様及び特徴が、図面、明細書、及び特許請求の範囲に更に詳細に記載される。
【図面の簡単な説明】
【0018】
図1】サブブロック動きベクトル(VSB)及び動きベクトル差の一例を示している。
図2】16個の4×4領域に分割された16×16映像ブロックの一例を示している。
図3A】サンプル内の特定の位置の一例を示している。
図3B】サンプル内の特定の位置の他の一例を示している。
図3C】サンプル内の特定の位置の更なる他の一例を示している。
図4A】現在サンプル及びその参照サンプルの位置の一例を示している。
図4B】現在サンプル及びその参照サンプルの位置の他の一例を示している。
図5】本文書に記載されるビジュアルメディア復号又はビジュアルメディア符号化技術を実装するためのハードウェアプラットフォームの一例のブロック図である。
図6】映像コーディングのための方法の一例のフローチャートを示している。
図7】デコーダ側動きベクトル精緻化の一例を示している。
図8】VTM5.0におけるカスケード式DMVR及びBDOFプロセスのフローの一例を示している。DMVR SAD演算及びBDOF SAD演算が相異なっていて共有されない。
図9】開示される技術が実装され得る映像処理システムの一例のブロック図である。
図10】映像コーティングシステムの一例を示すブロック図である。
図11】本開示の一部の実施形態に従ったエンコーダを示すブロック図である。
図12】本開示の一部の実施形態に従ったデコーダを示すブロック図である。
図13】本技術に従ったよる映像処理のための一方法のフローチャート表現である。
図14】本技術に従ったよる映像処理のための他の一方法のフローチャート表現である。
図15】本技術に従ったよる映像処理のための更なる他の一方法のフローチャート表現である。
【発明を実施するための形態】
【0019】
1. HEVC/H.265における映像符号化
映像符号化標準は、主に、周知のITU-T及びISO/IEC標準の開発を通じて発展してきた。ITU-TがH.261及びH.263を作成し、ISO/IECがMPEG-1及びMPEG-4 Visualを作成出し、そして、これら2つの組織が共同で、H.262/MPEG-2 Video及びH.264/MPEG-4 AVC(Advanced Video Coding)及びH.265/HEVC標準を作成した。H.262以来、映像符号化標準は、時間予測に加えて変換符号化が利用されるハイブリッド映像符号化構造に基づいている。HEVCの先の将来の映像符号化技術を探求するため、2015年にVCEGとMPEGが共同でJVET(Joint Video Exploration Team)を設立した。それ以来、数多くの新しい方法が、JVETによって採用され、共同探索モデルJEM(Joint Exploration Model)と名付けられたリファレンスソフトウェアに入れられてきた。2018年4月には、HEVCと比較して50%のビットレート低減を目指すVVC標準に取り組むべく、VCEG(Q6/16)とISO/IEC JTC1 SC29/WG11(MPEG)との間でJVET(Joint Video Expert Team)を発足させた。
【0020】
2. 概説
2.1. 適応解像度変更(Adaptive Resolution Change;ARC)
AVC及びHEVCは、IDR又はイントラランダムアクセスポイント(IRAP)ピクチャを導入する必要なしに解像度を変更する能力を持っておらず、そのような能力は、適応解像度変更(ARC)と称され得る。以下を含めて、ARC機能の恩恵を受けるユースケース又は適用シナリオが存在する。
【0021】
- ビデオ電話及び会議におけるレート適応。変化するネットワーク状態に対して、コーディングされる映像を適応させるため、ネットワーク状態が悪化して利用可能な帯域幅が小さくなるときに、エンコーダは、より低解像度のピクチャを符号化することによって、それに適応し得る。現在、ピクチャ解像度を変えることは、IRAPピクチャの後にしか行うことができず、これは幾つかの問題を有する。妥当な品質のIRAPピクチャは、インター符号化ピクチャよりも遥かに大きく、それに対応して、復号するのがいっそう複雑になり、時間及びリソースのコストがかかる。このことは、ローディングの理由でデコーダによって解像度変更が要求される場合に問題となる。それはまた、低遅延のバッファ条件を破壊してオーディオ再同期を強制し得るとともに、ストリームのエンド・ツー・エンド遅延が少なくとも一時的に増加することになる。これは、乏しいユーザ体験を与え得る。
【0022】
- マルチパーティビデオ会議におけるアクティブスピーカ変化。マルチパーティビデオ会議では、アクティブスピーカが、残りの会議参加者に対する映像よりも大きい映像サイズで示されることが一般的である。アクティブスピーカが変わるとき、各参加者に対するピクチャ解像度も調節される必要があり得る。ARC機能を持つことの必要性は、アクティブスピーカのそのような変化が頻繁に発生する場合にいっそう重要になる。
【0023】
- ストリーミングにおける高速スタート。ストリーミングアプリケーションでは、表示を始める前に、アプリケーションが、ある一定長さの復号ピクチャに至るまでバッファリングするのが一般的である。より低い解像度でビットストリームを始めることは、アプリケーションが、より速く表示を開始するのに十分なピクチャをバッファ内に持つことを可能にする。
【0024】
- ストリーミングにおける適応ストリームスイッチング。ダイナミックアダプティブストリーミング・オーバ・HTTP(DASH)仕様は、@mediaStreamStructureIdという名称の機能を含んでいる。これは、例えばHEVCにおける関連RASLピクチャを伴うCRAピクチャといった、復号不可能なリーディングピクチャを有するオープンGOPランダムアクセスポイントで、異なる表現間での切り換えを可能にする。同じ映像の2つの異なる表現が異なるビットレートを持つが、空間分解能は同じで、それらが同じ値の@mediaStreamStructureIdを持つとき、関連RASLピクチャを伴うCRAピクチャにて2つの表現間の切り換えを行うことができ、切り換え位置のCRAピクチャに伴うRASLピクチャを許容可能な品質で復号することができ、それ故にシームレスな切り換えを可能にする。ARCを用いることで、@mediaStreamStructureId機能はまた、異なる空間解像度を持つDASH表現間での切り換えにも使用できる。
【0025】
ARCはダイナミック解像度変換としても知られている。
【0026】
ARCはまた、例えばH.263付属書Pなどの参照ピクチャリサンプリング(Reference Picture Resampling;RPR)の特殊なケースと見なすこともできる。
【0027】
2.2. H.263付属書Pにおける参照ピクチャリサンプリング
このモードは、予測のために使用する前に参照ピクチャをワープさせるアルゴリズムを記述する。これは、予測されているピクチャとは異なるソースフォーマットを持つ参照ピクチャをリサンプリングするのに有用であり得る。これはまた、参照ピクチャの形状、サイズ、及び位置をワープさせることによって、グローバル動き推定又は回転運動の推定に使用されることができる。使用されるワープパラメータ及びリサンプリングアルゴリズをシンタックスが含む。参照ピクチャリサンプリングモードの最も単純な動作レベルは、アップサンプリング及びダウンサンプリングプロセスにFIRフィルタを適用すればよいときの黙示的なファクタ4のリサンプリングである。この場合、その使用は、新たなピクチャのサイズ(ピクチャヘッダにて示される)が先行ピクチャのサイズと異なるときに理解されるので、追加のシグナリングオーバヘッドは必要とされない。
【0028】
2.3. VVCにおける適合ウィンドウ(Conformance Window)
VVCにおける適合ウィンドウは矩形を定めている。適合ウィンドウの内側のサンプルは関心画像に属する。適合ウィンドウの外側のサンプルは出力時に破棄され得る。
【0029】
適合ウィンドウが適用されるとき、RPRにおけるスケーリング比は適合ウィンドウに基づいて導出される。
ピクチャパラメータセットRBSPシンタックス
(外1)
【0030】
2.4. 参照ピクチャリサンプリング(RPR)
一部の実施形態において、ARCは、参照ピクチャリサンプリング(RPR)としても知られている。RPRでは、コロケートピクチャが現在ピクチャと異なる解像度を持つ場合に、TMVPが無効にされる。その他に、参照ピクチャが現在ピクチャと異なる解像度を持つ場合に、双方向オプティカルフロー(Bi-Directional Optical Flow;BDOF)及びデコーダ側動きベクトル精緻化(Decoder-side Motion Vector Refinement;DMVR)が無効にされる。
【0031】
参照ピクチャが現在ピクチャとは異なる解像度を持つ場合に通常のMCを扱うために、補間セクションが以下のように定義される:

8.5.6.3 分数サンプル補間プロセス
8.5.6.3.1 全般
このプロセスへの入力は以下である:
- 現在ピクチャの左上ルマサンプルに対して現在コーディングサブブロックの左上サンプルを規定するルマ位置(xSb,ySb)、
- 現在コーディングサブブロックの幅を規定する変数sbWidth、
- 現在コーディングサブブロックの高さを規定する変数sbHeight、
- 動きベクトルオフセットmvOffset、
- 精緻化動きベクトルrefMvLX、
- 選択された参照ピクチャサンプルアレイrefPicLX、
- ハーフサンプル補間フィルタインデックスhpelIfIdx、
- 双方向オプティカルフローフラグbdofFlag、
- 現在ブロックのカラー成分インデックスを規定する変数cIdx。
このプロセスの出力は以下である:
- 予測サンプル値の(sbWidth+brdExtSize)×(sbHeight+brdExtSize)配列predSamplesLX。
予測ブロック境界拡張サイズbrdExtSizeは、次のように導出される:
brdExtSize=(bdofFlag||(inter_affine_flag[xSb][ySb]&&sps_affine_prof_enabled_flag))?2:0 (8-752)
変数fRefWidthは、ルマサンプル単位で参照ピクチャのPicOutputWidthLに等しく設定される。
変数fRefHeightは、ルマサンプル単位で参照ピクチャのPicOutputHeightLに等しく設定される。
動きベクトルmvLXは、(refMvLX-mvOffset)に等しく設定される。
- cIdxが0に等しい場合、以下が適用される:
- スケーリング係数及びそれらの固定小数点表現が、次のように定義される
hori_scale_fp=((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL (8-753)
vert_scale_fp=((fRefHeight<<14)+(PicOutputHeightL>>1))/PicOutputHeightL (8-754)
- (xIntL,yIntL)をフルサンプル単位で与えられるルマ位置とし、(xFracL,yFracL)を1/16サンプル単位で与えられるオフセットとする。これらの変数は、参照サンプル配列refPicLXの内側の分数サンプル位置を規定するためにこの節でのみ使用される;
- 参照サンプルパディングのための境界ブロックの左上座標(xSbIntL,ySbIntL)が、(xSb+(mvLX[0]>>4),ySb+(mvLX[1]>>4))に等しく設定される;
- 予測ルマサンプル配列preSamplesLXの内側の各ルマサンプル位置(x=0..sbWidth-1+brdExtSize,y=0..sbHeight-1+brdExtSize)について、対応する予測ルマサンプル値preSamplesLX[x][y]が、次のように導出される:
- (refxSbL,refySbL)及び(refxL,refyL)を、1/16サンプル単位で与えられる動きベクトル(refMvLX[0],refMvLX[1])によって指されるルマ位置とする。変数refxSbL、refxL、refySbL、及びrefyLは、次のように導出される:
refxSbL=((xSb<<4)+refMvLX[0])*hori_scale_fp (8-755)
refxL=((Sign(refxSb)*((Abs(refxSb)+128)>>8)
+xL*((hori_scale_fp+8)>>4))+32)>>6 (8-756)
refySbL=((ySb<<4)+refMvLX[1])*vert_scale_fp (8-757)
refyL=((Sign(refySb)*((Abs(refySb)+128)>>8)+yL*
((vert_scale_fp+8)>>4))+32)>>6 (8-758)
- 変数xIntL、yIntL、xFracL、及びyFracLは、次のように導出される:
xIntL=refxL>>4 (8-759)
yIntL=refyL>>4 (8-760)
xFracL=refxL&15 (8-761)
yFracL=refyL&15 (8-762)
- bdofFlagがTRUEに等しく又は(sps_affine_prof_enabled_flagがTRUEに等しく且つinter_affine_flag[xSb][ySb]がTRUEに等しく)、且つ以下の条件のうち1つ以上が真である場合、第8.5.6.3.3節に規定されるルマ整数サンプルフェッチングプロセスを、(xIntL+(xFracL>>3)-1),yIntL+(yFracL>>3)-1)及びrefPicLXを入力として呼び出すことによって、予測ルマサンプル値preSamplesLX[xL][yL]が導出される:
- xが0に等しい
- xがsbWidth+1に等しい
- yが0に等しい
- yがsbHeight+1に等しい;
- そうでない場合、第8.5.6.3.2節に規定されるルマサンプル8タップ補間フィルタリングプロセスを、(xIntL-(brdExtSize>0? 1:0),yIntL-(brdExtSize>0? 1:0))、(xFracL,yFracL)、(xSbIntL,ySbIntL)、refPicLX、hpelIfIdx、sbWidth、sbHeight、及び(xSb,ySb)を入力として呼び出すことによって、予測ルマサンプル値preSamplesLX[xL][yL]が導出される;
- それ以外の場合(cIdxが0に等しくない)、以下が適用される:
- (xIntC,yIntC)をフルサンプル単位で与えられるクロマ位置とし、(xFracC,yFracC)を1/32サンプル単位で与えられるオフセットとする。これらの変数は、参照サンプル配列refPicLXの内側の一般的な分数サンプル位置を規定するためにこの節でのみ使用される;
- 参照サンプルパディングのための境界ブロックの左上座標(xSbIntC,ySbIntC)が、((xSb/SubWidthC)+(mvLX[0]>>5),(ySb/SubHeightC)+(mvLX[1]>>5))に等しく設定される;
- 予測クロマサンプル配列preSamplesLXの内側の各クロマサンプル位置(xC=0..sbWidth-1,yC=0..sbHeight-1)について、対応する予測クロマサンプル値preSamplesLX[xC][yC]が、次のように導出される:
- (refxSbC,refySbC)及び(refxC,refyC)を、1/32サンプル単位で与えられた動きベクトル(mvLX[0]、mvLX[1])によって指されるクロマ位置とする。変数refxSbC、refySbC、refxC、及びrefyCが、次のように導出される:
refxSbC=((xSb/SubWidthC<<5)+mvLX[0])*hori_scale_fp (8-763)
refxC=((Sign(refxSbC)*((Abs(refxSbC)+256)>>9)
+xC*((hori_scale_fp+8)>>4))+16)>>5 (8-764)
refySbC=((ySb/SubHeightC<<5)+mvLX[1])*vert_scale_fp (8-765)
refyC=((Sign(refySbC)*((Abs(refySbC)+256)>>9)
+yC*((vert_scale_fp+8)>>4))+16)>>5 (8-766)
- 変数xIntC、yIntC、xFracC、及びyFracCが、次のように導出される:
xIntC=refxC>>5 (8-767)
yIntC=refyC>>5 (8-768)
xFracC=refyC&31 (8-769)
yFracC=refyC&31 (8-770)
- 8.5.6.3.4節に規定されるプロセスを、(xIntC,yIntC)、(xFracC,yFracC)、(xSbIntC,ySbIntC)、sbWidth、sbHeight、及びrefPicLXを入力として呼び出すことによって、予測サンプル値preSamplesLX[xC][yC]が導出される;

8.5.6.3.2 ルマサンプル補間フィルタリングプロセス
このプロセスへの入力は以下である:
- フルサンプル単位のルマ位置(xIntL,yIntL)、
- 分数サンプル単位のルマ位置(xFracL,yFracL)、
- 参照ピクチャの左上のルマサンプルに対して、参照サンプルパディングのための境界ブロックの左上サンプルを規定する、フルサンプル単位のルマ位置(xSbIntL,ySbIntL)、
- ルマ参照サンプル配列refPicLXL
- ハーフサンプル補間フィルタインデックスhpelIfIdx、
- 現在サブブロックの幅を規定する変数sbWidth、
- 現在サブブロックの高さを規定する変数sbHeight、
- 現在ピクチャの左上ルマサンプルに対して現在サブブロックの左上サンプルを規定するルマ位置(xSb,ySb);
このプロセスの出力は、予測ルマサンプル値preSampleLXLである;
変数shift1、shift2、及びshift3が、次のように導出される:
- 変数shift1はMin(4,BitDepthY-8)に等しく設定され、変数shift2は6に等しく設定され、変数shift3はMax(2,14-BitDepthY)に等しく設定される;
- 変数picWがpic_width_in_luma_samplesに等しく設定され、変数picHがpic_height_in_luma_samplesに等しく設定される;
xFracL又はyFracLに等しい各1/16分数サンプル位置pに対するルマ補間フィルタ係数f[p]が、次のように導出される:
- MotionModelIdc[xSb][ySb]が0より大きく、且つsbWidth及びsbHeightが両方とも4に等しい場合、ルマ補間フィルタ係数f[p]は表2で規定される;
- そうでない場合、ルマ補間フィルタ係数f[p]はhpelIfIdxに応じて表1で規定される;
フルサンプル単位のルマ位置(xInti,yInti)が、i=0..7に対して次のように導出される:
- subpic_treated_as_pic_flag[SubPicIdx]が1に等しい場合、以下が適用される:
xInti=Clip3(SubPicLeftBoundaryPos,SubPicRightBoundaryPos,xIntL+i-3)
(8-771)
yInti=Clip3(SubPicTopBoundaryPos,SubPicBotBoundaryPos,yIntL+i-3)
(8-772)
- そうでない場合(subpic_treated_as_pic_flag[SubPicIdx]が0に等しい)場合、以下が適用される:
xInti=Clip3(0,picW-1,sps_ref_wraparound_enabled_flag?
ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xIntL+i-3:
xIntL+i-3) (8-773)
yInti=Clip3(0,picH-1,yIntL+i-3) (8-774)
フルサンプルユニットのルマの位置は更に、i=0..7に対して、次のように変更される:
xInti=Clip3(xSbIntL-3,xSbIntL+sbWidth+4,xInti) (8-775)
yInti=Clip3(ySbIntL-3,ySbIntL+sbHeight+4,yInti) (8-776)
予測ルマサンプル値presampleLXLが、次のように導出される:
- xFracL及びyFracLの両方が0に等しい場合、predSampleLXLの値は次のように導出される:
predSampleLXL=refPicLXL[xInt3][yInt3]<<shift3 (8-777)
- そうでなく、xFracLが0に等しくなく且つyFracLが0に等しい場合、predSampleLXLの値は次のように導出される:
【数1】
- そうでなく、xFracLが0に等しく且つyFracLが0に等しくない場合、predSampleLXLの値は次のように導出される:
【数2】
- そうでなく、xFracLが0に等しくなく且つyFracLが0に等しくない場合、predSampleLXLの値は次のように導出される:
- n=0..7のサンプル配列temp[n]が、次のように導出される:
【数3】
- 予測ルマサンプル値predSampleLXLが、次のように導出される:
【数4】
【表1】
【表2】
8.5.6.3.3 ルマ整数サンプルフェッチングプロセス
このプロセスへの入力は以下である:
- フルサンプル単位のルマ位置(xIntL,yIntL)、
- ルマ参照サンプル配列refPicLXL
このプロセスの出力は予測ルマサンプル値preSampleLXLである;
変数shiftがMax(2,14-BitDepthY)に等しく設定される;
変数picWがpic_width_in_luma_samplesに等しく設定され、変数picHがpic_height_in_luma_samplesに等しく設定される;
フルサンプル単位のルマ位置(xInt,yInt)が、次のように導出される:
xInt=Clip3(0,picW-1,sps_ref_wraparound_enabled_flag? (8-782)
ClipH((sps_ref_wraparound_offset_minus1+1)*MinCbSizeY,picW,xIntL):xIntL)
yInt=Clip3(0,picH-1,yIntL) (8-783)
予測ルマサンプル値predSampleLXLが、次のように導出される:
predSampleLXL=refPicLXL[xInt][yInt]<<shift3 (8-784)

8.5.6.3.4 クロマサンプル補間プロセス
このプロセスへの入力は以下である:
- フルサンプル単位のクロマ位置(xIntC,yIntC)、
- 1/32分数サンプル単位のクロマ位置(xFracC,yFracC)、
- 参照ピクチャの左上クロマサンプルに対して参照サンプルパディングのための境界ブロックの左上サンプルを規定するフルサンプル単位のクロマ位置(xSbIntC,ySbIntC)、
- 現在サブブロックの幅を規定する変数sbWidth、
- 現在サブブロックの高さを規定する変数sbHight、
- クロマ参照サンプル配列refPicLXC
このプロセスの出力は予測クロマサンプル値predSampleLXCである;
変数shift1、shift2、及びshift3が、次のように導出される:
- 変数shift1はMin(4,BitDepthC-8)に等しく設定され、変数shift2は6に等しく設定され、変数shift3はMax(2,14-BitDepthC)に等しく設定される;
- 変数picWCがpic_width_in_luma_samples/SubWidthCに等しく設定され、変数picHCがpic_height_in_luma_samples/SubHeightCに等しく設定される;
xFracC又はyFracCに等しい各1/32分数サンプル位置pに対するクロマ補間フィルタ係数f[p]は、表3で規定される;
変数xOffsetが、((sps_ref_wrapavarunce_offset_minus1+1)*MinCbSizeY)/SubWidthCに等しく設定される;
フルサンプル単位のクロマ位置(xInti,yInti)が、i=0..3に対して、次のように導出される:
- subpic_treated_as_pic_flag[SubPicIdx]が1に等しい場合、以下が適用される:
xInti=Clip3(SubPicLeftBoundaryPos/SubWidthC,
SubPicRightBoundaryPos/SubWidthC,xIntL+i) (8-785)
yInti=Clip3(SubPicTopBoundaryPos/SubHeightC,
SubPicBotBoundaryPos/SubHeightC,yIntL+i) (8-786)
- そうでない場合(subpic_treated_as_pic_flag[subPicIdx]が0に等しい)、以下が適用される:
xInti=Clip3(0,picWC-1,sps_ref_wraparound_enabled_flag?
ClipH(xOffset,picWC,xIntC+i-1):xIntC+i-1) (8-787)
yInti=Clip3(0,picHC-1,yIntC+i-1) (8-788)
フルサンプル単位のクロマ位置(xInti,yInti)が更に、i=0..3に対して、次のように変更される:
xInti=Clip3(xSbIntC-1,xSbIntC+sbWidth+2,xInti) (8-789)
yInti=Clip3(ySbIntC-1,ySbIntC+sbHeight+2,yInti) (8-790)
予測クロマサンプル値presampleLXCが、次のように導出される:
- xFracC及びyFracCの両方が0に等しい場合、predSampleLXCの値は次のように導出される:
predSampleLXC=refPicLXC[xInt1][yInt1]<<shift3 (8-791)
- そうでなく、xFracCが0に等しくなく且つyFracCが0に等しい場合、predSampleLXCの値は次のように導出される:
【数5】
- そうでなく、xFracCが0に等しく且つyFracCが0に等しくない場合、predSampleLXCの値は次のように導出される:
【数6】
- そうでなく、xFracCが0に等しくなく且つyFracCが0に等しくない場合、predSampleLXCの値は次のように導出される:
- n=0..3のサンプル配列temp[n]が、次のように導出される:
【数7】
- 予測クロマサンプル値predSampleLXCが、次のように導出される:
predSampleLXC=(fC[yFracC][0]*temp[0]+fC[yFracC][1]*temp[1]+
fC[yFracC][2]*temp[2]+fC[yFracC][3]*temp[3])>>shift2
(8-795)
【表3】
【0032】
2.5. 精緻化サブブロックベースアフィン動き補償予測
ここに開示される技術は、オプティカルフローを用いてサブブロックベースアフィン動き補償予測を精緻化する方法を含む。サブブロックベースアフィン動き補償が実行された後、予測サンプルが、オプティカルフロー方程式によって導出された差分を付えることによって精緻化され、これを、オプティカルフローでの予測精緻化(prediction refinement with optical flow;PROF)と呼ぶ、提案する方法は、メモリアクセス帯域幅を増加させることなく、ピクセルレベル粒度でインター予測を達成することができる。
【0033】
動き補償のより細かい粒度を達成するために、この寄稿は、オプティカルフローを用いてサブブロックベースアフィン動き補償予測を精緻化する方法を提案する。サブブロックベースアフィン動き補償が実行された後、オプティカルフロー方程式によって導出された差分を付えることによって、ルマ予測サンプルが精緻化される。提案するPROF(prediction refinement with optical flow)は、以下の4つのステップとして記述される。
【0034】
ステップ1) サブブロックベースアフィン動き補償を実行して、サブブロック予測I(i,j)を生成する。
【0035】
ステップ2) 各サンプル位置で3タップフィルタ[-1,0,1]を用いて、サブブロック予測の空間勾配g(i,j)及びg(i,j)を計算する:
(i,j)=I(i+1,j)-I(i-1,j)
(i,j)=I(i,j+1)-I(i,j-1)
この勾配計算のために、サブブロック予測がサイドごと1ピクセルだけ拡張される。メモリ帯域幅及び複雑さを抑制するために、拡張される境界上のピクセルは、参照ピクチャ内の最も近い整数ピクセル位置からコピーされる。従って、パディング領域のための追加の補間は回避される。
【0036】
ステップ3) オプティカルフロー方程式によってルマ予測精緻化(ΔIと表記):
ΔI(i,j)=g(i,j)*Δv(i,j)+g(i,j)*Δv(i,j)
が計算され、ここで、デルタMV(Δv(i,j)と表記)は、図1に示すように、サンプル位置(i,j)について計算されたピクセルMV(v(i,j)と表記)と、ピクセル(i,j)が属するサブブロックのサブブロックMVとの間の差分である。
【0037】
アフィンモデルパラメータ及びサブブロック中心に対するピクセル位置はサブブロックごとに変化されないので、最初のサブブロックについてΔv(i,j)を計算し、それを同一CU内の他のサブブロックに対して再利用することができる。ピクセル位置からサブブロックの中心までの水平方向及び垂直方向のオフセットをx及びyとすると、Δv(x,y)を、次式:
【数8】
によって導出することができる。
4パラメータアフィンモデルでは、
【数9】
であり、
6パラメータアフィンモデルでは、
【数10】
であり、ここで、(v0x,v0y)、(v1x,v1y)、(v2x,v2y)は、左上、右上、及び左下の制御点(コントロールポイント)動きベクトルであり、w及びhはCUの幅及び高さである。
【0038】
ステップ4) 最後に、このルマ予測精緻化がサブブロック予測I(i,j)に足し合わされる。最終的な予測I’が、次式:
I’(i,j)=I(i,j)+ΔI(i,j)
として生成される。
【0039】
以下、一部詳細を説明する。
【0040】
a) PROFのための勾配導出方法
一部の実施形態において、勾配は、各参照リストについてサブブロック(VTM-4.0における4×4サブブロック)ごとに計算される。各サブブロックについて、参照ブロックの最も近い整数サンプルをフェッチして、サンプルの4辺の外側のラインをパディングする。
【0041】
現在サブブロックについてのMVを(MVx,MVy)とする。次いで、(FracX,FracY)=(MVx&15,MVy&15)として分数部分が計算される。整数部分は(IntX,IntY)=(MVx>>4, MVy>>4)として計算される。オフセット(OffsetX,OffsetY)が:
OffsetX=FracX>7? 1:0;
OffsetY=FracY>7? 1:0;
として導出される。
【0042】
現在サブブロックの左上座標が(xCur,yCur)であり、現在サブブロックの寸法がW×Hであるとする。次いで、(xCor0,yCor0)、(xCor1,yCor1)、(xCor2,yCor2)、及び(xCor3,yCor3)が:
(xCor0,yCor0)=(xCur+IntX+OffsetX-1,
yCur+IntY+OffsetY-1);
(xCor1,yCor1)=(xCur+IntX+OffsetX-1,
yCur+IntY+OffsetY+H);
(xCor2,yCor2)=(xCur+IntX+OffsetX-1,
yCur+IntY+OffsetY);
(xCor3,yCor3)=(xCur+IntX+OffsetX+W,
yCur+IntY+OffsetY);
として計算される。
【0043】
x=0..W-1、y=0..H-1でのPredSample[x][y]がサブブロックの予測サンプルを格納するとする。次いで、パディングサンプルが:
PredSample[x][-1]=
(Ref(xCor0+x,yCor0)<<Shift0)-
Rounding, for x=-1..W;
PredSample[x][H]=
(Ref(xCor1+x,yCor1)<<Shift0)-
Rounding, for x=-1..W;
PredSample[-1][y]=
(Ref(xCor2,yCor2+y)<<Shift0)-
Rounding, for y=0..H-1;
PredSample[W][y]=
(Ref(xCor3,yCor3+y)<<Shift0)-
Rounding, for y=0..H-1
として導出され、ここで、Recは参照ピクチャを表す。Roundingは整数であり、この例示的なPROF実装では213に等しい。Shift0=Max(2,(14-BitDepth))であり、PROFは、VTM-4.0におけるBIOとは異なり、勾配の精度を上げることを試みるものであり、ここでは、勾配は、入力ルマサンプルと同じ精度で出力される。
【0044】
PROFでの勾配は、以下のように計算される:
Shift1=Shift0-4
gradientH[x][y]=(predSamples[x+1][y]-predSample[x-1][y])>>Shift1
gradientV[x][y]=(pred Sample[x][y+1]-predSample[x][y-1])>>Shift1
理解されるべきことには、predSamples[x][y]は、補間後の精度を保つ。
【0045】
b) PROFのためのΔv導出方法
Δv(posX=0..W-1、posY=0..H-1でdMvH[posX][posY]及びdMvV[posX][posY]と表記)の導出は、以下のように記述されることができる。
【0046】
現在ブロックの寸法がcbWidth×cbHeightであり、制御点動きベクトルの数がnumCpMvであり、そして、cpIdx=0..numCpMv-1で、制御点動きベクトルがcpMvLX[cpIdx]であり、Xは2つの参照リストを表す0又は1であるとする。
【0047】
変数log2CbW及びlog2CbHが、次のように導出される:
log2CbW=Log2(cbWidth)
log2CbH=Log2(cbHeight)
変数mvScaleHor、mvScaleVer、dHorX、及びdVerXが、次のように導出される:
mvScaleHor=cpMvLX[0][0]<<7
mvScaleVer=cpMvLX[0][1]<<7
dHorX=(cpMvLX[1][0]-cpMvLX[0][0])<<(7-log2CbW)
dVerX=(cpMvLX[1][1]-cpMvLX[0][1])<<(7-log2CbW)
【0048】
変数dHorY及びdVerYが、次のように導出される:
- numCpMvが3に等しい場合、以下が適用される:
dHorY=(cpMvLX[2][0]-cpMvLX[0][0])<<(7-log2CbH)
dVerY=(cpMvLX[2][1]-cpMvLX[0][1])<<(7-log2CbH)
- そうでない場合(numCpMvが2に等しい)、以下が適用される:
dHorY=-dVerX
dVerY=dHorX
【0049】
変数qHorX、qVerX、qHorY、及びqVerYが:
qHorX=dHorX<<2;
qVerX=dVerX<<2;
qHorY=dHorY<<2;
qVerY=dVerY<<2;
として導出される。
【0050】
dMvH[0][0]及びdMvV[0][0]が:
dMvH[0][0]=((dHorX+dHorY)<<1)-((qHorX+qHorY)<<1);
dMvV[0][0]=((dVerX+dVerY)<<1)-((qVerX+qVerY)<<1);
として計算される。
【0051】
1からW-1までのxPosについて、dMvH[xPos][0]及びdMvV[xPos][0]が:
dMvH[xPos][0]=dMvH[xPos-1][0]+qHorX;
dMvV[xPos][0]=dMvV[xPos-1][0]+qVerX;
として導出される。
【0052】
1からH-1までのyPosについて、以下が適用される:
xPos=0..W-1で、dMvH[xPos][yPos]=dMvH[xPos][yPos-1]+qHorY
xPos=0..W-1で、dMvV[xPos][yPos]=dMvV[xPos][yPos-1]+qVerY
【0053】
最後に、posX=0..W-1、posY=0..H-1でのdMvH[xPos][yPos]及びdMvV[xPos][yPos]が:
dMvH[xPos][yPos]=SatShift(dMvH[xPos][yPos],7+2-1);
dMvV[xPos][yPos]=SatShift(dMvV[xPos][yPos],7+2-1);
として右シフトされ、ここで、SatShift(x,n)及びShift(x,n)は:
【数11】
として定義される。
【0054】
一例において、offset0及び/又はoffset1は、(1<<n)>>1に設定される。
【0055】
c)PROFのためのΔI導出方法
サブブロックの内側の位置(posX,posY)について、その対応するΔv(i,j)を、(dMvH[posX][posY],dMvV[posX][posY])と表記する。その対応する勾配を(gradientH[posX][posY],gradientV[posX][posY])と表記する。
【0056】
次いで、ΔI(posX,posY)が、次のように導出される:
(dMvH[posX][posY],dMvV[posX][posY])が、以下のようにクリッピングされる:
dMvH[posX][posY]=Clip3(-32768,32767,dMvH[posX][posY]);
dMvV[posX][posY]=Clip3(-32768,32767,dMvV[posX][posY]);
ΔI(posX,posY)=dMvH[posX][posY]×gradientH[posX][posY]+dMvV[posX][posY]×gradientV[posX][posY];
ΔI(posX,posY)=Shift(ΔI(posX,posY),1+1+4);
ΔI(posX,posY)=Clip3(-(213-1),213-1,ΔI(posX,posY))。
【0057】
d)PROFのためのI’導出方法
現在ブロックが双予測又は重み付け予測としてコーディングされない場合、
I’(posX,posY)=Shift((I(posX,posY)+ΔI(posX,posY))),Shift0、
I’(posX,posY)=ClipSample(I’(posX,posY))
であり、ここで、ClipSampleは、サンプル値を妥当な出力サンプル値へとクリッピングする。そして、I’(posX,posY)がインター予測値として出力される;
そうでない場合(現在ブロックが双予測又は重み付け予測としてコーディングされる)、I’(posX,posY)は格納されて、他の予測値及び/又は重み付け値に従ってインター予測値を生成するのに使用されることになる。
【0058】
2.6. スライスヘッダ例
(外2)
2.7. シーケンスパラメータセット例
(外3)
2.8.ピクチャパラメータセット例
(外4)
2.9.適応パラメータセット例
(外5)
(外6)
(外7)
(外8)
【0059】
2.10. ピクチャヘッダ例
一部の実施形態において、ピクチャヘッダは、以下の特性を有するように設計される。
【0060】
1. ピクチャヘッダNALユニットの時間ID及びレイヤIDが、そのピクチャヘッダを含むレイヤアクセスユニットの時間ID及びレイヤIDと同じである。
【0061】
2. ピクチャヘッダNALユニットが、その関連ピクチャの最初のスライスを含むNALユニットに先行する。これは、ピクチャヘッダと、そのピクチャヘッダに関連付けられたピクチャのスライスとの間の関連付けを、ピクチャヘッダIDがピクチャヘッダ内でシグナリングされてスライスヘッダから参照されることを必要とせずに確立する。
【0062】
3. ピクチャヘッダNALユニットが、ピクチャレベルのパラメータセット、又は例えばDPS、VPS、SPS、PPSなどの、より高いレベルのものに続く。これは結果として、それらのパラメータセットがピクチャ内又はアクセスユニット内で繰り返されない/存在しないことを必要とする。
【0063】
4. ピクチャヘッダが、その関連ピクチャのピクチャタイプについての情報を含む。ピクチャタイプは、以下(網羅的なリストではない)を定義するのに使用され得る:
a. ピクチャはIDRピクチャである;
b. ピクチャはCRAピクチャである;
c. ピクチャはGDRピクチャである;
d. ピクチャは非IRAP、非GDRピクチャであり、Iスライスのみを含む;
e. ピクチャは非IRAP、非GDRピクチャであり、Pスライス及びIスライスのみを含むことができる;
f. ピクチャは非IRAP、非GDRピクチャであり、Bスライス、Pスライス、及び/又はIスライスのいずれかを含む。
【0064】
5. スライスヘッダ内でのピクチャレベルシンタックス要素のシグナリングをピクチャヘッダに移動させる。
【0065】
6. 同一ピクチャの全てのスライスに対して典型的に同じであるスライスヘッダ内の非ピクチャレベルシンタックス要素を、ピクチャヘッダ内でシグナリングする。それらのシンタックス要素がピクチャヘッダ内に存在しないとき、それらはスライスヘッダ内でシグナリングされてもよい。
【0066】
一部の実装において、必須ピクチャヘッダコンセプトが、ピクチャの最初のVCL NALユニットとしてピクチャ当たり一度伝送されるように使用される。現行ではスライスヘッダ内にあるシンタックス要素をこのピクチャヘッダに移動させることも提案される。機能的にピクチャヘッダ当たり一度だけ伝送される必要があるシンタックス要素は、所与のピクチャに対して何度も送信される(例えば、スライスヘッダ内のシンタックス要素はスライス当たり一度伝送される)代わりに、ピクチャヘッダに移動され得る。ピクチャ内で同じであるように制約されるスライスヘッダシンタックス要素を移動させる。
【0067】
それらのシンタックス要素は既に、ピクチャの全てのスライスで同じであるように制約されている。主張しておくことには、それらのフィールドをピクチャヘッダに移動させて、それらがスライス当たり一回ではなくピクチャ当たり一回のみシグナリングされるようにすることは、それらのシンタックス要素の機能を何ら変えることなく、不要で冗長なビット伝送を回避することになる。
【0068】
1. 一部の実装では、以下のセマンティック制約が存在する。
【0069】
存在する場合に、スライスヘッダシンタックス要素slice_pic_parameter_set_id、non_reference_picture_flag、colour_plane_id、slice_pic_order_cnt_lsb、recovery_poc_cnt、no_output_of_prior_pics_flag、pic_output_flag、及びslice_temporal_mvp_enabled_flagの各々の値は、ある符号化ピクチャの全てのスライスヘッダで同じである。従って、これらのシンタックス要素の各々をピクチャヘッダに移動させて、不要な冗長ビットを回避し得る。
【0070】
recovery_poc_cnt及びno_output_of_prior_pics_flagは、この寄稿ではピクチャヘッダに移動されない。スライスヘッダにおけるそれらの存在は、スライスヘッダnal_unit_typeの条件付きチェックに依存し、それ故に、これらのシンタックス要素をピクチャヘッダに移動させることを望む場合には、それらを調べることを提案する。
【0071】
2. 一部の実装では、以下のセマンティック制約が存在する。
【0072】
存在する場合に、slice_lmcs_aps_idの値は、ピクチャの全てのスライスに対して同じである。
【0073】
存在する場合に、slice_scaling_list_aps_idの値は、ピクチャの全てのスライスに対して同じである。従って、これらのシンタックス要素の各々をピクチャヘッダに移動させて、不要な冗長ビットを回避し得る。
【0074】
一部の実施形態において、これらシンタックス要素は、現行では、ピクチャの全てのスライスで同じであるようには制約されていない。全スライスヘッダにて多数のシンタックス要素を処理することには複雑さの影響があると主張されるとき、VVC全体設計を単純化するためにどのシンタックス要素をピクチャヘッダに移動させることができるかを決定すべく、これらのシンタックス要素の予想される用法を評価することを提案する。
【0075】
1. 以下のシンタックス要素をピクチャヘッダに移動させることを提案する。現行では、これらについて、異なるスライスに対して異なる値を持つという制約はないが、主張しておくことには、これらの予想される用法はピクチャレベルで変化し得るので、全スライスヘッダ内でこれらを伝送することには、利益がない/最小限であるとともに、符号化損失が存在する:
a. six_minus_max_num_merge_cand
b. five_minus_max_num_subblock_merge_cand
c. slice_fpel_mmvd_enabled_flag
d. slice_disable_bdof_dmvr_flag
e. max_num_merge_cand_minus_max_num_triangle_cand
f. slice_six_minus_max_num_ibc_merge_cand
【0076】
2. 以下のシンタックス要素をピクチャヘッダに移動させることを提案する。現行では、これらについて、異なるスライスに対して異なる値を持つという制約はないが、主張しておくことには、これらの予想される用法はピクチャレベルで変化し得るので、全スライスヘッダ内でこれらを伝送することには、利益がない/最小限であるとともに、符号化損失が存在する:
a. partition_constraints_override_flag
b. slice_log2_diff_min_qt_min_cb_luma
c. slice_max_mtt_hierarchy_depth_luma
d. slice_log2_diff_max_bt_min_qt_luma
e. slice_log2_diff_max_tt_min_qt_luma
f. slice_log2_diff_min_qt_min_cb_chroma
g. slice_max_mtt_hierarchy_depth_chroma
h. slice_log2_diff_max_bt_min_qt_chroma
i. slice_log2_diff_max_tt_min_qt_chroma
【0077】
これらのシンタックス要素の一部に関連する条件付きチェック“slice_type==I”は、ピクチャヘッダへの移動に伴って削除されている。
【0078】
3. 以下のシンタックス要素をピクチャヘッダに移動させることを提案する。現行では、これらについて、異なるスライスに対して異なる値を持つという制約はないが、主張しておくことには、これらの予想される用法はピクチャレベルで変化し得るので、全スライスヘッダ内でこれらを伝送することには、利益がない/最小限であるとともに、符号化損失が存在する:
a. mvd_l1_zero_flag
【0079】
これらのシンタックス要素の一部に関連する条件付きチェック“slice_type==B”は、ピクチャヘッダへの移動に伴って削除されている。
【0080】
4. 以下のシンタックス要素をピクチャヘッダに移動させることを提案する。現行では、これらについて、異なるスライスに対して異なる値を持つという制約はないが、主張しておくことには、これらの予想される用法はピクチャレベルで変化し得るので、全スライスヘッダ内でこれらを伝送することには、利益がない/最小限であるとともに、符号化損失が存在する:
a. dep_quant_enabled_flag
b. sign_data_hiding_enabled_flag
【0081】
2.10.1 シンタックステーブル例
7.3.2.8 ピクチャヘッダRBSPシンタックス
(外9)
【0082】
2.11 DMVR例
デコーダ側動きベクトル精緻化(Decoder-side Motion Vector Refinement;DMVR)は、バイラテラルマッチング(BM)を利用して、2つの異なる参照ピクチャ内で、現在CUの動き軌跡に沿った2つのブロック間の最も近いマッチングを見つけることにより、現在CUの動き情報を導出する。BM法は、参照ピクチャリストL0及びリストL1内の2つの候補ブロック間の歪みを計算する。図1に示すように、当初MV周辺の各MV候補に基づく赤色ブロック間のSADが計算される。最も低いSADを持つMV候補が、精緻化されたMVとなり、双予測信号を生成するために使用される。マッチングプロセスで使用されるコスト関数は、行サブサンプリングSAD(絶対差の和)である。一例が図7にある。
【0083】
VTM5.0では、コーディングユニット(CU)が通常マージ/スキップモード及び双予測でコーディングされるときに、該CUに対してデコーダで動きベクトル(MV)を精緻化するためにDMVRが採用されており、表示順で一方の参照ピクチャは現在ピクチャの前であり、他方の参照ピクチャは現在ピクチャの後であり、現在ピクチャと一方の参照ピクチャとの間の時間距離は、現在ピクチャと他方の参照ピクチャとの間の時間距離に等しく、CU重み(BCW)を用いる双予測は等しい重みを選択する。DMVRが適用されるとき、1つのルマコーディングブロック(CB)が、サイズmin(cbWidth,16)×min(cbHeight,16)の幾つかの独立処理されるサブブロックに分割される。DMVRは、双線形補間によって生成された、1/2サブサンプリングされた10ビットのL0予測サンプルとL1予測サンプルとの間のSADを最小化することによって、各サブブロックのMVを精緻化する。各サブブロックに対して、先ず、SADを用いて、当初MV(すなわち、選択された通常マージ/スキップ候補のMV)周りでの整数△MV探索が実行され、次いで、最終的なMVを得るために分数△MV導出が実行される。
【0084】
BDOFは、CUが双予測でコーディングされるときに該CUについてのルマ予測サンプルを精緻化し、表示順で、一方の参照ピクチャは現在ピクチャの前であり、他方の参照ピクチャは現在ピクチャの後であり、BCWは等しい重みを選択する。入力MV(例えば、DMVRを有効にする場合のDMVRの最終的なMV)に従って当初のL0予測サンプル及びL1予測サンプルを生成するために、8タップ補間が使用される。次に、2レベル早期終了プロセスが実行される。第1の早期終了はサブブロックレベルであり、第2の早期終了は4×4ブロックレベルであって、第1の早期終了が発生しなかった場合にチェックされる。各レベルにおいて、先ず、各サブブロック/4×4ブロックにおけるフルサンプリングされた14ビットのL0予測サンプルとL1予測サンプルとの間のSADが計算される。SADが1つの閾値よりも小さい場合、そのサブブロック/4×4ブロックにBDOFは適用されない。そうでない場合、BDOFパラメータが導出され、各4×4ブロックに対する最終的なルマサンプル予測子を生成するために使用される。BDOFにおいて、サブブロックサイズはDMVRにおいてと同じであり、すなわち、min(cbWidth,16)×min(cbHeight,16)である。
【0085】
CUが通常マージ/スキップモードでコーディングされるとき、表示順で、一方の参照ピクチャは現在ピクチャの前であり、他方の参照ピクチャは現在ピクチャの後であり、現在ピクチャと一方の参照ピクチャとの間の時間距離は、現在ピクチャと他方の参照ピクチャとの間のそれに等しく、BCWは等しい重みを選択し、DMVR及びBDOFの両方が適用される。カスケード式DMVR及びBDOFプロセスのフローを図8に示す。
【0086】
図8は、VTM5.0におけるカスケード式DMVR及びBDOFプロセスのフローを示している。DMVR SAD演算及びBDOF SAD演算は相異なり、共有されない。
【0087】
このクリティカルパスにおけるレイテンシ及び演算を減らすため、DMVR及びBDOFの両方が適用されるとき、最新のVVC作業ドラフトは、DMVRで計算されたサブブロックSADを、BDOFでのサブブロック早期終了に再利用するように改訂されている。
【0088】
そのSAD計算は、次のように定義され:
【数12】
ここで、2つの変数nSbW及びnSbHは、現在サブブロックの幅及び高さを規定し、2つの(nSbW+4)×(nSbH+4)配列pL0及びpL1は、それぞれ、L0及びL1に関する予測サンプル、並びに予測リストL0における整数サンプルオフセット(dX,dY)を含む。
【0089】
DMVR精緻化の不確実性のペナルティを減らすため、DMVRプロセス中に元のMVを優先することが提案されている。当初のMV候補(又は元のMV候補と呼ぶ)によって参照される参照ブロック間のSADが、SAD値の1/4だけ減少する。すなわち、上の式中のdX及びdYの両方が0に等しいとき、sadの値は:
sad=sad-(sad>>2)
のように変更される。
【0090】
SAD値が閾値(2*サブブロック幅*サブブロック高さ)よりも小さいとき、もはやBDOFを実行する必要はない。
【0091】
3.既存の実装の欠点
DMVR及びBIOは、動きベクトルを精緻化する際に元の信号が関与せず、このことが、不正確な動き情報を有すコーディングブロックを生じさせることがある。また、DMVR及びBIOは動き精緻化後の分数動きベクトルを使用するときがあるのに対し、スクリーン映像は整数動きベクトルを有するのが通常であり、これは、現行の動き情報をより不正確にし、コーディング性能を悪化させる。
【0092】
VVCでRPRが適用されるとき、RPR(ARC)は以下の問題を有し得る。
【0093】
1. RPRでは、ブロック内の隣接し合うサンプルに対して補間フィルタが異なることがあり、これはSIMD(単一命令複数データ)実装に望ましくない。
【0094】
2. 境界領域がRPRを考慮しない。
【0095】
3. 「適合クロッピングウィンドウオフセットパラメータは出力でのみ適用される。内部復号プロセスは全て、クロッピングされてないピクチャサイズに適用される。」と注意書きされている。しかしながら、それらのパラメータは、RPRが適用されるときに復号プロセスで使用されることがある。
【0096】
4. 参照サンプル位置を導出するときに、RPRは、2つの適合ウィンドウ間の比のみを考慮する。しかし、2つの適合ウィンドウ間の左上オフセット差も考慮されるべきである。
【0097】
5. VVCでは参照ピクチャの幅/高さと現在ピクチャの幅/高さとの比が制約されている。しかしながら、参照ピクチャの適合ウィンドウの幅/高さと現在ピクチャの適合ウィンドウの幅/高さとの比は制約されていない。
【0098】
6. 全てのシンタックス要素がピクチャヘッダ内で適切に扱われているわけではない。
【0099】
7. 現行のVVCにおいては、TPM、GEO予測モードで、映像シーケンスのクロマサンプル位置タイプに関係なくクロマ混合重みが導出されている。例えば、TPM/GEOにおいて、クロマ重みがルマ重みから導出される場合、クロマ信号のサンプリングに一致するように、ルマ重みをダウンサンプリングする必要があり得る。クロマダウンサンプリングは、通常、ITU-R BT.601又はITU-R BT.709コンテナで広く使用されているものであるクロマサンプル位置タイプ0を仮定して適用される。しかしながら、これは、異なるクロマサンプル位置タイプが使用される場合に、クロマサンプルとダウンサンプリングされたルマサンプルとの間にミスアライメントを生じさせ、コーディング性能を低下させてしまい得る。
【0100】
8. 留意されたいことに、SAD計算/SAD閾値はビット深度の影響を考慮していない。従って、より高いビット深度(例えば、14又は16ビットの入力シーケンス)では、早期終了のための閾値が過度に小さくなり得る。
【0101】
9. 非RPRケースでは、1/2ペルMV精度のAMVR(すなわち、代替補間フィルタ/切換可能補間フィルタ)が6タップ動き補償フィルタとともに適用され、他のケース(例えば、1/16ペル)には8タップが適用される。しかしながら、RPRケースでは、mv/mvd精度を考慮することなく、同じ補間フィルタが全てのケースに適用される。従って、1/2ペルのケース(代替補間フィルタ/切換可能補間フィルタ)のシグナリングはビットを浪費している。
【0102】
10. パーティションツリー分割が許されるか否かの決定が、出力ピクチャ解像度の代わりに符号化ピクチャ解像度に依存する。
【0103】
11. RPRケースを考慮しないSMVD/MMVDが適用される。これらの方法は、対称MVDが2つの参照ピクチャに適用されるという仮定に基づいている。しかしながら、出力ピクチャ解像度が異なる場合、そのような仮定は成り立たない。
【0104】
12. 同じ参照ピクチャリスト内の2つのマージ候補からの2つのMVを平均することによってペアワイズマージ候補が生成される。しかしながら、2つのマージ候補に関連する2つの参照ピクチャが異なる解像度を持つ場合、平均化は意味をなさない。
【0105】
4. 技術及び実施形態の例
以下に記載される詳細な実施形態は、一般的概念を説明するための例とみなされるべきである。これらの実施形態は狭義に解釈されるべきではない。さらに、これらの実施形態は、何らかのやり方で組み合わされることができる。
【0106】
以下に記載される方法はまた、以下に記載されるDMVR及びBIOに加えて、他のデコーダ動き情報導出技術にも適用可能であり得る。
【0107】
動きベクトルを(mv_x,mv_y)と表記し、mv_xは水平成分、mv_yは垂直成分である。
【0108】
この開示において、ピクチャの解像度(又は寸法、幅/高さ、又はサイズ)は、符号化/復号ピクチャの解像度(又は寸法、幅/高さ、又はサイズ)を指すことができ、あるいは符号化/復号ピクチャの適合ウィンドウの解像度(又は寸法、幅/高さ、又はサイズ)を指してもよい。一例において、ピクチャの解像度(又は寸法、幅/高さ、又はサイズ)は、例えばスケーリングウィンドウ/位相オフセットウィンドウなどの、RPR(参照ピクチャリサンプリング)プロセスに関係するパラメータを指してもよい。一例において、ピクチャの解像度(又は寸法、幅/高さ、又はサイズ)は、出力ピクチャに関連するものに関係する。
RPRにおける動き補償
1. 参照ピクチャの解像度が現在ピクチャとは異なるとき、又は参照ピクチャの幅及び/又は高さが現在ピクチャのそれよりも大きいとき、現在ブロックの一群のサンプル(サンプルのグループ)(少なくとも2つのサンプル)についての予測値は、同じ水平及び/又は垂直補間フィルタを用いて生成され得る:
a. 一例において、該グループは、ブロックの領域内の全てのサンプルを有し得る:
i. 例えば、ブロックは、互いに重なり合わないS個のM×N矩形に分割され得る。各M×N矩形がグループである。図2に示す例において、16×16ブロックを、各々がグループである16個の4×4矩形に分割することができる;
ii. 例えば、N個のサンプルを有する行がグループである。Nは、ブロック幅以下の整数である。一例において、Nは、4又は8又はブロック幅である;
iii. 例えば、N個のサンプルを有する列がグループである。Nは、ブロック高さ以下の整数である。一例において、Nは、4又は8又はブロック高さである;
iv. M及び/又はNは、予め定められてもよいし、あるいは例えばブロック寸法/符号化情報などに基づいてオンザフライで導出されてもよいし、あるいはシグナリングされてもよい;
b. 一例において、グループ内のサンプルは、同じMV(共有MVと表記する)を持ち得る;
c. 一例において、グループ内のサンプルは、同じ水平成分(共有水平成分と表記する)を有するMVを持ち得る;
d. 一例において、グループ内のサンプルは、同じ垂直成分(共有垂直成分と表記する)を有するMVを持ち得る;
e. 一例において、グループ内のサンプルは、水平成分の同じ分数部分(共有分数水平成分と表記する)を有するMVを持ち得る:
i. 例えば、第1のサンプルに対するMVが(MV1x,MV1y)であり、第2のサンプルに対するMVが(MV2x,MV2y)であるとすると、MV1x&(2-1)がMV2x&(2-1)に等しいことを満足すべきであり、ここで、MはMV精度を表す。例えば、M=4である;
f. 一例において、グループ内のサンプルは、垂直成分の同じ分数部分(共有分数垂直成分と表記する)を有するMVを持ち得る:
i. 例えば、第1のサンプルに対するMVが(MV1x,MV1y)であり、第2のサンプルに対するMVが(MV2x,MV2y)であるとすると、MV1y&(2-1)がMV2y&(2-1)に等しいことを満足すべきであり、ここで、MはMV精度を表す。例えば、M=4である;
g. 一例において、予測されるグループ内のサンプルについて、先ず、現在ピクチャ及び参照ピクチャ(例えば、JVET-O2001-v14の8.5.6.3.1で導出される参照ピクチャ(例えば、(refx,refy))に従って、MVと表記する動きベクトルが導出される。次いで、MVを更に、例えば上の箇条書きなどの要件を満たすようにMV’に変更する(例えば、丸める/切り捨てる/クリッピングする)ことができ、MV’が、サンプルの予測サンプルを導出するのに使用されることになる:
i. 一例において、MV’は、MVと同じ整数部分を持ち、MV’の小数部分は、共有分数水平成分及び/又は共有分数垂直部分であるように設定される;
ii. 一例において、MV’は、共有分数水平成分及び/又は共有分数垂直成分のうちMVに近い方に設定される;
h. 共有動きベクトル(及び/又は共有水平成分及び/又は共有垂直成分、及び/又は共有分数水平成分及び/又は共有分数垂直成分)は、グループ内の特定のサンプルの共有動きベクトル(及び/又は共有水平成分及び/又は共有垂直成分、及び/又は共有分数水平成分及び/又は共有分数垂直成分)に設定され得る:
i. 例えば、特定のサンプルは、例えば図3Aに示す“A”、“B”、“C”及び“D”など、矩形のグループのコーナーにあるとし得る;
ii. 例えば、特定のサンプルは、例えば図3Aに示す“E”、“F”、“G”及び“H”など、矩形のグループの中心にあるとし得る;
iii. 例えば、特定のサンプルは、例えば図3B及び3Cに示す“A”及び“D”など、行形状又は列形状のグループの一端にあるとし得る;
iv. 例えば、特定のサンプルは、例えば図3B及び3Cに示す“B”及び“C”など、行形状又は列形状のグループの中央にあるとし得る;
v. 一例において、特定のサンプルの動きベクトルは、箇条書きgで述べたMVとし得る;
i. 共有動きベクトル(及び/又は共有水平成分及び/又は共有垂直成分、及び/又は共有分数水平成分及び/又は共有分数垂直成分)は、そのグループ内の全てのサンプルと異なる位置にある仮想サンプルの動きベクトル(及び/又は水平成分及び/又は垂直成分、及び/又は分数水平成分及び/又は分数垂直成分)であるように設定され得る:
i. 一例において、仮想サンプルはグループ内にはないが、グループ内の全てのサンプルをカバーする領域内に位置する:
1) あるいは、仮想サンプルは、グループ内の全てのサンプルをカバーする領域の外側、例えば、該領域の右下の位置の隣、に位置する;
ii. 一例において、仮想サンプルのMVは、実際のサンプルと同じようにして導出されるが、複数の異なる位置で導出される;
iii. 図3A-3C内の“V”は、仮想サンプルの3つの例を示している;
j. 共有MV(及び/又は共有水平成分及び/又は共有垂直成分、及び/又は共有分数水平成分及び/又は共有分数垂直成分)は、複数のサンプル及び/又は仮想サンプルのMV(及び/又は水平成分及び/又は垂直成分、及び/又は分数水平成分及び/又は分数垂直成分)の関数であるように設定され得る:
i. 例えば、共有MV(及び/又は共有水平成分及び/又は共有垂直成分、及び/又は共有分数水平成分及び/又は共有分数垂直成分)は、グループ内のサンプルの全て若しくは一部の、又は図3Aのサンプル“E”、“F”、“G”、“H”の、又は図3Aのサンプル“E”、“H”の、又は図3Aのサンプル“A”、“B”、“C”、“D”の、又は図3Aのサンプル“A”、“D”の、又は図3Bのサンプル“B”、“C”の、又は図3Bのサンプル“A”、“D”の、又は図3Cのサンプル“B”、“C”の、又は図3Cのサンプル“A”、“D”のMV(及び/又は水平成分及び/又は垂直成分、及び/又は分数水平成分及び/又は分数垂直成分)の平均であるように設定され得る。
2. 参照ピクチャの解像度が現在ピクチャとは異なるとき、又は参照ピクチャの幅及び/又は高さが現在ピクチャのそれよりも大きいとき、整数MVのみが、現在ブロックの予測ブロックを導出する動き補償プロセスを実行するのを許されることを提案する:
a. 一例において、予測されるサンプルに対する複合動きベクトルは、使用される前に整数MVに丸められる;
b. 一例において、予測されるサンプルに対する複合動きベクトルは、復号動きベクトルに最も近い整数MVに丸められる;
c. 一例において、予測されるサンプルに対する複合動きベクトルは、水平方向に復号動きベクトルに最も近い整数MVに丸められる;
d. 一例において、予測されるサンプルに対する複合動きベクトルは、垂直方向に復号動きベクトルに最も近い整数MVに丸められる。
3. 現在ブロック内のサンプルに対する動き補償プロセスで使用される動きベクトル(例えば、上の箇条書きで述べた共有MV/共有水平又は垂直又は分数成分/MV’)は、復号ピクチャバッファに格納されて、現在ピクチャ/異なるピクチャ内の後続ブロックの動きベクトル予測に利用され得る:
a. あるいは、現在ブロック内のサンプルに対する動き補償プロセスで使用される動きベクトル(例えば、上の箇条書きで述べた共有MV/共有水平又は垂直又は分数成分/MV’)は、現在ピクチャ/異なるピクチャ内の後続ブロックの動きベクトル予測に利用されることを禁止されてもよい:
i. 一例において、復号動きベクトル(例えば、上の箇条書きにおけるMV)が、現在ピクチャ/異なるピクチャ内の後続ブロックの動きベクトル予測に利用され得る;
b. 一例において、現在ブロック内のサンプルに対する動き補償プロセスで使用される動きベクトルは、フィルタリングプロセス(例えば、デブロッキングフィルタ/SAO/ALF)で利用され得る:
i. あるいは、復号動きベクトル(例えば、上の箇条書きにおけるMV)が、フィルタリングプロセスに利用されてもよい;
c. 一例において、このようなMVは、サブブロックレベルで導出されて、各サブブロックに対して記憶され得る。
4. 現在ブロックの予測ブロックを導出する動き補償プロセスで使用される補間フィルタが、参照ピクチャの解像度が現在ピクチャとは異なるか、又は参照ピクチャの幅及び/又は高さが現在ピクチャのそれよりも大きいかに応じて選択され得ることを提案する:
a. 一例において、条件Aが満たされるときに、より少ないタップを有する補間フィルタを適用することができ、条件Aは、現在ピクチャ及び/又は参照ピクチャの寸法に依存する:
i. 一例において、条件Aは、参照ピクチャの解像度が現在ピクチャとは異なることである;
ii. 一例において、条件Aは、参照ピクチャの幅及び/又は高さが現在ピクチャのそれよりも大きいことである;
iii. 一例において、条件Aは、W1>a*W2及び/又はH1>b*H2であり、ここで、(W1,H1)は参照ピクチャの幅及び高さを表し、(W2,H2)は現在ピクチャの幅及び高さを表し、a及びbは2つの係数であり、例えば、a=b=1.5である;
iv. 一例において、条件Aは、双予測が使用されるかにも依存し得る;
v. 一例において、1タップフィルタが適用される。換言すれば、フィルタリングなしの整数ピクセルが補間結果として出力される;
vi. 一例において、参照ピクチャの解像度が現在ピクチャとは異なるとき、双線形フィルタが適用される;
vii. 一例において、参照ピクチャの解像度が現在ピクチャとは異なるとき、又は参照ピクチャの幅及び/又は高さが現在ピクチャのそれよりも大きいとき、4タップフィルタ又は6タップフィルタが適用される:
1) 6タップフィルタは、アフィン動き補償にも使用され得る;
2) 4タップフィルタは、クロマサンプルに対する補間にも使用され得る;
b. 一例において、参照ピクチャの解像度が現在ピクチャとは異なるとき、又は参照ピクチャの幅及び/又は高さが現在ピクチャのそれよりも大きいとき、補間を実行するためにパディングサンプルが使用される;
c. 箇条書き4に開示される方法を適用するかどうか、及び/又はどのように適用するかは、カラー成分に依存し得る:
i. 例えば、当該方法はルマコンポーネントのみに適用される;
d. 箇条書き4に開示される方法を適用するかどうか、及び/又はどのように適用するかは、補間フィルタリング方向に依存し得る:
i. 例えば、当該方法は水平フィルタリングのみに適用される;
ii. 例えば、当該方法は垂直フィルタリングのみに適用される。
5. 参照ピクチャの解像度が現在ピクチャとは異なるとき、又は参照ピクチャの幅及び/又は高さが現在ピクチャのそれよりも大きいとき、予測ブロック生成のための二段階プロセスが適用されることを提案する:
a. 第1段階にて、現在ピクチャ及び参照ピクチャの幅及び/又は高さに応じて参照ピクチャ内の領域のアップサンプリング又はダウンサンプリングによって、仮想参照ブロックが生成される;
b. 第2段階にて、現在ピクチャ及び参照ピクチャの幅及び/又は高さとは無関係に補間フィルタリングを適用することによって、仮想参照ブロックから予測サンプルが生成される。
6. 一部の実施形態においてのような参照サンプルパディングのための境界ブロックの左上座標(xSbInt,ySbInt)の計算が、現在ピクチャ及び参照ピクチャの幅及び/又は高さに応じて導出され得ることを提案する:
a. 一例において、フルサンプル単位のルマ位置が:
xInt=Clip3(xSbInt-Dx,xSbInt+sbWidth+Ux,xInt)、
yInt=Clip3(ySbInt-Dy,ySbInt+sbHeight+Uy,yInt
のように変更され、ここで、Dx及び/又はDy、及び/又はUx及び/又はUyは、現在ピクチャ及び参照ピクチャの幅及び/又は高さに依存し得る;
b. 一例において、フルサンプル単位のクロマ位置が:
xInti=Clip3(xSbInt-Dx,xSbInt+sbWidth+Ux,xInti)、
yInti=Clip3(ySbInt-Dy,ySbInt+sbHeight+Uy,yInti)
のように変更され、ここで、Dx及び/又はDy、及び/又はUx及び/又はUyは、現在ピクチャ及び参照ピクチャの幅及び/又は高さに依存し得る。
7. 現在ピクチャと同じ参照ピクチャ解像度に基づく動きベクトルをブロック用に記憶/使用することに代えて、解像度差を考慮に入れた実際の動きベクトルを使用することを提案する:
a. あるいは、さらに、動きベクトルを用いて予測ブロックを生成するときに、現在ピクチャ及び参照ピクチャの解像度(例えば、(refx,refy))に従って動きベクトルを更に変更する必要はない。
RPRと他のコーディングツールとの間の相互作用
8. フィルタリングプロセス(例えば、デブロッキングフィルタ)を適用すべきか/どのように適用するかは、参照ピクチャの解像度及び/又は現在ピクチャの解像度に依存し得る:
a. 一例において、デブロッキングフィルタにおける境界強度(BS)設定が、動きベクトル差に加えて解像度差を考慮に入れ得る:
i. 一例において、現在ピクチャ及び参照ピクチャの解像度に応じてスケーリングされた動きベクトル差を用いて境界強度を決定し得る;
b. 一例において、ブロックAの少なくとも1つの参照ピクチャの解像度がブロックBの少なくとも1つの参照ピクチャの解像度と異なる(又はそれよりも小さい若しくは大きい)場合に、ブロックAとブロックBとの間の境界に対するデブロッキングフィルタの強さが、それら2つのブロックに対して同じ解像度が使用される場合と比較して異なるように(例えば、増加されて/減少されて)設定され得る;
c. 一例において、ブロックAの少なくとも1つの参照ピクチャの解像度がブロックBの少なくとも1つの参照ピクチャの解像度と異なる(又はそれよりも小さい若しくは大きい)場合に、ブロックAとブロックBの間の境界が、フィルタリングされるべきとしてマークされる(例えば、BSが2に設定される);
d. 一例において、ブロックA及び/又はブロックBの少なくとも1つの参照ピクチャの解像度が現在ピクチャの解像度と異なる(又はそれよりも小さい若しくは大きい)場合に、ブロックAとブロックBとの間の境界に対するデブロッキングフィルタの強さが、参照ピクチャ及び現在ピクチャに同じ解像度が使用される場合と比較して異なるように(例えば、増加されて/減少されて)設定され得る;
e. 一例において、2つのブロックの間の境界が、それら2つのうちの少なくとも一方のブロックの少なくとも1つの参照ピクチャが現在のピクチャの解像度と異なる解像度を持つ場合に、フィルタリングされるべきとしてマークされる(例えば、BSが2に設定される)。
9. サブピクチャが存在するとき、適合ビットストリームは、参照ピクチャが現在ピクチャと同じ解像度を持たなければならないことを満たすべきであるとし得る:
a. あるいは、参照ピクチャが現在ピクチャとは異なる解像度を持つとき、現在ピクチャにサブピクチャは存在しない;
b. あるいは、現在ピクチャ内のサブピクチャに対して、現在ピクチャとは異なる解像度を有する参照ピクチャを使用することが禁止される:
i. あるいは、さらに、異なる解像度を有する参照ピクチャを除外するために参照ピクチャ管理が呼び出され得る。
10. 一例において、異なる解像度を有するピクチャに対して別々にサブピクチャ(例えば、1つのピクチャをどのように複数のサブピクチャにスプリットするか)が定義され得る:
一例において、参照ピクチャが現在ピクチャとは異なる解像度を持つ場合、現在ピクチャのサブピクチャをスケーリング及び/又はオフセットすることによって、参照ピクチャ内の対応するサブピクチャを導出することができる。
11. 参照ピクチャが現在ピクチャの解像度とは異なる解像度を持つとき、PROF(オプティカルフローでの予測精緻化)を有効にすることができる:
a. 一例において、一群のサンプルに対して、一組のMV(MVと表記する)が生成され、箇条書き1に記載したように動き補償に使用され得る。一方、各サンプルに対してMV(MVと表記する)を導出することができ、MVとMVとの間の差(例えば、PROFで使用されるΔvに対応する)が、勾配(例えば、動き補償ブロックの空間勾配)と共に、予測精緻化を導出するために使用され得る;
b. 一例において、MVは、MVとは異なる精度を有し得る。例えば、MVは、1/Nペル(N>0)精度でのものであることができ、N=32、64などである;
c. 一例において、MVは、内部MV精度(例えば、1/16ペル)とは異なる精度でのものであることができる;
d. 一例において、予測精緻化が予測ブロックに足し合わされて、精緻化予測ブロックを生成する;
e. 一例において、このような方法は各予測方向で適用され得る;
f. 一例において、このような方法は片予測の場合にのみ適用され得る;
g. 一例において、このような方法は片予測又は/及び双予測で適用され得る;
h. 一例において、このような方法は、参照ピクチャが現在ピクチャとは異なる解像度を持つ場合にのみ適用され得る。
12. 参照ピクチャの解像度が現在ピクチャのそれとは異なるとき、現在ブロックの予測ブロックを導出する動き補償プロセスを実行するのに、ブロック/サブブロックに対して1つのMVのみが利用され得ることを提案する:
a. 一例において、ブロック/サブブロックに対する唯一のMVは、ブロック/サブブロック内の各サンプルに関連する全てのMVの関数(例えば、平均)として定められ得る;
b. 一例において、ブロック/サブブロックに対する唯一のMVは、ブロック/サブブロック内の選択されたサンプル(例えば、中心サンプル)に関連する選択されたMVとして定められ得る;
c. 一例において、4×4ブロック又はサブブロック(例えば、4×1)に対して唯一のMVが使用され得る;
d. 一例において、ブロックベースの動きベクトルに起因する精度損失を補償するために、更にBIOが適用され得る。
13. 参照ピクチャの幅及び/又は高さが現在ピクチャのそれとは異なるとき、ブロックベースの動きベクトルをシグナリングしない怠惰(レイジー)モードが適用され得る:
a. 一例において、動きベクトルもシグナリングされず、動き補償プロセスは静止画像の純粋な解像度変化の場合を近似する;
b. 一例において、解像度が変化するときに、ピクチャ/タイル/ブリック/CTUレベルで動きベクトルのみがシグナリングされ、関係するブロックがその動きベクトルを使用し得る。
14. アフィン予測モード及び/又は非アフィン予測モードでコーディングされるブロックについて、参照ピクチャの幅及び/又は高さが現在ピクチャのそれとは異なるとき、動き補償を近似するためにPROFが適用され得る:
a. 一例において、PROFは、参照ピクチャの幅及び/又は高さと現在ピクチャのそれとが異なるときに有効にされ得る;
b. 一例において、一組のアフィン運動が、指し示された動きと、スケーリングされてPROFによって使用される解像度とを組み合わせることによって生成され得る。
15. 参照ピクチャの幅及び/又は高さが現在ピクチャのそれとは異なるとき、動き補償を近似するために、インターウィーブ予測(例えば、JVET-K0102で提案されているような)が適用され得る:
a. 一例において、解像度変化(ズーミング)がアフィン運動として表現され、インターウィーブ動き予測が適用され得る。
16. 現在ピクチャの幅及び/又は高さが、同じIRAP期間内のIRAPピクチャのそれとは異なるとき、LMCS及び/又はクロマ残差スケーリングが無効にされ得る:
a. 一例において、LMCSが無効にされるとき、例えばslice_lmcs_enabled_flag、slice_lmcs_aps_id、及びslice_chroma_residual_scale_flagなどのスライスレベルフラグは、シグナリングされずに0であると推定され得る;
b. 一例において、クロマ残差スケーリングが無効にされるとき、例えばslice_chroma_residual_scale_flagなどのスライスレベルフラグは、シグナリングされずに0であると推定され得る。
RPRについての制約
17. RPRは、ブロック寸法制約を有するコーディングブロックに適用され得る:
a. 一例において、Mをブロック幅、Nをブロック高さとして、M×Nコーディングブロックについて、M*N<T又はM*N<=Tであるとき(例えばT=256など)、RPRは使用されないとし得る;
b. 一例において、M<K(又はM<=K)(例えばK=16など)及び/又はN<L(又はN<=L)(例えばL=16など)であるとき、RPRは使用されないとし得る。
18. アクティブ参照ピクチャ(又はその適合ウィンドウ)の幅及び/又は高さと現在ピクチャ(又はその適合ウィンドウ)のそれとの間の比を制約するために、ビットストリーム適合が付加され得る。refPicW及びrefPicHが参照ピクチャの幅及び高さを表し、curPicW及びcurPicHが現在ピクチャの幅及び高さを表すとする:
a. 一例において、(refPicW÷curPicW)が整数に等しいとき、その参照ピクチャはアクティブ参照ピクチャとしてマークされ得る:
i. あるいは、(refPicW÷curPicW)が分数に等しいとき、その参照ピクチャは利用可能でないとしてマークされ得る;
b. 一例において、例えばX=1/2など、Xは分数を表し、例えばn=1,2,3,4,…など、nは整数を表すとして、(refPicW÷curPicW)が(X*n)に等しいとき、その参照ピクチャはアクティブ参照ピクチャとしてマークされ得る:
i. 一例において、(refPicW÷curPicW)が(X*n)に等しくないとき、その参照ピクチャは利用可能でないとしてマークされ得る。
19. M×Nブロックに対してコーディングツール(例えば、双予測/全体的な三角予測モード(TPM)/TPMにおける混合プロセス)を有効にすべきか及び/又はどのように有効にするかが、参照ピクチャ(又はそれらの適合ウィンドウ)の解像度及び/又は現在ピクチャ(又はその適合ウィンドウ)の解像度に依存し得る:
a. 一例において、M*N<T又はM*N<=T(例えばT=64など)である;
b. 一例において、M<K(又はM<=K)(例えばK=16など)及び/又はN<L(又はN<=L)(例えばL=16など)である;
c. 一例において、少なくとも1つの参照ピクチャの幅/高さが現在ピクチャとは異なるとき、コーディングツールは許可されない:
i. 一例において、ブロックの少なくとも1つの参照ピクチャの幅/高さが現在ピクチャのそれよりも大きいとき、コーディングツールは許可されない;
d. 一例において、ブロックの各参照ピクチャの幅/高さが現在ピクチャのそれとは異なるとき、コーディングツールは許可されない:
i. 一例において、各参照ピクチャの幅/高さが現在ピクチャのそれよりも大きいとき、コーディングツールは許可されない;
e. あるいは、さらに、コーディングツールが許可されないとき、動き補償は、片予測として1つのMVで行われ得る。
適合ウィンドウ関連
20. Nは1より大きい正の整数であるとして、適合クロッピングウィンドウオフセットパラメータ(例えば、conf_win_left_offset)が、1ペルに代えてNペル精度でシグナリングされる:
a. 一例において、実際のオフセットは、シグナリングされたオフセットにNを乗じたものとして導出され得る;
b. 一例において、Nは4又は8に設定される。
21. 適合クロッピングウィンドウオフセットパラメータが出力で適用されるのみではないことを提案する。特定の内部復号プロセスが、クロッピングされたピクチャサイズ(すなわち、ピクチャ内の適合ウィンドウの解像度)に依存し得る。
22. 第1の映像ユニットにおいてと、第2の映像ユニットにおいてとで、(pic_width_in_luma_samples,pic_height_in_luma_samples)と表記されるピクチャの幅及び/又は高さが同じであるとき、第1の映像ユニット(例えば、PPS)においてと、第2の映像ユニットにおいてとで、適合クロッピングウィンドウオフセットパラメータが異なり得ることを提案する。
23. 第1の映像ユニットにおいてと、第2の映像ユニットにおいてとで、(pic_width_in_luma_samples,pic_height_in_luma_samples)と表記されるピクチャの幅及び/又は高さが異なるとき、適合ビットストリームでは、第1の映像ユニット(例えば、PPS)においてと、第2の映像ユニットにおいてとで、適合クロッピングウィンドウオフセットパラメータが同じであるべきことを提案する:
a. 第1の映像ユニットにおいてと、第2の映像ユニットにおいてとで、(pic_width_in_luma_samples,pic_height_in_luma_samples)と表記されるピクチャの幅及び/又は高さが同じであろうとなかとろうと、適合ビットストリームでは、第1の映像ユニット(例えば、PPS)においてと、第2の映像ユニットにおいてとで、適合クロッピングウィンドウオフセットパラメータが同じであるべきことを提案する。
24. 第1の映像ユニット(例えば、PPS)に規定される適合ウィンドウの幅及び高さをそれぞれW1及びH1と表記するとする。第2の映像ユニット(例えば、PPS)に規定される適合ウィンドウの幅及び高さをそれぞれW2及びH2と表記する。第1の映像ユニット(例えば、PPS)に規定される適合ウィンドウの左上の位置をX1及びY1と表記する。第2の映像ユニット(例えば、PPS)に規定される適合ウィンドウの左上の位置をX2及びY2と表記する。第1の映像ユニット(例えば、PPS)に規定される符号化/復号ピクチャの幅及び高さ(例えば、pic_width_in_luma_samples及びpic_height_in_luma_samples)をそれぞれPW1及びPH1と表記する。第2の映像ユニット(例えば、PPS)に規定される符号化/復号ピクチャの幅及び高さをそれぞれPW2及びPH2と表記する:
a. 一例において、適合ビットストリームではW1/W2がX1/X2に等しくあるべきである:
i. あるいは、適合ビットストリームではW1/X1がW2/X2に等しくあるべきである;
ii. あるいは、適合ビットストリームではW1*X2がW2*X1に等しくあるべきである;
b. 一例において、適合ビットストリームではH1/H2がY1/Y2に等しくあるべきである:
i. あるいは、適合ビットストリームではH1/Y1がH2/Y2に等しくあるべきである;
ii. あるいは、適合ビットストリームではH1*Y2がH2*Y1に等しくあるべきである;
c. 一例において、適合ビットストリームではPW1/PW2がX1/X2に等しくあるべきである:
i. あるいは、適合ビットストリームではPW1/X1がPW2/X2に等しくあるべきである;
ii. あるいは、適合ビットストリームではPW1*X2がPW2*X1に等しくあるべきである;
d. 一例において、適合ビットストリームではPH1/PH2がY1/Y2に等しくあるべきである:
i. あるいは、適合ビットストリームではPH1/Y1がPH2/Y2に等しくあるべきである;
ii. あるいは、適合ビットストリームではPH1*Y2がPH2*Y1に等しくあるべきである;
e. 一例において、適合ビットストリームではPW1/PW2がW1/W2に等しくあるべきである:
i. あるいは、適合ビットストリームではPW1/W1がPW2/W2に等しくあるべきである;
ii. あるいは、適合ビットストリームではPW1*W2がPW2*W1に等しくあるべきである;
f. 一例において、適合ビットストリームではPH1/PH2がH1/H2に等しくあるべきである:
i. あるいは、適合ビットストリームではPH1/H1がPH2/H2に等しくあるべきである;
ii. あるいは、適合ビットストリームではPH1*H2がPH2*H1に等しくあるべきである;
g. 適合ビットストリームでは、PW1がPW2よりも大きい場合、W1はW2よりも大きくなければならない;
h. 適合ビットストリームでは、PW1がPW2よりも小さい場合、W1はW2よりも小さくなければならない;
i. 適合ビットストリームでは、(PW1-PW2)*(W1-W2)は0以上でなければならない;
j. 適合ビットストリームでは、PH1がPH2よりも大きい場合、H1はH2よりも大きくなければならない;
k. 適合ビットストリームでは、PH1がPH2よりも小さい場合、H1はH2よりも小さくなければならない;
l. 適合ビットストリームでは、(PH1-PH2)*(H1-H2)は0以上でなければならない;
m. 適合ビットストリームでは、PW1>=PW2である場合、W1/W2はPW1/PW2以下(又は以上)でなければならない;
n. 適合ビットストリームでは、PH1>=PH2である場合、H1/H2はPH1/PHW2以下(又は以上)でなければならない。
25. 現在ピクチャの適合ウィンドウの幅及び高さをそれぞれW及びHと表記するとする。参照ピクチャの適合ウィンドウの幅及び高さをそれぞれW’及びH’と表記する。適合ビットストリームは、以下の制約の少なくとも1つに従うべきである:
a. W*pw>=W’; pwは例えば2などの整数である;
b. W*pw>W’; pwは例えば2などの整数である;
c. W’*pw’>=W; pw’は例えば8などの整数である;
d. W’*pw’>W; pw’は例えば8などの整数である;
e. H*ph>=H’; phは例えば2などの整数である;
f. H*ph>H’; phは例えば2などの整数である;
g. H’*ph’>=H; ph’は例えば8などの整数である;
h. H’*ph’>H; ph’は例えば8などの整数である;
i. 一例において、pwはpw’に等しい;
j. 一例において、phはph’に等しい;
k. 一例において、pwはphに等しい;
l. 一例において、pw’はph’に等しい;
m. 一例において、上の小箇条書きは、W及びHがそれぞれ現在ピクチャの幅及び高さを表すときに、適合ビットストリームによって満足される必要があるとし得る。W’及びH’は、参照ピクチャの幅及び高さを表す。
26. 適合ウィンドウパラメータが部分的にシグナリングされることを提案する:
a. 一例において、ピクチャの適合ウィンドウの左上サンプルは、そのピクチャにおけるそれと同じである;
b. 例えば、VVCで定義されるconf_win_left_offsetは、シグナリングされずに0であると推定される;
c. 例えば、VVCで定義されるconf_win_top_offsetは、シグナリングされずに0であると推定される。
27. 参照サンプルの位置(例えば、VVCで定義される(refx,refy))の導出が、現在ピクチャ及び/又は参照ピクチャの適合ウィンドウの左上の位置(例えば、VVCで定義される(conf_win_left_offset,conf_win_top_offset))に依存し得ることを提案する。図4は、(a)VVCにおいてと同様に、及び(b)及び提案する方法において導出されるサンプル位置の例を示している。破線の矩形が適合ウィンドウを表している:
a. 一例において、依存性は、現在ピクチャの幅及び/又は高さと参照ピクチャのそれとが異なるときにのみ存在する;
b. 一例において、参照サンプルの水平位置(例えば、VVCで定義されるRefx)の導出は、現在ピクチャ及び/又は参照ピクチャの適合ウィンドウの左位置(例えば、VVCで定義されるconf_win_left_offset)に依存し得る:
i. 一例において、現在ピクチャ内の適合ウィンドウの左上の位置に対する現在サンプルの水平位置(xSb’と表記)が計算され、参照サンプルの位置を導出するために使用される:
1) 例えば、xSb’=xSb-(conf_win_left_offset<<Prec)が計算され、参照サンプルの位置を導出するために使用される。ここで、xSbは現在ピクチャ内の現在サンプルの水平位置を表す。conf_win_left_offsetは現在ピクチャの適合ウィンドウ内の左上サンプルの水平位置を表す。PrecはxSb及びxSb’の精度を表し、ここで、(xSb>>Prec)は、現在ピクチャに対する現在サンプルの実際の水平座標を示し得る。例えば、Prec=0又はPrec=4である;
ii. 一例において、参照ピクチャ内の適合ウィンドウの左上の位置に対する参照サンプルの水平位置(Rx’と表記)が計算される:
1) Rx’の計算は、xSb’、及び/又は動きベクトル、及び/又はリサンプリング比に依存し得る;
iii. 一例において、参照ピクチャに対する参照サンプルの水平位置(Rxと表記)が、Rx’に依存して計算される:
1) 例えば、Rx=Rx’+(conf_win_left_offset_ref<<Prec)が計算され、conf_win_left_offset_refは、参照ピクチャの適合ウィンドウ内の左上サンプルの水平位置を表す。Precは、Rx及びRx’の精度を表す。例えば、Prec=0又はPrec=4である;
iv. 一例において、Rxは、xSb’、及び/又は動きベクトル、及び/又はリサンプリング比に依存して直接計算され得る。換言すれば、Rx’及びRxについての導出の2つのステップが一ステップの計算へと結合される;
v. 現在ピクチャ及び/又は参照ピクチャの適合ウィンドウの左位置(例えば、VVCで定義されるconf_win_left_offset)を使用すべきか、及び/又はどのように使用するかは、カラー成分及び/又はカラーフォーマットに依存し得る:
1) 例えば、conf_win_left_offsetを、conf_win_left_offset=conf_win_left_offset*SubWidthCとして改訂することができ、ここで、SubWidthCは、カラー成分の水平方向のサンプリングステップを定義する。例えば、SubWidthCはルマコンポーネントに対して1に等しい。SubWidthCは、カラーフォーマットが4:2:0又は4:2:2である場合、クロマコンポーネントに対しては2に等しい;
2) 例えば、conf_win_left_offsetを、conf_win_left_offset=conf_win_left_offset/SubWidthCとして改訂することができ、ここで、SubWidthCは、カラー成分の水平方向のサンプリングステップを定義する。例えば、SubWidthCはルマコンポーネントに対して1に等しい。SubWidthCは、カラーフォーマットが4:2:0又は4:2:2である場合、クロマコンポーネントに対しては2に等しい;
c. 一例において、参照サンプルの垂直位置(例えば、VVCで定義されるRefy)の導出は、現在ピクチャ及び/又は参照ピクチャの適合ウィンドウの上位置(例えば、VVCで定義されるconf_win_top_offset)に依存し得る:
i. 一例において、現在ピクチャ内の適合ウィンドウの左上の位置に対する現在サンプルの垂直位置(ySb’と表記)が計算され、参照サンプルの位置を導出するために使用される:
1) 例えば、ySb’=ySb-(conf_win_top_offset<<Prec)が計算され、参照サンプルの位置を導出するために使用される。ここで、ySbは現在ピクチャ内の現在サンプルの垂直位置を表す。conf_win_top_offsetは現在ピクチャの適合ウィンドウ内の左上サンプルの垂直位置を表す。PrecはySb及びySb’の精度を表す。例えば、Prec=0又はPrec=4である;
ii. 一例において、参照ピクチャ内の適合ウィンドウの左上の位置に対する参照サンプルの垂直位置(Ry’と表記)が計算される:
1) Ry’の計算は、ySb’、及び/又は動きベクトル、及び/又はリサンプリング比に依存し得る;
iii. 一例において、参照ピクチャに対する参照サンプルの垂直位置(Ryと表記)が、Ry’に依存して計算される:
1) 例えば、Ry=Ry’+(conf_win_top_offset_ref<<Prec)が計算され、conf_win_top_offset_refは、参照ピクチャの適合ウィンドウ内の左上サンプルの垂直位置を表す。Precは、Ry及びRy’の精度を表す。例えば、Prec=0又はPrec=4である;
iv. 一例において、Ryは、ySb’、及び/又は動きベクトル、及び/又はリサンプリング比に依存して直接計算され得る。換言すれば、Ry’及びRyについての導出の2つのステップが一ステップの計算へと結合される;
v. 現在ピクチャ及び/又は参照ピクチャの適合ウィンドウの上位置(例えば、VVCで定義されるconf_win_top_offset)を使用すべきか、及び/又はどのように使用するかは、カラー成分及び/又はカラーフォーマットに依存し得る:
1) 例えば、conf_win_top_offsetを、conf_win_top_offset=conf_win_top_offset*SubHeightCとして改訂することができ、ここで、SubHeightCは、カラー成分の垂直方向のサンプリングステップを定義する。例えば、SubHeightCはルマコンポーネントに対して1に等しい。SubHeightCは、カラーフォーマットが4:2:0である場合、クロマコンポーネントに対しては2に等しい;
2) 例えば、conf_win_top_offsetを、conf_win_top_offset=conf_win_top_offset/SubHeightCとして改訂することができ、ここで、SubHeightCは、カラー成分の垂直方向のサンプリングステップを定義する。例えば、SubHeightCはルマコンポーネントに対して1に等しい。SubHeightCは、カラーフォーマットが4:2:0である場合、クロマコンポーネントに対しては2に等しい;
28. 参照サンプルの水平座標の整数部分が[minW,maxW]にクリッピングされ得ることを提案する。参照ピクチャの適合ウィンドウの幅及び高さをそれぞれW及びHと表記するとする。参照ピクチャの適合ウィンドウの幅及び高さをW’及びH’と表記する。参照ピクチャ内の適合ウィンドウの左上の位置を(X0,Y0)と表記する:
a. 一例において、minWは0に等しい;
b. 一例において、minWはX0に等しい;
c. 一例において、maxWはW-1に等しい;
d. 一例において、maxWはW’-1に等しい;
e. 一例において、maxWはX0+W’-1に等しい;
f. 一例において、minW及び/又はmaxWは、カラーフォーマット及び/又はカラー成分に基づいて変更されてもよい:
i. 例えば、minWはminW*SubCに変更される;
ii. 例えば、minWはminW/SubCに変更される;
iii. 例えば、maxWはmaxW*SubCに変更される;
iv. 例えば、maxWはmaxW*SubCに変更される;
v. 一例において、SubCはルマコンポーネントに対して1に等しい;
vi. 一例において、カラーフォーマットが4:2:0である場合、SubCはクロマコンポーネントに対して2に等しい;
vii. 一例において、カラーフォーマットが4:2:2である場合、SubCはクロマコンポーネントに対して2に等しい;
viii. 一例において、カラーフォーマットが4:4:4である場合、SubCはクロマコンポーネントに対して1に等しい;
g. 一例において、クリッピングを行うべきか、及び/又はどのように行うかは、現在ピクチャ(又はその中の適合ウィンドウ)の寸法及び参照ピクチャ(又はその中の適合ウィンドウ)の寸法に依存し得る:
i. 一例において、クリッピングは、現在ピクチャ(又はその中の適合ウィンドウ)の寸法と参照ピクチャ(又はその中の適合ウィンドウ)の寸法とが異なるときにのみ行われる。
29. 参照サンプルの垂直座標の整数部分が[minH,maxH]にクリッピングされ得ることを提案する。参照ピクチャの適合ウィンドウの幅及び高さをそれぞれW及びHと表記するとする。参照ピクチャの適合ウィンドウの幅及び高さをW’及びH’と表記する。参照ピクチャ内の適合ウィンドウの左上の位置を(X0,Y0)と表記する:
a. 一例において、minHは0に等しい;
b. 一例において、minHはY0に等しい;
c. 一例において、maxHはH-1に等しい;
d. 一例において、maxHはH’-1に等しい;
e. 一例において、maxHはY0+H’-1に等しい;
f. 一例において、minH及び/又はmaxHは、カラーフォーマット及び/又はカラー成分に基づいて変更されてもよい:
i. 例えば、minHはminH*SubCに変更される;
ii. 例えば、minHはminH/SubCに変更される;
iii. 例えば、maxHはmaxH*SubCに変更される;
iv. 例えば、maxHはmaxH*SubCに変更される;
v. 一例において、SubCはルマコンポーネントに対して1に等しい;
vi. 一例において、カラーフォーマットが4:2:0である場合、SubCはクロマコンポーネントに対して2に等しい;
vii. 一例において、カラーフォーマットが4:2:2である場合、SubCはクロマコンポーネントに対して1に等しい;
viii. 一例において、カラーフォーマットが4:4:4である場合、SubCはクロマコンポーネントに対して1に等しい;
g. 一例において、クリッピングを行うべきか、及び/又はどのように行うかは、現在ピクチャ(又はその中の適合ウィンドウ)の寸法及び参照ピクチャ(又はその中の適合ウィンドウ)の寸法に依存し得る:
i. 一例において、クリッピングは、現在ピクチャ(又はその中の適合ウィンドウ)の寸法と参照ピクチャ(又はその中の適合ウィンドウ)の寸法とが異なるときにのみ行われる。
以下の説明では、第1のシンタックス要素と第2のシンタックス要素との2つのシンタックス要素が等価な機能を持つが、異なる映像ユニット(例えば、VPS/SPS/PPS/スライスヘッダ/ピクチャヘッダなど)でシグナリングされ得る場合に、第1のシンタックス要素は第2のシンタックス要素に“対応する”と言う。
30. シンタックス要素が第1の映像ユニット(例えば、ピクチャヘッダ又はPPS)内でシグナリングされ、より高いレベル(例えばSPSなど)又はより低いレベル(例えばスライスヘッダなど)の第2の映像ユニットで、対応するシンタックス要素がシグナリングされないことを提案する:
a. あるいは、第1のシンタックス要素が第1の映像ユニット(例えば、ピクチャヘッダ又はPPS)内でシグナリングされ得るとともに、対応する第2のシンタックス要素が、より低いレベル(例えばスライスヘッダなど)の第2の映像ユニット内でシグナリングされ得る:
i. あるいは、第2のシンタックス要素がその後にシグナリングされるかを通知するインジケータが第2の映像ユニット内でシグナリングされ得る;
ii. 一例において、第2の映像ユニット(例えばスライスヘッダなど)に関連するスライスは、第2のものがシグナリングされる場合に第1のものの代わりに第2のシンタックス要素のインジケーションに続き得る;
iii. 第1の映像ユニットに関連するいずれかのスライス(又は他の映像ユニット)内で第2のシンタックス要素がシグナリングされるかを通知するために、第1のシンタックス要素に関連するインジケータが第1の映像ユニット内でシグナリングされてもよい;
b. あるいは、第1のシンタックス要素が、より高いレベル(例えばVPS/SPS/PPSなど)の第1の映像ユニット内でシグナリングされ得るとともに、対応する第2のシンタックス要素が、第2の映像ユニット(例えばピクチャヘッダなど)内でシグナリングされ得る:
i. あるいは、第2のシンタックス要素がその後にシグナリングされるかを通知するインジケータがシグナリングされ得る;
ii. 一例において、第2の映像ユニットに関連するピクチャ(これは複数のスライスに分割され得る)が、第2のものがシグナリングされる場合に第1のものの代わりに第2のシンタックス要素のインジケーションに続き得る;
c. ピクチャヘッダ内の第1のシンタックス要素は、セクション2.6で規定されるようなスライスヘッダ内の第2のシンタックス要素(しかし、例えばslice_temporal_mvp_enabled_flag、cabac_init_flag、six_minus_max_num_merge_cand、five_minus_max_num_subblock_merge_cand、slice_fpel_mmvd_enabled_flag、slice_disable_bdof_dmvr_flag、max_num_merge_cand_minus_max_num_triangle_cand、slice_fpel_mmvd_enabled_flag、slice_six_minus_max_num_ibc_merge_cand、slice_joint_cbcr_sign_flag、slice_qp_delta、…などに限られる)と等価な機能を持ち得るが、ピクチャの全てのスタイスを制御し得る;
d. セクション2.6で規定されるようなSPS内の第1のシンタックス要素は、ピクチャヘッダ内の第2のシンタックス要素(しかし、例えばsps_bdof_dmvr_slice_present_flag、sps_mmvd_enabled_flag、sps_isp_enabled_flag、sps_mrl_enabled_flag、sps_mip_enabled_flag、sps_cclm_enabled_flag、sps_mts_enabled_flag…などに限られる)と等価な機能を持ち得るが、関連するピクチャ(これは複数のスライスに分割され得る)のみを制御し得る;
e. セクション2.7で規定されるようなPPS内の第1のシンタックス要素は、ピクチャヘッダ内の第2のシンタックス要素(しかし、例えばentropy_coding_sync_enabled_flag、entry_point_offsets_present_flag、cabac_init_present_flag、rpl1_idx_present_flag…などに限られる)と等価な機能を持ち得るが、関連するピクチャ(これは複数のスライスに分割され得る)のみを制御し得る。
31. ピクチャヘッダでシグナリングされるシンタックス要素が、SPS/VPS/DPSでシグナリングされる又は導出される他のシンタックス要素から切り離される。
32. DMVRとBDOFの有効化/無効化のインジケーションが、同じフラグ(例えば、pic_disable_bdof_dmvr_flag)によって制御されることに代えて、ピクチャヘッダ内で別途シグナリングされ得る。
33. PROF/クロスコンポーネントALF/幾何学的分割(geometric partitioning;GEO)でのインター予測の有効化/無効化のインジケーションが、ピクチャヘッダ内でシグナリングされ得る:
a. あるいは、ピクチャヘッダ内のPROFを有効化/無効化することのインジケーションが、SPS内のPROF有効化フラグに従って条件付きでシグナリングされ得る;
b. あるいは、ピクチャヘッダ内のクロスコンポーネントALF(CCALF)を有効化/無効化することのインジケーションが、SPS内のCCALF有効化フラグに従って条件付きでシグナリングされ得る;
c. あるいは、ピクチャヘッダ内のGEOを有効化/無効化することのインジケーションが、SPS内のGEO有効化フラグに従って条件付きでシグナリングされ得る;
d. あるいは、さらに、スライスヘッダ内のPROF/クロスコンポーネントALF/幾何学的分割(GEO)でのインター予測の有効化/無効化のインジケーションが、SPSの代わりにピクチャヘッダ内でシグナリングされるそれらのシンタックス要素に従って条件付きでシグナリングされ得る。
34. 同一ピクチャ内のスライス/ブリック/タイル(又はピクチャよりも小さい他の映像ユニット)の予測タイプのインジケーションが、ピクチャヘッダ内でシグナリングされ得る:
a. 一例において、全てのスライス/ブリック/タイル(又はピクチャよりも小さい他の映像ユニット)が全てイントラコーディングされる(例えば、全てIスライスである)かのインジケーションが、ピクチャヘッダ内にシグナリングされ得る:
i. あるいは、さらに、ピクチャ内の全てのスライスがIスライスであることをインジケーションが語る場合に、スライスヘッダ内でスライスタイプがシグナリングされないとし得る;
b. あるいは、スライス/ブリック/タイル(又はピクチャよりも小さい他の映像ユニット)のうちの少なくとも1つがイントラコーディングされない(例えば、少なくとも1つが非Iスライスである)かのインジケーションが、ピクチャヘッダ内にシグナリングされ得る:
c. あるいは、全てのスライス/ブリック/タイル(又はピクチャよりも小さい他の映像ユニット)が全て同じ予測タイプ(例えば、I/P/Bスライス)を持つかのインジケーションが、ピクチャヘッダ内でシグナリングされ得る:
i. あるいは、さらに、スライスヘッダ内でスライスタイプはシグナリングされないとし得る;
ii. あるいは、さらに、特定の予測タイプに対して許されるツール(例えば、DMVR/BDOF/TPM/GEOはBスライスに対してのみ許され、デュアルツリーはIスライスに対してのみ許される)のインジケーションが、予測タイプのインジケーションに従って条件付きでシグナリングされ得る;
d. あるいは、さらに、ツールを有効化/無効化することのインジケーションのシグナリングは、上の小箇条書きで言及した予測タイプのインジケーションに依存してもよい:
i. あるいは、さらに、ツールを有効化/無効化することのインジケーションは、上の小箇条書きで言及した予測タイプのインジケーションに従って導出されてもよい。
35. この開示(箇条書き1-箇条書き29)において、用語“適合ウィンドウ”は、例えば“スケーリングウィンドウ”などの他の用語で置き換えられてもよい。スケーリングウィンドウは、適合ウィンドウとは異なるようにシグナリングされてもよく、RPRのための参照サンプル位置を導出するのに使用されるスケーリング比及び/又は左上オフセットを導出するために使用される:
a. 一例において、スケーリングウィンドウは、適合ウィンドウによって制約され得る。例えば、適合ビットストリームでは、スケーリングウィンドウは適合ウィンドウに含まれなければならない。
36. 変換スキップコーディングされるブロックの許容最大ブロックサイズをシグナリングすべきか、及び/又はどのようにシグナリングするかは、変換コーディングされるブロックの最大ブロックサイズに依存し得る:
a. あるいは、変換スキップコーディングされるブロックの最大ブロックサイズは、適合ビットストリームにおいて変換コーディングされるブロックの最大ブロックサイズよりも大きくすることはできない。
37. ジョイントCb-Cr残差(Joint Cb-Cr Residue;JCCR)コーディングを有効にすることのインジケーション(例えばsps_joint_cbcr_enabled_flagなど)をシグナリングすべきか、及び/又はどのようにシグナリングするかは、カラーフォーマット(例えば4:0:0、4:2:0など)に依存し得る:
a. 例えば、カラーフォーマットが4:0:0である場合、ジョイントCb-Cr残差(JCCR)を有効にすることのインジケーションはシグナリングされないとし得る。例示的なシンタックス設計は以下の通りである:
(外10)
TPM/GEOにおけるクロマ混合マスク生成のためのダウンサンプリングフィルタタイプ
38. クロマサンプルについての混合重み導出に使用されるダウンサンプリングフィルタのタイプが、映像ユニットレベル(例えばSPS/VPS/PPS/ピクチャヘッダ/サブピクチャ/スライス/スライスヘッダ/タイル/ブリック/CTU/VPDUレベルなど)でシグナリングされ得る:
a. 一例において、コンテンツの異なるクロマフォーマットタイプを切り換えるために、ハイレベルフラグがシグナリングされ得る:
i. 一例において、クロマフォーマットタイプ0とクロマフォーマットタイプ2との間で切り換えるために、ハイレベルフラグがシグナリングされ得る;
ii. 一例において、TPM/GEO予測モードにおける左上のダウンサンプリングルマ重みが左上ルマ重みとコロケートである(例えば、クロマサンプル位置タイプ0)かを規定するために、フラグがシグナリングされ得る;
iii. 一例において、TPM/GEO予測モードにおける左上ダウンサンプリングルマサンプルが左上ルマサンプルと水平方向にはコロケートであるが、左上ルマサンプルに対して0.5単位のルマサンプルだけ垂直方向にシフトされている(例えば、クロマサンプル位置タイプ2)かを規定するために、フラグがシグナリングされ得る;
b. 一例において、ダウンサンプリングフィルタのタイプは、4:2:0クロマフォーマット及び/又は4:2:2クロマフォーマットに対してシグナリングされ得る;
c. 一例において、TPM/GEO予測に使用されるクロマダウンサンプリングフィルタのタイプを規定するために、フラグがシグナリングされ得る:
i. 一例において、このフラグは、TPM/GEO予測モードにおけるクロマ重み導出のためにダウンサンプリングフィルタAを使用するのかダウンサンプリングフィルタBを使用するのかについてシグナリングされ得る。
39. クロマサンプルについての混合重み導出に使用されるダウンサンプリングフィルタのタイプが、映像ユニットレベル(例えばSPS/VPS/PPS/ピクチャヘッダ/サブピクチャ/スライス/スライスヘッダ/タイル/ブリック/CTU/VPDUレベルなど)で導出され得る:
a. 一例において、クロマサブサンプリングフィルタタイプとコンテンツのクロマフォーマットタイプとの間の対応関係を規定するために、ルックアップテーブルが規定され得る。
40. 異なるクロマサンプル位置タイプの場合に、特定のダウンサンプリングフィルタがTPM/GEO予測モードに使用され得る:
a. 一例において、特定のクロマサンプル位置タイプ(例えば、クロマサンプル位置タイプ0)の場合に、TPM/GEOのクロマ重みは、コロケート左上ルマ重みからサブサンプリングされ得る;
b. 一例において、特定のクロマサンプル位置タイプ(例えば、クロマサンプル位置タイプ0又は2)の場合に、特定のXタップフィルタ(Xは、例えばX=6又は5などの定数)が、TPM/GEO予測モードにおけるクロマ重みサブサンプリングに使用され得る。
41. 映像ユニット(例えば、SPS、PPS、ピクチャヘッダ、スライスヘッダなど)内で、全てのブロック(スライス/ピクチャ)に対して複数変換選択(Multiple Transform Selection;MTS)が無効にされるかを指し示す第1のシンタックス要素(例えばフラグなど)がシグナリングされ得る:
a. イントラコーディングされるブロック(スライス/ピクチャ)にMTSをどのように適用するか(例えば、MTSを有効にする/MTSを無効にする/黙示的MTS/明示的MTSなど)を指し示す第2のシンタックス要素が、第1のシンタックス要素に基づいて条件付きでシグナリングされる。例えば、第2のシンタックス要素は、全てのブロック(スライス/ピクチャ)に対してMTSが無効にされることを第1のシンタックス要素が指し示す場合にのみシグナリングされる;
b. インターコーディングされるブロック(スライス/ピクチャ)にMTSをどのように適用するか(例えば、MTSを有効にする/MTSを無効にする/黙示的MTS/明示的MTSなど)を指し示す第3のシンタックス要素が、第1のシンタックス要素に基づいて条件付きでシグナリングされる。例えば、第3のシンタックス要素は、全てのブロック(スライス/ピクチャ)に対してMTSが無効にされるのではないことを第1のシンタックス要素が指し示す場合にのみシグナリングされる;
c. 例示的なシンタックス設計は以下の通りである:
(外11)
d. 第3のシンタックス要素は、サブブロック変換(Sub-Block Transform;SBT)が適用されるか否かに基づいて条件付きでシグナリングされ得る。
例示的なシンタックス設計は以下の通りである:
(外12)
e. 例示的なシンタックス設計は以下の通りである:
(外13)
コーディングツールXの使用の決定
42. コーディングツールXを有効にすべきか及び/又はどのように有効化するかの決定が、1つ又は複数の参照ピクチャのうちの検討中のピクチャ及び/又は現在ピクチャの幅及び/又は高さに依存し得る:
a. 1つ又は複数の参照ピクチャのうちの検討中のピクチャ及び/又は現在ピクチャの幅及び/又は高さは、決定を行うために変更され得る;
b. 検討中のピクチャは、適合ウィンドウ又はスケーリングウィンドウによって画成され得る:
i. 検討中のピクチャはピクチャ全体であってもよい;
c. 一例において、コーディングツールXを有効にすべきか及び/又はどのように有効化するかは、ピクチャの幅から水平方向の1つ若しくは複数のオフセットを引いたもの、及び/又はピクチャの高さから垂直方向の1つ若しくは複数のオフセットを引いたものに依存し得る:
i. 一例において、水平オフセットは、scaling_win_top_offsetとして定義され得る;
ii. 一例において、垂直オフセットは、スscaling_win_top_offsetとして定義され得る;
iii. 一例において、水平オフセットは(scaling_win_right_offset+scaling_win_left_offset)として定義され得る;
iv. 一例において、垂直オフセットは(scaling_win_bottom_offset+scaling_win_top_offset)として定義され得る;
v. 一例において、水平オフセットは、SubWidthC*(scaling_win_right_offset+scaling_win_left_offset)として定義され得る;
vi. 一例において、垂直オフセットは、SubHeightC*(scaling_win_bottom_offset+scaling_win_top_offset)として定義され得る;
d. 一例において、2つの検討中の参照ピクチャのうちの少なくとも一方が現在ピクチャと異なる解像度(幅又は高さのいずれか)を持つ場合、コーディングツールXは無効にされる:
i. あるいは、2つの出力参照ピクチャのうちの少なくとも一方が現在ピクチャの寸法よりも大きい寸法(幅又は高さのいずれか)を持つ場合、コーディングツールXは無効にされる;
e. 一例において、参照ピクチャリストLに関する1つの検討中の参照ピクチャが現在ピクチャと異なる解像度を持つ場合、その参照ピクチャリストLに対してコーディングツールXが無効にされる:
i. あるいは、参照ピクチャリストLに関する1つの検討中の参照ピクチャが現在ピクチャの寸法よりも大きい寸法(幅又は高さ)を持つ場合、その参照ピクチャリストLに対してコーディングツールXが無効にされる;
f. 一例において、2つの参照ピクチャリストの2つの検討中の参照ピクチャが相異なる解像度を持つものである場合、コーディングツールは無効にされ得る:
i. あるいは、コーディングツールのインジケーションが、解像度に従って条件付きでシグナリングされ得る;
ii. あるいは、コーディングツールのインジケーションのシグナリングがスキップされてもよい;
g. 一例において、少なくとも1つの参照ピクチャリストに関する第1のペアワイズマージ候補を導出するために利用される2つのマージ候補の2つの検討中の参照ピクチャが場合、コーディングツールは無効にされることができ、例えば、第1のペアワイズマージ候補は使用不可としてマークされる:
i. あるいは、両方の参照ピクチャリストに関する第1のペアワイズマージ候補を導出するために利用される2つのマージ候補の2つの検討中の参照ピクチャが場合、コーディングツールは無効にされることができ、例えば、第1のペアワイズマージ候補は使用不可としてマークされる;
h. 一例において、コーディングツールの復号プロセスは、ピクチャ寸法を考慮して変更され得る:
i. 一例において、SMVDにおける別の参照ピクチャリスト(例えば、リスト1)に関するMVDの導出は、2つのターゲットSMVD参照ピクチャのうちの少なくとも一方の解像度差(例えば、スケーリング係数)に基づき得る;
ii. 一例において、ペアワイズマージ候補の導出は、2つの参照ピクチャに関連する2つの参照ピクチャのうちの少なくとも一方の解像度差(例えば、スケーリング係数)に基づいてもよく、例えば、等しい重みの代わりに線形加重平均が適用されてもよい;
i. 一例において、Xは以下とし得る:
i. デコーダ側で動き/予測を精緻化するDMVR/BDOF/PROF/SMVD/MMVD/他のコーディングツール
ii. 時間的な動き情報を当てにするTMVP/他のコーディングツール
iii. MTS又は他の変換コーディングツール
iv. CC-ALF
v. TPM
vi. GEO
vii. 切換可能補間フィルタ(例えば、ハーフペル動き補償用の代替補間フィルタ)
viii. 1つのブロックを複数のパーティションにスプリットするTPM/GEO/他のコーディングツールにおける混合プロセス
ix. 現在ピクチャとは異なるピクチャ内の格納情報に答えるコーディングツール
x. ペアワイズマージ候補(解像度に関係する特定の条件が満たされないとき、ペアワイズマージ候補は生成されない)
xi. CUレベル重み(BCW)での双予測
xii. 重み付け予測
xiii. アフィン予測
xiv. 適応動きベクトル解像度(AMVR)
43. コーディングツールの使用をシグナリングすべきか及び/又はどのようにシグナリングするかは、1つ又は複数の参照ピクチャのうちの検討中のピクチャ及び/又は現在ピクチャの幅及び/又は高さに依存し得る:
a. 1つ又は複数の参照ピクチャのうちの検討中のピクチャ及び/又は現在ピクチャの幅及び/又は高さは、決定を行うために変更され得る;
b. 検討中のピクチャは、JVET-P0590に定義されるようなスケーリングウィンドウ及び/又は適合ウィンドウによって画成され得る:
xv. 検討中のピクチャはピクチャ全体であってもよい;
c. 一例において、Xは適応動きベクトル解像度とし得る;
d. 一例において、Xは、マージ・ウィズ・MV差(MMVD)法とし得る:
xvi. 一例において、対称動きベクトル差参照インデックスの構築は、異なる参照ピクチャに対するRPRケースのピクチャ解像度/インジケーションに依存し得る;
e. 一例において、Xは対称MVD(SMVD)法とし得る;
f. 一例において、XはQT/BT/TT又は他のパーティションタイプとし得る;
g. 一例において、XはCUレベル重み(BCW)での双予測とし得る;
h. 一例において、Xは重み付け予測とし得る;
i. 一例において、Xはアフィン予測とし得る;
j. 一例において、ハーフペル動きベクトル精度/切換可能補間フィルタの使用のインジケーションをシグナリングするかは、解像度情報/RPRが現在ブロックに対して有効にされるかに依存し得る;
k. 一例において、amvr_precision_idxのシグナリングは、解像度情報/RPRが現在ブロックに対して有効にされるかに依存し得る;
l. 一例において、sym_mvd_flag/mmvd_merge_flagのシグナリングは、解像度情報/RPRが現在ブロックに対して有効にされるかに依存し得る;
m. 適合ビットストリームは、1つ又は複数の参照ピクチャのうちの検討中のピクチャの幅及び/高さが現在出力ピクチャのそれとは異なるときに1/2ペルMV及び/又はMVD精度(例えば、代替補間フィルタ/切換可能補間フィルタ)が無効にされることを満足する。
44. 1/2ペルMV及び/又はMVD精度(又は代替補間フィルタ/切換可能補間フィルタ)でのAMVRがRPR内のブロックに対して依然として有効にされ得ることを提案する:
a. あるいは、さらに、1/2ペル又は他の精度で異なる補間フィルタがブロックに適用されてもよい。
45. 上の箇条書きにおける同じ/異なる解像度の条件チェックは、参照ピクチャに関するフラグを追加し、参照ピクチャに関連付けられたフラグをチェックすることによって置き換えられてもよい:
a. 一例において、真又は偽であるように(例えば、参照ピクチャがRPRケースであるか非RPRケースであるかを指し示すように)フラグを設定するプロセスは、参照ピクチャリスト構築プロセスの間に呼び出され得る:
xvii. 例えば、以下が適用され得る:
fRefWidthが、ルマサンプル単位の参照ピクチャRefPicList[i][j]のPicOutputWidthLに等しく設定され、ここで、PicOutputWidthLは参照ピクチャの検討中のピクチャの幅を表す;
fRefHeightが、ルマサンプル単位の参照ピクチャRefPicList[i][j]のPicOutputHeightLに等しく設定され、ここで、PicOutputHeightLは参照ピクチャの検討中のピクチャの高さを表す;
RefPicScale[i][j][0]=
((fRefWidth<<14)+(PicOutputWidthL>>1))/PicOutputWidthL
ここで、PicOutputWidthLは現在ピクチャの検討中のピクチャの幅を表す;
RefPicScale[i][j][1]=
((fRefHeight<<14)+(PicOutputHeightL>>1))/PicOutputHeightL
ここで、PicOutputHeightLは現在ピクチャの検討中のピクチャの高さ表す;
RefPicIsScaled[i][j]=(RefPicScale[i][j][0]!=(1<<14))||(RefPicScale[i][j][1]!=(1<<14))
ここで、RefPicList[i][j]は、参照ピクチャリストi内のj番目の参照ピクチャを表す;
b. 一例において、RefPicIsScaled[0][refIdxL0]が0に等しくない、又はRefPicIsScaled[1][refIdxL1]が0に等しくないとき、コーディングツールX(例えば、DMVR/BDOF/SMVD/MMVD/SMVD/PROF/上の箇条書きで述べたもの)が無効にされ得る;
c. 一例において、RefPicIsScaled[0][refIdxL0]及びRefPicIsScaled[1][refIdxL1]の両方が0に等しくないとき、コーディングツールX(例えば、DMVR/BDOF/SMVD/MMVD/SMVD/PROF/上の箇条書きで述べたもの)が無効にされ得る;
d. 一例において、RefPicIsScaled[0][refIdxL0]が0に等しくないとき、参照ピクチャリスト0に対してコーディングツールX(例えば、PROF又は上の箇条書きで述べたもの)が無効にされ得る;
e. 一例において、RefPicIsScaled[1][refIdxL1]が0に等しくないとき、参照ピクチャリスト1に対してコーディングツールX(例えば、PROF又は上の箇条書きで述べたもの)が無効にされ得る;
46. BDOF/DMVRによって使用されるSAD及び/又は閾値は、ビット深度に依存し得る:
f. 一例において、計算されたSAD値は、閾値と比較されるのに利用される前に、先ず、ビット深度の関数によってシフトされ得る;
g. 一例において、計算されたSAD値は、ビット深度の関数に依存し得る変更された閾値と直接比較され得る。
【0109】
5. 更なる実施形態
以下では、テキスト変更を、下線付きの太字のイタリック体で示す。
【0110】
5.1. 適合ウィンドウについての制約の実施形態
(外14)
【0111】
5.2. 参照サンプル位置導出の実施形態1
(外15)
【0112】
5.3. 参照サンプル位置導出の実施形態2
(外16)
【0113】
5.4. 参照サンプル位置導出の実施形態3
(外17)
【0114】
5.5. 参照サンプル位置クリッピングの実施形態1
(外18)
【0115】
5.6. 参照サンプル位置クリッピングの実施形態2
(外19)
【0116】
5.7. コーディングツールの使用の実施形態
5.7.1 BDOFオン/オフ制御
(外20)
【0117】
5.7.2 DMVRオン/オフ制御
(外21)
【0118】
5.7.3 参照ピクチャリストXに対するPROFオン/オフ制御
(外22)
【0119】
5.7.4 参照ピクチャリストXに対するPROFオン/オフ制御(第2実施形態)
【0120】
(外23)
【0121】
6. 開示技術の実装例
図5は、映像処理装置500のブロック図である。装置500は、ここに記載される方法のうちの1つ以上を実装するために使用され得る。装置500は、スマートフォン、タブレット、コンピュータ、モノのインターネット(IoT)受信器にて具現化され得る。装置500は、1つ以上のプロセッサ502、1つ以上のメモリ504、及び映像処理ハードウェア506を含み得る。(1つ以上の)プロセッサ502は、本文書に記載される1つ以上の方法を実行するように構成され得る。(1つ以上の)メモリ504は、ここに記載される方法及び技術を実行するのに使用されるデータ及びコードを格納するために使用され得る。映像処理ハードウェア506は、本文書に記載される一部の技術をハードウェア回路にて実装するために使用されることができ、また、部分的に又は完全にプロセッサ502の一部(例えば、グラフィックスプロセッサコアGPU又は他の信号処理回路)であることができる。
【0122】
本文書において、用語“映像処理”又はコーディングは、映像符号化、映像復号、映像圧縮、又は映像解凍を指し得る。例えば、映像圧縮アルゴリズムが、映像のピクセル表現から対応するビットストリーム表現への変換又はその逆の変換において適用され得る。現在映像ブロックのビットストリーム表現は、例えば、シンタックスによって規定されるように、ビットストリーム内で一緒に置かれたビット又は複数の異なる場所に散らされたビットのいずれかに対応する。例えば、変換され符号化されたエラー残差値に関して、ビットストリーム内のヘッダ及び他のフィールドの中のビットを用いて、マクロブロックを符号化し得る。
【0123】
理解されることには、開示される方法及び技術は、本文書に開示される技術の使用を可能にすることによって、例えばスマートフォン、ラップトップ、デスクトップ、及び類似の装置などの映像処理装置に組み込まれたビデオエンコーダ及び/又はデコーダの実施形態に利益をもたらすことになる。
【0124】
図6は、映像処理の方法600の一例のフローチャートである。方法600は、610にて、現在映像ブロックと該現在映像ブロックの符号化表現との間での変換を実行することを含み、当該変換において、参照ピクチャの解像度及び/又はサイズが現在映像ブロックの解像度及び/又はサイズと異なる場合、現在映像ブロックを用いて予測される一群の隣接又は非隣接サンプルに同一の補間フィルタが適用される。
【0125】
一部の実施形態を以下の項ベースのフォーマットを用いて記載する。
【0126】
1. 映像処理の方法であって、
現在映像ブロックと前記現在映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、参照ピクチャの解像度及び/又はサイズが前記現在映像ブロックの解像度及び/又はサイズと異なる場合、前記現在映像ブロックを用いて予測される一群の隣接又は非隣接サンプルに同一の補間フィルタが適用される、ステップ、
を有する方法。
【0127】
2. 前記同一の補間フィルタは垂直補間フィルタである、項1に記載の方法。
【0128】
3. 前記同一の補間フィルタは水平補間フィルタである、項1に記載の方法。
【0129】
4. 前記一群の隣接又は非隣接サンプルは、前記現在映像ブロックのある領域内に位置する全てのサンプルを含む、項1に記載の方法。
【0130】
5. 前記現在映像ブロックは、各々がサイズM×Nである複数の矩形に分割される、項4に記載の方法。
【0131】
6. M及び/又はNは予め決められている、項5に記載の方法。
【0132】
7. M及び/又はNは、前記現在映像ブロックの寸法から導出される、項5に記載の方法。
【0133】
8. M及び/又はNは、前記現在映像ブロックの前記符号化表現内でシグナリングされる、項5に記載の方法。
【0134】
9. 前記一群のサンプルは同じ動きベクトルを共有する、項1に記載の方法。
【0135】
10. 前記一群のサンプルは、同じ水平成分、及び/又は水平成分の同じ分数部分を共有する、項9に記載の方法。
【0136】
11. 前記一群のサンプルは、同じ垂直成分、及び/又は垂直成分の同じ分数部分を共有する、項9に記載の方法。
【0137】
12. 前記同じ動きベクトル又はその成分は、前記参照ピクチャの前記解像度、前記参照ピクチャの前記サイズ、前記現在映像ブロックの前記解像度、前記現在映像ブロックの前記サイズ、又は精度値、のうちの1つに少なくとも基づく1つ以上のルールを満たす、項9乃至11のいずれかに記載の方法。
【0138】
13. 前記同じ動きベクトル又はその成分は、前記現在映像ブロック内に位置するサンプルの動き情報に相当する、項9乃至11のいずれかに記載の方法。
【0139】
14. 前記同じ動きベクトル又はその成分は、前記一群の内側又は外側に位置する仮想サンプルの動き情報に設定される、項9乃至11のいずれかに記載の方法。
【0140】
15. 映像処理の方法であって、
現在映像ブロックと前記現在映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、参照ピクチャの解像度及び/又はサイズが前記現在映像ブロックの解像度及び/又はサイズと異なる場合、前記現在映像ブロックを用いて予測されるブロックは、前記現在ブロックに関係する整数値動き情報を用いることのみ許される、ステップ、
を有する方法。
【0141】
16. 前記整数値動き情報は、前記現在映像ブロックの元の動き情報を丸めることによって導出される、項15に記載の方法。
【0142】
17. 前記現在映像ブロックの前記元の動き情報は、水平方向及び/又は垂直方向にある、項15に記載の方法。
【0143】
18. 映像処理の方法であって、
現在映像ブロックと前記現在映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、参照ピクチャの解像度及び/又はサイズが前記現在映像ブロックの解像度及び/又はサイズと異なる場合、前記現在映像ブロックを用いて予測されるブロックを導出するために補間フィルタが適用され、該補間フィルタはルールに基づいて選択される、ステップ、
を有する方法。
【0144】
19. 前記ルールは、前記現在映像ブロックの前記解像度及び/又は前記サイズに対する前記参照ピクチャの前記解像度及び/又は前記サイズに関係する、項18に記載の方法。
【0145】
20. 前記補間フィルタは垂直補間フィルタである、項18に記載の方法。
【0146】
21. 前記補間フィルタは水平補間フィルタである、項18に記載の方法。
【0147】
22. 前記補間フィルタは、1タップフィルタ、双線形フィルタ、4タップフィルタ、又は6タップフィルタのうちの1つである、項18に記載の方法。
【0148】
23. 前記補間フィルタは、前記変換の他のステップの一部として使用される、項22に記載の方法。
【0149】
24. 前記補間フィルタは、パディングサンプルの使用を含む、項18に記載の方法。
【0150】
25. 前記補間フィルタの使用は、前記現在映像ブロックのサンプルのカラー成分に依存する、項18に記載の方法。
【0151】
26. 映像処理の方法であって、
現在映像ブロックと前記現在映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、参照ピクチャの解像度及び/又はサイズが前記現在映像ブロックの解像度及び/又はサイズと異なる場合、デブロッキングフィルタを選択的に適用し、該デブロッキングフィルタの強さが、前記現在映像ブロックの前記解像度及び/又は前記サイズに対する前記参照ピクチャの前記解像度及び/又は前記サイズに関係するルールに従って設定される、ステップ、
を有する方法。
【0152】
27. 前記デブロッキングフィルタの前記強さは映像ブロックごとに変化する、項27に記載の方法。
【0153】
28. 映像処理の方法であって、
現在映像ブロックと前記現在映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、前記現在映像ブロックのサブピクチャが存在する場合、適合ビットストリームは、前記現在映像ブロックの前記解像度及び/又は前記サイズに対する前記参照ピクチャの前記解像度及び/又は前記サイズに関係するルールを満たす、ステップ、
を有する方法。
【0154】
29. 前記現在映像ブロックを1つ以上のサブピクチャにスプリットするステップであり、当該スプリットすることは、少なくとも、前記現在映像ブロックの前記解像度に依存する、ステップ、
を更に有する項28に記載の方法。
【0155】
30. 映像処理の方法であって、
現在映像ブロックと前記現在映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、前記現在映像ブロックの参照ピクチャが、前記現在映像ブロックの寸法に基づくルールに従ってリサンプリングされる、ステップ、
を有する方法。
【0156】
31. 映像処理の方法であって、
現在映像ブロックと前記現在映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、前記現在映像ブロックへのコーディングツールの使用が、前記現在映像ブロックの解像度/サイズに対する前記現在映像ブロックの参照ピクチャの解像度/サイズに応じて選択的に有効又は無効にされる、ステップ、
を有する方法。
【0157】
32. 前記一群のサンプルは適合ウィンドウ内に位置する、以上の項のいずれかに記載の方法。
【0158】
33. 前記適合ウィンドウは矩形の形状である、項32に記載の方法。
【0159】
34. 前記解像度は、前記符号化/復号映像ブロックの解像度、又は前記符号化/復号映像ブロック内の前記適合ウィンドウの解像度に関する、以上の項のいずれかに記載の方法。
【0160】
35. 前記サイズは、前記符号化/復号映像ブロックのサイズ、又は前記符号化/復号映像ブロック内の前記適合ウィンドウのサイズに関する、以上の項のいずれかに記載の方法。
【0161】
36. 前記寸法は、前記符号化/復号映像ブロックの寸法、又は前記符号化/復号映像ブロック内の前記適合ウィンドウの寸法に関する、以上の項のいずれかに記載の方法。
【0162】
37. 前記適合ウィンドウは、適合クロッピングウィンドウパラメータのセットによって画成される、項32に記載の方法。
【0163】
38. 適合クロッピングウィンドウパラメータのセットのうちの少なくとも一部が、前記符号化表現内で黙示的又は明示的にシグナリングされる、項37に記載の方法。
【0164】
39. 適合クロッピングウィンドウパラメータの前記セットは、前記符号化表現内でシグナリングされることを許されない、以上の項のいずれかに記載の方法。
【0165】
40. 前記参照サンプルの位置は、前記適合ウィンドウ内の前記現在映像ブロックの左上サンプルに対して導出される、以上の項のいずれかに記載の方法。
【0166】
41. 映像処理の方法であって、
複数の映像ブロックと前記複数の映像ブロックの符号化表現との間での変換を実行するステップであり、前記変換において、第1の適合ウィンドウが第1の映像ブロックに対して画成され、第2の適合ウィンドウが第2の映像ブロックに対して画成され、前記第2の適合ウィンドウに対する前記第1の適合ウィンドウの幅及び/又は高さの比が、少なくとも適合ビットストリームに基づくルールに従う、ステップ、
を有する方法。
【0167】
42. 項1乃至41のいずれかに記載の方法を実装するように構成されたプロセッサを有する映像復号装置。
【0168】
43. 項1乃至41のいずれかに記載の方法を実装するように構成されたプロセッサを有する映像符号化装置。
【0169】
また、非一時的なコンピュータ読み取り可能媒体に格納されたコンピュータプログラムプロダクトであって、開示される方法のうちの1つ以上を実行するためのプログラムコードを含むコンピュータプログラムプロダクトが開示される。
【0170】
44. コンピュータコードを格納したコンピュータプログラムプロダクトであって、前記コードは、プロセッサによって実行されるときに、該プロセッサに項1乃至41のいずれかに記載の方法を実行させる、コンピュータプログラムプロダクト。
【0171】
45. 本文書に記載の方法、装置、又はシステム。
【0172】
図9は、ここに開示される様々な技術が実装され得る映像処理システム900の一例を示すブロック図である。様々な実装は、システム900のコンポーネントの一部又は全てを含み得る。システム900は、映像コンテンツを受信する入力902を含み得る。映像コンテンツは、例えば8ビット又は10ビットのマルチコンポーネント(多成分)ピクセル値といった、ロー(未加工)又は未圧縮のフォーマットで受信されてもよいし、あるいは圧縮又は符号化されたフォーマットで受信されてもよい。入力902は、ネットワークインタフェース、周辺バスインタフェース、又はストレージインタフェースを表し得る。ネットワークインタフェースの例は、イーサネット(登録商標)、パッシブ光ネットワーク(PON)などの有線インタフェース、及びWi-Fi(登録商標)若しくはセルラーインタフェースなどの無線インタフェースを含む。
【0173】
システム900は、本文書に記載される様々なコーディング又は符号化方法を実装し得るコーディングコンポーネント904を含み得る。コーディングコンポーネント904は、入力902からコーディングコンポーネント904の出力まで映像の平均ビットレートを低減させて、映像の符号化表現を生成し得る。コーディング技術は、それ故に、映像圧縮技術又は映像トランスコーディング技術と呼ばれることがある。コーディングコンポーネント904の出力は、格納されるか、コンポーネント906によって表されるように接続されて通信を介して伝送されるかし得る。入力902で受信された映像の格納又は通信されるビットストリーム(又は符号化)表現は、ディスプレイインタフェース910に送られるピクセル値又は表示可能映像を生成するためにコンポーネント908によって使用され得る。ビットストリーム表現からユーザが見ることができる映像を生成するプロセスは、映像解凍と呼ばれることがある。また、特定の映像処理操作が“コーディング”の操作又はツールとして参照されることがあるが、理解されることには、コーディングのツール又は操作はエンコーダで使用され、コーディングの結果を裏返す対応する復号のツール又は操作がデコーダで実行されることになる。
【0174】
周辺バスインタフェース又はディスプレイインタフェースの例は、ユニバーサルシリアルバス(USB)又は高精細マルチメディアインタフェース(HDMI(登録商標))又はディスプレイポート(Displayport)などを含み得る。ストレージインタフェースの例は、SATA(serial advanced technology attachment)、PCI、IDEインタフェースなどを含む。本文書に記載される技術は、例えば携帯電話、ラップトップ、スマートフォン、又はデジタルデータ処理及び/又は映像表示を実行することが可能な他の装置などの、種々のエレクトロニクス装置にて具現化され得る。
【0175】
図10は、この開示の技術を利用し得る映像コーティングシステム100の一例を示すブロック図である。
【0176】
図10に示すように、映像コーティングシステム100は、ソース装置110及びデスティネーション装置120を含み得る。ソース装置110は、符号化映像データを生成し、映像符号化装置として参照され得る。デスティネーション装置120は、ソース装置110によって生成された符号化映像データを復号することができ、映像復号装置として参照され得る。
【0177】
ソース装置110は、映像ソース112、ビデオエンコーダ114、及び入力/出力(I/O)インタフェース116を含み得る。
【0178】
映像ソース112は、例えば、映像キャプチャ装置、映像コンテンツプロバイダから映像データを受信するインタフェース、及び/又は映像データを生成するコンピュータグラフィックスシステム、又はそのようなソースの組み合わせなどの、ソースを含み得る。映像データは、1つ以上のピクチャを有し得る。ビデオエンコーダ114は、映像ソース112からの映像データを符号化してビットストリームを生成する。ビットストリームは、映像データの符号化表現を形成する一連のビットを含み得る。ビットストリームは、符号化ピクチャ及び関連データを含み得る。符号化ピクチャはピクチャの符号化表現である。関連データは、シーケンスパラメータセット、ピクチャパラメータセット、及び他のシンタックス構造を含み得る。I/Oインタフェース116は、変調器/復調器(モデム)及び/又は送信器を含み得る。符号化映像データは、I/Oインタフェース116を介し、ネットワーク130aを通じて直接、デスティネーション装置120に伝送され得る。符号化映像データはまた、デスティネーション装置120によるアクセスのためにストレージ媒体/サーバ130b上に格納されてもよい。
【0179】
デスティネーション装置120は、I/Oインタフェース126、ビデオデコーダ124、及び表示装置122を含み得る。
【0180】
I/Oインタフェース126は、受信器及び/又はモデムを含み得る。I/Oインタフェース126は、ソース装置110又はストレージ媒体/サーバ130bから符号化映像データを取得し得る。ビデオデコーダ124は符号化映像データを復号し得る。表示装置122は、復号映像データをユーザに表示し得る。表示装置122は、デスティネーション装置120と一体化されてもよいし、あるいは、外部表示装置とインタフェースするように構成されたデスティネーション装置120の外部にあってもよい。
【0181】
ビデオエンコーダ114及びビデオデコーダ124は、例えばハイエフィシェンシビデオコーディング(HEVC)標準、バーサタイルビデオコーディング(VVC)標準、及び他の現行の及び/又は将来の標準などの、映像圧縮標準に従って動作し得る。
【0182】
図11は、図10に示したシステム100内のビデオエンコーダ114とし得るものであるビデオエンコーダ200の一例を示すブロック図である。
【0183】
ビデオエンコーダ200は、この開示の技術のうちのいずれか又は全てを実行するように構成され得る。図11の例において、ビデオエンコーダ200は、複数の機能コンポーネントを含んでいる。この開示に記載される技術は、ビデオエンコーダ200の様々なコンポーネントの間で共有され得る。一部の例において、プロセッサが、この開示に記載される技術のうちのいずれか又は全てを実行するように構成され得る。
【0184】
ビデオエンコーダ200の機能コンポーネントは、分割ユニット201と、モード選択ユニット203、動き推定ユニット204、動き補償ユニット205、及びイントラ予測ユニット206を含み得る予測ユニット202と、残差生成ユニット207と、変換ユニット208と、量子化ユニット209と、逆量子化ユニット210と、逆変換ユニット211と、再構成ユニット212と、バッファ213と、エントロピー符号化ユニット214とを含み得る。
【0185】
他の例において、ビデオエンコーダ200は、より多くの、より少ない、又は異なる機能コンポーネントを含んでもよい。一例において、予測ユニット202は、イントラブロックコピー(IBC)ユニットを含んでいてもよい。IBCユニットは、少なくとも1つの参照ピクチャが、現在映像ブロックが位置するところのピクチャである、というIBCモードで予測を実行し得る。
【0186】
また、例えば動き推定ユニット204及び動き補償ユニット205などの一部のコンポーネントは、図5の例では説明の目的で別々に表されているが、高度に集積されることができる。
【0187】
分割ユニット201は、ピクチャを1つ以上の映像ブロックに分割し得る。ビデオエンコーダ200及びビデオデコーダ300は、様々な映像ブロックサイズをサポートし得る。
【0188】
モード選択ユニット203は、例えば誤差結果に基づいて、イントラ又はインターである複数のコーティングモードのうちの1つを選択し、得られたイントラ又はインターコーディングされたブロックを、残差ブロックデータを生成する残差生成ユニット207と、参照ピクチャとしての使用のために符号化ブロックを再構成する再構成ユニット212とに提供し得る。一部の例において、モード選択ユニット203は、予測がインター予測信号及びイントラ予測信号に基づくものである組み合わせイントラ・インター予測(combination of intra and inter predication;CIIP)モードを選択してもよい。モード選択ユニット203はまた、インター予測の場合に、ブロックに対する動きベクトルの分解能(例えば、サブピクセル又は整数ピクセルの精度)を選択し得る。
【0189】
現在映像ブロックに対してインター予測を実行するために、動き推定ユニット204が、バッファ213からの1つ以上の参照フレームを現在映像ブロックと比較することによって、現在映像ブロックについての動き情報を生成し得る。動き補償ユニット205が、現在映像ブロックに関連付けられたピクチャ以外の、バッファ213からのピクチャの動き情報及び復号サンプルに基づいて、現在映像ブロックについての予測映像ブロックを決定し得る。
【0190】
動き推定ユニット204及び動き補償ユニット205は、例えば、現在映像ブロックがIスライス内にあるか、Pスライス内にあるか、それともBスライス内にあるかに応じて、現在映像ブロックに対して異なる演算を実行し得る。
【0191】
一部の例において、動き推定ユニット204は、現在映像ブロックに対して片方向予測を実行することができ、動き推定ユニット204は、現在映像ブロックに対する参照映像ブロックについてリスト0又はリスト1の参照ピクチャを探索し得る。そして、動き推定ユニット204は、参照映像ブロックを含んだリスト0又はリスト1内の参照ピクチャを指し示す参照インデックスと、現在映像ブロックと参照映像ブロックとの間の空間変位を指し示す動きベクトルとを生成し得る。動き推定ユニット204は、現在映像ブロックの動き情報として、上記参照インデックスと、予測方向インジケータと、上記動きベクトルとを出力し得る。現在映像ブロックの動き情報によって示される参照映像ブロックに基づいて、動き補償ユニット205が現在ブロックの予測映像ブロックを生成し得る。
【0192】
他の例において、動き推定ユニット204は、現在映像ブロックに対して双方向予測を実行することができ、動き推定ユニット204は、現在映像ブロックに対する参照映像ブロックについてリスト0内の参照ピクチャを探索し得るとともに、現在映像ブロックに対するもう1つの参照映像ブロックについてリスト1内の参照ピクチャも探索し得る。そして、動き推定ユニット204は、参照映像ブロックを含んだリスト0内の及びリスト1内の参照ピクチャを指し示す参照インデックスと、それら参照映像ブロックと現在映像ブロックとの間の空間変位を指し示す動きベクトルとを生成し得る。動き推定ユニット204は、現在映像ブロックの動き情報として、それら参照インデックスと、現在映像ブロックの上記動きベクトルとを出力し得る。現在映像ブロックの動き情報によって示される参照映像ブロックに基づいて、動き補償ユニット205が現在ブロックの予測映像ブロックを生成し得る。
【0193】
一部の例において、動き推定ユニット204は、デコーダの復号処理のために、動き情報の完全なセットを出力し得る。
【0194】
一部の例において、動き推定ユニット204は、現在映像についての動き情報の完全なセットを出力しなくてもよい。むしろ、動き推定ユニット204は、別の映像ブロックの動き情報を参照して現在映像ブロックの動き情報をシグナリングしてもよい。例えば、動き推定ユニット204は、現在映像ブロックの動き情報が隣接映像ブロックの動き情報と十分に似ていると判定し得る。
【0195】
一例において、動き推定ユニット204は、現在映像ブロックに関連付けられるシンタックス構造内で、現在映像ブロックが別の映像ブロックと同じ動き情報を持つことをビデオデコーダ300に示す値を指し示し得る。
【0196】
他の一例において、動き推定ユニット204は、現在映像ブロックに関連付けられるシンタックス構造内で、別の映像ブロックと動きベクトル差(MVD)とを特定してもよい。動きベクトル差は、現在映像ブロックの動きベクトルと、指し示される映像ブロックの動きベクトルとの間の差を示す。ビデオデコーダ300は、指し示された映像ブロックの動きベクトルと動きベクトル差とを用いて、現在映像ブロックの動きベクトルを決定し得る。
【0197】
上述のように、ビデオエンコーダ200は、動きベクトルを予測的にシグナリングし得る。ビデオエンコーダ200によって実装され得る予測的シグナリング技術の2つの例は、アドバンスト動きベクトル予測(AMVP)及びマージモードシグナリングを含む。
【0198】
イントラ予測ユニット206は、現在映像ブロックに対してイントラ予測を実行し得る。イントラ予測ユニット206が現在映像ブロックに対してイントラ予測を実行するとき、イントラ予測ユニット206は、同じピクチャ内の他の映像ブロックの復号サンプルに基づいて、現在映像ブロックについての予測データを生成し得る。現在映像ブロックについての予測データは、予測映像ブロックと様々なシンタックス要素とを含み得る。
【0199】
残差生成ユニット207は、現在映像ブロックの(1つ以上の)予測映像ブロックを現在映像ブロックから差し引くことによって(例えば、マイナス符号によって示される)、現在映像ブロックについての残差データを生成し得る。現在映像ブロックの残差データは、現在映像ブロック内のサンプルの異なるサンプル成分に対応する残差映像ブロックを含み得る。
【0200】
他の例では、例えばスキップモードにおいて、現在映像ブロックのために現在映像ブロックについての残差データが存在しないことがあり、残差生成ユニット207は減算演算を実行しないことがある。
【0201】
変換処理ユニット208は、現在映像ブロックに関連する残差映像ブロックに1つ以上の変換を適用することによって、現在映像ブロックについての1つ以上の変換係数映像ブロックを生成し得る。
【0202】
変換処理ユニット208が現在映像ブロックに関する変換係数映像ブロックを生成した後、量子化ユニット209が、現在映像ブロックに関する変換係数映像ブロックを、現在映像ブロックに関する1つ以上の量子化パラメータ(QP)値に基づいて量子化し得る。
【0203】
逆量子化ユニット210及び逆変換ユニット211が、変換係数映像ブロックに、それぞれ、逆量子化及び逆変換を適用して、変換係数映像ブロックから残差映像ブロックを再構成し得る。再構成ユニット212が、再構成された残差映像ブロックを、予測ユニット202によって生成された1つ以上の予測映像ブロックからの対応するサンプルに足し合わせて、バッファ213に記憶される現在ブロックに関する再構成映像ブロックを生成し得る。
【0204】
再構成ユニット212が映像ブロックを再構成した後、映像ブロック内の映像ブロッキングアーチファクトを低減させるために、ループフィルタリング演算が実行され得る。
【0205】
エントロピー符号化ユニット214が、ビデオエンコーダ200の他の機能コンポーネントからデータを受信し得る。エントロピー符号化ユニット214がデータを受信すると、エントロピー符号化ユニット214は、1つ以上のエントロピー符号化演算を実行してエントロピー符号化データを生成し、そして、エントロピー符号化データを含むビットストリームを出力し得る。
【0206】
図12は、図10に示したシステム100内のビデオデコーダ124とし得るものであるビデオデコーダ300の一例を示すブロック図である。
【0207】
ビデオデコーダ300は、この開示の技術のうちのいずれか又は全てを実行するように構成され得る。図12の例において、ビデオデコーダ300は、複数の機能コンポーネントを含んでいる。この開示に記載される技術は、ビデオデコーダ300の様々なコンポーネントの間で共有され得る。一部の例において、プロセッサが、この開示に記載される技術のうちのいずれか又は全てを実行するように構成され得る。
【0208】
図12の例において、ビデオデコーダ300は、エントロピー復号ユニット301、動き補償ユニット302、イントラ予測ユニット303、逆量子化ユニット304、逆変換ユニット305、再構成ユニット306、及びバッファ307を含んでいる。ビデオデコーダ300は、一部の例において、ビデオエンコーダ200(例えば、図11)に関して説明した符号化パスに対して概ね逆の復号パスを実行し得る。
【0209】
エントロピー復号ユニット301が符号化ビットストリームを取り出し得る。符号化ビットストリームは、エントロピー符号化された映像データ(例えば、映像データの符号化ブロック)を含み得る。エントロピー復号ユニット301はエントロピー符号化映像データを復号することができ、エントロピー復号された映像データから、動き補償ユニット302が、動きベクトル、動きベクトル精度、参照ピクチャリストインデックス、及び他のモーション情報を含む動き情報を決定し得る。動き補償ユニット302は、例えば、AMVP及びマージモードを実行することによって、そのような情報を決定し得る。
【0210】
動き補償ユニット302は、場合により補間フィルタに基づく補間を実行して、動き補償ブロックを生成し得る。サブピクセル精度で使用される補間フィルタに関する識別子がシンタックス要素に含められ得る。
【0211】
動き補償ユニット302は、映像ブロックの符号化中にビデオエンコーダ20によって使用された補間フィルタを使用して、参照ブロックのサブ整数ピクセルに対する補間値を計算し得る。動き補償ユニット302は、ビデオエンコーダ200によって使用された補間フィルタを、受信したシンタックス情報に従って決定し、その補間フィルタを用いて予測ブロックを生成し得る。
【0212】
動き補償ユニット302は、シンタックス情報の一部を用いて、符号化映像シーケンスのフレーム及び/又はスライスを符号化するのに使用されるブロックのサイズ、符号化映像シーケンスのピクチャの各マクロブロックがどのように分割されるかを記述するパーティション情報、各パーティションがどのように符号化されるかを指し示すモード、各インター符号化ブロックに関する1つ又は複数の参照フレーム(及び参照フレームリスト)、及び符号化映像シーケンスを復号するための他の情報を決定し得る。
【0213】
イントラ予測ユニット303は、例えばビットストリーム内で受信した、イントラ予測モードを用いて、空間的に隣接するブロックから予測ブロックを形成し得る。逆量子化ユニット303が、ビットストリーム内で提供されてエントロピー復号ユニット301によって復号された量子化された映像ブロック係数を逆量子化する、例えば、量子化解除する。逆変換ユニット303が逆変換を適用する。
【0214】
再構成ユニット306が、残差ブロックを、動き補償ユニット302又はイントラ予測ユニット303によって生成された対応する予測ブロックと足し合わせて、復号ブロックを形成し得る。望まれる場合、ブロックアーチファクトを除去するために復号ブロックをフィルタリングするよう、デブロッキングフィルタも適用され得る。そして、復号映像ブロックがバッファ307に格納され、それが、後の動き補償のための参照ブロックを提供する。
【0215】
図11は、本技術に従った映像処理の一方法のフローチャート表現である。方法1100は、動作1110にて、映像と該映像のビットストリーム表現との間での変換を実行することを含む。ビットストリーム表現は、映像ピクチャに対するデコーダ側動きベクトル精緻化コーディングツール及び双方向オプティカルフローコーディングツールの適用可能性がビットストリーム表現内で別々に指し示されることを規定するフォーマットルールに準拠する。
【0216】
図13は、本技術に従った映像処理の一方法1300のフローチャート表現である。方法1300は、動作1310にて、映像の現在ピクチャと該映像のビットストリーム表現との間での変換のために、複数参照ピクチャのうちの1つの参照ピクチャの部分又は現在ピクチャの部分の寸法に関連する条件に基づいて、コーディングツールの使用を決定することを含む。方法1300はまた、動作1320にて、該決定に基づいて上記変換を実行することを含む。
【0217】
一部の実施形態において、上記使用は、コーディングツールが現在ピクチャに対して有効にされるかということを有する。一部の実施形態において、ピクチャの上記部分は、その外側のサンプルが映像を出力するときに廃棄可能となる適合ウィンドウ、その中のサンプルがリサンプリング処理にかけられるスケーリングウィンドウ、又はピクチャの全体を有する。一部の実施形態において、上記コーディングツールは、デコーダ側動きベクトル精緻化コーディングツール、双方向オプティカルフローコーディングツール、オプティカルフローでの予測精緻化(PROF)コーディングツール、又は動き補償用のハーフペル精度の補間フィルタを有する。一部の実施形態において、上記コーディングツールは更に、時間動きベクトル予測コーディングツール、複数変換セットコーディングツール、クロスコンポーネント適応ループフィルタリングコーディングツール、幾何学的分割コーディングツール、ブロックを複数のパーティションにスプリットするコーディングツールのための混合プロセス、現在ピクチャとは異なるピクチャ内の格納情報を必要とするコーディングツール、ペアワイズマージ候補を生成するコーディングツール、コーディングユニットレベルの重みを用いる双予測、重み付け予測コーディングツール、アフィン予測コーディングツール、又は適応動きベクトル解像度コーディングツールを有する。
【0218】
一部の実施形態において、複数参照ピクチャのうちの少なくとも1つの参照ピクチャの部分の寸法が現在ピクチャの寸法と異なることを規定する条件が満たされる場合、コーディングツールは無効にされる。一部の実施形態において、上記部分の寸法は、決定のために変更される。一部の実施形態において、コーディングツールの使用は、(1)ピクチャの幅から1つ以上の水平オフセットを引いたもの、又は(2)ピクチャの高さから1つ以上の垂直オフセットを引いたもの、のうちの少なくとも一方に基づく。一部の実施形態において、上記1つ以上の水平オフセットは、スケーリングウィンドウに関する左オフセットを有する。一部の実施形態において、上記1つ以上の垂直オフセットは、スケーリングウィンドウに関する上オフセットを有する。一部の実施形態において、上記1つ以上の水平オフセットは、スケーリングウィンドウに関する右オフセット及び左オフセットを有する。一部の実施形態において、上記1つ以上の垂直オフセットは、スケーリングウィンドウに関する下オフセット及び上オフセットを有する。一部の実施形態において、上記1つ以上の水平オフセットは、スケーリングウィンドウに関する右オフセット及び左オフセットの和をスケーリングすることに基づく値を有する。一部の実施形態において、上記1つ以上の垂直オフセットは、スケーリングウィンドウに関する下オフセット及び上オフセットの和をスケーリングすることに基づく値を有する。
【0219】
一部の実施形態において、複数参照ピクチャのうちの少なくとも2つの参照ピクチャの部分の寸法が相異なることを規定する条件が満たされる場合、コーディングツールは無効にされる。一部の実施形態において、1つ又は2つの参照ピクチャリストについて第1のペアワイズマージ候補を導出するために使用される複数参照ピクチャのうちの少なくとも2つの参照ピクチャの部分の寸法が相異なる場合、該第1のペアワイズマージ候補は使用不可としてマークされる。一部の実施形態において、コーディングツールの使用を指し示すシンタックス要素が、上記部分の寸法に基づいて条件付きで、ビットストリーム表現内でシグナリングされる。一部の実施形態において、コーディングツールの使用を指し示すシンタックス要素は、ビットストリーム表現内で省略される。
【0220】
一部の実施形態において、コーディングツールの使用を指し示すシンタックス要素は、参照ピクチャリサンプリング(RPR)プロセスが有効にされるかに更に基づいて条件付きで、ビットストリーム表現に含められる。一部の実施形態において、上記シンタックス要素は、amvr_precision_idx、sym_mvd_flag、又はmmvd_merge_flagのうちの1つを有する。一部の実施形態において、コーディングツールの使用に従う変換は、上記部分の寸法に基づいて変更される。一部の実施形態において、上記変換は、対称動きベクトル差プロセスにて参照ピクチャリストについて動きベクトル差を導出することを有し、該導出は、複数参照ピクチャのうちの少なくとも2つのさん部分の寸法の差に基づく。一部の実施形態において、上記変換は、ペアワイズマージ候補を導出することを有し、該導出は、複数参照ピクチャのうちの少なくとも2つの参照ピクチャの部分の寸法の差に基づいて加重平均を適用することを有する。
【0221】
図14は、本技術に従った映像処理の一方法1400のフローチャート表現である。方法1400は、動作1410にて、映像のブロックと該映像のビットストリーム表現との間での変換を実行することを含む。当該変換において、ブロックに参照ピクチャリサンプリングプロセスが適用可能であることに起因して、ブロックに対して1/2ペル動きベクトル精度での適応動きベクトル解像度(AMVR)が有効にされる。
【0222】
一部の実施形態において、1/2ペル精度とは異なる精度を持つブロックには異なる補間フィルタが使用される。一部の実施形態において、参照ピクチャの部分の寸法に関連する条件は、参照ピクチャに関連付けられたフラグによって示される。一部の実施形態において、参照ピクチャリスト内の少なくとも1つの参照ピクチャがスケーリングされていることをフラグが示す場合、コーディングツールは無効にされる。一部の実施形態において、上記フラグはRefPicIsScaled[0][refIdxL0]を有し、refIdxL0は第1参照ピクチャリストに対するインデックスである。一部の実施形態において、上記フラグはRefPicIsScaled[0][refIdxL1]を有し、refIdxL1は第2参照ピクチャリストに対するインデックスである。一部の実施形態において、上記フラグは、参照ピクチャリスト構築プロセス中に決定される。
【0223】
図15は、本技術に従った映像処理の一方法1500のフローチャート表現である。方法1500は、動作1510にて、映像のブロックと該映像のビットストリーム表現との間での変換のために、双方向オプティカルフロー(BDOF)コーディングツール又はデコーダ側動きベクトル精緻化(DMVR)コーディングツールで使用される絶対差の和を、ブロックのビット深度に基づくやり方で決定することを含む。方法1500はまた、動作1520にて、該決定に基づいて上記変換を実行することを含む。
【0224】
一部の実施形態において、絶対差の和は、BDOFコーディングツール又はDMVRコーディングツールのための閾値と比較される前に、ビット深度の関数に基づいてシフトされる。一部の実施形態において、絶対差の和は、ビット深度の関数に基づいて変更される閾値と比較される。
【0225】
一部の実施形態において、上記変換は、映像をビットストリーム表現に符号化することを含む。一部の実施形態において、上記変換は、ビットストリーム表現を映像に復号することを含む。
【0226】
開示される技術の一部の実施形態は、映像処理ツール又はモードを有効にする決定を行うことを含む。一例において、映像処理ツール又はモードが有効にされるとき、エンコーダは、映像のブロックの処理においてそのツール又はモードを使用又は実装することになるが、必ずしも、そのツール又はモードの使用に基づいて、結果として生じるビットストリームを変更するわけではない。すなわち、映像のブロックから映像のビットストリーム表現への変換は、映像処理ツール又はモードを、それが決定に基づいて有効にされるときに使用することになる。他の一例において、映像処理ツール又はモードが有効にされるとき、デコーダは、その映像処理ツール又はモードに基づいてビットストリームが変更されていることを知って、ビットストリームを処理することになる。すなわち、映像のビットストリーム表現から映像のブロックへの変換は、決定に基づいて有効にされていた映像処理ツール又はモードを用いて実行されることになる。
【0227】
開示される技術の一部の実施形態は、映像処理ツール又はモードを無効にする決定を行うことを含む。一例において、映像処理ツール又はモードが無効にされるとき、エンコーダは、映像のブロックの映像のビットストリームへの変換においてそのツール又はモードを使用しないことになる。他の一例において、映像処理ツール又はモードが無効にされるとき、デコーダは、決定に基づいて無効にされていた映像処理ツール又はモードを用いてはビットストリームが変更されていないことを知って、ビットストリームを処理することになる。
【0228】
開示される及びその他のソリューション、この文書に記述される例、実施形態、モジュール及び機能動作は、この文書に開示されている構造及びそれらに構造的に均等なものを含め、デジタル電子回路、又はコンピュータソフトウェア、ファームウェア、若しくはハードウェアにて、あるいはこれらのうちの1つ以上の組み合わせにて実施されることができる。開示される及びその他の実施形態は、1つ以上のコンピュータプログラムプロダクトとして実装されることができ、例えば、データ処理装置による実行のための、又はデータ処理装置の動作を制御するための、コンピュータ読み取り可能媒体にエンコードされたコンピュータプログラム命令の1つ以上のモジュールとして実装されることができる。コンピュータ読み取り可能媒体は、機械読み取り可能記憶装置、機械読み取り可能記憶基板、メモリ装置、機械読み取り可能な伝搬信号を生じさせる物質の組成、又はそれらのうちの1つ以上の組み合わせとすることができる。用語“データ処理装置”は、例として、プログラマブルプロセッサ、コンピュータ、又は複数のプロセッサ若しくはコンピュータを含め、データを処理するあらゆる装置、デバイス、及び機械を包含する。装置は、ハードウェアに加えて、例えば、プロセッサファームウェア、プロトコルスタック、データベース管理システム、オペレーティングシステム、又はそれらのうちの1つ以上の組み合わせを構成するコードといった、問題としているコンピュータプログラムのための実行環境を作り出すコードを含むことができる。伝播される信号は、人工的に生成される信号であり、例えば、適切な受信器装置への伝送のために情報をエンコードするために生成される機械生成による電気信号、光信号、又は電磁信号である。
【0229】
コンピュータプログラム(プログラム、ソフトウェア、ソフトウェアアプリケーション、スクリプト、又はコードとしても知られる)は、コンパイル型又はインタープリタ型の言語を含め、如何なる形態のプログラミング言語で記述されてもよく、また、スタンドアロンプログラムとして、又はコンピューティング環境での使用に適したモジュール、コンポーネント、サブルーチン、若しくは他のユニットとして、を含め、如何なる形態で展開されてもよい。コンピュータプログラムは、必ずしもファイルシステム内のファイルに対応するわけではない。プログラムは、他のプログラム若しくはデータを保持するファイルの一部(例えば、マークアップ言語文書に格納された1つ以上のスクリプト)に格納されてもよいし、問題としているプログラムに専用の単一ファイルに格納されてもよいし、あるいは、複数の連携ファイル(例えば、1つ以上のモジュール、サブプログラム、又はコードの部分を格納するファイル)に格納されてもよい。コンピュータプログラムは、1つのコンピュータ上で実行されるように展開されてもよいし、あるいは、一箇所に配置された、又は複数箇所に分散されて通信ネットワークによって相互接続された、複数のコンピュータ上で実行されるように展開されてもよい。
【0230】
この文書に記載されるプロセス及び論理フローは、入力データについて演算して出力を生成することによって機能を実行するよう、1つ以上のコンピュータプログラムを実行する1つ以上のプログラマブルプロセッサによって実行されることができる。これらのプロセス及び論理フローはまた、例えばFPGA(フィールドプログラマブルゲートアレイ)又はASIC(特定用途向け集積回路)といった専用の論理回路によって実行されることもでき、また、装置も、そのような専用の論理回路として実装されることができる。
【0231】
コンピュータプログラムの実行に適したプロセッサは、例として、汎用及び専用の双方のマイクロプロセッサ、及び任意の種類のデジタルコンピュータの任意の1つ以上のプロセッサを含む。一般に、プロセッサは、読み出し専用メモリ若しくはランダムアクセスメモリ又はこれらの両方から命令及びデータを受信する。コンピュータの必須要素は、命令を実行するためのプロセッサと、命令及びデータを格納する1つ以上のメモリデバイスである。一般に、コンピュータはまた、例えば磁気ディスク、磁気光ディスク、又は光ディスクといった、データを格納するための1つ以上の大容量ストレージ装置を含み、あるいは、大容量ストレージ装置からデータを受信したり、それにデータを転送したりするように動作的に結合される。しかしながら、コンピュータは、そのような装置を有する必要はない。コンピュータプログラム命令及びデータを格納するのに適したコンピュータ読み取り可能媒体は、例として、例えばEPROM、EEPROM、及びフラッシュメモリデバイスといった半導体メモリデバイス、例えば内部ハードディスク又はリムーバブルディスクといった磁気ディスク;光磁気ディスク;並びにCD ROM及びDVD-ROMディスクを含め、あらゆる形態の不揮発性メモリ、媒体及びメモリデバイスを含む。プロセッサ及びメモリは、専用の論理回路によって補われたり、それに組み込まれたりしてもよい。
【0232】
この特許文書は数多くの詳細が含んでいるが、それらは、いずれかの主題又は特許請求され得るものの範囲についての限定として解釈されるべきでなく、むしろ、特定の技術の特定の実施形態に特有とし得る機構の説明として解釈されるべきである。別々の実施形態の文脈でこの特許文書に記載されている特定の複数の機構が、単一の実施形態にて組み合わせて実装されることもできる。逆に、単一の実施形態の文脈で説明されている種々の機構が、複数の実施形態にて別々に、又は何らかの好適なサブコンビネーションで実装されることもできる。さらには、複数の機構が、特定の組み合わせにて作用するものとして上述され、さらには当初はそのように特許請求されていることがあり得るが、場合によって、特許請求されている組み合わせからの1以上の機構を組み合わせから除くこともでき、また、特許請求されている組み合わせをサブコンビネーション又はサブコンビネーションのバリエーションへと導いてもよい。
【0233】
同様に、図面には処理が特定の順序で示されるが、このことは、所望の結果を達成するために、それらの動作が図示される特定の順序で若しくは順番に実行されること、又は図示される全ての処理が実行されることを要求するものとして理解されるべきでない。また、この特許文書に記載されている実施形態における種々のシステムコンポーネントの分離は、全ての実施形態においてそのような分離を必要とするものとして理解されるべきでない。
【0234】
ほんの少しの実装及び例を記載したのみであり、この特許文書に記載及び図示されているものに基づいて、他の実装、拡張及び変形が行われ得る。
図1
図2
図3A
図3B
図3C
図4A
図4B
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
【手続補正書】
【提出日】2022-04-19
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
映像処理の方法であって、
映像の現在ピクチャの現在ブロックと前記映像のビットストリームとの間での変換のために、前記現在ブロックに対してコーディングツールを無効にするかを決定するステップと、
前記決定に基づいて前記変換を実行するステップと、
を有し、
前記現在ブロックの1つ以上の参照ピクチャのうちのある参照ピクチャの寸法が前記現在ピクチャの寸法と異なるとき、又は前記現在ブロックの1つ以上の参照ピクチャのうちのある参照ピクチャにおけるスケーリングウィンドウの寸法が前記現在ピクチャにおけるスケーリングウィンドウの寸法と異なるとき、前記コーディングツールは無効にされる、
方法。
【請求項2】
前記コーディングツールは第1の精緻化コーディングツールを有し、
前記第1の精緻化コーディングツールは、シグナリングされた動きベクトルを、該シグナリングされた動きベクトルに対してオフセットを有する少なくとも1つの動きベクトルに基づいて精緻化する、
請求項1に記載の方法。
【請求項3】
前記コーディングツールは第2の精緻化コーディングツールを有し、
前記第2の精緻化コーディングツールは、前記現在ブロックの参照ブロック内のサンプルに対応する少なくとも1つの勾配値に基づいて動きベクトル精緻化を得る、
請求項1に記載の方法。
【請求項4】
前記現在ブロックにアフィンモードが適用されて、前記現在ブロックのサブブロックの当初予測サンプルが生成され、
前記コーディングツールは第3の精緻化コーディングツールを有し、
前記第3の精緻化コーディングツールは、動きベクトル差dMvH及び/又はdMvVに基づいて予測精緻化を導出することによって、前記サブブロックに対する最終予測サンプルを生成するように適用され、
dMvH及びdMvVは、水平方向及び垂直方向に沿った動きベクトル差を指し示す、
請求項1に記載の方法。
【請求項5】
前記現在ブロックの第1の参照ピクチャリスト内の参照ピクチャの寸法が前記現在ピクチャの寸法とは異なるとき、又は前記現在ブロックの第1の参照ピクチャリスト内の参照ピクチャにおけるスケーリングウィンドウの寸法が前記現在ピクチャにおけるスケーリングウィンドウの寸法とは異なるとき、前記第3の精緻化コーディングツールは前記第1の参照ピクチャリストに対して無効にされ、
前記現在ブロックの第2の参照ピクチャリスト内の参照ピクチャの寸法が前記現在ピクチャの寸法とは異なるとき、又は前記現在ブロックの第2の参照ピクチャリスト内の参照ピクチャにおけるスケーリングウィンドウの寸法が前記現在ピクチャにおけるスケーリングウィンドウの寸法とは異なるとき、前記第3の精緻化コーディングツールは前記第2の参照ピクチャリストに対して無効にされる、
請求項4に記載の方法。
【請求項6】
前記コーディングツールが無効にされるかは、前記1つ以上の参照ピクチャそれぞれに関連付けられた1つ以上の制約アクティブフラグの値に基づいて決定される、請求項1に記載の方法。
【請求項7】
前記現在ブロックの第1の参照ピクチャリスト内の参照ピクチャの寸法が前記現在ピクチャの寸法とは異なるとき、又は前記現在ブロックの第1の参照ピクチャリスト内の参照ピクチャにおけるスケーリングウィンドウの寸法が前記現在ピクチャにおけるスケーリングウィンドウの寸法とは異なるとき、第1の制約アクティブフラグの値が、0に等しくないように設定され、
前記現在ブロックの第2の参照ピクチャリスト内の参照ピクチャの寸法が前記現在ピクチャの寸法とは異なるとき、又は前記現在ブロックの第2の参照ピクチャリスト内の参照ピクチャにおけるスケーリングウィンドウの寸法が前記現在ピクチャにおけるスケーリングウィンドウの寸法とは異なるとき、第2の制約アクティブフラグの値が、0に等しくないように設定される、
請求項6に記載の方法。
【請求項8】
前記1つ以上の制約アクティブフラグは、参照ピクチャリスト構築プロセス中に導出される、請求項6に記載の方法。
【請求項9】
スケーリングウィンドウの寸法は、1)scaling_win_left_offset、2)scaling_win_right_offset、3)scaling_win_bottom_offset、又は4)scaling_win_top_offsetのうちの少なくとも1つに基づいて決定される、請求項1に記載の方法。
【請求項10】
前記現在ブロックの1つ以上の参照ピクチャのうちのある参照ピクチャの寸法が前記現在ピクチャの寸法と異なるとき、又は前記現在ブロックの1つ以上の参照ピクチャのうちのある参照ピクチャにおけるスケーリングウィンドウの寸法が前記現在ピクチャにおけるスケーリングウィンドウの寸法と異なるとき、前記現在ブロックに対して適応動きベクトル解像度が有効にされる、請求項1に記載の方法。
【請求項11】
前記変換は、前記現在ピクチャを前記ビットストリームへと符号化することを含む、請求項1に記載の方法。
【請求項12】
前記変換は、前記ビットストリームから前記現在ピクチャを復号することを含む、請求項1に記載の方法。
【請求項13】
プロセッサと、命令を有する非一時的なメモリと、を有する映像データを処理する装置であって、前記命令は、前記プロセッサによる実行を受けて、前記プロセッサに、
映像の現在ピクチャの現在ブロックと前記映像のビットストリームとの間での変換のために、前記現在ブロックに対してコーディングツールを無効にするかを決定させ、
前記決定に基づいて前記変換を実行させ、
前記現在ブロックの1つ以上の参照ピクチャのうちのある参照ピクチャの寸法が前記現在ピクチャの寸法と異なるとき、又は前記現在ブロックの1つ以上の参照ピクチャのうちのある参照ピクチャにおけるスケーリングウィンドウの寸法が前記現在ピクチャにおけるスケーリングウィンドウの寸法と異なるとき、前記コーディングツールは無効にされる、
装置。
【請求項14】
命令を格納した非一時的なコンピュータ読み取り可能記憶媒体であって、前記命令は、プロセッサに、
映像の現在ピクチャの現在ブロックと前記映像のビットストリームとの間での変換のために、前記現在ブロックに対してコーディングツールを無効にするかを決定させ、
前記決定に基づいて前記変換を実行させ、
前記現在ブロックの1つ以上の参照ピクチャのうちのある参照ピクチャの寸法が前記現在ピクチャの寸法と異なるとき、又は前記現在ブロックの1つ以上の参照ピクチャのうちのある参照ピクチャにおけるスケーリングウィンドウの寸法が前記現在ピクチャにおけるスケーリングウィンドウの寸法と異なるとき、前記コーディングツールは無効にされる、
コンピュータ読み取り可能記憶媒体。
【請求項15】
映像処理装置により実行される方法によって生成された映像のビットストリームを格納した非一時的なコンピュータ読み取り可能記録媒体であって、前記方法は、
映像の現在ピクチャの現在ブロックについて、前記現在ブロックに対してコーディングツールを無効にするかを決定するステップと、
前記決定に基づいて前記ビットストリームを生成するステップと、
を有し、
前記現在ブロックの1つ以上の参照ピクチャのうちのある参照ピクチャの寸法が前記現在ピクチャの寸法と異なるとき、又は前記現在ブロックの1つ以上の参照ピクチャのうちのある参照ピクチャにおけるスケーリングウィンドウの寸法が前記現在ピクチャにおけるスケーリングウィンドウの寸法と異なるとき、前記コーディングツールは無効にされる、
コンピュータ読み取り可能記録媒体。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0001
【補正方法】変更
【補正の内容】
【0001】
の出願は、2019年10月13日に出願された米国仮特許出願第62/914,544号の優先権及び利益を主張するものである2020年10月13日に出願された国際出願第PCT/CN2020/120554号の国内移行出願である記出願の開示全体を、この出願の開示の一部として援用する。
【国際調査報告】