(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024069342
(43)【公開日】2024-05-21
(54)【発明の名称】ビデオ符号化復号化のための可逆符号化復号化モード
(51)【国際特許分類】
H04N 19/70 20140101AFI20240514BHJP
【FI】
H04N19/70
【審査請求】有
【請求項の数】15
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2024034773
(22)【出願日】2024-03-07
(62)【分割の表示】P 2021577674の分割
【原出願日】2020-06-29
(31)【優先権主張番号】62/868,857
(32)【優先日】2019-06-28
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/871,134
(32)【優先日】2019-07-06
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ブルートゥース
(71)【出願人】
【識別番号】521147444
【氏名又は名称】ベイジン ダージャー インターネット インフォメーション テクノロジー カンパニー リミテッド
【氏名又は名称原語表記】BEIJING DAJIA INTERNET INFORMATION TECHNOLOGY CO., LTD.
(74)【代理人】
【識別番号】100147485
【弁理士】
【氏名又は名称】杉村 憲司
(74)【代理人】
【識別番号】230118913
【弁護士】
【氏名又は名称】杉村 光嗣
(74)【代理人】
【識別番号】100163511
【弁理士】
【氏名又は名称】辻 啓太
(72)【発明者】
【氏名】チェン イーウェン
(72)【発明者】
【氏名】マー ツン-チュアン
(72)【発明者】
【氏名】ワン シエンリン
(72)【発明者】
【氏名】シュウ シャオユウ
(57)【要約】 (修正有)
【課題】可逆符号化復号化モードにおけるビデオ符号化復号化を改善及び簡略化する方法及び装置を提供する。
【解決手段】ビデオ符号化復号化のための方法は、ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画することと、前記可逆CUの残差符号化復号化ブロックサイズを決定することと、前記可逆CUの残差符号化復号化ブロックサイズが予め定められた最大値よりも大きいという決定に応じて、前記残差符号化復号化ブロックを残差符号化復号化するための2つ以上の残差ブロックに分割することと、を含む。
【選択図】
図8
【特許請求の範囲】
【請求項1】
ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画することと、
前記可逆CUの残差符号化復号化ブロックサイズを決定することと、
前記可逆CUの残差符号化復号化ブロックサイズが予め定められた最大値よりも大きいと
いう決定に応じて、前記残差符号化復号化ブロックを残差符号化復号化するための2つ以
上の残差ブロックに分割することと、
を含む、ビデオ符号化復号化のための可逆符号化復号化モードの方法。
【請求項2】
前記可逆CUの前記残差符号化復号化ブロックサイズに関する前記予め定められた最大
値を、変換スキップモードでサポートされている最大ブロックサイズに合わせること、
を更に含む、請求項1に記載のビデオ符号化復号化のための可逆符号化復号化モードの方
法。
【請求項3】
前記可逆CUの前記残差符号化復号化ブロックサイズに関する前記予め定められた最大値
を、前記ビデオ画像の仮想パイプラインデータユニット(VPDU)サイズに合わせるこ
と、
を更に含む、請求項1に記載のビデオ符号化復号化のための可逆符号化復号化モードの方
法。
【請求項4】
前記可逆CUについて残差符号化復号化スキームを選択すること、
を更に含み、
前記可逆CUについて選択された残差符号化復号化スキームは、変換スキップモードCU
で使用される残差符号化復号化スキームと同じである、請求項1に記載のビデオ符号化復
号化のための可逆符号化復号化モードの方法。
【請求項5】
ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画することと、
前記可逆CUについて非変換スキップモードCUで使用される残差符号化復号化スキーム
と同じものを選択することと、
を含む、ビデオ符号化復号化のための可逆符号化復号化モードの方法。
【請求項6】
前記可逆CUについて、予め定められた条件に基づいて残差符号化復号化スキームを適応
的に選択すること、
を更に含み、
前記可逆CUについて選択された残差符号化復号化スキームは、前記予め定められた条件
に応じて、変換スキップモードCU又は非変換スキップモードCUによって使用される残
差符号化復号化スキームである、請求項5に記載のビデオ符号化復号化のための可逆符号
化復号化モードの方法。
【請求項7】
前記可逆CUについて、信号により通知された構文に基づいて残差符号化復号化スキーム
を選択すること、
を更に含み、
前記可逆CUについて選択された残差符号化復号化スキームは、信号により通知された前
記構文に応じて、変換スキップモードCU又は非変換スキップモードCUで使用される残
差符号化復号化スキームである、請求項5に記載のビデオ符号化復号化のための可逆符号
化復号化モードの方法。
【請求項8】
スライスヘッダーで第1のフラグを信号により通知することと、
前記複数のCUのそれぞれについて、信号により通知された前記第1のフラグに基づいて
残差符号化復号化スキームを選択すること、
を更に含み、
前記可逆CUについて選択された残差符号化復号化スキームは、信号により通知された前
記第1のフラグに応じて、変換スキップモードCUまたは非変換スキップモードCUによ
って使用される残差符号化復号化スキームである、請求項5に記載のビデオ符号化復号化
のための可逆符号化復号化モードの方法。
【請求項9】
前記複数のCUのそれぞれについて第2のフラグを信号により通知することと、
前記複数のCUのそれぞれについて信号により通知された前記第2のフラグに基づいて残
差符号化復号化スキームを選択すること、
を更に含み、
前記可逆CUについて選択された残差符号化方式は、信号により通知された前記第2のフ
ラグに応じて、変換スキップモードCUまたは非変換スキップモードCUによって使用さ
れる残差符号化復号化スキームである、請求項5に記載のビデオ符号化復号化のための可
逆符号化復号化モードの方法。
【請求項10】
前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及び
ターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号に
より通知すること、
を更に含む、請求項5に記載のビデオ符号化復号化のための可逆符号化復号化モードの方
法。
【請求項11】
前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及び
ターンオフをCUレベルで制御するための1ビットフラグを信号により通知すること、
を更に含む、請求項5に記載のビデオ符号化復号化のための可逆符号化復号化モードの方
法。
【請求項12】
前記可逆CUについて、双方向オプティカルフロー(BDOF)のターンオン及びターン
オフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号により通
知すること、
を更に含む、請求項5に記載のビデオ符号化復号化のための可逆符号化復号化モードの方
法。
【請求項13】
前記可逆CUについて、双方向オプティカルフロー(BDOF)のターンオン及びターン
オフをCUレベルで制御するための1ビットフラグを信号により通知すること、
を更に含む、請求項5に記載のビデオ符号化復号化のための可逆符号化復号化モードの方
法。
【請求項14】
前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)及び双方向オプテ
ィカルフロー(BDOF)の両方のターンオン及びターンオフをスライスレベルまたは画
像レベルで制御するための1ビットフラグを信号により通知すること、
を更に含む、請求項5に記載のビデオ符号化復号化のための可逆符号化復号化モードの方
法。
【請求項15】
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行可能な命令を格納するように構成されるメ
モリと、
を備え、
前記1つまたは複数のプロセッサは、前記命令を実行すると、
ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画し、
前記可逆CUの残差符号化復号化ブロックサイズを決定し、
前記可逆CUの残差符号化復号化ブロックサイズが予め定められた最大値よりも大きいと
いう決定に応じて、前記残差符号化復号化ブロックを残差符号化復号化するための2つ以
上の残差ブロックに分割する、
ように構成される、ビデオ符号化復号化のための可逆符号化復号化モードの装置。
【請求項16】
前記1つまたは複数のプロセッサは、更に
前記可逆CUの残差符号化復号化ブロックサイズに関する予め定められた最大値を、変換
スキップモードでサポートされている最大ブロックサイズに合わせる、
ように構成される、請求項15に記載のビデオ符号化復号化のための可逆符号化復号化モ
ードの装置。
【請求項17】
前記1つまたは複数のプロセッサは、更に
前記可逆CUの残差符号化復号化ブロックサイズに関する予め定められた最大値を、前記
ビデオ画像の仮想パイプラインデータユニット(VPDU)サイズに合わせる、
ように構成される、請求項15に記載のビデオ符号化復号化のための可逆符号化復号化モ
ードの装置。
【請求項18】
前記1つまたは複数のプロセッサは、更に
前記可逆CUについて残差符号化復号化スキームを選択する、
ように構成され、
前記可逆CUについて選択された残差符号化復号化スキームは、変換スキップモードCU
で使用される残差符号化復号化スキームと同じである、請求項15に記載のビデオ符号化
復号化のための可逆符号化復号化モードの装置。
【請求項19】
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行可能な命令を格納するように構成されるメ
モリと、
を備え、
前記1つまたは複数のプロセッサは、前記命令を実行すると、
ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画し、
前記可逆CUについて非変換スキップモードCUで使用される残差符号化復号化スキーム
と同じものを選択する、
ように構成される、ビデオ符号化復号化のための可逆符号化復号化モードの装置。
【請求項20】
前記1つまたは複数のプロセッサは、更に
前記可逆CUについて、予め定められた条件に基づいて残差符号化復号化スキームを適応
的に選択する、
ように構成され、
前記可逆CUについて選択された残差符号化復号化スキームは、前記予め定められた条件
に応じて、変換スキップモードCU又は非変換スキップモードCUによって使用される残
差符号化復号化スキームである、請求項19に記載のビデオ符号化復号化のための可逆符
号化復号化モードの装置。
【請求項21】
前記1つまたは複数のプロセッサは、更に
前記可逆CUについて、信号により通知された構文に基づいて残差符号化復号化スキーム
を選択する、
ように構成され、
前記可逆CUについて選択された残差符号化復号化スキームは、信号により通知された前
記構文に応じて、変換スキップモードCU又は非変換スキップモードCUで使用される残
差符号化復号化スキームである、請求項19に記載のビデオ符号化復号化のための可逆符
号化復号化モードの装置。
【請求項22】
前記1つまたは複数のプロセッサは、更に
スライスヘッダーで第1のフラグを信号により通知し、
前記複数のCUのそれぞれについて、信号により通知された第1のフラグに基づいて残差
符号化復号化スキームを選択する、
ように構成され、
前記可逆CUについて選択された残差符号化復号化スキームは、信号により通知された前
記第1のフラグに応じて、変換スキップモードCUまたは非変換スキップモードCUによ
って使用される残差符号化復号化スキームである、請求項19に記載のビデオ符号化復号
化のための可逆符号化復号化モードの装置。
【請求項23】
前記1つまたは複数のプロセッサは、更に
前記複数のCUのそれぞれについて第2のフラグを信号により通知し、
前記複数のCUのそれぞれについて信号により通知された前記第2のフラグに基づいて残
差符号化復号化スキームを選択する、
ように構成され、
前記可逆CUについて選択された残差符号化復号化スキームは、信号により通知された前
記第2のフラグに応じて、変換スキップモードCUまたは非変換スキップモードCUによ
って使用される残差符号化復号化スキームである、請求項19に記載のビデオ符号化のた
めの可逆符号化モードの装置。
【請求項24】
前記1つまたは複数のプロセッサは、更に
前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及び
ターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号に
より通知する、
ように構成される、請求項19に記載のビデオ符号化復号化のための可逆符号化復号化モ
ードの装置。
【請求項25】
前記1つまたは複数のプロセッサは、更に
前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及び
ターンオフをCUレベルで制御するための1ビットフラグを信号により通知する、
ように構成される、請求項19に記載のビデオ符号化復号化のための可逆符号化復号化モ
ードの装置。
【請求項26】
前記1つまたは複数のプロセッサは、更に
前記可逆CUについて、双方向オプティカルフロー(BDOF)のターンオン及びターン
オフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号により通
知する、
ように構成される、請求項19に記載のビデオ符号化復号化のための可逆符号化復号化モ
ードの装置。
【請求項27】
前記1つまたは複数のプロセッサは、更に
前記可逆CUについて、双方向オプティカルフロー(BDOF)のターンオン及びターン
オフをCUレベルで制御するための1ビットフラグを信号により通知する、
ように構成される、請求項19に記載のビデオ符号化復号化のための可逆符号化復号化モ
ードの装置。
【請求項28】
前記1つまたは複数のプロセッサは、更に
前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)及び双方向オプテ
ィカルフロー(BDOF)の両方のターンオン及びターンオフをスライスレベルまたは画
像レベルで制御するための1ビットフラグを信号により通知する、
ように構成される、請求項19に記載のビデオ符号化復号化のための可逆符号化復号化モ
ードの装置。
【請求項29】
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行可能な命令を格納するように構成される非
一時的な記憶媒体と、
を備え、
前記命令は、実行されると、前記1つまたは複数のプロセッサに、
ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画し、
前記可逆CUの残差符号化復号化ブロックサイズを決定し、
前記可逆CUの残差符号化復号化ブロックサイズが予め定められた最大値よりも大きいと
いう決定に応じて、前記残差符号化復号化ブロックを残差符号化復号化するための2つ以
上の残差ブロックに分割すること、
のような操作を実行させる、ビデオ符号化復号化のための装置。
【請求項30】
前記操作は、
前記可逆CUの残差符号化復号化ブロックサイズに関する予め定められた最大値を、変換
スキップモードでサポートされている最大ブロックサイズに合わせること、
を更に含む、請求項29に記載のビデオ符号化復号化のための装置。
【請求項31】
前記操作は、
前記可逆CUの残差符号化復号化ブロックサイズに関する予め定められた最大値を、前記
ビデオ画像の仮想パイプラインデータユニット(VPDU)サイズに合わせること、
を更に含む、請求項29に記載のビデオ符号化復号化のための装置。
【請求項32】
前記操作は、
前記可逆CUについて残差符号化復号化スキームを選択すること、
を更に含み、
前記可逆CUについて選択された残差符号化復号化スキームは、変換スキップモードCU
で使用される残差符号化復号化スキームと同じである、請求項29に記載のビデオ符号化
復号化のための装置。
【請求項33】
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行可能な命令を格納するように構成される非
一時的な記憶媒体と、
を備え、
前記命令は、実行されると、前記1つまたは複数のプロセッサに、
ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数のCUに区画し、
前記可逆CUについて非変換スキップモードCUで使用される残差符号化復号化スキーム
と同じものを選択すること、
のような操作を実行させる、ビデオ符号化のための装置。
【請求項34】
前記操作は、
前記可逆CUについて、予め定められた条件に基づいて残差符号化復号化スキームを適応
的に選択すること、
を更に含み、
前記可逆CUについて選択された残差符号化復号化スキームは、前記予め定められた条件
に応じて、変換スキップモードCU又は非変換スキップモードCUによって使用される残
差符号化復号化スキームである、請求項33に記載のビデオ符号化のための装置。
【請求項35】
前記操作は、
前記可逆CUについて、信号により通知された構文に基づいて残差符号化復号化スキーム
を選択すること、
を更に含み、
前記可逆CUについて選択された残差符号化復号化スキームは、信号により通知された前
記構文に応じて、変換スキップモードCU又は非変換スキップモードCUで使用される残
差符号化復号化スキームである、請求項33に記載のビデオ符号化のための装置。
【請求項36】
前記操作は、
スライスヘッダーで第1のフラグを信号により通知することと、
前記複数のCUのそれぞれについて、信号により通知された前記第1のフラグに基づいて
残差符号化復号化スキームを選択すること、
を更に含み、
前記可逆CUについて選択された残差符号化復号化スキームは、信号により通知された前
記第1のフラグに応じて、変換スキップモードCUまたは非変換スキップモードCUによ
って使用される残差符号化復号化スキームである、請求項33に記載のビデオ符号化復号
化のための装置。
【請求項37】
前記操作は、
前記複数のCUのそれぞれについて第2のフラグを信号により通知することと、
前記複数のCUのそれぞれについて信号により通知された前記第2のフラグに基づいて残
差符号化復号化スキームを選択すること、
を更に含み、
前記可逆CUについて選択された残差符号化方式は、信号により通知された前記第2のフ
ラグに応じて、変換スキップモードCUまたは非変換スキップモードCUによって使用さ
れる残差符号化復号化スキームである、請求項33に記載のビデオ符号化復号化のための
装置。
【請求項38】
前記操作は、
前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及び
ターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号に
より通知すること、
を更に含む、請求項33に記載のビデオ符号化復号化のための装置。
【請求項39】
前記操作は、
前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及び
ターンオフをCUレベルで制御するための1ビットフラグを信号により通知すること、
を更に含む、請求項33に記載のビデオ符号化のための装置。
【請求項40】
前記操作は、
前記可逆CUについて、双方向オプティカルフロー(BDOF)のターンオン及びターン
オフをスライスレベルまたは画像レベルで制御するための1ビットフラグを信号により通
知すること、
を更に含む、請求項33に記載のビデオ符号化復号化のための装置。
【請求項41】
前記操作は、
前記可逆CUについて、双方向オプティカルフロー(BDOF)のターンオン及びターン
オフをCUレベルで制御するための1ビットフラグを信号により通知すること、
を更に含む、請求項33に記載のビデオ符号化復号化のための装置。
【請求項42】
前記操作は、
前記可逆CUについて、デコーダ側の動きベクトル微細化(DMVR)及び双方向オプテ
ィカルフロー(BDOF)の両方のターンオン及びターンオフをスライスレベルまたは画
像レベルで制御するための1ビットフラグを信号により通知すること、
を更に含む、請求項33に記載のビデオ符号化復号化のための装置。
【発明の詳細な説明】
【関連出願の相互参照】
【0001】
本出願は、2019年6月28日に提出された「ビデオ符号化復号化のための可逆符号
化復号化モード」と題された米国仮出願第62/868857号、及び2019年7月6
日に提出された「ビデオ符号化復号化のための可逆符号化復号化モード」と題された米国
仮出願第62/871134号に対する優先権を主張するものであり、これらの特許出願
の明細書全体を参照によって本願明細書に引用する。
【技術分野】
【0002】
本出願は、全般的にビデオ符号化復号化及び圧縮に関する。特に、本開示は、ビデオ符
号化復号化のための可逆符号化復号化の改善及び簡略化に関する。
【背景技術】
【0003】
多種のビデオ符号化復号化技術は、ビデオデータを圧縮することに使用されることができ
る。ビデオ符号化復号化は、1つまたは複数のビデオ符号化復号化標準に従って実行され
る。例示的なビデオ符号化復号化標準には、多用途ビデオ符号化(VVC:Versatile Vi
deo Coding)、共同探査試験モデル(JEM:Joint Exploration Test Model)、高効率
ビデオ符号化復号化(H.265/HEVC:High Efficiency Video Coding)、高度な
ビデオ符号化復号化(H.264/AVC:Advanced Video Coding)、及び動画専門家グ
ループ(MPEG:Moving picture Experts Group)符号化復号化などを含む。ビデオ符
号化復号化では、一般に、ビデオ画像またはシーケンスに存在する冗長性による予測方法
(例えば、インター予測、イントラ予測など)を利用する。ビデオ符号化復号化技術の重
要な目標は、ビデオ品質の低下を回避しまたは最小限に抑えながら、ビデオデータをより
低いビットレートの形式に圧縮することである。
【0004】
HEVC標準の最初のバージョンは、2013年10月に完成され、前世代のビデオ符号
化復号化標準H.264/MPEG AVCと比較しておよそ50%のビットレート節約
または同等の視覚的な品質を提供する。HEVC標準は、その前身よりも大幅な符号化復
号化の改善を提供するが、HEVCよりも優れた符号化効率がHEVCの上に追加される
符号化復号化ツールにより達成できるという証拠がある。これに基づいて、VCEG及び
MPEGの両方が、将来のビデオ符号化復号化の標準化のための新しい符号化復号化技術
の探知動作を開始した。共同ビデオ専門家チーム(JVET:Joint Video Experts Team
)は、2015年10月にITU-TVECG及びISO/IEC MPEGによって結
成されて、符号化復号化効率の大幅な向上を可能とする高度な技術に対して重要な研究を
開始した。共同探査試験モデル(JEM: Joint Exploration Model)と呼ばれる参照ソ
フトウェアは、HEVC試験モデル(HM)の上にいくつかの追加の符号化ツールを集積
して、JVETによって維持されている。
【0005】
HEVC以上の機能を備えるビデオ圧縮に関する共同提案募集(CfP:call for propo
sals)は、2017年10月にITU-T及びISO/IECによって発行された。20
18年4月には、第10回のJVET会議で23つのCfP応答が受信および評価され、
HEVCよりも約40%の圧縮効率の向上が実証された。JVETは、このような評価結
果に基づいて、多用途ビデオ符号化復号化(VVC)と呼ばれる新世代のビデオ符号化復
号化標準を開発するための新しいプロジェクトを立ち上げた。同月には、VVC標準の参
照実装を実証するために、VVC試験モデル(VTM:VVC Test Model)と呼ばれる参照
ソフトウェアコードベースが確立された。
【発明の概要】
【0006】
本開示は、全般的にビデオ符号化復号化における可逆符号化復号化に関する技術の例を
述べる。
【0007】
本開示の第1の方面に従い、ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数
のCUに区画することと、前記可逆CUの残差符号化復号化ブロックサイズを決定するこ
とと、前記可逆CUの残差符号化復号化ブロックサイズが予め定められた最大値よりも大
きいという決定に応じて、前記残差符号化ブロックを残差符号化するための2つ以上の残
差ブロックに分割することと、を含むビデオ符号化のための可逆符号化モードの方法を提
供する。
【0008】
本開示の第2の方面に従い、ビデオ画像を可逆符号化復号化ユニット(CU)を含む複数
のCUに区画することと、前記可逆CUについて非変換スキップモードCUで使用される
残差符号化復号化スキームと同じものを選択することと、を含むビデオ符号化復号化のた
めの可逆符号化復号化モードの方法を提供する。
【0009】
本開示の第3の方面に従い、1つまたは複数のプロセッサと、前記1つまたは複数のプロ
セッサによって実行可能な命令を格納するように構成されるメモリと、を備え、前記1つ
または複数のプロセッサは、前記命令を実行すると、ビデオ画像を可逆符号化復号化ユニ
ット(CU)を含む複数のCUに区画し、前記可逆CUの残差符号化復号化ブロックサイ
ズを決定し、前記可逆CUの残差符号化復号化ブロックサイズが予め定められた最大値よ
りも大きいという決定に応じて、前記残差符号化復号化ブロックを残差符号化復号化する
ための2つ以上の残差ブロックに分割する、ように構成されるビデオ符号化復号化のため
の可逆符号化復号化モードの装置を提供する。
【0010】
本開示の第4の方面に従い、1つまたは複数のプロセッサと、前記1つまたは複数のプロ
セッサによって実行可能な命令を格納するように構成されるメモリと、を備え、前記1つ
または複数のプロセッサは、前記命令を実行すると、ビデオ画像を可逆符号化復号化ユニ
ット(CU)を含む複数のCUに区画し、前記可逆CUについて非変換スキップモードC
Uで使用される残差符号化復号化スキームと同じものを選択する、ように構成されるビデ
オ符号化復号化のための可逆符号化復号化モードの装置を提供する。
【0011】
本開示の第5の方面に従い、1つまたは複数のプロセッサと、前記1つまたは複数のプロ
セッサによって実行可能な命令を格納するように構成される非一時的な記憶媒体と、を備
え、前記命令は、実行されると、前記1つまたは複数のプロセッサに、ビデオ画像を可逆
符号化復号化ユニット(CU)を含む複数のCUに区画し、前記可逆CUの残差符号化復
号化ブロックサイズを決定し、前記可逆CUの残差符号化復号化ブロックサイズが予め定
められた最大値よりも大きいという決定に応じて、前記残差符号化復号化ブロックを残差
符号化復号化するための2つ以上の残差ブロックに分割すること、のような操作を実行さ
せるビデオ符号化復号化のための装置を提供する。
【0012】
本開示の第6の方面に従い、1つまたは複数のプロセッサと、前記1つまたは複数のプロ
セッサによって実行可能な命令を格納するように構成される非一時的な記憶媒体と、を備
え、前記命令は、実行されると、前記1つまたは複数のプロセッサに、ビデオ画像を可逆
符号化復号化ユニット(CU)を含む複数のCUに区画し、前記可逆CUについて非変換
スキップモードCUで使用される残差符号化復号化スキームと同じものを選択すること、
のような操作を実行させるビデオ符号化復号化のための装置を提供する。
【図面の簡単な説明】
【0013】
本開示の例のより具体的な説明は、添付の図面に示す特定の例を参照することによって与
えられる。これらの図面はいくつかの例を示しているに過ぎず、したがって範囲を限定す
るものではないと考すれば、これらの例は、添付の図面を使用することにより、追加の特
異性および詳細が説明される。
【
図1】
図1は、本開示のある実施形態に係る例示的なビデオエンコーダを示すブロック図である。
【
図2A】
図2Aは、本開示のある実施形態に係るマルチタイプ木構造における四元ブロック区画を例示する概略図である。
【
図2B】
図2Bは、本開示のある実施形態に係るマルチタイプ木構造における水平二元ブロック区画を例示する概略図である。
【
図2C】
図2Cは、本開示のある実施形態に係るマルチタイプ木構造における垂直二元ブロック区画を例示する概略図である。
【
図2D】
図2Dは、本開示のある実施形態に係るマルチタイプ木構造における水平三元ブロック区画を例示する概略図である。
【
図2E】
図2Eは、本開示のある実施形態に係るマルチタイプ木構造における垂直三元ブロック区画を例示する概略図である。
【
図3】
図3は、本開示のある実施形態に係る例示的なビデオデコーダを示すブロック図である。
【
図3A】
図3Aは、本開示のある実施形態に係る、デコーダ側動きベクトル微細化(DMVR:Decoder-side Motion Vector Refinement)の例を示す概略図である。
【
図4】
図4は、本開示のある実施形態に係る、CTU、さらにタイル及びタイル・グループに分割される画像の例を示す概略図である。
【
図5】
図5は、本開示のある実施形態に係る、CTU、さらにタイル及びタイルグループに分割される画像の別の例を示す概略図である。
【
図6】
図6A~Hは、本開示のある実施形態に係る、許可されないTTおよびBT区画の例を示す概略図である。
【
図7】
図7は、本開示のある実施形態に係る、ビデオ符号化復号化のための可逆符号化復号化モードの例示的な装置を示す概略図である。
【
図8】
図8は、本開示のある実施形態に係る、ビデオ符号化復号化のための可逆符号化復号化モードの例示的なプロセスを示すフローチャートである。
【
図9】
図9は、本開示のある実施形態に係る、ビデオ符号化復号化のための可逆符号化復号化モードの別の例示的なプロセスを示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、図面を参照して本発明の具体的な実施の形態を詳細に説明する。以下の詳細な説明
において、本明細書に述べる趣旨を容易に理解するために、複数の非限定的な具体的な詳
細を述べる。ただし、本発明が各種の変形で実施することが可能であることは、当業者に
とって明らかである。例えば、本明細書に述べる趣旨がデジタルビデオ機能を有する多く
の種類の電子装置で実施され得ることは、当業者にとって明らかである。
【0015】
本明細書では、単数形または複数形で「1つの実施形態」、「実施形態」、「例」、「あ
る実施形態」、「ある例」または類似の表現は、述べる特定の特徴、構造または特性が少
なくとも1つの実施形態または例に含まれることを意味する。1つまたはいくつかの実施
形態に関連して説明される特徴、構造、要素または特性は、明確に別段の指示をしない限
り、他の実施形態にも適用可能である。
【0016】
本開示全体では、「第1」、「第2」、「第3」などの用語はすべて、関連する要素、例
えば、装置、コンポーネント、構成、ステップなどへの言及のためのものとしてのみ使用
され、文脈で別段の指示を明確にしない限り、空間的または年代順を意味するものではな
い。たとえば、「第1の装置」および「第2の装置」は、別個に形成された2つの装置、
または同じ装置の2つの部分、コンポーネント、または動作状態を指すものであって、任
意に名前を付けられることが可能である。
【0017】
ここで使用される「(もし)…たら」または「(もし)…ば」、「(もし)…と」のよう
な用語は、文脈に応じて、「…ときに」または「…に応じて」を意味すると理解されるこ
とが可能である。これらの用語は、請求の範囲に出現する場合、関連する限定または特徴
が条件付き的または選択的であることを意味していない。
【0018】
「モジュール」、「サブモジュール」、「回路」、「サブ回路」、「ユニット」または「
サブユニット」という用語は、1つまたは複数のプロセッサで実行できるコードまたは命
令を格納するメモリ (共有、専用、またはグループ) を含む。モジュールは、コードまた
は命令を格納しているか、または格納していない1つまたは複数の回路が含む場合がある
。モジュールまたは回路は、直接または間接的に接続された1つまたは複数のコンポーネ
ントを含むことが可能である。これらのコンポーネントは、互いに物理的に接続してもよ
く、物理的に切断してもよく、互いに隣り合ってもよい。
【0019】
ユニットまたはモジュールは、全てソフトウェアによって実現されてもよく、全てハード
ウェアによって実現されてもよく、またはハードウェアとソフトウェアとの組み合わせに
よって実現されてもよい。完全なソフトウェアの実現では、たとえば、ユニットまたはモ
ジュールが、特定の機能を実行するように直接的または間接的に互いにリンクされて機能
的に関連するコードブロックまたはソフトウェアコンポーネントを含むことが可能である
。
【0020】
図1は、ブロックに基づく処理を利用する多くのビデオ符号化復号化標準と組み合わせて
使用されることが可能な例示的なブロックに基づく混合ビデオエンコーダ100のブロッ
ク図を示す。VVCは、ブロックに基づく混合ビデオ符号化復号化フレームワークに基づ
いて構築されている。エンコーダ100では、入力ビデオ信号が符号化復号化ユニット(
CU)と呼ばれることが可能なブロックごとに処理される。VTM-1.0では、CUが
最大128×128画素とすることが可能である。ただし、VVCでは、四分木のみに基
づいてブロックを区画するHEVCと異なり、1つの符号化復号化木ユニット(CTU:
coding tree unit)が、各種なローカル特性に適応するように四分木/二分木/三分木に
基づいて複数のCUに分割される。コンポーネントのCTBへの分割が区画であるように
、符号化復号化木ブロック(CTB)は、定義によって、Nのある値についてサンプルの
N×Nブロックである。CTUには、3つのサンプル配列を持つ画像の輝度サンプルのC
TB、彩度サンプルの2つの対応するCTB、またはモノクロ画像のサンプルのCTBや
3つの別個のカラープレーンにより符号化される画像、及びサンプルの符号化復号化に使
用される構文構造が含まれる。さらに、HEVCにおける複数の区画ユニットタイプの概
念が削除され、つまり、CU、予測ユニット(PU:prediction unit)および変換ユニ
ット(TU:transform unit)の分離がVVCに存在しなくなる。代わりに、各CUは、
更なる区画なしで、予測及び変換の両方の基本ユニットとして常に使用される。
【0021】
マルチタイプ木構造では、1つのCTUがまず四分木構造で分割される。次に、各四分木
リーフノードを二分木および三分木構造でさらに分割できる。
図2A~2Eに示すように
、四元区画(
図2A)、水平二元区画(
図2B)、垂直二元区画(
図2C)、水平三元区
画(
図2D)、および垂直三元区画(
図2E)のような5つの分割タイプがある。
【0022】
予測は、与えられたビデオブロックごとに、インター予測アプローチまたはイントラ予測
アプローチに基づいて形成される。インター予測では、以前に再構成されたフレームから
の画素に基づいて、動き推定及び動き補償によって1つ又は複数の予測子を形成する。イ
ントラ予測では、現在のフレームにおける再構成された画素に基づいて予測子を形成する
。モード決定により、現在のブロックを予測するための最良の予測子が選択されることが
可能である。
【0023】
現在のビデオブロックとその予測子との間の差を表す予測残差は、変換回路102に送ら
れる。そして、エントロピーの低減のために、変換係数は、変換回路102から定量化回
路104へ送られる。次に、定量化された係数は、エントロピー符号化復号化回路106
に供給されて圧縮されたビデオビットストリームを生成する。
図1に示すように、インタ
ー予測回路および/またはイントラ予測回路112からのビデオブロック区画情報、動き
ベクトル、参照画像インデックス、およびイントラ予測モードなどの予測関連情報110
も、エントロピー符号化復号化回路106を介して供給され、圧縮されたビデオビットス
トリーム114に保存される。
【0024】
当該エンコーダ100では、予測の目的で画素を再構成するために、デコーダ関連回路も
必要である。まず、予測残差は、逆定量化116および逆変換回路118を介して再構成
される。この再構成された予測残差は、ブロック予測子120と組み合わせて、現在のビ
デオブロックのフィルタリングされていない再構成画素が生成される。
【0025】
空間的予測(「イントラ予測」とも呼ばれる)は、現在のビデオブロックと同じビデオフ
レーム内のすでに符号化復号化された隣接ブロックのサンプル(参照サンプルとも呼ばれ
る)からの画素を使用して現在のビデオブロックを予測する。
【0026】
時間的予測(「インター予測」とも呼ばれる)は、すでに符号化復号化されたビデオ画像
からの再構成の画素を使用して現在のビデオブロックを予測する。時間的予測は、ビデオ
信号に固有の時間的冗長性を低減する。ある符号化復号化ユニット(CU:coding unit
)又は符号化復号化ブロックのための時間的予測信号は、通常、現在のCUとその時間的
参照との間の動きの量及び方向を示す1つまたは複数の動きベクトル(MV:motion vec
tor)によって通知される。さらに、複数の参照画像が支持されている場合、時間的予測
信号が参照画像記憶部内のどの参照画像からのものであるかを識別するための1つの参照
画像インデックは、追加的に送信される。
【0027】
空間的および/または時間的予測が実行された後、エンコーダ100におけるイントラ/
インターモード決定回路121は、例えば、レート歪み最適化方法に基づいて、最適な予
測モードを選択する。次に、ブロック予測子120が現在のビデオブロックから差し引か
れ、得られた予測残差が、変換回路102及び定量化回路104によって非相関化される
。得られた定量化の残差係数は、逆定量化回路116によって逆定量化され、逆変換回路
118によって逆変換されて再構成の残差を生成し、この再構成の残差は、次に、予測ブ
ロックに追加されてこのCUの再構成された信号を生成する。さらに、この再構成された
CUは、画像バッファ117の参照画像記憶部に入れられて将来のビデオブロックの符号
化復号化に用いられる前、非ブロック化フィルタ、サンプル適応型オフセット(SAO:
sample adaptive offset)、および/または適応型インループフィルタ(ALF:adapti
ve in-loop filter)のようなインループフィルタ115は、この再構成されたCUに用
いられることが可能である。出力ビデオビットストリーム114を生成するために、符号
化復号化モード(インターまたはイントラ)、予測モード情報、動き情報、および定量化
された残差係数がすべてエントロピー符号化復号化部106に送信され、さらに圧縮およ
びパックされてビットストリームが生成される。
【0028】
たとえば、AVC、HEVC、およびVVCの現在のバージョンでは、非ブロック化フィ
ルタが提供されている。HEVCでは、符号化の効率をさらに向上させるために、SAO
(サンプル適応型オフセット)と呼ばれる追加的インループフィルターが定義されている
。VVC標準の現在のバージョンでは、更なる別のALF(適応型ループフィルタ)と呼
ばれるインループフィルターが積極的に研究されており、最終の標準に含まれている高い
可能性がある。
【0029】
これらのインループフィルター操作は選択可能である。これらの操作を実行することで、
符号化復号化効率及び視覚的な品質の向上に貢献する。これらの操作は、計算の複雑さを
節約するためにエンコーダ100による決定に従ってオフにされることが可能である。
【0030】
なお、これらのフィルタオプションがエンコーダ100によってオンにされる場合、イン
トラ予測は通常、フィルタリングされていない再構成の画素に基づくものであるが、イン
ター予測はフィルタリングされた再構成の画素に基づくものである。
【0031】
図3は、多くのビデオ符号化復号化標準と組み合わせて使用されることが可能である例示
的なブロックに基づくビデオデコーダ200を示すブロック図である。このデコーダ20
0は、
図1のエンコーダ100に存在する再構成関連部分に類似している。デコーダ20
0では、入力ビデオビットストリーム201は、まずエントロピー復号化202を介して
復号化されて、定量化された係数レベルおよび予測関連情報が導出される。次に、定量化
された係数レベルは、逆定量化204および逆変換206によって処理されて、再構成さ
れた予測残差が取得られる。イントラ/インターモード選択部212に実現されているブ
ロック予測子メカニズムは、復号化された予測情報に基づいて、イントラ予測208また
は動き補償210を実行するように構成される。逆変換206からの再構成の予測残差と
、ブロック予測子メカニズムによって生成された予測出力とを加算部214によって加算
することで、フィルタリングされていない再構成の画素のセットを取得する。
【0032】
再構成されたブロックは、参照画像記憶部として機能する画像バッファ213に格納され
る前に、インループフィルタ209をさらに通過することが可能である。画像バッファ2
13における再構成されたビデオは、表示装置を駆動するように送出されたり、将来のビ
デオブロックを予測するために用いられたりすることが可能である。インループフィルタ
209がオンとする場合では、これらの再構成された画素に対してフィルタリング操作を
実行して、最終的な再構成されたビデオ出力222を導出する。
【0033】
一般に、VVCに適用される基本的なイントラ予測スキームは、たとえば、イントラサブ
区画(ISP)符号化復号化モード、広角イントラ方向で拡張されたイントラ予測、位置
依存イントラ予測組み合わせ(PDPC)および4タップイントラ補間などの、いくつか
のモジュールがさらに拡張および/または改善されることを除いて、HEVCのスキーム
と同じに保たれる。
VVCでの画像、タイル・グループ、タイルおよびCTUの区画
【0034】
VVCでは、タイルが、画像における特定のタイル列および特定のタイル行内のCTUの
長方形の領域として定義される。タイル・グループは、単一のNALユニットに排他的に
含まれる画像における整数個のタイルのグループである。基本的には、タイル・グループ
の概念がHEVCで定義されているスライスと同じである。たとえば、画像はタイル・グ
ループ及びタイルに分割される。
【0035】
タイルは、画像における長方形領域を含む一連のCTUである。タイル・グループには、
画像の複数のタイルが含まれる。タイル・グループの2つのモード、即ちラスター走査・
タイル・グループモード及び長方形のタイル・グループモードは、サポートされている。
ラスター走査・タイル・グループモードでは、タイルグループには、画像のタイル・ラス
ター走査における一連のタイルが含まれる。長方形のタイル・グループモードでは、画像
の長方形の領域を集合的に形成する画像の複数のタイルが含まれる。長方形のタイル・グ
ループ内のタイルは、タイル・グループのタイルラスター走査の順序になっている。
【0036】
図4は、画像が12つのタイル及び3つのラスター走査・タイル・グループに分割される
画像のラスター走査・タイル・グループ区画の例を示す。
【0037】
図5は、画像が24つのタイル(6つのタイル列及び4つのタイル行)及び9つの長方形
のタイル・グループに分割される画像の長方形のタイル・グループ区画の例を示す。
VVCでの高周波ゼロ化による大きなブロックサイズの変換
【0038】
VTM4では、主に、1080p及び4Kシーケンスなどの高解像度ビデオのための、最
大64×64のサイズの大きなブロックサイズの変換が可能である。64のサイズ(幅ま
たは高さ、または幅及び高さの両方)の変換ブロックについては、高周波数の変換係数が
ゼロ化されるため、低周波数の係数のみが保持される。たとえば、ブロック幅がMでブロ
ック高さがNであるM×Nの変換ブロックについては、Mが64に等しい場合、変換係数
の左部32列のみが保持される。同様に、Nが64に等しい場合、変換係数の上部32行
のみが保持される。大きなブロックに変換スキップモードを使用すると、いずれかの値を
ゼロにすることなくブロック全体が使用される。
VVCでの仮想なパイプラインデータユニット(VPDU)
【0039】
仮想なパイプラインデータユニット(VPDU)は、画像内における重なりないユニット
として定義される。ハードウェアによるデコーダーでは、連続するVPDUが複数のパイ
プライン段階で同時に処理される。VPDUサイズは、ほとんどのパイプライン段階にお
けるバッファサイズにほぼ比例するため、VPDUサイズを小さく保つことが重要である
。ほとんどのハードウェアによるデコーダーでは、VPDUサイズを最大変換ブロック(
TB)サイズに設定できる。ただし、VVCでは、3分木(TT)および2分木(BT)
区画により、VPDUサイズが大きくなる可能性がある。
【0040】
VPDUサイズを64×64輝度サンプルとして保持するために、以下の規範的な区画制
限(構文通知の変更を伴う)が、
図6A-6Hに示すようにVTM5に適用される。便宜
上、上方の例について、
図6A-6Dの例に左から右へラベルを付け、下方の例について
、
図6E-6Hの例に左から右へラベルを付ける。
-幅または高さのいずれか、または幅及び高さの両方が128に等しいCUについて
は、TT分割が許可されない(
図6A、6B、6E、6F、6Gおよび6H)。
-128×N(N≦128、つまり、幅が128に等しく、高さが128以下)のC
Uについては、水平BTが許可されない(
図6D)。
-N(N≦128、つまり、高さが128に等しく、幅が128以下)×128のC
Uについては、垂直BTが許可されない(
図6C)。
VVCでの変換係数符号化
【0041】
変換係数符号化復号化は、TUの変換係数定量化レベル値の符号化復号化プロセスを意味
する。HEVCでは、符号化復号化ブロックの変換係数は、重なりない係数グループ(ま
たはサブブロック)によって符号化復号化され、各CGには符号化復号化ブロックの4×
4ブロックの係数が含まれる。符号化復号化ブロック内のCGおよびCG内の変換係数は
、所定の走査順序で符号化復号化される。少なくとも1つの非ゼロ変換係数を有するCG
の変換係数レベルの符号化復号化は、複数の走査パスに分離されることが可能である。第
1のパスでは、1番目のビン(bin0で示され、係数の大きさが0より大きいことを示
すimportant_coeff_flagとも呼ばれる)が符号化復号化される。次に、2番目/3番目の
ビン(それぞれbin1及びbin2で示され、coeff_abs_greater1_flagおよびcoeff_a
bs_greater2_flagとも呼ばれる)をコンテキスト符号化復号化するための2つの走査パス
を適用できる。最後に、必要に応じて、符号情報及び係数レベルの残りの値(coeff_abs_
level_remainingとも呼ばれる)を符号化復号化するための更なる2つの走査パスは、呼
び出される。なお、最初の3つの走査パスにおけるビンのみは、通常モードで符号化復号
化されており、以下の説明で通常のビンと呼ばれる。
【0042】
VVC3では、サブブロックごとに、通常の符号化復号化されたビン及びバイパス符号化
復号化されたビンが符号化復号化順で分離される。まず、サブブロックのすべての通常の
符号化復号化されたビンが送信され、その後、バイパス符号化復号化されたビンが送信さ
れる。サブブロックの変換係数レベルは、次のように走査位置で4つのパスにおいて符号
化復号化される。
-パス1:重要度(sig_flag)、1より大きいフラグ(gt1_flag)、パリティ(par_
level_flag)および2より大きいフラグ(gt2_flag)の符号化復号化が符号化復号化順で
処理される。sig_flagが1に等しい場合、まずgt1_flagが符号化復号化される(絶対レベ
ルが1より大きいかどうかを指示する)。gt1_flagが1に等しい場合、par_flagが追加で
符号化復号化される(絶対レベルから2を引いたパリティを指定する)。
-パス2:残りの絶対レベル(剰余)の符号化は、gt2_flagが1またはgt1_flagが1
のすべての走査位置で処理される。非二値構文要素はGolomb-Riceコードで二値化され、
結果のビンは算術符号化復号化エンジンのバイパスモードで符号化復号化される。
-パス3:第1のパスでsig_flagが符号化復号化されていない係数の絶対レベル(ab
sLevel)(通常の符号化されたビンの制限に達したため)は、Golomb-Riceコードを使用
して算術符号化復号化エンジンのバイパスモードで完全に符号化復号化される。
-パス4:sig_coeff_flagが1に等しいすべての走査位置に対する符号(sign_flag
)の符号化復号化
【0043】
4×4サブブロックについては、32個以下の通常符号化復号化されたビン(sig_flag、
par_flag、gt1_flag、およびgt2_flag)が符号化または復号化されることが保証されてい
る。2×2彩度サブブロックについては、通常符号化復号化されたビンの数が8に制限さ
れる。
【0044】
非二値構文要素の剰余(パス3)を符号化復号化するためのRiceパラメーター(ricePar
)は、HEVCと同様に導出される。各サブブロックの開始時には、riceParが0に設定
される。構文要素の剰余を符号化復号化した後、Riceパラメーターは所定の式に従って変
更される。非二値構文要素absLevel(パス4)を符号化復号化するために、ローカルテン
プレートの絶対値の合計sumAbsが決定される。変数ricePar及びposZeroは、テーブルルッ
クアップによる依存的な定量化及びsumAbsに基づいて決定される。中間変数codeValueは
、次のように導出される。
-absLevel [k]が0に等しい場合、codeValueはposZeroに等しく設定される。
-それ以外の場合、absLevel [k]がposZero以下の場合、codeValueはabsLevel [k] -
1に等しく設定される。
-それ以外(absLevel [k]がposZeroより大きい)の場合、codeValueはabsLevel [k]
に等しく設定される。codeValueの値は、RiceパラメーターriceParによってGolomb-Rice
コードを使用して符号化復号化される。
【0045】
本開示の以降の説明では、変換係数符号化復号化が、残差符号化復号化とも呼ばれる。
VVCでのデコーダー側動きベクトル微細化(DMVR)
【0046】
デコーダー側動きベクトル微細化(DMVR)は、双予測マージモードで符号化復号化さ
れたブロックのための技術であって、SPS信号による通知sps_dmvr_enabled_flagフラ
グによって制御されるものである。このモードでは、ブロックの2つの動きベクトル(M
V)が、双マッチング(BM:bilateral matching)予測によってさらに微細化されるこ
とができる。
【0047】
図3Aは、デコーダ側動きベクトル微細化(DMVR)の例を示す概略図である。
図3A
に示されるように、バイラテラルマッチング方法は、現在の画像320における現在のC
U322の2つの関連する参照画像、即ちList L0 300におけるrefPicおよび
List L1 310におけるrefPicにおいて現在のCUの動きの軌跡に沿って、その
2つの参照ブロック302、312の間の最も近いマッチを検索することで、現在のCU
322の動き情報を微細化するために使用される。パターン長方形ブロック322、30
2および312は、マージモードからの初期動き情報に基づく現在のCU及びその2つの
参照ブロックを示している。パターン長方形ブロック304、314は、動き微細化検索
プロセス、すなわち動きベクトル微細化プロセスで使用されるMV候補に基づく1対の参
照ブロックを示している。
【0048】
MV候補と初期MV(元MVとも呼ばれる)の間のMV差は、それぞれMVdiff及び-MVdif
fである。MV候補と初期は両方とも双方向の動きベクトルである。DMVRの過程中に
、初期MVの周りのそのようなMV候補の数がチェックされることが可能である。具体的
には、所定のMV候補のそれぞれについて、List0およびList1におけるその参
照画像からその2つの関連する参照ブロックをそれぞれ位置決め、それらの間の差が算出
する。このようなブロック差は、通常、SAD(または絶対差の合計)または行サブサン
プリングされたSAD(つまり、関連するブロックの1行おきに算出されたSAD)で計
測される。最後に、2つの参照ブロック間でSADが最も低いMV候補が微細化されたM
Vになり、現在のCUの実際の予測として双予測された信号を生成するために使用される
。
【0049】
VVCでは、DMVRが次の条件を満たすCUに適用される。
・ 双予測MVによるCUレベルマージモード(サブブロックマージモードではな
い)で符号化復号化された。
・ 現在の画像に関して、CUの一方の参照画像が過去の(即ち、POCが現在の
画像POCよりも小さい)ものであり、他方の参照画像が将来の(即ち、POCが現在の
画像POCよりも大きい)ものである。
・ 両方の参照画像から現在の画像までのPOC距離(即ち、絶対のPOC差)は
同じである。
・ CUは64つの輝度サンプルを超えるサイズであり、CUの高さは8つの輝度
サンプルを超える。
【0050】
DMVRプロセスによって導出された微細化MVは、インター予測サンプルを生成するた
めに使用され、将来の画像符号化復号化のための時間的動きベクトル予測にも使用される
。元MVは、非ブロック化プロセス及び、将来のCU符号化復号化のための空間動きベク
トル予測にも使用される。DMVRのいくつかの追加特徴は、次の子節に示されている。
VVCでの双方向オプティカルフロー(BDOF:Bi-directional Optical Flow)
【0051】
双方向オプティカルフロー(BDOF)ツールはVTM5に含まれている。以前はBIO
と呼ばれていたBDOFがJEMに含まれている。JEMバージョンと比較して、VTM
5におけるBDOFは、特に乗算の数及び乗算器のサイズの点で、はるかに少ない演算が
必要とする簡単なバージョンである。BDOFは、SPS sps_bdof_enabled_flagフラ
グによって制御されている。
【0052】
BDOFは、CUの双予測信号を4×4サブブロックレベルで微細化するためのものであ
る。BDOFは、次の条件を満たす場合にCUに適用される。1)CUの高さが4ではな
く、CUが4×8ののサイズではない;2)CUがアフィンモードまたはATMVPマー
ジモードで符号化復号化されていない;3)CUは、「真」双予測モードで符号化復号化
され、つまり、2つの参照画像の一方が、表示順序で現在の画像の前にあり、他方が、表
示順序で現在の画像の後にある。BDOFは輝度コンポーネントにのみ適用される。
【0053】
BDOFモードは、その名前が示すように、対象の動きがスムーズであることを前提とす
るオプティカルフローの概念に基づくものである。BDOFは、現在のブロックの勾配を
算出して予測サンプルを調整して、符号化の効率を向上させる。
VVCでのDMVRおよびBDOFのためのデコーダー側制御
【0054】
現在のVVCでは、通常のマージ候補について、SPSフラグが有効で、いくつかの双予
測及びサイズの制約が満たされている場合、BDOF/DMVRが常に適用される。
【0055】
DMVRは、次のすべての条件が成立した場合に、通常のマージモードに適用される。
- sps_dmvr_enabled_flagが1に等しい
- general_merge_flag [xCb] [yCb]が1に等しい
- predFlagL0 [0] [0]及びpredFlagL1 [0] [0]の両方が1に等しい
- mmvd_merge_flag [xCb] [yCb]が0に等しい
-DiffPicOrderCnt(currPic, RefPicList [0] [refIdxL0])が、DiffPicOrderCnt(RefP
icList [1] [refIdxL1], currPic)に等しい
- BcwIdx [xCb] [yCb]が0に等しい
- luma_weight_l0_flag [refIdxL0]及びluma_weight_l1_flag [refIdxL1]の両方が0に
等しい
- cbWidthが8以上である
- cbHeightが8以上である
- cbHeight * cbWidthが128以上である
【0056】
BDOFは、次のすべての条件が成立した場合に、双予測に適用される。
- sps_bdof_enabled_flagが1に等しい。
- predFlagL0 [xSbIdx] [ySbIdx]及びpredFlagL1 [xSbIdx] [ySbIdx] の両方が1に等し
い。
- DiffPicOrderCnt(currPic, RefPicList [0] [refIdxL0])* DiffPicOrderCnt(currP
ic, RefPicList [1] [refIdxL1])が0未満である。
- MotionModelIdc [xCb] [yCb]が0に等しい。
- merge_subblock_flag [xCb] [yCb]が0に等しい。
- sym_mvd_flag [xCb] [yCb]が0に等しい。
- BcwIdx [xCb] [yCb]が0に等しい。
- luma_weight_l0_flag [refIdxL0]及びluma_weight_l1_flag [refIdxL1]の両方が0で
ある。
- cbHeightが8以上である。
- cIdxが0に等しい。
VVCでの変換スキップモードCUのための残差符号化復号化
【0057】
VTM5では、最大32×32(これを含む)のサイズの輝度ブロックに変換スキップモ
ードを使用できる。CUが変換スキップモードで符号化復号化される場合、その予測残差
は、変換スキップ残差符号化復号化プロセスによって量子化および符号化復号化される。
この残差符号化復号化プロセスは、前の部分で説明した変換係数符号化復号化プロセスか
ら変更されたものである。変換スキップモードでは、CUの残差も4×4のサイズの重な
っていないサブブロックを単位として符号化復号化される。変換スキップモードでは、通
常の変換係数符号化復号化プロセスと異なり、最後の係数位置が信号により通知される代
わりに、coded_subblock_flagが、CU内のすべての4×4サブブロックについて、順方
向走査の順序で、即ち左上方のサブブロックから最後のサブブロックまで信号により通知
される。
【0058】
各サブブロックについて、coded_subblock_flagが1に等しい(即ち、サブブロックにゼ
ロ以外の定量化された残差が少なくとも1つある)場合、定量化された残差レベルの符号
化復号化は3つの走査パスで実行される:
-最初の走査パス:重要度フラグ(sig_coeff_flag)、符号フラグ(coeff_sign_fla
g)、1より大きい絶対レベルフラグ(abs_level_gtx_flag [0])、およびパリティ(par_
level_flag)は符号化復号化される。ある走査位置については、coeff_sig_flagが1に等
しい場合、coeff_sign_flagが符号化復号化され、その後にabs_level_gtx_flag [0](絶
対レベルが1より大きいかどうかを指定する)が符号化復号化される。abs_level_gtx_fl
ag [0]が1に等しい場合には、par_level_flagが、絶対レベルのパリティを指定するよう
に追加的に符号化復号化される。
- xより大きい走査パス:絶対レベルが1より大きい走査位置ごとについては、あ
る位置における絶対レベルが3、5、7又は9より大きいかどうかを指定するように4つ
までのabs_level_gtx_flag [i](i = 1 ... 4)が符号化復号化される。
-残りの走査パス:abs_level_gtx_flag [4]が1に等しい(つまり、絶対レベルが9
より大きい)すべての走査位置については、絶対レベルの残りが符号化復号化される。残
りの絶対レベルは、削減されたライスパラメータ導出テンプレートにより二値化される。
【0059】
走査パス#1および#2(最初の走査パスおよびxより大きい走査パス)におけるビンは
、CU内のコンテキスト符号化復号化されるビンの最大数に達するまでコンテキスト符号
化復号化される。残差ブロック内のコンテキスト符号化復号化されたビンの最大数は、2*
block_width*block_height、または同等に、サンプル位置ごとに平均2つのコンテキスト
符号化されるビンに制限される。最後の走査パス(残りの走査パス)におけるビンはバイ
パス符号化復号化される。
HEVCでの可逆符号化
【0060】
HEVCでの可逆符号化復号化モードは、変換、定量化、およびインループフィルター(
非ブロックフィルター、サンプル適応オフセット、および適応ループフィルター)を単に
バイパスすることで実現される。この設計は、主流のアプリケーションのための通常のH
EVCエンコーダーおよびデコーダーの実現に必要な最小限の変更で可逆符号化復号化を
可能にすることを目的とする。
【0061】
HEVCでは、可逆符号化復号化モードを各CUレベルでオンまたはオフにすることがで
きる。これは、CUレベルで信号によって通知される構文cu_transquant_bypass_flagを
介して行われる。可逆符号化復号化モードが不要な信号による通知オーバーヘッドを削減
するために、cu_transquant_bypass_flag構文が常に信号によって通知されることではな
い。これは、transquant_bypass_enabled_flagという別の構文が1の値を有する場合にの
み信号によって通知される。言い換えると、構文transquant_bypass_enabled_flagは、cu
_transquant_bypass_flagの構文の信号による通知をオンにするためのものである。
【0062】
HEVCでは、構文transquant_bypass_enabled_flagが画像パラメータセット(PPS)
で通知されて、このPPSを参照する画像内のそれぞれのCUについて構文cu_transquan
t_bypass_flagを通知する必要があるかどうかを指示する。このフラグが1に設定されて
いる場合には、構文cu_transquant_bypass_flagがCUレベルで送信されて、現在のCU
が可逆モードで符号化復号化されるかどうかが通知される。このフラグがPPSで0に設
定されている場合には、cu_transquant_bypass_flagが送信されず、画像内のすべてのC
Uが、プロセスに含まれる変換、定量化、およびループフィルターで符号化復号化され、
その結果、通常、一定レベルのビデオ品質の劣化が発生しまう。画像全体を可逆で符号化
復号化するために、画像内のそれぞれのCUについて、PPSにおけるフラグtransquant
_bypass_enabled_flagを1に設定し、CUレベルのフラグcu_transquant_bypass_flagを1
に設定する必要がある。HEVCにおける可逆モードに関連する詳細な構文の信号による
通知は、以下のように示す。
- 1に等しいtransquant_bypass_enabled_flagは、cu_transquant_bypass_flagが存在す
ることを指定する。0に等しいtransquant_bypass_enabled_flagは、cu_transquant_bypa
ss_flagが存在しないことを指定する。
- 1に等しいcu_transquant_bypass_flagは、8.6節で指定されたスケールおよび変換
プロセス及び8.7節で指定されたインループフィルタープロセスがバイパスされること
を指定する。cu_transquant_bypass_flagが存在しない場合、0に等しいと推測される。
【表1】
【0063】
VVCでは、最大CUサイズが64×64であり、VPDUも64×64に設定されてい
る。32より大きい幅/高さに対する係数ゼロ化メカニズムのため、VVCでの係数符号
化復号化のための最大ブロックサイズが32×32である。この制約の下では、現在の変
換スキップは、残差符号化復号化のための最大ブロックサイズが係数符号化復号化のため
の32×32である最大ブロックサイズに合わせるように、32×32までのCUのみを
サポートする。ただし、VVCでは、可逆CUの残差符号化復号化のブロックサイズの制
約が定義されていない。その結果、現在VVCでは、可逆符号化復号化モードで32×3
2よりも大きいサイズの残差ブロックを生成することが可能であり、これは32×32よ
りも大きいブロックのための残差符号化復号化に対するサポートが必要である。これは、
コーデックに対して好ましくない。本開示では、この課題を解決するために、いくつかの
方法が提案されている。
【0064】
VVCでの可逆符号化復号化のサポートに関連する別の問題は、残差(または係数と呼ば
れる)符号化復号化スキームをどのように選択するかである。現在のVVCでは、2つの
異なる残差符号化復号化スキームが利用可能である。あるブロック(またはCU)につい
て、残差符号化復号化スキームの選択は、このあるブロック(またはCU)の変換スキッ
プフラグに基づくものである。したがって、VVCでは、HEVCのように、可逆モード
で変換スキップフラグが1であると想定されると、変換スキップモードで使用される残差
符号化復号化スキームが常に可逆モードCUに使用される。ただし、変換スキップフラグ
がtrueである場合に使用される現在の残差符号化復号化スキームは、主に画面コンテンツ
の符号化復号化用に設計されている。通常のコンテンツ(つまり、画面以外のコンテンツ
)の可逆符号化復号化に使用するのは最適ではない場合がある。本開示では、可逆CUの
ための残差符号化復号化を選択するためのいくつかの方法が提案される。
【0065】
現在のVVCでは、2つのデコーダー側ツール、即ちBDOF及びDMVRが、現在のブ
ロックをフィルタリングすることによって復号化された画素を微細化して、符号化復号化
パフォーマンスを向上させる。ただし、可逆符号化復号化では、予測画素がすでに完全に
予測されたため、BDOF及びDMVRが符号化復号化ゲインに寄与しない。したがって
、デコーダー側のBDOF及びDMVRはVVCにメリットがないため、これらのツール
は可逆符号化復号化に適用されべきではない。ただし、現在のVVCでは、通常のあるマ
ージ候補についてSPSフラグが有効でいくつかの双予測及びサイズ制約が満たされてい
る場合、BDOF及びDMVRが常に適用される。したがって、可逆VVC符号化復号化
について、DMVR及びBDOFをより低いレベル、即ちスライスレベル及びCUレベル
で制御すると、VVC可逆符号化復号化のパフォーマンス効率にメリットがある。
可逆CUの残差ブロック区画
【0066】
本開示の一例によれば、可逆CUの最大残差符号化復号化ブロックサイズを、変換スキッ
プモードによってサポートされている最大ブロックサイズに合わせることが提案される。
一例では、変換スキップモードは、幅及び高さが両方とも32以下の残差ブロックについ
てのみ有効になることができ、これは、変換スキップモードでの最大残差符号化復号化ブ
ロックサイズが32×32であることを意味する。この例によると、可逆CUのための残
差ブロックの最大幅および/または高さも32に設定され、最大残差ブロックサイズが3
2×32に設定される。可逆CUの幅/高さが32よりも大きい場合には、常に、CU残
差ブロックが32×Nおよび/または32×Nのサイズの複数のより小さい残差ブロック
に分割されてより小さい方の残差ブロックの幅または高さが32以下である。たとえば、
128×32可逆CUは、残差符号化復号化のために4つの32×32残差ブロックに分
割される。別の例では、64×64可逆CUが4つの32×32残差ブロックに分割され
る。
【0067】
本開示の別の例によれば、可逆CUの残差符号化復号化のための最大ブロックサイズをV
PDUのサイズに合わせることが提案される。一例では、可逆CUの最大残差ブロックの
幅/高さがVPDUサイズ(例えば、現在のVVCでの64×64)に設定される。可逆
CUの幅/高さが64より大きい場合は常に、CUの残差ブロックが64×Nおよび/ま
たはN×64のサイズの複数のより小さい残差ブロックに分割されて、これらのより小さ
い残差ブロックの幅又は高さがVPDUの幅及び/又は高さ以下である。たとえば、12
8×128の可逆CUは、残差符号化復号化のために4つの64×64の残差ブロックに
分割される。別の例では、128×32の可逆CUは2つの64×32残差ブロックに分
割される。
可逆モードCUのための残差符号化復号化スキームの選択
【0068】
現在のVVCでは、CUが変換スキップモードで符号化復号化しているかどうかに応じて
、異なる残差符号化復号化スキームがこのCUによって使用される。変換スキップモード
で使用される現在の残差符号化復号化は、一般に画面コンテンツの符号化により適してい
る。
【0069】
本開示の一例によれば、可逆CUは、変換スキップモードCUによって使用される残差符
号化復号化スキームと同じものを使用する。
【0070】
本開示の別の例によれば、可逆CUは、非変換スキップモードCUによって使用される残
差符号化復号化スキームと同じものを使用する。
【0071】
本開示の別の例によれば、可逆CUのための残差符号化復号化スキームは、一定の条件お
よび/または予め定めた手順に基づいて、既存の残差符号化復号化スキームから適応的に
選択される。このような条件および/または予め定めた手順の後、ビットストリームで選
択を指示するための信号による通知の必要がないようにエンコーダ及びデコーダが続く。
一例では、エンコーダ及びデコーダの両方では、簡単な画面コンテンツ検出スキームが指
定されて利用されることが可能である。この検出スキームに基づいて、現在のビデオブロ
ックが画面コンテンツまたは通常コンテンツに分類されることができる。画面コンテンツ
の場合には、変換スキップモードで使用される残差符号化復号化スキームが選択される。
それ以外の場合には、他の残差符号化復号化スキームが選択される。
【0072】
本開示の別の例によれば、構文は、どの残差符号化復号化スキームが可逆CUによって使
用されることを明示的に指定するようにビットストリームで信号によりシグナリングされ
る。そのような構文は、二値フラグであって、各バイナリ値は、2つの残差符号化復号化
スキームのうちの1つの選択を指示する。構文は、異なるレベルで信号により送られるこ
とができる。たとえば、これは、シーケンスパラメータセット(SPS)、画像パラメー
タセット(PPS)、スライスヘッダー、タイルグループヘッダー、またはタイルで信号
により送られてもよい。また、CTUまたはCUレベルで信号により通知されってもよい
。このような構文が信号により通知されると、同じレベルまたは下位レベルのすべての可
逆CUは、この構文で指示される同じ残差符号化復号化スキームを使用する。たとえば、
構文がSPSレベルで信号により通知される場合、シーケンスにおけるすべての可逆CU
は、指示されている残差符号化復号化スキームを使用する。構文がPPSレベルで通知さ
れる場合、画像内のすべての可逆CUは、関連するPPSに指示されている残差符号化復
号化スキームを使用する。CUが可逆モードで符号化復号化されるかどうかを指示するC
Uレベルの構文、例えばcu_transquant_bypass_flagなどがあると、残差符号化復号化ス
キームを指示する構文は、このCUの可逆モードフラグに基づいて条件付きで信号により
通知される。たとえば、可逆モードフラグcu_transquant_bypass_flagは現在のCUが可
逆モードで符号化復号化されることを指示する場合のみ、残差符号化復号化スキームを指
示する構文がこのCUのために信号により通知される。構文がスライスヘッダーレベルの
フラグによって信号により通知されると、このスライス内における、可逆モードで符号化
復号化されたすべてのCUは、信号により通知されたフラグに基づいて認識された残差符
号化復号化スキームを使用する。複数のCUのうちのそれぞれのための残差符号化復号化
スキームは、信号により通知された最初のフラグに基づいて選択され、ここで、スライス
ヘッダーにおける通知されたフラグによって、可逆CUについて選択された残差符号化復
号化スキームは、変換スキップモードCU又は非変換スキップモードCUにより使用され
る残差符号化復号化スキームである。
【0073】
本開示の一例によれば、可逆モードで符号化復号化されたCUについても、変換スキップ
モードフラグが信号により通知される。この場合、可逆モードで符号化復号化されるCU
であるかどうかに関係なく、CUについての残差符号化復号化スキームの選択は、変換ス
キップモードフラグに基づくものである。
DMVRの無効化
【0074】
現在のVVCでは、DMVRのオン/オフ制御が可逆符号化復号化モードに関して定義さ
れていない。本開示の一例では、1ビットの信号による通知slice_disable_dmvr_flagフ
ラグによってスライスレベルでDMVRのターンオン/オフを制御することが提案されて
いる。一例では、sps_dmvr_enabled_flagフラグが1に設定され、かつtransquant_bypass
_enabled_flagフラグが0に設定されている場合、slice_disable_dmvr_flagフラグを信号
により通知する必要がある。slice_disable_dmvr_flagフラグが通知されていない場合、
1と推定される。slice_disable_dmvr_flagが1に等しい場合、DMVRがターンオフさ
れる。この場合、信号による通知は次のとおりである。
【表2】
【0075】
別の例では、cu_transquant_bypass_flagによりcuレベルでDMVRのターンオン/オ
フを制御することが提案される。一例では、DMVRに対するcuレベル制御が次のとお
りである。
DMVRは、次のすべての条件が成立している場合に、通常のマージモードに適用される
。
- sps_dmvr_enabled_flagが1に等しい;
- cu_transquant_bypass_flagが0に設定されている;
- general_merge_flag [xCb] [yCb]が1に等しい;
- predFlagL0 [0] [0]及びpredFlagL1 [0] [0]の両方が1に等しい;
- mmvd_merge_flag [xCb] [yCb]が0に等しい;
- DiffPicOrderCnt(currPic,RefPicList [0] [refIdxL0])が、DiffPicOrderCnt(Ref
PicList [1] [refIdxL1],currPic)と同じである;
- BcwIdx [xCb] [yCb]が0に等しい;
- luma_weight_l0_flag [refIdxL0]及びluma_weight_l1_flag [refIdxL1]の両方が0に
等しい;
- cbWidthが8以上である;
- cbHeightが8以上である;
- cbHeight * cbWidthが128以上である。
BDOFの無効化
【0076】
現在のVVCでは、BDOFのオン/オフ制御が可逆符号化復号化モードに関して定義さ
れていない。本開示の一例では、1ビットの信号による通知slice_disable_bdof_flagフ
ラグによってBDOFのターンオン/オフを制御することが提案されている。一例では、
sps_bdof_enabled_flagフラグが1に設定されているか、transquant_bypass_enabled_fla
gフラグが0に設定されている場合、slice_disable_bdof_flagフラグを信号により通知す
る必要がある。slice_disable_bdof_flagフラグが通知されていない場合、1と推定される
。slice_disable_bdof_flagフラグが1に等しい場合、BDOFはターンオフされる。こ
の場合、信号による通知は次のように示される。
【表3】
【0077】
本開示の別の例では、cu_transquant_bypass_flagによりcuレベルでBDOFのターン
オン/オフを制御することが提案される。一例では、BDOFに対するcuレベル制御が
次のとおりである。
BDOFは、次のすべての条件が成立している場合に、通常のマージモードに適用される
。
- sps_bdof_enabled_flagが1に等しい;
- cu_transquant_bypass_flagが0に設定されている;
- predFlagL0 [xSbIdx] [ySbIdx]及びpredFlagL1 [xSbIdx] [ySbIdx]の両方が1に等し
い;
- DiffPicOrderCnt(currPic,RefPicList [0] [refIdxL0])* DiffPicOrderCnt(currP
ic,RefPicList [1] [refIdxL1])が0未満である;
- MotionModelIdc [xCb] [yCb]が0に等しい;
- merge_subblock_flag [xCb] [yCb]が0に等しい;
- sym_mvd_flag [xCb] [yCb]が0に等しい;
- BcwIdx [xCb] [yCb]が0に等しい;
- luma_weight_l0_flag [refIdxL0]及びluma_weight_l1_flag [refIdxL1]の両方が0で
ある;
- cbHeightが8以上である;
- cIdxが0に等しい。
BDOF及びDMVRの無効化
【0078】
現在のVVCでは、通常のあるマージ候補について、いくつかの双予測及びサイズ制約の
条件が満たされている場合、符号化復号化の効率を改善するようにBDOF及びDMVR
の両方が常にデコーダー側の微細化に適用され、各SPSフラグによって制御される。本
開示の一例では、1ビットの信号による通知slice_disable_bdof_dmvr_flagスライスフラ
グによってBDOF及びDMVRの両方を無効にすることが提案されている。slice_disa
ble_bdof_dmvr_flagフラグが1に設定されている場合、BDOF及びDMVRの両方がタ
ーンオフされる。slice_disable_bdof_dmvr_flagフラグが通知されていない場合、1であ
ると推定される。一例では、次の条件が満たされている場合にslice_disable_bdof_dmvr_
flagが信号による通知される。
【表4】
【0079】
上記の方法は、特定用途向け集積回路(ASIC)、デジタル信号プロセッサ(DSP)
、デジタル信号処理装置(DSPD)、プログラマブル論理装置(PLD)、フィールド
プログラマブルゲートアレイ(FPGA)、コントローラー、マイクロコントローラー、
マイクロプロセッサー、またはその他の電子部品を含む1つまたは複数の回路を含む装置
によって実現してもよい。上記の方法を実現するために、これらの回路を他のハードウェ
アまたはソフトウェア部品と組み合わせて使用することができる。以上に開示された各モ
ジュール、サブモジュール、ユニット、またはサブユニットは、1つまたは複数の回路を
使用して少なくとも部分的に実現されてもよい。
【0080】
図7は、本開示のある実施形態に係る、ビデオ符号化復号化のための装置を示すブロック
図である。装置700は、携帯電話、タブレットコンピュータ、デジタル放送端末、タブ
レット装置、または携帯情報端末などの端末であってもよい。
【0081】
装置700は、
図7に示されるように、処理部702、メモリ704、電源部706、マ
ルチメディア部708、オーディオ部710、入力/出力(I/O)インターフェース7
12、センサ部714、および通信部716のうちの1つ又は複数を含んでもよい。
【0082】
処理部702は、通常に、表示、電話発呼、データ通信、カメラ操作、および記録操作に
関連する操作など、装置700の全体的な操作を制御する。処理部702は、上記の方法
のステップの全部または一部を実現するための命令を実行するための1つまたは複数のプ
ロセッサ720を含むことが可能である。さらに、処理部702は、処理部702と他の
部材との間のインタラクションに寄与する1つまたは複数のモジュールを含むことが可能
である。例えば、処理部702は、マルチメディア部708と処理部702との間のイン
タラクションに寄与するためのマルチメディアモジュールを含んでもよい。
【0083】
メモリ704は、装置700の動作をサポートするために異なるタイプのデータを格納す
るように構成される。そのようなデータの例には、装置700上で動作する任意のアプリ
ケーションまたは方法のための命令、連絡先データ、電話帳データ、メッセージ、画像、
ビデオなどが含まれる。メモリ704は、任意のタイプの揮発性または非揮発性の記憶装
置またはそれらの組み合わせによって実現され、静的ランダムアクセスメモリ(SRAM
:Static Random Access Memory)、電気的に消去可能なプログラマブルリードオンリー
メモリ(EEPROM:Electrically Erasable Programmable Read-Only Memory)、消
去型プログラマブルリードオンリメモリ(EPROM:Erasable Programmable Read-Onl
y Memory)、プログラマブルリードオンリメモリ(PROM:Programmable Read-Only M
emory)、リードオンリメモリ(ROM:Read-Only Memory)、磁気メモリ、フラッシュ
メモリ、磁気ディスク、またはコンパクトディスクであってもよい。
【0084】
電源部706は、装置700における異なる部材に電力を供給する。電源部706は、電
源管理システム、1つまたは複数の電源、および装置700に対して電力を生成、管理、
および分配することに関連する他の部材を含んでもよい。
【0085】
マルチメディア部708は、装置700とユーザとの間の出力インターフェースを提供す
るスクリーンを含む。ある例では、スクリーンには、液晶表示装置(LCD)およびタッ
チパネル(TP)を含んでもよい。スクリーンがタッチパネルを含む場合、スクリーンは
、ユーザからの入力信号を受信するタッチスクリーンとして実現してもよい。このタッチ
パネルは、このタッチパネル上のタッチ、スライド、およびジェスチャを感知するための
1つまたは複数のタッチセンサーを含んでもよい。タッチセンサーは、タッチまたはスラ
イド動作の境界を感知するだけでなく、タッチまたはスライド操作に関連する持続時間お
よび圧力も検出することが可能である。ある例では、マルチメディア部708は、フロン
トカメラおよび/またはリアカメラを含んでもよい。装置700が撮像モードまたはビデ
オモードなどの動作モードにあるとき、フロントカメラおよび/またはリアカメラは、外
部マルチメディアデータを受信することができる。
【0086】
オーディオ部710は、オーディオ信号を出力および/または入力するように構成される
。例えば、オーディオ部710は、マイクロフォン(MIC)を含む。マイクロフォンは
、装置700が通話モード、録音モード、および音声認識モードなどの動作モードにある
とき、外部オーディオ信号を受信するように構成される。受信されたオーディオ信号は、
メモリ704にさらに格納されてよく、または通信部716を介して送信されてもよい。
ある例では、オーディオ部710は、オーディオ信号を出力するためのスピーカーをさら
に含む。
【0087】
I/Oインターフェース712は、処理部702と周辺インターフェースモジュールとの
間のインターフェースを提供する。上述の周辺インターフェースモジュールは、キーボー
ド、クリックホイール、ボタンなどであってもよい。これらのボタンには、ホームボタン
、音量ボタン、スタートボタン、およびロックボタンが含まれるが、これらに限定されな
い。
【0088】
センサ部714は、異なる方面で装置700に対して状態評価を提供するための1つまた
は複数のセンサを含む。例えば、センサ部714は、装置700のオン/オフ状態および
構成要素の相対な位置を検出することが可能である。例えば、構成要素は、装置700の
ディスプレイおよびキーパッドである。センサ部714はまた、装置700または装置7
00の構成要素の位置変化、装置700上でのユーザの接触の有無、装置700の向きま
たは加速/減速、および装置700の温度変化を検出することが可能である。センサ部7
14は、物理的な接触なしに近くの物体の存在を検出するように構成される近接センサを
含んでもよい。センサ部714は、画像化アプリケーションで使用されるCMOSまたは
CCD画像センサなどの光学的センサをさらに含んでもよい。ある例では、センサー部7
14は、加速度センサー、ジャイロセンサー、磁気センサー、圧力センサー、または温度
センサーをさらに含んでもよい。
【0089】
通信部716は、装置700と他の装置との間の有線または無線通信に役立つように構成
される。装置700は、WiFi、4G、またはそれらの組み合わせなどの通信標準に基
づいて無線ネットワークにアクセスすることができる。一例では、通信部716は、報知
チャネルを介して外部報知管理システムから報知信号または報知関連情報を受信する。一
例では、通信部716は、短距離通信を促進するための近距離無線通信(NFC)モジュ
ールをさらに含んでもよい。例えば、NFCモジュールは、無線周波数識別(RFID)
技術、赤外線データ関連付け(IrDA)技術、超広帯域(UWB)技術、ブルートゥー
ス(BT)技術および他の技術に基づいて実現してもよい。
【0090】
一例では、装置700は、上記の方法を実行するために特定用途向け集積回路(ASIC
)、デジタル信号プロセッサ(DSP)、デジタル信号処理装置(DSPD)、プログラ
マブル論理装置(PLD)、フィールドプログラマブルゲートアレイ(FPGA)、コン
トローラー、マイクロコントローラー、マイクロプロセッサー、またはその他の電子要素
の1つまたは複数によって実現してもよい。
【0091】
非一時的なコンピュータ読取可能な記憶媒体は、例えば、ハードディスクドライブ(HD
D)、固体ドライブ(SSD)、フラッシュメモリ、ハイブリッドドライブや固体ハイブ
リッドドライブ(SSHD)、読み出し専用メモリ(ROM)、コンパクトディスク読み
出し専用メモリ(CD―ROM)、磁気テープ、フロッピーディスクなどである。
【0092】
図8は、本開示のある実施形態に係る、ビデオ符号化復号化における可逆符号化復号化モ
ードに関連する技術の例示的なプロセスを示すフローチャートである。
【0093】
ステップ801において、プロセッサ720は、ビデオ画像を、少なくとも1つが可逆符
号化復号化ユニット(CU)である複数のCUに区画する。
【0094】
ステップ802において、プロセッサ720は、可逆CUの残差符号化復号化ブロックサ
イズを決定する。
【0095】
ステップ803において、プロセッサ720は、この可逆CUの残差符号化復号化ブロッ
クサイズが予め定められた最大値よりも大きいという決定に応じ、この残差符号化復号化
ブロックを残差符号化復号化する2つ以上の残差ブロックに分割する。
【0096】
ある例では、ビデオ符号化復号化のための装置が提供されている。この装置は、プロセッ
サ720と、このプロセッサによって実行可能な命令を格納するように構成されたメモリ
704とを含む。ここで、プロセッサは、これらの命令の実行時に、
図8に示されるよう
な方法を実行するように構成される。
【0097】
他のある例では、命令が格納された、非一時的なコンピュータ読取可能な記憶媒体704
が提供されている。これらの命令は、プロセッサ720によって実行されると、このプロ
セッサに、
図8に示すような方法を実行させる。
【0098】
図9は、本開示のある実施形態に係る、ビデオ符号化復号化における可逆符号化復号化モ
ードに関連する技術の例示的なプロセスを示すフローチャートである。
【0099】
ステップ901において、プロセッサ720は、ビデオ画像を、少なくとも1つが可逆符
号化復号化ユニット(CU)である複数のCUに区画する。
【0100】
ステップ902において、プロセッサ720は、この可逆CUについて、非変換スキップ
モードCUによって使用される残差符号化復号化スキームと同じものを選択する。
【0101】
ある例では、ビデオ符号化復号化のための装置が提供されている。この装置は、プロセッ
サ720と、このプロセッサによって実行可能な命令を格納するように構成されたメモリ
704とを含む。ここで、プロセッサは、これらの命令の実行時に、
図9に示されるよう
な方法を実行するように構成される。
【0102】
他のある例では、命令が格納された、非一時的なコンピュータ読取可能な記憶媒体704
が提供されている。これらの命令は、プロセッサ720によって実行されると、このプロ
セッサに、
図9に示すような方法を実行させる。
【0103】
本開示の説明は、例示のために提示されており、網羅的なまたは本開示に限定されること
を意図するものではない。たくさんの変更、変形、および置換した実現は、前述の説明お
よび関連する図面に提示された教示を得った当業者にとっては明らかである。
【0104】
実施形態は、本開示の原理を説明し、当業者が本開示を理解して各種の実施をし、特定の
用途に適するために各種の変更で基礎となる原理および各種の実施を最もよく利用できる
ように選択されおよび説明されたものである。したがって、本開示の範囲は、開示された
実現の特定の例に限定されなく、変更および他の実現も、本開示の範囲に含まれることを
理解されるべきである。
【手続補正書】
【提出日】2024-03-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
現在のブロックが変換がスキップされた、可逆モード又は変換スキップモードである第1の符号化モードにあるかどうかを決定することと、
前記現在のブロックが前記第1の符号化モードにあると決定したことに応じて、非変換スキップブロックに対して予め定義された残差符号化復号化スキームである第1の残差符号化復号化スキーム又は変換スキップブロックに対して予め定義された残差符号化復号化スキームである第2の残差符号化復号化スキームが前記第1の符号化モードで前記現在のブロックに適用されるかを決定することと、
前記現在のブロックが前記第1の符号化モードにあるかどうかを指示する第1の指示および前記第1の残差符号化復号化スキーム又は前記第2の残差符号化復号化スキームが前記第1の符号化モードで前記現在のブロックに適用されるかどうかを指示する第2の指示をシグナリングすること、
を含むビデオ符号化のための方法。
【請求項2】
前記現在のブロックについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及びターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグをシグナリングすること、
を更に含む、請求項1に記載のビデオ符号化のための方法。
【請求項3】
前記現在のブロックについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及びターンオフをCUレベルで制御するための1ビットフラグをシグナリングすること、
を更に含む、請求項1に記載のビデオ符号化のための方法。
【請求項4】
前記現在のブロックについて、双方向オプティカルフロー(BDOF)のターンオン及びターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグをシグナリングすること、
を更に含む、請求項1に記載のビデオ符号化のための方法。
【請求項5】
前記現在のブロックについて、双方向オプティカルフロー(BDOF)のターンオン及びターンオフをCUレベルで制御するための1ビットフラグをシグナリングすること、
を更に含む、請求項1に記載のビデオ符号化のための方法。
【請求項6】
前記現在のブロックについて、デコーダ側の動きベクトル微細化(DMVR)及び双方向オプティカルフロー(BDOF)の両方のターンオン及びターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグをシグナリングすること、
を更に含む、請求項1に記載のビデオ符号化のための方法。
【請求項7】
1つまたは複数のプロセッサと、
前記1つまたは複数のプロセッサによって実行可能な命令を格納するように構成されるメモリと、
を備え、
前記1つまたは複数のプロセッサは、前記命令を実行すると、
現在のブロックが変換がスキップされた、可逆モード又は変換スキップモードである第1の符号化モードにあるかどうかを決定し、
前記現在のブロックが前記第1の符号化モードにあると決定したことに応じて、非変換スキップブロックに対して予め定義された残差符号化復号化スキームである第1の残差符号化復号化スキーム又は変換スキップブロックに対して予め定義された残差符号化復号化スキームである第2の残差符号化復号化スキームが前記第1の符号化モードで前記現在のブロックに適用されるかを決定し、
前記現在のブロックが前記第1の符号化モードにあるかどうかを指示する第1の指示および前記第1の残差符号化復号化スキーム又は前記第2の残差符号化復号化スキームが前記第1の符号化モードで前記現在のブロックに適用されるかどうかを指示する第2の指示をシグナリングする
ように構成される、ビデオ符号化のための装置。
【請求項8】
前記1つまたは複数のプロセッサは、前記命令を実行すると、更に
前記現在のブロックについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及びターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグをシグナリングする、
ように構成される、請求項7に記載のビデオ符号化のための装置。
【請求項9】
前記1つまたは複数のプロセッサは、更に
前記現在のブロックについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及びターンオフをCUレベルで制御するための1ビットフラグをシグナリングする、
ように構成される、請求項7に記載のビデオ符号化のための装置。
【請求項10】
前記1つまたは複数のプロセッサは、更に
前記現在のブロックについて、双方向オプティカルフロー(BDOF)のターンオン及びターンオフをスライスレベルまたは画像レベルで制御するための1ビットフラグをシグナリングする、
ように構成される、請求項7に記載のビデオ符号化のための装置。
【請求項11】
前記1つまたは複数のプロセッサは、更に
前記現在のブロックについて、双方向オプティカルフロー(BDOF)のターンオン及びターンオフをCUレベルで制御するための1ビットフラグをシグナリングする、
ように構成される、請求項7に記載のビデオ符号化のための装置。
【請求項12】
前記1つまたは複数のプロセッサは、前記命令を実行すると、更に
前記現在のブロックについて、デコーダ側の動きベクトル微細化(DMVR)のターンオン及びターンオフ及び双方向オプティカルフロー(BDOF)をスライスレベルまたは画像レベルで制御するための1ビットフラグをシグナリングする、
ように構成される、請求項7に記載のビデオ符号化のための装置。
【請求項13】
前記1つまたは複数のプロセッサによって実行されると、前記1つまたは複数のプロセッサに請求項1~6のいずれかに記載のビデオ符号化のための方法を実行させて、前記ビットストリームを生成する、
命令とビットストリームを記録したコンピュータ読み取り可能である非一時的なコンピュータ読取可能な記憶媒体。
【請求項14】
請求項1~6のいずれかに記載のビデオ符号化のための方法より生成されるビットストリームを記憶するための方法。
【請求項15】
請求項1~6のいずれかに記載のビデオ符号化のための方法より生成される符号化ビデオデータを含むビットストリームを記憶するための命令を格納している、コンピュータプログラム。
【外国語明細書】