(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-11-22
(54)【発明の名称】映像処理における量子化パラメータのシグナリング
(51)【国際特許分類】
H04N 19/126 20140101AFI20221115BHJP
H04N 19/157 20140101ALI20221115BHJP
H04N 19/176 20140101ALI20221115BHJP
H04N 19/186 20140101ALI20221115BHJP
H04N 19/70 20140101ALI20221115BHJP
H04N 19/96 20140101ALI20221115BHJP
【FI】
H04N19/126
H04N19/157
H04N19/176
H04N19/186
H04N19/70
H04N19/96
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022514463
(86)(22)【出願日】2020-08-21
(85)【翻訳文提出日】2022-04-27
(86)【国際出願番号】 US2020047411
(87)【国際公開番号】W WO2021055138
(87)【国際公開日】2021-03-25
(32)【優先日】2019-09-20
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】511050697
【氏名又は名称】アリババ グループ ホウルディング リミテッド
(74)【代理人】
【識別番号】100079108
【氏名又は名称】稲葉 良幸
(74)【代理人】
【識別番号】100109346
【氏名又は名称】大貫 敏史
(74)【代理人】
【識別番号】100117189
【氏名又は名称】江口 昭彦
(74)【代理人】
【識別番号】100134120
【氏名又は名称】内藤 和彦
(72)【発明者】
【氏名】チェン,ジエ
(72)【発明者】
【氏名】リャオ,ルーリン
(72)【発明者】
【氏名】ルオ,ジャンコン
(72)【発明者】
【氏名】イエ,ヤン
【テーマコード(参考)】
5C159
【Fターム(参考)】
5C159LC09
5C159PP16
5C159RC12
5C159TA53
5C159TB08
5C159TC10
5C159TC26
5C159TC31
5C159UA02
5C159UA05
(57)【要約】
本開示は、映像コンテンツを処理するための方法を提供する。1つの例示的方法は、コード化された映像データを含むビットストリームを受信すること、コード化ブロックの第1のパラメータを決定すること、デルタ量子化パラメータ(QP)値又はクロマQPオフセット値に関連する1つ又は複数の第2のパラメータを第1のパラメータに従って決定すること、及びデルタQP値又はクロマQPオフセット値の少なくとも1つを1つ又は複数の第2のパラメータに従って決定することを含む。
【特許請求の範囲】
【請求項1】
コンピュータによって実施される方法であって、
コード化された映像データを含むビットストリームを受信すること、
コード化ブロックの第1のパラメータを決定すること、
デルタ量子化パラメータ(QP)値又はクロマQPオフセット値に関連する1つ又は複数の第2のパラメータを前記第1のパラメータに従って決定すること、及び
前記デルタQP値又は前記クロマQPオフセット値の少なくとも1つを前記1つ又は複数の第2のパラメータに従って決定すること
を含む、方法。
【請求項2】
前記コード化ブロックの前記第1のパラメータを決定することは、
前記コード化ブロックがイントラ予測スライス又はインター予測スライスに関連するかどうかを判定すること、及び
前記コード化ブロックが前記イントラ予測スライスに関連することに応じて、前記第1のパラメータを前記イントラ予測スライスに関連するパラメータであるように決定すること、又は
前記コード化ブロックが前記インター予測スライスに関連することに応じて、前記第1のパラメータを前記インター予測スライスに関連するパラメータであるように決定すること
を含む、請求項1に記載の方法。
【請求項3】
前記第1のパラメータが、前記コード化ブロックに関連するスライスヘッダ又はピクチャヘッダの少なくとも1つの中でシグナリングされる、請求項1に記載の方法。
【請求項4】
前記コード化ブロックがイントラ予測スライスに関連し、前記方法が、
前記イントラ予測スライスに関連するコード化ツリー単位のルマコード化ツリーブロックのサイズに応じた前記第1のパラメータの最大値、前記コード化ツリー単位の4分木分割から生じるルマリーフブロック内のルマサンプルの最小サイズ、及び前記イントラ予測スライス内の4分木の葉のマルチタイプツリー分割から生じるコード化単位の最大階層深度を決定すること
を更に含む、請求項3に記載の方法。
【請求項5】
前記コード化ブロックがインター予測スライスに関連し、前記方法が、
前記インター予測スライスに関連するコード化ツリー単位のルマコード化ツリーブロックのサイズに応じた前記第1のパラメータの最大値、前記コード化ツリー単位の4分木分割から生じるルマリーフブロック内のルマサンプルの最小サイズ、及び前記インター予測スライス内の4分木の葉のマルチタイプツリー分割から生じるコード化単位の最大階層深度を決定すること
を更に含む、請求項3に記載の方法。
【請求項6】
前記デルタQP値に基づいてルマQP値を決定すること、
前記クロマQPオフセット値に基づいてクロマQP値を決定すること、及び
前記ルマQP値及び前記クロマQP値に基づいて前記コード化ブロックを処理すること
を更に含む、請求項1に記載の方法。
【請求項7】
映像コンテンツを処理するためのシステムであって、
1組の命令を記憶するメモリと、
少なくとも1つのプロセッサとを含み、前記少なくとも1つのプロセッサは、
コード化された映像データを含むビットストリームを受信すること、
コード化ブロックの第1のパラメータを決定すること、
デルタ量子化パラメータ(QP)値又はクロマQPオフセット値に関連する1つ又は複数の第2のパラメータを前記第1のパラメータに従って決定すること、及び
前記デルタQP値又は前記クロマQPオフセット値の少なくとも1つを前記1つ又は複数の第2のパラメータに従って決定すること
を前記システムに行わせるように、前記1組の命令を実行するように構成される、システム。
【請求項8】
前記コード化ブロックの前記第1のパラメータを決定する際、前記少なくとも1つのプロセッサが、
前記コード化ブロックがイントラ予測スライス又はインター予測スライスに関連するかどうかを判定すること、及び
前記コード化ブロックが前記イントラ予測スライスに関連することに応じて、前記第1のパラメータを前記イントラ予測スライスに関連するパラメータであるように決定すること、又は
前記コード化ブロックが前記インター予測スライスに関連することに応じて、前記第1のパラメータを前記インター予測スライスに関連するパラメータであるように決定すること
を前記システムに更に行わせるように、前記1組の命令を実行するように構成される、請求項7に記載のシステム。
【請求項9】
前記第1のパラメータが前記コード化ブロックに関連するスライスヘッダ又はピクチャヘッダの少なくとも1つの中でシグナリングされる、請求項7に記載のシステム。
【請求項10】
前記コード化ブロックがイントラ予測スライスに関連し、前記少なくとも1つのプロセッサが、
前記イントラ予測スライスに関連するコード化ツリー単位のルマコード化ツリーブロックのサイズに応じた前記第1のパラメータの最大値、前記コード化ツリー単位の4分木分割から生じるルマリーフブロック内のルマサンプルの最小サイズ、及び前記イントラ予測スライス内の4分木の葉のマルチタイプツリー分割から生じるコード化単位の最大階層深度を決定すること
を前記システムに更に行わせるように、前記1組の命令を実行するように構成される、請求項9に記載のシステム。
【請求項11】
前記コード化ブロックがインター予測スライスに関連し、前記少なくとも1つのプロセッサが、
前記インター予測スライスに関連するコード化ツリー単位のルマコード化ツリーブロックのサイズに応じた前記第1のパラメータの最大値、前記コード化ツリー単位の4分木分割から生じるルマリーフブロック内のルマサンプルの最小サイズ、及び前記インター予測スライス内の4分木の葉のマルチタイプツリー分割から生じるコード化単位の最大階層深度を決定すること
を前記システムに更に行わせるように、前記1組の命令を実行するように構成される、請求項9に記載のシステム。
【請求項12】
前記少なくとも1つのプロセッサが、
前記デルタQP値に基づいてルマQP値を決定すること、
前記クロマQPオフセット値に基づいてクロマQP値を決定すること、並びに
前記ルマQP値及び前記クロマQP値に基づいて前記コード化ブロックを処理すること
を前記システムに更に行わせるように、前記1組の命令を実行するように構成される、請求項7に記載のシステム。
【請求項13】
コンピュータシステムの少なくとも1つのプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読媒体であって、前記命令を前記実行することが
コード化された映像データを含むビットストリームを受信すること、
コード化ブロックの第1のパラメータを決定すること、
デルタ量子化パラメータ(QP)値又はクロマQPオフセット値に関連する1つ又は複数の第2のパラメータを前記第1のパラメータに従って決定すること、及び
前記デルタQP値又は前記クロマQPオフセット値の少なくとも1つを前記1つ又は複数の第2のパラメータに従って決定すること
を含む方法を前記コンピュータシステムに行わせる、非一時的コンピュータ可読媒体。
【請求項14】
前記コード化ブロックの前記第1のパラメータを決定することは、
前記コード化ブロックがイントラ予測スライス又はインター予測スライスに関連するかどうかを判定すること、及び
前記コード化ブロックが前記イントラ予測スライスに関連することに応じて、前記第1のパラメータを前記イントラ予測スライスに関連するパラメータであるように決定すること、又は
前記コード化ブロックが前記インター予測スライスに関連することに応じて、前記第1のパラメータを前記インター予測スライスに関連するパラメータであるように決定すること
を含む、請求項13に記載の非一時的コンピュータ可読媒体。
【請求項15】
前記第1のパラメータが前記コード化ブロックに関連するスライスヘッダ又はピクチャヘッダの少なくとも1つの中でシグナリングされる、請求項13に記載の非一時的コンピュータ可読媒体。
【請求項16】
前記コード化ブロックがイントラ予測スライスに関連し、前記方法が、
前記イントラ予測スライスに関連するコード化ツリー単位のルマコード化ツリーブロックのサイズに応じた前記第1のパラメータの最大値、前記コード化ツリー単位の4分木分割から生じるルマリーフブロック内のルマサンプルの最小サイズ、及び前記イントラ予測スライス内の4分木の葉のマルチタイプツリー分割から生じるコード化単位の最大階層深度を決定すること
を更に含む、請求項15に記載の非一時的コンピュータ可読媒体。
【請求項17】
前記コード化ブロックがインター予測スライスに関連し、前記方法が、
前記インター予測スライスに関連するコード化ツリー単位のルマコード化ツリーブロックのサイズに応じた前記第1のパラメータの最大値、前記コード化ツリー単位の4分木分割から生じるルマリーフブロック内のルマサンプルの最小サイズ、及び前記インター予測スライス内の4分木の葉のマルチタイプツリー分割から生じるコード化単位の最大階層深度を決定すること
を更に含む、請求項15に記載の非一時的コンピュータ可読媒体。
【請求項18】
前記方法が、
前記デルタQP値に基づいてルマQP値を決定すること、
前記クロマQPオフセット値に基づいてクロマQP値を決定すること、並びに
前記ルマQP値及び前記クロマQP値に基づいて前記コード化ブロックを処理すること
を更に含む、請求項13に記載の非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
[0001] 本開示は、参照によりその全体を本明細書に援用する、2019年9月20日に出願された米国仮特許出願第62/903,251号の優先権の利益を主張する。
【0002】
技術分野
[0002] 本開示は一般に、映像処理に関し、より詳細には、量子化パラメータと共に映像コンテンツを処理するための方法及びシステムに関する。
【背景技術】
【0003】
背景
[0003] 映像は、視覚情報を捕捉する静的ピクチャ(又は「フレーム」)の組である。記憶メモリ及び伝送帯域幅を減らすために、映像は、記憶又は伝送前に圧縮し、表示前に解凍することができる。圧縮プロセスは、通常、符号化と呼ばれ、解凍プロセスは、通常、復号と呼ばれる。最も一般的には、予測、変換、量子化、エントロピーコード化及びインループフィルタリングに基づく規格化された映像コード化技術を使用する様々な映像コード化形式がある。特定の映像コード化形式を指定するHigh Efficiency Video Coding(HEVC/H.265)規格、Versatile Video Coding(VVC/H.266)規格、AVS規格等の映像コード化規格が規格化組織によって策定されている。一層進化した映像コード化技術が映像規格に採用されるにつれて、新たな映像コード化規格のコード化効率が一層高くなる。
【発明の概要】
【課題を解決するための手段】
【0004】
本開示の概要
[0004] 本開示の実施形態は、コード化された映像データを含むビットストリームを受信すること、コード化ブロックの第1のパラメータを決定すること、デルタ量子化パラメータ(QP)値又はクロマQPオフセット値に関連する1つ又は複数の第2のパラメータを第1のパラメータに従って決定すること、及びデルタQP値又はクロマQPオフセット値の少なくとも1つを1つ又は複数の第2のパラメータに従って決定することを含む、映像コンテンツを処理するためのコンピュータによって実施される方法を提供する。
【0005】
[0005] 本開示の実施形態は、1組の命令を記憶するメモリと、少なくとも1つのプロセッサとを含む映像コンテンツを処理するためのシステムも提供し、少なくとも1つのプロセッサは、コード化された映像データを含むビットストリームを受信すること、コード化ブロックの第1のパラメータを決定すること、デルタ量子化パラメータ(QP)値又はクロマQPオフセット値に関連する1つ又は複数の第2のパラメータを第1のパラメータに従って決定すること、及びデルタQP値又はクロマQPオフセット値の少なくとも1つを1つ又は複数の第2のパラメータに従って決定することをシステムに行わせるように、1組の命令を実行するように構成される。
【0006】
[0006] 本開示の実施形態は、コンピュータシステムの少なくとも1つのプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読媒体も提供し、命令を実行することは、コード化映像データを含むビットストリームを受信すること、コード化ブロックの第1のパラメータを決定すること、デルタ量子化パラメータ(QP)値又はクロマQPオフセット値に関連する1つ又は複数の第2のパラメータを第1のパラメータに従って決定すること、及びデルタQP値又はクロマQPオフセット値の少なくとも1つを1つ又は複数の第2のパラメータに従って決定することを含む方法をコンピュータシステムに行わせる。
【0007】
図面の簡単な説明
[0007] 本開示の実施形態及び様々な態様を以下の詳細な説明及び添付図面に示す。図中に示す様々な特徴は、縮尺通りに描かれていない。
【図面の簡単な説明】
【0008】
【
図1】[0008]本開示の実施形態と合致する、例示的な映像シーケンスの構造を示す。
【
図2A】[0009]本開示の実施形態と合致する、ハイブリッド映像コード化システムの例示的な符号化プロセスの概略図を示す。
【
図2B】[0010]本開示の実施形態と合致する、ハイブリッド映像コード化システムの別の例示的な符号化プロセスの概略図を示す。
【
図3A】[0011]本開示の実施形態と合致する、ハイブリッド映像コード化システムの例示的な復号プロセスの概略図を示す。
【
図3B】[0012]本開示の実施形態と合致する、ハイブリッド映像コード化システムの別の例示的な復号プロセスの概略図を示す。
【
図4】[0013]本開示の実施形態と合致する、映像を符号化又は復号するための例示的な機器のブロック図である。
【
図5】[0014]本開示の実施形態と合致する、コード化単位(CU)デルタ量子化パラメータ(QP)のためのピクチャパラメータセット(PPS)の一例を示す。
【
図6A】[0015]本開示の実施形態と合致する、CUデルタQPのためのコード化ツリーレベル構文の一例を示す。
【
図6B】[0015]本開示の実施形態と合致する、CUデルタQPのためのコード化ツリーレベル構文の一例を示す。
【
図6C】[0015]本開示の実施形態と合致する、CUデルタQPのためのコード化ツリーレベル構文の一例を示す。
【
図7A】[0016]本開示の実施形態と合致する、CUデルタQPのための変換単位レベル構文の一例を示す。
【
図7B】[0016]本開示の実施形態と合致する、CUデルタQPのための変換単位レベル構文の一例を示す。
【
図7C】[0016]本開示の実施形態と合致する、CUデルタQPのための変換単位レベル構文の一例を示す。
【
図8】[0017]本開示の実施形態と合致する、スライスヘッダ構文の一例を示す。
【
図9】[0018]本開示の実施形態と合致する、スライスヘッダ構文の別の例を示す。
【
図10】[0019]本開示の実施形態と合致する、スライスヘッダ構文の更に別の例を示す。
【
図11】[0020]本開示の実施形態と合致する、ピクチャヘッダ構文の別の例を示す。
【
図12】[0021]本開示の実施形態と合致する、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivのためのPPS構文の一例を示す。
【
図13】[0022]本開示の実施形態と合致する、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivのためのスライスヘッダ構文の一例を示す。
【
図14】[0023]本開示の実施形態と合致する、sps_max_mtt_depth_lumaのための構文の一例を示す。
【
図15】[0024]本開示の実施形態と合致する、pps_max_mtt_depth_lumaのための構文の一例を示す。
【
図16】[0025]本開示の実施形態と合致する、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivのためのSPS構文の一例を示す。
【
図17】[0026]本開示の実施形態と合致する、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivのためのスライスヘッダ構文の一例を示す。
【
図18】[0027]本開示の実施形態と合致する、sps_max_mtt_depth_lumaのための構文の一例を示す。
【
図19】[0028]本開示の実施形態と合致する、sps_max_mtt_depth_lumaのための構文の別の例を示す。
【
図20】[0029]本開示の実施形態と合致する、pps_max_mtt_depth_lumaのための構文の一例を示す。
【
図21】[0030]本開示の実施形態と合致する、映像コンテンツを処理するための例示的なコンピュータによって実装される方法の流れ図である。
【発明を実施するための形態】
【0009】
[0031] 映像コード化システムは、デジタル映像信号を圧縮するために、例えば消費される記憶空間を減らすか、又はかかる信号に関連する伝送帯域幅の消費量を減らすために多くの場合に使用される。オンライン映像ストリーミング、テレビ会議又は映像監視等の映像圧縮の様々な応用において、(例えば、1920×1080ピクセルの解像度を有する)高精細度(HD)映像の人気が高まるにつれて、映像データの圧縮効率を高めることができる映像コード化ツールを開発することが継続的に求められている。
【0010】
[0032] 例えば、映像監視の応用は、多くの応用シナリオ(例えば、セキュリティ、交通、環境のモニタリング等)において一層且つ広範に使用されており、監視装置の数及び解像度が急激に増加している。多くの映像監視の応用シナリオは、より多くの情報を捕捉するためにHD映像をユーザに提供することを選択し、HD映像は、かかる情報を捕捉するために、1フレーム当たりでより多くのピクセルを有する。しかし、HD映像ビットストリームは、伝送のための高帯域幅及び記憶のための大きい空間を要求する高ビットレートを有し得る。例えば、平均的な1920×1080の解像度を有する監視映像ストリームは、リアルタイム伝送のために4Mbpsもの帯域幅を必要とし得る。更に、映像監視は、一般に、常時監視を行い、それは、映像データを記憶する場合に記憶システムにとって大きい課題となり得る。従って、HD映像の高帯域幅及び大きい記憶域に対する需要は、映像監視におけるHD映像の大規模な展開に対する主な制限になっている。
【0011】
[0033] 映像とは、視覚的情報を記憶するために時系列順に配置される静止ピクチャ(又は「フレーム」)の組である。それらのピクチャを時系列順に捕捉し、記憶するために、映像捕捉装置(例えば、カメラ)を使用することができ、かかるピクチャを時系列順に表示するために、映像再生装置(例えば、テレビ、コンピュータ、スマートフォン、タブレットコンピュータ、ビデオプレーヤ又は表示機能を有する任意のエンドユーザ端末)を使用することができる。更に、一部の応用では、監視、会議又は生放送等のために、映像捕捉装置が捕捉映像を映像再生装置(例えば、モニタを有するコンピュータ)にリアルタイムで伝送することができる。
【0012】
[0034] かかる応用が必要とする記憶空間及び伝送帯域幅を減らすために、映像を記憶及び伝送前に圧縮し、表示前に解凍することができる。この圧縮及び解凍は、プロセッサ(例えば、汎用コンピュータのプロセッサ)又は専用ハードウェアによって実行されるソフトウェアによって実装され得る。圧縮のためのモジュールを一般に「符号器」と呼び、解凍のためのモジュールを一般に「復号器」と呼ぶ。符号器及び復号器は、まとめて「コーデック」と呼ぶことができる。符号器及び復号器は、様々な適切なハードウェア、ソフトウェア又はその組み合わせとして実装することができる。例えば、符号器及び復号器のハードウェア実装は、1つ又は複数のマイクロプロセッサ、デジタル信号プロセッサ(DSP)、特定用途向け集積回路(ASIC)、書換可能ゲートアレイ(FPGA)、ディスクリートロジック又はその任意の組み合わせ等の回路を含み得る。符号器及び復号器のソフトウェア実装は、プログラムコード、コンピュータ実行可能命令、ファームウェア又はコンピュータ可読媒体内に固定される任意の適切なコンピュータによって実装されるアルゴリズム若しくはプロセスを含み得る。映像の圧縮及び解凍は、MPEG-1、MPEG-2、MPEG-4、H.26xシリーズ等の様々なアルゴリズム又は規格によって実装され得る。一部の応用では、コーデックが第1のコード化規格から映像を解凍し、第2のコード化規格を使用して、解凍された映像を再圧縮することができ、その場合、コーデックを「トランスコーダ」と呼ぶことができる。
【0013】
[0035] 映像符号化プロセスは、ピクチャを再構築するために使用可能な有用な情報を識別し、保つことができ、再構築に重要でない情報を無視することができる。無視された重要でない情報を完全に再構築できない場合、かかる符号化プロセスは、「非可逆」と呼ぶことができる。さもなければ、かかる符号化プロセスは、「可逆」と呼ぶことができる。殆どの符号化プロセスは、非可逆であり、これは、必要な記憶空間及び伝送帯域幅を減らすためのトレードオフである。
【0014】
[0036] 符号化されているピクチャ(「現ピクチャ」と呼ぶ)の有用な情報は、参照ピクチャ(例えば、過去に符号化され、再構築されたピクチャ)に対する変化を含む。かかる変化は、ピクセルの位置変化、光度変化又は色変化を含むことができ、そのうちの位置変化が最も重要である。オブジェクトを表すピクセル群の位置変化は、参照ピクチャと現ピクチャとの間のオブジェクトの動きを反映し得る。
【0015】
[0037] 別のピクチャを参照することなくコード化されるピクチャ(即ちそのようなピクチャが自らの参照ピクチャである)を「Iピクチャ」と呼ぶ。参照ピクチャとして過去のピクチャを使用してコード化されるピクチャを「Pピクチャ」と呼ぶ。参照ピクチャとして過去のピクチャ及び将来のピクチャの両方を使用してコード化される(即ち参照が「双方向」である)ピクチャを「Bピクチャ」と呼ぶ。
【0016】
[0038] 先に述べたように、HD映像を使用する映像監視は、高帯域幅及び大きい記憶域の需要の課題に直面する。この課題に対処するために、符号化映像のビットレートを下げることができる。Iピクチャ、Pピクチャ及びBピクチャのうち、Iピクチャが最も高いビットレートを有する。殆どの監視映像の背景は、ほぼ静的であるため、符号化映像の全体的なビットレートを下げる1つの方法は、映像の符号化のためにより少ないIピクチャを使用することであり得る。
【0017】
[0039] しかし、符号化映像内において、Iピクチャは、一般に主要なものではないため、Iピクチャをより少なく使用する改善策は、些細なものであり得る。例えば、典型的な映像ビットストリームでは、Iピクチャ、Bピクチャ及びPピクチャの比率が1:20:9である場合があり、Iピクチャが総ビットレートの10%未満を占めることがある。換言すれば、かかる例では、全てのIピクチャを除去しても、低減されるビットレートは、10%に過ぎない可能性がある。
【0018】
[0040] 本開示は、適応解像度変更(ARC)を使用して映像コンテンツを処理するための方法、機器、及びシステムを提供する。フェーズの丸め処理によって生じる不正確なフェーズと異なり、本開示の実施形態は精度を保ちながらアルゴリズム及びハードウェアの複雑さを減らすために、固定フェーズ補間に基づくピクセルリファインプロセスを提供する。
【0019】
[0041]
図1は、本開示の実施形態に合致する、映像シーケンス100の一例の構造を示す。映像シーケンス100は、生中継映像又は捕捉され、アーカイブされている映像であり得る。映像100は、現実の映像、コンピュータによって生成される映像(例えば、コンピュータゲーム映像)又はその組み合わせ(例えば、拡張現実効果を有する現実の映像)であり得る。映像シーケンス100は、映像捕捉装置(例えば、カメラ)、過去に捕捉された映像を含む映像アーカイブ(例えば、記憶装置内に記憶される映像ファイル)又は映像コンテンツプロバイダから映像を受信するための映像フィードインタフェース(例えば、映像ブロードキャストトランシーバ)から入力され得る。
【0020】
[0042]
図1に示すように、映像シーケンス100は、ピクチャ102、104、106及び108を含む、タイムラインに沿って時間的に配置される一連のピクチャを含み得る。ピクチャ102~106は、連続的であり、ピクチャ106とピクチャ108との間に更に多くのピクチャがある。
図1では、ピクチャ102は、Iピクチャであり、その参照ピクチャは、ピクチャ102自体である。ピクチャ104は、Pピクチャであり、矢印によって示すように、その参照ピクチャは、ピクチャ102である。ピクチャ106は、Bピクチャであり、矢印によって示すように、その参照ピクチャは、ピクチャ104及び108である。一部の実施形態では、ピクチャ(例えば、ピクチャ104)の参照ピクチャは、そのピクチャの直前又は直後になくてもよい。例えば、ピクチャ104の参照ピクチャは、ピクチャ102に先行するピクチャであり得る。ピクチャ102~106の参照ピクチャは、例に過ぎず、本開示は、参照ピクチャの実施形態を、
図1に示す例として限定しないことに留意すべきである。
【0021】
[0043] 典型的には、映像コーデックは、全ピクチャを一度に符号化又は復号せず、それは、かかるタスクが計算的に複雑であるためである。むしろ、映像コーデックは、ピクチャを基本セグメントに分割し、ピクチャをセグメントごとに符号化又は復号することができる。本開示では、そのような基本セグメントを基本処理単位(「BPU」)と呼ぶ。例えば、
図1の構造110は、映像シーケンス100のピクチャ(例えば、ピクチャ102~108の何れか)の構造の一例を示す。構造110では、ピクチャが4×4の基本処理単位に分けられており、その境界が破線で示されている。一部の実施形態では、基本処理単位は、一部の映像コード化規格(例えば、MPEGファミリ、H.261、H.263又はH.264/AVC)内の「マクロブロック」と呼ぶことができ、他の一部の映像コード化規格(例えば、H.265/HEVC又はH.266/VVC)内の「コード化ツリー単位」(「CTU」)と呼ぶことができる。128×128、64×64、32×32、16×16、4×8、16×32又はピクセルのあらゆる任意の形状及びサイズ等、基本処理単位は、ピクチャ内で可変サイズを有することができる。基本処理単位のサイズ及び形状は、コード化の効率と基本処理単位内で保とうとする詳細度とのバランスに基づいてピクチャについて選択することができる。
【0022】
[0044] 基本処理単位は、コンピュータメモリ内(例えば、映像フレームバッファ内)に記憶される様々な種類の映像データ群を含み得る論理単位であり得る。例えば、カラーピクチャの基本処理単位は、無彩色の輝度情報を表すルマ成分(Y)、色情報を表す1つ又は複数のクロマ成分(例えば、Cb及びCr)、並びにルマ成分及びクロマ成分が同じサイズを有し得る基本処理単位の関連構文要素を含むことができる。一部の映像コード化規格(例えば、H.265/HEVC又はH.266/VVC)では、ルマ成分及びクロマ成分が「コード化ツリーブロック」(「CTB」)と呼ばれ得る。基本処理単位に対して行われるいかなる操作も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。
【0023】
[0045] 映像のコード化は、複数の操作段階を有し、その例を
図2A~
図2B及び
図3A~
図3Bで詳述する。それぞれの段階について、基本処理単位のサイズは、依然として処理するのに大き過ぎる場合があり、従って本開示で「基本処理副単位」と呼ぶセグメントに更に分けることができる。一部の実施形態では、基本処理副単位は、一部の映像コード化規格(例えば、MPEGファミリ、H.261、H.263又はH.264/AVC)内の「ブロック」と呼ぶことができるか、又は他の一部の映像コード化規格(例えば、H.265/HEVC又はH.266/VVC)内の「コード化単位」(「CU」)と呼ぶことができる。基本処理副単位は、基本処理単位と同じ又はそれよりも小さいサイズを有し得る。基本処理単位と同様に、基本処理副単位もコンピュータメモリ内(例えば、映像フレームバッファ内)に記憶される様々な種類の映像データ群(例えば、Y、Cb、Cr及び関連構文要素)を含み得る論理単位である。基本処理副単位に対して行われるいかなる操作も、そのルマ成分及びクロマ成分のそれぞれに対して繰り返し行うことができる。処理の必要性に応じて、かかる分割は、更なるレベルに対して行われ得ることに留意すべきである。様々な段階が様々な方式を使用して基本処理単位を分割できることにも留意すべきである。
【0024】
[0046] 例えば、(その一例を
図2Bで詳述する)モード決定段階において、基本処理単位に対して何れの予測モード(例えば、イントラピクチャ予測又はインターピクチャ予測)を使用するかを符号器が決定することができ、基本処理単位は、かかる決定を下すには大き過ぎる場合がある。符号器は、基本処理単位を複数の基本処理副単位(例えば、H.265/HEVC又はH.266/VVCにあるCU)に分け、個々の基本処理副単位ごとに予測の種類を決定することができる。
【0025】
[0047] 別の例では、(その一例を
図2Aに詳述する)予測段階において、符号器は、基本処理副単位(例えば、CU)のレベルにおいて予測操作を行うことができる。しかし、一部の事例では、処理するのに基本処理副単位が依然として大き過ぎる場合がある。符号器は、基本処理副単位をより小さいセグメント(例えば、H.265/HEVC又はH.266/VVC内で「予測ブロック」又は「PB」と呼ばれる)に更に分けることができ、そのレベルにおいて予測操作を行うことができる。
【0026】
[0048] 別の例では、(その一例を
図2Aに詳述する)変換段階において、符号器は、残差基本処理副単位(例えば、CU)に対する変換操作を行うことができる。しかし、一部の事例では、処理するのに基本処理副単位が依然として大き過ぎる場合がある。符号器は、基本処理副単位をより小さいセグメント(例えば、H.265/HEVC又はH.266/VVC内で「変換ブロック」又は「TB」と呼ばれる)に更に分けることができ、そのレベルにおいて変換操作を行うことができる。同じ基本処理副単位の分割方式は、予測段階と変換段階とで異なり得ることに留意すべきである。例えば、H.265/HEVC又はH.266/VVCでは、同じCUの予測ブロック及び変換ブロックは、異なるサイズ及び数を有し得る。
【0027】
[0049]
図1の構造110では、基本処理単位112が3×3の基本処理副単位に更に分けられており、その境界が点線で示されている。同じピクチャの異なる基本処理単位を異なる方式で基本処理副単位に分けることができる。
【0028】
[0050] 一部の実装形態では、映像の符号化及び復号に並列処理及び誤り耐性の機能を与えるために、ピクチャを処理のための領域に分けることができ、それにより、ピクチャの領域について、符号化又は復号プロセスがピクチャの他の任意の領域の情報に依存しないようにすることができる。換言すれば、ピクチャの各領域を独立に処理することができる。そうすることで、コーデックは、ピクチャの異なる領域を並列に処理し、従ってコード化の効率を高めることができる。更に、領域のデータが処理内で破損するか又はネットワーク伝送内で失われる場合、コーデックは、破損するか又は失われたデータに依存することなく、同じピクチャの他の領域を正しく符号化又は復号することができ、従って誤り耐性の機能を提供する。一部の映像コード化規格では、ピクチャを異なる種類の領域に分割することができる。例えば、H.265/HEVC及びH.266/VVCは、「スライス」及び「タイル」という2種類の領域を提供する。映像シーケンス100の様々なピクチャは、ピクチャを領域に分けるための様々な分割方式を有し得ることにも留意すべきである。
【0029】
[0051] 例えば、
図1では、構造110が3つの領域114、116及び118に分けられており、その境界が構造110内の実線として示されている。領域114は、4個の基本処理単位を含む。領域116及び118のそれぞれは、6個の基本処理単位を含む。
図1の構造110の基本処理単位、基本処理副単位及び領域は、例に過ぎず、本開示は、その実施形態を限定しないことに留意すべきである。
【0030】
[0052]
図2Aは、本開示の実施形態と合致する、符号化プロセス200Aの一例の概略図を示す。符号器は、プロセス200Aに従って映像シーケンス202を映像ビットストリーム228に符号化することができる。
図1の映像シーケンス100と同様に、映像シーケンス202は、時系列順に配置されるピクチャ(「元のピクチャ」と呼ぶ)の組を含み得る。
図1の構造110と同様に、映像シーケンス202のそれぞれの元のピクチャは、符号器によって基本処理単位、基本処理副単位、又は処理のための領域に分けられ得る。一部の実施形態では、符号器は、映像シーケンス202のそれぞれの元のピクチャに関する基本処理単位のレベルにおいてプロセス200Aを実行することができる。例えば、符号器は、プロセス200Aを反復的な方法で実行することができ、符号器は、プロセス200Aの1回の反復において基本処理単位を符号化することができる。一部の実施形態では、符号器は、映像シーケンス202のそれぞれの元のピクチャの領域(例えば、領域114~118)についてプロセス200Aを並列に実行することができる。
【0031】
[0053]
図2Aでは、符号器は、映像シーケンス202の元のピクチャの基本処理単位(「元のBPU」と呼ぶ)を予測段階204にフィードして、予測データ206及び予測されたBPU208を生成することができる。符号器は、元のBPUから、予測されたBPU208を減算して、残差BPU210を生成することができる。符号器は、残差BPU210を変換段階212及び量子化段階214にフィードして、量子化された変換係数216を生成することができる。符号器は、予測データ206及び量子化された変換係数216をバイナリコード化段階226にフィードして、映像ビットストリーム228を生成することができる。構成要素202、204、206、208、210、212、214、216、226及び228は、「順方向経路」と呼ぶことができる。プロセス200A中、符号器は、量子化段階214後、量子化された変換係数216を逆量子化段階218及び逆変換段階220にフィードして、再構築された残差BPU222を生成することができる。符号器は、再構築された残差BPU222を、予測されたBPU208に加えて、プロセス200Aの次の反復の予測段階204に使用される予測基準224を生成することができる。プロセス200Aの構成要素218、220、222及び224は、「再構築経路」と呼ぶことができる。再構築経路は、符号器及び復号器の両方が予測に同じ参照データを使用することを確実にするために使用され得る。
【0032】
[0054] 符号器は、プロセス200Aを反復的に実行して、(順方向経路内で)元のピクチャのそれぞれの元のBPUを符号化し、(再構築経路内で)元のピクチャの次の元のBPUを符号化するための予測された基準224を生成することができる。元のピクチャの全ての元のBPUを符号化した後、符号器は、映像シーケンス202内の次のピクチャの符号化に進むことができる。
【0033】
[0055] プロセス200Aを参照すると、符号器は、映像捕捉装置(例えば、カメラ)によって生成される映像シーケンス202を受信することができる。本明細書で使用する「受信(する)」という用語は、データを入力するために受信すること、入力すること、取得すること、取り出すこと、得ること、読み出すこと、アクセスすること又は任意の方法の任意のアクションを指すことができる。
【0034】
[0056] 予測段階204では、現在の反復において、符号器が元のBPU及び予測基準224を受信し、予測操作を行って予測データ206及び予測されたBPU208を生成することができる。予測基準224は、プロセス200A前の反復の再構築経路から生成され得る。予測段階204の目的は、予測データ206を抽出することにより、情報の冗長性を減らすことであり、予測データ206は、予測データ206及び予測基準224から予測されたBPU208として元のBPUを再構築するために使用され得る。
【0035】
[0057] 理想的には、予測されたBPU208は、元のBPUと同一であり得る。しかし、理想的でない予測及び再構築操作により、予測されたBPU208は、概して、元のBPUと僅かに異なる。そのような差を記録するために、符号器は、予測されたBPU208を生成した後、それを元のBPUから減算して残差BPU210を生成することができる。例えば、符号器は、予測されたBPU208のピクセルの値(例えば、グレースケール値又はRGB値)を元のBPUの対応するピクセルの値から減算することができる。元のBPUの対応するピクセルと、予測されたBPU208との間のかかる減算の結果、残差BPU210の各ピクセルは、残差値を有し得る。元のBPUと比較して、予測データ206及び残差BPU210は、より少ないビットを有し得るが、品質を著しく損なうことなく元のBPUを再構築するためにそれらを使用することができる。
【0036】
[0058] 残差BPU210を更に圧縮するために、変換段階212において、符号器は、残差BPU210を2次元「基底パターン」の組に分解することにより、残差BPU210の空間的冗長性を低減することができ、各基底パターンは、「変換係数」に関連する。基底パターンは、同じサイズ(例えば、残差BPU210のサイズ)を有することができる。それぞれの基底パターンは、残差BPU210の変動周波数(例えば、輝度変動周波数)成分を表すことができる。基底パターンの何れも、他の任意の基底パターンの任意の組み合わせ(例えば、線形結合)から再現することができない。換言すれば、分解は、残差BPU210の変動を周波数領域内に分解することができる。かかる分解は、関数の離散フーリエ変換に類似し、基底パターンは、離散フーリエ変換の基底関数(例えば、三角関数)に類似し、変換係数は、基底関数に関連する係数に類似する。
【0037】
[0059] 様々な変換アルゴリズムが様々な基底パターンを使用することができる。例えば、離散コサイン変換、離散サイン変換等、変換段階212では、様々な変換アルゴリズムを使用することができる。変換段階212における変換は、可逆的である。即ち、符号器は、変換の逆操作(「逆変換」と呼ぶ)によって残差BPU210を復元することができる。例えば、残差BPU210のピクセルを復元するために、逆変換は、基底パターンの対応するピクセルの値を、関連するそれぞれの係数で乗算し、積を加算して加重和をもたらすことであり得る。映像コード化規格では、符号器及び復号器の両方が同じ変換アルゴリズム(従って同じ基底パターン)を使用することができる。従って、符号器は、変換係数のみを記録することができ、復号器は、符号器から基底パターンを受信することなく、変換係数から残差BPU210を再構築することができる。残差BPU210と比較して、変換係数の方が少ないビットを有し得るが、それらの変換係数は、品質を著しく損なうことなく残差BPU210を再構築するために使用され得る。従って、残差BPU210が更に圧縮される。
【0038】
[0060] 符号器は、量子化段階214において変換係数を更に圧縮することができる。変換プロセスでは、様々な基底パターンが様々な変動周波数(例えば、輝度変動周波数)を表すことができる。人間の目は、概して、低周波変動を認識することが得意であるため、符号器は、復号の際の著しい品質劣化を引き起こすことなく高周波変動の情報を無視することができる。例えば、量子化段階214において、符号器は、各変換係数を整数値(「量子化パラメータ」と呼ぶ)で除算し、商をその最近隣数に丸めることにより、量子化された変換係数216を生成することができる。かかる操作後、高周波基底パターンの一部の変換係数をゼロに変換することができ、低周波基底パターンの変換係数をより小さい整数に変換することができる。符号器は、ゼロ値の量子化された変換係数216を無視することができ、それにより変換係数が更に圧縮される。量子化プロセスも可逆的であり、量子化された変換係数216は、量子化の逆操作(「逆量子化」と呼ぶ)内で変換係数に再構築することができる。
【0039】
[0061] 符号器は、丸め操作内でかかる除算の剰余を無視するため、量子化段階214は、非可逆であり得る。典型的には、量子化段階214は、プロセス200A内で最大の情報損失に寄与し得る。情報損失が大きいほど、量子化された変換係数216が必要とし得るビットが少なくなる。情報損失の様々なレベルを得るために、符号器は、量子化パラメータの様々な値又は量子化プロセスの他の任意のパラメータを使用することができる。
【0040】
[0062] バイナリコード化段階226において、符号器は、例えば、エントロピーコード化、可変長コード化、算術コード化、ハフマンコード化、コンテキスト適応バイナリ算術コード化、又は他の任意の可逆若しくは非可逆圧縮アルゴリズム等のバイナリコード化技法を使用し、予測データ206及び量子化された変換係数216を符号化することができる。一部の実施形態では、予測データ206及び量子化された変換係数216に加えて、符号器は、例えば、予測段階204で使用される予測モード、予測操作のパラメータ、変換段階212の変換の種類、量子化プロセスのパラメータ(例えば、量子化パラメータ)、符号器制御パラメータ(例えば、ビットレート制御パラメータ)等の他の情報をバイナリコード化段階226において符号化することができる。符号器は、バイナリコード化段階226の出力データを使用して映像ビットストリーム228を生成することができる。一部の実施形態では、映像ビットストリーム228をネットワーク伝送のために更にパケット化することができる。
【0041】
[0063] プロセス200Aの再構築経路を参照すると、逆量子化段階218では、符号器は、量子化された変換係数216に対して逆量子化を行って、再構築された変換係数を生成することができる。逆変換段階220では、符号器は、再構築された変換係数に基づいて、再構築された残差BPU222を生成することができる。符号器は、再構築された残差BPU222を、予測されたBPU208に加えて、プロセス200Aの次の反復内で使用される予測基準224を生成することができる。
【0042】
[0064] 映像シーケンス202を符号化するためにプロセス200Aの他のバリエーションを使用できることに留意すべきである。一部の実施形態では、符号器がプロセス200Aの段階を異なる順序で実行することができる。一部の実施形態では、プロセス200Aの1つ又は複数の段階を単一の段階に組み合わせることができる。一部の実施形態では、プロセス200Aの単一の段階を複数の段階に分けることができる。例えば、変換段階212と量子化段階214とを単一の段階に組み合わせることができる。一部の実施形態では、プロセス200Aは、追加の段階を含み得る。一部の実施形態では、プロセス200Aは、
図2A内の1つ又は複数の段階を省くことができる。
【0043】
[0065]
図2Bは、本開示の実施形態に合致する、符号化プロセスの別の例200Bの概略図を示す。プロセス200Bは、プロセス200Aから修正され得る。例えば、プロセス200Bは、ハイブリッド映像コード化規格(例えば、H.26xシリーズ)に準拠する符号器によって使用され得る。プロセス200Aと比較して、プロセス200Bの順方向経路は、モード決定段階230を更に含み、予測段階204を空間的予測段階2042及び時間的予測段階2044に分ける。プロセス200Bの再構築経路は、ループフィルタ段階232及びバッファ234を追加で含む。
【0044】
[0066] 概して、予測技法は、空間的予測及び時間的予測の2つの種類に分類することができる。空間的予測(例えば、イントラピクチャ予測又は「イントラ予測」)は、現BPUを予測するために、同じピクチャ内の既にコード化された1つ又は複数の隣接BPUのピクセルを使用することができる。即ち、空間的予測における予測基準224は、隣接BPUを含み得る。空間的予測は、ピクチャの固有の空間的冗長性を減らすことができる。時間的予測(例えば、インターピクチャ予測又は「インター予測」)は、現BPUを予測するために、既にコード化された1つ又は複数のピクチャの領域を使用することができる。即ち、時間的予測における予測基準224は、コード化されたピクチャを含み得る。時間的予測は、ピクチャの固有の時間的冗長性を減らすことができる。
【0045】
[0067] プロセス200Bを参照すると、順方向経路において、符号器は、空間的予測段階2042及び時間的予測段階2044で予測操作を行う。例えば、空間的予測段階2042では、符号器は、イントラ予測を行うことができる。符号化されているピクチャの元のBPUに関して、予測基準224は、同じピクチャ内の(順方向経路内で)符号化され、(再構築経路内で)再構築されている1つ又は複数の隣接BPUを含み得る。符号器は、隣接BPUを外挿することにより、予測されたBPU208を生成することができる。外挿技法は、例えば、線形外挿又は線形補間、多項式外挿又は多項式補間等を含み得る。一部の実施形態では、予測されたBPU208のピクセルごとに、対応するピクセルの値を外挿することによって等、符号器がピクセルレベルで外挿を行うことができる。外挿に使用される隣接BPUは、垂直方向(例えば、元のBPUの上)、水平方向(例えば、元のBPUの左)、対角線方向(例えば、元のBPUの左下、右下、左上又は右上)、又は使用される映像コード化規格内で規定される任意の方向等、様々な方向から元のBPUに対して位置し得る。イントラ予測では、予測データ206は、例えば、使用される隣接BPUの位置(例えば、座標)、使用される隣接BPUのサイズ、外挿のパラメータ、元のBPUに対する使用される隣接BPUの方向等を含み得る。
【0046】
[0068] 別の例では、時間的予測段階2044では、符号器は、インター予測を行うことができる。現ピクチャの元のBPUに関して、予測基準224は、(順方向経路内で)符号化され、(再構築経路内で)再構築されている1つ又は複数のピクチャ(「参照ピクチャ」と呼ぶ)を含み得る。一部の実施形態では、参照ピクチャがBPUごとに符号化され再構築され得る。例えば、符号器は、再構築された残差BPU222を、予測されたBPU208に加えて、再構築されたBPUを生成することができる。同じピクチャの全ての再構築されたBPUが生成されると、符号器は、参照ピクチャとして再構築されたピクチャを生成することができる。符号器は、参照ピクチャの範囲(「探索窓」と呼ぶ)内の一致領域を探すために「動き推定」の操作を行うことができる。参照ピクチャ内の探索窓の位置は、現ピクチャ内の元のBPUの位置に基づいて決定することができる。例えば、探索窓は、参照ピクチャ内で現ピクチャ内の元のBPUと同じ座標を有する位置に中心を置くことができ、所定の距離にわたって広げることができる。符号器が探索窓内で元のBPUと同様の領域を(例えば、pel再帰アルゴリズム、ブロックマッチングアルゴリズム等を使用することによって)識別すると、符号器は、その領域を一致領域として決定することができる。一致領域は、元のBPUと異なる(例えば、それよりも小さい、等しい、大きい又は異なる形状の)寸法を有し得る。参照ピクチャ及び現ピクチャは、(例えば、
図1に示すように)タイムライン内で時間的に隔てられているため、時間が経つにつれて一致領域が元のBPUの位置に「移動する」と見なすことができる。符号器は、かかる動きの方向及び距離を「動きベクトル」として記録することができる。(例えば、
図1のピクチャ106のような)複数の参照ピクチャが使用される場合、符号器は、参照ピクチャごとに一致領域を探し、その関連する動きベクトルを求めることができる。一部の実施形態では、符号器は、個々の一致する参照ピクチャの一致領域のピクセル値に重みを割り当てることができる。
【0047】
[0069] 動き推定は、例えば、平行移動、回転、拡大縮小等の様々な種類の動きを識別するために使用することができる。インター予測では、予測データ206は、例えば、一致領域の位置(例えば、座標)、一致領域に関連する動きベクトル、参照ピクチャの数、参照ピクチャに関連する重み等を含み得る。
【0048】
[0070] 予測されたBPU208を生成するために、符号器は、「動き補償」の操作を行うことができる。動き補償は、予測データ206(例えば、動きベクトル)及び予測基準224に基づいて、予測されたBPU208を再構築するために使用することができる。例えば、符号器は、動きベクトルに従って参照ピクチャの一致領域を動かすことができ、その中では、符号器は、現ピクチャの元のBPUを予測することができる。(例えば、
図1のピクチャ106のような)複数の参照ピクチャが使用される場合、符号器は、個々の動きベクトルに従って参照ピクチャの一致領域を動かし、一致領域のピクセル値を平均することができる。一部の実施形態では、符号器が、個々の一致する参照ピクチャの一致領域のピクセル値に重みを割り当てた場合、符号器は、動かした一致領域のピクセル値の加重和を加えることができる。
【0049】
[0071] 一部の実施形態では、インター予測は、単方向又は双方向であり得る。単方向のインター予測は、現ピクチャに対して同じ時間的方向にある1つ又は複数の参照ピクチャを使用することができる。例えば、
図1のピクチャ104は、参照ピクチャ(即ちピクチャ102)がピクチャ104に先行する単方向のインター予測ピクチャである。双方向のインター予測は、現ピクチャに対して両方の時間的方向にある1つ又は複数の参照ピクチャを使用することができる。例えば、
図1のピクチャ106は、参照ピクチャ(即ちピクチャ104及び108)がピクチャ104に対して両方の時間的方向にある双方向のインター予測ピクチャである。
【0050】
[0072] プロセス200Bの順方向経路を引き続き参照すると、空間的予測段階2042及び時間的予測段階2044後、モード決定段階230において、符号器は、プロセス200Bの現在の反復のための予測モード(例えば、イントラ予測又はインター予測の1つ)を選択することができる。例えば、符号器は、レート歪み最適化技法を実行することができ、かかる技法では、符号器は、候補予測モードのビットレート及び候補予測モード下の再構築された参照ピクチャの歪みに応じて、コスト関数の値を最小化するための予測モードを選択することができる。選択される予測モードに応じて、符号器は、対応する予測されたBPU208及び予測されたデータ206を生成することができる。
【0051】
[0073] プロセス200Bの再構築経路において、順方向経路内でイントラ予測モードが選択されている場合、予測基準224(例えば、現ピクチャ内で符号化され再構築されている現BPU)を生成した後、符号器は、後に使用するために(例えば、現ピクチャの次のBPUを外挿するために)空間的予測段階2042に予測基準224を直接フィードすることができる。順方向経路内でインター予測モードが選択されている場合、予測基準224(例えば、全てのBPUが符号化され再構築されている現ピクチャ)を生成した後、符号器は、ループフィルタ段階232に予測基準224をフィードすることができ、ループフィルタ段階232では、符号器は、予測基準224にループフィルタを適用して、インター予測によって引き起こされる歪み(例えば、ブロッキングアーティファクト)を減らすか又はなくすことができる。例えば、デブロッキング、サンプル適応オフセット、適応ループフィルタ等、符号器は、ループフィルタ段階232で様々なループフィルタ技法を適用することができる。ループフィルタされた参照ピクチャは、後に使用するために(例えば、映像シーケンス202の将来のピクチャのためのインター予測参照ピクチャとして使用するために)バッファ234(又は「復号されたピクチャバッファ」)内に記憶することができる。符号器は、時間的予測段階2044で使用するために1つ又は複数の参照ピクチャをバッファ234内に記憶することができる。一部の実施形態では、符号器は、量子化された変換係数216、予測データ206及び他の情報と共に、ループフィルタのパラメータ(例えば、ループフィルタの強度)をバイナリコード化段階226で符号化することができる。
【0052】
[0074]
図3Aは、本開示の実施形態に合致する、復号プロセス300Aの一例の概略図を示す。プロセス300Aは、
図2Aの圧縮プロセス200Aに対応する解凍プロセスであり得る。一部の実施形態では、プロセス300Aは、プロセス200Aの再構築経路と同様であり得る。復号器は、プロセス300Aに従って映像ビットストリーム228を映像ストリーム304に復号することができる。映像ストリーム304は、映像シーケンス202と非常に類似し得る。しかし、圧縮及び解凍プロセス(例えば、
図2A~
図2Bの量子化段階214)における情報損失により、概して、映像ストリーム304は、映像シーケンス202と同一ではない。
図2A~
図2Bのプロセス200A及び200Bと同様に、復号器は、映像ビットストリーム228内に符号化される各ピクチャについて、基本処理単位(BPU)のレベルにおいてプロセス300Aを実行することができる。例えば、復号器は、プロセス300Aを反復的な方法で実行することができ、復号器は、プロセス300Aの1回の反復において基本処理単位を復号することができる。一部の実施形態では、復号器は、映像ビットストリーム228内に符号化される各ピクチャの領域(例えば、領域114~118)についてプロセス300Aを並列に実行することができる。
【0053】
[0075]
図3Aでは、復号器は、符号化されたピクチャの基本処理単位(「符号化されたBPU」と呼ぶ)に関連する映像ビットストリーム228の一部をバイナリ復号段階302にフィードすることができる。バイナリ復号段階302では、復号器は、その部分を予測データ206及び量子化された変換係数216に復号することができる。復号器は、量子化された変換係数216を逆量子化段階218及び逆変換段階220にフィードして、再構築された残差BPU222を生成することができる。復号器は、予測データ206を予測段階204にフィードして、予測されたBPU208を生成することができる。復号器は、再構築された残差BPU222を、予測されたBPU208に加えて、予測された基準224を生成することができる。一部の実施形態では、予測された基準224がバッファ(例えば、コンピュータメモリ内の復号されたピクチャバッファ)内に記憶され得る。復号器は、プロセス300Aの次の反復内で予測操作を行うための予測された基準224を予測段階204にフィードすることができる。
【0054】
[0076] 復号器は、プロセス300Aを反復的に実行して、符号化されたピクチャの各符号化されたBPUを復号し、符号化されたピクチャの次の符号化されたBPUを符号化するための予測された基準224を生成することができる。符号化されたピクチャの全ての符号化されたBPUを復号した後、復号器は、表示するためにピクチャを映像ストリーム304に出力し、映像ビットストリーム228内の次の符号化されたピクチャの復号に進むことができる。
【0055】
[0077] バイナリ復号段階302では、復号器は、符号器が使用したバイナリコード化技法(例えば、エントロピーコード化、可変長コード化、算術コード化、ハフマンコード化、コンテキスト適応バイナリ算術コード化又は他の任意の可逆圧縮アルゴリズム)の逆操作を行うことができる。一部の実施形態では、予測データ206及び量子化された変換係数216に加えて、復号器は、例えば、予測モード、予測操作のパラメータ、変換の種類、量子化プロセスのパラメータ(例えば、量子化パラメータ)、符号器制御パラメータ(例えば、ビットレート制御パラメータ)等の他の情報をバイナリ復号段階302において復号することができる。一部の実施形態では、映像ビットストリーム228がネットワーク上においてパケット単位で伝送される場合、復号器は、映像ビットストリーム228をパケット化解除してからそれをバイナリ復号段階302にフィードすることができる。
【0056】
[0078]
図3Bは、本開示の実施形態に合致する、復号プロセスの別の例300Bの概略図を示す。プロセス300Bは、プロセス300Aから修正され得る。例えば、プロセス300Bは、ハイブリッド映像コード化規格(例えば、H.26xシリーズ)に準拠する復号器によって使用され得る。プロセス300Aと比較して、プロセス300Bは、予測段階204を空間的予測段階2042及び時間的予測段階2044に更に分け、ループフィルタ段階232及びバッファ234を追加で含む。
【0057】
[0079] プロセス300Bでは、復号されている符号化されたピクチャ(「現ピクチャ」と呼ぶ)の符号化された基本処理単位(「現BPU」と呼ぶ)に関して、復号器によってバイナリ復号段階302から復号される予測データ206は、現BPUを符号化するために何れの予測モードが符号器によって使用されたかに応じて様々な種類のデータを含み得る。例えば、現BPUを符号化するためにイントラ予測が符号器によって使用された場合、予測データ206は、イントラ予測、イントラ予測操作のパラメータ等を示す予測モードインジケータ(例えば、フラグ値)を含み得る。イントラ予測操作のパラメータは、例えば、基準として使用される1つ又は複数の隣接BPUの位置(例えば、座標)、隣接BPUのサイズ、外挿のパラメータ、元のBPUに対する隣接BPUの方向等を含み得る。別の例では、現BPUを符号化するためにインター予測が符号器によって使用された場合、予測データ206は、インター予測、インター予測操作のパラメータ等を示す予測モードインジケータ(例えば、フラグ値)を含み得る。インター予測操作のパラメータは、例えば、現BPUに関連する参照ピクチャの数、参照ピクチャにそれぞれ関連する重み、それぞれの参照ピクチャ内の1つ又は複数の一致領域の位置(例えば、座標)、一致領域にそれぞれ関連する1つ又は複数の動きベクトル等を含み得る。
【0058】
[0080] 予測モードインジケータに基づき、復号器は、空間的予測段階2042で空間的予測(例えば、イントラ予測)を行うか、又は時間的予測段階2044で時間的予測(例えば、インター予測)を行うかを決めることができる。かかる空間的予測又は時間的予測の実行の詳細は、
図2Bに示されており、以下で繰り返さない。かかる空間的予測又は時間的予測を行った後、復号器は、予測されたBPU208を生成することができる。
図3Aに記載したように、復号器は、予測されたBPU208と、再構築された残差BPU222とを加えて、予測基準224を生成することができる。
【0059】
[0081] プロセス300Bでは、復号器は、プロセス300Bの次の反復内で予測操作を行うための予測された基準224を空間的予測段階2042又は時間的予測段階2044にフィードすることができる。例えば、現BPUが空間的予測段階2042においてイントラ予測を使用して復号される場合、予測基準224(例えば、復号された現BPU)を生成した後、復号器は、後に使用するために(例えば、現ピクチャの次のBPUを外挿するために)空間的予測段階2042に予測基準224を直接フィードすることができる。現BPUが時間的予測段階2044においてインター予測を使用して復号される場合、予測基準224(例えば、全てのBPUが復号されている参照ピクチャ)を生成した後、符号器は、ループフィルタ段階232に予測基準224をフィードして歪み(例えば、ブロッキングアーティファクト)を減らすか又はなくすことができる。復号器は、
図2Bに記載した方法で予測基準224にループフィルタを適用することができる。ループフィルタされた参照ピクチャは、後に使用するために(例えば、映像ビットストリーム228の将来の符号化ピクチャのためのインター予測参照ピクチャとして使用するために)バッファ234(例えば、コンピュータメモリ内の復号されたピクチャバッファ)内に記憶することができる。復号器は、時間的予測段階2044で使用するために1つ又は複数の参照ピクチャをバッファ234内に記憶することができる。一部の実施形態では、現BPUを符号化するためにインター予測が使用されたことを予測データ206の予測モードインジケータが示す場合、予測データは、ループフィルタのパラメータ(例えば、ループフィルタの強度)を更に含むことができる。
【0060】
[0082]
図4は、本開示の実施形態に合致する、映像を符号化又は復号するための機器400の一例のブロック図である。
図4に示すように、機器400は、プロセッサ402を含み得る。プロセッサ402が本明細書に記載の命令を実行するとき、機器400は、映像を符号化又は復号するための専用マシンになり得る。プロセッサ402は、情報を操作又は処理することができる任意の種類の回路であり得る。例えば、プロセッサ402は、任意の数の中央処理装置(「CPU」)、グラフィックス処理装置(「GPU」)、ニューラル処理ユニット(「NPU」)、マイクロコントローラユニット(「MCU」)、光プロセッサ、プログラム可能論理コントローラ、マイクロコントローラ、マイクロプロセッサ、デジタル信号プロセッサ、知的財産(IP)コア、プログラム可能論理アレイ(PLA)、プログラム可能アレイ論理(PAL)、汎用アレイ論理(GAL)、複合プログラム可能論理装置(CPLD)、書換可能ゲートアレイ(FPGA)、システムオンチップ(SoC)、特定用途向け集積回路(ASIC)等の任意の組み合わせを含み得る。一部の実施形態では、プロセッサ402は、単一の論理構成要素としてグループ化されるプロセッサの組であり得る。例えば、
図4に示すように、プロセッサ402は、プロセッサ402a、プロセッサ402b及びプロセッサ402nを含む複数のプロセッサを含み得る。
【0061】
[0083] 機器400は、データ(例えば、命令、コンピュータコード、中間データ等の組)を記憶するように構成されるメモリ404も含み得る。例えば、
図4に示すように、記憶データは、プログラム命令(例えば、プロセス200A、200B、300A又は300B内の段階を実装するためのプログラム命令)及び処理用データ(例えば、映像シーケンス202、映像ビットストリーム228又は映像ストリーム304)を含み得る。プロセッサ402は、プログラム命令及び処理用データに(例えば、バス410を介して)アクセスし、プログラム命令を実行して処理用データに対する操作又は処理を行うことができる。メモリ404は、高速ランダムアクセス記憶装置又は不揮発性記憶装置を含み得る。一部の実施形態では、メモリ404は、任意の数のランダムアクセスメモリ(RAM)、読取専用メモリ(ROM)、光学ディスク、磁気ディスク、ハードドライブ、ソリッドステートドライブ、フラッシュドライブ、セキュリティデジタル(SD)カード、メモリスティック、コンパクトフラッシュ(登録商標)(CF)カード等の任意の組み合わせを含み得る。メモリ404は、単一の論理構成要素としてグループ化される(
図4には不図示の)メモリ群でもあり得る。
【0062】
[0084] 内蔵バス(例えば、CPUメモリバス)、外部バス(例えば、ユニバーサルシリアルバスポート、周辺機器コンポーネント相互接続エクスプレスポート)等のバス410は、機器400内の構成要素間でデータを転送する通信装置であり得る。
【0063】
[0085] 曖昧さを招くことなく説明を簡単にするために、本開示では、プロセッサ402及び他のデータ処理回路をまとめて「データ処理回路」と呼ぶ。データ処理回路は、完全にハードウェアとして又はソフトウェア、ハードウェア若しくはファームウェアの組み合わせとして実装することができる。加えて、データ処理回路は、単一の独立したモジュールであり得るか、又は機器400の他の任意の構成要素内に完全に若しくは部分的に組み合わされ得る。
【0064】
[0086] 機器400は、ネットワーク(例えば、インターネット、イントラネット、ローカルエリアネットワーク、モバイル通信ネットワーク等)との有線通信又は無線通信を提供するためのネットワークインタフェース406を更に含み得る。一部の実施形態では、ネットワークインタフェース406は、任意の数のネットワークインタフェースコントローラ(NIC)、無線周波数(RF)モジュール、トランスポンダ、トランシーバ、モデム、ルータ、ゲートウェイ、有線ネットワークアダプタ、無線ネットワークアダプタ、Bluetoothアダプタ、赤外線アダプタ、近距離無線通信(「NFC」)アダプタ、セルラネットワークチップ等の任意の組み合わせを含み得る。
【0065】
[0087] 一部の実施形態では、1つ又は複数の周辺装置への接続を提供するための周辺装置インタフェース408を任意選択的に機器400が更に含み得る。
図4に示すように、周辺装置は、これのみに限定されないが、カーソル制御装置(例えば、マウス、タッチパッド又はタッチスクリーン)、キーボード、ディスプレイ(例えば、ブラウン管ディスプレイ、液晶ディスプレイ又は発光ダイオードディスプレイ)、映像入力装置(例えば、映像アーカイブに結合されるカメラ又は入力インタフェース)等を含み得る。
【0066】
[0088] 映像コーデック(例えば、プロセス200A、200B、300A又は300Bを実行するコーデック)は、機器400内の任意のソフトウェア又はハードウェアモジュールの任意の組み合わせとして実装できることに留意すべきである。例えば、プロセス200A、200B、300A又は300Bの一部の又は全ての段階は、メモリ404内にロード可能なプログラム命令等の、機器400の1つ又は複数のソフトウェアモジュールとして実装され得る。別の例では、プロセス200A、200B、300A又は300Bの一部の又は全ての段階は、専用データ処理回路(例えば、FPGA、ASIC、NPU等)等の、機器400の1つ又は複数のハードウェアモジュールとして実装され得る。
【0067】
[0089] VVCでは、ピクチャが1つ又は複数のタイル行及び1つ又は複数のタイル列に分けられる。タイルはピクチャの矩形領域を覆う一連のCTUである。タイル内のCTUは、そのタイル内のラスタ走査順序によって走査される。スライスは、完全なタイルの整数個又はピクチャのタイル内の連続した完全なCTU行の整数個で構成される。その結果、それぞれの垂直スライス境界は垂直タイル境界でもある。スライスの水平境界は、タイル境界ではないが、タイル内の水平CTU境界で構成されることがあり得る。これは、タイル内の連続した完全なCTU行の整数個でそれぞれ構成される複数の矩形スライスへとタイルを分割するときに生じる。
【0068】
[0090] VVCでは、ネットワーク抽象化層(NAL)単位形式の一連のビットであるコード化映像ビットストリーム又はバイトストリームが1つ又は複数のコード化映像シーケンス(CVS)を形成し、各CVSは1つ又は複数のCLVS(coded layer video sequence)で構成される。CLVSは一連のピクチャ単位(PU)であり、各PUは厳密に1つのコード化ピクチャを含む。
【0069】
[0091] PUは、ペイロードとしてのピクチャヘッダ構文構造、1つ又は複数の映像コード化層(VCL)NAL単位を含む1つのコード化ピクチャ、及びゼロ以上の他の非VCL NAL単位を含む、ゼロ又は1つのピクチャヘッダ(PH)NAL単位で構成される。VCL NAL単位は、スライスヘッダ及びスライスデータで構成されるコード化スライスを含む。
【0070】
[0092] VVCでは量子化パラメータ(QP)の範囲を0~63とすることができ、初期QPのシグナリングをしかるべく変更することができる。slice_qp_deltaの非ゼロ値がスライスヘッダ内にコード化される場合、SliceQpYの初期値がスライスレベルで修正される。とりわけ、init_qp_minus26の値は(-26+QpBdOffsetY)~+37の範囲内にあるように修正される。変換ブロックのサイズが4の累乗ではない場合、変換プロセスによる暗示的なスケーリングを補償するために、181/256(又は181/128)による乗算によってではなく、QP又はQP levelScaleテーブルに対する修正と共に変換係数が処理される。変換スキップブロックでは、最小許容QPが4として定められており、その理由はQPが4に等しいとき量子化ステップサイズが1になるからである。
【0071】
[0093] 加えて、QP値はCUごとに又は量子化グループごとに変更することができる。ルマ成分及びクロマ成分のためのデルタQP値は別々にシグナリングすることができる。
【0072】
[0094] ルマコード化ブロックごとに、変数qPY_PREVを以下のようにまず導出する:
- 下記の条件の1つ又は複数が真である場合qPY_PREVをSliceQpYに等しく設定する:
- 現在の量子化グループがスライス内の第1の量子化グループである。
- 現在の量子化グループがタイル内の第1の量子化グループである。
- さもなければ、qPY_PREVは、復号順における前の量子化グループ内の最後のルマコード化単位のルマ量子化パラメータQpYに等しく設定する。
【0073】
[0095] 第2に、変数qPY_Aを以下のように導出する:
- 下記の条件の1つ又は複数が真である場合qPY_AをqPY_PREVに等しく設定する:
- 現在の量子化グループの左の隣接ブロックを利用することができない。
- 現在の量子化グループの左の隣接ブロック及び現在のコード化ブロックが異なるコード化ツリーブロック(CTB)内にある。
- さもなければ、qPY_Aは現在の量子化グループの上側のコード化単位のルマ量子化パラメータに等しく設定する。
【0074】
[0096] 第3に、変数qPY_Bを以下のように導出する:
- 下記の条件の1つ又は複数が真である場合qPY_BをqPY_PREVに等しく設定する:
- 現在の量子化グループの上の隣接ブロックを利用することができない。
- 現在の量子化グループの上の隣接ブロック及び現在のコード化ブロックが異なるコード化ツリーブロック(CTB)内にある。
- さもなければ、qPY_Bは現在の量子化グループの左側のコード化単位のルマ量子化パラメータに等しく設定する。
【0075】
[0097] 第4に、現在の量子化グループがブロック内のコード化ツリーブロック(CTB)行内の第1の量子化グループであり、現在の量子化グループの上の隣接ブロックを利用することができる場合、
qPY_PREDをqPY_Bに設定し、
さもなければ
qPY_PRED=(qPY_A+qPY_B+1)>>1
【0076】
[0098] qPY_PREDを導出した後、以下の等式1を使用して現在のルマコード化ブロックの量子化パラメータQp’Yを導出することができる:
Qp’Y=((qPY_PRED+CuQpDeltaVal+64+2*QpBdOffsetY)%(64+QpBdOffsetY)) (等式1)
但し、QpBdOffsetYは6*sps_bitdepth_minus8に等しく、変数CuQpDeltaValはルマコード化ブロックの量子化パラメータとその予測値との差を指定する。
【0077】
[0099] VVCでは、CuQpDeltaValがcu_qp_delta_abs*(1-2*cu_qp_delta_sign_flag)として指定され、但し、cu_qp_delta_abs及びcu_qp_delta_sign_flagはCUレベルにおいてビットストリーム内でシグナリングされる構文要素である。cu_qp_delta_abs及びcu_qp_delta_sign_flagがビットストリーム内にない場合、CuQpDeltaValは0であると推論することができる。
【0078】
[0100] クロマコード化ブロックのための量子化パラメータはQpYと異なり得る。クロマ量子化パラメータ(QpCb、QpCr、QpCbCr)とルマ量子化パラメータとの間のオフセットはビットストリーム内でシグナリングされ得る。VVCでは、以下の等式2~4を使用してクロマ量子化パラメータQp’Cb及びQp’Cr、並びにジョイントCb-Crコード化のためのQPであるQp’CbCrを導出することができ:
Qp’Cb=Clip3(-QpBdOffsetc,63,qPCb+pps_cb_qp_offset+slice_cb_qp_offset+CuQpOffsetCb)+QpBdOffsetC (等式2)
Qp’Cr=Clip3(-QpBdOffsetc,63,qPCr+pps_cr_qp_offset+slice_cr_qp_offset+CuQpOffsetCr)+QpBdOffsetC (等式3)
Qp’CbCr=Clip3(-QpBdOffsetc,63,qPCbCr+pps_cbcr_qp_offset+slice_cbcr_qp_offset+CuQpOffsetCbCr)+QpBdOffsetC (等式4)
但し、qPCb、qPCr、及びqPCbCrは等式5~8を使用してQpYのクリッピングされた値の入力を用いて、参照表から導出することができる:
qPiChroma=Clip3(-QpBdOffset,63,QpY-QpBdOffset) (等式5)
qPCb=ChromaQpTable[0][qPChroma] (等式6)
qPCr=ChromaQpTable[1][qPChroma] (等式7)
qPCbCr=ChromaQpTable[2][qPChroma] (等式8)
【0079】
[0101] cu_chroma_qp_offset_flagが0に等しい場合、CuQpOffsetCb、CuQpOffsetCr、及びCuQpOffsetCbCrは0に設定され、cu_chroma_qp_offset_flagが1に等しい場合は等式9~11を使用して導出することができる:
CuQpOffsetCb=cb_qp_offset_list[cu_chroma_qp_offset_idx] (等式9)
CuQpOffsetCr=cr_qp_offset_list[cu_chroma_qp_offset_idx] (等式10)
CuQpOffsetCbCr=joint_cbcr_qp_offset_list[cu_chroma_qp_offset_idx] (等式11)
但しcu_chroma_qp_offset_flag及びcu_chroma_qp_offset_idxはビットストリーム内でシグナリングされる構文要素である。
【0080】
[0102] 上記で論じたように、QPの導出に使用可能なCuQpDeltaValを導出するためにcu_qp_delta_abs及びcu_qp_delta_sign_flagがシグナリングされる。クロマQPの導出に使用可能なCuQpOffsetCb、CuQpOffsetCr、及びCuQpOffsetCbCrを導出するために、cu_chroma_qp_offset_flag、cu_chroma_qp_offset_idx、cb_qp_offset_list[i]、cr_qp_offset_list[i]、及びjoint_cbcr_qp_offset_list[i]がシグナリングされる。
【0081】
[0103] 以下は関係する構文のシグナリングプロセスの導入である。まず、CUデルタQPのための例示的なPPS構文を示す
図5に示すように、cu_qp_delta_enabled_flag、cu_qp_delta_subdiv、cu_chroma_qp_offset_enabled_flag、及びcu_chroma_qp_offset_subdivをピクチャパラメータセット(PPS)内でシグナリングすることができる。
【0082】
[0104] その後、CUデルタQPのための例示的なコード化ツリー構文を示す
図6に示すように、変数IsCuQpDeltaCoded及びIsCuChromaQpOffsetCoded、量子化パラメータグループの位置、並びに変数qgOnY及びqgOnCをコード化ツリーレベルにおいて導出することができる。
【0083】
[0105] 更に、
図7に示すように、CUデルタQPのための例示的な変換単位レベル構文を示す、IsCuQpDeltaCoded及びIsCuChromaQpOffsetCodedがコード化単位レベルにおいて導出されていることを条件とし、cu_qp_delta_abs/cu_qp_delta_sign_flag及びcu_chroma_qp_offset_flag/cu_chroma_qp_offset_idxが変換単位においてシグナリングされる。
【0084】
[0106]
図5の例では、cu_qp_delta_subdivはcu_qp_delta_abs及びcu_qp_delta_sign_flagを伝えるコード化単位の最大cbSubdiv値を指定し、cu_chroma_qp_offset_subdivはcu_chroma_qp_offset_flagを伝えるコード化単位の最大cbSubdiv値を指定する。cbSubdivは、その値がコード化単位のサイズに関係する変数である。より小さいコード化単位はより大きいcbSubdivの値を有する。コード化単位を複数の副コード化単位に分割することにより、cbSubdivの値が増加する。cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivの値の範囲は、スライスレベル及びスライスの種類に基づいて導出されるMaxMttDepthYと呼ばれる変数に依存する。
MaxMttDepthY=slice_max_mtt_hierarchy_depth_luma (等式12)
但し、slice_max_mtt_hierarchy_depth_lumaは、例示的なスライスヘッダ構文を示す
図8に示すように、スライスヘッダ内でシグナリングされる。
【0085】
[0107] 上記で説明したように、cu_qp_delta_abs/cu_qp_delta_sign_flag及びcu_chroma_qp_offset_flagを伝え得るコード化単位の最大深度を決定するために、2つの構文要素cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivがPPSレベル内でシグナリングされる。但しcu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivの値の範囲は、スライスレベル及びスライスの種類に基づいて導出される変数MaxMttDepthYに依存する。従って、PPSレベルの構文要素はスライスレベル構文に依存する。
【0086】
[0108] ビットストリーム構文構造において、PPSはスライスレベルよりも高レベルにあり、PPSの構文はスライス構文の前に来る。復号器では、低レベル構文を構文解析するとき高レベル構文の値を参照することができる。しかし高レベル構文を構文解析するとき、低レベル構文の値を参照することはできない。従って現在のVVC技法では、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivがスライスヘッダ構文に依存することは、解決される必要がある論理的問題を引き起こす。
【0087】
[0109] 上記の問題に対処するために、本開示の様々な実施形態において解決策を提供する。一部の実施形態では、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivはslice_max_mtt_hierarchy_depth_lumaがシグナリングされた後でスライスヘッダに移すことができる。それにより、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivはもはやPPSレベルの構文要素ではない。スライスヘッダ構文の一例を
図9(例えば要素901)に示す。
【0088】
[0110]
図9に示す例では、cu_qp_delta_enabled_flag及びcu_chroma_qp_offset_enabled_flagがPPS内でシグナリングされる。一部の実施形態では、
図10(例えば要素1001)に示すようにcu_qp_delta_enabled_flag及びcu_chroma_qp_offset_enabled_flagがスライスヘッダ内でシグナリングされ得る。
【0089】
[0111]
図10に示す例では、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivの範囲を以下のように決定することができる。例えばcu_qp_delta_subdivの値の範囲は以下のように指定することができる。slice_typeがIに等しい場合、cu_qp_delta_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeIntraY+MaxMttDepthY)の範囲内にある(両端を含む)。そうではない(slice_typeがIに等しくない)場合、cu_qp_delta_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeInterY+MaxMttDepthY)の範囲内にある。存在しない場合、cu_qp_delta_subdivの値は0に等しいと推論することができる。
【0090】
[0112] cu_chroma_qp_offset_subdivの値の範囲は以下のように指定することができる。slice_typeがIに等しい場合、cu_chroma_qp_offset_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeIntraY+MaxMttDepthY)の範囲内にある。そうではない(slice_typeがIに等しくない)場合、cu_chroma_qp_offset_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeInterY+MaxMttDepthY)の範囲内にある。存在しない場合、cu_chroma_qp_offset_subdivの値は0に等しいと推論することができる。
【0091】
[0113] 一部の実施形態では、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivがピクチャヘッダに移され、それと同時にMaxMttDepthYを導出するために使用される構文要素もピクチャヘッダに移され、そのためcu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivの範囲はスライスレベル構文に依存しない。
【0092】
[0114] 1つのピクチャがインター及びイントラの異なるスライスの種類を有する複数のスライスを含み得るので。従ってこの実施形態では、cu_qp_delta_subdivは2つの構文要素、つまりph_cu_qp_delta_subdiv_intra_slice及びph_cu_qp_delta_subdiv_inter_sliceに分けられる。cu_chroma_qp_offset_subdivは2つの構文要素、つまりph_cu_chroma_qp_offset_subdiv_intra_slice及びph_cu_chroma_qp_offset_subdiv_inter_sliceに分けられる。ph_cu_qp_delta_subdiv_intra_slice及びph_cu_chroma_qp_offset_subdiv_intra_sliceは現ピクチャ内のイントラスライス用であり、ph_cu_qp_delta_subdiv_inter_slice及びph_cu_chroma_qp_offset_subdiv_inter_sliceは現ピクチャ内のインタスライス用である。同様に、2つの構文要素、つまりph_max_mtt_hierarchy_depth_intra_slice_luma及びph_max_mtt_hierarchy_depth_inter_sliceがイントラスライス及びインタスライスのMaxMttDepthYのためにシグナリングされる。
【0093】
[0115] ピクチャヘッダ構文の一例を
図11の表11に示す。表11に示すように、ph_cu_qp_delta_subdiv_intra_slice(例えば要素1101)、ph_cu_chroma_qp_offset_subdiv_intra_slice(例えば要素1102)、ph_cu_qp_delta_subdiv_inter_slice(例えば要素1103)、及びph_cu_chroma_qp_offset_subdiv_inter_slice(例えば要素1104)をイタリック体及び灰色で示す。
【0094】
[0116] イントラスライスに関して、ph_cu_qp_delta_subdiv_intra_sliceはcu_qp_delta_abs及びcu_qp_delta_sign_flagを伝えるイントラスライス内のコード化単位の最大cbSubdiv値を指定する。ph_cu_qp_delta_subdiv_intra_sliceの値は0~2*(CtbLog2SizeY-MinQtLog2SizeIntraY+ph_max_mtt_hierarchy_depth_intra_slice_luma)の範囲内にある。存在しない場合、ph_cu_qp_delta_subdiv_intra_sliceの値は0に等しいと推論することができる。
【0095】
[0117] ph_cu_chroma_qp_offset_subdiv_intra_sliceはcu_chroma_qp_offset_flagを伝えるイントラスライス内のコード化単位の最大cbSubdiv値を指定する。ph_cu_chroma_qp_offset_subdiv_intra_sliceの値は0~2*(CtbLog2SizeY-MinQtLog2SizeIntraY+ph_max_mtt_hierarchy_depth_intra_slice_luma)の範囲内にある。存在しない場合、ph_cu_chroma_qp_offset_subdiv_intra_sliceの値は0に等しいと推論することができる。
【0096】
[0118] 開示する実施形態では、ph_max_mtt_hierarchy_depth_intra_slice_lumaがピクチャヘッダ内でシグナリングされ、「I」に等しいsh_slice_typeを有するスライス(即ちイントラ予測スライス)内の4分木の葉のマルチタイプツリー分割から生じるコード化単位の最大階層深度を指定する。CtbLog2SizeY及びMinQtLog2SizeIntraYは以下の等式13~15を使用して導出され、これらの等式ではCtbLog2SizYは「I」に等しいslice_typeを有するスライス(即ちイントラ予測スライス)内のコード化ツリー単位のルマコード化ツリーブロックのサイズを表し、MinQtLog2SizeIntraYは「I」に等しいslice_typeを有するスライス内のコード化ツリー単位の4分木分割から生じるルマリーフブロックのルマサンプル内の最小サイズを表す。
CtbLog2SizeY=sps_log2_ctu_size_minus5+5 (等式13)
MinQtLog2SizeIntraY=sps_log2_diff_min_qt_min_cb_intra_slice_luma+MinCbLog2SizeY (等式14)
MinCbLog2SizeY=sps_log2_min_luma_coding_block_size_minus2+2 (等式15)
【0097】
[0119] sps_log2_ctu_size_minus5、sps_log2_diff_min_qt_min_cb_intra_slice_luma、及びsps_log2_min_luma_coding_block_size_minus2はSPS内でシグナリングされる構文要素である。
【0098】
[0120] 変数CuQpDeltaSubdivは、cu_qp_delta_abs及びcu_qp_delta_sign_flagを伝えるコード化単位の最大cbSubdiv値として導出され、変数CuChromaQpOffsetSubdivはcu_chroma_qp_offset_flagを伝えるコード化単位の最大cbSubdiv値として導出される。これらの2つの変数は等式16及び等式17としてそれぞれ導出される。
CuQpDeltaSubdiv=ph_cu_qp_delta_subdiv_intra_slice (等式16)
CuChromaQpOffsetSubdiv=ph_cu_chroma_qp_offset_subdiv_intra_slice (等式17)
【0099】
[0121] インタスライスに関して、ph_cu_qp_delta_subdiv_inter_sliceはインタスライス内でcu_qp_delta_abs及びcu_qp_delta_sign_flagを伝えるコード化単位の最大cbSubdiv値を指定する。ph_cu_qp_delta_subdiv_inter_sliceの値は0~2*(CtbLog2SizeY-MinQtLog2SizeInterY+ph_max_mtt_hierarchy_depth_inter_slice)の範囲内にあり得る。存在しない場合、ph_cu_qp_delta_subdiv_inter_sliceの値は0に等しいと推論することができる。ph_cu_chroma_qp_offset_subdiv_inter_sliceはcu_chroma_qp_offset_flagを伝えるインタスライス内のコード化単位の最大cbSubdiv値を指定する。ph_cu_chroma_qp_offset_subdiv_inter_sliceの値は0~2*(CtbLog2SizeY-MinQtLog2SizeInterY+ph_max_mtt_hierarchy_depth_inter_slice)の範囲内にある。存在しない場合、ph_cu_chroma_qp_offset_subdiv_inter_sliceの値は0に等しいと推論することができる。
【0100】
[0122] ph_max_mtt_hierarchy_depth_inter_sliceはピクチャヘッダ内でシグナリングすることができ、「I」に等しくないsh_slice_typeを有するスライス(即ち「P」又は「B」に等しいslice_typeを有するインター予測スライス)内の4分木の葉のマルチタイプツリー分割から生じるコード化単位の最大階層深度を指定する。CtbLog2SizY及びMinQtLog2SizeInterYは以下の等式18~20を使用して導出され、これらの等式ではCtbLog2SizYは「I」に等しくないslice_typeを有するスライス(即ち「P」又は「B」に等しいslice_typeを有するインター予測スライス)内のコード化ツリー単位のルマコード化ツリーブロックのサイズを表し、MinQtLog2SizeInterYは「I」に等しくないslice_typeを有するスライス内のコード化ツリー単位の4分木分割から生じるルマリーフブロックのルマサンプル内の最小サイズを表す。
CtbLog2SizeY=sps_log2_ctu_size_minus5+5 (等式18)
MinQtLog2SizeInterY=sps_log2_diff_min_qt_min_cb_inter_slice_luma+MinCbLog2SizeY (等式19)
MinCbLog2SizeY=sps_log2_min_luma_coding_block_size_minus2+2 (等式20)
【0101】
[0123] sps_log2_ctu_size_minus5、sps_log2_diff_min_qt_min_cb_inter_slice_luma、及びsps_log2_min_luma_coding_block_size_minus2はSPS内でシグナリングされる構文要素である。
【0102】
[0124] 変数CuQpDeltaSubdivは、cu_qp_delta_abs及びcu_qp_delta_sign_flagを伝えるコード化単位の最大cbSubdiv値として導出され、変数CuChromaQpOffsetSubdiはcu_chroma_qp_offset_flagを伝えるコード化単位の最大cbSubdiv値として導出される。これらの2つの変数は等式21及び等式22としてそれぞれ導出される。
CuQpDeltaSubdiv=ph_cu_qp_delta_subdiv_inter_slice (等式21)
CuChromaQpOffsetSubdiv=ph_cu_chroma_qp_offset_subdiv_inter_slice (等式22)
【0103】
[0125] 一部の実施形態では、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivがどちらもPPSレベルにおいて及びスライスヘッダ内でシグナリングされ得る。例えば
図12(例えば要素1201及び1202)に示すように、PPS構文内でpps_cu_qp_delta_subdiv及びpps_cu_chroma_qp_offset_subdivがシグナリングされる。
図13(例えば要素1301)に示すように、スライスヘッダ内でslice_cu_qp_delta_subdiv及びslice_cu_chroma_qp_offset_subdivもシグナリングされる。
【0104】
[0126] 一部の実施形態では、以下の例で示すようにpps_cu_qp_delta_subdiv及びpps_cu_chroma_qp_offset_subdivの範囲がシーケンスパラメータセット(SPS)の構文に依存する。この例ではpps_cu_qp_delta_subdivの値の範囲が次のように指定される:pps_cu_qp_delta_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeY+SpsMaxMttDepthY)の範囲内にある。存在しない場合、pps_cu_qp_delta_subdivの値は0に等しいと推論することができる。pps_cu_chroma_qp_offset_subdivの値の範囲は次のように指定される:pps_cu_chroma_qp_offset_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeY+SpsMaxMttDepthY)の範囲内にあり得る。存在しない場合、pps_cu_chroma_qp_offset_subdivの値は0に等しいと推論することができる。
【0105】
[0127] ctbLog2SizeYが定められる場合、MinQtLog2SizeY及びSpsMaxMttDepthYは以下のように導出することができる。
【0106】
[0128] 或るやり方では、MinQtLog2SizeYは:
min(MinQtLog2SizeIntraY, MinQtLog2SizeInterY)
又は
max(MinQtLog2SizeIntraY, MinQtLog2SizeInterY)
として導出することができる。
【0107】
[0129] MinQtLog2SizeIntraY及びMinQtLog2SizeIntraYは、VVCドラフト6に定められているような様々な技法を使用して導出できることが理解されよう。
【0108】
[0130] 代替的なやり方で、MinQtLog2SizeYの値は以下の等式23に基づいて導出することができる:
MinQtLog2SizeY=sps_log2_diff_min_qt_min_cb_luma+MinCbLog2SizeY (等式23)
【0109】
[0131] 但しsps_log2_diff_min_qt_min_cb_lumaは
図14(例えば要素1401)に示すようにSPS内でシグナリングされる。MinCbLog2SizeYは、VVCドラフト6に定められているような様々な技法を使用して導出できることが理解されよう。
【0110】
[0132] SpsMaxMttDepthに関して、或るやり方ではSpsMaxMttDepthYを以下のように導出することができる:
min(sps_max_mtt_hierarchy_depth_intra_slice_luma, sps_max_mtt_hierarchy_depth_inter_slice)
又は
max(sps_max_mtt_hierarchy_depth_intra_slice_luma, sps_max_mtt_hierarchy_depth_inter_slice)
但しsps_max_mtt_hierarchy_depth_intra_slice_luma及びsps_max_mtt_hierarchy_depth_inter_sliceはSPS内でシグナリングされ得る。
【0111】
[0133] 代替的なやり方で、SpsMaxMttDepthYの値は以下のように導出することができる:
SpsMaxMttDepthY=sps_max_mtt_depth_luma (等式24)
但しsps_max_mtt_depth_lumaは
図14(例えば要素1402)に示すようにSPS内でシグナリングされ得る。
【0112】
[0134] 上記の例では、PPS構文要素pps_cu_qp_delta_subdiv及びpps_cu_chroma_qp_offset_subdivがSPS構文に依存する。そのようなPPSとSPSとの間の構文解析の依存関係は望ましくない場合がある。この依存関係の問題に対処するために、一部の実施形態ではpps_cu_qp_delta_subdivの値の範囲を以下のように指定することができる。
【0113】
[0135] pps_cu_qp_delta_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeY+ppsMaxMttDepthY)の範囲内にある。存在しない場合、pps_cu_qp_delta_subdivの値は0に等しいと推論することができる。
【0114】
[0136] pps_cu_chroma_qp_offset_subdivの値の範囲は以下のように指定することができる。pps_cu_chroma_qp_offset_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeY+ppsMaxMttDepthY)の範囲内にある。存在しない場合、pps_cu_chroma_qp_offset_subdivの値は0に等しいと推論することができる。
【0115】
[0137] CtbLog2SizeY、MinQtLog2SizeY、及びppsMaxMttDepthYは以下のように導出される:
CtbLog2SizeY=pps_log2_ctb_size (等式25)
MinQtLog2SizeY=pps_log2_min_qt (等式26)
ppsMaxMttDepthY=pps_max_mtt_depth_luma (等式27)
【0116】
[0138] pps_log2_ctb_size、pps_log2_min_qt、及びpps_max_mtt_depth_lumaは
図15(例えば要素1501)内に示すようにPPS内でシグナリングされ得る。
【0117】
[0139] 上記の例では、slice_cu_qp_delta_subdiv及びslice_cu_chroma_qp_offset_subdivの範囲がスライスヘッダの構文に依存する。例えばslice_cu_qp_delta_subdivの値の範囲は以下のように指定することができる。slice_typeがIに等しい場合、slice_cu_qp_delta_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeIntraY+SliceMaxMttDepthY)の範囲内にある。そうではない(slice_typeがIに等しくない)場合、slice_cu_qp_delta_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeInterY+SliceMaxMttDepthY)の範囲内にある。存在しない場合、slice_cu_qp_delta_subdivの値は0又はpps_cu_qp_delta_subdivに等しいと推論することができる。
【0118】
[0140] slice_cu_chroma_qp_offset_subdivの値の範囲は以下のように指定することができる。slice_typeがIに等しい場合、slice_cu_chroma_qp_offset_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeIntraY+SliceMaxMttDepthY)の範囲内にある。そうではない(slice_typeがIに等しくない)場合、slice_cu_chroma_qp_offset_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeInterY+SliceMaxMttDepthY)の範囲内にある。存在しない場合、slice_cu_chroma_qp_offset_subdivの値は0又はpps_cu_chroma_qp_offset_subdivに等しいと推論することができる。
【0119】
[0141] CtbLog2SizeY、MinQtLog2SizeIntraY、及びMinQtLog2SizeInterYが定められる場合、SliceMaxMttDepthYは
SliceMaxMttDepthY=slice_max_mtt_hierarchy_depth_luma (等式28)
として導出することができる。
【0120】
[0142] slice_max_mtt_hierarchy_depth_lumaはスライスヘッダ内でシグナリングされ得る。
【0121】
[0143] 上記の例では、cu_qp_delta_subdivはslice_cu_qp_delta_subdivだと推論することができる。或いはcu_qp_delta_subdivはpps_cu_qp_delta_subdivだと最初に推論することができ、slice_cu_qp_delta_subdivが存在する場合、slice_cu_qp_delta_subdivがオーバライドし、cu_qp_delta_subdivはslice_cu_qp_delta_subdivだと推論することができる。cu_qp_delta_subdivの値はQpYを導出するために使用することができる。
【0122】
[0144] 更に、cu_chroma_qp_offset_subdivはslice_cu_chroma_qp_offset_subdivだと推論することができる。或いはcu_chroma_qp_offset_subdivはpps_cu_chroma_qp_offset_subdivだと最初に推論することができ、slice_cu_chroma_qp_offset_subdivが存在する場合、slice_cu_chroma_qp_offset_subdivがオーバライドし、cu_chroma_qp_offset_subdivはslice_cu_chroma_qp_offset_subdivだと推論することができる。cu_chroma_qp_offset_subdivの値はQpCb、QpCr、QPCbCrを導出するために使用することができる。
【0123】
[0145] 一部の実施形態では、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivがどちらもSPSレベルにおいて及びスライスヘッダ内でシグナリングされ得る。
図16(例えば要素1601)内に示すように、SPS内でsps_cu_qp_delta_subdiv及びsps_cu_chroma_qp_offset_subdivをシグナリングすることができ、
図17(例えば要素1701)に示すように、スライスヘッダ内でslice_cu_qp_delta_subdiv及びslice_cu_chroma_qp_offset_subdivがシグナリングされる。
【0124】
[0146] 一部の実施形態では、sps_cu_qp_delta_subdiv及びsps_cu_chroma_qp_offset_subdivの範囲がSPSの構文に依存する。例えばsps_cu_qp_delta_subdivの値の範囲は以下のように指定することができる。sps_cu_qp_delta_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeY+SpsMaxMttDepthY)の範囲内にある。存在しない場合、sps_cu_qp_delta_subdivの値は0に等しいと推論することができる。sps_cu_chroma_qp_offset_subdivの値の範囲は以下のように指定される。sps_cu_chroma_qp_offset_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeY+SpsMaxMttDepthY)の範囲内にある。存在しない場合、sps_cu_chroma_qp_offset_subdivの値は0に等しいと推論することができる。
【0125】
[0147] ctbLog2SizeYが定められる場合、MinQtLog2SizeY及びSpsMaxMttDepthYを以下のように導出することができる。
【0126】
[0148] 或るやり方では、MinQtLog2SizeYは
min(MinQtLog2SizeIntraY, MinQtLog2SizeInterY)
又は
max(MinQtLog2SizeIntraY, MinQtLog2SizeInterY)
として導出することができる。
【0127】
[0149] 但しMinQtLog2SizeIntraY及びMinQtLog2SizeIntraYは、VVCドラフト6に定められているような様々な技法を使用して導出することができる。
【0128】
[0150] 代替的なやり方で、MinQtLog2SizeYの値は以下の等式29を使用して導出することができる。
MinQtLog2SizeY=sps_log2_diff_min_qt_min_cb_luma+MinCbLog2SizeY (等式29)
【0129】
[0151] sps_log2_diff_min_qt_min_cb_lumaは、
図18(例えば要素1801)に示すようにSPS内でシグナリングされ得る。MinCbLog2SizeYは、VVCドラフト6に定められているような様々な技法を使用して導出できることが理解されよう。
【0130】
[0152] SpsMaxMttDepthYに関して、或るやり方ではSpsMaxMttDepthYは
min(sps_max_mtt_hierarchy_depth_intra_slice_luma, sps_max_mtt_hierarchy_depth_inter_slice)
又は
max(sps_max_mtt_hierarchy_depth_intra_slice_luma, sps_max_mtt_hierarchy_depth_inter_slice)
として導出することができる。
【0131】
[0153] sps_max_mtt_hierarchy_depth_intra_slice_luma及びsps_max_mtt_hierarchy_depth_inter_sliceはSPS内でシグナリングされ得る。
【0132】
[0154] 代替的なやり方で、SpsMaxMttDepthYは
SpsMaxMttDepthY=sps_max_mtt_depth_luma (等式30)
として導出することができる。
【0133】
[0155] sps_max_mtt_depth_lumaは、
図18(例えば要素1802)に示すようにSPS内でシグナリングされ得る。
【0134】
[0156] 更に、上記の例ではslice_cu_qp_delta_subdiv及びslice_cu_chroma_qp_offset_subdivの範囲がスライスヘッダの構文に依存する。例えばslice_cu_qp_delta_subdivの値の範囲は以下のように指定され得る。slice_typeがIに等しい場合、slice_cu_qp_delta_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeIntraY+SliceMaxMttDepthY)の範囲内にある。そうではない(slice_typeがIに等しくない)場合、slice_cu_qp_delta_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeInterY+SliceMaxMttDepthY)の範囲内にある。存在しない場合、slice_cu_qp_delta_subdivの値は0又はsps_cu_qp_delta_subdivに等しいと推論することができる。
【0135】
[0157] slice_cu_chroma_qp_offset_subdivの値は以下のように指定され得る。slice_typeがIに等しい場合、slice_cu_chroma_qp_offset_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeIntraY+SliceMaxMttDepthY)の範囲内にある。そうではない(slice_typeがIに等しくない)場合、slice_cu_chroma_qp_offset_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeInterY+SliceMaxMttDepthY)の範囲内にある。存在しない場合、slice_cu_chroma_qp_offset_subdivの値は0又はsps_cu_chroma_qp_offset_subdivに等しいと推論することができる。
【0136】
[0158] CtbLog2SizeY、MinQtLog2SizeIntraY、及びMinQtLog2SizeInterYが定められる場合、SliceMaxMttDepthYは
SliceMaxMttDepthY=slice_max_mtt_hierarchy_depth_luma (等式31)
として導出することができる。
【0137】
[0159] slice_max_mtt_hierarchy_depth_lumaはスライスヘッダ内でシグナリングされ得る。
【0138】
[0160] 上記の例では、cu_qp_delta_subdivはslice_cu_qp_delta_subdivだと推論することができる。或いはcu_qp_delta_subdivはsps_cu_qp_delta_subdivだと最初に推論することができ、slice_cu_qp_delta_subdivが存在する場合、slice_cu_qp_delta_subdivがオーバライドし、cu_qp_delta_subdivはslice_cu_qp_delta_subdivだと推論することができる。Cu_qp_delta_subdivはQpYを導出するために使用することができる。
【0139】
[0161] 更に、上記の例ではcu_chroma_qp_offset_subdivをslice_cu_chroma_qp_offset_subdivだと推論することができる。或いはcu_chroma_qp_offset_subdivはsps_cu_chroma_qp_offset_subdivだと最初に推論することができ、slice_cu_chroma_qp_offset_subdivが存在する場合、slice_cu_chroma_qp_offset_subdivがオーバライドし、cu_chroma_qp_offset_subdivをslice_cu_chroma_qp_offset_subdivだと推論することができる。Cu_chroma_qp_offset_subdivはQpCb、QpCr、QPCbCrを導出するために使用することができる。
【0140】
[0162] 一部の実施形態では、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivの構文がPPSレベルにおいてシグナリングされ得る。しかし、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivの範囲制限は、それらがスライス構文に依存しないように変更することができる。
【0141】
[0163] 一例として、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivは
図5に示すようにPPS内でシグナリングされ得る。cu_qp_delta_subdivの値の範囲は以下のように指定することができる。cu_qp_delta_subdivの範囲は0~2*(CtbLog2SizeY-MinQtLog2SizeY+MaxMttDepthY)の範囲内にある。存在しない場合、cu_qp_delta_subdivの値は0に等しいと推論することができる。cu_chroma_qp_offset_subdivの値の範囲は以下のように指定することができる。cu_chroma_qp_offset_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeY+MaxMttDepthY)の範囲内にある。存在しない場合、cu_chroma_qp_offset_subdivの値は0に等しいと推論することができる。
【0142】
[0164] ctbLog2SizeYが定められる場合、MinQtLog2SizeY及びMaxMttDepthYはSPSレベル上で推論することができる。例えばMaxMttDepthYは
min(sps_max_mtt_hierarchy_depth_intra_slice_luma, sps_max_mtt_hierarchy_depth_inter_slice)
又は
max(sps_max_mtt_hierarchy_depth_intra_slice_luma, sps_max_mtt_hierarchy_depth_inter_slice)
として導出することができる。
【0143】
[0165] sps_max_mtt_hierarchy_depth_intra_slice_luma及びsps_max_mtt_hierarchy_depth_inter_sliceはSPS内でシグナリングされ得る。
【0144】
[0166] 代替的なやり方で、MaxMttDepthYは
MaxMttDepthY=sps_max_mtt_depth_luma
として導出することができる。
【0145】
[0167] sps_max_mtt_depth_lumaは、
図19(例えば要素1901)に示すようにSPS内でシグナリングされ得る。
【0146】
[0168] 或るやり方では、MinQtLog2SizeYを
min(MinQtLog2SizeIntraY, MinQtLog2SizeInterY)
又は
max(MinQtLog2SizeIntraY, MinQtLog2SizeInterY)
として導出することができる。
【0147】
[0169] MinQtLog2SizeIntraY及びMinQtLog2SizeIntraYは、VVCドラフト6に定められているような様々な技法を使用して導出できることが理解されよう。
【0148】
[0170] 代替的なやり方で、MinQtLog2SizeYの値は以下の等式32に基づいて導出することができる:
MinQtLog2SizeY=sps_log2_diff_min_qt_min_cb_lima+MinCbLog2SizeY (等式32)
【0149】
[0171] sps_log2_diff_min_qt_min_cb_lumaは、
図13(例えば要素1301)に示すようにSPS内でシグナリングされる。MinCbLog2SizeYは、VVCドラフト6に定められているような様々な技法を使用して導出できることが理解されよう。
【0150】
[0172] 上記の例に基づき、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivの範囲はスライスヘッダレベルにおいてオーバライドされない。
【0151】
[0173] 一部の実施形態では、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivがPPSレベルにおいてシグナリングされ得る。しかしcu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivの範囲制限は、それらがスライス構文に依存しないように固定することができる。
【0152】
[0174] 例えばcu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivは、
図5に示すようにPPS内でシグナリングされ得る。cu_qp_delta_subdivの値の範囲は以下のように指定することができる。cu_qp_delta_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeY+MaxMttDepthY)の範囲内にある。存在しない場合、cu_qp_delta_subdivの値は0に等しいと推論することができる。cu_chroma_qp_offset_subdivの値の範囲は以下のように指定することができる。cu_chroma_qp_offset_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeY+MaxMttDepthY)の範囲内にある。存在しない場合、cu_chroma_qp_offset_subdivの値は0に等しいと推論することができる。
【0153】
[0175] 但しCtbLog2SizeY、MinQtLog2SizeY、及びMaxMttDepthYは以下のやり方で導出することができる:CtbLog2SizeY/MinQtLog2SizeY/MaxMttDepthYはプロファイルによって指定することができ、又はCtbLog2SizeY/MinQtLog2SizeY/MaxMttDepthYは固定された数値であり得る。
【0154】
[0176] 上記の例に基づき、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivの範囲はスライスヘッダレベルにおいてオーバライドされない。
【0155】
[0177] 一部の実施形態では、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivは、
図5に示すようにPPS内でシグナリングされ得る。cu_qp_delta_subdivの値の範囲は以下のように指定することができる。cu_qp_delta_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeY+MaxMttDepthY)の範囲内にある。存在しない場合、cu_qp_delta_subdivの値は0に等しいと推論することができる。cu_chroma_qp_offset_subdivの値の範囲は以下のように指定される。cu_chroma_qp_offset_subdivの値は0~2*(CtbLog2SizeY-MinQtLog2SizeY+MaxMttDepthY)の範囲内にある。存在しない場合、cu_chroma_qp_offset_subdivの値は0に等しいと推論することができる。
【0156】
[0178] CtbLog2SizeY、MinQtLog2SizeY、及びMaxMttDepthYはPPSレベル上で推論することができる。例えば
CtbLog2SizeY=pps_log2_ctb_size (等式33)
MinQtLog2SizeY=pps_log2_min_qt (等式34)
MaxMttDepthY=pps_max_mtt_depth_luma (等式35)
【0157】
[0179] pps_log2_ctb_size、pps_log2_min_qt、及びpps_max_mtt_depth_lumaは、
図20(例えば要素2001)に示すようにPPS内でシグナリングされる。
【0158】
[0180] 上記の例に基づき、cu_qp_delta_subdiv及びcu_chroma_qp_offset_subdivの範囲はスライスヘッダレベルにおいてオーバライドされない。
【0159】
[0181]
図21は、本開示の実施形態と合致する、映像コンテンツを処理するためのコンピュータによって実装される方法2100の流れ図である。
【0160】
[0182] ステップ2102で、コード化ブロックの深度に関連する深度パラメータを受信することができる。深度パラメータは、例えばルマブロックのマルチタイプツリー階層の最大深度(例えば「slice_max_mtt_hierarchy_depth_luma」)から導出される変数「MaxMttDepthY」であり得る。一部の実施形態では、「slice_max_mtt_hierarchy_depth_luma」はコード化ブロックに関連するスライスヘッダ内でシグナリングされ得る。
【0161】
[0183] コード化ブロックはスライスに関連し得る。スライスはイントラ予測又はインター予測に関連することができる。スライスがイントラ予測に関連することに応じて、イントラ予測に関連するスライスについてデルタQP値又はクロマQPオフセット値を決定することができる。そうではなくスライスがインター予測に関連することに応じて、インター予測に関連するスライスについてデルタQP値又はクロマQPオフセット値を決定することができる。例えば「slice_type」が「I」に等しい(スライスがイントラ予測に関連することを示す)場合、「cu_qp_delta_subdiv」の値は0~2*(CtbLog2SizeY-MinQtLog2SizeIntraY+MaxMttDepthY)の範囲内にある。そうではなく「slice_type」が「I」に等しくない(スライスがインター予測に関連することを示す)場合、「cu_qp_delta_subdiv」の値は0~2*(CtbLog2SizeY-MinQtLog2SizeInterY+MaxMttDepthY)の範囲内にある。更に一例として、「slice_type」が「I」に等しい場合、「cu_chroma_qp_offset_subdiv」の値は0~2*(CtbLog2SizeY-MinQtLog2SizeIntraY+MaxMttDepthY)の範囲内にある。そうではなく「slice_type」が「I」に等しくない場合、「cu_chroma_qp_offset_subdiv」の値は0~2*(CtbLog2SizeY-MinQtLog2SizeInterY+MaxMttDepthY)の範囲内にある。
【0162】
[0184] 一部の実施形態では、深度パラメータがピクチャヘッダ内でシグナリングされ得る。ピクチャは複数のスライスを含み得ることが理解されよう。イントラ予測に関連するスライスでは、イントラ予測に関連するスライスについて対応するデルタQP値又はクロマQPオフセット値を決定することができる。インター予測に関連するスライスでは、インター予測に関連するスライスについて対応するデルタQP値又はクロマQPオフセット値を決定することができる。例えば
図11の表11に関して論じるように、イントラ予測に関連するスライスについてデルタQP値及びクロマQPオフセット値を導出するために、ph_cu_qp_delta_subdiv_intra_slice及びph_cu_chroma_qp_offset_subdiv_intra_sliceがピクチャヘッダ内でシグナリングされる。インター予測に関連するスライスについてデルタQP値及びクロマQPオフセット値を導出するために、ph_cu_qp_delta_subdiv_inter_slice及びph_cu_chroma_qp_offset_subdiv_inter_sliceがピクチャヘッダ内でシグナリングされる。
【0163】
[0185] ステップ2104で、コード化ブロックの深度に基づいてデルタ量子化パラメータ(QP)値又はクロマQPオフセット値の少なくとも1つを決定することができる。上記で論じたように、デルタQP値は「cu_qp_delta_subdiv」に基づいて決定することができ、クロマQPオフセット値は「cu_chroma_qp_offset_subdiv」に基づいて決定することができ、「cu_qp_delta_subdiv」及び「cu_chroma_qp_offset_subdiv」は変数「MaxMttDepthY」に基づいて決定することができる。
【0164】
[0186] ステップ2106で、決定したデルタQP値に基づいてルマQP値を導出することができ、決定したクロマQPオフセット値に基づいてクロマQP値を導出することができる。
【0165】
[0187] ステップ2108で、導出したルマQP値及び導出したクロマQP値に基づいてコード化ブロックを処理することができる。
【0166】
[0188] 一部の実施形態では、命令を含む非一時的コンピュータ可読記憶媒体も提供され、命令は、上記の方法を実行するための装置(開示する符号器及び復号器等)によって実行され得る。一般的な非一時的媒体は、例えば、フロッピ(登録商標)ディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ若しくは他の任意の磁気データ記憶媒体、CD-ROM、他の任意の光学データ記憶媒体、孔のパターンを有する任意の物理媒体、RAM、PROM及びEPROM、フラッシュEPROM若しくは他の任意のフラッシュメモリ、NVRAM、キャッシュ、レジスタ、他の任意のメモリチップ若しくはカートリッジ及びそれらのもののネットワーク化されたバージョンを含む。装置は、1つ又は複数のプロセッサ(CPU)、入力/出力インタフェース、ネットワークインタフェース及び/又はメモリを含み得る。
【0167】
[0189] 実施形態は、以下の条項を使用して更に記載することができる:
1.コンピュータによって実装される方法であって、
コード化映像データを含むビットストリームを受信すること、
コード化ブロックの第1のパラメータを決定すること、
デルタ量子化パラメータ(QP)値又はクロマQPオフセット値に関連する1つ又は複数の第2のパラメータを第1のパラメータに従って決定すること、及び
デルタQP値又はクロマQPオフセット値の少なくとも1つを1つ又は複数の第2のパラメータに従って決定すること
を含む、方法。
2.コード化ブロックの第1のパラメータを決定することは、
コード化ブロックがイントラ予測スライス又はインター予測スライスに関連するかどうかを判定すること、及び
コード化ブロックがイントラ予測スライスに関連することに応じて、第1のパラメータをイントラ予測スライスに関連するパラメータであるように決定すること、又は
コード化ブロックがインター予測スライスに関連することに応じて、第1のパラメータをインター予測スライスに関連するパラメータであるように決定すること
を含む、条項1に記載の方法。
3.第1のパラメータがコード化ブロックに関連するスライスヘッダ内でシグナリングされる、条項1に記載の方法。
4.第1のパラメータがコード化ブロックに関連するピクチャヘッダ内でシグナリングされる、条項1に記載の方法。
5.デルタQP値に基づいてルマQP値を決定すること、
クロマQPオフセット値に基づいてクロマQP値を決定すること、及び
ルマQP値及びクロマQP値に基づいてコード化ブロックを処理すること
を更に含む、条項1に記載の方法。
6.映像コンテンツを処理するためのシステムであって、
1組の命令を記憶するメモリと、
少なくとも1つのプロセッサとを含み、少なくとも1つのプロセッサは、
コード化映像データを含むビットストリームを受信すること、
コード化ブロックの第1のパラメータを決定すること、
デルタ量子化パラメータ(QP)値又はクロマQPオフセット値に関連する1つ又は複数の第2のパラメータを第1のパラメータに従って決定すること、及び
デルタQP値又はクロマQPオフセット値の少なくとも1つを1つ又は複数の第2のパラメータに従って決定すること
をシステムに行わせるように、1組の命令を実行するように構成される、システム。
7.少なくとも1つのプロセッサが、
コード化ブロックがイントラ予測スライス又はインター予測スライスに関連するかどうかを判定すること、及び
コード化ブロックがイントラ予測スライスに関連することに応じて、第1のパラメータをイントラ予測スライスに関連するパラメータであるように決定すること、又は
コード化ブロックがインター予測スライスに関連することに応じて、第1のパラメータをインター予測スライスに関連するパラメータであるように決定すること
をシステムに更に行わせるように、1組の命令を実行するように構成される、条項6に記載のシステム。
8.第1のパラメータがコード化ブロックに関連するスライスヘッダ内でシグナリングされる、条項6に記載のシステム。
9.第1のパラメータがコード化ブロックに関連するピクチャヘッダ内でシグナリングされる、条項6に記載のシステム。
10.少なくとも1つのプロセッサが、
デルタQP値に基づいてルマQP値を決定すること、
クロマQPオフセット値に基づいてクロマQP値を決定すること、及び
ルマQP値及びクロマQP値に基づいてコード化ブロックを処理すること
をシステムに更に行わせるように、1組の命令を実行するように構成される、条項6に記載のシステム。
11.コンピュータシステムの少なくとも1つのプロセッサによって実行可能な命令を記憶する非一時的コンピュータ可読媒体であって、命令を実行することが、
コード化映像データを含むビットストリームを受信すること、
コード化ブロックの第1のパラメータを決定すること、
デルタ量子化パラメータ(QP)値又はクロマQPオフセット値に関連する1つ又は複数の第2のパラメータを第1のパラメータに従って決定すること、及び
デルタQP値又はクロマQPオフセット値の少なくとも1つを1つ又は複数の第2のパラメータに従って決定すること
を含む方法をコンピュータシステムに行わせる、非一時的コンピュータ可読媒体。
12.方法は、
コード化ブロックがイントラ予測スライス又はインター予測スライスに関連するかどうかを判定すること、及び
コード化ブロックがイントラ予測スライスに関連することに応じて、第1のパラメータをイントラ予測スライスに関連するパラメータであるように決定すること、又は
コード化ブロックがインター予測スライスに関連することに応じて、第1のパラメータをインター予測スライスに関連するパラメータであるように決定すること
を更に含む、条項11に記載の非一時的コンピュータ可読媒体。
13.第1のパラメータがコード化ブロックに関連するスライスヘッダ内でシグナリングされる、条項11に記載の非一時的コンピュータ可読媒体。
14.第1のパラメータがコード化ブロックに関連するピクチャヘッダ内でシグナリングされる、条項11に記載の非一時的コンピュータ可読媒体。
15.方法が、
デルタQP値に基づいてルマQP値を決定すること、
クロマQPオフセット値に基づいてクロマQP値を決定すること、及び
ルマQP値及びクロマQP値に基づいてコード化ブロックを処理すること
を更に含む、条項11に記載の非一時的コンピュータ可読媒体。
【0168】
[0190] 本明細書の「第1の」及び「第2の」等の関係語は、あるエンティティ又は操作を別のエンティティ又は操作と区別するために使用されるに過ぎず、それらのエンティティ又は操作間のいかなる実際の関係又は順序も必要としないか又は含意しないことに留意すべきである。更に、「含む」、「有する」、「含有する」及び「包含する」並びに他の同様の形式の用語は、意味の点で均等であることを意図し、これらの用語の何れか1つの後に続くアイテムがかかるアイテムの網羅的列挙であることを意図していないか、又は列挙するアイテムのみに限定されることを意図していない点で非限定的であることを意図する。
【0169】
[0191] 本明細書で使用するとき、別段の定めがない限り、「又は」という語は、実行不可能な場合を除いて、あり得る全ての組み合わせを包含する。例えば、あるデータベースがA又はBを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、そのデータベースは、A若しくはB又はA及びBを含むことができる。第2の例として、あるデータベースがA、B又はCを含み得ると述べた場合、別段の定めがない限り又は実行不可能でない限り、そのデータベースは、A、若しくはB、若しくはC、又はA及びB、又はA及びC、又はB及びC、又はA、及びB、及びCを含むことができる。
【0170】
[0192] 上記で説明した実施形態は、ハードウェア若しくはソフトウェア(プログラムコード)又はハードウェアとソフトウェアとの組み合わせによって実装できることが理解されるであろう。ソフトウェアによって実装される場合、ソフトウェアは、上記のコンピュータ可読媒体に記憶することができる。ソフトウェアは、プロセッサによって実行されるとき、開示する方法を実行することができる。本開示で説明した計算ユニット及び他の機能ユニットは、ハードウェア若しくはソフトウェア又はハードウェアとソフトウェアとの組み合わせによって実装することができる。上記のモジュール/ユニットの複数を1つのモジュール/ユニットとして組み合わせることができ、上記のモジュール/ユニットのそれぞれを複数のサブモジュール/サブユニットに更に分割できることも当業者であれば理解するであろう。
【0171】
[0193] 上記の本明細書では、実装形態ごとに変わり得る多数の具体的な詳細に関して実施形態を説明してきた。記載した実施形態に対する一定の適応形態及び修正形態がなされ得る。本明細書を検討し、本明細書で開示する本発明を実践することで他の実施形態が当業者に明らかになり得る。本明細書及び例は、専ら例示として検討され、本開示の真の範囲及び趣旨は、添付の特許請求の範囲によって示されることを意図する。図中に示すステップの順序は、例示目的に過ぎず、特定のステップの順序に限定されることを意図しない。そのため、それらのステップは、同じ方法を実装しながら異なる順序で実行できることを当業者であれば理解することができる。
【0172】
[0194] 図面及び本明細書で例示的実施形態を開示してきた。しかし、それらの実施形態に対する多くの改変形態及び修正形態がなされ得る。従って、特定の用語を使用したが、それらの用語は、限定目的ではなく、全般的及び説明的な意味で使用されたものに過ぎない。
【国際調査報告】