▶ フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．の特許一覧
特許7535068イントラ下位区分のためのコーディングを含むデコーダ、エンコーダ、および方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-06
(45)【発行日】2024-08-15
(54)【発明の名称】イントラ下位区分のためのコーディングを含むデコーダ、エンコーダ、および方法
(51)【国際特許分類】
H04N 19/122 20140101AFI20240807BHJP
H04N 19/157 20140101ALI20240807BHJP
H04N 19/176 20140101ALI20240807BHJP
H04N 19/593 20140101ALI20240807BHJP
【ＦＩ】
H04N19/122
H04N19/157
H04N19/176
H04N19/593
【請求項の数】
11
(21)【出願番号】P 2021577082
(86)(22)【出願日】2020-06-23
(65)【公表番号】
(43)【公表日】2022-08-31
(86)【国際出願番号】 EP2020067549
(87)【国際公開番号】W WO2020260313
(87)【国際公開日】2020-12-30
【審査請求日】2022-02-22
(31)【優先権主張番号】19182425.9
(32)【優先日】2019-06-25
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】19191601.4
(32)【優先日】2019-08-13
(33)【優先権主張国・地域又は機関】EP
(31)【優先権主張番号】19199382.3
(32)【優先日】2019-09-24
(33)【優先権主張国・地域又は機関】EP
(73)【特許権者】
【識別番号】500242786
【氏名又は名称】フラウンホファー ゲセルシャフト ツール フェールデルンク ダー アンゲヴァンテン フォルシュンク エー．ファオ．
(74)【代理人】
【識別番号】110002952
【氏名又は名称】弁理士法人鷲田国際特許事務所
(74)【代理人】
【識別番号】100108453
【弁理士】
【氏名又は名称】村山 靖彦
(74)【代理人】
【識別番号】100110364
【弁理士】
【氏名又は名称】実広 信哉
(74)【代理人】
【識別番号】100133400
【弁理士】
【氏名又は名称】阿部 達彦
(72)【発明者】
【氏名】サンティアゴ・デ・ルクサン・エルナンデス
(72)【発明者】
【氏名】ヴァレリー・ゲオルク
(72)【発明者】
【氏名】ガヤトリ・ヴェヌゴパル
(72)【発明者】
【氏名】イェンス・ブランデンブルク
(72)【発明者】
【氏名】ベンヤミン・ブロス
(72)【発明者】
【氏名】ハイコ・シュヴァルツ
(72)【発明者】
【氏名】デトレフ・マルペ
(72)【発明者】
【氏名】トーマス・ヴィーガント
【審査官】田中 純一
(56)【参考文献】
【文献】国際公開第２０１８／０３７７３７（ＷＯ，Ａ１）
【文献】特表２０２２－５１５８１３（ＪＰ，Ａ）
【文献】特表２０２２－５２２５７６（ＪＰ，Ａ）
【文献】特表２０２２－５２２０１３（ＪＰ，Ａ）
【文献】国際公開第２０１９／０２７３０２（ＷＯ，Ａ１）
【文献】特表２０２０－５２９７８２（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０２５２６０８（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０２０／０３８２７７７（ＵＳ，Ａ１）
【文献】X. Zhao, et al.，TU-level non-separable secondary transform，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 2nd Meeting: San Diego, USA, 20-26 February 2016，JVET-B0059，URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/2_San%20Diego/wg11/JVET-B0059-v2.zip，2016年02月21日，pp.1-5，学術文献等ＤＢ
【文献】Benjamin Bross, et al.，Versatile Video Coding (Draft 4)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 13th Meeting: Marrakech, MA, 9-18 Jan. 2019，JVET-N0207-V4 > JVET-M1001-v7，URL:http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/14_Geneva/wg11/JVET-N0207-v4.zip，2019年03月25日，pp. 87-92，学術文献等ＤＢ
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ７／１２
Ｈ０４Ｎ １９／００ － １９／９８
(57)【特許請求の範囲】
【請求項1】
ピクチャ(110)を復号するためのデコーダ(20)であって、各ブロック(120)が予測タイプの集合(114)のうちの関連する予測タイプに割り振られるように、イントラ予測(116)およびインター予測(118)を含む予測タイプの前記集合(114)への、前記ピクチャ(110)が下位分割されるブロック(120)の粒度でのピクチャ(110)の割り振りを、前記ピクチャ(110)がコーディングされるデータストリーム(112)から導出し、
前記イントラ予測(116)が割り振られるイントラ予測されるブロック(120)の各々に関して、イントラ予測モードの集合(122)のうちの関連するイントラ予測モード(125)を前記データストリーム(112)から導出し、
前記関連するイントラ予測モード(125)が前記イントラ予測モードの集合(122)の所定の部分集合(124)に含まれる前記イントラ予測されるブロック(120)の各々に関して、
区分(130)へのそれぞれの前記イントラ予測されるブロック(120)の区分(128)に関する情報(126)を前記データストリーム(112)から導出し、
それぞれの前記イントラ予測されるブロック(120)に割り振られた前記関連するイントラ予測モード(125)に応じたやり方でそれぞれの前記イントラ予測されるブロック(120)の各区分(130)をイントラ予測し、
それぞれの前記イントラ予測されるブロック（120）の前記各区分（130）のすべてに関して非ゼロ変換係数が所定のエリア（140）の外にないかどうかを決定し、
前記各区分(130)のすべてに関して非ゼロの変換係数が所定のエリアの外にないと決定された場合、それぞれの前記イントラ予測されるブロック(120)の前記各区分(130)の予測残差を生成するために、2次変換を使用しない、または第1の2次変換(Ts)を使用する、または第２の2次変換(Ts)を使用することを示す2次変換インデックス(112f)を復号し、
前記2次変換インデックスに従って、それぞれの前記イントラ予測されるブロック(120)の前記各区分(130)に関して、前記各区分(130)の空間領域の予測残差信号(134)に関連付けられる区分に固有の予測残差信号(132)を前記データストリーム(112)から導出すること
によってそれぞれの前記イントラ予測されるブロック(120)に関する予測残差を前記データストリーム(112)から導出し、
それぞれの前記イントラ予測されるブロック(120)の前記予測残差と、それぞれの前記イントラ予測されるブロック(120)に割り振られた前記予測タイプ(125)を使用して取得された予測信号とを使用してそれぞれの前記イントラ予測されるブロック(120)を再構築するように構成された、デコーダ(20)。
【請求項2】
各区分(130)のすべてに関して非ゼロの変換係数が所定のエリアの外にあると決定されなかった場合、前記2次変換インデックス(112f)は使用されないと推測するように構成された、請求項1に記載のデコーダ(20)。
【請求項3】
すべての区分(130)のために前記2次変換インデックス(112f)によって示された変換を使用するように構成された、請求項1に記載のデコーダ(20)。
【請求項4】
前記関連するイントラ予測モード(125)および区分(130)のサイズ、および前記区分(128)に応じて、ならびに/またはそれぞれの前記イントラ予測されるブロック(120)に関して前記データストリーム(112)内で送信された前記2次変換インデックス(112f)に応じて前記2次変換(Ts)を選択するように構成された、請求項1から3のいずれか一項に記載のデコーダ(20)。
【請求項5】
それぞれの前記イントラ予測されるブロック(120)のすべての区分(130)に関して1回、選択を実行するように構成された、請求項4に記載のデコーダ(20)。
【請求項6】
前記関連するイントラ予測モードに応じたやり方で候補2次変換の集合のうちの1つまたは複数の候補2次変換の部分集合を選択し、1つまたは複数の候補2次変換の前記部分集合が2つ以上の候補2次変換を含む場合、それぞれの前記イントラ予測されるブロック(120)に関して前記データストリーム(112)内で送信された前記2次変換インデックス(112f)に応じて1つまたは複数の候補2次変換の前記部分集合のうちの前記2次変換(Ts)を選択するように構成された請求項4または5に記載のデコーダ(20)。
【請求項7】
前記2次変換が、非分離可能変換である、請求項1から6のいずれか一項に記載のデコーダ(20)。
【請求項8】
ピクチャ(110)を符号化するためのエンコーダであって、各ブロックが予測タイプの集合(114)のうちの関連する予測タイプに割り振られるように、イントラ予測(116)およびインター予測(118)を含む予測タイプの前記集合(114)への、前記ピクチャ(110)が下位分割されるブロックの粒度でのピクチャ(110)の割り振りを、前記ピクチャ(110)がコーディングされるデータストリーム(112)に符号化し、
前記イントラ予測が割り振られるイントラ予測されるブロック(120)の各々に関して、イントラ予測モードの集合(122)のうちの関連するイントラ予測モード(125)を前記データストリーム(112)に符号化し、
前記関連するイントラ予測モード(125)が前記イントラ予測モードの集合(122)の所定の部分集合(124)に含まれる前記イントラ予測されるブロック(120)の各々に関して、
区分(130)へのそれぞれの前記イントラ予測されるブロック(120)の区分(128)に関する情報(126)を前記データストリーム(112)に符号化し、
それぞれの前記イントラ予測されるブロック(120)に割り振られた前記関連するイントラ予測モード(125)に応じたやり方でそれぞれの前記イントラ予測されるブロック(120)の各区分(130)をイントラ予測し、
それぞれの前記イントラ予測されるブロック（120）の前記各区分（130）のすべてに関して非ゼロ変換係数が所定のエリア（140）の外にないかどうかを決定し、
前記各区分(130)のすべてに関して非ゼロの変換係数が所定のエリアの外にないと決定された場合、それぞれの前記イントラ予測されるブロック(120)の前記各区分(130)の予測残差を生成するために、2次変換を使用しない、または第1の2次変換(Ts)を使用する、または第２の2次変換(Ts)を使用することを示す2次変換インデックス(112f)を符号化し、
前記2次変換インデックスに従って、それぞれの前記イントラ予測されるブロック(120)の前記各区分(130)に関して、前記各区分(130)の空間領域の予測残差信号(134)に関連付けられる区分に固有の予測残差信号(132)を前記データストリーム(112)に符号化することによってそれぞれの前記イントラ予測されるブロック(120)に関する予測残差を各ブロックに関して前記データストリーム(112)に符号化するように構成され、
それぞれの前記イントラ予測されるブロックが、それぞれの前記イントラ予測されるブロックの前記予測残差と、それぞれの前記イントラ予測されるブロックに割り振られた前記予測タイプを使用して取得された予測信号とを使用して再構築可能である、エンコーダ。
【請求項9】
ピクチャ(110)を復号するための方法であって、各ブロックが予測タイプの集合(114)のうちの関連する予測タイプに割り振られるように、イントラ予測(116)およびインター予測(118)を含む予測タイプの前記集合(114)への、前記ピクチャ(110)が下位分割されるブロックの粒度でのピクチャ(110)の割り振りを、前記ピクチャ(110)がコーディングされるデータストリーム(112)から導出するステップと、
前記イントラ予測が割り振られるイントラ予測されるブロック(120)の各々に関して、イントラ予測モードの集合(122)のうちの関連するイントラ予測モード(125)を前記データストリーム(112)から導出するステップと、
前記関連するイントラ予測モード(125)が前記イントラ予測モードの集合(122)の所定の部分集合(124)に含まれる前記イントラ予測されるブロック(120)の各々に関して、
区分(130)へのそれぞれの前記イントラ予測されるブロック(120)の区分(128)に関する情報(126)を前記データストリーム(112)から導出するステップと、
それぞれの前記イントラ予測されるブロック(120)に割り振られた前記関連するイントラ予測モード(125)に応じたやり方でそれぞれの前記イントラ予測されるブロック(120)の各区分(130)をイントラ予測するステップと、
それぞれの前記イントラ予測されるブロック（120）の前記各区分（130）のすべてに関して非ゼロ変換係数が所定のエリア（140）の外にないかどうかを決定するステップと、
前記各区分(130)のすべてに関して非ゼロの変換係数が所定のエリアの外にないと決定された場合、それぞれの前記イントラ予測されるブロック(120)の前記各区分(130)の予測残差を生成するために、2次変換を使用しない、または第1の2次変換(Ts)を使用する、または第２の2次変換(Ts)を使用することを示す2次変換インデックス(112f)を復号するステップと、
前記2次変換インデックスに従って、それぞれの前記イントラ予測されるブロック(120)の前記各区分(130)に関して、前記各区分(130)の空間領域の予測残差信号(134)に関連付けられる区分に固有の予測残差信号(132)を前記データストリーム(112)から導出することによってそれぞれのイントラ予測されるブロック(120)に関する予測残差を前記データストリーム(112)から導出するステップと、
それぞれの前記イントラ予測されるブロックの前記予測残差と、それぞれの前記イントラ予測されるブロックに割り振られた前記予測タイプを使用して取得された予測信号とを使用してそれぞれの前記イントラ予測されるブロックを再構築するステップとを含む、方法。
【請求項10】
ピクチャ(110)を符号化するための方法であって、各ブロックが予測タイプの集合(114)のうちの関連する予測タイプに割り振られるように、イントラ予測(116)およびインター予測(118)を含む予測タイプの前記集合(114)への、前記ピクチャ(110)が下位分割されるブロックの粒度でのピクチャ(110)の割り振りを、前記ピクチャ(110)がコーディングされるデータストリーム(112)に符号化するステップと、
前記イントラ予測が割り振られるイントラ予測されるブロック(120)の各々に関して、イントラ予測モードの集合(122)のうちの関連するイントラ予測モード(125)を前記データストリーム(112)に符号化するステップと、
前記関連するイントラ予測モード(125)が前記イントラ予測モードの集合(122)の所定の部分集合(124)に含まれる前記イントラ予測されるブロック(120)の各々に関して、
区分(130)へのそれぞれの前記イントラ予測されるブロック(120)の区分(128)に関する情報(126)を前記データストリーム(112)に符号化するステップと、
それぞれの前記イントラ予測されるブロック(120)に割り振られた前記関連するイントラ予測モード(125)に応じたやり方でそれぞれの前記イントラ予測されるブロック(120)の各区分(130)をイントラ予測するステップと、
それぞれの前記イントラ予測されるブロック（120）の前記各区分（130）のすべてに関して非ゼロ変換係数が所定のエリア（140）の外にないかどうかを決定するステップと、
前記各区分(130)のすべてに関して非ゼロの変換係数が所定のエリアの外にないと決定された場合、それぞれの前記イントラ予測されるブロック(120)の前記各区分(130)の予測残差を生成するために、2次変換を使用しない、または第1の2次変換(Ts)を使用する、または第２の2次変換(Ts)を使用することを示す2次変換インデックス(112f)を符号化するステップと、
前記2次変換インデックスに従って、それぞれの前記イントラ予測されるブロック(120)の前記各区分(130)に関して、前記各区分(130)の空間領域の予測残差信号(134)に関連付けられる区分に固有の予測残差信号(132)を前記データストリーム(112)に符号化することによってそれぞれの前記イントラ予測されるブロック(120)に関する予測残差を前記データストリーム(112)に符号化するステップとを含み、
それぞれのイントラ予測符号化されるブロックが、それぞれの前記イントラ予測されるブロックの前記予測残差と、それぞれの前記イントラ予測されるブロックに割り振られた前記予測タイプを使用して取得された予測信号とを使用して再構築可能である、方法。
【請求項11】
請求項9または10に記載の方法を実行するためのコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本出願は、ピクチャコーディング/復号またはビデオコーディング/復号に関する。
【背景技術】
【0002】
今日、ピクチャまたはビデオを符号化または復号するために、イントラ下位区分を使用するブロックに関するコーディングの制約が存在する。
【発明の概要】
【課題を解決するための手段】
【0003】
序言
以下で、異なる発明の実施形態および態様が説明される。
以下で、異なる発明の実施形態および態様が説明される。
【0004】
また、さらなる実施形態が、同封された請求項によって定義される。
【0005】
請求項によって定義されるいずれの実施形態も、以下の実施形態において説明される詳細(特徴および機能)のいずれかによって補足され得ることに留意されたい。
【0006】
また、実施形態は、個々に使用されることが可能であり、別の実施形態の特徴のいずれかによって、または請求項に含まれるいずれかの特徴によってやはり補足され得る。
【0007】
また、本明細書において説明される個々の態様は、個々にまたは組み合わせて使用されることが可能であることに留意されたい。したがって、前記態様のうちの別の態様に詳細を追加することなく前記個々の態様の各々に詳細が追加され得る。
【0008】
本開示は、エンコーダ(入力信号、たとえば、ピクチャまたはビデオの符号化された表現を提供するための装置)においておよびデコーダ(符号化された表現に基づいて信号の復号された表現を提供するための装置)において使用可能な特徴を明示的または暗黙的に説明することにも留意されたい。したがって、本明細書において説明される特徴のいずれも、エンコーダの文脈でおよびデコーダの文脈で使用され得る。
【0009】
加えて、方法に関連する本明細書において開示される特徴および機能は、(そのような機能を実行するように構成された)装置においてやはり使用され得る。さらに、装置に関連して本明細書において開示されるいずれの特徴および機能も、対応する方法においてやはり使用され得る。言い換えると、本明細書において開示される方法は、装置に関連して説明される特徴および機能のいずれかによって補足され得る。
【0010】
また、「実装の代替形態」の節において説明されるように、本明細書において説明される特徴および機能のいずれも、ハードウェアもしくはソフトウェアに、またはハードウェアとソフトウェアとの組合せを使用して実装され得る。
【0011】
改善されたコーディングの効率を有するブロックに基づく予測コーディング(predictive coding)を使用する映像コーデックを提供することが、本出願の対象の目的である。イントラ下位区分を使用するブロックのためのより柔軟なコーディングの概念を得ること、またはイントラ下位区分を使用するブロックのための代替的なコーディングの概念を得ることが望ましい。
【0012】
これは、本出願の独立請求項の対象によって達成される。
【0013】
本発明によるさらなる実施形態は、本出願の従属請求項の対象によって定義される。
【0014】
第1の態様によれば、本出願の発明者は、イントラ下位区分(ISP)を使用するブロックを符号化または復号するときに遭遇する1つの問題が、現在、VTM-5.0において、イントラ下位区分が低周波数非分離可能変換(LFNST: Low Frequency Non-Separable Transform)、つまり、2次変換を使用することができないという事実に起因することを認識した。本出願の第1の態様によれば、この困難が、ISPを使用するブロックに対する2次変換の使用を可能にすることによって、つまり、変換ユニット(transform unit)レベルで2段階変換の使用を許すことによって克服される。イントラ下位区分における第1の変換および1次変換と2次変換との連結の使用は、追加的なシンタックス要素を導入するが、この追加的なシグナリングのオーバーヘッドは、1次変換の後に続く2次変換が非ゼロの係数をよりうまく凝縮させることができ、それによって、区分に固有の残差ブロックを表すために使用されるデータの削減された量をもたらすという事実によって補われて余りあることが分かった。イントラ下位区分のためにも2次変換を使用することによって、より高いコーディングの効率および削減されたビットレートが達成され得ることが分かった。以下で、第2の変換は、1次変換と第1の変換の係数の部分集合に適用される2次変換との連結に等しい可能性がある。1次変換は、第1の変換であってよい。イントラ区分のための第2の変換の有効化は、特定の条件にリンクされ得る。第2の変換は、たとえば、非ゼロの変換係数、すなわち、1次変換の非ゼロの係数が所定のエリアの外にない、および/または非ゼロの変換係数の数が所定の限界以下である、および/またはデータストリーム内の最終位置(last position)シンタックス要素によって示される、DCの係数の位置から最高周波数の係数の位置まで進むスキャン経路に沿った最後の非ゼロの係数の位置がさらなる所定の閾値以下である場合に区分のために有効化される。
【0015】
したがって、本出願の第1の態様によれば、ピクチャを符号化するためのエンコーダおよびピクチャを復号するためのデコーダが、提案される。デコーダ/エンコーダは、各ブロックが予測タイプの集合のうちの関連する予測タイプに割り振られるように、イントラ予測およびインター予測を含む予測タイプの集合への、ピクチャが下位分割されるブロックの粒度(granularity)でのピクチャの割り振りを、ピクチャがコーディングされるデータストリームから/に導出/符号化するように構成される。したがって、ピクチャの各ブロックは、たとえば、イントラ予測に割り振られるかまたはインター予測に割り振られるかのどちらかである。割り振りは、各ブロックに関して予測タイプを定義し得る。さらに、デコーダ/エンコーダは、イントラ予測が割り振られるイントラ予測されるブロックの各々に関して、イントラ予測モードの集合のうちの関連するイントラ予測モードをデータストリームから/に導出/符号化するように構成される。
【0016】
関連するイントラ予測モードが所定のイントラ予測モードの所定の部分集合に含まれる所定のイントラ予測されるブロックの各々に関して、デコーダ/エンコーダは、区分へのそれぞれの所定のイントラ予測されるブロックの区分に関する情報をデータストリームから/に導出/符号化するように構成される。区分に関する情報は、水平分割、垂直分割、または4分割(quad-split)を示し得る。さらに、所定のイントラ予測されるブロックの各々に関して、エンコーダ/デコーダは、それぞれの所定のイントラ予測されるブロックに割り振られた所定のイントラ予測モードに応じたやり方でそれぞれの所定のイントラ予測されるブロックの各区分をイントラ予測するように構成される。それぞれの所定のイントラ予測されるブロックに関する所定のイントラ予測モードは、所定のイントラ予測されるブロックに関するイントラ予測モードの集合のうちのイントラ予測モードによって表され得る。それぞれの所定のイントラ予測されるブロックの各区分に関して、同じイントラ予測モード、つまり、所定のイントラ予測モードが、イントラ予測のために使用され得る。所定のイントラ予測モードの所定の部分集合は、たとえば、イントラ予測モードの集合の部分集合である。所定のイントラ予測されるブロックの各々に関して、所定のイントラ予測モードの所定の部分集合は、たとえば、それぞれの所定のイントラ予測されるブロックに関するイントラ予測モードの集合のうちの最も可能性が高いイントラ予測モードのリストを定義する。
【0017】
デコーダ/エンコーダは、それぞれの所定のイントラ予測されるブロックの各区分に関して、所定の変換によってそれぞれの所定のイントラ予測されるブロックのそれぞれの区分の空間領域(spatial domain)の予測残差信号に関連付けられる区分に固有の予測残差信号をデータストリームから/に導出/符号化することによってそれぞれの所定のイントラ予測されるブロックに関する予測残差を導出/符号化することにより、各ブロックに関して、それぞれのブロックの予測残差に関する情報をデータストリームから/に導出/符号化するように構成される。それぞれの所定のイントラ予測されるブロックの各区分に関して、区分に固有の予測残差信号は、変換領域(transform domain)にあることが可能である。さらに、デコーダ/エンコーダは、第1の変換および1次変換と1次変換の係数の部分集合に適用される2次変換との連結に等しい第2の変換を含む変換の集合のうちの所定の変換を特定する情報をデータストリームから/に導出/符号化することによってそれぞれの所定のイントラ予測されるブロックに関する予測残差を導出/符号化することにより、各ブロックに関して、それぞれのブロックの予測残差に関する情報をデータストリームから/に導出/符号化するように構成される。1次変換は、第1の変換であってよい。この場合、第2の変換は、第1の変換と第1の変換の係数の部分集合に適用される2次変換との連結に等しい。所定の変換が第2の変換である場合、デコーダ/エンコーダは、1次変換および2次変換を個々に使用するか、または同じ結果をもたらす、1次変換と2次変換とを組み合わせる1つの変換を使用するように構成され得る。代替的に、所定の変換は、第1の変換であり、2次変換は、それぞれの区分に関して所定の変換によって構成されない。デコーダ/エンコーダは、それぞれの所定のイントラ予測されるブロックに関してデータストリーム内で送信される変換シンタックス要素を読む/送信することによって、変換の集合のうちの所定の変換を特定する情報のデータストリームからの/への導出/符号化を実行するように構成され得る。変換の集合のうちの所定の変換を特定する情報は、変換のリストを指し示すインデックスであることが可能であり、変換のリストは、変換の集合と等しいかまたは変換の集合の部分集合を含み得
る。変換のデコーダの集合に含まれる変換は、変換のエンコーダの集合に含まれる変換の逆変換であることが可能である。
る。変換のデコーダの集合に含まれる変換は、変換のエンコーダの集合に含まれる変換の逆変換であることが可能である。
【0018】
さらに、デコーダは、それぞれのブロックの予測残差に関する情報と、それぞれのブロックに割り振られた予測タイプを使用して取得された予測信号とを使用して各ブロックを再構築するように構成される。エンコーダによって符号化される各ブロックに関して、それぞれのブロックは、それぞれのブロックの予測残差に関する情報と、それぞれのブロックに割り振られた予測タイプを使用して取得された予測信号とを使用して再構築可能である。
【0019】
変換の集合のうちの所定の変換を特定する情報は、それぞれの所定のイントラ予測されるブロックに関してまたはそれぞれの所定のイントラ予測されるブロックの各区分に関して個々に導出/符号化され得る。言い換えると、デコーダ/エンコーダは、区分毎にまたはブロック全体で変換の集合のうちの所定の変換を特定する情報のデータストリームからの/への導出/符号化を実行するように構成され得る。情報がブロック全体で導出/符号化される場合、所定の変換は、それぞれの所定のイントラ予測されるブロックの各区分に関して同一である。
【0020】
実施形態によれば、変換の集合のうちの所定の変換を特定する情報は、所定の変換が第1の変換であるのかまたは第2の変換であるのかを示すデータストリーム内の/からのそれぞれの所定のイントラ予測されるブロックに関するデータストリーム内の(送信される)2次変換フラグをデータストリームから/に読む/送信することによって導出/符号化され得る。2次変換フラグは、第2の変換が使用されるか否かをブロック全体で示し得る。第2の変換の使用が示される場合、デコーダ/エンコーダは、各区分に関して、それぞれの区分に関する第2の変換を特定する情報を導出/符号化することによって、所定の変換を特定する情報を導出/符号化するように構成され得る。第2の変換を特定する情報は、1次変換および/または2次変換を示し得る。1次変換および/または2次変換がデフォルトでまたは関連するイントラ予測モード、ブロックの次元(dimension)、区分の次元、区分の処理ランク、および/または区分に基づいて設定または選択され得ない場合、第2の変換を特定する情報が、データストリームから/に導出/シグナリングされてよい。実施形態によれば、1次変換が設定され、第2の変換を特定する情報に基づいて2次変換が選択されるか、または2次変換が設定され、第2の変換を特定する情報に基づいて1次変換が選択される。
【0021】
第2の態様によれば、本出願の発明者は、ブロックを区分するときに遭遇する1つの問題が、イントラ下位区分(ISP)の現在の設計が水平分割または垂直分割の使用のみを可能にし、結果として、異なる水平な次元および垂直な次元を有する区分をもたらすという事実に起因することに気がついた。本出願の第2の態様によれば、この困難が、ブロックを水平な次元と垂直な次元との両方で分割する4分割を導入することによって克服される。この4分割は、同じ水平な次元および垂直な次元を有する区分をもたらし得る。したがって、等しいサイズの区分が、実現され得る。4分割と呼ばれる可能性がある第3の区分の導入は、単に水平分割および垂直分割から選択するのに比べて、水平分割と、垂直分割と、4分割とを区別しなければならないことによる増加したシグナリングのオーバーヘッドを必要とし、したがって、追加的なシンタックス要素または状態の数が増加したシンタックス要素を必要とする場合があるが、より高いコーディングの効率および削減されたビットレートが実現され得ることが分かった。
【0022】
したがって、本出願の第2の態様によれば、ピクチャを符号化するためのエンコーダおよびピクチャを復号するためのデコーダが、提案される。デコーダ/エンコーダは、各ブロックが予測タイプの集合のうちの関連する予測タイプに割り振られるように、イントラ予測およびインター予測を含む予測タイプの集合への、ピクチャが下位分割されるブロックの粒度でのピクチャの割り振りを、ピクチャがコーディングされるデータストリームから/に導出/符号化するように構成される。したがって、ピクチャの各ブロックは、たとえば、イントラ予測に割り振られるかまたはインター予測に割り振られるかのどちらかである。割り振りは、各ブロックに関して予測タイプを定義し得る。さらに、デコーダ/エンコーダは、イントラ予測が割り振られるイントラ予測されるブロックの各々に関して、イントラ予測モードの集合のうちの関連するイントラ予測モードをデータストリームから/に導出/符号化するように構成される。
【0023】
関連するイントラ予測モードが所定のイントラ予測モードの所定の部分集合に含まれる所定のイントラ予測されるブロックの各々に関して、デコーダ/エンコーダは、それぞれの所定のイントラ予測されるブロックの区分がそれぞれの所定のイントラ予測されるブロックと同じ幅になるようにそれぞれの所定のイントラ予測されるブロックが水平方向に分割される第1の区分と、それぞれの所定のイントラ予測されるブロックの区分がそれぞれの所定のイントラ予測されるブロックと同じ高さになるようにそれぞれの所定のイントラ予測されるブロックが垂直方向に分割される第2の区分と、それぞれの所定のイントラ予測されるブロックの区分が区分の行および区分の列に配列されるようにそれぞれの所定のイントラ予測されるブロックが水平方向および垂直方向に分割される第3の区分とを含む区分モードの集合うちの、区分へのそれぞれの所定のイントラ予測されるブロックの区分を特定する情報をデータストリームから/に導出/符号化するように構成される。水平分割において、それぞれの所定のイントラ予測されるブロックは、垂直な次元に沿って区分され、それぞれの所定のイントラ予測されるブロックと同じ水平方向のサイズと、それぞれの所定のイントラ予測されるブロックの垂直方向のサイズの1/n倍に等しい削減された垂直方向のサイズとを有するn個の区分をもたらす。垂直分割において、それぞれの所定のイントラ予測されるブロックは、水平な次元に沿って区分され、それぞれの所定のイントラ予測されるブロックと同じ垂直方向のサイズと、それぞれの所定のイントラ予測されるブロックの水平方向のサイズの1/n倍に等しい削減された水平方向のサイズとを有するn個の区分をもたらす。第3の区分において、それぞれの所定のイントラ予測されるブロックは、水平な次元に沿ってn個の部分および垂直な次元に沿ってn個の部分に区分されることが可能であり、それぞれの所定のイントラ予測されるブロックの水平方向のサイズの1/n倍に等しい削減された水平方向のサイズと、それぞれの所定のイントラ予測されるブロックの垂直方向のサイズの1/n倍に等しい削減された垂直方向のサイズとを有するn2個の区分をもたらす。
【0024】
さらに、デコーダ/エンコーダは、関連するイントラ予測モードが所定のイントラ予測モードの所定の部分集合に含まれる所定のイントラ予測されるブロックの各々に関して、それぞれの所定のイントラ予測されるブロックに割り振られた所定のイントラ予測モードに応じたやり方でそれぞれの所定のイントラ予測されるブロックの各区分をイントラ予測するように構成される。
【0025】
さらに、デコーダ/エンコーダは、それぞれの所定のイントラ予測されるブロックの各区分に関して、所定の変換によってそれぞれの所定のイントラ予測されるブロックのそれぞれの区分の空間領域の予測残差信号に関連付けられる区分に固有の予測残差信号をデータストリームから/に導出/符号化することによってそれぞれの所定のイントラ予測されるブロックに関する予測残差を導出/符号化することにより、各ブロックに関して、それぞれのブロックの予測残差に関する情報をデータストリームから/に導出/符号化するように構成される。
【0026】
さらに、デコーダは、それぞれのブロックの予測残差に関する情報と、それぞれのブロックに割り振られた予測タイプを使用して取得された予測信号とを使用して各ブロックを再構築するように構成される。エンコーダによって符号化される各ブロックに関して、それぞれのブロックは、それぞれのブロックの予測残差に関する情報と、それぞれのブロックに割り振られた予測タイプを使用して取得された予測信号とを使用して再構築可能である。
【0027】
第3の態様によれば、本出願の発明者は、イントラ下位区分(ISP)を使用してブロックを符号化または復号するときに遭遇する1つの問題が、イントラ下位区分(ISP)の現在の設計がブロックのすべての区分に関して同じイントラ予測モードの使用のみを可能にするという事実に起因することに気がついた。本出願の第3の態様によれば、この困難が、所定の規則を使用して所定のイントラ予測されるブロックの各区分に関して区分に固有のイントラ予測モードを決定することによって克服される。所定の規則によって、区分に固有のイントラ予測モードは、ブロック全体のイントラ予測モードに基づいて決定される。この特徴によって、ブロックのイントラ予測において、ブロックの区分の間のローカルの変形を考慮することができる。各区分のための個々のイントラ予測の決定は、個々のイントラ予測モードが使用されることを示す追加的なシンタックス要素および/または規則の集合のうちの所定の規則を示す追加的なシンタックス要素などのデータストリーム内の情報によって導かれるが、それらの情報に関連する追加的なシグナリングのオーバーヘッドにもかかわらず、より高いコーディングの効率およびコーディングの品質が実現され得ることが分かった。
【0028】
したがって、本出願の第3の態様によれば、ピクチャを符号化するためのエンコーダおよびピクチャを復号するためのデコーダが、提案される。デコーダ/エンコーダは、各ブロックが予測タイプの集合のうちの関連する予測タイプに割り振られるように、イントラ予測およびインター予測を含む予測タイプの集合への、ピクチャが下位分割されるブロックの粒度でのピクチャの割り振りを、ピクチャがコーディングされるデータストリームから/に導出/符号化するように構成される。したがって、ピクチャの各ブロックは、たとえば、イントラ予測に割り振られるかまたはインター予測に割り振られるかのどちらかである。割り振りは、各ブロックに関して予測タイプを定義し得る。さらに、デコーダ/エンコーダは、イントラ予測が割り振られるイントラ予測されるブロックの各々に関して、イントラ予測モードの集合のうちの関連するイントラ予測モードをデータストリームから/に導出/符号化するように構成される。
【0029】
関連するイントラ予測モードが所定のイントラ予測モードの所定の部分集合に含まれる所定のイントラ予測されるブロックの各々に関して、デコーダ/エンコーダは、区分へのそれぞれの所定のイントラ予測されるブロックの区分に関する情報をデータストリームから/に導出/符号化することと、規則の集合のうちの所定の規則を特定する情報をデータストリームから導出/符号化することであって、所定の規則を特定する情報を使用して、それぞれの所定のイントラ予測されるブロックの各区分に関して、区分に固有のイントラ予測モードが、それぞれの所定のイントラ予測されるブロックに関する関連するイントラ予測モードに基づいて所定のイントラ予測モードの所定の部分集合から決定される、導出/符号化することとを行うように構成される。所定のイントラ予測モードの所定の部分集合の所定のイントラ予測モードは、たとえば、リスト内でソートされ得る。似たイントラ予測モードは、まとめてグループ化されることが可能である。所定の規則を使用して、各区分に関して、リスト内でブロック全体の所定のイントラ予測モードに近い所定のイントラ予測モードが、決定され得る。したがって、各区分に関するイントラ予測モードのローカルの変形が、考慮され得る。さらに、デコーダ/エンコーダは、関連するイントラ予測モードが所定のイントラ予測モードの所定の部分集合に含まれる所定のイントラ予測されるブロックの各々に関して、それぞれの区分に関して決定された区分に固有のイントラ予測モードを使用してそれぞれの所定のイントラ予測されるブロックの各区分をイントラ予測するように構成される。
【0030】
さらに、デコーダ/エンコーダは、それぞれの所定のイントラ予測されるブロックの各区分に関して、所定の変換によってそれぞれの所定のイントラ予測されるブロックのそれぞれの区分の空間領域の予測残差信号に関連付けられる区分に固有の予測残差信号をデータストリームから導出/符号化することによってそれぞれの所定のイントラ予測されるブロックに関する予測残差を導出/符号化することにより、各ブロックに関して、それぞれのブロックの予測残差に関する情報をデータストリームから/に導出/符号化するように構成される。
【0031】
さらに、デコーダは、それぞれのブロックの予測残差に関する情報と、それぞれのブロックに割り振られた予測タイプを使用して取得された予測信号とを使用して各ブロックを再構築するように構成される。エンコーダによって符号化される各ブロックに関して、それぞれのブロックは、それぞれのブロックの予測残差に関する情報と、それぞれのブロックに割り振られた予測タイプを使用して取得された予測信号とを使用して再構築可能である。
【0032】
図面は必ずしも正確な縮尺でなく、むしろ、概して、本発明の原理を示すことに重点が置かれる。下の説明において、本発明の様々な実施形態が、以下の図面を参照して説明される。
【図面の簡単な説明】
【0033】
【図1】エンコーダの概略図である。
【図2】デコーダの概略図である。
【図3】デコーダによるピクチャのブロックに基づく再構築の概略図である。
【図4】実施形態による、復号されるピクチャのブロックの区分毎の2次変換の使用の概略図である。
【図5】実施形態による、ピクチャのブロックの区分内に位置付けられる非ゼロの変換領域のエリアの概略図である。
【図6】実施形態による、ピクチャのブロックの第3の区分の使用の概略図である。
【図7】実施形態による区分に固有のイントラ予測モードの使用の概略図である。
【図8】実施形態による区分に固有の角度イントラ予測(angular intra prediction)モードの使用の概略図である。
【図9】実施形態による、復号されるピクチャのブロックの区分毎に2次変換を使用してピクチャを復号するための方法のブロック図である。
【図10】実施形態による、符号化されるピクチャのブロックの区分毎に2次変換を使用してピクチャを符号化するための方法のブロック図である。
【図11】実施形態による、ピクチャのブロックのために第3の区分を使用してピクチャを復号するための方法のブロック図である。
【図12】実施形態による、ピクチャのブロックのために第3の区分を使用してピクチャを符号化するための方法のブロック図である。
【図13】実施形態による、ピクチャのブロックのために区分に固有のイントラ予測モードを使用してピクチャを復号するための方法のブロック図である。
【図14】実施形態による、ピクチャのブロックのために区分に固有のイントラ予測モードを使用してピクチャを符号化するための方法のブロック図である。
【図15】実施形態による符号化ユニット(coding unit)のシンタックスを示す図である。
【発明を実施するための形態】
【0034】
以下の説明において、等しいもしくは等価な要素または等しいもしくは等価な機能を有する要素は、たとえ異なる図に現れるとしても等しいまたは等価な参照番号によって示される。
【0035】
以下の説明においては、本発明の実施形態のより完全な説明を提供するために複数の詳細が述べられる。しかし、本発明の実施形態がこれらの具体的詳細なしに実施されてよいことは当業者に明らかであろう。その他の場合、本発明の実施形態を曖昧にすることを避けるために、よく知られている構造およびデバイスが、詳細にではなくブロック図の形態で示される。加えて、以降で説明される異なる実施形態の特徴は、そうでないことがはっきり述べられない限り互いに組み合わされてよい。
【0036】
図の以下の説明は、本発明の実施形態が組み込まれてよいコーディングフレームワークに関する例を形成するために、ビデオのピクチャをコーディングするためのブロックに基づく予測コーデック(predictive codec)のエンコーダおよびデコーダの説明の提示から始まる。それぞれのエンコーダおよびデコーダが、図1から図3に関連して説明される。以下、図4から図8に関連して、本発明の概念の実施形態の説明が、そのような概念が図1および図2のエンコーダおよびデコーダにそれぞれどのようにして組み込まれる可能性があるかに関する説明と一緒に提示されるが、次の図4以降を用いて説明される実施形態は、図1および図2のエンコーダおよびデコーダの基礎をなすコーディングフレームワークによって動作しないエンコーダおよびデコーダを形成するために使用されてもよい。
【0037】
図1は、変換に基づく残差コーディングを例示的に使用してピクチャ12をデータストリーム14に予測的にコーディングするための装置(たとえば、ビデオエンコーダ)を示す。装置またはエンコーダは、参照符号10を使用して示される。図2は、対応するデコーダ20、すなわち、やはり変換に基づく残差復号を使用してデータストリーム14からピクチャ12'を予測的に復号するように構成された装置20を示し、アポストロフィは、デコーダ20によって再構築されたピクチャ12'が、予測残差信号の量子化によって引き起こされる符号化損失の点から見て装置10によってもともと符号化されたピクチャ12からずれることを示すために使用された。図1および図2は、変換に基づく予測残差コーディングを例示的に使用するが、本出願の実施形態は、この種の予測残差コーディングに限定されない。これは、以降で概括されるように、図1および図2に関連して説明されるその他の詳細にも当てはまる。
【0038】
エンコーダ10は、予測残差信号を空間-スペクトル変換にかけ、そうして得られた予測残差信号をデータストリーム14に符号化するように構成される。同様に、デコーダ20は、データストリーム14から予測残差信号を復号し、そうして得られた予測残差信号をスペクトル-空間変換にかけるように構成される。
【0039】
内部的に、エンコーダ10は、元の信号、つまり、ピクチャ12からの予測信号26のずれを測定するために予測残差24を生成する予測残差信号フォーマ22を含む可能性があり、予測信号26は、本発明の実施形態によれば、1組の1つまたは複数の予測子ブロック(predictor block)の一次結合として解釈され得る。予測残差信号フォーマ22は、たとえば、元の信号、つまり、ピクチャ12から予測信号を差し引く減算器であってよい。そのとき、エンコーダ10は、予測残差信号24を空間-スペクトル変換にかけてスペクトル領域の予測残差信号24'を得る変換器28をさらに含み、スペクトル領域の予測残差信号24'は、それから、やはりエンコーダ10に含まれる量子化器32による量子化を受ける。そうして量子化された予測残差信号24''が、ビットストリーム14にコーディングされる。この目的で、エンコーダ10は、任意で、変換され、量子化された予測残差信号をデータストリーム14にエントロピーコーディングするエントロピーコーダ34を含んでよい。
【0040】
予測信号26が、データストリーム14に符号化され、データストリーム14から復号可能な予測残差信号24''に基づいてエンコーダ10の予測段階36によって生成される。この目的で、予測段階36は、図1に示されるように内部に、量子化損失を除いて信号24'に対応するスペクトル領域の予測残差信号24'''を得るために予測残差信号24''を逆量子化する逆量子化器38と、それに続く、量子化損失を除いて元の予測残差信号24に対応する予測残差信号24''''を得るために後者の予測残差信号24'''を逆変換、つまり、スペクトル-空間変換にかける逆変換器40とを含む可能性がある。そして、予測段階36の合成器42が、再構築された信号46、つまり、元の信号12の再構築を得るために予測信号26と予測残差信号24''''とを加算によるなどして再合成する。再構築された信号46は、信号12'に対応する可能性がある。それから、予測段階36の予測モジュール44が、たとえば、空間予測、つまり、イントラピクチャ予測および/または時間予測、つまり、インターピクチャ予測を使用することによって信号46に基づいて予測信号26を生成する。
【0041】
同様に、図2に示されるデコーダ20は、内部的に、予測段階36に対応し、予測段階36に対応する方法で相互に接続された構成要素から構成される場合がある。特に、デコーダ20のエントロピーデコーダ50が、データストリームから量子化されたスペクトル領域の予測残差信号24''をエントロピー復号してよく、すると、予測段階36のモジュールに関連して上で説明された方法で相互に接続され、協力する逆量子化器52、逆変換器54、合成器56、および予測モジュール58が、予測残差信号24''に基づいて再構築された信号を復元し、その結果、図2に示されるように、合成器56の出力が、再構築された信号、つまり、ピクチャ12'をもたらす。
【0042】
上で特に説明されていないが、エンコーダ10が、たとえば、何らかのレートおよび歪みに関連する基準、つまり、コーディングコストを最適化するようになど何らかの最適化方式によって、たとえば、予測モード、動きパラメータなどを含むいくつかのコーディングパラメータを設定してよいことは、極めて明らかである。たとえば、エンコーダ10およびデコーダ20ならびに対応するモジュール44、58は、それぞれ、イントラコーディングモードおよびインターコーディングモードなどの異なる予測モードをサポートする場合がある。エンコーダおよびデコーダがこれらの予測モードの種類を切り替える粒度は、それぞれ、符号化セグメント(coding segment)または符号化ブロック(coding block)へのピクチャ12および12'の下位分割に対応する可能性がある。これらの符号化セグメントの単位で、たとえば、ピクチャは、イントラコーディングされるブロックおよびインターコーディングされるブロックに下位分割されてよい。
【0043】
イントラコーディングされるブロックは、図4から図8に関連してより詳細に概説されるようにそれぞれのブロック(たとえば、現在のブロック)の空間的な既にコーディングされた/復号された近隣(たとえば、現在のテンプレート)に基づいて予測される。方向性または角度イントラコーディングモードを含むいくつかのイントラコーディングモードが存在し、それぞれのイントラコーディングされるセグメントのために選択されてよく、方向性または角度イントラコーディングモードによれば、それぞれのセグメントが、それぞれの方向性イントラコーディングモードに固有である特定の方向に沿った近隣のサンプル値をそれぞれのイントラコーディングされるセグメントに外挿することによって満たされる。イントラコーディングモードは、たとえば、それぞれのイントラコーディングされるブロックに関する予測がそれぞれのイントラコーディングされるセグメント内のすべてのサンプルにDC値を割り振るDCコーディングモード、ならびに/またはそれぞれのブロックの予測が近隣のサンプルに基づいて2次元線形関数によって定義される平面の傾きおよびオフセットを操作することによってそれぞれのイントラコーディングされるブロックのサンプル位置上で2次元線形関数によって示されるサンプル値の空間分布であるものと近似もしくは決定される平面イントラコーディングモードなどの1つまたは複数のさらなるモードも含む場合がある。
【0044】
それらに比べると、インターコーディングされるブロックは、たとえば、時間的に予測されてよい。インターコーディングされるブロックに関しては、動きベクトルが、データストリーム14内でシグナリングされてよく、動きベクトルは、それぞれのインターコーディングされるブロックに関する予測信号を得るために既にコーディングされた/復号されたピクチャがサンプリングされる、ピクチャ12が属するビデオの既にコーディングされたピクチャ(たとえば、参照ピクチャ)の部分の空間的変位を示す。これは、量子化されたスペクトル領域の予測残差信号24''を表すエントロピーコーディングされた変換係数レベル(transform coefficient level)などの、データストリーム14によって含まれる残差信号コーディングに加えて、データストリーム14が、コーディングモードを様々なブロックに割り振るためのコーディングモードパラメータと、インターコーディングされたセグメントに関する動きパラメータなどのブロックの一部に関する予測パラメータと、それぞれ、セグメントへのピクチャ12および12'の下位分割を制御し、シグナリングするパラメータなどの任意のさらなるパラメータとをそのストリーム内に符号化する場合があることを意味する。デコーダ20は、これらのパラメータを使用して、エンコーダがしたのと同じようにしてピクチャを下位分割し、セグメントに同じ予測モードを割り振り、同じ予測信号をもたらす同じ予測を実行する。
【0045】
図3は、一方の再構築された信号、つまり、再構築されたピクチャ12'と、他方のデータストリーム14内でシグナリングされた予測残差信号24''''と予測信号26との合成との間の関係を示す。上で既に示されたように、合成は、加算である可能性がある。予測信号26は、図3に、説明のために斜線を使用して示されるイントラコーディングされるブロックおよび説明のために斜線なしで示されるインターコーディングされるブロックへのピクチャエリアの下位分割として示される。下位分割は、正方形のブロックもしくは正方形でないブロックの行および列へのピクチャエリアの規則的な下位分割、または四分木下位分割などの木の根ブロックから様々なサイズの複数の葉ブロックへのピクチャ12のマルチツリー下位分割などの任意の下位分割であってよく、これらの混合が、図3に示され、図3において、ピクチャエリアは、まず木の根ブロックの行および列に下位分割され、それらが、それからさらに繰り返しのマルチツリー下位分割によって1つまたは複数の葉ブロックに下位分割される。
【0046】
やはり、データストリーム14は、イントラコーディングされるブロック80に関してイントラコーディングモードをそのストリーム内にコーディングしてよく、これは、それぞれのイントラコーディングされるブロック80にいくつかのサポートされるイントラコーディングモードのうちの1つを割り振る。インターコーディングされるブロック82に関して、データストリーム14は、1つまたは複数の動きパラメータをそのストリーム内にコーディングしてよい。概して、インターコーディングされるブロック82は、時間的にコーディングされることに限定されない。代替的に、インターコーディングされるブロック82は、ピクチャ12が属するビデオの既にコーディングされたピクチャ、またはエンコーダおよびデコーダがそれぞれスケーラブルなエンコーダおよびデコーダである場合は別の視野または階層的により下のレイヤのピクチャなどの現在のピクチャ12自体の外の既にコーディングされた部分から予測された任意のブロックであってよい。
【0047】
図3の予測残差信号24''''も、ブロック84へのピクチャエリアの下位分割として示される。これらのブロックは、これらのブロックを符号化ブロック80および82と区別するために変換ブロック(transform block)と呼ばれる可能性がある。実際、図3は、エンコーダ10およびデコーダ20が、それぞれブロックへのピクチャ12およびピクチャ12'の2つの異なる下位分割、つまり、それぞれ符号化ブロック80および82への1つの下位分割と、変換ブロック84への別の下位分割とを使用する場合があることを示す。両方の下位分割は、同じである可能性があり、つまり、各符号化ブロック80および82が、同時に変換ブロック84を形成する可能性があるが、図3は、たとえば、ブロック80および82の2つのブロックの間の任意の境界が2つのブロック84の間の境界を覆うか、または言い換えると、各ブロック80、82が変換ブロック84のうちの1つと一致するかもしくは変換ブロック84の一団と一致するかのどちらかであるように、変換ブロック84への下位分割が符号化ブロック80、82への下位分割の拡張を形成する場合を示す。しかし、下位分割は、互いに独立して決定または選択されてもよく、したがって、変換ブロック84は、代替的に、ブロック80、82の間のブロックの境界をまたぐ可能性がある。変換ブロック84への下位分割に関する限り、したがって、ブロック80、82への下位分割に関連して挙げられたのと同様のことが当てはまり、つまり、ブロック84は、(行および列に配列されたもしくは配列されない)ブロックへのピクチャエリアの規則的な下位分割の結果、ピクチャエリアの反復的なマルチツリー下位分割の結果、またはこれらの組合せ、または任意のその他の種類のブロック分割である場合がある。単に余談として、ブロック残差信号82および84は正方形、長方形、またはいかなるその他の形状であることにも限定されないことが、留意される。
【0048】
さらに、図3は、予測信号26と予測残差信号24''''との合成が直ちに再構築された信号12'をもたらすことを示す。しかし、代替的な実施形態によれば、2つ以上の予測信号26が予測残差信号24''''と合成されてピクチャ12'をもたらす場合があることに留意されたい。
【0049】
図3において、変換ブロック84は、以下の意義を持つ。変換器28および逆変換器54が、これらの変換ブロック84を単位としてそれらの変換を実行する。たとえば、多くのコーデックは、すべての変換ブロック84に関して何らかの種類のDST(離散サイン変換)またはDCT(離散コサイン変換)を使用する。一部のコーデックは、変換ブロック84の一部に関して予測残差信号が空間領域で直接コーディングされるように変換をスキップすることを可能にする。しかし、図4から図8に関連して説明される実施形態によれば、エンコーダ10およびデコーダ20は、それらがいくつかの変換をサポートするようにして構成される。たとえば、エンコーダ10およびデコーダ20によってサポートされる変換は、以下を含む可能性がある。
・DCT-II(またはDCT-III)。DCTは離散コサイン変換を表す
・DST-IV。DSTは離散サイン変換を表す
・DCT-IV
・DST-VII
・恒等変換(IT)
・DCT-II(またはDCT-III)。DCTは離散コサイン変換を表す
・DST-IV。DSTは離散サイン変換を表す
・DCT-IV
・DST-VII
・恒等変換(IT)
【0050】
当然、変換器28がこれらの変換の順方向変換のバージョンのすべてをサポートする一方、デコーダ20または逆変換器54は、それらの対応する後ろ向きのまたは逆方向のバージョン、すなわち、以下をサポートする。
・逆DCT-II(または逆DCT-III)
・逆DST-IV
・逆DCT-IV
・逆DST-VII
・恒等変換(IT)
・逆DCT-II(または逆DCT-III)
・逆DST-IV
・逆DCT-IV
・逆DST-VII
・恒等変換(IT)
【0051】
以降の説明は、どの変換がエンコーダ10およびデコーダ20によってサポートされる可能性があるかに関してさらに詳細を示す。どんな場合も、サポートされる変換の組は、1つのスペクトル-空間または空間-スペクトル変換などの1つの変換を含むだけである場合があるが、変換が、エンコーダまたはデコーダによってまったくまたは単一のブロック80、82、84のために使用されないこともあり得ることに留意されたい。
【0052】
上で既に概説されたように、図1から図3は、本出願によるエンコーダおよびデコーダに関する特定の例を形成するために図4から図8に関連して説明される発明の概念が実施される可能性がある例として提示された。図1および図2のエンコーダおよびデコーダは、それぞれ、本明細書において説明されるエンコーダおよびデコーダの可能な実装を示し得る。しかし、図1および図2は、例であるに過ぎない。しかし、本出願の実施形態によるエンコーダは、図4から図8に関連してより詳細に概説される概念を使用してピクチャ12のブロックに基づく符号化を実行する可能性があり、たとえば、イントラコーディングされるブロック80が区分にさらに下位分割される、ならびに/または区分への下位分割が単一のイントラコーディングされるブロック80に関して水平分割および垂直分割によって実行される、ならびに/または第1の変換および2次変換が単一のイントラコーディングされるブロック80の区分のために使用される、ならびに/または個々のイントラ予測モードが単一のイントラコーディングされるブロック80の区分のために使用されるなどの点で図1のエンコーダと異なる可能性がある。同様に、本出願の実施形態によるデコーダは、図4から図8に関連してさらに概説されるコーディングの概念を使用してデータストリーム14からのピクチャ12'のブロックに基づく復号を実行する可能性があるが、たとえば、イントラコーディングされるブロック80が区分にさらに下位分割される、ならびに/または区分への下位分割が単一のイントラコーディングされるブロック80に関して水平分割および垂直分割によって実行される、ならびに/または第1の変換および2次変換が単一のイントラコーディングされるブロック80の区分のために使用される、ならびに/または個々のイントラ予測モードが単一のイントラコーディングされるブロック80の区分のために使用されるという点で図2のデコーダ20と異なる可能性がある。
【0053】
態様によれば、図4に示されるように、ピクチャ110がコーディングされるデータストリーム112が、情報112aを運んでよく、情報112aは、エンコーダによってデータストリーム112に挿入され、情報112aに基づいて、デコーダは、ピクチャが下位分割されるブロックの粒度でのピクチャ110の予測タイプの集合114への割り振りを導出する。つまり、情報112aは、ピクチャ110のブロックの各々を予測タイプの集合114のうちの1つ予測タイプに割り振る。予測タイプの集合114は、上述のようにイントラ予測116およびインター予測118を含み、その結果、各ブロックは、集合114のうちの関連する予測タイプに割り振られる。それぞれのイントラ予測されるブロック120に関して、つまり、イントラ予測116に割り振られる各ブロックに関して、データストリーム112は、情報112cを含み、情報112cは、エンコーダによって挿入され、情報112cから、デコーダは、それぞれのイントラ予測されるブロック120に関して、イントラ予測モードの集合122のうちのどのイントラ予測モードにそれぞれのイントラ予測されるブロック120が関連付けられるのかについて導出する。所定のイントラ予測されるブロック120、つまり、関連するイントラ予測モードが所定のイントラ予測モードの部分集合124に含まれるイントラ予測されるブロック120の各々に関して、データストリーム112は、情報112dをさらに含み、情報112dは、デコーダが区分130へのそれぞれの所定のイントラ予測ブロック120の区分128を情報112dから導出することを可能にするためにエンコーダによってデータストリーム112に挿入される。あらゆるイントラ予測されるブロックが所定のイントラ予測されるブロックであるとは限らないことに留意されたい。むしろ、上で説明され、下でさらに説明されるように、イントラ予測されるブロックのためにデータストリーム内で運ばれる情報112bが、特定のイントラ予測されるブロックが所定のイントラ予測されるブロック、つまり、ISPブロックであるか否かを決定してよい。同様に、イントラ予測モードの部分集合は、真部分集合であるとは限らず、集合122のすべてのイントラ予測モードが、部分集合124の元である場合がある。集合122は、角度イントラ予測モード123a、平面イントラ予測(planar intra-prediction)モード123b、DCイントラ予測モード123c、および/またはブロックに基づくイントラ予測モード123dを含み得る。部分集合124は、たとえば、角度イントラ予測モード123a、平面イントラ予測モード123b、および/またはDCイントラ予測モード123cを含む。
【0054】
区分に関する異なる可能性が、図4に示される。それぞれの所定のイントラ予測されるブロック120に関する区分128に基づいて、それぞれの所定のイントラ予測されるブロック120の各区分130は、区分に固有の予測信号を取得するためにそれぞれの所定のイントラ予測されるブロックに割り振られた所定のイントラ予測モードに応じたやり方でイントラ予測される。イントラ予測モードに関するいくつかの例は、上で提示されており、さらなる詳細が、本明細書において下で簡潔に示される。
【0055】
データストリーム112は、各ブロックに関して、それぞれのブロックの予測残差に関する情報112eをさらに含む。それぞれの所定のイントラ予測ブロック120に関して、これは、以下のようにしてデータストリーム内で運ばれる。特に、データストリーム112は、それぞれの所定のイントラ予測されるブロック120の各区分130に関して、所定の変換Tによってそれぞれの区分130の空間領域の予測残差信号134に関連付けられる区分に固有の予測残差信号132を含む。データストリーム112内の情報136は、エンコーダによってデータストリームに挿入され、データストリームからそれぞれの所定のイントラ予測されるブロックに関してデコーダから導出され、変換の集合138のうちの所定の変換Tを特定する。情報136は、たとえば、それぞれの所定のイントラ予測されるブロック120に関してデータストリーム112内で送信された変換シンタックス要素112fを読むことによって導出される。変換シンタックス要素112fは、データストリーム112内で、ブロック全体で、またはそれぞれの所定のイントラ予測されるブロック120の各区分130に関してシグナリングされ得る。変換の集合138のうちの所定の変換Tを特定する情報136は、区分130毎にまたはブロック120全体で導出され得る。変換の集合138は、少なくとも、第1の変換T1および第2の変換T2を含み、第2の変換T2は、1次変換T1/Tpと1次変換T1/Tpの変換係数の部分集合140に適用される2次変換Tsとの連結に対応する。1次変換Tpは、第1の変換T1であってよい。第1の変換T1および/または1次変換Tpは、DCTまたはDSTなどの分離可能変換であってよく、2次変換は、非分離可能変換であってよい。予測残差および予測信号に関する情報に基づいて、そのとき、各ブロックは、それぞれのブロックに割り振られた予測タイプを使用してデコーダによって再構築可能である。つまり、インター予測されるブロックは、インター予測によって予測信号を導出し、イントラ予測されるブロックに関して、予測信号は、イントラ予測によって取得される。
【0056】
変換シンタックス要素112fは、2次変換フラグによっておよび/または2次変換指示シンタックス要素によって表され得る。2次変換フラグは、所定の変換が第1の変換T1であるのかまたは第2の変換T2であるのかを示すことができ、2次変換指示シンタックス要素は、所定の変換が第2の変換T2である場合に使用される2次変換Tsを示すことができる。
【0057】
実施形態によれば、デコーダ/エンコーダは、所定の変換Tが第1の変換T1であるのかまたは第2の変換T2であるのかを決め、ブロックレベルおよび区分レベルのうちの異なるレベルで2次変換Tsを決定するために異なる2次変換候補のうちのどれかに決めるように構成される。したがって、所定の変換Tは、第1の変換T1または第2の変換T2であることが可能であり、第2の変換T2のための2次変換Tsは、ブロックレベルおよび区分レベルのうちの異なるレベルで2次変換Tsを決定するために異なる2次変換候補の中から選択され得る。
【0058】
ISPブロックのための変換情報136をシグナリングすることに関する様々な可能性の説明を進める前に、いくつかのさらなるノードが、上述の説明の可能な実装を例示する。たとえば、上の説明は、イントラ予測されるブロックが必ずしもISPブロックでなくてもよいことを一時的に無視した。つまり、率直に言えば、あらゆるイントラ予測されるブロックが、所定のイントラ予測されるブロックであるとは限らない。このおよびさらなる実装の詳細は、以下の簡潔な検討から明らかになるであろう。
【0059】
特に、デコーダおよびエンコーダは、図4において集合122にまとめられる異なるイントラ予測モードをサポートしてよい。角度イントラ予測モード123aが存在する可能性があり、角度イントラ予測モード123aによれば、イントラ予測されるエリア、たとえば、非ISPのイントラ予測されるブロックに関するイントラ予測されるブロック全体およびISPブロックに関するそれぞれの個々の区分130のエリアの近隣の参照サンプルが、所定のブロック120を埋めてブロックに関するイントラ予測信号を取得するために使用される。特に、エリアの上および左側の端に平行するなどエリアの境界に平行して配列される場合がある参照サンプルは、このエリアの中に所定の方向に沿って外挿されるまたはコピーされるピクチャの内容を表す。外挿またはコピーの前に、近隣のサンプルによって表されるピクチャの内容は、補間フィルタリングにかけられる可能性があり、または言い換えると、補間フィルタリングによって近隣のサンプルから導出される場合がある。角度イントラ予測モード123aは、イントラ予測の方向が互いに異なる。それぞれの角度イントラ予測モード123aは、インデックスを関連付けてよく、角度イントラ予測モード123aへのインデックスの関連付けは、角度イントラ予測モード123aを関連するモードインデックスに従って順序付けるときに、方向が時計回りにまたは反時計回りに単調に回転するようなものであってよい。
【0060】
平面イントラ予測モード123bなどの非角度イントラ予測モードも存在する可能性があり、平面イントラ予測モード123bによれば、水平方向の勾配、垂直方向の勾配、およびオフセットによって定義される2次元線形関数が、イントラ予測されるエリアの近隣の上述の近隣のサンプルに基づいて導出され、この線形関数が、イントラ予測されるエリア、つまり、ブロック120全体または特定の区分130のエリアの中の予測されたサンプル値を定義する。水平方向の勾配、垂直方向の勾配、およびオフセットは、近隣のサンプルに基づいて導出される。
【0061】
特定の非角度イントラ予測モード123c、DCモードが、集合122に含まれてよい。ここで、1つの値、すなわち、DC値が、近隣のサンプルに基づいて導出され、この1つのDC値が、イントラ予測信号を取得するために、イントラ予測されるエリア、すなわち、ブロック120全体または特定の区分130のエリアの中のすべてのサンプルに属すると考えられる。非イントラ予測モードに関する2つの例が示されるが、集合122内にまったく何もないか、1つ存在するか、または3つ以上存在する場合がある。
【0062】
イントラ予測モード123a～cは、エンコーダおよびデコーダによってサポートされるイントラ予測モードの部分集合124を形成する。イントラ予測モード123a～cは、図4の123dに示されるように、任意で、参照符号123dを使用して示されるブロックに基づくイントラ予測モードとレート/歪み最適化の点で競い合う可能性がある。これらのブロックに基づくイントラ予測モード123dによれば、一方の近隣のサンプルから導出されるベクトルと他方の所定の予測行列との間の行列-ベクトル積が、イントラ予測されるエリア内のサンプルを予測するために使用される予測ベクトルをもたらすために使用されてよい。そのようなブロックに基づくイントラ予測モード123dは、存在する場合、それぞれのモードに関連する予測行列が互いに異なっていてよい。したがって、簡潔にまとめると、本明細書において説明される実施形態によるエンコーダおよびデコーダは、イントラ予測モード123a～123dの集合124を含んでよい。
【0063】
イントラ予測されるブロック120は、以下のようにしてイントラ予測を使用してコーディング/復号されてよい。たとえば、モード表示112cが、以下のようにして行われてよい。特に、ブロックに基づく予測モード123dがサポートされる場合、集合選択シンタックス要素または情報112b--集合選択シンタックス要素または情報112bはintra_mip_flagと名付けられる可能性がある--が、ブロック120がイントラ予測モードの部分集合124のうちのいずれかを使用して予測されるべきであるのかまたはモード123dのいずれかを使用して予測されるべきであるのかを示すためにデータストリーム120内で運ばれてよい。情報112bは、情報112cに特別に関連して図4に示される。1つの観点から見て、情報112bおよび112cは、集合122のうちのブロック120のためのイントラ予測モードを示すために一緒に働くが、図4のブロック120がISPブロックであると仮定されるとき、ブロックのモードは、集合124内にあることが既に知られており、情報112cが、ブロック120のモードを示すために十分であることに留意されたい。
【0064】
情報112bが、ブロック120が部分集合124のいずれかのモードを使用して予測されるべきであることを示す場合、情報112cが、以下のようにしてシグナリングされてよい。集合124のうちの最も可能性が高い候補のリストが、ブロック120の近隣にある近隣のブロックがそれらを使用して予測されたイントラ予測モードに基づいてデコーダおよびエンコーダにおいて構築/形成されてよい。近隣のブロックは、ブロック120の左上側のサンプルの上のサンプルなどのブロック120の特定の近隣のサンプルを覆う近隣のブロックおよび今述べた角のサンプルの左のサンプルを含むブロックを決定することによるなどの所定の方法でブロック120の位置に対して決定されてよい。当然ながら、これは、例であるに過ぎない。同じことは、モード予測のために使用される近隣のブロックの数にも当てはまり、この数は、すべての実施形態に関して2つであると限定されない。3つ以上または1つだけが、使用されてよい。これらの近隣のブロックのいずれかが見つからない場合、集合124のうちのデフォルトのイントラ予測モードが、その見つからない近隣のブロックのイントラ予測モードの代わりとしてデフォルトで使用されてよい。同じことは、近隣のブロックいずれかが動き補償予測によるなどしてインター予測モードを使用してコーディング/復号された場合に当てはまる可能性がある。集合122のうちの最も可能性が高いモードのリストの構築は、リストの長さ、すなわち、そのリスト内の最も可能性が高いモードの数がデフォルトで決まっている可能性があるようなものであってよい。データストリーム内のインデックスが、ブロック120のために使用されるこのリストのうちの1つのモードを示してよい。インデックス付けは、リストのインデックスが、たとえば、インデックスの長さが順序530に沿って単調に増加するようにコーディングされた可変の長さであるようにしてリストの順序またはランク付けに沿って実行される。リストのインデックスは、情報112cの一部を形成する。まず、集合124のうちの最も可能性が高いモードのみを最確モードリスト(most probable mode list)に投入し、リストの順序に沿って、より可能性が高いモードをイントラ予測されるブロック120に適する可能性がより低いモードに対して上流に置くことに
は価値がある。リストのモードが近隣のブロックのために使用されたモードに基づいて導出されるとき、後者のいずれかがブロックに基づくモード123dを使用してイントラ予測された可能性がある。その場合、ブロックに基づくモード123dから集合124内のモードへのマッピングが、リストの構築のために使用されてよい。集合選択的シンタックス要素112bが所定のブロック120が集合124のうちのいずれかのモードによってコーディングされるべきであることを示す場合、任意で、MPMシンタックス要素--MPMシンタックス要素はintra_luma_mpm_flagと呼ばれる場合がある--が、所定のブロック120のために使用されるイントラ予測モードがMPMリスト内にあるかどうかを示す情報112cの一部であってよく、所定のブロック120のために使用されるイントラ予測モードがMPMリスト内にある場合、データストリーム112は、MPMリストのうちの所定のブロックのために使用されるモードを、リストの順序に沿ってそれをインデックス付けすることによって示す、MPMリストへの今述べたリストのインデックス--そのリストのインデックスはintra_luma_mpm_idxと呼ばれる場合がある--を含む。しかし、集合124のうちのモードがMPMリスト内にない場合、データストリーム112は、ブロック120に関して、どのモードが集合124のうちでブロック120のために使用されるべきかを示すさらなるシンタックス要素--そのシンタックス要素はintra_luma_mpm_remainderと呼ばれる場合がある--を情報112cの一部として含む。このシンタックス要素は、集合124のうちでMPMリストに含まれないモードを単に区別することによる方法でモードを示してよい。
は価値がある。リストのモードが近隣のブロックのために使用されたモードに基づいて導出されるとき、後者のいずれかがブロックに基づくモード123dを使用してイントラ予測された可能性がある。その場合、ブロックに基づくモード123dから集合124内のモードへのマッピングが、リストの構築のために使用されてよい。集合選択的シンタックス要素112bが所定のブロック120が集合124のうちのいずれかのモードによってコーディングされるべきであることを示す場合、任意で、MPMシンタックス要素--MPMシンタックス要素はintra_luma_mpm_flagと呼ばれる場合がある--が、所定のブロック120のために使用されるイントラ予測モードがMPMリスト内にあるかどうかを示す情報112cの一部であってよく、所定のブロック120のために使用されるイントラ予測モードがMPMリスト内にある場合、データストリーム112は、MPMリストのうちの所定のブロックのために使用されるモードを、リストの順序に沿ってそれをインデックス付けすることによって示す、MPMリストへの今述べたリストのインデックス--そのリストのインデックスはintra_luma_mpm_idxと呼ばれる場合がある--を含む。しかし、集合124のうちのモードがMPMリスト内にない場合、データストリーム112は、ブロック120に関して、どのモードが集合124のうちでブロック120のために使用されるべきかを示すさらなるシンタックス要素--そのシンタックス要素はintra_luma_mpm_remainderと呼ばれる場合がある--を情報112cの一部として含む。このシンタックス要素は、集合124のうちでMPMリストに含まれないモードを単に区別することによる方法でモードを示してよい。
【0065】
その他の場合、つまり、情報112bが所定のブロック120がブロックに基づくイントラ予測モード123dのいずれかを使用して予測されるべきであることを示す場合、データストリームへのブロック120のコーディングおよびデータストリームからの復号が行われてよい。この目的で、インデックス付けが、ブロックに基づくイントラ予測モード123dのうちの選択された1つをインデックス付けするためにまたはブロックに基づくイントラ予測モード123dのうちのどれが使用されるべきかについて示すために使用されてよい。別のMPMリストの構築が、この目的のために、モード123dのうちの選択されたモードがそのMPMリスト内にあるかどうか、ある場合には、MPMリスト内のどれが選択されたモードであるか、そうではなく、ない場合には、ブロック120のモードがモード123dのうちのどのモードであるかを示す情報と一緒に使用されてよい。
【0066】
ブロック120が部分集合124内のモードのうちのいずれかを使用してコーディングされる、つまり、潜在的に所定のイントラ予測されるブロックである場合、さらなるシンタックス要素またはさらなる情報が、データストリームに含められてよく、そのさらなるシンタックス要素は、集合124内のイントラ予測モードを何らかの方法でパラメータ表示する。任意で、シンタックス要素--そのシンタックス要素はintra_luma_ref_idxと呼ばれる場合がある--が、ブロック120の周りの上述の参照サンプルが位置する領域をパラメータ表示するかまたは変えてよく、それに基づいて、集合124内のモードが、ブロック120の外周までの距離などの観点でブロック120の中をイントラ予測するために使用される。情報112bの一部であってよいかまたは図4においてこの参照符号を使用して示される可能性があり、intra_subpartitions_mode_flagと呼ばれる場合があるシンタックス要素--が、ブロック120がISPブロックであるかどうかを示してよく、つまり、そのシンタックス要素は、上述の参照サンプルがブロック120の中を全体的にもしくはひとまとめにイントラ予測するために集合124のうちの選択されたモードによって使用されるのかどうか、またはブロック120が下位分割され、1つの区分130に関してデータストリームにコーディングされた予測残差が続く区分130をイントラ予測するための新しい参照サンプルを補充する/再構築するために働く可能性があるように順にイントラ予測される区分130を単位としてイントラ予測が行われるかどうかをパラメータ表示する。今述べたISPシンタックス要素112bによって制御されるISPコーディングオプションは、任意の実施形態によれば、参照サンプルの位置を制御する任意で存在するシンタックス要素が、たとえば、ブロック120に隣接した、参照サンプルがある領域に対応する所定の状態を有する場合にのみ利用可能であってよい(および対応するシンタックス要素はその場合にのみデータストリーム内に存在してよい)。
【0067】
区分130は、ブロック120を、それによって127bに示されるように区分130がブロック120と同じ高さになる水平方向か、またはそれによって127aによって示されるように区分130がブロック120と同じ幅になる垂直方向かのどちらかなど、所定の方向に沿って下位分割することによって定義されてよい。任意で、n×n個の区分130への分割などの1つまたは複数のその他の区分127cを示すことも、実現可能である可能性がある。区分がブロック120に関してアクティブになるようにシグナリングされる場合、情報112dの一部としてのシンタックス要素がデータストリーム内に存在してよく、つまり、ブロック120が説明されたようにISPブロックである場合、このシンタックス要素112dが、どの分割方向が使用されるかについて制御してよい。
【0068】
実施形態によれば、ブロック120の区分128が、図6に関連して説明されるように実行されてよい。
【0069】
ここで、ISPブロック120に関する残差のコーディングに関連する説明を始めよう。つまり、ブロック120は、選択された区分126に従って区分130に区分されるようにシグナリングされ、各区分130に関して、データストリーム112は、区分に固有の残差信号112eをそのデータストリーム112内に符号化し、デコーダは、そのデータストリーム112から区分130に関する残差信号を復号する。説明されたように、デコーダは、ISPブロック120に関してシグナリングされたイントラ予測モードを使用してそれぞれの区分130に関して導出された予測信号を訂正するために信号132から導出された空間領域の残差信号134を使用し、すると、次の区分が、この次の区分の近隣にあり、たとえば、前の区分内に部分的に存在する参照サンプルを使用してイントラ予測されてよい。区分に固有の残差信号132は、変換領域においてデータストリーム内で運ばれる。どの変換Tが区分に固有の信号132の基礎をなすかが、変換Tが1つのISPブロック120の区分130の間で異なっていてよいように区分毎など、本明細書において説明される方法のうちのいずれかで情報112fを使用してデータストリーム内でシグナリングされる。しかし、この点に関して異なる実施形態を説明する前に、それが、区分に固有の残差信号132がデータストリーム112にどのようにコーディングされるかについて、つまり、区分に固有の残差信号132を示すデータストリーム112内の情報112eがどのように見える可能性があるかについて簡潔に説明される。
【0070】
特に、情報112eは、各区分130に関して、符号化ブロックフラグ(CBF: Coded Block Flag)、最終位置(LP)シンタックス要素、およびそれぞれの区分130の変換領域の信号132を形成する変換係数の変換係数レベルのコーディングを含んでよい。したがって、K個の区分130を有するISPブロック120に関して、K個のCBFと、非ゼロのCBFを有する各区分130関して1つのLPとが存在してよい。各CBFをコーディングするために使用されるコンテキスト(context)は、--区分が予測にかけられる順序に沿って--同じブロック120内の既にコーディングされた区分130のCBFの値に依存する可能性がある。特定の区分130に関する変換Tとして、その区分130の次元のうちの1つが1(サンプル幅(sample wide))である場合を除いて2-D変換が使用されてよく、その区分130の次元のうちの1つが1(サンプル幅)である場合は1-D変換が適用される。したがって、デコーダは、各区分130に関する変換Tの変換係数レベルを取得し、その変換係数レベルを逆変換にかけて、134に示されるように空間領域の各区分130に関する予測残差サンプルを取得することができる。
【0071】
ISP方式、つまり、区分130への区分によれば、この方式は、特定の1つまたは複数の条件が満たされる場合にのみ、現在のイントラコーディングされるブロックのために利用可能である可能性がある。1つまたは複数の条件は、たとえば、イントラコーディングされるブロックが、たとえば、ブロックのサンプルの数の観点で何らかの最小サイズよりも大きい必要があること、および/またはイントラコーディングされるブロックが、たとえば、あまりにも大きな変換のサイズにつながらないように少なくとも水平と垂直との両方で特定の次元を超えることを許されない可能性があることを含む可能性がある。より正確に言えば、ISPモードは、イントラコーディングされるブロックが少なくとも1つの方向、つまり、水平方向または垂直方向に今述べた最大の変換に関連するサイズ以下である場合にのみ利用可能である可能性がある。したがって、イントラコーディングされるブロックに関する情報112bの一部としてISPモードをシグナリングするintra_subpartitions_mode_flagは、ブロックが今述べた条件を満たす場合にのみデータストリーム内に存在してよい。そうでない場合、デコーダは、イントラコーディングされるブロックが区分されずにイントラコーディングされると推測してよい。intra_subpartitions_mode_flagがイントラコーディングされるブロック80がISPコーディングされるブロックであることを示す場合、情報112dの一部としての区分次元フラグ--その区分次元フラグはintra_subpartitions_split_flagと呼ばれる場合がある--が、イントラコーディングされるブロック80に関してさらにシグナリングされてよい。しかし、このintra_subpartitions_mode_flagは、必ず明示的にシグナリングされる訳ではなく、特定の状況の場合、特定の区分の次元を示すと推測される可能性がある。たとえば、イントラコーディングされるブロックが上述の最大の変換のサイズを超える幅を有する(しかし、超えない高さを有する)場合、区分の次元は、水平であることを義務づけられる可能性があり、ブロックの高さが今述べた最高の変換のサイズを超える(しかし、幅は最高の変換のサイズを超えない)場合、次元は、垂直であることを義務づけられる可能性がある。どちらの場合も、intra_subpartitions_split_flagは、データストリーム内で明示的にシグナリングされず、それに応じてデコーダによって推測される。さらに、エンコーダおよびデコーダは、ブロック120のサイズに応じて、ブロック120が分割される区分130の数を決定してよい。そのとき、信号は、データストリーム内で使われなくてよい。小さなブロックサイズに関して、数は2である可能性があり、一方、そうでない場合、区分130の数は4である場合がある。区分130のイントラ予測およびデータストリームへの予測残差のコーディングが実行される区分の順序は、127bに示されるような水平方向の場合は最も左の区分および垂直の区分127aの場合は最も上の区分から最も遠い区分に向かう区分の方向に沿って進む場合がある。シグナリングは、これに関しても使われない。
【0072】
残差の変換112eは、上述のように、区分130毎に行われる可能性がある。つまり、各区分130が、何らかの変換Tを使用して別々に変換される可能性がある。中間的な注意書き(intermediary note)として、非ISPのイントラコーディングされるブロックの場合、変換の数は、やはりブロックのサイズに依存する可能性があり、非ISPのイントラコーディングされるブロックが水平方向および垂直方向に上述の最大の変換のサイズよりも小さい場合、イントラコーディングされるブロックの残差は、1つの変換を使用してコーディングされ、つまり、ブロックの残差は、完全に1つの変換にかけられることに留意されたい。これは、後者がパーティション毎に変換されるとき、ISPブロックの場合は発生しない可能性がある。水平方向に最大の変換のサイズを超える場合、非ISPのイントラコーディングされるブロックは、2等分されるかまたは水平方向に対応する数の変換ブロックに分割され、その結果、それらの半分または変換ブロックが、最大の変換のサイズを満たし、ブロックの残差が、半分/変換ブロック毎に1つの変換にかけられる。同じことが、垂直方向に最大の変換のサイズを超えるブロックの場合に当てはまる。垂直方向と水平方向との両方で最大の変換のサイズを超える場合、4つまたは対応する数の変換が、このブロックの4つの四半分またはブロックの規則的な2次元の下位分割のブロックの残差を対応する数の変換ブロックに変換するために使用される。当然ながら、非ISPのイントラコーディングされるブロックの処理は、その他の方法によるISPのイントラコーディングされるブロック120の扱いから外れる。たとえば、分割フラグなどの明示的な信号伝達は、非ISPのイントラコーディングされるブロックの場合、使用されない。実施形態によれば、非ISPのイントラコーディングされるブロックは、ひとまとめにイントラ予測され、一方、ISPブロックは、区分毎に順にイントラコーディングされる。さらなる違いは、予測残差をコーディングするための変換のコーディングに関連する可能性がある。各変換に関して、つまり、ISPブロックの場合の各区分130および非ISPのイントラコーディングされるブロックの場合の各変換に関して、tu_cbf_lumaなどの符号化ブロックフラグCBFが送信されるが、非IS
Pのイントラコーディングされるブロックに関して、このフラグが各変換に関して必ずコーディングされる可能性がある一方、このフラグは、前の変換/区分に関するすべての前のCBFが0である場合、そのブロック120の最後の区分130の変換に関しては1であると推測されてよい。
Pのイントラコーディングされるブロックに関して、このフラグが各変換に関して必ずコーディングされる可能性がある一方、このフラグは、前の変換/区分に関するすべての前のCBFが0である場合、そのブロック120の最後の区分130の変換に関しては1であると推測されてよい。
【0073】
上の説明の変形について、いくつかの注釈がなされる。たとえば、現在の区分をイントラコーディングする際に前の区分の予測残差を考慮に入れること含む区分の逐次的なイントラコーディングが説明されたが、上の実施形態は、イントラ予測がISPブロックの外にある参照サンプルに基づいて区分のすべてまたは下位グループに関して、つまり、ひとまとめに行われ、一方、ISPブロックの区分に基づく処理が区分に基づく変換のコーディングにだけ関連するという点で変更されてよい。今述べた変形は、混合されて、たとえば、ISPコーディングされるときに区分毎のイントラ予測が使用されるサイズのブロックと、ブロックがISPコーディングされるときにブロック毎または区分のグループ毎のイントラ予測が使用される異なるサイズのブロックとが存在するように、エンコーダおよびデコーダが異なるブロックサイズに関して上の変形のうちの異なるものを使用する実施形態をもたらす可能性があることに留意されたい。さらに、たびたび上で述べられたように、上で提示されたシグナリングは、例示的であるに過ぎず、異なるように行われてよい。たとえば、MPMリストの使用によるシグナリングは、例示的であるに過ぎず、そのようなMPMリストを用いずに行われてよい。さらに、上で提示されたシンタックス要素の間のシグナリングの順序および相互の条件付けは、変更されてよい。
【0074】
以下では、低周波数非分離可能変換(LFNST)が、2次変換Tsとして使用される。しかし、その他の2次変換も使用され得ることは、明らかである。
【0075】
低周波数非分離可能変換は、1次変換係数の左上の角に対して、たとえば、1次変換Tp/T1の係数の部分集合140に対してのみ適用される2次変換である。VTM-6.0においては、現在のブロックのイントラモードに応じて選択される様々なLFNSTの集合が存在する。それぞれのLFNSTの集合は、2つの異なる変換を含む。したがって、デコーダは、明示的にシグナリングされる要素に従って選択する3つのオプションを有する(0->LFNSTを使用しない、1->第1のLFNSTを使用する、2->第2のLFNSTを使用する)。場合によっては、LFNSTは、特定の条件によってはブロックに適用可能でないことがあり得る。
・例1:1次変換係数がブロック120の特定のエリア160において0でない。
・例2:有意な係数の数が特定の閾値を超えている、または結果の最終位置シンタックス要素が特定の閾値を超えているなど、2次変換を適用した後の結果として得られる変換係数が特定の条件に反する。
上述の例および関連する場合において、シグナリングは、デコーダによって解析されず、2次変換は適用されないと推測される。
・例1:1次変換係数がブロック120の特定のエリア160において0でない。
・例2:有意な係数の数が特定の閾値を超えている、または結果の最終位置シンタックス要素が特定の閾値を超えているなど、2次変換を適用した後の結果として得られる変換係数が特定の条件に反する。
上述の例および関連する場合において、シグナリングは、デコーダによって解析されず、2次変換は適用されないと推測される。
【0076】
現在、VTM-6.0において、(イントラ下位区分)ISPは、LFNSTを使用することができない。変換ユニット(TU)レベルでISPを使用するブロックに対してこのアルゴリズムを有効化することが、提案される。それは、ISPを使用するブロックがn個の下位区分に分割される場合、結果として得られる下位区分の各々が、たとえば、ISPを使用しない通常のブロックと同じようにしてLFNSTアルゴリズムを使用することを意味する。後続の実施形態においては、LFNSTの使用および2次変換候補の中での任意の選択の暗黙的および明示的な信号伝達に関して、ならびにブロックレベルおよび区分レベルのそれぞれで今述べた決定/シグナリングのいずれかを実行することに関して、異なる可能性が説明される。
【0077】
2次変換Tsは、下位区分レベルで適用される。したがって、たとえば、2次変換Tsが計算されるかどうかおよび計算される場合はどれが計算されるかを決定するために、各下位区分130に関して解析されるシンタックス要素、すなわち、変換シンタックス要素112fが存在する。当然ながら、このシンタックス要素は、2次変換の条件が満たされる、たとえば、有意な係数の数が特定の閾値を超えているおよび/または所定のエリアの外に非ゼロの係数が存在しない場合に(たとえば、その場合にのみ)解析され得る。
【0078】
上で概説されたように、現在、VTM-6.0において、(イントラ下位区分)ISPは、LFNSTを使用することができない。本明細書においては、ISPを使用するブロックに対してこのアルゴリズムを有効化することが、提案される。これは、ISPを使用するブロック120の各下位区分130が2次変換Tsを適用する可能性を有することを意味する。これは、シンタックス要素による情報112fによってデコーダに明示的に示され得るが、デコーダに既に存在するパラメータを使用することによってまたは暗黙的要素と明示的要素との組合せによって暗黙的に示される可能性もある。以下では、上述の例の他に、様々な例が提供される。
【0079】
言い換えると、LFNSTとのISPの組合せに関する上の異なる可能性が、示された。下で、区分130の予測残差を変換コーディングするための変換Tのシグナリングまたは変更の変化形が、以降で概説される。
【0080】
下位区分レベルで明示的に
2次変換Tsが、各下位区分130に関してデコーダに明示的にシグナリングされてよい。このバージョンは、単純に、ISPによって生成された各下位区分130にLFNSTの通常の使用を当てはめる。
2次変換Tsが、各下位区分130に関してデコーダに明示的にシグナリングされてよい。このバージョンは、単純に、ISPによって生成された各下位区分130にLFNSTの通常の使用を当てはめる。
【0081】
つまり、区分130毎の予測残差132の変換コーディングに関連する説明を再開しよう。説明されたように、予測残差132は、変換領域においてデータストリーム112にコーディングされてよい。この変換領域は、変換Tによって空間領域に関連付けられる。今提示された変化形によれば、情報112fが、区分130毎に、この変換Tが第1の変換T1であるのかまたは2次変換Tsが後に続く1次変換Tp/T1であるのかを示す可能性がある。言い換えると、各区分に関して、第1の変換T1がそれぞれの区分のために使用されるのかまたは第2の変換T2がそれぞれの区分のために使用されるかを示す変換シンタックス要素112fが、読まれる。2次変換Tsは、ブロック120に関してデフォルトで決まっているかまたはISPブロック120について1回シグナリングされる可能性がある。ブロック120のための集合124のうちのイントラ予測モードに応じて、2つのTsがブロック120のための2次変換候補の集合を形成し、1つの2次変換候補がブロック120のために選択される可能性がある。1次変換T1は、たとえば、ISPブロック120のためにデフォルトで決まっている。その場合、ブロック120全体のために2次変換Tsを適用するための決定を送信するが、決定は、以下の条件、すなわち、1)非ゼロの変換係数が(図5に示されるように)所定のエリア140の外にあること、2)非ゼロの係数の数が何らかの限界を超えること、3)変換内の非ゼロの係数の予測されるカウントに関する尺度としてある程度働く、それぞれの区分の残差の変換に関して本明細書においてLPシンタックス要素と呼ばれる1つもしくは複数のシンタックス要素によって示される、DCの係数の位置から反対のもしくは最高周波数の係数の位置まで進むスキャン経路に沿った最後の非ゼロの係数の位置が、何らかの閾値を超えること、または4)条件1から3のうちの2つ以上のうちの1つが満たされる場合、LFNSTが利用不可能であること、または5)条件1から3のうちの条件の部分集合の各々が満たされる場合、LFNSTが利用不可能であることのうちの1つが情報112eによってコーディングされたその残差の変換に当てはまる場合、LFNSTが特定の区分のために利用不可能である(およびそうでない場合、利用可能である)など、上で示された理由で2次変換が適用されない可能性があることを残差情報112eが直ちに示さない区分に関してだけ有効である。
【0082】
この点に関して、既に上で説明されたことを思い出されたい。特に、ブロック120の区分130に関して、CBFが、区分毎にデータストリーム内で送信される。CBFは、区分、たとえば、変換ユニットが残差情報、たとえば、予測によって生成された情報を含むか否かを示してよい。それ、すなわち、CBFが残差が0になることを示す場合、2次変換フラグ112fは、それぞれの区分130に関して存在しなくてもよい。さらに、上でやはり説明されたように、2次変換のオプションの可用性は、特定の状況、たとえば、上述のLPシンタックス要素が非ゼロのゾーンの表示として働くことに応じて決まる可能性がある。LPシンタックス要素は、それぞれの区分130に関して、区分に固有の予測残差信号132のすべての非ゼロの係数が排他的に位置し、したがって、ゼロの係数だけが位置付けられる、図5に示される非ゼロの変換領域のエリア160をシグナリングする。この非ゼロの変換領域のエリア160の範囲および/または位置に応じて、所定の変換Tが1次変換T1のみに等しいことを義務づけられるか、または2次変換T2が利用可能であり、その場合、2次変換フラグ112fがエンコーダによって送信されるかまたはデコーダによって読まれる。たとえば、2次変換Tsは、非ゼロの変換領域のエリア160が2次変換Tsが適用される変換T1の変換係数の部分、すなわち、図4または図5の部分140を超えない場合にのみ利用可能である。したがって、2次変換フラグ112fが特定の区分130に関して存在するかどうかは、区分に固有の問題であり、2次変換フラグは、ブロック120の1つの変換130に関して存在する可能性がある一方で、そのブロック120の別の区分130に関しては存在しないまたはない可能性がある。
【0083】
この非ゼロの変換領域のエリア160の範囲および/または位置に応じて、デコーダは、所定の変換Tが第1の変換T1であるのかもしくは第2の変換T2であるのかを示す、それぞれの区分130に関してデータストリーム112内で送信された2次変換フラグ112fをそのデータストリーム112から読むか、または所定の変換Tが第1の変換T1であると推測するのかを決定するように構成され得る。非ゼロの変換領域のエリア160が、完全に、2次変換Tsが適用される変換T1の変換係数の部分140によって定義されるエリア内に位置付けられる場合、2次変換フラグ112fが読まれる。そうでない場合、所定の変換Tは、第1の変換T1であると推測される。2次変換フラグ112fが第1の変換T1を所定の変換として示すのかまたは第2の変換T2を所定の変換として示すのかは、上述の条件1から5のうちの1つまたは複数に応じて決まり得る。
【0084】
代替的にまたは追加的に、2次変換フラグ112fを読むのかまたは所定の変換Tが第1の変換T1であると推測するのかの決定は、1次変換Tp/T1と2次変換Tsとの連結によって2次変換Tsが適用される1次変換Tp/T1の係数140を非ゼロの変換領域のエリア160が排他的に包含するかどうかに応じて決まる、および/または非ゼロの変換領域のエリア160内の非ゼロの係数の数に応じて決まる可能性がある。
【0085】
実施形態によれば、デコーダ/エンコーダは、区分130の次元が所定の閾値未満である場合、所定の変換Tが第1の変換T1であると推測するように構成される。
【0086】
さらに、特定のフラグ、すなわち、2次変換指示シンタックス要素が、2次変換のオプションが利用可能であり、適用されるようにシグナリングされるブロック120の区分130の各々に関してデータストリーム内に存在してよく、つまり、フラグが、2次変換の対応する集合、つまり、2つの可能な2次変換を含む集合から2次変換Tsを選択する。そのような区分130のために2つのフラグを送信する代わりに、3配列(three-array)シンタックス要素が、それぞれの区分のために使用される変換を示すために、つまり、その区分130に関する情報112fとして使用されてよい。
【0087】
ブロック120の区分130のために使用される変換Tを示すための次のオプションに取りかかる前に、以下がさらに留意される。特に、特定の区分130に関する変換係数レベルのコーディングが、非ゼロの部分160のみに制限されることが留意される。LPシンタックス要素は、最高スペクトル周波数の位置から変換T1の左/上の角などのDC周波数の位置まで変換T1の変換係数を1次元でスキャンするときの最初の非ゼロの係数の位置を示すことによって部分を示してよい。位置は、2次元のT1変換の場合はxおよびy座標によって、または今述べた非ゼロの位置を今述べた1次元のスキャン順に沿った、係数を単位とするDC変換の位置からの距離として測るインデックスとして示される可能性がある。データストリーム112内で区分130に関して送信される変換係数レベルは、組み合わされた変換T2または単一の変換T1となるための変換信号に応じて、第1の変換T1の変換係数または第2の変換T2の係数であってよいことにさらに留意されたい。変換Tが2段階変換、つまり、T1の後にTsが続く第2の変換T2であるようにシグナリングされる場合、デコーダは、第2の変換の逆と、その後に続く変換T1の逆を順に実行するか、または1つの逆変換に組み合わされたT2の逆を実行することによって、それぞれの区分130の空間領域の残差信号134を取得するための逆の変換を実行してよいことにさらに留意されたい。言い換えると、区分に固有の予測残差信号132は、空間領域の残差信号134を取得するために、所定の変換Tの逆を形成する逆変換T-1にかけられてよい。
【0088】
ブロックレベルで明示的に
2次変換Tsは、ブロック120全体のために1回だけデコーダに明示的にシグナリングされる可能性がある。それは、ブロック120内のすべての下位区分130が同じ2次変換Tsを適用することを意味する。2次変換フラグ112fが所定の変換Tが第2の変換T2であることを示す場合、デコーダ/エンコーダは、すべての区分130のために第2の変換T2を使用するように構成され得る。
2次変換Tsは、ブロック120全体のために1回だけデコーダに明示的にシグナリングされる可能性がある。それは、ブロック120内のすべての下位区分130が同じ2次変換Tsを適用することを意味する。2次変換フラグ112fが所定の変換Tが第2の変換T2であることを示す場合、デコーダ/エンコーダは、すべての区分130のために第2の変換T2を使用するように構成され得る。
【0089】
これは、2次変換の適用の特定の制限が異なって適用されてよいことを示唆する可能性がある。たとえば、上述の例2は、たとえそれが引き続き適用される可能性があるとしても、この場合、厳密に必要ではない。代替的に、それらは、グループ全体として適用される可能性もあり、または異なる閾値などを必要とする可能性がある。
【0090】
言い換えると、信号112fが、ブロック120全体のために1回データストリーム112に含められてよく、信号112fは、Tsが適用されるかどうか、つまり、TがT1であるのかまたはTsが後に続くT1、すなわち、T2であるのか、および後者が当てはまる場合、2次変換の候補の集合のうちのどのTsが適用されるのかをシグナリングする。LFNST、つまり、Tsを適用することに関する可用性の制限は、区分130毎にテストされてよく、ブロック120の全体のシグナリングは、LFNSTが利用可能である区分130に関してのみ当てはまる。すべての区分130に関してLFNSTが利用不可能である場合、シグナリング112fは、ブロック120に関して中止されてよく、つまり、エンコーダは、ブロック120に関してそのようなLFNSTアクティブ化フラグを符号化せず、デコーダは、そのフラグがLFNSTの非アクティブ化に設定されると推測する。さらに代替的に、すべての区分130に関して利用可能である場合にのみ、シグナリング112fが、ブロック120に関して存在してよく、そうでなければLFNSTは使用されないことを示唆する。後者の場合、したがって、Ts選択的シグナリングは、すべての区分130に関するLFNSTの可用性が当てはまり、ブロックレベルのLFNSTのアクティブ化のシグナリングがブロック120に関するLFNSTのアクティブ化を示す場合にのみブロック120に関してコーディングされる。上で1から5において検討されたのと同じまたはそれら以外の基準またはそれら以外の閾値が、ブロック120のすべての区分130に関してLFNSTが利用可能な場合にのみLFNSTのブロックレベルのアクティブ化をシグナリングすることの変化形において使用されてよい。
【0091】
実施形態によれば、デコーダは、所定の変換Tが第1の変換T1であるのかもしくは第2の変換T2であるのかを示す、それぞれの所定のイントラ予測されるブロック120に関してデータストリーム112内で送信された2次変換フラグ112fをデータストリーム112から読むのか、または所定の変換Tが第1の変換T1であると推測するのかを決定するように構成され得る。この決定は、1次変換Tp/T1と2次変換Tsとの連結によって2次変換が適用される1次変換Tp/T1の係数140に対する、図5に示された非ゼロの変換領域のエリア160の相対的な位置に依存してよい。非ゼロの変換領域のエリア160が、完全に、2次変換Tsが適用される1次変換Tp/T1の変換係数140によって定義されるエリア内に位置付けられる場合、2次変換フラグ112fが読まれる。そうでない場合、所定の変換Tは、第1の変換T1であると推測される。代替的にまたは追加的に、決定は、1次変換Tp/T1と2次変換Tsとの連結によって2次変換Tsが適用される1次変換Tp/T1の係数140を非ゼロの変換領域のエリア160が排他的に包含するかどうかに応じて決まる、および/または非ゼロの変換領域のエリア160内の非ゼロの係数の数に応じて決まる可能性がある。2次変換フラグ112fが第1の変換T1を所定の変換として示すのかまたは第2の変換T2を所定の変換として示すのかは、上述の条件1から5のうちの1つまたは複数に応じて決まり得る。2次変換フラグ112fに加えて、2次変換指示シンタックス要素が、すべての区分130に関して正確な2次変換を示すために、それぞれの所定のイントラ予測されるブロック120に関してブロック全体でシグナリングされてよい。
【0092】
デコーダは、決定を、所定のイントラ予測されるブロック120のすべての区分130に関して1回実行するように構成されてよく、決定が依存する可能性がある上述の条件が、所定のイントラ予測されるブロック120のすべての区分130に関してチェックされてよい。実施形態によれば、決定は、以下の基準のうちの1つまたは複数をすべての区分130に関してチェックし、以下の基準のうちの1つまたは複数がすべての区分130に関して満たされる場合に2次変換フラグ112fが読まれるべきであると決定することによって、所定のイントラ予測されるブロック120のすべての区分130に関して1回実行される。
- 非ゼロの変換係数が所定のエリア140の外にないこと、および/または
- 非ゼロの係数の数が所定の限界を超えること、および/または
- データストリーム内の最終位置シンタックス要素によって示される、DCの係数の位置から最高周波数の係数の位置まで進むスキャン経路に沿った最後の非ゼロの係数の位置がさらなる所定の閾値を超えること。
- 非ゼロの変換係数が所定のエリア140の外にないこと、および/または
- 非ゼロの係数の数が所定の限界を超えること、および/または
- データストリーム内の最終位置シンタックス要素によって示される、DCの係数の位置から最高周波数の係数の位置まで進むスキャン経路に沿った最後の非ゼロの係数の位置がさらなる所定の閾値を超えること。
【0093】
さらに下の追加的な注釈においてより詳細に説明されるように、2次変換フラグ112fが読まれることになるように、上の基準の一部のみがすべての区分130に関して満たされなければならず、一部が所定のイントラ予測されるブロック120の少なくとも1つの区分130に関して満たされなければならない可能性がある。
【0094】
実施形態によれば、デコーダ/エンコーダは、区分130の次元が所定の閾値未満である場合、所定の変換Tが第1の変換T1であると推測するように構成される。
【0095】
ブロックレベルと下位区分レベルとを明示的に組み合わせる
ブロックレベルと下位区分レベルとの両方の明示的なシンタックス要素が存在する可能性がある。たとえば、ブロックレベルで、すべての下位区分130が2次変換Tsを使用するか否かがシグナリングされる、たとえば、2次変換フラグ112fによってシグナリングされる可能性がある。そして、2次変換Tsが使用される場合、各下位区分130は、たとえば、2次変換指示シンタックス要素によって、(互いに独立して)どの2次変換が適用されるかを明示的にシグナリングする。当然ながら、LFNSTの全体的なアクティブ化は、残差情報112eがLFNSTの可用性に関する条件を満たすブロック120の区分130にのみ影響を与えてよい。対応するアクティブ化は、LFNSTの可用性に関する条件が少なくとも1つの区分に関して満たされる場合にブロック120に関してのみデータストリームにコーディングされてよい。そして、それらの区分に関してのみ、Tsを明示的に選択するシンタックス要素がコーディングされる。代替的に、すべての区分130に関して利用可能である場合にのみ、シグナリング112fが、ブロック120に関して存在してよく、そうでなければLFNSTは使用されないことを示唆する。つまり、ブロックレベルのLFNSTのアクティブ化のシグナリングは、LFNSTの可用性がすべての区分に関して当てはまる場合にのみシグナリングされ、したがって、各区分に関して、Ts選択シグナリングが、ブロック120に関してデータストリームに含まれる。
ブロックレベルと下位区分レベルとの両方の明示的なシンタックス要素が存在する可能性がある。たとえば、ブロックレベルで、すべての下位区分130が2次変換Tsを使用するか否かがシグナリングされる、たとえば、2次変換フラグ112fによってシグナリングされる可能性がある。そして、2次変換Tsが使用される場合、各下位区分130は、たとえば、2次変換指示シンタックス要素によって、(互いに独立して)どの2次変換が適用されるかを明示的にシグナリングする。当然ながら、LFNSTの全体的なアクティブ化は、残差情報112eがLFNSTの可用性に関する条件を満たすブロック120の区分130にのみ影響を与えてよい。対応するアクティブ化は、LFNSTの可用性に関する条件が少なくとも1つの区分に関して満たされる場合にブロック120に関してのみデータストリームにコーディングされてよい。そして、それらの区分に関してのみ、Tsを明示的に選択するシンタックス要素がコーディングされる。代替的に、すべての区分130に関して利用可能である場合にのみ、シグナリング112fが、ブロック120に関して存在してよく、そうでなければLFNSTは使用されないことを示唆する。つまり、ブロックレベルのLFNSTのアクティブ化のシグナリングは、LFNSTの可用性がすべての区分に関して当てはまる場合にのみシグナリングされ、したがって、各区分に関して、Ts選択シグナリングが、ブロック120に関してデータストリームに含まれる。
【0096】
つまり、LFNSTが利用可能である区分130毎にTsが適用されるのかどうか、および適用される場合、ISPブロックに関して決定されるTs候補の集合のうちのどれがTsとして使用されるべきかをシグナリングする代わりに、代替的に、1次変換T1が、ブロック120のすべての区分に関して決まっている可能性があり、LFNSTがブロック120の区分130に関して適用されるようにシグナリングされる場合、そのような区分毎にそれぞれのTs選択シンタックス要素をコーディングすることによって、LFNSTが利用可能である各区分130に関する2次変換Tsを変更しながら、ブロック全体で1度だけ、上述のその他の要因(非ゼロの部分の位置、および/または非ゼロの係数の数および/または、最後の非ゼロの係数の位置)の観点から見てLFNSTが利用可能であるブロック120の区分130に関してLFNSTが適用されるかどうかの決定を情報112fがシグナリングする可能性がある。
【0097】
すべての明示的なシグナリング(たとえば、下位区分レベルで明示的、および/またはブロックレベルで明示的、および/またはブロックレベルと下位区分レベルとを明示的に組み合わせる)の場合に、デコーダ/エンコーダは、関連するイントラ予測モード、すなわち、集合122または部分集合124のうちのブロック120のために選択されたイントラ予測モードに依存するようにして候補2次変換Tsの集合のうちの1つまたは複数の候補2次変換Tsの部分集合を選択するように構成されてよい。1つまたは複数の候補2次変換Tsの部分集合が2つ以上の候補2次変換Tsを含む場合、それぞれの所定のイントラ予測されるブロック120に関してデータストリーム112内で送信された2次変換指示シンタックス要素に応じて、1つまたは複数の候補2次変換Tsの部分集合から2次変換Tsを選択する。
【0098】
実施形態によれば、候補2次変換の集合は、区分されずにイントラ予測されるその他のイントラ予測されるブロックのためにデコーダ/エンコーダによって使用された2次変換Tsと共通の要素を持たない。
【0099】
暗黙的に
デコーダは、使用される変換に関する情報136を得る、つまり、2次変換が各下位区分130のために適用されるかどうかを決定するために、係数が復号される瞬間に既存の要素を使用する可能性がある。これらのパラメータの例は、下位区分のインデックス、下位区分のサイズ、ブロックのサイズ、イントラモードなどである。
デコーダは、使用される変換に関する情報136を得る、つまり、2次変換が各下位区分130のために適用されるかどうかを決定するために、係数が復号される瞬間に既存の要素を使用する可能性がある。これらのパラメータの例は、下位区分のインデックス、下位区分のサイズ、ブロックのサイズ、イントラモードなどである。
【0100】
デコーダ/エンコーダは、区分130がイントラ予測116にかけられる順序に沿ったそれぞれの区分130のランク、それぞれの区分130のサイズ、所定のイントラ予測されるブロック120のサイズ、および/または関連するイントラ予測モード122に応じて、各区分130に関して所定の変換Tが第1の変換T1であるのかまたは第2の変換T2であるのかを決定するように構成されてよい。この決定の結果は、上述の明示的なシグナリングの2次変換フラグ112fによってシグナリングされてよい。正確な2次変換Tsが、関連するイントラ予測モード122、区分のサイズ、ブロック120のサイズ、区分130の処理ランク、および/または区分128に応じて選択され得る。この選択は、所定のイントラ予測されるブロック120のすべての区分130に関して1回、または所定のイントラ予測されるブロック120の区分130毎に実行されてよい。
【0101】
暗黙的/明示的の混合で
上述の例またはそれらの例の関連するバージョンのいずれかが、暗黙的な規則と組み合わされる可能性がある。たとえば、2次変換が使用されるか否かは、明示的に決定される可能性があるが、どの2次変換が使用されなければならないかに関する決定は、イントラモード、下位区分のサイズ、ブロックのサイズ、下位区分のインデックス、ISP分割タイプ(水平または垂直)などを使用することによって暗黙的に導出される可能性がある。
上述の例またはそれらの例の関連するバージョンのいずれかが、暗黙的な規則と組み合わされる可能性がある。たとえば、2次変換が使用されるか否かは、明示的に決定される可能性があるが、どの2次変換が使用されなければならないかに関する決定は、イントラモード、下位区分のサイズ、ブロックのサイズ、下位区分のインデックス、ISP分割タイプ(水平または垂直)などを使用することによって暗黙的に導出される可能性がある。
【0102】
追加的な注釈
以下の詳細および例が、上の説明に付け加えられる。たとえば、LFNSTの可用性に関する条件に関する別の例が、付け加えられる。より正確に言えば、ブロックレベルで2次変換の使用/アクティブ化を明示的にシグナリングする場合、LFNSTの可能性、またはより正確に言えば、2次変換Tsをブロック全体でアクティブ化するための、ブロック120に関する2次変換フラグ112fの送信が、2つ以上の条件a)、b)、c)などによって定義されてよい可能性がある。これは、既に説明されていた。たとえば、上で挙げられた条件1から5のうちの2つ以上などの2つ以上の条件が、ブロックの区分130のすべてに関して満たされることが必要とされる可能性がある。代替的に、2つ以上の条件が、それらの区分130のうちの少なくとも1つにおいて真であるまたは満たされることを必要とされる可能性がある。しかし、1つまたは複数の条件(たとえば、a)およびb))が、すべての区分において真であるべきである一方で、1つまたは複数のその他の条件(たとえば、c))は、少なくとも1つの区分においてのみ真であることを必要とされる可能性もある。
以下の詳細および例が、上の説明に付け加えられる。たとえば、LFNSTの可用性に関する条件に関する別の例が、付け加えられる。より正確に言えば、ブロックレベルで2次変換の使用/アクティブ化を明示的にシグナリングする場合、LFNSTの可能性、またはより正確に言えば、2次変換Tsをブロック全体でアクティブ化するための、ブロック120に関する2次変換フラグ112fの送信が、2つ以上の条件a)、b)、c)などによって定義されてよい可能性がある。これは、既に説明されていた。たとえば、上で挙げられた条件1から5のうちの2つ以上などの2つ以上の条件が、ブロックの区分130のすべてに関して満たされることが必要とされる可能性がある。代替的に、2つ以上の条件が、それらの区分130のうちの少なくとも1つにおいて真であるまたは満たされることを必要とされる可能性がある。しかし、1つまたは複数の条件(たとえば、a)およびb))が、すべての区分において真であるべきである一方で、1つまたは複数のその他の条件(たとえば、c))は、少なくとも1つの区分においてのみ真であることを必要とされる可能性もある。
【0103】
特定の条件が少なくとも1つの区分130においてのみ真であるかまたは満たされなければならない場合に関して、ブロック120全体に関してシグナリングされるLFNSTは、アクティブ化されるようにシグナリングされる場合、各区分130の個々の可用性の条件とは無関係に、ブロック120内のすべての区分130に適用されてよい。別の可能性は、LFNSTが、この条件を満たすそれらの区分130にのみ適用される可能性があることである。どの区分130もこの可用性の条件を満たさない場合、LFNSTは、シグナリング(または解析)されず、LFNSTは、使用されないと仮定される。
【0104】
デコーダ/エンコーダは、すべての区分130に関して、以下の基準aからcのうちの1つまたは複数をチェックし、以下の基準aからcのうちの1つまたは複数の第1の基準がすべての区分130に関して満たされる一方、以下の基準aからcのうちの1つまたは複数の第2の基準が少なくとも1つの区分に関して満たされる場合に2次変換フラグ112fが読まれるべきであると決定することによって、所定のイントラ予測されるブロック120のすべての区分130に関して1回、2次変換フラグ112fを読むのかまたは所定の変換Tが第1の変換T1であると推測するのかの上述の決定を、たとえば、ブロック全体で実行するように構成されてよい。
a)非ゼロの変換係数が所定のエリア140の外にないこと、および/または
b)データストリーム内の最終位置シンタックス要素によって示される、DCの係数の位置から最高周波数の係数の位置まで進むスキャン経路に沿った最後の非ゼロの係数の位置がさらなる所定の閾値を超えること、および/または
c)非ゼロの係数の数が所定の限界を超えること
a)非ゼロの変換係数が所定のエリア140の外にないこと、および/または
b)データストリーム内の最終位置シンタックス要素によって示される、DCの係数の位置から最高周波数の係数の位置まで進むスキャン経路に沿った最後の非ゼロの係数の位置がさらなる所定の閾値を超えること、および/または
c)非ゼロの係数の数が所定の限界を超えること
【0105】
実施形態によれば、デコーダ/エンコーダは、基準aからcのうちの1つもしくは複数の第1の基準がすべての区分130に関して満たされる場合、および/または基準aからcのうちの1つもしくは複数の第2の基準が少なくとも1つの区分130に関して満たされる場合、2次変換フラグ112fが読まれるべきであると決定するように構成される。したがって、すべての区分130が条件aからcのうちの1つまたは複数を満たす場合、さらに1つまたは複数の第2の基準が区分130のうちの少なくとも1つによって満たされなければならないことを必要とせずに、2次変換フラグ112fが読まれる可能性がある。代替的に、少なくとも1つの区分130が第2の基準のうちの1つまたは複数を満たす場合、すべての区分130が第1の基準のうちの少なくとも1つを満たさなければならないことを必要とせずに、2次変換フラグ112fがブロック120全体に関して読まれる可能性もある。
【0106】
2次変換フラグ112fが所定の変換Tが第2の変換T2であることを示す場合、1つまたは複数の第2の基準が満たされる区分130に関しては第2の変換T2を使用し、1つまたは複数の第2の基準のうちの少なくとも1つが満たされない区分130に関しては第1の変換T1を使用する。
【0107】
例1:
N個の区分130を有するブロック120であるものとし、LFNSTの可用性が、条件
a)すべての区分130において、所定のエリア140の外のすべての係数がゼロでなければならない
b)少なくとも1つの区分130が、特定の閾値を超える(スキャン順で)最後の有意な位置を持たなければならない
によって定義される。この例において、条件a)は、LFNSTが利用可能であるためにすべての区分130において真でなければならないが、条件b)は、少なくとも1つにおいて必要なだけである。
N個の区分130を有するブロック120であるものとし、LFNSTの可用性が、条件
a)すべての区分130において、所定のエリア140の外のすべての係数がゼロでなければならない
b)少なくとも1つの区分130が、特定の閾値を超える(スキャン順で)最後の有意な位置を持たなければならない
によって定義される。この例において、条件a)は、LFNSTが利用可能であるためにすべての区分130において真でなければならないが、条件b)は、少なくとも1つにおいて必要なだけである。
【0108】
実施形態によれば、1つまたは複数の第1の基準は、非ゼロの変換係数が所定のエリア140の外にないことであり、1つまたは複数の第2の基準は、データストリーム112内の最終位置シンタックス要素によって示される、DCの係数の位置から最高周波数の係数の位置まで進むスキャン経路に沿った最後の非ゼロの係数の位置がさらなる所定の閾値を超えることである。
【0109】
例2:
N個の区分130を有するブロック120であるものとし、LFNSTの可用性が、条件
a)すべての区分130において、所定のエリア140の外のすべての係数がゼロでなければならない
b)すべての区分において、(スキャン順で)最後の有意な位置が特定の閾値を超えていなければならない
によって定義される。この例においては、a)とb)との両方が、すべての区分130において真でなければならない。
N個の区分130を有するブロック120であるものとし、LFNSTの可用性が、条件
a)すべての区分130において、所定のエリア140の外のすべての係数がゼロでなければならない
b)すべての区分において、(スキャン順で)最後の有意な位置が特定の閾値を超えていなければならない
によって定義される。この例においては、a)とb)との両方が、すべての区分130において真でなければならない。
【0110】
例3:
N個の区分130を有するブロック120であるものとし、LFNSTの可用性が、条件
a)すべての区分130において、所定のエリア140の外のすべての係数がゼロでなければならない
によって定義される。この例においては、a)の条件のみが存在し、その条件は、LFNSTが利用可能であるためにすべての区分130に関して真でなければならない。
N個の区分130を有するブロック120であるものとし、LFNSTの可用性が、条件
a)すべての区分130において、所定のエリア140の外のすべての係数がゼロでなければならない
によって定義される。この例においては、a)の条件のみが存在し、その条件は、LFNSTが利用可能であるためにすべての区分130に関して真でなければならない。
【0111】
新しいカーネル(kernel)の利用または既存のカーネルの使用について
2次変換Tsを適用する下位区分130は、非ISPブロックと同じ2次変換を共有する可能性があり、またはそれらの下位区分130は、ISPの下位区分130のためにのみ使用される専用の2次変換テーブルを有する可能性がある。これは、すべての場合に適用される可能性あり、またはおそらくそれらの部分集合にのみ適用される可能性がある。たとえば、1xN、2xN、Nx2、およびNx1個の下位区分(またはさらに言えば下位区分の次元に応じた任意の部分集合)に関して、あるいはおそらくイントラモード、または下位区分のインデックス、またはISP分割タイプ(水平もしくは垂直)、またはデコーダ側で利用可能なその他のパラメータに応じて。つまり、特定のブロックがそうでなければ同じイントラコーディングモードを関連付ける非ISPブロックとしてコーディングされるのと比較して、ISP(所定の)ブロックとしてコーディング/復号される場合、その特定のブロックのために、互いに共通の要素を持たないTs候補が使用されてよい。
2次変換Tsを適用する下位区分130は、非ISPブロックと同じ2次変換を共有する可能性があり、またはそれらの下位区分130は、ISPの下位区分130のためにのみ使用される専用の2次変換テーブルを有する可能性がある。これは、すべての場合に適用される可能性あり、またはおそらくそれらの部分集合にのみ適用される可能性がある。たとえば、1xN、2xN、Nx2、およびNx1個の下位区分(またはさらに言えば下位区分の次元に応じた任意の部分集合)に関して、あるいはおそらくイントラモード、または下位区分のインデックス、またはISP分割タイプ(水平もしくは垂直)、またはデコーダ側で利用可能なその他のパラメータに応じて。つまり、特定のブロックがそうでなければ同じイントラコーディングモードを関連付ける非ISPブロックとしてコーディングされるのと比較して、ISP(所定の)ブロックとしてコーディング/復号される場合、その特定のブロックのために、互いに共通の要素を持たないTs候補が使用されてよい。
【0112】
LFNSTの利用に関して、非ISPブロックとISPブロックとの間に違いが存在する。
【0113】
エンコーダの観点から見て、LFNSTは、「1次」変換の係数への「2次」変換の適用である。これは、3つの異なる値(0->LFNSTが適用されない、1->LFNST1が適用される、2->LFNST2が適用される)を取る場合があるLFNSTインデックス、すなわち、変換シンタックス要素112fに従う。言い換えると、変換シンタックス要素112fが、第2の変換T2がブロックのために使用されるかどうかを示してよい。変換シンタックス要素112fが第1の状態(たとえば、0)である場合、それは、第1の変換T1の使用を示し、変換シンタックス要素112fが第2の状態(たとえば、1)または第3の状態(たとえば、2)である場合、それは、第2の変換T2の使用を示す。LFNST1およびLFNST2は、イントラモードに依存する。つまり、変換のために使用される基底関数(basis function)が、イントラモードに関連して変わる。
【0114】
さらに、LFNSTインデックスの値0は、特定の可用性の条件が満たされない場合、暗黙的に強制されてよい。言い換えると、デコーダ/エンコーダは、下の可用性の条件が満たされない場合、非ISPブロックのための第1の変換T1を使用すると推測してよい。
・条件1:所定の範囲の外に非ゼロの係数が存在してはならない(範囲はブロックサイズに応じて決まる)
・条件2:DCの係数(0,0)ではない少なくとも1つの非ゼロの係数が存在しなければならない。
・条件1:所定の範囲の外に非ゼロの係数が存在してはならない(範囲はブロックサイズに応じて決まる)
・条件2:DCの係数(0,0)ではない少なくとも1つの非ゼロの係数が存在しなければならない。
【0115】
ISPブロックにおけるLFNSTの使用は、以下の違いを除いて非ISPブロックと同じである。
1)LFNSTが、ブロック全体に関して1回だけ全体的にシグナリングされる。言い換えると、変換シンタックス要素112fが、ブロック全体で導出/シグナリングされる。
2)LFNSTインデックスの、すなわち、変換シンタックス要素112fの可用性が、下の条件に依存する可能性がある。LFNSTインデックスが解析され得るように発生しなければならない条件(そうでない場合、LFNSTインデックスは0であると仮定される)は、以下の通りである。
a. 下位区分のサイズが少なくとも4×4でなければならない
b. (上述の)条件1がすべての下位区分に関して満たされなければならない。したがって、少なくとも1つが条件1に反する場合、LFNST0(LFNSTなし)が、すべての区分のために使用される。
c. (上述の)条件2がISPの場合に関しては無視される。言い換えると、変換シンタックス要素112fの可用性に関して、各区分がDCの係数(0,0)ではない非ゼロの係数を含むことは必要でない。
3)LFNSTインデックスが解析される場合、以下のことが発生する。
a. インデックスが0である
i. LFNSTなしが、すべての下位区分のために使用される
b. インデックスが1である
i. 各下位区分に関して、下位区分のCBF(符号化ブロックフラグ)がゼロでない場合、LFNST1、たとえば、第2の変換T2の第1の変化形が適用される。
c. インデックスが2である
i. 各下位区分に関して、下位区分のCBFがゼロでない場合、LFNST2、たとえば、第2の変換T2の第2の変化形が適用される。
LFNSTインデックスが1または2である場合、各下位区分のために使用される1次変換は、DCT2である。
1)LFNSTが、ブロック全体に関して1回だけ全体的にシグナリングされる。言い換えると、変換シンタックス要素112fが、ブロック全体で導出/シグナリングされる。
2)LFNSTインデックスの、すなわち、変換シンタックス要素112fの可用性が、下の条件に依存する可能性がある。LFNSTインデックスが解析され得るように発生しなければならない条件(そうでない場合、LFNSTインデックスは0であると仮定される)は、以下の通りである。
a. 下位区分のサイズが少なくとも4×4でなければならない
b. (上述の)条件1がすべての下位区分に関して満たされなければならない。したがって、少なくとも1つが条件1に反する場合、LFNST0(LFNSTなし)が、すべての区分のために使用される。
c. (上述の)条件2がISPの場合に関しては無視される。言い換えると、変換シンタックス要素112fの可用性に関して、各区分がDCの係数(0,0)ではない非ゼロの係数を含むことは必要でない。
3)LFNSTインデックスが解析される場合、以下のことが発生する。
a. インデックスが0である
i. LFNSTなしが、すべての下位区分のために使用される
b. インデックスが1である
i. 各下位区分に関して、下位区分のCBF(符号化ブロックフラグ)がゼロでない場合、LFNST1、たとえば、第2の変換T2の第1の変化形が適用される。
c. インデックスが2である
i. 各下位区分に関して、下位区分のCBFがゼロでない場合、LFNST2、たとえば、第2の変換T2の第2の変化形が適用される。
LFNSTインデックスが1または2である場合、各下位区分のために使用される1次変換は、DCT2である。
【0116】
実施形態によれば、変換シンタックス要素112f、すなわち、lfnst_idxは、図15に示される符号化ユニットのシンタックスに従って解析される。
【0117】
実施形態によれば、lfnst_idx 112fの上で検討された値が、たとえば、1つまたは2つのビン(bin)のトランケーテッドユーナリコードワード(Truncated unary codeword)を使用して2進化されてよく、第1のビンが、所定の変換が第1の変換T1であるのかまたは第2の変換T2であるのかを示す場合があり、第2のビンが、どの第2の変換T2がブロック120または区分130のために使用されるべきかを示す場合がある。第1のビンは、2次変換フラグを表す場合があり、第2のビンは、2次変換指示フラグ、すなわち、2次変換指示シンタックス要素を表す場合がある。2進化されたlfnst_idx 112f、たとえば、第1のビンおよび/または第2のビンは、コンテキスト適応2値算術符号化(CABAC: Context-adaptive binary arithmetic coding)を使用してデータストリームにエントロピー符号化されてよい。これは例であるに過ぎず、lfnst-idx 112fが異なるようにデータストリーム内でシグナリングされ得ることは明らかである。
【0118】
図15に示される関数transform_tree 113は、反復的であり、すべての下位区分130に対してループする。したがって、lfnst_idx 112fは、ブロック120の終わりに1回だけシグナリングされる。変換ブロック120の下位区分130の幅および高さが両方とも少なくとも4であるかどうかが、チェックされる可能性がある(213)。lfnst_idx 112fは、変換ブロック120の各下位区分130の幅と高さとの両方が少なくとも4である場合にのみデータストリーム内でシグナリングされるかまたはデータストリームからデコーダによって導出されてよい。この条件は、所定のブロックがISPブロック、つまり、区分128を使用して区分130に区分されるイントラ予測されるブロック120である場合、LUMA成分においてのみ違反され得る。ISPの場合、つまり、区分128を行われる所定のブロック120に関して、条件2は、無視される(LfnstDcOnly 313を参照されたい)。言い換えると、区分128を行われる所定のブロック120に関して、所定の変換Tを特定する情報136が、DCの係数(0,0)ではない少なくとも1つの非ゼロの係数が各区分130に存在するかどうかを制御することなくデータストリームから/に導出/シグナリングされ得る。しかし、各区分に関して、それぞれの区分のCBF(符号化ブロックフラグ)がゼロでないかどうかがチェックされる。所定の変換Tを特定する情報136は、少なくとも1つの非ゼロの変換係数を含む区分に関してのみデータストリームから/に導出/シグナリングされてよい。VVCにおいて、ISPを使用するブロックは、常に、非ゼロのCBFを有する少なくとも1つの区分を有することに留意されたい。
【0119】
以下で、スケーリングされた変換係数のための変換プロセスが説明される。ISPのための1次変換の選択は、lfnst_idxシンタックス要素112fによって影響を受けてよい。1次変換は、ブロック120または各区分130の水平方向および垂直方向に関するtrTypeHorおよびtrTypeVerによって指定される。1次変換は、分離可能変換である。
【0120】
水平方向の変換カーネルを指定する変数trTypeHorおよび垂直方向の変換カーネルを指定する変数trTypeVerは、以下のように導出される。
- 下の条件のうちの1つまたは複数が真である場合、trTypeHorおよびtrTypeVerは0に等しいように設定される。
- cIdxが0より大きい
- IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくなく、lfnst_idxが0に等しくない
- そうではなく、implicitMtsEnabledが1に等しい場合、以下が当てはまる。
- cu_sbt_flagが1に等しい場合、trTypeHorおよびtrTypeVerは、cu_sbt_horizontal_flagおよびcu_sbt_pos_flagに応じてテーブル40内で指定される。
- そうでない(cu_sbt_flagが0に等しい)場合、trTypeHorおよびtrTypeVerは、以下のように導出される。
trTypeHor = ( nTbW >= 4 && nTbW <= 16 ) ? 1 : 0
trTypeVer = ( nTbH >= 4 && nTbH <= 16 ) ? 1 : 0
- そうでない場合、trTypeHorおよびtrTypeVerは、mts_idxに応じてVVC規格のテーブル39内で指定される。
- 下の条件のうちの1つまたは複数が真である場合、trTypeHorおよびtrTypeVerは0に等しいように設定される。
- cIdxが0より大きい
- IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくなく、lfnst_idxが0に等しくない
- そうではなく、implicitMtsEnabledが1に等しい場合、以下が当てはまる。
- cu_sbt_flagが1に等しい場合、trTypeHorおよびtrTypeVerは、cu_sbt_horizontal_flagおよびcu_sbt_pos_flagに応じてテーブル40内で指定される。
- そうでない(cu_sbt_flagが0に等しい)場合、trTypeHorおよびtrTypeVerは、以下のように導出される。
trTypeHor = ( nTbW >= 4 && nTbW <= 16 ) ? 1 : 0
trTypeVer = ( nTbH >= 4 && nTbH <= 16 ) ? 1 : 0
- そうでない場合、trTypeHorおよびtrTypeVerは、mts_idxに応じてVVC規格のテーブル39内で指定される。
【0121】
ISPの場合に関して、trTypeHorおよびtrTypeVerは、lfnst_idxが> 0である場合、0に設定される(0はDCT-IIを表す)。したがって、イントラ予測され、区分される所定のブロック120は、水平方向の変換としておよび垂直方向の変換として、DCT-IIを1次変換として使用する。1次変換は、第1の変換がそうであるのと同じである。
【0122】
1次変換として(DCT-II, DCT-II)を強制するフラグは、sps_mts_enabled_flagと呼ばれる(MTSは、「多変換選択(Multiple Transform Selection)」を意味する)。sps_mts_enabled_flagが0である場合、1次変換は、すべての場合において(DCT-II, DCT-II)であり、これは、LFNSTが使用されるまたは使用されないという事実とは完全に無関係である。言い換えると、1次変換Tpは、第1の変換T1に等しい。したがって、デコーダ/エンコーダは、第1の変換T1および第1の変換T1と第1の変換T1の係数の部分集合140に適用される2次変換Tsとの連結に等しい第2の変換T2を含む変換の集合138のうちの所定の変換Tを特定する情報136をデータストリームから/に導出/符号化するように構成される。したがって、我々は、この場合、lfnst_idx = 0およびlfnst_idx > 0の場合に関してDCT-IIを1次変換として有する。
【0123】
1に等しいsps_mts_enabled_flagは、sps_explicit_mts_intra_enabled_flagおよびsps_explicit_mts_inter_enabled_flagがSPSに存在することを指定する。0に等しいsps_mts_enabled_flagは、sps_explicit_mts_intra_enabled_flagおよびsps_explicit_mts_inter_enabled_flagがSPSに存在しないことを指定する。
【0124】
スケーリングされた変換係数のための変換プロセスにおいて、0に設定されたHLSフラグは、trTypeHorおよびtrTypeVerの値を設定することを防止する。
【0125】
変数implicitMtsEnabledは、以下のように導出される。
- sps_mts_enabled_flagが1に等しく、下の条件のうちの1つまたは複数が真である場合、implicitMtsEnabledは、1に等しいように設定される。
- IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくない
- cu_sbt_flagが1に等しく、Max( nTbW, nTbH )が32以下である
- sps_explicit_mts_intra_enabled_flagが0に等しく、CuPredMode[ 0 ][ xTbY ][ yTbY ]がMODE_INTRAに等しく、lfnst_idx[ x0 ][ y0 ]が0に等しく、intra_mip_flag[ x0 ][ y0 ]が0に等しい
- そうでない場合、implicitMtsEnabledは、0に等しいように設定される。変数implicitMtsEnabledは、0値であり続け、これは、1次変換がDCT-II以外のいずれかの変換になり得ることを防止する。
- sps_mts_enabled_flagが1に等しく、下の条件のうちの1つまたは複数が真である場合、implicitMtsEnabledは、1に等しいように設定される。
- IntraSubPartitionsSplitTypeがISP_NO_SPLITに等しくない
- cu_sbt_flagが1に等しく、Max( nTbW, nTbH )が32以下である
- sps_explicit_mts_intra_enabled_flagが0に等しく、CuPredMode[ 0 ][ xTbY ][ yTbY ]がMODE_INTRAに等しく、lfnst_idx[ x0 ][ y0 ]が0に等しく、intra_mip_flag[ x0 ][ y0 ]が0に等しい
- そうでない場合、implicitMtsEnabledは、0に等しいように設定される。変数implicitMtsEnabledは、0値であり続け、これは、1次変換がDCT-II以外のいずれかの変換になり得ることを防止する。
【0126】
水平方向の変換カーネルを指定する変数trTypeHorおよび垂直方向の変換カーネルを指定する変数trTypeVerは、以下のように導出される。
- 下の条件のうちの1つまたは複数が真である場合、trTypeHorおよびtrTypeVerは0に等しいように設定される。
- cIdxが0より大きい
- IntraSubPartitionsSplitTypeはISP_NO_SPLITに等しくなく、lfnst_idxは0に等しくない(これは、lfnst_idxが0でない場合に1次がCDT-IIであることを強制する。これは、implicitMtsEnabledと無関係である。1次変換は、第1の変換である)
- そうではなく、implicitMtsEnabledが1に等しい場合、以下が当てはまる。
- cu_sbt_flagが1に等しい場合、trTypeHorおよびtrTypeVerは、cu_sbt_horizontal_flagおよびcu_sbt_pos_flagに応じてテーブル40内で指定される。
- そうでない(cu_sbt_flagが0に等しい)場合、trTypeHorおよびtrTypeVerは、以下のように導出される。
trTypeHor = ( nTbW >= 4 && nTbW <= 16 ) ? 1 : 0
trTypeVer = ( nTbH >= 4 && nTbH <= 16 ) ? 1 : 0
- そうでない場合、trTypeHorおよびtrTypeVerは、mts_idxに応じてVVC規格のテーブル39内で指定される。所定のブロック120のための変換、すなわち、trTypeHorおよびtrTypeVerは、それらのデフォルト値に設定される(mts_idxは、ISPに関して常に0である)。したがって、trTypeHorおよびtrTypeVerは、0、すなわち、DCT-IIに設定される。
- 下の条件のうちの1つまたは複数が真である場合、trTypeHorおよびtrTypeVerは0に等しいように設定される。
- cIdxが0より大きい
- IntraSubPartitionsSplitTypeはISP_NO_SPLITに等しくなく、lfnst_idxは0に等しくない(これは、lfnst_idxが0でない場合に1次がCDT-IIであることを強制する。これは、implicitMtsEnabledと無関係である。1次変換は、第1の変換である)
- そうではなく、implicitMtsEnabledが1に等しい場合、以下が当てはまる。
- cu_sbt_flagが1に等しい場合、trTypeHorおよびtrTypeVerは、cu_sbt_horizontal_flagおよびcu_sbt_pos_flagに応じてテーブル40内で指定される。
- そうでない(cu_sbt_flagが0に等しい)場合、trTypeHorおよびtrTypeVerは、以下のように導出される。
trTypeHor = ( nTbW >= 4 && nTbW <= 16 ) ? 1 : 0
trTypeVer = ( nTbH >= 4 && nTbH <= 16 ) ? 1 : 0
- そうでない場合、trTypeHorおよびtrTypeVerは、mts_idxに応じてVVC規格のテーブル39内で指定される。所定のブロック120のための変換、すなわち、trTypeHorおよびtrTypeVerは、それらのデフォルト値に設定される(mts_idxは、ISPに関して常に0である)。したがって、trTypeHorおよびtrTypeVerは、0、すなわち、DCT-IIに設定される。
【0127】
したがって、第1の変換および第2の変換の1次変換が同じ変換であることが可能であることは、明らかである。デコーダ/エンコーダは、第1の変換を1次変換として使用するように構成される。
【0128】
ブロック120が区分128を行われるか否か、つまり、ISPブロックであるか否かとは無関係に、第2の変換が、下の特徴によって適用され得る。
【0129】
特に、lfnst_idx 112fを用いて、変数ApplyLfnstFlagが、以下のように導出される。
- treeTypeがSINGLE_TREEに等しい場合、次が適用される。
ApplyLfnstFlag = ( lfnst_idx > 0 && cIdx == 0 ) ? 1 : 0
- そうでない場合、次が適用される。
ApplyLfnstFlag = ( lfnst_idx > 0 ) ? 1 : 0
- treeTypeがSINGLE_TREEに等しい場合、次が適用される。
ApplyLfnstFlag = ( lfnst_idx > 0 && cIdx == 0 ) ? 1 : 0
- そうでない場合、次が適用される。
ApplyLfnstFlag = ( lfnst_idx > 0 ) ? 1 : 0
【0130】
スケーリングされた変換係数のための変換プロセスにおいて、ApplyLfnstFlagは、変換プロセスのための変数を準備し、ApplyLfnstFlagは、その変換プロセスを呼び出す。
【0131】
ApplyLfnstFlagが1に等しく、transform_skip_flag[ xTbY ][ yTbY ][ cIdx ]が0に等しく、nTbWとnTbHとの両方が4以上であるとき、以下が当てはまる。
- 変数predModeIntra、nLfnstOutSize、log2LfnstSize、nLfnstSize、およびnonZeroSizeが、以下のように導出される。
predModeIntra = ( cIdx == 0 ) ? IntraPredModeY[ xTbY ][ yTbY ] : IntraPredModeC[ xTbY ][ yTbY ] (1178)
nLfnstOutSize = ( nTbW >= 8 && nTbH >= 8 ) ? 48 : 16
log2LfnstSize = ( nTbW >= 8 && nTbH >= 8 ) ? 3 : 2
nLfnstSize = 1 << log2LfnstSize
nonZeroSize = ( ( nTbW == 4 && nTbH == 4 ) || ( nTbW == 8 && nTbH == 8 ) ) ? 8 : 16
- intra_mip_flag[ xTbY ][ yTbY ]が1に等しく、cIdxが0に等しいとき、predModeIntraは、INTRA_PLANARに等しいように設定される。
- predModeIntraがINTRA_LT_CCLM、INTRA_L_CCLM、またはINTRA_T_CCLMのいずれかに等しいとき、predModeIntraは、以下のように導出される。
- intra_mip_flag[ xTbY + nTbW * SubWidthC / 2 ][ yTbY + nTbH * SubHeightC / 2 ]が1に等しい場合、predModeIntraは、INTRA_PLANARに等しいように設定される。
- そうではなく、CuPredMode[ 0 ][ xTbY + nTbW * SubWidthC / 2 ][ yTbY + nTbH * SubHeightC / 2 ]がMODE_IBCまたはMODE_PLTに等しい場合、predModeIntraは、INTRA_DCに等しいように設定される。
- そうでない場合、predModeIntraは、IntraPredModeY[ xTbY + nTbW * SubWidthC / 2 ][ yTbY + nTbH * SubHeightC / 2 ]に等しいように設定される。
- 8.4.5.2.6節において規定された広角イントラ予測モードマッピングプロセス(wide angle intra prediction mode mapping process)が、predModeIntra、nTbW、nTbH、およびcIdxを入力とし、修正されたpredModeIntraを出力として呼び出される。
- x = 0..nonZeroSize - 1であるリストu[ x ]の値が、以下のように導出される。
xC = DiagScanOrder[ 2 ][ 2 ][ x ][ 0 ]
yC = DiagScanOrder[ 2 ][ 2 ][ x ][ 1 ]
u[ x ] = d[ xC ][ yC ]
- 8.7.4.2節において規定された1次元低周波数非分離可能変換プロセスが、スケーリングされた変換係数の入力長nonZeroSize、nLfnstOutSizeに等しいように設定された変換出力長nTrS、x = 0..nonZeroSize - 1であるスケーリングされた非ゼロの変換係数のリストu[ x ]、およびLFNSTの集合の選択のためのイントラ予測モードpredModeIntraを入力とし、x = 0..nLfnstOutSize - 1であるリストv[ x ]を出力として呼び出される。(これは、LFNST変換プロセスを実際に実行するプロセスを呼び出す。)
- x=0..nLfnstSize-1、y=0..nLfnstSize-1である配列d[x][y]が、以下のように導出される。
- predModeIntraが34以下である場合、以下が適用される。
d[ x ][ y ] = ( y < 4 ) ? v[ x + ( y << log2LfnstSize ) ] :
( ( x < 4 ) ? v[ 32 + x + ( ( y - 4 ) << 2 ) ] : d[ x ][ y ] )
- そうでない場合、次が適用される。
d[ x ][ y ] = ( x < 4 ) ? v[ y + ( x << log2LfnstSize ) ] :
( ( y < 4 ) ? v[ 32 + y + ( ( x - 4 ) << 2 ) ] : d[ x ][ y ] )
- 変数predModeIntra、nLfnstOutSize、log2LfnstSize、nLfnstSize、およびnonZeroSizeが、以下のように導出される。
predModeIntra = ( cIdx == 0 ) ? IntraPredModeY[ xTbY ][ yTbY ] : IntraPredModeC[ xTbY ][ yTbY ] (1178)
nLfnstOutSize = ( nTbW >= 8 && nTbH >= 8 ) ? 48 : 16
log2LfnstSize = ( nTbW >= 8 && nTbH >= 8 ) ? 3 : 2
nLfnstSize = 1 << log2LfnstSize
nonZeroSize = ( ( nTbW == 4 && nTbH == 4 ) || ( nTbW == 8 && nTbH == 8 ) ) ? 8 : 16
- intra_mip_flag[ xTbY ][ yTbY ]が1に等しく、cIdxが0に等しいとき、predModeIntraは、INTRA_PLANARに等しいように設定される。
- predModeIntraがINTRA_LT_CCLM、INTRA_L_CCLM、またはINTRA_T_CCLMのいずれかに等しいとき、predModeIntraは、以下のように導出される。
- intra_mip_flag[ xTbY + nTbW * SubWidthC / 2 ][ yTbY + nTbH * SubHeightC / 2 ]が1に等しい場合、predModeIntraは、INTRA_PLANARに等しいように設定される。
- そうではなく、CuPredMode[ 0 ][ xTbY + nTbW * SubWidthC / 2 ][ yTbY + nTbH * SubHeightC / 2 ]がMODE_IBCまたはMODE_PLTに等しい場合、predModeIntraは、INTRA_DCに等しいように設定される。
- そうでない場合、predModeIntraは、IntraPredModeY[ xTbY + nTbW * SubWidthC / 2 ][ yTbY + nTbH * SubHeightC / 2 ]に等しいように設定される。
- 8.4.5.2.6節において規定された広角イントラ予測モードマッピングプロセス(wide angle intra prediction mode mapping process)が、predModeIntra、nTbW、nTbH、およびcIdxを入力とし、修正されたpredModeIntraを出力として呼び出される。
- x = 0..nonZeroSize - 1であるリストu[ x ]の値が、以下のように導出される。
xC = DiagScanOrder[ 2 ][ 2 ][ x ][ 0 ]
yC = DiagScanOrder[ 2 ][ 2 ][ x ][ 1 ]
u[ x ] = d[ xC ][ yC ]
- 8.7.4.2節において規定された1次元低周波数非分離可能変換プロセスが、スケーリングされた変換係数の入力長nonZeroSize、nLfnstOutSizeに等しいように設定された変換出力長nTrS、x = 0..nonZeroSize - 1であるスケーリングされた非ゼロの変換係数のリストu[ x ]、およびLFNSTの集合の選択のためのイントラ予測モードpredModeIntraを入力とし、x = 0..nLfnstOutSize - 1であるリストv[ x ]を出力として呼び出される。(これは、LFNST変換プロセスを実際に実行するプロセスを呼び出す。)
- x=0..nLfnstSize-1、y=0..nLfnstSize-1である配列d[x][y]が、以下のように導出される。
- predModeIntraが34以下である場合、以下が適用される。
d[ x ][ y ] = ( y < 4 ) ? v[ x + ( y << log2LfnstSize ) ] :
( ( x < 4 ) ? v[ 32 + x + ( ( y - 4 ) << 2 ) ] : d[ x ][ y ] )
- そうでない場合、次が適用される。
d[ x ][ y ] = ( x < 4 ) ? v[ y + ( x << log2LfnstSize ) ] :
( ( y < 4 ) ? v[ 32 + y + ( ( x - 4 ) << 2 ) ] : d[ x ][ y ] )
【0132】
【0133】
4分割の使用(実施形態)
ISPの現在の設計は、2つの異なる分割タイプの使用を可能にする。
・水平分割:垂直な次元に沿ってn個の部分に分割する
・垂直分割:水平な次元に沿ってn個の部分に分割する
VTM-5.0において、nは、ブロックサイズに応じて2または4であることが可能である。
ISPの現在の設計は、2つの異なる分割タイプの使用を可能にする。
・水平分割:垂直な次元に沿ってn個の部分に分割する
・垂直分割:水平な次元に沿ってn個の部分に分割する
VTM-5.0において、nは、ブロックサイズに応じて2または4であることが可能である。
【0134】
図6に示される実施形態においては、第3の分割タイプが導入される。ピクチャ110が、データストリーム112にコーディングされる。図6によるデコーダ/エンコーダは、各ブロック120が予測タイプの集合114のうちの関連する予測タイプに割り振られるように、イントラ予測116およびインター予測118を含む予測タイプの集合114への、ピクチャ110が下位分割されるブロック120の粒度でのピクチャ110の割り振り112aをデータストリーム112から/に導出/符号化するように構成される。さらに、デコーダ/エンコーダは、イントラ予測116が割り振られるイントラ予測されるブロック120の各々に関して、イントラ予測モードの集合122のうちの関連するイントラ予測モード125をデータストリーム112から/に導出/符号化するように構成される。
【0135】
関連するイントラ予測モード125が所定のイントラ予測モードの所定の部分集合124に含まれる所定のイントラ予測されるブロック120の各々に関して、デコーダ/エンコーダは、それぞれの所定のイントラ予測されるブロック120の区分130がそれぞれの所定のイントラ予測されるブロック120と同じ幅になるようにそれぞれの所定のイントラ予測されるブロック120が水平方向に分割される第1の区分127aと、それぞれの所定のイントラ予測されるブロック120の区分130がそれぞれの所定のイントラ予測されるブロック120と同じ高さになるようにそれぞれの所定のイントラ予測されるブロック120が垂直方向に分割される第2の区分127bと、それぞれの所定のイントラ予測されるブロック120の区分130が区分の行および区分の列に配列されるようにそれぞれの所定のイントラ予測されるブロック120が水平方向および垂直方向に分割される第3の区分127cとを含む区分モードの集合127のうちの、区分130へのそれぞれの所定のイントラ予測されるブロック120の区分128を特定する情報126をデータストリーム112から/に導出/符号化するように構成される。さらに、関連するイントラ予測モード125が所定のイントラ予測モードの所定の部分集合124に含まれる所定のイントラ予測されるブロック120の各々に関して、デコーダ/エンコーダは、それぞれの所定のイントラ予測されるブロック120に割り振られた所定のイントラ予測モード125に応じたやり方でそれぞれの所定のイントラ予測されるブロック120の各区分130をイントラ予測するように構成される。
【0136】
デコーダ/エンコーダは、それぞれの所定のイントラ予測されるブロック120の各区分130に関して、所定の変換Tによってそれぞれの所定のイントラ予測されるブロック120のそれぞれの区分130の空間領域の予測残差信号に関連付けられる区分に固有の予測残差信号132をデータストリーム112から/に導出/符号化することによってそれぞれの所定のイントラ予測されるブロック120に関する予測残差132を導出/符号化することにより、各ブロック120に関して、それぞれのブロック120の予測残差132に関する情報112eをデータストリーム112から/に導出/符号化するように構成される。
【0137】
さらに、デコーダ/エンコーダは、それぞれのブロック120の予測残差132に関する情報と、それぞれのブロック120に割り振られた予測タイプ125を使用して取得された予測信号とを使用して各ブロック120を再構築するように構成される。
【0138】
実施形態によれば、それぞれの所定のイントラ予測されるブロック120は、区分の行の数が区分の列の数に等しいように、第3の区分127cにおいては、垂直方向と同じ頻度で水平方向に分割される。
【0139】
実施形態によれば、デコーダは、それぞれの所定のイントラ予測されるブロック120に関してデータストリーム112内で送信された区分インジケータ112dを読むことと、区分モードの集合127のうちのそれぞれの所定のイントラ予測されるブロック120の区分128を特定するために区分インジケータ112d、すなわち、区分インデックスを使用することとによって、区分モードの集合127のうちの、区分130へのそれぞれの所定のイントラ予測されるブロック120の区分128を特定する情報126をデータストリーム112から導出するように構成される。エンコーダは、デコーダと同様の特徴を含むことが可能であり、エンコーダは、データストリーム112内で区分インジケータ112dを送信することによって情報126をデータストリーム112に符号化するように構成される。
【0140】
実施形態によれば、デコーダは、区分インジケータ112dによって含まれ、それぞれの所定のイントラ予測されるブロック120の区分128が第3の区分127cであるか否かを示す第1のフラグを読むことによって、それぞれの所定のイントラ予測されるブロック120に関してデータストリーム112内で送信された区分インジケータ112dを読むように構成される。エンコーダは、デコーダと同様の特徴を含むことが可能であり、エンコーダは、第1のフラグを送信することによって区分インジケータ112dを送信するように構成される。それぞれの所定のイントラ予測されるブロック120の区分128が第3の区分127cでない場合、デコーダ/エンコーダは、区分インジケータ112dによって含まれ、それぞれの所定のイントラ予測されるブロック120の区分128が第1の区分127aであるのかまたは第2の区分127bであるのかを示す第2のフラグを読む/送信するように構成される。
【0141】
【0142】
好ましいバージョンの例:
各区分は、等しいサイズであり、nの好ましい値は、2または4である可能性がある。したがって、同じ次元を有する4つの区分かまたは16個の区分かのどちらかが存在する。
各区分は、等しいサイズであり、nの好ましい値は、2または4である可能性がある。したがって、同じ次元を有する4つの区分かまたは16個の区分かのどちらかが存在する。
【0143】
アルゴリズムの提案:
ブロックを水平方向の次元と垂直方向の次元との両方でそれぞれn個の部分に分割する別の分割タイプ、すなわち、第3の区分127c、すなわち、4分割を含めることが、提案される。したがって、下位区分の総数は、n2になる。たとえば、n=2に関しては、全部で4つの下位区分が存在することになる。この分割タイプは、それが使用されることを示すための新しいシンタックス要素を必要とするか、またはブロックの次元もしくはイントラモードなどのデコーダにおける既存のブロックパラメータによって暗黙的に決定される可能性がある。分割は、既存の分割タイプと同じようにして働く。
ブロックを水平方向の次元と垂直方向の次元との両方でそれぞれn個の部分に分割する別の分割タイプ、すなわち、第3の区分127c、すなわち、4分割を含めることが、提案される。したがって、下位区分の総数は、n2になる。たとえば、n=2に関しては、全部で4つの下位区分が存在することになる。この分割タイプは、それが使用されることを示すための新しいシンタックス要素を必要とするか、またはブロックの次元もしくはイントラモードなどのデコーダにおける既存のブロックパラメータによって暗黙的に決定される可能性がある。分割は、既存の分割タイプと同じようにして働く。
【0144】
ローカルイントラモード(local intra mode)の使用(実施形態)
VTM-5.0のISPの設計においては、イントラモードが、すべての下位区分で共有される。したがって、たとえば、イントラモードをブロック全体に関して1回シグナリングすることのみが必要である。このモードをグローバルブロックモードと定義することにする。
VTM-5.0のISPの設計においては、イントラモードが、すべての下位区分で共有される。したがって、たとえば、イントラモードをブロック全体に関して1回シグナリングすることのみが必要である。このモードをグローバルブロックモードと定義することにする。
【0145】
図7に示される実施形態においては、ローカルイントラモードが導入される。各区分130(たとえば、1300～1303)は、独自のイントラモードに割り振られてよい。所定のイントラ予測されるブロック120の一部の区分130は、所定のイントラ予測されるブロック120のその他の区分130と同じイントラモードに割り振られてよい。代替的に、所定のイントラ予測されるブロック120の各区分130は、所定のイントラ予測されるブロック120のその他の区分130と異なるイントラモードに割り振られる。
【0146】
図7は、データストリーム112からピクチャを復号するためのデコーダのおよびデータストリーム112にピクチャを符号化するためのエンコーダの詳細を示す。また、図7に示されていないが、デコーダ/エンコーダは、各ブロック120が予測タイプの集合114のうちの関連する予測タイプに割り振られるように、イントラ予測116およびインター予測118を含む予測タイプの集合114への、ピクチャが下位分割されるブロックの粒度でのピクチャの割り振りをデータストリーム112から/に導出/符号化するように構成される。これは、図4から図6に関連して説明されたデコーダ/エンコーダと同様にしてデコーダ/エンコーダによって実行され得る。
【0147】
さらに、デコーダ/エンコーダは、イントラ予測が割り振られるイントラ予測されるブロック120の各々に関して、イントラ予測モードの集合のうちの関連するイントラ予測モード125をデータストリーム112から導出するように構成される。イントラ予測モードの集合は、図4または図6に関連して説明された集合122に等しいかまたは類似していることが可能であり、以下で、所定のイントラ予測モードの言及される部分集合は、図4または図6に関連して説明された所定のイントラ予測モードの部分集合124に等しいかまたは類似していることが可能である。
【0148】
関連するイントラ予測モード125が所定のイントラ予測モードの所定の部分集合124に含まれる所定のイントラ予測されるブロック120の各々に関して、デコーダ/エンコーダは、区分130へのそれぞれの所定のイントラ予測されるブロック120の区分128に関する126をデータストリーム112から/に導出/符号化するように構成される。区分128の導出または符号化は、図4および/または図6に関連して説明されたように実行されてよい。さらに、関連するイントラ予測モード125が所定のイントラ予測モードの所定の部分集合124に含まれる所定のイントラ予測されるブロック120の各々に関して、デコーダ/エンコーダは、規則の集合154のうちの所定の規則156を特定する情報150をデータストリーム112から/に導出/符号化するように構成され、その情報150を使用して、それぞれの所定のイントラ予測されるブロック120の各区分130に関して、区分に固有のイントラ予測モード152が、それぞれの所定のイントラ予測されるブロック120に関する関連するイントラ予測モード125に基づいて所定のイントラ予測モードの所定の部分集合124から決定される。それぞれの所定のイントラ予測されるブロック120の各区分130は、それぞれの区分に関して決定された区分に固有のイントラ予測モード152を使用してイントラ予測される。第1の区分に固有のイントラ予測モード1520が、第1の区分1300に割り振られてよく、第2の区分に固有のイントラ予測モード1521が、第2の区分1301に割り振られてよく、第3の区分に固有のイントラ予測モード1522が、第3の区分1302に割り振られてよく、第4の区分に固有のイントラ予測モード1523が、第4の区分1303に割り振られてよい。どの区分に固有のイントラ予測モード152が区分130に関して決定されるかは、それぞれの所定のイントラ予測されるブロック120に関する所定の規則156および関連するイントラ予測モード125に依存する。
【0149】
さらに、デコーダ/エンコーダは、それぞれの所定のイントラ予測されるブロック120の各区分130に関して、所定の変換Tによってそれぞれの所定のイントラ予測されるブロック120のそれぞれの区分130の空間領域の予測残差信号134に関連付けられる区分に固有の予測残差信号132をデータストリーム112から導出することによってそれぞれの所定のイントラ予測されるブロック120に関する予測残差を導出することにより、各ブロック120に関して、それぞれのブロック120の予測残差に関する情報をデータストリーム112から/に導出/符号化するように構成される。予測残差の導出は、図4または図6において説明されたように実行され得る。
【0150】
デコーダ/エンコーダは、それぞれのブロック120の予測残差に関する情報と、それぞれのブロック120に割り振られた予測タイプを使用して取得された予測信号とを使用して各ブロック120を再構築するように構成される。ブロック120は、各区分130に関して、それぞれの区分130に関して決定された区分に固有のイントラ予測モード152を使用して区分に固有の予測信号を取得することによって再構築されてよい。区分130は、順にイントラ予測されてよい。ブロック120は、それぞれの区分130の区分に固有の予測信号および区分に固有の予測残差を使用してブロック120の各区分130を順に再構築することによって再構築されてよい。
【0151】
実施形態によれば、デコーダ/エンコーダは、前の区分の区分に固有の予測残差信号132による前の区分に関するイントラ予測信号の訂正を使用することによって、順に、それぞれの所定のイントラ予測されるブロック120に割り振られた所定のイントラ予測モード125に応じたやり方でそれぞれの所定のイントラ予測されるブロック120の区分130のイントラ予測を実行するように構成される。
【0152】
実施形態によれば、デコーダ/エンコーダは、規則の集合154のうちの所定の規則156を特定する情報150をデータストリーム112から/に導出/符号化するように構成され、その情報150を使用して、それぞれの所定のイントラ予測されるブロック120の各区分130に関して、区分に固有のイントラ予測モード152は、それぞれの所定のイントラ予測されるブロック120に関してデータストリーム112内で送信された規則インデックス112gを読むことによって、または近隣のブロックの特徴に基づいて規則インデックスを予測することによって、それぞれの所定のイントラ予測されるブロックに関する関連するイントラ予測モード125に基づいて所定のイントラ予測モードの所定の部分集合124から決定される。したがって、規則の集合154のうちの所定の規則156を特定する情報150は、データストリーム112内で送信される規則インデックス112gによって明示的にシグナリングされることが可能であり、または所定のブロック120の近隣にある近隣のブロックの特徴に基づく規則インデックスの予測によって暗黙的に取得されることが可能である。規則インデックスは、規則の集合154のうちの所定の規則156を特定するために使用されてよい。
【0153】
実施形態によれば、デコーダ/デコーダは、それぞれの所定のイントラ予測されるブロック120に関する関連するイントラ予測モード125が角度モード123aである場合、それぞれの所定のイントラ予測されるブロック120の区分130に関する区分に固有のイントラ予測モード152も角度モード123aであるように、規則の集合154の各規則がそれぞれの所定のイントラ予測されるブロック120の区分130に関する区分に固有のイントラ予測モード152を決定するように構成される。さらに、図8に示されるように、それぞれの所定のイントラ予測されるブロック120の区分130に関する区分に固有のイントラ予測モード152のイントラ予測方向170の平均は、それぞれの所定のイントラ予測されるブロック120に関する関連するイントラ予測モード125のイントラ予測方向172に等しい。図8は、角度イントラ予測モード123aがそれらの関連するイントラ予測方向の時計回りの回転に従って順序付けられる場合の、規則の集合154のうちの第1の規則1551による区分に固有のイントラ予測モード152のイントラ予測方向170を左に示し、規則の集合154のうちの第2の規則1552による区分に固有のイントラ予測モード152のイントラ予測方向170を右に示す。
【0154】
上で既に概説されたように、角度イントラ予測モード123aは、イントラ予測方向170/172が互いに異なる。それぞれの角度イントラ予測モード123aは、インデックスを関連付けてよく、角度イントラ予測モード123aへのインデックスの関連付けは、角度イントラ予測モード123aを関連するモードインデックスに従って順序付けるときに、方向が時計回りにまたは反時計回りに単調に回転するようなものであってよい。
【0155】
実施形態によれば、デコーダ/エンコーダは、規則の集合154が第1の変形規則(variant rule)、たとえば、1551と第2の変形規則、たとえば、1552との1つまたは複数のペアを含むように構成される。第1の変形規則、たとえば、第1の規則1551は、所定の方向174に沿って区分130を空間的に横切るとき、角度の逸脱の大きさがそれぞれの所定のイントラ予測されるブロック120の中央から離れるにつれて、中央の下流と比較して中央の上流では反対の角度の逸脱の符号で所定の方向174に沿って単調に増加する際に、それぞれの所定のイントラ予測されるブロック120の区分130に関する区分に固有のイントラ予測モード152のイントラ予測方向170がそれぞれの所定のイントラ予測されるブロック120に関する関連するイントラ予測モード125のイントラ予測方向172からずれるようにしてそれぞれの所定のイントラ予測されるブロック120の区分130に関する区分に固有のイントラ予測モード152を決定する。第2の変形規則、たとえば、第2の規則1552は、それぞれの所定のイントラ予測されるブロック120の各区分130に関して、それぞれの区分130に関する区分に固有のイントラ予測モード152のイントラ予測方向170が、第1の変形規則、たとえば、第1の規則1551によるそれぞれの所定のイントラ予測されるブロック120に関する関連するイントラ予測モード125からのそれぞれの区分130に関する区分に固有のイントラ予測モード152のイントラ予測方向170の逸脱と等しい角度の逸脱の大きさおよび反対の角度の逸脱の符号でそれぞれの所定のイントラ予測されるブロック120に関する関連するイントラ予測モード125のイントラ予測方向172からずれるようにしてそれぞれの所定のイントラ予測されるブロック120の区分130に関する区分に固有のイントラ予測モード152を決定する。第1の変形規則1551および第2の変形規則1552は、同じ角度の逸脱の大きさ、ただし、反対の角度の逸脱の符号によって区分毎に区分に固有のイントラ予測モード152を定義する。
【0156】
区分128の上述の導出または符号化において、情報126は、区分モードの集合127のうちの区分128を特定してよい。区分モードの集合127は、図4または図6に示されるように、それぞれの所定のイントラ予測されるブロック120の区分130がそれぞれの所定のイントラ予測されるブロック120と同じ幅になるようにそれぞれの所定のイントラ予測されるブロック120が水平方向に分割される第1の区分127aと、それぞれの所定のイントラ予測されるブロック120の区分130がそれぞれの所定のイントラ予測されるブロック120と同じ高さになるようにそれぞれの所定のイントラ予測されるブロック120が垂直方向に分割される第2の区分127bとを含んでよい。任意で、区分モードの集合127は、それぞれの所定のイントラ予測されるブロック120の区分130が区分の行および区分の列に配列されるようにそれぞれの所定のイントラ予測されるブロック120が水平方向および垂直方向に分割される第3の区分127cを含む。所定の方法174は、それぞれの所定のイントラ予測されるブロック120の区分128が第1の区分127aである場合は垂直方向であり、それぞれの所定のイントラ予測されるブロックの区分128が第2の区分127bである場合は水平方向である。図7および図8に示された区分は、第1の区分127aに従って実行される。
【0157】
実施形態によれば、デコーダ/エンコーダは、それぞれの所定のイントラ予測されるブロック120の次元に基づいて区分130の数の観点で区分128を決定するように構成される。区分128は、たとえば、それぞれの所定のイントラ予測されるブロック120の高さおよび幅に依存する。区分128は、2つを超える区分130の数をもたらす可能性がある。それぞれの所定のイントラ予測されるブロック120は、区分128によって少なくとも3つの区分130に区分されてよい。
【0158】
【0159】
アルゴリズムの提案:
各下位区分130が、独自のイントラモード、すなわち、グローバルブロックモード、すなわち、関連するイントラ予測モード125に必ずしも等しくなくてよい区分に固有のイントラ予測モード152を有することを可能にすることが提案される。この新しい手法において、グローバルブロックモード125は、たとえば、デコーダによって引き続き解析されるが、各下位区分130は、独自のローカルモード152を持つ。このローカルモード152は、グローバルブロックモード125、下位区分のインデックス、明示的に送信されたシンタックス要素、近隣のイントラモードなどに依存する可能性がある。たとえば、インデックス0から3およびグローバルイントラモードiを有する4つの下位区分、たとえば、区分1300から1303を持つブロック120を有するものとする。そのとき、下位区分130のローカルイントラモード152は、以下である可能性がある。
・ローカルモード0 = i - 2
・ローカルモード1 = i - 1
・ローカルモード2 = i + 1
・ローカルモード3 = i + 2
各下位区分130が、独自のイントラモード、すなわち、グローバルブロックモード、すなわち、関連するイントラ予測モード125に必ずしも等しくなくてよい区分に固有のイントラ予測モード152を有することを可能にすることが提案される。この新しい手法において、グローバルブロックモード125は、たとえば、デコーダによって引き続き解析されるが、各下位区分130は、独自のローカルモード152を持つ。このローカルモード152は、グローバルブロックモード125、下位区分のインデックス、明示的に送信されたシンタックス要素、近隣のイントラモードなどに依存する可能性がある。たとえば、インデックス0から3およびグローバルイントラモードiを有する4つの下位区分、たとえば、区分1300から1303を持つブロック120を有するものとする。そのとき、下位区分130のローカルイントラモード152は、以下である可能性がある。
・ローカルモード0 = i - 2
・ローカルモード1 = i - 1
・ローカルモード2 = i + 1
・ローカルモード3 = i + 2
【0160】
好ましいバージョンの例:
・ISPが使用される場合、フラグ、すなわち、ローカルイントラ予測表示112hが、イントラモード125のローカルの変形が存在することになるか否かを決定するためにデコーダによって解析される。デコーダ/エンコーダは、区分に固有のイントラ予測モード152が各区分130の予測のために使用されるかどうかを示すローカルイントラ予測表示112hを読む/送信するように構成されてよい。
・ローカルの変形が存在することになる場合、第2のフラグ、すなわち、規則インデックス112gが、変形のどのモデル、すなわち、規則156が使用されるのかを示すために送信される。ローカルイントラ予測表示112hが区分に固有のイントラ予測モード152の使用を示す場合、デコーダ/エンコーダは、規則インデックス112gを読む/送信するか、または近隣のブロックの特徴に基づいて規則インデックスを予測し、規則の集合154のうちの所定の規則156を特定するために規則インデックスを使用するように構成されてよい。たとえば、2つの可能性がある。
・ISPが使用される場合、フラグ、すなわち、ローカルイントラ予測表示112hが、イントラモード125のローカルの変形が存在することになるか否かを決定するためにデコーダによって解析される。デコーダ/エンコーダは、区分に固有のイントラ予測モード152が各区分130の予測のために使用されるかどうかを示すローカルイントラ予測表示112hを読む/送信するように構成されてよい。
・ローカルの変形が存在することになる場合、第2のフラグ、すなわち、規則インデックス112gが、変形のどのモデル、すなわち、規則156が使用されるのかを示すために送信される。ローカルイントラ予測表示112hが区分に固有のイントラ予測モード152の使用を示す場合、デコーダ/エンコーダは、規則インデックス112gを読む/送信するか、または近隣のブロックの特徴に基づいて規則インデックスを予測し、規則の集合154のうちの所定の規則156を特定するために規則インデックスを使用するように構成されてよい。たとえば、2つの可能性がある。
【0161】
【表1】
【0162】
追加的な注釈:
図4または図6に示されたピクチャ110は、図1から図3に関連して説明されたピクチャ12または12'に関連付けられ得る。図4、図6、および図7に示されたデータストリーム112は、図1および図2に関連して説明されたデータストリーム14に関連付けられ得る。図4、図6、図7、および図8に示されたイントラ予測されるブロック120は、図3に関連して説明されたイントラ予測されるブロック80に関連付けられ得る。
図4または図6に示されたピクチャ110は、図1から図3に関連して説明されたピクチャ12または12'に関連付けられ得る。図4、図6、および図7に示されたデータストリーム112は、図1および図2に関連して説明されたデータストリーム14に関連付けられ得る。図4、図6、図7、および図8に示されたイントラ予測されるブロック120は、図3に関連して説明されたイントラ予測されるブロック80に関連付けられ得る。
【0163】
図9は、各ブロックが予測タイプの集合のうちの関連する予測タイプに割り振られるように、イントラ予測およびインター予測を含む予測タイプの集合への、ピクチャが下位分割されるブロックの粒度でのピクチャの割り振りを、ピクチャがコーディングされるデータストリームから導出すること1100を含む、ピクチャを復号するための方法1000を示す。方法1000は、イントラ予測が割り振られるイントラ予測されるブロックの各々に関して、イントラ予測モードの集合のうちの関連するイントラ予測モードをデータストリームから導出すること1200を含む。関連するイントラ予測モードが所定のイントラ予測モードの所定の部分集合に含まれる所定のイントラ予測されるブロックの各々に関して、方法1000は、区分へのそれぞれの所定のイントラ予測されるブロックの区分に関する情報をデータストリームから導出すること1300と、それぞれの所定のイントラ予測されるブロックに割り振られた所定のイントラ予測モードに応じたやり方でそれぞれの所定のイントラ予測されるブロックの各区分をイントラ予測すること1400とを含む。さらに、方法1000は、それぞれの所定のイントラ予測されるブロックの各区分に関して、所定の変換によってそれぞれの所定のイントラ予測されるブロックのそれぞれの区分の空間領域の予測残差信号に関連付けられる区分に固有の予測残差信号をデータストリームから導出すること1510によってそれぞれの所定のイントラ予測されるブロックに関する予測残差を導出することにより、各ブロックに関して、それぞれのブロックの予測残差に関する情報をデータストリームから導出すること1500を含む。さらに、方法1000は、第1の変換および1次変換と1次変換の係数の部分集合に適用される2次変換との連結に等しい第2の変換を含む変換の集合のうちの所定の変換を特定する情報をデータストリームから導出すること1520によってそれぞれの所定のイントラ予測されるブロックに関する予測残差を導出することにより、各ブロックに関して、それぞれのブロックの予測残差に関する情報をデータストリームから導出すること1500を含む。各ブロックは、それぞれのブロックの予測残差に関する情報と、それぞれのブロックに割り振られた予測タイプを使用して取得された予測信号とを使用して再構築される(1600)。
【0164】
図10に示されるように、復号するための方法1000に対応するピクチャを符号化するための方法2000は、各ブロックが予測タイプの集合のうちの関連する予測タイプに割り振られるように、イントラ予測およびインター予測を含む予測タイプの集合への、ピクチャが下位分割されるブロックの粒度でのピクチャの割り振りを、ピクチャがコーディングされるデータストリームに符号化すること2100を含む。方法2000は、イントラ予測が割り振られるイントラ予測されるブロックの各々に関して、イントラ予測モードの集合のうちの関連するイントラ予測モードをデータストリームに符号化すること2200を含む。関連するイントラ予測モードが所定のイントラ予測モードの所定の部分集合に含まれる所定のイントラ予測されるブロックの各々に関して、方法2000は、区分へのそれぞれの所定のイントラ予測されるブロックの区分に関する情報をデータストリームに符号化すること2300と、それぞれの所定のイントラ予測されるブロックに割り振られた所定のイントラ予測モードに応じたやり方でそれぞれの所定のイントラ予測されるブロックの各区分をイントラ予測すること2400とを含む。さらに、方法2000は、それぞれの所定のイントラ予測されるブロックの各区分に関して、所定の変換によってそれぞれの所定のイントラ予測されるブロックのそれぞれの区分の空間領域の予測残差信号に関連付けられる区分に固有の予測残差信号をデータストリームに符号化すること2510によってそれぞれの所定のイントラ予測されるブロックに関する予測残差を符号化することにより、各ブロックに関して、それぞれのブロックの予測残差に関する情報をデータストリームに符号化すること2500を含む。さらに、方法2000は、第1の変換および1次変換と1次変換の係数の部分集合に適用される2次変換との連結に等しい第2の変換を含む変換の集合のうちの所定の変換を特定する情報をデータストリームに符号化すること2520によってそれぞれの所定のイントラ予測されるブロックに関する予測残差を符号化することにより、各ブロックに関して、それぞれのブロックの予測残差に関する情報をデータストリームに符号化すること2500を含む。各ブロックに関して、それぞれのブロックは、それぞれのブロックの予測残差に関する情報と、それぞれのブロックに割り振
られた予測タイプを使用して取得された予測信号とを使用して再構築可能である。
られた予測タイプを使用して取得された予測信号とを使用して再構築可能である。
【0165】
図11は、各ブロックが予測タイプの集合のうちの関連する予測タイプに割り振られるように、イントラ予測およびインター予測を含む予測タイプの集合への、ピクチャが下位分割されるブロックの粒度でのピクチャの割り振りを、ピクチャがコーディングされるデータストリームから導出すること1100を含む、ピクチャを復号するための方法3000を示す。方法3000は、イントラ予測が割り振られるイントラ予測されるブロックの各々に関して、イントラ予測モードの集合のうちの関連するイントラ予測モードをデータストリームから導出すること1200を含む。関連するイントラ予測モードが所定のイントラ予測モードの所定の部分集合に含まれる所定のイントラ予測されるブロックの各々に関して、方法3000は、それぞれの所定のイントラ予測されるブロックの区分がそれぞれの所定のイントラ予測されるブロックと同じ幅になるようにそれぞれの所定のイントラ予測されるブロックが水平方向に分割される第1の区分と、それぞれの所定のイントラ予測されるブロックの区分がそれぞれの所定のイントラ予測されるブロックと同じ高さになるようにそれぞれの所定のイントラ予測されるブロックが垂直方向に分割される第2の区分と、それぞれの所定のイントラ予測されるブロックの区分が区分の行および区分の列に配列されるようにそれぞれの所定のイントラ予測されるブロックが水平方向および垂直方向に分割される第3の区分とを含む区分モードの集合のうちの、区分へのそれぞれの所定のイントラ予測されるブロックの区分を特定する情報をデータストリームから導出すること1300を含む。関連するイントラ予測モードが所定のイントラ予測モードの所定の部分集合に含まれる所定のイントラ予測されるブロックの各々に関して、方法3000は、それぞれの所定のイントラ予測されるブロックに割り振られた所定のイントラ予測モードに応じたやり方でそれぞれの所定のイントラ予測されるブロックの各区分をイントラ予測すること1400を含む。さらに、方法3000は、それぞれの所定のイントラ予測されるブロックの各区分に関して、所定の変換によってそれぞれの所定のイントラ予測されるブロックのそれぞれの区分の空間領域の予測残差信号に関連付けられる区分に固有の予測残差信号をデータストリームから導出することによってそれぞれの所定のイントラ予測されるブロックに関する予測残差を導出することにより、各ブロックに関して、それぞれのブロックの予測残差に関する情報をデータストリームから導出すること1500を含む。方法3000は、それぞれのブロックの予測残差に関する情報と、それぞれのブロックに割り振られた予測タイプを使用して取得された予測信号とを使用して各ブロックを再構築すること1600を含む。
【0166】
図12に示されるように、復号するための方法3000に対応するピクチャを符号化するための方法4000は、各ブロックが予測タイプの集合のうちの関連する予測タイプに割り振られるように、イントラ予測およびインター予測を含む予測タイプの集合への、ピクチャが下位分割されるブロックの粒度でのピクチャの割り振りを、ピクチャがコーディングされるデータストリームに符号化すること2100を含む。方法4000は、イントラ予測が割り振られるイントラ予測されるブロックの各々に関して、イントラ予測モードの集合のうちの関連するイントラ予測モードをデータストリームに符号化すること2200を含む。関連するイントラ予測モードが所定のイントラ予測モードの所定の部分集合に含まれる所定のイントラ予測されるブロックの各々に関して、方法4000は、それぞれの所定のイントラ予測されるブロックの区分がそれぞれの所定のイントラ予測されるブロックと同じ幅になるようにそれぞれの所定のイントラ予測されるブロックが水平方向に分割される第1の区分と、それぞれの所定のイントラ予測されるブロックの区分がそれぞれの所定のイントラ予測されるブロックと同じ高さになるようにそれぞれの所定のイントラ予測されるブロックが垂直方向に分割される第2の区分と、それぞれの所定のイントラ予測されるブロックの区分が区分の行および区分の列に配列されるようにそれぞれの所定のイントラ予測されるブロックが水平方向および垂直方向に分割される第3の区分とを含む区分モードの集合のうちの、区分へのそれぞれの所定のイントラ予測されるブロックの区分を特定する情報をデータストリームに符号化すること2300を含む。関連するイントラ予測モードが所定のイントラ予測モードの所定の部分集合に含まれる所定のイントラ予測されるブロックの各々に関して、方法4000は、それぞれの所定のイントラ予測されるブロックに割り振られた所定のイントラ予測モードに応じたやり方でそれぞれの所定のイントラ予測されるブロックの各区分をイントラ予測すること2400を含む。さらに、方法4000は、それぞれの所定のイントラ予測されるブロックの各区分に関して、所定の変換によってそれぞれの所定のイントラ予測されるブロックのそれぞれの区分の空間領域の予測残差信号に関連付けられる区分に固有の予測残差信号をデータストリームに符号化することによってそれぞれの所定のイントラ予測されるブロックに関する予測残差を符号化することにより、各ブロックに関して、それぞれのブロックの予測残差に関する情報をデータストリームに符号化すること2500を含む。各ブロックに関して、それぞれのブロックは、それぞれのブロックの予測残差に関する情報と、それぞれのブロックに割り振られた予測タイプを使用して取得された予測信号とを使用して再構築可能である。
【0167】
図13は、各ブロックが予測タイプの集合のうちの関連する予測タイプに割り振られるように、イントラ予測およびインター予測を含む予測タイプの集合への、ピクチャが下位分割されるブロックの粒度でのピクチャの割り振りを、ピクチャがコーディングされるデータストリームから導出すること1100を含む、ピクチャを復号するための方法5000を示す。方法5000は、イントラ予測が割り振られるイントラ予測されるブロックの各々に関して、イントラ予測モードの集合のうちの関連するイントラ予測モードをデータストリームから導出すること1200を含む。関連するイントラ予測モードが所定のイントラ予測モードの所定の部分集合に含まれる所定のイントラ予測されるブロックの各々に関して、方法5000は、区分へのそれぞれの所定のイントラ予測されるブロックの区分に関する情報をデータストリームから導出すること1300と、規則の集合のうちの所定の規則を特定する情報をデータストリームから導出すること1350であって、所定の規則を特定する情報を使用して、それぞれの所定のイントラ予測されるブロックの各区分に関して、区分に固有のイントラ予測モードが、それぞれの所定のイントラ予測されるブロックに関する関連するイントラ予測モードに基づいて所定のイントラ予測モードの所定の部分集合から決定される、導出すること1350と、それぞれの区分に関して決定された区分に固有のイントラ予測モードを使用してそれぞれの所定のイントラ予測されるブロックの各区分をイントラ予測すること1400とを含む。さらに、方法5000は、それぞれの所定のイントラ予測されるブロックの各区分に関して、所定の変換によってそれぞれの所定のイントラ予測されるブロックのそれぞれの区分の空間領域の予測残差信号に関連付けられる区分に固有の予測残差信号をデータストリームから導出することによってそれぞれの所定のイントラ予測されるブロックに関する予測残差を導出することにより、各ブロックに関して、それぞれのブロックの予測残差に関する情報をデータストリームから導出すること1500を含む。方法5000は、それぞれのブロックの予測残差に関する情報と、それぞれのブロックに割り振られた予測タイプを使用して取得された予測信号とを使用して各ブロックを再構築すること1600を含む。
【0168】
図14に示されるように、復号するための方法5000に対応するピクチャを符号化するための方法6000は、各ブロックが予測タイプの集合のうちの関連する予測タイプに割り振られるように、イントラ予測およびインター予測を含む予測タイプの集合への、ピクチャが下位分割されるブロックの粒度でのピクチャの割り振りを、ピクチャがコーディングされるデータストリームに符号化すること2100を含む。方法6000は、イントラ予測が割り振られるイントラ予測されるブロックの各々に関して、イントラ予測モードの集合のうちの関連するイントラ予測モードをデータストリームに符号化すること2200を含む。関連するイントラ予測モードが所定のイントラ予測モードの所定の部分集合に含まれる所定のイントラ予測されるブロックの各々に関して、方法6000は、区分へのそれぞれの所定のイントラ予測されるブロックの区分に関する情報をデータストリームに符号化すること2300と、規則の集合のうちの所定の規則を特定する情報をデータストリームに符号化すること2350であって、所定の規則を特定する情報を使用して、それぞれの所定のイントラ予測されるブロックの各区分に関して、区分に固有のイントラ予測モードが、それぞれの所定のイントラ予測されるブロックに関する関連するイントラ予測モードに基づいて所定のイントラ予測モードの所定の部分集合から決定される、符号化すること2350と、それぞれの区分に関して決定された区分に固有のイントラ予測モードを使用してそれぞれの所定のイントラ予測されるブロックの各区分をイントラ予測すること2400とを含む。さらに、方法6000は、それぞれの所定のイントラ予測されるブロックの各区分に関して、所定の変換によってそれぞれの所定のイントラ予測されるブロックのそれぞれの区分の空間領域の予測残差信号に関連付けられる区分に固有の予測残差信号をデータストリームに符号化することによってそれぞれの所定のイントラ予測されるブロックに関する予測残差を符号化することにより、各ブロックに関して、それぞれのブロックの予測残差に関する情報をデータストリームに符号化すること2500を含む。各ブロックに関して、それぞれのブロックは、それぞれのブロックの予測残差に関する情報と、それぞれのブロックに割り振られた予測タイプを使用して取得された予測信号とを使
用して再構築可能である。
用して再構築可能である。
【0169】
さらなる実施形態:
いくつかの態様が装置の文脈で説明されたが、これらの態様が対応する方法の説明も示し、ブロックまたはデバイスが方法のステップまたは方法のステップの特徴に対応することは、明らかである。同じように、方法のステップの文脈で説明された態様は、対応する装置の対応するブロックまたは物または特徴の説明も示す。方法のステップの一部またはすべては、たとえば、マイクロプロセッサ、プログラミング可能なコンピュータ、または電子回路のようなハードウェア装置によって(またはそれを使用して)実行されてよい。一部の実施形態において、最も重要な方法のステップのうちの1つまたは複数は、そのような装置によって実行されてよい。
いくつかの態様が装置の文脈で説明されたが、これらの態様が対応する方法の説明も示し、ブロックまたはデバイスが方法のステップまたは方法のステップの特徴に対応することは、明らかである。同じように、方法のステップの文脈で説明された態様は、対応する装置の対応するブロックまたは物または特徴の説明も示す。方法のステップの一部またはすべては、たとえば、マイクロプロセッサ、プログラミング可能なコンピュータ、または電子回路のようなハードウェア装置によって(またはそれを使用して)実行されてよい。一部の実施形態において、最も重要な方法のステップのうちの1つまたは複数は、そのような装置によって実行されてよい。
【0170】
特定の実装の要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアに実装され得る。実装は、それぞれの方法が実行されるようにプログラミング可能なコンピュータシステムと協力する(または協力することができる)、電子的に読み取り可能な制御信号を記憶するデジタルストレージ媒体、たとえば、フロッピーディスク、DVD、Blue-Ray、CD、ROM、PROM、EPROM、EEPROM、またはフラッシュメモリを使用して行われ得る。したがって、デジタルストレージ媒体は、コンピュータ可読である可能性がある。
【0171】
本発明による一部の実施形態は、本明細書において説明された方法のうちの1つが実行されるように、プログラミング可能なコンピュータシステムと協力することができる、電子的に読み取り可能な制御信号を有するデータ担体を含む。
【0172】
概して、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装されることが可能であり、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法のうちの1つを実行するために働く。プログラムコードは、たとえば、機械可読担体上に記憶されてよい。
【0173】
その他の実施形態は、機械可読担体上に記憶される、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを含む。
【0174】
言い換えると、発明の方法の実施形態は、したがって、コンピュータプログラムがコンピュータ上で実行されるときに本明細書において説明された方法のうちの1つを実行するためのプログラムコードを有するコンピュータプログラムである。
【0175】
発明の方法のさらなる実施形態は、したがって、記録された、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを含むデータ担体(またはデジタルストレージ媒体、もしくはコンピュータ可読媒体)である。データ担体、デジタルストレージ媒体、または記録された媒体は、概して有形であるおよび/または非一時的である。
【0176】
発明の方法のさらなる実施形態は、したがって、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、たとえば、データ通信接続を介して、たとえば、インターネットを介して転送されるように構成されてよい。
【0177】
さらなる実施形態は、本明細書において説明された方法のうちの1つを実行するように構成されたまたは適合された処理手段、たとえば、コンピュータまたはプログラマブルロジックデバイスを含む。
【0178】
さらなる実施形態は、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムをインストールされたコンピュータを含む。
【0179】
本発明によるさらなる実施形態は、本明細書において説明された方法のうちの1つを実行するためのコンピュータプログラムを受信機に(たとえば、電子的にまたは光学的に)転送するように構成された装置またはシステムを含む。受信機は、たとえば、コンピュータ、モバイルデバイス、メモリデバイスなどであってよい。装置またはシステムは、たとえば、コンピュータプログラムを受信機に転送するためのファイルサーバを含む可能性がある。
【0180】
一部の実施形態においては、本明細書において説明された方法の機能の一部またはすべてを実行するために、プログラマブルロジックデバイス(たとえば、フィールドプログラマブルゲートアレイ)が使用されてよい。一部の実施形態において、フィールドプログラマブルゲートアレイは、本明細書において説明された方法のうちの1つを実行するためにマイクロプロセッサと協力する可能性がある。概して、方法は、任意のハードウェア装置によって実行されることが好ましい。
【0181】
本明細書において説明された装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実装される可能性がある。
【0182】
本明細書において説明された装置、または本明細書において説明された装置の任意の構成要素は、少なくとも部分的にハードウェアにおよび/またはソフトウェアに実装されてよい。
【0183】
本明細書において説明された方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組合せを使用して実行されてよい。
【0184】
本明細書において説明された方法、または本明細書において説明された装置の任意の構成要素は、少なくとも部分的にハードウェアによっておよび/またはソフトウェアによって実行されてよい。
【0185】
上述の実施形態は、本発明の原理を例示するに過ぎない。本明細書において説明された構成および詳細の修正および変更は当業者に明らかであろうことが、理解される。したがって、下の特許請求項の範囲によってのみ限定され、本明細書の実施形態の記載および説明によって提示された特定の詳細によって限定されないことが意図される。
【符号の説明】
【0186】
10 エンコーダ、装置
12 ピクチャ、元の信号
12' ピクチャ、信号
14 データストリーム
20 デコーダ、装置
22 予測残差信号フォーマ
24 予測残差
24' スペクトル領域の予測残差信号
24'' 量子化された予測残差信号
24''' スペクトル領域の予測残差信号
24'''' 予測残差信号
26 予測信号
28 変換器
32 量子化器
34 エントロピーコーダ
36 予測段階
40 逆変換器
42 合成器
44 予測モジュール
46 再構築された信号
50 エントロピーデコーダ
52 逆量子化器
54 逆変換器
56 合成器
58 予測モジュール
80 イントラコーディングされるブロック
82 インターコーディングされるブロック
84 ブロック
110 ピクチャ
112 データストリーム
112a 情報、割り振り
112b 情報
112c 情報、モード表示
112d 情報、区分インジケータ
112e 情報、残差信号、残差の変換
112f 変換シンタックス要素、情報、2次変換フラグ、lfnst_idx
112g 規則インデックス
112h ローカルイントラ予測表示
113 関数transform_tree
114 予測タイプの集合
116 イントラ予測
118 インター予測
120 イントラ予測されるブロック
122 イントラ予測モードの集合
123a 角度イントラ予測モード
123b 平面イントラ予測モード
123c DCイントラ予測モード
123d ブロックに基づくイントラ予測モード
124 イントラ予測モードの部分集合
125 関連するイントラ予測モード、予測タイプ
126 情報
127 区分モードの集合
127a 第1の区分
127b 第2の区分
127c 第3の区分
128 区分
130 区分、下位区分
1300 第1の区分
1301 第2の区分
1302 第3の区分
1303 第4の区分
132 区分に固有の予測残差信号、予測残差
134 空間領域の予測残差信号
136 情報
138 変換の集合
140 1次変換T1/Tpの変換係数の部分集合
150 情報
152 区分に固有のイントラ予測モード、ローカルモード、ローカルイントラモード
1520 第1の区分に固有のイントラ予測モード
1521 第2の区分に固有のイントラ予測モード
1522 第3の区分に固有のイントラ予測モード
1523 第4の区分に固有のイントラ予測モード
154 規則の集合
1551 第1の規則
1552 第2の規則
156 所定の規則
160 特定のエリア、非ゼロの変換領域のエリア
170 イントラ予測方向
172 イントラ予測方向
313 LfnstDcOnly
530 順序
1000 方法
2000 方法
3000 方法
4000 方法
5000 方法
6000 方法
12 ピクチャ、元の信号
12' ピクチャ、信号
14 データストリーム
20 デコーダ、装置
22 予測残差信号フォーマ
24 予測残差
24' スペクトル領域の予測残差信号
24'' 量子化された予測残差信号
24''' スペクトル領域の予測残差信号
24'''' 予測残差信号
26 予測信号
28 変換器
32 量子化器
34 エントロピーコーダ
36 予測段階
40 逆変換器
42 合成器
44 予測モジュール
46 再構築された信号
50 エントロピーデコーダ
52 逆量子化器
54 逆変換器
56 合成器
58 予測モジュール
80 イントラコーディングされるブロック
82 インターコーディングされるブロック
84 ブロック
110 ピクチャ
112 データストリーム
112a 情報、割り振り
112b 情報
112c 情報、モード表示
112d 情報、区分インジケータ
112e 情報、残差信号、残差の変換
112f 変換シンタックス要素、情報、2次変換フラグ、lfnst_idx
112g 規則インデックス
112h ローカルイントラ予測表示
113 関数transform_tree
114 予測タイプの集合
116 イントラ予測
118 インター予測
120 イントラ予測されるブロック
122 イントラ予測モードの集合
123a 角度イントラ予測モード
123b 平面イントラ予測モード
123c DCイントラ予測モード
123d ブロックに基づくイントラ予測モード
124 イントラ予測モードの部分集合
125 関連するイントラ予測モード、予測タイプ
126 情報
127 区分モードの集合
127a 第1の区分
127b 第2の区分
127c 第3の区分
128 区分
130 区分、下位区分
1300 第1の区分
1301 第2の区分
1302 第3の区分
1303 第4の区分
132 区分に固有の予測残差信号、予測残差
134 空間領域の予測残差信号
136 情報
138 変換の集合
140 1次変換T1/Tpの変換係数の部分集合
150 情報
152 区分に固有のイントラ予測モード、ローカルモード、ローカルイントラモード
1520 第1の区分に固有のイントラ予測モード
1521 第2の区分に固有のイントラ予測モード
1522 第3の区分に固有のイントラ予測モード
1523 第4の区分に固有のイントラ予測モード
154 規則の集合
1551 第1の規則
1552 第2の規則
156 所定の規則
160 特定のエリア、非ゼロの変換領域のエリア
170 イントラ予測方向
172 イントラ予測方向
313 LfnstDcOnly
530 順序
1000 方法
2000 方法
3000 方法
4000 方法
5000 方法
6000 方法
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】