特許 7536851 パーティションベースのイントラ符号化概念

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-09

(45)【発行日】2024-08-20

(54)【発明の名称】パーティションベースのイントラ符号化概念

(51)【国際特許分類】

   H04N 19/593 20140101AFI20240813BHJP

   H04N 19/18 20140101ALI20240813BHJP

   H04N 19/11 20140101ALI20240813BHJP

   H04N 19/136 20140101ALI20240813BHJP

【ＦＩ】

H04N19/593

H04N19/18

H04N19/11

H04N19/136

【請求項の数】 14

(21)【出願番号】P 2022191609

(22)【出願日】2022-11-30

(62)【分割の表示】P 2020543004の分割

【原出願日】2019-02-07

(65)【公開番号】P2023022221

(43)【公開日】2023-02-14

【審査請求日】2022-12-26

(31)【優先権主張番号】18156169.7

(32)【優先日】2018-02-09

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】18183571.1

(32)【優先日】2018-07-13

(33)【優先権主張国・地域又は機関】EP

(31)【優先権主張番号】19150108.9

(32)【優先日】2019-01-02

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】500341779

【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(72)【発明者】

【氏名】デ・ルクサン・ヘルナンデス，サンチアゴ

(72)【発明者】

【氏名】シュヴァルツ，ヘイコ

(72)【発明者】

【氏名】マルペ，デトレフ

(72)【発明者】

【氏名】ヴィーガント，トーマス

【審査官】間宮 嘉誉

(56)【参考文献】

【文献】特表２０１４－５３０５４４（ＪＰ，Ａ）

【文献】特表２０１４－５１９７６４（ＪＰ，Ａ）

【文献】LAI, Changcai et al.，New Intra Prediction using the Correlation between Pixels and Lines，JCTVC-B040，ITU，2012年10月01日，pp.1-4，JCTVC-B040.doc

【文献】XU, Jun et al.，Non-CE6: Improvement for SDIP，JCTVC-G354 (version 4)，ITU，2011年11月19日，pp.1-4，[online]，[retrieved on 2024-02-22]，Retrieved from the Internet: <URL: http://phenix.it-sudparis.eu/jct/doc_end_user/documents/7_Geneva/wg11/JCTVC-G354-v4.zip>，JCTVC-G354_r2.doc

【文献】HERNANDEZ, Santiago De Luxan et al.，CE3: Line-Based Intra Coding Mode (Tests 1.4.1, 1.4.2 and 1.4.3)，JVET-K0049 (version 1)，ITU，2018年07月02日，pp.1-8，[online]，[retrieved on 2024-02-22]，Retrieved from the Internet: <URL: https://jvet-experts.org/doc_end_user/documents/11_Ljubljana/wg11/JVET-K0049-v1.zip>，JVET-K0049_v1.docx

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１２

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

データストリーム（１４）からピクチャ（１２）をブロックベースで復号するためのデコーダであって、前記ピクチャは復号される複数のブロックを含み、
前記デコーダは、
前記複数のブロックの現在のブロック（８０）のイントラ符号化モード（１１６）を決定するよう構成され、
前記現在のブロック（８０）は、パーティション次元（１０４）に沿って、複数のパーティション（１０２ｉ；１１２ｉ）に区分するよう構成され、前記パーティションの数は２より大きく、
パーティション毎の変換を使用して、パーティションごとに、変換ドメインで前記データストリームから予測残差（１２０ｉ）を復号するよう構成され、前記変換は、パーティションサイズに基づいて選択されるタイプであり、
現在のパーティションについて、前記パーティション次元に沿って所定のパーティション順序（１２６）に従って、次の（ａ）及び（ｂ）によって前記現在のブロックの各パーティションを順次再構成するよう構成された、
（ａ）前記現在のブロックの前記イントラ符号化モードに応じた方法で、現在のパーティションに隣接する１つ以上の既に再構成されたサンプルに応じて、現在のパーティションのための予測子を導出する（１２２）こと、及び
（ｂ）前記現在のパーティション（１２０）の前記予測子と前記予測残差を結合すること、
デコーダ。

【請求項2】

前記デコーダは、前記予測子を結合する際に使用するために、前記データストリームから前記予測残差を変換ドメインで復号し、かつその予測残差を空間ドメインへ再変換するように構成される、
請求項１に記載のデコーダ。

【請求項3】

前記デコーダは、以下の（ｃ）及び（ｄ）によって、前記現在のパーティションの変換ドメインで前記データストリームから前記予測残差を復号するよう構成される、
（ｃ）所定のスキャン順序に沿った変換ドメインの最後の変換係数位置を示す最後の位置表示（１９０）を前記データストリームから復号すること、
（ｄ）前記所定のスキャン順序に沿った前記最後の変換係数位置までの変換の変換係数（１９８）を前記データストリームから復号し、かつ前記所定のスキャン順序に沿った前記最後の変換係数位置を超える前記変換の前記変換係数がゼロであると推測すること、
請求項１又は２に記載のデコーダ。

【請求項4】

前記パーティションは、前記パーティション次元に沿って１サンプル幅であり、前記変換は一次元変換である、請求項１～３のいずれか１項に記載のデコーダ。

【請求項5】

前記デコーダは、前記データストリームから前記ピクチャの現在のブロックのパーティション次元フラグ（１１４）を復号し、前記パーティション次元フラグに依存して前記パーティション次元（１０４）を水平又は垂直に設定するよう構成される、
請求項１から４のいずれか１項に記載のデコーダ。

【請求項6】

前記デコーダは、前記現在のブロックの前記パーティションを順次再構成する前に、全てのパーティションについて、前記データストリームから前記予測残差を復号するよう構成される、
請求項１から５のいずれか１項に記載のデコーダ。

【請求項7】

データストリームへピクチャをブロックベースで符号化するためのエンコーダであって、
前記ピクチャの現在のブロックのイントラ符号化モードを決定し、前記イントラ符号化モードを前記データストリームへ信号伝達するよう構成され、
前記現在のブロックは、パーティション次元に沿って、パーティションに区分するよう構成され、前記パーティションの数は２より大きく、
現在のパーティションについて、前記パーティション次元に沿ってパーティションを順次横断する所定のパーティション順序に従って、次の（ａ）及び（ｂ）によって前記現在のブロックの前記パーティションを順次行うよう構成され、
（ａ）前記イントラ符号化モードに応じた方法で、前記現在のパーティションに隣接する１つ以上の既に符号化されたサンプルに応じて、前記現在のパーティションのための予測子を導出すること、及び
（ｂ）前記現在のパーティションを再構成するために前記予測子との結合をするために使用される予測残差を決定すること、
パーティション毎の変換を使用して、パーティションごとに、変換ドメインで前記データストリームへ前記予測残差を符号化するよう構成され、前記変換は、パーティションサイズに基づいて選択されるタイプである、
エンコーダ。

【請求項8】

前記エンコーダは、前記予測子を結合する際に使用するために、前記データストリームへ前記予測残差を変換ドメインで符号化し、かつその予測残差を空間ドメインへ再変換するように構成される、
請求項７に記載のエンコーダ。

【請求項9】

前記エンコーダは、以下の（ｃ）及び（ｄ）によって、変換ドメインで前記データストリームに前記現在のパーティションの前記予測残差を符号化するよう構成される、
（ｃ）所定のスキャン順序に沿った前記変換ドメインの最後の変換係数位置を示す最後の位置表示を前記データストリームに符号化すること、
（ｄ）前記所定のスキャン順序に沿った前記最後の変換係数位置までの変換の変換係数を前記データストリームに符号化することであって、前記所定のスキャン順序に沿った前記最後の変換係数位置を超える前記変換の変換係数がゼロに設定される、
請求項７又は８に記載のエンコーダ。

【請求項10】

前記パーティションは、前記パーティション次元に沿って１サンプル幅であり、前記変換は一次元変換である、請求項７～９のいずれか１項に記載のエンコーダ。

【請求項11】

前記エンコーダは、パーティション次元を水平又は垂直に決定し、
前記ピクチャの前記現在のブロックのパーティション次元フラグ（１１４）を前記データストリームに符号化するよう構成され、前記パーティション次元フラグは、パーティション次元が水平又は垂直かを示す、
請求項７から１０のいずれか１項に記載のエンコーダ。

【請求項12】

データストリーム（１４）からピクチャ（１２）をブロックベースで復号するための方法であって、
前記ピクチャの現在のブロック（８０）の前記データストリーム（１４）からのイントラ符号化モード（１１６）を決定することと、
前記現在のブロック（８０）は、パーティション次元（１０４）に沿って、複数のパーティション（１０２ｉ；１１２ｉ）に区分することであって、前記パーティションの数は２より大きく、区分することと、
パーティション毎の変換を使用して、パーティションごとに、変換ドメインで前記データストリームから予測残差（１２０ｉ）を復号することであって、前記変換は、パーティションサイズに基づいて選択されるタイプである、復号することと、
現在のパーティションについて、前記パーティション次元に沿って所定のパーティション順序（１２６）に従って、次の（ａ）及び（ｂ）によって前記現在のブロックの前記パーティションを順次再構成することと、
（ａ）前記現在のブロックの前記イントラ符号化モードに応じた方法で、前記現在のパーティションに隣接する１つ以上の既に再構成されたサンプルに応じて、前記現在のパーティションのための予測子を導出する（１２２）こと、及び
（ｂ）前記データストリームに信号伝達された前記予測子と前記予測残差（１２０ｉ）を結合する（１２２）ことによって前記現在のパーティションを再構成することと、
を含む、方法。

【請求項13】

データストリームへピクチャをブロックベースで符号化する方法であって、
前記ピクチャの現在のブロックのイントラ符号化モードを決定し、前記イントラ符号化モードを前記データストリームへ信号伝達することと、
前記現在のブロックを、パーティション次元に沿って、パーティションに区分することであって、前記パーティションの数は２より大きい、区分することと、
現在のパーティションについて、前記パーティション次元に沿って前記パーティションを順次横断する所定のパーティション順序に従って、次の（ａ）及び（ｂ）によって前記現在のブロックの前記パーティションを順次予測に従わせることと、
（ａ）前記イントラ符号化モードに応じた方法で、前記現在のパーティションに隣接する１つ以上の既に符号化されたサンプルに応じて、前記現在のパーティションのための予測子を導出すること、及び
（ｂ）前記現在のパーティションを再構成するために前記予測子との結合をするために使用される予測残差を決定すること、
パーティション毎の変換を使用して、パーティションごとに、変換ドメインで前記データストリームへ前記予測残差を符号化することであって、前記変換は、パーティションサイズに基づいて選択されるタイプである、符号化することと、
を含む、方法。

【請求項14】

コンピュータ上で実行されたときに、請求項１２に記載の方法を実行するプログラムコードを有するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えばハイブリッドビデオコーデックなどのブロックベースのコーデックで使用するためのイントラ符号化の概念に関する。

【背景技術】

【0002】

ＨＥＶＣにおけるイントラ予測は、あるブロックが与えられた場合、あるパターンに従って、つまり３３のａｎｇｕｌａｒモードと１つのＤＣモードと１つのｐｌａｎａｒモードに従って、隣接ブロックの復号された境界サンプルを外挿することによって、実行される［１］。次に、レート歪みコストを最小にする１つのイントラ予測モードがデコーダに通知される。多くのイントラ予測モード（ＩＰＭ）をサポートする既知のコーデックが存在するが、それら既知のコーデックによって達成されるイントラ予測には、より高い符号化効率につながるより優れたイントラ予測子（ｉｎｔｒａｐｒｅ－ｄｉｃｔｏｒｓ）を発見する上で、未だ進化の余地がある。これは、ＨＥＶＣだけでなく、イントラ予測を使用する他のブロックベースのコーデックにも関係する。より正確な予測子は予測残差を減らし、それによって予測残差の符号化に関連するシグナリングオーバーヘッドを減らすという事実に鑑み、ブロックの内部を効率的に符号化するのに適したイントラ予測モードのセットを見つけるには、シグナリングオーバーヘッドの観点からイントラ予測モードをシグナリングするためのオーバーヘッドと、これらのイントラ予測モードによって取得される予測子の結果品質と、を考慮する必要がある。イントラ予測モードに関連付けられたシグナリングオーバーヘッドを低く保つには、イントラ予測ブロックを大きくする、つまり、イントラ予測モードがシグナリングされる粒度を粗く保つ必要があるが、一方で、より大きなブロックの空間予測は、イントラ予測ブロック、つまり予測されるべきブロックの内部にあるサンプルの、このブロックに隣接する既に復号／符号化されたサンプルつまり参照サンプルとの間の平均サンプル距離が大きくなるために、精度が低くなる傾向がある。ＨＥＶＣは、変換残差ブロックが対応する符号化ユニットのイントラ予測モードを継承できるようにすることで、符号化ユニットがマルチツリーサブ分割によってサブ分割されるリーフブロックを変換残差ブロックが形成する場合に比較して、このジレンマを多少軽減する。しかしこの場合でも、個々のイントラ符号化された符号化ユニットから変換ブロックへのサブ区分をエンコーダからデコーダに通知するための、シグナリングオーバーヘッドが依然として必要となる。

【0003】

したがって、イントラ符号化の符号化効率をさらに高める概念を獲得することが望ましい。

【発明の概要】

【発明が解決しようとする課題】

【0004】

したがって、本発明の目的は、より効率的なイントラ符号化の概念を提供することである。

【0005】

この目的は、本願の独立請求項の主題によって達成される。

【0006】

本発明は、ピクチャのブロックベースの符号化は、あるイントラ予測符号化概念を提供することによって、より効果的になり得るという知見に基づいている。その概念によれば、ピクチャの所定のブロックは、あるイントラ符号化モードを使用してイントラ予測符号化され、その所定のブロックはある次元に沿って複数のパーティションに区分され、そのパーティションの数は２より大きく、及び／又は、それらパーティションは前記次元に沿って１サンプル幅となっているので、再構成をする場合、それらパーティションに対し、前記所定のブロックについてシグナリングされた前記イントラ予測符号化モードを使用した空間予測が順次施され、次に、そのようにして得られた予測子をある予測残差を用いて修正するので、次の、つまり現時点のパーティションを処理するときに、先行する複数のパーティションについて、デコーダで複数のサンプルを一度に再構成することが可能になる。その結果、区分（ｐａｒｔｉｔｉｏｎｉｎｇ）に関するシグナリングオーバーヘッドは省略されるか、又は低く抑え得る。例えば、区分次元に関するシグナリングだけがデータストリームで費やされてもよく、その場合、垂直軸に沿う区分であって、所定のブロックが複数の水平のスライスに区分され各スライスが所定のブロック幅を有する区分と、水平軸に沿う区分であって、所定のブロックが複数の垂直のスライスに区分され各スライスが所定のブロック高さを有する区分と、の間の区別などがシグナリングされる。パーティションの数は、例えば、エンコーダとデコーダの間で合意されたパーティションの数を持つことにより、本質的に明らかであってもよく、その場合、エンコーダとデコーダが所定のブロックをこの数のパーティションに分割してもよく、または、所定のブロックを、所定のブロックが所定の次元に沿って複数のサンプル単位で次元決めされている数と同数のパーティションに区分し、各パーティションがその所定の次元に沿って１つのサンプル幅を持つようにしてもよく、即ち、１つのサンプル幅を持つ複数のパーティションへと区分してもよい。これにより、区分は、イントラ予測モードがデータストリームの中にシグナリングされる所定のブロックのシグナリングオーバーヘッドを全体として低く保つことができる。その一方で、エンコーダとデコーダに対し、所定ブロックのサンプルの、すでに再構成／符号化された隣接する参照サンプルからの平均距離を下げる可能性を提供する。その参照サンプルは、少なくとも部分的には所定のブロック自身の中、すなわち、予測残差が既に決定された、以前に処理されたパーティション内にあり、それらが配置されているパーティションに使用される予測子の修正に利用可能である。

【0007】

本発明の有利な態様は、従属請求項の主題である。本願の好ましい実施形態は、図に関して以下で説明される。

【図面の簡単な説明】

【0008】

【図1】図１は、本願の実施形態によるイントラ予測概念が実装され得るエンコーダの例として、ピクチャを予測符号化するための装置のブロック図を示す。

【図2】図２は、本願の実施形態によるイントラ予測概念が実装され得るデコーダの例として、図１の装置に適合する、ピクチャを予測的に復号するための装置のブロック図を示す。

【図3】図３は、予測残差信号、予測信号、および再構成された信号の間の関係の例を示す概略図であり、符号化モード選択、変換選択、および変換性能のそれぞれに細分割を設定する可能性を示す。

【図4】図４は、異なる区分次元、すなわち、水平分割と垂直分割との間の選択を可能にする実施形態に係る、イントラ符号化ブロックの区分処理を示す概略図を示す。

【図5】図５は、区分オプションに従って処理されたイントラ符号化ブロックの区分の順次処理を示す概略図を示す。

【図6】パーティションの充填プロセスの予測された導出を示す概略図を示す。

【図7】水平および垂直分割モードに従って分割され、それぞれに関連付けられた２つの異なるイントラ予測モードを有する分割されたイントラ予測ブロックの例を示し、イントラ予測ブロックに関連付けられたイントラ予測モードに依存したパーティション順序の決定を行う可能性を示す。

【図8】パーティションオプションを使用して処理されたイントラ予測ブロック８０のために費やされる可能なシグナリングを示す概略図を示す。

【図9】一実施形態による、パーティションの予測残差を送信する可能な方法を示す概略図を示す。

【図10】イントラ予測モードの区分に関連する符号化コストの部分合計の決定を示す概略図を示し、これは通常のイントラ予測モードのどれよりも良くならないことが明らかなときにテストを中止できるようにするためである。

【図11】一実施形態による、パーティションモードテストを実行するためのエンコーダのモードまたは動作のフローチャートを示す。

【図12a】イントラ符号化ブロックの代替的区分の例をさらなる実施形態として示す。

【図12b】イントラ符号化ブロックの代替的区分の例を例示的な比較実施形態として示す。

【発明を実施するための形態】

【0009】

以下に図を説明するが、はじめに、イントラ予測コーデックの実施形態が含まれ得る符号化フレームワークの例を形成するために、ビデオ（動画）のピクチャを符号化するためのブロックベースの予測コーデックのエンコーダおよびデコーダの説明を提示する。従来のエンコーダおよびデコーダについては、図１－図３に関して説明する。次に、本願のイントラ予測概念の実施形態の説明を、当該概念を図１および図２のエンコーダおよびデコーダの中にそれぞれどのように組み込め得るかについての説明と共に提示するが、後続の図４およびそれ以後の図で示される実施形態は、図１および図２のエンコーダおよびデコーダの基礎となる符号化フレームワークに従って動作しないエンコーダおよびデコーダを形成するためにも使用され得る。

【0010】

図１は、例示的に変換ベースの残差符号化を使用して、ピクチャ１２をデータストリーム１４に予測的に符号化するための装置を示す。装置またはエンコーダは、参照符号１０を使用して示される。図２は、対応するデコーダ２０、すなわち、同じく変換ベースの残差復号を使用して、データストリーム１４からピクチャ１２’を予測的に復号するように構成された装置２０を示す。ここで、アポストロフィは、予測残差信号の量子化によって導入された符号化損失により、デコーダ２０によって再構成されたピクチャ１２’が、装置１０によって符号化された元のピクチャ１２からずれていることを示すために、使用されている。図１および図２は、例示的に変換ベースの予測残差符号化を使用するが、本願の実施形態はこの種の予測残差符号化に限定されない。これは、以下で概説するように、図１および図２に関して説明する他の詳細にも当てはまる。

【0011】

エンコーダ１０は、予測残差信号を空間－スペクトル変換にかけ、こうして得られた予測残差信号をデータストリーム１４に符号化するように構成される。同様に、デコーダ２０は、データストリーム１４から予測残差信号を復号し、こうして得られた予測残差信号をスペクトル－空間変換にかけるように構成される。

【0012】

エンコーダ１０は、内部的には、元の信号すなわちピクチャ１２からの予測信号２６のずれを測定するために予測残差２４を生成する、予測残差信号形成部２２を備えてもよい。予測残差信号形成部２２は、例えば、元の信号すなわちピクチャ１２から予測信号を減算する減算器であってもよい。次に、エンコーダ１０は、予測残差信号２４を空間－スペクトル変換にかけてスペクトルドメイン予測残差信号２４’を取得する変換器２８をさらに備え、スペクトルドメイン予測残差信号２４’は次に、エンコーダ１０に含まれた量子化器３２によって量子化される。このように量子化された予測残差信号２４’’は、ビットストリーム１４へと符号化される。このために、エンコーダ１０は、任意でエントロピーコーダ３４を備えることができ、このエントロピーコーダ３４は変換されかつ量子化された予測残差信号２４’’をエントロピー符号化する。予測残差２６は、データストリーム１４に符号化され、かつデータストリーム１４から復号可能な予測残差信号２４’’に基づいて、エンコーダ１０の予測ステージ３６によって生成される。このため、予測ステージ３６は、図１に示すように、内部的に逆量子化器３８を備えることができ、この逆量子化器３８が予測残差信号２４’’を逆量子化してスペクトルドメイン予測残差信号２４’’’を得る。スペクトルドメイン予測残差信号２４’’’は量子化損失を除いて信号２４’に対応している。逆量子化器３８の後に、その予測残差信号２４’’’を逆変換、つまりスペクトル－空間変換を行って予測残差信号２４’’’’を取得する、逆変換器４０が続いている。この予測残差信号２４’’’’は、量子化損失を除いて、元の予測残差信号２４に対応する。次に、予測ステージ３６の結合器４２は、加算などにより、予測信号２６と予測残差信号２４’’’’とを再結合し、再構成信号４６、すなわち元の信号１２の再構成を取得する。再構成信号４６は信号１２’に相当し得る。次に、予測ステージ３６の予測モジュール４４は、例えば、空間予測すなわちイントラ予測、および／または時間予測すなわちインター予測を使用することによって、信号４６に基づいて予測信号２６を生成する。

【0013】

同様に、デコーダ２０は、内部的には予測ステージ３６に対応する構成要素で構成され、かつそれに対応する様に相互接続されてもよい。特に、デコーダ２０のエントロピーデコーダ５０は、量子化されたスペクトルドメイン予測残差信号２４’’をデータストリームからエントロピー復号してもよく、その後、相互接続され、予測ステージ３６のモジュールに関して上述した方法で連携する逆量子化器５２、逆変換器５４、結合部５６および予測モジュール５８は、予測残差信号２４’’に基づいて再構成された信号を復元し、その結果、図２に示すように、結合部５６の出力は、再構成信号すなわちピクチャ１２’をもたらす。

【0014】

上記には具体的に説明されていないが、エンコーダ１０が、例えば何らかのレート及び歪みに関連する基準、つまり符号化コストを最適化するような方法で、何らかの最適化スキームに従って、例えば予測モード、動きパラメータなどを含むいくつかの符号化パラメータを設定できることは容易に明らかである。例えばエンコーダ１０およびデコーダ２０ならびに対応するモジュール４４、５８は、それぞれイントラ符号化モードおよびインター符号化モードなどの異なる予測モードをサポートすることができる。エンコーダとデコーダがこれらの予測モードタイプを切り替えるに際する粒度は、それぞれ符号化セグメントまたは符号化ブロックへのピクチャ１２と１２’のサブ分割に対応してもよい。ピクチャは、例えばこれらの符号化セグメントの単位で、イントラ符号化されるブロックとインター符号化されるブロックにサブ分割され得る。

【0015】

以下でより詳細に概説するように、イントラ符号化ブロックは、それぞれのブロックの空間的な、すでに符号化／復号された近傍に基づいて予測される。方向性またはａｎｇｕｌａｒのイントラ符号化モードを含むいくつかのイントラ符号化モードが存在してもよく、個々のイントラ符号化セグメントに対して選択され得る。その選択されたモードに従い、個々のセグメントは、ある方向に沿って近隣のサンプル値を外挿することによって個々のイントラ符号化セグメントへと満たされるが、その方向は、各方向性イントラ符号化モードについて特異である。イントラ符号化モードは、１つ以上のさらなるモード、例えばＤＣ符号化モードなどを含むこともでき、そのＤＣモードの場合、個々のイントラ符号化ブロックについての予測は、個々のイントラ符号化セグメント内のすべてのサンプルにＤＣ値を割り当てるものであり、及び／又はｐｌａｎａｒイントラ符号化モードを含むことができ、そのｐｌａｎａｒイントラ符号化モードの場合、個々のブロックの予測は複数のサンプル値の空間分布として近似又は決定され、そのサンプル値の空間分布は、個々のイントラ符号化ブロックの複数のサンプル位置にわたる二次元線形関数を使用して、その二次元線形関数によって定義される平面の傾き及び切片を近隣サンプルを基礎として動かすことにより、記述される。

【0016】

これと対照的に、インター符号化ブロックは、例えば時間的に予測され得る。インター符号化されたブロックの場合、動きベクトルはデータストリーム内にシグナリングされていてもよく、その動きベクトルは、ピクチャ１２が属するビデオの以前に符号化されたピクチャのある部分、即ち以前に符号化／復号されたピクチャがサンプリングされて各インター符号化ブロックについての予測信号が取得される部分の空間的ずれを示す。つまり、量子化されたスペクトルドメイン予測残差信号２４’’を表すエントロピー符号化変換係数レベルなどのデータストリーム１４に含まれた残差信号符号化に加えて、符号化モードをさまざまなブロックへ割り当てるための符号化モードパラメータ、インター符号化されたセグメントのための動きパラメータなどの一部のブロックのための予測パラメータ、およびピクチャ１２および１２’のセグメントへのサブ分割をそれぞれ制御しかつ通知するパラメータなどの任意のその他のパラメータを、データストリーム１４がその中に符号化して含んでもよい。デコーダ２０は、これらのパラメータを使用して、エンコーダが行ったのと同じ方法でピクチャをサブ分割し、各セグメントに各同じ予測モードを割り当て、同じ予測を実行して同じ予測信号をもたらす。

【0017】

図３は、再構成された信号、すなわち再構成されたピクチャ１２’を一方とし、データストリームの中で信号伝達された予測残差信号２４’’’’と予測信号２６との組み合わせを他方とする、相互の関係を示す。上述したように、この組み合わせは加算であってもよい。予測信号２６は、図３において、ピクチャ領域のイントラ符号化ブロックおよびインター符号化ブロックへのサブ分割として示され、イントラ符号化ブロックは例示的にハッチングを使用して示され、インター符号化ブロックは例示的にハッチングなしで示される。このサブ分割は任意のサブ分割であってもよく、ブロックまたはブロックの行と列へのピクチャ領域の規則的なサブ分割、または四分木サブ分割などのような、さまざまなサイズのリーフブロックへのピクチャ１２のマルチツリーサブ分割などによりブロックへと分割され、図３にはそれら分割の混合が示されている。そこでは、ピクチャ領域は、まずツリールートブロックの行と列にサブ分割され、次に、再帰的マルチツリーサブ分割に従ってさらにサブ分割される。繰り返すが、データストリーム１４は、イントラ符号化ブロック８０のためのイントラ符号化モードを符号化された状態でその中に有してもよく、そのイントラ符号化モードは、いくつかのサポートされたイントラ符号化モードの１つを個々のイントラ符号化ブロック８０に割り当てる。さらなる詳細を以下に説明する。

【0018】

インター符号化ブロック８２の場合、データストリーム１４は、その中に符号化された１つまたは複数の動きパラメータを有することができる。一般的に言えば、インター符号化ブロック８２は、時間的に符号化されたものに限定されない。代替的に、インター符号化ブロック８２は、現在のピクチャ１２自体よりも以前に符号化された部分から予測される任意のブロックであってもよく、例えば、ピクチャ１２が属するビデオの以前に符号化されたピクチャ、または別のビューのピクチャ、またはエンコーダとデコーダがそれぞれ階層的なエンコーダとデコーダである場合に、階層的に下位のレイヤであってもよい。図３の予測残差信号２４’’’’は、ブロック８４へのピクチャ領域のサブ分割としても示されている。これらのブロックは、符号化ブロック８０および８２と区別するために、変換ブロックと呼ばれることがある。実際、図３は、エンコーダ１０およびデコーダ２０が、それぞれ２つの異なるサブ分割を使用してピクチャ１２およびピクチャ１２’を複数のブロックへ分割し得ること、すなわち、一方のサブ分割は符号化ブロック８０および８２にサブ分割するものであり、他方のサブ分割はブロック８４へサブ分割することを示している。両方のサブ分割は同じであってもよく、つまり各符号化ブロック８０および８２は同時に変換ブロック８４を形成してもよいが、図３は、例えば、変換ブロック８４へのサブ分割が符号化ブロック８０／８２へのサブ分割の拡張を形成する場合を示している。その結果、ブロック８０と８２の２つのブロック間のいずれかの境界が２つのブロック８４間の境界に重なるか、又は換言すれば、各ブロック８０／８２は、変換ブロック８４の１つと一致するか、あるいは変換ブロック８４の集団と一致する。しかしながら、サブ分割はまた、変換ブロック８４がブロック８０／８２間のブロック境界を交差できるように、互いに独立して決定または選択されてもよい。変換ブロック８４へのサブ分割に関する限り、ブロック８０／８２へのサブ分割に関して説明したものと同じ説明が当てはまる。つまり、ブロック８４は、ピクチャ領域を複数のブロック、つまり行と列に配置されたブロックに規則的にサブ分割した結果であってもよく、ピクチャ領域の再帰的なマルチツリーサブ分割の結果であってもよく、またはそれらの組み合わせ、またはその他の種類のブロック化であってもよい。余談であるが、ブロック８０、８２、８４は２次形状、長方形、その他の形状に限定されないことに留意すべきである。

【0019】

図３は、予測信号２６と予測残差信号２４’’’’との組み合わせが、直接的に再構成信号１２’をもたらすことを示している。しかしながら、代替的実施形態によれば、結果としてピクチャ１２’を得るために、１を上回る複数の予測信号２６が予測残差信号２４’’’’と組み合わされてもよいことに留意されたい。

【0020】

図３では、変換セグメント８４は、以下の意味を有するものとする。変換部２８と逆変換部５４は、これらの変換セグメント８４の単位で変換を実行する。例えば、多くのコーデックは、すべての変換ブロック８４に対してある種のＤＳＴまたはＤＣＴを使用する。一部のコーデックでは、このような変換をスキップするので、いくつかのセグメント８４については、予測残差信号が空間ドメインで直接的に符号化される。しかしながら、以下に説明される実施形態によれば、エンコーダ１０およびデコーダ２０は、それらがいくつかの変換をサポートするように構成される。例えば、エンコーダ１０およびデコーダ２０によってサポートされる変換は、以下を含むことができる。
・ＤＣＴ－ＩＩ（またはＤＣＴ－ＩＩＩ）、ここでＤＣＴは離散コサイン変換を表す
・ＤＳＴ－ＩＶ、ここでＤＳＴは離散サイン変換を表す
・ＤＣＴ－ＩＶ
・ＤＳＴ－ＶＩＩ
・恒等変換（ＩＴ）

【0021】

当然ながら、変換部２８はこれらの変換の順方向変換バージョンのすべてをサポートする一方で、デコーダ２０または逆変換部５４は対応するそれらの後方バージョンまたは逆バージョンをサポートするであろう。
・逆ＤＣＴ－ＩＩ（または逆ＤＣＴ－ＩＩＩ）
・逆ＤＳＴ－ＩＶ
・逆ＤＣＴ－ＩＶ
・逆ＤＳＴ－ＶＩＩ
・恒等変換（ＩＴ）

【0022】

以下の説明は、エンコーダ１０とデコーダ２０とによってサポートされ得る変換の詳細を提供する。いずれの場合も、サポートされる変換のセットは、１つのスペクトル－空間または空間－スペクトル変換のような１つの変換を含むだけでも良い。

【0023】

上述したように、図１－図３は、本願によるエンコーダおよびデコーダの特定の例を形成するために、以下でさらに説明するイントラ予測概念が実装され得る例として提示してきた。これまでのところ、図１と図２のエンコーダとデコーダは、それぞれ、本明細書で以下に説明するエンコーダおよびデコーダの可能な実装を表す。以下でより詳細に概説するように、図１および図２のエンコーダおよびデコーダの中に、本願による後述するようなイントラ予測の実施形態を構築する場合、図１のエンコーダおよび図２のデコーダは、少なくとも１つの任意選択肢として、以下でより詳細に概説する方法でイントラ予測ブロック８０を処理することをサポートする。したがって、以下で説明する実施形態は、以下でより詳細に概説する方法でイントラ符号化ブロック８０を処理する図１のエンコーダ１０に等しいエンコーダに言及し、同じことが図２のデコーダに関しても当てはまる。つまり図２は、イントラ符号化されたブロックが、以下でより詳細に概説される方法で処理される、一実施形態によるデコーダの例を表す。ただし、図１および図２は特定の例に過ぎない。しかしながら、本願の実施形態によるエンコーダは、以下でより詳細に概説され、以下のように図１のエンコーダとは異なる概念を使用して、ピクチャ１２のブロックベースの符号化を実行してもよい。例えば、エンコーダはビデオのエンコーダではない、インター予測をサポートしていない、またはブロック８０へのサブ分割が図３に例示されているのとは異なる方法で実行されている、またはこのエンコーダが変換予測残差符号化を使用しない代わりに、例えば空間ドメインで直接的に予測残差を符号化する、などである。同様に、本願の実施形態によるデコーダは、以下でさらに概説するイントラ予測符号化概念を使用して、データストリーム１４からピクチャ１２’のブロックベースの復号を実行し得るが、以下のように図２のデコーダ２０とは異なっていてもよい。例えば、デコーダはビデオのデコーダではなく、静止ピクチャのデコーダである、イントラ予測をサポートしていない、または図３に関して説明した方法とは異なる方法でピクチャ１２’をブロックにサブ分割する、および／または、変換ドメインではなく空間ドメインで、データストリーム１４から予測残差を導出するなどである。

【0024】

上述の注意を与えた上で、以下の説明では、本願の実施形態によるイントラ予測の説明に集中する。本明細書に提示するイントラ予測によれば、図４のブロック８０のようなイントラ予測ブロックは、一次元の水平パーティションまたは一次元の垂直パーティションに分割されてもよい。そのようなブロック処理は、任意のサイズのイントラ予測ブロック８０について利用可能であってもよく、または特定のサイズより大きいブロックなど所定のブロックサイズの範囲内のブロック８０に限定して利用可能であってもよい。「一次元の」とは、－区分の結果であるパーティションに関連する場合－複数のパーティションがパーティション次元に沿って１サンプル幅しか持たないという事実を指す。しかしながら、本明細書で論じられる区分モードの一次元性は、区分がある特定の次元に沿って行われ、結果として得られる複数のパーティションが、区分方向を横断する方向にブロックにわたって完全に延びるストライプのようになる、という事実を指す。例えば、図４を参照されたい。図４は、左側に、イントラ予測ブロック８０、すなわち、復号化されるべきブロックまたは符号化されるべきブロックを示す。これは、Ｗ×Ｈの次元／寸法を持っている。つまり、これはＷ×Ｈ次元のブロックであり、複数のサンプルで測定されたブロック８０の、Ｈは高さ、Ｗは幅をそれぞれ示す。図４によれば、２つの分割または区分のオプションが利用可能である。一つのオプションは水平分割１００であり、この場合、ブロック８０が垂直軸、つまりパーティション次元１０４に沿っていくつかのパーティション１０２１、１０２２、１０２３および１０２４に分割または区分される。以下の説明での適用例である図４の例によれば、各パーティション１０２１－１０２４は、両方向矢印１０６で示されるように１サンプル幅であるため、ブロック８０から得られるパーティション１０２１－１０２４の数はＨ、すなわち、ブロック８０のサンプル１０８の単位でのブロック８０の高さに等しい。しかし、区分は、以下のようなエンコーダとデコーダの間で合意された別の方法に従って、エンコーダとデコーダによって実行されてもよいことは明らかである。例えば、次元１０４に沿ったブロック８０の区分は、所定数のパーティション１０２ｉをもたらす方法で行われてもよく、所定数は例えば２よりも大きいか、またはそれらの混合であり、ブロック８０の次元をパーティション次元に沿って、所定数のパーティションに均等に分配する。

【0025】

図４に示され、参照符号１１０で示される他の符号化オプションは、ブロック８０を垂直パーティション１１２１、１１２２、…１１２８に分割することに対応する。すなわち、オプション１１０によれば、ブロック８０は、水平軸すなわち水平パーティション次元１０４に沿ってパーティション１１２ｉに分割される。オプション１００の場合、各パーティション１０２ｉは、ブロック８０と同じ幅であり、すなわち、ブロックの幅Ｗを有するが、各パーティション１１２ｉは、ブロック８０の高さＨを採用する、すなわち、高さＨを有する。要約すると、オプション１００の説明と同様に、垂直分割１１０は、ブロック８０をＷ個のパーティション１１２ｉに分割することができ、Ｗはサンプル１０８で測定されたブロック８０の水平幅を示し、各パーティション１１２ｉは水平方向に１サンプル幅である。ただし、オプション１１０による区分は、エンコーダとデコーダの間で合意された別の方法で実行することもできる。

【0026】

したがって、図４によれば、エンコーダは、水平分割オプション１００に従ってブロック８０をＨ個のＷ×１パーティション１０２ｉに、または垂直分割オプション１１０に従ってＷ個の１×Ｈパーティション１１２ｉに自由に分割することができ、ブロック８０についてエンコーダによって選択された分割オプションは、例えば、データストリーム１４内の対応するパーティション次元フラグ１１４などによって、ブロック８０のためにデータストリーム１４内でシグナリングされてもよい。しかし、本願の実施形態は、デフォルトでは、データストリームにおけるフラグ１１４を必要とせずに、オプション１００と１１０の一方だけを使用するエンコーダおよびデコーダをカバーしていることは明らかである。さらに、他の例では、フラグ１１４は、エンコーダからデコーダへブロック８０についてデータストリーム１４内でシグナリングされるイントラ符号化モード１１６に依存して、データストリーム１４内で伝達されてもよい。上述したように、イントラ符号化モードは、例えばａｎｇｕｌａｒモードや、任意選択的に、ＤＣモードやｐｌａｎａｒモードのような１つ以上のｎｏｎ－ａｎｇｕｌａｒモードを含む、利用可能な／サポートされているイントラ符号化モードの１セットからの１つを示してもよい。すなわち、フラグ１１４は、以下でさらに説明されない代替的実施形態によれば、イントラ符号化モード１１６に条件付きで依存する方法で、データストリーム１４内で伝達されてもよい。以下で説明する実施形態によれば、フラグ１１４はブロック８０について、データストリーム１４の中でブロック８０についてシグナリングされたイントラ符号化モード１１６とは独立して、データストリーム１４内に存在する。ただし、上述したようなイントラ符号化ブロック８０のパーティション処理と、以下に概説するようなブロック８０の異なるイントラ符号化処理方法と、の間のフラグ切り替えに関しては、イントラ符号化モード１１６への依存性を有してもよい。

【0027】

本願の実施形態によれば、パーティション１０２／１１２のそれぞれは、個別に予測、変換、量子化、および符号化され、複数のパーティションをこの方法で順次処理する。したがって、特定のパーティションの再構成されたサンプルは、ブロック８０が分割されている複数のパーティション間で、パーティション順序において任意の後続のパーティション１０２／１１２を予測するために使用され得るであろうし、この様にして、ブロック８０が分割されているパーティション１０２／１１２を介してイントラ予測のプロセスが循環する。図５は、オプション１００に従って分割されたイントラ予測ブロック８０を例示的に示す。ブロック８０の各パーティション１０２１－１０２４には、予測、すなわち、それぞれのパーティション１０２ｉの予測子の導出と、予測残差に関連するタスク、すなわち予測残差を使用した予測子の修正と、が施される。後者のタスクは、予測残差と予測子を組み合わせることによって実行できる。これは、再構成のためにデコーダで行われる。エンコーダは、予測残差に関連するタスクとして、例えば変換や量子化を含む予測残差の決定と、予測残差を使用した予測子の修正とを実行する。つまり、エンコーダ内の復号されたピクチャバッファをピクチャの再構成で充填することにより、予測ループをデコーダと同期した状態で維持する。上記のタスク、つまり予測と残差の処理は、パーティション１０２１－１０２４に対して個別に実行され、かつパーティション間で順次実行される。これらの２つのステップを現在処理されている１つのパーティションに対して実行した後、パーティション順序で次のパーティション１０２ｉが同じ方法で処理される。パーティション順序は、３つの矢印１２６を使用して図５に例示的に示されている。

【0028】

図５は、ブロック８０の最も左上のピクセルを含むパーティションが、すぐ下の隣接パーティション１０２２に進む前に最初に処理されることを示しており、このように、図５のパーティション１０２１－１０２４へのインデックスの割り当てに対応している。しかしこの順序は単なる一例であり、以下の説明で明らかになるように、このパーティション順序は、イントラ符号化モード及び／又はブロック８０のサイズなど、他の設定に依存して選択されてもよく、イントラ符号化モードへの依存性については後段で説明する。

【0029】

以下でさらに説明する例では、パーティション順序１２６は、パーティション１０２／１１２を横断するパーティション間で変化するだけである。つまり、直に後続するパーティションは互いに直に隣接しており、分割タイプ１００の場合、パーティション順序は上から下へ、または下から上へ進み、分割タイプ１１０の場合は、左から右へ、または右から左へとそれぞれ進む。ただし、他の例も考えられる。例えば、パーティションが上述の隣接する順序で２回スキャンされ、最初のスキャンでは上から下、下から上、左から右または右から左、など適用可能な任意の順序で１つおきのパーティションを処理し、次に同じ順序方向で、またはその逆の方向で、残りのパーティションを処理するというような、パーティション順序も選択し得る。

【0030】

いずれにせよ、図５は、最初に処理されるべきであり、かつ現在処理されているパーティションである第１のパーティション１０２１を示す。最初のパーティション（ここでは例として１０２１）について、パーティション１０２１の予測子を形成するために使用される隣接サンプル１１８１のセットは、ブロック８０の最初のパーティションを処理するときにはブロック８０のサンプルはまだ処理されていない、すなわち、再構成または符号化されていないので、ブロック８０の境界の外側にあるサンプルに基づいて単に選択されるだけでもよい。つまり、セット１１８１のサンプルは、データストリームで送信される予測残差を用いた対応する予測子の任意の予測および修正を使用して、エンコーダ内で既に再構成されている。それらは以前に符号化／復号されたピクチャブロックに属し、インター符号化またはイントラ符号化された、あるいはその他の符号化されたブロックであってもよい。第１パーティション１０２１の予測子を形成するために使用される隣接サンプルのセット１１８１のサンプルの数および正確な位置に関して言えば、それらはブロック８０に割り当てられたイントラ符号化モードに依存する。このイントラ符号化モードは、以下で説明するように、ブロック８０のすべてのパーティションの処理のために、合同で、または均等に使用される。最初のパーティション１０２１の処理を完了するために、セット１１８１の１つ以上のすでに再構成／符号化されたサンプルに依存してこのパーティション１０２１を充填することにより、デコーダ及びエンコーダでこのパーティション１０２１の予測子が導出され、エンコーダに関するかぎり上述した変換と量子化とによりその予測残差が決定される。次に、この予測残差（データストリーム内で送信されたバージョン、つまり量子化損失を含む）は、データストリーム１４内の予測残差を使用して予測子を修正することにより、このパーティション１０２１の再構成に使用される。例えば、図５は、パーティション１０２１の予測残差を１２０１で例示的に示す。すなわち、１２０１は、パーティション１０２１の予測残差の変換に対応する変換係数を含み、データ１２０１の説明については以下で詳しく述べる。

【0031】

ここで、パーティション順序の次のパーティション、つまり図５の例のパーティション１０２２に移る。パーティション１０２２の予測子を導出するために使用される、既に再構成／符号化された隣接するサンプルのセットが、サンプルブロック８０の外に位置するサンプル及び／又はブロック８０内のサンプルで構成され得るという点で、状況は変化している。つまり、ブロック８０内のサンプルとは、既に処理済みのパーティション内、ここでは図５の例のパーティション１０２１内に位置するサンプルである。なぜなら、これらのサンプルについては、予測残差がすでに決定されており、データストリーム内ですでに利用可能となるからである。すなわち、エンコーダおよびデコーダは、このパーティション１０２２の予測子を導出し、その後、エンコーダにおける予測残差決定、エンコーダおよびデコーダにおける予測子の修正のための予測残差使用がそれぞれ続く。次に、このプロセスは、次に位置するパーティション、すなわち、パーティション順序における次のパーティションで続行され、それにより、ブロック８０のすべてのパーティションが順次処理される。

【0032】

すでに上述したように、パーティション順序１２６は、直に連続するパーティションが直に隣接するパーティションとなるようにパーティションを横断する方法とは別の方法で選択されることもあり得る。つまり、パーティション順序が１つのパーティションから次のパーティションへと跳んでもよい。これは、それぞれのパーティション１０２ｉを充填することによってそれぞれの予測子を導出するために使用される隣接サンプルのセット１１８ｉが、図５に示すように、それぞれのパーティションの直に隣接するサンプルに限定されないことを意味する。これは、パーティション順序１２６の開始の選択にも関係する。例えば、パーティション１０２４がパーティション順序の最初のパーティションだったと仮定する。その場合、その予測子は、図５には示されていないが、ブロック８０の周囲に沿ってブロック８０の左側および上側に位置するサンプルを集めた隣接サンプルのセット１１８４に依存してそれを充填することによって、導出することができる。セット１１８４内のサンプルのいくつかは、パーティション１０２４に直に隣接してはいないであろう。ところで、これは、ブロック８０一括の通常のイントラ予測充填において最後のサンプル横列を充填する状況に相当するであろう。このような可能性は、その後に処理される任意のパーティション、つまりパーティション順序の２番目以降のパーティションにも当てはまる。すなわち、それらの隣接サンプルセット１１８ｉは、それぞれのパーティション１０２ｉに直に隣接していないサンプルも含み得る。さらに言えば、パーティション順序が、連続するパーティションが互いに直に隣接するパーティションであるように、パーティションを横断する方法に限定されない場合には、任意の２番目以降の処理済みパーティション１０２ｉの参照サンプル１１８ｉのセットは、それぞれのパーティション１０２ｉの左側および上側にあるサンプルを集めるだけでなく、ブロック８０の任意のパーティションがパーティション順序に従ってパーティション１０２１より前に処理されたかどうかに応じて、それぞれのパーティション１０２１の下側にあるサンプルであってもよい。すなわち、セット１８０ｉは、パーティション１０２ｉの３つ以上の側に配置されたサンプルを含んでもよい。

【0033】

簡単にまとめると、図５は、ここでは例示的に水平パーティションに関して、ブロック８０のパーティション１０２／１１２の順次処理を示したが、同じ説明が垂直パーティション１１２ｉに関して垂直モード１１０にも当てはまる。各パーティション１０２ｉについて、対応する予測残差１０２ｉがデータストリーム１４に含まれている。データ１２０１－１２０４は一緒にブロック８０についての予測残差１２０を形成する。ここで思い出すべきことは、変換残差符号化は、本願の代替的な実施形態に従えば、使用されないこともあり、すなわち、ブロック８０の予測残差１２０は、データストリーム１４内で、例えば空間ドメインで直接的にシグナリングされてもよいことである。この場合、様々なパーティション１０２１－１０２４のデータ１２０１－１２０４は、データストリーム１４内に、各データ部分１２０ｉがそれぞれのパーティション１０２ｉの特定の変換のシグナリングを表す、図５に示すようなパーティション毎の個別のフィールドを含まなくてもよい。むしろ、その場合、ブロック８０の予測残差１２０は、データ１４の１つのフィールドを形成してもよい。この代替実施形態では、デコーダは、特定のパーティション１０２ｉを処理するときに、このパーティション１０２ｉの予測残差に関する情報をフィールド１２０から収集するであろう。この手順は、量子化を空間ドメインで行えるように、変換の正に可逆のバージョンを使用するときにも適用できるであろう。

【0034】

したがって、図５は、エンコーダおよびデコーダにおいて、各パーティション１０２ｉについて２つのタスクが実行されることを示す。すなわち、（１）それぞれのパーティション１０２１のための予測または予測子を生成する予測導出タスク１２２、つまりそれぞれのパーティション１０２ｉの各サンプルの予測されたサンプル値を生成するタスクと、（２）その後に実行される予測残差関連タスク、つまりデータストリーム１４へのエントリのために予測残差の量子化を含むエンコーダでの予測残差の導出と、このパーティション１０２ｉの再構成されたサンプルを取得するため、予測残差と予測子との結合または修正による各パーティション１０２ｉのサンプルの再構成とである。その再構成されたサンプルは、予測導出タスクのために、パーティション順序１２６に従って後に処理されるパーティション１０２ｊの隣接するサンプルセット１１８ｊのためのリザーバとして機能することができる。

【0035】

本願の実施形態の詳細のさらなる説明に進む前に、図６は、現在処理中のパーティション１０２ｉを充填することによる予測導出１２２のプロセスを示す。ここで思い出すべきことは、水平パーティション１０２に関する図は単に例示として選択されたのであって、同じ説明が垂直パーティション１１２にも関係していることである。図６は、現在処理中のパーティション１０２ｉと、既に再構成／符号化された、それに対応する隣接サンプルのセット１１８ｉとを示している。図５に関してすでに上述したように、セット１１８ｉは、パーティション１０２ｉに直接隣合う、または隣接するサンプル１２８に制限されなくてもよい。しかしながら、区分に起因して、パーティション１０２ｉのサンプルとセット１１８ｉのサンプル１２８との間の平均距離１３０は、ブロック８０の全てのサンプルにわたって平均されると、例えばＨ．２６４またはＨＥＶＣから知られるブロック８０のイントラ予測を実行する場合と比べて低い。図５に関して説明したように、予測子導出または充填１２２は、ブロック８０に関連するイントラ予測モードを使用して各パーティション１０２ｉに対して実行され、このモードは、利用可能なイントラ予測モードのセットの１つを示す。このセットは、隣接するサンプルセット１１８ｉのサンプルコンテンツがパーティション１０２ｉのサンプル１３４にコピーされる角度または方向１３２が互いに異なるａｎｇｕｌａｒモードまたはｄｉｒｅｃｔｉｏｎａｌモードを含み得る。このコピーを実行するために、パーティション１０２ｉの各サンプル１３４の予測は、サンプル１３４に対して方向１３２の反対側に位置するセット１１８ｉからのいくつかの隣接サンプル１３４に基づいて導出され得る。その数は、例えば、サンプルセット１１８ｉのサンプル１２８間のインターペル位置（ｉｎｔｅｒ－ｐｅｌｐｏｓｉｔｉｏｎｓ）を導出するために使用される補間フィルタのカーネルによって定義される。図６は、例えば、セット１１８ｉからの３つのサンプル１２８が、現在処理中のパーティション１０２ｉからの１つのサンプル１３４の予測を計算するために使用されることを示す。平均距離１３０が比較的小さいため、パーティション１０２ｉの各サンプル１３４あたりの参照サンプル１３４の数を低く保つことができる。詳細は以下に示す。しかし、完全を期すために、利用可能なイントラ予測モードのセットはＤＣモードを含み得ることに留意されたい。ＤＣモードによれば、１つのＤＣ値がパーティション１０２ｉのすべてのサンプル１３４に割り当てられ、このＤＣ値は隣接サンプルのセット１１８ｉの平均化により導出される。さらに、ｐｌａｎａｒモードも存在可能であり、このｐｌａｎａｒモードによれば、サンプル１３４の予測値がパーティション１０２ｉ内のサンプル位置にわたる線形関数によって定義され、この線形関数の傾きおよびオフセットは、隣接サンプル１１８ｉに基づいて導出される。さらに、隣接セット１１８ｉは、ブロック８０に対して選択されたイントラ予測モードに応じて異なっていてもよく、例えば、特に、ａｎｇｕｌａｒモードとｎｏｎ－ａｎｇｕｌａｒモード、ＤＣ／ｐｌａｎａｒとの間で異なり得ることに留意されたい。

【0036】

例えば、最新のＪＥＭデコーダでは、６７のイントラ予測モードが利用できる。そのうち６５はａｎｇｕｌａｒモードであり、そのうち２つ、即ちＤＣとｐｌａｎａｒとは非方向性テクスチャーを形成する。つまり、パーティション１０２／１１２に対して実行され、前段でも後段でも言及する予測子の導出１２２に従えば、ブロック８０は次元１０４に沿って複数のパーティションへと区分／分割され、結果として得られるパーティションは、次元１０４を横断する方向にブロックの完全な幅にわたって延び、かつ方向１０４に沿って１サンプル幅または１サンプル幅以上である。この（簡単には１Ｄパーティションモードと呼ばれる）１Ｄ区分モードは、上述のイントラ予測モードのいずれとも組み合わせることができ、または、言い換えると、それらのいずれをも使用して実装することができる。１Ｄ区分モードによれば、図５に関してすでに説明したように、符号化ユニットＣＵのような１つのブロック８０のすべてのパーティション１０２／１１２は、ブロック８０の関連する同じイントラ予測モードを使用し、それによりシグナライゼーションにおける過大なオーバーヘッドを回避する。なぜなら、イントラ予測モード１１６はデータストリーム１４内でブロック８０のために一回だけ送信すればよいからである。

【0037】

つまり、予測１２２は、ＪＥＭデコーダで概説される二次元の場合と同じ方法で実行され得る。しかしながら、ＪＥＭと比較して、予測プロセス１２２がそれに応じて調整され得るように、現在処理中のパーティション１０２／１１２について、水平であれ垂直であれ１つのラインだけが計算される。連続するパーティションが互いに直に隣り合うようにパーティションを横断するパーティション順序を選択する場合、予測プロセス１２２は、ＪＥＭの二次元の場合に対応し得るが、最初のライン、すなわちすでに再構成／符号化された近隣に最も近いラインに関してだけである。幾つかの場合においては、ＨＥＶＣとＪＥＭの両方が、参照サンプル１２８または結果として得られる予測子に対して適用される特定のフィルタの使用を可能にする。これは、二次元の場合に、参照サンプル１２８から遠く離れている予測ブロック８０内のサンプルをより良好に予測し、境界の不連続性を減らすために有効である。しかし、パーティション１０２／１１２への区分を使用することにより、近隣のピクセル間の高い相関性を活用することが可能となり、それは目的とされるべきである。

【0038】

すなわち、低減された平均距離１３０が利用されるべきである。過度の平滑化は、この品質を低下させる恐れがある。したがって、エンコーダまたはデコーダが両方の種類のイントラ予測を実行できるならば、すなわち、図４－図６に関して上述した区分を使用するイントラ予測と、以下に概説するイントラ予測とを実行できるならば、上述の区分を使用する場合、イントラフィルタつまり予測子導出１２２に関与するフィルタは無効にされるか、又は、各パーティションサンプル１３４に寄与するサンプル１３５の数が二次元の場合の１つのサンプルに寄与するサンプルの数に比べて少なくとも低減される。二次元の場合では、ブロック８０のイントラ予測がブロックに対して一括で実行されるか、ＨＥＶＣに従って実行される。つまり、ブロック８０の階層的四分木サブ分割のリーフブロックである長方形ブロックに分解される。

【0039】

上記の議論から明らかなように、予測残差関連タスク１２４を実行するために、デコーダは、例えば、データストリーム１４から現在処理中のパーティションのそれぞれの予測残差の変換を復号し、この変換に対してスペクトル－空間変換などの逆変換を実行して、組み合わせ／追加によって１２２で得られた予測子を修正するために使用される予測残差を生成する。デコーダと予測ループの同期を保つために、エンコーダでも同じことが行われる。さらに、エンコーダは、現在処理中のパーティションに対して１２２を使用して決定された予測子の予測誤差の変換を実行し、空間－スペクトル変換などの変換を行い、続いて変換係数の量子化を行い、次にその変換をデータストリーム１４へと符号化して、現在処理中のパーティション１０２ｉに対応するデータ１２０ｉを生成する。変換に関して、ブロック８０内のすべてのパーティション１０２／１１２は、この同じ変換を使用して処理され得る。それは、例えばＤＳＴ－ＶＩＩを使用可能なｐｌａｎａｒモードの場合を除いて、ＤＣＴ－ＩＩであってもよい。このため、エンコーダとデコーダとが他のブロックに使用できる変換と逆変換に関連するすべてのツール、例えば変換スキップ、つまり空間ドメインでの符号化、ＥＭＴ（ＥＭＴ＝Ｅｘｐｌｉｃｉｔｍｕｌｔｉｐｌｅｃｏｒｅｔｒａｎｓｆｏｒｍ）、ＮＳＳＴ（ＮＳＳＴ＝Ｍｏｄｅｄｅｐｅｎｄｅｎｔｎｏｎ－ｓｅｐａｒａｂｌｅｔｒａｎｓｆｏｒｍｓ）などは、ブロック８０が、これまでに図４－図７に関して概説し以下でもさらに説明する区分方法でイントラ予測モードを使用して符号化される場合、不要なオーバーヘッドビットを回避するために、無効にされ得る。さらに代替的に、変換は線形変換であってもよく、そのタイプは、イントラ予測モード、専用シンタックス要素および所定のパーティション順序のうちの１つまたは複数に基づいて選択されてもよい。

【0040】

現在処理中のブロック８０のパーティション１０２／１１２が順次処理される際に使用されるパーティション順序１２６に関して、これまで既にいくらか説明してきた。この実施形態は単なる一例であり、代替実施形態に従えばパーティション順序は静的であってもよく、または以下に例が示される他の実施形態に従えば異なる方法で変化してもよい、ことを強調しておく。図７は、図５に矢印１２６を用いて示された可能なパーティション／処理順序を、番号を付与することで示している。ここで、この順序は、付与された番号の昇順で続く。図５は、順序１２６が、ブロック８０の左上のピクセル／サンプル１４０を含むパーティションで始まり、最下のパーティションに向かって下方へ進む例を表した。同様に、分割タイプが垂直の場合、処理順序は、左上にあるピクセル／サンプルを含む左端のパーティションから始まり、右に進む。ただし、これは既存のすべてのイントラ予測モードに最適なケースではない。これは図７に例示されており、ここでは対角線モード２、すなわちコピー角度／方向１３２が左下から右上に４５°を指すモードと、対角線モード３４、すなわちコピー角度／方向１３２が左上から右下への－４５°を指すモードとについて、ブロック８０の垂直および水平の区分を示す。前者の場合、分割が水平であれば、ブロック８０の左上隅での開始は、再構成されたサンプルが次のパーティションの予測に影響を与えないパーティションを生成するであろう。結果的には、ブロックの左下隅から開始する方が合理的であり、これにより、各パーティションの再構成されたサンプルは、パーティション順序の次のパーティションを予測するために使用できる。しかし、垂直分割では、前述の図で確認できるように、これは必要でない。他方、モード３４では、水平分割と垂直分割の両方の場合においてサンプルが両側から到来するので、このような問題は発生しない。従って、通常の処理順序が両方の分割で使用され得る。

【0041】

表１は、イントラ予測モードと分割タイプに応じた処理順序の完全なリストを示している。

【0042】

【表I】

【0043】

シグナライゼーションオーバーヘッドに関して、これまでに説明された実施形態を要約するにあたり、図８を参照されたい。図８は、本願の実施形態に従って、ブロック８０のために何が送信されるかを示している。特に、ブロック８０にどのイントラ予測モードが適用されるべきかについて通知するイントラ予測モードシグナライゼーション１１６がある。つまり、シグナライゼーション１１６は、例えば、ａｎｇｕｌａｒモードの１つ、またはａｎｇｕｌａｒモードとＤＣやｐｌａｎａｒなどのｎｏｎ－ａｎｇｕｌａｒモードとを含む利用可能なモードの１つを示す。このシグナライゼーション１１６に加えて、エンコーダによってデータストリーム１４に符号化され、デコーダによってブロック８０のためにデータストリームから復号化される区分フラグ１６０があり、これは、図４－図７による区分処理がブロック８０に適用されたか、または、一括してもしくは１ピースでもしくは二次元で、「通常どおり」で処理されたか、つまり、ブロック８０内の各サンプルを予測するための参照サンプルリザーバ１１８を形成するために、ブロック８０の外側のサンプルだけが使用されているかどうかを示す。代替的に、フラグ１６０は、図４－図７に関して説明した区分処理と、変換ブロックへの四分木サブ分割を使用したブロック８０の分解との間で切り替えてもよい。ただし、四分木サブ分割を使用した分解では、変換ブロックは順次処理されるが、データストリーム１４内で分解をシグナリングする必要があるという欠点がある。区分フラグ１６０が図４に従う区分を示す場合には、データストリーム１４は、ブロック８０について、図４に関して説明した区分タイプ１００と１１０との間で切り替える区分次元フラグ１１４を含む。また、区分フラグ１６０がこの区分オプションを示す場合、ブロック８０がサブ分割／区分されてゆくブロック８０の各パーティションについて、データストリーム１４はシグナリング／データ１２０１を含み、そのシグナリング／データは、上述のように変換ドメインなどにおいてデータストリームの中に符号化された、各パーティションの予測残差を有する。

【0044】

図８に関して、予測残差データ１２０１、１２０２…は、パーティション／符号化順序１２６に対応する順序でデータストリーム１４に符号化されてもよいことに留意すべきである。パーティション順序１２６は、上述のように、シグナライゼーション１１６によって示されるイントラ予測モードにより、独自に決定され得る。しかしながら、代替の実施形態では、区分順序１２６が、データストリーム１４内における任意の追加のシグナライゼーションに基づいて、少なくとも部分的に決定されることもあり得る。

【0045】

本明細書で提示される説明のさらなる代替案では、区分オプションが使用されるかどうかを示すために、シグナライゼーション１１６が代替的に使用され得る。換言すると、１つのシンタックス要素が１１６と１６０のシグナライゼーションの責任を共通して負ってもよい。そのようなシンタックス要素は、複数の値の範囲からの１つの値であると想定でき、各値は、イントラ予測モードとブロック区分が使用されたかどうかの表示との結合に対応している。そのような場合、イントラ予測モードのあるサブセットに対してのみ区分オプションを提供することも可能である。そして最後に、シグナライゼーション１１６によって示されるイントラ予測モードが、利用可能なイントラ予測モードのうちの特定のサブセットであると想定される場合にのみという条件付きで、区分フラグ１６０もまたデータストリーム１４内で伝達されてもよいことに留意すべきである。

【0046】

図９は、特定のパーティション１０２／１１２ｉの予測残差を有するデータ１２０ｉがどのように見え得るかについて例示的に示している。図９の実施形態によれば、予測残差は変換ドメインでデータストリーム１４に符号化される。すなわち、エンコーダは、変換１８０によって予測残差の変換１８２を生成し、デコーダは、逆変換１８４によって予測残差を空間ドメインで導出する。図９は、変換１８２の例えば異なるスペクトル周波数ｆに対応する変換係数１８６を示す。データ１２０ｉは、符号化ブロックフラグＣＢＦを含むことができ、データ１２０ｉは、変換１８２が有意な変換係数１８６を含むかどうか、すなわち変換１８２が完全にゼロかどうかを示す、符号化ブロックフラグＣＢＦ１８８を含み得る。ＣＢＦ１８８が設定されている場合、変換１８２はゼロではなく、データ１２０ｉは最終位置（ＬＰ）シンタックス要素１９０を含んでもよく、このシンタックス要素は、有意な変換係数、すなわち非ゼロの変換係数１８６の増大するスペクトル周波数（軸１９４を参照）に沿い、最低のまたはＤＣ係数１９６から始まる最終位置１９２を示している。次に、データ１２０ｉは、１９６から１９２までの変換係数を通知するシグナリング１９８を含む。

【0047】

すなわち、図９は、各パーティション１０２ｉ／１１２ｉが、ＣＢＦ１８８、ＬＰ１９０および変換係数データ１９８によってデータストリーム１４内に符号化された、その予測残差を有し得ることを示す。すなわち、ｎ個のパーティション１０２／１１２を有する１ブロック８０について、ｎ個のＣＢＦ１８８と、非ゼロのＣＢＦ１８８を有する各パーティションに対して１個のＬＰ１９０と、関連する非ゼロのＣＢＦ１８８を有するこれらパーティションにのみ変換係数データ１９８とが存在する。この係数データ１９８は、通常どおり処理されるイントラ予測ブロック、即ち区分フラグ１６０が非区分オプションを示すブロック８０、と同じ方法で符号化され得るが、次の例外がある。各ＬＰ１９０は、パーティションが１サンプル幅の場合には１つの座標だけを必要とする（その他の場合には通常どおり２つの座標が必要）。つまり、水平分割１００の場合はｘ、垂直分割１１０の場合はｙの座標だけを必要とする。ただし、二次元パーティションの場合、ＬＰ１９０は、ランク指示を使用するか、またはｘ座標とｙ座標とを使用して、スキャン方向またはスキャン経路に沿った最終位置を示す。各ＣＢＦ１８８のコンテキストは、前に符号化されたＣＢＦ、すなわち、パーティション順序１２６における前のパーティションのＣＢＦの値であるように選択されてもよい。さらに、この区分により、変換係数データ１９８は異なる形状に関係する。つまり、変換１８２もまた異なる形状を有する。図４に関して説明したように、パーティションが一次元パーティションである場合、変換１８２は一次元変換である。すなわち、変換１８２は、分割タイプ１００または１１０に応じた変換係数１８６のＷ／Ｈの長さベクトルであってもよい。

【0048】

図８のフラグ１６０と１１４、及びそれらの符号化に関し、以下の点に留意されたい。ブロック８０がパーティション１０２／１１２に分割されるかどうかを示すフラグ１６０は、フラグ１１４がブロック８０のためにデータストリーム１４内で伝達されるかどうかチェックされるべき条件を定義している。特に、フラグ１６０がパーティション１０２／１１２への分割を示している場合、フラグ１１４はデータストリーム１４内に存在し、かつどのタイプの分割１００／１１０が実行されるべきか、すなわち、水平または垂直のどちらであるかについてシグナリングするために、デコーダに送られる。フラグＣＢＦと同様に、フラグ１１４もコンテキスト依存のエントロピー符号化／復号化を使用して符号化されてもよい。フラグ１１４のコンテキストは、ブロック８０のイントラ予測モードに従って、ｎｏｎ－ａｎｇｕｌａｒモードの場合は０、水平モードの場合は１、垂直モードの場合は２、の３つの可能性を有し得る。

【0049】

図９は、ＣＢＦ１８８が現在のブロック８０のパーティションｉ当たり１回存在し得ることを示したが、追加的または代替的に、現在のブロックのパーティション１２０ｉの変換１８２は、それぞれ１つ以上のサブブロックに分割されることもでき、その場合、サブブロックは、そのサブブロック毎にデータ１２０ｉ内で通知される符号化済みサブブロックフラグを有し、そのフラグはサブブロック内の変換係数１８６がすべてゼロであるか、またはその少なくとも１つの係数が非ゼロであるかを示している。このように、符号化済みサブブロックフラグが非ゼロ係数の存在を通知するサブブロック内の係数１８６だけが符号化されるであろう。符号化済みサブブロックフラグが非ゼロ係数は何もないと通知するサブブロック内の他の係数は、デコーダ側でゼロであると推定されるであろう。各パーティション１２０ｉは別々に変換されるので、１つのパーティションに属する複数のサブブロックは、そのパーティションの変換１８２のスペクトル成分において異なり、かつその変換を構成している変換係数１８６において異なることに留意すべきである。例えば、それぞれのパーティション１０２ｉ／１１２ｉがｘ（パーティションの幅）とｙ（パーティションの高さ）の次元を有し、それら次元が共に４個のサンプル１４０以上である限り、そして結果的に、それぞれのパーティション１０２ｉ／１１２ｉの変換１８０がｘおよびｙの次元を有し、それら次元が共に４つの係数１８６以上である限り、サブブロックは４×４の係数ブロックであるように設定できる。４×Ｎのパーティションの場合、サブブロックはｍ個の４×４のサブブロックからなる縦列（ｃｏｌｕｍｎ）を形成し、ｍ＊４＝Ｎであって、ｍは整数である。Ｎ×４のパーティションの場合、サブブロックはｍ個の４×４のサブブロックからなる横列（ｒｏｗ）を形成し、ｍ＊４＝Ｎであって、ｍは整数である。

【0050】

より広いパーティションの場合、横列と縦列に配置された４×４のサブブロックのアレーが生成される可能性がある。しかしながら、実施形態によっては、そのようなパーティション、すなわち、４サンプル以上または４サンプルと同じ広さを有するパーティションが発生しない場合がある。発生の有無に関係なく、パーティションが狭い場合、つまりその次元の１つが４サンプル未満である場合、すなわち、少なくとも１つの次元ｘまたはｙにおいて４サンプル幅未満である場合、その変換１８０の係数の異なるグループを集める、変換１８０のサブブロックへのサブブロック分割が実行されてもよく、それによりサブブロックが、現在のブロックのサイズのすべての可能な場合において最少数Ｍの係数を有するようにしてもよい。つまり、パーティションは、１つの次元に沿ってブロック幅Ｎと同じ大きさに設定され、他の次元１０４に沿って分割が行われてもよい。したがって、各パーティションの変換１８０のサイズは、１×Ｎ、２×Ｎ、Ｎ×１またはＮ×２であってもよい。実際、特定のパーティションの変換１８０は、このパーティション内のサンプル数に等しい数の係数を有してもよい。１×Ｎのパーティション／変換の場合、サブブロックはｍ個の１×Ｍのサブブロックからなる縦列（ｃｏｌｕｍｎ）を形成してもよく、ｍ＊Ｍ＝Ｎであって、ｍは整数である。Ｎ×１のパーティションの場合、サブブロックはｍ個のＭ×１のサブブロックからなる横列（ｒｏｗ）を形成してもよく、ｍ＊Ｍ＝Ｎであって、ｍは整数である。２×Ｎのパーティション／変換の場合、サブブロックはｍ個の２×（Ｍ／２）のサブブロックからなる縦列を形成してもよく、ｍ＊（Ｍ／２）＝Ｎであって、ｍは整数である。Ｎ×２パーティションの場合、サブブロックはｍ個の（Ｍ／２）×２のサブブロックからなる横列を形成してもよく、ｍ＊（Ｍ／２）＝Ｎであって、ｍは整数である。これは、最少数の係数についてＭ＝１６である例示的な場合について、表１に例示的に示されている。

【0051】

【表1】

【0052】

図９は、ＣＢＦ１８８が現在のブロック８０のパーティションｉ当たり１回存在し得ることを示したが、現在のブロック８０のパーティションのうちのｎ個のパーティションのうちの少なくとも１つが非ゼロのＣＢＦ１８８を有することが、デコーダとエンコーダとの間で合意されていてもよい。このため、ｎがサブパーティションの数であり、符号化順序における最初の（ｎ－１）個のサブパーティションがゼロのＣＢＦを生成した場合、ｎ番目のパーティションのＣＢＦは１と推定されるであろう。したがって、それを復号する必要はなく、またそれは符号化されない。したがって、データ１２０１－１２０ｎ－１内のＣＢＦがゼロをシグナリングした場合、データ１２０ｎのＣＢＦが欠落するであろうし、また、デコーダは、このＣＢＦが、そのパーティションの変換の中に少なくとも１つの非ゼロ係数が存在することをシグナリングしていると推測するであろう。

【0053】

イントラ符号化モードのシグナライゼーション１１６に関する限り、以下が当てはまる場合がある。つまり、符号化モードシグナライゼーション１１６が、最確モード（ｍｏｓｔｐｒｏｂａｂｌｅｍｏｄｅｓ：ＭＰＭ）のリストから１つを指すポインターまたはインデックスとして送信される可能性がある。そのＭＰＭリストは、空間的および／または時間的に隣接するイントラ予測モードなどの、前に符号化／復号されたイントラ予測ブロックに使用されたイントラ予測モードに基づいて、エンコーダとデコーダとによって同じ方法で決定され得る。したがって、ＭＰＭのリストは、利用可能／サポートされたイントラ予測モードの適切なサブセット、すなわち、前述のａｎｇｕｌａｒモードおよび／またはＤＣおよびｐｌａｎａｒモードのうちの１つまたは複数を表してもよい。上記のように、図中のブロック８０のようなＬＩＰまたはＩＳＰスキームを使用したイントラ予測ブロックがあってもよいし、その他に、従来方式でイントラ予測されるブロック、つまり一括で、またはそのようなイントラ予測されるブロックが再帰的四分木分割を使用して分割される変換ブロックの単位でイントラ予測されるブロックがあってもよい。両方のタイプのイントラ予測ブロックが、利用可能な／サポートされたイントラ予測モードの同じセットをサポートしてもよい。通常の／従来のイントラ予測ブロックに関して、当該ブロックのモードがＭＰＭリストから選択されているかどうかを示す、ＭＰＭフラグがデータストリーム内でシグナリングされてもよく－デコーダはこれを復号し、エンコーダはこれを符号化する－、この場合、このＭＰＭリストに対するポインター／インデックスが送信されるが－デコーダはこれを復号しエンコーダはこれを符号化する－、ブロック８０のようにＬＩＰまたはＩＳＰスキームを使用したイントラ予測ブロックにおいては、ＭＰＭフラグがＭＰＭリストの制限を通知すると推測されるであろう。特定の通常の／従来のイントラ予測ブロックについて、ＭＰＭフラグがどのＭＰＭモードも使用されないことを通知する場合、データストリーム内には当該ブロックのためのインデックス／ポインターが存在せず、代わりに、イントラ予測モードの残りリスト（ｒｅｍａｉｎｄｅｒｌｉｓｔ）への代わりのポインター／インデックスが、当該ブロックのためにデータストリーム内で送信される。残りリストはまた、利用可能な／サポートされたイントラ予測モードのセットの適切なサブセットであってもよく、特に、利用可能な／サポートされたイントラ予測モードのセットと比べてＭＰＭリストの補足的なセットであってもよい。すなわち、利用可能な／サポートされたイントラ予測モードのセットのすべてのメンバーは、ＭＰＭリストのメンバーまたは残りセットのメンバーのいずれかになるであろう。ＭＰＭリストへのポインター／インデックスはＶＬＣ符号化されてもよく、残りセットへのポインター／インデックスは固定長符号を使用して符号化されてもよい。当然ながら、ＬＩＰまたはＩＳＰスキームのイントラ予測ブロックの場合でも、ＭＰＭフラグが送信されてもよく、エンコーダは、使用可能な／サポートされたイントラ予測モードのセットから任意のモードを自由に選択できるようにし、選択されたモードがＭＰＭリスト内にあるか、残りセット内にあるかに応じてＭＰＭフラグを設定してもよい。

【0054】

ＭＰＭリストは同じであってもよく、つまり、通常の／伝統的なイントラ予測ブロック及びＩＳＰ／ＬＩＰイントラ予測ブロックのために、エンコーダとデコーダとによって同様に決定されてもよい。しかし、ＭＰＭリストへの制限、およびＩＳＰ／ＬＩＰイントラ予測ブロックのためのＭＰＭリストの使用を通知するＭＰＭフラグの推論が適用されるかどうかに関係なく、代替的に、ＩＳＰ／ＬＩＰモードの統計に適応するため、ＩＳＰ／ＬＩＰイントラ予測ブロックのためのＭＰＭリストは異なる方法で決定されてもよい。例えば、ＭＰＭリストからＤＣイントラモードを除外し、ＩＳＰ水平分割つまり水平方向１０４については水平イントラモードを優先し、垂直分割つまり垂直方向１０４については垂直イントラモードを優先するように変更できる。つまり、通常の／伝統的なイントラ予測ブロックの場合、ＭＰＭリストは、利用可能な／サポートされるイントラ予測モードのセットの適切なサブセットを形成でき、そのモードは、特定の概念に従って選択され、順序付けられたものであり得る。ＩＳＰ／ＬＩＰイントラ予測ブロック８０にとって、ＭＰＭインデックスは、フラグ１１４によって通知される区分方向１０４に依存するＭＰＭリストを指すか、及び／又は、ＤＣモードを含まず、又はＤＣおよびｐｌａｎａｒモードを含まない、使用可能な／サポートされたイントラ予測モードのセットの適切なサブセット、つまり使用可能な／サポートされたイントラ予測モードのセットの中のａｎｇｕｌａｒモードの適切なサブセットを形成するＭＰＭリストを指してもよい。以前に符号化／復号されたブロックの以前に使用されたイントラ予測モードに基づいてＭＰＭリストを構築するとき、区分方向１０４が水平であるとフラグ１１４が示すときには、水平次元により近いａｎｇｕｌａｒイントラ予測方向のａｎｇｕｌａｒモードが好ましいであろうし、区分方向１０４が垂直であるとフラグ１１４が示すときには、垂直次元により近いａｎｇｕｌａｒイントラ予測方向のａｎｇｕｌａｒモードが好ましいであろう。

【0055】

先に述べた説明に関して、通常処理されるイントラ予測モードと、本明細書で概説されるように区分を使用して処理されるイントラ予測モードとは、並存（ｊｕｘｔａｐｏｓｉｔｉｏｎ）する必要はないことに再度留意されたい。すなわち、エンコーダおよびデコーダは、本明細書に提示された区分を必ず使用してイントラ予測ブロック８０を処理してもよく、その場合、結果的に、例えば区分フラグ１６０は不要になり得る。ただし、フラグ１６０によって通知された区分オプションがエンコーダのための１つの決定として利用できる場合、以下の説明は、エンコーダが如何にしてその決定を実行するのかについて、またはその区分モードが特定のブロック８０のために使用されるべきか、及びどの分割タイプ、つまり水平または垂直が最適であるかを探し出すかについての可能性を明らかにする。これを実行するために、エンコーダは各ブロックについて異なるイントラ予測モードの両方のオプションをテストすべきである。エンコーダが通常のオプションなどの１つのオプションしか持たない場合に比べると、より多くのオプションをテストする必要があるため、エンコーダの速度は遅くなる。この影響を低減するために、フラグ１６０によってシグナリングされたパーティションモードは、以下の方策に従って符号化されることによってテストされてもよく、ここで、図１０および１１を参照する。

【0056】

１）１Ｄパーティションモードは、テストされるべき最後のイントラモードである。
２）１Ｄパーティションモードがテストされようとする時点までの最小コストをＣｍｉｎとする。
３）テストされるべきイントラモードと分割タイプとの組み合わせを選択する。
４）ブロックはＮ個の１Ｄパーティションに分割され、ｉはこれらの各パーティションのインデックスを示し、ｉ＝［１，Ｎ］である。
５）すべてのパーティションが符号化された後、そのサブコストＪｉが計算される。したがって、パーティションｉが符号化された後に、使用可能なすべてのサブコストの合計、つまり

【数1】

を知ることができる。この手順は図１０に示されており、つまり、１Ｄパーティションのサブコストの累積からブロック全体の最終的なコストを取得する様子が示されている。
６）すべてのパーティションが処理された後、式Ｓｉ＜Ｃｍｉｎが評価される。式が真である場合、パーティションの符号化を最後まで続ける。式が真でない場合は、このテストモードでＲＤコストがＣｍｉｎよりも低くなりそうにないことが明白であるから、プロセスが中断され、イントラモードと分割タイプとの次の組み合わせに進む。
７）すべての１Ｄパーティションが符号化されている場合、このテストモードが最良モードであり、それに応じてＣｍｉｎが更新される。

【0057】

この手順の利点は、１Ｄパーティションモードでは既存の最小コストよりも優れたコストが得られそうもないことを既に知りうるので、不要な１Ｄパーティションの処理を回避できることである。しかも、ＲＤ損失の点でも欠点はない。全体のプロセスは、図１１にフローチャートとして示されている。

【0058】

上記実施形態のすべてが、方向１０４を横断する１サンプル幅のストライプで実行される区分を示すが、代替的に、その区分は、より広いパーティションとなるよう実行されてもよく、それにより、実施形態の説明における特定の詳細が一次元性を利用しない限り、二次元パーティションにつながる方法で行われ得ることに留意されたい。区分に関するさらなる代替案を以下に示す。

【0059】

換言すると、上記の説明では、イントラ予測されたＷ×Ｈのブロック８０が一次元パーティション１０２／１１２又はラインに分割される、ラインベースのイントラ予測（ＬＩＰ）符号化モードツールを含むものとして簡単に説明され得る、実施形態が説明された。そこでは、結果として得られるライン１０２／１１２のそれぞれが予測され、残差信号が生成され、それが変換され、量子化され、エントロピー符号化され、最後に係数がデコーダに送信されると説明された。そのようなラインの再構成されたサンプルは、次のラインなどを予測するために使用できる。このプロセスは、元のブロック内のすべての一次元パーティションが符号化されるまで繰り返される。

【0060】

ただし、このＬＩＰの概念に対して変更は可能である。本願の実施形態は、区分／分割方向１０４に沿って１サンプル幅のパーティション１０２／１１２を有することに制限されないことは、図４を論じる際に既に上記で示されてきた。次に説明する実施形態では、分割方向１０４に沿った幅は、１）イントラ予測モードがａｎｇｕｌａｒモードであるかｎｏｎ－ａｎｇｕｌａｒモードであるか、および２）その方向１０４に沿ったイントラ予測ブロックの幅、に基づいて定義される。

【0061】

１）Ｗ×Ｈ（ここで、ＷおよびＨは２の冪であると想定される）ブロック８０は、水平または垂直に（例えば、デコーダに送られるシンタックス要素１１４で示される）、ｗ×ｈ次元のＫ個の等しいパーティション１０２／１１２に分割され得る。それらの値は表ＩＩに記載されている。表ＩＩによれば、ｎｏｎ－ａｎｇｕｌａｒイントラモードを使用して予測され、かつ垂直分割（つまり、垂直である方向１０４の分割）が行われるＷ＝１６、Ｈ＝８のブロックは、例えば４個のパーティション１０２に分割されてもよく、これらパーティションのすべてがｗ＝１６およびｈ＝２の次元／寸法を持つであろう。この例を図１２ａに示す。同じブロック８０がａｎｇｕｌａｒイントラモードを使用して予測された場合、そのブロックはｗ＝１６およびｈ＝１の次元／寸法を持った８個のパーティション１０２に分割されるであろう。

【0062】

【表II】

【0063】

２）Ｗ×Ｈ（ここで、ＷおよびＨは２の冪であると想定される）ブロック８０は、代替的に、水平または垂直に（例えば、デコーダに送られるシンタックス要素１１４で示される）ｗ×ｈ次元のＫ個の等しいパーティションに分割されることができ、ここでＫの値は固定ではなく（したがって、その値はシンタックス要素を用いてデコーダに送信され）、その範囲は２とＳの間の２のべき乗であり得る。ここで、Ｓは分割される次元の値（垂直分割にとっての幅と水平分割にとっての高さ）である。ｗとｈの値は、表ＩＩＩに示すように得られる。

【0064】

【表III】

【0065】

その代わりに、次元１０４に沿ったパーティションの幅は、ブロック８０について直接的にシグナリングされ得る。

【0066】

３）Ｗ×Ｈ（ここで、ＷおよびＨは２の冪であると想定される）ブロック８０は、代替的に、（例えば、デコーダに送信されるシンタックス要素１１４を用いて示される）水平または垂直方向にｗｉ×ｈｉ次元のＫ個のパーティション（ＫはＷとＨとに依存する）に分割されることができ、ｉ＝１，２，…，Ｋである。分割が水平の場合はＳ＝Ｈ、ｓｉ＝ｈｉとし、分割が垂直の場合はＳ＝Ｗ、ｓｉ＝ｗｉとする。ｓｉの値の様々なオプションは、Ｓの異なる値について表ＩＶで説明され、Ｓの値は次元１０４に沿ったブロック８０の幅を数値化し、ｓｉは次元１０４に沿ったパーティションｉの幅を数値化している。

【0067】

【表IV】

【0068】

デコーダで使用されるオプションは、固定されているか、またはデコーダ側に存在するパラメータの値に従って暗黙的に決定され得る。

【0069】

４）Ｗ×Ｈ（ここで、ＷおよびＨは２の冪であると想定される）ブロック８０は、代替的に、（例えば、デコーダに送信されるシンタックス要素１１４を用いて示される）水平または垂直方向にｗｉ×ｈｉ次元のＫ個のパーティション（ＫはＷとＨとに依存する）に分割されることができ、ｉ＝１，２，…，Ｋである。分割が水平の場合はＳ＝Ｈ、ｓｉ＝ｈｉとし、分割が垂直の場合はＳ＝Ｗ、ｓｉ＝ｗｉとする。ｓｉの値は、ブロックをサブパーティションに分割するために例３）に示した３つのオプションのどれを使用すべきかを示す、シンタックス要素によって決定されるであろう。

【0070】

したがって、上記の例１－４に例示されているように、区分は一次元１０４に沿って行われてもよく、パーティションは所定の次元に垂直な方向に所定ブロックと同じ幅である一方で、所定の次元１０４に沿って測定されるパーティションの幅は、少なくとも２つの異なる幅設定またはオプションから選択される。明示的または暗黙的なシグナリングの概念が、エンコーダとデコーダとの間で選択の同期を保つために使用され得る。したがって、この選択により、同じサイズと形状のブロック間で区分を変更できる一方で、この変更に関連するオーバーヘッドを適度に低く保つことができる。選択は、例えば、所定ブロックのためのイントラ符号化モードがａｎｇｕｌａｒモードであるか否かに応じてなど、所定ブロックのイントラ符号化モードに応じて行うことができる。選択は、例４に示すように、少なくとも２つの異なる幅設定の１つを指標付けする、所定ブロックについてのデータストリーム内のインデックスに応じて行うこともできる。パーティションは、区分次元に沿って１サンプル幅以上とすることができる。１つのブロック内で、区分／所定の方向に沿ったパーティション幅が変化してもよい。１つは１サンプル幅、つまり一次元のストライプであってもよく、もう１つは１サンプル幅を上回る、つまりサンプルの二次元フィールドである。

【0071】

さらに、上記ＬＩＰ概念の実施形態のいくつかの場合、２つのタイプの処理順序（上記説明ではパーティション順序１２６と呼ばれる）が各ブロック８０で使用できるように提案され、最終的に適用されるものは、ブロック８０で使用されるイントラモードに応じて選択されてきた。しかしながら、すでに上述したように、パーティション順序１２６を決定するための代替案が存在する。処理順序１２６は、サブパーティション１０２／１１２がどの順序で処理されるべきかを示す。可能な処理順序１２６は、左上サブパーティションから開始し、水平分割の場合は下向き、垂直分割の場合は右向き、パーティションへの他の区分が使用されるその他の場合はラスタースキャン形式などのその他の順序など、所定の順序で続行することである。一般に、処理順序１２６は、それぞれのサブパーティションが復号／処理されるときにデコーダ側で利用可能な、既存のパラメータによって決定することができるであろう。すなわち、デコーダにとって、処理順序１２６はオンザフライで、すなわち、様々なサブパーティション１０２／１１２の予測に応じて、決定されるものであり得る。このような既存のパラメータには、イントラモード、サブパーティションインデックス、元のブロックの次元、サブパーティションの次元、現在のパーティションのＣＢＦフラグなどが含まれ得る。順序１２６は、デコーダに直接送信することもできる。

【0072】

図５に関してすでに上述した考えに由来して、パーティション１０２／１１２への同じ区分を使用する分割型イントラ予測を受けるブロック８０についても、パーティション順序を変更する動機が起こりうる。すなわち、パーティション１０２／１１２が処理される順序１２６の変更は、様々なパーティション１０２／１１２間での予測精度の分配を可能にする。例えば、上記で例示したように、隣接サンプルセット１１８から遠く離れているパーティション１０２／１１２をパーティション順序１２６に従って最初に処理されるべきと選択した場合には、これは、遠いパーティションがパーティション順序１２６に従って最後に処理される場合よりもイントラ予測が悪いことを意味するであろう。なぜなら、後者の場合、そのパーティションを充填するために使用される参照サンプルは、より近く、つまり、参照サンプルセット１１８に面する側でそのパーティションに隣接するパーティションに配置されるからである。例えば図５の場合、パーティション１０２４について取得されるイントラ予測結果がパーティション順序１２６の最初である（ブロック８０の外側の隣接サンプルに基づいて予測が取得されるであろう）場合には、パーティション１０２４がパーティション順序１２６に従って最後に処理される場合（パーティション１０２４に対して直に隣接するサンプルをカバーし、かつ例えばパーティション１０２３を含む隣接サンプルセットに基づいて予測を生成するであろう）と比較して、予測残差が大きくなることは明らかである。ただし、残りのパーティションについては逆のことが言える。最初にパーティション１０２４を処理する場合、パーティション１０２４の予測残差を使用したその再構成は、パーティション順序１２６に従って、その後に処理される任意のパーティションの隣接サンプルセット１１８ｉに含めることができる。これにより、これらのパーティションの両側からのブロック８０のイントラ予測モードを使用して、例えば、図５の各パーティション１０２１－１０２３の内部を予測できる。

【0073】

パーティション１０２４を処理する場合、隣接サンプルセット１１８ｉは、ｉ＝１…４の各パーティション１０２ｉに対し、それぞれのパーティションの片側に位置しているだけである。つまり、パーティション１０２１－１０２３に関しては、状況が逆になるであろう。これらのパーティションの場合、予測残差は、パーティション１０２４を最後に処理する場合と比較して、パーティション１０２４を最初に処理する場合の方が低くなるであろう。さらに、上述したように、パーティションを隣り合わせで連続して横切る２つのオプション間で順序を切り替えることができるだけでなく、さらに別のパーティション順序１２６を許可できる可能性があることも考慮する必要がある。その順序とは、最初に所定の順序に従って２つ目毎のパーティションを処理し、次に残りのパーティションを同じ順序または逆の所定の順序で処理するなどの方法である。どのオプションが最適であるかは、エンコーダ側で様々な順序オプションをテストすることで決定し、データストリーム内でブロック８０の順序１２６に関するそれぞれの追加の信号（シグナライゼーション）を送信するか、または順序１２６を、ブロック８０又は隣接ブロックについてデータストリーム内で送信されるシンタックス要素に応じて、エンコーダ側とデコーダ側とで同じ方法で選択できるようにしてもよく、それにより、同じサイズと形状を有し、パーティション１０２／１１２へと同様に分割されるブロック８０同士であっても、その順序１２６は同じではなく、それらブロック８０間で異なり得る。

【0074】

したがって、各ブロック８０のパーティションが処理されるパーティション順序は、少なくとも２つの異なる順序から選択され得る。明示的または暗黙的なシグナリングの概念を使用して、エンコーダとデコーダの間で選択の同期を保つことができる。つまり、この選択は、あるパーティション順序が所定のブロックに適用される一方で、別の順序が別のブロック、即ちこれも区分されたイントラ予測の概念を使用して符号化され、同じサイズと同じ形状を持ち、同じ方法でパーティションに区分されたブロック、に対して適用されることを可能にする。エンコーダのパーティション処理順序の選択の自由度、またはサイズ、形状、区分以外のパラメータに依存するパーティション処理順序のレンダリングの自由度は、区分されたイントラ予測モードの有効性を高めるのに有効である。特定のパーティション１０２ｉの予測子の導出のために、少なくとも２つの異なる順序からの所定ブロックについての所定のパーティション順序１２６の選択に応じた方法で参照サンプル１１８ｉを集める（ｒｅｃｒｕｉｔｉｎｇ）とき、有効性はさらに大きくなる可能性がある。特に、上述のように、ある利用可能なまたは選択可能なパーティション順序の場合には、集められた参照サンプル１１８ｉは現在のパーティションの２つの対向する側に配置でき、別の選択可能なパーティション順序の場合、集められた参照サンプル１１８ｉはそのパーティション１２０ｉの２つの対向側の一方にのみ配置できる。次元１０４に沿って分割する場合、「側」とは、垂直方向１０４の場合は上側と下側、水平方向の場合は左側と右側など、その方向に沿って対面しているパーティション１２０ｉの両側であってもよい。しかし、以下で簡単に説明する別の区分の場合、「側」とは、ブロック８０の外側にある参照サンプルセット１１８ｉからのサンプルに対面している区分の一方側として、及びブロック８０の内側、すなわち以前に処理されたパーティションの１つの中にある参照サンプルセット１１８ｉからのサンプルに対面している区分の他方側として、単純に定義されてもよい。例えば、少なくとも２つの異なる選択可能な順序の１つが、所定ブロックの左上隅から最も遠いパーティションから開始してパーティションを横切ってもよい一方で、少なくとも２つの異なる選択可能な順序のもう１つが、所定ブロックの左上隅に最も近いパーティションから開始してパーティションを横切ってもよい。

【0075】

対処すべき別の問題は、残差符号化に関係する。上記のように、残差符号化は変換符号化を使用して実行され得る。各サブパーティション１０２／１１２は、それ自身の符号化ブロックフラグ（ＣＢＦ）１８８、最終位置（ＬＰ）シンタックス要素１９０、および変換係数１９８をデータストリーム内に有することができ、これらはデコーダに送信されるであろう。したがって、Ｋ個のサブパーティション１０２／１１２を有するＣＵなどのブロック８０の場合、Ｋ個のＣＢＦ１８８と、非ゼロのＣＢＦを有する各パーティション１０２／１１２に対して１個のＬＰ１９０と、が存在することになる。各ＣＢＦ１８８を符号化するために使用されるコンテキストは、同じブロック内で－例えば順序１２６に従って－以前に符号化されたサブパーティションのＣＢＦの値に依存してもよい。さらに、未説明の更なるシンタックス要素がデータストリーム内でデコーダに送信されてもよく、そのシンタックス要素は、上述の概念がすべてのブロックで使用されるか否かを示すため、またはデータストリーム全体または特定のピクチャに対応する範囲で、または、例えば特定のピクチャのスライスに対して、本明細書で説明する分割されたイントラ予測の概念が、その範囲内のすべてのイントラ予測ブロック８０で使用されるか否かを示すため、または幾つか（のパーティション）が１つのピースとして扱われるように、つまり唯一のパーティションへと分割されるようにシグナリングされるかどうかを示すためである。

【0076】

同様に、上で説明したように、各サブパーティションは１つの変換を使用して個別に変換でき、それにより全てゼロに量子化されない各パーティション１０２／１１２について１つの変換が生成される。特定のパーティション１０２／１１２の変換として、２Ｄ変換が使用されてもよいが、そのパーティション１０２／１１２の次元の１つが１である場合が除かれ、その場合は１Ｄ変換が適用されるであろう。変換コアは、ＤＣＴ－ＩＩ、またはサブパーティションが復号されようとするときにデコーダ側に存在するパラメータによって決定される他の任意の変換、であり得る。例えば、変換は、イントラモード、サブパーティションインデックス、サブパーティション次元、または後者のパラメータのサブセット、の組み合わせに従って選択可能である。変換は、デコーダに直接、または別の言い方をすると、例えばブロック８０内の全てのパーティションについて、または１つのブロック８０の各パーティション１０２／１１２について個別に送信される追加のシンタックス要素の形で、シグナリングされることもできる。

【0077】

１つの態様は、すでに上述したように、以下のような事実があるという態様に関係する。即ち、各パーティションの予測残差に対してパーティション別に変換を施し、その変換係数を次に量子化することで到達する、空間ドメインまたは何らかの中間的変換ドメインにおける量子化の後で、ブロック８０のパーティション１０２／１１２の残差が更に変換されてもよく、その変換はロスレス又は逆変換可能である。つまり、デコーダは、ブロック８０全体についての変換の変換係数レベルを取得でき、その変換係数レベルに対して逆ロスレス変換を行い、各パーティション１０２／１１２についての予測残差を空間ドメインで取得するか、又は、空間ドメインの予測残差から、各パーティション１０２／１１２について再変換によって中間的変換ドメインが取得される。

【0078】

上記の実施形態の変形例によれば、区分は、次元１０４に沿った区分の形式とは異なる方法で行えることに留意すべきである。そのような変形例を使用するイントラ予測符号化は、フレキシブル・イントラ予測サブ区分（ＦＩＰＳ）などと名付けることができる。ストライプ１０２／１１２への区分の代わりに、ブロック８０の分割／区分は、ブロック８０の任意の長方形のサブパーティションをもたらし得る。フレキシブル・イントラ予測サブ区分（ＦＩＰＳ）は、１個のＷ×Ｈのイントラ予測ブロック８０を、サイズがｗｉ×ｈｉ（ｉ＝１，２，…，Ｋ）のＫ個の長方形の重なり合わないサブパーティションに分割する。結果として得られるサブパーティションのレイアウトは完全に隙間なく、これは、サブパーティションの面積の合計が元のブロックの面積に等しいことを意味する。即ち、

【数2】

である。図１２ｂは、ブロック８０のそのような一般化された分割の例を示しており、参照記号１０２がパーティションに再利用されている。この場合、１６×８のブロック８０は、Ｋ＝７のサブパーティション１０２に分割され、それらの次元／寸法は表Ｖで定義されている。

【0079】

【表V】

【0080】

これまでのところ、前述した実施形態は、直前に記載の区分の例示的な区分を示すと云える。例えば、図４は、ブロック８０のそのようなＦＩＰＳ分割の２つの例を示す。しかし、この場合、すべてのサブパーティション１０２／１１２は同じサイズを有する。特に、次元１０４に垂直方向には、サブパーティションはブロックの幅であり、次元１０４に沿った方向には、それらは等しい幅であって、次元１０４に沿ったブロックの幅の特定の分数（ｆｒａｃｔｉｏｎ）に対応している。上記のパーティション１０２／１１２のいずれとも同様に、ＦＩＰＳにおいて生成される各々のサブパーティション１０２が予測され、結果として生じる残差信号は、例えば個別に、変換され、量子化され、符号化される。したがって、その再構成された値は、未だ符号化／復号されていない他のサブパーティション１０２の予測に使用されてもよい。例えば、図１２ｂに示されるブロック８０の場合、サブパーティション番号１が最初に予測され、次に、その再構成されたサンプルがサブパーティション番号２および３を予測するために使用され得る。この処理は、全てのサブパーティションが符号化／復号されるまで、繰り返される。

【0081】

ＦＩＰＳの一般化を要約すると、イントラ予測ブロック８０のパーティション１０２／１１２への区分は、例えばブロック８０を様々なサイズの長方形のパーティションへの再帰的マルチツリーサブ分割や、任意の他の可能なパーティションの定義を使用して、上記とは異なる方法でデータストリームを介して定義およびシグナリングされてもよい。例えば、区分は、上述のように次元１０４の導出によって定義することができ、その次元に基づいて、それぞれ、ブロック８０のパーティションが水平ストライプ１０２であるか垂直ストライプ１１２であるかを決定し、また、またストライプの横幅、つまり水平ストライプ１０２の高さと垂直ストライプ１１２の幅に関しては、イントラ予測モードに依存して決定する。例えば、処理／パーティション順序１２６を変更する可能性など、上記で論じた他のすべての可能性が残る。すなわち、その変更は、上述したように、イントラ予測モードに依存してもよく、データストリーム内でイントラ予測モードパラメータに追加して送信されるブロック８０についての何らかのシンタックス要素に依存してもよく、又は、様々なパーティションについてデータストリーム内で送信された予測残差から導出可能な情報などのような、データストリーム内で送信された他の何かの情報に従うものでもよい。

【0082】

さらに、ブロック８０の様々なパーティションの予測残差は、これらのパーティションの個々のイントラ予測に対して交互になるように、パーティションごとに、量子化され、順次データストリームへ符号化されることはすでに上述した。これは、図５に関してだけでなく、図１０および図１１に関する説明でも同様である。しかしながら、デコーダは、一方で残差復号と、他方でイントラ予測と予測残差とを組み合わせることによる様々なパーティションの再構成と、の間で交互に繰り返すことによって復号を実行する必要はない。すなわち、特定のブロック８０を復号する際に、デコーダは、様々なパーティションの個別のイントラ予測を含む実際の再構成手順から、様々なパーティションの予測残差１２０の復号を切り離してもよい。図５を参照されたい。ここで、デコーダは、データストリーム１４から、すべてのパーティションの予測残差１２０、つまりブロック８０の予測残差１２０１－１２０４を１つの処理タスクに従って復号してもよく、かつデコーダは、別のタスクに従ってパーティション１０２ｉの予測残差１２０ｉを使用して、パーティション順序１２６に従って、ブロック８０の内部をパーティションごとに再構成してもよい。この目的のために、デコーダは、第２タスクで、ブロック８０のイントラ予測モードを使用して各パーティション１２０ｉのイントラ予測を実行し、第１タスクから得られた予測残差１２０ｉを加算し、次にパーティション順１２６で次のパーティション１２０ｉ＋１にステップすることで、ブロック８０の再構成を続ける。それにより空間予測を実行し、次にそのパーティションの予測残差を使用して再構成を実施して、イントラ予測結果を修正する。デコーダは、予測と予測残差を使用した予測修正とを実行する第２タスクを開始する前に、データストリーム１４から予測残差１２０を完全に導出する第１タスクを実行するか、又はデコーダは、上記２つのタスクを並行して実行してもよく、その場合、特定のパーティション１０２ｉの予測残差１２０ｉが必要なときに、つまりそのパーティション１０２ｉの予測結果がそのブロックのイントラ予測モードを使用して取得されており、かつ修正する必要があるときに、予測残差の準備ができていることを保証する手段を備える必要がある。特に、第１タスクまたはフェーズ中に、デコーダは、すべての非ゼロのパーティション、つまり予測残差１２０ｉが非ゼロであると通知されるすべてのパーティション１０２について、すべての逆変換を並行して実行してもよい。

【0083】

付け足しではあるが、パーティションｉの残差１２０ｉが変換ドメインで量子化される上記の実施形態によれば、これらのパーティションの再構成サンプルが特定の許容サンプル値の範囲を出る、つまり超えるか、または受け継ぐことがあることに留意すべきである。上述のように、再構成サンプルは、順序１２６において後続のパーティションｊのための参照サンプル１１８ｊのメンバーとして機能してもよい。一実施形態によれば、これらのサンプルは、順序１２６において後続のパーティションｊを予測する目的でそのまま残され、ブロック８０全体に対する最後のクリッピングステップとしてブロック８０のこれらサンプルのクリッピングを実行する。それにより、例えば、デコーダ側の実装の容易性を向上させる。よって、パーティション１０２ｉの予測子を導出する際に、パーティション順序１２６に従ってこのパーティション１０２ｉに先行するパーティションの再構成サンプルであって、現在のパーティションの参照として機能する１つ以上の既に再構成されたサンプル１１８ｉの中にあるサンプルが、未だクリッピングされない状態で使用されてもよく、再構成サンプルをクリッピングされない状態から許容サンプル値範囲にクリッピングされた状態にクリッピングすることは、一連の再構成を実行した後、所定ブロックを最終的に再構成するために、最後に行われる。エンコーダ側では、クリッピングは、デコーダとの参照同期を維持するために、後続の符号化されるブロックの予測参照として機能するそのようなサンプルの再構成バージョンを取得するためだけに、実行される。しかしながら、この最後のクリーンアップ型のクリッピングは一例に過ぎず、代替的に、クリッピングは即座に実行されてもよく、すなわち、パーティションｉの再構成サンプルがその後に処理されるパーティションｊの参照サンプル１１８ｊとして機能する前に実行されてもよい。

【0084】

これまで説明した実施形態のうち、一実施形態を具体例を用いて以下に説明する。特に、この実施形態によれば、データストリーム１４は、イントラ符号化ブロック８０について、それがＬＩＰまたはＩＳＰスキームを使用して符号化されているか否かを、分割モードフラグ１６０を介してシグナリングする。データストリーム１４内の対応するシンタックス要素は、ｉｎ－ｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇと名付けることができる。例えばこのフラグが１である場合、イントラ符号化ブロック８０は、ＬＩＰまたはＩＳＰスキームを使用して符号化されることができ、そうでない場合には、ブロック８０は通常のイントラ予測を使用して符号化される。ＬＩＰまたはＩＳＰスキームは、例えば、特定の１つ以上の条件が満たされている場合にのみ、現在のイントラ符号化ブロック８０に対して利用可能であり得る。１つ以上の条件は、例えば以下を含むことができる。例えば、イントラ符号化ブロック８０は、ブロック８０のサンプル数に関して何らかの最小サイズよりも大きい必要があること、および／またはイントラ符号化ブロック８０は、例えば変換サイズが過大にならないようにするために、少なくとも水平方向と垂直方向の両方向で所定の次元を超えられないこと、である。より正確には、ＬＳＰまたはＩＳＰモードは、少なくとも一方向、すなわち水平または垂直方向において、ブロック８０が前述の最大変換関連サイズ以下である場合にのみ利用可能となる、ことであってもよい。したがって、ｉｎ－ｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇは、ブロック８０が上記の条件を満たす場合にのみ、データストリーム内に存在してもよい。そうでない場合、デコーダは、イントラ符号化ブロック８０が通常どおりイントラ符号化されていると推測してもよい。

【0085】

イントラ符号化ブロック８０がＬＳＰまたはＩＳＰ符号化ブロックであることを、分割モードフラグ（ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇ）が示す場合には、パーティション次元フラグ１１４がイントラ符号化ブロック８０についてさらにシグナリングされてもよい。ただし、このｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｍｏｄｅ＿ｆｌａｇは必ずしも明示的に通知されないが、特定の状況の場合に特定のパーティション次元１０４を示すと推測されてもよい。例えば、イントラ符号化ブロック８０が前述の最大変換サイズを超える幅を有する（ただし、それを超えない高さを有する）場合、パーティション次元１０４は必然的に水平となり得、ブロック８０の高さが直前に述べた最大変換サイズを超える（ただし、幅はそれを超えない）場合、次元１０４は必然的に垂直となり得る。どちらの場合も、ｉｎｔｒａ＿ｓｕｂｐａｒｔｉｔｉｏｎｓ＿ｓｐｌｉｔ＿ｆｌａｇはデータストリーム内で明示的にシグナリングされないであろうが、デコーダによって相応に推測されるであろう。イントラ符号化モード１１６は、上記で概説したように、エンコーダ側およびデコーダ側で構築される最確イントラ予測モードのリストを使用することによって、データストリーム内でシグナリングされ得る。一方、ＬＩＰまたはＩＳＰのイントラ符号化ブロック８０の場合、データストリーム１４は、例えばｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ＩＤＸと呼ばれるＭＰＭリストポインターを介してイントラ符号化モードをシグナリングすることができ、そのポインターは最確イントラ予測モードのリストを必然的に指しており、イントラ符号化ブロックがＬＩＰまたはＩＳＰスキームで符号化されていない場合、データストリーム１４内ではこのポインターの前にＭＰＭフラグがあってもよい。例えばｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇと呼ばれるＭＰＭフラグが特定のフラグ状態を有する場合、最確イントラ予測モードリストへのポインターの代わりに、イントラ予測モードの残りのリストへのポインターがデータストリームでシグナリングされるであろう。ただし、上記のように、これは単なる例であり、イントラ予測モードのシグナリング可能なセットは、同じであってもよく、つまり、通常どおり符号化されるイントラ予測ブロックとＬＩＰまたはＩＳＰイントラ予測ブロックとの両方について、サポートされたすべてのイントラ予測モードをカバーしてもよい。

【0086】

例えば、ｉｎｔｒａ＿ｌｕｍａ＿ｍｐｍ＿ｆｌａｇは、両方のタイプのイントラ符号化ブロックについて送信されてもよい。代替的に、両タイプのイントラ予測ブロックについて送信されるポインターは、ＭＰＭフラグなしで、両タイプのイントラ符号化ブロックについて、サポートされたイントラ予測モードの完全なリストを直接指すことができる。イントラ符号化ブロック８０がＬＩＰまたはＩＳＰスキームを使用して符号化される場合、パーティション１０２／１１２の数は以下のように定義され得る。特に、エンコーダおよびデコーダは、ブロック８０のサイズに応じてパーティションの数を決定してもよい。データストリームの中で信号は消費されないであろう。小さいブロックサイズの場合、その数は２でありうるが、それ以外の場合、パーティション１０２／１１２の数は４である。パーティションのイントラ予測と予測残差のデータストリームへの符号化とが実行されるパーティション順序は、水平方向１０４の場合は左端のパーティションから、垂直パーティション方向の場合には上端のパーティションから、最も遠いパーティションまで順次パーティション方向１０４に沿って進んでもよい。この場合も信号は消費されないであろう。上記のように、パーティション１０２／１１２ごとに残差変換が行われ得る。つまり、各パーティションは個別に変換され得る。

【0087】

それと比較して、通常どおりイントラ符号化されたブロック８０の場合、変換の数は、次のようにイントラ符号化ブロック８０のサイズに依存する可能性がある。すなわち、イントラ符号化ブロックが水平および垂直方向に前述の最大変換サイズよりも小さい場合、イントラ符号化ブロック８０の残差は１つの変換を使用して符号化され、つまり、ブロック８０の残差には完全に１つの変換が施される。水平方向の最大変換サイズを超える場合、イントラ符号化ブロック８０は２つの半分ブロックまたは対応する数の変換ブロックに水平方向に分割され、ここでそれら半分ブロックまたは変換ブロックが最大変換サイズに合致し、ブロック８０の残差には各半分ブロック／変換ブロックごとに１つの変換が施される。同じことが、垂直方向に最大変換サイズを超えるブロック８０の場合にも当てはまる。垂直方向と水平方向の両方で最大変換サイズを超える場合は、ブロック８０の残差をこのブロック８０の四象限に変換するため、またはブロック８０の標準の二次元サブ分割を対応する数の変換ブロックへ変換するために、４つまたは対応する数の変換が使用される。さらに、通常のイントラ符号化ブロック８０の処理は、通常のイントラ符号化ブロックがブロック一括でイントラ予測されるという点で、ＬＩＰまたはＩＳＰ符号化されたイントラ符号化ブロック８０の取り扱いとは違っていてもよい。つまり、通常のイントラ符号化ブロックはサブ区分されない。さらなる違いは、ブロック８０の予測残差を符号化するための、変換ブロックの符号化に関係してもよい。各変換について、ｔｕ＿ｃｂｆ＿ｌｕｍａなどの符号化ブロックフラグ１８８が送信されてもよいが、通常のイントラ符号化ブロック８０の場合、このフラグはブロック８０内の各変換について必ず符号化される可能性がある一方で、ブロック８０がＬＩＰまたはＩＳＢ符号化されており、かつ以前の変換のすべての先行するＣＢＦがゼロである場合、このフラグは、そのブロック８０の最後の変換について１であると推測されてもよい。さらに、各変換内のサブブロックの次元の選択は、通常のイントラ符号化ブロック８０と、ＬＩＰまたはＩＳＰ符号化ブロック８０との間で異なっていてもよい。詳細は上段で記載されている。しかしながら、代替として、変換１８２のサブブロックへのサブ分割は、通常のイントラ符号化ブロックとＬＩＰまたはＩＳＰ符号化ブロックとに対して同等に実行されてもよい。例えば、ｌｏｇ２ＳｂＷとｌｏｇ２ＳｂＨをそれぞれサブブロックの幅と高さの対数とし、ｌｏｇ２ＴｂＷｉｄｔｈとｌｏｇ２ＴｂＨｅｉｇｈｔをそれぞれ変換の幅と高さの対数とする。次に、サブブロックの次元を次のように決定できる。

【0088】

【数3】

【0089】

上記の疑似コードは、表１に示されているサイズのサブブロックを生成する。これは、イントラ符号化ブロック８０に固有の最小サイズと通常のイントラ符号化ブロックの非サブ分割とにより、通常のイントラ符号化ブロック８０については、４×４の係数のサブブロックだけがもたらされてもよい。最後に、上記に概説された例は、２つのパーティション１０２／１１２だけに区分されるブロックを含む、様々なサイズのＬＩＰまたはＩＳＰのイントラ予測ブロックをもたらし得るが、そのようなＬＩＰまたはＩＳＰイントラ予測ブロックが存在するかどうかに関係なく、３つ以上のパーティションに区分されるＬＩＰまたはＩＳＰイントラ予測ブロックが存在することに留意すべきである。

【0090】

いくつかの態様が装置の文脈で説明されてきたが、これらの態様が対応する方法の説明も表しており、ブロックまたはデバイスが方法ステップまたは方法ステップの特徴に対応することは明らかである。同様に、方法ステップの文脈で説明される態様は、対応する装置の対応するブロックまたは項目または特徴の説明も表す。方法ステップの一部またはすべては、例えば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって（または使用して）実行することができる。いくつかの実施形態では、最も重要な方法ステップの１つまたは複数は、そのような装置によって実行され得る。

【0091】

本発明のデータストリームは、デジタル記憶媒体に格納することができ、またはインターネットなどの無線伝送媒体もしくは有線伝送媒体などの伝送媒体で伝送することができる。

【0092】

特定の実施要件に応じて、本発明の実施形態は、ハードウェアまたはソフトウェアで実施することができる。実装は、フレキシブルディスク、ＤＶＤ、ブルーレイ（商標）、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリなどのデジタル記憶媒体を使用して実行できる。その上で、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）。したがって、デジタル記憶媒体は、コンピュータ可読であり得る。

【0093】

本発明によるいくつかの実施形態は、本明細書に記載の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に読み取り可能な制御信号を有するデータキャリアを含む。

【0094】

一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに方法の１つを実行するように動作する。プログラムコードは、例えば、機械可読キャリアに格納されてもよい。

【0095】

他の実施形態は、機械可読キャリアに記憶された、本明細書に記載された方法の１つを実行するためのコンピュータプログラムを含む。

【0096】

したがって、換言すれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書で説明される方法の１つを実行するためのプログラムコードを有するコンピュータプログラムである。

【0097】

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを記録したデータキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタルストレージメディア、または記録されたメディアは、通常、有形および／または非一時的である。

【0098】

したがって、本発明の方法のさらなる実施形態は、本明細書で説明される方法の１つを実行するためのコンピュータプログラムを表すデータストリームまたは一連の信号である。データストリームまたは信号のシーケンスは、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。

【0099】

さらなる実施形態は、本明細書に記載の方法の１つを実行するように構成または適合された処理手段、例えば、コンピュータまたはプログラム可能な論理デバイスを含む。

【0100】

さらなる実施形態は、本明細書に記載される方法の１つを実行するためのコンピュータプログラムがインストールされているコンピュータを含む。

【0101】

本発明によるさらなる実施形態は、本明細書に記載の方法の１つを実行するためのコンピュータプログラムを（例えば、電子的または光学的に）受信機に転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含み得る。

【0102】

いくつかの実施形態では、プログラマブルロジックデバイス（例えば、フィールドプログラマブルゲートアレイ）を使用して、本明細書に記載されている方法の機能の一部またはすべてを実行することができる。いくつかの実施形態では、フィールドプログラマブルゲートアレイは、本明細書で説明される方法の１つを実行するために、マイクロプロセッサと協働し得る。一般に、方法は、好ましくは、任意のハードウェア装置によって実行される。

【0103】

本明細書で説明する装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組み合わせを使用して実装することができる。

【0104】

本明細書で説明される装置、または本明細書で説明される装置の任意の構成要素は、少なくとも部分的にハードウェアおよび／またはソフトウェアで実装され得る。

【0105】

本明細書で説明する方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータの組合せを使用して実行することができる。

【0106】

本明細書で説明される方法、または本明細書で説明される装置の任意の構成要素は、ハードウェアおよび／またはソフトウェアによって少なくとも部分的に実行され得る。

【0107】

上述の実施形態は、本発明の原理を単に例示するものである。本明細書に記載された構成および詳細の修正および変形は、当業者には明らかであろうことが理解される。したがって、添付の特許請求の範囲によってのみ限定され、本明細書の実施形態の記載および説明として提示された特定の詳細によって限定されないことが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12a】

【図12b】