特許 7179080 画像境界処理を使用して画像を符号化および復号する装置および方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-11-17

(45)【発行日】2022-11-28

(54)【発明の名称】画像境界処理を使用して画像を符号化および復号する装置および方法

(51)【国際特許分類】

   H04N 19/119 20140101AFI20221118BHJP

   H04N 19/167 20140101ALI20221118BHJP

   H04N 19/176 20140101ALI20221118BHJP

【ＦＩ】

H04N19/119

H04N19/167

H04N19/176

【請求項の数】 19

(21)【出願番号】P 2020552780

(86)(22)【出願日】2019-03-21

(65)【公表番号】

(43)【公表日】2021-08-10

(86)【国際出願番号】 EP2019057170

(87)【国際公開番号】W WO2019185456

(87)【国際公開日】2019-10-03

【審査請求日】2020-11-24

(31)【優先権主張番号】18165218.1

(32)【優先日】2018-03-29

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】500341779

【氏名又は名称】フラウンホーファー－ゲゼルシャフト・ツール・フェルデルング・デル・アンゲヴァンテン・フォルシュング・アインゲトラーゲネル・フェライン

(74)【代理人】

【識別番号】110002952

【氏名又は名称】弁理士法人鷲田国際特許事務所

(74)【代理人】

【識別番号】100085660

【弁理士】

【氏名又は名称】鈴木 均

(72)【発明者】

【氏名】ウィエコウスキ，アダム

(72)【発明者】

【氏名】ゲオルク，ワレリ

(72)【発明者】

【氏名】ヒンツ，トビアス

(72)【発明者】

【氏名】シュヴァルツ，ハイコ

(72)【発明者】

【氏名】マルペ，デトレフ

(72)【発明者】

【氏名】ウィーガント，トーマス

(72)【発明者】

【氏名】マ，ジャッキー

(72)【発明者】

【氏名】ブランデンブルク，イェンス

【審査官】鉢呂 健

(56)【参考文献】

【文献】国際公開第２０１９／０７７７５１（ＷＯ，Ａ１）

【文献】特表２０２０－５１６１５６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０３７３７６６（ＵＳ，Ａ１）

【文献】MA, Jackie et al.，Quadtree plus binary tree with shifting，Joint Video Exploration Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 10th Meeting: San Diego, US, 10-20 Apr. 2018, [JVET-J0035]，JVET-J0035 (version 1)，ITU-T，2018年04月03日，＜URL: http://phenix.it-sudparis.eu/jvet/doc_end_user/documents/10_San%20Diego/wg11/JVET-J0035-v1.zip＞: JVET-J0035.docx: pp. 1-12

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

画像（１２）を符号化する装置（１０）であって、
再帰的なマルチツリー分割を使用して、前記画像（１２）をリーフブロックに分割し、
前記画像（１２）の前記リーフブロックへの前記分割を使用して、前記画像（１２）をデータストリーム（１４）にブロックベースで符号化する
ように構成され、
前記装置（１０）は、前記画像（１２）を前記リーフブロックに分割する際に、
前記マルチツリー分割の所定のツリーレベルに対応し、かつ前記画像（１２）の境界を越えて延びる所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）について、前記画像（１２）の前記境界が、１つまたは複数の分割モードの縮小されたセットを得るように前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）と交差する位置に応じて、前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）を分割する利用可能な分割モードのセットを縮小し、
前記縮小されたセットのカーディナリティが１である場合、前記装置（１０）は、前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）を分割する前記縮小されたセットの前記分割モードを適用するように構成され、
前記縮小されたセットのカーディナリティが１より大きい場合、前記装置（１０）は、前記縮小されたセットの前記分割モードの１つを選択し、前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）を分割する前記分割モードの前記選択された１つを適用し、前記データストリーム（１４）における前記選択を信号伝達するように構成され、
前記装置（１０）は、
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）が出現する先行するツリーレベルのすべての分割モードが２分割の制限されたセットではない場合、４分割、少なくとも１つの水平方向の２分割、および少なくとも１つの垂直方向の２分割を含む分割モードのプリミティブセットに等しくなり、
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）が出現する先行するツリーレベルの分割モードが２分割の前記制限されたセットの１つである場合、分割モードの前記プリミティブセットから前記４分割を差し引いたものに等しくなるように、
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）の前記利用可能な分割モードのセットを決定するように構成される、
画像（１２）を符号化する装置（１０）。

【請求項2】

前記装置（１０）が、前記利用可能な分割モードのセットを１つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記利用可能な分割モードのセットから、
前記所定のツリーレベルに続く後続のツリーレベルの１つまたは複数の後続の分割に制限を課さない第１の分割モード、および
スプリット線（８１１）に沿って前記所定のブロック（８０１ａ）を２つのサブブロック（８０２ａ、８０２ｂ）にスプリットする第２の分割モードのうちの少なくとも１つを選択するように構成され、
前記スプリット線（８１１）は、前記所定のブロック（８０１ａ）内の前記画像境界の位置に平行であり、かつ前記スプリット線（８１１）が前記画像（１２）の前記境界に併置されるもの、および前記所定のブロック（８０１ａ）の内側に中央に配置されているもののうちの少なくとも１つである、
請求項１に記載の装置（１０）。

【請求項3】

前記装置（１０）が、前記利用可能な分割モードのセットを１つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記利用可能な分割モードのセットから、
前記所定のブロック（８０１ａ；８０２ｄ）内の前記画像境界の位置に平行であり、かつスプリット線（８１１；８１３）が前記画像（１２）の前記境界に併置されるもの、および前記所定のブロック（８０１ａ）の内側に中央に配置されているもののうちの少なくとも１つである、第１のスプリット線（８１１；８１３）に沿って前記所定のブロック（８０１ａ；８０２ｄ）を２つのサブブロック（８０２ａ、８０２ｂ；８０３ｂ、８０３ｄ）に分割する１つの所定の分割モード
を選択するように構成される、請求項１に記載の装置（１０）。

【請求項4】

前記所定の分割モードが、垂直方向の２分割または水平方向の２分割のいずれかである、
請求項３に記載の装置（１０）。

【請求項5】

前記装置（１０）が、
前記画像境界に対する前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）の場所から独立して、および／または
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）が出現する先行するツリーレベルの分割モードのシーケンスに依存して、
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）の前記利用可能な分割モードのセットを決定するように構成される、
請求項１から４のいずれか一項に記載の装置（１０）。

【請求項6】

前記装置（１０）が、前記利用可能な分割モードのセットを１つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記利用可能な分割モードのセットから、
前記４分割、および
スプリット線（８１１；８１３）に沿って前記所定のブロック（８０１ａ；８０２ｄ）を２つのサブブロック（８０２ａ、８０２ｂ；８０３ｂ、８０３ｄ）に分割する２分割のうちの少なくとも１つを選択するように構成され、
前記スプリット線（８１１、８１３）は、前記所定のブロック（８０１ａ；８０２ｄ）内の前記画像境界の位置に平行であり、かつ前記スプリット線（８１１；８１３）が前記画像境界に併置されるもの、および前記所定のブロック（８０１ａ；８０２ｄ）の内側に中央に配置されているもののうちの少なくとも１つである、
請求項１に記載の装置（１０）。

【請求項7】

前記縮小されたセットからの２分割が適用され、連続する２分割の数が所定の最大数の連続する２分割に制限される場合、前記連続する２分割が画像境界を越えて適用される場合、前記装置（１０）が、連続する２分割をカウントしないように構成される、請求項６に記載の装置（１０）。

【請求項8】

前記装置（１０）が、前記利用可能な分割モードのセットを１つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）が前記画像（１２）の角を越えて延びる場合にのみ、前記利用可能な分割モードのセットから、前記４分割を選択するように構成される、請求項１に記載の装置（１０）。

【請求項9】

画像（１２）を復号する装置（２０）であって、
再帰的なマルチツリー分割を使用して、前記画像（１２）をリーフブロックに分割し、
前記画像（１２）のリーフブロックへの前記分割を使用して、前記画像（１２）をデータストリーム（１４）からブロックベースで復号する
ように構成され、
前記装置（２０）は、前記画像（１２）を前記リーフブロックに分割する際に、
前記マルチツリー分割の所定のツリーレベルに対応し、かつ前記画像（１２）の境界を越えて延びる所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）について、前記画像境界が、１つまたは複数の分割モードの縮小されたセットを得るように前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）と交差する位置に応じて、前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）を分割する利用可能な分割モードのセットを縮小し、
前記縮小されたセットのカーディナリティが１である場合、前記装置（２０）は、前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）を分割する前記縮小されたセットの前記分割モードを適用するように構成され、
前記縮小されたセットのカーディナリティが１より大きい場合、前記装置（２０）は、前記縮小されたセットの前記分割モードの１つを選択し、前記データストリームにおける信号伝達に従って、前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）を分割する前記分割モードの前記選択された１つを適用するように構成され、
前記装置（２０）は、
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）が出現する先行するツリーレベルのすべての分割モードが２分割の制限されたセットではない場合、４分割、少なくとも１つの水平方向の２分割、および少なくとも１つの垂直方向の２分割を含む分割モードのプリミティブセットに等しくなり、
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）が出現する先行するツリーレベルの分割モードが２分割の前記制限されたセットの１つである場合、分割モードの前記プリミティブセットから前記４分割を差し引いたものに等しくなるように、
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）の前記利用可能な分割モードのセットを決定するように構成される、
装置（２０）。

【請求項10】

前記装置（２０）が、前記利用可能な分割モードのセットを１つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記利用可能な分割モードのセットから、
前記所定のツリーレベルに続く後続のツリーレベルの１つまたは複数の後続の分割に制限を課さない第１の分割モード、および
前記所定のブロック（８０１ａ）内の前記画像境界の位置に平行であり、かつスプリット線（８１１）が前記画像境界に併置されるもの、および前記所定のブロック（８０１ａ）の内側に中央に配置されているもののうちの少なくとも１つである、スプリット線（８１１）に沿って前記所定のブロック（８０１ａ）を２つのサブブロック（８０２ａ、８０２ｂ）に分割する第２の分割モードのうちの少なくとも１つを選択するように構成される、
請求項９に記載の装置（２０）。

【請求項11】

前記装置（２０）が、前記利用可能な分割モードのセットを１つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記利用可能な分割モードのセットから、
第１のスプリット線（８１１；８１３）に沿って前記所定のブロック（８０１ａ；８０２ｄ）を２つのサブブロック（８０２ａ、８０２ｂ；８０３ｂ、８０３ｄ）に分割する１つの所定の分割モードを選択するように構成され、
前記第１のスプリット線（８１１；８１３）は、前記所定のブロック（８０１ａ；８０２ｄ）内の前記画像境界の位置に平行であり、かつスプリット線（８１１；８１３）が前記画像（１２）の前記境界に併置されるもの、および前記所定のブロック（８０１ａ；８０２ｄ）の内側に中央に配置されているもののうちの少なくとも１つである、
請求項９に記載の装置（２０）。

【請求項12】

前記所定の分割モードが、垂直方向の２分割または水平方向の２分割のいずれかである、
請求項１１に記載の装置（２０）。

【請求項13】

前記装置（２０）が、
前記画像境界に対する前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）の場所から独立して、および／または
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）が出現する先行するツリーレベルの分割モードのシーケンスに依存して、
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）の前記利用可能な分割モードのセットを決定するように構成される、
請求項９から１２のいずれか一項に記載の装置（２０）。

【請求項14】

前記装置（２０）が、前記利用可能な分割モードのセットを１つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記利用可能な分割モードのセットから、
前記４分割、および
スプリット線（８１１）に沿って前記所定のブロック（８０１ａ）を２つのサブブロック（８０２ａ、８０２ｂ）に分割する２分割のうちの少なくとも１つを選択するように構成され、
前記スプリット線（８１１）は、前記所定のブロック（８０１ａ）内の前記画像境界の位置に平行であり、かつ前記スプリット線（８１１）が前記画像境界に併置されるもの、および前記所定のブロック（８０１ａ）の内側に中央に配置されているもののうちの少なくとも１つである、
請求項９に記載の装置（２０）。

【請求項15】

前記縮小されたセットからの２分割が適用され、連続する２分割の数が所定の最大数の連続する２分割に制限される場合、前記連続する２分割が画像境界を越えて適用される場合、前記装置（２０）が、連続する２分割をカウントしないように構成される、請求項１４に記載の装置（２０）。

【請求項16】

前記装置（２０）が、前記利用可能な分割モードのセットを１つまたは複数の分割モードの前記縮小されたセットに縮小するように、前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）が前記画像（１２）の角を越えて延びる場合にのみ、前記利用可能な分割モードのセットから、前記４分割を選択するように構成される、請求項９に記載の装置（２０）。

【請求項17】

画像（１２）を符号化する方法であって、
再帰的なマルチツリー分割を使用して、前記画像（１２）をリーフブロックに分割するステップと、
前記画像（１２）の前記リーフブロックへの前記分割を使用して、前記画像（１２）をデータストリーム（１４）にブロックベースで符号化するステップと、
を含み、
前記方法は、前記画像（１２）を前記リーフブロックに分割する際に、
前記マルチツリー分割の所定のツリーレベルに対応し、かつ前記画像（１２）の境界を越えて延びる所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）について、
前記画像境界が、１つまたは複数の分割モードの縮小されたセットを得るように前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）と交差する位置に応じて、前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）を分割する利用可能な分割モードのセットを縮小するステップをさらに含み、
前記縮小されたセットのカーディナリティが１である場合、前記方法は、前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）を分割する前記縮小されたセットの前記分割モードを適用するステップを含み、
前記縮小されたセットのカーディナリティが１より大きい場合、前記方法は、前記縮小されたセットの前記分割モードの１つを選択するステップと、前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）を分割する前記分割モードの前記選択された１つを適用するステップと、前記データストリーム（１４）において前記選択を信号伝達するステップと、を含み、
前記方法は、
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）が出現する先行するツリーレベルのすべての分割モードが２分割の制限されたセットではない場合、４分割、少なくとも１つの水平方向の２分割、および少なくとも１つの垂直方向の２分割を含む分割モードのプリミティブセットに等しくなり、
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）が出現する先行するツリーレベルの分割モードが２分割の前記制限されたセットの１つである場合、分割モードの前記プリミティブセットから前記４分割を差し引いたものに等しくなるように、
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）の前記利用可能な分割モードのセットを決定するステップをさらに含む、
方法。

【請求項18】

画像（１２）を復号する方法であって、
再帰的なマルチツリー分割を使用して、前記画像（１２）をリーフブロックに分割するステップと、
前記画像（１２）のリーフブロックへの前記分割を使用して、前記画像（１２）をデータストリーム（１４）からブロックベースで復号するステップと、
を含み、
前記方法は、前記画像（１２）を前記リーフブロックに分割する際に、
前記マルチツリー分割の所定のツリーレベルに対応し、かつ前記画像（１２）の境界を越えて延びる所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）について、前記画像境界が、１つまたは複数の分割モードの縮小されたセットを得るように前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）と交差する位置に応じて、前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）を分割する利用可能な分割モードのセットを縮小するステップをさらに含み、
前記縮小されたセットのカーディナリティが１である場合、前記方法は、前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）を分割する前記縮小されたセットの前記分割モードを適用するステップをさらに含み、
前記縮小されたセットのカーディナリティが１より大きい場合、前記方法は、前記縮小されたセットの前記分割モードの１つを選択するステップと、前記データストリーム（１４）における信号伝達に従って、前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）を分割する前記分割モードの前記選択された１つを適用するステップと、
をさらに含み、
前記方法は、
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）が出現する先行するツリーレベルのすべての分割モードが２分割の制限されたセットではない場合、４分割、少なくとも１つの水平方向の２分割、および少なくとも１つの垂直方向の２分割を含む分割モードのプリミティブセットに等しくなり、
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）が出現する先行するツリーレベルの分割モードが２分割の前記制限されたセットの１つである場合、分割モードの前記プリミティブセットから前記４分割を差し引いたものに等しくなるように、
前記所定のブロック（８０１ａ、８０１ｂ、８０１ｃ、８０１ｄ、８０２ａ、８０２ｂ、８０２ｄ、８０３ａ、８０３ｂ、８０３ｃ）の前記利用可能な分割モードのセットを決定するステップをさらに含む、
方法。

【請求項19】

コンピュータまたは信号プロセッサ上で実行されるときに請求項１７または１８に記載の方法を実装するコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像およびビデオの符号化に関する。本発明の実施形態は、特定サイズの入力画像およびビデオデータをより小さな要素（エンティティ）に分割する特定の方法に関する。特に、本発明の実施形態は、再帰的画像信号分割における画像境界処理に関する。

【背景技術】

【0002】

最新のビデオコーディングアプリケーションでは、特定サイズの入力ビデオ信号がより小さなチャンクに分割される［１］。この分割は、各レベルに関連付けられた特定の情報および記述を有する多数の構造で構成される。最先端のビデオコーデックＨ．２６５／ＨＥＶＣ［１］では、最も重要な細分割はマクロブロックへの細分割である。これらのマクロブロック、またはコーディングツリーユニット（ＣＴＵ）は、符号化された画像上の固定グリッドにまたがる事前定義されたサイズ（３２ｘ３２または６４ｘ６４の輝度サンプルなど）の二次構造である。他の全ての分割レベルは、この固定の細分割を単位として定義される。例えば、スライスおよびタイルへのより粗い高レベル分割は、含まれるＣＴＵを単位として定義される。

【0003】

Ｈ．２６５／ＨＥＶＣ［１］では、各ＣＴＵから開始して、クワッドツリー構造は、固定ＣＴＵをフレキシブルサブ構造に再帰的に分割する手段を提供するよう信号伝送される。各レベルでは、定義されたパラメータ範囲で、４つのサブブロックに分割するか、指定したレベルで符号化する必要があるブロックが推測または信号伝達される。このプロセスは、現在の高レベルパラメータで定義されているようにそれ以上の分割が不可能になるか、現在のレベルでそれ以上の分割を実行する必要がないことを示すフラグが読み取られるまで、再帰的に繰り返される。この場合、符号化ユニットの信号と、そのサブ構造の信号が読み取られる。

【0004】

クワッドツリー分割の信号は、時々、省略され、真または偽のいずれかとして推測される場合がある。最も注目すべきは、固定的な性質のため、ＣＴＵは必ずしもビデオ画像境界と整列しているとは限らない。この場合、クワッドツリー分割構造のＣＴＵまたはサブブロックが画像境界に完全に含まれていなければ、分割フラグは明示的なシグナリングなしで正と推測される。分割後、サブブロックがビデオ画像境界の完全に外側にあれば、このブロックのそれ以上のシグナリングは読み取られない。

【0005】

Ｈ．２６５／ＨＥＶＣ［１］を超える機能を備えた将来のビデオ規格の開発では、クワッドツリー再帰分割構造がさまざまな分割構成によって拡張される［２］。ブロックが４つの二次サブパートに分割されていない場合、２分割が信号伝達されて、１／２の分割比を使用してこのブロックを２つの長方形ブロックに分割する必要があることを示す。この信号にはまた、分割を水平方向に適用すべきか垂直方向に適用すべきかについての情報も含まれる。このような長方形のブロックは、バイナリツリー分割シンタックスを使用して、より小さな二次または長方形のブロックにさらに再帰的に分割できる。この拡張された分割ツリーはＱＴＢＴと呼ばれる［２］。ＱＴＢＴは、Ｈ．２６５／ＨＥＶＣ規格［１］とまったく同じように、暗黙的な４分割を使用して画像境界を処理する。ＱＴＢＴでは、ブロックが画像境界を越えると、４分割が推測され、信号は読み取られない。

【0006】

特許文献５では、新しい分割方法である汎用２分割（Ｇｅｎｅｒａｌｉｚｅｄ Ｂｉｎａｒｙ Ｓｐｌｉｔｔｉｎｇ（ＧＢＳ））について説明しており、これは、４分割を含まない場合もあるが、４分割と共に使用する場合もある。この方法では、２分割は、１／２以外の分割比で分割を実行するように信号伝達できる（ＱＴＢＴでは、２分割は現在のブロックの中央で分割を実行する）。この分割は、以前の分割に関連するシンタックスを使用して信号伝達される場合もある（例えば、水平および垂直ではなく、垂直および平行）。

【0007】

しかしながら、従来の分割方法は、画像境界の処理においてかなり厳密である。上で説明したように、従来の分割方法では、画像境界で暗黙的な４分割を使用できる。すなわち、従来技術は、画像境界で完全に暗黙的な分割導出を使用している。そのような暗黙的な信号処理は、良好な信号処理効率を可能にする場合がある。しかしながら、これでは柔軟性が低くなる場合がある。

【発明の概要】

【発明が解決しようとする課題】

【0008】

したがって、本発明の目的は、既存の分割方法を拡張して、画像境界処理においてより柔軟にすると同時に、画像境界処理の信号処理のためのビット配分を縮小することである。

【課題を解決するための手段】

【0009】

本発明は、請求項１に記載の画像を符号化する装置と、請求項１０に記載の画像を復号する装置と、請求項１９に記載の画像を符号化する方法と、請求項２０に記載の画像を復号する方法と、請求項２１に記載のコンピュータプログラムと、を提供することによる解決策を提供する。

【0010】

第１の態様は、画像を符号化する装置に関する。装置は、再帰的なマルチツリー分割を使用して画像をリーフブロックに分割するように構成されている。すなわち、装置は、当該再帰的なマルチツリー分割を使用して画像をより小さなチャンクに分割するように構成されている。この小さなチャンクは、特定サイズのブロックであり得る。マルチツリーのステップを行うことにより、画像の分割は第１レベルのツリールートブロックから始まり、リーフブロックで終わる場合があり、該リーフブロックは、マルチツリーの最後ブロックであり、したがって、分割の最小の要素である。ツリールートブロックと分割されたリーフブロックとの間で、装置は、１つの分割ツリーレベルから１つまたは複数の後続の分割ツリーレベルに段階的に実行することができ、各ツリーレベルで、特定のツリーレベルの現在のブロックが２つ以上のより小さなブロックに分割される。例えば、ＨＥＶＣでは、ツリールートブロックは、いわゆるマクロブロックまたはコーディングツリーユニット（ＣＴＵ）と称され、リーフブロックは、いわゆるサブブロックまたはコーディングユニット（ＣＵ）と称される。したがって、ＣＴＵは、１つまたは複数のＣＵに分割することができ、リーフブロック、またはツリールートブロックとリーフブロックとの間のツリーレベルでの任意のブロックをサブブロックと呼ぶことができる。さらに、本開示では、ツリールートブロック、またはリーフブロック、またはツリールートブロックとリーフブロックとの間のツリーレベルでの任意のブロックを所定のブロックと呼ぶことができる。したがって、所定のブロックは、マルチツリー分割の所定のツリーレベルに対応し得る。装置は、ブロックベースのコード体系を利用することができ、すなわち、装置は、画像のリーフブロックへの分割を使用することによって、画像をデータストリームにブロックベースで符号化するように構成される。分割は、スプリットと呼ばれることもある。ツリールートブロックを分割し、より小さなリーフブロックとするには、特定の分割手順を使用して、ブロックをより小さなサブブロックに分割することができる。これらの分割手順は、分割モードと呼ばれることもあり、ツリーレベルごとに分割モードが異なる場合がある。さらに、所定のブロックは、所定のサイズを含み得る。所定のブロックを画像上にグリッドとして配置する場合、そのサイズのために、所定のブロックのいくつかが画像境界を越えて延びる場合がある。例えば、所定のブロックの第１の部分は、画像の内側に置かれ、一方、当該所定のブロックの第２の部分は、画像の外側に置かれることがある。したがって、画像境界は、所定のブロックと交差し得る。一般に、画像境界は、異なる位置で所定のブロックと交差し得る。例えば、画像の角が所定ブロックに含まれると、画像境界は、水平方向、垂直方向、またはその両方で所定のブロックと交差し得る。これらの状況を処理するために、本発明は以下の解決策を提供する。画像をリーフブロックに分割する一方で、装置は、従来技術によって使用される完全に暗黙的な分割導出と比較される分割モードの縮小されたセットを使用することによって、マルチツリー分割の所定のツリーレベルに対応し、かつ画像の境界を越えて延びる所定のブロックを分割するように構成される。本発明によれば、装置は、画像境界が当該所定のブロックと交差する上記の位置に応じて、所定のブロックを分割するための利用可能な分割モードのセットを少なくするように構成される。したがって、装置は、１つまたは複数の分割モードの縮小されたセットを得る。縮小されたセットは、分割モードの縮小されたセットで利用可能な分割モードの数を示すカーディナリティを含み得る。したがって、縮小されたセットのカーディナリティが１である場合、すなわち、縮小されたセットが１つの分割モードのみを含む場合、装置は、所定のブロックを分割するためのこの縮小されたセットの分割モードを適用するように構成される。縮小されたセットのカーディナリティが１より大きい場合、すなわち、縮小されたセットが２つ以上の異なる分割モードを含む場合、装置は、縮小されたセットのこれらの分割モードの１つを選択し、所定のブロックを分割するための分割モードの選択された１つを適用するように構成され、装置は、データストリームにおけるそれぞれの選択を信号伝達する。言い換えれば、本発明の装置は、現在の所定のブロックを分割するための分割モードの縮小されたセットを事前に選択することができる。当該事前選択は、画像境界に対するブロックの現在の位置に依存し得る。結果として、本発明の装置は、分割モードの事前に選択された縮小されたセットから好適な分割モードを選択するだけでよい場合がある。これにより、データストリームで選択された分割モードを信号伝達するビット配分が縮小される。これは、分割自体に関する情報を転送する必要がなく、縮小された分割セットが２つ以上の分割モードを含む場合、例えば、１つのビン（ｂｉｎ）で、残りの不確実性のみを信号伝達する必要があるためである。

【0011】

第２の態様は、画像を復号する装置に関する。装置は、再帰的なマルチツリー分割を使用して画像をリーフブロックに分割するように構成されている。装置はさらに、画像のリーフブロックへの分割を使用して、画像をデータストリームからブロックベースで復号するように構成される。装置は、画像をリーフブロックに分割する際に、マルチツリー分割の所定のツリーレベルに対応し、画像の境界を越えて延びる所定のブロックについて、境界が、１つまたは複数の分割モードの縮小されたセットを得るように所定のブロックと交差する位置に応じて、所定のブロックを分割するための利用可能な分割モードのセットを縮小するようにさらに構成される。縮小されたセットのカーディナリティが１である場合、装置は、所定のブロックを分割するための縮小されたセットの分割モードを適用するように構成され、縮小されたセットのカーディナリティが１より大きい場合、装置は、縮小されたセットの分割モードの１つを選択し、データストリームにおける信号伝達に従って、所定のブロックを分割するための分割モードの選択された１つを適用するように構成される。当該画像を復号する装置の利点に関しては、画像を符号化する装置の利点を説明する上記の一節を参照されたい。

【0012】

第３の態様は、画像を符号化する方法に関し、本方法は、再帰的なマルチツリー分割を使用して画像をリーフブロックに分割するステップを含む。本方法はさらに、画像のリーフブロックへの分割を使用して、画像をデータストリームにブロックベースで符号化するステップを含む。本方法は、画像をリーフブロックに分割する際に、マルチツリー分割の所定のツリーレベルに対応し、かつ画像の境界を越えて延びる所定のブロックについて、境界が、１つまたは複数の分割モードの縮小されたセットを得るように所定のブロックと交差する位置に応じて、所定のブロックを分割するための利用可能な分割モードのセットを縮小するステップをさらに含む。縮小されたセットのカーディナリティが１である場合、本方法は、所定のブロックを分割するための縮小されたセットの分割モードを適用するステップを含み、縮小されたセットのカーディナリティが１より大きい場合、本方法は、縮小されたセットの分割モードの１つを選択するステップと、所定のブロックを分割するための分割モードの選択された１つを適用するステップと、データストリームにおける選択を信号伝達するステップと、を含む。当該画像を符号化する方法の利点に関しては、画像を符号化する装置の利点を説明する上記の一節を参照されたい。

【0013】

第４の態様は、画像を復号する方法に関し、本方法は、再帰的なマルチツリー分割を使用して画像をリーフブロックに分割するステップを含む。本方法はさらに、画像のリーフブロックへの分割を使用して、画像をデータストリームからブロックベースで復号するステップを含む。本方法は、画像をリーフブロックに分割する際に、マルチツリー分割の所定のツリーレベルに対応し、かつ画像の境界を越えて延びる所定のブロックについて、境界が、１つまたは複数の分割モードの縮小されたセットを得るように所定のブロックと交差する位置に応じて、所定のブロックを分割するための利用可能な分割モードのセットを縮小するステップをさらに含む。縮小されたセットのカーディナリティが１である場合、本方法は、所定のブロックを分割するための縮小されたセットの分割モードを適用するステップをさらに含み、縮小されたセットのカーディナリティが１より大きい場合、本方法は、縮小されたセットの分割モードの１つを選択するステップと、データストリームにおける信号伝達に従って、所定のブロックを分割するための分割モードの選択された１つを適用するステップと、をさらに含む。当該画像を復号する方法の利点に関しては、画像を符号化する装置の利点を説明する上記の一節を参照されたい。

【0014】

第５の態様によれば、コンピュータプログラムが提供され、コンピュータプログラムの各々は、コンピュータまたは信号プロセッサ上で実行されるときに上記の方法を実装するように構成され、その結果、上記の方法は、コンピュータプログラムのうちの１つによって実装される。

【0015】

本発明の有利な態様は、独立請求項の主題である。従属請求項に定義されている本出願の好ましい実施形態は、図に関して以下に例示的に説明される。

【図面の簡単な説明】

【0016】

【図1】本出願の実施形態によるイントラ予測概念を実装することができるエンコーダの例として画像を予測的にコード化する装置のブロック図を示す。

【図2】本出願の実施形態によるイントラ予測概念を実装することができるデコーダの例として、図１の装置に合う、画像を予測的に復号する装置のブロック図を示す。

【図3】予測残差信号、予測信号、および再構成信号の間の関係の例を示す概略図を示しており、それぞれ、コーディングモード選択、変換選択、および変換性能の細分割の設定が可能であることを示す。

【図4A】本概念によるエンコーダの実施形態を示す。

【図4B】本概念によるデコーダの実施形態を示す。

【図5A】利用可能な分割モードのフルセットを含む完全に制限のない決定ツリーを示す。

【図5B】本概念による分割モードの縮小されたセットを含む制限のある決定ツリーを示す。

【図5C】利用可能な分割モードのフルセットを含むさらに完全に制限のない決定ツリーを示す。

【図5D】本概念による分割モードの縮小されたセットを含む制限のある決定ツリーを示す。

【図6】ブロックが画像境界を越えて延びるさまざまなケースの概略図を示す。

【図7A】４分割モードの例を示す。

【図7B】垂直方向の２分割モードの例を示す。

【図7C】水平方向の２分割モードの例を示す。

【図7D】垂直方向の３分割モードの例を示す。

【図7E】水平方向の３分割モードの例を示す。

【図8A】４分割のみを使用してマクロブロックをリーフブロックに分割する例を示す。

【図8B】分割モードの縮小されたセットから選択された４分割、垂直方向の４分割、および水平方向の４分割を使用してマクロブロックをリーフブロックに分割する例を示す。

【図9】本概念による画像を符号化する方法のブロック図を示す。

【図10】本概念による画像を復号する方法のブロック図を示す。

【発明を実施するための形態】

【0017】

以下の説明では、等しいまたは同等の機能を有する、等しいまたは同等の１つまたは複数の要素は、等しいまたは同等の参照番号で示される。

【0018】

図の以下の説明は、本明細書で説明される概念の多数の例示的かつ非限定的な例および実施形態のいくつかを説明するだけであり得る。ＣＴＵは、マクロブロックの非限定的な例として説明され得、一方、ＣＵは、サブブロックの非限定的な例として説明され得る。さらに、（例えば、長方形の）画像は、例えば、多数のタイルから構成されてもよく、各々が画像自体を表す。ＨＥＶＣ［１］では、このようなタイリングは、例えば、全方向性ビデオ用に、画像タイルの高レベル概念によって使用および処理される。このようなタイリングは、ＣＴＵ解像度で利用できる。このような制限が緩和された場合、「符号化された画像」が多数のタイルで構成され、各々が独自の境界および独自のコンテンツを有する場合がある。その意味で、符号化された画像は、より多くの画像境界を含み得、各タイルが、独自の「画像データ」境界を有する独自の「画像データ」を構成し、本発明で説明されるのと同じ規則が適用され得る。したがって、本明細書で「画像境界」という用語が使用される場合、これは、例えば、１つまたは複数のタイルに属する「現在の画像データ境界」も含み得る。

【0019】

以下の図の説明は、実施形態を組み込むことができるコーディングフレームワークの例を形成するために、ビデオの画像を符号化するためのブロックベースの予測符号化のエンコーダおよびデコーダの説明の提示から始まる。エンコーダおよびデコーダについては、図１～図３で説明する。以下、本出願の概念の実施形態の説明は、そのような概念を図１および図２のエンコーダおよびデコーダにそれぞれどのように組み込むことができるかに関する説明と共に提示されるが、後続の図４および以下で説明される実施形態を使用して、図１および図２のエンコーダおよびデコーダの基礎となるコーディングフレームワークに従って動作しないエンコーダおよびデコーダを形成することもできる。

【0020】

図１は、変換ベースの残差符号化を使用して、画像１２をデータストリーム１４に予測符号化する装置の一例を示す。符号化装置、またはエンコーダは、符号１０で示される。図２は、対応する復号装置、またはデコーダ２０を示し、これはまた、変換ベースの残差復号を使用して、データストリーム１４から画像１２’を予測的に復号するように構成された装置であり、ここで、アポストロフィは、デコーダ２０によって再構成された画像１２’が、予測残差信号の量子化によってもたらされた符号化損失という観点で、装置１０によって最初に符号化された画像１２から逸脱し得ることを示すために使用されている。図１および図２は、変換ベースの予測残差符号化を例示的に使用するが、本出願の実施形態は、この種の予測残差符号化に限定されない。これは、以下に概説されるように、図１および図２に関して説明される他の詳細にも当てはまる。

【0021】

エンコーダ１０は、予測残差信号を空間－スペクトル変換にかけ、こうして得られた予測残差信号をデータストリーム１４に符号化するように構成され得る。同様に、デコーダ２０は、データストリーム１４からの予測残差信号を復号し、こうして得られた予測残差信号をスペクトル－空間変換にかけるように構成され得る。

【0022】

内部的に、エンコーダ１０は、元の信号、すなわち画像１２からの信号と予測信号２６との偏差を測定するための予測残差２４を生成する予測残差信号形成器２２を含み得る。予測残差信号形成器２２は、例えば、元の信号、すなわち画像１２の信号から予測信号を減算する減算器であり得る。エンコーダ１０は、予測残差信号２４を空間－スペクトル変換し、スペクトル領域予測残差信号２４’を取得する変換器２８をさらに含み、スペクトル領域予測残差信号２４’は、エンコーダ１０に含まれる量子化器３２によって量子化される。このように量子化された予測残差信号２４’’は、ビットストリーム１４に符号化される。この目的のために、エンコーダ１０は、データストリーム１４に変換および量子化される予測残差信号をエントロピー符号化するエントロピー符号化器３４を任意選択により備えることができる。予測残差２６は、データストリーム１４に符号化され、またデータストリーム１４から復号可能な予測残差信号２４’’に基づいて、エンコーダ１０の予測ステージ３６によって生成される。この目的のために、予測ステージ３６は、図１に示されるように、量子化損失を除いて信号２４’に対応するスペクトル領域予測残差信号２４’’’を得るために予測残差信号２４’’を逆量子化する逆量子化器３８と、続いて、量子化損失を除いて元の予測残差信号２４に対応する予測残差信号２４’’’’を得るために、予測残差信号２４’’’を逆変換、すなわちスペクトル－空間変換にかける逆変換器４０と、を内部的に含み得る。次に、予測ステージ３６の合成器４２は、再構成信号４６、すなわち元の信号１２の再構成を得るために、予測信号２６と予測残差信号２４’’’’とを加算し、再合成する。再構成信号４６は、信号１２’に対応し得る。次に、予測ステージ３６の予測モジュール４４は、例えば、空間予測、すなわち、イントラ予測、および／または時間予測、すなわち、インター予測を使用することによって、信号４６に基づいて予測信号２６を生成する。

【0023】

同様に、図２に示されるように、デコーダ２０は、予測ステージ３６に対応し、予測ステージ３６に対応する方法で相互接続されるコンポーネントから内部的に構成されてもよい。特に、デコーダ２０のエントロピー復号器５０は、データストリームからの量子化されたスペクトル領域予測残差信号２４’’をエントロピー復号することができ、その後、逆量子化器５２、逆変換器５４、合成器５６、および予測モジュール５８は、予測ステージ３６のモジュールに関して上述した方法で相互接続および協働し、図２に示されるように、合成器５６の出力が再構成信号、すなわち画像１２’をもたらすように、予測残差信号２４’’に基づいて再構成信号を出力する。

【0024】

上記に具体的に記載されていないが、エンコーダ１０が、例えば、あるレートや歪みに関連する基準、すなわち、符号化コストを最適化する方法などのいくつかの最適化スキームに従って、例えば、予測モード、モーションパラメータなどを含むいくつかの符号化パラメータを設定できることは容易に明らかである。例えば、エンコーダ１０およびデコーダ２０ならびに対応するモジュール４４、５８は、それぞれ、イントラ符号化モードおよびインター符号化モードなどの異なる予測モードをサポートすることができる。エンコーダおよびデコーダがこれらの予測モードタイプを切り替える粒度は、画像１２および１２’それぞれの符号化セグメントまたは符号化ブロックへの細分割に対応し得る。これらの符号化セグメントのユニットで、例えば、画像は、イントラ符号化されたブロックとインター符号化されたブロックとに細分割され得る。以下でより詳細に概説するように、イントラ符号化されたブロックは、それぞれのブロックの空間的で、既に符号化／復号された近傍に基づいて予測される。いくつかのイントラ符号化モードが存在し、方向または角度のイントラ符号化モードを含むそれぞれのイントラ符号化されたセグメントに対して選択され得、これにより、それぞれの方向のイントラ符号化モードに特有の特定の方向に沿って近傍のサンプル値を、それぞれのイントラ符号化されたセグメントに外挿することにより、それぞれのセグメントが満たされる。イントラ符号化モードは、例えば、ＤＣ符号化モード（これにより、それぞれのイントラ符号化されたブロックの予測がそれぞれのイントラ符号化されたセグメント内のすべてのサンプルにＤＣ値を割り当てる）および／または平面イントラ符号化モード（これにより、隣接するサンプルに基づいて、２次元線形関数によって定義される平面の駆動の傾きとオフセットを用いて、それぞれのブロックの予測が、それぞれのイントラ符号化されたブロックのサンプル位置にわたる２次元線形関数によって記述されるサンプル値の空間分布であると近似または決定される）などの１つまたは複数のさらなるモードを含むことができる。それと比較して、インター符号化ブロックは、例えば、時間的に予測され得る。インター符号化ブロックの場合、動きベクトルはデータストリーム内で信号伝達され得、動きベクトルは、それぞれのインター符号化ブロックの予測信号を得るために、以前に符号化／復号された画像がサンプリングされる場所での、画像１２が属するビデオの以前に符号化された画像の部分の空間変位を示す。これは、量子化されたスペクトル領域予測残差信号２４’’を表すエントロピー符号化変換係数レベルなど、データストリーム１４に含まれる残差信号符号化に加えて、データストリーム１４は、符号化モードをさまざまなブロックに割り当てる符号化モードパラメータ、インター符号化セグメント用のモーションパラメータなどのブロックのいくつかのための予測パラメータ、ならびに画像１２および１２’の細分割をそれぞれセグメントに制御および信号伝達するパラメータなどの任意選択の追加パラメータに符号化されてもよいことを意味する。デコーダ２０は、これらのパラメータを使用して、エンコーダが行ったのと同じ方法で画像を細分割し、同じ予測モードをセグメントに割り当て、同じ予測を実行して同じ予測信号を生成する。

【0025】

図３は、再構成画像１２’の再構成信号と、データストリームで信号伝達される予測残差信号２４’’’’と、予測信号２６との組み合わせの関係を示す。上述したように、組み合わせは追加であり得る。予測信号２６は、図３において、ハッチングを使用して例示的に示されるイントラ符号化されたブロック、およびハッチングなしで例示的に示されるインター符号化ブロックへの画像領域の細分として示される。細分割は、ブロックの行および列への画像領域の通常の細分割などの任意の細分割、またはブロックへのクワッドツリー細分割などのさまざまなサイズのリーフブロックへの画像１２のマルチツリー細分割であり得、それらの混合が図３に示され、ここで、画像領域は、最初にツリールートブロックの行および列に細分割され、次に、再帰的なマルチツリー細分割に従ってさらに細分割される。この場合も、データストリーム１４は、イントラ符号化されたブロック８０のために、いくつかのサポートされたイントラ符号化モードのうちの１つをそれぞれのイントラコード化されたブロック８０に割り当てるイントラ符号化モードを有し得る。さらなる詳細を以下で説明する。インター符号化ブロック８２の場合、データストリーム１４は、その中に符号化された１つまたは複数のモーションパラメータを有することができる。一般的に言えば、インター符号化ブロック８２は、時間的符号化に限定されない。あるいは、インター符号化ブロック８２は、画像１２が属するビデオの以前に符号化された画像、または別のビューもしくはそれぞれスケーラブルなエンコーダおよびデコーダであるエンコーダ１０およびデコーダ２０の場合の階層的に下層の画像などの現在の画像１２自体を超えて以前に符号化された部分から予測された任意のブロックであり得る。図３の予測残差信号２４’’’’はまた、ブロック８４への画像領域の細分割として示される。これらのブロックは、符号化ブロック８０および８２と区別するために、変換ブロックと呼ばれる場合がある。事実上、図３は、エンコーダ１０およびデコーダ２０を、それぞれ、画像１２および画像１２’の異なる細分割を使用してブロックにしている。すなわち、一方はそれぞれ符号化ブロック８０および８２への細分割、別の方は変換ブロック８４への細分割に使用できることを示している。両方の細分割は同じである場合があり、すなわち、各符号化ブロック８０および８２は、同時に変換ブロック８４を形成することができるが、図３は、例えば、変換ブロック８４への細分割が、符号化ブロック８０、８２への細分割の拡張を形成する場合を示し、これにより、ブロック８０と８２との２つのブロック間の任意の境界が２つのブロック８４間の境界に重なるか、または代替的に言えば、各ブロック８０、８２は、変換ブロック８４の１つと一致するか、または変換ブロック８４のクラスターと一致する。しかしながら、細分割はまた、変換ブロック８４がブロック８０、８２の間のブロック境界を交互に横切ることができるように、互いに独立して決定または選択され得る。したがって、変換ブロック８４への細分割に関する限り、ブロック８０、８２への細分割に関して提起されたものと同様のステートメントが当てはまり、すなわち、ブロック８４は、画像領域の行および列に配置されたブロックへの通常の細分割の結果、画像領域の再帰的なマルチツリー細分割の結果、またはそれらの組み合わせ、またはその他の種類のブロック化であり得る。余談であるが、ブロック８０、８２、および８４は、二次、長方形、または任意の他の形状に限定されないことに留意されたい。

【0026】

図３は、予測信号２６と予測残差信号２４’’’’との組み合わせが、結果として直接再構成信号１２’となることを示す。しかしながら、代替実施形態によれば、２つ以上の予測信号２６を予測残差信号２４’’’’と組み合わせて、結果として画像１２’を得ることができることに留意されたい。

【0027】

図３では、変換ブロック８４は、以下の意味を有するものとする。変換器２８および逆変換器５４は、これらの変換ブロック８４のユニットでそれらの変換を実行する。例えば、多くのコーデックは、すべての変換ブロック８４に、ある種のＤＳＴまたはＤＣＴを使用する。いくつかのコーデックは、変換をスキップすることを可能にするので、変換ブロック８４のいくつかについて、予測残差信号は、空間領域で直接符号化される。しかしながら、以下に説明する実施形態によれば、エンコーダ１０およびデコーダ２０は、それらがいくつかの変換をサポートするように構成される。例えば、エンコーダ１０およびデコーダ２０によってサポートされる変換は、以下を含むことができる。
ＤＣＴ－ＩＩ（またはＤＣＴ－ＩＩＩ）、ＤＣＴは離散コサイン変換の略
ＤＳＴ－ＩＶ、ＤＳＴは離散サイン変換の略
ＤＣＴ－ＩＶ
ＤＳＴ－ＶＩＩ
恒等変換（ＩＴ）

【0028】

当然、変換器２８はこれらの変換のすべての順方向変換バージョンをサポートするが、デコーダ２０または逆変換器５４はその対応する逆方向または逆バージョンをサポートするであろう。
逆ＤＣＴ－ＩＩ（または逆ＤＣＴ－ＩＩＩ）
逆ＤＳＴ－ＩＶ
逆ＤＣＴ－ＩＶ
逆ＤＳＴ－ＶＩＩ
恒等変換（ＩＴ）

【0029】

以下の説明は、エンコーダ１０およびデコーダ２０によってサポートされ得る変換についてのさらなる詳細を提供する。いずれの場合でも、サポートされる変換のセットは、１つのスペクトル－空間または空間－スペクトル変換など、１つの変換のみを含む場合があることに留意されたい。

【0030】

既に上で概説したように、図１～図３は、本出願によるエンコーダ１０およびデコーダ２０の特定の例を形成するために、以下でさらに説明する概念を実装できる例として提示されている。これまでのところ、図１および図２のエンコーダ１０およびデコーダ２０は、それぞれ、本明細書で以下に説明するエンコーダおよびデコーダの可能な実装を表す。ただし、図１および図２は単なる例である。本出願の実施形態によるエンコーダは、後に詳述するように、図１に示したエンコーダとは異なる概念を使用して画像１２のブロックベースの符号化を実行することができる。例えば、ビデオエンコーダではないが、静止画エンコーダであり、またインター予測をサポートしていないが、ブロック８０への細分割が図３に例示されているのとは異なる方法で実行されている。さらにはこのエンコーダは、変換予測残差コーディングを使用せず、代わりに、例えば、空間領域で予測残差を直接符号化する。同様に、本出願の実施形態によるデコーダは、以下でさらに概説されるように、データストリーム１４からの画像１２’のブロックベースの復号を実行することができるが、例えば、図２のデコーダ２０とは異なる場合があり、ビデオデコーダでないが、静止画デコーダである。同じようにイントラ予測をサポートしていない、または同じように図３に関して説明された方法とは異なる方法でブロックへの画像１２’をブロックに細分割する、および／または同じように変換領域では、データストリーム１４から予測残差を導出しないが、例えば空間領域では導出する。

【0031】

図４Ａは、画像１２をデータストリーム１４に符号化する装置１０の実施形態を示す。画像１２は、ブロックに細分割され得るか、または例えば、ＨＥＶＣベースのコーデックの場合、マクロブロックに細分割され得、ＣＴＵ、１０１ａ、１０１ｂ、…、１０１ｏとも呼ばれる。

【0032】

以下ではエンコーダ１０とも呼ばれる装置１０は、マクロブロック１０１ａ、１０１ｂ、…、１０１ｏをより小さなサブブロック１０２ａ、１０２ｂ、１０２ｃ、１０２ｄに、そして最後にリーフブロック（リーフブロックは、まだ図４Ａに示されていないが、これについては後で図８Ａおよび図８Ｂを参照して説明する）にさらに分割するように構成される。エンコーダ１０は、再帰的なマルチツリー分割を使用して画像１２をリーフブロックに分割するように構成されている。当該リーフブロックをさらに処理するために、エンコーダ１０は、画像１２をデータストリーム１４にブロックベースで符号化するように、すなわち、リーフブロックを符号化することによって、構成される。

【0033】

画像１２をデータストリーム１４とするブロックベースの符号化は、データストリーム１４内のそれぞれの信号を含み得、その信号は、とりわけ、データストリーム１４への分割に関する指示、例えば、１つまたは複数の分割パラメータを示す指示、例えば、現在のブロックの分割に使用されている分割モードおよび分割比を含み得る。

【0034】

マルチツリー分割に関して、ブロックは分割ツリーに沿って分割することができ（例えば、図５Ａ～図５Ｄ）、分割ツリーの各ノードは、画像内のそれぞれのブロックに属することができる。ブロックが分割されている場合、分割されたツリーは、分割レベルとも呼ばれる後続の分割レベルで後続のツリーノードに続くことができる。データストリーム１４における上記の信号は、１つまたは複数の分割レベルで行うことができる。いくつかの例によれば、分割パラメータ（例えば、分割モード、分割比など）は、１つまたは複数の分割レベルでデータストリーム１４中に信号伝達することができ、いくつかの他の例では、分割パラメータ（例えば、分割モード、分割比など）は、各分割レベルでデータストリーム１４中に信号伝達することができる。さらなる例によれば、分割パラメータは、分割ツリーの分割レベルでデータストリーム１４中に信号伝達することができ、当該分割レベルのツリーノードは、符号化される画像１２の画像境界に置かれる１つまたは複数のブロックに属することができる。データストリーム１４における上記の信号は、本明細書に記載される本発明の概念および対応する実施形態の各々に関連して使用され得る。

【0035】

図４Ａに戻ると、マクロブロック１０１ａ、１０１ｂ、…、１０１ｏは、画像１２上の固定グリッドにまたがる所定のサイズの二次構造であることがわかる。この固定グリッドは画像１２のサイズを超える可能性があるため、当該グリッドのマクロブロック１０１ａ、１０１ｂ、…、１０１ｏのいくつかが画像１２の境界を越える可能性があることが時々起こり得る。図４Ａでは、そのようなシナリオは、マクロブロック１０１ｅ、１０１ｍ、および１０１ｏによって例示的に示されている。

【0036】

例えば、マクロブロック１０１ｅに関して、マクロブロック１０１ｅの左上部分および左下部分は、画像１２の内側に置かれ、一方、マクロブロック１０１ｅの右上部分および右下部分は、画像１２の外側に置かれる。したがって、マクロブロック１０１ｅは、画像１２の境界を越えて延び、これにより、画像１２の当該境界が特定の位置、すなわち、マクロブロック１０１ｅの左上部分および左下部分が画像１２の内側に置かれ、一方、マクロブロック１０１ｅの右上部分および右下部分が画像１２の外側に置かれるような位置でマクロブロック１０１ｅと交差する。

【0037】

例えば、マクロブロック１０１ｏに関して、マクロブロック１０１ｏの左上部分のみが画像１２の内側に置かれ、一方、マクロブロック１０１ｏの右上、右下、および左下の部分は、画像１２の外側に置かれる。さらに、マクロブロック１０１ｍについては、マクロブロック１０１ｍの左上部分および右上部分が画像１２の内側に置かれ、マクロブロック１０１ｍの左下部分および右下部分が画像１２の外側に置かれる。したがって、画像１２のそれぞれの境界は、異なる位置でそれぞれのマクロブロック１０１ｅ、１０１ｍ、１０１ｏと交差する。マクロブロックの位置、特に画像１２の境界に対するマクロブロック１０１ｅ、１０１ｍ、１０１ｏの位置に関する詳細は、図６を参照して本文のいくらか後で説明される。

【0038】

上記のように、マクロブロック１０１ａ、１０１ｂ、…、１０１ｏは、より小さなサブブロックに分割され得、最後にリーフブロックに分割され得る。サブブロック１０２ａ、１０２ｂ、１０２ｃ、１０２ｄに関して、非限定的な例が示されている。サブブロック自体は、リーフブロックに到達するまで分割にかけられ得る。分割はスプリットとも呼ばれ、マクロブロックおよびサブブロックのそのようなスプリットは、異なる分割モードを使用することによって実行することができる。例としては、４分割、水平方向の２分割（バイスプリットとも呼ばれる）、垂直方向の２分割、水平方向の３分割（トリスプリットとも呼ばれる）、および垂直方向の３分割があり得る。スプリットシグナリングは、バイナリ決定ツリーを使用して実行することができ、当該スプリットシグナリングは、前述の方法でデータストリーム１４に示され得る。

【0039】

このような決定ツリーの簡単な説明については、図５Ａ～図５Ｄを参照すればよく、これらの図では、画像境界でのスプリットシグナリングと画像内のスプリットシグナリングとを比較している。図５Ａおよび図５Ｃは、画像内のスプリットシグナリングに使用できる完全に制限のない決定ツリーを示し、図５Ｂおよび図５Ｄは、画像境界でのスプリットシグナリングに使用できる本概念による例示的な制限のある決定ツリーを示す。

【0040】

図５Ａの完全に制限のない決定ツリーは、例えば、非特許文献２で説明されるようなクワッドツリープラスバイナリツリー（ＱＴＢＴ）構造に基づき得る利用可能な分割モードのセットとして本概念で使用され得る。ＱＴＢＴスキームは、ブロックをより小さなブロックに分割するための利用可能な分割モードのセットを含み、利用可能な分割モードのセットは、４つの示された分割モード、すなわち、４分割、分割なし、垂直方向の分割、または水平方向の分割を含む。したがって、ブロックをより小さなブロックに分割するたびに、従来技術のエンコーダは、完全に制限のない決定ツリー、すなわち利用可能な分割モードの完全なセットを常に実行しなければならない場合がある。見てわかるように、決定ツリーで水平方向または垂直方向の分割（すなわち、リーフブロック）に到達するには、３つのビン（ｂｉｎｓ）を費やす必要がある。エンコーダはさらに、データストリームでそれぞれ選択された分割モードを信号伝達する必要がある。しかしながら、画像境界において、従来技術は、暗黙的な４分割を実行し、データストリーム内の関連する指示を信号伝達することを控えることができる。これにより、画像境界でのブロックの処理が非常に柔軟でなくなる。

【0041】

図５Ｃの完全に制限のない決定ツリーは、例えば、非特許文献２および非特許文献３で説明されるようなクワッドツリープラスバイナリツリー（ＱＴＢＴ）プラスマルチタイプツリー（ＭＴＴ）構造に基づき得る利用可能な分割モードのセットとして本概念で使用され得る。ＱＴＢＴ＋ＭＴＴスキームは、ブロックをより小さなブロックに分割するための利用可能な分割モードのセットを含み、利用可能な分割モードのセットは、６つの示された分割モード、すなわち、４分割、分割なし、垂直方向の２分割、垂直方向の３分割、水平方向の２分割、および水平方向の３分割を含む。したがって、ブロックをより小さなブロックに分割するたびに、従来技術のエンコーダは、完全に制限のない決定ツリー、すなわち利用可能な分割モードの完全なセットを常に実行しなければならない場合がある。この例では、決定ツリーで水平方向または垂直方向の分割（すなわち、リーフブロック）に到達するには、４つのビン（ｂｉｎｓ）を費やす必要がある。エンコーダはさらに、データストリームでそれぞれ選択された分割モードを信号伝達する必要がある。しかしながら、画像境界において、従来技術は、暗黙的な４分割を実行し、データストリーム内の関連する指示を信号伝達することを控えることができる。これにより、図５Ａと比較して、画像境界でのブロックの処理がさらに柔軟でなくなる。

【0042】

したがって、本発明によれば、エンコーダ１０は、利用可能な分割モードのセットを縮小して、図４Ａに示される所定のブロック１０１ｅ、１０１ｍ、および１０１ｏを参照して以前に例示的に説明されたように、少なくとも画像境界に置かれる（すなわち、少なくとも部分的に画像１２の内側にある）所定のブロック（マクロブロックまたはサブブロック）に対して、分割モードの縮小されたセットを提供するように構成される。

【0043】

図５Ｂおよび図５Ｄに例示的に示されるように、前述の分割モードの縮小されたセットは、例えば、正確に２つの分割モードを含み得る。あるいは、分割モードの縮小されたセットは、３つ以上の分割モード、または正確に１つの分割モードを含み得る。

【0044】

例えば、分割モードの縮小されたセットは、４分割（図７Ａ）および垂直方向の分割を含み得る。垂直方向の分割は、例えば、垂直方向の２分割（図７Ｂ）または垂直方向の３分割（図７Ｄ）であり得る。

【0045】

追加的または代替的に、分割モードの縮小されたセットは、例えば、４分割および水平方向の分割を含み得る。水平方向の分割は、例えば、水平方向の２分割（図７Ｃ）または水平方向の３分割（図７Ｅ）であり得る。

【0046】

追加的または代替的に、分割モードの縮小されたセットは、例えば、垂直方向の分割および水平方向の分割を含み得る。水平方向の分割は、例えば、水平方向の２分割または水平方向の３分割であり得、垂直方向の分割は、例えば、垂直方向の２分割または垂直方向の３分割であり得る。

【0047】

追加的または代替的に、分割モードの縮小されたセットは、例えば、４分割のみを含み得る。

【0048】

追加的または代替的に、分割モードの縮小されたセットは、例えば、４分割が利用できない場合に、水平方向の（２または３）分割または垂直方向の（２または３）分割のいずれかを含み得る。

【0049】

追加的または代替的に、縮小された分割モードは、例えば、水平方向の分割または垂直方向の分割のいずれかであり得る正確に１つの所定の分割モードを含み得る。どの分割を選択するかは、それぞれの画像境界に対する所定のブロックの位置に依存し得、例えば、水平方向の分割は、画像下部の境界の場合に選択され得、一方、垂直方向のスプリットは、画像の右の境界の場合に選択され得る。水平方向の分割は、水平方向の２分割または水平方向の３分割であり得る。垂直方向の分割は、垂直方向の２分割または垂直方向の３分割であり得る。決定ツリーを見てわかるように、例えば、図５Ｄでは、水平方向または垂直方向の分割の１つだけが縮小されたセットで利用可能であり得る。

【0050】

上記の各場合において、２分割のうちの１つまたは複数は、例えば、１／２の分割比を含み得る。

【0051】

より一般的な用語で要約すると、本明細書に記載の革新的な原理による縮小された分割セットは、以下のスプリット（分割）を含み得る。
（ａ）そのようなスプリットが存在する場合、適用されたときに、所与のブロックのさらなるサブ分割を妨げない制限のないスプリット。
（ｂ）そのようなスプリットが存在する場合、画像境界に平行なエッジを設定するスプリット、および
ｉ．そのようなスプリットが存在し、所与のブロックで許可されている場合、スプリットブロックの中央に位置するスプリット、または
ｉｉ．そのようなスプリットが存在し、所与のブロックで許可されている場合、画像境界に併置された分割エッジを設定するスプリット。

【0052】

ＱＴＢＴに基づくが、非特許文献３および非特許文献４、ならびに上記の異なるスプリットの可能性を提供する他の分割スキーム：４分割、垂直方向の３分割、垂直方向の２分割（例えば、分割比が１／２）、水平方向の３分割、および水平方向の２分割（例えば、分割比が１／２）（図７Ａ～図７Ｅ参照）に対しても有効である本発明の特定の非限定的な実施形態では、本明細書に記載の革新的な原理による縮小されたスプリットセットは、次のようになり得る。
・ ４分割（ａ）および垂直方向の２分割（例えば、分割比１／２）（ｂ）－ｉまたは垂直方向の３分割（ｂ）－ｉｉ
・ ４分割（ａ）および水平方向の２分割（例えば、分割比１／２）（ｂ）－ｉまたは水平方向の３分割（ｂ）－ｉｉ
・ ４分割（ａ）、または水平方向もしくは垂直方向の２分割もしくは３分割、例えば、分割比１／２（例えば、いくつかの制約のために４分割が利用不可であり得る場合）

【0053】

したがって、革新的な原理による分割モードの縮小されたセットは、画像境界でブロックを分割する分割モードの事前に選択されたものを含み得る。エンコーダ１０は、画像境界でブロックを分割する分割モードの縮小されたセットに含まれる分割モードの１つを選択することができ、エンコーダ１０は、データストリーム１４において選択された分割モードを信号伝達することができる。したがって、本概念は、従来技術における暗黙的な４分割と比較した場合、画像境界でのブロックのシグナリングを拡張することができる。しかしながら、エンコーダ１０は、データストリーム１４の不確実性を信号伝達する必要があるだけであり得、これは、シグナリングの労力を無視できないレベルに保つ。しかしながら、本概念は、従来技術と比較して、画像境界でブロックを分割する際にはるかに高い柔軟性を提供する。この柔軟性の向上は、わずかに高いシグナリングの労力を補う、および／または上回る場合がある。

【0054】

図５Ｂは、２つの異なる分割モード、すなわち４分割および垂直方向の２分割を含む分割モードの縮小されたセットを例示的に示し得るが、縮小されたセットはまた、４分割および水平方向の２分割、または垂直方向の２分割および水平方向の２分割、または上記の任意の他の組み合わせを含み得る。一例によれば、分割モードの縮小されたセットは、少なくとも１つの分割モードを含み得る。さらなる例によれば、分割モードの縮小されたセットは、少なくとも２つの異なる分割モードを含み得る。さらなる例によれば、分割モードの縮小されたセットは、利用可能な分割モードのセットがこれらの２つの異なる分割モードより多くを含み得るとしても、正確に２つの異なる分割モードのみを含み得る。

【0055】

分割モードの縮小されたセットに含まれるべき分割モードの選択は、画像１２の境界に対するそれぞれの所定のブロック１０１ｅ、１０１ｍ、１０１ｏの位置に依存し得、すなわち、画像１２の境界が所定のブロック１０１ｅ、１０１ｍ、１０１ｏと交差する位置に依存する。

【0056】

言い換えれば、エンコーダ１０は、画像１２をリーフブロックに分割する際に、マルチツリー分割の所定のツリーレベルに対応し、画像１２の境界を越えて延びる所定のブロック１０１ｅ、１０１ｍ、１０１ｏについて、画像１２の境界が、１つまたは複数の分割モードの縮小されたセットを得るように所定のブロック１０１ｅ、１０１ｍ、１０１ｏと交差する位置に応じて、所定のブロック１０１ｅ、１０１ｍ、１０１ｏを分割するための利用可能な分割モードのセットを縮小するように構成される。

【0057】

本発明によれば、縮小されたセットのカーディナリティが１である場合、すなわち、分割モードの縮小されたセットが１つの分割モードのみを含み得る場合、エンコーダ１０は、所定のブロック１０１ｅ、１０１ｍ、１０１ｏを分割するためのこの縮小されたセットの分割モードを適用するように構成される。

【0058】

しかしながら、縮小されたセットのカーディナリティが１より大きい場合、すなわち、分割モードの縮小されたセットが２つ以上の分割モードを含む場合、エンコーダ１０は、縮小されたセットのこれらの分割モードの１つを選択し、所定のブロック１０１ｅ、１０１ｍ、１０１ｏを分割するための分割モードの選択された１つを適用するように構成される。さらに、エンコーダ１０は、上で説明した方法で、データストリーム１４内でそれぞれの選択、すなわち選択された分割モードを信号伝達するように構成される。例えば、エンコーダ１０は、１ビットフラグを設定することによって選択を信号伝達することができる。しかしながら、上記のように、分割モードの既に縮小されたセットに含まれる分割モード間の不確実性のみが、データストリーム１４で信号伝達されなければならない場合がある。

【0059】

上記のように、縮小されたセットのカーディナリティは、例えば、正確に１つまたは正確に２つであり得る。

【0060】

図４Ｂは、データストリーム１４内の画像１２を復号するために対応する装置２０を示し、当該装置は、以下ではデコーダ２０とも称す。

【0061】

デコーダ２０は、再帰的なマルチツリー分割を使用して、画像１２をリーフブロックに分割し、画像１２のリーフブロックへの分割を使用して、データストリーム１４から画像１２をブロックベースで復号するように構成される。

【0062】

デコーダ２０は、画像１２をリーフブロックに分割する際に、マルチツリー分割の所定のツリーレベルに対応し、画像１２の境界を越えて延びる所定のブロックについて、画像１２の境界が、１つまたは複数の分割モードの縮小されたセットを得るように所定のブロックと交差する位置に応じて、所定のブロックを分割するための利用可能な分割モードのセットを縮小するようにさらに構成される。

【0063】

この場合も、縮小されたセットのカーディナリティが１である場合、すなわち、分割モードの縮小されたセットが１つの分割モードのみを含み得る場合、デコーダ２０は、所定のブロックを分割するための縮小されたセットの分割モードを適用するように構成される。

【0064】

縮小されたセットのカーディナリティが１より大きい場合、すなわち、分割モードの縮小されたセットが２つ以上の分割モードを含む場合、デコーダ２０は、縮小されたセットの分割モードの１つを選択し、データストリーム１４における信号伝達に従って、所定のブロックを分割するための分割モードの選択された１つを適用するように構成される。すなわち、デコーダ２０は、データストリーム１４から信号を導出し、どの分割モードを分割に使用するかをデコーダ２０に向けて示すことができる。この信号は、エンコーダ１０によってデータストリームに以前に含められた可能性がある上記の１ビットフラグであり得る。

【0065】

したがって、本明細書に記載の概念は、境界処理の新しいメカニズムを提供する。これは、通常、特定のレベルで２つ以上の分割を許可するすべての再帰的な分割方法に適用できる場合がある。この場合も、本概念は、従来技術の暗黙的な分割と比較した場合、画像境界でのブロックの信号処理を拡張することができる。しかしながら、本概念は、従来技術と比較して、画像境界でブロックを分割する際にはるかに高い柔軟性を提供する。この柔軟性の向上は、本概念により、分割モードの縮小されたセットのわずかに高いシグナリングの労力を補う、および／または上回る場合がある。

【0066】

本概念の非限定的な例が、図４Ａと同様の分割された画像１２を図６に示す。しかしながら、図６は、いくつかのさらなる詳細、すなわち、サイズｗ_ｆ×ｈ_ｆ（幅×高さ）を有する画像１２を示しており、この画像１２は、ブロック、例えば、マクロブロック１０１ａ、１０１ｂ、…、１０１ｏ、より小さなサブブロック、および最後にリーフブロックに細分割される。３つの特定のマクロブロックが強調表示され、丸で囲まれた番号１、２、および３で番号が付けられる。これらの例示的な強調表示されたマクロブロックは、図４に示した、前述のマクロブロック１０１ｅ、１０１ｍ、１０１ｏに対応し得る。さらに、リーフブロックについては、図８Ａおよび図８Ｂを参照して、本文の後半で詳しく説明する。

【0067】

図６は、画像１２を固定サイズの厳密なマクロブロック構造に分割することを示している（例えば、Ｈ．２６５／ＨＥＶＣ［１］でのＣＴＵ分割またはＨ．２６５／ＨＥＶＣ［２］を超える機能を備えた将来のビデオ規格）。この例では、ビデオ信号の解像度は、単一のマクロブロック１０１ａ、１０１ｂ、…、１０１ｏのサイズの倍数に空間的に制限されない場合があると想定され得る。これらの前提条件が与えられている場合、マクロブロック行の最後のマクロブロックおよび／または最後のマクロブロック行のすべてのマクロブロックが、画像１２の少なくとも１つの境界を越える場合があると推測され得る。このような場合、このマクロブロックのコーディングユニット（ＣＵ）、予測ユニット（ＰＵ）、および変換ユニット（ＴＵ）への低レベル分割、または任意の他のタイプのサブＣＴＵレベル分割は、コード化された分割が画像１２の境界の内側に置かれることを確実にする必要がある。本明細書に記載の概念は、ブロックを分割する縮小されたスプリットセットの定義を可能にすることができ、例えば、マクロブロック１０１ｍは、幅ｗ_ｂ、および高さｈ_ｂを有する位置ｘ_ｂ、ｙ_ｂによって定義され、このブロックは、以下の６つのケースのうちの少なくとも１つでサイズｗ_ｆ×ｈ_ｆの画像１２の境界を越える場合がある。

【0068】

Ｃ１：ブロック１０１ｅに対応、すなわち、ブロック１０１ｅの右上角は画像１２に含まれず、左下角は画像１２に含まれる（左上角は画像１２の内側にある）：
ｘ_ｂ＋ｗ_ｂ＞ｗ_ｆ；ｙ_ｂ＋ｈ_ｂ≦ｈ_ｆ；ｘ_ｂ≧０；ｙ_ｂ≧０、
Ｃ２：ブロック１０１ｍに対応、すなわち、ブロック１０１ｍの右上角は画像１２に含まれ、左下角は画像１２に含まれない（左上角は画像１２の内側にある）：
ｘ_ｂ＋ｗ_ｂ≦ｗ_ｆ；ｙ_ｂ＋ｈ_ｂ＞ｈ_ｆ；ｘ_ｂ≧０；ｙ_ｂ≧０、
Ｃ３：ブロック１０１ｏに対応、すなわち、右上角および左下角の両方は画像１２に含まれない（左上角は画像１２の内側にある）：
ｘ_ｂ＋ｗ_ｂ＞ｗ_ｆ；ｙ_ｂ＋ｈ_ｂ＞ｈ_ｆ；ｘ_ｂ≧０；ｙ_ｂ≧０、
Ｃ４：ブロックの左上角は画像に含まれず、左下角は画像１２に含まれず、右上角は画像１２に含まれる：
ｘ_ｂ＜０；ｙ_ｂ≧０；ｘ_ｂ＋ｗ_ｂ＞０（このケースは、ケース１と同等に処理され、個別に指定されない場合がある）、
Ｃ５：ブロックの左上角は画像１２に含まれず、右上角は画像１２に含まれず、左下角は画像１２に含まれる：
ｘ_ｂ≧０；ｙ_ｂ＜０；ｙ_ｂ＋ｈ_ｂ＞０（このケースは、ケース２と同等に処理され、個別に指定されない場合がある）、
Ｃ６：次のブロック角の１つだけが画像１２に含まれる：右下、右上、または左下（このケースは、ケース３と同等に処理され、個別に指定されない）。

【0069】

ケースＣ１～Ｃ６のいずれもが特定の所定のブロックおよび画像１２に当てはまらない場合、所定のブロックは画像１２の境界の外側にあり得、本明細書に記載の概念にそれ以上関心がない場合がある。２つ以上のケースが同時に当てはまる場合があり、具体的には、ケースペアＣ１およびＣ４、Ｃ２およびＣ５、またはＣ３およびＣ６が同時に当てはまる場合がある。これらのケースペアはすべて同等に処理されるため、特定のコンステレーションを個別に処理する必要はない。

【0070】

これらのケースＣ１～Ｃ６のうちの少なくとも１つを処理するために、本概念は、実際に利用可能な分割モードのセットから選択された１つまたは複数の分割モードを含み得る分割モードの縮小されたセットを提供する。

【0071】

この実際に利用可能な分割モードのセットは、使用されるブロックベースの符号化スキームに応じて、エンコーダ１０によって選択され得る。一例によれば、エンコーダ１０は、
・画像境界に対する所定のブロックの場所から独立して、および／または
・所定のブロックが出現する先行するツリーレベルの分割モードのシーケンスに依存して、
所定のブロックの利用可能な分割モードのセットを決定するように構成されてもよい。

【0072】

同じことがデコーダ２０にも当てはまる。一例によれば、デコーダ２０は、
・ 画像境界に対する所定のブロックの場所から独立して、および／または
・ 所定のブロックが出現する先行するツリーレベルの分割モードのシーケンスに依存して、
所定のブロックの利用可能な分割モードのセットを決定するように構成されてもよい。

【0073】

この場合も、上記のケースＣ１～Ｃ６のうちの少なくとも１つを処理するために、本概念は、実際に利用可能な分割モードのセットから選択された１つまたは複数の分割モードを含み得る分割モードの縮小されたセットを提供する。

【0074】

例えば、縮小されたスプリットセットは、次のスプリットで構成されている場合がある。
（ａ）そのようなスプリットが存在する場合：適用されたときに、所与のブロックのさらなるスプリットに制限を課さない制限のないスプリット。
（ｂ）ケースＣ１およびＣ２の場合、そのようなスプリットが存在する場合：画像１２の境界に平行なエッジを設定するスプリット。
ｉ．そのようなスプリットが存在し、所与のブロックで許可されている場合、スプリットブロックの中央に位置するスプリット。
ｉｉ．そのようなスプリットが存在し、所与のブロックで許可されている場合、画像１２の境界に併置された分割エッジを設定するスプリット。

【0075】

言い換えれば、エンコーダ１０は、利用可能な分割モードのセットを１つまたは複数の分割モードの縮小されたセットに縮小するように、利用可能な分割モードのセットから、
・ 所定のツリーレベルに続く後続のツリーレベルの１つまたは複数の後続のスプリットに制限を課さない分割（例えば、上記のスプリット（ａ）参照）を含む第１の分割モード、および
・ 少なくとも１つのスプリット線に沿って所定のブロックを２つまたは３つのサブブロックに分割するスプリットを含む第２の分割モードのうちの少なくとも１つを選択するように構成されてもよく、
分割線は、所定のブロック内の境界の位置に平行であり、分割線が、所定のブロックの内側に中央に配置されているもの（例えば、上記のスプリット（ｂ）－ｉ参照）、および画像１２の境界に併置されるもの（例えば、上記のスプリット（ｂ）－ｉｉ参照）のうちの少なくとも１つである。

【0076】

同じことがデコーダ２０にもそれぞれ当てはまる。すなわち、デコーダ２０は、利用可能な分割モードのセットを１つまたは複数の分割モードの縮小されたセットに縮小するように、利用可能な分割モードのセットから、
・ 所定のツリーレベルに続く後続のツリーレベルの１つまたは複数の後続のスプリットに制限を課さない分割（例えば、上記のスプリット（ａ）参照）を含む第１の分割モード、および
・ 少なくとも１つの分割線に沿って所定のブロックを２つまたは３つのサブブロックに分割するスプリットを含む第２の分割モードのうちの少なくとも１つを選択するように構成されてもよく、
分割線は、所定のブロック内の境界の位置に平行であり、分割線が、所定のブロックの内側に中央に配置されているもの（例えば、上記のスプリット（ｂ）－ｉ参照）、および画像１２の境界に併置されるもの（例えば、上記のスプリット（ｂ）－ｉｉ参照）のうちの少なくとも１つである。

【0077】

スプリット（ｂ）－ｉｉが指定したブロックに使用される分割方法で利用可能でない場合、スプリット（ｂ）－ｉは縮小されたスプリットセットに含まれる場合がある。スプリット（ｂ）－ｉは、一般的にスプリット（ｂ）－ｉｉよりも優先される場合がある。上記のように、少なくとも１つのスプリットが縮小されたスプリットセットに含まれ得る。

【0078】

一例によれば、スプリット（ａ）は４分割であり得、スプリット（ｂ）－ｉは水平方向の２分割または垂直方向の２分割のうちの少なくとも１つであり得る。さらなる例によれば、非特許文献３および非特許文献４で説明されているように追加で導入されたスプリットの１つは、画像１２の境界が分割されたブロックの１／４または３／４にある場合、（ｂ）－ｉｉに使用できる。特定の実装では、非特許文献３および／または非特許文献４で導入された追加のスプリットよりも、分割比が１／２の垂直方向または水平方向の分割が優先される場合がある。

【0079】

上記の分割は、図７Ａ～図７Ｅに概略的に示される。図７Ａは、所定のブロック７０１（マクロブロックまたはサブブロック）が４つの等しい区分７１ａ、７１ｂ、７１ｃ、７１ｄに分割される４分割（４スプリット）を示す。図７Ｂは、分割比１／２の垂直方向の２分割（２スプリット）を示し、所定のブロック７０２（マクロブロックまたはサブブロック）が２つの等しい垂直方向の区分７２ａ、７２ｂに分割される。図７Ｃは、分割比１／２の水平方向の２分割を示し、所定のブロック７０３（マクロブロックまたはサブブロック）が２つの等しい水平方向の区分７３ａ、７３ｂに分割される。図７Ｄは、非特許文献３に記載されているような垂直方向の３分割を示し、所定のブロック７０４（マクロブロックまたはサブブロック）が３つの垂直方向の区分７４ａ、７４ｂ、７４ｃに分割される。図７Ｅは、非特許文献３に記載されているような水平方向の３分割を示し、所定のブロック７０５（マクロブロックまたはサブブロック）が３つの水平方向の区分７５ａ、７５ｂ、７５ｃに分割される。

【0080】

一例によれば、図７Ｂに示されるような垂直方向の２分割は、画像１２のそれぞれの境界がそれぞれの所定のブロック７０２と交差し、その結果、それぞれのブロック７０２の内側に置かれる画像１２の境界もまた、垂直、すなわち、垂直方向のスプリット線に平行である場合に適用され得る。このような場合は、例えば、図６に示すようにブロック１０１ｅに当てはまり得る。

【0081】

図７Ｃに示されるような水平方向の２分割は、画像１２のそれぞれの境界がそれぞれの所定のブロック７０３と交差し、その結果、それぞれのブロック７０３の内側に置かれる画像１２の境界もまた、水平、すなわち、水平方向のスプリット線に平行である場合に適用され得る。このような場合は、例えば、図６に示されるようにブロック１０１ｍに当てはまり得る。

【0082】

一般化された２分割（（Ｇｅｎｅｒａｌｉｚｅｄ Ｂｉｎａｒｙ Ｓｐｌｉｔｔｉｎｇ（ＧＢＳ））を使用できるさらなる例によれば、一般化されたＧＢＳツリーがクワッドツリー構造のサブツリーとして使用された場合、スプリット（ａ）は、分割比が１／２の垂直分割（ＧＢＳのデフォルトスプリットであり得る、ただし、分割ツリーがこれまでのところ制限されていない場合）または４分割である場合がある。垂直／平行セマンティクスに変換される可能性のある垂直方向および水平方向の分割は、スプリット（ｂ）－ｉまたは（ｂ）－ｉｉとして使用できる（おそらく、それに応じて調整された分割修飾子（スプリットモディファイヤー）を使用）。この場合も、他のスプリットが画像１２の境界に併置されたスプリットを提供する場合でも、修飾子１／２を使用した分割が優先される場合がある。

【0083】

ＱＴＢＴに基づき得るが、非特許文献３および非特許文献４で説明されているスキーム、および次の３つのスプリット（４分割、分割比が１／２の垂直方向の分割、および分割比が１／２の水平方向の分割）の可能性を提供する任意の他の分割スキームにも有効であり得るさらなる例では、３つの例示的な縮小されたスプリットセット（ＲＳＳ）は、
ＲＳＳ１：４分割（ａ）および分割比が１／２の垂直方向のスプリット（ｂ）－ｉ、
ＲＳＳ２：４分割（ａ）および分割比が１／２の水平方向のスプリット（ｂ）－ｉ、
ＲＳＳ３：４分割（ａ）または分割比が１／２の垂直方向もしくは水平方向のスプリット（ｂ）－ｉのいずれか、であってもよい。

【0084】

分割モードのこれらの例示的な縮小されたセット、すなわち、ＲＳＳ１、ＲＳＳ２、およびＲＳＳ３は、利用可能な分割モードのセットのサブセットの１つの非限定的な例であり得る。すなわち、分割モードの縮小されたセットは、利用可能な分割モードのセットで（所定のツリーレベルの所定のブロックに対して）利用可能である１つまたは複数の利用可能なスプリットを含み得る。利用可能な分割モードのセットに含まれるスプリットの数は、符号化スキームに応じて変化する場合があり、分割モードの縮小されたセットに含まれるスプリットの数は、画像１２の境界に対するそれぞれの所定のブロック（つまり、現在のツリーレベルで分割される）の位置に応じて変化する場合がある。

【0085】

上記のように、エンコーダ１０は、利用可能な分割モードのセットを決定することができる。すなわち、エンコーダ１０は、どの分割モード（例えば、４分割、垂直方向の２分割、水平方向の２分割など）が利用可能な分割モードのセットに含まれるかを選択的に選択することができる。

【0086】

例えば、上記のブロックベースの符号化スキームは、４分割、少なくとも１つの水平方向の２分割（おそらく異なる修飾子を使用）、および少なくとも１つの垂直方向の２分割（おそらく異なる修飾子を使用）を含む分割モードの基本セットを含み得る。

【0087】

しかしながら、一部のスプリット、特に一部の２分割は制限的である場合がある。例えば、２分割が所定のブロックに適用された場合、４分割は後続のスプリットとして許可されない場合がある。言い換えれば、４分割は、以前のツリーレベルの先行するスプリットが制限的スプリットの１つ、特に制限的２分割の１つを含まない場合にのみ、特定のツリーレベルでのみ許可される場合がある。

【0088】

したがって、制限的スプリットの１つ、特に制限的２分割の１つが、所定のツリーレベルで所定のブロックに適用された場合、後続のスプリットは、上記のプリミティブセットのみを含み、４分割を含まない場合がある。

【0089】

したがって、一実施形態によれば、エンコーダ１０は、
・ 所定のブロックが出現する先行するツリーレベルのすべての分割モードが２分割の制限されたセットではない場合、４分割、少なくとも１つの水平方向の２分割、および少なくとも１つの垂直方向の２分割を含む分割モードのプリミティブセットに等しくなり、
・ 所定のブロックが出現する先行するツリーレベルの分割モードが２分割の制限されたセットの１つである場合、分割モードのプリミティブセットから４分割を差し引いたものに等しくなるように、
利用可能な分割モードのセットを決定するように構成されてもよい。

【0090】

同じことがデコーダ２０にも当てはまる。したがって、デコーダ２０は、
・ 所定のブロックが出現する先行するツリーレベルのすべての分割モードが２分割の制限されたセットではない場合、４分割、少なくとも１つの水平方向の２分割、および少なくとも１つの垂直方向の２分割を含む分割モードのプリミティブセットに等しくなり、
所定のブロックが出現する先行するツリーレベルの分割モードが２分割の制限されたセットの１つである場合、分割モードのプリミティブセットから４分割を差し引いたものに等しくなるように、
利用可能な分割モードのセットを決定するように構成されてもよい。

【0091】

追加的または代替的に、分割モードの上記のプリミティブセットは、少なくとも１つの水平方向の３分割（おそらく異なる修飾子を使用）、および少なくとも１つの垂直方向の３分割（おそらく異なる修飾子を使用）を含み得る。

【0092】

上記のように、エンコーダ１０は、分割モードの縮小されたセットを提供するために、利用可能な分割モードのセットを縮小することができる。したがって、エンコーダ１０は、所定のブロックごとに、上記の利用可能な分割モードのセットから分割モードの縮小されたサブセット（すなわち、１つまたは複数の分割モード）を選択的に選択することができる。これらの選択的に選択された分割モードのみが、分割モードの縮小されたセットに含まれる場合がある。したがって、分割モードの縮小されたセットは、スプリット（ａ）による上記の４分割、およびスプリット（ｂ）－ｉまたはスプリット（ｂ）－ｉｉによるスプリットの１つのうちの少なくとも１つを含み得る。

【0093】

したがって、一実施形態によれば、エンコーダ１０は、利用可能な分割モードのセットを１つまたは複数の分割モードの縮小されたセットに縮小するように、利用可能な分割モードのセットから、
・ ４分割（ａ）、および
・ スプリット線に沿って所定のブロック７０２、７０３を２つのサブブロック７２ａ、７２ｂ、７３ａ、７３ｂに分割する２分割のうちの少なくとも１つを選択するように構成されてもよく、スプリット線は、所定のブロック７０２、７０３内の画像境界の位置に平行であり、かつスプリット線がスプリット（ｂ）－ｉに従って所定のブロックの内側に中央に配置されているもの、およびスプリット（ｂ）－ｉｉに従って境界に併置されるもののうちの少なくとも１つ
である。

【0094】

この場合も、同じことがデコーダ２０にも当てはまる。したがって、デコーダ２０は、利用可能な分割モードのセットを１つまたは複数の分割モードの縮小されたセットに縮小するように、利用可能な分割モードのセットから、
・ ４分割（ａ）、および
・ スプリット線に沿って所定のブロック７０２、７０３を２つのサブブロック７２ａ、７２ｂ、７３ａ、７３ｂにスプリットする２分割のうちの少なくとも１つを選択するように構成されてもよく、スプリット線は、所定のブロック７０２、７０３内の画像境界の位置に平行であり、かつスプリット線がスプリット（ｂ）－ｉに従って所定のブロックの内側に中央に配置されているもの、およびスプリット（ｂ）－ｉｉに従って境界に併置されるもののうちの少なくとも１つ
である。

【0095】

この場合も、スプリット（ｂ）－ｉは２分割（おそらく異なる修飾子を使用するが、好ましくは分割比１／２を使用）を含み得、スプリット（ｂ）－ｉｉは２分割および／または３分割（おそらく異なる修飾子を使用）を含み得る。

【0096】

したがって、一実施形態によれば、エンコーダ１０は、利用可能な分割モードのセットを１つまたは複数の分割モードの縮小されたセットに縮小するように、利用可能な分割モードのセットから、
・ ４分割（ａ）、および
・ スプリット線に沿って所定のブロック７０４、７０５を３つのサブブロック７４ａ、７４ｂ、７４ｃ、７５ａ、７５ｂ、７５ｃに分割する３分割のうちの少なくとも１つを選択するように構成されてもよく、スプリット線は、所定のブロック７０４、７０５内の画像境界の位置に平行であり、かつスプリット線がスプリット（ｂ）－ｉｉに従って境界に併置される。

【0097】

この場合も、同じことがデコーダ２０にも当てはまる。したがって、デコーダ２０は、利用可能な分割モードのセットを１つまたは複数の分割モードの縮小されたセットに縮小するように、利用可能な分割モードのセットから、
・ ４分割（ａ）、および
・ スプリット線に沿って所定のブロック７０４、７０５を３つのサブブロック７４ａ、７４ｂ、７４ｃ、７５ａ、７５ｂ、７５ｃに分割する３分割のうちの少なくとも１つを選択するように構成されてもよく、スプリット線は、所定のブロック７０４、７０５内の画像境界の位置に平行であり、かつスプリット線がスプリット（ｂ）－ｉｉに従って境界に併置される。

【0098】

図８Ａおよび図８Ｂは、本明細書に記載の概念を、画像境界処理と共にブロックベースの符号化スキームに適用する方法の例を示す。

【0099】

図８Ａは、この例では、図６に示されるようなマクロブロック１０１ｏに対応し得る所定のブロックの分割を示す。ブロック１０１ｏのハッチングされた部分は、画像１２の右下角の位置を表す。この例は、４分割のみを適用することによる、マクロブロック１０１ｏのより小さなサブブロックへの分割を示している。

【0100】

それぞれのサブブロックに示される数字は、図８Ａに示されるように、マクロブロック１０１ｏのリーフブロック分割に到達するために適用する必要がある４分割の数を示し得る。第１の４分割は、マクロブロック１０１ｏを４つの等しいサブブロック８０１ａ、８０１ｂ、８０１ｃ、８０１ｄに分化する。見てわかるように、左側の２つのサブブロック８０１ａ、８０１ｄのみが、依然として画像１２の境界を含み得る。右側の２つのサブブロック８０１ｂ、８０１ｃは、画像１２の外側に置かれ、画像１２の境界をもはや含まない。それらは破棄され得る。

【0101】

第２の４分割は、左側の２つのサブブロック８０１ａ、８０１ｄを再び４つのより小さなサブブロックに分化する。見てわかるように、左側の２つのサブブロック８０２ａ、８０２ｂ（第２の４分割に由来する）は、画像１２の内側に置かれ、画像境界をもはや含まない。したがって、これらの２つのサブブロック８０２ａ、８０２ｂは、使用される分割方法に従って、制限のないスプリットセットを使用してさらに分割することができる。これらのブロックのさらなる分割は、本概念に関して本明細書でさらに詳細に説明されない場合がある。

【0102】

しかしながら、残りのサブブロック（第２の４分割から導出）は、すべてに画像境界が含まれている場合があるため、３回目の分割が必要である。当該第３の分割は、番号「３」で示されるリーフブロックにつながる。

【0103】

図８Ｂは、本明細書で説明されている縮小されたスプリットセットの概念を適用する代替の分割を示す。各サブブロックの数字は、図８Ｂに示されるように、マクロブロック１０１ｏのリーフブロック分割に到達するために適用する必要がある４分割および非４分割（例えば、２分割）の数を示す。第１の数字は４分割の数を示し得、第２の数字は非４分割の数を示し得る。

【0104】

例えば、左上のリーフブロック８０２ａ（１，１）には、１つの４分割および１つの垂直方向の２分割が適用される。隣接する右のリーフブロック８０３ａ（１，２）には、１つの４分割および２つの垂直方向の２分割が適用される。隣接する下のリーフブロック８０３ｂ（２，１）には、２つの４分割および１つの水平方向の２分割が適用される。画像１２の右下角にあるリーフブロック８０３ｃ（３，０）には、３つの４分割が適用され、非４分割は適用されなかった。

【0105】

図８Ｂでは、実線は４分割によって設定されたエッジ（スプリット線）を示し、破線は垂直方向の２分割によって設定されたエッジ（スプリット線）を示し、一点鎖線は水平方向の２分割によって設定されたエッジ（スプリット線）を示す。

【0106】

より詳細には、第１のツリーレベルでの第１のスプリットとして、４分割が適用され、その結果、４つの等しいサブブロック８０１ａ、８０１ｂ、８０１ｃ、８０１ｄがもたらされる。見てわかるように、左側の２つのサブブロック８０１ａ、８０１ｄのみが、依然として画像１２の境界を含み得る。右側の２つのサブブロック８０１ｂ、８０１ｃは、画像１２の外側に置かれ、画像１２の境界をもはや含まない。それらは破棄され得る。

【0107】

左上のサブブロック８０１ａは、第２のツリーレベルでさらに分割され得る。サブブロック８０１ａの分割のために、縮小されたスプリットセットを提供し得る。例えば、４分割および垂直方向の２分割のうちの少なくとも１つを含むか、または垂直方向の２分割のみを含む縮小されたスプリットセットを提供し得る。図８Ｂに示される例では、サブブロック８０１ａは、第２のツリーレベルで修飾子１／２を用いて垂直方向の２分割にかけられてもよく、スプリット線８１１は、ブロック８０１ａの内側に中央に配置される。したがって、結果として、左上のサブブロック８０２ａを設定することができる。

【0108】

本概念では、リーフブロックであるサブブロック８０２ａに到達するために、１つの４分割および１つの垂直方向の２分割（したがって、２つのツリーレベルのみ）を適用する必要があるだけである。代わりに、図８Ａでは、図８Ｂの１つのみのブロック８０２ａと同じ画像１２の領域をカバーするために、２つのブロック８０２ａ、８０２ｂが必要である。

【0109】

さらに、図８Ｂの右隣接ブロック８０２ｂは、次に第３のツリーレベルでさらに分割される。サブブロック８０２ｂの分割のために、縮小されたスプリットセットを提供し得る。例えば、以前のスプリットは既に垂直方向の２分割であり、これにより、後続の４分割が許可されない場合があるため、少なくとも垂直方向の２分割を含む縮小されたスプリットセットを提供し得る。図８Ｂに示される例では、サブブロック８０２ｂは、第３のツリーレベルで修飾子１／２を用いて垂直方向の２分割にかけられてもよく、スプリット線８１２は、ブロック８０２ｂの内側に中央に配置され、画像境界に併置される。したがって、左サブブロック８０３ａは、結果として第３のツリーレベルで設定され得、当該左サブブロック８０３ａは、リーフブロックであるが、それはまた、使用される分割方法でさらに分割され得る。

【0110】

本概念では、リーフブロックであるサブブロック８０３ａに到達するために、１つの４分割および２つの垂直方向の２分割（したがって、３つのツリーレベルのみ）を適用する必要があるだけである。代わりに、図８Ａでは、図８Ｂの１つのみのブロック８０３ａと同じ画像１２の領域をカバーするために、４つのブロックが必要である。しかしながら、エンコーダ１０がそのように決定する場合、４分割が常に縮小されたスプリットセットから選択されるならば、図８Ａのように適用され得る。

【0111】

さらに、図８Ｂの下隣接ブロック８０２ｄは、それぞれ第１および第２のツリーレベルでの２つの連続する４分割から派生し得、ブロック８０２ｄは、第３のツリーレベルでさらに分割され得る。サブブロック８０２ｄの分割のために、縮小されたスプリットセットを提供し得る。例えば、少なくとも４分割および水平方向の２分割を含む縮小されたスプリットセット、または水平方向の２分割のみを含む縮小されたスプリットセットを提供し得る。図８Ｂに示される例では、サブブロック８０２ｄは、第３のツリーレベルで修飾子１／２を用いて水平方向の２分割にかけられてもよく、スプリット線８１３は、ブロック８０２ｄの内側に中央に配置され、画像境界に併置される。したがって、サブブロック８０３ｂは、結果として第３のツリーレベルで設定され得、ここで、当該サブブロック８０３ｂは、リーフブロックである。

【0112】

本概念では、リーフブロックであるサブブロック８０３ｂに到達するために、２つの４分割および１つの水平方向の２分割（したがって、３つのツリーレベルのみ）を適用する必要があるだけである。代わりに、図８Ａでは、図８Ｂの１つのみのブロック８０３ｂと同じ画像１２の領域をカバーする１つのみのために、２つのブロックが必要である。

【0113】

ブロック８０３ｃはまた、３つの連続する４分割から導出され得るリーフブロックであり得る。リーフブロック８０３ｃのこの例は、図８Ａに示される同じブロックの４分割と同一であり得る。画像１２の角はリーフブロック８０３ｃにつながるブロックに含まれているので、シンタックスは分割モードの縮小されたセットでのみ４分割を提供することを可能にし得る。

【0114】

一例によれば、エンコーダ１０は、利用可能な分割モードのセットを１つまたは複数の分割モードの縮小されたセットに縮小するように、所定のブロックが画像１２の角を越えて延びる場合にのみ、利用可能な分割モードのセットから、４分割を選択するように構成され得る。

【0115】

同じことがデコーダ２０にも当てはまる。したがって、デコーダ２０は、利用可能な分割モードのセットを１つまたは複数の分割モードの縮小されたセットに縮小するように、所定のブロックが画像１２の角を越えて延びる場合にのみ、利用可能な分割モードのセットから、４分割を選択するように構成され得る。

【0116】

図８Ｂに示されるように、結果として得られるリーフブロック８０２ａ、８０３ａ、８０３ｂ、８０３ｃは、画像１２の境界を処理するために必要とされる最小の分割を表す。追加的または代替的に、結果として得られるリーフブロック８０２ａ、８０３ａ、８０３ｂ、８０３ｃは、使用される分割方法の所与の制限内でさらに分割され得る。

【0117】

一般に、最後に少なくとも１つの有効なスプリットが含まれる場合、縮小されたスプリットセットにはさらに制限が課せられる場合がある。これらの制限は、
・ 指定されたブロックサイズの分割可能性（図８Ｂを参照）、
・ 指定された深さの分割可能性、
であり得るが、これらに限定されない。

【0118】

後者の箇条書き「指定した深さでの分割可能性」は、次の例を使用して、また図５Ａおよび図５Ｂを参照して簡単に説明する。

【0119】

最適な効率を確保するために、純粋に暗黙的な分割導出の代わりに一部のシグナリングが使用されるが、シグナリングする必要があるのは限られた情報のみである。特に、分割自体に関する情報を転送する必要はない。上記の画像境界のケースＣ１～Ｃ３（図６を参照）では、分割が実行される。縮小されたスプリットセットに２つ以上の要素が含まれている場合は、残りの不確実性のみを信号伝達する必要がある。上記のＱＴＢＴに基づく特定の実施形態では、ケースＣ１（図５Ｂを参照）およびＣ２について１つのバイナリ信号を転送する必要があり、また、Ｃ１は４分割および垂直方向の２分割を含む縮小されたスプリットセットを含み得、Ｃ２は４分割および水平方向の２分割を含む縮小されたスプリットセットを含み得、ならびにＣ３は４分割のみを含む縮小されたスプリットセットを含み得るので、ケースＣ３ではシグナリングは必要ない。

【0120】

本概念には、さらなるシンタックスの制限が適用される場合がある。例えば、分割によって追加の制限が発生した場合、分割されたブロックが画像境界と重なると、それらは完全にまたは部分的に破棄される場合がある。一例によれば、（４分割とは対照的に）後続の２分割の数が制限される場合がある（例えば、分割制限のあるツリーの一部である場合、当該分割がデフォルトの分割でない場合、または本方法がクワッドツリー構造を補完するように使用される場合）。

【0121】

縮小されたセットの一部として画像境界を越えて２分割が適用された場合、この制限の実施ではカウントされない場合がある。

【0122】

したがって、一例によれば、縮小されたセットからの２分割が適用され、連続する２分割の数が所定の最大数の連続する２分割に制限される場合、連続する２分割が画像境界を越えて適用される場合、エンコーダ１０が、連続する２分割をカウントしないように構成されてもよい。

【0123】

同じことがデコーダ２０にも当てはまる。したがって、縮小されたセットからの２分割が適用され、連続する２分割の数が所定の最大数の連続する２分割に制限される場合、連続する２分割が画像境界を越えて適用される場合、デコーダ２０が、連続する２分割をカウントしないように構成されてもよい。

【0124】

他の制限、例えば、４分割以外のスプリットに続く４分割の禁止は、画像境界を越えても（例えば、クワッドツリー構造を補完するものとして使用される場合）、さらに強制される場合がある。

【0125】

図９は、本概念による画像１２を符号化する方法のブロック図を示す。

【0126】

ブロック９０１では、再帰的なマルチツリー分割を使用して画像をリーフブロックに分割する。

【0127】

ブロック９０２では、画像のリーフブロックへの分割を使用して、画像をデータストリームにブロックベースで符号化する。

【0128】

ブロック９０３では、所定のブロックについて、画像の境界が所定のブロックと交差する位置に応じて、所定のブロックを分割するための利用可能な分割モードのセットを縮小して、１つまたは複数の分割モードの縮小されたセットが得る。

【0129】

縮小されたセットのカーディナリティが１（Ｃ＝１）である場合、ブロック９０４に示すように、縮小されたセットの分割モードが、所定のブロックを分割するために適用される。

【0130】

縮小されたセットのカーディナリティが１より大きい場合、ブロック９０５に示すように、縮小されたセットの分割モードの１つが選択され、分割モードの選択された１つが所定のブロックを分割するために適用される。

【0131】

ブロック９０６では、選択、すなわち、分割モードの縮小されたセットからの分割モードの選択された１つは、データストリームにおいて信号伝達される。

【0132】

図１０は、本概念による画像１２を復号する方法のブロック図を示す。

【0133】

ブロック１００１では、再帰的なマルチツリー分割を使用して画像をリーフブロックに分割する。

【0134】

ブロック１００２では、画像のリーフブロックへの分割を使用して、画像をデータストリームからブロックベースで復号する。

【0135】

ブロック１００３では、所定のブロックについて、画像の境界が所定のブロックと交差する位置に応じて、所定のブロックを分割するための利用可能な分割モードのセットを縮小して、１つまたは複数の分割モードの縮小されたセットを得る。

【0136】

縮小されたセットのカーディナリティが１（Ｃ＝１）である場合、ブロック１００４に示すように、縮小されたセットの分割モードが、所定のブロックを分割するために適用される。

【0137】

縮小されたセットのカーディナリティが１より大きい場合、ブロック１００５に示すように、縮小されたセットの分割モードの１つが選択され、分割モードの選択された１つが所定のブロックを分割するために適用される。

【0138】

ブロック１００６に示されるように、分割モードの縮小されたセットからの分割モードの１つの選択は、データストリームにおける信号伝達に基づく。

【0139】

図９および図１０のブロック図のブロックによってそれぞれ表される方法ステップはまた、示されるものとは異なる順序で実行することができる。

【0140】

いくつかの態様が装置の文脈で説明されたが、これらの態様は、対応する方法の説明も表すことは明らかであり、ブロックまたはデバイスは、方法ステップまたは方法ステップの特徴に対応する。同様に、方法ステップの文脈で説明された態様は、対応する装置の対応するブロックまたはアイテムまたは特徴の説明も表す。方法ステップの一部またはすべては、例えば、マイクロプロセッサ、プログラム可能なコンピュータ、または電子回路などのハードウェア装置によって（または使用して）実行することができる。いくつかの実施形態では、最も重要な方法ステップの１つまたは複数は、そのような装置によって実行することができる。

【0141】

特定の実装要件に応じて、本発明の実施形態は、ハードウェアで、もしくはソフトウェアで、または少なくとも部分的にハードウェアで、もしくは少なくとも部分的にソフトウェアで実装することができる。実装は、電子的に可読な制御信号が格納されているデジタル記憶媒体、例えば、フロッピーディスク、ＤＶＤ、ブルーレイ、ＣＤ、ＲＯＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、またはフラッシュメモリを使用して実行でき、そこで、それぞれの方法が実行されるように、プログラム可能なコンピュータシステムと協働する（または協働することができる）。したがって、デジタル記憶媒体は、コンピュータ可読であり得る。

【0142】

本発明によるいくつかの実施形態は、本明細書に記載の方法の１つが実行されるように、プログラム可能なコンピュータシステムと協働することができる電子的に可読な制御信号を有するデータキャリアを含む。

【0143】

一般に、本発明の実施形態は、プログラムコードを有するコンピュータプログラム製品として実装することができ、プログラムコードは、コンピュータプログラム製品がコンピュータ上で実行されるときに本方法の１つを実行するように動作する。プログラムコードは、例えば、機械可読キャリアに格納されてもよい。

【0144】

他の実施形態は、機械可読キャリアに格納された、本明細書に記載の方法の１つを実行するコンピュータプログラムを含む。

【0145】

したがって、言い換えれば、本発明の方法の実施形態は、コンピュータプログラムがコンピュータ上で実行されるときに、本明細書に記載の方法の１つを実行するプログラムコードを有するコンピュータプログラムである。

【0146】

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するコンピュータプログラムを含む（記録した）データキャリア（またはデジタル記憶媒体、またはコンピュータ可読媒体）である。データキャリア、デジタル記憶媒体、または記録された媒体は、通常、有形および／または非一時的である。

【0147】

したがって、本発明の方法のさらなる実施形態は、本明細書に記載の方法の１つを実行するコンピュータプログラムを表すデータストリームまたは信号のシーケンスである。データストリームまたは信号のシーケンスは、例えば、インターネットなどのデータ通信接続を介して転送されるように構成されてもよい。

【0148】

さらなる実施形態は、本明細書に記載の方法の１つを実行するように構成または適合されたプロセス手段、例えば、コンピュータまたはプログラム可能なロジックデバイスを含む。

【0149】

さらなる実施形態は、本明細書に記載の方法の１つを実行するコンピュータプログラムがインストールされているコンピュータを含む。

【0150】

本発明によるさらなる実施形態は、本明細書に記載の方法の１つを実行するコンピュータプログラムを（例えば、電子的または光学的に）受信機に転送するように構成された装置またはシステムを含む。受信機は、例えば、コンピュータ、モバイルデバイス、メモリデバイスなどであり得る。装置またはシステムは、例えば、コンピュータプログラムを受信機に転送するためのファイルサーバを含み得る。

【0151】

いくつかの実施形態では、プログラム可能なロジックデバイス（例えば、ＦＰＧＡ）を使用して、本明細書に記載の方法の機能の一部またはすべてを実行することができる。いくつかの実施形態では、ＦＰＧＡは、本明細書に記載の方法の１つを実行するために、マイクロプロセッサと協働し得る。一般に、本方法は、好ましくは、任意のハードウェア装置によって実行される。

【0152】

本明細書に記載の装置は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組み合わせを使用して実装することができる。

【0153】

本明細書に記載の方法は、ハードウェア装置を使用して、またはコンピュータを使用して、またはハードウェア装置とコンピュータとの組み合わせを使用して実行することができる。

【0154】

上記の実施形態は、本発明の原理を単に例示するものである。本明細書に記載された配置および詳細の修正および変形は、当業者には明らかであろうことが理解される。したがって、特許請求の範囲によってのみ限定され、本明細書の実施形態の説明および説明として提示された特定の詳細によって限定されないことが意図されている。

【0155】

参考文献
［１］ＩＴＵ－Ｔ ａｎｄ ＩＳＯ／ＩＥＣ．Ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ．ＩＴＵ－Ｔ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ Ｈ．２６５｜ＩＳＯ／ＩＥＣ２３００８ １０（ＨＥＶＣ）、ｅｄｉｔｉｏｎ１、２０１３；ｅｄｉｔｉｏｎ２、２０１４．
［２］Ｊ．Ｃｈｅｎ、Ｅ．Ａｌｓｈｉｎａ、Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ、Ｊ－Ｒ．Ｏｈｍ、Ｊ．Ｂｏｙｃｅ、Ａｌｇｏｒｉｔｈｍ Ｄｅｓｃｒｉｐｔｉｏｎ ｏｆ Ｊｏｉｎｔ Ｅｘｐｌｏｒａｔｉｏｎ Ｔｅｓｔ Ｍｏｄｅｌ ６（ＪＥＭ ６）、ＪＶＥＴ、ｄｏｃ．ＪＶＥＴ－Ｆ１００１、Ａｐｒｉｌ ２０１７．
［３］Ｘ．Ｌｉ、Ｈ．－Ｃ．Ｃｈｕａｎｇ、Ｊ．Ｃｈｅｎ、Ｍ．Ｋａｒｃｚｅｗｉｃｚ、Ｌ．Ｚｈａｎｇ、Ｘ．Ｚｈａｏ、Ａ．Ｓａｉｄ、Ｍｕｌｔｉ－Ｔｙｐｅ－Ｔｒｅｅ、ＪＶＥＴ、ｄｏｃ．ＪＶＥＴ－Ｄ０１１７、Ｏｃｔ．２０１６．
［４］Ｆ．Ｌｅ Ｌｅａｎｎｅｃ、Ｔ．Ｐｏｉｒｉｅｒ、Ｆ．Ｕｒｂａｎ、Ａｓｙｍｍｅｔｒｉｃ Ｃｏｄｉｎｇ Ｕｎｉｔｓ ｉｎ ＱＴＢＴ、ＪＶＥＴ、ｄｏｃ．ＪＶＥＴ－Ｄ００６４、Ｏｃｔ．２０１６．
［５］未公開欧州特許出願第１７１８２２０９．１号

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図5C】

【図5D】

【図6】

【図7A】

【図7B】

【図7C】

【図7D】

【図7E】

【図8A】

【図8B】

【図9】

【図10】