特許 5748166 変換単位分割の残差ツリー構造

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5748166

(24)【登録日】2015年5月22日

(45)【発行日】2015年7月15日

(54)【発明の名称】変換単位分割の残差ツリー構造

(51)【国際特許分類】

   H04N 19/122 20140101AFI20150625BHJP

   H04N 19/18 20140101ALI20150625BHJP

   H04N 19/96 20140101ALI20150625BHJP

【ＦＩ】

   H04N19/122

   H04N19/18

   H04N19/96

【請求項の数】17

【全頁数】19

(21)【出願番号】特願2014-524164(P2014-524164)

(86)(22)【出願日】2012年8月8日

(65)【公表番号】特表2014-526207(P2014-526207A)

(43)【公表日】2014年10月2日

(86)【国際出願番号】US2012050042

(87)【国際公開番号】WO2013023005

(87)【国際公開日】20130214

【審査請求日】2014年1月31日

(31)【優先権主張番号】61/515,978

(32)【優先日】2011年8月8日

(33)【優先権主張国】US

(31)【優先権主張番号】13/570,098

(32)【優先日】2012年8月8日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】510284071

【氏名又は名称】モトローラ モビリティ エルエルシー

【氏名又は名称原語表記】ＭＯＴＯＲＯＬＡ ＭＯＢＩＬＩＴＹ ＬＬＣ

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田 淳

(72)【発明者】

【氏名】ワン、リミン

(72)【発明者】

【氏名】ファン、シュエ

(72)【発明者】

【氏名】キム、ジェ フン

(72)【発明者】

【氏名】クン、ウェイ−イン

(72)【発明者】

【氏名】パヌソポーン、クリット

【審査官】 久保 光宏

(56)【参考文献】

【文献】 国際公開第２０１１／０８７２９５（ＷＯ，Ａ２）

【文献】 特表２０１３−５３４３９１（ＪＰ，Ａ）

【文献】 Krit Panusopone, et.al.，"Efficient Transform Unit Representation"，[online]，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，２０１１年 １月，Document: JCTVC-D250（version 1），［平成26年10月23日検索］，インターネット，ＵＲＬ，http://phenix.int-evry.fr/jct/doc_end_user/documents/4_Daegu/wg11/JCTVC-D250-v1.zip

【文献】 Yuan Yuan,et.al.，"Asymmetric motion partition with OBMC and Non-Square TU"，[online]，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，２０１１年 ３月，Document: JCTVC-E376（version 4），［平成26年10月23日検索］，インターネット，ＵＲＬ，http://phenix.int-evry.fr/jct/doc_end_user/documents/5_Geneva/wg11/JCTVC-E376-v4.zip

【文献】 Xiaozhen Zheng, et.al.，"Core Experiment 2: Motion Partitioning and OBMC"，[online]，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，２０１１年 ３月，Document: JCTVC-E702（version 1），［平成26年10月23日検索］，インターネット，ＵＲＬ，http://phenix.int-evry.fr/jct/doc_end_user/documents/5_Geneva/wg11/JCTVC-E702-v1.zip

【文献】 Liwei Guo, et.al.，"CE2: Asymmetric Motion Partition, Non-Square Quadtree Transform and Overlapped Block Motion Compensation"，[online]，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11，２０１１年 ７月，Document: JCTVC-F582（version 1），［平成26年10月23日検索］，インターネット，ＵＲＬ，http://phenix.int-evry.fr/jct/doc_end_user/documents/6_Torino/wg11/JCTVC-F582-v1.zip

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ１９／００−１９／９８，

ＣＳＤＢ（日本国特許庁）

(57)【特許請求の範囲】

【請求項1】

エンコーダを備える計算装置が、ビデオコンテンツの符号化単位（ＣＵ）の予測単位（ＰＵ）を受け取る工程であって、前記ＰＵは、複数のＰＵ分割型に分割可能である工程と、
前記計算装置が、前記ＰＵのＰＵ分割型を決定する工程と、
前記計算装置が、前記ＣＵの変換単位（ＴＵ）への分割のための前記ＰＵ分割型に基づいて残差ツリー構造を決定する工程であって、残差ツリー構造は少なくとも３つのレベルを含む複数のレベルを含み、レベルの増加毎に該増加の前のレベルからのさらなる分割を含み、前記分割は、ノードが２個のＴＵへ分かれる二元分割を含む、工程と、
前記計算装置が、前記残差ツリー構造および前記残差ツリー構造中の前記複数のレベルのうちの所望レベルに基づいて前記ＰＵ分割型のＴＵ分割を決定する工程と、
前記計算装置が、前記ＴＵ分割を使用して変換演算を行う工程と、
前記計算装置が、前記エンコーダからデコーダに前記所望レベルを伝える工程と、を備える方法。

【請求項2】

前記ＰＵ分割型は、
前記残差ツリー構造中のレベルにおいて２Ｎ×２Ｎノードが２Ｎ×Ｎの２個のノードに分かれる、２Ｎ×Ｎ ＰＵ分割型と、
前記残差ツリー構造中のレベルにおいて２Ｎ×２ＮノードがＮ×２Ｎの２個のノードに分かれる、Ｎ×２Ｎ ＰＵ分割型とを含む、請求項１に記載の方法。

【請求項3】

前記ＰＵ分割型は、
前記残差ツリー構造中のレベルにおいて２Ｎ×Ｎノードが２Ｎ×０．５Ｎの２個のノードに分かれる、２Ｎ×０．５Ｎ ＰＵ分割型と、
前記残差ツリー構造中のレベルにおいてＮ×２Ｎノードが０．５Ｎ×２Ｎの２個のノードに分かれる０．５Ｎ×２Ｎ ＰＵ分割型とを含む、請求項１に記載の方法。

【請求項4】

前記ＰＵ分割型は、
前記残差ツリー構造中のレベルにおいて２Ｎ×２Ｎノードが２Ｎ×０．５Ｎの第１ノードおよび２Ｎ×ｌ．５Ｎの第２ノードに分かれる２Ｎ×０．５Ｎ ＰＵ分割型と、
前記残差ツリー構造中のレベルにおいて２Ｎ×２Ｎノードが０．５Ｎ×２Ｎの第１ノードおよび１．５Ｎ×０．５Ｎの第２ノードに分かれる０．５Ｎ×２Ｎ ＰＵ分割型とを含む、請求項１に記載の方法。

【請求項5】

前記計算装置が分割に前記残差ツリー構造のデフォルトの深さを使用する場合、各ＰＵ分割型は固定の所望レベルを有する請求項１に記載の方法。

【請求項6】

前記残差ツリー構造がＴＵの前記二元分割およびＴＵの四分木分割で分岐するノードを含む請求項１に記載の方法。

【請求項7】

１つ以上のコンピュータ・プロセッサと、
命令を含む非一時的なコンピュータ読取可能記憶媒体とを備える装置であって、
前記１つ以上のコンピュータ・プロセッサは、前記命令の実行時、
ビデオコンテンツの符号化単位（ＣＵ）の予測単位（ＰＵ）を受け取る工程であって、前記ＰＵは、複数のＰＵ分割型に分割可能である工程と、
前記ＰＵのＰＵ分割型を決定する工程と、
前記ＣＵの変換単位（ＴＵ）への分割のための前記ＰＵ分割型に基づいて残差ツリー構造を決定する工程であって、残差ツリー構造は少なくとも３つのレベルを含む複数のレベルを含み、レベルの増加毎に該増加の前のレベルからのさらなる分割を含み、前記分割は、ノードが２個のＴＵへ分かれる二元分割を含む、工程と、
前記残差ツリー構造および前記残差ツリー構造中の前記複数のレベルのうちの所望レベルに基づいて前記ＰＵ分割型のＴＵ分割を決定する工程と、
前記ＴＵ分割を使用して変換演算を行う工程と
を行うべく構成されており、
前記１つ以上のコンピュータ・プロセッサはエンコーダを実装し、該エンコーダは該エンコーダからデコーダに前記所望レベルを伝えるように構成されている、装置。

【請求項8】

前記ＰＵ分割型は、
前記残差ツリー構造中のレベルにおいて２Ｎ×２Ｎノードが２Ｎ×Ｎの２個のノードに分かれる、２Ｎ×Ｎ ＰＵ分割型と、
前記残差ツリー構造中のレベルにおいて２Ｎ×２ＮノードがＮ×２Ｎの２個のノードに分かれる、Ｎ×２Ｎ ＰＵ分割型とを含む、請求項７に記載の装置。

【請求項9】

前記ＰＵ分割型は、
前記残差ツリー構造中のレベルにおいて２Ｎ×Ｎノードが２Ｎ×０．５Ｎの２個のノードに分かれる、２Ｎ×０．５Ｎ ＰＵ分割型と、
前記残差ツリー構造中のレベルにおいてＮ×２Ｎノードが０．５Ｎ×２Ｎの２個のノードに分かれる、０．５Ｎ×２Ｎ ＰＵ分割型とを含む、請求項７に記載の装置。

【請求項10】

前記ＰＵ分割型は、
前記残差ツリー構造中のレベルにおいて２Ｎ×２Ｎノードが２Ｎ×０．５Ｎの第１ノードおよび２Ｎ×ｌ．５Ｎの第２ノードに分かれる、２Ｎ×０．５Ｎ ＰＵ分割型と、
前記残差ツリー構造中のレベルにおいて２Ｎ×２Ｎノードが０．５Ｎ×２Ｎの第１ノードおよび１．５Ｎ×０．５Ｎの第２ノードに分かれる、０．５Ｎ×２Ｎ ＰＵ分割型とを含む、請求項７に記載の装置。

【請求項11】

前記１つ以上のコンピュータ・プロセッサが分割に前記残差ツリー構造のデフォルトの深さを使用する場合、各ＰＵ分割型は固定の所望レベルを有する請求項７に記載の装置。

【請求項12】

前記残差ツリー構造がＴＵの前記二元分割およびＴＵの四分木分割で分岐するノードを含む請求項７に記載の装置。

【請求項13】

計算装置が、符号化されたビデオコンテンツのビットストリームを受け取る工程と、
前記計算装置が、前記ビデオコンテンツの符号化単位（ＣＵ）の予測単位（ＰＵ）のＰＵ分割型を決定する工程であって、前記ＰＵは、複数のＰＵ分割型に分割可能である工程と、
前記計算装置が、前記ＣＵの変換単位（ＴＵ）への分割のための前記ＰＵ分割型に基づいて残差ツリー構造を決定する工程であって、残差ツリー構造は少なくとも３つのレベルを含む複数のレベルを含み、レベルの増加毎に該増加の前のレベルからのさらなる分割を含み、前記分割は、ノードが２個のＴＵへ分かれる二元分割を含む工程と、
前記計算装置が、前記残差ツリー構造および前記残差ツリー構造中の前記複数のレベルのうちの所望レベルに基づいて前記ＰＵ分割型のＴＵ分割を決定する工程であって、前記所望レベルは前記計算装置がエンコーダから受け取る工程と、
前記ビデオコンテンツを復号する際に前記ＴＵ分割を使用して逆変換演算を行う工程とを備える方法。

【請求項14】

前記ＰＵ分割型は、
前記残差ツリー構造中のレベルにおいて２Ｎ×２Ｎノードが２Ｎ×Ｎの２個のノードに分かれる、２Ｎ×Ｎ ＰＵ分割型と、
前記残差ツリー構造中のレベルにおいて２Ｎ×２ＮノードがＮ×２Ｎの２個のノードに分かれる、Ｎ×２Ｎ ＰＵ分割型とを含む、請求項１３に記載の方法。

【請求項15】

前記ＰＵ分割型は、
前記残差ツリー構造中のレベルにおいて２Ｎ×Ｎノードが２Ｎ×０．５Ｎの２個のノードに分かれる、２Ｎ×０．５Ｎ ＰＵ分割型と、
前記残差ツリー構造中のレベルにおいてＮ×２Ｎノードが０．５Ｎ×２Ｎの２個のノードに分かれる、０．５Ｎ×２Ｎ ＰＵ分割型とを含む、請求項１３に記載の方法。

【請求項16】

前記ＰＵ分割型は、
前記残差ツリー構造中のレベルにおいて２Ｎ×２Ｎノードが２Ｎ×０．５Ｎの第１ノードおよび２Ｎ×ｌ．５Ｎの第２ノードに分かれる、２Ｎ×０．５Ｎ ＰＵ分割型と、
前記残差ツリー構造中のレベルにおいて２Ｎ×２Ｎノードが０．５Ｎ×２Ｎの第１ノードおよび１．５Ｎ×０．５Ｎの第２ノードに分かれる、０．５Ｎ×２Ｎ ＰＵ分割型とを含む、請求項１３に記載の方法。

【請求項17】

１つ以上のコンピュータ・プロセッサと、
命令を含む非一時的なコンピュータ読取可能記憶媒体とを備える装置であって、
前記１つ以上のコンピュータ・プロセッサは、前記命令の実行時、
符号化されたビデオコンテンツのビットストリームを受け取る工程と、
前記ビデオコンテンツの符号化単位（ＣＵ）の予測単位（ＰＵ）のＰＵ分割型を決定する工程であって、前記ＰＵは、複数のＰＵ分割型に分割可能である工程と、
前記ＣＵの変換単位（ＴＵ）への分割のための前記ＰＵ分割型に基づいて残差ツリー構造を決定する工程であって、残差ツリー構造は少なくとも３つのレベルを含む複数のレベルを含み、レベルの増加毎に該増加の前のレベルからのさらなる分割を含み、前記分割は、ノードが２個のＴＵへ分かれる二元分割を含む工程と、
前記残差ツリー構造中の前記複数のレベルのうちの所望レベルをエンコーダから受け取り、前記残差ツリー構造および前記所望レベルに基づいて前記ＰＵ分割型のＴＵ分割を決定する工程と、
前記ビデオコンテンツを復号する際に前記ＴＵ分割を使用して逆変換演算を行う工程と
を行うべく構成されている、装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、変換単位分割の残差ツリー構造に関する。

【背景技術】

【0002】

映像圧縮システムは、圧縮操作の大部分についてブロック処理を使用する。ブロックは、隣接する複数のピクセルからなるグループであり、圧縮操作に関して１つの符号化単位として取り扱うことができる。理論的には、直に隣接するピクセル同士の間の相関を利用するために、より大きな符号化単位が好ましい。種々の映像圧縮規格、たとえば、動画の圧縮・伸長規格（ＭＰＥＧ：Ｍｏｔｉｏｎ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔ Ｇｒｏｕｐ）（ＭＰＥＧ）−１、（ＭＰＥＧ）−２、（ＭＰＥＧ）−４は、４×４、８×８、および１６×１６（マクロブロック（ＭＢ）と呼ばれる）のブロック・サイズを使用している。これらの規格は、一般的にマクロブロックにおいて固定変換サイズ（たとえば、４×４または８×８）を使用する。しかし、複数の変換サイズを使用する場合、どの変換サイズを使用するか指示するためにマクロブロック・レベル・パラメータが必要になる。このパラメータを含めることは、マクロブロック・レベル・パラメータを符号化する必要があるので、オーバーヘッドを増大させる。

【0003】

ＨＥＶＣ（ｈｉｇｈ ｅｆｆｉｃｉｅｎｃｙ ｖｉｄｅｏ ｃｏｄｉｎｇ）もブロック式ハイブリッド空間・時間予測符号化方式である。ＨＥＶＣは、入力画像を図１に示す最大符号化単位（ＬＣＵ：ｌａｒｇｅｓｔ ｃｏｄｉｎｇ ｕｎｉｔ）と呼ばれる方形ブロックに分割する。各ＬＣＵは、符号化単位（ＣＵ：ｃｏｄｉｎｇ ｕｎｉｔ）と呼ばれるより小さい方形ブロックに分割することができる。図２にＣＵのＬＣＵ分割の例を示す。ＬＣＵ１００は、まず４個のＣＵ１０２に分割される。各ＣＵ１０２も、さらに４個のより小さいＣＵ１０２（その大きさはＣＵ１０２の１／４である）に分割できる。この分割プロセスは、ＣＵを分割できる回数に対する制限を課するような一定の基準に基づいて繰り返すことができる。図示したように、ＣＵ１０２−１、１０２−３、および１０２−４は、ＬＣＵ１００の大きさの１／４である。さらにＣＵ１０２−２は、４個のＣＵ、１０２−５、１０２−６、１０２−７、および１０２−８に分割されている。

【0004】

四分木データ表現は、ＬＣＵ１００のＣＵ１０２への分割状況を記述するために使用される。図３は、図１ａに示されているＬＣＵ分割の四分木１０４を示している。四分木１０４の各ノードには、このノードがさらに４個のサブノードに分割される場合には、“１”のフラグを割り当て、このノードが分割されない場合には、“０”を割り当てる。このフラグは、分割ビット（たとえば１）またはストップ・ビット（たとえば０）を呼ばれ、圧縮ビットストリーム中に符号化される。

【0005】

ノード１０６−１は、ＬＣＵ１００が４個のＣＵに分割されるので、上端ＣＵレベルにフラグ“１”を含む。中間ＣＵレベルでは、これらのフラグは、ＣＵ１０２がさらに４個のＣＵに分割されるか否かを指示する。この場合、ノード１０６−３は、ＣＵ１０２−２が４個のＣＵ１０２−５〜１０２−８に分割されているので、フラグ“１”を含んでいる。ノード１０６−２、１０６−４、および１０６−５は、これらのＣＵ１０２が分割されないので、フラグ“０”を含んでいる。ノード１０６−６、１０６−７、１０６−８、および１０６−９は、下端ＣＵレベルにあり、したがってこれらのノードには“０”または“１”のフラグ・ビットは不要である。対応するＣＵ１０２−５〜１０２−８が分割されないからである。図３に示した四分木１０４の四分木データ表現は、２進データ“１０１００”により表すことができる。この場合、各ビットは、四分木１０４のノード１０６を表す。この２進データは、エンコーダおよびデコーダに対しＬＣＵ分割を指示する。この２進データは、符号化され、かつ、オーバーヘッドとして送出される必要がある。

【0006】

ＨＥＶＣは、方形または非方形のブロック変換を使用する。各ＣＵ１０２は、１個以上の予測単位（ＰＵ）を含むことができる。ＰＵを使用して空間的予測または時間的予測を行うことができる。

【0007】

図４は、ＰＵのＣＵ分割の例を示す。図示のように、ＣＵ１０２は、４個のＰＵ、２０２−１〜２０２−４に分割されている。８×８または４×４のただ１つの変換がマクロブロックに適用される先行規格と異なり、異なるサイズの一連のブロック変換をＣＵ１０２に適用できる。たとえば図４に示したＰＵ２０２のＣＵ分割は、図５に示した一連の変換単位（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）２０４と関係づけることができる。図５において、ＰＵ２０２−１は、４個のＴＵ２０４−５〜２０４−８に分割される。また、ＴＵ２０４−２、２０４−３、および２０４−４は、対応するＰＵ２０２−２〜２０２−４と同じサイズである。ＣＵ内の各ブロック変換のサイズおよび位置は変わり得るので、ＴＵ分割を記述するために残差四分木（ＲＱＴ：ｒｅｓｉｄｕａｌ ｑｕａｄｔｒｅｅ）と呼ばれるもう１つの四分木データ表現が必要である。図６は、ＲＱＴの例を示す。ＲＱＴは、ＬＣＵ分割に関する四分木１０４について説明した方法と同様な方法で導き出される。たとえば、ＣＵ１０２が２個を超えるＴＵ２０４に分割される場合、ＲＱＴの各ノードは、“１”のフラグを含み得る。ノード２０６−１は、“１”のフラグを含む。ＣＵ１０２が４個のＴＵ２０４に分割されるからである。また、ノード２０６−２は、“１”のフラグを有する。ＴＵ２０４−１が４個のＴＵ２０４−５〜２０４−８に分割されるからである。その他のすべてのノード２０６は、“０”のフラグを有する。ＴＵ２０４−２、２０４−３、および２０４−４は分割されないからである。ＲＱＴデータ表現における“１１０００”の２進データも符号化され、オーバーヘッドとして送出される必要がある。

【発明の概要】

【発明が解決しようとする課題】

【0008】

ＲＱＴは、各ノードを別の４個のノードに分岐する。ＴＵが分割される場合には常に、ＴＵは４個のＴＵに分割される。これは四分木表現を必要とし、それは、分割される各ノードについて４本の枝を含む。４本の枝を有することは、符号化して送出しなければならないデータの量を増大させる。さらに、４個のＴＵへの分割では、運動情報を効率的に表現できないことがある。

【課題を解決するための手段】

【0009】

１つの実施形態では、１つの方法は、ビデオコンテンツの符号化単位（ＣＵ）の予測単位（ＰＵ）を受け取る工程を含む。ＰＵは、複数のＰＵ分割型に分割できる。この方法は、ＣＵの変換単位（ＴＵ）への分割のためのＰＵ分割型に基づいてＰＵのＰＵ分割型および残差ツリー構造を決定する。残差ツリーは、ノードの２個のＴＵへの二元分割を含む。ＰＵ分割型のＴＵ分割は、残差ツリー構造および残差ツリー構造中の分割の所望レベルに基づいて決定される。この方法は、次に変換操作においてＴＵ分割を使用する。

【0010】

１つの実施形態では、１つ以上のコンピュータ・プロセッサと、実行される場合に１つ以上のコンピュータ・プロセッサを制御する命令を含むコンピュータ読取可能記憶媒体とを含む装置が提供される。これらのコンピュータ・プロセッサは、以下を行うように構成される：ビデオコンテンツの符号化単位（ＣＵ）の予測単位（ＰＵ）を受け取ること（この場合、ＰＵは、複数のＰＵ分割型に分割可能である）、ＰＵのＰＵ分割型を決定すること、ＣＵの変換単位（ＴＵ）への分割に関するＰＵ分割型に基づいて残差ツリー構造を決定すること（この残差ツリーは、ノードの２個のＴＵへの二元分割を含む）、残差ツリー構造および残差ツリー構造における所望の分割レベルに基づいてＰＵ分割型のＴＵ分割を決定すること、および変換操作においてＴＵ分割を使用すること。

【0011】

１つの実施形態では、ビデオコンテンツを復号する１つの方法を提供する。この方法は、以下の工程を含む：符号化されたビデオコンテンツのビットストリームを受け取る工程、計算装置により、ビデオコンテンツの符号化単位（ＣＵ）に関する予測単位（ＰＵ）のＰＵ分割型を決定する工程（この場合、ＰＵは、複数のＰＵ分割型に分割可能である）、計算装置により、ＣＵの変換単位（ＴＵ）への分割に関するＰＵ分割型に基づいて残差ツリー構造を決定する工程（この残差ツリーは、ノードの２個のＴＵへの二元分割を含んでいる）、計算装置により、残差ツリー構造および残差ツリー構造中の所望の分割レベルに基づいてＰＵ分割型のＴＵ分割を決定する工程、およびビデオコンテンツの復号に際する変換操作においてＴＵ分割を使用する工程。

【0012】

１つの実施形態では、ビデオコンテンツを復号するように構成される装置を提供する。この装置は、１つ以上のコンピュータ・プロセッサと、命令を含む非一時的なコンピュータ読取可能記憶媒体とを含む。この命令は、１つ以上のコンピュータ・プロセッサにより実行される場合、以下を行うべく構成されるように１つ以上のコンピュータ・プロセッサを制御する：符号化されたビデオコンテンツのビットストリームを受け取ること、ビデオコンテンツの符号化単位（ＣＵ）に関する予測単位（ＰＵ）のＰＵ分割型を決定すること（この場合、ＰＵは、複数のＰＵ分割型に分割可能である）、ＣＵの変換単位（ＴＵ）への分割に関するＰＵ分割型に基づいて残差ツリー構造を決定すること（残差ツリーは、ノードへの２個のＴＵへの二元分割を含んでいる）、残差ツリー構造および残差ツリー構造における所望の分割レベルに基づいてＰＵ分割型のＴＵ分割を決定すること、およびビデオコンテンツの復号に際する変換操作においてＴＵ分割を使用すること。

【図面の簡単な説明】

【0013】

【図1】最大符号化単位（ＬＣＵ）の一例を示す図。

【図2】ＬＣＵ分割の一例を示す図。

【図3】図２に示したＬＣＵ分割の四分木を示す図。

【図4】ＰＵのＣＵ分割の一例を示す図。

【図5】一連の変換単位（ＴＵ）のＰＵ分割を示す図。

【図6】ＲＱＴの一例を示す図。

【図7】１つの実施形態に従ってビデオコンテンツを符号化および復号するシステムの一例を示す図。

【図8】１つの実施形態による２Ｎ×２ＮのＣＵに関する５つの可能なＰＵ分割を示す図。

【図9】１つの実施形態による残差ツリーに関する可能なＰＵ分割の第１例を示す図。

【図10】１つの実施形態による残差ツリー構造の第２例を示す図。

【図11】１つの実施形態による残差ツリー構造の第３例を示す図。

【図12】１つの実施形態による可能なＰＵ分割の第４例を示す図。

【図13】１つの実施形態による信号授受を示すエンコーダおよびデコーダのより詳しい例示である図。

【図14】１つの実施形態によるＴＵ分割を決定する方法の簡略化フローチャート。

【図15】１つの実施形態によるデコーダにおけるＴＵ分割を決定するための簡略化フローチャート。

【図16A】１つの実施形態によるエンコーダの一例を示す図。

【図16B】１つの実施形態によるデコーダの一例を示す図。

【発明を実施するための形態】

【0014】

個々の実施形態の性質および長所のより詳しい理解のために、以下の詳細記述および添付図面を提供する。
本出願において記述するのは、映像圧縮システムの技術である。以下の記述においては、説明を目的として、多数の例および具体的な詳細により具体的な実施形態の完全な理解を得ることを期する。請求項により規定される具体的な実施形態は、これらの例のみにより、または以下に記述するその他の特徴との組み合わせにより、特徴のすべてまたは一部を含み得、また、さらに本出願において記述する特徴および概念の変形形態および均等物を含み得る。

【0015】

図７は、１つの実施形態によるビデオコンテンツの符号化および復号のためのシステム７００の例を示す。システム７００は、エンコーダ７０２およびデコーダ７０４を含んでいる。これらの両方について以下においてより詳しく説明する。

【0016】

エンコーダ７０２およびデコーダ７０４は、それぞれ、残差ツリー構造管理部７０６−１および７０６−２を含んでいる。残差ツリー構造管理部７０６は、残差ツリー（ＲＴ）を使用して符号化単位（ＣＵ）の可能な変換単位（ＴＵ）分割を決定する。１つの実施形態では、残差ツリーは、予測単位（ＰＵ）の二元分割を可能にする。変換単位、予測単位、および符号化単位は、種々の名称により言及されるビデオコンテンツの単位とすることができる。二元分割は、ＰＵを２個のＴＵに分割する。この場合、残差ツリーは、背景技術の項において残差四分木（ＲＱＴ）に関して述べたように４個のＴＵへの分岐分割の代わりにノードの二元分岐分割を使用する。また、残差ツリーは、ＴＵを直交分割により分割することができる。たとえば、一部のＴＵは２個のＴＵに分割され、また、一部のＴＵは４個のＴＵに分割される。

【0017】

図８は、１つの実施形態による２Ｎ×２ＮのＣＵの５個の可能なＰＵ分割を示している。８０２では、ＰＵはＣＵと同じサイズである。８０４では、ＣＵは２Ｎ×Ｎの２個のＰＵに分割される。ＣＵは水平に２個の矩形に分割される。８０６では、ＣＵはＮ×２Ｎの２個のＰＵに分割される。この場合のＣＵは垂直に２個のＰＵに分割される。８０８では、ＣＵは２Ｎ×０．５Ｎの第１のＰＵおよび２Ｎ×ｌ．５Ｎの第２のＰＵに分割される。この場合、ＰＵのサイズは異なる。８１０では、ＣＵは２Ｎ×０．５Ｎの第１のＰＵおよび２Ｎ×ｌ．５Ｎの第２のＰＵに分割される。この場合にもＰＵのサイズは異なる。しかし、ＣＵは垂直に分割される。これらの分割について記述したが、当然のことながらその他の分割も認められる。

【0018】

残差ツリー構造管理部７０６は、図８に示した分割に基づいてＴＵの残差ツリー構造を形成する。種々の例について記述するが、その他の例も認められる。
図９は、１つの実施形態による残差ツリーの可能なＰＵ分割の第１の例を示す。９０２には、種々の可能なＰＵ分割が示されている。図９は、ＰＵ分割より下にＲＴの種々のレベル（ＬＥＶＥＬ）を示している。レベルは、行われた分割の量とすることができる。たとえば、レベルの増加ごとに、前のレベルからのさらなる分割が行われる。１つの例では、９０４において、ＰＵのレベル０の分割が示されている。この場合、すべてのＰＵは、２Ｎ×２ＮのＴＵサイズから始まる。

【0019】

９０６では、ＲＴのレベル１分割が示されている。２Ｎ×２Ｎ ＰＵについて、９０６−１において、レベル０の各ノードは４個のノードに分岐され、それぞれ、Ｎ×ＮのＴＵを表している。

【0020】

９０６−２において、２Ｎ×Ｎ ＰＵについて、レベル０の各ノードは２個のノードに分岐され、それぞれ、２Ｎ×ＮのＴＵを表している。この場合、２Ｎ×２Ｎ ＴＵは、水平に２個の矩形ＴＵに分割されている。したがって、特定の実施形態は、ノードの二元分岐を提供する。

【0021】

９０６−３において、Ｎ×２Ｎ ＰＵについて、レベル０の各ノードは２個のノードに分岐され、それぞれ、Ｎ×２ＮのＴＵを表している。この場合、ＰＵは垂直に２個の矩形に分割される。これもノードの二元分岐である。

【0022】

９０６−４において、２Ｎ×０．５Ｎ ＰＵについて、レベル０の各ノードは４個のノードに分岐され、それぞれ、２Ｎ×０．５ＮのＴＵを表している。この場合、２Ｎ×２Ｎ ＴＵは水平に４個のＴＵに分割される。

【0023】

９０６−５において、０．５Ｎ×２Ｎ ＰＵについて、レベル０の各ノードは４個のノードに分岐され、それぞれ０．５Ｎ×２ＮのＴＵを表す。この場合、２Ｎ×２Ｎ ＴＵは垂直に４個の矩形ＴＵに分割される。

【0024】

９０８において、残差ツリーのレベル２分割が示されている。９０８−１において、２Ｎ×２Ｎ ＰＵについて、レベル１の各ノードは４個のノードに分岐され、それぞれ０．５Ｎ×０．５ＮのＴＵを表す。図示されている点線は、１個のＴＵの４個のＴＵへの分割を示す。９０８−１に示されている各ＴＵは、４個のＴＵに分割することができる。

【0025】

９０８−２において、２Ｎ×Ｎ ＰＵについて、レベル１の各ノードは２個のノードに分岐され、それぞれ、２Ｎ×０．５Ｎ（または９０８−６に示されているＮ×Ｎ）のＴＵを表す。９０８−２の点線により示されているように、１個のＴＵは水平に２個のＴＵに分割されている。９０６−２による別のＴＵもこのように分割することができる。別の実施形態では、各ＴＵは９０８−６に示すように２個の方形のＴＵに分割することができる。

【0026】

９０８−３において、Ｎ×２Ｎ ＰＵについて、レベル１の各ノードは２個のノードに分岐され、それぞれ、０．５Ｎ×２Ｎ（または９０８−７に示すＮ×Ｎ）のＴＵを表す。９０８−２において、点線は、ＴＵが垂直に２個のＴＵに分割されることを示している。９０６−３による別のＴＵも同じ方法により分割することができる。別の実施形態では、９０８−７において、ＴＵはＮ×Ｎの２個の方形のＴＵに分割することができる。

【0027】

９０８−４において、２Ｎ×０．５Ｎ ＰＵについて、レベル１の各ノードは４個のノードに分岐され、それぞれ、Ｎ×０．２５ＮのＴＵを表している。点線により示されているように、１個のＴＵがＮ×０．２５Ｎの４個のＴＵに分割される。９０６−４による別のＴＵも同様な方法により分割することができる。

【0028】

９０８−５において０．５Ｎ×２Ｎ ＰＵについて、レベル１の各ノードは４個のノードに分岐され、それぞれ、０．２５Ｎ×ＮのＴＵを表している。点線は、ＴＵが４個の０．２５Ｎ×Ｎ ＴＵに分割されることを示している。９０６−５による別のＴＵも同様な方法により４個のＴＵに分割することができる。

【0029】

この分割は、他のレベルへ続けることができる。全部で５個のＰＵ分割について、上のレベルの各ノードは４個のノードに分岐され、それぞれ、水平と垂直の両方に２分割された親ＴＵ寸法のＴＵを表す。

【0030】

１つの例では、残差ツリー構造管理部７０６は、ＴＵ分割を決定するために１の残差ツリー深さのようなデフォルト設定を使用する。たとえば、このデフォルト設定は、９０４−１ｌ、９０６−２、９０６−３、９０６−４、および９０６−５に太線で示した５個のＴＵ分割を選択する。この場合、このＴＵ分割は、現在のＣＵ内のすべてのＰＵに適合できる最大可能ＴＵに等しく設定される。具体的には、以下を使用することができる：
１． ２Ｎ×２Ｎ ＰＵについて、残差ツリーのレベル０のＴＵ分割が使用され、かつ、
２． ２Ｎ×Ｎ、Ｎ×２Ｎ、２Ｎ×０．５Ｎ、または０．５Ｎ×２Ｎ ＰＵについて、残差ツリーのレベル１のＴＵ分割が使用される。
特定の実施形態は、別のデフォルト分割を使用することもできる。

【0031】

図１０は、１つの実施形態による残差ツリー構造の第２の例を示す。この例では、２Ｎ×０．５Ｎおよび０．５Ｎ×２Ｎ ＰＵの二元分割の追加レベルを使用する。たとえば、１００２において、レベル０のＴＵは、水平に２Ｎ×０．５Ｎの２個のＴＵに分割されている。また、１００４において、レベル０のＴＵは垂直に０．５Ｎ×２Ｎの２個のＴＵに分割される。上記の２つの例は、ＴＵの二元分割を示している。

【0032】

以下は、レベル０、１、２、３、およびその他のレベルの分割の要約である。
１． レベル０
・ ５個の残差ツリーは、すべて、２Ｎ×２ＮのＴＵから始まる。
２． レベル１
・ ＰＵ ２Ｎ×２Ｎについて、レベル０の各ノードは４個のノードに分岐され、それぞれ、Ｎ×ＮのＴＵを表す。

【0033】

・ ＰＵ ２Ｎ×Ｎについて、レベル０の各ノードは２個のノードに分岐され、それぞれ、２Ｎ×ＮのＴＵを表す。
・ ＰＵ Ｎ×２Ｎについて、レベル０の各ノードは２個のノードに分岐され、それぞれ、Ｎ×２ＮのＴＵを表す。

【0034】

・ ＰＵ ２Ｎ×０．５Ｎについて、レベル０の各ノードは２個のノードに分岐され、それぞれ２Ｎ×ＮのＴＵを表す。
・ ＰＵ ０．５Ｎ×２Ｎについて、レベル０の各ノードは２個のノードに分岐され、それぞれＮ×２ＮのＴＵを表す。
３． レベル２
・ ＰＵ ２Ｎ×２Ｎについて、レベル１の各ノードは４個のノードに分岐され、それぞれ、０．５Ｎ×０．５ＮのＴＵを表す。

【0035】

・ ＰＵ ２Ｎ×Ｎについて、レベル１の各ノードは２個のノードに分岐され、それぞれ、２Ｎ×０．５ＮのＴＵを表す。
・ ＰＵ Ｎ×２Ｎについて、レベル１の各ノードは２個のノードに分岐され、それぞれ、０．５Ｎ×２ＮのＴＵを表す。

【0036】

・ ＰＵ ２Ｎ×０．５Ｎについて、レベル１の各ノードは２個のノードに分岐され、それぞれ、２Ｎ×０．５ＮのＴＵを表す。
・ ＰＵ ０．５Ｎ×２Ｎについて、レベル１の各ノードは２個のノードに分岐され、それぞれ、０．５Ｎ×２ＮのＴＵを表す。
４． その他のレベル
・ ５個のＰＵ分割すべてについて、上のレベルの各ノードは４個のノードに分岐され、それぞれ、水平と垂直の両方に２分割された親ＴＵ寸法のＴＵを表す。

【0037】

残差ツリーの深さが１のようなデフォルト値に設定された場合、以下を使用することができる：
１． ２Ｎ×２Ｎ ＰＵについて、残差ツリーのレベル０のＴＵ分割を使用する。
２． ２Ｎ×Ｎ ＰＵまたはＮ×２Ｎ ＰＵについて、残差ツリーのレベル１のＴＵ分割を使用する。
３． ２Ｎ×．０５Ｎ ＰＵまたは０．５Ｎ×２Ｎ ＰＵについて、レベル１の両方のノードが分岐されている残差ツリーのレベル２のＴＵ分割を使用する。

【0038】

図１１は、１つの実施形態による残差ツリー構造の第３の例を示す。この例では、レベル１のＴＵのサイズは、２Ｎ×２Ｎ ＰＵ型を除いてＰＵのサイズに等しい。たとえば、１１０２において、２Ｎ×Ｎ ＰＵについて、レベル０の各ノードは、２個のノードに分岐され、それぞれ、２Ｎ×ＮのＴＵを表している。１１０４において、Ｎ×２Ｎ ＰＵについて、レベル０の各ノードは２個のノードに分岐され、それぞれ、Ｎ×２ＮのＴＵを表している。１１０６において、２Ｎ×０．５Ｎ ＰＵについて、レベル０の各ノードは２個のノードに分岐され、一方は２Ｎ×０．５ＮのＴＵを表し、他方は２Ｎ×ｌ．５ＮのＴＵを表している。１１０８において、０．５Ｎ×２Ｎ ＰＵについて、レベル０の各ノードは２個のノードに分岐され、一方は０．５Ｎ×２ＮのＴＵを表し、他方は１．５Ｎ×２ＮのＴＵを表している。これら４つの場合、残差ツリーは、二元分割を使用してＴＵを分割する。また、ＴＵのサイズは、ＰＵのサイズに等しい。

【0039】

以下は、レベル０、１、２、およびその他のレベルにおける分割の要約である。
１． レベル０
・ ５個の残差ツリーは、すべて、２Ｎ×２ＮのＴＵから始まる。
２． レベル１
・ ＰＵ ２Ｎ×２Ｎについて、レベル０の各ノードは４個のノードに分岐され、それぞれ、Ｎ×ＮのＴＵを表す。

【0040】

・ ＰＵ ２Ｎ×Ｎについて、レベル０の各ノードは２個のノードに分岐され、それぞれ、２Ｎ×ＮのＴＵを表す。
・ ＰＵ Ｎ×２Ｎについて、レベル０の各ノードは２個のノードに分岐され、それぞれ、Ｎ×２ＮのＴＵを表す。

【0041】

・ ＰＵ ２Ｎ×０．５Ｎについて、レベル０の各ノードは２個のノードに分岐され、一方は２Ｎ×０．５ＮのＴＵを表し、他方は２Ｎ×１．５ＮのＴＵを表す。
・ ＰＵ ０．５Ｎ×２Ｎについて、レベル０の各ノードは２個のノードに分岐され、一方は０．５Ｎ×２ＮのＴＵを表し、他方は１．５Ｎ×２ＮのＴＵを表す。
３． レベル２
・ ＰＵ ２Ｎ×２Ｎについて、レベル１の各ノードは４個のノードに分岐され、それぞれ、０．５Ｎ×０．５ＮのＴＵを表す。

【0042】

・ ＰＵ ２Ｎ×Ｎについて、レベル１の各ノードは２個のノードに分岐され、それぞれ、２Ｎ×０．５Ｎ（またはＮ×Ｎ）のＴＵを表す。
・ ＰＵ Ｎ×２Ｎについて、レベル１の各ノードは２個のノードに分岐され、それぞれ、０．５Ｎ×２Ｎ（またはＮ×Ｎ）のＴＵを表す。

【0043】

・ ＰＵ ２Ｎ×０．５Ｎについて、レベル１の２Ｎ×ｌ．５Ｎのノードは３個のノードに分岐され、それぞれ、Ｎ×０．５ＮのＴＵを表す。
・ ＰＵ ０．５Ｎ×２Ｎについて、レベル１の１．５Ｎ×２Ｎのノードは３個のノードに分岐され、それぞれ、０．５Ｎ×ＮのＴＵを表す。
４． その他のレベル
・ ５個のＰＵ分割すべてについて、上のレベルの各ノードは４個のノードに分割され、それぞれ、水平と垂直の両方に２分割された親ＴＵ寸法のＴＵを表す。

【0044】

また、残差ツリーの深さが１のようなデフォルト値に設定された場合、以下を使用することができる：
１． ２Ｎ×２Ｎ ＰＵについて、残差ツリーのレベル０のＴＵ分割を使用する。
２． ２Ｎ×Ｎ ＰＵ、Ｎ×２Ｎ ＰＵ、２Ｎ×０．５Ｎ ＰＵ、または０．５Ｎ×２Ｎ ＰＵについて、残差ツリーのレベル１のＴＵ分割を使用する。

【0045】

図１２は、１つの実施形態による可能なＰＵ分割の第４例を示す。この例では、残差ツリーは、高レベルのノードのすべてを共に分割する。たとえば二元分割が１２０２、１２０４、１２０６、および１２０８において示されている。１２０２において、２Ｎ×Ｎ ＰＵについて、レベル０の各ノードは２個のノードに分岐され、それぞれ、２Ｎ×ＮのＴＵを表している。１２０４において、Ｎ×２Ｎ ＰＵについて、レベル０の各ノードは２個のノードに分割され、それぞれ、Ｎ×２ＮのＴＵを表している。１２０６において、２Ｎ×０．５Ｎ ＰＵについて、レベル１の２個のノードのそれぞれは２個のノードに分岐され、それぞれ、２Ｎ×０．５ＮのＴＵを表している。１２０８において、０．５Ｎ×２Ｎ ＰＵについて、レベル１の２個のノードのそれぞれは２個のノードに分岐され、それぞれ、０．５Ｎ×２ＮのＴＵを表している。

【0046】

以下は、レベル０、１、２、およびその他のレベルにおける分割の要約である。
１． レベル０
・ ５個のＲＴは、すべて２Ｎ×２ＮのＴＵから始まる。
２． レベル１
・ ＰＵ ２Ｎ×２Ｎについて、レベル０の各ノードは４個のノードに分岐され、それぞれ、Ｎ×ＮのＴＵを表す。

【0047】

・ ＰＵ ２Ｎ×Ｎについて、レベル０の各ノードは２個のノードに分岐され、それぞれ、２Ｎ×ＮのＴＵを表す。
・ ＰＵ Ｎ×２Ｎについて、レベル０の各ノードは２個のノードに分岐され、それぞれ、Ｎ×２ＮのＴＵを表す。

【0048】

・ ＰＵ ２Ｎ×０．５Ｎについて、レベル０の各ノードは２個のノードに分岐され、それぞれ、２Ｎ×ＮのＴＵを表す。
・ ＰＵ ０．５Ｎ×２Ｎについて、レベル０の各ノードは２個のノードに分岐され、それぞれ、Ｎ×２ＮのＴＵを表す。
３． レベル２
・ ＰＵ ２Ｎ×２Ｎについて、レベル１の各ノードは４個のノードに分岐され、それぞれ、０．５Ｎ×０．５ＮのＴＵを表す。

【0049】

・ ＰＵ ２Ｎ×Ｎについて、レベル１の２個のノードのそれぞれは２個のノードに分岐され、それぞれ、２Ｎ×０．５ＮのＴＵを表す。
・ ＰＵ Ｎ×２Ｎについて、レベル１の２個のノードのそれぞれは２個のノードに分岐され、それぞれ、０．５Ｎ×２ＮのＴＵを表す。

【0050】

・ ＰＵ ２Ｎ×０．５Ｎについてレベル１の２個のノードのそれぞれは２個のノードに分岐され、それぞれ、２Ｎ×０．５ＮのＴＵを表す。
・ ＰＵ ０．５Ｎ×２Ｎについて、レベル１の２個のノードのそれぞれは２個のノードに分岐され、それぞれ、０．５Ｎ×２ＮのＴＵを表す。
４． その他のレベル
・ ５個のＰＵ分割のすべてについて、上のレベルの各ノードは４個のノードに分岐され、それぞれ、水平と垂直の両方に２分割された親ＴＵ寸法のＴＵを表す。

【0051】

また、残差ツリーの深さが１のようなデフォルト値に設定された場合、以下を使用することができる：
ｌ． ２Ｎ×２Ｎ ＰＵについて、残差ツリーのレベル０のＴＵ分割を使用する。
２． ２Ｎ×Ｎ ＰＵまたはＮ×２Ｎ ＰＵについて、残差ツリーのレベル１のＴＵ分割を使用する。
３． ２Ｎ×０．５Ｎ ＰＵまたは０．５Ｎ×２Ｎ ＰＵについて、レベル１の両方のノードが分岐されている残差ツリーのレベル２のＴＵ分割を使用する。

【0052】

１つの例では、エンコーダ７０２とデコーダ７０４間の信号授受は、どのＴＵ分割を使用するかデコーダ７０４に指示するために行われる。図１３は、１つの実施形態による信号授受を示すエンコーダ７０２およびデコーダ７０４のより詳しい例である。ＰＵ型決定管理部１３０２は、上述のＰＵ分割のようなＰＵ分割を決定する。１つの例では、ＰＵ型決定管理部１３０２は、２Ｎ×ＮのＰＵ分割を決定し、それをＴＵ分割管理部１３０４に出力する。

【0053】

ＴＵ分割管理部１３０４は、次にどのＴＵ分割を使用するか決定する。たとえば、ＴＵ分割管理部１３０４は、予測残差を分析してＣＵの符号化コストを最小化するＴＵ分割を選択することができる。別の例では、ＴＵ分割管理部１３０４は、ビデオコンテンツの符号化プロセスに関する符号化情報を受け取ることができる。ＴＵ分割管理部１３０４は、次にこの符号化情報に基づいてどのＴＵ分割を使用するか選択することができる。１つの例では、ＴＵ分割管理部１３０４は、運動情報を分析してＴＵ分割を決定することができる。たとえば、ＴＵ分割管理部１３０４は、同様な運動情報をＴＵ中にグループ化するＴＵ分割を決定する。ＴＵ分割管理部１３０４は、次に選択したＴＵ分割を表すレベルをコーダ１３０６に出力する。コーダ１３０６は、選択されたレベルをデコーダ７０４に送られるビットストリーム中に符号化する。たとえば、レベル０、１、２、またはその他のレベルがビットストリーム中に符号化され得る。

【0054】

デコーダ７０４のレシーバ１３０８がビットストリームを受け取る。レシーバ１３０８は、ビットストリーム中にコード化されているレベルを決定することができる。たとえば、分割決定管理部１３１０は、次にＰＵに適用するＴＵ分割を決定する。たとえば、ＰＵ型決定管理部１３１０は、現在のＣＵのＰＵ型を決定する。分割決定管理部１３１０はＰＵ型を受け取り、次にエンコーダ１０２から送られた残差ツリー情報を使用して現在のＣＵに適用するＴＵ分割を決定する。たとえば、エンコーダ７０２が伝達したのがレベル１であり、かつ、ＰＵが２Ｎ×Ｎ ＰＵである場合、分割決定管理部１３１０は２Ｎ×ＮのＴＵ分割を使用する。

【0055】

別の実施形態では、エンコーダ７０２およびデコーダ７０４は、ＴＵ分割を非明示的に決定することもできる。たとえば、残差ツリーの深さが１に設定されている場合にデフォルト値を使用したとき、図９〜１２に関して上述したデフォルト分割が使用され得る。たとえば、エンコーダ７０２およびデコーダ７０４は、図９〜１２において記述した可能なＴＵ分割の１つでプログラムされ得る。１のデフォルト深さが使用される場合、エンコーダ７０２およびデコーダ７０４はＰＵ型を決定し、かつ、上述したデフォルトＴＵ分割を自動的に使用することができる。

【0056】

図１４は、１つの実施形態に従ってＴＵ分割を決定する方法の簡略化フローチャート１４００を示す。１４０２において、残差ツリー構造管理部７０６−１は、ＰＵ型を決定する。１４０４において、残差ツリー構造管理部７０６−１は、適用する残差ツリーのレベルを決定する。たとえば、残差ツリー構造管理部７０６−１は、符号化されるビデオコンテンツの符号化情報を分析して残差ツリーおよびＴＵ分割を決定する。１４０６において、残差ツリー構造管理部７０６−１は、決定されたＴＵ分割に従って現在のＣＵを分割する。１４０８において、残差ツリー構造管理部７０６は、選択されたレベルをビットストリーム中にコード化する。また、エンコーダ７０２およびデコーダ７０４がレベルを非明示的に決定する場合、エンコーダ７０２は、レベルをビットストリーム中にコード化しない。

【0057】

図１５は、１つの実施形態に従ってデコーダ７０４においてＴＵ分割を決定する簡略化フローチャート１５００を示す。１５０２において、残差ツリー構造管理部７０６−２は、現在のＰＵのＰＵ型を決定する。１５０４において、残差ツリー構造管理部７０６−２は、残差ツリーのレベルを決定する。たとえば、このレベルは、エンコーダ７０２から与えられるか、またはデフォルト値が使用される。１５０６において、残差ツリー構造管理部７０６−２は、ＴＵ分割を決定する。たとえば、残差ツリーのレベルおよびＰＵ型を使用してどのＴＵ分割を現在のＰＵに適用するか決定する。

【0058】

したがって、特定の実施形態は、ノードの二元分割を可能にする残差ツリーを与える。これは、ＴＵを４個のＴＵの代わりに２個のＴＵに分割することを可能にする。これは、符号化のためにより効率的なＴＵを使用することを可能にし得る。

【0059】

エンコーダおよびデコーダの一般的動作について、これから説明する。図１６Ａは、１つの実施形態によるエンコーダ７０２の例を示す。当然のことながら、当業者は、本出願における開示および教示に基づいて、ここで記述される符号化プロセスのバリエーションを察知するであろう。

【0060】

現在のＰＵ、ｘについて、予測ＰＵ、ｘ’が空間的予測または時間的予測により得られる。次に予測ＰＵが現在のＰＵから控除され、残差ＰＵ、ｅがもたらされる。空間的予測ブロック１６０４は、水平、垂直、４５度対角線、１３５度対角線、ＤＣ（均一平均化）および平面など、ＰＵごとに異なる空間的予測方向を含み得る。

【0061】

時間的予測ブロック１６０６は、運動推定演算により時間的予測を行う。運動推定演算は、基準画像に対する現在のＰＵの最善一致予測を探す。最善一致予測は、運動ベクトル（ＭＶ）および関連基準画像（ｒｅｆｌｄｘ）により記述される。運動ベクトルおよび関連基準画像は、符号化されたビットストリームに含まれる。

【0062】

変換ブロック１６０６は、残差ＰＵ、ｅについて変換演算を行う。変換ブロック１６０６は、上述したＴＵ分割を受け取って変換演算を行う。変換ブロック１６０６は、残差ＰＵを変換領域Ｅに出力する。

【0063】

次に、量子化器１６０８は、残差ＰＵ、Ｅの変換係数を量子化する。量子化器１６０８は、変換係数を有限個数の可能な値に変換する。エントロピー符号化ブロック１６１０は量子化された係数をエントロピー符号化し、これにより伝達されるべき最終圧縮ビットがもたらされる。コンテキスト適応可変長符号化（ＣＡＶＬＣ：ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）またはコンテキスト適応２進演算符号化（ＣＡＢＡＣ：ｃｏｎｔｅｘｔ−ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）などの別のエントロピー符号化方法も使用できる。

【0064】

また、エンコーダ７０２内の復号プロセスにおいて、逆量子化器１６１２は、残差ＰＵの量子化された変換係数を逆量子化する。逆量子化器１６１２は、次に残差ＰＵ、Ｅ’の逆量子化された変換係数を出力する。逆変換ブロック１６１４は、逆量子化された変換係数を受け取る。逆量子化された変換係数は次に逆変換され、再構成された残差ＰＵ、ｅ’をもたらす。逆変換ブロック１６１４は上述のＴＵ分割を受け取って変換演算を行う。再構成されたＰＵ、ｅ’は、次に対応する予測ｘ’（空間的または時間的）に加算されて新しい再構成されたＰＵ、ｘ’’を形成する。ループ・フィルタ１６０６は、再構成されたＰＵ、ｘ’’についてデブロッキングを行ってブロッキング・アーチファクトを低減する。また、ループ・フィルタ１６１６は、復号された画像のデブロッキング・フィルタ・プロセスの完了後に画素適応オフセット・プロセスを行うことができる。これは、再構成されたピクセルと元のピクセル間のピクセル値のオフセットを補償する。また、ループ・フィルタ１６１６は、再構成されたＰＵについて適応ループ濾過を行うこともできる。これは、入力画像と出力画像間の符号化歪みを最小化する。また、再構成された画像が基準画像である場合、その基準画像は、将来の時間的予測のために基準バッファ１６１８に記憶される。

【0065】

図１６Ｂは、１つの実施形態によるデコーダ７０４の例を示す。当然のことながら、当業者は、本出願における開示および教示に基づいて、ここで記述される復号プロセスのバリエーションを察知するであろう。デコーダ７０４は、エンコーダ７０２から符号化されたビデオコンテンツの入力ビットを受け取る。

【0066】

エントロピー復号ブロック１６３０は、入力ビットストリームについてエントロピー復号を行って残差ＰＵの量子化された変換係数を生成する。逆量子化器１６３２は、残差ＰＵの量子化された変換係数を逆量子化する。逆量子化器１６３２は、次に残差ＰＵ、Ｅ’の逆量子化された変換係数を出力する。逆変換ブロック１６３４は、逆量子化された変換係数を受け取る。それは次に逆変換されて、再構成された残差ＰＵ、ｅ’をもたらす。逆変換ブロック１６３４は、上述したＴＵ分割を受け取って変換演算を行う。

【0067】

再構成されたＰＵ、ｅ’は、次に対応する予測ｘ’（空間的または時間的）に加算されて新しい再構成されたＰＵ、ｘ’’を形成する。ループ・フィルタ１６３６は、再構成されたＰＵ、ｘ’’についてデブロッキングを行ってブロッキング・アーチファクトを低減する。また、ループ・フィルタ１６３６は、復号された画像のデブロッキング・フィルタ・プロセスの完了後に画素適応オフセット・プロセスを行うことができる。これは、再構成されたピクセルと元のピクセル間のピクセル値のオフセットを補償する。また、ループ・フィルタ１６３６は、再構成されたＰＵについて適応ループ濾過を行うこともできる。これは、入力画像と出力画像間の符号化歪みを最小化する。また、再構成された画像が基準画像である場合、その基準画像は、将来の時間的予測のために基準バッファ１６３８に記憶される。

【0068】

予測ＰＵ、ｘ’は、空間的予測または時間的予測により得られる。空間的予測ブロック１６４０は、水平、垂直、４５度対角線、１３５度対角線、ＤＣ（均一平均化）および平面など、ＰＵごとに復号された空間的予測方向を受け取り得る。空間的予測方向を使用して予測ＰＵ、ｘ’を決定する。

【0069】

時間的予測ブロック１６４２は、運動推定演算により時間的予測を行う。復号された運動ベクトルを使用して予測ＰＵ、ｘ’を決定する。運動推定演算において内挿法を使用することができる。

【0070】

特定の実施形態は、命令実行システム、装置、システムまたは機械により、またはそれらと関連して使用される非一時的なコンピュータ読取可能記憶媒体において実現することができる。このコンピュータ読取可能記憶媒体は、特定の実施形態により記述される方法を実行するコンピュータ・システムを制御する命令を含んでいる。これらの命令は、１つ以上のコンピュータ・プロセッサにより実行される場合、特定の実施形態において記述されていることを行うために動作可能である。

【0071】

本出願における明細書および以下の請求項を通じて使用される場合、「１つの（ａ、ａｎ）」および「その（ｔｈｅ）」は、複数に対する言及を含むものとする。ただし、文脈により明確に別の解釈が要求される場合を除く。また、本出願における明細書および以下の請求項を通じて使用される場合、「の中の（ｉｎ）」意味は、「の中の（ｉｎ）」および「の上の（ｏｎ）」を含むものとする。ただし、文脈により明確に別の解釈が要求される場合を除く。

【0072】

上述の明細書は、種々の実施形態のほか、特定の実施形態の特徴を実現することができる方法を例示している。上述の例および実施形態は、単なる実施形態と考えるべきではなく、それらは、以下の請求項により規定される特定の実施形態の融通性および利点を説明するために提示されている。上記の開示および以下の請求項に基づいて、請求項により規定される本出願の範囲から逸脱することなく、その他の構成、実施形態、実現形態および均等物が使用できるであろう。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16A】

【図16B】