特許 6037341 映像をデコーディングするための方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6037341

(24)【登録日】2016年11月11日

(45)【発行日】2016年12月7日

(54)【発明の名称】映像をデコーディングするための方法

(51)【国際特許分類】

   H04N 19/119 20140101AFI20161128BHJP

   H04N 19/192 20140101ALI20161128BHJP

   H04N 19/503 20140101ALI20161128BHJP

   H04N 19/70 20140101ALI20161128BHJP

【ＦＩ】

   H04N19/119

   H04N19/192

   H04N19/503

   H04N19/70

【請求項の数】19

【全頁数】11

(21)【出願番号】特願2013-556183(P2013-556183)

(86)(22)【出願日】2012年4月20日

(65)【公表番号】特表2014-511628(P2014-511628A)

(43)【公表日】2014年5月15日

(86)【国際出願番号】JP2012061296

(87)【国際公開番号】WO2012150693

(87)【国際公開日】20121108

【審査請求日】2013年9月3日

【審判番号】不服2015-12823(P2015-12823/J1)

【審判請求日】2015年7月6日

(31)【優先権主張番号】61/482,873

(32)【優先日】2011年5月5日

(33)【優先権主張国】US

(31)【優先権主張番号】13/169,959

(32)【優先日】2011年6月27日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】000006013

【氏名又は名称】三菱電機株式会社

(74)【代理人】

【識別番号】100110423

【弁理士】

【氏名又は名称】曾我 道治

(74)【代理人】

【識別番号】100111648

【弁理士】

【氏名又は名称】梶並 順

(74)【代理人】

【識別番号】100122437

【弁理士】

【氏名又は名称】大宅 一宏

(74)【代理人】

【識別番号】100147566

【弁理士】

【氏名又は名称】上田 俊一

(74)【代理人】

【識別番号】100161171

【弁理士】

【氏名又は名称】吉田 潤一郎

(74)【代理人】

【識別番号】100161115

【弁理士】

【氏名又は名称】飯野 智史

(74)【代理人】

【識別番号】100188329

【弁理士】

【氏名又は名称】田村 義行

(72)【発明者】

【氏名】コーエン、ロバート・エイ

(72)【発明者】

【氏名】ヴェトロ、アンソニー

(72)【発明者】

【氏名】スン、ハイファン

【合議体】

【審判長】 藤井 浩

【審判官】 清水 正一

【審判官】 渡邊 聡

(56)【参考文献】

【文献】 国際公開第２０１１／０４９１１９（ＷＯ，Ａ１）

【文献】 国際公開第２００６／０２８０８８（ＷＯ，Ａ１）

【文献】 国際公開第２０１０／１１６８６９（ＷＯ，Ａ１）

【文献】 Ｋｅｎ ＭｃＣａｎｎ， ｅｔ ａｌ．， “Ｓａｍｓｕｎｇ’ｓ Ｒｅｓｐｏｎｓｅ ｔｏ ｔｈｅ Ｃａｌｌ ｆｏｒ Ｐｒｏｐｏｓａｌｓ ｏｎ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ Ｔｅｃｈｎｏｌｏｇｙ”， Ｊｏｉｎｔ Ｃｏｌｌａｂｏｒａｔｉｖｅ Ｔｅａｍ ｏｎ Ｖｉｄｅｏ Ｃｏｄｉｎｇ （ＪＣＴ−ＶＣ） ｏｆ ＩＴＵ−Ｔ ＳＧ１６ ＷＰ３ ａｎｄ ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１ １ｓｔ Ｍｅｅｔｉｎｇ： Ｄｒｅｓｄｅｎ， ＤＥ， １５−２３ Ａｐｒｉｌ， ２０１０， Ｄｏｃｕｍｅｎｔ： ＪＣＴＶＣ−Ａ１２４， ｐｐ．１，７−１０

(58)【調査した分野】（Int.Cl.，ＤＢ名）

H04N 19/00 - 19/98

(57)【特許請求の範囲】

【請求項1】

映像をデコーディングする、コンピュータによって実行される方法であって、
プロセッサにより、コーディングされた映像を含むビットストリームを復号して、変換木を生成するための分割フラグと、コーディング単位（以下、ＣＵという）の予測単位（以下、ＰＵという）への区画情報とを得る、復号するステップと、
プロセッサにより、前記分割フラグに従って複数のレベルの前記変換木を生成するステップであって、前記変換木内のノードは、前記ＣＵに直接関連付けられた変換単位（以下、ＴＵという）を表し、前記生成するステップは、
前記分割フラグが設定されている場合にのみ、前記ＴＵを分割し、前記ＴＵの分割に従って前記変換木を変更すること、
を更に含むステップと、
プロセッサにより、前記変換木に従って前記ＰＵに関連付けられた前記ＴＵを用いて、前記ＰＵに含まれるデータを復号化するステップと、を含み、
前記生成するステップは、
正方形のＴＵが、複数の長方形のＴＵに分割されることと、
複数のＴＵを含む各ＰＵについて、前記複数のＴＵをより大きなＴＵにマージすることと、
前記マージに従って前記変換木を変更することと、を含む、
方法。

【請求項2】

各ＴＵのサイズが所定の最小値に等しくなるまで、前記分割することと、前記マージすることと、前記変更することとを繰り返すこと、
を更に含む、請求項１に記載の方法。

【請求項3】

前記繰り返すことは、特定のノードの前記ＴＵが前記関連付けられたＰＵ内に完全に包含されているとは限らない場合に続けられる、請求項２に記載の方法。

【請求項4】

前記ビットストリームは、暗黙的分割フラグを含み、前記暗黙的分割フラグが設定されていない場合、前記分割フラグは、前記変換木内の対応する前記ノードについて、前記ビットストリーム内に信号化されている、請求項１に記載の方法。

【請求項5】

前記ビットストリームは、暗黙的分割フラグを含み、前記暗黙的分割フラグが設定され、かつ、あらかじめ規定された分割条件が満たされている場合にのみ、前記繰り返すことが実行される、請求項２に記載の方法。

【請求項6】

長方形のＴＵを前記分割することは、前記長方形のＴＵの長軸の方向に沿っている、請求項１に記載の方法。

【請求項7】

前記分割することは、３つ以上のＴＵを生成する、請求項１に記載の方法。

【請求項8】

前記ＴＵの最大長又は最大幅が削減される、請求項１に記載の方法。

【請求項9】

前記ＰＵは、任意の形状及びサイズを有する、請求項１に記載の方法。

【請求項10】

前記分割することは、長方形のＴＵを生成する、請求項１に記載の方法。

【請求項11】

前記ＴＵの水平方向及び垂直方向の寸法が、前記ＰＵの水平方向及び垂直方向の寸法の特徴と整合される、請求項１に記載の方法。

【請求項12】

前記ＰＵは、ビデオデータの一部分を含む、請求項１に記載の方法。

【請求項13】

前記ＰＵは、予測プロセスから得られた残差データを含む、請求項１に記載の方法。

【請求項14】

前記変換木はＮ分木である、請求項１に記載の方法。

【請求項15】

長方形のＴＵの前記分割は、短軸の方向に沿っている、請求項１に記載の方法。

【請求項16】

正方形又は長方形のＴＵが、より大きなＴＵにマージされる、請求項１に記載の方法。

【請求項17】

前記Ｎ分木のＮの値は、前記変換木のノードが異なるごとに異なる、請求項１４に記載の方法。

【請求項18】

前記ＴＵは、複数のＰＵがインター予測される場合に、前記ＰＵにまたがる、請求項１に記載の方法。

【請求項19】

前記ＴＵは、前記変換木のリーフノードによって表される、請求項１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、包括的には、映像をコーディングすることに関し、より詳細には、映像を符号化及び復号化することに関連して、階層的な変換単位を用いて映像をコーディングするための方法に関する。

【背景技術】

【0002】

Ｈ．２６４／ＭＰＥＧ−４ＡＶＣとして現在開発中の高効率ビデオコーディング（ＨＥＶＣ：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格の場合、残差ブロックへのＴＵの適用は、非特許文献１に記載されているような木によって表される。

【0003】

コーディング層
上記規格に定義されている階層的なコーディング層は、ビデオシーケンス層、映像層、スライス層、及び木ブロック層を含む。上位層は下位層を包含する。

【0004】

木ブロック
提案された規格によれば、映像は、スライスに区画化され、各スライスは、ラスター走査において連続して順序付けされた一連の木ブロック（ＴＢ：Ｔｒｅｅｂｌｏｃｋ）に区画化される。映像及びＴＢは、Ｈ．２６４／ＡＶＣ等のこれまでのビデオコーディング規格におけるフレーム及びマクロブロックにそれぞれ広義で類似している。ＴＢの最大許容サイズは、６４×６４ピクセルのルーマ（輝度）及び彩度（色）のサンプルである。

【0005】

コーディング単位
コーディング単位（ＣＵ：Ｃｏｄｉｎｇ Ｕｎｉｔ）は、イントラ予測及びインター予測に用いられる分割の基本単位である。イントラ予測は、単一の映像の空間領域において動作する一方、インター予測は、予測される映像と以前に復号化された映像のセットとの間の時間領域において動作する。ＣＵは常に正方形であり、１２８×ｌ２８（ＬＣＵ）ピクセル、６４×６４ピクセル、３２×３２ピクセル、１６×１６ピクセル、及び８×８ピクセルとすることができる。ＣＵは、ＴＢから開始して、サイズが等しい４つのブロックへの再帰的な分割を可能にする。このプロセスによって、ＴＢと同じだけの大きさか、又は小さい場合で８×８ピクセルの大きさとすることができるＣＵブロックで構成されるコンテンツ適応コーディング木構造が得られる。

【0006】

予測単位（ＰＵ）
予測単位（ＰＵ：Ｐｒｅｄｉｃｔｉｏｎ Ｕｎｉｔ）は、予測プロセスに関する情報（データ）を保有するのに用いられる基本単位である。一般に、ＰＵは、区画化を容易にするために、形状が正方形であることに制限されず、形状は、例えば、映像内の実際の物体の境界に一致する。各ＣＵは、１つ又は複数のＰＵを含むことができる。

【0007】

変換単位（ＴＵ）
図１に示すように、変換木１００のルートノード１０１は、データブロック１１０に適用されるＮ×ＮのＴＵ、すなわち「変換単位」（ＴＵ：Ｔｒａｎｓｆｏｒｍ Ｕｎｉｔ）に対応する。ＴＵは、変換プロセス及び量子化プロセスに用いられる基本単位である。提案された規格では、ＴＵは、常に正方形であり、４×４ピクセルから３２×３２ピクセルまでのサイズを取ることができる。ＴＵは、ＰＵよりも大きくすることができず、ＣＵのサイズを超えない。複数のＴＵを木構造（以下、変換木）に配列することができる。各ＣＵは、１つ又は複数のＴＵを含むことができ、ここで、複数のＴＵは木構造に配列することができる。

【0008】

この例示の変換木は、４つのレベル０〜３を有する四分木である。この変換木が一度分割される場合、４つのＮ／２×Ｎ／２のＴＵが適用される。これらのＴＵのそれぞれは、その後、あらかじめ規定された限度まで分割することができる。イントラコーディングされた映像の場合、変換木は、イントラ予測残差データの「予測単位」（ＰＵ）にわたって適用される。これらのＰＵは、現在、サイズ２Ｎ×２Ｎピクセル、２Ｎ×Ｎピクセル、Ｎ×２Ｎピクセル、又はＮ×Ｎピクセルの正方形又は長方形として定義されている。イントラコーディングされた映像の場合、正方形のＴＵは、全体がＰＵ内に包含されなければならず、そのため、許容される最大ＴＵサイズは、通常、２Ｎ×２Ｎピクセル又はＮ×Ｎピクセルである。この変換木構造内のａ〜ｊのＴＵとａ〜ｊのＰＵとの間の関係は、図１に示されている。

【0009】

図２に示すように、提案されたＨＥＶＣ規格について、非特許文献２に記載されているような新たなＰＵ構造が提案されている。このＳＤＩＰ方法を用いると、ＰＵは、１ピクセル又は２ピクセルの幅、例えばＮ×２ピクセル、２×Ｎピクセル、Ｎ×１ピクセル、又は１×Ｎピクセルほどの小さな細片又は長方形２０１とすることができる。そのような狭いＰＵに区画化された、イントラコーディングされたブロック上に変換木を重ね合わせるとき、変換木は、ＴＵのサイズが２×２又は１×１のみとなるレベルに分割される。ＴＵのサイズは、ＰＵのサイズよりも大きくすることはできない。大きくした場合、変換プロセス及び予測プロセスが複雑になる。これらの新たなＰＵ構造を利用する従来技術のＳＤＩＰ方法は、例えば、１×Ｎ及び２×ＮのＴＵとして規定される。長方形のＴＵのサイズに起因して、この従来技術は、ＨＥＶＣ規格の現在の暫定仕様書にある変換木構造と適合していない。ＳＤＩＰは、上記規格において要求されている変換木を用いず、その代わり、ＴＵサイズは、ＰＵのサイズによって暗黙的に定められる。

【先行技術文献】

【非特許文献】

【0010】

【非特許文献1】「Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ Ｕｓｉｎｇ Ｎｅｓｔｅｄ Ｑｕａｄｔｒｅｅ Ｓｔｒｕｃｔｕｒｅｓ， Ｌｅａｆ Ｍｅｒｇｉｎｇ，ａｎｄ Ｉｍｐｒｏｖｅｄ Ｔｅｃｈｎｉｑｕｅｓ ｆｏｒ Ｍｏｔｉｏｎ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｎｄ Ｅｎｔｒｏｐｙ Ｃｏｄｉｎｇ」（ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ，ｖｏｌ．２０，ｎｏ．１２，ｐｐ．１６７６−１６８７，Ｄｅｃｅｍｂｅｒ ２０１０）

【非特許文献2】Ｃａｏ他「ＣＥ６．ｂ１ Ｒｅｐｏｒｔ ｏｎ Ｓｈｏｒｔ Ｄｉｓｔａｎｃｅ Ｉｎｔｒａ Ｐｒｅｄｉｃｔｉｏｎ Ｍｅｔｈｏｄ （ＳＤＩＰ）」（ＪＣＴＶＣ−Ｅ２７８，Ｍａｒｃｈ ２０１１）

【発明の概要】

【発明が解決しようとする課題】

【0011】

したがって、依然として、上記提案された規格によって定義されたＴＵの木構造を維持しながら、正方形及び長方形のＴＵを分割して、長方形、及び場合によっては非常に狭い長方形のＰＵに対して適用する方法が必要とされている。

【課題を解決するための手段】

【0012】

ビットストリームが、コーディングされた映像及び分割フラグ（ｓｐｌｉｔ−ｆｌａｇｓ）を含む。分割フラグは、変換木を生成するのに用いられる。実際には、このビットストリームは、コーディング単位（ＣＵ）を予測単位（ＰＵ）に区画化したものである。

【0013】

変換木は、分割フラグに従って生成される。変換木内のノードは、ＣＵに関連付けられた変換単位（ＴＵ）を表す。

【0014】

対応する分割フラグが設定されている場合にのみ、生成によって、各ＴＵが分割される。

【0015】

複数のＴＵを含む各ＰＵについて、複数のＴＵが、より大きなＴＵにマージされ、変換木は、分割及びマージに従って変更される。

【0016】

その後、各ＰＵに含まれるデータを、変換木に従ってそのＰＵに関連付けられたＴＵを用いて復号化することができる。

【図面の簡単な説明】

【0017】

【図1】従来技術による変換単位のための木分割の図である。

【図2】従来技術による長方形の予測単位への分解の図である。

【図3】本発明の実施の形態によって用いられる一例示の復号化システムの流れ図である。

【図4】本発明による変換木生成の第１のステップの図である。

【図5】本発明による変換木生成の第２のステップの図である。

【発明を実施するための形態】

【0018】

本発明の実施の形態は、階層的な変換単位（ＴＵ）を用いて映像をコーディングするための方法を提供する。コーディングは、符号化（ｅｎｃｏｄｉｎｇ）及び復号化（ｄｅｃｏｄｉｎｇ）を包含する。一般に、符号化及び復号化は、コーデック（コーダーデコーダー（ＣＯＤｅｒ−ＤＥＣｏｄｅｒ））において実行される。コーデックは、デジタルデータストリーム又はデジタル信号を符号化及び／又は復号化することができるデバイス又はコンピュータープログラムである。例えば、コーダーは、ビットストリーム又は信号を圧縮、送信、記憶、又は暗号化のために符号化し、デコーダーは、符号化されたビットストリームを再生又は編集のために復号化する。

【0019】

本方法は、依然として、高効率ビデオコーディング（ＨＥＶＣ）規格に定義された変換単位（ＴＵ）の階層的な変換木構造を維持しながら、正方形及び長方形のＴＵを、映像の長方形部分、及び場合によっては非常に狭い長方形部分に対して適用する。変換は、変換又は逆変換のいずれも指すことができる。好ましい実施の形態では、変換木は四分木（Ｑ木）であるが、二分木（Ｂ木）及び八分木等、一般的にはＮ分木の他の木構造も可能である。

【0020】

本方法への入力は、予測単位（ＰＵ）に区画化されたＮ×Ｎのコーディング単位（ＣＵ）である。本発明は、ＴＵをＰＵに対して適用するのに用いられる変換木を生成する。

【0021】

復号化システム
図３は、本発明の実施の形態によって用いられる一例示のデコーダー及び方法のシステム３００を示している。すなわち、本方法のステップは、デコーダーによって実行され、このデコーダーは、当該技術分野において知られているように、ソフトウェア、ファームウェア、又はメモリ及び入出力インターフェースに接続されたプロセッサとすることができる。

【0022】

本方法（又はデコーダー）への入力は、コーディングされた映像、例えば、画像又はビデオにおける画像のシーケンスのビットストリーム３０１である。このビットストリームは、パースされて（３１０）、変換木を生成するための分割フラグ３１１が得られる。これらの分割フラグは、変換木２２１の対応するノードのＴＵと、処理されるデータ３１２、例えばＮ×Ｎのデータブロックとに関連付けられる。このデータは、コーディング単位（ＣＵ）を予測単位（ＰＵ）に区画化したものを含む。

【0023】

換言すれば、いずれのノードも、変換木内の所与の深さにおけるＴＵを表す。ほとんどの場合、リーフノードにおけるＴＵのみが実現される。しかしながら、コーデックは、変換木の階層における上位のノードにおけるＴＵを実施することができる。

【0024】

分割フラグは、変換木３２１を生成する（３２０）のに用いられる。次に、ＰＵ内のデータは、変換木に従って復号化され、復号化されたデータ３０２が生成される。

【0025】

生成ステップ３２０は、分割フラグ３１１が設定されている場合にのみ各ＴＵを分割する（３５０）ことを含む。

【0026】

複数のＴＵを含む各ＰＵについて、これらの複数のＴＵは、より大きなＴＵにマージされる。例えば、１６×８のＰＵは、２つの８×８のＴＵによって区画化することができる。これらの２つの８×８のＴＵは、１つの１６×８のＴＵにマージすることができる。別の例では、６４×６４の正方形のＰＵが、１６個の８×３２のＴＵに区画化される。これらのＴＵのうちの４つが、３２×３２の正方形のＴＵにマージされ、他のＴＵは、８×３２の長方形のまま残る。マージすることによって、多くの非常に小さなＴＵ、例えば１×１のＴＵを有する従来技術（非特許文献２参照）の問題が解決される。次に、変換木３２１は、分割及びマージに従って変更される（３７０）。

【0027】

分割、区画化、マージ、及び変更は、ＴＵのサイズが所定の最小値３８０に等しくなるまで繰り返すことができる（３８５）。

【0028】

変換木が生成された（３２０）後、各ＰＵに含まれるデータ３１２は、そのＰＵに関連付けられたＴＵを用いて復号化することができる。

【0029】

次に、様々な実施の形態を説明する。

【0030】

実施の形態１：
図４は、入力されたＣＵのＰＵ３１２への区画化３１２と、分割フラグに従ったＰＵの反復的な分割３５０（又は反復的でない分割）と、その後のマージとを示している。

【0031】

ステップ１：変換木のルートノードは、Ｎ×ＮのＰＵ３１２をカバーする最初のＮ×ＮのＴＵに対応する。図３に示すようにデコーダー３００によって受信されたビットストリーム３０１は、このノードに関連付けられている分割フラグ３１１を含む。分割フラグが設定されていない場合（４０１）、対応するＴＵは分割されず、このノードのためのプロセスは完了する。分割フラグが設定されている場合（４０２）、Ｎ×ＮのＴＵが複数のＴＵに分割される（４０３）。生成されるＴＵの数は、木の構造に対応し、例えば、四分木の場合は４つである。分割によって生成されるＴＵの数は変更することができることに留意されたい。

【0032】

次に、デコーダーは、ＰＵが複数のＴＵ（正：ｍｕｌｔｉｐｌｅ ＴＵｓ）を含むと判断する。例えば、長方形のＰＵは、複数のＴＵ、例えば、それぞれサイズＮ／２×Ｎ／２の２つの正方形のＴＵを含む。この場合、そのＰＵ内の複数のＴＵは、当該ＰＵの寸法と整合したＮ×Ｎ／２のＴＵ又はＮ／２×Ｎの長方形のＴＵ４０５にマージされる（４０４）。長方形のＰＵ及びＴＵは、長さに対応する長軸と、幅に対応する短軸とを含むことができる。正方形のＴＵをそれよりも長い長方形のＴＵにマージすることによって、従来技術（非特許文献２参照）のような長く狭い長方形が多くの小さな正方形のＴＵに分割される可能性がある問題が排除される。マージは、ＰＵ内のＴＵの数も削減する。

【0033】

多くの小さなＴＵを有することは、通例、少数のより大きなＴＵを有することよりも効果的でなく、特に、これらのＴＵの寸法が小さい場合、又は複数のＴＵが類似のデータをカバーする場合に効果的ではない。

【0034】

次に、変換木が変更される。第１のＮ／２×Ｎ／２のＴＵ４０６と相応していた変換木の枝が、マージされた長方形のＴＵに対応するように再定義され、第２のマージされたＴＵに対応していた変換木の枝が除去される。

【0035】

ステップ２：ステップ１において生成された各ノードについて、ＴＵのサイズがあらかじめ規定された最小値に等しい場合、このプロセスは、そのノードについては終了する。残りの各ノードは、関連付けられた分割フラグが設定されているとき、又はそのノードのＴＵがＰＵ内に完全に包含されているとは限らない場合に更に分割される。

【0036】

一方、ステップ１とは異なり、ノードが分割される方法は、図５に示すように、ＰＵの形状に依存する。なぜならば、ＰＵは、任意の形状及びサイズを有することができるからである。この分割は、以下のステップ２ａ又はステップ２ｂにおいて説明するように実行される。ビットストリーム内に分割フラグを捜すのか、又はＴＵが２つ以上のＰＵをカバーするときに分割するのかの決定は、事前に行うことができる。すなわち、システムは、分割フラグが、ビットストリーム内に信号化されるように、又は分割フラグが、最小若しくは最大のＴＵサイズ、若しくはＴＵが複数のＰＵにまたがるか否か等の判定基準に基づいて推論されるように規定される。

【0037】

暗黙的分割フラグ
代替的に、「暗黙的分割フラグ」をビットストリーム３０１からパースすることができる。暗黙的分割フラグが設定されていない場合、分割フラグが、その対応するノードについて信号化される。暗黙的分割フラグが設定されている場合、分割フラグは、このノードについて信号化されず、分割の決定は、あらかじめ規定された分割条件に基づいて行われる。これらのあらかじめ規定された分割条件は、ＴＵが複数のＰＵにまたがるか否か又はＴＵのサイズ制限が満たされているか否か等の他の要因を含むことができる。この場合、暗黙的分割フラグは、分割フラグが含まれている場合には、この分割フラグの前に受信される。

【0038】

例えば、暗黙的分割フラグは、各ノードの前、各変換木の前、各画像若しくは各ビデオフレームの前、又は各ビデオシーケンスの前に受信することができる。イントラＰＵの場合、ＴＵは、複数のＰＵにまたがることが可能ではない。なぜならば、ＰＵは、近接したＰＵのセットから予測され、そのため、それらの近接したＰＵは、現在のＰＵを予測するのに用いられるように完全に復号化、逆変換、及び再構成されなければならないからである。

【0039】

別の例では、暗黙的フラグを設定することはできないが、あらかじめ規定されたメトリック又は条件が、分割フラグの存在を必要とすることなくノードを分割するか否かを決定するのに用いられる。

【0040】

ステップ２ａ：このノードのＴＵが正方形である場合、このプロセスは、ステップ１に戻り、このノードを新たなルートノードとして扱い、例えばサイズＮ／４×Ｎ／４の４つの正方形のＴＵに分割する。

【0041】

ステップ２ｂ：このノードのＴＵが、長方形、例えばＮ／２×Ｎである場合、このノードは、Ｎ／４×ＮのＴＵに対応する２つのノードに分割される。同様に、Ｎ×Ｎ／２のＴＵが、Ｎ×Ｎ／４のＴＵに対応する２つのノードに分割される。次に、このプロセスは、これらのノードのそれぞれについてステップ２を繰り返し、長方形のＴＵが長軸の方向に沿って分割されることを確実にし、その結果、長方形のＴＵはより細くなる。

【0042】

実施の形態２：
この実施の形態では、ステップ２ｂが、長方形のＴＵに関連付けられたノードが複数のノード、例えば４つのノード及び４つのＴＵに分割されるように変更される。例えば、Ｎ／２×ＮのＴＵが、４つのＮ／８×ＮのＴＵに分割される。より多くの数のＴＵへのこの分割は、ＰＵ内のデータが、ＰＵ内の部分が異なるごとに異なる場合に有益となり得る。この実施の形態は、１つの長方形のＴＵを４つの長方形のＴＵに分割するのに二分木の２つのレベルを必要とするのではなく、１つのＴＵを４つの長方形のＴＵに分割するのに１つの四分木レベルしか必要とせず、したがって、１つの分割フラグしか必要としない。この実施の形態は、あらかじめ規定することもできるし、暗黙的フラグが信号化された方法と同様に、「複数分割フラグ」としてビットストリーム内に信号化することもできる。

【0043】

実施の形態３：
ここでは、ステップ１が、正方形のＴＵのサイズがあらかじめ規定された閾値よりも小さくなるまで、正方形のＴＵに関連付けられたノードが長方形になるようマージされないように変更される。例えば、閾値が４である場合、長方形の８×４のＰＵは、２つの４×４のＴＵによってカバーすることができる。一方、４×２のＰＵは、２つの２×２のＴＵによってカバーすることができない。この場合、実施の形態１が適用され、これらの２つのノードは、マージされて、４×２のＰＵをカバーするように４×２のＴＵを形成する。この実施の形態は、性能又は複雑度を考慮したことによって正方形のＴＵが好ましい場合に有用であり、長方形のＴＵは、正方形のＴＵがそれらの小さな寸法に起因して効果を失うときにのみ用いられる。

【0044】

実施の形態４：
この実施の形態では、ステップ２ｂが、長方形のＴＵに関連付けられたノードを分割して、３つ以上の正方形又は長方形のＴＵを形成することができるように変更される。この場合、分割は、必ずしも、長方形の長い方の寸法と整合していない。例えば、１６×４のＴＵは、４つの４×４のＴＵ又は２つの８×４のＴＵに分割することができる。正方形のＴＵに分割するのか又は長方形のＴＵに分割するのかの選択は、暗黙的フラグの場合と同様に、ビットストリーム内のフラグによって明示的に示すこともできるし、符号化／復号化プロセスの一部としてあらかじめ規定することもできる。

【0045】

この実施の形態は、通常、非常に大きな長方形のＴＵ、例えば６４×１６に用いられ、その結果、８つの１６×１６のＴＵが２つの６４×８のＴＵの代わりに用いられる。別の例は、６４×１６のＴＵを４つの３２×８のＴＵに分割する。例えば、非常に長い水平のＴＵは、水平方向のリンギング等のアーティファクを生成する可能性があり、そのため、この実施の形態は、長方形のＴＵの最大長を低減することによってこれらのアーティファクトを低減する。この最大長も、ビットストリーム内に信号として含めることができる。同様に、最大幅を指定することができる。

【0046】

実施の形態５：
この実施の形態では、ステップ１が、Ｎ×ＮのＴＵが長方形のＴＵ、すなわちサイズＮ／２×Ｎ／２以外に直接分割されるように変更される。例えば、Ｎ×ＮのＴＵは、４つのＮ／４×ＮのＴＵに分割することができる。この実施の形態は、ＰＵが正方形であり得る場合であっても、正方形のＴＵを複数の長方形のＴＵに直接分割することができるという点で実施の形態２と異なる。

【0047】

この実施の形態は、ＰＵ内の特徴が水平又は垂直に配向しており、その結果、それらの特徴の方向と整合した水平又は垂直の長方形のＴＵが、ＰＵ内の配向したデータを分割する複数の正方形のＴＵよりも効果的であり得る場合に有用である。特徴は、色、エッジ、リッジ、コーナー、物体、及び他の関心のある点を含むことができる。上記で述べたように、この種の分割を行うか否かは、暗黙的分割フラグの場合と同様に、あらかじめ規定することもできるし、信号化することもできる。

【0048】

実施の形態６：
この実施の形態では、ステップ１が、ＴＵが複数のＰＵにまたがることができるように変更される。これは、ＰＵがインター予測されるときに起こる可能性がある。例えば、インター予測されるＰＵは、同じＣＵ内から復号化されたデータからではなく、以前に復号化された映像からのデータを用いて予測される。したがって、変換は、ＣＵ内の複数のＰＵにわたって適用される可能性がある。

【図1】

【図2】

【図3】

【図4】

【図5】