特許 7350988 ビデオコーディングにおける小さい色差ブロックサイズ制限

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-15

(45)【発行日】2023-09-26

(54)【発明の名称】ビデオコーディングにおける小さい色差ブロックサイズ制限

(51)【国際特許分類】

   H04N 19/70 20140101AFI20230919BHJP

【ＦＩ】

H04N19/70

【請求項の数】 14

(21)【出願番号】P 2022509166

(86)(22)【出願日】2020-08-14

(65)【公表番号】

(43)【公表日】2022-08-04

(86)【国際出願番号】 US2020046501

(87)【国際公開番号】W WO2021030747

(87)【国際公開日】2021-02-18

【審査請求日】2022-02-14

(31)【優先権主張番号】62/887,650

(32)【優先日】2019-08-15

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】62/900,424

(32)【優先日】2019-09-13

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】521024075

【氏名又は名称】ベイジン・ダジア・インターネット・インフォメーション・テクノロジー・カンパニー，リミテッド

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100106208

【弁理士】

【氏名又は名称】宮前 徹

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100147991

【弁理士】

【氏名又は名称】鳥居 健一

(74)【代理人】

【識別番号】100201743

【弁理士】

【氏名又は名称】井上 和真

(72)【発明者】

【氏名】チェン，イー－ウエン

(72)【発明者】

【氏名】シウ，シヤオユー

(72)【発明者】

【氏名】マ，ツン－チュアン

(72)【発明者】

【氏名】ジュ，ホーン－ジェン

(72)【発明者】

【氏名】ワーン，シアーンリン

(72)【発明者】

【氏名】ユ，ビーン

【審査官】鉢呂 健

(56)【参考文献】

【文献】特表２０２２－５１８３７８（ＪＰ，Ａ）

【文献】CHEN, Yi-Wen et al.，Non-CE3: Spec fix for the smallest chroma intra prediction unit (SCIPU)，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 October 2019, [JVET-P0520]，JVET-P0520 (version 2)，ITU-T，2019年09月25日，＜URL:https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0520-v2.zip＞: JVET-P0520.docx: pp.1-2

【文献】DENG, Zhipin et al.，Non-CE3: Cleanups on local dual tree for non-4:2:0 chroma formats，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 October 2019, [JVET-P0537-v2]，JVET-P0537 (version 3)，ITU-T，2019年10月09日，＜URL:https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0537-v3.zip＞: JVET-P0537_r1.docx: pp.1-4

【文献】JANG, Hyeongmun et al.，NonCE: to support SCIPU with local dual tree for various color format，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 October 2019, [JVET-P0575]，JVET-P0575 (version 1)，ITU-T，2019年09月25日，＜URL:https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0575-v1.zip＞: JVET-P0575.docx: pp.1-4

【文献】ZHAO, Yin et al.，AHG16: Fix on local dual tree，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 October 2019, [JVET- P0063-v2]，JVET-P0063 (version 2)，ITU-T，2019年10月03日，＜URL:https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0063-v2.zip＞: JVET-P0063-v2.docx: pp.1-6

【文献】VAN, Luong Pham et al.，Non-CE3: Generalization of SCIPU for different YUV formats，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 16th Meeting: Geneva, CH, 1-11 October 2019, [JVET-P0406-v3]，JVET-P0406 (version 3)，ITU-T，2019年10月02日，＜URL:https://jvet-experts.org/doc_end_user/documents/16_Geneva/wg11/JVET-P0406-v3.zip＞: JVET-P0406_v3_Clean.docx: pp.1-6

【文献】LIN, Zhi-Yi et al.，CE3-2.1.1 and CE3-2.1.2: Removing 2x2, 2x4, and 4x2 chroma CBs，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 15th Meeting: Gothenburg, SE, 3-12 July 2019, [JVET-O0050-v2]，JVET-O0050 (version 4)，ITU-T，2019年07月10日，＜URL:https://jvet-experts.org/doc_end_user/documents/15_Gothenburg/wg11/JVET-O0050-v4.zip＞: JVET-O0050-v2.docx: pp.1-5, JVET-O0050_Spec_CE3-2.1.2.docx: pp.53-54,108-110

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

ビデオ復号のための方法であって、
所定の分割方法に関連する符号化ユニットをビットストリームから受け取るステップを備え、
前記符号化ユニットのモードタイプの条件を決定するステップであって、
前記符号化ユニットが４：４：４又は４：０：０の色差フォーマットで符号化されているとの決定に応じて、前記符号化ユニットの当該モードタイプの条件を第１のモードタイプの条件に設定するステップと、
前記符号化ユニットが４：２：２又は４：２：０の色差フォーマットで符号化され、かつ最小の色差イントラ予測ユニット（ＳＣＩＰＵ）であるとの決定に応じて、前記符号化ユニットの輝度ブロック及び前記分割方法が第１の基準を満たす場合に前記符号化ユニットの当該モードタイプの条件を第２のモードタイプの条件に設定し、前記符号化ユニットの前記輝度ブロック及び前記分割方法が第２の基準を満たす場合に前記符号化ユニットの当該モードタイプの条件を第３のモードタイプの条件に設定するステップと
を含む、当該決定するステップを備え、
前記符号化ユニットの当該モードタイプの条件に基づいて前記符号化ユニットを復号するステップであって、
前記符号化ユニットの当該モードタイプの条件が前記第２のモードタイプの条件であるとの決定に応じて、イントラモードを使用して、前記符号化ユニットにおける各符号化ブロックを復号するステップと、
前記符号化ユニットの当該モードタイプの条件が前記第３のモードタイプの条件であるとの決定に応じて、前記符号化ユニットに関連する予測モードを指示するシンタックス要素を前記ビットストリームから受け取るステップと、
前記シンタックス要素が第１の値を有するとの決定に応じて、インターモードを使用して、前記符号化ユニットにおける各符号化ブロックを復号するステップと、
前記シンタックス要素が第２の値を有するとの決定に応じて、前記イントラモードを使用して、前記符号化ユニットにおける各符号化ブロックを復号するステップと
を含む、当該復号するステップを備える、方法。

【請求項2】

請求項１に記載の方法であって、前記符号化ユニットの当該モードタイプの条件が前記第１のモードタイプの条件であるときには、前記符号化ユニットの色差ブロックがさらに分割されることが許容される、方法。

【請求項3】

請求項１に記載の方法であって、前記符号化ユニットの当該モードタイプの条件が前記第２のモードタイプの条件であるときには、前記符号化ユニットの色差ブロックはさらには分割されることが許容されない、方法。

【請求項4】

請求項１に記載の方法であって、前記符号化ユニットの当該モードタイプの条件が前記第３のモードタイプの条件であり、前記予測モードが、現在の符号化ユニットが前記イントラモードにあることを指示するときには、前記符号化ユニットの色差ブロックはさらには分割されることが許容されない、方法。

【請求項5】

請求項１に記載の方法であって、前記符号化ユニットの当該モードタイプの条件が前記第３のモードタイプの条件であり、前記予測モードが、現在の符号化ユニットが前記イントラモードにはないことを指示するときには、前記符号化ユニットの色差ブロックはさらに分割されることが許容される、方法。

【請求項6】

請求項１に記載の方法であって、前記符号化ユニットが色差ブロックを有し、前記分割方法を用いて前記色差ブロックを分割すると、イントラ色差ブロックの最小サイズ制限に違反する子色差ブロックを得ることになる場合には、前記符号化ユニットは前記ＳＣＩＰＵである、方法。

【請求項7】

請求項１に記載の方法であって、前記分割方法を用いて前記符号化ユニットの前記輝度ブロックを分割すると、ブロックサイズが１６の子輝度ブロックを得ることになる場合には、前記符号化ユニットの前記輝度ブロック及び前記分割方法は前記第１の基準を満たす、方法。

【請求項8】

請求項１に記載の方法であって、
前記輝度ブロックのサイズが６４であり、前記分割方法が４分割である場合、
前記輝度ブロックのサイズが６４であり、前記分割方法が水平３分割又は垂直３分割である場合、あるいは
前記輝度ブロックのサイズが３２であり、前記分割方法が水平２分割又は垂直２分割である場合には、
前記符号化ユニットの前記輝度ブロック及び前記分割方法は前記第１の基準を満たす、方法。

【請求項9】

請求項１に記載の方法であって、前記符号化ユニットはＩ－スライスではなく、前記分割方法を用いて前記符号化ユニットの前記輝度ブロックを分割しても、ブロックサイズが１６の子輝度ブロックを得ることにならない場合には、前記符号化ユニットの前記輝度ブロック及び前記分割方法は前記第２の基準を満たす、方法。

【請求項10】

請求項１に記載の方法であって、
前記符号化ユニットはＩ－スライスではなく、
前記輝度ブロックのサイズは６４であり、前記分割方法は水平２分割又は垂直２分割である場合、あるいは、前記輝度ブロックのサイズは１２８であり、前記分割方法は水平３分割又は垂直３分割である場合には、
前記符号化ユニットの前記輝度ブロック及び前記分割方法は前記第２の基準を満たす、方法。

【請求項11】

請求項１に記載の方法であって、前記符号化ユニットが、４：２：２又は４：２：０の色差フォーマットで符号化され、前記ＳＣＩＰＵではないとの決定に応じて、前記符号化ユニットの当該モードタイプの条件を前記第１のモードタイプの条件に設定するステップをさらに含む方法。

【請求項12】

電子装置であって、
１つ以上の処理部と、
前記１つ以上の処理部に接続されたメモリと、
前記メモリに記憶された複数のプログラムとを備え、
前記複数のプログラムが前記１つ以上の処理部によって実行されたとき、前記電子装置に請求項１から１１のいずれか一項に記載の方法を実施させる、電子装置。

【請求項13】

１つ以上の処理部を有する電子装置による実行のための複数のプログラムを記憶している非一時的なコンピュータ読み取り可能な記録媒体であって、前記複数のプログラムは、前記１つ以上の処理部によって実行されると、前記電子装置に請求項１から１１のいずれか一項に記載の方法を実施させる、非一時的なコンピュータ読み取り可能な記録媒体。

【請求項14】

コンピュータ読み取り可能な記録媒体に記録されたコンピュータプログラムであって、コンピュータにより実行されると、請求項１から１１のいずれか１項に記載の方法を実施させる命令を含むコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本出願は、一般にビデオデータのコーディング及び圧縮に関するものであり、詳細には、ビデオコーディングにおいて最小の有効なブロックサイズを制限する方法及びシステムに関するものである。

【背景技術】

【0002】

デジタルビデオは、デジタルテレビジョン、ラップトップ型又はデスクトップ型のコンピュータ、タブレット型コンピュータ、デジタルカメラ、デジタル記録デバイス、デジタルメディアプレーヤー、ビデオゲームコンソール、スマートフォン、ビデオ遠隔会議デバイス、ビデオストリーミングデバイスなどの種々の電子デバイスによってサポートされる。そのような電子デバイスは、ＭＰＥＧ－４、ＩＴＵ－Ｔ Ｈ．２６３、ＩＴＵ－Ｔ Ｈ．２６４／ＭＰＥＧ－４ Ｐａｒｔ １０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＨＥＶＣ（高能率映像符号化：Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格などで定められたビデオ圧縮伸張規格を実装することにより、デジタルビデオデータの送信、受信、符号化、復号、及び／又は格納を行う。一般にビデオ圧縮は、空間（イントラフレーム）予測及び／又は時間（インターフレーム）予測を実行してビデオデータに固有の冗長を低減するか又は除去することを含む。ブロックベースのビデオコーディングについては、ビデオフレームが１つ以上のスライスへと分割され、各スライスが符号化ツリーユニット（ＣＴＵ：ｃｏｄｉｎｇ ｔｒｅｅ ｕｎｉｔ）とも称され得る複数のビデオブロックを有する。各ＣＴＵが１つの符号化ユニット（ＣＵ：ｃｏｄｉｎｇ ｕｎｉｔ）を含有し得、又は所定の最小のＣＵサイズに達するまで、より小さいＣＵへと再帰的に分割され得る。各ＣＵ（リーフＣＵとも命名されている）が１つ以上の変換ユニット（ＴＵ：ｔｒａｎｓｆｏｒｍ ｕｎｉｔ）を含有しており、１つ以上の予測ユニット（ＰＵ：ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）も含む。各ＣＵは、イントラモード、インターモード又はＩＢＣモードのいずれかで符号化され得る。ビデオフレームにおけるイントラ符号化（Ｉ）スライス内のビデオブロックは、同じビデオフレームの内部の近隣のブロックにおける参照サンプルに対して空間予測を使用して符号化される。ビデオフレームにおけるインター符号化（Ｐ又はＢ）スライス内のビデオブロックは、同じビデオフレーム内の近隣のブロックにおける参照サンプルに対する空間予測を使用したものでもよいし、あるいは以前の他の参照ビデオフレーム及び／又は未来の他の参照ビデオフレームにおける参照サンプルに対する時間予測を使用したものでもよい。

【0003】

たとえば近隣のブロックといった以前に符号化された参照ブロックに基づく空間予測又は時間予測により、符号化される現在のビデオブロックに関する予測ブロックが得られる。参照ブロックを見つけるプロセスは、ブロックマッチングアルゴリズムによって実現され得る。符号化される現在のブロックと予測ブロックとの間の画素差分を表す残差データは、残差ブロック又は予測誤差と称される。インター符号化ブロックは、予測ブロックを形成する、参照フレームにおける参照ブロックを指し示す動きベクトル及び残差ブロックに従って符号化される。動きベクトルを決定するプロセスは一般的には動き予測と称される。イントラ符号化ブロックは、イントラ予測モード及び残差ブロックに従って符号化される。さらなる圧縮のために、残差ブロックは、画素領域から、たとえば周波数領域といった変換領域に変換されて残差変換係数となり、次いで量子化され得る。最初に２次元配列に配置される量子化変換係数は、変換係数の１次元ベクトルを生成するために走査されてよく、次いで、さらにいっそうの圧縮を実現するためにビデオビットストリームへとエントロピー符号化される。

【0004】

次いで、符号化ビデオビットストリームは、デジタルビデオ機能を伴う別の電子デバイスによってアクセスされるコンピュータ読み取り可能な記録媒体（たとえばフラッシュメモリ）に保存されるか、又は有線もしくは無線で電子デバイスに直接伝送される。次いで、電子デバイスは、たとえば符号化ビデオビットストリームを解析してビットストリームからシンタックス要素を取得し、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいて、符号化ビデオビットストリームから得たデジタルビデオデータを元のフォーマットに再構成することによってビデオ伸張（前述のビデオ圧縮とは逆の処理）を実行し、再構成されたデジタルビデオデータを電子デバイスのディスプレイに描画する。

【0005】

デジタルビデオの品質がハイビジョン（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）から４Ｋ×２Ｋ又は８Ｋ×４Ｋに移行するにつれて、符号化／復号対象のビデオデータ量が指数関数的に増大する。復号されるビデオデータの画質を維持しながらビデオデータをいかにより効率的に符号化／復号できるかという点での絶え間ない努力がある。

【発明の概要】

【発明が解決しようとする課題】

【0006】

本出願は、ビデオデータの符号化及び復号に関連した実施形態を説明するものであり、より詳細には、ビデオコーディングにおける最小の有効なブロックサイズを制限するシステム及び方法に関連した実施形態を説明するものである。

【課題を解決するための手段】

【0007】

本出願の第１の態様によれば、ビデオデータを復号する方法は、ビットストリームから、所定の分割方法に関連する符号化ツリーノードを符号化するデータを受け取るステップを備え、符号化ツリーノードのモードタイプを決定するステップであって、符号化ツリーノードが４：４：４又は４：０：０の色差サブサンプリングフォーマットで符号化されるとの決定に応じて、符号化ツリーノードを第１のモードタイプに設定するステップと、符号化ツリーノードが、４：２：２又は４：２：０の色差サブサンプリングフォーマットで符号化され、かつ最小の色差イントラ予測ユニット（ＳＣＩＰＵ：ｓｍａｌｌｅｓｔ ｃｈｒｏｍａ ｉｎｔｒａ ｐｒｅｄｉｃｔｉｏｎ ｕｎｉｔ）であるとの決定に応じて、符号化ツリーノードの輝度ブロック及び分割方法が第１の基準を満たす場合に符号化ツリーノードを第２のモードタイプに設定し、符号化ツリーノードの輝度ブロック及び分割方法が第２の基準を満たす場合に符号化ツリーノードを第３のモードタイプに設定するステップとを含む、当該決定するステップを備え、モードタイプに基づいて符号化ツリーユニットを復号するステップであって、符号化ツリーノードが第２のモードであるとの決定に応じて、イントラ予測モードを使用して、符号化ツリーノードにおける各符号化ブロックを復号するステップと、符号化ツリーノードが第１のモード又は第３のモードであるとの決定に応じて、ビットストリームから、符号化ツリーノードに関連する予測モードを指示するシンタックス要素を受け取るステップと、シンタックス要素が第１の値を有するとの決定に応じて、インター予測モードを使用して、符号化ツリーノードにおける各符号化ブロックを復号するステップと、シンタックス要素が第２の値を有するとの決定に応じて、イントラ予測モードを使用して、符号化ツリーノードにおける各符号化ブロックを復号するステップとを含む、当該復号するステップを備える。

【0008】

本出願の第２の態様によれば、電子装置は、１つ以上の処理部、メモリ、及びメモリに記憶された複数のプログラムを含む。このプログラムは、１つ以上の処理部によって実行されると、電子機器に、上記で記述されたようにビデオデータを復号する方法を実施させる。

【0009】

本出願の第３の態様によれば、非一次的なコンピュータ読み取り可能な記録媒体は、１つ以上の処理部を有する電子装置によって実行される複数のプログラムを記憶している。このプログラムは、１つ以上の処理部によって実行されると、電子機器に、上記で記述されたようにビデオデータを復号する方法を実施させる。

【0010】

実施形態のさらなる理解を提供するために含まれる添付図面は、本明細書に組み込まれて本明細書の一部を構成し、記述された実施形態を図示して、記述とともに基本原理を説明するのに役立つものである。類似の参照数字は相当する部分を指す。

【図面の簡単な説明】

【0011】

【図1】本開示のいくつかの実施形態による例示的なビデオ符号化復号システムを示すブロック図である。

【図2】本開示のいくつかの実施形態による例示的なビデオ符号化器を示すブロック図である。

【図3】本開示のいくつかの実施形態による例示的なビデオ復号器を示すブロック図である。

【図4A】本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を示すブロック図である。

【図4B】本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を示すブロック図である。

【図4C】本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を示すブロック図である。

【図4D】本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を示すブロック図である。

【図4E】本開示のいくつかの実施形態によって、フレームが、サイズ及び形状の異なる複数のビデオブロックへと再帰的に分割される様子を示すブロック図である。

【図5】本開示のいくつかの実施形態による最小の色差イントラ予測ユニット（ＳＣＩＰＵ）の例を示すブロック図である。

【図6A】本開示のいくつかの実施形態による、ＶＶＣにおいてサポートされる色差フォーマットの例を示すブロック図である。

【図6B】本開示のいくつかの実施形態による、ＶＶＣにおいてサポートされる色差フォーマットの例を示すブロック図である。

【図6C】本開示のいくつかの実施形態による、ＶＶＣにおいてサポートされる色差フォーマットの例を示すブロック図である。

【図7】本開示のいくつかの実施形態による、様々な色差フォーマットにおける最小の色差イントラ予測ユニット（ＳＣＩＰＵ）の例を示すブロック図である。

【図8】ビデオ復号器が、本開示のいくつかの実施形態によって最小の色差イントラ予測ユニット（ＳＣＩＰＵ）を復号する技術を実現する例示的なプロセスを示すフローチャートである。

【発明を実施するための形態】

【0012】

次に具体的な実施形態が詳細に参照され、それらの実施例が添付図面に示されている。以下の詳細な説明では、本明細書で提示される主題の理解を支援するために多くの非限定的かつ具体的な詳細が明らかにされる。しかし、特許請求の範囲から逸脱することなく様々な代替形態が使用され得、これらの具体的な詳細なしで主題が実現され得ることが、当業者には明らかであろう。たとえば、本明細書で提示された主題が、デジタルビデオ機能を伴う多くのタイプの電子デバイスにおいて実現され得ることは、当業者には明らかであろう。

【0013】

図１は、本開示のいくつかの実施形態による、ビデオブロックの符号化と復号を並行して行うための例示的なシステム１０を示すブロック図である。図１に示されるように、システム１０は、後に送信先（デスティネーション）装置１４によって復号されるビデオデータを生成して符号化する情報源（ソース）装置１２を含む。情報源装置１２及び送信先装置１４は、デスクトップコンピュータ又はラップトップコンピュータ、タブレット型コンピュータ、スマートフォン、セットトップボックス、デジタルテレビ、カメラ、表示装置、デジタルメディアプレーヤー、ビデオゲームコンソール、ビデオストリーミングデバイス等を含む種々の電子デバイスのうち任意のものを備え得る。いくつかの実施形態では、情報源装置１２及び送信先装置１４は無線通信機能を備えている。

【0014】

いくつかの実施形態では、送信先装置１４は、リンク１６を通じて、復号される符号化ビデオデータを受け取ってよい。リンク１６は、情報源装置１２から送信先装置１４に、符号化ビデオデータを転送することができる任意のタイプの通信媒体又は通信デバイスを備え得る。一例では、リンク１６は、情報源装置１２が送信先装置１４に、符号化ビデオデータをリアルタイムで直接伝送することを可能にするための通信媒体を備え得る。符号化ビデオデータは、無線通信プロトコルなどの通信規格に従って変調されて送信先装置１４に伝送され得る。通信媒体は、無線周波数（ＲＦ）スペクトルあるいは１つ以上の物理的伝送路などの任意の無線又は有線の通信媒体を備え得る。通信媒体は、ローカルエリアネットワーク、広域ネットワーク、又はインターネットなどのグローバネットワークなどのパケットベースのネットワークの一部を形成し得る。通信媒体は、ルータ、スイッチ、基地局、又は情報源装置１２から送信先装置１４への通信を容易にするのに役立つその他の機器を含み得る。

【0015】

いくつかの他の実施形態では、符号化ビデオデータは、出力インタフェース２２から記録装置３２に伝送され得る。続いて、記録装置３２における符号化ビデオデータは、送信先装置１４によって入力インタフェース２８を介してアクセスされ得る。記録装置３２は、ハードディスク（ｈａｒｄ ｄｒｉｖｅ）、ブルーレイディスク、ＤＶＤ、ＣＤ－ＲＯＭ、フラッシュメモリ、揮発性もしくは不揮発性のメモリ、又は符号化ビデオデータを記憶するのに適する他のデジタル記録媒体など、種々の、分散された又は局所的にアクセスされるデータ記録媒体のうち任意のものを含み得る。さらなる例では、記録装置３２は、情報源装置１２によって生成された、符号化ビデオデータを保持し得る、ファイルサーバ又は別の中間記録装置に相当してよい。送信先装置１４は、記録装置３２からストリーミング又はダウンロードすることによって、記憶されたビデオデータにアクセスし得る。ファイルサーバは、符号化ビデオデータを記憶したり、符号化ビデオデータを送信先装置１４に伝送したりすることができる任意のタイプのコンピュータでよい。例示的なファイルサーバは、（たとえばウェブサイト用の）ウェブサーバ、ＦＴＰサーバ、ネットワーク接続ストレージ（ＮＡＳ：ｎｅｔｗｏｒｋ ａｔｔａｃｈｅｄ ｓｔｏｒａｇｅ）装置、又はローカルディスクドライブを含む。送信先装置１４は、ファイルサーバに記憶されている符号化ビデオデータにアクセスするのに適する無線チャンネル（たとえばＷｉ－Ｆｉ接続）、有線接続（たとえば、ＤＳＬやケーブルモデムなど）、又は両方の組合せを含む任意の標準的なデータ接続を通じて、符号化ビデオデータにアクセスし得る。記録装置３２からの符号化ビデオデータの伝送は、ストリーミング伝送、ダウンロード伝送、又は両方の組合せでよい。

【0016】

図１に示されるように、情報源装置１２は、ビデオ源１８、ビデオ符号化器２０及び出力インタフェース２２を含む。ビデオ源１８は、たとえばビデオカメラ、以前に取り込まれたビデオを含むビデオアーカイブ、ビデオコンテンツプロバイダからビデオを受け取るためのビデオ供給インタフェース、及び／又はソースビデオとしてのコンピュータグラフィックスデータを生成するためのコンピュータグラフィックスシステム、あるいはそのようなソースの組合せといった、ビデオキャプチャーデバイスなどのソースを含み得る。一例として、ビデオ源１８がセキュリティ監視システムのビデオカメラである場合には、情報源装置１２及び送信先装置１４がカメラフォン又はビデオフォンを形成し得る。しかしながら、本出願に記述された実施形態は、一般にビデオコーディングに適用可能であり得、無線及び／又は有線の用途に適用され得る。

【0017】

取り込まれた、前もって取り込まれた、又はコンピュータで生成されたビデオは、ビデオ符号化器２０によって符号化され得る。符号化ビデオデータは、情報源装置１２の出力インタフェース２２を通って送信先装置１４に直接伝送され得る。符号化ビデオデータは、復号及び／又は再生のために、送信先装置１４又は他のデバイスによる後のアクセス用に、記録装置３２にも（又は代わりに）記憶されてよい。出力インタフェース２２はモデム及び／又は送信器をさらに含み得る。

【0018】

送信先装置１４は、入力インタフェース２８、ビデオ復号器３０、及び表示装置３４を含む。入力インタフェース２８は受信器及び／又はモデムを含み得、リンク１６を通じて、符号化ビデオデータを受け取る。リンク１６を通じて通信されるか又は記録装置３２で供給される符号化ビデオデータは、ビデオ復号器３０によってビデオデータを復号する際に使用される、ビデオ符号化器２０によって生成された種々のシンタックス要素を含み得る。そのようなシンタックス要素が含まれ得る符号化ビデオデータは、通信媒体で伝送され、記録媒体又はファイルサーバに記憶される。

【0019】

いくつかの実施形態では、送信先装置１４が含み得る表示装置３４は、統合表示装置と、送信先装置１４と通信するように構成された外部表示装置とであり得る。表示装置３４は、復号ビデオデータをユーザーに表示し、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、プラズマディスプレイ、有機発光ダイオード（ＯＬＥＤ）ディスプレイ、又は別タイプの表示装置などの種々の表示装置のうち任意のものを備え得る。

【0020】

ビデオ符号化器２０及びビデオ復号器３０は、ＶＶＣ，ＨＥＶＣ，ＭＰＥＧ－４ Ｐａｒｔ １０ ＡＶＣ（Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ），又はこれらの規格の拡張版など、知的所有物又は業界規格に基づいて動作し得る。本出願は特定のビデオ符号化／復号の規格に限定されず、他のビデオ符号化／復号の規格に適用可能であり得ることを理解されたい。一般に、情報源装置１２のビデオ符号化器２０は、これらの現在の規格又は将来の規格のいずれかに従ってビデオデータを符号化するように構成され得ることが企図されている。同様に、送信先装置１４のビデオ復号器３０は、これらの現在の規格又は将来の規格のいずれかに従ってビデオデータを復号するように構成され得ることも一般に企図されている。

【0021】

ビデオ符号化器２０及びビデオ復号器３０は、それぞれ、１つ以上のマイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、ディスクリートロジック（個別論理回路：ｄｉｓｃｒｅｔｅ ｌｏｇｉｃ）、ソフトウェア、ハードウェア、ファームウェア又はこれらの任意の組合せなどの種々の適切な符号化回路構成のうち任意のものとして実現され得る。電子デバイスは、部分的にソフトウェアで実現されるときには、ソフトウェアに関する命令を適切な非一時的コンピュータ可読媒体に記憶し、１つ以上のプロセッサを使用してハードウェアで命令を実行して、本開示で開示されたビデオ符号化／復号の処理を実行し得る。ビデオ符号化器２０及びビデオ復号器３０の各々が１つ以上の符号化器又は復号器に含まれ得、そのいずれかが、それぞれのデバイスにおいて組み合わされた符号化器／復号器（ＣＯＤＥＣ）の一部として一体化され得る。

【0022】

図２は、本出願に記述されたいくつかの実施形態による例示的なビデオ符号化器２０を示すブロック図である。ビデオ符号化器２０は、ビデオフレームの内部のビデオブロックのイントラ予測符号化及びインター予測符号化を実行し得る。イントラ予測符号化は、所与のビデオフレーム又はピクチャの内部のビデオデータにおける空間冗長性を低減するか又は除去するために空間予測に頼る。インター予測符号化は、ビデオシーケンスの隣接したビデオフレーム又はピクチャの内部のビデオデータにおける時間冗長性を低減するか又は除去するために時間予測に頼る。

【0023】

図２に示されるように、ビデオ符号化器２０は、ビデオデータメモリ４０、予測処理部４１、復号ピクチャバッファ（ＤＰＢ：ｄｅｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）６４、加算器５０、変換処理部５２、量子化部５４、及びエントロピー符号化部５６を含む。予測処理部４１は、動き推定部４２、動き補償部４４、分割部４５、イントラ予測処理部４６、及びイントラブロックコピー（ＢＣ）部４８をさらに含む。いくつかの実施形態では、ビデオ符号化器２０は、ビデオブロックを再構成するための逆量子化部５８、逆変換処理部６０、及び加算器６２も含む。再構成されたビデオから、ブロック境界をフィルタリングしてブロック歪を除去するために、加算器６２とＤＰＢ６４との間にデブロッキングフィルタ（図示せず）が配置されてよい。デブロッキングフィルタに加えて、加算器６２の出力をフィルタリングするためにループ内フィルタ（図示せず）も使用され得る。ビデオ符号化器２０は、変更不能な又はプログラマブルなハードウェアユニットという形態を取ってよく、あるいは、１つ以上の変更不能な又はプログラマブルなハードウェアユニットのうちに分割されてもよい。

【0024】

ビデオデータメモリ４０は、ビデオ符号化器２０の構成要素によって符号化されるビデオデータを記憶し得る。ビデオデータメモリ４０のビデオデータは、たとえばビデオ源１８から取得され得る。ＤＰＢ６４は、ビデオ符号化器２０によって（たとえばイントラ予測符号化モード又はインター予測符号化モードで）ビデオデータを符号化するのに用いる参照ビデオデータを記録するバッファである。ビデオデータメモリ４０及びＤＰＢ６４は、様々な記録装置のうち任意のものによっても形成され得る。様々な例において、ビデオデータメモリ４０は、ビデオ符号化器２０の他の構成要素とともにオンチップでよく、又はそれらの構成要素に対してオフチップでもよい。

【0025】

図２に示されるように、予測処理部４１の内部の分割部４５は、受け取ったビデオデータをビデオブロックへと分割する。この分割は、ビデオデータに関連づけられた四分木構造などの所定の分割構造に従って、ビデオフレームを、スライス、タイル、又は他のより大きい符号化ユニット（ＣＵ）へと分割することを含み得る。ビデオフレームは複数のビデオブロック（又は、タイルと称されるビデオブロックのセット）に分割され得る。予測処理部４１は、誤り結果（たとえば符号化レートや歪みのレベル）に基づいて現在のビデオブロック用に、複数のイントラ予測符号化モードのうちの１つ、又は複数のインター予測符号化モードのうちの１つなど、複数の可能な予測符号化モードのうちの１つを選択してよい。予測処理部４１は、結果として生じるイントラ予測符号化ブロック又はインター予測符号化ブロックを、加算器５０に供給して残差ブロックを生成してよく、また、この符号化ブロックを加算器６２に供給して、後に参照フレームの一部として使用するために再構成してよい。予測処理部４１は、また、エントロピー符号化部５６に、動きベクトル、イントラモードインジケータ、分割情報、及び他のそのようなシンタックス情報などのシンタックス要素を供給する。

【0026】

現在のビデオブロック用に適切なイントラ予測符号化モードを選択するために、予測処理部４１の内部のイントラ予測処理部４６は、符号化される現在のブロックと同じフレームにおける１つ以上の近隣のブロックに関する現在のビデオブロックのイントラ予測符号化を実行して、空間予測をもたらし得る。予測処理部４１の内部の動き推定部４２及び動き補償部４４は、１つ以上の参照フレームにおける１つ以上の予測ブロックに関連して現在のビデオブロックのインター予測符号化を実行して時間予測をもたらす。ビデオ符号化器２０は、たとえばビデオデータの各ブロック用に適切な符号化モードを選択するために、複数の符号化パスを実行してよい。

【0027】

いくつかの実施形態では、動き推定部４２は、一連のビデオフレームの内部の所定のパターンに従って、参照ビデオフレームの内部の予測ブロックに対する現在のビデオフレームの内部のビデオブロックの予測ユニット（ＰＵ）の変位を示す動きベクトルを生成することにより、現在のビデオフレームに関するインター予測モードを決定する。動き推定部４２によって実行される動き予測は、ビデオブロックの動きを推定する動きベクトルを生成するプロセスである。動きベクトルは、たとえば、現在のフレーム内（又は他の符号化ユニット内）の符号化される現在のブロックに関連して、参照フレーム内（又は他の符号化ユニット）内の予測ブロックに対する現在のビデオフレーム又はピクチャの内部のビデオブロックのＰＵの変位を示し得る。所定のパターンは、ビデオフレームを、シーケンスにおけるＰフレーム又はＢフレームとして指定し得る。イントラＢＣ部４８は、インター予測用の動き推定部４２による動きベクトルの決定と同様のやり方で、イントラＢＣ符号化用の、たとえばブロックベクトルといったベクトルを決定してよく、又は動き推定部４２を利用してブロックベクトルを決定してもよい。

【0028】

予測ブロックは、画素差分の観点から、符号化対象となるビデオブロックのＰＵと密接に対応するものとみなされる参照フレームのブロックであり、差分絶対値和（ＳＡＤ：ｓｕｍ ｏｆ ａｂｓｏｌｕｔｅ ｄｉｆｆｅｒｅｎｃｅ）、差分二乗和（ＳＳＤ：ｓｕｍ ｏｆ ｓｑｕａｒｅ ｄｉｆｆｅｒｅｎｃｅ）、又は他の差分基準量によって決定され得る。いくつかの実施形態では、ビデオ符号化器２０は、ＤＰＢ６４に記憶された参照フレームのサブ整数型画素位置の値を計算してよい。たとえば、ビデオ符号化器２０は、参照フレームの１／４画素位置、１／８画素位置、又は他の分数画素位置の値を補間してよい。したがって、動き推定部４２は、全体の画素位置及び分数画素位置に関する動き探索を実行して、分数画素精度を有する動きベクトルを出力し得る。

【0029】

動き推定部４２は、インター予測符号化フレームのビデオブロックのＰＵに関して、第１の参照フレームリスト（リスト０）又は第２の参照フレームリスト（リスト１）から選択された参照フレームの予測ブロックの位置と当該ＰＵの位置とを比較することにより動きベクトルを計算する。ここで、第１の参照フレームリスト又は第２の参照フレームリストはそれぞれＤＰＢ６４に格納されている１つ以上の参照フレームを特定するものである。動き推定部４２は、計算された動きベクトルを動き補償部４４に送り、次いでエントロピー符号化部５６に送る。

【0030】

動き補償部４４によって実行される動き補償は、動き推定部４２によって決定された動きベクトルに基づいて予測ブロックを取り込むこと又は生成することを包含し得る。動き補償部４４は、現在のビデオブロックのＰＵに関する動きベクトルを受け取ると、動きベクトルが参照フレームリストのうちの１つにおいて指し示す予測ブロックを捜し出し、ＤＰＢ６４から予測ブロックを取り出して、予測ブロックを加算器５０に転送する。次いで、加算器５０は、符号化される現在のビデオブロックの画素値から動き補償部４４によって得られた予測ブロックの画素値を差し引くことにより、画素差分値の残差ビデオブロックを形成する。残差ビデオブロックを形成する画素差分値は、輝度（ｌｕｍａ）差分成分もしくは色差（ｃｈｒｏｍａ）差分成分、又はこれらの両方を含み得る。動き補償部４４は、ビデオ復号器３０によって、ビデオフレームのビデオブロックを復号する際に使用されるビデオフレームのビデオブロックに関連したシンタックス要素も生成し得る。シンタックス要素は、たとえば、予測ブロックを特定するために使用される動きベクトルを定義するシンタックス要素、予測モードを指示する任意のフラグ、又は本明細書に記述されたその他のシンタックス情報を含み得る。なお、動き推定部４２と動き補償部４４はほとんど一体化され得るが、概念的な目的のために個別に示されている。

【0031】

いくつかの実施形態では、イントラＢＣ部４８は、動き推定部４２及び動き補償部４４に関して上記に記述されたのと同様のやり方でベクトルを生成して予測ブロックを取り込み得るが、予測ブロックは符号化される現在のブロックと同じフレームにあり、ベクトルは動きベクトルと対照的にブロックベクトルと称される。詳細には、イントラＢＣ部４８は、現在のブロックを符号化するためにイントラ予測モードを使用するように決定してよい。いくつかの例において、イントラＢＣ部４８は、たとえば個別の符号化パス中に、様々なイントラ予測モードを使用して現在のブロックを符号化し、レート－歪み解析によってそれらイントラ予測モードの性能を分析してよい。次に、イントラＢＣ部４８は、試験された様々なイントラ予測モードの中で、イントラモードインジケータを生成するのに使用する適切なイントラ予測モードを選択してよい。たとえば、イントラＢＣ部４８は、レート－歪み解析を使用して、試験された様々なイントラ予測モードに関するレート－歪み値を計算し、試験されたモードの中で最善のレート－歪み特性を有するイントラ予測モードを、使用するのに適切なイントラ予測モードとして選択してよい。レート－歪み解析は、一般に、符号化ブロックと、当該符号化ブロックを生成するために符号化される符号化前の元のブロックとの間の歪み（又は誤差）量とともに、これら符号化ブロックを生成するために使用されたビットレート（すなわち、多数のビット）を決定する。イントラＢＣ部４８は、様々な符号化ブロックについて歪みとレートとの比率を計算して、そのブロックに関する最善のレート－歪み値を示すイントラ予測モードを決定してよい。

【0032】

他の例では、イントラＢＣ部４８は、本明細書に記述された実施形態に従ってイントラＢＣ予測のためのそのような機能を実行するために、動き推定部４２及び動き補償部４４を全体的又は部分的に使用してよい。どちらの場合にも、イントラブロックコピーについては、予測ブロックは、画素差分の観点から、符号化対象となるブロックと密接に対応するものとみなされるブロックでよく、差分絶対値和（ＳＡＤ）、差分二乗和（ＳＳＤ）、又は他の差分基準量によって決定され得る。予測ブロックの特定には、サブ整数型画素位置の値の計算が含まれ得る。

【0033】

予測ブロックがイントラ予測による同じフレームからのものであろうとインター予測による異なるフレームからのものであろうと、ビデオ符号化器２０は、符号化される現在のビデオブロックの画素値から予測ブロックの画素値を差し引くことによって残差ビデオブロックを形成してよく、画素差分値を形成する。残差ビデオブロックを形成する画素差分値は、輝度差分成分と色差差分成分の両方を含み得る。

【0034】

イントラ予測処理部４６は、前述のように、動き推定部４２及び動き補償部４４によって実行されるインター予測、又はイントラＢＣ部４８によって実行されるイントラブロックコピー予測の代替として、現在のビデオブロックをイントラ予測してよい。詳細には、イントラ予測処理部４６は、現在のブロックを符号化するためにイントラ予測モードを使用するように決定してよい。そうするために、イントラ予測処理部４６は、たとえば個別の符号化パス中に様々なイントラ予測モードを使用して現在のブロックを符号化してよく、イントラ予測処理部４６（又はいくつかの例ではモード選択部）は、試験されたイントラ予測モードから、使用するべき適切なイントラ予測モードを選択してよい。イントラ予測処理部４６は、そのブロック向けに選択されたイントラ予測モードを表す情報をエントロピー符号化部５６に供給してよい。エントロピー符号化部５６は、ビットストリームにおける選択されたイントラ予測モードを指示する情報を符号化してよい。

【0035】

予測処理部４１がインター予測又はイントラ予測のいずれかによって現在のビデオブロック用の予測ブロックを決定した後に、加算器５０が、現在のビデオブロックから予測ブロックを差し引くことによって残差ビデオブロックを生成する。残差ブロックにおける残差ビデオデータは１つ以上の変換ユニット（ＴＵ）に含まれ得、変換処理部５２に供給される。変換処理部５２は、離散コサイン変換（ＤＣＴ：ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ）又は概念的に同様の変換などの変換を使用して残差ビデオデータを残差変換係数に変換する。

【0036】

変換処理部５２は、結果として生じる変換係数を量子化部５４に送ってよい。量子化部５４は、変換係数を量子化してビットレートをさらに低下させる。量子化プロセスは、係数のうちのいくつか又はすべてに関連したビット深さも縮小し得る。量子化の程度は、量子化パラメータを調節することによって変更され得る。いくつかの例において、量子化部５４は、次いで、量子化変換係数を含むマトリクスの走査を実行し得る。あるいはエントロピー符号化部５６が走査を実行してもよい。

【0037】

量子化に続いて、エントロピー符号化部５６は、たとえば、コンテキスト適応型可変長符号化（ＣＡＶＬＣ：ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｖａｒｉａｂｌｅ ｌｅｎｇｔｈ ｃｏｄｉｎｇ）、コンテキスト適応型２値算術符号化（ＣＡＢＡＣ：ｃｏｎｔｅｘｔ ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、シンタックスベースコンテキスト適応型２値算術符号化（ＳＢＡＣ：ｓｙｎｔａｘ－ｂａｓｅｄ ｃｏｎｔｅｘｔ－ａｄａｐｔｉｖｅ ｂｉｎａｒｙ ａｒｉｔｈｍｅｔｉｃ ｃｏｄｉｎｇ）、確率区間区分エントロピー符号化（ＰＩＰＥ：ｐｒｏｂａｂｉｌｉｔｙ ｉｎｔｅｒｖａｌ ｐａｒｔｉｔｉｏｎｉｎｇ ｅｎｔｒｏｐｙ ｃｏｄｉｎｇ）、又は別のエントロピー符号化の技法もしくは技術を使用して、量子化変換係数をビデオビットストリームへとエントロピー符号化する。次いで、符号化ビットストリームは、ビデオ復号器３０に伝送されるか、又は後にビデオ復号器３０へ伝送するため、もしくはビデオ復号器３０によって後に取り戻すために記録装置３２に記録され得る。エントロピー符号化部５６は、符号化される現在のビデオフレームに関する動きベクトル及び他のシンタックス要素もエントロピー符号化してよい。

【0038】

他のビデオブロックを予測するための参照ブロックを生成するために、画素領域における残差ビデオブロックを再構成するのに、逆量子化部５８が逆量子化を適用し、逆変換処理部６０が逆変換を適用する。前述のように、動き補償部４４は、ＤＰＢ６４に記憶されたフレームの１つ以上の参照ブロックから、動き補償された予測ブロックを生成し得る。動き補償部４４はまた、予測ブロックに１つ以上の補間フィルタを適用して、動き予測に用いるサブ整数画素値を計算してよい。

【0039】

加算器６２は、再構成された残差ブロックを、動き補償部４４によって生成された動き補償された予測ブロックに加えて、ＤＰＢ６４に記憶するための参照ブロックを生成する。次いで、参照ブロックは、イントラＢＣ部４８、動き推定部４２及び動き補償部４４によって、後続のビデオフレームにおける別のビデオブロックをインター予測するための予測ブロックとして使用され得る。

【0040】

図３は、本出願のいくつかの実施形態による例示的なビデオ復号器３０を示すブロック図である。ビデオ復号器３０は、ビデオデータメモリ７９、エントロピー復号部８０、予測処理部８１、逆量子化部８６、逆変換処理部８８、加算器９０、及びＤＰＢ９２を含む。予測処理部８１は、動き補償部８２、イントラ予測処理部８４、及びイントラＢＣ部８５をさらに含む。ビデオ復号器３０は、図２に関連してビデオ符号化器２０に関して記述された符号化プロセスとは全体的に逆の復号プロセスを実行し得る。たとえば、動き補償部８２は、エントロピー復号部８０から受け取られた動きベクトルに基づいて予測データを生成し得、一方、イントラ予測処理部８４は、エントロピー復号部８０から受け取られたイントラ予測モードインジケータに基づいて予測データを生成し得る。

【0041】

いくつかの例において、ビデオ復号器３０のユニットには、本出願の実施形態を実行するようにタスクが課されることがある。また、いくつかの例では、本開示の実施形態は、ビデオ復号器３０の１つ以上のユニットの間で分割されてもよい。たとえば、イントラＢＣ部８５は、本出願の実施形態を、単独で、又はビデオ復号器３０の動き補償部８２、イントラ予測処理部８４、及びエントロピー復号部８０などの他のユニットと組み合わせて実行し得る。いくつかの例では、ビデオ復号器３０はイントラＢＣ部８５を含まなくてよく、イントラＢＣ部８５の機能性は、動き補償部８２など、予測処理部８１の他の構成要素によって実行され得る。

【0042】

ビデオデータメモリ７９は、ビデオ復号器３０の他の構成要素によって復号される符号化ビデオビットストリームなどのビデオデータを記憶し得る。ビデオデータメモリ７９に記憶されたビデオデータは、記録装置３２から、たとえばカメラなどのローカルなビデオ源から、ビデオデータの有線もしくは無線のネットワーク通信によって、又はたとえばフラッシュドライブもしくはハードディスクといった物理的データ記録媒体にアクセスすることによって取得され得る。ビデオデータメモリ７９は、符号化ビデオビットストリームからの符号化ビデオデータを記憶する、符号化ピクチャバッファ（ＣＰＢ：ｃｏｄｅｄ ｐｉｃｔｕｒｅ ｂｕｆｆｅｒ）を含み得る。ビデオ復号器３０の、復号ピクチャバッファ（ＤＰＢ）９２は、ビデオ復号器３０によって（たとえばイントラ予測符号化モード又はインター予測符号化モードで）ビデオデータを符号化するのに用いる参照ビデオデータを記憶する。ビデオデータメモリ７９及びＤＰＢ９２は、シンクロナスＤＲＡＭ（ＳＤＲＡＭ：Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、磁気抵抗型ＲＡＭ（ＭＲＡＭ：Ｍａｇｎｅｔｏ－ｒｅｓｉｓｔｉｖｅ ＲＡＭ）、抵抗変化型ＲＡＭ（ＲＲＡＭ）、又は他のタイプのメモリデバイスを含む動的ランダムアクセスメモリ（ＤＲＡＭ：Ｒｅｓｉｓｔｉｖｅ ＲＡＭ）などの種々のメモリデバイスのうち任意のものによって形成され得る。例示のために、ビデオデータメモリ７９及びＤＰＢ９２は、図３におけるビデオ復号器３０の２つの別個の構成要素として表されている。しかし、ビデオデータメモリ７９及びＤＰＢ９２は、同一のメモリデバイス又は個別のメモリデバイスによって与えられ得ることが当業者には明らかであろう。いくつかの例では、ビデオデータメモリ７９は、ビデオ復号器３０の他の構成要素とともにオンチップでよく、又はそれらの構成要素に対してオフチップでもよい。

【0043】

復号プロセス中に、ビデオ復号器３０は、符号化ビデオフレーム及び関連するシンタックス要素のビデオブロックを表す符号化ビデオビットストリームを受け取る。ビデオ復号器３０はビデオフレームレベル及び／又はビデオブロックレベルのシンタックス要素を受け取ってよい。ビデオ復号器３０のエントロピー復号部８０は、ビットストリームをエントロピー復号して、量子化係数、動きベクトル又はイントラ予測モードインジケータ、及び他のシンタックス要素を生成する。次いで、エントロピー復号部８０は、動きベクトル及び他のシンタックス要素を予測処理部８１に転送する。

【0044】

ビデオフレームが、イントラ予測符号化（Ｉ）フレームとして、又は他のタイプのフレームにおけるイントラ符号化予測ブロック向けに符号化されるとき、予測処理部８１のイントラ予測処理部８４は、信号伝達されたイントラ予測モード及び現在のフレームの以前に復号されたブロックからの参照データに基づいて、現在のビデオフレームのビデオブロックに関する予測データを生成し得る。

【0045】

ビデオフレームがインター予測符号化（すなわちＢ又はＰ）フレームとして符号化されるとき、予測処理部８１の動き補償部８２は、エントロピー復号部８０から受け取られた動きベクトル及び他のシンタックス要素に基づいて現在のビデオフレームのビデオブロックに関する１つ以上の予測ブロックを生成する。予測ブロックの各々が、参照フレームリストのうちの１つの内部の参照フレームから生成され得る。ビデオ復号器３０は、ＤＰＢ９２に記憶された参照フレームに基づくデフォルトの構成技術を使用して、参照フレームリスト、リスト０及びリスト１を構成し得る。

【0046】

いくつかの例では、本明細書に記述されたイントラＢＣモードに従ってビデオブロックが符号化されるとき、予測処理部８１のイントラＢＣ部８５は、エントロピー復号部８０から受け取られたブロックベクトル及び他のシンタックス要素に基づいて現在のビデオブロックに関する予測ブロックを生成する。予測ブロックは、ビデオ符号化器２０によって定義された現在のビデオブロックと同一のピクチャの再構成された領域の内部にあり得る。

【0047】

動き補償部８２及び／又はイントラＢＣ部８５は、動きベクトル及び他のシンタックス要素を解析することによって現在のビデオフレームのビデオブロックに関する予測情報を決定し、次いで、予測情報を使用して、復号される現在のビデオブロックに関する予測ブロックを生成する。たとえば、動き補償部８２は、受け取られたシンタックス要素のうちのいくつかを使用して、ビデオフレームのビデオブロックを符号化するのに使用される予測モード（たとえばイントラ予測又はインター予測）、インター予測フレームタイプ（たとえばＢ又はＰ）、フレームに関する参照フレームリストのうちの１つ以上の構成情報、フレームにおける各インター予測符号化ビデオブロックの動きベクトル、フレームの各インター予測符号化ビデオブロックのインター予測状態、及び現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定する。

【0048】

同様に、イントラＢＣ部８５は、たとえばフラグといった受け取られたシンタックス要素のうちのいくつかを使用して、現在のビデオブロックはイントラＢＣモードを使用して予測されたものであること、再構成された領域の内部にあってＤＰＢ９２に記憶されるべきフレームのビデオブロックの構成情報、フレームの各イントラＢＣ予測ビデオブロックのブロックベクトル、フレームの各イントラＢＣ予測ビデオブロックのイントラＢＣ予測状態、及び現在のビデオフレームにおけるビデオブロックを復号するための他の情報を決定し得る。

【0049】

動き補償部８２はまた、ビデオ符号化器２０によってビデオブロックの符号化中に参照ブロックのサブ整数画素の補間値を計算するために使用されたような補間フィルタを使用して、補間を実行し得る。この場合、動き補償部８２は、受け取られたシンタックス要素から、ビデオ符号化器２０によって使用された補間フィルタを決定し、補間フィルタを使用して予測ブロックを生成し得る。

【0050】

逆量子化部８６は、ビットストリームの中に与えられてエントロピー復号部８０によってエントロピー復号された量子化変換係数を、ビデオ符号化器２０によってビデオフレームにおける各ビデオブロックについて量子化の程度を決定するために計算されたものと同一の量子化パラメータを使用して逆量子化する。逆変換処理部８８は、画素領域における残差ブロックを再構成するために、変換係数に対して、たとえば逆ＤＣＴ、逆整数変換、又は概念的に類似の逆変換プロセスといった逆変換を適用する。

【0051】

動き補償部８２又はイントラＢＣ部８５がベクトル及び他のシンタックス要素に基づいて現在のビデオブロックに関する予測ブロックを生成した後に、加算器９０は、逆変換処理部８８からの残差ブロックと、動き補償部８２及びイントラＢＣ部８５によって生成された対応する予測ブロックとを合計することによって、現在のビデオブロックに関する復号ビデオブロックを再構成する。復号ビデオブロックをさらに処理するために、加算器９０とＤＰＢ９２との間にインループフィルタ（図示せず）が配置されてよい。次いで、所与のフレームにおける復号ビデオブロックは、次のビデオブロックの後続の動き補償に使用される参照フレームを記憶するＤＰＢ９２に記憶される。ＤＰＢ９２又はＤＰＢ９２とは別個のメモリデバイスも、復号されたビデオを、後に図１の表示装置３４などの表示装置に提示するために記憶し得る。

【0052】

一般的なビデオ符号化プロセスでは、ビデオシーケンスは、一般的にはフレーム又はピクチャの順序づけられたセットを含む。各フレームが、ＳＬ、ＳＣｂ、及びＳＣｒと表示される３つのサンプル配列を含み得る。ＳＬは、輝度（ｌｕｍａ）サンプルからなる２次元配列である。ＳＣｂは、Ｃｂ色差サンプルからなる２次元配列である。ＳＣｒは、Ｃｒ色差サンプルからなる２次元配列である。他の事例では、フレームは白黒でよく、したがって輝度サンプルの２次元配列を１つだけ含む。

【0053】

図４Ａに示されるように、ビデオ符号化器２０（より具体的には分割部４５）は、最初にフレームを符号化ツリーユニット（ＣＴＵ）の集合に分割することによってフレームの符号化表現を生成する。ビデオフレームは、左から右及び上から下へのラスタスキャン順で連続的に順序づけられた整数個のＣＴＵを含み得る。各ＣＴＥＴは最大の論理符号化ユニットであり、ＣＴＵの幅及び高さは、シーケンスパラメータセットにおけるビデオ符号化器２０によって、ビデオシーケンスにおけるすべてのＣＴＵが１２８×１２８、６４×６４、３２×３２、及び１６×１６のうちの１つである同一のサイズを有するように信号伝達される。しかし、本出願は必ずしも特定のサイズに制限されるものではないことに留意されたい。図４Ｂに示されるように、各ＣＴＵは、輝度（ｌｕｍａ）サンプルからなる１つの符号化ツリーブロック（ＣＴＢ）と、対応する２つの色差（ｃｈｒｏｍａ）サンプルからなる符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。シンタックス要素は、画素の符号化ブロックの種々のタイプのユニットの特性と、インター予測又はイントラ予測、イントラ予測モード、動きベクトル、及び他のパラメータを含めて、ビデオ復号器３０にいてビデオシーケンスが再構成され得る様子とを記述するものである。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＣＴＵは、単一の符号化ツリーブロックと、符号化ツリーブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。符号化ツリーブロックは、サンプルのＮ×Ｎのブロックでよい。

【0054】

より優れた性能を達成するために、ビデオ符号化器２０は、ＣＴＵの符号化ツリーブロックに対して、二分木（ｂｉｎａｒｙ－ｔｒｅｅ）分割、三分木（ｔｅｒｎａｒｙ－ｔｒｅｅ）分割、四分木（ｑｕａｄ－ｔｒｅｅ）分割、又はこれらの組合せなどの木分割を再帰的に実行して、ＣＴＵをより小さい符号化ユニット（ＣＵ）に分割し得る。図４Ｃに表されるように、６４×６４のＣＴＵ４００が、最初に、それぞれが３２×３２のブロックサイズを有する４つのより小さいＣＵに分割される。４つのより小さいＣＵの中で、ＣＵ４１０及びＣＵ４２０が、それぞれ１６×１６のブロックサイズで４つのＣＵに分割される。２つの１６×１６のＣＵである４３０及び４４０が、それぞれ８×８のブロックサイズで４つのＣＵにさらに分割される。図４Ｄは、図４Ｃに表されたようなＣＴＵ４００の分割プロセスの最終結果を示す四分木データ構造を表すものであり、四分木の各リーフノードが３２×３２～８×８の範囲のそれぞれのサイズの１つのＣＵに対応する。各ＣＵは、図４Ｂに表されたＣＴＵに類似して、輝度サンプルの符号化ブロック（ＣＢ）と、同じサイズのフレームの色差サンプルの２つの対応する符号化ブロックと、符号化ブロックのサンプルを符号化するのに使用されるシンタックス要素とを含み得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＣＵは、単一の符号化ブロックと、符号化ブロックのサンプルを符号化するのに使用されるシンタックス構造とを含み得る。図４Ｃ及び図４Ｄに表された四分木分割は単なる説明のためのものであり、１つのＣＴＵが、様々な局所的特性に適合するように、四分木分割／三分木分割／二分木分割に基づいてＣＵに分割され得ることに留意されたい。複合の木構造では、１つのＣＴＵが四分木構造によって分割され、各四分木の葉ＣＵが二分木構造及び三分木構造によってさらに分割され得る。図４Ｅに示されるように、４分割、水平２分割、垂直２分割、水平３分割、垂直３分割といった５つの分割タイプがある。

【0055】

いくつかの実施形態では、ビデオ符号化器２０は、ＣＵの符号化ブロックを１つ以上のＭ×Ｎの予測ブロック（ＰＢ）へとさらに分割し得る。予測ブロックは、同一の（インター又はイントラ）予測が適用されるサンプルの矩形状（正方形又は非正方形）のブロックである。ＣＵの予測ユニット（ＰＵ）は、輝度サンプルの予測ブロックと、色差サンプルの２つの対応する予測ブロックと、予測ブロックを予測するのに使用されるシンタックス要素とを含み得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＰＵは、単一の予測ブロックと、予測ブロックを予測するのに使用されるシンタックス構造とを含み得る。ビデオ符号化器２０は、予測輝度、Ｃｂ、及び輝度に関するＣｒブロック、Ｃｂ、及びＣＵの各ＰＵのＣｒ予測ブロックを生成し得る。

【0056】

ビデオ符号化器２０は、ＰＵに関する予測ブロックを生成するためにイントラ予測又はインター予測を使用してよい。ビデオ符号化器２０がイントラ予測を使用してＰＵの予測ブロックを生成する場合には、ビデオ符号化器２０はＰＵに関連したフレームの復号サンプルに基づいてＰＵの予測ブロックを生成し得る。ビデオ符号化器２０がインター予測を使用してＰＵの予測ブロックを生成する場合には、ビデオ符号化器２０はＰＵに関連したフレーム以外の１つ以上のフレームの復号サンプルに基づいてＰＵの予測ブロックを生成し得る。

【0057】

ビデオ符号化器２０は、ＣＵにおける１つ以上のＰＵに関する予測輝度ブロック、予測Ｃｂブロック及び予測Ｃｒブロックを生成した後に、ＣＵの輝度残差ブロックにおける各サンプルがＣＵの予測輝度ブロックのうちの１つにおける輝度サンプルとＣＵの元の輝度符号化ブロックにおける対応するサンプルとの間の差分を示すように、ＣＵの元の輝度符号化ブロックからＣＵの予測輝度ブロックを差し引くことによって、ＣＵに関する輝度残差ブロックを生成し得る。同様に、ビデオ符号化器２０は、ＣＵのＣｂ残差ブロックにおける各サンプルが、ＣＵの予測Ｃｂブロックのうちの１つにおけるＣｂサンプルとＣＵの元のＣｂ符号化ブロックにおける対応するサンプルとの間の差分を示すように、ＣＵのＣｂ残差ブロック及びＣｒ残差ブロックをそれぞれ生成してよく、ＣＵのＣｒ残差ブロックにおける各サンプルが、ＣＵの予測Ｃｒブロックのうちの１つにおけるＣｒサンプルとＣＵの元のＣｒ符号化ブロックにおける対応するサンプルとの間の差分を示し得る。

【0058】

その上、図４Ｃに示されるように、ビデオ符号化器２０は、四分木分割を使用して、ＣＵの輝度、Ｃｂ及びＣｒの残差ブロックを、１つ以上の輝度、Ｃｂ及びＣｒの変換ブロックへと分解する。変換ブロックは、同一の変換が適用されるサンプルの矩形（正方形又は非正方形）のブロックである。ＣＵの変換ユニット（ＴＵ）は、輝度サンプルの変換ブロックと、色差サンプルの２つの対応する変換ブロックと、変換ブロックサンプルを予測するのに使用されるシンタックス要素とを含み得る。したがって、ＣＵの各ＴＵは、輝度変換ブロック、Ｃｂ変換ブロック、及びＣｒ変換ブロックに関連づけられ得る。いくつかの例では、ＴＵに関連した輝度変換ブロックはＣＵの輝度残差ブロックのサブブロックであり得る。Ｃｂ変換ブロックは、ＣＵのＣｂ残差ブロックのサブブロックであり得る。Ｃｒ変換ブロックは、ＣＵのＣｒ残差ブロックのサブブロックであり得る。白黒ピクチャ又は３つの個別のカラープレーンを有するピクチャでは、ＴＵは、単一の変換ブロックと、変換ブロックのサンプルを変換するのに使用されるシンタックス構造とを含み得る。

【0059】

ビデオ符号化器２０は、ＴＵの輝度変換ブロックに１つ以上の変換を適用してＴＵ用の輝度係数ブロックを生成し得る。係数ブロックは変換係数の２次元配列であり得る。変換係数はスカラー量であり得る。ビデオ符号化器２０は、ＴＵのＣｂ変換ブロックに１つ以上の変換を適用してＴＵ用のＣｂ係数ブロックを生成し得る。ビデオ符号化器２０は、ＴＵのＣｒ変換ブロックに１つ以上の変換を適用してＴＵ用のＣｒ係数ブロックを生成し得る。

【0060】

ビデオ符号化器２０は、係数ブロック（たとえば輝度係数ブロック、Ｃｂ係数ブロック又はＣｒ係数ブロック）を生成した後に係数ブロックを量子化し得る。量子化は、一般に、変換係数を表すために使用されるデータ量をどうにかして低減するために変換係数が量子化されるプロセスを指すものであり、さらなる圧縮を与える。ビデオ符号化器２０は、係数ブロックを量子化した後に、量子化変換係数を示すシンタックス要素をエントロピー符号化し得る。たとえば、ビデオ符号化器２０は量子化変換係数を示すシンタックス要素に対してコンテキスト適応型２値算術符号化（ＣＡＢＡＣ）を実行し得る。最終的に、ビデオ符号化器２０は、符号化フレーム及び関連するデータの表現を形成する一連のビットを含むビットストリームを出力し得、これは記録装置３２に保存されるか又は送信先装置１４に伝送される。

【0061】

ビデオ復号器３０は、ビデオ符号化器２０によって生成されたビットストリームを受け取った後に、ビットストリームを解析して、ビットストリームからシンタックス要素を取得し得る。ビデオ復号器３０は、ビットストリームから取得されたシンタックス要素に少なくとも部分的に基づいてビデオデータのフレームを再構成し得る。ビデオデータを再構成するプロセスは、一般にビデオ符号化器２０によって実行された符号化プロセスの逆のである。たとえば、ビデオ復号器３０は、現在のＣＵのＴＵに関連した係数ブロックに対する逆変換を実行して、現在のＣＵのＴＵに関連した残差ブロックを再構成し得る。ビデオ復号器３０はまた、現在のＣＵのＰＵに関する予測ブロックのサンプルを、対応する現在のＣＵのＴＵの変換ブロックのサンプルに加算することによって現在のＣＵの符号化ブロックを再構成する。ビデオ復号器３０は、フレームの各ＣＵに関する符号化ブロックを再構成した後にフレームを再構成し得る。

【0062】

前述のように、ビデオ符号化は、主としてイントラフレーム予測（すなわちイントラ予測）及びインターフレーム予測（すなわちインター予測）の２つのモードを使用してビデオ圧縮を達成するものである。パレットベースの符号化は、多くのビデオコーディング規格によって採用されている別の符号化方式である。パレットベースの符号化は、スクリーンに生成されたコンテンツを符号化するのに特に適し、この方式では、ビデオコーダ（たとえばビデオ符号化器２０又はビデオ復号器３０）が、所与のブロックのビデオデータを表現する色のパレットテーブルを形成する。パレットテーブルは、所与のブロックの中で最も優勢な（たとえば頻繁に使用される）ピクセル値を含む。所与のブロックのビデオデータにおいて頻繁に表現されないピクセル値は、パレットテーブルに含まれないか、又は回避色としてパレットテーブルに含まれる。

【0063】

パレットテーブルの各エントリは、パレットテーブルの中の対応するピクセル値に関するインデックスを含む。ブロックの中のサンプルに関するパレットインデックスは、サンプルを予測するか又は再構成するために使用されるパレットテーブルのエントリを指示するように符号化され得る。このパレットモードは、ピクチャ、スライス、タイル、又はビデオブロックのそのようなグループ化の最初のブロックに関するパレット予測子を生成するプロセスから始まる。以下で説明されるように、後続のビデオブロックに関するパレット予測子は、一般的には、以前に使用されたパレット予測子を更新することによって生成される。例示のために、パレット予測子はピクチャレベルで定義されると想定されている。言い換えれば、ピクチャは、それぞれが固有のパレットテーブルを有する複数の符号化ブロックを含み得るが、全体のピクチャに関する１つのパレット予測子がある。

【0064】

ビデオビットストリームにおけるパレットエントリの信号伝達に必要なビット数を低減するために、ビデオ復号器は、ビデオブロックを再構成するために使用されるパレットテーブルの新しいパレットエントリを決定するためにパレット予測子を利用し得る。たとえば、パレット予測子は、以前に使用されたパレットテーブルからのパレットエントリを含んでよく、あるいは、つい最近使用されたパレットテーブルのすべてのエントリを含むことにより、つい最近使用されたパレットテーブルを用いて初期化されてもよい。いくつかの実施形態では、パレット予測子は、つい最近使用されたパレットテーブルからのすべてのエントリよりも少ないエントリを含み、次いで、以前に使用された他のパレットテーブルからのいくつかのエントリを組み込んでもよい。パレット予測子のサイズは、異なるブロックを符号化するために使用されるパレットテーブルのサイズと比較して、同一でも、より大きくても、より小さくてもよい。一例では、パレット予測子は、６４のパレットエントリを含む先入れ先出し（ＦＩＦＯ）テーブルとして実現される。

【0065】

パレット予測子からのビデオデータのブロックに関するパレットテーブルを生成するために、ビデオ復号器は、符号化ビデオビットストリームから、パレット予測子の各入力について１ビットのフラグを受け取り得る。１ビットのフラグは、パレット予測子の関連する入力がパレットテーブルの中に含まれることを指示する第１の値（たとえば２進数の１）又はパレット予測子の関連する入力がパレットテーブルの中に含まれないことを指示する第２の値（たとえば２進数の０）を有し得る。パレット予測子のサイズがビデオデータのブロック用に使用されるパレットテーブルよりも大きい場合には、ビデオ復号器は、一旦パレットテーブルの最大サイズに達したら、さらにフラグを受け取ることを停止してよい。

【0066】

いくつかの実施形態では、パレットテーブルのいくつかのエントリは、パレット予測子を使用して決定されるのではなく、符号化ビデオビットストリームにおいて直接信号伝達され得る。そのようなエントリについて、ビデオ復号器は、符号化ビデオビットストリームから、エントリに関連した輝度成分及び２つの色差成分に関するピクセル値を指示する３つの個別のｍビットの値を受け取り得、ｍはビデオデータのビット深度を表現する。直接信号伝達されるパレットエントリのために複数のｍビットの値が必要とされるのに対して、パレット予測子から導出されるパレットエントリが必要とするのは１ビットのフラグのみである。したがって、パレット予測子を使用してパレット入力のいくつか又はすべてを信号伝達すれば、新規のパレットテーブルの入力を信号伝達するために必要なビット数をかなり低減することができ、それによって、パレットモード符号化の全体的な符号化効率を改善する。

【0067】

多くの事例において、１つのブロックに関するパレット予測子は、以前に符号化された１つ以上のブロックを符号化するために使用されたパレットテーブルに基づいて決定される。しかし、ピクチャ、スライス又はタイルにおける最初の符号化ツリーユニットを符号化するときには、以前に符号化されたブロックのパレットテーブルを利用できない可能性がある。したがって、以前に使用されたパレットテーブルのエントリを使用してパレット予測子を生成することはできない。そのような場合には、以前に使用されたパレットテーブルが利用できないときにパレット予測子を生成するために使用された値である、一連のパレット予測子の初期化指定子が、シーケンスパラメータセット（ＳＰＳ）及び／又はピクチャパラメータセット（ＰＰＳ）において信号伝達されてよい。ＳＰＳは、一般に、各スライスセグメントヘッダに見られるシンタックス要素によって参照されるＰＰＳに見られるシンタックス要素のコンテンツによって決定されたものとして、符号化ビデオシーケンス（ＣＶＳ）と呼ばれる一連の連続した符号化ビデオピクチャに適合するシンタックス要素のシンタックス構造を指す。ＰＰＳは、一般に、各スライスセグメントヘッダに見られるシンタックス要素によって決定されたものとして、ＣＶＳの内部の１つ以上の個々のピクチャに適合するシンタックス要素のシンタックス構造を指す。したがって、ＳＰＳは、一般にＰＰＳよりも上位のレベルのシンタックス構造とみなされ、ＳＰＳに含まれるシンタックス要素は、一般にそれほど頻繁に変化せず、ＰＰＳに含まれるシンタックス要素と比較して、ビデオデータのより大きい部分に適合することを意味する。

【0068】

図５は、本開示のいくつかの実施形態による、最小の色差イントラ予測ユニット（ＳＣＩＰＵ）の例を示すブロック図である。

【0069】

一般的なハードウェアのビデオ符号化器及びビデオ復号器では、ピクチャが、近隣のイントラブロックの間のサンプル処理データの従属性のために多数の小さいイントラブロックを有するとき、処理スループットが低下する。イントラブロックの予測子を生成するには、近隣のブロックから上部境界及び左側境界を再構成されたサンプルが必要となる。したがって、イントラ予測は、ブロックごとに順次に処理されなければならない。

【0070】

ＨＥＶＣでは、最小のイントラＣＵは８×８の輝度サンプルである。最小のイントラＣＵの輝度成分は、４つの４×４の輝度イントラ予測ユニット（ＰＵ）へとさらに分割され得るが、最小のイントラＣＵの色差成分は、さらには分割され得ない。したがって、４×４の色差イントラブロック又は４×４の輝度イントラブロックが処理されるとき、最悪ケースのハードウェア処理スループットが生じる。

【0071】

ＶＴＭ５．０では、デュアルツリーにおいて、２×２／４×２／２×４の色差ブロックは、既に使用不能になっている。しかしながら、ＶＴＭ５の単一の符号化ツリーでは、色差分割は常に輝度に追従し、最小のイントラＣＵは４×４の輝度サンプルであるので、最小の色差イントラＣＢは２×２である。したがって、ＶＴＭ５．０では、単一の符号化ツリーにおける最小の色差イントラＣＢは２×２である。ＶＶＣ復号に関する最悪ケースのハードウェア処理スループットは、ＨＥＶＣ復号に関するハードウェア処理スループットのわずか１／４である。その上に、色差イントラＣＢの再構成プロセスは、クロス成分の線形モデル（ＣＣＬＭ）、４タップの補間フィルタ、位置依存イントラ予測の組合せ（ＰＤＰＣ法）及びインターイントラ予測（ＣＩＩＰ）の組合せを含むツールを採用した後には、ＨＥＶＣの再構成プロセスよりもなおさら複雑になる。ハードウェア復号器において高い処理スループットを達成するのは難易度が高い。この寄与では、最悪ケースのハードウェア処理スループットを改善する２つの方法が提案される。

【0072】

ＳＣＩＰＵの方式の目標は、色差イントラＣＢの分割に制約を加えることによって、１６の色差サンプルよりも小さい色差イントラＣＢを許さないことである。

【0073】

単一の符号化ツリーでは、ＳＣＩＰＵは、その色差ブロックサイズが１６の色差サンプル以上の符号化ツリーノードとして定義され、４×１６の輝度サンプルよりも小さい少なくとも１つの子輝度ブロックを有する。各ＳＣＩＰＵにおいて、すべてのＣＢがインターであること、あるいは、すべてのＣＢが非インターすなわちイントラ又はイントラブロックのコピー（ＩＢＣ）のいずれかであることが必要とされる。ＩＢＣの詳細は（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｖｅｔ／における文献ＪＶＥＴ－Ｎ１００２）を参照することができよう。非インターＳＣＩＰＵの場合には、非インターＳＣＩＰＵの色差にはさらなる分割はないことがさらに必要とされ、ＳＣＩＰＵの輝度は、さらなる分割が許容される。このようにして、最小の色差イントラＣＢサイズは１６の色差サンプルであり、２×２、２×４及び４×２の色差ＣＢは除去される。加えて、色差スケーリングは、非インターＳＣＩＰＵには適用されない。

【0074】

図５には２つのＳＣＩＰＵの例が示されている。８×４の色差サンプルから分割された三分木（ＴＴ）により、１６の色差サンプル（たとえば色差ＣＢの５０２（ａ）及び５０２（ｃ））よりも小さい色差ＣＢが得られることになるので、８×４の色差サンプルの色差ＣＢ５０２及び対応する輝度ＣＢ（色差ＣＢの５０２（ａ）、５０２（ｂ）及び５０２（ｃ）に対応する輝度ＣＢ）が、１つのＳＣＩＰＵを形成する。４×４の色差サンプルから分割された二分木（ＢＴ）により、１６の色差サンプル（たとえば色差ＣＢの５０４（ｇ）及び５０４（ｆ））よりも小さい色差ＣＢが得られることになるので、４×４の色差サンプル（８×４の色差サンプルの色差ＣＢ５０４の左側）の色差ＣＢ５０４（ａ）と、色差ＣＢの５０４（ｃ）、５０４（ｄ）、及び５０４（ｅ）に対応する３つの輝度ＣＢとが、１つのＳＣＩＰＵを形成し、４×４のサンプルの色差ＣＢ５０４（ｂ）（８×４の色差サンプルの右側）と、２つの輝度ＣＢ（たとえば色差ＣＢの５０４（ｇ）及び５０４（ｂ）に対応する輝度ＣＢ）とが、１つのＳＣＩＰＵを形成する。

【0075】

ＳＣＩＰＵのタイプは、現在のスライスがＩ－スライスであるか、又は現在のＳＣＩＰＵが、さらに１回分割された後にも４×４の輝度分割を有する場合には（ＶＶＣではインター４×４が許容されないため）、非インターであると推測され、そうでなければ、ＳＣＩＰＵのタイプ（インター又は非インター）は、ＳＣＩＰＵのＣＵを解析する前に、信号伝達される１つのフラグによって指示される。ＶＶＣの草案の仕様のバージョン６におけるＳＣＩＰＵのタイプの導出は、以下のテーブル１に示される。ｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎ １はタイプ「非インター」を有するＳＣＩＰＵとして定義され、ｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎ ２はタイプ「インター又は非インター」を有するＳＣＩＰＵとして定義され、１つのフラグ「ｍｏｄｅ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ」がビットストリームに信号伝達されて、関連するＳＣＩＰＵによってインター又は非インターが使用されるかどうかを指示する。現在のＣＵ分割ノードがＳＣＩＰＵでないとき、ｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎ ０は条件を表す。テーブル２のすべての変数の定義は、ＶＶＣの草案の仕様（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｖｅｔ／における文献ＪＶＥＴ－Ｏ２００１）のバージョン６を参照することができる。なお、ｃｂＷｉｄｔｈ及びｃｂＨｅｉｇｈｔは、それぞれ輝度サンプルにおける符号化ブロックの幅及び高さである。

【表1】

【0076】

上記で記述されたように、２×２の色差ブロックの代わりに４×４、２×８、又は８×２の色差ブロックが処理されるとき、ＳＣＩＰＵ方式を適用することによって最悪ケースのハードウェア処理スループットが生じる。最悪ケースのハードウェア処理スループットは、ＨＥＶＣにおけるものと同一であり、ＶＴＭ５．０におけるものの４倍である。

【0077】

図６Ａ～図６Ｃは、本開示のいくつかの実施形態による、ＶＶＣにおいてサポートされる色差フォーマット（たとえば、色差サブサンプリングフォーマットとしても知られている）の例を示すブロック線図である。以下のテーブル２は、異なる色差フォーマットに関する情報を示す。たとえば、輝度ブロック及びその関連する色差ブロックの幅と高さとの間の比を規定するために、変数ＳｕｂＷｉｄｔｈＣ及びＳｕｂＨｅｉｇｈｔＣが使用される。

【表2】

【0078】

白黒サンプリングではサンプル配列は１つしかなく、名目上輝度配列とみなされる。

【0079】

４：２：０のサンプリングでは、２つの色差配列の各々が、輝度配列に対して半分の高さ及び幅を有する。

【0080】

４：２：２のサンプリングでは、２つの色差配列の各々が、輝度配列に対して同一の高さ及び半分の幅を有する。

【0081】

４：４：４のサンプリングでは、個別の色平面フラグの値に応じて、個別の色平面フラグが０に等しければ、２つの色差配列の各々が輝度配列と同一の高さ及び幅を有し、そうでなければ（個別の色平面フラグが１に等しければ）、３つの色平面は、白黒のサンプリングされたピクチャとして個別に処理される。

【0082】

色差フォーマットの値ｉｄｃが１に等しいときの、ピクチャにおける輝度及び色差のサンプルの名目上の垂直方向及び水平方向における相対位置が図６Ａに示されている。代替の色差サンプルの相対位置が、ビデオ有用性情報において指示され得る。

【0083】

色差フォーマットの値ｉｄｃが２に等しいとき、色差サンプルは対応する輝度サンプルと同一の位置にあり、ピクチャにおける名目上の位置は図６Ｂに示される通りである。

【0084】

色差フォーマットの値ｉｄｃが３に等しいとき、すべての配列サンプルがピクチャのすべての場合について同一の位置にあり、ピクチャにおける名目上の位置は図６Ｃに示される通りである。

【0085】

図７は、本開示のいくつかの実施形態による、様々な色差フォーマットにおけるＳＣＩＰＵの例を示すブロック図である。

【0086】

ＳＣＩＰＵの概念がＶＶＣに採用されるとき、設計が考慮に入れるのは４：２：０の色差フォーマットのみである。他の色差フォーマットは考慮に入れられず、したがって、設計は、４：２：０以外の色差フォーマット（たとえば４：４：４及び４：２：２）については、イントラ色差ブロックのサイズに対して過剰に制限的なルールを強いていた。具体的には、ＳＣＩＰＵは、提案されたときには、色差ブロックサイズが１６の色差サンプル以上の符号化ツリーノードで、４×１６の輝度サンプルよりも小さい少なくとも１つの子輝度ブロックを有するもの、と定義された。４倍の輝度サンプルを使用するＳＣＩＰＵの定義が正確に機能するのは色差フォーマットが４：２：０のときのみである（たとえば、ブロックが４：２：０の色差フォーマットで符号化されているときには、輝度サンプルの４倍の色差サンプルがある）。現行のＶＶＣでは、使用される色差フォーマットに関係なく、色差フォーマットが４：２：０であるという想定を伴うＳＣＩＰＵ方式による色差サイズの制限が常に適用され、これは、色差ブロックの幅及び高さが、どちらも関連する輝度ブロックの幅及び高さの半分であることを意味する。

【0087】

その上に、第１５回ＪＶＥＴ会議において、ＶＶＣに、パレットモードが新規に採用され（ｈｔｔｐ：／／ｐｈｅｎｉｘ．ｉｎｔ－ｅｖｒｙ．ｆｒ／ｊｖｅｔ／における文献ＪＶＥＴ－Ｏ０１１９を参照されたい）、ＳＣＩＰＵのモードがインターとして信号伝達されるとき、このＳＣＩＰＵで許容されるのはインターモードのみであり、したがって、色差ブロックは、２×４又は４×２の色差ブロックなどの小ブロックに分割され得る。ＳＣＩＰＵのモードとして非インターが信号伝達されるか、又はＳＣＩＰＵのｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎが非インター（たとえばｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎ＝０）であるときには、このＳＣＩＰＵ向けに許容されるのは、イントラ予測モード、ＩＢＣ及びパレットモードのみであり、色差ブロックを、２×２、２×４又は４×２などの小さい色差ブロックに分割することはできない。しかしながら、このＳＣＩＰＵは、パレットモードに関して左側及び上方の近隣の再構成された画素の情報を必要とせず、したがって、このパレットモードは、色差ブロックを小さい色差ブロックに分割することが許容されるモードとみなされるべきである。

【0088】

いくつかの実施形態では、ＳＣＩＰＵは、その色差ブロックサイズがＮの色差サンプル以上の符号化ツリーノードとして定義され、１回のさらなるＣＵ分割を伴うｋ×Ｎの輝度サンプルよりも小さい少なくとも１つの子輝度ブロックを有する。Ｎは任意の正整数（たとえば１６）であり得、Ｋは、４：２：０の色差フォーマット（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＝１）については４であり、４：２：２の色差フォーマットについては２であり、４：４：４の色差フォーマットについては１である。なお、４：４：４の色差フォーマットについては、Ｋ＝１は、このＳＣＩＰＵが有効にならないことを意味する。

【0089】

いくつかの実施形態では、ＳＣＩＰＵは、その色差ブロックサイズがＮの色差サンプル以上の符号化ツリーノードとして定義され、１回のさらなるＣＵ分割を伴うＮの輝度サンプルよりも小さい少なくとも１つの子色差ブロックを有する。Ｎは任意の正整数（たとえば１６）であり得る。たとえば、図７において、所定の分割方法（たとえば垂直２分割）によって符号化ツリーノードを分割すると、１６未満の色差サンプルを有する色差成分（たとえば２×４の色差サンプルを有する色差成分）が得られるので、ＳＣＩＰＵ７０２は有効なＳＣＩＰＵである。所定の分割方法（たとえば垂直３分割）によってＣＢを分割すると、１６未満の色差サンプルを有する色差成分（たとえば２×２の色差サンプルを有する色差成分）が得られるので、ＳＣＩＰＵ７０４は有効なＳＣＩＰＵである。所定の分割方法（たとえば垂直３分割）を用いてＣＢを分割すると、１６未満の色差サンプルを有する色差成分（たとえば４×２の色差サンプルを有する色差成分）が得られるので、ＳＣＩＰＵ７０６は有効なＳＣＩＰＵである。

【0090】

ＳＣＩＰＵのタイプは、現在のスライスがＩ－スライスであるか、又は現在のＳＣＩＰＵが、さらに１回分割された後にも４×４の輝度分割を有する場合には（ＶＶＣではインター４×４が許容されないため）、非インターであると推測され、そうでなければ、ＳＣＩＰＵのタイプ（インター又は非インター）は、ＳＣＩＰＵのＣＵを解析する前に、信号伝達される１つのフラグによって指示される。

【0091】

色差フォーマットが４：４：４（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＝３）であるときには、ブロックの内部の色差サンプルの数と輝度サンプルの数とが同一であるので、色差ブロックに対するサイズ制限は不要である。たとえば、四分木分割を使用する８×８のＳＣＩＰＵについては、四分木分割によって分割された４×４の輝度ブロックを４つ含有しているので、ＳＣＩＰＵのタイプは、現在の設計に従って非インターであると推測される（上記のテーブル１を参照されたい）。また、現在の設計によれば、非インタータイプのＳＣＩＰＵは、色差ブロック（この例では８×８の色差ブロック）のさらなる分割は許容しない。また、８×８のイントラ色差ブロックは、新たなスループット問題を導入することなく４つの４×４のイントラ色差ブロックに分割され得るので、色差ブロックに対するサイズ制限は、制限的すぎることは明白である。第２の実施形態によれば、符号化ピクチャが４：４：４の色差フォーマットであるときにはＳＣＩＰＵ方式を禁止することが提案される。仕様の一例が以下のテーブル３に示されている。

【表3】

【0092】

色差フォーマットが４：２：２（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＝２）であるとき、１つのブロックの内部の色差サンプルの高さと輝度サンプルの高さとは同一であるが、色差サンプルの幅は輝度サンプルの幅の半分であり、したがって、色差フォーマットが４：２：２であるときには、ＳＣＩＰＵに関するｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎの導出は、それに応じて修正される必要がある。この開示の第３の実施形態によれば、色差イントラブロックサイズの過剰制限を回避するためにＳＣＩＰＵ方式が適用されるときには、４：２：２の色差フォーマットを考慮に入れることが提案される。具体的には、ＳＣＩＰＵは、その色差ブロックサイズが１６の色差サンプル以上の符号化ツリーノードとして定義され、１回のさらなる分割を伴う１６の色差サンプルよりも小さい少なくとも１つの子色差ブロックを有する。ＷＣ仕様に基づく４：２：２のフォーマットに対する提案された制限の一例がテーブル４に示されている。修正されたｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎ導出方法では、非インタータイプのＳＣＩＰＵに関する４：２：２の色差フォーマットに対してさらに５つの条件が追加されている。たとえば、四分木ＣＵ分割を適用された８×８のブロックは、子ブロックが１６の色差サンプルよりも小さい色差ブロックを含む（４：２：２の色差フォーマットについては、４つの４×４の輝度ブロック及び４つの２×４の色差ブロックを含有している）ので、ＳＣＩＰＵとみなされる。その上に、このＳＣＩＰＵは、子ブロックが４×４の輝度ブロックを含むので、非インタータイプのＳＣＩＰＵとみなされる。同様に、ＴＴ水平分割（ＳＰＬＩＴ＿ＴＴ＿ＶＥＲ）を用いる１６×４のブロックも、子ブロックが４×４の輝度ブロック及び１６の色差サンプルよりも小さい色差ブロックを含む（２つの４×４の輝度ブロック及び１つの８×４の輝度ブロック、２つの２×４の色差ブロック及び１つの４×４の色差ブロックを含有している）ので、非インタータイプのＳＣＩＰＵとみなされる。以下のテーブル４において、さらなる例が参照され得る。

【表4】

【0093】

なお、幅＊高さが６４に等しいＣＵは、現行のＶＶＣでは、８×８、１６×４又は４×１６であり得る。８×８のＣＵは、四分木分割を適用することができる（ｓｐｌｉｔ＿ｑｔ＿ｆｌａｇが１に等しい）唯一のサイズである。８×８のＣＵには三分木（ＴＴ）分割は許容されない。また、現行のＶＶＣの１６×４のＣＵに対して許容されるのはＳＰＬＩＴ＿ＴＴ＿ＶＥＲのみであり、４×１６のＣＵに対して許容されるのはＳＰＬＩＴ＿ＴＴ＿ＨＯＲのみである。同様に、幅＊高さが３２であるＣＵは、現行のＶＶＣの８×４又は４×８であり得る。８×４のＣＵに対して許容されるのはＳＰＬＩＴ＿ＢＴ＿ＶＥＲのみであり、４×８のＣＵに対して許容されるのはＳＰＬＩＴ＿ＢＴ＿ＨＯＲのみである。したがって、ｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎの導出が、テーブル４から、以下に示されるテーブル５に簡素化され得、また、テーブル４の導出方法とテーブル５の導出方法とにより、現行のＶＶＣにおける同一のｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎが得られるはずであることが留意される。

【表5】

【0094】

色差フォーマットが白黒（ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃ＝０）のときには、１つのブロックの内部に色差サンプルがないので、色差ブロックに対するサイズ制限は不要である。この開示の第４の実施形態によれば、イントラブロックサイズの過剰制限を回避するためにＳＣＩＰＵ方式が適用されるときには、白黒の色差フォーマットを考慮に入れることが提案される。仕様の一例が以下のテーブル６に示されている。

【表6】

【0095】

ｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎを導出するために、４：２：０、４：４：４及び４：２：２の白黒の色差フォーマットをすべて考慮に入れるために、仕様の一例が以下のテーブル７に示されている。

【表7】

【0096】

なお、テーブル７は、ｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎ導出の機能を変化させることなく、以下に示されるテーブル８へとさらに簡素化され得る。

【表8】

【0097】

いくつかの実施形態では、ＳＣＩＰＵのモードとして非インターが信号伝達されるか、又はＳＣＩＰＵのｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎが非インター（たとえばｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎ＝０）であるときには、ＳＣＩＰＵの内部のＣＵに対して許容されるのはイントラ予測モード、ＩＢＣのみとなり、色差ブロックを２×２、２×４又は４×２などの小さい色差ブロックに分割することはできなくなることが提案される。そうしないと、ＳＣＩＰＵのモードとしてインターが信号伝達されるとき、ＳＣＩＰＵの内部のＣＵに対してインターモードやパレットモードが許容され、色差ブロックが２×２、２×４又は４×２などの小さい色差ブロックに分割されてしまう。なお、それに応じて、混乱を回避するために、これらのモードの名称は、「非インター」から「イントラ＋ｉｂｃ」に、また「インター」から「インター＋ｐｌｔ」に、変更され得る。

【0098】

図８は、ビデオ復号器３０が、本開示のいくつかの実施形態によって最小の色差イントラ予測ユニット（ＳＣＩＰＵ）を復号する技術を実施する例示的なプロセス８００を示すフローチャートである。

【0099】

第１のステップとして、ビデオ復号器３０は、ビットストリームから、所定の分割方法（たとえば水平／垂直２分割、水平／垂直３分割など）に関連した符号化ツリーノードを符号化するデータを受け取る（８１０）。所定の分割方法の例については、図４Ｅ及び関連した記述を参照されたい。

【0100】

次いで、ビデオ復号器３０は、以下のやり方で、符号化ツリーノードのモードタイプを決定する（たとえば、符号化ツリーノードに関連したｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎフラグを設定する）（８２０）。ビデオ復号器３０は、符号化ツリーノードが４：４：４又は４：０：０の色差サブサンプリングフォーマットで符号化されるとの決定に応じて、符号化ツリーノードを第１のモードタイプに設定し（たとえばｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎ＝＝０に設定して、符号化ツリーノードはＳＣＩＰＵではないと指示し）（８３０）、ビデオ復号器３０は、符号化ツリーノードが４：２：２又は４：２：０の色差サブサンプリングフォーマットで符号化され、符号化ツリーノードが最小の色差イントラ予測ユニット（ＳＣＩＰＵ）であるとの決定に応じて（８４０）、符号化ツリーノードの輝度ブロック及び分割方法が第１の基準を満たす場合には、符号化ツリーノードを第２のモードタイプ（たとえばｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎ＝＝１）に設定し（たとえば、「ｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎ＝＝１」は、この分割方法を用いて符号化ツリーノードの輝度ブロックを分割すると、ブロックサイズが１６の輝度サンプルの子輝度ブロックが得られることを意味し、したがって、予測モードは「イントラ」と推測され、予測モードのシンタックス要素は信号伝達されない）（８４０－１）、ビデオ復号器３０は、符号化ツリーノードの輝度ブロック及び分割方法が第２の基準を満たす場合には、符号化ツリーノードを第３のモードタイプ（たとえばｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎ＝＝２）に設定する（たとえば、「ｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎ＝＝２」は、この分割方法を用いて符号化ツリーノードの輝度ブロックを分割すると、ブロックサイズが１６の輝度サンプルの子輝度ブロックが得られないことを意味し、予測モードのシンタックス要素が信号伝達される）（８４０－２）。

【0101】

ビデオ復号器３０は、モードタイプを設定した後に、モードタイプに基づいて以下のやり方で符号化ツリーユニットを復号する（８５０）。ビデオ復号器３０は、符号化ツリーノードが第２のモード（たとえばＳＣＩＰＵに対する非インターモード、ｍｏｄｅＴｙｐｅＣｏｎｄｉｔｉｏｎ＝＝１）であるとの決定に応じて、イントラ予測モードを使用して、符号化ツリーノードにおける各符号化ブロックを復号し（８６０）、符号化ツリーノードが第１のモード（たとえばＳＣＩＰＵではない）又は第３のモード（たとえばＳＣＩＰＵに対する非インター）であるとの決定に応じて（８７０）、ビデオ復号器３０は、ビットストリームから、符号化ツリーノードに関連する予測モードを指示するシンタックス要素（たとえばｍｏｄｅ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ）を受け取る（８８０）。

【0102】

ビデオ復号器３０は、シンタックス要素を受け取った後に、シンタックス要素が第１の値（たとえばｍｏｄｅ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ＝＝０）を有するとの決定に応じて、インター予測モードを使用して、符号化ツリーノードにおける各符号化ブロックを復号し（８８０－１）、ビデオ復号器３０は、シンタックス要素が第２の値（たとえばｍｏｄｅ＿ｃｏｎｓｔｒａｉｎｔ＿ｆｌａｇ＝＝１）を有するとの決定に応じて、イントラ予測モードを使用して、符号化ツリーノードにおける各符号化ブロックを復号する（８８０－２）。

【0103】

いくつかの実施形態では、符号化ツリーノードが第１のモードタイプであるときには、符号化ツリーノードの色差ブロックはさらに分割され得る。

【0104】

いくつかの実施形態では、符号化ツリーノードが第２のモードタイプであるときには、符号化ツリーノードの色差ブロックはさらには分割され得ない。

【0105】

いくつかの実施形態では、符号化ツリーノードが第３のモードタイプであり、予測モードが、現在の符号化ツリーノードがイントラモードであることを指示するときには、符号化ツリーノードの色差ブロックはさらには分割され得ない。

【0106】

いくつかの実施形態では、符号化ツリーノードが第３のモードタイプであり、予測モードが、現在の符号化ツリーノードがイントラモードではないことを指示するときには、符号化ツリーノードの色差ブロックはさらに分割され得る。

【0107】

いくつかの実施形態では、符号化ツリーノードの色差ブロックが色差ブロックを有し、分割方法を用いてこの色差ブロックを分割すると、イントラ色差ブロックの最小サイズ制限に違反する子色差ブロックが得られる（たとえば、子色差ブロックが１６未満の色差サンプルのサイズを有する）場合には、符号化ツリーノードはＳＣＩＰＵである。

【0108】

いくつかの実施形態では、分割方法を用いて符号化ツリーノードの輝度ブロックを分割すると、１６の輝度サンプルのブロックサイズを有する子輝度ブロックが得られる場合には、符号化ツリーノードの輝度ブロック及び分割方法は第１の基準を満たす。

【0109】

いくつかの実施形態では、輝度ブロックのサイズが６４の輝度サンプルであって、分割方法が４分割である（たとえば、テーブル９に示されるように、ｃｂＷｉｄｔｈ＊ｃｂＨｅｉｇｈｔは６４に等しく、ｓｐｌｉｔ＿ｑｔ＿ｆｌａｇは１に等しく、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃは１又は２に等しい）場合、輝度ブロックのサイズが６４の輝度サンプルであって、分割方法が水平３分割又は垂直３分割である（たとえば、テーブル９に示されるように、ｃｂＷｉｄｔｈ＊ｃｂＨｅｉｇｈｔは６４に等しく、ＭｔｔＳｐｌｉｔＭｏｄｅ［ ｘ０ ］［ ｙ０ ］［ ｍｔｔＤｅｐｔｈ ］はＳＰＬＩＴ＿ＴＴ＿ＨＯＲ又はＳＰＬＩＴ＿ＴＴ＿ＶＥＲに等しい）場合、あるいは輝度ブロックのサイズが３２の輝度サンプルであって、分割方法が水平２分割又は垂直２分割である（たとえば、テーブル９に示されるように、ｃｂＷｉｄｔｈ＊ｃｂＨｅｉｇｈｔは３２に等しく、ＭｔｔＳｐｌｉｔＭｏｄｅ［ ｘ０ ］［ ｙ０ ］［ ｍｔｔＤｅｐｔｈ ］はＳＰＬＩＴ＿ＢＴ＿ＨＯＲ又はＳＰＬＩＴ＿ＢＴ＿ＶＥＲに等しい）場合には、符号化ツリーノードの輝度ブロック及び分割方法は第１の基準を満たす。

【0110】

いくつかの実施形態では、Ｉ－スライスの中に符号化ツリーノードがなく、分割方法を用いて符号化ツリーノードの輝度ブロックを分割しても、ブロックサイズが１６の輝度サンプルに等しい子輝度ブロックは得られない（たとえば、得られる子輝度ブロックは１６の輝度サンプルよりも大きくなる）場合には、符号化ツリーノードの輝度ブロック及び分割方法は第２の基準を満たす。

【0111】

いくつかの実施形態では、符号化ツリーノードがＩ－スライスでなく（たとえば、テーブル９では、ｓｌｉｃｅ＿ｔｙｐｅ ！＝ Ｉ）、輝度ブロックのサイズは６４の輝度サンプルであり、分割方法は水平２分割又は垂直２分割である（たとえば、テーブル９では、ｃｂＷｉｄｔｈ＊ｃｂＨｅｉｇｈｔは６４に等しく、ＭｔｔＳｐｌｉｔＭｏｄｅ［ ｘ０ ］［ ｙ０ ］［ ｍｔｔＤｅｐｔｈ ］はＳＰＬＩＴ＿ＢＴ＿ＨＯＲ又はＳＰＬＩＴ＿ＢＴ＿ＶＥＲに等しく、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃは１に等しい）場合、あるいは輝度ブロックのサイズが１２８の輝度サンプルであって、分割方法が水平３分割又は垂直３分割である（たとえば、テーブル９では、ｃｂＷｉｄｔｈ＊ｃｂＨｅｉｇｈｔは１２８に等しく、ＭｔｔＳｐｌｉｔＭｏｄｅ［ ｘ０ ］［ ｙ０ ］［ ｍｔｔＤｅｐｔｈ ］はＳＰＬＩＴ＿ＴＴ＿ＨＯＲ又はＳＰＬＩＴ＿ＴＴ＿ＶＥＲに等しく、ｃｈｒｏｍａ＿ｆｏｒｍａｔ＿ｉｄｃは１に等しい）場合には、符号化ツリーノードの輝度ブロック及び分割方法は第２の基準を満たす。

【0112】

いくつかの実施形態では、符号化ツリーノードが、４：２：２又は４：２：０の色差サブサンプリングフォーマットで符号化され、ＳＣＩＰＵではない（たとえば、色差ブロックを分割しても、イントラ色差ブロックの最小サイズ制限に違反することにはならない）との決定に応じて、ビデオ復号器３０は、符号化ツリーノードを第１のモードに設定する（たとえば、分割しても、１６の色差サンプルよりも小さい子色差ブロックが得られることにはならない）。

【0113】

１つ又は複数の例では、記述された機能は、ハードウェア、ソフトウェア、ファームウェア、又はこれらの任意の組合せで実現され得る。この機能は、ソフトウェアで実現される場合には、１つ以上の命令又はコードとしてコンピュータ読み取り可能な媒体に記憶されるか又は伝送されてよく、ハードウェアベースの処理ユニットによって実行され得る。コンピュータ可読媒体は、データ記録媒体などの有形の媒体に対応するコンピュータ読み取り可能な記録媒体、又は、たとえば通信プロトコルによる、ある位置から別の位置へのコンピュータプログラムの転送を容易にする任意の媒体を含む通信メディアを含み得る。このように、コンピュータ読み取り可能な媒体は、一般に（１）非一時的な有形のコンピュータ読み取り可能な記録媒体、又は（２）信号もしくは搬送波などの通信媒体に相当し得るものである。データ記録媒体は、１つ以上のコンピュータ又は１つ以上のプロセッサによって、本出願に記述された実施形態を実現するための命令、コード及び／又はデータ構造を取り出すためにアクセスされ得る、任意の利用可能な媒体でよい。コンピュータプログラム製品はコンピュータ可読媒体を含み得る。

【0114】

本明細書の実施形態の記述において使用される専門用語は、特定の実施形態のみを記述するためのものであり、特許請求の範囲を制限するようには意図されていない。実施形態及び添付の特許請求の範囲の記述で用いられるように、単数形「１つの（ａ）」、「１つの（ａｎ）」、及び「その（ｔｈｅ）」は、文脈がはっきりと別様に示さなければ、複数形も含むように意図されている。本明細書で使用されるような「及び／又は」という用語は、関連する列挙された項目のうちの１つ又は複数の、ありとあらゆる可能な組合せを指し、かつ包含することも理解されよう。「備える」及び／又は「備えている」という用語は、本明細書で使用されたとき、明示された特徴、要素、及び／又は構成要素の存在を指定するが、１つ以上の他の特徴、要素、構成要素、及び／又はこれらのグループの存在もしくは追加を排除するものではないがさらに理解されよう。

【0115】

様々な要素を説明するために、本明細書では第１、第２などの用語が用いられることがあるが、これらの要素は、これらの用語によって限定されるべきでないことも理解されよう。これらの用語は、単に１つの要素を別のものと区別するのに用いられる。たとえば、実施形態の範囲から逸脱することなく、第１の電極が第２の電極と称され得て、同様に、第２の電極が第１の電極と称され得る。第１の電極と第２の電極は、どちらも電極であるが同一の電極ではない。

【0116】

本出願の記述は解説及び説明のために提示されており、網羅的であること又は開示された形態の発明に限定されることは意図されていない。多くの修正形態、変形形態、及び代替の実施形態が、先の記述及び関連する図面において提示された教示内容の利益を有する当業者には明らかなはずである。実施形態は、本発明の原理や実際の用途について最も良く説明するため、他の当業者が様々な実施形態に関して本発明を理解することを可能にするため、また、基本原理と、企図された特定の使用法に適するものとしての様々な修正形態を伴う様々な実施形態とを最も良く利用するために、選択して記述されたものである。したがって、特許請求の範囲は、開示された実施形態の特定の実施例及びその修正形態に限定されず、添付の特許請求の範囲の範囲内に含まれるように他の実施形態が意図されていることを理解されたい。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図4E】

【図5】

【図6A】

【図6B】

【図6C】

【図7】

【図8】