特許 6190494 画像復号装置、画像復号方法および画像符号化装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6190494

(24)【登録日】2017年8月10日

(45)【発行日】2017年8月30日

(54)【発明の名称】画像復号装置、画像復号方法および画像符号化装置

(51)【国際特許分類】

   H04N 19/13 20140101AFI20170821BHJP

   H04N 19/159 20140101ALI20170821BHJP

   H04N 19/176 20140101ALI20170821BHJP

   H04N 19/503 20140101ALI20170821BHJP

   H04N 19/70 20140101ALI20170821BHJP

【ＦＩ】

   H04N19/13

   H04N19/159

   H04N19/176

   H04N19/503

   H04N19/70

【請求項の数】7

【全頁数】77

(21)【出願番号】特願2016-135739(P2016-135739)

(22)【出願日】2016年7月8日

(62)【分割の表示】特願2013-536453(P2013-536453)の分割

【原出願日】2012年9月28日

(65)【公開番号】特開2016-201818(P2016-201818A)

(43)【公開日】2016年12月1日

【審査請求日】2016年7月15日

(31)【優先権主張番号】特願2011-215475(P2011-215475)

(32)【優先日】2011年9月29日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000005049

【氏名又は名称】シャープ株式会社

(74)【代理人】

【識別番号】100160783

【弁理士】

【氏名又は名称】堅田 裕之

(72)【発明者】

【氏名】山本 智幸

(72)【発明者】

【氏名】猪飼 知宏

(72)【発明者】

【氏名】八杉 将伸

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 特開２００６−０５４８６５（ＪＰ，Ａ）

【文献】 特開２００８−１１３３７４（ＪＰ，Ａ）

【文献】 特開２００７−２０２１４２（ＪＰ，Ａ）

【文献】 国際公開第２０１３／０４７８１１（ＷＯ，Ａ１）

【文献】 国際公開第２０１３／０７０３５４（ＷＯ，Ａ１）

【文献】 Vadim Seregin, Il-Koo Kim，Binarisation modification for last position coding，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT, 14-22 July, 2011，２０１１年 ７月１６日，JCTVC-F375，ＵＲＬ，http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=2847

【文献】 Il-Koo Kim, et al.，CE2: Test results of asymmetric motion partition (AMP)，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, 14-22 July, 2011，２０１１年 ７月１２日，JCTVC-F379，ＵＲＬ，http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=2851

【文献】 Yamamoto Tomoyuki, et al.，On partition size information coding in B-slices using CABAC，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting: Geneva, CH, 21-30 November, 2011，２０１１年１１月 ９日，JCTVC-G709，ＵＲＬ，http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=3970

【文献】 Wei-Jung Chien, et al.，Context reduction for CABAC，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 7th Meeting: Geneva, 21-30 November, 2011，２０１１年１１月２７日，JCTVC-G718，ＵＲＬ，http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=3979

【文献】 Wei-Jung Chien, et al.，Context modeling for asymmetric partitioning on partition mode，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th Meeting: San Jose, CA, USA, 1-10 February, 2012，２０１２年 ２月 ８日，JCTVC-H0545，ＵＲＬ，http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=4854

【文献】 Tomoyuki Yamamoto，On CABAC context for partition mode，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 8th Meeting: San Jose, CA, USA, 1-10 February, 2012，２０１２年 ２月 ２日，JCTVC-H0099，ＵＲＬ，http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=4400

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

符号化単位（ＣＵ：Ｃｏｄｉｎｇ ｕｎｉｔ）毎に、符号化データを復号して復号画像を生成する画像復号装置において、
前記ＣＵを分割する分割タイプを指定する情報を復号するＣＵ情報復号部と、
コンテキストを用いた算術復号又はコンテキストを用いない算術復号により、前記ＣＵの符号化データからＰＵ分割タイプ情報ＰａｒｔＭｏｄｅに関する複数のバイナリ値を復号する算術復号部とを備え、
前記分割タイプを指定する情報が、非対称的分割（ＡＭＰ; Asymmetric Motion Partition）である場合、
前記算術復号部は、前記複数のバイナリ値のうち、一のバイナリ値を、前記コンテキストを用いない算術復号を用いて復号し、他のバイナリ値を、前記コンテキストを用いる算術復号を用いて復号することを特徴とする画像復号装置。

【請求項2】

前記ＣＵのサイズを２Ｎ×２Ｎ画素とした場合、
前記分割タイプは、対称的分割である２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素及びＮ×２Ｎ画素と、前記非対称的分割である２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素及びｎＲ×２Ｎ画素とを含むことを特徴とする請求項１に記載の画像復号装置。

【請求項3】

前記ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅに関するバイナリ値は、前記非対称的分割が縦長または横長であることを示す第１の情報を少なくとも含むことを特徴とする請求項１に記載の画像復号装置。

【請求項4】

前記算術復号部は、前記コンテキストを用いた算術復号を用いて、前記第１の情報を復号することを特徴とする請求項３に記載の画像復号装置。

【請求項5】

前記ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅに関するバイナリ値は、対称分割であるか否かを示す第２の情報と、前記非対称的分割の境界が対称分割よりも原点側に近いか否かを示す第３の情報とを少なくとも含むことを特徴とする請求項１に記載の画像復号装置。

【請求項6】

符号化単位（ＣＵ：Ｃｏｄｉｎｇ ｕｎｉｔ）毎に、符号化データを復号して復号画像を生成する画像復号方法において、
前記ＣＵを分割する分割タイプを指定する情報を復号するステップと、
コンテキストを用いた算術復号又はコンテキストを用いない算術復号により、前記ＣＵの符号化データからＰＵ分割タイプ情報ＰａｒｔＭｏｄｅに関する複数のバイナリ値を復号するステップとを少なくとも含み、
前記分割タイプを指定する情報が、非対称的分割（ＡＭＰ; Asymmetric Motion Partition）である場合、
前記複数のバイナリ値のうち、一のバイナリ値を、前記コンテキストを用いない算術復号を用いて復号し、他のバイナリ値を、前記コンテキストを用いる算術復号を用いて復号することを特徴とする画像復号方法。

【請求項7】

符号化単位（ＣＵ：Ｃｏｄｉｎｇ ｕｎｉｔ）毎に、画像を復元するための情報を符号化して符号化データを生成する画像符号化装置において、
前記ＣＵを分割する分割タイプを指定する情報を符号化する符号化設定部と、
コンテキストを用いた符号化処理又はコンテキストを用いない符号化処理により、前記ＣＵの符号化データを生成する符号化データ生成部とを備え、
前記分割タイプを指定する情報が、非対称的分割（ＡＭＰ; Asymmetric Motion Partition）である場合、
前記符号化データ生成部は、ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅに関する複数のバイ
ナリ値のうち、一のバイナリ値を、前記コンテキストを用いない算術符号によって生成し、他のバイナリ値を、前記コンテキストを用いる算術符号によって生成することを特徴とする画像符号化装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像を表す符号化データを復号する画像復号装置、および、画像復号方法、ならびに、画像を符号化することによって符号化データを生成する画像符号化装置に関する。

【背景技術】

【0002】

動画像を効率的に伝送または記録するために、動画像を符号化することによって符号化データを生成する動画像符号化装置、および、当該符号化データを復号することによって復号画像を生成する動画像復号装置が用いられている。

【0003】

具体的な動画像符号化方式としては、例えば、Ｈ．２６４／ＭＰＥＧ−４．ＡＶＣ、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフ
トウェアに採用されている方式、ＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている方式や、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）にて提案されている方式（非特許文献１）などが挙げられる。

【0004】

このような動画像符号化方式においては、動画像を構成する画像（ピクチャ）は、画像を分割することにより得られるスライス、スライスを分割することにより得られる符号化単位（コーディングユニット（Coding Unit）と呼ばれることもある）、及び、符号化単
位を分割することより得られるブロックおよびパーティションからなる階層構造により管理され、普通、ブロックごとに符号化／復号される。

【0005】

また、このような動画像符号化方式においては、通常、入力画像を符号化／復号することによって得られる局所復号画像に基づいて予測画像が生成され、当該予測画像を入力画像（原画像）から減算して得られる予測残差（「差分画像」または「残差画像」と呼ぶこともある）が符号化される。また、予測画像の生成方法としては、画面間予測（インター予測）、および、画面内予測（イントラ予測）が挙げられる。

【0006】

イントラ予測においては、同一フレーム内の局所復号画像に基づいて、当該フレームにおける予測画像が順次生成される。

【0007】

一方、インター予測においては、フレーム全体が復号された参照フレーム（復号画像）内の参照画像に対し、動きベクトルを用いた動き補償を適用することによって、予測対象フレーム内の予測画像が予測単位（例えば、ブロック）毎に生成される。

【0008】

インター予測については、近時開催されたJCT-VCの第６回会合（Torino, IT, 14-22 July, 2011）において、インター予測を用いる場合において、符号化処理の単位となる符号化単位を非対称のパーティション（ＰＵ）に分割する技術が採用されている（AMP; Asymmetric Motion Partition，非特許文献２、３）。

【0009】

また、パーティションのタイプが、非対称パーティションである場合、非正方形の４分木変換（NSQT; Non-Square Quadtree Transform）を行うことが提案されている（非特許
文献２）。

【先行技術文献】

【非特許文献】

【0010】

【非特許文献1】「WD4: Working Draft 4 of High-Efficiency Video Coding (JCTVC-F803_d1)」, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 6th Meeting: Torino, IT,14-22 July, 2011（２０１１年９月８日公開）

【非特許文献2】「CE2: Non-Square Quadtree Transform for symmetric and asymmetric motion partition（JCTVC-F412）」, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG116th Meeting: Torino, IT, 14-22 July, 2011（２０１１年７月２日公開）

【非特許文献3】「CE2: Test results of asymmetric motion partition (AMP)（JCTVC-F379）」, Joint Collaborative Team on Video Coding (JCT-VC)of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG116th Meeting: Torino, 14-22 July, 2011（２０１１年７月２日公開）

【発明の概要】

【発明が解決しようとする課題】

【0011】

しかしながら、インター予測において、上述した非対称パーティションが新たに追加されることによりサイド情報の符号量は増加している。また、新たに追加された非対称パーティションは、従来の対称パーティションと性質が異なっているにもかかわらず、その性質が符号化処理において十分に活用されていないという課題がある。

【0012】

本発明は、上記問題を鑑みてなされたものであり、その目的は、非対称パーティションを用いる場合における符号量の削減と、非対称パーティションの性質を活用した効率のよい符号化／復号処理を実現することができる画像復号装置、画像復号方法および画像符号化装置を提供することにある。

【課題を解決するための手段】

【0013】

上記の課題を解決するために、本発明の一態様に係る画像復号装置は、符号化単位毎に、画像符号化データを復号して復号画像を生成する画像復号装置において、前記符号化単位を分割する分割タイプを指定する情報を復号するＣＵ情報復号部と、コンテキストを用いた算術復号又はコンテキストを用いない算術復号により、前記画像符号化データからバイナリ値を復号する算術復号部とを備え、前記ＣＵ情報復号部が、前記分割タイプとして非対称的分割（ＡＭＰ; Asymmetric Motion Partition）を指定する情報を復号する場合
、前記算術復号部は、前記バイナリ値の位置に応じて、前記コンテキストを用いた算術復号と前記コンテキストを用いない算術復号とを切り替えて復号することを特徴とする。

【0014】

上記の課題を解決するために、本発明の一態様に係る画像復号装置は、符号化単位毎に、画像符号化データを復号して復号画像を生成する画像復号装置において、前記符号化単位を分割する分割タイプを指定する情報を復号するＣＵ情報復号部と、コンテキストを用いた算術復号又はコンテキストを用いない算術復号により、前記画像符号化データからバイナリ値を復号する算術復号部とを備え、前記ＣＵ情報復号部が、前記分割タイプとして長方形分割の種類を指定する情報を復号する場合、前記算術復号部は、前記バイナリ値の位置に応じて、前記コンテキストを用いた算術復号と前記コンテキストを用いない算術復号とを切り替えて復号することを特徴とする。

【0015】

上記の課題を解決するために、本発明の一態様に係る画像復号方法は、符号化単位毎に、画像符号化データを復号して復号画像を生成する画像復号方法において、前記符号化単位を分割する分割タイプを指定する情報を復号するステップと、コンテキストを用いた算術復号又はコンテキストを用いない算術復号により、前記画像符号化データからバイナリ値を復号するステップとを少なくとも含み、前記分割タイプとして非対称的分割（ＡＭＰ; Asymmetric Motion Partition）を指定する情報を復号する場合、前記バイナリ値の位
置に応じて、前記コンテキストを用いた算術復号と前記コンテキストを用いない算術復号
とを切り替えて復号することを特徴とする。

【0016】

上記の課題を解決するために、本発明の一態様に係る画像符号化装置は、符号化単位毎に、画像を復元するための情報を符号化して画像符号化データを生成する画像符号化装置において、前記符号化単位を分割する分割タイプを指定する情報を符号化する符号化設定部と、コンテキストを用いた符号化処理又はコンテキストを用いない符号化処理により、前記画像符号化データを生成する符号化データ生成部とを備え、前記分割タイプとして非対称的分割（ＡＭＰ; Asymmetric Motion Partition）を指定する情報を符号化する場合
、前記符号化データ生成部は、前記コンテキストを用いた符号化処理と前記コンテキストを用いない符号化処理とを切り替えて前記画像符号化データを生成することを特徴とする。

【0017】

上記の課題を解決するために、本発明の一態様に係る画像復号装置は、画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を復号する画像復号装置において、前記予測単位が所定のサイズ以下の予測単位である場合、該予測単位に対して前記双予測を行うことを制限する双予測制限手段を備えることを特徴とする。

【発明の効果】

【0018】

本発明の一態様によれば、非対称パーティションを用いる場合における符号量の削減と、非対称パーティションの性質を活用した効率のよい符号化／復号処理を実現することができる。

【図面の簡単な説明】

【0019】

【図1】本発明の一実施形態に係る動画像復号装置が備えるＣＵ情報復号部および復号モジュールの構成例について示す機能ブロック図である。

【図2】上記動画像復号装置の概略的構成について示した機能ブロック図である。

【図3】本発明の一実施形態に係る動画像符号化装置によって生成され、上記動画像復号装置によって復号される符号化データのデータ構成を示す図であり、（ａ）〜（ｄ）は、それぞれ、ピクチャレイヤ、スライスレイヤ、ツリーブロックレイヤ、およびＣＵレイヤを示す図である。

【図4】ＰＵ分割タイプのパターンを示す図である。（ａ）〜（ｈ）は、それぞれ、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤの場合のパーティション形状について示している。

【図5】ＣＵのサイズおよびＰＵ分割タイプに対応付けて、ＰＵの個数およびサイズが定義されているＰＵサイズテーブルの具体的な構成例を示す図である。

【図6】傾斜を有するエッジが存在する２Ｎ×ＮのＣＵおよび２Ｎ×ｎＵのＣＵを示す図である。

【図7】ＣＵ予測タイプおよびＰＵ分割タイプの組み合わせと、ｂｉｎ列との対応付けを定義する二値化情報の一例を示すテーブルである。

【図8】８×８サイズのＣＵについて定義する上記二値化情報の一例を示す図である。

【図9】８×８サイズのＣＵについて定義する上記二値化情報の他の例を示す図である。

【図10】ＣＵ予測タイプおよびＰＵ分割タイプの組み合わせと、ｂｉｎ列との対応付けを定義する二値化情報の他の例を示すテーブルである。

【図11】ＣＵ予測タイプおよびＰＵ分割タイプの組み合わせと、ｂｉｎ列との対応付けを定義する二値化情報の別の例を示すテーブルである。

【図12】上記動画像復号装置が備えるＰＵ情報復号部および復号モジュールの構成例について示す機能ブロック図である。

【図13】非対称パーティションが選択されたＣＵを示す図である。

【図14】対称パーティションが選択されたＣＵにおけるマージ候補の優先順位を示す図である。

【図15】非対称パーティションが選択されたＣＵにおけるマージ候補の優先順位を示す図である。（ａ）および（ｂ）は、いずれも、ＰＵ分割タイプが２Ｎ×ｎＵである場合のＣＵを示している。（ａ）は、小さい方のパーティションにおけるマージ候補の優先順位について示しており、（ｂ）は、大きい方のパーティションにおけるマージ候補の優先順位について示している。また、（ｃ）および（ｄ）は、いずれも、ＰＵ分割タイプが２Ｎ×ｎＤである場合のＣＵを示している。また、（ｃ）は、大きい方のパーティションにおけるマージ候補の優先順位について示しており、（ｄ）は、小さい方のパーティションにおけるマージ候補の優先順位について示している。

【図16】上記動画像復号装置が備えるＴＵ情報復号部および復号モジュールの構成例について示す機能ブロック図である。

【図17】ＣＵのサイズ、ＴＵ分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプに応じて、ＴＵ分割パターンが定義される変換サイズ決定情報の一例を示す図である。

【図18】正方形のノードを正方形または非正方形に４分木分割する分割方式について示す図である。（ａ）は、正方形の分割、（ｂ）は、横長の長方形の分割、および、（ｃ）は、縦長の長方形の分割を示している。

【図19】正方形のノードを正方形または非正方形に４分木分割する分割方式について示す図である。（ａ）は、横長のノードの横長の分割、（ｂ）は、横長のノードの正方形の分割、（ｃ）は、縦長のノードの縦長の分割、および（ｄ）は、縦長のノードの正方形の分割を示している。

【図20】ＰＵ分割タイプ２Ｎ×Ｎの３２×３２ＣＵにおけるＴＵ分割の例を示す図である。

【図21】ＰＵ分割タイプ２Ｎ×ｎＵの３２×３２ＣＵにおけるＴＵ分割の例を示す図である。

【図22】図１７に示す変換サイズ決定情報に従って分割を行った場合のＴＵ分割の流れを示す図である。（ａ）は、ＰＵ分割タイプが、２Ｎ×２Ｎの場合を示しており、（ｂ）は、ＰＵ分割タイプが、２Ｎ×ｎＵの場合を示している。

【図23】ＰＵ分割タイプが２Ｎ×２Ｎの領域の分割を行った場合のＴＵ分割の流れの一例を示す図である。

【図24】ＣＵ復号処理の流れの一例を示すフローチャートである。

【図25】本発明の一実施形態に係る動画像符号化装置の概略的構成について示した機能ブロック図である。

【図26】ＣＵ符号化処理の流れの一例を示すフローチャートである。

【図27】上記動画像符号化装置を搭載した送信装置、および、上記動画像復号装置を搭載した受信装置の構成について示した図である。（ａ）は、動画像符号化装置を搭載した送信装置を示しており、（ｂ）は、動画像復号装置を搭載した受信装置を示している。

【図28】上記動画像符号化装置を搭載した記録装置、および、上記動画像復号装置を搭載した再生装置の構成について示した図である。（ａ）は、動画像符号化装置を搭載した記録装置を示しており、（ｂ）は、動画像復号装置を搭載した再生装置を示している。

【図29】上記動画像復号装置が備えるＰＵ情報復号部の動き補償パラメータ導出部の詳細な構成例について示す機能ブロック図である。

【図30】上記動画像復号装置が備える復号モジュールの動き情報復号部の詳細な構成例について示す機能ブロック図である。

【図31】従来技術におけるＰＵのシンタックステーブルの例であり、双予測制限を行わない場合の符号化データの構成を示す図である。

【図32】インター予測フラグの意味について示す図である。（ａ）は、２値フラグである場合のインター予測フラグの意味を示し、（ｂ）は、３値フラグである場合のインター予測フラグの意味を示す。

【図33】ＰＵのシンタックステーブルの例を示す図であり、（ａ）および（ｂ）は各々双予測制限を行う場合の符号化データの構成の特にインター予測フラグinter_pred_flagの部分を示す。

【図34】双予測制限に関するシンタックステーブルの例を示す図である。（ａ）は、シーケンスパラメータセットが双予測制限をするか否かを制限するフラグdisable_bipred_in_small_PUを含む場合を示す。（ｂ）は、共通のフラグとして予測制約フラグuse_restricted_predictionを設ける例である。（ｃ）は、双予測を禁止するＰＵのサイズを示すdisable_bipred_sizeを符号化データに含める例である。

【図35】双予測制限を実施する範囲および双予測制限方法の対応関係を示す図である。

【発明を実施するための形態】

【0020】

本発明の一実施形態について図１〜図２４を参照して説明する。まず、図２を参照しながら、動画像復号装置（画像復号装置）１および動画像符号化装置（画像符号化装置）２の概要について説明する。図２は、動画像復号装置１の概略的構成を示す機能ブロック図である。

【0021】

図２に示す動画像復号装置１および動画像符号化装置２は、Ｈ．２６４／ＭＰＥＧ−４
ＡＶＣ規格に採用されている技術、ＶＣＥＧ（Video Coding Expert Group）における共同開発用コーデックであるＫＴＡソフトウェアに採用されている技術、ＴＭｕＣ（Test Model under Consideration）ソフトウェアに採用されている技術、および、その後継コーデックであるＨＥＶＣ（High-Efficiency Video Coding）にて提案されている技術を実装している。

【0022】

動画像符号化装置２は、これらの動画像符号化方式において、エンコーダからデコーダに伝送されることが規定されているシンタックス（syntax）の値をエントロピー符号化して符号化データ＃１を生成する。

【0023】

エントロピー符号化方式としては、コンテキスト適応型可変長符号化（CAVLC：Context-based Adaptive Variable Length Coding）、および、コンテキスト適応型２値算術符号化（CABAC：Context-based Adaptive Binary Arithmetic Coding）が知られている。

【0024】

ＣＡＶＬＣおよびＣＡＢＡＣによる符号化／復号においては、コンテキストに適応した処理が行われる。コンテキストとは、符号化／復号の状況（文脈）のことであり、関連シンタックスの過去の符号化／復号結果により定まるものである。関連シンタックスとしては、例えば、イントラ予測、インター予測に関する各種シンタックス、輝度（Luma）、色差（Chroma）に関する各種シンタックス、およびＣＵ(Coding Unit 符号化単位)サイズに関する各種シンタックスなどがある。また、ＣＡＢＡＣでは、シンタックスに対応する２値データ（バイナリ列）における、符号化／復号対象となるバイナリの位置をコンテキストとして用いる場合もある。

【0025】

ＣＡＶＬＣでは、符号化に用いるＶＬＣテーブルを適応的に変更して、各種シンタックスが符号化される。一方、ＣＡＢＡＣでは、予測モードおよび変換係数等の多値を取り得るシンタックスに対して２値化処理が施され、この２値化処理によって得られた２値データが発生確率に応じて適応的に算術符号化される。具体的には、バイナリ値（０または１）の発生確率を保持するバッファを複数用意し、コンテキストに応じて一つのバッファを選択し、当該バッファに記録されている発生確率に基づいて算術符号化を行う。また、復
号／符号化するバイナリ値に基づいて、当該バッファの発生確率を更新することで、コンテキストに応じて適切な発生確率を維持できる。

【0026】

動画像復号装置１には、動画像符号化装置２が動画像を符号化した符号化データ＃１が入力される。動画像復号装置１は、入力された符号化データ＃１を復号して動画像＃２を外部に出力する。動画像復号装置１の詳細な説明に先立ち、符号化データ＃１の構成を以下に説明する。

【0027】

〔符号化データの構成〕
図３を用いて、動画像符号化装置２によって生成され、動画像復号装置１によって復号される符号化データ＃１の構成例について説明する。符号化データ＃１は、例示的に、シーケンス、およびシーケンスを構成する複数のピクチャを含む。

【0028】

符号化データ＃１におけるピクチャレイヤ以下の階層の構造を図３に示す。図３の（ａ）〜（ｄ）は、それぞれ、ピクチャＰＩＣＴを規定するピクチャレイヤ、スライスＳを規定するスライスレイヤ、ツリーブロック（Tree block）ＴＢＬＫを規定するツリーブロックレイヤ、ツリーブロックＴＢＬＫに含まれる符号化単位（Coding Unit；ＣＵ）を規定
するＣＵレイヤを示す図である。

【0029】

（ピクチャレイヤ）
ピクチャレイヤでは、処理対象のピクチャＰＩＣＴ（以下、対象ピクチャとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。ピクチャＰＩＣＴは、図３の（ａ）に示すように、ピクチャヘッダＰＨ、及び、スライスＳ₁〜Ｓ_NSを含んでいる（ＮＳはピクチャＰＩＣＴに含まれるスライスの総数）。

【0030】

なお、以下、スライスＳ₁〜Ｓ_NSのそれぞれを区別する必要が無い場合、符号の添え字
を省略して記述することがある。また、以下に説明する符号化データ＃１に含まれるデータであって、添え字を付している他のデータについても同様である。

【0031】

ピクチャヘッダＰＨには、対象ピクチャの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれている。例えば、動画像符号化装置２が符号化の際に用いた可変長符号化のモードを示す符号化モード情報（entropy_coding_mode_flag）は、ピクチャヘッダＰＨに含まれる符号化パラメータの一例である。

【0032】

entropy_coding_mode_flagが０の場合、当該ピクチャＰＩＣＴは、ＣＡＶＬＣ（Context-based Adaptive Variable Length Coding）によって符号化されている。また、entropy_coding_mode_flagが１である場合、当該ピクチャＰＩＣＴは、ＣＡＢＡＣ（Context-based Adaptive Binary Arithmetic Coding）によって符号化されている。

【0033】

なお、ピクチャヘッダＰＨは、ピクチャー・パラメーター・セット（ＰＰＳ：Picture Parameter Set）とも称される。

【0034】

（スライスレイヤ）
スライスレイヤでは、処理対象のスライスＳ（対象スライスとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。スライスＳは、図３の（ｂ）に示すように、スライスヘッダＳＨ、及び、ツリーブロックＴＢＬＫ₁〜ＴＢＬＫ_NC（ＮＣはスライスＳに含まれるツリーブロックの総数）を含んでいる。

【0035】

スライスヘッダＳＨには、対象スライスの復号方法を決定するために動画像復号装置１が参照する符号化パラメータ群が含まれる。スライスタイプを指定するスライスタイプ指
定情報（slice_type）は、スライスヘッダＳＨに含まれる符号化パラメータの一例である。

【0036】

スライスタイプ指定情報により指定可能なスライスタイプとしては、（１）符号化の際にイントラ予測のみを用いるＩスライス、（２）符号化の際に単予測、又は、イントラ予測を用いるＰスライス、（３）符号化の際に単予測、双予測、又は、イントラ予測を用いるＢスライスなどが挙げられる。

【0037】

また、スライスヘッダＳＨには、動画像復号装置１の備えるループフィルタ（不図示）によって参照されるフィルタパラメータが含まれていてもよい。

【0038】

（ツリーブロックレイヤ）
ツリーブロックレイヤでは、処理対象のツリーブロックＴＢＬＫ（以下、対象ツリーブロックとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。

【0039】

ツリーブロックＴＢＬＫは、ツリーブロックヘッダＴＢＬＫＨと、符号化単位情報ＣＵ_１〜ＣＵ_ＮＬ（ＮＬはツリーブロックＴＢＬＫに含まれる符号化単位情報の総数）とを含む。ここで、まず、ツリーブロックＴＢＬＫと、符号化単位情報ＣＵとの関係について説明すると次のとおりである。

【0040】

ツリーブロックＴＢＬＫは、イントラ予測またはインター予測、および、変換の各処理ためのブロックサイズを特定するためのユニットに分割される。

【0041】

ツリーブロックＴＢＬＫの上記ユニットは、再帰的な４分木分割により分割されている。この再帰的な４分木分割により得られる木構造のことを以下、符号化ツリー（coding tree）と称する。

【0042】

以下、符号化ツリーの末端のノードであるリーフ（leaf）に対応するユニットを、符号化ノード（coding node）として参照する。また、符号化ノード
は、符号化処理の基本的な単位となるため、以下、符号化ノードのことを、符号化単位（ＣＵ）とも称する。

【0043】

つまり、符号化単位情報ＣＵ_１〜ＣＵ_ＮＬは、ツリーブロックＴＢＬＫを再帰的に４分木分割して得られる各符号化ノード（符号化単位）に対応する情報である。

【0044】

また、符号化ツリーのルート（root）は、ツリーブロックＴＢＬＫに対応付けられる。換言すれば、ツリーブロックＴＢＬＫは、複数の符号化ノードを再帰的に含む４分木分割の木構造の最上位ノードに対応付けられる。

【0045】

なお、各符号化ノードのサイズは、当該符号化ノードが直接に属する符号化ノード（すなわち、当該符号化ノードの１階層上位のノードのユニット）のサイズの縦横とも半分である。

【0046】

また、各符号化ノードの取り得るサイズは、符号化データ＃１のシーケンスパラメータセットＳＰＳに含まれる、符号化ノードのサイズ指定情報および最大階層深度（maximum hierarchical depth）に依存する。例えば、ツリーブロックＴＢＬＫのサイズが６４×６４画素であって、最大階層深度が３である場合には、当該ツリーブロックＴＢＬＫ以下の階層における符号化ノードは、４種類のサイズ、すなわち、６４×６４画素、３２×３２画素、１６×１６画素、および８×８画素の何れかを取り得る。

【0047】

（ツリーブロックヘッダ）
ツリーブロックヘッダＴＢＬＫＨには、対象ツリーブロックの復号方法を決定するために動画像復号装置１が参照する符号化パラメータが含まれる。
具体的には、図３の（ｃ）に示すように、対象ツリーブロックの各ＣＵへの分割パターンを指定するツリーブロック分割情報ＳＰ＿ＴＢＬＫ、および、量子化ステップの大きさを指定する量子化パラメータ差分Δｑｐ（qp_delta）が含まれる。

【0048】

ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ツリーブロックを分割するための符号化ツリーを表す情報であり、具体的には、対象ツリーブロックに含まれる各ＣＵの形状、サイズ、および、対象ツリーブロック内での位置を指定する情報である。

【0049】

なお、ツリーブロック分割情報ＳＰ＿ＴＢＬＫは、ＣＵの形状やサイズを明示的に含んでいなくてもよい。例えばツリーブロック分割情報ＳＰ＿ＴＢＬＫは、対象ツリーブロック全体またはツリーブロックの部分領域を四分割するか否かを示すフラグ(split_coding_unit_flag)の集合であってもよい。その場合、ツリーブロックの形状やサイズを併用することで各ＣＵの形状やサイズを特定できる。

【0050】

また、量子化パラメータ差分Δｑｐは、対象ツリーブロックにおける量子化パラメータｑｐと、当該対象ツリーブロックの直前に符号化されたツリーブロックにおける量子化パラメータｑｐ’との差分ｑｐ−ｑｐ’である。

【0051】

（ＣＵレイヤ）
ＣＵレイヤでは、処理対象のＣＵ（以下、対象ＣＵとも称する）を復号するために動画像復号装置１が参照するデータの集合が規定されている。

【0052】

ここで、符号化単位情報ＣＵに含まれるデータの具体的な内容の説明をする前に、ＣＵに含まれるデータの木構造について説明する。符号化ノードは、予測ツリー（prediction
tree；ＰＴ）および変換ツリー（transform tree；ＴＴ）のルートのノードとなる。予
測ツリーおよび変換ツリーについて説明すると次のとおりである。

【0053】

予測ツリーにおいては、符号化ノードが１または複数の予測ブロックに分割され、各予測ブロックの位置とサイズとが規定される。別の表現でいえば、予測ブロックは、符号化ノードを構成する１または複数の重複しない領域である。また、予測ツリーは、上述の分割により得られた１または複数の予測ブロックを含む。

【0054】

予測処理は、この予測ブロックごとに行われる。以下、予測の単位である予測ブロックのことを、予測単位（prediction unit；ＰＵ）とも称する。

【0055】

予測ツリーにおける分割の種類は、大まかにいえば、イントラ予測の場合と、インター予測の場合との２つがある。

【0056】

イントラ予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）と、Ｎ×Ｎとがある。

【0057】

また、インター予測の場合、分割方法は、２Ｎ×２Ｎ（符号化ノードと同一サイズ）、２Ｎ×Ｎ、Ｎ×２Ｎ、および、Ｎ×Ｎなどがある。

【0058】

また、変換ツリーにおいては、符号化ノードが１または複数の変換ブロックに分割され、各変換ブロックの位置とサイズとが規定される。別の表現でいえば、変換ブロックは、
符号化ノードを構成する１または複数の重複しない領域のことである。また、変換ツリーは、上述の分割より得られた１または複数の変換ブロックを含む。

【0059】

変換処理は、この変換ブロックごとに行われる。以下、変換の単位である変換ブロックのことを、変換単位（transform unit；ＴＵ）とも称する。

【0060】

（符号化単位情報のデータ構造）
続いて、図３の（ｄ）を参照しながら符号化単位情報ＣＵに含まれるデータの具体的な内容について説明する。図３の（ｄ）に示すように、符号化単位情報ＣＵは、具体的には、スキップモードフラグＳＫＩＰ、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅ、ＰＴ情報ＰＴＩ、および、ＴＴ情報ＴＴＩを含む。

【0061】

［スキップフラグ］
スキップフラグＳＫＩＰは、対象ＣＵについて、スキップモードが適用されているか否かを示すフラグであり、スキップフラグＳＫＩＰの値が１の場合、すなわち、対象ＣＵにスキップモードが適用されている場合、その符号化単位情報ＣＵにおけるＰＴ情報ＰＴＩは省略される。なお、スキップフラグＳＫＩＰは、Ｉスライスでは省略される。

【0062】

［ＣＵ予測タイプ情報］
ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅは、ＣＵ予測方式情報ＰｒｅｄＭｏｄｅおよびＰＵ分割タイプ情報ＰａｒｔＭｏｄｅを含む。

【0063】

ＣＵ予測方式情報ＰｒｅｄＭｏｄｅは、対象ＣＵに含まれる各ＰＵについての予測画像生成方法として、イントラ予測（イントラＣＵ）、および、インター予測（インターＣＵ）のいずれを用いるのかを指定するものである。なお、以下では、対象ＣＵにおける、スキップ、イントラ予測、および、インター予測の種別を、ＣＵ予測モードと称する。

【0064】

ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅは、対象符号化単位（ＣＵ）の各ＰＵへの分割のパターンであるＰＵ分割タイプを指定するものである。以下、このように、ＰＵ分割タイプに従って、対象符号化単位（ＣＵ）を各ＰＵへ分割することをＰＵ分割と称する。

【0065】

ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅは、例示的には、ＰＵ分割パターンの種類を示すインデックスであってもよいし、対象予測ツリーに含まれる各ＰＵの形状、サイズ、および、対象予測ツリー内での位置が指定されていてもよい。

【0066】

なお、選択可能なＰＵ分割タイプは、ＣＵ予測方式とＣＵサイズに応じて異なる。また、さらにいえば、選択可能できるＰＵ分割タイプは、インター予測およびイントラ予測それぞれの場合において異なる。また、ＰＵ分割タイプの詳細については後述する。

【0067】

また、Ｉスライスでない場合、ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅの値は、ツリーブロックの分割（partition）、予測方式、およびＣＵの分割（split）の方法の組み合わせを指定するインデックス（cu_split_pred_part_mode）によって特定されるようになって
いてもよい。

【0068】

［ＰＴ情報］
ＰＴ情報ＰＴＩは、対象ＣＵに含まれるＰＴに関する情報である。言い換えれば、ＰＴ情報ＰＴＩは、ＰＴに含まれる１または複数のＰＵそれぞれに関する情報の集合である。上述のとおり予測画像の生成は、ＰＵを単位として行われるので、ＰＴ情報ＰＴＩは、動画像復号装置１によって予測画像が生成される際に参照される。ＰＴ情報ＰＴＩは、図３の（ｄ）に示すように、各ＰＵにおける予測情報等を含むＰＵ情報ＰＵＩ_１〜ＰＵＩ_ＮＰ
（ＮＰは、対象ＰＴに含まれるＰＵの総数）を含む。

【0069】

予測情報ＰＵＩは、予測タイプ情報Ｐｒｅｄ＿ｍｏｄｅが何れの予測方法を指定するのかに応じて、イントラ予測情報、または、インター予測情報を含む。以下では、イントラ予測が適用されるＰＵをイントラＰＵとも呼称し、インター予測が適用されるＰＵをインターＰＵとも呼称する。

【0070】

インター予測情報は、動画像復号装置１が、インター予測によってインター予測画像を生成する際に参照される符号化パラメータを含む。

【0071】

インター予測パラメータとしては、例えば、マージフラグ（ｍｅｒｇｅ＿
ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、推定動きベクトルインデックス（ｍｖｐ＿ｉｄｘ）、参照画像インデックス（ｒｅｆ＿ｉｄｘ）、インター予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）、および動きベクトル残差（ｍｖｄ）が挙げられる。

【0072】

イントラ予測情報は、動画像復号装置１が、イントラ予測によってイントラ予測画像を生成する際に参照される符号化パラメータを含む。

【0073】

イントラ予測パラメータとしては、例えば、推定予測モードフラグ、推定予測モードインデックス、および、残余予測モードインデックスが挙げられる。

【0074】

なお、イントラ予測情報では、ＰＣＭモードを用いるか否かを示すＰＣＭモードフラグが符号化されていてもよい。ＰＣＭモードフラグが符号化されている場合であって、ＰＣＭモードフラグがＰＣＭモードを用いることを示しているときには、予測処理（イントラ）、変換処理、および、エントロピー符号化の各処理が省略される。

【0075】

［ＴＴ情報］
ＴＴ情報ＴＴＩは、ＣＵに含まれるＴＴに関する情報である。言い換えれば、ＴＴ情報ＴＴＩは、ＴＴに含まれる１または複数のＴＵそれぞれに関する情報の集合であり、動画像復号装置１により残差データを復号する際に参照される。なお、以下、ＴＵのことをブロックと称することもある。

【0076】

ＴＴ情報ＴＴＩは、図３の（ｄ）に示すように、対象ＣＵの各変換ブロックへの分割パターンを指定するＴＴ分割情報ＳＰ＿ＴＵ、および、ＴＵ情報ＴＵＩ₁〜ＴＵＩ_NT（ＮＴ
は、対象ＣＵに含まれるブロックの総数）を含んでいる。

【0077】

ＴＴ分割情報ＳＰ＿ＴＵは、具体的には、対象ＣＵに含まれる各ＴＵの形状、サイズ、および、対象ＣＵ内での位置を決定するための情報である。例えば、ＴＴ分割情報ＳＰ＿ＴＵは、対象となるノードの分割を行うのか否かを示す情報（split_transform_flag）と、その分割の深度を示す情報（trafoDepth）とから実現することができる。

【0078】

また、例えば、ＣＵのサイズが、６４×６４の場合、分割により得られる
各ＴＵは、３２×３２画素から４×４画素までのサイズを取り得る。

【0079】

ＴＵ情報ＴＵＩ₁〜ＴＵＩ_NTは、ＴＴに含まれる１または複数のＴＵそれぞれに関する
個別の情報である。例えば、ＴＵ情報ＴＵＩは、量子化予測残差を含んでいる。

【0080】

各量子化予測残差は、動画像符号化装置２が以下の処理１〜３を、処理対象のブロックである対象ブロックに施すことによって生成した符号化データである。

【0081】

処理１：符号化対象画像から予測画像を減算した予測残差をＤＣＴ変換（Discrete Cosine Transform）する；
処理２：処理１にて得られた変換係数を量子化する；
処理３：処理２にて量子化された変換係数を可変長符号化する；
なお、上述した量子化パラメータｑｐは、動画像符号化装置２が変換係数を量子化する際に用いた量子化ステップＱＰの大きさを表す（ＱＰ＝２^qp/6）。

【0082】

（ＰＵ分割タイプ）
ＰＵ分割タイプには、対象ＣＵのサイズを２Ｎ×２Ｎ画素とすると、次の合計８種類のパターンがある。すなわち、２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素、Ｎ×２Ｎ画素、およびＮ×Ｎ画素の４つの対称的分割（symmetric splittings）、並びに、２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素、およびｎＲ×２Ｎ画素の４つの非対称的分割（asymmetric splittings）である。なお、Ｎ＝２^ｍ（ｍは１以上の任意の整数）を意味している。以下
、対象ＣＵを分割して得られる領域のことをパーティションとも称する。

【0083】

図４の（ａ）〜（ｈ）に、それぞれの分割タイプについて、ＣＵにおけるＰＵ分割の境界の位置を具体的に図示している。

【0084】

なお、図４の（ａ）は、ＣＵの分割を行わない２Ｎ×２ＮのＰＵ分割タイプを示している。

【0085】

また、図４の（ｂ）、（ｃ）、および（ｄ）は、それぞれ、ＰＵ分割タイプが、それぞれ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションの形状について示している。以下、ＰＵ分割タイプが、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤである場合のパーティションを、まとめて横長パーティションと称する。

【0086】

また、図４の（ｅ）、（ｆ）、および（ｇ）は、それぞれ、ＰＵ分割タイプが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションの形状について示している。以下、ＰＵ分割タイプが、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎである場合のパーティションを、まとめて縦長パーティションと称する。

【0087】

また、横長パーティションおよび縦長パーティションをまとめて長方形パーティションと称する。

【0088】

また、図４の（ｈ）は、ＰＵ分割タイプが、Ｎ×Ｎである場合のパーティションの形状を示している。図４の（ａ）および（ｈ）のＰＵ分割タイプのことを、そのパーティションの形状に基づいて、正方形分割とも称する。また、図４の（ｂ）〜（ｇ）のＰＵ分割タイプのことは、非正方形分割とも称する。

【0089】

また、図４の（ａ）〜（ｈ）において、各領域に付した番号は、領域の識別番号を示しており、この識別番号順に、領域に対して処理が行われる。すなわち、当該識別番号は、領域のスキャン順を表している。

【0090】

また、図４の（ａ）〜（ｈ）において、左上がＣＵの基準点（原点）であるとする。

【0091】

［インター予測の場合の分割タイプ］インターＰＵでは、上記８種類の分割タイプのうち、Ｎ×Ｎ（図４の（ｈ））以外の７種類が定義されている。なお、上記４つの非対称的分割は、ＡＭＰ（Asymmetric Motion Partition）と呼ばれることもある。

【0092】

なお、上述のＮの具体的な値は、当該ＰＵが属するＣＵのサイズによって規定され、ｎＵ、ｎＤ、ｎＬ、および、ｎＲの具体的な値は、Ｎの値に応じて定められる。例えば、１２８×１２８画素のインターＣＵは、１２８×１２８画素、１２８×６４画素、６４×１２８画素、６４×６４画素、１２８×３２画素、１２８×９６画素、３２×１２８画素、および、９６×１２８画素のインターＰＵへ分割することが可能である。

【0093】

［イントラ予測の場合の分割タイプ］
イントラＰＵでは、次の２種類の分割パターンが定義されている。すなわち、対象ＣＵを分割しない、すなわち対象ＣＵ自身が１つのＰＵとして取り扱われる分割パターン２Ｎ×２Ｎと、対象ＣＵを、４つのＰＵへと対称的に分割するパターンＮ×Ｎと、である。

【0094】

したがって、イントラＰＵでは、図４に示した例でいえば、（ａ）および（ｈ）の分割パターンを取ることができる。

【0095】

例えば、１２８×１２８画素のイントラＣＵは、１２８×１２８画素、および、６４×６４画素のイントラＰＵへ分割することが可能である。

【0096】

なお、Iスライスの場合、符号化単位情報ＣＵにおいて、ＰＵ分割タイプＰａｒｔＭｏ
ｄｅを特定するためのイントラ分割モード（intra_part_mode）が含まれていてもよい。

【0097】

（ＴＵ分割およびノード内のＴＵの順序）
次に、図１８〜図２０を用いて、ＴＵ分割およびノード内のＴＵの順序について説明する。ＴＵ分割のパターンは、ＣＵのサイズ、分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプにより定まる。

【0098】

また、ＴＵ分割のパターンには、正方形の４分木分割と、非正方形の４分
木分割とが含まれる。ＴＵ分割のパターンの具体例は、図１８および図１９
に示すとおりである。

【0099】

図１８は、正方形のノードを正方形または非正方形に４分木分割する分割方式について示している。

【0100】

図１８の（ａ）は、正方形のノードを正方形に４分木分割する分割方式を示している。また、同図の（ｂ）は、正方形のノードを横長の長方形に４分木分割する分割方式を示している。そして、同図の（ｃ）は、正方形のノードを縦長の長方形に４分木分割する分割方式を示している。

【0101】

また、図１９は、非正方形のノードを正方形または非正方形に４分木分割する分割方式について示している。

【0102】

図１９の（ａ）は、横長の長方形のノードを横長の長方形に４分木分割する分割方式を示している。また、同図の（ｂ）は、横長の長方形のノードを正方形に４分木分割する分割方式を示している。また、同図の（ｃ）は、縦長の長方形のノードを縦長の長方形に４分木分割する分割方式を示している。そして、同図の（ｄ）は、縦長の長方形のノードを正方形に４分木分割する分割方式を示している。

【0103】

また、図２０に、ＰＵ分割タイプ２Ｎ×Ｎの３２×３２ＣＵのＴＵ分割の例を示している。同図において、“ｄｅｐｔｈ”は、分割の深度（trafoDepth）を示している。また、“ｓｐｌｉｔ”は、当該ｄｅｐｔｈにおけるsplit_transform_flagの値を示している。“ｓｐｌｉｔ”が“１”であれば、当該ｄｅｐｔｈのノードについてＴＵ分割を行い、“０
”であれば、ＴＵ分割を行わない。

【0104】

ＣＵのサイズ、分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプと、ＴＵ分割パターンとの対応関係の詳細については後述する。

【0105】

〔動画像復号装置〕
以下では、本実施形態に係る動画像復号装置１の構成について、図１〜図２４を参照して説明する。

【0106】

（動画像復号装置の概要）
動画像復号装置１は、ＰＵ毎に予測画像を生成し、生成された予測画像と、符号化データ＃１から復号された予測残差とを加算することによって復号画像＃２を生成し、生成された復号画像＃２を外部に出力する。

【0107】

ここで、予測画像の生成は、符号化データ＃１を復号することによって得られる符号化パラメータを参照して行われる。符号化パラメータとは、予測画像を生成するために参照されるパラメータのことである。符号化パラメータには、画面間予測において参照される動きベクトルや画面内予測において参照される予測モードなどの予測パラメータに加えて、ＰＵのサイズや形状、ブロックのサイズや形状、および、原画像と予測画像との残差データなどが含まれる。以下では、符号化パラメータに含まれる情報のうち、上記残差データを除く全ての情報の集合を、サイド情報と呼ぶ。

【0108】

また、以下では、復号の対象となるピクチャ（フレーム）、スライス、ツリーブロック、ブロック、および、ＰＵをそれぞれ、対象ピクチャ、対象スライス、対象ツリーブロック、対象ブロック、および、対象ＰＵと呼ぶことにする。

【0109】

なお、ツリーブロックのサイズは、例えば６４×６４画素であり、ＰＵのサイズは、例えば、６４×６４画素、３２×３２画素、１６×１６画素、８×８画素や４×４画素などである。しかしながら、これらのサイズは、単なる例示であり、ツリーブロックおよびＰＵのサイズは以上に示したサイズ以外のサイズであってもよい。

【0110】

（動画像復号装置の構成）
再び、図２を参照して、動画像復号装置１の概略的構成について説明すると次のとおりである。図２は、動画像復号装置１の概略的構成について示した機能ブロック図である。

【0111】

図２に示すように動画像復号装置１は、復号モジュール１０、ＣＵ情報復号部１１、ＰＵ情報復号部１２、ＴＵ情報復号部１３、予測画像生成部１４、逆量子化・逆変換部１５、フレームメモリ１６および加算器１７を備えている。

【0112】

［復号モジュール］
復号モジュール１０は、バイナリからシンタックス値を復号する復号処理を行う。復号モジュール１０は、より具体的には、供給元から供給される符号化データおよびシンタックス種別に基づいて、ＣＡＢＡＣおよびＣＡＶＬＣ等のエントロピー符号化方式により符号化されているシンタックス値を復号し、復号したシンタックス値を供給元に返す。

【0113】

以下に示す例では、符号化データおよびシンタックス種別の供給元は、ＣＵ情報復号部１１、ＰＵ情報復号部１２、およびＴＵ情報復号部１３である。

【0114】

復号モジュール１０における復号処理の例として、ＣＵ情報復号部１１から、復号モジュール１０に対して、符号化データのバイナリ（ビット列）と、シンタックス種別“spli
t_coding_unit_flag”とが供給された場合について説明すると次のとおりである。すなわち、この場合、復号モジュール１０は、“split_coding_unit_flag”に関するビット列とシンタックス値との対応付けを参照して、バイナリからシンタックス値を導出して、導出したシンタックス値をＣＵ情報復号部１１に返す。

【0115】

［ＣＵ情報復号部］
ＣＵ情報復号部１１は、復号モジュール１０を用いて、動画像符号化装置２から入力された１フレーム分の符号化データ＃１について、ツリーブロックおよびＣＵレベルでの復号処理を行う。ＣＵ情報復号部１１は、具体的には、以下の手順により符号化データ＃１を復号する。

【0116】

まず、ＣＵ情報復号部１１は、符号化データ＃１に含まれる各種ヘッダを参照して、符号化データ＃１を、スライス、ツリーブロックに順次分離する。

【0117】

ここで、各種ヘッダには、（１）対象ピクチャのスライスへの分割方法についての情報、および（２）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報が含まれる。

【0118】

そして、ＣＵ情報復号部１１は、ツリーブロックヘッダＴＢＬＫＨに含まれるツリーブロック分割情報ＳＰ＿ＴＢＬＫを参照して、対象ツリーブロックをＣＵに分割する。

【0119】

次に、ＣＵ情報復号部１１は、分割により得られたＣＵに対応する符号化単位情報（以下、ＣＵ情報と称する）を取得する。ＣＵ情報復号部１１は、ツリーブロックに含まれる各ＣＵを順に対象ＣＵとして、対象ＣＵに対応するＣＵ情報の復号処理を実行する。

【0120】

すなわち、ＣＵ情報復号部１１は、対象ＣＵについて得られる変換ツリーに関するＴＴ情報ＴＴＩ、および、対象ＣＵについて得られる予測ツリーに関するＰＴ情報ＰＴＩを逆多重化する。

【0121】

なお、ＴＴ情報ＴＴＩには、上述のとおり、変換ツリーに含まれるＴＵに対応するＴＵ情報ＴＵＩが含まれる。また、ＰＴ情報ＰＴＩには、上述のとおり、対象予測ツリーに含まれるＰＵに対応するＰＵ情報ＰＵＩが含まれる。

【0122】

ＣＵ情報復号部１１は、対象ＣＵについて得られたＰＴ情報ＰＴＩをＰＵ情報復号部１２に供給する。また、ＣＵ情報復号部１１は、対象ＣＵについて得られたＴＴ情報ＴＴＩをＴＵ情報復号部１３に供給する。

【0123】

［ＰＵ情報復号部］
ＰＵ情報復号部１２は、復号モジュール１０を用いて、ＣＵ情報復号部１１から供給されるＰＴ情報ＰＴＩについて、ＰＵレベルでの復号処理を行う。ＰＵ情報復号部１２は、具体的には、以下の手順によりＰＴ情報ＰＴＩを復号する。

【0124】

ＰＵ情報復号部１２は、ＰＵ分割タイプ情報Ｐａｒｔ＿ｔｙｐｅを参照して、対象予測ツリーにおけるＰＵ分割タイプを決定する。続いて、ＰＵ情報復号部１２は、対象予測ツリーに含まれる各ＰＵを順に対象ＰＵとして、対象ＰＵに対応するＰＵ情報の復号処理を実行する。

【0125】

すなわち、ＰＵ情報復号部１２は、対象ＰＵに対応するＰＵ情報から、予測画像の生成に用いられる各パラメータの復号処理を行う。

【0126】

ＰＵ情報復号部１２は、対象ＰＵについて復号したＰＵ情報を、予測画像生成部１４に供給する。

【0127】

［ＴＵ情報復号部］
ＴＵ情報復号部１３は、復号モジュール１０を用いて、ＣＵ情報復号部１１から供給されるＴＴ情報ＴＴＩについて、ＴＵレベルでの復号処理を行う。ＴＵ情報復号部１３は、具体的には、以下の手順によりＴＴ情報ＴＴＩを復号する。

【0128】

ＴＵ情報復号部１３は、ＴＴ分割情報ＳＰ＿ＴＵを参照して、対象変換ツリーをノードまたはＴＵに分割する。なお、ＴＵ情報復号部１３は、対象ノードについて、さらに分割を行うことが指定されていれば、再帰的にＴＵの分割処理を行う。

【0129】

分割処理が終了すると、ＴＵ情報復号部１３は、対象予測ツリーに含まれる各ＴＵを順に対象ＴＵとして、対象ＴＵに対応するＴＵ情報の復号処理を実行する。

【0130】

すなわち、ＴＵ情報復号部１３は、対象ＴＵに対応するＴＵ情報から、変換係数の復元に用いられる各パラメータの復号処理を行う。

【0131】

ＴＵ情報復号部１３は、対象ＴＵについて復号したＴＵ情報を、逆量子化・逆変換部１５に供給する。

【0132】

［予測画像生成部］
予測画像生成部１４は、対象ＣＵに含まれる各ＰＵについて、ＰＴ情報ＰＴＩに基づいて予測画像を生成する。具体的には、予測画像生成部１４は、対象予測ツリーに含まれる各対象ＰＵについて、対象ＰＵに対応するＰＵ情報ＰＵＩに含まれるパラメータに従ってイントラ予測またはインター予測を行うことにより、復号済み画像である局所復号画像Ｐ’から予測画像Ｐｒｅｄを生成する。予測画像生成部１４は、生成した予測画像Ｐｒｅｄを加算器１７に供給する。

【0133】

なお、予測画像生成部１４が、動き補償予測パラメータ（動きベクトル、参照画像インデックス、インター予測フラグ）に基づいて対象ＣＵに含まれるＰＵの予測画像を生成する手法について説明すると以下のとおりである。

【0134】

インター予測フラグが単予測を示す場合、予測画像生成部１４は、参照画像インデックスの示す参照画像の動きベクトルが示す場所に位置する復号画像に相当する予測画像を生成する。

【0135】

一方、インター予測フラグが双予測を示す場合には、予測画像生成部１４は、２組の参照画像インデックスと動きベクトルとの組み合わせのそれぞれについて動き補償により予測画像を生成し、平均を算出することで、もしくは、各予測画像を対象ピクチャと各参照画像との表示時間間隔に基づいて重み付け加算することで、最終的な予測画像を生成する。

【0136】

［逆量子化・逆変換部］
逆量子化・逆変換部１５は、対象ＣＵに含まれる各ＴＵについて、ＴＴ情報ＴＴＩに基づいて逆量子化・逆変換処理を実行する。具体的には、逆量子化・逆変換部１５は、対象変換ツリーに含まれる各対象ＴＵについて、対象ＴＵに対応するＴＵ情報ＴＵＩに含まれる量子化予測残差を逆量子化および逆直交変換することによって、画素毎の予測残差Ｄを復元する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことを指す。したがって、逆直交変換は、周波数領域から画素領域への変換である。また、逆直交
変換の例としては、逆ＤＣＴ変換（Inverse Discrete Cosine Transform）、および逆Ｄ
ＳＴ変換（Inverse Discrete Sine Transform）等が挙げられる。逆量子化・逆変換部１
５は、復元した予測残差Ｄを加算器１７に供給する。

【0137】

［フレームメモリ］
フレームメモリ１６には、復号された復号画像Ｐが、当該復号画像Ｐの復号に用いられたパラメータと共に、順次記録される。フレームメモリ１６には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック（例えば、ラスタスキャン順で先行する全てのツリーブロック）に対応する復号画像が記録されている。フレームメモリ１６に記録される復号パラメータの例としては、ＣＵ予測方式情報ＰｒｅｄＭｏｄｅなどが挙げられる。

【0138】

［加算器］
加算器１７は、予測画像生成部１４より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部１５より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。

【0139】

なお、動画像復号装置１において、画像内の全てのツリーブロックに対して、ツリーブロック単位の復号画像生成処理が終わった時点で、動画像復号装置１に入力された１フレーム分の符号化データ＃１に対応する復号画像＃２が外部に出力される。

【0140】

以下では、（１）ＣＵ情報復号部１１、（２）ＰＵ情報復号部１２、および（３）ＴＵ情報復号部１３の構成について、それぞれの構成に対応する復号モジュール１０の構成と共に詳細に説明する。

【0141】

（１）ＣＵ情報復号部の詳細
次に、図１を用いて、ＣＵ情報復号部１１および復号モジュール１０の構成例について説明する。図１は、動画像復号装置１において、ＣＵ予測情報を復号するための構成、すなわちＣＵ情報復号部１１および復号モジュール１０の構成について例示する機能ブロック図である。

【0142】

以下、ＣＵ情報復号部１１および復号モジュール１０の順で、各部の構成について説明する。

【0143】

（ＣＵ情報復号部）
図１に示すように、ＣＵ情報復号部１１は、ＣＵ予測モード決定部１１１、ＰＵサイズ決定部１１２、およびＰＵサイズテーブル１１３を備える。

【0144】

ＣＵ予測モード決定部１１１は、ＣＵ予測モードの符号化データおよびシンタックス種別と、ＰＵ分割タイプの符号化データおよびシンタックス種別とを、復号モジュール１０に供給する。また、ＣＵ予測モード決定部１１１は、復号モジュール１０から、復号されたＣＵ予測モードのシンタックス値と、ＰＵ分割タイプのシンタックス値とを取得する。

【0145】

具体的には、ＣＵ予測モード決定部１１１は、次のようにして、ＣＵ予測モードおよびＰＵ分割タイプを決定する。

【0146】

まず、ＣＵ予測モード決定部１１１は、スキップフラグＳＫＩＰを復号モジュール１０により復号して、対象ＣＵがスキップＣＵであるか否かを決定する。

【0147】

対象ＣＵがスキップＣＵでない場合、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅを復号モ
ジュール１０により復号する。また、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅに含まれるＣＵ予測方式情報ＰｒｅｄＭｏｄｅに基づいて、対象ＣＵがイントラＣＵか、インターＣＵかを決定するとともに、ＰＵ分割タイプ情報ＰａｒｔＭｏｄｅに基づいてＰＵ分割タイプを決定する。

【0148】

ＰＵサイズ決定部１１２は、ＰＵサイズテーブル１１３を参照して、対象ＣＵのサイズと、ＣＵ予測モード決定部１１１において決定されたＣＵ予測タイプおよびＰＵ分割タイプとから、ＰＵの個数およびサイズを決定する。

【0149】

ＰＵサイズテーブル１１３は、ＣＵのサイズとＣＵ予測タイプ−ＰＵ分割タイプとの組み合わせにＰＵの個数およびサイズを対応付けるテーブルである。

【0150】

ここで、図５を用いて、ＰＵサイズテーブル１１３の具体的な構成例について説明すると次のとおりである。

【0151】

図５に示すＰＵサイズテーブル１１３では、ＣＵのサイズと、ＰＵ分割タイプ（イントラＣＵおよびインターＣＵ）に応じて、ＰＵの個数およびサイズが定義されている。なお、表中の“ｄ”は、ＣＵの分割深度を示す。

【0152】

ＰＵサイズテーブル１１３では、ＣＵのサイズとして、６４×６４、３２×３２、１６×１６、および８×８の４つが定義されている。

【0153】

また、ＰＵサイズテーブル１１３では、ＣＵのサイズに対して、各ＰＵ分割タイプにおけるＰＵの個数およびサイズが定義されている。

【0154】

例えば、６４×６４のインターＣＵであって、２Ｎ×Ｎ分割である場合は、ＰＵは２個でサイズは共に６４×３２である。

【0155】

また、６４×６４のインターＣＵであって、２Ｎ×ｎＵ分割である場合は、ＰＵは２個でサイズは６４×１６と６４×４８とである。

【0156】

また、８×８のイントラＣＵであって、Ｎ×Ｎ分割である場合は、ＰＵは４個でサイズはすべて４×４である。

【0157】

なお、スキップＣＵのＰＵ分割タイプは、２Ｎ×２Ｎと推定される。また、表中、“−”で示している箇所は、選択できないＰＵ分割タイプであることを示している。

【0158】

すなわち、ＣＵサイズが、８×８の場合、インターＣＵにおいて、非対称パーティション（２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２Ｎ）のＰＵ分割タイプは選択不可である。また、インターＣＵの場合、Ｎ×ＮのＰＵ分割タイプは、選択不可である。

【0159】

また、イントラ予測では、ＣＵサイズが、８×８の場合のみ、Ｎ×ＮのＰＵ分割タイプを選択することが可能である。

【0160】

（復号モジュール）
図１に示すように、復号モジュール１０は、ＣＵ予測モード復号部（復号手段、変更手段）１０１１、二値化情報記憶部１０１２、コンテキスト記憶部１０１３、および確率設定記憶部１０１４を備える。

【0161】

ＣＵ予測モード復号部１０１１は、ＣＵ予測モード決定部１１１から供給される符号化
データおよびシンタックス種別に応じて、符号化データに含まれるバイナリからシンタックス値の復号を行う。具体的には、ＣＵ予測モード復号部１０１１は、二値化情報記憶部１０１２に記憶されている二値化情報に従って、ＣＵ予測モードおよびＰＵ分割タイプの復号処理を行う。また、ＣＵ予測モード復号部１０１１は、スキップフラグの復号処理を行う。

【0162】

二値化情報記憶部１０１２には、ＣＵ予測モード復号部１０１１が、バイナリから、シンタックス値を復号するための二値化情報が記憶されている。二値化情報は、バイナリ（ｂｉｎ列）と、シンタックス値との対応付けを示す情報である。

【0163】

コンテキスト記憶部１０１３には、ＣＵ予測モード復号部１０１１が、復号処理の際に参照するコンテキストが記憶されている。

【0164】

確率設定記憶部１０１４には、ＣＵ予測モード復号部１０１１が、符号化データから算術復号処理によりｂｉｎ列を復号する際に参照する確率設定値が記録されている。なお、確率設定値は、各コンテキストに対応する記録設定値と、既定の確率設定値がある。各コンテキストに対応する確率設定値は、算術復号の結果に基づいて更新される。一方、既定の確率設定値は一定であり、算術復号の結果により更新されない。なお、確率設定値は、確率の値自体ではなく、確率の値に対応する整数値で示される状態で表現しても良い。

【0165】

［具体的構成例］
［１−１］コンテキストの参照を制限する構成の例
ＣＵ予測モード復号部１０１１は、ＰＵ分割タイプが非対称パーティションであるとき、非対称パーティションの分割の種類を示す情報を、ＣＡＢＡＣのコンテキストを用いないで復号処理を行ってもかまわない。言い換えると、非対称パーティションの分割の種類を示す情報に対応するｂｉｎ列を算術復号により符号化データから復号する際に、確率設定記憶部１０１４にコンテキスト毎に記録された確率設定値を用いず、既定の確率設定値（例えば０，１の発生確率が等確率に対応する確率設定値）を用いて復号処理を行ってもかまわない。

【0166】

以下、図７を参照しながら、このようにコンテキストの参照の制限を行う構成について例示する。

【0167】

ＣＵ予測モード復号部１０１１は、規定の確率を仮定して非対称パーティションの分割の種類を示す情報を復号する。

【0168】

図７を参照しながら、本構成例についてさらに具体的に例示すると次のとおりである。図７に示す対応付けテーブルＢＴ１では、長方形の分割について、プレフィックス部は、分割の方向が横長（水平）および縦長（垂直）のいずれであるかを示しており、サフィックス部は、分割の種類を示している。

【0169】

例えば、プレフィックス部が、ＰＵ分割タイプが横長の分割であることを示すとき、サフィックス部は、２Ｎ×Ｎ、２Ｎ×ｎＵ、および２Ｎ×ｎＤの３つの横長の分割のうち、いずれを選択するかを示す。

【0170】

ＣＵ予測モード復号部１０１１は、ＰＵ分割タイプが、長方形の分割である場合、確率設定記憶部１０１４に設定されているコンテキスト毎に記録された確率設定値の代わりに、確率設定記憶部１０１４に設定されている既定の確率設定値を参照して、サフィックス部の各ｂｉｎの算術復号を行う。なお、当該確率設定値は、例えば、等確率を仮定して設定しておくことができる。

【0171】

ここで、コンテキストを用いたＣＡＢＡＣの算術復号とは、バイナリの位置（コンテキスト）に応じてバイナリ値の発生確率（を示す状態）を記録・ 更新しておき、その発生
確率（状態）に基づき算術復号を行う処理のことを言う。一方、コンテキストを用いないＣＡＢＡＣの算術復号とは、バイナリ値の発生確率（状態）の更新を行わず確率設定値により定まる固定確率に基づき算術復号を行うことを言う。コンテキストを用いない場合には、符号化処理、復号処理における発生確率（状態）の更新が不要である分、処理負荷が低減されスループットが向上する。またコンテキストに応じた発生確率（状態）を蓄積するメモリが不要になる。固定確率として、確率０．５を用いる場合は、ＥＰ符号化（等確率、Equal Probability符号化）もしくはBypass（バイパス）と呼ばれることがある。

【0172】

図６を用いて、上記構成による作用・効果を説明する。まず、コンテキストが符号化効率の向上に有効なのは、特定の状況において、同一の符号が連続して発生する場合である。コンテキストを参照してサフィックス部を復号することで符号化効率が向上するのは、具体的には、横長の分割が選択された状況において、２Ｎ×Ｎ、２Ｎ×ｎＵ、または２Ｎ×ｎＤが連続して選択される場合である。例えば、２Ｎ×Ｎが選択された予測単位の次の予測単位において、２Ｎ×Ｎが選択されるような場合である。

【0173】

一方、パーティションは、図６に示すようにエッジ境界をまたがないように設定される場合が多い。

【0174】

すなわち、図６に示すように、傾斜を有するエッジＥ１が領域内に存在するとき、当該エッジＥ１をまたがないように、ＣＵ１０およびＣ２０のＰＵ分割タイプが決定される。

【0175】

より詳細には、ＣＵ１０では、エッジＥ１は、領域の垂直方向中央寄りに存在し、ＣＵ２０では、エッジＥ１が領域上方に存在する。

【0176】

このように傾斜を有するエッジＥ１が領域内に存在する場合、ＣＵ１０は、エッジＥ１をまたがないように、２Ｎ×ＮのＰＵ分割タイプにより対称なＰＵ１１およびＰＵ１２分割される。

【0177】

また、ＣＵ２０は、エッジＥ１をまたがないように、２Ｎ×ｎＵの分割タイプにより、非対称なＰＵ２１およびＰＵ２２に分割される。

【0178】

このように、傾斜を有するエッジＥ１が、領域内に存在する場合、同一の形状のパーティションが連続して出現しないときがある。

【0179】

このような場合は、２Ｎ×Ｎ、２Ｎ×ｎＵ、または２Ｎ×ｎＤが連続して選択される場合に該当しない。このような場合には、コンテキストを用いなくても符号化効率が低下しない場合がある。

【0180】

上記構成のように、プレフィックス部を規定の確率を仮定して上記情報を復号することで、符号化効率を維持しつつ、ｐｒｅｄ＿ｔｙｐｅの復号処理を簡略化することができる。

【0181】

［作用・効果］
本発明は以下のように表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成して画像を復元する画像復号装置において、上記予測単位への分割タイプは、長方形の予測単位への分割を含み、上記長方形が縦長および横長のいずれであるかを示す符号と、上記
長方形の種類を示す符号とを含む、上記長方形の予測単位への分割を特定するための符号のうち、上記長方形の種類を示す符号を、コンテキストを用いずに復号する復号手段を備える構成である。

【0182】

よって、符号化効率を維持しつつ、コンテキストを参照しないことによる処理の簡略化を図ることができる。

【0183】

なお、上記の例は、複数の長方形パーティションを含むＰＵ分割に対応するＰＵ分割タイプの集合であって、対称分割と非対称分割の分割タイプを共に含むＰＵ分割タイプの集合において、何れかのＰＵ分割タイプを選択するための情報を復号する際に、コンテキストを用いずに復号してもよい、と表現することもできる。

【0184】

また、上記の例において、非対称パーティションの選択に係る情報に対応するｂｉｎ列のうち、全てのｂｉｎの復号にコンテキストを用いないのではなく、一部のｂｉｎにコンテキストを用いてもよい。例えば、上述した図７の例では、８×８より大きいＣＵで長方形パーティションを含む分割が選択された場合、最大２桁のｂｉｎが複号される。このうち１桁目は対称分割か非対称分割かを示す情報である。２桁目は、１桁目が‘０’すなわち非対称分割であることを示す場合に複号されるｂｉｎであって、非対称分割における小さいＰＵと大きいＰＵの位置関係を表す。１桁目については、前述の図６に基づき説明した理由から同一の符号が連続しない場合もあるため、コンテキストを設定しないことが好ましい。一方、２桁目については、非対称パーティションが利用されるという前提条件が成立した状態において、小さいＰＵは局所的には片側の辺（例えば２桁目が２ＮｘｎＵと２Ｎ×ｎＤの選択情報を表す場合、上方側または下方側の何れか）に寄りやすい傾向があるため、コンテキストを設定することが好ましい。

【0185】

［１−２］ＣＵ予測タイプ情報（ｐｒｅｄ＿ｔｙｐｅ）を復号する構成ＣＵ予測モード復号部１０１１は、以下に示すように、二値化情報記憶部１０１２に記憶される二値化情報を参照してＣＵ予測タイプ情報を復号するよう構成してもよい。

【0186】

図７を用いて、二値化情報記憶部１０１２に記憶される二値化情報の構成例について説明する。図７は、ＣＵ予測タイプおよびＰＵ分割タイプの組み合わせと、ｂｉｎ列との対応付けを定義する二値化情報の一例を示すテーブルである。

【0187】

なお、図７では、例示的に、二値化情報を、ｂｉｎ列と、ＣＵ予測タイプ−ＰＵ分割タイプとを対応付けるテーブル形式にて示しているが、これに限られない。二値化情報は、ＰＵ分割タイプと、ＣＵ予測タイプとを導出するための導出式であってもかまわない。後に説明する二値化情報についても同様である。

【0188】

また、二値化情報は、データとして記憶されていなければならないわけではなく、復号処理を行うプログラムのロジックとして実現されていてもかまわない。

【0189】

図７に例示する対応付けテーブルＢＴ１では、ＣＵ予測タイプおよびＰＵ分割タイプと、ＣＵサイズとに応じて、ｂｉｎ列が対応付けられている。

【0190】

まず、ＣＵサイズの定義について説明する。対応付けテーブルＢＴ１では、ＣＵサイズの定義として、ＣＵサイズが８×８より大きい場合（ＣＵ＞８×８）の非８×８ＣＵ１０１２Ｂと、ＣＵサイズが８×８（ＣＵ＝＝８×８）の場合の８×８ＣＵ１０１２Ａの２種類の対応付けが定義されている。

【0191】

なお、非８×８ＣＵ１０１２Ｂおよび８×８ＣＵ１０１２Ａそれぞれにおいて対応付け
られているｂｉｎ列は、プレフィックス部（ｐｒｅｆｉｘ）とサフィックス部（ｓｕｆｆｉｘ）とから構成される。

【0192】

また、対応付けテーブルＢＴ１では、それぞれのＣＵサイズの定義について、ＣＵ予測タイプとして、前述のイントラＣＵ（“Ｉｎｔｒａ”と図示）およびインターＣＵ（“Ｉｎｔｅｒ”と図示）の２系統が定義されている。さらに、それぞれのＣＵ予測タイプに応じて、ＰＵ分割タイプが定義されている。

【0193】

具体的には、以下のとおりである。まず、イントラＣＵの場合、２Ｎ×２ＮおよびＮ×Ｎの２種類のＰＵ分割タイプについて定義されている。

【0194】

２Ｎ×２Ｎについて説明すると次のとおりである。非８×８ＣＵ１０１２Ｂでは、プレフィックス部のみが定義されており、ｂｉｎ列は、“０００”である。サフィックス部は、符号化されていない。また、８×８ＣＵ１０１２Ａでは、プレフィックス部は、“０００”であり、サフィックス部は、“０”である。

【0195】

一方、Ｎ×Ｎについては、非８×８ＣＵ１０１２Ｂにのみ定義されている。この場合、プレフィックス部は、“０００”であり、サフィックス部は、“１”である。

【0196】

このように、イントラＣＵの場合は、サフィックス部については、“０００”で共通である。

【0197】

次に、インターＣＵの場合、２Ｎ×２Ｎ、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎの７つのＰＵ分割タイプについて定義されている。

【0198】

ＰＵ分割タイプが、２Ｎ×２Ｎのときは、非８×８ＣＵ１０１２Ｂおよび８×８ＣＵ１０１２Ａのいずれにおいても、プレフィックス部のみが定義されており、ｂｉｎ列は、“１”である。

【0199】

非８×８ＣＵ１０１２Ｂでは、水平方向の分割を行う横長パーティションのＰＵ分割タイプ、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤについて、共通のプレフィックス部“０１”が割り当てられている。

【0200】

また、２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤのサフィックス部は、それぞれ、“１”、“００”、および“０１”である。

【0201】

また、垂直方向の分割を行う縦長パーティションのＰＵ分割タイプ、Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎについて、共通のプレフィックス部“００１”が割り当てられている。

【0202】

Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎのサフィックス部は、それぞれ、“１”、“００”、および“０１”である。サフィックス部については、上述の水平方向の分割を行うＰＵ分割タイプの場合と同様である。

【0203】

つまり、横長パーティションおよび縦長パーティションの定義では、サフィックス部は、分割の種類を表している。すなわち、対称分割である場合、ｂｉｎは、“１”である。また、“００”は、分割の境界が対称分割のときよりも原点側にあることを示し、“０１”は、分割の境界が対称分割のときよりも原点から遠い側にあることを示している。

【0204】

続いて、８×８ＣＵ１０１２Ａでは、２Ｎ×２Ｎ、２Ｎ×Ｎ、および、Ｎ×２Ｎについ
てプレフィックス部のみが定義されている。２Ｎ×２Ｎ、２Ｎ×Ｎ、および、Ｎ×２Ｎのプレフィックス部は、それぞれ、“１”、“０１”、および、“００１”である。

【0205】

ＣＵ予測モード復号部１０１１は、上記の二値化情報に従った復号処理において、プレフィックス部およびサフィックス部の各ｂｉｎ位置に対して異なるコンテキストを用いてもよい。

【0206】

プレフィックス部およびサフィックス部の各ｂｉｎ位置に対して異なるコンテキストを用いる場合、コンテキストは、以下の合計８個になる。

【0207】

まず、プレフィックス部は、最大３ビットのｂｉｎが定義されているため、コンテキストの数は、３個である。

【0208】

以下、サフィックス部については、まず、２Ｎ×２ＮおよびＮ×Ｎの場合、１個である。そして、横長パーティション（２Ｎ×Ｎ、２Ｎ×ｎＵ、および、２Ｎ×ｎＤ）の場合、２個であり、縦長パーティション（Ｎ×２Ｎ、ｎＬ×２Ｎ、および、ｎＲ×２Ｎ）の場合、２個である。

【0209】

［１−３］小サイズのＣＵにおいて、イントラＣＵについて短い符号を復号する構成ＣＵ予測モード復号部１０１１は、小サイズのＣＵにおいて、イントラＣＵについて短い符号を復号するよう構成してもよい。小サイズのＣＵとは、所定サイズ以下のサイズのＣＵであるが、以下では、例示的に、８×８サイズのＣＵとする。

【0210】

［構成例１−３−１］
そこで、図８に示すように二値化情報記憶部１０１２に記憶される二値化情報を構成してもよい。図８は、二値化情報の定義である８×８ＣＵ１０１２Ａの他の構成例を示している。すなわち、図８に示す８×８ＣＵ１０１２Ａ＿１は、図７に示す対応付けテーブルＢＴ１に含まれる８×８ＣＵ１０１２Ａの他の構成例である。

【0211】

図８に示すように、二値化情報の定義である８×８ＣＵ１０１２Ａ＿１では、小サイズのＣＵである８×８サイズのＣＵにおいて、イントラＣＵに短い符号を割り当てる。

【0212】

図８に示す８×８ＣＵ１０１２Ａ＿１では、大サイズのＣＵにおいてイントラＣＵに対して割り当てられている符号に比べて短い符号が割り当てられている（図７の非８×８ＣＵ１０１２Ｂを参照）。なお、大サイズのＣＵとは、小サイズのＣＵでないＣＵのことであり、具体的には、サイズが８×８より大きいＣＵのことを意味する。

【0213】

また、８×８ＣＵ１０１２Ａ＿１では、イントラＣＵに割り当てられている符号のほうが、インターＣＵに割り当てられている符号よりも短い。言い換えれば、同一サイズのＣＵにおいては、イントラＣＵでない他のＰＵ分割タイプに比べて、イントラＣＵに短い符号が割り当てられる。

【0214】

例えば、８×８ＣＵ１０１２Ａ＿１では、イントラＣＵには、１ビットの符号が割り当てられており、インターＣＵには、２ビットまたは３ビットの符号が割り当てられている。

【0215】

インター予測が当たりにくい領域では、小さいＣＵのイントラ予測が用いられる傾向がある。そのため、小さいＣＵでは、イントラＣＵの使用率が高い。一方、図７に示す構成例では、イントラＣＵに長い符号が割り当てられている。これに対して、上記データ構成によれば、小さいサイズのイントラＣＵに短い符号が割り当てられるようにする。

【0216】

これにより、インター予測が当たりにくい領域では、ＣＵ予測モード復号部１０１１は、小さいサイズのイントラＣＵについて、短い符号を復号する。これにより、符号化効率が向上するという効果を奏する。

【0217】

なお、上記構成では、ＣＵ予測モード復号部１０１１は、大サイズのＣＵのプレフィックス部と、小サイズのＣＵのプレフィックス部とで、異なるコンテキストを設定することが好ましい。

【0218】

そこで、コンテキスト記憶部１０１３において、大サイズのＣＵのプレフィックス部を復号するためのコンテキストである８×８ＣＵ ｐｒｅｆｉｘ１０１３Ａと、小サイズの
ＣＵのプレフィックス部を復号するためのコンテキストである非８×８ＣＵ ｐｒｅｆｉ
ｘ１０１３Ｂとが記憶されていてもよい。ここで、８×８ＣＵ ｐｒｅｆｉｘ１０１３Ａ
と、非８×８ＣＵ ｐｒｅｆｉｘ１０１３Ｂとは異なるコンテキストである。

【0219】

小サイズのＣＵ（ＣＵ＝＝８×８）と、大サイズのＣＵ（ＣＵ＞８×８）との間で、プレフィックス部の各ｂｉｎの意味が異なる。

【0220】

例えば、プレフィックス部の１ビット目は、小サイズのＣＵでは、ＣＵ予測タイプが、イントラＣＵおよびインターＣＵのいずれであるかを示す情報であるのに対して、大サイズのＣＵでは、２Ｎ×２ＮのインターＣＵであるか、それとも、それ以外のインターＣＵであるかを示す情報である。

【0221】

また、意味が異なるｂｉｎは、出現傾向が異なる。このため、大サイズのＣＵおよび小サイズのＣＵ、双方のプレフィックス部に、同一のコンテキストを設定した場合、ｂｉｎの出現傾向が異なるため、符号化効率が低下するおそれがある。

【0222】

上記構成によれば、出現傾向が異なるｂｉｎに合わせて、異なるコンテキストを設定することができるため、ｂｉｎの符号化効率を向上させることができる。

【0223】

［構成例１−３−２］
また、図９に示すように二値化情報記憶部１０１２に記憶される二値化情報を構成してもよい。図９は、二値化情報の定義である８×８ＣＵ１０１２Ａの別の構成例を示している。すなわち、図９に示す８×８ＣＵ１０１２Ａ＿２は、図７に示す対応付けテーブルＢＴ１に含まれる８×８ＣＵ１０１２Ａの別の構成例である。

【0224】

図９に示す８×８ＣＵ１０１２Ａ＿２では、ｂｉｎ列が、フラグ（ｆｌａｇ）、プレフィックス部およびサフィックス部の３つの部分から構成されている。

【0225】

イントラＣＵの場合、フラグは、“１”であり、インターＣＵの場合、フラグは、“０”である。

【0226】

また、イントラＣＵの場合、サフィックス部のみが定義されている。すなわち、ＰＵ分割タイプが、２Ｎ×２Ｎのときは、サフィックス部が“０”であり、Ｎ×Ｎのときは、サフィックス部が“１”である。

【0227】

一方、インターＣＵの場合、プレフィックス部のみが定義されている。すなわち、２Ｎ×２Ｎ、２Ｎ×Ｎ、および、Ｎ×２Ｎのとき、それぞれ、“１”、“０１”、および、“００”である。

【0228】

図９に示す８×８ＣＵ１０１２Ａ＿２では、図８に示した８×８ＣＵ１０１２Ａ＿１と同様、大サイズのＣＵにおいてイントラＣＵに対して割り当てられている符号に比べて短い符号が割り当てられているとともに、イントラＣＵに割り当てられている符号のほうが、インターＣＵに割り当てられている符号よりも短い。

【0229】

図９に示すように８×８ＣＵ１０１２Ａ＿２を構成することで、インター予測が当たりにくい領域では、ＣＵ予測モード復号部１０１１は、小さいサイズのイントラＣＵについて、短い符号を復号する。これにより、符号化効率が向上するという効果を奏する。

【0230】

なお、上記構成では、フラグに、プレフィックス部およびサフィックス部に設定されているコンテキストとは別の独自のコンテキストを設定することが好ましい。また、プレフィックス部には、小サイズのＣＵおよび大サイズのＣＵの間で、同一のコンテキストを設定することが好ましい。

【0231】

例えば、コンテキスト記憶部１０１３において、８×８ＣＵ ｐｒｅｆｉｘ１０１３Ａ
と、非８×８ＣＵ ｐｒｅｆｉｘ１０１３Ｂとを統合した一つのコンテキストを記憶して
おけばよい。

【0232】

上記構成では、小サイズのＣＵのプレフィックス部と、大サイズのＣＵのプレフィックス部との間で、各ｂｉｎが、同じ意味となるよう設計されている。このため、両者の間で、同一のコンテキストを設定することで、ｂｉｎの符号化効率を向上させることができる。

【0233】

［作用・効果］
本発明は以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位毎に、画像を復元するための情報を画像符号化データから復号して画像を復元する画像復号装置において、予測単位のサイズと符号化単位に適用される予測方式との組み合わせに割り当てられている符号について、所定サイズ以下のサイズの符号化単位に画面内予測の予測方式が適用される組み合わせに対して、該組み合わせ以外の組み合わせに割り当てられている符号より短い符号を復号する復号手段を備える構成である。

【0234】

よって、所定サイズ以下のサイズの符号化単位において発生確率が高い組み合わせに短い符号を割り当てることができ、符号化効率が向上するという効果を奏する。

【0235】

［１−４］近傍の予測パラメータに応じてｂｉｎ列の解釈を変更する構成
ＣＵ予測モード復号部１０１１は、隣接領域に割り付けられている予測パラメータを参照して、ｂｉｎ列の解釈を変更するよう構成してもよい。

【0236】

［構成例１−４−１］
そこで、図１０に示すように二値化情報記憶部１０１２に記憶される二値化情報を構成してもよい。

【0237】

図１０は、二値化情報記憶部１０１２に記憶される二値化情報のさらに別の構成例を示す図である。

【0238】

図１０に示す二値化情報対応付けテーブルＢＴ２０では、図７に示す８×８ＣＵ１０１２Ａを、インターＣＵの定義（１０１２Ｄ）およびイントラＣＵの定義（１０１２Ｃ）に置き換えることで、隣接領域の予測パラメータの値に応じて、ｂｉｎ列の解釈が変わるように構成されている。

【0239】

具体的には、対応付けテーブルＢＴ２０では、小サイズのＣＵについての定義において、隣接ＣＵの少なくとも一方がインターＣＵの場合における二値化情報の定義であるインターＣＵ１０１２Ｄと、隣接ＣＵが共にイントラＣＵの場合における二値化情報の定義であるイントラＣＵ１０１２Ｃとの間で、ｂｉｎ列の解釈が変わるように構成されている。

【0240】

インターＣＵ１０１２Ｄ（隣接ＣＵの少なくとも一方がインターＣＵの場合）では、プレフィックス部のｂｉｎ列が“０００”のとき、対象ＣＵがイントラＣＵ（２Ｎ×２ＮまたはＮ×Ｎ）であると解釈し、プレフィックス部のｂｉｎ列が“１”のとき、対象ＣＵがインターＣＵの２Ｎ×２Ｎであると解釈する。

【0241】

一方、イントラＣＵ１０１２Ｃ（隣接ＣＵが共にイントラＣＵの場合）では、プレフィックス部のｂｉｎ列が“１”であるとき、対象ＣＵがイントラＣＵ（２Ｎ×２ＮまたはＮ×Ｎ）であると解釈し、プレフィックス部のｂｉｎ列が“０００”のとき、対象ＣＵがインターＣＵの２Ｎ×２Ｎであると解釈する。

【0242】

近傍のＣＵが、イントラＣＵである場合、空間相関性により、対象ＣＵもイントラＣＵである可能性が高い。よって、近傍のＣＵがイントラＣＵである場合に、イントラＣＵに対して、短い符号に割り当てることで、符号量を削減することができる。

【0243】

また、小サイズのＣＵでは、イントラＣＵの発生頻度が高くなる。このため、小さいサイズのＣＵにおいて、イントラＣＵに対して短い符号に割り当てることで、符号化効率のより一層の向上を図ることができる。

【0244】

これに対して、小サイズのＣＵでないＣＵ（例えば、大サイズのＣＵ）では、図１０に示すように、“隣接ＣＵが共にイントラの場合、イントラＣＵに対して短い符号に割り当てる”構成でなくてもかまわない。どのサイズのＣＵにおいて、“隣接ＣＵが共にイントラの場合、イントラＣＵに対して短い符号に割り当てる”構成を適用するかは、イントラＣＵの発生頻度に応じて決定することができる。一般には、小さいサイズのＣＵほどイントラＣＵの選択率が高い傾向があるため、最小サイズのＣＵを含め、所定の大きさ（例えば１６×１６）以下のサイズのＣＵでイントラＣＵに対して短い符号を割り当てる構成とすることが好ましい。上記構成によれば、近傍のＣＵがイントラＣＵである場合、ＣＵ予測モード復号部１０１１が、イントラＣＵ１０１２Ｃを参照し、イントラＣＵに対して、短い符号に割り当てる。一方、近傍のＣＵにインターＣＵが含まれている場合、ＣＵ予測モード復号部１０１１が、インターＣＵ１０１２Ｄを参照し、インターＣＵに対して、短い符号に割り当てる。その結果、符号量を削減し、符号化効率の向上を図ることができる。

【0245】

［構成例１−４−２］
また、図１１に示すように二値化情報記憶部１０１２に記憶される二値化情報を構成してもよい。

【0246】

図１１は、二値化情報記憶部１０１２に記憶される二値化情報のさらに別の構成例を示す図である。

【0247】

図１１に示す二値化情報対応付けテーブルＢＴ３０では、図７に示す非８×８ＣＵ１０１２Ｂを、『上ＣＵのサイズが対象ＣＵ以上』の定義（１０１２Ｂ＿１）および『上ＣＵのサイズが対象ＣＵより小さい』の定義（１０１２Ｂ＿２）に置き換えることで、隣接領域の予測パラメータの値に応じて、ｂｉｎ列の解釈が変わるように構成されている。

【0248】

すなわち、対応付けテーブルＢＴ３０では、大サイズのＣＵについての定義において、上隣接ＣＵが対象ＣＵ以上のサイズである場合と、上隣接ＣＵが対象サイズより小さい場合との間で、ｂｉｎ列の解釈が変わるように構成されている。

【0249】

『上ＣＵのサイズが対象ＣＵ以上』１０１２Ｂ＿１（上隣接ＣＵが対象ＣＵ以上のサイズである場合）では、プレフィックス部のｂｉｎ列が“００１”のとき、対象ＣＵが縦長パーティションであると解釈し、プレフィックス部のｂｉｎ列が“０１”のとき、対象ＣＵが横長パーティションであると解釈する。

【0250】

一方、『上ＣＵのサイズが対象ＣＵより小さい』１０１２Ｂ＿２（上隣接ＣＵが対象ＣＵより小さいサイズである場合）では、プレフィックス部のｂｉｎ列が“０１”のとき、対象ＣＵが縦長パーティションであると解釈し、プレフィックス部のｂｉｎ列が“００１”のとき、対象ＣＵが横長パーティションであると解釈する。

【0251】

隣接ＣＵのサイズが対象ＣＵより小さい場合、当該隣接ＣＵ内にエッジが存在する可能性が高い。

【0252】

従って、このような場合、対象ＣＵは、隣接ＣＵとの境界にあたる辺と垂直な方向にパーティション分割される可能性が高い。このため、上隣接ＣＵが対象ＣＵより小さいサイズである場合、縦長パーティションが選択される可能性が高い。

【0253】

よって、上隣接ＣＵが対象ＣＵより小さいサイズである場合、選択される可能性が高い縦長パーティションに短い符号を割り当てることで符号化効率を向上させることができる。

【0254】

上記構成によれば、上隣接ＣＵが対象ＣＵより小さいサイズである場合、ＣＵ予測モード復号部１０１１が、『上ＣＵのサイズが対象ＣＵより小さい』１０１２Ｂ＿２を参照し、縦長パーティションに短い符号を割り当てる。

【0255】

一方、上隣接ＣＵが対象ＣＵ以上のサイズである場合、ＣＵ予測モード復号部１０１１が、『上ＣＵのサイズが対象ＣＵ以上』１０１２Ｂ＿１を参照し、横長パーティションに短い符号を割り当てる。その結果、符号量を削減し、符号化効率の向上を図ることができる。

【0256】

さらにいえば、隣接ＣＵに基づくプレフィックス部の解釈に依存せず、サフィックス部の解釈が同じであることが好ましい。対応付けテーブルＢＴ３０では、プレフィックス部が、縦長パーティションか、横長パーティションかに依存せず、同一のサフィックス部の解釈は同じである。すなわち、対応付けテーブルＢＴ３０の例では、プレフィックス部が、縦長パーティションか、横長パーティションかに応じて、サフィックス部の復号処理を変更しなくてもかまわない。

【0257】

すなわち、対応付けテーブルＢＴ３０では、ＰＵ分割タイプ（分割数）が、参照するパラメータに依存しないように構成されている。

【0258】

分割数が、参照するパラメータの値に依存しないため、参照パラメータにエラーが生じている場合でも、以降の可変長復号処理への影響が少ない。具体的には、隣接ＣＵのサイズに誤りがあり、プレフィックス部が縦長と横長何れのパーティションを示すかの解釈が誤った場合でも、サフィックス部を含め、後続のシンタックスの復号を継続できる。

【0259】

すなわち、隣接ＣＵのサイズによらずサフィックス部の復号処理が可能となるため、隣
接パラメータのエラーに影響されなくなりエラー耐性が向上する。

【0260】

なお、左隣接ＣＵが対象ＣＵより小さいサイズである場合、横長パーティションが選択される可能性が高い。よって、左隣接ＣＵが対象ＣＵより小さいサイズである場合、選択されやすい横長パーティションに短い符号を割り当てるようにしてもよい。これにより上記と同様の効果を得る事ができる。

【0261】

また、最小サイズのＣＵに対しては、隣接ＣＵのサイズに基づく解釈の切り替え処理を行わないことが好ましい。対象ＣＵが最小サイズのＣＵである場合、常に対象ＣＵは、隣接ＣＵ以下のサイズであるため、解釈の切り替え処理を省略することで、復号処理を簡略化することができる。

【0262】

なお、上隣接ＣＵのサイズが対象ＣＵのサイズより小さいとは、対象ＣＵの上辺（頂点を除く）において、当該上辺に対して垂直な位置関係にあるＣＵ境界が存在するとも言える。

【0263】

よって、対象ＣＵの上辺（頂点を除く）において、当該上辺に対して垂直な位置関係にあるＣＵ境界またはＰＵ境界が存在する場合、縦長パーティションに短い符号を割り当ててもよい。

【0264】

また、以上では、対象ＣＵに隣接する隣接ＣＵについて説明したがこれに限られない。空間相関性が認められる程度に近傍に位置するＣＵについても同様のことがいえる。

【0265】

以上の構成を、より一般化して言えば次のとおりである。すなわち、以上の構成は、複数のバイナリ列と、複数の対応する分割数が互いに等しいｐｒｅｄ＿ｔｙｐｅについて、隣接の予測パラメータに応じてｐｒｅｄ＿ｔｙｐｅの発生可能性の優先順位を決定し、優先順位の高いｐｒｅｄ＿ｔｙｐｅほど短いバイナリ列に関連付けるものである。

【0266】

なお、上記説明における、上側隣接ＣＵのサイズが対象ＣＵのサイズより小さい、という条件は、次のように表現することもできる。

【0267】

（１）対象ＣＵ内の左上画素を(xc,yc)とする。

【0268】

（２）上側隣接ＣＵとして、(xc,yc-1)を含むＣＵを導出して、当該上側隣接ＣＵの左
上画素を(xu,yu)とする。

【0269】

（３）「log2CUSize[xu][yu] < log2CUSize[xc][yc] 」が成り立つならば、上側隣接ＣＵのサイズが対象ＣＵのサイズより小さいと判定する。ここで、log2CUSize[x][y]は、(x,y)の画素を左上画素とするＣＵのサイズの２を底とする対数値である。

【0270】

ここで、上記のように対象ＣＵの左上画素の上に位置するＣＵのサイズのみを対象ＣＵのサイズと比較して判定することが好ましい。

【0271】

以上では、上側隣接ＣＵの場合について記載したが、左側隣接ＣＵのサイズを判定する場合にも、対象ＣＵの左上画素の左に位置するＣＵのサイズのみを対象ＣＵのサイズと比較して判定することが好ましい。

【0272】

なお、上記判定手順の（３）ではＣＵのサイズの値を直接比較する例を挙げたが、ＣＵのサイズと関連付けられた別の値を比較してもよい。例えば、上記（３）の条件は、ツリーブロック（ＬＣＵ）を何回分割するかに対応するＣＵ分割深度（cuDepth[x][y]）の値
を用いて、「cuDepth[xu][yu] > cuDepth[xc][yc]」という式により判定してもよい。

【0273】

［作用・効果］
本発明は以下のように表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成して画像を復元する画像復号装置において、復号対象となる上記符号化単位である対象符号化単位を上記予測単位へ分割するタイプである分割タイプと予測方式との複数の組に対して対応付けられる複数の符号を、復号の対象となる上記予測単位である対象予測単位の近傍の復号済み予測単位に割り付けられている復号済みパラメータに応じて変更する変更手段を備える構成である。

【0274】

よって、近傍の復号済み予測単位に割り付けられている復号済みパラメータに応じて、より発生確率が高い予測方式および分割タイプの組に、より短い符号を割り当てることができ、これにより符号化効率を向上させることができる。

【0275】

（２）ＰＵ情報復号部の詳細
次に、図１２を用いて、ＰＵ情報復号部１２および復号モジュール１０の構成例について説明する。図１２は、動画像復号装置１において、動き情報を復号するための構成、すなわちＰＵ情報復号部１２および復号モジュール１０の構成について例示する機能ブロック図である。

【0276】

以下、ＰＵ情報復号部１２および復号モジュール１０の順で、各部の構成について説明する。

【0277】

（ＰＵ情報復号部）
図１２に示すように、ＰＵ情報復号部１２は、動き補償パラメータ導出部（双予測制限手段、候補決定手段、推定手段）１２１、マージ候補優先順位情報記憶部１２２、および参照フレーム設定情報記憶部１２３を備える。

【0278】

動き補償パラメータ導出部１２１は、符号化データから対象ＣＵに含まれる各ＰＵの動き補償パラメータを導出する。

【0279】

動き補償パラメータ導出部１２１は、具体的には、以下の手順にて、動き補償パラメータを導出する。ここで、対象ＣＵがスキップＣＵである場合に、マージインデックスの代わりに、スキップインデックスを復号し、その値に基づいてスキップＣＵにおける予測パラメータを導出してもよい。

【0280】

まず、動き補償パラメータ導出部１２１は、スキップフラグを判定する。その結果、対象ＣＵが非スキップＣＵであれば、動き情報復号部１０２１を用いて、マージフラグを復号する。

【0281】

ここで、対象ＣＵが、スキップＣＵまたはマージＰＵである場合、動き補償パラメータ導出部１２１は、マージインデックスを復号して、復号したマージインデックスの値に基づいて予測パラメータ（動きベクトル、参照画像インデックス、インター予測フラグ）を導出する。なお、動き補償パラメータ導出部１２１は、マージ候補情報記憶部１２２に記憶されているマージ候補情報に従って、マージインデックスで指定されるマージ候補を決定する。

【0282】

一方、対象ＣＵが、スキップＣＵおよびマージＰＵのいずれでもない場合、動き補償パラメータ導出部１２１は、予測パラメータ（インター予測フラグ、参照画像インデックス
、動きベクトル差分、推定動きベクトルインデックス）を復号する。

【0283】

さらに、動き補償パラメータ導出部１２１は、推定動きベクトルインデックスの値に基づいて、推定動きベクトルを導出するとともに、動きベクトル差分と推定動きベクトルとに基づいて動きベクトルを導出する。

【0284】

マージ候補情報記憶部１２２には、いずれの領域をマージ候補とするかを示す情報およびマージ候補の優先順位を示す情報を含むマージ候補情報が記憶されている。

【0285】

参照フレーム設定記情報記憶部１２３には、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れの画面間予測の予測方式を用いるかを決定するための参照フレーム設定記情報が記憶されている。

【0286】

（復号モジュール）
図１２に示すように、復号モジュール１０は、動き情報復号部１０２１を備える。動き情報復号部１０２１は、動き補償パラメータ導出部１２１から供給される符号化データおよびシンタックス種別に応じて、符号化データに含まれるバイナリからシンタックス値の復号を行う。動き情報復号部１０２１が復号する動き補償パラメータは、マージフラグ（ｍｅｒｇｅ＿ｆｌａｇ）、マージインデックス（ｍｅｒｇｅ＿ｉｄｘ）、推定動きベクトルインデックス（ｍｖｐ＿ｉｄｘ）、参照画像インデックス（ｒｅｆ＿ｉｄｘ）、インター予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）、動きベクトル差分（ｍｖｄ）である。

【0287】

［マージＰＵにおいて予測パラメータを導出するための構成例］
［２−１］マージ候補の位置および優先順位の例
図１３〜図１５を用いて、マージＰＵにおける予測パラメータ導出について説明する。

【0288】

動き補償パラメータ導出部１２１は、ＰＵ分割タイプが非対称である場合、ＰＵ分割タイプが対称である場合と異なる方法でマージ候補の優先順位を決定する構成であってもよい。

【0289】

まず、非対称パーティションの特性について説明する。非対称パーティションでは、小さい方のパーティションに、長辺方向のエッジが存在する可能性が高い。また、エッジが存在する領域は、正確な動きベクトルが導出されている可能性が高い。

【0290】

図１３を用いて、具体的に説明すると次のとおりである。図１３は、非対称パーティションが選択されたＣＵを示している。図１３に示すように、対象ＣＵ３０では、傾斜を有するエッジＥ１が領域内に存在し、２Ｎ×ｎＵのＰＵ分割タイプが選択されている。

【0291】

対象ＣＵには、ＰＵ３１とＰＵ３２とが含まれる。ここで、対象ＰＵをＰＵ３１とする。傾斜を有するエッジＥ１が、対象ＰＵ３１の領域内を横断している。

【0292】

図１３に示す例では、対象ＰＵ３１の短辺側付近の領域Ｒ１０にも、対象ＰＵ３１の領域内に存在するエッジと同じエッジが存在する可能性が高い。従って、対象ＰＵ３１と同じ動きベクトル（ｍｖ）が割り付けられている可能性が高い。

【0293】

従って、エッジが存在する可能性の高い領域、すなわち小さいパーティションでは、短辺側の領域に割り付けられている動きベクトルを参照し、大きいパーティションでは、小さいパーティションの周辺の領域に割り付けられている動きベクトルを参照することで、動きベクトルの精度を高めることができる。

【0294】

そこで、マージ候補優先順位情報記憶部１２２において記憶されているマージ候補優先順位情報を、対称ＰＵ分割タイプ１２２Ａおよび非対称ＰＵ分割タイプ１２２Ｂの２つのマージ候補優先順位情報を含む構成とする。

【0295】

図１４を用いて、対称ＰＵ分割タイプ１２２Ａのマージ候補優先順位情報について説明すると次のとおりである。

【0296】

図１４は、対称パーティションが選択されたＣＵを示している。図１４に示すように、対称ＣＵでは、２Ｎ×ＮのＰＵ分割タイプが選択されている。また、同図では、対象ＰＵを、“Ｃｕｒｒ ＰＵ”にて示している。対象ＰＵでは、マージ候補として、左（Ｌ）、
上（Ｕ）、右上（ＵＲ）、左下（ＢＬ）、左上（ＵＬ）の順に優先順位が割り当てられている。

【0297】

また、図１５を用いて、非対称ＰＵ分割タイプ１２２Ｂのマージ候補優先順位情報について説明すると次のとおりである。図１５の（ａ）および（ｂ）は、それぞれ、２Ｎ×n
Ｕの小さい方のパーティション、および、２Ｎ×ｎＵの大きい方のパーティションにおける優先順位の設定について示している。また、図１５の（ｃ）および（ｄ）は、それぞれ、２Ｎ×ｎＤの大きい方のパーティション、および、２Ｎ×ｎＤの小さい方のパーティションにおける優先順位の設定について示している。

【0298】

図１５の（ａ）および（ｄ）に示すように、非対称パーティション内の小さい方のパーティションでは、短辺側のマージ候補に高い優先順位を割り当てる。

【0299】

具体的には、２Ｎ×ｎＵおよび２Ｎ×ｎＤの小さい方のＰＵでは、それぞれ（ａ）および（ｄ）に示すように、短辺に、隣接（Ｌ）、頂点に隣接（ＵＲ、ＢＬ、ＵＬ）、長辺に隣接（Ｕ）の順に優先順位が割り当てられている。

【0300】

また、図１５の（ｂ）および（ｃ）に示すように、非対称パーティション内の大きい方のパーティションでは、小さい方のパーティションに近い位置のマージ候補に高い優先順位を割り当てる。

【0301】

具体的には、２Ｎ×ｎＵの大きい方のＰＵでは、図１５の（ｂ）に示すように、小さい方のＰＵ内におけるマージ候補（Ｕ）、小さい方のＰＵに近いマージ候補（ＵＲ、ＵＬ）、それ以外のマージ候補（Ｌ、ＢＬ）の順に優先度が割り当てられている。

【0302】

また、２Ｎ×ｎＤの大きい方のＰＵでは、図１５の（ｃ）に示すように、小さい方のＰＵに近いマージ候補（Ｌ、ＢＬ）それ以外のマージ候補（Ｕ、ＢＬ、ＵＬ）の順に優先順位が割り当てられている。

【0303】

なお、優先順位の高い候補に対して小さいマージインデックスを割り当て、小さいマージインデックスに短い符号を割り当てる。また、優先順位の高い候補のみを選択可能なマージ候補としてもよい。

【0304】

なお、上記の説明は、マージＰＵにおける予測パラメータ導出について記載したが、同様の導出方法をインターＣＵ内の非マージＰＵにおいて動きベクトルの復元に用いる推定動きベクトルの導出に用いても良い。一般的には、非対称ＰＵ内の各ＰＵにおいて、隣接領域に対応する動きパラメータの推定値または予測値を導出する際に、上記方式が適応できる。

【0305】

［作用・効果］
本発明は以下のように表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに画面間予測の予測方式によって予測画像を生成して画像を復元する画像復号装置において、上記予測単位への分割タイプは、符号化単位を複数の異なる大きさの予測単位に分割する非対称分割または符号化単位を複数の同一の大きさの予測単位に分割する対称分割を含み、上記分割タイプが非対称分割である場合、上記分割タイプが対称分割である場合と異なる推定方法によって、画面間予測の予測パラメータの推定を行う推定手段を備える構成である。

【0306】

よって、分割タイプが非対称分割である場合と、上記分割タイプが対称分割である場合とで異なる推定方法を変更することで、分割タイプに応じた好ましい推定方法により画面間予測の予測パラメータの推定を行うことができるという効果を奏する。

【0307】

［２−２］ＣＵサイズとスキップ／マージとの組み合わせによるマージ候補の変更動き補償パラメータ導出部１２１は、ＣＵサイズと、当該ＣＵがスキップ／マージを行うＣＵであるか否かとの組み合わせに応じてマージ候補を変更する構成であってもよい。そこで、マージ候補優先順位情報記憶部１２２に記憶されるマージ候補情報を、小ＰＵサイズ１２２Ｃおよび大ＰＵサイズ１２２Ｄの２つの定義情報を含む構成とする。

【0308】

小ＰＵサイズ１２２Ｃのマージ候補情報は、小サイズのＰＵに適用されるマージ候補数を定義する。また、大ＰＵサイズ１２２Ｄのマージ情報は、大サイズのＰＵに適用されるマージ候補数を定義する。

【0309】

一例としては、マージ候補情報において、小ＰＵサイズ１２２Ｃに定義されるマージ候補数（小サイズのＰＵのマージ候補数）が、大ＰＵサイズ１２２Ｄに定義されるマージ候補数（大サイズのＰＵのマージ候補数）に比べて少なくなるよう定義する。

【0310】

小サイズのＰＵが選択される領域では、動きが複雑な場合が多い。このため、近傍のＰＵに割り付けられる動きベクトルの相関が小さくなる傾向がある。

【0311】

このため、マージ候補を増やしても大サイズのＰＵの場合に比べて推定精度の向上が少ない場合がある。

【0312】

よって、マージ候補数を少なくすることにより、サイド情報の符号量を削減するほうが好ましい。

【0313】

上記例では、マージ候補情報において、動きが複雑な場合が多い小サイズのＰＵのマージ候補数を大サイズのＰＵのマージ候補数に比べて少なくするため、サイド情報の符号量を削減することができる。

【0314】

小サイズＰＵと大サイズＰＵの組み合わせの例について列挙すると以下の通りである。・小サイズＰＵは少なくとも一辺が所定の閾値（例えば８）より小さいＰＵであり、大サイズＰＵはそれ以外のＰＵである。例えば、１６×４、４×１６、８×４、４×８、４×４のサイズのＰＵは小サイズＰＵであり、８×８、１６×１６のサイズのＰＵが大サイズＰＵとなる。
・小サイズＰＵは面積が所定の閾値（例えば６４）より小さいＰＵであり、大サイズＰＵはそれ以外のＰＵである。例えば、８×４、４×８、４×４のサイズのＰＵは小サイズＰＵであり、８×８、１６×４、４×１６、１６×１６等のサイズのＰＵが大サイズＰＵとなる。
・小サイズＰＵは所定のサイズ（例えば８×８）以下のＣＵに含まれるＰＵであり、大サ
イズＰＵはそれより大きいＣＵに含まれるＰＵである。例えば、８×８ＣＵに含まれる８×８、８×４、４×８、４×４のサイズのＰＵは小サイズＰＵである。
・小サイズＰＵは、非対称分割が適応されるＣＵにおいて、小さい方のＰＵであり、大サイズＰＵは、非対称分割が適応されるＣＵにおいて、大きい方のＰＵである。

【0315】

また、他の例としては、マージ候補情報において、小さいＰＵでは、時間予測によるマージ候補の数を、大きいＰＵにおける時間予測によるマージ候補の数に比べて少なくすることが好ましい。小さいＰＵでは、マージ候補情報において時間予測によるマージ候補を含めないように定義してもよい。

【0316】

また、小サイズのＰＵが選択されるような、動きが複雑な領域では、時間予測に使用されるｃｏｌｌｏｃａｔｅｄ ＰＵと、対象ＰＵとの相関が小さいため、時間予測が選択さ
れる可能性が低い。よって、時間予測によるマージ候補の数を減らす、または、時間予測によるマージ候補を含めないことが好ましい。

【0317】

［作用・効果］
本発明は以下のように表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに画面間予測の予測方式によって予測画像を生成して画像を復元する画像復号装置において、復号の対象となる上記予測単位である対象予測単位が、該対象予測単位の近傍の領域に割り付けられている予測パラメータから、該対象予測単位の予測パラメータの推定を行う予測単位である場合、該対象予測単位のサイズに応じて、推定に用いる領域の候補を決定する候補決定手段を備える構成である。

【0318】

よって、候補数を削減することによりサイド情報を削減することができ、その結果、符号化効率を向上させることができる。

【0319】

［２−３］参照フレーム数の決定
動き補償パラメータ導出部１２１は、参照フレーム設定情報記憶部１２３に記憶される参照フレーム設定情報を参照して、インター予測において単予測および双予測のいずれの予測方式を適用するかを決定してもよい。

【0320】

また、動き補償パラメータ導出部１２１は、小サイズのＰＵでは、双予測を制限する構成であってもよい。そこで、参照フレーム設定情報を、小ＰＵサイズ１２３Ａおよび大ＰＵサイズ１２３Ｂの２つの定義情報を含む構成とする。

【0321】

大ＰＵサイズ１２３Ｂは、大きいサイズのＰＵにおいて選択可能な予測方式が定義される。大ＰＵサイズ１２３Ｂでは、大きいサイズのＰＵにおいて双予測および単予測いずれの予測方式も制限なく選択できるよう定義される。

【0322】

小ＰＵサイズ１２３Ａは、小さいサイズのＰＵにおいて選択可能な予測方式が定義される。小ＰＵサイズ１２３Ａでは、小さいサイズのＰＵにおいて双予測が制限されるよう定義される。

【0323】

小ＰＵサイズ１２３Ａの定義の一例としては、インターＣＵに含まれる、マージを適用しないＰＵであって、サイズが１６×１６未満のＰＵにおいて、インター予測フラグの復号を省略して単予測を適用する旨定義する。

【0324】

また、小ＰＵサイズ１２３Ａの定義の他の例としては、インターＣＵに含まれる、マージを適用するＰＵであって、サイズが１６×１６未満のＰＵにおいて、単予測を適用する
旨定義する。

【0325】

また、小ＰＵサイズ１２３Ａの定義の別の例としては、スキップＣＵに含まれる各ＰＵにおいて単予測を適用する。

【0326】

また、小ＰＵサイズ１２３Ａの定義のさらに別の例としては、インターＣＵに含まれる、マージを適用しないＰＵであって、サイズが１６×１６未満のＰＵにおいて、重み付け予測を適用しない。すなわち、重み付け予測に関する情報を省略する。

【0327】

以下、参照フレーム設定情報に基づき双予測を制限する場合に関し、シンタックステーブル及びブロック図を用いて、さらに、符号化データの構成、及び、動画像復号装置の構成の詳細を説明する。

【0328】

（双予測制限の種類）
ＰＵの種類には、対象ＣＵがスキップであるＰＵ（スキップＰＵ）、対象ＰＵがマージを適応するＰＵ（マージＰＵ）、対象ＰＵがスキップでもマージでもないＰＵ（基本インターＰＵ、または、非動き情報省略ＰＵ）がある。基本インターＰＵでは、双予測であるか単予測であるかを示すインター予測フラグを符号化データから復号し、動き補償パラメータを導出する。それに対して、スキップＰＵ及びマージＰＵでは、インター予測フラグを復号せずに動き補償パラメータを導出する。これらのＰＵでは、スキップ候補、または、マージ候補から、動き補償に用いる候補をスキップインデックスまたはマージインデックスに基づき選択し、当該選択候補における動き補償パラメータに基づいて、対象ＰＵにおける動き補償パラメータを導出する。通常、スキップＰＵの動き補償パラメータの導出方法は、マージＰＵと同様である。なお、シーケンスパラメータセットのフラグなどを用いてマージの利用を制限する場合には、動きベクトル残差（ｍｖｄ）を復号しない点を除き、基本インターＰＵと同一の方法を用いてもよい。この場合、スキップＰＵの双予測制限の動作は、基本インターＰＵと同じ動作を行う。

【0329】

図３５の（ａ）は、各ＰＵにおける双予測制限の例を示す。場合としては、基本インターＰＵのみに双予測制限を行う場合と、動き補償予測を適用する全ＰＵに双予測制限を行う場合がある。基本インターＰＵのみに双予測制限を行う場合には、スキップＰＵ及びマージＰＵでは双予測制限を行わず、基本インターＰＵのみに双予測制限を行う。基本インターＰＵのみに双予測制限を行う場合にも、全ＰＵに双予測制限を行う場合にも、動画像符号化装置および動画像復号装置における処理量の低減と回路規模の削減が可能である。

【0330】

図３５の（ｂ）は、各ＰＵにおける双予測制限の方法を示す。スキップＰＵ及びマージＰＵの場合には、スキップ候補またはマージ候補に基づく動き補償パラメータ導出において双予測を行わないことを示す情報を導出することによって、双予測制限を行う。具体的には、動き補償パラメータ導出部で後述するように、動き補償パラメータに含まれるインター予測フラグの値を双予測から単予測に変換することで双予測制限を行う。基本インターＰＵに対して双予測制限を行う場合には、ＰＵサイズ情報に応じて双予測制限の適用有無を判定する。双予測制限を適用しない場合にはインター予測フラグの復号を行う。また、双予測制限を適用する場合にはインター予測フラグの復号を省略するとともに、さらにインター予測フラグの値を単予測と推定する処理を行う。

【0331】

ここで、ＰＵサイズ情報とは、小さなＰＵであるか否かを判定するための情報であり、対象ＣＵのサイズとＰＵ分割タイプ、もしくは、対象ＣＵのサイズとＰＵ分割数、もしくは、ＰＵの幅もしくは高さ、もしくはＰＵの面積などを用いることができる。

【0332】

スキップＰＵ及びマージＰＵと、基本インターＰＵは、動き補償パラメータの復号方法
だけでなく用いられる場面も異なる。スキップＰＵとマージＰＵは、選択可能な動き補償パラメータを制限することによって符号量の低減を行う。このようなＰＵでは、動きが一様であるような領域で主に用いられる。動きが一様である場合には、２つの予測画像が近く双予測によるノイズ除去効果が大きいことが多い。そのため、基本インターＰＵの双予測制限に比べると、スキップＰＵ及びマージＰＵでは、基本インターＰＵと比較して双予測制限により符号化効率が低下する場合が生じやすい。そのため、上述のように基本インターＰＵのみで双予測を用いる制限や、後述のように、基本インターＰＵと、スキップＰＵおよびマージＰＵで制限するＰＵサイズを変更する方法も好適である。また、基本インターＰＵでの双予測制限は、符号化データの構造の観点からみると、インター予測フラグを符号化しないことによる符号量低減効果があるためにより有効である。

【0333】

（インター予測フラグの詳細）
ここでは、インター予測フラグの詳細を説明する。インター予測フラグinter_pred_flagは、単予測であるか双予測であるかを示す２値フラグである場合の他、単予測において
参照する参照画像のリスト（参照リスト）を複数の参照リストの中から選択する情報を含む場合がある。例えば、２種類の参照リスト（Ｌ０リストとＬ１リスト）のいずれかを選択するフラグを含む３値フラグとしてインター予測フラグが定義されていてもよい。以下、各々の場合を説明する。

【0334】

復号モジュール１０では、スライスヘッダ等から参照フレームリストとしてＬ０、Ｌ１リストを用いるか、コンバインドリスト（LCリスト）を用いるかを選択するコンバインドリストフラグref_pic_list_combination_flagを復号する。単予測の場合の参照フレーム
決定方法は、コンバインドリストフラグの値に応じて異なる。コンバインドリストフラグが１の場合には、単予測の参照フレームの指定に用いる参照リストとしてコンバインドリストLCを用い、各ＰＵにおいて参照リストを指定するためのフラグは不要である。そのためインター予測フラグinter_pred_flagは２値フラグで良い。コンバインドリストフラグ
が０の場合には、各ＰＵにおいて、参照リストをＬ０リストもしくはＬ１リストから選択する必要がある、そのためインター予測フラグinter_pred_flagは３値フラグとなる。

【0335】

図３２の（ａ）は、２値フラグである場合のインター予測フラグの意味を示し、図３２の（ｂ）は、３値フラグである場合のインター予測フラグの意味を示す。

【0336】

（双予測限定におけるシンタックステーブル例）
図３１は、従来技術におけるＰＵのシンタックステーブルの例であり双予測制限を行わない場合の符号化データの構成を示す。図３３は、ＰＵのシンタックステーブルの例であり、（ａ）および（ｂ）は各々双予測制限を行う場合の符号化データの構成の特にインター予測フラグinter_pred_flagの部分を示す。図３３の（ａ）は、インター予測フラグが常
に２値フラグである場合のシンタックステーブルの例である。この場合、inter_pred_flagにより単予測を意味するPred_LCと、双予測を意味するPred_Biの２つを区別する。スラ
イスがＢスライスでかつ双予測が有効である場合（DisableBiPred = false）には、単予
測と双予測を区別するために符号化データは、インター予測フラグinter_pred_flagを含
み、双予測が有効ではない場合（DisableBiPred =true）には、常に単予測であるからイ
ンター予測フラグinter_pred_flagを含まない。

【0337】

図３３の（ｂ）は、インター予測フラグが３値フラグである場合のシンタックステーブルの例である。コンバインドリストを利用する場合にはinter_pred_flagによりLCリスト
の参照フレームを１つ用いる単予測を意味するPred_LCと、双予測を意味するPred_Biの2
つを区別するが、そうでない場合には、L1リストの単予測を意味するPred_L1、L1リスト
の単予測を意味するPred_L2と、双予測を意味するPred_Biの3つを区別する。スライスが
Ｂスライスでかつ双予測が有効である場合（DisableBiPred = false）には、符号化デー
タは単予測と双予測を指定するために第１のインター予測フラグinter_pred_flag0を含み、双予測が有効ではない場合には、コンバインドリストを用いない場合に限り、符号化データは、参照リストを指定するための単予測と双予測を指定するために第２のインター予測フラグinter_pred_flag1を含む。コンバインドリストを用いない場合とは詳細には図３３の（ａ）に示すように!UsePredRefLC && !NoBackPredFlagにより判定する。すなわち、コンバインドリストを使用するか否かを指定するフラグUsePredRefLC（UsePredRefLCの値が真の場合にコンバインドリストを使用することを示す）と、後方向予測を用いるか否かを示すフラグNoBackPredFlag（NoBackPredFlagの値が真の場合に後方向予測を用いないことを示す）により指定される。コンバインドリストを利用する場合には、リスト選択をせずともコンバインドリストであることが分かる。後方向予測を用いない場合にはPred_L1
を禁止することであるから、第２のインター予測フラグinter_pred_flag1を符号化しない場合にも使用するリストが、コンバインドリストであるか（Pred_LC）、L0リストである
かPred_L0が分かる。なお、NoBackPredFlagの代わりにL1リストを用いないという意味でNoL1PredFlagという表現を用いることもできる。

【0338】

双予測制限を行うか否か、もしくは、双予測制限を行う場合のＰＵサイズの判定に用いる閾値を符号化データに含めても構わない。図３４は、双予測制限に関するシンタックステーブルの例である。図３４の（ａ）は、シーケンスパラメータセットが双予測制限をするか否かを制限するフラグdisable_bipred_in_small_PUを含む場合を示す。図に示すように、双予測制限のフラグは、小サイズのＰＵ（ここでは４ｘ４サイズのＰＵ）を禁止するフラグdisable_inter_4x4と独立に符号化しても良い。なお、小サイズのＰＵを禁止する
フラグの目的も、双予測制限と同じく、ＰＵ予測画像を生成する場合における最悪の処理量の低減であるから、小サイズのＰＵを禁止するフラグと小サイズの双予測を禁止するフラグを共通フラグとしても用いても良い。図３４の（ｂ）は、共通のフラグとして予測制約フラグuse_restricted_predictionを設ける例である。この場合には、予測制約フラグ
がtrueの場合には、小サイズのＰＵの適用と小サイズＰＵにおける双予測を同時に禁止する。図３４の（ｃ）は、双予測を禁止するＰＵのサイズを示すdisable_bipred_sizeを符
号化データに含める例である。disable_bipred_sizeとしては双予測制限の判定方法で後
述する閾値ＴＨの２を底とする対数の値等を用いることなどができる。なお、これらのフラグは、シーケンスパラメータセット以外のパラメータセットで符号化しても構わないし、スライスヘッダで符号化しても構わない。

【0339】

（双予測限定における動き補償パラメータ導出部）
図２９は、動き補償パラメータ導出部１２１の構成を示す。動き補償パラメータ導出部１２１は、スキップ動き補償パラメータ導出部１２１１、マージ動き補償パラメータ導出部１２１２、基本動き補償パラメータ導出部１２１３、双予測制限ＰＵ判定部１２１８、および、双単予測変換部１２１９から構成される。

【0340】

動き補償パラメータ導出部１２１では、特に、インター予測フラグを復号しない場合のＰＵであるスキップＰＵとマージＰＵの双予測制限を行う。

【0341】

スキップ動き補償パラメータ導出部１２１１は、対象ＣＵがスキップの場合に、スキップＰＵの動き補償パラメータを導出し、双単予測変換部１２１９に入力する。双単予測変換部１２１９は、双予測限定条件に応じて動き補償パラメータを変換し、スキップ動き補償パラメータ導出部１２１１に戻す。スキップ動き補償パラメータ導出部１２１１は、双予測限定条件に応じて変換された動き補償パラメータを、対象ＰＵの動き補償パラメータとして外部に出力する。なお、スキップインデックスによって、動き補償パラメータが定まる場合には、スキップ候補の各々に対して、双単予測変換部１２１９で変換を行い、変換後のスキップ候補をスキップインデックスで選択する構成でも構わない。

【0342】

マージ動き補償パラメータ導出部１２１２は、対象ＰＵがマージの場合に、対象ＰＵの動き補償パラメータを導出し、双単予測変換部１２１９に入力する。双単予測変換部１２１９は、双予測限定条件に応じて動き補償パラメータを変換し、マージ動き補償パラメータ導出部１２１１に戻す。マージ動き補償パラメータ導出部１２１１は、双予測限定条件に応じて変換された動き補償パラメータを、対象ＰＵの動き補償パラメータとして外部に出力する。なお、マージインデックスによって、動き補償パラメータが定まる場合には、マージ候補の各々に対して、双単予測変換部１２１９で変換を行い、変換後のマージ候補を、マージインデックスで選択する構成でも構わない。

【0343】

基本動き補償パラメータ導出部１２１３は、対象ＰＵがスキップでも、マージでもない場合において、対象ＰＵの動き補償パラメータを導出し、外部に出力する。

【0344】

双予測制限ＰＵ判定部１２１８は、対象ＰＵのＰＵサイズ情報を参照し、対象ＰＵにおいて双予測を用いない双予測制限を行うか否かを判定する。スキップＣＵ及びマージＰＵの双予測制限を行うか否か、及び、基本インターＰＵの双予測制限を行うか否かを、独立に判定しても良い。例えば、全てのＰＵを同じＰＵサイズを閾値として双予測制限を行って良いし、スキップＰＵ及びマージＰＵの方が大きなＰＵサイズを閾値として双予測制限を行っても良い。またスキップＰＵ及びマージＰＵは双予測制限を行わず、基本インターＰＵにのみ双予測制限を行っても良い。

【0345】

なお、マージの利用を制限する場合のように、スキップＰＵでインター予測フラグを復号する場合には、スキップＰＵ、マージＰＵ、基本インターＰＵの各々で双予測制限を行うか否かを、独立に判定することも可能である。

【0346】

また、上記の構成では、スキップ動き補償パラメータ導出部１２１１において設定された双予測・単予測の設定を双単予測変換部１２１９において双予測制限ＰＵ判定部１２１８に基づき判定すると説明したが、この構成に限らない。例えば、双予測制限ＰＵ判定部１２１８の判定結果を直接スキップ動き補償パラメータ導出部１２１１に入力し、双予測・単予測の設定を行う構成でも構わない。
（双予測制限の判定方法）
双予測制限ＰＵ判定部１２１８において、双予測制限を行うべき小サイズのＰＵであるか否かを判定する方法の好適な例を以下に説明する。なお、判定方法は以下の例に限定されるものではなく、ＰＵサイズ情報として他のパラメータを用いることも可能である。
（判定方法の例１）
判定方法の例１では、ＰＵサイズの判定に用いる閾値をＴＨとした場合に、THxTH未満のPUの場合に双予測制限を行う。この時の対象ＣＵサイズ（ここではCU Width）とＰＵ分割
タイプを用いた判定式は以下の通りである。

【0347】

DisableBiPred = ((CU Width == TH && PU分割タイプ!= 2Nx2N) && CU Width < TH) ? true : false
具体的には、
TH = 16の場合には、16x8、8x16、12x16、4x16、16x12、16x4、8x8、8x4、4x8、4x4の各PUにおいて双予測制限が行われる。
TH = 8の場合には、8x4、4x8、4x4の各PUにおいて双予測制限が行われる。

【0348】

なお、対象ＣＵサイズとＰＵ分割タイプ以外のパラメータを用いて判定を行うことも可能である。例えば、ＰＵ分割数NumPartを用いて以下のような判定も可能である。

【0349】

DisableBiPred = ((CU Width == TH && NumPart > 1) && CU Width < TH)? true : false
（判定方法の例２）
判定方法の例２では、THxTH以下のPUにおいて双予測制限を行う。この時の判定式は以
下の通りである。

【0350】

DisableBiPred = ((CU Width == 2*TH && PU分割タイプ== NxN) || CU Width < 2*TH) ? true : false
具体的には、
TH = 16の場合には、16x16、16x8、8x16、12x16、4x16、16x12、16x4、8x8、8x4、4x8、4x4の各PUにおいて双予測制限が行われる。
TH = 8の場合には、8x8、8x4、4x8、4x4の各PUにおいて双予測制限が行われ
る。
TH = 4の場合には、4x4のPUにおいて双予測制限が行われる。

【0351】

なお、PUの分割数NumPartを用いて以下のような判定も可能である。

【0352】

DisableBiPred = ((CU Width == 2*TH && NumPart != 4) || CU Width < 2*TH) ? true
: false
なお、上述の例においてスキップＰＵ及びマージＰＵと、基本インターＰＵとで異なるＰＵサイズ（閾値ＴＨ）を用いても構わない。また、図３４の（ｃ）で既に示したように、判定に用いるＰＵサイズ（閾値ＴＨ）を符号化しても良い。

【0353】

双単予測変換部１２１９は、入力された動き補償パラメータが双予測を示しており、さらに、双予測制限ＰＵ判定部１２１８においてスキップＰＵ及びマージＰＵの双予測制限を行うと判定された場合において、双単予測変換部１２１９に入力される動き補償パラメータを単予測に変換する。

【0354】

動き補償パラメータは、時間的及び空間的に近接するＰＵの動き補償パラメータのコピー、もしくは、時間的及び空間的に近接するＰＵの動き補償パラメータの組み合わせから導出される動き補償パラメータのインター予測フラグinter_pred_flagが双予測を示す２
である場合には、単予測を示す１に変換する。また、内部の処理に用いるインター予測フラグ（内部インター予測フラグ）がＬ０予測を示す１、Ｌ１予測を示す２、双予測を示す３からなるフラグである場合には、以下の動作を行う。内部インター予測フラグが３である場合には、内部インター予測フラグの値がＬ０予測を意味する１、もしくは、Ｌ１予測を意味する２に変換する。また、Ｌ０予測に変換する場合にはＬ１予測に関する動き補償パラメータを例えばゼロにリフレッシュする。Ｌ１予測に変換する場合には、Ｌ０予測に関する動き補償パラメータを例えばゼロにリフレッシュする。

【0355】

なお、双単予測変換部１２１９は、スキップ動き補償パラメータ導出部１２１１及びマージ動き補償パラメータ導出部１２１２の内部に備える手段として構成しても構わない。また、基本インターＰＵのみに双予測制限を行う場合には、双単予測変換部１２１９を備えない構成でも良い。

【0356】

（双予測限定における動き補償復号部）
図３０は、動き情報復号部１０２１の構成を示すブロック図である。動き情報復号部１０２１は少なくともインター予測フラグ復号部１０２８を備える。動き情報復号部１０２１では、特に、インター予測フラグを復号する場合のＰＵである基本インターＰＵの双予測制限を行う。インター予測フラグ復号部１０２８は、上述の双予測制限ＰＵ判定部１２１８で、基本インターＰＵの双予測制限を行うか否かに応じて、インター予測フラグの復号を行うか否かを変更する。

【0357】

なお、マージの利用を制限する場合のように、スキップＰＵでインター予測フラグを復号する場合には、スキップＰＵの双予測制限を行う。

【0358】

動き補償パラメータ導出部１２１が、小ＰＵサイズ１２３Ａを参照して双予測制限を行うことによる作用・効果は以下のとおりである。双予測は、単予測よりも処理量が大きく、また小サイズのＰＵは、大サイズのＰＵに比べて単位面積あたりの処理量が大きい。従って、小サイズのＰＵにおける双予測は、処理のボトルネックとなりかねない。このため、小サイズのＰＵでは、双予測を抑制することで、処理量が過度に増大することを抑えることができる。とくに、最も小さいサイズのＰＵを処理するような最悪ケースの処理量を抑制することができる。

【0359】

なお、インター予測フラグについて補足しておくと次のとおりである。非特許文献１では、インター予測フラグ（ｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇ）は、基本的には、双予測か単予測かを選択するフラグとなっている。しかし、コンバインドリストを使用せず、後方予測禁止フラグが禁止でない場合には、単予測に用いる参照フレームリストとしてＬ０、Ｌ１のいずれかを選択するためのフラグをｉｎｔｅｒ＿ｐｒｅｄ＿ｆｌａｇにより送信する場合もある。

【0360】

［作用・効果］
本発明は以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、予測単位内の画像を、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れかの画面間予測の予測方式によって復元する画像復号装置において、上記画面間予測が適用される、所定サイズ以下のサイズの予測単位である対象予測単位について、双予測を行うことを制限する双予測制限手段を備える構成である。

【0361】

上記制限を行うことで、復号処理のボトルネックになるような処理の処理量を低減することができるという効果を奏する。

【0362】

（３）ＴＵ情報復号部の詳細
次に、図１６を用いて、ＴＵ情報復号部１３および復号モジュール１０の構成例について説明する。図１６は、動画像復号装置１において、ＴＵ分割復号処理、変換係数復号処理、および、予測残差導出処理を行うための構成、すなわち、ＴＵ情報復号部１３および復号モジュール１０の構成について例示する機能ブロック図である。

【0363】

以下、ＴＵ情報復号部１３および復号モジュール１０の順で、各部の構成について説明する。

【0364】

［ＴＵ情報復号部］
図１６に示すように、ＴＵ情報復号部１３は、ＴＵ分割設定部１３１および変換係数復元部１３２を備える。

【0365】

ＴＵ分割設定部１３１は、符号化データから復号したパラメータとＣＵサイズおよびＰＵ分割タイプとに基づいて、ＴＵ分割の方式を設定するものである。また、変換係数復元部１３２は、ＴＵ分割設定部１３１によって設定されたＴＵ分割に従って、各ＴＵの予測残差を復元するものである。

【0366】

［ＴＵ分割設定部］
まず、図１６を参照しながら、ＴＵ分割設定部１３１の詳細について説明する。ＴＵ分割設定部１３１は、より詳細には、対象領域設定部１３１１、分割決定部１３１２、分割領域設定部（変換単位分割手段、分割手段）１３１３、および変換サイズ情報記憶部１３
１４を備える。

【0367】

対象領域設定部１３１１は、対象領域となるノードである対象ノードを設定する。対象領域設定部１３１１は、対象変換ツリーについてＴＵ分割の処理が開始されたとき、対象領域の初期値として、対象ＣＵ全体を設定する。また、分割の深度は、“０”に設定する。

【0368】

分割決定部１３１２は、領域分割フラグ復号部１０３１を用いて、対象領域設定部１３１１によって設定された対象ノードを分割するか否かを示す情報（split_transform_flag）を復号し、復号した情報に基づいて対象ノードの分割要否を決定する。

【0369】

分割領域設定部１３１３は、分割決定部１３１２によって分割要と決定された対象ノードについて分割領域を設定する。具体的には、分割領域設定部１３１３は、分割要と決定された対象ノードについて、分割の深度を１加算するとともに、変換サイズ決定情報記憶部１３１４に記憶されている変換サイズ決定情報に基づいて対象ノードを分割する。

【0370】

なお、分割により得られた各対象ノードは、対象領域設定部１３１１によりさらに対象領域として設定される。

【0371】

すなわち、ＴＵ分割では、分割した対象ノードについて、対象領域設定部１３１１、分割決定部１３１２および分割領域設定部１３１３によって、“対象領域の設定”、“分割の決定”、および“分割領域の設定”の一連の処理が、再帰的に繰り返される。

【0372】

変換サイズ決定情報記憶部１３１４には、対象ノードの分割方式を示す変換サイズ決定情報が記憶されている。変換サイズ決定情報は、具体的には、ＣＵのサイズ、ＴＵ分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプと、ＴＵ分割パターンとの対応関係を定義する情報である。

【0373】

ここで、図１７を用いて、変換サイズ決定情報の具体的な構成例について説明すると次のとおりである。図１７に示す変換サイズ決定情報では、ＣＵのサイズ、ＴＵ分割の深度（trafoDepth）、および対象ＰＵのＰＵ分割タイプに応じて、ＴＵ分割パターンが定義されている。なお、なお、表中の“ｄ”は、ＣＵの分割深度を示す。

【0374】

変換サイズ決定情報では、ＣＵのサイズとして、６４×６４、３２×３２、１６×１６、および８×８の４つが定義されている。

【0375】

また、変換サイズ決定情報では、ＣＵのサイズに応じて、選択可能なＰＵ分割タイプが定義されている。

【0376】

ＣＵのサイズが、６４×６４、３２×３２、および１６×１６である場合、ＰＵ分割タイプとして、２Ｎ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、およびｎＲ×２Ｎのいずれかを選択可能である。

【0377】

また、ＣＵのサイズが、８×８である場合、ＰＵ分割タイプとして、２Ｎ×２Ｎ、２Ｎ×ＮおよびＮ×２Ｎのいずれかを選択可能である。

【0378】

また、変換サイズ決定情報では、ＣＵのサイズおよびＰＵ分割タイプに応じて、各ＴＵ分割の深度におけるＴＵ分割パターンが定義されている。

【0379】

例えば、ＣＵのサイズが６４×６４である場合、次のとおりである。まず、ＴＵ分割の
深度“０”は定義されておらず、６４×６４のＣＵは、強制的に分割が行われる（図１７において※１にて示している）。これは、変換単位の最大サイズが３２×３２と定義されているためである。

【0380】

ＴＵ分割深度“１”および“２”では、正方形の４分木分割のみを含む場合と、非正方形の４分木分割のみを含む場合とで異なるＴＵ分割パターンが定義されている。

【0381】

ＰＵ分割タイプが２Ｎ×２Ｎであり、かつ、正方形の４分木分割のみを含むＴＵ分割パターンの場合、ＴＵ分割深度“１”では、３２×３２の正方形４分木分割、ＴＵ分割深度“２”では、１６×１６の正方形４分木分割が定義されている。

【0382】

ＰＵ分割タイプが、２Ｎ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、Ｎ×２Ｎ、ｎＬ×２Ｎ、およびｎＲ×２Ｎのいずれかであり、かつ、非正方形の４分木分割のみを含む場合の定義は次のとおりである。

【0383】

まず、ＴＵ分割深度“１”では、３２×３２の正方形４分木分割が定義されている。続いて、ＴＵ分割深度“２”では、ＰＵ分割タイプ：２Ｎ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤに対しては、３２×８の非正方形４分木分割が定義されており、ＰＵ分割タイプ：Ｎ×２Ｎ、ｎＬ×２Ｎ、ｎＲ×２Ｎに対しては、８×３２の非正方形４分木分割が定義されている。

【0384】

さらに、ＣＵのサイズが８×８である場合について例示すれば次のとおりである。ＣＵのサイズが８×８である場合、選択可能なＰＵ分割タイプは、２Ｎ×２Ｎ、２Ｎ×２、およびＮ×２Ｎである。それぞれのＰＵ分割タイプについて、ＴＵ分割深度“１”では、８×８の正方形４分木分割、ＴＵ分割深度“２”では、４×４の正方形４分木分割が定義されている。なお、ＴＵ分割の深度“３”は定義されておらず、強制的に非分割である（図１７において、※２にて示している）。

【0385】

ここで、図２０を用いて、ＴＵ分割設定部１３１におけるＴＵ分割について詳細について説明すると次のとおりである。図２０は、ＣＵのサイズが３２×３２であり、かつ、ＰＵ分割タイプが２Ｎ×Ｎである場合のＴＵ分割の例を示す図である。

【0386】

まず、対象領域設定部１３１１は、ＴＵ分割処理が開始されると、対象ＣＵ全体を、対象領域の初期値として設定するとともに、ｄｅｐｔｈ＝０とする。なお、ｄｅｐｔｈ＝０では、領域垂直方向中央において点線にて、ＰＵ境界Ｂ１を示している。

【0387】

次に、分割決定部１３１２が、対象ノードを分割するか否かを示す情報（ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ）に基づいて、対象ノードの分割要否を決定する。

【0388】

ｓｐｌｉｔ＝１であるので、分割決定部１３１２は、対象ノードを分割することを決定する。

【0389】

分割領域設定部１３１３は、ｄｅｐｔｈを１加算し、変換サイズ決定情報に基づいて、対象ノードについて、ＴＵ分割パターンを設定する。分割領域決定部１３１３は、対象領域である対象ＣＵについて、ｄｅｐｔｈ＝１のＴＵ分割を実行する。

【0390】

図１７に示す変換サイズ決定情報の定義に従って、分割領域設定部１３１３は、ｄｅｐｔｈ＝１では、対象ノードを３２×８の領域に四分木分割する。

【0391】

これにより、対象ノードは、図１８の（ｂ）に示す分割方式で、ＴＵ０、ＴＵ１、ＴＵ
２、および、ＴＵ３の４つの横長の長方形領域に分割される。

【0392】

さらに対象領域設定部１３１１は、ｄｅｐｔｈ＝１の分割深度において、ＴＵ０、ＴＵ１、ＴＵ２、および、ＴＵ３の各ノードを、順に対象領域に設定する。

【0393】

ここで、ＴＵ１について、ｓｐｌｉｔ＝１が設定されているので、分割決定部１３１２は、ＴＵ１を分割する事を決定する。

【0394】

分割領域決定部１３１３は、ＴＵ１について、ｄｅｐｔｈ＝２のＴＵ分割を実行する。図１７に示す変換サイズ決定情報の定義に従って、分割領域設定部１３１３は、ｄｅｐｔｈ＝２では、対象ノードを１６×４の領域に四分木分割する。

【0395】

これにより、対象ノードであるＴＵ１は、図１９の（ａ）に示す分割方式で、ＴＵ１−０、ＴＵ１−１、ＴＵ１−２、およびＴＵ１−３の４つに横長の長方形領域に分割される。

【0396】

［３−１］ＰＵ分割タイプが非対称の場合において分割領域サイズを導出する構成の例分割領域設定部１３１３は、ＰＵ分割タイプが非対称の場合、小さい方のＰＵでは、長方形（非正方形）の変換を適用する一方で、大きい方のＰＵの少なくとも一部では、正方形の変換を適用する構成であってもよい。

【0397】

例えば、変換サイズ決定情報記憶部１３１４に記憶される変換サイズ決定情報において、定義情報である小ＰＵサイズ１３１４Ａと、大ＰＵサイズ１３１４Ｂとを設ける。

【0398】

小ＰＵサイズ１３１４Ａでは、非対称に分割されたＰＵのうち、小さいサイズのＰＵにおいて、長方形の変換が適用されるよう定義する。

【0399】

大ＰＵサイズ１３１４Ｂは、非対称に分割されたＰＵのうち、大きいサイズのＰＵにおいて、正方形の変換が適用されるよう定義する。

【0400】

また、分割領域設定部１３１３は、非対称に分割されたＰＵのサイズに応じて、小ＰＵサイズ１３１４Ａの定義情報と、大ＰＵサイズ１３１４Ｂの定義情報とのいずれか一方を参照し、分割領域を設定する。

【0401】

図２１を用いて、上記構成例によるＴＵ分割について説明すると次のとおりである。

【0402】

図２１は、ＰＵ分割タイプが２Ｎ×ｎＵである場合の上記構成例によるＴＵ分割の例を示す図である。

【0403】

まず、対象領域設定部１３１１は、ＴＵ分割処理が開始されると、対象ＣＵ全体を、対象領域の初期値として設定するとともに、ｄｅｐｔｈ＝０とする。なお、ｄｅｐｔｈ＝０では、領域垂直方向中央より上方において点線にて、ＰＵ境界Ｂ２を示している。

【0404】

次に、分割決定部１３１２が、対象ノードを分割するか否かを示す情報（ｓｐｌｉｔ＿ｔｒａｎｓｆｏｒｍ＿ｆｌａｇ）に基づいて、対象ノードの分割要否を決定する。

【0405】

ｓｐｌｉｔ＝１であるので、分割決定部１３１２は、対象ノードを分割することを決定する。

【0406】

分割領域設定部１３１３は、ｄｅｐｔｈを１加算し、変換サイズ決定情報に基づいて、
対象ノードについて、ＴＵ分割パターンを設定する。分割領域決定部１３１３は、対象領域である対象ＣＵについて、ｄｅｐｔｈ＝１のＴＵ分割を実行する。

【0407】

ここで、分割領域設定部１３１３は、小ＰＵサイズ１３１４Ａに従って、非対称に分割されたＰＵのうち、小さいサイズのＰＵについて、横長の長方形のＴＵ分割を行う。

【0408】

また、分割領域設定部１３１３は、大ＰＵサイズ１３１４Ｂに従って、非対称に分割されたＰＵのうち、大きいサイズのＰＵについて、正方形のＴＵ分割を含める。なお、分割領域設定部１３１３は、ＰＵ境界側に位置する領域については、図２１に示すように長方形のＴＵ分割領域を含めてもかまわない。

【0409】

結果として、分割領域設定部１３１３は、ｄｅｐｔｈ＝１では、対象ノードを、２つの長方形のノードおよび２つの正方形のノードに四分木分割する。

【0410】

これにより、対象ノードは、横長の長方形のＴＵ０およびＴＵ１と、正方形のＴＵ２およびＴＵ３との４つの領域に分割される。

【0411】

さらに対象領域設定部１３１１は、ｄｅｐｔｈ＝１の分割深度において、ＴＵ０、ＴＵ１、ＴＵ２、および、ＴＵ３の各ノードを、順に対象領域に設定する。

【0412】

ここで、ＴＵ０およびＴＵ２について、ｓｐｌｉｔ＝１が設定されているので、分割決定部１３１２は、ＴＵ０およびＴＵ２を分割する事を決定する。

【0413】

分割領域決定部１３１３は、ＴＵ０およびＴＵ２について、ｄｅｐｔｈ＝２のＴＵ分割を実行する。分割領域設定部１３１３は、ｄｅｐｔｈ＝２では、ＴＵ０を、４つの横長の長方形にＴＵ分割し、ＴＵ２を、４つの正方形にＴＵ分割する。

【0414】

これにより、ＴＵ０は、ＴＵ０−０、ＴＵ０−１、ＴＵ０−２、およびＴＵ０−３の４つに横長の長方形領域に分割される。また、ＴＵ２は、ＴＵ２−０、ＴＵ２−１、ＴＵ２−２、およびＴＵ２−３の４つに横長の長方形領域に分割される。

【0415】

なお、上記のようにＰＵ分割タイプが非対称のＣＵにおけるＴＵ分割を行う場合、パーティションがＰＵ境界をまたがず、かつ、分割後の各ＴＵ分割領域の面積が同一となるよう分割することが好ましい。

【0416】

［作用・効果］
本発明は以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記予測単位への分割タイプは、符号化単位を複数の異なる大きさの予測単位に分割する非対称分割または符号化単位を複数の同一の大きさの予測単位に分割する対称分割を含み、復号の対象となる上記符号化単位である対象符号化単位の分割タイプが非対称分割であるとき、上記対象符号化単位に含まれる予測単位の大きさに応じて、変換単位の分割方式を決定する変換単位分割手段を備える構成である。

【0417】

よって、分割タイプが非対称分割であるときは、上記対象符号化単位に含まれる予測単位の大きさに応じて、効率よく相関を除去できるような変換単位の分割方式を選択することができる。

【0418】

［３−２］一部のＣＵサイズにおいて、ＰＵ分割タイプが正方形の分割であるとき非矩形変換を適用する構成の例
［構成例３−２−１］
分割領域設定部１３１３は、ＰＵ分割タイプが正方形の分割である場合、対象ノードを非正方形に分割してもよい。

【0419】

そこで、変換サイズ決定情報記憶部１３１４に記憶される変換サイズ決定情報において、ＰＵ分割タイプが正方形の分割である場合、対象ノードを非正方形に分割する旨定義する正方形ＰＵ分割タイプ１３１４Ｃが定義されていてもよい。

【0420】

そして、分割領域設定部１３１３は、ＰＵ分割タイプが正方形の分割である場合、正方形ＰＵ分割タイプ１３１４Ｃを参照して対象ノードを非正方形に分割する。

【0421】

分割領域設定部１３１３は、ＣＵサイズが、３２×３２サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、ＴＵ分割において領域を３２×８のノードに分割してもよい。

【0422】

また、分割領域設定部１３１３は、ＣＵサイズが、３２×３２サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、ＴＵ分割の分割方式を示す情報を追加で復号し、復号した情報に基づいて３２×８、１６×１６、８×３２のいずれかのノードに分割してもよい。

【0423】

また、分割領域設定部１３１３は、ＣＵサイズが、３２×３２サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、隣接ＣＵのサイズおよびＰＵ分割タイプに基づいて、対象ＣＵを分割するＴＵサイズを推定してもよい。また、分割領域設定部１３１３は、以下の(i)〜（iii）のとおり推定を行ってもよい。

【0424】

(i) 左辺にＣＵ境界またはＰＵ境界が存在し、上辺にはＣＵ境界およびＰＵ境界の境界が存在しない場合、３２×８を選択。

【0425】

(ii) 上辺にＣＵ境界またはＰＵ境界が存在し、左辺にはＣＵ境界およびＰＵ境界の境
界が存在しない場合、８×３２を選択。

【0426】

(iii) 上記（ｉ）および（ii）以外（左辺または上辺に境界が存在するか、左辺および上辺のいずれにも境界が存在しない場合）、１６×１６を選択。

【0427】

［作用・効果］
本発明は、以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記変換単位への分割方式は、正方形および長方形の分割を含み、復号の対象となる上記予測単位である対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する分割手段を備える構成である。

【0428】

上記構成による作用・効果は以下のとおりである。領域内にエッジが存在し、画像に方向性があるにもかかわらず、正方形の予測単位が選択される場合がある。例えば、多数の横エッジが存在するオブジェクトが移動している場合、オブジェクト内では、動きは一様であるため、正方形の予測単位が選択される。しかしながら、このような場合は、変換処理では、横エッジに沿った、水平方向に長い形状の変換単位を適用することが望ましい。

【0429】

上記構成によれば、復号の対象となる上記予測単位である対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する。

【0430】

よって、正方形の符号化単位においても、長方形の変換単位を選択することができ、このため上記のような領域に対する符号化効率を向上させることができる。

【0431】

［構成例３−２−２］
上記構成３−２−１に加えて、分割領域設定部１３１３は、ＣＵサイズが、１６×１６サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、各分割深度において以下のとおり分割を行う。

【0432】

分割深度＝１ … １６×４のＴＵに分割する。

【0433】

分割深度＝２ … ４×４のＴＵに分割する。

【0434】

上記構成によれば、４×４のＴＵにおいて、１６×１６ＣＵのＰＵ分割タイプに依存せず、スキャン順が統一される。４×４のＴＵにおいて、１６×１６ＣＵのＰＵ分割タイプが異なることで、スキャン順が統一されていないと、１６×１６ＣＵのＰＵ分割タイプに応じてスキャン処理を変更しなければならないため、処理が複雑となる。よって、このようなスキャン順の不統一は、処理のボトルネックとなり得る。

【0435】

上記構成によれば、スキャン順が統一されることにより、処理を簡略化できるという効果を奏する。

【0436】

図２２および図２３を用いて、より具体的に説明すると、以下のとおりである。まず、図２２に示すＴＵ分割から説明する。図２２は、図１７に示した変換サイズ決定情報に従って分割を行った場合のＴＵ分割の流れを示している。

【0437】

図２２の（ａ）に示すように、ＰＵ分割タイプが２Ｎ×２Ｎの場合…ｄｅｐｔｈ＝１において、分割領域設定部１３１３は、対象ノードの正方形の４分木分割を行う。また、ｄｅｐｔｈ＝２において、分割領域設定部１３１３は、正方形に分割された各ノードに対して、さらに正方形の４分木分割を行う。ここで、スキャン順は、再帰的なｚスキャンが用いられる。具体的には、図２２に図示するとおりである。

【0438】

図２２の（ｂ）に示すように、ＰＵ分割タイプが２Ｎ×ｎＵの場合…ｄｅｐｔｈ＝１において、分割領域設定部１３１３は、対象ノードに対して、横長の長方形の４分木分割を行う。また、ｄｅｐｔｈ＝２において、分割領域設定部１３１３は、横長の長方形に分割された各ノードに対して、さらに正方形の４分木分割を行う。ここで、各ＴＵのスキャン順は、ラスタスキャンが用いられる。具体的には、図２２に図示するとおりである。

【0439】

次に、図２３に示すＴＵ分割について説明する。図２３は、正方形ＰＵ分割タイプ１３１４Ｃに従って、ＰＵ分割タイプが２Ｎ×２Ｎの領域の分割を行った場合のＴＵ分割の流れを示している。

【0440】

ＰＵ分割タイプ：２Ｎ×２Ｎの場合… ｄｅｐｔｈ＝１において、分割領域設定部１３
１３は、対象ノードに対して、横長の長方形の４分木分割を行う。また、ｄｅｐｔｈ＝２において、分割領域設定部１３１３は、横長の長方形に分割された各ノードに対して、さらに正方形の４分木分割を行う。

【0441】

その結果、スキャン順は、ラスタスキャンが用いられる。よって、ＰＵ分割タイプが２Ｎ×ｎＵである場合と、２Ｎ×２Ｎである場合との間で、スキャン順をラスタスキャンに統一することができる。

【0442】

［変換係数復元部］
次に、再び図１６を参照しながら、変換係数復元部１３２の詳細について説明する。変換係数復元部１３２は、より詳細には、非ゼロ係数判定部１３２１および変換係数導出部１３２２を備える。

【0443】

非ゼロ係数判定部１３２１は、判定情報復号部（係数復号手段）１０３２を用いて、対象ＣＵに含まれる各ＴＵまたは変換ツリーについての非ゼロ変換係数の存否情報を復号し、各ＴＵに非ゼロ変換係数が存在するか否かを判定する。

【0444】

変換係数導出部１３２２は、変換係数復号部（係数復号手段）１０３３を用いて非ゼロ変換係数が存在する各ＴＵの変換係数を復元する一方で、非ゼロ変換係数が存在しない各ＴＵの変換係数を０（ゼロ）に設定する。

【0445】

［復号モジュール］
図１６に示すように、復号モジュール１０は、領域分割フラグ復号部１０３１、判定情報復号部１０３２、変換係数復号部１０３３、およびコンテキスト記憶部１０３４を備える。

【0446】

領域分割フラグ復号部１０３１は、分割決定部１３１２から供給される符号化データおよびシンタックス種別に応じて、符号化データに含まれるバイナリからシンタックス値の復号を行う。領域分割フラグ復号部１０３１は、対象ノードを分割するか否かを示す情報（split_transform_flag）を復号する。

【0447】

判定情報復号部１０３２は、変換係数導出部１３２２から供給される非ゼロ変換係数の存否情報の符号化データおよびシンタックス種別に応じて、当該符号化データに含まれるバイナリからシンタックス値の復号を行う。判定情報復号部１０３２が復号するシンタックスは、具体的には、ｎｏ＿ｒｅｓｉｄｕａｌ＿ｄａｔａ＿ｆｌａｇ、ｃｂｆ＿ｌｕｍａ、ｃｂｆ＿ｃｂ、ｃｂｆ＿ｃｒ、およびｃｂｐ等である。

【0448】

変換係数復号部１０３３は、変換係数導出部１３２２から供給される変換係数の符号化データおよびシンタックス種別に応じて、当該符号化データに含まれるバイナリからシンタックス値の復号を行う。変換係数復号部１０３３が復号するシンタックスは、具体的には、変換係数の絶対値であるレベル（ｌｅｖｅｌ）、変換係数の符号（ｓｉｇｎ）、連続するゼロのランの長さ（ｒｕｎ）などである。

【0449】

コンテキスト記憶部１０３４は、判定情報復号部１０３２および変換係数復号部１０３３が、復号処理の際に参照するコンテキストが記憶されている。

【0450】

［３−３］変換係数復号時にコンテキストを参照する具体的構成判定情報復号部１０３２および変換係数復号部１０３３は、それぞれ、ＰＵ分割タイプが非対称分割である場合、小さい方のＰＵに含まれるＴＵと、大きい方のＰＵに含まれるＴＵとで異なるコンテキストを用いて、変換係数に係るシンタックス値を復号する構成であってもよい。例えば、そのようなシンタックスの種類として、非ゼロ変換係数フラグ、変換係数レベル、変換係数のラン、ＴＵツリーの各ノードにおける非ゼロ変換係数の存否情報が含まれる。前記シンタックスの組み合わせを含んでいてもよい。

【0451】

そこで、コンテキスト記憶部１０３４では、小さい方のＰＵに含まれるＴＵにおいて参照されるコンテキストにおける変換係数に係る各種シンタックス値に対応する確率設定値である小ＰＵサイズ１０３４Ａと、大きい方のＰＵに含まれるＴＵにおいて参照されるコンテキストにおける確率設定値である大ＰＵサイズ１０３４Ｂとが記憶されていてもよい。ここで、小ＰＵサイズ１０３４Ａおよび大ＰＵサイズ１０３４Ｂは異なるコンテキストに対応する確率設定値である。

【0452】

判定情報復号部１０３２は、対象ＴＵが、小さいＰＵに含まれる場合、小ＰＵサイズ１０３４Ａを参照する一方で、対象ＴＵが、大きい方のＰＵに含まれる場合、大ＰＵサイズ１０３４Ｂを参照し、対象ＴＵにおけるＣｂｆ（ｃｂｆ＿ｌｕｍａ、ｃｂｆ＿ｃｂ、ｃｂｆ＿ｃｒ等）を算術復号する。

【0453】

また、変換係数復号部１０３３は、対象ＴＵが、小さいＰＵに含まれる場合、小ＰＵサイズ１０３４Ａを参照する一方で、対象ＴＵが、大きい方のＰＵに含まれる場合、大ＰＵサイズ１０３４Ｂを参照し、対象ＴＵにおける変換係数（ｌｅｖｅｌ、ｓｉｇｎ、ｒｕｎ等）を算術復号する。

【0454】

なお、判定情報復号部１０３２および変換係数復号部１０３３は、対象ＴＵが、大きい方のＰＵに含まれる場合であって、対象ＴＵが、小さい方のＰＵに近い側に位置するとき、小ＰＵサイズ１０３４Ａを参照してもかまわない。

【0455】

言い換えれば、対象ＴＵが、大きい方のＰＵに含まれる場合であっても、対象ＴＵがＰＵ境界の近傍に位置している場合、判定情報復号部１０３２および変換係数復号部１０３３は、小ＰＵサイズ１０３４Ａを参照してもかまわない。

【0456】

小さい方のＰＵには、エッジが存在する可能性が高く変換係数が発生しやすい。これに対して、大きい方のＰＵでは変換係数が発生しにくい。対象ＴＵが、小さいＰＵに含まれる場合と大きい方のＰＵに含まれる場合とで、異なるコンテキストを用いることで、それぞれの領域内における変換係数の発生確率に応じた可変長復号を行うことができる。

【0457】

［作用・効果］
本発明は、以下のとおり表現することもできる。すなわち、本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記予測単位への分割タイプは、異なる大きさの予測単位に分割する非対称形への分割および同一の大きさの予測単位に分割する対称形への分割を含み、復号の対象となる上記予測単位である対象予測単位の分割タイプが非対称形への分割であるとき、該分割により得られた小さい予測単位および大きい予測単位の間で、異なるコンテキストを参照して変換係数を復号する係数復号手段を備える構成である。

【0458】

よって、小さい予測単位に含まれる変換単位および大きい予測単位に含まれる変換単位のそれぞれの領域内における変換係数の発生確率に応じた可変長復号を行うことができる。

【0459】

（処理の流れ）
図２４を用いて、動画像復号装置１におけるＣＵ復号処理について説明すると以下のとおりである。なお、以下では、対象ＣＵは、インターＣＵ、または、スキップＣＵであるとする。図２４は、動画像復号装置１におけるＣＵ復号処理（インター／スキップＣＵ）の流れの一例について示すフローチャートである。

【0460】

ＣＵ復号処理が開始されると、ＣＵ情報復号部１１が、復号モジュール１０を用いて、対象ＣＵについてＣＵ予測情報を復号する（Ｓ１１）。この処理は、ＣＵ単位で行われる。

【0461】

具体的には、ＣＵ情報復号部１１において、ＣＵ予測モード決定部１１１が、復号モジュール１０を用いて、スキップフラグＳＫＩＰを復号する。また、スキップフラグがスキップＣＵであることを示していなければ、さらに、ＣＵ予測モード決定部１１１は、復号モジュール１０を用いて、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅを復号する。

【0462】

次に、ＰＵ単位の処理が行われる。すなわち、ＰＵ情報復号部１２が備える動き補償パラメータ導出部１２１が、動き情報を復号するとともに（Ｓ１２）、予測画像生成部１４が、復号された当該動き情報に基づいてインター予測により予測画像を生成する（Ｓ１３）。

【0463】

次に、ＴＵ情報復号部１３が、ＴＵ分割復号処理を行う（Ｓ１４）。具体的には、ＴＵ情報復号部１３において、ＴＵ分割設定部１３１が、符号化データから復号したパラメータとＣＵサイズおよびＰＵ分割タイプとに基づいて、ＴＵ分割の方式を設定する。この処理は、ＣＵ単位で行われる。

【0464】

次に、ＴＵ単位の処理が行われる。すなわち、ＴＵ情報復号部１３１が、変換係数を復号し（Ｓ１５）、逆量子化・逆変換部１５が、復号された変換係数から予測残差を導出する（Ｓ１６）。

【0465】

次に、加算部１７において、予測画像と予測残差とが加算されることにより、復号画像が生成される（Ｓ１７）。この処理は、ＣＵ単位で行われる。

【0466】

〔動画像符号化装置〕
以下において、本実施形態に係る動画像符号化装置２について、図２５および図２６を参照して説明する。

【0467】

（動画像符号化装置の概要）
動画像符号化装置２は、概略的に言えば、入力画像＃１０を符号化することによって符号化データ＃１を生成し、出力する装置である。

【0468】

（動画像符号化装置の構成）
まず、図２５を用いて、動画像符号化装置２の構成例について説明する。図２５は、動画像符号化装置２の構成について示す機能ブロック図である。図２５に示すように、動画像符号化装置２は、符号化設定部２１、逆量子化・逆変換部２２、予測画像生成部２３、加算器２４、フレームメモリ２５、減算器２６、変換・量子化部２７、および符号化データ生成部（符号化手段）２９を備えている。

【0469】

符号化設定部２１は、入力画像＃１０に基づいて、符号化に関する画像データおよび各種の設定情報を生成する。

【0470】

具体的には、符号化設定部２１は、次の画像データおよび設定情報を生成する。

【0471】

まず、符号化設定部２１は、入力画像＃１０を、スライス単位、ツリーブロック単位に順次分割することにより、対象ＣＵについてのＣＵ画像＃１００を生成する。

【0472】

また、符号化設定部２１は、分割処理の結果に基づいて、ヘッダ情報Ｈ’を生成する。ヘッダ情報Ｈ’は、（１）対象スライスに属するツリーブロックのサイズ、形状および対象スライス内での位置についての情報、並びに、（２）各ツリーブロックに属するＣＵのサイズ、形状および対象ツリーブロック内での位置についてのＣＵ情報ＣＵ’を含んでいる。

【0473】

さらに、符号化設定部２１は、ＣＵ画像＃１００、および、ＣＵ情報ＣＵ’を参照して、ＰＴ設定情報ＰＴＩ’を生成する。ＰＴ設定情報ＰＴＩ’には、（１）対象ＣＵの各ＰＵへの可能な分割パターン、および、（２）各ＰＵに割り付ける可能な予測モード、の全ての組み合わせに関する情報が含まれる。

【0474】

符号化設定部２１は、ＣＵ画像＃１００を減算器２６に供給する。また、符号化設定部２１は、ヘッダ情報Ｈ’を符号化データ生成部２９に供給する。また、符号化設定部２１は、ＰＴ設定情報ＰＴＩ’を予測画像生成部２３に供給する。

【0475】

逆量子化・逆変換部２２は、変換・量子化部２７より供給される、ブロック毎の量子化予測残差を、逆量子化、および、逆直交変換することによって、ブロック毎の予測残差を復元する。逆直交変換については、図１に示す逆量子化・逆変換部１３について、既に説明したとおりであるので、ここではその説明を省略する。

【0476】

また、逆量子化・逆変換部２２は、ブロック毎の予測残差を、ＴＴ分割情報（後述）により指定される分割パターンに従って統合し、対象ＣＵについての予測残差Ｄを生成する。逆量子化・逆変換部２２は、生成した対象ＣＵについての予測残差Ｄを、加算器２４に供給する。

【0477】

予測画像生成部２３は、フレームメモリ２５に記録されている局所復号画像Ｐ’、および、ＰＴ設定情報ＰＴＩ’を参照して、対象ＣＵについての予測画像Ｐｒｅｄを生成する。予測画像生成部２３は、予測画像生成処理により得られた予測パラメータを、ＰＴ設定情報ＰＴＩ’に設定し、設定後のＰＴ設定情報ＰＴＩ’を符号化データ生成部２９に転送する。なお、予測画像生成部２３による予測画像生成処理は、動画像復号装置１の備える予測画像生成部１４と同様であるので、ここでは説明を省略する。

【0478】

加算器２４は、予測画像生成部２３より供給される予測画像Ｐｒｅｄと、逆量子化・逆変換部２２より供給される予測残差Ｄとを加算することによって、対象ＣＵについての復号画像Ｐを生成する。

【0479】

フレームメモリ２５には、復号された復号画像Ｐが順次記録される。フレームメモリ２５には、対象ツリーブロックを復号する時点において、当該対象ツリーブロックよりも先に復号された全てのツリーブロック（例えば、ラスタスキャン順で先行する全てのツリーブロック）に対応する復号画像が、当該復号画像Ｐの復号に用いられたパラメータと共に、記録されている。

【0480】

減算器２６は、ＣＵ画像＃１００から予測画像Ｐｒｅｄを減算することによって、対象ＣＵについての予測残差Ｄを生成する。減算器２６は、生成した予測残差Ｄを、変換・量子化部２７に供給する。

【0481】

変換・量子化部２７は、予測残差Ｄに対して、直交変換および量子化を行うことで量子化予測残差を生成する。なお、ここで直交変換とは、画素領域から周波数領域への直交変換のことをさす。また、逆直交変換の例としては、ＤＣＴ変換（Discrete Cosine Transform）、およびＤＳＴ変換（Discrete Sine Transform）等が挙げられる。

【0482】

具体的には、変換・量子化部２７は、ＣＵ画像＃１００、および、ＣＵ情報ＣＵ’を参照し、対象ＣＵの１または複数のブロックへの分割パターンを決定する。また、決定された分割パターンに従って、予測残差Ｄを、各ブロックについての予測残差に分割する。

【0483】

また、変換・量子化部２７は、各ブロックについての予測残差を直交変換することによって周波数領域における予測残差を生成した後、当該周波数領域における予測残差を量子化することによってブロック毎の量子化予測残差を生成する。

【0484】

また、変換・量子化部２７は、生成したブロック毎の量子化予測残差と、対象ＣＵの分割パターンを指定するＴＴ分割情報と、対象ＣＵの各ブロックへの可能な全分割パターンに関する情報とを含むＴＴ設定情報ＴＴＩ’を生成する。変換・量子化部２７は、生成したＴＴ設定情報ＴＴＩ’を逆量子化・逆変換部２２および符号化データ生成部２９に供給する。

【0485】

符号化データ生成部２９は、ヘッダ情報Ｈ’、ＴＴ設定情報ＴＴＩ’、およびＰＴ設定情報ＰＴＩ’を符号化し、符号化したヘッダ情報Ｈ、ＴＴ設定情報ＴＴＩ、およびＰＴ設定情報ＰＴＩを多重化して符号化データ＃１を生成し、出力する。

【0486】

（動画像復号装置との対応関係）
動画像符号化装置２は、動画像復号装置１の各構成と対応する構成を含む。ここで、対応とは、同様の処理、または、逆の処理を行う関係にあるということである。

【0487】

例えば、上述したように、動画像復号装置１が備える予測画像生成部１４の予測画像生成処理と、動画像符号化装置２が備える予測画像生成部２３の予測画像生成処理とは、同様である。

【0488】

例えば、動画像復号装置１において、ビット列から、シンタックス値を復号する処理は、動画像符号化装置２において、シンタックス値から、ビット列を符号化する処理と逆の処理としての対応となっている。

【0489】

以下では、動画像符号化装置２における各構成が、動画像復号装置１のＣＵ情報復号部１１、ＰＵ情報復号部１２、およびＴＵ情報復号部１３とどのような対応となっているかについて説明する。これにより、動画像符号化装置２における各構成の動作・機能はより詳細に明らかになるだろう。

【0490】

符号化データ生成部２９は、復号モジュール１０に対応している。より詳しくいえば、復号モジュール１０が、符号化データおよびシンタックス種別に基づいてシンタックス値を導出するのに対して、符号化データ生成部２９は、シンタックス値およびシンタックス種別に基づいて符号化データを生成する。

【0491】

符号化設定部２１は、動画像復号装置１のＣＵ情報復号部１１に対応している。符号化設定部２１と、ＣＵ情報復号部１１とを比較すると次のとおりである。

【0492】

ＣＵ情報復号部１１が、ＣＵ予測タイプ情報に係る符号化データとシンタックス種別とを復号モジュール１０に供給し、復号モジュール１０により復号されたＣＵ予測タイプ情報に基づいてＰＵ分割タイプを決定する。

【0493】

これに対して、符号化設定部２１は、ＰＵ分割タイプを決定してＣＵ予測タイプ情報を生成し、ＣＵ予測タイプ情報に係るシンタックス値とシンタックス種別とを符号化データ
生成部２９に供給する。

【0494】

なお、符号化データ生成部２９は、復号モジュール１０が備える二値化情報記憶部１０１２、コンテキスト記憶部１０１３、および確率設定記憶部１０１４と同様の構成を備えていてもよい。

【0495】

予測画像生成部２３は、動画像復号装置１のＰＵ情報復号部１２および予測画像生成部１４に対応している。これらを比較すると次のとおりである。

【0496】

上述のとおり、ＰＵ情報復号部１２は、動き情報に係る符号化データとシンタックス種別とを復号モジュール１０に供給し、復号モジュール１０により復号された動き情報に基づいて動き補償パラメータを導出する。また、予測画像生成部１４は、導出された動き補償パラメータに基づいて予測画像を生成する。

【0497】

これに対して、予測画像生成部２３は、予測画像生成処理において、動き補償パラメータを決定し、動き補償パラメータに係るシンタックス値とシンタックス種別とを符号化データ生成部２９に供給する。

【0498】

また、予測画像生成部２３は、ＰＵ情報復号部１２が備えるマージ候補優先順位情報記憶部１２２、および参照フレーム設定情報記憶部１２３と同様の構成を備えていてもよい。

【0499】

変換・量子化部２７は、動画像復号装置１のＴＵ情報復号部１３および逆量子化・逆変換部１５に対応している。これらを比較すると次のとおりである。

【0500】

ＴＵ情報復号部１３が備えるＴＵ分割設定部１３１は、ノードの分割を行うのか否かを示す情報に係る符号化データおよびシンタックス種別を復号モジュール１０に供給し、復号モジュール１０により復号されたノードの分割を行うのか否かを示す情報に基づいてＴＵ分割を行う。

【0501】

さらに、ＴＵ情報復号部１３が備える変換係数復元部１３２は、判定情報および変換係数に係る符号化データおよびシンタックス種別を復号モジュール１０に供給し、復号モジュール１０により復号された判定情報および変換係数に基づいて変換係数を導出する。

【0502】

これに対して、変換・量子化部２７は、ＴＵ分割の分割方式を決定し、ノードの分割を行うのか否かを示す情報に係るシンタックス値およびシンタックス種別を符号化データ生成部２９に供給する。

【0503】

また、変換・量子化部２７は、予測残差を変換・量子化して得られる量子化変換係数に係るシンタックス値およびシンタックス種別を符号化データ生成部２９に供給する。

【0504】

なお、変換・量子化部２７は、ＴＵ分割設定部１３１が備える変換サイズ決定情報記憶部１３１４と同様の構成を備えていてもよい。また、符号化データ生成部２９は、復号モジュール１０が備えるコンテキスト記憶部１０３４と同様の構成を備えていてもよい。

【0505】

（具体的構成との対応関係）
［１］’ 符号化設定部および符号化データ生成部
［１−１］’コンテキストの参照を制限する構成の例
符号化データ生成部２９は、ＰＵ分割タイプが非対称パーティションであるとき、非対称パーティションの分割の種類を示す情報を、ＣＡＢＡＣのコンテキストを用いないで符
号化処理を行ってもかまわない。

【0506】

具体的な構成は、例えば、動画像復号装置１の構成例［１−１］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［１−１］の説明における「ＣＵ予測モード復号部１０１１」、「確率設定記憶部１０１４」、および「復号（する）」を、それぞれ、「符号化データ生成部２９」、「確率設定記憶部１０１４に相当する構成」、および「符号化（する）」と読み替えるものとする。

【0507】

［１−２］’ＣＵ予測タイプ情報（ｐｒｅｄ＿ｔｙｐｅ）を符号化する構成
符号化データ生成部２９は、二値化情報を参照してＣＵ予測タイプ情報を符号化するよう構成してもよい。

【0508】

具体的な構成は、例えば、動画像復号装置１の構成例［１−２］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［１−２］の説明における「ＣＵ予測モード復号部１０１１」、「二値化情報記憶部１０１２」、および「復号（する）」を、それぞれ、「符号化データ生成部２９」、「二値化情報記憶部１０１２に相当する構成」、および「符号化（する）」と読み替えるものとする。

【0509】

［１−３］’小サイズのＣＵにおいて、イントラＣＵについて短い符号を符号化する構成
符号化データ生成部２９は、小サイズのＣＵにおいて、イントラＣＵについて短い符号を符号化するよう構成してもよい。

【0510】

具体的な構成は、例えば、動画像復号装置１の構成例［１−３］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［１−３］の説明における「ＣＵ予測モード復号部１０１１」、「コンテキスト記憶部１０１３」、「二値化情報記憶部１０１２」、および「復号（する）」を、それぞれ、「符号化データ生成部２９」、「コンテキスト記憶部１０１３に相当する構成」、「二値化情報記憶部１０１２に相当する構成」、および「符号化（する）」と読み替えるものとする。

【0511】

［１−４］’近傍の予測パラメータに応じてｂｉｎ列の解釈を変更する構成
符号化データ生成部２９は、隣接領域に割り付けられている予測パラメータを参照して、ｂｉｎ列の解釈を変更するよう構成してもよい。

【0512】

具体的な構成は、例えば、動画像復号装置１の構成例［１−４］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［１−４］の説明における「ＣＵ予測モード復号部１０１１」、「二値化情報記憶部１０１２」、および「復号（する）」を、それぞれ、「符号化データ生成部２９」、「二値化情報記憶部１０１２に相当する構成」および「符号化（する）」と読み替えるものとする。

【0513】

［２］’予測画像生成部および符号化データ生成部
［２−１］’マージ候補の位置および優先順位の例
予測画像生成部２３は、ＰＵ分割タイプが非対称である場合、ＰＵ分割タ
イプが対称である場合と異なる方法でマージ候補の優先順位を決定する構成
であってもよい。

【0514】

具体的な構成は、例えば、動画像復号装置１の構成例［２−１］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−１］の説明における「動き補償パラメータ導出部１２１」、および「マージ候補優先順位情報記憶部１２２」を、それぞれ、「予測画像生成部２３」、および「マージ候補優先順位情報記憶部１２２
に相当する構成」と読み替えるものとする。

【0515】

［２−２］’ＣＵサイズとスキップ／マージとの組み合わせによるマージ候補の変更
予測画像生成部２３は、ＣＵサイズと、当該ＣＵがスキップ／マージを行うＣＵであるか否かとの組み合わせに応じてマージ候補を変更する構成であってもよい。

【0516】

具体的な構成は、例えば、動画像復号装置１の構成例［２−２］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−２］の説明における「動き補償パラメータ導出部１２１」、および「マージ候補優先順位情報記憶部１２２」を、それぞれ、「予測画像生成部２３」、および「マージ候補優先順位情報記憶部１２２に相当する構成」と読み替えるものとする。

【0517】

［２−３］’参照フレーム数の決定
予測画像生成部２３は、参照フレーム設定情報を参照して、インター予測において単予測および双予測のいずれの予測方式を適用するかを決定してもよい。

【0518】

具体的な構成は、例えば、動画像復号装置１の構成例［２−３］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［２−３］の説明における「動き補償パラメータ導出部１２１」、および「参照フレーム設定情報記憶部１２３」を、それぞれ、「予測画像生成部２３」、および「参照フレーム設定情報記憶部１２３に相当する構成」と読み替えるものとする。

【0519】

［３］’変換・量子化部および符号化データ生成部
［３−１］’ＰＵ分割タイプが非対称の場合において分割領域サイズを導出する構成の例
変換・量子化部２７は、ＰＵ分割タイプが非対称の場合、小さい方のＰＵでは、長方形（非正方形）の変換を適用する一方で、大きい方のＰＵでは、正方形の変換を適用する構成であってもよい。

【0520】

具体的な構成は、例えば、動画像復号装置１の構成例［３−１］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［３−１］の説明における「対象領域設定部１３１１」「分割決定部１３１２」および「分割領域設定部１３１３」は、「変換・量子化部２７」と読み替えるものとする。また、構成例［３−１］の説明における「変換サイズ決定情報記憶部１３１４」を、「変換サイズ決定情報記憶部１３１４に相当する構成」と読み替えるものとする。

【0521】

［３−２］’一部のＰＵ分割タイプが正方形の分割であるとき非矩形変換を適用する構成の例
変換・量子化部２７は、ＰＵ分割タイプが正方形の分割である場合、対象ノードを非正方形に分割する構成であってもよい。また、上記構成に加えて、変換・量子化部２７は、は、ＣＵサイズが、１６×１６サイズであり、かつＰＵ分割タイプが、２Ｎ×２Ｎである場合、各分割深度においてスキャン順が統一できるように分割を行う構成であってもよい。

【0522】

具体的な構成は、例えば、動画像復号装置１の構成例［３−２］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［３−２］の説明における「分割領域設定部１３１３」、および「変換サイズ決定情報記憶部１３１４」は、それぞれ、「変換・量子化部２７」、および「変換サイズ決定情報記憶部１３１４に相当する構成」と読み替えるものとする。

【0523】

［３−３］’変換係数符号化時にコンテキストを参照する具体的構成符号化データ生成
部２９は、ＰＵ分割タイプが非対称分割である場合、小さい方のＰＵに含まれるＴＵと、大きい方のＰＵに含まれるＴＵとで異なるコンテキストを用いて、非ゼロ変換係数の存否情報および変換係数の少なくとも一方を符号化する構成であってもよい。

【0524】

具体的な構成は、例えば、動画像復号装置１の構成例［３−３］において説明したものと同様であるので、ここでは説明を省略する。ただし、構成例［３−３］の説明における「判定情報復号部１０３２」および「変換係数復号部１０３３」は、「符号化データ生成部２９」と読み替えるものとする。また、構成例［３−３］の説明における「復号（する）」、および「コンテキスト記憶部１０３４」を、それぞれ、「符号化（する）」、および「コンテキスト記憶部１０３４に相当する構成」と読み替えるものとする。

【0525】

（処理の流れ）
図２６を用いて、動画像符号化装置２におけるＣＵ符号化処理について説明すると以下のとおりである。なお、以下では、対象ＣＵは、インターＣＵ、または、スキップＣＵであるとする。図２４は、動画像符号化装置２におけるＣＵ符号化処理（インター／スキップＣＵ）の流れの一例について示すフローチャートである。

【0526】

ＣＵ符号化処理が開始されると、符号化設定部２１が、対象ＣＵについてＣＵ予測情報を決定し、符号化データ生成部２９が、符号化設定部２１により決定されたＣＵ予測情報を符号化する（Ｓ２１）。この処理は、ＣＵ単位で行われる。

【0527】

具体的には、符号化設定部２１が、対象ＣＵがスキップＣＵであるか否かを決定する。対象ＣＵがスキップＣＵである場合、符号化設定部２１は、スキップフラグＳＫＩＰを符号化データ生成部２０に符号化させる。また、対象ＣＵがスキップＣＵでない場合、符号化設定部２１は、ＣＵ予測タイプ情報Ｐｒｅｄ＿ｔｙｐｅを符号化データ生成部２０に符号化させる。

【0528】

次に、ＰＵ単位の処理が行われる。すなわち、予測画像生成部２３が動き情報を導出し、符号化データ生成部２９が、予測画像生成部２３により導出された動き情報を符号化する（Ｓ２２）。また、予測画像生成部１４は、導出した当該動き情報に基づいてインター予測により予測画像を生成する（Ｓ２３）。

【0529】

次に、変換・量子化部２７が、ＴＵ分割符号化処理を行う（Ｓ２４）。具体的には、変換・量子化部２７は、対象ＣＵのＣＵサイズおよびＰＵ分割タイプに基づいて、ＴＵ分割の方式を設定する。この処理は、ＣＵ単位で行われる。

【0530】

次に、ＴＵ単位の処理が行われる。すなわち、変換・量子化部２７が、予測残差を変換係数に変換・量子化し（Ｓ２５）、符号化データ生成部２９が、変換・量子化された変換係数を符号化する（Ｓ２６）。

【0531】

次に、逆量子化・逆変換部２２が、変換・量子化された変換係数を、逆量子化・逆変換して予測残差を復元するとともに、加算器２４が、予測画像および予測残差を加算することにより、復号画像が生成される（Ｓ２７）。この処理は、ＣＵ単位で行われる。

【0532】

〔応用例〕
上述した動画像符号化装置２及び動画像復号装置１は、動画像の送信、受信、記録、再生を行う各種装置に搭載して利用することができる。なお、動画像は、カメラ等により撮像された自然動画像であってもよいし、コンピュータ等により生成された人工動画像（ＣＧおよびＧＵＩを含む）であってもよい。

【0533】

まず、上述した動画像符号化装置２及び動画像復号装置１を、動画像の送信及び受信に利用できることを、図２７を参照して説明する。

【0534】

図２７の（ａ）は、動画像符号化装置２を搭載した送信装置ＰＲＯＤ＿Ａの構成を示したブロック図である。図２７の（ａ）に示すように、送信装置ＰＲＯＤ＿Ａは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ａ１と、符号化部ＰＲＯＤ＿Ａ１が得た符号化データで搬送波を変調することによって変調信号を得る変調部ＰＲＯＤ＿Ａ２と、変調部ＰＲＯＤ＿Ａ２が得た変調信号を送信する送信部ＰＲＯＤ＿Ａ３と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ａ１として利用される。

【0535】

送信装置ＰＲＯＤ＿Ａは、符号化部ＰＲＯＤ＿Ａ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ａ４、動画像を記録した記録媒体ＰＲＯＤ＿Ａ５、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ａ６、及び、画像を生成または加工する画像処理部Ａ７を更に備えていてもよい。図２７の（ａ）においては、これら全てを送信装置ＰＲＯＤ＿Ａが備えた構成を例示しているが、一部を省略しても構わない。

【0536】

なお、記録媒体ＰＲＯＤ＿Ａ５は、符号化されていない動画像を記録したものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化された動画像を記録したものであってもよい。後者の場合、記録媒体ＰＲＯＤ＿Ａ５と符号化部ＰＲＯＤ＿Ａ１との間に、記録媒体ＰＲＯＤ＿Ａ５から読み出した符号化データを記録用の符号化方式に従って復号する復号部（不図示）を介在させるとよい。

【0537】

図２７の（ｂ）は、動画像復号装置１を搭載した受信装置ＰＲＯＤ＿Ｂの構成を示したブロック図である。図２７の（ｂ）に示すように、受信装置ＰＲＯＤ＿Ｂは、変調信号を受信する受信部ＰＲＯＤ＿Ｂ１と、受信部ＰＲＯＤ＿Ｂ１が受信した変調信号を復調することによって符号化データを得る復調部ＰＲＯＤ＿Ｂ２と、復調部ＰＲＯＤ＿Ｂ２が得た符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｂ３と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｂ３として利用される。

【0538】

受信装置ＰＲＯＤ＿Ｂは、復号部ＰＲＯＤ＿Ｂ３が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｂ４、動画像を記録するための記録媒体ＰＲＯＤ＿Ｂ５、及び、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｂ６を更に備えていてもよい。図２７の（ｂ）においては、これら全てを受信装置ＰＲＯＤ＿Ｂが備えた構成を例示しているが、一部を省略しても構わない。

【0539】

なお、記録媒体ＰＲＯＤ＿Ｂ５は、符号化されていない動画像を記録するためのものであってもよいし、伝送用の符号化方式とは異なる記録用の符号化方式で符号化されたものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｂ３と記録媒体ＰＲＯＤ＿Ｂ５との間に、復号部ＰＲＯＤ＿Ｂ３から取得した動画像を記録用の符号化方式に従って符号化する符号化部（不図示）を介在させるとよい。

【0540】

なお、変調信号を伝送する伝送媒体は、無線であってもよいし、有線であってもよい。また、変調信号を伝送する伝送態様は、放送（ここでは、送信先が予め特定されていない送信態様を指す）であってもよいし、通信（ここでは、送信先が予め特定されている送信態様を指す）であってもよい。すなわち、変調信号の伝送は、無線放送、有線放送、無線通信、及び有線通信の何れによって実現してもよい。

【0541】

例えば、地上デジタル放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を無線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂ
の一例である。また、ケーブルテレビ放送の放送局（放送設備など）／受信局（テレビジョン受像機など）は、変調信号を有線放送で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である。

【0542】

また、インターネットを用いたＶＯＤ（Video On Demand）サービスや動画共有サービ
スなどのサーバ（ワークステーションなど）／クライアント（テレビジョン受像機、パーソナルコンピュータ、スマートフォンなど）は、変調信号を通信で送受信する送信装置ＰＲＯＤ＿Ａ／受信装置ＰＲＯＤ＿Ｂの一例である（通常、ＬＡＮにおいては伝送媒体として無線又は有線の何れかが用いられ、ＷＡＮにおいては伝送媒体として有線が用いられる）。ここで、パーソナルコンピュータには、デスクトップ型ＰＣ、ラップトップ型ＰＣ、及びタブレット型ＰＣが含まれる。また、スマートフォンには、多機能携帯電話端末も含まれる。

【0543】

なお、動画共有サービスのクライアントは、サーバからダウンロードした符号化データを復号してディスプレイに表示する機能に加え、カメラで撮像した動画像を符号化してサーバにアップロードする機能を有している。すなわち、動画共有サービスのクライアントは、送信装置ＰＲＯＤ＿Ａ及び受信装置ＰＲＯＤ＿Ｂの双方として機能する。

【0544】

次に、上述した動画像符号化装置２及び動画像復号装置１を、動画像の記録及び再生に利用できることを、図２８を参照して説明する。

【0545】

図２８の（ａ）は、上述した動画像符号化装置２を搭載した記録装置ＰＲＯＤ＿Ｃの構成を示したブロック図である。図２８の（ａ）に示すように、記録装置ＰＲＯＤ＿Ｃは、動画像を符号化することによって符号化データを得る符号化部ＰＲＯＤ＿Ｃ１と、符号化部ＰＲＯＤ＿Ｃ１が得た符号化データを記録媒体ＰＲＯＤ＿Ｍに書き込む書込部ＰＲＯＤ＿Ｃ２と、を備えている。上述した動画像符号化装置２は、この符号化部ＰＲＯＤ＿Ｃ１として利用される。

【0546】

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤ（Hard Disk Drive）やＳＳＤ(Solid State Drive)などのように、記録装置ＰＲＯＤ＿Ｃに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢ（UniversalSerial Bus）フラッシュメモリなど
のように、記録装置ＰＲＯＤ＿Ｃに接続されるタイプのものであってもよいし、（３）ＤＶＤ（Digital Versatile Disc）やＢＤ（Blu-ray Disc:登録商標）などのように、記録
装置ＰＲＯＤ＿Ｃに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

【0547】

また、記録装置ＰＲＯＤ＿Ｃは、符号化部ＰＲＯＤ＿Ｃ１に入力する動画像の供給源として、動画像を撮像するカメラＰＲＯＤ＿Ｃ３、動画像を外部から入力するための入力端子ＰＲＯＤ＿Ｃ４、動画像を受信するための受信部ＰＲＯＤ＿Ｃ５、及び、画像を生成または加工する画像処理部Ｃ６を更に備えていてもよい。図２８の（ａ）においては、これら全てを記録装置ＰＲＯＤ＿Ｃが備えた構成を例示しているが、一部を省略しても構わない。

【0548】

なお、受信部ＰＲＯＤ＿Ｃ５は、符号化されていない動画像を受信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを受信するものであってもよい。後者の場合、受信部ＰＲＯＤ＿Ｃ５と符号化部ＰＲＯＤ＿Ｃ１との間に、伝送用の符号化方式で符号化された符号化データを復号する伝送用復号部（不図示）を介在させるとよい。

【0549】

このような記録装置ＰＲＯＤ＿Ｃとしては、例えば、ＤＶＤレコーダ、ＢＤレコーダ、
ＨＤＤ（Hard Disk Drive）レコーダなどが挙げられる（この場合、入力端子ＰＲＯＤ＿
Ｃ４又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）。また、カムコーダ（この場合、カメラＰＲＯＤ＿Ｃ３が動画像の主な供給源となる）、パーソナルコンピュータ（この場合、受信部ＰＲＯＤ＿Ｃ５又は画像処理部Ｃ６が動画像の主な供給源となる）、スマートフォン（この場合、カメラＰＲＯＤ＿Ｃ３又は受信部ＰＲＯＤ＿Ｃ５が動画像の主な供給源となる）なども、このような記録装置ＰＲＯＤ＿Ｃの一例である。

【0550】

図２８の（ｂ）は、上述した動画像復号装置１を搭載した再生装置ＰＲＯＤ＿Ｄの構成を示したブロックである。図２８の（ｂ）に示すように、再生装置ＰＲＯＤ＿Ｄは、記録媒体ＰＲＯＤ＿Ｍに書き込まれた符号化データを読み出す読出部ＰＲＯＤ＿Ｄ１と、読出部ＰＲＯＤ＿Ｄ１が読み出した符号化データを復号することによって動画像を得る復号部ＰＲＯＤ＿Ｄ２と、を備えている。上述した動画像復号装置１は、この復号部ＰＲＯＤ＿Ｄ２として利用される。

【0551】

なお、記録媒体ＰＲＯＤ＿Ｍは、（１）ＨＤＤやＳＳＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されるタイプのものであってもよいし、（２）ＳＤメモリカードやＵＳＢフラッシュメモリなどのように、再生装置ＰＲＯＤ＿Ｄに接続されるタイプのものであってもよいし、（３）ＤＶＤやＢＤなどのように、再生装置ＰＲＯＤ＿Ｄに内蔵されたドライブ装置（不図示）に装填されるものであってもよい。

【0552】

また、再生装置ＰＲＯＤ＿Ｄは、復号部ＰＲＯＤ＿Ｄ２が出力する動画像の供給先として、動画像を表示するディスプレイＰＲＯＤ＿Ｄ３、動画像を外部に出力するための出力端子ＰＲＯＤ＿Ｄ４、及び、動画像を送信する送信部ＰＲＯＤ＿Ｄ５を更に備えていてもよい。図２８の（ｂ）においては、これら全てを再生装置ＰＲＯＤ＿Ｄが備えた構成を例示しているが、一部を省略しても構わない。

【0553】

なお、送信部ＰＲＯＤ＿Ｄ５は、符号化されていない動画像を送信するものであってもよいし、記録用の符号化方式とは異なる伝送用の符号化方式で符号化された符号化データを送信するものであってもよい。後者の場合、復号部ＰＲＯＤ＿Ｄ２と送信部ＰＲＯＤ＿Ｄ５との間に、動画像を伝送用の符号化方式で符号化する符号化部（不図示）を介在させるとよい。

【0554】

このような再生装置ＰＲＯＤ＿Ｄとしては、例えば、ＤＶＤプレイヤ、ＢＤプレイヤ、ＨＤＤプレイヤなどが挙げられる（この場合、テレビジョン受像機等が接続される出力端子ＰＲＯＤ＿Ｄ４が動画像の主な供給先となる）。また、テレビジョン受像機（この場合、ディスプレイＰＲＯＤ＿Ｄ３が動画像の主な供給先となる）、デジタルサイネージ（電子看板や電子掲示板等とも称され、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、デスクトップ型ＰＣ（この場合、出力端子ＰＲＯＤ＿Ｄ４又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、ラップトップ型又はタブレット型ＰＣ（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）、スマートフォン（この場合、ディスプレイＰＲＯＤ＿Ｄ３又は送信部ＰＲＯＤ＿Ｄ５が動画像の主な供給先となる）なども、このような再生装置ＰＲＯＤ＿Ｄの一例である。
〔まとめ〕
符号化単位毎に、画像符号化データを復号して復号画像を生成する画像復号装置において、
本発明の一態様に係る画像復号装置は、前記符号化単位を分割する分割タイプを指定する情報を復号するＣＵ情報復号部と、コンテキストを用いた算術復号又はコンテキストを用いない算術復号により、前記画像符号化データからバイナリ値を復号する算術復号部とを備え、前記ＣＵ情報復号部が、前記分割タイプとして非対称的分割（ＡＭＰ; Asymmetr
ic Motion Partition）を指定する情報を復号する場合、前記算術復号部は、前記バイナ
リ値の位置に応じて、前記コンテキストを用いた算術復号と前記コンテキストを用いない算術復号とを切り替えて復号する。

【0555】

本発明の一態様に係る画像復号装置は、前記符号化単位のサイズを２Ｎ×２Ｎ画素とした場合、前記分割タイプは、少なくとも対称的分割である２Ｎ×２Ｎ画素、２Ｎ×Ｎ画素及びＮ×２Ｎ画素と前記非対称的分割である２Ｎ×ｎＵ画素、２Ｎ×ｎＤ画素、ｎＬ×２Ｎ画素及びｎＲ×２Ｎ画素を含んでいる。

【0556】

本発明の一態様に係る画像復号装置は、前記ＣＵ情報復号部が、前記分割タイプとして非対称的分割（AMP; Asymmetric Motion Partition）を指定する情報を復号する場合、前記算術復号部は、一部のバイナリ値のみを、前記コンテキストを用いない算術復号により復号する。

【0557】

本発明の一態様に係る画像復号装置は、前記一部のバイナリ値は、少なくとも前記非対称的分割に関する情報に対応するバイナリ値を含んでいる。

【0558】

本発明の一態様に係る画像復号装置は、符号化単位毎に、画像符号化データを復号して復号画像を生成する画像復号装置において、前記符号化単位を分割する分割タイプを指定する情報を復号するＣＵ情報復号部と、コンテキストを用いた算術復号又はコンテキストを用いない算術復号により、前記画像符号化データからバイナリ値を復号する算術復号部とを備え、前記ＣＵ情報復号部が、前記分割タイプとして長方形分割の種類を指定する情報を復号する場合、前記算術復号部は、前記バイナリ値の位置に応じて、前記コンテキストを用いた算術復号と前記コンテキストを用いない算術復号とを切り替えて復号する。

【0559】

本発明の一態様に係る画像復号方法は、符号化単位毎に、画像符号化データを復号して復号画像を生成する画像復号方法において、前記符号化単位を分割する分割タイプを指定する情報を復号するステップと、コンテキストを用いた算術復号又はコンテキストを用いない算術復号により、前記画像符号化データからバイナリ値を復号するステップとを少なくとも含み、前記分割タイプとして非対称的分割（ＡＭＰ; Asymmetric Motion Partition）を指定する情報を復号する場合、前記バイナリ値の位置に応じて、前記コンテキスト
を用いた算術復号と前記コンテキストを用いない算術復号とを切り替えて復号する。

【0560】

本発明の一態様に係る画像符号化装置は、符号化単位毎に、画像を復元するための情報を符号化して画像符号化データを生成する画像符号化装置において、前記符号化単位を分割する分割タイプを指定する情報を符号化する符号化設定部と、コンテキストを用いた符号化処理又はコンテキストを用いない符号化処理により、前記画像符号化データを生成する符号化データ生成部とを備え、前記分割タイプとして非対称的分割（ＡＭＰ; Asymmetric Motion Partition）を指定する情報を符号化する場合、前記符号化データ生成部は、
前記コンテキストを用いた符号化処理と前記コンテキストを用いない符号化処理とを切り替えて前記画像符号化データを生成する。

【0561】

本発明の一態様に係る画像復号装置は、画面間予測の予測方式として、１枚の参照画像を参照する単予測または２枚の参照画像を参照する双予測を用いて予測単位内の画像を復号する画像復号装置であって、前記予測単位が所定のサイズ以下の予測単位である場合、該予測単位に対して前記双予測を行うことを制限する双予測制限手段を備える。

【0562】

本発明の上記の態様によれば、非対称パーティションを用いる場合における符号量の削減と、非対称パーティションの性質を活用した効率のよい符号化／復号処理を実現することができる。

【0563】

また、本発明は以下のように表現することもできる。本発明の一態様に係る画像復号装置は、符号化単位毎に、画像を復元するための情報を画像符号化データから復号して画像を復元する画像復号装置において、予測単位のサイズと符号化単位に適用される予測方式との組み合わせに割り当てられている符号について、所定サイズ以下のサイズの符号化単位に画面内予測の予測方式が適用される組み合わせに対して、該組み合わせ以外の組み合わせに割り当てられている符号より短い符号を復号する復号手段を備えることを特徴とする。

【0564】

上記の構成において、所定サイズ以下のサイズの符号化単位は、当該所定サイズよりも大きいサイズの符号化単位では、インター予測が当たりにくくなるようなサイズの符号化単位である。

【0565】

インター予測が当たりにくい領域では、所定サイズ以下のサイズの小さい符号化単位が適用される傾向がある。なお、以下、所定サイズよりも大きいサイズの符号化単位のことを大きい符号化単位と称する。

【0566】

所定サイズ以下のサイズの符号化単位は、例示的には、最小サイズの符号化単位であり、８×８画素の符号化単位である。

【0567】

このような小さい符号化単位では、大きい符号化単位よりも空間相関性が高くなるので、予測精度の向上を図るためイントラＣＵが適用されることが多い。

【0568】

上記の構成では、符号化サイズが小さく、予測方式が画面内予測である組み合わせについて、それ以外の組み合わせよりも短い符号が割り当てられる。

【0569】

このため、上記の構成によれば、所定サイズ以下のサイズの符号化単位において発生確率が高い組み合わせに短い符号を割り当てることができ、符号化効率が向上するという効果を奏する。

【0570】

本発明の一態様に係る画像復号装置は、上記復号手段が、上記組み合わせに対して、上記所定サイズより大きいサイズの符号化単位に画面内予測の予測方式が適用される組み合わせに対して割り当てられている符号に比べて、短い符号を復号することが好ましい。

【0571】

上記の構成によれば、画面内予測が当たりにくい大きい符号化単位において画面内予測の予測方式が適用される場合よりも、画面内予測が当たりやすい小さい符号化単位において画面内予測の予測方式が適用される場合に、より短い符号が復号される。

【0572】

これにより、出現頻度が高い組み合わせに対して、短い符号を復号することができ、その結果、符号化効率を向上させることができる。

【0573】

本発明の一態様に係る画像復号装置は、上記復号手段が、上記組み合わせに対して、上記所定サイズと同一サイズの符号化単位に画面内予測以外の予測方式が適用される組み合わせに対して割り当てられている符号に比べて、短い符号を復号することが好ましい。

【0574】

上記の構成によれば、小さい符号化単位において予測が当たりにくい画面間予測よりも、予測が当たりやすい画面内予測について、短い符号を復号することができる。

【0575】

これにより、出現頻度が高い組み合わせに対して、短い符号を復号することができ、その結果、符号化効率を向上させることができる。

【0576】

本発明の一態様に係る画像復号装置は、予測単位内の画像を、１枚の参照画像を参照する単予測、及び、２枚の参照画像を参照する双予測の何れかの画面間予測の予測方式によって復元する画像復号装置において、上記画面間予測が適用される、所定サイズ以下のサイズの予測単位である対象予測単位について、双予測を行うことを制限する双予測制限手段を備えることを特徴とする。

【0577】

双予測は、単予測よりも処理量が多い。なお、双予測とは、画面間予測において参照する画像を２つ用いる予測方式のことである。参照する画像は、対象フレームに対して時間的に前方であっても後方であってもよい。

【0578】

また、所定サイズ以下のサイズの小さい予測単位では、所定サイズよりも大きいサイズの大きい予測単位よりも、単位面積当たりの処理量が多い。

【0579】

従って、小さい予測単位において双予測を行うと、どちらも処理量が多いため、復号処理のボトルネックになりやすい。

【0580】

上記の構成によれば、小さい予測単位において双予測を行うことを制限する。なお、制限するとは、双予測における一部の処理を省略すること、および、双予測の処理を行わないことを含む。

【0581】

上記制限を行うことで、復号処理のボトルネックになるような処理の処理量を低減することができるという効果を奏する。

【0582】

本発明の一態様に係る画像復号装置は、上記双予測制限手段が、上記対象予測単位における予測画像の生成に用いる動きベクトルの少なくとも一部の復号を省略しない予測単位であって、かつ、上記対象予測単位の近傍の予測単位に割り付けられている予測パラメータから、該対象予測単位に割り付ける予測パラメータの推定を行わない上記対象予測単位に対して、上記制限を行うことが好ましい。

【0583】

上記の構成によれば、いわゆるスキップ処理およびマージ処理を行わず、実際に対象予測単位に予測パラメータを導出する場合において、双予測を制限する。

【0584】

スキップ処理やマージ処理を行わない場合、動きベクトルを全て復号する必要があり処理量が増加する。したがって、そのような場合に上記制限を行うことで、復号処理のボトルネックになるような処理の処理量を低減することができる。

【0585】

本発明の一態様に係る画像復号装置は、上記双予測制限手段が、双予測および単予測のいずれを行うかを示す情報の復号を省略して、単予測を行うことが好ましい。

【0586】

上記構成によれば、双予測を制限する対象予測単位における復号処理を簡略化することができる。また、単予測を行うことが予め決まっているのに、双予測および単予測のいずれを行うかを示す情報を復号するというオーバーヘッドを回避することができる。

【0587】

本発明の一態様に係る画像復号装置は、上記双予測制限手段が、双予測における重み付け予測に関する情報の処理を省略することが好ましい。

【0588】

上記構成によれば、双予測における重み付け予測に関する情報の処理を省略することで、双予測における処理量を軽減できる。その結果、重み付け予測に関する情報の処理のような、復号処理のボトルネックになるような処理の処理量を低減することができる。

【0589】

本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成して画像を復元する画像復号装置において、復号対象となる上記符号化単位である対象符号化単位を上記予測単位へ分割するタイプである分割タイプと予測方式との複数の組に対して対応付けられる複数の符号を、復号の対象となる上記予測単位である対象予測単位の近傍の復号済み予測単位に割り付けられている復号済みパラメータに応じて変更する変更手段を備えることを特徴とする。

【0590】

予測画像を生成する単位は、符号化処理の単位となる符号化単位を基準に決定される。具体的には、符号化単位と同じ領域または符号化単位を分割して得られる領域を予測単位とする。

【0591】

上記の構成において、上記予測単位への分割タイプは、正方形への分割および非正方形への分割を含んでいてもよい。正方形への分割は、分割によって得られる予測単位が正方形である場合である。

【0592】

例えば、正方形の符号化単位を、４つの正方形に四分割する場合がこれに該当する。また、正方形の符号化単位と同じサイズの領域を予測単位とする非分割の場合もこれに該当する。非分割の場合の分割タイプは、一般的には、２Ｎ×２Ｎと表される。

【0593】

非正方形への分割は、分割によって得られる予測単位が非正方形である場合である。例えば、符号化単位の領域を大きな長方形と、小さな長方形とに分割する場合がこれに該当する。

【0594】

また、符号とは、符号化されたパラメータ値のバイナリ（ｂｉｎ）列のことをいう。バイナリ列は直接符号化されてもよいし、算術符号化により符号化されてもよい。予測方式は、画面間予測および画面内予測のいずれかである。また、予測方式および分割タイプの組とは、例えば、（画面内予測，非分割）であり、ｐｒｅｄ＿ｔｙｐｅというパラメータ値によって表されることもある。

【0595】

また、上記の構成では、符号と、予測方式および分割タイプの組とは、１対１で対応付けられる。

【0596】

上記の構成によれば、復号済みパラメータに応じて、上記対応付けを変更する。言い換えれば、同じ符号であっても、復号済みパラメータに応じて、いずれの予測方式および分割タイプの組を示すかの解釈を変更するということである。

【0597】

このため、より発生確率が高い予測方式および分割タイプの組に、より短い符号を割り当てることができる。

【0598】

具体的には、対象符号化単位に隣接する符号化単位が、画面内予測を行う符号化単位である場合、対象符号化単位も画面内予測が採用される可能性が高くなる。

【0599】

よって、このような場合、画面内予測を含む組に短い符号を割り当てることが望ましい。

【0600】

上記の構成によれば、近傍の復号済み予測単位に割り付けられている復号済みパラメータに応じて、より発生確率が高い予測方式および分割タイプの組に、より短い符号を割り当てるので、符号化効率を向上させることができる。

【0601】

本発明の一態様に係る画像復号装置は、上記変更手段が、上記対象符号化単位の近傍の復号済み符号化単位に画面内予測の予測方式が割り付けられているときに、画面内予測の予測方式を含む組に対応付けられる符号を、短い符号に変更することが好ましい。

【0602】

上記の構成によれば、対象符号化単位の近傍の復号済み符号化単位に画面内予測の予測方式が割り付けられているときに、画面内予測の予測方式を含む組に対応付けられる符号を、短い符号に変更する。

【0603】

なお、近傍とは、複数であってもよく、例えば、上隣接符号化単位および左隣接符号化単位を近傍とすることが挙げられる。

【0604】

この場合、上隣接符号化単位および左隣接符号化単位のいずれか、もしくは、両方において、画面内予測の予測方式が割り付けられていればよい。

【0605】

対象符号化単位の近傍の復号済み符号化単位に画面内予測の予測方式が割り付けられているとき、対象符号化単位も画面内予測が割り付けられる可能性が高い。

【0606】

このため、発生頻度が高い組に対応付けられる符号を短くすることができ、符号化効率が向上する。

【0607】

本発明の一態様に係る画像復号装置は、上記変更手段が、上記対象符号化単位に隣接する復号済み符号化単位が、上記対象符号化単位よりも小さいときに、隣接する方向への分割を行う分割タイプを含む組に対応付けられる符号を、短い符号に変更することが好ましい。

【0608】

上記の構成によれば、上記対象符号化単位に隣接する復号済み符号化単位が、上記対象符号化単位よりも小さいときに、隣接する方向への分割を行う分割タイプを含む組に対応付けられる符号を、短い符号に変更する。

【0609】

上記対象符号化単位に隣接する復号済み符号化単位が、上記対象符号化単位よりも小さいとき、対象符号化単位と、隣接する復号済み符号化単位との間の境界に対し、垂直な方向にエッジが存在する可能性が高い。すなわち、対象符号化単位が上記復号済み符号化単位に隣接する方向にエッジが現れることが多い。

【0610】

このような場合、隣接する方向への分割を行う分割タイプが選択されやすくなる。

【0611】

このため、発生頻度が高い組に対応付けられる符号を短くすることができ、符号化効率が向上する。

【0612】

本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに画面間予測の予測方式によって予測画像を生成して画像を復元する画像復号装置において、復号の対象となる上記予測単位である対象予測単位が、該対象予測単位の近傍の領域に割り付けられている予測パラメータから、該対象予測単位の予測パラメータの推定を行う予測単位である場合、該対象予測単位のサイズに応じて、推定に用いる領域の候補を決定する候補決定手段を備えることを特徴とする。

【0613】

上記の構成によれば、対象予測単位のサイズに応じて、いわゆるスキップや、マージに用いる領域の候補を決定する。または、復号した差分動きベクトルと合わせて動きベクトルを復元するために用いる推定動きベクトルの導出に用いる領域の候補を設定する。

【0614】

対象予測単位のサイズに応じて、画面間予測の動きベクトルの相関は変動する。例えば、所定のサイズ以下の小さい予測単位が選択される領域では、オブジェクトの動きが複雑な場合が多く、動きベクトルの相関は小さい。

【0615】

よって、上記構成によれば、例えば、動きの複雑度に応じて、候補数を削減することができる。これにより、サイド情報を削減することができ、その結果、符号化効率を向上させることができる。

【0616】

本発明の一態様に係る画像復号装置は、上記候補決定手段が、所定のサイズ以下の小さい予測単位の上記候補の数を、該小さい予測単位よりも大きい予測単位の上記候補の数よりも少なくすることが好ましい。

【0617】

上記の構成によれば、所定のサイズ以下の小さい予測単位の上記候補の数を、該小さい予測単位よりも大きい予測単位の上記候補の数よりも少なくする。

【0618】

上述のとおり、所定のサイズ以下の小さい予測単位が選択される領域では、オブジェクトの動きが複雑な場合が多く、動きベクトルの相関は小さい。

【0619】

そのため、上記のような領域では、候補数を少なくしたほうが、サイド情報を削減することができるため好ましい。

【0620】

本発明の一態様に係る画像復号装置は、上記候補決定手段が、所定のサイズ以下の小さい予測単位では、時間予測を上記候補に含めないことが好ましい。

【0621】

上記の構成によれば、所定のサイズ以下の小さい予測単位では、時間予測を上記候補に含めない。

【0622】

小さい予測単位が選択されるような動きが複雑な領域では、時間予測に用いられる関連予測単位（ｃｏｌｌｏｃａｔｅｄ ＰＵ）と対象予測単位との相関が小さいため、時間予
測が選択される可能性が小さい。よって、このような領域では、時間予測をマージ候補に含めないことが好ましい。

【0623】

本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成して画像を復元する画像復号装置において、上記予測単位への分割タイプは、長方形の予測単位への分割を含み、上記長方形が縦長および横長のいずれであるかを示す符号と、上記長方形の種類を示す符号とを含む、上記長方形の予測単位への分割を特定するための符号のうち、上記長方形の種類を示す符号を、コンテキストを用いずに復号する復号手段を備えることを特徴とする。

【0624】

上記の構成によれば、予測単位への分割タイプが、長方形の予測単位への分割の場合、長方形の種類を示す符号を、コンテキストを用いずに復号する。

【0625】

長方形の種類とは、例えば、分割タイプが、横長の長方形の分割である場合、２Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤの３種類である。

【0626】

予測単位の分割は、符号化単位の領域内に存在するエッジをまたがないように行われることが多い。傾きを有するエッジが領域内に存在する場合、必ずしも同一の長方形の種類が続けて選ばれないことがある。このような領域においては、コンテキストを用いて復号処理を行っても、符号化効率が向上しない場合がある。

【0627】

逆に言えば、このような領域においては、コンテキストを用いないで復号処理を行っても、符号化効率が低下しない場合がある。

【0628】

上記の構成によれば、上述のような領域において、符号化効率を維持しつつ、コンテキストを参照しないことによる処理の簡略化を図ることができる。

【0629】

本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに画面間予測の予測方式によって予測画像を生成して画像を復元する画像復号装置において、上記予測単位への分割タイプは、符号化単位を複数の異なる大きさの予測単位に分割する非対称分割または符号化単位を複数の同一の大きさの予測単位に分割する対称分割を含み、上記分割タイプが非対称分割である場合、上記分割タイプが対称分割である場合と異なる推定方法によって、画面間予測の予測パラメータの推定を行う推定手段を備えることを特徴とする。

【0630】

上記の構成によれば、分割タイプが非対称分割である場合、上記分割タイプが対称分割である場合と異なる推定方法によって、画面間予測の予測パラメータの推定を行う。

【0631】

非対称分割が選択される符号化単位は、予測単位を得るための分割において、小さい方の予測単位と、大きい方の予測単位とに非対称に分割される。

【0632】

また、非対称分割が選択される符号化単位では、小さい方の予測単位を長辺方向に横切るエッジが存在する可能性が高い。

【0633】

また、エッジが存在する領域は正確な動きベクトルが導出されている可能性が高い。つまり、分割タイプが非対称分割である場合、上記分割タイプが対称分割である場合と、精度の高い動きベクトルが導出されている領域が異なる。

【0634】

よって、分割タイプが非対称分割である場合と、上記分割タイプが対称分割である場合とで異なる推定方法を変更することで、分割タイプに応じた好ましい推定方法により画面間予測の予測パラメータの推定を行うことができるという効果を奏する。

【0635】

本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記予測単位への分割タイプは、符号化単位を複数の異なる大きさの予測単位に分割する非対称分割または符号化単位を複数の同一の大きさの予測単位に分割する対称分割を含み、復号の対象となる上記符号化単位である対象符号化単位の分割タイプが非対称分割であるとき、上記対象符号化単位に含まれる予測単位の大きさに応じて、変換単位の分割方式を決定する変換単位分割手段を備えることを特徴とする。

【0636】

上記の構成によれば、復号の対象となる上記符号化単位である対象符号化単位の分割タイプが非対称分割であるとき、上記対象符号化単位に含まれる予測単位の大きさに応じて、変換単位の分割方式を決定する。

【0637】

非対称分割が適用されるとき、小さい方の予測単位にはエッジが含まれる可能性が高いのに対して、大きい方の予測単位にはエッジが含まれる可能性が低い。

【0638】

予測残差に方向性がない場合、変換単位の分割方式として、長方形の変換を適用するよりも、正方形の変換を適用したほうが、効率よく相関を除去できる。

【0639】

上記構成によれば、分割タイプが非対称分割であるときは、上記対象符号化単位に含まれる予測単位の大きさに応じて、効率よく相関を除去できるような変換単位の分割方式を選択することができる。その結果、符号化効率が向上する。

【0640】

本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位を１以上の数に分割して得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記変換単位への分割方式は、正方形および長方形の分割を含み、復号の対象となる上記予測単位である対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する分割手段を備えることを特徴とする。

【0641】

領域内にエッジが存在し、画像に方向性があるにもかかわらず、正方形の予測単位が選択される場合がある。例えば、多数の横エッジが存在するオブジェクトが移動している場合、オブジェクト内では、動きは一様であるため、正方形の予測単位が選択される。しかしながら、このような場合は、変換処理では、横エッジに沿った、水平方向に長い形状の変換単位を適用することが望ましい。

【0642】

上記の構成によれば、復号の対象となる上記予測単位である対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する。

【0643】

これにより、正方形の符号化単位においても、長方形の変換単位を選択することができ、このため上記のような領域に対する符号化効率を向上させることができる。

【0644】

本発明の一態様に係る画像復号装置は、上記分割手段が、さらに、所定の大きさの符号化単位において分割深度２に対応する変換単位の形状が正方形である場合、上記所定の大きさの符号化単位において、分割深度１に対応する対象変換単位を長方形とすることが好ましい。

【0645】

上記の構成によれば、対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する。

【0646】

変換単位を正方形の４分木分割方式により再帰的に２回分割すると、すなわち分割深度を２まで上げると、１６個の正方形の変換単位が得られる。この場合、スキャン順は、ｚスキャンが再帰的に適用されたものになる。従来、対象符号化単位の分割タイプが正方形の分割である場合、この分割方式が適用されていた。

【0647】

一方、変換単位を横長の４分木分割方式により分割する場合は、分割深度２では、各ノードが正方形の変換単位に分割される。すなわち、分割深度を２では、最終的に、１６個の正方形の変換単位が得られる。この場合、スキャン順は、１６個の正方形の変換単位に対してラスタスキャンが適用される。従来、対象符号化単位の分割タイプが非正方形の分割である場合、この分割方式が適用されていた。

【0648】

よって、対象符号化単位の分割タイプが、正方形の分割である場合と非正方形の分割である場合とで、スキャン順が異なっていた。

【0649】

これに対して、上記の構成によれば、符号化単位の分割タイプが正方形の分割であり、すなわち対象予測単位の形状が正方形である場合、対象変換単位を長方形の分割方式により分割する。

【0650】

このため、正方形の分割である場合と非正方形の分割である場合とで、スキャン順を統
一させることができるという効果を奏する。

【0651】

本発明の一態様に係る画像復号装置は、符号化単位を１以上の数に分割して得られる予測単位ごとに予測画像を生成するとともに、符号化単位、または、分割した符号化単位として得られる変換単位ごとに予測残差を復号し、予測画像に予測残差を加算することで画像を復元する画像復号装置において、上記予測単位への分割タイプは、異なる大きさの予測単位への分割である非対称形への分割および同一の大きさの予測単位への分割である対称形への分割を含み、復号の対象となる上記予測単位である対象予測単位の分割タイプが非対称形への分割であるとき、該分割により得られた小さい予測単位および大きい予測単位の間で、異なるコンテキストを参照して変換係数を復号する係数復号手段を備えることを特徴とする。

【0652】

非対称分割により得られた小さい予測単位には、エッジが存在する可能性が高く変換係数が発生しやすい。これに対して、大きい予測単位では変換係数が発生しにくい。対象変換単位が、小さい予測単位に含まれる場合と大きい予測単位に含まれる場合とで、異なるコンテキストを用いることで、それぞれの領域内における変換係数の発生確率に応じた可変長復号を行うことができる。

【0653】

本発明の一態様に係る画像符号化装置は、符号化単位毎に、画像を復元するための情報を符号化して画像符号化データを生成する画像符号化装置において、予測単位のサイズと符号化単位に適用される予測方式との組み合わせに割り当てられている符号について、所定サイズ以下のサイズの符号化単位に画面内予測の予測方式が適用される組み合わせに対して、該組み合わせ以外の組み合わせに割り当てられている符号より短い符号を符号化する符号化手段を備えることを特徴とする。

【0654】

なお、上記画像復号装置に対応する構成を備える画像符号化装置も本発明の範疇に入る。上記のように構成された画像符号化装置によれば、本発明の一態様に係る画像復号装置と同様の効果を奏することができる。

【0655】

（ハードウェア的実現およびソフトウェア的実現）
また、上述した動画像復号装置１および動画像符号化装置２の各ブロックは、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

【0656】

後者の場合、上記各装置は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである上記各装置の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記各装置に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

【0657】

上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ（Compact Disc Read-Only Memory）／ＭＯディスク（Magneto-Optical disc）／ＭＤ（Mini Disc）／ＤＶＤ（Digital Versatile Disc）／ＣＤ−Ｒ（CD Recordable）／ブルーレイディスク
（Blu-ray Disc:登録商標）等の光ディスクを含むディスク類、ＩＣカード（メモリカー
ドを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ（Erasable Programmabl
e Read-Only Memory）／ＥＥＰＲＯＭ（登録商標）（Electrically Erasable and Programmable Read-Only Memory）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回
路類などを用いることができる。

【0658】

また、上記各装置を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ（Local Area Network）、ＩＳＤＮ（Integrated Services Digital Network）、ＶＡＮ（Value-Added Network）、ＣＡＴＶ（Community Antenna television/Cable Television）通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ（Institute of Electrical and Electronic
Engineers）１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡ（Infrared Data Association）やリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０
２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（登録商標）（Digital Living Network Alliance）、携帯電話網、衛星回線、地上
波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

【0659】

本発明は上述した実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能である。すなわち、請求項に示した範囲で適宜変更した技術的手段を組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

【産業上の利用可能性】

【0660】

本発明は、画像データが符号化された符号化データを復号する画像復号装置、および、画像データが符号化された符号化データを生成する画像符号化装置に好適に適用することができる。また、画像符号化装置によって生成され、画像復号装置によって参照される符号化データのデータ構造に好適に適用することができる。

【符号の説明】

【0661】

１ 動画像復号装置
１０ 復号モジュール
１１ ＣＵ情報復号部
１２ ＰＵ情報復号部
１３ ＴＵ情報復号部
１６ フレームメモリ
１１１ ＣＵ予測モード決定部
１１２ ＰＵサイズ決定部
１２１ 動き補償パラメータ導出部（双予測制限手段、候補決定手段、推定手段）
１２２ マージ候補優先順位情報記憶部
１２３ 参照フレーム設定情報記憶部
１３１ ＴＵ分割設定部
１３２ 変換係数復元部
１０１１ ＣＵ予測モード復号部（復号手段、変更手段）
１０１２ 二値化情報記憶部
１０１３ コンテキスト記憶部
１０１４ 確率設定記憶部
１０２１ 動き情報復号部
１０３１ 領域分割フラグ復号部
１０３２ 判定情報復号部（係数復号手段）
１０３３ 変換係数復号部（係数復号手段）
１３１１ 対象領域設定部
１３１２ 分割決定部
１３１３ 分割領域設定部（変換単位分割手段、分割手段）
１３１４ 変換サイズ決定情報記憶部
２ 動画像符号化装置
２１ 符号化設定部
２３ 予測画像生成部
２５ フレームメモリ
２７ 変換・量子化部
２９ 符号化データ生成部（符号化手段）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34】

【図35】