特許 5942818 動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5942818

(24)【登録日】2016年6月3日

(45)【発行日】2016年6月29日

(54)【発明の名称】動画像符号化装置、動画像符号化方法、及び動画像符号化プログラム

(51)【国際特許分類】

   H04N 19/109 20140101AFI20160616BHJP

   H04N 19/157 20140101ALI20160616BHJP

   H04N 19/176 20140101ALI20160616BHJP

   H04N 19/52 20140101ALI20160616BHJP

【ＦＩ】

   H04N19/109

   H04N19/157

   H04N19/176

   H04N19/52

【請求項の数】6

【全頁数】32

(21)【出願番号】特願2012-259417(P2012-259417)

(22)【出願日】2012年11月28日

(65)【公開番号】特開2014-107708(P2014-107708A)

(43)【公開日】2014年6月9日

【審査請求日】2015年3月31日

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(72)【発明者】

【氏名】竹原 英樹

(72)【発明者】

【氏名】福島 茂

(72)【発明者】

【氏名】熊倉 徹

(72)【発明者】

【氏名】西谷 勝義

(72)【発明者】

【氏名】荒蔭 和美

【審査官】 岩井 健二

(56)【参考文献】

【文献】 特開２０１２−２０９９１１（ＪＰ，Ａ）

【文献】 特開２００７−０６０１６４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００ − １９／９８

(57)【特許請求の範囲】

【請求項1】

動き補償予測を行う動画像符号化装置であって、
動き補償予測を行うブロックの動き情報を所定の動き情報候補リストから選択するマージモードまたは差分動きベクトルを符号化する差分動きベクトルモードのいずれかのインターモードの動き情報に関する情報を符号化するインターモード符号化部と、
前記動き補償予測を行うブロックの大きさと形状を符号化するブロックサイズ情報符号化部と、
動き補償予測を行うブロックの大きさと形状を設定し、前記設定された動き補償予測を行うブロックの大きさと形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出し、その算出した評価値に基づいて前記インターモード符号化部で符号化するべき前記動き情報に関する情報のインターモードを決定するインターモード設定部とを備え、
前記インターモード設定部は、前記動き補償予測を行うブロックの大きさが最小である場合は、前記動き補償予測を行うブロックの大きさが最小ではない場合に設定される形状とは異なる形状を設定し、設定された形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出することを特徴とする動画像符号化装置。

【請求項2】

動き補償予測を行う動画像符号化装置であって、
動き補償予測を行うブロックの動き情報を所定の動き情報候補リストから選択するマージモードまたは差分動きベクトルを符号化する差分動きベクトルモードのいずれかのインターモードの動き情報に関する情報を符号化するインターモード符号化部と、
前記動き補償予測を行うブロックの大きさと形状を符号化するブロックサイズ情報符号化部と、
動き補償予測を行うブロックの大きさと形状を設定し、前記設定された動き補償予測を行うブロックの大きさと形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出し、その算出した評価値に基づいて前記インターモード符号化部で符号化するべき前記動き情報に関する情報のインターモードを決定するインターモード設定部とを備え、
前記インターモード設定部は、前記動き補償予測を行うブロックの大きさが最大である場合、前記マージモードのみを選択して評価値を算出することを特徴とする動画像符号化装置。

【請求項3】

動き補償予測を行う動画像符号化方法であって、
動き補償予測を行うブロックの動き情報を所定の動き情報候補リストから選択するマージモードまたは差分動きベクトルを符号化する差分動きベクトルモードのいずれかのインターモードの動き情報に関する情報を符号化するインターモード符号化ステップと、
前記動き補償予測を行うブロックの大きさと形状を符号化するブロックサイズ情報符号化ステップと、
動き補償予測を行うブロックの大きさと形状を設定し、前記設定された動き補償予測を行うブロックの大きさと形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出し、その算出した評価値に基づいて前記インターモード符号化ステップで符号化するべき前記動き情報に関する情報のインターモードを決定するインターモード設定ステップとを含み、
前記インターモード設定ステップは、前記動き補償予測を行うブロックの大きさが最小である場合は、前記動き補償予測を行うブロックの大きさが最小ではない場合に設定される形状とは異なる形状を設定し、設定された形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出することを特徴とする動画像符号化方法。

【請求項4】

動き補償予測を行う動画像符号化方法であって、
動き補償予測を行うブロックの動き情報を所定の動き情報候補リストから選択するマージモードまたは差分動きベクトルを符号化する差分動きベクトルモードのいずれかのインターモードの動き情報に関する情報を符号化するインターモード符号化ステップと、
前記動き補償予測を行うブロックの大きさと形状を符号化するブロックサイズ情報符号化ステップと、
動き補償予測を行うブロックの大きさと形状を設定し、前記設定された動き補償予測を行うブロックの大きさと形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出し、その算出した評価値に基づいて前記インターモード符号化ステップで符号化するべき前記動き情報に関する情報のインターモードを決定するインターモード設定ステップとを含み、
前記インターモード設定ステップは、前記動き補償予測を行うブロックの大きさが最大である場合、前記マージモードのみを選択して評価値を算出することを特徴とする動画像符号化方法。

【請求項5】

動き補償予測を行う動画像符号化プログラムであって、
動き補償予測を行うブロックの動き情報を所定の動き情報候補リストから選択するマージモードまたは差分動きベクトルを符号化する差分動きベクトルモードのいずれかのインターモードの動き情報に関する情報を符号化するインターモード符号化ステップと、
前記動き補償予測を行うブロックの大きさと形状を符号化するブロックサイズ情報符号化ステップと、
動き補償予測を行うブロックの大きさと形状を設定し、前記設定された動き補償予測を行うブロックの大きさと形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出し、その算出した評価値に基づいて前記インターモード符号化ステップで符号化するべき前記動き情報に関する情報のインターモードを決定するインターモード設定ステップとをコンピュータに実行させ、
前記インターモード設定ステップは、前記動き補償予測を行うブロックの大きさが最小である場合は、前記動き補償予測を行うブロックの大きさが最小ではない場合に設定される形状とは異なる形状を設定し、設定された形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出することを特徴とする動画像符号化プログラム。

【請求項6】

動き補償予測を行う動画像符号化プログラムであって、
動き補償予測を行うブロックの動き情報を所定の動き情報候補リストから選択するマージモードまたは差分動きベクトルを符号化する差分動きベクトルモードのいずれかのインターモードの動き情報に関する情報を符号化するインターモード符号化ステップと、
前記動き補償予測を行うブロックの大きさと形状を符号化するブロックサイズ情報符号化ステップと、
動き補償予測を行うブロックの大きさと形状を設定し、前記設定された動き補償予測を行うブロックの大きさと形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出し、その算出した評価値に基づいて前記インターモード符号化ステップで符号化するべき前記動き情報に関する情報のインターモードを決定するインターモード設定ステップとをコンピュータに実行させ、
前記インターモード設定ステップは、前記動き補償予測を行うブロックの大きさが最大である場合、前記マージモードのみを選択して評価値を算出することを特徴とする動画像符号化プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動き補償予測を用いた動画像符号化及び復号技術に関し、特に動き補償予測で利用する動き情報を符号化及び復号する動画像符号化及び復号技術に関する。

【背景技術】

【0002】

一般的な動画像圧縮符号化では動き補償予測が利用される。動き補償予測は、対象画像を細かいブロックに分割し、復号済みの画像を参照画像として、動きベクトルで示される動き量に基づいて、対象画像の処理対象ブロックから参照画像の参照ブロックに移動した位置の信号を予測信号として生成する技術である。動き補償予測には１本の動きベクトルを利用して単予測に行うものと、２本の動きベクトルを利用して双予測に行うものがある。

【0003】

ＭＰＥＧ−４ＡＶＣ／Ｈ．２６４（以下、ＡＶＣ）のような動画像圧縮符号化では、動き補償予測を行うブロックサイズが細かく且つ多様化されており、精度の高い動き補償予測を行うことが可能となっている。一方、ブロックサイズを細かく且つ多様化することで、動きベクトルの演算量が膨大となる問題があった。

【0004】

そこで、ＡＶＣでは、時間方向の動きの連続性に着目し、処理対象ブロックと同一位置にある参照画像のブロックが有する動きベクトルを処理対象ブロックの動きベクトルとして利用して、符号化ベクトルを伝送することなく動き補償予測を実現する時間ダイレクト動き補償予測が用いられている。

【0005】

また、特許文献１では、空間方向の動きの連続性に着目し、処理対象ブロックに隣接する処理済みのブロックが有する動きベクトルを処理対象ブロックの動きベクトルとして利用して、符号化ベクトルを伝送することなく動き補償予測を実現する方法が開示されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開平１０−２７６４３９号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に記載された方法と従来の差分動きベクトルを伝送する手法を組み合わせた場合において、単純に組み合わせると処理量が増加するだけで、処理量に比して符号化効率の向上率が大きくならない問題があった。

【0008】

本発明はこうした状況に鑑みてなされたものであり、その目的は、処理量と符号化効率のバランス（トレードオフ）を効率良く実現することのできる動画像符号化技術及び動画像復号技術を提供することにある。

【課題を解決するための手段】

【0009】

上記課題を解決するために、本発明のある態様の動画像符号化装置は、動き補償予測を行う動画像符号化装置であって、動き補償予測を行うブロックの動き情報を所定の動き情報候補リストから選択するマージモードまたは差分動きベクトルを符号化する差分動きベクトルモードのいずれかのインターモードの動き情報に関する情報を符号化するインターモード符号化部（１１１２）と、前記動き補償予測を行うブロックの大きさと形状を符号化するブロックサイズ情報符号化部（１１１０）と、動き補償予測を行うブロックの大きさと形状を設定し、前記設定された動き補償予測を行うブロックの大きさと形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出し、その算出した評価値に基づいて前記インターモード符号化部で符号化するべき前記動き情報に関する情報のインターモードを決定するインターモード設定部（１２０１、１２０２）とを備え、前記インターモード設定部は、前記動き補償予測を行うブロックの大きさが最小である場合は、前記動き補償予測を行うブロックの大きさが最小ではない場合に設定される形状とは異なる形状を設定し、設定された形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出する。
本発明の別の態様は、動画像符号化装置である。この装置は、動き補償予測を行う動画像符号化装置であって、動き補償予測を行うブロックの動き情報を所定の動き情報候補リストから選択するマージモードまたは差分動きベクトルを符号化する差分動きベクトルモードのいずれかのインターモードの動き情報に関する情報を符号化するインターモード符号化部（１１１２）と、前記動き補償予測を行うブロックの大きさと形状を符号化するブロックサイズ情報符号化部（１１１０）と、動き補償予測を行うブロックの大きさと形状を設定し、前記設定された動き補償予測を行うブロックの大きさと形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出し、その算出した評価値に基づいて前記インターモード符号化部で符号化するべき前記動き情報に関する情報のインターモードを決定するインターモード設定部（１２０１、１２０２）とを備え、前記インターモード設定部は、前記動き補償予測を行うブロックの大きさが最大である場合、前記マージモードのみを選択して評価値を算出する。

【0010】

本発明の別の態様は、動画像符号化方法である。この方法は、動き補償予測を行う動画像符号化方法であって、動き補償予測を行うブロックの動き情報を所定の動き情報候補リストから選択するマージモードまたは差分動きベクトルを符号化する差分動きベクトルモードのいずれかのインターモードの動き情報に関する情報を符号化するインターモード符号化ステップと、前記動き補償予測を行うブロックの大きさと形状を符号化するブロックサイズ情報符号化ステップと、動き補償予測を行うブロックの大きさと形状を設定し、前記設定された動き補償予測を行うブロックの大きさと形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出し、その算出した評価値に基づいて前記インターモード符号化ステップで符号化するべき前記動き情報に関する情報のインターモードを決定するインターモード設定ステップとを含み、前記インターモード設定ステップは、前記動き補償予測を行うブロックの大きさが最小である場合は、前記動き補償予測を行うブロックの大きさが最小ではない場合に設定される形状とは異なる形状を設定し、設定された形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出する。
本発明の別の態様は、動画像符号化方法である。この方法は、動き補償予測を行う動画像符号化方法であって、動き補償予測を行うブロックの動き情報を所定の動き情報候補リストから選択するマージモードまたは差分動きベクトルを符号化する差分動きベクトルモードのいずれかのインターモードの動き情報に関する情報を符号化するインターモード符号化ステップと、前記動き補償予測を行うブロックの大きさと形状を符号化するブロックサイズ情報符号化ステップと、動き補償予測を行うブロックの大きさと形状を設定し、前記設定された動き補償予測を行うブロックの大きさと形状に応じて、前記マージモードおよび前記差分動きベクトルモードの少なくとも一方のモードを選択して評価値を算出し、その算出した評価値に基づいて前記インターモード符号化ステップで符号化するべき前記動き情報に関する情報のインターモードを決定するインターモード設定ステップとを含み、前記インターモード設定ステップは、前記動き補償予測を行うブロックの大きさが最大である場合、前記マージモードのみを選択して評価値を算出する。

【0012】

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0013】

本発明によれば、処理量と符号化効率のバランス（トレードオフ）を効率良く実現することができる。

【図面の簡単な説明】

【0014】

【図1】本実施の形態１に係る動画像符号化装置１００の構成を説明する図である。

【図2】図２（ａ）〜（ｂ）はＣＵの分割例を説明するための図である。

【図3】ＬＣＴＢ符号列生成部１００１の構成を説明する図である。

【図4】ＬＣＴＢ符号列生成部１００１の動作を説明するためのフローチャートである。

【図5】ＣＴＢ評価部の構成を説明する図である。

【図6】図６（ａ）〜（ｃ）はパーティションタイプを説明するための図である。

【図7】隣接パーティションを説明するための図である。

【図8】マージ候補リストの一例について説明する図である。

【図9】各ＣＵサイズで利用可能とするインターモードを説明するための図である。

【図10】図１０（ａ）〜（ｂ）は２Ｎ×Ｎのパーティションタイプと同一の動き情報を持つＣＴＢを説明する図である。

【図11】図１１（ａ）〜（ｂ）はパーティションタイプが２Ｎ×ＮやＮ×２Ｎである場合の隣接パーティションを説明する図である。

【図12】各ＣＵサイズで利用可能とするインターモードの別の例を説明するための図である。

【図13】インターモード決定部１２０１の構成を説明するための図である。

【図14】インターモード決定部１２０１の動作を説明するためのフローチャートである。

【図15】マージモード評価部を説明する図である。

【図16】マージ候補リスト生成部の構成を説明するための図である。

【図17】図１７（ａ）〜（ｂ）はシンタックスを説明するための図である。

【図18】シンタックスを説明するための図である。

【図19】実施の形態１に係る動画像復号装置２００の構成を示す図である。

【図20】動き情報再生部２０４の構成を示す。

【図21】実施の形態２の各ＣＵサイズで利用可能とするインターモードを説明するための図である。

【図22】実施の形態３の各ＣＵサイズで利用可能とするインターモードを説明するための図である。

【図23】図２３（ａ）〜（ｂ）は動き情報が１６×１６のブロックサイズの代表値に置き換えられる様子を説明するための図である。

【図24】図２４（ａ）〜（ｄ）は実施の形態５の新たなパーティションタイプを説明する図である。

【図25】動き情報が１６×１６のブロックサイズの代表値に置き換えられる様子を説明するための図である。

【図26】図２６（ａ）〜（ｂ）はパーティション０とパーティション１の評価値を合成について説明する図である。

【発明を実施するための形態】

【0015】

［実施の形態１］
以下、図面とともに本発明の好適な実施の形態に係る動画像符号化装置、動画像符号化方法および動画像符号化プログラム、ならびに動画像復号装置、動画像復号方法および動画像復号プログラムの詳細について説明する。なお、図面の説明において同一要素には同一符号を付与して重複する説明を省略する。

【0016】

（動画像符号化装置１００の構成）
図１は、本実施の形態１に係る動画像符号化装置１００の構成を説明する図である。実施の形態１の動画像符号化装置１００は、ＬＣＴＢ画像データ取得部１０００、ＬＣＴＢ符号列生成部１００１、復号情報記憶部１００２、及びストリーム多重部１００３を含む。

【0017】

動画像符号化装置１００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像符号化装置１００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。

【0018】

動画像符号化装置１００では、入力された画像信号を水平６４画素×垂直６４画素（以下、６４×６４と略す）の最大符号化ツリーブロック（ＬＣＴＢ）単位に分割し、分割したＬＣＴＢを左上から右下にラスタースキャン順序で符号化し、符号化ストリームを出力する。以下、動画像符号化装置の各部の機能と動作について説明する。

【0019】

（ＬＣＴＢ画像データ取得部１０００）
ＬＣＴＢ画像データ取得部１０００は、端子１より供給される画像信号から、ＬＣＴＢの位置情報とＬＣＴＢの大きさに基づいて、処理対象のＬＣＴＢの画像信号を取得し、ＬＣＴＢの画像信号をＬＣＴＢ符号列生成部１００１に供給する。

【0020】

（ＣＴＢ）
ここで、ＣＴＢについて説明する。ＣＴＢは四分木構造であり、ＣＴＢは水平方向と垂直方向が均等に２分割されることで順次１／４の大きさのＣＴＢとなる。最小のＣＴＢの大きさを８×８とする。なお、４分割された４つのＣＴＢはＺスキャン順で処理される。最大のＣＴＢである６４×６４の大きさのＣＴＢ（以降、６４×６４ＣＴＢ）がＬＣＴＢである。

【0021】

（ＣＵ）
それ以上分割されないＣＴＢの画像信号は符号化ブロック（ＣＵ）として、イントラ符号化またはインター符号化される。

【0022】

（ＣＴＢとＣＵ）
図２（ａ）〜（ｂ）はＣＵの分割例を説明するための図である。図２（ａ）の例では、ＬＣＴＢが１０個のＣＵに分割されている。ＣＵ０、ＣＵ１およびＣＵ９は分割回数が１の３２×３２の符号化ブロック、ＣＵ２、ＣＵ３およびＣＵ８は分割回数が２の１６×１６の符号化ブロック、ならびにＣＵ４、ＣＵ５、ＣＵ６およびＣＵ７は分割回数が３の８×８の符号化ブロックである。図２（ｂ）の例では、ＬＣＴＢは分割されず１個のＣＵで構成されている。

【0023】

本実施の形態では最大のＣＴＢの大きさを６４×６４とし、最小のＣＴＢの大きさを８×８としたが、これに限定されない。最大のＣＴＢの大きさが最小のＣＴＢの大きさ以上であればよい。

【0024】

（ＬＣＴＢ符号列生成部）
ＬＣＴＢ符号列生成部１００１は、ＬＣＴＢ画像データ取得部１０００より供給されるＬＣＴＢの画像信号を符号化して符号列を生成し、生成した符号列をストリーム多重部１００３に供給する。また、局部復号に準じる動作を行い、動き情報と局部復号した再生画像とを復号情報記憶部１００２に供給する。動き情報の詳細については後述する。

【0025】

ＬＣＴＢ符号列生成部１００１の構成について説明する。図３は、ＬＣＴＢ符号列生成部１００１の構成を説明する図である。ＬＣＴＢ符号列生成部１００１は、６４×６４ＣＵ評価部１１００、３２×３２ＣＵ評価部１１０１、１６×１６ＣＵ評価部１１０２、８×８ＣＵ評価部１１０３、１６×１６ＣＴＢモード決定部１１０４、３２×３２ＣＴＢモード決定部１１０５、６４×６４ＣＴＢモード決定部１１０６、及びＣＴＢ符号化部１１０７を含む。端子３はＬＣＴＢ画像データ取得部１０００に、端子４は復号情報記憶部１００２に、端子５は端子２に、端子６は復号情報記憶部１００２に接続されている。

【0026】

ＬＣＴＢ符号列生成部１００１の動作について説明する。図４は、ＬＣＴＢ符号列生成部１００１の動作を説明するためのフローチャートである。

【0027】

最初に、６４×６４ＣＵ評価部１１００において６４×６４ＣＵのＣＵ評価値が算出される（ステップＳ１０００）。

【0028】

次に、６４×６４ＣＴＢを分割して生成される４つの３２×３２ＣＴＢを３２×３２ＣＵとした３２×３２ＣＵ［ｉ１］（ｉ１＝０，１，２，３）について以下の処理が繰り返し行われる（ステップＳ１００１からステップＳ１１０１）。３２×３２ＣＵ評価部１１０１において３２×３２ＣＵ［ｉ１］のＣＵ評価値が算出される（ステップＳ１００２）。

【0029】

次に、３２×３２ＣＴＢ［ｉ１］を分割して生成される４つの１６×１６ＣＴＢを１６×１６ＣＵとした１６×１６ＣＵ［ｉ１］［ｉ２］（ｉ２＝０，１，２，３）について以下の処理が繰り返し行われる（ステップＳ１００３からステップＳ１１０９）。１６×１６ＣＵ評価部１１０２において１６×１６ＣＵ［ｉ１］［ｉ２］のＣＵ評価値が算出される（ステップＳ１００４）。

【0030】

次に、１６×１６ＣＴＢ［ｉ１］［ｉ２］を分割して生成される４つの８×８ＣＴＢを８×８ＣＵとした８×８ＣＵ［ｉ１］［ｉ２］［ｉ３］（ｉ３＝０，１，２，３）について以下の処理が繰り返し行われる（ステップＳ１００５からステップＳ１１０７）。８×８ＣＵ評価部１１０３において８×８ＣＵ［ｉ１］［ｉ２］［ｉ３］のＣＵ評価値が算出される（ステップＳ１００６）。

【0031】

次に、４つの８×８ＣＵ［ｉ１］［ｉ２］［ｉ３］の処理が終了すると（ステップＳ１００７）、１６×１６ＣＴＢモード決定部１１０４において、１６×１６ＣＴＢ［ｉ１］［ｉ２］（ｉ２＝０，１，２，３）が１つの１６×１６ＣＵ［ｉ１］［ｉ２］として符号化されるか４つの８×８ＣＵ［ｉ１］［ｉ２］［ｉ３］として符号化されるかが決定される（ステップＳ１００８）。ここでは、１６×１６ＣＵ［ｉ１］［ｉ２］のＣＵ評価値であるＶ＿１６ｘ１６［ｉ１］［ｉ２］と４つの８×８ＣＵ［ｉ１］［ｉ２］［ｉ３］（ｉ３＝０，１，２，３）のＣＵ評価値の合計値であるＶ＿８×８［ｉ１］［ｉ２］とが比較されて、Ｖ＿１６ｘ１６［ｉ１］［ｉ２］がＶ＿８×８［ｉ１］［ｉ２］以下であれば、１６×１６ＣＴＢ［ｉ１］［ｉ２］を１６×１６ＣＵ［ｉ１］［ｉ２］として符号化されることが決定され、それ以外の場合は、１６×１６ＣＴＢ［ｉ１］［ｉ２］を４つの８×８ＣＵ［ｉ１］［ｉ２］［ｉ３］として符号化されることが決定される。

【0032】

次に、４つの１６×１６ＣＴＢ［ｉ１］［ｉ２］の処理が終了すると（ステップＳ１００９）、３２×３２ＣＴＢモード決定部１１０５において、３２×３２ＣＴＢ［ｉ１］（ｉ１＝０，１，２，３）が１つの３２×３２ＣＵ［ｉ１］として符号化されるか４つの１６×１６ＣＴＢ［ｉ１］［ｉ２］として符号化されるかが決定される（ステップＳ１０１０）。ここでは、３２×３２ＣＵ［ｉ１］のＣＵ評価値であるＶ＿３２ｘ３２［ｉ１］と４つの１６×１６ＣＴＢ［ｉ１］［ｉ２］（ｉ２＝０，１，２，３）のＣＴＢ評価値の合計値であるＶ＿１６×１６［ｉ１］とが比較されて、Ｖ＿３２ｘ３２［ｉ１］がＶ＿１６×１６［ｉ１］以下であれば、３２×３２ＣＴＢ［ｉ１］は３２×３２ＣＵ［ｉ１］として符号化されることが決定され、それ以外の場合は、３２×３２ＣＴＢ［ｉ１］は４つの１６×１６ＣＴＢ［ｉ１］［ｉ２］として符号化されることが決定される。

【0033】

次に、４つの３２×３２ＣＴＢ［ｉ１］の処理が終了すると（ステップＳ１０１１）、６４×６４ＣＴＢモード決定部１１０６において、６４×６４ＣＴＢが１つの６４×６４ＣＵとして符号化されるか４つの３２×３２ＣＴＢ［ｉ１］として符号化されるかが決定される（ステップＳ１０１２）。ここでは、６４×６４ＣＵのＣＵ評価値であるＶ＿６４×６４と４つの３２×３２ＣＴＢ［ｉ１］（ｉ１＝０，１，２，３）のＣＴＢ評価値の合計値であるＶ＿３２×３２とが比較されて、Ｖ＿６４×６４がＶ＿３２×３２以下であれば、６４×６４ＣＴＢは６４×６４ＣＵとして符号化されることが決定され、それ以外の場合は、４つの３２×３２ＣＴＢ［ｉ１］として符号化されることが決定される。ＣＴＢ評価値とＣＵ評価値との違いは、ＣＴＢ評価値はＣＴＢが分割して生成された４つのＣＵ評価値にＣＴＢを分割するための符号量を評価値として加算している点である。

【0034】

以上のようにして決定されたＣＴＢ構造に基づいて、ＣＴＢ符号化部１１０７にてＣＴＢ符号化が行われる（ステップＳ１０１３）。ＣＴＢ符号化部１１０７では、各ＣＴＢ評価部を経由してＣＵ評価部より供給される各ＣＵについての符号化モード、インターモード、イントラモードの情報に基づいて、各ＣＵがイントラ符号化またはインター符号化される。イントラ符号化では、イントラ予測、直交変換、量子化、及びエントロピー符号化の処理がなされてシンタックスに従って符号列が生成される。インター符号化では、インター予測（動き補償予測）、直交変換、量子化、及びエントロピー符号化の処理がなされてシンタックスに従って符号列が生成される。ここで、本実施の形態における直交変換について説明する。ＡＶＣでは直交変換のブロックサイズとして４×４と８×８があった。本実施の形態における直交変換では、４×４と８×８に加え、１６×１６と３２×３２の直交変換のブロックサイズが利用可能とする。直交変換のブロックサイズはＣＵ単位で指定される。なお、ブロックサイズ情報符号化部１１１０、符号化モード符号化部１１１１、インターモード符号化部１１１２とシンタックスについては後述する。

【0035】

６４×６４ＣＵ評価部１１００、３２×３２ＣＵ評価部１１０１、１６×１６ＣＵ評価部１１０２、８×８ＣＵ評価部１１０３、１６×１６ＣＴＢモード決定部１１０４、３２×３２ＣＴＢモード決定部１１０５、及び６４×６４ＣＴＢモード決定部１１０６の詳細については後述する。

【0036】

（復号情報記憶部）
復号情報記憶部１００２は、ＬＣＴＢ符号列生成部１００１より供給される復号画像データと動き情報を予め定められた画像数記憶し、ＬＣＴＢ符号列生成部１００１に供給する。予め定められた画像数はＡＶＣと同様にＤＰＢ（Ｄｅｃｏｄｅｄ Ｐｉｃｔｕｒｅ Ｂｕｆｆｅｒ）として定義される画像数とする。

【0037】

（ストリーム多重部）
ストリーム多重部１００３は、ＬＣＴＢ符号列生成部１００１より供給される符号列をスライスの特性を決定するためのパラメータ群を定義したスライスヘッダ、ピクチャの特性を決定するためのパラメータ群を定義したＰＰＳ（Ｐｉｃｔｕｒｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）、や符号化ストリームの特性を決定するためのパラメータ群を定義したＳＰＳ（Ｓｅｑｕｅｎｃｅ Ｐａｒａｍｅｔｅｒ Ｓｅｔ）などと一緒に多重化して符号化ストリームを生成し、符号化ストリームを端子２に供給する。なお、最大のＣＴＢの大きさや最小のＣＴＢの大きさはＳＰＳの中に符号化されるものとする。

【0038】

（ＣＵ評価部）
以下、６４×６４ＣＵ評価部１１００、３２×３２ＣＵ評価部１１０１、１６×１６ＣＵ評価部１１０２、及び８×８ＣＵ評価部１１０３の詳細について説明する。これらは処理する画像サイズが異なるだけで基本的な構成は同一であるため、一括してＣＴＢ評価部として説明する。

【0039】

まず、ＣＴＢ評価部の構成について説明する。図５は、ＣＴＢ評価部の構成を説明する図である。ＣＴＢ評価部は、イントラモード決定部１２００、インターモード決定部１２０１、評価インターモード設定部１２０２、及びイントラ・インターモード決定部１２０３を含む。端子７は６４×６４ＣＵ評価部１１００、３２×３２ＣＵ評価部１１０１、１６×１６ＣＵ評価部１１０２、及び８×８ＣＵ評価部１１０３のそれぞれについて、６４×６４ＣＴＢモード決定部１１０６、３２×３２ＣＴＢモード決定部１１０５、及び１６×１６ＣＴＢモード決定部１１０４に接続されている。

【0040】

続いて、ＣＴＢ評価部の動作と各部の機能について説明する。

【0041】

（評価インターモード設定部）
最初に、評価インターモード設定部１２０２は、所定の複数のインターモードの中から各ＣＴＢサイズ（ＣＵサイズでも同じ）で利用可能とするインターモードの設定を行う（ステップＳ１２００）。そして、設定した利用可能なインターモードをインターモード決定部１２０１に供給する。所定の複数のインターモードと各ＣＵサイズで利用可能とするインターモードについては、後述する。

【0042】

（インターモード決定部）
次に、インターモード決定部１２０１は、端子３より供給されるＬＣＴＢの画像信号処理対象のＣＴＢの画像信号を取得し（ステップＳ１２０１）、処理対象のＣＴＢの画像信号を符号化する際に用いるインターモードを利用可能なインターモードの中から決定し（ステップＳ１２０２）、決定したインターモードについてレート歪み評価方法によりインターモード評価値を算出する（ステップＳ１２０３）。そして、決定したインターモードとインターモード評価値をイントラ・インターモード決定部１２０３に供給する。

【0043】

ここで、インターモード決定部１２０１は、利用可能なインターモードについて、それぞれレート歪み評価方法により評価値を算出し、最小の評価値を有するインターモードを１つ選択してインターモードを決定する。インターモード決定部１２０１の詳細については後述する。

【0044】

（レート歪み評価方法）
レート歪み評価方法について説明する。ＲＤＯ（Ｒａｔｅ Ｄｉｓｔｏｒｔｉｏｎ Ｏｐｔｉｍｉｚａｔｉｏｎ）と呼ばれる符号化歪量と符号量の関係を用いて最適解として選択する。ＲＤＯでのモード評価に用いるコスト値を式１に示す。
cost = D + λ * R （式１）

【0045】

ここで、λはスライスタイプ等に依存して変化する定数である。最適な符号化ブロックはcostが最小の値となる符号化ブロックを選択する。ここで、式１中のDは原画像と復号画像のＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅｓ）を用いて評価し、式１中Rは係数及び動き情報を伝送するために必要な符号量である。ただし、Rは必ずしも実際のエントロピー符号化を行って符号量を測定しなくてもよく、簡易的な見積もり符号量を基に概算符号量を算出して用いても良い。また、Dも必ずしもＳＳＤを測定しなくてもよく、ＳＡＤなどを用いてもよい。

【0046】

（イントラモード決定部）
次に、イントラモード決定部１２００は、端子３より供給されるＬＣＴＢの画像信号から処理対象のＣＴＢの画像信号を取得し（ステップＳ１２０４）、処理対象のＣＴＢの画像信号を符号化する際に用いるイントラモードを決定し（ステップＳ１２０５）、決定したイントラモードについてレート歪み評価方法によりイントラモード評価値を算出する（ステップＳ１２０６）。そして、決定したイントラモードとイントラモード評価値をイントラ・インターモード決定部１２０３に供給する。

【0047】

ここで、イントラモード決定部１２００は、複数のイントラ予測モードとＰＣＭモードについて、それぞれレート歪み評価方法により評価値を算出し、最小の評価値を有するイントラモードを１つ選択してイントラモードを決定する。

【0048】

ここで、イントラモードについて説明する。イントラモードには、ＡＶＣのように隣接画素を用いて予測画素を生成し、予測画素と画像信号との差分画素を算出し、差分画素を直交変換・量子化して符号化するイントラ予測技術を利用したイントラ予測モードと画像信号をそのまま符号化するＰＣＭモードがある。なお、イントラ予測モードには隣接画素の利用方法によって複数のモードがあるが、ここでは詳細について説明は省略する。

【0049】

（イントラ・インターモード決定部）
最後に、イントラ・インターモード決定部１２０３は、インターモード決定部１２０１より供給されるインターモード評価値がイントラモード決定部１２００より供給されるイントラモード評価値以下であるか検査し（ステップＳ１２０７）、インターモード評価値がイントラモード評価値以下であれば（ステップＳ１２０７のＹＥＳ）、処理対象のＣＴＢの画像信号を符号化する符号化モードをインターとし（ステップＳ１２０８）、インターモード評価値をＣＵ評価値とする。それ以外であれば（ステップＳ１２０７のＮＯ）、処理対象のＣＴＢの画像信号を符号化する符号化モードをイントラとし（ステップＳ１２０９）、イントラモード評価値をＣＵ評価値とする。そして、符号化モードとＣＵ評価値を端子７に供給する。また、符号化モードがインターであれば、インターモードを端子７に供給し、符号化モードがイントラであれば、イントラモードを端子７に供給する。

【0050】

ここでは、評価値としてレート歪み評価方法により算出される評価値を用いたが、例えば、動きベクトル検出ではより簡単に画素毎の差分絶対値の総和ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や、画素毎の二乗誤差値の総和ＳＳＥ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｅｒｒｏｒ）とオフセットの加算値などを利用してもよい。

【0051】

（インターモード）
続いて、所定の複数のインターモードについて説明する。インターモードは、パーティションタイプとインター予測モードの組み合わせで定まる。

【0052】

（パーティションタイプ）
最初に、パーティションタイプについて説明する。

【0053】

本実施の形態では、ＣＵはさらにパーティションに分割される。ＣＵはパーティションタイプによって１つまたは２つの予測ブロックに分割される。図６（ａ）〜（ｃ）は、パーティションタイプを説明するための図である。図６（ａ）はＣＵが１つのパーティションで構成される２Ｎ×２Ｎ、図６（ｂ）はＣＵを水平に２等分割する２Ｎ×Ｎ、図６（ｃ）は垂直に２等分割するＮ×２Ｎを示す。図６（ａ）〜（ｃ）の０と１の数値はパーティション番号を示し、パーティションはパーティション番号の順に処理される。

【0054】

（インター予測モード）
次に、インター予測モードについて説明する。インター予測モードにはマージモードと差分動きベクトルモードがある。マージモードと差分動きベクトルモードは、動き補償予測として、共に予測方向が単予測の動き補償予測と予測方向が双予測の動き補償予測が利用できる。また、ＡＶＣと同様に予測方向Ｌ０と予測方向Ｌ１の参照ピクチャリストを利用することで、複数の参照画像を利用するとする。予測方向Ｌ０の参照ピクチャリストを用いた予測方向が単予測の動き補償予測をＬ０予測（Ｐｒｅｄ＿Ｌ０）、予測方向Ｌ１の参照ピクチャリストを用いた予測方向が単予測の動き補償予測をＬ１予測（Ｐｒｅｄ＿Ｌ１）、予測方向Ｌ０の参照ピクチャリストと予測方向Ｌ１の参照ピクチャリストの両方を用いた予測方向が双予測の動き補償予測をＢＩ予測（Ｐｒｅｄ＿ＢＩ）とそれぞれ呼ぶ。動き補償予測の方向であるＰｒｅｄ＿Ｌ０、Ｐｒｅｄ＿Ｌ１、Ｐｒｅｄ＿ＢＩをインター予測タイプとする。

【0055】

以上のようなパーティションタイプとインター予測モードの組み合わせによって、所定の複数のインターモードは定まり、インターモードは、２Ｎ×２Ｎマージモード、２Ｎ×Ｎマージモード、Ｎ×２Ｎマージモード、２Ｎ×２Ｎ差分動きベクトルモード、２Ｎ×Ｎ差分動きベクトルモード、及びＮ×２Ｎ差分動きベクトルモードとなる。

【0056】

（動き情報）
ここで、動き情報について説明する。動き情報は、動き補償予測で利用される情報であって、予測方向Ｌ０の参照ピクチャリストの中の予測方向Ｌ０の参照ピクチャを示す参照ピクチャインデックスＬ０、予測方向Ｌ１の参照ピクチャリストの中の予測方向Ｌ１の参照ピクチャを示す参照ピクチャインデックスＬ１、予測方向Ｌ０の動きベクトルｍｖＬ０、予測方向Ｌ１の動きベクトルｍｖＬ１を含む。ｍｖＬ０とｍｖＬ１にはそれぞれ水平方向と垂直方向の動きベクトルが含まれる。なお、Ｐｒｅｄ＿Ｌ０の場合、参照ピクチャインデックスＬ１には−１が、ｍｖＬ１には動きベクトル（０，０）が設定され、Ｐｒｅｄ＿Ｌ１の場合、参照ピクチャインデックスＬ０には−１が、ｍｖＬ０には動きベクトル（０，０）が設定されるものとする。なお、処理対象のＣＵの符号化モードとしてイントラモードが選択された場合には、参照ピクチャインデックスＬ０と参照ピクチャインデックスＬ１にはそれぞれ−１が、ｍｖＬ０とｍｖＬ１にはそれぞれ動きベクトル（０，０）が設定されるものとする。ここでは、有効ではない予測方向の参照ピクチャインデックスを−１としているが、有効ではないことがわかればこれに限定されない。

【0057】

（マージモードと差分動きベクトルモード）
次に、マージモードと差分動きベクトルモードについて説明する。マージモードは予め定められた方法で隣接する動き情報を用いて生成される動き情報候補から動き情報を選択して動き補償予測を行う。一方、差分動きベクトルモードは動き情報を新たに生成して動き補償予測を行う。そのため、一般的に、マージモードは、動き情報の伝送コストが小さく、隣接する領域と動きの相関が高い場合にはマージモードが有用となる。一方、隣接する領域と動きの相関が比較的高くない場合で動き情報の伝送コストを増やしても予測誤差を少なく伝送することのできる差分動きベクトルモードが有用となる。なお、動き情報の伝送コストを増やしても予測誤差を少なく伝送することのできない場合には符号化モードとしてイントラモードが有用となる。

【0058】

（隣接パーティション）
続いて、マージモードと差分動きベクトルモードで利用される隣接パーティションについて説明する。図７は、隣接パーティションを説明するための図である。以下、図７を用いて、隣接パーティションについて説明する。隣接パーティションは処理対象のパーティションに隣接する符号化または復号済みのパーティションであるＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、及び処理対象のパーティションの存在するピクチャとは異なるピクチャ上のパーティションで処理対象のパーティションの右下に位置するパーティションであるＴとする。隣接パーティションはそれぞれ処理対象パーティションの左上画素ａ、右上画素ｂ、左下画素ｃ、右下画素ｄに対して定められる。Ａ０は左下画素ｃの右下にある画素を含むパーティション、Ａ１は左下画素ｃの右にある画素を含むパーティション、Ｂ０は右上画素ｂの右上にある画素を含むパーティション、Ｂ１は右上画素ｂの上にある画素を含むパーティション、Ｂ２は左上画素ａの左上にある画素を含むパーティション、Ｔは右下画素ｄの右下にある画素を含むパーティションとなる。

【0059】

（マージ候補リストとマージインデックス）
マージモードでは、隣接パーティションであるＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、及びＴの動き情報から５つの動き情報候補を含むマージ候補リストが生成される。なお、マージ候補リストの生成方法については、符号化と復号において同一処理がなされ、符号化と復号において同一のマージ候補リストが生成される。符号化では、マージ候補リストから１つの動き情報候補が選択され、選択された動き情報候補のマージ候補リスト内の位置を示すマージインデックスとして符号化され、復号では、マージインデックスに基づいてマージ候補リストから動き情報候補を選択することで、符号化と復号において同一の動き情報候補が選択される。ここでは、マージ候補リストに含まれる動き情報候補の数を５としたが、１以上であればよい。

【0060】

（予測動きベクトル候補リストと予測動きベクトルインデックス）
一方、差分動きベクトルモードでは、隣接パーティションであるＡ０、Ａ１、Ｂ０、Ｂ１、Ｂ２、及びＴの動き情報から予測方向Ｌ０の２つの予測動きベクトル候補を含む予測動きベクトル候補リストＬ０が生成される。Ｂスライスであれば、さらに、予測方向Ｌ１の２つの予測動きベクトル候補を含む予測動きベクトル候補リストＬ１が生成される。なお、予測動きベクトル候補リストの生成方法については、符号化と復号において同一処理がなされ、符号化と復号において同一の予測動きベクトル候補リストが生成される。符号化では、予測動きベクトル候補リストから１つの予測動きベクトル候補が選択され、選択された予測動きベクトル候補の予測動きベクトル候補リスト内の位置を示す予測動きベクトルインデックスとして符号化され、復号では、予測動きベクトルインデックスに基づいて予測動きベクトル候補リストから予測動きベクトル候補を選択することで、符号化と復号において同一の予測動きベクトル候補が選択される。ここでは、予測動きベクトル候補リストに含まれる予測動きベクトル候補の数を２としたが、１以上であればよい。なお、符号化では、動きベクトルから選択された予測動きベクトル候補が減算された差分動きベクトルが符号化され、復号では、選択された予測動きベクトル候補と差分動きベクトルを加算して動きベクトルが再生されるため、符号化と復号において同一の動きベクトルが得られる。

【0061】

（各ＣＵサイズで利用可能とするインターモード）
続いて、各ＣＵサイズで利用可能とするインターモードを説明する。図９は、各ＣＵサイズで利用可能とするインターモードを説明するための図である。以下、図９を用いて、各ＣＵサイズ（ＣＵ Ｓｉｚe）で利用可能とするインターモード（Ｉｎｔｅｒ Ｍｏｄｅ）について説明する。図９に示されるように、ＣＵサイズが６４×６４であるＣＵでは、２Ｎ×２Ｎマージモード（ＭＥＲＧＥ ＭＯＤＥ）のみを利用可能とする。ＣＵサイズが３２×３２であるＣＵとＣＵサイズが１６×１６であるＣＵでは、２Ｎ×２Ｎマージモードと２Ｎ×Ｎ差分動きベクトルモード（ＭＶＤ ＭＯＤＥ）を利用可能とする。ＣＵサイズが８×８であるＣＵでは、２Ｎ×２Ｎマージモード、２Ｎ×Ｎマージモード、Ｎ×２Ｎマージモード、２Ｎ×２Ｎ差分動きベクトルモード、２Ｎ×Ｎ差分動きベクトルモード、及びＮ×２Ｎ差分動きベクトルモードを利用可能とする。ここで、スキップモードについて説明する。スキップモードは２Ｎ×２Ｎマージモードの特殊ケースであって、最も効率良く動き情報を伝送できるモードである。ここでは、ＣＵサイズが８×８であるＣＵでは、２Ｎ×２Ｎマージモード、２Ｎ×Ｎマージモード、Ｎ×２Ｎマージモード、２Ｎ×２Ｎ差分動きベクトルモード、２Ｎ×Ｎ差分動きベクトルモード、及びＮ×２Ｎ差分動きベクトルモードを利用可能としたが、２Ｎ×２Ｎマージモードに加えて、新たなパーティションタイプが追加されればよくこれに限定されない。例えば、２Ｎ×ＮマージモードとＮ×２Ｎマージモードが追加されてもよく、また、２Ｎ×Ｎマージモード、Ｎ×２Ｎ差分動きベクトルモードが追加されてもよい。

【0062】

（ＣＵサイズ構成の効果）
以下、各ＣＵサイズで利用可能とするインターモードを上記のように設定する効果を説明する。一般的な動画像において、大きなＣＵサイズのＣＵでインターモードが選択される場合には時空間的に隣接領域との動きの相関が高い。また、本実施の形態でのマージ候補リストには、後述する隣接パーティションより得られる動き情報候補の予測方向Ｌ０と予測方向Ｌ１の動き情報を組み合わせて生成される第１補充動き情報が追加されるため、多少の動きのずれはマージモードでも補正することができる。また、本実施の形態でのマージ候補リストには、後述する動きベクトルが（０，０）の第２補充動き情報が追加されるため、部分的な静止したような動きにもマージモードで対応できる。

【0063】

また、ＣＵサイズが大きくなれば、動き情報の伝送コストよりも予測誤差の伝送コストの方が相対的に大きくなる。そのため、最大のＣＵサイズのＣＵを分割して２番目に大きなＣＵサイズのＣＵとした場合に生じるＣＵを分割するコストと動き情報のコストの増分は、他のＣＵサイズのＣＵを分割する場合の増分と比較して相対的に最も少ない。また、最大のＣＵサイズのＣＵで利用できる直交変換の最大のサイズと２番目に大きなＣＵサイズのＣＵで利用できる直交変換の最大のサイズは等しいため、最大のＣＵサイズのＣＵと２番目に大きなＣＵサイズのＣＵにおける直交変換の効率の差がない。

【0064】

また、差分動きベクトルモードでは、新たな動き情報を生成して動き補償予測を行うため、一般的には動き検出が行われる。ところが、動き検出処理は符号化処理の中において非常に処理量が多いことが知られている。一方、マージモードでは動き検出をする必要がないため、差分動きベクトルモードよりも処理量は相対的に非常に少なくて済む。

【0065】

以上のように、最大のＣＵサイズのＣＵでは、スキップモードを兼ね備える２Ｎ×２Ｎマージモードのみを評価することで、処理量を大きく抑制しながら符号化効率の低下を最小限に抑制することができる。

【0066】

また、最小のＣＵサイズの以外のＣＵの２Ｎ×ＮやＮ×２Ｎのパーティションタイプは、そのＣＵをＣＴＢとして分割して得られる２つのＣＵの動き情報を同一にすることによって実現できる。図１０（ａ）〜（ｂ）は２Ｎ×Ｎのパーティションタイプと同一の動き情報を持つＣＴＢを説明する図である。ＣＵ−Ａは、パーティションタイプが２Ｎ×Ｎであって、パーティションＡ（ＰＡ）とパーティションＢ（ＰＢ）で構成されている。ＣＵ−ＡをＣＴＢとして分割したＣＴＢ−Ｂは、それぞれのパーティションが２Ｎ×２Ｎである４つのＣＵ（ＣＵ−０、ＣＵ−１、ＣＵ−２、ＣＵ−３）で構成されている。この場合、ＣＵ−０の動き情報を差分動きベクトルモードまたはマージモードによってＰＡと同一とし、ＣＵ−２の動き情報を差分動きベクトルモードまたはマージモードによってＰＢと同一とし、ＣＵ−１をマージモードにしてＣＵ−０の動き情報を利用し、ＣＵ−３をマージモードにしてＣＵ−２の動き情報を利用することで、ＣＵ−ＡとＣＴＢ−Ｂの動き情報を同一とすることができる。そのため、動き情報を新規に指定できる差分動きベクトルモードと動き情報の伝送コストの低いマージモードが備わることで、ＣＵをＣＴＢとして分割して２Ｎ×ＮやＮ×２Ｎのパーティションタイプを実現するためのコスト（ＣＴＢを分割する伝送コストと２つのマージモードを伝送するコスト）を小さく抑制することができる。一方、最小のＣＵサイズの以外のＣＵの２Ｎ×ＮやＮ×２ＮのパーティションタイプとそのＣＵをＣＴＢとして分割して得られる２つのＣＵの動き情報を同一にする評価の重複を削減することができる。

【0067】

また、パーティションタイプが２Ｎ×ＮやＮ×２Ｎであるパーティションのマージモードは無効な候補が多い。図１１（ａ）〜（ｂ）はパーティションタイプが２Ｎ×ＮやＮ×２Ｎである場合の隣接パーティションを説明する図である。図１１（ａ）は２Ｎ×Ｎのパーティション１の隣接パーティションを示している。この場合、隣接パーティションＢ１はマージ候補リストの生成の際に無効化されている。また、隣接パーティションＢ０は符号化または復号済みでないため隣接パーティションとはならない。図１１（ｂ）はＮ×２Ｎのパーティション１の隣接パーティションを示している。この場合、隣接パーティションＡ１はマージ候補リストの生成の際に無効化されている。また、隣接パーティションＡ０は符号化または復号済みでないため隣接パーティションとはならない。そのため、２Ｎ×ＮやＮ×２Ｎのパーティション１の隣接パーティションから得られる動き情報候補は最大でも３つとなり、２Ｎ×ＮやＮ×２Ｎのパーティション０や２Ｎ×２Ｎと比較して符号化効率が向上し難い。

【0068】

以上のように、最小のＣＵサイズの以外のＣＵで２Ｎ×ＮやＮ×２Ｎのパーティションタイプを利用しないことで、処理量を大きく抑制しながら符号化効率の低下を最小限に抑制することができる。

【0069】

また、最小のＣＵサイズのＣＵで２Ｎ×ＮやＮ×２Ｎのパーティションタイプを利用することで、細かい動きをするような動画像に対して符号化効率を向上させることができる。

【0070】

図９では、ＣＵサイズが８×８であるＣＵを利用することを前提として説明したが、例えば、画像サイズが４Ｋ２Ｋ（３８４０×２１６０）や８Ｋ４Ｋ（７６８０×４３２０）などの大画面である場合には、ハイビジョン（１９２０×１０８０）などと比較して小さなＣＵサイズを利用することは、処理量と符号化効率のバランスがよくない。そのため、画像サイズに応じて各ＣＵサイズで利用可能とするインターモードを切り替えてもよい。図１２は、各ＣＵサイズで利用可能とするインターモードの別の例を説明するための図である。例えば、画像サイズがハイビジョン以下の場合は図９を利用し、画像サイズがハイビジョンより大きい場合は図１２を利用することもできる。

【0071】

（インターモード決定部）
続いて、インターモード決定部１２０１の詳細について説明する。図１３は、インターモード決定部１２０１の構成を説明するための図である。以下、図１３を用いて、インターモード決定部１２０１の構成について説明する。インターモード決定部１２０１は、２Ｎ×２Ｎマージモード評価部１３００、スキップモード評価部１３０１、２Ｎ×２Ｎ差分動きベクトルモード評価部１３０２、２Ｎ×Ｎマージモード評価部１３０３、２Ｎ×Ｎ差分動きベクトルモード評価部１３０４、Ｎ×２Ｎマージモード評価部１３０５、Ｎ×２Ｎ差分動きベクトルモード評価部１３０６、及びインターモード選択部１３０７を含む。端子８は評価インターモード設定部１２０２に接続されている。端子９はイントラ・インターモード決定部１２０３に接続されている。

【0072】

続いて、インターモード決定部１２０１の動作と各部の機能について説明する。図１４は、インターモード決定部１２０１の動作を説明するためのフローチャートである。

【0073】

最初に、２Ｎ×２Ｎマージモード評価部１３００において２Ｎ×２Ｎマージモードが評価される（ステップＳ１３００）。そして、２Ｎ×２Ｎマージモードの評価値とマージインデックスがインターモード選択部１３０７に供給される。また、マージインデックスがスキップモード評価部１３０１に供給される。

【0074】

次に、スキップモード評価部１３０１においてスキップモードの評価値が算出される（ステップＳ１３０１）。スキップモード評価部１３０１では、２Ｎ×２Ｎマージモードとして選択されたマージインデックスがスキップモードの条件を満たしているか検査される。スキップモードの条件は、符号化する直交変換係数が０であることである。スキップモードの条件を満たしていれば、スキップモードとしてレート歪み評価方法により評価値が算出され、キップモードの条件を満たしていなければ、スキップモードが選択されないように評価値は最大値に設定される。そして、スキップモードの評価値がインターモード選択部１３０７に供給される。

【0075】

次に、ＣＵが最大のＣＵサイズであるか検査する（ステップＳ１３０２）。

【0076】

ＣＵが最大のＣＵサイズであれば（ステップＳ１３０２のＹＥＳ）、インターモード選択部１３０７においてインターモードが決定される（ステップＳ１３０９）。ここでは、２Ｎ×２Ｎマージモードの評価値とスキップモードの評価値の小さい方がインターモードとして選択される。

【0077】

ＣＵが最大のＣＵサイズでなければ（ステップＳ１３０２のＮＯ）、２Ｎ×２Ｎ差分動きベクトルモード評価部１３０２において２Ｎ×２Ｎ差分動きベクトルモードが評価される（ステップＳ１３０３）。そして、２Ｎ×２Ｎ差分動きベクトルモードの評価値と参照ピクチャインデックス、差分動きベクトル、予測動きベクトル候補インデックスがインターモード選択部１３０７に供給される。

【0078】

次に、ＣＵが最小のＣＵサイズであるか検査する（ステップＳ１３０４）。ＣＵが最小のＣＵサイズでなければ（ステップＳ１３０４のＮＯ）、インターモード選択部１３０７においてインターモードが決定される（ステップＳ１３０９）。ここでは、スキップモード、２Ｎ×２Ｎマージモード、２Ｎ×２Ｎ差分動きベクトルモードのそれぞれの評価値を比較して、最小の比較値を有するものがインターモードとして選択される。

【0079】

ＣＵが最小のＣＵサイズであれば（ステップＳ１３０４のＹＥＳ）、２Ｎ×Ｎマージモード評価部１３０３において２Ｎ×Ｎマージモードが評価される（ステップＳ１３０５）。そして、２Ｎ×Ｎマージモードの評価値とマージインデックスがインターモード選択部１３０７に供給される。

【0080】

次に、２Ｎ×Ｎ差分動きベクトルモード評価部１３０４において２Ｎ×Ｎ差分動きベクトルモードが評価される（ステップＳ１３０６）。そして、２Ｎ×Ｎ差分動きベクトルモードの評価値と参照ピクチャインデックス、差分動きベクトル、予測動きベクトル候補インデックスがインターモード選択部１３０７に供給される。

【0081】

次に、Ｎ×２Ｎマージモード評価部１３０５においてＮ×２Ｎマージモードが評価される（ステップＳ１３０７）。そして、Ｎ×２Ｎマージモードの評価値とマージインデックスがインターモード選択部１３０７に供給される。

【0082】

次に、Ｎ×２Ｎ差分動きベクトルモード評価部１３０６においてＮ×２Ｎ差分動きベクトルモードが評価される（ステップＳ１３０７）。そして、Ｎ×２Ｎ差分動きベクトルモードの評価値と参照ピクチャインデックス、差分動きベクトル、予測動きベクトル候補インデックスがインターモード選択部１３０７に供給される。

【0083】

次に、インターモード選択部１３０７においてインターモードが決定される（ステップＳ１３０９）。ここでは、スキップモード、２Ｎ×２Ｎマージモード、２Ｎ×２Ｎ差分動きベクトルモード、２Ｎ×Ｎマージモード、２Ｎ×Ｎ差分動きベクトルモード、Ｎ×２Ｎマージモード、Ｎ×２Ｎ差分動きベクトルモードのそれぞれの評価値を比較して、最小の比較値を有するものがインターモードとして選択される。

【0084】

（マージモード評価部）
続いて、マージモード評価部の詳細について説明する。マージモード評価部は２Ｎ×２Ｎマージモード評価部１３００、２Ｎ×Ｎマージモード評価部１３０３、及びＮ×２Ｎマージモード評価部１３０５についてパーティションタイプが異なること以外は共通である。

【0085】

図１５はマージモード評価部を説明する図である。マージモード評価部は、マージ候補リスト生成部１４００、マージ候補評価部１４０１、及びマージインデックス決定部１４０２で構成される。端子１０はインターモード選択部１３０７に接続されている。

【0086】

続いて、マージモード評価部の動作と各部の機能について説明する。最初に、マージ候補リスト生成部１４００は端子４より供給される隣接パーティションの動き情報からマージ候補リストを生成する。そして、マージ候補リストをマージ候補評価部１４０１に供給する。次に、マージ候補評価部１４０１はマージ候補リスト生成部１４００より供給されるマージ候補リストに含まれる全ての動き情報候補の動き情報について、端子３より供給される画像信号からレート歪み評価方法により評価値を算出する。そして、マージ候補リストに含まれる全ての動き情報候補の評価値をマージインデックス決定部１４０２に供給する。マージインデックス決定部１４０２は、マージ候補評価部１４０１より供給される評価値から、最小の評価値を持つ動き情報をマージモードの動き情報として選択し、マージインデックスを決定する。そして、マージインデックスと評価値を端子１０に供給する。

【0087】

（マージ候補リスト生成部）
続いて、マージ候補リスト生成部１４００について説明する。図１６は、マージ候補リスト生成部１４００の構成を説明するための図である。以下、図１６を用いて、マージ候補リスト生成部１４００の構成について説明する。マージ候補リスト生成部１４００は、空間マージ候補導出部１６００、時間マージ候補導出部１６０１、マージリスト生成部１６０２、第１マージ候補追加部１６０３、及び第２マージ候補追加部１６０４を含む。端子１１はマージ候補評価部１４０１に接続されている。

【0088】

以下、マージ候補リスト生成部１４００の動作について説明する。まず、空間マージ候補導出部１６００は、隣接パーティションＡ１、Ｂ１、Ｂ０、Ａ１、Ｂ２の順に、隣接パーティションの動き情報が無効であるか検査される。ここで、無効であるとは、以下の条件のいずれかに該当することである。（１）隣接パーティションが画像領域外である。（２）イントラモードである。（３）パーティションタイプが２Ｎ×Ｎのパーティション１で隣接パーティションがＢ１である。（４）パーティションタイプがＮ×２Ｎのパーティション１で隣接パーティションがＡ１である。そして、最大で４つの無効でない隣接パーティションの動き情報を空間マージ候補とする。次に、時間マージ候補導出部１６０１は、隣接パーティションＴの動き情報が有効であるか検査し、隣接パーティションＴの動き情報が有効であれば、隣接パーティションＴの動き情報を時間マージ候補とする。次に、マージリスト生成部１６０２は、空間マージ候補と時間マージ候補からマージ候補リストを生成する。次に、マージ候補リスト生成部１４００は、マージ候補リスト内の動き情報候補の数が５であるか検査し、マージ候補リスト内の動き情報候補の数が５であれば、マージ候補リストの生成は終了する。マージ候補リスト内の動き情報候補の数が５でなければ、以降のマージ候補リストの生成が継続される。次に、第１マージ候補追加部１６０３は、Ｂスライスであって、マージ候補リスト内の動き情報候補の数が２つ以上あれば、マージ候補リスト内の第１の動き情報候補のＰｒｅｄ＿Ｌ０と第２の動き情報のＰｒｅｄ＿Ｌ１を組み合わせて、新たな双予測の第１補充動き情報を生成し、第１補充動き情報をマージ候補としてマージ候補リスト内に追加する。ここで、第１の動き情報候補と第２の動き情報候補はマージ候補リスト内の別の動き情報候補であれば、マージ候補リスト内の動き情報候補の数が５に達するまで第１補充動き情報を生成して追加する。次に、第２マージ候補追加部１６０４は、マージ候補リスト内の動き情報候補の数が５になるまで動きベクトルが（０，０）を持つ第２補充動き情報を生成し、第２補充動き情報をマージ候補としてマージ候補リストに追加する。

【0089】

ここで、マージ候補リストについて説明する。図８はマージ候補リストの一例について説明する図である。図８に示されるマージ候補リストでは、マージインデックス（Ｍｅｒｇｅ Ｉｎｄｅｘ）の０と１の２つの動き情報（Ｍｏｔｉｏｎ Ｉｎｆｏ）が隣接パーティションの動き情報である。マージインデックスの２と３の動き情報が第１補充動き情報である。マージインデックス２の第１補充動き情報はマージインデックス０の予測方向Ｌ０の動き情報とマージインデックス１の予測方向Ｌ１の動き情報が組み合わされて生成される。マージインデックス３の第１補充動き情報はマージインデックス１の予測方向Ｌ０の動き情報とマージインデックス０の予測方向Ｌ１の動き情報が組み合わされて生成される。マージインデックスの４の動き情報が、第２補充動き情報である。

【0090】

（差分動きベクトルモード評価部）
続いて、差分動きベクトルモード評価の詳細について説明する。差分動きベクトルモード評価は２Ｎ×２Ｎ差分動きベクトルモード評価部１３０２、２Ｎ×Ｎ差分動きベクトルモード評価部１３０４、Ｎ×２Ｎ差分動きベクトルモード評価部１３０６についてパーティションタイプが異なること以外は共通である。

【0091】

まず、Ｐｒｅｄ＿Ｌ０について、動きベクトル検出が行われる。動きベクトル検出は、Ｐｒｅｄ＿Ｌ０の参照ピクチャリストＬ０に含まれる参照ピクチャに対して、予測誤差と参照ピクチャインデックス、差分動きベクトル、予測動きベクトル候補インデックスの見積もり符号量から評価値が算出され、評価値が最小となる差分動きベクトルｍｖｄＬ０、予測動きベクトル候補インデックスｍｖｐＬ０、及び参照ピクチャインデックスｒｅｆＩｄｘＬ０の組み合わせが決定される。ここでは、動きベクトル検出の評価値はマージモード評価部と同じレート歪み評価方法により算出する。ただし、最終的な評価値がマージモード評価部と同じであればよい。例えば、動きベクトル検出ではより簡単に画素毎の差分絶対値の総和ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）や、画素毎の二乗誤差値の総和ＳＳＥ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅ Ｅｒｒｏｒ）等を利用して、決定した動きベクトルに対してレート歪み評価値を算出するなどでもよい。Ｐスライスの場合は、Ｐｒｅｄ＿Ｌ０が２Ｎ×２Ｎ差分動きベクトルモードのインター予測モードとして選択される。なお、動きベクトルは予測動きベクトル候補インデックスで示される予測動きベクトル候補リスト中の予測動きベクトルと差分動きベクトルを加算することで得られる。

【0092】

Ｂスライスの場合には、Ｐｒｅｄ＿Ｌ１についても、同様に差分動きベクトルｍｖｐＬ１、予測動きベクトル候補インデックスｍｖｐＬ１、及び参照ピクチャインデックスｒｅｆＩｄｘＬ１の組み合わせが決定されて評価値が得られる。また、Ｐｒｅｄ＿ＢＩについて、ｍｖＬ０、ｍｖｐＬ０、ｒｅｆＩｄｘＬ０、ｍｖＬ１、ｍｖｐＬ１、ｒｅｆＩｄｘＬ１の組み合わせによって評価値が算出される。そして、Ｐｒｅｄ＿Ｌ０、Ｐｒｅｄ＿Ｌ１、またはＰｒｅｄ＿ＢＩの中から最小の評価値となるインター予測モードが２Ｎ×２Ｎ差分動きベクトルモードとして選択される。

【0093】

（シンタックス）
続いて、本実施の形態で利用するシンタックスの一部について説明する。シンタックスは符号化及び復号において利用される。符号化ではシンタックスに従ってシンタックス要素を符号列に変換し、復号では、符号列をシンタックス要素に復号する。したがって、符号化と復号において共通規則を定めておくことで符号化の意図したシンタックス要素を復号において再現することができる。シンタックス要素の符号化及び復号はエントロピー符号化及びエントロピー復号によって行われ、算術符号化やハフマン符号化などの可変長符号化を含む方法によって実施される。

【0094】

図１７（ａ）〜（ｂ）と図１８は、シンタックスを説明するための図である。以下、図１７と図１８を用いて、シンタックスについて説明する。図１７（ａ）はＣＴＢの構造を示す。ＣＴＢには、分割回数に応じて必要となる分割フラグであるｓｐｌｉｔ＿ｆｌａｇが含まれ、ｓｐｌｉｔ＿ｆｌａｇが１であれば４つのＣＴＢに分割され、ｓｐｌｉｔ＿ｆｌａｇが１でなければＣＵとなる。ｓｐｌｉｔ＿ｆｌａｇは０または１の符号列である。

【0095】

図１７（ｂ）はＣＵの構造を示す。ＣＵには、ｓｋｉｐ＿ｆｌａｇ（スキップフラグ）を含まれる。ｓｋｉｐ＿ｆｌａｇが１であれば、ＰＵが１つ含まれ、スキップフラグが１でなければ、符号化モードであるｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇ、パーティションタイプであるｐａｒｔ＿ｍｏｄｅが含まれる。さらに、ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが１であれば、イントラモードに関する情報（ｍｐｍ＿ｉｄｘなど）が含まれ、ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇが１でなければ、パーティションタイプに応じた数のＰＵが含まれる。ｓｋｉｐ＿ｆｌａｇ、ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇは０または１の符号列である。ｐａｒｔ＿ｍｏｄｅには、２Ｎ×２Ｎが０、２Ｎ×Ｎが１、Ｎ×２Ｎが２としてＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列が割り当てられる。

【0096】

図１８はＰＵの構造を示す。ＰＵには、ｓｋｉｐ＿ｆｌａｇが１であれば、ｍｅｒｇｅ＿ｉｄｘのみが含まれる。ｓｋｉｐ＿ｆｌａｇが１でなければ、インター予測モードがマージモードであることを示すフラグであるｍｅｒｇｅ＿ｆｌａｇ（マージフラグ）が含まれる。ｍｅｒｇｅ＿ｆｌａｇが１であれば、ｍｅｒｇｅ＿ｉｄｘが含まれる。ｍｅｒｇｅ＿ｆｌａｇが１でなければ、インター予測タイプであるｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅが含まれ、ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅがＰｒｅｄ＿Ｌ１でなければ、さらに、参照ピクチャインデックスＬ０であるｒｅｆ＿ｉｄｘ＿ｌ０、予測方向Ｌ０の差分動きベクトルであるｍｖｄ＿ｌ０（ｘ，ｙ）、予測方向Ｌ０の予測動きベクトルフラグであるｍｖｐ＿ｌ０＿ｆｌａｇが含まれる。ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅがＰｒｅｄ＿Ｌ０でなければ、さらに、参照ピクチャインデックスＬ１であるｒｅｆ＿ｉｄｘ＿ｌ１、予測方向Ｌ１の差分動きベクトルであるｍｖｄ＿ｌ１（ｘ，ｙ）、予測方向Ｌ１の予測動きベクトルフラグであるｍｖｐ＿ｌ１＿ｆｌａｇが含まれる。ｍｅｒｇｅ＿ｆｌａｇ、ｍｖｐ＿ｌ０＿ｆｌａｇ、ｍｖｐ＿ｌ１＿ｆｌａｇは０または１の符号列である。ｍｅｒｇｅ＿ｉｄｘ、ｒｅｆ＿ｉｄｘ＿ｌ０、ｒｅｆ＿ｉｄｘ＿ｌ１にはＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列が割り当てられる。ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅには、Ｐｒｅｄ＿ＢＩが０、Ｐｒｅｄ＿Ｌ０が１、Ｐｒｅｄ＿Ｌ１が２としてＴｒｕｎｃａｔｅｄ Ｕｎａｒｙ符号列が割り当てられる。

【0097】

なお、マージモードに関係するシンタックスは、ｓｋｉｐ＿ｆｌａｇ、ｍｅｒｇｅ＿ｆｌａｇ、及びｍｅｒｇｅ＿ｉｄｘである。一方、差分動きベクトルモードに関係するシンタックスは、ｓｋｉｐ＿ｆｌａｇ、ｍｅｒｇｅ＿ｆｌａｇ、ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅ、ｒｅｆ＿ｉｄｘ＿ｌ０、ｍｖｄ＿ｌ０（ｘ，ｙ）、ｍｖｐ＿ｌ０＿ｆｌａｇ、ｒｅｆ＿ｉｄｘ＿ｌ１、ｍｖｄ＿ｌ１（ｘ，ｙ）、ｍｖｐ＿ｌ１＿ｆｌａｇである。

【0098】

（ブロックサイズ情報符号化部）
ブロックサイズ情報符号化部１１１０は、ｓｐｌｉｔ＿ｆｌａｇ、パーティションタイプをシンタックスに従って符号化する。

【0099】

（符号化モード符号化部）
符号化モード符号化部１１１１は、ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇをシンタックスに従って符号化する。

【0100】

（インターモード符号化部）
インターモード符号化部１１１２は、ｓｋｉｐ＿ｆｌａｇ、ｍｅｒｇｅ＿ｆｌａｇ、ｍｅｒｇｅ＿ｉｄｘ、ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅ、ｒｅｆ＿ｉｄｘ＿ｌ０、ｍｖｄ＿ｌ０（ｘ，ｙ）、ｍｖｐ＿ｌ０＿ｆｌａｇ、ｒｅｆ＿ｉｄｘ＿ｌ１、ｍｖｄ＿ｌ１（ｘ，ｙ）、ｍｖｐ＿ｌ１＿ｆｌａｇをシンタックスに従って符号化する。

【0101】

（動画像復号装置２００の構成）
次に、実施の形態１の動画像復号装置を説明する。図１９は、実施の形態１に係る動画像復号装置２００の構成を示す図である。動画像復号装置２００は、動画像符号化装置１００により符号化された符号列を復号して再生画像を生成する装置である。

【0102】

動画像復号装置２００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、フレームメモリ、ハードディスクなどを備える情報処理装置などのハードウェアにより実現される。動画像復号装置２００は、上記の構成要素が動作することにより、以下に説明する機能的な構成要素を実現する。

【0103】

実施の形態１の動画像復号装置２００は、符号列解析部２０１、予測誤差復号部２０２、加算部２０３、動き情報再生部２０４、動き補償部２０５、フレームメモリ２０６、動き情報メモリ２０７、及びイントラ予測部２０８を備える。

【0104】

（動画像復号装置２００の動作）
以下、各部の機能と動作について説明する。符号列解析部２０１は、端子３０より供給された符号列を解析して、分割フラグ、スキップフラグ、符号化モード、パーティションタイプ、イントラモードに関する情報、マージフラグ、マージインデックス、インター予測タイプ、参照ピクチャインデックス、差分動きベクトル、予測動きベクトルインデックス、及び予測誤差符号化データなどをシンタックスに従ってエントロピー復号する。そして、分割フラグとパーティションタイプによって処理対象のパーティションのサイズを得る。そして、予測誤差符号化データを予測誤差復号部２０２に、マージフラグ、マージインデックス、インター予測タイプ、参照ピクチャインデックス、差分動きベクトル、及び予測動きベクトルインデックスを動き情報再生部２０４に、イントラモードに関する情報をイントラ予測部２０８に供給する。符号列解析部２０１の詳細な構成については後述する。

【0105】

また、符号列解析部２０１は、ＳＰＳ、ＰＰＳ、やスライスヘッダに含まれるシンタックス要素を必要に応じて符号化ストリームから復号する。なお、最大のＣＴＢの大きさや最小のＣＴＢの大きさはＳＰＳから復号される。

【0106】

動き情報再生部２０４は、符号列解析部２０１より供給されるマージフラグ、マージインデックス、インター予測タイプ、参照ピクチャインデックス、差分動きベクトル、及び予測動きベクトルインデックスと、動き情報メモリ２０７より供給される隣接パーティションの動き情報から、処理対象のパーティションの動き情報を再生し、動き情報を動き補償部２０５および動き情報メモリ２０７に供給する。動き情報再生部２０４の詳細な構成については後述する。

【0107】

動き補償部２０５は、動き情報再生部２０４より供給される動き情報に基づいて、フレームメモリ２０６内の参照ピクチャインデックスが示す参照画像を、動きベクトルに基づき動き補償して予測信号を生成する。インター予測タイプがＰｒｅｄ＿ＢＩであれば、Ｌ０予測とＬ１予測の予測信号を平均したものを予測信号として生成する。そして、予測信号を加算部２０３に供給する。動きベクトルの導出については後述する。

【0108】

イントラ予測部２０８は、動き情報再生部２０４より供給されるイントラモードに関する情報に基づいて、予測信号を生成する。そして、予測信号を加算部２０３に供給する。

【0109】

予測誤差復号部２０２は、符号列解析部２０１より供給される予測誤差符号化データに対して、逆量子化や逆直交変換などの処理を行って予測誤差信号を生成し、予測誤差信号を加算部２０３に供給する。

【0110】

加算部２０３は、予測誤差復号部２０２より供給される予測誤差信号と、動き補償部２０５またはイントラ予測部２０８より供給される予測信号とを加算して復号画像信号を生成し、復号画像信号をフレームメモリ２０６および端子３１に供給する。

【0111】

フレームメモリ２０６は、加算部２０３より供給される復号画像信号を記憶する。動き情報メモリ２０７は、動き情報再生部２０４より供給される動き情報を最小の予測ブロックサイズ単位で記憶する。

【0112】

（符号列解析部の詳細な構成）
符号列解析部２０１は、ブロックサイズ情報復号部２１１０、符号化モード復号部２１１１、及びインターモード復号部２１１２を含む。

【0113】

（ブロックサイズ情報復号部）
ブロックサイズ情報復号部２１１０は、ｓｐｌｉｔ＿ｆｌａｇ、パーティションタイプをシンタックスに従って復号する。

【0114】

（符号化モード復号部）
符号化モード復号部２１１１は、ｐｒｅｄ＿ｍｏｄｅ＿ｆｌａｇをシンタックスに従って復号する。

【0115】

（インターモード復号部）
インターモード復号部２１１２は、ｓｋｉｐ＿ｆｌａｇ、ｍｅｒｇｅ＿ｆｌａｇ、ｍｅｒｇｅ＿ｉｄｘ、ｉｎｔｅｒ＿ｐｒｅｄ＿ｔｙｐｅ、ｒｅｆ＿ｉｄｘ＿ｌ０、ｍｖｄ＿ｌ０（ｘ，ｙ）、ｍｖｐ＿ｌ０＿ｆｌａｇ、ｒｅｆ＿ｉｄｘ＿ｌ１、ｍｖｄ＿ｌ１（ｘ，ｙ）、ｍｖｐ＿ｌ１＿ｆｌａｇをシンタックスに従って復号する。

【0116】

（動き情報再生部２０４の詳細な構成）
続いて、動き情報再生部２０４の詳細な構成について説明する。図２０は、動き情報再生部２０４の構成を示す。動き情報再生部２０４は、インター予測モード判定部２１０、差分動きベクトルモード再生部２１１およびマージモード再生部２１２を含む。端子３２は符号列解析部２０１に、端子３３は動き情報メモリ２０７に、端子３４は動き補償部２０５に、端子３６は動き情報メモリ２０７にそれぞれ接続されている。

【0117】

（動き情報再生部２０４の詳細な動作）
以下、各部の機能と動作について説明する。インター予測モード判定部２１０は、符号列解析部２０１より供給されるマージフラグが「０」であるか「１」であるか判定する。マージフラグが「０」であれば、符号列解析部２０１より供給されるインター予測タイプ、参照ピクチャインデックス、差分動きベクトル、及び予測動きベクトルインデックスを差分動きベクトルモード再生部２１１に供給する。マージフラグが「１」であれば、符号列解析部２０１より供給されるマージインデックスをマージモード再生部２１２に供給する。

【0118】

差分動きベクトルモード再生部２１１は、インター予測モード判定部２１０より供給されるインター予測タイプ及び参照ピクチャインデックスと、端子３３より供給される隣接パーティションの動き情報から、予測動きベクトル候補リストを生成し、予測動きベクトル候補リストからインター予測モード判定部２１０より供給される予測動きベクトルインデックスによって示される予測動きベクトルを選択して、予測動きベクトルとインター予測モード判定部２１０より供給される差分動きベクトルを加算して動きベクトルを再生して動き情報を生成し、端子３４及び端子３６に供給する。

【0119】

マージモード再生部２１２は、端子３３より供給される隣接パーティションの動き情報からマージ候補リストを生成し、マージ候補リストからインター予測モード判定部２１０より供給されるマージインデックスによって示される動き情報を選択して端子３４及び端子３６に供給する。

【0120】

（マージモード再生部２１２の詳細な構成）
続いて、マージモード再生部２１２の詳細な構成について図２０を用いて説明する。マージモード再生部２１２は、マージ候補リスト生成部２１３及び動き情報選択部２１４を含む。端子３５はインター予測モード判定部２１０に接続されている。

【0121】

以下、各部の機能と動作について説明する。マージ候補リスト生成部２１３は動画像符号化装置１００のマージ候補リスト生成部１４００と同一の機能を有し、マージ候補リスト生成部１４００と同一の動作によってマージ候補リストを生成し、マージ候補リストを動き情報選択部２１４に供給する。

【0122】

動き情報選択部２１４は、マージ候補リスト生成部２１３より供給されるマージ候補リストの中から、端子３５より供給されるマージインデックスで示される動き情報を選択し、動き情報を端子３４及び端子３６に供給する。

【0123】

以上のように、動画像復号装置２００は、動画像符号化装置１００により符号化された符号列を復号して再生画像を生成することができる。

【0124】

［実施の形態２］
以下、実施の形態２について説明する。実施の形態１とは各ＣＵサイズで利用可能とするインターモードが異なる。以下、実施の形態２の各ＣＵサイズで利用可能とするインターモードについて説明する。図２１は、実施の形態２の各ＣＵサイズで利用可能とするインターモードを説明するための図である。以下、図２１を用いて、各ＣＵサイズで利用可能とするインターモードについて説明する。実施の形態１とは、最大のＣＵサイズである６４×６４ＣＵで、２Ｎ×２Ｎ差分動きベクトルモードを利用可能とする点が異なる。

【0125】

この場合、最大のＣＵサイズであるＣＵの２Ｎ×２Ｎ差分動きベクトルモード評価部は、最大のＣＵサイズでないＣＵの２Ｎ×２Ｎ差分動きベクトルモード評価部と比較して、処理量を大幅に削減したものとする。例えば、所定数の探索点のみを動き検出するようにする。より具体的には、予測動きベクトル候補リストに含まれる予測動きベクトルで示される点だけの予測誤差を算出し、その他の点については動きを探索しないようにする。以上のように、最大のＣＵサイズであるＣＵの２Ｎ×２Ｎ差分動きベクトルモード評価部を、最大のＣＵサイズでないＣＵの２Ｎ×２Ｎ差分動きベクトルモード評価部よりも簡易的な動き検出として、最大のＣＵサイズであるＣＵの２Ｎ×２Ｎ差分動きベクトルモードを利用可能とすることで、処理量を大きく抑制しながら符号化効率の低下を最小限に抑制することができる。

【0126】

［実施の形態３］
以下、実施の形態３について説明する。実施の形態１とは各ＣＵサイズで利用可能とするインターモードが異なる。以下、実施の形態３の各ＣＵサイズで利用可能とするインターモードについて説明する。図２２は、実施の形態３の各ＣＵサイズで利用可能とするインターモードを説明するための図である。以下、図２２を用いて、各ＣＵサイズで利用可能とするインターモードについて説明する。実施の形態１とは、最小のＣＵサイズである８×８ＣＵで、２Ｎ×Ｎ差分動きベクトルモードとＮ×２Ｎ差分動きベクトルモードを利用不能とする点が異なる。また、図２２が適用されるスライスタイプが双予測の動き補償予測が行えないＰスライスであるとする。なお、スライスタイプが双予測の動き補償予測が行えるＢスライスであれば、図９が適用される。

【0127】

ここで、Ｐｒｅｄ＿ＢＩの双予測の動き補償予測が行えるＢピクチャ（Ｂスライス）については、パーティションタイプが２Ｎ×２Ｎである場合でも、疑似的に２つのパーティションに分割し、パーティション０はＰｒｅｄ＿Ｌ０を優先して、パーティション１はＰｒｅｄ＿Ｌ１を優先してそれぞれ動き情報を生成して評価値を合成することで、ある程度２Ｎ×ＮやＮ×２Ｎの効果を得ることができる。評価値の構成について説明する。図２６（ａ）〜（ｂ）はパーティション０とパーティション１の評価値を合成について説明する図である。図２６（ａ）〜（ｂ）は２Ｎ×Ｎの評価について説明する。図２６（ａ）のように、Ｐｒｅｄ＿Ｌ０の評価を行う場合には、パーティションタイプが２Ｎ×２Ｎのパーティションを疑似的に２Ｎ×Ｎとして２つのパーティションａとパーティションｂに分割し、図２６（ｂ）のように、Ｐｒｅｄ＿Ｌ１の評価を行う場合には、パーティションタイプが２Ｎ×２Ｎのパーティションを疑似的に２Ｎ×Ｎとして２つのパーティションｃとパーティションｄに分割し、式（１）のＤを次式により算出する。

【0128】

D={k(a)×SSD(a)＋k(b)×SSD(b)＋k(c)×SSD(c)＋k(d)×SSD(d)}/2; （式２）

【0129】

ここでは、k(a)>k(b)、k(c)<k(d)、k(a)+k(b)=1、k(c)+(kd)=1の関係が成立する。

【0130】

そのため、双予測の動き補償予測が行えないＰスライスの場合には、最小のＣＵサイズのＣＵにおいても２Ｎ×ＮやＮ×２Ｎのパーティションタイプを利用し、Ｂスライスの場合には、最小のＣＵサイズのＣＵでも２Ｎ×ＮやＮ×２Ｎのパーティションタイプを利用しないようにする。

【0131】

ここでは、スライスタイプに応じて最小のＣＵサイズにおけるパーティションタイプの利用方法について説明したが、これに限定されない。双予測の動き補償予測が行うことのできるスライスタイプにおいて利用可能なパーティションタイプの数を、双予測の動き補償予測が行うことのできないスライスタイプにおいて利用可能なパーティションタイプの数よりも少なく設定することができればよい。

【0132】

以上のようにすることで、処理量を大きく抑制しながら符号化効率の低下を最小限に抑制することができる。また、ＰスライスとＢスライスの処理負荷を平滑化することもでき、ＰスライスとＢスライスの両方に対応した動画像符号化または動画像復号の規模を抑制することができる。

【0133】

［実施の形態４］
以下、実施の形態４について説明する。実施の形態３とは復号情報記憶部１００２の動作が異なる。以下、実施の形態４の復号情報記憶部１００２の実施の形態３とは異なる動作について説明する。また、図２２が適用されるスライスタイプは双予測の動き補償予測が行えないＰスライスに限定されず、双予測の動き補償予測が行えるＢスライスにも適用される。

【0134】

復号情報記憶部１００２では、参照ピクチャとなる動き情報を記憶する際に、動き情報の記憶容量の削減のために、動き情報が最小のＣＵである８×８よりも大きな１６×１６のブロックサイズの代表値に置き換えられる。図２３（ａ）〜（ｂ）は、動き情報が１６×１６のブロックサイズの代表値に置き換えられる様子を説明するための図である。図２３（ａ）〜（ｂ）では、１６×１６ＣＴＢが８個のパーティションに分割されており、それぞれのパーティションが動きベクトルｍｖ０から動きベクトルｍｖ７を有する様子を示す。そして、それら８つの動きベクトルが１つの代表値であるＭＶに置き換えられる。ここでは、ＭＶは１６×１６のブロックサイズの左上の動きベクトルであるｍｖ０に置き換えられるとする。

【0135】

このような場合、１６×１６ＣＴＢ内の８×８ＣＵの隣接パーティションＴの動き情報は、同一となる。そのため、８×８ＣＵよりも大きなＣＵと比較して８×８ＣＵは相対的に符号化効率が向上しない。

【0136】

以上のように、参照ピクチャとなる動き情報を記憶する際に、動き情報が最小のＣＵである８×８よりも大きな１６×１６のブロックサイズの代表値に置き換えられるような場合、最小のＣＵサイズのＣＵでも２Ｎ×ＮやＮ×２Ｎのパーティションタイプを利用しないようにすることで、処理量を大きく抑制しながら符号化効率の低下を最小限に抑制することができる。

【0137】

［実施の形態５］
以下、実施の形態５について説明する。実施の形態１とは各ＣＵサイズで利用可能とするインターモードが異なる。以下、実施の形態５の各ＣＵサイズで利用可能とするインターモードについて説明する。図２４（ａ）〜（ｄ）は、実施の形態５の新たなパーティションタイプを説明する図である。図２４（ａ）から図２４（ｄ）はそれぞれ垂直方向に１：３で分割されたパーティションタイプ、垂直方向に３：１で分割されたパーティションタイプ、水平方向に１：３で分割されたパーティションタイプ、水平方向に３：１で分割されたパーティションタイプであることを示す。図２５は、実施の形態５の各ＣＵサイズで利用可能とするインターモードを説明するための図である。以下、図２５を用いて、各ＣＵサイズで利用可能とするインターモードについて説明する。実施の形態１とは、最小のＣＵサイズでないＣＵにおいて、２Ｎ×ｎＵマージモード、２Ｎ×ｎＤマージモード、ｎＬ×２Ｎマージモード、ｎＲ×２Ｎマージモード、２Ｎ×ｎＵ差分動きベクトルモード、２Ｎ×ｎＤ差分動きベクトルモード、ｎＬ×２Ｎ差分動きベクトルモード、ｎＲ×２Ｎ差分動きベクトルモードを利用可能とする点が異なる。

【0138】

以上のように、最小のＣＵサイズ以外のＣＵでは、そのＣＵをＣＴＢとして分割して得られる２つのＣＵの動き情報を同一にすることによって実現できる２Ｎ×ＮやＮ×２Ｎのパーティションタイプを利用せず、ＣＵを２等分割ではない形状で分割するパーティションタイプを利用することで、所定のＣＵとそのＣＵがＣＴＢとして分割されたＣＵの動き情報生成に要する重複処理を抑制し（図１０（ａ）〜（ｂ）にて説明した内容）、符号化効率を向上させることができる。

【0139】

以上述べたように、実施の形態１〜５によれば、処理対象予測ブロックに隣接する処理済みのブロックが有する動きベクトルを処理対象予測ブロックの動きベクトルとして利用しながら、従来の差分動きベクトルを伝送する手法を組み合わせた場合において、処理量と符号化効率のバランス（トレードオフ）を効率良く実現することができる。

【0140】

以上述べた実施の形態の動画像符号化装置が出力する動画像の符号化ストリームは、実施の形態で用いられた符号化方法に応じて復号することができるように特定のデータフォーマットを有しており、動画像符号化装置に対応する動画像復号装置がこの特定のデータフォーマットの符号化ストリームを復号することができる。

【0141】

動画像符号化装置と動画像復号装置の間で符号化ストリームをやりとりするために、有線または無線のネットワークが用いられる場合、符号化ストリームを通信路の伝送形態に適したデータ形式に変換して伝送してもよい。その場合、動画像符号化装置が出力する符号化ストリームを通信路の伝送形態に適したデータ形式の符号化データに変換してネットワークに送信する動画像送信装置と、ネットワークから符号化データを受信して符号化ストリームに復元して動画像復号装置に供給する動画像受信装置とが設けられる。

【0142】

動画像送信装置は、動画像符号化装置が出力する符号化ストリームをバッファするメモリと、符号化ストリームをパケット化するパケット処理部と、パケット化された符号化データをネットワークを介して送信する送信部とを含む。動画像受信装置は、パケット化された符号化データをネットワークを介して受信する受信部と、受信された符号化データをバッファするメモリと、符号化データをパケット処理して符号化ストリームを生成し、動画像復号装置に提供するパケット処理部とを含む。

【0143】

以上の符号化及び復号に関する処理は、ハードウェアを用いた伝送、蓄積、受信装置として実現することができるのは勿論のこと、ＲＯＭ（リード・オンリ・メモリ）やフラッシュメモリ等に記憶されているファームウェアや、コンピュータ等のソフトウェアによっても実現することができる。そのファームウェアプログラム、ソフトウェアプログラムをコンピュータ等で読み取り可能な記録媒体に記録して提供することも、有線あるいは無線のネットワークを通してサーバから提供することも、地上波あるいは衛星ディジタル放送のデータ放送として提供することも可能である。

【0144】

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

【符号の説明】

【0145】

１００ 動画像符号化装置、 ２００ 動画像復号装置、 ２０１ 符号列解析部、 ２０２ 予測誤差復号部、 ２０３ 加算部、 ２０４ 動き情報再生部、 ２０５ 動き補償部、 ２０６ フレームメモリ、 ２０７ 動き情報メモリ、 ２０８ イントラ予測部、 ２１０ インター予測モード判定部、 ２１１ 差分動きベクトルモード再生部、 ２１２ マージモード再生部、 ２１３ マージ候補リスト生成部、 ２１４ 動き情報選択部、 １０００ ＬＣＴＢ画像データ取得部、 １００１ ＬＣＴＢ符号列生成部、 １００２ 復号情報記憶部、 １００３ ストリーム多重部、 １１００ ６４×６４ＣＵ評価部、 １１０１ ３２×３２ＣＵ評価部、 １１０２ １６×１６ＣＵ評価部、 １１０３ ８×８ＣＵ評価部、 １１０４ １６×１６ＣＴＢモード決定部、 １１０５ ３２×３２ＣＴＢモード決定部、 １１０６ ６４×６４ＣＴＢモード決定部、 １１０７ ＣＴＢ符号化部、 １１１０ ブロックサイズ情報符号化部、 １１１１ 符号化モード符号化部、 １１１２ インターモード符号化部、 １２００ イントラモード決定部、 １２０１ インターモード決定部、 １２０２ 評価インターモード設定部、 １２０３ イントラ・インターモード決定部、 １３００ ２Ｎ×２Ｎマージモード評価部、 １３０１ スキップモード評価部、 １３０２ ２Ｎ×２Ｎ差分動きベクトルモード評価部、 １３０３ ２Ｎ×Ｎマージモード評価部、 １３０４ ２Ｎ×Ｎ差分動きベクトルモード評価部、 １３０５ Ｎ×２Ｎマージモード評価部、 １３０６ Ｎ×２Ｎ差分動きベクトルモード評価部、 １３０７ インターモード選択部、 １４００ マージ候補リスト生成部、 １４０１ マージ候補評価部、 １４０２ マージインデックス決定部、 １６００ 空間マージ候補導出部、 １６０１ 時間マージ候補導出部、 １６０２ マージリスト生成部、 １６０３ 第１マージ候補追加部、 １６０４ 第２マージ候補追加部、 ２１１０ ブロックサイズ情報復号部、 ２１１１ 符号化モード復号部、 ２１１２ インターモード復号部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】