特許 6183502 映像復号装置、映像復号方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6183502

(24)【登録日】2017年8月4日

(45)【発行日】2017年8月23日

(54)【発明の名称】映像復号装置、映像復号方法及びプログラム

(51)【国際特許分類】

   H04N 19/70 20140101AFI20170814BHJP

【ＦＩ】

   H04N19/70

【請求項の数】3

【全頁数】24

(21)【出願番号】特願2016-119771(P2016-119771)

(22)【出願日】2016年6月16日

(62)【分割の表示】特願2015-205316(P2015-205316)の分割

【原出願日】2011年11月22日

(65)【公開番号】特開2016-187207(P2016-187207A)

(43)【公開日】2016年10月27日

【審査請求日】2016年6月16日

(31)【優先権主張番号】特願2010-264320(P2010-264320)

(32)【優先日】2010年11月26日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2011-26331(P2011-26331)

(32)【優先日】2011年2月9日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】蝶野 慶一

(72)【発明者】

【氏名】仙田 裕三

(72)【発明者】

【氏名】田治米 純二

(72)【発明者】

【氏名】青木 啓史

(72)【発明者】

【氏名】先崎 健太

【審査官】 坂東 大五郎

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

ビットストリームからＰＣＭブロックサイズ情報を抽出し、
前記ＰＣＭブロックサイズ情報に基づいて、ＰＣＭヘッダを解読するＰＣＭブロックサイズの最小値を決定し、
前記ＰＣＭブロックサイズの最小値以上のブロックでＰＣＭヘッダをビットストリームから解読し、
前記ＰＣＭヘッダに基づいて、エントロピー復号処理及びＰＣＭ復号処理を制御し、
前記エントロピー復号処理を制御する場合に、ビットストリームに含まれる画像の変換データを解読し、
前記ＰＣＭ復号処理を制御する場合に、ビットストリームをバイトアラインし、ビットストリームに含まれる画像のＰＣＭデータをＰＣＭ復号する
ことを特徴とする映像復号方法。

【請求項2】

ビットストリームからＰＣＭブロックサイズ情報を抽出する抽出手段と、
前記ＰＣＭブロックサイズ情報に基づいて、ＰＣＭヘッダを解読するＰＣＭブロックサイズの最小値を決定するＰＣＭブロックサイズ決定手段と、
前記ＰＣＭブロックサイズの最小値以上のブロックでＰＣＭヘッダをビットストリームから解読するＰＣＭヘッダ読み出し手段と、
前記ＰＣＭヘッダに基づいて、エントロピー復号処理及びＰＣＭ復号処理を制御する復号制御手段と、
前記エントロピー復号処理を制御する場合に、ビットストリームに含まれる画像の変換データを解読するエントロピー復号手段と、
前記ＰＣＭ復号処理を制御する場合に、ビットストリームをバイトアラインし、ビットストリームに含まれる画像のＰＣＭデータをＰＣＭ復号するＰＣＭ復号手段とを備える
ことを特徴とする映像復号装置。

【請求項3】

コンピュータに、
ビットストリームからＰＣＭブロックサイズ情報を抽出する抽出処理と、
前記ＰＣＭブロックサイズ情報に基づいて、ＰＣＭヘッダを解読するＰＣＭブロックサイズの最小値を決定するＰＣＭブロックサイズ決定処理と、
前記ＰＣＭブロックサイズの最小値以上のブロックでＰＣＭヘッダをビットストリームから解読するＰＣＭヘッダ読み出し処理と、
前記ＰＣＭヘッダに基づいて、エントロピー復号処理及びＰＣＭ復号処理を制御する復号制御処理とを実行させ、
前記エントロピー復号処理を制御する場合に、ビットストリームに含まれる画像の変換データを解読するエントロピー復号処理を実行させ、
前記ＰＣＭ復号処理を制御する場合に、ビットストリームをバイトアラインし、ビットストリームに含まれる画像のＰＣＭデータをＰＣＭ復号するＰＣＭ復号処理を実行させる
ための映像復号プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ＰＣＭ符号化を用いる映像復号装置に関する。

【背景技術】

【0002】

特許文献１では、映像符号化装置や映像復号装置にある一定の処理時間を保証させるために、変換処理及びエントロピー符号化処理を行わないブロックタイプを示す情報を出力ビットストリームに埋め込む映像符号化方法が提案されている。

【0003】

変換処理及びエントロピー符号化処理を行わないブロックタイプの一例として、非特許文献１に記載されているPulse Code Modulation （ＰＣＭ）がある。ブロックタイプとは、ブロックに用いた符号化の種類（後述する、イントラ予測、インター予測、ＰＣＭ）である。

【0004】

非特許文献１に記載されている映像符号化装置は、図１４に示すように構成される。以下、図１４に示される映像符号化装置を一般的な映像符号化装置と呼ぶ。

【0005】

図１４を参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する、一般的な映像符号化装置の構成と動作を説明する。

【0006】

図１４に示された映像符号化装置は、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、バッファ１０５、予測器１０６、ＰＣＭ符号化器１０７、ＰＣＭ復号器１０８、多重化データ選択器１０９、多重化器１１０、スイッチ１２１、及びスイッチ１２２を備える。

【0007】

図１４に示す映像符号化装置は、フレームをマクロブロック（ＭＢ：Macro Block ）と呼ばれる１６×１６画素サイズのブロックに分割し、フレームの左上から順に各ＭＢを符号化する。非特許文献１に記載されているＡＶＣにおいては、ＭＢをさらに４×４画素サイズのブロックにブロック分割し、各４×４ブロックを符号化する。

【0008】

図１５は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、説明の簡略化のために、輝度の画素値のみに着目して各ユニットの動作を説明する。

【0009】

ブロックに分割された入力映像は、予測器１０６から供給される予測信号が減じられて、変換／量子化器１０２に入力される。予測信号には、イントラ予測信号とフレーム間予測信号の２種類がある。それぞれの予測信号を説明する。

【0010】

イントラ予測信号は、バッファ１０５に格納された現在のピクチャと表示時刻が同一である再構築ピクチャの画像に基づいて生成される予測信号である。非特許文献１の8.3.1 Intra_４×４ prediction process for luma samples、8.3.2 Intra_８×８ prediction process for luma samples、及び8.3.3 Intra_１６×１６ prediction process for luma samplesを引用すると、３種類のブロックサイズのイントラ予測Intra_４×４、Intra_８×８、Intra_１６×１６がある。

【0011】

Intra_４×４とIntra_８×８は、図１６の（ａ）と（ｃ）を参照すると、それぞれ４×４ブロックサイズと８×８ブロックサイズのイントラ予測であることが分かる。ただし、図面の丸（○）はイントラ予測に用いる参照画素、つまり、現在のピクチャと表示時刻が同一である再構築ピクチャの画素を表す。

【0012】

Intra_４×４のイントラ予測では、再構築した周辺画素をそのまま参照画素とし、図１６の（ｂ）に示す９種類の方向に参照画素をパディング（外挿）して予測信号が形成される。Intra_８×８のイントラ予測では、図１６の（ｃ）の右矢印の下に記載のローパスフィルタ（１／２，１／４，１／２）によって再構築ピクチャの画像の周辺画素を平滑化した画素を参照画素として、図１６の（ｂ）に示す９種類の方向に参照画素を外挿して予測信号が形成される。

【0013】

一方、Intra_１６×１６は、図１７の（ａ）を参照すると、１６×１６ブロックサイズのイントラ予測であることが分かる。図１６と同様に図面の丸（○）はイントラ予測に用いる参照画素、つまり、現在のピクチャと表示時刻が同一である再構築ピクチャの画素を表す。Intra_１６×１６のイントラ予測では、再構築画像の周辺画素をそのまま参照画素として、図１７の（ｂ）に示す４種類の方向に参照画素を外挿して予測信号が形成される。

【0014】

以下、イントラ予測信号を用いて符号化されるＭＢ及びブロックをそれぞれイントラＭＢ及びイントラブロックと呼ぶ。イントラ予測のブロックサイズをイントラ予測ブロックサイズと呼ぶ。また、外挿の方向をイントラ予測方向と呼ぶ。なお、イントラ予測ブロックサイズ及びイントラ予測方向は、イントラ予測に関する予測パラメータである。

【0015】

フレーム間予測信号は、バッファ１０５に格納された現在のピクチャと表示時刻が異なる再構築ピクチャの画像から生成される予測信号である。以下、フレーム間予測信号を用いて符号化されるＭＢ及びブロックをそれぞれインターＭＢ及びインターブロックと呼ぶ。インター予測のブロックサイズ（インター予測ブロックサイズ）として、例えば、１６×１６，１６×８，８×１６，８×８，８×４，４×８，４×４を選択することができる。

【0016】

図１８は、１６×１６のブロックサイズを例にしたフレーム間予測の例を示す説明図である。図１８に示す動きベクトルＭＶ＝（mv_x，mv_y）は、符号化対象ブロックに対する参照ピクチャのフレーム間予測ブロック（フレーム間予測信号）の平行移動量を示す、フレーム間予測の予測パラメータである。ＡＶＣにおいては、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向を表すフレーム間予測の方向に加えて、符号化対象ブロックのフレーム間予測に用いる参照ピクチャを同定するための参照ピクチャインデックスもフレーム間予測の予測パラメータである。ＡＶＣにおいては、バッファ１０５に格納された複数枚の参照ピクチャをフレーム間予測に利用できるからである。

【0017】

なお、フレーム間予測のより詳細な説明が、非特許文献１の8.4 Inter prediction processに記載されている。

【0018】

また、イントラＭＢのみで符号化されたピクチャはＩピクチャと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたピクチャはＰピクチャと呼ばれる。フレーム間予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターＭＢを含めて符号化されたピクチャはＢピクチャと呼ばれる。また、Ｂピクチャにおいて、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向が過去のフレーム間予測を前方向予測、符号化対象ブロックの符号化対象ピクチャに対するフレーム間予測信号の参照ピクチャの方向が未来のフレーム間予測を後方向予測、過去と未来を含むフレーム間予測を双方向予測とそれぞれ呼ぶ。なお、フレーム間予測の方向（インター予測方向）は、フレーム間予測の予測パラメータである。

【0019】

変換／量子化器１０２は、予測信号が減じられた画像（予測誤差画像）を周波数変換する。

【0020】

さらに、変換／量子化器１０２は、所定の量子化ステップ幅Ｑs で、周波数変換した予測誤差画像（周波数変換係数）を量子化する。以下、量子化された周波数変換係数を変換量子化値と呼ぶ。

【0021】

エントロピー符号化器１０３は、予測パラメータと変換量子化値をエントロピー符号化する。予測パラメータとは、上述したブロックタイプ（イントラ予測、インター予測、及び、ＰＣＭ）、イントラ予測ブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、及び動きベクトルなど、ＭＢ及びブロックの予測に関連した情報である。

【0022】

逆変換／逆量子化器１０４は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、スイッチ１２２に供給される。

【0023】

多重化データ選択器１０９は、符号化対象のＭＢに対応するエントロピー符号化器１０３の入力データ量を監視する。ＭＢの処理時間内でエントロピー符号化器１０３がその入力データをエントロピー符号化可能な場合には、多重化データ選択器１０９は、エントロピー符号化器１０３の出力データを選択して、スイッチ１２１を介して多重化器１１０に供給させる。さらに、多重化データ選択器１０９は、逆変換／量子化器１０４の出力データを選択して、スイッチ１２２を介してバッファ１０５に供給させる。

【0024】

ＭＢの処理時間内でエントロピー符号化可能でない場合には、多重化データ選択器１０９は、ＰＣＭ符号化器１０７がＭＢの映像をＰＣＭ符号化した出力データを選択して、スイッチ１２１を介して多重化器１１０に供給させる。さらに、多重化データ選択器１０９は、ＰＣＭ符号化器１０７の出力データをＰＣＭ復号器１０８がＰＣＭ復号したデータを選択して、スイッチ１２２を介してバッファ１０５に供給させる。

【0025】

バッファ１０５は、スイッチ１２２を介して供給される再構築画像を格納する。１フレーム分の再構築画像を再構築ピクチャと呼ぶ。

【0026】

多重化器１１０は、エントロピー符号化器１０３とＰＣＭ符号化器１０７の出力データを多重化して出力する。

【0027】

上述した動作に基づいて、映像符号化装置における多重化器１１０は、ビットストリームを生成する。

【先行技術文献】

【特許文献】

【0028】

【特許文献1】特開２００４−１３５２５１号公報

【非特許文献】

【0029】

【非特許文献1】ISO/IEC 14496-10 Advanced Video Coding

【非特許文献2】"Test Model under Consideration", Document: JCTVC-B205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010

【非特許文献3】W.-J. Chen, X. Wang, and M. Karczewicz, "CE5 Improved coding of inter prediction mode with LCEC," JCTVC-D370.

【非特許文献4】S. Liu, Y.-W. Huang, S. Lei, "Remove Partition Size NxN," JCTVC-D432.

【発明の概要】

【発明が解決しようとする課題】

【0030】

上述した一般的技術は、変換処理及びエントロピー符号化処理を行わないＰＣＭをＭＢで用いることによって、映像符号化装置や映像復号装置にある一定の処理時間を保証する。

【0031】

しかし、上述した一般的技術は、符号化ユニットサイズ（ＣＵサイズ）が固定のＭＢを用いた映像符号化に基づいている。ゆえに、非特許文献２に記載されているように、ＣＵサイズが可変である、図１９に示すクアッドツリー（quadtree ）構造の符号化ユニット（Coding Tree Block （ＣＴＢ））を用いた映像符号化（以下、Test Model under Consideration方式（ＴＭｕＣ方式）と呼ぶ。）に上述した一般的技術を適用して、全ての階層（すなわち、全てのdepth ）のＣＴＢでＰＣＭを示す情報（ＰＣＭヘッダ）を出力ビットストリームに埋め込むと、ビットストリームに含まれるＰＣＭヘッダのビット数の率が高くなり、圧縮映像の品質が低下する課題がある。

【0032】

なお、最大のＣＴＢをLargest Coding Tree Block （ＬＣＴＢ）、最小のＣＴＢをSmallest Coding Tree Block（ＳＣＴＢ）と呼ぶ。また、本明細書においては、ＣＴＢのブロックをCoding Unit （ＣＵ：符号化ユニット）と呼ぶ。また、ＴＭｕＣ方式においては、ＣＵに対する予測ユニットとしてPrediction unit（ＰＵ）という概念（図２０参照）が導入されている。図２０は、ＰＵを説明するための説明図であるが、イントラ予測ブロックサイズとして図２０に示された形状のうち正方形のみがサポートされている。

【0033】

なお、非特許文献３には、インター予測のシグナリングの改良が記載されている。非特許文献４には、インター予測及びイントラ予測のシグナリングの改良が記載されている。

【0034】

上述した一般的技術の課題を解決するために、映像符号化装置や映像復号装置にある一定の処理時間を保証するために、ＰＣＭを高階層のＣＵで選択できればよいことに着目する。高階層のＣＵは、図１９から分かるようにdepth の値が小さいＣＵであり、そのブロックサイズが大きいためフレームあたりの個数が少ない。高階層のＣＵは個数が少ないため、ビットストリームに含まれるＰＣＭヘッダのビット数の率を低くできる。

【0035】

本発明では、ＰＣＭ符号化に基づいた映像符号化において、ＰＣＭヘッダを伝送するＣＵのdepth を制限することによって課題を解決する。すなわち、本発明では、ＰＣＭヘッダを伝送するＣＵサイズを所定のサイズに制限する。

【課題を解決するための手段】

【0036】

本発明による映像復号方法は、ビットストリームからＰＣＭブロックサイズ情報を抽出し、ＰＣＭブロックサイズ情報に基づいて、ＰＣＭヘッダを解読するＰＣＭブロックサイズの最小値を決定し、ＰＣＭブロックサイズの最小値以上のブロックでＰＣＭヘッダをビットストリームから解読し、ＰＣＭヘッダに基づいて、エントロピー復号処理及びＰＣＭ復号処理を制御し、エントロピー復号処理を制御する場合に、ビットストリームに含まれる画像の変換データを解読し、ＰＣＭ復号処理を制御する場合に、ビットストリームをバイトアラインし、ビットストリームに含まれる画像のＰＣＭデータをＰＣＭ復号することを特徴とする。
本発明による映像復号装置は、ビットストリームからＰＣＭブロックサイズ情報を抽出する抽出手段と、ＰＣＭブロックサイズ情報に基づいて、ＰＣＭヘッダを解読するＰＣＭブロックサイズの最小値を決定するＰＣＭブロックサイズ決定手段と、ＰＣＭブロックサイズの最小値以上のブロックでＰＣＭヘッダをビットストリームから解読するＰＣＭヘッダ読み出し手段と、ＰＣＭヘッダに基づいて、エントロピー復号処理及びＰＣＭ復号処理を制御する復号制御手段と、エントロピー復号処理を制御する場合に、ビットストリームに含まれる画像の変換データを解読するエントロピー復号手段と、ＰＣＭ復号処理を制御する場合に、ビットストリームをバイトアラインし、ビットストリームに含まれる画像のＰＣＭデータをＰＣＭ復号するＰＣＭ復号手段とを備えることを特徴とする。
本発明による復号プログラムは、コンピュータに、ビットストリームからＰＣＭブロックサイズ情報を抽出する抽出処理と、ＰＣＭブロックサイズ情報に基づいて、ＰＣＭヘッダを解読するＰＣＭブロックサイズの最小値を決定するＰＣＭブロックサイズ決定処理と、ＰＣＭブロックサイズの最小値以上のブロックでＰＣＭヘッダをビットストリームから解読するＰＣＭヘッダ読み出し処理と、ＰＣＭヘッダに基づいて、エントロピー復号処理及びＰＣＭ復号処理を制御する復号制御処理とを実行させ、エントロピー復号処理を制御する場合に、ビットストリームに含まれる画像の変換データを解読するエントロピー復号処理を実行させ、ＰＣＭ復号処理を制御する場合に、ビットストリームをバイトアラインし、ビットストリームに含まれる画像のＰＣＭデータをＰＣＭ復号するＰＣＭ復号処理を実行させることを特徴とする。

【発明の効果】

【0037】

本発明によれば、ＰＣＭヘッダをシグナリングする符号化ユニットサイズが所定のサイズに制限されるので、映像符号化装置にある一定の処理時間を保証しながら、ビットストリームに含まれるＰＣＭヘッダのビット数の率を低く抑えて、圧縮映像の品質を保持できる。

【0038】

さらに、本発明によれば、所定のサイズを映像復号装置にシグナリングするためのＰＣＭ符号化ユニットサイズ情報をビットストリームに埋め込むことによって、映像符号化装置と映像復号装置の相互運用性を高めることができる。

【図面の簡単な説明】

【0039】

【図1】第１の実施形態の映像符号化装置のブロック図である。

【図2】ＰＵシンタクスにおけるＰＣＭヘッダを示すリスト１の説明図である。

【図3】シーケンスパラメータセットにおけるＰＣＭ符号化ユニットサイズ情報を示すリスト２の説明図である。

【図4】ＰＣＭヘッダ書き込みの動作を示すフローチャートである。

【図5】第２の実施形態の映像復号装置のブロック図である。

【図6】ＰＣＭヘッダ読み込みの動作を示すフローチャートである。

【図7】ピクチャパラメータセットにおけるＰＣＭ符号化ユニットサイズ情報を示すリスト３の説明図である。

【図8】スライスヘッダにおけるＰＣＭ符号化ユニットサイズ情報を示すリスト４の説明図である。

【図9】第３の実施形態におけるＰＵシンタクスにおけるＰＣＭヘッダを示すリスト１の説明図である。

【図10】第３の実施形態におけるＰＣＭヘッダ読み込みの動作を示すフローチャートである。

【図11】本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。

【図12】本発明による映像符号化装置の主要部を示すブロック図である。

【図13】本発明による映像復号装置の主要部を示すブロック図である。

【図14】一般的な映像符号化装置のブロック図である。

【図15】ブロック分割の例を示す説明図である。

【図16】予測の種類を説明するための説明図である。

【図17】予測の種類を説明するための説明図である。

【図18】１６×１６のブロックサイズを例にしたフレーム間予測の例を示す説明図である。

【図19】ＣＴＢを説明するための説明図である。

【図20】ＰＵを説明するための説明図である。

【発明を実施するための形態】

【0040】

実施形態１．
第１の実施形態では、外部設定されるＣＵサイズでエントロピー符号化手段とＰＣＭ符号化手段のいずれかの出力データを選択する手段、上記の外部設定されるＣＵサイズでＰＣＭヘッダをビットストリームに埋め込む手段、及び上記の外部設定されるＣＵサイズを映像復号装置にシグナリングするための、ＰＣＭ符号化ユニットサイズに関する情報をビットストリームに埋め込む手段を備える映像符号化装置を示す。

【0041】

具体例を示しながら説明するために、本実施形態では、ＰＣＭヘッダをビットストリームに埋め込むＣＵサイズは、外部から設定されるＰＣＭ符号化ユニットサイズ（pcmCodingUnitSize ）以上とする。また、利用可能な符号化ユニットサイズを１２８，６４，３２，１６，８、pcmCodingUnitSize を１６とする。さらに、ＰＣＭ符号化ユニットサイズに関する情報は、後述するように、ＰＣＭ符号化ユニットサイズを最小符号化ユニットサイズで割った値の”２”を底とするlog （対数）とする。よって、本実施形態では、ＰＣＭヘッダをビットストリームに埋め込むＣＵサイズに対応するブロックサイズが１２８×１２８，６４×６４，３２×３２，１６×１６になる。また、ビットストリームに埋め込まれるＣＵサイズに関する情報の具体的な数値は、１（＝log _２（１６／８））となる。

【0042】

図１に示すように、本実施形態の映像符号化装置は、図１４に示された一般的な映像符号化装置と同様に、変換／量子化器１０２、エントロピー符号化器１０３、逆変換／逆量子化器１０４、バッファ１０５、予測器１０６、ＰＣＭ符号化器１０７、ＰＣＭ復号器１０８、多重化データ選択器１０９、多重化器１１０、スイッチ１２１、及びスイッチ１２２を備える。図１に示す本実施形態の映像符号化装置では、図１４に示す映像符号化装置とは異なり、pcmCodingUnitSize 以上のＣＵサイズでＰＣＭヘッダを伝送するためにpcmCodingUnitSize が多重化データ選択器１０９に供給されている。さらに、pcmCodingUnitSize を映像復号装置にシグナリングするために、pcmCodingUnitSizeが多重化器１１０にも供給されている。

【0043】

ＣＵサイズの入力映像は、予測器１０６から供給される予測信号が減じられて、変換／量子化器１０２に入力される。

【0044】

変換／量子化器１０２は、予測信号が減じられた画像（予測誤差画像）を周波数変換する。

【0045】

さらに、変換／量子化器１０２は、量子化ステップ幅Ｑs で、周波数変換した予測誤差画像（周波数変換係数）を量子化する。

【0046】

エントロピー符号化器１０３は、ＣＵのサイズをシグナリングするsplit_coding_unit_flag（図１９参照）、予測器１０６から供給される予測パラメータ、及び変換／量子化器１０２から供給される変換量子化値をエントロピー符号化する。予測パラメータとは、ブロックタイプ（イントラ予測、インター予測、及びＰＣＭ）、イントラ予測ブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、及び動きベクトルなど、符号化対象ＣＵの予測に関連した情報である。

【0047】

なお、本実施形態のエントロピー符号化器１０３は、多重化データ選択器１０９を介して外部設定されるpcmCodingUnitSize に基づいて、符号化対象ＣＵのサイズがpcmCodingUnitSize 以上であり、かつ、その予測モードがイントラ予測である場合、ＰＣＭ符号化のＯＮ／ＯＦＦを示す、pcm_flagシンタクスをＯＦＦとしてエントロピー符号化する。

【0048】

逆変換／逆量子化器１０４は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０４は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、スイッチ１２２に供給される。

【0049】

多重化データ選択器１０９は、pcmCodingUnitSize 以上である符号化対象ＣＵに対応するエントロピー符号化器１０３の入力データ量を監視する。pcmCodingUnitSize 以上である符号化対象ＣＵの処理時間内でエントロピー符号化器１０３がその入力データをエントロピー符号化可能な場合、多重化データ選択器１０９は、エントロピー符号化器１０３の出力データを選択し、スイッチ１２１を介して多重化器１１０に供給させる。さらに、多重化データ選択器１０９は、逆変換／量子化器１０４の出力データを選択して、スイッチ１２２を介してバッファ１０５に供給させる。

【0050】

符号化対象ＣＵの処理時間内でエントロピー符号化可能でない場合、多重化データ選択器１０９は、まず、pcmCodingUnitSize 以上であるＣＵがＰＣＭ符号化であることを示す情報をエントロピー符号化器１０３にエントロピー符号化出力させる。具体的には、ＣＵのＰＵヘッダにおいて、ブロックタイプを示す、mode_table_idxシンタクス又はpred_mode シンタクスをイントラ予測としてエントロピー符号化出力させて、さらに、ＰＣＭ符号化のＯＮ／ＯＦＦを示すpcm_flagシンタクスをＯＮとしてエントロピー符号化出力させる。

【0051】

続いて、エントロピー符号化器１０３の出力ビットをバイトアラインする。具体的には、エントロピー符号化器１０３が所定量のpcm_alignment_zero_bitシンタクスを多重化器１１０に供給する。また、以後の符号化のために、エントロピー符号化器１０３の符号化エンジンを初期化する。

【0052】

符号化エンジンを初期化した後、ＰＣＭ符号化器１０７は、ＣＵの入力映像をＰＣＭ符号化する。ＰＣＭ符号化器１０７の輝度の出力データpcm_sample_luma[i]は、入力映像の輝度の画素ビット長bit_depth_lumaとなる。ただし、ｉ（０≦ｉ≦２５５）はＣＵのブロック内のラスタスキャン順でのインデックスである。同様に、ＰＣＭ符号化器１０７の色差の出力データpcm_sample_chroma[i]（ｉ：０≦ｉ≦１２８）は、入力映像の色差の画素ビット長bit_depth_chromaとなる。

【0053】

ＣＵの入力映像をＰＣＭ符号化後、ＰＣＭ復号器１０８は、pcm_sample_luma[i]及びpcm_sample_chroma[i]をＰＣＭ復号する。

【0054】

ＰＣＭ復号後、多重化データ選択器１０９は、ＰＣＭ符号化器１０７の出力データを選択して、スイッチ１２１を介して多重化器１１０に供給させる。

【0055】

最後に、多重化データ選択器１０９は、ＰＣＭ復号器１０８の出力データを選択して、スイッチ１２２を介してバッファ１０５に供給させる。

【0056】

なお、上述したmode_table_idxシンタクス、pred_mode シンタクス、pcm_flagシンタクス、及びpcm_alignment_zero_bitシンタクスは、非特許文献１のSpecification of syntax functions, categories, and descriptors及び非特許文献２の4.1.10 Prediction unit syntax の表記に従えば、図２に示すリスト１に表されるようにシグナリングできる。リスト１において、pcm_alignment_zero_bitシンタクスのシグナリング条件となる変数pcm_unit_flag は、ＰＣＭ符号化ＯＮのpcm_flagシンタクスがシグナリングされた場合にのみＯＮとする。そうでない場合、変数pcm_unit_flagをＯＦＦとする。リスト１において、"if（currPredUnitSize>=pcmCodingUnitSize ）"の条件によって、pcmCodingUnitSize 以上のサイズのＣＵのＰＵヘッダのみにおいて、pcm_flagシンタクスがシグナリングされることが、本実施形態の特徴である。

【0057】

多重化器１１０は、ＰＣＭ符号化ユニットサイズに関する情報（max_pcm_coding_unit_hierarchy_depth ）、及びエントロピー符号化器１０３とＰＣＭ符号化器１０７の出力データを多重化して出力する。非特許文献２の4.1.2 Sequence parameter set RBSP syntaxの表記に従えば、図３に示すリスト２に表されるように、シーケンスパラメータセットのlog2_min_coding_unit_size_minus3シンタクスとmax_coding_unit_hierarchy_depth シンタクスに後続させて、max_pcm_coding_unit_hierarchy_depth シンタクス（ＰＣＭ符号化ユニットサイズを最小符号化ユニットサイズで割った値の”２”を底とするlog （対数）、本実施形態においては１）を多重化する。なお、max_pcm_coding_unit_hierarchy_depth を、min_pcm_coding_unit_hierarchy_depth と呼んでもよい。ただし、log2_min_coding_unit_size_minus3シンタクス及びmax_coding_unit_hierarchy_depth シンタクスは、それぞれ、ＳＣＵのサイズ（MinCodingUnitSize ）及びＬＣＵのサイズ（MaxCodingUnitSize ）を決定するための情報である。MinCodingUnitSize とMaxCodingUnitSize は、以下のように、それぞれ計算される。

【0058】

MinCodingUnitSize ＝１<<（log2_min_coding_unit_size_minus3＋３）

【0059】

MaxCodingUnitSize＝１<<（log2_min_coding_unit_size_minus3＋３＋max_coding_unit_hierarchy_depth ）

【0060】

また、max_coding_unit_hierarchy_depth シンタクスとMinCodingUnitSize には以下の関係がある。

【0061】

max_pcm_coding_unit_hierarchy_depth ＝log _２（pcmCodingUnitSize/MinCodingUnitSize）

【0062】

上述した動作に基づいて、本発明の映像符号化装置はビットストリームを生成する。

【0063】

次に、本発明の特徴であるＰＣＭヘッダ書き込みの動作を図４のフローチャートを参照して説明する。

【0064】

符号化対象ＣＵの処理時間内でエントロピー符号化可能でない場合、図４に示すように、ステップＳ１０１で、エントロピー符号化器１０３は、ブロックタイプをイントラ予測としてエントロピー符号化する。すなわち、mode_table_idxシンタクス又はpred_mode シンタクスをイントラ予測としてエントロピー符号化する。また、ステップＳ１０２で、エントロピー符号化器１０３は、ＰＣＭヘッダをエントロピー符号化する。具体的には、pcm_flagシンタクスをＯＮとしてエントロピー符号化する。さらに、ステップＳ１０３で、エントロピー符号化器１０３は、所定量のpcm_alignment_zero_bitシンタクスを多重化器１１０に供給することによって出力ビットをバイトアラインする。すなわち、所定量のpcm_alignment_zero_bitシンタクスを出力する。また、エントロピー符号化器１０３は、符号化エンジンを初期化する。そして、ステップＳ１０４で、ＰＣＭ符号化器１０７は、ＣＵの入力映像をＰＣＭ符号化する。

【0065】

本実施形態の映像符号化装置は、外部設定される符号化ユニットサイズでエントロピー符号化手段とＰＣＭ符号化手段のいずれかの出力データを選択する多重化データ選択手段と、外部設定される符号化ユニットサイズでＰＣＭヘッダをビットストリームに埋め込む多重化手段を備える。よって、映像符号化装置にある一定の処理時間を保証しながら、ビットストリームに含まれるＰＣＭヘッダのビット数の率を低く抑えて圧縮映像の品質を保持できる。

【0066】

また、多重化手段は、外部設定されたＣＵサイズを映像復号装置にシグナリングするためのＰＣＭ符号化ユニットサイズ情報をビットストリームに埋め込むが、ＣＵサイズ情報は、ＬＣＵ又はＳＣＵのdepth 値を基準とするdepth 値の差分などで表現できる。例えば、ＬＣＵのdepth （LCU_depth ）値を基準にする場合、所定depth 値のＣＵサイズは、ＬＣＵのサイズの２^{（depth- LCU_depth）}分の１と表現できる（ブロックサイズに換算すると４^{（depth- LCU_depth）}分の１である。）。ＳＣＵのdepth （SCU_depth ）値を基準にする場合、所定Depth値のＣＵサイズは、ＳＣＵのサイズの２^{（SCU_depth−depth）}倍と表現できる（ブロックサイズに換算すると４^{（SCU_depth−depth）}倍である。）。

【0067】

上記のような特徴を有する多重化手段を備えることによって、発明は、映像符号化装置と映像復号装置の相互運用性を高めることができる。

【0068】

また、本実施形態の映像符号化装置は、映像復号についても同様にＰＣＭヘッダをビットストリームから読み出し、エントロピー復号手段とＰＣＭ復号手段を切り替えられるように、ＰＣＭヘッダが存在する符号化ユニットサイズに関する情報をビットストリームに埋め込む手段を備える。よって、映像符号化装置と映像復号装置の相互運用性を高めることができる。

【0069】

実施形態２．
第２の実施形態では、第１の実施形態の映像符号化装置が生成したビットストリームを復号する映像復号装置を示す。

【0070】

本実施形態の映像復号装置は、ビットストリームに多重化されたＰＣＭ符号化ユニットサイズ情報を多重化解除する手段、多重化解除したＰＣＭ符号化ユニットサイズ情報に基づいてＰＣＭヘッダを読み出す所定のブロックサイズを決定するブロックサイズ手段、ブロックサイズ手段が決定した符号化ユニットサイズでＰＣＭヘッダをビットストリームから読み出す読み出し手段、及び読み出し手段が読み出したＰＣＭヘッダに基づいてエントロピー復号手段及びＰＣＭ復号手段を制御する復号制御手段を備えることを特徴とする。

【0071】

図５に示すように、本実施形態の映像復号装置は、多重化解除器２０１、復号制御器２０２、ＰＣＭ復号器２０３、エントロピー復号器２０４、逆変換／逆量子化器２０６、予測器２０７、バッファ２０８、及びスイッチ２２１とスイッチ２２２を備える。

【0072】

多重化解除器２０１は、入力されるビットストリームを多重化解除して、ＰＣＭ符号化ユニットサイズ情報、及びエントロピー符号化又はＰＣＭ符号化された映像ビットストリームを抽出する。多重化解除器２０１は、図３に示すリスト２に示されるように、シーケンスパラメータにおいて、log2_min_coding_unit_size_minus3シンタクスとmax_coding_unit_hierarchy_depth シンタクスに後続するmax_pcm_coding_unit_hierarchy_depth シンタクスを多重化解除する。さらに、多重化解除器２０１は、多重化解除したシンタクスの値を用いて、ＰＣＭヘッダであるpcm_flagが伝送されるＰＣＭ符号化ユニットサイズpcmCodingUnitSize を以下のように決定する。

【0073】

pcmCodingUnitSize ＝１<<（log2_min_coding_unit_size_minus3＋３＋max_pcm_coding_unit_hierarchy_depth ）

【0074】

すなわち、本実施形態の多重化解除器２０１は、多重化解除したＰＣＭ符号化ユニットサイズ情報に基づいてＰＣＭヘッダを読み出す符号化ユニットのブロックサイズを決定する役割も担っている。

【0075】

エントロピー復号器２０４は、映像ビットストリームをエントロピー復号する。

【0076】

エントロピー復号対象の符号化ユニット（ＣＵ）がＰＣＭ符号化ではない場合、エントロピー復号器２０４は、ＣＵの予測パラメータ及び変換量子化値をエントロピー復号し、逆変換／逆量子化器２０６及び予測器２０７に供給する。

【0077】

なお、あるＣＵがＰＣＭ符号化である場合は、split_coding_unit_flag（図１９参照）をエントロピー復号してＣＵサイズを確定した後に、そのＰＵヘッダにおいてＰＣＭ符号化ＯＮのpcm_flagシンタクスをエントロピー復号した場合である。すなわち、本実施形態のエントロピー復号器２０４は、pcmCodingUnitSize 以上のサイズのＣＵでpcm_flagシンタクスを含むＰＣＭヘッダをビットストリームから読み出す役割も担っている。

【0078】

逆変換／逆量子化器２０６は、量子化ステップ幅で、輝度及び色差の変換量子化値を逆量子化する。さらに、逆変換／逆量子化器２０６は、逆量子化した周波数変換係数を逆周波数変換する。

【0079】

逆周波数変換後、予測器２０７は、エントロピー復号した予測パラメータに基づいて、バッファ２０８に格納された再構築ピクチャの画像を用いて予測信号を生成する。

【0080】

予測信号生成後、逆変換／逆量子化器２０６で逆周波数変換された再構築予測誤差画像は、予測器２０７から供給される予測信号が加えられて、スイッチ２２２に供給される。

【0081】

予測信号が加えられた後、復号制御器２０２は、スイッチ２２２を切り替えて、予測信号が加えられた再構築予測誤差画像を再構築画像としてバッファ２０８に供給させる。

【0082】

ＣＵがＰＣＭ符号化である場合、復号制御器２０２は、エントロピー復号器２０４の復号エンジンを初期化させる。

【0083】

次に、復号制御器２０２は、エントロピー復号途中の映像ビットストリームをバイトアラインさせる。バイトアラインするまで映像ビットストリームからpcm_alignment_zero_bitを読み出させる。

【0084】

続いて、復号制御器２０２は、スイッチ２２１を切り替えて、バイトアラインした映像ビットストリームをＰＣＭ復号器２０３に供給させる。

【0085】

ＰＣＭ復号器２０３は、バイトアラインした映像ビットストリームから、ＣＵのブロックサイズに対応するだけの、ＰＣＭ符号化された輝度データpcm_sample_luma[i]及び色差データpcm_sample_chroma[i]をＰＣＭ復号する。

【0086】

ＰＣＭ復号後、復号制御器２０２は、スイッチ２２２を切り替えて、ＰＣＭ復号した符号化ユニットの画像を再構築画像としてバッファ２０８に供給させる。次マクロブロックの復号のために、復号制御器２０２は、スイッチ２２１をエントロピー復号器２０４に切り替える。

【0087】

そして、バッファ２０８に格納された再構築ピクチャがデコード画像として出力される。

【0088】

上述した動作に基づいて、本実施形態の映像復号装置はデコード画像を生成する。

【0089】

次に、本発明の特徴であるＰＣＭヘッダ読み込みの動作を図６のフローチャートを参照して説明する。

【0090】

ＣＵがＰＣＭ符号化である場合は、図６に示すように、エントロピー復号器２０４は、ステップＳ２０１で、split_coding_unit_flagをエントロピー復号してＣＵのサイズを確定する。また、ステップＳ２０２で、エントロピー復号器２０４は、ブロックタイプをエントロピー復号する。すなわち、mode_table_idxシンタクス又はpred_mode シンタクスをエントロピー復号する。また、ステップＳ２０３，Ｓ２０４で、エントロピー復号器２０４は、ブロックタイプがイントラ予測であり、かつ、ＣＵサイズがpcmCodingUnitSize 以上のサイズである場合にのみ、pcm_flagシンタクスをエントロピー復号する。そして、pcm_flagシンタクスがＯＮの場合、ステップＳ２０５で、エントロピー復号器２０４は、復号エンジンを初期化する。また、エントロピー復号器２０４は、多重化解除器２０１から所定量のpcm_alignment_zero_bitシンタクスを読み出すことによって映像ビットストリームをバイトアラインする。ＰＣＭ復号器２０３は、バイトアラインした映像ビットストリームから、ＣＵのブロックサイズに対応するだけの、ＰＣＭ符号化された輝度データpcm_sample_luma[i]及び色差データpcm_sample_chroma[i]をＰＣＭ復号する。なお、ＣＵがＰＣＭ符号化でない場合（ステップＳ２０３）、及びエントロピー復号器２０４がＰＵヘッダにおいてＰＣＭ符号化ＯＮのpcm_flagシンタクスをエントロピー復号しなかった場合（ステップＳ２０４）には、エントロピー復号器２０４は、後続するＣＵの予測パラメータ及び変換量子化値をエントロピー復号し、逆変換／逆量子化器２０６及び予測器２０７に供給する。

【0091】

本実施形態の映像復号装置は、多重化解除したＰＣＭ符号化ユニットサイズ情報に基づいて、決定したＰＣＭ符号化ユニットサイズの符号化ユニットでＰＣＭヘッダをビットストリームから読み出し、エントロピー復号手段とＰＣＭ復号手段を切り替えられる。これによって、映像復号装置にある一定の処理時間を保証しながら、映像品質が保持された、ＰＣＭヘッダのビット数の率が低いビットストリームを復号できる。

【0092】

なお、映像符号化装置は、第１の実施形態で利用されたＰＣＭ符号化ユニットサイズ情報（max_pcm_coding_unit_hierarchy_depth ）を、図７に示すリスト３や図８に示すリスト４に表されているように、ピクチャパラメータセットやスライスヘッダにおいて多重化できる。同様に、映像復号装置は、ピクチャパラメータセットやスライスヘッダからmax_pcm_coding_unit_hierarchy_depth シンタクスを多重化解除できる。

【0093】

また、max_pcm_coding_unit_hierarchy_depth シンタクスを、最大符号化ユニットサイズ（MaxCodingUnitSize ）をＰＣＭ符号化ユニットサイズ（pcmCodingUnitSize ）で割った値の”２”を底とするlog （対数）としてもよい。すなわち、下式を用いてもよい。

【0094】

max_pcm_coding_unit_hierarchy_depth＝log _２（MaxCodingUnitSize ／pcmCodingUnitSize ）

【0095】

この場合、映像復号装置において、ＰＣＭ符号化ユニットサイズは、max_pcm_coding_unit_hierarchy_depth シンタクスに基づいて以下のように計算できる。

【0096】

pcmCodingUnitSize ＝１<<（log2_min_coding_unit_size_minus3＋３＋max_coding_unit_hierarchy_depth − max_pcm_coding_unit_hierarchy_depth）

【0097】

なお、映像符号化装置は、mode_table_idxシンタクス又はpred_mode シンタクスにpcm_flagシンタクスを連結して符号化できる。例えば、ＰＣＭ符号化ユニットサイズ以上のサイズのＣＵにおいて、mode_table_idx＝０（符号語１）をインター予測、mode_table_idx＝１（符号語００）をpcm_flag＝ＯＦＦのイントラ予測、mode_table_idx＝２（符号語０１）をＰＣＭとできる。ＰＣＭ符号化ユニットサイズよりも小さなサイズのＣＵにおいて、mode_table_idx＝０（符号語０）をインター予測、mode_table_idx＝１（符号語１）をpcm_flag＝ＯＦＦのイントラ予測とする。

【0098】

この場合、映像復号装置は、ＰＣＭ符号化ユニットサイズ以上のサイズのＣＵにおいて、符号語１（mode_table_idx＝０）をインター予測、符号語００（mode_table_idx＝１）をpcm_flag＝ＯＦＦのイントラ予測、符号語０１（mode_table_idx＝２）をＰＣＭと解釈する。ＰＣＭ符号化ユニットサイズよりも小さなサイズのＣＵにおいて、符号語０（mode_table_idx＝０）をインター予測、符号語１（mode_table_idx＝１）をpcm_flag＝ＯＦＦのイントラ予測と解釈する。

【0099】

実施形態３．
上記の各実施形態では、映像符号化装置や映像復号装置にある一定の処理時間を保証するために、高階層のＣＵでＰＣＭが選択される。しかし、ＰＣＭが画素間相関が低い画像ブロックで選択される傾向があること、つまり、ＰＣＭが小領域に分割された低階層のＣＵで選択される傾向があることに着目した場合には、ＰＣＭが選択されるＣＵサイズを所定のサイズ以下にすることも有意義である。上記の着目にもとづいても、ビットストリームにおけるＰＣＭヘッダのビット数の率を低くできる。なお、低階層のＣＵとは、図１９から分かるようにdepth の値が大きなＣＵである。

【0100】

第３の実施形態では、映像符号化装置は、ＰＣＭが選択されるＣＵサイズを所定のサイズ以下にする。なお、映像符号化装置の構成は、図１に示された構成と同じである。

【0101】

ＰＣＭが選択されるＣＵサイズを所定のサイズ以下にする場合には、一例として、ＰＣＭヘッダをビットストリームに埋め込むＣＵサイズを、外部から設定されるＰＣＭ符号化ユニットサイズ（pcmCodingUnitSize ）以下とする。また、利用可能な符号化ユニットサイズを１２８，６４，３２，１６，８、pcmCodingUnitSize を１６とする。

【0102】

映像符号化装置において、多重化データ選択器１０９は、pcmCodingUnitSize 以下である符号化対象ＣＵに対応するエントロピー符号化器１０３の入力データ量を監視する。pcmCodingUnitSize 以下である符号化対象ＣＵの処理時間内でエントロピー符号化器１０３がその入力データをエントロピー符号化可能な場合、多重化データ選択器１０９は、エントロピー符号化器１０３の出力データを選択し、スイッチ１２１を介して多重化器１１０に供給させる。符号化対象ＣＵの処理時間内でエントロピー符号化可能でない場合、多重化データ選択器１０９は、まず、pcmCodingUnitSize 以下であるＣＵがＰＣＭ符号化であることを示す情報をエントロピー符号化器１０３にエントロピー符号化出力させる。具体的には、多重化データ選択器１０９は、ＣＵのＰＵヘッダにおいて、ブロックタイプを示す、mode_table_idxシンタクス又はpred_mode シンタクスをイントラ予測としてエントロピー符号化出力させて、さらに、ＰＣＭ符号化のＯＮ／ＯＦＦを示すpcm_flagシンタクスをＯＮとしてエントロピー符号化出力させる。

【0103】

本実施形態では、映像符号化装置は、上述したmode_table_idxシンタクス、pred_mode シンタクス、pcm_flagシンタクス、及びpcm_alignment_zero_bitシンタクスは、非特許文献１のSpecification of syntax functions, categories, and descriptors及び非特許文献２の4.1.10 Prediction unit syntax の表記に従えば、図９に示すリスト１に表されるようにシグナリングできる。図９に示すリスト１において、pcm_alignment_zero_bitシンタクスのシグナリング条件となる変数pcm_unit_flag は、ＰＣＭ符号化ＯＮのpcm_flagシンタクスがシグナリングされた場合にのみＯＮとする。そうでない場合、変数pcm_unit_flagをＯＦＦとする。リスト１において、"if（currPredUnitSize<=pcmCodingUnitSize ）"の条件によって、pcmCodingUnitSize 以下のサイズのＣＵのＰＵヘッダのみにおいて、pcm_flagシンタクスがシグナリングされることが、本実施形態の特徴である。映像符号化装置のその他の処理は、第１の実施形態における処理と同じである。なお、本実施形態でのリスト１の内容は、第１の実施形態における図２に示されたリスト１の内容と同じである。

【0104】

実施形態４．
第４の実施形態では、第３の実施形態の映像符号化装置が生成したビットストリームを復号する映像復号装置を示す。

【0105】

第４の実施形態の映像復号装置の構成は、図５に示された構成と同じであるが、第４の実施形態では、映像復号装置は、図１０のフローチャートに示すように、ＰＣＭヘッダ読み込みの動作を行う。ＣＵがＰＣＭ符号化である場合は、エントロピー復号器２０４は、ステップＳ２０１で、split_coding_unit_flagをエントロピー復号してＣＵのサイズを確定する。また、ステップＳ２０２で、エントロピー復号器２０４は、ブロックタイプをエントロピー復号する。すなわち、mode_table_idxシンタクス又はpred_mode シンタクスをエントロピー復号する。また、ステップＳ２０３Ｂ，Ｓ２０４で、エントロピー復号器２０４は、ブロックタイプがイントラ予測であり、かつ、ＣＵサイズがpcmCodingUnitSize 以下のサイズである場合にのみ、pcm_flagシンタクスをエントロピー復号する。そして、pcm_flagシンタクスがＯＮの場合、ステップＳ２０５で、エントロピー復号器２０４は、復号エンジンを初期化する。また、エントロピー復号器２０４は、多重化解除器２０１から所定量のpcm_alignment_zero_bitシンタクスを読み出すことによって映像ビットストリームをバイトアラインする。ＰＣＭ復号器２０３は、バイトアラインした映像ビットストリームから、ＣＵのブロックサイズに対応するだけの、ＰＣＭ符号化された輝度データpcm_sample_luma[i]及び色差データpcm_sample_chroma[i] をＰＣＭ復号する。映像復号装置のその他の処理は、第２の実施形態における処理と同じである。

【0106】

なお、ＰＣＭが選択されるＣＵサイズを所定のサイズ以下にする場合には、映像復号装置において、エントロピー復号器２０４は、pcmCodingUnitSize 以下のサイズのＣＵでpcm_flagシンタクスを含むＰＣＭヘッダをビットストリームから読み出す役割も担っている。

【0107】

本実施形態では、映像復号装置にある一定の処理時間を保証しながら、映像品質が保持された、ＰＣＭヘッダのビット数の率が低いビットストリームを復号できる。

【0108】

なお、第３の実施形態の映像符号化装置は、mode_table_idxシンタクス又はpred_mode シンタクスにpcm_flagシンタクスを連結して符号化できる。例えば、ＰＣＭ符号化ユニットサイズ以下のサイズのＣＵにおいて、mode_table_idx＝０（符号語０）をpcm_flag=OFFのイントラ予測、mode_table_idx＝１（符号語１０）をインター予測、mode_table_idx＝２（符号語１１）をＰＣＭとできる。ＰＣＭ符号化ユニットサイズよりも大きなサイズのＣＵにおいて、mode_table_idx＝０（符号語０）をpcm_flag=OFFのイントラ予測、mode_table_idx＝１（符号語１）をインター予測とする。

【0109】

この場合、第４の実施形態の映像復号装置は、ＰＣＭ符号化ユニットサイズ以下のサイズのＣＵにおいて、符号語０（mode_table_idx＝０）をpcm_flag=OFFのイントラ予測、符号語１０（mode_table_idx＝１）をインター予測、符号語１１（mode_table_idx＝２）をＰＣＭと解釈する。ＰＣＭ符号化ユニットサイズよりも大きなサイズのＣＵにおいて、符号語０（mode_table_idx＝０）をpcm_flag=OFFのイントラ予測、符号語１（mode_table_idx＝１）をインター予測と解釈する。

【0110】

mode_table_idxシンタクスの例と同様に、pred_mode シンタクスにpcm_flagシンタクスを連結して符号化できる。

【0111】

なお、上述した実施形態において、ＰＣＭ符号化ユニットサイズを最大符号化ユニットサイズに限定する場合、ＰＣＭブロックサイズ情報を明示的にビットストリームに埋め込まなくてもよい。その場合、最大符号化ユニットサイズに関する情報が暗黙的にＰＣＭブロックサイズ情報を含んでいるからである。

【0112】

また、上述した実施形態において、ＰＣＭ符号化ユニットサイズを最小符号化ユニットサイズに限定する場合、ＰＣＭブロックサイズ情報を明示的にビットストリームに埋め込まなくてもよい。その場合、最小符号化ユニットサイズに関する情報が暗黙的にＰＣＭブロックサイズ情報を含んでいるからである。

【0113】

上述したmode_table_idxシンタクスの例と同様に、pred_mode シンタクスにpcm_flagシンタクスを連結して符号化できる。例えば、非特許文献３に記載されているように、イントラスライスにおいては、シンタクスと符号語を以下のように対応付けることができる（ただし、非特許文献４に記述があるように、最小符号化ユニット以外の符号化ユニットにてＮ×Ｎパーティション（イントラ予測およびインター予測）が存在しないことを仮定する。）。

【0114】

［ＰＣＭ符号化を含む最小符号化ユニットでのシンタクスと符号語の対応］
シンタクス 符号語
Intra２Ｎ×２Ｎ １
IntraＮ×Ｎ ０１
PCM ００

【0115】

［ＰＣＭ符号化を含む最小符号化ユニット以外のＣＵでのシンタクスと符号語の対応］
シンタクス 符号語
Intra２Ｎ×２Ｎ １
PCM ０

【0116】

［ＰＣＭ符号化を含まない最小符号化ユニットでのシンタクスと符号語の対応］
シンタクス 符号語
Intra２Ｎ×２Ｎ 1
IntraＮ×Ｎ ０

【0117】

［ＰＣＭ符号化を含まない最小符号化ユニットでのシンタクスと符号語の対応］
シンタクス 符号語
Intra２Ｎ×２Ｎ なし
なお、”ＰＣＭ符号化を含むＣＵ”とはＰＣＭ符号化ユニットサイズのＣＵであり、”ＰＣＭ符号化を含まないＣＵ”とはＰＣＭ符号化ユニットサイズではないＣＵである。
この場合、映像復号装置は、例えば、イントラスライスのＰＣＭ符号化を含む最小符号化ユニットにおいては、符号語１を２Ｎ×２Ｎのイントラ予測、符号語０１をＮ×Ｎのイントラ予測、符号語００をＰＣＭと解釈する。

【0118】

同様に、非イントラスライスにおいては、シンタクスと符号語を以下のように対応付けることができる。

【0119】

［すべてのＣＵで共通となるシンタクスと符号語の対応］
シンタクス 符号語
Split １
Skip ０１
Inter２Ｎ×２Ｎ_MRG ００１
Inter２Ｎ×２Ｎ ０００１
Others ００００

［Othersに後続する、ＰＣＭ符号化を含む最小符号化ユニットでのシンタクスと符号語の対応］
シンタクス 符号語
Inter２Ｎ×Ｎ ０
InterＮ×２Ｎ ０１
InterＮ×Ｎ ００１
Intra２Ｎ×２Ｎ ０００１
IntraＮ×Ｎ ００００１
PCM ０００００

【0120】

［Othersに後続する、ＰＣＭ符号化を含む最小符号化ユニット以外のＣＵでのシンタクスと符号語の対応］
シンタクス 符号語
Inter２Ｎ×Ｎ ０
InterＮ×２Ｎ ０１
Intra２Ｎ×２Ｎ ００１
PCM ０００

【0121】

［Othersに後続する、ＰＣＭ符号化を含まない最小符号化ユニットでのシンタクスと符号語の対応］
シンタクス 符号語
Inter２Ｎ×Ｎ ０
InterＮ×２Ｎ ０１
InterＮ×Ｎ ００１
Intra２Ｎ×２Ｎ ０００１
IntraＮ×Ｎ ００００

【0122】

［Othersに後続する、ＰＣＭ符号化を含まない最小符号化ユニット以外のＣＵでのシンタクスと符号語の対応］
シンタクス 符号語
Inter２Ｎ×Ｎ ０
InterＮ×２Ｎ ０１
Intra２Ｎ×２Ｎ ００

【0123】

この場合、映像復号装置は、例えば、ＰＣＭ符号化を含む最小符号化ユニットにおいては、Othersに後続する、符号語０を２Ｎ×Ｎのインター予測、符号語０１をＮ×２Ｎのインター予測、符号語００１をInterＮ×Ｎのインター予測、符号語０００１を２Ｎ×２Ｎのイントラ予測、符号語００００１をＮ×Ｎのイントラ予測、そして、符号語０００００をＰＣＭと解釈する。

【0124】

なお、イントラスライスとはイントラ予測のみで符号化された符号化ユニットのみで構成されるスライスである。非イントラスライスとはインター予測で符号化された符号化ユニットを含むスライスである。

【0125】

また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

【0126】

図１１に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３およびビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。

【0127】

図１１に示された情報処理システムにおいて、プログラムメモリ１００２には、図１，図５のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１，図５のそれぞれに示された映像符号化装置または映像復号装置の機能を実現する。

【0128】

図１２は、本発明による映像符号化装置の主要部を示すブロック図である。図１２に示すように、本発明による映像符号化装置は、画像ブロックを変換する変換手段１１（一例として、図１に示す変換／量子化器１０２）と、変換手段１１が変換した画像ブロックの変換データをエントロピー符号化するエントロピー符号化手段１２（一例として、図１に示すエントロピー符号化器１０３）と、画像ブロックをＰＣＭ符号化するＰＣＭ符号化手段１３（一例として、図１に示すＰＣＭ符号化器１０７）と、外部設定されるブロックサイズのブロックでエントロピー符号化手段１２（一例として、図１に示すエントロピー符号化器１０３）とＰＣＭ符号化手段１３のいずれかの出力データを選択する多重化データ選択手段１４（一例として、多重化データ選択器１０９及びスイッチ１２１）と、外部設定されるブロックサイズのブロックでＰＣＭヘッダをビットストリームに埋め込む多重化手段１５（一例として、図１に示す多重化器１１０）とを備える。

【0129】

図１３は、本発明による映像復号装置の主要部を示すブロック図である。図１３に示すように、本発明による映像復号装置は、ＰＣＭブロックサイズ情報を含むビットストリームを多重化解除する多重化解除手段２１（一例として、図５に示す多重化解除器２０１）と、多重化解除手段２１が多重化解除したＰＣＭブロックサイズ情報に基づいて、ＰＣＭヘッダを読み出すＰＣＭブロックサイズを決定するＰＣＭブロックサイズ決定手段２２（一例として、図５に示す多重化解除器２０１）と、ＰＣＭブロックサイズ決定手段２２が決定したＰＣＭブロックサイズのブロックでＰＣＭヘッダをビットストリームから読み出すＰＣＭヘッダ読み出し手段２３（一例として、図５に示すエントロピー復号器２０４）と、ビットストリームに含まれる画像の変換データをエントロピー復号するエントロピー復号手段２４（一例として、図５に示すエントロピー復号器２０４）と、エントロピー復号手段２４がエントロピー復号した変換データを逆変換する逆変換手段２５（一例として、図５に示す逆変換／逆量子化器２０６）と、ビットストリームに含まれる画像のＰＣＭデータをＰＣＭ復号するＰＣＭ復号手段２６（一例として、図５に示すＰＣＭ復号器２０３）と、ＰＣＭヘッダ読み出し手段２３が読み出したＰＣＭヘッダに基づいて、エントロピー復号手段２４及びＰＣＭ復号手段２６を制御する復号制御手段２７（一例として、図５に示す復号制御器２０２）とを備える。

【0130】

上記の実施形態の一部または全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。

【0131】

（付記１）外部設定されるブロックサイズが最大符号化ユニットサイズに対応するブロックサイズの４のＮ乗分の１以上である場合、又は外部設定されるブロックサイズが最小符号化ユニットサイズに対応するブロックサイズの４のＮ乗倍以上である場合に、多重化手段が、ＰＣＭブロックサイズ情報としてＮに関する情報をビットストリームに埋め込む映像符号化装置。

【0132】

（付記２）ブロックサイズが最大符号化ユニットサイズに対応するブロックサイズの４のＮ乗分の１以上である場合、又はブロックサイズが最小符号化ユニットサイズに対応するブロックサイズの４のＮ乗倍以上である場合に、多重化解除手段が、ＰＣＭブロックサイズ情報としてＮに関する情報を取得する映像復号装置。

【0133】

（付記３）外部設定されるブロックサイズが最大符号化ユニットサイズに対応するブロックサイズの４のＮ乗分の１以下である場合、又は外部設定されるブロックサイズが最小符号化ユニットサイズに対応するブロックサイズの４のＮ乗倍以下である場合に、多重化手段が、ＰＣＭブロックサイズ情報としてＮに関する情報をビットストリームに埋め込む映像符号化装置。

【0134】

（付記４）ブロックサイズが最大符号化ユニットサイズに対応するブロックサイズの４のＮ乗分の１以下である場合、又はブロックサイズが最小符号化ユニットサイズに対応するブロックサイズの４のＮ乗倍以下である場合に、多重化解除手段が、ＰＣＭブロックサイズ情報としてＮに関する情報を取得する映像復号装置。

【0135】

以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0136】

この出願は、２０１０年１１月２６日に出願された日本特許出願２０１０−２６４３２０および２０１１年２月９日に出願された日本特許出願２０１１−０２６３３１を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0137】

１１ 変換手段
１２ エントロピー符号化手段
１３ ＰＣＭ符号化手段
１４ 多重化データ選択手段
１５ 多重化手段
２１ 多重化解除手段
２２ ブロックサイズ決定手段
２３ ＰＣＭヘッダ読み出し手段
２４ エントロピー復号手段
２５ 逆変換手段
２６ ＰＣＭ復号手段
２７ 復号制御手段
１０２ 変換／量子化器
１０３ エントロピー符号化器
１０４ 逆変換／逆量子化器
１０５ バッファ
１０６ 予測器
１０７ ＰＣＭ符号化器
１０８ ＰＣＭ復号器
１０９ 多重化データ選択器
１１０ 多重化器
１２１ スイッチ
１２２ スイッチ
２０１ 多重化解除器
２０２ 復号制御器
２０３ ＰＣＭ復号器
２０４ エントロピー復号器
２０６ 逆変換／逆量子化器
２０７ 予測器
２０８ バッファ
２２１ スイッチ
２２２ スイッチ
１００１ プロセッサ
１００２ プログラムメモリ
１００３ 記憶媒体
１００４ 記憶媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】