特許 6024654 映像符号化装置、映像復号装置、映像符号化方法及び映像復号方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6024654

(24)【登録日】2016年10月21日

(45)【発行日】2016年11月16日

(54)【発明の名称】映像符号化装置、映像復号装置、映像符号化方法及び映像復号方法

(51)【国際特許分類】

   H04N 19/126 20140101AFI20161107BHJP

   H04N 19/159 20140101ALI20161107BHJP

   H04N 19/176 20140101ALI20161107BHJP

【ＦＩ】

   H04N19/126

   H04N19/159

   H04N19/176

【請求項の数】6

【全頁数】39

(21)【出願番号】特願2013-503397(P2013-503397)

(86)(22)【出願日】2012年3月8日

(86)【国際出願番号】JP2012001592

(87)【国際公開番号】WO2012120888

(87)【国際公開日】20120913

【審査請求日】2015年2月5日

(31)【優先権主張番号】特願2011-51291(P2011-51291)

(32)【優先日】2011年3月9日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2011-95395(P2011-95395)

(32)【優先日】2011年4月21日

(33)【優先権主張国】JP

【早期審査対象出願】

(73)【特許権者】

【識別番号】000004237

【氏名又は名称】日本電気株式会社

(74)【代理人】

【識別番号】100103090

【弁理士】

【氏名又は名称】岩壁 冬樹

(74)【代理人】

【識別番号】100124501

【弁理士】

【氏名又は名称】塩川 誠人

(72)【発明者】

【氏名】青木 啓史

(72)【発明者】

【氏名】蝶野 慶一

(72)【発明者】

【氏名】仙田 裕三

(72)【発明者】

【氏名】先崎 健太

【審査官】 山▲崎▼ 雄介

(56)【参考文献】

【文献】 国際公開第２００９／１０５７３２（ＷＯ，Ａ１）

【文献】 国際公開第２００９／１５８１１３（ＷＯ，Ａ２）

【文献】 国際公開第２００６／０９９２２９（ＷＯ，Ａ１）

【文献】 Madhukar Budagavi, Minhua Zhou，Delta QP signaling at sub-LCU level，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 4th Meeting: Daegu, KR，２０１１年 １月１５日，JCTVC-D038，pp.1-5，ＵＲＬ，http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=1475

【文献】 Chao Pang, et al.，Improved dQP calculation method，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH，２０１１年 ３月１８日，JCTVC-E217，pp.1-3，ＵＲＬ，http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=2145

【文献】 Hirofumi Aoki, et al.，Prediction-based QP derivation，Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 5th Meeting: Geneva, CH，２０１１年 ３月２２日，JCTVC-E215，pp.1-11，ＵＲＬ，http://phenix.int-evry.fr/jct/doc_end_user/current_document.php?id=2143

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であって、
前記量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段を備え、
前記量子化ステップサイズ符号化手段は、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズ、または、直前に符号化した画像ブロックに割り当てられた量子化ステップサイズを選択的に用いて前記量子化の粒度を制御する量子化ステップサイズを予測する
ことを特徴とする映像符号化装置。

【請求項2】

入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であって、
前記逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段を備え、
前記量子化ステップサイズ復号手段は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズ、または、直前に復号した画像ブロックに割り当てられた量子化ステップサイズを選択的に用いて前記逆量子化の粒度を制御する量子化ステップサイズを予測する
ことを特徴とする映像復号装置。

【請求項3】

入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化方法であって、
前記量子化の粒度を制御する量子化ステップサイズを、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズ、または、直前に符号化した画像ブロックに割り当てられた量子化ステップサイズを選択的に用いて予測する
ことを特徴とする映像符号化方法。

【請求項4】

入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号方法であって、
前記逆量子化の粒度を制御する量子化ステップサイズを、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズ、または、直前に復号した画像ブロックに割り当てられた量子化ステップサイズを選択的に用いて予測する
ことを特徴とする映像復号方法。

【請求項5】

入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置におけるプログラムであって、
コンピュータに、
前記量子化の粒度を制御する量子化ステップサイズを、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズ、または、直前に符号化した画像ブロックに割り当てられた量子化ステップサイズを選択的に用いて予測させる
ための映像符号化プログラム。

【請求項6】

入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置におけるプログラムであって、
コンピュータに、
前記逆量子化の粒度を制御する量子化ステップサイズを、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズ、または、直前に復号した画像ブロックに割り当てられた量子化ステップサイズを選択的に用いて予測させる
ための映像復号プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、映像符号化技術、特に、再構築画像を参照しての予測と量子化によるデータ圧縮とを行う映像符号化技術に関する。

【背景技術】

【0002】

一般的な映像符号化装置は、入力映像の各フレームに対し、所定の映像符号化方式に準拠した符号化処理を行うことによって、符号化データすなわちビットストリームを生成する。所定の映像符号化方式の代表例である、非特許文献１に記載されたISO/IEC 14496-10 Advanced Video Coding （ＡＶＣ）では、各フレームがＭＢ（Macro Block）とよばれる１６×１６画素サイズのブロックに分割され、さらに、ＭＢが４×４画素サイズのブロックに分割され、ＭＢを符号化の最小構成単位とする。図２３に、フレームのカラーフォーマットがYCbCr 4:2:0フォーマットであり、空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合におけるブロック分割の例を示す。

【0003】

分割された各画像ブロックは、順次、映像符号化装置に入力され、符号化される。図２４は、ＡＶＣに準拠したビットストリームを生成する一般的な映像符号化装置の構成の一例を示すブロック図である。以下、図２４を参照して、一般的な映像符号化装置の構成と動作を説明する。

【0004】

図２４に示す映像符号化装置は、周波数変換器１０１と、量子化器１０２と、可変長符号化器１０３と、量子化制御器１０４と、逆量子化器１０５と、逆周波数変換器１０６と、フレームメモリ１０７と、フレーム内予測器１０８と、フレーム間予測器１０９と、予測選択器１１０とを備える。

【0005】

映像符号化装置に入力された画像は、予測選択器１１０を介してフレーム内予測器１０８又はフレーム間予測器１０９より供給される予測画像を減じられた後、予測誤差画像として周波数変換器１０１に入力される。

【0006】

周波数変換器１０１は、入力された予測誤差画像を空間領域から周波数領域に変換し、係数画像として出力する。

【0007】

量子化器１０２は、周波数変換器１０１より供給された係数画像を、量子化制御器１０４より供給される、量子化の粒度を制御するための量子化ステップサイズを用いて量子化し、量子化係数画像として出力する。

【0008】

可変長符号化器１０３は、量子化器１０２より供給される量子化係数画像をエントロピー符号化する。また、量子化制御器１０４から供給される前記量子化ステップサイズと、予測選択器１１０から供給される画像予測パラメータとを併せて符号化する。これらの符号化データは多重化され、ビットストリームとして映像符号化装置から出力される。

【0009】

ここで、図２５を用いて、可変長符号化器１０３における量子化ステップサイズの符号化処理を説明する。可変長符号化器１０３において量子化ステップサイズの符号化を行う量子化ステップサイズ符号化器は、図２５に示されるように、量子化ステップサイズバッファ１０３１１と、エントロピー符号化器１０３１２とを含む。

【0010】

量子化ステップサイズバッファ１０３１１は、直前に符号化した画像ブロックに対して割り当てた量子化ステップサイズQ(i-1)を保持する。

【0011】

入力された量子化ステップサイズQ(i)は、以下の（１）式に示すように、量子化ステップサイズバッファ１０３１１から供給される直前の量子化ステップサイズQ(i-1)を減じられた後、差分量子化ステップサイズdQ(i) として、エントロピー符号化器１０３１２に入力される。

【0012】

dQ(i) = Q(i) − Q(i-1) ・・・（１）

【0013】

エントロピー符号化器１０３１２は、入力された差分量子化ステップサイズdQ(i) をエントロピー符号化し、量子化ステップサイズに対応する符号として出力する。

【0014】

以上で、量子化ステップサイズ符号化処理の説明を終了する。

【0015】

量子化制御器１０４は、現在の入力画像ブロックに対する量子化ステップサイズを決定する。一般には、量子化制御器１０４は、可変長符号化器１０３の出力符号量を監視し、当該画像ブロックに対する出力符号量が小さくなるように量子化ステップサイズを大きくしたり、逆に、当該画像ブロックに対する出力符号量が大きくなるように量子化ステップサイズを小さくしたりする。量子化ステップサイズを増減することによって、映像符号化装置が入力動画像を目標符号量で符号化できるようにする。決定された量子化ステップサイズは、量子化器１０２及び可変長符号化器１０３に供給される。

【0016】

量子化器１０２より出力された量子化係数画像は、以降の画像ブロックの符号化において予測に用いるために、逆量子化器１０５によって逆量子化されて、係数画像となる。逆量子化器１０５より出力された係数画像は、逆周波数変換器１０６によって空間領域に戻されて、予測誤差画像となる。予測誤差画像は、予測画像を加えられた後、再構築画像としてフレームメモリ１０７及びフレーム内予測器１０８に入力される。

【0017】

フレームメモリ１０７は、過去に入力され符号化された画像フレームの再構築画像を蓄積する。フレームメモリ１０７に蓄積される画像フレームを、参照フレームと呼ぶ。

【0018】

フレーム内予測器１０８は、現在符号化中の画像フレーム内において過去に符号化された画像ブロックの再構築画像を参照して、予測画像を生成する。

【0019】

フレーム間予測器１０９は、フレームメモリ１０７より供給される参照フレームを参照して、予測画像を生成する。

【0020】

予測選択器１１０は、フレーム内予測器１０８から供給される予測画像とフレーム間予測器１０９から供給される予測画像とを比較して、入力画像に近い側の予測画像を選択して出力する。また、フレーム内予測器１０８又はフレーム間予測器１０９が行った予測方法に関する情報（画像予測パラメータと呼ぶ）を出力し、可変長符号化器１０３に供給する。

【0021】

一般的な映像符号化装置は、以上の処理によって入力動画像を圧縮符号化し、ビットストリームを生成する。

【0022】

出力されたビットストリームは、映像復号装置に伝達され、映像復号装置によって復号処理が行われて、動画像として復元される。図２６は、一般的な映像符号化装置が出力したビットストリームを復号し復号映像を得る一般的な映像復号装置の構成の一例を示す。以下、図２６を参照して、一般的な映像復号装置の構成と動作を説明する。

【0023】

図２６に示す映像復号装置は、可変長復号器２０１と、逆量子化器２０２と、逆周波数変換器２０３と、フレームメモリ２０４と、フレーム内予測器２０５と、フレーム間予測器２０６と、予測選択器２０７とを備える。

【0024】

可変長復号器２０１は、入力されたビットストリームを可変長復号し、逆量子化の粒度を制御するための量子化ステップサイズと、量子化係数画像と、画像予測パラメータとを得る。前記量子化ステップサイズと量子化係数画像は、逆量子化器２０２に供給される。画像予測パラメータは、予測選択器２０７に供給される。

【0025】

逆量子化器２０２は、入力された量子化係数画像を、入力された量子化ステップサイズに基づいて逆量子化して、係数画像として出力する。

【0026】

逆周波数変換器２０３は、逆量子化器２０２から供給される係数画像を周波数領域から空間領域に変換し、予測誤差画像として出力する。予測誤差画像は、予測選択器２０７から供給される予測画像と加算されて、復号画像となる。復号画像は、出力画像として映像復号装置から出力されると同時に、フレームメモリ２０４及びフレーム内予測器２０５に入力される。

【0027】

フレームメモリ２０４は、過去に復号された画像フレームを蓄積する。フレームメモリ２０４に蓄積される画像フレームを、参照フレームと呼ぶ。

【0028】

フレーム内予測器２０５は、現在復号中の画像フレーム内において過去に復号された画像ブロックの再構築画像を、可変長復号器２０１より供給される画像予測パラメータに基づいて参照して、予測画像を生成する。

【0029】

フレーム間予測器２０６は、フレームメモリ２０４より供給される参照フレームを、可変長復号器２０１より供給される画像予測パラメータに基づいて参照して、予測画像を生成する。

【0030】

予測選択器２０７は、フレーム内予測器２０５とフレーム間予測器２０６から供給される予測画像を、可変長復号器２０１から供給される画像予測パラメータに基づいて選択する。

【0031】

ここで、図２７を用いて、可変長復号器２０１における量子化ステップサイズの復号処理を説明する。可変長復号器２０１において、量子化ステップサイズの復号を行う量子化ステップサイズ復号器は、図２７に示されるように、エントロピー復号器２０１１１と、量子化ステップサイズバッファ２０１１２とを含む。

【0032】

エントロピー復号器２０１１１は、入力された符号をエントロピー復号し、差分量子化ステップサイズdQ(i) を出力する。

【0033】

量子化ステップサイズバッファ２０１１２は、直前の量子化ステップサイズQ(i-1)を保持する。

【0034】

以下の（２）式に示すように、エントロピー復号器２０１１１により生成された差分量子化ステップサイズdQ(i) に、量子化ステップサイズバッファ２０１１２から供給されるQ(i-1)が加算される。加算値は、量子化ステップサイズQ(i)として出力されると同時に、量子化ステップサイズバッファ２０１１２に入力される。

【0035】

Q(i) = Q(i-1) + dQ(i) ・・・（２）

【0036】

以上で、量子化ステップサイズ復号処理の説明を終了する。

【0037】

一般的な映像復号装置は、以上の処理によって入力ビットストリームを復号し、動画像を生成する。

【0038】

ところで、符号化処理によって圧縮される動画像の主観品質を保つために、一般的な映像符号化装置における量子化制御器１０４は、一般に、出力符号量を解析するだけでなく、入力画像と予測誤差画像の一方又は双方を解析して、人間の視覚感度に応じた量子化ステップサイズを決定する。すなわち、量子化制御器１０４は、視覚感度適応量子化を行う。具体的には、現符号化対象画像に対する人間の視覚感度が高いと判定された場合量子化ステップサイズを小さく、逆に、視覚感度が低いと判定された場合量子化ステップサイズを大きく設定する。そのような制御が行われることによって、視覚感度の低い領域に対して、より多くの符号量を割り当てることが可能になるので、主観画質が向上する。

【0039】

視覚感度適応量子化技術として、例えば、MPEG-2 Test Model 5（TM5)で採用された、入力画像のテクスチャの複雑度に基づく適応量子化が知られている。テクスチャの複雑度は、一般に、アクティビティと呼ばれる。また、特許文献１では、入力画像のアクティビティに併せて予測画像のアクティビティを用いる適応量子化方式が提案されている。また、特許文献２では、エッジ部を考慮したアクティビティに基づく適応量子化方式が提案されている。

【0040】

視覚感度適応量子化技術を用いるときに、画像フレーム内で、頻繁に量子化ステップサイズの変動が発生することが問題になる。ＡＶＣに従うビットストリームを生成する一般的な映像符号化装置では、量子化ステップサイズを符号化するにあたって、直前に符号化した画像ブロックに対する量子化ステップサイズとの差分をエントロピー符号化する。従って、符号化順序方向に対する量子化ステップサイズの変動が大きくなると、量子化ステップサイズの符号化に要する符号量が増加する。その結果、相対的に係数画像の符号化に割り当てられる符号量が減少して、画質が劣化してしまう。

【0041】

符号化順序方向は画面上の視覚感度の連続性とは無関係であるため、視覚感度適応量子化技術は、必然的に量子化ステップサイズの符号化に要する符号量を増加させる。ゆえに、一般的な映像符号化装置では、視覚感度適応量子化技術を用いても、量子化ステップサイズの符号量増加に伴う画質劣化が、適応量子化技術による主観画質向上分を打ち消してしまう場合がある。すなわち、十分な画質向上を達成できないという問題がある。

【0042】

この問題に対して、特許文献３には、視覚感度に応じて量子化ステップサイズを適応設定する代わりに、空間領域及び周波数領域での視覚感度に応じて、ゼロに量子化する範囲すなわちデッドゾーンを適応設定する技術が開示されている。特許文献３に記載された方式は、視覚感度が低いと判定された変換係数に対するデッドゾーンを、視覚感度が高いと判定された変換係数に対するデッドゾーンよりも広くする。そのような制御が行われることによって、量子化ステップサイズを変動させることなく、視覚感度適応量子化を行うことができる。

【先行技術文献】

【特許文献】

【0043】

【特許文献1】特許２６４６９２１号公報

【特許文献2】特許４５２９９１９号公報

【特許文献3】特許４６１３９０９号公報

【非特許文献】

【0044】

【非特許文献1】ISO/IEC 14496-10 Advanced Video Coding

【非特許文献2】”WD1: Working Draft 1 of High-Efficiency Video Coding”, Document JCTVC-C403, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 3rd Meeting at Guangzhou, China, October 2010.

【発明の概要】

【発明が解決しようとする課題】

【0045】

しかし、特許文献３に記載された技術を用いると、デッドゾーンの範囲に収まらない変換係数に対しては、視覚感度に適応した量子化を行うことができない。すなわち、視覚感度が低いと判定されても、デッドゾーンの範囲に収まらない変換係数に対しては係数符号量を削減することができない。また、量子化ステップサイズを拡大した場合には、量子化後の変換係数値はゼロ付近に集中するが、デッドゾーンを拡大した場合には、デッドゾーンの範囲に収まらない変換係数は量子化してもゼロ付近に集中しなくなる。すなわち、デッドゾーンを拡大した場合には、量子化ステップサイズを拡大した場合と比較して、エントロピー符号化による符号化効率が不十分となる。こうした理由により、一般的な符号化技術には、視覚感度が高い領域に対する符号量割当てを十分に増加させることができないという問題があるといえる。

【0046】

本発明は上記の課題に鑑みてなされた発明であって、第１の目的は、符号量増加を抑えつつ量子化ステップサイズを頻繁に変動させることを可能とし、高画質な動画像符号化を行う映像符号化装置及び映像符号化方法を提供することである。また、本発明の第２の目的は、高画質な動画像の再生が可能な映像復号装置及び映像復号方法を提供することである。

【課題を解決するための手段】

【0047】

本発明による映像符号化装置は、入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であって、量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段を備え、量子化ステップサイズ符号化手段は、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズ、または、直前に符号化した画像ブロックに割り当てられた量子化ステップサイズを選択的に用いて量子化ステップサイズを予測することを特徴とする。

【0048】

本発明による映像復号装置は、入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、画像ブロックの集合として画像データの生成処理を行う映像復号装置であって、逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段を備え、量子化ステップサイズ復号手段は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズ、または、直前に復号した画像ブロックに割り当てられた量子化ステップサイズを選択的に用いて量子化ステップサイズを予測することを特徴とする。

【0049】

本発明による映像符号化方法は、入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化方法であって、量子化の粒度を制御する量子化ステップサイズを、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズ、または、直前に符号化した画像ブロックに割り当てられた量子化ステップサイズを選択的に用いて予測することを特徴とする。

【0050】

本発明による映像復号方法は、入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、画像ブロックの集合として画像データの生成処理を行う映像復号方法であって、逆量子化の粒度を制御する量子化ステップサイズを、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズ、または、直前に復号した画像ブロックに割り当てられた量子化ステップサイズを選択的に用いて予測することを特徴とする。

【発明の効果】

【0051】

本発明によれば、映像符号化装置において、量子化ステップサイズを画像フレーム内で頻繁に変動させても、それに付随する発生符号量の増加を抑えることができる。換言すれば、より少ない符号量で量子化ステップサイズの符号化を行える。従って、視覚感度適応量子化による主観画質の向上分が打ち消されるという問題が解消される。すなわち、高画質な動画像符号化が実現できる。さらに、本発明によれば、映像復号装置において、少量の符号を受信するだけで頻繁に変動する量子化ステップサイズを復号することができるので、少ない符号量で高画質な動画像の再生を行える。

【図面の簡単な説明】

【0052】

【図1】本発明の第１の実施形態の映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。

【図2】符号化対象の画像ブロックと近傍画像ブロックとの一例を示す説明図である。

【図3】本発明の第２の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。

【図4】本発明の第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。

【図5】本発明の第４の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。

【図6】フレーム内予測の予測方向を示す説明図である。

【図7】フレーム間予測の例を示す説明図である。

【図8】本発明の第３の実施形態の映像符号化装置におけるフレーム間予測の動きベクトルを用いた量子化ステップサイズ予測の例を示す説明図である。

【図9】本発明による他の映像符号化装置の構成を示すブロック図である。

【図10】本発明による他の映像符号化装置における特徴的な構成要素を示すブロック図である。

【図11】量子化ステップサイズ予測パラメータの多重化の例を示したリストを示す説明図である。

【図12】本発明による他の映像復号装置の構成を示すブロック図である。

【図13】本発明による他の映像復号装置における特徴的な構成要素を示すブロック図である。

【図14】本発明の第７の実施形態の量子化ステップサイズ符号化器を示すブロック図である。

【図15】本発明の第８の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。

【図16】本発明による映像符号化装置および映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。

【図17】本発明による映像符号化装置における特徴的な構成要素を示すブロック図である。

【図18】本発明による他の映像符号化装置における特徴的な構成要素を示すブロック図である。

【図19】本発明による映像復号装置における特徴的な構成要素を示すブロック図である。

【図20】本発明による他の映像復号装置における特徴的な構成要素を示すブロック図である。

【図21】本発明による映像符号化方法における特徴的なステップを示すフローチャートである。

【図22】本発明による映像復号方法における特徴的なステップを示すフローチャートである。

【図23】ブロック分割の例を示す説明図である。

【図24】映像符号化装置の構成の一例を示すブロック図である。

【図25】一般的な映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。

【図26】映像復号装置の構成の一例を示すブロック図である。

【図27】一般的な映像復号装置における量子化ステップサイズ符号化器を示すブロック図である。

【発明を実施するための形態】

【0053】

以下、本発明の実施形態について、図面を参照して説明する。

【0054】

実施形態１．
本発明の第１の実施形態の映像符号化装置は、図２４に示された映像符号化装置と同様に、周波数変換器１０１と、量子化器１０２と、可変長符号化器１０３と、量子化制御器１０４と、逆量子化器１０５と、逆周波数変換器１０６と、フレームメモリ１０７と、フレーム内予測器１０８と、フレーム間予測器１０９と、予測選択器１１０とを備える。しかし、可変長符号化器１０３に含まれている量子化ステップサイズ符号化器の構成は、図２５に示された構成とは異なる。

【0055】

図１は、本発明の第１の実施形態の映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。図１に示すように、本実施形態における量子化ステップサイズ符号化器は、図２５に示された量子化ステップサイズ符号化器と比較すると、予測量子化ステップサイズ生成器１０３１３を含む点が異なる。

【0056】

量子化ステップサイズバッファ１０３１１は、過去に符号化した画像ブロックに対して割り当てた量子化ステップサイズを蓄積し、保持する。

【0057】

予測量子化ステップサイズ生成器１０３１３は、過去に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを量子化ステップサイズバッファから取り出し、予測量子化ステップサイズを生成する。

【0058】

入力量子化ステップサイズは、予測量子化ステップサイズ生成器１０３１３から供給される予測量子化ステップサイズを減じられた後、差分量子化ステップサイズとして、エントロピー符号化器１０３１２に入力される。

【0059】

エントロピー符号化器１０３１２は、入力された差分量子化ステップサイズをエントロピー符号化し、量子化ステップサイズに対応した符号として出力する。

【0060】

このように構成することによって、量子化ステップサイズの符号化に要する符号量を削減することができ、その結果、高画質な動画像符号化を実現できる。その理由は、予測量子化ステップサイズ生成器１０３１３が、符号化順序に依存しない近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成するので、エントロピー符号化器１０３１２に入力される差分量子化ステップサイズの絶対量を小さくすることができるからである。近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成するとエントロピー符号化器１０３１２に入力される差分量子化ステップサイズの絶対量を小さくすることができる理由は、動画像には一般に近傍画素間の相関性があるために、視覚感度適応量子化を用いた場合には、相関性の高い近傍画像ブロックに対しては割り当てられる量子化ステップサイズの類似度が高くなるからである。

【0061】

第１の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、具体例を用いて以下で説明する。

【0062】

本例では、符号化単位となる画像ブロックは固定サイズであるとする。量子化ステップサイズの予測に用いる近傍画像ブロックとして、同一画像フレーム内の左、上、右斜め上にそれぞれ隣接する３つの画像ブロックを用いることとする。

【0063】

現在符号化対象の画像ブロックをＸとし、３つの近傍画像ブロックＡ，Ｂ，Ｃがそれぞれ、図２に示すように、画像ブロックＸに対して左、上、右斜め上に隣接する位置にあるとする。任意のブロックＺにおける量子化ステップサイズをQ(Z)、予測量子化ステップサイズをpQ(Z) とするとき、予測量子化ステップサイズ生成器１０３１３は、予測量子化ステップサイズpQ(X) を、以下の（３）式により求める。

【0064】

pQ(X) = Median(Q(A),Q(B),Q(C)) ・・・（３）
ただし、Median(x, y, z) は、x, y, z の３つの値から中間値を求める関数である。

【0065】

エントロピー符号化器１０３１２は、以下の（４）式により得られた差分量子化ステップサイズdQ(X) を、エントロピー符号の１つである符号付きExp-Golomb（Exponential-Golomb）符号を用いて符号化し、当該画像ブロックに対する量子化ステップサイズに対応する符号として出力する。

【0066】

dQ(X) = Q(X) − pQ(X) ・・・（４）

【0067】

本例では、量子化ステップサイズの予測に利用する近傍画像ブロックとして、同一画像フレーム内の左、上、右斜め上にそれぞれ隣接する３つの画像ブロックを用いた。しかし、近傍画像ブロックはそれに限定されず、例えば、左、上、左斜め上にそれぞれ隣接する画像ブロックを用い、以下の（５）式によって予測量子化ステップサイズを求めてもよい。

【0068】

pQ(X) = Median(Q(A), Q(B), Q(D)) ・・・（５）

【0069】

なお、予測に用いる画像ブロックは、３つではなく任意の個数であってよく、また、予測に用いる演算として、中間値ではなく例えば平均値などを用いてもよい。さらに、予測に用いる画像ブロックは、必ずしも現符号化対象画像ブロックに隣接している必要はなく、現符号化対象画像ブロックから所定の距離分離れていてもよい。また、さらに、予測に用いる画像ブロックは、空間近傍すなわち同一画像フレーム内の画像ブロックに限定されず、時間近傍すなわち既に符号化された他の画像フレーム内の画像ブロックであってもよい。

【0070】

また、本例では、符号化対象画像ブロックと近傍画像ブロックとが同じ固定サイズである場合を仮定したが、本発明は固定サイズである場合に限定されず、符号化の単位となるブロックは可変サイズであってもよい。

【0071】

また、本例では、符号化対象画像ブロックの量子化ステップサイズと予測量子化ステップサイズとの差分を符号化する際に、Exp-Golomb符号に基づいて符号化する例を示したが、本発明はExp-Golomb符号の使用に限定されず、他のエントロピー符号に基づいて符号化してもよい。例えば、ハフマン符号や算術符号などに基づく符号化を行ってもよい。

【0072】

以上で、本発明の第１の実施形態の映像符号化装置の説明を終了する。

【0073】

実施形態２．
本発明の第２の実施形態の映像復号装置は、図２６に示された映像復号装置と同様に、可変長復号器２０１と、逆量子化器２０２と、逆周波数変換器２０３と、フレームメモリ２０４と、フレーム内予測器２０５と、フレーム間予測器２０６と、予測選択器２０７とを備える。しかし、可変長復号器２０１に含まれている量子化ステップサイズ復号器の構成は、図２７に示された構成とは異なる。

【0074】

図３は、本発明の第２の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。図３に示すように、本実施形態における量子化ステップサイズ復号器は、図２７に示された量子化ステップサイズ復号器と比較すると、予測量子化ステップサイズ生成器２０１１３を含む点が異なる。

【0075】

エントロピー復号器２０１１１は、入力された符号をエントロピー復号し、差分量子化ステップサイズを出力する。

【0076】

量子化ステップサイズバッファ２０１１２は、過去に復号した量子化ステップサイズを蓄積し、保持する。

【0077】

予測量子化ステップサイズ生成器２０１１３は、過去に復号済みの量子化ステップサイズのうち、現在の復号対象画像ブロックの近傍画素ブロックに対応する量子化ステップサイズを量子化ステップサイズバッファから取り出し、予測量子化ステップサイズを生成する。具体的には、例えば、第１の実施形態の映像符号化装置の具体例における予測量子化ステップサイズ生成器１０３１３と同じ動作を行う。

【0078】

エントロピー復号器２０１１１により生成された差分量子化ステップサイズは、予測量子化ステップサイズ生成器２０１１３から供給される予測量子化ステップサイズを加算された後、量子化ステップサイズとして出力されるとともに、量子化ステップサイズバッファ２０１１２に入力される。

【0079】

このように量子化ステップサイズ復号器を構成することによって、映像復号装置はより少ない符号量を受信するだけで量子化ステップサイズを復号できる。その結果、高画質な動画像を復号し再生できる。その理由は、予測量子化ステップサイズ生成器２０１１３が、復号順序に依存しない近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成することによって、予測量子化ステップサイズは実際に割り当てられる量子化ステップサイズに近くなるので、エントロピー復号器２０１１１はゼロに近い差分量子化ステップサイズを復号すればよいからである。近傍画像ブロックの量子化ステップサイズを用いて予測量子化ステップサイズを生成することによって実際に割り当てられる量子化ステップサイズに近い予測量子化ステップサイズが得られる理由は、動画像には一般に近傍画素間の相関性があり、視覚感度適応量子化を用いた場合には、相関性の高い近傍画像ブロックに対しては割り当てられる量子化ステップサイズの類似度が高くなるからである。

【0080】

以上で、本発明の第２の実施形態の映像復号装置の説明を終了する。

【0081】

実施形態３．
本発明の第３の実施形態の映像符号化装置は、本発明の第１の実施形態の映像符号化装置と同様に、図２４に図示されるように、周波数変換器１０１と、量子化器１０２と、可変長符号化器１０３と、量子化制御器１０４と、逆量子化器１０５と、逆周波数変換器１０６と、フレームメモリ１０７と、フレーム内予測器１０８と、フレーム間予測器１０９と、予測選択器１１０とを備える。しかし、可変長符号化器１０３に含まれている量子化ステップサイズ符号化器の構成は、図２５に示された構成とは異なる。

【0082】

図４は、本発明の第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器を示すブロック図である。図４に示すように、本発明の第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器の構成は、図１に示した量子化ステップサイズ符号化器の構成と同じである。しかし第３の実施形態では、予測量子化ステップサイズ生成器１０３１３に対して、図２４に示される予測選択器１１０から、画像予測に用いたパラメータが供給される点と、予測量子化ステップサイズ生成器１０３１３の動作とが第１の実施形態とは異なる。

【0083】

量子化ステップサイズバッファ１０３１１及びエントロピー符号化器１０３１２の動作は、第１の実施形態の映像符号化装置における量子化ステップサイズ符号化器の場合と同じであるため、ここでは説明を省略する。

【0084】

予測量子化ステップサイズ生成器１０３１３は、過去に符号化済みの画像ブロックの中から、量子化ステップサイズの予測に用いる画像ブロックを、画像予測パラメータを用いて選択する。予測量子化ステップサイズ生成器１０３１３は、選択された画像ブロックに対応する量子化ステップサイズから、予測量子化ステップサイズを生成する。

【0085】

このように構成することによって、映像符号化装置は、第１の実施形態の映像符号化装置に比べて、量子化ステップサイズの符号化に要する符号量をさらに削減することができる。その結果、高画質な動画像符号化を実現できる。その理由は、予測量子化ステップサイズ生成器１０３１３が、画像予測パラメータを用いて量子化ステップサイズの予測を行うので、該画像ブロックに対してより相関性の高い近傍画像ブロックから量子化ステップサイズを予測できるからである。

【0086】

実施形態４．
本発明の第４の実施形態の映像復号装置は、本発明の第２の実施形態の映像復号装置と同様に、図２６に図示されるように、可変長復号器２０１と、逆量子化器２０２と、逆周波数変換器２０３と、フレームメモリ２０４と、フレーム内予測器２０５と、フレーム間予測器２０６と、予測選択器２０７とを備える。しかし、可変長復号器２０１に含まれている量子化ステップサイズ復号器の構成は、図２７に示された構成とは異なる。

【0087】

図５は、本発明の第４の実施形態の映像復号装置における量子化ステップサイズ復号器を示すブロック図である。図５に示すように、本発明の第４の実施形態の映像復号装置における量子化ステップサイズ復号器の構成は、図３に示された量子化ステップサイズ復号器の構成と同じである。しかし、第４の実施形態では、予測量子化ステップサイズ生成器２０３１３に対して、図２６に示される予測選択器２０７から、画像予測に用いたパラメータが供給される点と、予測量子化ステップサイズ生成器２０１１３の動作とが第２の実施形態とは異なる。

【0088】

エントロピー復号器２０１１１及び量子化ステップサイズバッファ２０１１２の動作は、第２の実施形態の映像復号装置における量子化ステップサイズ復号器の場合との動作と同じであるため、ここでは説明を省略する。

【0089】

予測量子化ステップサイズ生成器２０１１３は、過去に復号済みの画像ブロックの中から、量子化ステップサイズの予測に用いる画像ブロックを、画像予測パラメータを用いて選択する。予測量子化ステップサイズ生成器２０１１３は、選択された画像ブロックに対応する量子化ステップサイズから、予測量子化ステップサイズを生成する。生成された予測量子化ステップサイズは、エントロピー復号器２０１１１より出力される差分量子化ステップサイズが加算された後、量子化ステップサイズとして出力されるとともに、量子化ステップサイズバッファ２０１１２に入力される。

【0090】

予測量子化ステップサイズ生成器２０１１３における予測量子化ステップサイズの導出方法は、上述した第３の実施形態の映像符号化装置における予測量子化ステップサイズ生成器１０３１３での予測量子化ステップサイズの生成方法と同じであるので、ここでは説明を省略する。

【0091】

このように構成することによって、映像復号装置は、第２の実施形態の映像復号装置と比べて、さらに少ない符号量を受信するだけで量子化ステップサイズを復号できる。その結果、高画質な動画像を復号し再生できる。その理由は、予測量子化ステップサイズ生成器２０１１３が、画像予測パラメータを用いて量子化ステップサイズの予測を行うので、該画像ブロックに対してより相関性の高い近傍画像ブロックから量子化ステップサイズを予測できるからである。

【0092】

［実施例１］
上述した第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、実施例を用いて以下で説明する。

【0093】

本実施例では、量子化ステップサイズの予測に用いる画像予測パラメータとして、フレーム内予測の予測方向を利用する。また、フレーム内予測として、非特許文献１に記載されているＡＶＣにおいて４×４画素ブロック及び８×８画素ブロックで用いられている８方向の方向予測と平均予測（図６に図示される）を用いる。

【0094】

符号化単位となる画像ブロックは固定サイズであると仮定する。また、量子化ステップサイズを決定する単位となるブロック（量子化ステップサイズ伝送ブロックと呼ぶ）と、フレーム内予測の単位となるブロック（予測ブロックと呼ぶ）は同じサイズであると仮定する。現在符号化対象の現在符号化対象の画像ブロックをＸとする。４つの近傍ブロックＡ，Ｂ，Ｃ，Ｄが図２に示される位置関係にあるとする。予測量子化ステップサイズ生成器１０３１３は、予測量子化ステップサイズpQ(X) を、以下の（６）により求める。

【0095】

pQ(X) = pQ(B); if m=０
pQ(X) = pQ(A); if m=１
pQ(X) = (pQ(A)+pQ(B)+1)/2; if m=２
pQ(X) = pQ(C); if m=３
pQ(X) = pQ(D); if m=４
pQ(X) = (pQ(C)+pQ(D)+1)/2; if m=５
pQ(X) = (pQ(A)+pQ(D)+1)/2; if m=６
pQ(X) = (pQ(B)+pQ(D)+1)/2; if m=７
pQ(X) = pQ(A); if m=８
・・・（６）
ただし、mは、図６に示されるフレーム内予測方向インデックスである。

【0096】

エントロピー符号化器１０３１２は、量子化ステップサイズQ(X)と予測量子化ステップサイズpQ(X) とを（４）式に適用して差分量子化ステップサイズdQ(X) をえる。エントロピー符号化器１０３１２は、得られた差分量子化ステップサイズdQ(X) を、エントロピー符号の１つである符号付きExp-Golomb符号を用いて符号化した後、当該画像ブロックに対する量子化ステップサイズに対応する符号として出力する。

【0097】

なお、本実施例では、フレーム内予測として、８方向の方向予測と平均予測とを用いたが、本発明はそれらに限定されない。例えば、非特許文献２に記載されている３３方向の方向予測と平均予測などを用いてもよいし、また別の任意のフレーム内予測を用いてもよい。

【0098】

また、予測に用いる画像ブロックは、４つではなく任意であってよい。さらに、本実施例では、予測量子化ステップサイズとして、前記（６）式に示したように、いずれか１つの画像ブロックにおける量子化ステップサイズ又は２つの画像ブロックにおける量子化ステップサイズの平均値のいずれかを用いた。しかし、本発明は前記（６）式に限定されるものではなく、他の演算結果を予測量子化ステップサイズとしてもよい。例えば、以下の（７）式に示すようにいずれか１つの画像ブロックにおける量子化ステップサイズ又は３つの量子化ステップサイズの中間値のいずれかを用いてもよいし、また別の任意の演算を用いて予測量子化ステップサイズを求めてもよい。さらに、予測に用いる画像ブロックは、必ずしも現符号化対象画像ブロックに隣接している必要はなく、現符号化対象画像ブロックから所定の距離分離れていてもよい。

【0099】

pQ(X) = pQ(B); if m=０, ５ or ７
pQ(X) = pQ(A); if m=１, ６ or ８
pQ(X) = pQ(C); if m=３
pQ(X) = pQ(D); if m=４
pQ(X) = Median(pQ(A), pQ(B), Q(C)); if m=２
・・・（７）

【0100】

また、本実施例では、符号化対象画像ブロックと近傍画像ブロックとが同じ固定サイズである場合を仮定したが、本発明は固定サイズに限定されず、符号化の単位となるブロックは可変サイズであってもよい。

【0101】

また、本実施例では、量子化ステップサイズ伝送ブロックと、予測ブロックとが同じサイズであると仮定したが、本発明は同じサイズである場合に限定されず、量子化ステップサイズ伝送ブロックと予測ブロックとが異なるサイズであってもよい。例えば、量子化ステップサイズ伝送ブロックに複数の予測ブロックが含まれる場合には、該複数の予測ブロックのうちいずれか１つの予測ブロックにおける予測方向を、量子化ステップサイズの予測に用いてもよい。又は、複数の予測ブロックの予測方向に対して中間値演算や平均値演算などの任意の演算を加えた結果を、量子化ステップサイズの予測に用いてもよい。

【0102】

また、本実施例では、符号化対象画像ブロックの量子化ステップサイズと予測量子化ステップサイズとの差分を符号化するにあたって、Exp-Golomb符号に基づいて符号化する例を示したが、本発明はExp-Golomb符号の使用に限定されず、他のエントロピー符号に基づいて符号化してもよい。例えば、ハフマン符号や算術符号などに基づく符号化を行ってもよい。

【0103】

［実施例２］
上述した第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、他の実施例を用いて以下に説明する。

【0104】

本実施例では、量子化ステップサイズの予測に用いる画像予測パラメータとして、フレーム間予測の動きベクトルを利用する。フレーム間予測として、図７に示されるようにブロック単位の平行移動によって定義される予測を仮定する。参照フレーム内で、符号化対象ブロックと同一の空間位置から動きベクトル分の変位を加えた位置にある画像ブロックから、予測画像が生成されるものとする。また、フレーム間予測として、図７に図示されるように、単一参照フレームからの予測すなわち片方向予測を仮定する。また、本実施例では、量子化ステップサイズ伝送ブロックと、予測ブロックとは同じサイズであると仮定する。

【0105】

ここで、符号化対象ブロックをＸ、ブロックＸの中心位置をcent(X) 、Ｘのフレーム間予測における動きベクトルをV(X)、フレーム間予測で参照する参照フレームをRefPic(X) とする。そして、図８に示すように、フレームRefPic(X) において位置cent(X)+V(X)が属するブロックをBlock(RefPic(X),cent(X)+V(X)) と表記する。予測量子化ステップサイズ生成器１０３１３は、予測量子化ステップサイズpQ(X) を、以下の（８）式により求める。

【0106】

pQ(X) = Q(Block(RefPic(X), cent(X)+V(X)) ・・・（８）

【0107】

dQ(X) の導出とエントロピー符号化器１０３１２による符号化処理は、第１の実施例と同じである。

【0108】

なお、本実施例では、片方向予測を仮定したが、本発明は片方向予測の使用に限定されない。例えば、２枚の参照フレームにおける参照画像ブロックの重みづけ平均によって予測画像を生成する双方向予測の場合には、１枚目の参照フレームをRefPic0(X)、RefPic0(X)に対する動きベクトルをV0(X) 、もう１枚の参照フレームをRefPic1(X)、RefPic1(X)に対する動きベクトルをV1(X) とし、予測画像生成時のRefPic0(X)に対する重みをw0、RefPic1(X)に対する重みをw1として、予測量子化ステップサイズ生成器１０３１３は、予測量子化ステップサイズpQ(X) を、以下の（９）式により求めてもよい。

【0109】

pQ(X) = w0 Q(Block(RefPic0(X)， cent(X)+V0(X)) + w1 Q(Block(RefPic1(X), cent(X)+V1(X)) ・・・（９）

【0110】

また、本実施例では、参照画像ブロックの中心位置が属するブロックの量子化ステップサイズを予測量子化ステップサイズとして用いたが、予測量子化ステップサイズは、それに限定されない。例えば、参照画像ブロックの左上位置が属するブロックの量子化ステップサイズを予測量子化ステップサイズとして用いてもよい。また、参照画像ブロックの全画素が属するブロックの量子化ステップサイズをそれぞれ参照し、それらの量子化ステップサイズの平均値を予測量子化ステップサイズとして用いてもよい。

【0111】

また、本実施例では、フレーム間予測としてブロック間の平行移動によって表される予測を仮定したが、参照画像ブロックは、それに限定されず、任意の形状であってよい。

【0112】

また、本実施例では、量子化ステップサイズ伝送ブロックと、予測ブロックとは同じサイズであると仮定したが、上述した第３の実施形態の映像符号化装置における第１の実施例と同様に、量子化ステップサイズ伝送ブロックと予測ブロックは互いに異なるサイズであってもよい。

【0113】

［実施例３］
上述した第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、別の実施例を用いて以下に説明する。

【0114】

本実施例では、量子化ステップサイズの予測に用いる画像予測パラメータとして、フレーム間予測の動きベクトルの予測、すなわち予測動きベクトルを利用する。予測動きベクトルが該符号化対象ブロックの近傍画像ブロックより導出される場合に、予測動きベクトルの導出に用いた近傍画像ブロックの量子化ステップサイズを用いて、該符号化対象ブロックの動きベクトルを予測する。

【0115】

本実施例では、量子化ステップサイズ伝送ブロックと、予測ブロックとは同じサイズであると仮定する。また、フレーム間予測として、上述した第３の実施形態の映像符号化装置における第２の実施例と同様に、動きベクトルによって表される片方向予測を仮定する。また、本実施例では、図７に示される動きベクトルから、所定の方法により導出される予測動きベクトルが減じられ、その差分がエントロピー符号化される。所定の予測動きベクトル導出方法として、非特許文献２の”8.4.2.1.4 Derivation process for luma motion vector prediction”に記載の予測動きベクトル導出方法を用いる。

【0116】

ここで、本実施例で用いる予測動きベクトル導出方法について簡単に説明する。符号化対象ブロックをＸとし、図２に示されるように、左、上、右上、左上、左下に隣接するブロックをそれぞれＡ， Ｂ， Ｃ， Ｄ， Ｅと表記する。ブロックＡの動きベクトルをmvA 、ブロックＢの動きベクトルをmvB とする。また、ブロックＣが画像内に存在し既に符号化済みである場合ブロックＣの動きベクトルをmvC とし、それ以外の場合でブロックＤが画像内に存在し既に符号化済みである場合ブロックＤの動きベクトルをmvC とし、さらにそれ以外の場合はブロックＥの動きベクトルをmvC とする。

【0117】

また、以下の（１０）式によって求められる動きベクトルをmvMed とし、該符号化対象画像フレームに割り当てられた参照フレーム上で該符号化対象ブロックと同一空間位置にあるブロック（図８に、符号化対象ブロックＸに対する同位相ブロックXColとして図示される。）の動きベクトルをmvCol とする。割り当てられた参照フレームとは、例えば、該符号化対象画像フレームの直前に符号化された画像フレームを指す。

【0118】

mvMed = (mvMedx, mvMedy)
mvMedx = Median(mvAx, mvBx, mvCx)
mvMedy = Median(mvAy, mvBy, mvCy)
・・・（１０）

【0119】

上述したように求められるmvMed ，mvA ，mvB ，mvC ，mvCol の５つが、符号化対象ブロックＸにおける予測動きベクトルの候補となる。この中から、所定の優先順位に従って、いずれか１つの動きベクトルが選ばれ、該符号化対象ブロックの予測動きベクトルpMV(X)とされる。所定の優先順位の一例が、非特許文献２の”8.4.2.1.4 Derivation process for luma motion vector prediction”ならびに”8.4.2.1.8 Removal process for motion vector prediction”に記載されている。

【0120】

上記のように予測動きベクトルpMV(X)が求められるとき、予測量子化ステップサイズ生成器１０３１３は、符号化対象ブロックＸの予測量子化ステップサイズpQ(X) を、以下の（１１）式により求める。

【0121】

pQ(X) = Q(A); if pMV(X) = mvA
pQ(X) = Q(B); otherwise if pMV(X) = mvB
pQ(X) = Q(Ｃ); otherwise if pMV(X) = mvＣ かつ mvＣはブロックＣの動きベクトル
pQ(X) = Q(D); otherwise if pMV(X) = mvC かつ mvCはブロックＤの動きベクトル
pQ(X) = Q(E); otherwise if pMV(X) = mvC かつ mvCはブロックＥの動きベクトル
pQ(X) = Q(XCol); otherwise if pMV(X) = mvCol
pQ(X) = Median(Q(A), Q(B), Q(C)); otherwise
・・・（１１）

【0122】

なお、本実施例では、片方向予測を仮定したが、本発明は片方向予測の使用に限定されず、上述した第３の実施形態の映像符号化装置における第２の実施例と同様に、双方向予測に対しても適用可能である。

【0123】

また、本実施例では、予測動きベクトルの導出方法として、非特許文献２の”8.4.2.1.4 Derivation process for luma motion vector prediction”に記載の予測動きベクトル導出方法を用いたが、本発明はそれに限定されない。例えば、非特許文献２の”8.4.2.1.3 Derivation process for luma motion vectors for merge mode” に記載されているように、符号化対象ブロックＸの動きベクトルがブロックＡとブロックＢのいずれかの動きベクトルによって予測されるとき、予測量子化ステップサイズ生成器１０３１３は、該符号化対象ブロックＸの予測量子化ステップサイズpQ(X) を、以下の（１２）式により求めてもよい。また、他の任意の予測動きベクトル導出方法を用いてもよい。

【0124】

pQ(X) = Q(A); if pMV(X) = mvA
pQ(X) = Q(B); otherwise
・・・（１２）

【0125】

また、本実施例では、（１１）式に示したように、ブロックＡ，Ｂ，Ｃ，Ｄ， Ｅ，XColの順で量子化ステップサイズの予測に用いる画像ブロックを参照したが、本発明はその順序に限定されず、任意の順序を用いてよい。また、量子化ステップサイズの予測に用いる画像ブロックの数や位置に関しても任意の画像ブロックの数や位置を用いてよい。さらに、本実施例では、pMV(X)がmvＡ ，mvB ，mvC ，mvCol のいずれにも一致しない場合には（３）式と同様に中間値演算を用いたが、中間値演算の使用に限定されず、第１の実施形態と同様に、平均値演算など任意の演算を用いてもよい。

【0126】

また、本実施例では、量子化ステップサイズ伝送ブロックと、予測ブロックとは同じサイズであると仮定したが、上述した第３の実施形態の映像符号化装置における第１の実施例および第２の実施例と同様に、量子化ステップサイズ伝送ブロックと予測ブロックは互いに異なるサイズであってもよい。

【0127】

実施形態５．
図９は、本発明の第５の実施形態の映像符号化装置の構成を示すブロック図である。また、図１０は、本実施形態の映像符号化装置における量子化ステップサイズ符号化器の構成を示すブロック図である。

【0128】

図９に示されるように、本実施形態の映像符号化装置は、図２４に示された映像符号化装置と比較すると、量子化ステップサイズ予測制御器１１１及び多重化器１１２を含む点が異なる。なお、上述したように、図２４に示された映像符号化装置は、第３の実施形態の映像符号化装置でもある。

【0129】

さらに、図１０に示されるように、本実施形態の映像符号化装置の可変長符号化器１０３において量子化ステップサイズの符号化を行う量子化ステップサイズ符号化器は、図４に示した量子化ステップサイズ符号化器と比較すると、予測量子化ステップサイズ生成器１０３１３に対して、図９に示される量子化ステップサイズ予測制御器１１１から量子化ステップサイズ予測パラメータが供給される点と、予測量子化ステップサイズ生成器１０３１３の動作とが、第３の実施形態とは異なる。

【0130】

量子化ステップサイズ予測制御器１１１は、予測量子化ステップサイズ生成器１０３１３における量子化ステップサイズ予測動作を規定する制御情報を、可変長符号化器１０３及び多重化器１１２に供給する。量子化ステップサイズ予測動作を規定する制御情報を、量子化ステップサイズ予測パラメータと呼ぶ。

【0131】

多重化器１１２は、可変長符号化器１０３より供給される映像ビットストリームに、上記量子化ステップサイズ予測パラメータを多重化して、ビットストリームとして出力する。

【0132】

予測量子化ステップサイズ生成器１０３１３は、過去に符号化済みの画像ブロックの中から、量子化ステップサイズの予測に用いる画像ブロックを、画像予測パラメータと量子化ステップサイズ予測パラメータとを用いて選択する。予測量子化ステップサイズ１０３１３は、さらに、選択された画像ブロックに対応する量子化ステップサイズから、予測量子化ステップサイズを生成する。

【0133】

このように構成することによって、第３の実施形態の映像符号化装置と比較すると、本実施形態の映像符号化装置は、量子化ステップサイズの符号化に要する符号量をさらに削減することができる。その結果、高画質な動画像符号化を実現できる。その理由は、予測量子化ステップサイズ生成器１０３１３が、画像予測パラメータに加えて量子化ステップサイズ予測パラメータを用いることにより、画像予測パラメータを用いた量子化ステップサイズの予測値の切替え又は補正を行うので、該画像ブロックに対してより高い精度で量子化ステップサイズを予測できるからである。量子化ステップサイズ予測パラメータによる切替えまたは補正によってさらに高い精度で量子化ステップサイズを予測できる理由は、図９に示された量子化制御器１０４が、人間の視覚感度だけによらず、可変長符号化器１０３の出力符号量を監視して、量子化ステップサイズを増減させることがあるので、同じ視覚感度を持つ画像ブロックに対しても、与えるべき量子化ステップサイズが変化しうるからである。

【0134】

上述した第５の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、具体例を用いて以下で説明する。

【0135】

本例では、量子化ステップサイズの予測に用いる画像予測パラメータとして、上述した第３の実施形態の映像符号化装置における第２の実施例と同様に、フレーム間予測の動きベクトルを利用する。フレーム間予測として、図７に示されるように、ブロック単位の平行移動によって定義される予測を仮定する。そして、参照フレーム内で、符号化対象ブロックと同一の空間位置から動きベクトル分の変位を加えた位置にある画像ブロックから、予測画像が生成されるものとする。また、フレーム間予測として、図７に示されるように、単一参照フレームからの予測すなわち片方向予測を仮定する。また、本実施例では、量子化ステップサイズ伝送ブロックと、予測ブロックとは同じサイズであると仮定する。

【0136】

ここで、符号化対象ブロックをＸ、符号化対象フレームをPic(X)、ブロックＸの中心位置をcent(X)、Ｘのフレーム間予測における動きベクトルをV(X)、フレーム間予測で参照する参照フレームをRefPic(X)とする。そして、図８に示すように、フレームRefPic(X)において位置cent(X)+V(X)が属するブロックをBlock(RefPic(X), cent(X)+V(X))と表記する。さらに、３つの近傍画像ブロックＡ，Ｂ，Ｃがそれぞれ、図２に示すように、ブロックＸに対して左、上、右斜め上に隣接する位置にあるとする。このとき、予測量子化ステップサイズ生成器１０３１３は、予測量子化ステップサイズpQ(X)を、以下の（１３）式により求める。

【0137】

pQ(X) = Q(Block(RefPic(X), cent(X)+V(X)); if temporal_qp_pred_flag = １
pQ(X) = Median(pQ(A), pQ(B), Q(C)); otherwise
・・・（１３）

【0138】

ここで、temporal_qp_pred_flag は、量子化ステップサイズの予測においてフレーム間の動きベクトルの利用可否を切り替えるフラグを表す。量子化ステップサイズ予測制御器１１１によって、予測量子化ステップサイズ１０３１３に供給される。

【0139】

また、予測量子化ステップサイズ生成器１０３１３は、符号化対象フレームPic(X)と参照フレームRefPic(X)との間の量子化ステップサイズの変化を補償するためのオフセット値、すなわち量子化ステップサイズオフセットQofs(Pic(X), RefPic(X)) を用いて、予測量子化ステップサイズpQ(X) を、以下の（１４）式によって求めてもよい。

【0140】

pQ(X) = Q(Block(RefPic(X), cent(X)+V(X)) + Qofs(Pic(X), RefPic(X)) ・・・（１４）

【0141】

さらに、予測量子化ステップサイズ生成器１０３１３は、上述したtemporal_qp_pred_flag と量子化ステップサイズオフセットの双方を用いて、予測量子化ステップサイズpQ(X) を、以下の（１５）式によって求めてもよい。

【0142】

pQ(X) = Q(Block(RefPic(X), cent(X)+V(X)) + Qofs(Pic(X), RefPic(X)); if temporal_qp_pred_flag = １
pQ(X) = Median(pQ(A), pQ(B), Q(C)); otherwise
・・・（１５）

【0143】

上記の（１４）式および（１５）式における量子化ステップサイズオフセットQofs(Pic(X), RefPic(X)) を、例えば、任意のフレームＺの初期量子化ステップサイズをQinit(Z)と表すとき、以下の（１６）式により求めてもよい。

【0144】

Qofs(Pic(X), RefPic(X)) = Qinit(Pic(X)) − Qinit(RefPic(X)) ・・・（１６）

【0145】

初期量子化ステップサイズとは、各フレームに対する量子化ステップサイズの初期値として与えられる値であり、例えば、非特許文献１の”7.4.3 Slice header semantics”に記載のSliceQP_Yを用いてもよい。

【0146】

上述したtemporal_qp_pred_flag およびQofs(Pic(X), RefPic(X)) のいずれか又は双方の値を、例えば、非特許文献１の” Specification of syntax functions, categories, and descriptors” の記述に準じた図１１に示すリストに例示するように、ヘッダ情報の一部としてビットストリームに多重化してもよい。

【0147】

図１１に示すリストにおいて、qp_pred_offsetは、上記の（１４）式におけるQofsの値を表す。図１１に示すように、それぞれの参照フレームに対応するQofsの値としてqp_pred_offsetを複数多重化してもよいし、全ての参照フレームに対する共通のQofsの値として１つのqp_pred_offsetを多重化してもよい。

【0148】

なお、本実施例では、画像予測パラメータとしてフレーム間予測の動きベクトルを仮定した。しかし、本発明はフレーム間予測の動きベクトルの利用に限定されず、上述した第３の実施形態の映像符号化装置における第１の実施例と同様にイントラ予測の予測方向を利用して、量子化ステップサイズ予測においてイントラ予測の予測方向を利用するか否かを、上述したフラグにより切り替えてもよい。さらに、上述した第３の実施形態の映像符号化装置における第３の実施例と同様に、予測動きベクトルの予測方向を利用してもよいし、他の画像予測パラメータを用いてもよい。

【0149】

また、本実施例では、フレーム間予測として片方向予測を仮定した。しかし、上述した第３の実施形態の映像符号化装置における第２の実施例と同様に、本発明は片方向予測の使用に限定されず、双方向予測に対しても適用可能である。

【0150】

また、本実施例では、参照画像ブロックの中心位置が属するブロックの量子化ステップサイズを予測量子化ステップサイズとして用いた。しかし、本発明における予測量子化ステップサイズの導出は、それに限定されない。例えば、参照画像ブロックの左上位置が属するブロックの量子化ステップサイズを予測量子化ステップサイズとして用いてもよい。また、参照画像ブロックの全画素が属するブロックの量子化ステップサイズをそれぞれ参照し、それらの量子化ステップサイズの平均値を予測量子化ステップサイズとして用いてもよい。

【0151】

また、本実施例では、フレーム間予測として同一形状ブロック間の平行移動によって表される予測を仮定したが、本発明における参照画像ブロックは、それに限定されず、任意の形状であってよい。

【0152】

また、本実施例では、（１３）式及び（１５）式に示されるように、フレーム間予測情報を利用しない場合には３つの空間近傍画像ブロックから中間値演算に基づいて量子化ステップサイズを予測したが、本発明はそれらに限定されない。第１の実施の形態における具体例と同様に、予測に用いる画像ブロックの数は３つでなく任意の個数であってよいし、中間値演算の代わりに例えば平均値演算などを用いてもよい。さらに、予測に用いる画像ブロックは、必ずしも現符号化対象画像ブロックに隣接している必要はなく、現符号化対象画像ブロックから所定の距離分離れていてもよい。

【0153】

また、本実施例では、量子化ステップサイズ伝送ブロックと、予測ブロックとは同じサイズであると仮定したが、上述した第３の実施形態の映像符号化装置における第１の実施例と同様に、量子化ステップサイズ伝送ブロックと予測ブロックは互いに異なるサイズであってもよい。

【0154】

実施形態６．
図１２は、本発明の第６の実施形態の映像復号装置の構成を示すブロック図である。また、図１３は、本実施形態の映像復号装置における量子化ステップサイズ復号器の構成を示すブロック図である。

【0155】

図１２に示されるように、本実施形態の映像復号装置は、図２６に示された映像復号装置と比較すると、多重化解除器２０８及び量子化ステップサイズ予測制御器２０９を含む点が異なる。なお、上述したように、図２６に示された映像復号装置は、第４の実施形態の映像復号装置でもある。

【0156】

さらに、図１３に示されるように、本実施形態の映像復号装置の可変長復号器２０１において量子化ステップサイズの復号を行う量子化ステップサイズ復号器は、図５に示された量子化ステップサイズ復号器と比較すると、予測量子化ステップサイズ生成器２０１１３に対して、図１２に示される量子化ステップサイズ予測制御器２０９から量子化ステップサイズ予測パラメータが供給される点と、予測量子化ステップサイズ生成器２０１１３の動作とが、第４の実施形態とは異なる。

【0157】

多重化解除器２０８は、ビットストリームの多重化を解除して、映像ビットストリームと、量子化ステップサイズ予測の動作を規定する制御情報とを抽出する。また、多重化解除器２０８は、抽出した制御情報を量子化ステップサイズ予測制御器２０９に、抽出した映像ビットストリームを可変長復号器２０１に、それぞれ供給する。

【0158】

量子化ステップサイズ予測制御器２０９は、供給される制御情報に基づいて、予測量子化ステップサイズ生成器２０１１３の動作を設定する。

【0159】

予測量子化ステップサイズ生成器２０１１３は、過去に復号済みの画像ブロックの中から、量子化ステップサイズの予測に用いる画像ブロックを、画像予測パラメータと量子化ステップサイズ予測パラメータとを用いて選択する。予測量子化ステップサイズ生成器２０１１３は、さらに、選択された画像ブロックに対応する量子化ステップサイズから、予測量子化ステップサイズを生成する。生成された予測量子化ステップサイズは、エントロピー復号器２０１１１より出力される差分量子化ステップサイズを加算された後、量子化ステップサイズとして出力されるとともに、量子化ステップサイズバッファ２０１１２に入力される。

【0160】

予測量子化ステップサイズ生成器２０１１３における予測量子化ステップサイズの導出方法は、上述した第５の実施形態の映像符号化装置における予測量子化ステップサイズ生成器１０３１３での予測量子化ステップサイズの生成方法と同じであるので、ここでは説明を省略する。

【0161】

このように構成することによって、映像復号装置は、第４の実施形態の映像復号装置と比較して、さらに少ない符号量を受信するだけで量子化ステップサイズを復号できる。その結果、高画質な動画像を復号し再生できる。その理由は、予測量子化ステップサイズ生成器２０１１３が、画像予測パラメータに加えて量子化ステップサイズ予測パラメータを用いることにより、画像予測パラメータを用いた量子化ステップサイズの予測値の切替え又は補正を行うので、該画像ブロックに対してより高い精度で量子化ステップサイズを予測できるからである。

【0162】

実施形態７．
本発明の第７の実施形態の映像符号化装置は、第３の実施形態の映像符号化装置と同様に、図２４に示されるように、周波数変換器１０１と、量子化器１０２と、可変長符号化器１０３と、量子化制御器１０４と、逆量子化器１０５と、逆周波数変換器１０６と、フレームメモリ１０７と、フレーム内予測器１０８と、フレーム間予測器１０９と、予測選択器１１０とを備える。しかし、可変長符号化器１０３における量子化ステップサイズ符号化器の構成は、図４に示された第３の実施形態の映像符号化装置における構成とは異なる。

【0163】

図１４は、本発明の第７の実施形態の映像符号化装置における量子化ステップサイズ符号化器の構成を示すブロック図である。図１４に示すように、本実施形態における量子化ステップサイズ符号化器の構成は、図４に示された量子化ステップサイズ符号化器の構成と比較すると、量子化ステップサイズ選択器１０３１４を含む点が異なる。

【0164】

量子化ステップサイズバッファ１０３１１、エントロピー符号化器１０３１２及び予測量子化ステップサイズ生成器１０３１３の動作は、第３の実施形態の映像符号化装置における量子化ステップサイズ符号化器の動作と同じであるため、ここでは説明を省略する。

【0165】

量子化ステップサイズ選択器１０３１４は、直前に符号化した画像ブロックに対して割り当てた量子化ステップサイズと、予測量子化ステップサイズ生成器１０３１３から出力される予測量子化ステップサイズとのいずれかを、画像予測パラメータに従って選択して、選択的予測量子化ステップサイズとして出力する。なお、直前に符号化した画像ブロックに対して割り当てた量子化ステップサイズは、量子化ステップサイズバッファ１０３１１に保存されている。量子化ステップサイズ符号化器に入力された現符号化対象量子化ステップサイズは、量子化ステップサイズ選択器１０３１４から出力された選択的予測量子化ステップサイズが減算された後、エントロピー符号化器１０３１２に入力される。

【0166】

このように構成することによって、本実施形態の映像符号化装置は、第３の実施形態の映像符号化装置と比較すると、量子化ステップサイズの符号化に要する符号量をさらに削減することができる。その結果、高画質な動画像符号化を実現できる。その理由は、量子化ステップサイズ選択器１０３１４の動作により、画像予測パラメータから導かれた予測量子化ステップサイズと、直前に符号化した量子化ステップサイズとを選択的に用いて量子化ステップサイズを符号化できるからである。画像予測パラメータから導かれた予測量子化ステップサイズと、直前に符号化した量子化ステップサイズとを選択的に用いることによって量子化ステップサイズの符号化に要する符号量をさらに削減することができる理由は、映像符号化装置における量子化制御器１０４は、上述したように、視覚感度適応量子化を行うだけでなく、出力符号量を監視しての量子化ステップサイズ増減をも行うからである。

【0167】

第７の実施形態の映像符号化装置における量子化ステップサイズ符号化器の具体的な動作を、具体例を用いて以下で説明する。

【0168】

ここでは、量子化ステップサイズの予測に用いる画像予測パラメータとして、フレーム内予測の予測方向を利用する。また、フレーム内予測として、非特許文献１に記載されているＡＶＣ方式において４×４画素ブロック及び８×８画素ブロックで用いられている８方向の方向予測と平均予測（図６参照）を用いる。

【0169】

符号化単位となる画像ブロックは固定サイズであるとする。また、量子化ステップサイズを決定する単位となるブロック（量子化ステップサイズ伝送ブロックと呼ぶ）と、フレーム内予測の単位となるブロック（予測ブロックと呼ぶ）は同じサイズであるとする。現在符号化対象の画像ブロックをＸとする。４つの近傍ブロックＡ，Ｂ，Ｃ，Ｄが図２に示される位置関係にあるとする。予測量子化ステップサイズ生成器１０３１３は、予測量子化ステップサイズpQ(X) を、（６）式により求める。

【0170】

量子化ステップサイズ選択器１０３１４は、（６）式により得られた予測量子化ステップサイズpQ(X) と、直前に符号化した量子化ステップサイズQ(X_prev)のいずれかを、下記の（１７）式に従って選択し、選択的予測量子化ステップサイズsQ(X)を生成する。つまり、方向予測に対しては（６）式によって求められる予測量子化ステップサイズを選択的予測量子化ステップサイズとして用い、平均値予測に対しては直前の量子化ステップサイズを選択的予測量子化ステップサイズとして用いる。

【0171】

sQ(X) = Q(X_prev); if m=2
sQ(X) = pQ(X); if m=0, 1, 3, 4, 5, 6, 7 or 8
・・・（１７）
ただし、mは、図６に示されるフレーム内予測方向インデックスである。

【0172】

エントロピー符号化器１０３１２は、下記の（１８）式により得られた差分量子化ステップサイズdQ(X) を、エントロピー符号の１つである符号付きExp-Golomb （(Exponential-Golomb）符号を用いて符号化し、当該画像ブロックに対する量子化ステップサイズに対応する符号として出力する。

【0173】

dQ(X) ＝ Q(X) − sQ(X) ・・・（１８）

【0174】

なお、本実施形態では、フレーム内予測として、８方向の方向予測と平均予測とを用いたが、本発明はそれらに限定されない。例えば、非特許文献２に記載されている３３方向の方向予測と平均予測などを用いてもよいし、また別の任意のフレーム内予測を用いてもよい。

【0175】

また、本実施形態では、フレーム内予測のパラメータに基づいて予測量子化ステップサイズと直前に符号化した量子化ステップサイズとの間の選択を行ったが、本発明はフレーム内予測情報の利用に限定されない。例えば、フレーム内予測ブロックでは予測量子化ステップサイズを、フレーム間予測ブロックでは直前に符号化した量子化ステップサイズを用いるよう選択を行ってもよいし、その逆でもよい。さらに、フレーム間予測のパラメータがある特定条件を満たす場合に直前に符号化した量子化ステップサイズを用いるよう選択を行ってもよい。

【0176】

また、予測に用いる画像ブロックは、４つではなく任意であってよい。さらに、本実施形態では、予測量子化ステップサイズとして、（６）式に示したように、いずれか１つの画像ブロックにおける量子化ステップサイズと２つの画像ブロックにおける量子化ステップサイズの平均値とのいずれかを用いた。しかし、予測量子化ステップサイズは（６）式によるものに限定されない。他の演算結果を予測量子化ステップサイズとしてもよい。例えば、（７）式に示すようにいずれか１つの画像ブロックにおける量子化ステップサイズ又は３つの量子化ステップサイズの中間値のいずれかを用いてもよいし、また別の任意の演算を用いて予測量子化ステップサイズを求めてもよい。さらに、予測に用いる画像ブロックは、必ずしも現符号化対象画像ブロックに隣接している必要はなく、現符号化対象画像ブロックから所定の距離分離れていてもよい。

【0177】

また、本実施形態では、符号化対象画像ブロックと予測に用いる画像ブロックとが同じ固定サイズであると仮定した。しかし、本発明は、符号化の単位となる画像ブロックが固定サイズである場合に限定されず、符号化の単位となる画像ブロックが可変サイズであり、符号化対象画像ブロックと予測に用いる画像ブロックとが互いに異なるサイズであってもよい。

【0178】

また、本実施形態では、量子化ステップサイズ伝送ブロックと、予測ブロックとが同じサイズであると仮定した。しかし、本発明は、同じサイズである場合に限定されず、量子化ステップサイズ伝送ブロックと予測ブロックとが異なるサイズであってもよい。例えば、量子化ステップサイズ伝送ブロックに複数の予測ブロックが含まれる場合には、該複数の予測ブロックのうちいずれか１つの予測ブロックにおける予測方向を、量子化ステップサイズの予測に用いてもよい。又は、複数の予測ブロックの予測方向に対して中間値演算や平均値演算などの任意の演算を加えた結果を、量子化ステップサイズの予測に用いてもよい。

【0179】

また、本実施形態では、符号化対象画像ブロックの量子化ステップサイズと予測量子化ステップサイズとの差分を符号化するにあたって、Exp-Golomb符号に基づいて符号化した。しかし、本発明はExp-Golomb符号の使用に限定されず、他のエントロピー符号に基づいて符号化してもよい。例えば、ハフマン符号や算術符号などに基づく符号化を行ってもよい。

【0180】

実施形態８．
本発明の第８の実施形態の映像復号装置は、本発明の第４の実施形態の映像復号装置と同様に、図２６に示されるように、可変長復号器２０１と、逆量子化器２０２と、逆周波数変換器２０３と、フレームメモリ２０４と、フレーム内予測器２０５と、フレーム間予測器２０６と、予測選択器２０７とを備える。しかし、可変長復号器２０１に含まれている量子化ステップサイズ復号器の構成は、図５に示された構成とは異なる。

【0181】

図１５は、本発明の第８の実施形態の映像復号装置における量子化ステップサイズ復号器の構成を示すブロック図である。図１５に示すように、本実施形態における量子化ステップサイズ復号器の構成は、図５に示された量子化ステップサイズ復号器の構成と比較すると、量子化ステップサイズ選択器２０１１４を含む点が異なる。

【0182】

エントロピー復号器２０１１１、量子化ステップサイズバッファ２０１１２及び予測量子化ステップサイズ生成器２０１１３の動作は、第４の実施形態の映像復号装置における量子化ステップサイズ復号器の動作と同じであるため、ここでは説明を省略する。

【0183】

量子化ステップサイズ選択器２０１１４は、直前に復号した画像ブロックに対して割り当てた量子化ステップサイズと、予測量子化ステップサイズ生成器２０１１３から出力される予測量子化ステップサイズとのいずれかを、画像予測パラメータに従って選択して、選択的予測量子化ステップサイズとして出力する。なお、直前に復号した画像ブロックに対して割り当てた量子化ステップサイズは、量子化ステップサイズバッファ２０１１２に保存されている。出力された選択的予測量子化ステップサイズは、エントロピー復号器２０１１１により生成された差分量子化ステップサイズが加算された後、量子化ステップサイズとして出力されるとともに、量子化ステップサイズバッファ２０１１２に蓄積される。

【0184】

このように構成することによって、映像復号装置は、第４の実施形態の映像復号装置と比較して、さらに少ない符号量を受信するだけで量子化ステップサイズを復号できる。その結果、高画質な動画像を復号し再生できる。その理由は、量子化ステップサイズ選択器２０１１４の動作により、画像予測パラメータから導かれた予測量子化ステップサイズと、直前に符号化した量子化ステップサイズとを選択的に用いて量子化ステップサイズを復号できるので、視覚感度適応量子化と出力符号量を監視しての量子化ステップサイズ増減との双方を適用して生成されたビットストリームに対して、より少ない符号量で量子化ステップサイズを復号でき、ひいてはより少ない符号量で動画像を復号し再生できるからである。

【0185】

また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。

【0186】

図１６に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３及びビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。

【0187】

図１６に示された情報処理システムにおいて、プログラムメモリ１００２には、図２４、図２６のそれぞれに示された各ブロック（図１、図３、図４、図５に示された各ブロックを含む。また、バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図２４、図２６および図１、図３、図４、図５のそれぞれに示された映像符号化装置又は映像復号装置の機能を実現する。

【0188】

図１７は、本発明による映像符号化装置における特徴的な構成要素を示すブロック図である。図１７に示すように、本発明による映像符号化装置は、量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化部１０を備え、量子化ステップサイズ符号化部１０は、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて該量子化ステップサイズを予測するステップサイズ予測部１１を含む。

【0189】

図１８は、本発明による他の映像符号化装置における特徴的な構成要素を示すブロック図である。図１８に示すように、本発明による他の映像符号化装置は、図１７に示す構成に加えて、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する予測画像生成部２０を備え、量子化ステップサイズ符号化部１０は、予測画像の生成に用いられるパラメータを用いて量子化ステップサイズを予測する。また、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する予測動きベクトル生成部３０を備え、量子化ステップサイズ符号化部１０は、量子化ステップサイズを予測するために予測動きベクトルの予測方向を用いてもよい。

【0190】

図１９は、本発明による映像復号装置における特徴的な構成要素を示すブロック図である。図１９に示すように、本発明による映像復号装置は、逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号部５０を備え、量子化ステップサイズ復号部５０は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて量子化ステップサイズを予測するステップサイズ予測部５１を含む。

【0191】

図２０は、本発明による他の映像復号装置における特徴的な構成要素を示すブロック図である。図２０に示すように、本発明による他の映像復号装置は、図１９に示す構成に加えて、過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成する予測画像生成部６０を備え、量子化ステップサイズ復号部５０は、予測画像の生成に用いられるパラメータを用いて量子化ステップサイズを予測する。また、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する予測動きベクトル生成部７０を備え、量子化ステップサイズ復号部５０は、量子化ステップサイズを予測するために予測動きベクトルの予測方向を用いてもよい。

【0192】

図２１は、本発明による映像符号化方法における特徴的なステップを示すフローチャートである。図２１に示すように、映像符号化方法は、フレーム内予測の予測方向を決定するステップＳ１１と、フレーム内予測を用いて予測画像を生成するステップＳ１２と、フレーム内予測の予測方向を用いて量子化ステップサイズを予測するステップＳ１３とを含む。

【0193】

図２２は、本発明による映像復号方法における特徴的なステップを示すフローチャートである。図２２に示すように、映像復号方法は、フレーム内予測の予測方向を決定するステップＳ２１と、フレーム内予測を用いて予測画像を生成するステップＳ２２と、フレーム内予測の予測方向を用いて量子化ステップサイズを予測するステップＳ２３とを含む。

【0194】

上記の実施形態の一部又は全部は以下の付記のようにも記載されうるが、本発明の構成は以下の構成に限定されない。

【0195】

（付記１）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であり、前記量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段と、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、前記量子化ステップサイズ符号化手段は、前記予測画像生成手段が用いるパラメータを用いて量子化ステップサイズを予測する映像符号化装置であって、前記予測画像生成手段は、少なくともフレーム間予測を用いて予測画像を生成し、前記量子化ステップサイズ符号化手段は、量子化ステップサイズを予測するために前記フレーム間予測の動きベクトルを用いる映像符号化装置。

【0196】

（付記２）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であり、前記量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段と、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、前記量子化ステップサイズ符号化手段は、前記予測画像生成手段が用いるパラメータを用いて量子化ステップサイズを予測する映像符号化装置であって、前記量子化ステップサイズ符号化手段は、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて該量子化ステップサイズを予測し、前記予測画像生成手段は、少なくともフレーム間予測を用いて予測画像を生成し、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する予測動きベクトル生成手段をさらに備え、前記量子化ステップサイズ符号化手段は、量子化ステップサイズを予測するために前記予測動きベクトルの予測方向を用いる映像符号化装置。

【0197】

（付記３）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であり、前記逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段と、過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、前記量子化ステップサイズ復号手段は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて該量子化ステップサイズを予測する映像復号装置であって、前記量子化ステップサイズ復号手段は、前記予測画像生成に用いるパラメータを用いて該量子化ステップサイズを予測し、前記予測画像生成手段は、少なくともフレーム間予測を用いて予測画像を生成し、前記量子化ステップサイズ復号手段は、量子化ステップサイズを予測するために前記フレーム間予測の動きベクトルを用いる映像復号装置。

【0198】

（付記４）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であり、前記逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段と、過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、前記量子化ステップサイズ復号手段は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて該量子化ステップサイズを予測する映像復号装置であって、前記量子化ステップサイズ復号手段は、前記予測画像生成に用いるパラメータを用いて該量子化ステップサイズを予測し、前記予測画像生成手段は、少なくともフレーム間予測を用いて予測画像を生成し、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する予測動きベクトル生成手段をさらに備え、前記量子化ステップサイズ復号手段は、量子化ステップサイズを予測するために前記予測動きベクトルの予測方向を用いる映像復号装置。

【0199】

（付記５）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化方法であって、前記量子化の粒度を制御する量子化ステップサイズを、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて予測し、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する工程を含み、前記予測画像の生成に用いられるパラメータを用いて量子化ステップサイズを予測する映像符号化方法。

【0200】

（付記６）付記５の映像符号化方法であって、予測画像を生成する工程では、少なくともフレーム内予測を用いて予測画像を生成し、量子化ステップサイズを予測するために前記フレーム内予測の予測方向を用いる映像符号化方法。

【0201】

（付記７）付記５の映像符号化方法であって、予測画像を生成する工程では、少なくともフレーム間予測を用いて予測画像を生成し、量子化ステップサイズを予測するために前記フレーム間予測の動きベクトルを用いる映像符号化方法。

【0202】

（付記８）付記５の映像符号化方法であって、予測画像を生成する工程では、少なくともフレーム間予測を用いて予測画像を生成し、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する工程を含み、量子化ステップサイズを予測するために前記予測動きベクトルの予測方向を用いる映像符号化方法。

【0203】

（付記９）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号方法であって、前記逆量子化の粒度を制御する量子化ステップサイズを、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて予測し、少なくともフレーム間予測を用いて予測画像を生成する工程を含み、量子化ステップサイズを予測するために前記フレーム間予測の動きベクトルを用いる映像復号方法。

【0204】

（付記１０）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号方法であって、前記逆量子化の粒度を制御する量子化ステップサイズを、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて予測し、少なくともフレーム間予測を用いて予測画像を生成する工程を含み、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測し、量子化ステップサイズを予測するために前記予測動きベクトルの予測方向を用いる映像符号化方法。

【0205】

（付記１１）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置におけるプログラムであって、コンピュータに、前記量子化の粒度を制御する量子化ステップサイズを、既に符号化済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて予測させるための映像符号化プログラム。

【0206】

（付記１２）付記（１１）の映像符号化プログラムであって、コンピュータに、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する処理を実行させ、前記予測画像の生成に用いられるパラメータを用いて量子化ステップサイズを予測させる映像符号化プログラム。

【0207】

（付記１３）付記（１２）の映像符号化プログラムであって、コンピュータに、少なくともフレーム内予測を用いて予測画像を生成する処理を実行させ、前記フレーム内予測の予測方向を用いて量子化ステップサイズを予測させる映像符号化プログラム。

【0208】

（付記１４）付記（１２）の映像符号化プログラムであって、コンピュータに、少なくともフレーム間予測を用いて予測画像を生成する処理を実行させ、前記フレーム間予測の動きベクトルを用いて量子化ステップサイズを予測させる映像符号化プログラム。

【0209】

（付記１５）付記（１２）の映像符号化プログラムであって、コンピュータに、少なくともフレーム間予測を用いて予測画像を生成する処理を実行させ、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する処理を実行させ、前記予測動きベクトルの予測方向を用いて量子化ステップサイズを予測させる映像符号化プログラム。

【0210】

（付記１６）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置におけるプログラムであって、コンピュータに、前記逆量子化の粒度を制御する量子化ステップサイズを、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて予測させるための映像復号プログラム。

【0211】

（付記１７）付記（１６）の映像復号プログラムであって、コンピュータに、過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成する処理を実行させ、前記予測画像の生成に用いられるパラメータを用いて該量子化ステップサイズを予測させる映像復号プログラム。

【0212】

（付記１８）付記（１７）の映像復号プログラムであって、コンピュータに、少なくともフレーム内予測を用いて予測画像を生成する処理を実行させ、前記フレーム内予測の予測方向を用いて量子化ステップサイズを予測させる映像復号プログラム

【0213】

（付記１９）付記（１７）の映像復号プログラムであって、コンピュータに、少なくともフレーム間予測を用いて予測画像を生成する処理を実行させ、前記フレーム間予測の動きベクトルを用いて量子化ステップサイズを予測させる映像復号プログラム。

【0214】

（付記２０）付記（１７）の映像復号プログラムであって、コンピュータに、少なくともフレーム間予測を用いて予測画像を生成する処理を実行させ、既に符号化済みの近傍画像ブロックに割り当てられた動きベクトルを用いてフレーム間予測に用いる動きベクトルを予測する処理を実行させ、前記予測動きベクトルの予測方向を用いて量子化ステップサイズを予測させる映像復号プログラム。

【0215】

（付記２１）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置であって、前記量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段と、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、前記量子化ステップサイズ符号化手段は、前記予測画像生成手段が用いるパラメータを用いて量子化ステップサイズを予測し、さらに、所定のパラメータに基づいて前記量子化ステップサイズ符号化手段の動作を制御する量子化ステップサイズ予測制御手段と、圧縮符号化処理結果に前記量子化ステップサイズ符号化手段の動作パラメータを多重化する多重化手段とを有する映像符号化装置。

【0216】

（付記２２）付記２１の映像符号化装置であって、前記量子化ステップサイズ符号化手段の動作パラメータは、少なくとも、前記予測画像生成手段が用いるパラメータの利用可否を表すフラグを含み、前記量子化ステップサイズ予測制御手段は、前記フラグに基づいて、前記量子化ステップサイズ符号化手段の動作を制御する映像符号化装置。

【0217】

（付記２３）付記２１の映像符号化装置であって、前記量子化ステップサイズ符号化手段の動作パラメータは、少なくとも、量子化ステップサイズの変調パラメータを含み、前記量子化ステップサイズ符号化手段は、前記予測画像生成手段が用いるパラメータに基づいて求められた量子化ステップサイズに対して、前記変調パラメータによる変調を加えることによって量子化ステップサイズを予測する映像符号化装置。

【0218】

（付記２４）付記２３の映像符号化装置であって、前記量子化ステップサイズ符号化手段は、前記予測画像生成手段が用いるパラメータに基づいて求められた量子化ステップサイズに所定のオフセットを加えることによって量子化ステップサイズを予測する映像符号化装置。

【0219】

（付記２５）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であって、前記逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段と、過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成する予測画像生成手段とを備え、前記量子化ステップサイズ復号手段は、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて該量子化ステップサイズを予測し、さらに、前記量子化ステップサイズ復号手段の動作パラメータを含むビットストリームの多重化を解除する多重化解除手段と、多重化解除された量子化ステップサイズ復号手段の動作パラメータに基づいて前記量子化ステップサイズ復号手段の動作を制御する量子化ステップサイズ予測制御手段とを有する映像復号装置。

【0220】

（付記２６）付記２５の映像復号装置であって、前記多重化解除手段は、量子化ステップサイズ復号手段の動作パラメータとして、少なくとも、前記予測画像生成手段が用いるパラメータの利用可否を表すフラグを抽出し、前記量子化ステップサイズ予測制御手段は、前記フラグに基づいて、前記量子化ステップサイズ復号手段の動作を制御する映像復号装置。

【0221】

（付記２７）付記２５の映像復号装置であって、前記多重化解除手段は、量子化ステップサイズ復号手段の動作パラメータとして、少なくとも、量子化ステップサイズの変調パラメータを抽出し、前記量子化ステップサイズ復号手段は、前記予測画像生成手段が用いるパラメータに基づいて求められた量子化ステップサイズに対して、前記変調パラメータによる変調を加えることによって量子化ステップサイズを予測する映像復号装置。

【0222】

（付記２８）付記２７の映像復号装置であって、前記量子化ステップサイズ復号手段は、前記予測画像生成手段が用いるパラメータに基づいて求められた量子化ステップサイズに所定のオフセットを加えることによって量子化ステップサイズを予測する映像復号装置。

【0223】

（付記２９）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化方法であって、前記量子化の粒度を制御する量子化ステップサイズを符号化し、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成し、予測画像を生成するときに用いるパラメータを用いて前記量子化ステップサイズを予測し、圧縮符号化処理結果に前記量子化ステップサイズを符号化する際の動作パラメータを多重化する映像符号化方法。

【0224】

（付記３０）付記２９の映像符号化方法であって、前記量子化ステップサイズを符号化する際の動作パラメータは、少なくとも、予測画像を生成するときにパラメータの利用可否を表すフラグを含み、前記フラグに基づいて、前記量子化ステップサイズを符号化する際の動作を制御する映像符号化方法。

【0225】

（付記３１）付記２９の映像符号化方法であって、前記量子化ステップサイズを符号化する際の動作パラメータは、少なくとも、量子化ステップサイズの変調パラメータを含み、前記量子化ステップサイズを符号化するときに、予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに対して、前記変調パラメータによる変調を加えることによって量子化ステップサイズを予測する映像符号化方法。

【0226】

（付記３２）付記３１の映像符号化方法であって、予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに所定のオフセットを加えることによって量子化ステップサイズを予測する映像符号化方法。

【0227】

（付記３３）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号方法であって、前記逆量子化の粒度を制御する量子化ステップサイズを復号し、過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成し、前記量子化ステップサイズを復号するときに、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて該量子化ステップサイズを予測し、さらに、前記量子化ステップサイズを復号するときの動作パラメータを含むビットストリームの多重化を解除し、多重化解除された前記動作パラメータに基づいて前記量子化ステップサイズを復号するときの動作を制御する映像復号方法。

【0228】

（付記３４）付記３３の映像復号方法であって、量子化ステップサイズを復号するときの動作パラメータとして、少なくとも、前記復号対象画像ブロックの予測画像を生成するときに用いるパラメータの利用可否を表すフラグを抽出し、前記フラグに基づいて、前記量子化ステップサイズを復号するときの動作を制御する映像復号方法。

【0229】

（付記３５）付記３３の映像復号方法であって、量子化ステップサイズを復号するときの動作パラメータとして、少なくとも、量子化ステップサイズの変調パラメータを抽出し、前記復号対象画像ブロックの予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに対して、前記変調パラメータによる変調を加えることによって量子化ステップサイズを予測する映像復号方法。

【0230】

（付記３６）付記３５の映像復号方法であって、前記量子化ステップサイズを復号するときに、前記復号対象画像ブロックの予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに所定のオフセットを加えることによって量子化ステップサイズを予測する映像復号方法。

【0231】

（付記３７）入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置におけるプログラムであって、コンピュータに、前記量子化の粒度を制御する量子化ステップサイズを符号化する処理と、過去に符号化済みの画像と所定のパラメータとを用いて符号化対象画像ブロックの予測画像を生成する処理と、予測画像を生成するときに用いるパラメータを用いて前記量子化ステップサイズを予測する処理と、圧縮符号化処理結果に前記量子化ステップサイズを符号化する際の動作パラメータを多重化する処理とを実行させるための映像符号化プログラム。

【0232】

（付記３８）付記３７の映像符号化プログラムであって、前記量子化ステップサイズを符号化する際の動作パラメータは、少なくとも、予測画像を生成するときにパラメータの利用可否を表すフラグを含み、コンピュータに、前記フラグに基づいて、前記量子化ステップサイズを符号化する際の動作を制御させる映像符号化プログラム。

【0233】

（付記３９）付記３７の映像符号化プログラムであって、前記量子化ステップサイズを符号化する際の動作パラメータは、少なくとも、量子化ステップサイズの変調パラメータを含み、コンピュータに、前記量子化ステップサイズを符号化するときに、予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに対して、前記変調パラメータによる変調を加えることによって量子化ステップサイズを予測させる映像符号化プログラム。

【0234】

（付記４０）付記３９の映像符号化プログラムであって、コンピュータに、予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに所定のオフセットを加えることによって量子化ステップサイズを予測させる映像符号化プログラム。

【0235】

（付記４１）入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置のプログラムであって、コンピュータに、前記逆量子化の粒度を制御する量子化ステップサイズを復号する処理と、過去に復号済みの画像と所定のパラメータとを用いて復号対象画像ブロックの予測画像を生成する処理と、前記量子化ステップサイズを復号するときに、既に復号済みの近傍画像ブロックに割り当てられた量子化ステップサイズを用いて該量子化ステップサイズを予測する処理と、前記量子化ステップサイズを復号するときの動作パラメータを含むビットストリームの多重化を解除する処理と、多重化解除された前記動作パラメータに基づいて前記量子化ステップサイズを復号するときの動作を制御させるための映像復号プログラム。

【0236】

（付記４２）付記４１の映像復号プログラムであって、コンピュータに、量子化ステップサイズを復号するときの動作パラメータとして、少なくとも、前記復号対象画像ブロックの予測画像を生成するときに用いるパラメータの利用可否を表すフラグを抽出する処理と、前記フラグに基づいて、前記量子化ステップサイズを復号するときの動作を制御させる処理とを実行させる映像復号プログラム。

【0237】

（付記４３）付記４１の映像復号プログラムであって、コンピュータに、量子化ステップサイズを復号するときの動作パラメータとして、少なくとも、量子化ステップサイズの変調パラメータを抽出する処理と、前記復号対象画像ブロックの予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに対して、前記変調パラメータによる変調を加えることによって量子化ステップサイズを予測する処理とを実行させる映像復号プログラム。

【0238】

（付記４４）付記４３の映像復号プログラムであって、コンピュータに、前記量子化ステップサイズを復号するときに、前記復号対象画像ブロックの予測画像を生成するときに用いるパラメータに基づいて求められた量子化ステップサイズに所定のオフセットを加えることによって量子化ステップサイズを予測させる映像復号プログラム。

【0239】

（付記４５）
入力画像データを所定の大きさのブロックに分割し、分割された画像ブロック毎に量子化を適用して圧縮符号化処理を行う映像符号化装置であって、前記量子化の粒度を制御する量子化ステップサイズを符号化する量子化ステップサイズ符号化手段を備え、前記量子化ステップサイズ符号化手段は、既に符号化済みの複数の近傍画像ブロックに割り当てられた量子化ステップサイズの平均値を用いて前記量子化の粒度を制御する量子化ステップサイズを予測する映像符号化装置。

【0240】

（付記４６）
入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置であって、前記逆量子化の粒度を制御する量子化ステップサイズを復号する量子化ステップサイズ復号手段を備え、前記量子化ステップサイズ復号手段は、既に復号済みの複数の近傍画像ブロックサイズに割り当てられた量子化ステップサイズの平均値を用いて前記逆量子化の粒度を制御する量子化ステップサイズを予測する映像復号装置。

【0241】

（付記４７）
入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化方法であって、前記量子化の粒度を制御する量子化ステップサイズを、既に符号化済みの複数の近傍画像ブロックに割り当てられた量子化ステップサイズの平均値を用いて予測することを特徴とする映像符号化方法。

【0242】

（付記４８）
入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号方法であって、前記逆量子化の粒度を制御する量子化ステップサイズを、既に復号済みの複数の近傍画像ブロックに割り当てられた量子化ステップサイズの平均値を用いて予測することを特徴とする映像復号方法。

【0243】

（付記４９）
入力画像データを所定の大きさのブロックに分割し、分割された画像ブロックごとに量子化を適用して、圧縮符号化処理を行う映像符号化装置におけるプログラムであって、コンピュータに、前記量子化の粒度を制御する量子化ステップサイズを符号化する処理と、前記量子化の粒度を制御する量子化ステップサイズを、既に復号済みの複数の近傍画像ブロックに割り当てられた量子化ステップサイズの平均値を用いて予測する処理とを実行させる映像符号化プログラム。

【0244】

（付記５０）
入力された映像圧縮データに逆量子化を用いて画像ブロックを復号し、該画像ブロックの集合として画像データの生成処理を行う映像復号装置のプログラムであって、コンピュータに、前記逆量子化の粒度を制御する量子化ステップサイズを復号する処理と、前記量子化ステップサイズを復号するときに、既に復号済みの複数の近傍画像ブロックに割り当てられた量子化ステップサイズの平均値を用いて前記逆量子化の粒度を制御する量子化ステップサイズを予測する処理とを実行させる映像復号プログラム。

【0245】

以上、実施形態および実施例を参照して本発明を説明したが、本発明は上記実施形態および実施例に限定されない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

【0246】

この出願は、２０１１年３月９日に出願された日本特許出願２０１１−５１２９１および２０１１年４月２１日に出願された日本特許出願２０１１−９５３９５を基礎とする優先権を主張し、その開示の全てをここに取り込む。

【符号の説明】

【0247】

１０ 量子化ステップサイズ符号化部
１１ ステップサイズ予測部
２０ 予測画像生成部
３０ 予測動きベクトル生成部
５０ 量子化ステップサイズ復号部
５１ ステップサイズ予測部
６０ 予測画像生成部
７０ 予測動きベクトル生成部
１０１ 周波数変換器
１０２ 量子化器
１０３ 可変長符号化器
１０４ 量子化制御器
１０５ 逆量子化器
１０６ 逆周波数変換器
１０７ フレームメモリ
１０８ フレーム内予測器
１０９ フレーム間予測器
１１０ 予測選択器
１１１ 量子化ステップサイズ予測制御器
１１２ 多重化器
２０１ 可変長復号器
２０２ 逆量子化器
２０３ 逆周波数変換器
２０４ フレームメモリ
２０５ フレーム内予測器
２０６ フレーム間予測器
２０７ 予測選択器
２０８ 多重化解除器
２０９ 量子化ステップサイズ予測制御器
１００１ プロセッサ
１００２ プログラムメモリ
１００３ 記憶媒体
１００４ 記憶媒体
１０３１１ 量子化ステップサイズバッファ
１０３１２ エントロピー符号化器
１０３１３ 予測量子化ステップサイズ生成器
２０１１１ エントロピー復号器
２０１１２ 量子化ステップサイズバッファ
２０１１３ 予測量子化ステップサイズ生成器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】