特許 6564315 符号化装置、復号装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6564315

(24)【登録日】2019年8月2日

(45)【発行日】2019年8月21日

(54)【発明の名称】符号化装置、復号装置、及びプログラム

(51)【国際特許分類】

   H04N 19/44 20140101AFI20190808BHJP

   H04N 19/61 20140101ALI20190808BHJP

【ＦＩ】

   H04N19/44

   H04N19/61

【請求項の数】6

【全頁数】13

(21)【出願番号】特願2015-237823(P2015-237823)

(22)【出願日】2015年12月4日

(65)【公開番号】特開2017-103723(P2017-103723A)

(43)【公開日】2017年6月8日

【審査請求日】2018年10月29日

【権利譲渡・実施許諾】特許権者において、実施許諾の用意がある。

(73)【特許権者】

【識別番号】000004352

【氏名又は名称】日本放送協会

(74)【代理人】

【識別番号】100147485

【弁理士】

【氏名又は名称】杉村 憲司

(74)【代理人】

【識別番号】100161148

【弁理士】

【氏名又は名称】福尾 誠

(72)【発明者】

【氏名】三須 俊枝

(72)【発明者】

【氏名】岩村 俊輔

(72)【発明者】

【氏名】境田 慎一

(72)【発明者】

【氏名】神田 菊文

【審査官】 片岡 利延

(56)【参考文献】

【文献】 特開平１１−０３２３３３（ＪＰ，Ａ）

【文献】 特開平０８−２１３９１５（ＪＰ，Ａ）

【文献】 特開２００９−２０６７３７（ＪＰ，Ａ）

【文献】 特開平０１−０３６１７３（ＪＰ，Ａ）

【文献】 特表２０１４−５１９２１５（ＪＰ，Ａ）

【文献】 特表２０１３−５１７６８１（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

(57)【特許請求の範囲】

【請求項1】

入力画像を分割してブロック画像を生成するブロック分割部と、
前記ブロック画像を予測した予測ブロック画像を生成する予測部と、
前記ブロック画像と前記予測ブロック画像との差を示す第１の残差ブロック画像に対して直交変換を行い第１の変換係数を算出する変換部と、
前記第１の変換係数を量子化した量子化インデックスを生成する量子化部と、
前記量子化インデックスに量子化ステップを乗ずることにより第２の変換係数を算出する逆量子化部と、
前記第２の変換係数に対して逆直交変換を行い第２の残差ブロック画像を算出する逆変換部と、
前記第２の残差ブロック画像に対して複数種類の画像処理を行い、前記第１の残差ブロック画像との誤差が最も少ない画像を復元残差ブロック画像として生成する残差ブロック画像復元部と、
前記予測ブロック画像及び前記復元残差ブロック画像を加算して復号ブロック画像を生成する加算部と、を備え、
前記予測部は、復号済みの前記復号ブロック画像を参照して予測ブロック画像を生成することを特徴とする符号化装置。

【請求項2】

前記残差ブロック画像復元部は、前記第２の残差ブロック画像に対して関数の異なる複数種類の最適化演算を行うことを特徴とする、請求項１に記載の符号化装置。

【請求項3】

ブロック画像の量子化インデックス、復元処理を特定するための情報である復元モード情報、及び予測処理に必要な情報である予測情報を取得するエントロピー復号部と、
前記量子化インデックスに量子化ステップを乗ずることにより変換係数を算出する逆量子化部と、
前記変換係数に対して逆直交変換を行い残差ブロック画像を算出する逆変換部と、
前記復元モード情報に従って、前記残差ブロック画像に対して復元処理を行い復元残差ブロック画像を生成する残差ブロック画像復元部と、
前記予測情報に従って、前記ブロック画像を予測した予測ブロック画像を生成する予測部と、
前記復元残差ブロック画像及び前記予測ブロック画像を加算して復号ブロック画像を生成する加算部と、を備え、
前記予測部は、復号済みの前記復号ブロック画像を参照して前記予測ブロック画像を生成することを特徴とする復号装置。

【請求項4】

前記残差ブロック画像復元部は、前記残差ブロック画像に対して、前記復元モード情報によって特定される関数を用いた最適化演算を行うことを特徴とする、請求項３に記載の復号装置。

【請求項5】

コンピュータを、請求項１又は２に記載の符号化装置として機能させるためのプログラム。

【請求項6】

コンピュータを、請求項３又は４に記載の復号装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ブロック単位で制御可能な後処理により画質改善を図る符号化装置、復号装置、及びプログラムに関する。

【背景技術】

【0002】

従来、映像や画像のデータ圧縮方式として、画像をブロック分割し、ブロックごとに離散コサイン変換（ＤＣＴ; Discrete Cosine Transform）などの変換を施し、その結果である変換係数を量子化し、量子化された変換係数をエントロピー符号化するハイブリッド符号化方式が知られている。

【0003】

ハイブリッド符号化方式においては変換及び量子化で信号の劣化を生じるが、これを補償するためにデブロッキングフィルタやサンプルアダプティブオフセットといった技術が規格化され、また適応ループフィルタといった技術も提案されている。適応ループフィルタには、反復演算により高性能化を図ったものもある（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２０１３−５０９０２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、従来のデブロッキングフィルタやサンプルアダプティブオフセットは、ブロック境界で生じる不連続性などを波形整形することで目立たなくする方式であり、真の画像信号の波形に戻す設計とはなっていないことから、画質劣化を補償するには限界がある。また、適応ループフィルタは線形フィルタの畳み込みであり、量子化で生じる非線形な画質劣化を補償するには無理がある。

【0006】

また、特許文献１に記載の手法は、反復演算により非線形的な画質劣化にも適応可能と考えられるが、適応ループフィルタの挿入位置が残差ブロック画像と予測ブロック画像を加算する処理よりも後段にある。画質の劣化は変換処理と量子化処理の組み合わせで生じるものであるから、本来的には残差ブロック画像の段階で劣化を補償すべきところ、特許文献１に記載の手法では加算処理の後で補償を試みることから、予測ブロック画像の性質が混入し劣化補償の効率が低下してしまう。

【0007】

かかる事情に鑑みてなされた本発明の目的は、変換処理と量子化処理の組み合わせで生じる劣化を補償し、復号映像の画質を向上させることが可能な符号化装置、復号装置、及びプログラムを提供することにある。

【課題を解決するための手段】

【0008】

上記課題を解決するため、本発明に係る符号化装置は、入力画像を分割してブロック画像を生成するブロック分割部と、前記ブロック画像を予測した予測ブロック画像を生成する予測部と、前記ブロック画像と前記予測ブロック画像との差を示す第１の残差ブロック画像に対して直交変換を行い第１の変換係数を算出する変換部と、前記第１の変換係数を量子化した量子化インデックスを生成する量子化部と、前記量子化インデックスに量子化ステップを乗ずることにより第２の変換係数を算出する逆量子化部と、前記第２の変換係数に対して逆直交変換を行い第２の残差ブロック画像を算出する逆変換部と、前記第２の残差ブロック画像に対して複数種類の画像処理を行い、前記第１の残差ブロック画像との誤差が最も少ない画像を復元残差ブロック画像として生成する残差ブロック画像復元部と、前記予測ブロック画像及び前記復元残差ブロック画像を加算して復号ブロック画像を生成する加算部と、を備え、前記予測部は、復号済みの前記復号ブロック画像を参照して前記予測ブロック画像を生成することを特徴とする。

【0009】

さらに、本発明に係る符号化装置において、前記残差ブロック画像復元部は、前記第２の残差ブロック画像に対して関数の異なる複数種類の最適化演算を行うことを特徴とする。

【0010】

また、上記課題を解決するため、本発明に係る復号装置は、ブロック画像の量子化インデックス、復元処理を特定するための情報である復元モード情報、及び予測処理に必要な情報である予測情報を取得するエントロピー復号部と、前記量子化インデックスに量子化ステップを乗ずることにより変換係数を算出する逆量子化部と、前記変換係数に対して逆直交変換を行い残差ブロック画像を算出する逆変換部と、前記復元モード情報に従って、前記残差ブロック画像に対して復元処理を行い復元残差ブロック画像を生成する残差ブロック画像復元部と、前記予測情報に従って、前記ブロック画像を予測した予測ブロック画像を生成する予測部と、前記復元残差ブロック画像及び前記予測ブロック画像を加算して復号ブロック画像を生成する加算部と、を備え、前記予測部は、復号済みの前記復号ブロック画像を参照して前記予測ブロック画像を生成することを特徴とする。

【0011】

さらに、本発明に係る復号装置において、前記残差ブロック画像復元部は、前記残差ブロック画像に対して、前記復元モード情報によって特定される関数を用いた最適化演算を行うことを特徴とする。

【0012】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記符号化装置として機能させることを特徴とする。

【0013】

また、上記課題を解決するため、本発明に係るプログラムは、コンピュータを、上記復号装置として機能させることを特徴とする。

【発明の効果】

【0014】

本発明によれば、符号化装置において最適と判定された復元手法によって、復号装置における復元処理を制御するため、残差ブロック画像に含まれる劣化を補償することができる。その結果、復号映像の画質を向上させることができる。

【図面の簡単な説明】

【0015】

【図1】本発明の一実施形態に係る符号化装置の構成例を示すブロック図である。

【図2】本発明の一実施形態に係る符号化装置における残差ブロック画像復元部の構成例を示すブロック図である。

【図3】残差ブロック画像に対する劣化過程を説明した図である。

【図4】本発明の一実施形態に係る復号装置の構成例を示すブロック図である。

【図5】本発明の一実施形態に係る復号装置における残差ブロック画像復元部の構成例を示すブロック図である。

【発明を実施するための形態】

【0016】

以下、本発明の一実施形態について、図面を参照して詳細に説明する。

【0017】

（符号化装置）
まず、本発明の一実施形態に係る符号化装置について説明する。図１に、本発明の一実施形態に係る符号化装置の構成例を示す。図１に示す例では、符号化装置１０は、ブロック分割部１１と、減算部１２と、変換部１３と、量子化部１４と、エントロピー符号化部１５と、逆量子化部１６と、逆変換部１７と、残差ブロック画像復元部１８と、加算部１９と、バッファ２０と、予測部２１とを備える。

【0018】

ブロック分割部１１は、入力された映像のフレーム画像を、以降の処理の単位で空間的に分割してブロック画像を生成し、減算部１２及び予測部２１に出力する。例えば、ブロック分割部１１は、フレーム画像を一定の形状（例えば大きさの固定された矩形）に分割する。あるいは、ブロック分割部１１は、大きさや形状の異なる部分領域に分割してもよい。本明細書では、ブロック分割部１１で分割されたブロック列のうち、これから処理を行うブロック画像を対象ブロック画像と称する。

【0019】

減算部１２は、ブロック分割部１１から入力された対象ブロック画像の各画素値から、後述する予測部２１から入力された予測ブロック画像の各画素値を減じた残差ブロック画像（第１の残差ブロック画像）を生成し、変換部１３に出力する。

【0020】

変換部１３は、減算部１２から入力された残差ブロック画像に対して直交変換を行って変換係数（第１の変換係数）を算出し、量子化部１４に出力する。直交変換は、具体的には離散コサイン変換、離散サイン変換、これらを整数近似したもの（整数変換）、あるいはカルーネン・レーベ変換などである。

【0021】

量子化部１４は、変換部１３から入力された変換係数を量子化し、量子化インデックスとしてエントロピー符号化部１５及び逆量子化部１６に出力する。量子化ステップは、変換係数ごとに変化させてもよい。例えば、変換部１３が離散コサイン変換や離散サイン変換、あるいはこれらの整数変換による場合に、直流成分や低周波成分に対しては高周波成分に対するものよりも細かい量子化ステップを割り当ててもよい。こうした変換係数ごとの量子化ステップは、表（量子化テーブル）として定義しておいてもよい。

【0022】

エントロピー符号化部１５は、量子化部１４から入力された量子化インデックス、後述する残差ブロック画像復元部１８から入力された復元モード情報、及び後述する予測部２１から入力された予測情報に対しエントロピー符号化を適用し、データ圧縮を行って、ビット列（ビットストリーム）を外部に出力する。エントロピー符号化は、例えばハフマン符号化やその派生であるＣＡＶＬＣ（Context-Adaptive Variable Length Coding）、算術符号化やその派生であるＣＡＢＡＣ（Context-Adaptive Binary Arithmetic Coding）など、任意のエントロピー符号化方式を用いることができる。

【0023】

逆量子化部１６は、量子化部１４から入力された量子化インデックスに対し、量子化ステップを乗ずることにより変換係数（第２の変換係数）を算出し、逆変換部１７に出力する。逆量子化部１６により算出された変換係数は、変換部１３により算出された変換係数に対して、量子化ステップに応じた量子化誤差を含む。

【0024】

逆変換部１７は、逆量子化部１６から入力された変換係数に対し、変換部１３の逆変換となる逆直交変換を行って残差ブロック画像（第２の残差ブロック画像）を復元し、残差ブロック画像復元部１８に出力する。例えば、変換部１３が離散コサイン変換を行う場合には、逆変換部１７は逆離散コサイン変換を行う。逆変換部１７により算出された残差ブロック画像は、減算部１２により算出された残差ブロック画像に対して、量子化に起因する誤差を含む。

【0025】

残差ブロック画像復元部１８は、変換部１３、量子化部１４、逆量子化部１６、及び逆変換部１７の処理により生じる非可逆な変化（画質劣化）、すなわち、変換部１３の入力と逆変換部１７の出力間の差異を補償することを目的とする。残差ブロック画像復元部１８は、逆変換部１７から入力された劣化した残差ブロック画像（劣化残差ブロック画像）と、変換部１３への入力である劣化のない残差ブロック画像（無劣化残差ブロック画像）とに基づき、画質劣化を補償するための最適な処理を判断する。そして、最適な処理法を特定するための情報である復元モード情報をエントロピー符号化部１５に出力するとともに、最適な処理法によって画質劣化を補償した残差ブロック画像（復元残差ブロック画像）を加算部１９に出力する。

【0026】

図２に、残差ブロック画像復元部１８の構成例を示す。図２において、残差ブロック画像復元部１８は、複数の復元部２２と、最適化部２３と、選択切替部２４とを備える。図２では、復元部２２の数をＮ個（Ｎは２以上の自然数）とし、復元部２２−１乃至復元部２２−Ｎを備えるものとする。

【0027】

復元部２２は、劣化のある残差ブロック画像に対してそれぞれ画像処理を行い、画像処理後の残差ブロック画像を最適化部２３及び選択切替部２４に出力する。復元部２２の実行する画像処理の種類は、それぞれ任意である。例えば、画像処理として、予め定められた係数を畳み込むディジタルフィルタ処理であってもよいし、まったく処理を行わず入力された残差ブロック画像をそのまま出力するものであってもよい。

【0028】

図３に、変換、量子化、逆量子化、及び逆変換による画像の劣化過程Ｐを示す。復元部２２は、劣化過程Ｐの逆問題を解き、劣化前の残差ブロック画像ｘを復元することを意図している。

【0029】

例えば、復元部２２−ｎ（ｎは１以上Ｎ以下の自然数）は、入力たる劣化残差ブロック画像の画素値列をラスタスキャンし１次元の列ベクトルとして表現したものをｙとし、画像処理後の残差ブロック画像の画素値列をラスタスキャンし１次元の列ベクトルとして表現したものをｘ_nとおいたとき、最適化演算を行い画像処理後の残差ブロック画像を導出してもよい。

【0030】

最適化演算は式（１）で表される。ベクトル関数Ｐは劣化過程Ｐを定式化したものであり、変換Ｔ、及び量子化と逆量子化による信号値変化を表すベクトル関数Ｑによって式（２）で定義される。関数Ｅ_n（ｘ，ｙ）は、残差ブロック画像ｘと劣化残差ブロック画像ｙとの間の誤差を定量化する関数であり、以下、誤差項という。関数Ｒ_n（ｘ）は残差ブロック画像ｘの特徴量を求める関数であり、以下、正則化項という。

【0031】

【数1】

【0032】

式（１）の最適化は、最急降下法やレーベンバーグ・マルカート法といった反復演算により実現可能である。なお、反復演算の打ち切り条件は、例えば、式（１）の右辺中括弧内の絶対値が閾値以下に至った場合、式（１）の右辺中括弧内の反復による変化量の絶対値が閾値以下に至った場合、所定の繰り返し回数（例えば、１回乃至１０回の所定の繰り返し回数）に達したとき、あるいはこれら条件を組み合わせた条件を満たしたときとする。

【0033】

復元部２２−１乃至復元部２２−Ｎには、（Ｅ₁，Ｒ₁）乃至（Ｅ_N，Ｒ_N）の関数対がそれぞれ定義される。好ましくは、ｍ≠ｎ（ｍは１以上Ｎ以下の自然数、ｎも１以上Ｎ以下の自然数）に対し、（Ｅ_m，Ｒ_m）≠（Ｅ_n，Ｒ_n）であるものとする。例えば、Ｎ＝４の場合に、Ｅ₁には二乗誤差、Ｒ₁には全変動ノルム、Ｅ₂には二乗誤差、Ｒ₂には分散値、Ｅ₃には絶対値誤差、Ｒ₃には全変動ノルム、及びＥ₄には絶対値誤差、Ｒ₄には分散値などと、対になるものの組み合わせが全部異なるよう各関数対を定義すればよい。

【0034】

例えば、誤差項Ｅ_nが二乗誤差による場合には、式（３）で定義できる。ここで、||ｃ||₂はベクトルｃのユークリッドノルム（Ｌ２ノルム）を意味する。

【0035】

【数2】

【0036】

また、例えば、誤差項Ｅ_nが絶対値誤差による場合には、式（４）で定義できる。なお、||ｃ||₁はベクトルｃの絶対値ノルム（Ｌ１ノルム）を意味する。

【0037】

【数3】

【0038】

正則化項Ｒ_nは、例えば、残差ブロック画像ｘが複雑な画素値パターンを有するほどスカラー値が大きくなるよう設定する。例えば、正則化項Ｒ_nが全変動ノルム（トータルバリエーションノルム；ＴＶノルム）による場合には、式（５）とする。なお、Ｄ_x及びＤ_yは、画像の水平方向及び垂直方向の微分（差分）をとる作用素（行列）をそれぞれ表す。

【0039】

【数4】

【0040】

あるいは、水平ｈ画素、垂直ｖ画素の画像Ｘを、式（６）によりベクトルｘとして表現しているとしたとき、式（５）は、式（７）とも表現できる。

【0041】

【数5】

【0042】

【数6】

【0043】

また、例えば、正則化項Ｒ_nがブロック内の画素値の分散値による場合には、正則化項Ｒ_nは式（８）と定義できる。

【0044】

【数7】

【0045】

最適化部２３は、復元部２２−１乃至復元部２２−Ｎから入力された画像処理済みの残差ブロック画像ｘ₁乃至ｘ_Nと、減算部１２から入力された残差ブロック画像ｘとを比較し、いずれの復元部２２からの入力が最も減算部１２からの入力に類似するかを判定する。類似の判定は、例えば、復元部２２−ｎから入力された画像処理済みの残差ブロック画像ｘ_nと、減算部１２から入力された劣化のない残差ブロック画像ｘとの間の二乗誤差を求め、この二乗誤差を最小化するｎを求めることで実行する。二乗誤差を最小化するｎを復元モード情報と称し、ｎ＾とおくと、復元モード情報ｎ＾は式（９）で表される。復元モード情報ｎ＾は、選択切替部２４及びエントロピー符号化部１５へ出力される。

【0046】

【数8】

【0047】

選択切替部２４は、復元部２２−１乃至復元部２２−Ｎから入力された残差ブロック画像から、最適化部２３から入力された復元モード情報ｎ＾に従って復元部２２−ｎ＾を選択し、復元部２２−ｎ＾から入力された残差ブロック画像ｘ_n^を復元残差ブロック画像として出力する。すなわち、復元残差ブロック画像ｘ＾は、式（１０）で表される。

【0048】

【数9】

【0049】

加算部１９は、予測部２１から入力された予測ブロック画像の各画素値と、残差ブロック画像復元部１８から入力された復元残差ブロック画像の各画素値とを加算し、その結果を復号ブロック画像としてバッファ２０に出力する。

【0050】

バッファ２０は、加算部１９から入力された復号ブロック画像を記憶するメモリであって、ブロック分割部１１における対象ブロック画像の選定と連動して、対象ブロック画像の位置に復号ブロック画像を追記することにより、順次復号画像を構築してゆく。

【0051】

予測部２１は、バッファ２０に記憶された復号済みの復号画像（１以上の復号ブロック画像）を参照して、対象ブロック内の画素値列を予測し、予測結果である予測ブロック画像を減算部１２及び加算部１９に出力する。また、ブロック画像の予測に必要な情報である予測情報（動きベクトルやイントラ予測モード）をエントロピー符号化部１５に出力する。

【0052】

ここで、予測部２１が参照する復号画像は、対象ブロック画像の属するフレームと同一フレームの復号済みの領域であってもよいし、対象ブロック画像の属するフレームとは異なる符号化済みフレームであってもよい。予測部２１としては、例えば、インター予測（動き補償予測）や、イントラ予測（画面内予測）を用いることができる。インター予測には、例えば単方向予測や、双方向予測（あるいは双予測）を用いることができる。イントラ予測には、例えば方向性予測や、平均値予測、平面予測、画面内動き補償予測（イントラブロックコピー）を用いることができる。また、カラー映像（画像）の場合には、対象とする色とは別の色成分からの予測（例えば、輝度−色差予測）を用いてもよい。

【0053】

上述したように、符号化装置１０は、劣化残差ブロック画像に複数種類の画像処理を行い、劣化のない残差ブロック画像との誤差が最も少ない画像を復元残差ブロック画像として生成し、復元残差ブロック画像を用いて予測を行う。そのため、符号化装置１０は、変換処理と量子化処理の組み合わせで生じる劣化を補償することができる。

【0054】

なお、上述した符号化装置１０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、符号化装置１０の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0055】

（復号装置）
つぎに、本発明の一実施形態に係る復号装置について説明する。図４に、本発明の一実施形態に係る復号装置の構成例を示す。図４に示す例では、復号装置３０は、エントロピー復号部３１と、逆量子化部３２と、逆変換部３３と、残差ブロック画像復元部３４と、加算部３５と、バッファ３６と、予測部３７とを備え、上述した符号化装置１０からデータを取得する。

【0056】

エントロピー復号部３１は、符号化装置１０のエントロピー符号化部１５と対をなし、エントロピー符号化部１５で圧縮されたデータを復元（解凍）し、ブロック画像の量子化インデックス、残差ブロック画像の復元処理を特定するための情報である復元モード情報、及びブロック画像の予測処理に必要な情報である予測情報を取得する。そして、量子化インデックスを逆量子化部３２に出力し、復元モード情報を残差ブロック画像復元部３４に出力し、予測情報を予測部３７に出力する。

【0057】

逆量子化部３２は、エントロピー復号部３１から入力された量子化インデックスに対し、量子化ステップを乗ずることにより変換係数を算出し、逆変換部３３に出力する。

【0058】

逆変換部３３は、逆量子化部３２から入力された変換係数に対し、逆直交変換を行って残差ブロック画像を復元し、残差ブロック画像復元部３４に出力する。

【0059】

残差ブロック画像復元部３４は、エントロピー復号部３１から入力された復元モード情報に従って、逆変換部３３から入力された劣化のある残差ブロック画像に対して復元処理を行い、復元結果である復元残差ブロック画像を加算部３５に出力する。例えば、残差ブロック画像復元部３４は、残差ブロック画像に対して、復元モード情報によって特定される関数を用いた最適化演算を行う。最適化演算については上述したとおりである。

【0060】

図５に、残差ブロック画像復元部３４の構成例を示す。図５に示す例では、残差ブロック画像復元部３４は、複数の復元部３８と、選択切替部３９とを備える。図５では、復元部３８の数をＮ個（Ｎは２以上の自然数）とし、復元部３８−１乃至復元部３８−Ｎを備えるものとする。

【0061】

復元部３８は、符号化装置１０の復元部２２と同様に、劣化のある残差ブロック画像に対してそれぞれ画像処理を行い、画像処理後の残差ブロック画像を選択切替部３９に出力する。

【0062】

選択切替部３９は、残差ブロック画像復元部３４の外部から復元モード情報が入力されることを除いては選択切替部２４と同様である。すなわち、選択切替部３９は、復元部３８−１乃至復元部３８−Ｎから入力された残差ブロック画像から、エントロピー復号部３１から入力された復元モード情報によって特定される残差ブロック画像を選択し、復元残差ブロック画像として出力する。

【0063】

あるいは、残差ブロック画像復元部３４は、逆変換部３３から入力された劣化のある残差ブロック画像に対して、復元モード情報によって特定される画像処理のみを行うようにしてもよい。

【0064】

加算部３５は、後述する予測部３７から入力された予測ブロックの各画素値と、逆変換部３３から入力された残差ブロック画像の各画素値とを加算し、その結果を復号ブロック画像としてバッファ３６に出力する。

【0065】

バッファ３６は、バッファ２０の動作と同一である。復号装置３０がエントロピー復号部３１からの１フレーム分のデータを処理し終えた時点で、バッファ３６には当該フレームの復号画像が記憶された状態となる。

【0066】

予測部３７は、バッファ３６に記憶された復号済みの復号画像（１以上の復号ブロック画像）を参照し、エントロピー復号部３１から入力された予測情報に従って予測処理を行って予測ブロック画像を生成し、加算部３５に出力する。

【0067】

上述したように、復号装置３０は、残差ブロック画像の復元処理に必要な情報を示す復元モード情報を取得し、残差ブロック画像に対して復元モードに従って復元処理を行って復元残差ブロック画像を生成し、復元残差ブロック画像を用いて予測を行う。そのため、復号装置３０は、変換処理と量子化処理の組み合わせで生じる劣化を補償することができ、その結果、復号画像の画質を向上させることができる。

【0068】

なお、上述した復号装置３０として機能させるためにコンピュータを好適に用いることができ、そのようなコンピュータは、復号装置３０の各機能を実現する処理内容を記述したプログラムを該コンピュータの記憶部に格納しておき、該コンピュータのＣＰＵによってこのプログラムを読み出して実行させることで実現することができる。なお、このプログラムは、コンピュータ読取り可能な記録媒体に記録可能である。

【0069】

上述の実施形態は代表的な例として説明したが、本発明の趣旨及び範囲内で、多くの変更及び置換ができることは当業者に明らかである。したがって、本発明は、上述の実施形態によって制限するものと解するべきではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。例えば、実施形態に記載の複数の構成ブロックを１つに組み合わせたり、あるいは１つの構成ブロックを分割したりすることが可能である。

【符号の説明】

【0070】

１０ 符号化装置
１１ ブロック分割部
１２ 減算部
１３ 変換部
１４ 量子化部
１５ エントロピー符号化部
１６ 逆量子化部
１７ 逆変換部
１８ 残差ブロック画像復元部
１９ 加算部
２０ バッファ
２１ 予測部
３０ 復号装置
３１ エントロピー復号部
３２ 逆量子化部
３３ 逆変換部
３４ 残差ブロック画像復元部
３５ 加算部
３６ バッファ
３７ 予測部
３８ 復元部
３９ 選択切替部

【図1】

【図2】

【図3】

【図4】

【図5】