特許 7493310 画像復号装置及び方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-23

(45)【発行日】2024-05-31

(54)【発明の名称】画像復号装置及び方法及びプログラム

(51)【国際特許分類】

   H04N 19/126 20140101AFI20240524BHJP

   H04N 19/176 20140101ALI20240524BHJP

   H04N 19/186 20140101ALI20240524BHJP

   H04N 19/46 20140101ALI20240524BHJP

【ＦＩ】

H04N19/126

H04N19/176

H04N19/186

H04N19/46

【請求項の数】 7

(21)【出願番号】P 2019107454

(22)【出願日】2019-06-07

(65)【公開番号】P2020202473

(43)【公開日】2020-12-17

【審査請求日】2022-05-09

【前置審査】

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】志摩 真悟

【審査官】坂東 大五郎

(56)【参考文献】

【文献】HELMRICH, Christian et al.，CE7-related: Joint chroma residual coding with multiple modes，Joint Video Experts Team (JVET)，2019年03月21日，[JVET-N0282-v3] (version 3)

【文献】CHUBACH, Olena et al.，CE7-related: Support of quantization matrices for VVC，Joint Video Experts Team (JVET)，2019年03月25日，[JVET-N0847-v1] (version 2)

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

画像の符号化データを復号する画像復号装置であって、
前記符号化データから、量子化された変換係数である量子化変換係数に対応するデータを復号する復号手段と、
量子化マトリクスを用いた逆量子化を少なくとも行うことで、前記復号されたデータから、予測誤差を導出する導出手段と、
を有し、
色差成分の予測誤差は、第１のモード又は第２のモードを用いて導出することが可能であり、
前記画像は複数の色差成分を含み、
前記第１のモードは、前記複数の色差成分の内の第１の色差成分に関連付けられた第１の量子化変換係数の符号が前記符号化データにおいて省略され、前記第１の色差成分と、前記複数の色差成分の内の第２の色差成分とが統合されているモードであり、
前記第１のモードにおいて、前記導出手段は、前記第１の色差成分とは異なる色差成分に関連付けられた量子化変換係数を用いて、前記第１の色差成分の第１の予測誤差を導出し、
前記第１のモードにおいて、前記導出手段は、前記第１の色差成分の前記第１の予測誤差を導出するために用いられる前記量子化変換係数を、前記第１の色差成分とは異なる前記色差成分に対応する量子化マトリクスを用いて逆量子化し、
前記第２のモードは、前記第１の量子化変換係数の符号が前記符号化データにおいて省略されていないモードであり、
前記第１のモードが用いられる場合における、前記第１の予測誤差を導出するために用いられる前記量子化変換係数の逆量子化に用いられる前記量子化マトリクスと、前記第２のモードが用いられる場合における、前記第１の色差成分とは異なる色差成分に関連付けられた量子化変換係数の逆量子化に用いられる量子化マトリクスは同じである
ことを特徴とする画像復号装置。

【請求項2】

前記第２のモードにおいて、前記第１の量子化変換係数に対応するデータと、前記第１の色差成分とは異なる前記色差成分に関連付けられた第２の量子化変換係数に対応するデータとが、前記符号化データから復号される
ことを特徴とする請求項１に記載の画像復号装置。

【請求項3】

前記第１のモードにおいて、前記導出手段は、前記第１の色差成分とは異なる前記色差成分に係る値と所定の値との乗算を行うことによって、前記第１の予測誤差を導出する
ことを特徴とする請求項１に記載の画像復号装置。

【請求項4】

画像の符号化データを復号する画像復号方法であって、
前記符号化データから、量子化された変換係数である量子化変換係数に対応するデータを復号する復号工程と、
量子化マトリクスを用いた逆量子化を少なくとも行うことで、前記復号されたデータから、予測誤差を導出する導出工程と、
を有し、
色差成分の予測誤差は、第１のモード又は第２のモードを用いて導出することが可能であり、
前記画像は複数の色差成分を含み、
前記第１のモードは、前記複数の色差成分の内の第１の色差成分に関連付けられた第１の量子化変換係数の符号が前記符号化データにおいて省略され、前記第１の色差成分と、前記複数の色差成分の内の第２の色差成分とが統合されているモードであり、
前記第１のモードにおける前記導出工程において、前記第１の色差成分とは異なる色差成分に関連付けられた量子化変換係数を用いて、前記第１の色差成分の第１の予測誤差を導出し、
前記第１のモードにおける前記導出工程において、前記第１の色差成分の前記第１の予測誤差を導出するために用いられる前記量子化変換係数を、前記第１の色差成分とは異なる前記色差成分に対応する量子化マトリクスを用いて逆量子化し、
前記第２のモードは、前記第１の量子化変換係数の符号が前記符号化データにおいて省略されていないモードであり、
前記第１のモードにおける前記導出工程において、前記第１の予測誤差を導出するために用いられる前記量子化変換係数の逆量子化に用いられる前記量子化マトリクスと、前記第２のモードにおける前記導出工程において、前記第１の色差成分とは異なる色差成分に関連付けられた量子化変換係数の逆量子化に用いられる量子化マトリクスは同じである
ことを特徴とする画像復号方法。

【請求項5】

前記第２のモードにおいて、前記第１の量子化変換係数に対応するデータと、前記第１の色差成分とは異なる前記色差成分に関連付けられた第２の量子化変換係数に対応するデータとが、前記符号化データから復号される
ことを特徴とする請求項４に記載の画像復号方法。

【請求項6】

前記第１のモードにおける前記導出工程において、前記第１の色差成分とは異なる前記色差成分に係る値と所定の値との乗算を行うことによって、前記第１の予測誤差を導出する
ことを特徴とする請求項４に記載の画像復号方法。

【請求項7】

コンピュータを、請求項１～３のいずれか１項に記載の画像復号装置の各手段として機能させることを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像の復号技術に関するものである。

【背景技術】

【0002】

動画像の圧縮記録の符号化方式として、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣと記す）が知られている。ＨＥＶＣでは符号化効率向上のため、従来のマクロブロック（１６×１６画素）より大きなサイズの基本ブロックが採用された。この大きなサイズの基本ブロックはＣＴＵ（Ｃｏｄｉｎｇ Ｔｒｅｅ Ｕｎｉｔ）と呼ばれ、そのサイズは最大６４×６４画素である。ＣＴＵはさらに予測や変換を行う単位となるサブブロックに分割される。
また、ＨＥＶＣにおいては、量子化マトリクスと呼ばれる、直交変換を施した後の係数（以下、直交変換係数と記す）を、周波数成分に応じて重み付けをする処理が用いられている。人間の視覚には劣化が目立ちにくい高周波成分のデータをより削減することで、画質を維持しながら圧縮効率を高めることが可能となっている。特許文献１には、このような量子化マトリクスを符号化する技術が開示されている。

【0003】

近年、ＨＥＶＣの後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ）がＩＳＯ／ＩＥＣとＩＴＵ－Ｔの間で設立され、ＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＶＶＣ）として標準化が進められている。符号化効率向上のため、ＶＶＣでは２つの色差成分（Ｃｂ成分とＣｒ成分）の量子化後の残差係数をまとめて符号化する新たな符号化方法（以下、色差残差係数統合符号化と呼称する）が検討されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－３８７５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ＶＶＣにおいても、ＨＥＶＣと同様に量子化マトリクスの導入が検討されている。しかしながら、ＨＥＶＣにおける量子化マトリクスは輝度（Ｙ）および色差（Ｃｂ、Ｃｒ）それぞれの成分に対する量子化・逆量子化処理を前提としており、新しい符号化方法である色差残差係数統合符号化には対応できていない。このため、色差残差係数統合符号化を用いる場合、周波数成分に応じた量子化制御を行うことができず、主観画質を向上できないという課題があった。したがって、本発明は上述した課題を解決するためになされたものであり、色差残差係数統合符号化にも対応した量子化マトリクスを用いた量子化処理を可能とすることで、主観画質を向上させることを目的としている。

【課題を解決するための手段】

【0006】

この課題を解決するため、例えば本発明の画像復号装置は以下の構成を備える。すなわち、
画像の符号化データを復号する画像復号装置であって、
前記符号化データから、量子化された変換係数である量子化変換係数に対応するデータを復号する復号手段と、
量子化マトリクスを用いた逆量子化を少なくとも行うことで、前記復号されたデータから、予測誤差を導出する導出手段と、
を有し、
色差成分の予測誤差は、第１のモード又は第２のモードを用いて導出することが可能であり、
前記画像は複数の色差成分を含み、
前記第１のモードは、前記複数の色差成分の内の第１の色差成分に関連付けられた第１の量子化変換係数の符号が前記符号化データにおいて省略され、前記第１の色差成分と、前記複数の色差成分の内の第２の色差成分とが統合されているモードであり、
前記第１のモードにおいて、前記導出手段は、前記第１の色差成分とは異なる色差成分に関連付けられた量子化変換係数を用いて、前記第１の色差成分の第１の予測誤差を導出し、
前記第１のモードにおいて、前記導出手段は、前記第１の色差成分の前記第１の予測誤差を導出するために用いられる前記量子化変換係数を、前記第１の色差成分とは異なる前記色差成分に対応する量子化マトリクスを用いて逆量子化し、
前記第２のモードは、前記第１の量子化変換係数の符号が前記符号化データにおいて省略されていないモードであり、
前記第１のモードが用いられる場合における、前記第１の予測誤差を導出するために用いられる前記量子化変換係数の逆量子化に用いられる前記量子化マトリクスと、前記第２のモードが用いられる場合における、前記第１の色差成分とは異なる色差成分に関連付けられた量子化変換係数の逆量子化に用いられる量子化マトリクスは同じである
ことを特徴とする。

【発明の効果】

【0007】

本発明によれば、２つの色差成分の残差係数の符号化効率を高めつつも、主観画質の劣化を抑制することができる。

【図面の簡単な説明】

【0008】

【図1】第１の実施形態における画像符号化装置のブロック構成図。

【図2】第１の実施形態における画像復号装置のブロック構成図。

【図3】第１の実施形態における画像符号化装置における画像符号化処理を示すフローチャート。

【図4】第１の実施形態における画像復号装置における画像復号処理を示すフローチャート。

【図5】第２の実施形態で適用するコンピュータハードウェア構成図。

【図6】実施形態にて生成されるビットストリームのデータ構造の例を示す図。

【図7】実施形態におけるサブブロック分割の例を示す図。

【図8】実施形態で用いられる量子化マトリクスの例を示す図。

【図9】実施形態で用いられる量子化マトリクスの要素の走査方法を示す図。

【図10】実施形態で生成される量子化マトリクスの差分値行列を示す図。

【図11】量子化マトリクスの差分値の符号化に用いられる符号化テーブルの例を示す図。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0010】

図１は本実施形態の画像符号化装置のブロック構図である。画像符号化装置は、装置全体の制御を司る制御部１５０を有する。この制御部１５０は、ＣＰＵ、ＣＰＵが実行するプログラムを格納するＲＯＭ、ＣＰＵのワークエリアとして利用するＲＡＭを有する。また、画像符号化装置は、入力端子１０１、ブロック分割部１０２、量子化マトリクス保持部１０３、予測部１０４、変換・量子化部１０５、逆量子化・逆変換部１０６、画像再生部１０７、フレームメモリ１０８、インループフィルタ部１０９、符号化部１１０、統合符号化部１１１、出力端子１１２、及び、量子化マトリクス符号化部１１３を有する。

【0011】

入力端子１０１は、画像データ発生源で発生した符号化対象の画像データをフレーム単位に入力する。画像データ発生源は、撮像装置、符号化対象の画像データを記憶したファイルサーバや記憶媒体等、その種類は問わない。また、出力端子１１２は、符号化データを出力先装置に出力するが、その出力先装置も記憶媒体、ファイルサーバ等、特に問わない。

【0012】

ブロック分割部１０２は、入力したフレームの画像を複数の基本ブロックに分割し、その１つを基本ブロックとして後段の予測部１０４に順に出力する。

【0013】

量子化マトリクス保持部１０３は、符号化に先立って複数の量子化マトリクスを生成し、内部の不図示のメモリに保持する。量子化マトリクスの生成方法については特に限定しないが、ユーザが量子化マトリクスを入力しても良いし、入力画像の特性から算出しても、初期値として予め指定されたものを使用しても良い。本実施形態における量子化マトリクス保持部１０３は、図８（ａ）に示される８×８画素の直交変換に対応した二次元の量子化マトリクス８０１と、図８（ｂ）、（ｃ）に示す４×４の直交変換に対応した二次元の量子化マトリクス８０１、８０２を生成し、保持する。量子化マトリクス８０１が輝度成分用、量子化マトリクス８０１、８０２は２つの色差成分用の量子化マトリクスである。

【0014】

予測部１０４は、基本ブロック単位の画像データに対し、サブブロック分割を決定し、サブブロック単位でフレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行い、予測画像データを生成する。さらに、予測部１０４は、入力された画像データと予測画像データとから画素単位の予測誤差を算出し、出力する。また、予測部１０４は、予測に必要な情報、例えばサブブロック分割、予測モードや動きベクトル等の情報も予測誤差と併せて出力される。以降、この予測に必要な情報を予測情報と呼称する。

【0015】

変換・量子化部１０５は、予測部１０４から入力した予測誤差をサブブロック単位で直交変換して直交変換係数（直交変換された残差係数）を得る。更に、変換・量子化部１０５は、量子化マトリクス保持部１０３に格納されている量子化マトリクスを用いて、直交変換係数の量子化を行い、量子化された残差係数（量子化された直交変換係数）を得る。

【0016】

逆量子化・逆変換部１０６は、変換・量子化部１０５から残差係数を入力し、量子化マトリクス保持部１０３に格納されている量子化マトリクスを用いて逆量子化し、直交変換係数を再生する。逆量子化・逆変換部１０６は、さらに逆直交変換して予測誤差を再生する。

【0017】

画像再生部１０７は、予測部１０４から出力された予測情報に基づいて、フレームメモリ１０８を適宜参照して予測画像データを生成する。画像再生部１０７は、この予測画像データに、逆量子化・逆変換部１０６からの予測誤差を加算することで、再生画像データを生成し、フレームメモリ１０８に格納する。

【0018】

インループフィルタ部１０９は、フレームメモリ１０８に格納されている再生画像に対し、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行い、フィルタ処理後の画像データを再度フレームメモリ１０８に格納する。

【0019】

符号化部１１０は、変換・量子化部１０５から出力された残差係数および予測部１０４から出力された予測情報を符号化して、符号データを生成し、統合符号化部１１１に出力する。

【0020】

量子化マトリクス符号化部１１３は、量子化マトリクス保持部１０３に保持されている量子化マトリクスを符号化して、量子化マトリクス符号データを生成し、統合符号化部１１１に出力する。

【0021】

統合符号化部１１１は、量子化マトリクス符号化部１１３からの量子化マトリクス符号データを含むヘッダ符号データを生成する。そして、統合符号化部１１１は、ヘッダ符号データに、符号化部１１０から出力された符号データを後続させ、ビットストリームを形成する。そして、統合符号化部１１１は、形成したビットストリームを、出力端子１１２を介して出力する。

【0022】

ここで、画像符号化装置における画像の符号化動作をより詳しく以下に説明する。本実施形態では、入力端子１０１より、４：２：０カラーフォーマットの動画像データをフレーム単位に入力する構成とするが、１フレーム分の静止画データを入力する構成としても構わない。また、本実施形態では、説明を容易にするため、イントラ予測符号化の処理のみを説明するが、これに限定されずインター予測符号化の処理においても適用可能である。さらに本実施形態では説明のため、ブロック分割部１０１においては、入力端子より入力した画像データを、８×８画素の基本ブロックに分割するものとして説明する。すなわち、８×８画素の基本ブロックには、８×８画素の輝度（Ｙ）成分と４×４画素の色差（ＣｂおよびＣｒ）成分の画素が含まれることになる。なお、これは理解を容易にするためであり、上記数値（サイズ）に限定されるものではない。

【0023】

画像の符号化に先立ち、量子化マトリクスの生成および符号化を行う。

【0024】

量子化マトリクス保持部１０３は、まず、量子化マトリクスを生成し、保持する。具体的には、符号化されるサブブロックのサイズや予測方法の種類に応じて、量子化マトリクスを生成する。本実施形態では、図７（ａ）に示される、サブブロックに分割しない８×８画素の基本ブロックに対応する、量子化マトリクスを生成する。すなわち、量子化マトリクス保持部１０３は、輝度（Ｙ）成分用の８×８の量子化マトリクス、および、色差（ＣｂおよびＣｒ）成分用の４×４の量子化マトリクスを生成する。ただし、生成される量子化マトリクスはこれに限定されず、４×８、８×４など、サブブロックの形状に対応した量子化マトリクスが生成されても良い。量子化マトリクスを構成する各要素の決定方法は特に限定しない。例えば、所定の初期値を用いても良いし、個別に設定しても良い。また、画像の特性に応じて生成されても構わない。

【0025】

量子化マトリクス保持部１０３は、このようにして生成された量子化マトリクスを、内部の不図示のメモリに保持する。図８（ａ）はＹ成分用の量子化マトリクス８００を示している。また、同図（ｂ）はＣｂ成分用の量子化マトリクス８０１、同図（ｃ）はＣｒ成分用の量子化マトリクス８０２を示している。説明を簡易にするため、８×８の６４画素分および４×４の１６画素分の構成とし、太枠内の各正方形は量子化マトリクスを構成している各要素を表しているものとする。本実施形態では、図８（ａ）～（ｃ）に示された三種の量子化マトリクスが二次元の形状で保持されているものとするが、量子化マトリクス内の各要素はもちろんこれに限定されない。また、サブブロックのサイズによって、あるいは後述の予測方法の種類、例えばイントラ予測を用いるかインター予測を用いるかによって、同じ色成分に対して複数の量子化マトリクスを保持することも可能である。一般的に、量子化マトリクスは人間の視覚特性に応じた量子化処理を実現するため、図８（ａ）～（ｃ）に示すように量子化マトリクスの左上部分に相当する低周波部分の要素は小さく、右下部分に相当する高周波部分の要素は大きくなっている。

【0026】

量子化マトリクス符号化部１１３は、量子化マトリクス保持部１０６に保持されている二次元形状の量子化マトリクスを順に読み出し、各要素を走査して得られる前後の要素の差分を計算し、一次元の行列に配置する。本実施形態では、図８（ａ）～（ｃ）に示された各量子化マトリクスはサイズに応じて、図９（ａ）または（ｂ）に示された走査方法を用い、要素ごとに走査順に直前の要素との差分を計算するものとする。例えば図８（ｃ）で示された４×４画素分の量子化マトリクスは図９（ｂ）で示された走査方法によって走査されるが、左上に位置する最初の要素８の次はそのすぐ下に位置する要素１４が走査され、差分である＋６が計算される。また、量子化マトリクスの最初の要素（本実施形態では８）の符号化には、所定の初期値（例えば８）との差分を計算するものとするが、もちろんこれに限定されず、任意の値との差分や、最初の要素の値そのものを用いても良い。要するに復号装置と同じ初期値となっていれば良い。

【0027】

このようにして、量子化マトリクス符号化部１１３は、図８（ａ）の量子化マトリクス８００については図９（ａ）の走査方法を用いて差分行列を生成する。同様に、量子化マトリクス符号化部１１３は、図８（ｂ）、（ｃ）の量子化マトリクス８０１、８０２については図９（ｂ）の走査方法を用いて、差分行列を生成する。図１０（ａ）は、図８（ａ）の量子化マトリクス８００から得た差分行列１０００を示している。図１０（ｂ）は図８（ｂ）の量子化マトリクス８０１から得た差分行列１００１を示している。そして、図１０（ｃ）は、量子化マトリクス８０２から得た差分行列１００２を示している。

【0028】

量子化マトリクス符号化部１１３は、上記のようにして生成した各差分行列を更に符号化し、量子化マトリクス符号データを生成する。本実施形態の量子化マトリクス符号化部１１３は、差分行列の個々の要素に対し、図１１（ａ）に示される符号化テーブルを用いて、符号語を割り当てることで符号化し、量子化マトリクス符号データを生成する。なお、符号化テーブルはこれに限定されず、例えば図１１（ｂ）に示される符号化テーブルを用いても良い。このようにして、量子化マトリクス符号化部１１３は、生成した量子化マトリクス符号データを、後段の統合符号化部１１１に出力する。

【0029】

図１に戻り、統合符号化部１１１は、画像データの符号化に必要なヘッダ情報に、量子化マトリクスの符号データを統合する。

【0030】

続いて、画像データの符号化が行われる。入力端子１０１から入力された１フレーム分の画像データはブロック分割部１０２に供給される。ブロック分割部１０２は、入力された１フレームの画像データを複数の基本ブロックに分割し、基本ブロック単位の画像データを予測部１０４に出力する。本実施形態では、８×８画素の基本ブロック単位の画像データが予測部１０４に供給されることになる。

【0031】

予測部１０４は、ブロック分割部１０２から入力された基本ブロック単位の画像データに対し予測処理を実行する。具体的には、基本ブロックをさらに細かいサブブロックに分割するサブブロック分割を決定し、さらにサブブロック単位で水平予測や垂直予測などのイントラ予測モードを決定する。

【0032】

図７を参照してサブブロック分割方法を説明する。図７（ａ）乃至（ｆ）のブロック７００乃至７０５の太枠は基本ブロックとおなじ８×８画素のサイズである。太枠内の各四角形はサブブロックを表している。図７（ｂ）は従来の正方形サブブロック分割の一例を表しており、８×８画素の基本ブロック７０１は、４個の４×４画素のサブブロックに分割されている。一方、図７（ｃ）～（ｆ）は長方形サブブロック分割の一例を表している。図７（ｃ）は、基本ブロック７０２が４×８画素サイズの２個のサブブロック（垂直方向に長手）に分割されることを示している。図７（ｄ）は、基本ブロック７０３が、８×４画素サイズの２個のサブブロック（水平方向に長手）に分割されることを示している。図７（ｅ）、（ｆ）基本ブロック７０４、７０５の場合、分割方向が異なるものの、１：２：１の比で３つの長方形サブブロックに分割されている。このように正方形だけではなく、長方形のサブブロックも用いて符号化処理を行っている。

【0033】

本実施形態では、８×８画素サイズの基本ブロックを、サブブロックに分割しない図７（ａ）のみが用いられるものとするが、サブブロック分割方法はこれに限定されない。図７（ｂ）のような四分木分割や、図７（ｅ）、（ｆ）のような三分木分割または図７（ｃ）や図７（ｄ）のような二分木分割を用いても構わない。図７（ａ）以外のサブブロック分割も用いられる場合には、量子化マトリクス保持部１０３にて使用されるサブブロックに対応する量子化マトリクスが生成される。また、生成された量子化マトリクスは量子化マトリクス符号化部１１３にて符号化されることとなる。

【0034】

予測部１０４は、決定した予測モード、および、フレームメモリ１０８に格納されている符号化済の領域から予測画像データを生成し、さらに入力された画像データと前記予測画像データから画素単位の予測誤差を算出し、その予測誤差を変換・量子化部１０５に出力する。また、予測部１０４は、サブブロック分割や予測モードなどの情報を予測情報として、符号化部１１０、画像再生部１０７に出力する。

【0035】

変換・量子化部１０５は、予測部１０４より入力した予測誤差に対し、直交変換・量子化を行い、残差係数を生成する。また、変換・量子化部１０５は、これと並行して、成分ＣｂとＣｒの残差係数をまとめて符号化する色差残差係数統合符号化を用いるか否かを判定する。

【0036】

ここで、本実施形態で用いられる色差残差係数統合符号化について説明する。色差残差係数統合符号化とは、ＣｂとＣｒの残差係数の相関が高い場合に一方の残差係数のみを符号化し、もう一方の残差係数の符号化を省略することで、発生符号量を削減し、符号化効率を向上させるものである。復号側では符号化された一方の色差残差係数のみを復号し、もう一方の色差残差係数は復号された色差残差係数を用いて算出することにより再生する。本実施形態では、一例として、Ｃｂの残差係数とＣｒの残差係数に負の相関関係がみられる場合に、色差残差係数統合符号化を用い、後段の符号化部１１０において成分Ｃｂのみを符号化し、Ｃｒの残差係数の符号化を省略する。

【0037】

図１に戻り、変換・量子化部１０５は、まずは予測誤差に対し、サブブロックのサイズに対応した直交変換処理を施し直交変換係数（直交変換された残差係数）を生成する。次に、変換・量子化部１０５は、生成された成分ＣｂおよびＣｒの直交変換係数の相関関係から、色差残差係数統合符号化を用いるか否かを決定する。すなわち、変換・量子化部１０５は、成分Ｃｂの直交変換係数に（－１）を乗じたものが成分Ｃｒの直交変換係数に近いか否かを判定し、近いと判断された場合には、色差残差係数統合符号化を用いると決定する。また、変換・量子化部１０５は、色差残差係数統合符号化を用いるか否かを示す情報（１ビットで良い）を色差統合情報として生成する。そして、変換・量子化部１０５は、直交変換係数を色成分に応じて量子化マトリクス保持部１０３に格納されている量子化マトリクスを用いて量子化し、残差係数（量子化された直交変換係数）を生成する。本実施形態では、Ｙ成分の直交変換係数には図８（ａ）、Ｃｂ成分の直交変換係数には図８（ｂ）、Ｃｒ成分の直交変換係数には図８（ｃ）の量子化マトリクスが用いられるものとする。ただし、使用される量子化マトリクスはこれに限定されない。また、色差残差係数統合符号化を用いると決定した場合には、Ｃｂ成分の直交変換係数を図８（ｂ）の量子化マトリクスを用いて量子化し、Ｃｒ成分の直交変換係数の量子化処理および後段への出力を省略する。これにより、後段の処理で用いられないＣｒ成分の量子化処理分の演算量を削減することができる。生成された残差係数および色差統合情報は符号化部１１０および逆量子化・逆変換部１０６に出力される。

【0038】

逆量子化・逆変換部１０６は、変換・量子化部１０５から入力した残差係数（量子化されている直交変換係数）を、量子化マトリクス保持部１０３に格納されている量子化マトリクスを用いて逆量子化することで、直交変換係数（正確には、量子化されていないが直交変換されている残差係数）を再生する。逆量子化・逆変換部１０６は、さらに再生された直交変換係数を逆直交変換して予測誤差を再生する。逆量子化処理には、変換・量子化部１０５と同様、符号化対象サブブロックの色成分に対応した量子化マトリクスが用いられる。具体的には、逆量子化・逆変換部１０６は、変換・量子化部１０５で用いられた量子化マトリクスと同一のものが用いて逆量子化を行う。すなわち、Ｙ成分の残差係数には図８（ａ）、Ｃｂ成分の残差係数には図８（ｂ）、Ｃｒ成分の残差係数には図８（ｃ）の量子化マトリクスが用いられる。

【0039】

また、色差統合情報が、サブブロックにおいて色差残差係数統合符号化が用いられていることを示している場合、逆量子化・逆変換部１０６は、Ｃｂ成分の残差係数の図８（ｂ）の量子化マトリクスを用いて逆量子化し、Ｃｂ成分の直交変換係数を再生する。逆量子化・逆変換部１０６は、再生されたＣｂ成分の直交変換係数に「－１」を乗じたものをＣｒ成分の直交変換係数として再生する。こうして再生された直交変換係数に逆直交変換を施して再生された予測誤差は画像再生部１０７に出力される。

【0040】

画像再生部１０７は、予測部１０４から入力される予測情報に基づいて、フレームメモリ１０８を適宜参照し、予測画像を再生する。そして画像再生部１０７は、再生された予測画像と、逆量子化・逆変換部１０６により再生された予測誤差とに基づき、再生画像データを生成し、フレームメモリ１０８に格納する。

【0041】

インループフィルタ部１０９は、フレームメモリ１０８から再生画像データを読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部１０９は、フィルタ処理された画像データをフレームメモリ１０８に再格納する。

【0042】

符号化部１１０は、変換・量子化部１０５で生成されたサブブロック単位の残差係数や色差統合情報、並びに、予測部１０４から入力された予測情報をエントロピー符号化し、符号データを生成する。色差統合情報が、当該サブブロックにおいて色差残差係数統合符号化を用いないことを示す場合、符号化部１１０は、Ｙ、Ｃｂ、Ｃｒの全ての色成分の残差係数を符号化する。一方で、色差統合情報が当該サブブロックにおいて色差残差係数統合符号化を用いることを示す場合、符号化部１１０は、Ｙ、Ｃｂの色成分の残差係数を符号化し、Ｃｒ成分の残差係数の符号化を行わない。エントロピー符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。符号化部１１０は、生成された符号データを統合符号化部１１１に出力する。

【0043】

統合符号化部１１１は、前述のヘッダの符号データとともに、符号化部１１０から入力された符号データなどを多重化してビットストリームを形成する。そして、統合符号化部１１１は、形成したビットストリームを出力端子１１２から外部（記録媒体はネットワーク等）に出力する。

【0044】

図６（ａ）は本実施形態で出力されるビットストリームのデータ構造の一例である。シーケンスヘッダには、量子化マトリクスの符号データが含まれ、各要素の符号化結果で構成されている。ただし、符号化される位置はこれに限定されず、ピクチャヘッダ部やその他のヘッダ部に符号化される構成をとってももちろん構わない。また、１つのシーケンスの中で量子化マトリクスの変更を行う場合、量子化マトリクスを新たに符号化することで更新することも可能である。この際、全ての量子化マトリクスを書き換えても良いし、書き換える量子化マトリクスに対応する量子化マトリクスの色成分を指定することでその一部を変更するようにすることも可能である。

【0045】

図３は、実施形態の画像符号化装置における制御部１５０の１フレーム分の符号化処理を示すフローチャートである。

【0046】

まず、画像の符号化に先立ち、Ｓ３０１にて、制御部１５０は、量子化マトリクス保持部１０３を制御し、二次元の量子化マトリクスを生成させ、保持させる。本実施形態の量子化マトリクス保持部１０３は、８×８画素のブロックに対応し、図８（ａ）～（ｃ）に示されるＹ成分、Ｃｂ成分およびＣｒ成分のそれぞれの色成分に対応した量子化マトリクス８０１乃至８０２を生成し、保持することになる。

【0047】

Ｓ３０２にて、制御部１５０は、量子化マトリクス符号化部１１３を制御し、Ｓ３０１にて生成・保持された量子化マトリクスを走査して各要素の差分を算出し、差分行列を生成する。本実施形態では、図８（ａ）～（ｃ）に示された量子化マトリクス８０１乃至８０３は、図９（ａ）または（ｂ）の走査方法を用い、図１０（ａ）～（ｃ）に示される差分行列が生成されることになる。そして、制御部１５０は、量子化マトリクス符号化部１１３を制御し、生成された差分行列の符号化を行わせ、量子化マトリクス符号データを生成させる。

【0048】

Ｓ３０３にて、制御部１５０は、統合符号化部１１１を制御し、生成された量子化マトリクス符号データとともに、画像データの符号化に必要なヘッダ情報を符号化し、出力させる。Ｓ３０４にて、制御部１５０は、ブロック分割部１０２を制御し、フレーム単位の入力画像を基本ブロック単位に分割させる。Ｓ３０５にて、制御部１５０は、予測部１０４を制御し、Ｓ３０４にて生成された基本ブロック単位の画像データに対して、予測処理を実行させ、サブブロック分割情報や予測モードなどの予測情報および予測画像データを生成させる。更に、制御部１５０は、予測部１０４を制御して、入力された画像データと予測画像データから予測誤差を算出させる。

【0049】

Ｓ３０６にて、制御部１５０は、変換・量子化部１０５を制御し、Ｓ３０５で算出された予測誤差に対して直交変換を行わせ、変換係数を生成させる。更に、制御部１５０は、変換・量子化部１０５を制御し、Ｓ３０１にて生成・保持された量子化マトリクスを用いて量子化を行わせ、残差係数を生成させる。これと並行して、変換・量子化部１０５は、ＣｂとＣｒの残差係数をまとめて符号化する色差残差係数統合符号化を用いるか否かを決定させる。本実施形態では、Ｙ成分の直交変換係数には図８（ａ）、Ｃｂ成分の直交変換係数には図８（ｂ）、Ｃｒ成分の直交変換係数には図８（ｃ）の量子化マトリクスが用いられるものとする。また、色差残差係数統合符号化が用いられる場合には、Ｃｂ成分の直交変換係数を図８（ｂ）の量子化マトリクスを用いて量子化し、Ｃｒ成分の直交変換係数の量子化処理を省略する。

【0050】

なお、色差残差係数統合符号化を用いるか否かを決定するための判定処理として、成分Ｃｂの直交変換係数に（－１）を乗じたものが成分Ｃｒの直交変換係数に近いか否かの具体的な判定処理を挙げるのであれば次の通りである。

【0051】

成分Ｃｂ、Ｃｒの直交変換係数それぞれは４×４個となっている。ここで、図９（ｂ）の走査順の変換係数をＣｂ（ｉ）、Ｃｒ（ｉ）（ｉ＝０、１、…１５）として表す。Ｃｒ（ｉ）がＣｂ（ｉ）に“－１”を乗じた値に近いとは、ｉ＝０、１、２、…について、両者の関係が次の関係と見なせる場合である。
Ｃｂ（ｉ）≒－Ｃｒ（ｉ）
つまり、次式のごとく色差ＣｂとＣｒとの和が閾値以下となる場合である。
｜Ｃｂ（ｉ）＋Ｃｒ（ｉ）｜≦閾値
ここで｜ｘ｜は実数ｘの絶対値を表す。

【0052】

実施形態の場合、色差成分の係数の個数が４×４個であるので、所定の閾値Ｔｈを用いて次式を満たす場合、成分Ｃｂの直交変換係数に（－１）を乗じたものが成分Ｃｒの直交変換係数に近いと判断して良いであろう。
Σ｜Ｃｂ（ｉ）＋Ｃｒ（ｉ）｜＜Ｔｈ
（ここで、Σはｉ＝０，１、…１５の合算を示す）
なお、絶対値を求める代わりに、次式の通り、左辺の２つの色差の和の二乗和から判定しても良い。
Σ｛Ｃｂ（ｉ）＋Ｃｒ（ｉ）｝²＜Ｔｈ

【0053】

なお、上述の実施形態では、Ｃｂの残差係数とＣｒの残差係数に負の相関関係がみられる場合に、色差残差係数統合符号化を用いたが、その限りではない。
Ｃｂ（ｉ）≒ａＣｒ（ｉ）（ａは整数）
のように相関関係を一般化することも可能である。
この場合、色差残差係数統合符号化を用いるか否かを決定するための判定処理は、
Σ｛｜Ｃｂ（ｉ）｜－｜Ｃｒ（ｉ）／ａ｜｝＜Ｔｈ
あるいは、
Σ｛｜Ｃｂ（ｉ）｜－｜Ｃｒ（ｉ）／ａ｜｝²＜Ｔｈ
などの条件が用いられることになる。この条件を満たした場合、色差残差係数統合符号化が適用される。

【0054】

なお、相関関係を示す情報「ａ」を符号化してもよい。

【0055】

Ｓ３０７にて、制御部１５０は、逆量子化・逆変換部１０６を制御し、Ｓ３０６で生成された残差係数を、Ｓ３０１にて生成・保持された量子化マトリクスを用いて逆量子化を行わせ、直交変換係数を再生させる。本ステップでは、Ｓ３０６で用いられた量子化マトリクスと同一のものが用いられ、逆量子化処理が行われる。また、色差残差係数統合符号化が用いられる場合には、Ｃｂ成分の残差係数を図８（ｂ）の量子化マトリクスを用いて逆量子化しＣｂ成分の直交変換係数を再生する。さらに、再生されたＣｂ成分の直交変換係数に「－１」を乗じたものをＣｒ成分の直交変換係数として再生する。そして、再生された直交変換係数に対して逆直交変換し、予測誤差を再生する。

【0056】

Ｓ３０８にて、制御部１５０は画像再生部１０７を制御し、Ｓ３０５で生成された予測情報に基づいて予測画像を再生させ、再生された予測画像とＳ３０７で生成された予測誤差から画像データを再生させ、フレームメモリ１０８に格納させる。

【0057】

Ｓ３０９にて、制御部１５０は、符号化部１１０を制御し、Ｓ３０５で生成された予測情報およびＳ３０６で生成された残差係数や色差統合情報の符号化を行わせ、符号データを生成させる。ここで、色差統合情報が、当該サブブロックにおいて色差残差係数統合符号化を用いないことを示す場合、符号化部１１０は、Ｙ、Ｃｂ、Ｃｒの全ての色成分の残差係数を符号化する。一方で、色差統合情報が当該サブブロックにおいて色差残差係数統合符号化を用いることを示す場合、符号化部１１０は、成分Ｙ、Ｃｂの色成分の残差係数を符号化し、Ｃｒ成分の残差係数の符号化を省略する。なお、色差残差係数統合符号化を用いた場合の色成分の符号化データとして、Ｃｂ成分の残差係数を符号化する代わりに、Ｃｂ成分の残差係数の値と、Ｃｒ成分の残差係数の符号を反転させた値との平均値を符号化してもよい。この場合、復号後の画像の色再現の劣化を抑制することが可能となる。また、符号化部１１０は、生成した符号データを統合符号化部１１１に出力する。統合符号化部１１１は、符号化部１１０からの符号化データを、先に生成したヘッダに後続するように位置させ、出力する。

【0058】

Ｓ３１０にて、制御部１５０は、着目フレーム内の全ての基本ブロックの符号化が終了したか否かの判定を行う。制御部１５０は、終了していると判定した場合にはＳ３１１に進め、未符号化の基本ブロックが残っていると判断した場合はＳ３０４に処理を戻し、次の基本ブロックに対する符号化を継続させる。

【0059】

Ｓ３１１にて、制御部１５０は、インループフィルタ部１０９を制御し、Ｓ３０８で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。

【0060】

以上の構成と動作、特にＳ３０６において、色差残差係数統合符号化を用いたサブブロックに対して量子化マトリクスを用いた量子化処理をすることで、周波数成分ごとに量子化を制御し主観画質を向上させることができる。

【0061】

なお、本実施形態では、色差残差係数統合符号化を用いた場合に図８（ｂ）の量子化マトリクスを用いる構成としたが、使用される量子化マトリクスはこれに限定されない。例えば、図８（ｃ）のＣｒ成分用の量子化マトリクスを用いて量子化・逆量子化処理を行う構成としても効果は変わらない。また、既存の図８（ｂ）や図８（ｃ）の量子化マトリクスを用いて新しい量子化マトリクスを生成し、量子化・逆量子化処理に用いる構成とすることも可能である。

【0062】

さらには、色差残差係数統合符号化向けに別の量子化マトリクスを符号化する構成としても良い。既存の図８（ａ）～（ｃ）の量子化マトリクスに加え、図８（ｄ）に示すように、色差残差係数統合符号化向けの量子化マトリクス８０３を用いて符号化し、色差残差係数統合符号化が用いられるサブブロックの量子化処理に用いる構成とすることもできる。これにより、色差残差係数統合符号化を用いたサブブロックに対する独自の量子化制御を実現することができる。

【0063】

さらには、本実施形態では、色差残差係数統合符号化を用いたサブブロックに対する量子化マトリクスが一意に決まる構成としたが、識別子を導入することで選択可能とする構成としても構わない。例えば図６（ｂ）は、量子化マトリクスを指定するための色差マトリクス情報（２ビットとする）を新たに導入することで、色差残差係数統合符号化を用いたサブブロックに対する量子化マトリクスを選択的にしたものである。

【0064】

例えば、色差マトリクス情報が０の場合は、色差残差係数統合符号化を用いたサブブロックに対し、Ｃｂ成分に対する量子化マトリクスである図８（ｂ）が用いられる。色差マトリクス情報が１を示している場合には、色差残差係数統合符号化を用いたサブブロックに対し、Ｃｒ成分に対する量子化マトリクスである図８（ｃ）が用いられる。一方、色差マトリクス情報が２を示している場合には、色差残差係数統合符号化を用いたサブブロックに対し、個別に符号化された図８（ｄ）が用いられるといった具合である。これにより、量子化マトリクス符号量削減と色差残差係数統合符号化を用いたサブブロックに対する独自の量子化制御とを選択的に実現することが可能となる。

【0065】

上記をより詳しく説明すると、或るピクチャの或るサブブロック（実施形態ではサブブロック＝基本ブロックとしている）の色差統合情報が色差残差係数統合符号化を用いないことを示している場合、そのサブブロックの成分Ｃｂの変換係数は図８（ｂ）に示す量子化マトリクス８０１を用いて量子化され、Ｃｒ成分の変換係数は図８（ｃ）の量子化マトリクス８０２を用いて量子化されていることを示す。

【0066】

一方、或るピクチャの或るサブブロックの色差統合情報が色差残差係数統合符号化されていることを示す場合には、成分Ｃｂ，Ｃｒのサブブロックのいずれが符号化されるかは、ヘッダに格納されている色差マトリクス情報に依存する。例えば、色差マトリクス情報が０の場合は、成分Ｃｂ、Ｃｒのうち、成分Ｃｂのサブブロックの変換係数が図８（ｂ）の量子化マトリクス８０１で量子化、符号化されることを示し、成分Ｃｒの量子化および符号化は省略されることを示す。また、色差マトリクス情報が１の場合は、成分Ｃｂ、Ｃｒのうち、成分Ｃｒのサブブロックの変換係数が図８（ｃ）の量子化マトリクス８０２を用いて量子化、符号化されることを示し、成分Ｃｂの量子化および符号化は省略されることを示す（成分Ｃｂを符号化し、成分Ｃｒを省略してもよい）。そして、色差マトリクス情報が２の場合は、成分Ｃｂ、Ｃｒのうち、成分Ｃｂ（あるいは成分Ｃｒ）のサブブロックの変換係数が図８（ｄ）の量子化マトリクス８０３を用いて量子化、符号化されることを示し、成分Ｃｒ（あるいは成分Ｃｂ）の量子化および符号化は省略されることを示す。

【0067】

なお、図８（ｄ）の量子化マトリクス８０３を用いる場合、ヘッダに量子化マトリクス８０３の符号化データを格納することになる。つまり、量子化マトリクス保持部１０３は量子化マトリクス８０３を生成、保持し、量子化マトリクス符号化部１１３はその量子化マトリクス８０３も符号化することになる。

【0068】

図２は、実施形態における上記画像符号化装置で生成された符号化画像データを復号する画像復号装置のブロック構成図である。以下、同図を参照し、復号処理に係る構成とその動作を説明する。

【0069】

画像復号装置は、装置全体の制御を司る制御部２５０を有する。この制御部２５０は、ＣＰＵ、ＣＰＵが実行するプログラムを格納するＲＯＭ、ＣＰＵのワークエリアとして利用するＲＡＭを有する。また、画像復号装置は、入力端子２０１、分離復号部２０２、復号部２０３、逆量子化・逆変換部２０４、画像再生部２０５、フレームメモリ２０６、インループフィルタ部２０７、出力端子２０８、及び、量子化マトリクス復号部２０９を有する。

【0070】

入力端子２０１は、符号化されたビットストリームを入力するものであり、入力源は例えば符号化ストリームを格納した記憶媒体であるが、ネットワークから入力しても良く、その種類は問わない。

【0071】

分離復号部２０２は、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、またビットストリームのヘッダ部に存在する符号データを復号する。本実施形態の分離復号部２０２は、量子化マトリクス符号データを分離し、量子化マトリクス復号部２０９に出力する。また、分離復号部２０２は、画像の符号データを復号部２０３に出力する。つまり、分離復号部２０２は、図１の統合符号化部１１１と逆の動作を行う。

【0072】

量子化マトリクス復号部２０９は、分離復号部２０２より供給された量子化マトリクス符号データを復号することで量子化マトリクスを再生し、保持する。

【0073】

復号部２０３は、分離復号部２０２から出力された画像の符号データを復号し、残差係数、色差統合情報および予測情報を再生する。

【0074】

逆量子化・逆変換部２０４は、図１の逆量子化・逆変換部１０６と同様、再生された量子化マトリクスを用いて残差係数に対して逆量子化を行い、逆量子化後の係数を得、さらに逆直交変換を実行することで予測誤差を再生する。

【0075】

画像再生部２０５は、入力された予測情報に基づいてフレームメモリ２０６を適宜参照して予測画像データを生成する。そして、画像再生部２０５は、この予測画像データと逆量子化・逆変換部２０４で再生された予測誤差から再生画像データを生成し、フレームメモリ２０６に再格納する。

【0076】

インループフィルタ部２０７は、図１のインループフィルタ部１０９と同様、フレームメモリ２０６に格納された再生画像データに対し、デブロッキングフィルタなどのインループフィルタ処理を行い、フィルタ処理後の画像データをフレームメモリに再格納する。

【0077】

出力端子２０８は、フレームメモリ２０６に格納されたフレーム画像を順次、外部に出力する。出力先は表示装置が一般的であるが、他のデバイスであっても構わない。

【0078】

上記実施形態の画像復号装置の画像の復号に係る動作を、更に詳しく説明する。本実施形態では、符号化されたビットストリームをフレーム単位で入力する構成となっている。

【0079】

図２において、入力端子２０１から入力された１フレーム分のビットストリームは分離復号部２０２に供給される。分離復号部２０２では、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データを復号する。そして、分離復号部２０２には、ヘッダ部に含まれていた量子化マトリクス符号データを量子化マトリクス復号部２０９に供給し、画像データの符号データを復号部２０２に供給する。具体的には、分離復号部２０２は、まず、図６（ａ）に示されるビットストリームのシーケンスヘッダから量子化マトリクス符号データを抽出し、量子化マトリクス復号部２０９に出力する。本実施形態では、図８（ａ）～（ｃ）に示される量子化マトリクスに対応する量子化マトリクス符号データが抽出、出力される。続いて、ピクチャデータの基本ブロック単位の符号データを抽出し、復号部２０３に出力する。

【0080】

量子化マトリクス復号部２０９は、まず入力された量子化マトリクス符号データを復号し、図１０（ａ）～（ｃ）に示される一次元の差分行列１０００乃至１００２を再生する。そして、量子化マトリクス復号部２０９は、符号化側と同様、図１１（ａ）に示される符号化テーブルを用いて各量子化マトリクスを復号する。なお、実施形態では図１１（ａ）の符号化テーブルを利用するものとするが、図１１（ｂ）の符号化テーブルを用いても構わない。要するに、符号化側と同じものを用いれば良い。量子化マトリクス復号部２０９は、再生された一次元の差分行列１０００乃至１００２を逆走査し、二次元の量子化マトリクスを再生し、保持する。ここでは符号化側の量子化マトリクス符号化部１１３の動作とは逆の動作を行う。すなわち、本実施形態の量子化マトリクス符号化部１１３は、図１０（ａ）～（ｃ）に示される差分行列１０００乃至１００２を、それぞれのサイズに応じて図９（ａ）または（ｂ）に示される走査方法を用いて復号する。この結果、量子化マトリクス符号化部１１３は、図８（ａ）～（ｃ）に示される３種の量子化マトリクス８００乃至８０２を再生し、保持することができる。

【0081】

復号部２０３は、分離復号部２０２から供給された符号データを復号し、色差統合情報および予測情報を再生し、再生された色差統合情報に応じてさらに残差係数を再生する。まず、復号部２０３は、予測情報を再生し、当該サブブロックで用いられる予測モードを取得する。次に、復号部２０３は、色差統合情報を再生し、当該サブブロックで色差残差係数統合符号化されているか否かを判定する。色差統合情報が、当該サブブロックにおいて色差残差係数統合符号化を用いないことを示す場合、復号部２０３は、Ｙ、Ｃｂ、Ｃｒの全ての色成分の残差係数を復号して再生する。一方、色差統合情報が、当該サブブロックにおいて色差残差係数統合符号化を用いることを示す場合、復号部２０３は、Ｙ、Ｃｂの色成分の残差係数を復号する（Ｃｒの色成分の符号化データは存在しないので、その復号処理は行わない）。復号部２０３は、再生された色差統合情報および残差係数は逆量子化・逆変換部２０４に出力し、再生された予測情報は画像再生部２０５に出力される。

【0082】

逆量子化・逆変換部２０４は、入力された残差係数に対し、量子化マトリクス復号部２０９で再生された量子化マトリクスを用いて逆量子化を行って直交変換係数を生成し、さらに逆直交変換を施して予測誤差を再生する。逆量子化・逆変換部２０４は、符号化側の逆量子化・逆変換部１０６と同様、復号対象サブブロックの色成分に対応した量子化マトリクスが用いて逆量子化を行うことになる。すなわち、Ｙ成分の残差係数には図８（ａ）、Ｃｂ成分の残差係数には図８（ｂ）、Ｃｒ成分の残差係数には図８（ｃ）の量子化マトリクスが用いられる。ただし、色差統合情報が、当該サブブロックにおいて色差残差係数統合符号化が用いられていることを示す場合には、復号部２０３からはＣｒ成分の直交変換係数の残差係数の供給はない。そこで、逆量子化・逆変換部２０４は、Ｃｂ成分の残差係数の図８（ｂ）の量子化マトリクスを用いて逆量子化した後、Ｃｒ成分の直交変換係数を再生する。すなわち、Ｃｒ成分の再生の前に量子化マトリクスを用いて逆量子化が行うことにより、処理の効率化を図っている。具体的には、逆量子化・逆変換部２０４は、再生されたＣｂ成分の直交変換係数に（－１）を乗じたものをＣｒ成分の直交変換係数として再生し、画像再生部２０５に供給する。こうして再生された直交変換係数に逆直交変換を施して再生された予測誤差は画像再生部２０５に出力される。ただし、使用される量子化マトリクスはこれに限定されず、符号化側の変換・量子化部１０５および逆量子化・逆変換部１０６で用いられた量子化マトリクスと同一のものであれば良い。

【0083】

なお、上述では、負の相関関係がみられる場合を一例として説明したが、その限りではない。
Ｃｂ（ｉ）≒ａＣｒ（ｉ）（ａは整数）
の相関関係がみられる場合に色差残差係数統合符号化が行われていた場合、Ｃｂ成分の直交変換係数に（ａ）を乗じたものをＣｒ成分の直交変換係数として再生することになる。相関関係を示す情報「ａ」は、ビットストリームから復号してもよいし、符号化側と復号側で予めルールとして保持してもよい。

【0084】

画像再生部２０５は、復号部２０３から入力された予測情報に基づいて、フレームメモリ２０６を適宜参照し、予測画像を再生する。本実施形態の画像再生部２０５は、符号化側の予測部１０４と同様、水平予測や垂直予測などのイントラ予測が用いられる。具体的な予測の処理については、符号化側の予測部１０４と同様であるため、説明を省略する。画像再生部２０５は、この予測画像と逆量子化・逆変換部２０４から入力された予測誤差から画像データを再生し、フレームメモリ２０６に再格納する。格納された画像データは予測の際の参照に用いられる。

【0085】

インループフィルタ部２０７は、符号化側のインループフィルタ部１０９と同様、フレームメモリ２０６から再生画像を読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部２０７はフィルタ処理された画像は再びフレームメモリ２０６に再格納する。

【0086】

フレームメモリ２０６に格納された再生画像は、最終的には出力端子２０８から外部（表示装置がその代表となる）に出力される。

【0087】

図４は、実施形態に係る画像復号装置における制御部２５０の復号処理を示すフローチャートである。

【0088】

まず、Ｓ４０１にて、制御部２５０は、分離復号部２０２を制御して、ビットストリームから復号処理に関する情報や係数に関する符号データに分離して、ヘッダ部分の符号データを復号する。より具体的には、分離復号部２０２は、量子化マトリクス符号データを量子化マトリクス復号部２０９に供給し、画像の符号データを復号部２０３に供給させる。

【0089】

Ｓ４０２にて、制御部２５０は量子化マトリクス復号部２０９を制御し、Ｓ４０１で再生された量子化マトリクス符号データを復号させる。この結果、量子化マトリクス復号部２０９は、図１０（ａ）～（ｃ）で示される一次元の差分行列１０００乃至１００２を再生する。そして、量子化マトリクス復号部２０９は、一次元の差分行列１０００に対しては図９（ａ）に示す走査を行い、図１１（ａ）の符号化テーブルに従って復号し、図８（ａ）の量子化マトリクス８００乃至８０２を再生し、保持する。また、量子化マトリクス復号部２０９は、一次元の差分行列１００１，１１０２に対しては図９（ｂ）に示す走査を行い、図１１（ａ）の符号化テーブルに従って復号し、図８（ｂ）、（ｃ）の量子化マトリクス８０１，８０２を再生し、保持する。

【0090】

Ｓ４０３にて、制御部２５０は、復号部２０３を制御し、Ｓ４０１で分離された符号データを復号し、色差統合情報および予測情報を再生し、輝度成分の残差係数、並びに、色差統合情報に応じた色差の残差係数を再生する。既に説明したように、再生する色差の残差係数はＣｂ，Ｃｒの両方の場合と、Ｃｂだけの場合ある点に注意されたい。

【0091】

Ｓ４０４にて、制御部２５０は、逆量子化・逆変換部２０４を制御し、残差係数に対しＳ４０２で再生された量子化マトリクスを用いて逆量子化を行って直交変換係数を生成させる。逆量子化・逆変換部２０４は、更に逆直交変換を行い、予測誤差を再生する。本実施形態では、復号対象サブブロックの色成分に応じて、逆量子化処理において使用される量子化マトリクスを決定する。すなわち、逆量子化・逆変換部２０４は、Ｙ成分の残差係数に対しては図８（ａ）、Ｃｂ成分の残差係数に対しては図８（ｂ）、Ｃｒ成分の残差係数に対しては図８（ｃ）の量子化マトリクスが用いて逆量子化する。ただし、使用される量子化マトリクスはこれに限定されず、符号化側で用いられた量子化マトリクスと同一のものであれば良い。

【0092】

ただし、色差統合情報が、当該サブブロックにおいて色差残差係数統合符号化が用いられていることを示す場合、逆量子化・逆変換部２０４は、Ｃｂ成分の残差係数の図８（ｂ）の量子化マトリクスを用いて逆量子化してＣｂ成分の直交変換係数を再生する。そして逆量子化・逆変換部２０４は、再生されたＣｂ成分の直交変換係数に（－１）を乗じたものをＣｒ成分の直交変換係数として再生する。

【0093】

Ｓ４０５にて、制御部２５０は画像再生部２０５を制御し、Ｓ４０３で生成された画像を再生させる。具体的には、画像再生部２０５は、予測情報に基づき、フレームメモリ２０６を参照して予測画像を再生する。このとき、画像再生部２０５は、符号化側のＳ３０５と同様、水平予測や垂直予測などのイントラ予測が用いられる。そして、画像再生部２０５は、再生された予測画像と、Ｓ４０４で生成された予測誤差から画像データを再生し、再生した画像データをフレームメモリ２０６に格納する。

【0094】

Ｓ４０６にて、制御部２５０は、着目フレーム内の全ての基本ブロックの復号が終了したか否かの判定を行い、終了していれば処理をＳ４０７に進み、未復号のブロックが存在する場合は次の基本ブロックを復号対象とするため処理をＳ４０３に戻す。

【0095】

Ｓ４０７にて、制御部２５０はインループフィルタ部２０７を制御し、Ｓ４０５で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。

【0096】

以上の構成と動作により、先に説明した画像符号化装置で生成された符号化ビットストリーム、すなわち、色差残差係数統合符号化を用いたサブブロックに対しても、周波数成分ごとに量子化を制御し主観画質を向上したビットストリームを復号することができる。

【0097】

なお、本実施形態では、ビットストリームのヘッダに、色差マトリクス情報が含まれる場合の復号処理は次のようになるであろう。

【0098】

或るピクチャの或るサブブロック（実施形態ではサブブロック＝基本ブロックとしている）の色差統合情報が色差残差係数統合符号化を用いないことを示している場合、そのサブブロックの成分Ｃｂの残差係数は図８（ｂ）に示す量子化マトリクス８０１を用いて逆量子化され、Ｃｒ成分の残差係数は図８（ｃ）の量子化マトリクス８０２を用いて逆量子化される。

【0099】

一方、或るピクチャの或るサブブロックの色差統合情報が色差残差係数統合符号化されていることを示す場合には、成分Ｃｂ，Ｃｒのサブブロックのいずれが符号化されるかは、ヘッダに格納されている色差マトリクス情報に依存する。以下はその説明である。

【0100】

色差マトリクス情報が０の場合は、成分Ｃｂ、Ｃｒのうち、成分Ｃｂのサブブロックの残差係数は図８（ｂ）の量子化マトリクス８０１で逆量子化して変換係数を得て、復号される。成分Ｃｒは存在しないので、逆量子化した成分Ｃｂの変換係数に“－１”を乗算した値を、成分Ｃｒの変換係数として生成し、復号する。

【0101】

また、色差マトリクス情報が１の場合は、成分Ｃｂ、Ｃｒのうち、成分Ｃｒのサブブロックの残差係数は図８（ｃ）の量子化マトリクス８０２で逆量子化して変換係数を得て、復号される。成分Ｃｂは存在しないので、逆量子化した成分Ｃｒの変換係数に“－１”を乗算した値を、成分Ｃｂの変換係数として生成し、復号する。

【0102】

また、色差マトリクス情報が２の場合は、成分Ｃｂ、Ｃｒのうち、一方（例えば成分Ｃｂ）のサブブロックの残差係数は図８（ｂ）の量子化マトリクス８０１で逆量子化して変換係数を得て、復号される。他方の成分Ｃｒは存在しないので、逆量子化した一方の成分の変換係数に“－１”を乗算した値を、他方の成分の変換係数として生成し、復号する。

【0103】

この結果、色差残差係数統合符号化を用いたサブブロックに対する独自の量子化制御を実現したビットストリームを復号することができる。

【0104】

［第２の実施形態］
上記実施形態の画像符号化装置及び画像復号装置が有する各処理部は、ハードウェアでもって構成しているものとして説明した。しかし、これらの図に示した各処理部で行う処理を、コンピュータプログラムでもって構成しても良い。

【0105】

図５は、上記実施形態に係る画像符号化装置、画像復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

【0106】

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ５０１は、図１、図２に示した各処理部として機能することになる。

【0107】

ＲＡＭ５０２は、外部記憶装置５０６、Ｉ／Ｆ（インターフェース）５０７を介して外部から取得したプログラムやデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアとしても利用される。ＲＡＭ５０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

【0108】

ＲＯＭ５０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部５０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。表示部５０５は、ＣＰＵ５０１による処理結果を表示する。また表示部５０５は例えば液晶ディスプレイで構成される。

【0109】

外部記憶装置５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、図１、図２に示した各部の機能をＣＰＵ５０１に実現させるためのコンピュータプログラム（アプリケーションプログラム）が保存されている。更には、外部記憶装置５０６には、処理対象としての各画像データが保存されていても良い。

【0110】

外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜、ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。Ｉ／Ｆ５０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ５０７を介して様々な情報を取得したり、送出したりすることができる。５０８は上述の各部を繋ぐバスである。

【0111】

上記構成において、本装置に電源が投入されると、ＣＰＵ５０１はＲＯＭ５０３に格納されたブートプログラムを実行し、外部記憶装置５０６に格納されたＯＳをＲＡＭ５０２にロードし実行する。そして、ＣＰＵ５０１は、ＯＳの制御下にて、外部記憶装置５０６から符号化、或いは、復号に係るアプリケーションプログラムをＲＡＭ５０２にロードし、実行する。この結果、ＣＰＵ５０１は、図１或いは図２の各処理部として機能し、本装置が画像符号化装置、或いは、画像復号装置として機能することになる。

【0112】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【産業上の利用可能性】

【0113】

本発明は静止画・動画の符号化・復号を行う符号化装置・復号装置に用いられる。特に、量子化マトリクスを使用する符号化方式および復号方式に適用が可能である。

【符号の説明】

【0114】

１０１…入力端子、１０２…ブロック分割部、１０３…量子化マトリクス保持部、１０４…予測部、１０５…変換・量子化部、１０６…逆量子化・逆変換部、１０７…画像再生部、１０８…フレームメモリ、１０９…インループフィルタ部、１１０…符号化部、１１１…統合符号化部、１１２…出力端子、１１３…量子化マトリクス符号化部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】