特開2023-181542画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023181542
(43)【公開日】2023-12-21
(54)【発明の名称】画像符号化装置及び画像復号装置及びそれらの制御方法及びプログラム
(51)【国際特許分類】
H04N 19/126 20140101AFI20231214BHJP
H04N 19/176 20140101ALI20231214BHJP
H04N 19/159 20140101ALI20231214BHJP
【ＦＩ】
H04N19/126
H04N19/176
H04N19/159
【審査請求】有
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2023189524
(22)【出願日】2023-11-06
(62)【分割の表示】P 2018235912の分割
【原出願日】2018-12-17
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】志摩 真悟
(57)【要約】
【課題】 イントラ予測とインター予測の両方を用いた新しい予測方法に対する誤差データに対しても、適切な量子化マトリクスを用いて量子化を行い、主観画質を向上させる。
【解決手段】 画像を符号化する画像符号化装置であって、画像における符号化対象の所定のサイズの着目ブロックに対し、イントラ予測処理により得たイントラ予測画像と、インター予測処理により得たインター予測画像の両方から予測画像を生成し、着目ブロックと予測画像との差分である予測誤差を求める予測部と、予測部で得た予測誤差を周波数変換する変換部と、変換部で得た変換係数を、量子化マトリクスを用いて量子化する量子化部と、量子化部による量子化後の変換係数をエントロピー符号化する符号化部とを有する。
【選択図】 図１
【解決手段】 画像を符号化する画像符号化装置であって、画像における符号化対象の所定のサイズの着目ブロックに対し、イントラ予測処理により得たイントラ予測画像と、インター予測処理により得たインター予測画像の両方から予測画像を生成し、着目ブロックと予測画像との差分である予測誤差を求める予測部と、予測部で得た予測誤差を周波数変換する変換部と、変換部で得た変換係数を、量子化マトリクスを用いて量子化する量子化部と、量子化部による量子化後の変換係数をエントロピー符号化する符号化部とを有する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
画像データを符号化する画像符号化装置であって、
符号化対象の対象ブロックに対し予測画像を生成し、前記対象ブロックと前記予測画像との差分である予測誤差を取得する予測手段と、
変換係数を導出するために、前記予測手段により得られた前記予測誤差を周波数変換する変換手段と、
量子化マトリクスを用いて、前記変換手段により得られた変換係数を量子化する量子化手段と、
前記量子化手段により得られた量子化変換係数をエントロピー符号化する符号化手段と、を有し、
前記量子化マトリクスはイントラ予測のための第１の量子化マトリクスまたはインター予測のための第２の量子化マトリクスであり、
前記予測手段が、前記対象ブロックに対するイントラ予測により得られたイントラ予測画素値と第１の値との乗算の結果と、前記対象ブロックに対するインター予測により得られたインター予測画素値と第２の値との乗算の結果と、を少なくとも加算した結果を所定の数で右シフトすることによって、前記対象ブロックに対する前記予測画像を生成する場合、前記量子化手段は、前記変換係数を量子化するために用いられる前記量子化マトリクスとして、インター予測用の前記第２の量子化マトリクスを用いる
ことを特徴とする画像符号化装置。
符号化対象の対象ブロックに対し予測画像を生成し、前記対象ブロックと前記予測画像との差分である予測誤差を取得する予測手段と、
変換係数を導出するために、前記予測手段により得られた前記予測誤差を周波数変換する変換手段と、
量子化マトリクスを用いて、前記変換手段により得られた変換係数を量子化する量子化手段と、
前記量子化手段により得られた量子化変換係数をエントロピー符号化する符号化手段と、を有し、
前記量子化マトリクスはイントラ予測のための第１の量子化マトリクスまたはインター予測のための第２の量子化マトリクスであり、
前記予測手段が、前記対象ブロックに対するイントラ予測により得られたイントラ予測画素値と第１の値との乗算の結果と、前記対象ブロックに対するインター予測により得られたインター予測画素値と第２の値との乗算の結果と、を少なくとも加算した結果を所定の数で右シフトすることによって、前記対象ブロックに対する前記予測画像を生成する場合、前記量子化手段は、前記変換係数を量子化するために用いられる前記量子化マトリクスとして、インター予測用の前記第２の量子化マトリクスを用いる
ことを特徴とする画像符号化装置。
【請求項2】
前記第１の値と前記第２の値の両方は、１つの重み値により決定され、前記重み値は、画像における前記対象ブロックの位置に依存することを特徴とする請求項１に記載の画像符号化装置。
【請求項3】
前記第１の値と前記第２の値の合計は、２の前記所定の数乗であることを特徴とする請求項１に記載の画像符号化装置。
【請求項4】
画像データをブロック単位で復号する画像復号装置であって、
量子化変換係数を復号する復号手段と、
変換係数を導出するために、量子化マトリクスを用いて、前記量子化変換係数を逆量子化する逆量子化手段と、
予測誤差を導出するために、前記変換係数を逆変換する逆変換手段と、
対象ブロックに対する予測画像を生成し、前記予測画像と前記予測誤差を用いて前記対象ブロックを復号する予測手段と、を有し、
前記量子化マトリクスは、イントラ予測用の第１の量子化マトリクスまたはインター予測用の第２の量子化マトリクスであり、
前記予測手段が、前記対象ブロックに対するイントラ予測により得られたイントラ予測画素値と第１の値との乗算の結果と、前記対象ブロックに対するインター予測により得られたインター予測画素値と第２の値との乗算の結果と、を少なくとも加算した結果を所定の数で右シフトすることによって、前記対象ブロックに対する前記予測画像を生成する場合、前記逆量子化手段は、前記量子化変換係数を逆量子化するために用いられる前記量子化マトリクスとして、インター予測用の前記第２の量子化マトリクスを用いる
ことを特徴とする画像復号装置。
量子化変換係数を復号する復号手段と、
変換係数を導出するために、量子化マトリクスを用いて、前記量子化変換係数を逆量子化する逆量子化手段と、
予測誤差を導出するために、前記変換係数を逆変換する逆変換手段と、
対象ブロックに対する予測画像を生成し、前記予測画像と前記予測誤差を用いて前記対象ブロックを復号する予測手段と、を有し、
前記量子化マトリクスは、イントラ予測用の第１の量子化マトリクスまたはインター予測用の第２の量子化マトリクスであり、
前記予測手段が、前記対象ブロックに対するイントラ予測により得られたイントラ予測画素値と第１の値との乗算の結果と、前記対象ブロックに対するインター予測により得られたインター予測画素値と第２の値との乗算の結果と、を少なくとも加算した結果を所定の数で右シフトすることによって、前記対象ブロックに対する前記予測画像を生成する場合、前記逆量子化手段は、前記量子化変換係数を逆量子化するために用いられる前記量子化マトリクスとして、インター予測用の前記第２の量子化マトリクスを用いる
ことを特徴とする画像復号装置。
【請求項5】
前記第１の値と前記第２の値の両方は、１つの重み値により決定され、前記重み値は、画像における前記対象ブロックの位置に依存することを特徴とする請求項４に記載の画像復号装置。
【請求項6】
前記第１の値と前記第２の値の合計は、２の前記所定の数乗であることを特徴とする請求項４に記載の画像復号装置。
【請求項7】
画像データを符号化する画像符号化方法であって、
符号化対象の対象ブロックに対し予測画像を生成し、前記対象ブロックと前記予測画像との差分である予測誤差を取得する予測工程と、
変換係数を導出するために、前記予測誤差を周波数変換する変換工程と、
量子化マトリクスを用いて、前記変換係数を量子化する量子化工程と、
前記量子化工程において得られた量子化変換係数をエントロピー符号化する符号化工程と、を有し、
前記量子化マトリクスはイントラ予測のための第１の量子化マトリクスまたはインター予測のための第２の量子化マトリクスであり、
前記予測工程において、前記対象ブロックに対するイントラ予測により得られたイントラ予測画素値と第１の値との乗算の結果と、前記対象ブロックに対するインター予測により得られたインター予測画素値と第２の値との乗算の結果と、を少なくとも加算した結果を所定の数で右シフトすることによって、前記対象ブロックに対する前記予測画像が生成される場合、前記量子化工程において、前記変換係数を量子化するために用いられる前記量子化マトリクスとして、インター予測用の前記第２の量子化マトリクスが用いられる
ことを特徴とする画像符号化方法。
符号化対象の対象ブロックに対し予測画像を生成し、前記対象ブロックと前記予測画像との差分である予測誤差を取得する予測工程と、
変換係数を導出するために、前記予測誤差を周波数変換する変換工程と、
量子化マトリクスを用いて、前記変換係数を量子化する量子化工程と、
前記量子化工程において得られた量子化変換係数をエントロピー符号化する符号化工程と、を有し、
前記量子化マトリクスはイントラ予測のための第１の量子化マトリクスまたはインター予測のための第２の量子化マトリクスであり、
前記予測工程において、前記対象ブロックに対するイントラ予測により得られたイントラ予測画素値と第１の値との乗算の結果と、前記対象ブロックに対するインター予測により得られたインター予測画素値と第２の値との乗算の結果と、を少なくとも加算した結果を所定の数で右シフトすることによって、前記対象ブロックに対する前記予測画像が生成される場合、前記量子化工程において、前記変換係数を量子化するために用いられる前記量子化マトリクスとして、インター予測用の前記第２の量子化マトリクスが用いられる
ことを特徴とする画像符号化方法。
【請求項8】
画像データをブロック単位で復号する画像復号方法であって、
量子化変換係数を復号する復号工程と、
変換係数を導出するために、量子化マトリクスを用いて、前記量子化変換係数を逆量子化する逆量子化工程と、
予測誤差を導出するために、前記変換係数を逆変換する逆変換工程と、
対象ブロックに対する予測画像を生成し、前記予測画像と前記予測誤差を用いて前記対象ブロックを復号する予測工程と、を有し、
前記量子化マトリクスは、イントラ予測用の第１の量子化マトリクスまたはインター予測用の第２の量子化マトリクスであり、
前記予測工程において、前記対象ブロックに対するイントラ予測により得られたイントラ予測画素値と第１の値との乗算の結果と、前記対象ブロックに対するインター予測により得られたインター予測画素値と第２の値との乗算の結果と、を少なくとも加算した結果を所定の数で右シフトすることによって、前記対象ブロックに対する前記予測画像を生成する場合、前記逆量子化工程において、前記量子化変換係数を逆量子化するために用いられる前記量子化マトリクスとして、インター予測用の前記第２の量子化マトリクスが用いられる
ことを特徴とする画像復号方法。
量子化変換係数を復号する復号工程と、
変換係数を導出するために、量子化マトリクスを用いて、前記量子化変換係数を逆量子化する逆量子化工程と、
予測誤差を導出するために、前記変換係数を逆変換する逆変換工程と、
対象ブロックに対する予測画像を生成し、前記予測画像と前記予測誤差を用いて前記対象ブロックを復号する予測工程と、を有し、
前記量子化マトリクスは、イントラ予測用の第１の量子化マトリクスまたはインター予測用の第２の量子化マトリクスであり、
前記予測工程において、前記対象ブロックに対するイントラ予測により得られたイントラ予測画素値と第１の値との乗算の結果と、前記対象ブロックに対するインター予測により得られたインター予測画素値と第２の値との乗算の結果と、を少なくとも加算した結果を所定の数で右シフトすることによって、前記対象ブロックに対する前記予測画像を生成する場合、前記逆量子化工程において、前記量子化変換係数を逆量子化するために用いられる前記量子化マトリクスとして、インター予測用の前記第２の量子化マトリクスが用いられる
ことを特徴とする画像復号方法。
【請求項9】
コンピュータが読み込み実行することで、前記コンピュータに、請求項７に記載の画像符号化方法の各工程を実行させるためのプログラム。
【請求項10】
コンピュータが読み込み実行することで、前記コンピュータに、請求項８に記載の画像復号方法の各工程を実行させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像の符号化技術に関するものである。
【背景技術】
【0002】
動画像の圧縮記録の符号化方式として、ＨＥＶＣ（High Efficiency Video Coding）符号化方式（以下、ＨＥＶＣと記す）が知られている。ＨＥＶＣでは符号化効率向上のため、従来のマクロブロック（１６×１６画素）より大きなサイズの基本ブロックが採用された。この大きなサイズの基本ブロックはＣＴＵ（Coding Tree Unit）と呼ばれ、そのサイズは最大６４×６４画素である。ＣＴＵはさらに予測や変換を行う単位となるサブブロックに分割される。
【0003】
また、ＨＥＶＣにおいては、量子化マトリクスと呼ばれる、直交変換を施した後の係数（以下、直交変換係数と記す）を、周波数成分に応じて重み付けをする処理が用いられている。人間の視覚には劣化が目立ちにくい高周波成分のデータをより削減することで、画質を維持しながら圧縮効率を高めることが可能となっている。特許文献１には、このような量子化マトリクスを符号化する技術が開示されている。
【0004】
近年、ＨＥＶＣの後継としてさらに高効率な符号化方式の国際標準化を行う活動が開始された。ＪＶＥＴ（Joint Video Experts Team）がＩＳＯ／ＩＥＣとＩＴＵ－Ｔの間で設立され、ＶＶＣ（Versatile Video Coding）符号化方式（以下、ＶＶＣ）として標準化が進められている。符号化効率向上のため、従来のイントラ予測、インター予測に加え、イントラ予測画素とインター予測画素の両方を用いた新たな予測方法（以下、重み付きイントラ・インター予測と呼称する）が検討されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開２０１３－３８７５８号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ＶＶＣにおいても、ＨＥＶＣと同様に量子化マトリクスの導入が検討されている。しかしながら、ＨＥＶＣにおける量子化マトリクスは従来のイントラ予測やインター予測といった予測方法を前提としており、新しい予測方法である重み付きイントラ・インター予測には対応できていない。このため、重み付きイントラ・インター予測の誤差に対しては、周波数成分に応じた量子化制御を行うことができず、主観画質を向上できないという問題がある。
【0007】
本発明はかかる問題に鑑みなされたものであり、重み付きイントラ・インター予測に対応した量子化マトリクスを用いた量子化処理を可能とし、主観画質を向上させる技術を提供しようとするものである。
【課題を解決するための手段】
【0008】
この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
画像データを符号化する画像符号化装置であって、
符号化対象の対象ブロックに対し予測画像を生成し、前記対象ブロックと前記予測画像との差分である予測誤差を取得する予測手段と、
変換係数を導出するために、前記予測手段により得られた前記予測誤差を周波数変換する変換手段と、
量子化マトリクスを用いて、前記変換手段により得られた変換係数を量子化する量子化手段と、
前記量子化手段により得られた量子化変換係数をエントロピー符号化する符号化手段と、を有し、
前記量子化マトリクスはイントラ予測のための第１の量子化マトリクスまたはインター予測のための第２の量子化マトリクスであり、
前記予測手段が、前記対象ブロックに対するイントラ予測により得られたイントラ予測画素値と第１の値との乗算の結果と、前記対象ブロックに対するインター予測により得られたインター予測画素値と第２の値との乗算の結果と、を少なくとも加算した結果を所定の数で右シフトすることによって、前記対象ブロックに対する前記予測画像を生成する場合、前記量子化手段は、前記変換係数を量子化するために用いられる前記量子化マトリクスとして、インター予測用の前記第２の量子化マトリクスを用いる。
画像データを符号化する画像符号化装置であって、
符号化対象の対象ブロックに対し予測画像を生成し、前記対象ブロックと前記予測画像との差分である予測誤差を取得する予測手段と、
変換係数を導出するために、前記予測手段により得られた前記予測誤差を周波数変換する変換手段と、
量子化マトリクスを用いて、前記変換手段により得られた変換係数を量子化する量子化手段と、
前記量子化手段により得られた量子化変換係数をエントロピー符号化する符号化手段と、を有し、
前記量子化マトリクスはイントラ予測のための第１の量子化マトリクスまたはインター予測のための第２の量子化マトリクスであり、
前記予測手段が、前記対象ブロックに対するイントラ予測により得られたイントラ予測画素値と第１の値との乗算の結果と、前記対象ブロックに対するインター予測により得られたインター予測画素値と第２の値との乗算の結果と、を少なくとも加算した結果を所定の数で右シフトすることによって、前記対象ブロックに対する前記予測画像を生成する場合、前記量子化手段は、前記変換係数を量子化するために用いられる前記量子化マトリクスとして、インター予測用の前記第２の量子化マトリクスを用いる。
【発明の効果】
【0009】
本発明によれば、イントラ予測画素とインター予測画素の両方を用いた新しい予測方法に対する誤差に対しても量子化マトリクスを用いた量子化を行い、主観画質を向上させることができる。
【図面の簡単な説明】
【0010】
【図1】第１の実施形態における画像符号化装置のブロック構成図。
【図2】第２の実施形態における画像復号装置のブロック構成図
【図3】第１の実施形態に係る画像符号化装置における画像符号化処理を示すフローチャート。
【図4】第２の実施形態に係る画像復号装置における画像復号処理を示すフローチャート。
【図5】画像符号化装置、復号装置として適用可能なコンピュータのハードウェア構成例を示すブロック図。
【図6】第１の実施形態によって生成されるビットストリーム構造の一例を示す図。
【図7】の実施形態で用いられるサブブロック分割の一例を示す図。
【図8】実施形態で用いられる量子化マトリクスの例を示す図。
【図9】量子化マトリクスの要素の走査方法を示す図。
【図10】量子化マトリクスの差分値行列を示す図。
【図11】量子化マトリクス用の符号化テーブルの例を示す図。
【発明を実施するための形態】
【0011】
以下、添付図面に従って本発明に係る実施形態を詳細に説明する。なお、以下に示す実施形態における構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。例えば、以下の説明において、「基本ブロック」や「サブブロック」といった語句を用いるが、各実施形態は画像符号化技術において「ブロック」や「ユニット」等の名称で呼ばれる種々の処理単位に応用可能である。
【0012】
［第１の実施形態］
図１は第１の実施形態の画像符号化装置を示すブロック構成図である。画像符号化装置は、以下に説明する構成要素を制御し、装置全体の制御を司る制御部１５０を有する。この制御部１５０は、ＣＰＵ、ＣＰＵが実行するプログラムや各種パラメータ等を記憶しているＲＯＭ、ＣＰＵのワークエリアとして使用されるＲＡＭを含む。なお、ＲＯＭや他の不揮発性記憶装置に格納されたＯＳ（オペレーティングシステム）、プログラム、パラメータをＲＡＭにロードした後に、ＯＳの制御下でプログラムを実行するようにしてもよい。
図１は第１の実施形態の画像符号化装置を示すブロック構成図である。画像符号化装置は、以下に説明する構成要素を制御し、装置全体の制御を司る制御部１５０を有する。この制御部１５０は、ＣＰＵ、ＣＰＵが実行するプログラムや各種パラメータ等を記憶しているＲＯＭ、ＣＰＵのワークエリアとして使用されるＲＡＭを含む。なお、ＲＯＭや他の不揮発性記憶装置に格納されたＯＳ（オペレーティングシステム）、プログラム、パラメータをＲＡＭにロードした後に、ＯＳの制御下でプログラムを実行するようにしてもよい。
【0013】
また、画像符号化装置は、入力端子１０１、ブロック分割部１０２、量子化マトリクス保持部１０３、予測部１０４、変換・量子化部１０５、逆量子化・逆変換部１０６、画像再生部１０７、フレームメモリ１０８、インループフィルタ部１０９、符号化部１１０、統合符号化部１１１、出力端子１１２、及び、量子化マトリクス符号化部１１３を有する。
【0014】
上記構成において、不図示の画像発生源から画像データ（例えば３０フレーム／秒）が、本装置の入力端子１０１に供給される。なお、画像発生源の種類は問わないが、簡単には撮像部もしくはビデオカメラ、或いは、符号化対象の画像データを記憶するハードディスクや記憶媒体である。
【0015】
ブロック分割部１０２は、入力端子を介して入力した画像データを複数の基本ブロックに分割し、基本ブロック単位の画像データを後段の予測部１０４に供給する。
【0016】
量子化マトリクス保持部１０３は、量子化処理に用いる複数の量子化マトリクスを保持する。保持される量子化マトリクスの生成方法については特に限定しないが、ユーザが量子化マトリクスを入力しても良いし、入力画像の特性から算出しても、初期値として予め指定されたものを使用しても良い。本実施形態では、図８（ａ）～（ｃ）に示される３種類の８×８画素の直交変換（周波数変換）に対応した２次元の量子化マトリクスが生成され、保持されるものとする。
【0017】
予測部１０４は、基本ブロック単位の画像データに対し、サブブロック分割を行い、サブブロック単位でフレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行い、予測画像データを生成する。さらに、予測部１０４は、サブブロックの画像データと予測画像データから予測誤差データを算出し、出力する。また、予測に必要な情報、例えばサブブロック分割、予測モードや動きベクトル等の情報も予測誤差と併せて出力される。以下ではこの予測に必要な情報を予測情報と呼称する。
【0018】
変換・量子化部１０５は、予測部１０４から供給された予測誤差データをサブブロック単位で直交変換（周波数変換）して変換係数を得る。そして、変換・量子化部１０５は、着目サブブロックの変換係数を、量子化マトリクス保持部１０３が保持する該当量子化マトリクスを用いて量子化を行う（以降、量子化後の変換係数を単に「量子化係数」と呼称する）。
【0019】
逆量子化・逆変換部１０６は、変換・量子化部１０５から入力した量子化係数を、量子化マトリクス保持部１０３が保持する該当量子化マトリクスを用いて逆量子化することで変換係数を再生（導出）し、さらにその変換係数を逆直交変換して予測誤差データを再生する。
【0020】
画像再生部１０７は、予測部１０４から入力した予測情報に基づいて、フレームメモリ１０８を適宜参照して予測画像データを生成する。そして、画像再生部１０７は、生成した予測画像データと、逆量子化・逆変換部１０６からの予測誤差データとから、再生画像データを生成し、再びフレームメモリ１０８に出力する。
【0021】
インループフィルタ部１０９は、フレームメモリ１０８に格納された画像再生部１０７からの再生画像データに対し、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行い、フィルタ処理後の画像データを、再びフレームメモリ１０９に格納する。
【0022】
符号化部１１０は、変換・量子化部１０５から入力した量子化係数および予測部１０４から入力した予測情報を符号化して、符号データを生成し出力する。
【0023】
量子化マトリクス符号化部１１３は、量子化マトリクス保持部１０３から入力した量子化マトリクスを符号化して、量子化マトリクスの符号データを生成し出力する。
【0024】
統合符号化部１１１は、量子化マトリクス符号化部１１３からの出力である量子化マトリクスの符号データを用いて、ヘッダ符号データを生成する。さらに統合符号化部１１１は、生成したヘッダ符号化データに、符号化部１１０から入力した画像の符号データを結合することでビットストリームを形成し、出力端子１１２を介して外部に出力する。
【0025】
なお、出力先は特に問わないが、記録媒体などの記憶装置や、ネットワーク上のファイルサーバー等で構わない。
【0026】
以下、実施形態の画像符号化装置における画像の符号化動作を更に詳しく説明する。
【0027】
最初に、量子化マトリクス保持部１０３は、量子化マトリクスを生成する。量子化マトリクスは、符号化を行うサブブロックのサイズや予測方法の種類に応じて生成される。本実施形態では、図７（ａ）に示された８×８画素の基本ブロックに対応する、８×８画素サイズの量子化マトリクスを生成するものとする。ただし、生成される量子化マトリクスはこれに限定されず、４×８画素や８×４画素、４×４画素など、サブブロックの形状に対応した量子化マトリクスが生成されても良い。量子化マトリクスを構成する各要素の決定方法は特に限定しない。例えば、所定の初期値を用いても良いし、個別に設定しても良い。また、画像の特性に応じて生成されても構わない。
【0028】
量子化マトリクス保持部１０３は、このようにして生成された量子化マトリクスを保持する。図８（ａ）乃至（ｃ）において、参照符号８００が、実施形態における量子化マトリクス保持部１０３が生成し、保持される量子化マトリクスを示している。同図（ａ）の量子化マトリクス８００はイントラ予測に用いる量子化マトリクスを示している。同図（ｂ）はインター予測に用いる量子化マトリクスを、そして、同図（ｃ）は、重み付きイントラ・インター予測に対応する量子化マトリクスを示している。量子化マトリクスは図示の通り、８×８個の要素（量子化ステップ値）で構成される。本実施形態では、図８（ａ）～（ｃ）に示された三種の量子化マトリクスが二次元の形状で保持されているものとするが、量子化マトリクス内の各要素はもちろんこれに限定されない。また、サブブロックのサイズによって、あるいは符号化対象が輝度ブロックか色差ブロックかによって、同じ予測方法に対して複数の量子化マトリクスを保持することも可能である。一般的に、量子化マトリクスは人間の視覚特性に応じた量子化処理を実現するため、図８（ａ）～（ｃ）に示すように量子化マトリクスの左上隅部分に相当する直流成分用の要素は小さく、右下部分に相当する交流成分の要素は大きくなっている。
【0029】
量子化マトリクス符号化部１１３は、二次元形状で格納されている量子化マトリクスを量子化マトリクス保持部１０６から順に読み出し、各要素を走査して差分を計算し、一次元の行列に配置する。本実施形態では、図８（ａ）～（ｃ）に示された各量子化マトリクスは図９に示された走査方法を用い、要素ごとに走査順に直前の要素との差分を計算するものとする。例えば図８（ｃ）で示された８×８画素分の量子化マトリクスは図９で示された走査方法によって走査されるが、左上隅に位置する最初の要素“８”の次は、そのすぐ下に位置する要素“１１”が走査され、差分である“＋３”が計算される。また、量子化マトリクスの最初の要素（本実施形態では“８”の符号化には、所定の初期値（例えば“８”）との差分を計算するものとするが、もちろんこれに限定されず、任意の値との差分や、最初の要素の値そのものを用いても良い。
【0030】
このようにして、本実施形態では、図８（ａ）～（ｃ）の量子化マトリクスは、図９の走査方法を用い、図１０（ａ）～（ｃ）に示される１次元の差分行列が生成される。量子化マトリクス符号化部１１３はさらに差分行列を符号化して量子化マトリクス符号データを生成する。本実施形態では図１１（ａ）に示される符号化テーブルを用いて符号化するものとするが、符号化テーブルはこれに限定されず、例えば図１１（ｂ）に示される符号化テーブルを用いても良い。このようにして生成された量子化マトリクス符号データは後段の統合符号化部１１１に出力される。
【0031】
図１に戻り、統合符号化部１１１は、画像データの符号化に必要なヘッダ情報を符号化し、量子化マトリクスの符号データを統合する。続いて、画像データの符号化を説明する。
【0032】
ブロック分割部１０２は、入力端子１０１から入力された１フレーム分の画像データを、複数の基本ブロックに分割し、基本ブロック単位の画像データを予測部１０４に供給する。本実施形態では、先に説明したように、基本ブロックのサイズは８×８画素である。
【0033】
予測部１０４では、ブロック分割部１０２から入力した基本ブロック単位の画像データに対し予測処理を実行する。具体的には、予測部１０４は、基本ブロックをさらに細かいサブブロックに分割するサブブロック分割法を決定し、さらにサブブロック単位でイントラ予測やインター予測、重み付きイントラ・インター予測などの予測モードを決定する。
【0034】
図７（ａ）乃至（ｆ）は、サブブロック分割パターンの例を示している。同図の外側の太枠を示す参照符号７００は基本ブロックを表しており、実施形態では８×８画素のサイズである。そして、太枠内の矩形がサブブロックを表している。図７（ａ）は基本ブロック＝サブブロックの例を示している。図７（ｂ）は従来の正方形サブブロック分割の一例を表しており、８×８画素の基本ブロックは４つの４×４画素のサブブロックに分割されている。一方、図７（ｃ）～（ｆ）は長方形サブブロック分割の一例を表しており、図７（ｃ）では基本ブロックは４×８画素の縦長、図７（ｄ）では８×４画素の横長の長方形のサブブロックに分割されている。また、図７（ｅ）、（ｆ）では、１：２：１の比で長方形サブブロックに分割されている。このように正方形だけではなく、長方形のサブブロックも用いて符号化処理を行っている。
【0035】
本実施形態では、上記のように、８×８画素の基本ブロックを分割しない（図７（ａ））のみが用いられるものとするが、サブブロック分割方法はこれに限定されない。図７（ｂ）のような四分木分割や、図７（ｅ）、（ｆ）のような三分木分割または図７（ｃ）や図７（ｄ）のような二分木分割を用いても構わない。図７（ａ）以外のサブブロック分割も用いられる場合には、量子化マトリクス保持部１０３にて使用されるサブブロックに対応する量子化マトリクスが生成される。また、生成された量子化マトリクスは量子化マトリクス符号化部１１３にて符号化されることとなる。
【0036】
また、本実施形態で用いられる予測方法について、改めて説明する。本実施形態ではイントラ予測、インター予測、重み付きイントラ・インター予測の３種類の予測方法が用いられる。イントラ予測は、符号化対象ブロックの空間的に周辺に位置する符号化済画素を用いて符号化対象ブロックの予測画素を生成し、水平予測や垂直予測、ＤＣ予測などのイントラ予測方法を示すイントラ予測モードも生成する。インター予測は符号化対象ブロックとは時間的に異なるフレームの符号化済画素を用いて符号化対象ブロックの予測画素を生成し、参照するフレームや動きベクトルなどを示す動き情報も生成する。
【0037】
そして、重み付きイントラ・インター予測は、前述のイントラ予測により生成された画素値と前述のインター予測により生成された画素値とを加重平均して、符号化対象ブロックの予測画素を生成するものである。例えば、下記の式（１）のような式を用いて計算される。
ｐ[x][y]＝{ｗ×ｐinter[x][y] ＋ (８－ｗ)×ｐintra[x][y]}＞＞３…（１）
（ただし、「＞＞」は右へのビットシフトを示す）
上記式（１）において、ｐ［ｘ］［ｙ］は符号化対象の着目ブロック内の座標（ｘ，ｙ）に対する、重み付きイントラ・インター予測による予測画素である。また、ｐinter［ｘ］［ｙ］は、着目ブロック内の座標（ｘ，ｙ）に対するインター予測画像内の画素値を示している。また、ｐintra［ｘ］［ｙ］は、着目ブロック内の座標（ｘ，ｙ）に対するイントラ予測画像内の画素値を示している。ｗはインター予測の画素値およびイントラ予測の画素値に対する重み値を表しており、本実施形態ではｗ＝４の時にインター予測の画素値とイントラ予測の画素値に対する重みが同一となる。言い換えれば、ｗ＞４であればインター予測の画素値に対する重みが増し、ｗ＜４であればイントラ予測の画素値に対する重みが増す。こうして重み付きイントラ・インター予測では、符号化対象ブロックの予測画素を生成し、予測画素の生成に用いられたイントラ予測モードや動き情報も生成する。
ｐ[x][y]＝{ｗ×ｐinter[x][y] ＋ (８－ｗ)×ｐintra[x][y]}＞＞３…（１）
（ただし、「＞＞」は右へのビットシフトを示す）
上記式（１）において、ｐ［ｘ］［ｙ］は符号化対象の着目ブロック内の座標（ｘ，ｙ）に対する、重み付きイントラ・インター予測による予測画素である。また、ｐinter［ｘ］［ｙ］は、着目ブロック内の座標（ｘ，ｙ）に対するインター予測画像内の画素値を示している。また、ｐintra［ｘ］［ｙ］は、着目ブロック内の座標（ｘ，ｙ）に対するイントラ予測画像内の画素値を示している。ｗはインター予測の画素値およびイントラ予測の画素値に対する重み値を表しており、本実施形態ではｗ＝４の時にインター予測の画素値とイントラ予測の画素値に対する重みが同一となる。言い換えれば、ｗ＞４であればインター予測の画素値に対する重みが増し、ｗ＜４であればイントラ予測の画素値に対する重みが増す。こうして重み付きイントラ・インター予測では、符号化対象ブロックの予測画素を生成し、予測画素の生成に用いられたイントラ予測モードや動き情報も生成する。
【0038】
予測部１０４は、決定した予測モードおよび符号化済の画素から、符号化対象のサブブロックの予測画像データを生成する。そして、予測部１０４は、符号化対象のサブブロックの画像データと、生成した予測画像データとの差分を演算して予測誤差データを生成し、生成した予測誤差データを変換・量子化部１０５に供給する。また、予測部１０４は、サブブロック分割や予測モード（イントラ予測、インター予測、重み付きイントラ・インター予測のいずれであるかを示す情報）やベクトルデータなどの予測情報を、符号化部１１０、画像再生部１０７に供給する。
【0039】
変換・量子化部１０５は、入力された予測誤差データに直交変換・量子化を行い、量子化係数を生成する。具体的には、変換・量子化部１０５は、予測誤差データのサイズに対応した直交変換処理を施し、直交変換係数を生成する。次に変換・量子化部１０５は、直交変換係数を予測モードに応じて量子化マトリクス保持部１０３に格納されている量子化マトリクスを選択し、その選択した量子化マトリクスを用いて量子化し、量子化係数を生成する。本実施形態では、イントラ予測で予測処理が行われたサブブロックには図８（ａ）、インター予測が行われたサブブロックには図８（ｂ）、重み付きイントラ・インター予測が行われたサブブロックには図８（ｃ）の量子化マトリクスが用いられる。ただし、使用される量子化マトリクスはこれに限定されない。そして、変換・量子化部１０５は、生成された量子化係数を符号化部１１０および逆量子化・逆変換部１０６に供給する。
【0040】
逆量子化・逆変換部１０６は、入力したサブブロックの量子化係数を、量子化マトリクス保持部１０３に格納されている量子化マトリクスを用いて逆量子化して、変換係数を再生する。逆量子化・逆変換部１０６は、更に、再生された変換係数を逆直交変換して予測誤差データを再生する。逆量子化処理には、変換・量子化部１０５同様、符号化対象ブロックの予測モードに対応した量子化マトリクスが用いられる。具体的には、変換・量子化部１０５で用いられた量子化マトリクスと同一のものが用いられる。逆量子化・逆変換部１０６は、そして再生された予測誤差データを画像再生部１０７に供給する。
【0041】
画像再生部１０７は、予測部１０４から入力される予測情報に基づいて、フレームメモリ１０８を適宜参照し、予測画像データを再生する。そして画像再生部１０７は、再生された予測画像と、逆量子化・逆変換部１０６から入力した予測誤差データとを加算することで、サブブロックの画像データを再生し、フレームメモリ１０８に格納する。
【0042】
インループフィルタ部１０９は、フレームメモリ１０８から再生画像データを読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部１０９は、フィルタ処理された画像データを再びフレームメモリ１０８に格納する。
【0043】
符号化部１１０は、サブブロック単位に、変換・量子化部１０５で生成された量子化係数、及び、予測部１０４から入力された予測情報をエントロピー符号化し、符号データを生成する。エントロピー符号化の方法は特に問わないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。生成された符号データは統合符号化部１１１に供給される。
【0044】
統合符号化部１１１は、前述のヘッダの符号データとともに符号化部１１０から入力した符号データなどを多重化してビットストリームを形成する。最終的には、ビットストリームは端子１１２から外部に出力される。
【0045】
図６（ａ）は第１の実施形態で出力されるビットストリームのデータ構造例を示している。シーケンスヘッダには量子化マトリクスの符号データが含まれ、各要素の符号化データで構成されている。ただし、符号化される位置はこれに限定されず、ピクチャヘッダ部やその他のヘッダ部に符号化される構成をとってももちろん構わない。また、１つのシーケンスの中で量子化マトリクスの変更を行う場合、量子化マトリクスを新たに符号化することで更新することも可能である。この際、全ての量子化マトリクスを書き換えても良いし、書き換える量子化マトリクスに対応する量子化マトリクスの予測モードを指定することでその一部を変更するようにすることも可能である。
【0046】
以下、第１の実施形態に係る画像符号化装置における１フレームの符号化処理の処理手順を図３のフローチャートを参照して説明する。なお、以下の説明における各工程は、その主体が制御部１５０による制御下にてそれぞれの処理を実行するものとする。
【0047】
まず、画像の符号化に先立ち、Ｓ３０１にて、量子化マトリクス保持部１０３は二次元の量子化マトリクスを生成し、保持する。本実施形態における量子化マトリクス保持部１０３は、図８（ａ）～（ｃ）に示された、８×８画素のサブブロックに対応し、イントラ予測、インター予測および重み付きイントラ・インター予測のそれぞれの予測方法に対応した量子化マトリクスを生成し、保持する。
【0048】
Ｓ３０２にて、量子化マトリクス符号化部１１３は、Ｓ３０１にて生成・保持された量子化マトリクスを走査して各要素の差分を算出し、１次元の差分行列を生成する。本実施形態の量子化マトリクス符号化部１１３は、図８（ａ）～（ｃ）に示された量子化マトリクスは図９の走査方法を用い、図１０（ａ）～（ｃ）に示される差分行列を生成することになる。量子化マトリクス符号化部１１３は、さらに生成された差分行列を、図１１（ａ）（又は図１１（ｂ））に示す符号化テーブルを参照して二進符号を生成し、符号化データを生成していく。
【0049】
Ｓ３０３にて、統合符号化部１１１は、生成された量子化マトリクスの符号データとともに、画像データの符号化に必要なヘッダ情報を生成し、出力する。
【0050】
Ｓ３０４にて、ブロック分割部１０２は、フレーム単位の入力画像を基本ブロック単位に分割する。そして、Ｓ３０５にて、予測部１０４は、Ｓ３０４にて生成された基本ブロック単位の画像データから１以上のサブブロックに分割し、サブブロック単位に予測処理を実行し、サブブロック分割情報や予測モードなどの予測情報および予測画像データを生成する。本実施形態では、イントラ予測、インター予測および重み付きイントラ・インター予測の３種類の予測方法が用いられる。さらに予測部１０４は、入力された画像データと、予測画像データとの差分である予測誤差データを算出する。
【0051】
なお、予測部１０４による具体例な処理例を示すと次の通りである。予測部１０４は、符号化しようとする着目サブブロックの画像データに対して、当該着目サブブロックが属する同じフレームの符号化済み領域を参照してイントラ予測処理を行い、イントラ予測画像データＰintra[x][y]を生成する。また、予測部１０４は、符号化しようとする着目サブブロックが属するフレームと異なる既符号化のフレーム（例えば直前のフレーム）を参照してインター予測処理を行い、インター予測画像データＰinter[x][y]を生成する。そして、先に示した式（１）に基づき重み付きイントラ・インター予測画像データＰ[x][y]を生成する。そして、これらの３つの予測画像データそれぞれと、着目サブブロックの画素値どうしの差分データの２乗和（または、絶対値和でも良い）を求め、２乗和が最小となった予測画像データの予測モードを着目サブブロックの予測モードとして決定する。本実施形態では、重み値ｗはイントラ予測モードや動きベクトルの大きさ、着目サブブロックの位置などに応じて一意に算出されるものとするが、重み値ｗの算出方法についてはこれに限定されない。例えば、ｗ＝０、１、…、８を設定して、それぞれの場合の９個の予測画像データを求める。そして、これら９個の予測画像データそれぞれと、着目サブブロックの画素値どうしの差分データの２乗和（または、絶対値和でも良い）を求め、２乗和が最小となった“ｗ”を判定する構成としても良い。その場合、ｗ＝０であった場合、予測部１０４は、式（１）から、着目サブブロックはイントラ予測符号化するものとして決定する。また、ｗ＝８であった場合、予測部１０４は、式（１）から、着目サブブロックはインター予測符号化するものとして決定する。そして、ｗが１～７の範囲内にある場合、着目サブブロックは重み付きイントラ・インター予測符号化を行うものとして決定する。その場合、決定したｗの値も予測情報として、後段のＳ３０９にて符号化する構成としても良い。
【0052】
Ｓ３０６にて、変換・量子化部１０５は、Ｓ３０５で算出された予測誤差データを直交変換して変換係数を生成する。更に、変換・量子化部１０５は、予測情報に基づき、Ｓ３０１にて生成・保持された量子化マトリクスの１つを選択し、その選択した量子化マトリクスを用いて量子化を行い、量子化係数を生成する。本実施形態では、イントラ予測が用いられたサブブロックには図８（ａ）、インター予測が用いられたサブブロックには図８（ｂ）、重み付きイントラ・インター予測が用いられたサブブロックには図８（ｃ）の量子化マトリクスが用いられる。
【0053】
Ｓ３０７にて、逆量子化・逆変換部１０６は、Ｓ３０５で生成された量子化係数を、Ｓ３０１にて生成・保持された量子化マトリクスを用いて逆量子化を行い、変換係数を再生する。逆量子化・逆変換部１０６は、さらに、変換係数に対して逆直交変換し、予測誤差データを再生する。本ステップでは、Ｓ３０６で用いられた量子化マトリクスと同一のものが用いられ、逆量子化処理が行われることになる。
【0054】
Ｓ３０８にて、画像再生部１０７は、Ｓ３０５で生成された予測情報に基づいて予測画像データを再生する。画像再生部１０７は、さらに、再生された予測画像データと、Ｓ３０７で生成された予測誤差データからサブブロックの画像データを再生する。
【0055】
Ｓ３０９にて、符号化部１１０は、Ｓ３０５で生成された予測情報およびＳ３０６で生成された量子化係数を符号化し、符号データを生成する。また、他の符号データも含め、ビットストリームを生成する。
【0056】
Ｓ３１０にて、制御部１５０は、フレーム内の全ての基本ブロックの符号化が終了したか否かの判定を行い、終了していればＳ３１１に処理を進め、そうでなければ次の基本ブロックを対象とする符号化を行うため、処理をＳ３０５に戻す。
【0057】
Ｓ３１１にて、インループフィルタ部１０９は、Ｓ３０８で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。
【0058】
上記の処理において、動画像の２つ目以降のフレームの符号化を行う場合には、Ｓ３０４乃至Ｓ３１１を、符号化すべき最後のフレームの入力まで繰り返すことになる。
【0059】
以上の構成と動作により、特にＳ３０６において、重み付きイントラ・インター予測を用いたサブブロックに対して、それ専用の量子化マトリクスを用いた量子化処理を実行することで、周波数成分ごとに量子化を制御し、主観画質を向上させることができる。
【0060】
なお、本実施形態では、イントラ予測、インター予測および重み付きイントラ・インター予測の３種類の予測方法に対して、個別に量子化マトリクスを定義し、３種類の量子化マトリクス全てを符号化する構成としたが、そのうちのいくつかを共通化しても構わない。
【0061】
例えば、重み付きイントラ・インター予測を用いたサブブロックに対しても、イントラ予測を用いたサブブロック同様に図８（ａ）の量子化マトリクスを用いて量子化し、図８（ｃ）の量子化マトリクスの符号化を省略することも可能である。これにより、図８（ｃ）の量子化マトリクス分の符号量を削減しつつ、ブロック歪みなどのイントラ予測による誤差から生じる画質劣化を軽減させることができる。
【0062】
同様に、重み付きイントラ・インター予測を用いたサブブロックに対しても、インター予測を用いたサブブロック同様に図８（ｂ）の量子化マトリクスを用いて量子化し、図８（ｃ）の量子化マトリクスの符号化を省略することも可能である。これにより、図８（ｃ）の量子化マトリクス分の符号量を削減しつつ、ガクガクした動きなどのインター予測による誤差から生じる画質劣化を低減させることもできる。
【0063】
あるいは、前述の式（１）において、イントラ予測画素値とインター予測画素値の重みを示す重み値ｗの値に応じて、重み付きイントラ・インター予測を用いたサブブロックに対して用いる量子化マトリクスを適応的に決定する構成としても構わない。例えば、差分が最小となる重み値ｗの値が所定の値（例えば中心値の４）以上であれば図８（ｂ）を、小さければ図８（ａ）の量子化マトリクスを重み付きイントラ・インター予測を用いたサブブロックに対して用いる構成にすることも可能である。これにより、より重みが大きい方の予測方法に対する画質劣化を低減しつつ、図８（ｃ）の量子化マトリクスの符号化を省略した分の符号量を削減することができる。あるいは、重み値ｗの値に応じて、重み付きイントラ・インター予測を用いたサブブロックに対して用いる量子化マトリクスを新たに生成する構成としても良い。例えば、次式（２）を用いて計算することもできる。
ＱＭ[x][y]={ｗ×ＱＭinter[x][y] ＋(８－ｗ)×ＱＭintra[x][y]}＞＞３…（２）
上記の式（２）において、ＱＭ[x][y]は算出された重み付きイントラ・インター予測を用いたサブブロックに用いられる量子化マトリクスの座標（ｘ，ｙ）における要素(量子化ステップ値）である。ＱＭinter[x][y]はインター予測用のサブブロックに用いられる量子化マトリクスの座標（ｘ，ｙ）における要素である。同様に、ＱＭintra[x][y]はイントラ予測用の量子化マトリクスの座標（ｘ，ｙ）における要素である。これにより、図８（ｃ）の量子化マトリクスの符号化を省略した分の符号量を削減しつつ、重み値ｗに応じた適切な量子化制御を行い、主観画質を向上させることができる。
ＱＭ[x][y]={ｗ×ＱＭinter[x][y] ＋(８－ｗ)×ＱＭintra[x][y]}＞＞３…（２）
上記の式（２）において、ＱＭ[x][y]は算出された重み付きイントラ・インター予測を用いたサブブロックに用いられる量子化マトリクスの座標（ｘ，ｙ）における要素(量子化ステップ値）である。ＱＭinter[x][y]はインター予測用のサブブロックに用いられる量子化マトリクスの座標（ｘ，ｙ）における要素である。同様に、ＱＭintra[x][y]はイントラ予測用の量子化マトリクスの座標（ｘ，ｙ）における要素である。これにより、図８（ｃ）の量子化マトリクスの符号化を省略した分の符号量を削減しつつ、重み値ｗに応じた適切な量子化制御を行い、主観画質を向上させることができる。
【0064】
さらには、本実施形態では、重み付きイントラ・インター予測を用いたサブブロックに対する量子化マトリクスが一意に決まる構成としたが、識別子を導入することで選択可能とする構成としても構わない。例えば図６（ｂ）は、量子化マトリクス符号化方法情報符号を新たに導入することで、重み付きイントラ・インター予測を用いたサブブロックに対する量子化マトリクス符号化を選択的にしたものである。例えば、量子化マトリクス符号化方法情報符号が０を示している場合には、重み付きイントラ・インター予測を用いたサブブロックに対し、イントラ予測を用いたサブブロックに対する量子化マトリクスである図８（ａ）が用いられる。また、１を示している場合には、重み付きイントラ・インター予測を用いたサブブロックに対し、インター予測を用いたサブブロックに対する量子化マトリクスである図８（ｂ）が用いられる。一方、２を示している場合には、重み付きイントラ・インター予測を用いたサブブロックに対し、個別に符号化された図８（ｃ）が用いられるといった具合である。これにより、量子化マトリクス符号量削減と重み付きイントラ・インター予測を用いたサブブロックに対する独自の量子化制御とを選択的に実現することが可能となる。
【0065】
［第２の実施形態］
第２の実施形態では、上記第１の実施形態の画像符号化装置で生成された符号化データを復号する画像復号装置を説明する。図２は、その画像復号装置のブロック構成図である。
第２の実施形態では、上記第１の実施形態の画像符号化装置で生成された符号化データを復号する画像復号装置を説明する。図２は、その画像復号装置のブロック構成図である。
【0066】
画像復号装置は、以下に説明する構成要素を制御し、装置全体の制御を司る制御部２５０を有する。この制御部２５０は、ＣＰＵ、ＣＰＵが実行するプログラムや各種パラメータ等を記憶しているＲＯＭ、ＣＰＵのワークエリアとして使用されるＲＡＭを含む。なお、ＲＯＭや他の不揮発性記憶装置に格納されたＯＳ（オペレーティングシステム）、プログラム、パラメータをＲＡＭにロードした後に、ＯＳの制御下でプログラムを実行するようにしてもよい。
【0067】
また、画像復号装置は、入力端子２０１、分離復号部２０２、復号部２０３、逆量子化・逆変換部２０４、画像再生部２０５、フレームメモリ２０６、インループフィルタ部２０７、出力端子２０８、及び、量子化マトリクス復号部２０９を有する。
【0068】
上記画像復号装置の構成における画像復号装置の構成とその動作を以下に説明する。なお、画像復号装置は、先に説明した画像符号化装置が生成したビットストリームをフレーム単位で入力する構成となっている。
【0069】
分離復号部２０２は、入力端子２０１を介して符号化ビットストリームを入力し、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、またビットストリームのヘッダ部に存在する符号データを復号する。本実施形態の分離復号部２０２は、符号化ビットストリームから量子化マトリクスの符号化データを分離し、その符号化データを量子化マトリクス復号部２０９に供給する。また、分離復号部２０２は、符号化ビットストリームから画像データの符号化データを分離し、復号部２０３に供給する。要するに分離復号部２０２は、図１の統合符号化部１１１と逆の動作を行う。
【0070】
量子化マトリクス復号部２０９は、分離復号部２０２からの量子化マトリクスの符号化データを復号して量子化マトリクスを再生、保持する。
【0071】
復号部２０３は、分離復号部２０２から入力した符号化データを復号し、量子化係数および予測情報を再生する。
【0072】
逆量子化・逆変換部２０４は、図１の逆量子化・逆変換部１０６と同様、再生された量子化マトリクスを用いて量子化係数を逆量子化して変換係数を得、さらに逆直交変換を行い、予測誤差データを再生する。
【0073】
画像再生部２０５は、入力された予測情報に基づいてフレームメモリ２０６を適宜参照して予測画像データを生成する。そして、画像再生部２０５は、この予測画像データに、逆量子化・逆変換部２０４で再生された予測誤差データを加算することで、画像データを生成し、フレームメモリ２０６に格納する。
【0074】
インループフィルタ部２０７は、図１のインループフィルタ部１０９と同様、フレームメモリ２０６に格納された再生画像に対し、デブロッキングフィルタなどのインループフィルタ処理を行い、フィルタ処理された画像データをフレームメモリ２０６に再格納する。そして、出力端子２０８は、再生された画像データを外部装置（例えば表示装置）に出力する。
【0075】
次に、図２の画像復号装置における各構成要素の動作を更に詳しく説明する。
【0076】
本第２の実施形態では、第１の実施形態で生成されたビットストリームをフレーム単位で入力する構成となっている。
【0077】
入力端子２０１を介して入力された１フレーム分のビットストリームは分離復号部２０２に供給される。分離復号部２０２は、ビットストリームから復号処理に関する情報や係数に関する符号データに分離し、ビットストリームのヘッダ部に存在する符号データを復号する。より具体的には、分離復号部２０２は、量子化マトリクスの符号データを再生する。本実施形態の分離復号部２０２は、まず、図６（ａ）に示されるビットストリームのシーケンスヘッダから図８（ａ）～（ｃ）の量子化マトリクスの符号データを抽出し、量子化マトリクス復号部２０９に供給する。分離復号部２０２は、続いて、ピクチャデータの基本ブロックのサブブロック単位の符号データを再生し、復号部２０３に供給する。
【0078】
量子化マトリクス復号部２０９は、まず入力された量子化マトリクス符号データを復号し、図１０（ａ）～（ｃ）に示される一次元の差分行列を再生する。本実施形態では、第１の実施形態と同様、図１１（ａ）（又は図１１（ｂ））に示される符号化テーブルを用いて復号するものとするが、符号化テーブルはこれに限定されず、第１の実施形態と同じものを用いる限りは他の符号化テーブルを用いても良い。さらに量子化マトリクス復号部２０９は、再生された一次元の差分行列を逆走査し、二次元の量子化マトリクスを再生する。ここでは第１の実施形態の量子化マトリクス符号化部１１３の動作とは逆の動作を行う。すなわち、本実施形態の量子化マトリクス復号部２０９は、図１０（ａ）～（ｃ）に示される差分行列を、図９に示される走査方法を用いて、それぞれ図８（ａ）～（ｃ）に示される３種の量子化マトリクスを再生し、保持することになる。
【0079】
復号部２０３は、符号データを復号し、量子化係数および予測情報を再生する。そして、復号部２０３は、再生された量子化係数を逆量子化・逆変換部２０４に供給し、再生された予測情報を画像再生部２０５に供給する。
【0080】
逆量子化・逆変換部２０４は、量子化マトリクス復号部２０９で再生された量子化マトリクスの１つを選択する。そして、逆量子化・逆変換部２０４は、入力した量子化係数を、選択した量子化マトリクスを用いて逆量子化し、直交変換係数を生成する。逆量子化・逆変換部２０４は、さらに逆直交変換を施して予測誤差データを再生し、再生された予測情報を画像再生部２０５に供給する。本実施形態の逆量子化・逆変換部２０４は、復号部２０３で再生された予測情報に従って定まる復号対象ブロックの予測モードに応じて、逆量子化処理で用いる量子化マトリクスを決定する。すなわち、イントラ予測が用いられているサブブロックには図８（ａ）、インター予測が用いられているサブブロックには図８（ｂ）、重み付きイントラ・インター予測が用いられているサブブロックには図８（ｃ）の量子化マトリクスが選択される。ただし、使用される量子化マトリクスはこれに限定されず、第１の実施形態の変換・量子化部１０５および逆量子化・逆変換部１０６で用いられた量子化マトリクスと同一のものであれば良い。
【0081】
画像再生部２０５は、復号部２０３から入力された予測情報に基づいて、フレームメモリ２０６を適宜参照し、予測画像データを再生する。本実施形態では、第１の実施形態の予測部１０４と同様、イントラ予測、インター予測および重み付きイントラ・インター予測の３種類の予測方法が用いられる。具体的な予測の処理については、第１の実施形態の予測部１０４と同様であるため、説明を省略する。画像再生部２０５は、この予測画像データに、逆量子化・逆変換部２０４から入力された予測誤差データを加算することで画像データを再生し、フレームメモリ２０６に格納する。格納された画像データは他のサブブロックの復号する際の予測参照候補となる。
【0082】
インループフィルタ部２０７は、図１のインループフィルタ部１０９と同様、フレームメモリ２０６から再生画像データを読み出し、デブロッキングフィルタなどのインループフィルタ処理を行う。そして、インループフィルタ部２０７は、フィルタ処理された画像データを再びフレームメモリ２０６に格納する。
【0083】
フレームメモリ２０６に格納された再生画像は、最終的には出力端子２０８から外部に出力される。
【0084】
以下、第２の実施形態に係る画像復号装置における１フレームの復号処理の処理手順を図４のフローチャートを参照して説明する。なお、以下の説明における各工程は、その主体が制御部２５０による制御下にて、それぞれの処理を実行するものとする。
【0085】
まず、Ｓ４０１にて、分離復号部２０２は、ビットストリームから復号処理に関する情報や係数に関する符号データに分離して、ヘッダ部分の符号データを復号する。より具体的には、量子化マトリクスの符号データを再生する。
【0086】
Ｓ４０２にて、量子化マトリクス復号部２０９は、Ｓ４０１で再生された量子化マトリクスの符号データを復号し、図１０（ａ）～（ｃ）で示される一次元の差分行列を再生する。さらに、量子化マトリクス復号部２０９は再生された一次元の差分行列を逆走査し、二次元の量子化マトリクスを再生し、保持する。
【0087】
すなわち、本実施形態では、量子化マトリクス復号部２０９は、図１０（ａ）～（ｃ）に示される差分行列は、図９に示される走査方法を用いて、それぞれ図８（ａ）～（ｃ）に示される３種の量子化マトリクスを再生し、保持する。
【0088】
Ｓ４０３にて、復号部２０３は、Ｓ４０１で分離された符号データを復号し、量子化係数および予測情報を再生する。
【0089】
Ｓ４０４にて、逆量子化・逆変換部２０４は、量子化係数に対してＳ４０２で再生された量子化マトリクスを用いて逆量子化を行って変換係数を得る。逆量子化・逆変換部２０４は、さらに逆直交変換を行い、予測誤差データを再生する。本実施形態の逆量子化・逆変換部２０４は、Ｓ４０３で再生された予測情報によって定まる予測モードに応じて、利用する量子化マトリクスを決定する。すなわち、イントラ予測が用いられているサブブロックには図８（ａ）、インター予測が用いられているサブブロックには図８（ｂ）、重み付きイントラ・インター予測が用いられているサブブロックには図８（ｃ）の量子化マトリクスが用いられるものとする。ただし、使用される量子化マトリクスはこれに限定されず、第１の実施形態のＳ３０６およびＳ３０７で用いられた量子化マトリクスと同一のものであれば良い。
【0090】
Ｓ４０５にて、画像再生部２０５は、Ｓ４０３で生成された予測情報から予測画像データを再生する。本実施形態の画像再生部２０５は、第１の実施形態のＳ３０５同様、イントラ予測、インター予測および重み付きイントラ・インター予測の３種類の予測方法が用いられる。さらに画像再生部２０５は、再生された予測画像データに、Ｓ４０４で生成された予測誤差データを加算して、画像データを再生する。
【0091】
Ｓ４０６にて、制御部２５０は、フレーム内の全ての基本ブロックの復号が終了したか否かの判定を行い、終了していればＳ４０７に処理を進め、そうでなければ次の基本ブロックを復号対象とするため処理をＳ４０３に戻す。
【0092】
Ｓ４０７にて、インループフィルタ部２０７は、Ｓ４０５で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。
【0093】
以上の構成と動作により、第１の実施形態で生成された、重み付きイントラ・インター予測を用いたサブブロックに対しても、周波数成分ごとに量子化を制御し主観画質を向上したビットストリームを復号することができる。
【0094】
なお、本実施形態では、イントラ予測、インター予測および重み付きイントラ・インター予測の３種類の予測方法に対して、個別に量子化マトリクスを定義し、３種類の量子化マトリクス全てを復号する構成としたが、そのうちのいくつかを共通化しても構わない。
【0095】
例えば、重み付きイントラ・インター予測を用いたサブブロックに対しても、イントラ予測を用いたサブブロック同様に図８（ａ）の量子化マトリクスを用いて逆量子化し、図８（ｃ）の量子化マトリクスの復号を省略することも可能である。これにより、図８（ｃ）の量子化マトリクス分の符号量を削減しつつ、ブロック歪みなどのイントラ予測による誤差から生じる画質劣化を軽減させたビットストリームを復号することができる。
【0096】
同様に、重み付きイントラ・インター予測を用いたサブブロックに対しても、インター予測を用いたサブブロック同様に図８（ｂ）の量子化マトリクスを用いて逆量子化し、図８（ｃ）の量子化マトリクスの復号を省略することも可能である。これにより、図８（ｃ）の量子化マトリクス分の符号量を削減しつつ、ガクガクした動きなどのインター予測による誤差から生じる画質劣化を低減させたビットストリームを復号することもできる。
【0097】
あるいは、前述の式（１）において、イントラ予測画素値とインター予測画素値の重みを示す重み値ｗの値に応じて、重み付きイントラ・インター予測を用いたサブブロックに対して用いる量子化マトリクスを適応的に決定する構成としても構わない。例えば、ｗの値が所定の値（例えば中心値の４）以上であれば図８（ｂ）を、小さければ図８（ａ）の量子化マトリクスを重み付きイントラ・インター予測を用いたサブブロックに対して用いる構成にすることも可能である。これにより、より重みが大きい方の予測方法に対する画質劣化を低減しつつ、図８（ｃ）の量子化マトリクスの符号化を省略した分の符号量を削減したビットストリームを復号することができる。あるいは、前述の式（２）のように、重み値ｗの値に応じて、重み付きイントラ・インター予測を用いたサブブロックに対して用いる量子化マトリクスを新たに生成する構成としても良い。これにより、図８（ｃ）の量子化マトリクスの符号化を省略した分の符号量を削減しつつ、重み値ｗに応じた適切な量子化制御を行い、主観画質を向上させたビットストリームを復号することができる。
【0098】
さらには、本実施形態では、重み付きイントラ・インター予測を用いたサブブロックに対する量子化マトリクスが一意に決まる構成としたが、識別子を導入することで選択可能とする構成としても構わない。例えば図６（ｂ）は、量子化マトリクス符号化方法情報符号を新たに導入することで、重み付きイントラ・インター予測を用いたサブブロックに対する量子化マトリクス符号化を選択的にしたものである。例えば、量子化マトリクス符号化方法情報符号が０を示している場合には、重み付きイントラ・インター予測を用いたサブブロックに対し、イントラ予測を用いたサブブロックに対する量子化マトリクスである図８（ａ）が用いられる。また、１を示している場合には、重み付きイントラ・インター予測を用いたサブブロックに対し、インター予測を用いたサブブロックに対する量子化マトリクスである図８（ｂ）が用いられる。一方、２を示している場合には、重み付きイントラ・インター予測を用いたサブブロックに対し、個別に符号化された図８（ｃ）が用いられるといった具合である。これにより、量子化マトリクス符号量削減と重み付きイントラ・インター予測を用いたサブブロックに対する独自の量子化制御とを選択的に実現したビットストリームを復号することが可能となる。
【0099】
［第３の実施形態］
図１、図２に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。
図１、図２に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成しても良い。
【0100】
図５は、上記各実施形態に係る画像表示装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。
【0101】
ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ５０１は、図１、図２に示した各処理部として機能することになる。
【0102】
ＲＡＭ５０２は、外部記憶装置５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）５０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ５０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。
【0103】
ＲＯＭ５０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部５０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。表示部５０５は、ＣＰＵ５０１による処理結果を表示する。また表示部５０５は例えば液晶ディスプレイで構成される。
【0104】
外部記憶装置５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、図１、図２に示した各部の機能をＣＰＵ５０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置５０６には、処理対象としての各画像データが保存されていても良い。
【0105】
外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜、ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。Ｉ／Ｆ５０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ５０７を介して様々な情報を取得したり、送出したりすることができる。５０８は上述の各部を繋ぐバスである。
【0106】
上記構成において、本装置の電源がＯＮになると、ＣＰＵ５０１はＲＯＭ５０３のブートプログラムを実行して、外部記憶装置５０６に格納されたＯＳをＲＡＭ５０２にロードし、ＯＳを起動する。この結果、本装置が、インターフェース５０７を介した通信が可能となり、情報処理装置として機能する。そして、ＯＳの制御下で、ＣＰＵ５０１は画像符号化に係るアプリケーション（図３に相当する）を外部記憶装置５０６からＲＡＭ５０２にロードして実行することで、ＣＰＵ５０１が図１に示す各種処理部として機能することになり、本装置が画像符号化装置として機能することになる。一方、ＣＰＵ５０１は画像復号に係るアプリケーション（図４に相当する）を外部記憶装置５０６からＲＡＭ５０２にロードして実行した場合、ＣＰＵ５０１は図２に示す各種処理部として機能することになり、本装置が画像復号装置として機能することになる。
【0107】
（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【0108】
１０１…入力端子、１０２…ブロック分割部、１０３…量子化マトリクス保持部、１０４…予測部、１０５…変換・量子化部、１０６…逆量子化・逆変換部、１０７…画像再生部、１０８…フレームメモリ、１０９…インループフィルタ部、１１０…符号化部、１１１…統合符号化部、１１２…出力端子、１１３…量子化マトリクス符号化部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】