特許 7508676 画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-21

(45)【発行日】2024-07-01

(54)【発明の名称】画像符号化装置、画像符号化方法、及びプログラム、画像復号装置、画像復号方法、及びプログラム

(51)【国際特許分類】

   H04N 19/126 20140101AFI20240624BHJP

   H04N 19/157 20140101ALI20240624BHJP

   H04N 19/176 20140101ALI20240624BHJP

   H04N 19/186 20140101ALI20240624BHJP

【ＦＩ】

H04N19/126

H04N19/157

H04N19/176

H04N19/186

【請求項の数】 6

(21)【出願番号】P 2023151302

(22)【出願日】2023-09-19

(62)【分割の表示】P 2019168859の分割

【原出願日】2019-09-17

(65)【公開番号】P2023164602

(43)【公開日】2023-11-10

【審査請求日】2023-09-19

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】志摩 真悟

【審査官】岩井 健二

(56)【参考文献】

【文献】国際公開第２０１９／００３６７６（ＷＯ，Ａ１）

【文献】Takeshi Tsukuba, et al.，AHG13/Non-CE6/CE8: Chroma Transform Skip，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-N0123-v2，14th Meeting: Geneva, CH，2019年03月，pp.1-6

【文献】Tung Nguyen, et al.，Non-CE8: Minimum Allowed QP for Transform Skip Mode，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/ WG 11，JVET-O0405-v1，15th Meeting: Gothenburg，2019年06月，pp.1-3

【文献】Marta Karczewicz, et al.，Non-CE8: Minimum QP for Transform Skip Mode，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/ WG 11，JVET-O0919-v2，15th Meeting: Gothenburg, SE，2019年07月，pp.1-3

【文献】Jie Zhao, Seethal Paluri, and Seung Hwan Kim，Non-CE8: Minimum QP for Palette Escape Coding，16th Meeting: Geneva, CH，JVET-P0460，16th Meeting: Geneva, CH，2019年10月，pp.1-4

【文献】Yung-Hsuan Chao, et al.，Non-CE8: Minimum QP for escape mode in palette，Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11，JVET-P0474，16th Meeting: Geneva, CH，2019年09月，pp.1-3

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００ ー １０／９８

(57)【特許請求の範囲】

【請求項1】

輝度成分と色差成分とを少なくとも含む複数の成分を有する画像を符号化してビットストリームを生成する画像符号化装置において、
符号化対象のブロックの色差成分に変換処理が施されるか判定する判定手段と、
前記符号化対象のブロックの前記色差成分に前記変換処理が施されると前記判定手段によって判定された場合、前記符号化対象のブロックの前記色差成分に対応する第１の量子化パラメータを用いて前記符号化対象のブロックの前記色差成分を符号化する符号化手段と
を有し、
前記符号化手段は、前記符号化対象のブロックの前記色差成分に前記変換処理が施されないと前記判定手段によって判定された場合において、基準値よりも前記第１の量子化パラメータが小さい場合、当該基準値を量子化パラメータとして用いて、前記符号化対象のブロックの前記色差成分を符号化し、
前記基準値は、前記複数の成分において共通に用いられ、
前記色差成分はｃｂ成分であり、
前記符号化手段は、前記基準値を示す情報として、量子化ステップを１とするための量子化パラメータの値に一致する所定の値と前記基準値との差分を特定するための情報を前記ビットストリームに符号化し、
前記量子化ステップを１とするための前記量子化パラメータの値は４である
ことを特徴とする画像符号化装置。

【請求項2】

輝度成分と色差成分とを含む複数の成分を有する画像を符号化して生成されたビットストリームを復号する画像復号装置であって、
前記ビットストリームから復号される第１の情報に基づいて復号対象のブロックの色差成分に対応する第１の量子化パラメータを導出する導出手段と、
前記復号対象のブロックの前記色差成分に変換処理が施されるか判定する判定手段と、
前記復号対象のブロックの前記色差成分に前記変換処理が施されると前記判定手段によって判定された場合、前記第１の量子化パラメータを用いて前記復号対象のブロックの前記色差成分を復号する復号手段と、
を有し、
前記復号手段は、量子化パラメータの基準値を示す情報として、量子化ステップを１とするための量子化パラメータの値に一致する所定の値と前記基準値との差分を特定するための第２の情報を前記ビットストリームから復号し、
前記復号手段は、前記復号対象のブロックの前記色差成分に前記変換処理が施されないと前記判定手段によって判定された場合において、前記第２の情報に基づく前記基準値よりも前記第１の量子化パラメータが小さい場合、当該基準値を量子化パラメータとして用いて、前記復号対象のブロックの前記色差成分を復号し、
前記色差成分はｃｂ成分であり、
前記基準値は、前記複数の成分において共通に用いられ、
前記量子化ステップを１とするための前記量子化パラメータの値は４である
ことを特徴とする画像復号装置。

【請求項3】

輝度成分と色差成分とを少なくとも含む複数の成分を有する画像を符号化してビットストリームを生成する画像符号化方法であって、
符号化対象のブロックの色差成分に変換処理が施されるか判定する判定工程と、
前記符号化対象のブロックの前記色差成分に前記変換処理が施されると判定された場合、前記符号化対象のブロックの前記色差成分に対応する第１の量子化パラメータを用いて前記符号化対象のブロックの前記色差成分を符号化する第１の符号化工程と、
前記符号化対象のブロックの前記色差成分に前記変換処理が施されないと判定された場合において、基準値よりも前記第１の量子化パラメータが小さい場合、当該基準値を量子化パラメータとして用いて、前記符号化対象のブロックの前記色差成分を符号化する第２の符号化工程と
を有し、
前記基準値は、前記複数の成分において共通に用いられ、
前記色差成分はｃｂ成分であり、
前記基準値を示す情報として、量子化ステップを１とするための量子化パラメータの値に一致する所定の値と前記基準値との差分を特定するための情報を前記ビットストリームに符号化する第３の符号化工程を更に有し、
前記量子化ステップを１とするための前記量子化パラメータの値は４である
ことを特徴とする画像符号化方法。

【請求項4】

輝度成分と色差成分とを含む複数の成分を有する画像を符号化して生成されたビットストリームを復号する画像復号方法であって、
前記ビットストリームから復号される第１の情報に基づいて復号対象のブロックの色差成分に対応する第１の量子化パラメータを導出する導出工程と、
前記復号対象のブロックの前記色差成分に変換処理が施されるか判定する判定工程と、
前記復号対象のブロックの前記色差成分に前記変換処理が施されると判定された場合、前記第１の量子化パラメータを用いて前記復号対象のブロックの前記色差成分を復号する第１の復号工程と、
量子化パラメータの基準値を示す情報として、量子化ステップを１とするための量子化パラメータの値に一致する所定の値と前記基準値との差分を特定するための第２の情報を前記ビットストリームから復号する第２の復号工程と、
前記復号対象のブロックの前記色差成分に前記変換処理が施されないと判定された場合において、前記第２の情報に基づく前記基準値よりも前記第１の量子化パラメータが小さい場合、当該基準値を量子化パラメータとして用いて、前記復号対象のブロックの前記色差成分を復号する第３の復号工程と
を有し、
前記色差成分はｃｂ成分であり、
前記基準値は、前記複数の成分において共通に用いられ、
前記量子化ステップを１とするための前記量子化パラメータの値は４である
ことを特徴とする画像復号方法。

【請求項5】

請求項１に記載の画像符号化装置の各手段として、コンピュータを機能させるためのプログラム。

【請求項6】

請求項２に記載の画像復号装置の各手段として、コンピュータを機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は画像符号化技術に関する。

【背景技術】

【0002】

動画像の圧縮符号化方式として、ＨＥＶＣ（Ｈｉｇｈ Ｅｆｆｉｃｉｅｎｃｙ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＨＥＶＣと記す）が知られている。

【0003】

また、近年、ＨＥＶＣの後継として、さらに高効率な符号化方式の国際標準化を行う活動が開始され、ＪＶＥＴ（Ｊｏｉｎｔ Ｖｉｄｅｏ Ｅｘｐｅｒｔｓ Ｔｅａｍ）がＩＳＯ・ＩＥＣとＩＴＵ－Ｔの間で設立された。このＪＶＥＴにて、ＨＥＶＣの後継の符号化方式であるＶＶＣ（Ｖｅｒｓａｔｉｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）符号化方式（以下、ＶＶＣ）の標準化が進められている。

【0004】

これらの符号化方式では、自然画ではない人工的に作成された画像に対する符号化効率向上のため、パレット符号化と呼ばれる方式が検討されている。これは、画像を表す代表的な色を予め決定し、入力された画素の値をこの代表色を示すインデックスを用いて符号化する技術となっている。特開２０１６－１０３８０４（特許文献１）では、このパレット符号化に用いられる量子化パラメータを補正する技術が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－１０３８０４

【発明の概要】

【発明が解決しようとする課題】

【0006】

ここで、ＨＥＶＣやＶＶＣにおいては、量子化処理に用いられる量子化パラメータが４の時、量子化ステップ（Ｓｃａｌｉｎｇ ｆａｃｔｏｒ）が１となるように設計されている。すなわち量子化パラメータが４の時に量子化の前と後とで値が変化しないように設計されている。言い換えると、量子化パラメータが４よりも大きい場合、量子化ステップが１よりも大きくなり、量子化後の値は元の値より小さくなる。反対に量子化パラメータが４よりも小さい場合、量子化ステップが１よりも小さい小数の値となり、量子化後の値は元の値より大きくなり、結果として階調性を高める効果がある。通常の直交変換を用いた符号化処理の場合、量子化パラメータを４より小さくすると、階調性が高まるため、量子化パラメータが４の時よりも圧縮後の画質を向上させる効果がある。一方で、直交変換を用いない符号化処理の場合には、階調性を高めても圧縮後の画質は向上せず、符号量が増大するといった問題が生じている。

【0007】

本発明は上述した課題を解決するためになされたものであり、量子化パラメータを適応的に補正することで不必要に符号量が増加してしまう可能性を低減することを目的としている。

【課題を解決するための手段】

【0008】

前述の問題点を解決するため、本発明の画像符号化装置は以下の構成を有する。すなわち、輝度成分と色差成分とを少なくとも含む複数の成分を有する画像を符号化してビットストリームを生成する画像符号化装置において、 符号化対象のブロックの色差成分に変換処理が施されるか判定する判定手段と、 前記符号化対象のブロックの前記色差成分に前記変換処理が施されると前記判定手段によって判定された場合、前記符号化対象のブロックの前記色差成分に対応する第１の量子化パラメータを用いて前記符号化対象のブロックの前記色差成分を符号化する符号化手段とを有し、前記符号化手段は、前記符号化対象のブロックの前記色差成分に前記変換処理が施されないと前記判定手段によって判定された場合において、基準値よりも前記第１の量子化パラメータが小さい場合、当該基準値を量子化パラメータとして用いて、前記符号化対象のブロックの前記色差成分を符号化し、前記基準値は、前記複数の成分において共通に用いられ、前記色差成分はｃｂ成分であり、前記符号化手段は、前記基準値を示す情報として、量子化ステップを１とするための量子化パラメータの値に一致する所定の値と前記基準値との差分を特定するための情報を前記ビットストリームに符号化し、前記量子化ステップを１とするための前記量子化パラメータの値は４である。

【0009】

また、本発明の画像復号装置は以下の構成を有する。すなわち、輝度成分と色差成分とを含む複数の成分を有する画像を符号化して生成されたビットストリームを復号する画像復号装置であって、前記ビットストリームから復号される第１の情報に基づいて復号対象のブロックの色差成分に対応する第１の量子化パラメータを導出する導出手段と、前記復号対象のブロックの前記色差成分に変換処理が施されるか判定する判定手段と、前記復号対象のブロックの前記色差成分に前記変換処理が施されると前記判定手段によって判定された場合、前記第１の量子化パラメータを用いて前記復号対象のブロックの前記色差成分を復号する復号手段と、を有し、前記復号手段は、量子化パラメータの基準値を示す情報として、量子化ステップを１とするための量子化パラメータの値に一致する所定の値と前記基準値との差分を特定するための第２の情報を前記ビットストリームから復号し、前記復号手段は、前記復号対象のブロックの前記色差成分に前記変換処理が施されないと前記判定手段によって判定された場合において、前記第２の情報に基づく前記基準値よりも前記第１の量子化パラメータが小さい場合、当該基準値を量子化パラメータとして用いて、前記復号対象のブロックの前記色差成分を復号し、前記色差成分はｃｂ成分であり、前記基準値は、前記複数の成分において共通に用いられ、前記量子化ステップを１とするための前記量子化パラメータの値は４である。

【発明の効果】

【0010】

本発明により、量子化パラメータを適応的に補正することで不必要に符号量が増加してしまう可能性を低減することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態１における画像符号化装置の構成を示すブロック図である。

【図2】実施形態２における画像復号装置の構成を示すブロック図である。

【図3】実施形態１に係る画像符号化装置における画像符号化処理を示すフローチャートである。

【図4】実施形態２に係る画像復号装置における画像復号処理を示すフローチャートである。

【図5】各実施形態における画像符号化装置及び画像復号装置に適用可能なコンピュータのハードウェア構成例を示すブロック図である。

【図6】実施形態１によって生成され、実施形態２によって復号されるビットストリーム構造の一例を示す図である。

【図7】各実施形態で用いられるサブブロック分割の一例を示す図である。

【発明を実施するための形態】

【0012】

本発明の実施の形態を、添付の図面に基づいて説明する。なお、以下の実施形態において示す構成は一例であり、本発明は以下の実施形態で説明する構成に限定されるものではない。なお、基本ブロックやサブブロックといった呼称は、各実施形態において便宜的に用いている呼称であり、その意味が変わらない範囲で、適宜、他の呼称を用いてもよい。例えば、基本ブロックやサブブロックは、基本ユニットやサブユニットと称されてもよいし、単にブロックやユニットと称されてもよい。

【0013】

＜実施形態１＞
以下、本発明の実施形態を、図面を用いて説明する。

【0014】

図１は本実施形態の画像符号化装置を示すブロック図である。図１において、１０１は画像データが入力される端子である。

【0015】

１０２はブロック分割部であり、入力画像を複数の基本ブロックに分割し、基本ブロック単位の画像を後段に出力する。例えば、１２８×１２８画素のブロックを基本ブロックとしてもよいし、３２×３２画素のブロックを基本ブロックとしてもよい。

【0016】

１０３は量子化値補正情報生成部であり、量子化ステップを規定する量子化パラメータの補正処理についての情報である、量子化値補正情報を生成し、出力する。量子化値補正情報の生成方法については特に限定しないが、ユーザが量子化値補正情報を指定する入力を行ってもよいし、入力画像の特性から画像符号化装置が算出してもよいし、初期値としてあらかじめ指定されたものを使用してもよい。なお、量子化パラメータは量子化ステップを直接的に示すのではなく、例えば、量子化パラメータが４の時、量子化ステップ（Ｓｃａｌｉｎｇ ｆａｃｔｏｒ）が１となるように設計されている。量子化パラメータの値が大きければ、量子化ステップも大きくなる。

【0017】

１０４は予測部であり、基本ブロック単位の画像データに対し、サブブロックへの分割方法を決定する。そして、決定した形状及び大きさのサブブロックへと基本ブロックを分割する。そして、サブブロック単位でフレーム内予測であるイントラ予測やフレーム間予測であるインター予測などを行い、予測画像データを生成する。例えば、予測部１０４は、１つのサブブロックに対して行う予測方法を、イントラ予測、インター予測、及び、イントラ予測とインター予測とを組み合わせた予測符号化の中から選択し、選択した予測を行って、当該サブブロックのための予測画像データを生成する。なお、予測部１０４は、どのような符号化を行うかをフラグ等に基づいて判定する判定手段としても機能する。

【0018】

さらに、予測部１０４は、入力された画像データと前記予測画像データから予測誤差を算出し、出力する。例えば、予測部１０４は、サブブロックの各画素値と、当該サブブロックに対する予測によって生成された予測画像データの各画素値との差分を算出し、それを予測誤差として算出する。

【0019】

また、予測部１０４は、予測に必要な情報を、予測誤差と併せて出力する。予測に必要な情報とは、例えばサブブロックの分割状態を示す情報や、当該サブブロックの予測方法を示す予測モード、動きベクトル等の情報である。以下ではこの予測に必要な情報を予測情報と呼称する。また、当該サブブロックで用いられている色（画素値）の種類が少ない場合などは、パレットを用いたパレット符号化を用いた方が効率良く圧縮できると判断できる。この判断は、画像符号化装置又はユーザによって行ってもよい。このように判断された場合には、予測画像データを生成する方法としてパレット符号化を選択することもできる。パレットとは、色を示す情報と、その色を示す情報を特定するためのインデックスとが関連付けられたエントリーを１又は複数有する。

【0020】

パレット符号化が選択された場合、パレット符号化を使用することを示すフラグ（以下パレットフラグと記す）が予測情報として出力される。また、各画素がパレット中のどの色を用いるかを示すインデックスも予測情報として出力される。さらには、パレット中には存在しない（対応するエントリーがない）色を示す情報（以下、エスケープ値と記す）なども予測情報として出力される。このように、パレット符号化では、パレット中に存在しない色については、エスケープ値として、パレットを用いずに、その色を示す値を直接的に示す情報を用いて符号化することが可能である。例えば、予測部１０４は、パレット符号化を用いて符号化するサブブロック中の特定の画素について、エスケープ値を用いて符号化することができる。つまり、予測部１０４は、画素単位にエスケープ値を用いるかどうかを決めることができる。エスケープ値を用いた符号化はエスケープ符号化とも呼ばれる。

【0021】

１０５は前記予測誤差をサブブロック単位で直交変換（直交変換処理）して、予測誤差の各周波数成分を表す変換係数を得る変換・逆量子化部である。変換・逆量子化部１０５は、さらに変換係数に対して量子化を行い、残差係数（量子化された変換係数）を得る変換・量子化部である。変換スキップやパレット符号化が用いられる場合には直交変換処理は実施されない。なお、直交変換を行う機能と、量子化を行う機能とは別々の構成にしてもよい。

【0022】

１０６は変換・量子化部１０５から出力された残差係数を逆量子化して、変換係数を再生し、さらに逆直交変換（逆直交変換処理）して、予測誤差を再生する逆量子化・逆変換部である。変換スキップやパレット符号化が用いられる場合には逆直交変換処理は実施されない。なお、このように、直交変換係数を再生（導出）する処理を逆量子化と称するものとする。なお、逆量子化を行う機能と、逆直交変換処理を行う機能とは別々の構成にしてもよい。１０８は再生された画像データを格納しておくフレームメモリである。

【0023】

１０７は画像再生部である。予測部１０４から出力された予測情報に基づいて、フレームメモリ１０８を適宜参照して予測画像データを生成し、この予測画像データと、入力された予測誤差とから再生画像データを生成し、出力する。

【0024】

１０９はインループフィルタ部である。再生画像に対し、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行い、フィルタ処理された画像を出力する。

【0025】

１１０は符号化部である。変換・量子化部１０５から出力された残差係数、及び、予測部１０４から出力された予測情報を符号化して、符号データを生成し出力する。

【0026】

１１１は統合符号化部である。量子化値補正情報生成部１０３からの出力を符号化して、ヘッダ符号データを生成する。さらに符号化部１１０から出力された符号データと合わせて、ビットストリームを生成して出力する。なお、量子化パラメータを示す情報についてもビットストリームに符号化される。例えば、量子化パラメータを示す情報は、符号化対象の量子化パラメータと、他の量子化パラメータ（例えば前のサブブロックの量子化パラメータ）との差分値を示す情報である。

【0027】

１１２は端子であり、統合符号化部１１１で生成されたビットストリームを外部に出力する。

【0028】

上記画像符号化装置における画像の符号化動作を以下に説明する。本実施形態では動画像データをフレーム単位（ピクチャ単位）に入力する構成とするが、１フレーム分の静止画像データを入力する構成としても構わない。

【0029】

画像の符号化に先立ち、量子化値補正情報生成部１０３は、変換スキップやパレット符号化が用いられた場合に、後段で量子化パラメータを補正する際に用いられる量子化値補正情報を生成する。量子化値補正情報生成部１０３は、少なくとも、変換スキップ及びパレット符号化のいずれかが用いられた場合に、量子化値補正情報を生成するようにすればよい。ただし、いずれの場合でも量子化補正情報を生成するとさらに符号量を低減することができる。本実施形態では、量子化値補正情報は、例えば、量子化パラメータを補正する際の最小の量子化値（最小ＱＰ値）を示すＱＰｍｉｎを示す情報を含むものとする。例えば、量子化パラメータがこのＱＰｍｉｎよりも小さい場合は、ＱＰｍｉｎとなるように補正される。この量子化値補正情報がどのように用いられるかの詳細な説明は後述する。量子化値補正情報の生成方法については特に限定しないが、ユーザが量子化値補正情報を入力（指定）してもよいし、入力画像の特性から画像符号化装置が量子化値補正情報を算出してもよいし、予め指定された初期値を使用してもよい。初期値としては、量子化ステップが１であることを示す値（例えば４）を用いることができる。変換スキップやパレット符号化を用いる場合、量子化ステップを１未満にしても、量子化ステップが１のときと画質が変わらないため、ＱＰｍｉｎを４とすることは、変換スキップやパレット符号化を用いる場合に適している。なお、ＱＰｍｉｎを初期値とする場合は、量子化値補正情報を省略することもできる。また、後述のように、ＱＰｍｉｎを初期値以外の値とする場合は、初期値との差分値を量子化値補正情報としてもよい。

【0030】

また、予測部１０４においてパレット符号化するか否かを判断する際の実装上の制限に基づいて量子化値補正情報を決定してもよい。また、変換量子化部１０５において直交変換するか否かを判断する際の実装上の制限に基づいて量子化値補正情報を決定してもよい。

【0031】

そして、生成された量子化値補正情報は変換・量子化部１０５、逆量子化・逆変換部１０６及び統合符号化部１１１に入力される。

【0032】

端子１０１から入力された１フレーム分の画像データはブロック分割部１０２に入力される。

【0033】

ブロック分割部１０２では、入力された画像データを複数の基本ブロックに分割し、基本ブロック単位の画像を予測部１０４に出力する。

【0034】

予測部１０４では、ブロック分割部１０２から入力された画像データに対し、予測処理を実行する。具体的には、まず、基本ブロックをさらに細かいサブブロックに分割するサブブロック分割を決定する。

【0035】

図７にサブブロック分割方法の一例を示す。太枠の７００は基本ブロックを表しており、説明を簡易にするため、３２×３２画素の構成とし、太枠内の各四角形はサブブロックを表すものとする。図７（ｂ）は従来の正方形サブブロック分割の一例を表しており、３２×３２画素の基本ブロックは１６×１６画素のサブブロックに分割されている。一方、図７（ｃ）～（ｆ）は長方形サブブロック分割の一例を表しており、図７（ｃ）では基本ブロックは１６×３２画素の縦長、図７（ｄ）では３２×１６画素の横長の長方形のサブブロックに分割されている。また、図７（ｅ）、（ｆ）では、１：２：１の比で長方形サブブロックに分割されている。このように正方形だけではなく、長方形のサブブロックも用いて符号化処理を行っている。

【0036】

本実施形態では、３２×３２画素の基本ブロックを、分割しない図７（ａ）のみが用いられるものとするが、サブブロック分割方法はこれに限定されない。図７（ｂ）のような四分木分割や、図７（ｅ）、（ｆ）のような三分木分割または図７（ｃ）や図７（ｄ）のような二分木分割を用いても構わない。

【0037】

そして、予測部１０４は、処理対象の各サブブロック（符号化対象のブロック）に対し、予測モードを決定する。具体的には、予測部１０４は、処理対象のサブブロックを含むフレームと同一フレームで符号化済の画素を用いるイントラ予測、あるいは、符号化済みの異なるフレームの画素を用いるインター予測などを、サブブロック単位に、使用する予測モードとして決定する。

【0038】

そして、予測部１０４は、決定した予測モードと符号化済の画素とから予測画像データを生成し、さらに入力された画像データと前記予測画像データとから、予測誤差を生成し、変換・量子化部１０５に出力される。

【0039】

また、予測部１０４は、サブブロック分割や予測モードなどの情報を、予測情報として、符号化部１１０及び画像再生部１０７に出力する。ただし、処理対象の各サブブロックにおいては、イントラ予測やインター予測といった予測モードの代わりにパレット符号化を選択することもできる。その場合、パレット符号化を使用するかを示すパレットフラグを予測情報として出力する。そして、当該サブブロックでパレット符号化を選択した場合（例えば、パレットフラグが１）、各画素に対応するパレットに含まれる色情報を示すインデックスやエスケープ値も予測情報として出力する。

【0040】

一方、当該サブブロックでパレット符号化を選択しなかった場合、すなわちイントラ予測やインター予測といった予測モードを選択した場合（例えば、パレットフラグの値が０）、パレットフラグに続いて他の予測情報や予測誤差を出力する。

【0041】

変換・量子化部１０５は、予測部１０４から出力された予測誤差に対して直交変換処理や量子化処理を行う。具体的にはまず、イントラ予測やインター予測など、パレット符号化以外の予測モードを用いたサブブロックの予測誤差に対して直交変換処理を施すか否かの判定を行う。ここで、風景や人物等をカメラで撮像して生成されるような自然画を対象とする画像符号化について考える。一般的に、このような画像符号化においては、予測誤差に対して直交変換を施し周波数成分に分解し、人間の視覚特性に合わせた量子化処理を行うことで、画質劣化を目立たせずにデータ量の削減を行うことが可能である。一方、画像内の物体の境界が際立っている人工的な画像（例えばコンピュータグラフィックス）においては、高周波成分が大きい。そのため、直交変換を用いるとかえってデータ量が増えてしまうケースがある。このため変換・量子化部１０５は、当該サブブロックの各色成分（Ｙ、Ｃｂ、Ｃｒ）に対し、それぞれ直交変換を行うか否かを判定し、判定結果を変換スキップ情報として生成する。つまり、変換スキップ情報は、色成分（Ｙ、Ｃｂ、Ｃｒ）ごとに生成することができる。つまり、色成分ごとに変換スキップを行うか否かを決定するようにしてもよい。例えば、輝度成分（Ｙ）のための変換スキップ情報と、色差成分（Ｃｂ及びＣｒ）のための変換スキップ情報の２つを生成するようにしてもよい。

【0042】

当該サブブロックの当該色成分（Ｙ、ＣｂもしくはＣｒ）に対し、直交変換処理を施すと判定した場合には、当該色成分に対応する予測誤差に対して直交変換処理を行い、直交変換係数を生成する。そして、量子化パラメータを用いた量子化処理を行い、残差係数を生成する。ここで使用される量子化パラメータの値自体の決定方法については特に限定しないが、ユーザが量子化パラメータを入力してもよいし、入力画像の特性（画像の複雑度等）から画像符号化装置が算出してもよい。また、初期値として予め指定されたものを使用してもよい。本実施形態では、不図示の量子化パラメータ算出部によって量子化パラメータＱＰが算出され、変換・量子化部１０５に入力されるものとする。当該サブブロックの輝度成分（Ｙ）の直交変換係数はこの量子化パラメータＱＰを用いて量子化され、残差係数が生成される。一方、当該サブブロックのＣｂ成分の直交変換係数は、この量子化パラメータＱＰをＣｂ成分向けに調整された量子化パラメータＱＰｃｂを用いて量子化され、残差係数が生成される。同様に、当該サブブロックのＣｒ成分の直交変換係数は、この量子化パラメータＱＰをＣｒ成分向けに調整された量子化パラメータＱＰｃｒを用いて量子化され、残差係数が生成される。このＱＰから、ＱＰｃｂ及びＱＰｃｒを算出する方法については特に限定しないが、算出のためのテーブルを予め用意しておいてもよい。また、ＱＰｃｂ及びＱＰｃｒの算出に用いたテーブルも別途符号化し、復号側でも同一のＱＰｃｂ及びＱＰｃｒが算出できるようにしてもよい。算出に用いたテーブルを別途符号化する場合は、後段の統合符号化部１１１において、ビットストリームのシーケンスまたはピクチャのヘッダ部に符号化することとなる。

【0043】

一方、当該サブブロックの当該色成分に対し、直交変換処理を行わないと判定した場合、すなわち変換スキップを行うと判定した場合には、量子化パラメータＱＰを補正した補正量子化パラメータを用いて予測誤差を量子化し、残差係数を生成する。具体的には、当該サブブロックの輝度成分（Ｙ）の予測誤差は前述のＱＰを補正したＱＰ’を用いて量子化され、残差係数が生成される。一方、当該サブブロックのＣｂ成分の予測誤差は前述のＱＰｃｂを補正したＱＰｃｂ’を用いて量子化され、残差係数が生成される。同様に当該サブブロックのＣｒ成分の予測誤差は前述のＱＰｃｒを補正したＱＰｃｒ’を用いて量子化され残差係数が生成される。

【0044】

ここで量子化パラメータ（ＱＰ、ＱＰｃｂ、ＱＰｃｒ）から補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）を算出する具体的な方法を説明する。下記の所定の判定を示す式（１）～（３）は、量子化パラメータ（ＱＰ、ＱＰｃｂ、ＱＰｃｒ）から補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）を算出する式である。ＱＰｍｉｎは量子化値補正情報生成部１０３から入力された補正処理に用いられる最小ＱＰ値（最小値）である。
ＱＰ’ ＝Ｍａｘ（ＱＰｍｉｎ，ＱＰ） …（１）
ＱＰｃｂ’＝Ｍａｘ（ＱＰｍｉｎ，ＱＰｃｂ） …（２）
ＱＰｃｒ’＝Ｍａｘ（ＱＰｍｉｎ，ＱＰｃｒ） …（３）
（ただし、Ｍａｘ（Ａ，Ｂ）はＡとＢの内の大きい方を表すものとする。）

【0045】

例えば上式（１）～（３）において、最小ＱＰ値であるＱＰｍｉｎが４であれば、補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）は４を下回ることがなくなる。すなわち量子化ステップが１を下回ることが無くなり、変換スキップを用いた場合に不必要な符号量の増大を防止することができる。また、Ｙ、Ｃｂ、Ｃｒの各色成分に対して異なる最小ＱＰ値を設定する構成としてもよいが、本実施形態では同一の最小ＱＰ値ＱＰｍｉｎを全ての色成分に適用することとする。

【0046】

このようにして生成された残差係数及び変換スキップ情報は、逆量子化・逆変換部１０６及び符号化部１１０に入力される。

【0047】

次に、当該サブブロックがパレット符号化される場合の処理について、以下に説明する。パレット符号化においてはそもそも予測誤差が発生しないため、直交変換処理は行われない。またパレットに含まれる色を示すインデックスが設定された画素に対しては量子化処理も実施されない。

【0048】

一方で、パレット中に存在しない色を符号化するために、エスケープ値が設定された画素に対しては、符号量の増大を制限するため、エスケープ値自体に量子化処理を実施する。エスケープ値に対する量子化処理では、前述の量子化パラメータ（ＱＰ、ＱＰｃｂ、ＱＰｃｒ）ではなく、補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）を用いる。これにより、変換スキップを用いた場合と同様に、パレット符号化を用いた場合においても不必要な符号量の増大を防止することができる。量子化されたエスケープ値は残差係数と同様に逆量子化・逆変換部１０６及び符号化部１１０に入力される。

【0049】

次に、逆量子化・逆変換部１０６は、入力された残差係数に対して逆量子化処理や逆直交変換処理を行う。

【0050】

具体的にはまず、イントラ予測やインター予測など、パレット符号化以外の予測モードを用いたサブブロックの残差係数に対して逆量子化処理を実施し、直交変換係数を再生する。

【0051】

各サブブロックの各色成分に対し、直交変換が施されているか否かは変換・量子化部１０５から入力された変換スキップフラグに基づいて判定する。変換スキップフラグが０の場合は変換スキップが用いられないことを示す。この際に用いられる量子化パラメータは変換・量子化部１０５と同様であり、直交変換処理を施されて生成された残差係数に対しては、各色成分に対して、前述の量子化パラメータ（ＱＰ、ＱＰｃｂ、ＱＰｃｒ）が用いられる。

【0052】

一方で変換スキップを用いて生成された場合（例えば、変換スキップフラグが１）、残差係数に対しては、各色成分に対して、前述の補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）が用いられる。

【0053】

すなわち、直交変換処理を施されて生成された残差係数に対しては、量子化パラメータ（ＱＰ、ＱＰｃｂ、ＱＰｃｒ）を用いて逆量子化し、さらに逆直交変換を施すことで予測誤差を再生する。一方で変換スキップされて生成された残差係数に対しては、補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）を用いて逆量子化し、予測誤差を再生する。こうして再生された予測誤差は、画像再生部１０７に出力される。

【0054】

また、当該サブブロックがパレット符号化されている場合、量子化されたエスケープ値に対し補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）を用いて逆量子化し、エスケープ値を再生する。再生されたエスケープ値は画像再生部１０７に出力される。

【0055】

画像再生部１０７では、予測部１０４から入力されるパレットフラグによって、当該サブブロックがパレット符号化されていないことを示す場合、他の予測情報に基づいて、フレームメモリ１０８を適宜参照し、予測画像を再生する。そして再生された予測画像と逆量子化・逆変換部１０６から入力された再生された予測誤差から画像データを再生し、フレームメモリ１０８に入力し、格納する。一方、当該サブブロックがパレット符号化されていることを示す場合には、予測情報として入力された各画素がパレット中のどの色を用いるかを示すインデックスやエスケープ値などを用いて画像データを再生し、フレームメモリ１０８に入力し、格納する。

【0056】

インループフィルタ部１０９では、フレームメモリ１０８から再生画像を読み出しデブロッキングフィルタなどのインループフィルタ処理を行う。インループフィルタ処理は、予測部１０４の予測モードや変換・量子化部１０５で利用される量子化パラメータの値、さらに量子化後の処理サブブロックに非ゼロの値（以下、有意係数とする）が存在するか否かやサブブロック分割情報に基づいて行われる。そして、フィルタ処理された画像を再びフレームメモリ１０８に入力し、再格納する。

【0057】

符号化部１１０では、サブブロック単位で、変換・量子化部１０５で生成された残差係数、予測部１０４から入力された予測情報をエントロピー符号化し、符号データを生成する。具体的にはまず、当該サブブロックがパレット符号化されているか否かを示すパレットフラグを符号化する。当該サブブロックがパレット符号化されていない場合には、予測情報として入力されたパレットフラグとして０をエントロピー符号化し、続いて他の予測情報や残差係数をエントロピー符号化し、符号データを生成する。一方、当該サブブロックがパレット符号化されている場合、パレットフラグとして１をエントロピー符号化し、続いて各画素がパレット中のどの色を用いるかを示すインデックスやエスケープ値などを符号化し、符号データを生成する。エントロピー符号化の方法は特に指定しないが、ゴロム符号化や、算術符号化、ハフマン符号化などを用いることができる。生成された符号データは統合符号化部１１１に出力される。

【0058】

統合符号化部１１１では、量子化値補正情報生成部１０３から入力された量子化値補正情報を符号化し、量子化値補正情報符号を生成する。符号化の方法は特に指定しないが、ゴロム符号化、算術符号化、ハフマン符号化などを用いることができる。本実施形態では、一例として、量子化ステップ１を示す４を基準（初期値）とし、基準の４と、量子化値補正情報である最小ＱＰ値ＱＰｍｉｎとの差分値をゴロム符号化するものとする。本実施形態ではＱＰｍｉｎを４としていたので、基準の４との差分値である０をゴロム符号化した１ビットの符号「０」を量子化値補正情報符号とする。これにより量子化値補正情報の符号量を最低限にすることができる。さらに、前述の量子化パラメータＱＰから、ＱＰｃｂ及びＱＰｃｒを算出するテーブルを符号化する場合、ここで当該のテーブルも符号化する。また、これらの符号や符号化部１１０から入力された符号データなどを多重化してビットストリームを形成する。最終的には、ビットストリームは端子１１２から外部に出力される。

【0059】

図６（ａ）に符号化された量子化値補正情報を含んだビットストリームの例を示す。量子化制御サイズ情報は量子化制御サイズ情報符号としてシーケンス、ピクチャ等のヘッダのいずれかに含まれる。本実施形態では図６（ｂ）に示されるようにシーケンスのヘッダ部分に含まれるものとする。ただし、符号化される位置はこれに限られず、図６（ａ）に示されるように、ピクチャのヘッダ部分に含まれても構わない。

【0060】

図３は、実施形態１に係る画像符号化装置における符号化処理を示すフローチャートである。

【0061】

まず、ステップＳ３０１にて、ブロック分割部１０２はフレーム単位の入力画像を基本ブロック単位に分割する。

【0062】

ステップＳ３０２にて、量子化値補正情報生成部１０３は、量子化パラメータの補正処理についての情報である量子化値補正情報を決定する。量子化値補正情報は統合符号化部１１１によって符号化される。

【0063】

ステップＳ３０３にて、予測部１０４はステップＳ３０１にて生成された基本ブロック単位の画像データに対して予測処理を行い、サブブロック分割や予測モードなどの予測情報と、予測画像データとを生成する。さらに入力された画像データと前記予測画像データから予測誤差を算出する。ただし、当該サブブロックで用いられている色（画素値）の種類が少なく、パレット符号化を用いた方が効率良く圧縮できると判断された場合には、パレット符号化を選択することもできる。予測部１０４は当該サブブロックがパレット符号化されているか否かを示すパレットフラグも生成する。

【0064】

ステップＳ３０４にて、当該サブブロックにパレット符号化以外の予測モードが用いられている場合、変換・量子化部１０５はまず、ステップＳ３０３で算出された予測誤差の各色成分（Ｙ、Ｃｂ、Ｃｒ）に対して直交変換処理を施すか否かの判定を行う。そして、その判定結果として変換スキップ情報を生成する。当該色成分に対して直交変換処理を施すと判定した場合には、当該色成分に対応する予測誤差に対して直交変換を行い、直交変換係数を生成する。そして量子化パラメータ（ＱＰ、ＱＰｃｂ、ＱＰｃｒ）を用いて量子化を行い、残差係数を生成する。一方、当該色成分に対して直交変換処理をスキップすると判定した場合は、当該色成分に対応する予測誤差に対して補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）を用いて量子化を行い、残差係数を生成する。また、当該サブブロックがパレット符号化されている場合、変換・量子化部１０５は、エスケープ値に対して補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）を用いた量子化を行い、量子化されたエスケープ値を生成する。

【0065】

ステップＳ３０５にて、逆量子化・逆変換部１０６はステップＳ３０４で生成された残差係数に対して逆量子化処理や逆直交変換処理を行う。具体的には、パレット符号化以外の予測モードが用いられている場合、逆量子化・逆変換部１０６はまず、各サブブロックの各色成分に対し直交変換が施されているか否かをステップＳ３０４で生成された変換スキップ情報に基づいて判定する。そして判定結果に基づいて、残差係数に逆量子化処理を施す。

【0066】

この際用いられる量子化パラメータはステップＳ３０４と同様であり、直交変換処理を施されて生成された残差係数に対しては、各色成分に対して、前述の量子化パラメータ（ＱＰ、ＱＰｃｂ、ＱＰｃｒ）が用いられる。

【0067】

一方で変換スキップされて生成された残差係数に対しては、各色成分に対して、前述の補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）が用いられる。すなわち、直交変換処理を施されて生成された残差係数に対しては、量子化パラメータ（ＱＰ、ＱＰｃｂ、ＱＰｃｒ）を用いて逆量子化し、さらに逆直交変換を施すことで予測誤差を再生する。一方で変換スキップされて生成された残差係数に対しては、補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）を用いて逆量子化し、予測誤差を再生する。

【0068】

また、当該サブブロックがパレット符号化されている場合、ステップＳ３０４で量子化されたエスケープ値に対して補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）を用いて逆量子化し、エスケープ値を再生する。

【0069】

ステップＳ３０６にて、ステップＳ３０３で生成されたパレットフラグによって、当該サブブロックがパレット符号化されていないことが示されている場合、画像再生部１０７はステップＳ３０３で生成された予測情報に基づいて予測画像を再生する。さらに再生された予測画像とステップＳ３０５で生成された予測誤差から画像データを再生する。一方、パレットフラグによって、当該サブブロックがパレット符号化されていることを示す場合には、画像再生部１０７は各画素がパレット中のどの色を用いるかを示すインデックスやエスケープ値などを用いて画像データを再生する。

【0070】

ステップＳ３０７にて、符号化部１１０は、ステップＳ３０３で生成された予測情報、及び、ステップＳ３０４で生成された残差係数を符号化し、符号データを生成する。具体的には、まず、当該サブブロックがパレット符号化されているか否かを示すパレットフラグを符号化する。当該サブブロックがパレット符号化されていない場合には、予測情報として入力されたパレットフラグとして０をエントロピー符号化し、続いて他の予測情報や残差係数をエントロピー符号化し、符号データを生成する。

【0071】

一方、当該サブブロックがパレット符号化されている場合、パレットフラグとして１をエントロピー符号化し、続いて各画素がパレット中のどの色を用いるかを示すインデックスやエスケープ値などを符号化し、符号データを生成する。さらに他の符号データも含め、ビットストリームを生成する。

【0072】

ステップＳ３０８にて、画像符号化装置は、フレーム内の全ての基本ブロックの符号化が終了したか否かの判定を行い、終了していればステップＳ３０９に進み、そうでなければ次の基本ブロックを対象として、ステップＳ３０３に戻る。

【0073】

ステップＳ３０９にて、インループフィルタ部１０９はステップＳ３０６で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。

【0074】

以上の構成と動作により、特にステップＳ３０２において量子化値補正情報を生成し、ステップＳ３０４及びＳ３０５において、量子化値補正情報に基づいて補正された量子化パラメータを用いることで、不必要な符号量の増加を防止することができる。結果として、生成されるビットストリーム全体のデータ量を抑え、符号化効率を向上させることができる。

【0075】

なお、本実施形態では、Ｙ、Ｃｂ、Ｃｒといった各色成分に対応する量子化パラメータを補正する構成としたが、本発明はこれに限定されない。例えば、ＶＶＣで検討されているＣｂとＣｒの残差係数をまとめて符号化する色差残差係数共通符号化には別の量子化パラメータＱＰｃｂｃｒが用いられるが、これに適用してもよい。
ＱＰｃｂｃｒ’＝Ｍａｘ（ＱＰｍｉｎ，ＱＰｃｂｃｒ） …（４）

【0076】

すなわち、上記の式（４）のように、変換スキップされ色差残差係数共通符号化される予測誤差に対して、補正された量子化パラメータＱＰｃｂｃｒ’を用いて量子化する構成としてもよい。これにより、変換スキップされ色差残差係数共通符号化される予測誤差に対しても適切な量子化パラメータの補正を行うことが可能となり、不必要な符号量の増加を防止することができる。また、不必要に量子化ステップを小さくすることもないため、処理負荷も低減することができる。

【0077】

また、本実施形態では、単一の量子化値補正情報に基づいて一律に量子化値の補正を行う構成としたが、各色成分によって、あるいは変換スキップとパレット符号化に対して別々の量子化値補正情報を用いる構成としてもよい。具体的には、ＱＰｍｉｎの代わりに、輝度用のＱＰｍｉｎＹ、Ｃｂ用のＱＰｍｉｎｃｂ、Ｃｒ用のＱＰｍｉｎｃｒを個別に定義し、色成分によって個別の量子化値補正を行う構成としてもよい。これは特に色成分によってビット深度が異なる場合、ビット深度に応じて最適な量子化パラメータの補正を行うことができる。また、同様にＱＰｍｉｎの代わりに変換スキップ用のＱＰｍｉｎＴＳとパレット符号化用のＱＰｍｉｎＰＬＴを個別に定義し、それぞれのケースに応じて異なる量子化値補正を行う構成としてもよい。これは特に入力された画素値のビット深度とパレット符号化で用いられるビット深度が異なる場合、それぞれのケースに応じて最適な量子化パラメータの補正を行うことができる。

【0078】

なお、変換スキップ及びパレット符号化のいずれかが用いられた場合に量子化パラメータを補正するようにしてもよい。そのようにしても、不必要に符号量が増加してしまう可能性を低減することができる。ただし、いずれの場合でも量子化パラメータを補正すると不必要に符号量が増加してしまう可能性をさらに低減することができる。

【0079】

＜実施形態２＞
図２は、本発明の実施形態２に係る画像復号装置の構成を示すブロック図である。本実施形態では、実施形態１で生成された符号化データの復号を例にとって説明する。画像復号装置は、基本的に、実施形態１の画像符号化装置の逆の動作を行うこととなる。

【0080】

２０１は符号化されたビットストリームを入力する端子である。

【0081】

２０２は分離復号部であり、ビットストリームから、復号処理に関する情報や、係数に関する符号データを分離し、それを復号する。また、分離復号部２０２は、ビットストリームのヘッダ部に存在する符号データを復号する。本実施形態では、量子化値補正情報を再生（復号）し、後段に出力する。分離復号部２０２は図１の統合符号化部１１１と逆の動作を行う。

【0082】

２０３は復号部であり、分離復号部２０２から出力された符号データを復号し、残差係数及び予測情報を再生する。

【0083】

２０４は逆量子化・逆変換部であり、図１の１０６同様、サブブロック単位で残差係数を入力し、逆量子化を行って変換係数を得、さらに逆直交変換を行い、予測誤差を再生する。ただし、変換スキップやパレット符号化が用いられる場合には、逆直交変換処理は実施されない。また、逆量子化を行う機能と、逆直交変換を行う機能とは別々の構成にしてもよい。なお、逆量子化・逆変換部２０４は、どのような符号化を行うかをフラグ等に基づいて判定する判定手段としても機能する。

【0084】

なお、量子化パラメータを示す情報も復号部２０３によってビットストリームから復号される。例えば、量子化パラメータを示す情報は、対象の量子化パラメータと、他の量子化パラメータ（例えば前のサブブロックの量子化パラメータ）との差分値を示す情報である。他の量子化パラメータは、複数の他のサブブロックの複数の量子化パラメータの平均値と、対象量子化パラメータとの差分値を示す情報であってもよい。逆量子化・逆変換部２０４は、例えば、他の量子化パラメータにこの差分値を加算することによって、対象の量子化パラメータを導出する。最初の量子化パラメータについては、別途復号される初期値に差分値を加算して量子化パラメータを導出すればよい。このようにして導出された量子化パラメータを補正することによって、前述の補正量子化パラメータを導出することとなる。

【0085】

２０６はフレームメモリである。再生されたピクチャの画像データを格納しておく。

【0086】

２０５は画像再生部である。入力された予測情報に基づいてフレームメモリ２０６を適宜参照して予測画像データを生成する。ここでの予測画像データの生成方法は、実施形態１の予測部１０４と同様に、イントラ予測やインター予測等の予測方法が用いられる。また、前述のようにイントラ予測とインター予測とを組み合わせた予測方法が用いられてもよい。また、実施形態１と同様に予測処理はサブブロック単位に行われる。そして、この予測画像データと逆量子化・逆変換部２０４で再生された予測誤差から再生画像データを生成し、出力する。

【0087】

２０７はインループフィルタ部である。図１の１０９同様、再生画像に対し、デブロッキングフィルタなどのインループフィルタ処理を行い、フィルタ処理された画像を出力する。

【0088】

２０８は端子であり、再生された画像データを外部に出力する。再生画像は、例えば、外部の表示装置等に出力される。

【0089】

上記画像復号装置における画像の復号動作を以下に説明する。本実施形態では、実施形態１で生成されたビットストリームを復号する。

【0090】

図２において、端子２０１から入力されたビットストリームは分離復号部２０２に入力される。復号部２０２では、ビットストリームから復号処理に関する情報や、係数に関する符号データを分離し、それを復号する。また、分離復号部２０２は、ビットストリームのヘッダ部に存在する符号データを復号する。具体的には、量子化値補正情報を再生（復号）する。本実施形態では、まず、図６（ｂ）に示されるビットストリームのシーケンスヘッダから量子化値補正情報符号を抽出して復号する。具体的には、実施形態１でゴロム符号化された１ビットの符号「０」をゴロム複号して０を取得し、さらに基準の４を０に加算した４を量子化値補正情報であるＱＰｍｉｎに設定する。このようにして得られた量子化値補正情報は逆量子化・逆変換部２０４に出力される。続いて、ピクチャデータの基本ブロック単位の符号データを再生し、これも復号部２０３に出力する。

【0091】

復号部２０３では、符号データを復号し、残差係数、予測情報、及び量子化パラメータを再生する。再生された残差係数や量子化パラメータは逆量子化・逆変換部２０４に出力され、再生された予測情報は画像再生部２０５に出力される。再生された予測情報には、基本ブロック内のサブブロック分割に関する情報や、パレットフラグ、変換スキップ情報なども含まれる。

【0092】

逆量子化・逆変換部２０４では、入力された残差係数に対して、逆量子化や逆直交変換を行う。具体的にはまず、復号部２０３から入力されたパレットフラグに基づいて、復号対象のサブブロックがパレット符号化されているか否かを判定する。

【0093】

パレット符号化されていない場合には、当該サブブロックの残差係数に対して逆量子化処理を施し、直交変換係数を再生する。この際、逆量子化処理に用いられる量子化パラメータは、各色成分に対応する残差係数が直交変換処理を施されているか否かによって変わってくるが、直交変換処理が施されているか否かは復号部２０３から入力された変換スキップ情報に基づいて判定する。この逆量子化処理に用いられる量子化パラメータは実施形態１の逆量子化・逆変換部１０６と同様であり、直交変換処理を施されて生成された残差係数に対しては、各色成分に対して、前述の量子化パラメータ（ＱＰ、ＱＰｃｂ、ＱＰｃｒ）が用いられる。

【0094】

一方で、変換スキップされて生成された残差係数に対しては、各色成分に対して、前述の補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）が用いられる。すなわち、直交変換処理を施されて生成された残差係数に対しては、量子化パラメータ（ＱＰ、ＱＰｃｂ、ＱＰｃｒ）を用いて逆量子化し、さらに逆直交変換を施して予測誤差を再生する。こうして再生された予測情報は画像再生部２０５に出力される。

【0095】

また、復号対象のサブブロックがパレット符号化されている場合には、復号部２０３から入力された量子化されたエスケープ値に対し補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）を用いて逆量子化し、エスケープ値を再生する。再生されたエスケープ値は画像再生部２０５に出力される。なお、当該サブブロックにおける、エスケープ値以外を用いて再生された値（インデックスで示されるパレットに含まれる色の値）も、エスケープ値と合わせて画像再生部２０５に出力される。これらの画像再生部２０５に出力される値によって予測画像が構成される。

【0096】

画像再生部２０５では、復号部２０３から入力されたパレットフラグによって、当該サブブロックがパレット符号化されていないことを示す場合、他の予測情報に基づいて、フレームメモリ２０６を適宜参照し、予測画像を再生する。この予測画像と逆量子化・逆変換部２０４から入力された予測誤差から画像データを再生し、フレームメモリ２０６に入力し、格納する。具体的には、画像再生部２０５は、予測画像と予測誤差とを加算することによって画像データを再生する。

【0097】

一方、パレットフラグによって、当該サブブロックがパレット符号化されていることを示す場合には、予測情報として入力された各画素がパレット中のどの色を用いるかを示すインデックスや再生されたエスケープ値などを用いて画像データを再生する。そして、フレームメモリ２０６に入力し、格納する。格納された画像データは予測の際の参照に用いられる。

【0098】

インループフィルタ部２０７では、図１の１０９同様、フレームメモリ２０６から再生画像を読み出し、デブロッキングフィルタやサンプルアダプティブオフセットなどのインループフィルタ処理を行う。そして、フィルタ処理された画像は再びフレームメモリ２０６に入力される。

【0099】

フレームメモリ２０６に格納された再生画像は、最終的には端子２０８から外部に出力される。

【0100】

図４は、実施形態２に係る画像復号装置における画像の復号処理を示すフローチャートである。

【0101】

まず、ステップＳ４０１にて、分離復号部２０２はビットストリームから復号処理に関する情報や係数に関する符号データに分離して、ヘッダ部分の符号データを復号し、量子化値補正情報を再生する。

【0102】

ステップＳ４０２にて、復号部２０３はステップＳ４０１で分離された符号データを復号し、残差係数、予測情報、及び量子化パラメータを再生する。より具体的には、まず、復号対象のサブブロックがパレット符号化されているか否かを示すパレットフラグを再生する。再生されたパレットフラグが０を示している場合、すなわち当該サブブロックがパレット符号化されていない場合、続いて他の予測情報や残差係数、変換スキップ情報を再生する。一方、再生されたパレットフラグが１を示している場合、すなわち当該サブブロックがパレット符号化されている場合、各画素がパレット中のどの色を用いるかを示すインデックスや量子化されたエスケープ値などを再生する。

【0103】

ステップＳ４０３にて、復号対象のサブブロックがパレット符号化されていない場合、逆量子化・逆変換部２０４はまず、当該サブブロックの各色成分に対し直交変換が施されているか否かを、ステップＳ４０２で再生された変換スキップ情報に基づいて判定する。そして判定結果に基づいて、残差係数に逆量子化処理を施す。

【0104】

この際用いられる量子化パラメータは実施形態１のステップＳ３０５と同様であり、直交変換処理を施されて生成された残差係数に対しては、各色成分に対して、前述の量子化パラメータ（ＱＰ、ＱＰｃｂ、ＱＰｃｒ）が用いられる。

【0105】

一方で変換スキップされて生成された残差係数に対しては、各色成分に対して、前述の補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）が用いられる。すなわち、直交変換処理を施されて生成された残差係数に対しては、量子化パラメータ（ＱＰ、ＱＰｃｂ、ＱＰｃｒ）を用いて逆量子化し、さらに逆直交変換を施すことで予測誤差を再生する。一方で変換スキップされて生成された残差係数に対しては、補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）を用いて逆量子化し、予測誤差を再生する。

【0106】

また、当該サブブロックがパレット符号化されている場合、ステップＳ４０２で再生された量子化されたエスケープ値に対して補正量子化パラメータ（ＱＰ’、ＱＰｃｂ’、ＱＰｃｒ’）を用いて逆量子化し、エスケープ値を再生する。

【0107】

ステップＳ４０４にて、ステップＳ４０２で再生されたパレットフラグによって、当該サブブロックがパレット符号化されていないことを示す場合、画像再生部２０５はステップＳ４０２で生成された予測情報に基づいて予測画像を再生する。さらに再生された予測画像とステップＳ４０３で生成された予測誤差から画像データを再生する。

【0108】

また、パレットフラグによって、当該サブブロックがパレット符号化されていることを示す場合には、画像再生部２０５は各画素がパレット中のどの色を用いるかを示すインデックスやエスケープ値などを用いて画像データを再生する。

【0109】

ステップＳ４０５にて、画像復号装置はフレーム内の全ての基本ブロックの復号が終了したか否かの判定を行い、終了していればステップＳ４０６に進み、そうでなければ次の基本ブロックを対象としてステップＳ４０２に戻る。

【0110】

ステップＳ４０６にて、インループフィルタ部２０７はステップＳ４０４で再生された画像データに対し、インループフィルタ処理を行い、フィルタ処理された画像を生成し、処理を終了する。

【0111】

以上の構成と動作により、実施形態１で生成された、量子化値補正情報に基づいて補正された量子化パラメータを用いることで、不必要な符号量の増加を抑えたビットストリームを復号することができる。

【0112】

なお、本実施形態では図６（ｂ）に示すように、量子化制御サイズ情報がシーケンスヘッダ部分に含まれているビットストリームを復号するものとしたが、情報の符号化位置はこれに限定されない。図６（ａ）に示されるように画像のピクチャヘッダ部分で符号化されていてもよいし、他の位置で符号化されていても構わない。

【0113】

なお、本実施形態では、Ｙ、Ｃｂ、Ｃｒといった各色成分に対応する量子化パラメータを補正する構成としたが、本発明はこれに限定されない。変換スキップされ、色差残差係数共通符号化された残差係数に対しては、前述の式（４）で算出された補正された量子化パラメータであるＱＰｃｂｃｒ’を用いて逆量子化する構成としてもよい。これにより、変換スキップされ色差残差係数共通符号化された残差係数に対しても適切な量子化パラメータの補正を行うことが可能となり、不必要な符号量の増加を防止したビットストリームを復号することができる。また、不必要に量子化ステップを小さくすることもないため、処理負荷も低減することができる。

【0114】

また、本実施形態では、単一の量子化値補正情報に基づいて一律に量子化値の補正を行う構成としたが、各色成分によって、あるいは変換スキップとパレット符号化に対して別々の量子化値補正情報を用いる構成としてもよい。具体的には、ＱＰｍｉｎの代わりに、輝度用のＱＰｍｉｎＹ、Ｃｂ用のＱＰｍｉｎｃｂ、Ｃｒ用のＱＰｍｉｎｃｒを個別に定義し、色成分によって個別の量子化値補正を行う構成としてもよい。これは特に色成分によってビット深度が異なる場合、ビット深度に応じて最適な量子化パラメータの補正を行うことができる。また、同様にＱＰｍｉｎの代わりに変換スキップ用のＱＰｍｉｎＴＳとパレット符号化用のＱＰｍｉｎＰＬＴを個別に定義し、それぞれのケースに応じて異なる量子化値補正を行う構成としてもよい。これは特に出力され画素値のビット深度とパレット符号化で用いられるビット深度が異なる場合、それぞれのケースに応じて最適な量子化パラメータの補正を行うことができる。

【0115】

なお、変換スキップ及びパレット符号化のいずれかが用いられた場合に量子化パラメータを補正するようにしてもよい。そのようにしても、不必要に符号量が増加してしまう可能性を低減することができる。ただし、いずれの場合でも量子化パラメータを補正すると不必要に符号量が増加してしまう可能性をさらに低減することができる。

【0116】

＜実施形態３＞
図１、図２に示した各処理部はハードウェアでもって構成しているものとして上記実施形態では説明した。しかし、これらの図に示した各処理部で行う処理をコンピュータプログラムでもって構成してもよい。

【0117】

図５は、上記各実施形態に係る画像符号化装置や画像復号装置に適用可能なコンピュータのハードウェアの構成例を示すブロック図である。

【0118】

ＣＰＵ５０１は、ＲＡＭ５０２やＲＯＭ５０３に格納されているコンピュータプログラムやデータを用いてコンピュータ全体の制御を行うと共に、上記各実施形態に係る画像処理装置が行うものとして上述した各処理を実行する。即ち、ＣＰＵ５０１は、図１、図２に示した各処理部として機能することになる。なお、ＣＰＵ以外の種々のハードウェアプロセッサを用いることもできる。

【0119】

ＲＡＭ５０２は、外部記憶装置５０６からロードされたコンピュータプログラムやデータ、Ｉ／Ｆ（インターフェース）５０７を介して外部から取得したデータなどを一時的に記憶するためのエリアを有する。更に、ＲＡＭ５０２は、ＣＰＵ５０１が各種の処理を実行する際に用いるワークエリアを有する。即ち、ＲＡＭ５０２は、例えば、フレームメモリとして割り当てたり、その他の各種のエリアを適宜提供したりすることができる。

【0120】

ＲＯＭ５０３には、本コンピュータの設定データや、ブートプログラムなどが格納されている。操作部５０４は、キーボードやマウスなどにより構成されており、本コンピュータのユーザが操作することで、各種の指示をＣＰＵ５０１に対して入力することができる。表示部５０５は、ＣＰＵ５０１による処理結果を表示する。また出力部５０５は例えば液晶ディスプレイで構成される。

【0121】

外部記憶装置５０６は、ハードディスクドライブ装置に代表される、大容量情報記憶装置である。外部記憶装置５０６には、ＯＳ（オペレーティングシステム）や、図１、図２に示した各部の機能をＣＰＵ５０１に実現させるためのコンピュータプログラムが保存されている。更には、外部記憶装置５０６には、処理対象としての各画像データが保存されていてもよい。

【0122】

外部記憶装置５０６に保存されているコンピュータプログラムやデータは、ＣＰＵ５０１による制御に従って適宜、ＲＡＭ５０２にロードされ、ＣＰＵ５０１による処理対象となる。Ｉ／Ｆ５０７には、ＬＡＮやインターネット等のネットワーク、投影装置や表示装置などの他の機器を接続することができ、本コンピュータはこのＩ／Ｆ５０７を介して様々な情報を取得したり、送出したりすることができる。５０８は上述の各部を繋ぐバスである。

【0123】

上述の構成からなる作動は前述のフローチャートで説明した作動をＣＰＵ５０１が中心となってその制御を行う。

【0124】

（その他の実施例）
各実施形態は、前述した機能を実現するコンピュータプログラムのコードを記録した記憶媒体を、システムに供給し、そのシステムがコンピュータプログラムのコードを読み出し実行することによっても達成される。この場合、記憶媒体から読み出されたコンピュータプログラムのコード自体が前述した実施形態の機能を実現し、そのコンピュータプログラムのコードを記憶した記憶媒体は本発明を構成する。また、そのプログラムのコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した機能が実現される場合も含まれる。

【0125】

さらに、以下の形態で実現しても構わない。すなわち、記憶媒体から読み出されたコンピュータプログラムコードを、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込む。そして、そのコンピュータプログラムのコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行って、前述した機能が実現される場合も含まれる。

【0126】

本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するコンピュータプログラムのコードが格納されることになる。

【符号の説明】

【0127】

１０１、１１２、２０１、２０８ 端子
１０２ ブロック分割部
１０３ 量子化値補正情報生成部
１０４ 予測部
１０５ 変換・量子化部
１０６、２０４ 逆量子化・逆変換部
１０７、２０５ 画像再生部
１０８、２０６ フレームメモリ
１０９、２０７ インループフィルタ部
１１０ 符号化部
１１１ 統合符号化部
２０２ 分離復号部
２０３ 復号部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】