特許 6986868 画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6986868

(24)【登録日】2021年12月2日

(45)【発行日】2021年12月22日

(54)【発明の名称】画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、プログラム

(51)【国際特許分類】

   H04N 19/126 20140101AFI20211213BHJP

   H04N 19/63 20140101ALI20211213BHJP

   H04N 19/169 20140101ALI20211213BHJP

   H04N 19/146 20140101ALI20211213BHJP

   H04N 19/136 20140101ALI20211213BHJP

   H04N 19/463 20140101ALI20211213BHJP

【ＦＩ】

   H04N19/126

   H04N19/63

   H04N19/169 300

   H04N19/146

   H04N19/136

   H04N19/463

【請求項の数】15

【全頁数】19

(21)【出願番号】特願2017-119887(P2017-119887)

(22)【出願日】2017年6月19日

(65)【公開番号】特開2019-4428(P2019-4428A)

(43)【公開日】2019年1月10日

【審査請求日】2020年5月22日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】特許業務法人大塚国際特許事務所

(72)【発明者】

【氏名】望月 成記

【審査官】 鉢呂 健

(56)【参考文献】

【文献】 特開２０１７−０８５５４５（ＪＰ，Ａ）

【文献】 特開２０１７−０８５２４７（ＪＰ，Ａ）

【文献】 特開２００１−３２６９３６（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ １９／００−１９／９８

Ｈ０４Ｎ １／４１

ＩＥＥＥ Ｘｐｌｏｒｅ

(57)【特許請求の範囲】

【請求項1】

ＲＡＷデータから複数のサブバンドデータを生成する生成手段と、
前記複数のサブバンドデータをそれぞれ同じ数のセグメントに分割し、セグメントごとに個別に設定され、同一セグメントの複数のサブバンドデータに共通に割り当てられる第１の量子化パラメータを生成し、前記第１の量子化パラメータに基づいて、前記複数のサブバンドデータのセグメントをそれぞれ量子化するための第２の量子化パラメータを生成する量子化パラメータ生成手段と、
前記量子化パラメータ生成手段により生成された前記第２の量子化パラメータに基づいて、前記複数のサブバンドデータのセグメントをそれぞれ量子化する量子化手段と、
前記量子化により得られた量子化結果をサブバンド毎に符号化する符号化手段と、
を備え、
前記量子化パラメータ生成手段は、前記複数のサブバンドデータのそれぞれについて予め設定された、前記ＲＡＷデータの圧縮率に対応する係数と、前記第１の量子化パラメータとから、前記第２の量子化パラメータを生成する、ことを特徴とする画像符号化装置。

【請求項2】

前記係数は、少なくとも複数の前記第１の量子化パラメータに対して共通に割り当てられることを特徴とする請求項１に記載の画像符号化装置。

【請求項3】

前記係数は、複数の前記セグメントの集合ごとに共通に割り当てられることを特徴とする請求項２に記載の画像符号化装置。

【請求項4】

前記符号化手段は、前記係数を前記集合ごとに符号化データに含めることを特徴とする請求項３に記載の画像符号化装置。

【請求項5】

前記量子化パラメータ生成手段は、前記複数のサブバンドデータを所定のライン単位に量子化し、符号化した場合の、符号化の目標符号量と符号化した結果の発生符号量との差分に基づいて決定された第３の量子化パラメータから前記第１の量子化パラメータを決定し、
前記量子化パラメータ生成手段は、前記第３の量子化パラメータを、前記セグメントごとの画質特性に応じて修正することにより前記第１の量子化パラメータを決定し、
前記画質特性が、低周波成分の振幅が小さいことを示す場合に前記第１の量子化パラメータを減少させるように補正し、
前記画質特性が、高周波成分の振幅が大きいことを示す場合に前記第１の量子化パラメータを増大させるように補正する
ことを特徴とする請求項１から４のいずれか１項に記載の画像符号化装置。

【請求項6】

前記生成手段は、離散ウェーブレット変換により複数の階層からなるサブバンドデータを生成し、
前記量子化パラメータ生成手段は、前記第３の量子化パラメータを、前記複数の階層のうち、最初に生成される階層に属するサブバンドデータの前記セグメントの１ライン単位の画質特性に応じて修正することにより前記第１の量子化パラメータを決定することを特徴とする請求項５に記載の画像符号化装置。

【請求項7】

前記セグメントは、それぞれのサブバンドデータに含まれるセグメント数が一致するように前記複数のサブバンドデータのそれぞれを分割することにより生成されることを特徴とする請求項１から６のいずれか１項に記載の画像符号化装置。

【請求項8】

前記生成手段は、前記ＲＡＷデータを変換して得られる複数のチャネルのそれぞれについて前記複数のサブバンドデータを生成し、
前記第１の量子化パラメータは、前記セグメントごとの前記複数のチャネルのそれぞれの前記複数のサブバンドデータについて共通に割り当てられ、
前記第２の量子化パラメータは、前記セグメントごとの各チャネルの前記複数のサブバンドデータをそれぞれ量子化するための量子化パラメータであり、
前記量子化手段は、前記第２の量子化パラメータを用いて、前記セグメントごとの各チャネルの前記複数のサブバンドデータをそれぞれ量子化し、
前記符号化手段は、前記量子化結果をサブバンドデータを単位としてチャネルごとに符号化する
ことを特徴とする請求項１から４のいずれか１項に記載の画像符号化装置。

【請求項9】

前記符号化手段は共通の符号化方式により、前記量子化結果の符号化と、前記第１の量子化パラメータの符号化とを実行することを特徴とする請求項１から８のいずれか１項に記載の画像符号化装置。

【請求項10】

前記ＲＡＷデータを取得する取得手段を更に備えることを特徴とする請求項１から９のいずれか１項に記載の画像符号化装置。

【請求項11】

請求項１から１０のいずれか１項に記載の画像符号化装置により生成された符号化データを復号する画像復号装置であって、
前記符号化データを復号して、前記量子化結果と前記第１の量子化パラメータとを生成する復号手段と、
前記第１の量子化パラメータに基づいて第２の量子化パラメータを生成する第２の量子化パラメータ生成手段と、
前記第２の量子化パラメータ生成手段が生成した前記第２の量子化パラメータに基づいて前記量子化結果を逆量子化して、前記複数のサブバンドデータを生成する逆量子化手段と、
生成された前記複数のサブバンドデータを変換して前記ＲＡＷデータを生成する生成手段と
を備え、
前記第２の量子化パラメータ生成手段は、前記複数のサブバンドデータのそれぞれについて予め設定された、前記ＲＡＷデータの圧縮率に対応する係数と、前記第１の量子化パラメータとから、前記第２の量子化パラメータを生成する、ことを特徴とする画像復号装置。

【請求項12】

ＲＡＷデータから複数のサブバンドデータを生成する工程と、
前記複数のサブバンドデータをそれぞれ同じ数のセグメントに分割し、セグメントごとに個別に設定され、同一セグメントの複数のサブバンドデータに共通に割り当てられる第１の量子化パラメータを生成し、前記第１の量子化パラメータに基づいて、前記複数のサブバンドデータのセグメントをそれぞれ量子化するための第２の量子化パラメータを生成する工程と、
前記生成する工程において生成された前記第２の量子化パラメータに基づいて、前記複数のサブバンドデータのセグメントをそれぞれ量子化する工程と、
前記量子化により得られた量子化結果をサブバンド毎に符号化する工程と、
を有し、
前記第２の量子化パラメータを生成する工程では、前記複数のサブバンドデータのそれぞれについて予め設定された、前記ＲＡＷデータの圧縮率に対応する係数と、前記第１の量子化パラメータとから、前記第２の量子化パラメータを生成する、ことを特徴とする画像符号化方法。

【請求項13】

請求項１から１０のいずれか１項に記載の画像符号化装置により生成された符号化データを復号する画像復号方法であって、
前記符号化データを復号して、量子化結果と前記第１の量子化パラメータとを生成する工程と、
前記第１の量子化パラメータに基づいて第２の量子化パラメータを生成する工程と、
生成された前記第２の量子化パラメータに基づいて前記量子化結果を逆量子化して、複数のサブバンドデータを生成する工程と、
生成された前記複数のサブバンドデータを変換して前記ＲＡＷデータを生成する工程と
を有し、
前記第２の量子化パラメータを生成する工程では、前記複数のサブバンドデータのそれぞれについて予め設定された、前記ＲＡＷデータの圧縮率に対応する係数と、前記第１の量子化パラメータとから、前記第２の量子化パラメータを生成する、ことを特徴とする画像復号方法。

【請求項14】

コンピュータを請求項１から１０のいずれか１項に記載の画像符号化装置の各手段として動作させるためのプログラム。

【請求項15】

コンピュータを請求項１１に記載の画像復号装置の各手段として動作させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像符号化装置、画像復号装置、画像符号化方法、画像復号方法、プログラムに関する。

【背景技術】

【0002】

昨今のデジタルカメラの撮像素子にはＣＣＤ又はＣＭＯＳイメージセンサが多く採用されており、単板式の撮像素子ではいわゆるベイヤー配列のカラーフィルタを通すことにより緑、青、赤の画素データ（以下、ＲＡＷデータと呼ぶ）が得られる。デジタルカメラでは、ＲＡＷデータに対し、デモザイク処理、ノイズ除去処理、光学歪み補正、色補正処理等を含む現像処理を行い最終的な画像データを生成し、静止画の場合はＪＰＥＧ、動画の場合はＨ．２６４等の符号化方式により圧縮画像データを記録することができる。一方でユーザ自身の好みに応じて現像処理が実行できるように現像処理前のＲＡＷデータを記録する機能も搭載されている。

【0003】

ＲＡＷデータの記録形式には、非圧縮又は可逆圧縮形式を採用する場合が多く、一般に記録されるＲＡＷデータのサイズは、現像後の圧縮画像データよりも大きくなる。その一方、撮像素子の高密度化、高画素化に伴い、ＲＡＷデータをコンパクトに記録することが重要となってきている。そこで、視覚的に無損失な非可逆圧縮形式として、ＲＡＷデータから複数のカラーチャネルを生成し、各チャネルに対して２次元離散ウェーブレット変換を行い、生成された各サブバンドを個別に量子化して圧縮して符号化データとして記録する方法等が提案されている（特許文献１を参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２００２−５１６５４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、ＲＡＷデータから４つのカラーチャネルを生成し、２次元離散ウェーブレット変換により３階層のオクターブ分割を行った場合、チャネル毎に１０サブバンドに分割されるため、４チャネル×１０のサブバンドが生成されることになる。これらのサブバンドを個別に量子化する場合４×１０＝４０個の量子化パラメータを必要とする。更に画面内の特徴に応じて所定ブロック単位のより細かい量子化制御を行うこと想定した場合、４×１０×ブロック分割数分の量子化パラメータが必要となる。これらの量子化パラメータが全て符号化データに含まれるので、ＲＡＷデータの圧縮に伴う量子化パラメータのデータ量が肥大化する。この場合、視覚的に無損失な画質を維持しつつコンパクトにＲＡＷデータを記録することが困難となる。

【0006】

そこで本発明は、ＲＡＷデータの圧縮において柔軟な量子化制御により非可逆圧縮を実現しつつ、符号化データに含める量子化パラメータのデータ量を抑制することで、コンパクトにＲＡＷデータを記録することを可能にする技術を提供する。

【課題を解決するための手段】

【0007】

上記の目的を達成するため、本発明による画像符号化装置は、
ＲＡＷデータから複数のサブバンドデータを生成する生成手段と、
前記複数のサブバンドデータをそれぞれ同じ数のセグメントに分割し、セグメントごとに個別に設定され、同一セグメントの複数のサブバンドデータに共通に割り当てられる第１の量子化パラメータを生成し、前記第１の量子化パラメータに基づいて、前記複数のサブバンドデータのセグメントをそれぞれ量子化するための第２の量子化パラメータを生成する量子化パラメータ生成手段と、
前記量子化パラメータ生成手段により生成された前記第２の量子化パラメータに基づいて、前記複数のサブバンドデータのセグメントをそれぞれ量子化する量子化手段と、
前記量子化により得られた量子化結果をサブバンド毎に符号化する符号化手段と、
を備え、
前記量子化パラメータ生成手段は、前記複数のサブバンドデータのそれぞれについて予め設定された、前記ＲＡＷデータの圧縮率に対応する係数と、前記第１の量子化パラメータとから、前記第２の量子化パラメータを生成する。

【発明の効果】

【0008】

本発明によれば、ＲＡＷデータの圧縮における柔軟な量子化制御により非可逆圧縮を実現しつつ、符号化データに含める量子化パラメータのデータ量を抑制することでコンパクトにＲＡＷデータを記録することが可能になる。

【図面の簡単な説明】

【0009】

【図1】発明の実施形態に対応する画像処理装置の構成例を示すブロック図、及び、ベイヤー配列のＲＡＷデータを示す図。

【図2】発明の実施形態に対応するＲＡＷデータ符号化・復号部１０３の構成例を示すブロック図。

【図3】発明の実施形態に対応するチャネル変換の例を示す図。

【図4】発明の実施形態に対応する周波数変換（サブバンド分割）、及び、予測符号化方法（ＭＥＤ予測）を説明するための図。

【図5】発明の実施形態に対応する、量子化制御単位の一例を示す図。

【図6】発明の実施形態に対応する、画質特性に基づく量子化制御単位の一例を示す図。

【図7】発明の実施形態に対応する、画質特性に基づく量子化制御の処理の一例に対応するフローチャート。

【図8】発明の実施形態に対応する、画質制御に関わる量子化制御単位とＲＡＷデータの関係を示す図。

【図9】発明の実施形態に対応する、符号化データのデータ構造の一例を示す図。

【図10】発明の実施形態に対応する、ヘッダ情報のシンタクス要素の一例を示す図。

【図11】発明の実施形態に対応する、共通量子化パラメータの２次元座標系へのマッピング例を示す図。

【図12】発明の第２の実施形態に対応する、画質特性に基づく量子化制御単位の一例を示す図。

【図13】発明の実施形態２に対応する、符号化データに含まれるデータ量の従来手法との比較を示す図。

【発明を実施するための形態】

【0010】

以下、図面を参照しながら本発明の好適な実施の形態を説明する。

【0011】

［実施形態１］
以下、発明の実施形態を説明する。図１（ａ）は、発明の実施形態に対応する撮像装置１００を示す。撮像装置１００は、例えばデジタルカメラ、デジタルビデオカメラとして実現することができる。また、それ以外に、例えばパーソナルコンピュータ、携帯電話、スマートフォン、ＰＤＡ、タブレット端末、携帯型メディアプレーヤなどの任意の情報処理端末或いは画像処理装置として実現することもできる。なお、図１（ａ）は、撮像装置であるデジタルカメラ等として機能する場合を考慮して撮像部１０２を含む構成を示した。しかし、発明の実施形態として、ＲＡＷ画像を圧縮し、記録、再生することが可能な画像符号化装置・画像復号装置、画像記録装置、画像圧縮装置、画像復元装置等として、撮像部１０２を有しない構成で実現してもよい。

【0012】

撮像装置１００において、制御部１０１は、撮像装置１００を構成する各処理部を制御する。撮像部１０２は、光学レンズ、絞り、フォーカス制御及びレンズ駆動部を含む光学ズームが可能なレンズ光学系とレンズ光学系からの光情報を電気信号に変換するＣＣＤイメージセンサ又は、ＣＭＯＳイメージセンサなどの撮像素子を含む。撮像部１０２は、撮像素子により得られた電気信号をディジタル信号へ変換したＲＡＷデータは、ＲＡＷデータ符号化・復号部１０３へ出力する。

【0013】

ここでＲＡＷデータは、図１（ｂ）に示すように受光した画素領域である有効撮像領域と遮光された画素領域であるオプティカルブラック領域とで構成される。各画素はＲ（赤）、Ｇ１（緑）、Ｇ２（緑）、Ｂ（青）の周期的なパターンで構成されており、人間の視覚的な感度は色成分よりも輝度成分に敏感なことから輝度成分を多く含む緑が赤や青に対して２倍の面積が割り当てられている。本実施形態ではＲＡＷデータは、ベイヤー配列の４色要素で構成されるものとするが、その配列や色要素はこの構成に限定されず他の方式であっても良い。

【0014】

ＲＡＷデータ符号化・復号部１０３は、撮像部１０２が取得したＲＡＷデータを符号化し、生成した符号化データをメモリ１０５へ書き込みを行う。また、符号化されていないＲＡＷデータを記録媒体１０７から取得して、本実施形態に対応する符号化処理を実行して符号化データを生成してもよい。また、ＲＡＷデータ符号化・復号部１０３は、符号化データを復号してＲＡＷデータを復元することができる。ＲＡＷデータ符号化・復号部１０３に関わる詳細な構成や動作については後述する。

【0015】

メモリＩ／Ｆ部１０４は、各処理部からのメモリ・アクセス要求を調停し、メモリ１０５に対する読み出し、又は書き込み制御を行う。メモリ１０５は、撮像装置１００を構成する各処理部から出力される各種データを格納するための例えば揮発性メモリで構成される記憶領域である。記録処理部１０６は、メモリ１０５へ格納された符号化データを読み出し、所定の記録フォーマット化を行い記録媒体１０７へ記録する。記録媒体１０７は、例えば不揮発性メモリで構成される記録メディアであり、撮像装置１００に対して着脱可能に構成されている。以上の処理部により撮像装置が構成されている。

【0016】

続いて、ＲＡＷデータ符号化・復号部１０３の詳細な構成及び処理の流れについて図２（ａ）及び図２（ｂ）に示すブロック図を参照しながら説明を行う。図２（ａ）は、ＲＡＷデータ符号化・復号部１０３のうちＲＡＷデータ符号化部１０３Ｅの構成を示し、図２（ｂ）はＲＡＷデータ符号化・復号部１０３のうちＲＡＷデータ復号部１０３Ｄの構成を示す。

【0017】

図２（ａ）においてＲＡＷデータ符号化部１０３Ｅは、主にチャネル変換部２０１、周波数変換部２０２、量子化パラメータ生成部２０３、量子化部２０４、符号化部２０５及び量子化パラメータ符号化部２０６で構成されている。チャネル変換部２０１は、図３に示すように入力されたベイヤー配列のＲＡＷデータを複数のチャネルに変換する。周波数変換部２０２、量子化部２０４は変換により得られたチャネル数に対応するブロックが用意され、並列に処理される。本実施形態では、チャネル変換部２０１は、例えば、ＲＡＷデータをベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂ毎に４つのチャネルへ変換し、更にＲ、Ｇ１、Ｇ２、Ｂに対して以下の変換式１によりＣ０からＣ３の４つのチャネルへ変換することができる。

【0018】

Ｃ０＝ａ＋ｃ
Ｃ１＝Ｂ−Ｇ２ 式１
Ｃ２＝Ｒ−Ｇ１
Ｃ３＝ｂ−ａ
但し、ａ＝Ｇ２＋［Ｃ１／２］、ｂ＝Ｇ１＋［Ｃ２／２］、ｃ＝ａ＋［Ｃ３／２］
また、式１において床関数［ｘ］は、ｘ以下の最大整数を表す。

【0019】

尚、ここでは図３（ａ）に示すように４つのチャネルへ変換する構成例を示しているが、図３（ｂ）や図３（ｃ）に示すようにＲ、Ｇ１とＧ２を合わせたＧ、Ｂ毎の３つのチャネルへ変換しても良く、チャネル数や変換方法は上記以外の方法であっても良い。

【0020】

次に、周波数変換部２０２は、チャネル単位に所定の分解レベル（以降、単に「レベル」または「ｌｅｖ」と呼ぶ）で離散ウェーブレット変換による周波数変換処理を行い、生成された複数のサブバンドデータ（変換係数）を量子化パラメータ生成部２０３及び量子化部２０４へ出力する。

【0021】

図４（ａ）は、ｌｅｖ＝１のサブバンド分割処理に関わる離散ウェーブレット変換を実現するためのフィルタバンク構成を示しており、離散ウェーブレット変換処理を水平、垂直方向に実行した結果、図４（ｂ）に示すように最初に１つの低周波数サブバンド（ＬＬ）と３つの高周波数サブバンド（ＨＬ、ＬＨ、ＨＨ）へ分割される。図４（ａ）に示すローパスフィルタ（以降、ｌｐｆと呼ぶ）及びハイパスフィルタ（以降、ｈｐｆと呼ぶ）の伝達関数をそれぞれ下式２，３に示す。
ｌｐｆ(ｚ)=(−ｚ^-2＋２ｚ^-1＋６＋２ｚ−ｚ²)／８ 式２
ｈｐｆ(ｚ)=(−ｚ^-1＋２−ｚ)／２ 式３

【0022】

また、「↓２」は２対１のダウンサンプリングを表す。従って、水平方向と垂直方向とで１回ずつのダウンサンプリングが実行されるので、サブバンドのサイズは元のサイズの１／４となる。ｌｅｖが１よりも大きい場合には、低周波数サブバンド（ＬＬ）に対して階層的にサブバンド分割が実行され、例えばｌｅｖ＝３の場合は、図４（ｃ）に示すように１０個のサブバンドに対応したサブバンドデータが生成される。尚、ここでは離散ウェーブレット変換は上記式２、３に示すように５タップのｌｐｆと３タップのｈｐｆで構成しているが、これとは異なるタップ数及び異なる係数のフィルタ構成であっても良い。

【0023】

量子化パラメータ生成部２０３は、周波数変換部２０２により生成されたサブバンドデータ（変換係数）に対して量子化処理を行うための全チャネル、全サブバンドに共通の第１の量子化パラメータを生成し、量子化パラメータ符号化部２０６へ出力する。また、第１の量子化パラメータから各チャネル、各サブバンドのための個別の第２の量子化パラメータを生成し、量子化部２０４へ供給する。第１の量子化パラメータ及び第２の量子化パラメータの生成単位やその生成方法については、図５から図７等を参照して後述する。

【0024】

量子化部２０４は、周波数変換部２０２から入力されたサブバンドデータ（変換係数）に対して量子化パラメータ生成部２０３から供給された第２の量子化パラメータに基づき量子化処理を行い、量子化結果として量子化後のサブバンドデータ（変換係数）を符号化部２０５へ出力する。

【0025】

符号化部２０５は、量子化部２０４から入力された量子化後のサブバンドデータ（変換係数）に対して、サブバンド毎にラスタースキャン順で予測差分型エントロピー符号化を行う。これにより、量子化後のサブバンドデータはサブバンド単位で符号化されことになる。ここでは、図４（ｄ）に示すように符号化対象データ（変換係数）の周辺データからＭＥＤ（Ｍｅｄｉａｎ Ｅｄｇｅ Ｄｅｔｅｃｔｏｒ）予測により予測値ｐｄを生成し、符号化対象データｘの値ｘｄと予測値ｐｄとの差分データを例えばハフマン符号化、ゴロム符号化等によりエントロピー符号化を行い、生成した符号化データをメモリ１０５へ格納する。このとき、各サブバンドのラスタースキャン順で先頭のデータには周辺データがないため、符号化対象データｘの値ｘｄがそのまま符号化される。そして、それ以降の符号化対象データについては差分データが符号化される。尚、予測符号化方式やエントロピー符号化方式は、他の方式であっても良い。また、各サブバンド別にライン単位に発生した発生符号量を量子化パラメータ生成部２０３へ供給する。また、ここで生成される符号化データの具体的なデータ構造については図９及び図１０を参照して後述する。

【0026】

量子化パラメータ符号化部２０６は、量子化パラメータ生成部２０３から入力された第１の量子化パラメータを符号化する処理部である。量子化パラメータ符号化部２０６は、符号化部２０５と共通の符号化方式により量子化パラメータを符号化し、生成した符号化済みの量子化パラメータをメモリ１０５へ格納する。図２（ａ）では量子化パラメータ符号化部２０６を符号化部２０５とは独立に設ける場合を示したが、両者は共通の符号化方式を採用するので、量子化パラメータ符号化部２０６の機能を符号化部２０５で共通化するように構成することも可能である。ＲＡＷデータ符号化部１０３Ｅは以上のように構成される。

【0027】

次に、ＲＡＷデータ復号部１０３Ｄの構成を説明する。ＲＡＷデータ復号部１０３Ｄは、主に復号部２１１、量子化パラメータ復号部２１２、量子化パラメータ生成部２１３、逆量子化部２１４、周波数逆変換部２１５、チャネル逆変換部２１６で構成されている。

【0028】

まず、復号部２１１は、メモリ１０５から入力される符号化データを、ＲＡＷデータ符号化部１０３Ｅが採用した符号化方式に対応する復号方式により復号し、量子化済みのサブバンドデータ（変換係数）を復元する。例えば、予測差分型エントロピー符号化方式が用いられていた場合、対応する予測差分型エントロピー復号方式を採用する。このとき、図４（ｄ）に示すように符号化データは、符号化対象データ（変換係数）の周辺データから生成された予測値ｐｄと符号化対象データｘの値ｘｄとの差分データがエントロピー符号化されたものである。そこで、復号部２１１は符号化データをエントロピー復号方式により復号して差分データを復元すると、復号対象データ周辺の復号済みデータから予測値ｐｄを生成し、差分データを加算することにより符号化対象データｘを復元する。符号化データはサブバンド単位に符号化されたデータで構成されているので、復号部２１１でもサブバンド単位に変換係数を復元する。

【0029】

量子化パラメータ復号部２１２は、メモリ１０５から入力された符号化データに含まれる、符号化された第１の量子化パラメータを復号部２１１と共通の復号方式により復号し、第１の量子化パラメータを復元する。また、量子化パラメータ復号部２１２は、チャネル、サブバンド単位の第２の量子化パラメータを算出するための所定の係数（後述する式５のα、β）も復号する。復号結果は量子化パラメータ生成部２１３に出力する。量子化パラメータ生成部２１３は、量子化パラメータ復号部２１２から提供された第１の量子化パラメータと、所定の係数とからチャネル、サブバンド単位の第２の量子化パラメータを生成し、逆量子化部２１４に提供する。

【0030】

逆量子化部２１４は、復号部２１１から出力されたチャネル単位の量子化済みサブバンドデータを、量子化パラメータ生成部２１３から提供された第２の量子化パラメータを用いて逆量子化して、サブバンドデータを復元する。周波数逆変換部２１５は、離散ウェーブレット逆変換による周波数逆変換処理を行い、所定の分割レベルのサブバンドデータ（変換係数）からチャネルを復元する。チャネル逆変換部２１６は、入力されたチャネルデータを逆変換して、元のＲＡＷデータを復元する。例えば、ＲＡＷデータ符号化部１０３Ｅのチャネル変換部２０１がベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂを式１に従いＣ０からＣ３の４つのチャネルへ変換していた場合、式１に対応する逆変換処理に従い、Ｃ０からＣ３の４つのチャネルからＲ、Ｇ１、Ｇ２、ＢのＲＡＷデータを復元する。ＲＡＷデータ復号部１０３Ｄは以上のように構成される。

【0031】

次に、量子化パラメータ生成部２０３における量子化パラメータ生成処理を説明する。本実施形態では、全チャネル、全サブバンドに共通の第１の量子化パラメータを生成し、当該第１の量子化パラメータから各チャネル、各サブバンドのための個別の第２の量子化パラメータを生成する。量子化パラメータ生成部２０３は、符号化前に予め設定された目標符号量に基づき、所定のサブバンドデータ単位に符号量制御に関わる量子化パラメータ生成処理を行い、まず全チャネル、全サブバンドに共通の第１の量子化パラメータを生成する。

【0032】

本実施形態では第１の量子化パラメータを直接に生成するのではなく、２段階に分けて生成する場合を説明する。まず、各サブバンドデータについて所定のライン単位に、全チャネル、全サブバンドの共通の量子化パラメータ（第３の量子化パラメータ）を生成する。そして、上記所定のラインをセグメントと呼ぶ単位で分割し、セグメントにおけるサブバンドデータの画質特性に応じて、第３の量子化パラメータを修正して第１の量子化パラメータを生成する。以下、第１の量子化パラメータの生成手順について詳細に説明する。

【0033】

図５は、各チャネルをｌｅｖ＝３でサブバンド分割した場合の符号量制御に関わる符号量の評価及び量子化パラメータを更新する単位を示す。Ｃ０からＣ３までの４つのチャネルのレベル３のサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）の垂直方向に１×Ｎ（Ｎは整数）ライン分、レベル２のサブバンド（２ＨＬ，２ＬＨ，２ＨＨ）の垂直方向に２×Ｎライン分、レベル１のサブバンド（１ＨＬ，１ＬＨ，１ＨＨ）の垂直方向に４×Ｎライン分のサブバンドデータを纏めて１つの処理単位（第１の処理単位）とする。図５に示すように、第１の処理単位は、サブバンドをそれぞれ垂直方向に所定のラインごとに分割した領域（バンド）として設定される。特に、図５はＮ＝１の場合を示している。

【0034】

量子化パラメータ生成部２０３は、第１の処理単位に対応する目標符号量と発生符号量とを比較し、次の同処理単位の全チャネル、全サブバンドのデータに対する発生符号量を目標発生符号量に近づけるようにフィードバック制御を行い、全チャネル、全サブバンドに共通の第３の量子化パラメータ（ＱｐＢｒ）を生成する。尚、ＲＡＷデータに対して画面内の符号量制御を行わない場合には、上記に示すような符号量制御単位に関係なく全画面固定となる全チャネル、全サブバンドに共通のＱｐＢｒを設定又は生成すれば良い。このときの符号量の制御は以下の式４に従って実行することができる。

【0035】

ＱｐＢｒ（ｉ）＝ＱｐＢｒ（０）＋ｒ×Σ｛Ｓ（ｉ−１）−Ｔ（ｉ−１）｝ 式４
ＱｐＢｒ(０) : 初期量子化パラメータ
ＱｐＢｒ(i)：i番目の量子化パラメータ（ｉ＞０）
r：制御感度
S：発生符号量
T：目標符号量

【0036】

式４では、サブバンドデータに設定された各バンド（第１の処理単位）のうちの先頭のバンドに対して設定した初期量子化パラメータを基準とし、発生符号量と目標符号量との差分の大きさに応じて当該初期量子化パラメータを調整する。具体的に、先頭のバンド以降に発生した符号量の合計（総発生符号量）と、対応する目標符号量の合計（総目標符号量）との符号量差分が小さくなるように初期量子化パラメータの値を調整して、処理対象のバンドのための第３の量子化パラメータを決定する。先頭のバンドに対して設定される初期量子化パラメータは、圧縮率などに基づいて量子化パラメータ生成部２０３が決定したパラメータを用いることができる。

【0037】

このようにして、バンドごとに第３の量子化パラメータ（ＱｐＢｒ）を生成した後、量子化パラメータ生成部２０３はバンドを更に細分化（セグメント化）し、第２の処理単位であるセグメントごとのサブバンドデータの画質評価結果に応じて第３の量子化パラメータ（ＱｐＢｒ）を調整して第１の量子化パラメータ（ＱｐＢｓ）を生成する。これにより、ＲＡＷデータの特性に応じて量子化の強弱を調整する画質制御に関わる量子化パラメータ生成を行うことができる。

【0038】

図６（ａ）は、各チャネルをｌｅｖ＝３でサブバンド分割した場合の画質制御に関わるサブバンドデータの評価及び量子化パラメータを更新する第２の処理単位（セグメント）を示す。各セグメントでは、全チャネルのレベル３のサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）の水平、垂直方向それぞれに（１×Ｍ）×（１×Ｎ）（Ｍ、Ｎはそれぞれ整数）、レベル２のサブバンド（２ＨＬ，２ＬＨ，２ＨＨ）の水平、垂直方向にそれぞれ（２×Ｍ）×（２×Ｎ）、レベル１のサブバンド（１ＨＬ，１ＬＨ，１ＨＨ）の水平、垂直方向にそれぞれ（４×Ｍ）×（４×Ｎ）としている。

【0039】

ここに示す第２の処理単位としてのセグメントは、第１の処理単位としてのバンドを水平方向に細分化したものである。本実施形態ではセグメント化は、各サブバンドに含まれるセグメント数が一致するように行う。Ｍ＝１、Ｎ＝１とすると、セグメントはレベル１相当でバンドを水平方向に４画素単位に分割したものと捉えることができる。量子化パラメータ生成部２０３は、バンドごとに算出した第３の量子化パラメータＱｐＢｒを、セグメントごとの画質特性に応じて修正することで、セグメントごとの第１の量子化パラメータ（ＱｐＢｓ）を生成する。

【0040】

図６（ｂ）は、Ｍ＝１、Ｎ＝１とした場合の、第１の量子化パラメータ（ＱｐＢｓ）とサブバンドデータとの関係を示す。ここに示すように、１つのセグメントに含まれる各チャネルの複数のサブバンドデータに対して１つの第１の量子化パラメータ（ＱｐＢｓ）が生成される。

【0041】

セグメントごとの画質評価ついては、各セグメントに含まれるサブバンドデータのうち、例えば３ＬＬのサブバンドデータを低周波成分として評価し、１ＨＬ，１ＬＨ，１ＨＨのサブバンドデータにより高周波成分を評価する。このとき、低周波成分の振幅が小さい程量子化を細かく、高周波成分の振幅が大きい程量子化を粗く制御するように符号量制御により、第３の量子化パラメータ（ＱｐＢｒ）に対してゲイン、オフセット調整を行うようにフィードフォワード制御すれば良い。

【0042】

図７は、量子化パラメータ生成部２０３が実行する、画質評価に基づく第３の量子化パラメータ（ＱｐＢｒ）の調整処理の一例に対応するフローチャートを示す。該フローチャートに対応する処理は、例えば、量子化パラメータ生成部２０３として機能する１以上のプロセッサが対応するプログラム（ＲＯＭ等に格納）を実行することにより実現できる。

【0043】

Ｓ７０１において、量子化パラメータ生成部２０３は低周波成分について判定を行う。３ＬＬの変換係数と、判定用に設定された閾値Ｔｈ１とを比較し、３ＬＬの変換係数が閾値以下の大きさであれば（Ｓ７０１で「ＹＥＳ」）、処理はＳ７０２に進む。Ｓ７０２において、量子化パラメータ生成部２０３は処理対象のセグメントが属するバンドに対して設定された第３の量子化パラメータＱｐＢｒの値を減少させる。例えば、ＱｐＢｒに対して１未満の係数を掛けるか、あるいはＱｐＢｒから所定値を減算する。

【0044】

Ｓ７０１の判定で、３ＬＬの変換係数が閾値Ｔｈ１より大きい場合（Ｓ７０１で「ＮＯ」）、処理はＳ７０３に進む。Ｓ７０３において量子化パラメータ生成部２０３は、高周波成分について判定を行う。１ＨＬ、１ＬＨ、１ＨＨの変換係数の平均値と、判定用に設定された閾値Ｔｈ２とを比較し、平均値が閾値Ｔｈ２より小さい場合（Ｓ７０３で「ＮＯ」）、処理はＳ７０４に進む。また、平均値が閾値Ｔｈ２以上の大きさであれば（Ｓ７０３で「ＹＥＳ」）、処理はＳ７０５に進む。Ｓ７０４ではＱｐＢｒの値を維持する。Ｓ７０５ではＱｐＢｒの値を増大させる。例えば、ＱｐＢｒに対して1以上の係数を掛けるか、あるいはＱｐＢｒに所定値を加算する。

【0045】

以上により、セグメント毎に第３の量子化パラメータＱｐＢｒを調整して得られた結果を当該セグメントの第１の量子化パラメータＱｐＢｓとする。尚、画質制御に関わる量子化制御を行なわない場合には、ＱｐＢｒをそのままＱｐＢｓとすれば良い。

【0046】

以上により生成された全チャネル、全サブバンドに共通の第１の量子化パラメータＱｐＢｓは、例えば上記のＭ＝１、Ｎ＝１とした場合、図８に示すように各チャネルの８×８画素相当に対応し、元のＲＡＷデータの１６×１６画素相当のＲＡＷデータのブロック単位の量子化制御が可能となる。

【0047】

次に、第１の量子化パラメータＱｐＢｓを用いて各チャネル、各サブバンドのための個別の第２の量子化パラメータＱｐＳｂを生成する処理について説明する。本実施形態では上述のように、セグメント毎に１つの第１の量子化パラメータＱｐＢｓが生成されるが、各チャネルの各セグメントの量子化はＱｐＢｓをそのまま用いるのではなく、チャネル、セグメントに個別に対応した第２の量子化パラメータＱｐＳｂをＱｐＢｓから生成して量子化処理を行う。以下、ＱｐＳｂの生成処理について説明する。

【0048】

式５は、ＱｐＳｂ生成のための計算式である。
ＱｐＳｂ[i][j]＝ＱｐＢｓ×α[i][j]＋β[i][j] 式５
QpSb：各チャネル、各サブバンド個別の第２の量子化パラメータ
QpBs：全チャネル、全サブバンド共通の第１の量子化パラメータ
α：傾き
β：切片
i：チャネルインデックス（0〜3）
j：サブバンドインデックス（0〜9）

【0049】

式５において、傾きα及び切片βは、各チャネル、各サブバンドに個別に与えられる係数（変数）であって、予め定めておくことができる。αの値は、チャネルＣ０からＣ３について、Ｃ０＞Ｃ１＝Ｃ２＞Ｃ３の関係で値が大きくなり、αが大きいほどＱｐＳｂの値が大きくなる。また、各サブバンドについては低周波成分寄りのサブバンドほど量子化パラメータの値を小さくするためα、βの値を小さくし、高周波成分寄りのサブバンドほど量子化パラメータの値を大きくするためにα、βの値を大きくする。

【0050】

また、α[i][j]、β[i][j]の各値は予め設定されるものであるが、設定される圧縮率に応じて複数の組み合わせが用意されても良い。例えば、圧縮率が高い場合にはＱｐＳｂの値が大きすぎると情報が消失してしまうので、ＱｐＳｂが大きくなりすぎないようにα、βの値を小さめに調整することができる。

【0051】

このようにして、各チャネル、各サブバンドの個別の重み係数α、βにより第１の量子化パラメータＱｐＢｓを修正して第２の量子化パラメータＱｐＳｂを生成するので、各チャネル、各サブバンドに対して柔軟に量子化制御することが可能になる。量子化部２０４は、式５に基づき生成された各チャネル、各サブバンドの第２の量子化パラメータＱｐＳｂを用いて、周波数変換部２０２から得られた変換係数を量子化する。

【0052】

また、ＲＡＷデータ復号部１０３における第２の量子化パラメータＱｐＳｂの生成方法も、上述の式５に従って行うことができる。その際、第１の量子化パラメータＱｐＳｒとα、βの各値は、量子化パラメータ復号部２１２から提供される。

【0053】

以上のようにしてＲＡＷデータ符号化・復号部１０３で符号化された各チャネルのサブバンドデータ、及び、第１の量子化パラメータＱｐＢｓは、記録処理部１０６により所定のデータ形式に基づき多重化され、符号化データとして記録される。図９（ａ）は、符号化データを記録する場合のデータ構造の一例を示す。図９（ａ）に示すように、符号化データは階層構造となっており、符号化データ全体に関わる情報を示す「ｍａｉｎ＿ｈｅａｄｅｒ」から始まり、ＲＡＷデータを複数の画素ブロック単位にタイル分割して符号化することを想定して「ｔｉｌｅ＿ｈｅａｄｅｒ」と「ｔｉｌｅ＿ｄａｔａ」によりタイル単位にデータを格納することが可能となっている。上記説明においては、ＲＡＷデータをチャネル、サブバンドデータ単位に直接符号化する場合を説明したが、タイルに限らずＲＡＷデータ内の所定の集合を単位として本発明を適用することができる。即ち、ＲＡＷデータをタイルに分割し、当該タイルについてチャネル、サブバンドデータ単位に符号化する場合も、上記と同様の処理をＲＡＷデータを複数に分割して得られたタイル単位に実行すればよい。この場合、タイル単位に各チャネルのサブバンドデータ、及び、第１の量子化パラメータＱｐＢｓが符号化されて、符号化データに包含される。タイル分割を行わない場合は、「ｔｉｌｅ＿ｈｅａｄｅｒ」と「ｔｉｌｅ＿ｄａｔａ」は１つのみとなる。

【0054】

「ｔｉｌｅ＿ｄａｔａ」は以下の要素を含む。まず符号化された第１の量子化パラメータＱｐＢｓに関わる情報を示す「ｑｐ＿ｈｅａｄｅｒ」と符号化された第１の量子化パラメータ自体である「ｃｏｄｅｄ＿ｑｐ＿ｄａｔａ」が配置される。続く「ｃｏｄｅｄ＿ｒａｗ＿ｄａｔａ」は、チャネル単位に並んで配置されており、各チャネルに関わる情報を示す「ｃｈａｎｎｅｌ＿ｈｅａｄｅｒ」とそのチャネル毎の本体データである「ｃｈａｎｎｅｌ＿ｄａｔａ」の順にチャネル分の符号化済みのデータが格納される。「ｃｈａｎｎｅｌ＿ｄａｔａ」は、サブバンド毎の符号化されたデータの集合で構成されており、各サブバンドに関わる情報を示す「ｓｂ＿ｈｅａｄｅｒ」と符号化されたサブバンド毎のデータである「ｓｂ＿ｄａｔａ」がサブバンドインデックス順に並んでいる。サブバンドインデックスは、図９（ｂ）に示す通りである。

【0055】

続いて、各ヘッダ情報のシンタクス要素について図１０に基づき説明を行う。「ｍａｉｎ＿ｈｅａｄｅｒ」は以下の要素で構成される。「ｃｏｄｅｄ＿ｄａｔａ＿ｓｉｚｅ」は符号化データ全体のデータ量を示す。「ｗｉｄｔｈ」はＲＡＷデータの幅を示す。「ｈｅｉｇｈｔ」はＲＡＷデータの高さを示す。「ｄｅｐｔｈ」はＲＡＷデータのビット深度を示す。「ｃｈａｎｎｅｌ」はＲＡＷデータの符号化時のチャネル数を示す。「ｔｙｐｅ」はチャネル変換のタイプを示す。「ｌｅｖ」は各チャネルのサブバンドレベルを示す。

【0056】

「ｔｉｌｅ＿ｈｅａｄｅｒ」は、以下の要素で構成される。「ｔｉｌｅ＿ｉｎｄｅｘ」はタイル分割位置を識別するためのタイルのインデックスを示す。「ｔｉｌｅ＿ｄａｔａ＿ｓｉｚｅ」はタイルに含まれるデータ量を示す。「ｔｉｌｅ＿ｗｉｄｔｈ」はタイルの幅を示す。「ｔｉｌｅ＿ｈｅｉｇｈｔ」はタイルの高さを示す。

【0057】

「ｑｐ＿ｈｅａｄｅｒ」は、以下の要素で構成される。「ｑｐ＿ｄａｔａ＿ｓｉｚｅ」は符号化された第１の量子化パラメータのデータ量を示す。「ｑｐ＿ｗｉｄｔｈ」は、第１の量子化パラメータの幅、即ちＲＡＷデータに対応する水平方向の第１の量子化パラメータの数を示す。「ｑｐ＿ｈｅｉｇｈｔ」は、第１の量子化パラメータの高さ、即ちＲＡＷデータに対応する垂直方向の第１の量子化パラメータ数を示す。

【0058】

「ｃｈａｎｎｅｌ＿ｈｅａｄｅｒ」は、以下の要素で構成される。「ｃｈａｎｎｅｌ＿ｉｎｄｅｘ」はチャネルを識別するためのチャネルのインデックスを示す。「ｃｈａｎｎｅｌ＿ｄａｔａ＿ｓｉｚｅ」はチャネルのデータ量を示す。「ｓｂ＿ｈｅａｄｅｒ」は、以下の要素で構成される。「ｓｂ＿ｉｎｄｅｘ」はサブバンドを識別するためのサブバンドインデックスを示す。「ｓｂ＿ｄａｔａ＿ｓｉｚｅ」はサブバンドの符号化されたデータ量を示す。「ｓｂ＿ｑｐ＿ａ」は、各サブバンドに対する量子化パラメータを生成するための式５に示すα値を示す。「ｓｂ＿ｑｐ＿ｂ」は、各サブバンドに対する量子化パラメータを生成するための式５に示すβ値を示す。

【0059】

以上の実施形態に対応する発明によれば、各チャネル、各サブバンドの量子化パラメータを全て記録するのではなく、全チャネル、全サブバンドの共通の量子化パラメータを記録し、当該共通量子化パラメータから各チャネル、各サブバンドの量子化パラメータを生成可能にする。これにより、以下に述べるような量子化パラメータのデータ量抑制の効果を達成することができる。

【0060】

各チャネル、各サブバンドの個別の量子化パラメータを全て記録する場合（従来例）と、全チャネル、全サブバンド共通の量子化パラメータを記録する場合（本実施形態）とでデータ量の比較を考える。ここで、レベル１からレベル３までの各サブバンドについて１つずつの量子化パラメータが記録されることになる。よって、１セグメントについて記録することになる量子化パラメータのデータサイズは、（１×４サブバンド＋１×３サブバンド＋１×３サブバンド）×４チャネル分となり全体で４０となる。一方、共通量子化パラメータは、１つだけあればよいため１となり、記録対象とする量子化パラメータを共通の量子化パラメータとすることで量子化パラメータのサイズを４０分の１に削減することできる。

【0061】

更に、図１１に示すように記録対象の共通の量子化パラメータは２次元座標系にマップされた画面データと見なすことができるので、量子化パラメータの符号化に用いた予測差分符号化方式（ＭＥＤ予測）を同様に適用することでより量子化パラメータのデータ量を削減することが可能となる。図１１（ｂ）において、ＱｐＢｓ[p, q]は、各セグメントに割り当てられた共通量子化パラメータを示し、ｐは、１から垂直方向のセグメントの分割数Ｐまでの値を取り、ｑは、１から水平方向のセグメントの分割数Ｑまでの値を取り得る。[p, q]の各値は、サブバンドにおける各セグメントの位置と対応する。

【0062】

以上のようにＲＡＷデータを複数のチャネルに変換し、各チャネル単位にサブバンド分割を行う場合に、セグメント単位に全チャネル、全サブバンドに共通の量子化パラメータと重み付け関数とにより各チャネル、各サブバンド個別の量子化パラメータを生成することができる。これにより、柔軟な量子化制御を実現しつつ、共通の量子化パラメータを２次元データとして予測符号化を行うことで量子化パラメータのデータ量を大幅に削減し、高画質且つコンパクトにＲＡＷデータを記録することが可能となる。

【0063】

［実施形態２］
以下、発明の第２の実施形態について説明する。本実施形態の撮像装置は、実施形態１の撮像装置と同様の構成とすることができる。但し、ＲＡＷデータ符号化・復号部１０３の量子化パラメータ生成部２０３における第１の量子化パラメータの生成単位と、各チャネル、各サブバンド個別の第２の量子化パラメータを生成するプロセスとが異なる。実施形態１と共通の構成の説明は本実施形態では省略するものとし、主に量子化パラメータ生成方法の相違に係る構成について説明する。

【0064】

図１２（ａ）は、各チャネルをｌｅｖ＝３でサブバンド分割した場合の画質制御に関わるサブバンドデータの評価及び量子化パラメータを更新する単位を示しており、全チャネルのレベル３のサブバンド（３ＬＬ，３ＨＬ，３ＬＨ，３ＨＨ）の水平、垂直方向それぞれに（１×Ｍ）×１ライン（Ｍはそれぞれ整数）に対し、レベル２のサブバンド（２ＨＬ，２ＬＨ，２ＨＨ）の水平、垂直方向にそれぞれ（２×Ｍ）×１ライン、レベル１のサブバンド（１ＨＬ，１ＬＨ，１ＨＨ）の水平、垂直方向にそれぞれ（４×Ｍ）×１ラインのサブバンドデータに対応する共通の第１の量子化パラメータ（ＱｐＢｓ）を生成する。

【0065】

図６（ａ）に示した画質制御に関わるセグメントと比較すると、図１２（ａ）ではレベル１においてセグメントサイズが垂直方向に４分の１となっている。よって、仮にＭ＝１とした場合の第１の量子化パラメータ（ＱｐＢｓ）とサブバンドデータとの関係は、図１２（ｂ）のようになる。ここでは、レベル１においてセグメントサイズが４×１となっているため、４×４のセグメントに換算すると第１の量子化パラメータ（ＱｐＢｓ）が４つ存在することになる。これにより、実施形態１と比較して垂直方向により細かい量子化制御が可能となっている。尚、同様に水平方向に対しても細かくすることも可能である。

【0066】

画質制御に関わるサブバンドデータの評価方法は、実施形態１と実質的には同様であるが、本実施形態では低周波成分として評価する対象を３ＬＬではなくサブバンド分割工程で中間的に生成される１ＬＬ相当のサブバンドデータとする。処理の流れは図７に示したフローチャートと同様であるが、Ｓ７０１における判定対象は３ＬＬではなく１ＬＬの変換係数となる。

【0067】

本実施形態では、例えばＭ＝１の４×４のセグメントに換算した場合、画質制御の対象となるライン単位の量子化パラメータ数がレベル１からレベル３で異なるため、実施形態１のようにレベル１からレベル３まで第１の量子化パラメータＱｐＢｓを共通に使用できない。そこで、本実施形態では、レベル１における４つのＱｐＢｓから、各レベルのＱｐＬｖ１〜ＱｐＬｖ３を以下の式６に示す計算式に基づき生成し、これらを用いて各チャネル、各サブバンドに対応する個別の第２の量子化パラメータＱｐＳｂを生成する。
ＱｐＬｖ１［ｍ］＝ＱｐＢｓ［ｍ］
ＱｐＬｖ２［ｎ］＝（ＱｐＢｓ［ｎ×２］＋ＱｐＢｓ［ｎ×２＋１］）＞＞１ 式６
ＱｐＬｖ３［ｎ］＝（ＱｐＢｓ［０］＋ＱｐＢｓ［１］＋ＱｐＢｓ［２］＋ＱｐＢｓ［３］）＞＞２
m ：セグメント単位のレベル１のサブバンドに対するライン数（０〜３）
n ：セグメント単位のレベル２のサブバンドに対するライン数（０〜１）
＞＞：右ビットシフト

【0068】

尚、式６に示すようにレベル２及びレベル３の量子化パラメータを対応するＱｐＢｓの平均値により算出しているが、最大値や最小値のＱｐＢｓを選択するようにしても良い。また、ＱｐＬｖ３をＱｐＬｖ２の平均値、最大値又は最小値として算出しても良い。最終的な量子化に用いる各チャネル、各サブバンドの第２の量子化パラメータ（ＱｐＳｂ）は、前述の式５におけるＱｐＢｓをＱｐＬｖ１〜ＱｐＬｖ３に置き換えて算出すれば良く、各量子化パラメータと量子化対象のサブバンドとの関係は、図１２（ｃ）に示すようになる。

【0069】

次に、図１３を参照して、本実施形態における、記録される量子化パラメータのデータ量の削減度合いについて説明する。対比される従来例において、各レベルにつき１ライン単位に量子化パラメータを記録すると仮定すると、レベル３のサブバンドの量子化パラメータを１とした場合、レベル２はレベル３の２倍、レベル１はレベル３の４倍の量子化パラメータを記録することになる。よって、１セグメントについて記録することになる量子化パラメータのデータサイズは、（１×４サブバンド＋２×３サブバンド＋４×３サブバンド）×４チャネル分となり全体で８８となる。一方、共通の量子化パラメータは、レベル１のサブバンド相当であるため４となり、記録対象とする量子化パラメータを共通の量子化パラメータとすることで量子化パラメータのサイズを２２分の１に削減することできる。

【0070】

このように、本実施形態のように垂直方向により細かい量子化制御を行なった場合であっても、従来例と比較して十分なデータ削減効果が期待できるものである。また、実施形態１と同様に、本実施形態でも柔軟な量子化制御を実現しつつ、共通の量子化パラメータを２次元データとして予測符号化を行うことで量子化パラメータのデータ量を大幅に削減し、高画質且つコンパクトにＲＡＷデータを記録することが可能となる。

【0071】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0072】

１００：撮像装置、１０１：制御部、１０２：撮像部、１０３：ＲＡＷデータ符号化・復号部、１０４：メモリＩ／Ｆ部、１０５：メモリ、１０６：記録処理部、１０７：記録媒体

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】