特許 7549463 符号化装置及び方法、プログラム、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-03

(45)【発行日】2024-09-11

(54)【発明の名称】符号化装置及び方法、プログラム、記憶媒体

(51)【国際特許分類】

   H04N 19/126 20140101AFI20240904BHJP

   H04N 19/136 20140101ALI20240904BHJP

   H04N 19/176 20140101ALI20240904BHJP

   H04N 19/63 20140101ALI20240904BHJP

【ＦＩ】

H04N19/126

H04N19/136

H04N19/176

H04N19/63

【請求項の数】 14

(21)【出願番号】P 2020087605

(22)【出願日】2020-05-19

(65)【公開番号】P2021182699

(43)【公開日】2021-11-25

【審査請求日】2023-05-08

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】大石 晃弘

【審査官】鈴木 隆夫

(56)【参考文献】

【文献】特開２０１９－１０６５７２（ＪＰ，Ａ）

【文献】特開平０７－２５５０５４（ＪＰ，Ａ）

【文献】国際公開第２０１０／１４６７７２（ＷＯ，Ａ１）

【文献】特開２００９－０１０６１２（ＪＰ，Ａ）

【文献】特開２０１９－００４４２８（ＪＰ，Ａ）

【文献】特開２００４－１９４１２１（ＪＰ，Ａ）

【文献】特開２０１７－２２４９６５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１１／０２０６２８９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

(57)【特許請求の範囲】

【請求項1】

画像のＲＡＷデータに基づくデータを周波数変換する変換手段と、
前記変換手段によって出力された複数の周波数成分の変換係数を量子化係数に基づいて量子化する量子化手段と、
ブロックごとに、当該ブロックに含まれる複数の周波数成分の量子化係数を決定する制御手段と、を有し、
前記制御手段は、ブロックの明るさが、所定の閾値より低い暗部であるという所定の条件を満たす場合には、前記所定の条件を満たさない場合に比べて、低周波成分の量子化係数が小さくなり、高周波成分の量子化係数が大きくなるように、当該ブロックの量子化係数を決定する、
ことを特徴とする符号化装置。

【請求項2】

前記制御手段は、低ビットレートの場合に、ブロックの明るさが前記所定の条件を満たす場合には、前記所定の条件を満たさない場合に比べて、当該ブロックの低周波成分の量子化係数が小さくなり、当該ブロックの高周波成分の量子化係数が大きくなるように量子化係数を決定することを特徴とする請求項１に記載の符号化装置。

【請求項3】

前記制御手段は、
複数の周波成分に対応する量子化比率に基づいて、前記複数の周波数成分ごとの量子化係数を決定し、
ブロックの明るさが前記所定の条件を満たす場合には、当該ブロックの量子化比率を変更することにより、前記所定の条件を満たさない場合に比べて、当該ブロックの低周波成分の量子化係数が小さくなり、当該ブロックの高周波成分の量子化係数が大きくなるように量子化係数を決定することを特徴とする請求項１または２に記載の符号化装置。

【請求項4】

前記変換手段は、画像のＲＡＷデータに基づくデータをウェーブレット変換して複数のサブバンドの変換係数を生成し、
前記制御手段は、ブロックの明るさが前記所定の条件を満たす場合には、前記所定の条件を満たさない場合に比べて、当該ブロックの高次の分解レベルの高周波成分のサブバンドの量子化係数が小さくなり、当該ブロックの低次の分解レベルの高周波成分のサブバンドの量子化係数が大きくなるように量子化係数を決定することを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。

【請求項5】

前記制御手段は、ブロックの明るさが前記所定の条件を満たす場合には、前記所定の条件を満たさない場合に比べて、当該ブロックの分解レベル２の高周波成分のサブバンドの量子化係数が小さくなり、当該ブロックの分解レベル１の高周波成分のサブバンドの量子化係数が大きくなるように量子化係数を決定することを特徴とする請求項４に記載の符号化装置。

【請求項6】

前記変換手段は、画像のＲＡＷデータに基づくデータをウェーブレット変換して複数のサブバンドの変換係数を生成し、
前記制御手段は、前記複数のサブバンドの量子化比率に基づいて、ブロックに含まれる複数のサブバンドに対する量子化係数を決定し、
前記制御手段は、ブロックの明るさが前記所定の条件を満たす場合には、第１の量子化比率を用いて当該ブロックの各サブバンドの量子化係数を決定し、ブロックの明るさが前記所定の条件を満たさない場合は、第２の量子化比率を用いて当該ブロックの各サブバンドの量子化係数を決定し、
前記第１の量子化比率は、前記第２の量子化比率よりも、分解レベル２の高周波成分の量子化係数が小さくなり、分解レベル１の高周波成分の量子化係数が大きくなる比率であることを特徴とする請求項１または２に記載の符号化装置。

【請求項7】

前記ＲＡＷデータに基づくデータとは、ＲＡＷデータであることを特徴とする請求項１乃至６のいずれか１項に記載の符号化装置。

【請求項8】

前記ＲＡＷデータに基づくデータとは、ＲＡＷデータを輝度成分と色差成分に変換したデータであることを特徴とする請求項１乃至６のいずれか１項に記載の符号化装置。

【請求項9】

前記量子化手段は、前記暗部の量子化における丸め処理を、高周波数帯では、切り捨てかそれに近い丸め処理とすることを特徴とする請求項１乃至８のいずれか１項に記載の符号化装置。

【請求項10】

前記明るさが前記所定の条件を満たすか否かは、各色成分の平均値を用いて判定されることを特徴とする請求項１乃至９のいずれか１項に記載の符号化装置。

【請求項11】

前記明るさが前記所定の条件を満たすか否かは、輝度成分を用いて判定されることを特徴とする請求項１乃至９のいずれか１項に記載の符号化装置。

【請求項12】

画像のＲＡＷデータに基づくデータを周波数変換する変換工程と、
前記変換工程において出力された複数の周波数成分の変換係数を量子化係数に基づいて量子化する量子化工程と、
ブロックごとに、当該ブロックに含まれる複数の周波数成分の量子化係数を決定する制御工程と、を有し、
前記制御工程では、ブロックの明るさが、所定の閾値より低い暗部であるという所定の条件を満たす場合には、前記所定の条件を満たさない場合に比べて、低周波成分の量子化係数が小さくなり、高周波成分の量子化係数が大きくなるように、当該ブロックの量子化係数を決定する、
ことを特徴とする符号化方法。

【請求項13】

コンピュータを、請求項１乃至１１のいずれか１項に記載の符号化装置の各手段として機能させるためのプログラム。

【請求項14】

コンピュータを、請求項１乃至１１のいずれか１項に記載の符号化装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、動画のＲＡＷ画像を符号化する技術に関する。

【背景技術】

【0002】

従来の符号化装置では、撮像センサーによって撮像された生の画像情報（ＲＡＷ画像）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正、画像の適正化などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化して、記録媒体に記録するのが一般的である。

【0003】

一方で、ＲＡＷ画像を記録できる撮像装置も存在する。ＲＡＷ画像は記録に必要なデータ量が膨大になるが、オリジナル画像に対する補正や劣化を最低限に抑えられ、撮影後に編集できる利点があるので、上級者によって好んで使われている。

【0004】

ただし、ＲＡＷ画像はデータ量が膨大であるため、限りある記録媒体に少しでも多くの画像を記録出来るようデータ量を抑えたい。このため、ＲＡＷ画像を圧縮することによりデータ量を抑える。しかし、撮影条件によっては圧縮によって画質劣化を招くことがある。特許文献１には、視覚特性に応じて量子化係数を変更する適応量子化により符号化を行う構成が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１７－１２６８５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上記の従来の構成では、暗部の情報が失われないように暗部の量子化係数を小さくし、符号量を多く割り当てることとなるのであるが、低ビットレートでは、発生符号量を抑えるため、高ビットレートと比べ量子化係数が全体的に大きくなる。指定ビットレートを守るために、暗部の情報を失わないだけの量子化係数を割り当てられない画像がある。その場合、量子化係数が大きくなり、暗部の情報が失われ、ノイズが発生してしまうことがある。特には、縦及び横の筋状のノイズが発生する。その結果として、画質劣化を発生させてしまうといった問題がある。

【0007】

本発明は上述した課題に鑑みてなされたものであり、その目的は、ＲＡＷ画像を低ビットレートで符号化する場合の画質劣化を抑制することができる符号化装置を提供することである。

【課題を解決するための手段】

【0008】

本発明に係わる符号化装置は、画像のＲＡＷデータに基づくデータを周波数変換する変換手段と、前記変換手段によって出力された複数の周波数成分の変換係数を量子化係数に基づいて量子化する量子化手段と、ブロックごとに、当該ブロックに含まれる複数の周波数成分の量子化係数を決定する制御手段と、を有し、前記制御手段は、ブロックの明るさが、所定の閾値より低い暗部であるという所定の条件を満たす場合には、前記所定の条件を満たさない場合に比べて、低周波成分の量子化係数が小さくなり、高周波成分の量子化係数が大きくなるように、当該ブロックの量子化係数を決定する、ことを特徴とする。

【発明の効果】

【0009】

本発明によれば、ＲＡＷ画像を低ビットレートで符号化する場合の画質劣化を抑制することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態に係わる符号化装置の構成を示すブロック図。

【図2】画素配列の説明図。

【図3】ＲＡＷ圧縮符号化部の構成を示すブロック図。

【図4】離散ウェーブレット変換（ＤＷＴ）の分解レベル２のサブバンド形成図。

【図5】量子化制御部の初期設定処理を示すフローチャート。

【図6】Ｌｖ１のサブバンドにおいて１つのみ復号ＤＷＴ係数が０以外となった画像を示す図。

【図7】暗部における符号量配分の概念図。

【図8】第２の実施形態におけるＲＡＷ圧縮符号化部の構成を示すブロック図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

（第１の実施形態）
図１は、本発明の第１の実施形態に係わる符号化装置１００の構成を示すブロック図である。

【0013】

図１において、撮影動作の開始が指示されると、撮像対象となる被写体の光学像が、撮像光学系１０１を介して入力され、撮像センサー部１０２上に結像される。撮像センサー部１０２は、画素毎に配置される赤、緑、青（ＲＧＢ）のカラーフィルターを透過した光を電気信号に変換する。

【0014】

図２は、撮像センサー部１０２に配置されるカラーフィルターの一例を示しており、符号化装置１００が扱う画像の画素配列を示している。図２に示すように、赤（Ｒ）、緑（Ｇ）、青（Ｂ）のカラーフィルターが画素毎にモザイク状に配置されている。そして、２×２の４画素につき赤１画素、青１画素、緑２画素が１セットとなるようにして、画素が規則的に並べられている。このような画素の配置は、一般にベイヤー配列と呼ばれる。

【0015】

撮像センサー部１０２によって光電変換された電気信号は、センサー信号処理部１０３によって画素の修復処理が施される。修復処理には、撮像センサー部１０２における欠落画素や信頼性の低い画素に対して、周辺画素値を用いて補間したり、所定のオフセット値を減算したりする処理が含まれる。本実施形態では、センサー信号処理部１０３から出力される画像情報を、生（未現像）の画像を意味するＲＡＷ画像と称す。

【0016】

ＲＡＷ画像は、ＲＡＷ圧縮符号化部１０４に入力される。ＲＡＷ圧縮符号化部１０４では、センサー信号処理部１０３が出力したＲＡＷ画像データから、ウェーブレット変換（周波数変換）により周波数帯（周波数成分）であるサブバンドデータを生成し、出力されたサブバンドデータに量子化を行い、サブバンド単位に符号化する。符号化されたデータをバッファ１０５に格納する。ＲＡＷ圧縮符号化部１０４の処理については、後ほど詳しく説明する。

【0017】

サブバンド単位の符号化データは、バッファ１０５に格納された後、記録データ制御部１０６に入力され、記録媒体や外部記憶装置等に記録するための出力端子１０７に出力される。

【0018】

以下、ＲＡＷ圧縮符号化部１０４の処理について詳細に説明する。図３はＲＡＷ圧縮符号化部１０４の構成を示すブロック図である。図３を用いてＲＡＷ圧縮符号化部１０４の処理について説明する。

【0019】

入力端子３０１から入力されたベイヤーＲＡＷデータは、プレーン分割部３０２に入力される。プレーン分割部３０２では、ベイヤーＲＡＷデータを色成分ごとに分割する。このとき緑（Ｇ）の成分が、赤（Ｒ）と青（Ｂ）の成分の倍となる。このため、赤（Ｒ）と隣り合う緑をＧ１、青（Ｂ）と隣り合う緑をＧ２とし、４プレーンに分割して同じ画素数のデータとして扱うこととする。

【0020】

プレーン分割部３０２で分割された各プレーンデータは、離散ウェーブレット変換部３０３に入力される。離散ウェーブレット変換部３０３は、入力されたプレーンデータを周波数領域信号へ変換することにより変換係数（ＤＷＴ係数、ウェ－ブレット係数）を生成する。

【0021】

図４は、プレーンデータに対して、離散ウェーブレット変換（ＤＷＴ）の垂直方向、水平方向のフィルタリングを施し周波数帯毎に分解することを二回行った、分解レベル２の場合のサブバンド形成図である。図４のように、本実施形態では、ＤＷＴの分解レベルを２とする。ただし、本発明は分解レベル２に限定されるものではない。

【0022】

ＤＷＴでは、垂直、水平にそれぞれフィルタをかけることにより周波数帯域を複数に分解する。そして、上記変換により生成された低域（低周波数帯）サブバンドに対して再帰的にＤＷＴを施すことにより分解レベルを増加させ、図４のように周波数分解の粒度を細かくすることができる。なお、図４の記載において、Ｌｖは後の数字を含めて分解レベルを示し、「Ｌ」、「Ｈ」はそれぞれ低域（低周波成分）、高域（高周波成分）を示す。その順序は、前側が水平フィルタリングを行った結果の帯域、後側が垂直フィルタリングを行った結果の帯域を示す。また、ＬＬは、最低域サブバンドを示す。このように離散ウェーブレット変換処理を行い、サブバンド単位のデータを得る。

【0023】

上記のサブバンド単位のデータは量子化部３０４に入力される。一方、量子化係数決定部３０７では、サブバンド間の量子化比率を決定し、その比率により量子化係数であるＱ値を算出し、量子化部３０４に入力する。量子化部３０４では、量子化係数決定部３０７から入力された量子化係数であるＱ値を用いて、サブバンド単位のデータをウェーブレット係数毎に量子化する。なお、Ｑ値は、その値が大きいほど符号量を削減する一方、画質劣化が顕著になる値である。量子化係数決定部３０７の動作の詳細は後述する。

【0024】

量子化部３０４で量子化された画像データを、エントロピー符号化部３０５でエントロピー符号化し、出力端子３０６から出力する。また、エントロピー符号化部３０５の出力は、符号量算出部３０９に入力され、サブバンド単位の符号量が算出される。算出された符号量データは量子化制御部３０８に入力される。

【0025】

量子化制御部３０８では、ピクチャ単位及び量子化単位である矩形ブロックで量子化制御を行う。ピクチャ単位では、ピクチャ目標符号量から、次のピクチャで最適となる量子化係数（ｉｎｉｔＱ値）を生成する。矩形ブロック単位では、基本となるサブバンドのＱ値から比率計算を行い、矩形ブロックに対応する各サブバンドのＱ値を算出する。本実施形態では、ＲＡＷデータをプレーンデータに分割してからウェーブレット変換により生成された各サブバンドの変換係数を、ＲＡＷデータ（ピクチャ）を所定の矩形サイズで分割した矩形ブロック単位で量子化係数を決定し、決定された量子化係数を用いて、サブバンド毎に量子化を実行する。そのため、１つの矩形ブロックには複数のサブバンドの変換係数が含まれ、１つの矩形ブロックに対応するサブバンドは、分解レベルごとに変換係数の数（サブバンド毎の矩形サイズ）が異なる。

【0026】

なお、本実施形態では、量子化係数決定部３０７と量子化制御部３０８とを別の構成としたが、量子化係数決定部３０７を別に設けずに、量子化制御部３０８が、量子化係数決定部３０７の機能を実行するようにしてもよい。

【0027】

また、量子化単位では、ピクチャ目標符号量から符号化済符号量を差し引き、残目標符号量を算出し、更に総矩形ブロック数と符号化済矩形ブロック数から残矩形ブロック数を算出する。残目標符号量を残矩形ブロック数で除算して残矩形ブロック目標符号量を算出し、ピクチャ符号化前の目標符号量を矩形ブロック数で除算して算出した矩形ブロック目標符号量と比較し、目標符号量を維持できるよう最適となる量子化係数（ｖａｒＱ値）を生成する。ただし、ピクチャの最初の量子化では、ｖａｒＱ値＝ｉｎｉｔＱ値である。本実施形態では、Ｌｖ１ＨＬのＱ値をｖａｒＱ値とし、量子化制御部３０８から出力する。

【0028】

ここで、量子化係数決定部３０７の量子化比率決定処理について詳細に説明する。図５は、量子化係数決定部３０７の量子化比率決定処理を示すフローチャートである。

【0029】

図５において、ステップＳ５０１では、量子化係数決定部３０７の処理を開始し、ステップＳ５０２では、設定されているビットレートが低ビットレートか否かを判定する。低ビットレートではないと判断された場合、ステップＳ５０６において、そのピクチャの量子化処理を全て設定１とし、ステップＳ５１１で処理を終了する。

【0030】

一方、設定されているビットレートが低ビットレートであると判断された場合、ステップＳ５０３において、制御する単位矩形ブロックのアドレス（Ｂａｄｒ）を初期値の０とする。

【0031】

次に、ステップＳ５０４では、Ｂａｄｒにおける矩形ブロックのＤＣ評価値（ＤＣＶ）を取得する。本実施形態では、ＤＣ評価値として各プレーンで同位置のＲ，Ｇ１，Ｇ２，Ｂの平均値を用いる。

【0032】

ステップＳ５０５では、上記のＤＣＶが任意に設定された閾値（ＤＣ＿Ｔｈｒ）より小さいか否かを判定する。ＤＣＶがＤＣ＿Ｔｈｒ以上の場合、ステップＳ５０７において、Ｂａｄｒの量子化設定を設定１とする。また、ＤＣＶがＤＣ＿Ｔｈｒより小さい場合は、ステップＳ５０８において、Ｂａｄｒの量子化設定を設定２とする。

【0033】

これらのステップＳ５０７、Ｓ５０８の後、ステップＳ５０９において、Ｂａｄｒがピクチャの最後のブロックか否かの判定を行う。Ｂａｄｒがピクチャの最後のブロックでなければ、ステップＳ５１０において、Ｂａｄｒに１を加算して、ステップＳ５０４に戻る。また、Ｂａｄｒがピクチャの最後のブロックであれば、ステップＳ５１１において、処理を終了する。

【0034】

なお、本実施形態では、ＤＣ評価値として各プレーンで同位置のＲ，Ｇ１，Ｇ２，Ｂの平均値を用いたが、この値に限定されるものではない。

【0035】

次に、上記の設定１、設定２について説明する。これらの設定では、各サブバンドのＱ値の関係を決定していく。

【0036】

図４のＤＷＴにおけるＬｖ１（分解レベル１：低次の分解レベル）の各サブバンドのＱ値を、ＱLv1LH、ＱLv1HL、ＱLv1HHとし、Ｌｖ２（分解レベル２：高次の分解レベル）の各サブバンドのＱ値を、ＱLv2LL、ＱLv2LH、ＱLv2HL、ＱLv2HHとし、これを用いて説明を行う。

【0037】

前提として、各Ｑ値の最小値は１とする。

【0038】

Ｍｉｎ（ＱLv2LH）＝１
Ｍｉｎ（ＱLv2HL）＝１
Ｍｉｎ（ＱLv2HH）＝１ …式（１）
Ｍｉｎ（ＱLv1LH）＝１
Ｍｉｎ（ＱLv1HL）＝１
Ｍｉｎ（ＱLv1HH）＝１
まず、設定１について説明する。通常時、分解レベルに応じたＱ値の比率は、下記の式で示される。

【0039】

ＱLv2LH：ＱLv1LH＝１：２
ＱLv2HL：ＱLv1HL＝１：２ … 式（２）
ＱLv2HH：ＱLv1HH＝１：２
ただし、
ＱLv2LH＝ＱLv2HL＝ＱLv2HH／２ … 式（３）
である。設定１では、上記式（２）及び式（３）で示されるパラメータが用いられる。

【0040】

設定２では、低ビットレート時の暗部に用いるパラメータが設定される。低ビットレートでは、発生符号量を抑えるため量子化係数が大きくなる。また暗部では、画像信号が小さいため、ＤＷＴ係数が小さくなる。ＤＷＴ係数が小さく、量子化係数が大きい場合、量子化後に逆量子化を行った復号ＤＷＴ係数が０となる可能性が高くなる。

【0041】

例えば、Ｌｖ１のＨＬ／ＬＨ／ＨＨの復号ＤＷＴ係数が全て０となる個所に、Ｌｖ１のＨＬのみ復号ＤＷＴ係数がｎ(ｎ≠０)となった場合、画像としては縦線が現れる。原画ではそれほど強い縦線でなくとも、量子化後は縦線のみとして現れるため、強調され目立ってしまう。

【0042】

図６は、Ｌｖ１のサブバンドにおいて、１つのみ復号ＤＷＴ係数が０以外となった画像を示している。図のような短い線は画質劣化のように見えてしまう。

【0043】

このような画質劣化を防ぐためには、量子化係数を大きくし、Ｌｖ１の復号ＤＷＴ係数を０とすることである。しかしながら、Ｌｖ２の復号ＤＷＴ係数も０となってしまうと、ＤＣ成分のみの状態となり、暗部が解像せず画質劣化となってしまう。したがって、Ｌｖ２の係数は０とならないようにする必要がある。

【0044】

図７は、暗部における符号量配分の概念を示す図である。図７に示すように、Ｌｖ２の係数を０とならないように、同位置のＬｖ１の量子化係数を大きくすることにより、Ｌｖ２の量子化係数を小さくするように符号量を配分する。このように配分することにより、他の位置には大きな影響が及ばないようにしている。

【0045】

上記より、設定２の分解レベルに応じたＱ値の比率は、
ＱLv2LH：ＱLv1LH＝１：８
ＱLv2HL：ＱLv1HL＝１：８ … 式（４）
ＱLv2HH：ＱLv1HH＝１：８
となる。ただし、分母は任意に変更できるものとし、同位置の発生符号量を同等のものとする比率をフィードバック等で求めてもよい。

【0046】

設定２では、上記式（４）及び式（３）で示されるパラメータが用いられる。上記は、量子化係数の比率であるため、同位置の分解レベル間の符号量が完全に一対一で配分されるとは限らないが、画質劣化を抑制できる。

【0047】

このようにして、各サブバンドの量子化比率が決定される。量子化制御部３０８から出力される最適なＬｖ１ＨＬの量子化係数（ｖａｒＱ値）に基づいて、各サブバンドの量子化係数のＱ値が決定される。

【0048】

なお、本実施形態では、量子化比率だけではなく、丸め処理も設定１、設定２で切り替えることも可能である。また、本実施形態では、量子化比率として各サブバンドの量子化係数の比率を用いたが、各サブバンドにおける符号量比率を用いて、各サブバンドの量子化係数を算出するようにしてもよい。

【0049】

量子化処理を行う際、丸め処理が行われる。丸め処理では、量子化係数による除算時に端数を切り上げるか切り捨てるかの範囲で数値が変わる。四捨五入では、量子化誤差は小さくなる。このため設定１では、四捨五入かそれに近い丸め処理を行う。

【0050】

しかしながら、ウェーブレット係数が入力値より大きくなるということは、より高周波成分が発生してしまうことであり、入力画像より強調されてしまう部分が発生することとなる。図６のような現象は、このような場合においても発生する。このため、設定２では、暗部の高周波数帯の画質劣化を抑えるために、切り捨てかそれに近い丸め処理を行う。以上が、設定１、設定２についての説明である。

【0051】

以上のようにして、低ビットレート時、暗部に発生するノイズ発生を抑制することにより、画質劣化を防いだＲＡＷ画像記録が可能となる。

【0052】

（第２の実施形態）
この第２の実施形態においては、符号化装置のブロック構成は、図１に示した第１の実施形態と同様である。ただし、本実施形態では、図１におけるＲＡＷ圧縮符号化部１０４の処理が第１の実施形態と異なるので、その部分について詳しく説明する。

【0053】

図８は、本実施形態におけるＲＡＷ圧縮符号化部１０４の構成を示すブロック図である。第１の実施形態で用いた図３と同一の機能部分には同一の符号を付している。図８を用いて本実施形態におけるＲＡＷ圧縮符号化部１０４の処理について説明する。全体的な処理は第１の実施形態と同様であるので、処理が異なる部分であるプレーン変換部８１０及び量子化係数決定部３０７について以下に説明する。

【0054】

プレーン変換部８１０は、プレーン分割部３０２から出力された各色成分のプレーンデータを色変換処理し、輝度プレーン（輝度成分）と色差プレーン（色差成分）から成る複数プレーンに分離する。本実施形態では、輝度Ｙ、色差Ｃ１，Ｃ２，Ｃ３から成る４プレーンを生成する。例えば、変換式は、下記のようになる。

【0055】

Ｙ＝（Ｒ＋Ｂ＋Ｇ１＋Ｇ２）／４ … 式（５）
Ｃ１＝Ｒ－Ｇ１ … 式（６）
Ｃ２＝Ｂ－Ｇ２ … 式（７）
Ｃ３＝（Ｒ＋Ｇ１）／２－（Ｂ＋Ｇ２）／２ … 式（８）
上記変換を行った各プレーンデータを離散ウェーブレット変換部３０３に入力する。

【0056】

また、量子化係数決定部３０７では、処理は第１の実施形態で図５を用いて説明した通りであるが、設定が異なるため、その点について説明する。

【0057】

本実施形態での設定１、設定２について説明する。これらの設定では、各サブバンドのＱ値の関係を決定していくが、輝度プレーンと色差プレーンで設定が異なる。

【0058】

図４のＤＷＴ におけるＬｖ１の各サブバンドのＱ値を、ＱLv1LH、ＱLv1HL、ＱLv1HHとし、Ｌｖ２の各サブバンドのＱ値を、ＱLv2LL、ＱLv2LH、ＱLv2HL、ＱLv2HHとし、これらを用いて説明を行う。また、輝度プレーンＹ及び色差プレーンＣ１，Ｃ２，Ｃ３でＱ値が異なる値を取る場合は、各々のＱ値を、ＹＱ、 Ｃ１Ｑ、Ｃ２Ｑ、Ｃ３Ｑとして説明する。前提は第１の実施形態と同様であり、各Ｑ値の最小値は１とする（式（１））。

【0059】

まず、設定１について説明する。通常時、分解レベルに応じたＱ値の比率は、式（２）及び式（３）で示される通りである。ただし、プレーンによる割り当てが違い、
ＹＱLv1LH：Ｃ１ＱLv1LH：Ｃ２ＱLv1LH：Ｃ３ＱLv1LH
＝αＹ：αＣ１：αＣ２：αＣ３ … 式（９）
となる。
このとき、
αＹ ≦ αＣ１＝αＣ２
αＹ ≦ αＣ３ …式（１０）
となる。

【0060】

各パラメータαＹ、αＣ１、αＣ２、αＣ３は任意に与えるものであり、αＹは、他のプレーンの量子化係数と同じかそれ以下となるように設定される。設定１では、上記の式（９）、式（１０）及び式（３）で示されるパラメータが用いられる。

【0061】

設定２では、第１の実施形態と同様に低ビットレート時の暗部に用いるパラメータが設定される。第１の実施形態と同様にＬｖ２の係数は０とならないようにする必要がある。設定２の分解レベルに応じたＱ値の比率は、式（４）のようになる。設定２では、上記の式（４）、式（９）、式（１０）及び式（３）で示されるパラメータが用いられる。Ｌｖ１の量子化係数を大きくすることにより、発生符号量を抑え、その分でＬｖ２の量子化係数を小さくすることが出来る。

【0062】

また、式（１０）のパラメータにおいて、αＹを小さくした場合、
ＹＱLv2LH：ＹＱLv1LH＝１：８
ＹＱLv2HL：ＹＱLv1HL＝１：８ … 式（１１）
ＹＱLv2HH：ＹＱLv1HH＝１：８
とし、色差プレーンは式（２）としてもよい。

【0063】

このようにして、各サブバンドの量子化比率が決定される。量子化制御部３０８から出力される最適なＬｖ１ＨＬの量子化係数（ｖａｒＱ値）を元に、各サブバンドの量子化係数のＱ値が決定される。丸め処理に関しては、第１の実施形態と同様である。以上が、設定１、設定２についての説明である。

【0064】

以上のようにして、プレーン変換を行った画像も、低ビットレート時、暗部に発生するノイズ発生を抑制することにより、画質劣化を防いだＲＡＷ画像記録が可能となる。

【0065】

また、本実施形態では、式（５）～式（８）を用いてプレーン変換部８１０の説明をしたが、ＢＴ．６０１、ＢＴ．７０９やＢＴ．２０２０等のＹＣｂＣｒ形式や他の色空間変換形式を用いてもよい。
その場合、
Ｃ１＝Ｃｂ
Ｃ２＝Ｃｒ
Ｃ３＝（Ｇ１－Ｇ２）／２
としてもよい。

【0066】

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

【0067】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0068】

１０１：撮像光学系、１０２：撮像センサー部、１０３：センサー信号処理部、１０４：ＲＡＷ圧縮符号化部、１０５：バッファ、１０６：記録データ制御部、１０７：出力端子、３０１：入力端子、３０２：プレーン分割部、３０３：離散ウェーブレット変換部、３０４：量子化部、３０５：エントロピー符号化部、３０６：出力端子、３０７：量子化係数決定部、３０８：量子化制御部、３０９：符号量算出部、８１０：プレーン変換部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】