特許 7589023 符号化装置及び方法、撮像装置、プログラム、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-15

(45)【発行日】2024-11-25

(54)【発明の名称】符号化装置及び方法、撮像装置、プログラム、記憶媒体

(51)【国際特許分類】

   H04N 19/126 20140101AFI20241118BHJP

   H04N 19/136 20140101ALI20241118BHJP

   H04N 19/17 20140101ALI20241118BHJP

   H04N 23/60 20230101ALI20241118BHJP

   H04N 23/741 20230101ALI20241118BHJP

【ＦＩ】

H04N19/126

H04N19/136

H04N19/17

H04N23/60 500

H04N23/741

【請求項の数】 15

(21)【出願番号】P 2020188302

(22)【出願日】2020-11-11

(65)【公開番号】P2022077438

(43)【公開日】2022-05-23

【審査請求日】2023-10-19

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】鈴木 遼太

(72)【発明者】

【氏名】望月 成記

【審査官】田中 崇大

(56)【参考文献】

【文献】特開２０１９－１６１５５０（ＪＰ，Ａ）

【文献】特開２００６－３１１２４０（ＪＰ，Ａ）

【文献】特開平１１－３１７９０５（ＪＰ，Ａ）

【文献】特開２０２０－０９６３２６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ １９／００－１９／９８

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／７４１

(57)【特許請求の範囲】

【請求項1】

画素ごとに異なる露光時間で撮像可能な撮像素子を用いて、第１の露光時間の第１のＲＡＷデータと前記第１の露光時間とは異なる第２の露光時間の第２のＲＡＷデータを取得する取得手段と、
前記第１及び第２のＲＡＷデータを量子化する量子化手段と、
前記量子化手段で量子化した前記第１及び第２のＲＡＷデータを符号化する符号化手段とを備え、
前記量子化手段は、前記第１のＲＡＷデータの明るさで分類した領域ごとに、前記第１のＲＡＷデータの量子化パラメータ及び第２のＲＡＷデータの量子化パラメータを決定することを特徴とする符号化装置。

【請求項2】

前記量子化手段は、
前記第１のＲＡＷデータと前記第２のＲＡＷデータのうちどちらが適正露出であるかを判定し、
前記第１のＲＡＷデータが適正露出の場合は、前記第１のＲＡＷデータの明るさで分類した領域ごとに、前記第１のＲＡＷデータの量子化パラメータ及び第２のＲＡＷデータの量子化パラメータを決定し、前記第２のＲＡＷデータが適正露出の場合は、前記第２のＲＡＷデータの明るさで分類した領域ごとに、前記第１のＲＡＷデータの量子化パラメータ及び第２のＲＡＷデータの量子化パラメータを決定する
ことを特徴とする請求項１に記載の符号化装置。

【請求項3】

前記第１の露光時間は、前記第２の露光時間より短いことを特徴とする請求項２に記載の符号化装置。

【請求項4】

前記量子化手段は、前記第１のＲＡＷデータについては、暗いと分類された領域の量子化パラメータを、明るいと分類された領域の量子化パラメータよりも大きい量子化パラメータに決定し、前記第２のＲＡＷデータについては、明るいと分類された領域の量子化パラメータを、暗いと分類された領域の量子化パラメータよりも大きい量子化パラメータに決定することを特徴とする請求項３に記載の符号化装置。

【請求項5】

前記撮像素子により、画素ごとに異なる露光時間で撮像せずに、同じ露光時間で撮像する場合は、
前記取得手段は、近傍にある同一色の画素データを平均した第３のＲＡＷデータを取得し、
前記量子化手段は、前記第３のＲＡＷデータの明るさで分類される領域ごとに、前記第３のＲＡＷデータの量子化パラメータを決定して、前記第３のＲＡＷデータを量子化し、
前記符号化手段は、前記量子化された第３のＲＡＷデータを符号化する
ことを特徴とする請求項２乃至４のいずれか１項に記載の符号化装置。

【請求項6】

前記量子化手段は、
前記第１のＲＡＷデータが適正露出の場合は、明るいと分類される領域の前記第１のＲＡＷデータの量子化パラメータは、前記第３のＲＡＷデータにおいて明るいと分類される領域で使用する量子化パラメータに対応する量子化パラメータに決定し、
前記第２のＲＡＷデータが適正露出の場合は、暗いと分類される領域の前記第２のＲＡＷデータの量子化パラメータは、前記第３のＲＡＷデータにおいて暗いと分類される領域で使用する量子化パラメータに対応する量子化パラメータに決定する
ことを特徴とする請求項５に記載の符号化装置。

【請求項7】

前記量子化手段は、
前記第１のＲＡＷデータが適正露出の場合は、明るいと分類される領域の前記第１のＲＡＷデータの量子化パラメータは、前記第３のＲＡＷデータにおいて使用する量子化パラメータよりも大きな値の量子化パラメータに決定し、
前記第２のＲＡＷデータが適正露出の場合は、暗いと分類される領域の前記第２のＲＡＷデータの量子化パラメータは、使用する量子化パラメータよりも大きな値の量子化パラメータに決定する
ことを特徴とする請求項６に記載の符号化装置。

【請求項8】

前記量子化手段は、前記第１のＲＡＷデータが適正露出の場合には、暗いと分類される領域の前記第２のＲＡＷデータの量子化パラメータを、前記第３のＲＡＷデータにおいて暗いと分類される領域で使用する量子化パラメータ以上であり前記第３のＲＡＷデータにおいて明るいと分類される領域で使用する量子化パラメータよりも小さい値の量子化パラメータに決定することを特徴とする請求項５乃至７のいずれか１項に記載の符号化装置。

【請求項9】

前記量子化手段は、前記第２のＲＡＷデータが適正露出の場合には、明るいと分類される領域の前記第１のＲＡＷデータの量子化パラメータを、前記第３のＲＡＷデータにおいて明るいと分類される領域で使用する量子化パラメータ以下であり前記第３のＲＡＷデータにおいて暗いと分類される領域で使用する量子化パラメータよりも大きい値の量子化パラメータに決定することを特徴とする請求項５乃至８のいずれか１項に記載の符号化装置。

【請求項10】

前記量子化手段は、暗部であるか否かを判定する第１の閾値と、明部であるか否かを判定する第２の閾値を用いて、前記第１のＲＡＷデータまたは前記第２のＲＡＷデータの領域ごとに明るさを分類することを特徴とする請求項１乃至９のいずれか１項に記載の符号化装置。

【請求項11】

前記領域とは、１画素以上の矩形領域であることを特徴とする請求項１乃至１０のいずれか１項に記載の符号化装置。

【請求項12】

前記撮像素子と、
請求項１乃至１１のいずれか１項に記載の符号化装置と、
を備えることを特徴とする撮像装置。

【請求項13】

画素ごとに異なる露光時間で撮像可能な撮像素子を用いて、第１の露光時間の第１のＲＡＷデータと前記第１の露光時間とは異なる第２の露光時間の第２のＲＡＷデータを取得する取得工程と、
前記第１及び第２のＲＡＷデータを量子化する量子化工程と、
前記量子化工程で量子化した前記第１及び第２のＲＡＷデータを符号化する符号化工程とを有し、
前記量子化工程では、前記第１のＲＡＷデータの明るさで分類した領域ごとに、前記第１のＲＡＷデータの量子化パラメータ及び第２のＲＡＷデータの量子化パラメータを決定することを特徴とする符号化方法。

【請求項14】

コンピュータを、請求項１乃至１１のいずれか１項に記載の符号化装置の各手段として機能させるためのプログラム。

【請求項15】

コンピュータを、請求項１乃至１１のいずれか１項に記載の符号化装置の各手段として機能させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画素ごとに露光時間が異なる画像データを符号化して記録する技術に関するものである。

【背景技術】

【0002】

従来の撮像装置では、撮像素子によって撮像された生の画像情報（ＲＡＷデータ）をデベイヤー処理（デモザイク処理）し、輝度と色差から成る信号に変換して、各信号についてノイズ除去、光学的な歪補正などの所謂現像処理を行っている。そして、現像処理された輝度信号及び色差信号を圧縮符号化し、記録媒体に記録するのが一般的である。

【0003】

一方、撮像素子で得られた直後の未現像の撮像データ（ＲＡＷデータ）を記録媒体に格納する撮像装置もある。ＲＡＷデータは、撮像素子からの色情報を損ねることなく豊富な色階調数を保ったまま記録されるため、自由度の高い編集が可能である。しかし、ＲＡＷデータは記録データ量が膨大であるため、記録メディアに多くの空き領域を必要とするという問題がある。そのため、ＲＡＷデータにおいても圧縮符号化を行い、データ量を抑えて記録することが望まれる。

【0004】

ところで、近年、ＨＤＲモニタに代表される高階調な表示装置の普及に伴い、ダイナミックレンジ（以降ＤＲと呼ぶ）の広い高品位な写真や映像のニーズが高まっている。このようなＤＲの広い写真や映像を得る手法の一つにハイダイナミックレンジ（以降ＨＤＲと呼ぶ）合成処理がある。ＨＤＲ合成処理は、露光量の異なる複数の画像データを加算合成することでＤＲを拡張する技術である。近年は、ＨＤＲ合成処理に必要な各種露光画像を１度の撮影で得るため、露光時間の異なる画素を同一平面に配置したクアッドベイヤー配列と呼ばれる撮像デバイスも登場している。特許文献１には、クアッドベイヤー配列の撮像デバイスを使用して、ＤＲの広い画像を得るための合成方法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１３－２１６６０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、上述の特許文献１には、合成前のＲＡＷデータを符号化する方法が開示されていない。また、合成前の露光時間の異なる画素信号が混在するＲＡＷデータを符号化する場合、同一平面上に配置された露光時間の異なる画素間でのレベル差が大きいため、高周波成分が多く発生し符号化効率が低下する。そのため、ＲＡＷデータを記録する際のデータ量が大きくなる課題があった。

【0007】

本発明は上述した課題に鑑みてなされたものであり、その目的は、露光時間が異なる画素信号が混在したＲＡＷデータを符号化し記録する際のデータ量を削減することである。

【課題を解決するための手段】

【0008】

本発明に係わる符号化装置は、画素ごとに異なる露光時間で撮像可能な撮像素子を用いて、第１の露光時間の第１のＲＡＷデータと前記第１の露光時間とは異なる第２の露光時間の第２のＲＡＷデータを取得する取得手段と、前記第１及び第２のＲＡＷデータを量子化する量子化手段と、前記量子化手段で量子化した前記第１及び第２のＲＡＷデータを符号化する符号化手段とを備え、前記量子化手段は、前記第１のＲＡＷデータの明るさで分類した領域ごとに、前記第１のＲＡＷデータの量子化パラメータ及び第２のＲＡＷデータの量子化パラメータを決定することを特徴とする。

【発明の効果】

【0009】

本発明によれば、露光時間が異なる画素信号が混在したＲＡＷデータを符号化し記録する際のデータ量を削減することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。

【図2】撮像素子の画素配列を示す図。

【図3】撮像素子の画素配列及び露光時間設定を示す図。

【図4】ＲＡＷデータの分離方法の例を示す図。

【図5】ＲＡＷデータの分離方法の例を示す図。

【図6】同一平面上で画素の露光時間が同一の場合のＲＡＷデータ出力を示す図。

【図7】ＲＡＷ符号化部の構成を示すブロック図。

【図8】周波数変換（サブバンド分割）を説明する図。

【図9】ＨＤＲ合成処理を説明するための処理ブロック図。

【図10】長時間露光画像が適正露出である場合のＨＤＲ合成処理における合成割合を説明するための図。

【図11】短時間露光画像が適正露出である場合のＨＤＲ合成処理における合成割合を説明するための図。

【図12】量子化パラメータの設定例を示す図。

【図13】第１の実施形態の量子化処理手順を示すフローチャート。

【図14】第２の実施形態の量子化処理手順を示すフローチャート。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

（第１の実施形態）
図１は、撮像装置１００の機能構成例を示すブロック図である。撮像装置１００は、撮像部１０１、分離部１０２、ＲＡＷ符号化部１０３、記録処理部１０４、記録媒体１０５、メモリＩ／Ｆ１０６、メモリ１０７、制御部１０８を備える。本実施形態における撮像装置１００は、画素毎に露光量が制御可能（露光時間が異なる画像を撮像可能）な撮像素子を備える。

【0013】

撮像部１０１は、フォーカス制御及び光学ズーム制御が可能なレンズ光学系と、光量を調節する絞りと、光電変換素子を有する画素が複数、２次元的に配列されたイメージセンサ（撮像素子）とを含む。イメージセンサは、レンズ光学系により結像された被写体光学像を各画素で光電変換し、その信号をＡ／Ｄ変換回路によってアナログ・デジタル変換して、画素単位のデジタル信号（すなわちＲＡＷデータ）を出力する。イメージセンサには、ＣＣＤイメージセンサやＣＭＯＳイメージセンサなどが用いられる。なお、本実施形態において、イメージセンサの各画素には、図２に示すようにＲ（赤）、Ｇ１／Ｇ２（緑）、Ｂ（青）の何れかのカラーフィルタが設けられている。本実施形態のイメージセンサの画素配列は、図２に示すように、一般的なベイヤー配列とは異なり、同色成分が隣接するような画素配列となっている。ＤＲ（ダイナミックレンジ）を拡張するために、異なる露光時間の同色画素が隣接して配置されているが、その詳細な説明は後述する。なお、撮像部１０１から出力されるＲＡＷデータ（ＲＡＷ画像データ、画素データ）は、メモリＩ／Ｆ１０６を介してメモリ１０７に格納される。

【0014】

分離部１０２は、撮像部１０１で取得されたＲＡＷデータを露光時間ごとのＲＡＷデータに分離する。メモリ１０７に格納されているＲＡＷデータをメモリＩ／Ｆ１０６を介して読み出して、露光時間ごとのＲＡＷデータに分離して、ＲＡＷ符号化部１０３へ出力する。分離部１０２で行うＲＡＷデータの分離方法の詳細は後述する。

【0015】

ＲＡＷ符号化部１０３は、ＲＡＷデータに対する演算を行う回路またはモジュールであり、分離部１０２から入力されたＲＡＷデータを符号化する。ＲＡＷ符号化部１０３は、符号化によって生成した符号化データをメモリＩ／Ｆ１０６を介してメモリ１０７に出力する。

【0016】

記録処理部１０４は、メモリ１０７へ格納された符号化データ等の各種データを、メモリＩ／Ｆ１０６を介して読み出し、記録媒体１０５へ記録する。記録媒体１０５は、大容量のランダムアクセス可能な、例えば不揮発性メモリで構成される記録メディアである。

【0017】

メモリＩ／Ｆ１０６は、各処理部からのメモリ・アクセス要求を調停し、メモリ１０７に対する読み出し／書き込み制御を行う。メモリ１０７は、例えばＳＤＲＡＭなどの揮発性メモリであり、記憶手段として動作する。メモリ１０７は、上述の画像データ、音声データ等の各種のデータ、あるいは撮像装置１００を構成する各処理部から出力される各種データを格納するための記憶領域を提供する。

【0018】

制御部１０８は、撮像部１０１、分離部１０２、ＲＡＷ符号化部１０３、記録処理部１０４の動作を制御する。

【0019】

次に、撮像部１０１の画素配列について図２を参照して説明する。図２に示す撮像部１０１の画素配列では、２×２の画素グループごとにＲ画素、Ｇ１画素、Ｇ２画素、Ｂ画素が配置されており、同一色の画素が２×２画素ごとに配列されている。そして、図２に太線で囲んで示した４×４画素を最小単位として、この最小単位が繰り返し配列されている。

【0020】

図２に示す画素配列における露光時間の設定について、図３を参照して説明する。図３では、水平方向をｘ方向、垂直方向をｙ方向として、列番号をｘ座標で表し、行番号をｙ座標で表している。括弧で示した数字はイメージセンサ上の各画素の位置を示す座標を示している。また、白色の画素が短時間露光画素、灰色の画素が長時間露光画素である。本実施形態においては、図３に示すように、列方向にジグザグ状に短時間露光を行う短時間露光画素と長時間露光を行う長時間露光画素が配置されている。

【0021】

例えば、図３の左上端の４つのＲ画素の露光時間の設定は以下のとおりである。Ｒ（１，１）は短時間露光画素、Ｒ（２，１）は長時間露光画素、Ｒ（１，２）は長時間露光画素、Ｒ（２，２）は短時間露光画素である。このように各列において短時間露光画素と長時間露光画素が交互に配置され、また各行に短時間露光画素と長時間露光画素が交互に配置された構造となっている。第１列と、第２列においてｙ方向に短時間露光画素のみを辿ると、上から第１行では第１列が短時間露光画素、第２行では第２列が短時間露光画素、第３行では第１列が短時間露光画素、第４行では第２列が短時間露光画素である。同様に、第１列と、第２列においてｙ方向に長時間露光画素のみを辿ると、上から第１行では第２列が長時間露光画素、第２行では第１列が長時間露光画素、第３行では第２列が長時間露光画素、第４行では第１列が長時間露光画素である。

【0022】

以上のように、本実施形態の画素配列とその露光時間の設定では、同一色の画素が２×２画素単位で配置され、この４画素中に２つの短時間露光画素と２つの長時間露光画素が配置されている。

【0023】

ここで、撮像部１０１でＲＡＷデータを取得した状態のまま、すなわち露光時間の異なる画素が混在したまま符号化しようとすると、露光時間が異なる画素間でのレベル差が大きいため、高周波成分が多く発生しＲＡＷデータの記録データ量が大きくなってしまう。そこで本実施形態では、分離部１０２で露光時間ごとのＲＡＷデータに分離して、画素間のレベルを合わせて高周波成分を抑制し、ＲＡＷデータの記録データ量を削減する。

【0024】

次に、その分離方法に関して図４を参照して説明する。分離部１０２は、図４（ａ）～図５（ｂ）に示すように、撮像部１０１から入力されるＲＡＷデータを、短時間露光画素のみで構成するＲＡＷデータと長時間露光画素のみで構成するＲＡＷデータにそれぞれ分離して、ＲＡＷ符号化部１０３へ出力する。

【0025】

具体的には、短時間露光画素のみで構成されるＲＡＷデータは、図４（ａ）の４０１ａと図４（ｂ）の４０１ｂに示す２面の短時間露光ＲＡＷデータに分離される。データ４０１ａは、図４（ａ）に示すように、奇数行・奇数列のひし形で囲った短時間露光画素を抜き出して構成される短時間露光ＲＡＷデータである。また、データ４０１ｂは、図４（ｂ）に示すように、偶数行・偶数列のひし形で囲った短時間露光画素を抜き出して構成される短時間露光ＲＡＷデータである。

【0026】

同様にして、長時間露光画素のみで構成されるＲＡＷデータは、図５（ａ）の４０１ｃと図５（ｂ）の４０１ｄに示す２面の長時間露光ＲＡＷデータに分離される。データ４０１ｃは、図５（ａ）に示すように、奇数行・偶数列のひし形で囲った長時間露光画素を抜き出して構成される長時間露光ＲＡＷデータである。また、データ４０１ｄは、図５（ｂ）に示すように、偶数行・奇数列のひし形で囲った長時間露光画素を抜き出して構成される長時間露光ＲＡＷデータである
ＲＡＷ符号化部１０３は、分離部１０２からベイヤー配列状に入力されるＲＡＷデータ４０１ａ，４０１ｂ，４０１ｃ，４０１ｄをそれぞれ符号化する。ＲＡＷ符号化部１０３の詳細な構成は後述する。

【0027】

なお、ここまでは図２の画素配列を用いて、同一平面上に配置される画素の露光時間が異なる場合の分離部１０２の分離方法について説明した。次に画素の露光時間を全て同じにした場合の分離部１０２の動作に関して図６を参照して説明する。

【0028】

この場合、分離部１０２は撮像部１０１で取得したＲＡＷデータに対して図６で示す灰色のひし形で囲った同一の色成分４画素ごと（近傍画素）の画素平均値を算出してデータ５０１を作成し、ＲＡＷ符号化部１０３へ出力する。具体的には、下記の式１～式４に示すように同色成分ごとの加算平均を算出して分離を行う。

【0029】

【数1】

【0030】

続いて、短時間露光ＲＡＷデータ４０１ａ，４０１ｂと長時間露光ＲＡＷデータ４０１ｃ，４０１ｄの符号化処理を行うＲＡＷデータ符号化部１０３の詳細な構成及び処理の流れについて図７に示すブロック図を参照しながら説明する。

【0031】

ＲＡＷデータ符号化部１０３は、主にチャネル変換部６０１、周波数変換部６０２、量子化パラメータ生成部６０３、量子化部６０４、符号化部６０５を備えて構成されている。

【0032】

チャネル変換部６０１は、分離部１０２から入力されるベイヤー配列状のＲＡＷデータを複数のチャネルに変換する。ここでは、ベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂ毎に４つのチャネルへ変換する。

【0033】

周波数変換部６０２は、チャネル単位に所定の分解レベル（以降、ｌｅｖと呼ぶ）で離散ウェーブレット変換による周波数変換処理を行い、生成されたサブバンドデータ（変換係数）を量子化パラメータ生成部６０３及び量子化部６０４へ出力する。

【0034】

図８（ａ）は、ｌｅｖ＝１のサブバンド分割処理に関わる離散ウェーブレット変換を実現するためのフィルタバンクの構成を示している。離散ウェーブレット変換処理を水平、垂直方向に実行した結果、図８（ｂ）に示すように１つの低周波数サブバンド（ＬＬ）と３つの高周波数サブバンド（ＨＬ，ＬＨ，ＨＨ）へ分割される。

【0035】

図８（ａ）で示すローパスフィルタ（以降、ｌｐｆと呼ぶ）及びハイパスフィルタ（以降、ｈｐｆと呼ぶ）の伝達関数をそれぞれ下式５、式６に示す。

【0036】

ｌｐｆ（Ｚ）＝（－Ｚ^-2＋２Ｚ^-1＋６＋２Ｚ¹－Ｚ²）／８ 式５
ｈｐｆ（Ｚ）＝（－Ｚ^-1＋２－Ｚ¹）／２ 式６
ｌｅｖが１よりも大きい場合には、低周波数サブバンド（ＬＬ）に対して階層的にサブバンド分割が実行される。なお、ここでは離散ウェーブレット変換は上記の式５、式６に示すように５タップのｌｐｆと３タップのｈｐｆで構成されているが、これとは異なるタップ数及び異なる係数のフィルタ構成であってもよい。

【0037】

量子化パラメータ生成部６０３は、周波数変換部６０２により生成されたサブバンドデータ（変換係数）について、所定の係数単位（１係数以上の矩形ブロック、１画素以上の矩形領域））で明るさの特徴量を算出し、特徴量に応じた量子化パラメータを生成する。量子化も同様に所定の係数単位（１係数以上の矩形ブロック）で行われるが、画質の制御性を考慮すると、特徴量の算出単位と揃えることが望ましい。明るさに応じた量子化パラメータの設定方法、および量子化パラメータの生成の流れについての詳細な説明は後述する。そして、生成した量子化パラメータを量子化部６０４へ出力する。

【0038】

量子化部６０４は、周波数変換部６０２から入力されたサブバンドデータ（変換係数）に対して、量子化パラメータ生成部６０３から供給される量子化パラメータを用いて量子化処理を行い、量子化後のサブバンドデータ（変換係数）を符号化部６０５へ出力する。

【0039】

符号化部６０５は、量子化部６０４から入力された量子化後のサブバンドデータ（変換係数）に対して、サブバンド毎にラスタースキャン順で予測差分型エントロピー符号化を行い、生成した符号化ＲＡＷデータをメモリ１０７へ格納する。なお、予測方式やエントロピー符号化方式は、他の方式であってもよい。

【0040】

ここで、ＨＤＲ（ハイダイナミックレンジ）合成処理方法について図９を用いて説明する。図９は、ＨＤＲ合成を行うための処理ブロック図である。撮像装置１００は露光量が異なる２枚のＲＡＷデータを記録する構成をとるため、本実施形態におけるＨＤＲ合成処理も２枚のＲＡＷデータを対象にＨＤＲ合成を行うものとして説明する。なお、各露光ＲＡＷデータのうち１つは適正露出で撮像したＲＡＷデータである。もう一方はＤＲ拡張のための補助データとして撮像される露出オーバー或いは露出アンダーとなる露光時間で撮像したＲＡＷデータである。

【0041】

現像処理部８０１は、長時間露光ＲＡＷデータに対して現像処理を行う。そして生成した現像済みの長時間露光画像をゲイン補正部８０３へ出力する。現像処理部８０２は、短時間露光ＲＡＷデータに対して現像処理を行う。そして生成した現像済みの短時間露光画像をゲイン補正部８０４へ出力する。

【0042】

ゲイン補正部８０３は、長時間露光画像に対して所定の合成割合に基づくゲイン値を用いてゲイン補正を行う。合成割合については後述する。ゲイン補正部８０４は、短時間露光画像に対して所定の合成割合に基づくゲイン値を用いてゲイン補正を行う。合成割合については後述する。加算処理部８０５は、長時間露光画像と短時間露光画像について、同一座標位置にある画素同士の加算処理を行う。

【0043】

このようにＨＤＲ合成処理では、露光量が異なる２枚のＲＡＷデータに対して現像処理を施して生成した画像に対してゲイン補正処理と加算処理を行う。なお、このＨＤＲ合成処理は、画像データを構成する各色成分（Ｒ、Ｇ、Ｂ）で同様の処理が行われる。また、現像処理には、デベイヤー処理、輝度色差変換処理、ノイズ除去処理、光学的な歪補正処理などが含まれる。

【0044】

次に、短時間露光画像データと長時間露光画像データの合成割合について説明する。各露光画像データのいずれが適正露出の画像データかに基づいて、合成割合の考え方が異なる。長時間露光画像データが適正露出の場合と短時間露光画像データが適正露出の場合に分けてそれぞれ説明する。

【0045】

まず長時間露光画像データが適正露出となる場合の合成割合について説明する。長時間露光画像データが適正露出で撮像される場合、短時間露光画像データは長時間露光画像データに比べて相対的に露光時間が短いため、露出アンダーとなる。

【0046】

この露光条件で撮像した場合の画像データのヒストグラムの例を図１０（ａ）に示す。図１０（ａ）に示すヒストグラムは、画像データを構成する特定の色成分のヒストグラムである。ヒストグラムの横軸は画像データの明るさを示す画素値、縦軸は画素数である。また、ＴａとＴｂは画素の閾値、Ｔｃは画素の上限値を表す。画素値≦Ｔａの条件を満たす領域を暗部、Ｔａ＜画素値≦Ｔｂの条件を満たす領域を中間部、Ｔｂ＜画素値の条件を満たす領域を明部と呼ぶこととする。このヒストグラムでは、長時間露光画像データは、暗部領域と中間部領域においては階調が正しく表現できているものの、明部領域においては、画素上限となるＴｃ以上の領域に多くの画素が存在しており、白飛びの発生によって階調が失われた状態となっている。ＨＤＲ合成処理では、この白飛びが発生した箇所の階調を広げるために、同一座標位置の短時間露光画像データを合成する。この露光条件におけるＨＤＲ合成処理では、適正露出でＤＲが確保できる暗部領域と中間部領域は長時間露光画像データの合成割合が大きく、適正露出でＤＲを確保することが難しい明部領域は短時間露光画像データの合成割合が大きくなるようにゲイン補正をして加算処理を行う。

【0047】

合成割合の例を図１０（ｂ）に示す。横軸は長時間露光画像データ（適正露出）の画素値、縦軸は合成割合を示す。図１０（ｂ）のグラフは画素値に応じた各露光画像データの合成割合を表しており、各露光画像データの合成割合の合計が常に１００％となるように推移している。図１０（ａ）で説明した通り、明部は白飛びが発生する画素が多いことから、図１０（ｂ）のグラフでは、閾値Ｔｂを境に、長時間露光画像データの合成割合が画素上限値Ｔｃにおいて０％まで減少するように、また、短時間露光画像データの合成割合が画素上限値Ｔｃにおいて１００％まで増加するように推移している。このような合成割合を用いることで、合成後の画像は白飛びの影響を減らしてＤＲを拡張することが可能となる。なお、説明を分かりやすくするために、閾値Ｔｂを分岐点として合成割合が変化する例について説明したが、各露光画像データの合成割合はこれに限定されるものでない。

【0048】

上記を踏まえて、長時間露光画像データと短時間露光画像データの合成割合の大小関係を図１０（ｃ）に示す。図中のＡ０は長時間露光画素の暗部の合成割合、Ａ１は長時間露光画素の中間部の合成割合、Ａ２は長時間露光画素の明部の合成割合を表す。また、Ａ３は短時間露光画素の暗部の合成割合、Ａ４は短時間露光画素の中間部の合成割合、Ａ５は短時間露光画素の明部の合成割合を表す。明るさの領域毎の合成割合の大小関係は、暗部はＡ０＞Ａ３、中間部はＡ１＞Ａ４、明部はＡ２＜Ａ５となる。

【0049】

次に、短時間露光画像データが適正露出となる場合の合成割合について説明する。短時間露光画像データが適正露出で撮像される場合、長時間露光画像データは短時間露光画像データに比べて相対的に露光時間が長いため露出オーバーとなる。

【0050】

この露光条件で撮像した場合の画像データのヒストグラムの例を図１１（ａ）に示す。図１１（ａ）に示すヒストグラムは、画像データを構成する特定の色成分のヒストグラムである。ヒストグラムの横軸は画像データの明るさを示す画素値、縦軸は画素数である。また、ＴａとＴｂは画素の閾値、Ｔｄは画素の下限値を表す。画素値≦Ｔａの条件を満たす領域を暗部、Ｔａ＜画素値≦Ｔｂの条件を満たす領域を中間部、Ｔｂ＜画素値の条件を満たす領域を明部と呼ぶこととする。このヒストグラムでは、短時間露光画像データは、中間部領域と明部領域においては階調が正しく表現できているものの、暗部領域においては、画素下限となるＴｄ以下の領域に多くの画素が存在しており、黒潰れの発生によって階調が失われた状態となっている。ＨＤＲ合成処理では、この黒潰れが発生した箇所の階調を広げるために、同一座標位置の長時間露光画像データを合成する。この露光条件におけるＨＤＲ合成処理は、適正露出でＤＲが確保できる中間部領域と明部領域は短時間露光画像データの合成割合が大きく、適正露出でＤＲを確保することが難しい暗部領域は長時間露光画像データの合成割合が大きくなるようにゲイン補正をして加算処理を行う。

【0051】

次に、合成割合の例を図１１（ｂ）に示す。横軸は短時間露光画像データ（適正露出）の画素値、縦軸は合成割合を示す。図１１（ｂ）のグラフは、画素値に応じた各露光画像データの合成割合を表しており、各露光画像データの合成割合の合計が常に１００％となるように推移している。図１１（ａ）で説明した通り、暗部は黒潰れが発生する画素が多いことから、図１１（ｂ）のグラフは、長時間露光画像データの合成割合が画素下限値Ｔｄにおいて１００％となるように、また、短時間露光画像データの合成割合が画素下限値Ｔｄにおいて０％となるように推移させている。このような合成割合を用いることで、合成後の画像は黒潰れの影響を減らしてＤＲを拡張することが可能となる。なお、説明を分かりやすくするために、閾値Ｔｄを分岐点として合成割合が変化する例について説明したが、各露光画像データの合成割合はこれに限定されるものでない。

【0052】

上記を踏まえて、長時間露光画像データと短時間露光画像データの合成割合の大小関係を図１１（ｃ）に示す。図中のＢ０は短時間露光画素の暗部の合成割合、Ｂ１は短時間露光画素の中間部の合成割合、Ｂ２は短時間露光画素の明部の合成割合を表す。また、Ｂ３は長時間露光画素の暗部の合成割合、Ｂ４は長時間露光画素の中間部の合成割合、Ｂ５は長時間露光画素の明部の合成割合を表す。明るさの領域毎の合成割合の大小関係は、暗部はＢ０＜Ｂ３、中間部はＢ１＞Ｂ４、明部はＢ２＞Ｂ５となる。

【0053】

このようにＨＤＲ合成処理では、適正露出か否かや、画素値の大きさ（明るさ）に応じて、各露光画像データの合成割合が変わる。合成割合の大きさは画質への影響度であり、合成割合の大きい領域は画質への影響が大きく、合成割合の小さい領域ほど画質への影響は少ない。よって、圧縮記録するＲＡＷデータも、ＨＤＲ合成処理の合成割合に基づく画質への影響度に応じて符号量を最適に配分する必要がある。すなわち、合成割合が大きい領域ほど符号量を多く割り振ることで画質を担保し、合成割合が小さく画質への影響が軽微な領域の符号量を削減するように量子化パラメータを設定することが重要となる。

【0054】

続いて、量子化パラメータ生成部６０３が行う量子化パラメータ生成における基本的な考え方について説明する。これまで説明したように、ＨＤＲ合成処理を想定した合成割合に応じて量子化パラメータの重みづけを行うことが前提である。これに、画像の視覚特性を考慮した明るさに応じた量子化パラメータの重みづけの考え方を加える。

【0055】

ＲＡＷデータは、現像後のポスト処理においてガンマ補正処理、トーンカーブ補正処理といった輝度レベルの調整が行われる。元の輝度レベルが小さい暗部と元の輝度レベルが大きい明部を比較した場合、同一の輝度レベルに調整をしたとしても暗部のほうが画素値の変動割合が大きい。仮に、暗部と明部とで同一の量子化パラメータで量子化処理を行うと、暗部の方が画素値の変動割合が大きいため、量子化処理による量子化誤差も増幅されて、画質劣化が目立ちやすくなる。一方、輝度レベルの変動割合の小さい明部は、画素値の変動割合も小さいため、量子化誤差の増幅も少なく、画質劣化が目立ちにくい。ＲＡＷデータは、ポスト処理後の画質を担保する必要があるため、ポスト処理によって増幅する量子化誤差を考慮して量子化を行う必要がある。また、暗部は明部と比べて相対的にコントラストが小さく、サブバンドデータの信号レベルが小さい。そのため暗部に対して粗い量子化を施すと、量子化後のサブバンドデータが０になりやすい。一度係数が０になってしまうと逆量子化工程で信号を復元することはできず目立った画質劣化が生じる。

【0056】

このような理由から、画質劣化が目立ちやすい暗部領域は量子化パラメータが小さくなるように、画質劣化が目立ちにくい明部領域は量子化パラメータが大きくなるように制御する。本実施形態では、各サブバンドに対する量子化パラメータをひとまとめにした量子化テーブルを予め用意しておき、合成割合や明るさの特徴量に応じて参照する量子化テーブルを切り替える構成について説明する。この量子化テーブルは、ｌｅｖに応じたサブバンドデータ毎の量子化パラメータによって構成される。画質劣化が目立ちやすい低域サブバンドほど量子化パラメータが小さくなるように、各サブバンドの量子化パラメータが設定される。仮にｌｅｖ＝１であったとすると、各サブバンドの量子化パラメータの大小関係は、１ＬＬ＜１ＨＬ＝１ＬＨ＜１ＨＨのようになる。

【0057】

この明るさに応じた量子化パラメータの重みづけの考え方を踏まえて、各露光時間で撮像したＲＡＷデータに対する量子化テーブルの設定例を、以下の３つの条件に分けて説明する。なお本実施形態では、明るさの特徴量を暗部、中間部、明部の３つの特徴領域に分類する例について説明する。なお、分類する特徴の定義は図１０、図１１のヒストグラムと同様である。

【0058】

［短時間露光ＲＡＷデータと長時間露光ＲＡＷデータの露光時間が同じ］
この条件では、隣接する同一色成分４画素ごとの画素平均によって１つのＲＡＷデータが生成される（図６参照）。量子化対象となるのは１つのＲＡＷデータで、ＨＤＲ合成処理が行われることはないため、画素平均によって生成したＲＡＷデータを用いて明るさの特徴分類を行い、分類結果に応じた量子化テーブルを用いて量子化を行う。量子化テーブルの設定例を図１２（ａ）に示す。Ｑ０は暗部の画質を保証する量子化テーブル、Ｑ１は中間の画質を保証する量子化テーブル、Ｑ２は明部の画質を保証する量子化テーブルである。量子化テーブルの大小関係は以下の通りである。

【0059】

Ｑ０＜Ｑ１＜Ｑ２
このように、視覚特性に基づく明るさに応じた量子化テーブルが設定される。

【0060】

［短時間露光ＲＡＷデータと長時間露光ＲＡＷデータの露光時間が異なり、かつ、短時間露光ＲＡＷデータが適正露出の場合］
この条件では、画像データは、短時間露光ＲＡＷデータと長時間露光ＲＡＷデータに分離される（図４、図５参照）。量子化テーブルの設定例を図１２（ｂ）に示す。上述した通り、適正露出で撮像される短時間露光ＲＡＷデータは黒潰れが起こりやすいため、露出オーバーで撮像した長時間露光ＲＡＷデータを用いて暗部のＤＲの拡張を行う。図中のＱ１とＱ２の量子化テーブルについては図１２（ａ）と同様（図１２（ａ）に対応する）である。ここでは新たにＱ３、Ｑ４の２つの量子化テーブルが追加される。Ｑ３はＨＤＲ合成処理において合成割合が少なく、画質への影響が小さい領域として発生符号量を抑制することを目的としたテーブルである。Ｑ４はＨＤＲ合成処理において黒潰れが起こりやすい暗部のＤＲを拡張するために、符号量を多く割り当てることを目的とした量子化テーブルである。量子化テーブルの大小関係は以下の通りである。

【0061】

Ｑ０≦Ｑ４＜Ｑ１＜Ｑ２＜Ｑ３
または、
Ｑ０＜Ｑ４≦Ｑ１＜Ｑ２＜Ｑ３
Ｑ４の量子化パラメータは、Ｑ０の量子化パラメータ以上で、Ｑ２の量子化パラメータよりも小さい。このように、視覚特性に基づく明るさに応じた量子化テーブルに加えて、合成割合が多い長時間露光ＲＡＷデータの暗部に対して比較的小さい量子化テーブルを設定することで、ＨＤＲ合成処理後の画質を担保することが可能となる。一方、合成割合の少ない短時間露光ＲＡＷデータの暗部、長時間露光ＲＡＷデータの中間部と明部に大きい量子化テーブルを設定することで、ＨＤＲ合成処理後の画質を低下させることなく効果的にデータ量を削減することが可能となる。

【0062】

［短時間露光ＲＡＷデータと長時間露光ＲＡＷデータの露光時間が異なり、かつ、長時間露光ＲＡＷデータが適正露出の場合］
この条件でも、画像データは、短時間露光画素で構成されるＲＡＷデータと長時間露光画素で構成されるＲＡＷデータに分離される（図４、図５参照）。量子化テーブルの設定例を図１２（ｃ）に示す。上述した通り、適正露出で撮像される長時間露光画素は白飛びが起こりやすいため、露出アンダーで撮像した短時間露光画素を用いて明部のＤＲの拡張を行う。図中のＱ０、Ｑ１、Ｑ３の量子化テーブルについては図１２（ａ）、図１２（ｂ）と同様である。ここでは新たにＱ５の量子化テーブルが追加される。Ｑ５はＨＤＲ合成処理において白飛びが起こりやすい明部のＤＲを拡張するために、符号を多く割り当てることを目的とした量子化テーブルである。量子化テーブルの大小関係は以下の通りである。

【0063】

Ｑ０＜Ｑ１≦Ｑ５＜Ｑ２＜Ｑ３
または、
Ｑ０＜Ｑ１＜Ｑ５≦Ｑ２＜Ｑ３
Ｑ５の量子化パラメータは、Ｑ２の量子化パラメータ以下で、Ｑ０の量子化パラメータよりも大きい。このように、視覚特性に基づく明るさに応じた量子化テーブルに加えて、合成割合が多い短時間露光ＲＡＷデータの明部に対して比較的小さい量子化テーブルを設定することで、ＨＤＲ合成処理後の画質を担保することが可能となる。一方、合成割合の少ない長時間露光ＲＡＷデータの明部、短時間露光ＲＡＷデータの暗部と中間部に大きい量子化テーブルを設定することで、ＨＤＲ合成処理後の画質を低下させることなく効果的にデータ量を削減することが可能となる。

【0064】

次に量子化処理手順について、図１３に示すフローチャートを用いて説明する。本実施形態では、説明を分かりやすくするためにｌｅｖ＝１とし、適正露出となる露光時間で撮像したＲＡＷデータを構成するサブバンドデータを用いて明るさの特徴量を算出するものとする。

【0065】

明るさの特徴量の算出、および量子化処理は１係数単位で行うものとし、係数毎の明るさの特徴量に応じて、露光時間が異なるそれぞれのＲＡＷデータに適用する量子化テーブル（詳細は図１２参照）を一意に決定するように動作する。

【0066】

本実施形態では、画素毎に露光時間を変えて撮像する際の動作モードをＨＤＲモード、露光時間を変えずに撮像する際の動作モードを通常モードと呼ぶこととする。上述した通り、ＨＤＲモードは通常モードに比べて記録するＲＡＷデータの水平サイズ、垂直サイズが倍となるため（図４、図５、図６参照）、それぞれのモードで量子化処理対象のデータ量は異なる。

【0067】

ステップＳ１２０１では、制御部１０８は、撮像装置１００の動作モードがＨＤＲモードであるか否かを判定する。ＨＤＲモードである場合はステップＳ１２０２に、そうでない場合はステップＳ１２１９に処理を進める。

【0068】

ステップＳ１２０２では、制御部１０８は、短時間露光ＲＡＷデータが適正露出であるか否かを判定する。短時間露光ＲＡＷデータが適正露出である場合はステップＳ１２０３に、そうでない場合はステップＳ１２１１に処理を進める。

【0069】

ステップＳ１２０３では、制御部１０８は、適正露出となる短時間露光サブバンドデータを用いて明るさの特徴量を算出する。明るさの特徴量はＧ１（緑）成分の１ＬＬサブバンドの係数の大きさを用いる。ＬＬサブバンドはＤＣ成分であることから、明るさを表すことができ、また、Ｇ１成分を用いるのは、人間の視覚特性がＧ成分の変化に敏感で、重要な視覚情報となるためである。

【0070】

ステップＳ１２０４では、制御部１０８は、ステップＳ１２０３で算出した明るさの特徴量と所定の閾値との大小関係に基づき暗部であるか否かを判定する。暗部である場合はステップＳ１２０５に、そうでない場合はステップＳ１２０６に処理を進める。

【0071】

ステップＳ１２０５では、制御部１０８は、短時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ３に決定し、長時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ４に決定して量子化処理を実行する。

【0072】

ステップＳ１２０６では、制御部１０８は、ステップＳ１２０３で算出された明るさの特徴量と所定の閾値との大小関係に基づき中間部であるか否かを判定する。中間部である場合はステップＳ１２０７に、そうでない場合はステップＳ１２０８に処理を進める。

【0073】

ステップＳ１２０７では、短時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ１に、長時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ３に決定して量子化処理を実行する。

【0074】

ステップＳ１２０８では、制御部１０８は、短時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ２に、長時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ３に決定して量子化処理を実行する。

【0075】

ステップＳ１２０９では、制御部１０８は、画面内の全サブバンドデータに対する量子化処理が完了したか否かを判定する。全てのサブバンドデータの量子化が完了した場合は処理を終了し、そうでない場合はステップＳ１２１０に処理を進める。

【0076】

ステップＳ１２１０では、制御部１０８は、量子化処理対象係数を更新する。係数の更新が完了するとステップＳ１２０３に処理を戻す。

【0077】

ステップＳ１２１１では、制御部１０８は、適正露出となる長時間露光サブバンドデータを用いて明るさの特徴量を算出する。ステップＳ１２０３と同様に明るさの特徴量はＧ１成分の１ＬＬサブバンドの係数の大きさを用いる。

【0078】

ステップＳ１２１２では、制御部１０８は、ステップＳ１２１１で算出された明るさの特徴量と所定の閾値との大小関係に基づき暗部であるか否かを判定する。暗部である場合はステップＳ１２１３に、そうでない場合はステップＳ１２１４に処理を進める。

【0079】

ステップＳ１２１３では、短時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ３に、長時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ０に決定して量子化処理を実行する。

【0080】

ステップＳ１２１４では、制御部１０８は、ステップＳ１２１１で算出された明るさの特徴量と所定の閾値との大小関係に基づき中間部であるか否かを判定する。中間部である場合はステップＳ１２１５に、そうでない場合はステップＳ１２１６に処理を進める。

【0081】

ステップＳ１２１５では、制御部１０８は、短時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ３に、長時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ１に決定して量子化処理を実行する。

【0082】

ステップＳ１２１６では、制御部１０８は、短時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ５に、長時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ３に決定して量子化処理を実行する。

【0083】

ステップＳ１２１７では、制御部１０８は、画面内の全サブバンドデータに対する量子化処理が完了したか否かを判定する。全てのサブバンドデータの量子化が完了した場合は処理を終了し、そうでない場合はステップＳ１２１８に処理を進める。

【0084】

ステップＳ１２１８では、制御部１０８は、量子化処理対象係数を更新する。係数の更新が完了するとステップＳ１２１１に処理を戻す。

【0085】

ステップＳ１２１９では、通常モードとなるため、制御部１０８は、加算平均して生成したＲＡＷデータを周波数変換して得たサブバンドデータを用いて明るさの特徴量を算出する。ステップＳ１２０３と同様に、明るさの特徴量は加算平均したＧ１成分の１ＬＬサブバンドの係数の大きさを用いる。

【0086】

ステップＳ１２２０では、制御部１０８は、ステップＳ１２１９で算出された明るさの特徴量と所定の閾値との大小関係に基づき暗部であるか否かを判定する。暗部である場合はステップＳ１２２１に、そうでない場合はステップＳ１２２２に処理を進める。

【0087】

ステップＳ１２２１では、制御部１０８は、ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ０に決定して量子化処理を実行する。

【0088】

ステップＳ１２２２では、制御部１０８は、ステップＳ１２１９で算出された明るさの特徴量と所定の閾値との大小関係に基づき中間部であるか否かを判定する。中間部である場合はステップＳ１２２３に、そうでない場合はステップＳ１２２４に処理を進める。

【0089】

ステップＳ１２２３では、制御部１０８は、ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ１に決定して量子化処理を実行する。

【0090】

ステップＳ１２２４では、制御部１０８は、ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ２に決定して量子化処理を実行する。

【0091】

ステップＳ１２２５では、制御部１０８は、画面内の全サブバンドデータに対する量子化処理が完了したか否かを判定する。全てのサブバンドデータの量子化が完了した場合は処理を終了し、そうでない場合はステップＳ１２２６に処理を進める。

【0092】

ステップＳ１２２６では、制御部１０８は、量子化処理対象係数を更新する。係数の更新が完了するとステップＳ１２１９に処理を戻す。

【0093】

以上説明したように、本実施形態では分離部１０２で露光時間ごとにＲＡＷデータを分離して、露光時間が異なる画素間のレベル差をなくし、高周波成分を抑制することによりＲＡＷデータの記録データ量を削減することが可能となる。そして、現像処理後のＨＤＲ合成処理を想定した合成割合を考慮した量子化パラメータの重みづけによって、ＲＡＷデータの記録データ量を効果的に削減することが可能となる。

【0094】

なお、本実施形態では、明るさの特徴を３つに分類する例について説明したが、分類する領域の数はこれに限定されるものではなく、特徴の段階を更に増やしてもよい。

【0095】

また、図１３に示したフローチャートでは、Ｇ１成分の１ＬＬサブバンドデータを用いて算出した特徴量に基づきその他の色成分のサブバンドデータに対する量子化テーブルを一意に決定するような構成で説明した。しかし、各色成分について独立して特徴量を算出して量子化テーブルを決定するように動作させてもよい。

【0096】

また、特徴量の算出単位と量子化の処理単位を１係数毎に行う例について説明したが、係数ブロック（２係数以上）を処理単位にしてもよい。

【0097】

また、図１３に示したフローチャートでは、ｌｅｖ＝１の例について説明しているが、ｌｅｖ＝２以上となる場合は、ｌｅｖに応じてサブバンドデータの水平、垂直サイズが異なる。そのため特徴量の算出単位と量子化の処理単位を同一サイズにすることはできない。仮に、ｌｅｖ＝２で、２ＬＬサブバンドデータの１係数単位で特徴量を算出したとする。この場合は、周波数分解におけるサブサンプリングの性質により、ｌｅｖ＝１のサブバンドデータは２×２のブロックを量子化の処理単位として設定する必要がある。

【0098】

また、明るさの特徴量を１ＬＬサブバンドデータの係数の大きさとしたが、複数の色成分の１ＬＬサブバンドデータの係数から算出した平均値や画素を用いる等、その他の方法によって明るさを表す特徴量を生成してもよく、上記の方法に限定されるものではない。

【0099】

また、チャネル変換部６０１は、ベイヤー配列のＲ、Ｇ１、Ｇ２、Ｂの色要素毎に４つのチャネルへ変換する例を用いて説明したが、Ｒ、Ｇ１、Ｇ２、Ｂに対して更に以下の変換式７～１０により変換された４つのチャネルへ変換してもよい。

【0100】

Ｙ＝（Ｒ＋Ｇ１＋Ｇ２＋Ｂ）／４ 式７
Ｃ０＝Ｒ－Ｂ 式８
Ｃ１＝（Ｇ０＋Ｇ１）／２－（Ｒ＋Ｂ）／２ 式９
Ｃ２＝Ｇ０－Ｇ１ 式１０
上記の変換式は、輝度と色差で構成される４つのチャネルへの変換例を示している。この場合は、人間の視覚特性を利用して輝度成分の量子化パラメータを小さくし、その他の色差成分に対する量子化パラメータを大きくするように制御すれば符号化効率は高まる。なお、チャネル数と変換方法は上記以外の方法であってもよい。

【0101】

（第２の実施形態）
次に第２の実施形態について説明する。第２の実施形態では、適正露出でないＲＡＷデータについての、合成割合の大きい特徴領域に対する量子化テーブルの決定方法が第１の実施形態と異なる。第１の実施形態では、適正露出でないＲＡＷデータの合成割合が大きい特徴領域に対する量子化テーブルを予め用意した固定パターンを設定していた。そのため、各露光ＲＡＷデータが適正露出と極端に異なるような露光時間で撮像されたとすると、明るさに応じた最適な量子化テーブルを選択できず、画質劣化を引き起こしたり、不要に符号を増加させてしまう可能性があった。そこで本実施形態では、合成割合の大きい特徴領域については、適正露出でないＲＡＷデータに対しても明るさの特徴判定を行い、特徴に応じた最適な量子化テーブルを選択することで符号化効率を更に高める方法について説明する。なお、第２の実施形態の撮像装置の構成は第１の実施形態の構成と同様であるため、説明を省略する。

【0102】

本実施形態の量子化処理手順を図１４に示す。第１の実施形態との差分は、処理ステップＳ１３０１～Ｓ１３１２が追加されている点である。第１の実施形態と同様の処理ステップについては説明を省略し、差分についてのみ説明する。

【0103】

ステップＳ１３０１では、制御部１０８は、露出オーバーとなる長時間露光サブバンドデータを用いて明るさの特徴量を算出する。第１の実施形態と同様に明るさの特徴量はＧ１成分の１ＬＬサブバンドの係数の大きさを用いる。

【0104】

ステップＳ１３０２では、制御部１０８は、ステップＳ１３０１で算出された明るさの特徴量と所定の閾値との大小関係に基づき暗部であるか否かを判定する。暗部である場合はステップＳ１３０３に、そうでない場合はステップＳ１３０４に処理を進める。

【0105】

ステップＳ１３０３では、制御部１０８は、長時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ０に決定して量子化処理を実行する。

【0106】

ステップＳ１３０４では、制御部１０８は、ステップＳ１３０１で算出された明るさの特徴量と所定の閾値との大小関係に基づき中間部であるか否かを判定する。中間部である場合はステップＳ１３０５に、そうでない場合はステップＳ１３０６に処理を進める。

【0107】

ステップＳ１３０５では、制御部１０８は、長時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ１に決定して量子化処理を実行する。

【0108】

ステップＳ１３０６では、制御部１０８は、長時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ２に決定して量子化処理を実行する。

【0109】

ステップＳ１３０７では、制御部１０８は、露出アンダーとなる短時間露光サブバンドデータを用いて明るさの特徴量を算出する。第１の実施形態と同様に、明るさの特徴量は、Ｇ１成分の１ＬＬサブバンドの係数の大きさを用いる。

【0110】

ステップＳ１３０８では、制御部１０８は、ステップＳ１３０７で算出された明るさの特徴量と所定の閾値との大小関係に基づき暗部であるか否かを判定する。暗部である場合はステップＳ１３０９に、そうでない場合はステップＳ１３１０に処理を進める。

【0111】

ステップＳ１３０９では、制御部１０８は、短時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ０に決定して量子化処理を実行する。

【0112】

ステップＳ１３１０では、制御部１０８は、ステップＳ１３０７で算出された明るさの特徴量と所定の閾値との大小関係に基づき中間部であるか否かを判定する。中間部である場合はステップＳ１３１１に、そうでない場合はステップＳ１３１２に処理を進める。

【0113】

ステップＳ１３１１では、制御部１０８は、短時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ１に決定して量子化処理を実行する。

【0114】

ステップＳ１３１２では、制御部１０８は、短時間露光ＲＡＷデータを構成する各色成分サブバンドデータの量子化テーブルをＱ２に決定して量子化処理を実行する。

【0115】

以上説明したように、非適正露出の露光時間で撮像したＲＡＷデータに対しても明るさに応じた最適な量子化テーブルを設定することで、符号化効率を更に高めることが可能となる。

【0116】

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

【0117】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0118】

１００：撮像装置、１０１：撮像部、１０２：分離部、１０３：ＲＡＷ符号化部、１０４：記録処理部、１０５：記録媒体、１０６：メモリＩ／Ｆ、１０７：メモリ、１０８：制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】