特許 7579075 符号化装置、撮像装置、制御方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-29

(45)【発行日】2024-11-07

(54)【発明の名称】符号化装置、撮像装置、制御方法、及びプログラム

(51)【国際特許分類】

   H04N 23/60 20230101AFI20241030BHJP

   H04N 19/117 20140101ALI20241030BHJP

   H04N 19/176 20140101ALI20241030BHJP

   H04N 19/182 20140101ALI20241030BHJP

   H04N 1/64 20060101ALI20241030BHJP

【ＦＩ】

H04N23/60 500

H04N19/117

H04N19/176

H04N19/182

H04N1/64

【請求項の数】 13

(21)【出願番号】P 2020118738

(22)【出願日】2020-07-09

(65)【公開番号】P2022022877

(43)【公開日】2022-02-07

【審査請求日】2023-06-20

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】鈴木 遼太

【審査官】堀井 康司

(56)【参考文献】

【文献】特開２００３－１２５２０９（ＪＰ，Ａ）

【文献】特開２００３－２１９３６６（ＪＰ，Ａ）

【文献】特開平０３－１９２９８１（ＪＰ，Ａ）

【文献】特開平０７－１５４７９２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ １９／８５

Ｈ０４Ｎ １９／１１７

Ｈ０４Ｎ １９／１７６

Ｈ０４Ｎ １９／１８２

Ｈ０４Ｎ １９／１３７

Ｈ０４Ｎ １／６４

(57)【特許請求の範囲】

【請求項1】

ＲＡＷ画像データに対して高周波成分を減少させるフィルタ処理を適用するフィルタ手段と、
前記ＲＡＷ画像データについて、明度を示す第１の特徴情報とコントラストを示す第２の特徴情報とを取得する取得手段と、
前記ＲＡＷ画像データの前記第１の特徴情報と前記第２の特徴情報とに基づいて、前記ＲＡＷ画像データの各画素について前記フィルタ処理のフィルタ強度を決定する決定手段と、
前記フィルタ処理が適用された前記ＲＡＷ画像データを符号化する符号化手段と、
を備え、
第１の明度と第１のコントラストを持つ第１の画素のフィルタ強度は、前記第１の明度より大きい第２の明度と前記第１のコントラストを持つ第２の画素のフィルタ強度より小さく、
第３の明度と第２のコントラストとを持つ第３の画素のフィルタ強度は、前記第３の明度と前記第２のコントラストより高い第３のコントラストとを持つ第４の画素のフィルタ強度より大きい、
ことを特徴とする符号化装置。

【請求項2】

前記決定手段は、所定のコントラスト閾値より低いコントラストを持つ画素については、前記第１の特徴情報を考慮せずに前記フィルタ処理のフィルタ強度を決定する
ことを特徴とする請求項１に記載の符号化装置。

【請求項3】

前記第３の明度が所定の明度閾値より小さい場合、前記第３の明度と前記第２のコントラストより高く前記第３のコントラストより低い第４のコントラストとを持つ第５の画素のフィルタ強度は、前記第３の明度と前記第２のコントラストとを持つ前記第３の画素のフィルタ強度より小さく、
前記第３の明度が前記所定の明度閾値より大きい場合、前記第５の画素のフィルタ強度は前記第３の画素のフィルタ強度に等しい
ことを特徴とする請求項１又は２に記載の符号化装置。

【請求項4】

前記決定手段は、前記ＲＡＷ画像データが静止画撮影により生成されたか動画撮影により生成されたかに更に基づいて、前記ＲＡＷ画像データの各画素について前記フィルタ処理のフィルタ強度を決定し、
前記ＲＡＷ画像データが動画撮影により生成された場合の前記第１の画素のフィルタ強度は、前記ＲＡＷ画像データが静止画撮影により生成された場合の前記第１の画素のフィルタ強度より大きい
ことを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。

【請求項5】

前記決定手段は、前記ＲＡＷ画像データが静止画撮影により生成されたか動画撮影により生成されたかに更に基づいて、前記ＲＡＷ画像データの各画素について前記フィルタ処理のフィルタ強度を決定し、
前記ＲＡＷ画像データが静止画撮影により生成された場合、前記第１の明度より大きく前記第２の明度より小さい第４の明度を持つ第６の画素のフィルタ強度は、前記第１の画素のフィルタ強度と等しく、
前記ＲＡＷ画像データが動画撮影により生成された場合、前記第６の画素のフィルタ強度は、前記第２の画素のフィルタ強度と等しい
ことを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。

【請求項6】

前記決定手段は、前記ＲＡＷ画像データが静止画撮影により生成されたか動画撮影により生成されたかに更に基づいて、前記ＲＡＷ画像データの各画素について前記フィルタ処理のフィルタ強度を決定し、
前記ＲＡＷ画像データが動画撮影により生成された場合の前記第３の画素のフィルタ強度は、前記ＲＡＷ画像データが静止画撮影により生成された場合の前記第３の画素のフィルタ強度より大きい
ことを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。

【請求項7】

前記決定手段は、前記ＲＡＷ画像データが静止画撮影により生成されたか動画撮影により生成されたかに更に基づいて、前記ＲＡＷ画像データの各画素について前記フィルタ処理のフィルタ強度を決定し、
前記ＲＡＷ画像データが静止画撮影により生成された場合、前記第３の明度と前記第２のコントラストより高く前記第３のコントラストより低い第５のコントラストとを持つ第７の画素のフィルタ強度は、前記第４の画素のフィルタ強度と等しく、
前記ＲＡＷ画像データが動画撮影により生成された場合、前記第７の画素のフィルタ強度は、前記第３の画素のフィルタ強度と等しい
ことを特徴とする請求項１乃至３のいずれか１項に記載の符号化装置。

【請求項8】

前記ＲＡＷ画像データが動画撮影により生成された場合、前記決定手段は、前記符号化の圧縮率の設定に更に基づいて、前記ＲＡＷ画像データの各画素について前記フィルタ処理のフィルタ強度を決定し、
前記設定が第１の圧縮率の場合の前記第１の画素のフィルタ強度は、前記設定が前記第１の圧縮率より高い第２の圧縮率の場合の前記第１の画素のフィルタ強度より小さい
ことを特徴とする請求項１乃至７のいずれか１項に記載の符号化装置。

【請求項9】

前記決定手段は、前記ＲＡＷ画像データの画素毎に、前記フィルタ処理のフィルタ強度を決定する
ことを特徴とする請求項１乃至８のいずれか１項に記載の符号化装置。

【請求項10】

前記決定手段は、前記ＲＡＷ画像データのブロック毎に、前記フィルタ処理のフィルタ強度を決定する
ことを特徴とする請求項１乃至８のいずれか１項に記載の符号化装置。

【請求項11】

請求項１乃至１０のいずれか１項に記載の符号化装置と、
前記ＲＡＷ画像データを生成する撮像手段と、
を備えることを特徴とする撮像装置。

【請求項12】

符号化装置の制御方法であって、
ＲＡＷ画像データに対して高周波成分を減少させるフィルタ処理を適用するフィルタ工程と、
前記ＲＡＷ画像データについて、明度を示す第１の特徴情報とコントラストを示す第２の特徴情報とを取得する取得工程と、
前記ＲＡＷ画像データの前記第１の特徴情報と前記第２の特徴情報とに基づいて、前記ＲＡＷ画像データの各画素について前記フィルタ処理のフィルタ強度を決定する決定工程と、
前記フィルタ処理が適用された前記ＲＡＷ画像データを符号化する符号化工程と、
を備え、
第１の明度と第１のコントラストを持つ第１の画素のフィルタ強度は、前記第１の明度より大きい第２の明度と前記第１のコントラストを持つ第２の画素のフィルタ強度より小さく、
第３の明度と第２のコントラストとを持つ第３の画素のフィルタ強度は、前記第３の明度と前記第２のコントラストより高い第３のコントラストとを持つ第４の画素のフィルタ強度より大きい、
ことを特徴とする制御方法。

【請求項13】

コンピュータを、請求項１乃至１０のいずれか１項に記載の符号化装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、符号化装置、撮像装置、制御方法、及びプログラムに関する。

【背景技術】

【0002】

現在、撮像素子で得られた直後の現像未処理の撮像データ（ＲＡＷ画像データ）を記録可能なデジタルカメラがある。ＲＡＷ画像データは、色情報を損ねることなく豊富な階調を保ったまま記録されるため、自由度の高い編集を可能とする。しかし、ＲＡＷ画像データはデータ量が膨大であるため、記録媒体の空き領域を圧迫させてしまうという問題がある。そのため、一般的にＲＡＷ画像データは、圧縮符号化を行うことによりデータ量を抑えてから記録される。例えば、特許文献１は、ベイヤー配列のＲＡＷ画像データをＲ、Ｇ１、Ｇ２、Ｂの４つのプレーンデータに分離して符号化する方法を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００３－１２５２０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ＲＡＷ画像データを生成する過程では、撮像素子や回路の特性により、暗電流ノイズ、熱雑音、及びショットノイズなどが発生するため、ＲＡＷ画像データにノイズが混入する。このノイズは、画素値にランダムな変動を引き起こすため、高周波成分となり符号化効率低下に繋がる可能性がある。従って、符号化効率を高めるには、符号化前にノイズを抑制する必要がある。このノイズ抑制手法の１つに、ガウシアンフィルタが挙げられる。ガウシアンフィルタのフィルタ強度が大きい（強い）と、ノイズ削減効果が向上して符号化効率が向上するが、解像感低下により画質劣化が発生する。反対に、ガウシアンフィルタのフィルタ強度が小さい（弱い）と、画質劣化は抑制されるが、ノイズ削減効果が低下して符号化効率が低下する。

【0005】

本発明はこのような状況に鑑みてなされたものであり、ＲＡＷ画像データに対して画質劣化の抑制とノイズ削減効果の向上とをバランスよく両立するようにフィルタ処理を適用する技術を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明は、ＲＡＷ画像データに対して高周波成分を減少させるフィルタ処理を適用するフィルタ手段と、前記ＲＡＷ画像データについて、明度を示す第１の特徴情報とコントラストを示す第２の特徴情報とを取得する取得手段と、前記ＲＡＷ画像データの前記第１の特徴情報と前記第２の特徴情報とに基づいて、前記ＲＡＷ画像データの各画素について前記フィルタ処理のフィルタ強度を決定する決定手段と、前記フィルタ処理が適用された前記ＲＡＷ画像データを符号化する符号化手段と、を備え、第１の明度と第１のコントラストを持つ第１の画素のフィルタ強度は、前記第１の明度より大きい第２の明度と前記第１のコントラストを持つ第２の画素のフィルタ強度より小さく、第３の明度と第２のコントラストとを持つ第３の画素のフィルタ強度は、前記第３の明度と前記第２のコントラストより高い第３のコントラストとを持つ第４の画素のフィルタ強度より大きい、ことを特徴とする符号化装置を提供する。

【発明の効果】

【0007】

本発明によれば、ＲＡＷ画像データに対して画質劣化の抑制とノイズ削減効果の向上とをバランスよく両立するようにフィルタ処理を適用することが可能となる。

【0008】

なお、本発明のその他の特徴及び利点は、添付図面及び以下の発明を実施するための形態における記載によって更に明らかになるものである。

【図面の簡単な説明】

【0009】

【図1】符号化装置を含む撮像装置１００の構成を示すブロック図。

【図2】ベイヤー配列のＲＡＷ画像データを示す図。

【図3】フィルタ処理部１０４の詳細な構成を示すブロック図。

【図4】明度及びコントラストとフィルタ強度との関係を示す図。

【図5】フィルタ処理のフローチャート。

【図6】フィルタ対象画素及び周辺画素の画素値を説明する図。

【図7】動画記録用の明度及びコントラストとフィルタ強度との関係を示す図。

【図8】第２の実施形態に係る、フィルタ強度の設定パターンの選択処理のフローチャート。

【図9】第３の実施形態に係る、フィルタ強度の設定パターンの選択処理のフローチャート。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

［第１の実施形態］
図１は、符号化装置を含む撮像装置１００の構成を示すブロック図である。撮像装置１００は、撮像により得られたＲＡＷ画像データに対して所定のフィルタ処理を施すことでノイズを低減し、符号化及び記録を行うように構成されている。

【0012】

制御部１０１は、撮像装置１００の各部を制御する。撮像部１０２は、レンズ光学系及び撮像素子を含み、撮像素子により得られた電気信号をデジタル信号に変換することによりＲＡＷ画像データを生成する。ＲＡＷ画像データは、図２に示すベイヤー配列で構成される。生成されたＲＡＷ画像データは、メモリＩ／Ｆ１０７を介してメモリ１０８に記憶される。レンズ光学系は、光学レンズ、絞り、フォーカス制御部、及びレンズ駆動部を含み、光学ズームが可能なように構成される。撮像素子は、レンズ光学系からの光情報を電気信号に変換するＣＣＤイメージセンサ、又はＣＭＯＳセンサなどを含む。

【0013】

プレーン変換部１０３は、メモリ１０８に記憶されたＲＡＷ画像データをメモリＩ／Ｆ１０７を介して読み出し、各色要素（Ｒ、Ｇ１、Ｇ２、Ｂ）に分離することにより、ＲＡＷ画像データを４つの独立したプレーンデータに変換する。そして、プレーン変換部１０３は、４つのプレーンデータをメモリＩ／Ｆ１０７を介してメモリ１０８に書き出す。なお、プレーンデータへの変換方法はこれに限定されるものではなく、例えば、下記の式１に示すように、近似的に輝度プレーン（Ｙ）と、その他のプレーン（Ｃ０、Ｃ１、Ｃ２）へ変換する方法などを用いてもよい。

Ｙ＝（Ｒ＋Ｇ１＋Ｇ２＋Ｂ）／４
Ｃ０＝Ｒ－Ｂ
Ｃ１＝（Ｇ０＋Ｇ１）／２－（Ｒ＋Ｂ）／２
Ｃ２＝Ｇ０－Ｇ１
・・・（１）

【0014】

フィルタ処理部１０４は、メモリ１０８に記憶されているＲＡＷ画像データを構成するプレーンデータをメモリＩ／Ｆ１０７を介して読み出し、画素毎に所定のフィルタ処理を施してメモリ１０８に書き戻す。ここでのフィルタ処理は、高周波成分となり得るノイズを除去するローパスフィルタ処理である。ローパスフィルタの１つにガウシアンフィルタがある。ガウシアンフィルタは、ガウス分布を利用して注目画素からの距離に応じて近傍の画素値に重みをかけてノイズを平滑化する技術である。フィルタ対象となる重心画素の座標を（０，０）、座標（ｉ，ｊ）におけるフィルタ処理前の画像データをｆ（ｉ，ｊ）、フィルタのカーネルサイズをｗ、標準偏差をσとした場合、フィルタ処理後の画像データｇ（ｉ，ｊ）は下記の式２で表される。

【0015】

式２で示した通り、ガウシアンフィルタは、標準偏差σが決定すると周囲の画素値への重みづけ係数が一意に決定される。即ち、標準偏差σは、フィルタ強度を表すパラメータである。以降の説明では、標準偏差σのことをフィルタ強度と呼ぶこととする。フィルタ処理の詳細は後述する。

【0016】

なお、フィルタ処理部１０４のフィルタ処理で用いられるフィルタは、ガウシアンフィルタに限定されず、高周波成分を減少させる任意のフィルタを用いることができる。フィルタ強度に対応するパラメータは、フィルタ処理で用いられるフィルタの種類に応じて適宜選択される。

【0017】

符号化処理部１０５は、フィルタ処理部１０４によるフィルタ処理後のプレーンデータに対して所定の圧縮方式を用いた圧縮符号化を行い、符号化データを生成する。そして、符号化処理部１０５は、生成した符号化データを記録媒体１０６に記録する。圧縮方式は特に限定されず、ＲＡＷ画像データ用の任意の圧縮方式を利用することができる。

【0018】

記録媒体１０６は、例えば不揮発性メモリで構成される記録媒体である。メモリＩ／Ｆ１０７は、撮像装置１００の各部からのメモリアクセス要求を調停し、メモリ１０８に対する読み出し及び書き込みの制御を行う。メモリ１０８は、撮像装置１００の各部から出力される各種データを格納するための、例えば揮発性メモリで構成される記憶領域である。

【0019】

図３は、フィルタ処理部１０４の詳細な構成を示すブロック図である。フィルタ処理部１０４は、特徴情報生成部３０１、フィルタ強度決定部３０２、及びフィルタ処理実行部３０３を含む。

【0020】

特徴情報生成部３０１は、メモリＩ／Ｆ１０７を介して読み出された各色成分のプレーンデータに関する特徴情報を生成し、生成した特徴情報をフィルタ強度決定部３０２に出力する。ここで生成される特徴情報は、明度（第１の特徴情報）及びコントラスト（第２の特徴情報）の２種類であり、フィルタ強度を決定するための指標値となる。特徴情報の算出方法の一例を式３に示す。式３において、ｇ０～ｇ８は図６に示す画素値であり、ＭＡＸは候補値の中から最大値を求める関数である。

明度＝ｇ０
コントラスト＝ＭＡＸ（｜ｇ０－ｇ１｜，｜ｇ０－ｇ２｜，｜ｇ０－ｇ３｜，
｜ｇ０－ｇ４｜，｜ｇ０－ｇ５｜，｜ｇ０－ｇ６｜，
｜ｇ０－ｇ７｜，｜ｇ０－ｇ８｜）
・・・（３）

【0021】

式３に示すように、明度はフィルタ対象画素の画素値である。また、コントラストは、フィルタ対象画素とフィルタ対象画素に隣接する８画素それぞれとの間の差分絶対値のうちの最大値である。

【0022】

なお、明度とコントラストの算出方法は式３に示すもの限定されず、その他の算出方法を用いてもよい。

【0023】

また、プレーンデータとしてＹ、Ｃ０、Ｃ１、Ｃ２を用いる場合（式１参照）、特徴情報生成部３０１は、輝度プレーン（Ｙ）についてのみ明度及びコントラストのような特徴情報を生成してもよい。この場合、輝度プレーン（Ｙ）の特徴情報に基づいて決定されるフィルタ強度が、その他のプレーン（Ｃ０、Ｃ１、Ｃ２）のフィルタ処理においても使用される。或いは、人間の視覚特性を考慮し、その他のプレーン（Ｃ０、Ｃ１、Ｃ２）のためのフィルタ強度として、輝度プレーン（Ｙ）の特徴情報に基づいて決定されるフィルタ強度よりも大きいフィルタ強度を用いてもよい。例えば、輝度プレーン（Ｙ）の特徴情報に基づいて決定されるフィルタ強度に１より大きい係数を乗じることにより、その他のプレーン（Ｃ０、Ｃ１、Ｃ２）のためのフィルタ強度を生成してもよい。

【0024】

更に、プレーンデータとしてＲ、Ｇ１、Ｇ２、Ｂを用いる場合であっても、特徴情報生成部３０１は、特定のプレーン（例えば、Ｒ）についてのみ特徴情報を生成してもよい。この場合、特定のプレーン（例えば、Ｒ）の特徴情報に基づいて決定されるフィルタ強度が、その他のプレーン（例えば、Ｇ１、Ｇ２、Ｂ）のフィルタ処理においても使用される。

【0025】

このように特定のプレーンについてのみ特徴情報の生成及びフィルタ強度の決定を行う場合、フィルタ処理部１０４は、１つのプレーンを処理するための特徴情報生成部３０１及びフィルタ強度決定部３０２のみを備えていればよい。従って、回路規模を削減することが可能である。

【0026】

ここで、特徴情報（明度及びコントラスト）とフィルタ強度との関係について説明する。ＲＡＷ画像データは、記録後のポスト処理にてガンマ補正処理、トーンカーブ補正処理といった輝度レベルの調整が行われる。輝度レベルの調整は、暗部の輝度レベルを向上させ、明部の輝度レベルを低下させる調整が一般的である。元の輝度レベルの小さい暗部と元の輝度レベルの大きい明部とを比較した場合、同一の輝度レベル調整が行われた場合であっても、暗部の方が画素値の変動割合が大きい。仮に暗部と明部とで同一のフィルタ強度でローパスフィルタ処理を行うと、暗部の方が画素値の変動割合が大きいため、フィルタ処理による画素値の変動も増幅されて、画質劣化が目立ちやすい。一方、輝度レベルの変動割合の小さい明部は、画素値の変動割合が小さいため、画質劣化が目立ちにくい。そこで、フィルタ処理部１０４は、画質劣化が目立ちやすい暗部（即ち、明度が小さい（暗い）領域）はフィルタ強度を小さくし、画質劣化が目立ちにくい明部（即ち、明度が大きい（明るい）領域）はフィルタ強度を大きくするようにフィルタ処理を制御する。

【0027】

また、エッジ部にローパスフィルタ処理を行った場合、急峻な画素値の変化がなまって解像感の低下を引き起こすため、画質劣化が目立ちやすい。一方、平坦部は画素の変化が元々少なく解像感の低下が視認しづらいため、画質劣化は目立ちにくい。そこで、フィルタ処理部１０４は、画質劣化が目立ちやすいエッジ部（即ち、コントラストの高い領域）はフィルタ強度を小さくし、画質劣化が目立ちにくい平坦領域（即ち、コントラストの低い領域）はフィルタ強度を大きくするようにフィルタ処理を制御する。

【0028】

このように、画像の特徴によって視覚的な劣化の目立ちやすさが異なるため、フィルタ強度を画面内で均一にする場合、画質を維持するためには微弱なフィルタ処理しか行えず、符号化効率を大きく向上することができない。一方、本実施形態のフィルタ処理部１０４は、画面内で特徴に応じてフィルタ強度を変更しながらフィルタ処理を行うため、画質劣化の抑制とノイズ低減効果の向上（符号化効率の向上）とをバランスよく両立することができる。

【0029】

フィルタ強度決定部３０２は、特徴情報生成部３０１が生成した特徴情報（明度及びコントラスト）を用いて特徴分類を行い、分類結果に応じたフィルタ強度σ０～σ５を決定する。そして、フィルタ強度決定部３０２は、決定したフィルタ強度をフィルタ処理実行部３０３へ出力する。

【0030】

ここで、図４を参照して、特徴分類について説明する。図４において、ＴＨ０は、暗部と明部とを分類するための明度閾値であり、ＴＨ１は、平坦と低コントラストとを分類するためのコントラスト閾値である。ＴＨ２は、暗部において低コントラストと中コントラストとを分類するためのコントラスト閾値であり、ＴＨ３は、暗部において中コントラストと高コントラストとを分類するためのコントラスト閾値である。ＴＨ４は、明部において低コントラストと高コントラストとを分類するためのコントラスト閾値である。各閾値は、画像のビット深度等に応じて任意に設定可能なパラメータである。

【0031】

明度を用いた特徴分類では、特徴情報生成部３０１で算出した明度と閾値ＴＨ０との大小関係に応じて、明度が暗部と明部のいずれかに分類される。また、コントラストを用いた特徴分類では、特徴情報生成部３０１で算出したコントラストと、閾値ＴＨ１、ＴＨ２、ＴＨ３、ＴＨ４との大小関係に応じて、コントラストが平坦、低コントラスト、中コントラスト、高コントラストのいずれかに分類される。

【0032】

特徴分類の結果（特徴領域）は、画質劣化の特徴に対応する。特徴領域毎に適用されるフィルタ強度について説明する。図４に示すσ０～σ５は、各閾値との大小関係によって分類された特徴領域毎に適用するフィルタ強度である。特徴領域毎のフィルタ強度の大小関係の例を以下に示す。

σ０＜σ１≦σ２＜σ３≦σ４＜σ５
（σ０～σ５は任意に設定可能なパラメータである）

【0033】

コントラスト閾値について更に説明する。前述した通り、暗部は微細な情報が含まれることが多いため、ローパスフィルタをかけると微細な情報が失われやすい。そのため、明部と暗部に対するコントラスト閾値を同一値に設定すると、明部のエッジ境界では画質劣化が視認されないのに、暗部の微細なエッジ境界では画質劣化が視認される、といったことが発生する。このように、暗部と明部とでは画質を保護すべき領域の特徴量に違いがあるため、暗部のコントラスト閾値（ＴＨ２、ＴＨ３）と明部のコントラスト閾値（ＴＨ４）とは別個に設定可能なように構成される。また、暗部の方が明部よりもコントラストの分類が細かく行われているのは、暗部の方が微小なコントラストの変化で画質劣化が敏感に表れやすいためである。一方、コントラストがある一定の値（ＴＨ１）を下回る場合（即ち、ほぼ平坦な領域の場合）は、明度に依らず画質劣化が視認しづらくなるため、暗部と明部の閾値を共通化している。

【0034】

フィルタ処理実行部３０３は、メモリＩ／Ｆ１０７を介して読み出されたプレーンデータに対して、ガウシアンフィルタによるフィルタ処理を行う。このフィルタ処理において、フィルタ処理実行部３０３は、フィルタ強度決定部３０２で決定されたフィルタ強度（σ０～σ５）を、式２の標準偏差σに適用する。そして、フィルタ処理実行部３０３は、フィルタ処理後のデータをメモリＩ／Ｆ１０７を介してメモリ１０８に書き込む。

【0035】

図５は、フィルタ処理部１０４が実行する、１つのプレーンデータに対するフィルタ処理のフローチャートである。なお、図５の説明において、図４を参照して説明したフィルタ強度と特徴分類に用いる閾値とをそのまま用いることとする。メモリ１０８に格納されている処理対象プレーンデータ（例えば、Ｒ）が制御部１０１の制御によりフィルタ処理部１０４に入力されると、本フローチャートの処理が開始する。

【0036】

Ｓ５０１で、特徴情報生成部３０１は、フィルタ対象画素の特徴情報（明度及びコントラスト）を生成し、生成した特徴情報をフィルタ強度決定部３０２に出力する。

【0037】

Ｓ５０２で、フィルタ強度決定部３０２は、Ｓ５０１で生成されたコントラストと閾値ＴＨ１との大小関係を判定する。コントラストがＴＨ１より小さい場合、処理ステップはＳ５０３に進み、そうでない場合、処理ステップはＳ５０４に進む。

【0038】

Ｓ５０３で、フィルタ強度決定部３０２は、フィルタ強度をσ５に決定する。このように、フィルタ強度決定部３０２は、ＴＨ１（所定のコントラスト閾値）より低いコントラストを持つ画素については、明度（第１の特徴情報）を考慮せずにフィルタ強度を決定する。

【0039】

Ｓ５０４で、フィルタ強度決定部３０２は、Ｓ５０１で生成された明度と閾値ＴＨ０との大小関係を判定する。明度がＴＨ０より小さい場合、処理ステップはＳ５０５に進み、そうでない場合、処理ステップはＳ５１０に進む。

【0040】

Ｓ５０５で、フィルタ強度決定部３０２は、Ｓ５０１で生成されたコントラストと閾値ＴＨ２との大小関係を判定する。コントラストがＴＨ２より小さい場合、処理ステップはＳ５０６に進み、フィルタ強度決定部３０２は、フィルタ強度をσ３に決定する。コントラストがＴＨ２以上の場合、処理ステップはＳ５０７に進む。

【0041】

Ｓ５０７で、フィルタ強度決定部３０２は、Ｓ５０１で生成されたコントラストと閾値ＴＨ３との大小関係を判定する。コントラストがＴＨ３より小さい場合、処理ステップはＳ５０８に進み、フィルタ強度決定部３０２は、フィルタ強度をσ１に決定する。コントラストがＴＨ３以上の場合、処理ステップはＳ５０９に進み、フィルタ強度決定部３０２は、フィルタ強度をσ０に決定する。

【0042】

Ｓ５１０で、フィルタ強度決定部３０２は、Ｓ５０１で生成されたコントラストと閾値ＴＨ４との大小関係を判定する。コントラストがＴＨ４より小さい場合、処理ステップはＳ５１１に進み、フィルタ強度決定部３０２は、フィルタ強度をσ４に決定する。コントラストがＴＨ４以上の場合、処理ステップはＳ５１２に進み、フィルタ強度決定部３０２は、フィルタ強度をσ２に決定する。

【0043】

Ｓ５０２～Ｓ５１２の処理によりフィルタ強度が決定された後、Ｓ５１３で、フィルタ処理実行部３０３は、決定されたフィルタ強度を用いてフィルタ対象画素に対してガウシアンフィルタを適用する。

【0044】

Ｓ５１４で、フィルタ処理部１０４は、処理対象プレーンデータ（例えば、Ｒ）を構成する全ての画素に対するフィルタ処理が完了したか否かを判定する。全ての画素に対するフィルタ処理が完了していない場合、処理ステップはＳ５０１に戻り、次のフィルタ対象画素に関してＳ５０１～Ｓ５１３の処理が行われる。全ての画素に対するフィルタ処理が完了した場合、本フローチャートの処理は終了する。

【0045】

以上説明したように、第１の実施形態によれば、撮像装置１００は、ＲＡＷ画像データの明度（第１の特徴情報）及びコントラスト（第２の特徴情報）に基づいて、ＲＡＷ画像データの各画素についてフィルタ処理のフィルタ強度を決定する。こうして決定されるフィルタ強度と明度及びコントラストとの関係は、例えば図４に示す通りであり、図４において、σ０＜σ１≦σ２＜σ３≦σ４＜σ５である。

【0046】

これにより、ＲＡＷ画像データに対して画質劣化の抑制とノイズ削減効果の向上とをバランスよく両立するようにフィルタ処理を適用することが可能となる。

【0047】

なお、図４の例では、明度に関して２段階、コントラストに関して４段階（暗部）又は３段階（明部）にフィルタ強度を変更するように特徴分類を行うものとした。しかし、特徴分類の段階（特徴領域）の数は図４の例に限定されるものではなく、段階（特徴領域）の数を増減させてもよい。また、明度及びコントラストの両方を考慮することは必須ではなく、例えば、撮像装置１００は、明度のみ（又はコントラストのみ）に基づいて各画素のフィルタ強度を決定してもよい。

【0048】

［第２の実施形態］
第２の実施形態では、静止画の場合と動画の場合とでフィルタ強度の決定方法を変更する構成について説明する。第２の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。

【0049】

静止画と動画とでは、画像の再生方法が異なる。静止画は１フレーム単位で独立して再生されるのに対し、動画は複数フレームのシーケンス単位で連続的に再生される。そのため、動画は、静止画と比べて１フレームあたりの表示時間が非常に短いため、同等の強度でフィルタ処理を施した際の画質劣化が目立ちにくい。従って、同一の圧縮率で比較した場合は、静止画記録モードと比べて動画記録モードの方がフィルタ強度を更に大きくしてノイズを低減させることで、比較的小さな画質劣化で符号化効率を向上させることができる。

【0050】

そこで、本実施形態の撮像装置１００は、静止画記録モード及び動画記録モードそれぞれに応じたフィルタ強度の設定パターンを保持し、記録モードの設定に応じて使用する設定パターンを切り替えるように動作する。

【0051】

なお、本実施形態では、静止画記録時と動画記録時とで同一のＲＡＷ画像データが撮像部１０２から出力され、静止画記録時には第１の実施形態で説明した図４のフィルタ強度の設定パターンが使用されるものとする。

【0052】

図７（ａ）は、動画記録モード用のフィルタ強度の設定パターンを示す図である。図７（ａ）では、図４と比べて、各特徴領域に対応するフィルタ強度の大きさが異なる。Ａ０～Ａ５は、それぞれ各特徴領域に対応するフィルタ強度の補正量を表しており、補正量は正の値である。従って、動画記録時に図７（ａ）の設定パターンを使用することにより、静止画記録時と比べてフィルタ強度が大きくなる。

【0053】

図８は、第２の実施形態に係る、フィルタ強度の設定パターンの選択処理のフローチャートである。なお、特徴分類方法とフィルタ処理の実行方法については第１の実施形態と同様であるため、説明を省略する。

【0054】

Ｓ８０１で、フィルタ強度決定部３０２は、制御部１０１を介して現在の記録モードを取得する。記録モードは、静止画記録モード又は動画記録モードである。

【0055】

Ｓ８０２で、フィルタ強度決定部３０２は、Ｓ８０１で取得した記録モードが静止画記録モードかどうかを判定する。静止画記録モードの場合、処理ステップは処理をＳ８０３に進み、そうでない場合、処理ステップはＳ８０４に進む。

【0056】

Ｓ８０３で、フィルタ強度決定部３０２は、フィルタ強度の設定パターンとして、静止画記録用の設定パターン（例えば、図４に示す設定パターン）を選択する。

【0057】

Ｓ８０４で、フィルタ強度決定部３０２は、フィルタ強度の設定パターンとして、動画記録用の設定パターン（例えば、図７（ａ）に示す設定パターン）を選択する。

【0058】

なお、動画記録用の設定パターンは、図７（ａ）に示すものに限定されない。他の例として、図７（ｂ）に示す設定パターンを使用することもできる。図７（ｂ）の設定パターンは、図４の設定パターンと比べて、特徴分類に用いる閾値の大きさが異なる。図７（ｂ）のＢ０～Ｂ５は、それぞれ閾値の補正量を表しており、補正量は正の値である。従って、動画記録時に図７（ｂ）の設定パターンを使用することにより、静止画記録時と比べて、フィルタ強度が大きい特徴領域が広くなる（即ち、全体的な傾向としてフィルタ強度が大きくなる）。或いは、更に他の例として、図７（ｃ）に示すような、図４と比べてフィルタ強度と閾値の両方が変更された設定パターンを使用してもよい。

【0059】

以上説明したように、第２の実施形態によれば、撮像装置１００は、ＲＡＷ画像データが静止画撮影により生成されたか動画撮影により生成されたかに更に基づいて、ＲＡＷ画像データの各画素についてフィルタ処理のフィルタ強度を決定する。こうして決定されるフィルタ強度と明度及びコントラストとの関係は、ＲＡＷ画像データが静止画撮影により生成された場合は例えば図４に示す通りであり、ＲＡＷ画像データが動画撮影により生成された場合は例えば図７に示す通りである。従って、本実施形態では、明度及びコントラストの可能な組合せのうちの一部又は全部において、動画記録時の方が静止画記録時よりも大きなフィルタ強度が使用される。

【0060】

これにより、静止画記録時と比べて画質劣化が目立ちにくい動画記録時においてノイズ削減効果を更に向上させることが可能となる。

【0061】

［第３の実施形態］
第３の実施形態では、動画記録時の圧縮率に応じてフィルタ強度の決定方法を変更する構成について説明する。第３の実施形態において、撮像装置１００の基本的な構成は第１の実施形態と同様である。以下、主に第１の実施形態と異なる点について説明する。

【0062】

動画記録においては、記録時間を保証するために、所定のビットレートを超えないように符号量制御が行われる。一般的な符号量制御では、所定の単位で目標符号量を設定し、発生符号量が目標符号量に近づくように量子化ステップを制御する。この量子化ステップが大きいと、量子化対象データは量子化後の係数が０になりやすくなり、復号時の逆量子化処理でデータを復元することができなくなる。こうした量子化誤差によって復元できないデータは、圧縮率を高めるにつれて黒潰れとなって現れ、画質劣化が発生する。

【0063】

そこで、本実施形態の撮像装置１００は、高圧縮時はフィルタ強度を大きくして画面内の高周波成分を更に低減させることで、量子化で用いる量子化ステップの上昇を抑制するように動作する。

【0064】

なお、フィルタ強度を大きくすることで解像感の低下が発生するが、後の現像工程でシャープネス補正を行うことで解像感は回復することができる。それは、エッジ部は暗部等と比べて画素の振幅が大きく相対的に量子化後の係数が０になりにくいためである。このように、後の補正処理での回復可能性も考慮すると、量子化後の係数が０となり復号時に復元できない箇所を抑制することの方が画質上のメリットは大きい。

【0065】

本実施形態の撮像装置１００は、静止画記録モード、低圧縮動画記録モード、及び高圧縮動画記録モードそれぞれに応じたフィルタ強度の設定パターンを保持し、記録モードの設定に応じて使用するフィルタ強度の設定パターンを切り替えるように動作する。

【0066】

なお、本実施形態では、静止画記録用の設定パターンとして図４の設定パターンを使用し、低圧縮動画記録用の設定パターンとして図７（ａ）の設定パターンを使用し、高圧縮動画記録用の設定パターンとして図７（ｃ）の設定パターンを使用するものとする。

【0067】

図９は、第３の実施形態に係る、フィルタ強度の設定パターンの選択処理のフローチャートである。なお、特徴分類方法とフィルタ処理の実行方法については第１の実施形態と同様であるため、説明を省略する。

【0068】

Ｓ９０１～Ｓ９０３の処理は、図８のＳ８０１～Ｓ８０３の処理と同様である。Ｓ９０２において記録モードが静止画記録モードではないと判定された場合に、Ｓ９０４以降の処理が実行される。

【0069】

Ｓ９０４で、フィルタ強度決定部３０２は、制御部１０１を介して現在のビットレートを取得する。

【0070】

Ｓ９０５で、フィルタ強度決定部３０２は、Ｓ９０４で取得したビットレートが低圧縮動画記録モードに相当するかどうかを判定する。例えば、フィルタ強度決定部３０２は、現在のビットレートがビットレート閾値以上の場合に、現在のビットレートが低圧縮動画記録モードに相当すると判定する。或いは、フィルタ強度決定部３０２は、符号化後のファイルサイズの大きさを示すモード等、その他の情報に基づいて、記録モードが低圧縮動画記録モードであるか高圧縮動画記録モードであるかを判定してもよい。低圧縮動画記録モードの場合、処理ステップはＳ９０６に進み、そうでない場合、処理ステップはＳ９０７に進む。

【0071】

Ｓ９０６で、フィルタ強度決定部３０２は、フィルタ強度の設定パターンとして、低圧縮動画記録用の設定パターン（例えば、図７（ａ）に示す設定パターン）を選択する。

【0072】

Ｓ９０７で、フィルタ強度決定部３０２は、フィルタ強度の設定パターンとして、高圧縮動画記録用の設定パターン（例えば、図７（ｃ）に示す設定パターン）を選択する。

【0073】

以上説明したように、第３の実施形態によれば、ＲＡＷ画像データが動画撮影により生成された場合、撮像装置１００は、符号化の圧縮率の設定に更に基づいて、ＲＡＷ画像データの各画素についてフィルタ処理のフィルタ強度を決定する。こうして決定されるフィルタ強度と明度及びコントラストとの関係は、低圧縮率（第１の圧縮率）の場合は例えば図７（ａ）に示す通りであり、高圧縮率（第２の圧縮率）の場合は例えば図７（ｃ）に示す通りである。従って、本実施形態では、明度及びコントラストの可能な組合せのうちの一部又は全部において、高圧縮時の方が低圧縮時よりも大きなフィルタ強度が使用される。

【0074】

これにより、高圧縮時に量子化係数が０になる可能性を低下させ、画質劣化を抑制することが可能となる。

【0075】

［その他の実施形態］
上述の実施形態では、ＲＡＷ画像データの画素毎に、明度やコントラストなどの情報を取得して、取得した画素毎の情報に基づいて、画素毎にフィルタ強度を決定するようにした。しかし、画素毎に、明度やコントラストなどの情報の取得を行わずに、例えば、ＲＡＷ画像データを所定のサイズの矩形ブロックに分割して、ブロック毎に情報の取得とフィルタ強度の決定を行うようにしてもよい。

【0076】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0077】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0078】

１００…撮像装置、１０１…制御部、１０３…プレーン変換部、１０４…フィルタ処理部、１０５…符号化処理部、１０６…記録媒体、１０７…メモリＩ／Ｆ、１０８…メモリ、３０１…特徴情報生成部、３０２…フィルタ強度決定部、３０３…フィルタ処理実行部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】