特許 7437921 画像処理装置、画像処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-15

(45)【発行日】2024-02-26

(54)【発明の名称】画像処理装置、画像処理方法、及びプログラム

(51)【国際特許分類】

   G06T 5/70 20240101AFI20240216BHJP

   H04N 23/84 20230101ALI20240216BHJP

【ＦＩ】

G06T5/70

H04N23/84

【請求項の数】 15

(21)【出願番号】P 2019211709

(22)【出願日】2019-11-22

(65)【公開番号】P2021082211

(43)【公開日】2021-05-27

【審査請求日】2022-11-17

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】中川 大輝

【審査官】鈴木 明

(56)【参考文献】

【文献】特表２０１０－５３６０８１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ５／７０

Ｈ０４Ｎ ２３／８４

(57)【特許請求の範囲】

【請求項1】

互いに異なる種類の色情報を表す複数の種類の画素が１つのプレーンに配列されている入力画像から、ノイズが低減されたノイズ低減画像を生成するノイズ低減手段と、
前記入力画像の高周波成分が強調された高周波強調画像を生成する抽出手段と、
前記ノイズ低減画像に対するデモザイク処理により、それぞれ１種類の色情報を表す複数のプレーンを有するデモザイク画像を生成するデモザイク手段と、
前記デモザイク画像を前記高周波強調画像を用いて補正することにより、出力画像を生成する生成手段と、
を備え、
前記抽出手段は、前記入力画像と、前記ノイズ低減画像に対するフィルタ処理により得られた画像と、の差分画像から前記高周波強調画像を生成することを特徴とする画像処理装置。

【請求項2】

前記生成手段は、前記デモザイク画像の各プレーンに対し、プレーンごとに設定された混合比率で、前記高周波強調画像を混合することを特徴とする、請求項１に記載の画像処理装置。

【請求項3】

前記生成手段は、前記デモザイク画像が有する前記複数のプレーンから選択された一部のプレーンに対し、選択的に前記高周波強調画像を加算することを特徴とする、請求項１又は２に記載の画像処理装置。

【請求項4】

前記生成手段は、前記デモザイク画像が有する、輝度情報を表すプレーンに対し、選択的に前記高周波強調画像を加算することを特徴とする、請求項１又は２に記載の画像処理装置。

【請求項5】

前記入力画像はＲａｗ形式の画像であることを特徴とする、請求項１から４のいずれか１項に記載の画像処理装置。

【請求項6】

前記入力画像はＢａｙｅｒ画像であることを特徴とする、請求項１から５のいずれか１項に記載の画像処理装置。

【請求項7】

前記抽出手段は、前記差分画像の高周波成分を抽出することにより、前記高周波強調画像を生成することを特徴とする、請求項１から６のいずれか１項に記載の画像処理装置。

【請求項8】

前記複数の種類の画素の画素値は、互いに異なる分光感度特性を有する撮像画素によって得られ、
前記抽出手段は、前記高周波強調画像の各画素について、前記画素の種類に応じた補正を行うことを特徴とする、請求項１から７のいずれか１項に記載の画像処理装置。

【請求項9】

前記複数の種類の画素は、Ｒ画素、Ｇ画素、及びＢ画素を含み、
前記抽出手段は、前記高周波強調画像の各画素の画素値に、前記画素の種類に応じたホワイトバランス係数を乗算する補正を行うことを特徴とする、請求項８に記載の画像処理装置。

【請求項10】

前記抽出手段は、前記高周波強調画像の各画素について、前記画素に対応する被写体の明るさに応じた補正を行うことを特徴とする、請求項１から９のいずれか１項に記載の画像処理装置。

【請求項11】

前記抽出手段は、前記高周波強調画像の各画素について、前記画素に対応する被写体の明るさに応じた範囲に画素値を制限する処理を行うことを特徴とする、請求項１から１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記抽出手段は、前記高周波強調画像の各画素について、前記入力画像又は前記ノイズ低減画像の対応する画素値に基づいて、前記画素に対応する被写体の明るさに応じた範囲を設定することを特徴とする、請求項１１に記載の画像処理装置。

【請求項13】

前記抽出手段は、前記高周波強調画像の、対応する被写体がより暗い画素の画素値に対して、より大きなゲインを適用する補正を行うことを特徴とする、請求項１から１２のいずれか１項に記載の画像処理装置。

【請求項14】

互いに異なる種類の色情報を表す複数の種類の画素が１つのプレーンに配列されている入力画像から、ノイズが低減されたノイズ低減画像を生成する工程と、
前記入力画像の高周波成分が強調された高周波強調画像を生成する工程と、
前記ノイズ低減画像に対するデモザイク処理により、それぞれ１種類の色情報を表す複数のプレーンを有するデモザイク画像を生成する工程と、
前記デモザイク画像を前記高周波強調画像を用いて補正することにより、出力画像を生成する工程と、
を有し、
前記高周波強調画像を生成する工程では、前記入力画像と、前記ノイズ低減画像に対するフィルタ処理により得られた画像と、の差分画像から前記高周波強調画像を生成することを特徴とする画像処理方法。

【請求項15】

コンピュータを、請求項１から１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、画像処理装置、画像処理方法、及びプログラムに関し、特に画像に対するノイズ低減処理に関する。

【背景技術】

【0002】

撮像装置などを用いた撮像により得られたデジタル画像にはノイズが含まれる。このようなノイズを低減するための、画像に対するノイズ低減処理が知られている。特許文献１には、撮像画像からパッチ集合を生成し、パッチ集合に属する全てのパッチに対してノイズ低減処理を行い、ノイズ低減処理したパッチの合成処理を行うことにより、撮像画像のノイズを低減する手法が開示されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－０２６６６９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

従来のノイズ低減処理においては、処理の過程で高周波成分が失われることがある。このため、ユーザはノイズ低減処理により画像の鮮鋭性が低下した印象を受ける。

【0005】

本発明は、鮮鋭性の低下を抑制しながら画像のノイズを低減することを目的とする。

【課題を解決するための手段】

【0006】

本発明の目的を達成するために、例えば、本発明の画像処理装置は以下の構成を備える。すなわち、
互いに異なる種類の色情報を表す複数の種類の画素が１つのプレーンに配列されている入力画像から、ノイズが低減されたノイズ低減画像を生成するノイズ低減手段と、
前記入力画像の高周波成分が強調された高周波強調画像を生成する抽出手段と、
前記ノイズ低減画像に対するデモザイク処理により、それぞれ１種類の色情報を表す複数のプレーンを有するデモザイク画像を生成するデモザイク手段と、
前記デモザイク画像を前記高周波強調画像を用いて補正することにより、出力画像を生成する生成手段と、
を備え、
前記抽出手段は、前記入力画像と、前記ノイズ低減画像に対するフィルタ処理により得られた画像と、の差分画像から前記高周波強調画像を生成する。

【発明の効果】

【0007】

鮮鋭性の低下を抑制しながら画像のノイズを低減することができる。

【図面の簡単な説明】

【0008】

【図1】一実施形態に係る画像処理装置のハードウェア構成例を示す図。

【図2】一実施形態に係る画像処理装置の機能構成例を示す図。

【図3】一実施形態に係る画像処理装置の機能構成例を示す図。

【図4】平滑化処理の一例を説明する図。

【図5】一実施形態に係る画像処理方法のフローチャート。

【図6】一実施形態に係る画像処理方法のフローチャート。

【図7】一実施形態に係る画像処理装置の機能構成例を示す図。

【図8】平滑化処理の一例を説明する図。

【図9】一実施形態に係る画像処理方法のフローチャート。

【発明を実施するための形態】

【0009】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0010】

［実施形態１］
実施形態１に係る画像処理装置は、入力画像に対してノイズ低減処理を行い、さらにデモザイク処理を行うことにより得られた画像に対して、入力画像の高周波成分が強調された高周波強調画像を用いた補正を行う。このような構成により、鮮鋭性の低下を抑制しながら画像のノイズを低減することができる。

【0011】

本実施形態に係る画像処理装置は、プロセッサとメモリとを備えるコンピュータにより実現することができる。図１は、実施形態１に係る画像処理装置のハードウェア構成例を示すブロック図である。図１に示す画像処理装置は、ＣＰＵ１０１、ＲＡＭ１０２、記憶部１０３、汎用Ｉ／Ｆ（インタフェース）１０４、及び表示部１０８を有する。各構成は、メインバス１０９を介して相互に接続されている。また、画像処理装置には、汎用Ｉ／Ｆ１１０を介して、撮像装置１０５、入力装置１０６、及び外部メモリ１０７が接続されている。

【0012】

ＣＰＵ１０１は、入力された画像、及び後述の処理を実現するプログラムに従って、各構成を制御する。記憶部１０３は、ＨＤＤ又はＳＳＤなどの記憶媒体である。記憶部１０３には、ＣＰＵ１０１が各処理を実行するためのコンピュータプログラムが格納されている。ＲＡＭ１０２は、入力された画像データ等を一時的に保持するバッファメモリ、又は、ＣＰＵ１０１の作業領域等として働く。ＣＰＵ１０１のようなプロセッサが、ＲＡＭ１０２又は記憶部１０３のようなメモリに格納されたプログラムを解釈及び実行し、命令に基づいた動作を行うことにより、後述する図２等に示される各部の機能を実現することができる。

【0013】

撮像装置１０５はカメラ等の画像を撮像する装置であり、得られた撮像画像を情報処理装置に入力することができる。入力装置１０６は指示又はデータを受け取るための装置であり、例えば、ユーザが画像処理装置に指示を行うために用いるマウス又はキーボード等の装置である。外部メモリ１０７は、例えばメモリカード等の、データを格納する記憶媒体である。表示部１０８は情報を表示する機能を有するハードウェアであり、例えば液晶ディスプレイ又は有機ＥＬディスプレイ等である。表示部１０８は、画像を表示することができ、また、ユーザが所望の指示を入力するために用いるユーザインターフェース（ＵＩ）を表示することができる。本実施形態に係る画像処理装置は、ユーザインタフェース及び入力装置１０６を介して入力されるユーザからの指示に従って、ＲＡＭ１０２に格納された画像に対して、後述する処理を実行することができる。後述する処理により得られたノイズ低減処理後の画像は、再びＲＡＭ１０２に格納される。ＲＡＭ１０２に格納されたノイズ低減処理後の画像は、ユーザからの指示に応じて、表示部１０８や外部メモリ１０７に出力することができる。

【0014】

図２は、本実施形態に係る画像処理装置の論理構成例を示すブロック図である。本実施形態に係る画像処理装置は、ノイズ低減部２１０、抽出部２２０、及び画像生成部２３０を備える。

【0015】

ノイズ低減部２１０は、入力画像２００を取得し、入力画像２００からノイズが低減されたノイズ低減画像を生成する。入力画像２００は、互いに異なる種類の色情報を表す複数の種類の画素が１つのプレーンに配列されている画像であり、本実施形態においてはＲａｗ形式の画像である。Ｒａｗ形式の画像とは、１プレーンの画像のことである。プレーンとは、各画素が持つ情報の種類の数を指す。１プレーンの画像は各画素に１種類の情報を持ち、３プレーンの画像は各画素に３種類の情報を持つ。例えば、ＲＧＢ画像は３プレーンの画像であり、ＲＧＢα画像は４プレーンの画像である。本実施形態において、入力画像２００はＢａｙｅｒ配列の画像、すなわちＢａｙｅｒ配列の撮像素子を用いて得られた画像であるが、入力画像２００はＢａｙｅｒ配列の画像に限定されない。

【0016】

ノイズ低減部２１０がノイズ低減のために用いるノイズ低減処理の手法は特に限定されない。例えば、特許文献１に記載の手法を採用してもよい。本実施形態において、ノイズ低減部２１０は、以下の手法を用いてノイズ低減処理を行う。ノイズ低減部２１０は、まず、入力画像２００中の複数の画素からなる領域を着目パッチとして設定し、その着目パッチ毎に、着目パッチに類似する類似パッチ群を生成する。次に、ノイズ低減部２１０は、類似パッチ群の各画素の平均値を算出し、各類似パッチの任意の２つの画素値の積の、類似パッチ群の全てについての和をとることにより共分散行列を算出する。ノイズ低減部２１０は、この平均値と共分散行列とから固有値及び固有ベクトルを求める。また、ノイズ低減部２１０は、この固有値及び固有ベクトルに基づき、類似パッチ群に対応する基底行列を生成する。ノイズ低減部２１０は、各画素の平均値及び基底行列に基づいて、類似パッチに対する射影処理を行うことにより、各類似パッチのノイズ除去を行い、ノイズ除去パッチ群を得る。そして、ノイズ低減部２１０は、ノイズ除去パッチ群を合成することにより、ノイズ低減画像を生成する。このような合成処理はアグリゲーションなどと呼ばれている。具体的には、ノイズ低減部２１０はノイズ除去パッチ群のそれぞれを入力画像における元のパッチ位置に戻し、複数のパッチが重なる画素については平均又は類似度に基づく加重平均を行うことにより、合成処理を行うことができる。

【0017】

抽出部２２０は、入力画像２００の高周波成分が強調された高周波強調画像を生成する。この高周波強調画像は、ノイズ低減処理により失われやすいエッジ成分を含むことができ、また一定のノイズ成分を含んでいるかもしれない。したがって、高周波強調画像のことを、エッジノイズ混合画像と呼ぶことができる。本実施形態において、抽出部２２０は、入力画像２００とノイズ低減画像とに基づいて高周波強調画像を抽出する。

【0018】

本実施形態に係る抽出部２２０は、図３（Ａ）に示すように、平滑化処理部２２１と、差分画像生成部２２２と、差分画像処理部２２３とを備える。もっとも、抽出部２２０がこれらの全てを有することは必須ではない。例えば、平滑化処理部２２１は省略されてもよい。

【0019】

平滑化処理部２２１は、ノイズ低減画像に対する平滑化処理を行う。例えば、平滑化処理部２２１は、フィルタ処理を行うことによりノイズ低減画像の平滑化を行うことができる。また、平滑化処理部２２１は、２次元フーリエ変換－高周波マスク－２次元逆フーリエ変換のような、別の手法を用いた平滑化処理を行ってもよい。ここで、平滑化処理部２２１は、レンジフィルタ又はバイラテラルフィルタ等を活用した、高周波成分を減弱させる非線形処理を行うことにより、エッジ成分又はテクスチャ成分を適応的に減弱させてもよい。

【0020】

平滑化処理部２２１の具体的な処理例を以下に説明する。平滑化処理部２２１は、ノイズ低減画像中に着目画素（ｉ，ｊ）を設定し、着目画素を中心とした５×５画素の範囲の中の着目画素と同色の画素と着目画素の画素値に基づき、式（１）に従って重み付き平均値Ａ（ｉ，ｊ）を得る。式（１）において、Ｉ（ｉ，ｊ）は、画素（ｉ，ｊ）の画素値を示す。図４（Ａ）、（Ｂ）、及び（Ｃ）は、着目画素がＲ画素、Ｇ画素、及びＢ画素であるそれぞれの場合について、Ｂａｙｅｒ画像であるノイズ低減画像の着目画素と、着目画素と同色の画素と、の位置関係を示す。ノイズ低減画像の全画素を順次着目画素に設定しながらこの処理を繰り返すことにより、画素（ｉ，ｊ）に重み付き平均値Ａ（ｉ，ｊ）を有する平滑化処理後の画像が得られる。

【数1】

【0021】

差分画像生成部２２２は、入力画像２００と、平滑化処理後の画像と、の差分画像を生成する。差分画像生成部２２２は、同じ画素位置にある、入力画像２００の画素の画素値から、平滑化処理後の画像の画素の画素値を引くことにより、差分画像を得ることができる。差分画像は、入力画像２００と、入力画像２００に対してノイズ低減処理及び平滑化処理を行うことで得られる画像と、の差分を示す。ノイズ低減処理によれば高周波成分（エッジ成分及びノイズ成分）が減弱するため、差分画像は、入力画像２００の高周波成分（エッジ成分及びノイズ成分）を示す。また、平滑化処理により、エッジ成分の少なくとも一部が減少するため、本実施形態においては平滑化処理部２２１を採用することにより、差分画像が有する入力画像２００のエッジ成分を増加させることができる。こうして得られた差分画像は、入力画像２００の高周波成分が強調された高周波強調画像にあたる。このようなエッジ成分を含む高周波強調画像を用いて、後述するようにノイズ低減処理後の画像を補正することにより、得られる出力画像の鮮鋭性を向上させることができる。

【0022】

差分画像処理部２２３は、差分画像のような高周波強調画像の各画素について、画素の種類に応じた補正を行う。上述のように、本実施形態において入力画像はＲａｗ形式の画像である。Ｒａｗ形式の画像の各画素は複数の種類の画素（例えばＲ，Ｇ，Ｂ）に分類され、互いに異なる種類の画素の画素値は、互いに異なる分光感度特性を有する撮像画素（例えばＲ，Ｇ，Ｂ）によって得られている。そこで、差分画像処理部２２３は、差分画像の各画素の画素値に対して、画素ごとに設定されたゲイン値を乗じることにより、高周波成分画像を生成する。本実施形態において、このゲインは、Ｒ画素、Ｇ画素、及びＢ画素のそれぞれについて異なる値が用いられる。例えば、ゲインとして、Ｒ画素、Ｇ画素、及びＢ画素のそれぞれについてのホワイトバランス係数を用いることができる。

【0023】

後述するように、本実施形態では、高周波成分画像を用いてデモザイク処理後の画像の補正が行われる。一方、ＲＧＢ画素のそれぞれの感度差のために、差分画像はＢａｙｅｒ配列に従う市松模様状の明暗パターンを有しているかもしれない。このように差分画像の補正を行うことにより、Ｂａｙｅｒ配列に従う明暗パターンを抑制することができる。このような、差分画像の補正により得られた高周波成分画像も、入力画像２００の高周波成分が強調された高周波強調画像にあたる。

【0024】

もっとも、差分画像処理部２２３が用いる、画素ごとに設定されたゲインとしては、ホワイトバランス係数に依存する係数の他に、事前に決定された係数、像高に依存する係数、又は画素値に依存する係数などを用いることができる。

【0025】

画像生成部２３０は、ノイズ低減画像に対するデモザイク処理により得られたデモザイク画像を高周波強調画像を用いて補正することにより、出力画像を生成する。本実施形態に係る画像生成部２３０は、図３（Ｂ）に示すように、デモザイク処理部２３１と、ミックス処理部２３２と、を有する。

【0026】

デモザイク処理部２３１は、ノイズ低減画像に対するデモザイク処理を行う。デモザイク処理とは、１つのプレーンを有する画像を、れぞれ１種類の色情報を表す複数のプレーンを有するデモザイク画像に変換する処理のことをいう。例えば、デモザイク処理部２３１は、Ｒａｗ形式の画像を、ＹＵＶ画像、Ｌ＊ａ＊ｂ＊画像、ＲＧＢ画像、又はＹＭＣＫ画像などに変換することができる。

【0027】

本実施形態において、デモザイク処理部２３１はＲａｗ形式のノイズ低減画像をＹＵＶ形式に変換する。以下に、具体的な処理例を説明する。上記の通り、入力画像２００はＢａｙｅｒ画像であるから、ノイズ低減画像もＢａｙｅｒ画像である。デモザイク処理部２３１は、着目画素について、着目画素の色以外の色を、周囲の近傍８画素を用いた線形補完により決定する。例えば着目画素がＲ（赤）である場合、Ｇ（緑）とＢ（青）の補完が必要となる。Ｇの補完を行う場合は、着目画素の上・下・左・右の４つのＧ画素を用いて線形補完を行う。Ｂの補完を行う場合は、右斜め上・右斜め下・左斜め上・左斜め下の４つのＢ画素を用いて線形補完を行う。このような線形補完の結果、着目画素についてＲＧＢの画素値が得られ、すなわちＲＧＢ画像が生成される。本実施形態においてデモザイク処理部２３１は、こうして得られたＲＧＢ画像をＹＵＶ画像へと変換する。この変換は、式（１）～（３）に従って、各画素の画素値に係数を乗じることにより行うことができる。本実施形態においては、このようにデモザイク後画像としてＹＵＶ画像が得られる。
Ｙ ＝ ０．２１２６×Ｒ ＋ ０．７１５２×Ｇ ＋ ０．０７２２×Ｂ ……（１）
Ｕ ＝ －０．１１４５７２×Ｒ － ０．３８５４２８×Ｇ ＋ ０．５×Ｂ ……（２）
Ｖ ＝ ０．５×Ｒ － ０．４５４１５３×Ｇ － ０．０４５８４７×Ｂ ……（３）

【0028】

ミックス処理部２３２は、高周波強調画像を用いて、デモザイク処理部２３１によるデモザイク処理により得られたデモザイク画像を補正する。ここで、ミックス処理部２３２は、デモザイク画像の各プレーンに対して、異なる方法で補正を行うことができる。例えば、ミックス処理部２３２は、デモザイク画像の各プレーンに対し、プレーンごとに設定された混合比率で、高周波強調画像を合成することができる。ここで、いくつかのプレーンについての混合比率を０に設定することができる。すなわち、ミックス処理部２３２は、デモザイク画像が有する２以上のプレーンから選択された一部のプレーンに対して選択的に高周波強調画像を加算することができ、残りのプレーンに対しては高周波強調画像を加算しなくてもよい。

【0029】

本実施形態において、ミックス処理部２３２は、高周波強調画像として、差分画像処理部２２３が生成した高周波成分画像を用いる。本実施形態においてミックス処理部２３２は、高周波成分画像を、デモザイク後画像のＹプレーンのみに加算することにより、出力画像を生成する。ここで、Ｕプレーン及びＶプレーンの補正は行われない。このように、Ｙプレーンのみに高周波強調画像を加算することにより、ノイズを低減させつつ鮮鋭性を良好に保つことができる。人間の視覚特性を考慮すると、ノイズ成分の存在が与える審美性への悪影響は、輝度情報を表すＹプレーンでは小さい一方で、色差情報を表すＵＶプレーンでは大きい。また、信号の鮮鋭性（エッジ成分が大きいこと）が与える審美性への好影響は、Ｙプレーンでは大きく、ＵＶプレーンでは小さい。このため、エッジ成分及びノイズ成分を含む高周波強調画像をＹプレーンのみに加えることで、ノイズ成分が与える画像への悪影響を抑えながら、エッジ成分が与える画像への好影響を大きくすることができる。

【0030】

以下、図５，６のフローチャートを参照して、本実施形態に係る画像処理方法の流れを説明する。ステップＳ５１０において、ノイズ低減部２１０は入力画像２００を読み込む。ステップＳ５２０において、ノイズ低減部２１０は、上述のように入力画像２００のノイズを低減することによりノイズ低減画像を得る。

【0031】

ステップＳ５３０において、抽出部２２０は、入力画像２００とノイズ低減画像に基づき、高周波成分画像を得る。図６（Ａ）は、ステップＳ５３０の詳細な処理の流れを示す。ステップＳ５３１において、平滑化処理部２２１は、上述のようにノイズ低減画像を平滑化する。ステップＳ５３２において差分画像生成部２２２は、上述のように入力画像２００から平滑化処理後の画像を引くことにより、差分画像を得る。ステップＳ５３３において差分画像処理部２２３は、上述のように差分画像に対して画素ごとに設定されたゲイン値を乗じることにより、高周波成分画像を得る。

【0032】

ステップＳ５４０において、画像生成部２３０は出力画像を生成する。図６（Ｂ）は、ステップＳ５４０の詳細な処理の流れを示す。ステップＳ５４１において、デモザイク処理部２３１は、上述のようにノイズ低減画像に対してデモザイク処理を行うことにより、ＹＵＶ形式のデモザイク画像を得る。ステップＳ５４２において、ミックス処理部２３２は、上述のようにデモザイク後画像のＹプレーンに高周波成分画像を加算することにより、出力画像を生成する。

【0033】

以上のように本実施形態では、入力画像のエッジ成分を含む高周波強調画像を用いて、ノイズ低減処理後のデモザイク画像を補正することで、入力画像の鮮鋭性を維持しながらノイズを低減することができる。本実施形態では、デモザイク処理により得られたデモザイク画像に対して、高周波強調画像を用いた補正を行うことにより、出力画像の鮮鋭性を向上させることができる。デモザイク処理によれば高周波成分が失われることがある。本実施形態のように、デモザイク処理後の画像にエッジ成分を加算することにより、エッジ成分が加算された画像に対してデモザイク処理を行う場合と比較して、出力画像に含まれるエッジ成分量を増加させることができる。

【0034】

［実施形態２］
実施形態２では、高周波強調画像を生成する際にさらなる補正処理が行われる。例えば、実施形態１では差分画像に対して画素ごとのゲイン値を乗じることにより高周波成分画像が得られた。一方、エッジの有無などに依存して差分画像の画素値の振幅は異なってくるため、同一の明るさの被写体についても差分画像の振幅が大きく異なることがある。また、センサを用いて撮像を行う場合、撮像画像には光量に依存したノイズが重畳する。このため、ノイズ量が大きくなる明部において、差分画像に振幅の大きなノイズが混入する可能性がある。さらには、自然画像においては、暗い被写体の像はコントラストが低くなる傾向がある。コントラストの低い像に対するノイズ低減処理は容易ではなく、十分にノイズ低減処理を行うと画像の鮮鋭性が大きく低下する傾向がある。実施形態２では、高周波強調画像を生成する際に、画素ごとに適した補正処理を行うことにより、ノイズ低減処理により得られる画像の鮮鋭性又は審美性を向上させる。

【0035】

以下では、被写体の明るさに依存して生じるノイズ、及び被写体の明るさに応じた画像の鮮鋭性低下に対処する技術について主に説明する。しかしながら、これらの双方を採用することは必須ではない。また、高周波強調画像の各画素について、画素に対応する被写体の明るさに応じた補正を行う別の手法を採用することも可能である。この際には、出力画像の鮮鋭性又は審美性が向上するように、非線形処理を採用することもできる。

【0036】

実施形態２に係る画像処理装置の構成は、実施形態１と類似しているが、差分画像処理部２２３の処理及び構成が異なる。以下では、実施形態１との差異点を中心に説明し、実施形態１と共通する部分の説明は省略することがある。

【0037】

本実施形態において、差分画像処理部２２３には、差分画像に加えてノイズ低減画像が入力される。また、本実施形態に係る差分画像処理部２２３は、被写体の明るさに依存して生じるノイズに対処するための構成として、図７に示すように、クリップ値算出部２２３ａ及びクリップ処理部２２３ｂを有する。差分画像処理部２２３はハイパス処理部２２３ｃをさらに有していてもよい。さらに、差分画像処理部２２３は、被写体の明るさに応じた鮮鋭性低下に対処するための構成として、図７に示すように、明るさ算出部２２３ｄ、ゲイン算出部２２３ｅ、及びゲイン乗算部２２３ｆを有する。

【0038】

クリップ値算出部２２３ａは、被写体の明るさに応じたクリップ値ＣｌｉｐＶａｌｕｅを算出する。上述のように、ノイズ量は、センサに入射した光量、すなわち被写体の明るさに依存すると考えられる。また、被写体の明るさは、ノイズ低減画像又は入力画像２００を参照することにより得ることができる。本実施形態においてクリップ値算出部２２３ａは、ノイズ低減画像の対応する画素の画素値Ｉに対して式（５）（６）を適用することにより、差分画像に適用する画素ごとのクリップ値ＣｌｉｐＶａｌｕｅを得ることができる。
σ ＝ √（Ｋ×（Ｉ－Ｉ０）） …（５）
ＣｌｉｐＶａｌｕｅ ＝ Ｒ×σ …（６）

【0039】

式（５）において、Ｋ及びＩ０は、入力画像２００を撮像したセンサのノイズ特性を表す。これらのノイズ特性を表すパラメータは、ノイズ評価用のチャートを撮影して解析する等の作業（処理）を行うことで、事前に推定することができる。σは、各画素についてのノイズ標準偏差を表す。Ｒは、クリップ値を調整するためのパラメータであり、事前に決定しておくことができる。

【0040】

クリップ処理部２２３ｂは、高周波強調画像の各画素について、画素に対応する被写体の明るさに応じた範囲に画素値を制限する処理を行う。画素値を制限するための具体的な手法は特に限定されないが、例えばクリップ処理部２２３ｂは、高周波強調画像の各画素について、画素に対応する被写体の明るさに応じた範囲から外れている画素値を、範囲を定める上限値又は下限値に変更することができる。本実施形態においてクリップ処理部２２３ｂは、クリップ値算出部２２３ａが求めたクリップ値ＣｌｉｐＶａｌｕｅに基づき、差分画像をクリップすることにより、クリップ後画像ｄｃを得る。こうして得られたクリップ後画像も、入力画像２００の高周波成分が強調された高周波強調画像にあたる。クリップ処理部２２３ｂは、式（７）に従って処理を行うことができる。式（７）において、ｄは差分画像の画素値を表す。

【数2】

【0041】

このように、クリップ処理部２２３ｂは、被写体の明るさに応じて定められた－ＣｌｉｐＶａｌｕｅから＋ＣｌｉｐＶａｌｕｅまでの範囲に、クリップ後画像の画素値を制限する非線形処理を行っている。このような構成により、この範囲を超える振幅の大きなノイズを抑制し、高周波強調画像をノイズ低減画像に加算した後に点状のノイズ（ごま塩ノイズ）が生じることを抑制することができる。とりわけ、本実施形態においては、被写体が暗いほどこの範囲を小さくすることにより、暗領域におけるノイズを効果的に抑制することができる。

【0042】

差分画像処理部２２３は、必須ではないが、ハイパス処理部２２３ｃを有していてもよい。ハイパス処理部２２３ｃは、クリップ後画像ｄｃに対して高周波強調処理（ハイパス処理）を行って高周波成分を抽出することにより、ハイパス画像を得る。こうして得られたハイパス画像も、入力画像２００の高周波成分が強調された高周波強調画像にあたる。ハイパス処理部２２３は、例えば、クリップ後画像ｄｃに対して平滑化処理を行い、平滑化処理により得られた画像をクリップ後画像ｄｃから引くことにより、ハイパス画像を得ることができる。平滑化処理においては、図８に示すように、中心画素８０１に対して、近傍の所定サイズの領域８０２内の画素値の平均値を求めるフィルタ（一般に平均値フィルタと呼ばれる）を用いることができる。また、２次元フーリエ変換－低周波マスク－２次元逆フーリエ変換のような変換処理により、平滑化を行ってもよい。このようなハイパス処理によれば、高周波強調画像における高周波成分の比率が向上し、高周波強調画像をノイズ低減画像に加算した後に審美性が向上することが期待される。なお、ハイパス処理部２２３ｃは、差分画像に対してハイパス処理を行って高周波成分を抽出することにより、ハイパス画像を生成してもよい。

【0043】

差分画像処理部２２３は、このようにして得られたクリップ後画像又はハイパス画像に対し、実施形態１と同様に画素ごとに設定されたゲイン値を乗じることにより、高周波成分画像を生成することができる。一方で本実施形態において、ゲイン乗算部２２３ｆは、以下のように、クリップ後画像又はハイパス画像に対して被写体の明るさに応じたゲイン値を乗算する。

【0044】

明るさ算出部２２３ｄは、各画素に対応する被写体の明るさを判定する。被写体の明るさは、ノイズ低減画像又は入力画像２００を参照することにより得ることができる。本実施形態において明るさ算出部２２３ｄは、ノイズ低減画像の対応する画素の輝度値を、被写体の明るさとして算出する。具体的には、明るさ算出部２２３ｄは、デモザイク処理部２３１と同様の処理を行うことにより得られたＹ値を輝度値として算出することができる。

【0045】

ゲイン算出部２２３ｅは、明るさ算出部２２３ｄが判定した各画素に対応する被写体の明るさに基づいて、ゲイン値を算出する。ゲイン算出部２２３ｅは、各画素についての被写体の明るさに基づいて、各画素についてのゲイン値を算出することができる。本実施形態においてゲイン算出部２２３ｅは、画素ごとに設定された係数に、実施形態１と同様のホワイトバランス係数を乗算することにより、ゲイン値を算出する。この係数は、明るさ算出部２２３ｄが算出した輝度値が大きいほど小さくなり、輝度値が小さいほど大きくなるように、各画素について定められる。すなわち、同じ色の画素については、被写体が暗いほど、ゲイン値は大きく設定される。

【0046】

ゲイン乗算部２２３ｆは、ゲイン算出部２２３ｅが算出したゲイン値を用いて、ハイパス処理部２２３ｃが生成したハイパス画像（又はクリップ後画像）を補正することにより、高周波成分画像を生成する。具体的には、ゲイン乗算部２２３ｆは、ハイパス画像の各画素の画素値に対して、この画素に対応するゲイン値を乗算することができる。すなわち、本実施形態においては、高周波強調画像のうち、より暗い被写体の部分に対してより大きいゲインが適用される。上述のように、ノイズ低減処理によれば暗い被写体の鮮鋭性が低下しやすいところ、このような構成によれば、高周波強調画像をノイズ低減画像に加算することにより、より暗い被写体の高周波成分を強く回復させ、鮮鋭性を向上させることができる。

【0047】

以下、図５，９のフローチャートを参照して、本実施形態に係る画像処理方法の流れを説明する。ステップＳ５１０，５２０，５４０の処理は実施形態１と同様である。図９は、ステップＳ５３０の詳細な処理の流れを示す。ステップＳ５３１，Ｓ５３２の処理は実施形態１と同様である。ステップＳ５３３において明るさ算出部２２３ｄは、上述のように各画素の輝度値を算出する。ステップＳ５３４においてゲイン算出部２２３ｄは、上述のように、ステップＳ５３３で算出された輝度値に基づいてゲイン値を算出する。ステップＳ５３５においてクリップ値算出部２２３ａは、上述のようにノイズ低減画像に基づいてクリップ値を算出する。ステップＳ５３６においてクリップ処理部２２３ｂは、上述のように差分画像に対してクリップ値に基づくクリップ処理を行うことによりクリップ後画像を得る。ステップＳ５３７においてハイパス処理部２２３ｃは、上述のようにクリップ後画像に対してハイパス処理を行うことによりハイパス画像を得る。ステップＳ５３８においてゲイン乗算部２２３ｆは、上述のようにハイパス画像にゲイン値を乗算することにより高周波成分画像を得る。

【0048】

以上のように、本実施形態によれば、被写体の明るさに依存して、入力画像に画素ごとに異なる標準偏差のノイズが含まれている場合であっても、想定されるノイズ量に基づいたクリップ処理を行うことにより、画質をより向上させることができる。

【0049】

（その他の実施例）
上述の実施形態では、図２等に示される画像処理装置の各機能はコンピュータによって実現された。しかしながら、画像処理装置が有する一部又は全部の機能が専用のハードウェア又は画像処理回路によって実現されてもよい。また、本発明の一実施形態に係る画像処理装置は、例えばネットワークを介して接続された複数の情報処理装置によって構成されていてもよい。

【0050】

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0051】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0052】

２１０：ノイズ低減部、２２０：抽出部、２２１：平滑化処理部、２２２：差分画像生成部、２２３：差分画像処理部、２３０：画像生成部、２３１：デモザイク処理部、２３２：ミックス処理部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】