特許 6245847 画像処理装置および画像処理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6245847

(24)【登録日】2017年11月24日

(45)【発行日】2017年12月13日

(54)【発明の名称】画像処理装置および画像処理方法

(51)【国際特許分類】

   H04N 5/21 20060101AFI20171204BHJP

   H04N 9/07 20060101ALI20171204BHJP

   H04N 5/232 20060101ALI20171204BHJP

   G06T 5/00 20060101ALI20171204BHJP

   H04N 1/409 20060101ALI20171204BHJP

   H04N 101/00 20060101ALN20171204BHJP

【ＦＩ】

   H04N5/21

   H04N9/07 C

   H04N5/232

   G06T5/00 705

   H04N1/40 101C

   H04N101:00

【請求項の数】13

【全頁数】16

(21)【出願番号】特願2013-114410(P2013-114410)

(22)【出願日】2013年5月30日

(65)【公開番号】特開2014-236226(P2014-236226A)

(43)【公開日】2014年12月15日

【審査請求日】2016年5月13日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110001243

【氏名又は名称】特許業務法人 谷・阿部特許事務所

(72)【発明者】

【氏名】関根 寿人

【審査官】 西谷 憲人

(56)【参考文献】

【文献】 特開２０１３−００５４０５（ＪＰ，Ａ）

【文献】 特開２０１０−１８３３８６（ＪＰ，Ａ）

【文献】 特開２０１０−１７８３０１（ＪＰ，Ａ）

【文献】 特開２００６−１６５０３７（ＪＰ，Ａ）

【文献】 特開２０１０−１２４３２１（ＪＰ，Ａ）

【文献】 特開２０１２−０６８７３３（ＪＰ，Ａ）

【文献】 特開２０１０−２００１７９（ＪＰ，Ａ）

【文献】 特開２００９−１６４８５７（ＪＰ，Ａ）

【文献】 特開２００９−１０５５３３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２１

Ｇ０６Ｔ ５／００

Ｈ０４Ｎ １／４０９

Ｈ０４Ｎ ５／２３２

Ｈ０４Ｎ ９／０７

(57)【特許請求の範囲】

【請求項1】

連続して撮像された複数の画像データを取得する取得手段と、
前記取得手段で取得した複数の画像データを合成して合成画像データを生成することによってノイズを低減する第１のノイズ低減手段と、
前記第１のノイズ低減手段において前記合成画像データを生成する際に用いた画素ごとの補正量を用いて前記合成画像データに対するノイズ低減を行う第２のノイズ低減手段と
を有し、
前記第１のノイズ低減手段は、複数の画像データのうちいずれか一つを着目画像データ、それ以外を参照画像データとし、前記着目画像データの処理画素に対応するブロック領域と、前記参照画像データの探索領域に含まれる探索位置に対応するブロック領域との差に応じて、各画素についての補正量を決定することを特徴とする画像処理装置。

【請求項2】

前記第１のノイズ低減手段は、前記決定した補正量を用いて参照画像データの画素値を加重加算することで前記合成画像データを生成することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記第１のノイズ低減手段は、前記探索領域に含まれる探索位置の中で誤差が最小となる画素の画素値を用いて前記加重加算することを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記第１のノイズ低減手段は、合成に用いる参照画像データ毎の補正量を加算することで、前記合成画像データを生成する際に用いた画素ごとの補正量を決定することを特徴とする請求項１から３のいずれか一項に記載の画像処理装置。

【請求項5】

前記第２のノイズ低減手段は、前記合成画像データの着目画素を含む着目領域と前記合成画像データの参照画素を含む参照領域との差を決定し、前記差と前記画素ごとの補正量とに応じて各参照画素の重みを決定し、前記重みに応じて加重加算を行うことで着目画素の画素値を更新することを特徴とする請求項１から４のいずれか一項に記載の画像処理装置。

【請求項6】

前記取得手段で取得される画像データは、ベイヤ画像を示す画像データであることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。

【請求項7】

前記取得手段で取得される画像データは、デモザイク処理前の画像データであることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。

【請求項8】

前記取得手段で取得される画像データは、積層型撮像センサで得られた画像データであることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。

【請求項9】

前記取得手段で取得される画像データは、３ＣＣＤセンサで得られた画像データであることを特徴とする請求項１から５のいずれか一項に記載の画像処理装置。

【請求項10】

前記第２のノイズ低減手段でノイズ低減された合成画像データに対して画素補間をするデモザイク手段をさらに有することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。

【請求項11】

連続して複数の画像データを撮像する撮像手段と、
前記撮像手段で撮像した複数の画像データを合成して合成画像データを生成することによってノイズを低減する第１のノイズ低減手段と、
前記第１のノイズ低減手段において前記合成画像データを生成する際に用いた画素ごとの補正量を用いて前記合成画像データに対するノイズ低減を行う第２のノイズ低減手段と
を有し、
前記第１のノイズ低減手段は、複数の画像データのうちいずれか一つを着目画像データ、それ以外を参照画像データとし、前記着目画像データの処理画素に対応するブロック領域と、前記参照画像データの探索領域に含まれる探索位置に対応するブロック領域との差に応じて、各画素についての補正量を決定することを特徴とする撮像装置。

【請求項12】

連続して撮像された複数の画像データを取得する取得工程と、
前記取得工程で取得した複数の画像データを合成して合成画像データを生成することによってノイズを低減する第１のノイズ低減工程と、
前記第１のノイズ低減工程において前記合成画像データを生成する際に用いた画素ごとの補正量を用いて前記合成画像データに対するノイズ低減を行う第２のノイズ低減工程と
を有し、
前記第１のノイズ低減工程は、複数の画像データのうちいずれか一つを着目画像データ、それ以外を参照画像データとし、前記着目画像データの処理画素に対応するブロック領域と、前記参照画像データの探索領域に含まれる探索位置に対応するブロック領域との差に応じて、各画素についての補正量を決定することを特徴とする画像処理方法。

【請求項13】

コンピュータを請求項１から１０のいずれか一項に記載の画像処理装置として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はノイズ低減処理を行う画像処理装置および画像処理方法に関する。

【背景技術】

【0002】

デジタルスチルカメラやデジタルビデオカメラなどのデジタル撮像装置は広く普及して一般に利用されている。これらのデジタル撮像装置は、ＣＣＤやＣＭＯＳセンサなどの光電荷変換素子（撮像素子）で受光した光をデジタル信号に変換することでデジタル画像データを生成する。デジタル画像データを生成する過程では、撮像素子や回路の特性により暗電流ノイズ、熱雑音、及びショットノイズなどが発生し、デジタル画像データにランダムなノイズ（ランダムノイズ）が混入する。近年の撮像素子の小型化、高画素化に伴い画素ピッチが極小化しているため、ランダムノイズが目立ちやすくなっており、特に撮像感度を高くした場合などはランダムノイズが顕著に発生し、画質劣化の大きな要因になっている。そこで、ランダムノイズを除去することで高画質化を実現するため様々な方法が提案されている。

【0003】

例えば、１枚の撮像画像内の着目画素を含む領域（着目領域）を定め、その領域単位で着目画素と参照画素との類似度を求め、この類似度に応じた加重平均を用いてノイズ低減を実現する方法が提案されている（特許文献１）。しかしながら、特許文献１の方法では、建物などのエッジを多く含む領域と、空などの平坦な領域とが混在する画像の場合、領域によってノイズ低減効果が異なるという問題がある。これはエッジ部に比べ、平坦部の方が着目画素に類似した参照画素が多く分布するためノイズ低減しやすいためである。すなわち、ノイズ低減効果はエッジ部に比べて平坦部の方が高くなってしまう。一方、同一撮像シーンを複数枚撮像し、上記のような１枚の撮像画像内でのノイズ低減後にそれぞれの手ブレや動被写体などによる位置ズレを補正し、合成する方法が提案されている（特許文献２）。特許文献２の方法では、一定のノイズ量になるようにまず１枚の撮像画像に対してノイズ低減を行い、その後、１枚のノイズ低減を行った複数枚の画像を合成することで、画像内のノイズ低減効果を一定にする。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特表２００７−５３６６６２号公報

【特許文献2】特開２０１０−１７１７５３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献２の方法によれば、領域によって画像内のノイズ低減効果が異なることを避けることができる。しかしながら、特許文献２の方法は、１枚の画像内でのノイズ低減処理を行い、その後、ノイズ低減処理を行った複数枚の画像データを合成する技術である。特許文献１や特許文献２のような1枚の画像内でのノイズ低減処理においては、着目画素と周囲の画素との関係から着目画素の本来の画素値を推定する。そのため、ノイズ量が非常に多い場合には、着目画素の本来の画素を推定が困難となる。従って、Ｓ／Ｎ比が非常に悪い場合には、ボケやアーティファクトといった画質障害を引き起こしてしまう。特許文献２のように、このような１枚の画像内のノイズ低減処理後の画像データを合成することでノイズ低減を行う場合には、１枚の画像内のノイズ低減処理において生じた画質障害の影響を残したままノイズ低減処理を行うことになる。このため、さらに画像障害を引き起こす可能性がある。

【課題を解決するための手段】

【0006】

本発明に係る画像処理装置は、連続して撮像された複数の画像データを取得する取得手段と、前記取得手段で取得した複数の画像データを合成して合成画像データを生成することによってノイズを低減する第１のノイズ低減手段と、前記第１のノイズ低減手段において前記合成画像データを生成する際に用いた画素ごとの補正量を用いて前記合成画像データに対するノイズ低減を行う第２のノイズ低減手段とを有し、前記第１のノイズ低減手段は、複数の画像データのうちいずれか一つを着目画像データ、それ以外を参照画像データとし、前記着目画像データの処理画素に対応するブロック領域と、前記参照画像データの探索領域に含まれる探索位置に対応するブロック領域との差に応じて、各画素についての補正量を決定することを特徴とする。

【発明の効果】

【0007】

本発明によれば、領域によって画像内のノイズ低減効果が異なることを避けつつ、ノイズ低減効果の低下やアーティファクト発生などの画質障害を軽減することが可能となる。

【図面の簡単な説明】

【0008】

【図1】実施例１における撮像装置の構成を示す外観図である。

【図2】実施例１における撮像装置の内部構成を示すブロック図である。

【図3】実施例１における画像処理部の内部構成を示すブロック図である。

【図4】実施例１における全体処理の流れを示すフローチャートである。

【図5】実施例１における複数枚合成処理の流れを示すフローチャートである。

【図6】実施例１における類似度出処理の流れを示すフローチャートである。

【図7】実施例１における複数枚合成処理を説明するための図である。

【図8】実施例１における類似度算出を説明するための図である。

【図9】実施例１におけるノイズ低減処理の流れを示すフローチャートである。

【図10】実施例１におけるノイズ低減処理を説明するための図である。

【図11】実施例１における重み決定を説明するための図である。

【発明を実施するための形態】

【0009】

以下、図面を参照に本発明を実施するための形態について説明する。

【実施例1】

【0010】

実施例１の概要について説明する。本実施例１では連続して撮像した複数のＲＡＷ画像データに対して合成処理を行うことでノイズ低減を行い１枚のＲＡＷ画像に対応する画像データを生成する。以下、この１枚のＲＡＷ画像に対応する画像データのことを１枚のＲＡＷ画像データと称する。その後、生成した１枚のＲＡＷ画像データに対して、１画像内でのＲＡＷノイズ低減処理を行うことでよりノイズ低減した画像データを生成する。なお、ＲＡＷ画像データとは、後述するカラー撮像素子部２０１とＡ／Ｄ変換部２０８とを介して得られるデジタル信号のことである。

【0011】

尚、本実施例では連続して撮像した画像データが示す画像のうち、いずれか一つを着目画像と呼び、それ以外を参照画像と呼ぶことにする。

【0012】

図１は本実施例における撮像装置の構成を示す外観図である。図１（ａ）は撮像装置の前面を、図１（ｂ）は撮像装置の背面を示す。撮像装置１０１は、光学部１０２、撮像ボタン１０３、表示部１０４、操作ボタン１０５からなる。光学部１０２はズームレンズ、フォーカスレンズ、ブレ補正レンズ、絞り、シャッターから構成され被写体の光情報を集光する。撮像ボタン１０３は、ユーザが撮像の開始を撮像装置１０１に指示するためのボタンである。表示部１０４は、液晶ディスプレイなどが用いられており、撮像装置１０１にて処理された画像データの表示や各種データなどを表示する。操作ボタン１０５は、ユーザが撮像条件のパラメータなどを撮像装置１０１に指示するためのボタンである。

【0013】

図２は本実施例における撮像装置１０１の内部構成を示すブロック図である。カラー撮像素子部２０１は、光学部１０２にて集光された光情報を電流値へと変換する素子で、カラーフィルタなどと組み合わせることで色情報を取得する。ＣＰＵ２０２は、各構成の処理すべてに関わり、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２０３や、ＲＡＭ（Ｒｏｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２０４に格納された命令を順次に読み込み、解釈し、その結果に従って処理を実行する。また、撮像系制御部２０５は光学部１０２に対して、フォーカスを合わせる、シャッターを開く、絞りを調整するなどのＣＰＵ２０２から指示された制御を行う。制御部２０６は、撮像ボタン１０３や操作ボタン１０５からのユーザ指示によって、撮像動作の開始及び終了の制御を行う。キャラクタージェネレーション部２０７は文字やグラフィックなどを生成する。Ａ／Ｄ変換部２０８は、カラー撮像素子部２０１にて検知した被写体の光量をデジタル信号値に変換する。画像処理部２０９は上記のデジタル信号の画像データ（すなわち、ＲＡＷ画像データ）に対して、画像処理を行う。エンコーダ部２１０は、画像処理部２０９にて処理した画像データをＪｐｅｇなどのファイルフォーマットに変換処理を行う。メディアＩ／Ｆ２１１は、ＰＣ／メディア２１３（例えば、ハードディスク、メモリカード、ＣＦカード、ＳＤカードなど）に画像データを送受信するためのインタフェースである。システムバス２１２はデータを送受信するためのバスである。

【0014】

図３は本実施例１における画像処理部２０９の内部構成ブロック図である。着目ＲＡＷ画像データ記憶部３０１は複数のＲＡＷ画像データのうち着目画像のＲＡＷ画像データ（以下、着目ＲＡＷ画像データという）を記憶する。参照ＲＡＷ画像データ記憶部３０２は、参照画像のＲＡＷ画像データ（以下、参照ＲＡＷ画像データという）を記憶する。

【0015】

出力ＲＡＷ画像データ記憶部３０３は後述する合成処理を行った結果得られるＲＡＷ画像データを記憶する。パラメータ記憶部３０４は合成処理や１枚の画像内でのノイズ低減処理に必要なパラメータを記憶する。合成重みデータ記憶部３０５は合成時の合成重みデータを記憶する。合成重みデータとは、合成処理によるノイズ低減効果の度合い（補正量）を示す指標となるデータである。詳細は後述する。出力画像データ記憶部３０６は各処理部が出力した画像データを記憶する。複数ＲＡＷ画像合成処理部３０７は着目ＲＡＷ画像データ記憶部３０１に記憶している着目ＲＡＷ画像データと参照ＲＡＷ画像データ記憶部３０２に記憶している参照ＲＡＷ画像データとを合成する。そして、合成処理によって得られる合成画像データ（ＲＡＷ画像データ）を出力ＲＡＷ画像データ記憶部３０３に記憶する。また、複数ＲＡＷ画像合成処理部３０７は、合成重みデータを合成重みデータ記憶部３０５に記憶する。ＲＡＷノイズ低減処理部３０８は合成重みデータ記憶部３０５に記憶している合成重みデータを用いて、出力ＲＡＷ画像データ記憶部３０３に記憶している合成後のＲＡＷ画像データに対して１枚の画像内のＲＡＷノイズ低減処理を行う。ＲＡＷノイズ低減処理部３０８は、出力のＲＡＷ画像データを出力ＲＡＷ画像データ記憶部３０３に記憶する。現像処理部３０９は出力ＲＡＷ画像データ記憶部３０３に記憶しているＲＡＷノイズ低減処理後のＲＡＷ画像データに対して各種の現像処理をする。例えば、ホワイトバランス、デモザイキング、色変換、ガンマ、シャープネス、Ｊｐｅｇ変換などの処理を行い、現像処理後の画像データを出力画像データ記憶部３０６に記憶する。

【0016】

図４は本実施例１における全体処理フローを示した図である。まずステップＳ４０１において、制御部２０６は、ユーザが操作ボタン１０５を介して指示した絞り値、焦点距離などの撮像条件を設定する。ステップＳ４０２において、制御部２０６は、撮像ボタン１０３がユーザに押されたかどうかを判定する。押された場合にはステップＳ４０３に進み、押されていない場合にはステップＳ４０１に戻る。

【0017】

ステップＳ４０３で撮像系制御部２０５は、同一被写体に対して連続での撮像を実行する。画像処理部２０９は、撮像したＲＡＷ画像データのうち着目画像のＲＡＷ画像データを着目ＲＡＷ画像データ記憶部３０１に記憶し、さらに、参照画像のＲＡＷ画像データを参照ＲＡＷ画像データ記憶部３０２に記憶する。

【0018】

ステップＳ４０４で、複数ＲＡＷ画像合成処理部３０７は、着目画像のＲＡＷ画像データと、参照画像のＲＡＷ画像データと、パラメータ記憶部３０４に記憶している撮像センサのノイズ特性データとを用いて複数枚合成処理を行う。複数枚合成処理の詳細は後述する。複数ＲＡＷ画像合成処理部３０７は、複数枚合成処理の結果得られるＲＡＷ画像データを出力ＲＡＷ画像データ記憶部３０３に記憶する。さらに、複数ＲＡＷ画像合成処理部３０７は合成時の合成重みデータを合成重みデータ記憶部３０５に記憶する。

【0019】

ステップＳ４０５で、ＲＡＷノイズ低減処理部３０８は、出力ＲＡＷ画像データ記憶部３０３に記憶しているＲＡＷ画像データと合成重みデータ記憶部３０５に記憶している合成重みデータとを用いて、ＲＡＷノイズ低減処理を行う。ＲＡＷノイズ低減処理の詳細については後述する。ＲＡＷノイズ低減処理部３０８は、ＲＡＷノイズ低減処理の結果得られるＲＡＷ画像データを出力ＲＡＷ画像データ記憶部３０３に記憶する。

【0020】

ステップＳ４０６で、現像処理部３０９は、出力ＲＡＷ画像データ記憶部３０３に記憶しているＲＡＷ画像データに対して現像処理を行う。現像処理部３０９は、現像処理の結果得られる画像データを出力画像データ記憶部３０６に記憶する。ステップＳ４０７で、制御部２０６は、出力画像データ記憶部３０６に記憶している出力画像データを表示部１０４に表示する。最後に、ステップＳ４０８で、制御部２０６は、出力画像データ記憶部３０６に記憶している画像データをメディアＩ／Ｆ２１１を介して、ＰＣ／メディア２１３に出力する。

【0021】

＜複数枚合成処理＞
図４におけるＳ４０４の複数枚合成処理について説明する。複数枚合成処理は着目画像データと１つ以上の参照画像データとを用いて画像データを合成することによってノイズ低減させる処理である。すなわち、複数枚合成処理は、第１のノイズ低減処理ということもできる。以下では、説明の簡素化のため、合成対象のデータを単に着目画像と参照画像と称する。一般的に、着目画像と参照画像とを単純に平均化すればノイズを低減させることができる。しかしながら、連続撮像した場合、撮像装置の位置ずれや動被写体の移動などによって各画像の絵柄が一致しない場合、単純な平均化を行うと多重像や暈けといった画質劣化が生じてしまう。そこで、着目画像の注目画素を含む画像領域（以下、ブロック領域）と参照画像のブロック領域ごとの比較（以下、ブロックマッチング）を行うことで合成を行う。

【0022】

図５は複数枚合成処理Ｓ４０４の処理フローである。図７は複数枚合成処理を説明するための図である。図７（ａ）は、着目画像７０１を示し、図７（ｂ）は参照画像７０２を示す。また、着目画像７０１のうち、処理対象となる画素の位置を７０３で示す。また、この着目画像７０１の処理画素位置７０３に対応する、参照画像７０２の探索領域を７０４で示す。また、着目画像７０１の処理画素位置７０３に対応するブロック領域を７０５で示す。また、参照画像７０２の探索位置７０７に対応するブロック領域を７０６で示す。

【0023】

次に、ブロックマッチングの概要について説明する。ブロックマッチングは、着目画像の各画素を処理画素として順次処理を行う。図７の例では、着目画像７０１の処理画素位置７０３に対応する探索範囲が決定される。図７の例では、探索範囲は着目画像データの処理画素位置に対応する位置にある参照画像の画素を中心に５×５の画素と決定されているものとする。そして、処理画素位置７０３に対応するブロック領域７０５と、探索位置７０７に対応するブロック領域７０６とのブロックマッチングを行う。ブロックマッチングは、探索範囲内における各探索位置に対して行われることになる。

【0024】

次に、複数枚合成処理の流れを図５を参照して説明する。

【0025】

ステップＳ５０１で複数ＲＡＷ画像合成処理部３０７は、パラメータ記憶部３０４に記憶している探索範囲を設定する。図７の例では、探索範囲は着目画像の処理対象位置に対応する位置にある参照画像の画素を中心に５×５の画素と設定される。尚、一般的なＲＡＷ画像データは、1画素につきＲ，Ｇ，Ｂのうち１色しかないＢａｙｅｒ配置である。そのため、探索位置７０７は、処理画素位置７０３と同じ色の必要がある。すなわち、図７の例では、探索範囲７０４に含まれるＲの画素を示す９画素分の探索位置に対してブロックマッチングが行われる。

【0026】

ステップＳ５０２で複数ＲＡＷ画像合成処理部３０７は出力画素値と合成重みデータとを１に初期化する。

【0027】

ステップＳ５０３で複数ＲＡＷ画像合成処理部３０７は参照画像データ記憶部３０２に記憶している参照ＲＡＷ画像データのうち1つの画像データを読み込む。

【0028】

ステップＳ５０４で複数ＲＡＷ画像合成処理部３０７は処理画素位置の初期化を行う。

【0029】

ステップＳ５０５で複数ＲＡＷ画像合成処理部３０７は探索範囲内で最大類似度となる出力画素値及び類似度を決定する。詳細は後述する。

【0030】

ステップＳ５０６で複数ＲＡＷ画像合成処理部３０７はステップＳ５０５にて決定した出力画素値と類似度とを用いて、出力画素値及び合成重みデータの更新を行う。詳細は後述する。

【0031】

ステップＳ５０７で複数ＲＡＷ画像合成処理部３０７は着目画像データのすべての処理画素位置に対して、ステップＳ５０５〜Ｓ５０６の処理が行われたかどうかを判定する。すべての処理画素位置に対して処理が行われた場合には、ステップＳ５０９に進み、そうでない場合にはステップＳ５０８に進む。

【0032】

ステップＳ５０８で複数ＲＡＷ画像合成処理部３０７は処理画素位置の更新を行い、ステップＳ５０５に処理を進める。

【0033】

ステップＳ５０９で複数ＲＡＷ画像合成処理部３０７は、参照ＲＡＷ画像データ記憶部３０２に記憶しているすべての参照ＲＡＷ画像データに対して、ステップＳ５０４〜Ｓ５０８の処理が行われたかどうかを判定する。処理が行われた場合にはステップＳ５１１に進み、そうでない場合にはステップＳ５１０に進む。

【0034】

ステップＳ５１０で複数ＲＡＷ画像合成処理部３０７は参照ＲＡＷ画像データ記憶部３０２に記憶している参照ＲＡＷ画像データのうち未処理のＲＡＷ画像データを読み込み、ステップＳ５０４に処理を進める。

【0035】

ステップＳ５１１で複数ＲＡＷ画像合成処理部３０７は、出力ＲＡＷ画像データを出力ＲＡＷ画像データ記憶部３０３に出力する。出力ＲＡＷ画像データは、ステップＳ５０６で出力画素値の更新が行われた（すなわち、合成が行われた結果得られた）ＲＡＷ画像データのことである。

【0036】

＜探索範囲内で最大類似度となる画素値及び類似度を算出＞
図５のステップＳ５０５の探索範囲内で最大類似度となる出力画素値及び類似度を決定する処理について説明する。図６は、ステップＳ５０５の内部処理フローを示している。図６の処理は、１つの処理対象の画素に対して行われる。

【0037】

本実施例では、着目画像と参照画像について、探索領域内においてブロック同士の最小の誤差を決定し、その結果に基づいて最大類似度を決定する。

【0038】

ステップＳ６０１で複数ＲＡＷ画像合成処理部３０７はパラメータ記憶部３０４に記憶しているブロックサイズＮｂ及び重み制御パラメータｈ（詳細は後述する）を設定する。

【0039】

ステップＳ６０２で複数ＲＡＷ画像合成処理部３０７は最小誤差値Ｃｍｉｎを、取りうる値の範囲の最大値に初期化する。ステップＳ６０３で複数ＲＡＷ画像合成処理部３０７は出力画素値ｏをゼロに初期化する。ステップＳ６０４で複数ＲＡＷ画像合成処理部３０７は、現在着目している処理画素に対応する探索範囲の中の探索位置ｉを初期化する。ステップＳ６０５で複数ＲＡＷ画像合成処理部３０７は式１に基づいて誤差Ｃｉを決定する。

【0040】

【数1】

【0041】

ここで、ｂ_ｔは着目画像のブロック領域であり、ｂ_ｒ，ｉは参照画像の探索位置ｉにおけるブロック領域である。

【0042】

ステップＳ６０６で複数ＲＡＷ画像合成処理部３０７はステップＳ６０５にて決定したＣｉと最小誤差値Ｃｍｉｎとを比較する。ＣｉがＣｍｉｎよりも小さい場合にはステップＳ６０７に進み、そうでない場合にはステップＳ６０９に進む。

【0043】

ステップＳ６０７で複数ＲＡＷ画像合成処理部３０７は最小誤差値ＣｍｉｎをＣｉに更新する。

【0044】

ステップＳ６０８で複数ＲＡＷ画像合成処理部３０７は出力画素値を探索位置ｉにおける画素値に更新する。

【0045】

ステップＳ６０９で複数ＲＡＷ画像合成処理部３０７はすべての探索位置で処理をしたかどうかを判定する。すべての探索位置で処理を行った場合にはステップＳ６１1に進む。そうでない場合にはステップＳ６１０に進む。

【0046】

ステップＳ６１０で複数ＲＡＷ画像合成処理部３０７は探索位置の更新を行う。

【0047】

ステップＳ６１１で複数ＲＡＷ画像合成処理部３０７は、式２に基づいて最大類似度となる類似度ｓを算出する。

【0048】

【数2】

【0049】

＜重み制御パラメータｈ＞
図６のステップＳ６０１にて設定する重み制御パラメータｈについて説明する。図８は、式２で重み制御パラメータｈを変化させて、最小誤差値Ｃｍｉｎとしての誤差Ｃと、類似度ｓとをプロットした例を示すものである。図８に示すように、ｈの値が大きくなるほど誤差に対して類似度ｓが大きくなる。一方、一般的にまったく同じ被写体を撮像したとしてもＩＳＯ感度が大きくなれば、ノイズ量が増加する。その結果、式１によって決定される誤差は、ノイズ量が増加するに従って大きくなる。そのため、本実施例では、同一被写体に対してノイズ量に寄らず同様の類似度を決定するために撮像時のノイズ量すなわちＩＳＯ感度に応じてｈの値を変化させる。

【0050】

＜出力画素値及び合成重みデータの更新＞
ステップＳ５０６の出力画素値及び合成重みデータの更新について説明する。ステップＳ５０５にて決定した出力画素値をv、類似度をｓとすると、更新後の出力画素値Ｏ（ｘ，ｙ）は式３に示すように出力画素値と類似度との加重加算で得られる。また、更新後の合成重みデータα（ｘ，ｙ）は、式４で求められる。ステップＳ５０６の更新は参照画像データ毎にそれぞれ行われる。
Ｏ（ｘ，ｙ）＋＝v・s （式３）
α（ｘ，ｙ）＋＝ｓ （式４）

【0051】

＜ＲＡＷノイズ低減処理＞
図４のステップＳ４０５のＲＡＷノイズ低減処理について説明する。ＲＡＷノイズ低減処理は、従来の１枚の画像内でのノイズ低減処理方法に加え、ステップＳ４０４において決定した合成重みデータαを用いることで、より効果的なノイズ低減処理を行う。具体的には、ステップＳ４０４において決定した合成重みデータαは出力ＲＡＷ画像データの各画素におけるノイズの低減効果になる。そこで、複数枚合成処理によってノイズ低減効果が小さかった画素については、１枚の画像内でのノイズ低減処理の効果を大きく設定し、大きかった画素については、１枚の画像内でのノイズ低減処理の効果を小さく設定する。このように処理することによって、領域によってノイズ低減効果が異なることを避けることができる。本実施例では、連続して撮像した複数のＲＡＷ画像データを用いて合成処理を行っている。この複数のＲＡＷ画像データは互いに類似しているので、複数のＲＡＷ画像データ同士を合成することによってノイズ低減できた画素については、そのノイズ低減された画素を使用する。一方、複数のＲＡＷ画像データ同士を合成することによってノイズ低減できなかった画素については、１枚の画像データ内でのノイズ低減処理を行う。このように、本実施例によれば各画素について同等のノイズ低減効果を得ることが可能となる。なお、ステップＳ４０５の１枚の画像データ内のノイズ低減処理を第２のノイズ低減処理という。

【0052】

図９は図４のステップＳ４０５のＲＡＷノイズ低減処理の内部処理のフローを示した図である。

【0053】

ステップＳ９０１でＲＡＷノイズ低減処理部３０８は処理に必要となるパラメータをパラメータ記憶部３０４から取得して設定する。

【0054】

ステップＳ９０２でＲＡＷノイズ低減処理部３０８は出力ＲＡＷ画像データ記憶部３０３に記憶している、ステップＳ４０４において複数枚合成して得られたＲＡＷ画像データを読み込む。

【0055】

ステップＳ９０３でＲＡＷノイズ低減処理部３０８は処理画素位置の初期化を行う。

【0056】

ステップＳ９０４でＲＡＷノイズ低減処理部３０８は処理画素位置に対してノイズ低減処理を行う。詳細は後述する。

【0057】

ステップＳ９０６でＲＡＷノイズ低減処理部３０８はすべての処理画素位置に対して、ステップＳ９０４のノイズ低減処理が行われたかどうかを判定する。すべての処理画素位置に対してノイズ低減処理が行われた場合にはステップＳ９０８に進み、そうでない場合にはステップＳ９０７に進む。

【0058】

ステップＳ９０７でＲＡＷノイズ低減処理部３０８は処理画素位置の更新を行い、ステップＳ９０４に戻る。

【0059】

ステップＳ９０８でＲＡＷノイズ低減処理部３０８は処理結果のＲＡＷ画像データを出力ＲＡＷ画像データ記憶部３０３に出力する。

【0060】

＜ノイズ低減処理＞
本処理では、ステップＳ９０４のノイズ低減処理として、Ｎｏｎ−Ｌｏｃａｌ−Ｍｅａｎｓ(以下、ＮＬＭ）法と呼ばれる手法を用いる。この手法は、ノイズ低減対象となる着目画素を含む、着目画素の周辺に存在する複数の参照画素の画素値に適応的な重みを掛け、その結果を全て加算した結果で着目画素の画素値を置き換える事でノイズを低減する。参照画素の画素数をＮ_Ｓ、参照画素の画素値をＩ_ｊ（ｊ＝１〜Ｎ_Ｓ）、参照画素の重みをｗ_ｊ（ｊ＝１〜Ｎ_Ｓ）とすると、ノイズ低減処理後の着目画素の画素値Ｉ_newは式５になる。

【0061】

【数3】

【0062】

次に、参照画素の重みの決定方法について、図１０および図１１を参照して説明する。

【0063】

図１０（ａ）は、１枚の画像データ１００１を示す。画像データ１００１の左上の画素を原点として各画素の画素値をＩ（ｘ、ｙ）と表すものとする。ここで、１００２は着目画素であり、その画素値はＩ（４、４）である。１００３は着目領域であり、ノイズ低減対象となる着目画素１００２を中心とした５×５画素の矩形領域である。１００４は参照画素であり、着目画素１００２を含む５×５画素（Ｎ_Ｓ＝２５）の矩形領域内の画素である。１００５は、参照画素Ｉ（２，２）の参照領域であり、参照画素Ｉ（２，２）を中心とし、着目領域と同サイズの５×５画素の矩形領域である。尚、参照領域は参照画素毎に存在するが、ここでは参照画素Ｉ（２，２）の参照領域だけ示している。

【0064】

参照画素Ｉ（２、２）の重みを求めるために、まず、着目領域１００３と当該参照画素Ｉ（２、２）の参照領域１００５とを比較して類似度を算出する。尚、類似度は所望の方法で求めてよい。例えば、図１０（ｂ）のように、着目領域１００３の画素をｂ_ｓ（ｐ，ｑ）、参照領域１００５の画素をｂ_ｊ（ｐ，ｑ）（ｊ＝１〜Ｎ_Ｓ）とする。そして、着目領域１００３と参照領域１００５との空間的に対応する画素の差を誤差とすると、誤差Ｃ_jは式６になる。

【0065】

【数4】

【0066】

誤差Ｃ_ｊは値が小さいほど着目領域と参照領域の類似度が高くなる。そこで、誤差に応じて、重みを決定する。重みは図１１に示す関数のように誤差Ｃ_ｊが小さいほど重みが大きく、誤差Ｃ_ｊが大きいほど重みが小さくなるように決定すればよく、例えば式７で定まる。

【0067】

【数5】

【0068】

ｈは重みの大きさを制御する変数であり、ｈを大きくすると重みを大きくなりノイズ低減効果が大きくなる。一方、ｈを小さくすると重みが小さくなり、ノイズ低減効果が小さくなる。ここで、ｈは画像データ中に含まれるノイズ量に応じて変化させることで効果的にノイズ低減させることができる。そこで、本実施例では、ステップＳ４０４において複数枚合成処理において合成処理した際の合成重みデータに応じて、ｈの値を変化させる。ここで、ステップＳ４０４において出力する合成重みデータは、合成に使用した画像の枚数となる。この時、ｎ枚の画像を合成した際のノイズの標準偏差σ‘は１枚のノイズの標準偏差をσとすると、式８のようになる。

【0069】

【数6】

【0070】

そこで、処理画素位置ｊにおける合成重みデータをα（ｊ）とすると、式７を式９のように変更する。

【0071】

【数7】

【0072】

以下同様に、着目領域１００３と各参照画素の参照領域とを順次比較していくことで、各参照画素の重みが得られる。そして、得られた重みを式５に適用してノイズ低減後の画素値を得る。

【0073】

尚、本実施例におけるノイズ低減処理は、参照画素の重みを着目領域と参照領域の誤差及び合成重みデータに基づいて決まる処理であればよく、誤差や重みの算出方法などはここで説明した方法に限られるものではない。

【0074】

以上、説明したように、本実施例ではまず複数枚の画像データの合成によりノイズ低減を行い、さらに、合成結果に基づいて１枚の画像データのノイズ低減を行う。これにより、ノイズ低減効果の低下やアーティファクト発生などの画質障害を軽減することが可能となる。さらに、１枚の画像データのノイズ低減は合成後の画像データのみに行うため処理負荷も軽減することができる。

【0075】

＜その他の実施例＞
上記の実施例においては、デモザイク処理（画素補間処理）前のベイヤ画像を合成する例を説明した。デモザイク処理前のベイヤ画像を合成することによってデモザイク時に生じ得る画像劣化を防止することができる。しかしながら、本発明は、１枚の画像内でのノイズ低減処理を行う前の画像データ同士を合成し、合成して得られた画像データに対して１枚の画像内でのノイズ低減処理を行う場合に適用可能である。例えば、デモザイク処理後のＲＧＢ画像データ同士を合成する処理であってもよい。

【0076】

また、積層型撮像センサや３ＣＣＤセンサなどのようにセンサから得られる画素がＲＧＢプレーンを有する画像データ同士を合成し、合成して得られた画像データに対して１枚の画像内でのノイズ低減処理を行ってもよい。この場合、合成処理における探索範囲や、ノイズ低減処理における参照画素の設定を合成する画像データに応じて設定し、その他の処理は同様に行えばよい。

【0077】

また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】