特許 6961423 画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6961423

(24)【登録日】2021年10月15日

(45)【発行日】2021年11月5日

(54)【発明の名称】画像処理装置、撮像装置、画像処理装置の制御方法、プログラムおよび記録媒体

(51)【国際特許分類】

   H04N 5/232 20060101AFI20211025BHJP

   G03B 15/00 20210101ALI20211025BHJP

   G02B 7/28 20210101ALI20211025BHJP

   G03B 13/36 20210101ALI20211025BHJP

   G06T 5/50 20060101ALI20211025BHJP

   G06T 5/00 20060101ALI20211025BHJP

   G02B 7/34 20210101ALI20211025BHJP

【ＦＩ】

   H04N5/232 290

   G03B15/00 H

   G02B7/28 N

   G03B13/36

   G06T5/50

   G06T5/00 710

   G02B7/34

【請求項の数】16

【全頁数】15

(21)【出願番号】特願2017-164421(P2017-164421)

(22)【出願日】2017年8月29日

(65)【公開番号】特開2019-47145(P2019-47145A)

(43)【公開日】2019年3月22日

【審査請求日】2020年6月22日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100124442

【弁理士】

【氏名又は名称】黒岩 創吾

(72)【発明者】

【氏名】中山 文貴

【審査官】 高野 美帆子

(56)【参考文献】

【文献】 国際公開第２０１５／０２００３８（ＷＯ，Ａ１）

【文献】 特開２０１４−０６７１４２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−５／２５７

Ｇ０３Ｂ １５／００

Ｇ０２Ｂ ７／２８

Ｇ０３Ｂ １３／３６

Ｇ０６Ｔ ５／５０

Ｇ０６Ｔ ５／００

Ｇ０２Ｂ ７／３４

(57)【特許請求の範囲】

【請求項1】

画像の複数の領域のそれぞれからコントラスト値を取得する取得手段と、
少なくとも一部の画角が重なり、かつ、ピント位置の異なる複数の画像に対して、領域ごとに前記取得手段が取得した前記コントラスト値に応じた合成比率を設定し、設定した前記合成比率に基づいて前記複数の画像の合成を行って合成画像を生成する合成手段と、を有し、
前記合成手段は、前記複数の画像のそれぞれの第１の領域間の前記コントラスト値の変化量が予め定められた第１の閾値以下であり、かつ、前記第１の領域の近傍に、前記複数の画像のそれぞれの領域間の前記コントラスト値の変化量が第２の閾値よりも大きい第２の領域が存在する場合は、前記第１の領域の前記合成比率を、前記第２の領域の前記合成比率と等しく設定することを特徴とする画像処理装置。

【請求項2】

前記合成手段は、前記複数の領域のうちの第１の領域の前記コントラスト値の変化量が予め定められた第１の閾値以下であり、かつ、前記第１の領域の近傍に前記コントラスト値の変化量が第２の閾値よりも大きい領域が存在しない場合は、前記第１の領域の前記合成比率を、前記第１の領域の前記コントラスト値に基づいて設定することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

画像の複数の領域のそれぞれからコントラスト値を取得する取得手段と、
少なくとも一部の画角が重なり、かつ、ピント位置の異なる複数の画像に対して、領域ごとに前記取得手段が取得した前記コントラスト値に応じた合成比率を設定し、設定した前記合成比率に基づいて前記複数の画像の合成を行って合成画像を生成する合成手段と、を有し、
前記合成手段は、前記複数の画像のそれぞれの第１の領域間の前記コントラスト値の変化量が予め定められた第１の閾値以下であり、かつ、前記第１の領域の近傍に、前記複数の画像のそれぞれの領域間の前記コントラスト値の変化量が第２の閾値よりも大きい第２の領域が存在する場合は、前記第１の領域の前記合成比率を、前記第２の領域の前記コントラスト値に基づいて設定し、前記複数の領域のうちの第１の領域の前記コントラスト値の変化量が予め定められた第１の閾値以下であり、かつ、前記第１の領域の近傍に前記コントラスト値の変化量が第２の閾値よりも大きい領域が存在しない場合は、前記第１の領域の前記合成比率を、前記第１の領域の前記コントラスト値に基づいて設定することを特徴とする画像処理装置。

【請求項4】

前記合成手段は、前記複数の領域のうちの第３の領域の前記コントラスト値の変化量が前記第１の閾値より大きい場合は、前記第３の領域の前記合成比率を、前記第３の領域の前記コントラスト値に基づいて設定することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。

【請求項5】

前記第２の閾値は、前記第１の閾値と同じ値か、前記第１の閾値より大きい値であることを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。

【請求項6】

前記領域は１つの画素からなる領域であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。

【請求項7】

前記領域の前記コントラスト値の変化量は、前記領域に対応する前記複数の画像の領域のコントラスト値の最大値と最小値との差であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。

【請求項8】

前記領域に対応する前記複数の画像の領域は、それぞれの前記画像において同じ位置にある領域であることを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。

【請求項9】

前記合成手段は、点広がり関数を用いて前記近傍の範囲を定めることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。

【請求項10】

前記合成手段は、被写体の距離情報を用いて前記近傍の範囲を定めることを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。

【請求項11】

前記合成手段は、前記コントラスト値の変化特性を用いて前記近傍の範囲を定めることを特徴とする請求項１乃至１０のいずれか１項に記載の画像処理装置。

【請求項12】

前記ピント位置は、光軸方向で等間隔に設定されることを特徴とする請求項１乃至１１のいずれか１項に記載の画像処理装置。

【請求項13】

画像を撮像する撮像手段を有し、
前記画像の複数の領域のそれぞれからコントラスト値を取得する取得手段と、
少なくとも一部の画角が重なり、かつ、ピント位置の異なる複数の画像に対して、領域ごとに前記取得手段が取得した前記コントラスト値に応じた合成比率を設定し、設定した前記合成比率に基づいて前記複数の画像の合成を行って合成画像を生成する合成手段と、を有し、
前記合成手段は、前記複数の画像のそれぞれの第１の領域間の前記コントラスト値の変化量が予め定められた第１の閾値以下であり、かつ、前記第１の領域の近傍に、前記複数の画像のそれぞれの領域間の前記コントラスト値の変化量が第２の閾値よりも大きい第２の領域が存在する場合は、前記第１の領域の前記合成比率を、前記第２の領域の前記合成比率と等しく設定することを特徴とする画像処理装置。

【請求項14】

画像の複数の領域のそれぞれからコントラスト値を取得する取得ステップと、
少なくとも一部の画角が重なり、かつ、ピント位置の異なる複数の画像に対して、領域ごとに前記コントラスト値に応じた合成比率を設定し、設定した前記合成比率に基づいて前記複数の画像の合成を行って合成画像を生成する合成ステップと、を有し、
前記合成ステップにおいては、前記複数の画像のそれぞれの第１の領域間の前記コントラスト値の変化量が予め定められた第１の閾値以下であり、かつ、前記第１の領域の近傍に、前記複数の画像のそれぞれの領域間の前記コントラスト値の変化量が第２の閾値よりも大きい第２の領域が存在する場合は、前記第１の領域の前記合成比率を、前記第２の領域の前記合成比率と等しく設定することを特徴とする画像処理装置の制御方法。

【請求項15】

画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
画像の複数の領域のそれぞれからコントラスト値を取得する取得ステップと、
少なくとも一部の画角が重なり、かつ、ピント位置の異なる複数の画像に対して、領域ごとに前記コントラスト値に応じた合成比率を設定し、設定した前記合成比率に基づいて前記複数の画像の合成を行って合成画像を生成する合成ステップと、を行わせ、
前記合成ステップにおいては、前記複数の画像のそれぞれの第１の領域間の前記コントラスト値の変化量が予め定められた第１の閾値以下であり、かつ、前記第１の領域の近傍に、前記複数の画像のそれぞれの領域間の前記コントラスト値の変化量が第２の閾値よりも大きい第２の領域が存在する場合は、前記第１の領域の前記合成比率を、前記第２の領域の前記合成比率と等しく設定することを特徴とするプログラム。

【請求項16】

前記請求項１５に記載のプログラムが記録されたコンピュータ読み出し可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ピント位置の異なる複数の画像を合成する画像処理装置に関するものである。

【背景技術】

【0002】

デジタルカメラなどの撮像装置からの距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。そこで、特許文献１では、それぞれの画像の同じ位置にある領域の中で、コントラスト値の最も高い領域を合焦領域とする。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５−２１６５３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上述したような深度合成の方法を用いると、合成画像のエッジ部においてぼけ領域が出る場合がある。

【0005】

図１０は、深度合成のための撮像を行う一例を説明するための図である。図１０に示した場合では、撮像装置は、白地の背景の前にあるＸ型の被写体に対して、ピント位置を変えながら５枚の画像１０１０乃至１０５０を撮像し、撮像した画像に対して合成を行い、合成画像１０００を生成したとする。画像１０１０乃至１０５０では、画素１０１１乃至１０５１は同じ位置にあり、画素１０１２乃至１０５２は同じ位置にあるとする。特許文献１に開示された技術を用いて合成画像を作成すると、画素１０１１乃至１０５１の中から最もコントラスト値の高いものを選んで合成画像の同じ位置に使う。そこで、撮像装置は、画素１０３１を合成画像１０００に使うことが図示されている。しかしながら、撮像装置は、同様な方法で画素１０１２乃至１０５２の中から最もコントラスト値の高いものを選んで合成画像の同じ位置に使うと、画素１０１２または１０５２を選んで合成画像に使ってしまう。その結果、図示されているように、合成画像１０００には、エッジ部の周辺にボケが生じてしまう。これは撮像装置に限らず、ピント位置を変えて撮像された複数の画像を取得し、これら複数の画像を合成する機能を有する画像処理装置全般に共通する課題である。

【0006】

本発明は、上記の課題を鑑みてなされたものであり、ピント位置の異なる複数の画像を用いて合成した画像に含まれるぼけを低減することができる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記課題を解決するため、本願発明は、画像の複数の領域のそれぞれからコントラスト値を取得する取得手段と、少なくとも一部の画角が重なり、かつ、ピント位置の異なる複数の画像に対して、領域ごとに前記取得手段が取得した前記コントラスト値に応じた合成比率を設定し、設定した前記合成比率に基づいて前記複数の画像の合成を行って合成画像を生成する合成手段と、を有し、前記合成手段は、前記合成手段は、前記複数の画像のそれぞれの第１の領域間の前記コントラスト値の変化量が予め定められた第１の閾値以下であり、かつ、前記第１の領域の近傍に、前記複数の画像のそれぞれの領域間の前記コントラスト値の変化量が第２の閾値よりも大きい第２の領域が存在する場合は、前記第１の領域の前記合成比率を、前記第２の領域の前記合成比率と等しく設定することを特徴とする画像処理装置を提供する。

【発明の効果】

【0008】

本発明の構成によれば、ピント位置の異なる複数の画像を撮像して合成した画像に含まれるぼけを低減することができる画像処理装置を提供することができる。

【図面の簡単な説明】

【0009】

【図1】本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。

【図2】本発明の実施形態における合成画像の生成について説明するためのフローチャートである。

【図3】本発明の実施形態における撮像について説明するためのフローチャートである。

【図4】本発明の実施形態における位置合わせについて説明するためのフローチャートである。

【図5】本発明の実施形態における画像の合成について説明するためのフローチャートである。

【図6】第１の実施形態における合成マップの補正について説明するためのフローチャートである。

【図7】本発明の実施形態におけるコントラスト値の変化量を説明するための図である。

【図8】本発明の実施形態における点広がり関数を説明するための図である。

【図9】第２の実施形態における合成マップの補正について説明するためのフローチャートである。

【図10】深度合成のための撮像を行う一例を説明するための図である。

【発明を実施するための形態】

【0010】

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

【0011】

（第１の実施形態）
図１は本実施形態に係る画像処理装置としてのデジタルカメラの構造を示すブロック図である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

【0012】

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

【0013】

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

【0014】

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。

【0015】

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。

【0016】

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

【0017】

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

【0018】

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

【0019】

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

【0020】

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

【0021】

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。

【0022】

図２は、本実施形態における合成画像の生成について説明するためのフローチャートである。ステップＳ２０１では、撮像部１０４は、ピント位置の異なる複数の画像を撮像する。ステップＳ２０２では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した複数の画像に対して位置合わせを行う。ステップＳ２０３で、画像処理部１０７は、位置合わせを行った後の画像に対して合成を行い、合成画像を生成する。以下では、それぞれのステップについて詳細に説明する。

【0023】

図３は、本実施形態におけるステップＳ２０１での撮像について説明するためのフローチャートである。

【0024】

ステップＳ３０１で、制御部１０１は、ピント位置の設定を行う。たとえば、ユーザは表示部１０８が兼用するタッチパネルを通して合焦位置を指定し、その合焦位置に相当するピント位置の光軸方向の前後に等間隔に複数のピント位置を指定する。同時に、制御部１０１は、設定したピント位置において、距離順に撮像順番を決める。

【0025】

ステップＳ３０２で、撮像部１０４は、ステップＳ３０１で設定したピント位置のうち、未撮像のものの中で、撮像順番が最も先のピント位置において撮像する。

【0026】

ステップＳ３０３で、制御部１０１は、ステップＳ３０１で設定したすべてのピント位置において撮像を行ったかどうかについて判断する。すべてのピント位置に撮像した場合は、このフローチャートでの処理を終了し、まだ撮像していないピント位置があれば、ステップＳ３０２に戻る。

【0027】

図４は、本実施形態におけるステップＳ２０２での位置合わせについて説明するためのフローチャートである。

【0028】

ステップＳ４０１では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した画像のうちから、位置合わせの基準画像を取得する。位置合わせの基準画像は、撮像順番が最も早いものとする。あるいは、ピント位置を変えながら撮像することで、わずかながら撮像された画像間で画角が変化するため、撮像した画像の中で画角が最も狭いものにしてもよい。

【0029】

ステップＳ４０２では、制御部１０１は、位置合わせの処理の対象画像を取得する。対象画像は、ステップＳ４０１で取得した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。制御部１０１は、撮像順番が最も早いものを基準画像とするならば、撮像した順番で順次に対象画像を取得すればよい。

【0030】

ステップＳ４０３では、制御部１０１は、基準画像と対象画像との位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、制御部１０１は、基準画像に、複数のブロックを設定する。制御部１０１は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、制御部１０１は、対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲を設定する。最後に、制御部１０１は、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。制御部１０１は、基準画像のブロックの中心と前述した対応点から、ステップＳ４０３でいう位置のずれをベクトルとして算出する。制御部１０１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

【0031】

ステップＳ４０４で、制御部１０１で、基準画像と対象画像との位置のずれ量から変換係数を算出する。制御部１０１は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

【0032】

ステップＳ４０５で、画像処理部１０７は、ステップＳ４０４で算出した変換係数を用いて対象画像に対して変換を行う。

【0033】

たとえば、制御部１０１は、（式１）に示した式を用いて変形を行うことができる。

【0034】

【数1】

【0035】

（式１）では、（ｘ´、ｙ´）は変形を行った後の座標を示し、（ｘ、ｙ）は変形を行う前の座標を示す。行列ＡはステップＳ４０４で制御部１０１が算出した変形係数を示す。

【0036】

ステップＳ４０６で、制御部１０１は、基準画像以外のすべての画像に対して位置合わせを行ったかどうかについて判断する。基準画像以外のすべての画像に対して位置合わせを行った場合は、このフローチャートでの処理を終了し、まだ処理していない画像があれば、ステップＳ４０２に戻る。

【0037】

図５は、本実施形態におけるステップＳ２０３での画像の合成について説明するためのフローチャートである。

【0038】

ステップ５０１で、画像処理部１０７は、位置合わせを行った後のそれぞれの画像（基準画像を含む）に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部１０７は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の（式２）を用いて輝度Ｙを算出する。
Ｙ ＝ ０．２９９Ｓｒ ＋ ０．５８７Ｓｇ ＋ ０．１１４Ｓｂ・・・（式２）

【0039】

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式３）乃至（式５）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

【0040】

【数2】

【0041】

【数3】

【0042】

【数4】

【0043】

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

【0044】

ステップＳ５０２で、画像処理部１０７は、合成マップを生成する。合成マップの生成方法としては、画像処理部１０７は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の最も高い画素の合成比率を１００％とし、同じ位置にあるほかの画素の合成比率を０％とする。画像処理部１０７は、こうした合成比率の設定を、画像のすべての位置に対して行う。

【0045】

ステップＳ５０３で、制御部１０１は、ステップＳ５０２で画像処理部１０７が生成した合成マップに対して補正を行う。具体的な補正方法は後述する。

【0046】

ステップＳ５０４では、画像処理部１０７は、ステップＳ５０３で制御部１０１が補正した合成マップに従い画素の置き換えを行い、合成画像を生成する。なお、このようにして算出した合成比率に対して、隣接画素間で合成比率が０％から１００％に変化（あるいは１００％から０％に変化）すると、合成境界での不自然さが目立つようになる。そのため、合成マップに対して所定の画素数（タップ数）を持つフィルタをかけ、隣接画素間で合成比率が急激に変化しないようにする。

【0047】

以下では、ステップＳ５０３での合成マップの補正について詳細に説明する。

【0048】

図６は、本実施形態におけるステップＳ５０３での合成マップの補正について説明するためのフローチャートである。ステップＳ６０１で、制御部１０１は、未処理の画素から着目画素を選定する。

【0049】

次に、ステップＳ６０２で、制御部１０１は、着目画素のコントラスト値の変化量を算出する。ここでいうコントラスト値の変化量を、位置合わせを行った後のそれぞれの画像（基準画像を含む）において、着目画素と同じ位置にある画素のうち、コントラスト値の最大値と最小値との差を指す。

【0050】

ステップＳ６０３で、制御部１０１は、ステップＳ６０２で算出したコントラスト値の変化量を予め定められた閾値と比較し、閾値以下であれば、ステップＳ６０４に進み、着目画素の合成比率の変更を行う。一方、閾値以下でなければ、ステップＳ６０５に進む。ここでは、制御部１０１は、コントラスト値の変化量が閾値以下の画素は、図１０の画素１００１のように、被写体のエッジボケである可能性が高いと判断した。

【0051】

ステップＳ６０４で、制御部１０１は、着目画素の合成比率を変更する。ここで、制御部１０１は、着目画素の合成比率を、その近傍の、コントラスト値の変化量が閾値よりも大きい画素を参照して変更する。たとえば、制御部１０１は、着目画素の合成比率を、その近傍のコントラスト値の変化量が閾値よりも大きい画素のうち、最も大きいものの合成比率にする。または、その近傍のコントラスト値の変化量が閾値よりも大きい画素のうち、最も近いものの合成比率にする。このステップＳ６０４における閾値は、ステップＳ６０３で比較に用いた閾値と同じ値としてもよいし、ステップＳ６０３で比較に用いた閾値よりも大きな値としてもよい。近傍にコントラスト値の変化量が閾値より大きくなる画素が存在しなければ、その画素の近傍にはエッジが無く、その画素がエッジボケである可能性は低いとして、合成比率の補正は行わない。なお、ここでいう「近傍」の範囲については、後述する。図８は、本実施形態におけるコントラスト値の変化量を説明するためのである。図７（ａ）では、複数の画像の同じ位置にある画素７１１乃至７１５のコントラスト値と画像撮像時のピント位置との関係を示している。画素７１３がある画像を撮像したときのコントラスト値が最大であり、このピント位置においてこの画素はピントが合っていると判断し、このピント位置をベストピントとも呼ぶ。ここで、コントラスト値の最も大きい画素５１３のコントラスト値と、コントラスト値の最も小さい画素７１５のコントラスト値の差、つまり前述したコントラスト値の変化量を算出し、前述した閾値より大きいと仮定する。

【0052】

一方で、図７（ｂ）は、画素７１１乃至７１５のそれぞれの近傍にある同じ位置の画素７２１乃至７２５のコントラスト値とピント位置との関係を示している。図７（ｂ）では、画素７２５のコントラスト値が最も高いが、それと、コントラスト値の最も低い画素７２３のコントラスト値との差、つまり、コントラスト値の変化量は閾値以下とする。コントラスト値の変化量が閾値以下である場合、前述したように、制御部は、この画素はコントラスト値の小さな被写体の領域の位置にあり、周囲の被写体のエッジのボケの影響を受けている可能性があるとして、合成比率の変更を行う。変更の方法として、制御部１０１は、図７（ａ）の画素７１１のベストピントとなるピント位置を、図７（ｂ）の画素７２３におけるベストピントと判断する。そして、制御部１０１は、このピント位置にある画素７２３の合成比率を１００％にし、画素７２５を含むほかの画像の同じ位置の画素の合成比率を０％にする。このような変更は、図１０に例えると、画像処理部１０７は合成画像１０００を作成するとき、図１０の画素１０５１の代わりに、画素１０３１を合成画像に使うことになり、エッジボケを防ぐことになる。

【0053】

ステップＳ６０５で、制御部１０１は、すべての画素を処理したかどうかについて判断する。すべての画素を処理した場合このフローを終了し、まだ処理していない画素があれば、ステップＳ６０１に戻る。

【0054】

なお、前述したように、上記処理は、図７（ａ）に示した画素は図７（ｂ）に示した画素の近傍にあることを前提にしている。ここでいう「近傍」の判断は、点広がり関数（Ｐｏｉｎｔ ｓｐｒｅａｄ ｆｕｎｃｔｉｏｎ、以下ＰＳＦをいう）を用いて行うことができる。

【0055】

図８は、本実施形態におけるＰＳＦを説明するための図である。図８では、横軸が画素の座標、縦軸がコントラスト値を示している。なお、実際のＰＳＦは２次元的な広がりを持っているが、図８では簡略のため、１次元で表現している。図８（ａ）は理想的なレンズを用いて点像をベストピントの位置で結像させた場合のＰＳＦを示している。図８（ｂ）では、ピント位置を動かしたデフォーカス状態（撮像面の位置がベストピントの位置から離れる状態）での結像は曲線８２０のようになり、像の広がる（ボケが広がる）画素数Ｎは距離８２１に示したようになる。図８（ｃ）では、さらにデフォーカス量が大きくなると結像は曲線８３０になり、像の広がる画素数Ｎは距離８３１になる。

【0056】

デフォーカス量（ピント位置の変更量）はステップＳ３０１での設定から計算することができるので、ＰＳＦに応じて像がどれだけ広がるかを計算することが可能である。前述した着目画素の「近傍」を、この画素数Ｎに収めるように設定するとよい。つまり、制御部１０１は、着目画素のコントラスト値の変化量が閾値以下であれば、予め計算したＰＳＦに基づいて設定した範囲において、コントラスト値の変化量が閾値より大きい画素があるかどうかを確かめる。着目画素の近傍にあれば、制御部１０１は、前述した合成比率の変更を行う。

【0057】

なお、上述した近傍の決め方は一例にすぎず、様々な変更をすることができる。たとえば、ＰＳＦの広がりで得られた画素数Ｎで判断したうえで、さらに、被写体の距離情報を用いて判断する。つまり、図７（ａ）と図７（ｂ）とに示した画素の被写体距離の差が所定量以下でないと、制御部１０１は、その２つの画素は「近傍」にあると判断しない。距離情報は公知の技術で算出することが可能で、一例として１つの画素に複数の光電変換部を有する撮像素子が取得するステレオ画像から算出することができる。

【0058】

さらに、上記の「近傍」と判断された画素のうち、コントラスト値の変化の特性を考慮することも可能である。たとえば、図７（ａ）に示した画素はベストピントの位置でコントラスト値が最大で、ピント位置が変化するとコントラスト値が減少する特性を持っている。それに対して、エッジボケ画素は図７（ａ）のベストピントの位置でコントラスト値が最小で、ピント位置が変化するとコントラスト値が増加する特性をもつ可能性が高い。そのため、着目画素のコントラスト値の変化特性と逆のコントラスト値の変化特性をもつ画素のみ用いて、着目画素の合成比率の補正を行うようにするようにしても良い。

【0059】

第１の実施形態によれば、画素のコントラスト値の変化量を計算し、閾値以下の画素の合成比率を変更することによって、エッジボケを低減することができる。

【0060】

（第２の実施形態）
第１の実施形態では、着目画素のコントラスト値の変化量が閾値以下である場合に、その着目画素の合成比率を変更したが、第２の実施形態では、着目画素のコントラスト値の変化量が閾値より大きい場合に、その周辺画素の合成比率を変更するものである。以下では、第２の実施形態について、第１の実施形態と異なる所を中心に説明する。なお、第１の実施形態と同様な所は省略する。

【0061】

図９は、本実施形態におけるステップＳ５０３での合成マップの補正について説明するためのフローチャートである。ステップＳ９０１で、制御部１０１は、未処理の画素から着目画素を選定する。

【0062】

ステップＳ９０２で、制御部１０１は、着目画素のコントラスト値の変化量を算出する。算出の方法は第１の実施形態のステップＳ６０２と同様である。

【0063】

ステップＳ９０３で、制御部１０１は、ステップＳ９０２で算出したコントラスト値の変化量が予め定められた閾値以上であれば、ステップＳ９０４に進み、閾値より小さければ、ステップＳ９０５に進む。ここでいう「閾値」は、第１の実施形態の合成マップの補正についての説明での「閾値」と異なるものである。

【0064】

ステップＳ９０４で、制御部１０１は、着目画素の合成比率を参照し、近傍画素の合成比率を変更する。たとえば、制御部１０１は、着目画素の近傍の画素のうちコントラスト値の変化量が閾値以下である画素の合成比率を、着目画素と同じ合成比率にする。ここで、その近傍の画素に対して、着目画素よりも近い位置に、コントラスト値の変化量が予め定められた閾値以上となる他の画素が存在するならば、その画素に基づく合成比率を優先するようにしてもよい。また、着目画素の近傍に、コントラスト値の変化量が閾値以下の画素となる画素が無い場合には、この近傍の範囲において合成比率の変更は行わない。ここでいう「近傍」の判断方法は、第１の実施形態のステップＳ６０４で説明した方法と同様でよい。

【0065】

ステップＳ９０５で、制御部１０１は、すべての画素を処理したかどうかについて判断する。すべての画素を処理した場合このフローを終了し、まだ処理していない画素があれば、ステップＳ９０１に戻る。

【0066】

ステップＳ９０３では、着目画素のコントラスト値が閾値以上である場合、ピント位置を変更することでエッジボケが広がる可能性が高く、近傍画素において単純にコントラスト値の最大値で合成比率を決定するとエッジボケした画像を出力する可能性がある。そのため、閾値以上のコントラスト値をもつ画素を検出した場合は、近傍にエッジボケの影響を受けやすいコントラスト値の変化量が小さな画素があれば、その画素の合成比率を着目画素と同じ合成比率に変更するようにする。

【0067】

第２の実施形態によれば、画素のコントラスト値の変化量を計算し、閾値以上の画素の近傍画素の合成比率を変更することによって、エッジボケを低減することができる。

【0068】

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

【0069】

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0070】

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】