特許 7458769 画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-03-22

(45)【発行日】2024-04-01

(54)【発明の名称】画像処理装置、撮像装置、画像処理方法、プログラムおよび記録媒体

(51)【国際特許分類】

   H04N 23/60 20230101AFI20240325BHJP

   H04N 23/67 20230101ALI20240325BHJP

   G06T 5/50 20060101ALI20240325BHJP

   G03B 15/00 20210101ALI20240325BHJP

【ＦＩ】

H04N23/60 500

H04N23/67 300

G06T5/50

G03B15/00 H

【請求項の数】 12

(21)【出願番号】P 2019228214

(22)【出願日】2019-12-18

(65)【公開番号】P2021097351

(43)【公開日】2021-06-24

【審査請求日】2022-10-25

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】塩田 涼

【審査官】高野 美帆子

(56)【参考文献】

【文献】特開２０１８－０３７８５７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／６７

Ｇ０６Ｔ ５／５０

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

光軸方向で異なるピント位置で撮像した複数の画像から合成マップを作成する合成マップの作成手段と、
前記合成マップに対して補正を行う補正手段と、
前記補正手段が補正した前記合成マップを用いて前記複数の画像に対して合成を行い、合成画像を生成する合成手段と、を有し、
前記合成画像の被写界深度は、前記複数の画像の被写界深度よりも深く、
前記補正手段は、前記合成マップにおける合成比率が、外周と第１の閾値以上に乖離した値に囲まれている第１の領域を検出し、前記第１の領域の外周にある第２の領域から補正値を求め、前記第１の領域を前記補正値で補正することを特徴とする画像処理装置。

【請求項2】

前記作成手段が、前記複数の画像のコントラスト値から前記合成マップを作成することを特徴とする請求項１に記載の画像処理装置。

【請求項3】

前記作成手段が、前記複数の画像の対応する領域のコントラスト値を比較し、前記コントラスト値がより高い前記領域に、より高い前記合成比率を与えることを特徴とする請求項２に記載の画像処理装置。

【請求項4】

前記第１の領域の面積が第２の閾値より小さい場合、前記補正手段が前記補正を行うことを特徴とする請求項１ないし３のいずれか１項に記載の画像処理装置。

【請求項5】

前記第２の閾値とは、フォーカスレンズの像面移動量、絞り値、許容錯乱円と、を用いて決定される値であることを特徴とする請求項４に記載の画像処理装置。

【請求項6】

前記第２の領域の面積は、画像の絞り値、ピント位置、画像の画素数の少なくともいずれかによって決まることを特徴とする請求項１ないし５のいずれか１項に記載の画像処理装置。

【請求項7】

前記補正値は、前記第２の領域の前記合成比率の平均値または中央値であることを特徴とする請求項１ないし６のいずれか１項に記載の画像処理装置。

【請求項8】

前記第１の閾値とは、フォーカスレンズの像面移動量、絞り値、許容錯乱円と、を用いて決定される値であることを特徴とする請求項１ないし７のいずれか１項に記載の画像処理装置。

【請求項9】

光軸方向で異なるピント位置で複数の画像を撮像する撮像手段と、
前記複数の画像から合成マップを作成する合成マップの作成手段と、
前記合成マップに対して補正を行う補正手段と、
前記補正手段が補正した前記合成マップを用いて前記複数の画像に対して合成を行い、合成画像を生成する合成手段と、を有し、
前記合成画像の被写界深度は、前記複数の画像の被写界深度よりも深く、
前記補正手段は、前記合成マップにおける合成比率が、外周と第１の閾値以上に乖離した値に囲まれている第１の領域を検出し、前記第１の領域の外周にある第２の領域から補正値を求め、前記第１の領域を前記補正値で補正することを特徴とする撮像装置。

【請求項10】

光軸方向で異なるピント位置で撮像した複数の画像から合成マップを作成する合成マップの作成ステップと、
前記合成マップに対して補正を行う補正ステップと、
前記補正ステップにおいて補正した前記合成マップを用いて前記複数の画像に対して合成を行い、合成画像を生成する合成ステップと、を有し、
前記合成画像の被写界深度は、前記複数の画像の被写界深度よりも深く、
前記補正ステップにおいては、前記合成マップにおける合成比率が、外周と第１の閾値以上に乖離した値に囲まれている第１の領域を検出し、前記第１の領域の外周にある第２の領域から補正値を求め、前記第１の領域を前記補正値で補正することを特徴とする画像処理方法。

【請求項11】

画像処理装置のコンピュータに動作させるコンピュータのプログラムであって、
光軸方向で異なるピント位置で撮像した複数の画像から合成マップを作成する合成マップの作成ステップと、
前記合成マップに対して補正を行う補正ステップと、
前記補正ステップにおいて補正した前記合成マップを用いて前記複数の画像に対して合成を行い、合成画像を生成する合成ステップと、を行わせ、
前記合成画像の被写界深度は、前記複数の画像の被写界深度よりも深く、
前記補正ステップにおいては、前記合成マップにおける合成比率が、外周と第１の閾値以上に乖離した値に囲まれている第１の領域を検出し、前記第１の領域の外周にある第２の領域から補正値を求め、前記第１の領域を前記補正値で補正することを特徴とするプログラム。

【請求項12】

請求項１１に記載のプログラムを記録したコンピュータが読み出し可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ピント位置の異なる複数の画像を合成する画像処理装置に関するものである。

【背景技術】

【0002】

デジタルカメラなどからの光軸方向での距離が互いに大きく異なる複数の被写体を撮像する場合や、奥行き方向に長い被写体を撮像する場合に、被写界深度が足りないために被写体の一部にしかピントを合わせられない場合がある。これを解決するため、特許文献１には、ピント位置の異なる複数の画像を撮像し、各画像から合焦領域のみを抽出して１枚の画像に合成し、撮像領域全体に合焦している合成画像を生成する、所謂、深度合成の技術が開示されている。そこで、特許文献１では、それぞれの画像の同じ位置にある領域の中で、コントラスト値の最も高い領域を合焦領域とする。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１５－２１６５３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の深度合成の方法を用いると、光沢や反射のある被写体の深度合成では、光沢や反射光のぼけが合成されてしまう可能性がある。

【0005】

本発明は、上述した課題を鑑みてなされたものであり、ピント位置の異なる複数の画像を用いて合成した画像における光沢や反射光のぼけを低減することができる画像処理装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本願発明は、光軸方向で異なるピント位置で複数の画像から合成マップを作成する合成マップの作成手段と、前記合成マップに対して補正を行う補正手段と、前記補正手段が補正した前記合成マップを用いて前記複数の画像に対して合成を行い、合成画像を生成する合成手段と、を有し、前記合成画像の被写界深度は、前記複数の画像の前記被写界深度よりも深く、前記補正手段は、前記合成マップにおける合成比率が、外周と第１の閾値以上に乖離した値に囲まれている第１の領域を検出し、前記第１の領域の外周にある第２の領域から補正値を求め、前記第１の領域を前記補正値で補正する画像処理装置を特徴とする画像処理装置を提供する。

【発明の効果】

【0007】

本発明の構成によれば、ピント位置の異なる複数の画像を用いて合成した画像における光沢や反射光のぼけを低減することができる。

【図面の簡単な説明】

【0008】

【図1】本発明の実施形態に係るデジタルカメラの構造を示すブロック図である。

【図2】本発明の実施形態における合成画像の生成について説明するためのフローチャートである。

【図3】本発明の実施形態における撮像について説明するためのフローチャートである。

【図4】本発明の実施形態における位置合わせについて説明するためのフローチャートである。

【図5】本発明の実施形態における画像の合成について説明するためのフローチャートである。

【図6】本発明の実施形態における合成マップの補正について説明するためのフローチャートである。

【図7】深度合成のための撮像を行う一例を説明するための図である。

【図8】本発明の実施形態における合成マップの補正を説明するための図である。

【図9】本発明の実施形態における補正後の合成マップによる合成結果を説明するための図である。

【図10】本発明の実施形態におけるピント位置と被写界深度との関係を説明するための図である。

【図11】本発明の実施形態における第１の閾値と第２の閾値との定め方を説明するためのグラフである。

【発明を実施するための形態】

【0009】

以下では、添付の図面を参照しながら、本発明の好適な実施形態について詳細に説明する。

【0010】

図１は本実施形態に係る画像処理装置としてのデジタルカメラの構造を示すブロック図の一例である。デジタルカメラ１００は、静止画を撮像することができ、かつ、合焦位置の情報を記録し、コントラスト値の算出および画像の合成が可能なものである。さらに、デジタルカメラ１００は、撮像して保存した画像、または、外部から入力した画像に対して、拡大処理または縮小処理を行うことができる。

【0011】

制御部１０１は、例えばＣＰＵやＭＰＵなどのシグナルプロセッサであり、予め後述するＲＯＭ１０５に内蔵されたプログラムを読み出しながら、デジタルカメラ１００の各部分を制御する。たとえば、後述するように、制御部１０１が、後述する撮像部１０４に対して撮像の開始と終了について指令を出す。または、後述する画像処理部１０７に対して、ＲＯＭ１０５に内蔵されたプログラムに基づいて、画像処理の指令を出す。ユーザによる指令は、後述する操作部１１０によってデジタルカメラ１００に入力され、制御部１０１を通して、デジタルカメラ１００の各部分に達する。

【0012】

駆動部１０２は、モーターなどによって構成され、制御部１０１の指令の下で、後述する光学系１０３を機械的に動作させる。たとえば、制御部１０１の指令に基づいて、駆動部１０２が光学系１０３に含まれるフォーカスレンズの位置を移動させ、光学系１０３の焦点距離を調整する。

【0013】

光学系１０３は、ズームレンズ、フォーカスレンズ、および絞りなどにより構成される。絞りは、透過する光量を調整する機構である。レンズの位置を変えることによって、合焦位置を変えることができる。

【0014】

撮像部１０４は、光電変換素子であり、入射された光信号を電気信号に変換する光電変換を行うものである。たとえば、撮像部１０４に、ＣＣＤセンサやＣＭＯＳセンサなどを適用することができる。撮像部１０４は、動画撮像モードを設け、時間的に連続する複数の画像を動画の各々のフレームとして、撮像することができる。

【0015】

ＲＯＭ１０５は、記録媒体としての読み出し専用の不揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶している。ＲＡＭ１０６は、書き換え可能な揮発性メモリであり、デジタルカメラ１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。

【0016】

画像処理部１０７は、撮像部１０４から出力された画像、あるいは後述する内蔵メモリ１０９に記録されている画像信号のデータに対して、ホワイトバランス調整、色補間、フィルタリングなど、様々な画像処理を行う。また、撮像部１０４が撮像した画像信号のデータに対して、ＪＰＥＧなどの規格で、圧縮処理を行う。

【0017】

画像処理部１０７は、特定の処理を行う回路を集めた集積回路（ＡＳＩＣ）で構成される。あるいは、制御部１０１がＲＯＭ１０５から読み出したプログラムに従って処理することで、制御部１０１が画像処理部１０７の機能の一部または全部を兼用するようにしてもよい。制御部１０１が画像処理部１０７の全ての機能を兼用する場合には、画像処理部１０７をハードウェアとして有する必要はなくなる。

【0018】

表示部１０８は、ＲＡＭ１０６に一時保存されている画像、または、後述する内蔵メモリ１０９に保存されている画像、あるいは、デジタルカメラ１００の設定画面などを表示するための液晶ディスプレイや有機ＥＬディスプレイなどである。

【0019】

内蔵メモリ１０９は、撮像部１０４が撮像した画像や画像処理部１０７の処理を得た画像、および、画像撮像時の合焦位置の情報などを記録する場所である。内蔵メモリの代わりに、メモリカードなどを用いてもよい。

【0020】

操作部１１０は、たとえば、デジタルカメラ１００につけるボタンやスイッチ、キー、モードダイアルなど、あるいは、表示部１０８に兼用されるタッチパネルなどである。ユーザによる指令は、操作部１１０を経由して、制御部１０１に達する。

【0021】

図２は、本実施形態における合成画像の生成について説明するためのフローチャートである。ステップＳ２０１では、撮像部１０４は、ピント位置の異なる複数の画像を撮像する。ステップＳ２０２では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した複数の画像に対して位置合わせを行う。ステップＳ２０３で、画像処理部１０７は、位置合わせを行った後の画像に対して合成を行い、被写界深度のより深い合成画像を作成する。以下では、それぞれのステップについて詳細に説明する。

【0022】

図３は、本実施形態におけるステップＳ２０１での撮像について説明するためのフローチャートである。

【0023】

ステップＳ３０１で、制御部１０１は、ピント位置の設定を行う。たとえば、ユーザは表示部１０８が兼用するタッチパネルを通して合焦位置を指定し、指定された合焦位置に相当するピント位置の光軸方向の前後に等間隔に複数のピント位置を指定する。同時に、制御部１０１は、設定したピント位置において、距離順に撮像順番を決める。

【0024】

ステップＳ３０２で、撮像部１０４は、ステップＳ３０１で設定したピント位置のうち、未撮像のものの中で、撮像順番が最も先のピント位置において撮像する。

【0025】

ステップＳ３０３で、制御部１０１は、ステップＳ３０１で設定したすべてのピント位置において撮像を行ったかどうかについて判断する。すべてのピント位置に撮像した場合は、このフローチャートでの処理を終了し、まだ撮像していないピント位置があれば、ステップＳ３０２に戻る。

【0026】

また、撮像部１０４を複数有する多眼カメラの場合、ステップＳ３０１で設定された複数のピント位置で同時に撮像してもよい。

【0027】

図４は、本実施形態におけるステップＳ２０２での位置合わせについて説明するためのフローチャートである。

【0028】

ステップＳ４０１では、制御部１０１は、ステップＳ２０１で撮像部１０４が撮像した画像のうちから、位置合わせの基準画像を取得する。位置合わせの基準画像は、たとえば、撮像順番が最も早いものとする。あるいは、ピント位置を変えながら撮像することで、わずかながら撮像された画像間で画角が変化するため、撮像した画像の中で画角が最も狭いものにしてもよい。

【0029】

ステップＳ４０２では、制御部１０１は、位置合わせの処理の対象画像を取得する。対象画像は、ステップＳ４０１で取得した基準画像以外の画像で、位置合わせの処理が済んでいないものとする。制御部１０１は、撮像順番が最も早いものを基準画像とするならば、撮像した順番で順次に対象画像を取得すればよい。

【0030】

ステップＳ４０３では、制御部１０１は、基準画像と対象画像との位置のずれ量を算出する。算出方法の一例は、以下に述べる。まず、制御部１０１は、基準画像に、複数のブロックを設定する。制御部１０１は、各々のブロックのサイズが同じになるように設定することが好ましい。次に、制御部１０１は、対象画像の、基準画像のそれぞれのブロックと同じ位置に、基準画像のブロックよりも広い範囲を、探索範囲を設定する。最後に、制御部１０１は、対象画像のそれぞれの探索範囲に、基準画像のブロックとの輝度の差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下、ＳＡＤをいう）が最小となる対応点を算出する。制御部１０１は、基準画像のブロックの中心と前述した対応点から、ステップＳ４０３でいう位置のずれをベクトルとして算出する。制御部１０１は、前述する対応点の算出において、ＳＡＤのほかに、差分二乗和（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＳＤをいう）や正規化相互相関（Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ Ｃｏｒｒｅｌａｔｉｏｎ、以下ＮＣＣをいう）などを用いてもよい。

【0031】

ステップＳ４０４で、制御部１０１で、基準画像と対象画像との位置のずれ量から変換係数を算出する。制御部１０１は、変換係数として、例えば射影変換係数を用いる。ただし、変換係数として射影変換係数だけに限定するわけではなく、アフィン変換係数や水平垂直シフトのみの簡略化した変換係数を用いてもよい。

【0032】

ステップＳ４０５で、画像処理部１０７は、ステップＳ４０４で算出した変換係数を用いて対象画像に対して変換を行う。

【0033】

たとえば、制御部１０１は、（式１）に示した式を用いて変形を行うことができる。

【0034】

【数1】

【0035】

式（１）では、（ｘ´、ｙ´）は変形を行った後の座標を示し、（ｘ、ｙ）は変形を行う前の座標を示す。行列ＡはステップＳ４０４で制御部１０１が算出した変形係数を示す。

【0036】

ステップＳ４０６で、制御部１０１は、基準画像以外のすべての画像に対して位置合わせを行ったかどうかについて判断する。基準画像以外のすべての画像に対して位置合わせを行った場合は、このフローチャートでの処理を終了し、まだ処理していない画像があれば、ステップＳ４０２に戻る。

【0037】

また、上述した多眼カメラで撮像された複数の画像を位置合わせする場合、光学系１０３の位置の違いにより生まれる視差量をステップＳ４０３でずれ量算出で求める事が出来るため、同様の処理で位置合わせを行うことが出来る。

【0038】

図５は、本実施形態におけるステップＳ２０３での画像の合成について説明するためのフローチャートである。

【0039】

ステップ５０１で、画像処理部１０７は、位置合わせを行った後のそれぞれの画像（基準画像を含む）に対してコントラスト値を算出する。コントラスト値の算出方法の一例としては、たとえば、まず、画像処理部１０７は、それぞれの画素の色信号Ｓｒ、Ｓｇ、Ｓｂから、下記の式（２）を用いて輝度Ｙを算出する。
Ｙ ＝ ０．２９９Ｓｒ ＋ ０．５８７Ｓｇ ＋ ０．１１４Ｓｂ・・・式（２）

【0040】

次に、３×３の画素の輝度Ｙの行列Ｌに、下記の（式３）ないし（式５）に示したように、ソーベルフィルタを用いてコントラスト値Ｉを算出する。

【0041】

【数2】

【0042】

【数3】

【0043】

【数4】

【0044】

また、上述のコントラスト値の計算方法は一例にすぎず、たとえば、使用するフィルタをラプラシアンフィルタ等のエッジ検出フィルタや所定の帯域を通過するバンドパスフィルタを用いることも可能である。

【0045】

ステップＳ５０２で、画像処理部１０７は合成マップを生成する。合成マップの生成方法としては、画像処理部１０７は、それぞれの画像の同じ位置にある画素のコントラスト値を比較し、コントラスト値の大きさに応じた合成比率を算出する。具体的に、同じ位置にある画像のうち、コントラスト値の最も大きい画素に対して１００％の合成比率を与え、同じ位置にある他の画素に対して０％の合成比率を与える。つまり、次の（式６）が成り立つ。

【0046】

【数5】

【0047】

（式６）では、Ｃｍ（ｘ，ｙ）はステップＳ５０１で算出したコントラスト値を表し、Ａｍ（ｘ，ｙ）は合成マップの比率を表す。なお、ｍはピント位置の異なる複数画像のうちｍ番目の画像、ｘは画像の水平座標、ｙは垂直座標を示している。

【0048】

ただし、ステップＳ５０２では、境界部が不自然にならないように合成比率を適宜調整する必要がある。その結果、１枚の画像における合成マップの合成比率は、０％と１００％との二値化のものでなく、連続的に変化するものになる。

【0049】

ステップＳ５０３では、画像処理部１０７は、ステップ５０２で算出した合成マップを補正する。具体的な方法は後述する。

【0050】

ステップＳ５０４では、画像処理部１０７は、ステップＳ５０３で補正した合成マップに従い、合成画像を生成する。

【0051】

以下では、ステップＳ５０３における、光沢や反射光のぼけの広がりが合成されることを防ぐための合成マップ補正について図６と図７と図８とを用いて詳細に説明する。

【0052】

図６は、本実施形態におけるステップＳ５０３の合成マップの補正（合成比率補正）について説明するためのフローチャートである。

【0053】

図７は、本実施形態における深度合成のための撮像を行う一例を説明するための図である。以下では、まず、図７を用いて光源からの光を反射するシーンを説明する。図７（ａ）は撮像するための環境を示したシーンである。図７（ａ）では、デジタルカメラ７０１と光源７０２とを示し、被写体７０３により光が反射されることを示している。深度合成のための撮像を行う場合、デジタルカメラ７０１が最至近側から無限遠側までの間で、複数のピント位置で撮像を行う。ピント位置７０４で撮像した画像が７１０であり、領域７１１が光源７０２からの反射光にあたる領域である。ピント位置７０４に合焦させて撮像する場合では、光源７０２から被写体７０３で反射しデジタルカメラ７０１に入射する反射光が、最も散乱しなく、図７（ｂ）に示したように、反射光にあたる領域が撮像画像においては最もぼけない。ピント位置７０５は、ピント位置７０４よりも手前のピント位置である。ピント位置７０４に合焦した場合、領域７１１はぼけずに撮像することができる。一方、ピント位置７０５に合焦させて撮像した画像が図７（ｃ）に示され、領域７２１が光源７０２からの反射光にあたる領域であり、領域７２１は領域７１１と比べてぼけて広がっている。

【0054】

図７（ｂ）と図７（ｃ）とに示した２枚の画像を従来の深度合成の方法で合成すると、図７（ｄ）に示した画像が得られる。領域７２１が図７（ｂ）での同じ位置の領域よりもコントラスト値が高いため、図７（ｄ）に示した合成画像では、領域７２１に相当する領域７３２が存在する。ステップＳ５０３での合成マップの補正を経て、領域７３２での過度のボケが消去される。図９は、本実施形態における補正後の合成結果を説明するための図である。ステップＳ５０３での合成マップの補正をすれば、画像９００のような合成画像が得られる。

【0055】

次に、図６に示したフローチャートのフローについて説明する。

【0056】

ステップＳ６０１では、画像処理部１０７が、ステップＳ５０２で生成した合成マップの中で、合成マップの示す値が外周と第１の閾値以上乖離した値に囲まれている閉領域を検出する。図８は、本実施形態におけるステップＳ５０３の合成マップ補正（合成比率補正）について説明するための図である。図８（ａ）は図７（ｂ）および図７（ｃ）に示した２枚の画像を合成する場合の合成マップである。たとえば、領域８０１で示す領域は図７（ｂ）の画像を１００％合成する領域であり、領域８０２と領域８０３は図７（ｃ）の画像を１００％合成する領域であり、領域８０４は図７（ｂ）および図７（ｃ）に示した２枚の画像を混ぜて合成する領域である。領域８０２は領域７２１の領域に対応する。前述第１の閾値を１００％とすると、図８に示した合成マップ８００の中で外周と１００％以上乖離した値に囲まれている閉領域を検出すると領域８０２にあたり、領域８０２の近傍部分について図８（ｂ）の画像８１０で抜粋している。なお、ステップＳ６０１における閉領域の検出方法について、誤検出および検出漏れを避けるため、たとえば閉領域の大きさ、すなわち面積が第２の閾値を下回っている場合にのみ後述の補正を行ってもよい。

【0057】

上述した第１の閾値および第２の閾値の決定方法について、図１０を用いて説明する。図１０は、本実施形態におけるピント位置と被写界深度との関係を説明するための図である。被写界深度１００１、１００２、１００３は、それぞれピント位置１００４、１００５、１００６で撮像したときの被写界深度を示している。ピント位置１００４とピント位置１００５とで撮像した画像を比較すると、被写界深度が重なる領域が多いためぼけの広がり方が似ているとわかる。一方で、ピント位置１００４とピント位置１００６とで撮像した画像を比較すると、被写界深度が重なる領域が狭いためぼけの広がり方が大きく異なるとわかる。すなわち、光沢や反射光のある被写体においては、被写界深度の差が大きくなるほど光のぼけの広がり方が顕著になるため、合成マップにおける閉領域は大きくなるという特徴が推測できる。また、被写界深度の差が大きくなるほど、コントラスト値の差が大きくなるため、閉領域内外の合成比率の差は顕著になるといえる。

【0058】

上記の特徴を利用し、前述の第１の閾値および第２の閾値を定める。図１１は本実施形態における第１の閾値と第２の閾値との定め方を説明するためのグラフである。図１１（ａ）のグラフ１１００は第１の閾値の決定方法を示し、図１１（ｂ）のグラフ１１１０は第２の閾値の決定方法を示す。図１１のグラフの横軸のＦは絞り値を示し、δは許容錯乱円を示す。グラフ１１００では、フォーカスレンズの像面移動量を絞り値と許容錯乱円で割った値に対して、第１の閾値を比例させている。図１１（ａ）に示した例では、フォーカスレンズの像面移動量を絞り値と許容錯乱円で割った値の最小値が１、最大値が４とすると、第１の閾値すなわち合成比率の差による閉領域検出の判断の閾値を最小値２０％、最大値１００％として線形に比例させている。たとえば、フォーカスレンズの像面移動量を絞り値と許容錯乱円で割った値が１のケースにおいては、被写界深度の重なる範囲が大きいため、閉領域内外の合成比率の差が小さくなるので、第１の閾値を２０％まで落とすことで検出可能としている。逆に、フォーカスレンズの像面移動量を絞り値と許容錯乱円で割った値が４のケースにおいては、被写界深度の重なる領域が小さいため、閉領域内外の合成比率の差が大きくなるので、第１の閾値を１００％にしても閉領域を検出可能となる。

【0059】

図１１（ｂ）に示したグラフ１１１０でもグラフ１１００と同様に、フォーカスレンズの像面移動量を絞り値と許容錯乱円で割った値に対して、第２の閾値を比例させている。図１１（ｂ）に示した例では、フォーカスレンズの像面移動量を絞り値と許容錯乱円で割った値の最小値が１、最大値が４とすると、第２の閾値すなわち面積による閉領域検出の判断の閾値を最小値５０ピクセル、最大値１００ピクセルとして線形に比例させている。たとえば、フォーカスレンズの像面移動量を絞り値と許容錯乱円で割った値が１のケースにおいては、被写界深度の重なる範囲が大きいため、閉領域となる領域の面積は小さく、第２の閾値を小さく設定しても検出精度はよい。逆に、フォーカスレンズの像面移動量を絞り値と許容錯乱円で割った値が４のケースにおいては、被写界深度の重なる領域が小さいため、閉領域となる領域の面積は大きく、第２の閾値を大きく設定することで閉領域を検出可能となる。

【0060】

上記のような決定方法を用いることで、閉領域の誤検出および検出漏れを減らすことができる。閾値のグラフの決定に際し、許容錯乱円は固定値を用いてもよいし、画素ピッチに依存した値を用いてもよい。また、図１１に示したグラフは線形に比例した例を示したが、非線形なグラフないし実験結果から求めたグラフでも可能である。

【0061】

ステップＳ６０２では、Ｓ６０１で検出した閉領域の境界よりも外側の値から、合成マップ補正値を求める。図８（ｃ）では、合成マップ８２０は画像８１０において閉領域８１２の境界よりも外側の領域８２２の様子を示している。たとえば、領域８２２の合成比率を平均し合成マップ補正値とする場合、領域８２２の合成比率はすべて０％であるため、合成マップ補正値は０％と求められる。なお、合成比率の算出方法は平均値に限るものではなく、たとえば中央値や近似値を用いてもよい。領域８２２の面積は、画像の絞り値、ピント位置、画像の画素数の少なくともいずれかにより決めてよい。

【0062】

ステップＳ６０３では、画像処理部１０７が、ステップＳ６０２で求めた合成マップ補正値で、ステップＳ６０１で検出した閉領域を補正する。図８（ｄ）の合成マップ８３０は、Ｓ６０２で求めた合成マップ補正値０％で領域８２３を補正した結果を示す。なお、撮像時に深度マップを取得することができていれば、誤補正を避けるため、深度マップにおける閉領域と閉領域の境界よりも外側の領域の差分が予め定められた第３の閾値以下の場合にのみ補正を行ってもよい。

【0063】

以上でステップＳ５０３の合成マップの補正処理を終了する。

【0064】

ステップＳ５０４で、ステップＳ５０３で補正した合成マップを基に、位置合わせされた後の撮像したピント位置の異なる画像を合成した合成画像の画素О（ｘ，ｙ）を生成する。ピント位置の異なる画像の画素をＩｍ（ｘ，ｙ）とすると、補正した合成マップを用いて以下の（式８）で画像が生成される。ただし、（式８）では、Ａ´ｋ（ｘ，ｙ）は、補正後の合成マップの合成比率を表す。

【0065】

【数6】

【0066】

以上で、ステップＳ２０３の画像合成処理を終了する。

【0067】

図９では、本実施形態の画像合成処理を実施することで得られる合成結果を示している。画像９００は補正後の合成マップによって合成した結果を示しており、ピント位置７０４で合焦した光源７０２からの反射光にあたる領域７１１が合成結果の反射光９０２に表れている。

【0068】

第１の実施形態によれば、算出した合成マップを補正し、補正された合成マップに従い合成を行うことで、光沢や反射のぼけを低減した合成画像を生成することが出来る。

【0069】

（その他の実施形態）
以上の実施形態は、デジタルカメラでの実施をもとに説明したが、デジタルカメラに限定するものではない。たとえば、撮像素子が内蔵した携帯機器などで実施してもよく、画像を撮像することができるネットワークカメラなどでもよい。

【0070】

なお、本発明は、上述の実施形態の１つ以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し作動させる処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0071】

１００ デジタルカメラ
１０１ 制御部
１０２ 駆動部
１０３ 光学系
１０４ 撮像部
１０５ ＲＯＭ
１０６ ＲＡＭ
１０７ 画像処理部
１０８ 表示部
１０９ 内蔵メモリ
１１０ 操作部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】