特許 5720488 撮像装置および距離情報取得方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5720488

(24)【登録日】2015年4月3日

(45)【発行日】2015年5月20日

(54)【発明の名称】撮像装置および距離情報取得方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20150430BHJP

   G06T 1/00 20060101ALI20150430BHJP

【ＦＩ】

   H04N5/232 Z

   G06T1/00 315

【請求項の数】8

【全頁数】17

(21)【出願番号】特願2011-178086(P2011-178086)

(22)【出願日】2011年8月16日

(65)【公開番号】特開2013-42375(P2013-42375A)

(43)【公開日】2013年2月28日

【審査請求日】2014年6月27日

(73)【特許権者】

【識別番号】311015207

【氏名又は名称】リコーイメージング株式会社

(74)【代理人】

【識別番号】100090169

【弁理士】

【氏名又は名称】松浦 孝

(74)【代理人】

【識別番号】100124497

【弁理士】

【氏名又は名称】小倉 洋樹

(74)【代理人】

【識別番号】100147762

【弁理士】

【氏名又は名称】藤 拓也

(72)【発明者】

【氏名】上原 広靖

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２０１０−０５０８７４（ＪＰ，Ａ）

【文献】 特開２０１１−０３９９１８（ＪＰ，Ａ）

【文献】 特開平１１−１２０３５９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２５

Ｇ０６Ｔ １／００

Ｇ０３Ｂ ３／００

Ｇ０３Ｂ １３／００

(57)【特許請求の範囲】

【請求項1】

撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得する画像取得手段と、
前記複数の画像の各領域での輪郭成分の総和に基づいて前記各領域に対する前記被写体までの距離情報を検出する被写体距離情報算出手段と、
前記複数の画像各々に対する画像全体の輪郭成分の総和を求め、最も総和が大きい画像を検出する輪郭成分最大画像検出手段と、
前記領域のうちある領域での前記輪郭成分の総和が閾値よりも小さいとき、その領域に対する前記距離情報を前記輪郭成分最大画像検出手段において検出された画像に対応する距離情報に置き換える距離情報補正手段と
を備えることを特徴とする撮像装置。

【請求項2】

前記閾値が前記輪郭成分最大画像検出手段によって検出される画像の輪郭成分の総和に基づいて決定されることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記領域の中のある領域での前記輪郭成分の総和が閾値よりも大きいとき、その領域に対する前記距離情報を、その領域の周囲の領域の距離情報を用いて平滑化する距離情報平滑化手段を更に備えることを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記被写体の同一の画像を更に主画像として撮影する主画像撮影手段と、前記主画像に前記距離情報に基づく画像処理を施す画像処理手段とを更に備えることを特徴とする請求項１に記載の撮像装置。

【請求項5】

前記領域が、前記複数の画像の各々を１画素以上から構成される複数のブロックに分割した領域であることを特徴とする請求項１に記載の撮像装置。

【請求項6】

前記複数の画像が、測光スイッチまたはレリーズスイッチの操作後に撮影されるスルー画像であることを特徴とする請求項１に記載の撮像装置。

【請求項7】

撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得し、
前記複数の画像の各領域での輪郭成分の総和に基づいて前記各領域に対する前記被写体までの距離情報を検出し、
前記複数の画像各々に対する画像全体の輪郭成分の総和を求め、最も総和が大きい画像を検出し、
前記領域のうちある領域での前記輪郭成分の総和が閾値よりも小さいとき、その領域に対する前記距離情報を前記最も総和が大きい画像に対応する距離情報に置き換える
ことを特徴とする距離情報取得方法。

【請求項8】

撮像レンズ駆動手段を備えた撮像装置の制御に用いられるプログラムであって、
撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得する手順と、
前記複数の画像の各領域での輪郭成分の総和に基づいて前記各領域に対する前記被写体までの距離情報を検出する手順と、
前記複数の画像各々に対する画像全体の輪郭成分の総和を求め、最も総和が大きい画像を検出する手順と、
前記領域のうちある領域での前記輪郭成分の総和が閾値よりも小さいとき、その領域に対する前記距離情報を前記最も総和が大きい画像に対応する距離情報に置き換える手順と
を前記撮像装置に実行させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、レンズ系を通して電子的に画像の撮影を行う撮像装置に関する。

【背景技術】

【0002】

例えば写真撮影では、被写界深度によるボケ効果を利用して、合焦した主要被写体以外の遠景の背景や前景をぼかす表現手法がしばしば用いられる。しかし、被写界深度は焦点距離が短くなるほど深くなるため、焦点距離の短いレンズを採用する必要がある撮像面の大きさが小さい撮像素子を用いたコンパクトデジタルカメラなどではボケ効果を得難い。

【0003】

このような問題に対し、撮影画像を合焦領域と非合焦領域に分別し、非合焦領域の画像にぼかし処理を施すことで擬似的なボケ効果を与える手法が提案されている。この手法では、撮影された画像を複数の領域に分割し、それぞれの領域の空間周波数から合焦領域と非合焦領域を判別している。すなわち合焦領域は一般にコントラストが高いことから、空間周波数が高い領域を合焦領域、低い領域を非合焦領域として判別している（特許文献１）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６−１４０５９４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかし、画像の空間周波数は被写体のテクスチャにも依存し、１枚の画像内において空間周波数が高いことが必ずしも合焦領域であることを意味しない。例えば、森林や瓦屋根などの画像は、もともと空間周波数が高く、逆に人の肌などは、合焦されていても非合焦領域に比べ空間周波数が高いとは限らない。したがって、例えばより適正なボケ効果を演出するには、画像内の各領域において被写体までの距離を把握し、これに基づきぼかし処理を施すことが望まれる。

【0006】

本発明は、撮影画像内の各領域に対する被写体までの距離を適正に把握することを課題としている。

【課題を解決するための手段】

【0007】

本発明の撮像装置は、撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得する画像取得手段と、複数の画像の各領域での輪郭成分の総和に基づいて各領域に対する被写体までの距離情報を検出する被写体距離情報算出手段と、複数の画像各々に対する画像全体の輪郭成分の総和を求め、最も総和が大きい画像を検出する輪郭成分最大画像検出手段と、上記領域のうちある領域での輪郭成分の総和が閾値よりも小さいとき、その領域に対する距離情報を輪郭成分最大画像検出手段において検出された画像に対応する距離情報に置き換える距離情報補正手段とを備えたことを特徴としている。

【0008】

閾値は輪郭成分最大画像検出手段によって検出される画像の輪郭成分の総和に基づいて決定されることが好ましい。撮像装置は、上記領域の中のある領域での輪郭成分の総和が閾値よりも大きいとき、その領域に対する距離情報を、その領域の周囲の領域の距離情報を用いて平滑化する距離情報平滑化手段を更に備えてもよい。また撮像装置は、被写体の同一の画像を更に主画像として撮影する主画像撮影手段と、主画像に距離情報に基づく画像処理を施す画像処理手段とを更に備えてもよい。

【0009】

上記領域は、例えば複数の画像の各々を１画素以上から構成される複数のブロックに分割した領域である。また上記複数の画像は、測光スイッチまたはレリーズスイッチの操作後に撮影されるスルー画像であることが好ましい。

【0010】

本発明の距離情報取得方法は、撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得し、複数の画像の各領域での輪郭成分の総和に基づいて各領域に対する被写体までの距離情報を検出し、複数の画像各々に対する画像全体の輪郭成分の総和を求め、最も総和が大きい画像を検出し、上記領域のうちある領域での輪郭成分の総和が閾値よりも小さいとき、その領域に対する距離情報を最も総和が大きい画像に対応する距離情報に置き換えることを特徴としている。

【0011】

また本発明のコンピュータプログラムは、撮像レンズ駆動手段を備えた撮像装置の制御に用いられるプログラムであって、撮影レンズを駆動して異なる合焦位置における被写体の同一の画像を複数取得する手順と、複数の画像の各領域での輪郭成分の総和に基づいて各領域に対する被写体までの距離情報を検出する手順と、複数の画像各々に対する画像全体の輪郭成分の総和を求め、最も総和が大きい画像を検出する手順と、上記領域のうちある領域での輪郭成分の総和が閾値よりも小さいとき、その領域に対する距離情報を最も総和が大きい画像に対応する距離情報に置き換える手順とを撮像装置に実行させることを特徴としている。

【発明の効果】

【0012】

本発明によれば、撮影画像内の各領域に対する被写体までの距離を適正に把握することができる。

【図面の簡単な説明】

【0013】

【図1】本発明の第１実施形態であるデジタルカメラの概略的な構成を示すブロック図である。

【図2】ぼかし処理モードが設定されているときに制御部で実行される割り込み処理のフローチャートである。

【図3】距離マップ作成処理のフローチャートの前半部である。

【図4】距離マップ作成処理のフローチャートの後半部である。

【図5】コントラストマップ作成までの内容を模式的に説明する図である。

【図6】複数のスルー画像に対するコントラストマップにおいて、コントラスト値をスキャンする方法を示す図である。

【図7】複数のスルー画像に付されたコントラストマップ番号とコントラスト値の関係の一例を示すグラフである。

【図8】距離マップの一例を示す図である。

【図9】第１実施形態のマスク作成処理のフローチャートである。

【図10】近距離にある人物が主要被写体とされたときの各ブロックのぼかし具合を示す図である。

【図11】中距離にある背景が主要被写体とされたときの各ブロックのぼかし具合を示す図である。

【図12】遠距離にある背景が主要被写体とされたときの各ブロックのぼかし具合を示す図である。

【図13】第１実施形態の変形例において、ぼかし処理モードが設定されているときに制御部で実行される割り込み処理のフローチャートである。

【図14】第２実施形態における主要被写体までの距離と近距離モード、遠距離モードの関係を示す図である。

【図15】近距離モードにおける距離とぼけ具合を示すグラフである。

【図16】遠距離モードにおける距離とぼけ具合を示すグラフである。

【図17】近距離モードにおけるヒストグラムとぼかし処理の関係を示す図である。

【図18】近距離モードにおける画像の一例である。

【図19】遠距離モードにおけるヒストグラムとぼかし処理の関係を示す図である。

【図20】遠距離モードにおける画像の一例である。

【図21】第２実施形態のマスク作成処理のフローチャートである。

【発明を実施するための形態】

【0014】

以下、本発明の実施の形態を、図面を参照して説明する。図１は、本発明の第１実施形態であるデジタルカメラの概略的な構成を示すブロック図である。なおデジタルカメラは、例えばコンパクトカメラや携帯電話など小型電子機器に搭載されるカメラユニットを含むものであるが、第１実施形態では、コンパクトカメラを例に説明を行う。

【0015】

デジタルカメラ１０において、被写体像は撮影レンズ１１を介して撮像素子１２において撮像される。撮像素子１２の駆動は、撮像素子ドライバ１３により制御され、撮像素子ドライバ１３は制御部１４からの指令に基づき制御される。また、撮像素子１２で取得された画像は、制御部１４へ送られ各種デジタル画像処理が施されるとともに、例えば画像メモリ１５に一時的に保持され、ユーザの決定にしたがって例えば記録媒体１６に保存される。また、撮像素子１２で取得された画像、あるいは画像メモリ１５、記録媒体１６に保持された画像は、例えばＬＣＤなどのモニタ１７に表示可能である。

【0016】

撮影レンズ１１はレンズ駆動部１８によって駆動され、絞り１９は絞り駆動部２０によって駆動される。ＡＦ処理にはコントラスト方式が採用され、制御部１４は撮像素子１２で撮影された画像のコントラストを参照してレンズ駆動部１８を制御するとともに、測光値に基づき絞り駆動部２０を制御する。また、デジタルカメラ１０には、制御部１４に接続された、レリーズスイッチや測光スイッチ、あるいは各種機能の選択／設定のためのダイヤルスイッチや４方向スイッチなど様々なスイッチを含むスイッチ群２１が設けられる。

【0017】

次に図１および図２のフローチャートを参照して第１実施形態のぼかし処理について説明する。図２のフローチャートは、ぼかし処理モードが設定されているときに制御部１４で繰り返し実行される割り込み処理である。なお、ぼかし処理モードの設定は、ユーザの所定のスイッチ操作により行われる。

【0018】

ステップＳ１００では、例えばレリーズボタン（図示せず）が半押しされ測光スイッチＳ１がオンされたか否かが判定される。測光スイッチＳ１がオンされていない場合、すなわちレリーズボタンが半押しされていない場合、この割り込み処理は直ちに終了し、他の処理が実行された後再び繰り返し実行される。ステップＳ１００において測光スイッチＳ１がオンされたと判定されると、ステップＳ１０２において、レンズ駆動部１８により撮影レンズ１１を移動して、ピントを近距離から遠距離（例えば無限遠）までの間の複数の位置（Ｎｐ箇所）に合わせ（例えば所定ステップでレンズを移動）、各位置において１枚ずつ取得されるＮｐ枚のスルー画像を画像メモリ１５に記憶する。なお、ステップＳ１０２の処理は、高速に行われ、この間に取得されるＮｐ枚の画像は、合焦位置が各々異なるのみで、同一被写体を同―位置、同―方向から同一画角で撮影した画像とみなせる。

【0019】

ステップＳ１０４では、従来周知のコントラスト方式のＡＦ処理により、撮影レンズ１１がレンズ駆動部１８により合焦位置へと移動される。その後ステップＳ１０６において、測光スイッチＳ１がオンされた状態か否か、すなわちレリーズボタン（図示せず）の半押しが維持されているか否かが判定される。維持されていなければ、この割り込み処理は終了し、他の処理が実行された後再び繰り返し実行される。

【0020】

測光スイッチＳ１のオン状態が維持されていれば、ステップＳ１０８においてレリーズスイッチＳ２がオンされているか否かが判定され、オンされていなければステップＳ１０６に戻り同様の判定が繰り返される。一方、レリーズスイッチＳ２がオンされていれば、ステップＳ１１０において、撮像素子１２を用いた主画像の撮影、すなわち本来の記録を目的とした画像撮影が行われ、ステップＳ１１２において撮影された主画像のＲＡＷデータに対し現像処理が施される。なお、ステップＳ１１０において撮影される主画像もステップＳ１０２で取得されたＮｐ枚の画像と略同一位置、同一方向から同一被写体を同一画角で撮影した画像とみなせる。

【0021】

ステップＳ１１４では、ステップＳ１０２において画像メモリ１５に記憶されたスルー画像を用いた距離マップ作成処理が実行される。距離マップは主画像（あるいはスルー画像）の各領域（ブロック）の被写体までの距離情報を対応付けたマップデータであり、距離マップ作成処理の詳細については後述する。

【0022】

ステップＳ１１６では、ステップＳ１１４において作成された距離マップに基づいて、主画像の主要被写体以外の領域に対するぼかし処理を行うためのマスクを作成するマスク作成処理（後述）が実行される。ステップＳ１１８では、マスク処理が施された主画像に対しぼかし処理が施され、新たに主画像が合成される（後述）。ステップＳ１２０では合成された主画像が記録媒体１６に記録され、ぼかし処理モードにおけるこの割り込み処理は終了する。

【0023】

なお、主画像にぼかし処理を施さずに対応する距離マップとともに記録媒体１６に保存し、後でぼかし処理やその他の画像処理を距離マップに基づいて行える構成とすることも可能である。この場合、主画像および距離マップのデータは別々のファイルとして保存されてもよいし、一体的なファイルとして保存されてもよい。また、別々のファイルとするときには、両ファイルの対応関係をファイル名で対応付けたり、ヘッダファイルなどに対応を記録したりしてもよい。

【0024】

図３、図４は、図２のステップＳ１１４で実行される距離マップ作成処理のフローチャートであり、図５〜図８は、図３、図４で行われる処理の内容を説明する図である。以下図３〜図８を参照して第１実施形態の距離マップ作成処理について説明する。

【0025】

距離マップ作成処理では、まずステップＳ２００において、図２のステップＳ１０２で画像メモリ１５に記憶された各スルー画像に対しハイパスフィルタや微分フィルタなどの輪郭抽出処理を施し輪郭成分を抽出する。ここで図５（ａ）は、輪郭抽出前のスルー画像の一例であり、図５（ｂ）は図５（ａ）の画像に対して輪郭抽出処理を施した画像の一例である。

【0026】

ステップＳ２０２では、図５（ｃ）に例示されるように、輪郭成分が抽出された画像（図５（ｂ））をＭ×Ｎブロック（領域）に分割する。Ｎは例えば縦方向のブロック数であり、スルー画像の縦方向の画素数以下の値である。またＭは例えば横方向のブロック数であり、スルー画像の横方向の画素数以下の値である。なお、第１実施形態におけるブロックには１画素のみからなるものも含まれる。

【0027】

ステップＳ２０４では、ブロック毎に輪郭成分の総和が計算される。すなわち、輪郭成分が抽出された画像（図５（ｃ））において、各ブロック内の画素値の総和がそのブロックのコントラスト値（コントラストの高低を評価する値）として計算される。

【0028】

また、ステップＳ２０５では、画像（図５（ｂ））全体の輪郭成分の総和が計算され、それ以前に総和が計算された画像がなければ、計算されたその画像全体の輪郭成分の総和とそのときの画像番号Ｎｉ（１≦Ｎｉ≦Ｎｐ）が記憶される。また、それ以前に画像全体の総和が計算された画像が存在するときには、その値を今回計算された値と比較し、今回計算された値が大きければ、記憶された輪郭成分の総和および画像番号Ｎｉを今回のものに更新する。すなわち、Ｎｐ枚のスルー画像のうちで輪郭成分の総和が最大の画像番号Ｎｉが検索され、その総和とともにメモリに保持される。

【0029】

ステップＳ２０６では、Ｍ×Ｎサイズのバッファメモリ（図示せず）にブロック毎に算出されたコントラスト値がコントラストマップ（コントラストの高低評価のマップ）としてスルー画像毎に保持される。図５（ｄ）は、図５（ｃ）のブロックに対応するコントラストマップの一例を模式的に示すもので、明るいブロックほど、そのブロックのコントラスト値が高いことを示している。

【0030】

次にステップＳ２０８において、画像メモリ１５にストック（記憶）されたＮｐ枚のスルー画像全てに対して上記処理がなされたか否かが判定される。全てのスルー画像に対して上記処理が終了していない場合には、ステップＳ２００に戻りストックされたスルー画像のうちまだ処理されていない画像に対し上記処理（ステップＳ２００〜Ｓ２０６）が施される。

【0031】

一方ステップＳ２０８において、画像メモリ１５にストックされたＮｐ枚のスルー画像全てに対しステップＳ２００〜Ｓ２０６の処理が施されたと判定されると、処理はステップＳ２１０に移り、バッファメモリには、図５（ｅ）に示されるようにＮｐ枚のコントラストマップが保持される。

【0032】

距離マップは、図６に模式的に示されるように、ステップＳ２００〜Ｓ２０８において作成されたＮｐ枚のコントラストマップをブロック毎に参照して作成される。まず、ステップＳ２１０では距離マップ保存用のＭ×Ｎブロック分の配列がメモリに確保される。ステップＳ２１２では、Ｍ×Ｎ個のブロックのうち処理対象となるブロック（注目ブロック）の初期位置が設定される。

【0033】

例えば、Ｎｐ枚の各コントラストマップにおけるＭ×Ｎ個のブロックに対して、図６左上を基点としてｉ行、ｊ列のブロックを（ｉ，ｊ）で参照するとき、処理はｉ＝１、ｊ＝１から開始される。なお、以下の処理において、注目ブロックは、まず同一行において左から右へ移動され、その後次の行へ移動され、順次同様の移動が繰り返される。

【0034】

ステップＳ２１４では、Ｎｐ枚のコントラストマップにおいて注目ブロック（ｉ，ｊ）のコントラスト値がスキャンされ、ステップＳ２１６においてそのコントラスト値が最大となるコントラストマップの番号（画像番号Ｎｉに対応）が検出される。例えば、コントラストマップが２３枚（Ｎｐ＝２３）のときに、注目ブロック（ｉ，ｊ）のコントラスト値がコントラストマップ番号（画像番号）Ｎｉに対し図７のように変化するとき、コントラスト値が最大となるコントラストマップ番号（画像番号）２０が検出される。

【0035】

ステップＳ２１８では、ステップＳ２１６で検出されたコントラストマップの番号（画像番号）Ｎｉが、ステップＳ２１０において確保された距離マップの対応ブロックの配列に記録される。ステップＳ２２０では、Ｍ×Ｎのブロック全てに対し上記処理が終了したか否か、すなわち距離マップの全てのＭ×Ｎブロックに対しコントラストマップ番号（画像番号）Ｎｉが検出・記録されたか否かが判断される。終了していない場合には、ステップＳ２２２において次の注目ブロックへの移動が行われステップＳ２１４以下の処理が繰り返され、終了している場合にはステップＳ２２４へ移る。

【0036】

ステップＳ２２４では再びＭ×Ｎ個のブロックのうち処理対象となるブロック（注目ブロック（ｉ，ｊ））の初期位置が設定される（ｉ＝１，ｊ＝１）。ステップＳ２２６では、注目ブロック（ｉ，ｊ）のコントラスト値が所定の閾値よりも大きいか否かが判定される。閾値としては、例えばステップＳ２００〜ステップＳ２０８のループが終了した時点でメモリに保持されている画像全体の輪郭成分の総和（Ｎｐ枚のスルー画像のうち輪郭成分の総和が最大のもの）をＭ×Ｎ分の１にした値の数パーセントの値（例えば２〜６％）が用いられる。

【0037】

ステップＳ２２６において、注目ブロックのコントラスト値が閾値よりも大きいと判断されるときには、ステップＳ２２８において、距離マップ上のそのブロックに対し平滑化フィルタ処理（例えばメディアンフィルタ処理）が施される。また注目ブロックのコントラスト値が閾値よりも小さいと判断されるときには、ステップＳ２３０において、距離マップにおける注目ブロックの値が、ステップＳ２００〜ステップＳ２０８のループで検索されたＮｐ枚のスルー画像のうち輪郭成分の総和が最大となる画像の画像番号に置き換えられ補正される。

【0038】

その後、ステップＳ２３２において、Ｍ×Ｎブロック全てに対しステップＳ２２６以下の処理が終了したか否かが判定され、終了していない場合には、ステップＳ２３４において次の注目ブロックへの移動が行われステップＳ２２６以下の処理が繰り返され、終了している場合には、この距離マップ作成処理（Ｓ１１４）は終了する。

【0039】

距離マップ作成処理が終了すると、距離マップの各ブロックに対応する配列には、図８に例示されるように、各ブロックにおいて最もコントラスト値が高いコントラストマップの番号（画像番号）Ｎｉが記録される。すなわち、そのブロックにおいて最も合焦されたと考えられるレンズ位置に対応し、これはそのブロックにおける被写体までの距離に対応する。図８の例では、コントラストマップ番号（画像番号）Ｎｉが大きいほど距離が大きく、図５（ａ）との対応では、コントラストマップ番号（画像番号）Ｎｉが８のブロックが主要被写体である人物に対応し、コントラストマップ番号（画像番号）Ｎｉが２０のブロックが遠景となる背景、コントラストマップ番号（画像番号）Ｎｉが１３のブロックがその中間にある被写体、例えば主要被写体の直ぐ後ろにある木に対応する。

【0040】

次に図９のフローチャートおよび図１０〜図１２を参照して、図２のステップＳ１１６において実行される第１実施形態のマスク作成処理について説明する。

【0041】

マスク作成処理が開始されるとステップＳ３００において主要被写体の選択が行われる。主要被写体の選択は、例えば画像撮影時におけるＡＦ処理でのフォーカスポイント、撮影された画像内でユーザが適当な入力デバイスを用いて選択した位置、顔検出処理において顔として認識された位置などに基づいて決定される。例えば、主要被写体に対応するとされた位置が含まれるブロックのコントラストマップ番号（距離）の前後所定の範囲内のコントラストマップ番号（距離）に対応するブロックが主要被写体とされる。

【0042】

ステップＳ３０２では、主要被写体として認識されたブロックにぼかし処理が施されないようにマップを作成し、図２のステップＳ１１０で撮影された主画像に対しマスク処理を施し、このマスク処理は終了する。なお、スルー画像の各ブロックの主画像への対応は、両画像の画素数の対応から直ちに求められる。

【0043】

図１０は、例えば図８における番号８に対応するブロック（人物）が主要被写体とされたときのマスク処理の例である。また、図１１は、図８における中間領域に対応するコントラストマップ番号１３のブロックが主要被写体とされたとき、図１２は、図８における遠景に対応するコントラストマップ番号２０に対応するブロックが主要被写体とされたときのマスク処理の例である。

【0044】

なお、第１実施形態ではマスク処理に例えばαブレンドの手法が用いられ、図１０〜図１２では、明るい色のブロックほど弱いぼかしが掛けられ、暗い色のブロックほど強いぼかし処理が掛けられる。

【0045】

以上のように、第１実施形態によれば、被写界深度によるぼけが十分に得られない状況においても、主要被写体以外の領域に適切にぼかし処理を施すことができる。また、本実施形態では輪郭抽出処理を用いることで、コントラストの評価をより容易かつ正確に行うことができ、更に画像を複数のブロック（１画素のみのブロックは除く）に分割することで処理速度を向上させることができる。また、本実施形態では距離マップを作成するための複数の画像にスルー画像を利用することで処理速度更に向上させられる。

【0046】

また、本実施形態では、距離マップの各ブロックに対し、ブロックのコントラスト値が閾値よりも大きいときには平滑化処理を行い、隣接ブロック同士で距離が極端に異なることを防止している。また、コントラスト値が閾値よりも小さいブロックに対しては、距離マップのそのブロックのコントラストマップ番号（画像番号）Ｎｉをコントラスト値の総和が最大の画像のコントラストマップ番号（画像番号）Ｎｉで置き換えることで、コントラスト値が他に比べ極端に小さく、エラーと考えられるブロックを、被写体距離として平均的な距離に対応すると考えられるコントラストマップ番号（被写体距離）に置き換える補正を行っている。これらの処理により、本実施形態ではより適正な距離マップが作成される。

【0047】

また、スルー画像を利用することにより、通常の撮影シーケンスの中でぼかし処理を施すことができるので、ユーザは別途距離マップ用の複数の画像を撮影する場合などに比べ、ぼかし処理を意識することなく、煩わされることがない。

【0048】

なお、本実施形態ではコンパクトカメラを例に説明を行ったが、携帯電話に搭載されたカメラユニットでの処理の流れを変形例として図１３に例示する。ここで図１３は第１実施形態の図２のフローチャートに対応し、この変形例が構成上第１実施形態と大きく異なるのは、測光スイッチＳ１がなく、レリーズボタンの全押し、すなわちレリーズスイッチＳ２がオンされて初めて測光処理、オートフォーカス処理、および主画像の撮影が開始される。したがって、図２のステップＳ１０６、Ｓ１０８に対応するステップがなく、Ｓ１００のステップが、ステップＳ４００に示されるように、レリーズスイッチＳ２がオンされたか否かの判定に置き換えられる。なお、ステップＳ４０２、Ｓ４０４の内容は、ステップＳ１０２、Ｓ１０４に対応し、ステップＳ４０６〜ステップＳ４１６の内容は、ステップＳ１１０〜ステップＳ１２０に対応する。

【0049】

以上のように携帯電話などに搭載されたカメラユニットなどのように、レリーズボタンの全押しにより測光スイッチがオンされる場合にも、第１実施形態と同様の効果が得られる。

【0050】

次に図１４〜図２１を参照して第２実施形態のデジタルカメラについて説明する。第２実施形態のデジタルカメラは、マスク処理方法（図２のステップＳ１１６）が主要被写体の距離に応じて制御される点を除けば、第１実施形態のデジタルカメラと同じである。したがって以下の説明では、第１実施形態と異なる点（図２のステップＳ１１６）についてのみ説明を行う。

【0051】

被写界深度は、被写体までの距離が離れるほど大きくなり、ＡＦ駆動における１ステップ（最小駆動量）での深度の分解能は距離が離れるほど小さくなる。したがって、第２実施形態では、主要被写体までの距離に応じてぼかし処理の手法を変更する。例えば本実施形態では、主要被写体までの距離が比較的近いときには深度の微妙な違いを再現するぼかし処理を行い（近距離モード）、主要被写体までの距離が比較的遠いときには主要被写体の背景側のみにぼかし処理を施し主要被写体と背景の対比を強調する（遠距離モード）。

【0052】

図１４は、横軸に被写体までの距離、縦軸に各距離に対応するブロックの度数を示す模式的なヒストグラムの一例である。本実施形態では、主要被写体が所定の距離Ｄｏよりも近距離にあるか否かにより、上記近距離モード、遠距離モードの選択が行われる。すなわち主要被写体とされた被写体までの距離がＤｏ以下の場合、近距離モードが選択され、それ以外では遠距離モードが選択される。

【0053】

なお、被写界深度はＦ値によっても変化するので、距離Ｄｏが、Ｆ値により変更される構成としてもよい。例えば、被写界深度はＦ値が小さくなるほど浅くなるので、Ｆ値が小さいほど距離Ｄｏを大きく設定し、Ｆ値が大きいほど距離Ｄｏを小さく設定する構成としてもよい。

【0054】

図１５は、近距離モードにおけるぼかし処理の変化（近距離モード用マスク濃度算出カーブ）を例示するグラフである。近距離モードでは、主要被写体に対応する距離のブロックに対してはぼかし処理を行わず（あるいはぼかし処理を最小とし）、その前景、背景に対応するブロックでは、そのブロックの被写体までの距離が主要被写体の距離Ｄｏから離れるにしたがって徐々にぼかし処理が強められる。例えば前景では距離Ｄｆ、背景では距離Ｄｂでぼかし処理が最大（１００％）となるように距離Ｄｏから漸次ぼかし処理の強度が増大される。

【0055】

図１６は、遠距離モードにおけるぼかし処理の変化（遠距離モード用マスク濃度算出カーブ）を例示するグラフである。遠距離モードでは、前述したように主要被写体の背景のみにぼかし処理を施し、主要被写体と背景の対比を強調するため、主要被写体までの距離Ｄｏを境にステップ状にぼかし処理が掛けられる。すなわち距離Ｄｏまでの距離に対応するブロックにぼかし処理は施されず、距離Ｄｏよりも遠方の距離に対応するブロックには最大のぼかし処理（１００％）が施される。

【0056】

なお、本実施形態では、図１のスイッチ群２１に含まれる方向スイッチや電子ダイヤルスイッチなどを用いて、各モードのマスク濃度算出カーブの制御が可能とされる。例えば近距離モードでは、被写界深度の制御が可能であり、例えば図１５のＤｆ、Ｄｂの位置がＡＦ駆動における例えば１ステップ単位で変更可能である。また、遠距離モードでは例えばぼかし処理の強度が可変とされる。

【0057】

図１７は、近距離モードにおけるヒストグラムとぼかし処理の関係を例示し、破線は深度の距離による分解能の変化の程度を模式的に示す。また図１８は、近距離モードにおける画像の一例であり、主要被写体が人物Ｓ０とすると、その前後にいる人物Ｓ１〜Ｓ３にはそれぞれ人物Ｓ０からの距離に応じて異なる強度のぼかし処理が施される。すなわち本実施形態では、主要被写体から前後に離れるほど強いぼかし処理が施され、深度の微妙な差が強調され、もとの画像よりも立体感を増すことができる。

【0058】

一方、図１９は、遠距離モードにおけるヒストグラムとぼかし処理の関係を例示し、破線は図１７と同様に深度の距離による分解能の変化の程度を模式的に示す。また図２０は、遠距離モードにおける画像の一例であり、主要被写体となる人物Ｓ０と同距離、およびそれよりも手前にあるブロックに対してはぼかし処理を施さず、人物Ｓ０よりも遠景にあるブロックに、均一な強いぼかし処理を施される。これにより、人物Ｓ０のみがクリアになり、それ以外の背景はぼけた画像となる。

【0059】

図２１は、上述した第２実施形態のマスク作成処理のフローチャートであり、図２のステップＳ１１６の内容に対応する。このフローチャートを参照して第２実施形態のマスク作成処理の流れについて説明する。

【0060】

ステップＳ５００では、第１実施形態における図９、ステップＳ３００と同様に主要被写体の選択が行われ、ステップＳ５０２において、主要被写体が含まれるブロックのコントラストマップ番号（距離）が取得される。ステップＳ５０４では、主要被写体の距離情報（コントラストマップ番号）から主要被写体が近距離にあるか否かが判断される。例えば、主要被写体のコントラストマップ番号や距離が所定値以下であるか否かが判定される。

【0061】

ステップＳ５０４において主要被写体が近距離にあると判定されると、ステップＳ５０６において図１５に示される近距離モード用のマスク濃度算出カーブが選択され、ステップＳ５０８において注目ブロックの主要被写体からの距離（差分）が計算される。

【0062】

一方、ステップＳ５０４において主要被写体が近距離にはない（遠距離にある）と判定されると、ステップＳ５１６において図１６に示される遠距離用のマスク濃度算出カーブが選択され、ステップＳ５０８において注目ブロックの主要被写体からの距離（差分）が計算される。

【0063】

ステップＳ５１０では、ステップＳ５０８において算出された現注目ブロックの差分値と、ステップＳ５０６またはステップＳ５１６で選択されたマスク濃度算出カーブとの照合が行われ、注目ブロックに対応するマスク濃度が特定されるとともに、ステップＳ５１２においてその濃度が対応するマスク用配列に記録される。

【0064】

ステップＳ５１４ではＭ×Ｎブロック全てに対し上記処理、すなわちマスク濃度が特定されたか否かが判定され、終了していれば本マスク作成処理は終了し、そうでなければステップＳ５１８において注目ブロックを次のブロックに移動し、ステップＳ５０８以下の処理を繰り返す。なお、注目ブロックの移動は、図４、図６を用いて説明した注目ブロックの移動方法と同じである。

【0065】

以上のように、第２実施形態によれば、主被写体の距離に応じてぼかし処理が制御され、より適切なぼかし処理が可能となる。

【0066】

なお、本実施形態では、距離情報を取得するためにスルー画像を用いたが、短時間の間に複数の合焦位置で撮影される一連の画像であればよくスルー画像に限定されるものではない。また、本実施形態では、距離情報としてコントラストマップ番号を用いた例で説明を行ったが、距離情報に対応する変数であればこれに限定されるものではなく、１対１であれば実際の距離と比例関係にある必要もない。また、ぼかし処理も本実施形態に限定さえるものではない。

【0067】

本発明は特にコンパクトなカメラにおいてその効果が顕著であるが、コンパクトなカメラに限定されるものではなく、例えば通常のデジタル一眼レフカメラに適用することもできる。

【0068】

また、本実施形態では各領域（ブロック）でのコントラストの評価を容易かつ正確にするために輪郭抽出を行ったが、画像を撮影したレンズ位置での各領域の合焦度合いを評価できるのであれば輪郭抽出を行わずにコントラストの評価を行ってもよい。

【0069】

また、本実施形態のマスク作成処理、合成、保存処理（ステップＳ１１６〜Ｓ１２０、ステップＳ４１２〜Ｓ４１６）などは、例えばパソコン等、デジタルカメラ以外の機器において行うことも可能であり、その場合には、デジタルカメラにおいて作成された上記距離マップ（距離情報）、あるいは代替的手段により得られた被写体までの距離情報を用いて処理される。このような場合、例えば、パソコン等には、記録媒体や外部から入力される画像データに対し記録媒体や外部から入力される距離情報に基づいて画像処理（ぼかし処理）施し、その結果を例えば記録媒体に保存、あるいは外部へ出力するプログラムとして提供される。

【0070】

なお、本実施形態では被写体までの距離情報に基づいてぼかし処理を施したが、距離情報を用いて他の画像処理を施す構成であってもよい。例えば、画像を水彩画風、イラスト風にする処理や、画像にキャラクタ（図形や文字、絵柄なども含む）を追加する処理などにも利用できる。水彩画処理では、例えば被写体までの距離あるいは主要被写体からの距離に応じて色合いや濃淡を制御し、および／または、主要被写体までの距離に応じて色合いや濃淡の制御方法を変更することが考えられる。また、イラスト処理では、被写体までの距離あるいは主要被写体からの距離に応じて例えば濃淡を制御し、および／または、主要被写体までの距離に応じて濃淡制御の方法を変更することが考えられる。キャラクタを追加する処理では、例えば被写体までの距離あるいは主要被写体からの距離に応じて追加するエリアの広さやキャラクタの大きさの制御を行い、および／または主要被写体までの距離に応じてエリアの広さやキャラクタの大きさの制御方法を変更することが考えられる。

【0071】

また、距離マップ作成、画像処理までの処理を、レンズ駆動機構と撮像素子を備えた撮像装置を制御するコンピュータプログラムとして提供することもできる。

【符号の説明】

【0072】

１０ デジタルカメラ
１１ 撮影レンズ
１２ 撮像素子
１３ 撮像素子ドライバ
１４ 制御部
１５ 画像メモリ
１６ 記録媒体
１７ モニタ
１８ レンズ駆動部
１９ 絞り
２０ 絞り駆動部
２１ スイッチ群

【図1】

【図2】

【図3】

【図4】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図5】