特許 7110078 撮像装置、撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-07-22

(45)【発行日】2022-08-01

(54)【発明の名称】撮像装置、撮像方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20220725BHJP

   G02B 21/36 20060101ALI20220725BHJP

   G02B 21/26 20060101ALI20220725BHJP

   G03B 15/00 20210101ALI20220725BHJP

   G02B 7/08 20210101ALI20220725BHJP

   G03B 17/18 20210101ALI20220725BHJP

【ＦＩ】

H04N5/232 935

G02B21/36

G02B21/26

G03B15/00 H

G02B7/08 C

G03B17/18 Z

H04N5/232 133

H04N5/232 945

【請求項の数】 7

(21)【出願番号】P 2018234550

(22)【出願日】2018-12-14

(65)【公開番号】P2020096317

(43)【公開日】2020-06-18

【審査請求日】2021-06-30

(73)【特許権者】

【識別番号】000000376

【氏名又は名称】オリンパス株式会社

(74)【代理人】

【識別番号】110002907

【氏名又は名称】特許業務法人イトーシン国際特許事務所

(74)【代理人】

【識別番号】100076233

【弁理士】

【氏名又は名称】伊藤 進

(74)【代理人】

【識別番号】100101661

【氏名又は名称】長谷川 靖

(74)【代理人】

【識別番号】100135932

【弁理士】

【氏名又は名称】篠浦 治

(72)【発明者】

【氏名】見塩 裕紀

(72)【発明者】

【氏名】雪竹 晶

(72)【発明者】

【氏名】鈴木 猛士

(72)【発明者】

【氏名】国重 恵二

【審査官】▲徳▼田 賢二

(56)【参考文献】

【文献】特開２０１８－１０１９５１（ＪＰ，Ａ）

【文献】特開２０１１－００７８７２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ５／２３２

Ｇ０２Ｂ ２１／３６

Ｇ０２Ｂ ２１／２６

Ｇ０３Ｂ １５／００

Ｇ０２Ｂ ７／０８

Ｇ０３Ｂ １７／１８

(57)【特許請求の範囲】

【請求項1】

被写体像を結像する、フォーカス位置に応じて実効焦点距離が変化する撮影レンズと、
前記被写体像を撮像して撮像データを出力する撮像部と、
前記撮像データに基づきライブビューを表示するライブビュー表示部と、
深度合成画像の画角範囲を前記ライブビュー上に表示する深度合成画角範囲表示部と、
深度合成撮影における近点のフォーカス位置および遠点のフォーカス位置を決定して出力する深度合成用フォーカス位置決定部と、
前記深度合成撮影の本撮影において、前記撮影レンズのフォーカス位置を、前記近点のフォーカス位置と前記遠点のフォーカス位置との間で所定量ずつ移動させながら、前記撮像部に繰り返して撮像させ、複数の撮像データを出力させる撮像制御部と、
前記複数の撮像データのそれぞれを撮像したときの前記実効焦点距離に基づいて、前記複数の撮像データの画角をそれぞれ調整する合成画角調整部と、
前記合成画角調整部により画角調整された前記複数の撮像データを深度合成して前記深度合成画像を生成する深度合成部と、
を有し、
前記深度合成画角範囲表示部は、前記撮影レンズの情報と、前記深度合成用フォーカス位置決定部の出力内容と、撮影距離との内の少なくとも１つの変更に応じて、前記ライブビューを表示するときの前記実効焦点距離と、前記遠点のフォーカス位置にしたときの前記実効焦点距離とに基づき前記深度合成画像の画角範囲の表示を更新することを特徴とする撮像装置。

【請求項2】

被写体像を結像する、フォーカス位置に応じて実効焦点距離が変化する撮影レンズと、
前記被写体像を撮像して撮像データを出力する撮像部と、
前記撮像データに基づきライブビューを表示するライブビュー表示部と、
深度合成画像の画角範囲を前記ライブビュー上に表示する深度合成画角範囲表示部と、
前記撮影レンズの情報に基づき、前記撮影レンズのフォーカス位置の移動可能範囲内における最大画角変動量を決定する最大画角変動量決定部と、
深度合成撮影における近点のフォーカス位置および遠点のフォーカス位置を決定して出力する深度合成用フォーカス位置決定部と、
前記深度合成撮影の本撮影において、前記撮影レンズのフォーカス位置を、前記近点のフォーカス位置と前記遠点のフォーカス位置との間で所定量ずつ移動させながら、前記撮像部に繰り返して撮像させ、複数の撮像データを出力させる撮像制御部と、
前記複数の撮像データのそれぞれを撮像したときの前記実効焦点距離に基づいて、前記複数の撮像データの画角をそれぞれ調整する合成画角調整部と、
前記合成画角調整部により画角調整された前記複数の撮像データを深度合成して前記深度合成画像を生成する深度合成部と、
を有し、
前記深度合成画角範囲表示部は、前記最大画角変動量に基づいた前記深度合成画像の画角範囲を前記ライブビュー上に表示し、
前記合成画角調整部は、前記深度合成撮影の本撮影を行う前に前記ライブビュー上に表示した前記深度合成画像の画角範囲に基づいて、前記複数の撮像データの画角をそれぞれ調整することを特徴とする撮像装置。

【請求項3】

前記深度合成撮影の本撮影を待機する状態において、前記深度合成用フォーカス位置決定部により決定された前記遠点のフォーカス位置付近に前記ライブビューのフォーカス位置を設定するフォーカス位置設定部をさらに有することを特徴とする請求項１に記載の撮像装置。

【請求項4】

前記撮影レンズの情報から、前記深度合成撮影が可能であるか否かを判断する深度合成可否判断部をさらに有し、
前記最大画角変動量決定部は、前記深度合成撮影が可能であると判断される複数の撮影レンズでなるレンズ群に対して、前記レンズ群に含まれる前記撮影レンズの最大画角変動量の内の、最も変動量が大きいレンズ群最大画角変動量をさらに決定し、
前記深度合成画角範囲表示部は、前記レンズ群に含まれる何れの前記撮影レンズに対しても、前記レンズ群最大画角変動量に基づいた前記深度合成画像の画角範囲を前記ライブビュー上に表示することを特徴とする請求項２に記載の撮像装置。

【請求項5】

前記撮像データの画角を、所定のデジタルテレコンバータ倍率に基づき制限することで、画像拡大を行うデジタルテレコンバータ設定部をさらに有し、
前記深度合成画角範囲表示部は、前記深度合成画像の画角範囲と、前記デジタルテレコンバータ倍率による画角範囲との内の、小さい方の画角範囲を前記ライブビュー上に表示することを特徴とする請求項１または２に記載の撮像装置。

【請求項6】

被写体像を撮像して撮像データを出力する撮像ステップと、
前記撮像データに基づきライブビューを表示するライブビュー表示ステップと、
深度合成画像の画角範囲を前記ライブビュー上に表示する深度合成画角範囲表示ステップと、
深度合成撮影における近点のフォーカス位置および遠点のフォーカス位置を決定して出力する深度合成用フォーカス位置決定ステップと、
前記深度合成撮影の本撮影において、前記被写体像を結像する撮影レンズのフォーカス位置を、前記近点のフォーカス位置と前記遠点のフォーカス位置との間で所定量ずつ移動させながら、前記撮像ステップに繰り返して撮像させ、複数の撮像データを出力させる撮像制御ステップと、
前記複数の撮像データのそれぞれを撮像したときの前記撮影レンズの実効焦点距離に基づいて、前記複数の撮像データの画角をそれぞれ調整する合成画角調整ステップと、
前記合成画角調整ステップにより画角調整された前記複数の撮像データを深度合成して前記深度合成画像を生成する深度合成ステップと、
を有し、
前記深度合成画角範囲表示ステップは、前記撮影レンズの情報と、前記深度合成用フォーカス位置決定ステップの出力内容と、撮影距離との内の少なくとも１つの変更に応じて、前記ライブビューを表示するときの前記実効焦点距離と、前記遠点のフォーカス位置にしたときの前記実効焦点距離とに基づき前記深度合成画像の画角範囲の表示を更新することを特徴とする撮像方法。

【請求項7】

被写体像を撮像して撮像データを出力する撮像ステップと、
前記撮像データに基づきライブビューを表示するライブビュー表示ステップと、
深度合成画像の画角範囲を前記ライブビュー上に表示する深度合成画角範囲表示ステップと、
前記被写体像を結像する撮影レンズの情報に基づき、前記撮影レンズのフォーカス位置の移動可能範囲内における最大画角変動量を決定する最大画角変動量決定ステップと、
深度合成撮影における近点のフォーカス位置および遠点のフォーカス位置を決定して出力する深度合成用フォーカス位置決定ステップと、
前記深度合成撮影の本撮影において、前記撮影レンズのフォーカス位置を、前記近点のフォーカス位置と前記遠点のフォーカス位置との間で所定量ずつ移動させながら、前記撮像ステップに繰り返して撮像させ、複数の撮像データを出力させる撮像制御ステップと、
前記複数の撮像データのそれぞれを撮像したときの前記撮影レンズの実効焦点距離に基づいて、前記複数の撮像データの画角をそれぞれ調整する合成画角調整ステップと、
前記合成画角調整ステップにより画角調整された前記複数の撮像データを深度合成して前記深度合成画像を生成する深度合成ステップと、
を有し、
前記深度合成画角範囲表示ステップは、前記最大画角変動量に基づいた前記深度合成画像の画角範囲を前記ライブビュー上に表示し、
前記合成画角調整ステップは、前記深度合成撮影の本撮影を行う前に前記ライブビュー上に表示した前記深度合成画像の画角範囲に基づいて、前記複数の撮像データの画角をそれぞれ調整することを特徴とする撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、フォーカス位置を移動させながら取得された複数の撮像データを深度合成して深度合成画像を生成する撮像装置、撮像方法に関する。

【背景技術】

【0002】

主要被写体の全範囲にピントが合った写真を撮影するためには、一般的に、絞りを絞り込んで被写界深度を深くする。しかし、絞り込む量には機械的および光学的な限界があり、特にマクロ領域では、最大限にまで絞り込んだとしても十分な深さの被写界深度を得ることが難しい場合が多い。

【0003】

そこで、フォーカス位置を移動させながら複数の撮像データを取得し、取得された複数の撮像データを深度合成して深度合成画像を生成する撮像装置が、従来より提案されている。

【0004】

深度合成撮影機能を使うと、通常では深い被写界深度を得ることが難しい望遠撮影またはマクロ撮影においても、絞りを極端に絞ることなく主要被写体だけをシャープに描写することが可能となる。そして、絞りを極端に絞る必要がないために撮影に必要な光量を確保することができ、高速シャッタが可能となるだけでなく、Ｓ／Ｎが高くなって画像の高画質化を図ることができる。さらに、絞り過ぎたときの回折現象による解像度の低下を防止することもでき、最も高い解像度が得られる絞り値に設定して撮影することも可能となる。または、絞りを開放にして背景を強くぼかし深度合成撮影を行えば、主要被写体はシャープでありながら背景は強くボケた奥行き感のある写真を撮影することもできる。

【0005】

こうした深度合成撮影を行う際のライブビュー表示の一例として、特開２００１－２９８７５５公報には、フォーカス位置が異なる複数のサブフレームの画像を取得して、複数のサブフレーム画像を深度合成することにより、１フレームのライブビュー画像を生成して表示する技術が記載されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２００１－２９８７５５公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

ところで、ライブビュー画像は通常は３０～６０ｆｐｓで表示される。このため、深度合成された１フレームのライブビュー画像を生成するために例えば６サブフレームの画像を取得する場合には、毎秒１８０～３６０枚のサブフレームの画像を取得する必要がある。しかし、例えば一眼レフレックスカメラに装着される撮影レンズは大型であるために、毎秒１８０～３６０回も焦点位置を変化させることは実用上困難であり、上記特開２００１－２９８７５５公報に記載の技術を適用することは現実的でない。従って、深度合成撮影を行う場合であっても、一眼レフレックスカメラでは深度合成されたライブビュー画像ではなく、通常のライブビュー画像を表示せざるを得ない。

【0008】

一方、一眼カメラでよく使用されるレンズでは、近距離撮影における像倍率を最大化する目的で、より近距離側において合焦が可能となるように、近距離側において実効焦点距離が変化するように構成されていることがある。実効焦点距離が変化すると画角も変化するために、近距離側で深度合成撮影を行うと、画角が異なる複数の画像を深度合成処理することになる。このときには、最も画角が狭い画像に合わせて深度合成画像を生成するために、撮影開始前において通常のライブビュー画像として観察していた画角よりも狭い画角の深度合成画像が生成されてしまうという問題が起こりうる。

【0009】

しかも、ライブビュー画像と深度合成画像との画角のずれ量は、撮影レンズに応じて異なるだけでなく、深度合成撮影における撮影開始ポイントから撮影終了ポイントまでのフォーカス移動範囲ならびに移動方向に応じても異なる。すなわち、画角のずれ量は、撮影レンズに応じて一意的にきまるものではなく、ユーザがどの撮影距離範囲の深度合成撮影を行おうとするかという、ユーザの撮影の狙いや仕方にも依存することになる。加えて、複数枚の画像を取得する深度合成撮影では、総撮影時間が長いために、手持ち撮影を行った場合に各画像にぶれが生じる。このために、取得される複数枚の画像の共通部分が小さくなって、より一層狭い画角の深度合成画像が生成されてしまうことになり、ユーザの撮影スキルが低いとライブビュー画像との画角のずれ量が大きくなる。

【0010】

以上のように、ユーザは通常のライブビューでは深度合成撮影の撮影画角を撮影前に一意的に認識することができず、その結果、狙いとしていた画角とは異なる狭い画角の深度合成画像が撮影されてしまった場合に、ユーザは、より広い範囲がライブビュー画像に表示されるようにカメラをセッティングし直してから再撮影を行うなどが必要となっていた。

【0011】

本発明は上記事情に鑑みてなされたものであり、深度合成撮影で生成される深度合成画像の画角を、撮影を行う前に、可能な限り広くかつ一意的に確認することができる撮像装置、撮像方法を提供することを目的としている。

【課題を解決するための手段】

【0012】

本発明の一態様による撮像装置は、被写体像を結像する、フォーカス位置に応じて実効焦点距離が変化する撮影レンズと、前記被写体像を撮像して撮像データを出力する撮像部と、前記撮像データに基づきライブビューを表示するライブビュー表示部と、深度合成画像の画角範囲を前記ライブビュー上に表示する深度合成画角範囲表示部と、深度合成撮影における近点のフォーカス位置および遠点のフォーカス位置を決定して出力する深度合成用フォーカス位置決定部と、前記深度合成撮影の本撮影において、前記撮影レンズのフォーカス位置を、前記近点のフォーカス位置と前記遠点のフォーカス位置との間で所定量ずつ移動させながら、前記撮像部に繰り返して撮像させ、複数の撮像データを出力させる撮像制御部と、前記複数の撮像データのそれぞれを撮像したときの前記実効焦点距離に基づいて、前記複数の撮像データの画角をそれぞれ調整する合成画角調整部と、前記合成画角調整部により画角調整された前記複数の撮像データを深度合成して前記深度合成画像を生成する深度合成部と、を有し、前記深度合成画角範囲表示部は、前記撮影レンズの情報と、前記深度合成用フォーカス位置決定部の出力内容と、撮影距離との内の少なくとも１つの変更に応じて、前記ライブビューを表示するときの前記実効焦点距離と、前記遠点のフォーカス位置にしたときの前記実効焦点距離とに基づき前記深度合成画像の画角範囲の表示を更新する。

【0013】

本発明の他の態様による撮像装置は、被写体像を結像する、フォーカス位置に応じて実効焦点距離が変化する撮影レンズと、前記被写体像を撮像して撮像データを出力する撮像部と、前記撮像データに基づきライブビューを表示するライブビュー表示部と、深度合成画像の画角範囲を前記ライブビュー上に表示する深度合成画角範囲表示部と、前記撮影レンズの情報に基づき、前記撮影レンズのフォーカス位置の移動可能範囲内における最大画角変動量を決定する最大画角変動量決定部と、深度合成撮影における近点のフォーカス位置および遠点のフォーカス位置を決定して出力する深度合成用フォーカス位置決定部と、前記深度合成撮影の本撮影において、前記撮影レンズのフォーカス位置を、前記近点のフォーカス位置と前記遠点のフォーカス位置との間で所定量ずつ移動させながら、前記撮像部に繰り返して撮像させ、複数の撮像データを出力させる撮像制御部と、前記複数の撮像データのそれぞれを撮像したときの前記実効焦点距離に基づいて、前記複数の撮像データの画角をそれぞれ調整する合成画角調整部と、前記合成画角調整部により画角調整された前記複数の撮像データを深度合成して前記深度合成画像を生成する深度合成部と、を有し、前記深度合成画角範囲表示部は、前記最大画角変動量に基づいた前記深度合成画像の画角範囲を前記ライブビュー上に表示し、前記合成画角調整部は、前記深度合成撮影の本撮影を行う前に前記ライブビュー上に表示した前記深度合成画像の画角範囲に基づいて、前記複数の撮像データの画角をそれぞれ調整する。

【0014】

本発明のさらに他の態様による撮像方法は、被写体像を撮像して撮像データを出力する撮像ステップと、前記撮像データに基づきライブビューを表示するライブビュー表示ステップと、深度合成画像の画角範囲を前記ライブビュー上に表示する深度合成画角範囲表示ステップと、深度合成撮影における近点のフォーカス位置および遠点のフォーカス位置を決定して出力する深度合成用フォーカス位置決定ステップと、前記深度合成撮影の本撮影において、前記被写体像を結像する撮影レンズのフォーカス位置を、前記近点のフォーカス位置と前記遠点のフォーカス位置との間で所定量ずつ移動させながら、前記撮像ステップに繰り返して撮像させ、複数の撮像データを出力させる撮像制御ステップと、前記複数の撮像データのそれぞれを撮像したときの前記撮影レンズの実効焦点距離に基づいて、前記複数の撮像データの画角をそれぞれ調整する合成画角調整ステップと、前記合成画角調整ステップにより画角調整された前記複数の撮像データを深度合成して前記深度合成画像を生成する深度合成ステップと、を有し、前記深度合成画角範囲表示ステップは、前記撮影レンズの情報と、前記深度合成用フォーカス位置決定ステップの出力内容と、撮影距離との内の少なくとも１つの変更に応じて、前記ライブビューを表示するときの前記実効焦点距離と、前記遠点のフォーカス位置にしたときの前記実効焦点距離とに基づき前記深度合成画像の画角範囲の表示を更新する。

【0015】

本発明のまたさらに他の態様による撮像方法は、被写体像を撮像して撮像データを出力する撮像ステップと、前記撮像データに基づきライブビューを表示するライブビュー表示ステップと、深度合成画像の画角範囲を前記ライブビュー上に表示する深度合成画角範囲表示ステップと、前記被写体像を結像する撮影レンズの情報に基づき、前記撮影レンズのフォーカス位置の移動可能範囲内における最大画角変動量を決定する最大画角変動量決定ステップと、深度合成撮影における近点のフォーカス位置および遠点のフォーカス位置を決定して出力する深度合成用フォーカス位置決定ステップと、前記深度合成撮影の本撮影において、前記撮影レンズのフォーカス位置を、前記近点のフォーカス位置と前記遠点のフォーカス位置との間で所定量ずつ移動させながら、前記撮像ステップに繰り返して撮像させ、複数の撮像データを出力させる撮像制御ステップと、前記複数の撮像データのそれぞれを撮像したときの前記撮影レンズの実効焦点距離に基づいて、前記複数の撮像データの画角をそれぞれ調整する合成画角調整ステップと、前記合成画角調整ステップにより画角調整された前記複数の撮像データを深度合成して前記深度合成画像を生成する深度合成ステップと、を有し、前記深度合成画角範囲表示ステップは、前記最大画角変動量に基づいた前記深度合成画像の画角範囲を前記ライブビュー上に表示し、前記合成画角調整ステップは、前記深度合成撮影の本撮影を行う前に前記ライブビュー上に表示した前記深度合成画像の画角範囲に基づいて、前記複数の撮像データの画角をそれぞれ調整する。

【発明の効果】

【0016】

本発明の撮像装置、撮像方法によれば、深度合成撮影で生成される深度合成画像の画角を、撮影を行う前に、可能な限り広くかつ一意的に確認することが可能となる。

【図面の簡単な説明】

【0017】

【図1】本発明の実施形態１における撮像装置の構成を示すブロック図。

【図2】上記実施形態１における撮像装置の外観を背面側から示す斜視図。

【図3】上記実施形態１において、撮影対象までの距離が変化したときの実効焦点距離の変化の一例を示す線図。

【図4】上記実施形態１において、撮影対象までの距離が変化したときの像倍率の変化の例を、実効焦点距離が変化するときと変化しないときとで対比して示す線図。

【図5】上記実施形態１において、実効焦点距離の変化を伴う深度合成撮影を行うときの深度合成撮影方向と、そのフォーカス位置に応じた画角の変化の様子を示す図。

【図6】上記実施形態１の撮像装置におけるメイン処理を示すフローチャート。

【図7】上記実施形態１におけるレンズ情報取得処理を示すフローチャート。

【図8】上記実施形態１における深度合成撮影連動設定の処理を示すフローチャート。

【図9】上記実施形態１における手ぶれ補正連動処理を示すフローチャート。

【図10】上記実施形態１において、連写速度優先の手ぶれ補正の動作例と撮像画像の例を示すタイミングチャート。

【図11】上記実施形態１において、手ぶれ補正優先の手ぶれ補正の動作例と撮像画像の例を示すタイミングチャート。

【図12】上記実施形態１における深度合成撮影用ライブビュー表示処理の第１の例を示すフローチャート。

【図13】上記実施形態１における深度合成撮影用ライブビュー表示処理の第２の例を示すフローチャート。

【図14】上記実施形態１における深度合成画角範囲の特定処理の第１の例を示すフローチャート。

【図15】上記実施形態１における深度合成画角範囲の特定処理の第２の例を示すフローチャート。

【図16】上記実施形態１における深度合成画角範囲の特定処理の第３の例を示すフローチャート。

【図17】上記実施形態１における深度合成画角範囲の表示更新処理を示すフローチャート。

【図18】上記実施形態１におけるデジタルテレコン表示処理を示すフローチャート。

【図19】上記実施形態１における深度合成撮影用静止画撮影の処理を示すフローチャート。

【図20】上記実施形態１における連写中手ぶれ補正処理を示すフローチャート。

【図21】上記実施形態１におけるピント移動処理を示すフローチャート。

【図22】上記実施形態１における深度合成処理を示すフローチャート。

【発明を実施するための形態】

【0018】

以下、図面を参照して本発明の実施の形態を説明する。
［実施形態１］

【0019】

図１から図２２は本発明の実施形態１を示したものであり、図１は撮像装置１の構成を示すブロック図である。

【0020】

撮像装置１は、被写体像を撮像して撮像データを生成するものであり、例えばデジタルカメラとして構成されている。特に本実施形態の撮像装置は、例えば一眼カメラ（ミラーレス一眼カメラ、または一眼レフレックスカメラなど）として構成されていて、カメラ本体３と、カメラ本体３に対して着脱可能な撮影レンズ２と、を備えている。ただし、撮像装置１は、一眼カメラに限定されるものではなく、いわゆるコンパクトタイプのカメラであっても構わないし、デジタルビデオカメラ、撮影機能付き通信機器、撮影機能付き顕微鏡、内視鏡、監視カメラなどの各種の撮像機能を備える装置であってもよい。

【0021】

撮影レンズ２は、被写体像を結像するものであり、図１においては、特にレンズ内に手ぶれ補正機能（レンズＩＳ（Ｌ－ＩＳ：Lens Image Stabilization））を備える例を示している。

【0022】

すなわち、撮影レンズ２は、レンズ２１と、絞り２２と、手ぶれ補正光学素子２３と、手ぶれ補正制御部２４と、絞り制御部２５と、レンズ制御部２６と、手ぶれ検出部２７と、操作部２８と、通信制御部２９と、を備えている。

【0023】

レンズ２１は、被写体像を結像する光学系であり、１枚以上（一般的には複数枚）のレンズを組み合わせて構成されている。レンズ２１は、フォーカス位置を調整可能となっていて、フォーカス位置を調整するためのフォーカスレンズを例えば備えている。

【0024】

絞り２２は、レンズ２１を通過する光束の通過範囲を制御する光学絞りである。絞り２２の開口径を変化させると、被写体像の明るさが変化し、ボケの大きさなども変化する。

【0025】

手ぶれ補正光学素子２３は、例えばレンズ２１の光軸に垂直な方向に移動することで、手ぶれによる被写体像のぶれを補正するものである。

【0026】

なお、図１ではレンズ２１と絞り２２と手ぶれ補正光学素子２３とが別体であるように模式的に示しているが、実際には、絞り２２および手ぶれ補正光学素子２３がレンズ２１の内部に組み込まれていても構わない。

【0027】

手ぶれ補正制御部２４は、手ぶれ検出部２７により検出された手ぶれによる被写体像の移動を打ち消すように、手ぶれ補正光学素子２３を制御して駆動する。

【0028】

絞り制御部２５は、カメラ本体３から指令に基づいて、絞り２２の開口径を変化させる。

【0029】

レンズ制御部２６は、カメラ本体３から指令に基づいて、レンズ２１を含む撮影レンズ２のフォーカス位置を調整する。

【0030】

手ぶれ検出部２７は、ジャイロセンサ等の角速度センサを備え、撮影レンズ２に生じている手ぶれを検出する。

【0031】

操作部２８は、撮影レンズ２に係る操作を行うためのものである。操作部２８は、例えば、手ぶれ補正光学素子２３および手ぶれ補正制御部２４によるレンズＩＳのオン／オフを切り替えるためのＩＳスイッチを備えている。

【0032】

通信制御部２９は、カメラ本体３の後述するレンズ通信部３７と通信を行い、カメラ本体３からの指令を受信し、撮影レンズ２に係る各種の情報をカメラ本体３へ送信する。

【0033】

カメラ本体３は、メカニカルシャッタ３０と、撮像部３１と、Ａ／Ｄ変換部３２と、メモリ３３と、画像処理部３４と、撮像駆動制御部３５と、シャッタ制御部３６と、レンズ通信部３７と、手ぶれ検出部３８と、露出制御部３９と、ＡＦ処理部４０と、不揮発性メモリ４１と、外部メモリ４２と、表示部４３と、操作部４４と、電源制御部４５と、電源部４６と、フラッシュ部４７と、システム制御部４８と、を備えている。

【0034】

メカニカルシャッタ３０は、撮影レンズ２からの光束が撮像部３１へ到達する時間を制御するものであり、例えば遮光機能を有するシャッタ幕を走行させる光学シャッタとして構成されている。

【0035】

撮像部３１は、被写体像を撮像して撮像信号（撮像データ）を出力する撮像素子（イメージセンサ）と、撮像素子を撮影レンズ２の光軸に垂直な方向に移動する手ぶれ補正機能（ボディＩＳ（Ｂ－ＩＳ：Body Image Stabilization）と、を備えている。なお、ボディＩＳとしては、撮像部３１の機構的な構成により撮像素子を移動する光学手ぶれ補正以外にも、画像処理部３４により画像データを電子的にデジタル演算処理する電子手ぶれ補正がある。

【0036】

ここに、撮影レンズ２の光軸をｚ軸、ｚ軸に垂直な撮像面３１の直交２軸をｘ軸（横軸）およびｙ軸（縦軸）としたときに、本実施形態の撮像部３１による光学手ぶれ補正は、後述するように、ｘ軸周り（ピッチ（Pitch）方向）の角度ぶれ、ｙ軸周り（ヨー（Yaw）方向）の角度ぶれ、ｚ軸周り（ロール（Roll）方向）の回転ぶれ、ｘ軸方向へのシフトぶれ、ｙ軸方向へのシフトぶれを補正することができる構成となっている。

【0037】

Ａ／Ｄ変換部３２は、撮像部３１から出力されるアナログの撮像信号をデジタルの撮像信号に変換する。

【0038】

メモリ３３は、Ａ／Ｄ変換部３２から出力された撮像データを記憶すると共に、画像処理部３４により処理された画像データを記憶し、さらにシステム制御部４８のワークメモリ等としても用いられるようになっている。

【0039】

画像処理部３４は、メモリ３３に記憶された撮像データを読み出して、撮像データに各種の画像処理を行い、表示用の画像データ、および記録用の画像データを生成し、生成した画像データをメモリ３３に記憶させる。また、画像処理部３４は、撮像データの画角を、所定のデジタルテレコンバータ倍率に基づき制限することで、画像拡大を行うデジタルテレコンバータ設定部（デジタルテレコンバータ設定回路）として機能するようになっている。

【0040】

撮像駆動制御部３５は、撮像素子の画素リセット、露光開始（電荷蓄積開始）、および露光終了（画素からの読み出しによる電荷蓄積終了）などを制御する。ここに、露光開始タイミングおよび露光終了タイミングを制御することで、いわゆる電子シャッタとして機能することが可能となっている。

【0041】

さらに、撮像駆動制御部３５は、手ぶれ検出部３８により検出された手ぶれによる被写体像の移動を打ち消すように、撮像部３１のボディＩＳを制御して駆動する。

【0042】

シャッタ制御部３６は、メカニカルシャッタ３０の開閉を制御する。例えば、ライブビュー画像を撮影するとき、電子シャッタにより深度合成撮影（複数枚の画像が自動的に撮影されるために、自動深度合成撮影ともいう）を行うときなどには、メカニカルシャッタ３０は開状態に維持されるように制御される。

【0043】

そして、撮像素子の露光時間は、例えば、メカニカルシャッタ３０による露光開始および露光終了と、電子シャッタによる露光開始および露光終了と、電子シャッタによる露光開始およびメカニカルシャッタ３０による露光終了（先幕電子シャッタと呼ばれる）と、の何れかの組み合わせにより制御される。

【0044】

レンズ通信部３７は、撮影レンズ２の上述した通信制御部２９と通信を行い、撮影レンズ２の情報（レンズＩＤ（レンズ種類名、レンズシリアル番号など）、焦点距離、最至近フォーカス位置、現在のフォーカス位置等）を取得するレンズ情報取得部である。

【0045】

手ぶれ検出部３８は、ジャイロセンサ等の角速度センサ、および平行移動を検出する加速度センサを備え、カメラ本体３に生じている手ぶれを検出する。

【0046】

露出制御部３９は、メモリ３３に記憶された撮像データに基づいて、撮像素子に結像される被写体像が適切な明るさとなるように、露出条件、具体的には、露光時間（シャッタ速度）、絞り２２の絞り値、ＩＳＯ感度（撮像信号の増幅率）などを制御する。

【0047】

ＡＦ処理部４０は、例えば撮像データに基づいてＡＦ（オートフォーカス）処理を行い、被写体における目標部分が合焦するようにフォーカス位置を調整するための制御信号を生成する。この制御信号は、システム制御部４８、レンズ通信部３７、および通信制御部２９を経由してレンズ制御部２６へ送信され、レンズ制御部２６によりレンズ２１内のフォーカスレンズが駆動制御される。

【0048】

不揮発性メモリ４１は、例えばフラッシュメモリにより構成されていて、システム制御部４８により実行される処理プログラム（撮像装置１の制御プログラム）、撮像装置１に係る各種のデータ、ユーザにより設定された設定値などを不揮発に記録する記録媒体である。

【0049】

外部メモリ４２は、画像処理部３４により画像処理されメモリ３３に記憶されている記録用の画像データを記録する記録媒体である。外部メモリ４２は、例えばカメラ本体３に対して着脱可能なメモリカードにより構成されているために、撮像装置１に固有の構成でなくても構わない。

【0050】

表示部４３は、画像処理部３４により画像処理されメモリ３３に記憶されている表示用の画像データに基づき画像を表示する表示デバイスである。ここに、画像は、ライブビュー、静止画撮影後の画像確認、外部メモリ４２に記憶されている画像の再生、などの際に表示される。従って、表示部４３は、ライブビューディスプレイであって、撮像データに基づきライブビューを表示するライブビュー表示部となっている。

【0051】

また、表示部４３の画像には各種の情報を重畳することが可能となっており、後述するような深度合成画像の画角範囲を示す表示（具体例としては、画角制限枠など）も重畳される。従って、表示部４３は、深度合成画角範囲ディスプレイであって、深度合成画像の画角範囲をライブビュー上に表示する深度合成画角範囲表示部となっている。

【0052】

操作部４４は、撮像装置１に対する各種の操作入力を行うためのものであり、例えば、ボタン、スイッチ、タッチパネルなどのデバイスにより構成されている。操作部４４は、撮像装置１の電源をオン／オフするための電源ボタンや、その他の操作ボタンを含んでいる。その他の操作ボタンの幾つかの例については、後で図２を参照して説明する。この操作部４４に対して操作が行われると、操作内容に応じた信号がシステム制御部４８へ出力される。

【0053】

電源制御部４５は、電源部４６を制御するものである。

【0054】

電源部４６は、電源制御部４５の制御に応じて、撮像装置１内の各部へ電力を供給する。

【0055】

フラッシュ部４７は、システム制御部４８の制御に基づいて、被写体へ照明光を照射する。フラッシュ部４７の発光は、深度合成撮影においても、必要に応じて適宜行われる。

【0056】

システム制御部４８は、カメラ本体３内の各部を制御すると共に、レンズ通信部３７を経由して通信制御部２９へ指令を送信し、撮影レンズ２内の各部を制御するものである。従って、システム制御部４８は、撮像装置１を統括的に制御する制御部となっている。システム制御部４８は、ユーザにより操作部４４から操作入力が行われると、不揮発性メモリ４１に記憶されている処理プログラムに従って、不揮発性メモリ４１から処理に必要なパラメータを読み込んで、操作内容に応じた各種シーケンスを実行する。

【0057】

また、システム制御部４８は、深度合成用フォーカス位置決定部（深度合成用フォーカス位置決定回路）として機能し、深度合成撮影における近点のフォーカス位置および遠点のフォーカス位置を決定して出力する。

【0058】

さらに、システム制御部４８は、撮像制御部（撮像制御回路）として機能し、深度合成撮影の本撮影において、レンズ制御部２６に指令を送信して撮影レンズ２のフォーカス位置を、近点のフォーカス位置と遠点のフォーカス位置との間で所定量ずつ移動させながら、撮像駆動制御部３５に指令を送信して撮像部３１に繰り返し撮像させ、複数の撮像データを出力させる。

【0059】

次に、図２は、撮像装置１の外観を背面側から示す斜視図である。

【0060】

撮像装置１は、撮影レンズ２とカメラ本体３とを、電気接点を有するレンズマウント等を用いて着脱可能に接続して構成されている。

【0061】

カメラ本体３の背面には、表示部４３を構成する背面モニタ４３ａが配置されている。背面モニタ４３ａには、操作部４４を構成するタッチパネルが設けられている。さらに、背面モニタ４３ａの上部には、表示部４３を構成する電子ビューファインダ（ＥＶＦ）４３ｂが配置されている（すなわち、図２では撮像装置１がミラーレス一眼カメラである例を示している）。

【0062】

電子ビューファインダ４３ｂの右側となるカメラ本体３の上面には、レリーズボタン４４ａ、フロントダイヤル４４ｂ、リアダイヤル４４ｃ、撮影モードダイヤル４４ｄ、動画ボタン４４ｊ、および拡大ボタン４４ｋが配置されている。

【0063】

レリーズボタン４４ａは、画像の撮影開始を指示するためのボタンであり、例えば、１ｓｔ（ファースト）レリーズスイッチおよび２ｎｄ（セカンド）レリーズスイッチを有する２段式操作ボタンとなっている。

【0064】

フロントダイヤル４４ｂおよびリアダイヤル４４ｃは、例えば、撮影モードに応じた各種のパラメータを調整する際に用いられる。

【0065】

撮影モードダイヤル４４ｄは、撮影モードの選択に用いられる。

【0066】

動画ボタン４４ｊは、動画の撮影開始指示、および動画の撮影終了指示に用いられる。

【0067】

拡大ボタン４４ｋは、画像の拡大表示に用いられる。

【0068】

背面モニタ４３ａの右側となるカメラ本体３の背面には、十字ボタン４４ｅ、ＯＫボタン４４ｆ、ＡＦボタン４４ｇ、および情報ボタン４４ｈが配置されている。

【0069】

十字ボタン４４ｅは、背面モニタ４３ａに表示されるメニューの項目の選択に用いられる。

【0070】

ＯＫボタン４４ｆは、背面モニタ４３ａに表示されているメニューの選択項目の確定に用いられる。

【0071】

ＡＦボタン４４ｇは、常時ＡＦ、シングルＡＦ（Ｓ－ＡＦ）、コンティニュアスＡＦ（Ｃ－ＡＦ）、マニュアルフォーカス（ＭＦ）、Ｓ－ＡＦとＭＦの併用（Ｓ－ＡＦ＋ＭＦ）などのＡＦ方式の選択に用いられる。

【0072】

情報ボタン４４ｈは、背面モニタ４３ａおよび／または電子ビューファインダ４３ｂにおける情報表示の有無、および表示する情報の選択などに用いられる。

【0073】

また、カメラ本体３の背面側右上角部には、深度合成ボタン４４ｉが設けられている。深度合成ボタン４４ｉは、通常撮影モードから深度合成撮影モードへの移行、深度合成撮影モードから通常撮影モードへの移行、深度合成撮影モードにおける深度合成タイプの設定などに用いられる。ここに、深度合成タイプは、例えば、第１オンタイプがライブビュー上で１点指示することにより近点および遠点が自動的に設定されるタイプ、第２オンタイプがライブビュー上で近点および遠点の２点を指示するタイプ、オフタイプが深度合成撮影しないタイプとなっている。

【0074】

次に、図３は、撮影対象までの距離が変化したときの実効焦点距離の変化の一例を示す線図である。

【0075】

撮影対象までの距離（撮像素子の撮像面から撮影対象までの光軸に沿った距離）が遠距離側から近距離側に変化すると、一定の距離、図３の例では無限遠から４００ｍｍ程度の距離までは、撮影レンズ２の実効焦点距離がほぼ一定（図３の例では８５ｍｍ程度の公称焦点距離ｆ）に維持される。

【0076】

撮影対象までの距離が４００ｍｍ程度よりもさらに近距離側に変化すると、撮影レンズ２の実効焦点距離が公称焦点距離ｆよりも次第に短くなる（短くなった焦点距離をΔｆにより示している）。そして、図３の例では、最至近（撮影対象までの距離が３００ｍｍ程度）において、撮影レンズ２の実効焦点距離が７０ｍｍ程度にまでなっている。

【0077】

すなわち、図３の例は、近距離撮影時に、撮影レンズ２の画角が広角側に変化する例となっている。このような実効焦点距離の変化が生じるレンズとしては、インナーフォーカスレンズ（ＩＦ（Inner Focus）レンズ）として構成されたマクロレンズが一例として挙げられる。また、実効焦点距離の変化が生じるレンズの他の例としては、リアフォーカスレンズ、前玉繰り出し方式のレンズなどが挙げられる。なお、実効焦点距離の変化が生じないレンズの例としては、全群繰出し方式のレンズが挙げられる。

【0078】

本実施形態において、深度合成画像の画角範囲を示す表示を行う対象となる撮影レンズ２は、図３に示すように、撮影対象までの距離が変化すると（つまり、フォーカス位置が変化すると）、実効焦点距離が変化するように構成されたレンズとなっている。

【0079】

また、図４は、撮影対象までの距離が変化したときの像倍率の変化の例を、実効焦点距離が変化するときと変化しないときとで対比して示す線図である。

【0080】

像倍率Ｍは、撮影対象までの距離Ｌと、公称焦点距離ｆとを用いて、
Ｍ＝ｆ／（Ｌ－ｆ）
により表される。上記式が示すように、像倍率Ｍは撮影対象までの距離Ｌの関数であり、Ｌが短いほど大きく、最短撮影距離の場合において最大となる。

【0081】

しかし、図３に示したように、近距離撮影時には、撮影レンズ２の焦点距離が広角側にΔｆだけ変化して、実効焦点距離は（ｆ－Δｆ）となる。従って、近距離撮影時の像倍率Ｍは、
Ｍ＝（ｆ－Δｆ）／｛Ｌ－（ｆ－Δｆ）｝
により表される。

【0082】

図４のグラフはこのような像倍率Ｍの変化を表しており、もし実効焦点距離が変化しない場合には、近距離撮影時に点線に示すような仮想の像倍率Ｍとなる。これに対して、フォーカス位置に応じて実効焦点距離が変化する本実施形態の撮影レンズ２の場合には、実線で示すようになり、つまり近距離側における像倍率Ｍが、実効焦点距離が変化しない場合の仮想の像倍率Ｍよりも小さくなっている。ここで注意すべきは、仮想の像倍率は実際には合焦範囲外であるので意味がないということである。実効焦点距離が変化しない場合の合焦可能な最短撮影可能距離は図４に示すＢ点であり、実効焦点距離の変化を許容した場合の最短撮影可能距離は図４に示すＡ点となる。すなわち、実効焦点距離が変化するもののＡ点の像倍率の方がＢ点の像倍率よりも大きくとれることになり、実用的には、こちらの方が好ましい。しかしながら、深度合成撮影範囲がＢ点以遠の範囲でない場合には問題が生じる。

【0083】

図５は、上述したような実効焦点距離の変化を伴う深度合成撮影を行うときの深度合成撮影方向と、そのフォーカス位置に応じた画角の変化の様子を示す図である。図中の斜線部はピントが合っている部分を示している。また、遠点における手ぶれ補正のオン／オフに応じた画角制限の表示例も併せて示している。

【0084】

図５において、第１の深度合成撮影方向の場合には、フォーカス位置を近点から遠点まで移動しながら、複数枚の画像を取得することになり、遠点側では画角が狭く、近点側では画角が広い。

【0085】

従って、最初に近点側から深度合成撮影を開始すると、画角が広いライブビュー画像を見ながらレリーズボタン４４ａを押下することになり、レリーズボタン４４ａ押下時よりも画角が狭い深度合成画像が生成されることになってしまう。

【0086】

具体的に、近点画像Ｉ１においては狙いとする被写体の後方に他の被写体が写っているが、フォーカス位置が遠点方向に移動して得られる画像Ｉ２では他の被写体が画像内からより外れた位置となり、さらに遠点方向に移動した画像Ｉ３および遠点画像Ｉ４では他の被写体が写っていない。そして、深度合成画像は、最も画角が狭い遠点画像Ｉ４に画角を合わせて生成されるために、深度合成画像には他の被写体が写っていないことになる。

【0087】

図５における第２の深度合成撮影方向の場合には、逆に、遠点から深度合成撮影を開始して、近点側へ向けて順次撮影を行うことになり、レリーズボタン４４ａを押下する時点では画角が最も狭いライブビュー画像を見ていることになる。このため、特にライブビュー上に画角制限表示をしないでも、ユーザは、レリーズボタン４４ａ押下時に狙いとした画角の深度合成画像を得ることができる。

【0088】

なお、ユーザが手持ち撮影を行っている場合であって、手ぶれ補正機能がオフになっている場合には、図５の下段の画像Ｉ４ｎｉｓに示すように、手ぶれにより複数の画像において共通する画角範囲が狭くなることを示す枠を示すとよい。一方、手ぶれ補正機能がオンになっていて、手ぶれ補正の可動範囲内で手ぶれを有効に補正することができる場合には、画像Ｉ４ｉｓに示すように、画角範囲が狭くなることを示す枠は表示しなくても構わない。

【0089】

図６は、撮像装置１におけるメイン処理を示すフローチャートである。

【0090】

撮像装置１の電源がオンされると、この図６に示す処理が開始される。

【0091】

電源オンに伴う各種の初期化が行われた後に、レンズ情報取得処理が行われる（ステップＳ１）。ここでは、レンズ通信部３７およびレンズマウントの電気接点を経由して、システム制御部４８が、通信制御部２９から撮影レンズ２に係る各種の情報を取得する。

【0092】

そして、システム制御部４８が、撮像装置１に設定されている深度合成フラグをチェックする（ステップＳ２）。この深度合成フラグは、後で図７を参照して説明するように、カメラ本体３に装着されている撮影レンズ２が深度合成可能なレンズ（深度合成対象レンズ）であって、かつ、深度合成撮影モードに設定されている場合は「１」（オン）になる。また、撮影レンズ２が深度合成対象レンズでないか、または深度合成対象レンズであっても深度合成撮影モードに設定されていない場合は「０」（オフ）になる。

【0093】

なお、深度合成撮影モードの設定は、表示部４３に表示されるメニューにより、または深度合成ボタン４４ｉの押下により行われる。

【0094】

ここで、深度合成フラグが「０」であると判定された場合には、システム制御部４８の制御に基づいて、表示部４３が深度合成撮影用以外の撮影用ライブビュー表示を行う（ステップＳ３）。

【0095】

また、ステップＳ２において、深度合成フラグが「１」であると判定された場合には、システム制御部４８が深度合成撮影連動設定の処理を行う（ステップＳ４）。この深度合成撮影連動設定は、図８、図９に示されるように深度合成撮影の設定前の撮影設定に基づいて、深度合成撮影に適した撮影設定に変更する処理である。後述するように、連動設定には、固定的な撮影設定と、ユーザが選択可能な撮影設定と、の２種類がある。

【0096】

続いて、システム制御部４８の制御に基づいて、表示部４３が深度合成撮影用ライブビュー表示を行う（ステップＳ５）。

【0097】

ステップＳ３またはステップＳ５の処理を行ったら、操作部４４の操作部材として、レリーズボタン４４ａが操作されたか否かをシステム制御部４８が判定する（ステップＳ６）。

【0098】

ここで、レリーズボタン４４ａ以外のその他の操作部材が操作されたと判定された場合には、操作された操作部材からの信号に応じた処理（操作部材処理）をシステム制御部４８が行う（ステップＳ７）。

【0099】

操作部材処理としては、例えば、レンズ取外ボタンの押下を検出（つまり、撮影レンズ２の交換を検出）したときの新たなレンズ情報の取得および表示更新フラグの設定、ズーム操作を検出したときのレンズ情報の取得および表示更新フラグの設定、深度合成ボタン４４ｉの押下を検出したときの深度合成ボタン押下処理、フォーカス操作を検出したときのフォーカス処理および表示更新フラグの設定、タッチパネル操作を検出したときのタッチ操作処理、ライブビュー表示開始を検出したときの表示更新フラグの設定、撮影距離変更を検出したときのＡＦおよび表示更新フラグの設定などがある。

【0100】

ここに、深度合成ボタン押下処理は、上述したように、操作態様に応じた、通常撮影モードと深度合成撮影モードとの移行、深度合成タイプの設定、深度合成撮影時のパラメータの設定などを行う処理である。ここに、深度合成タイプは、ユーザによる撮影開始点、撮影終了点の何れかの１点の指示に基づいて深度合成のピント範囲を設定するタイプ（第１オンタイプ）と、撮影開始点、撮影終了点の２点の指示に基づいて深度合成のピント範囲を設定するタイプ（第２オンタイプ）と、を含む。深度合成撮影時のパラメータとしては、例えば、深度合成撮影を近点から遠点へ向けて行うかまたは遠点から近点へ向けて行うか（ピント移動方向）、深度合成撮影における遠点側の撮影枚数および近点側の撮影枚数、フォーカスステップなどがある。なお、フォーカスステップは、ピント移動量の単位であり、例えば、最小錯乱円の直径δに撮影レンズ２の絞り値Ｆを乗算した値Ｆδに対して、１以下の分数を乗算して設定される。従って、フォーカスステップの変更は、Ｆδに乗算する１以下の分数を変更することにより行われる。

【0101】

また、タッチ操作処理は、深度合成フラグが「０」であるときには通常のタッチ操作処理が行われ、深度合成フラグが「１」であるときには深度合成のタッチ操作処理が行われる。ここに、深度合成のタッチ操作処理は、深度合成撮影における近点と遠点を確定する処理である。

【0102】

深度合成タイプが上述した第２オンタイプであるときの近点と遠点の設定は、タッチパネルの２点を同時タッチする、タッチパネルの１点をタッチしてなぞる、タッチパネルを２回タッチするなどにより行われる。そして、第２オンタイプの場合には、近点側でタッチされた点のピント位置から「近点側の撮影枚数」（つまり近点側のマージン枚数）だけ近点側にピント移動した点が本当の近点に設定され、遠点側でタッチされた点のピント位置から「遠点側の撮影枚数」（つまり遠点側のマージン枚数）だけ遠点側にピント移動した点が本当の遠点に設定される。

【0103】

一方、深度合成タイプが上述した第１オンタイプであるときの近点と遠点の設定は、タッチパネルの１点タッチに基づいてメニュー設定（上述したように、タッチされた１点を基準とした遠点側の撮影枚数および近点側の撮影枚数、フォーカスステップなどの設定）を参照して行われる。すなわち、タッチされた１点のピント位置から「近点側の撮影枚数」だけ近点側にピント移動した点が近点に設定され、タッチされた１点のピント位置から「遠点側の撮影枚数」だけ遠点側にピント移動した点が遠点に設定される。

【0104】

タッチ操作処理における近点と遠点の確定は、２点間のＡＦスキャンを行って、ＡＦスキャンが成功したとき、すなわち、上記設定された近点と遠点において合焦したときになされる。また、近点と遠点が確定した後に、撮影枚数が所定値以内であるか否かを判定して、所定値を超える場合にはフォーカスステップを粗くすることで撮影枚数が所定値以内に収まるように修正される。また、ＡＦスキャンが成功しない場合、またはフォーカスステップを粗くしても撮影枚数が所定値以内に収まらない場合には、警告表示を行って、タッチ操作処理で指定された近点および遠点が無効とされる。

【0105】

上述したステップＳ６において、レリーズボタン４４ａが操作されたと判定された場合には、１ｓｔレリーズスイッチがオンであるか否かをシステム制御部４８が判定する（ステップＳ８）。

【0106】

ここで、１ｓｔレリーズスイッチがオンであると判定された場合には、システム制御部４８の制御に基づいて、１ｓｔオン処理が行われる（ステップＳ９）。ここに、１ｓｔオン処理では、ＡＦ・測光処理が行われる。ただし、深度合成撮影においては、１ｓｔオン処理でＡＦ処理を行わず、その他の適宜の操作ボタンの操作に応じてシングルＡＦ（Ｓ－ＡＦ）を行うようにしてもよい。特に、深度合成タイプが第２オンタイプである場合や、第１オンタイプであっても１ｓｔオン処理以外の操作で、深度合成の遠点または近点が確定している場合は、１ｓｔオン処理でＡＦ処理を行わず、測光処理のみ行うように構成することが望ましい。

【0107】

続いて、２ｎｄレリーズスイッチがオンであるか否かをシステム制御部４８が判定する（ステップＳ１０）。

【0108】

ここで、２ｎｄレリーズスイッチがオンであると判定された場合には、システム制御部４８が、さらに深度合成フラグをチェックする（ステップＳ１１）。

【0109】

ここで、深度合成フラグが「０」であると判定された場合には、深度合成撮影モード以外の撮影モードに応じた静止画撮影処理が、システム制御部４８の制御に基づき行われる（ステップＳ１２）。

【0110】

また、ステップＳ１１において、深度合成フラグが「１」であると判定された場合には、深度合成撮影用静止画撮影（深度合成撮影の本撮影）の処理が、システム制御部４８の制御に基づき行われる（ステップＳ１３）。

【0111】

そして、取得した複数枚の画像を、システム制御部４８の制御に基づき画像処理部３４が深度合成処理し（ステップＳ１４）、システム制御部４８が外部メモリ４２への記録処理を行う（ステップＳ１５）。

【0112】

ステップＳ１５の記録処理においては、画像記録モードがＪＰＥＧのみに設定されている場合にはＪＰＥＧファイルを外部メモリ４２の現状のフォルダに記録する。また、画像記録モードがＲＡＷ＋ＪＰＥＧに設定されている場合には、ＲＡＷ画像記録モードが、深度合成されたＲＡＷ画像のみに設定されているか、または深度合成されたＲＡＷ画像に加えてさらに深度合成する前の複数枚のＲＡＷ画像を記録する設定がなされているかを判定する。そして、深度合成されたＲＡＷ画像のみに設定されている場合には、ＪＰＥＧファイルと深度合成ＲＡＷ画像ファイルとを現状のフォルダに記録する。一方、深度合成する前の複数枚のＲＡＷ画像をさらに記録する設定がなされている場合には、記録するファイル数が多くなることから、深度合成用の新規フォルダを作成して、作成した新規フォルダに、ＪＰＥＧファイルと、深度合成ＲＡＷ画像ファイルと、深度合成前の複数枚のＲＡＷ画像ファイルを記録する。

【0113】

ここで、画像記録モードとしてＲＡＷ＋ＪＰＥＧが設定されていて、さらに、深度合成する前の複数枚のＲＡＷ画像を記録する設定がなされている場合に、深度合成画像として生成されるＪＰＥＧ画像および深度合成ＲＡＷ画像は画角制限枠内の画像となるが、深度合成前の複数枚のＲＡＷ画像は表示部４３全体に表示される画角の画像となる。従って、このような場合の深度合成撮影用ライブビュー表示（ステップＳ５）は、ＪＰＥＧ画像（または深度合成ＲＡＷ画像）の画角範囲と深度合成前ＲＡＷ画像の画角範囲の両方を確認することができる罫線表示または半透明表示を採用する方が、不透明表示を採用するよりも望ましい。一方、画像記録モードとしてＪＰＥＧのみが設定されている場合には、不透明表示を採用しても構わない。従って、画像記録モードの設定に応じて、画角制限枠の表示方法を異ならせてもよい。ちなみに、複数枚のＲＡＷ画像には、ＲＡＷ現像による深度合成処理を行うことを考慮して、撮影時の実効焦点距離情報またはそれに基づく情報をＥｘｉｆ情報として記録する。

【0114】

ステップＳ１５、ステップＳ１２、またはステップＳ７の処理を行ったら、システム制御部４８は、電源オフ操作が行われたか否かを判定する（ステップＳ１６）。

【0115】

ここで、電源オフ操作が行われていないと判定された場合、ステップＳ８において１ｓｔレリーズスイッチがオフであると判定された場合、またはステップＳ１０において２ｎｄレリーズスイッチがオフであると判定された場合には、ステップＳ１に戻って上述したような処理を行う。

【0116】

また、ステップＳ１６において電源オフ操作が行われたと判定された場合には、システム制御部４８の制御に基づき、フォーカスレンズおよび手ぶれ補正光学素子２３を初期位置に戻して表示部４３をオフにする等の電源オフ処理が行われ（ステップＳ１７）、その後にこの処理を終了する。

【0117】

次に、図７は、図６のステップＳ１におけるレンズ情報取得処理を示すフローチャートである。

【0118】

この処理に入るとシステム制御部４８は、レンズ通信部３７を経由して通信制御部２９と通信を行う（ステップＳ２１）。

【0119】

そして、システム制御部４８は、通信制御部２９からレンズ基本情報を取得する（ステップＳ２２）。ここで取得するレンズ基本情報は、例えば、レンズＩＤ（レンズ種類名、レンズシリアル番号など）、レンズＦ値（最小値から最大値まで）、最短撮影距離、公称焦点距離、レンズ色温度、無限遠（∞）から最至近までのレンズ繰り出しパルス量、などである。

【0120】

次に、システム制御部４８は、無限遠（∞）の実効焦点距離（特殊なレンズでない限り、公称焦点距離と一致する）を取得し（ステップＳ２３）、最短撮影距離の実効焦点距離を取得し（ステップＳ２４）、現在のフォーカス位置（ピント位置）における実効焦点距離を取得する（ステップＳ２５）。

【0121】

ただし、ステップＳ２３～Ｓ２５において取得するのは実効焦点距離に限るものではなく、実効撮影画角を取得してもよいし、実効撮影画角に相当するその他のパラメータを取得しても構わない。そして、ステップＳ２３～Ｓ２５において取得された情報に基づいて、ライブビューにおける「深度合成画角範囲」の表示が後述するように行われる。

【0122】

また、実効焦点距離（実効撮影画角に相当するパラメータの１つ）は、撮影レンズ２から取得するに限定されるものではない。例えば、カメラ本体３の不揮発性メモリ４１等に、フォーカス位置と実効焦点距離との関係を示すテーブルを、撮影レンズ２の種類毎に予め用意しておき、カメラ本体３に装着されている撮影レンズ２に係るテーブルに基づいて、テーブル参照することにより無限遠（∞）および最至近の実効焦点距離を取得し、さらに、現在のフォーカス位置に近いテーブルデータから現在のフォーカス位置における実効焦点距離を例えば補間演算するようにしても構わない。

【0123】

続いて、システム制御部４８は、深度合成対象レンズ情報を取得する（ステップＳ２６）。この深度合成対象レンズ情報は、撮影レンズ２が深度合成対象レンズであるか否かを示す情報である。

【0124】

なお、深度合成対象レンズ情報の取得は、撮影レンズ２が備える記憶部に、「深度合成対象レンズ」であることを示すフラグを予め記憶しておき、このフラグを読み出すことにより行ってもよい。

【0125】

ここに、「深度合成対象レンズ」であることの条件は、カメラ本体３からのフォーカス位置を移動するコマンドを強制的に受け付けて深度合成に必要なフォーカスステップでピント移動可能なことである。すなわち、自動深度合成撮影においては、フォーカス位置を自動的に変更する必要がある。このために、フォーカス位置を手動のみで変更するマニュアルフォーカス専用のレンズは、深度合成対象レンズから除外される。また、ＭＦ／ＡＦに設定可能なレンズで、ＭＦ設定状態は深度合成対象レンズではなく、ＡＦ設定状態では深度合成対象レンズというレンズもある。ＭＦ／ＡＦに設定可能なレンズであっても、その設定に関わらず上記コマンドを受け付け可能なものもある。

【0126】

また、深度合成対象レンズ情報は、撮影レンズ２から取得するに限定されるものではなく、カメラ本体３の不揮発性メモリ４１に「レンズ種類名」と「深度合成対象レンズ」との対応を示すテーブルを予め用意しておき、撮影レンズ２から取得した「レンズ種類名」に基づいてテーブル参照することにより、深度合成対象レンズであるか否か判断するように構成してもよい。

【0127】

そして、ステップＳ２６において取得した深度合成対象レンズ情報に基づいて、システム制御部４８は、カメラ本体３に装着されている撮影レンズ２が、深度合成対象レンズであるか否かを判定する（ステップＳ２７）。

【0128】

ここでシステム制御部４８は、深度合成対象レンズであると判定された場合には深度合成レンズ装着フラグを１に設定し（ステップＳ２８）、深度合成対象レンズでないと判定された場合には深度合成レンズ装着フラグを０に設定する（ステップＳ２９）。

【0129】

ステップＳ２８を行った場合には、さらにシステム制御部４８が、深度合成有効フラグをチェックする（ステップＳ３０）。ここに、深度合成有効フラグは、深度合成撮影モードに設定されているか否かを示すフラグである。この深度合成有効フラグは、深度合成対象レンズが装着されている場合にのみ「１」（オン）に設定することが可能となっており、深度合成有効フラグが「０」（オフ）である場合には深度合成撮影を行うことができない。

【0130】

ステップＳ３０において深度合成有効フラグが「１」であると判定された場合には、システム制御部４８が深度合成フラグを「１」に設定する（ステップＳ３１）。

【0131】

また、ステップＳ３０において深度合成有効フラグが「０」であると判定された場合、またはステップＳ２９の処理を行った場合には、システム制御部４８が深度合成フラグを「０」に設定する（ステップＳ３２）。

【0132】

このように、システム制御部４８は、撮影レンズ２の情報から、深度合成撮影が可能であるか否かを判断する深度合成可否判断部（深度合成可否判断回路）として機能するようになっている。

【0133】

こうして、ステップＳ３１またはステップＳ３２の処理を行ったら、この処理からリターンする。

【0134】

図８は、図６のステップＳ４における深度合成撮影連動設定の処理を示すフローチャートである。

【0135】

この処理に入るとシステム制御部４８は、手ぶれ補正連動メニューをチェックする（ステップＳ４１）。手ぶれ補正は、手持ち撮影であるときに自動設定されるのが合理的であるが、手ぶれ補正機能が動作するのをユーザが好まない場合もある。例えば、Ｌ－ＩＳの機能を備える撮影レンズにおいて、Ｌ－ＩＳの機能をオフに設定しているにも関わらず深度合成撮影時に自動的にＬ－ＩＳの機能がオンになる（または逆に、Ｌ－ＩＳの機能をオンに設定しているにも関わらずＬ－ＩＳの機能が自動的にオフになる）と、ユーザが違和感を覚えることがある。このために、本実施形態では、メニュー内に、深度合成撮影に手ぶれ補正を連動するか否かを選択するための項目を明示的に設けている。

【0136】

ここで手ぶれ補正連動を行うと判定された場合には、システム制御部４８が、手ぶれ補正連動処理を行う（ステップＳ４２）。

【0137】

ステップＳ４２の処理を行うか、またはステップＳ４１において連動しないと判定された場合には、システム制御部４８がシャッタモード連動メニューをチェックする（ステップＳ４３）。

【0138】

ここでシャッタモード連動を行うと判定された場合には、現在のシャッタモードをシステム制御部４８がチェックする（ステップＳ４４）。

【0139】

そして、現在、メカニカルシャッタが設定されていると判定された場合には、システム制御部４８が、シャッタモードを電子シャッタに変更する（ステップＳ４５）。

【0140】

ここに、シャッタモードには、電子シャッタモードとメカニカルシャッタモードとの２種類があるが、メカニカルシャッタはシャッタチャージに時間を要することから連写速度が電子シャッタよりも遅い。これは、総撮影時間が長くなることを意味し、光学的な手ぶれ補正を行わないで、手持ち撮影を行う場合には、深度合成の撮影画角が不必要に狭まることを意味する。さらに、メカニカルシャッタはシャッタ幕を走行させる構成であるために、シャッタショックが発生し、連写速度が速くなるほどシャッタショックが大きくなり、それにより、１／１００～１／２５０（秒）などの特定のシャッタ速度の撮影で解像力の低下を招くおそれがある。このために、シャッタモード連動を行う場合には、自動的に電子シャッタに設定するようにしている。ここに、電子シャッタは、電子ローリングシャッタと電子グローバルシャッタとの何れでも構わない。

【0141】

ただし、フラッシュ部４７により照明光を発光する場合には、現時点での同調速度は電子シャッタの１／６０～１／１００（秒）に対しメカニカルシャッタの方が、１／２５０～１／５００（秒）と速いために、メニューでメカニカルシャッタを選択することができるようにしている。なお、メカニカルシャッタは、先幕および後幕の両方で物理的なシャッタ幕を走行させるタイプと、先幕を電子シャッタにより行い、後幕を物理的なシャッタ幕を走行させるハイブリットタイプ（先幕電子シャッタ）とがある。

【0142】

このステップＳ４５の処理を行うか、ステップＳ４３においてシャッタモード連動を行わないと判定された場合、またはステップＳ４４において電子シャッタが設定されていると判定された場合には、システム制御部４８がシャッタスピード制限連動メニューをチェックする（ステップＳ４６）。

【0143】

ここで、シャッタスピード制限連動を行うと判定された場合には、撮像装置１が手持ち撮影の状態であるか否かを、手ぶれ検出部３８が備える角速度センサや加速度センサなどの出力に基づきシステム制御部４８が判定する（ステップＳ４７）。

【0144】

手持ち撮影の状態であると判定された場合には、シャッタスピードが所定のシャッタスピード以上となるように、低速側のシャッタスピードをシステム制御部４８が制限する（ステップＳ４８）。

【0145】

深度合成撮影の連写スピードが高速になるほど、手ぶれによる画角制限を低減することができる。特に手持ち状態のブレの影響を低減するために、複数枚の連写によるトータルの撮影時間を短縮することが重要である。連写スピードの上限は、シャッタの幕速に依存するために、メカニカルシャッタと電子ローリングシャッタとでは異なる。シャッタの幕速は、メカニカルシャッタでは１／１８０～１／５００（秒）が、電子ローリングシャッタでは１／３０～１／１２０（秒）が、それぞれ目安となり、一般にシャッタの同調速度とも言われる。シャッタ速度が同調速度以下になると、連写スピードが低下しトータルの撮影時間が長くなるので、連写時のシャッタ速度は同調速度を下限に設定する。

【0146】

ステップＳ４６においてシャッタスピード制限連動を行わないと判定された場合、ステップＳ４７において手持ち状態でなく三脚等に固定されていると判定された場合、またはステップＳ４８の処理を行った場合には、次に、システム制御部４８がフォーカスモードをチェックする（ステップＳ４９）。

【0147】

ここで、フォーカスモードが常時ＡＦまたはコンティニュアスＡＦ（Ｃ－ＡＦ）であると判定された場合には、システム制御部４８が、常時ＡＦを禁止し（ステップＳ５０）、コンティニュアスＡＦ（Ｃ－ＡＦ）を禁止して（ステップＳ５１）、フォーカスモードをシングルＡＦ（Ｓ－ＡＦ）、またはＳ－ＡＦとＭＦの併用（Ｓ－ＡＦ＋ＭＦ）に設定する（ステップＳ５２）。

【0148】

自動深度合成撮影の最終的な画角は、近点と遠点の実効焦点距離の差に依存する。このために、近点もしくは遠点のＡＦ位置が常に変動していると、ライブビューに表示される最終画角範囲が細かく変動して、安定したフレーミングを行うことができない。このような理由から、常時ＡＦやＣ－ＡＦなどの、所定時間間隔でＡＦを更新する可能性のあるフォーカスモードは、自動深度合成撮影の設定に連動して禁止することが好ましい。そこでここではフォーカスモードを、Ｓ－ＡＦ、またはＳ－ＡＦ＋ＭＦに制限している。

【0149】

なお、安定したフレーミングを行うことができるようにする方法は、フォーカスモードを制限する方法に限ったものではない。例えば、ＡＦスタートボタンを有するレンズ種類では、フォーカスモードを制限しないで、レリーズボタン４４ａの半押し（１ｓｔレリーズスイッチのオフからオンへの変化：１ｓｔレリーズオン）によるＡＦを禁止し、ＡＦスタートボタンを押下したしたときだけＡＦ動作するように構成してもよい。この場合には、ＡＦスタートボタンを離した時点でフォーカス位置がロックされるので、Ｃ－ＡＦモードであっても画角確認時に画角が細かく変動することはない。

【0150】

ステップＳ５２の処理を行うか、またはステップＳ４９において、フォーカスモードがシングルＡＦ（Ｓ－ＡＦ）、マニュアルフォーカス（ＭＦ）、またはＳ－ＡＦとＭＦの併用（Ｓ－ＡＦ＋ＭＦ）であると判定された場合には、システム制御部４８が連写モードをチェックする（ステップＳ５３）。

【0151】

ここで連写モードには、連写の１コマ目のＡＥを継続するＡＥロック連写と、連写コマ毎にＡＥを行うＡＥ追従連写と、の２種類があるが、ＡＥ追従連写はＡＥロック連写に比べて連写スピードが低下する。また、ＡＥ追従連写を行うと、画角変動に影響されて各コマの明るさが一定に揃わないために、後段の合成処理において明るさを揃える処理を行う必要があり、より多くの処理時間を要する。このために、撮影時間の短縮、および撮影後の処理時間の短縮を図る観点から、ＡＥロック連写の方が自動深度合成撮影の連写モードとして望ましい。

【0152】

そこで、ステップＳ５３においてＡＥ追従連写であると判定された場合には、システム制御部４８が連写モードをＡＥロック連写に変更する（ステップＳ５４）。

【0153】

ステップＳ５４の処理を行うか、またはステップＳ５３においてＡＥロック連写であると判定された場合には、システム制御部４８が、ハイレゾショットがオンであるか否かを判定する（ステップＳ５５）。

【0154】

ハイレゾショット（ハイレゾリューション撮影）モードは、画素ずらしして撮影を行うことを複数回繰り返し、複数枚の画素ずらし画像から１枚の高精細画像を生成する撮影モードである。深度合成撮影モードは、ピントをずらす毎に撮影を行うことを複数回繰り返す撮影モードであるために、ハイレゾショットモードと深度合成撮影モードとが同時に設定されてしまうと、撮影回数が掛け算で増加してトータル撮影時間が飛躍的に増大し、手持ち撮影において大きな手ぶれを招いてしまう。また、撮影枚数が多いために、撮影後の合成処理に要する時間も長くなり、ユーザの使い勝手が低下するだけでなく、バッファ容量の不足も招いてしまう（もしくは、バッファ容量が不足しないようにするためには、極めて大容量のバッファが必要になり、コスト増を招いてしまう）。

【0155】

そこで、ステップＳ５５において、ハイレゾショットがオンであると判定された場合には、システム制御部４８が、深度合成に最適なハイレゾショット連動処理を行う（ステップＳ５６）。

【0156】

ハイレゾショット連動処理の第１の例は、ハイレゾショットモードが、三脚ハイレゾショットであるか、手持ちハイレゾショットまたは自動切り替えであるかを判定して、手持ちハイレゾショットまたは自動切り替えである場合にはトータル撮影時間が長くなるのを抑制するために、画素ずらし回数を通常よりも少なくするものである。具体的には、画素ずらし回数を４回以下、例えば４回または２回となるように自動的に設定する。

【0157】

ハイレゾショット連動処理の第２の例は、第１の例と同様の判定を行い、ハイレゾショットモードが手持ちハイレゾショットまたは自動切り替えである場合には、ハイレゾショットモードを自動的に三脚ハイレゾショットに切り替えるものである。これにより、深度合成撮影がオンになっているときのハイレゾショットが、三脚ハイレゾショットに限定される。

【0158】

ハイレゾショット連動処理の第３の例は、深度合成撮影がオンになっているときには、ハイレゾショットを禁止するものである。

【0159】

ハイレゾショット連動処理の第４の例は、深度合成撮影がオンになっているときにハイレゾショットをオンにすると、深度合成撮影を禁止するものである。

【0160】

ステップＳ５６の処理を行うか、またはステップＳ５５においてハイレゾショットがオフであると判定された場合には、システム制御部４８が、デジタルテレコン（デジタルテレコンバータ）連動メニューをチェックする（ステップＳ５７）。

【0161】

ここで連動すると判定された場合には、システム制御部４８が、デジタルテレコンをオンに変更する（ステップＳ５８）。

【0162】

デジタルテレコンは、像倍率を大きくとることができ、さらにワーキングディスタンスも十分に取ることができるため、マクロ撮影に適しているので、マクロ撮影を行うユーザが好んで使用している。このため、マクロ撮影が主たる深度合成撮影においてもデジタルテレコンを連動させることが望ましい。

【0163】

続いて、システム制御部４８が、デジタルテレコン倍率（デジタルテレコンバータ倍率）を設定する（ステップＳ５９）。

【0164】

デジタルテレコン倍率は、適切な倍率に設定すると深度合成の画角制限枠を表示させる必要がなくなる。ただし、画質の顕著な劣化を防ぐためには、デジタルテレコン倍率はできるだけ小さい方が望ましく、例えば２．０倍以下に抑制するとよい。

【0165】

具体的には、デジタルテレコンの表示領域が、深度合成画角制限枠の内側になるようなデジタルテレコン倍率の内の、最も小さな倍率を選ぶとよく、具体的な数値例は１．１倍～１．４倍程度である。

【0166】

こうした適切な倍率が、デジタルテレコン倍率の系列値として予め定められている倍率（具体例を挙げれば、１．４倍、１．７倍、２．０倍、２．８倍などの系列値）の中にない場合には、系列値外の値を別途に採用するように構成してもよい。

【0167】

ステップＳ５９の処理を行うか、ステップＳ５７において連動しないと判定された場合には、システム制御部４８が、ＡＦ操作部材連動メニューをチェックする（ステップＳ６０）。

【0168】

ここで連動すると判定された場合には、システム制御部４８が、１ｓｔレリーズオンによるＡＦを禁止して（ステップＳ６１）、ＡＦボタンをシングルＡＦ（Ｓ－ＡＦ）に設定する（ステップＳ６２）。

【0169】

ステップＳ６２の処理を行うか、またはステップＳ６０において連動しないと判定された場合には、この処理からリターンする。

【0170】

図９は、図８のステップＳ４２における手ぶれ補正連動処理を示すフローチャートである。

【0171】

この処理に入るとシステム制御部４８は、手持ち撮影であるか否かをチェックする（ステップＳ７１）。なお、三脚状態などの非手持ち状態でも、過補正になることがない手ぶれ補正機構の場合には、ステップＳ７１の判定を省略しても構わない。

【0172】

ここで、手持ち撮影であると判定された場合には、システム制御部４８が、さらにカメラ本体３に装着されている撮影レンズ２が、ＩＳ（Image Stabilization）スイッチ付きの手ぶれ補正レンズであるか、それ以外（非手ぶれ補正レンズ、またはＩＳスイッチなしの手ぶれ補正レンズ）であるかをチェックする（ステップＳ７２）。

【0173】

なお、ＩＳスイッチ付きの手ぶれ補正レンズでは、レンズＩＳ優先となる。また、ＩＳスイッチなしの手ぶれ補正レンズの場合には、メニューにより、レンズＩＳ優先とするか、またはボディＩＳ優先とするかが設定される。さらに、非手ぶれ補正レンズでは、ボディＩＳ優先が自動的に設定される。

【0174】

ここでＩＳスイッチ付きの手ぶれ補正レンズであると判定された場合には、システム制御部４８が制御して、ボディＩＳの回転手ぶれ補正およびシフトぶれ補正をオンする（ステップＳ７３）。

【0175】

上述したように、手ぶれとしては、撮像装置１がヨー（Yaw）方向とピッチ（Pitch）方向とに傾くことによる２種類の角度ぶれと、撮像装置１が撮像部３１の撮像面の２軸（ｘ軸およびｙ軸）方向に平行シフトすることによる２種類のシフトぶれと、撮像装置１がロール（Roll）方向（撮影レンズ２の光軸周りの方向）に回転することによる回転ぶれと、の５種類がある。そして、ボディＩＳは、これらの５種類の手ぶれを何れも補正することができる。

【0176】

これに対して、レンズＩＳは、２種類の角度ぶれを補正することができるが、回転ぶれを補正することはできず、２種類のシフトぶれは補正することができる場合とできない場合があるが一般的には補正できない場合が多い。そこで、ステップＳ７３においては、回転手ぶれ補正およびシフトぶれ補正をボディＩＳ側で補完して行うように設定している。

【0177】

また、ステップＳ７２において、それ以外であると判定された場合には、システム制御部４８が、レンズ手ぶれ補正優先をオフに設定する（ステップＳ７４）。これにより、ボディＩＳ優先となる。ここで、深度合成撮影時のボディＩＳでは必ず回転手ぶれ補正およびシフトぶれ補正が行われる。

【0178】

さらに、ステップＳ７１において、手持ち撮影でないと判定された場合には、システム制御部４８が、手ぶれ補正モードをオフに設定する（ステップＳ７５）。ここでは手ぶれを原因とする画角制限は発生しない。

【0179】

ステップＳ７３またはステップＳ７４の処理を行ったら、システム制御部４８が、手ぶれ補正モードを全ての方向の手ぶれ補正を行うＳ－ＩＳ１またはＳ－ＩＳ＿ＡＵＴＯに設定する（ステップＳ７６）。

【0180】

ここに、手ぶれ補正モードには、撮像装置１の動きと手ぶれを検出して自動で最適な方向の手ぶれ補正を行うＳ－ＩＳ＿ＡＵＴＯと、全ての方向の手ぶれ補正を行うＳ－ＩＳ１と、撮像装置１の上下方向の手ぶれ補正のみを行うＳ－ＩＳ２と、撮像装置１の左右方向の手ぶれ補正のみを行うＳ－ＩＳ３と、手ぶれ補正を行わないＳ－ＩＳＯＦＦと、がある。なお、Ｓ－ＩＳは静止画手ぶれ補正（Still-Image Stabilizer）を意味し、動画手ぶれ補正はＭ－ＩＳ（Moving-Image Stabilizer）となる。

【0181】

続いて、システム制御部４８が、連写中手ぶれ補正モードを連写速度優先に設定する（ステップＳ７７）。

【0182】

ここに、連写中手ぶれ補正モードとしては、連写速度優先と手ぶれ補正優先の２つのモードを選択することができるようになっている。

【0183】

図１０は連写速度優先の手ぶれ補正の動作例と撮像画像の例を示すタイミングチャート、図１１は手ぶれ補正優先の手ぶれ補正の動作例と撮像画像の例を示すタイミングチャートである。

【0184】

なお、図１０および図１１は、深度合成撮影における連写中の撮像装置１のぶれを時間ｔに沿って模式的に表している。すなわち、実際には撮像装置１がぶれているのであるが、表現するのが困難なために、被写体が上下に変動しているものとしてそれを撮像素子が追いかけている様子を示している。

【0185】

図１０に示す連写速度優先の手ぶれ補正は、連写中の手ぶれ補正を連続的に行うことで、コマ間の画角変動を最小限に抑えるモードである。つまり、連写コマ毎に撮像素子の基準位置へのリセットを行わないために、何れかのコマを露光中にぶれ補正の可動範囲ＳＲ端に突き当たる可能性が手ぶれ補正優先よりも大きいが、ぶれ補正の可動範囲ＳＲを超える手ぶれが発生しない限り、連写コマ間の画角変動はない。こうして連写速度優先では、動体撮影で重要になる連写速度と被写体の捕らえ易さを両立している。

【0186】

一方、図１１に示す手ぶれ補正優先の手ぶれ補正は、１コマを撮影する毎に撮像素子を基準位置へリセットするモードである。従って、ぶれ補正の可動範囲ＳＲ端に突き当たる可能性は連写速度優先よりも低く、高い手ぶれ補正の性能を保証することができる。しかし、図１１の撮像画像で示されるように連写コマ間に画角変動が発生する。またさらに基準位置へリセットするのに時間を要するために、連写速度が連写速度優先の場合よりも遅くなり、その分トータルの撮影時間が伸びてしまう。

【0187】

通常、図１０および図１１に示すように、連写中の手ぶれは低周波振動であるので、変動量が小さい期間に連写が全て終了するように、できるだけ高速に連写が行われることが望ましい。このために、連写コマを合成することが前提となる深度合成撮影においては、ステップＳ７７において強制的に連写速度優先を設定している。

【0188】

ステップＳ７５またはステップＳ７７の処理を行ったら、この処理からリターンする。

【0189】

図１２は、図６のステップＳ５における深度合成撮影用ライブビュー表示処理の第１の例を示すフローチャートである。

【0190】

この処理に入るとシステム制御部４８は、表示更新フラグをチェックする（ステップＳ８１）。

【0191】

ここで、表示更新フラグが「１」（オン）であると判定された場合には、システム制御部４８の制御に基づいて、深度合成画角範囲の特定処理が行われる（ステップＳ８２）。

【0192】

次に、システム制御部４８の制御に基づいて、深度合成画角範囲の表示更新処理が行われる（ステップＳ８３）。

【0193】

その後、システム制御部４８が、表示更新フラグを「０」（オフ）にリセットする（ステップＳ８４）。

【0194】

ステップＳ８４の処理を行うか、またはステップＳ８１において表示更新フラグが「０」であると判定された場合には、この処理からリターンする。

【0195】

図１３は、図６のステップＳ５における深度合成撮影用ライブビュー表示処理の第２の例を示すフローチャートである。

【0196】

この処理に入るとシステム制御部４８は、深度合成撮影における遠点が確定しているか否かを判定する（ステップＳ９１）。

【0197】

ここで遠点が確定していると判定された場合には、システム制御部４８が、現在のピント位置（フォーカス位置）が遠点の近傍であるか否かを判定する（ステップＳ９２）。

【0198】

なお、遠点近傍とは、遠点を含み、実効焦点距離が遠点とほぼ同等のフォーカス位置のことを指す。撮影待機時のライブビューのフォーカス位置が遠点近傍であれば、ライブビューが深度合成撮影における最も狭い画角で行われていることになるために、実効焦点距離による画角制限範囲をライブビューに表示する必要がなくなる。

【0199】

ステップＳ９２において、遠点の近傍でないと判定された場合には、システム制御部４８の制御に基づいて、レンズ制御部２６がフォーカス位置を遠点または遠点の近傍に移動する（ステップＳ９３）。

【0200】

すなわち、レンズ制御部２６は、フォーカス位置設定部（フォーカス位置設定回路）として機能して、深度合成撮影の本撮影を待機する状態において、深度合成用フォーカス位置決定部（深度合成用フォーカス位置決定回路）として機能するシステム制御部４８により決定された遠点のフォーカス位置付近にライブビューのフォーカス位置を設定する。

【0201】

これにより上述したように、実効焦点距離による画角制限範囲をライブビューに表示する必要がなくなる。

【0202】

そして、システム制御部４８の制御に基づいて、深度合成画角範囲の特定処理が行われ（ステップＳ９４）、深度合成画角範囲の表示更新処理が行われる（ステップＳ９５）。

【0203】

ステップＳ９５の処理を行うか、ステップＳ９１において遠点が確定していないと判定された場合、またはステップＳ９２において現在のフォーカス位置が遠点の近傍であると判定された場合には、この処理からリターンする。

【0204】

なお、上述した図１２の処理と図１３の処理における動作は、メニュー設定により選択することができるようになっている。

【0205】

図１４は、図１２のステップＳ８２および図１３のステップＳ９４における深度合成画角範囲の特定処理の第１の例を示すフローチャートである。

【0206】

この第１の例は、現時点のフォーカス位置（基準点）のライブビューの実効焦点距離と、深度合成撮影における遠点の実効焦点距離とが確定したときに、深度合成画角範囲を計算する例となっている。ここに、深度合成画角範囲は、撮影レンズ２の種類、現時点のフォーカス位置における実効焦点距離、ピント移動方向、ユーザが設定する深度合成撮影の近点から遠点の範囲条件に応じて変化する。

【0207】

この処理に入るとシステム制御部４８は、深度合成撮影における遠点のピント位置（フォーカス位置）を取得し（ステップＳ１０１）、遠点のフォーカス位置の実効焦点距離ｆfarを取得する（ステップＳ１０２）。

【0208】

さらにシステム制御部４８は、現時点のフォーカス位置の実効焦点距離ｆbaseを取得する（ステップＳ１０３）。

【0209】

そしてシステム制御部４８は、遠点のフォーカス位置の実効焦点距離ｆfarと、現時点のフォーカス位置の実効焦点距離ｆbaseとの実効焦点距離比率Ｒを、
Ｒ＝（ｆbase／ｆfar）×１００
により演算する（ステップＳ１０４）。

【0210】

続いてシステム制御部４８は、手ぶれ補正が有効であるか否かを判定する（ステップＳ１０５）。

【0211】

ここで、ユーザにより深度合成撮影に手ぶれ補正が連動しないように設定され、さらに手持ち撮影であるにも関わらず手ぶれ補正がオフに設定されているような場合には、手ぶれ補正が有効でないと判定され、システム制御部４８が、実効焦点距離比率Ｒに、手ぶれ補正分に相当する比率ΔＲを考慮した補正を行い、Ｒ－ΔＲを補正後の実効焦点距離比率Ｒとする（ステップＳ１０６）。

【0212】

具体的には、無限遠点での画像に対して、画像の縦方向および横方向共に、経験値として１４％～２０％程度の値となるようにΔＲを設定するとよい。

【0213】

ステップＳ１０６の処理を行うか、またはステップＳ１０５において手ぶれ補正が有効であると判定された場合には、この処理からリターンする。

【0214】

なお、ここでは手ぶれ補正がオン（有効）になっている場合にΔＲによる補正を行わなかったが、手ぶれ補正の補正性能を勘案し、必要に応じてΔＲを数％（例えば２～３％）程度に設定し補正を行うようにしてもよい。

【0215】

こうして、図１４の処理を行った場合には、図１２のステップＳ８３または図１３のステップＳ９５の処理において、深度合成画角範囲表示部（深度合成画角範囲ディスプレイ）である表示部４３が、撮影レンズ２の情報と、深度合成用フォーカス位置決定部（深度合成用フォーカス位置決定回路）として機能するシステム制御部４８の出力内容と、撮影距離との内の少なくとも１つの変更に応じて、ライブビューを表示するときの実効焦点距離と、遠点のフォーカス位置にしたときの実効焦点距離とに基づき深度合成画像の画角範囲の表示を更新する。

【0216】

図１５は、図１２のステップＳ８２および図１３のステップＳ９４における深度合成画角範囲の特定処理の第２の例を示すフローチャートである。

【0217】

この第２の例は、カメラ本体３に装着された撮影レンズ２における、ライブビュー画像と深度合成画像との画角が最も大きく異なる場合の深度合成画角範囲を計算して、計算した深度合成画角範囲を固定的に表示する例となっている。この処理を行うと、表示される深度合成画角範囲が必要以上に狭くなる場合があるが、表示範囲は撮影レンズ２の種類にのみ依存して変化し、ユーザによる設定条件（現時点のフォーカス位置、ピント移動方向、近点および遠点の位置など）に依存してめまぐるしく変化することがないために、理解し易く使い易い利便性をユーザに与えることができる例である。

【0218】

この処理に入るとシステム制御部４８は、無限遠（∞）点のピント位置（フォーカス位置）の実効焦点距離ｆ∞を取得する（ステップＳ１１１）。

【0219】

さらにシステム制御部４８は、最至近点のフォーカス位置の実効焦点距離ｆnearestを取得する（ステップＳ１１２）。

【0220】

そしてシステム制御部４８は、無限遠点のフォーカス位置の実効焦点距離ｆ∞と、最至近点のフォーカス位置の実効焦点距離ｆnearestとの実効焦点距離比率Ｒを、
Ｒ＝（ｆnearest／ｆ∞）×１００
により演算する（ステップＳ１１３）。

【0221】

従って、システム制御部４８は、最大画角変動量決定部（最大画角変動量決定回路）として機能して、撮影レンズ２の情報に基づき、撮影レンズ２のフォーカス位置の移動可能範囲内における最大画角変動量（実効焦点距離の最大値および最小値から求められる最大画角変動量）を決定する。

【0222】

続いてシステム制御部４８は、現時点のフォーカス位置の実効焦点距離ｆbaseを取得する（ステップＳ１１４）。なお、ここで実効焦点距離ｆbaseを取得したのは、深度合成画像の最終画角を後段で決定する際に使用するからである。ここに、この図１５の処理において最終的に決定される実効焦点距離比率Ｒに実効焦点距離ｆbaseを乗算した値（ｆbase×Ｒ）に対応する画角が、ライブビューに表示される画角制限枠の画角となる。従って、現時点のフォーカス位置が最至近～無限遠（∞）のどの位置にあっても、ライブビューに表示される画角制限枠は一定の実効焦点距離比率Ｒの枠表示となる。

【0223】

その後にシステム制御部４８は、手ぶれ補正が有効であるか否かを判定する（ステップＳ１１５）。

【0224】

ここで、手ぶれ補正が無効であると判定された場合には、システム制御部４８が、実効焦点距離比率Ｒに、手ぶれ補正分に相当する比率ΔＲを考慮した補正を行い、Ｒ－ΔＲを補正後の実効焦点距離比率Ｒとする（ステップＳ１１６）。

【0225】

ステップＳ１１６の処理を行うか、またはステップＳ１１５において手ぶれ補正が有効であると判定された場合には、この処理からリターンする。

【0226】

なお、比率ΔＲの経験値や手ぶれ補正がオン（有効）になっている場合にΔＲによる補正を行ってもよいことは、上述と同様である。

【0227】

こうして、図１５の処理を行った場合には、図１２のステップＳ８３または図１３のステップＳ９５の処理において、深度合成画角範囲表示部（深度合成画角範囲ディスプレイ）である表示部４３が、最大画角変動量に基づいた深度合成画像の画角範囲をライブビュー上に表示することになる。

【0228】

図１６は、図１２のステップＳ８２および図１３のステップＳ９４における深度合成画角範囲の特定処理の第３の例を示すフローチャートである。

【0229】

この第３の例は、カメラ本体３に装着可能な、深度合成対象となる複数の撮影レンズ２（深度合成対象レンズ群）における、ライブビュー画像と深度合成画像との画角が最も大きく異なる場合の深度合成画角範囲を固定的に表示する例となっている。この処理を行うと、表示される深度合成画角範囲が図１５の例よりもさらに狭くなる場合があるが、表示範囲は撮影レンズ２の種類に依存して変化することがなく、ユーザによる設定条件（現時点のフォーカス位置、ピント移動方向、近点および遠点の位置など）に依存して変化することもないために、さらに理解し易く使い易い利便性をユーザに与えることができる例である。

【0230】

この処理に入るとシステム制御部４８は、深度合成対象レンズ群に含まれる各撮影レンズ２に対する実効焦点距離比率Ｒ（この実効焦点距離比率Ｒは、図１５の処理で算出される値である）の中の、最小値をＲに決定する（ステップＳ１２１）。

【0231】

こうして、最大画角変動量決定部（最大画角変動量決定回路）として機能するシステム制御部４８は、深度合成撮影が可能であると判断される複数の撮影レンズ２でなるレンズ群に対して、レンズ群に含まれる撮影レンズ２の最大画角変動量の内の、最も変動量が大きいレンズ群最大画角変動量（ステップＳ１２１で決定した実効焦点距離比率Ｒの最小値に対応する）を決定する。

【0232】

次にシステム制御部４８は、手ぶれ補正が有効であるか否かを判定する（ステップＳ１２２）。

【0233】

ここで、手ぶれ補正が無効であると判定された場合には、システム制御部４８が、実効焦点距離比率Ｒに、手ぶれ補正分に相当する比率ΔＲを考慮した補正を行い、Ｒ－ΔＲを補正後の実効焦点距離比率Ｒとする（ステップＳ１２３）。

【0234】

ステップＳ１２３の処理を行うか、またはステップＳ１２２において手ぶれ補正が有効であると判定された場合には、この処理からリターンする。

【0235】

なお、比率ΔＲの経験値や手ぶれ補正がオン（有効）になっている場合にΔＲによる補正を行ってもよいことは、上述と同様である。

【0236】

こうして、図１６の処理を行った場合には、図１２のステップＳ８３または図１３のステップＳ９５の処理において、深度合成画角範囲表示部（深度合成画角範囲ディスプレイ）である表示部４３が、レンズ群に含まれる何れの撮影レンズ２に対しても、レンズ群最大画角変動量に基づいた深度合成画像の画角範囲をライブビュー上に表示することになる。

【0237】

なお、上述した図１４～図１６の処理は、例えばメニュー設定により選択することができるようになっている。

【0238】

図１７は、図１２のステップＳ８３および図１３のステップＳ９５における深度合成画角範囲の表示更新処理を示すフローチャートである。

【0239】

この処理に入るとシステム制御部４８は、デジタルテレコン（デジタルテレコンバータ）がオンに設定されているか否かを判定する（ステップＳ１３１）。

【0240】

ここで、デジタルテレコンが設定されていないと判定された場合には、システム制御部４８が、実効焦点距離比率Ｒが９８％未満であるか否かを判定する（ステップＳ１３２）。

【0241】

そして、９８％未満であると判定された場合には、システム制御部４８が制御して、実効焦点距離比率Ｒに基づきライブビュー画像に画角制限枠を表示する（ステップＳ１３３）。

【0242】

一方、ステップＳ１３２において、実効焦点距離比率Ｒが９８％以上であると判定された場合には、画角制限枠の表示を行わない。

【0243】

ここでは、１００％との誤差程度であるとみなせるから、あえて画角制限枠表示を行う必要がないと判定する基準として９８％を例に挙げたが、これに限るものではなく、実用上は９７～１００％の範囲内を目安とすればよい。

【0244】

なお、９８％以上であると判定される場合の例としては、撮影レンズ２が全群繰出し方式のレンズであり実効焦点距離に変化がない場合、被写体と撮像装置１とのワーキングディスタンスが十分であり公称焦点距離からの実効焦点距離の変化が近点において微小である場合、自動深度合成撮影を待機するライブビューが撮影前から連写撮影中を通して常に遠点である場合、などが挙げられる。

【0245】

また、画角制限枠の表示例としては、画角制限枠を示す四角の罫線（罫線の色は、黒、赤、緑等の適宜の色を用いて構わない）を描画する罫線表示、画角制限枠の外側の画像を半透明とする半透明表示、画角制限枠の外側の画像を不透明とする不透明表示、などが挙げられるが、これらに限定されるものではない。

【0246】

なお、記録画像が画角制限枠内の画像のみである場合には罫線表示、半透明表示、不透明表示の何れを採用してもよいが、記録画像として表示部４３全体に表示される画角の画像が含まれる場合には罫線表示または半透明表示を採用する方が望ましいことは上述した通りである。

【0247】

一方、ステップＳ１３１において、デジタルテレコンが設定されていると判定された場合には、システム制御部４８の制御に基づき、テジタルテレコン表示処理が行われる（ステップＳ１３４）。ここに、テジタルテレコン表示には、テジタルテレコン倍率に応じた画像部分を拡大して表示する拡大ライブビュー表示と、拡大することなくライブビュー上にテジタルテレコン倍率に応じた画像範囲を示す制限枠を表示する制限枠表示とがあり、メニーにより何れの表示を行うかを選択することができるようになっている。

【0248】

ステップＳ１３３またはステップＳ１３４の処理を行った場合、もしくはステップＳ１３２において実効焦点距離比率Ｒが９８％以上であると判定された場合には、この処理からリターンする。

【0249】

なお、上述では深度合成画像の画角範囲の表示として画角制限枠を挙げたが、これに限らず、画角制限枠内の画像を拡大して表示部４３に表示することで、深度合成画像の画角範囲の表示を行うようにしても構わない。画像記録モードとして、ＪＰＥＧが設定されている場合にこの拡大表示は好ましいが、ＲＡＷ＋ＪＰＥＧが設定されている場合には上述したように、罫線表示または半透明表示を用いるほうが好ましい。

【0250】

また、撮像装置１において、画像の横方向と縦方向との比を示すアスペクト比（および、アスペクト比毎の画素数など）をメニュー等のアスペクト比設定部により設定することも可能である。ここに、設定可能なアスペクト比の例としては、４：３、３：２、１６：９、１：１、３：４などが挙げられる。また、撮像部３１の撮像素子のアスペクト比が例えば４：３であるものとする。このときには、４：３以外のアスペクト比が設定された場合には、深度合成の画角制限範囲内において、設定されたアスペクト比に応じた画角制限枠を表示することになる。

【0251】

図１８は、図１７のステップＳ１３４におけるデジタルテレコン表示処理を示すフローチャートである。

【0252】

この処理に入るとシステム制御部４８は、設定されているデジタルテレコン倍率ＤＴＭに基づいて、テレコン比率（テレコンバータ比率）ＴＲを、
ＴＲ＝１００／ＤＴＭ
により算出する（ステップＳ１４１）。

【0253】

次に、システム制御部４８は、デジタルテレコン表示モードが、拡大ライブビュー表示モードに設定されているか、または制限枠表示モードに設定されているかを判定する（ステップＳ１４２）。

【0254】

ここで、拡大ライブビュー表示モードに設定されていると判定された場合に、システム制御部４８は、テレコン比率ＴＲが実効焦点距離比率Ｒ以下であるか否かを判定する（ステップＳ１４３）。

【0255】

そして、テレコン比率ＴＲが実効焦点距離比率Ｒよりも大きいと判定した場合には、システム制御部４８が、Ｒ／ＴＲを新たな実効焦点距離比率Ｒとして設定する（ステップＳ１４４）。

【0256】

一方、ステップＳ１４２において、制限枠表示モードに設定されていると判定された場合に、システム制御部４８は、テレコン比率ＴＲが実効焦点距離比率Ｒ以下であるか否かを判定する（ステップＳ１４５）。

【0257】

そして、テレコン比率ＴＲが実効焦点距離比率Ｒ以下であると判定した場合には、システム制御部４８が、ＴＲを新たな実効焦点距離比率Ｒとして設定する（ステップＳ１４６）。

【0258】

ステップＳ１４４またはステップＳ１４６の処理を行うか、ステップＳ１４３においてテレコン比率ＴＲが実効焦点距離比率Ｒ以下であると判定された場合、もしくはステップＳ１４５においてテレコン比率ＴＲが実効焦点距離比率Ｒよりも大きいと判定された場合には、システム制御部４８の制御に基づいて、表示部４３が、実効焦点距離比率Ｒに基づきライブビューの画角制限枠を表示する（ステップＳ１４７）。

【0259】

ただし、実効焦点距離の変化に起因する画角制限枠が実質的に表示されるのは、ステップＳ１４３またはステップＳ１４５においてテレコン比率ＴＲが実効焦点距離比率Ｒよりも大きいと判定された場合である。そして、ステップＳ１４６を実行した場合に表示されるのは、テジタルテレコン倍率に応じた画像範囲を示す制限枠となる。一方、ステップＳ１４３においてテレコン比率ＴＲが実効焦点距離比率Ｒ以下であると判定された場合には、拡大ライブビュー表示が行われるために、画角制限枠は表示されない。

【0260】

このように深度合成画角範囲表示部（深度合成画角範囲ディスプレイ）である表示部４３は、深度合成画像の画角範囲と、デジタルテレコンバータ倍率による画角範囲との内の、小さい方の画角範囲をライブビュー上に表示する。

【0261】

ステップＳ１４７の処理を行ったら、この処理からリターンする。

【0262】

図１９は、図６のステップＳ１３における深度合成撮影用静止画撮影の処理を示すフローチャートである。

【0263】

この処理に入ると、システム制御部４８の制御に基づいて連写中手ぶれ補正処理が行われる（ステップＳ１５１）。

【0264】

そしてシステム制御部４８が、深度合成撮影における近点および遠点が確定しているか否かを判定する（ステップＳ１５２）。

【0265】

ここで近点と遠点との少なくとも一方が確定していないと判定された場合には、システム制御部４８の制御に基づいて警告表示が行われる（ステップＳ１５３）。

【0266】

一方、ステップＳ１５２において近点および遠点が確定していると判定された場合には、システム制御部４８が、露出ディレー時間をセットする（ステップＳ１５４）。ここに、露出ディレー時間は、レリーズボタン４４ａを押下したときに撮像装置１のぶれが収まるのを待つ時間である。

【0267】

そしてシステム制御部４８は、露出ディレー時間が経過するのを待機する（ステップＳ１５５）。

【0268】

露出ディレー時間が経過したら、システム制御部４８の制御に基づいて、１コマ撮影処理が行われる（ステップＳ１５６）。

【0269】

この１コマ撮影処理においては、フラッシュ発光の必要性の有無に応じてフラッシュ撮影または非フラッシュ撮影を行い、撮影により得られた画像データおよび画角制限範囲情報をメモリ３３内のバッファ領域に格納する。なお、フラッシュの充電に必要なチャージ待ち時間は、自動深度合成撮影に係るメニュー設定で指定することができるようになっている。

【0270】

ここで、もしハイレゾショットがオンに設定されている場合には、画素ずらしを行って、画素ずらしの１サイクルが終了するまでは、上述したフラッシュ撮影または非フラッシュ撮影を繰り返して行う。

【0271】

こうして、ハイレゾショットがオフである場合には１コマの画像が取得されたら、またハイレゾショットがオンである場合には１サイクル分の複数コマの画像が取得されたら、この１コマ撮影を終了する。

【0272】

そして、システム制御部４８の制御に基づき、レンズ制御部２６によりピント移動処理が行われる（ステップＳ１５７）。

【0273】

また、システム制御部４８の制御に基づき、連写中の各コマを撮影する合間にライブビュー画像を取得して表示する処理が行われる（ステップＳ１５８）。ただし、ライブビュー表示レートと連写速度とが同じか、もしくは連写速度の方が速い場合には、連写して取得した画像をライブビューに用いても構わない。

【0274】

連写間ライブビュー表示においては、上述したようにピント位置（フォーカス位置）が移動するために、フォーカス位置に応じて実効焦点距離も変化し、ライブビュー画像の画角が変化する。この画角変化に対応するために、ライブビュー画像を取得したときの実効焦点距離に応じて、画角制限枠を拡大または縮小して表示する。さらに、連写中の手ぶれを考慮して、画角制限枠をシフトさせる。

【0275】

続いて、遠点および近点の撮影が終了したか否か（つまり、深度合成撮影において取得すべき複数の静止画像が全て取得済みであるか否か）をシステム制御部４８が判定する（ステップＳ１５９）。

【0276】

ここで、遠点および近点の撮影が終了していないと判定された場合には、上述したステップＳ１５６へ戻って、次の静止画像を撮影する。

【0277】

また、ステップＳ１５９において、遠点および近点の撮影が終了したと判定された場合には、システム制御部４８の制御に基づき、レンズ制御部２６が、深度合成撮影を開始した時点のフォーカス位置（基準点）にフォーカス位置を移動する（ステップＳ１６０）。

【0278】

ステップＳ１５３またはステップＳ１６０の処理を行ったら、この処理からリターンする。

【0279】

図２０は、図１９のステップＳ１５１における連写中手ぶれ補正処理を示すフローチャートである。

【0280】

この処理に入るとシステム制御部４８は、カメラ本体３に装着されている撮影レンズ２が、非手ぶれ補正レンズと、通常の手ぶれ補正レンズと、ＢＬＣ手ぶれ補正レンズと、の何れであるかを判定する（ステップＳ１７１）。

【0281】

ここにＢＬＣ手ぶれ補正レンズは、ボディ内手ぶれ補正とレンズ手ぶれ補正の協調動作が可能なレンズを指す。

【0282】

ステップＳ１７１において、撮影レンズ２が、非手ぶれ補正レンズであると判定された場合には、システム制御部４８の制御に基づき、ボディＩＳ（Ｂ－ＩＳ）の動作が行われる（ステップＳ１７２）。

【0283】

また、ステップＳ１７１において、撮影レンズ２がＢＬＣ手ぶれ補正レンズであると判定された場合には、システム制御部４８の制御に基づき、ＢＬＣ－ＩＳ（ボディ内手ぶれ補正とレンズ手ぶれ補正の協調）の動作が行われる（ステップＳ１７３）。

【0284】

さらに、ステップＳ１７１において、撮影レンズ２が通常の手ぶれ補正レンズであると判定された場合には、システム制御部４８が、ＩＳスイッチ付きの撮影レンズ２であるか否かを判定する（ステップＳ１７４）。

【0285】

ここで、ＩＳスイッチなしの撮影レンズ２であると判定された場合には、システム制御部４８が、レンズＩＳ優先がオンになっているか否かを判定する（ステップＳ１７５）。

【0286】

レンズＩＳ優先がオフになっていると判定された場合には、ステップＳ１７２へ行ってボディＩＳ（Ｂ－ＩＳ）の動作を行う。

【0287】

ステップＳ１７４においてＩＳスイッチ付きの撮影レンズ２であると判定された場合、またはステップＳ１７５においてレンズＩＳ優先がオンになっていると判定された場合には、システム制御部４８の制御に基づき、ボディＩＳ（Ｂ－ＩＳ）による強制回転ぶれ補正が行われ（ステップＳ１７６）、さらにボディＩＳ（Ｂ－ＩＳ）による強制シフトぶれ補正が行われる（ステップＳ１７７）。

【0288】

このようにレンズＩＳ優先が設定されている場合に、レンズＩＳでは補正することができないかまたは補正が不十分となる回転ぶれ補正およびシフトぶれ補正については、ボディＩＳで強制的に行うようにしている。

【0289】

マクロ領域で使用されることが多い深度合成撮影では、シフトぶれ補正は重要である。また、後段の合成処理を行う前に回転ぶれ補正を画像処理によって行うと、画質が低下し、特に直線部分の画質が低下する。さらに画像処理による回転ぶれ補正では、画質の低下だけでなく、画角が極度に狭くなってしまう。従って、回転ぶれは、できる限り撮影時に物理的および／または光学的に補正することが望ましい。このような理由からボディＩＳによる強制的な回転ぶれ補正およびシフトぶれ補正を行っている。

【0290】

次に、本露光手ぶれ補正が第１モードに設定されているか、または第２モードに設定されているかをシステム制御部４８が判定する（ステップＳ１７８）。

【0291】

ここで、第１モードに設定されていると判定された場合には、システム制御部４８の制御に基づき、レンズＩＳが強制的に停止され（ステップＳ１７９）、ボディＩＳによる強制手ぶれ補正が行われる（ステップＳ１８０）。

【0292】

また、第２モードに設定されていると判定された場合には、ステップＳ１７９およびステップＳ１８０の処理は行わないために、レンズＩＳによる手ぶれ補正が行われることになる。

【0293】

従って、第１モードの場合に、撮影待機中はレンズＩＳ、本露光中はボディＩＳとなり、制御が簡素化される。さらに、撮影待機中に手ぶれ補正の可動範囲を使用するのはレンズＩＳのみとなり、本露光中のボディＩＳの手ぶれ補正の可動範囲をフルに確保することができ、手ぶれ補正の性能を高めることができる利点がある。

【0294】

こうして、ステップＳ１７２、ステップＳ１７３、またはステップＳ１８０の処理を行うか、もしくはステップＳ１７８において第２モードに設定されていると判定された場合には、この処理からリターンする。

【0295】

図２１は、図１９のステップＳ１５７におけるピント移動処理を示すフローチャートである。

【0296】

この処理に入るとシステム制御部４８は、基準点を遠点近傍（ここに遠点近傍は、遠点を含む）に移動した（図１３のステップＳ９２、ステップＳ９３等参照）か否かを判定する（ステップＳ１９１）。

【0297】

ここで、遠点近傍に移動したと判定された場合には、システム制御部４８が、撮影時ピント移動方向フラグを１に変更する（ステップＳ１９２）。

【0298】

ここに、撮影時ピント移動方向フラグは、ピント移動方向が、近点→遠点の方向である場合に「０」となり、遠点→近点の方向である場合に「１」となる。なお、ピント移動方向を途中で変えて撮影を行うと、フォーカスレンズの当て付き方向が変更されることに伴ってギャップやバックラッシが発生し、制御と実動作とにずれが生じてしまう。そこで、こうしたずれが生じないようにするために、ピント移動方向を一方向として撮影を行うようにしている。ただし、基準点の画像は、ユーザが実際にライブビューでフレーミングした画像であるために、正確な画角範囲を特定するべく深度合成撮影開始時にまず撮影しておくことが好ましい。

【0299】

通常、ユーザの感覚として、深度合成撮影の開始点として近距離にピントをわせようとする。また、深度合成撮影時のピント移動方向は、近点→遠点である方が遠点→近点であるよりも違和感が小さい。さらに、ピント移動方向を遠点→近点とすると、特に１点タッチで遠点のみを指定する場合に、ピントの最至近限界に当たるかどうかを撮影前に確認することができず、最至近限界に当たって望みの結果が得られないことも考えられる。

【0300】

このような点を考慮して、近点→遠点をピント移動方向の標準とし、特にユーザが基準点を遠点に移動した場合に、遠点→近点をピント移動方向に変更するようにしている。上述したように遠点は、深度合成撮影において、実効焦点距離が最も長くなる（つまり、画角が最も狭くなる）点である。従ってこの場合、深度合成撮影を開始するためにレリーズボタン４４ａを押下した時点でユーザが観察しているライブビュー画像は、上述したように、深度合成の結果得られる画像の画角と基本的に一致するために、深度合成に係る画角制限枠を表示する必要がなくなる。

【0301】

ステップＳ１９２の処理を行うか、またはステップＳ１９１において遠点近傍に移動していないと判定された場合に、システム制御部４８は、戻り枚数が０であるか否かを判定する（ステップＳ１９３）。ここに、戻り枚数は、基準点から遠点または近点へピント位置（フォーカス位置）を移動して取得する画像の枚数を示している。この戻り枚数は、メニューにより設定可能となっており、ここではメニューの設定値に基づいて判定を行う。

【0302】

ステップＳ１９３において、戻り枚数が０でないと判定された場合に、システム制御部４８は、ピント位置戻り処理が既に行われたか否かを判定する（ステップＳ１９４）。

【0303】

ここで、ピント位置戻り処理がまだ行われていないと判定された場合には、システム制御部４８の制御に基づいて、レンズ制御部２６がピント位置戻り処理を行う（ステップＳ１９５）。

【0304】

このピント位置戻り処理により、撮影時ピント移動方向フラグが１である場合には、ピント位置が、戻り枚数分だけ基準点から遠点に移動される。また、撮影時ピント移動方向フラグが０である場合には、ピント位置が、戻り枚数分だけ基準点から近点に移動される。なお、撮影待機時に基準点を移動した場合は、移動量に合わせてメニューで設定された戻り枚数を調整してから、このピント位置戻り処理を行う。

【0305】

ステップＳ１９５の処理を行うか、ステップＳ１９３において戻り枚数が０であると判定されるか、またはステップＳ１９４において戻り処理が既に行われたと判定された場合には、システム制御部４８が、撮影時ピント移動方向フラグをチェックする（ステップＳ１９６）。

【0306】

ここで、撮影時ピント移動方向フラグが０であると判定された場合には、システム制御部４８の制御に基づいて、遠点側に所定量（フォーカスステップ分）だけピントが移動される（ステップＳ１９７）。この処理により、ピント位置は近点側から遠点側へ向かって次第に移動していく。

【0307】

また、ステップＳ１９６において、撮影時ピント移動方向フラグが１であると判定された場合には、システム制御部４８の制御に基づいて、近点側に所定量（フォーカスステップ分）だけピントが移動される（ステップＳ１９８）。この処理により、ピント位置は遠点側から近点側へ向かって次第に移動していく。

【0308】

ステップＳ１９７またはステップＳ１９８の処理を行ったら、この処理からリターンする。

【0309】

図２２は、図６のステップＳ１４における深度合成処理を示すフローチャートである。

【0310】

この処理に入るとシステム制御部４８は、メモリ３３のバッファ領域から基準点の画像データを読み出す（ステップＳ２０１）。

【0311】

その後、合成画角調整部（合成画角調整回路）として機能する画像処理部３４は、深度合成撮影の本撮影を行う前にライブビュー上に表示した深度合成画像の画角範囲に基づいて、複数の撮像データの画角をそれぞれ調整する。

【0312】

すなわち、まずシステム制御部４８が、２ｎｄレリーズスイッチがオンになったときに表示部４３に表示されていたライブビュー画像の画角制限範囲Ａを特定する（ステップＳ２０２）。

【0313】

次に、システム制御部４８の制御に基づき画像処理部３４は、基準点の画像データから、画角制限範囲Ａに対応する画像データ範囲を切り出して画像データＢとする（ステップＳ２０３）。

【0314】

さらに、システム制御部４８の制御に基づき画像処理部３４は、画像データＢを拡大または縮小して、画素数を規格化する（ステップＳ２０４）。

【0315】

そして、システム制御部４８は、メモリ３３のバッファ領域から次の画像データを読み出す（ステップＳ２０５）。

【0316】

加えて、システム制御部４８の制御に基づき画像処理部３４は、ステップＳ２０５において読み出した画像データから、上述した画像データＢに対応する画像データ範囲を切り出して画像データＣとする（ステップＳ２０６）。

【0317】

続いて、システム制御部４８の制御に基づき画像処理部３４は、画像データＣを拡大または縮小して、画素数を規格化する（ステップＳ２０７）。

【0318】

こうして、画像処理部３４は、合成画角調整部（合成画角調整回路）として機能して、複数の撮像データのそれぞれを撮像したときの実効焦点距離に基づいて、複数の撮像データの画角をそれぞれ調整する。

【0319】

また、システム制御部４８の制御に基づき画像処理部３４は、規格化した画像データＢのコントラスト値と、規格化した画像データＣのコントラスト値と、をそれぞれ算出して比較し、画像データＢのコントラスト値よりも高いコントラスト値である画像データＣの画像領域により、対応する画像データＢの画像領域を入れ替える（ステップＳ２０８）。なお、ここでは、ピントが合っている程度を示す値の代表としてコントラスト値を用いたが、これは１つの実施例に過ぎず、コントラスト値に限定されるものではない。他の実施例としては、例えば画像の高周波成分を検出して、検出した高周波成分をピントが合っている程度を示す値として使用してもよい。

【0320】

このように、画像処理部３４は、深度合成部（深度合成回路）として機能して、画角調整された複数の撮像データを深度合成して深度合成画像を生成する。

【0321】

その後、システム制御部４８は、メモリ３３のバッファ領域に格納された深度合成撮影により得られた複数の画像データを全て読み出したか否かを判定する（ステップＳ２０９）。

【0322】

ここで、まだ全ての画像データを読み出していないと判定された場合には、上述したステップＳ２０５へ行って次の画像データを読み出し、上述したような処理を行う。

【0323】

一方、ステップＳ２０９において、全ての画像データを読み出したと判定された場合には、この処理からリターンする。

【0324】

このような実施形態１によれば、撮影レンズ２の情報と、深度合成用フォーカス位置決定部（深度合成用フォーカス位置決定回路）として機能するシステム制御部４８の出力内容と、撮影距離との内の少なくとも１つの変更に応じて、ライブビューを表示するときの実効焦点距離と、遠点のフォーカス位置にしたときの実効焦点距離とに基づき深度合成画像の画角範囲をライブビュー上に更新して表示するようにしたために、深度合成撮影で生成される深度合成画像の画角を、撮影を行う前に、可能な限り広くかつ一意的に確認することができる。

【0325】

これにより、深度合成撮影前にライブビューで観察した画角と、生成された深度合成画像の画角とに、違和感を覚えるほどの差異が生じることがなくなり、画角の相違に起因する再撮影が不要となって、ユーザビリティーを向上することができる。

【0326】

また、撮影レンズ２のフォーカス位置の移動可能範囲内における最大画角変動量を決定して、最大画角変動量に基づいた深度合成画像の画角範囲をライブビュー上に表示するようにしたために、画角制限枠の大きさが撮影レンズ２の種類に応じて固定されることになり、ユーザの設定条件に依存して変化することがないために、理解し易く使い易い利便性をユーザに与えることができる。

【0327】

さらに、深度合成撮影の本撮影を待機する状態において、遠点のフォーカス位置付近にライブビューのフォーカス位置を設定するようにした場合には、深度合成撮影に係る画角制限枠の表示が不要になる利点がある。

【0328】

そして、深度合成撮影が可能なレンズ群に対して、レンズ群に含まれる撮影レンズ２の最大画角変動量の内の、最も変動量が大きいレンズ群最大画角変動量を決定して、レンズ群に含まれる何れの撮影レンズ２に対してもレンズ群最大画角変動量に基づいた深度合成画像の画角範囲をライブビュー上に表示するようにした場合には、画角制限枠の大きさが撮影レンズ２の種類に依存して変化することがなく、ユーザの設定条件に依存して変化することもないために、さらに理解し易く使い易い利便性をユーザに与えることができる。

【0329】

加えて、深度合成画像の画角範囲と、デジタルテレコンバータ倍率による画角範囲との内の、小さい方の画角範囲をライブビュー上に表示するようにしたために、複数の画角範囲が表示される場合の煩わしさを軽減することができる。

【0330】

なお、上述した各部の処理は、ハードウェアとして構成された１つ以上のプロセッサが行うようにしてもよい。例えば、各部は、それぞれが電子回路として構成されたプロセッサであっても構わないし、ＦＰＧＡ（Field Programmable Gate Array）等の集積回路で構成されたプロセッサにおける各回路部であってもよい。または、１つ以上のＣＰＵで構成されるプロセッサが、記録媒体に記録された処理プログラムを読み込んで実行することにより、各部としての機能を実行するようにしても構わない。

【0331】

また、上述では主として撮像装置について説明したが、撮像装置を上述したように制御する制御方法であってもよいし、コンピュータに撮像装置と同様の処理を行わせるための処理プログラム、該処理プログラムを記録するコンピュータにより読み取り可能な一時的でない記録媒体、等であっても構わない。

【0332】

さらに、本発明は上述した実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化することができる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明の態様を形成することができる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能であることは勿論である。

【符号の説明】

【0333】

１…撮像装置
２…撮影レンズ
３…カメラ本体
２１…レンズ
２２…絞り
２３…手ぶれ補正光学素子
２４…手ぶれ補正制御部
２５…絞り制御部
２６…レンズ制御部
２７…手ぶれ検出部
２８…操作部
２９…通信制御部
３０…メカニカルシャッタ
３１…撮像部
３２…Ａ／Ｄ変換部
３３…メモリ
３４…画像処理部
３５…撮像駆動制御部
３６…シャッタ制御部
３７…レンズ通信部
３８…手ぶれ検出部
３９…露出制御部
４０…ＡＦ処理部
４１…不揮発性メモリ
４２…外部メモリ
４３…表示部
４３ａ…背面モニタ
４３ｂ…電子ビューファインダ
４４…操作部
４４ａ…レリーズボタン
４４ｂ…フロントダイヤル
４４ｃ…リアダイヤル
４４ｄ…撮影モードダイヤル
４４ｅ…十字ボタン
４４ｆ…ＯＫボタン
４４ｇ…ＡＦボタン
４４ｈ…情報ボタン
４４ｉ…深度合成ボタン
４４ｊ…動画ボタン
４４ｋ…拡大ボタン
４５…電源制御部
４６…電源部
４７…フラッシュ部
４８…システム制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】