特許 6971694 撮像装置、及びその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6971694

(24)【登録日】2021年11月5日

(45)【発行日】2021年11月24日

(54)【発明の名称】撮像装置、及びその制御方法

(51)【国際特許分類】

   G02B 7/34 20210101AFI20211111BHJP

   G03B 13/36 20210101ALI20211111BHJP

   G03B 17/18 20210101ALI20211111BHJP

   H04N 5/232 20060101ALI20211111BHJP

【ＦＩ】

   G02B7/34

   G03B13/36

   G03B17/18 Z

   H04N5/232 120

   H04N5/232 300

【請求項の数】13

【全頁数】17

(21)【出願番号】特願2017-151742(P2017-151742)

(22)【出願日】2017年8月4日

(65)【公開番号】特開2019-32370(P2019-32370A)

(43)【公開日】2019年2月28日

【審査請求日】2020年7月6日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100125254

【弁理士】

【氏名又は名称】別役 重尚

(72)【発明者】

【氏名】時岡 正樹

(72)【発明者】

【氏名】▲高▼橋 広幸

(72)【発明者】

【氏名】平野 洋

(72)【発明者】

【氏名】深堀 謙哉

(72)【発明者】

【氏名】小俣 岳士

【審査官】 越河 勉

(56)【参考文献】

【文献】 国際公開第２０１７／０６１０９５（ＷＯ，Ａ１）

【文献】 特開２０１４−１２７９６３（ＪＰ，Ａ）

【文献】 特開２０１３−０８００９３（ＪＰ，Ａ）

【文献】 特開２０１６−２０８３９６（ＪＰ，Ａ）

【文献】 特開２０１６−０５９０３３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０２Ｂ ７／３４

Ｇ０３Ｂ １３／３６

Ｇ０３Ｂ １７／１８

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

ズームレンズ及びフォーカスレンズを含む撮影光学系を通過して結像した被写体像を光電変換して画像信号を生成する撮像手段と、
前記フォーカスレンズを移動させながら動画撮影を行う際の前記フォーカスレンズの移動範囲を測距結果に基づき設定する設定手段と、
撮影画角を複数の焦点検出領域に分割して前記焦点検出領域ごとに得られた合焦位置から被写体が存在する距離ゾーンのヒストグラムを解析し、解析結果から所定の度数以上で前記被写体が存在する距離ゾーンを合焦状態にある主被写体距離ゾーンとして特定する特定手段と、
前記動画撮影を行う際、前記主被写体距離ゾーンで前記フォーカスレンズを他の距離ゾーンよりも低速で駆動する制御手段と、を備え、
前記制御手段は、ズーム状態に合わせて、前記被写体が存在する距離ゾーンの分割数を変更することを特徴とする撮像装置。

【請求項2】

前記動画撮影した映像に対して前記フォーカスレンズの位置を前記動画撮影のフレームごとに関連付けて記録する記録手段を備えることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記特定手段は、前記ヒストグラムの解析結果から最遠の距離ゾーンの度数を除外して前記主被写体距離ゾーンを特定することを特徴とする請求項１又は２に記載の撮像装置。

【請求項4】

前記特定手段は、複数の前記主被写体距離ゾーンを特定することを特徴とする請求項１乃至３のいずれか一項に記載の撮像装置。

【請求項5】

前記複数の前記主被写体距離ゾーンは、合焦位置が連続でなく、離散的に設定されることを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記制御手段は、前記主被写体距離ゾーンにて前記フォーカスレンズを低速で駆動する際の移動速度を前記ズーム状態に基づき設定することを特徴とする請求項１乃至５のいずれか一項の撮像装置。

【請求項7】

前記フォーカスレンズを低速で駆動する際に、光または音声により低速駆動であることを告知する告知手段を備えることを特徴とする請求項１乃至６のいずれか一項に記載の撮像装置。

【請求項8】

前記撮像手段は、撮像面位相差方式の撮像素子であることを特徴とする請求項１乃至７のいずれか一項に記載の撮像装置。

【請求項9】

前記焦点検出領域ごとに合焦状態を判定する合焦判定手段を備えることを特徴とする請求項１乃至８のいずれか一項に記載の撮像装置。

【請求項10】

前記合焦判定手段での判定結果を前記動画撮影の際に取得した映像に重ねて表示部に表示させる表示手段を備えることを特徴とする請求項９に記載の撮像装置。

【請求項11】

ズームレンズ及びフォーカスレンズを含む撮影光学系を通過して結像した被写体像を光電変換して画像信号を生成する撮像手段と、
前記フォーカスレンズを移動させながら動画撮影を行う際の前記フォーカスレンズの移動範囲を測距結果に基づき設定する設定手段と、
前記フォーカスレンズの移動範囲にある被写体の顔を検出する顔検出手段と、
前記顔検出手段により顔が検出された距離ゾーンを合焦状態にある主被写体距離ゾーンとして特定する特定手段と、
前記動画撮影を行う際、前記主被写体距離ゾーンで前記フォーカスレンズを他の距離ゾーンよりも低速で駆動する制御手段と、を備え、
前記制御手段は、ズーム状態に合わせて、前記主被写体距離ゾーンと前記他の距離ゾーンとを含む全距離ゾーンの分割数を変更することを特徴とする撮像装置。

【請求項12】

ズームレンズ及びフォーカスレンズを含む撮影光学系を通過して結像した被写体像を光電変換して画像信号を生成する撮像手段を備える撮像装置の制御方法であって、
前記フォーカスレンズを移動させながら動画撮影を行う際の前記フォーカスレンズの移動範囲を測距結果に基づき設定する設定ステップと、
撮影画角を複数の焦点検出領域に分割して前記焦点検出領域ごとに得られた合焦位置から被写体が存在する距離ゾーンのヒストグラムを解析し、解析結果から所定の度数以上で前記被写体が存在する距離ゾーンを合焦状態にある主被写体距離ゾーンとして特定する特定ステップと、
前記動画撮影を行う際、前記主被写体距離ゾーンで前記フォーカスレンズを他の距離ゾーンよりも低速で駆動する制御ステップと、を備え、
前記制御ステップでは、ズーム状態に合わせて、前記被写体が存在する距離ゾーンの分割数を変更することを特徴とする撮像装置の制御方法。

【請求項13】

ズームレンズ及びフォーカスレンズを含む撮影光学系を通過して結像した被写体像を光電変換して画像信号を生成する撮像手段を備える撮像装置の制御方法であって、
前記フォーカスレンズを移動させながら動画撮影を行う際の前記フォーカスレンズの移動範囲を測距結果に基づき設定する設定ステップと、
前記フォーカスレンズの移動範囲にある被写体の顔を検出する顔検出ステップと、
前記顔検出ステップで顔が検出された距離ゾーンを合焦状態にある主被写体距離ゾーンとして特定する特定ステップと、
前記動画撮影を行う際、前記主被写体距離ゾーンで前記フォーカスレンズを他の距離ゾーンよりも低速で駆動する制御ステップと、を備え、
前記制御ステップでは、ズーム状態に合わせて、前記主被写体距離ゾーンと前記他の距離ゾーンとを含む全距離ゾーンの分割数を変更することを特徴とする撮像装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、例えばデジタルカメラやデジタルビデオカメラ等の撮像装置における焦点調節技術に関する。

【背景技術】

【0002】

デジタルカメラ等の撮像装置では、オートフォーカス（ＡＦ）を行う場合、ＣＣＤ（電荷結合素子）などの撮像素子から得られる輝度信号の高域周波数成分が最大になるレンズの光軸方向の位置を合焦位置とする方式が用いられている。

【0003】

例えば、レンズを駆動しながら撮像素子から得られる輝度信号の高域周波数成分に基づく評価値（焦点評価値）をその都度に記憶し、記憶した値の最大値に相当するレンズ位置を合焦位置とするスキャン方式が知られている。また、焦点評価値が増加する方向にレンズを駆動し、焦点評価値が最大になる位置を合焦位置とする山登り方式（コンティニュアスＡＦ）が知られている。

【0004】

従来、撮影準備指示前に、コンティニュアスＡＦを行い、合焦状態を維持する事で、撮影準備指示後に行うスキャン方式のＡＦにおけるフォーカスレンズの移動範囲を制限し、ＡＦ動作の時間を短縮する技術が提案されている（特許文献１）。この提案では、コンティニュアスＡＦに、スキャン方式を組み合わせることでより合焦動作を速くしている。

【0005】

しかし、上記特許文献１では、ユーザがピントを合わせたい画面内の被写体を判断していないので、撮影シーンによっては合焦すべき被写体にピントを合わせることができないという問題がある。

【0006】

そこで、ユーザが被写体を予め複数指定し、指定した被写体の複数の合焦位置の間でフォーカスレンズを移動させながら動画を撮影することで、指定した被写体に合焦した静止画を切り出す技術が提案されている（特許文献２）。この提案では、指定した被写体の焦点距離付近でフォーカスレンズを低速で移動させることで、ピントが合った静止画を切り出すことができるとしている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特許第４１０６４８５号公報

【特許文献2】特開２０１６−５９０３３号公報

【発明の概要】

【発明が解決しようとする課題】

【0008】

しかし、上記特許文献２では、ユーザが指定した被写体が３つ以上存在した場合、指定していない別の被写体に合焦した静止画を抜き出す際には、ピント精度が低下するといった課題がある。これは、指定した被写体の焦点距離近傍ではフォーカスレンズが低速で移動するが、指定した被写体の焦点距離近傍以外ではフォーカスレンズが低速で移動しないためである。

【0009】

そこで、本発明は、フォーカスレンズを低速駆動して動画撮影した距離ゾーンでの距離分解能が向上し、被写体に合焦した静止画を精度よく抜き出す事が可能となる撮像装置及びその制御方法を提供することを目的とする。

【課題を解決するための手段】

【0010】

上記目的を達成するために、本発明の撮像装置は、ズームレンズ及びフォーカスレンズを含む撮影光学系を通過して結像した被写体像を光電変換して画像信号を生成する撮像手段と、前記フォーカスレンズを移動させながら動画撮影を行う際の前記フォーカスレンズの移動範囲を測距結果に基づき設定する設定手段と、撮影画角を複数の焦点検出領域に分割して前記焦点検出領域ごとに得られた合焦位置から被写体が存在する距離ゾーンのヒストグラムを解析し、解析結果から所定の度数以上で前記被写体が存在する距離ゾーンを合焦状態にある主被写体距離ゾーンとして特定する特定手段と、前記動画撮影を行う際、前記主被写体距離ゾーンで前記フォーカスレンズを他の距離ゾーンよりも低速で駆動する制御手段と、を備え、前記制御手段は、ズーム状態に合わせて、前記被写体が存在する距離ゾーンの分割数を変更することを特徴とする。

【発明の効果】

【0011】

本発明によれば、フォーカスレンズを低速駆動して動画撮影した距離ゾーンでの距離分解能が向上し、被写体に合焦した静止画を精度よく抜き出す事が可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の撮像装置の第１の実施形態であるデジタルカメラのシステム構成の概略を示すブロック図である。

【図2】デジタルカメラの撮影動作を説明するフローチャートである。

【図3】典型的な撮影シーンである集合写真を説明する図である。

【図4】図３に示す集合写真に被写体距離情報を重ねて表示した図である。

【図5】ＡＦ枠毎に関連づけた距離情報のヒストグラム解析結果を示す図である。

【図6】撮影距離に応じたフォーカスレンズ位置を焦点深度の換算値でプロットしたグラフ図である。

【図7】ズーム状態ごとの距離ゾーンの分割数とレンズ移動速度との制御テーブルを示す図である。

【図8】撮影開始から終了、及び静止画抜き出しまでのフォーカスレンズ位置の変化を説明するタイムチャート図である。

【図9】本発明の撮像装置の第２の実施形態であるデジタルカメラのシステム構成の概略を示すブロック図である。

【図10】本発明の撮像装置の第３の実施形態であるデジタルカメラのシステム構成の概略を示すブロック図である。

【図11】ＡＦ枠毎の合焦判定を行う撮影動作を説明するフローチャートである。

【図12】ＡＦ枠毎の合焦判定結果を撮影した映像と重ねて表示した模式図である。

【図13】合焦判定で合焦と判定されたＡＦ枠のみを撮影画像に重ね合わせて表示した模式図である。

【図14】本発明の撮像装置の第４の実施形態であるデジタルカメラにおいて、ＡＦ枠毎の合焦判定を行う撮影動作を説明するフローチャートである。

【図15】顔検出が行われた際のフォーカスレンズの位置変化を模式的に示す図である。

【発明を実施するための形態】

【0013】

以下、図面を参照して、本発明の実施形態を説明する。

【0014】

（第１の実施形態）
図１は、本発明の撮像装置の第１の実施形態であるデジタルカメラのシステム構成の概略を示すブロック図である。なお、本実施形態では、撮像装置の一例として、レンズ交換式でないデジタルカメラを例示するが、レンズ交換式のデジタル一眼レフカメラやデジタルビデオカメラ等の撮像装置であってもよい。

【0015】

図１において、制御部１０１は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を備え、デジタルカメラ１００（以下、カメラ１００という。）の各ブロックを制御する。操作部１０２は、レリーズボタン等の各種操作部材を含み、ユーザからの操作を受け付ける。撮像部１０３は、フォーカスレンズやズームレンズを含む撮影光学系を通過して結像した被写体像を光電変換して画像信号を生成する撮像素子を備える。撮像素子は、撮像面位相差方式の撮像素子であり、被写体距離に関するＡＦ評価値は、画像処理部１０４を介して出力される。ＡＦ評価値についての詳細は、後述する。

【0016】

画像処理部１０４は、撮像部１０３の出力画像信号に対して各種の画像処理を施す。また、画像処理部１０４は、撮像部１０３の出力画像信号の任意の画素に対し、無信号を表す無信号情報（例えば、黒を表す情報）を付加する機能を有する。符号化処理部１０６は、撮像部１０３で撮像され、画像処理部１０４で所定の処理が施された画像信号を符号化する。メモリ１０５は、カメラ１００のユーザ設定情報及び撮影画像等を一時的に記憶する。表示部１１０は、表示制御部１１１により制御され、撮像部１０３の出力画像、及びカメラ１００の状態等を表す情報等を表示する。

【0017】

外部記憶媒体１２１は、カメラ１００に着脱自在であり、主に撮影画像データが記録される。記録再生部１２０は、外部記憶媒体１２１への画像データの記録／読み出しを制御する。画像出力部１３０は、撮像部１０３の出力画像信号、画像処理部１０４の出力画像信号、メモリ１０５に記憶される画像信号、及び記録媒体１２１から読み出された画像信号を外部機器に出力する。距離判定部１３２は、後述するＡＦ評価値からＡＦ枠（焦点検出領域）毎の被写体距離を検出する。

【0018】

通信部１３１は、外部機器からの制御信号や静止画像データ、動画像データ等を受信するためのものであり、例えば、無線ＬＡＮ、有線ＬＡＮ、ＵＳＢ、Ｂｌｕｅｔｏｏｔｈ（登録商標）等であってよく、通信方式は特に限定されない。また、例えば画像出力部１３０の端子がＨＤＭＩ（登録商標）端子であれば、その端子を介してＣＥＣ（Consumer Ele ctronics Control）通信を行うものであってもよい。ここで、外部装置は、デジタルカメラ１００と通信を行うことができるものであれば、パーソナルコンピュータ、液晶プロジェクタ、携帯電話、スマートフォン、ハードディスクレコーダ、ゲーム機、リモコン等、どのようなものであってもよい。

【0019】

次に、図２及び図３を参照して、ＡＦ評価値情報について説明する。図２は、カメラ１００の撮影動作を説明するフローチャートである。図２の各処理は、制御部１０１のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。

【0020】

図２において、ステップＳ２０１では、制御部１０１は、レリーズボタンが半押し操作等されてレリーズスイッチＳＷ１がオンされると、ステップＳ２０２に進む。ステップＳ２０２では、制御部１０１は、フォーカスレンズの移動範囲を設定し、ステップＳ２０３に進む。ここでは、制御部１０１は、まず、撮影画角内を所定のサイズ毎に複数のＡＦ枠で分割し、各ＡＦ枠の被写体との距離を測距する。

【0021】

図３は、典型的な撮影シーンである集合写真を説明する図であり、表示部１１０に表示される映像と同じ映像である。撮像部１０３で撮影された図３の映像は、画像処理部１０４により７×７のＡＦ枠に分割され、ＡＦ枠毎にＡＦ評価値が距離判定部１３２に渡される。距離判定部１３２では、ＡＦ評価値からＡＦ枠毎の被写体距離が検出される。

【0022】

撮像部１０３の撮像素子が撮像面位相差方式である場合、ＡＦ評価値としてプレディクション値が用いられる。プレディクション値は、瞳分割された撮像素子の２種類の撮像画素のズレ量に相当する情報であり、プレディクション値がゼロであれば、被写体が合焦位置に存在する。プレディクション値は、そのままデフォーカス量（ピントズレ量）を算出することができるため、１回の撮影で、合焦していない被写体の距離を概略算出する事が可能となる。

【0023】

なお、撮像素子以外に位相差ＡＦセンサを別途に備えているデジタルカメラであれば、撮像面位相差方式の撮像素子の場合と同様に、１回の撮影で被写体距離情報をＡＦ枠毎に検出する事が可能である。また、フォーカスレンズを移動させて合焦位置を検出するＴＶＡＦの場合であっても同様に、被写体距離情報をＡＦ枠毎に検出する事が可能である。

【0024】

被写体距離情報は、距離判定部１３２によって、最遠被写体距離と最近被写体距離が求められる。制御部１０１は、フォーカスレンズを移動させながら動画撮影を行う際のフォーカスレンズ移動範囲を最遠被写体距離と最近被写体距離の間で設定する。また、制御部１０１は、その他にもＡＥのための測光を行うが、その説明は省略する。

【0025】

図２に戻って、ステップＳ２０３では、制御部１０１は、距離ヒストグラムを生成し、ステップＳ２０４に進む。ここで、図４及び図５を参照して、距離ヒストグラ生成について説明する。

【0026】

距離判定部１３２でＡＦ枠毎に算出された被写体距離情報は、ＡＦ枠毎に関連付けられる。図４は、図３に示す集合写真に被写体距離情報を重ねて表示した図である。集合写真では、中央部に主被写体が集合しているが、その周辺のＡＦ枠の被写体を含めると、被写体距離情報は、無限距離まで広範囲にわたる。

【0027】

図２のステップＳ２０２で設定されたフォーカスレンズの移動範囲を等速でレンズ移動させる場合、広いレンズ移動範囲では、撮影した動画の１フレーム毎のレンズ移動ピッチが等間隔となるため、距離分解能が一定となる。従来、距離分解能を細かくするために、低速でレンズ移動させており、動画撮影時間が長くなるといった問題が存在した。

【0028】

本実施形態では、動画撮影時間が長くなる従来の問題を解決するため、距離判定部１３２が図４のＡＦ枠毎に関連づけられた距離情報のヒストグラム解析を行う。その解析結果として、図５に示すヒストグラム情報が生成される。集合写真の人物が撮影されるＡＦ枠では、２．１ｍから３．４ｍの距離情報の度数が高く、それ以外は、周辺の７ｍから無限距離の距離情報となる。

【0029】

距離判定部１３２は、撮像部１０３のズーム倍率状態と、所定のＡＦ枠、例えば中央のＡＦ枠の測距情報に基づき、被写体距離ゾーンを分割した上で、算出した距離情報の度数を距離ゾーン毎にカウントする。そして、その結果が距離判定部１３２から制御部１０１に渡される。ズーム状態に応じた距離ゾーンの分割方法については、後述する。

【0030】

図２に戻って、ステップＳ２０４では、制御部１０１は、受け取った距離ゾーン毎のＡＦ枠数、すなわち被写体の度数が所定のカウント数より多いゾーン（所定の度数以上の距離ゾーン）を低速レンズ駆動範囲に設定し、ステップＳ２０５に進む。このとき、制御部１０１は、背景に相当する最遠の被写体距離、すなわち無限距離ゾーンは、予め低速ゾーンから除外する。ステップＳ２０５では、制御部１０１は、レリーズボタンが全押し操作等されてレリーズスイッチＳＷ２がオンされると、ステップＳ２０６に進む。

【0031】

ステップＳ２０６では、制御部１０１は、ステップＳ２０２で設定した移動範囲でフォーカスレンズを移動させながら動画撮影を行い、ステップＳ２０７に進む。その際、制御部１０１は、ステップＳ２０４で設定した距離ゾーンでは、フォーカスレンズをより低速で駆動する。

【0032】

低速移動の距離ゾーンでは、細かく焦点距離を変化させた動画映像が取得できるため、１フレーム毎の撮影距離分解能が細かくなり、静止画を抜き出す場合に、被写体に合焦した画像が得られやすい。ここで、制御部１０１は、撮影した映像にフォーカスレンズ位置を動画撮影のフレーム毎に関連付けてメモリ１０５に記録する。すなわち、撮影距離が指定されれば、指定された撮影距離にピントが合った動画フレームを選ぶ事が可能となる。

【0033】

ステップＳ２０７では、制御部１０１は、動画撮影後、表示部１１０のＥＶＦ画面に撮影終了時の映像を表示する。そして、制御部１０１は、撮影者が表示部１１０の画面上で、焦点を合わせたい被写体をタッチ選択すると、ステップＳ２０８に進む。

【0034】

ステップＳ２０８では、制御部１０１は、記録された動画フレーム毎に関連付けられたフォーカスレンズ位置情報とタッチ選択されたＡＦ枠情報とを基に、動画から静止画を抜き出して表示部１１０に表示すると共に外部記憶媒体１２１に保存し、処理を終了する。

【0035】

本実施形態では、集合写真において、人物の被写体が多く撮影され、その距離ではフォーカスレンズを低速駆動した動画データが取得されており、細かくピントをズラした画像揃っているため、精度よく一人一人に合焦した映像を抜き出す事ができる。

【0036】

次に、図６を参照して、ズーム状態によって、距離ゾーンの分割や動画撮影時のフォーカスレンズ移動量の上限値が変わる点について説明する。図６は、４０倍の高倍率なデジタルカメラを例にとり、撮影距離に応じたフォーカスレンズ位置を焦点深度の換算値でプロットしたグラフ図である。

【0037】

図６において、横軸は、被写体までの撮影距離で、３０ｃｍの距離から無限距離まで変化させた場合を示し、縦軸は、撮影距離ごとのフォーカスレンズ位置である。ズームがＴｅｌｅ状態（最大倍率）の場合の縦軸は左側となり、Ｗｉｄｅ状態（最小倍率）の場合の縦軸は右側となる。Ｗｉｄｅ〜Ｔｅｌｅのズーム状態を１００分割して、７０の位置となるＭｉｄ７０のズーム状態では、Ｔｅｌｅと同じ左側の縦軸を使用する。

【0038】

図６から判るように、Ｗｉｄｅ状態では、マクロ距離である３０ｃｍ未満まで合焦範囲を備えているが、被写体距離が大きく変化しても、フォーカスレンズ位置の移動は、非常に狭い範囲に限られる。被写界深度では、全ての撮影距離範囲で７深度の幅しかない。一般的に被写界深度が１深度以上ズレた場合に、撮影した映像はボケる事が知られている。よって、Ｗｉｄｅのズーム状態でフォーカスレンズを移動させながら動画撮影した場合、７フレーム以上撮影すれば、全ての被写体距離に存在する被写体にピントが合った静止画を抜き出す事が、理論的に可能となる。

【0039】

しかし、Ｔｅｌｅのズーム状態では違ってくる。図６で、Ｔｅｌｅの深度変化の値を確認すると、２．１ｍまでの合焦範囲であるが、フォーカスレンズ位置の無限距離から変化量は、２８４深度分に相当する。ピントずれを考慮して、距離を分割するならば、２８４フレーム分の動画撮影が必要となる。

【0040】

６０フレーム／秒の撮影レートの場合、４秒弱の撮影が必要で、その間に被写体が静止してなければいけないため、集合写真には不適である。Ｍｉｄ７０のズーム状態でも同様に、２ｍ〜無限距離までフォーカスレンズを移動させる場合は、１００深度分、すなわち２秒弱の撮影が必要になる。

【0041】

次に、動画撮影時間を固定して撮影する事を考える。２秒（６０フレーム／秒）の動画撮影時間固定の場合、Ｗｉｄｅでは、３０ｃｍの被写体から無限遠の背景までフォーカスレンズ位置を移動させながら動画撮影するのに、フレーム毎の距離分解能は０．１深度と高分解能である。逆に、Ｔｅｌｅでは、２ｍから無限遠の背景まで撮影すると、等速レンズ移動だと２．４深度の粗い分解能しかないため、撮影ステップの中間距離に存在する被写体にピントの合った静止画が得られない確率が１５％となる。１秒の撮影時間だと、５８％の確率と悪化する。

【0042】

本実施形態では、図２のステップＳ２０１で取得した主被写体距離の値からフォーカスレンズの移動速度を制御部１０１が低速移動速度、高速移動速度とも設定する。全ての撮影距離に被写体が存在すると仮定して、全ての被写体にピントの合った静止画が連続するような動画が撮影されるには、フォーカスレンズの低速移動速度は、毎秒あたり６０深度相当のレンズ移動速度値より小さな値である必要である。また、ズーム状態によって１深度相当のレンズ位置が異なる。つまり、高速移動速度の場合も、ズーム状態によって速度変更が必要である。

【0043】

図７を参照して、フォーカスレンズの移動速度の具体的な設定例について説明する。図７は、ズーム状態に合わせて、距離ゾーンの分割数とレンズ移動速度との制御テーブルを示す図である。制御部１０１は、撮像部１０３から取得したズーム状態から距離ゾーンの分割幅を設定する。距離ゾーンの分割幅は、１０深度に相当する幅となるよう設定するためＴｅｌｅの場合、２８分割されるが、Ｗｉｄｅの場合は、分割数がゼロとなり、全ての距離が同じゾーンとなる。

【0044】

主被写体が検出された距離ゾーンで設定される低速移動速度は、毎秒１００深度相当の移動速度を設定する。その速度でフォーカスレンズを移動させれば、その距離ゾーンに存在する全ての主被写体は、動画撮影した何れかのフレームで必ず合焦する事になる。主被写体以外の距離ゾーンでは、高速移動（図７のレンズ移動速度の値）する。例えば、Ｍｉｄ７０では、距離ゾーンは１０個設定される。

【0045】

図４で検出された被写体距離情報によれば、２つの距離ゾーンが図５の通り、主被写体距離ゾーンとして選択される。それ以外の距離ゾーン（８個）では、高速なフォーカスレンズ移動速度が設定されるため、２ｍ〜無限距離までの動画撮影条件の場合、約１．１４秒の撮影時間となる。よって、主被写体の全てに合焦した静止画を保証するために、従来、等速でフォーカスレンズを移動させた場合では、３．８秒かかっていたのと比べて、大幅に撮影時間が短縮できる。

【0046】

図８は、撮影開始から終了、及び静止画抜き出しまでのフォーカスレンズ位置の変化を図２のステップＳ２０１〜ステップＳ２０８に対応させて説明するタイムチャート図である。図８において、レリーズスイッチＳＷ１がオンされると（ステップＳ２０１）、フォーカスレンズは、表示部１１０のＥＶＦ画面にライブビュー状態の合焦位置にある。次に、１回撮影画像を取り込んで撮像部１０３の撮像素子により測距を行う事は前述した通りである。

【0047】

そして、測距結果からレンズ移動範囲を設定し（ステップＳ２０２）、距離ヒストグラム生成（ステップＳ２０３）から低速移動範囲設定（ステップＳ２０４）までの動画撮影条件設定までフォーカスレンズは移動しない。レリーズスイッチＳＷ２がオンされると（ステップＳ２０５）、フォーカスレンズは移動を開始する。

【0048】

フォーカスレンズが最遠距離の位置まで移動した後に、動画撮影と記録を開始し、フォーカスレンズが主被写体距離ゾーンに入ったら、低速移動に切り換わる。その後、フォーカスレンズが主被写体距離ゾーンを抜けた段階で、高速移動速度に戻り、最近被写体距離位置までフォーカスレンズが移動した後、撮影と記録が終了する。

【0049】

その後、撮影者による被写体（ＡＦ枠）の指定（ステップＳ２０７）と、静止画抜き出し（ステップＳ２０８）が完了するまで、フォーカスレンズは停止する。

【0050】

以上説明したように、本実施形態では、ＡＦ枠毎に測距した情報を用いて、距離のヒストグラム解析を行い、被写体が多く存在する距離ゾーンを特定してフォーカスレンズを低速に移動させながら動画撮影を行う。これにより、撮影した距離ゾーンでの距離分解能が向上し、指定した被写体に合焦した静止画を精度よく抜き出す事が可能となる。

【0051】

なお、本実施形態では、背景に相当する最遠の被写体距離、すなわち無限距離ゾーンは、予め低速ゾーンから除外していたが、撮影者の意図に合わせて、背景に焦点を合わせた静止画を取り出したいシーンが存在する。この場合、撮影シーンをメニュー画面等で選択し、距離ゾーン毎に主被写体距離ゾーン判定を有効／無効に予め設定しておくことが考えられる。

【0052】

また、本実施形態では、分布の多い距離ゾーンが連続していたが、室内での自撮りシーンのように、撮影者と、背景の静止物のそれぞれにピントが合った静止画を抜き出したい事がある。そのために、被写体距離が離散的に分布していても、距離ゾーン毎に低速／高速を複数回切り換える手段を備えておくことが考えられる。

【0053】

また、主被写体距離ゾーンと判定するためのヒストグラムの度数の閾値は、撮影者が自由に操作メニューで設定できるような構成であっても良いし、距離ゾーンに応じて、異なる閾値を設定するようにしてもよい。

【0054】

（第２の実施形態）
次に、図９を参照して、本発明の撮像装置の第２の実施形態であるデジタルカメラについて説明する。図９は、本実施形態のデジタルカメラのシステム構成の概略を示すブロック図である。なお、本実施形態では、上記第１の実施形態と重複する部分については、図に同一符号を付してその説明を省略する。

【0055】

上記第１の実施形態では、主被写体の存在する距離ゾーンを設定し、低速でフォーカスレンズを移動させても、１秒前後の撮影時間が必要な事を説明した。集合写真の場合、主被写体となる人物が、撮影時間中に静止している事は、集中力を要するために、何らかの補助が必要である。

【0056】

本実施形態では、図９に示すように、図８で示したフォーカスレンズの低速移動時間に、被写体に低速移動中である事を告知するための低速告知部１３３を備えた点に特徴がある。

【0057】

低速告知部１３３は、撮像部１０３の撮像光学系の正面側（被写体側）のレンズ前面に設置しておき、被写体側が認識しやすい手段であれば、発光部や音声であっても良い。さらに、測光用の発光部を低速告知部１３３として使用してもよい。その他の構成、及び作用効果は、上記第１の実施形態と同様である。

【0058】

（第３の実施形態）
次に、図１０乃至図１３を参照して、本発明の撮像装置の第３の実施形態であるデジタルカメラについて説明する。図１０は、本実施形態のデジタルカメラのシステム構成の概略を示すブロック図である。なお、本実施形態では、上記第１の実施形態と重複する部分については、図及び符号を流用しつつ主に相違点について説明する。

【0059】

本実施形態は、図１０に示すように、距離判定部１３２の情報を利用してＡＦ枠毎の合焦判定を行う合焦判定部１３４を備えた点に特徴がある。

【0060】

図１１は、ＡＦ枠毎の合焦判定を行う撮影動作を説明するフローチャートである。図１１の各処理は、制御部１０１のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。

【0061】

図１１において、ステップＳ１１０１では、制御部１０１は、操作部１０２のレリーズボタンが半押し操作等されてレリーズスイッチＳＷ１がオンされると、ステップＳ１１０２に進む。ステップＳ１１０２では、制御部１０１は、フォーカスレンズの移動範囲を設定し、ステップＳ１１０３に進む。具体的には、まず、撮影画角内を所定のサイズ毎に複数のＡＦ枠で分割し、各ＡＦ枠の被写体との距離を測距する。被写体距離情報は、距離判定部１３２によって、最遠被写体距離と最近被写体距離が求められる。そして、フォーカスレンズを移動させながら動画撮影を行う際のフォーカスレンズの移動範囲を最遠被写体距離と最近被写体距離の間で設定する。

【0062】

ステップＳ１１０３では、制御部１０１は、距離判定部１３２で算出した被写体距離情報が合焦許容幅にあるか否かの合焦判定をＡＦ枠毎に行い、ステップＳ１１０４に進む。ステップＳ１１０４では、制御部１０１は、ステップＳ１１０３での合焦判定結果を表示部１１０に表示される映像に重ねて表示し、ステップＳ１１０５に進む。ステップＳ１１０３での合焦判定結果を表示部１１０に表示される撮影画像に重ねて表示することで、合焦させたい被写体が非合焦状態だった場合に、撮影者による撮影条件の見直しや構図の変更が可能になる。

【0063】

ステップＳ１１０５では、制御部１０１は、操作部１０２のレリーズボタンが全押し操作等されてレリーズスイッチＳＷ２がオンされると、ステップＳ１１０６に進む。ステップＳ１１０６では、制御部１０１は、ステップＳ１１０２にて設定されたフォーカスレンズの移動範囲でフォーカスレンズを移動させながら動画撮影を行い、ステップＳ１１０７に進む。動画撮影時には、撮影した映像にフォーカスレンズ位置を動画撮影のフレーム毎に関連付けてメモリ１０５に記録する。すなわち、撮影距離が指定されれば、指定された撮影距離にピントが合った動画フレームを選ぶ事が可能となる。

【0064】

ステップＳ１１０７では、制御部１０１は、動画撮影後、表示部１１０のＥＶＦ画面に撮影終了時の映像とその映像に重ねてステップＳ１１０３での合焦判定結果を表示し、ステップＳ１１０８に進む。合焦判定結果を表示させることで、撮影者は、合焦したＡＦ枠の画像のみ選択することが可能になり、無駄な静止画像の抜き出しが無くなる。

【0065】

ステップＳ１１０８では、制御部１０１は、撮影者が表示部１１０の画面上で焦点を合わせたい被写体をタッチ選択すると、ステップＳ１１０９に進む。ステップＳ１１０９では、制御部１０１は、記録された動画フレーム毎に関連付けられたフォーカスレンズ位置情報とタッチ選択されたＡＦ枠情報を基に、動画から静止画を抜き出して表示部１１０に表示すると共に外部記憶媒体１２１に画像情報を保存する。

【0066】

図１２は、図１１のステップＳ１１０３で行うＡＦ枠毎の合焦判定結果を撮影した映像と重ねて表示した模式図である。図１１のステップＳ１１０１の測距時に取得した被写体距離情報が合焦許容幅にあるかどうかの判定をＡＦ枠毎に行い、その結果をＡＦ枠毎に関連付ける。関連付けられた合焦判定結果を基に、図１１のステップＳ１１０４とステップＳ１１０７の合焦判定結果の表示時に表示部１１０のＥＶＦ画面に表示される。

【0067】

次に、図１３を参照して、図１１のステップＳ１１０４の合焦判定結果の表示例を説明する。図１３は、図１１のステップＳ１１０３の合焦判定で合焦と判定されたＡＦ枠のみを撮影画像に重ね合わせて表示部１１０に表示した模式図である。

【0068】

図１３に示すように、図１１のステップＳ１１０４における動画撮影前の合焦判定結果の表示時に合焦ポイントが無いＡＦ枠を確認出来るため、撮影者は、撮影条件の見直しや構図の変更の判断が容易になる。また、図１１のステップＳ１１０７における静止画抜出し前の合焦判定結果の表示時に、非合焦のＡＦ枠は表示されないため、撮影者は、静止画抜出の判断が容易になる。

【0069】

このように、本実施形態では、合焦したＡＦ枠のみを表示部１１０に表示することで、撮影者は、容易に撮影の判断、又は静止画抜出の判断をすることが可能になる。

【0070】

（第４の実施形態）
次に、図１４及び図１５を参照して、本発明の撮像装置の第４の実施形態であるデジタルカメラについて説明する。なお、本実施形態では、上記第１の実施形態と重複する部分については、図及び符号を流用しつつ主に相違点について説明する。

【0071】

図１４は、ＡＦ枠毎の合焦判定を行う撮影動作を説明するフローチャートである。図１４の各処理は、制御部１０１のＲＯＭ等に記憶されたプログラムがＲＡＭに展開されてＣＰＵ等により実行される。

【0072】

図１４において、ステップＳ１４０１では、制御部１０１は、操作部１０２のレリーズボタンが半押し操作等されてレリーズスイッチＳＷ１がオンされると、ステップＳ１４０２に進む。ステップＳ１４０２では、制御部１０１は、フォーカスレンズの移動範囲を設定し、ステップＳ１４０３に進む。具体的には、まず、撮影画角内を所定のサイズ毎に複数のＡＦ枠で分割し、各ＡＦ枠の被写体との距離を測距する。被写体距離情報は、距離判定部１３２によって最遠被写体距離と最近被写体距離が求められる。そして、フォーカスレンズを移動させながら動画撮影を行う際の、フォーカスレンズ移動範囲を最遠被写体距離と最近被写体距離の間で設定する。

【0073】

ステップＳ１４０３では、制御部１０１は、撮影画角内において画像処理部１０４の顔検出手段による顔検出を行い、フォーカスレンズ移動範囲内の距離に存在する人物の顔を抽出する。そして、制御部１０１は、フォーカスレンズ移動範囲内の距離に人物の顔が検出された場合は、ステップＳ１４０４に進む。ステップＳ１４０４では、制御部１０１は、顔が検出された距離に該当する距離ゾーンを低速移動に設定し、残りの距離ゾーンを高速移動に設定し、ステップＳ１４０５に進む。なお、距離ゾーンの分割に関しては、上記第１の実施形態と同様である。

【0074】

ステップＳ１４０５では、制御部１０１は、操作部１０２のレリーズボタンが全押し操作等されてレリーズスイッチＳＷ２がオンされると、ステップＳ１４０６に進む。ステップＳ１１０６では、制御部１０１は、ステップＳ１４０２にて設定されたフォーカスレンズの移動範囲でフォーカスレンズを移動させながら動画撮影を行い、ステップＳ１４０７に進む。動画撮影時には、撮影した映像にフォーカスレンズ位置を動画撮影のフレーム毎に関連付けてメモリ１０５に記録する。すなわち、撮影距離が指定されれば、指定された撮影距離にピントが合った動画フレームを選ぶ事が可能となる。

【0075】

ステップＳ１４０７では、制御部１０１は、動画撮影後、表示部１１０のＥＶＦ画面に撮影終了時の映像を表示し、撮影者が表示部１１０の画面上で焦点を合わせたい被写体をタッチ選択すると、ステップＳ１４０８に進む。ステップＳ１４０８では、制御部１０１は、記録された動画フレーム毎に関連付けられたフォーカスレンズ位置情報とタッチ選択されたＡＦ枠情報を基に、動画から静止画を抜き出して表示部１１０に表示すると共に外部記憶媒体１２１に画像情報を保存する。

【0076】

図１５は、図１４のステップＳ１４０１からステップＳ１４０８の顔検出が行われた際のフォーカスレンズ位置変化を模式的に示す図である。レリーズスイッチＳＷ１がオンされたとき（ステップＳ１４０１）では、フォーカスレンズは、ライブビュー状態（ＥＶＦ画面表示）の合焦位置にある。

【0077】

次に、１回撮影画像を取り込んで撮像面位相差方式の撮像素子により、測距を行う事は前述した通りである。測距結果からレンズ移動範囲を設定（ステップＳ１４０２）する。そして、次に撮影画像から顔検出を行い（ステップＳ１４０３）、レンズ移動範囲内の顔１５０１，１５０２を検出し、顔検出がされた距離の距離ゾーン１５０３，１５０４に対して低速移動設定（ステップＳ１４０４）を行う。

【0078】

そして、レリーズスイッチＳＷ２がオンされると（ステップＳ１４０５）、フォーカスレンズは移動を開始し、最遠距離のフォーカスレンズ位置の位置まで移動した後に、動画撮影と記録を開始する。フォーカスレンズが顔検出距離ゾーン１５０３の位置に入ったら、フォーカスレンズは低速移動に切り換わる。

【0079】

その後、フォーカスレンズは、顔検出距離ゾーンを抜けた段階で、高速移動に戻り、再度顔検出距離ゾーン１５０４に入ったら低速移動に切り替わる。最近被写体距離位置までフォーカスレンズが移動した後、撮影と記録が終了する（ステップＳ１４０６）。その後、撮影者による被写体（ＡＦ枠）の指定（ステップＳ１４０７）と静止画抜き出しが完了（ステップＳ１４０８）するまで、フォーカスレンズは停止する。

【0080】

このように、本実施形態では、顔が検出された焦点距離付近ではフォーカスを低速駆動させて動画撮影するので、撮影した距離ゾーンでの距離分解能があがり、指定した被写体にピントの合った静止画を精度よく抜き出す事が可能となる。また、同一の顔にピントの合った画像が増えるので、目つぶり等の撮影失敗を軽減する事が出来る。

【0081】

なお、本発明は、上記各実施形態に例示したものに限定されるものではなく、本発明の要旨を逸脱しない範囲において適宜変更可能である。

【0082】

また、本発明は、以下の処理を実行することによっても実現される。即ち、本発明は、上述の実施形態の１以上の機能を実現するプログラムをネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0083】

１０１ 制御部
１１０ 表示部
１３２ 距離判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】