(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-09
(45)【発行日】2022-12-19
(54)【発明の名称】制御装置、撮像装置、プログラム、および、記憶媒体
(51)【国際特許分類】
G02B 7/28 20210101AFI20221212BHJP
G02B 7/34 20210101ALI20221212BHJP
G03B 3/10 20210101ALI20221212BHJP
G03B 13/34 20210101ALI20221212BHJP
G03B 13/36 20210101ALI20221212BHJP
H04N 5/232 20060101ALI20221212BHJP
【FI】
G02B7/28 N
G02B7/34
G03B3/10
G03B13/34
G03B13/36
H04N5/232 120
(21)【出願番号】P 2018104017
(22)【出願日】2018-05-30
【審査請求日】2021-05-27
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100110412
【氏名又は名称】藤元 亮輔
(74)【代理人】
【識別番号】100104628
【氏名又は名称】水本 敦也
(74)【代理人】
【識別番号】100121614
【氏名又は名称】平山 倫也
(72)【発明者】
【氏名】友定 俊彦
(72)【発明者】
【氏名】本宮 英育
(72)【発明者】
【氏名】加藤 篤
【審査官】越河 勉
(56)【参考文献】
【文献】特開2016-218161(JP,A)
【文献】特開昭63-304232(JP,A)
【文献】特開2018-036509(JP,A)
【文献】特開2002-107603(JP,A)
【文献】特開2015-118295(JP,A)
【文献】米国特許出願公開第2012/0057062(US,A1)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 7/28-7/40
G03B 3/10
G03B 13/34
G03B 13/36
H04N 5/232
(57)【特許請求の範囲】
【請求項1】
撮像光学系の互いに異なる瞳領域を通過した光束に基づいて生成される一対の像信号の位相差に基づいてデフォーカス量を検出する焦点検出手段と、
前記撮像光学系のフォーカスレンズを制御する制御手段と、を有し、
前記制御手段は、前記焦点検出手段により検出された前記デフォーカス量に基づくオートフォーカス制御と、操作手段を介したユーザの操作に基づくマニュアルフォーカス制御と、を行うことが可能であり、
前記制御手段は、前記マニュアルフォーカス制御における前記フォーカスレンズの速度に関する変化量が
前記フォーカスレンズの加速後の等速を示す所定の範囲内
になった場合
に、前記オートフォーカス制御を行うことを特徴とする制御装置。
【請求項2】
前記フォーカスレンズの速度に関する前記変化量は、前記操作手段の速度の変化量、前記フォーカスレンズの速度の変化量、または、前記デフォーカス量の変化量であることを特徴とする請求項1に記載の制御装置。
【請求項3】
前記焦点検出手段は、複数の焦点検出領域のそれぞれにおいて前記デフォーカス量を検出し、
前記制御手段は、前記複数の焦点検出領域のそれぞれにおいて検出された前記デフォーカス量に基づいて、遠近競合被写体が存在するか否かを判定し、
前記遠近競合被写体が存在するか否かに応じて、前記マニュアルフォーカス制御から前記オートフォーカス制御への移行条件を変更することを特徴とする請求項1または2に記載の制御装置。
【請求項4】
前記制御手段は、
前記焦点検出領域のサイズが第1のサイズであり、かつ前記フォーカスレンズの速度に関する前記変化量が前記所定の範囲を超えて減少した場合
は、前記マニュアルフォーカス制御から前記オートフォーカス制御へ移行し、
前記焦点検出領域のサイズが前記第1のサイズより小さい第2のサイズであり、かつ前記フォーカスレンズの速度に関する前記変化量が前記所定の範囲内である場合
は、前記マニュアルフォーカス制御から前記オートフォーカス制御へ移行することを特徴とする請求項3に記載の制御装置。
【請求項5】
前記制御手段は、
前記焦点検出領域のサイズが第1のサイズであり、かつ前記フォーカスレンズの速度に関する前記変化量が前記所定の範囲を超えて減少した場合
は、前記マニュアルフォーカス制御から前記オートフォーカス制御へ移行し、
前記焦点検出領域のサイズが前記第1のサイズより小さい第2のサイズであり、かつ前記デフォーカス量が所定の深度の範囲内である場合
は、前記マニュアルフォーカス制御から前記オートフォーカス制御へ移行することを特徴とする請求項3に記載の制御装置。
【請求項6】
前記デフォーカス量の履歴を記憶する記憶手段を有し、
前記制御手段は、前記オートフォーカス制御において、
前記デフォーカス量の履歴の変化に基づいて、被写体が合焦方向に動いているか否かを判定し、
前記被写体が前記合焦方向に動いているか否かに基づいて、前記フォーカスレンズを制御する際の制御パラメータを変更することを特徴とする
請求項1から5のいずれか一項に記載の制御装置。
【請求項7】
前記制御パラメータは、前記デフォーカス量に基づく前記フォーカスレンズの制御を実行するか停止するかを決定するための前記デフォーカス量の閾値を含み、
前記制御手段は、
前記被写体が前記合焦方向に動いていない場合
は、前記デフォーカス量の閾値として第一の閾値を設定し、
前記被写体が前記合焦方向に動いている場合
は、前記デフォーカス量の閾値として、前記第一の閾値よりも小さい第二の閾値を設定することを特徴とする請求項6に記載の制御装置。
【請求項8】
前記制御手段は、前記被写体が前記合焦方向に動いている場合
は、前記デフォーカス量の閾値を焦点深度に相当する値以下に設定することを特徴とする請求項6または7に記載の制御装置。
【請求項9】
前記制御パラメータは、前記フォーカスレンズの速度を含み、
前記制御手段は、
前記被写体が前記合焦方向に動いていない場合
は、前記フォーカスレンズの速度として第一の速度を設定し、
前記被写体が前記合焦方向に動いている場合
は、前記フォーカスレンズの速度として、前記第一の速度よりも遅い第二の速度を設定することを特徴とする請求項6
から8のいずれか
一項に記載の制御装置。
【請求項10】
前記制御パラメータは、前記フォーカスレンズの駆動方向を含み、
前記制御手段は、前記被写体が前記合焦方向に動いている場合
であって、前記フォーカスレンズの前記駆動方向が前記被写体の移動方向と一致しない場合
は、前記デフォーカス量に基づく前記フォーカスレンズの制御を停止することを特徴とする請求項6
から9のいずれか
一項に記載の制御装置。
【請求項11】
前記制御手段は、前記デフォーカス量が所定期間の間、減少し続けている場合
は、前記被写体が前記合焦方向に動いていると判定することを特徴とする請求項6
から10のいずれか
一項に記載の制御装置。
【請求項12】
撮像光学系を介して形成された光学像を光電変換する撮像素子と、
請求項1
から11のいずれか一項に記載の制御装置と、を有することを特徴とする撮像装置。
【請求項13】
撮像光学系の互いに異なる瞳領域を通過した光束に基づいて生成される一対の像信号の位相差に基づいてデフォーカス量を検出する検出ステップと、
前記撮像光学系のフォーカスレンズを制御する制御ステップと、をコンピュータに実行させるプログラムであって、
前記制御ステップにおいて、前記検出ステップで検出された前記デフォーカス量に基づくオートフォーカス制御と、操作手段を介したユーザの操作に基づくマニュアルフォーカス制御と、を行うことが可能であり、
前記制御ステップにおいて、前記マニュアルフォーカス制御における前記フォーカスレンズの速度に関する変化量が
前記フォーカスレンズの加速後の等速を示す所定の範囲内
になった場合
に、前記オートフォーカス制御を行うことを特徴とするプログラム。
【請求項14】
請求項
13に記載のプログラムを記憶していることを特徴とする記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、焦点調節制御を行う制御装置および撮像装置に関する。
【背景技術】
【0002】
従来、マニュアルフォーカスの際にフォーカスレンズの停止位置が合焦位置からずれている場合、フォーカスレンズを合焦位置に移動させる撮像装置がある。特許文献1には、マニュアルフォーカスの際に、フォーカスレンズの駆動中に複数の位置でコントラスト評価値を取得して合焦位置を算出する撮像装置が開示されている。特許文献1に開示された撮像装置は、フォーカスレンズの停止位置が合焦位置から所定範囲ずれている場合、フォーカスレンズを合焦位置に移動させる。
【0003】
また従来、複数の被写体が混在するシーンにおいて、ユーザの意図に沿った被写体に合焦させる撮像装置がある。特許文献2には、オートフォーカスモード実行中におけるマニュアルフォーカス手段からのフォーカスレンズ群の移動方向を指示するフォーカス位置変更指令に基づいて、フォーカスレンズを合焦位置に移動さる撮像装置が開示されている。特許文献3には、フォーカスレンズの移動により実現されるピント状態の変化(フォーカス状態の変化)を滑らかな状態で維持するため、マニュアルフォーカスの際にフォーカスレンズの減速を検知してオートフォーカスに切り替える撮像装置が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2007-155921号公報
【文献】特開2006-30475号公報
【文献】特開2016-218161号公報
【文献】特開2014-222291号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1に開示された撮像装置では、フォーカスレンズの駆動停止後にフォーカスレンズ群を合焦位置へ移動させるため、一旦停止動作が発生する。この停止動作が発生することにより、滑らかなフォーカス状態の変化での撮影を行うことが難しい。
【0006】
特許文献2に開示された撮像装置では、ユーザの意図と異なる被写体に合焦動作を行った場合、ユーザのマニュアルフォーカス動作により意図した被写体に合焦することは可能になる。しかしながら、フォーカスレンズ群の駆動速度がマニュアルフォーカス動作の度に変動してしまう。このため、特許文献1と同様に、滑らかなフォーカス状態の変化での撮影を行うことが難しい。
【0007】
特許文献3に開示された撮像装置では、視認性の悪い被写体や被写界深度が深い被写体など合焦位置の特定が困難である場合、合焦位置を通り越す可能性や合焦位置から離れた位置で減速を開始する可能性があり、フォーカス状態の変化が不安定になるシーンがある。
【0008】
特に動画撮影においては滑らかなフォーカス状態の変化や安定したフォーカス状態の変化での撮影が求められるが、従来技術には上述の課題があり、更なる改善が求められている。
【0009】
そこで本発明は、マニュアルフォーカスの際に滑らかなフォーカス状態の変化を実現可能な制御装置、撮像装置、プログラム、および、記憶媒体を提供することを目的とする。
【課題を解決するための手段】
【0010】
本発明の一側面としての制御装置は、撮像光学系の互いに異なる瞳領域を通過した光束に基づいて生成される一対の像信号の位相差に基づいてデフォーカス量を検出する焦点検出手段と、前記撮像光学系のフォーカスレンズを制御する制御手段とを有し、前記制御手段は、前記焦点検出手段により検出された前記デフォーカス量に基づくオートフォーカス制御と、操作手段を介したユーザの操作に基づくマニュアルフォーカス制御とを行うことが可能であり、前記制御手段は、前記マニュアルフォーカス制御における前記フォーカスレンズの速度に関する変化量が前記フォーカスレンズの加速後の等速を示す所定の範囲内になった場合に、前記オートフォーカス制御を行うことを特徴とする。
【0013】
本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換する撮像素子と、前記制御装置とを有する。
【0014】
本発明の他の側面としてのプログラムは、撮像光学系の互いに異なる瞳領域を通過した光束に基づいて生成される一対の像信号の位相差に基づいてデフォーカス量を検出する検出ステップと、前記撮像光学系のフォーカスレンズを制御する制御ステップとをコンピュ ータに実行させるプログラムであって、前記制御ステップにおいて、前記検出ステップで検出された前記デフォーカス量に基づくオートフォーカス制御と、操作手段を介したユーザの操作に基づくマニュアルフォーカス制御とを行うことが可能であり、前記制御ステップにおいて、前記マニュアルフォーカス制御における前記フォーカスレンズの速度に関する変化量が前記フォーカスレンズの加速後の等速を示す所定の範囲内になった場合に、前記オートフォーカス制御を行うことを特徴とする。
【0017】
本発明の他の側面としての記憶媒体は、前記プログラムを記憶している。
【0018】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【0019】
本発明によれば、マニュアルフォーカスの際に滑らかなフォーカス状態の変化を実現可能な制御装置、撮像装置、プログラム、および、記憶媒体を提供することができる。
【図面の簡単な説明】
【0020】
【
図1】各実施形態における撮像装置のブロック図である。
【
図2】各実施形態における撮像面位相差AF方式用の撮像素子の画素構成図である。
【
図3】各実施形態における相関演算の説明図である。
【
図4】各実施形態における像信号の波形例のグラフである。
【
図5】各実施形態における相関量の波形例のグラフである。
【
図6】各実施形態における相関変化量の波形例のグラフである。
【
図7】各実施形態におけるピントずれ量の説明図である。
【
図8】各実施形態における2像一致度の算出方法の説明図である。
【
図9】各実施形態におけるデフォーカス量の算出を示すフローチャートである。
【
図10】各実施形態におけるAF制御処理を示すフローチャートである。
【
図11】各実施形態における連続モードの駆動処理を示すフローチャートである。
【
図12】各実施形態における連続モードのレンズ駆動処理を示すフローチャートである。
【
図13】各実施形態における安定モードの駆動処理を示すフローチャートである。
【
図14】第1実施形態におけるAFMF判定処理を示すフローチャートである。
【
図15】各実施形態における画面表示例の模式図である。
【
図16】第1実施形態における遠近競合判定処理の説明図である。
【
図17】第1実施形態における遠近競合判定処理を示すフローチャートである。
【
図18】各実施形態における速度変化算出処理の説明図である。
【
図19】第1実施形態における速度変化算出処理を示すフローチャートである。
【
図20】第1実施形態におけるMF操作→AF開始閾値設定処理を示すフローチャートである。
【
図21】第1実施形態におけるデフォーカス量閾値の説明図である。
【
図22】第1実施形態におけるAF駆動→AF停止閾値設定処理を示すフローチャートである。
【
図23】第1実施形態におけるレンズ駆動設定処理を示すフローチャートである。
【
図24】第1実施形態における被写体状態判定処理を示すフローチャートである。
【
図25】第1実施形態におけるAF停止→AF開始閾値設定処理を示すフローチャートである。
【
図26】第1実施形態において被写体が動体でないと判定される場合の模式図である。
【
図27】第1実施形態において被写体が動体であると判定される場合の模式図である。
【
図28】第2実施形態におけるAFMF判定処理を示すフローチャートである。
【
図29】第2実施形態における速度変化算出処理を示すフローチャートである。
【
図30】第3実施形態におけるレンズ駆動設定処理を示すフローチャートである。
【
図31】第3実施形態における変形例としてのレンズ駆動設定処理を示すフローチャートである。
【発明を実施するための形態】
【0021】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【0022】
[第1実施形態]
<撮像装置の構成>
まず、
図1を参照して、本発明の第1実施形態における撮像装置100について説明する。
図1は、撮像装置100のブロック図である。本実施形態の撮像装置100は、カメラ本体(撮像装置本体)20と、カメラ本体20に着脱可能なレンズユニット(レンズ装置)10とを備えたレンズ交換式カメラである。ただし本発明は、これに限定されるものではなく、カメラ本体20とレンズユニット10とが一体的に構成された撮像装置(レンズ括り付け(レンズ一体型)カメラ)であってもよい。
【0023】
撮像装置100において、レンズユニット10はレンズユニット10の全体の動作を統括制御するレンズ制御部106を有し、カメラ本体20はカメラ本体20の全体の動作を統括制御するカメラ制御部207を有する。レンズ制御部106とカメラ制御部207は、通信により情報を互いにやり取りする。
【0024】
レンズユニット10は、固定レンズ101、絞り102、フォーカスレンズ103、絞り駆動部104、フォーカスレンズ駆動部105、レンズ制御部106、および、レンズ操作部107を備えている。固定レンズ101、絞り102、および、フォーカスレンズ103は、撮像光学系を構成する。固定レンズ101は、固定された複数のレンズを有する第1レンズ群である。絞り102は、絞り駆動部104により駆動され、後述する撮像素子201への入射光量を調節する。フォーカスレンズ103は、フォーカスレンズ駆動部105により駆動され、撮像素子201に結像される焦点の調節を行う。なお、ズーム用の第2レンズ群を撮像光学系に設けてもよい。
【0025】
絞り駆動部104およびフォーカスレンズ駆動部105は、レンズ制御部106により制御され、絞り102の開口量(開口径)やフォーカスレンズ103の位置を変更する。ユーザがレンズ操作部107を操作すると、レンズ制御部106は、ユーザの操作に基づいて絞り駆動部104およびフォーカスレンズ駆動部105を制御する。またレンズ制御部106は、カメラ本体20に設けられたカメラ制御部207から受信した制御命令や制御情報に応じて絞り駆動部104およびフォーカスレンズ駆動部105を制御し、制御に係る情報(レンズ制御情報)をカメラ制御部207に送信する。
【0026】
カメラ本体20は、レンズユニット10の撮像光学系(固定レンズ101、絞り102、および、フォーカスレンズ103)を通過した光束から撮像信号を取得する。カメラ本体20は、撮像素子201、CDS(相関二重サンプリング)/AGC(自動利得制御)回路202、カメラ信号処理部203、および、AF信号処理部204を備えている。またカメラ本体20は、表示部205、記録部206、カメラ制御部207、カメラ操作部208、および、タイミングジェネレータ209を備えている。
【0027】
本実施形態において、AF信号処理部(焦点検出手段)204は、撮像光学系の互いに異なる瞳領域を通過した光束に基づいて生成される一対の像信号の位相差に基づいてデフォーカス量を検出する。カメラ制御部(制御手段)207は、AF信号処理部204により検出されたデフォーカス量に基づいてフォーカスレンズ103を制御する(オートフォーカス制御を行う)。また本実施形態において、AF信号処理部204およびカメラ制御部207により制御装置が構成される。
【0028】
撮像素子201は、CCDセンサやCMOSセンサなどの撮像センサであり、撮像光学系を通過した光束を受光面上で結像し、フォトダイオードによって入射光量に応じた信号電荷に変換する(撮像光学系を介して形成された光学像を光電変換する)。各フォトダイオードに蓄積された信号電荷は、カメラ制御部207の指令に従い、タイミングジェネレータ209からの駆動パルスに基づいて信号電荷に応じた電圧信号として撮像素子201から順次読み出される。
【0029】
図2は、撮像面位相差AF方式用の撮像素子201の画素構成図である。
図2に示されるように、撮像素子201は、撮像面位相差AFを行うため、1つの画素に2つのフォトダイオードを有する。すなわち、画素201aはフォトダイオードRA、RB、画素201bはフォトダイオードGrA、GrB、画素201cはフォトダイオードGbA、GbB、画素201dはフォトダイオードBA、BBを有する。
【0030】
なお、
図2は、撮像素子201の受光面の一部を表している。撮像素子201の各画素において、レンズユニット10の撮像光学系からの光束がマイクロレンズで分離され、2つのフォトダイオードで結像されることで、撮像信号およびAF信号が生成される。これら2つのフォトダイオードの信号を加算した信号(信号A+B)が撮像信号であり、個々のフォトダイオードの信号(信号A、信号B)が撮像面位相差AF方式用の2つの像信号(AF信号)である。AF信号に基づいて、後述するAF信号処理部204で2つの像信号に対して相関演算が行われ、像ずれ量や各種信頼性情報が算出される。
【0031】
図1に示されるように、撮像素子201から読み出された撮像信号およびAF信号は、CDS/AGC回路202においてサンプリングおよびゲイン調整処理が行われ、撮像信号はカメラ信号処理部203に、AF信号はAF信号処理部204にそれぞれ出力される。
【0032】
カメラ信号処理部203は、CDS/AGC回路202から出力された撮像信号に対して各種の画像処理を施すことにより、映像信号を生成する。表示部205は、LCD(液晶ディスプレイ)等により構成される表示装置であり、カメラ信号処理部203から出力された映像信号を撮像画像として表示する。記録部206は、カメラ信号処理部203からの映像信号を磁気テープ、光ディスク、半導体メモリ等の記憶媒体に記録する。
【0033】
AF信号処理部(焦点検出手段)204は、CDS/AGC回路202から出力されたAF用の2つの像信号に対して相関演算を行い、デフォーカス量、デフォーカス方向、および、信頼性情報を算出する。信頼性情報は、デフォーカス量の信頼性、二像一致度、二像急峻度、コントラスト情報、飽和情報、および、キズ情報等を含むが、これらに限定されるものではない。AF信号処理部204は、算出したデフォーカス量、デフォーカス方向、および、信頼性情報をカメラ制御部207へ出力する。一方、カメラ制御部207は、AF信号処理部204から取得したデフォーカス量、デフォーカス方向および信頼性情報に基づいて、これらを算出するための設定の変更をAF信号処理部204に通知する。なお、相関演算の詳細については、
図3乃至
図9を参照して後述する。
【0034】
本実施形態は、撮像信号およびAF用の2つの像信号の計3つの信号を撮像素子201から取り出しているが、これに限定されるものではない。撮像素子201の負荷を考慮し、例えば撮像信号およびAF用の1つの像信号の計2つを取り出し、AF信号処理部204等において撮像信号とAF信号の差分を取ることで、他の1つのAF用の像信号を生成してもよい。
【0035】
カメラ制御部207は、カメラ本体20の各部と情報をやり取りして各種制御を行う。またカメラ制御部207は、カメラ操作部208に対するユーザの入力に応じて、電源のON/OFF、設定の変更、記録の開始、AF制御の開始、および、記録映像の確認等の様々なカメラ機能を実行する。またカメラ制御部207は、前述のようにレンズユニット10のレンズ制御部106と情報をやり取りし、レンズユニット10に係る制御命令および制御情報を送り、またレンズユニット10に関する様々な情報を取得する。
【0036】
なお、詳細は後述するが、カメラ制御部207は、第一のモードおよび第二のモードを実行することが可能である。第一のモードにおいて、カメラ制御部207は、フォーカスレンズ103を駆動させ、自動で被写体に合焦制御(オートフォーカス制御)を続ける。第二のモードにおいて、カメラ制御部207は、デフォーカス量が所定の深度内かつ信頼性(信頼性情報)が高い場合、フォーカスレンズ103を停止させる。また第二のモードにおいて、カメラ制御部207は、デフォーカス量が所定の深度外または信頼性が低い場合、デフォーカス量および信頼性に基づいてフォーカスレンズ103を合焦駆動または停止させる。
【0037】
ここで、合焦動作の際、カメラ制御部207がレンズ制御部106に制御信号を送り、それに応じてレンズ制御部106がフォーカスレンズ駆動部105を制御することにより、合焦動作が行われる。このため、以下、カメラ制御部207がフォーカスレンズ103を駆動するという場合、カメラ制御部207は、レンズ制御部106およびフォーカスレンズ駆動部105を介してフォーカスレンズ103の駆動を制御する。
【0038】
次に、
図3乃至
図9を参照して、AF信号処理部204で行われる相関演算について説明する。
図3は、相関演算の説明図であり、焦点検出処理で取り扱う測距範囲(焦点検出範囲)として像信号を取得する領域の一例を示している。
図3は、撮像素子201の画素アレイ上の測距範囲を示し、撮像素子201の画素アレイ301、測距エリア(焦点検出領域)302、および、相関演算に必要なシフト領域303を示す。また
図3は、測距エリア302とシフト領域303とを合わせた領域であって、相関演算を行う為に必要な領域304を示す。
図3中のp、q、s、tはそれぞれx軸方向の座標を表し、座標pからqは領域304を表し、座標sからtは測距エリア302を表す。
【0039】
図4は、像信号の波形例のグラフであり、
図3で設定した測距エリア302から取得された2つの像信号(AF信号)の波形の一例を示している。
図4において、座標sからtが測距エリア302に係る測距範囲を表し、pからqがシフト領域304に係るシフト量を踏まえた測距演算に必要な範囲である。
【0040】
図4(A)は、シフト前の像信号の波形を表した図であり、実線401が像信号Aに係る波形、破線402が像信号Bに係る波形である。
図4(B)は、
図4(A)に示すシフト前の像信号A、Bに係る波形をプラス方向にシフトさせた図である。また、
図4(C)は、
図4(A)に示すシフト前の像信号A、Bに係る波形をマイナス方向にシフトさせた図である。本実施形態における相関演算は、像信号Aと像信号Bとの間の相関量を算出する際に、
図4(B)および
図4(C)に示される矢印の方向に像信号A、Bに係る波形401、402を1ビットずつシフトする。
【0041】
続いて、相関量CORの算出法について説明する。まず、
図4(B)、(C)を参照して説明したように、像信号Aと像信号Bとを1ビットずつシフトしていき、そのときの像信号Aと像信号Bの差の絶対値の和を算出する。このとき、シフト量をiで表すと、最小シフト量は
図4中のp-sであり、最大シフト量は
図4中のq-tであるため、シフト量iは、(p-s)<i<(q-t)の範囲にある。また、測距領域の開始座標をxとし、測距領域の終了座標をyとし、k=x~yとすると、以下の式(1)によって、シフト量iに応じた相関量COR[i]を算出することができる。
【0042】
【0043】
図5は、相関量CORの波形例を示すグラフである。グラフの横軸はシフト量iであり、縦軸は相関量CORである。
図5中、符号501は相関量波形を示し、符号502、503は相関量波形501の極小値周辺を示している。この中でも相関量CORが小さい方ほど、A像とB像の一致度が高い。
【0044】
続いて、相関変化量ΔCORの算出方法について説明する。まず、
図5の相関量波形501から、1シフト飛ばしの相関量CORの差(すなわち、COR[i-1]-COR[i+1])をとることにより、相関変化量ΔCORを算出する。最小シフト数は
図5中のp-sであり、最大シフト数は
図5中のq-tである。これらを用いて、以下の式(2)により、シフト量iに応じた相関変化量ΔCOR[i]を算出することができる。
【0045】
【0046】
図6は、
図5に示される相関量COR(波形501)の相関変化量ΔCORの波形例を示すグラフである。グラフの横軸はシフト量iであり、縦軸は相関変化量ΔCORである。
図6中、符号601はシフト量iに応じた相関変化量ΔCORの波形を示し、符号602、603は相関変化量ΔCORがプラスからマイナスになる周辺を示す。符号602で示す相関変化量ΔCORが0となるときをゼロクロスと呼び、A像とB像との一致度が最も高く、その時のシフト量iがピントずれ量となる。なお、符号603で示す相関変化量ΔCORが0となるときもゼロクロスと呼び、
図6の例では複数のゼロクロスが存在し、この場合については後述する。
【0047】
図7は、
図6中の符号602付近の相関変化量ΔCORの波形601を拡大したグラフであり、符号701は相関変化量ΔCORに係る波形601の一部分である。これより、ピントずれ量(焦点ずれ量)PRDの算出法について説明する。
【0048】
まず、ピントずれ量PRDは、
図7中のゼロクロス(C点)におけるシフト量iの値であり、整数部分βと小数部分αに分けられ、PRD=β+αである。整数部分βは、
図7中よりβ=u-1である。ここで、uは、ゼロクロス(C点)におけるシフト量iの整数部分に1を加えた値である。また、小数部分αは、
図7中の三角形ABCと三角形ADEの相似の関係から、以下の式(3)によって算出することができる。
【0049】
【0050】
以上、αとβとの和からピントずれ量PRDを算出することができる。また、
図6のように複数のゼロクロスが存在する場合、ゼロクロスでの相関量変化(
図7の例ではADの大きさ)の急峻性maxder(以下「急峻性」と呼ぶ。)が最も大きな値を有するゼロクロスを第一のゼロクロスとする。この急峻性はAFのし易さを示す指標であり、値が大きいほどAFし易い点であることを示す。急峻性maxderは、以下の式(4)により算出することができる。
【0051】
【0052】
以上のように、ゼロクロスが複数存在する場合、急峻性を算出し、最も大きい急峻性を有するゼロクロスを第一のゼロクロスとして決定し、第一のゼロクロスについてピントずれ量PRDを算出する。
【0053】
続いて、ピントずれ量PRDの信頼性の算出方法について説明する。ピントずれ量PRDの信頼性は、前述の急峻性や、像信号A、Bの2像の一致度fnclvl(以下、「2像一致度」と呼ぶ。)によって定義することができる。2像一致度fnclvlは、ピントずれ量PRDの精度を表す指標であり、その値が小さいほど精度がよい。
【0054】
図8は、2像一致度の算出方法の説明図である。
図8は、
図5の符号502で示す部分を拡大したグラフに相当し、符号801は相関量波形501のうち符号502で示す一部分を示す。2像一致度fnclvlは以下の式(5)により算出することができる。
【0055】
【0056】
図9は、デフォーカス量の算出(位相差AF処理)を示すフローチャートである。
図9の各ステップは、主に、カメラ制御部207の指令に基づいてAF信号処理部204により実行される。
【0057】
まずステップS901において、AF信号処理部204は、CDS/AGC回路202から、撮像素子201の任意に設定した測距エリア302から像信号A、Bに係る像データを取得する。続いてステップS902において、AF信号処理部204は、ステップS901にて取得した像データからシフト量iに応じた相関量COR[i]を算出する。続いてステップS903で、AF信号処理部204は、ステップS902で算出した相関量COR[i]から相関変化量ΔCOR[i]を算出する。
【0058】
続いてステップS904において、AF信号処理部204は、ステップS903にて算出した相関変化量ΔCOR[i]のゼロクロスにおけるシフト量iからピントずれ量PRD(=β+α)を算出する。続いてステップS905において、AF信号処理部204は、ステップS904にて算出したピントずれ量PRDがどれだけ信頼できるのかを表す信頼性(信頼性情報)を算出する。AF信号処理部204は、これらの処理を、測距エリア302の数だけ行う。
【0059】
続いてステップS906において、AF信号処理部204は、測距エリア302ごとにピントずれ量PRDをデフォーカス量に変換する。ここで、ピントずれ量PRDとデフォーカス量は、通常、比例関係にある(特許文献4参照)。このためAF信号処理部204は、不揮発性メモリ(不図示)に予め記憶された比例関係に基づいて、ピントずれ量PRDをデフォーカス量に変換するようにしてもよい。
【0060】
<AF制御処理>
次に、
図10を参照して、カメラ制御部207により実行されるAF制御処理について説明する。
図10は、カメラ制御部207により実行されるAF制御処理を示すフローチャートである。AF制御処理は、カメラ制御部207または撮像装置100に設けられたROM(不図示)等に格納されたコンピュータプログラムに従って実行される。またAF制御処理は、例えば1フィールド画像を生成するための撮像素子201からの撮像信号の読み出しごとに繰り返し実行される。
【0061】
まずステップS1001において、カメラ制御部207は、レンズ制御部106を通じて受け取ったレンズ操作部107からの情報に基づいて、ユーザにより設定されたフォーカシング動作に関するAFモードを判定する。具体的には、カメラ制御部207は、AFモードが連続モード(第一のモード)または安定モード(第二のモード)であるかを判定する。AFモードが連続モードの場合、ステップS1002へ進む。一方、AFモードが安定モードの場合、ステップS1004へ進む。
【0062】
ここで「連続モード」は、AF信号処理部204で算出されたデフォーカス量、デフォーカス方向、および、信頼性情報に基づいて、撮像装置100が自動で常に被写体を探索し続け、自動で被写体にピントを合わせ(オートフォーカス制御)を続けるモードである。「安定モード」は、AF信号処理部204で算出されたデフォーカス量、デフォーカス方向、および、信頼性情報が所定の条件を満たす場合にのみ被写体に対してピントを合わせ(合焦を)続けるモードである。ここで、所定の条件については後述する。なおユーザは、レンズ操作部107に対する操作により、AFモードとして連続モード(第一のモード)または安定モード(第二のモード)を設定することが可能である。
【0063】
ステップS1002において、カメラ制御部207は、連続モードの駆動処理を行う。なお、ステップS1002の詳細については後述する。続いてステップS1003において、カメラ制御部207は、手動によるフォーカシング動作(マニュアルフォーカス制御、MF操作)を不許可(OFF)にする。続いてステップS1006において、カメラ制御部207は、レンズ駆動処理が実行中であることをユーザに示すために表示部205に表示されたフォーカス枠を白枠で表示する。
【0064】
ステップS1004において、カメラ制御部207は、安定モードの駆動処理を行う。なお、ステップS1004の詳細については後述する。続いてステップS1005において、カメラ制御部207は、後述のMF操作許可フラグがONか否かを判定する。MF操作許可フラグがOFFの場合(ステップS1005にてNoの場合)、カメラ制御部207は、ステップS1007に進み、MF操作をOFF(不許可)にする。一方、MF操作許可フラグがONの場合(ステップS1005にてYesの場合)、カメラ制御部207は、ステップS1008に進み、MF操作をON(許可)する。
【0065】
続いてステップS1009において、カメラ制御部207は、安定モード表示フラグがONか否かを判定する。安定モード表示フラグがONの場合(ステップS1009にてYesの場合)、ステップS1011に進み、カメラ制御部207は表示部205に表示されたフォーカス枠を黄枠で表示する。一方、安定モード表示フラグがOFFの場合(ステップS1009にてNo)は、ステップS1010に進み、カメラ制御部207は表示部205に表示されたフォーカス枠を白枠で表示する。
【0066】
ステップS1007およびステップS1008にて設定されるMF操作許可フラグは、後述する安定モードのレンズ駆動処理時にレンズの駆動状態を示すフラグである。例えば、一時的にレンズ駆動を停止している状態の際において、MF操作許可フラグはONに設定されている。
【0067】
ここで、後述する安定モードのレンズ駆動処理が実行中であるか、レンズ駆動処理が停止中であるかを表示部205の表示によりユーザに通知してもよい。
図15は、画面表示例の模式図である。例えば
図15に示されるように、フォーカス枠に関する白枠表示1502、1504、黄枠表示1506や、AFモードに関するアイコン表示1503、1505、1507を表示部205に表示する。連続モード時や安定モード時に安定モード表示フラグがOFFでレンズ駆動処理が実行中である場合、フォーカス枠表示を白枠表示1502、1504にする。一方、所定の範囲外のデフォーカス量が算出されている場合、フォーカス枠表示を黄枠表示1506にしてもよい。
【0068】
また、アイコン表示1505、1507を互いに異なる表示とすることで、安定モードにおけるMF操作許可フラグのON/OFFの違いをユーザに通知してもよい。これにより、ユーザは、レンズ駆動処理が実行中(安定モード表示フラグがOFF)であること、または一時的にレンズ駆動処理が停止している状態(安定モード表示フラグがON)であることを判定することができる。そしてユーザは、撮像装置100が被写体を探してピント合わせを自動で行う状態か、または、ピント合わせが停止している状態でありユーザの意志により被写体に対してピントを合わせたい場合、手動によるフォーカシングが必要な状態かを判定することができる。
【0069】
手動によるフォーカシングが必要な状態である場合、MF操作がON(許可)される(ステップS1008)。また、表示部205のアイコン表示により、AFモードが連続モードであるか(アイコン表示1503)、または安定モードであるか(アイコン表示1505、1507)を示してもよい。前述の表示については、これに限定されるものではなく、ユーザがAFモードの種類やMF操作許可フラグのON/OFFを判定可能であればよく、表示以外の手法(音声による通知等)を用いてもよい。
【0070】
次に、
図11を参照して、連続モードの駆動処理(ステップS1002)について説明する。
図11は、連続モードの駆動処理を示すフローチャートである。
図11の各ステップは、主に、カメラ制御部207により実行される。
【0071】
まずステップS1101において、カメラ制御部207は、AF信号処理部204から前回取得した算出結果(デフォーカス量、デフォーカス方向、および、信頼性情報)を撮像装置100に設けられた不揮発性メモリ(不図示)に記憶する。本実施形態では、複数回の算出結果の履歴を保持できるように例えばリングバッファのような領域を設け、前回の算出結果を記憶する際には、それ以前の算出結果をずらして記憶するが、これに限定されるものではない。続いてステップS1102において、カメラ制御部207は、最新の算出結果をAF信号処理部204から取得する。
【0072】
続いてステップS1103において、カメラ制御部207は、ステップS1102にてAF信号処理部204から取得した算出結果に基づいて、デフォーカス量が所定の深度内にあり且つデフォーカス量の信頼性(信頼性情報)が「高」であるか否かを判定する。デフォーカス量が所定の深度内にあり且つ信頼性が「高」である場合(ステップS1103にてYes)、ステップS1104へ進み、カメラ制御部207は合焦停止フラグをONに設定する。続いてステップS1105において、カメラ制御部207は、フォーカスレンズ103の駆動を停止し、処理を終了する。一方、デフォーカス量が所定の深度内に無いか、または信頼性が「高」でない場合(ステップS1103にてNo)、ステップS1106へ進み、カメラ制御部207は合焦停止フラグをOFFに設定する。
【0073】
ここで、デフォーカス量の信頼性は、AF信号処理部204により、デフォーカス量の精度およびデフォーカス方向が確かである場合に「高」と判定され、デフォーカス量の精度が不確かであるがデフォーカス方向が確かである場合に「中」と判定される。デフォーカス量の信頼性が「高」である場合とは、主被写体に対して合焦近傍にフォーカスしている状態、または、既に合焦している状態である。この場合、カメラ制御部207は、AF信号処理部204からのデフォーカス量を信頼し、ピントが合うようにフォーカスレンズ103の駆動を行う。
【0074】
デフォーカス量の信頼性が「中」の場合とは、AF信号処理部204からの信頼性情報の二像一致度だけが所定値よりも低いため、デフォーカス量の精度は確かではないが、デフォーカス方向は信頼できる状態で、主被写体に対して小ボケの状態である。デフォーカス量の信頼性が「中」の場合、カメラ制御部207は、デフォーカス量を信頼せず、サーチ駆動を行う。ここで、サーチ駆動は、AF信号処理部204からのデフォーカス量を用いずにフォーカスレンズ103を所定方向に所定量駆動し被写体を探す駆動である。前述の場合、サーチ駆動の開始方向は、AF信号処理部204から取得したデフォーカス方向に設定される。
【0075】
デフォーカス量の精度が確かでなく且つデフォーカス方向も信頼できない場合、デフォーカス量の信頼性は「低」であると判定される。デフォーカス量の信頼性が「低」である状態は、例えば、被写体に対して大きくボケている状態であり、デフォーカス量が正しく算出できないような状態である。この場合、デフォーカス量を信頼せず、サーチ駆動が行われる。サーチ駆動の開始方向は、AF信号処理部204からのデフォーカス方向を用いずに、例えばレンズ端から遠い方向と設定される。なお、ここで述べたデフォーカス量の信頼性の判定(「高、中、低」)は、前述の例に限定されるものではない。
【0076】
デフォーカス量が所定の深度内になく、または、デフォーカス量の信頼性が「高」でない場合、ステップS1106において、カメラ制御部207は、合焦停止フラグをOFFにする。続いてステップS1107において、カメラ制御部207は、後述する連続モードのレンズ駆動処理を行い、処理を終了する。
【0077】
次に、
図12を参照して、連続モードのレンズ駆動処理(ステップS1107)について説明する。
図12は、連続モードのレンズ駆動処理を示すフローチャートである。
図12の各ステップは、主に、カメラ制御部207により実行される。
【0078】
まずステップS1201において、カメラ制御部207は、AF信号処理部204から得られたデフォーカス量がステップS1103における所定の深度内になく且つ信頼性が「高」か否かを判定する。所定の深度内にないデフォーカス量が得られ且つ信頼性が「高」の場合(ステップS1201にてYesの場合)、カメラ制御部207は、ステップS1202へ進む。ステップS1202において、カメラ制御部207は、得られたデフォーカス量およびデフォーカス方向に基づいてフォーカスレンズ103の駆動量および駆動方向を設定する。続いてステップS1203において、カメラ制御部207は、測距エラーカウント値および端カウント値をクリアする。続いてステップS1204において、カメラ制御部207は、ステップS1202にて設定した駆動量および駆動方向に基づいてフォーカスレンズ103を駆動し、処理を終了する。
【0079】
一方、ステップS1201にてデフォーカス量が得られなかった場合または信頼性が「高」でない場合(ステップS1201にてNoの場合)、カメラ制御部207は、ステップS1205へ進む。ステップS1205において、カメラ制御部207は、測距エラーカウント値が第一のカウント値よりも大きいか否かを判定する。ここで、第一のカウント値は、撮像装置100に設けられた不揮発性のメモリ(不図示)に予め記憶された値である。
【0080】
ステップS1205にて測距エラーカウント値が第一のカウント値よりも大きくない場合(ステップS1205にてNoの場合)、ステップS1206へ進む。ステップS1206において、カメラ制御部207は、測距エラーカウント値をカウントアップ(+1)し、処理を終了する。
【0081】
一方、ステップS1205にて測距エラーカウント値が第一のカウント値よりも大きい場合(ステップS1205にてYesの場合)、カメラ制御部207は、ステップS1207へ進む。ステップS1207において、カメラ制御部207は、後述するサーチ駆動フラグがONであるか否かを判定する。サーチ駆動フラグがONの場合(ステップS1207にてYesの場合)、既にサーチ駆動が実行されている状態であるため、カメラ制御部207は、前回のレンズ駆動を継続して実行する。
【0082】
ステップS1214において、カメラ制御部207は、フォーカスレンズ103がサーチ駆動され、レンズ端にあたったか否かを判定する。フォーカスレンズ103がレンズ端にあたった場合(ステップS1214にてYesの場合)、ステップS1215へ進む。ステップS1215において、カメラ制御部207は、端カウント値をカウントアップ(+1)する。
【0083】
続いてステップS1216において、カメラ制御部207は、端カウント値が1よりも大きい(すなわち2以上)か否かを判定する。端カウント値が1よりも大きい場合(ステップS1216にてYesの場合)、カメラ制御部207は、フォーカスレンズ103を至近から無限まで全て駆動させても確かなデフォーカス量を取得できなかったため、ピント合わせ可能な被写体がないと判定する。このためステップS1217へ進み、カメラ制御部207は、サーチ駆動フラグをOFFする。続いてステップS1218において、カメラ制御部207は、測距エラーカウント値および端カウント値をクリアする。続いてステップS1219において、カメラ制御部207は、フォーカスレンズ103の駆動を停止させ、処理を終了する。
【0084】
一方、ステップS1216にて端カウント値が1より大きくない場合(ステップS1216にてNoの場合)、ステップS1220へ進む。ステップS1220において、カメラ制御部207は、フォーカスレンズ103の駆動方向を現在の駆動方向とは反対の駆動方向に設定する。続いてステップS1212において、カメラ制御部207は、所定の駆動量を設定する。続いてステップS1213において、カメラ制御部207は、ステップS1212にて設定された所定の駆動量およびステップS1220にて設定された駆動方向に基づいて、フォーカスレンズ103を駆動し、処理を終了する。
【0085】
ステップS1207にてサーチ駆動フラグがOFFの場合(ステップS1207にてNoの場合)、まだサーチ動作を開始している状態ではない。このためステップS1208へ進み、カメラ制御部207は、サーチ駆動フラグをONする。続いてステップS1209において、カメラ制御部207は、デフォーカス量の信頼性が「中」であるか否かを判定する。
【0086】
ステップS1209にてデフォーカス量の信頼性が「中」である場合(ステップS1209にてYesの場合)、ステップS1210へ進む。ステップS1210において、カメラ制御部207は、AF信号処理部204から取得したデフォーカス方向(算出結果)を用いて駆動方向を設定する。続いてステップS1212において、カメラ制御部207は、所定の駆動量を設定する。続いてステップS1213において、カメラ制御部207は、ステップS1210にて取得したデフォーカス方向に、ステップS1212にて設定した所定の駆動量だけフォーカスレンズ103を駆動し、処理を終了する。
【0087】
一方、ステップS1209にてデフォーカス量の信頼性が「中」ではない場合(ステップS1209にてNoの場合)、ステップS1211へ進む。ステップS1211において、カメラ制御部207は、レンズ端から遠い方向へ駆動方向を設定する。続いてステップS1212において、カメラ制御部207は、所定の駆動量を設定する。続いてステップS1213において、カメラ制御部207は、ステップS1211にて設定した駆動方向にステップS1212にて設定した所定の駆動量だけフォーカスレンズ103を駆動し、処理を終了する。
【0088】
なお、ステップS1212における所定の駆動量としては、撮像装置100に設けられた不揮発性メモリ(不図示)に予め格納された値を用いればよい。例えば、所定の駆動量は、焦点深度の7倍の駆動量である。また所定の駆動量は、焦点距離に応じて可変にしてもよい。例えば、焦点距離が長くなるほど大きな駆動量となるようにすることができる。
【0089】
次に、
図13を参照して、安定モードの駆動処理(ステップS1004)について説明する。
図13は、安定モードの駆動処理を示すフローチャートである。
図13の各ステップは、主に、カメラ制御部207により実行される。
【0090】
まずステップS1301において、カメラ制御部207は、AF信号処理部204から前回取得した算出結果(デフォーカス量、デフォーカス方向、および、信頼性情報)を、カメラ制御部207の内部メモリ等の不揮発性メモリ(記憶手段)に記憶する。本実施形態では、ステップS1101と同様に、複数回の算出結果の履歴を保持できるように例えばリングバッファのような領域を設け、前回の算出結果を記憶する際には、それ以前の算出結果をずらして記憶するが、これに限定されるものではない。続いてステップS1302において、カメラ制御部207は、最新の算出結果をAF信号処理部204から取得する。
【0091】
続いてステップS1303において、カメラ制御部207は、デフォーカス量の信頼性が「高」であるか否かを判定する。デフォーカス量の信頼性が「高」でない場合(ステップS1303にてNoの場合)、ステップS1316へ進み、カメラ制御部207は合焦停止フラグをOFFにする。続いてステップS1317において、カメラ制御部207は、フォーカスレンズ103の駆動を停止する。続いてステップS1318において、カメラ制御部207は、MF操作許可フラグをONにする。続いてステップS1319において、カメラ制御部207は、安定モード表示フラグをONにし、処理を終了する。
【0092】
一方、ステップS1303にてデフォーカス量の信頼性が「高」である場合(ステップS1303にてYesの場合)、ステップS1304へ進み、カメラ制御部207はAFMF判定処理を行う。AFMF判定処理については、
図14を参照して後述する。続いてステップS1305において、カメラ制御部207は、AF許可フラグがONか否かを判定する。AF許可フラグがOFFの場合、ステップS1316へ進む。一方、AF許可フラグがONの場合、ステップS1306へ進む。
【0093】
ステップS1306において、カメラ制御部207は、デフォーカス量が所定の深度内かつ信頼性が「高」か否かを判定する。デフォーカス量が所定の深度内かつ信頼性が「高」である場合、ステップS1307へ進む。ステップS1307において、カメラ制御部207は、合焦停止フラグをONにする。続いてステップS1308において、カメラ制御部207は、レンズ駆動を停止する。続いてステップS1309において、カメラ制御部207は、MF操作許可フラグをONにする。続いてステップS1310において、カメラ制御部207は、安定モード表示フラグをOFFにし、処理を終了する。
【0094】
一方、ステップS1306にてデフォーカス量が所定の深度内でないか、または信頼性が「高」でない場合、ステップS1311へ進む。ステップS1311において、カメラ制御部207は、合焦停止フラグをOFFにする。続いてステップS1312において、カメラ制御部207は、レンズ駆動設定処理を行う。
【0095】
図23は、レンズ駆動設定処理(ステップS1312)を示すフローチャートである。
図23の各ステップは、主に、カメラ制御部207により実行される。まずステップS2301において、カメラ制御部207は、ステップS1302にて取得したデフォーカス量およびデフォーカス方向に基づいて、フォーカスレンズ103の駆動目標位置および駆動方向を設定する。ここで駆動目標位置とは、レンズ位置検出部(不図示)により検出された現在のフォーカスレンズ103の位置に、デフォーカス量に基づいて算出されたフォーカスレンズ103の駆動量を加えた位置に相当する。デフォーカス量の信頼性が高い場合、駆動目標位置は合焦位置と略等価と考えることができる。ただし、合焦位置から離れた大ボケ状態などでは算出したデフォーカス量の信頼性は低いため、デフォーカス量を用いずにフォーカスレンズ103を所定方向に所定量駆動し被写体を探すサーチ駆動を行う。前述の場合、サーチ駆動の開始方向は、ステップS1302にて取得したデフォーカス方向に設定される。
【0096】
続いてステップS2302において、カメラ制御部207は、ステップS2301にて設定したフォーカスレンズ103の駆動目標位置と現在の位置とに基づいてフォーカスレンズ103の駆動速度を設定する。ここでは、現在の位置から駆動目標位置の間を所定時間かけて駆動するように、現在の位置と駆動目標位置の差を所定時間で割った値を設定する。実際には、駆動目標位置を超えないようにするため、かつ滑らかなフォーカス動作を実現するため、駆動目標位置の手前で減速を行うことが好ましい。また、駆動速度計算に用いる所定時間や前述したサーチ駆動における駆動速度は予めカメラ制御部207の内部メモリ等の不揮発性メモリに記憶しておき、さらにAFスピードのようなメニューの設定(不図示)に応じて変更してもよい。
【0097】
続いて
図13のステップS1313において、カメラ制御部207は、レンズ駆動を実行する。続いてステップS1314において、カメラ制御部207は、MF操作許可フラグをOFFにする。続いてステップS1315において、カメラ制御部207は、安定モード表示フラグをOFFにし、処理を終了する。
【0098】
次に、
図14を参照して、MFAF判定処理(ステップS1304)を説明する。
図14の各ステップは、主に、カメラ制御部207により実行される。まずステップS1402において、カメラ制御部207は、MF操作フラグがONであって、かつMF操作中であるか否かを判定する。MF操作フラグがONであって、かつMF操作中である場合(ステップS1402にてYesの場合)、ステップS1403へ進み、カメラ制御部207は遠近競合判定処理を行う。なお、遠近競合判定処理については、
図16および
図17を参照して後述する。一方、MF操作フラグがOFF、またはMF操作中でない場合、ステップS1409へ進み、カメラ制御部207は被写体状態判定処理を行う。なお、被写体状態判定処理については、
図24を参照して後述する。
【0099】
ステップS1404において、カメラ制御部207は、遠近競合フラグがONか否かを判定する。遠近競合フラグがONである場合、ステップS1405へ進み、カメラ制御部207は速度変化算出処理を行う。 なお、速度変化算出処理については、
図18および
図19を参照して後述する。一方、遠近競合フラグがOFFである場合、ステップS1407へ進み、カメラ制御部207はMF操作→AF開始閾値設定処理を行う。なお、MF操作→AF開始閾値設定処理は、
図20および
図21を参照して後述する。
【0100】
ステップS1406において、カメラ制御部207は、減速フラグがONか否かを判定する。減速フラグがONである場合、ステップS1408へ進む。ステップS1408において、カメラ制御部207は、AF許可フラグをONにして処理を終了する。一方、減速フラグがOFFの場合、ステップS1414へ進む。ステップS1414において、カメラ制御部207は、AF許可フラグをOFFにして処理を終了する。
【0101】
ステップS1410において、カメラ制御部207は、AF許可フラグがONか否かを判定する。AF許可フラグがONである場合、ステップS1411へ進み、カメラ制御部207は、AF駆動→AF停止閾値設定処理を行う。AF駆動→AF停止閾値設定処理については、
図22を参照して後述する。一方、ステップS1410にてAF許可フラグがOFFである場合、ステップS1412へ進み、カメラ制御部207は、AF停止→AF開始閾値設定処理を行う。ステップS1412のAF停止→AF開始閾値設定処理は本実施形態の特徴の一つであり、その詳細は
図25を参照して後述する。
【0102】
ステップS1407、ステップS1411、または、ステップS1412の閾値設定処理が終了した後、ステップS1413に進む。ステップS1413において、カメラ制御部207は、デフォーカス量がステップS1407、ステップS1411、または、ステップS1412にて算出された閾値以下か否かを判定する。デフォーカス量が閾値以下である場合、ステップS1408へ進む。ステップS1408において、カメラ制御部207は、AF許可フラグをONにして処理を終了する。一方、デフォーカス量が閾値よりも大きい場合、ステップS1414へ進む。ステップS1414において、カメラ制御部207は、AF許可フラグをOFFにして処理を終了する。
【0103】
<遠近競合判定処理>
次に、
図16を参照して、遠近競合判定処理(ステップS1403)について説明する。
図16は、遠近競合判定処理の説明図である。まず、
図16(A)に示されるように、カメラ1603に対して、至近側の被写体1601および無限側の被写体1600が存在するシーンを想定する。
図16(B)は、そのシーンでの実際の撮影された画角1602である。ユーザは、合焦動作をさせるため、
図3に示される測距枠(エリア302)を複数マトリクス状に配置した測距枠1604を任意の位置に配置することが可能である。本実施形態の場合、測距枠1604は3×3の合計9枠での測距を行う。なお、測距枠の数はこれに限定されるものではなく、任意に変更することが可能である。
【0104】
図16(C)は、遠近競合していない場合の測距枠位置を示している。測距枠1605は、被写体1601に対して設定されている。このため、測距結果として算出されるデフォーカス量を焦点深度に換算した場合、
図16(E)に示されるようになる。
図16(E)に示されるように、各測距枠の測距結果が焦点深度の0~1.0倍程度の値に収まる結果になる。
【0105】
一方、
図16(D)は、遠近競合している場合の測距枠位置を示している。測距枠1606は、被写体1601と被写体1600に対して設定されている。このため、測距結果として算出されるデフォーカス量を焦点深度に換算した場合、
図16(F)に示されるようになる。
図16(F)に示されるように、被写体1601に合焦している場合、破線で囲われた測距枠1608の測距結果が焦点深度の0~1.0倍程度の値に収まる。一方、被写体1600の測距枠に対して設定されている破線で囲われた測距枠1609は、焦点深度を大きく超えた値となり、または、測距結果の信頼性が低くなり、Err(エラー値)となって算出される場合もある。すなわち、遠近競合してない被写体の場合には複数の測距枠内の値が一定の範囲内に収まり、一方、遠近競合している被写体の場合には複数の測距枠内の値が一定の範囲内に収まらない傾向にある。なお本実施形態では、一定の範囲とは「焦点深度の4倍」と設定し、それ以上のデフォーカス量が算出される場合は、同一被写体ではなく無限側と至近側の被写体が測距枠内に存在していると判定するが、これに限定されるものではない。
【0106】
次に、
図17(A)を参照して、遠近競合判定処理の処理フローについて説明する。
図17(A)は、遠近競合判定処理を示すフローチャートである。
図17(A)の各ステップは、主に、カメラ制御部207により実行される。
【0107】
まずステップS1701において、カメラ制御部207は、測距枠内に信頼性が低い領域があるか否かを判定する。信頼性が低い領域がある場合、ステップS1704へ進む。ステップS1704において、カメラ制御部207は、遠近競合フラグをONにして処理を終了する。
【0108】
一方、ステップS1701にて測距枠内に信頼性が低い領域がない場合、ステップS1702へ進む。ステップS1702において、カメラ制御部207は、測距枠内の測距結果が所定の深度Thc以内か否かを判定する。所定の深度Thcとは、同一被写体か否かの判定に用いる閾値であり、本実施形態では、焦点深度の4倍である。ただし本発明は、これに限定されるものではなく、例えば、所定の深度Thcをズームレンズ位置などに応じて変更してもよい。
【0109】
ステップS1702にて測距枠内の測距結果が所定の深度Thcの範囲内である場合、ステップS1703へ進む。ステップS1703において、カメラ制御部207は、遠近競合フラグをOFFにして処理を終了する。一方、測距枠内の測距結果が所定の深度Thcの範囲内でない場合、ステップS1704へ進む。
【0110】
ところで、被写体の状態によっては、前述の判定方法では、測距結果が安定せずに、遠近競合を判定できない場合がある。そこで、ユーザが設定した枠サイズによって、遠近競合を簡易的に判定する方法がある。
【0111】
図16(G)は、枠サイズを示す図である。ユーザは、不図示のユーザーインターフェースから、AFに用いる測距枠のサイズを変更することが可能である。例えば、ユーザが大きいサイズ(第1のサイズとも称する)の測距枠を選択した場合(測距枠設定がLargeの場合)
は、1610が測距枠となる。一方、ユーザが小さいサイズ(第
2のサイズとも称する)の測距枠を選択した場合(測距枠設定がSmallの場合)
は、1611が測距枠となる。これは、測距枠1604のサイズが、3×3の合計9枠をAF枠として使用するか、または、3×1の合計3枠からなるAF枠を使用するかの切り替えである。測距枠(Large)の方が測距枠設定(Small)と比べて3倍の面積になり、測距枠内に 、多くの画像情報を得ることができるため、測距結果が安定する。ただし、複数の被写体を含む可能性があるため、遠近競合が発生しやすい。
【0112】
一方、測距枠(Small)は測距面積が小さいため、測距枠内には限定された被写体のみ狙うことができる。よって、遠近競合を回避することができる。ただし、得られる画像情報が少ないため、測距結果が不安定になる可能性がある。このように、遠近競合判定を、測距枠の大きさに基づいて行ってもよい。
【0113】
次に、
図17(B)を用いて、測距枠の大きさにより遠近競合判定を行う処理フローについて説明する。
図17(B)は、測距枠の大きさいに応じた遠近競合判定処理を示すフローチャートである。
図17(A)の各ステップは、主に、カメラ制御部207により実行される。
【0114】
まずステップS1705において、カメラ制御部207は、測距枠設定はSmallか否かを判定する。測距枠設定がSmallである場合ステップS1706へ進む。ステップS1706において、カメラ制御部207は、遠近競合フラグをOFFにして処理を終了する。一方、測距枠設定がLargeである場合、ステップS1707へ進む。ステップS1707において、カメラ制御部207は、遠近競合フラグをONにして処理を終了する。
【0115】
なお本実施形態では、測距枠の大小の二つのサイズにより、遠近競合の有無を判定するが、測距枠のサイズの種類は、これに限定されるものではない。また、測距枠のサイズは、様々な被写体を撮影し、遠近競合が発生する可能性が低い枠サイズであることが好ましい。
【0116】
<速度算出処理>
次に、
図18を参照して、速度変化算出処理(ステップS1405)の概略を説明する。
図18は、速度変化算出処理の説明図であり、時間に対するフォーカスレンズ位置、駆動速度、および、駆動加速度の関係を表したグラフを示す。理想的なユーザのマニュアル操作は、加速t1、等速t2、減速t3の3つのパートから構成されていることが分かっている。本実施形態は、フォーカスレンズの等速および減速を検知することが目的である。
図18中のtaf1、taf2はフォーカスレンズの駆動が変わるタイミングを示しており、taf3は被写体の合焦動作の終了を示している。
【0117】
図18(A)は、時間とフォーカスレンズ位置との関係を表したグラフである。
図18(A)中のZaf1は等速に切り替わりAFに制御を変更する場合の位置を、Zaf2は所定のデフォーカス量
に到達しAFに制御を変更する場合の位置を、Zaf3は減速に切り替わりAFに制御を変更する場合の位置を、Zaf4は合焦位置を示している。
【0118】
本実施形態で説明する、AFへの切り替わりは、(1)Zaf1:等速に変更になった場合、(2)Zaf2:所定のDEF量に到達した場合のパターン、(3)Zaf3:減速に変更になった場合の3つのケースがある。以下、3つのケースのそれぞれのメリットとデメリットを説明する。
【0119】
まず、ケース(1)では、等速の速度が分かれば、ユーザの画作りの意図が分かるため、その速度でAFに引き継ぐことで、ユーザの狙った画作りをAFでも実現できることがメリットである。一方、遠近競合の被写体では、どちらの被写体に合焦動作してよいかの判定ができないので、間違った被写体にピントを合わせてしまうことがあるというデメリットがある。また、ユーザのマニュアルフォーカスの操作時間が短くなり、ユーザの操作性の低下が懸念される。
【0120】
ケース(2)では、ユーザのマニュアルフォーカスの操作時間がケース(1)に比べて長くなり、ユーザの操作性を維持できることがメリットである。また、所定のデフォーカス量を被写体条件によって変更することにより、ユーザのマニュアルフォーカスでの失敗を防ぐことも可能である。すなわち、暗い被写体/被写界深度が深い被写体で早めに減速してしまうなどの失敗を回避できる。一方、所定のデフォーカス量が被写体条件によって変更するため、被写体条件を誤判定するとユーザの操作性が悪くなる場合があるというデメリットがある。
【0121】
ケース(3)では、遠近競合の被写体において、ユーザの狙った被写体に対してAFが可能になるというメリットがある。一方、減速を検知するまでAFに変更できないので、被写体の合焦位置を超してしまうことや、暗い被写体/被写界深度が深い被写体で早めに減速してしまい、理想的なAFを実現できなくなるというデメリットがある。
【0122】
図18(B)は、
図18(A)のグラフを時間微分し、時間とフォーカスレンズの駆動速度との関係を示すグラフである。
図18(B)に示されるように、等速領域t2において、速度がある最大値となる。このため、等速を判定するには、閾値Vafを設定し、速度Vが閾値Vaf以上(V≧Vaf)であることを検知すればよい。
【0123】
図18(C)は、
図18(B)のグラフをさらに時間微分し、時間とフォーカスレンズの駆動加速度との関係を示すグラフである。
図18(C)に示されるように、等速領域t2において、加速度Aが略0となる。このため、等速を判定するには、閾値Aaf1および閾値Aaf1’を設定し、加速度Aが2つの閾値の範囲内(Aaf1’≦A≦Aaf1)であることを検知すればよい。
【0124】
また、減速領域t3において、加速度が極小値をとる。減速を判定するためには、フォーカスレンズ駆動加速度に関するAF駆動開始の閾値Aaf2設定し、この極小値を検知すればよい。前述の等速と減速を検知し、MF駆動からAF駆動に切り替えることで、ユーザの意図した被写体へピントを合わせることが可能となる。なお本実施形態では、フォーカスレンズの位置を用いるが、フォーカスリングの位置、または、デフォーカス量の変化を用いてもよく、これらを用いても同様の結果を得ることができる。
【0125】
次に、
図19を参照して、速度変化算出処理(ステップS1405)を説明する。
図19の各ステップは、主に、カメラ制御部207により実行される。
【0126】
まずステップS1901において、カメラ制御部207は、フォーカスレンズの駆動速度Vおよび加速度Aを取得する。フォーカスレンズの駆動速度Vおよび加速度Aは、フォーカスレンズの位置情報に基づいて算出される。
【0127】
続いてステップS1902において、カメラ制御部207は、A≦Aaf2を満たすか否かを判定する。A≦Aaf2を満たす場合、ステップS1903へ進む。ステップS1903において、カメラ制御部207は、減速フラグをONにして処理を終了する。一方、A≦Aaf2を満たさない場合、ステップS1904へ進む。ステップS1904において、カメラ制御部207は、減速フラグをOFFにして処理を終了する。
【0128】
<被写体状態判定処理>
次に、
図24を参照して、被写体状態判定処理(ステップS1409)について説明する。
図24は、被写体状態判定処理を示すフローチャートである。
図24の各ステップは、主に、カメラ制御部207により実行される。
【0129】
まずステップS2401において、カメラ制御部207は、ステップS1301にて不揮発性メモリに記憶された算出結果(デフォーカス量、デフォーカス方向、および、信頼性情報)の履歴を取得する。本実施形態では、算出結果のうち、デフォーカス量の履歴を取得し、ステップS2402以降の処理において使用する。ただし本発明は、これに限定されるものではなく、デフォーカス方向および信頼性情報を併せて取得して以降の処理に使用してもよい。
【0130】
続いてステップS2402において、カメラ制御部207は、ステップS2401にて取得したデフォーカス量の履歴に基づいて、デフォーカス量が減少しているか否かを判定する。デフォーカス量が減少していない場合(ステップS2402にてNoの場合)、ステップS2405へ進む。ステップS2405において、カメラ制御部207は、動体判定中カウント値をクリアする。続いてステップS2408において、カメラ制御部207は、動体判定フラグをOFFにして処理を終了する。ここでデフォーカス量が減少している、すなわち0に近づいている場合は、被写体が合焦方向に近づいていることを示している。
【0131】
一方、ステップS2402にてデフォーカス量が減少している場合(ステップS2402にてYesの場合)、ステップS2403へ進む。ステップS2403において、カメラ制御部207は、デフォーカス量の変化量が所定量以内か否かを判定する。デフォーカス量の変化量が所定量以内でない場合(ステップS2403にてNoの場合)、ステップS2402でNoの場合と同様に、ステップS2405へ進む。ステップS2405において、カメラ制御部207は、動体判定中カウント値をクリアする。続いてステップS2408において、カメラ制御部207は、動体判定フラグをOFFにして処理を終了する。ステップS2403の判定を行うのは、デフォーカス量が大きく変化した場合には別の被写体のデフォーカス量が出てきたと考えられ、デフォーカス量の変化が小さい場合には被写体が徐々に近づいていると考えることができるためである。
【0132】
一方、ステップS2403にてデフォーカス量の変化量が所定量以内である場合、(ステップS2403にてYesの場合)、ステップS2404へ進む。ステップS2404において、カメラ制御部207は、動体判定中カウント値をカウントアップ(+1)する。
【0133】
続いてステップS2406において、カメラ制御部207は、動体判定中カウント値が所定値以上であるか否かを判定する。動体判定中カウント値が所定値以上である場合(ステップS2406にてYesの場合)、ステップS2407へ進む。ステップS2407において、カメラ制御部207は動体判定フラグをONにして処理を終了する。一方、動体判定中カウント値が所定値以上でない場合(ステップS2406にてNoの場合)、ステップS2408へ進む。ステップS2408において、カメラ制御部207は、動体判定フラグをOFFにして処理を終了する。ここで、ステップS2406の判定を行うのは、被写体が合焦方向に連続的に近づいている場合のみ動体であると判定し、一瞬のデフォーカス量の変化などで動体であると誤判定しないようにするためである。
【0134】
<MF操作→AF開始閾値設定処理>
次に、
図20および
図21を参照して、MF操作→AF開始閾値設定処理(ステップS1407)について説明する。
図20は、MF操作→AF開始閾値設定処理を示すフローチャートである。
図20の各ステップは、主に、カメラ制御部207により実行される。
図21は、デフォーカス量閾値の説明図である。
図21(A)において、横軸は撮像光学系の焦点距離、縦軸はAF切り替えデフォーカス量閾値をそれぞれ示す。
図21(B)において、横軸は時間、縦軸はデフォーカス量をそれぞれ示す。
【0135】
まず、
図20のステップS2001において、カメラ制御部207は、基準のAF切り替えデフォーカス量閾値を取得する。AF信号処理部(焦点検出手段)204により算出されたデフォーカス量がデフォーカス量閾値を下回った場合、カメラ制御部207は、実行中のレンズ操作部(フォーカス操作手段)107にかかわらずAF駆動を開始する。
【0136】
デフォーカス量閾値は、予め決定された値を不揮発性メモリ(不図示)に記憶しておき、読み出して設定してもよいし、または、焦点距離や被写体距離などの撮影パラメータ(撮影条件)に応じて動的に変わるように数式などで定義してもよい。ただし、デフォーカス量閾値の設定方法は、これらに限定されるものではない。本実施形態では、
図21(A)に示されるように、焦点距離が長くなるほど大きいデフォーカス量閾値が設定される。前記閾値よりも大きい値をデフォーカス量閾値として設定すると、より滑らかにMFからAFへ切り替えることができる。また、前記閾値よりも小さい値をデフォーカス量閾値として設定すると、合焦中に他の被写体へピントが乗り移ることを防止することができる。
【0137】
続いてステップS2002において、カメラ制御部207は、被写体の視認性をパラメータで判定する(視認性判定処理)。ここで視認性を判定するパラメータとは、ユーザが目視で合焦させる場合において、真の合焦位置の推定を困難にする効果を撮影画像に与える要素である。例えば被写界深度が深い場合、広い範囲にピントが合っているように見えるため真の合焦位置を推定するのは困難である。また、撮像センサーゲインが高い場合には画像のS/N比が低下し、被写体領域に白とびや黒潰れが発生している場合には被写体のコントラストが下がる。いずれの場合も、ピントのピークを見つけることが困難になる。
【0138】
なおパラメータは、撮影画像(被写体)の視認性に影響を与える要素であれば、本実施形態に説明したパラメータに限定されるものではない。判定については、ある単一のパラメータが閾値を超える場合、または複数のパラメータをスコア化し合計値が閾値を超える場合、視認性が良好でないと決定する。この閾値は予め不揮発メモリに記憶させていた値でもよく、または、撮影パラメータにより算出してもよい。その他、表示部205の解像度や外部出力(不図示)の有無もパラメータと同様に、視認性に影響を与える要素としてもよい。外部出力先が無い場合には表示部205が比較的小さいことが多く、表示部205の解像度が低い場合と同様にピントのピークを目視で推定するのは困難である。
【0139】
続いてステップS2003において、カメラ制御部207は、ステップS2002での被写体の視認性の判定結果に基づいて、視認性が良好か否かを判定する。視認性が良好である場合、ステップS2004へ進み、カメラ制御部207は第二の閾値ゲインを設定する。一方、視認性が良好でない場合、ステップS2005へ進み、カメラ制御部207は第三の閾値ゲインを設定する。
【0140】
続いてステップS2006において、カメラ制御部207は、ステップS2004にて設定された第二の閾値ゲイン、または、ステップS2005にて設定された第三の閾値ゲインを用いて、デフォーカス量閾値を設定する。本実施形態において、第二の閾値ゲインを用いて算出した第二のデフォーカス量閾値よりも第三の閾値ゲインを用いて算出した第三のデフォーカス量閾値の方が大きい。カメラ制御部207は、このようにデフォーカス量閾値を設定して処理を終了する。
【0141】
ここで、視認性が良好でない場合にAF切り替えデフォーカス量閾値を大きくする理由を説明する。
図21(B)は、MF操作からAFに切り替わり合焦するまでのデフォーカス量時間変化を、視認性が良好である場合と良好でない場合を想定してプロットした図である。撮影画像の視認性が良好である場合、ユーザは意図通りのMF操作が可能で実線2101のようにデフォーカス量が滑らかに変化し、デフォーカス量が第二のデフォーカス量閾値2103を下回ると、ユーザが意図した速度のままAFに切り替わる。
【0142】
一方、視認性が良好でない場合、心理的要因からユーザは慎重なMF操作をしてしまい、点線2012のようにAFに切り替わる前に不必要な減速を発生させてしまう。この場合、第二のデフォーカス量閾値2103を下回るときには減速してしまっているため、ユーザが意図した速度よりも遅い速度でAFに切り替わり、意図したフォーカス制御にならない。このため、視認性が良好でない場合にはAF切り替えデフォーカス量閾値を第三のデフォーカス量閾値2104のように大きくする。これにより、不必要な減速が発生する前にAFへ切り替えることができ、実線2101のような滑らかなMF→AF制御を実現することが可能となる。
【0143】
<AF駆動→AF停止閾値設定処理>
次に、
図22を参照して、AF駆動→AF停止閾値設定処理(ステップS1411)について説明する。
図22は、AF駆動→AF停止閾値設定処理を示すフローチャートである。
図22の各ステップは、主に、カメラ制御部207により実行される。
【0144】
まずステップS2201において、カメラ制御部207は、前述のステップS2001と同様に、基準のAF切り替えデフォーカス量閾値を取得する。続いてステップS2202において、カメラ制御部207は、被写体切替判定処理を行う。続いてステップS2203において、カメラ制御部207は、所定の判定条件によって被写体切替が発生したか否かを判定する。所定の判定条件とは、被写体を変更する意図が強い操作のことであり、本実施形態ではパンニング、AF枠の移動、または、ズーム操作である。ただし、所定の判定条件はこれらに限定されるものではなく、これ以外の判定条件に基づいて被写体の変更を判定してもよい。パンニングではジャイロセンサなどを用いた公知の技術で検知されたとき、AF枠移動ではAF枠の座標を変更する操作や制御が実行されたとき、ズーム操作ではズーム操作部材や制御によりズーム位置が変更されたとき、被写体変更がされたと判定する。
【0145】
ステップS2203にて被写体が変更されたと判定された場合、ステップS2204へ進み、カメラ制御部207は第一の閾値ゲインを設定する。一方、被写体が変更されていないと判定された場合、ステップS2205へ進み、カメラ制御部207は第四の閾値ゲインを設定する。
【0146】
続いてステップS2206において、カメラ制御部207は、ステップS2204にて設定された第一の閾値ゲイン、または、ステップS2205にて設定された第四の閾値ゲインを用いて、デフォーカス量閾値を設定する。本実施形態において、第一の閾値ゲインを用いて算出した第一のデフォーカス量閾値は、第四の閾値ゲインを用いて算出した第四のデフォーカス量閾値よりも大きい。これは、被写体が変更されている場合、AFが駆動する範囲を広げることで新しい被写体に合焦させやすくするためである。カメラ制御部207は、前述のようにデフォーカス量閾値を設定して処理を終了する。
【0147】
<AF停止→AF開始閾値設定処理>
次に、
図25を参照して、本実施形態の特徴の一つであるAF停止→AF開始閾値設定処理(ステップS1412)について詳述する。
図25は、AF停止→AF開始閾値設定処理を示すフローチャートである。
図25の各ステップは、主に、カメラ制御部207により実行される。
【0148】
まずステップS2501において、カメラ制御部207は、AF停止→AFに切り替えるためのデフォーカス量閾値を、基準の閾値として設定する。ここで基準の閾値は、前述のステップS2001と同様に設定される。本実施形態では、基準の閾値は、例えば、焦点距離に応じた焦点深度の3倍程度に相当するデフォーカス量である。基準の閾値として合焦位置に対してある程度広い範囲の値で設定することにより、被写体が変わってもAF駆動で適切にピントを合わせることができる。
【0149】
続いてステップS2502において、カメラ制御部207は、ステップS1409の被写体状態判定処理で判定した動体判定フラグがONか否かを判定する。動体判定フラグがONの場合(ステップS2502にてYesの場合)、ステップS2503へ進む。ステップS2503において、カメラ制御部207は、AF停止→AF開始閾値(デフォーカス量閾値)を焦点深度以下の値に相当するデフォーカス量に設定し、処理を終了する。一方、ステップS2502にて動体判定フラグがOFFの場合(ステップS2502にてNoの場合)、カメラ制御部207は、AF停止→AF開始閾値を基準の閾値のままとし、処理を終了する。
【0150】
次に、
図26および
図27を参照して、
図25のフローを実施した場合のAF停止→AF開始閾値設定処理の動作について説明する。
図26は、被写体が動体でないと判定される場合の模式図である。
図27は、被写体が動体であると判定される場合の模式図である。
【0151】
図26(A)~(D)は、フォーカス枠に対して被写体が横から入ってくるようなシーンで動体判定フラグがOFFとなる場合における、時刻毎の被写体の動きの概念図を示す。
図26(E)、(F)はそれぞれ、そのときのデフォーカス量の変化および被写体距離の変化をそれぞれ示す。
図27(A)~(D)は、フォーカス枠に対して被写体が合焦位置に向かって近づいてきているようなシーンで動体判定フラグがONとなる場合における、時刻毎の被写体の動きの概念図を示す。
図27(E)、(F)は、そのときのデフォーカス量の変化および被写体距離の変化をそれぞれ示す。
【0152】
図26(A)、(B)は、AF駆動を停止している状態で、
図26(C)に示されるように画面中央に設定しているフォーカス枠内に別の被写体(人物)が入ってきて、AF駆動に切り替わる様子を模式的に示している。このとき、フォーカス枠内のデフォーカス量は
図26(E)の実線のような変化になり、時刻t1およびt2時点ではフォーカス枠内の被写体(山)のデフォーカス量は、閾値(
図26(E)の破線)より大きい。このため、
図26(F)の破線で示されるように、駆動目標位置は変わらずAF駆動を停止している状態となっている。続いて、時刻t3においてフォーカス枠内に別の被写体(人物)が入ると、デフォーカス量が閾値(
図26(E)の破線)より小さくなる。このため、
図26(F)に示されるようにAF駆動が開始され、時刻t4において合焦する。
【0153】
図27(A)~(C)は、画面中央に設定しているフォーカス枠内の被写体(人物)が徐々に近づいてきているがAF駆動を停止している状態で、
図27(D)でAF駆動に切り替わる様子を模式的に示している。このとき、フォーカス枠内のデフォーカス量は
図27(E)の実線のような変化になり、時刻t1およびt2時点ではフォーカス枠内の被写体(人物)のデフォーカス量が閾値(
図27(E)の破線)より大きい。このため、
図27(F)の破線で示されるように、駆動目標位置は変わらずAF駆動を停止している状態となっている。
【0154】
続いて、時刻t2においてフォーカス枠内の被写体(人物)が合焦方向に近づいていると判定されることに応じて、デフォーカス量閾値(
図27(E)の破線)を焦点深度以下の値に相当するデフォーカス量の値に変更する。これにより、
図27(F)に示されるように時刻t3の時点でもAF駆動が停止し、また閾値以内になってAF駆動を開始しても深度内のフォーカス状態の変化にとどまるため、急なピント変化や増倍変化のような不用意なレンズの動きを抑えることができる。
【0155】
このように、検出したデフォーカス量に基づいて合焦駆動するか合焦駆動を停止するかを切り替える焦点調節制御(自動フォーカス制御)を行うとともに、デフォーカス量の変化に基づいて被写体(撮像被写体)が合焦方向に動いているか否かを判定する。そして、判定結果に応じて合焦駆動を停止している状態から合焦駆動状態に移行するデフォーカス量閾値を変更する。これにより、合焦駆動状態に移行する際に、急なピント変化や増倍変化のような不用意なレンズの動きを抑えることができ、動画撮像時の品位良いフォーカシングを提供することが可能となる。
【0156】
[第2実施形態]
次に、
図28および
図29を参照して、本発明の第2実施形態について説明する。本実施形態は、AFMF判定処理(ステップS1304)が第1実施形態と異なる。その他の基本構成および基本動作は、第1実施形態と同様である。
【0157】
図28は、本実施形態におけるAFMF判定処理を示すフローチャートである。
図28の各ステップは、主に、カメラ制御部207により実行される。本実施形態は、ステップS1407に代えてステップS2801を有する点で、第1実施形態と異なる。
またステップS1404で遠近競合フラグがOFFである場合はステップS1405を介してステップS2801に進む。
【0158】
ステップS2801において、カメラ制御部207は、等速フラグがONか否かを判定する。すなわちカメラ制御部207は、MFからAFに切り替えるタイミングを、フォーカスレンズが等速になったか否かにより判定する。ステップS2801にて等速フラグがONの場合、ステップS1408へ進む。ステップS1408において、カメラ制御部207は、AF許可フラグをONにして処理を終了する。一方、ステップS2801にて等速フラグがOFFの場合、ステップS1414へ進む。ステップS1414において、カメラ制御部207は、AF許可フラグをOFFにして処理を終了する。
【0159】
次に、
図29を参照して、等速フラグの判定について説明する。
図29は、本実施形態における速度変化算出処理を示すフローチャートである。
図29の各ステップは、主に、カメラ制御部207により実行される。本実施形態は、ステップS2901~ステップS2904(等速フラグの判定処理)を有する点で、第1実施形態と異なる。
【0160】
ステップS2901において、カメラ制御部207は、
図18(B)に示されるようにV
≧Vafを満たすか否かを判定する。V
≧Vafを満たす場合、ステップS2902へ進む。一方、V
≧Vafを満たさない場合、ステップS2904へ進む。ステップS2902において、カメラ制御部207は、
図18(C)に示されるようにAaf1’≦A≦Aaf1を満たすか否かを判定する。Aaf1’≦A≦Aaf1を満たす場合、ステップS2903へ進む。ステップS2903において、カメラ制御部207は、等速フラグをONにして処理を終了する。一方、Aaf1’≦A≦Aaf1を満たさない場合、ステップS2904へ進む。ステップS2904において、カメラ制御部207は、等速フラグをOFFにして処理を終了する。このように、等速になったことを検知して、AFに切り替えることで、ユーザの画作りであるフォーカスの速度を維持したまま合焦動作を継続することが可能になる。
【0161】
本実施形態において、フォーカスレンズが等速(フォーカスレンズの速度が略一定)になったか否かは、マニュアルフォーカス制御におけるフォーカスレンズの速度に関する変化量が所定の範囲内であるか否かに基づいて判定される。本実施形態において、フォーカスレンズの速度に関する変化量は、フォーカスレンズの速度の変化量そのものに限定されるものではなく、操作手段の速度の変化量またはデフォーカス量の変化量等の他の変化量であってもよい。
【0162】
[第3実施形態]
次に、
図30および
図31を参照して、本発明の第3実施形態について説明する。本実施形態は、安定モードの駆動処理(ステップS1004)におけるレンズ駆動設定処理(ステップS1312)が第1実施形態と異なる。その他の基本構成および基本動作は、第1実施形態と同様である。
【0163】
図30は、レンズ駆動設定処理を示すフローチャートである。
図30の各ステップは、主に、カメラ制御部207により実行される。
図30は、ステップS3003、S3004を有する点で、第1実施形態にて説明した
図23と異なる。
図30のステップS3001、S3002は、
図23のステップS2301、S2032とそれぞれ同一である。
【0164】
ステップS3003において、カメラ制御部207は、動体判定フラグがONか否かを判定する。動体判定フラグがOFFの場合(ステップS3003にてNoの場合)、カメラ制御部207は処理を終了する。一方、動体判定フラグがONの場合(ステップS3003にてYesの場合)、ステップS3004へ進み、カメラ制御部207はステップS3002にて設定したフォーカスレンズ103の駆動速度を制限し、処理を終了する。ここで、駆動速度の制限は、急なピント変化や増倍変化が見えにくい低速に設定してもよいし、速度を0に設定することでAF駆動を行わないようにしてもよい。
【0165】
第1実施形態では、動体判定フラグがONの場合、AF停止→AF開始閾値設定処理において、AF停止→AF開始閾値を焦点深度以下の値に相当するデフォーカス量の値に変更することで急なピント変化や増倍変化のような不用意なレンズの動きを抑制する。一方、本実施形態では、フォーカスレンズ103の駆動速度を制限することで不用意なレンズの動きを抑制する。
【0166】
次に、
図31を参照して、本実施形態における変形例としてのレンズ駆動設定処理について説明する。
図31は、変形例としてのレンズ駆動設定処理を示すフローチャートである。
図31の各ステップは、主に、カメラ制御部207により実行される。
【0167】
図31のステップS3101~S3103は、
図30のステップS3001~S3003とそれぞれ同一である。ステップS3103にて動体判定フラグがOFFの場合(ステップS3103にてNoの場合)、カメラ制御部207は処理を終了する。一方、動体判定フラグがONの場合(ステップS3103にてYesの場合)、ステップS3104へ進む。
【0168】
ステップS3104において、カメラ制御部207は、デフォーカス量が焦点深度に相当する値よりも大きいか否かを判定する。デフォーカス量が焦点深度に相当する値以下である場合(ステップS3104にてNoの場合)、カメラ制御部207は処理を終了する。一方、デフォーカス量が焦点深度に相当する値よりも大きい場合(ステップS3104にてYesの場合)、ステップS3105へ進む。
【0169】
ステップS3105において、カメラ制御部207は、ステップS3101にて設定したフォーカスレンズ103の駆動目標位置を現在のフォーカスレンズ103の位置(現在フォーカス位置)に設定して、処理を終了する。このように本変形例では、デフォーカス量が焦点深度に相当する値よりも小さくなるまでは、駆動目標位置を現在フォーカス位置に固定することで、フォーカスレンズ103の駆動を制限し不用意なレンズの動きを抑制する。なお本変形例において、ステップS3105にて駆動目標位置を現在フォーカス位置に設定することに代えて、ステップS3101にて設定した駆動方向と被写体の移動方向とを比較し、これらの方向が一致しない場合にはAF駆動を行わないようにしてもよい。
【0170】
本実施形態では、検出したデフォーカス量に基づいて合焦駆動するか合焦駆動を停止するかを切り替える焦点調節制御を行うとともに、デフォーカス量の変化に基づいて撮像被写体が合焦方向に動いているか否かを判定する。そして、判定結果に応じて合焦駆動時の駆動速度や駆動方向または合焦駆動そのものを制限することで、急なピント変化や増倍変化のような不用意なレンズの動きを抑制することができ、動画撮像時の品位良いフォーカシングを提供することが可能となる。
【0171】
このように各実施形態において、制御装置は、焦点検出手段(AF信号処理部204)および制御手段(カメラ制御部207)を有する。焦点検出手段は、撮像光学系の互いに異なる瞳領域を通過した光束に基づいて生成される一対の像信号の位相差に基づいてデフォーカス量を検出する。制御手段は、撮像光学系のフォーカスレンズ103を制御する。制御手段は、焦点検出手段により検出されたデフォーカス量に基づくオートフォーカス制御(AF制御)と、操作手段(レンズ操作部107)を介したユーザの操作に基づくマニュアルフォーカス制御(MF制御)とを行うことが可能である。また制御手段は、マニュアルフォーカス制御におけるフォーカスレンズの速度に関する変化量が所定の範囲内である場合(すなわち、フォーカスレンズの速度が略一定であると判定した場合)、オートフォーカス制御を行う(S1405、S2901~S2904)。好ましくは、フォーカスレンズの速度に関する変化量は、操作手段の速度の変化量、フォーカスレンズの速度の変化量、または、デフォーカス量の変化量である。
【0172】
好ましくは、焦点検出手段は、(撮像素子201上の)複数の焦点検出領域のそれぞれにおいてデフォーカス量を検出する。そして制御手段は、複数の焦点検出領域のそれぞれにおいて検出されたデフォーカス量に基づいて、遠近競合被写体が存在するか否かを判定する。また制御手段は、遠近競合被写体が存在するか否かに応じて、マニュアルフォーカス制御からオートフォーカス制御への移行条件を変更する(S1403)。また好ましくは、制御手段は、焦点検出領域の面積に基づいて、遠近競合被写体が存在するか否かを判定する(S1403)。より好ましくは、制御手段は、遠近競合被写体が存在し、かつフォーカスレンズの速度に関する変化量が所定の範囲を超えて減少した場合、マニュアルフォーカス制御からオートフォーカス制御へ移行する。一方、制御手段は、遠近競合被写体が存在せず、かつフォーカスレンズの速度に関する変化量が所定の範囲内である場合、マニュアルフォーカス制御からオートフォーカス制御へ移行する(S1034)。また好ましくは、制御手段は、遠近競合被写体が存在せず、かつデフォーカス量が所定の深度の範囲内である場合、マニュアルフォーカス制御からオートフォーカス制御へ移行する(S1304)。
【0173】
このように各実施形態によれば、マニュアルフォーカスの際に滑らかなフォーカス状態の変化を実現可能な制御装置を提供することができる。
【0174】
また近年、4K解像度の動画撮影が普及し、より高いピント精度が求められるがユーザの目視では合焦位置の判別が困難になりつつある。また、動画撮影時におけるAF制御では、逸早く合焦させるための応答性に加えて、フォーカシング動作の品位が求められている。そこで、撮像面位相差AF方式による焦点検出結果を使って、合焦位置から離れている状態ではAF駆動を停止しユーザによるMF操作によるフォーカシング動作を促し、合焦付近だけAF駆動を行うことで品位よくフォーカス制御を行う方法が知られている。しかし、例えば、ある被写体距離にピントを固定しボケている状態から被写体が徐々に近づくことでピントが合うようなシーンでは、AF駆動停止状態からAF駆動状態へ移行する際に高品位なフォーカシング制御を行うことができない。
【0175】
そこで各実施形態において、制御装置は、焦点検出手段(AF信号処理部204)、制御手段(カメラ制御部207)、および、記憶手段(カメラ制御部207の内部メモリ等)を有する。焦点検出手段は、撮像光学系の互いに異なる瞳領域を通過した光束に基づいて生成される一対の像信号の位相差に基づいてデフォーカス量を検出する。制御手段は、デフォーカス量に基づいて撮像光学系のフォーカスレンズを制御する。記憶手段は、デフォーカス量の履歴を記憶する。制御手段は、デフォーカス量の履歴の変化に基づいて、被写体が合焦方向に動いているか否かを判定する。また制御手段は、被写体が合焦方向に動いているか否かに基づいて、フォーカスレンズを制御する際の制御パラメータを変更する(S1409)。
【0176】
好ましくは、制御パラメータは、デフォーカス量に基づくフォーカスレンズの制御を実行するか停止するかを決定するためのデフォーカス量の閾値を含む。制御手段は、被写体が合焦方向に動いていない場合、デフォーカス量の閾値として第一の閾値を設定する。一方、制御手段は、被写体が合焦方向に動いている場合、デフォーカス量の閾値として、第一の閾値よりも小さい第二の閾値を設定する(S2502、S2503)。また好ましくは、制御手段は、被写体が合焦方向に動いている場合、デフォーカス量の閾値を焦点深度に相当する値以下に設定する(S2502、S2503)。
【0177】
好ましくは、制御パラメータは、フォーカスレンズの速度を含む。制御手段は、被写体が合焦方向に動いていない場合は、フォーカスレンズの速度として第一の速度を設定する。一方、制御手段は、被写体が合焦方向に動いている場合は、フォーカスレンズの速度として 、前記第一の速度よりも遅い第二の速度を設定する(S3003、S3004)。好ましくは、制御パラメータは、フォーカスレンズの駆動方向を含む。制御手段は、被写体が合焦方向に動いている場合であって、フォーカスレンズの駆動方向が被写体の移動方向と一致しない場合は、デフォーカス量に基づくフォーカスレンズの制御を停止する(S3105)。
【0178】
好ましくは、制御手段は、デフォーカス量が所定期間の間、減少し続けている場合、被写体が合焦方向に動いていると判定する(S2406、S2407)。また好ましくは、制御手段は、操作手段を介したユーザの操作に基づくマニュアルフォーカス制御を行っている場合、被写体が動いているか否かに基づく制御パラメータの変更を行わない(
図15、
図18)。
【0179】
これにより各実施形態によれば、合焦駆動を停止している状態から合焦駆動状態に移行する際に、急なピント変化や増倍変化のような不用意なレンズの動きを抑えることができ、高品位の撮影を実現することが可能となる。
【0180】
また、例えばMFからAFへの移行範囲を広く設定するとMFからAFへの切り替えは滑らかであるものの、合焦付近でAF駆動を継続していた場合に近くにある被写体にピントが乗り移ることがある。一方、MFからAFへの移行範囲を狭く設定すると近くの被写体へのピント乗り移りは防止できるが、MFからAFへの滑らかな切り替えが困難になる。
【0181】
そこで各実施形態において、制御装置は、焦点検出手段(AF信号処理部204)および制御手段(カメラ制御部207)を有する。焦点検出手段は、撮像光学系の互いに異なる瞳領域を通過した光束に基づいて生成される一対の像信号の位相差に基づいてデフォーカス量を検出する。制御手段は、撮像光学系のフォーカスレンズを制御する。制御手段は、焦点検出手段により検出されたデフォーカス量に基づくオートフォーカス制御と、操作手段(レンズ操作部107)を介したユーザの操作に基づくマニュアルフォーカス制御とを行うことが可能である。また制御手段は、操作手段を介したユーザの操作がない場合には第一のデフォーカス量閾値を設定し、操作手段を介したユーザの操作がある場合には、第一のデフォーカス量閾値よりも大きい第二のデフォーカス量閾値を設定する(S1407、S1412)。好ましくは、制御手段は、焦点深度に基づいて第一のデフォーカス量閾値を設定する(S2503)。
【0182】
好ましくは、制御手段は、所定の条件に基づいて、被写体の視認性が良好であるか否かを判定する。そして制御手段は、視認性が良好であると判定した場合には第二のデフォーカス量閾値を設定し、視認性が良好でないと判定した場合には第二のデフォーカス量閾値よりも大きい第三のデフォーカス量閾値を設定する(S2002~S2005)。より好ましくは、所定の条件は焦点距離を含み、制御手段は、焦点距離が所定の焦点距離よりも短い場合、視認性が良好でないと判定する。また好ましくは、所定の条件は絞り値(F値)を含み、制御手段は、絞り値が所定の絞り値よりも大きい(絞られている)場合、視認性が良好でないと判定する。また好ましくは、所定の条件は被写体距離を含み、制御手段は、被写体距離が所定の被写体距離よりも長い場合、視認性が良好でないと判定する。また好ましくは、所定の条件は被写界深度を含み、制御手段は、被写界深度が所定の被写界深度よりも深い場合、視認性が良好でないと判定する。また好ましくは、所定の条件は撮像素子のゲインを含み、制御手段は、ゲインが所定のゲインよりも高い場合、視認性が良好でないと判定する。また好ましくは、所定の条件は被写体領域のS/N比を含み、制御手段は、被写体領域のS/N比が所定のS/N比よりも低い場合、視認性が良好でないと判定する。また好ましくは、所定の条件は被写体領域のコントラストを含み、制御手段は、被写体領域のコントラストが所定のコントラストよりも低い場合、視認性が良好でないと判定する。
【0183】
好ましくは、制御手段は、第二のデフォーカス量閾値または第三のデフォーカス量閾値を設定した場合、合焦状態になるまで第二のデフォーカス量閾値または第三のデフォーカス量閾値を変更しない。また好ましくは、制御手段は、所定の判定条件に基づいて被写体が変更されたか否かを判定し、被写体が変更された場合には第一のデフォーカス量閾値よりも大きい第四のデフォーカス量閾値を設定する(S2202、S2203、S2205)。より好ましくは、所定の判定条件はパンニングを含み、制御手段は、パンニングを検知した場合、被写体が変更されたと判定する(S2202)。また好ましくは、所定の判定条件はAF枠の移動を含み、制御手段は、AF枠の移動を検知した場合、被写体が変更されたと判定する(S2202)。また好ましくは、所定の判定条件はズーム操作を含み、制御手段は、ズーム操作を検知した場合、被写体が変更されたと判定する(S2202)。
【0184】
これにより各実施形態によれば、MF制御からAF制御への滑らかな移行と、被写体の乗り移りの抑制とを両立することができる。
【0185】
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0186】
各実施形態によれば、マニュアルフォーカスの際に滑らかなフォーカス状態の変化を実現可能な制御装置、撮像装置、プログラム、および、記憶媒体を提供することができる。
【0187】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【符号の説明】
【0188】
20 カメラ本体(制御装置)
204 AF信号処理部(焦点検出手段)
207 カメラ制御部(制御手段)