(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-17
(45)【発行日】2022-10-25
(54)【発明の名称】フォーカス制御装置とフォーカス制御方法とプログラムおよび撮像装置
(51)【国際特許分類】
G02B 7/28 20210101AFI20221018BHJP
G03B 17/18 20210101ALI20221018BHJP
G03B 17/02 20210101ALI20221018BHJP
G03B 13/36 20210101ALI20221018BHJP
G02B 7/34 20210101ALI20221018BHJP
G02B 7/36 20210101ALI20221018BHJP
H04N 5/232 20060101ALI20221018BHJP
【FI】
G02B7/28 N
G03B17/18 Z
G03B17/02
G03B13/36
G02B7/34
G02B7/36
H04N5/232 127
H04N5/232 120
(21)【出願番号】P 2018552449
(86)(22)【出願日】2017-10-10
(86)【国際出願番号】 JP2017036613
(87)【国際公開番号】W WO2018096811
(87)【国際公開日】2018-05-31
【審査請求日】2020-07-15
(31)【優先権主張番号】P 2016228936
(32)【優先日】2016-11-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100093241
【氏名又は名称】宮田 正昭
(74)【代理人】
【識別番号】100101801
【氏名又は名称】山田 英治
(74)【代理人】
【識別番号】100095496
【氏名又は名称】佐々木 榮二
(74)【代理人】
【識別番号】100086531
【氏名又は名称】澤田 俊夫
(74)【代理人】
【識別番号】110000763
【氏名又は名称】特許業務法人大同特許事務所
(72)【発明者】
【氏名】猪俣 誠一
(72)【発明者】
【氏名】小杉 貴洸
【審査官】▲うし▼田 真悟
(56)【参考文献】
【文献】特開2014-056032(JP,A)
【文献】特開平10-213736(JP,A)
【文献】特開2006-301032(JP,A)
【文献】特開2013-041075(JP,A)
【文献】特開2014-102293(JP,A)
【文献】特開2015-215571(JP,A)
【文献】特開2016-197179(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G02B 7/28-7/36
G03B 13/36
H04N 5/232
(57)【特許請求の範囲】
【請求項1】
撮像画面内の測距エリアで検出したデフォーカス量が予め設定された測距エリア判定閾値よりも大きい場合、前記測距エリアの領域サイズを、ユーザによって予め設定された駆動パターンの速度でフォーカスレンズを合焦位置へと駆動する速度重視駆動時の測距サイズに設定
し、
前記デフォーカス量が前記測距エリア判定閾値以下である場合、前記測距エリアの領域サイズ
を、被写体重視測距サイズに設定するフォーカス駆動制御部を有し、
前記被写体重視測距サイズは、
前記デフォーカス量に応じて前記フォーカスレンズを合焦位置とするフォーカスレンズ移動量を設定して前記フォーカスレンズを駆動する被写体重視駆動時の測距サイズであ
り、
前記フォーカス駆動制御部は、
前記測距エリアの被写体が動被写体である場合に前記被写体重視測距サイズを前記速度重視駆動時の測距サイズよりも大きくし、
前記測距エリアの被写体が静止被写体である場合に前記被写体重視測距サイズを前記速度重視駆動時の測距サイズまたは前記速度重視駆動時の測距サイズよりも小さくするフォーカス制御装置。
【請求項2】
前記フォーカス駆動制御部は、被写体の撮像モードに応じて前記被写体重視測距サイズを設定する
請求項1に記載のフォーカス制御装置。
【請求項3】
前記フォーカス駆動制御部は、前記撮像モードが動被写体を撮像するモードである場合に前記被写体重視測距サイズを前記速度重視駆動時の測距サイズよりも大きくする
請求項2に記載のフォーカス制御装置。
【請求項4】
前記フォーカス駆動制御部は、前記撮像モードが静止被写体を撮像するモードである場合に前記被写体重視測距サイズを前記速度重視駆動時の測距サイズまたは前記速度重視駆動時の測距サイズよりも小さくする
請求項2または請求項3に記載のフォーカス制御装置。
【請求項5】
前記フォーカス駆動制御部は、被写界深度に応じて前記被写体重視測距サイズを設定して、被写界深度が深い場合は被写界深度が浅い場合よりも領域サイズを小さくする
請求項1乃至請求項4の何れかに記載のフォーカス制御装置。
【請求項6】
前記フォーカス駆動制御部は、前記デフォーカス量が予め設定された駆動制御判定閾値よりも大きい場合、前記ユーザによって予め設定された駆動パターンでフォーカスレンズを合焦位置へと駆動する速度重視駆動制御を行う
請求項1乃至請求項5の何れかに記載のフォーカス制御装置。
【請求項7】
前記駆動パターンはフォーカスレンズの移動速度を示しており、
前記フォーカス駆動制御部は、前記駆動パターンに応じてフォーカスレンズの移動速度を設定する
請求項6に記載のフォーカス制御装置。
【請求項8】
前記駆動パターンを記憶する駆動パターン記憶部をさらに有し、
前記フォーカス駆動制御部は、前記フォーカスレンズに対するユーザ操作に応じて駆動パターンを生成して前記駆動パターン記憶部に記憶する
請求項6または請求項7に記載のフォーカス制御装置。
【請求項9】
ユーザ操作を受け付けるユーザインタフェース部を備え、
前記フォーカス駆動制御部は、前記ユーザ操作に応じて前記駆動パターンの設定または変更を行う
請求項6乃至請求項8の何れかに記載のフォーカス制御装置。
【請求項10】
前記フォーカス駆動制御部は、前記デフォーカス量が前記駆動制御判定閾値以下である場合、前記デフォーカス量に応じて前記フォーカスレンズを合焦位置とするフォーカスレンズ移動量を設定して前記フォーカスレンズを駆動する被写体重視駆動制御を行う
請求項6乃至請求項9の何れかに記載のフォーカス制御装置。
【請求項11】
前記フォーカス駆動制御部は、前記被写体重視駆動制御において、前記デフォーカス量が最小となるようにフォーカスレンズ移動量を設定する追従性重視制御、または前記デフォーカス量を時間方向または空間方向に平滑化して得られた平滑化デフォーカス量が最小となるようにフォーカスレンズ移動量を設定する安定性重視制御、あるいは前記測距エリアの被写体の撮像画像から画像の鮮鋭度に応じた評価値を前記デフォーカス量に換えて用いて、前記鮮鋭度が最大となるように前記フォーカスレンズを駆動する精度重視制御を行う
請求項10に記載のフォーカス制御装置。
【請求項12】
前記フォーカス駆動制御部は、前記測距エリアの被写体の動き状態に応じて、前記追従性重視制御または前記安定性重視制御あるいは前記精度重視制御を行う
請求項11に記載のフォーカス制御装置。
【請求項13】
前記測距エリア判定閾値と前記駆動制御判定閾値を等しい値とした
請求項6乃至請求項12の何れかに記載のフォーカス制御装置。
【請求項14】
前記フォーカス駆動制御部は、画像信号から高周波成分を抽出して算出した被写体画像の鮮鋭度に応じた評価値が前記測距エリア判定閾値よりも大きい場合、前記測距エリアを前記速度重視駆動時の測距サイズに設定して、前記評価値が前記測距エリア判定閾値以下である場合、前記測距エリアを前記被写体重視測距サイズに設定する
請求項1乃至請求項13の何れかに記載のフォーカス制御装置。
【請求項15】
撮像画面内の測距エリアで検出したデフォーカス量が予め設定された測距エリア判定閾値よりも大きい場合、前記測距エリアの領域サイズを、ユーザによって予め設定された駆動パターンの速度でフォーカスレンズを合焦位置へと駆動する速度重視駆動時の測距サイズにフォーカス駆動制御部で設定することと、
前記デフォーカス量が前記測距エリア判定閾値以下である場合、前記測距エリアの領域サイズ
を、被写体重視測距サイズにフォーカス駆動制御部で設定することを含むフォーカス制御方法であり、
前記被写体重視測距サイズは、
前記デフォーカス量に応じて前記フォーカスレンズを合焦位置とするフォーカスレンズ移動量を設定して前記フォーカスレンズを駆動する被写体重視駆動時の測距サイズであ
り、
前記フォーカス駆動制御部は、
前記測距エリアの被写体が動被写体である場合に前記被写体重視測距サイズを前記速度重視駆動時の測距サイズよりも大きくし、
前記測距エリアの被写体が静止被写体である場合に前記被写体重視測距サイズを前記速度重視駆動時の測距サイズまたは前記速度重視駆動時の測距サイズよりも小さくするフォーカス制御方法。
【請求項16】
フォーカス制御を行うコンピュータに、
撮像画面内の測距エリアで検出したデフォーカス量が予め設定された測距エリア判定閾値よりも大きい場合、前記測距エリアの領域サイズを、ユーザによって予め設定された駆動パターンの速度でフォーカスレンズを合焦位置へと駆動する速度重視駆動時の測距サイズに設定する手順と、
前記デフォーカス量が前記測距エリア判定閾値以下である場合、前記測距エリアの領域サイズ
を、被写体重視測距サイズに設定する手順と
を前記コンピュータで実行させるためのプログラムであり、
前記被写体重視測距サイズは、
前記デフォーカス量に応じて前記フォーカスレンズを合焦位置とするフォーカスレンズ移動量を設定して前記フォーカスレンズを駆動する被写体重視駆動時の測距サイズであ
り、
前記プログラムは、前記コンピュータに、
前記測距エリアの被写体が動被写体である場合に前記被写体重視測距サイズを前記速度重視駆動時の測距サイズよりも大きくする手順を実行させ、
前記測距エリアの被写体が静止被写体である場合に前記被写体重視測距サイズを前記速度重視駆動時の測距サイズまたは前記速度重視駆動時の測距サイズよりも小さくする手順を実行させるプログラム。
【請求項17】
撮像画面内の測距エリアのデフォーカス量を検出するデフォーカス検出部と、
フォーカスレンズを含む撮像光学系と、
撮像画面内の測距エリアで検出したデフォーカス量が予め設定された測距エリア判定閾値よりも大きい場合、前記測距エリアの領域サイズを、ユーザによって予め設定された駆動パターンの速度で前記フォーカスレンズを合焦位置へと駆動する速度重視駆動時の測距サイズに設定
し、
前記デフォーカス量が前記測距エリア判定閾値以下である場合、前記測距エリアの領域サイズ
を、被写体重視測距サイズに設定するフォーカス駆動制御部を有する撮像装置であり、
前記被写体重視測距サイズは、
前記デフォーカス量に応じて前記フォーカスレンズを合焦位置とするフォーカスレンズ移動量を設定して前記フォーカスレンズを駆動する被写体重視駆動時の測距サイズであ
り、
前記フォーカス駆動制御部は、
前記測距エリアの被写体が動被写体である場合に前記被写体重視測距サイズを前記速度重視駆動時の測距サイズよりも大きくし、
前記測距エリアの被写体が静止被写体である場合に前記被写体重視測距サイズを前記速度重視駆動時の測距サイズまたは前記速度重視駆動時の測距サイズよりも小さくする制御を実行する撮像装置。
【発明の詳細な説明】
【技術分野】
【0001】
この技術は、制御装置とフォーカス制御方法とプログラムおよび撮像装置に関し、安定したフォーカス制御を容易に行うことができるようにする。
【背景技術】
【0002】
従来、フォーカス制御装置では、撮像光学系の視野内で指定された測距エリアにおける被写体像の位相差や被写体像を光電変換して得られた画像の高周波成分の検出結果から焦点状態を検出することが行われている。
【0003】
また、高精度にフォーカス制御を行うため、例えば特許文献1では、特定被写体の予測移動位置に応じて、複数の測距エリアのうち特定被写体に対する測距動作を行う測距エリアを選択することが行われている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、特定被写体の予測移動位置を求めて測距エリアの選択を行う場合、精度よく予測移動位置を求めることができないと、選択した測距エリアに特定被写体が含まれずフォーカス制御を精度よく行うことができない場合が生じてしまう。
【0006】
そこで、この技術では、安定したフォーカス制御を容易に行うことができるフォーカス制御装置とフォーカス制御方法とプログラムおよび撮像装置を提供することを目的とする。
【課題を解決するための手段】
【0007】
この技術の第1の側面は、
撮像画面内の測距エリアで検出したデフォーカス量が予め設定された測距エリア判定閾値よりも大きい場合、前記測距エリアの領域サイズを、ユーザによって予め設定された駆動パターンの速度でフォーカスレンズを合焦位置へと駆動する速度重視駆動時の測距サイズに設定して、前記デフォーカス量が前記測距エリア判定閾値以下である場合、前記測距エリアの領域サイズを前記速度重視駆動時の測距サイズと異なる領域サイズとして、前記デフォーカス量に応じて前記フォーカスレンズを合焦位置とするフォーカスレンズ移動量を設定して前記フォーカスレンズを駆動する被写体重視駆動時の測距サイズである被写体重視測距サイズに設定するフォーカス駆動制御部
を有するフォーカス制御装置にある。
【0008】
この技術では、撮像画面内の測距エリアで検出したデフォーカス量や画像信号から高周波成分を抽出して算出した被写体画像の鮮鋭度に応じた評価値が、予め設定された測距エリア判定閾値よりも大きい場合、フォーカス駆動制御部は、測距エリアを予め設定されている領域サイズである速度重視駆動時の測距サイズに設定する。また、フォーカス駆動制御部は、デフォーカス量や評価値が測距エリア判定閾値以下である場合、測距エリアを速度重視駆動時の測距サイズと異なる領域サイズである被写体重視測距サイズに設定する。例えば、フォーカス駆動制御部は、測距エリアの被写体が動被写体である場合に被写体重視測距サイズを速度重視駆動時の測距サイズよりも大きくして、被写体が静止被写体である場合に被写体重視測距サイズを速度重視駆動時の測距サイズまたは速度重視駆動時の測距サイズよりも小さくする。また、フォーカス駆動制御部は、被写体の撮像モードに応じて前記被写体重視測距サイズの設定を行い、撮像モードが動被写体を撮像するモードである場合に被写体重視測距サイズを速度重視駆動時の測距サイズよりも大きくして、撮像モードが静止被写体を撮像するモードである場合に被写体重視測距サイズを速度重視駆動時の測距サイズまたは速度重視駆動時の測距サイズよりも小さくする。さらに、フォーカス駆動制御部は、被写界深度に応じて被写体重視測距サイズを設定して、被写界深度が深い場合は被写界深度が浅い場合よりも領域サイズを小さくする。
【0009】
また、デフォーカス量や評価値が予め設定された駆動制御判定閾値よりも大きい場合、フォーカス駆動制御部は、速度重視駆動制御を行い、予めユーザが選択した駆動パターンに応じて例えばフォーカスレンズの移動速度を設定してフォーカスレンズを合焦位置へと駆動する。また、駆動パターンを記憶する駆動パターン記憶部をさらに有しており、フォーカス駆動制御部は、フォーカスレンズに対するユーザ操作に応じて駆動パターンを生成して駆動パターン記憶部に記憶する。
【0010】
デフォーカス量や評価値が駆動制御判定閾値以下である場合、フォーカス駆動制御部は被写体重視駆動制御を行う。被写体重視駆動制御では、デフォーカス量に応じてフォーカスレンズを合焦位置とするフォーカスレンズ移動量を設定してフォーカスレンズを駆動する。例えば、デフォーカス量が最小となるようにフォーカスレンズ移動量を設定する追従性重視制御、またはデフォーカス量を時間方向または空間方向に平滑化して得られた平滑化デフォーカス量が最小となるようにフォーカスレンズ移動量を設定する安定性重視制御、あるいは測距エリアの被写体の撮像画像から画像の鮮鋭度に応じた評価値を算出して、鮮鋭度が最大となるようにフォーカスレンズを駆動する精度重視制御を行う。
【0011】
また、ユーザ操作を受け付けるユーザインタフェース部を備え、フォーカス駆動制御部は、ユーザ操作に応じて駆動パターンの設定または変更を行う。また、測距エリア判定閾値と前記駆動制御判定閾値は例えば等しい値とする。
【0012】
この技術の第2の側面は、
撮像画面内の測距エリアで検出したデフォーカス量が予め設定された測距エリア判定閾値よりも大きい場合、前記測距エリアの領域サイズを、ユーザによって予め設定された駆動パターンの速度でフォーカスレンズを合焦位置へと駆動する速度重視駆動時の測距サイズにフォーカス駆動制御部で設定することと、
前記デフォーカス量が前記測距エリア判定閾値以下である場合、前記測距エリアの領域サイズを前記速度重視駆動時の測距サイズと異なる領域サイズとして、前記デフォーカス量に応じて前記フォーカスレンズを合焦位置とするフォーカスレンズ移動量を設定して前記フォーカスレンズを駆動する被写体重視駆動時の測距サイズである被写体重視測距サイズにフォーカス駆動制御部で設定すること
を含むフォーカス制御方法にある。
【0013】
この技術の第3の側面は、
フォーカス制御を行うコンピュータに、
撮像画面内の測距エリアで検出したデフォーカス量が予め設定された測距エリア判定閾値よりも大きい場合、前記測距エリアの領域サイズを、ユーザによって予め設定された駆動パターンの速度でフォーカスレンズを合焦位置へと駆動する速度重視駆動時の測距サイズに設定する手順と、
前記デフォーカス量が前記測距エリア判定閾値以下である場合、前記測距エリアの領域サイズを前記速度重視駆動時の測距サイズと異なる領域サイズとして、前記デフォーカス量に応じて前記フォーカスレンズを合焦位置とするフォーカスレンズ移動量を設定して前記フォーカスレンズを駆動する被写体重視駆動時の測距サイズである被写体重視測距サイズに設定する手順と
を前記コンピュータで実行させるためのプログラムにある。
【0014】
なお、本技術のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用コンピュータに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体、例えば、光ディスクや磁気ディスク、半導体メモリなどの記憶媒体、あるいは、ネットワークなどの通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ上でプログラムに応じた処理が実現される。
【0015】
この技術の第4の側面は、
撮像画面内の測距エリアのデフォーカス量を検出するデフォーカス検出部と、
フォーカスレンズを含む撮像光学系と、
撮像画面内の測距エリアで検出したデフォーカス量が予め設定された測距エリア判定閾値よりも大きい場合、前記測距エリアの領域サイズを、ユーザによって予め設定された駆動パターンの速度で前記フォーカスレンズを合焦位置へと駆動する速度重視駆動時の測距サイズに設定して、前記デフォーカス量が前記測距エリア判定閾値以下である場合、前記測距エリアの領域サイズを前記速度重視駆動時の測距サイズと異なる領域サイズとして、前記デフォーカス量に応じて前記フォーカスレンズを合焦位置とするフォーカスレンズ移動量を設定して前記フォーカスレンズを駆動する被写体重視駆動時の測距サイズである被写体重視測距サイズに設定するフォーカス駆動制御部と
を有する撮像装置にある。
【発明の効果】
【0016】
この技術によれば、撮像画面内の測距エリアで検出したデフォーカス量が予め設定された測距エリア判定閾値よりも大きい場合、測距エリアは予め設定されている領域サイズである速度重視駆動時の測距サイズに設定されて、デフォーカス量が測距エリア判定閾値以下である場合、測距エリアは速度重視駆動時の測距サイズと異なる領域サイズである被写体重視測距サイズに設定される。したがって、合焦後はフォーカスを合わせる被写体に応じて測距エリアが設定されるので、安定したフォーカス制御を容易に行うことができるようになる。なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また付加的な効果があってもよい。
【図面の簡単な説明】
【0017】
【
図2】第1の実施の形態の動作を示すフローチャートである。
【
図3】測距エリアの設定動作を説明するための図(タップ操作あるいは長押し操作によって測距エリアを設定する場合)である。
【
図4】測距エリアの設定動作を説明するための図(測距枠を所望の被写体の表示位置に移動して測距エリアを設定する場合)である。
【
図5】測距エリアの設定動作を説明するための図(スイッチ操作によって測距枠を移動して測距エリアを設定する場合)である。
【
図6】測距エリアの設定動作を説明するための図(予め登録されている測距エリアから測距エリアを選択する場合)である。
【
図7】速度重視駆動制御で選択可能な駆動パターンを例示した図である。
【
図8】被写体重視駆動制御を説明するための図である。
【
図9】精度を重視した被写体重視駆動制御を説明するための図である。
【
図10】被写体の変更動作を説明するための図である。
【
図11】被写体の他の変更動作を説明するための図である。
【
図12】第2の実施の形態の動作を示すフローチャートである。
【
図13】測距エリアが速度重視駆動時の測距サイズである場合を説明するための図である。
【
図14】測距エリアが被写体重視測距サイズである場合を説明するための図である。
【
図15】第2の実施の形態の動作例を示した図である。
【
図16】第2の実施の形態の他の動作例を示した図である。
【
図17】第3の実施の形態の動作例を示した図である。
【発明を実施するための形態】
【0018】
以下、本技術を実施するための形態について説明する。なお、説明は以下の順序で行う。
1.撮像システムの構成
2.オートフォーカス制御の第1の実施の形態
3.オートフォーカス制御の第2の実施の形態
4.オートフォーカス制御の第3の実施の形態
5.オートフォーカス制御の他の実施の形態
【0019】
<1.撮像システムの構成>
図1は、本技術のフォーカス制御装置を用いた撮像システムの構成を例示している。撮像システム10は、撮像部20と制御部30、ユーザインタフェース(I/F)部40、表示部50、記録再生部60を有している。撮像部20は撮像画像の画像信号および撮像画像に含まれる被写体の測距結果を示す測距情報を生成して制御部30へ出力する。また、撮像部20は、レンズや絞りの制御状態を示す撮像光学系情報を生成して制御部30へ出力する。制御部30は、ユーザインタフェース部40からの操作信号や測距情報および撮像光学系情報等に基づいて撮像部20の動作制御を行う。また、撮像部20で生成された画像信号の出力制御を行う。表示部50は、制御部30から出力された画像信号に基づいて撮像画像を表示する。記録再生部60は、制御部30から出力された画像信号を記録媒体に記録する。なお、撮像部20と制御部30、表示部50、記録再生部60は一体化して設けられてもよく、個々に独立して設けられてもよい。また、一部のみ例えば制御部30とユーザインタフェース部40と表示部50を一体に構成してもよい。
【0020】
撮像部20は、撮像光学系ブロック21、撮像光学系駆動処理部22、撮像素子23、信号処理部24、測距部25を有している。
【0021】
撮像光学系ブロック21は、フォーカスレンズ211やズームレンズ212、絞り213、シャッター機構214を有している。フォーカスレンズ211は、被写体光学像を撮像素子23の撮像面に結像させる。ズームレンズ212には、撮像素子23の撮像面に結像される被写体光学像の大きさを調整する。絞り213は、撮像素子23の撮像面に結像される被写体光学像の明るさを調整する。シャッター機構214は、被写体光学像を撮像素子23の撮像面に結像される期間の調整、すなわち撮像素子23の露光時間を調整する。
【0022】
撮像光学系駆動処理部22は、制御部30からのフォーカス駆動制御信号に基づきフォーカスレンズ211を駆動する。また、撮像光学系駆動処理部22は、フォーカスレンズ211のフォーカスレンズ位置情報を生成して制御部30へ出力する。さらに、撮像光学系駆動処理部22は、制御部30からのズーム制御信号や絞り制御信号に基づきズームレンズ212や絞りを駆動する処理、およびズームレンズ212のレンズ位置や絞りの設定位置を示すズームレンズ位置情報や絞り設定情報を生成して制御部30へ出力する。また、撮像光学系駆動処理部22は、制御部30からのシャッター制御信号に基づき、指定された露光期間に対応させてシャッター機構を駆動する。
【0023】
撮像素子23は、CMOS(Complementary Metal Oxide Semiconductor)イメージセンサまたはCCD(Charge Coupled Device)イメージセンサ等からなり、撮像光学系ブロック21を介して撮像面に入射された被写体光を光電変換して画像信号を生成する。撮像素子23は、生成した画像信号を信号処理部24へ出力する。
【0024】
信号処理部24は、撮像素子23から供給された画像信号に対してノイズ除去処理やA/D(Analog/Digital)変換等を行う。さらに、信号処理部24は、デモザイク処理やガンマ補正、ホワイトバランスや色調,彩度,コントラスト等の調整処理を行い制御部30へ出力する。
【0025】
測距部25は、被写体の測距情報を生成する。測距部25は、撮像素子23に設けられてもよく、撮像素子23と別個に設けられてもよい。例えば測距部25を設けた撮像素子23としては、撮像面に像面位相差検出画素を設けたイメージセンサが用いられる。フォーカス制御において、フォーカスを合わせる被写体領域である測距エリアに位相差検出画素が設けられる。像面位相差検出画素は、瞳分割によって分割された一方の画像と他方の画像の画像信号を個々に生成する。測距部25は、像面位相差検出画素で生成された画像信号を用いて、一方の画像と他方の画像の位相差を検出する。
【0026】
また、測距部25は、イメージセンサとは別個にオートフォーカス用の一対のラインセンサを設けて、瞳分割によって分割された一方の画像と他方の画像を一対のラインセンサ上に結像させて、一対のラインセンサに結像された画像の位相差を検出してもよい。さらに、測距部25は、出力した光や電波の反射に基づき被写体までの距離を測定できるセンサ等を用いてもよい。
【0027】
測距部25は、検出した位相差や被写体までの距離を示す測距情報を、制御部30へ出力する。また、測距部25は、撮像画像における画素毎の被写界深度を示すデプスマップを生成して測距情報として制御部30へ出力してもよい。
【0028】
制御部30は、例えば画像信号出力制御部31、デフォーカス検出部32、駆動パターン記憶部33、フォーカス駆動制御部34等を有している。画像信号出力制御部31は、ユーザインタフェース部40からの操作信号に基づき、撮像部20で生成された画像信号を表示部50や記録再生部60,外部機器等へ出力する制御を行う。
【0029】
デフォーカス検出部32は、測距情報に基づきフォーカス誤差を示すデフォーカス量を検出する。例えば測距情報が位相差を示している場合、位相差をデフォーカス量として用いてもよく、位相差に対応するフォーカスレンズ位置の差をデフォーカス量として用いてもよい。また、測距情報が被写体までの距離を示している場合、測距情報で示された距離の被写体に合焦するフォーカスレンズ位置と現在のフォーカスレンズ位置との差をデフォーカス量として用いる。また、測距情報がデプスマップである場合、測距エリアにおけるデプス値で示された位置に合焦するフォーカスレンズ位置と現在のフォーカスレンズ位置との差をデフォーカス量として用いる。デフォーカス検出部32は、測距情報から検出したデフォーカス量をフォーカス駆動制御部34へ出力する。
【0030】
駆動パターン記憶部33は、デフォーカス検出部32で検出されたデフォーカス量に応じてフォーカスレンズを駆動する際の駆動パターンを記憶する。駆動パターンは例えばフォーカスレンズの移動速度を示す駆動パターンまたは速度変化を示す駆動パターンであってもよく、駆動パターンを生成するための情報例えば速度と変化パターン(等速変化あるいは曲線変化等)を指定した設定情報等であってもよい。また、駆動パターン記憶部33は、複数の駆動パターンを記憶して、ユーザ等によって選択的に用いるようにしてもよい。
【0031】
フォーカス駆動制御部34は、測距エリアのデフォーカス量やユーザインタフェース部40からの操作信号と駆動パターン記憶部33から取得した駆動パターンに基づいてフォーカス駆動制御信号を生成する。フォーカス駆動制御部34は、生成したフォーカス駆動制御信号を撮像部20へ出力してオートフォーカス動作を行う。また、フォーカス駆動制御部34は、撮像光学系ブロック21のフォーカスレンズ211に対するユーザ操作に応じて駆動パターンを生成して、生成した駆動パターンを駆動パターン記憶部に記憶してもよい。測距エリアのデフォーカス量は、例えば測距エリア内の複数位置でデフォーカス量が得られている場合、例えばエリアの中央のデフォーカス量を用いてもよく、測距エリアに含まれる複数のデフォーカス量の平均値を測距エリアのデフォーカス量としてもよい。なお、
図1では、デフォーカス検出部32をフォーカス駆動制御部34と別個に設けているが、測距部25から取得した測距情報等に基づきフォーカス駆動制御部34で測距エリアのデフォーカス量を算出するようにしてもよい。
【0032】
ユーザインタフェース部40は、操作スイッチやタッチパネル等で構成されており、ユーザ操作に応じた操作信号を制御部30へ出力する。
【0033】
表示部50は、液晶表示素子や有機EL表示等を用いて構成されている。表示部50は、制御部30から供給された画像信号に基づき、撮像部20で得られた撮像画像を表示する。また、表示部50の画面上には、ユーザインタフェース部40のタッチパネルが設けられて、グラフィカルユーザインタフェースが構成されており、画面表示に応じてユーザがタッチパネルを操作することで、撮像システム10の各種設定や動作切り替え等が可能とされている。
【0034】
記録再生部60は、記録媒体が固定または着脱可能とされており、制御部30から供給された撮像画像の画像信号を記録する。また、記録再生部60は、記録されている画像信号を制御部30からの要求に応じて読み出して制御部30へ出力する。したがって、記録再生部60に記録されている撮像画像を表示部50で表示することができる。
【0035】
<2.オートフォーカス制御の第1の実施の形態>
次に、オートフォーカス制御の第1の実施の形態について説明する。第1の実施の形態では、測距エリア内の被写体にフォーカスを合わせる際に、ユーザが所望するフォーカス変化を行うことができるようにする。すなわち、フォーカス駆動制御部は、撮像画面内の測距エリアで検出したデフォーカス量が予め設定された駆動制御判定閾値よりも大きい場合、予め設定された駆動パターン例えばユーザインタフェース部に対するユーザ操作に応じて選択された駆動パターンでフォーカスレンズを合焦位置へと駆動する速度重視駆動制御を行う。
【0036】
また、第1の実施の形態では、測距エリア内の被写体にフォーカスがあった状態を維持できるようにする。すなわち、フォーカス駆動制御部は、デフォーカス量が駆動制御判定閾値以下である場合、デフォーカス量に応じてフォーカスレンズを合焦位置とするフォーカスレンズ移動量を設定してフォーカスレンズを駆動する被写体重視駆動制御を行う。
【0037】
図2は、第1の実施の形態の動作を示すフローチャートである。ステップST1でフォーカス駆動制御部は測距エリアを設定する。フォーカス駆動制御部34は、ユーザインタフェース部40からの操作信号に基づいて、撮像画面内に測距エリアを設定してステップST2に進む。
【0038】
図3乃至
図6は、測距エリアの設定動作を説明するための図である。
図3は、タップ操作あるいは長押し操作によって測距エリアを設定する場合を示している。ユーザは所望の被写体OBの位置に対してタップ操作あるいは長押し操作を行う。フォーカス駆動制御部34は、ユーザインタフェース部40からの操作信号に基づき、タップ操作あるいは長押し操作が行われたことを検出した場合、操作位置を含むように測距エリア(測距枠Grで囲まれたエリア)を設定する。なお、測距エリアは、タップ操作あるいは長押し操作によって指定された点であってもよい。
【0039】
図4は、測距枠を所望の被写体の表示位置に移動して測距エリアを設定する場合を示している。フォーカス駆動制御部34は、測距エリアを示す測距枠Grを画面上に表示している。ユーザは測距枠Grを破線で示す位置から所望の被写体OBの位置に移動するドラッグ操作を行う。フォーカス駆動制御部34は、ユーザインタフェース部40からの操作信号に基づき、ドラッグ操作が行われたことを検出した場合、移動後の測距枠Grで囲まれたエリアを測距エリアとして設定する。
【0040】
図5は、スイッチ操作によって測距枠を移動して測距エリアを設定する場合を示している。ユーザは、ユーザインタフェース部40の移動キー(十字キーまたはジョイスティック等)401を操作して、測距枠Grを破線で示す位置から所望の被写体OBの位置に移動する。フォーカス駆動制御部34は、ユーザインタフェース部40からの操作信号に基づき、測距枠Grの移動操作が行われたことを検出した場合、移動後の測距枠Grで囲まれたエリアを測距エリアとして設定する。
【0041】
図6は、予め登録されている測距エリアから測距エリアを選択する場合を示している。ユーザは、ユーザインタフェース部40の選択キー402を操作して、所望の被写体OBの位置である測距枠Grを選択する。なお、一点鎖線で示す枠が選択可能な測距枠を例示している。フォーカス駆動制御部34は、ユーザインタフェース部40からの操作信号に基づき、測距枠Grの選択操作が行われたことを検出した場合、ユーザが選択した測距枠Grで囲まれたエリアを測距エリアとして設定する。
【0042】
図2に戻り、ステップST2でフォーカス駆動制御部はデフォーカス量を取得する。フォーカス駆動制御部34は、ステップST1で設定した測距エリアに含まれる被写体のデフォーカス量をデフォーカス検出部32から取得する。例えば、フォーカス駆動制御部34は、撮像部20において像面位相差検出画素を設けたイメージセンサが用いられている場合、測距エリア内の像面位相差検出画素を用いて算出した位相差から検出したデフォーカス量をデフォーカス検出部32から取得する。また、フォーカス駆動制御部34は、測距部25で被写体までの距離が測定された場合、測距エリア内の被写体までの距離とフォーカスレンズの現在位置から検出したデフォーカス量をデフォーカス検出部32から取得する。フォーカス駆動制御部34は、デフォーカス検出部32から測距エリアのデフォーカス量を取得してステップST3に進む。
【0043】
ステップST3でフォーカス駆動制御部は、デフォーカス量が駆動制御判定閾値よりも大きいか判別する。フォーカス駆動制御部34は、ステップST2で取得した測距エリアのデフォーカス量が予め設定されている駆動制御判定閾値よりも大きい場合にステップST4に進み、デフォーカス量が駆動制御判定閾値以下である場合にステップST5に進む。
【0044】
ステップST4でフォーカス駆動制御部は、速度重視駆動制御を行う。フォーカス駆動制御部34は、速度重視駆動制御を行う場合、予めユーザが選択した駆動パターンでフォーカスレンズを合焦位置へと駆動するフォーカス駆動制御信号を生成して撮像部20へ出力してステップST6に進む。
【0045】
図7は、速度重視駆動制御で選択可能な駆動パターンを例示している。
図7の(a)はフォーカスレンズの移動速度が一定の場合を示している。フォーカスレンズの移動速度が速い駆動パターンCVaをユーザが選択した場合、フォーカス位置が駆動開始時の位置Psから合焦位置Pfとなるまでの時間、すなわち撮像画像が測距エリアの被写体にフォーカスの合った画像となるまでの時間が短くなる。また、移動速度が遅い駆動パターンCVbをユーザが選択した場合、撮像画像は測距エリアの被写体にフォーカスの合った画像となるまでの時間が長くなる。
【0046】
図7の(b)はフォーカスレンズの移動速度が一定でない場合を例示している。駆動パターンCVcは、時間の経過と共に移動速度が低下する場合を示している。駆動パターンCVcをユーザが選択した場合、撮像画像はぼけが少なくなるに伴いぼけの減り具合が小さい画像となる。
【0047】
駆動パターンCVdは、フォーカス駆動制御の駆動開始時とフォーカスが合焦位置に近づいたとき、他の期間よりも移動速度を高速とした場合を示している。例えばフォーカス制御開始時のぼけが大きくフォーカスレンズを移動してもぼけの減り具合が目立たないような場合、駆動パターンCVdが選択されていると、ぼけの減り具合が目立たないようなレンズ位置ではフォーカスレンズを高速に移動することができる。また、フォーカスレンズが合焦位置に近づいたときに移動速度が高速とされるので、例えばぼけが小さく目立たないような状態となったとき速やかに合焦状態となる。したがって、駆動パターンCVdを選択すれば、合焦状態となるまでの期間においてぼけの変化が顕著な撮像画像を生成できるようになる。
【0048】
なお、速度重視駆動制御では、取得されたデフォーカス量に応じてフォーカスレンズの移動量を設定してもよい。この場合、デフォーカス量が取得される毎に移動量の設定が行われることから、移動速度を設定した場合と同様な動作が可能となり、
図7の駆動パターンのような速度重視駆動制御を行うことができる。
【0049】
このように、フォーカス駆動制御部34は、速度重視駆動制御であるとき、ユーザが選択した駆動パターンでフォーカスレンズを合焦位置へと駆動することから、ユーザが所望するフォーカス変化を生じた撮像画像を撮像部20で生成することができるようになる。したがって、ユーザは、動画の撮像時において例えば測距エリアの被写体にフォーカスが合うまでのぼけの変化を演出として利用することが可能となる。
【0050】
図2に戻り、ステップST3からステップST5に進むと、フォーカス駆動制御部は、被写体重視駆動制御を行う。フォーカス駆動制御部34は、被写体重視駆動制御を行う場合、デフォーカス量に応じてフォーカスレンズを合焦位置とするフォーカスレンズ移動量を設定してフォーカスレンズを駆動するフォーカス駆動制御信号を生成して撮像部20へ出力してステップST6に進む。
【0051】
図8は、被写体重視駆動制御を説明するための図である。被写体重視駆動制御において、追従性を重視したフォーカス制御または安定性を重視したフォーカス制御を行う。
【0052】
図8の(a)は、追従性を重視したフォーカス制御を示している。フォーカス駆動制御部34は、追従性を重視したフォーカス制御を行う場合、デフォーカス量が最小となるようにフォーカスレンズ移動量を設定してフォーカス駆動制御信号を生成する。したがって、フォーカスレンズは、測距情報に基づく合焦位置(黒丸で示す)に順次移動されることから追従性の良好なオートフォーカス動作を行うことができる。
【0053】
図8の(b)は安定性を重視したフォーカス制御を示している。フォーカス駆動制御部34は、安定性を重視したフォーカス制御動作を行う場合、デフォーカス量を時間方向または空間方向に平滑化して得られた平滑化デフォーカス量が最小となるようにフォーカスレンズ移動量を設定してフォーカス駆動制御信号を生成する。例えば、フォーカス駆動制御部34は、デフォーカス量について移動平均の算出を行い、現在から過去方向の所定期間中に取得されたデフォーカス量の平均値(平滑化デフォーカス量)を時間の経過と共に順次算出する。また、フォーカス駆動制御部34は、算出した平均値が最小となるようにフォーカスレンズ移動量を設定してフォーカス駆動制御信号を生成する。したがって、フォーカスレンズは、平滑化後の測距情報に基づく合焦位置(白丸で示す)に順次移動されることから安定性の良好なオートフォーカス動作を行うことができる。また、安定性を重視したフォーカス制御では、デフォーカス量の平滑化が行われることから、例えば測距情報に誤りが生じた場合であっても、撮像画像は測距情報の誤りによってぼけを生じた画像になりにくい。なお、黒丸は平滑化を行う前の測距情報に基づく合焦位置を示している。
【0054】
フォーカス駆動制御部34は、測距エリアの被写体の動き状態に応じて追従性を重視したフォーカス制御(追従性重視制御)または安定性を重視したフォーカス制御(安定性重視制御)あるいは後述する精度を重視したフォーカス制御(精度重視制御)を行う。フォーカス駆動制御部34は、測距エリアの被写体が動被写体である場合に追従性を重視したフォーカス制御を行い、測距エリアの被写体が静止被写体である場合に安定性を重視したフォーカス制御を行う。このようにフォーカス制御を選択することで、撮像部20は、被写体が動いている場合に精度よくフォーカスを合わせ続けることができるようになり、被写体が静止している場合にフォーカスずれを生じにくくできる。さらに、フォーカス駆動制御部34は、測距エリアの被写体が動被写体か静止被写体かなど被写体の状況を判断し、その結果に応じて平均値の点数を適応的に変えることによって算出したフォーカス移動量を設定することで、追従性と安定性を両立するフォーカス合わせを行うようにしてもよい。
【0055】
測距エリアの被写体が動被写体であるか静止被写体であるかの判定は、デフォーカス量を利用して判定してもよく被写体の撮像画像を用いて判定してもよい。例えばデフォーカス量は合焦状態である場合に小さい値となることから、デフォーカス量が小さい値である被写体が測距エリアから移動している場合に動被写体と判定する。また、デフォーカス量に基づき検出した奥行き方向の変化すなわち像倍率の変化量が予め設定した閾値よりも大きい場合、過去から現在までのフォーカス移動のトレンド(傾き)が予め設定した閾値よりも大きい場合に動被写体と判定する。また、像面速度が予め設定した閾値よりも速い場合に動被写体と判定してもよい。被写体の撮像画像を用いる場合、例えば測距エリアの被写体画像を用いて時間経過後の撮像画像とマッチング処理を行い、撮像画像におけるマッチング位置が測距エリアから移動している場合に動被写体と判定する。さらに、撮像モードに応じて測距エリアの被写体が動被写体であるか静止被写体であるか判定してもよい。例えば被写体の人物を引き立てるポートレートモードであるときは静止被写体であると判定して、動きのある被写体の撮像を想定してスポーツモードであるときは動被写体であると判定してもよい。
【0056】
また、フォーカス駆動制御部34は、被写体重視駆動制御において、精度を重視したフォーカス制御を行うようにしてもよい。
図9は、精度を重視した被写体重視駆動制御を説明するための図である。フォーカス駆動制御部34は、精度を重視したフォーカス制御を行う場合、デフォーカス量に換えて、測距エリアを含む評価値算出領域の画像から算出した評価値を用いる。フォーカス駆動制御部34は、評価値算出領域の画像信号から高周波成分を抽出して被写体画像の鮮鋭度に応じた評価値を算出する。なお、評価値は、フォーカスが被写体に近づいて被写体画像の鮮鋭度が高くなるに伴い値が小さくなるように設定されている。フォーカス駆動制御部34は、フォーカス駆動制御信号によってフォーカスレンズを移動して、鮮鋭度が増加する方向を合焦方向と判別する。さらに、フォーカス駆動制御部34は、フォーカス駆動制御信号によってフォーカスレンズを合焦方向に移動して鮮鋭度が最大となる合焦位置Pfを判別したのち、フォーカスレンズを合焦位置に移動する。このようないわゆるコントラスト方式(あるいは山登り方式)でフォーカス制御を行うことで、撮像部20は、測距エリアの被写体の鮮鋭度が高い撮像画像を生成できるようになる。なお、精度を重視した被写体重視駆動制御では、フォーカスレンズを移動させて合焦位置を判別することから、測距エリアの被写体が静止被写体である場合に、精度を重視した被写体重視駆動制御を行うようにしてもよい。
【0057】
図2に戻り、ステップST6でフォーカス駆動制御部は、被写体が変更されたか判別する。フォーカス駆動制御部34は、操作信号に基づきユーザがフォーカスを合わせる被写体を変更したと判別した場合、あるいはフォーカスを合わせる被写体を自動的に変更した場合にステップST1に戻り、変更後の被写体に対応させて測距エリアを設定する。また、フォーカス駆動制御部34は、被写体が変更されたと判別していない場合ステップST2に戻り、測距エリアの被写体についてのデフォーカス量を取得することで、測距エリアの被写体にフォーカスが合っている状態を保持させる。
【0058】
図10は、被写体の変更動作を説明するための図である。フォーカス駆動制御部34は、測距エリアを登録できるようにして、測距エリアが登録された測距エリアに切り替えられた場合は、被写体が変更されたとする。
図10の(a)は、ユーザが予め登録した測距エリアを例示しており、測距枠Grsで囲まれたが測距エリアである。
図10の(b)は現在の測距エリアを例示しており、測距枠Graで囲まれたが測距エリアである。ここで、ユーザは、所望の被写体OBが登録した測距エリア内(測距枠Grsで囲まれたエリア内)となるとき、ユーザインタフェース部40の測距エリア読出スイッチ403を操作する。フォーカス駆動制御部34は、ユーザインタフェース部40からの操作信号に基づき、登録されている測距エリアの読出操作が行われたことを検出した場合、測距エリアを測距枠Graのエリアから測距枠Grsのエリアに切り替えて、被写体の変更が行われたとする。このように、フォーカス駆動制御部34は、測距エリアを登録できるようにして、登録された測距エリアを任意のタイミングで読み出すことができるようにする。したがって、例えば撮像画像の構図が決まっている場合、所望の位置に測距エリアを登録して、ユーザは、所望の被写体が測距エリアの位置となるタイミングで登録した測距エリアを読み出して測距エリアの切り替えを行う。このようにすれば、所望の被写体に容易にフォーカスを合わせることができるようになる。
【0059】
図11は、被写体の他の変更動作を説明するための図である。フォーカス駆動制御部34は、ユーザ操作に応じて測距エリアを移動できるようにして、測距エリアの移動が完了したとき被写体の変更が行われたとする。
図11の(a)は、移動前の測距エリアを例示しており、被写体OBaの位置である測距枠Grで囲まれたが測距エリアである。
【0060】
ユーザは、被写体OBbにフォーカスを合わせたい場合、ユーザインタフェース部40の移動キー401を操作して、測距枠Grを所望の被写体OBbの位置とする。フォーカス駆動制御部34は、ユーザインタフェース部40からの操作信号に基づき、測距枠Grの移動操作が行われたことを検出した場合、
図11の(b)に示す移動後の測距枠Grで囲まれたエリアを測距エリアとして設定する。このように、測距エリアを移動できるようにすれば、例えば撮像画像の構図が決まっていない場合や、所望の被写体の位置が分かっていない場合でも、所望の被写体に容易にフォーカスを合わせることができる。なお、
図10および
図11の動作は、ステップST1の測距エリアの設定で行ってもよい。
【0061】
このように、オートフォーカス制御の第1の実施の形態によれば、デフォーカス量が駆動制御判定閾値よりも大きい場合、速度を重視したフォーカス駆動制御が行われて、ユーザの所望するようなフォーカス変化を生じた撮像画像を生成できるようになる。また、デフォーカス量が駆動制御判定閾値以下である場合は、追従性または安定性あるいは精度を重視してオートフォーカス動作を行うことができるので、被写体を重視したフォーカス駆動制御が行われて、所望の被写体にフォーカスが合っている状態を精度よく維持できるようになる。このように、デフォーカス量に応じてフォーカス駆動制御が切り替えられるので、測距エリアの被写体にフォーカスが合うまでのぼけの変化を演出として利用することが可能であり、被写体にフォーカスが合うとフォーカスが合っている状態を保ち続けることができる。したがって、自由度が高く高性能なオートフォーカス動作を行うことができる。また、フォーカス駆動制御部は、画像信号から高周波成分を抽出して算出した被写体画像の鮮鋭度に応じた評価値を用いて、フォーカス駆動制御を行ってもよい。この場合、フォーカス駆動制御部は、例えば測距エリアを含む評価値算出領域の被写体画像の鮮鋭度に応じた評価値を取得して、評価値に対して設定されている駆動制御判定閾値と取得した評価値を比較する。フォーカス駆動制御部は、被写体画像の鮮鋭度が低く評価値が予め設定された駆動制御判定閾値よりも大きい場合に速度重視駆動制御を行い、駆動制御判定閾値以下である場合に被写体重視駆動制御を行う。このように、フォーカス駆動制御部で被写体画像の鮮鋭度に応じた評価値を用いた場合でも、撮像システムは、デフォーカス量を用いた場合と同様な作用効果を得ることができる。
【0062】
<3.オートフォーカス制御の第2の実施の形態>
次に、オートフォーカス制御の第2の実施の形態について説明する。第2の実施の形態では、デフォーカス量に応じて測距エリアの領域サイズの切り替えを行う場合について説明する。フォーカス駆動制御部は、デフォーカス量が予め設定された測距エリア判定閾値よりも大きい場合、測距エリアを予め設定されている領域サイズである速度重視駆動時の測距サイズに設定する。また、フォーカス駆動制御部は、デフォーカス量が測距エリア判定閾値以下である場合、測距エリアを速度重視駆動時の測距サイズと異なる領域サイズである被写体重視測距サイズに設定する。なお、測距エリア判定閾値が駆動制御判定閾値と等しい値である場合、速度重視駆動時の測距サイズは速度重視駆動制御における測距サイズ、被写体重視測距サイズは被写体重視駆動制御における測距サイズである。
【0063】
図12は、第2の実施の形態の動作を示すフローチャートである。ステップST11でフォーカス駆動制御部は測距エリアを設定する。フォーカス駆動制御部34は、ユーザインタフェース部40からの操作信号に基づいて、撮像画面内に測距エリアを設定してステップST12に進む。なお、測距エリアの設定は、上述した
図3乃至
図6の測距エリアの設定動作と同様に行う。
【0064】
ステップST12でフォーカス駆動制御部はデフォーカス量を取得する。フォーカス駆動制御部34は、ステップST11で設定した測距エリアに含まれる被写体のデフォーカス量をデフォーカス検出部32から取得する。例えば、フォーカス駆動制御部34は、上述したステップST2と同様に、位相差から検出したデフォーカス量または測距エリア内の被写体までの距離とフォーカスレンズの現在位置等から検出したデフォーカス量を取得してステップST13に進む。
【0065】
ステップST13でフォーカス駆動制御部は、デフォーカス量が測距エリア判定閾値よりも大きいか判別する。フォーカス駆動制御部34は、ステップST12で取得した測距エリアのデフォーカス量が予め設定されている測距エリア判定閾値よりも大きい場合にステップST14に進み、デフォーカス量が測距エリア判定閾値以下である場合にステップST15に進む。
【0066】
ステップST14でフォーカス駆動制御部は、測距エリアを速度重視駆動時の測距サイズに設定する。フォーカス駆動制御部34は、測距エリアを予め設定されている領域サイズである速度重視駆動時の測距サイズに設定する。また、フォーカス駆動制御部34は、測距エリアの測距結果に基づきフォーカスレンズを合焦位置へと駆動するフォーカス駆動制御信号を生成して撮像部20へ出力してステップST16に進む。
【0067】
図13は、測距エリアが速度重視駆動時の測距サイズである場合を説明するための図である。撮像システム10において、表示部50では、撮像画面GAに対してユーザインタフェース領域UAが設定されており、ユーザインタフェース領域UAの領域内におけるユーザ操作に応じて操作信号を生成する。所望の被写体にフォーカスを合わせたい場合、ユーザは上述のように測距枠を所望の位置とする操作を行う。フォーカス駆動制御部34は、操作信号に基づいて設定された測距枠Grで囲まれたエリアを測距エリアとして設定する。また、測距エリアの領域サイズは予め設定された速度重視駆動時の測距サイズとする。フォーカス駆動制御部34は、設定した測距エリアの測距結果に基づいてフォーカス駆動制御信号を生成して撮像部20へ出力する。したがって、撮像画像は所望の被写体にフォーカスが合った画像となる。
【0068】
図12に戻り、ステップST15でフォーカス駆動制御部は、測距エリアを被写体重視測距サイズに設定する。フォーカス駆動制御部34は、測距エリアを速度重視駆動時の測距サイズと異なる領域サイズである被写体重視測距サイズに設定する。また、フォーカス駆動制御部34は、測距エリアの測距結果に基づきフォーカス制御信号を生成して撮像部20へ出力してステップST16に進む。
【0069】
図14は、測距エリアが被写体重視測距サイズとされる場合を説明するための図である。所望の被写体が移動すると速度重視駆動時の測距サイズである測距エリアから外れてしまい、フォーカスを所望の被写体に追従させることができない。したがって、フォーカス駆動制御部34は、被写体が移動してもフォーカスを所望の被写体に追従できるように、測距エリアを速度重視駆動時の測距サイズよりも大きい領域サイズである被写体重視測距サイズとする。なお、
図14では、被写体重視測距サイズが撮像画面全体の領域サイズに設定されている場合を例示している。このように被写体重視測距サイズは、速度重視駆動時の測距サイズよりも大きい領域サイズとすることで、所望の被写体が移動しても測距エリアから外れてしまうことがない。したがって、被写体重視測距サイズとされた測距エリアの測距結果に応じてフォーカス制御信号を生成して撮像部20へ出力することで、撮像画像は所望の被写体が移動してもフォーカスが合った状態が保たれた画像となる。
【0070】
図12に戻り、ステップST16でフォーカス駆動制御部は、被写体が変更されたか判別する。フォーカス駆動制御部34は、操作信号に基づきユーザがフォーカスを合わせる被写体を変更したと判別した場合、あるいはフォーカス駆動制御部34がフォーカスを合わせる被写体を自動的に変更した場合ステップST11に戻り、変更後の被写体に対応させて測距エリアを設定する。また、フォーカス駆動制御部34は、被写体が変更されたと判別していない場合ステップST12に戻り、測距エリアの被写体についてのデフォーカス量を取得することで、測距エリアの被写体にフォーカスが合っている状態を保持させる。なお、被写体の変更の判別は第1の実施の形態と同様に行えばよい。
【0071】
このように、フォーカス駆動制御部34は、デフォーカス量が測距エリア判定閾値よりも大きい場合、測距エリアは速度重視駆動時の測距サイズに設定してフォーカス制御を行う。また、フォーカス駆動制御部34は、デフォーカス量が測距エリア判定閾値以下の場合、測距エリアは速度重視駆動時の測距サイズよりも大きい被写体重視測距サイズに設定してフォーカス制御を行う。したがって、所望の被写体にフォーカスを合わせることができるだけでなく、移動する被写体にフォーカスをより確実に追従させることができるようになり、安定したオートフォーカス動作を容易に行うことができる。また、被写体の動き方向や動き量が明らかな場合、測距エリアの基準位置(例えば中央位置)を被写体の動き方向や動き量に移動すれば、被写体重視測距サイズの測距エリアを移動する被写体に対応した位置に設定できる。また、フォーカス駆動制御部は、画像信号から高周波成分を抽出して算出した被写体画像の鮮鋭度を示す評価値を用いて、測距エリアの領域サイズの切り替えを行ってもよい。この場合、フォーカス駆動制御部は、例えば測距エリアを含む評価値算出領域の被写体画像の鮮鋭度に応じた評価値を取得して、評価値に対して設定されている測距エリア判定閾値と取得した評価値を比較する。フォーカス駆動制御部は、被写体画像の鮮鋭度が低く評価値が測距エリア判定閾値よりも大きい場合に速度重視駆動時の測距サイズに設定して、測距エリア判定閾値以下である場合に被写体重視測距サイズに設定する。このように、フォーカス駆動制御部で被写体画像の鮮鋭度に応じた評価値を用いた場合でも、撮像システムは、デフォーカス量を用いた場合と同様な作用効果を得ることができる。
【0072】
図15は、第2の実施の形態の動作例を示している。
図15の(a)は、フォーカス制御動作が開始される前の撮像画像を例示している。この画像では、被写体OBにフォーカスが合っていないため被写体OBの画像がぼけを生じている。
図15の(b)に示すように、測距枠Grを被写体OBの位置として、測距エリアに所望の被写体OBが含まれるようにする。このときの測距エリアの領域サイズは、測距結果が被写体OBのデフォーカス量を示すサイズ例えば速度重視駆動時の測距サイズとする。このように測距エリアが設定されると、フォーカス駆動制御部では例えば測距エリアのデフォーカス量に基づきフォーカス駆動制御が行われて、撮像画像は、
図14の(c)に示すように、被写体OBのぼけを生じていない画像となる。また、被写体OBにフォーカスが合ったことによりデフォーカス量が測距エリア判定閾値以下となるので、
図15の(d)に示すように、測距エリアは速度重視駆動時の測距サイズよりも大きい被写体重視測距サイズに変更される。したがって、被写体OBが移動してもフォーカスを被写体OBに追尾させることができるので、撮像画像は被写体OBのぼけを生じていない画像となる。
【0073】
また、フォーカス駆動制御部34は、測距エリアを速度重視駆動時の測距サイズよりも大きい被写体重視測距サイズとする場合、被写界深度に応じて領域サイズを調整してもよい。被写界深度が深い場合、デフォーカス量によって所望の被写体と他の被写体を分離することが困難である。このため、例えば被写体重視測距サイズを撮像画面全体とすると、所望の被写体とは異なる被写体にフォーカスが合ってしまい、フォーカス駆動制御部34は移動する所望の被写体にフォーカスを追従させることができないおそれがある。
図16は、第2の実施の形態の他の動作例を示している。
図16の(a)は測距エリアが速度重視駆動時の測距サイズと設定されて被写体OBcにフォーカスが合っている状態を例示している。被写体OBcと被写体OBdの被写界深度が深く、デフォーカス量によって被写体OBcと被写体OBdを分離することが困難である。このため、
図16の(b)に示すように、被写体重視測距サイズが速度重視駆動時の測距サイズよりも大きく、測距エリアに被写体OBcと被写体OBdが含まれると、被写体OBdにフォーカスが合って、撮像画像は被写体OBcがぼけを生じた画像となってしまうおそれがある。
【0074】
また、被写界深度が浅い場合、デフォーカス量によって所望の被写体と他の被写体を容易に分離できる。このため、例えば被写体重視測距サイズを撮像画面全体としても、所望の被写体とは異なる被写体にフォーカスが合いにくく、フォーカス駆動制御部34は、移動する所望の被写体にフォーカスを追従させ易い。
【0075】
したがって、フォーカス駆動制御部34は、被写界深度が深い場合は被写界深度が浅い場合よりも被写体重視測距サイズを小さくする。具体的には、焦点距離が短い場合や絞り値が大きい場合、焦点距離が長い場合や絞り値が小さい場合よりも被写体重視測距サイズを小さくする。このように被写界深度に応じて被写体重視測距サイズを設定することで、移動する所望の被写体にフォーカスを確実に追従させることができる。例えば、
図16の(c)に示すように、被写体重視測距サイズは、速度重視駆動時の測距サイズよりも大きく被写界深度が深い場合は撮像画面全体より小さいサイズとすることで、被写体OBcがぼけを生じていない撮像画像を引き続き生成できるようになる。
【0076】
<4.オートフォーカス制御の第3の実施の形態>
ところで、上述の第2の実施の形態では、移動する被写体にフォーカスを追従できるように、被写体重視測距サイズを速度重視駆動時の測距サイズよりも大きくした。しかし、静止している被写体や被写体の中でピンポイントに狙いたい部分がある場合には、被写体重視測距サイズを速度重視駆動時の測距サイズよりも大きくする必要がない。特に、静止している被写体は、画像のぼけが少なくなるように精度よくフォーカス制御を行うことが望ましい。そこで、第3の実施の形態では、測距エリアに含まれる被写体が静止している場合や測距エリアに含まれる被写体の中でフォーカスを合わせたい位置がピンポイントにある場合、被写体重視測距サイズを速度重視駆動時の測距サイズまたは速度重視駆動時の測距サイズよりも小さくして、精度よくフォーカス制御を行うようにする。
【0077】
フォーカス駆動制御部34は、
図12に示す処理を行い、ステップST15で測距エリアを被写体重視測距サイズに設定する場合、被写体が動被写体である場合は被写体重視測距サイズを速度重視駆動時の測距サイズよりも大きくして、被写体が静止被写体である場合は被写体重視測距サイズを速度重視駆動時の測距サイズまたは速度重視駆動時の測距サイズよりも小さくする。被写体が静止被写体であるか動被写体であるかの判別は、第1の実施の形態と同様に、デフォーカス量または撮像画像のマッチング処理あるいは撮像モード等に基づいて判別できる。
【0078】
フォーカス駆動制御部34は、被写体重視測距サイズを速度重視駆動時の測距サイズよりも小さくする場合、フォーカスを合わせる被写体を基準としてあるいは速度重視駆動時の測距サイズである測距エリアの中心を基準として領域を小さくする。また、フォーカス駆動制御部34は、速度重視駆動時の測距サイズである測距エリアに含まれた被写体の特徴を示す特徴点が被写体重視測距サイズの測距エリアに含まれるように設定してもよい。
図17は、第3の実施の形態の動作例を示しており、
図17の(a)に示すように、例えば測距枠Grで示した速度重視駆動時の測距サイズの測距エリアに被写体(人物)OBの顔全体が含まれているとする。ここで、被写体が静止しており被写体重視測距サイズを速度重視駆動時の測距サイズよりも小さくする場合、
図17の(b)に示すように、被写体の特徴を示す特徴点、例えば瞳の位置に測距枠Grを設定する。
【0079】
このように、デフォーカス量が測距エリア判定閾値以下となった場合に、測距エリアを速度重視駆動時の測距サイズよりも小さい被写体重視測距サイズに設定すれば、被写体の特徴点にフォーカス制御を行うことができる。このとき、測距エリアを小さくすると測距エリア内の測距点数が少なくなることからデフォーカスのばらつきを生じるため、後述するように、駆動制御判定閾値と測距エリア判定閾値を等しい値として第1の実施の形態のフォーカス駆動制御を組み合わせて行う場合、デフォーカス量が測距エリア判定閾値以下となって測距エリアを速度重視駆動時の測距サイズよりも小さくするときは、被写体重視駆動制御において、精度重視制御を行ってもよい。このようにすれば、フォーカス制御をさらに精度よく安定して行うことが可能となる。したがって、撮像部20では、所望の被写体のぼけがさらに減少された撮像画像を生成できる。
【0080】
<5.オートフォーカス制御の他の実施の形態>
撮像システムは、上述の実施の形態を個々に行う場合に限らず組み合わせて行うようにしてもよい。例えば、第1の実施の形態と第2の実施の形態を組み合わせた場合、デフォーカス量や評価値が大きいときは、測距エリアが速度重視駆動時の測距サイズに設定されて速度重視駆動制御が行われる。したがって、所望の被写体にフォーカスを合わせられるだけでなく合焦するまでのフォーカス変化をユーザが所望するフォーカス変化とした撮像画像を撮像部20で生成できる。また、デフォーカス量や評価値が小さくなると、測距エリアが速度重視駆動時の測距サイズよりも大きい被写体重視測距サイズに設定されて被写体重視駆動制御が行われる。したがって、所望の被写体にフォーカスが合った状態が精度よく確実に保たれている撮像画像を撮像部20で生成できるようになる。
【0081】
また、第1の実施の形態と第3の実施の形態を組み合わせて上述のように駆動制御判定閾値と測距エリア判定閾値を等しい値とすると、デフォーカス量が大きいときは、測距エリアが速度重視駆動時の測距サイズに設定されて速度重視駆動制御が行われる。したがって、所望の被写体にフォーカスを合わせられるだけでなく合焦するまでのフォーカス変化をユーザが所望するフォーカス変化とした撮像画像を撮像部20で生成できる。また、デフォーカス量が小さくなると、測距エリアが速度重視駆動時の測距サイズまたは速度重視駆動時の測距サイズよりも小さい被写体重視測距サイズに設定されて被写体重視駆動制御が行われる。したがって、所望の被写体の特徴部分に精度よくフォーカスが合っている状態が保たれている撮像画像を撮像部20で生成できるようになる。なお、駆動制御判定閾値と測距エリア判定閾値は、予め所定値に設定されていてもよく、ユーザ操作、被写体の撮像モード、被写体の動き状態等に応じて設定や変更が可能とされてもよい。例えば、所望の被写体に合焦した後に、この被写体が奥行き方向に移動しても、合焦状態を継続するためには、駆動制御判定閾値をある程度大きくしておく必要がある。しかし、デフォーカス量が駆動制御判定閾値内となる被写体が複数あると、所望の被写体と他の被写体を分離することが困難となる。したがって、被写体が静止被写体であるときの駆動制御判定閾値は、動被写体であるときの駆動制御判定閾値よりも小さくする。
【0082】
さらに、第1の実施の形態乃至第3の実施の形態を組み合わせることで、デフォーカス量が小さくなると、被写体が動被写体または静止被写体の何れであるかに応じて最適なフォーカス制御を行うことができる。
【0083】
このように、第1の実施の形態に第2の実施の形態や第3の実施の形態を組み合わせてフォーカス制御を行うようにすれば、自由度が高く精度のよい安定したオートフォーカス動作を容易に行うことができる。
【0084】
明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させる。または、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。
【0085】
例えば、プログラムは記録媒体としてのハードディスクやSSD(Solid State Drive)、ROM(Read Only Memory)に予め記録しておくことができる。あるいは、プログラムはフレキシブルディスク、CD-ROM(Compact Disc Read Only Memory),MO(Magneto optical)ディスク,DVD(Digital Versatile Disc)、BD(Blu-Ray Disc(登録商標))、磁気ディスク、半導体メモリカード等のリムーバブル記録媒体に、一時的または永続的に格納(記録)しておくことができる。このようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
【0086】
また、プログラムは、リムーバブル記録媒体からコンピュータにインストールする他、ダウンロードサイトからLAN(Local Area Network)やインターネット等のネットワークを介して、コンピュータに無線または有線で転送してもよい。コンピュータでは、そのようにして転送されてくるプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
【0087】
なお、本明細書に記載した効果はあくまで例示であって限定されるものではなく、記載されていない付加的な効果があってもよい。また、本技術は、上述した技術の実施の形態に限定して解釈されるべきではない。この技術の実施の形態は、例示という形態で本技術を開示しており、本技術の要旨を逸脱しない範囲で当業者が実施の形態の修正や代用をなし得ることは自明である。すなわち、本技術の要旨を判断するためには、請求の範囲を参酌すべきである。
【0088】
また、本技術のフォーカス制御装置は以下のような構成も取ることができる。
(1) 撮像画面内の測距エリアで検出したデフォーカス量が予め設定された測距エリア判定閾値よりも大きい場合、前記測距エリアを予め設定されている領域サイズである速度重視駆動時の測距サイズに設定して、前記デフォーカス量が前記測距エリア判定閾値以下である場合、前記測距エリアを前記速度重視駆動時の測距サイズと異なる領域サイズである被写体重視測距サイズに設定するフォーカス駆動制御部
を有するフォーカス制御装置。
(2) 前記フォーカス駆動制御部は、前記測距エリアの被写体が動被写体であるか静止被写体であるかに応じて前記被写体重視測距サイズを設定する(1)に記載のフォーカス制御装置。
(3) 前記フォーカス駆動制御部は、前記被写体が動被写体である場合に前記被写体重視測距サイズを前記速度重視駆動時の測距サイズよりも大きくする(2)に記載のフォーカス制御装置。
(4) 前記フォーカス駆動制御部は、前記被写体が静止被写体である場合に前記被写体重視測距サイズを前記速度重視駆動時の測距サイズまたは前記速度重視駆動時の測距サイズよりも小さくする(2)または(3)に記載のフォーカス制御装置。
(5) 前記フォーカス駆動制御部は、被写体の撮像モードに応じて前記被写体重視測距サイズを設定する(1)に記載のフォーカス制御装置。
(6) 前記フォーカス駆動制御部は、前記撮像モードが動被写体を撮像するモードである場合に前記被写体重視測距サイズを前記速度重視駆動時の測距サイズよりも大きくする(5)に記載のフォーカス制御装置。
(7) 前記フォーカス駆動制御部は、前記撮像モードが静止被写体を撮像するモードである場合に前記被写体重視測距サイズを前記速度重視駆動時の測距サイズまたは前記速度重視駆動時の測距サイズよりも小さくする(5)または(6)に記載のフォーカス制御装置。
(8) 前記フォーカス駆動制御部は、被写界深度に応じて前記被写体重視測距サイズを設定して、被写界深度が深い場合は被写界深度が浅い場合よりも領域サイズを小さくする(1)乃至(7)の何れかに記載のフォーカス制御装置。
(9) 前記フォーカス駆動制御部は、前記デフォーカス量が予め設定された駆動制御判定閾値よりも大きい場合、予め設定された駆動パターンでフォーカスレンズを合焦位置へと駆動する速度重視駆動制御を行う(1)乃至(8)の何れかに記載のフォーカス制御装置。
(10) 前記駆動パターンはフォーカスレンズの移動速度を示しており、
前記フォーカス駆動制御部は、前記駆動パターンに応じてフォーカスレンズの移動速度を設定する(9)に記載のフォーカス制御装置。
(11) 前記駆動パターンを記憶する駆動パターン記憶部をさらに有し、
前記フォーカス駆動制御部は、前記フォーカスレンズに対するユーザ操作に応じて駆動パターンを生成して前記駆動パターン記憶部に記憶する(9)または(10)に記載のフォーカス制御装置。
(12) ユーザ操作を受け付けるユーザインタフェース部を備え、
前記フォーカス駆動制御部は、前記ユーザ操作に応じて前記駆動パターンの設定または変更を行う(9)乃至(11)の何れかに記載のフォーカス制御装置。
(13) 前記フォーカス駆動制御部は、前記デフォーカス量が前記駆動制御判定閾値以下である場合、前記デフォーカス量に応じて前記フォーカスレンズを合焦位置とするフォーカスレンズ移動量を設定して前記フォーカスレンズを駆動する被写体重視駆動制御を行う(9)乃至(12)の何れかに記載のフォーカス制御装置。
(14) 前記フォーカス駆動制御部は、前記被写体重視駆動制御において、前記デフォーカス量が最小となるようにフォーカスレンズ移動量を設定する追従性重視制御、または前記デフォーカス量を時間方向または空間方向に平滑化して得られた平滑化デフォーカス量が最小となるようにフォーカスレンズ移動量を設定する安定性重視制御、あるいは前記測距エリアの被写体の撮像画像から画像の鮮鋭度を示す評価値を算出して、前記鮮鋭度が最大となるように前記フォーカスレンズを駆動する精度重視制御を行う(13)に記載のフォーカス制御装置。
(15) 前記フォーカス駆動制御部は、前記測距エリアの被写体の動き状態に応じて、前記追従性重視制御または前記安定性重視制御あるいは前記精度重視制御を行う(14)に記載のフォーカス制御装置。
(16) 前記測距エリア判定閾値と前記駆動制御判定閾値を等しい値とした(9)乃至(15)の何れかに記載のフォーカス制御装置。
(17) 前記フォーカス駆動制御部は、画像信号から高周波成分を抽出して算出した被写体画像の鮮鋭度に応じた評価値が前記測距エリア判定閾値よりも大きい場合、前記測距エリアを前記速度重視駆動時の測距サイズに設定して、前記評価値が前記測距エリア判定閾値以下である場合、前記測距エリアを前記被写体重視測距サイズに設定する(1)乃至(16)の何れかに記載のフォーカス制御装置。
【産業上の利用可能性】
【0089】
この技術のフォーカス制御装置とフォーカス制御方法とプログラムおよび撮像装置によれば、撮像画面内の測距エリアで検出したデフォーカス量が予め設定された測距エリア判定閾値よりも大きい場合、測距エリアは予め設定されている領域サイズである速度重視駆動時の測距サイズに設定されて、デフォーカス量が測距エリア判定閾値以下である場合、測距エリアは速度重視駆動時の測距サイズと異なる領域サイズである被写体重視測距サイズに設定される。このため、合焦後はフォーカスを合わせる被写体に応じて測距エリアが設定されるので、安定したフォーカス制御を容易に行うことができるようになる。したがって、ビデオカメラや動画撮像機能を備えたデジタルカメラ等に適している。
【符号の説明】
【0090】
10・・・撮像システム
20・・・撮像部
21・・・撮像光学系ブロック
22・・・撮像光学系駆動処理部
23・・・撮像素子
24・・・信号処理部
25・・・測距部
30・・・制御部
31・・・画像信号出力制御部
32・・・デフォーカス検出部
33・・・駆動パターン記憶部
34・・・フォーカス駆動制御部
40・・・ユーザインタフェース(I/F)部
50・・・表示部
60・・・記録再生部
211・・・フォーカスレンズ
212・・・ズームレンズ
213・・・絞り
214・・・シャッター機構
401・・・移動キー
402・・・選択キー
403・・・測距エリア読出スイッチ