(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-11-08
(45)【発行日】2024-11-18
(54)【発明の名称】制御装置、撮像装置、制御方法、およびプログラム
(51)【国際特許分類】
G03B 5/00 20210101AFI20241111BHJP
G03B 17/14 20210101ALI20241111BHJP
H04N 23/68 20230101ALI20241111BHJP
H04N 23/60 20230101ALI20241111BHJP
H04N 23/76 20230101ALI20241111BHJP
H04N 23/72 20230101ALI20241111BHJP
【FI】
G03B5/00 J
G03B5/00 L
G03B5/00 K
G03B17/14
H04N23/68
H04N23/60
H04N23/76
H04N23/72
(21)【出願番号】P 2020109031
(22)【出願日】2020-06-24
【審査請求日】2023-06-15
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100110412
【氏名又は名称】藤元 亮輔
(74)【代理人】
【識別番号】100104628
【氏名又は名称】水本 敦也
(74)【代理人】
【識別番号】100121614
【氏名又は名称】平山 倫也
(72)【発明者】
【氏名】本田 公文
【審査官】瀬戸 息吹
(56)【参考文献】
【文献】特開2018-072540(JP,A)
【文献】特開2007-206583(JP,A)
【文献】米国特許出願公開第2017/0244881(US,A1)
【文献】特開2011-139167(JP,A)
【文献】特開2019-117977(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G03B 5/00 - 5/08
G03B 17/04 - 17/17
H04N 5/222 - 5/257
H04N 23/00
H04N 23/40 - 23/76
H04N 23/90 - 23/959
(57)【特許請求の範囲】
【請求項1】
光学的なブレ補正の性能の評価値を示す情報を取得する取得手段と、
電子的なブレ補正を行う補正手段と、を有し、
前記補正手段は、シャッター速度に関する情報と、前記評価値を示す情報とに基づいて、前記補正手段のゲインを変更し、
前記評価値を示す情報は、前記シャッター速度に対して前記光学的なブレ補正の性能を維持可能な補正段数に関する情報であり、
前記補正手段は、前記シャッター速度が第1のシャッター速度のときは、前記評価値に応じて前記シャッター速度が前記第1のシャッター速度よりも高い第2のシャッター速度のときよりも前記ゲインを低下させることを特徴とする制御装置。
【請求項2】
前記補正手段は、前記シャッター速度が基準シャッター速度よりも低い場合、前記ゲインを変更することを特徴とする請求項1に記載の制御装置。
【請求項3】
前記基準シャッター速度は、フレームレートに基づいて決定されることを特徴とする請求項2に記載の制御装置。
【請求項4】
前記補正手段は、
前記シャッター速度が
前記第1のシャッター速度である場合、前記ゲインを第1のゲインに設定し、
前記シャッター速度が前記第1のシャッター速度よりも低い第
3のシャッター速度である場合、前記ゲインを前記第1のゲインよりも小さい第2のゲインに設定することを特徴とする請求項2または3に記載の制御装置。
【請求項5】
前記補正手段は、
前記評価値
を示す情報に対応する補正段数が第1
の値である場合、前記ゲインを第3のゲインに設定し、
前記評価値
を示す情報に対応する補正段数が前記第1
の値よりも高い第2
の値である場合、前記ゲインを前記第3のゲインよりも大きい第4のゲインに設定することを特徴とする請求項2乃至4のいずれか一項に記載の制御装置。
【請求項6】
前記補正手段は、
前記評価値
を示す情報に対応する補正段数が前記第1
の値である場合、前記シャッター速度の変化に対して第1の変化量で前記ゲインを変更し、
前記評価値
を示す情報に対応する補正段数が前記第2
の値である場合、前記シャッター速度の変化に対して前記第1の変化量よりも小さい第2の変化量で前記ゲインを変更することを特徴とする請求項5に記載の制御装置。
【請求項7】
前記補正手段は、撮像素子から出力される画像の読み出し範囲を調整することで
前記電子的なブレ補正を行うことを特徴とする請求項1乃至
6のいずれか一項に記載の制御装置。
【請求項8】
前記ゲインを小さくすると、前記補正手段による前記電子的なブレ補正の効果が弱まることを特徴とする請求項1乃至
7のいずれか一項に記載の制御装置。
【請求項9】
撮像素子と、
請求項1乃至
8のいずれか一項に記載の制御装置と、を有することを特徴とする撮像装置。
【請求項10】
前記撮像装置は、レンズ装置が着脱可能であり、
前記取得手段は、前記レンズ装置との通信を行う通信手段を介して、前記ブレ補正の評価値を示す情報を前記レンズ装置から取得することを特徴とする請求項
9に記載の撮像装置。
【請求項11】
前記取得手段は、前記撮像装置に装着された前記レンズ装置が光学的なブレ補正を行う補正光学系を有するか否かを示す情報を取得し、
前記補正手段は、
前記レンズ装置が前記補正光学系を有しない場合、前記ゲインを第5のゲインに設定し、
前記レンズ装置が前記補正光学系を有する場合、前記ゲインを前記第5のゲインよりも大きい第6のゲインに設定することを特徴とする請求項1
0に記載の撮像装置。
【請求項12】
前記取得手段は、前記撮像装置に装着された前記レンズ装置の補正光学系がオン状態であるか否かを示す情報を取得し、
前記補正手段は、
前記補正光学系がオフ状態である場合、前記ゲインを第7のゲインに設定し、
前記補正光学系がオン状態である場合、前記ゲインを前記第7のゲインよりも大きい第8のゲインに設定することを特徴とする請求項1
0に記載の撮像装置。
【請求項13】
光学的なブレ補正の性能の評価値を示す情報を取得する取得ステップと、
補正手段を用いて電子的なブレ補正を行う補正ステップと、を有し、
前記補正ステップにおいて、シャッター速度に関する情報と、前記評価値を示す情報とに基づいて、前記補正手段のゲインを変更し、
前記評価値を示す情報は、前記シャッター速度に対して前記光学的なブレ補正の性能を維持可能な補正段数に関する情報であり、
前記補正ステップにおいて、前記シャッター速度が第1のシャッター速度のときは、前記評価値に応じて前記シャッター速度が前記第1のシャッター速度よりも高い第2のシャッター速度のときよりも前記ゲインを低下させることを特徴とする制御方法。
【請求項14】
請求項1
3に記載の制御方法をコンピュータに実行させることを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、像ブレ補正を行う制御装置および撮像装置に関する。
【背景技術】
【0002】
従来、電子式手ブレ補正方式により像ブレ補正を行う撮像装置が知られている。しかし、低速シャッター時に電子式手ブレ補正方式により像ブレを補正する場合、露光時間が長いため露光時間中のブレ(蓄積ブレ)が発生する。この蓄積ブレは、電子式手ブレ補正方式で補正することはできない。
【0003】
特許文献1には、シャッター速度が遅い場合には手ブレ補正信号を減衰させて蓄積ブレの影響を低減する電子式手ブレ補正方式が開示されている。特許文献2には、シャッター速度が遅いほど光学式手ブレ補正方式と電子式手ブレ補正方式とに供給される手ブレ検出量の分配比を光学式側に重み付けることで、蓄積ブレの影響を低減する方式が開示されている。特許文献3には、シャッター速度が遅い場合、光学式手ブレ補正方式の補正ゲインを上げ、電子式手ブレ補正方式の補正ゲインを下げることで、蓄積ブレの影響を低減する方法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2011-135537号公報
【文献】特開2011-139167号公報
【文献】特開2018-72540号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1~3に開示された方法はいずれも、シャッター速度を基準として電子式手ブレ補正方式の補正効果を抑制することで、蓄積ブレの影響を低減している。このため、低速シャッター時に電子式手ブレ補正方式の補正効果を十分に得ることができない。
【0006】
そこで本発明は、低速シャッター時でも蓄積ブレの影響を低減しつつ良好な像ブレ補正を行うことが可能な制御装置、撮像装置、制御方法、およびプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の一側面としての制御装置は、光学的なブレ補正の性能の評価値を示す情報を取得する取得手段と、電子的なブレ補正を行う補正手段とを有し、前記補正手段は、シャッター速度に関する情報と、前記評価値を示す情報とに基づいて、前記補正手段のゲインを変更し、前記評価値を示す情報は、前記シャッター速度に対して前記光学的なブレ補正の性能を維持可能な補正段数に関する情報であり、前記補正手段は、前記シャッター速度が第1のシャッター速度のときは、前記評価値に応じて前記シャッター速度が前記第1のシャッター速度よりも高い第2のシャッター速度のときよりも前記ゲインを低下させる。
【0008】
本発明の他の目的及び特徴は、以下の実施形態において説明される。
【発明の効果】
【0009】
本発明によれば、低速シャッター時でも蓄積ブレの影響を低減しつつ良好な像ブレ補正を行うことが可能な制御装置、撮像装置、制御方法、およびプログラムを提供することができる。
【図面の簡単な説明】
【0010】
【
図1】第1の実施形態における撮像装置のブロック図である。
【
図2】第1の実施形態におけるシャッター速度と撮影画像のブレ量との関係を示す図である。
【
図3】第1の実施形態におけるシャッター速度とEISゲインとの関係を示す図である。
【
図4】第1の実施形態におけるEISゲインの算出処理を示すフローチャートである。
【
図5】第2の実施形態におけるシャッター速度とEISゲインとの関係を示す図である。
【
図6】第2の実施形態におけるEISゲインの算出処理を示すフローチャートである。
【
図7】第3の実施形態におけるEISゲインの補正のさせ方の説明図である。
【
図8】第3の実施形態におけるEISゲインの算出処理を示すフローチャートである。
【発明を実施するための形態】
【0011】
以下、本発明の実施形態について、図面を参照しながら詳細に説明する。
【0012】
(第1の実施形態)
まず、
図1を参照して、本発明の第1の実施形態における撮像装置の構成および動作について説明する。
図1は、本実施形態における撮像装置(ビデオカメラ)10のブロック図である。撮像装置10は、カメラ本体101と、カメラ本体101に対して着脱可能なレンズユニット100とを備えて構成される。ただし本実施形態は、これに限定されるものではなく、カメラ本体とレンズユニットとが一体的に構成された撮像装置にも適用可能である。
【0013】
レンズユニット100は、レンズ側接合部130およびカメラ側接合部140を介して、カメラ本体101と接続される。なおレンズ側接合部130およびカメラ側接合部140はそれぞれ電気的接続端子を有し、レンズ側通信部131およびカメラ側通信部(通信手段)141を介してレンズユニット100とカメラ本体101との間でデータ通信が可能である。
【0014】
まず、レンズユニット100で実施される光学式手ブレ補正(OIS)に関して説明する。ブレ検出センサ(ブレ検出手段)102は、レンズユニット100に加わる縦横ブレを角速度信号として検出し、その角速度信号をブレ検出用A/D変換器103に供給する。ブレ検出用A/D変換器103は、ブレ検出センサ102からの角速度信号をデジタル化してレンズ駆動量演算部104に供給する。以下、ブレ検出用A/D変換器103の出力を角速度データと定義する。
【0015】
レンズ駆動量演算部104は、角速度データに基づいて、補正光学系110を駆動するための駆動量を算出し、減算器105に供給する。減算器105は、位置データをレンズ駆動量演算部104の出力から減算し、その結果である偏差データを制御フィルタ106に供給する。位置データとは、補正光学系110の位置を検出するレンズ位置検出部111の出力を位置検出用A/D変換器112にてA/D変換したデータである。制御フィルタ106は、入力データを所定のゲインで増幅する増幅器、及び位相補償フィルタで構成されている。減算器105から供給された偏差データは、制御フィルタ106において増幅器及び位相補償フィルタによる信号処理が行われた後、パルス幅変調部107に出力される。
【0016】
パルス幅変調部107は、制御フィルタ106を通過して供給されたデータを、パルス波のデューティー比を変化させる波形(PWM波形)に変調して、モータ駆動部108に供給する。モータ109は、補正光学系110の駆動用のボイスコイル型モータであり、モータ駆動部108に駆動されることにより、補正光学系110が光軸と垂直な方向に移動される。レンズ位置検出部111は、磁石とそれに対向する位置に備えられたホールセンサとからなり、補正光学系110の光軸と垂直な方向への移動量を検出し、その検出結果を位置検出用A/D変換器112を介して、減算器105に供給する。これにより、レンズ駆動量演算部104の出力に対して、補正光学系110の光軸と垂直な方向への移動量を追従させる、フィードバック制御系が構成される。
【0017】
補正光学系110は、例えばシフトレンズであり、光軸に対し垂直平面上を移動されることにより光軸を偏向する、ブレ補正可能な光学系である。補正光学系110の移動が行われた結果、レンズユニット100のブレによって生じる撮像面上の被写体の縦横方向のブレが補正された像が、カメラ本体101の構成要素である撮像素子120に結像される。
【0018】
次いで、カメラ本体101で実施される電子式手ブレ補正(EIS)に関して説明する。撮像素子120は、CMOSセンサやCCDセンサなどの光電変換素子であり、補正光学系110を含む不図示の撮像光学系により結像された被写体像を撮像画像信号としての電気信号に変換し、信号処理部121に供給する。信号処理部121は、撮像素子120により得られた信号から、例えばNTSCフォーマットに準拠したビデオ信号(映像信号)を生成して画像メモリ122および動きベクトル検出部123に供給する。
【0019】
手ブレ補正量演算部(制御装置)124は、後述の動きベクトル検出部123で検出する動きベクトルに基づいて、撮像画像のブレを補正するための画像読み出し位置を算出し、メモリ読み出し制御部125に算出した読み出し位置を設定する。また手ブレ補正量演算部124は、光学的なブレ補正性能に関する情報(ブレ補正の性能の評価値を示す情報)を取得する取得手段124a、および、電子的なブレ補正を行う補正手段124bを有する。補正手段124bは、撮像素子120から出力される画像の読み出し範囲を調整することで電子的なブレ補正を行う。また補正手段124bは、シャッター速度に関する情報とブレ補正性能に関する情報とに基づいて、補正手段124bのゲイン(EISゲイン)を変更する。なお、手ブレ補正量演算部124の処理の詳細は後述する。
【0020】
メモリ読み出し制御部125は、手ブレ補正量演算部124で算出された読み出し位置情報に基づいて、画像メモリ122に格納された画像の読み出し位置を補正することにより、撮像画像のブレを補正する。表示制御部126は、メモリ読み出し制御部125から供給された映像信号を出力して表示デバイス127に画像を表示させる。表示制御部126は表示デバイス127を駆動し、表示デバイス127は液晶表示素子(LCD)等により画像を表示する。動きベクトル検出部123は、信号処理部121で生成された現在の映像信号に含まれる輝度信号と、画像メモリ122に格納された1フィールド前(または1フレーム前)の映像信号に含まれる輝度信号とに基づいて、画像の動きベクトルを検出する。
【0021】
動きベクトルの検出方法としては、例えば公知のブロックマッチング法などが用いられる。ブロックマッチング法は、撮像画像をブロックと呼ばれる領域に分割し、例えば1フレーム前の撮像画像と現在の撮像画像と類似箇所を前記ブロック単位で検出する方法である。1フレーム前の撮像画像内の任意の範囲において、現在の撮像画像内の任意ブロックとの相関値が最も大きい個所を類似ブロック位置する。現在の撮像画像内の任意ブロック位置と1フレーム前の撮像画像内の類似ブロック位置との変位量を求め、撮像画像のフレーム間の動き情報、すなわち動きベクトルを検出する。なおブロックマッチング法は、動きベクトル検出部123における動きベクトル検出方法の一例であり、動きベクトル検出方法はブロックマッチング法以外の方法を用いてもよい。
【0022】
ここで、低速シャッターにおける防振の効果に関して詳述する。動画撮影の際においては、一般的にシャッター速度はフレームレートと同等に設定するのが最もスムーズな動画を得られるとされる。このシャッター速度よりも遅い低速シャッターの速度域では蓄積期間中のブレ(蓄積ブレ)が目立ってしまう。ここで補正光学系110による光学式手ブレ補正(OIS)は、撮像素子120に入射される被写体光が、撮像面上で常に同じ位置になるようにブレを補正しているため、蓄積時間中のブレも補正することができる。
【0023】
一方、振動ジャイロの角速度センサ等を用いたブレ検出センサ102は、装置に加わるブレのうち高周波数帯域成分を精度良く検出することが可能であるが、1Hz以下の低周波数帯域においては検出特性が劣化する。したがって、このような低周波数帯域では、補正誤差によるブレ残りが生じ、十分な手ブレ補正効果を得ることができない場合がある。そこで、ブレ検出センサ102による検出の他に、動きベクトル検出部123を更に備え、ブレ検出センサ102で検出しきれない低周波数帯域のブレ残りを検出し、これを電子式手ブレ補正(EIS)で補正させることで、手ブレ補正効果を向上させることができる。
【0024】
しかしながら、前述したとおり、低速シャッター時における蓄積ブレは電子式手ブレ補正方式では補正できないため、電子式手ブレ補正により被写体位置を補正すると、蓄積ブレ成分だけが残り、その結果被写体がふわついて見苦しくなる。これを回避するには、低速シャッター時に電子式手ブレ補正の効果を弱めることが考えられる。ただし、光学式手ブレ補正方式(OIS)で良好に手ブレを補正可能なレンズであれば、蓄積ブレが生じにくいため、電子式手ブレ補正方式(EIS)の補正効果を弱める必要はない。
【0025】
そこで本実施例は、カメラ本体101に装着されるレンズユニット100の光学式手ブレ補正方式(OIS)の補正性能に合わせて、カメラ本体101で行われる電子式手ブレ補正方式(EIS)の補正効果を決定する。これにより、手ブレ補正効果をより大きく得ることができる。
【0026】
まず、光学式手振れ補正(OIS)の補正性能について説明する。周知のとおり、撮影画像のブレ量はシャッター速度に関連している。そこで、光学式手振れ補正(OIS)によりシャッター速度の何段分まで低速側の補正性能が維持できるかが、ブレ補正性能(光学式手ブレ補正性能)を表す指標(補正段数)として広く採用されている。
【0027】
図2は、補正光学系110による光学式手振れ補正(OIS)をOFFした場合((a)OIS_OFF)とONした場合((b)OIS_ON)のシャッター速度と撮影画像のブレ量との関係を示す図である。
図2において、横軸はシャッター速度、縦軸はブレ量をそれぞれ示す。ここで、基準となるブレ量をCとするとき、(a)OIS_OFFと(b)OIS_ONはそれぞれシャッター速度S(a)、S(b)となりシャッター速度の差が表れていることがわかる。すなわち、このシャッター速度の差が何段分あるかで防振性能(ブレ補正性能)を表現することができる。
【0028】
図3は、レンズユニット100から取得される補正段数情報に対する、シャッター速度と電子式手ブレ補正(EIS)の補正ゲイン(EISゲイン)との関係を示す図である。
図3において、横軸はシャッター速度、縦軸はEISゲインをそれぞれ示す。なお
図3において、フレームレートは60P、基準シャッター速度を1/60秒として、シャッター速度1/60秒よりも遅いシャッター速度を低速シャッター領域としている。
【0029】
前述したように、低速シャッター時における蓄積ブレは、電子式手ブレ補正方式により補正を行うことができない。このため、電子式手ブレ補正により被写体位置を補正すると、フレーム間に生じたブレ成分が補正される一方で蓄積ブレ成分だけが残り、その結果被写体がふわついてしまう。これを回避するため、
図3中の実線(a)に示されるように、低速シャッター領域において、電子式手ブレ補正(EIS)のゲイン(EISゲイン)を基準ゲイン(シャッター速度1/60秒よりも高速側の通常シャッター速度領域におけるゲイン)から低下させる。EISゲインを低下させることで補正効果は弱まり、ふわつきを目立たなくさせることができる。なお、ここでは、補正段数0を光学式手振れ補正(OIS)の補正効果がない場合として説明を行っている。この場合、低速シャッター領域であるシャッター速度1/60秒以下では、EISゲインを低下させている。
【0030】
図3中の破線(b)は、補正段数1の補正光学系110を持つレンズユニット100が装着された場合のEISゲインの設定を示している。補正段数0の場合のシャッター速度(1/60秒)と、補正段数1の場合のシャッター速度1/30秒とのブレ量は同等になる。よって、シャッター速度1/30秒までは蓄積ブレの影響が小さくなるため、EISゲインを基準ゲインから低下させない。これにより、より広い範囲で電子式手ブレ補正(EIS)のブレ補正効果を維持することができる。
【0031】
図3中の一点鎖線(c)は、補正段数2の補正光学系110を持つレンズユニット100が装着された場合のEISゲインの設定を示している。補正段数0の場合のシャッター速度(1/60秒)と、補正段数2の場合のシャッター速度1/15秒とのブレ量は同等になる。よって、シャッター速度1/15秒までは蓄積ブレの影響が小さくなるため、EISゲインを基準ゲインから低下させない。これにより、より広い範囲で電子式手ブレ補正(EIS)のブレ補正効果を維持することができる。このように、補正光学系110の補正段数に応じて、EISのゲインを基準ゲインよりも小さくする範囲を変更する(補正段数が大きいときのほうが、EISのゲインを基準ゲインよりも小さくする範囲を狭くする)。これにより、蓄積ブレによるふわつきを軽減しつつ、より広い範囲で電子式手ブレ補正のブレ補正効果を維持することができる。
【0032】
次いで、
図4を参照して、手ブレ補正量演算部124のEISゲインの算出処理(EISゲインの決定方法)について説明する。
図4は、本実施形態におけるEISゲインの算出処理を示すフローチャートである。
【0033】
まずステップS401において、手ブレ補正量演算部124は、シャッター速度が低速シャッターであるか否か(シャッター速度が基準シャッター速度よりも低いか否か)を判定する。なお本実施形態において、基準シャッター速度をフレームレートに基づいて決定してもよい。
【0034】
シャッター速度が低速シャッターでない場合、ステップS402に進み、手ブレ補正量演算部124は、EISゲインとして基準ゲインを設定し、本フローを終了する。一方、ステップS401にてシャッター速度が低速シャッターである場合、ステップS403に進む。ステップS403において、手ブレ補正量演算部124は、カメラ本体101に装着されたレンズユニット100から、レンズ通信により、補正光学系の有無、補正SWのON/OFF、および補正段数(補正性能)に関する情報(レンズ情報)を受信する。
【0035】
続いてステップS404において、手ブレ補正量演算部124は、受信された情報に基づき、装着されたレンズユニット100が補正光学系110を有しているか否かを判定する。レンズユニット100が補正光学系110を有しない場合、ステップS405に進む。一方、レンズユニット100が補正光学系110を有している場合、ステップS406に進む。ステップS406において、手ブレ補正量演算部124は、補正光学系のON/OFF状態を判定する。補正光学系110の状態がOFFである場合、ステップS405に進む。ステップS405において、補正光学系110が搭載されていないか、または補正光学系110の状態がOFFであるため、光学式手ブレ補正(OIS)によるブレ補正段数はなしとして、補正段数Stとして0を設定する。
【0036】
一方、ステップS406にて補正光学系110の状態がONである場合、ステップS407に進む。ステップS407において、手ブレ補正量演算部124は、装着されたレンズユニット100の補正段数情報があるか否かを判定する。補正段数情報を持たないレンズユニット100が装填された場合、すなわち補正段数情報がない場合、ステップS408に進む。ステップS408において、補正段数情報が不明であるため、手ブレ補正量演算部124は、補正段数Stとして、ユーザにより選択された補正段数情報(選択情報)を設定する。ここで補正段数の選択は、不図示の入力装置を介して入力(選択)可能である。入力装置は、キー入力装置、タッチパネル、リモコンなどであるが、これらに限定されるものではない。また、選択するタイミングは、予めメニューで選択しておいてもよいし、レンズユニット装着時のガイド画面で選択しても構わない。入力装置がない場合、予め設定されたデフォルト情報が選択される。一方、ステップS407にてレンズユニットの補正段数情報がある場合、ステップS409に進む。ステップS409において、手ブレ補正量演算部124は、補正段数Stとして、装着されたレンズユニット100から取得された補正段数情報(レンズ補正段数情報)を設定する。
【0037】
続いてステップS410において、ステップS405、S408、S409のいずれかで設定された補正段数Stに基づき、以下の式(1)を用いてゲイン補正を開始するシャッター速度のスレッシュSHを算出する。
【0038】
SH=(St+1)/60(秒) ・・・(1)
ただし、1/60秒は基準シャッター速度である。
【0039】
続いてステップS411において、手ブレ補正量演算部124は、シャッター速度がスレッシュSHを下回っているか否かを判定する。シャッター速度がスレッシュSHを下回っていない場合、ステップS402に進み、手ブレ補正量演算部124は、EISゲインとして基準ゲインを設定する。
【0040】
一方、シャッター速度がスレッシュSHを下回っている場合、ステップS412に進む。ステップS412において、手ブレ補正量演算部124は、シャッター速度に応じて、低速シャッター領域でのEISゲインを補正する。EISゲインは、以下の式(2)に従って算出される。手ブレ補正量演算部124は、スレッシュSHに対するシャッター速度のずれ量(シャッター速度とスレッシュSHとの差)を算出し、算出されたずれ量に補正係数kを与えて、補正量(EISゲインの補正量)を算出する。そして手ブレ補正量演算部124は、基準ゲインから補正量を差し引いた値を、EISゲインとして設定する。
【0041】
EISゲイン=基準ゲイン-k×(シャッター速度-SH) ・・・(2)
式(2)において、kは補正係数であり、低速シャッター領域での蓄積ブレ成分による被写体のふわつきが目立たなくなるように補正係数kのチューニングが行われる。
【0042】
本実施形態は、電子式手ブレ補正(EIS)のEISゲインを決定する際に、低速シャッター領域において、光学式手ブレ補正(OIS)の補正段数情報(補正性能)に基づきシャッター速度の閾値(基準シャッター速度)を設定する。そして、閾値(基準シャッター速度)よりも遅いシャッター速度からEISゲインの補正を開始する。このため本実施形態によれば、蓄積ブレによる被写体のふわつきを回避しつつ、良好な手ブレ補正効果を得ることができる。
【0043】
(第2の実施形態)
次に、本発明の第2の実施形態について説明する。第1の実施形態では、光学式手ブレ補正(OIS)の補正段数情報(補正性能)に基づき、EISゲインを補正するシャッター速度の閾値(基準シャッター速度)を変更する。一方、本実施形態では、光学式手ブレ補正(OIS)の補正段数情報に基づき、EISゲインの補正量(変化量)を変更する。これにより、第1の実施形態と同様に、蓄積ブレによる被写体のふわつきを回避しつつ、良好な手ブレ補正効果を得ることができる。なお本実施形態において、撮像装置の構成および動作は、
図1を参照して説明した第1の実施形態の撮像装置10と同様であるため、それらの説明を省略する。
【0044】
図5は、レンズユニット100から取得される補正段数情報に対する、シャッター速度と電子式手ブレ補正(EIS)の補正ゲイン(EISゲイン)との関係を示す図である。
図5において、横軸はシャッター速度、縦軸はEISゲインをそれぞれ示す。なお
図5において、フレームレートは60P、基準シャッター速度を1/60秒として、シャッター速度1/60秒よりも遅いシャッター速度を低速シャッター領域としている。
【0045】
前述したように、低速シャッター時における蓄積ブレは、電子式手ブレ補正方式により補正を行うことができない。このため、電子式手ブレ補正により被写体位置を補正すると、蓄積ブレ成分だけが残り、その結果被写体がふわついてしまう。これを回避するため、
図5中の実線(a)に示されるように、低速シャッター領域で電子式手ブレ補正(EIS)のゲイン(EISゲイン)を基準ゲイン(シャッター速度1/60秒より高速側の通常シャッター速度領域におけるゲイン)から低下させる。EISゲインを低下させることで補正効果は弱まり、ふわつきを目立たなくさせることができる。なお、ここでは、補正段数0を光学式手振れ補正(OIS)の補正効果がない場合として説明を行っている。この場合、低速シャッター領域であるシャッター速度1/60秒以下では、EISゲインを低下させている。
【0046】
図5中の破線(b)は、補正段数1の補正光学系110を持つレンズユニット100が装着された場合のEISゲインの設定を示している。補正段数0と比べてシャッター速度1段分低域側まで、光学式手ブレ補正(OIS)による手ブレ補正効果が維持されるため、低速シャッター領域での蓄積ブレが小さくなる。蓄積ブレが小さくなれば、補正電子式手ブレ補正(EIS)による被写体のふわつきが低減される。このため、EISゲインを強めに設定することが可能となり、より広い範囲でブレ補正効果を維持することができる。
【0047】
図5中の一点鎖線(c)は、補正段数2の補正光学系110を持つレンズユニット100が装着された場合のEISゲインの設定を示している。補正段数2と比べてシャッター速度2段分低域側まで、光学式手ブレ補正(OIS)による手ブレ補正効果が維持される。このため、補正段数1のレンズよりも更に、低速シャッター領域での蓄積ブレが小さくなる。したがって、補正段数1のレンズよりもEISゲインを強めに設定することが可能となり、より広い範囲でブレ補正効果を維持することができるようになる。
【0048】
次いで、
図6を参照して、手ブレ補正量演算部124のEISゲインの算出処理(EISゲインの決定方法)について説明する。
図6は、本実施形態におけるEISゲインの算出処理を示すフローチャートである。なお、
図6のステップS601~S609は、
図4のステップS401~S409とそれぞれ同様であるため、それらの説明を省略する。
【0049】
続いてステップS610において、手ブレ補正量演算部124は、シャッター速度に応じて、低速シャッター領域でのEISゲインを補正する。補正されたEISゲインは、以下の式(3)により算出される。すなわち、基準シャッター速度1/60秒からのシャッター速度のずれ量(シャッター速度と1/60秒との差)に補正係数kpを与えて補正量が算出され、基準ゲインから補正量を差し引いた値がEISゲインとして設定される。
【0050】
EISゲイン=基準ゲイン-kp×(シャッター速度-1/60秒) ・・・(3)
式(3)において、kpは補正係数であり、低速シャッター領域での蓄積ブレ成分による被写体のふわつきが目立たなくなるように補正係数kpのチューニングが行われる。
【0051】
続いてステップS611において、手ブレ補正量演算部124は、補正段数Stが0よりも大きいか否かを判定する。補正段数Stが0よりも小さい場合、本フローを終了する。一方、補正段数Stが0よりも大きい場合、ステップS612に進む。ステップS612において、手ブレ補正量演算部124は、補正段数に応じたEISゲイン補正量を再度算出する。ゲイン補正量は、以下の式(4)で表されるように、基準シャッター速度1/60秒に対するシャッター速度のずれ量(シャッター速度と1/60秒との差)に補正段数Stと補正係数kaを与えて算出される。
【0052】
ゲイン補正量=ka×St×(シャッター速度-1/60秒) ・・・(4)
式(4)において、kaは補正係数であり、補正段数による低速シャッター領域での蓄積ブレ成分による被写体のふわつきの変化に応じて、ふわつきが目立たず、且つ最適な手ブレ補正効果をあるための補正係数kaのチューニングが行われる。
【0053】
続いてステップS613において、手ブレ補正量演算部124は、ステップS612にて算出されたゲイン補正量に基づき、以下の式(5)を用いて、補正段数に応じたEISゲインを再設定する。
【0054】
EISゲイン=EISゲイン-ゲイン補正量 ・・・(5)
本実施形態は、光学式手ブレ補正(OIS)の補正段数情報に基づき、低速シャッター領域におけるEISゲインの補正量を変更する。このため本実施形態によれば、蓄積ブレによる被写体のふわつきを回避しつつ、良好な手ブレ補正効果を得ることができる。
【0055】
(第3の実施形態)
次に、本発明の第3の実施形態について説明する。第1、第2の実施形態では、光学式手ブレ補正(OIS)の補正段数情報に基づき、EISゲインを補正するシャッター速度の閾値を変更するか、またはEISゲインの補正量を変更した。一方、本実施形態では、補正光学系110による光学式手ブレ補正(OIS)の補正性能に関する情報として、光学式手ブレ補正(OIS)の補正残り量を検出し、補正残り量に応じて、低速シャッター領域におけるEISゲインの補正量を変更する。これにより、蓄積ブレによる被写体のふわつきを回避しつつ、良好な手ブレ補正効果を得ることができる。なお本実施形態において、撮像装置の構成および動作は、
図1を参照して説明した第1の実施形態の撮像装置10と同様であるため、それらの説明を省略する。
【0056】
図7は、本実施形態におけるEISゲインの補正のさせ方を示す図である。
図7(a)はシャッター速度とEISゲインとの関係を示す図であり、横軸はシャッター速度、縦軸はEISゲインをそれぞれ示す。
図7(a)において、フレームレート60Pとし、これに合わせてシャッター速度1/60秒より遅いシャッター速度を低速シャッター領域としている。シャッター速度が遅くなると、蓄積ブレが大きく目立ってくる。特に、低速シャッター領域に入ると蓄積ブレが顕著となるため、EISによる被写体のふわつきが問題となる。このふわつきを軽減するため、低速シャッター領域ではEISゲインを低下させる方向に補正を行う。なお、EISゲインの補正方法に関しては第1、第2の実施形態と同様であるため、その説明を省略する。
【0057】
図7(b)は、補正光学系110による光学式手ブレ補正(OIS)の補正残り量(ブレ残り量)と、電子式手ブレ補正(EIS)のゲイン(EISゲイン)との関係を示す図であり、横軸は補正残り量、縦軸はEISゲインをそれぞれ示す。蓄積ブレ量は、光学式手ブレ補正(OIS)のブレ残り量で知ることができる。光学式手ブレ補正(OIS)のブレ残り量が大きくなると、低速シャッター領域では、このブレ残り量の大きさが、蓄積ブレのブレ量となって現れる。このため、前述した理由の通り、EISゲインを上げることができない。そこで本実施形態では、補正残り量に応じてEISゲインを低下させる方向に補正を行い、蓄積ブレの影響を回避する。
【0058】
次いで、
図8を参照して、手ブレ補正量演算部124のEISゲインの算出処理(EISゲインの決定方法)について説明する。
図8は、本実施形態におけるEISゲインの算出処理を示すフローチャートである。
【0059】
まずステップS801にて、手ブレ補正量演算部124は、シャッター速度が低速シャッターであるか否かを判定する。シャッター速度が低速シャッターでない場合、ステップS802に進み、手ブレ補正量演算部124は、EISゲインとして基準ゲインを設定し、本フローを終了する。一方、シャッター速度が低速シャッターである場合、ステップS803に進む。ステップS803において、手ブレ補正量演算部124は、カメラ本体101に装着されたレンズユニット100から、レンズ通信により、補正光学系の位置情報およびブレ検出情報を受信する。
【0060】
続いてステップS804において、手ブレ補正量演算部124は、シャッター速度に応じて、低速シャッター領域でのEISゲインを補正する。補正されたEISゲインは、以下の式(6)により算出される。すなわち、基準シャッター速度1/60秒からのシャッター速度のずれ量(シャッター速度と1/60秒との差)に補正係数kpを与えて補正量が算出され、基準ゲインから補正量を差し引いた値がEISゲインとして設定される。
【0061】
EISゲイン=基準ゲイン-kp×(シャッター速度-1/60秒) ・・・(6)
式(6)において、kpは補正係数であり、低速シャッター領域での蓄積ブレ成分による被写体のふわつきが目立たなくなるように補正係数kのチューニングが行われる。
【0062】
続いてステップS805において、手ブレ補正量演算部124は、レンズユニット100から受信した補正光学系の位置情報を現在の焦点距離に基づいて角度換算し、補正光学系位置情報pbとして設定する。また手ブレ補正量演算部124は、ブレ検出センサ102から得られる振動ジャイロの角速度に関するブレ検出情報を積分処理して角度換算し、ブレ検出信号(ブレ検出情報)jbとして設定する。ブレ検出信号jbと補正光学系位置情報pbとの差は、補正残り量Cbとして算出される。なお本実施形態では、レンズユニット100の構成要素であるブレ検出センサ102から取得されるブレ検出情報を用いているが、これに限定されるものではない。例えば、カメラ本体101にブレ検出センサ(ブレ検出手段)が搭載されている場合、カメラ本体101に設けられたブレ検出センサを用いてもよい。すなわち、レンズユニット100またはカメラ本体101の少なくとも一つに設けられたブレ検出手段から取得されるブレ検出情報を用いることができる。
【0063】
続いてステップS806において、手ブレ補正量演算部124は、所定の閾値として、補正残り量判定スレッシュSCbを設定する。本実施形態において、補正残り量判定スレッシュSCbをシャッター速度に基づいて変化させてもよい。蓄積ブレはシャッター速度が遅いほど顕著となるため、補正残り量判定スレッシュSCbをシャッター速度が遅いほど小さくしてもよい。
【0064】
続いてステップS807において、手ブレ補正量演算部124は、補正残り量Cbが補正残り量判定スレッシュSCbを超えているか否かを判定する。補正残り量Cbが補正残り量判定スレッシュSCbを超えていない場合、本フローを終了する。一方、補正残り量Cbが補正残り量判定スレッシュSCbを超えている場合、ステップS808に進み、手ブレ補正量演算部124はゲイン補正量を算出する。ゲイン補正量は、以下の式(7)により算出される。すなわち、補正残り量Cbと補正残り量判定スレッシュSCbとの差に補正係数kCbを与えてゲイン補正量が算出される。
【0065】
ゲイン補正量=kCb×(Cb―SCb) ・・・(7)
式(7)において、kCbは補正係数であり、低速シャッター領域での蓄積ブレ成分による被写体のふわつきが目立たなくなるように補正係数kcpのチューニングが行われる。
【0066】
続いてステップS809において、手ブレ補正量演算部124は、ステップS808にて算出されたゲイン補正量に基づき、以下の式(8)を用いて、補正残り量Cbに応じたEISゲインを再設定する。
【0067】
EISゲイン=EISゲイン-ゲイン補正量 ・・・(8)
本実施形態は、光学式手ブレ補正(OIS)の補正残り量に基づき、低速シャッター領域におけるEISゲインの補正量を変更する。このため本実施形態によれば、蓄積ブレによる被写体のふわつきを回避しつつ、良好な手ブレ補正効果を得ることができる。
【0068】
以上のように各実施形態において、制御装置(手ブレ補正量演算部124)は、光学的なブレ補正性能に関する情報を取得する取得手段124a、および、電子的なブレ補正を行う補正手段124bを有する。補正手段は、シャッター速度に関する情報と、ブレ補正性能に関する情報とに基づいて、補正手段のゲインを変更する。
【0069】
好ましくは、補正手段は、シャッター速度が基準シャッター速度よりも低い場合、ゲインを変更する。また好ましくは、補正手段は、シャッター速度が第1のシャッター速度である場合にゲインを第1のゲインに設定し、シャッター速度が第1のシャッター速度よりも低い第2のシャッター速度である場合にゲインを第1のゲインよりも小さい第2のゲインに設定する。
【0070】
好ましくは、補正手段は、ブレ補正性能が第1のブレ補正性能
(第1の評価値)である場合にゲインを第3のゲインに設定し、ブレ補正性能が第1のブレ補正性能よりも高い第2のブレ補正性能
(第2の評価値)である場合にゲインを第3のゲインよりも大きい第4のゲインに設定する。より好ましくは、補正手段は、ブレ補正性能が第1のブレ補正性能である場合、基準シャッター速度を第1のシャッター速度に設定する。一方、ブレ補正性能が第2のブレ補正性能である場合、基準シャッター速度を、第1のシャッター速度よりも低い第2のシャッター速度に設定する(
図3)。また好ましくは、補正手段は、ブレ補正性能が第1のブレ補正性能である場合、シャッター速度の変化に対して第1の変化量でゲインを変更する。一方、ブレ補正性能が第2のブレ補正性能である場合、シャッター速度の変化に対して第1の変化量よりも小さい第2の変化量でゲインを変更する(
図5)。
【0071】
好ましくは、ブレ補正性能に関する情報は、シャッター速度に対してブレ補正性能を維持可能な補正段数に関する情報、または、レンズユニット100の補正光学系110の補正残り量に関する情報である。また好ましくは、補正残り量は、ブレ検出手段(ブレ検出センサ102)から取得されたブレ検出情報と、補正光学系110の補正位置に関する情報とに基づいて算出される。より好ましくは、ブレ検出手段は、撮像装置(カメラ本体101)またはレンズ装置(レンズユニット100)の少なくとも一つに設けられている。より好ましくは、補正残り量が所定の閾値(補正残り量判定スレッシュSCb)を超えた場合、補正手段はゲインを変更し、所定の閾値はシャッター速度に基づいて変化する。
【0072】
好ましくは、取得手段は、撮像装置に装着されたレンズ装置が光学的なブレ補正を行う補正光学系を有するか否かを示す情報を取得する。そして補正手段は、レンズ装置が補正光学系を有しない場合にゲインを第5のゲインに設定し、レンズ装置が補正光学系を有する場合にゲインを第5のゲインよりも大きい第6のゲインに設定する(S404、S604)。また好ましくは、取得手段は、撮像装置に装着されたレンズ装置の補正光学系がオン状態であるか否かを示す情報を取得する。そして補正手段は、補正光学系がオフ状態である場合にゲインを第7のゲインに設定し、補正光学系がオン状態である場合にゲインを第7のゲインよりも大きい第8のゲインに設定する(S406、S606)。
【0073】
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【0074】
各実施形態によれば、低速シャッター時でも蓄積ブレの影響を低減しつつ良好な像ブレ補正を行うことが可能な制御装置、撮像装置、制御方法、およびプログラムを提供することができる。
【0075】
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。
【0076】
例えば、各実施形態では、フレームレートが60Pの場合を例にして説明をしたため、60Pに対応する1/60(秒)を基準シャッター速度としたが、基準シャッター速度はこれに限定されず、フレームレートに応じて決定することが好ましい。また、フレームレートを変更することが可能な撮像装置の場合、フレームレートに応じて基準シャッター速度を変更することが好ましい。また、基準シャッター速度はフレームレートと乖離が大きくないことが好ましいが、必ずしもフレームレートと一致させなくてもよい。
【符号の説明】
【0077】
124 手ブレ補正量演算部(制御装置)
124a 取得手段
124b 補正手段