特許 7506500 像振れ補正装置及び方法、及び、撮像装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-18

(45)【発行日】2024-06-26

(54)【発明の名称】像振れ補正装置及び方法、及び、撮像装置

(51)【国際特許分類】

   G03B 5/00 20210101AFI20240619BHJP

   H04N 23/55 20230101ALI20240619BHJP

   H04N 23/68 20230101ALI20240619BHJP

   H04N 23/60 20230101ALI20240619BHJP

   H04N 23/54 20230101ALI20240619BHJP

【ＦＩ】

G03B5/00 J

H04N23/55

H04N23/68

H04N23/60

H04N23/54

【請求項の数】 18

(21)【出願番号】P 2020048027

(22)【出願日】2020-03-18

(65)【公開番号】P2021148917

(43)【公開日】2021-09-27

【審査請求日】2023-03-14

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】梶村 文裕

(72)【発明者】

【氏名】安田 龍一郎

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０１９－１２４８７１（ＪＰ，Ａ）

【文献】特開２０１８－２０５５５１（ＪＰ，Ａ）

【文献】特開２０１２－０９０２１６（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１９／０２２２７６０（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０３Ｂ ５／００

Ｈ０４Ｎ ２３／５５

Ｈ０４Ｎ ２３／６８

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／５４

(57)【特許請求の範囲】

【請求項1】

振れ検出手段により検出された撮像装置の振れを示す振れ検出信号と、動きベクトル検出手段により前記撮像装置で撮影された複数の画像から検出された動きベクトル信号とを用いて、前記振れ検出信号のオフセット成分をカルマンフィルタを用いて推定する推定手段と、
前記振れ検出信号と、前記動きベクトル検出手段から出力される前記動きベクトル信号の信頼性とに基づいて、予め決められた複数の状態のうち、前記撮像装置の状態を検出する検出手段と、
前記撮像装置の状態に基づいて、前記推定手段を制御する制御手段と、
前記振れ検出信号と前記推定手段により推定されたオフセット成分とに基づいて、振れを補正するための振れ補正手段を駆動するための振れ補正信号を生成する生成手段と、
前記推定手段におけるオフセット成分を推定するときに用いられる事後誤差分散または事後誤差共分散を保持するパラメータ保持手段と、
を有し、
前記推定手段は、前記検出手段により検出された前記撮像装置の状態が遷移した場合、当該遷移より前に前記撮像装置が遷移した後の状態であったときに前記パラメータ保持手段に記録された事後誤差分散または事後誤差共分散を用いて、前記オフセット成分を推定することを特徴とする像振れ補正装置。

【請求項2】

前記複数の状態は、前記振れ検出信号が予め決められた第１の閾値よりも小さい第１の状態を含み、
前記制御手段は、前記第１の状態の場合に、前記オフセット成分の推定に用いる前記動きベクトル信号の割合を下げるように、前記推定手段を制御することを特徴とする請求項１に記載の像振れ補正装置。

【請求項3】

前記制御手段は、前記第１の状態の場合に、前記動きベクトル信号を用いずに前記オフセット成分を推定するように、前記推定手段を制御することを特徴とする請求項２に記載の像振れ補正装置。

【請求項4】

前記複数の状態は、前記信頼性が予め決められた第２の閾値よりも低い第２の状態を含み、
前記制御手段は、前記第２の状態の場合に、前記オフセット成分の推定に用いる前記動きベクトル信号の割合を下げるように、前記推定手段を制御することを特徴とする請求項１乃至３のいずれか１項に記載の像振れ補正装置。

【請求項5】

前記制御手段は、前記第２の状態の場合に、前記動きベクトル信号を用いずに前記オフセット成分を推定するように、前記推定手段を制御することを特徴とする請求項４に記載の像振れ補正装置。

【請求項6】

前記複数の状態は、
前記振れ検出信号が予め決められた第１の閾値よりも小さい第１の状態と、
前記信頼性が予め決められた第２の閾値よりも低い第２の状態と、
前記第１の状態及び前記第２の状態を除く状態である第３の状態と、を含み、
前記制御手段は、第３の状態の場合に、前記第１の状態及び第２の状態よりも、前記オフセット成分の推定に用いる前記動きベクトル信号の割合を高くするように、前記推定手段を制御することを特徴とする請求項１乃至５のいずれか１項に記載の像振れ補正装置。

【請求項7】

前記パラメータ保持手段は、前記複数の状態それぞれの事後誤差分散または事後誤差共分散を保持することを特徴とする請求項１乃至６のいずれか１項に記載の像振れ補正装置。

【請求項8】

前記パラメータ保持手段は、前記検出手段により検出された前記撮像装置の状態が遷移した場合、当該遷移の前の事後誤差分散または事後誤差共分散を記録することを特徴とする請求項７に記載の像振れ補正装置。

【請求項9】

前記複数の状態は、
前記振れ検出信号が予め決められた第１の閾値よりも小さい第１の状態と、
前記信頼性が予め決められた第２の閾値よりも低い第２の状態と、
前記第１の状態及び前記第２の状態を除く状態である第３の状態と、を含み、
前記検出手段により検出された前記撮像装置の状態が、前記第２の状態から前記第３の状態に遷移した場合、前記推定手段は、前回、前記第３の状態であったときに前記パラメータ保持手段に記録された事後誤差分散または事後誤差共分散を用いて、前記オフセット成分を推定することを特徴とする請求項７または８に記載の像振れ補正装置。

【請求項10】

前記複数の状態は、前記振れ検出信号が予め決められた第１の閾値よりも小さい第１の状態を含み、
前記検出手段により検出された前記撮像装置の状態が、前記第１の状態からその他の状態に遷移した場合、前記推定手段は、前記パラメータ保持手段に保持された、前回の前記その他の状態であったときに求めた事後誤差分散または事後誤差共分散を用いて前記オフセット成分を推定することを特徴とする請求項７乃至９のいずれか１項に記載の像振れ補正装置。

【請求項11】

撮像手段と、
振れ補正手段と、
請求項１乃至１０のいずれか１項に記載の像振れ補正装置と、
を備えることを特徴とする撮像装置。

【請求項12】

前記振れ補正手段の位置を示す位置検出信号を出力する位置検出手段を更に有し、
前記推定手段は、更に、前記位置検出信号を用いて、前記オフセット成分を推定することを特徴とする請求項１１に記載の撮像装置。

【請求項13】

前記振れ補正手段は、前記振れ補正信号に基づいて、前記撮像手段に入射する光を通す補正レンズをシフトすることにより、振れを補正することを特徴とする請求項１１または１２に記載の撮像装置。

【請求項14】

前記振れ補正手段は、前記振れ補正信号に基づいて、前記撮像手段をシフトすることにより振れを補正することを特徴とする請求項１１または１２に記載の撮像装置。

【請求項15】

前記振れ補正手段は、前記振れ補正信号に基づいて、前記撮像手段から出力される画像の切り出し位置をシフトすることにより振れを補正することを特徴とする請求項１１または１２に記載の撮像装置。

【請求項16】

振れ検出手段により検出された撮像装置の振れを示す振れ検出信号を取得する第１の取得工程と、
動きベクトル検出手段により前記撮像装置で撮影された複数の画像から検出された動きベクトル信号を取得する第２の取得工程と、
前記振れ検出信号と前記動きベクトル信号とを用いて、前記振れ検出信号のオフセット成分をカルマンフィルタを用いて推定する推定工程と、
前記振れ検出信号と、前記動きベクトル検出手段から出力される前記動きベクトル信号の信頼性とに基づいて、予め決められた複数の状態のうち、前記撮像装置の状態を検出する検出工程と、
前記振れ検出信号と前記推定工程で推定されたオフセット成分とに基づいて、振れを補正するための振れ補正手段を駆動するための振れ補正信号を生成する生成工程と、
を有し、
前記推定工程は、前記検出工程で検出された前記撮像装置の状態が遷移した場合、当該遷移より前に前記撮像装置が遷移した後の状態であったときの事後誤差分散または事後誤差共分散を用いて、前記オフセット成分を推定することを特徴とする像振れ補正方法。

【請求項17】

コンピュータを、請求項１乃至１０のいずれか１項に記載の像振れ補正装置の各手段として機能させるためのプログラム。

【請求項18】

請求項１７に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、像振れ補正装置及び方法、及び、撮像装置に関する。

【背景技術】

【0002】

撮像装置の小型化や光学系の高倍率化に伴い、手振れ等による画像への影響が顕著になるという問題に対し、像振れ補正機能がある。撮像装置の振れ検出に角速度センサを用いる場合、角速度検出信号に応じて、振れ補正レンズ（以下、単に「補正レンズ」と呼ぶ。）や撮像素子等の移動制御が行われる。

【0003】

ここで、角速度センサの出力信号には、個体差による基準電圧のばらつき等の直流成分（オフセット成分）が含まれる。そのため、角速度センサの出力をオフセット成分が含まれたまま積分して角度信号を算出すると、オフセット成分により積分誤差が積み上がり、正確な振れ補正が行えない。

【0004】

特許文献１には、角速度センサの出力と、画像のフレーム間の差分による動きベクトルと、振れ補正部材の速度とを入力として、カルマンフィルタや逐次最小二乗法を用いてオフセットを推定し、推定結果を基にオフセット成分を除去する手法が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１８－２５７０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

特許文献１では、角速度センサの出力と動きベクトルとの差分を用いてオフセット成分の推定を行っているが、動きベクトル検出に検出誤差が生じることもあり、状態によっては適切なオフセット成分の推定が行えないことが考えられる。例えば、撮像装置が三脚に設置された静定状態において、オフセット成分の推定に角速度センサ出力と動きベクトル検出値の差分を用いると、両方の検出系の誤差が重畳し、角速度センサ出力のみでオフセット推定を行った時よりも精度が低下することが考えられる。

【0007】

本発明は上記問題点を鑑みてなされたものであり、撮像装置の状態に応じて適正な振れ補正駆動量を算出することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明の像振れ補正装置は、振れ検出手段により検出された撮像装置の振れを示す振れ検出信号と、動きベクトル検出手段により前記撮像装置で撮影された複数の画像から検出された動きベクトル信号とを用いて、前記振れ検出信号のオフセット成分をカルマンフィルタを用いて推定する推定手段と、前記振れ検出信号と、前記動きベクトル検出手段から出力される前記動きベクトル信号の信頼性とに基づいて、予め決められた複数の状態のうち、前記撮像装置の状態を検出する検出手段と、前記撮像装置の状態に基づいて、前記推定手段を制御する制御手段と、前記振れ検出信号と前記推定手段により推定されたオフセット成分とに基づいて、振れを補正するための振れ補正手段を駆動するための振れ補正信号を生成する生成手段と、前記推定手段におけるオフセット成分を推定するときに用いられる事後誤差分散または事後誤差共分散を保持するパラメータ保持手段と、を有し、前記推定手段は、前記検出手段により検出された前記撮像装置の状態が遷移した場合、当該遷移より前に前記撮像装置が遷移した後の状態であったときに前記パラメータ保持手段に記録された事後誤差分散または事後誤差共分散を用いて、前記オフセット成分を推定する。

【発明の効果】

【0009】

本発明によれば、撮像装置の状態に応じて適正な振れ補正駆動量を算出することができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施形態における撮像システムの断面図、及び、概略機能構成を示すブロック図。

【図2】第１実施形態に係る像振れ補正制御に関わる構成を示すブロック図。

【図3】第１実施形態に係る像振れ補正駆動量の演算処理を示すフローチャート。

【図4】第１の実施形態におけるオフセット推定処理のフローチャート。

【図5】第１の実施形態におけるオフセット推定処理に用いる信号の時間波形を示す図。

【図6】第２実施形態に係る像振れ補正制御に関わる構成を示すブロック図。

【図7】第２実施形態に係る像振れ補正駆動量の演算処理を説明するフローチャート。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

なお、本発明は、ビデオカメラ、デジタルスチルカメラや、それらの交換レンズ等の光学機器、撮像部を有する様々な電子機器に適用可能である。

【0013】

［第１実施形態］
以下、本発明の第１実施形態について説明する。
図１（ａ）は、本実施形態に係る像振れ補正装置を含む撮像システムの構成の概要を示す中央断面図、図１（ｂ）は、撮像システムの機能構成を示すブロック図である。

【0014】

なお、本実施形態では、レンズユニット２がカメラ本体１に対して着脱可能な、所謂レンズ交換式カメラについて説明するが、本発明はこれに限られるものでは無く、カメラ本体１にレンズユニット２が固定された撮像装置に適用することもできる。

【0015】

図１（ａ）に示す撮像システムでは、カメラ本体１にレンズユニット２を装着した状態で撮影が可能である。カメラ本体１とレンズユニット２は、カメラ本体１にレンズユニット２が装着された時に、電気接点１４を介して、電気的に接続される。レンズユニット２は、複数のレンズからなる撮像光学系３を有し、光軸４は撮像光学系３の光軸を示す。レンズユニット２内の補正レンズユニット１９は、ユーザの手振れ等による撮像画像の像振れを補正するための補正レンズを備える。カメラ本体１は、内部に撮像素子６を備え、後部に背面表示装置１０ａを備える。

【0016】

次に、図１（ｂ）を参照して、カメラ本体１とレンズユニット２の機能構成について説明する。
まず、レンズユニット２の構成について説明する。レンズ側操作部１６は、ユーザが操作する操作部材を備え、ユーザの操作指示をレンズ制御部１５に通知する。レンズ制御部１５はＣＰＵ（中央演算処理装置）を備えて、所定のプログラムを実行することにより、各構成部の動作制御や処理を行う。例えば、レンズ制御部１５は、補正レンズユニット１９の駆動制御や、フォーカスレンズの駆動による焦点調節制御、絞り制御、ズーム制御等を行う。

【0017】

レンズ側振れ検出部（以下、「振れ検出部」と呼ぶ。）１７は角速度センサを備え、振れ量を検出し、振れ検出信号をレンズ制御部１５に出力する。例えばジャイロセンサを用いて、撮像光学系３の光軸４に対する、ピッチ方向、ヨー方向、ロール方向の回転を検出する。

【0018】

像振れ補正部１８は、レンズ制御部１５からの制御指令に従って補正レンズユニット１９の駆動制御を行い、像振れを補正する。補正レンズユニット１９は、光軸４に垂直な平面内でシフト駆動またはチルト駆動される補正レンズとその駆動機構部を備える。像振れ補正部１８は、例えばマグネットと平板コイルを用いたアクチュエータにより、補正レンズユニット１９を駆動する。レンズ位置検出部２０は、例えばマグネットとホール素子を備え、補正レンズユニット１９の位置検出を行い、位置検出信号をレンズ制御部１５に出力する。
焦点位置変更部２２はレンズ制御部１５からの制御指令に従ってフォーカスレンズの駆動制御を行い、撮像光学系３の焦点位置を変更する。

【0019】

レンズ側記憶部２３は、パラメータ保持領域２３ａとオフセット値保持領域２３ｂを含み、レンズ制御部１５からの指示を受けて、後述する分散値やオフセット値等の情報を書き込んだり、レンズ制御部１５へ読み出したりする。

【0020】

次に、カメラ本体１の構成について説明する。撮像素子６は撮像部を構成し、撮像光学系３を通して撮像素子６の撮像面に入射する被写体の光像を光電変換して、電気信号を出力する。そして、撮像素子６から出力された電気信号に基づいて、焦点調節用の評価量や適切な露光量を取得し、撮像光学系３を調整することで、適正光量の被写体像を撮像素子６の撮像面に結像することができる。

【0021】

画像処理部７は、内部にアナログ／デジタル（Ａ／Ｄ）変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路等を有し、撮像素子６から出力される電気信号を取得して画像処理を行い、記録用の画像データを生成し、記憶部８に記憶する。また、撮像素子６がベイヤ配列のカラーフィルタを有する場合、画像処理部７は色補間処理部を更に備え、ベイヤ配列の電気信号に色補間（デモザイキング）処理を施してカラー画像データを生成して、記憶部８に記録する。更に、画像処理部７は、予め定められた圧縮方式で画像、動画、音声等のデータ圧縮を行う。

【0022】

また、画像処理部７は、撮像画像に基づく動き量である動きベクトルを算出する動きベクトル検出部７ａを備え、撮像素子６により取得された複数フレームの画像を比較し、動きベクトル検出を行うことで画像の動き量を取得する。また、動きベクトル検出部７ａは、検出した動きベクトルの信頼性を評価し、ベクトル評価値を出力する。
カメラ制御部５は、ＣＰＵ（中央演算処理装置）を備え、所定のプログラムを実行することにより各構成の動作制御や処理を行うと共に、撮像システム全体の制御を統括する。カメラ制御部５とレンズ制御部１５は、電気接点１４を介して相互に通信し、ユーザ操作に応じて静止画撮影及び動画撮影を行うことができる。

【0023】

例えば、ユーザがカメラ側操作部９に含まれるシャッタレリーズ釦を操作した場合、カメラ制御部５はスイッチ信号を検出して、撮影に関する制御を開始する。まず、撮像素子６から出力された電気信号を取得し、画像処理部７により、撮像光学系３の適切な焦点位置及び絞り位置を求め、電気接点１４を介してレンズ制御部１５に制御指令を送信する。レンズ制御部１５は、カメラ制御部５からの制御指令に従って、焦点位置変更部２２、及び不図示の絞り駆動部を制御する。そして、撮像のためのタイミング信号等を生成して各構成部に出力することで、絞り及び焦点位置が制御された撮像光学系３を介して入射した被写体からの光を撮像素子６により光電変換し、撮像処理を実行する。更に、画像処理部７等を制御して、画像処理を実行する。

【0024】

画像データの記録再生処理はカメラ制御部５の制御下で、画像処理部７と記憶部８を用いて実行される。また、カメラ制御部５は、記憶部８に記憶された画像データを着脱可能な不図示の記録媒体に記録したり、記録媒体から画像データを記憶部８に読み出す制御を行うと共に、不図示の外部インタフェースを通じて外部装置に送信する制御を行う。

【0025】

表示部１０は、背面表示装置１０ａ、装置本体部の上面に設けられた撮影情報を表示する不図示の小型表示パネルや、不図示のＥＶＦ（電子ビューファインダ）等を備え、カメラ制御部５からの制御指令に従って画像表示を行い、画像情報等をユーザに提示する。背面表示装置１０ａは表示画面部にタッチパネルを備え、ユーザ操作を検出してカメラ制御部５に通知する。この場合、背面表示装置１０ａは、操作部材としての機能と表示機能とを兼ね備える。

【0026】

上記構成を有する撮像システムにおいて、像振れ補正モードが設定された場合、レンズ制御部１５はカメラ制御部５から像振れ補正モードへの移行指令を受け付けると、像振れ補正の制御を開始する。具体的な制御方法としては、まず、レンズ制御部１５が振れ検出部１７から振れ検出信号を取得する。そして、カメラ本体１から動きベクトル検出信号及びベクトル評価値を受信し、振れ検出信号と合わせて、後述する方法により、像振れ補正を行うための補正レンズユニット１９の駆動量（振れ補正駆動量）を算出する。レンズ制御部１５は、算出した振れ補正駆動量を像振れ補正部１８への指令値として出力して、補正レンズユニット１９を駆動する。また、レンズ制御部１５は、レンズ位置検出部２０から位置検出信号を取得し、補正レンズユニット１９の検出位置が指令値に追従するようにフィードバック制御を行う。

【0027】

図２は、第１実施形態における像振れ補正制御に関わる構成を示すブロック図である。なお、像振れ補正軸であるピッチ方向、ヨー方向、ロール方向の各軸については同様の構成であるため、１軸についてのみ説明を行う。

【0028】

図２において、破線で囲まれた範囲がレンズ制御部１５に含まれる。振れ検出部１７は撮像システムに生じる振れを検出し、振れ検出信号を、減算器３６、ＬＰＦ３８（ローパスフィルタ）及びカメラ状態検出部３２に出力する。ＬＰＦ３８は振れ検出信号の高周波帯を遮断し、減算器３５に出力する。

【0029】

動きベクトル検出部７ａは、撮像された複数フレームの画像から動きベクトルを検出し、動きベクトル検出信号をＬＰＦ３９に出力する。また、動きベクトル検出部７ａは、動きベクトル検出時に動きベクトル検出の信頼性を表すベクトル評価値を算出して、カメラ状態検出部３２に出力する。

【0030】

ベクトル評価値とは、動きベクトル検出時に、例えばブロックマッチングによる処理を行う場合の相関値等で示される。画像の輝度が低くコントラストが低いために画像のマッチング処理が困難な場合は、相関値が低く算出され、動きベクトル検出の信頼性が低いと評価される。他にも、比較する２枚の画像がボケている場合や手振れの影響が大きく画像の振れが大きい場合等にも、ベクトル評価値は低く算出される。さらに、静止画露光中等、動きベクトルが検出できない場合は、ベクトル評価値として０が出力される。なお、ベクトル評価値は、ベクトル検出結果の信頼性を表すものであれば相関値以外でも構わない。

【0031】

ＬＰＦ３９は、ＬＰＦ３８と同じ遮断帯域に設定されており、動きベクトル検出信号の高周波帯域を遮断し、乗算器３７に出力する。乗算器３７は高周波を遮断された動きベクトル検出信号にベクトル重み係数αｋを乗じ、減算器３５に出力する。ベクトル重み係数αｋは、カメラ状態検出部３２により制御される。

【0032】

カメラ状態検出部３２は、振れ検出部１７及び動きベクトル検出部７ａの出力を用いてカメラの状態を検出し、その結果をオフセット推定部３３に出力する。本実施形態では、振れ検出部１７から出力された振れ検出信号が予め定められた静定閾値よりも小さい状態が所定時間続いている場合、カメラ状態検出部３２は、静定状態である第１の状態であると判断する。静定状態とは、例えば、カメラが三脚に取り付けられているような手振れ振動の入らない状態である。なお、振れ検出部１７の出力だけでなく、動きベクトル検出部７ａの出力を用いて判定しても構わない。

【0033】

さらに、動きベクトル検出部７ａから出力されるベクトル評価値が所定値よりも低く、かつ第１の状態でない場合、カメラ状態検出部３２は、カメラが第２の状態であると判断する。

【0034】

そして、それ以外の場合はカメラが第３の状態であると判断する。つまり、第３の状態では、振れ検出信号が予め定められた静定閾値以上であって、且つ、ベクトル評価値が所定値以上である場合である。例えば、カメラがユーザによって把持されて手振れが発生している状態で、動きベクトル検出部７ａにより信頼性の高い動きベクトルが検出できている状態である。

【0035】

カメラ状態検出部３２は、カメラ状態が第１または第２の状態と判断した場合は乗算器３７の重み係数αｋを０とし、カメラ状態が第３の状態と判断した場合は乗算器３７の重み係数αｋを１に変更する。
減算器３５は、それぞれ帯域制限された振れ検出部１７の振れ検出信号から動きベクトル検出部７ａのベクトル検出信号を減算し、オフセット推定部３３に出力する。

【0036】

オフセット推定部３３は、減算器３５の出力とカメラ状態検出部３２の結果に基づき、カルマンフィルタを用いて振れ検出部１７の振れ検出信号のオフセット成分を推定し、推定されたオフセット推定値を減算器３６に出力する。なお、オフセット推定部３３におけるオフセット推定値の演算方法の詳細については後述する。

【0037】

減算器３６は、振れ検出部１７の振れ検出信号からオフセット推定部３３により推定されたオフセット推定値を減算し、積分器３４に出力する。
積分器３４は、減算器３６の出力信号に積分処理を施し、補正レンズユニット１９の像振れ補正駆動量（振れ補正信号）として出力する。

【0038】

なお、本実施形態ではカメラ状態検出部３２がレンズ制御部１５に含まれるものとして説明したが、カメラ制御部５に含めても構わない。その場合、カメラ制御部５のカメラ状態検出部が振れ検出部１７の振れ検出信号を電気接点１４を介して取得し、カメラ制御部５のカメラ状態検出部で検出したカメラ状態の検出結果を、電気接点１４を介してレンズ制御部１５に出力する。

【0039】

次に、図３及び図４のフローチャートを参照して、撮像システムにおける振れ補正駆動量の演算処理について説明する。なお、図３のフローチャートに示す処理は、画像処理部７での画像の取得周期毎に繰り返し実行される。

【0040】

図３において処理が開始すると、Ｓ１において、振れ検出部１７は振れ（角速度）を検出し、振れ検出信号を出力する。

【0041】

Ｓ２において、動きベクトル検出部７ａは、取得された画像と、その１フレーム前に取得された画像とを用いて、動きベクトルを検出し、動きベクトル検出信号とベクトル評価値を算出して出力する。なお、１フレームに限らず、複数フレーム前の画像を用いて動きベクトルを検出しても良い。

【0042】

Ｓ３において、カメラ状態検出部３２は、振れ検出部１７の振れ検出信号及び動きベクトル検出部７ａのベクトル評価値に基づき、カメラの状態が第１の状態、第２の状態、第３の状態のいずれであるかを判断する。

【0043】

Ｓ４において、オフセット推定部３３により、振れ検出信号に含まれるオフセット成分を推定する。なお、Ｓ４で行われるオフセット推定処理の詳細については、図４を用いて後述する。

【0044】

Ｓ５において、減算器３６は、振れ検出部１７から出力される振れ検出信号から、オフセット推定部３３で推定されたオフセット推定値を減算する。
Ｓ６において、積分器３４は、オフセットの除去された振れ検出信号に積分処理を施し、像振れ補正部１８に振れ補正駆動量として出力する。

【0045】

次に、図４と数式を用いて、Ｓ４で行われるオフセット推定処理について説明する。まず、数式を用いてオフセット処理に用いるオフセット値の推定方法について説明する。オフセット推定部３３を線形カルマンフィルタで構成する場合、線形カルマンフィルタは以下の式（１）～（７）で表すことができる。

【0046】

式（１）は状態空間表現での動作モデルを表し、式（２）は観測モデルを表す。なお、式（１）及び（２）における各記号の意味は以下のとおりである。
Ａ：動作モデルでのシステムマトリクス
Ｂ：入力マトリクス
Ｃ：観測モデルでの出力マトリクス
ε_t：プロセスノイズ
δ_t：観測ノイズ
ｔ：離散的な時間。

【0047】

式（３）は予測ステップにおける事前推定値を表し、式（４）は事前誤差共分散を表す。また、Σ_xは動作モデルのノイズの分散を表す。

【0048】

式（５）はフィルタリングステップにおいてカルマンゲインの算出式を表し、上付き添え字のＴは行列の転置を表している。さらに式（６）はカルマンフィルタによる事後推定値、式（７）は事後誤差共分散を表す。またΣ_zは観測モデルのノイズの分散を表す。

【0049】

本実施形態では、振れ検出部１７のオフセット成分を推定するため、オフセット値をｘ_tとし、観測された振れ量をｚ_tとする。オフセット成分のモデルは式（１）における入力項ｕ_tがなく、式（１）及び式（２）でＡ＝Ｃ＝１となる、以下の１次線形モデルの式（８）、（９）で表すことができる。

【0050】

また、カルマンゲインをｋ_t、振れ検出部１７によって観測されたオフセットをｚ_tとすると、式（１０）～（１４）によりカルマンフィルタを構成することができる。

【0051】

なお、式（１０）～（１４）において、式（４）における動作モデルのノイズの分散Σ_xを、システムノイズの分散ＳＮＶで表し、式（５）における観測モデルのノイズの分散Σ_zを、観測ノイズ分散ＯＭＮＶで表す。なお、システムノイズの分散ＳＮＶ及び観測ノイズ分散ＯＭＮＶを、式（１０）～（１４）においては以下の通り表記する。

【0052】

また、時刻ｔにおける事前オフセット推定値ＯＦＦ１_t、事前誤差分散ＥＶ１_t、事後誤差分散ＥＶ２_t、観測ノイズ分散ＯＮＶ_tを、式（１０）～（１４）においては以下の通り表記する。

【0053】

【0054】

本実施形態では、オフセット推定部３３は、式（１０）から式（１４）までの演算式を実現するように構成される。式（１０）に示すように、推定演算の更新周期の時刻ｔ－１での事後オフセット推定値ＯＦＦ２_t-1により事前オフセット推定値ＯＦＦ１_tが算出される。また、式（１１）に示すように、時刻ｔ－１での事後誤差分散ＥＶ２_t-1及びシステムノイズの分散ＳＮＶにより、事前誤差分散ＥＶ１_tが算出される。

【0055】

そして、式（１２）に示すように、事前誤差分散ＥＶ１_t及び、観測ノイズ分散ＯＮＶ_tを基に、カルマンゲインｋ_tが算出される。

【0056】

更に、式（１３）によって、観測されたオフセットｚ_tと事前オフセット推定値ＯＦＦ１_tとの誤差にカルマンゲインｋ_tを乗じた値によって事前オフセット推定値ＯＦＦ１_tが修正され、オフセット推定値ＯＦＦ_tが算出される。また式（１４）により事前誤差分散ＥＶ１_tが修正されて事後誤差分散ＥＶ２_tが算出される。これらの演算によって事前推定更新と修正を演算周期ごとに繰り返すことで、オフセット推定値が算出される。

【0057】

次に、図４のフローチャートを用いて、時刻ｔにおけるオフセット推定処理について説明する。
オフセット推定処理が開始すると、Ｓ１１において、カメラ状態検出部３２によって、時刻ｔ－１の状態からカメラの状態が遷移したかを判定する。カメラの状態が遷移したと判断されるとＳ１２に進み、遷移していないと判断されるとＳ１４に進む。

【0058】

Ｓ１２において、前回オフセット推定処理を行った時刻ｔ－１で算出した事後誤差分散ＤＶ２_t-1をパラメータ保持領域２３ａに記録する。Ｓ１３において、遷移後のカメラの状態と同じ状態で記録された直近の事後誤差分散を、時刻ｔ－１の事後誤差分散ＤＶ２_t-1として呼び出す。

【0059】

例えば第２の状態から第３の状態に遷移した場合、Ｓ１２では、時刻ｔ－１で算出した第２の状態における事後誤差分散ＤＶ２_t-1をパラメータ保持領域２３ａに記録する。このようにＳ１２では、カメラの状態が遷移すると、遷移前の事後誤差分散がパラメータ保持領域２３ａに記録される。そして、Ｓ１３では、パラメータ保持領域２３ａに記録されている事後誤差分散から、前回、遷移後の第３の状態で記録された事後誤差分散を、時刻ｔ－１の事後誤差分散ＤＶ２_t-1としてパラメータ保持領域２３ａから読み出す。

【0060】

そして、時刻ｔの事後誤差分散を、第２の状態であった時の時刻ｔ－１の事後誤差分散ではなく、パラメータ保持領域２３ａから読み出した、前回第３の状態であったときの事後誤差分散で置き換える。なお、遷移後の状態がカメラ起動後の初めての状態である場合は、予めパラメータ保持領域２３ａに各状態ごとに記録された事後誤差分散の初期値を呼び出して用いる。

【0061】

Ｓ１４において、カメラの状態がどの状態であるかを判定する。カメラの状態が第３の状態と判定されるとＳ１５に進み、第１の状態または第２の状態であると判断されるとＳ１６に進む。

【0062】

Ｓ１５において、乗算器３７のベクトル重み係数αｋが１に設定される。この場合、手振れが含まれ、且つ動きベクトル検出の信頼性が低くないため、動きベクトル検出信号を用いてオフセット値を推定した方が、推定精度が上がると考えられる。なお、第３の状態においては、ベクトル評価値の大きさに応じて重み係数αｋを変更してもよい。その場合、ベクトル評価値が大きいほど、重み係数αｋを１に近づけるようにするとよい。
一方、ステップＳ１６において、は乗算器３７のベクトル重み係数αｋが０に設定される。つまり、オフセット推定部３３で振れ検出信号と動きベクトル信号の差分に基づきオフセット推定を行うが、ベクトル重み係数αｋが０なので、実質的には振れ検出信号のみを用いてオフセット推定が行われることとなる。これは、例えばカメラが三脚等で静定している第１の状態においては振れ検出部１７の信号には手振れの成分が含まれておらず、０に近い振幅で安定しており、振れ検出信号がオフセット値になるからである。

【0063】

また、第１の状態では、動きベクトル検出信号も０に近い振幅で安定する。ここで、ベクトル重み係数αｋを１として、振れ検出信号からベクトル検出信号を減算すると、それぞれの２つの検出系の検出ノイズが含まれるため、振れ検出信号のみを用いてオフセット値を算出したほうが相対的に精度が高くなる。そこで、第１の状態と判断された場合はベクトル重み係数αｋが０に設定される。

【0064】

一方、手振れが含まれ、且つ動きベクトル検出の信頼性が低い第２の状態においては、動きベクトル検出信号の信頼性が低いのでベクトル重み係数αｋを０にして、振れ検出信号のみでオフセット推定を行う。なお、第３の状態以外の場合においては、重み係数αｋを０ではなく、オフセット推定に影響のないような極小さい値に設定し、動きベクトル検出信号の割合を下げるようにしても構わない。

【0065】

次に、Ｓ１７において、式（１０）及び式（１１）に示すように、事前オフセット推定値ＯＦＦ１_t及び事前誤差分散ＥＶ１_tを算出する。前述したようにＳ１１でカメラ状態が遷移していた場合は、事前誤差分散ＥＶ１_tの算出時においては時刻ｔ－１の事後誤差分散はＳ１３で置き換えられた事後誤差分散が用いられる。

【0066】

Ｓ１８において、式（１２）に示すようにカルマンゲインｋ_tを算出する。
Ｓ１９において、カメラ状態が遷移したと判断されてから所定期間ＴＬが経過したかを判断する。所定期間ＴＬが経過している場合はＳ２０に進み、経過していない場合はＳ２１に進む。
Ｓ２０において、式（１３）に示すように事後オフセット推定値ＯＦＦ２_tを算出する。

【0067】

一方、Ｓ２１において、式（１３）による事後オフセット推定値ＯＦＦ２_tの算出は行わず、オフセット値保持領域２３ｂに保持された時刻ｔ－１のオフセット推定値ＯＦＦ_t-1を時刻ｔのオフセット推定値ＯＦＦ_tとして代入し、オフセット推定値ＯＦＦ_tが所定期間保持される。なお、所定期間ＴＬの間、オフセット推定値ＯＦＦ_tを保持する理由については後述する。

【0068】

Ｓ２２において、式（１４）に示すように事後誤差分散ＥＶ２_tを算出する。
以上のようにしてオフセット推定処理を終了する。

【0069】

上記の通り本実施形態では、カメラ状態検出部３２の結果に応じてベクトル重み係数の値を変更し、静定状態である第１の状態、及び、ベクトル評価値が低い第２の状態では、振れ検出信号のみを用いてオフセット推定を行う。これにより、三脚に設置されたような静定状態や、動きベクトル検出の信頼性が低い状態においてオフセット推定の精度が向上し、撮像装置の状態に応じて適正な振れ補正駆動量を算出することができる。

【0070】

次に、図４のフローチャートのＳ１３において、前回、遷移後のカメラの状態と同じ状態であったときに記録された事後誤差分散を、時刻ｔ－１の事後誤差分散ＥＶ２_t-1として呼び出す理由について説明する。

【0071】

第２の状態においては、動きベクトル検出の信頼性が低いため、振れ検出信号のみを用いてオフセット推定処理を行うが、第２の状態は第１の状態とは異なり、手振れの成分が含まれるため、第１の状態に比べると観測ノイズ分散ＯＮＶ_tが大きい。その結果、事後誤差分散ＥＶ２_tも大きくなる。

【0072】

一方、第３の状態においては、振れ検出信号に手振れ成分が含まれるが、動きベクトル検出を行いオフセット推定処理を行うので、第２の状態に比べると観測ノイズ分散ＯＮＶ_tは小さくなり、その結果事後誤差分散も小さい。しかしながら、第３の状態における事後誤差分散ＥＶ２_tは、静定状態の第１の状態の事後誤差分散ＥＶ２_tと比べると大きい。つまり、第１の状態、第３の状態、第２の状態の順で観測オフセット値ｚ_tの精度は高い。誤差分散は観測されたオフセット値ｚ_tの精度を表す指標と言え、誤差分散が小さいほうが観測オフセット値ｚ_tの精度が高く、大きいほうが精度が低いといえる。

【0073】

例えば、時刻ｔ－１において第２の状態から、時刻ｔで第３の状態に遷移した場合について考える。第３の状態の観測オフセット値ｚ_tは、第２の状態の観測オフセット値ｚ_tに比べると精度は相対的に高いが、十分な精度とは言えない。Ｓ１７において事前誤差分散を算出する際に、時刻ｔ－１の第２の状態の事後誤差分散を用いた場合、第２の状態の分散値が大きいのでカルマンゲインは１に近づく。そして、式（１３）に示すように事後オフセット推定値ＯＦＦ２_tが観測オフセット値ｚ_tの影響を大きく受けて、オフセット推定値は変化しやすくなる。

【0074】

時刻ｔ＋１以降も、事後誤差分散が安定するまでは、第３の状態での観測オフセット値の影響が大きい。上述したように、第３の状態での観測オフセット値は第２の状態よりも精度が良いが十分な精度とは言えず、観測オフセット値が安定しない。その結果、時刻ｔ以降の事後誤差分散が収束するまでの間、精度が十分ではない観測オフセット値の影響を受けて、事後オフセット推定値の値も不安定になり易く、正しく振れ補正駆動量が算出できなくなることが考えられる。

【0075】

そこで、Ｓ１３において、前回、第３の状態において記録された事後誤差分散を時刻ｔ－１の事後誤差分散ＤＶ２_t-1として呼び出して、Ｓ１７で事前誤差分散を求めている。事後誤差分散が同じ第３の状態の値を用いるので、カルマンゲイン算出時に第３の状態での観測オフセット値の影響が小さくなり、事前オフセット推定値の揺れを抑えることができる。このように、観測オフセット値の精度が低い状態から、観測オフセット値が先ほどの状態よりは高いが十分ではない状態に遷移する場合に、前回、遷移後のカメラ状態と同じ状態において記録された事後誤差分散を時刻ｔ－１の事後誤差分散ＤＶ２_t-1として呼び出すことが有効である。つまり、少なくとも本実施形態の場合であれば第２の状態から第３の状態に遷移した場合は、前回の第２の状態での事後誤差分散を呼び出す処理を行う。

【0076】

なお、本実施形態ではカメラの状態を第１の状態、第２の状態、第３の状態の３つの状態として分類したが、振れ検出信号の大きさ等に応じて、さらにほかの状態に分類を増やしてもよい。例えば第３の状態において、振れ検出信号の大きさに応じてさらに２種類の状態に分ける等である。その場合でも、観測オフセット値の精度が低い状態から、観測オフセット値が先ほどの状態より精度が高い状態に遷移する場合には、前回、遷移後のカメラ状態と同じ状態において記録された事後誤差分散を、時刻ｔ－１の事後誤差分散ＤＶ２_t-1として呼び出すことが有効である。

【0077】

また、その他の条件として第１の状態からほかの状態に遷移した場合、時刻ｔ－１の事後誤差分散は第１の状態での事後誤差分散をそのまま使用してもよい。これは、第１の状態は観測オフセット値の精度が良く事後誤差分散が十分に小さいので、そのほかの状態に遷移した場合も、第１の状態で推定されたオフセット推定値の影響が大きいほうが精度が良いと考えられるからである。

【0078】

なお、上述した説明では1次元でモデル化したため事後誤差分散を用いて説明したが、多次元でモデル化して事後誤差共分散を用いて同様の制御を行っても良い。

【0079】

次に、Ｓ２１においてオフセット推定値を保持する理由について、図５を参照して説明する。なお、図５において、点線５０１、５０６、５１１はオフセットの正解値を表し、期間５０５、５１０、５１５は所定期間ＴＬを表す。

【0080】

図５（ａ）の波形５０２は、第２の状態から第１の状態へ遷移する際の減算器３５の出力信号の時間変化を表している。第１及び第２の状態においてはベクトル重み係数αｋ＝０であるため、ＬＰＦ３８の出力信号と波形５０２は一致する。期間５０３は第２の状態であり、このとき、振れ検出部１７の出力信号は手振れ成分のため大きい。対して、期間５０４は第１の状態であり、このとき振れ検出部１７の出力信号は小さい。従って、第２の状態から第１の状態に遷移した場合、期間５０５における波形５０２とオフセットの正解値５０１のように、ＬＰＦ３８によって所定期間ＴＬかけて過渡応答が発生して正しいオフセット値との乖離が起こる。ここで過渡応答とは、ＬＰＦへの入力信号が急峻に変わっても出力信号は徐々にしか変化しない現象を指す。

【0081】

このとき、第１の状態は観測ノイズ分散ＯＮＶ_tが小さいため、事後オフセット推定値ＯＦＦ２_tが観測オフセット値z_tの影響を大きく受けて変化しやすく、過渡応答による誤った観測オフセット値ｚ_tに引っ張られてしまう。よって、第２の状態から第１の状態に遷移してから所定期間ＴＬが経過するまでの間は正しくオフセット推定ができないため、遷移する前のオフセット推定値をオフセット値保持領域２３ｂで保持し、保持したオフセット値をオフセット推定部３３の出力とする。

【0082】

また、第３の状態から第１の状態への遷移においても同様に、第１の状態への遷移直後にＬＰＦ３８による過渡応答が発生するため、所定期間ＴＬが経過するまでの間は遷移する前のオフセット推定値をオフセット値保持領域２３ｂで保持し、保持したオフセット値をオフセット推定部３３の出力とする。

【0083】

図５（ｂ）の波形５０７は、第２の状態から第３の状態へ遷移する際の減算器３５の出力信号の時間変化を表している。期間５０８は第２の状態であり、一例として撮像素子６が露光中のために動きベクトルが取得できない状態を表している。期間５０９は第３の状態である。第２の状態から第３の状態へ遷移する際、ＬＰＦ３９に動きベクトルが急峻に入力されるようになるため、出力信号に過渡応答が発生する。このＬＰＦ３９の出力信号が減算器３５に入力されることで、期間５１０における波形５０７とオフセットの正解値５０６のように、減算器３５の出力信号にも過渡応答が影響して正しいオフセット値からの乖離が起こる。

【0084】

このとき、第３の状態は第２の状態と比べて観測ノイズ分散ＯＮＶσ_tが小さいため、事後オフセット推定値ＯＦＦ２_tが観測オフセット値ｚ_tの影響を受けて変化し易く、過渡応答による誤った観測オフセット値ｚ_tに引っ張られてしまう。このように、第２の状態から第３の状態に遷移してから所定期間ＴＬが経過するまでの間は正しくオフセット推定ができないため、遷移する前のオフセット推定値をオフセット値保持領域２３ｂで保持し、保持したオフセット値をオフセット推定部３３の出力とする。

【0085】

図５（ｃ）の波形５１２は、オフセット推定を開始する前の状態から第１の状態へ遷移する際の減算器３５の出力信号の時間変化を表している。第１の状態においてはベクトル重み係数αｋ＝０であるため、ＬＰＦ３８の出力信号は波形５１２に一致する。期間５１３はオフセット推定を開始する前、例えば撮像装置の電源を起動する前の状態を表し、振れ検出部１７及び動きベクトル検出部７ａの出力は０であるため、減算器３５の出力も０である。

【0086】

期間５１４ではオフセット推定を行っており、一例として第１の状態を表している。振れ検出部１７の信号が出力され始めたとき、ＬＰＦ３８へは０から急に信号が入力されることとなり、期間５１５における波形５１２とオフセットの正解値５１１のように過渡応答が発生して正しいオフセット値との乖離が起こる。従って、振れ検出部１７の信号が出力され始めてから所定期間ＴＬが経過するまでの間は正しくオフセット推定ができないため、予め決められたオフセット推定初期値を保持する。

【0087】

予め決められたオフセット推定初期値は、前回オフセット推定をしたときの最後のオフセット推定値をオフセット値保持領域２３ｂに保持しておき、その保持しておいたオフセット値を用いてもよいし、工場等で調整された固定のオフセット値を用いてもよい。また、オフセット推定を開始する前の状態から第２または第３の状態へ遷移した場合でも同様の処理を行う。

【0088】

なお、所定期間ＴＬは、ＬＰＦ３８及びＬＰＦ３９のカットオフ周波数によって決定する。

【0089】

遷移してから所定期間ＴＬが経過するまでの間について、オフセット値保持領域２３ｂで保持したオフセット値をオフセット推定部３３の出力とする方法以外にも、事前誤差分散ＥＶ１_tを小さく設定する処理としてもよい。事前誤差分散ＥＶ１_tを小さくすることで、式（１２）によるカルマンゲインｋ_tの値が小さくなり、式（１３）によるオフセット推定値ｘ_tが観測オフセット値ｚ_tの影響を受けにくくなる。従って、誤推定するのを防ぐことができる。

【0090】

その他の方法として、観測ノイズ分散ＯＮＶ_tを大きくする処理としてもよい。観測ノイズ分散ＯＮＶ_tを大きくすることで式（１２）によるカルマンゲインｋ_tの値が小さくなり、式（１３）によるオフセット推定値ｘ_tが観測オフセット値ｚ_tの影響を受けにくくなる。従って、誤推定するのを防ぐことができる。

【0091】

なお、図４のＳ１２で時刻ｔ－１の事後誤差分散を保存し、Ｓ１３で、前回、遷移後のカメラ状態と同じ状態のときに記録された事後誤差分散を呼び出したが、Ｓ１２で時刻ｔ－１の事前誤差分散を保存して、Ｓ１３で事前誤差分散を呼び出してもよい。これは、同じカメラ状態における時刻ｔ－１の事前誤差分散と事後誤差分散では、差が少ないからである。

【0092】

また、本実施形態では式（１０）で事前誤差分散を求める際のシステムノイズ分散ＳＮＶを一定としていたが、カメラの状態に応じて固有の値に設定してもよい。例えば、レンズ側記憶部２３のパラメータ保持領域２３ａに各カメラ状態でのシステムノイズ分散ＳＮＶが保存されており、図４のＳ１１でカメラ状態が遷移したと判断されたら、Ｓ１３の後に遷移された状態に応じたシステムノイズ分散ＳＮＶの値に変更してもよい。

【0093】

本実施形態では、動きベクトル検出部７ａによりベクトル検出の信頼性であるベクトル評価値を算出し、ベクトル検出の信頼性が低くベクトル評価値が閾値より小さい場合、乗算器３７により動きベクトル検出信号にベクトル重み係数αｋ＝０をかけていた。しかし、撮像素子６、画像処理部７において、動きベクトルを検出するための画像の取得周期が変化した場合、以下のような課題がある。

【0094】

例えば、初期の撮影状態において画像の取得周期が６０ｆｐｓだったとする。この状態から被写体が暗くなり輝度が低下した場合、自動で取得周期を３０ｆｐｓなどに下げて１フレームでの撮影画像の輝度値が上がるように処理を行うことが考えれられる。この時、動きベクトル検出部７ａにおいて十分な輝度の画像が得られても、１フレームの露光期間が延びるので１フレーム内の画像に振れが生じて、動きベクトルの精度が低下することが考えられる。

【0095】

そこで、撮像素子６、画像処理部７において動きベクトルを検出するための画像の取得周期が低下した場合は、カメラ状態検出部３２により動きベクトルの信頼性の低い第２の状態であると判断してもよい。または、算出されたベクトル評価値によらずベクトル評価値を０としてカメラ状態検出部３２に出力してもよい。

【0096】

［第２実施形態］
次に、本発明の第２実施形態について説明する。第２実施形態では、第１実施形態と異なる構成及び処理部分のみ説明し、重複する部分の説明は省略する。

【0097】

上述したように、第１実施形態では振れ検出信号と動きベクトル検出信号の差分を用いてオフセット推定を行っていた。これに対し、第２の実施形態は以下の点で異なる。
{Daraku=OFF}
・動きベクトルを検出する時点で、像振れ補正部１８により像振れ補正動作が行われている。
・動きベクトル検出信号と、補正レンズユニット１９の検出位置の微分値とを、オフセット推定部３３に入力する振れ量から減算する。

【0098】

なお、第２実施形態の像振れ補正装置を含む撮像システムの構成は、第１実施形態において説明した図１と同様であるため説明を省略する。

【0099】

図６は、第２実施形態における像振れ補正制御に関わる構成を示すブロック図である。第１実施形態の図２に示す構成と比較して、レンズ位置検出部２０と微分器４０と加算器４１とが追加されている点が異なる。

【0100】

レンズ位置検出部２０が検出した位置情報は微分器４０により微分処理され、レンズ速度情報が加算器４１に出力される。微分器４０では、１周期前の時点で取得された補正レンズユニット１９の位置と、現周期の時点で取得された補正レンズユニット１９の位置との差分が計算される。補正レンズユニット１９の位置の差分演算結果は、像振れ補正により駆動される補正レンズユニット１９の駆動速度（レンズ駆動速度）である。

【0101】

動きベクトル検出部７ａによって算出された動きベクトル検出信号は、ＬＰＦ３９を介して加算器４１に入力される。
加算器４１は、レンズ駆動速度情報と、高周波を遮断された動きベクトル検出信号との加算結果を乗算器３７に出力する。このように、像振れ補正によって補正された振れ速度と動きベクトルによって検出された振れ残り速度を合算することで、カメラ本体１の振れ速度が算出される。また、仮に像振れ補正が実施されていない場合には、補正レンズ速度はゼロとなるので、必ずしも補正レンズ速度を加算しなくとも動きベクトル情報がそのままカメラ本体１の振れの検出結果を表わしていることになる。

【0102】

ここで、動きベクトルは撮像面上での像の移動量を検出した情報であるため、厳密にはカメラ本体１の角度振れに加えてシフト振れ等の影響を含んでいる。シフト振れ等の影響が大きい撮影条件は撮影倍率の大きいときであり、このときは動きベクトルの角度振れ検出の信頼性が低くなるため、乗算器３７の重み係数αｋを０に設定する。しかし、シフト振れの影響の少ない撮影条件においては、像面上で観察される移動量は角度振れの影響が支配的である。このような条件において、像振れ補正によって補正された振れ速度と、動きベクトルによって検出された振れ残り速度とを合算し、カメラ本体１の振れ速度として使用する。動きベクトルを用いて算出されたカメラ本体１の振れ速度を使用することにより、振れ検出部１７に比べてオフセット誤差の少ないカメラ本体１の振れそのものを正確に検出できる。

【0103】

上記以外の動作は、図２を参照して説明した第１実施形態と同じであるので説明を割愛する。

【0104】

次に、図７のフローチャートを参照して、撮像システムにおける振れ補正駆動量の演算処理について説明する。なお、図７のフローチャートに示す処理は、画像処理部７での画像の取得周期ごとに繰り返し実行される。

【0105】

図７において処理が開始すると、Ｓ４１において、振れ検出部１７は振れ（角速度）を検出する。

【0106】

Ｓ４２において、動きベクトル検出部７ａは、取得された画像と、その１フレーム前に取得された画像とを用いて、動きベクトルを検出し、動きベクトル検出信号とベクトル評価値を算出して出力する。なお、１フレームに限らず、複数フレーム前の画像を用いて動きベクトルを検出しても良い。

【0107】

Ｓ４３において、レンズ位置検出部２０により補正レンズユニット１９の位置を検出する。

【0108】

Ｓ４４において、カメラ状態検出部３２は、振れ検出部１７の振れ検出信号及び動きベクトル検出部７ａのベクトル評価値に基づき、カメラの状態が第１の状態、第２の状態、第３の状態のいずれであるかを判断する。

【0109】

Ｓ４５において、オフセット推定部３３により振れ検出信号に含まれるオフセット成分を推定する。なお、ここで行われるオフセット推定処理は、図６に示すように、Ｓ４２で取得した動きベクトル検出信号と、Ｓ４３で取得した補正レンズユニット１９の位置の微分値とを加算して用いることを除いて、図４に示すものと同様であるため、説明を省略する。

【0110】

Ｓ４６において、減算器３６は振れ検出部１７から出力される振れ検出信号から、オフセット推定部３３で推定されたオフセット推定値を減算する。

【0111】

Ｓ４７において、積分器３４は、オフセットの除去された振れ検出信号に積分処理を施し、像振れ補正部１８に振れ補正駆動量として出力する。

【0112】

以上のように第２実施形態によれば、動きベクトル検出を行う静止画露光前の時点から、像振れ補正動作を行う場合においても、撮像システムの状態に応じて適正な振れ補正駆動量を算出することができる。

【0113】

［変形例］
上述した第１及び第２実施形態では、レンズユニット２が像振れ補正部１８を有し、補正レンズユニット１９を移動させることで像振れ補正を行っていたが、その他の手法でも構わない。例えば、カメラ本体１の撮像素子６を光軸に対して略直交方向に並進移動できる撮像素子シフト駆動部を備え、実施形態で求めた像振れ補正駆動量に応じて撮像素子６を並進駆動させることが考えられる。なお、撮像素子６の並進駆動量は、レンズユニット２の焦点距離に応じた係数が乗じられて、振れによる撮像面上での移動量に換算されて決定される。また、カメラ本体１及びレンズユニット２の両方に振れ補正機構を有する構成としても構わない。さらに、動画撮影における各フレームの位置を切り出す、いわゆる電子防振の処理においても、本発明のオフセット推定の処理は有効である。

【0114】

［他の実施形態］
なお、本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。

【0115】

また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0116】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0117】

１：カメラ本体、２：レンズユニット、３：撮像光学系、６：撮像素子、７：画像処理部、７ａ：動きベクトル検出部、９：カメラ側操作部、１５：レンズ制御部、１６：レンズ側操作部、１７：レンズ側振れ検出部、１８：像振れ補正部、１９：補正レンズユニット、２０：レンズ位置検出部、２２：焦点位置変更部、２３：レンズ側記憶部、２３ａ：パラメータ保持領域、２３ｂ：オフセット値保持領域、３２：カメラ状態検出部、３３：オフセット推定部、３６：減算器、４０：微分器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】