特許 6971808 像振れ補正装置、撮像装置および制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6971808

(24)【登録日】2021年11月5日

(45)【発行日】2021年11月24日

(54)【発明の名称】像振れ補正装置、撮像装置および制御方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20211111BHJP

   G03B 5/00 20210101ALI20211111BHJP

【ＦＩ】

   H04N5/232 480

   G03B5/00 J

   G03B5/00 G

【請求項の数】10

【全頁数】12

(21)【出願番号】特願2017-228125(P2017-228125)

(22)【出願日】2017年11月28日

(65)【公開番号】特開2019-102832(P2019-102832A)

(43)【公開日】2019年6月24日

【審査請求日】2020年11月25日

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(72)【発明者】

【氏名】竹内 謙司

【審査官】 益戸 宏

(56)【参考文献】

【文献】 特開２０１１−２５０１２４（ＪＰ，Ａ）

【文献】 特開２０１７−０９２６１６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１７／０１３４６５８（ＵＳ，Ａ１）

【文献】 特開平０５−１１０９３４（ＪＰ，Ａ）

【文献】 欧州特許出願公開第００６４１１２３（ＥＰ，Ａ２）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２２２−２５７

Ｇ０３Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

撮像画像から第１の周期で第１の動きベクトルを算出する第１の算出手段と、
前記第１の動きベクトルを積算することによって、所定フレーム間での移動量の予測値を算出する積算手段と、
前記撮像画像から前記第１の周期より長い第２の周期で第２の動きベクトルを算出する第２の算出手段と、
前記移動量の予測値と、前記第２の動きベクトルとに基づいて、前記所定フレーム間での移動量の予測値の誤差を算出する誤差算出手段と、
前記算出された移動量の予測値の誤差に基づいて、前記撮像画像に生じる像振れを補正するために用いられる振れ補正手段を駆動する制御手段とを備える
ことを特徴とする像振れ補正装置。

【請求項2】

前記制御手段は、前記第１の動きベクトルに基づく制御量と、前記移動量の予測値の誤差に基づく制御量とを加算して、前記振れ補正手段の駆動に用いる制御量を算出する
ことを特徴とする請求項１に記載の像振れ補正装置。

【請求項3】

前記積算手段は、前記撮像画像に係るフレームレートに応じて、前記第１の動きベクトルの積算時間を変更する
ことを特徴とする請求項１または請求項２に記載の像振れ補正装置。

【請求項4】

前記積算手段は、前記撮像画像に係るフレームレートの値が大きいほど、前記第１の動きベクトルの積算時間を長くする
ことを特徴とする請求項３に記載の像振れ補正装置。

【請求項5】

前記積算手段は、前記第１の動きベクトルの算出に用いられる画像の解像度に応じて、前記第１の動きベクトルの積算時間を変更する
ことを特徴とする請求項１乃至４のいずれか１項に記載の像振れ補正装置。

【請求項6】

前記積算手段は、前記第１の動きベクトルの算出に用いられる画像の解像度が高いほど、前記第１の動きベクトルの積算時間を長くする
ことを特徴とする請求項５に記載の像振れ補正装置。

【請求項7】

前記第２の算出手段は、前記第１の算出手段が前記第１の動きベクトルを算出する際のフレーム間隔より長いフレーム間隔で前記第２の動きベクトルを算出し、
前記積算手段は、前記第１の動きベクトルの算出に用いられる画像の解像度に応じて、前記第２の動きベクトルを算出する際のフレーム間隔を変更する
ことを特徴とする請求項５または請求項６に記載の像振れ補正装置。

【請求項8】

前記積算手段は、前記第１の動きベクトルの算出に用いられる画像の解像度が高いほど、前記第２の動きベクトルを算出する際のフレーム間隔を長くする
ことを特徴とする請求項７に記載の像振れ補正装置。

【請求項9】

被写体光を光電変換して前記撮像画像に係る信号を出力する撮像素子と、請求項１乃至８のいずれか１項に記載の像振れ補正装置とを備える
ことを特徴とする撮像装置。

【請求項10】

撮像画像から第１の周期で第１の動きベクトルを算出する工程と、
前記第１の動きベクトルを積算することによって、所定フレーム間での移動量の予測値を算出する工程と、
前記撮像画像から前記第１の周期より長い第２の周期で第２の動きベクトルを算出する工程と、
前記移動量の予測値と、前記第２の動きベクトルとに基づいて、前記所定フレーム間での移動量の予測値の誤差を算出する工程と、
前記算出された移動量の予測値の誤差に基づいて、前記撮像画像に生じる像振れを補正するために用いられる振れ補正手段を駆動する工程とを有する
ことを特徴とする像振れ補正装置の制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、像振れ補正装置、撮像装置および制御方法に関する。

【背景技術】

【0002】

動きベクトルを用いて撮像装置に加わる振れを検出し、検出した振れ情報をもとに振れ補正手段を駆動することによって、像振れを補正する撮像装置が提案されている。この撮像装置は、撮像画像と１フレーム以上前の画像を比較し、その代表点の移動量（フレーム間の移動量）を撮像装置の振れ情報とする。動きベクトルの算出には、画像の蓄積時間および読み出し時間、画像のマッチング時間などの影響により、少なくとも１フレーム以上の時間遅れを伴う。

【0003】

撮像装置が、動きベクトルに基づいて算出される振れ情報をもとに、振れ補正手段を駆動して像振れ補正を行う場合、振れ補正手段を介して帰還制御系を形成している。ここで、動きベクトルの検出時間遅れは、帰還制御系内に位相遅れ要素を追加し、振れ補正性能の低下を生じさせ、制御系の周波数によっては帰還制御系が不安定となり、発振状態に至る可能性がある。また、動きベクトルによる帰還制御遅れを極力低減させるために、低解像度画像から算出した２フレーム間の動きベクトルを用いて制御すると、動きベクトルの誤差が蓄積されることによって振れ検出結果にドリフト誤差が生じる。特許文献１は、動きベクトルを用いて撮像装置に加わる振れを検出し、検出した振れ情報に基づいて像振れ補正を行う撮像装置を開示している。この撮像装置は、動きベクトルに重畳された高周波成分を減衰させることで、帰還制御系の安定性を確保しつつ、補正ゲインを上げる。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１５−５７６７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

特許文献１が開示する撮像装置は、動きベクトルに重畳されたノイズ成分がある周波数以上の高周波成分であることを前提にしており、動きベクトルの符号反転までの時間カウントをいくつにするかによって、ノイズの低減性能が決まる。また、動きベクトルで検出される撮像装置の振れ成分に常に比較的大きなノイズが重畳されている場合には、厳密にノイズと撮像装置の振れ成分を分離することは困難である。したがって、高周波ノイズの影響で帰還制御系が不安定になったり、振れ検出結果にドリフト誤差が生じたりする。本発明は、撮像画像から算出される動きベクトルに基づいて、精度良く像振れ補正を行うことができる像振れ補正装置の提供を目的とする。

【課題を解決するための手段】

【0006】

本発明の一実施形態の像振れ補正装置は、撮像画像から第１の周期で第１の動きベクトルを算出する第１の算出手段と、前記第１の動きベクトルを積算することによって、所定フレーム間での移動量の予測値を算出する積算手段と、前記撮像画像から前記第１の周期より長い第２の周期で第２の動きベクトルを算出する第２の算出手段と、前記移動量の予測値と、前記第２の動きベクトルとに基づいて、前記所定フレーム間での移動量の予測値の誤差を算出する誤差算出手段と、前記算出された移動量の予測値の誤差に基づいて、前記撮像画像に生じる像振れを補正するために用いられる振れ補正手段を駆動する制御手段とを備える。

【発明の効果】

【0007】

本発明の像振れ補正装置によれば、撮像画像から算出される動きベクトルに基づいて、精度良く像振れ補正を行うことができる。

【図面の簡単な説明】

【0008】

【図1】撮像装置の構成を示す図である。

【図2】像振れ補正装置の構成を示す図である。

【図3】像振れ補正制御を説明するフローチャートである。

【図4】動きベクトルの算出処理を説明するフローチャ−トである。

【図5】動きベクトルの算出タイミングを説明する例である。

【図6】移動量誤差量を算出する処理を説明する図である。

【図7】積分時間と、離散フレーム時間の変更を説明する図である。

【発明を実施するための形態】

【0009】

図１は、本実施形態の像振れ補正装置を有する撮像装置の構成を示す図である。
本実施形態においては、撮像装置としてデジタルカメラを例にとって説明する。なお、撮像装置が動画撮影機能を備えていてもよい。図１に示す撮像装置は、ズームレンズ１０１乃至制御部１１９を備える。

【0010】

ズームレンズ１０１は、撮像光学系を構成する。ズーム駆動部１０２が、制御部１１９の制御に従ってズームレンズ１０１を駆動し、ズームレンズ１０１が撮像光学系の光軸方向に移動することで、焦点距離が変更される。像振れ補正レンズ１０３は、撮像画像に生じる像振れを補正するために用いられる振れ補正手段である。像振れ補正レンズ１０３は、撮像光学系の光軸に対して直交する方向に移動可能であり、像振れ補正レンズ駆動部１０４により駆動制御される。

【0011】

絞り・シャッタユニット１０５は、絞り機能を有するメカニカルシャッタである。絞り・シャッタ駆動部１０６が制御部１１９の制御に従って、絞り・シャッタユニット１０５を駆動する。フォーカスレンズ１０７は、撮像光学系を構成し、撮像光学系の光軸方向に進退可能である。フォーカス駆動部１０８は、制御部１１９の制御に従ってフォーカスレンズ１０７を駆動する。撮像部１０９は、撮像光学系を介して入射する被写体光を、ＣＣＤイメージセンサや、ＣＭＯＳイメージセンサなどの撮像素子を用いて、撮像画像に係る電気信号に光電変換する。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略称である。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。撮像信号処理部１１０は、撮像部１０９から出力された電気信号に対して、Ａ／Ｄ変換、相関二重サンプリング、ガンマ補正、ホワイトバランス補正、色補間処理等の所定の処理を行い、映像信号に変換する。

【0012】

映像信号処理部１１１は、撮像信号処理部１１０から出力された映像信号に対して、用途に応じた処理を施す。具体的には、映像信号処理部１１１は、表示用の映像信号の生成や、記録用の符号化処理、データファイル化等を行う。表示部１１２は、映像信号処理部１１１が出力する表示用の映像信号に基づき、必要に応じて画像表示を行う。電源部１１５は、撮像装置全体に電源を供給する。外部入出力端子部１１６は、外部装置との間で通信信号及び映像信号を入出力する。操作部１１７は、撮像装置にユーザが指示を与えるためのボタンやスイッチなどを有し、押し込み量に応じて第１スイッチ（ＳＷ１）及び第２スイッチ（ＳＷ２）が順にオンするように構成されたレリーズボタンを含む。レリーズボタンが半押しされた場合に、ＳＷ１がオンとなり、レリーズボタンが最後まで押し込まれた場合に、ＳＷ２がオンとなる。記憶部１１８は、映像信号を含む様々なデータを記憶する。

【0013】

制御部１１９は、撮像装置全体を制御する。制御部１１９は、例えば、ＣＰＵ、ＲＯＭ、ＲＡＭを有し、ＲＯＭに記憶された制御プログラムをＲＡＭに展開して実行することによって撮像装置の各部を制御する。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ
Ｕｎｉｔの略称である。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。また、ＲＡＭは、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。制御部１１９の制御によって、撮像装置が備える像振れ補正装置の機能が実現される。像振れ補正装置の構成については、図２を参照して後述する。

【0014】

また、制御部１１９は、映像信号の輝度情報と、予め定められたプログラム線図とに基づいて、適切な露光量を得るための絞り値及びシャッタスピードを決定するＡＥ処理を行う。ＳＷ１がオンとなると、制御部１１９は、映像信号処理部１１１が表示部１１２に出力する表示用の映像信号に基づいて、ＡＦ評価値を算出する。そして、制御部１１９は、ＡＦ評価値に基づいてフォーカス駆動部１０８を制御することにより、自動焦点調節を行う。また、操作部１１７に含まれるレリーズスイッチＳＷ２がオンされると、制御部１１９は、決定した絞り及びシャッタ速度で撮影を行い、撮像部１０９から読み出された電気信号を処理して得られた映像信号を記憶部１１８に記憶するように、各処理部を制御する。

【0015】

また、操作部１１７は、振れ補正モードのオン／オフを選択可能にする像振れ補正スイッチを有する。像振れ補正スイッチにより振れ補正モードがオンされると、制御部１１９が、像振れ補正制御を行う。具体的には、制御部１１９が、像振れ補正レンズ駆動部１０４に像振れ補正動作を指示し、これを受けた像振れ補正レンズ駆動部１０４は、像振れ補正動作オフの指示がなされるまで像振れ補正動作を行う。また、操作部１１７は、静止画撮影モードと動画撮影モードとのうちの一方を選択可能な撮影モード選択スイッチを有する。撮影モード選択スイッチの操作による撮影モードの選択を通じて、制御部１１９は、像振れ補正レンズ駆動部１０４の動作条件を変更することができる。

【0016】

また、操作部１１７は、再生モードを選択するための再生モード選択スイッチを有する。再生モード選択スイッチの操作によって再生モードが選択されると、制御部１１９は像振れ補正動作を停止させる。また、操作部１１７には、ズーム倍率変更の指示を行う倍率変更スイッチが含まれる。倍率変更スイッチの操作によって、ズーム倍率変更の指示がされると、制御部１１９を介して指示を受けたズーム駆動部１０２が、ズームレンズ１０１を駆動して、指示されたズーム位置にズームレンズ１０１を移動させる。

【0017】

図２は、本実施形態の像振れ補正装置の構成を示す図である。
角速度センサ２０１は、撮像装置に加わる振れを検出する。Ａ／Ｄ変換器２０２は、角速度センサ２０１の出力をデジタル信号に変換する。目標位置算出部２０３は、像振れ補正レンズ１０３の目標位置を算出する。位置検出センサ２１１は、像振れ補正レンズ１０３の位置を検出する。加減算器２０４は、目標位置算出部２０３の出力から位置検出センサ２１１の出力を減算する。制御フィルタ２０５は、加減算器２０４の出力に基づいて、像振れ補正レンズ１０３の位置が目標位置に追従するようにするフィードバック制御量（レンズ位置制御量）を演算する。加減算器２０６は、制御フィルタ２０５の出力に、第１フィードバックゲイン２０７の出力および第２フィードバックゲイン２１２の出力（動きベクトル制御量）を加算する。これにより、像振れ補正レンズ１０３の駆動に用いる制御量が得られる。加減算器２０６は、得られた制御量を像振れ補正レンズ駆動部１０４に出力する。

【0018】

撮像部１０９が出力する撮像画像は、撮像信号処理部１１０により処理され、第１動きベクトル検出部２１０と第２動きベクトル検出部２１５とに出力される。第１動きベクトル検出部２１０は、制御部１１９の制御により、撮像画像から第１の周期で第１の動きベクトルを検出（算出）する。第１動きベクトル処理部２０９は、第１動きベクトル検出部２１０の出力に所定の処理を行う。第２動きベクトル検出部２１５は、制御部１１９の制御により、撮像画像から第１の周期より長い第２の周期で第２の動きベクトルを検出（算出）する。第２動きベクトル処理部２１４は、第２動きベクトル検出部２１５の出力に所定の処理を行う。第１フィードバックゲイン部２０７は、第１の動きベクトルに所定のゲインを乗算して、フィードバック制御量を算出する。積分器２０８は、第１の動きベクトルを所定時間で積分（積算）する。これにより、所定時間（所定フレーム間）での移動量の予測値が算出される。加減算器２１３は、誤差算出手段として機能し、第２動きベクトル処理部２１４の出力と積分器２０８の出力との差分をとる。これにより、所定フレーム間での移動量の予測値の誤差量（移動量誤差量）が算出される。第２フィードバックゲイン２１２は、算出された移動量誤差量に所定のゲインを乗算することで、フィードバック制御量を算出する。なお、積分器２０８による積分時間（積算時間）と、第２動きベクトル検出部２１５による第２動きベクトルの算出周期は、撮影設定情報に応じて変更される。

【0019】

図３は、本実施形態における像振れ補正制御を説明するフローチャートである。また、図４は、動きベクトルの算出処理を説明するフローチャ−トである。
図３のフローチャートで示す像振れ補正制御は、所定のサンプリング周期で繰り返し実行される。また、図４のフローチャートで示す動きベクトル情報の算出処理は、画像のフレームレート周期で繰り返し実行される。

【0020】

図３のＳ１０１において、振れセンサとして機能する角速度センサ２０１が、手振れ等により撮像装置に加わる振れを検出する。検出された振れ情報は、電気信号に変換され、Ａ／Ｄ変換器２０２にてアナログ信号からデジタル信号に変換される。続いて、Ｓ１０２において、目標位置算出部２０３が、振れ情報に基づいて、振れにより生じる像振れを補正するための像振れ補正レンズ１０３の目標位置を演算する。

【0021】

次に、Ｓ１０３において、位置検出センサ２１１が像振れ補正レンズ１０３の位置を検出する。検出された位置情報は、Ａ／Ｄ変換器２１６によって、アナログ信号からデジタル信号に変換される。加減算器２０４が、像振れ補正レンズ１０３の目標位置情報からＡ／Ｄ変換器２１７から出力される像振れ補正レンズ１０３の位置情報を減算する。そして、Ｓ１０４において、制御フィルタ２０５が、加減算器２０４の出力に基づいて、レンズ位置制御量を演算する。

【0022】

また、振れセンサによる振れ情報の取得処理と並行して、図４のＳ２０１乃至Ｓ２０９において、動きベクトル情報の算出処理が実行される。動きベクトル情報の算出処理は、公知の方法により複数の画像の画素位置の差に基づいて行われるので、複数の画像を取得できるサンプリング時間に依存して実行される。動きベクトル情報の算出処理が、振れセンサによる振れの取得サンプリングとは異なるサンプリングで実行されてもよい。

【0023】

Ｓ２０１において、制御部１１９が、積分器２０８による第１の動きベクトルの積分時間の変更が指示されているか否かを判定する。第１の動きベクトルの積分時間の変更が指示されている場合は、処理がＳ２０２に進む。第１の動きベクトルの積分時間の変更が指示されていない場合は、処理がＳ２０３に進む。Ｓ２０２において、制御部１１９が、第１の動きベクトルの積分時間を変更して、処理がＳ２０３に進む。

【0024】

Ｓ２０３において、制御部１１９が、第２の動きベクトルの算出に用いるフレーム間隔の変更が指示されているかを判定する。第２の動きベクトルの算出に用いるフレーム間隔の変更が指示されている場合は、処理がＳ２０４に進む。第２の動きベクトルの算出に用いるフレーム間隔の変更が指示されていない場合は、処理がＳ２０５に進む。

【0025】

Ｓ２０４において、制御部１１９が、第２の動きベクトルの算出に用いるフレーム間隔を変更して、処理がＳ２０５に進む。Ｓ２０５において、制御部１１９が、画像を取得するタイミングとなったかを判定する。画像を取得するタイミングとなった場合は、処理がＳ２０６に進む。画像を取得するタイミングでない場合は、処理を終了する。

【0026】

Ｓ２０６において、撮像部１０９が、制御部１１９の指示にしたがって、被写体光を電気信号に変換し、撮像画像に係る信号を取得する。また、撮像信号処理部１１０が、撮像画像に係る信号をアナログログ信号からデジタル信号に変換して、所定の画像処理を行う。これにより、動きベクトル算出のための評価画像が生成される。

【0027】

Ｓ２０７において、第１動きベクトル検出部２１０および第１動きベクトル処理部２０９が、予め記憶されている１フレーム前の画像と現在フレームの画像とを比較し、画像のずれから第１の動きベクトルを算出する。動きベクトルの検出方法としては、公知の相関法やブロックマッチング法などが適用される。本発明において、動きベクトルの算出方法は公知のどのような手法を用いても構わない。

【0028】

次に、Ｓ５０４において、制御部１１９が、第２の動きベクトルの算出タイミングとなったかを判定する。第２の動きベクトルの算出タイミングでない場合は、処理を終了する。第２の動きベクトルの算出タイミングとなった場合は、処理がＳ２０９に進む。Ｓ２０９において、第２動きベクトル検出部２１５および第２動きベクトル処理部２１４が、第２の動きベクトルを算出する。

【0029】

図５は、第１の動きベクトルと第２の動きベクトルの算出タイミングを説明する例である。
図５において、平行四辺形で示している部分が、撮像部１０９によるデータ読み出しのタイミングを表している。また、図５では、Ｉｍｇ００〜Ｉｍｇ０４に示すフレーム画像の読み出しに対して、第１の動きベクトルの算出タイミングと、第２の動きベクトルの算出タイミングと、動きベクトルを算出する際の２フレームの画像の時間関係が示される。それぞれの動きベクトルの検出は、２つのフレーム画像のマッチング処理により行われる。本実施形態では、制御部１１９は、撮像画像から第１の周期で第１の動きベクトルを算出する第１の算出手段として機能する。また、制御部１１９は、撮像画像から第１の周期より長い第２の周期で第２の動きベクトルを算出する第２の算出手段として機能する。具体的には、制御部１１９は、第１の動きベクトルと第２の動きベクトルとで、異なる時間間隔のフレーム画像から動きベクトルの算出を行う。

【0030】

制御部１１９は、例えば、Ｉｍｇ００とＩｍｇ０１のように、時間的に連続したフレーム画像から第１の動きベクトルを算出する。一方、制御部１１９は、第２の動きベクトルを、Ｉｍｇ００とＩｍｇ０２のように、時間的に１フレーム分離れたフレーム画像から算出する。すなわち、制御部１１９は、第１の動きベクトルを算出する際のフレーム間隔より長いフレーム間隔で第２の動きベクトルを算出する。図５に示す動きベクトルの算出タイミングは一例である。第１の動きベクトルの積分（積算）が完了するタイミングが、第２の動きベクトルの算出タイミングに対応するように、動きベクトルを算出するフレームの時間間隔を設定すればよい。第２の動きベクトルが、例えば、Ｉｍｇ０１とＩｍｇ０４のように、２フレーム分離れたフレーム画像から算出されるようにしてもよい。

【0031】

図３の説明に戻る。Ｓ１０７において、制御部１１９が、第１の動きベクトルの算出が完了したか否かを判定する。第１の動きベクトルの算出が完了していない場合は、処理がＳ１１３に進み、前回の動きベクトル制御量が保持される。第１の動きベクトルの算出が完了した場合は、処理がＳ１０８及びＳ１１４に進む。すなわち、Ｓ１０８の処理とＳ１１４の処理が並列で実行される。

【0032】

Ｓ１０８において、制御部１１９が、第１の動きベクトルを所定時間で積分（積算）する。これにより、所定フレーム間の移動量の予測値が算出される。Ｓ１０８の処理と並行して、Ｓ１１４において、制御部１１９が、第１の動きベクトルに基づいて、所定の第１フィードバックゲインを積算する。これにより、第１の動きベクトルに基づくフィードバック制御量が算出される。Ｓ１１４の処理の後、処理がＳ１１２に進む。

【0033】

Ｓ１０９において、制御部１１９が、第２の動きベクトルの算出が完了したかを判定する。第２の動きベクトルの算出が完了していない場合は、処理がＳ１１４に進む。第２の動きベクトルの算出が完了した場合は、処理がＳ１１０に進む。Ｓ１１０において、制御部１１９が、Ｓ１０８において算出された所定フレーム間の移動量の予測値と、第２の動きベクトルから求まる所定フレーム間の移動量とを比較することで、所定フレーム間の移動量の予測値の誤差量（移動量誤差量）を算出する。Ｓ１１１において、制御部１１９が、Ｓ１０８において求めた積分値を０クリアする。続いて、Ｓ１１２において、Ｓ１１４において算出されたフィードバック制御量と、Ｓ１１０において算出された移動量誤差量に基づくフィードバック制御量とを加算して、動きベクトル制御量を算出する。Ｓ１０５において、制御部１１９が、Ｓ１０４において算出されたレンズ位置制御量に、Ｓ１１２において算出された動きベクトル制御量を加算する。これにより、像振れ補正レンズ１０３の駆動に用いる制御量が算出される。そして、制御部１１９が、Ｓ１１２において算出された制御量に基づいて、像振れ補正レンズ１０３を駆動することによって、像振れ補正を行う。

【0034】

図６は、移動量誤差量を算出する処理を説明する図である。
第１フィードバックゲイン２０７によるフィードバック制御量の算出には、画像の蓄積時間および読み出し時間、複数フレーム画像間のマッチング時間などの影響によって、実際の振れに対して、少なくとも１フィールドの時間遅れが発生する。像振れ補正装置は、光学的に像振れを補正する像振れ補正手段１０３を介してフィードバックループを形成しているので、時間遅れと制御周波数によっては、帰還制御系の不安定を生じ、発振に至ってしまう可能性がある。

【0035】

上記の時間遅れを改善するためには、第１の動きベクトルの算出に用いる画像の解像度（画像サイズ）を小さくすることが考えられる。しかし、画像サイズを小さくすると、画像情報の分解能が低下することで、第１の動きベクトルに検出誤差が生じる。したがって、誤差のある検出情報で像振れ補正レンズ１０３を駆動することで、低周波のドリフト誤差を生じてしまう。本実施形態では、図６を参照して説明する方法により、精度の良い像振れ補正を実現する。

【0036】

図６において、実線は、各画像フレーム間で算出した誤差のある第１の動きベクトルを示す。この実線を時間でつないだ（積分した）移動量が、実際の像振れ補正レンズ１０３の移動量となる。したがって、検出誤差の蓄積によって、ドリフト誤差が生じる。帰還制御系の安定性のため、動きベクトルのフィードバックは時間遅れなく行いたいが、ドリフト誤差が生じる問題が従来あった。そこで、本実施形態では、制御部１１９は、離散フレーム間での動きベクトルを第２の動きベクトルとして算出する。離散フレーム間は、時間的に連続したフレーム間ではなく、離散フレーム時間（ｎフレーム分の時間：ｎは１以上の整数）離れたフレーム間である。

【0037】

制御部１１９は、積分器２０８により、第１の動きベクトルを、上記離散フレーム時間で積分（積算）する。制御部１１９は、加減算器２１３により、第１の動きベクトルを積分して得られる所定フレーム間の移動量の予測値から第２の動きベクトルを減算して、ドリフト誤差に応じた移動量誤差量を算出する。そして、制御部１１９は、算出した移動量誤差量をレンズ位置制御量にフィードバックする。これにより、第１の動きベクトルのドリフト誤差による像振れ補正レンズ１０３の誤動作を防止することができる。

【0038】

図６の実線で示すフレーム０−１間移動量は、例えば、図５のＩｍｇ００とＩｍｇ０１との間で検出される動きベクトルに対応する移動量である。フレーム１−２間移動量は、例えば、図５のＩｍｇ０１とＩｍｇ０２との間で検出される動きベクトルに対応する移動量である。フレーム２−３間移動量は、例えば、図５のＩｍｇ０２とＩｍｇ０３との間で検出される動きベクトルに対応する移動量である。フレーム３−４間移動量は、例えば、図５のＩｍｇ０３とＩｍｇ０４との間で検出される動きベクトルに対応する移動量である。

【0039】

図６の実線で示す移動量は、所定フレーム間の移動量の予測値であり、本来の移動量＋ベクトル検出誤差による移動量が含まれる。一方、第２の動きベクトルは、第１の動きベクトルの積分時間（離散フレーム時間）と同じ時間間隔を持つフレーム間で直接算出される。図６の点線で示す移動量（フレーム０−２間移動量、フレーム２−４間移動量）は、第２の動きベクトルに対応する移動量である。フレーム０−２間移動量は、例えば、図５のＩｍｇ００とＩｍｇ０２との間での移動量である。フレーム２−４間移動量は、例えば、図５のＩｍｇ０２とＩｍｇ０４との間での移動量である。

【0040】

制御部１１９は、例えば、フレーム０−１間移動量とフレーム１−２間移動量を積算して得られる、移動量の予測値から、フレーム０−２間移動量を減算して、図６中のフレーム０−２間移動量誤差として示すドリフト誤差移動量を算出する。また、制御部１１９は、例えば、フレーム２−３間移動量とフレーム３−４間移動量とを積算して得られる、移動量の予測値から、フレーム２−４間移動量を減算して、図６中のフレーム２−４間移動量誤差として示す移動量誤差量を算出する。制御部１１９が、算出した移動量誤差量をレンズ位置制御量にフィードバックすることによって、像振れ補正レンズ１０３の駆動に用いる制御量を算出する。これにより、像振れ補正レンズ１０３のドリフトを低減させ振れ補正性能を向上させることができる。

【0041】

図７は、第１の動きベクトルの積分時間と、第２の動きベクトルを算出する際の離散フレーム時間の変更を説明する図である。
図７（Ａ）、（Ｂ）において、「積分時間」は、第１の動きベクトルの積分時間を示す。「第２の動きベクトル算出フレーム間隔」は、第２の動きベクトルを算出する際の離散フレーム時間を示す。

【0042】

図７（Ａ）は、フレームレートに応じた積分時間と離散フレーム時間の変更例を示す。制御部１１９は、撮像画像のフレームレートに応じて、第１の動きベクトルの積分時間と、第２の動きベクトルの算出に用いる離散フレーム時間を変更する。具体的には、図７（Ａ）に示すように、制御部１１９は、フレームレートの値が大きくなる（周期が速くなる）ほど、積分時間および離散フレーム時間を大きくする。フレームレートの値が大きくなることで、積分時間を長くしないと、移動量誤差量の評価時間が短くなり、精度良く移動量誤差量を算出できなくなるからである。

【0043】

図７（Ｂ）は、画像解像度に応じた積分時間と離散フレーム時間の変更例を示す。制御部１１９は、第１の動きベクトルの算出に使用する画像解像度に応じて、積分時間および離散フレーム時間を変更する。具体的には、制御部１１９は、第１の動きベクトルの算出に使用する画像解像度が高いほど、積分時間および離散フレーム時間を大きくする。画像解像度が高くなることで、第１の動きベクトルの検出誤差が小さくなって、移動量誤差量が小さくなる。したがって、制御部１１９は、積分時間と離散フレーム時間を大きくして、ドリフト補正の頻度を減らし、移動量誤差量の算出のための処理負荷を低減させる。以上説明したように、本実施例の像振れ補正装置によれば、撮影設定に伴って、積分時間および離散フレーム時間を変更することで、移動量誤差量の算出の際の処理負荷を低減させることができる。

【0044】

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【符号の説明】

【0045】

１０３ 像振れ補正レンズ
１１９ 制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】