特許 7408294 撮像装置、レンズ装置、撮像装置の制御方法およびレンズ装置の制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-12-22

(45)【発行日】2024-01-05

(54)【発明の名称】撮像装置、レンズ装置、撮像装置の制御方法およびレンズ装置の制御方法

(51)【国際特許分類】

   G03B 5/00 20210101AFI20231225BHJP

   G03B 17/14 20210101ALI20231225BHJP

   H04N 23/66 20230101ALI20231225BHJP

   H04N 23/68 20230101ALI20231225BHJP

【ＦＩ】

G03B5/00 H

G03B5/00 J

G03B5/00 K

G03B17/14

H04N23/66

H04N23/68

【請求項の数】 29

(21)【出願番号】P 2019070815

(22)【出願日】2019-04-02

(65)【公開番号】P2020170074

(43)【公開日】2020-10-15

【審査請求日】2022-03-31

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100208580

【弁理士】

【氏名又は名称】三好 玲奈

(72)【発明者】

【氏名】齊藤 光洋

(72)【発明者】

【氏名】恩田 賢

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】特開２０１８－０２５７０３（ＪＰ，Ａ）

【文献】特開２０１８－１０５９３８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ １７／１４

Ｈ０４Ｎ ２３／６６

Ｈ０４Ｎ ２３／６８

(57)【特許請求の範囲】

【請求項1】

レンズ装置が着脱可能な撮像装置であって、
複数の画像から動きベクトルを検出するベクトル検出部と、
撮像装置の振れ情報を検出する第１の振れ検出部と、
前記第１の振れ検出部で検出された第１の振れ情報に基づいて第１のブレ補正量を取得し、取得された前記第１のブレ補正量に基づいて画像のブレを補正する第１のブレ補正部と、
前記第１の振れ検出部で検出された前記第１の振れ情報に含まれる誤差を推定する誤差推定部と、
前記レンズ装置から前記レンズ装置が備える第２のブレ補正部のブレ補正量である第２のブレ補正量を受信する通信手段と、を備え、
前記誤差推定部は、前記ベクトル検出部で検出した動きベクトルと前記通信手段が受信した前記第２のブレ補正量に基づいて、前記第１の振れ検出部で検出された前記第１の振れ情報に含まれる誤差を推定し、
前記第１のブレ補正部は、前記誤差推定部による推定結果に基づいて前記第１のブレ補正量を取得することを特徴とする撮像装置。

【請求項2】

前記誤差推定部は、
前記動きベクトルと、前記通信手段が受信した前記第２のブレ補正量と、に基づいて第３の振れ情報を取得し、前記第３の振れ情報と前記第１の振れ検出部が検出した前記第１の振れ情報とに基づいて前記第１の振れ検出部で検出された前記第１の振れ情報に含まれる誤差を推定することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記誤差推定部は、前記動きベクトルに基づくブレの補正残り量と前記通信手段が受信した前記第２のブレ補正量との和に基づいて前記第３の振れ情報を取得することを特徴とする請求項２に記載の撮像装置。

【請求項4】

レンズ装置が着脱可能な撮像装置であって、
複数の画像から動きベクトルを検出するベクトル検出部と、
撮像装置の振れ情報を検出する第１の振れ検出部と、
前記第１の振れ検出部で検出された第１の振れ情報に基づいて第１のブレ補正量を取得し、取得された前記第１のブレ補正量に基づいて画像のブレを補正する第１のブレ補正部と、
前記第１の振れ情報に含まれる誤差を推定する誤差推定部と、
前記動きベクトルと前記第１のブレ補正量を前記レンズ装置に送信し、前記動きベクトルと前記第１のブレ補正量とに基づいて前記レンズ装置で取得された第３の振れ情報を前記レンズ装置から受信する通信手段と、を備え、
前記誤差推定部は、前記レンズ装置から受信した前記第３の振れ情報に基づいて前記第１の振れ検出部で検出された前記第１の振れ情報に含まれる誤差を推定し、
前記第１のブレ補正部は、前記誤差推定部による推定結果に基づいて前記第１のブレ補正量を取得することを特徴とする撮像装置。

【請求項5】

前記動きベクトルと、前記第１のブレ補正量に対して位相補償を行う位相補償部をさらに備え、
前記通信手段は、前記位相補償が行われた前記動きベクトルと前記第１のブレ補正量を前記レンズ装置に送信し、前記位相補償が行われた前記動きベクトルと前記第１のブレ補正量とに基づく第３の振れ情報を前記レンズ装置から受信することを特徴とする請求項４に記載の撮像装置。

【請求項6】

レンズ装置が着脱可能な撮像装置であって、
複数の画像から動きベクトルを検出するベクトル検出部と、
撮像装置の振れ情報を検出する第１の振れ検出部と、
前記第１の振れ検出部で検出された第１の振れ情報に基づいて第１のブレ補正量を取得し、取得された前記第１のブレ補正量に基づいて画像のブレを補正する第１のブレ補正部と、
前記動きベクトルと前記第１のブレ補正量とに基づいて第３の振れ情報を取得し、前記第３の振れ情報に基づいて前記第１の振れ情報に含まれる誤差を推定する誤差推定部と、
前記第３の振れ情報を前記レンズ装置へ送信する通信手段と、を備えることを特徴とする撮像装置。

【請求項7】

前記第３の振れ情報対して位相補償を行う位相補償部を備え、
前記通信手段は、前記位相補償が行われた前記第３の振れ情報を前記レンズ装置に送信することを特徴とする請求項６に記載の撮像装置。

【請求項8】

前記誤差推定部は、前記動きベクトルに基づくブレの補正残り量と前記第１のブレ補正量との和に基づいて前記第３の振れ情報を取得することを特徴とする請求項６または７に記載の撮像装置。

【請求項9】

撮像装置と前記撮像装置に着脱可能なレンズ装置とを備える撮像システムであって、
前記撮像装置は、
複数の画像から動きベクトルを検出するベクトル検出部と、
前記撮像装置の振れ情報を検出する第１の振れ検出部と、
前記第１の振れ検出部で検出された第１の振れ情報に基づいて第１のブレ補正量を取得し、取得された前記第１のブレ補正量に基づいて画像のブレを補正する第１のブレ補正部と、
前記レンズ装置と通信する第１の通信手段と、を備え、
前記レンズ装置は、
前記レンズ装置の振れ情報を検出する第２の振れ検出部と、
前記第２の振れ検出部で検出された第２の振れ情報に基づいて第２のブレ補正量を取得し、取得された前記第２のブレ補正量に基づいて画像のブレを補正する第２のブレ補正部と、
前記撮像装置と通信する第２の通信手段と、を備え、
撮像システムは、
前記第１のブレ補正量と前記第２のブレ補正量のいずれか一方と、前記動きベクトルとに基づいて前記撮像システムの振れ情報を取得し、前記撮像システムの振れ情報に基づいて前記第１の振れ情報に含まれる誤差と、前記第２の振れ情報に含まれる誤差とを推定する誤差推定部を備えることを特徴とする撮像システム。

【請求項10】

前記誤差推定部は、前記第２の振れ検出部と、前記第１の振れ検出部とのいずれに含まれる誤差を優先的に推定するかを設定する優先度を設定することを特徴とする請求項９に記載の撮像システム。

【請求項11】

前記誤差推定部は、前記第１の振れ検出部と前記第２の振れ検出部の検出精度に応じて前記優先度を設定することを特徴とする請求項１０に記載の撮像システム。

【請求項12】

前記誤差推定部は、前記検出精度が高い振れ検出部の前記優先度を高く設定することを特徴とする請求項１１に記載の撮像システム。

【請求項13】

前記誤差推定部は、振れ情報の誤差の大きい振れ検出部の前記優先度を高く設定することを特徴とする請求項１０に記載の撮像システム。

【請求項14】

前記誤差推定部は、振れ情報の誤差の偏差が大きい振れ検出部の前記優先度を高く設定することを特徴とする請求項１０に記載の撮像システム。

【請求項15】

前記誤差推定部は、前記第１のブレ補正部および前記第２のブレ補正部の補正性能に応じて、振れ検出部の前記優先度を設定することを特徴とする請求項１０に記載の撮像システム。

【請求項16】

前記誤差推定部は、補正する対象となるブレの周波数が低い前記ブレ補正部と対となる振れ検出部の前記優先度を高く設定することを特徴とする請求項１５に記載の撮像システム。

【請求項17】

前記誤差推定部は、前記第１の振れ検出部と前記第２の振れ検出部の誤差の推定を交互に行うことを特徴とする請求項１０乃至１６のいずれか１項に記載の撮像システム。

【請求項18】

撮像装置に着脱可能なレンズ装置であって、
前記レンズ装置の振れ情報を検出する第２の振れ検出部と、
前記第２の振れ検出部で検出された第２の振れ情報に基づいて第２のブレ補正量を取得し、取得された前記第２のブレ補正量に基づいて画像のブレを補正する第２のブレ補正部と、
前記第２の振れ検出部により検出される前記第２の振れ情報に含まれる誤差を推定する誤差推定部と、
前記撮像装置から前記撮像装置で取得された動きベクトル情報を受信する通信手段と、を備え、
前記誤差推定部は、前記通信手段が受信した前記動きベクトル情報と前記第２のブレ補正量に基づいて前記第２の振れ情報に含まれる誤差を推定し、
前記第２のブレ補正部は、前記誤差推定部による推定結果に基づいて前記第２のブレ補正量を取得することを特徴とするレンズ装置。

【請求項19】

前記誤差推定部は、前記通信手段が受信した前記動きベクトル情報と前記第２のブレ補正量とに基づいて第３の振れ情報を取得し、前記第３の振れ情報と前記第２の振れ情報とに基づいて前記第２の振れ情報に含まれる誤差を推定することを特徴とする請求項１８に記載のレンズ装置。

【請求項20】

前記誤差推定部は、前記動きベクトル情報に基づくブレの補正残り量と前記第２のブレ補正量との和に基づいて前記第３の振れ情報を取得することを特徴とする請求項１９に記載のレンズ装置。

【請求項21】

前記通信手段は、前記第３の振れ情報を前記撮像装置へ送信することを特徴とする請求項１９または２０に記載のレンズ装置。

【請求項22】

前記通信手段は、前記撮像装置から前記撮像装置が備える第１の振れ検出部により検出された第１の振れ情報を受信し、
前記誤差推定部は、前記第３の振れ情報と前記第１の振れ情報とに基づいて前記第１の振れ情報に含まれる誤差を推定し、当該推定結果を前記撮像装置へ送信することを特徴とする請求項１９または２０に記載のレンズ装置。

【請求項23】

撮像装置に着脱可能なレンズ装置であって、
前記レンズ装置の振れ情報を検出する第２の振れ検出部と、
前記第２の振れ検出部で検出された第２の振れ情報に基づいて第２のブレ補正量を取得し、取得された前記第２のブレ補正量に基づいて画像のブレを補正する第２のブレ補正部と、
前記第２の振れ情報に含まれる誤差を推定する誤差推定部と、
前記第２のブレ補正量を前記撮像装置に送信し、前記第２のブレ補正量と動きベクトル情報とに基づいて前記撮像装置で取得された第３の振れ情報を前記撮像装置から受信する通信手段と、を備え、
前記誤差推定部は、前記通信手段が受信した前記第３の振れ情報に基づいて前記第２の振れ情報に含まれる誤差を推定し、
前記第２のブレ補正部は、前記誤差推定部による推定結果に基づいて前記ブレ補正量を取得することを特徴とするレンズ装置。

【請求項24】

撮像装置に着脱可能なレンズ装置であって、
前記レンズ装置の振れ情報を検出する第２の振れ検出部と、
前記第２の振れ検出部で検出された第２の振れ情報に基づいて第２のブレ補正量を取得し、取得された前記第２のブレ補正量に基づいて画像のブレを補正する第２のブレ補正部と、
前記第２の振れ情報に含まれる誤差を推定する誤差推定部と、
前記撮像装置が備える第１の振れ補正部の補正量である第１のブレ補正量と、動きベクトル情報とを前記撮像装置から受信する通信手段と、を備え、
前記誤差推定部は、前記第１のブレ補正量と前記動きベクトル情報とに基づいて第３の振れ情報を取得し、前記第３の振れ情報に基づいて前記第２の振れ情報に含まれる誤差を推定し、
前記第２のブレ補正部は、前記誤差推定部による推定結果に基づいて前記第２のブレ補正量を取得することを特徴とするレンズ装置。

【請求項25】

レンズ装置が着脱可能な撮像装置であって、
複数の画像から動きベクトルを検出するベクトル検出部と、
撮像装置の振れ情報を検出する第１の振れ検出部と、
前記第１の振れ検出部で検出された第１の振れ情報に基づいて第１のブレ補正量を取得し、取得された前記第１のブレ補正量に基づいて画像のブレを補正する第１のブレ補正部と、
前記レンズ装置から前記レンズ装置の振れ情報である第２の振れ情報を受信する通信手段と、
前記通信手段により受信した前記第２の振れ情報に基づいて、前記第２の振れ情報に含まれる誤差を推定する誤差推定部と、を備え、
前記誤差推定部は、前記ベクトル検出部で検出した動きベクトルと前記第１の振れ情報に基づいて第３の振れ情報を取得し、前記第３の振れ情報と前記通信手段により受信した前記第２の振れ情報とに基づいて、前記第２の振れ情報に含まれる誤差を推定し、
前記通信手段は、前記誤差推定部による、前記第２の振れ情報に含まれる誤差の推定結果を前記レンズ装置に送信することを特徴とする撮像装置。

【請求項26】

レンズ装置が着脱可能な撮像装置の制御方法であって、
複数の画像から動きベクトルを検出するベクトル検出工程と、
撮像装置の振れ情報を検出する第１の振れ検出部により第１の振れ情報を検出する振れ検出工程と、
前記第１の振れ検出部で検出された前記第１の振れ情報に基づいて第１のブレ補正量を取得し、取得された前記第１のブレ補正量に基づいて画像のブレを補正するブレ補正工程と、
前記第１の振れ検出部で検出された前記第１の振れ情報に含まれる誤差を推定する誤差推定工程と、
前記レンズ装置から前記レンズ装置が備える第２のブレ補正部のブレ補正量である第２のブレ補正量を受信する通信工程と、を有し、
前記誤差推定工程は、前記ベクトル検出工程で検出した動きベクトルと前記通信工程において受信した前記第２のブレ補正量に基づいて、前記第１の振れ検出部で検出された前記第１の振れ情報に含まれる誤差を推定し、
前記ブレ補正工程において、前記誤差推定工程による推定結果に基づいて前記第１のブレ補正量を取得することを特徴とする制御方法。

【請求項27】

撮像装置に着脱可能なレンズ装置の制御方法であって、
レンズ装置の振れ情報を検出する第２の振れ検出部により第２の振れ情報を検出する振れ検出工程と、
前記第２の振れ検出部で検出された前記第２の振れ情報に基づいて第２のブレ補正量を取得し、取得された前記第２のブレ補正量に基づいて画像のブレを補正するブレ補正工程と、
前記第２の振れ検出部により検出される前記第２の振れ情報に含まれる誤差を推定する誤差推定工程と、
前記撮像装置から前記撮像装置で取得された動きベクトル情報を受信する通信工程と、を有し、
前記誤差推定工程は、前記通信工程において受信した前記動きベクトル情報と前記第２のブレ補正量に基づいて前記第２の振れ情報に含まれる誤差を推定し、
前記ブレ補正工程において、前記誤差推定工程による推定結果に基づいて前記第２のブレ補正量を取得することを特徴とする制御方法。

【請求項28】

レンズ装置が着脱可能な撮像装置の制御方法であって、
複数の画像から動きベクトルを検出するベクトル検出工程と、
撮像装置の振れ情報を検出する第１の振れ検出部により第１の振れ情報を検出する振れ検出工程と、
前記第１の振れ検出部で検出された前記第１の振れ情報に基づいて第１のブレ補正量を取得し、取得された前記第１のブレ補正量に基づいて画像のブレを補正するブレ補正工程と、
前記レンズ装置から前記レンズ装置の振れ情報である第２の振れ情報を受信する第１の通信工程と、
前記第１の通信工程において受信した前記第２の振れ情報に基づいて、前記第２の振れ情報に含まれる誤差を推定する誤差推定工程と、
前記誤差推定工程による前記第２の振れ情報に含まれる誤差の推定結果を前記レンズ装置に送信する第２の通信工程と、を有し、
前記誤差推定工程は、前記ベクトル検出工程で検出した動きベクトルと前記第１の振れ情報に基づいて第３の振れ情報を取得し、前記第３の振れ情報と前記第１の通信工程において受信した前記第２の振れ情報とに基づいて、前記第２の振れ情報に含まれる誤差を推定することを特徴とする制御方法。

【請求項29】

撮像装置と前記撮像装置に着脱可能なレンズ装置とを備える撮像システムの制御方法であって、
複数の画像から動きベクトルを検出するベクトル検出工程と、
前記撮像装置において、前記撮像装置の振れ情報を検出する第１の振れ検出工程と、
前記レンズ装置において、前記レンズ装置の振れ情報を検出する第２の振れ検出工程と、
前記第１の振れ検出工程で検出された第１の振れ情報に基づいて第１のブレ補正量を取得し、取得された前記第１のブレ補正量に基づいて画像のブレを補正する第１のブレ補正工程と、
前記第２の振れ検出工程で検出された第２の振れ情報に基づいて第２のブレ補正量を取得し、取得された前記第２のブレ補正量に基づいて画像のブレを補正する第２のブレ補正工程と、
前記第１のブレ補正量と前記第２のブレ補正量のいずれか一方と、前記動きベクトルとに基づいて前記撮像システムの振れ情報を取得し、前記撮像システムの振れ情報に基づいて前記第１の振れ情報に含まれる誤差と、前記第２の振れ情報に含まれる誤差とを推定する誤差推定工程と、を有することを特徴とする制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、レンズ装置、撮像装置の制御方法およびレンズ装置の制御方法に関する。

【背景技術】

【0002】

交換レンズ及びカメラ本体の双方でブレ補正部材を備えた撮像装置がある。双方のブレ補正機能を協調して制御することで、それぞれのブレ補正可能範囲を有効に活用することが期待されている。交換レンズ及びカメラ本体の双方で取得したジャイロセンサ情報を用いてそれぞれの補正部材を制御することで、良好にブレが補正された撮影画像を取得することが可能である。特許文献１は、撮影画像間から検出される動きベクトルを用いて算出したブレの補正残りと、ジャイロセンサから取得されたカメラの姿勢情報との差分を計算し、ジャイロセンサ情報のオフセット同定を行いジャイロセンサ情報の補正を行う技術を開示している。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－９２６１６号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１では、交換レンズ側とカメラ本体側の２つのジャイロセンサを用いた場合には、それぞれのジャイロセンサのオフセットを同定することができない。これは、２つのブレ補正部材と２つのジャイロセンサを用いた協調ブレ補正の場合には、画像から検出された動きベクトルを用いて算出されるブレの補正残り量に２つのジャイロセンサのオフセット成分が重畳しているためである。このように、複数のブレ補正部材と複数のブレ検出部を用いたブレ補正において、画像から算出されるブレの補正残り量には複数のブレ検出部材の誤差量が重畳しているため、それぞれのブレ補正部材の誤差量の推定の精度が低くなる。

【0005】

本発明は、複数の振れ検出部とブレ補正部を有する撮像装置において、像ブレ補正の精度を向上させる撮像装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するために、本発明の撮像装置は、レンズ装置が着脱可能な撮像装置であって、複数の画像から動きベクトルを検出するベクトル検出部と、撮像装置の振れ情報を検出する第１の振れ検出部と、前記第１の振れ検出部で検出された第１の振れ情報に基づいて第１のブレ補正量を取得し、取得された前記第１のブレ補正量に基づいて画像のブレを補正する第１のブレ補正部と、前記第１の振れ検出部で検出された前記第１の振れ情報に含まれる誤差を推定する誤差推定部と、前記レンズ装置から前記レンズ装置が備える第２のブレ補正部のブレ補正量である第２のブレ補正量を受信する通信手段と、を備える。前記誤差推定部は、前記ベクトル検出部で検出した動きベクトルと前記通信手段が受信した前記第２のブレ補正量に基づいて、前記第１の振れ検出部で検出された前記第１の振れ情報に含まれる誤差を推定し、前記第１のブレ補正部は、前記誤差推定部による推定結果に基づいて前記第１のブレ補正量を取得する。

【発明の効果】

【0007】

本発明によれば、複数の振れ検出部とブレ補正部を有する撮像装置において、像ブレ補正の精度を向上させる撮像装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】撮像装置の構成を示す図である。

【図2】第１及び第２のブレ補正部の構成を示す図である。

【図3】ブレ補正処理を示すフローチャートである。

【図4】動きベクトル検出処理を示すフローチャートである。

【図5】テンプレートマッチングの概要を説明する図である。

【図6】第１のブレ補正処理を示すフローチャートである。

【図7】ブレ補正量の算出を説明する図である。

【図8】誤差推定処理を示すフローチャートである。

【図9】誤差推定処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

（実施例１）
図１は、撮像システム１００の構成を示す図である。撮像システム１００は、例えばレンズ交換式の撮像装置本体（デジタルカメラ）と当該デジタルカメラに装着されたレンズ装置である。本実施例の撮像システム１００は、異なる２つの手段により像ブレの補正を行うことが可能である。撮像システム１００を構成する撮像装置は、カメラシステム制御部（以下、制御部と記す）１０１、メモリ１０２、撮像部１０４、現像処置部１０５、動きベクトル検出部（以下、ベクトル検出部と記す）１０６を備える。さらに、撮像システム１００は、第１のブレ補正部１０７、記録媒体１１０を備える。また、撮像システム１００を構成する撮像装置本体に装着されるレンズ装置は、光学系１０３と、第２のブレ補正部１０８とを備える。また、撮像装置本体とレンズ装置とのそれぞれは、ブレ補正情報信する通信手段を備えており、撮像装置本体の通信手段と、レンズ装置の通信手段とが、ブレ補正情報を通信するブレ補正情報通信部（以下、通信部と記す）１０９を構成する。
なお、本実施例では、像ブレを異なる２つの手段により補正する例について説明するが、像ブレを補正する手段は複数であればよく２つに限定されない。

【0010】

制御部１０１は、例えばＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）であり、撮像システム１００全体を制御する。制御部１０１は、撮影システム１００の各ブロックの動作プログラムをメモリ１０２より読み出し展開して実行することにより、各ブロックの動作を制御する。メモリ１０２は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を備える。ＲＯＭは書き換え可能な不揮発性メモリであり、撮影システム１００が備える各ブロックの動作プログラムに加え、各ブロックの動作に必要なパラメータ等を記憶する。ＲＡＭは、書き換え可能な揮発性メモリであり、撮影システム１００が備える各ブロックの動作において出力されたデータの一時的な記憶領域として用いられる。なお、制御部１０１は、レンズ装置が備えていてもよいし、撮像装置本体のＣＰＵとレンズ装置のＣＰＵとで協働することにより以下で説明する制御部１０１として機能してもよい。

【0011】

光学系１０３は、レンズ等で構成された撮像光学系であり、フォーカスレンズ、ズームレンズ、シフトレンズと、それらの駆動系を含んでいる。撮像部１０４は、光学系１０３により形成された被写体像を光電変換するの撮像素子を備える。撮像素子の例として、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサやＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等がある。本実施例において、撮像素子は搖動することが可能であり、撮像装置に生じているブレを打ち消す方向に搖動させることでブレ補正を行うことが出来る。現像処理部１０５は、撮像部１０４から出力される電気信号から画像信号を形成する。現像処理部１０５は、Ａ／Ｄ変換部、オートゲイン制御部（ＡＧＣ）、オートホワイトバランス部を含み、電気信号からデジタル信号を形成する。撮像部１０４及び現像処理部１０５により、画像の取得を行う撮像系が構成される。

【0012】

ベクトル検出部１０６は、現像処理部１０６から入力される画像やメモリ１０２に記憶保持されている画像を用いて、複数の画像間の任意の画素もしくは領域の移動量を動きベクトルとして検出する。第１のブレ補正部１０７及び第２のブレ補正部１０８は、像ブレの補正を行う。したがって、撮像システム１００は、異なる２つのブレ補正部によりブレの補正を行うことができる。第１のブレ補正部１０７及び第２のブレ補正部１０８の詳細な説明は、図２を用いて後述する。

【0013】

通信部１０９は、撮像装置本体が備える第１のブレ補正部１０７とレンズ装置が備える第２のブレ補正部１０８との間で、誤差量の推定に必要なブレ補正情報として、ブレの動きやブレを補正するための情報の送受信を行う。記録媒体１１０は、ブレ補正処理が施されたれた映像や、撮影時のパラメータ等を記憶保持しておくための記憶装置や記憶メディアである。

【0014】

本実施例における撮像システム１００の振れとは、撮像システム１００の位置及び姿勢の時間的な変動のことを表しており、そこには撮影者の意図的なカメラワークや手ブレの動き等も含まれている。なお、本実施例に記載された像ブレという用語は、振れや振れ等の物理的な振動自体を抑制することを意味するものではなく、振れや振れ等に伴う画像の像ブレを補正することを意味する。

【0015】

図２は、第１のブレ補正部１０７及び第２のブレ補正部１０８の構成を示す図である。上述のように、第１のブレ補正部１０７は撮像装置本体に、第２のブレ補正部１０８はレンズ装置に備えられている。第１のブレ補正部１０７は、第１のブレ検出部２０１、第１のブレ補正制御部２０２、第１の補正部材２０３、第１の誤差推定部２０７を備える。第１のブレ検出部２０１は、撮像システム１００に生じている振れを検出する。第１のブレ補正制御部２０２は、第１のブレ検出部２０１で検出された振れの情報を用いて、像ブレを補正するためのブレ補正量を算出する。そして、第１のブレ補正制御部２０２は、算出したブレ補正量を用いて、像ブレを抑制するように第１の補正部材２０３を搖動制御する。

【0016】

第１の誤差推定部２０７は、ベクトル検出部１０６で検出された動きベクトルから得られるブレ残り量と、検出されたブレ量にフィルタ処理を施すことで生成したブレ補正量から、ブレの真値との差分を計算することによりブレ補正の誤差量を推定する。ブレ補正処理を行う際の第１のブレ補正部１０７と第２のブレ補正部１０８との間での情報のやり取りは、通信部１０９を介して行われる。

【0017】

第２のブレ補正部１０８は、第２のブレ検出部２０４、第２のブレ補正制御部２０５、第２の補正部材２０６、第２の誤差推定部２０８を備える。第２のブレ補正部１０８の各部は、それぞれ、第１のブレ補正部１０７の各部と同様の役割を担っている。第１のブレ検出部２０１と第２のブレ検出部２０４は、同様の構成でもよいし、異なるものであっても良い。例えば、例えば、第１のブレ検出部２０１ではジャイロセンサを用いるのに対して第２のブレ補正部２０５では、第１のブレ検出部２０１と同じようにジャイロセンサを用いても良いし、加速度センサを用いて撮像システム１００の動きを検出しても良い。尚、第１のブレ検出部２０１も第２のブレ検出部２０４も、撮像システム１００の動きを検出するものである。しかしならが、２つのブレ検出部を区別するために、撮像装置本体に備えられた第１のブレ検出部を撮像装置の振れを検出する検出部、レンズ装置に備えられた第２のブレ検出部をレンズ装置の振れを検出する検出部とよぶことがある。

【0018】

第１の補正部材２０３と第２の補正部材２０６は、像ブレ補正の為の搖動制御の対象となる部材であり、それぞれ異なる部材である。本実施例では、一例として、第１の補正部材２０３を撮像装置１００の本体内に搭載されている搖動可能な撮像素子とし第２の補正部材２０６を光学系１０３のレンズに搭載されているブレ補正用の光学系（例えば、補正レンズであるシフトレンズ）とし、とする。ただし、これらの例は単なる事例の一つであり、ブレ補正の為の搖動制御の対象となる部材が、同一のものでなければ特に制限はない。また、像ブレ補正の方法も部材の搖動制御による光学的な補正に限られるものではなく、第１のブレ補正部１０７で実行するブレ補正は、画像に対して電子的に幾何変形処理を施す画像処理であってもよい。

【0019】

図３は、ブレ補正処理を示すフローチャートである。ステップＳ３０１において、ベクトル検出部１０６は、入力された２枚のフレーム画像間での動きベクトルを検出する。ベクトル検出部１０６は、検出した動きベクトルを、第１の誤差推定部２０７に出力する。ステップＳ３０１の詳細は、図４を用いて後述する。

【0020】

ステップＳ３０２において、第１のブレ補正部１０７は、ブレを補正するためのブレ補正処理（第１のブレ補正処理）を行う。具体的には、第１のブレ補正部１０７は、Ｓ３０１で検出されたフレーム画像間での動き量（動きベクトル）とＳ３０２でのブレ補正処理で用いられた補正量を用いて、第２のブレ補正部１０８で検出された撮像システムの振れ情報を補正するための情報を生成する。ステップＳ３０２の詳細は、図６を用いて後述する。ステップＳ３０３において、第２のブレ補正部１０８は、ブレを補正するためのブレ補正処理（第２のブレ補正処理）を行う。

【0021】

図４は、ステップＳ３０１で行われる、動きベクトル検出処理を示すフローチャートである。ステップＳ４０１において、撮像部１０４および現像処置部１０５は、画像を取得する。具体的には、まず、撮像部１０４が、光電変換を行い、光学系１０３によって形成された被写体像を被写体輝度に応じたアナログ信号として出力する。撮像部１０４からアナログ信号を取得した現像処理部１０５は、Ａ／Ｄ変換部によってアナログ信号をデジタル信号に変換する。さらに、現像処理部１０５は、デジタル信号に対してＡＧＣ及びＡＷＢによって信号レベル補正や白レベル補正を行い、画像信号を生成する。生成された画像は、ベクトル検出部１０６に出力される。

【0022】

ステップＳ４０２において、ベクトル検出部１０６は、入力された複数の画像間での動きベクトルの検出を行なう。本実施例では、ベクトル検出部１０６は、２枚の画像から動きベクトルの検出を行う。本実施例では、動きベクトル検出方法の一例としてテンプレートマッチングを用いた方法について説明する。

【0023】

図５は、テンプレートマッチングの概要を説明する図である。テンプレートマッチングでは、複数の画像として原画像と参照画像を用いて動きベクトルの検出を行う。図５（Ａ）は原画像、（Ｂ）は参照画像であり、これらの画像は光学系１０３を通して撮影された画像またはメモリ１０２に記憶保持された画像である。テンプレートブロック５０１は、原画像の任意の位置に配置されたテンプレートブロックである。

【0024】

テンプレートマッチングでは、テンプレートブロック５０１と参照画像の各領域との相関値を算出する。このとき、参照画像の全領域に対して相関値を算出するのでは演算量が膨大なものとなるため、サーチ範囲５０２に示すように参照画像上の相関値を算出する矩形領域をサーチ範囲として設定する。サーチ範囲５０２の位置や大きさについては特に制限はない。相関値対象ブロック５０３は、サーチ範囲５０２内においてテンプレートブロック５０１との相関値を算出する対象となる領域であり、テンプレートブロック５０１と同じ大きさである。

【0025】

本実施例では、相関値の算出方法の一例として差分絶対値和（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ、以下ＳＡＤと略す）を使用する。ＳＡＤの計算式を式１に示す。

【数1】

【0026】

式１において、ｆ（ｉ，ｊ）は、テンプレートブロック５０１内の座標（ｉ，ｊ）における輝度値を表す。ｇ（ｉ，ｊ）は、サーチ範囲５０２において相関値算出の対象となる相関値対象ブロック５０３内の各輝度値を表す。ＳＡＤでは、両ブロック内の各輝度値ｆ（ｉ，ｊ）及びｇ（ｉ，ｊ）について差の絶対値を計算し、その総和を求めることで相関値Ｓ＿ＳＡＤを得ることが出来る。したがって、相関値Ｓ＿ＳＡＤの値が小さいほど、テンプレートブロック５０１と相関値対象ブロック５０３間の輝度値の差分が小さい、つまりテンプレートブロック５０１と相関値対象ブロック５０３のテクスチャが類似していることを表している。なお、本実施例では、相関値の一例としてＳＡＤを使用しているが、これに限るものではなく、差分二乗和（ＳＳＤ）や正規化相互相関（ＮＣＣ）等の他の相関値を用いても良い。

【0027】

サーチ範囲５０２の全領域について、相関値対象ブロック５０３を移動させて、テンプレートブロック５０１との相関値を算出する。そして、テンプレートブロック５０１とサーチ範囲５０２との間の相関値が最も小さくなる位置を判定することにより、原画像上のテンプレートブロックが参照画像においてどの位置に移動したかが検出でき、画像間の動きベクトルを検出することが可能となる。以上のような動きベクトル検出処理を、入力されたフレーム画像間の複数の領域で行う。そして、検出された動きベクトルは、第１の誤差推定部２０７に伝送される。なお、本実施例ではベクトル検出の例として、テンプレートマッチングを用いた方法について説明したが、他にも勾配法を用いた方法や、特徴点抽出による対応点探索等の方法を用いても良い。

【0028】

次に、ブレ補正の処理について説明する。まず、図３のステップＳ３０２の第１のブレ補正の処理について説明する。図６は、ステップＳ３０２で行われる、第１のブレ補正処理を示すフローチャートである。第１のブレ補正処理では、第１のブレ補正部１０７において、第１の補正部材２０３を搖動させることで撮像装置のブレを補正する。ステップＳ６０１において、第１のブレ検出部２０１は、撮像装置１００の振れ情報を取得する。第１のブレ検出部２０１は、例えばジャイロセンサであり、振れ情報として、撮像装置１００のパン、チルト及びロール方向の振れ情報を取得する。なお、本実施例では振れ情報取得の手段としてジャイロセンサを挙げているが、特にこれに限られるものではなく、加速度センサ、磁気センサ等の撮像装置１００の振れ情報を得られるその他の手段を用いても良い。そして、第１のブレ検出部２０１は、取得した撮像装置の振れ情報を、第１のブレ補正制御部２０２へ伝送する。

【0029】

ステップＳ６０２において、第１のブレ補正制御部２０２は、撮像システム１００の振れ情報に基づいて、撮像システム１００に生じているブレを打ち消すように第１の補正部材２０３を搖動制御させるためのブレ補正量（ブレの補正量情報）を算出する。具体的には、第１のブレ補正制御部２０２は、ステップＳ６０１で取得した撮像システム１００の振れ情報に信号処理を施し、ブレ補正量を算出する。図７は、第１のブレ補正制御部２０２におけるブレ補正量の算出を説明する図である。

【0030】

第１のブレ補正制御部２０２は、ＨＰＦ（高域通過フィルタ、ハイパスフィルタ）７０１、誤差量減算部７０２、積分部７０３、カメラワーク判定部７０４、端処理判定部７０５を備える。ＨＰＦ７０１は、第１のブレ検出部２０１から取得した撮像システム１００の振れ情報、例えば角速度情報の周波数成分のうち、設定された低域カットオフ周波数以下の低周波成分を遮断し、低域カットオフ周波数を超える高周波成分を出力する。ここでの低域カットオフ周波数は、カメラワーク判定部７０４により決定される。

【0031】

誤差量減算部７０２は、ＨＰＦ７０１から出力される撮像システム１００の振れ情報に対して所定の誤差量を減算する処理を行う。誤差量の推定は、誤差推定部２０７において行われるが、その内容については後述する。積分部７０３は、誤差量減算部７０２から出力された誤差量減算後の撮像システム１００の振れ情報を積分し、積分された撮像システム１００の振れ情報をブレ補正量とする。そして、第１のブレ補正制御部２０２は、ブレ補正量に応じて第１の補正部材２０３を制御する。積分部７０３における積分の時定数は、カメラワーク判定部７０４により決定される。

【0032】

カメラワーク判定部７０４では、ＨＰＦ７０１または第１のブレ検出部２０１から出力された振れ情報と、積分部７０３から出力された振れ情報に基づいて、撮像システム１００の振れにカメラワークが含まれているかの判定を行う。カメラワークには、撮像システム１００に加えられるパンニングやチルティング等の撮影者の意図によるものが含まれる。また、カメラワーク判定部７０４は、カメラワーク制御として、ＨＰＦ７０１のカットオフ周波数の変更及び決定、積分部７０３の積分の時定数の変更及び決定を行う。

【0033】

端処理判定部７０５は、積分部７０３から出力されたブレ補正量に基づいて端処理の必要性を判定する。そして、端処理判定部７０５は、端処理の必要性に応じて、例えば、誤差量減算部７０２に対する誤差量変更の制御等を行う。ここで、端処理とはブレの補正量が補正部材の物理的な可動限界、もしくは補正の電気的な限界に達しているために、瞬間的にブレ補正の効果状態が変化して不自然な映像が生じるのを防ぐ処理である。端処理の一例としては、端が近付くと徐々に抑振率を下げるような処理が行われる。以上のようにして求められたブレ補正量は、第１のブレ補正部材２０３に伝送される。

【0034】

ステップＳ６０３において、第１のブレ補正制御部２０２は、Ｓ６０２で算出したブレ補正量に基づいて第１のブレ補正部材２０３を制御することで、撮像システム１００に生じている振れを補正する。第１のブレ補正部材２０３が光学系１０３に含まれる補正レンズの場合、第１のブレ補正部材２０３は、光軸に直交する面における補正レンズのシフトを制御する。

【0035】

なお、第１のブレ補正部材２０３が撮像部１０２の撮像素子である場合には、第１のブレ補正制御部２０２は、光軸に直交する面における撮像素子のシフトを制御する。また、第１のブレ補正部材２０３が画像の切り出しによる電子的な補正を行う画像処理回路である場合には、第１のブレ補正制御部２０２は、画像の読み出し範囲を制御する。第１のブレ補正部材２０３を制御するための情報が角度情報で、かつ、第１のブレ補正制御部２０２内でのブレ補正量が角度情報であった場合には、角度情報をそのまま制御情報として利用できる。一方、第１のブレ補正部材２０３を制御するための情報が平行移動量である場合で、第１のブレ補正制御部２０２でのブレ補正量が角度情報であった場合には、第１のブレ補正制御部２０２で角度情報に基づいて平行移動量を算出し、制御情報として利用する。例えば、撮像システム１００の位置姿勢変位情報を角度情報θ、焦点距離をｆとすると、ブレ補正量である移動量ｘは、下記の式２で表される。

【数2】

移動量ｘが撮像システム１００で制御可能な限界を超える場合には、第１のブレ補正制御部２０２は、補正可能範囲に補正量をクリッピングする。

【0036】

ステップＳ６０４において、誤差推定部２０７は、第１のブレ検出部２０１から検出される撮像システム１００の振れ情報に含まれている誤差量の推定を行う。ブレ補正部材を一つだけ備えた従来の撮像装置での誤差量の推定方法では、まず取得したブレ補正後のフレーム画像間から検出された動きベクトルを用いてブレの補正残りを算出する。次に、ジャイロセンサ等の手段により取得された撮像装置の振れ情報に対して、ブレ補正制御部２０２で説明した処理により得られるブレ補正量と、ブレの補正残りとの差分を計算する。これにより、ジャイロセンサの検出値に誤差量として含まれるオフセットの量を同定することが可能となり、オフセットの値を用いることでジャイロセンサの調整を行っている。

【0037】

しかしながら、本実施例のように２つのブレ検出手段と２つのブレ補正部材を有する撮像システム１００においてブレ補正を行うと、画像間の動きベクトルから算出されるブレの補正残り量には２つのブレ検出手段からそれぞれ生じた誤差量が重畳している。そのため、従来と同様の方法では、２つのブレ検出手段のそれぞれから生じている誤差量を切り分けることが出来ず、ブレ検出手段を調整することが出来ない。そこで本実施例では、２つのブレ補正部が協調して誤差量の推定を行うようにする。

【0038】

以下では説明のために、第１のブレ補正部１０７と第２のブレ補正部１０８とのブレ補正処理のうち、第１のブレ補正部１０７でのブレ補正処理について優先度を高いものとし、第２のブレ補正部１０８におけるブレ補正処理を相対的に優先度が低いものとして説明する。また、第１のブレ補正部１０８の第１のブレ検出部２０１が高性能なジャイロセンサであり、第２のブレ補正部１０９の第２のブレ検出部２０４が相対的に性能の低いジャイロセンサとする。なお、第１のブレ補正部１０７と第２のブレ補正部１０８とのブレ補正処理の優先度を入れ替えても構わない。

【0039】

２つのブレ補正部の協調による誤差量の推定の概要としては、まず第１のブレ補正部１０７で算出された撮像システム１００のブレ量をブレの真値として第２のブレ補正部１０８に送信する。この第１のブレ補正部１０７からの送信の際には、通信部１０９または第１の誤差推定部２０７においてブレの真値に対して通信等の処理に起因して生じた遅延による位相ずれの補償を行う。第２のブレ補正部１０８では、第１のブレ補正部１０７から受信したブレの真値を用いて第２のブレ補正部１０８のブレ検出手段の誤差量の推定を行う。そして、ブレの真値とそれぞれのブレ検出手段から検出された撮像システム１００の振れ情報の差が最小となる誤差量の推定を、第１のブレ補正部１０７及び第２のブレ補正部１０８のそれぞれのブレ検出手段に対して行う。

【0040】

図８および図９は、Ｓ６０４の誤差推定処理を示すフローチャートである。図８は、第１のブレ補正部１０７における誤差推定処理を示している。図９は、第２のブレ補正部１０８における誤差推定処理を示している。

【0041】

ステップＳ８０１において、第１の誤差推定部２０７は、ブレの真値の取得を行う。第１の誤差推定部２０７は、第１のブレ補正制御部２０２から算出されたブレ補正量と、動きベクトル検出部１０６においてブレ補正後のフレーム画像間から検出した動きベクトルを用いて算出したブレの補正残り量との和を計算する。この和の値が補正すべき対象として検出された撮像システム１００のブレの動きそのものであり、つまりはブレの真値であると言い換えることができる。ステップＳ８０１で算出されたブレの真値は、位相補償がなされた後に優先度の低い第２のブレ補正部１０８の第２の誤差推定部２０８に伝送される。

【0042】

ステップＳ８０２において、第１の誤差推定部２０７は、撮像システム１００の振れ情報の観測値を取得する。振れ情報の観測値は、誤差推定の対象となる第１のブレ検出部２０１から直接取得された撮像システム１００の振れ情報である。ステップＳ８０３において、第１の誤差推定部２０７は、ステップＳ８０１で算出した撮像システムのブレの真値と、ステップＳ８０２で取得したブレ量の観測値を用いてカルマンフィルタによる誤差推定処理を行う。

【0043】

ステップＳ８０４において、第１の誤差推定部２０７は、カルマンフィルタによる推定処理で更新された誤差量を、第１のブレ補正部１０７のブレ補正制御部２０１での誤差量減算処理に使用する。ステップＳ８０５において、第１の誤差推定部２０７は、推定された誤差値を用いて、第１のブレ補正部１０７と第２のブレ補正部１０８の優先度の更新判定を行い、以降の処理においてどちらのブレ補正部の誤差推定処理を優先するかを決定する。

【0044】

優先度の更新を判定する方法として、例えば、ステップＳ８０３の誤差量推定処理で算出された誤差量の偏差を用いる方法がある。誤差量の偏差の時間的な変動を観察し、その値が真値に近くなれば誤差量の算出と調整が正確に行われ、撮像システム１００の動き情報が安定的に検出できていることを意味するので、もう一方のブレ補正部の優先度を高くする。また、誤差量推定処理で算出された誤差が大きいブレ補正部の優先度を高くするようにしてもよい。

【0045】

また、ブレ検出部の検出精度に応じて優先度を設定してもよい。例えば、検出精度の高いブレ検出部を有するブレ補正部の優先度を高くしてもよいし、低周波における検出精度の低いブレ検出部を有するブレ補正部の優先度を高くしてもよい。また、ブレ補正部の補正性能に応じて優先度を設定してもよい。例えば、より低い周波数のブレを補正可能なブレ補正部の優先度を高く設定する。また、各ブレ補正部の誤差を交互に推定するようにしてもよい。

【0046】

ステップＳ８０６において、第１の誤差推定部２０７は、ステップＳ８０５で変更された優先度に応じて、誤差の補正対象となるブレ検出手段をもう一方のブレ補正部のブレ検出手段へと切り替える。以上のような補正対象の切り替えを繰り返し続けることにより、どちらのブレ検出部からも安定的かつ精度良く撮像システム１００の振れ情報を取得することが出来るようになる。

【0047】

本実施例では、誤差量の偏差に応じて誤差推定を行うブレ補正部の優先度の更新を行う方法について述べたが、優先度の更新方法はこれに限るものではなく、誤差量が一定値以下になったら優先度を更新する等の方法を用いるという方法もある。さらに、優先度の更新判定を行わずに予め定められた期間が経過するごとに自動的に優先度を切り替えるという方法もある。

【0048】

図６のステップＳ６０５において、第１の誤差推定部２０７または通信部１０９は、図８のステップＳ８０１で算出されたブレの真値に対して位相補償処理を行う。第１の誤差推定部２０７において算出されたブレの真値を第２の誤差推定部２０８に伝送する際、第１のブレ補正制御部２０２での処理やデータの通信によって生じる遅延のために第２のブレ補正制御部２０５で算出されたブレ補正量との間に位相差が生じている。そのため、第１の誤差推定部２０７で算出されたブレの真値に対して位相補償を行うことで、両者の位相のずれを補償する。位相補償の方法については特に制約はなく、高帯域のゲインを下げる等の一般的な手法を使用してよい。そして位相補償されたブレの真値は、通信部１０９を介して第２の誤差推定部２０８に伝送される。

【0049】

次に、図３のステップＳ３０３の第２のブレ補正の処理について説明する。ここでは、まず第２のブレ補正部１０８を構成する第２のブレ検出部２０４から得られる撮像システム１００の振れ情報を用いて、第２のブレ補正制御部２０５にてブレ補正量を算出する。次に、算出されたブレ補正量に基づいて第２のブレ補正部材２０６を駆動制御することで撮像システム１００のブレを補正する。そして、第２の誤差推定部２０８において第２のブレ検出手段から検出された撮像システム１００の振れ情報に含まれる誤差量を算出し、その値を用いてブレ検出手段の調整を行う。ここで、各構成要素における処理の内容は前述の第１のブレ補正部１０８のものと同様であるが、ブレの検出手段やブレ補正部材の種類に合わせた処理パラメータを用いて処理を行うことになる。

【0050】

ここで、第２の誤差推定部２０８による誤差推定処理について説明する。図９は、第２のブレ補正部１０８における誤差推定処理を示している。ステップＳ９０１において、第２の誤差推定部２０８は、ブレの真値として第１の誤差推定部２０７の処理ステップＳ８０１で算出されたブレの真値を取得する。これは、本実施例において第１のブレ検出部２０１のブレ検出精度の方が、第２のブレ検出部２０４のブレ検出精度より高いためである。第２の誤差推定部２０８において、第２のブレ補正制御部２０５から算出されたブレ補正量と、動きベクトル検出回路１０６においてフレーム画像間から検出した動きベクトルを用いて算出したブレの補正残り量との和を計算しブレの真値を得ることも可能である。しかし、性能の低いジャイロセンサを使用している場合には、ジャイロセンサの誤差やノイズ成分の影響が大きく、精度良くブレの真値を求めることが出来ない可能性がある。このような誤差が多く含まれているブレの真値を使用して以降の誤差推定処理を行っても、正しくない誤差値を算出してしまうためジャイロセンサの調整が精度良く出来なくなる。そこで、本実施例では、高性能なジャイロセンサを用いて算出された第１のブレ補正部１０７で算出されたブレの真値を使用することで、性能が低いジャイロセンサを使用している場合でも精度良くジャイロセンサの調整が出来るようにする。

【0051】

なお、第１のブレ補正部１０７は高性能なジャイロセンサを使用し、それに対して第２のブレ補正部１０８では相対的に性能の低いジャイロセンサを使用している場合について説明したが、これに限るものではない。例えば、第１のブレ補正部１０７では低周波のブレを補正し、第２のブレ補正部１０８では高周波のブレを補正するというような構成でもよい。この場合には、低周波のブレを補正する方を相対的に優先度の高いブレ補正部、高周波のブレを補正する方を相対的に優先度に低いブレ補正部とする。これは、低周波のブレを検出対象とした場合の方が、誤差としてオフセット成分が含まれやすくなるためであり、高周波側で生じる誤差よりもこのオフセット成分を補正する方がブレ補正性能向上への影響が大きいためである。その他にも、第１のブレ補正部１０７と第２のブレ補正部１０８においてブレ補正量や誤差量の推定性能に差異があれば、推定性能に応じて相対的な優先度を設定するようにしてもよい。また、ここで取得するブレの真値が、優先度の高いほうの補正部が備える振れ検出部により検出された振れ情報に基づいていれよい。よって、第１のブレ補正部１０７で取得されたブレの真値を取得する代わりに、第１のブレ検出部２０１で検出された振れ情報そのものや、当該振れ情報に基づいて取得されたブレ補正量と、動きベクトル情報とを取得し、第２の誤差推定部２０８がブレの真値を取得してもよい。

【0052】

ステップＳ９０２からステップＳ９０４については、図８のステップＳ８０２からＳ８０４と同様であるため、その説明を省略する。ただし、ステップＳ９０２で取得する観測値は、第２のブレ検出部２０４で検出した撮像システム１００の振れ情報であり、ステップＳ９０４で取得される誤差値は、第２のブレ補正部１０８で取得されるブレ補正量に含まれる誤差値である。それ以降の処理（ステップＳ８０５およびステップＳ８０６）については、第１の誤差推定部２０９にて実施するため第２のブレ補正部１０８では不要となる。以上のようにして第１のブレ補正部１０７、第２のブレ補正部１０８で取得されるブレ補正量に含まれる誤差が推定され、推定された誤差値を用いてブレ補正を行うことで、ブレ補正の制度を向上させることができる。また、以上のように生成されたブレ補正画像は、記憶媒体１１０に記憶される。

【0053】

以上説明したように、本実施例によると、複数のブレ検出手段及びブレ補正部材を有する撮像装置において、それぞれのブレ補正制御部が協調して誤差量の推定を行うことで、振れ情報に含まれる誤差量を精度良く調整することが出来る。これにより、ブレ補正量を高精度に算出することが可能となり、像ブレ補正性能の向上が実現できる。尚、本実施例では、優先度が高い第１のブレ補正部１０７を、撮像装置本体が備えるため、動きベクトル検出部１０６が第１の誤差推定部２０７へブレの補正残り量の情報を送信した。しかしながら、レンズ装置が備える第２のブレ補正部１０８のほうが優先度が高い場合は、動きベクトル検出部１０６は第２の誤差推定部２０８へブレの補正残りの量の情報を送信する。この場合、レンズ装置と撮像装置本体との間の通信を介すため、ブレの補正残り量の情報に対しても位相補償の処理を行うことが好ましい。位相補償の処理については、ブレの真値に対する処理と同様に特に制約はなく、従来の処理を採用することができる。位相補償処理されたブレの補正残りの量と、第２のブレ補正制御部２０５で取得されたブレ補正量との和により、ブレの真値を取得することができる。
また、本実施形態では、第１のブレ補正部１０７、第２のブレ補正部１０８のそれぞれが誤差推定部を備える構成について説明をしたが、どちらか一方のみが誤差推定部を備えていてもよい。一方のブレ検出部により検出された振れ情報と動きベクトルとに基づいてブレの真値を取得し、当該ブレの真値と誤差の推定対象の補正部が備える検出部により検出された振れ情報とを用いれば、上述の実施例と同様に２つの検出部の誤差を推定することができる。例えば、第１の誤差推定部２０７が、第１のブレ検出部２０１が検出した振れ情報と動きベクトルとに基づいてブレの真値を取得し、ブレの真値と第１のブレ検出部２０１が検出した振れ情報（観測値）に基づいて第１のブレ補正部１０７の補正誤差（検出誤差）を推定する。さらに、第１の誤差推定部２０７が、第１のブレ検出部２０１のブレ検出部２０１が検出した振れ情報と動きベクトルとに基づいてブレの真値を取得し、ブレの真値と第２のブレ検出部２０４が検出した振れ情報（観測値）に基づいて第２のブレ補正部１０８の補正誤差（検出誤差）を推定する。

【0054】

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0055】

以上、本発明の好ましい実施例について説明したが、本発明は、これらの実施例に限定されず、その要旨の範囲内で種々の変形および変更が可能である。

【符号の説明】

【0056】

１０７ 第１のブレ補正部
１０８ 第２のブレ補正部
２０１ 第１のブレ検出部
２０４ 第２のブレ検出部
２０７ 第１の誤差推定部
２０８ 第２の誤差推定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】