特許 7599855 撮像装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-06

(45)【発行日】2024-12-16

(54)【発明の名称】撮像装置およびその制御方法

(51)【国際特許分類】

   G03B 5/00 20210101AFI20241209BHJP

   G03B 17/14 20210101ALI20241209BHJP

   H04N 23/68 20230101ALI20241209BHJP

【ＦＩ】

G03B5/00 J

G03B5/00 K

G03B17/14

H04N23/68

【請求項の数】 12

(21)【出願番号】P 2020116218

(22)【出願日】2020-07-06

(65)【公開番号】P2022014068

(43)【公開日】2022-01-19

【審査請求日】2023-07-04

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】菅谷 知大

【審査官】▲うし▼田 真悟

(56)【参考文献】

【文献】特開２０１７－１５２９９６（ＪＰ，Ａ）

【文献】特開２０１７－２１９６３５（ＪＰ，Ａ）

【文献】特開２０１２－２４９０７１（ＪＰ，Ａ）

【文献】特開２００９－２６０６７１（ＪＰ，Ａ）

【文献】特開２０１１－２１７３１１（ＪＰ，Ａ）

【文献】特開２０１４－１２８０１６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０３Ｂ ５／００

Ｈ０４Ｎ ２３／６８

(57)【特許請求の範囲】

【請求項1】

振動に対して第１の振れ補正を行う交換レンズの着脱が可能な撮像装置であって、
前記振動に対して第２の振れ補正を行う補正手段と、
撮像により得られた画像における複数の領域の動きベクトルを検出するベクトル検出手段と、
前記複数の領域の動きベクトルから代表ベクトルを決定する代表決定手段と、
前記代表ベクトルに応じて前記第２の振れ補正を制御する制御手段とを有し、
前記代表決定手段は、
前記撮像装置の振れの角度と前記第１および第２の振れ補正の双方による振れ補正に占める前記第２の振れ補正の分担割合とに基づいて取得された第２の補正量に基づいて前記代表ベクトルを決定することを特徴とする撮像装置。

【請求項2】

前記代表決定手段は、前記第２の補正量を含む所定範囲内に値がある動きベクトル又は前記第２の補正量に対する差分が所定値以下の値の動きベクトルのうち、検出数が最も多い動きベクトルを前記代表ベクトルに決定することを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記制御手段は、前記所定範囲内に値がある又は前記差分が前記所定値以下の値の動きベクトルがない場合は、前記第２の補正量を用いて前記第２の振れ補正を制御することを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記第１の振れ補正では、光学素子を移動させ、
前記第２の振れ補正では、前記画像からの切り出し位置を移動させることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。

【請求項5】

前記第１の振れ補正では、光学素子を移動させ、
前記第２の振れ補正では、被写体像を撮像する撮像素子を移動させることを特徴とする請求項１から３のいずれか一項に記載の撮像装置。

【請求項6】

前記交換レンズは、前記第１の振れ補正と前記第２の振れ補正との分担割合と、前記角度とに基づいて前記第１の振れ補正の補正量である第１の補正量と前記第２の補正量を取得し、
前記代表決定手段は、前記第２の補正量を前記交換レンズから取得することを特徴とする請求項１から５のいずれか一項に記載の撮像装置。

【請求項7】

前記角度を検出する検出手段と、
前記検出手段により検出された角度と、前記分担割合とに基づいて前記第１の振れ補正の補正量である第１の補正量と前記第２の補正量を取得する取得手段と、をさらに有し、
前記代表決定手段は、前記第２の補正量を前記取得手段から取得することを特徴とする請求項１から５のいずれか一項に記載の撮像装置。

【請求項8】

交換レンズが着脱可能な撮像装置であって、
前記交換レンズから振れ補正の補正量を取得する取得手段と、
撮像により得られた画像における複数の領域の動きベクトルを検出するベクトル検出手段と、
前記複数の領域の動きベクトルの中に前記補正量との差分が所定値以下である動きベクトルがある場合は、前記所定値以下である動きベクトルに基づいて前記振れ補正を制御し、前記複数の領域の動きベクトルの中に前記補正量との差分が前記所定値以下である動きベクトルがない場合は、前記補正量に基づいて前記振れ補正を制御する制御手段とを有することを特徴とする撮像装置。

【請求項9】

振動に対して第１の振れ補正を行う交換レンズの着脱が可能であり、前記振動に対して第２の振れ補正を行う撮像装置の制御方法であって、
撮像により得られた画像における複数の領域の動きベクトルを検出するステップと、
前記複数の領域の動きベクトルから代表ベクトルを決定するステップと、
前記代表ベクトルに応じて前記第２の振れ補正を制御するステップとを有し、
前記代表ベクトルを決定するステップにおいて、
前記撮像装置の振れの角度と前記第１および第２の振れ補正の双方による振れ補正に占める前記第２の振れ補正の分担割合とに基づいて取得された第２の補正量に基づいて前記代表ベクトルを決定することを特徴とする撮像装置の制御方法。

【請求項10】

交換レンズが着脱可能な撮像装置の制御方法であって、
前記交換レンズから振れ補正の補正量を取得するステップと、
撮像により得られた画像における複数の領域の動きベクトルを検出するステップと、
前記複数の領域の動きベクトルの中に前記補正量との差分が所定値以下である動きベクトルがある場合は、前記所定値以下である動きベクトルに基づいて前記振れ補正を制御し、前記複数の領域の動きベクトルの中に前記補正量との差分が前記所定値以下である動きベクトルがない場合は、前記補正量に基づいて前記振れ補正を制御するステップとを有することを特徴とする撮像装置の制御方法。

【請求項11】

振動に対して第１の振れ補正を行う交換レンズの着脱が可能であり、前記振動に対して第２の振れ補正を行う撮像装置のコンピュータに、請求項９に記載の制御方法に従う処理を実行させることを特徴とするコンピュータプログラム。

【請求項12】

交換レンズが着脱可能な撮像装置のコンピュータに、請求項１０に記載の制御方法に従う処理を実行させることを特徴とするコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、像振れを低減（補正）する機能を備えた撮像装置に関する。

【背景技術】

【0002】

デジタルスチルカメラやビデオカメラ等の撮像システム（以下、カメラシステムという）には、手振れ等のカメラ振れに起因する像振れを補正する振れ補正機能を備えているものがある。レンズ交換型カメラシステムには、交換レンズ内で補正レンズを移動させる光学振れ補正を行うとともに、カメラ内で撮像素子により得られる画像データからの切り出し範囲を移動させる電子振れ補正を行うものがある。

【0003】

特許文献１には、交換レンズに設けられた振れセンサにより検出されたカメラ振れ量に基づいて交換レンズ側での光学振れ補正とカメラ側での電子振れ補正の分担割合を制御するカメラシステムが開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１７－２１９６３５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１のカメラシステムでは、温度要因による振れセンサの検出誤差や補正レンズの駆動のカメラ振れに対する追従遅れ等によって補正しきれない像振れ（像振れ残り）をさらに補正するという構成を有していない。

【0006】

本発明は、交換レンズ側とカメラ側のそれぞれで振れ補正を行う場合に良好な振れ補正効果が得られるようにする。

【課題を解決するための手段】

【0007】

本発明の一側面としての撮像装置は、振動に対して第１の振れ補正を行う交換レンズの着脱が可能である。該撮像装置は、上記振動に対して第２の振れ補正を行う補正手段と、撮像により得られた画像における複数の領域の動きベクトルを検出するベクトル検出手段と、複数の領域の動きベクトルから代表ベクトルを決定する代表決定手段と、代表ベクトルに応じて第２の振れ補正を制御する制御手段とを有する。代表決定手段は、撮像装置の振れの角度と第１および第２の振れ補正の双方による振れ補正に占める前記第２の振れ補正の分担割合とに基づいて取得された第２の補正量に基づいて代表ベクトルを決定することを特徴とする。
また、本発明の他の一側面としての撮像装置は、交換レンズが着脱可能な撮像装置であって、前記交換レンズから振れ補正の補正量を取得する取得手段と、撮像により得られた画像における複数の領域の動きベクトルを検出するベクトル検出手段と、前記複数の領域の動きベクトルの中に前記補正量との差分が所定値以下である動きベクトルがある場合は、前記所定値以下である動きベクトルに基づいて前記振れ補正を制御し、前記複数の領域の動きベクトルの中に前記補正量との差分が前記所定値以下である動きベクトルがない場合は、前記補正量に基づいて前記振れ補正を制御する制御手段とを有することを特徴とする。

【0008】

また本発明の他の一側面としての制御方法は、振動に対して第１の振れ補正を行う交換レンズの着脱が可能であり、上記振動に対して第２の振れ補正を行う撮像装置に適用される。該制御方法は、撮像により得られた画像における複数の領域の動きベクトルを検出するステップと、複数の領域の動きベクトルから代表ベクトルを決定するステップと、代表ベクトルに応じて第２の振れ補正を制御するステップとを有する。代表ベクトルを決定するステップにおいて、撮像装置の振れの角度と第１および第２の振れ補正の双方による振れ補正に占める第２の振れ補正の分担割合とに基づいて取得された第２の補正量に基づいて代表ベクトルを決定することを特徴とする。
また本発明の他の一側面としての制御方法は、交換レンズが着脱可能な撮像装置に適用される。該制御方法は、交換レンズから振れ補正の補正量を取得するステップと、撮像により得られた画像における複数の領域の動きベクトルを検出するステップと、複数領域の動きベクトルの中に補正量との差分が所定値以下である動きベクトルがある場合は、所定値以下である動きベクトルに基づいて振れ補正を制御し、複数領域の動きベクトルの中に補正量との差分が所定値以下である動きベクトルがない場合は、補正量に基づいて振れ補正を制御するステップとを有する。
なお、撮像装置のコンピュータに上記制御方法に従う処理を実行させるコンピュータプログラムも本発明の他の一側面を構成する。

【発明の効果】

【0009】

本発明によれば、交換レンズ側で第１の振れ補正を行うとともに撮像装置側で第２の振れ補正を行う場合に、良好な振れ補正効果を得ることができる。

【図面の簡単な説明】

【0010】

【図1】本発明の実施例であるカメラシステムの構成を示すブロック図。

【図2】実施例における非振れ補正時での被写体とカメラシステムとの関係を示す図。

【図3】実施例における非振れ補正時での撮像画像と動きベクトルとの関係を示す図。

【図4】実施例における振れ補正時での被写体とカメラシステムとの関係を示す図。

【図5】実施例における振れ補正時でのカメラシステムと動きベクトルとの関係を示す図。

【図6】実施例における非振れ補正時と振れ補正時の被写体像の移動量を示す図。

【図7】実施例における代表ベクトルの判定方法を示すヒストグラム図。

【図8】実施例における代表ベクトル決定処理を示すフローチャート。

【発明を実施するための形態】

【0011】

以下、本発明の実施例について図面を参照しながら説明する。

【0012】

図１は、本発明の実施例であるレンズ交換型カメラシステムの構成を示す。カメラシステムは、デジタルスチルカメラやビデオカメラ等の撮像装置（以下、カメラという）１２０と、該カメラ１２０に着脱可能な交換レンズ（以下、単にレンズという）１００とにより構成されている。本実施例では、カメラシステムに手振れ等の振動（以下、カメラ振れという）が生じた際に、レンズ１００において後述する補正レンズ（光学素子）１１０を移動させて光学的に像振れを低減（補正）する第１の振れ補正としての光学振れ補正を行うとともに、カメラ１２０において後述する撮像素子１２１により得られる画像データ（フレーム画像）から切り出す範囲を移動させて電子的に像振れを補正する第２の振れ補正としての電子振れ補正を行う。

【0013】

レンズ１００において、振れ検出部１０１は、手振れ等の振動（以下、カメラ振れという）を検出する振れセンサであり、本実施例ではカメラ振れの角速度に応じた電圧値を出力する角速度センサである。Ａ／Ｄ変換器１０２は、振れ検出部１０１から出力される電圧値をデジタルデータ（角速度データ）に変換し、信号処理部１０３に出力する。信号処理部１０３は、角速度データから振れ補正量を生成する信号処理を行う。信号処理には、角速度データに重畳するＤＣ成分の除去を行うＨＰＦや、角速度から角度変換するための積分フィルタ、カメラのパンニングおよびチルティングによる振れ成分を角速度データから除去するためのＨＰＦのカットオフ周波数変更処理が含まれる。これらの信号処理により角度単位に換算されたデータは、分割部１０４に出力される。

【0014】

分割部１０４は、レンズ１００側での光学振れ補正とカメラ１２０側での電子振れ補正との分担割合（以下、補正分担割合という）を決定し、決定した補正分担割合に応じたレンズ１００側での光学振れ補正による振れ補正量（第１の補正量：以下、光学補正量という）とカメラ１２０側での電子振れ補正による振れ補正量（第２の補正量：以下、電子補正量という）を設定する。補正分担割合は、レンズ１００側において補正レンズ１１０の移動により補正が可能な最大像振れ量（以下、最大光学補正量という）とカメラ１２０側において電子振れ補正により補正が可能な最大像振れ量（以下、最大電子補正量という）との割合に基づいて決定される。

【0015】

具体的には、カメラ１２０内の電子振れ補正リミッタ１２８は、予め保持している最大電子補正量をカメラ通信処理部１２７とレンズ通信処理部１１３を介して分割部１０４に送信する。分割部１０４は、予め保持している最大光学補正量と受信した最大電子補正量とから補正分担割合を決定し、該補正分担割合に応じた光学補正量と電子補正量を算出（取得）する。光学補正量は光学振れ補正と電子振れ補正の双方による振れ補正に占める光学振れ補正の分担割合に基づいて算出され、電子補正量は上記双方による振れ補正に占める電子振れ補正の分担割合に基づいて算出される。

【0016】

例えば、最大光学補正量（１ｄｅｇ）と最大電子補正量（３ｄｅｇ）との割合が１：３である場合には補正分担割合を１：３とし、カメラ振れ量が２ｄｅｇであるときには光学補正量を０．５ｄｅｇ、電子補正量を１．５ｄｅｇに設定する。分割部１０４により設定された光学補正量は制御フィルタ１０５に出力され、光学補正量は画素単位換算部１１２に出力される。

【0017】

光学振れ補正において、不図示の撮像光学系に含まれる補正レンズ１１０は、撮像光学系の光軸に直交する方向に移動して（光軸上の点を中心として回動する場合も含む）像振れを補正する。補正レンズ１１０の駆動には、補正レンズ１１０の位置を検出し、該検出位置と光学補正量に対応する目標位置との偏差量を０に近づけるようにフィードバック制御が行われる。制御フィルタ１０５には、分割部１０４から出力される光学補正量と補正レンズ１１０の検出位置との差分である偏差量が入力される。

【0018】

制御フィルタ１０５は、入力された信号を所定のゲインで増幅する増幅器と位相補償フィルタとにより構成されている。制御フィルタ１０５は、信号として入力された偏差量に増幅および位相補償を行ってモータ制御データを生成してこれをパルス幅変調部１０６に出力する。パルス幅変調部１０６は、入力されたモータ制御データを、パルス波のデューティ比を変化させる波形であるＰＷＭ波形に変換してモータドライバ１０７に出力する。

【0019】

モータドライバ１０７は、入力されたＰＷＭ波形に基づいてモータ１０８に駆動電圧を印加する。モータ１０８は、ボイスコイル型モータであり、モータドライバ１０７から電圧がコイルに印加されることにより補正レンズ１１０を光軸に直交する方向に移動させる駆動力を発生させる。

【0020】

補正レンズ１１０が移動した結果、カメラ振れによって生じた撮像素子（撮像面）１２１上での被写体像の並進方向の振れが補正される。補正レンズ１１０の位置は、位置検出部１０９によって検出される。位置検出部１０９は、例えば、磁石とそれに対向する位置に備えられた磁気センサ（ホールセンサ）により構成され、補正レンズ１１０の移動に応じて変化する電圧を出力する。Ａ／Ｄ変換器１１１は、位置検出部１０９からの出力電圧をデジタルデータに変換する。デジタル化された補正レンズ１１０の検出位置と前述した目標位置との偏差量は、偏差量データとして制御フィルタ１０５に入力される。このようにして、補正レンズ１１０の駆動を制御するフィードバック制御系が構成される。

【0021】

一方、電子振れ補正における電子補正量は、画像データからの切り出し範囲の位置（以下、画像切り出し位置という）を示す画素単位の量である。画素単位換算部１１２は、分割部１０４からの電子補正量（単位は角度）を画素単位の値に変換する。具体的には、撮像光学系の焦点距離をｆ、電子補正量をｘ（ｄｅｇ）、撮像素子１２１における画素間の距離（画素ピッチ）をｇ（μｍ）とするとは、電子補正量を画素単位に換算した値ｐは、ｐ＝ｆ×ｔａｎ（ｘ）／ｇで表される。ただし、焦点距離ｆに対してｘが微小である場合は、ｆ×ｔａｎ（ｘ）をｆ×ｘとみなすことができ、ｐをｐ＝ｆｘ／ｇで表すことができる。

【0022】

なお、画素単位換算部１１２は、撮像光学系から焦点距離ｆの情報を取得し、カメラ１２０から撮像素子１２１の画素ピッチの情報を取得する。

【0023】

レンズ通信処理部１１３は、カメラ１２０（カメラ通信処理部１２７）から情報送信要求を受けて、対応する情報をカメラ１２０に送信する。画素単位変換部１２１からの電子補正量（画素単位）は、レンズ通信処理部１１３を介してカメラ１２０に供給される。

【0024】

カメラ１２０において、レンズ１００の撮像光学系を通過した光は、ＣＣＤセンサやＣＭＯＳセンサ等を用いた撮像素子１２１にて受光されて光電変換される。撮像素子１２１から出力される撮像信号は、ＡＧＣ（Automatic Gain Control）処理等のアナログ信号処理がなされた後に、Ａ／Ｄ変換によってデジタル信号に変換される。デジタル撮像信号にガンマ補正やホワイトバランス処理等のデジタル信号処理が行われことにより、画像データが生成される。画像データは、ＮＴＳＣフォーマットに準拠した映像信号（動画像）に変換されて画像メモリ１２２に格納される。

【0025】

動きベクトル検出部（ベクトル検出手段）１２３は、撮像により得られた動画像における現在のフレーム画像（またはフィールド画像）と１つ前のフレーム画像に含まれる輝度信号に基づいて動きベクトルを検出する。動きベクトルの検出方法は、公知のブロックマッチング法等を用いる。ブロックマッチング法は、フレーム画像を複数のブロックに分割し、１つ前のフレーム画像と現在のフレーム画像との類似箇所をブロック単位で検出する方法である。１つ前のフレーム画像内において、現在のフレーム画像内の特定ブロックとの相関値が最も大きいブロックを類似ブロックとし、特定ブロックの位置と類似ブロックの位置との変位量を１フレーム間における動き情報、すなわち動きベクトルとして検出する。動きベクトル検出部１２３は、このような動きベクトルの検出を複数のブロックのそれぞれについて行う。なお、動きベクトルを、ブロックマッチング法以外の方法で検出してもよい。

【0026】

代表ベクトル検出部（代表決定手段）１２５は、レンズ１００から取得した電子補正量を用いて、動きベクトル検出部１２３で検出した複数のブロックの動きベクトルから代表ベクトルを決定する。本実施例における代表ベクトルは、複数のブロックで検出された動きベクトルのうち、電子振れ補正における画像切り出し位置を決定するために使用される動きベクトルである。

【0027】

動画像中の背景領域の動きベクトルはカメラ振れに起因するものであり、背景領域の動きベクトルに基づいて電子振れ補正を行うことで動画像におけるフレーム間で発生する像振れを補正することができる。このため、本実施例では、背景領域の動きベクトルを代表ベクトルとして算出する。代表ベクトル検出部１２５での処理については後に詳しく説明する。

【0028】

画像変形量算出部（制御手段）１２９は、代表ベクトル検出部１２５で決定された代表ベクトルの値に基づいて、画像切り出し位置を決定する。すなわち、電子振れ補正を制御する。例えば、カメラ振れによって上方向３画素分の像振れが発生する場合には、代表ベクトル検出部１２５により上方向３画素に相当する動きベクトルが代表ベクトルとして決定される。画像変形量算出部１２９は、画像切り出し位置を下方向３画素分だけ移動させる。これにより、上述した上方向３画素分の被写体像の位置ずれを吸収して像振れを補正することができる。なお、カメラ振れによって左方向または右方向に像振れが生じる場合は、画像切り出し位置を反対方向に移動させることで、像振れを補正することができる。

【0029】

なお、電子振れ補正リミッタ１２８から最大電子補正量を取得し、決定した画像切り出し位置への移動量が最大電子補正量を超えた場合は、最大電子補正量にて画像切り出し位置の移動量をリミットする。

【0030】

画像変形部（補正手段）１２４は、画像変形量算出部１２９によって決定された画像切り出し位置に応じて、フレーム画像から出力画像を切り出す。画像変形部１２４によって切り出された出力画像は、半導体メモリやハードディスク等の記録媒体１２６に保存されたり、液晶素子等の表示デバイスに表示されたりする。

【0031】

なお、光軸回りの回転方向にカメラ振れが生じたときに発生する回転像振れを電子振れ補正によって補正してもよい。

【0032】

次に、動きベクトルの検出方法と代表ベクトルの決定方法を、図２（Ａ）、（Ｂ）および図３（Ａ）～（Ｃ）を用いて説明する。図２（Ａ）、（Ｂ）および図３（Ａ）～（Ｃ）は、振れ補正が行われずに撮像が行われる場合を示している。ここでは、実際の撮像において水平方向のカメラ振れが発生する場合について説明するが、上下方向のカメラ振れが発生する場合についても同様である。

【0033】

図２（Ａ）は、手振れによるカメラ振れ量を固定周波数の正弦波で示し、振れ角度をθで示している。図２（Ｂ）は、移動被写体である人と、背景である建造物と、カメラシステムとの位置関係を示している。図２（Ａ）における振れ角度θのプラス方向およびマイナス方向はそれぞれ、図２（Ｂ）において中心から右方向へのカメラ振れおよび左方向へのカメラ振れを示す。また図２（Ｂ）では、人が図２（Ａ）にも示す時刻Ｔ０からＴ１にかけて右方向に移動している状態を示している。時刻Ｔ０におけるカメラシステムの中心からのカメラ振れ量は０とする。

【0034】

図３（Ａ）は、図２（Ａ）、（Ｂ）の時刻Ｔ０とＴ１のそれぞれでの撮像により得られたフレーム画像を示している。図３（Ｂ）は、図３（Ａ）に示す２つのフレーム画像から算出された動きベクトルを示している。動きベクトル検出には、先に説明したブロックマッチング法を用いており、符号Ｂ０１～Ｂ０９はそれぞれ９つのブロックを示している。なお、ブロックの数は９つ以外であってもよい。Ｖ０１～Ｖ０９はブロックごとに動きベクトル検出部１２３から出力される動きベクトルを示している。移動する人に対して検出された動きベクトルをＶａで示し、建造物に対して検出された動きベクトルをＶｂで示している。動きベクトルの方向は、時刻Ｔ０における特定ブロックから時刻Ｔ１における類似ブロックに向かう方向である。

【0035】

動きベクトルＶ０１、Ｖ０２、Ｖ０５、Ｖ０８については検出不可のため、動きベクトルを示す矢印は記載されていない。例えば、被写体のコントラストが低い場合や被写体が繰り返しパターンである場合等では、時刻Ｔ０とＴ１における特定ブロックと類似ブロックの対応付けが難しいために動きベクトルを検出することができない。動きベクトルを検出できない場合に、検出エラーを通知してもよい。

【0036】

図３（Ｃ）は、検出された動きベクトルから生成したヒストグラムを示している。横軸は動きベクトルの値を示し、縦軸は同一の動きベクトルの検出数を示している。図３（Ｂ）に示す通り、動きベクトルＶａは２つのブロックで検出され、動きベクトルＶｂは３つのブロックで検出されているため、動きベクトルＶａの検出数は２、動きベクトルＶｂの検出数は３となっている。

【0037】

このヒストグラムにおいて、検出数が最も大きい動きベクトルを代表ベクトルに決定する方法がある。これは、一般的な撮像により得られる画像において人等の移動被写体が占める領域の割合よりも背景が占める領域の割合の方が大きい場合が多いことから、検出数が大きい動きベクトルが背景に対して検出されるものと推測することができるためである。ただし、検出数が最大の動きベクトルを代表ベクトルに決定する方法では、背景領域よりも移動被写体領域が大きい場合に代表ベクトルを移動被写体領域の動きベクトルに誤決定されるおそれがある。

【0038】

このため、本実施例では、以下に説明する方法で代表ベクトルを決定する。ここでは、例として画像における移動被写体領域と背景領域とが互いに同等の大きさである場合であって、さらに前述したようにレンズ１００とカメラ１２０とで振れ補正を分担する場合における代表ベクトルの決定方法について、図４（Ａ）、（Ｂ）および図５（Ａ）～（Ｃ）を用いて説明する。図４（Ａ）、（Ｂ）は図２（Ａ）、（Ｂ）に対応する図であり、図５（Ａ）～（Ｃ）は図３（Ａ）～（Ｃ）に対応する図である。図４（Ａ）、（Ｂ）および図５（Ａ）～（Ｃ）は、レンズ１００での光学振れ補正が行われて撮像が行われる場合を示している。

【0039】

図４（Ａ）は、図２（Ａ）にも示した手振れによるカメラ振れ量を実線で示し、補正レンズ１１０による光学補正量（角度）を点線で示している。点線は、最大光学補正量と最大電子補正量とが互いに同じであり、分割部１０４によりカメラ振れ量に対する光学振れ補正と電子振れ補正の補正分担割合をθ／２ずつに決定された場合の光学補正量を示している。

【0040】

図４（Ｂ）は、図２（Ｂ）と同様に、移動被写体（人）と、背景（建造物）と、カメラシステムとの位置関係を示している。図４（Ｂ）では、前述したように背景領域と移動被写体領域とが同等の大きさとなるように、移動被写体は図２（Ｂ）に示した位置関係よりもカメラシステムに近い位置で移動している。

【0041】

図５（Ａ）は、図４（Ａ）、（Ｂ）の時刻Ｔ０とＴ１のそれぞれでの撮像により得られたフレーム画像を示している。これらのフレーム画像において、背景領域と移動被写体領域とが同等の大きさである。光学振れ補正が行われたことにより、撮像素子１２１上に形成される被写体像の振れ量はθ／２に抑えられ、結果としてフレーム画像上での建造物の移動量が小さくなっている。

【0042】

図５（Ｂ）は、図３（Ｂ）と同様に、図５（Ａ）に示す２つのフレーム画像から算出された９つのブロックＢ０１～Ｂ０９の動きベクトルを示している。動きベクトルＶ０１、Ｖ０４、Ｖ０７は移動被写体に対して検出された動きベクトルＶｃとなっており、動きベクトルＶ０３、Ｖ０６、Ｖ０９は背景に対して検出された動きベクトルＶｄとなっている。

【0043】

図５（Ｃ）は、図３（Ｃ）と同様に、検出された動きベクトルから生成したヒストグラムを示している。図３（Ａ）～（Ｃ）に示した場合に比べてフレーム画像における移動被写体が占める割合が大きいことにより、動きベクトルＶｃの検出数が３となっており、動きベクトルＶｄの検出数と同じとなっている。この場合、検出数が最大の動きベクトルを代表ベクトルに決定する方法では、代表ベクトルを１つに決定することができない。また、動きベクトルＶｃの検出数が動きベクトルＶｄの検出数を上回るような場合には、代表ベクトルを誤決定することになる。仮に誤決定された代表ベクトルに基づいて画像切り出し位置を変化させた場合には、撮像画角が被写体の移動に伴って変化するような動画像が得られることになる。

【0044】

なお、従来において、移動被写体に対する動きベクトルが最大検出数となる撮像シーンにおいて代表ベクトルの誤決定を回避する方法は様々提案されている。例えば、過去の動きベクトルの傾向から背景領域の動きベクトルを推定する方法や、画像内の特徴量から被写体である人物や動物を推定して背景領域の動きベクトルを特定する方法等が提案されている。本実施例ではそれらの従来の方法は使用しないが、以下に説明する本実施例の方法と従来の方法を併用して代表ベクトルの誤決定を回避してもよい。

【0045】

本実施例では、レンズ１１０から取得する電子補正量を用いて代表ベクトルを算出する方法について説明する。まず、補正レンズ１１０による光学補正量とフレーム画像間における被写体の移動量との関係を、図６（Ａ）～（Ｃ）を用いて説明する。図６（Ａ）～（Ｃ）は実際の撮像において上側から見たカメラシステム（補正レンズ１１０と撮像素子１２１）を示しており、各図における上下方向での傾きは実際の撮像における水平方向での傾きを示している。例えば、図６（Ｂ）ではカメラシステムが図中の下方向に角度θだけ傾いているが、これは図４（Ｂ）におけるマイナス方向の傾きと同じである。また、図６（Ａ）、（Ｂ）および（Ｃ）はそれぞれ、左側にカメラシステムと被写体との関係を示し、右側に撮像により得られるフレーム画像を示している。被写体は移動しない。

【0046】

図６（Ａ）は、カメラシステムのカメラ振れ量が０の状態を示しており、先に説明した時刻Ｔ０の状態に相当する。この状態からカメラシステムに角度θのカメラ振れが加わると、図６（Ｂ）に示すようにフレーム画像内、つまりは撮像素子１２１上で被写体像が移動量ｄだけ移動した状態となる。撮像素子１２１上での被写体像の移動量ｄは、撮像光学系の焦点距離をｆとするとき、ｄ＝ｆ×ｔａｎθで表される。

【0047】

図６（Ｃ）は、カメラシステムに角度θのカメラ振れが生じたときに補正レンズ１１０による光学振れ補正が行われた状態を示している。前述したように光学振れ補正の補正分担割合はθ／２であるため、撮像素子１２１上での被写体像の移動量ｄ′＝ｆ×ｔａｎ（θ／２）が発生する。この移動量ｄ′に相当する被写体像の動きは、フレーム画像間の動きベクトルとして検出される。すなわち、レンズ１００からカメラ１２０に送信される電子補正量とフレーム画像間で検出される動きベクトルとは対応付けることができる。

【0048】

以上の説明に基づいて、代表ベクトル検出部１２５にて、移動被写体に対して検出された動きベクトルＶｃではなく、背景に対して検出された動きベクトルＶｄを代表ベクトルとして決定する方法を、図７を用いて説明する。図７は、図５（Ｃ）と同じ動きベクトルＶｃ、Ｖｄの検出数（それぞれ３）を示すヒストグラムである。

【0049】

ここで、図６（Ｃ）を用いて説明したように、カメラシステムに角度θのカメラ振れが加わって補正レンズ１１０によりθ／２の角度分の像振れが補正されると、レンズ１００の画素単位換算部１１２から出力される電子振れ補正の補正分担割合は、被写体像の移動量ｄ′と撮像素子１２１の画素ピッチｇを用いて、ｄ′／ｇで表される。以下の説明において、ｄ′／ｇを電子補正量Ｅという。電子補正量Ｅの単位は、画素数である。

【0050】

電子補正量Ｅを図７のヒストグラム上に示すと、電子補正量Ｅは動きベクトルＶｄ付近の値となる。これは、以下の理由による。電子補正量Ｅは、光学振れ補正によって補正されない像振れ成分に相当し、撮像素子１２１上での被写体像の移動量として現れて動きベクトルとして検出される。撮像素子１２１上での被写体像の移動はカメラ振れのみが要因であるため、検出された動きベクトルは背景の動きベクトルと同等とみなすことができ、Ｅ≒Ｖｄが成立する。

【0051】

このように電子補正量Ｅとほぼ同じ値の動きベクトルの中から最大検出数の動きベクトルを代表ベクトルとして決定することで、移動被写体の影響を受けずに背景の動きベクトルを特定することができる。

【0052】

なお、図７に示すように、電子補正量Ｅを含む所定範囲Ｅ±ｔｈ内に値が含まれる動きベクトルから代表ベクトルを決定することが好ましい。言い換えれば、電子補正量Ｅに対する差分が所定値ｔｈ以下の値の動きベクトルから代表ベクトルを決定することが好ましい。補正レンズ１１０による光学振れ補正のカメラ振れに対する追従性能による振れ補正残りや振れ検出部１０１による検出誤差を考慮して、分割部１０４で決めた電子補正量Ｅ以上の動きベクトルが検出される可能性があるため、±ｔｈを設けている。ｔｈは所定画素数である。これにより、電子補正量Ｅよりも検出された動きベクトルが所定画素数以下の数画素だけ大きい場合でも、代表ベクトル検出部１２５にてその検出した動きベクトルが代表ベクトルの候補から外れることがなくなる。

【0053】

図８のフローチャートは、代表ベクトル検出部１２５が代表ベクトルを決定する処理を示している。動きベクトル検出部１２３、画像変形量算出部１２９および画像変形部１２４等とともにコンピュータにより構成される代表ベクトル検出部１２５は、コンピュータプログラムに従って本処理を実行する。本処理の実行周期は、動画像のフレームレート周期に同期している。これにより、代表ベクトルの決定処理の実行タイミングは、フレーム画像内の全ブロックにおける動きベクトルの検出が完了した後となる。

【0054】

まずステップＳ１００では、代表ベクトル検出部１２５は、カメラ通信処理部１２７を介してレンズ１００から電子補正量Ｅを取得する。

【0055】

次にステップＳ１０１では、代表ベクトル検出部１２５は、電子補正量Ｅが０か否かを判定する。電子補正量Ｅが０となる場合は、レンズ１００において振れ検出部１０１が検出したカメラ振れ量が０である場合や、ユーザがカメラシステムの振れ補正機能を意図的にオフにした場合である。電子補正量Ｅが０の場合は、代表ベクトル検出部１２５はステップＳ１０７に進んで代表ベクトルの値を０に設定し、その後ステップＳ１０８に進む。電子補正量Ｅが０でない場合は、代表ベクトル検出部１２５はステップＳ１０２に進む。

【0056】

ステップＳ１０２では、代表ベクトル検出部１２５は、フレーム画像間の全ブロックの動きベクトルを取得する。

【0057】

次にステップＳ１０３では、代表ベクトル検出部１２５は、取得した全ブロックの動きベクトルから図７に示したような動きベクトルの検出数のヒストグラムを生成する。
次にステップＳ１０４では、代表ベクトル検出部１２５は、生成されたヒストグラムにおいて、電子補正量Ｅ±ｔｈの範囲内に値がある動きベクトルが存在するか否かを判定する。そのような動きベクトルが存在する場合は、代表ベクトル検出部１２５はステップＳ１０５に進み、そのような動きベクトルが存在しない場合はステップＳ１０６に進む。

【0058】

ステップＳ１０５では、代表ベクトル検出部１２５は、電子補正量Ｅ±ｔｈの範囲内に値がある動きベクトルのうち検出数が最大のものの値を代表ベクトルの値に決定する。そしてステップＳ１０８に進む。

【0059】

ステップＳ１０６では、代表ベクトル検出部１２５は、代表ベクトルの値を電子補正量Ｅに設定する。Ｅ±ｔｈの範囲内に値がある動きベクトルが検出されない場合は、低コントラストにより動きベクトルが検出できない場合や、フレーム画像の全体に移動被写体が撮像されている場合等である。このような場合は、動きベクトルが検出されても信頼性がないため、レンズ１００から取得した電子補正量Ｅに基づいて画像切り出し位置を設定した方が精度良く電子振れ補正を行うことができる。このため、ステップＳ１０６では、電子補正量Ｅを代表ベクトルの値として用いる。この後、ステップＳ１０８に進む。

【0060】

ステップＳ１０８では、代表ベクトル検出部１２５は、ステップＳ１０５、Ｓ１０６またはＳ１０７にて決定した代表ベクトルの値を画像変形量算出部１２９に出力する。これにより、画像変形部１２４による電子振れ補正が代表ベクトルに応じて制御される。この後、代表ベクトル検出部１２５は本処理を終了する。

【0061】

以上説明したように、本実施例では、レンズ１００とカメラ１２０とが協調して光学振れ補正と電子振れ補正を行うカメラシステムにおいて、レンズ１００にて算出された電子補正量をそのまま使用して電子振れ補正を行う場合に比べて、光学振れ補正による振れ補正残りも含めた像振れを電子振れ補正により補正することができる。これにより、カメラシステム全体としての振れ補正効果を高めることができる。

【0062】

なお、上記実施例では、レンズ１００に振れ検出部１０１、分割部１０４および画素単位換算部１１２を設ける場合について説明したが、これらをカメラに設けてもよい。カメラに分割部と画素単位換算部を設けた場合、カメラは、レンズから最大光学補正量の情報を取得し、分割部（取得手段）において最大光学補正量と最大電子補正量から補正分担割合を決定して光学補正量と電子補正量を算出（取得）し、光学補正量をレンズ１００に送信して光学振れ補正を行わせる。この構成においても、上記実施例と同様に、カメラが補正分担割合から算出した電子補正量を用いて代表ベクトルを決定する。

【0063】

また、上記実施例では、カメラ１２０において画像切り出し位置を移動させる電子振れ補正を行う場合について説明したが、撮像素子を光軸に直交する方向に移動させて光学的に振れ補正を行ってもよい。この場合、代表ベクトルに応じて撮像素子の移動量を設定すればよい。各フレームに対応する代表ベクトルを蓄積し、その推移から対応するフレームの代表ベクトルを予測してもよいし、画像を取得するための露光中に動きベクトルを取得できるセンサを用いてもよい。

【0064】

また、１フレームずつの画像切り出し位置を移動させる電子振れ補正だけでなく、振れ量に応じて画像切り出し位置を変更した複数の画像を合成して１フレーム分の画像を生成する電子手振れ補正を行ってもよい。この場合も、代表ベクトルに応じて画像切り出し位置の移動量を設定すればよい。また、撮像素子の移動により振れ補正が行われた複数の画像を合成して１フレーム分の画像を生成する手振れ補正を行ってもよい。
（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0065】

以上説明した各実施例は代表的な例にすぎず、本発明の実施に際しては、各実施例に対して種々の変形や変更が可能である。

【符号の説明】

【0066】

１００ 交換レンズ
１０１ 振れ検出部
１０４ 分割部
１１０ 補正レンズ
１１２ 画素単位換算部
１２０ 撮像装置（カメラ）
１２１ 撮像素子
１２３ 動きベクトル検出部
１２４ 画像変形部
１２５ 代表ベクトル検出部
１２９ 画像変形量算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】