IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特許7579088像ブレ補正装置及び撮像装置、それらの制御方法、プログラム、記憶媒体
<>
  • 特許-像ブレ補正装置及び撮像装置、それらの制御方法、プログラム、記憶媒体 図1
  • 特許-像ブレ補正装置及び撮像装置、それらの制御方法、プログラム、記憶媒体 図2
  • 特許-像ブレ補正装置及び撮像装置、それらの制御方法、プログラム、記憶媒体 図3
  • 特許-像ブレ補正装置及び撮像装置、それらの制御方法、プログラム、記憶媒体 図4
  • 特許-像ブレ補正装置及び撮像装置、それらの制御方法、プログラム、記憶媒体 図5
  • 特許-像ブレ補正装置及び撮像装置、それらの制御方法、プログラム、記憶媒体 図6
  • 特許-像ブレ補正装置及び撮像装置、それらの制御方法、プログラム、記憶媒体 図7
  • 特許-像ブレ補正装置及び撮像装置、それらの制御方法、プログラム、記憶媒体 図8
  • 特許-像ブレ補正装置及び撮像装置、それらの制御方法、プログラム、記憶媒体 図9
  • 特許-像ブレ補正装置及び撮像装置、それらの制御方法、プログラム、記憶媒体 図10
  • 特許-像ブレ補正装置及び撮像装置、それらの制御方法、プログラム、記憶媒体 図11
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-29
(45)【発行日】2024-11-07
(54)【発明の名称】像ブレ補正装置及び撮像装置、それらの制御方法、プログラム、記憶媒体
(51)【国際特許分類】
   G03B 5/00 20210101AFI20241030BHJP
   H04N 23/68 20230101ALI20241030BHJP
【FI】
G03B5/00 K
G03B5/00 J
H04N23/68
【請求項の数】 20
(21)【出願番号】P 2020147675
(22)【出願日】2020-09-02
(65)【公開番号】P2022042305
(43)【公開日】2022-03-14
【審査請求日】2023-08-31
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】110003281
【氏名又は名称】弁理士法人大塚国際特許事務所
(72)【発明者】
【氏名】平間 智大
【審査官】藏田 敦之
(56)【参考文献】
【文献】特開2019-152888(JP,A)
【文献】特開2017-219635(JP,A)
【文献】特開2017-169074(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G03B 5/00 - 5/06
H04N 23/68
(57)【特許請求の範囲】
【請求項1】
振れを検出する複数の振れ検出手段からの振れ情報を取得する取得手段と、
前記取得手段により取得された、第1の振れ検出手段からの振れ情報に基づいて、連続する複数の画像のうちの一部の画像のそれぞれに対応する像ブレ補正量を算出する第1の像ブレ補正量算出手段と、前記取得手段により取得された、第2の振れ検出手段からの振れ情報に基づいて、第1の像ブレ補正量算出手段と異なる方法により前記連続する複数の画像のうちの一部の画像のそれぞれに対応する像ブレ補正量を算出する第2の像ブレ補正量算出手段と、を含む複数の像ブレ補正量算出手段と、
前記複数の像ブレ補正量算出手段の少なくともいずれかにより、撮像された連続する複数の画像のそれぞれに対応して前記像ブレ補正量が得られ、且つ、前記複数の像ブレ補正量算出手段のうち、第1の像ブレ補正量算出手段により像ブレ補正量を算出する画像と、第2の像ブレ補正量算出手段により像ブレ補正量を算出する画像とが周期的に生じるように前記複数の像ブレ補正量算出手段を制御する制御手段と、
を備え
前記制御手段は、前記連続する複数の画像が撮影される第1の周期が所定値よりも短い場合、前記複数の像ブレ補正量算出手段の少なくともいずれかにより撮像された連続する複数の画像のそれぞれに対応して前記像ブレ補正量が算出されるように前記複数の像ブレ補正量算出手段を制御することを特徴とする像ブレ補正装置。
【請求項2】
前記取得手段は、前記第1の振れ検出手段からの振れ情報を、通信により取得することを特徴とする請求項1に記載の像ブレ補正装置。
【請求項3】
前記複数の像ブレ補正量算出手段により算出された像ブレ補正量に基づいて、撮像された画像の像ブレの補正を制御する像ブレ補正制御手段をさらに備えることを特徴とする請求項1または2に記載の像ブレ補正装置。
【請求項4】
前記像ブレ補正制御手段は、前記撮像された連続する複数の画像の像ブレを電子的に補正する電子像ブレ補正を制御することを特徴とする請求項3に記載の像ブレ補正装置。
【請求項5】
前記像ブレ補正制御手段は、前記撮像された画像の像ブレを光学的に補正する補正手段をさらに制御することを特徴とする請求項4に記載の像ブレ補正装置。
【請求項6】
前記第2の振れ検出手段は、前記撮像された連続する複数の画像の差分から振れを検出する差分振れ検出手段であることを特徴とする請求項1乃至5のいずれか1項に記載の像ブレ補正装置。
【請求項7】
前記第2の振れ検出手段は、少なくとも前記第1の像ブレ補正量算出手段により像ブレ補正量が対応して得られない画像に基づいて前記差分を取得することを特徴とする請求項6に記載の像ブレ補正装置。
【請求項8】
前記取得手段は、前記第1の振れ検出手段からの振れ情報を、前記連続する複数の画像が撮像される第1の周期よりも長い第2の周期で取得することを特徴とする請求項1乃至7のいずれか1項に記載の像ブレ補正装置。
【請求項9】
前記取得手段は、前記第2の振れ検出手段からの振れ情報を、前記連続する複数の画像が撮像される第1の周期よりも長い第3の周期で取得することを特徴とする請求項1乃至8のいずれか1項に記載の像ブレ補正装置。
【請求項10】
前記制御手段は、
前記第1の像ブレ補正量算出手段により対応する像ブレ補正量が算出される画像と算出されない画像との周期と、
前記第2の像ブレ補正量算出手段により対応する像ブレ補正量が算出される画像と算出されない画像との周期とが一致するように前記複数の像ブレ補正量算出手段を制御することを特徴とする請求項1乃至9のいずれか1項に記載の像ブレ補正装置。
【請求項11】
前記複数の像ブレ補正量算出手段は、前記第1の像ブレ補正量算出手段と、前記第2の像ブレ補正量算出手段との2つの像ブレ補正量算出手段からなり、前記制御手段は、前記第1の像ブレ補正量算出手段により像ブレ補正量を算出する画像と前記第2の像ブレ補正量算出手段により像ブレ補正量を算出する画像とが交互に生じるように、前記複数の像ブレ補正量算出手段を制御することを特徴とする請求項10に記載の像ブレ補正装置。
【請求項12】
前記第2の振れ検出手段は、前記撮像された連続する複数の画像の差分から振れを検出する差分振れ検出手段であり、
前記第2の像ブレ補正量算出手段は、前記第1の振れ検出手段からの振れ情報が対応して得られない第1の画像に対応する像ブレ補正量を、前記第2の振れ検出手段からの前記第1の画像と第2の画像との差分に基づく振れ情報と、前記第1の振れ検出手段からの、前記第1の画像と前記第2の画像との間に撮影された第3の画像に対応する振れ情報と、に基づいて算出することを特徴とする請求項1乃至11のいずれか1項に記載の像ブレ補正装置。
【請求項13】
前記第3の画像は前記第1の画像よりも前に撮影された画像であることを特徴とする請求項12に記載の像ブレ補正装置。
【請求項14】
前記連続する複数の画像を撮像する撮像手段と、
請求項1乃至13のいずれか1項に記載の像ブレ補正装置と、
前記第2の振れ検出手段と、
前記複数の像ブレ補正量算出手段により算出された像ブレ補正量に基づいて、前記連続する複数の画像の像ブレ補正を行う像ブレ補正手段と、を備え、
前記取得手段は、装着されたレンズ装置が備える前記第1の振れ検出手段の検出結果を前記連続する複数の画像が撮像される第1の周期よりも長い第2の周期の通信を介して取得することを特徴とする撮像装置。
【請求項15】
前記第1の像ブレ補正量算出手段は、前記第2の周期で前記像ブレ補正量を算出することを特徴とする請求項14に記載の撮像装置。
【請求項16】
連続する複数の画像を第1の周期で撮像する撮像センサと、
前記複数の画像に基づいて振れを検出する振れ検出手段と、
装着されたレンズ装置から通信を介して取得した振れ情報に基づいて、前記連続する複数の画像のうちの一部の画像のそれぞれに対応する像ブレ補正量を取得する第1の像ブレ補正量取得手段と、前記振れ検出手段による検出結果と前記通信を介して取得した振れ情報とに基づいて、前記第1の像ブレ補正量取得手段と異なる方法により、前記連続する複数の画像のうち一部の画像のそれぞれに対応する像ブレ補正量を取得する第2の像ブレ補正量取得手段と、を含む複数の像ブレ補正量取得手段と、
前記複数の像ブレ補正量取得手段により取得された像ブレ補正量に基づいて、前記連続する複数の画像の像ブレ補正を行う像ブレ補正手段と
前記第1の周期が所定値よりも短い場合、前記複数の像ブレ補正量取得手段の少なくともいずれかにより、前記連続する複数の画像のそれぞれの画像に対応して前記像ブレ補正量が得られるように前記複数の像ブレ補正量取得手段を制御する制御手段と、を備えることを特徴とする撮像装置。
【請求項17】
振れを検出する複数の振れ検出手段からの振れ情報を取得する取得工程と、
前記取得工程において取得された、第1の振れ検出手段からの振れ情報に基づいて、連続する複数の画像のうちの一部の画像のそれぞれに対応する像ブレ補正量を算出する第1の像ブレ補正量算出工程と、前記取得工程において取得された、第2の振れ検出手段からの振れ情報に基づいて、第1の像ブレ補正量算出工程と異なる方法により前記連続する複数の画像のうちの一部の画像のそれぞれに対応する像ブレ補正量を算出する第2の像ブレ補正量算出工程と、を含む複数の像ブレ補正量算出工程と、
前記複数の像ブレ補正量算出工程の少なくともいずれかにより、撮像された連続する複数の画像のそれぞれに対応して前記像ブレ補正量が得られ、且つ、前記複数の像ブレ補正量算出工程のうち、第1の像ブレ補正量算出工程により像ブレ補正量を算出する画像と、第2の像ブレ補正量算出工程により像ブレ補正量を算出する画像とが周期的に生じるように前記複数の像ブレ補正量算出工程を制御する制御工程と、を有し、
前記制御工程では、前記連続する複数の画像が撮影される第1の周期が所定値よりも短い場合、前記複数の像ブレ補正量算出工程の少なくともいずれかにより撮像された連続する複数の画像のそれぞれに対応して前記像ブレ補正量が算出されるように前記複数の像ブレ補正量算出工程を制御することを特徴とする像ブレ補正装置の制御方法。
【請求項18】
連続する複数の画像を第1の周期で撮像する撮像センサを備える撮像装置を制御する方法であって、
前記複数の画像に基づいて振れを検出する振れ検出工程と、
装着されたレンズ装置から通信を介して取得した振れ情報に基づいて、前記連続する複数の画像のうちの一部の画像のそれぞれに対応する像ブレ補正量を取得する第1の像ブレ補正量取得工程と、前記振れ検出工程における検出結果と前記通信を介して取得した振れ情報とに基づいて、前記第1の像ブレ補正量取得工程と異なる方法により、前記連続する複数の画像のうち一部の画像のそれぞれに対応する像ブレ補正量を取得する第2の像ブレ補正量取得工程と、を含む複数の像ブレ補正量取得工程と、
前記複数の像ブレ補正量取得工程において取得された像ブレ補正量に基づいて、前記連続する複数の画像の像ブレ補正を行う像ブレ補正工程と
前記第1の周期が所定値よりも短い場合、前記複数の像ブレ補正量取得工程の少なくともいずれかにより、前記連続する複数の画像のそれぞれの画像に対応して前記像ブレ補正量が得られるように前記複数の像ブレ補正量取得工程を制御する制御工程と、を有することを特徴とする撮像装置の制御方法。
【請求項19】
請求項17または18に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。
【請求項20】
請求項17または18に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、複数の装置に搭載された像ブレ補正手段が通信を介して協調して像ブレ補正を行う技術に関するものである。
【背景技術】
【0002】
近年、映像業界においては、高速フレームレートで撮影を行い、再生速度を撮影フレームレート以下とすることにより滑らかなスロー映像を得る方法が用いられている。しかし、この方法では、高速フレームレートで撮影を行うため、カメラの処理負荷が増加する。その結果、複数の装置に搭載された像ブレ補正手段が、通信を介して協調して像ブレ補正制御を行う場合、通信エラーが発生したり、通信に遅れが生じたりする。このため、通信エラーや通信の遅れが発生した場合でも像ブレ補正効果の低下を抑制する手法が提案されている。
【0003】
特許文献1では、通信を介して振れ情報が取得できた場合に、その振れ情報から得られるブレ補正量を選択し、通信を介して振れ情報が取得できなかった場合に、予測手段により予測したブレ補正量を選択して、像ブレを補正する手法が開示されている。
【先行技術文献】
【特許文献】
【0004】
【文献】特開2017-219635号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、特許文献1では以下のような問題があった。特許文献1では、カルマンフィルタや最小二乗法といった、前回の補正量から予測する手法によりブレ補正量を算出するため、誤った補正量を算出した場合は像ブレ補正効果が大きく低下してしまう。
【0006】
また、通信エラーや通信の遅れは、通信の周期を低速にすることにより改善されるが、通信の周期を低速にすると、像ブレ補正を行うための信号の取得の周期も低速になるため、像ブレ補正効果が低下してしまう。
【0007】
本発明は上述した課題に鑑みてなされたものであり、その目的は、複数の装置間で通信を行いながら像ブレ補正制御を行う場合に、通信周期を低速とした場合の像ブレ補正効果の低下を抑制することである。
【課題を解決するための手段】
【0008】
本発明に係わる像ブレ補正装置は、振れを検出する複数の振れ検出手段からの振れ情報を取得する取得手段と、前記取得手段により取得された、第1の振れ検出手段からの振れ情報に基づいて、連続する複数の画像のうちの一部の画像のそれぞれに対応する像ブレ補正量を算出する第1の像ブレ補正量算出手段と、前記取得手段により取得された、第2の振れ検出手段からの振れ情報に基づいて、第1の像ブレ補正量算出手段と異なる方法により前記連続する複数の画像のうちの一部の画像のそれぞれに対応する像ブレ補正量を算出する第2の像ブレ補正量算出手段と、を含む複数の像ブレ補正量算出手段と、前記複数の像ブレ補正量算出手段の少なくともいずれかにより、撮像された連続する複数の画像のそれぞれに対応して前記像ブレ補正量が得られ、且つ、前記複数の像ブレ補正量算出手段のうち、第1の像ブレ補正量算出手段により像ブレ補正量を算出する画像と、第2の像ブレ補正量算出手段により像ブレ補正量を算出する画像とが周期的に生じるように前記複数の像ブレ補正量算出手段を制御する制御手段と、を備え、前記制御手段は、前記連続する複数の画像が撮影される第1の周期が所定値よりも短い場合、前記複数の像ブレ補正量算出手段の少なくともいずれかにより撮像された連続する複数の画像のそれぞれに対応して前記像ブレ補正量が算出されるように前記複数の像ブレ補正量算出手段を制御することを特徴とする。
【発明の効果】
【0009】
本発明によれば、複数の装置間で通信を行いながら像ブレ補正制御を行う場合に、通信周期を低速とした場合の像ブレ補正効果の低下を抑制することが可能となる。
【図面の簡単な説明】
【0010】
図1】本発明の像ブレ補正装置の実施形態であるレンズ交換式デジタルカメラシステムの構成を模式的に示したブロック図。
図2】第1の実施形態における像ブレ補正制御を説明するブロック図。
図3】第1の実施形態における像ブレ補正量算出部を説明するブロック図。
図4】第1の実施形態における補正量分割部を説明するブロック図。
図5】撮像周期に対して処理周期を低速にした協調通信を説明するタイミング図。
図6】撮像周期に対して検出周期を低速にした動きベクトル検出を説明するタイミング図。
図7】撮像周期に対して協調通信と動きベクトル検出周期を低速にした際の課題を説明するタイミング図。
図8】第1の実施形態における電子補正量変換動作を説明するタイミング図。
図9】第1の実施形態における電子補正量変換動作を説明するフローチャート。
図10】第2の実施形態における電子補正量変換動作を説明するタイミング図。
図11】第2の実施形態における電子補正量変換動作を説明するフローチャート。
【発明を実施するための形態】
【0011】
以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。
【0012】
(第1の実施形態)
以下、本発明の第1の実施形態について、添付図面を参照して詳細に説明するが、まず、各実施形態に共通する事項について説明する。
【0013】
図1は、本発明の像ブレ補正装置の実施形態である、静止画像や動画像の撮影を行うためのレンズ交換式デジタルカメラシステムの構成を模式的に示したブロック図である。なお、本発明の適用範囲はデジタルカメラに限定されず、各種の撮像装置に適用することができる。
【0014】
なお、以下の実施形態の説明においては、撮像装置の振動を「振れ」と表現し、撮像装置の振れによって発生する撮像画像への影響を「像ブレ」と表現する。
【0015】
図1において、デジタルカメラシステム100は、交換レンズ150およびカメラ本体180から構成され、交換レンズ150はカメラ本体180に装着して使用される。
【0016】
交換レンズ150のズームユニット101は、変倍を行うズームレンズを含む。ズーム駆動制御部102は、ズームユニット101を駆動制御する。絞りユニット103は、絞りの機能を有する。絞り駆動制御部104は、絞りユニット103を駆動制御する。像ブレ補正ユニット105はシフトレンズ等の像ブレ補正レンズ(以下、補正レンズ、OISともいう)を備える。像ブレ補正ユニット105は第1の像ブレ補正手段であり、光学式像ブレ補正制御部106により駆動制御される。フォーカスユニット107は、焦点調節を行って被写体像を形成するフォーカスレンズを含む。フォーカス駆動制御部108は、フォーカスユニット107を駆動制御する。
【0017】
レンズ操作部109は、ユーザーが交換レンズの操作に使用する操作部である。レンズ振れ検出部110は交換レンズ150の振れ量を検出し、検出信号をレンズシステム制御部111に出力する。交換レンズ150全体を制御するレンズシステム制御部(以下、レンズ制御部という)111はCPU(中央演算処理装置)を備え、交換レンズの各駆動制御部や補正制御部を統括制御する。レンズ制御部111は、レンズ通信制御部112を介して、カメラ本体180のカメラシステム制御部124と通信する。
【0018】
次にカメラ本体180について説明する。カメラ本体180は、シャッタユニット113を備える。シャッタ駆動制御部114は、シャッタユニット113を駆動制御する。撮像部115は、撮像素子を備え、各レンズ群を通過して結像される光像を光電変換して電気信号を出力する。撮像信号処理部116は、撮像部115から出力された電気信号を映像信号に変換処理する。映像信号処理部117は、撮像信号処理部116から出力された映像信号を用途に応じて加工する。例えば、映像信号処理部117は電子式像ブレ補正制御部123の補正量に応じて映像信号の切り出し位置を変更する。電子式像ブレ補正制御部123は、第2の像ブレ補正手段であり、画像の切り出しによって像ブレ補正の制御を行う。
【0019】
表示部118は、映像信号処理部117から出力された信号に基づいて、必要に応じて画像表示を行う。記憶部119は、映像情報等の様々なデータを記憶する。電源部120は、システム全体に用途に応じて電源を供給する。カメラ操作部121は、ユーザーがカメラシステムの操作に使用する操作部であり、操作信号をカメラシステム制御部124に出力する。カメラ振れ検出部122はカメラの振れ量を検出し、検出信号をカメラシステム制御部124に出力する。カメラシステム制御部(以下、カメラ制御部という)124はCPUを備え、カメラシステム全体を統括制御する。カメラ制御部124は、カメラ通信制御部125を介して交換レンズ150のレンズ通信制御部112と通信する。つまり、交換レンズ150がカメラ本体180に装着され、電気的に接続された状態において、レンズ通信制御部112とカメラ通信制御部125により相互通信が行われる。
【0020】
次に、上記構成を有するデジタルカメラシステム100の概略動作について説明する。レンズ操作部109、カメラ操作部121は、像ブレ補正のON/OFFを選択可能な像ブレ補正スイッチを含む。ユーザーが像ブレ補正スイッチを操作して像ブレ補正をONに選択すると、レンズ制御部111またはカメラ制御部124は、光学式像ブレ補正制御部106や、電子式像ブレ補正制御部123に像ブレ補正動作を指示する。像ブレ補正のOFFの指示がなされるまでの間、各像ブレ制御部は像ブレ補正の制御を行う。
【0021】
また、カメラ操作部121は、像ブレ補正に関して、第1のモードと第2のモードを選択可能な像ブレ補正モードスイッチを含む。第1のモードは、光学式像ブレ補正(第1の像ブレ補正)と電子式像ブレ補正(第2の像ブレ補正)を併用して像ブレ補正を行うモードである。第1のモードが選択された場合、光学式(光学的)像ブレ補正と電子式(電子的)像ブレ補正を協調させて補正を行うことでより広い補正角度を可能とする。さらに映像信号処理部117により映像信号の切り出し範囲を狭め、切り出し位置を像ブレ補正量に応じて変更することで、より大きな振れに対応できる。
【0022】
カメラ操作部121は、押し込み量に応じて第1スイッチ(SW1)および第2スイッチ(SW2)が順にオンするように構成されたレリーズボタンを含む。ユーザーがレリーズボタンを約半分押し込んだときに第1スイッチSW1がオンし、レリーズボタンを最後まで押し込んだときに第2スイッチSW2がオンする。第1スイッチSW1のオンにより、フォーカス駆動制御部108がフォーカスユニット107を駆動して焦点調節を行うとともに、絞り駆動制御部104が絞りユニット103を駆動して適正な露光量に設定する。第2スイッチSW2のオンにより、撮像部115に露光された光像から得られた画像データが記憶部119に記憶される。
【0023】
またカメラ操作部121は、動画記録スイッチを含む。カメラは動画記録スイッチの押下後に動画撮影を開始し、ユーザーが記録中に再度動画記録スイッチを押すと記録を終了する。動画撮影中にユーザーがレリーズボタンを操作して第1スイッチSW1および第2スイッチSW2をオンすると、動画記録中の静止画を取得して記録する処理が実行される。またカメラ操作部121は再生モードを選択可能な再生モード選択スイッチを含む。再生モード選択スイッチの操作により再生モードが選択された場合、カメラは像ブレ補正動作を停止する。
【0024】
さらにカメラ操作部121は、カメラの撮像フレームレートを変更する手段を含む。カメラはユーザーの操作に応じて撮像フレームレートを変更でき、低速及び高速フレームレートを選択できる。
【0025】
次に、レンズ制御部111及びカメラ制御部124により実行される像ブレ補正制御について説明する。
【0026】
図2は、デジタルカメラシステム100の振れ情報から、光学式像ブレ補正部(第1の像ブレ補正部211)と電子式像ブレ補正部(第2の像ブレ補正部214)を駆動して像ブレ補正を行う制御について説明するブロック図である。本実施形態では、振れ検出手段として交換レンズに備えられた角速度センサ(第1の振れ検出手段)を用いて、像ブレ補正のための補正量を算出して第1の像ブレ補正部211を駆動する。それとともに、第2の像ブレ補正部214で像ブレ補正を行うための補正量を通信を介して交換レンズ150からカメラ本体180に送信し、第2の像ブレ補正部214を駆動する。即ち、交換レンズ150がマスター、カメラ本体180がスレーブとして動作する像ブレ補正システムである。なお、第1の像ブレ補正部211は、図1における像ブレ補正ユニット105と、光学式像ブレ補正制御部106を含む。また、第2の像ブレ補正部214は、図1における映像信号処理部117と電子式像ブレ補正制御部123を含む。
【0027】
図2の角速度センサ201は図1のレンズ振れ検出部110に含まれ、デジタルカメラシステム100の振れの角速度を検出し、その角速度に応じた電圧を出力する。角速度センサの出力電圧はA/D変換器202によりデジタルの角速度データに変換されて、像ブレ補正量算出部203に供給される。
【0028】
像ブレ補正量算出部203は、デジタルカメラシステム100の振れによって生じる像ブレを補正するための補正量を算出する。デジタルカメラシステム100は、第1の像ブレ補正部211と第2の像ブレ補正部214の2つの像ブレ補正部を備えている。しかし、像ブレ補正量算出部203で算出される像ブレ補正量は、2つの像ブレ補正部のそれぞれの補正量を算出するのではなく、デジタルカメラシステム100の全体の像ブレ補正量を算出する。
【0029】
図3は、像ブレ補正量算出部203の詳細構成を説明するブロック図である。ハイパスフィルタ(以下、HPF)301は、角速度センサ201で検出した角速度データのDC成分或いは低周波数成分を除去するために用いられる。HPF301を通した角速度データは、積分器303において1階積分することにより角変位データに変換される。ここで行われる積分演算には、飽和を防止するために不完全積分が適用され、一般的に知られている1次ローパスフィルタ(以下、1次LPF)で行われる。
【0030】
積分器303で算出された角変位データは、フレーミング制御部305及びリミッタ304に供給される。リミッタ304は、第1の像ブレ補正部211及び第2の像ブレ補正部214が可動範囲の端に突き当たらないように角変位データに制限をかける。リミッタ304で制限がかけられた角変位データは、像ブレ補正量算出部203の出力、即ち、撮像画像の像ブレ補正量として出力される。なお、像ブレ補正量算出部203で算出される像ブレ補正量(角変位データ)は、第1の像ブレ補正部211及び第2の像ブレ補正部214の補正量の合計値である。そのため、第1の像ブレ補正部211の制御範囲と第2の像ブレ補正部214の制御範囲を合計した変位量をリミッタ304のリミット値に設定する。
【0031】
フレーミング制御部305では、パンニングやチルティングといったユーザーの意図した動作がなされたか否かを判定し、角変位データを中央に戻すように制御を行う。言い換えれば、角速度センサ201で検出した角速度データ或いは角変位データから、ユーザーの意図したカメラのフレーミングによる振れ成分を取り除き、意図したフレーミングを行いつつ、手振れに起因する像ブレを補正するための制御を行う。
【0032】
具体的には、リミッタ304に設けられた角変位データの制御端の更に内側に所定の閾値を設け、積分器303から出力される角変位データがその閾値を超えた場合にはパンニングが行われたと判定する。パンニングと判定された場合には、HPF301のカットオフ周波数を高くして低周波成分をより多く取り除くことにより角速度データを制限する。或いは、積分器303に入力される角速度データからオフセットを減算することにより積分器303の出力が中央に戻るようにする。或いは、積分器303で行われるLPF演算のカットオフ周波数を高くして、積分器303の出力が中央に戻るように制御する。このように制御することで、パンニングやチルティング等のユーザーが意図した振れが生じた場合であっても、第1の像ブレ補正部211及び第2の像ブレ補正部214の可動範囲に収まるように像ブレ補正動作を制御することが可能となる。
【0033】
図2の補正量分割部204は、像ブレ補正量算出部203で算出されたシステム全体の像ブレ補正量を、第1の像ブレ補正部211で補正するための第1の補正量と、第2の像ブレ補正部214で補正するための第2の補正量に分割する。
【0034】
図4は、補正量分割部204の構成例を示す図である。図4(a)において、乗算器401は、像ブレ補正量算出部203で算出された像ブレ補正量に所定の倍率K1を乗じて第1の補正量を出力する。ここで、K1は、
0 ≦ K1 ≦ 1 …(式1)
となるような倍率を設定する。乗算器401で所定の倍率K1を乗じられた像ブレ補正量は、第1の像ブレ補正部211で像ブレ補正を行う際の補正量となる。また、減算器402では、像ブレ補正量算出部203で算出された像ブレ補正量から第1の補正量を減算することにより、第2の像ブレ補正部214で像ブレ補正を行う際の第2の補正量を算出する。このように算出することにより、第1の補正量と第2の補正量を加算するとシステム全体の像ブレ補正量となるように補正量を分割することができる。
【0035】
なお、図4(a)では、像ブレ補正量を所定の比率で分割する例を示したが、周波数帯域で分割するようにしてもよい。図4(b)は、周波数帯域で分割する場合の補正量分割部204の構成例を示している。ハイパスフィルタ(以下、HPF)403は、像ブレ補正量算出部203で算出された像ブレ補正量の高周波帯域のみを通過させ、第1の補正量として出力する。第2の補正量は、像ブレ補正量算出部203で算出された像ブレ補正量から、第1の補正量(高周波帯域)を減算することにより、低周波帯域を抽出して得られる。
【0036】
図2に戻り、駆動量変換部207は、第1の補正量を第1の像ブレ補正部211で適切に像ブレ補正を行うための移動量に変換して、駆動目標位置として出力する。位置センサ212は、第1の像ブレ補正部211の位置情報を検出し、減算器208において駆動目標位置から第1の像ブレ補正部211の位置情報を減算して偏差を求める。偏差は、制御フィルタ209に入力され、利得増幅及び位相補償等の種々の信号処理が施されてOIS駆動部210に供給される。第1の像ブレ補正部211は、OIS駆動部210によって駆動されることにより、補正光学系が光軸と垂直な方向に移動する。そして、移動した第1の像ブレ補正部211の位置情報は再び位置センサ212で検出されて次の偏差データが算出されるというフィードバックループが形成され、駆動目標位置と位置情報の差分が小さくなるように制御される。これにより、補正光学系は駆動目標位置に追従するように駆動される。
【0037】
補正分割部204で算出された第2の補正量は、レンズ通信制御部112及びカメラ通信制御部125を介してカメラ本体180に送信される。電子補正量変換部213は、動きベクトル変換部216から取得した動きベクトル補正量を、カメラ通信制御部125で受け取った補正量へ加算し、切り出し目標位置として出力する。動きベクトル検出部(第2の振れ検出手段)215は、撮像信号処理部116からの映像信号に含まれる画像に基づいて、光軸に直交する一平面上で互いに直交した水平方向と、垂直方向のそれぞれ2方向の動きベクトルを検出する。
【0038】
具体的には、動きベクトル検出法として、相関法やブロックマッチング法等がある。ここでは、その一例として、ブロックマッチング法を動きベクトル検出部215に採用するものとする。このブロックマッチング法とは、まず入力画像信号を複数の適当な大きさのブロック(例えば、16×16画素)に分割し、ブロック単位に前のフィールド又はフレームの一定範囲の画素との差を計算する。そして、この差の絶対値の和が最小となる前のフィールド又はフレームのブロックを検索し、当該ブロックの相対的なずれをそのブロックの動きベクトルとして検出する方法である(差分振れ検出方法)。結果、画素単位での垂直方向及び水平方向各々の移動量(即ち動きベクトル)が求められる。この動きベクトルは、連続した撮像画像の単位時間当たりの移動量、すなわち撮像装置の移動量を示すものである。また動きベクトルがうまく検出できない場合は、動きベクトルエラー判定を行う。動きベクトルのエラー判定方法の一例としては、輝度信号が小さい、検出値がピーク値である等の条件が考えられる。
【0039】
動きベクトル変換部216は、光軸に直交する一平面上で互いに直交した軸をなすように、垂直方向の回転軸Y(Yaw軸)と水平方向の回転軸X(Pitch軸)を設定する。そして、それぞれの軸回りの回転角度であるYaw角、Pitch角を、動きベクトル検出部215から出力される動きベクトルと焦点距離を用いて変換する。なお、動きベクトル変換部216は、動きベクトル検出部215から取得した動きベクトルと、前回の電子補正量との差分を積算し、電子補正量変換部213へ出力する。第2の像ブレ補正部214は、電子補正量変換部213によって指定された切り出し位置に応じて、光軸と垂直な方向に画像を切り出す。
【0040】
このように、第1の像ブレ補正部211と第2の像ブレ補正部214は、システム全体の振れを分担して補正するように協調して動作をすることにより、像ブレ補正の補正範囲を拡大することが可能となる。
【0041】
ここで、本発明の課題である処理負荷の増大等が、交換レンズ150とカメラ本体180の間の通信に与える影響について説明する。
【0042】
上述の処理負荷の増大が起こる原因として、高速フレームレートで撮像・現像処理等を行うことが挙げられる。高速フレームレートで撮像を行う場合、交換レンズ150とカメラ本体180の間の通信頻度が増加する。例えばオートフォーカス制御、絞り制御、ズーム制御などが挙げられ、上述の像ブレ補正における協調動作を行う際の通信(以下、協調通信という)も例外ではない。
【0043】
交換レンズ150及びカメラ本体180のCPUの処理能力には限界があり、高速フレームレートによる撮像及び現像処理等を満たすために協調通信の周期を低下させることが必要な場合がある。その場合には、連続性のある補正量が取得できず像ブレ補正効果の低下を招く原因となる。図5(a)は撮像タイミングと協調通信タイミングの関係を示し、図5(b)は協調通信周期が低速な場合の撮像タイミングと協調通信タイミングの関係を示す。図5(b)に示す通り、Frame1とFrame3の間に撮影されたフレーム(Frame2)のように振れ量を周期的に取得できないフレームが発生すると、連続性のある補正量が算出できない。
【0044】
また上述した協調通信の周期を低速化することによる処理負荷の低減に加えて、高速フレームレートによる撮像及び現像処理等を満たすために動きベクトルの検出周期を低速にすることが必要な場合がある。その場合も同様に、連続性のある補正量が算出できず同様に像ブレ補正効果の低下を招く原因となる。図6(a)は撮像タイミングと動きベクトル検出タイミングの関係を示し、図6(b)は動きベクトル検出周期が低速な場合の撮像タイミングと動きベクトル検出タイミングの関係を示す。図6(b)に示す通り、Frame1とFrame3の間に撮影されたフレーム(Frame2)のように振れ量を取得できないフレームが発生し、連続性のある補正量が算出できない。
【0045】
また、図5(b)で実施する協調通信で得られるブレ情報検出区間(時間)と、図6(b)で実施する動きベクトル検出周期を低速化する場合に得られるブレ情報検出区間(時間)には差があり、図6(b)で取得した動きベクトルは2フレーム分のブレ情報となる。つまり、Frame3に対応する振れ量(動きベクトル)はFrame1とFrame3の差分となる。
【0046】
上述した2つのブレ情報を用いて像ブレ補正を行う手法として、図7(a)に理想的な場合の撮像、協調通信、動きベクトル検出の関係を示し、図7(b)に像ブレ補正効果の低下を招く場合の撮像、協調通信、動きベクトル検出の関係を示す。交換レンズ150及びカメラ本体180のCPUの処理負荷が大きい場合には、図7(b)に示すような制御となり、連続性のある像ブレ補正量が算出できない。
【0047】
そこで、本実施形態では、上述した協調通信が低速な場合と動きベクトルの検出周期が低速な場合を適切に組み合わせて、連続性のある補正量を作成することにより像ブレ補正効果の低下を防ぐ。
【0048】
図8は、電子補正量変換部213で行われる、像ブレ補正効果の低下を抑制しつつ像ブレ補正を行う場合の、撮像タイミング、低速周期な協調通信による像ブレ補正量の取得、検出周期が低速な動きベクトルによる像ブレ補正量の取得の関係を示す図である。図8では、協調通信で取得する振れと動きベクトルで検出する振れの重複期間をずらすことにより、図7(b)では取得できなかったフレームの振れを算出することができる。協調通信で振れを取得するタイミングと動きベクトルで検出する振れを取得するタイミングのズレは一定である。つまり、前のフレームでは協調通信で取得した振れ量に応じて像ブレ補正量を算出し、次のフレームでは検出した2フレーム分の動きベクトルから前のフレームで算出した像ブレ補正量を減算して像ブレ補正量を算出する。これにより、連続性のある補正量を算出することが可能である。つまり、1つのフレームでは協調通信で取得した角速度センサ201からの出力を用いて像ブレ補正を行い、次のフレーム(協調通信により振れ情報を取得した次の画像以降の画像)では、動きベクトルから算出した像ブレ補正量を用いて像ブレ補正を行う。これを、フレームごとに交互に行う。言い換えると、角速度センサから振れ情報が得られないフレーム(Frame2,4)と動きベクトルから振れ情報が得られないフレーム(Frame1,3,5)とが交互に生じるが、全てのフレームでいずれかの振れ情報が取得できるようにタイミングを制御する。
【0049】
以下、像ブレ補正量算出方法の一例を、図8及び図9のフローチャートを参照しながら説明する。なお、図9に示される処理は撮像の周期など任意の所定の周期で繰り返し実行され、本実施形態では撮像の周期とする
まず、ステップS101において、カメラ制御部124は、協調通信の周期を低速化するか否かを判定する。本実施形態では、各フレーム単位で処理負荷に応じて協調通信を行うか行わないかを判定する。協調通信を行わないと判定されたフレームの場合はステップS102へ進み、協調通信を行うと判定されたフレームの場合にはステップS104へ進む。なお、本実施形態では、協調通信を行うフレームと行いわないフレームを交互に配置するものとする。
【0050】
ステップS101において、協調通信を行わないと判断された場合について説明する。ステップS102において、動きベクトルを取得しステップS103へ進む。ここで、前回実行されるステップS102は2フレーム前となるため、2フレーム分の動きベクトルB1を取得することができる。ステップS103において、(式2)のように、1フレーム前にステップS109で算出した補正量A1と前回の像ブレ補正量C1_oldの差分と、ステップS102で取得した動きベクトルB1との差分を算出して積分し、像ブレ補正量C1を算出する。
【0051】
C1=∫(B1-(A1-C1_old)) …(式2)
算出された像ブレ補正量C1は、第2の像ブレ補正部214で補正できる範囲となるように制限がかけられ、パンニング処理などを施した補正量が算出され、ステップS110へ進む。
【0052】
次に、ステップS101において協調通信を行うと判定された場合について説明する。ステップS104において、カメラ制御部124は、第2の像ブレ補正部214で像ブレ補正できるリミッタの情報や、シャッタ速度、露光時間などの撮像情報をカメラ本体180から交換レンズ150へ送信し、ステップS105へ進む。ステップS105において、カメラ本体180から送信されたデータを、レンズ制御部111が受信し、ステップS106へ進む。
【0053】
ステップS106において、レンズ制御部111は、図2の角速度センサ201を用いて、Yaw、Pitch軸に対するカメラの振れを検出する。なお、角速度センサ201からの振れ情報は角速度であるため、低周波成分除去のためにHPFを通し、積分器で角速度から角変位のデータへ変換しステップS107へ進む。
【0054】
ステップS107において、レンズ制御部111は、第1の像ブレ補正部211と第2の像ブレ補正部214で使用する像ブレ補正量を作成し、分割する。本実施形態では、像ブレ補正量の算出方法として、第1の像ブレ補正部211と第2の像ブレ補正部214で補正できる範囲を合計した範囲で補正量を算出する、また分割方法の一例として、それぞれの補正範囲の比率に応じて補正量を分割する。算出して分割した第1の像ブレ補正部211で使用する補正量を用いて像ブレ補正を行う場合にはステップS108へ進む。また、算出して分割した第2の像ブレ補正部214で使用する補正量を用いて像ブレ補正を行う場合には、補正量を交換レンズ150からカメラ本体180へ送信し、ステップS109へ進む。
【0055】
ステップS108において、レンズ制御部111は、ステップS107で算出した補正量を用いて第1の像ブレ補正部211を制御し、像ブレ補正を行う。
【0056】
ステップS109において、カメラ制御部124は、交換レンズ150からカメラ本体180へ送信されたデータを受信し、ステップS110へ進む。ステップS110において、カメラ制御部111は、ステップS103またはステップS109で算出及び取得した補正量を用いて、第2の像ブレ補正部214を制御し、像ブレ補正を行う。
【0057】
なお、上記の実施形態では、第1の像ブレ補正部211と第2の像ブレ補正部214の両方を用いて像ブレ補正を行う場合について説明した。しかし、図9のステップS107とステップS109において、カメラ本体180が、交換レンズ150側で検出された振れ量を受信することができれば、交換レンズ150側の第1の像ブレ補正部211で像ブレ補正を行わず、第2の像ブレ補正部210のみで像ブレ補正を行うようにしてもよい。
【0058】
以上説明したように、本実施形態によれば、処理負荷を削減する目的で協調通信と動きベクトルなどの振れ情報の検出周期を削減した場合でも、連続性のある像ブレ補正量を算出することができる。これにより、像ブレ補正効果の低下を抑制し、適切な像ブレ補正を行うことが可能となる。つまり、高速フレームレートなどの高負荷処理時でもカメラとレンズで協調して適切な像ブレ補正制御を実現することが可能となる。
【0059】
(第2の実施形態)
図10は、第1の実施形態とは異なる電子補正量変換部213の処理を示す図であり、撮像タイミング、通信周期が低下した協調通信による像ブレ補正量の取得、検出周期が低下した動きベクトル検出による像ブレ補正量の取得の関係を示す図である。
【0060】
第1の実施形態では、前のフレーム、次のフレームの2フレーム単位の処理であり、つまり協調通信と動きベクトルの検出が2フレームに一度処理される。本実施形態では、3フレーム単位の処理、つまり協調通信の頻度を3フレームに2回、動きベクトル検出頻度を3フレームに1回としている。この場合、協調通信による振れの検出周期が、フレームの撮像周期より大きく(協調通信による振れの検出頻度が、フレーム画像の撮像頻度より小さく)なる。これにより、協調通信の処理負荷を削減しつつ、動きベクトルの検出処理負荷を第1の実施形態よりも低減できる。
【0061】
像ブレ補正量算出方法の一例を図10及び図11のフローチャートを参照しながら説明する。なお、図9と同様の構成には同じ符号を付し、説明は省略する。図11に示される処理は撮像の周期など任意の所定の周期で繰り返し実行され、本実施形態では撮像の周期とする。
【0062】
まず、ステップS201において、カメラ制御部124は、協調通信が2フレーム連続で実行されたか否かを判定する。連続2フレーム以下と判定された場合には、ステップS104へ進み、連続2フレーム以上と判断された場合にはステップS202へ進む。
【0063】
ステップS202において、カメラ制御部214は、動きベクトルを取得しステップS203へ進む。ここで、前回実行されたステップS202は3フレーム前となるため、3フレーム分の動きベクトルC2を取得できる。ステップS203において、(式3)のように、1フレーム前と2フレーム前にステップS109で算出した補正量A2、B2の差分と、前回の像ブレ補正量D2_oldとの差分と、ステップS202で取得した動きベクトルC2との差分を算出して積分し、像ブレ補正量D2を算出する。
【0064】
D2=∫(C2-((B2-A2)+(A2-D2_old))) …(式3)
算出した像ブレ補正量D2は、第2の像ブレ補正部214で補正できる範囲となるように制限をかけられ、パンニング処理などを施した補正量が算出され、ステップS110へ進む。
【0065】
以上説明したように、本実施形態によれば、処理負荷を削減する目的で協調通信と動きベクトルなどの振れ情報の検出周期を不均等に削減した場合でも、連続性のある像ブレ補正量を算出することができる。これにより、像ブレ補正効果の低下を抑制しつつ、適切な像ブレ補正を行うことが可能となる。つまり、高速フレームレートなどの高負荷処理時でもカメラとレンズで協調して適切な像ブレ補正制御を実現することが可能となる。
【0066】
第1の実施形態では、カメラ制御部214は、協調通信により振れ情報を取得するフレームと動きベクトルにより振れ情報を取得するフレームとが交互に生じるように振れ情報の取得を制御した。また、本実施形態では、協調通信により振れ情報を取得するフレームが2回連続して生じた後、動きベクトルにより振れ情報を取得するフレームが1回生じるように振れ情報の取得を制御した。このように、連続性のある補正量が取得できるように、協調通信により振れ情報を取得するタイミングと、動きベクトルにより振れ情報を取得するタイミングとのずれが一定になるように制御をすれば、2つのタイミングのずらし方はこれらに限定されない。2つのタイミングのずれが一定になるためには、協調通信による振れ情報の取得周期と動きベクトルによる振れ情報の取得周期とが一致すればよい。但し、振れ情報の取得周期とは、振れ情報を取得するフレームと取得しないフレームとの周期である。例えば、本実施形態のように、協調通信により振れ情報を取得するフレームが2回連続して生じた後、取得しないフレームが1回生じ、これが複数回繰り返される場合は、協調通信による振れ情報の取得周期は3フレームとする。同様に、動きベクトルによる振れ情報を取得しないフレームが2回連続して生じたあと、取得するフレームが1回生じ、これが複数回繰り返される場合は、動きベクトルによる振れ情報の取得周期は3フレームとする。また、第1及び本実施形態では、各フレームに対応して、協調通信による振れ情報と動きベクトルによる振れ情報とのうち、いずれか一方のみを取得したが、両方を取得するフレームが生じていてもよい。処理負荷の点では、両方を取得するフレームが生じる形態のほうが不利ではあるが、例えば、振れ補正以外にも協調通信による振れ情報や動きベクトルによる振れ情報が必要になるタイミングも生じ得るので、これに合わせて両方の振れ情報を取得するタイミングが生じてもよいものとする。
【0067】
なお、上記の各実施形態では、振れ検出手段の一例として角速度センサを用いる場合について説明したが、その他の振れ検出手段を用いてもよい。例えば、加速度センサを用いて加速度から振れ量を算出したり、複数のセンサを組み合わせて振れを検出してカメラシステムの振れ量を算出したりしてもよい。
【0068】
また、像ブレ補正手段の例として、交換レンズを構成するレンズの一部を光軸と垂直な方向に移動させるレンズシフト方式と、撮像画像を光軸と垂直方向に移動させる画像切り出しについて説明した。しかし、撮像素子を光軸と垂直方向に移動させる撮像素子シフトなどで像ブレを補正する方式を用いてもよい。
【0069】
(他の実施形態)
また本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現できる。
【0070】
発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。
【符号の説明】
【0071】
100:デジタルカメラシステム、105:像ブレ補正ユニット、106:光学式像ブレ補正制御部、110:レンズ振れ検出部、111:レンズシステム制御部、112:レンズ通信制御部、115:撮像部、116:撮像信号処理部、117:映像信号処理部、122:カメラ振れ検出部、123:電子式像ブレ補正制御部、124:カメラシステム制御部、125:カメラ通信制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11