IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キヤノン株式会社の特許一覧

特開2023-179930撮像装置、撮像装置の制御方法およびプログラム
<>
  • 特開-撮像装置、撮像装置の制御方法およびプログラム 図1
  • 特開-撮像装置、撮像装置の制御方法およびプログラム 図2
  • 特開-撮像装置、撮像装置の制御方法およびプログラム 図3
  • 特開-撮像装置、撮像装置の制御方法およびプログラム 図4
  • 特開-撮像装置、撮像装置の制御方法およびプログラム 図5
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023179930
(43)【公開日】2023-12-20
(54)【発明の名称】撮像装置、撮像装置の制御方法およびプログラム
(51)【国際特許分類】
   H04N 23/68 20230101AFI20231213BHJP
   G03B 5/00 20210101ALI20231213BHJP
   G03B 15/00 20210101ALI20231213BHJP
   G03B 17/56 20210101ALI20231213BHJP
   H04N 5/222 20060101ALI20231213BHJP
【FI】
H04N5/232 480
G03B5/00 L
G03B15/00 Q
G03B17/56 A
H04N5/222 100
【審査請求】未請求
【請求項の数】19
【出願形態】OL
(21)【出願番号】P 2022092877
(22)【出願日】2022-06-08
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(72)【発明者】
【氏名】内藤 剛
【テーマコード(参考)】
2H105
2K005
5C122
【Fターム(参考)】
2H105AA06
2H105AA56
2K005BA21
2K005CA02
2K005CA14
2K005CA22
2K005CA23
2K005CA24
5C122DA03
5C122DA04
5C122EA41
5C122FA06
5C122FB04
5C122FB23
5C122FC00
5C122FH12
5C122GC75
5C122GE03
5C122HA13
5C122HA35
5C122HA75
5C122HA82
5C122HA88
5C122HB01
(57)【要約】
【課題】手振れ補正の実行に応じて、被写体に係る像ブレを行って、画質劣化を防ぐことが可能な撮像装置を提供する。
【解決手段】撮像装置が有するカメラシステム制御部5が、ジンバルシステム制御部14による撮像装置の手振れ補正の実行に応じて取得される撮像画像に基づいて、被写体の動きを検出する。そして、カメラシステム制御部5が、検出された被写体の動き情報に基づいて、被写体に係る像ブレを補正する。
【選択図】図1

【特許請求の範囲】
【請求項1】
第1の補正制御手段による、撮像装置の振れにより撮像画像に生じる像ブレを補正する第1の補正の実行に応じて取得される前記撮像画像に基づいて、被写体の動きを検出する第1の動き検出手段と、
前記第1の動き検出手段が出力する前記被写体の動き情報に基づいて、前記被写体に係る像ブレを補正する第2の補正を実行する第2の補正制御手段と、を有する
ことを特徴とする撮像装置。
【請求項2】
前記第1の補正制御手段は、前記撮像装置の本体部を駆動することによって、前記第1の補正を実行する
ことを特徴とする請求項1に記載の撮像装置。
【請求項3】
前記第1の補正制御手段は、
前記撮像装置の本体部に着脱可能である所定の装置に設けられ、
前記所定の装置が有するジンバル機構によって、前記本体部を駆動する
ことを特徴とする請求項2に記載の撮像装置。
【請求項4】
前記所定の装置は、自撮り用の装置である
ことを特徴とする請求項3に記載の撮像装置。
【請求項5】
前記第1の補正制御手段は、
前記撮像装置の本体部に着脱可能である所定の装置に設けられ、
前記所定の装置が有する第1の補正手段を駆動することによって、前記第1の補正を実行する
ことを特徴とする請求項1に記載の撮像装置。
【請求項6】
前記所定の装置は、レンズ装置である
ことを特徴とする請求項5に記載の撮像装置。
【請求項7】
前記撮像装置の本体部は、前記撮像装置の振れに係る振れ検出信号を出力する振れ検出手段を有し、
前記第2の補正制御手段は、前記被写体の動き情報と、前記振れ検出信号とに基づいて、前記第2の補正を実行する
ことを特徴とする請求項1に記載の撮像装置。
【請求項8】
前記第2の補正制御手段は、前記被写体の動き情報と前記振れ検出信号との差分情報に基づいて、前記第2の補正を実行する
ことを特徴とする請求項7に記載の撮像装置。
【請求項9】
前記第2の補正制御手段は、前記第1の補正制御手段に対して、前記振れ検出信号を送信し、
前記第1の補正制御手段は、さらに、前記第2の補正制御手段から受信した前記振れ検出信号に基づいて、前記第1の補正を実行する
ことを特徴とする請求項7または請求項8に記載の撮像装置。
【請求項10】
撮影指示を行ったユーザを前記被写体として検出する被写体検出手段を有し、
前記第1の動き検出手段は、前記被写体検出手段が検出した被写体の動きベクトルを検出する
ことを特徴とする請求項1に記載の撮像装置。
【請求項11】
前記第1の動き検出手段は、前記被写体の動きベクトルと、背景ベクトルとを検出し、
前記第2の補正制御手段は、前記被写体の動きベクトルと前記背景ベクトルとの差分情報に基づいて、前記第2の補正を実行する
ことを特徴とする請求項10に記載の撮像装置。
【請求項12】
前記第2の補正制御手段は、前記第1の補正制御手段に対して、前記背景ベクトルに対応する振れ量の情報を送信し、
前記第1の補正制御手段は、さらに、前記第2の補正制御手段から受信した前記振れ量の情報に基づいて、前記第1の補正を実行する
ことを特徴とする請求項11に記載の撮像装置。
【請求項13】
前記第2の補正制御手段は、光学部材または撮像素子を駆動することによって、前記第2の補正を実行する
ことを特徴とする請求項1に記載の撮像装置。
【請求項14】
所定の装置が装着されたことを検知する検知手段を備え、
前記第2の補正制御手段は、
前記検知手段により装着が検知された前記所定の装置が、前記第1の補正が実行可能な第1の補正手段を備える場合に前記第2の補正を実行する
ことを特徴とする請求項1に記載の撮像装置。
【請求項15】
撮像装置の動きを検出する第2の動き検出手段を備え、
前記第2の補正制御手段は、
前記検知手段により装着が検知された所定の装置が、前記第1の補正手段を備えない場合は、
前記第2の補正と異なる第3の補正を実行する
ことを特徴とする請求項14に記載の撮像装置。
【請求項16】
前記第3の補正は、少なくとも、前記第2の動き検出手段が出力する前記撮像装置の動き情報に基づいて、撮像画像に生じる像ブレを補正する
ことを特徴とする請求項15に記載の撮像装置。
【請求項17】
本体部と、前記本体部に着脱可能な所定の装置とを有する撮像装置であって、
前記所定の装置は、前記撮像装置の振れにより撮像画像に生じる像ブレを補正する第1の補正を実行する第1の補正制御手段を有し、
前記本体部は、
前記第1の補正制御手段の実行に応じて取得される前記撮像画像に基づいて、被写体の動きを検出する第1の動き検出手段と、
前記第1の動き検出手段が出力する前記被写体の動き情報に基づいて、前記被写体に係る像ブレを補正する第2の補正を実行する第2の補正制御手段と、を有する
ことを特徴とする撮像装置。
【請求項18】
第1の補正制御手段による、撮像装置の振れにより撮像画像に生じる像ブレを補正する第1の補正の実行に応じて取得される前記撮像画像に基づいて、被写体の動きを検出する第1の動き検出工程と、
前記第1の動き検出工程によって出力される前記被写体の動き情報に基づいて、前記被写体に係る像ブレを補正する第2の補正を実行する第2の補正制御工程と、を有する
ことを特徴とする撮像装置の制御方法。
【請求項19】
撮像装置が有するコンピュータに、
撮像装置の振れにより撮像画像に生じる像ブレを補正する第1の補正の実行に応じて取得される前記撮像画像に基づいて、被写体の動きを検出する第1の動き検出工程と、
前記第1の動き検出工程によって出力される前記被写体の動き情報に基づいて、前記被写体に係る像ブレを補正する第2の補正を実行する第2の補正制御工程と、を実行させる
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置、撮像装置の制御方法およびプログラムに関する。
【背景技術】
【0002】
撮影者が自身を被写体として撮影するために、撮像装置を自身の正面に配置して撮影するためのスティック(以下、「自撮り棒」と呼ぶ)を用いた撮影方法が知られている。また、撮像装置を取り付ける自撮り棒の先端にジンバル機構を設けた構成の一例として、ジンバル棒が知られている。ジンバル棒は、撮像装置の手振れを補正するスタビライザー機能付きスティックである。特許文献1は、2つの振れ補正手段を用いて、手振れを補正する撮像装置を開示している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2009-265182号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
自撮り棒やジンバル棒を用いて撮影を行う場合、撮影者が撮影動作により、撮像装置に対して相対的に動いてしまい、撮像画像に被写体に係るブレ(被写体ブレ)が生じてしまう。特許文献1に記載の撮像装置では、手振れは補正できるが、撮像装置に対する相対的な被写体の動きに起因する被写体ブレを補正することができない。本発明は、手振れ補正の実行に応じて、被写体ブレを補正して、画質劣化を防ぐことが可能な撮像装置の提供を目的とする。
【課題を解決するための手段】
【0005】
本発明の一実施形態の撮像装置は、第1の補正制御手段による、撮像装置の振れにより撮像画像に生じる像ブレを補正する第1の補正の実行に応じて取得される前記撮像画像に基づいて、被写体の動きを検出する第1の動き検出手段と、前記第1の動き検出手段が出力する前記被写体の動き情報に基づいて、前記被写体に係る像ブレを補正する第2の補正を実行する第2の補正制御手段と、を有する。
【発明の効果】
【0006】
本発明によれば、手振れ補正の実行に応じて、撮像装置に対して相対的に被写体が動くことによって発生する被写体ブレによる画質劣化を防ぐことが可能となる。
【図面の簡単な説明】
【0007】
図1】撮像装置の構成の一例を示す図である。
図2】被写体像の一例である。
図3】被写体ブレの補正の変形例を説明する図である。
図4】像ブレ補正の制御を説明するフローチャートである。
図5】撮像装置の構成の一例を示す図である。
【発明を実施するための形態】
【0008】
(実施例1)
図1は、本実施形態の撮像装置の構成の一例を示す図である。
図1(A)は、撮像装置の外観を示す。図1(B)は、撮像装置の機能ブロック図である。カメラ本体1は、撮像装置の本体部である。ジンバル機構2は、カメラ本体1に着脱可能であり、カメラ本体1を駆動させることで、撮像装置に加わる振れにより撮像画像に生じる像ブレ(手振れ)を補正する。本発明は、カメラ本体1に着脱可能であって、ジンバル機構2を有する所定の装置(例えば、自撮り用の装置)を適用することもできる。自撮り用の装置として、ジンバル棒を適用してもよい。ジンバル棒は、スタビライザー機能付の自撮り棒である。
【0009】
実施例1では、撮像装置のカメラ本体1がジンバル機構2に取り付けられている状態の構成について説明するが、本発明の適用範囲は、図1に示す構成に限定されない。本発明は、撮像装置の手振れを補正する機能を有する所定の装置が着脱可能な任意の撮像装置に適用可能である。例えば、本発明は、レンズ交換式カメラにも適用可能である。
【0010】
図1(B)に示すカメラ本体1は、撮影光学系3乃至通信部13を有する。撮影光学系3は、レンズ鏡筒に設けられ、ブレ補正レンズ3a、付図示のフォーカスレンズ、ズームレンズなどの複数の光学部材を有する。ブレ補正レンズ3aは、光軸4に垂直な平面で駆動することで、像ブレを補正する。
【0011】
カメラ側振れ検出部11は、撮像装置に加わる振れ(回転振れおよび並進振れ)を検出して、振れ検出信号を出力する。カメラ側振れ検出部11は、例えば振動ジャイロなどを用いて実現できる。カメラシステム制御部5は、カメラ本体1全体を制御する。カメラシステム制御部5は、被写体移動検出部5aと、ブレ補正対象被写体検出部5bとを有する。ブレ補正対象被写体検出部5bは、被写体検出手段として機能し、撮像画像に基づいて、被写体に係る像ブレ(被写体像のブレ。以下被写体ブレと呼ぶ)の補正対象とする被写体を検出する。被写体移動検出部5aは、第1の動き検出手段として機能し、ブレ補正対象被写体検出部5bが検出した被写体の動きを検出する。被写体ブレは、例えば、撮影者が、撮影動作により、撮像装置に対して相対的に動いてしまうことで生じる。ブレ補正対象被写体検出部5bは、例えば、撮影指示を行うユーザを、被写体ブレの補正対象とする被写体として検出する。
【0012】
カメラシステム制御部5は、像ブレ補正を行う際に、カメラ側ブレ補正部12を制御する。カメラ側ブレ補正部12は、カメラシステム制御部5の指示にしたがって、ブレ補正用レンズ3aを光軸4に垂直な平面で駆動する。これにより像ブレが補正される。カメラ側ブレ補正部12が、撮像素子6を光軸4に対して垂直な平面で駆動して、像ブレを補正するようにしてもよい。カメラシステム制御部5は、不図示のフォーカスレンズや、絞りなどを、不図示の駆動手段を用いて駆動することも可能である。通信部13は、カメラ本体1とジンバル機構2との通信を行う。カメラシステム制御部5は、通信部13を介して、ジンバルシステム制御部14と通信する。
【0013】
被写体光は、撮影光学系3を介して撮像素子6の撮像面に結像する。撮像素子6は、被写体光を光電変換して、撮像画像に係る信号を出力する。撮像素子6からピント評価量/適当な露光量が得られるので、カメラシステム制御部5が、得られた情報に基づいて撮影光学系3を調整する。これにより、適切な光量の光が撮像素子6に露光するとともに、撮像素子6近傍で被写体像が結像する。
【0014】
画像処理部7は、撮像素子6が出力する信号に基づいて、画像処理を実行して、撮像画像を生成する。このために、画像処理部7は、A/D変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路、色補間処理手段等を有する。色補間処理手段は、ベイヤ配列の信号から色補間(デモザイキング)処理を施してカラー画像を生成する。また、画像処理部7は、予め定められた方法を用いて、画像、動画、音声などの圧縮を行う。なお、画像処理部7は、撮像素子6から得られた複数の画像間の比較に基づいて、撮像装置に加わる振れに係る振れ検出信号を生成することも可能である。したがって、撮像素子6と画像処理部7とによって、カメラ側振れ検出部11を実現してもよい。メモリ部8は、画像処理部7が出力する撮像画像に係る信号を記憶する記憶部である。表示部9は、ユーザに提示する情報(例えば画像情報)を表示する。表示部9は、例えば、カメラ本体1の背面に設けられた背面表示装置やファインダ内に設けられたEVF(エレクトリックビューファインダ)等を有する。
【0015】
カメラ側操作検出部10は、不図示のシャッターレリーズ釦などを含む操作手段からの信号を検出する。カメラシステム制御部5は、ユーザの操作に応じて、撮像系、画像処理系、記録再生系を制御する。例えば、カメラ側操作検出部10が、シャッターレリーズ釦の押下を検出すると、カメラシステム制御部5は、撮像素子6の駆動、画像処理部7の動作、圧縮処理などを制御する。さらに、カメラシステム制御部5は、表示部9に指示して、情報表示を行う情報表示装置の各セグメントの状態を制御する。なお、表示部9の一部である背面表示装置をタッチパネルとすることで、表示部6が、情報を表示する機能と、操作を受け付ける機能の双方を有するようにしてもよい。
【0016】
ジンバル機構2は、通信部13乃至ジンバル側ブレ補正部17を有する。ジンバル側振れ検出部16は、撮像装置に加わる振れ(回転振れおよび並進振れ)を検出する。ジンバル側振れ検出部16は、例えば、振動ジャイロなどを用いて実現される。
ジンバルシステム制御部14は、ジンバル機構2全体を制御する。ジンバル側操作検出部15は、ユーザの操作を検出する。ジンバル側操作検出部15は、例えば、ジンバル機構2に設けられた不図示のシャッターレリーズ釦などを含む操作手段からの信号を検出する。ジンバル側振れ検出部16は、撮像装置に加わる振れを検出して、振れ検出信号を出力する。ジンバル側ブレ補正部17は、ジンバル機構2を駆動させて、カメラ本体1を駆動する。ジンバル側ブレ補正部17は、例えばジンバル機構2を3軸回転駆動させる。
【0017】
ユーザは、例えば、ジンバル機構2内の操作手段を介してカメラ本体1に対する撮影指示動作を指示する。ジンバル機構2内の操作手段が操作されると、ジンバル側操作検出部15が、当該操作がされたことを検出し、ジンバルシステム制御部14が、撮影指示がなされたことを、通信部13を介してカメラシステム制御部5へ通知する。当該通知を受けたカメラシステム制御部5が、カメラ本体1の撮影動作を開始する。具体的には、カメラシステム制御部5は、不図示の焦点レンズ駆動手段および絞り駆動手段を適切に制御する。撮影指示以外の操作に関しても、ユーザがジンバル機構2に対して行った操作が、同様の方法でカメラ本体1に通知される。これにより、ユーザは、カメラ本体1を、ジンバル機構2を介して操作可能となる。
【0018】
次に、像ブレ補正に関する制御について説明する。ジンバルシステム制御部14は、手振れ補正(第1の補正制御)を実行する第1の補正制御手段として機能する。具体的には、ジンバルシステム制御部14は、ジンバル側振れ検出部16が出力する振れ検出信号(第1の振れ検出信号)を取得し、第1の振れ検出信号に基づいて、像ブレを補正するためのジンバル機構2の駆動量を算出する。そして、ジンバルシステム制御部14は、算出した駆動量をジンバル側ブレ補正部17へ指令値として送信し、ジンバル機構2を駆動する。これにより、ジンバル機構2に取り付けられているカメラ本体1全体が駆動し、手振れ補正が実行される。
【0019】
カメラシステム制御部5は、カメラ側振れ検出部11が出力する振れ検出信号(第2の振れ検出信号)を取得する。カメラシステム制御部5は、取得した第2の振れ検出信号に基づいて、像ブレを補正するためのブレ補正レンズ5aの駆動量を算出する。カメラシステム制御部5は、算出した駆動量をカメラ側ブレ補正部12へ指令値として送信し、ブレ補正レンズ3aを駆動する。
【0020】
撮影者が自身を撮影する自撮りを行う場合を想定する。この場合に、撮影者は、カメラ本体1にジンバル機構2を有する自撮り棒を取り付けて、自身を被写体として撮影する。図1(B)に示すように、カメラ本体1にジンバル機構2が取り付けられている状態では、多くの手振れをジンバル機構2によってキャンセルすることが可能である。ジンバル側振れ検出部16は、ユーザが撮像装置全体を手に持った際の手振れを検出するのに対して、カメラ側振れ検出部11は、ジンバル機構2によって、ある程度手振れがキャンセルされた状態での手振れを検出する。したがって、本実施形態では、ブレ補正用レンズは、大きくは手振れ補正を行わず、多くの手振れ補正は、ジンバル機構2によって行われる。
【0021】
本実施形態では、撮像装置において、被写体ブレ補正モードが設定されている場合、ジンバル機構2が手振れ補正を実行し、カメラシステム制御部5は、被写体ブレを補正(第2の補正制御を実行)する、第2の補正制御手段として機能する。ジンバル機構2が駆動して手振れ補正を実行することに応じて、撮像素子6および画像処理部7によって、手振れがある程度キャンセルされた状態の撮像画像が取得される。カメラシステム制御部5が有するブレ補正対象被写体検出部5bが、取得された撮像画像に基づいて、被写体ブレの補正対象とする被写体を検出し、被写体移動検出部5aが、検出された被写体の動き情報を出力する。カメラシステム制御部5は、被写体の動き情報に基づいて、カメラ側ブレ補正部12を介して、ブレ補正レンズ3aを駆動する。これにより、被写体ブレが補正される。
【0022】
図2は、表示部において観察される被写体像の一例である。
図2(A)は、被写体が静止している状態での被写体像を示す。図2(B)は、被写体が動いている状態での被写体像を示す。図2に示す被写体21が、撮影指示を行うユーザである。フォーカスポイント22は、撮影時にピント合わせを行うフォーカスポイントである。ユーザは、フォーカスポイント22を任意に変更可能である。図2に示す例では、被写体21の顔部が、フォーカスポイント22として選択されている。ブレ補正対象被写体検出部5bは、例えば、フォーカスポイント22の近傍における被写体21を、撮影指示を行うユーザとし、被写体ブレの補正対象として検出する。ブレ補正対象被写体検出部5bは、フォーカスポイント22の代わりに、撮影画面に映りこんでいるジンバル機構2のハンドル部等を検出して、撮影指示を行うユーザを検出するようにしてもよい。
【0023】
被写体移動検出手段5aは、時系列に並んだ撮像画像間の動きベクトルによって被写体21の動きを検出する。被写体移動検出手段5aは、例えば、被写体21の動き情報として、図2(B)に示す動きベクトル23を検出する。カメラシステム制御部5では、検出された動きベクトル23に基づいて、カメラ側ブレ補正手段12を介してブレ補正用レンズ3aを駆動し、被写体ブレを補正する。
【0024】
本実施形態の撮像装置は、動画撮影中に動きベクトルを取得し、被写体ブレの補正に使用するが、被写体の動きベクトルを撮影中に取得できる方法があれば、静止画撮影においても本発明は有効である。静止画撮影時に動きベクトルを取得する方法としては、撮像素子を複数有する撮像装置を適用し、一方の撮像素子で静止画撮影(露光)中に、もう一方の撮像素子で得られた撮像画像から動きベクトルを取得する方法がある。また、いわゆる非破壊読み出しと呼ばれる、露光中に信号を読み出すことが可能な撮像素子を用いる方法も適用可能である。
【0025】
実施例1の構成では、手振れの多くはジンバル機構2でキャンセルされるので、検出される動きベクトル23は、おおよそ被写体の動きと一致する。したがって、検出される動きベクトル23に基づいて、ブレ補正用レンズ3aの駆動量を算出して、ブレ補正用レンズ3aを駆動することで、被写体ブレが補正される。
【0026】
被写体ブレの補正方法として、以下のような方法を適用してもよい。カメラ側振れ検出部11が出力する振れ検出信号は、ジンバル機構2による手振れ補正残りを示す。したがって、カメラシステム制御部5は、被写体移動検出部5aが検出した被写体の動きベクトル23と、カメラ側振れ検出部11が出力する振れ検出信号とに基づいて、ブレ補正用レンズ3aの駆動量を算出して、ブレ補正用レンズ3aを駆動する。具体的には、カメラシステム制御部5bは、動きベクトル23が示す動き情報からカメラ側振れ検出部11が出力する振れ検出信号に対応する振れ量を減算する。カメラシステム制御部5bは、上記の減算結果(差分情報)を被写体21の動き情報とし、当該動き情報に基づき、ブレ補正用レンズ3aを駆動する。また、カメラシステム制御部5は、カメラ側振れ検出部11が出力する振れ検出信号を、通信部13を介してジンバル機構2のジンバルシステム制御部14に送信する。ジンバルシステム制御部14は、カメラシステム制御部5から受信した振れ検出信号に基づいて、ジンバル側ブレ補正部17に指示して、ジンバル機構2を駆動して、手振れ補正を行う。
【0027】
実施例1の撮像装置によれば、カメラ側ブレ補正部12は、ジンバル機構2では補正することのできない、被写体ブレと並進ブレ(カメラ本体1が撮像素子に対して並行に動くことによる像ブレ)のみを補正することになる。したがって、カメラ側ブレ補正部12における像ブレ補正に係る補正ストロークが不足しにくくなり、より大きな被写体ブレを補正することが可能になる。
【0028】
図3は、被写体ブレの補正の変形例を説明する図である。
図3に、表示部において観察される被写体像の一例を示す。図3(A)は、被写体31が静止している状態での被写体像を示す。図3(B)は、被写体31が動いている図3(b)は被写体が動いており、かつ、カメラ本体1に手振れが入力されている状態での被写体像を示す。被写体31が、撮影指示を行うユーザである。背景32は、被写体31とともに撮影される。ブレ補正対象被写体検出部5bは、被写体31を、撮影指示を行うユーザとし、被写体ブレの補正対象として検出する。
【0029】
被写体移動検出手段5aは、被写体31の動き情報として、図3(B)に示す動きベクトル33を検出する。また、被写体移動検出手段5aは、背景32の動き情報として、図3(B)に示す動きベクトル(背景ベクトル)34を検出する。
背景32は、基本的には動かないことが多いので、カメラ本体1が背景32に対して相対的に動いた量が背景ベクトル34として観察される。手振れの多くはジンバル機構2においてキャンセルされている。したがって、背景ベクトル34は、ジンバル機構2での手振れ補正残りが観察されていることに相当する。カメラシステム制御部5は、検出された動きベクトル33に基づいて、カメラ側ブレ補正部を介してブレ補正用レンズ3aを駆動させ、被写体ブレを補正する。
【0030】
図3(B)に示すように、背景ベクトル34として観察できる程度にジンバル機構2での手振れ補正残りが大きい場合(例えば、閾値以上である場合)は、下記のような方法で被写体ブレを補正してもよい。カメラシステム制御部5は、背景ベクトル34として検出された手振れ補正残りに対応する振れ量(角度振れ量)の情報を、カメラシステム制御部5からジンバルシステム制御部14へ送信する。ジンバルシステム制御部14は、カメラシステム制御部5から受信した振れ量の情報に基づいて、手振れ補正を実行する。そして、カメラシステム制御部5は、動きベクトル33と背景ベクトル34との差分情報に基づいて、ブレ補正用レンズ3aを駆動させて、被写体ブレを補正する。
【0031】
図4は、実施例1の撮像装置による像ブレ補正の制御を説明するフローチャートである。
本フローチャートにしたがう処理は、撮像装置が有するプロセッサ(CPU)が、所定の記憶部から読み出した制御プログラムを実行することによって実現される。当該処理は、撮像装置に電源が投入されるとともに開始される。図4中のSは、本フローチャートにしたがう各処理のステップ番号を示す。
【0032】
S4001において、カメラシステム制御部5が、シャッターレリーズ釦が押下されて、撮影開始指示が入力(S2がON)されたかを判断する。撮影開始指示が入力されていない場合は、処理がS4001に戻る。撮影開始指示が入力された場合は、処理がS4002に進む。S4002において、カメラシステム制御部5が、被写体ブレ補正モードが設定されているかを判断する。被写体ブレ補正モードが設定されていない場合は、処理がS4007に進む。被写体ブレ補正モードが設定されている場合は、処理がS4003に進む。S4003において、ジンバルシステム制御部14が、ジンバル側振れ検出部16の出力、もしくはジンバル側振れ検出部16およびカメラ側振れ検出部11の出力に基づいて、ジンバル側振れ補正部17を駆動して、手振れ補正を実行する。
【0033】
次に、S4004において、カメラシステム制御部5が、被写体移動検出部5aによって検出された被写体の動き情報に基づいて、カメラ側ブレ補正部12を駆動して、被写体ブレを補正する。カメラシステム制御部5は、被写体移動検出部5aの検出結果とカメラ側ブレ検出部11の出力に対応する振れ量との差分情報に基づいて、被写体ブレを補正してもよい。S4005において、カメラシステム制御部5が、撮影動作を開始する。S4006において、カメラシステム制御部5が、撮影を終了するかを判断する。撮影を終了する場合は、処理を終了する。撮影を終了しない場合は、処理がS4001に戻る。
【0034】
また、S4007において、ジンバルシステム制御部14が、ジンバル側振れ検出部16の出力に基づいて、ジンバル側振れ補正部17を駆動して、手振れ補正を実行する。続いて、S4008において、カメラシステム制御部5が、カメラ側ブレ検出部11の出力に基づいて、カメラ側ブレ補正部12を駆動して、手振れ補正(並進振れの補正)を実行する。そして、S4009において、カメラシステム制御部5が、撮影動作を開始し、処理がS4006に進む。
【0035】
実施例1の撮像装置によれば、ジンバル機構2が手振れ補正を、カメラ本体1が被写体ブレ補正を行うことで、手振れ補正を行うとともに、撮像装置に対して相対的に被写体が動くことによって発生する被写体ブレによる画質劣化を防ぐことが可能となる。
【0036】
(実施例2)
図5は、実施例2の撮像装置の構成の一例を示す図である。
実施例2の撮像装置は、カメラ本体に着脱可能な所定の装置が、レンズ装置である。その他の構成に関しては、基本的には実施例1の撮像装置と同様であるので、差異のある箇所についてのみ詳細に説明する。
【0037】
図5(A)は、撮像装置の中央断面の一例を示す。図5(B)は、撮像装置の機能ブロック図である。図5(A)、図5(B)で同一の符号が付してあるものはそれぞれ対応している。カメラ本体51は、撮像装置の本体部である。レンズ装置52は、カメラ本体51に着脱可能である。本実施例では、カメラ本体51とレンズ鏡筒52がそれぞれ取り外し可能に設けられた所謂レンズ交換式カメラについて説明するが、本発明の適用範囲は、レンズ交換式カメラに限定されない。本発明は、レンズ一体型カメラにも適用可能である。
【0038】
図5(A)、(B)において、カメラシステム制御部55は、カメラ本体51を制御する。カメラシステム制御部55は、図1のカメラシステム制御部5に対応する。撮像素子56、画像処理部57、メモリ部58、表示部59、操作検出部60は、それぞれ、図1の撮像素子6、画像処理部7、メモリ部8、表示部9、カメラ側操作検出部10に対応する。背面表示装置59aは、カメラ本体51の背面に設けられた表示装置である。EVF59bは、カメラ本体51のファインダ内に設けられた電子ビューファインダーである。なお、電気接点63は、カメラ本体1とレンズ装置52との通信を媒介する。
【0039】
カメラ側振れ検出部61は、撮像装置に加わる振れを検出して振れ検出信号を出力する。カメラ側振れ検出部61は、図1のカメラ側振れ検出部11に対応する。カメラシステム制御部55は、カメラ側振れ検出部61の出力に基づいて、カメラ側ブレ補正部62を制御する。カメラ側ブレ補正部62は、カメラシステム制御部55の指示にしたがって、撮像素子56を光軸54と垂直な平面で駆動することにより、像ブレを補正する。カメラ側ブレ補正部62は、図1のカメラ側ブレ補正部12に対応する。
【0040】
ブレ補正対象被写体検出部55bは、図1のブレ補正対象被写体検出部5bに対応する。被写体移動検出部55aは、図1のブレ補正対象被写体検出部5bに対応する。被写体ブレ補正モードが設定されている場合、カメラシステム制御部55は、レンズ装置52による手振れ補正の実行に応じて得られる撮像画像を画像処理部57から取得する。そして、カメラシステム制御部55は、当該取得した撮像画像に基づいて検出される被写体の動き情報に基づいて、被写体ブレを補正する。具体的には、カメラシステム制御部55は、被写体移動検出部55aが出力する、ブレ補正対象被写体検出部55bによって検出される被写体の動き情報に基づいて、カメラ側ブレ補正部62を介して撮像素子56を駆動する。これにより、被写体ブレが補正される。本実施例の変形例として、カメラシステム制御部55が、レンズシステム制御部64に対して、被写体の動き情報を送信し、レンズシステム制御部64が、受信した動き情報に基づいて、ブレ補正用レンズ3aを駆動して、被写体ブレを補正するようにしてもよい。
【0041】
実施例1と同様に、カメラシステム制御部55が、手振れ補正残りを示す振れ量の情報をジンバルシステム制御部14へ送信するとともに、被写体の動きベクトルと背景ベクトルとの差分情報に基づいて、撮像素子56を駆動して、被写体ブレを補正してもよい。
【0042】
レンズ装置52において、撮像光学系53は、レンズ鏡筒52に設けられた、複数のレンズを有する撮影光学系である。光軸54は、撮影光学系53の光軸である。ブレ補正用レンズ53aは、光軸54と垂直な平面で駆動することにより、像ブレを補正する。ブレ補正用レンズ53aは、図1のブレ補正用レンズ3aに対応する。
【0043】
レンズシステム制御部64は、レンズ装置52全体を制御する。レンズ側振れ検出部65は、撮像装置に加わる振れを検出する。レンズシステム制御部64は、レンズ側振れ検出部65の出力に基づいて、レンズ側ブレ補正部66を制御する。レンズ側ブレ補正部66は、当該制御にしたがって、ブレ補正用レンズ53aを駆動して、手振れ補正を実行する。
【0044】
実施例2の撮像装置は、レンズ鏡筒52において手振れ補正を、カメラ本体51において被写体ブレ補正を行う。これにより、手振れ補正を行うとともに、撮像装置に対して相対的に被写体が動くことによって発生する被写体ブレによる画質劣化を防ぐことが可能となる。
尚、上述の実施例1、2では、手振れ補正機能(スタビライザー機能)を備える所定の装置が装着された場合について説明をした。しかしながら、カメラ本体1には、手振れ補正機能を備えない所定の装置を装着することも可能である。カメラ本体1に装着された自撮り棒などの所定の装置がジンバル機構2などのスタビライザー機能を備えない場合、カメラ本体1は、装着された所定の装置がスタビライザー機能を備える場合とは異なるブレ補正制御を行ってもよい。具体的には、装着された所定の装置がスタビライザー機能を備えない場合、カメラ本体1が備える、カメラ本体の動きを検出する第2の動き検出手段の検出結果に基づいて手振れ補正制御を行ってもよい。また、カメラ本体1に装着される所定の装置がジンバル機構2を備えない場合、カメラ本体1は、第2の動き検出手段と第1の動き検出手段との出力に基づいて、手振れと被写体振れの両方を補正するような制御を行ってもよい。いずれの制御も、第2の動き検出手段の出力に基づいて手振れを補正する制御である点が共通している。これらの制御を、本明細書では第3の補正制御と呼ぶ。
尚、第2の動き検出手段としては、ジャイロセンサ、加速度センサ、動きベクトル検出手段などを用いることができるが、動きベクトル検出手段を第2の動き検出手段として用いる場合は、動きベクトル検出手段は背景ベクトルを出力するものとする。
【0045】
また、装着された所定の装置が、手振れ補正機能を有しているか否かは、所定の装置が装着されたことを検知手段により検知した後、装着された所定の装置との通信により判定してもよい。例えば、装着された装置の型番等を取得することにより、当該装置が手振れ補正機能(第1の補正制御を実行する第1の補正手段)を備えるか否かを判定してもよい。また、当該所定の装置が装着された後に動画(所謂、ライブビュー映像)を撮影し、第2の動き検出手段の出力と、動画に現れる背景の移動量とを比較するなどして判定してもよい。装着された装置が手振れ補正機能を有する場合に、カメラ本体において第2の補正制御が実行される。
【0046】
本発明の開示は、以下の構成および方法、およびプログラムを含む。
(構成1)
第1の補正制御手段による、撮像装置の振れにより撮像画像に生じる像ブレを補正する第1の補正の実行に応じて取得される前記撮像画像に基づいて、被写体の動きを検出する第1の動き検出手段と、
前記第1の動き検出手段が出力する前記被写体の動き情報に基づいて、前記被写体に係る像ブレを補正する第2の補正を実行する第2の補正制御手段と、を有する
ことを特徴とする撮像装置。
(構成2)
前記第1の補正制御手段は、前記撮像装置の本体部を駆動することによって、前記第1の補正を実行する
ことを特徴とする構成1に記載の撮像装置。
(構成3)
前記第1の補正制御手段は、
前記撮像装置の本体部に着脱可能である所定の装置に設けられ、
前記所定の装置が有するジンバル機構によって、前記本体部を駆動する
ことを特徴とする構成2に記載の撮像装置。
(構成4)
前記所定の装置は、自撮り用の装置である
ことを特徴とする構成3に記載の撮像装置。
(構成5)
前記第1の補正制御手段は、
前記撮像装置の本体部に着脱可能である所定の装置に設けられ、
前記所定の装置が有する第1の補正手段を駆動することによって、前記第1の補正を実行する
ことを特徴とする構成1に記載の撮像装置。
(構成6)
前記所定の装置は、レンズ装置である
ことを特徴とする構成5に記載の撮像装置。
(構成7)
前記撮像装置の本体部は、前記撮像装置の振れに係る振れ検出信号を出力する振れ検出手段を有し、
前記第2の補正制御手段は、前記被写体の動き情報と、前記振れ検出信号とに基づいて、前記第2の補正を実行する
ことを特徴とする構成1乃至4のいずれか一つに記載の撮像装置。
(構成8)
前記第2の補正制御手段は、前記被写体の動き情報と前記振れ検出信号との差分情報に基づいて、前記第2の補正を実行する
ことを特徴とする構成7に記載の撮像装置。
(構成9)
前記第2の補正制御手段は、前記第1の補正制御手段に対して、前記振れ検出信号を送信し、
前記第1の補正制御手段は、さらに、前記第2の補正制御手段から受信した前記振れ検出信号に基づいて、前記第1の補正を実行する
ことを特徴とする請求項7または請求項8に記載の撮像装置。
(構成10)
撮影指示を行ったユーザを前記被写体として検出する被写体検出手段を有し、
前記第1の動き検出手段は、前記被写体検出手段が検出した被写体の動きベクトルを検出する
ことを特徴とする構成1に記載の撮像装置。
(構成11)
前記第1の動き検出手段は、前記被写体の動きベクトルと、背景ベクトルとを検出し、
前記第2の補正制御手段は、前記被写体の動きベクトルと前記背景ベクトルとの差分情報に基づいて、前記第2の補正を実行する
ことを特徴とする構成10に記載の撮像装置。
(構成12)
前記第2の補正制御手段は、前記第1の補正制御手段に対して、前記背景ベクトルに対応する振れ量の情報を送信し、
前記第1の補正制御手段は、さらに、前記第2の補正制御手段から受信した前記振れ量の情報に基づいて、前記第1の補正を実行する
ことを特徴とする構成11に記載の撮像装置。
(構成13)
前記第2の補正制御手段は、光学部材または撮像素子を駆動することによって、前記第2の補正を実行する
ことを特徴とする構成1乃至12のいずれか一つに記載の撮像装置。
(構成14)
所定の装置が装着されたことを検知する検知手段を備え、
前記第2の補正制御手段は、
前記検知手段により装着が検知された前記所定の装置が、前記第1の補正が実行可能な第1の補正手段を備える場合に前記第2の補正を実行する
ことを特徴とする構成1に記載の撮像装置。
(構成15)
撮像装置の動きを検出する第2の動き検出手段を備え、
前記第2の補正制御手段は、
前記検知手段により装着が検知された所定の装置が、前記第1の補正手段を備えない場合は、
前記第2の補正と異なる第3の補正を実行する
ことを特徴とする構成14に記載の撮像装置。
(構成16)
前記第3の補正は、少なくとも、前記第2の動き検出手段が出力する前記撮像装置の動き情報に基づいて、撮像画像に生じる像ブレを補正する
ことを特徴とする構成15に記載の撮像装置。
(構成17)
本体部と、前記本体部に着脱可能な所定の装置とを有する撮像装置であって、
前記所定の装置は、前記撮像装置の振れにより撮像画像に生じる像ブレを補正する第1の補正を実行する第1の補正制御手段を有し、
前記本体部は、
前記第1の補正制御手段の実行に応じて取得される前記撮像画像に基づいて、被写体の動きを検出する第1の動き検出手段と、
前記第1の動き検出手段が出力する前記被写体の動き情報に基づいて、前記被写体に係る像ブレを補正する第2の補正を実行する第2の補正制御手段と、を有する
ことを特徴とする撮像装置。
(構成18)
第1の補正制御手段による、撮像装置の振れにより撮像画像に生じる像ブレを補正する第1の補正の実行に応じて取得される前記撮像画像に基づいて、被写体の動きを検出する第1の動き検出工程と、
前記第1の動き検出工程によって出力される前記被写体の動き情報に基づいて、前記被写体に係る像ブレを補正する第2の補正を実行する第2の補正制御工程と、を有する
ことを特徴とする撮像装置の制御方法。
(構成19)
撮像装置が有するコンピュータに、
撮像装置の振れにより撮像画像に生じる像ブレを補正する第1の補正の実行に応じて取得される前記撮像画像に基づいて、被写体の動きを検出する第1の動き検出工程と、
前記第1の動き検出工程によって出力される前記被写体の動き情報に基づいて、前記被写体に係る像ブレを補正する第2の補正を実行する第2の補正制御工程と、を実行させる
ことを特徴とするプログラム。
【0047】
(その他の実施形態)
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
【符号の説明】
【0048】
1 カメラ本体
2 ジンバル機構
5 カメラシステム制御部
14 ジンバルシステム制御部
図1
図2
図3
図4
図5