知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-02-26
(45)【発行日】2024-03-05
(54)【発明の名称】画像処理装置、撮像装置および制御方法
(51)【国際特許分類】
G03B 5/00 20210101AFI20240227BHJP
G03B 15/00 20210101ALI20240227BHJP
G02B 7/28 20210101ALI20240227BHJP
G02B 7/34 20210101ALI20240227BHJP
G02B 7/36 20210101ALI20240227BHJP
G03B 13/36 20210101ALI20240227BHJP
H04N 23/68 20230101ALI20240227BHJP
H04N 23/60 20230101ALI20240227BHJP
【ＦＩ】
G03B5/00 J
G03B15/00 H
G02B7/28 N
G02B7/34
G02B7/36
G03B13/36
H04N23/68
H04N23/60
【請求項の数】
16
(21)【出願番号】P 2019169625
(22)【出願日】2019-09-18
(65)【公開番号】P2021047291
(43)【公開日】2021-03-25
【審査請求日】2022-09-13
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(72)【発明者】
【氏名】谷口 浩之
【審査官】岡田 弘
(56)【参考文献】
【文献】特開２０１６－０６６００７（ＪＰ，Ａ）
【文献】特開平１０－２８２４０４（ＪＰ，Ａ）
【文献】特開２０１３－２５５１６８（ＪＰ，Ａ）
【文献】特開２０１８－１８０３２３（ＪＰ，Ａ）
【文献】特開２０１４－１５３５１７（ＪＰ，Ａ）
【文献】特開平０７－２５３６０５（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０３Ｂ ５／００－５／０８
Ｇ０２Ｂ ７／２８－７／４０
Ｇ０３Ｂ ３／００－３／１２
Ｇ０３Ｂ １３／３０－１３／３６
Ｇ０３Ｂ ２１／５３
Ｈ０４Ｎ ５／２２２－５／２５７
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０－２３／７６
Ｈ０４Ｎ ２３／９０－２３／９５９
(57)【特許請求の範囲】
【請求項1】
撮像画像の像ブレを補正手段の駆動により補正する補正制御手段と、前記撮像画像における流し撮り用の被写体を指定するための指定領域を決定する決定手段と、
被写体に焦点を合わせる焦点制御を実行する焦点制御手段と、
前記撮像画像に基づいて動きベクトルを取得する取得手段と、を有し、
前記補正制御手段は、流し撮り制御手段と、手振れ補正制御手段と、を含み、
流し撮りが行われる場合に、前記補正制御手段が、前記指定領域の動きに基づいて前記流し撮り制御手段を駆動して、前記指定領域に係る像ブレを補正する第１の補正制御を実行した後に、前記焦点制御手段が、前記焦点制御を実行する、と共に、
流し撮りを行わない場合には、前記補正制御手段が、前記手振れ補正制御手段により手振れ補正制御を行い、
前記補正制御手段は、前記焦点制御手段が前記焦点制御を実行した後に、前記取得手段により取得される動きベクトルに基づいて前記補正手段を駆動して、前記被写体に係る像ブレを補正する第２の補正制御を実行し、前記第２の補正制御による像ブレの補正余地がある場合に、前記第１の補正制御を実行する
ことを特徴とする画像処理装置。
【請求項2】
前記取得手段は、前記決定手段によって決定される前記指定領域に基づいて、前記第２の補正制御を実行するために用いる動きベクトルを取得する領域を決定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項3】
撮像画像の像ブレを補正手段の駆動により補正する補正制御手段と、
前記撮像画像における流し撮り用の被写体を指定するための指定領域を決定する決定手段と、
被写体に焦点を合わせる焦点制御を実行する焦点制御手段と、
前記撮像画像に基づいて動きベクトルを取得する取得手段と、を有し、
前記補正制御手段は、流し撮り制御手段と、手振れ補正制御手段と、を含み、
流し撮りが行われる場合に、前記補正制御手段が、前記指定領域の動きに基づいて前記流し撮り制御手段を駆動して、前記指定領域に係る像ブレを補正する第１の補正制御を実行した後に、前記焦点制御手段が、前記焦点制御を実行する、と共に、
流し撮りを行わない場合には、前記補正制御手段が、前記手振れ補正制御手段により手振れ補正制御を行い、
前記補正制御手段は、前記焦点制御手段が前記焦点制御を実行した後に、前記取得手段により取得される動きベクトルに基づいて前記補正手段を駆動して、前記被写体に係る像ブレを補正する第２の補正制御を実行し、
前記取得手段は、前記決定手段によって決定される前記指定領域に基づいて、前記第２の補正制御を実行するために用いる動きベクトルを取得する領域を決定する
ことを特徴とする画像処理装置。
【請求項4】
前記取得手段は、
前記撮像画像に含まれる被写体までの奥行き方向の距離を示す距離情報に基づいて、被写体候補の領域を決定し、
前記被写体候補の領域が前記指定領域より大きい場合に、前記指定領域を含む所定の領域を、前記第２の補正制御を実行するために用いる動きベクトルを取得する領域として決定する
ことを特徴とする請求項２または３に記載の画像処理装置。
【請求項5】
前記取得手段は、
前記被写体の候補の領域が複数である場合は、前記指定領域と位置が重なる前記被写体候補の領域を含む所定の領域を、前記第２の補正制御を実行するために用いる動きベクトルを取得する領域として決定する
ことを特徴とする請求項４に記載の画像処理装置。
【請求項6】
前記指定領域は、ユーザが注視する注視領域であることを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
【請求項7】
前記決定手段は、前記ユーザの視線情報に基づいて前記注視領域を決定することを特徴とする請求項６に記載の画像処理装置。
【請求項8】
前記補正制御手段は、流し撮りモードが設定されている場合に、前記補正手段を駆動して、前記第１の補正制御と前記第２の補正制御を実行することを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
【請求項9】
撮像画像の像ブレを補正手段の駆動により補正する補正制御手段と、前記撮像画像の指定領域を決定する決定手段と、
被写体に焦点を合わせる焦点制御を実行する焦点制御手段と、を有し、
流し撮りが行われる場合に、前記補正制御手段が、前記指定領域の動きに基づいて前記補正手段を駆動して、前記指定領域に係る像ブレを補正する第１の補正制御を実行した後に、前記焦点制御手段が、前記焦点制御を実行すると共に、
前記補正制御手段は、前記決定された指定領域が撮影画角の所定の位置にある場合に、前記第１の補正制御を実行する
ことを特徴とする画像処理装置。
【請求項10】
撮像画像の像ブレを補正手段の駆動により補正する補正制御手段と、前記撮像画像の指定領域を決定する決定手段と、
被写体に焦点を合わせる焦点制御を実行する焦点制御手段と、を有し、
流し撮りが行われる場合に、前記補正制御手段が、前記指定領域の動きに基づいて前記補正手段を駆動して、前記指定領域に係る像ブレを補正する第１の補正制御を実行した後に、前記焦点制御手段が、前記焦点制御を実行すると共に、
流し撮り時のユーザの視線情報に基づいて機械学習により作成された学習モデルが記憶手段に記憶されており、
前記補正制御手段は、前記ユーザの視線情報を入力とする、前記学習モデルに基づく前記流し撮りが行われるか否かの判定結果に応じて、前記補正手段の駆動による前記第１の補正制御を実行する
ことを特徴とする画像処理装置。
【請求項11】
被写体光を光電変換して前記撮像画像に係る信号を出力する撮像素子と、請求項１乃至１０のいずれか１項に記載の画像処理装置と、を有することを特徴とする撮像装置。
【請求項12】
前記決定された指定領域が撮影画角の所定の位置にある場合に被写体の撮影を行う制御を実行する撮影制御手段を有することを特徴とする請求項１１に記載の撮像装置。
【請求項13】
撮像画像の像ブレを補正するための補正制御工程を有する画像処理装置の制御方法であって、前記撮像画像における流し撮り用の被写体を指定するための指定領域を決定する決定工程と、
被写体に焦点を合わせる焦点制御を実行する焦点制御工程と、
前記撮像画像に基づいて動きベクトルを取得する取得工程と、を有し、
前記補正制御工程は、流し撮り制御工程と、手振れ補正制御工程と、を含み、
流し撮りが行われる場合に、前記指定領域の動きに基づく前記流し撮り制御工程により、前記指定領域に係る像ブレを補正する第１の補正制御を実行した後に、前記焦点制御工程において、前記焦点制御を実行する、と共に、
流し撮りを行わない場合には、前記補正制御工程において、前記手振れ補正制御工程により手振れ補正制御を行い、
前記補正制御工程は、前記焦点制御工程において前記焦点制御を実行した後に、前記取得工程において取得される動きベクトルに基づいて前記被写体に係る像ブレを補正する第２の補正制御を実行し、前記第２の補正制御による像ブレの補正余地がある場合に、前記第１の補正制御を実行する
ことを特徴とする制御方法。
【請求項14】
撮像画像の像ブレを補正するための補正制御工程を有する画像処理装置の制御方法であって、前記撮像画像における流し撮り用の被写体を指定するための指定領域を決定する決定工程と、
被写体に焦点を合わせる焦点制御を実行する焦点制御工程と、
前記撮像画像に基づいて動きベクトルを取得する取得工程と、を有し、
前記補正制御工程は、流し撮り制御工程と、手振れ補正制御工程と、を含み、
流し撮りが行われる場合に、前記指定領域の動きに基づく前記流し撮り制御工程により、前記指定領域に係る像ブレを補正する第１の補正制御を実行した後に、前記焦点制御工程において、前記焦点制御を実行する、と共に、
流し撮りを行わない場合には、前記補正制御工程において、前記手振れ補正制御工程により手振れ補正制御を行い、
前記補正制御工程は、前記焦点制御工程において前記焦点制御を実行した後に、前記取得工程において取得される動きベクトルに基づいて前記被写体に係る像ブレを補正する第２の補正制御を実行し、
前記取得工程は、前記決定工程において決定される前記指定領域に基づいて、前記第２の補正制御を実行するために用いる動きベクトルを取得する領域を決定する
ことを特徴とする制御方法。
【請求項15】
撮像画像の像ブレを補正するための補正制御工程を有する画像処理装置の制御方法であって、
前記撮像画像の指定領域を決定する決定工程と、
被写体に焦点を合わせる焦点制御を実行する焦点制御工程と、を有し、
流し撮りが行われる場合に、前記補正制御工程において、前記指定領域の動きに基づいて前記指定領域に係る像ブレを補正する第１の補正制御を実行した後に、前記焦点制御工程において、前記焦点制御を実行すると共に、
前記補正制御工程は、前記決定された指定領域が撮影画角の所定の位置にある場合に、前記第１の補正制御を実行する
ことを特徴とする制御方法。
【請求項16】
撮像画像の像ブレを補正するための補正制御工程を有する画像処理装置の制御方法であって、
前記撮像画像の指定領域を決定する決定工程と、
被写体に焦点を合わせる焦点制御を実行する焦点制御工程と、を有し、
流し撮りが行われる場合に、前記補正制御工程において、前記指定領域の動きに基づいて前記指定領域に係る像ブレを補正する第１の補正制御を実行した後に、前記焦点制御工程において、前記焦点制御を実行すると共に、
流し撮り時のユーザの視線情報に基づいて機械学習により作成された学習モデルが記憶手段に記憶されており、
前記補正制御工程は、前記ユーザの視線情報を入力とする、前記学習モデルに基づく前記流し撮りが行われるか否かの判定結果に応じて、前記第１の補正制御を実行する
ことを特徴とする制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像処理装置、撮像装置および制御方法に関する。
【背景技術】
【0002】
デジタルカメラ等の撮像装置を用いた流し撮りが普及している。流し撮りは、被写体の躍動感を表現するため、撮像素子上で一定のブレ量（以下、背景流し量という）が得られるようにシャッタ速度を設定し、被写体の動きに合わせてカメラを追従させながら撮影する撮影方法である。
【0003】
流し撮りは、被写体の動きに対して撮影方向のズレが生じないようにカメラを追従させながら行うので、ユーザにとって容易ではないことがある。被写体の動きに対して撮影方向にズレ（被写体振れ）が生じると、被写体に係る像ブレが画像に生じる。また、レーシングカーなど高速で移動する被写体を流し撮りする場合には、被写体に焦点を合わせるまでの時間などを考慮すると、シャッタチャンスとなる時間が短く、流し撮りを成功させることは容易ではない。
【0004】
一方、カメラの焦点制御技術として、ユーザの視線情報を利用する技術が提案されている。例えば、特許文献１は、撮影者の視線方向を検出して、一定時間注視された被写体に自動で焦点を合わせるカメラを開示している。また、特許文献２は、画面内におけるユーザの注視位置における被写体像に対して焦点検出を行うカメラを開示している。
【先行技術文献】
【特許文献】
【0005】
【文献】特開平６－２９４９２５号公報
【文献】特許第２９５６５４３号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
特許文献１および特許文献２に開示された従来技術では、流し撮りのようなシャッタチャンスの時間が短い場合の撮影に適応することが困難である。
また、従来、流し撮り時において、被写体とカメラの角速度がある程度一致し、焦点制御により被写体が認識され、被写体のブレ量が検知可能になるまで、振れ補正光学系を制御して像ブレを補正することができなかった。したがって、流し撮り時の像ブレ補正の開始タイミングが遅くなるという課題がある。本発明は、流し撮り時に、被写体に焦点が合う前に像ブレ補正制御を行って、流し撮りをアシストすることができる画像処理装置の提供を目的とする。
また、従来、流し撮り時において、被写体とカメラの角速度がある程度一致し、焦点制御により被写体が認識され、被写体のブレ量が検知可能になるまで、振れ補正光学系を制御して像ブレを補正することができなかった。したがって、流し撮り時の像ブレ補正の開始タイミングが遅くなるという課題がある。本発明は、流し撮り時に、被写体に焦点が合う前に像ブレ補正制御を行って、流し撮りをアシストすることができる画像処理装置の提供を目的とする。
【課題を解決するための手段】
【0007】
本発明の一実施形態の画像処理装置は、
撮像画像の像ブレを補正手段の駆動により補正する補正制御手段と、
前記撮像画像における流し撮り用の被写体を指定するための指定領域を決定する決定手段と、
被写体に焦点を合わせる焦点制御を実行する焦点制御手段と、
前記撮像画像に基づいて動きベクトルを取得する取得手段と、を有し、
前記補正制御手段は、流し撮り制御手段と、手振れ補正制御手段と、を含み、
流し撮りが行われる場合に、前記補正制御手段が、前記指定領域の動きに基づいて前記流し撮り制御手段を駆動して、前記指定領域に係る像ブレを補正する第１の補正制御を実行した後に、前記焦点制御手段が、前記焦点制御を実行する、と共に、
流し撮りを行わない場合には、前記補正制御手段が、前記手振れ補正制御手段により手振れ補正制御を行い、
前記補正制御手段は、前記焦点制御手段が前記焦点制御を実行した後に、前記取得手段により取得される動きベクトルに基づいて前記補正手段を駆動して、前記被写体に係る像ブレを補正する第２の補正制御を実行し、前記第２の補正制御による像ブレの補正余地がある場合に、前記第１の補正制御を実行することを特徴とする。
撮像画像の像ブレを補正手段の駆動により補正する補正制御手段と、
前記撮像画像における流し撮り用の被写体を指定するための指定領域を決定する決定手段と、
被写体に焦点を合わせる焦点制御を実行する焦点制御手段と、
前記撮像画像に基づいて動きベクトルを取得する取得手段と、を有し、
前記補正制御手段は、流し撮り制御手段と、手振れ補正制御手段と、を含み、
流し撮りが行われる場合に、前記補正制御手段が、前記指定領域の動きに基づいて前記流し撮り制御手段を駆動して、前記指定領域に係る像ブレを補正する第１の補正制御を実行した後に、前記焦点制御手段が、前記焦点制御を実行する、と共に、
流し撮りを行わない場合には、前記補正制御手段が、前記手振れ補正制御手段により手振れ補正制御を行い、
前記補正制御手段は、前記焦点制御手段が前記焦点制御を実行した後に、前記取得手段により取得される動きベクトルに基づいて前記補正手段を駆動して、前記被写体に係る像ブレを補正する第２の補正制御を実行し、前記第２の補正制御による像ブレの補正余地がある場合に、前記第１の補正制御を実行することを特徴とする。
【発明の効果】
【0008】
本発明の画像処理装置によれば、被写体に焦点が合う前に像ブレ補正制御を行って、流し撮りをアシストすることができる。
【図面の簡単な説明】
【0009】
【図1】撮像装置の構成を示す図である。
【図2】撮像装置の機能ブロック図の一例である。
【図3】視線情報の検出方法を説明する図である。
【図4】眼球像と、眼球用撮像素子の出力強度を説明する図である。
【図5】視線情報の検出処理を説明するフローチャートである。
【図6】手振れ補正制御と流し撮りアシスト用の制御に関する構成である。
【図7】動体である被写体の撮影シーンの例を示す図である。
【図8】動きベクトルに関するヒストグラムである。
【図9】流し撮りアシスト用の制御を説明するフローチャートである。
【図10】注視枠角速度、被写体角速度の算出処理を説明する図である。
【図11】動体である被写体の撮影シーンの例を示す図である。
【図12】流し撮りアシスト用の制御を説明するフローチャートである。
【図13】注視枠角速度、被写体角速度の算出処理を説明する図である。
【図14】動体である被写体の撮影シーンの例を示す図である。
【図15】流し撮りアシスト用の制御を説明するフローチャートである。
【図16】被写体候補の検出と動きベクトルの検出枠の設定を説明する図である。
【図17】被写体候補の検出と動きベクトルの検出枠の設定を説明する図である。
【図18】流し撮りアシスト用の制御を説明するフローチャートである。
【図19】流し撮り時の被写体を示す図である。
【発明を実施するための形態】
【0010】
［第１実施形態]
図１は、本実施形態の画像処理装置の一例である撮像装置の構成を示す図である。
図１では、本実施形態の撮像装置として、デジタルカメラ１００を例にとって説明する。本発明は、デジタルカメラ１００に限らず、焦点制御の前に流し撮りアシスト用の制御を実行する任意の画像処理装置、光学機器等に適用できる。デジタルカメラ１００は、照明光源１３乃至照明光源駆動回路２０５を有する。撮像レンズユニット１０１は、フォーカスレンズや防振レンズを含む複数のレンズ群および絞りを備える。撮影の際、撮像レンズユニット１０１は、ＣＰＵ等を有するシステム制御部１１８に制御されて、フォーカス調節、露出調節、像ブレ補正等を行う。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
図１は、本実施形態の画像処理装置の一例である撮像装置の構成を示す図である。
図１では、本実施形態の撮像装置として、デジタルカメラ１００を例にとって説明する。本発明は、デジタルカメラ１００に限らず、焦点制御の前に流し撮りアシスト用の制御を実行する任意の画像処理装置、光学機器等に適用できる。デジタルカメラ１００は、照明光源１３乃至照明光源駆動回路２０５を有する。撮像レンズユニット１０１は、フォーカスレンズや防振レンズを含む複数のレンズ群および絞りを備える。撮影の際、撮像レンズユニット１０１は、ＣＰＵ等を有するシステム制御部１１８に制御されて、フォーカス調節、露出調節、像ブレ補正等を行う。ＣＰＵは、Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔの略称である。
【0011】
撮像素子１０２は、撮像レンズユニット１０１を介して被写体光を受光し、電気信号（アナログ画像信号）に光電変換して、撮像画像に係る画像信号（アナログ画像信号）を出力する。撮像素子は、ＣＣＤやＣＭＯＳセンサ等を有する。ＣＣＤは、Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅの略称である。ＣＭＯＳは、Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒの略称である。
【0012】
Ａ／Ｄ変換部１０３は、撮像素子１０２からのアナログ画像信号をデジタル画像信号に変換する。変換後の画像信号に係る画像データは、画像処理部１０４に入力される。バス１１６は、システム制御部１１８から各ブロックの制御信号を伝送するためのシステムバスである。バス１１７は、主に画像データを転送するためのデータバスである。
【0013】
システム制御部１１８は、デジタルカメラ１００全体を制御する。システム制御部１１８は、ＲＯＭ１０９に記録された制御プログラムを実行することにより、本実施形態の各処理を実現する。ＲＯＭは、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙの略称である。システム制御部１１８は、バス１１６を介して、画像処理部１０４、データ転送部１０５、メモリ制御部１０６、不揮発性メモリ制御部１０８、記録メディア制御部１１０、表示制御部１１２、操作部１１５、撮像素子１０２を制御する。また、システム制御部１１８は、デジタルカメラ１００が有する各処理部の制御処理の際に必要となる演算も行う。さらに、システム制御部１１８は、例えば、撮像レンズユニット１０１が有するレンズ、絞りの制御、焦点距離等の情報取得等の処理も実行する。
【0014】
データ転送部１０５は、データ転送を行う複数のＤＭＡＣを有する。ＤＭＡＣは、Ｄｉｒｅｃｔ Ｍｅｍｏｒｙ Ａｃｃｅｓｓ Ｃｏｎｔｒｏｌｌｅｒの略称である。ＤＲＡＭ１０７は、データを記憶する記憶手段（メモリ）である。ＤＲＡＭは、Ｄｙｎａｍｉｃ
Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＤＲＡＭ１０７は、所定枚数の静止画像、所定時間の動画像、音声等のデータ、システム制御部１１８の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える。メモリ制御部１０６は、システム制御部１１８或いはデータ転送部１０５からの指示に応じて、ＤＲＡＭ１０７へのデータ書き込み及びデータ読み出しを行う。
Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙの略称である。ＤＲＡＭ１０７は、所定枚数の静止画像、所定時間の動画像、音声等のデータ、システム制御部１１８の動作用の定数、プログラム等を格納するのに十分な記憶容量を備える。メモリ制御部１０６は、システム制御部１１８或いはデータ転送部１０５からの指示に応じて、ＤＲＡＭ１０７へのデータ書き込み及びデータ読み出しを行う。
【0015】
不揮発性メモリ制御部１０８は、システム制御部１１８からの指示に応じて、ＲＯＭ１０９にデータの書き込み及び読み出しを行う。ＲＯＭ１０９は、電気的に消去・記録可能なメモリであり、ＥＥＰＲＯＭ等が用いられる。ＲＯＭ１０９には、システム制御部１１９の動作用の定数、プログラム等が記憶される。
【0016】
画像処理部１０４は、各種の画像処理を行う機能部と、バッファメモリ等を有する。画像処理部１０４は、画像データに対して、倍率色収差補正、現像処理、ノイズリダクション処理、幾何変形、拡縮といったリサイズなどの処理を行う。また、画像処理部１０４は、Ａ／Ｄ変換器１０３により変換された画像データに対して、画素補正、黒レベル補正、シェーディング補正、傷補正などを行う。
【0017】
記録メディア１１１は、ＳＤカード等の記録媒体である。記録メディア１１１は、記録メディア制御部１１０により制御され、画像データの記録や、記録データの読み出しを行う。表示部１１３は、液晶ディスプレイや電子ビューファインダーを有する。表示部１１３は、表示制御部１１２により制御され、画像処理部１０４から転送された各種の画像データやメニュー画面などを表示する。また、静止画撮影の撮影前や、動画撮影時には、表示部１１３は、Ａ／Ｄ変換部１０３から入力された画像データをリアルタイムで処理して、表示する。操作部１１５は、ユーザにより操作される切り替えスイッチやボタン、タッチパネル等を含む。操作部１１５は、電源のＯＮ／ＯＦＦ、シャッタのＯＮ／ＯＦＦ等の操作に使用される。ユーザは、切り替えスイッチを操作して、流し撮りモードなどの各種モードを設定可能である。
【0018】
照明光源（以下、単に光源ともいう）１３は、照明光を照射する光源である。照明光源駆動回路２０５は、照明光源１３を駆動する。眼球用撮像素子１７は、ユーザ（観察者）の眼球像を光電変換する撮像素子である。測光回路２０２は、適正露出を算出するために必要な、被写体の明るさを測定する。自動焦点検出回路２０３は、自動で被写体に焦点を合わせる焦点制御を実行する。
【0019】
図２は、本実施形態の撮像装置の機能ブロック図の一例である。
図１及び図２において、対応する構成要素は同じ番号で表記されている。本実施形態の撮像装置であるデジタルカメラ１００は、カメラ本体１Ｂと、交換レンズ１Ａとを有する。交換レンズ１Ａは、カメラ本体１Ｂに着脱可能である。カメラ本体１Ｂを本実施形態の撮像装置としてもよい。また、本発明は、レンズ一体型のカメラにも適用可能である。
図１及び図２において、対応する構成要素は同じ番号で表記されている。本実施形態の撮像装置であるデジタルカメラ１００は、カメラ本体１Ｂと、交換レンズ１Ａとを有する。交換レンズ１Ａは、カメラ本体１Ｂに着脱可能である。カメラ本体１Ｂを本実施形態の撮像装置としてもよい。また、本発明は、レンズ一体型のカメラにも適用可能である。
【0020】
交換レンズ１Ａは、撮影レンズユニット１０１乃至マウント接点部２１１５を有する。また、カメラ本体１Ｂは、接眼レンズ１２乃至角速度センサ２１７１を有する。まず、交換レンズ１Ａに関して説明する。
【0021】
撮影レンズユニット１０１は、撮像光学系２１０２、ズームレンズ群２１０３、およびシフトレンズ群（以下、単にシフトレンズともいう）２１０４を有する。撮像光学系２１０２は、固定レンズ群やフォーカスレンズ等を備える。ズームレンズ群２１０３は、焦点距離を変更可能な光学部材である。シフトレンズ群２１０４は、デジタルカメラ１００の振れにより撮像画像に生じる像ブレを補正するための振れ補正光学系である。シフトレンズ群２１０４は、レンズ制御部２１１２の制御によって、撮像光学系２１０２の光軸と垂直な方向に駆動することで、被写体からの光の結像位置を変更して、像ブレを補正する。なお、撮像素子１０２を振れ補正光学系として適用し、例えば、カメラ制御部２１４３が、撮像素子１０２を光軸と垂直な方向または回転方向に駆動することで、像ブレを補正するようにしてもよい。
【0022】
ズームエンコーダ２１０６は、ズームレンズ群２１０３の位置を検出する。位置センサ２１０５は、シフトレンズ群２１０４の位置を検出する。角速度センサ２１１１は、デジタルカメラ１００の振れ（角速度）を検出する振れ検出手段の一例である。角速度センサ２１１１は、検出した振れを示す信号（振れ検出信号）を出力する。
【0023】
レンズ制御部２１１２は、交換レンズ１Ａ全体を制御する。レンズ制御部２１１２は、ドライバ２１１３を介してシフトレンズ群２１０４の駆動制御を行う。アンプ２１１４は位置センサ２１０５の出力を増幅し、シフトレンズ群２１０４の位置検出信号をレンズ制御部２１１２に出力する。
【0024】
交換レンズ１Ａが有するマウント接点部２１１５は、カメラ本体１Ｂが有するマウント接点部２１４４と接続される。これにより、交換レンズ１Ａとカメラ本体１Ｂとの間での通信が可能となる。
【0025】
レンズ制御部２１１２は、手振れ補正制御部２１２１と流し撮り制御部２１２２とを備える。手振れ補正制御部２１２１は、手振れ補正制御を行う。手振れ補正制御は、手振れ等によるデジタルカメラ１００の振れにより生じる撮像画像のブレ（像ブレ）をシフトレンズ群２１０４の駆動により補正する制御である。流し撮り制御部２１２２は、流し撮りアシスト用の制御を行う。流し撮りアシスト用の制御は、流し撮り時における被写体に係る像ブレをシフトレンズ群２１０４の駆動により補正する制御である。
【0026】
また、レンズ制御部２１１２は、フォーカスレンズの移動による焦点制御や、絞り制御等も行うが、その説明は省略する。また、手振れ補正制御部２１２１による手振れ補正制御では、例えば横方向と縦方向といった、直交する２軸に関して振れの検出および補正が行われるが、２軸のうちの一方に関しての処理は、他方に関しての処理と同様であるので、１軸分のみ説明する。
【0027】
次に、カメラ本体１Ｂに関して説明する。シャッタ２１３２は、露光時間を制御する。タイミングジェネレータ（ＴＧ）２１３６は、撮像素子１０２やアナログ信号処理回路２１３４の動作タイミングを設定する。アナログ信号処理回路（ＡＦＥ）２１３４は、撮像素子１０２の出力信号を処理して、カメラ信号処理回路２１３５に供給する。カメラ信号処理回路２１３５は、ＣＰＵ１１４と、画像処理部１０４と、動きベクトル検出部２１５１とを備える。ＣＰＵ１１４は、カメラ信号処理回路２１３５全体を制御する。画像処理部１０４は、図１を参照して説明した画像処理を実行する。画像処理後の信号は、記録用の信号として記録メディア１１１に出力される。また、画像処理後の信号は、表示用の信号として表示部１１３に出力される。動きベクトル検出部２１５１は、撮像素子１０２の出力信号に基づいて、撮像時刻が異なる複数の撮像画像から動きベクトルを検出する。
【0028】
カメラ制御部２１４３は、カメラ本体１Ｂ全体を制御する。カメラ制御部２１４３は、シャッタ制御部２１６１、被写体角速度算出部２１６２、シャッタ速度算出部２１６３を備える。シャッタ制御部２１６１はドライバ２１３８を介してシャッタ駆動用モータ２１３９を制御し、シャッタ２１３２の動作を制御する。被写体角速度算出部２１６２は、被写体の角速度（被写体角速度）を算出する。被写体角速度算出部２１６２は、例えば、動きベクトル検出部２１５１によって検出された動きベクトルに基づいて、被写体の角速度を算出する。シャッタ速度算出部２１６３は、流し撮りモードが設定されたときのシャッタ速度を算出する。
【0029】
また、レンズ制御部２１１２とカメラ制御部２１４３とは、マウント接点部２１１５および２１４４を介して所定のタイミングでシリアル通信を行う。角速度センサ２１７１はカメラ本体１Ｂの振れを検出し、振れ検出信号をカメラ制御部２１４３に出力する。距離取得部２１８１は、被写体の距離情報（深度情報）を取得してカメラ信号処理回路２１３５に出力する。距離情報は、奥行き方向におけるデジタルカメラ１００と被写体との距離関係を示す情報である。
【0030】
ユーザが、操作部１１５が有する電源スイッチを操作し、デジタルカメラ１００の電源がＯＮになると、電源がＯＮになったことをカメラ制御部２１４３が検出する。カメラ制御部２１４３は、カメラ本体１Ｂの各回路への電源供給および初期設定を行う。また、交換レンズ１Ａへの電源供給が行われ、レンズ制御部２１１２が、交換レンズ１Ａ内の初期設定を行う。カメラ制御部２１４３とレンズ制御部２１１２とが通信可能な状態となった後、両者の間で所定のタイミングで通信が開始される。カメラ制御部２１４３からレンズ制御部２１１２への通信では、カメラ本体１Ｂの状態、撮影設定情報等が送信される。また、レンズ制御部２１１２からカメラ制御部２１４３への通信では、交換レンズ１Ａの焦点距離情報、角速度情報等が送信される。
【0031】
光源１３ａ，１３ｂは、観察者であるユーザの眼球１４を照明光で照明するための光源である。光源の角膜反射による像（角膜反射像）と瞳孔との関係から、ユーザの視線情報（視線方向）が検出される。光源１３ａ，１３ｂは、例えば赤外発光ダイオードを有し、接眼レンズ１２の周りに配置されている。眼球像と角膜反射像は、接眼レンズ１２を透過し、光分割器１５で反射され、受光レンズ１６によって、ＣＣＤ等の光電素子列が２次元的に配置された眼球用撮像素子１７上に結像される。受光レンズ１６は、ユーザの眼球１４の瞳孔と眼球用撮像素子１７を共役な結像関係に位置付けている。カメラ信号処理回路２１３５は、カメラ制御２１４３の制御にしたがって、眼球用撮像素子１７上に結像された眼球像と角膜反射像の位置関係から、後述する所定のアルゴリズムで視線情報を検出する。
【0032】
図３は、視線情報の検出方法を説明する図である。また、図４は、眼球像と、眼球用撮像素子の出力強度を説明する図である。図４（Ａ）は、眼球用撮像素子１７に投影される眼球像を示す図である。図４（Ｂ）は、眼球用撮像素子１７におけるＣＣＤの出力強度を示す。また、図５は、視線情報の検出処理の例を説明するフローチャートである。図３乃至図５を参照して説明する処理は、主に、カメラ信号処理回路２１３５が有するＣＰＵ１１４の制御にしたがって実行される。なお、図５中のＳは、フローチャート中の各処理に対応するステップ番号を示す。
【0033】
図３には、視線情報の検出を行うための光学系が示される。光源１３ａ，１３ｂは、ユーザに対して不感の赤外光を放射する発光ダイオード等の光源である。各光源は受光レンズ１６の光軸に対して略対称に配置され、ユーザの眼球１４を照明光で照明している。眼球１４で反射した照明光の一部は、受光レンズ１６によって、眼球用撮像素子１７に集光する。
【0034】
図５において、視線情報の検出ルーチンが開始する。Ｓ５０１において、光源１３ａ，１３ｂが、ユーザ（観察者）の眼球１４に向けて赤外光を放射する。赤外光によって照明されたユーザの眼球像は、眼球用撮像素子１７上に受光レンズ１６を通して結像し、眼球用撮像素子１７により光電変換される。これにより、眼球像は、電気信号として処理が可能となる。
【0035】
Ｓ５０２において、眼球用撮像素子１７から得られた眼球画像信号がＣＰＵ１１４に送られる。Ｓ５０３において、ＣＰＵ１１４が、Ｓ５０２において得られた眼球画像信号の情報に基づき、図３に示す光源１３ａ，１３ｂの角膜反射像Ｐｄ，Ｐｅと瞳孔中心ｃに対応する点の座標を求める。光源１３ａ，１３ｂより放射された赤外光は、ユーザの眼球１４の角膜１４２を照明する。このとき、角膜１４２の表面で反射した赤外光の一部により形成される角膜反射像Ｐｄ，Ｐｅが、受光レンズ１６により集光され、眼球用撮像素子１７上に結像する（図示の点Ｐｄ'，Ｐｅ' ）。同様に、瞳孔１４１の端部ａ，ｂからの光束も、眼球用撮像素子１７上に結像する。
【0036】
図４（Ａ）は、眼球用撮像素子１７から得られる反射像の画像の一例を示す。図４（Ｂ）は、図４（Ａ）中の画像の領域αにおける、眼球用撮像素子１７から得られる輝度情報の一例を示す。図４（Ｂ）において、水平方向をＸ軸、垂直方向をＹ軸とする。また、光源１３ａ，１３ｂの角膜反射像が結像した像Ｐｄ' ，Ｐｅ' のＸ軸方向（水平方向）の座標をＸｄ，Ｘｅとする。また、瞳孔１４ｂの端部ａ，ｂからの光束の結像による像ａ’，ｂ’のＸ軸方向の座標をＸａ，Ｘｂとする。
【0037】
図４（Ｂ）に示すグラフにおける、光源１３ａ，１３ｂの角膜反射像の結像による像Ｐｄ' ，Ｐｅ' に相当する位置Ｘｄ，Ｘｅでは、極端に強いレベルの輝度が得られている。瞳孔１４１の領域に相当する、座標ＸａからＸｂの間の領域は、Ｘｄ，Ｘｅの位置を除き、極端に低いレベルの輝度が得られる。一方、瞳孔１４１の外側の光彩１４３の領域に相当する、Ｘａより低いＸ座標の値を持つ領域及びＸｂより高いＸ座標の値を持つ領域では、上記２種の輝度レベルの中間の値が得られる。上記Ｘ座標位置に対する輝度レベルの変動情報から、光源１３ａ，１３ｂの角膜反射像の結像による像Ｐｄ' ，Ｐｅ' のＸ座標であるＸｄ，Ｘｅと、瞳孔端の像ａ’，ｂ’のＸ座標であるＸａ、Ｘｂを得ることができる。
【0038】
また、受光レンズ１６の光軸に対する眼球１４の光軸の回転角θｘが小さい場合、眼球用撮像素子１７上に結像する瞳孔中心ｃに相当する箇所（ｃ' ）の座標Ｘｃは、以下の式（１）で表すことができる。
Ｘｃ≒（Ｘａ＋Ｘｂ）／２・・・式（１）
上記より、眼球用撮像素子１７上に結像する瞳孔中心に相当するｃ' のＸ座標、光源１３ａ，１３ｂの角膜反射像Ｐｄ' ，Ｐｅ' の座標を求めることができた。
Ｘｃ≒（Ｘａ＋Ｘｂ）／２・・・式（１）
上記より、眼球用撮像素子１７上に結像する瞳孔中心に相当するｃ' のＸ座標、光源１３ａ，１３ｂの角膜反射像Ｐｄ' ，Ｐｅ' の座標を求めることができた。
【0039】
図５の説明に戻る。Ｓ５０４において、ＣＰＵ１１４が、眼球像の結像倍率βを算出する。βは、受光レンズ１６に対する眼球１４の位置により決まる倍率であり、実質的には角膜反射像Ｐｄ' ，Ｐｅ' の間隔（Ｘｄ－Ｘｅ）の関数として求めることができる。
【0040】
次に、Ｓ５０５において、ＣＰＵ１１４が、眼球１４の回転角θｘ，θｙを演算する。θｘは、眼球１４のＺ－Ｘ平面内の回転角である。また、θｙは、眼球１４がＸ軸に垂直な平面内（Ｚ－Ｙ平面内）で回転する場合の回転角である。すなわち、θｘ，θｙは、ユーザの視線方向に相当する。
【0041】
角膜反射像ＰｄとＰｅとの中点のＸ座標と、角膜１４２の曲率中心ＯのＸ座標とは、ほぼ一致する。したがって、角膜１４２の曲率中心Ｏと、瞳孔１４１の中心ｃまでの標準的な距離をＯｃとすると、θｘは、下記の式（２）によって求めることができる。
β× Ｏｃ× ＳＩＮθＸ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ・・・式（２）
θｙの算出方法は、θｘの算出方法と同様である。
β× Ｏｃ× ＳＩＮθＸ≒｛（Ｘｄ＋Ｘｅ）／２｝－Ｘｃ・・・式（２）
θｙの算出方法は、θｘの算出方法と同様である。
【0042】
次に、Ｓ５０６において、ＣＰＵ１１４が、Ｓ５０７での処理に必要な係数データをメモリ（ＤＲＡＭ１０７）から読み込む。読み込まれる係数データは、後述する係数ｍ，Ａｘ，Ｂｘ，Ａｙ，Ｂｙである。
【0043】
次に、Ｓ５０７において、ＣＰＵ１１４が、θｘ，θｙと、Ｓ５０６で読み込んだ係数データとを用いて、表示部１１３上での注視点位置座標（Ｈｘ，Ｈｙ）を算出する。注視点位置座標は、表示部１１３上での、ユーザの視線によって指定されている位置、すなわちユーザが注視している点（注視点）の位置である。より具体的には、注視点位置座標（Ｈｘ，Ｈｙ）は、表示部１１３上での瞳孔１４１の中心ｃに対応する座標である。Ｈｘ，Ｈｙは、以下の式（３），式（４）によって算出することができる。
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）・・・式（３）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ）・・・式（４）
係数ｍは、デジタルカメラ１００のファインダ光学系の構成で定まる定数である。具体的には、係数ｍは、回転角θｘ、θｙを表示部１１３上での瞳孔１４１の中心ｃに対応する位置座標に変換するために用いられる変換係数である。また、Ａｘ，Ｂｘ，Ａｙ，Ｂｙは、ユーザの視線の個人差を補正するために用いられる視線補正係数である。Ａｘ，Ｂｘ，Ａｙ，Ｂｙは、所定のキャリブレーション作業を行うことで取得され、予めメモリに記憶されている。
Ｈｘ＝ｍ×（Ａｘ×θｘ＋Ｂｘ）・・・式（３）
Ｈｙ＝ｍ×（Ａｙ×θｙ＋Ｂｙ）・・・式（４）
係数ｍは、デジタルカメラ１００のファインダ光学系の構成で定まる定数である。具体的には、係数ｍは、回転角θｘ、θｙを表示部１１３上での瞳孔１４１の中心ｃに対応する位置座標に変換するために用いられる変換係数である。また、Ａｘ，Ｂｘ，Ａｙ，Ｂｙは、ユーザの視線の個人差を補正するために用いられる視線補正係数である。Ａｘ，Ｂｘ，Ａｙ，Ｂｙは、所定のキャリブレーション作業を行うことで取得され、予めメモリに記憶されている。
【0044】
次に、Ｓ５０８において、ＣＰＵ１１４が、メモリに注視点位置座標を記憶する。また、ＣＰＵ１１４が、ユーザの視線によって指定された位置が、ある領域に留まっていた時間を注視時間として計測し、メモリに記憶する。そして、視線検出ルーチンが終了する。Ｓ５０８の処理で記憶された注視点位置座標が、ユーザの視線情報に相当する。視線情報に、注視時間を含めてもよい。光源１３ａ，１３ｂの角膜反射像を利用した注視点位置座標の取得手法を例示したが、本発明は、眼球像から眼球回転角度を取得する任意の手法を適用可能である。
【0045】
図６は、デジタルカメラ１００が有する、手振れ補正制御と流し撮りアシスト用の制御に関する構成例を示す図である。
図１及び図２と共通の構成要素については、既に使用した符号を付すことで、詳細な説明を省略する。
ユーザは、操作部１１５の切り替えスイッチを操作することにより、撮影モードを通常モードと流し撮りモードとに切り替え可能である。通常モードが選択された場合、交換レンズ１Ａ内では、角速度センサ２１１１が、手振れ等によりデジタルカメラ１００に加わる振れ（角速度）を検出する。手振れ補正制御部１２１は、角速度センサ２１１１による振れ検出信号に基づいて、シフトレンズ群２１０４の駆動制御を行う。これにより、手振れ補正制御が行われ、撮像画像に係る像ブレが低減される。
図１及び図２と共通の構成要素については、既に使用した符号を付すことで、詳細な説明を省略する。
ユーザは、操作部１１５の切り替えスイッチを操作することにより、撮影モードを通常モードと流し撮りモードとに切り替え可能である。通常モードが選択された場合、交換レンズ１Ａ内では、角速度センサ２１１１が、手振れ等によりデジタルカメラ１００に加わる振れ（角速度）を検出する。手振れ補正制御部１２１は、角速度センサ２１１１による振れ検出信号に基づいて、シフトレンズ群２１０４の駆動制御を行う。これにより、手振れ補正制御が行われ、撮像画像に係る像ブレが低減される。
【0046】
手振れ補正制御部２１２１が有するオフセット除去部６０１は、角速度センサ２１１１による振れ検出信号に含まれるオフセットを除去する。オフセット除去部６０１は、例えば、不図示のハイパスフィルタ（ＨＰＦ）等を有するフィルタ演算部によって、振れ検出信号に含まれている直流成分を除去する。利得位相算出部６０２は、オフセット除去部６０１の出力を取得し、増幅および位相補償を行う。利得位相算出部６０２は、オフセット成分が除去された角速度信号に対し、所定のゲインで増幅する増幅器、および位相補償フィルタを有する。積分器６０３は、利得位相算出部６０２の出力を積分する。積分器６０３は任意の周波数帯域で、その特性を変更し得る機能を有しており、シフトレンズ群２１０４の駆動量を算出する。
【0047】
また、手振れ補正制御部２１２１は、パンニング／チルティング動作がされているかを判定する。例えば、角速度センサ２１１１による振れ検出信号が示す角速度が、所定の閾値以上の大きさであって、所定時間が経過した場合、手振れ補正制御部２１２１は、デジタルカメラ１００が、例えばパンニング動作中であると判定する。手振れ補正制御部２１２１が、さらに、前述した視線検出ルーチンで求まった視線情報に基づいて、ユーザが被写体を注視していると判定した場合に、デジタルカメラ１００がパンニング動作中であると判定するようにしてもよい。手振れ補正制御部２１２１は、パンニング／チルティング動作がされているかを判定した場合、オフセット除去部６０１内のＨＰＦのカットオフ周波数を高周波側に徐々に変更する。手振れ補正制御部２１２１は、カットオフ周波数を高周波側へ徐々に変更し、手振れ補正制御の目標信号を徐々に小さくすることで、シフトレンズ群２１０４を光学中心位置に戻す制御を行う。この制御を行わない場合には、パンニング動作と判定されるほどの大きな振れの角速度検出信号によって手振れ補正制御が行われる。その結果、シフトレンズ群２１０４が補正限界点（制御範囲の限界位置）に到達し、ユーザには、不自然な撮影画角の変化が画面上で見える可能性がある。ＨＰＦのカットオフ周波数を高周波側へ徐々に変更する処理を行うことで、このような現象の発生を防止できる。
【0048】
像ブレ補正制御判定部（以下、制御判定部という）６０４は、積分器６０３と積分器６２５の各出力を取得し、カメラ情報取得部６２６の出力に応じて、シフトレンズ群２１０４を駆動させるための信号を、以下のように切り替える。
（１）撮影モードが流し撮りモードに設定されている場合は、制御判定部６０４は、流し撮り制御部２１２２で算出された積分器２２５の出力を選択する。
（２）撮影モードが流し撮りモード以外に設定されている場合は、制御判定部６０４は、手振れ補正制御部２１２１で算出された積分器６０３の出力を選択する。
（１）撮影モードが流し撮りモードに設定されている場合は、制御判定部６０４は、流し撮り制御部２１２２で算出された積分器２２５の出力を選択する。
（２）撮影モードが流し撮りモード以外に設定されている場合は、制御判定部６０４は、手振れ補正制御部２１２１で算出された積分器６０３の出力を選択する。
【0049】
位置センサ２１０５は、シフトレンズ群２１０４の位置を検出して、位置検出信号を出力する。アンプ２１１４は、位置検出信号を増幅する。Ａ／Ｄ変換器６０６は、アンプ２１１４が増幅した位置検出信号をデジタル化して減算器６０５に出力する。減算器６０５は、制御判定部６０４の出力を正入力とし、Ａ／Ｄ変換器６０６の出力を負入力として減算を行い、減算結果である偏差データを制御器６０７へ出力する。制御器６０７は、減算器６０５が出力する偏差データに対し、所定のゲインで増幅する増幅器、および位相補償フィルタを備える。偏差データは、制御器６０７において増幅器および位相補償フィルタによって処理された後、パルス幅変調部６０８に出力される。パルス幅変調部６０８は、制御器６０７の出力データを取得し、ＰＷＭ波形に変調して、シフトレンズ駆動用のドライバ２１１３へ出力する。シフトレンズ群２１０４の駆動には、ボイスコイル型モータが使用され、ドライバ２１１３は、パルス幅変調部６０８の出力にしたがって、シフトレンズ群２１０４を光軸と垂直な方向に移動させる。これにより、手振れ補正制御が実現できる。
【0050】
次に、流し撮りモードが設定されている場合における、流し撮りアシスト用の制御について説明する。ユーザが図２の操作部１１５により、撮影モードを流し撮りモードに設定する操作を行うと、カメラ制御部２１４３は、像ブレ補正に関する制御を流し撮りアシスト用の制御に切り替える。像ブレ補正に関する制御が流し撮りアシスト用の制御に切り替わったことが、カメラ制御部２１４３からレンズ制御部２１１２へと送信されると、レンズ制御部２１１２においても、像ブレ補正に関する制御が流し撮りアシスト用の制御に切り替わる。
【0051】
流し撮り制御部２１２２が有するカメラ情報取得部６２６は、通信制御部６１１を介してカメラ制御部２１４３から送信される各種のカメラ情報を取得する。カメラ情報は、流し撮りアシストモードの設定情報やレリーズ情報等である。カメラ情報取得部６２６は、制御判定部６０４に対して、処理に必要な情報を出力する。角速度出力部６２２は、オフセット除去部６０１の出力、つまりオフセット成分が除去された角速度センサ２１１１による振れ検出信号を取得する。
【0052】
角速度出力部６２２は、通信制御部６１１とマウント接点部２１１５，２１４４を介して、カメラ制御部２１４３へ振れ検出信号を送信する。被写体角速度取得部６２３は、カメラ本体１Ｂ内の被写体角速度算出部２１６２で算出される被写体の角速度データを、マウント接点部２１４４，２１１５と通信制御部６１１を介して取得する。減算器６２４は、オフセット除去部６０１の出力を正入力とし、被写体角速度取得部６２３の出力を負入力として、減算を行う。これにより、被写体角速度取得部６２３による被写体の角速度と、オフセット成分が除去された振れ検出信号が示す角速度との偏差が算出される。減算器６２４は、算出された偏差を積分器６２５に出力する。積分器６２５は、偏差を積分し、積分演算の結果を制御判定部６０４に出力する。
【0053】
カメラ制御部２１４３が有する被写体角速度算出部２１６２が行う被写体の角速度の算出処理では、例えば、画像の動き量を動きベクトルとして検出し、検出した動きベクトルから被写体のベクトル（被写体ベクトル）が検出される。そして、被写体角速度算出部２１６２は、検出された被写体ベクトルに対応する被写体の角速度（被写体角速度）を算出する。
【0054】
以下に、図７および図８を参照して、被写体ベクトルを検出する処理について説明する。流し撮り時には、カメラ信号処理回路２１３５が有する動きベクトル検出部２１５１が、複数の撮像画像（映像情報）から、画像の動きベクトルを検出する。
【0055】
図７は、動体である被写体７０１の撮影シーンの例を示す図である。
撮影画面の水平方向をＸ方向とし、垂直方向をＹ方向と定義する。動きベクトル検出部２１５１により検出される２種類のベクトルは、被写体７０１の部分に対応するベクトルと、背景部分に対応するベクトルである。動きベクトルを検出するための検出枠７０２は、矩形枠で示す複数の検出ブロックを有する。また、図７中には、被写体に焦点を合わせるためのフォーカス枠（焦点検出枠）７０３を示す。
撮影画面の水平方向をＸ方向とし、垂直方向をＹ方向と定義する。動きベクトル検出部２１５１により検出される２種類のベクトルは、被写体７０１の部分に対応するベクトルと、背景部分に対応するベクトルである。動きベクトルを検出するための検出枠７０２は、矩形枠で示す複数の検出ブロックを有する。また、図７中には、被写体に焦点を合わせるためのフォーカス枠（焦点検出枠）７０３を示す。
【0056】
図７に示す検出枠７０２の設定では、流し撮りにおいて被写体に係る像ブレのみを振れ補正光学系で補正するために、検出枠７０２をフォーカス枠７０３の近傍に配置する密集型の配置を行っている。つまり、密集型の配置に設定することで、検出枠７０２に対応する各検出ブロックの検出精度を高めることができる。
【0057】
次に、距離取得部２１８１が取得する距離情報と動きベクトル検出部２１５１による動きベクトルとの関係について説明する。前述したように、距離情報（深度情報）は、奥行き方向におけるデジタルカメラ１００と被写体との距離関係を示す情報である。距離情報は、大別して、至近方向の距離と無限方向（無限遠の方向）の距離の２種類に分類することができる。至近方向の距離は、カメラ位置からカメラ側の被写体までの距離であり、フォーカス枠（図７の７０３）に対応する被写体部分の距離情報（近距離情報）である。無限方向の距離は、カメラ位置から背景側の被写体までの距離であり、フォーカス枠に対応していない背景部分の距離情報（遠距離情報）である。
【0058】
距離情報の取得方法として、下記の方法を適用できる。距離取得部２１８１は、位相差検出用のオートフォーカス用センサ（ＡＦセンサ）を用いて距離情報を取得する。例えば、デジタルカメラ１００が、ＡＦ専用の検出部を備え、像信号の位相差が検出されて、像ずれ量またはデフォーカス量等を距離情報として取得できる。距離取得部２１８１が、撮像素子１３３による画像信号からコントラスト検出によりＡＦ用の評価値を取得し、当該評価値を用いて距離情報を取得するようにしてもよい。また、像面位相差検出機能を有する瞳分割型撮像素子を用いてもよい。瞳分割型撮像素子の適用により、撮影レンズを通過する入射光を２方向の光に分けることで一対の像信号が得られる。つまり撮像光学系の異なる瞳部分領域をそれぞれ通過する光を撮像素子の光電変換部が受光する。光電変換後の対をなす像信号の位相差から像ずれ量またはデフォーカス量等を、距離取得部２１８１が距離情報として取得する。
【0059】
カメラ信号処理回路２１３５は、距離取得部２１８１から取得した距離情報に基づいて、図７の検出枠７０２における各検出ブロックに対応する距離情報の重み付けを行う。例えば、背景部分に相当する検出ブロックの距離情報を３０ｍとし、被写体の領域に対応する検出ブロックの距離情報を１０ｍとする重み付け処理が行われる。距離情報を用いることで、被写体ベクトルと背景ベクトルのクラスタリング精度を上けることができる。
【0060】
図８は、動きベクトル検出部２１５１が検出した動きベクトルをヒストグラム（度数分布）演算した結果を示す図である。
図８に示すヒストグラムの横軸はブレ量（単位：ｐｉｘｅｌ）を表し、動きベクトルに相当する。縦軸は動きベクトルの度数を表す。図８（Ａ）は、ユーザが一定の角速度以上でデジタルカメラ１００を振っている方向（例えば、図７の水平方向）のヒストグラムを示す。
図８に示すヒストグラムの横軸はブレ量（単位：ｐｉｘｅｌ）を表し、動きベクトルに相当する。縦軸は動きベクトルの度数を表す。図８（Ａ）は、ユーザが一定の角速度以上でデジタルカメラ１００を振っている方向（例えば、図７の水平方向）のヒストグラムを示す。
【0061】
図７に示す撮影シーンの例では、動きベクトル検出部２１５１により検出されるベクトルは、大別して２種類のベクトルに分類される。被写体振れ（被写体とデジタルカメラ１００の撮影方向とのズレ）に相当する画像の動きベクトルと、背景振れに相当する画像の動きベクトルである。
【0062】
動きベクトル検出部２１５１は、設定された検出ブロック位置での１フレーム前の画像と現行フレームの画像とを比較して、画像の動きを検出する。しかし、画像の動きの検出値だけでは画像の動きが被写体画像の動きであるか背景画像の動きであるかを判別できない場合がある。したがって、本実施形態では、距離情報と角速度センサの出力を使って、動きベクトル検出部２１５１の検出値から被写体ベクトルと背景ベクトルとを分離する。以下では、被写体ベクトルのみを検出する処理について説明する。
【0063】
図８（Ａ）では、ブレ量がゼロの付近に位置する第１のベクトル群８０１と、ブレ量８０３付近に位置する第２のベクトル群８０２とが検出されている。ブレ量８０３は、撮像素子１３３上の動き量に換算した、角速度センサ２１７１の出力である角速度情報に対応する。第２のベクトル群８０２は、ブレ量８０３を中心に一定の範囲８０４内に存在するベクトル群である。一定の範囲８０４は背景判定用の閾値範囲であり、予め設定される。度数の閾値８０５は、有効なベクトルであるか否かを判定するための閾値である。カメラ制御部２１４３は、ブレ量８０３を中心とする一定の範囲８０４内であって、度数が閾値８０５以上であるベクトルを背景ベクトルの候補と判定する。図８（Ａ）に示す例では、第２のベクトル群８０２のうち、閾値８０５以上の度数を持つベクトルが背景ベクトルの候補（背景ベクトル候補）と判定される。また、カメラ制御部２１４３は、範囲８０４外に存在するベクトルであって、度数が閾値８０５以上であるベクトルを被写体ベクトルの候補（被写体ベクトル候補）と判定する。図８（Ａ）の例では、第１のベクトル群８０１のうち、閾値８０５以上の度数を持つベクトルが、被写体ベクトル候補と判定される。
【0064】
本実施形態にて背景判定用の閾値範囲８０４を設けている理由は、例えば角速度センサ２１７１の出力のバラつきや焦点距離のバラつき等に起因する、動きベクトル検出部２１５１の誤検出を防ぐためである。カメラ制御部２１４３は、最終的に、被写体ベクトル候補の距離情報を確認し、至近距離側の情報が取得できている場合、フォーカス枠７０３（図７）に最も近い検出ブロックで検出されたベクトルが被写体ベクトルとして選択される。なお、フォーカス枠７０３に最も近い検出ブロックを起点として、その周囲にある一定数の被写体ベクトルを積算する処理を行ってもよい。本実施形態では、被写体ベクトルの検出に、カメラ本体１Ｂ内の角速度センサ２１７１を使用するが、交換レンズ１Ａ内の角速度センサ２１１１を使用してもよい。また、角速度センサ２１１１，２１７１を併用してもよい。
【0065】
図８（Ｂ）は、ユーザにより一定の角速度以下でカメラを振る動きの方向、または、カメラが移動されていない方向におけるヒストグラムを示す。例えば、図８（Ｂ）は、図７の垂直方向におけるヒストグラムを示す。図８（Ｂ）では、デジタルカメラ１００の振れの角速度が非常に小さいので、動きベクトル検出部２１５１が検出した全ベクトルは、背景判定用の閾値範囲８０４内に含まれる。しかし、実際には、カメラのパンニング（またはチルティング）方向でなくても微小な被写体振れは発生し得る。微小な被写体振れを抽出するために、フォーカス枠７０３に最も近い検出ブロックの距離情報が取得できている場合には、フォーカス枠７０３に最も近い検出ブロックが選定される。なお、フォーカス枠７０３に最も近い検出ブロックを起点として、その周囲にある一定数の被写体ベクトルを積算する処理を行ってもよい。
【0066】
被写体ベクトルが決定された後、被写体角速度算出部２１６２が、被写体角速度を算出する。焦点距離、フレームレート、および撮像素子の画素ピッチを用いて、角速度［ｄｅｇｒｅｅ／ｓｅｃ］から像面移動量［ｐｉｘｅｌ］へ換算する処理とは逆の処理によって、像面移動量［ｐｉｘｅｌ］から角速度［ｄｅｇｒｅｅ／ｓｅｃ］を算出できる。カメラ制御部２１４３は、被写体角速度算出部２１６２が算出した被写体角速度に、交換レンズ１Ａ内の角速度出力部６２２による角速度データを加算した値をレンズ制御部２１１２に対して送信する。マウント接点部２１４４，２１１５を介して、交換レンズ１Ａ内のレンズ制御部２１１２が、カメラ制御部２１４３から送信された情報を受信する。
【0067】
図９は、第１実施形態における流し撮りアシスト用の制御を説明するフローチャートである。
以下の処理は、カメラ制御部２１４３、カメラ信号処理回路２１３５およびレンズ制御部２１１２が、所定の制御プログラムを解釈して実行することにより実現される。すなわち、本実施形態において、カメラ制御部２１４３、カメラ信号処理回路２１３５およびレンズ制御部２１１２は、シフトレンズ群２１０４を駆動して像ブレを補正する制御を実行する補正制御手段として機能する。なお、図９におけるＳは、フローチャート中の各処理に対応するステップ番号を示す。
以下の処理は、カメラ制御部２１４３、カメラ信号処理回路２１３５およびレンズ制御部２１１２が、所定の制御プログラムを解釈して実行することにより実現される。すなわち、本実施形態において、カメラ制御部２１４３、カメラ信号処理回路２１３５およびレンズ制御部２１１２は、シフトレンズ群２１０４を駆動して像ブレを補正する制御を実行する補正制御手段として機能する。なお、図９におけるＳは、フローチャート中の各処理に対応するステップ番号を示す。
【0068】
（Ｓ９０１）流し撮りモードの判定処理
カメラ制御部２１４３は、流し撮りモードの設定が行われたか否かを判定する。流し撮りモードが設定された場合、処理がＳ９０２に進む。通常モードが設定された場合、流し撮りモードの制御は行われず、処理が終了する。
（Ｓ９０２）交換レンズ１Ａの判別処理
カメラ制御部２１４３が、カメラ本体１Ｂに装着された交換レンズ１Ａが、流し撮りモードに対応した交換レンズであるか否かを判定する。交換レンズ１Ａが、流し撮りモードに対応した交換レンズであると判定された場合、処理がＳ９０３に進む。交換レンズ１Ａが、流し撮りモードに対応していない交換レンズであると判定された場合は、処理が終了する。なお、交換レンズ１Ａが流し撮りモードに対応しているか否かの判定処理は、レンズ制御部２１１２からカメラ制御部２１４３へ送信されるレンズ情報の信号に基づいて行われる。コンパクトデジタルカメラ等のようにレンズ通信の機能を有していない場合には、Ｓ９０２の判定処理は不要であり、処理がＳ９０３へ進む。
カメラ制御部２１４３は、流し撮りモードの設定が行われたか否かを判定する。流し撮りモードが設定された場合、処理がＳ９０２に進む。通常モードが設定された場合、流し撮りモードの制御は行われず、処理が終了する。
（Ｓ９０２）交換レンズ１Ａの判別処理
カメラ制御部２１４３が、カメラ本体１Ｂに装着された交換レンズ１Ａが、流し撮りモードに対応した交換レンズであるか否かを判定する。交換レンズ１Ａが、流し撮りモードに対応した交換レンズであると判定された場合、処理がＳ９０３に進む。交換レンズ１Ａが、流し撮りモードに対応していない交換レンズであると判定された場合は、処理が終了する。なお、交換レンズ１Ａが流し撮りモードに対応しているか否かの判定処理は、レンズ制御部２１１２からカメラ制御部２１４３へ送信されるレンズ情報の信号に基づいて行われる。コンパクトデジタルカメラ等のようにレンズ通信の機能を有していない場合には、Ｓ９０２の判定処理は不要であり、処理がＳ９０３へ進む。
【0069】
（Ｓ９０３）注視点位置検出
カメラ信号処理回路２１３５が、図５を参照して説明した処理により、ユーザが注視する注視点位置を検出する。そして、カメラ信号処理回路２１３５は、検出した注視点位置を含む領域（注視領域）を示す注視枠を設定する。注視枠で囲まれた領域が注視領域である。そして、処理がＳ９０４に進む。
なお、注視領域は、ユーザにより指定された、または予め指定された指定領域の一例である。本発明の適用範囲は、ユーザの視線により指定される領域に限定されない。例えば、ユーザが所定の画面上においてタッチ操作等で指定した領域に注視枠を設定してもよい。
カメラ信号処理回路２１３５が、図５を参照して説明した処理により、ユーザが注視する注視点位置を検出する。そして、カメラ信号処理回路２１３５は、検出した注視点位置を含む領域（注視領域）を示す注視枠を設定する。注視枠で囲まれた領域が注視領域である。そして、処理がＳ９０４に進む。
なお、注視領域は、ユーザにより指定された、または予め指定された指定領域の一例である。本発明の適用範囲は、ユーザの視線により指定される領域に限定されない。例えば、ユーザが所定の画面上においてタッチ操作等で指定した領域に注視枠を設定してもよい。
【0070】
図１１は、動体である被写体１１０１の撮影シーンの例を示す図である。
注視枠１１０２は、現フレームにおける注視領域を示す。また、注視枠１１０３は、次フレームにおける注視領域を示す。図９の説明に戻る。
（Ｓ９０４）シフトレンズ群２１０４の位置取得１
カメラ制御部２１４３が、レンズ制御部２１１２から、位置センサ２１０５が検出したシフトレンズ群２１０４の位置情報を取得する。取得されるシフトレンズ群２１０４の位置情報は、動きベクトル検出部２１５１の検出期間と同期した位置センサ２１０５の出力の平均値である。そして、処理がＳ９０５へ進む。
注視枠１１０２は、現フレームにおける注視領域を示す。また、注視枠１１０３は、次フレームにおける注視領域を示す。図９の説明に戻る。
（Ｓ９０４）シフトレンズ群２１０４の位置取得１
カメラ制御部２１４３が、レンズ制御部２１１２から、位置センサ２１０５が検出したシフトレンズ群２１０４の位置情報を取得する。取得されるシフトレンズ群２１０４の位置情報は、動きベクトル検出部２１５１の検出期間と同期した位置センサ２１０５の出力の平均値である。そして、処理がＳ９０５へ進む。
【0071】
（Ｓ９０５）注視枠移動量取得
カメラ制御部２１４３が、連続するフレーム間での注視枠の動きを示す注視枠移動量を取得する。例えば、カメラ制御部２１４３は、図１１中の注視枠１１０２から注視枠１１０３への移動量である注視枠移動量１１０４を取得する。そして、処理がＳ９０６に進む。
（Ｓ９０６）角速度取得１
カメラ制御部２１４３が、レンズ制御部２１１２から、角速度センサ２１１１が検出した振れ検出信号（角速度）を取得する。また、カメラ制御部２１４３が、カメラ本体１Ｂ内の角速度センサ２１７１が検出した振れ検出信号（角速度）を取得する。本ステップで取得される振れ検出信号の値は、Ｓ９０５における注視枠の移動量の取得期間と同期した、角速度センサ２１１１または角速度センサ２１７１の出力の平均値である。そして、処理がＳ９１５に進む。
カメラ制御部２１４３が、連続するフレーム間での注視枠の動きを示す注視枠移動量を取得する。例えば、カメラ制御部２１４３は、図１１中の注視枠１１０２から注視枠１１０３への移動量である注視枠移動量１１０４を取得する。そして、処理がＳ９０６に進む。
（Ｓ９０６）角速度取得１
カメラ制御部２１４３が、レンズ制御部２１１２から、角速度センサ２１１１が検出した振れ検出信号（角速度）を取得する。また、カメラ制御部２１４３が、カメラ本体１Ｂ内の角速度センサ２１７１が検出した振れ検出信号（角速度）を取得する。本ステップで取得される振れ検出信号の値は、Ｓ９０５における注視枠の移動量の取得期間と同期した、角速度センサ２１１１または角速度センサ２１７１の出力の平均値である。そして、処理がＳ９１５に進む。
【0072】
（Ｓ９０７）像面移動量算出１
カメラ制御部２１４３は、Ｓ９０６で取得した角速度を像面移動量へ換算する演算を行う。具体的には、カメラ制御部２１４３は、交換レンズ１Ａ内の角速度センサ２１１１により検出される角速度と、撮像光学系の焦点距離と、フレームレートとに基づいて、像面上での移動量（像面移動量）を算出する。そして、処理がＳ９０８に進む。
（Ｓ９０８）注視枠角速度算出
被写体角速度算出部２１６２が、Ｓ９０５で取得された注視枠移動量１１０４に基づいて、注視枠の角速度（注視枠角速度）を算出する。注視枠角速度は、例えば、図１１の注視枠１１０２から注視枠１１０３への移動に係る角速度である。注視枠角速度の算出処理の詳細については、図１０を参照して後述する。そして、処理がＳ９０９に進む。
カメラ制御部２１４３は、Ｓ９０６で取得した角速度を像面移動量へ換算する演算を行う。具体的には、カメラ制御部２１４３は、交換レンズ１Ａ内の角速度センサ２１１１により検出される角速度と、撮像光学系の焦点距離と、フレームレートとに基づいて、像面上での移動量（像面移動量）を算出する。そして、処理がＳ９０８に進む。
（Ｓ９０８）注視枠角速度算出
被写体角速度算出部２１６２が、Ｓ９０５で取得された注視枠移動量１１０４に基づいて、注視枠の角速度（注視枠角速度）を算出する。注視枠角速度は、例えば、図１１の注視枠１１０２から注視枠１１０３への移動に係る角速度である。注視枠角速度の算出処理の詳細については、図１０を参照して後述する。そして、処理がＳ９０９に進む。
【0073】
（Ｓ９０９）振れ補正光学系の駆動１
レンズ制御部２１１２は、Ｓ９０８で算出された注視枠角速度をカメラ制御部２１４３から受信する。レンズ制御部２１１２の流し撮り制御部２１２２が、注視枠角速度に基づいて、シフトレンズ群２１０４を駆動させる制御量を決定する。ドライバ２１１３は、決定された制御量にしたがってシフトレンズ群２１０４を駆動する。これにより、デジタルカメラ１００の振れに対する注視枠の領域内の画像のブレ（注視領域に係る像ブレ）が補正される。Ｓ９０９における、注視領域に係る像ブレを補正する制御（第１の補正制御）は、後述するＳ９１０の焦点制御の前に実行される。
レンズ制御部２１１２は、Ｓ９０８で算出された注視枠角速度をカメラ制御部２１４３から受信する。レンズ制御部２１１２の流し撮り制御部２１２２が、注視枠角速度に基づいて、シフトレンズ群２１０４を駆動させる制御量を決定する。ドライバ２１１３は、決定された制御量にしたがってシフトレンズ群２１０４を駆動する。これにより、デジタルカメラ１００の振れに対する注視枠の領域内の画像のブレ（注視領域に係る像ブレ）が補正される。Ｓ９０９における、注視領域に係る像ブレを補正する制御（第１の補正制御）は、後述するＳ９１０の焦点制御の前に実行される。
【0074】
（Ｓ９１０）焦点位置制御
レンズ制御部２１１２が、被写体１１０１に焦点を合わせる焦点制御を実行する。像面位相差の検出結果に基づく自動焦点調節が行われる。交換レンズ１Ａ内のズームレンズ群２１０３が駆動し、焦点位置が調節される。そして、処理がＳ９１１に進む。
（Ｓ９１１）距離情報取得
距離取得部２１８１が、撮像画像に関連する距離情報を取得する。また、動きベクトル検出部２１５１が、動きベクトルの検出枠７０２を設定する。そして、処理がＳ９１２に進む。
レンズ制御部２１１２が、被写体１１０１に焦点を合わせる焦点制御を実行する。像面位相差の検出結果に基づく自動焦点調節が行われる。交換レンズ１Ａ内のズームレンズ群２１０３が駆動し、焦点位置が調節される。そして、処理がＳ９１１に進む。
（Ｓ９１１）距離情報取得
距離取得部２１８１が、撮像画像に関連する距離情報を取得する。また、動きベクトル検出部２１５１が、動きベクトルの検出枠７０２を設定する。そして、処理がＳ９１２に進む。
【0075】
（Ｓ９１２）シフトレンズ群２１０４の位置取得２
カメラ制御部２１４３が、レンズ制御部２１１２から、位置センサ２１０５が検出したシフトレンズ群２１０４の位置情報を取得する。取得されるシフトレンズ群２１０４の位置情報は、動きベクトル検出部２１５１による動きベクトルの検出期間と同期した、位置センサ２１０５の出力の平均値である。そして、処理がＳ９１３に進む。
（Ｓ９１３）動きベクトル取得
動きベクトル検出部２１５１が、検出枠７０２内の領域を対象として、画像から動きベクトルを検出する。そして、処理がＳ９１４に進む。
カメラ制御部２１４３が、レンズ制御部２１１２から、位置センサ２１０５が検出したシフトレンズ群２１０４の位置情報を取得する。取得されるシフトレンズ群２１０４の位置情報は、動きベクトル検出部２１５１による動きベクトルの検出期間と同期した、位置センサ２１０５の出力の平均値である。そして、処理がＳ９１３に進む。
（Ｓ９１３）動きベクトル取得
動きベクトル検出部２１５１が、検出枠７０２内の領域を対象として、画像から動きベクトルを検出する。そして、処理がＳ９１４に進む。
【0076】
（Ｓ９１４）角速度取得２
カメラ制御部２１４３が、レンズ制御部２１１２から、角速度センサ２１１１が検出した振れ検出信号（角速度）を取得する。また、カメラ制御部２１４３が、カメラ本体１Ｂ内の角速度センサ２１７１が検出した振れ検出信号（角速度）を取得する。本ステップで取得される振れ検出信号の値は、動きベクトル検出部２１５１による動きベクトルの検出期間と同期した、角速度センサ２１１１または角速度センサ２１７１の出力の平均値である。そして、処理がＳ９１５に進む。
（Ｓ９１５）像面移動量算出２
カメラ制御部２１４３が、Ｓ９１４で取得した角速度を像面移動量へ換算する演算を行う。具体的には、カメラ制御部２１４３は、交換レンズ１Ａ内の角速度センサ２１１１により検出される角速度と、撮像光学系の焦点距離と、フレームレートを用いて、像面上での移動量（像面移動量）を算出する。そして処理がＳ９１６に進む。
カメラ制御部２１４３が、レンズ制御部２１１２から、角速度センサ２１１１が検出した振れ検出信号（角速度）を取得する。また、カメラ制御部２１４３が、カメラ本体１Ｂ内の角速度センサ２１７１が検出した振れ検出信号（角速度）を取得する。本ステップで取得される振れ検出信号の値は、動きベクトル検出部２１５１による動きベクトルの検出期間と同期した、角速度センサ２１１１または角速度センサ２１７１の出力の平均値である。そして、処理がＳ９１５に進む。
（Ｓ９１５）像面移動量算出２
カメラ制御部２１４３が、Ｓ９１４で取得した角速度を像面移動量へ換算する演算を行う。具体的には、カメラ制御部２１４３は、交換レンズ１Ａ内の角速度センサ２１１１により検出される角速度と、撮像光学系の焦点距離と、フレームレートを用いて、像面上での移動量（像面移動量）を算出する。そして処理がＳ９１６に進む。
【0077】
（Ｓ９１６）被写体角速度算出
被写体角速度算出部２１６２は、Ｓ９１３で取得された動きベクトルに基づいて、被写体角速度を算出する。被写体角速度の算出に関しては、図１０を参照して後述する。
（Ｓ９１７）振れ補正光学系の駆動
レンズ制御部２１１２の流し撮り制御部２１２２が、Ｓ９１６で算出された被写体角速度をカメラ制御部２１４３から受信し、露光期間中にシフトレンズ群２１０４を駆動させる制御量を決定する。ドライバ２１１３は、決定された制御量にしたがってシフトレンズ群２１０４を駆動する。これにより、焦点制御（Ｓ９１０）後において、被写体に係る像ブレを補正する制御（第２の補正制御）が実行される。そして、処理が終了する。
被写体角速度算出部２１６２は、Ｓ９１３で取得された動きベクトルに基づいて、被写体角速度を算出する。被写体角速度の算出に関しては、図１０を参照して後述する。
（Ｓ９１７）振れ補正光学系の駆動
レンズ制御部２１１２の流し撮り制御部２１２２が、Ｓ９１６で算出された被写体角速度をカメラ制御部２１４３から受信し、露光期間中にシフトレンズ群２１０４を駆動させる制御量を決定する。ドライバ２１１３は、決定された制御量にしたがってシフトレンズ群２１０４を駆動する。これにより、焦点制御（Ｓ９１０）後において、被写体に係る像ブレを補正する制御（第２の補正制御）が実行される。そして、処理が終了する。
【0078】
図１０は、図９のＳ９０８における注視枠角速度の算出処理と、Ｓ９１７における被写体角速度の算出処理を説明するフローチャートである。図１０中のＳは、フローチャート中の各処理に対応するステップ番号を示す。
（Ｓ１００１）レンズ位置加算
カメラ制御部２１４３が、図９のＳ９０４またはＳ９１２で取得されたシフトレンズ群２１０４の位置情報の値を、動きベクトル検出部２１５１の検出値に加算する処理を実行する。これにより、動きベクトルの検出中に手振れ補正制御によってシフトレンズ群２１０４が駆動されたとしても、被写体振れに係る像を求めることができる。そして、処理がＳ１００２へ進む。
（Ｓ１００１）レンズ位置加算
カメラ制御部２１４３が、図９のＳ９０４またはＳ９１２で取得されたシフトレンズ群２１０４の位置情報の値を、動きベクトル検出部２１５１の検出値に加算する処理を実行する。これにより、動きベクトルの検出中に手振れ補正制御によってシフトレンズ群２１０４が駆動されたとしても、被写体振れに係る像を求めることができる。そして、処理がＳ１００２へ進む。
【0079】
（Ｓ１００２）注視枠角速度の算出処理の判定
カメラ制御部２１４３が、Ｓ９０８の注視枠角速度の算出処理を行うかを判定する。Ｓ９０８の注視枠角速度の算出処理を行う場合は、処理がＳ１００４に進む。Ｓ９０８の注視枠角速度の算出処理ではなく、Ｓ９１７の被写体角速度の算出処理を行う場合は、処理がＳ１０１１に進む。
（Ｓ１００４）注視枠移動量の算出可否の判定
カメラ制御部２１４３が、Ｓ９０５で注視枠移動量１１０４を取得できているかを判定する。注視枠移動量１１０４を取得できている場合は、処理がＳ１００５に進む。注視枠移動量１１０４を取得できていない場合は、処理がＳ１０１７に進む。
カメラ制御部２１４３が、Ｓ９０８の注視枠角速度の算出処理を行うかを判定する。Ｓ９０８の注視枠角速度の算出処理を行う場合は、処理がＳ１００４に進む。Ｓ９０８の注視枠角速度の算出処理ではなく、Ｓ９１７の被写体角速度の算出処理を行う場合は、処理がＳ１０１１に進む。
（Ｓ１００４）注視枠移動量の算出可否の判定
カメラ制御部２１４３が、Ｓ９０５で注視枠移動量１１０４を取得できているかを判定する。注視枠移動量１１０４を取得できている場合は、処理がＳ１００５に進む。注視枠移動量１１０４を取得できていない場合は、処理がＳ１０１７に進む。
【0080】
（Ｓ１００５）注視枠角速度算出
被写体角速度算出部２１６２が、注視枠角速度を算出する。具体的には、図９のＳ９０７またはＳ９１５で角速度から像面移動量を算出した方法とは逆の方法によって、注視枠の像面移動量（注視枠移動量１１０４）から注視枠角速度を算出する処理が行われる。そして、処理がＳ１０１６に進む。
（Ｓ１００６）注視枠振れ補正量算出
カメラ制御部２１４３が、Ｓ１００５で算出された注視枠角速度に対し、角速度出力部６２２（図６）からカメラ制御部２１４３へ送信される角速度の値を加算して、被写体角速度としてレンズ制御部２１１２に送信する。被写体角速度取得部６２３が、カメラ制御部２１４３から受信した被写体角速度を減算器６２４に出力する。減算器６２４は、交換レンズ１Ａ内の角速度センサ２１１１が検出する角速度と、被写体角速度との差分を演算する。積分器６２５は算出された差分を積分し、積分値を像ブレ補正制御の目標制御値（注視枠振れ補正量）として、制御判定部６０４に出力する。注視枠振れ補正量は、注視領域に係る像ブレを補正するための振れ補正光学系の目標制御値である。そして、処理がリターン処理へ移行する。
被写体角速度算出部２１６２が、注視枠角速度を算出する。具体的には、図９のＳ９０７またはＳ９１５で角速度から像面移動量を算出した方法とは逆の方法によって、注視枠の像面移動量（注視枠移動量１１０４）から注視枠角速度を算出する処理が行われる。そして、処理がＳ１０１６に進む。
（Ｓ１００６）注視枠振れ補正量算出
カメラ制御部２１４３が、Ｓ１００５で算出された注視枠角速度に対し、角速度出力部６２２（図６）からカメラ制御部２１４３へ送信される角速度の値を加算して、被写体角速度としてレンズ制御部２１１２に送信する。被写体角速度取得部６２３が、カメラ制御部２１４３から受信した被写体角速度を減算器６２４に出力する。減算器６２４は、交換レンズ１Ａ内の角速度センサ２１１１が検出する角速度と、被写体角速度との差分を演算する。積分器６２５は算出された差分を積分し、積分値を像ブレ補正制御の目標制御値（注視枠振れ補正量）として、制御判定部６０４に出力する。注視枠振れ補正量は、注視領域に係る像ブレを補正するための振れ補正光学系の目標制御値である。そして、処理がリターン処理へ移行する。
【0081】
（Ｓ１０１１）距離情報重み付け
カメラ信号処理回路２１３５が、図９のＳ９１１で取得された距離情報に基づき、図１１の検出枠７０２における各検出ブロックに対応する距離情報の重み付けを行う。そして、処理がＳ１０１２に進む。
（Ｓ１０１２）ヒストグラム生成
カメラ制御部２１４３が、図９のＳ９１３で取得された動きベクトルに基づいて、動きベクトルに関するヒストグラム演算を行う。ヒストグラムの生成後、処理がＳ１０１３に進む。
カメラ信号処理回路２１３５が、図９のＳ９１１で取得された距離情報に基づき、図１１の検出枠７０２における各検出ブロックに対応する距離情報の重み付けを行う。そして、処理がＳ１０１２に進む。
（Ｓ１０１２）ヒストグラム生成
カメラ制御部２１４３が、図９のＳ９１３で取得された動きベクトルに基づいて、動きベクトルに関するヒストグラム演算を行う。ヒストグラムの生成後、処理がＳ１０１３に進む。
【0082】
（Ｓ１０１３）被写体ベクトル候補の検出可否の判定
カメラ制御部２１４３は、生成されたヒストグラムに基づき、被写体ベクトル候補が検出できているか否かを判定する。被写体ベクトル候補が検出できている場合は、処理がＳ１０１４に進む。被写体ベクトル候補が検出できていない場合は、処理がＳ１０１７に進む。
（Ｓ１０１４）被写体ベクトル算出
カメラ制御部２１４３は、被写体ベクトル候補の中から最終的に使用する被写体ベクトルを選択する。例えば、フォーカス枠７０３（図７）の位置に最も近い検出ブロックで被写体ベクトルが検出され、且つその距離情報が取得できている場合に、当該最も近い検出ブロックで検出されたベクトルが被写体ベクトルとして選択される。なお、上記最も近い検出ブロックを起点として、その周囲の被写体ベクトルを積算してもよい。被写体ベクトルの算出後に、処理がＳ１０１５に進む。
カメラ制御部２１４３は、生成されたヒストグラムに基づき、被写体ベクトル候補が検出できているか否かを判定する。被写体ベクトル候補が検出できている場合は、処理がＳ１０１４に進む。被写体ベクトル候補が検出できていない場合は、処理がＳ１０１７に進む。
（Ｓ１０１４）被写体ベクトル算出
カメラ制御部２１４３は、被写体ベクトル候補の中から最終的に使用する被写体ベクトルを選択する。例えば、フォーカス枠７０３（図７）の位置に最も近い検出ブロックで被写体ベクトルが検出され、且つその距離情報が取得できている場合に、当該最も近い検出ブロックで検出されたベクトルが被写体ベクトルとして選択される。なお、上記最も近い検出ブロックを起点として、その周囲の被写体ベクトルを積算してもよい。被写体ベクトルの算出後に、処理がＳ１０１５に進む。
【0083】
（Ｓ１０１５）被写体角速度算出
被写体角速度算出部２１６２が、Ｓ１０１４で算出された被写体ベクトルに対応する被写体の像面移動量に基づき、被写体角速度を算出する。被写体角速度算出部２１６２は、図９のＳ９０７またはＳ９１５で角速度から像面移動量を算出した方法とは逆の方法によって、被写体角速度を算出する。そして、処理がＳ１０１６に進む。
（Ｓ１０１６）被写体振れ補正量算出
カメラ制御部２１４３は、Ｓ１０１５で算出された被写体角速度に対し、角速度出力部６２２からカメラ制御部２１４３へ送信される角速度の値を加算して、レンズ制御部２１１２へ送信する。被写体角速度取得部６２３は、カメラ制御部２１４３からレンズ制御部２１１２へ送信された被写体角速度を取得して減算器６２４に出力する。減算器６２４は、交換レンズ１Ａ内の角速度センサ２１１１が検出した角速度と、被写体角速度との差分を演算する。積分器６２５は、算出された差分を積分し、積分値を被写体に係る像ブレを補正するための振れ補正光学系の目標制御値（被写体振れ補正量）として制御判定部６０４へ出力する。そして、処理がリターン処理へ移行する。
被写体角速度算出部２１６２が、Ｓ１０１４で算出された被写体ベクトルに対応する被写体の像面移動量に基づき、被写体角速度を算出する。被写体角速度算出部２１６２は、図９のＳ９０７またはＳ９１５で角速度から像面移動量を算出した方法とは逆の方法によって、被写体角速度を算出する。そして、処理がＳ１０１６に進む。
（Ｓ１０１６）被写体振れ補正量算出
カメラ制御部２１４３は、Ｓ１０１５で算出された被写体角速度に対し、角速度出力部６２２からカメラ制御部２１４３へ送信される角速度の値を加算して、レンズ制御部２１１２へ送信する。被写体角速度取得部６２３は、カメラ制御部２１４３からレンズ制御部２１１２へ送信された被写体角速度を取得して減算器６２４に出力する。減算器６２４は、交換レンズ１Ａ内の角速度センサ２１１１が検出した角速度と、被写体角速度との差分を演算する。積分器６２５は、算出された差分を積分し、積分値を被写体に係る像ブレを補正するための振れ補正光学系の目標制御値（被写体振れ補正量）として制御判定部６０４へ出力する。そして、処理がリターン処理へ移行する。
【0084】
（Ｓ１０１７）角速度取得
本ステップから、振れ補正光学系の制御が、手振れ補正制御部２１２１による手振れ補正制御に切り替わる。手振れ補正制御部２１２１が、交換レンズ１Ａ内の角速度センサ２１１１が検出した振れ検出信号が示す角速度を取得する。そして、処理がＳ１０１８に進む。
（Ｓ１０１８）オフセット除去
手振れ補正制御部２１２１が、任意の周波数帯域でその特性を変更し得る機能を有するハイパスフィルタを用いて、Ｓ１０１７で取得された振れ検出信号に含まれる低周波数成分を遮断してから高周波数帯域の信号を出力する処理を実行する。これにより、振れ検出信号に重畳しているオフセット成分が除去される。そして、処理がＳ１０１９に進む。
本ステップから、振れ補正光学系の制御が、手振れ補正制御部２１２１による手振れ補正制御に切り替わる。手振れ補正制御部２１２１が、交換レンズ１Ａ内の角速度センサ２１１１が検出した振れ検出信号が示す角速度を取得する。そして、処理がＳ１０１８に進む。
（Ｓ１０１８）オフセット除去
手振れ補正制御部２１２１が、任意の周波数帯域でその特性を変更し得る機能を有するハイパスフィルタを用いて、Ｓ１０１７で取得された振れ検出信号に含まれる低周波数成分を遮断してから高周波数帯域の信号を出力する処理を実行する。これにより、振れ検出信号に重畳しているオフセット成分が除去される。そして、処理がＳ１０１９に進む。
【0085】
（Ｓ１０１９）利得・位相算出
手振れ補正制御部２１２１が、オフセット成分が除去された振れ検出信号に対して、所定のゲインで増幅し、位相補償を行う。そして、処理がＳ１０２０に進む。
（Ｓ１０２０）手振れ補正量算出
手振れ補正制御部２１２１が、積分器６０３によって、Ｓ１０１９で処理された信号に係る角速度を積分する。積分により得られた角度値は、手振れ補正制御の目標制御値（手振れ補正量）として、制御判定部６０４に出力される。そして、処理がリターン処理へ移行する。
手振れ補正制御部２１２１が、オフセット成分が除去された振れ検出信号に対して、所定のゲインで増幅し、位相補償を行う。そして、処理がＳ１０２０に進む。
（Ｓ１０２０）手振れ補正量算出
手振れ補正制御部２１２１が、積分器６０３によって、Ｓ１０１９で処理された信号に係る角速度を積分する。積分により得られた角度値は、手振れ補正制御の目標制御値（手振れ補正量）として、制御判定部６０４に出力される。そして、処理がリターン処理へ移行する。
【0086】
本実施形態の画像処理装置（デジタルカメラ１００）によれば、流し撮りモード時において、注視領域の動きに基づいて、被写体に焦点が合う前のタイミングで振れ補正光学系の制御を行うことが可能となる。また、焦点制御時に被写体とカメラ動作の角速度ブレが低減されて、像面位相差検出完了までの時間を短縮できる。
【0087】
［第２実施形態］
図１２は、第２実施形態における流し撮りアシスト用の制御を説明するフローチャートである。
第２実施形態におけるデジタルカメラ１００の構成は、第１実施形態におけるデジタルカメラの構成と同様である。以下の処理は、カメラ制御部２１４３、カメラ信号処理回路２１３５およびレンズ制御部２１１２が、所定の制御プログラムを解釈して実行することにより実現される。図１２中のＳは、フローチャート中の各処理に対応するステップ番号を示す。以下に、第２実施形態について、第１実施形態との差異を中心に説明する。Ｓ１２０１乃至Ｓ１２０４は、図９のＳ９０１乃至Ｓ９０４と同様である。
図１２は、第２実施形態における流し撮りアシスト用の制御を説明するフローチャートである。
第２実施形態におけるデジタルカメラ１００の構成は、第１実施形態におけるデジタルカメラの構成と同様である。以下の処理は、カメラ制御部２１４３、カメラ信号処理回路２１３５およびレンズ制御部２１１２が、所定の制御プログラムを解釈して実行することにより実現される。図１２中のＳは、フローチャート中の各処理に対応するステップ番号を示す。以下に、第２実施形態について、第１実施形態との差異を中心に説明する。Ｓ１２０１乃至Ｓ１２０４は、図９のＳ９０１乃至Ｓ９０４と同様である。
【0088】
図１４は、動体である被写体７０１の撮影シーンの例を示す図である。
Ｓ１２０３で検出されたユーザの注視点位置を含む領域が注視枠１４０３となる。図１２の説明に戻る。
（Ｓ１２０５）動きベクトル取得１
動きベクトル検出部２１５１が、図１４の注視枠１４０３と重なるように配置された検出枠７０４における動きを動きベクトルとして検出する。なお、検出枠７０４は、注視枠１４０３を含む所定の領域に配置されていればよく、検出枠７０４の大きさは、注視枠１４０３と一致する必要はない。また、Ｓ１２０５においては、さらに、距離取得部２１８１が、撮像画像に関連する距離情報を取得する。そして、処理がＳ１２０６へ進む。Ｓ１２０６、Ｓ１２０７は、図９のＳ９０６、Ｓ９０７と同様である。
Ｓ１２０３で検出されたユーザの注視点位置を含む領域が注視枠１４０３となる。図１２の説明に戻る。
（Ｓ１２０５）動きベクトル取得１
動きベクトル検出部２１５１が、図１４の注視枠１４０３と重なるように配置された検出枠７０４における動きを動きベクトルとして検出する。なお、検出枠７０４は、注視枠１４０３を含む所定の領域に配置されていればよく、検出枠７０４の大きさは、注視枠１４０３と一致する必要はない。また、Ｓ１２０５においては、さらに、距離取得部２１８１が、撮像画像に関連する距離情報を取得する。そして、処理がＳ１２０６へ進む。Ｓ１２０６、Ｓ１２０７は、図９のＳ９０６、Ｓ９０７と同様である。
【0089】
（Ｓ１２０８）注視枠角速度算出
被写体角速度算出部２１６２が、Ｓ１２０４乃至Ｓ１２０６で取得した情報に基づいて、注視枠１４０３の角速度（注視枠角速度）を算出する。注視枠角速度の算出処理の詳細については、図１３を参照して後述する。そして、処理がＳ１２０９に進む。
（Ｓ１２０９）制御量の判定
レンズ制御部２１１２が、Ｓ１２０８で算出された注視枠角速度をカメラ制御部２１４３から受信する。レンズ制御部２１１２の流し撮り制御部２１２２が、注視枠角速度に基づいて、注視枠の領域内の画像のブレ（注視領域に係る像ブレ）を補正するためにシフトレンズ群２１０４を駆動させる制御量を決定する。流し撮り制御部２１２２は、決定した制御量に基づいて、振れ補正量のマージンがあるか、つまりＳ１２１８における、被写体に係る像ブレの補正余地があるかを判定する。被写体に係る像ブレの補正のために必要な所定の制御量が確保できない場合、流し撮り制御部２１２２は、被写体に係る像ブレの補正余地がないと判定して、処理がＳ１２１１に進む。被写体に係る像ブレの補正のために必要な所定の制御量が確保できる場合、流し撮り制御部２１２２は、被写体に係る像ブレの補正余地があると判定し、処理がＳ１２１０に進む。本ステップの判定処理によって、Ｓ１２１８での被写体振れ補正量のマージンが確保される。ただし、Ｓ１２０９の判定処理を省略してもよい。
被写体角速度算出部２１６２が、Ｓ１２０４乃至Ｓ１２０６で取得した情報に基づいて、注視枠１４０３の角速度（注視枠角速度）を算出する。注視枠角速度の算出処理の詳細については、図１３を参照して後述する。そして、処理がＳ１２０９に進む。
（Ｓ１２０９）制御量の判定
レンズ制御部２１１２が、Ｓ１２０８で算出された注視枠角速度をカメラ制御部２１４３から受信する。レンズ制御部２１１２の流し撮り制御部２１２２が、注視枠角速度に基づいて、注視枠の領域内の画像のブレ（注視領域に係る像ブレ）を補正するためにシフトレンズ群２１０４を駆動させる制御量を決定する。流し撮り制御部２１２２は、決定した制御量に基づいて、振れ補正量のマージンがあるか、つまりＳ１２１８における、被写体に係る像ブレの補正余地があるかを判定する。被写体に係る像ブレの補正のために必要な所定の制御量が確保できない場合、流し撮り制御部２１２２は、被写体に係る像ブレの補正余地がないと判定して、処理がＳ１２１１に進む。被写体に係る像ブレの補正のために必要な所定の制御量が確保できる場合、流し撮り制御部２１２２は、被写体に係る像ブレの補正余地があると判定し、処理がＳ１２１０に進む。本ステップの判定処理によって、Ｓ１２１８での被写体振れ補正量のマージンが確保される。ただし、Ｓ１２０９の判定処理を省略してもよい。
【0090】
（Ｓ１２１０）振れ補正光学系の駆動１
ドライバ２１１３が、Ｓ１２０９で決定された制御量にしたがってシフトレンズ群２１０４を駆動する。これにより、注視領域に係る像ブレが補正される。そして、処理がＳ１２１１に進む。Ｓ１２１１乃至Ｓ１２１６は、図９のＳ９１０乃至Ｓ９１５と同様である。なお、本実施形態では、Ｓ１２１１の時点で焦点制御が実行されるが、Ｓ１２０４の処理などと同時に開始するようにしてもよい。また、Ｓ１２１２では、距離情報の取得の他、図１４に示す動きベクトルの検出枠７０２が設定される。
ドライバ２１１３が、Ｓ１２０９で決定された制御量にしたがってシフトレンズ群２１０４を駆動する。これにより、注視領域に係る像ブレが補正される。そして、処理がＳ１２１１に進む。Ｓ１２１１乃至Ｓ１２１６は、図９のＳ９１０乃至Ｓ９１５と同様である。なお、本実施形態では、Ｓ１２１１の時点で焦点制御が実行されるが、Ｓ１２０４の処理などと同時に開始するようにしてもよい。また、Ｓ１２１２では、距離情報の取得の他、図１４に示す動きベクトルの検出枠７０２が設定される。
【0091】
（Ｓ１２１７）被写体角速度算出
被写体角速度算出部２１６２が、Ｓ１２１２乃至Ｓ１２１５で取得された情報を用いて、被写体角速度を算出する。被写体角速度の算出処理の詳細については、図１３を参照して後述する。
（Ｓ１２１８）振れ補正光学系の駆動２
レンズ制御部２１１２の流し撮り制御部２１２２が、Ｓ１２１７で算出された被写体角速度をカメラ制御部２１４３から受信し、露光期間中にシフトレンズ群２１０４を駆動させる制御量を決定する。ドライバ２１１３は、決定された制御量にしたがってシフトレンズ群２１０４を駆動する。これにより、焦点制御（Ｓ１２１１）後において、被写体に係る像ブレが補正される。そして、処理が終了する。
被写体角速度算出部２１６２が、Ｓ１２１２乃至Ｓ１２１５で取得された情報を用いて、被写体角速度を算出する。被写体角速度の算出処理の詳細については、図１３を参照して後述する。
（Ｓ１２１８）振れ補正光学系の駆動２
レンズ制御部２１１２の流し撮り制御部２１２２が、Ｓ１２１７で算出された被写体角速度をカメラ制御部２１４３から受信し、露光期間中にシフトレンズ群２１０４を駆動させる制御量を決定する。ドライバ２１１３は、決定された制御量にしたがってシフトレンズ群２１０４を駆動する。これにより、焦点制御（Ｓ１２１１）後において、被写体に係る像ブレが補正される。そして、処理が終了する。
【0092】
図１３は、図１２のＳ１２０８における注視枠角速度の算出処理とＳ１２１７における被写体角速度の算出処理を説明するフローチャートである。図１３中のＳは、フローチャート中の各処理に対応するステップ番号を示す。なお、本フローチャートの説明において、Ｓ１２０８の処理については、「被写体」を「注視枠」と読み替えるものとする。
（Ｓ１３０１）レンズ位置加算
カメラ制御部２１４３は、図１２のＳ１２０４またはＳ１２１３で取得されたシフトレンズ群２１０４の位置情報の値を、動きベクトル検出部２１５１の検出値に加算する処理を実行する。これにより、動きベクトルの検出中に手振れ補正制御によってシフトレンズ群２１０４が駆動されたとしても、被写体振れに係る像を求めることができる。そして、処理がＳ１３０２へ進む。
（Ｓ１３０１）レンズ位置加算
カメラ制御部２１４３は、図１２のＳ１２０４またはＳ１２１３で取得されたシフトレンズ群２１０４の位置情報の値を、動きベクトル検出部２１５１の検出値に加算する処理を実行する。これにより、動きベクトルの検出中に手振れ補正制御によってシフトレンズ群２１０４が駆動されたとしても、被写体振れに係る像を求めることができる。そして、処理がＳ１３０２へ進む。
【0093】
（Ｓ１３０２）距離情報重み付け
カメラ信号処理回路２１３５が、図１２のＳ１２０５またはＳ１２１２で取得された距離情報に基づき、図１４の検出枠７０４または検出枠７０２における各検出ブロックに対応する距離情報の重み付けを行う。なお、画面内の距離情報が取得できていない場合は、本処理を省略する。そして、処理がＳ１０１２に進む。
（Ｓ１３０３）ヒストグラム生成
カメラ制御部２１４３が、図１２のＳ１２０５またはＳ１２１４で取得された動きベクトルに基づいて、動きベクトルに関するヒストグラム演算を行う。ヒストグラムの生成後、処理がＳ１３０４に進む。
カメラ信号処理回路２１３５が、図１２のＳ１２０５またはＳ１２１２で取得された距離情報に基づき、図１４の検出枠７０４または検出枠７０２における各検出ブロックに対応する距離情報の重み付けを行う。なお、画面内の距離情報が取得できていない場合は、本処理を省略する。そして、処理がＳ１０１２に進む。
（Ｓ１３０３）ヒストグラム生成
カメラ制御部２１４３が、図１２のＳ１２０５またはＳ１２１４で取得された動きベクトルに基づいて、動きベクトルに関するヒストグラム演算を行う。ヒストグラムの生成後、処理がＳ１３０４に進む。
【0094】
（Ｓ１３０４）被写体ベクトル候補の検出可否の判定
カメラ制御部２１４３は、生成されたヒストグラムに基づき、被写体ベクトル候補が検出できているか否かを判定する。被写体ベクトル候補が検出できている場合は、処理がＳ１３０５に進む。被写体ベクトル候補が検出できていない場合は、処理がＳ１３０８に進む。
（Ｓ１３０５）被写体ベクトル算出
カメラ制御部２１４３は、被写体ベクトル候補の中から最終的に使用する被写体ベクトルを選択する。例えば、図１４では図示を省略するフォーカス枠の位置に最も近い検出ブロックで被写体ベクトルが検出され、且つその距離情報が取得できている場合に、当該最も近い検出ブロックで検出されたベクトルが被写体ベクトルとして選択される。なお、上記最も近い検出ブロックを起点として、その周囲の被写体ベクトルを積算してもよい。被写体ベクトルの算出後に、処理がＳ１３０６に進む。
カメラ制御部２１４３は、生成されたヒストグラムに基づき、被写体ベクトル候補が検出できているか否かを判定する。被写体ベクトル候補が検出できている場合は、処理がＳ１３０５に進む。被写体ベクトル候補が検出できていない場合は、処理がＳ１３０８に進む。
（Ｓ１３０５）被写体ベクトル算出
カメラ制御部２１４３は、被写体ベクトル候補の中から最終的に使用する被写体ベクトルを選択する。例えば、図１４では図示を省略するフォーカス枠の位置に最も近い検出ブロックで被写体ベクトルが検出され、且つその距離情報が取得できている場合に、当該最も近い検出ブロックで検出されたベクトルが被写体ベクトルとして選択される。なお、上記最も近い検出ブロックを起点として、その周囲の被写体ベクトルを積算してもよい。被写体ベクトルの算出後に、処理がＳ１３０６に進む。
【0095】
（Ｓ１３０６）被写体角速度算出
被写体角速度算出部２１６２が、Ｓ１３０５で算出された被写体ベクトルに対応する被写体の像面移動量に基づき、被写体角速度を算出する。被写体角速度算出部２１６２は、図１２のＳ１２０７またはＳ１２１６で角速度から像面移動量を算出した方法とは逆の方法によって、被写体角速度を算出する。そして、処理がＳ１３０７に進む。
（Ｓ１３０７）被写体振れ補正量算出
カメラ制御部２１４３は、算出された被写体角速度に対し、角速度出力部６２２からカメラ制御部２１４３へ送信される角速度の値を加算して、レンズ制御部２１１２へ送信する。被写体角速度取得部６２３は、カメラ制御部２１４３からレンズ制御部２１１２へ送信された被写体角速度を取得して減算器６２４に出力する。減算器６２４は、交換レンズ１Ａ内の角速度センサ２１１１が検出した角速度と、被写体角速度との差分を演算する。積分器６２５は、算出された差分を積分し、積分値を像ブレを補正するための振れ補正光学系の目標制御値（被写体振れ補正量）として制御判定部６０４へ出力する。そして、処理がリターン処理へ移行する。Ｓ１３０８乃至Ｓ１３１１は、図１０のＳ１０１７乃至Ｓ１０２０と同様である。第２実施形態の画像処理装置によれば、被写体に係る像ブレの補正余地を残して、注視領域に係る像ブレを補正することができる。
被写体角速度算出部２１６２が、Ｓ１３０５で算出された被写体ベクトルに対応する被写体の像面移動量に基づき、被写体角速度を算出する。被写体角速度算出部２１６２は、図１２のＳ１２０７またはＳ１２１６で角速度から像面移動量を算出した方法とは逆の方法によって、被写体角速度を算出する。そして、処理がＳ１３０７に進む。
（Ｓ１３０７）被写体振れ補正量算出
カメラ制御部２１４３は、算出された被写体角速度に対し、角速度出力部６２２からカメラ制御部２１４３へ送信される角速度の値を加算して、レンズ制御部２１１２へ送信する。被写体角速度取得部６２３は、カメラ制御部２１４３からレンズ制御部２１１２へ送信された被写体角速度を取得して減算器６２４に出力する。減算器６２４は、交換レンズ１Ａ内の角速度センサ２１１１が検出した角速度と、被写体角速度との差分を演算する。積分器６２５は、算出された差分を積分し、積分値を像ブレを補正するための振れ補正光学系の目標制御値（被写体振れ補正量）として制御判定部６０４へ出力する。そして、処理がリターン処理へ移行する。Ｓ１３０８乃至Ｓ１３１１は、図１０のＳ１０１７乃至Ｓ１０２０と同様である。第２実施形態の画像処理装置によれば、被写体に係る像ブレの補正余地を残して、注視領域に係る像ブレを補正することができる。
【0096】
［第３実施形態]
図１５は、第３実施形態における流し撮りアシスト用の制御を説明するフローチャートである。
第３実施形態におけるデジタルカメラ１００の構成は、第１実施形態または第２実施形態におけるデジタルカメラの構成と同様である。以下の処理は、カメラ制御部２１４３、カメラ信号処理回路２１３５およびレンズ制御部２１１２が、所定の制御プログラムを解釈して実行することにより実現される。図１５中のＳは、フローチャート中の各処理に対応するステップ番号を示す。以下に、第３実施形態について、第２実施形態との差異を中心に説明する。図１５のＳ１５０１乃至Ｓ１５１２は、図１２のＳ１２０１乃至Ｓ１２１２と同様であるので、説明を省略する。
図１５は、第３実施形態における流し撮りアシスト用の制御を説明するフローチャートである。
第３実施形態におけるデジタルカメラ１００の構成は、第１実施形態または第２実施形態におけるデジタルカメラの構成と同様である。以下の処理は、カメラ制御部２１４３、カメラ信号処理回路２１３５およびレンズ制御部２１１２が、所定の制御プログラムを解釈して実行することにより実現される。図１５中のＳは、フローチャート中の各処理に対応するステップ番号を示す。以下に、第３実施形態について、第２実施形態との差異を中心に説明する。図１５のＳ１５０１乃至Ｓ１５１２は、図１２のＳ１２０１乃至Ｓ１２１２と同様であるので、説明を省略する。
【0097】
（Ｓ１５１３）被写体候補検出
カメラ信号処理回路２１３５が、Ｓ１５１２で取得された距離情報に基づいて、被写体候補を検出する。
図１６および図１７は、被写体候補の検出と動きベクトルの検出枠の設定を説明する図である。
例えば、図１６（Ａ）に示すように、カメラ信号処理回路２１３５は、距離情報に基づいて、被写体候補１６０１を決定し、その周辺領域を被写体候補の領域（被写体候補領域）１６０３として検出する。また、例えば、図１７（Ａ）に示すように、カメラ信号処理回路２１３５は、距離情報に基づいて、複数の被写体候補１７０１乃至１７０３を決定し、各々の被写体候補の周辺領域を被写体候補領域１７１１乃至１７１３として検出する。そして、処理がＳ１５１４に進む。
カメラ信号処理回路２１３５が、Ｓ１５１２で取得された距離情報に基づいて、被写体候補を検出する。
図１６および図１７は、被写体候補の検出と動きベクトルの検出枠の設定を説明する図である。
例えば、図１６（Ａ）に示すように、カメラ信号処理回路２１３５は、距離情報に基づいて、被写体候補１６０１を決定し、その周辺領域を被写体候補の領域（被写体候補領域）１６０３として検出する。また、例えば、図１７（Ａ）に示すように、カメラ信号処理回路２１３５は、距離情報に基づいて、複数の被写体候補１７０１乃至１７０３を決定し、各々の被写体候補の周辺領域を被写体候補領域１７１１乃至１７１３として検出する。そして、処理がＳ１５１４に進む。
【0098】
（Ｓ１５１４）注視点位置検出２
カメラ信号処理回路２１３５が、図５を参照して説明した処理により、ユーザが注視する注視点位置を検出する。そして、カメラ信号処理回路２１３５は、検出した注視点位置を含む領域（注視領域）を示す注視枠を設定する。
（Ｓ１５１５）被写体領域選択
カメラ信号処理回路２１３５が、Ｓ１５１３で検出された被写体候補領域と、Ｓ１５１４で設定された注視枠とに基づいて、被写体領域を選択し、被写体領域に基づいて、動きベクトルの検出枠１７２２を配置する。
カメラ信号処理回路２１３５が、図５を参照して説明した処理により、ユーザが注視する注視点位置を検出する。そして、カメラ信号処理回路２１３５は、検出した注視点位置を含む領域（注視領域）を示す注視枠を設定する。
（Ｓ１５１５）被写体領域選択
カメラ信号処理回路２１３５が、Ｓ１５１３で検出された被写体候補領域と、Ｓ１５１４で設定された注視枠とに基づいて、被写体領域を選択し、被写体領域に基づいて、動きベクトルの検出枠１７２２を配置する。
【0099】
図１６（Ｂ）及び図１７（Ｂ）は、注視点位置を含む注視枠と、Ｓ１５１７で動きベクトルを検出するための検出枠を示す。被写体候補領域のほうが注視枠内の領域（注視領域）より大きい場合を想定する。カメラ信号処理回路２１３５は、例えば、図１６（Ｂ）に示すように、注視枠１６０４内の領域を被写体領域として検出する。そして、カメラ信号処理回路２１３５は、検出した被写体領域を含む所定の領域に動きベクトルの検出枠１６０５を配置する。被写体候補１６０１の右端部分と左端部分では、撮影画角内での移動速度が異なるため、注視枠１６０４内の領域を被写体領域として限定することで、的確に像ブレ補正の制御を行うことができる。なお、被写体候補領域のほうが注視枠内の領域より小さい場合は、カメラ信号処理回路２１３５は、被写体候補領域を含む所定の領域に動きベクトルの検出枠を配置してもよい。
【0100】
また、カメラ信号処理回路２１３５は、例えば、図１７（Ｂ）に示すように、複数の被写体候補１７１１乃至被写体候補１７１３のうち、注視枠１７２２と位置が重なる被写体候補１７０２の領域を被写体領域として検出する。カメラ信号処理回路２１３５は、検出した被写体領域を含む所定の領域に動きベクトルの検出枠１７３０を配置する。Ｓ１５１６乃至Ｓ１５２１の処理は、図１２のＳ１２１３乃至Ｓ１２１８の処理と同様であるので、説明は省略する。第３実施形態の画像処理装置によれば、被写体候補領域が大きく、被写体候補領域の場所によって移動速度差がある場合や、複数の被写体候補領域が検出された場合でも、注視枠を利用して、被写体領域に応じた動きベクトルを検出することができる。
【0101】
［第４実施形態］
図１８は、第４実施形態における流し撮りアシスト用の制御を説明するフローチャートである。
第４実施形態におけるデジタルカメラ１００の構成は、第１実施形態、第２実施形態または第３実施形態におけるデジタルカメラ１００の構成と同様である。以下の処理は、カメラ制御部２１４３、カメラ信号処理回路２１３５およびレンズ制御部２１１２が、所定の制御プログラムを解釈して実行することにより実現される。図１８中のＳは、フローチャート中の各処理に対応するステップ番号を示す。以下に、第４実施形態について、第２実施形態との差異を中心に説明する。図１８のＳ１８０１乃至Ｓ１８０３は、図１２のＳ１２０１乃至Ｓ１２０３と同様である。
図１８は、第４実施形態における流し撮りアシスト用の制御を説明するフローチャートである。
第４実施形態におけるデジタルカメラ１００の構成は、第１実施形態、第２実施形態または第３実施形態におけるデジタルカメラ１００の構成と同様である。以下の処理は、カメラ制御部２１４３、カメラ信号処理回路２１３５およびレンズ制御部２１１２が、所定の制御プログラムを解釈して実行することにより実現される。図１８中のＳは、フローチャート中の各処理に対応するステップ番号を示す。以下に、第４実施形態について、第２実施形態との差異を中心に説明する。図１８のＳ１８０１乃至Ｓ１８０３は、図１２のＳ１２０１乃至Ｓ１２０３と同様である。
【0102】
（Ｓ１８０４）注視点位置の判定
カメラ信号処理回路２１３５が、Ｓ１８０３で設定された注視枠の位置が撮影画角の所定の位置であるかを判定する。この例では、カメラ信号処理回路２１３５は、注視枠の位置が画角の中央であるかを判定する。注視枠の位置が所定の位置（例えば、画角の中央）でない場合は、処理がＳ１８０４に戻る。注視枠の位置が所定の位置である場合は、処理がＳ１８０５に進む。なお、所定の位置は、被写体をどの位置で止めた構図を求めるかによって可変である。
カメラ信号処理回路２１３５が、Ｓ１８０３で設定された注視枠の位置が撮影画角の所定の位置であるかを判定する。この例では、カメラ信号処理回路２１３５は、注視枠の位置が画角の中央であるかを判定する。注視枠の位置が所定の位置（例えば、画角の中央）でない場合は、処理がＳ１８０４に戻る。注視枠の位置が所定の位置である場合は、処理がＳ１８０５に進む。なお、所定の位置は、被写体をどの位置で止めた構図を求めるかによって可変である。
【0103】
図１９は、流し撮り時の被写体１９０１を示す図である。
図１９に示す例では、注視枠１９０２が画面の中央に位置している。したがって、処理が図１８のＳ１８０５に進む。Ｓ１８０５乃至Ｓ１８１８の処理は、図１２のＳ１２０４乃至Ｓ１２１８の処理と同様であるので、説明は省略する。
図１９に示す例では、注視枠１９０２が画面の中央に位置している。したがって、処理が図１８のＳ１８０５に進む。Ｓ１８０５乃至Ｓ１８１８の処理は、図１２のＳ１２０４乃至Ｓ１２１８の処理と同様であるので、説明は省略する。
【0104】
（Ｓ１８１９）注視点位置の判定
カメラ信号処理回路２１３５が、Ｓ１８０４と同様に、注視枠の位置が撮影画角の所定の位置であるかを判定する。この例では、カメラ信号処理回路２１３５は、注視枠の位置が画角の中央であるかを判定する。注視枠の位置が所定の位置（例えば、画角の中央）でない場合は、処理がＳ１８１９に戻る。注視枠の位置が所定の位置である場合は、処理がＳ１８２０に進む。なお、所定の位置は、被写体をどの位置で止めた構図を求めるかによって可変である。
カメラ信号処理回路２１３５が、Ｓ１８０４と同様に、注視枠の位置が撮影画角の所定の位置であるかを判定する。この例では、カメラ信号処理回路２１３５は、注視枠の位置が画角の中央であるかを判定する。注視枠の位置が所定の位置（例えば、画角の中央）でない場合は、処理がＳ１８１９に戻る。注視枠の位置が所定の位置である場合は、処理がＳ１８２０に進む。なお、所定の位置は、被写体をどの位置で止めた構図を求めるかによって可変である。
【0105】
（Ｓ１８２０）撮影
カメラ制御部２１４３およびカメラ信号処理回路２１３５が、撮影制御手段として機能し、注視枠が所定の位置（例えば、画角の中央）にある画角で被写体の撮影を行う。
なお、Ｓ１８０１の判定処理では、カメラ制御部２１４３は、流し撮りモードが設定されたか否かを判定するが、この判定処理に代えて、以下の処理を行ってもよい。すなわち、カメラ制御部２１４３が、デジタルカメラ１００の撮影方向を変更する動作（例えばパンニング）がされており、かつ、ユーザが被写体を注視している場合に、流し撮りが行われると判定する。そして、処理がＳ１８０２に進む。例えば、注視点位置と被写体候補領域とが重なっている場合に、カメラ制御部２１４３は、ユーザが被写体を注視していると判定する。カメラ制御部２１４３が、被写体候補領域と重なっている注視点位置に対応する注視時間が所定時間以上である場合に、ユーザが被写体を注視していると判定するようにしてもよい。
カメラ制御部２１４３およびカメラ信号処理回路２１３５が、撮影制御手段として機能し、注視枠が所定の位置（例えば、画角の中央）にある画角で被写体の撮影を行う。
なお、Ｓ１８０１の判定処理では、カメラ制御部２１４３は、流し撮りモードが設定されたか否かを判定するが、この判定処理に代えて、以下の処理を行ってもよい。すなわち、カメラ制御部２１４３が、デジタルカメラ１００の撮影方向を変更する動作（例えばパンニング）がされており、かつ、ユーザが被写体を注視している場合に、流し撮りが行われると判定する。そして、処理がＳ１８０２に進む。例えば、注視点位置と被写体候補領域とが重なっている場合に、カメラ制御部２１４３は、ユーザが被写体を注視していると判定する。カメラ制御部２１４３が、被写体候補領域と重なっている注視点位置に対応する注視時間が所定時間以上である場合に、ユーザが被写体を注視していると判定するようにしてもよい。
【0106】
また、Ｓ１８０１の判定処理に代えて、カメラ制御部２１４３が、機械学習によって、流し撮りが行われるか否か判定し、流し撮りが行われると判定した場合に、処理がＳ１８０２以降の処理に進むようにしてもよい。これにより、機械学習を用いた流し撮りの判定結果に応じて、Ｓ１８１１とＳ１８１８での振れ補正光学系の駆動が実行される。このために、例えば、記録メディア１１１が、流し撮り時のユーザの視線情報に基づいて機械学習により作成された学習モデルを記憶する。そして、カメラ制御部２１４３が、ユーザの視線情報を入力として、記録メディア１１１内の学習モデルを用いて、流し撮りが行われるか否かを判定する。上記の学習モデルを、デジタルカメラ１００とネットワークを通じて通信可能なクラウド上のサーバが記憶しておいてもよい。カメラ制御部２１４３が、上記のサーバに対してユーザの視線情報を送信し、サーバが、当該視線情報を入力として、学習モデルにより、流し撮りが行われるか否かを判定する。そして、カメラ制御部２１４３が、サーバから受信する判定結果に基づいて、流し撮りが行われるか否かを判定するようにしてもよい。
【0107】
第４実施形態の画像処理装置によれば、ユーザが被写体をどの位置で止めたいかに応じて、像ブレ補正及び撮影の開始タイミングを自動で制御できる。したがって、短いシャッタチャンスの期間において撮影の成功率を高めることが可能となる。本発明は、以上説明した第１実施形態乃至第４実施形態に限定されない。また、各実施形態を適宜組み合わせることもできる。
【0108】
（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
【符号の説明】
【0109】
１００ デジタルカメラ
１１４ ＣＰＵ
１１４ ＣＰＵ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】