(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023180547
(43)【公開日】2023-12-21
(54)【発明の名称】撮像装置およびその制御方法
(51)【国際特許分類】
G03B 5/00 20210101AFI20231214BHJP
H04N 23/695 20230101ALI20231214BHJP
H04N 23/73 20230101ALI20231214BHJP
G03B 15/00 20210101ALI20231214BHJP
G03B 17/56 20210101ALI20231214BHJP
G03B 7/093 20210101ALI20231214BHJP
【ＦＩ】
G03B5/00 J
H04N5/232 990
H04N5/235 300
G03B15/00 P
G03B17/56 A
G03B7/093
【審査請求】未請求
【請求項の数】15
【出願形態】ＯＬ
(21)【出願番号】P 2022093932
(22)【出願日】2022-06-09
(71)【出願人】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100114775
【弁理士】
【氏名又は名称】高岡 亮一
(74)【代理人】
【識別番号】100121511
【弁理士】
【氏名又は名称】小田 直
(74)【代理人】
【識別番号】100208580
【弁理士】
【氏名又は名称】三好 玲奈
(72)【発明者】
【氏名】上野 諒平
【テーマコード（参考）】
2H002
2H105
2K005
5C122
【Ｆターム（参考）】
2H002CC01
2H002GA42
2H002GA45
2H105AA13
2H105AA55
2K005BA25
2K005BA27
2K005BA52
2K005BA54
2K005CA04
2K005CA13
2K005CA14
2K005CA15
2K005CA22
5C122EA06
5C122EA41
5C122EA65
5C122EA66
5C122EA69
5C122FD01
5C122FE02
5C122FF01
5C122FF11
5C122FH11
5C122FH13
5C122FH14
5C122FJ01
5C122GD04
5C122GD06
5C122HA81
5C122HA82
5C122HA88
5C122HA90
5C122HB01
5C122HB02
5C122HB05
5C122HB06
5C122HB09
5C122HB10
(57)【要約】
【課題】被写体の追従制御を行い、像ブレが抑制された画像を取得可能とする撮像装置を提供する。
【解決手段】撮像装置１０１は、装置揺れ検出部２０８、装置移動検出部２０９と、複数の回転ユニット１０４，１０５と、鏡筒回転駆動部１１２を備える。撮像装置１０１は被写体情報を検出し、検出された被写体情報に基づいて回転ユニット１０４，１０５の駆動制御を行って撮像部２０５の撮像方向を変更し、被写体の追従制御および像ブレ補正の制御を行う。制御部２１２は、被写体に対する追従度を算出し、追従度から取得されるブレ情報、鏡筒回転駆動部１１２における駆動情報、撮像装置１０１の揺れ量の少なくともいずれかに基づいて、追従の敏感度と撮像部２０５の露出条件のうちの１つ以上を変更する制御を行う。
【選択図】 図２
【解決手段】撮像装置１０１は、装置揺れ検出部２０８、装置移動検出部２０９と、複数の回転ユニット１０４，１０５と、鏡筒回転駆動部１１２を備える。撮像装置１０１は被写体情報を検出し、検出された被写体情報に基づいて回転ユニット１０４，１０５の駆動制御を行って撮像部２０５の撮像方向を変更し、被写体の追従制御および像ブレ補正の制御を行う。制御部２１２は、被写体に対する追従度を算出し、追従度から取得されるブレ情報、鏡筒回転駆動部１１２における駆動情報、撮像装置１０１の揺れ量の少なくともいずれかに基づいて、追従の敏感度と撮像部２０５の露出条件のうちの１つ以上を変更する制御を行う。
【選択図】 図２
【特許請求の範囲】
【請求項1】
被写体を撮像する撮像手段と、
被写体情報を検出する第１の検出手段と、
撮像装置の揺れ量を検出する第２の検出手段と、
前記撮像手段の撮像方向を変更する駆動手段と、
前記被写体情報および前記揺れ量の検出情報を用いて、前記駆動手段により前記被写体に対して前記撮像方向を追従させる追従制御および像ブレ補正の制御と、前記撮像手段の露出条件を変更する制御を行う制御手段と、を備え、
前記制御手段は、前記駆動手段の制御量および駆動情報と前記追従制御の追従度および敏感度を算出し、前記追従度から取得されるブレ情報、前記駆動情報、前記揺れ量との少なくともいずれかにより決定される、前記撮像手段の露光期間での前記敏感度と前記露出条件との少なくともいずれかに変更する制御を行う
ことを特徴とする撮像装置。
被写体情報を検出する第１の検出手段と、
撮像装置の揺れ量を検出する第２の検出手段と、
前記撮像手段の撮像方向を変更する駆動手段と、
前記被写体情報および前記揺れ量の検出情報を用いて、前記駆動手段により前記被写体に対して前記撮像方向を追従させる追従制御および像ブレ補正の制御と、前記撮像手段の露出条件を変更する制御を行う制御手段と、を備え、
前記制御手段は、前記駆動手段の制御量および駆動情報と前記追従制御の追従度および敏感度を算出し、前記追従度から取得されるブレ情報、前記駆動情報、前記揺れ量との少なくともいずれかにより決定される、前記撮像手段の露光期間での前記敏感度と前記露出条件との少なくともいずれかに変更する制御を行う
ことを特徴とする撮像装置。
【請求項2】
前記第１の検出手段は、前記撮像手段により取得される画像から被写体を検出することにより、前記被写体情報として、前記被写体の速度と位置、被写体周りの動きベクトル、前記被写体と撮像装置との距離、前記被写体の向き、前記被写体の進行方向のうちの１つ以上の情報を取得する
ことを特徴とする請求項１に記載の撮像装置。
ことを特徴とする請求項１に記載の撮像装置。
【請求項3】
前記駆動手段の駆動速度、駆動位置、可動域のうちの１つ以上を有する前記駆動情報を検出する第３の検出手段を備え、
前記制御手段は、前記駆動情報を用いて前記追従制御を行う
ことを特徴とする請求項１または請求項２に記載の撮像装置。
前記制御手段は、前記駆動情報を用いて前記追従制御を行う
ことを特徴とする請求項１または請求項２に記載の撮像装置。
【請求項4】
前記駆動手段は、複数の回転部のうちの第１の回転部の駆動を行うことで前記撮像方向を第１の回転軸を中心として変更する第１の駆動手段と、前記複数の回転部のうちの第２の回転部の駆動を行うことで前記撮像方向を第２の回転軸を中心として変更する第２の駆動手段を備え、
前記第３の検出手段は、前記第１および第２の駆動手段の駆動情報をそれぞれ検出する
ことを特徴とする請求項３に記載の撮像装置。
前記第３の検出手段は、前記第１および第２の駆動手段の駆動情報をそれぞれ検出する
ことを特徴とする請求項３に記載の撮像装置。
【請求項5】
前記制御手段は、前記制御量および敏感度から前記駆動手段の駆動量を算出し、前記駆動量に対応する前記回転部の位置を決定する
ことを特徴とする請求項４に記載の撮像装置。
ことを特徴とする請求項４に記載の撮像装置。
【請求項6】
前記制御手段は、前記被写体情報および前記駆動情報に基づく前記追従度を算出する
ことを特徴とする請求項１に記載の撮像装置。
ことを特徴とする請求項１に記載の撮像装置。
【請求項7】
前記制御手段は、前記ブレ情報として画像のブレ量、ブレ方向、前記被写体と撮像装置との距離、前記被写体の向き、前記被写体の進行方向のうちの１つ以上の情報を取得する
ことを特徴とする請求項１に記載の撮像装置。
ことを特徴とする請求項１に記載の撮像装置。
【請求項8】
前記制御手段は、前記被写体の速度および前記駆動手段の駆動速度から前記追従度を算出し、前記追従度および前記撮像手段の露光時間から前記ブレ情報を算出する
ことを特徴とする請求項１に記載の撮像装置。
ことを特徴とする請求項１に記載の撮像装置。
【請求項9】
前記制御手段は、前記ブレ情報と前記駆動情報と前記揺れ量のうちの１つ以上に基づく判定により、前記被写体の撮影を実行するか否かを決定する
ことを特徴とする請求項１に記載の撮像装置。
ことを特徴とする請求項１に記載の撮像装置。
【請求項10】
前記制御手段は、撮影前の前記追従度と前記撮像手段の露光時間から前記ブレ情報を算出して前記露光期間における前記追従制御を行い、前記被写体を撮影した画像を生成する制御を行う
ことを特徴とする請求項１に記載の撮像装置。
ことを特徴とする請求項１に記載の撮像装置。
【請求項11】
前記撮像手段により取得される前記被写体の画像データを記録媒体に記録する記録手段を備え、
前記制御手段は、撮影前の前記追従度および撮影後の前記追従度から算出される、前記露光期間における追従度と、前記撮像手段の露光時間とから、前記露光期間での画像のブレ量を算出して閾値と比較し、前記ブレ量が前記閾値未満である場合、前記記録手段により前記画像データを前記記録媒体に記録する制御を行い、前記ブレ量が前記閾値以上である場合、前記画像データを前記記録媒体に記録しないか、または前記記録媒体から前記画像データを削除する制御を行う
ことを特徴とする請求項１に記載の撮像装置。
前記制御手段は、撮影前の前記追従度および撮影後の前記追従度から算出される、前記露光期間における追従度と、前記撮像手段の露光時間とから、前記露光期間での画像のブレ量を算出して閾値と比較し、前記ブレ量が前記閾値未満である場合、前記記録手段により前記画像データを前記記録媒体に記録する制御を行い、前記ブレ量が前記閾値以上である場合、前記画像データを前記記録媒体に記録しないか、または前記記録媒体から前記画像データを削除する制御を行う
ことを特徴とする請求項１に記載の撮像装置。
【請求項12】
前記制御手段は、複数のフレーム間での前記ブレ量が閾値以上であって、かつブレ方向の反転する回数が閾値より大きい場合、前記被写体は不規則に動く被写体であると判断し、前記露光期間での前記敏感度を撮影前の前記敏感度よりも下げて前記追従制御を行う
ことを特徴とする請求項１１に記載の撮像装置。
ことを特徴とする請求項１１に記載の撮像装置。
【請求項13】
前記制御手段は、複数のフレーム間での前記ブレ量が一定量で増加し、かつブレ方向が一定である場合、前記被写体は規則的に動く被写体のうち、加速成分をもって動く被写体であると判断し、前記露光期間での前記敏感度を撮影前の前記敏感度よりも上げて前記追従制御を行う
ことを特徴とする請求項１１に記載の撮像装置。
ことを特徴とする請求項１１に記載の撮像装置。
【請求項14】
前記制御手段は、前記被写体が不規則に動く被写体であるか、または規則的に動く被写体のうち、加速成分をもって動く被写体であると判断した場合、前記露光時間をより短くする方向へ前記露出条件を変更する制御を行う
ことを特徴とする請求項１２または請求項１３に記載の撮像装置。
ことを特徴とする請求項１２または請求項１３に記載の撮像装置。
【請求項15】
被写体を撮像する撮像手段と、前記撮像手段の撮像方向を変更する駆動手段と、前記駆動手段を制御する制御手段と、を備える撮像装置にて実行される制御方法であって、
被写体情報および前記撮像装置の揺れ量の検出を行う検出工程と、
前記被写体情報および前記揺れ量の検出情報を用いて、前記駆動手段により前記被写体に対して前記撮像方向を追従させる追従制御および像ブレ補正の制御と、前記撮像手段の露出条件を変更する制御を前記制御手段が行う制御工程と、を有し、
前記制御工程にて前記制御手段は、前記駆動手段の制御量および駆動情報と前記追従制御の追従度および敏感度を算出する処理と、前記追従度から取得されるブレ情報、前記駆動情報、前記揺れ量との少なくともいずれかにより決定される、前記撮像手段の露光期間での前記敏感度と露出条件との少なくともいずれかに変更する制御を行う
ことを特徴とする撮像装置の制御方法。
被写体情報および前記撮像装置の揺れ量の検出を行う検出工程と、
前記被写体情報および前記揺れ量の検出情報を用いて、前記駆動手段により前記被写体に対して前記撮像方向を追従させる追従制御および像ブレ補正の制御と、前記撮像手段の露出条件を変更する制御を前記制御手段が行う制御工程と、を有し、
前記制御工程にて前記制御手段は、前記駆動手段の制御量および駆動情報と前記追従制御の追従度および敏感度を算出する処理と、前記追従度から取得されるブレ情報、前記駆動情報、前記揺れ量との少なくともいずれかにより決定される、前記撮像手段の露光期間での前記敏感度と露出条件との少なくともいずれかに変更する制御を行う
ことを特徴とする撮像装置の制御方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、被写体に対する自動追従および像ブレ補正の技術に関する。
【背景技術】
【0002】
動体（以下、「移動被写体」ともいう）の撮影時に被写体画像の像ブレを抑制する方法には、シャッタ速度を上げる第１の方法と、露光中に移動被写体の動きに合わせるように撮影者がカメラを動かす第２の方法がある。第２の方法では、露光中に被写体情報を検出できないので、露光前の被写体情報から露光中の被写体の動きを予測して像ブレ補正が行われる。しかし、露光中に移動被写体の速度や進行方向が変化することへの対応が必要となる。例えば不規則に動く移動被写体に対して、適正に像ブレ補正が行われない場合、像ブレの大きい画像が取得される可能性がある。特許文献１には、露光前の被写体情報から露光中の被写体の動きを予測し、被写体の動きが安定してから撮影を行う方法が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１５－１５２８８８号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来技術では、不規則に動く被写体のように動きを予測することが難しい移動被写体の撮影において移動被写体の動きが安定するまでに時間がかかった場合、いつまで経っても撮影を行えない場合や撮影の機会を失う可能性がある。
本発明は、被写体の追従制御を行い、像ブレが抑制された画像を取得可能とする撮像装置の提供を目的とする。
本発明は、被写体の追従制御を行い、像ブレが抑制された画像を取得可能とする撮像装置の提供を目的とする。
【課題を解決するための手段】
【0005】
本発明の実施形態の撮像装置は、被写体を撮像する撮像手段と、被写体情報を検出する第１の検出手段と、撮像装置の揺れ量を検出する第２の検出手段と、前記撮像手段の撮像方向を変更する駆動手段と、前記被写体情報および前記揺れ量の検出情報を用いて、前記駆動手段により前記被写体に対して前記撮像方向を追従させる追従制御および像ブレ補正の制御と、前記撮像手段の露出条件を変更する制御を行う制御手段と、を備える。前記制御手段は、前記駆動手段の制御量および駆動情報と前記追従制御の追従度および敏感度を算出し、前記追従度から取得されるブレ情報、前記駆動情報、前記揺れ量の少なくともいずれかにより決定される、前記撮像手段の露光期間での前記敏感度と前記露出条件との少なくともいずれかに変更する制御を行う。
【発明の効果】
【0006】
本発明によれば、被写体の追従制御を行い、像ブレが抑制された画像を取得可能とする撮像装置を提供することができる。
【図面の簡単な説明】
【0007】
【図1】撮像装置と軸定義を模式的に示す図である。
【図2】撮像装置の構成を示す図である。
【図3】回転ユニットと鏡筒回転駆動部の構成図である。
【図4】振動子を模式的に示す断面図である。
【図5】振動子の駆動周波数と回転部の駆動速度との関係（ＦＶ特性）を示す図である。
【図6】撮像装置の動作制御を説明するフローチャートである。
【図7】絶対角度算出および像ブレ補正量算出部の機能ブロック図である。
【図8】撮像装置の方向を説明する図である。
【図9】撮像装置の空間座標における角度領域ごとの領域分割の説明図である。
【図10】初期化時の撮影画像内の領域分割を説明するための図である。
【図11】パンニング動作時の撮影画像内の領域分割を説明するための図である。
【図12】撮影画像内の領域ごとの人物検出を説明するための図である。
【図13】撮影画像内の領域ごとの物体検出を説明するための図である。
【図14】撮影画像内の領域ごとのシーン検出を説明するための図である。
【図15】音声情報に基づく演算を説明するためのフローチャートである。
【図16】撮影画像内の動き検出を説明するための図である。
【図17】領域ごとの撮影枚数の管理に関する説明図である。
【図18】個人認証された登録被写体ごとの撮影枚数の管理に関する説明図である。
【図19】物体認識された登録被写体ごとの撮影枚数の管理を関する説明図である。
【図20】シーンごとの撮影枚数の管理に関する説明図である。
【図21】探索経過時間に基づく演算を説明するフローチャートである。
【図22】シーンごとの探索目標角度演算を説明するための図である。
【図23】撮像装置の自動追従制御を説明するフローチャートである。
【図24】自動追従時の目標位置演算を説明するための図である。
【図25】追従度演算を説明するための図である。
【図26】追従の敏感度と露出条件の算出に関する説明図である。
【図27】露光期間ブレ量の算出に関する説明図である。
【発明を実施するための形態】
【0008】
以下に、本発明の好ましい実施形態を、添付図面に基づいて詳細に説明する。実施形態では、パンニング機構およびチルティング機構を有する撮像装置（以下、「カメラ」ともいう）の例を示す。撮像装置は、被写体の探索機能および追従機能と、揺れ等を起因とする像ブレ（以下、単に「ブレ」ともいう）の補正機能を有する。なお、簡略化のためにパンニングを「パン」と表記し、チルティングを「チルト」と表記することがある。
【0009】
図１（Ａ）は、実施形態に係る撮像装置を模式的に示す図である。カメラ１０１は、電源スイッチやカメラ操作用部材と、鏡筒１０２および固定部１０３を備える。鏡筒１０２は撮像光学系を構成するレンズ群や絞り、撮像素子等を含む。カメラ１０１は、鏡筒１０２を固定部１０３に対して回転駆動可能な機構部を有する。図１（Ｂ）は、固定部１０３に設定される３次元直交座標系における軸定義の説明図である。Ｘ軸を回転中心軸とするピッチ方向と、Ｙ軸を回転中心軸とするヨー方向と、Ｚ軸を回転中心軸とするロール方向を示す。
【0010】
カメラ１０１は、パンニング機構を構成する第１のユニット（パン回転ユニット）およびチルティング機構を構成する第２のユニット（チルト回転ユニット）を備える。パン回転ユニット１０５は、鏡筒１０２を、図１（Ｂ）に示すヨー方向に回転可能なモータ駆動機構部を有する。チルト回転ユニット１０４は、鏡筒１０２を、図１（Ｂ）に示すピッチ方向に回転可能なモータ駆動機構部を有する。角速度計１０６と加速度計１０７はともに固定部１０３に実装される。角速度計１０６はカメラ１０１の振れの角速度を検出し、加速度計１０７はカメラ１０１の振れの加速度を検出する。
【0011】
図２を参照して、自動被写体探索機能を有する撮像装置の構成について説明する。図２はカメラ１０１の構成例を示すブロック図である。鏡筒１０２はズームユニット２０１、フォーカスユニット２０３、撮像部２０５を備える。ズームユニット２０１は、変倍を行うズームレンズを有する。フォーカスユニット２０３は焦点調節用レンズを有する。撮像部２０５は撮像素子を有する。
【0012】
ズーム駆動制御部２０２は、ズームユニット２０１の駆動制御、および現在のズームレンズの位置検出を行う。フォーカス駆動制御部２０４は、フォーカスユニット２０３の駆動制御、および現在のフォーカスレンズの位置検出を行う。ズーム駆動制御部２０２、フォーカス駆動制御部２０４は、後述の制御部２１２からの制御指令にしたがってそれぞれ駆動制御を行う。
【0013】
撮像部２０５は、撮像素子が撮像光学系を通して入射する被写体からの光を受光し、その光量に応じた電荷の情報をアナログ画像データとして画像処理部２０６に出力する。画像処理部２０６は撮像部２０５からのアナログ画像データに対してＡ／Ｄ変換を行い、デジタル画像データを生成する。画像処理部２０６は、歪曲補正やホワイトバランス調整、色補間処理等の画像処理を適用した後のデジタル画像データを出力する。画像記録部２０７は、画像処理部２０６から出力されるデジタル画像データに対し、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）形式等の記録用フォーマットに変換する。画像記録部２０７は、変換後のデータを不揮発性メモリ等の記録媒体に記録する。
【0014】
鏡筒回転駆動部１１２は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動する。つまり、鏡筒１０２をチルティング方向とパンニング方向に駆動させることができる。装置揺れ検出部２０８は角速度計１０６と加速度計１０７を備える。角速度計１０６は、撮像装置の３軸回り方向の角速度を検出するジャイロセンサである。加速度計１０７は、撮像装置の３軸方向の加速度を検出する加速度センサである。装置揺れ検出部２０８は角速度と加速度の各検出信号を後述の制御部２１２に出力する。当該検出信号に基づいて、撮像装置の回転角度やシフト量等の演算を行うことができる。
【0015】
装置移動検出部２０９は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）の位置情報や加速度センサ等の移動検出手段を用いて撮像装置の移動を検出する。例えばＧＰＳ部はカメラ１０１に設けられており、カメラ１０１は外部ＧＰＳ検出装置が検出した位置情報を通信によって取得する。なお、装置揺れ検出部２０８は、加速度計１０７により撮像装置のシフト量（移動量）を検出可能であるが、加速度計１０７の特性上大きな移動量を検出することは難しい。そのため、移動量が比較的小さい範囲での移動を装置揺れ検出部２０８が検出し、移動量が比較的大きな移動については装置移動検出部２０９が検出する。装置移動検出部２０９は検出信号を後述の制御部２１２に出力する。
【0016】
音声入力部２１０は、撮像装置が備えるマイクロフォンから音声信号を取得して、後述の制御部２１２に出力する。操作部２１１はユーザの操作部材である電源ボタンやカメラの設定変更用ボタン等を備える。電源ボタンが操作されると、撮像システム全体にて用途に応じて電源が供給され、カメラ１０１が起動される。操作部２１１はユーザの操作指示を受け付け、操作信号を後述の制御部２１２に出力する。
【0017】
制御部２１２は、撮像システム全体を制御する。制御部２１２は、例えばＣＰＵ（中央演算処理装置）を備え、制御プログラムを実行することにより各種処理を行う。電子シャッタ制御部２１３は、制御部２１２からの制御指令にしたがい、露出条件に基づいて、撮像部２０５に対する電子シャッタの制御およびＩＳＯ感度値の設定等を行う。
【0018】
図３は、パン回転ユニット１０５と鏡筒回転駆動部１１２の構成例を示すブロック図である。パン回転ユニット１０５とは駆動軸が相違するチルト回転ユニット１０４についても同様の構成を有するので、以下ではパン回転ユニット１０５のみ説明する。パン回転ユニット１０５は、回転部１０５１、振動子１０５２、温度センサ１０５３、駆動回路１０５４、位置センサ１０５５を備える。
【0019】
回転部１０５１は、鏡筒１０２をパンニング方向に回転させるパン回転部（チルティング方向の場合にはチルト回転部）である。振動子１０５２は回転部１０５１をパンニング方向に回転させるためのアクチュエータである。図４を参照して説明する。
【0020】
図４は振動子１０５２の模式的な断面図である。図４にてｘ軸は回転部１０５１の移動方向（送り方向）を表し、ｙ軸は当該移動方向と直交する方向（突き上げ方向）を表す。電極４０１ａおよび４０１ｂと、圧電素子４０２ａおよび４０２ｂと、ステータ４０３を図示する。回転部１０５１を駆動する際、電極４０１ａおよび４０１ｂには駆動回路１０５４から供給される位相の異なる２相の周期電圧波形がそれぞれ印加される。電極４０１ａおよび４０１ｂに当該周期電圧波形が印加されると、圧電素子４０２ａおよび４０２ｂは逆圧電効果により伸縮し、ステータ４０３には２種類の定在波が発生する。２種類の定在波の合成により、ステータ４０３と回転部１０５１との接触部分には略楕円状の運動が発生する。軌跡４０４は電極４０１ａ，４０１ｂに所定の位相差をもつ２相の正弦波状の電圧波形を印加した際にステータ４０３の点Ｐに発生する楕円振動の軌跡を示す。軌跡４０５は軌跡４０４における電圧波形に対して２相の周期電圧波形の位相差を大きくした際に発生する楕円振動の軌跡を示す。軌跡４０５に示す楕円振動は、軌跡４０４に示す楕円振動に比べて、ｘ軸方向の成分が大きくなる。このように２相の周期電圧波形の位相差を変更して、送り方向の成分と突き上げ方向の成分との比率を変えることで回転部の駆動速度を変更することができる。
【0021】
図４に示す軌跡４０６は、軌跡４０５に対して２相の周期電圧波形の周波数（駆動周波数）を低くした（振動子の共振周波数に近づけた）際に発生する楕円振動の軌跡を示す。軌跡４０６に示す楕円振動は、軌跡４０５に示す楕円振動に比べて、送り方向の成分および突き上げ方向の成分がいずれも大きくなる。周波数の変更によっても回転部の駆動速度を変更することができる。
【0022】
その他の方法として、周期電圧波形の電圧振幅を変更することで楕円振動の大きさを変更する方法がある。回転部の駆動速度を制御する際には、位相差もしくは周波数、または両方を変更することで駆動速度が所定の値となるように制御を行うことが可能である。
【0023】
本実施形態では、振動波モータとしての超音波モータを使用し、共振周波数よりも高い超音波領域の振動周波数を用いて制御が行われる。速度制御を行う場合、位相差を固定して振動周波数を変更する第１の方法と、振動周波数を固定して位相差を変更する第２の方法と、振動周波数と位相差の双方を変更する第３の方法がある。第１の方法を適用した制御モードは周波数制御モードであり、第２の方法を適用した制御モードは位相差制御モードである。周波数制御モードでは出力が大きいので、回転部の高速な駆動と、低温環境下や可動部の耐久性の低下等による振動子への負荷が増大した場合等の駆動に適している。一方、位相差制御モードでは、低出力であるが高精度な位置決めが可能であり、高い停止位置精度が必要な場合の駆動や微少駆動等に適している。
【0024】
温度センサ１０５３は振動子１０５２の温度を検出する。温度検出結果に基づき、振動子１０５２に印加する電圧波形の周波数の温度補正を行うことが可能である。位置センサ１０５５は回転部１０５１の回転位置を検出する。位置センサ１０５５は、例えば光学式スケール部と発光部と受光部を有する。回転部１０５１に取り付けられた光学式スケール部に対して、発光部は光学式スケール部に刻まれたパターンへの光照射を行う。受光部は光学式スケール部からの反射光を検出して電気信号（検出信号）を出力する。
【0025】
鏡筒回転駆動部１１２はアナログ－デジタルコンバータ（以下、ＡＤＣと記す）１１２１を有する。ＡＤＣ１１２１は、位置センサ１０５５の検出信号に対してアナログ－デジタル変換を行う。位置演算部１１２２は、ＡＤＣ１１２１がデジタル化したセンサ情報を取得して回転部１０５１の回転位置を求める演算を行う。目標位置設定部１１２３は、操作部２１１からの回転指示に基づいてパンニング動作制御の目標位置（回転位置）を設定する。
【0026】
ＰＩＤ演算部１１２４は、位置演算部１１２２および目標位置設定部１１２３の出力に基づいてＰＩＤ（比例・積分・微分）演算を行う。ＰＩＤ演算部１１２４は、目標位置設定部１１２３により設定された回転部１０５１の目標位置と、位置演算部１１２２が求めた回転部１０５１の位置との偏差に基づいてＰＩＤ演算を行う。ＰＩＤ演算結果である制御量は後述の変換部１１２７に出力される。追従敏感度設定部１１２６は、撮像装置が探索した被写体に対して自動追従を行う際、追従の敏感度を設定する。設定情報は後述の変換部１１２７に出力される。追従の敏感度については後述する。
【0027】
変換部１１２７は、ＰＩＤ演算部１１２４が算出した制御量を、電圧波形の位相差、振幅、周波数に変換する。また自動追従の際に変換部１１２７は、ＰＩＤ演算部１１２４が算出した制御量と追従敏感度設定部１１２６が設定した敏感度に基づいて、新たな制御量を算出し、当該制御量を電圧波形の位相差、振幅、周波数に変換する。つまり当該制御量に応じて、２相の駆動電圧波形の位相差、振幅、周波数が決定される。制限部１１２５は変換部１１２７に対し、２相の駆動電圧波形の位相差、振幅、周波数の変化量を制限する。
【0028】
駆動信号発生回路１１２８は、変換部１１２７の出力に応じて、振動子１０５２に印加する駆動信号を発生させて、パン回転ユニット１０５の駆動回路１０５４に出力する。駆動回路１０５４は駆動信号発生回路１１２８で生成される電圧波形に対して、振動子１０５２を駆動可能な所定の電圧波形への信号変換および増幅を行う。駆動回路１０５４の出力にしたがって振動子１０５２が駆動される。
【0029】
図５を参照して、振動子１０５２の駆動周波数（Ｆ）と回転部１０５１の駆動速度（Ｖ）との関係を示すＦＶ特性について説明する。図５は、横軸が振動子１０５２の駆動周波数を表し、縦軸が回転部１０５１の駆動速度を表す。曲線５０１，５０２，５０３は、ＦＶ特性の温度変化を示している。曲線５０１は基準温度（ｔｓｄと記す）でのＦＶ曲線である。曲線５０２は基準温度ｔｓｄから温度がΔα変化したときのＦＶ曲線である。曲線５０３は基準温度ｔｓｄから温度がΔβ変化したときのＦＶ曲線である。領域５０４は、振動子１０５２に印加する電圧波形の周波数に関する使用禁止周波数領域（以下、禁止領域という）である。曲線５０１，５０２にて、いずれも２相の駆動電圧波形の位相差は９０°である。Ｖｓｄは振動子１０５２の温度補正を行う際の基準速度である。
【0030】
位相差制御時の駆動周波数（Ｆｐと記す）は温度によって異なり、式（１）で表される。
Ｆｐ＝Ｆｉｎｉ－ｋ×（ｔｘ－ｔｓｄ）・・・（１）
式（１）中、ｔｘは温度センサ１０５３による検出温度を表す。Ｆｉｎｉは温度が基準温度ｔｓｄのときの起動周波数を表す。ｋは起動周波数の温度補正係数を表す。ｔｘ＝ｔｓｄのときのＦｐ（＝Ｆｉｎｉ）は、基準温度ｔｓｄにて位相差が９０°である２相の駆動電圧波形を振動子１０５２に印加した場合に駆動速度がＶｓｄとなる周波数である。また、Ｆαは温度が基準温度ｔｓｄからΔα変化したときの駆動周波数であり、Ｆβは温度が基準温度ｔｓｄからΔβ変化したときの駆動周波数である。
Ｆｐ＝Ｆｉｎｉ－ｋ×（ｔｘ－ｔｓｄ）・・・（１）
式（１）中、ｔｘは温度センサ１０５３による検出温度を表す。Ｆｉｎｉは温度が基準温度ｔｓｄのときの起動周波数を表す。ｋは起動周波数の温度補正係数を表す。ｔｘ＝ｔｓｄのときのＦｐ（＝Ｆｉｎｉ）は、基準温度ｔｓｄにて位相差が９０°である２相の駆動電圧波形を振動子１０５２に印加した場合に駆動速度がＶｓｄとなる周波数である。また、Ｆαは温度が基準温度ｔｓｄからΔα変化したときの駆動周波数であり、Ｆβは温度が基準温度ｔｓｄからΔβ変化したときの駆動周波数である。
【0031】
禁止領域５０４は、振動子に起因する機械的振動や駆動回路から発生する電気的ノイズの影響によりカメラの映像や動作に好ましくない影響を及ぼす可能性がある周波数領域である。例えば、温度が基準温度ｔｓｄからΔα変化した場合、駆動周波数Ｆαは禁止領域内となる。また、温度補正によって駆動周波数が禁止領域内となる場合には、禁止領域外にてＦαに最も近い周波数であるＦβが駆動周波数として設定される。ただし、温度が基準温度ｔｓｄからΔβ変化したときの駆動周波数Ｆβの場合、２相の駆動電圧波形の位相差が９０°のときの速度は、基準速度Ｖｓｄよりも大きい速度Ｖａｂとなる。この状態で回転部１０５１の位置制御を行った際、回転部の駆動電圧波形の位相差の変化に対する回転部の変化量が想定以上に大きくなった場合、適切に制御できない可能性や制御不能（発振）状態となる可能性がある。
【0032】
例えば、曲線５０２に示すように温度補正された駆動周波数が禁止領域内となった場合を想定する。この場合、制御部２１２は、２相の駆動電圧波形の電圧振幅を変更することで位相差が９０°であるときの駆動速度がＶｓｄとなるように調整する制御を行う。振動子の温度が基準温度ｔｓｄであるときの駆動電圧波形の電圧振幅をＡｓｄと表記する。曲線５０３における駆動電圧波形の電圧振幅をＡβと表記すると、Ａβは式（２）となる。
Ａβ＝（Ｖｓｄ÷Ｖａｂ）×Ａｓｄ・・・（２）
Ａβ＝（Ｖｓｄ÷Ｖａｂ）×Ａｓｄ・・・（２）
【0033】
このように温度補正によって駆動周波数が禁止領域内の周波数になった場合には、回転部１０５１の制御性能を駆動周波数前の性能と合わせるために駆動周波数および電圧を同時に変更する必要がある。駆動電圧波形の電圧と位相差を同時に、かつ不連続に変化させた場合には、ＦＶ特性の切り替わりを起因とする不要振動が振動子１０５２に発生し、回転部に回転ムラや異音が発生する可能性がある。例えば、映像記録中に回転ムラが発生した場合、回転ムラの影響で回転方向に像ブレを有する映像データが取得される可能性がある。駆動周波数の温度補正を行わないのであれば、このような問題は発生しないが、回転部１０５１の位置制御を行うときに回転部の駆動電圧波形の位相差の変化に対する回転部の変化量が不適切となる。その結果、回転部１０５１の回転位置変化による負荷変動を抑制できずに回転ムラが発生した場合、像ブレを有する映像のデータが取得される可能性がある。
【0034】
図６は、本実施形態における撮像装置の動作例を説明するフローチャートである。以下の処理はカメラ１０１の主電源のオンで開始され、制御部２１２のＣＰＵが制御プログラムにしたがって自動被写体探索、自動追従、自動撮影の処理を実行する。
【0035】
操作部２１１にて電源ボタンが操作されて主電源がオンになると、Ｓ６０１の処理に進む。Ｓ６０１にて制御部２１２は、各種初期設定（撮像／自動探索等）を行う。自動探索の初期化では、後に説明する被写体重要度レベルの初期化等の処理が行われる。初期設定が終了して、撮像素子からの画像情報が取得可能になると、Ｓ６０２の処理に進む。
【0036】
Ｓ６０２では動画撮影が開始される。画像処理部２０６は、撮像部２０５により取得された撮像信号の画像処理を行い、所定の画像データを生成する。所定の画像データとは被写体検出用の画像データであり、画像に基づいて人物や物体等の被写体検出が行われる。例えば人物の検出において、被写体人物の顔検出処理や人体検出処理が行われる。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれる該パターンに一致する箇所を人物の顔画像として検出することができる。また、被写体の顔としての確からしさを示す顔信頼度が同時に算出される。顔信頼度は、例えば画像内における顔領域の大きさや、顔領域と顔パターンとの一致度等から算出することができる。物体認識についても同様に行うことが可能であり、予め登録されたパターンに一致する物体を認識することができる。
【0037】
また、撮像された画像内の色相や彩度等のヒストグラムを使用して特徴被写体を抽出する方法がある。撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。例えば、撮像された画像について複数の色成分のヒストグラムが作成される。ヒストグラムデータを山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域にて撮像された画像を分類することにより、被写体の画像領域が認識される。認識された被写体の画像領域ごとに評価値を算出することで、当該評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。以上の方法によって、画像情報から各被写体情報を得ることができる。
【0038】
Ｓ６０３で被写体検出情報等の撮像情報が取り込まれた後、Ｓ６０４の処理に進む。Ｓ６０４で装置揺れ検出部２０８は、角速度計１０６により角速度情報を取得する。次のＳ６０５で装置揺れ検出部２０８は、加速度計１０７により加速度情報を取得する。次のＳ６０６で制御部２１２は、取得された角速度情報と加速度情報からカメラ絶対角度の算出処理を行い、Ｓ６０７の処理に進む。Ｓ６０７で制御部２１２は、画像の像ブレを抑制するための像ブレ補正量の算出処理を行う。例えば手持ち状態のカメラや、人体に装着された状態のウェアラブル装置において生じる手振れや人体の揺れ等を起因とする画像ブレを抑えるための像ブレ補正量が算出される。Ｓ６０６およびＳ６０７の処理については、図７および図８を用いて後述する。Ｓ６０７の次にＳ６０８の処理に進む。
【0039】
Ｓ６０８ではカメラの移動検出処理が行われる。装置移動検出部２０９は、ＧＰＳ位置情報や加速度情報を用いて、カメラ１０１の移動の有無や移動量を検出する。例えばＧＰＳ位置情報を取得できる外部デバイスと、カメラ１０１とが相互に通信可能な構成にて、ＧＰＳ位置情報の変化があった場合に外部デバイスはカメラ１０１へ移動情報を通知する。カメラ１０１は取得した移動情報に基づいて自機の移動検出を行うことができる。Ｓ６０８の次にＳ６０９の処理に進む。
【0040】
Ｓ６０９で制御部２１２はカメラ状態判定を行う。角速度情報、加速度情報、ＧＰＳ位置情報等に基づくカメラの角度や移動量等により、現時点のカメラがどのような振動状態または動き状態であるかを判定することが可能である。例えば、車両とともに移動するカメラで撮影を行う場合を想定する。この場合、車両の移動にしたがって周囲環境（風景等）の被写体情報が変化する。制御部２１２はカメラが車両とともに移動している「乗り物検出状態」であるか否かを判定する。判定結果は、後に説明する自動被写体探索に使用することができる。また制御部２１２はカメラの角度変化量を閾値と比較し、角度変化量が閾値以下である場合、カメラは揺れがほとんどない「置き撮り状態」であると判定する。「置き撮り状態」と判定された場合、カメラ自体の角度変化はほとんどないので、置き撮り用の被写体探索を行うことができる。また、カメラの角度変化量が閾値より大きい場合、制御部２１２はカメラが「手持ち状態」であると判定する。この場合、手持ち撮影用の被写体探索を行うことができる。なお、各状態での被写体探索方法については後述する。Ｓ６０９の次にＳ６１０の処理に進む。
【0041】
Ｓ６１０で制御部２１２は、Ｓ６０６で取得されるカメラ絶対角度が正確に算出されているか否かを判定する。カメラ絶対角度の検出が難しい状態であるか、または検出可能でない場合（検出不可）、Ｓ６１１の処理に進む。カメラ絶対角度が検出可能でない状態とは、例えば、カメラへの衝撃が非常に大きく、加速度計１０７の出力に基づくカメラ角度算出に支障をきたす状態である。あるいは、カメラの角速度が非常に大きいために角速度計１０６の検出可能範囲を超過してしまう状態である。Ｓ６１０にてカメラ絶対角度が検出可能な状態であると判定された場合、Ｓ６１２の処理に進む。
【0042】
Ｓ６１１では、自動被写体探索の初期化処理が行われ、後に説明する被写体重要度レベルの初期化等の処理が行われる。次にＳ６１２に進み、制御部２１２は領域分割処理を実行する。Ｓ６０１での初期設定時や、Ｓ６１１での自動被写体探索の初期化時におけるカメラ１０１の絶対角度を基準とした領域分割処理が行われる。現時点でカメラ１０１が取得している画像は領域分割により、分割領域に対応する複数のブロックに区分けされる。領域分割処理については、図９を用いて後述する。Ｓ６１２の次にＳ６１３の処理に進む。
【0043】
Ｓ６１３で制御部２１２は、被写体重要度レベルの算出処理を行う。取得された画像内の被写体情報等に基づいて領域別に被写体重要度レベルが算出される。算出処理の詳細については後述する。次にＳ６１４で制御部２１２は、領域ごとの被写体重要度レベルに基づき、パンニング方向およびチルティング方向における探索の目標角度を算出する処理を実行する。次にＳ６１５で制御部２１２は、Ｓ６０７で算出した像ブレ補正量と、Ｓ６１４で算出した目標角度から、パンニング駆動量とチルティング駆動量を算出する処理を実行する。Ｓ６１４およびＳ６１５の処理の詳細については後述する。Ｓ６１５の次にＳ６１６の処理に進む。
【0044】
Ｓ６１６で制御部２１２は、鏡筒回転駆動部１１２によって、チルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御する。チルティング駆動量に基づく駆動角度に応じてチルト回転ユニット１０４が駆動され、パンニング駆動量に基づく駆動角度に応じてパン回転ユニット１０５が駆動される。次にＳ６１７で制御部２１２は、自動追従処理を実行する。探索された被写体の情報に基づいて自動追従処理が行われた後、Ｓ６０３へ移行する。自動追従処理については後述する。
【0045】
次に、図６に示すＳ６０６のカメラ絶対角度の算出、およびＳ６０７の像ブレ補正量の算出について説明する。図１（Ａ）に示すように、角速度計１０６および加速度計１０７はカメラ１０１の固定部１０３に実装される。角速度や加速度については固定部１０３上での位置における情報が出力されるので、その情報に基づいてカメラ絶対角度が算出される。つまり、固定部１０３上での位置におけるカメラ絶対角度が算出されることになる。また、鏡筒１０２の回転ブレ（撮像素子のブレ）を補正するために、固定部１０３上の位置での角速度情報に基づいて補正角度の演算が行われて、像ブレ補正量が算出される。像ブレ補正量に基づき、チルト回転ユニット１０４とパン回転ユニット１０５が駆動される。その結果、鏡筒１０２の回転によって像ブレ補正が行われる。
【0046】
図７は、カメラ絶対角度の算出処理と像ブレ補正量の算出処理を説明する機能ブロック図である。算出処理は制御部２１２のＣＰＵが実行するプログラムにしたがって行われる。まず、カメラ絶対角度算出方法について説明する。ピッチ絶対角度算出部７０１、ヨー絶対角度算出部７０２、ロール絶対角度算出部７０３にはそれぞれ、角速度計１０６の出力と加速度計１０７の出力が入力される。角速度計１０６はピッチ方向、ヨー方向、ロール方向の各検出信号を出力する。加速度計１０７はＸ軸方向、Ｙ軸方向、Ｚ軸方向の各検出信号を出力する。ピッチ絶対角度算出部７０１、ヨー絶対角度算出部７０２、ロール絶対角度算出部７０３はそれぞれ、ピッチ方向、ヨー方向、ロール方向の絶対角度を算出する。これにより、角速度計１０６と加速度計１０７の位置での絶対角度、即ち固定部１０３上での絶対角度を算出することができる。
【0047】
加速度計１０７の３軸の各出力の関係から、ピッチ方向、ヨー方向、ロール方向のカメラ絶対角度をそれぞれ算出することができる。加速度演算での、ピッチ絶対角度とヨー絶対角度とロール絶対角度がそれぞれ算出される。カメラが静止している状態で外部からの加速度の影響を受けない場合、即ち加速度計１０７が検出する加速度に関して重力加速度が支配的である場合でしか精度よく絶対角度を算出することができない。カメラが移動している状態で撮影が行われる場合、重力加速度以外の加速度（振動加速度等）の影響が大きいと正確な絶対角度の演算を行うことは困難である。これは、例えば、撮影者がカメラを手持ちで歩行しながら行う撮影や、人体の一部にカメラを固定装着して行う撮影や、自動車や二輪車等の乗り物にカメラを取り付けて行う撮影等が相当する。また、角速度計１０６のみでカメラ角度を推定する場合を想定する。この場合、角速度出力の積分演算により姿勢角度を推定することは可能であるが、積分による誤差の累積によって正確な絶対角度演算を行うことが困難となる可能性がある。
【0048】
そこで、角速度計１０６と加速度計１０７がそれぞれに不得手とするノイズ領域での不要信号成分の除去（または低減）処理を行い、センサフュージョンにより各検出信号を合成して絶対角度演算が行われる。より詳しくは、カルマンフィルタや相補フィルタ等を用いて演算が行われる。角速度計１０６の積分誤差に最も影響する低周波ノイズを除去したあとの信号と、加速度計１０７の外乱による演算誤差に最も影響する高周波ノイズを除去したあとの信号とが合成される。センサフュージョンによれば、ノイズを除去（または低減）した正確な絶対角度演算が可能である。
【0049】
ピッチ絶対角度算出部７０１，ヨー絶対角度算出部７０２，ロール絶対角度算出部７０３は各方向における角速度計１０６からの角速度と加速度演算での絶対角度とのセンサフュージョンによる絶対角度算出を行い、各方向の絶対角度を取得する。また、加速度計１０７からのカメラ絶対角度の算出が不可能な軸では、角速度計１０６のみの出力で絶対角度演算が行われる。例えば、図１（Ｂ）のＹ軸方向が重力方向と一致している場合を想定する。Ｙ軸を回転中心軸とするヨー回転軸に関して、角速度計１０６のみの出力に基づいて絶対角度が演算される。カメラの角度変化により、絶対角度の算出が可能であると判定された最後の絶対角度の取得時点を起点として、絶対角度の算出が不可能な期間には、角速度の積分による絶対角度演算が行われる。
【0050】
次に図７および図８を参照して、像ブレ補正量の算出方法について説明する。カメラ絶対角度の算出方法により取得されるカメラ絶対角度の信号に基づいて、チルト回転ユニット１０４、パン回転ユニット１０５を回転駆動すれば、像ブレ補正が可能である。しかし、カメラ絶対角度に基づいて像ブレ補正制御を行う場合、いつまでも同じ姿勢を維持し続ける制御が行われることになる。その結果、撮影者が移動しつつ撮影を行う場合、構図が変更されないこと等の影響や、それぞれの回転ユニットの駆動角度が限界値である可動端を超える場合に像ブレ補正の制御が不可能になる等の問題が生じる。このような問題への対策として、本実施形態では振れの低周波成分に対する像ブレ補正は行わず、振れの高周波成分に対する像ブレ補正制御を行う。つまり、像ブレ補正量の算出処理にて、低周波成分に係る像ブレ補正制御のための算出処理は行われずに、高周波成分に係る像ブレ補正制御のために角速度計１０６の出力のみを用いて像ブレ補正量が算出される。
【0051】
角速度計１０６の出力は、高域通過特性を有するハイパスフィルタ（以下、ＨＰＦと記す）によりＤＣ（直流）成分をカットされる。ＨＰＦの出力は積分されて角度信号（以下、防振角度ともいう）に変換される。角速度計１０６は、固定部１０３に実装されている。パン回転ユニット１０５の回転軸に対する角速度計１０６のヨー方向の回転軸は一致している。図７のパン防振角度算出部７０５は、角速度計１０６が出力するヨー方向の角速度をＨＰＦ処理して積分することで角度に変換する。これにより、パンニング方向（ヨー方向）の防振角度を算出することができる。算出されたパンニング方向の防振角度に基づいてパン回転ユニット１０５を回転駆動することで、パンニング方向の像ブレ補正が行われる。
【0052】
チルティング方向については、角速度計１０６が固定部１０３に実装されているので、パン回転ユニット１０５の回転角度によって、チルティング方向の像ブレ補正を行うための制御が変化する。図７のピッチ防振角度算出部７０６は、角速度計１０６の出力を取得してピッチ方向の防振角度（ピッチ防振角度）を算出する。またロール防振角度算出部７０７は、角速度計１０６の出力を取得してロール方向の防振角度（ロール防振角度）を算出する。図８を参照して具体的に説明する。
【0053】
図８はカメラ１０１の撮像方向を説明する図である。図８（Ａ）は、パンニング方向の回転におけるカメラ１０１の正位置の状態、つまりＸ軸が撮像光学系の光軸に対して常に垂直方向に位置する状態を示す。図８（Ｂ）は、パンニング回転角度（θａｐと記す）が９０度となり、紙面と直交するＺ軸（不図示）が撮像光学系の光軸に対して常に垂直方向に位置する状態を示す。
【0054】
図８（Ａ）の状態では、ピッチ防振角度算出部７０６が算出したピッチ防振角度（θｐｉと記す）をそのままチルティング方向の防振角度（チルト防振角度）として算出することができる。また、図８（Ｂ）の状態では、ロール防振角度算出部７０７が算出したロール防振角度（θｒｉと記す）をそのままチルト防振角度として算出することができる。
図７のチルト防振角度算出部７０４が算出する防振角度（チルト防振角度）をθｔｌと表記する。チルト防振角度θｔｌは式（３）により算出できる。
θｔｌ＝θｐｉ×ｃｏｓ（θａｐ）＋θｒｉ×ｓｉｎ（θａｐ）・・・（３）
式（３）中、ｃｏｓ（）は余弦関数を表し、ｓｉｎ（）は正弦関数を表す。θｔｌはθｐｉ，θｒｉ，θａｐの関数であり、パンニング回転角度に基づいてピッチ防振角度とロール防振角度から算出することができる。図８（Ａ）ではθａｐ＝０の状態であり、θｔｌ＝θｐｉの関係が成り立つ。図８（Ｂ）ではθａｐ＝９０°の状態であり、θｔｌ＝θｒｉの関係が成り立つ。チルト防振角度算出部７０４は式（３）によりチルト防振角度を算出する。
図７のチルト防振角度算出部７０４が算出する防振角度（チルト防振角度）をθｔｌと表記する。チルト防振角度θｔｌは式（３）により算出できる。
θｔｌ＝θｐｉ×ｃｏｓ（θａｐ）＋θｒｉ×ｓｉｎ（θａｐ）・・・（３）
式（３）中、ｃｏｓ（）は余弦関数を表し、ｓｉｎ（）は正弦関数を表す。θｔｌはθｐｉ，θｒｉ，θａｐの関数であり、パンニング回転角度に基づいてピッチ防振角度とロール防振角度から算出することができる。図８（Ａ）ではθａｐ＝０の状態であり、θｔｌ＝θｐｉの関係が成り立つ。図８（Ｂ）ではθａｐ＝９０°の状態であり、θｔｌ＝θｒｉの関係が成り立つ。チルト防振角度算出部７０４は式（３）によりチルト防振角度を算出する。
【0055】
式（３）では、パンニング回転角度に応じて、ピッチ防振角度とロール防振角度に基づく変換によってチルト防振角度が算出される。その他の方法として、角速度計１０６からピッチ角速度およびロール角速度を取得し、パンニング回転角度に応じてチルト角速度を算出する方法がある。チルト角速度に対するＨＰＦ処理と積分処理によって角度変換を行い、チルト防振角度を算出することが可能である。
【0056】
以上の方法によれば、パン防振角度算出部７０５によりパン防振角度を取得し、チルト防振角度算出部７０４によりチルト防振角度を取得することができる。それぞれの防振角度に基づく像ブレ補正量に応じて、チルト回転ユニット１０４、パン回転ユニット１０５の回転駆動を行うことにより、チルティング方向とパンニング方向の像ブレ補正が可能である。
【0057】
また、算出されたカメラ絶対角度と、チルト回転ユニット１０４およびパン回転ユニット１０５の回転位置から鏡筒１０２の絶対角度を算出することができる。具体的には、ヨー絶対角度算出部７０２が出力するヨー絶対角度から、パン回転ユニット１０５の回転角度を減算することで、ヨー方向の光軸基準のカメラ角度（鏡筒１０２のヨー絶対角度）を算出できる。
【0058】
固定部１０３の位置に変換した、ピッチ方向の鏡筒回転角度とロール方向の鏡筒回転角度は、パン回転ユニット１０５の回転位置とチルト回転ユニット１０４の回転位置から算出できる。ピッチ方向の光軸基準のカメラ角度（鏡筒１０２のピッチ絶対角度）は、ピッチ絶対角度算出部７０１が出力するピッチ絶対角度から、ピッチ方向の鏡筒回転角度を減算することで算出できる。ロール方向の光軸基準のカメラ角度（鏡筒１０２のロール絶対角度）は、ロール絶対角度算出部７０３が出力するロール絶対角度から、ロール方向の鏡筒回転角度を減算することで算出できる。
【0059】
以上のように、光軸基準のカメラ角度を求めることができる。したがって、例えばカメラ起動時の角度を基準として、現在の鏡筒（カメラ光軸）がどの角度方向を向いているかを判定可能である。カメラ絶対角度と像ブレ補正量が算出された後、図６のＳ６０８からＳ６１１の処理が実行され、Ｓ６１２で領域分割処理が行われる。図９を参照して、領域分割処理について説明する。
【0060】
図９は、撮像装置の空間座標における角度領域ごとの領域分割を説明するための図である。空間座標の原点Ｏの位置をカメラ位置とする。図９（Ａ）は原点Ｏを中心として、全周囲で領域分割を行う例を示す。図９（Ａ）の例ではチルティング方向とパンニング方向にそれぞれ２２．５度で等角の分割が行われる。このような分割では、チルティング方向の角度が０度から離れるにつれて、パンニング方向の円周長が小さくなり、分割領域の面積が小さくなる。図９（Ｂ）は、チルティング方向の角度が４５度以上である場合、パンニング方向において２２．５度よりも大きい角度を設定して領域分割をした例を示す。
【0061】
図９（Ｃ）は、撮影画角内での領域分割の例を示す。軸９０１は初期化時のカメラ１０１の方向（撮像光学系の光軸方向）を表し、当該方向の角度を基準として領域分割が行われる。画角範囲９０２は、撮影画像の範囲に相当する。そのときの画像例を図９（Ｄ）に示す。図９（Ｄ）は画角に対応する画像内での領域分割によって、撮影画像が複数の画像領域９０３～９１８に分割された例を示している。
【0062】
図１０を参照し、カメラ１０１の方向が、初期化時の方向（図９：９０１参照）であるときの、撮影画角内における領域分割の例を説明する。図１０（Ａ）にてパンニング方向の角度を横軸方向に示し、チルティング方向の角度を縦軸方向に示す。図１０（Ａ）は、自動被写体探索の初期化時におけるカメラ１０１の絶対角度を基準とした領域を模式的に示している。図１０（Ｂ）は、チルティング方向の角度が０度である場合の、撮影画角１００１と画角中心１００２に対応する撮影画像例を示す。図１０（Ｃ）は、チルティング方向の度が５５度である場合の、撮影画角１００３と画角中心１００４に対応する撮影画像例を示す。
【0063】
図１０（Ｂ）の場合（チルティング方向の角度が０度）、横（水平）方向の角度範囲がそれほど大きく変わらないので、分割領域の面積の差は比較的小さい。一方、図１０（Ｃ）の場合（チルティング方向の角度が５５度）、横方向の角度範囲が垂直方向（高さ方向）における角度によって大きく変わってしまう。そこで、チルティング方向の角度が４５度以上である場合、横（水平）方向の角度範囲が２２．５度よりも大きく設定される。これにより、チルティング方向の角度が大きくなるにつれて分割領域の面積が小さくなりすぎることを抑制可能である。
【0064】
図１１を参照して、カメラ１０１を初期位置からパンニング方向に１１．２５度回転させたときの領域分割の例を説明する。図１１（Ａ）は、チルティング方向の角度が０度である場合の、撮影画角１１０１と画角中心１１０２を示す。横（水平）方向にて１１．２５度を中心として、領域分割の角度範囲が設定される。図１１（Ｂ）は、撮影画角１１０１と画角中心１１０２に対応する撮影画像例を示す。
【0065】
撮影画角内での領域分割は、式（４）、（５）を用いて行うことができる。カメラ１０１の初期位置を０度の基準とする。
θａｙ＝θｙ＋θｙ＊・・・（４）
θａｘ＝θｘ＊×ｃｏｓ（θａｙ）・・・（５）
上式中の諸量の定義を以下に示す。
θｘ：パンニング方向の角度（初期位置を基準）。
θｙ：チルティング方向の角度（初期位置を基準）。
θｘ＊：パンニング方向の角度位置（画像水平中心）から分割角度までの角度。
θｙ＊：チルティング方向の角度位置（画像垂直中心）か分割角度までの角度。
θａｘ：画像内での水平中心から水平方向の分割角度までの、水平方向における角度値。
θａｙ：画像内での垂直中心から垂直方向の分割角度までの、垂直方向における角度値。
θａｙ＝θｙ＋θｙ＊・・・（４）
θａｘ＝θｘ＊×ｃｏｓ（θａｙ）・・・（５）
上式中の諸量の定義を以下に示す。
θｘ：パンニング方向の角度（初期位置を基準）。
θｙ：チルティング方向の角度（初期位置を基準）。
θｘ＊：パンニング方向の角度位置（画像水平中心）から分割角度までの角度。
θｙ＊：チルティング方向の角度位置（画像垂直中心）か分割角度までの角度。
θａｘ：画像内での水平中心から水平方向の分割角度までの、水平方向における角度値。
θａｙ：画像内での垂直中心から垂直方向の分割角度までの、垂直方向における角度値。
【0066】
制御部２１２は画角内に存在する分割領域をすべて求める。撮影画角に対応する画像は、図１０（Ｂ）および（Ｃ）、図１１（Ｂ）に示すように、画像内で複数の領域に分割される。例えば、水平方向での分割角度は基本的に、２２．５度に設定されるが、垂直方向における４５度～６７．５度の範囲については４５度に設定される。また垂直方向における６７．５度～９０度の範囲については水平方向の分割は行われないので、１つの領域として設定される。
【0067】
領域分割（図６のＳ６１２）の後、制御部２１２は被写体重要度レベルの算出（図６のＳ６１３）を行う。例えば、図９（Ｄ）に示す画像が取得されて、画像内の被写体情報等に基づいて、領域別に被写体重要度レベルが算出される。ただし、撮影画角に対して分割画像の占める割合が閾値より小さい場合、被写体重要度レベルの判定や更新は行われない。具体的には、撮影画角に対応する画像の大きさを１００％としたときに、画面に写っている領域（分割領域）の画像の大きさが５０％以下である場合、制御部２１２は被写体重要度レベルの判定や更新を行わない。
【0068】
被写体重要度レベル（以下、単に「重要度レベル」ともいう）は、設定した領域（分割領域）ごとに、さまざまな条件にしたがって設定される。制御部２１２は下記に示す設定に基づいて重要度レベルをそれぞれ算出する。
（Ａ）人物情報に応じた重要度レベル設定。
（Ｂ）物体認識情報に応じた重要度レベル設定。
（Ｃ）シーンに応じた重要度レベル設定。
（Ｄ）音声情報に応じた重要度レベル設定。
（Ｅ）画像の動き情報に応じた重要度レベル設定。
（Ｆ）過去の撮影情報に応じた重要度レベル設定。
（Ｇ）未探索時間による重要度レベル設定。
（Ｈ）カメラ振動状態による重要度レベル設定。
（Ａ）人物情報に応じた重要度レベル設定。
（Ｂ）物体認識情報に応じた重要度レベル設定。
（Ｃ）シーンに応じた重要度レベル設定。
（Ｄ）音声情報に応じた重要度レベル設定。
（Ｅ）画像の動き情報に応じた重要度レベル設定。
（Ｆ）過去の撮影情報に応じた重要度レベル設定。
（Ｇ）未探索時間による重要度レベル設定。
（Ｈ）カメラ振動状態による重要度レベル設定。
【0069】
まず、（Ａ）について説明する。制御部２１２は撮影画角での各領域内の位置における人物情報に応じた重要度レベルの設定を行う。その際、公知の顔検出技術を用いることができる。例えば被写体の顔に関する知識（肌色情報、目・鼻・口等のパーツ）を利用する方法がある。またニューラルネットワークに代表される学習アルゴリズムにより、顔検出のための識別器を構成する方法がある。また、検出精度を向上させるために、複数の顔検出方法を組み合わせて顔検出を行うことが一般的である。顔検出結果に基づき、顔の大きさや向き、顔としての確からしさを示す信頼度等が算出される。また、顔の各器官の検出情報から顔の表情を検出する技術がある。目の開き度合を検出したり、笑顔度を検出したりすることができる。具体的には、顔を構成する器官（目、鼻、および口等）の輪郭、並びに目頭、目尻、小鼻、口角および唇の位置等から表情検出に必要な特徴量が取得される。特徴量の取得方法として各顔構成部のテンプレートを用いたテンプレートマッチングによる方法や、顔構成部の多数のサンプル画像を用いた学習アルゴリズムによる方法等がある。取得された特徴量に基づいて、笑顔度や目つむり、ウインクや表情（喜び、驚き、怒り、悲しみ、真顔等）の表情検出情報を取得可能である。
【0070】
また、予め個人別の顔データを登録しておき、検出された顔から特定の個人であるか否かを検出する個人顔認証を行うことができる。制御部２１２は顔データと予めデータベースに登録されている対象データとが一致するか否か、またはその一致度を判定する。検出被写体の画像データから、その被写体領域と被認証対象として識別するための特徴情報を抽出する処理が行われる。制御部２１２は、抽出された特徴情報と予めデータベースに登録されている被写体画像の特徴情報とを比較する。比較による類似度を示す認証評価値に基づき、被認証対象がどの登録対象であるか、または該当する登録対象があるかないかの認証を行うことが可能である。例えば、認証評価値に対して閾値が設定され、制御部２１２は、認証評価値が閾値以上である場合、被認証対象がデータベースに登録されている該当対象であると判定することができる。
具体的には、下記Ｋｒ、Ｋａ、Ｋｓが使用される。
・Ｋｒ：顔信頼性によってレベル付された値。
・Ｋａ：個人顔認証情報によってレベル付された値。
・Ｋｓ：顔の表情によってレベル付けされた値。
具体的には、下記Ｋｒ、Ｋａ、Ｋｓが使用される。
・Ｋｒ：顔信頼性によってレベル付された値。
・Ｋａ：個人顔認証情報によってレベル付された値。
・Ｋｓ：顔の表情によってレベル付けされた値。
【0071】
例えばＫｒは、顔信頼性が大きくなるにつれて、大きくなる値である。顔の大きさや向き、顔の確からしさ等によって信頼性が判定される。またＫａは、予め登録された個人の顔ごとの重要度や、後述する過去の撮影情報に基づいて、顔ごとに設定される。またＫｓは、予め設定された表情に応じたレベル付けに基づいて、顔ごとに設定される。例えば、笑顔、喜び、驚き等の表情に対してＫｓは高いレベルに設定され、怒り、悲しみ、真顔、目つむり等の表情に対してＫｓは低いレベルに設定される。制御部２１２は、各表情の度合い、例えば笑顔であれば笑顔度合いに応じて、Ｋｓの可変設定を行うことができる。
【0072】
人物の表情に応じたレベルをＦｌｖｌと表記する。Ｋｒ，Ｋａ，Ｋｓを用いて、Ｆｌｖｌを式（６）から算出することができる。
Ｆｌｖｌ＝Ｋｒ×Ｋａ×Ｋｓ・・・（６）
Ｆｌｖｌ＝Ｋｒ×Ｋａ×Ｋｓ・・・（６）
【0073】
図１２を参照して、人物情報に応じたレベル設定例を説明する。図１２は、領域分割された複数の領域１２０１～１２０８、および３人の人物にそれぞれ対応する被写体領域１２０９～１２１１の例を示す。領域１２０１，１２０４，１２０５，１２０８は画面に写っている範囲が相対的に小さい領域を示している。このような領域は被写体の探索対象として判定されることはない。被写体領域１２０９に対応する第１の人物は個人顔認証登録がなされていない被写体であり、表情に笑顔がない被写体とする。被写体領域１２１０に対応する第２の人物は個人顔認証登録がなされていない被写体であり、表情に笑顔がある被写体とする。被写体領域１２１１に対応する第３の人物は個人顔認証登録がなされている被写体であり、表情に笑顔がある被写体とする。
【0074】
領域１２０２，１２０６には第１の人物（被写体領域１２０９）が写っているので、両方の領域にて第１の人物の人物情報に応じたレベル設定が行われる。第１の人物に関する個人認証の登録情報が参照されて、個人認証登録がなされていないことが判明する。この場合、例えばＫａの値は１であり、その表情に笑顔はないのでＫｓの値は１である。Ｆｌｖｌ＝Ｋｒとなり、顔信頼性によって被写体領域１２０９の重要度レベルが決定される。
【0075】
領域１２０３，１２０７には第２および第３の人物（被写体領域１２１０と１２１１）が写っているので、両方の領域にて第２および第３の人物の人物情報に応じたレベル設定が行われる。第２の人物に関する個人認証の登録情報が参照されて、個人顔認証登録がなされていないことが判明する。この場合、例えばＫａの値は１であり、その表情に笑顔があるので、Ｋｓは１以上の値に設定される。また第３の人物に関する個人認証の登録情報が参照されて、個人顔認証登録がなされていることが判明する。この場合、例えばＫａの値は１以上であり、その表情に笑顔があるので、Ｋｓは１以上の値に設定される。よって、顔信頼性の度合いが被写体領域１２０９と１２１０と１２１１とで同じである場合、各被写体の重量度レベルの大きさは、「被写体領域１２１１の重要度レベル＞被写体領域１２１０の重要度レベル＞被写体領域１２０９の重要度レベル」の関係となる。
【0076】
また制御部２１２は、画面に顔が写っている割合によってレベル分けを行う。画像内の顔画像の割合が閾値より大きい領域では、求めた重要度レベルがそのまま設定され、また画像内の顔画像の割合が閾値より小さい領域では、顔画像の割合によって重要度レベルが変更される。例えば図１２において領域１２０３と領域１２０７とで人物の顔が写っている割合を「８：２」とする。この場合、領域１２０３と領域１２０７の重要度レベルの比は「１０：２．５」に設定される。
以上のように、（Ａ）では人物の顔情報に基づいて、領域ごとに重要度レベルを設定することができる。
以上のように、（Ａ）では人物の顔情報に基づいて、領域ごとに重要度レベルを設定することができる。
【0077】
次に（Ｂ）について説明する。制御部２１２は、物体認識情報に基づいて重要度レベルの設定を行う。例えば、犬や猫等の一般的な物体カテゴリー認識や、検出された被写体の画像と事前に登録された被写体の画像との一致度に基づく被写体認識の結果に応じて重要度レベルが設定される。物体認識については、ニューラルネットワークに代表される学習アルゴリズムにより、犬や猫等の識別器を構成する方法等がある。
【0078】
図１３を参照して、予め登録されている物体認識情報に応じた重要度レベルの設定について説明する。図１３は、領域分割された領域１３０１～１３０８と、３つの被写体領域１３０９，１３１１，１３１３の例を示す。被写体領域１３０９は物体認識により犬と判定される領域であり、被写体領域１３１３は物体認識により猫と判定される領域である。被写体領域１３１１は人物と判定される領域である。人物については上記（Ａ）で判定されるので、物体認識情報に応じた重要度レベルの設定対象からは除外される。また被写体が、犬であると認識される場合と、猫であると認識される場合の、それぞれの重要度レベルは予め登録されているものとする。例えば、犬が重要被写体とされ、猫が重要被写体でないと設定されている場合を想定する。この場合、犬が検出される領域１３０７の重要度レベルの方が、猫が検出される領域１３０６の重要度レベルよりも高く設定される。また、制御部２１２は物体認識の信頼度を算出し、信頼度に応じて重要度レベルを変更することができる。（Ｂ）でも、画面に被写体が写っている割合によってレベル分けを行うことができる。画像内の被写体画像の割合が最も大きい領域では、求めた重要度レベルがそのまま設定され、また画像内の被写体画像の割合が小さい領域では、その割合に応じて重要度レベルが変更される。
【0079】
続いて（Ｃ）について説明する。制御部２１２は、画像データの解析を行い、シーンに基づいて重要度レベルの設定を行う。例えば、画像データを解析することで、、「自然の緑シーン」、「青空シーン」、「夕景シーン」等の判定処理が実行される。「自然の緑シーン」は、例えば自然界での樹林地域のシーンのように、緑色域の割合が大きいシーンである。空にかかわるシーンの判定については、カメラの絶対角度情報を使用可能である。絶対角度情報からカメラの傾き情報が分かるので、重力方向に垂直な方向よりも上方向の範囲を撮影するカメラ姿勢であるか否かを判定できる。上方向の範囲を撮影するカメラ姿勢であると判定された場合に「青空シーン」や「夕景シーン」等の判定が行われる。
【0080】
制御部２１２は、撮像された画像の、１フレームの１２ビットＲＡＷデータを、ｎ×ｍ個（ｎ，ｍは自然数を表す変数である）の領域にブロック分割する処理を行う。制御部２１２は、ブロック分割された各領域内のＲ（赤），Ｇ（緑），Ｂ（青）の各色の画素の平均値を算出する。画像処理部２０６は各領域のＲ，Ｇ，Ｂの平均値に対して、ホワイトバランス補正処理、ガンマ補正処理、色変換マトリックス処理による仮現像処理を行う。
【0081】
「青空シーン」の判定処理では、画面内の上方向の領域にて青色域のブロック（以下、青空ブロックという）の占める割合が算出される。青空ブロックかどうかの判定処理において、ＵＶ色空間上で青空判定領域が定義されており、その領域内にある青空ブロックの数をカウントし、閾値と比較する処理が実行される。また、「夕景シーン」の判定処理では、画面内の上方向の領域にて赤色域のブロック（以下、夕景ブロックという）の占める割合が算出される。夕景ブロックかどうかの判定処理において、ＵＶ色空間上で夕景判定領域が定義されており、その領域内にある夕景ブロックの数をカウントし、閾値と比較する処理が実行される。また、「自然の緑シーン」の判定処理では、画面内の全ブロックに占める緑色域のブロックの割合が算出される。緑色域のブロックかどうかの判定処理において、ＵＶ色空間上で緑判定領域が定義されており、その領域内にある緑色域のブロックの数をカウントし、閾値と比較する処理が実行される。いずれの判定処理でも計数値が閾値以上である場合に該当するシーンであると判定することが可能である。
【0082】
図１４を参照して、（Ｃ）における具体例を説明する。図１４は領域分割された領域１４０１～１４０８の例を示す。画面にて右上の範囲に青空が写っており、左側の範囲に建物が写っており、右下の範囲に自然物（緑色物体）が写っているシーンを想定する。シーン判定より、「青空シーン」と「自然の緑シーン」が検出される。制御部２１２は領域１４０３に対し、青空領域認識に応じた重要度レベルを設定し、領域１４０７に対し、緑領域認識に応じた重要度レベルを設定する。例えば領域１４０２は、当該領域に対する青空領域の割合が４０％であるとする。領域１４０２には青空領域認識に応じた重要度レベルとして４０％が設定される。領域１４０６は、当該領域に対する緑領域割合が３０％であるとする。領域１４０６には緑領域認識に応じた重要度レベルとして３０％が設定される。
【0083】
色空間情報によるシーン判定方法を説明したが、輝度値に基づくシーン判定方法がある。「夜景シーン」の判定例を説明する。画面全体での輝度分布ヒストグラムに基づき、輝度が閾値以上に高いレベルと輝度が閾値未満の低いレベルのみで構成される輝度分布をもつシーンを、「夜景シーン」と判定することができる。また、画像の輝度信号の高周波成分に基づいて算出されるコントラスト評価値を用いる方法がある。コントラスト評価値により点光源（灯体や天体等）を判定し、輝度分布と点光源の判定結果を用いて「夜景シーン」であるかどうかを判定することができる。
【0084】
シーン判定結果（「青空シーン」、「夕景シーン」、「自然の緑シーン」、「夜景シーン」等）に対応する重要度レベルのデータは記憶部（不図示）に予め登録されている。制御部２１２は、シーン判定結果に対応する重要度レベルに基づいて、画像内の領域ごとに重要度レベルを設定することができる。
【0085】
続いて（Ｄ）について説明する。制御部２１２は音声情報を解析して判定を行い、判定結果に基づいて重要度レベルの設定を行う。例えば制御部２１２は音声入力部２１０からの音声信号に基づいて音声方向、音レベル、音声認識等の判定を行う。図１５を参照して、取得された音声情報に応じた重要度レベルの設定について説明する。
【0086】
図１５は、（Ｄ）における処理例を示すフローチャートである。以下の処理は制御部２１２のＣＰＵが実行する制御プログラムにしたがって行われる。Ｓ１５０１で制御部２１２は、音声入力部２１０により、外部の発声による音声信号を取得したか否かを判定する。音声信号が取得された場合、Ｓ１５０２の処理に進み、音声信号が取得されなかった場合にはＳ１５０１の処理が繰り返し実行される。
【0087】
制御部２１２は、音声方向の検知機能、音レベルの検出機能、音声認識機能を有する。各機能は制御プログラムの実行により実現される。Ｓ１５０２で制御部２１２は、音声方向の検知機能により、音声信号の発生方向を検知する。次のＳ１５０３で制御部２１２は、音レベルの検出機能により、音声信号の音レベルを検出する。次のＳ１５０４で制御部２１２は、音声認識機能により、音声信号に基づいて音声を認識する。次にＳ１５０５の処理に進む。
【0088】
Ｓ１５０５で制御部２１２は、音声認識用の所定の音声コマンド（音声認識コマンド）であるか否かを判定する。音声認識コマンドであると判定された場合、Ｓ１５０６の処理に進み、音声認識コマンドでないと判定された場合、Ｓ１５０７の処理に進む。Ｓ１５０６で制御部２１２は、音声認識コマンドのレベル（Ｓｃと記す）をＡｃ１に設定する。またＳ１５０７で制御部２１２はＳｃをゼロに設定する。Ｓ１５０６またはＳ１５０７の次にＳ１５０８の処理に進む。
【0089】
Ｓ１５０８で制御部２１２は、Ｓ１５０３で検出された音レベルが所定値（閾値）以上であるか否かを判定する。検出された音レベルが閾値以上であると判定された場合、Ｓ１５０９の処理に進み、音レベルが閾値未満であると判定された場合、Ｓ１５１０の処理に進む。Ｓ１５０９で制御部２１２は、音声レベル（Ｓｓと記す）をＡｃ２に設定する。Ｓ１５１０で制御部２１２はＳｓをゼロに設定する。Ｓ１５０９またはＳ１５１０の次に、Ｓ１５１１の処理に進む。
【0090】
Ｓ１５１１で制御部２１２は、Ｓ１５０２で検知された音声方向（音声信号の発生方向）に基づき、音声方向領域を算出する。音声方向領域は音声方向に対応する領域である。例えば制御部２１２は音声方向の認識誤差を考慮し、検知された音声方向の角度を基準として、±４５度の範囲すべてに対応する領域を音声方向領域とする。次にＳ１５１２で制御部２１２は、音声認識コマンドのレベルＳｃと音声レベルＳｓとを加算することにより、トータル音レベル（Ｓｌと記す）を算出する。次にＳ１５１３の処理に進む。
【0091】
Ｓ１５１３で制御部２１２は、トータル音レベルＳｌに関する条件判定を行う。Ｓ１５１３での条件は、今回のＳｌが前回のサンプリング時のＳｌに対して、大きくなる方へ変化したことである。この条件を満たす場合、Ｓ１５１４の処理に進み、条件を満たさない場合、Ｓ１５１６の処理に進む。
【0092】
Ｓ１５１４で制御部２１２は、所定時間パラメータ（Ｔａと記す）に、時間カウント値であるＸｔを設定し、Ｓ１５１５の処理に進む。Ｓ１５１５で制御部２１２は、Ｓ１５１１で算出した音声方向領域にトータル音レベルＳｌを設定してからＳ１５０１へ移行する。
【0093】
Ｓ１５１６で制御部２１２は、所定時間パラメータＴａのデクリメントを行い、Ｓ１５１７の処理に進む。Ｓ１５１７で制御部２１２は、所定時間パラメータＴａの値がゼロ以下であるか否かを判定する。Ｔａ値がゼロ以下である場合、つまりＳｌが大きくなる方へ変化した時点からＴａ値に相当する時間が経過した場合、Ｓ１５１８の処理に進む。またＴａ値がゼロより大きい場合、Ｓ１５１５の処理に進む。Ｓ１５１５で制御部２１２は音声方向領域に対し、これまでに演算されたトータル音レベルＳｌを、音声情報に応じた重要度レベルとして設定する。Ｓ１５１８で制御部２１２は、トータル音レベルＳｌをゼロに設定する。Ｓ１５１１での音声方向領域に対し、Ｓｌ値（＝０）が設定される。そしてＳ１５０１へ移行する。
【0094】
続いて、（Ｅ）について説明する。制御部２１２は、領域分割された各領域（図９参照）において動き被写体（移動体）が存在するか否かを判定し、画像の動き情報に応じた重要度レベルの設定を行う。制御部２１２は分割領域ごとに、フレーム間の差分検出やフレーム間の動きベクトル検出等を行う。動きベクトルの検出方法としては、画面を複数の領域に分割し、時系列で連続する２つの画像内の領域同士を比較することで、画像の相対的なズレ情報から画像動き量を算出する方法がある。例えば２つの画像は、予め記憶されている１フレーム前の画像と、現在の画像である。カメラ絶対角度と、チルト回転ユニット１０４およびパン回転ユニット１０５の回転位置との差分により、鏡筒１０２の撮像面光軸方向の角度が求めることができる。よって、フレーム間での鏡筒１０２の角度の差分より、カメラ角度変化の影響による像ブレの動きベクトル値を検出することができる。
【0095】
図１６は撮影画像内の動き検出の説明図である。図１６（Ａ）は、領域分割された領域内でさらに分割されることで細分化された複数の領域１６０１を模式的に示す。制御部２１２は、分割された領域１６０１にてフレーム間の移動ピクセルを検出する。制御部２１２は検出された移動ピクセルからカメラ角度変化の影響による動きベクトル値を減算した後のベクトル信号に基づいて度数分布算出処理を行う。なお、低コントラストの画像等の場合、動きベクトル検出が難しいので、検出不可ブロックのベクトル情報は度数分布算出処理に反映されない。図１６（Ｂ）および（Ｃ）に度数分布例を示す。横軸は動きベクトル値に対応する移動量（単位：ピクセル）を表し、縦軸は移動量に対応する度数を表す。
【0096】
図１６（Ｂ）は、ある領域に動き被写体が存在しない場合の、あるフレームでの度数分布例を示す。横軸における閾値範囲１６０２は移動量が小さく、被写体にほとんど動きがない範囲である。そのため、閾値範囲１６０２内の動きベクトル情報は使用されない。度数閾値１６０３は、縦軸の度数に対する閾値である。制御部２１２は、閾値範囲１６０２以外の範囲における移動量に対応する度数が度数閾値１６０３を超えている場合、領域内に動き被写体が存在すると判定する。図１６（Ｂ）の例にて、閾値範囲１６０２以外の範囲では移動量に対応する度数が度数閾値１６０３を超えていないので、動き被写体は存在しないと判定される。
【0097】
図１６（Ｃ）は、ある領域内に動き被写体が存在する場合の、あるフレームでの度数分布例を示す。閾値範囲１６０２以外の範囲にて、移動量に対応する度数が度数閾値１６０３を超えているので、制御部２１２は領域内に動き被写体が存在すると判定する。制御部２１２は、過去における所定数のフレームの期間に動き被写体が連続して存在することを判定した場合、「動き被写体あり」に対応する重要度レベルの設定を行う。
【0098】
続いて、（Ｆ）について説明する。制御部２１２は過去に取得された撮影情報（以下、過去撮影情報という）に基づいて重要度レベルの設定を行う。カメラ１０１は後述の方法で、パンチルト駆動（以下、ＰＴ駆動と記す）を行って被写体の自動探索を行う。カメラ１０１は自動探索中の画像情報に基づいて自動撮影トリガーを検出することで、自動撮影を開始する。自動撮影トリガーは、例えば、人物の笑顔等の表情が検出されることや、後述するように最終的な被写体重要度レベルに基づいている。また、撮影者がカメラ１０１に設けられたレリーズＳＷ（スイッチ）等を操作することにより、手動で撮影の開始を指示する場合には、操作指示信号にしたがって撮影動作が開始される。カメラ１０１が撮影動作を開始すると、制御部２１２は過去撮影情報をメモリに記憶して管理する。
【0099】
まず、領域分割された領域ごとの過去撮影情報に応じた重要度レベルに設定について説明する。制御部２１２は、図９のように領域分割された各領域での撮影枚数の記憶および管理を行う。図１７を参照して、過去撮影情報の管理方法を説明する。
【0100】
図１７は、複数の領域（ＡｒｅａＮ：Ｎ＝１，２，・・・）、および複数の時間帯に対応する撮影枚数の例を示す。制御部２１２は領域ごとに、各時間帯における撮影枚数を管理する。図１７では時間帯として「今～Ｔ１時間」、「Ｔ１時間～Ｔ２時間」、「Ｔ２時間～Ｔ３時間」、「Ｔ３時間～Ｔ４時間」の区分のみ示している。制御部２１２は領域ごとの過去撮影情報に基づいて重要度レベルを領域ごとに設定する。「今～Ｔ１時間」は現在から過去のＴ１時間前までの第１の期間を表す。第１の期間での撮影枚数に対する重み係数の値を、例えば１とする。「Ｔ１時間～Ｔ２時間」は過去のＴ１時間前から過去のＴ２時間前までの第２の期間を表す。第２の期間での撮影枚数に対する重み係数の値を、例えば０．８とする。「Ｔ２時間～Ｔ３時間」は過去のＴ２時間前から過去のＴ３時間前までの第３の期間を表す。第３の期間での撮影枚数に対する重み係数の値を、例えば０．５とする。「Ｔ３時間～Ｔ４時間」は過去のＴ３時間前から過去のＴ４時間前までの第４の期間を表す。第４の期間での撮影枚数に対する重み係数の値を、例えば０．２とする。この場合、制御部２１２は、それぞれの重み係数と撮影枚数を乗算し、各時間帯での計算結果を加算する。つまり、重み付けされたトータル撮影枚数が領域ごとに算出される。
【0101】
具体的には、Ａｒｅａ１については、第１から第４の期間での撮影枚数がそれぞれ０、０、０、２である。第１から第４の期間での重み係数の値はそれぞれ１、０．８、０．５、０．２である。よって、Ａｒｅａ１のトータル撮影枚数は、０×１＋０×０．８＋０×０．５＋２×０．２＝０．４（枚）である。同様にして、Ａｒｅａ３のトータル撮影枚数は、３×１＋４×０．８＋２×０．５＋０×０．２＝７．２（枚）である。制御部２１２は、各領域のトータル撮影枚数にレベル係数を乗算して、領域ごとの過去撮影情報に応じた重要度レベル設定を行う。レベル係数の値はマイナスの値であり、撮影枚数が多くなるにつれて重要度レベルが下がっていくものとする。
【0102】
また、過去撮影情報は上記（Ａ）から（Ｃ）等の設定にもフィードバックされ、それぞれの重要度レベルの設定にも影響する。図１８を参照して、具体的に説明する。図１８は、上記（Ａ）にフィードバックするための過去撮影情報の例を示す。
【0103】
図１８に示すように制御部２１２は、個人登録されている被写体（Ａｓａｎ、Ｂｓａｎ，Ｃｓａｎ、Ｄｓａｎ・・・）ごとの、過去の撮影枚数を複数の時間帯にわたってそれぞれ記憶および管理している。図１７で説明した方法と同様に、各時間帯での重み係数が設定されており、登録被写体ごとにそれぞれのトータル撮影枚数が算出される。トータル撮影枚数にレベル設定のためのレベル係数を乗算した結果をＫａに加算することで、上記（Ａ）において過去撮影情報がフィードバックされる。なお、レベル係数の値はマイナスの値であり、撮影枚数が多くなるにつれてレベルが下がっていくが、Ｋａの値はゼロ以下にならないように設定される。
【0104】
図１９は、上記（Ｂ）にフィードバックするための過去撮影情報の例を示す。制御部２１２は、登録されている被写体（犬、猫・・・）ごとの、過去の撮影枚数を複数の時間帯にわたってそれぞれ記憶および管理している。図１７で説明した方法と同様に、各時間帯での重み係数が設定されており、登録被写体ごとにそれぞれトータル撮影枚数が算出される。トータル撮影枚数にレベル設定のためのレベル係数を乗算した結果を、各被写体に応じた重要度レベルに加算することで、上記（Ｂ）において過去撮影情報がフィードバックされる。
【0105】
図２０は、上記（Ｃ）にフィードバックするための過去撮影情報の例を示す。制御部２１２はシーンごとの過去の撮影枚数を複数の時間帯にわたってそれぞれ記憶および管理している。図１７で説明した方法と同様に、各時間帯での重み係数が設定されており、シーンごとにそれぞれトータル撮影枚数が算出される。トータル撮影枚数にレベル設定のためのレベル係数を乗算した結果を、各シーンに応じた重要度レベルに加算することで、上記（Ｃ）において過去撮影情報がフィードバックされる。
【0106】
上記（Ｂ）、（Ｃ）におけるレベル係数の値はマイナスの値であり、撮影枚数が多くなるにつれてレベルが下がっていくが、被写体（物体）やシーンに応じた重要度レベルはゼロ以下にならないように設定される。
【0107】
続いて、（Ｇ）について説明する。制御部２１２は、未探索時間による重要度レベル設定を行う。未探索時間は、領域分割された領域内で最後に被写体探索が行われた時点からの経過時間に相当する。図２１を参照して処理の流れを説明する。
【0108】
図２１は上記（Ｇ）での処理例を示すフローチャートである。以下の処理は制御部２１２のＣＰＵが実行する制御プログラムにしたがって行われる。Ｓ２１０１で制御部２１２は現在のカメラ１０１の位置および姿勢の検出情報であるパン・チルト位置を取得し、Ｓ２１０２の処理に進む。Ｓ２１０２では、前述した方法で算出されたカメラ絶対角度が取得される。次にＳ２１０３で制御部２１２は、Ｓ２１０１で取得したパン・チルト位置とＳ２１０２で取得したカメラ絶対角度に基づいて、鏡筒１０２の絶対角度を算出し、Ｓ２１０４の処理に進む。
【0109】
Ｓ２１０４で制御部２１２は、ループ演算のための変数（Ａｒｅａと記す）に１を代入してから、Ｓ２１０５に進む。Ｓ２１０５で制御部２１２は、鏡筒１０２の絶対角度を微分処理して絶対角速度を算出する。制御部２１２は、算出した絶対角速度が所定角速度以内であるか否かを判定する（第１の条件判定）。所定角速度は予め定められた閾値であり、鏡筒１０２の絶対角速度が被写体検出可能な程度の角速度に相当する。例えば、撮像の遅れ、検出時間の遅れを加味して、画像から被写体検出が行われるまでの遅れ時間が所定値以内となる閾値が設定される。第１の条件に関して、鏡筒１０２の絶対角速度が所定角速度以内である場合、肯定的判定結果が得られ、鏡筒１０２の絶対角速度が所定角速度以内でない場合、否定的判定結果が得られる。また、領域分割された領域（図９参照）ごとにそれぞれ領域番号が定義されている。制御部２１２は、変数Ａｒｅａの値が画面に写っている領域の領域番号であるかどうかを判定する（第２の条件判定）。第２の条件に関して、変数Ａｒｅａの値が画面に写っている領域の領域番号である場合、肯定的判定結果が得られ、変数Ａｒｅａの値が画面に写っている領域の領域番号でない場合、否定的判定結果が得られる。Ｓ２１０５にて第１および第２の条件を満たす場合（ともに肯定的判定結果の場合）、Ｓ２１０６の処理に進む。第１または第２の条件を満たさない場合（少なくとも一方が否定的判定結果の場合）、Ｓ２１０７の処理に進む。
【0110】
Ｓ２１０６で制御部２１２は、現在の変数Ａｒｅａに関する未探索時間に応じた重要度レベル（時間レベル）をゼロに設定する。またＳ２１０７で制御部２１２は、現在の変数Ａｒｅａに関する時間レベルのインクリメントを行う。Ｓ２１０６またはＳ２１０７の次に、Ｓ２１０８の処理に進む。Ｓ２１０８では変数Ａｒｅａのインクリメントが行われる。その後、Ｓ２１０９に進み、制御部２１２は変数Ａｒｅａの値がトータル領域数より大きいか否かを判定する。変数Ａｒｅａの値がトータル領域数より大きい場合、処理を終了する。変数Ａｒｅａの値がトータル領域数以下である場合、Ｓ２１０５に移行し、Ｓ２１０５～２１０９の処理が繰り返し実行される。
【0111】
以上の方法により、制御部２１２は分割された領域ごとに、未探索時間に応じた重要度レベルを設定する。対象領域について最後に被写体探索が行われた時点からの経過時間（未探索時間）が長くなると、各領域の時間レベルが大きくなる。長時間にわたって被写体探索が行われていない領域は、その重要度レベルが上がるので、ＰＴ駆動により当該領域での被写体探索が行われることになる。
【0112】
続いて、（Ｈ）について説明する。制御部２１２はカメラ振動状態に応じて重要度レベルの設定を行う。図６のＳ６０９で算出されたカメラ状態判定によって、カメラ振動状態として、「置き撮り状態」、「乗り物検出状態」、「手持ち状態」等の判定結果が取得される。
【0113】
カメラ振動状態が「置き撮り状態」であると判定された場合、カメラ絶対角度の誤演算の可能性は低く、各領域に係る重要度レベルの演算の信頼性は高い。よって、制御部２１２は既に演算した領域ごとの重要度レベルをそのまま使用して、以後の被写体探索制御を行う。
【0114】
カメラ振動状態が「乗り物検出状態」であると判定された場合、移動速度の大きい乗り物内の被写体である搭乗者の変化はほとんどないが、風景等の外部の被写体は時々刻々と変化する。よって、制御部２１２は上記（Ａ）による人物情報に応じた重要度レベルをそのまま使用するが、上記（Ｅ）による画像の動き情報に応じた重要度レベルは使用しない。また、上記（Ｂ）による物体認識情報に応じた重要度レベルと、上記（Ｃ）によるシーンに応じた重要度レベルはすぐに変化する可能性が高い。よって制御部２１２はこれらの重要度レベルを相対的に下げる。ただし、自動撮影においてはカメラ振動状態の検出後、すぐに撮影動作が開始されるように制御が行われる。また制御部２１２は、上記（Ｄ）による音声情報に応じた重要度レベルと、上記（Ｆ）による過去撮影情報に応じた重要度レベルを、そのまま使用する。また、カメラ１０１の進行方向が検出され、高速移動中の進行方向における加速度が加速度計１０７により検出される。制御部２１２は当該進行方向に対応する領域に係る重要度レベルを上げる演算を行う。
【0115】
カメラ振動状態が「手持ち状態」であると判定された場合、撮影者がカメラの方向（撮像方向）の変更操作を行う可能性が高く、手振れ等の振動が大きい状態となる可能性がある。そこで制御部２１２は、チルティング方向およびパンニング方向の角度がいずれも０度であるカメラ正位置から、±４５度の範囲をもつ第１の領域に係る重要度レベルを相対的に大きく設定する。また制御部２１２は、±４５度～±９０度の範囲をもつ第２の領域に係る重要度レベルを相対的に小さく設定する。そして制御部２１２は、±９０度よりも離れた範囲をもつ第３の領域では第２の領域よりも重要度レベルがさらに小さくなるように設定する。制御部２１２は領域ごとに重要度レベルを加算するか、または、領域ごとに算出された重要度レベルに対し、それぞれの角度範囲に応じた重み係数を乗算する。例えば、第１の領域に対する第１の重み係数の値は１であり、第２の領域に対する第２の重み係数の値は１未満である。第３の領域に対する第３の重み係数の値は、第２の重み係数の値よりも更に小さい。
【0116】
以上の方法により、制御部２１２はカメラ振動状態に応じて重要度レベルの演算を変更し、検出されたカメラ振動状態に適合する被写体探索が行われるように制御する。
制御部２１２は上記（Ａ）から（Ｈ）によって求めた各領域における重要度レベルに基づいて、各重要度レベルの加算（単純加算または加重加算）を行って被写体重要度レベルを算出する。
制御部２１２は上記（Ａ）から（Ｈ）によって求めた各領域における重要度レベルに基づいて、各重要度レベルの加算（単純加算または加重加算）を行って被写体重要度レベルを算出する。
【0117】
次に、ＰＴ駆動による被写体探索の目標角度算出（図６のＳ６１４）について説明する。まず制御部２１２は、領域分割された、隣接する領域の被写体重要度レベルに基づき、被写体探索用の重要度レベル（探索用最終レベル）を算出する。図２２を参照して、具体的に説明する。
【0118】
図２２は、シーンごとの探索目標角度の演算を説明するための図である。図２２（Ａ）において、領域２２０１は前述の方法によって分割された複数の領域のうちのひとつであり、演算の対象領域である。図２２（Ｂ）は領域２２０１と、当該領域に隣接する周辺領域２２０２～２２０９を示す。領域２２０１における探索用最終レベルは、領域２２０１およびその周辺領域２２０２～２２０９の情報を用いて演算される。例えば、領域２２０１に対する重み係数の値を１とし、周辺領域２２０２～２２０９に対する重み係数の値を１以下（例えば０．５）とする。制御部２１２は領域ごとの被写体重要度レベルにそれぞれの重み係数を乗算し、すべての領域で求めた計算値を加算することで探索用最終レベルを算出する。演算はすべての領域で行われ、各領域での探索用最終レベルが算出される。
【0119】
次に制御部２１２は、探索用最終レベルが最も大きい領域を探索目標領域として設定する。探索目標領域が図２２の領域２２０１である場合を想定する。領域２２０１および周辺領域２２０２～２２０９の探索用最終レベルおよび中心角度から、ＰＴ駆動による被写体探索の目標角度（ｙと記す）が式（７）により算出される。
式（７）中のｎは領域の個数を表し、図２２では領域２２０１～２２０９の個数（９）を表す。ｉは各領域を識別するために定義された変数であり、図２２では領域２２０１～２２０９に１～９がそれぞれ割り当てられる。ｂは各領域の中心角度を表す。ｂｉはｉ番目の領域の中心角度を表している。ａは各領域の探索用最終レベルを表す。ａｉはｉ番目の領域の探索用最終レベルを表している。Σは変数ｉの範囲（１からｎ）に基づく総和演算の記号である。
【数1】
【0120】
制御部２１２は、領域２２０１～２２０９の探索用最終レベルに基づいて、加重加算を行い、目標角度ｙを算出する。目標角度ｙについては、チルティング方向とパンニング方向とでそれぞれ演算される。この演算は、各領域の探索用最終レベルと、各領域の探索用最終レベルの合計値との比を重み係数に用いて、各領域の中心角度から、角度の重心位置を求める演算に相当する。
【0121】
各領域の探索用最終レベルの合計値が所定の閾値以下である場合、制御部２１２は探索してもその時点での重要な被写体がないと判定する。この場合、カメラ１０１のＰＴ駆動は行われない。また制御部２１２は、上記（Ｆ）を除外した条件で算出した被写体重要度レベルに基づいて目標角度ｙを演算する。目標角度ｙに基づくＰＴ駆動が行われた後、各領域の探索用最終レベルのいずれかが所定の閾値より大きくなる時点までの間、カメラ１０１は目標角度ｙに相当する角度位置に保持される。
【0122】
次に、ＰＴ駆動量の算出（図６のＳ６１５）について説明する。制御部２１２はＳ６０７で求めた像ブレ補正量と、Ｓ６１４までに求めた被写体探索の目標角度から、ＰＴ駆動量を算出する。像ブレ補正量と被写体探索の目標角度とに基づいた、制御サンプリングでの駆動角度を加算することで、ＰＴ駆動量が算出される。ＰＴ駆動量に基づいてパンニング駆動角度とチルティング駆動角度がそれぞれ算出される。Ｓ６１６で鏡筒回転駆動部１１２は、それぞれの駆動角度に応じてチルト回転ユニット１０４、パン回転ユニット１０５を駆動する。Ｓ６１７で制御部２１２は自動追従処理を実行する。
【0123】
図２３は、自動追従の動作例を説明するフローチャートである。Ｓ２３５１で制御部２１２は、画像処理部２０６、ズーム駆動制御部２０２およびフォーカス駆動制御部２０４の検出結果に基づき、被写体情報を取り込む処理を実行する。被写体情報は、被写体の速度と位置、被写体周りの動きベクトル、被写体と撮像装置との距離（被写体距離）、被写体の向き、被写体の進行方向のうち、少なくとも１つ以上により構成される情報である。
【0124】
被写体情報を構成する各要素の算出方法について説明する。画像処理部２０６は画像処理を行い、被写体検出用の画像を生成する。主被写体の画像領域である主被写体領域が検出される。主被写体領域の重心に基づいて、主被写体の像面上の位置（以下、被写体位置という）が算出される。この被写体位置と、現在から１フレーム前の画像において算出された被写体位置との差分により、１フレーム間の像面上の被写体移動量が算出される。算出された１フレーム間の像面上の被写体移動量と、１フレームにかかる時間とを用いて、主被写体の像面上の速度（以下、被写体速度という）を算出することが可能である。
【0125】
次に、１フレーム前の画像から検出された主被写体領域をテンプレートとし、当該テンプレートと現在の主被写体領域とのテンプレートマッチング処理が実行される。これにより被写体周りの動きベクトルを検出し、この動きベクトルから被写体の進行方向を算出することが可能である。また、予め設定されている被写体の向きのテンプレートを使用して、当該テンプレートと現在の主被写体領域とのテンプレートマッチング処理が実行される。これにより被写体の向きを検出することが可能である。例えば、被写体の横顔のテンプレートを用いて、主被写体が横を向いているか否かを判別可能である。その次に、ズーム駆動制御部２０２より検出される、現在のズームレンズの位置（焦点距離ｆに対応する）、および、フォーカス駆動制御部２０４より検出されるフォーカスレンズの位置が取得される。これらの位置の情報から、焦点が合う被写体と撮像装置との距離を算出することが可能である。
【0126】
Ｓ２３５１で被写体情報が取得されると、Ｓ２３５２の処理に進む。なお、被写体のフェードアウトや、主被写体以外の物体が主被写体の前を横切る等の理由で被写体情報を取得できなかた場合には図６のＳ６０２に戻り、自動被写体探索、自動追従、自動撮影処理が繰り返し実行される。
【0127】
Ｓ２３５２ではＰＴ駆動量の算出処理が行われる。目標位置設定部１１２３により、Ｓ２３５１で検出された被写体位置に基づいて目標位置が設定される。次に、ＰＩＤ演算部１１２４が算出した制御量と、追従敏感度設定部１１２６による追従の敏感度に基づいて、ＰＴ駆動量が算出される。制御量と追従の敏感度に基づくＰＴ駆動量の算出の具体例については後述する。Ｓ２３５２の次にＳ２３５３の処理に進む。
【0128】
Ｓ２３５３ではＰＴ駆動が行われる。Ｓ２３５２で算出されたＰＴ駆動量に基づいて、チルト回転ユニット１０４、パン回転ユニット１０５がそれぞれ駆動される。制御部２１２は、現在のＰＴ駆動情報を算出する。例えばＰＴ駆動情報は、ＰＴ駆動速度、ＰＴ駆動位置、ＰＴ駆動の可動域のうち、１つ以上により構成される情報である。
【0129】
ＰＴ駆動情報を構成する各要素の算出方法について説明する。まず、位置演算部１１２２は、パン回転ユニット１０５およびチルト回転ユニット１０４の回転位置（ＰＴ駆動位置）を算出する。現在のＰＴ駆動位置と、１フレーム前に検出されたＰＴ駆動位置とから、パン回転ユニット１０５およびチルト回転ユニット１０４の回転量が算出される。この回転量と１フレームにかかる時間とを用いて、ＰＴ駆動速度を算出することが可能である。次に、チルト回転ユニット１０４、パン回転ユニット１０５それぞれの可動端の位置と現在のＰＴ駆動位置との差分が算出される。この差分はＰＴ駆動の可動域に相当する。ＰＴ駆動情報の算出後にＳ２３５４の処理に進む。ただし、ＰＴ駆動の可動域に基づき、パン回転ユニット１０５またはチルト回転ユニット１０４が駆動端に到達したと判定された場合、図６のＳ６０２に戻り、自動被写体探索、自動追従、自動撮影処理が繰り返し実行される。
【0130】
Ｓ２３５４で制御部２１２は、撮影前の追従度を算出する。電子シャッタ制御部２１３に設定されている露光時間ｔにおける追従度ｆが算出される。追従度ｆは、被写体に対してどれくらいの精度で追従が行われているかを示す値である。追従度ｆは、被写体速度とＰＴ駆動速度との速度差から求めることが可能である。つまり、被写体速度とＰＴ駆動速度との速度差が小さくなると、追従度の大きさは大きくなる。反対に、被写体速度とＰＴ駆動速度との速度差が大きくなると、追従度の大きさは小さくなる。また、被写体を基準としているので、被写体速度がＰＴ駆動速度よりも大きい場合、追従度ｆは正の値であり、被写体速度がＰＴ駆動速度よりも小さい場合、追従度ｆは負の値である。追従度ｆｘの算出方法については後述する。Ｓ２３５４の次にＳ２３５５の処理に進む。
【0131】
Ｓ２３５５で制御部２１２は、Ｓ２３５４で算出されたパンニング方向およびチルティング方向の追従度と、電子シャッタ制御部２１３に設定されている露光時間ｔとから各方向のブレ量を算出する。ブレ量算出方法については後述する。次にＳ２３５６で制御部２１２は撮影を実行するかどうかを判断する。撮影を実行することが判断された場合、Ｓ２３５８の処理に進む。撮影を実行しないことが判断された場合、Ｓ２３５７の処理に進む。Ｓ２３５７で制御部２１２はブレに応じた露出条件パラメータの変更処理を行う。制御部２１２は追従敏感度設定部１１２６により追従の敏感度を変換部１１２７に設定し、電子シャッタ制御部２１３に対して露出条件の変更と設定を行う。Ｓ２３５７の次にＳ２３５１の処理に移行する。
【0132】
Ｓ２３５８では、露光期間でのＰＴ駆動量を算出する処理が行われる。制御部２１２は、画像処理部２０６の検出結果に基づき、被写体位置を取得する。次に、位置演算部１１２２により、パン回転ユニット１０５およびチルト回転ユニット１０４のＰＴ駆動位置が取得される。制御部２１２は、被写体位置とＰＴ駆動位置を用いて、Ｓ２３５２と同様にＰＴ駆動量を算出する。Ｓ２３５８の次にＳ２３５９の処理に進む。
【0133】
Ｓ２３５９で制御部２１２は、Ｓ２３５８で算出されたＰＴ駆動量に応じて、鏡筒回転駆動部１１２によって、チルト回転ユニット１０４、パン回転ユニット１０５に対するそれぞれの駆動制御を行いつつ、撮影を行う。このときの露光時間には、電子シャッタ制御部２１３に設定されている露光時間ｔが用いられる。撮影終了後、Ｓ２３６０の処理に進む。
【0134】
露光期間の終了直後の期間は撮像素子からの信号読み出し期間であるので、被写体情報を取り込むことができない。Ｓ２３６０では、信号読み出しの終了後、Ｓ２３５１と同様に、被写体情報を取り込む処理が行われる。次に、Ｓ２３５４と同様にして、被写体情報とＰＴ駆動情報とを用いて、パンニング方向およびチルティング方向の各追従度が算出される。Ｓ２３６０の次にＳ２３６１の処理に進む。
【0135】
Ｓ２３６１で制御部２１２は、Ｓ２３５４で算出した撮影前の追従度と、Ｓ２３６０で算出した撮影後の追従度を用いて、露光期間ブレ量（ｅｂｒｘと記す）を算出する。露光期間ブレ量は、撮像された画像のデータを記録媒体に保存するか否かを決定するための判定用情報である。露光期間ブレ量の算出方法については後述する。Ｓ２３６１の次にＳ２３６２の処理に進む。
【0136】
Ｓ２３６２で制御部２１２は、Ｓ２３６１で算出した露光期間ブレ量が閾値未満であるか否かを判定する。露光期間ブレ量が閾値未満である場合、撮影画像はブレの少ない画像であると判断され、Ｓ２３６３の処理に進む。露光期間ブレ量が閾値以上である場合、撮影画像は像ブレ画像の可能性があると判断され、Ｓ２３６４の処理に進む。Ｓ２３６３で画像記録部２０７は、撮像された画像のデータを記録媒体に保存し、Ｓ２３６５の処理に進む。Ｓ２３６５で制御部２１２は、電子シャッタ制御部２１３で設定されているＩＳＯ感度値に応じて露出条件を変更する。例えば、画質向上のため、ＩＳＯ感度値を下げ、露光時間ｔを長くするように設定が変更される。次にＳ２３５１の処理に移行する。
【0137】
Ｓ２３６４で画像記録部２０７は、撮像された画像のデータを記録媒体に記録しないか、または記録媒体に記録された画像データを削除する。あるいは、画像記録部２０７は、記録媒体に記録された画像データに対してスコア付けを行い、所定値以下のスコアを有する複数の画像データを、後でまとめて削除する処理を行う。次に、Ｓ２３６６で制御部２１２は、露光期間ブレ量を下げるためにＰＴ駆動量の補正を行う。制御部２１２は、あらかじめ定められた閾値と露光期間ブレ量との差分に基づいて補正量を算出し、算出された補正量に基づいて次回の撮影で使用するＰＴ駆動量（補正ＰＴ駆動量）を決定する。次にＳ２３５１の処理に移行する。
【0138】
次に、図２３のＳ２３５２におけるＰＴ駆動量の算出方法を説明する。図２４を参照して、目標位置設定部１１２３により設定される目標位置の算出方法について説明する。図２４は撮像面２４０１とＸＹ座標系を示す図である。横軸をＸ軸とし、縦軸をＹ軸と定義する。ＸＹ座標系の原点（０，０）を撮像面中心２４０２と定義する。ＸＹ座標系にて任意の点の座標を（Ｘ，Ｙ）で表記し、ＸはＸ軸相対座標成分（％）を表し、ＹはＹ軸相対座標成分（％）を表す。
【0139】
撮像面２４０１において、図２３のＳ２３５１で取得された被写体位置を座標２４０３に示す。座標２４０３を（Ｘ１，Ｙ１）と表記する。パンニング方向の目標角度は、撮像面中心２４０２と座標２４０３に基づいて求めたＸＹ座標系での２点間の距離と、ズームユニット２０１の焦点距離ｆとにより、式（８）、式（９）を用いて算出することができる。
Ｘｄ＝Ｘ１－Ｘｏ・・・（８）
θｘd＝ａｔａｎ（αｘ×Ｘｄ／ｆ）・・・（９）
式（８）、式（９）中の諸量の定義は下記のとおりである。
Ｘｄ：撮像面中心２４０２から被写体位置までの距離（水平方向成分）
Ｘ１：撮像面上の被写体位置（水平方向成分）
Ｘｏ：撮像面中心２４０２の水平方向成分
αｘ：距離換算係数の水平方向成分
θｘd：パンニング方向の目標角度。
式（９）中のａｔａｎ（）は、逆正接関数を表す。
チルティング方向の目標角度も同様にして算出することができる。パンニング方向およびチルティング方向の目標角度から目標位置が算出される。
Ｘｄ＝Ｘ１－Ｘｏ・・・（８）
θｘd＝ａｔａｎ（αｘ×Ｘｄ／ｆ）・・・（９）
式（８）、式（９）中の諸量の定義は下記のとおりである。
Ｘｄ：撮像面中心２４０２から被写体位置までの距離（水平方向成分）
Ｘ１：撮像面上の被写体位置（水平方向成分）
Ｘｏ：撮像面中心２４０２の水平方向成分
αｘ：距離換算係数の水平方向成分
θｘd：パンニング方向の目標角度。
式（９）中のａｔａｎ（）は、逆正接関数を表す。
チルティング方向の目標角度も同様にして算出することができる。パンニング方向およびチルティング方向の目標角度から目標位置が算出される。
【0140】
次にＰＩＤ演算部１１２４は、算出された目標位置と、位置演算部１１２２が求めた現在のＰＴ駆動位置との偏差に基づいて制御量（ｃと記す）を算出する。ＰＴ駆動量をＤと表記し、追従の敏感度をｓと表記する。ＰＴ駆動量Ｄは、算出された制御量ｃと追従の敏感度ｓに基づいて、式（１０）により求められる。
Ｄ＝ｃ×ｓ・・・（１０）
Ｄ＝ｃ×ｓ・・・（１０）
【0141】
次に、図２５を参照して、追従度の算出方法を説明する。図２５は、電子シャッタ制御部２１３に設定されている露光時間ｔにおける、パンニング方向の追従度の算出方法について説明するための図である。横軸は時間軸であり、縦軸はパンニング方向の被写体速度とパン回転部の駆動速度との速度差を表す。例えばパンニング方向の追従度（ｆｘと記す）は、露光前のパンニング方向の被写体速度とパン回転部の駆動速度との速度差から算出することが可能である。
【0142】
図２５にて、時刻ｔ０は露光直前の時刻であり、露光時間をｔで示す。ｄ０は、時刻ｔ０におけるパンニング方向の被写体速度とパン回転部の駆動速度との速度差を示す。露光直前の時刻ｔ０から露光時間ｔの経過後の速度差については、露光時間ｔで、露光直前の速度差ｄ０が変化しないと仮定して速度差ｄ０と算出することが可能である（速度差がｄ０のグラフ線参照）。その場合、露光時間ｔにおける、パンニング方向の追従度ｆｘは速度差ｄ０に決定される。または、露光時間ｔで、パンニング方向の被写体速度とパン回転部の駆動速度との速度差が一定に変化すると仮定して追従度ｆｘを算出することができる（傾斜したグラフ線参照）。その場合、露光直前の時刻ｔ０よりも過去の時刻をｔ０＊で示す。ｄ０＊は、時刻ｔ０＊におけるパンニング方向の被写体速度とパン回転部の駆動速度との速度差を示す。ｄ２は、ｄ０＊と露光直前の速度差ｄ０について線形補間を行って求めた、時刻ｔ０から露光時間ｔの経過後の速度差を示す。露光時間ｔにおけるパンニング方向の追従度ｆｘは、速度差ｄ０と速度差ｄ２との平均演算により算出可能である。
【0143】
あるいは、露光時間ｔの期間でパンニング方向の被写体速度とパン回転部の駆動速度との速度差が加速的に変化すると仮定して追従度ｆｘを算出することができる（実線のグラフ線参照）。その場合、ｄ１は時刻ｔ０から露光時間ｔの経過後の速度差を示し、時刻ｔ０よりも過去の時刻ｔ０＊における速度差ｄ０＊と、露光直前の速度差ｄ０との加速成分に基づいて算出される。露光時間ｔにおけるパンニング方向の追従度ｆｘは、速度差ｄ０と速度差ｄ１に基づいて時間積分によって算出可能である。
【0144】
パンニング方向の追従度ｆｘの算出方法について説明したが、チルティング方向の追従度（ｆｙと記す）を同様の方法で算出することが可能である。また、被写体速度とパン回転部（またはチルト回転部）の駆動速度との速度差を、動きベクトルに置き換えて追従度を算出してもよい。その場合、露光直前に検出された動きベクトルと、露光直前よりも過去の時刻に検出された動きベクトルに基づいて、露光直前の時刻から露光時間ｔの経過後の動きベクトルが算出される。動きベクトルの算出結果に基づいて露光時間ｔにおけるパンニング方向（またはチルティング方向）の追従度ｆｘ（またはｆｙ）が決定される。あるいは、被写体速度とＰＴ駆動速度との速度差を像面の中心から被写体位置までの２点間の距離に置き換えて、追従度を算出してもよい。追従度ｆｘ，ｆｙの算出後、図２３のＳ２３５５の処理に進む。Ｓ２３５５では、Ｓ２３５４で算出したパンニング方向の追従度と電子シャッタ制御部２１３に設定されている露光時間ｔとからパンニング方向のブレ量が算出される。
【0145】
図２３のＳ２３５５におけるブレ量の算出方法について説明する。パンニング方向のブレ量をｂｒｘと表記する。Ｓ２３５４で算出されたパンニング方向の追従度ｆｘおよび露光時間ｔから、パンニング方向のブレ量ｂｒｘは、式（１１）により算出される。
ｂｒｘ＝β×ｔａｎ（ｔ×｜ｆｘ｜）・・・（１１）
式（１１）中、βはブレ換算係数を表し、水平方向成分と垂直方向成分共に同一の値である。ｔａｎ（）は正接関数を表し、｜ｆｘ｜はｆｘの絶対値を表す。チルティング方向のブレ量（ｂｒｙと記す）に関しても同様の算出方法が適用される。算出されたブレ量ｂｒｘ，ｂｒｙは、撮影を実行するか否かを判定するための情報として用いられる。
ｂｒｘ＝β×ｔａｎ（ｔ×｜ｆｘ｜）・・・（１１）
式（１１）中、βはブレ換算係数を表し、水平方向成分と垂直方向成分共に同一の値である。ｔａｎ（）は正接関数を表し、｜ｆｘ｜はｆｘの絶対値を表す。チルティング方向のブレ量（ｂｒｙと記す）に関しても同様の算出方法が適用される。算出されたブレ量ｂｒｘ，ｂｒｙは、撮影を実行するか否かを判定するための情報として用いられる。
【0146】
次に、ブレ方向について説明する。例えば、被写体ブレに関し、被写体を基準にして被写体速度よりもＰＴ駆動速度の方が大きいことが原因で発生するブレと、被写体速度よりもＰＴ駆動速度の方が小さいことが原因で発生する被写体ブレに大別される。ブレ方向については、被写体を基準とする場合、追従度ｆｘが正値のときには速い方向と定義し、追従度ｆｘが負値のときには遅い方向と定義できる。Ｓ２３５５にてブレ方向が決定された後、Ｓ２３５６の処理に進む。
【0147】
図２３のＳ２３５６では、ブレ情報とＰＴ駆動情報と装置揺れ検出部２０８により検出された撮像装置の揺れ量のうち、少なくとも１つ以上に基づいて、撮影を実行するか否かについての判断処理が実行される。ブレ情報は、ブレ量、ブレ方向、被写体情報のうちの被写体と撮像装置との距離、被写体の向き、被写体の進行方向の少なくとも１つ以上に基づいて構成される。例えば、Ｓ２３５５で算出されたブレ量と、予め設定されたブレ量の閾値との比較結果に基づいて判断処理が行われる。ブレ量が閾値よりも小さい場合、制御部２１２は撮影を実行すると判断し、ブレ量が閾値以上である場合には、撮影を実行しないと判断する。あるいは、被写体情報のうち、被写体と撮像装置との距離、被写体の向き、被写体の進行方向の少なくとも１つ以上に基づいて検出精度の判定処理が行われる。この場合、検出精度が閾値より低い場合、制御部２１２は撮影を実行しないと判断する。または、ＰＴ駆動速度、電子シャッタ制御部２１３に設定されている露光時間ｔ、および、ＰＴ駆動の可動域に基づいて、露光中に回転部が駆動端に到達するか否かの判定処理が行われる。露光中に回転部が駆動端に到達すると判定された場合、制御部２１２は撮影を実行しないと判断する。または制御部２１２は、装置揺れ検出部２０８が検出した撮像装置の揺れ量と、予め設定された閾値との比較結果に基づいて、撮影を実行するか否かを判断する。制御部２１２は検出された揺れ量が閾値より小さい場合、撮影を実行すると判断し、検出された揺れ量が閾値以上である場合、撮影を実行しないと判断する。
【0148】
制御部２１２は撮影を実行しないと判断した場合（図２３のＳ２３５６でＮＯ）、Ｓ２３５７の処理に進む。制御部２１２は、ブレ量とブレ方向とＰＴ駆動情報と装置揺れ検出部２０８が検出した撮像装置の揺れ量のうちの少なくとも１つ以上に基づいて、追従の敏感度、露出条件のいずれか１つ以上を変更するか否かを判断する。判断処理では、ブレ量とブレ方向に基づいて、被写体の動きを予測する処理が行われる。例えば、複数のフレーム間でのブレ量が閾値以上であって、かつブレ方向が頻繁に反転する場合（ブレ方向の反転回数が閾値より大きい場合）、制御部２１２は検出被写体が不規則に動く被写体であると判断する。また、複数のフレーム間でのブレ量が一定量で増加し、かつブレ方向が一定である場合、制御部２１２は検出被写体が規則的に動く被写体のうち、加速成分をもって動く被写体であると判断する。
【0149】
図２６を参照し、不規則に動く被写体であると判断される場合の、追従の敏感度と露出条件の変更方法について説明する。まず、追従の敏感度について図２６（Ａ）を用いて説明する。図２６（Ａ）は、不規則な動きをする被写体に関する、パンニング方向の被写体速度とパン回転部の駆動速度を示している。横軸は時間軸であり、縦軸は速度を表す。被写体速度２６０１の時間変化を点線のグラフで示す。追従の敏感度が高いパン回転部の駆動速度２６０２の時間変化を破線のグラフで示す。追従の敏感度が低いパン回転部の駆動速度２６０３の時間変化を実線のグラフで示す。追従の敏感度が高いと応答性は高くなるが、その代わりにハンチング現象が発生する可能性がある。これに対して、追従の敏感度が低いと応答性は低くなるが、ハンチング現象が発生する可能性は低い。
【0150】
図２６（Ｂ）を参照して、追従の敏感度と露出条件の算出方法を説明する。図２６（Ｂ）は、ブレ量とブレ方向に基づいて、不規則に動く被写体であると判定された場合の、パンニング方向の被写体速度の時間変化と、パン回転部の駆動速度の時間変化を示す。横軸と縦軸の設定については図２６（Ａ）と同じである。ｔは露光時間を表し、ｔ０は露光直前の時刻を表す。時刻ｔ０において、被写体速度２６０４と、追従の敏感度が高いパン回転部の駆動速度２６０５と、追従の敏感度が低いパン回転部の駆動速度２６０６をそれぞれ示す。露光時間ｔの期間において、ある時刻で速度変化が生じた場合の被写体速度２６０７に示す。ｖｄは、被写体速度２６０７と追従の敏感度が低いパン回転部の駆動速度２６０６との速度差を表す。ｖｄ＊は、被写体速度２６０７と追従の敏感度が高いパン回転部の駆動速度２６０５との速度差を表す。
【0151】
図２６（Ｂ）に示されるように、速度差ｖｄよりも速度差ｖｄ＊の方が大きい（｜ｖｄ＊｜＞｜ｖｄ｜）。また、露光時間ｔの期間（露光期間）において被写体情報を取得することができない。例えば露光期間におけるパンニング方向の駆動量が、露光直前の時刻ｔ０における駆動量によって算出される場合、追従の敏感度が高すぎると誤った追従が行われる可能性がある。そこで本実施形態では、露光期間にて追従の敏感度を時刻ｔ０での敏感度よりも下げる制御が行われ、誤った追従の可能性を低減することができる。ただし、誤った追従の可能性を低減することは可能であるが、それでもなお、被写体速度２６０７と追従の敏感度が低いパン回転部の駆動速度２６０６との速度差は存在し（ｖｄ≠０）、被写体ブレが発生する可能性がある。そこで制御部２１２は、検出被写体が不規則に動く被写体であると判断した場合、時刻ｔ０での敏感度よりも露光期間での敏感度を下げた追従制御を行ったうえで、ブレ量に基づいて露光時間ｔを短くする方向へ露出条件を変更する制御を行う。
【0152】
次に、規則的に動く被写体の中でも加速成分をもって動く被写体であると判断した場合の、追従の敏感度と露出条件の変更方法について説明する。加速成分をもって被写体が動いているときには、ブレ量が増加している。そこで制御部２１２は、露光期間にて追従の敏感度を時刻ｔ０での敏感度よりも上げた追従制御を行ったうえで、ブレ量に基づいて、露光時間ｔを短くする方向へ露出条件を変更する制御を行う。
【0153】
追従の敏感度の算出処理にて制御部２１２は、被写体速度に基づいて敏感度を算出する。例えば、現在の被写体速度および過去の被写体速度に基づいて算出される加速度により、予め加速度に対応付けした敏感度が用いられる。または、被写体速度を被写体位置に置き換えて、加速成分により敏感度を算出してもよいし、被写体速度を動きベクトルに置き換えて敏感度を算出してもよい。
【0154】
制御部２１２は露出条件の算出処理にて、ブレ量とその閾値を用いて露光時間ｔを算出し、算出結果に基づいて露出条件を決定する。例えば、制御部２１２はブレ量と閾値との差分に基づき、ブレ量を閾値内に抑えるように露光時間ｔを算出する。また制御部２１２は、撮像装置の揺れ量とその閾値に基づいて露光時間ｔを決定することができる。あるいは制御部２１２は追従を停止するように追従の敏感度を設定して、露出条件を算出することができる。この場合、被写体ブレを抑えるために露光時間が現在の露光時間ｔよりも短くなるように露出条件が設定される。または制御部２１２は、ＰＴ駆動情報に基づいて算出したパン回転部（またはチルト回転部）の現在位置から駆動端位置までの距離と、被写体速度とに基づいて、現在位置から駆動端位置へ到達する時点までの時間を算出する。算出された時間が現在の露光時間ｔよりも短い場合、制御部２１２は追従を停止するように追従の敏感度を設定し、被写体ブレを抑える方向に露出条件の算出処理を行う。
【0155】
追従の敏感度と露出条件の算出後、図２３のＳ２３５７ではブレに応じたパラメータの変更処理が実行される。制御部２１２はＳ２３５６での算出結果に基づいて、追従敏感度設定部１１２６により追従の敏感度を設定し、電子シャッタ制御部２１３に対して露出条件の変更および設定を行う。その後、Ｓ２３５１に移行して自動被写体追従、自動撮影処理が繰り返し実行される。
【0156】
図２３のＳ２３５６で撮影を実行することが判断された場合、Ｓ２３５８、Ｓ２３５９の処理が行われる。Ｓ２３５９での露光時間は、電子シャッタ制御部２１３に設定されている露光時間ｔである。撮影終了後、Ｓ２３６０に進み、Ｓ２３５４と同様に、被写体情報とＰＴ駆動情報とを用いて、パンニング方向およびチルティング方向の追従度が算出される。撮影後における、パンニング方向の追従度をｆｘ＊と表記し、チルティング方向の追従度をｆｙ＊と表記する。
【0157】
次に図２３のＳ２３６１（露光期間ブレ量算出）の処理について説明する。制御部２１２は、Ｓ２３５４で算出した撮影前のパンニング方向の追従度ｆｘと、Ｓ２３６０で算出した撮影後のパンニング方向の追従度ｆｘ＊を用いて、パンニング方向の露光期間ブレ量ｅｂｒｘを算出する。図２７を参照して、露光期間ブレ量の算出方法について説明する。
【0158】
図２７は、撮影前後の追従度の時間変化を示している。横軸は時間軸であり、縦軸は追従度を表す。算出された撮影前後の追従度（ｆｘとｆｘ＊）から、露光時間ｔにおける追従度ｅｆｘを予測してブレ量に換算する処理が行われる。時刻ｔ０は、撮影直前の時刻を示す。露光時間ｔと信号読み出し時間ｔ＊を示す。ｔ＊は撮像素子からの信号の読み出し期間の長さに相当する。撮影直前の時刻ｔ０から露光時間ｔが経過した時刻までの期間が露光期間に相当する。露光時間ｔが経過した時刻から信号読み出し時間ｔ＊が経過した時刻をｔ１で示す。また露光直前の時刻ｔ０よりも過去の時刻をｔ０＊で示す。縦軸に示す各追従度は以下のとおりである。
・ｆｘ＊：時刻ｔ１における追従度。
・ｆ５：露光時間ｔの経過直後の追従度。
・ｆ４：線形補間により求めた露光時間ｔの経過直後の追従度。
・ｆｘ：時刻ｔ０における追従度。
・ｆｘ０＊：時刻ｔ０＊における追従度。
・ｆｘ＊：時刻ｔ１における追従度。
・ｆ５：露光時間ｔの経過直後の追従度。
・ｆ４：線形補間により求めた露光時間ｔの経過直後の追従度。
・ｆｘ：時刻ｔ０における追従度。
・ｆｘ０＊：時刻ｔ０＊における追従度。
【0159】
パンニング方向の露光期間ブレ量ｅｂｒｘは、撮影前後で追従度が一定に変化すると仮定して算出される。例えばｆ４は、撮影直前の時刻ｔ０における追従度ｆｘと、撮影後の時刻ｔ１における追従度ｆｘ＊に対して線形補間処理により算出される。露光期間ブレ量ｅｂｒｘを算出するための追従度をｅｆｘと表記する。例えば追従度ｅｆｘは、露光期間（露光時間ｔ内）における、追従度ｆｘとｆ４との平均演算によって算出される。あるいは、追従度ｅｆｘは、撮影前後で追従度が加速成分をもって変化したと仮定して算出することができる。その場合、ｆ５は、露光直前の時刻ｔ０よりも過去の時刻ｔ０＊における追従度ｆｘ０＊、およびｆｘとｆｘ＊との加速成分に基づいて算出される、露光時間ｔの経過直後の追従度を示す。さらには、ｆｘとｆ５とに基づく時間積分演算により追従度ｅｆｘを算出することができる。
【0160】
パンニング方向の露光期間ブレ量ｅｂｒｘは、追従度ｅｆｘおよび露光時間ｔから式（１２）により算出される。
ｅｂｒｘ＝β×ｔａｎ（ｔ×ｅｆｘ）・・・（１２）
式（１２）中のβはブレ換算係数であり、式（１１）にて説明したとおりである。
以上、パンニング方向の露光期間ブレ量ｅｂｒｘの算出方法を説明したが、チルティング方向の露光期間ブレ量ｅｂｒｙに関しても同様にして算出することができる。
ｅｂｒｘ＝β×ｔａｎ（ｔ×ｅｆｘ）・・・（１２）
式（１２）中のβはブレ換算係数であり、式（１１）にて説明したとおりである。
以上、パンニング方向の露光期間ブレ量ｅｂｒｘの算出方法を説明したが、チルティング方向の露光期間ブレ量ｅｂｒｙに関しても同様にして算出することができる。
【0161】
制御部２１２は、算出した露光期間ブレ量と予め設定されたブレ量の閾値とを比較し、撮影画像データを記録媒体に保存するか否かを判定する。露光期間ブレ量が閾値未満である場合、画像記録部２０７は撮影画像データを記録媒体に保存する（図２３のＳ２３６３）。設定されたＩＳＯ感度値に応じて露出条件を変更する処理が行われる（図２３のＳ２３６５）。一方、制御部２１２は、算出した露光期間ブレ量が閾値以上であると判定した場合、撮影画像データを記録媒体に保存しないか、または削除する（図２３のＳ２３６４）。制御部２１２は補正量に基づいて次回の撮影で使用する補正ＰＴ駆動量を算出する（図２３のＳ２３６６）。
【0162】
従来の技術では、露光直前の情報を用いて露光期間における被写体の追従制御等が行われた場合、不規則に動く被写体等を撮影した画像に像ブレが発生する可能性がある。本実施形態では、追従制御の追従度から取得されるブレ情報、ＰＴ駆動情報、撮像装置の揺れ量との少なくともいずれかにより決定される、露光期間での追従の敏感度と露出条件との少なくともいずれかに変更する処理が行われる。不規則に動く被写体等を撮影する場合において、像ブレが抑制された画像を取得可能な機会を増やすことができる。
【0163】
以上、本発明の好ましい実施形態について説明したが、本発明は前記実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。前記実施形態ではパンニング方向とチルティング方向の各回転ユニットの駆動機構部を有する撮像装置を例示したが、本発明は、撮像方向を変更することが可能な駆動機構部を有する各種の撮像装置に適用可能である。また、像ブレ補正手段として、撮像光学系を構成する光学部材（シフトレンズ等）の駆動手段、または撮像素子の移動または回転を行う駆動手段等を、使用または併用することが可能である。
【0164】
本開示の実施形態は、以下の構成および方法を含む。
（構成１）
被写体を撮像する撮像手段と、
被写体情報を検出する第１の検出手段と、
撮像装置の揺れ量を検出する第２の検出手段と、
前記撮像手段の撮像方向を変更する駆動手段と、
前記被写体情報および前記揺れ量の検出情報を用いて、前記駆動手段により前記被写体に対して前記撮像方向を追従させる追従制御および像ブレ補正の制御と、前記撮像手段の露出条件を変更する制御を行う制御手段と、を備え、
前記制御手段は、前記駆動手段の制御量および駆動情報と前記追従制御の追従度および敏感度を算出し、前記追従度から取得されるブレ情報、前記駆動情報、前記揺れ量との少なくともいずれかにより決定される、前記撮像手段の露光期間での前記敏感度と前記露出条件との少なくともいずれかに変更する制御を行う
ことを特徴とする撮像装置。
（構成２）
前記第１の検出手段は、前記撮像手段により取得される画像から被写体を検出することにより、前記被写体情報として、前記被写体の速度と位置、被写体周りの動きベクトル、前記被写体と撮像装置との距離、前記被写体の向き、前記被写体の進行方向のうちの１つ以上の情報を取得する
ことを特徴とする構成１に記載の撮像装置。
（構成３）
前記駆動手段の駆動速度、駆動位置、可動域のうちの１つ以上を有する前記駆動情報を検出する第３の検出手段を備え、
前記制御手段は、前記駆動情報を用いて前記追従制御を行う
ことを特徴とする構成１または構成２に記載の撮像装置。
（構成４）
前記駆動手段は、複数の回転部のうちの第１の回転部の駆動を行うことで前記撮像方向を第１の回転軸を中心として変更する第１の駆動手段と、前記複数の回転部のうちの第２の回転部の駆動を行うことで前記撮像方向を第２の回転軸を中心として変更する第２の駆動手段を備え、
前記第３の検出手段は、前記第１および第２の駆動手段の駆動情報をそれぞれ検出する
ことを特徴とする構成３に記載の撮像装置。
（構成５）
前記制御手段は、前記制御量および敏感度から前記駆動手段の駆動量を算出し、前記駆動量に対応する前記回転部の位置を決定する
ことを特徴とする構成４に記載の撮像装置。
（構成６）
前記制御手段は、前記被写体情報および前記駆動情報に基づく前記追従度を算出する
ことを特徴とする構成１から５のいずれか１項に記載の撮像装置。
（構成７）
前記制御手段は、前記ブレ情報として画像のブレ量、ブレ方向、前記被写体と撮像装置との距離、前記被写体の向き、前記被写体の進行方向のうちの１つ以上の情報を取得する
ことを特徴とする構成１から６のいずれか１項に記載の撮像装置。
（構成８）
前記制御手段は、前記被写体の速度および前記駆動手段の駆動速度から前記追従度を算出し、前記追従度および前記撮像手段の露光時間から前記ブレ情報を算出する
ことを特徴とする構成１から７のいずれか１項に記載の撮像装置。
（構成９）
前記制御手段は、前記ブレ情報と前記駆動情報と前記揺れ量のうちの１つ以上に基づく判定により、前記被写体の撮影を実行するか否かを決定する
ことを特徴とする構成１から８のいずれか１項に記載の撮像装置。
（構成１０）
前記制御手段は、撮影前の前記追従度と前記撮像手段の露光時間から前記ブレ情報を算出して前記露光期間における前記追従制御を行い、前記被写体を撮影した画像を生成する制御を行う
ことを特徴とする構成１から９のいずれか１項に記載の撮像装置。
（構成１１）
前記撮像手段により取得される前記被写体の画像データを記録媒体に記録する記録手段を備え、
前記制御手段は、撮影前の前記追従度および撮影後の前記追従度から算出される、前記露光期間における追従度と、前記撮像手段の露光時間とから、前記露光期間での画像のブレ量を算出して閾値と比較し、前記ブレ量が前記閾値未満である場合、前記記録手段により前記画像データを前記記録媒体に記録する制御を行い、前記ブレ量が前記閾値以上である場合、前記画像データを前記記録媒体に記録しないか、または前記記録媒体から前記画像データを削除する制御を行う
ことを特徴とする構成１から１０のいずれか１項に記載の撮像装置。
（構成１２）
前記制御手段は、複数のフレーム間での前記ブレ量が閾値以上であって、かつブレ方向の反転する回数が閾値より大きい場合、前記被写体は不規則に動く被写体であると判断し、前記露光期間での前記敏感度を撮影前の前記敏感度よりも下げて前記追従制御を行う
ことを特徴とする構成１１に記載の撮像装置。
（構成１３）
前記制御手段は、複数のフレーム間での前記ブレ量が一定量で増加し、かつブレ方向が一定である場合、前記被写体は規則的に動く被写体のうち、加速成分をもって動く被写体であると判断し、前記露光期間での前記敏感度を撮影前の前記敏感度よりも上げて前記追従制御を行う
ことを特徴とする構成１１に記載の撮像装置。
（構成１４）
前記制御手段は、前記被写体が不規則に動く被写体であるか、または規則的に動く被写体のうち、加速成分をもって動く被写体であると判断した場合、前記露光時間をより短くする方向へ前記露出条件を変更する制御を行う
ことを特徴とする構成１２または構成１３に記載の撮像装置。
（方法）
被写体を撮像する撮像手段と、前記撮像手段の撮像方向を変更する駆動手段と、前記駆動手段を制御する制御手段と、を備える撮像装置にて実行される制御方法であって、
被写体情報および前記撮像装置の揺れ量の検出を行う検出工程と、
前記被写体情報および前記揺れ量の検出情報を用いて、前記駆動手段により前記被写体に対して前記撮像方向を追従させる追従制御および像ブレ補正の制御と、前記撮像手段の露出条件を変更する制御を前記制御手段が行う制御工程と、を有し、
前記制御工程にて前記制御手段は、前記駆動手段の制御量および駆動情報と前記追従制御の追従度および敏感度を算出する処理と、前記追従度から取得されるブレ情報、前記駆動情報、前記揺れ量との少なくともいずれかにより決定される、前記撮像手段の露光期間での前記敏感度と露出条件との少なくともいずれかに変更する処理を行う
ことを特徴とする撮像装置の制御方法。
（構成１）
被写体を撮像する撮像手段と、
被写体情報を検出する第１の検出手段と、
撮像装置の揺れ量を検出する第２の検出手段と、
前記撮像手段の撮像方向を変更する駆動手段と、
前記被写体情報および前記揺れ量の検出情報を用いて、前記駆動手段により前記被写体に対して前記撮像方向を追従させる追従制御および像ブレ補正の制御と、前記撮像手段の露出条件を変更する制御を行う制御手段と、を備え、
前記制御手段は、前記駆動手段の制御量および駆動情報と前記追従制御の追従度および敏感度を算出し、前記追従度から取得されるブレ情報、前記駆動情報、前記揺れ量との少なくともいずれかにより決定される、前記撮像手段の露光期間での前記敏感度と前記露出条件との少なくともいずれかに変更する制御を行う
ことを特徴とする撮像装置。
（構成２）
前記第１の検出手段は、前記撮像手段により取得される画像から被写体を検出することにより、前記被写体情報として、前記被写体の速度と位置、被写体周りの動きベクトル、前記被写体と撮像装置との距離、前記被写体の向き、前記被写体の進行方向のうちの１つ以上の情報を取得する
ことを特徴とする構成１に記載の撮像装置。
（構成３）
前記駆動手段の駆動速度、駆動位置、可動域のうちの１つ以上を有する前記駆動情報を検出する第３の検出手段を備え、
前記制御手段は、前記駆動情報を用いて前記追従制御を行う
ことを特徴とする構成１または構成２に記載の撮像装置。
（構成４）
前記駆動手段は、複数の回転部のうちの第１の回転部の駆動を行うことで前記撮像方向を第１の回転軸を中心として変更する第１の駆動手段と、前記複数の回転部のうちの第２の回転部の駆動を行うことで前記撮像方向を第２の回転軸を中心として変更する第２の駆動手段を備え、
前記第３の検出手段は、前記第１および第２の駆動手段の駆動情報をそれぞれ検出する
ことを特徴とする構成３に記載の撮像装置。
（構成５）
前記制御手段は、前記制御量および敏感度から前記駆動手段の駆動量を算出し、前記駆動量に対応する前記回転部の位置を決定する
ことを特徴とする構成４に記載の撮像装置。
（構成６）
前記制御手段は、前記被写体情報および前記駆動情報に基づく前記追従度を算出する
ことを特徴とする構成１から５のいずれか１項に記載の撮像装置。
（構成７）
前記制御手段は、前記ブレ情報として画像のブレ量、ブレ方向、前記被写体と撮像装置との距離、前記被写体の向き、前記被写体の進行方向のうちの１つ以上の情報を取得する
ことを特徴とする構成１から６のいずれか１項に記載の撮像装置。
（構成８）
前記制御手段は、前記被写体の速度および前記駆動手段の駆動速度から前記追従度を算出し、前記追従度および前記撮像手段の露光時間から前記ブレ情報を算出する
ことを特徴とする構成１から７のいずれか１項に記載の撮像装置。
（構成９）
前記制御手段は、前記ブレ情報と前記駆動情報と前記揺れ量のうちの１つ以上に基づく判定により、前記被写体の撮影を実行するか否かを決定する
ことを特徴とする構成１から８のいずれか１項に記載の撮像装置。
（構成１０）
前記制御手段は、撮影前の前記追従度と前記撮像手段の露光時間から前記ブレ情報を算出して前記露光期間における前記追従制御を行い、前記被写体を撮影した画像を生成する制御を行う
ことを特徴とする構成１から９のいずれか１項に記載の撮像装置。
（構成１１）
前記撮像手段により取得される前記被写体の画像データを記録媒体に記録する記録手段を備え、
前記制御手段は、撮影前の前記追従度および撮影後の前記追従度から算出される、前記露光期間における追従度と、前記撮像手段の露光時間とから、前記露光期間での画像のブレ量を算出して閾値と比較し、前記ブレ量が前記閾値未満である場合、前記記録手段により前記画像データを前記記録媒体に記録する制御を行い、前記ブレ量が前記閾値以上である場合、前記画像データを前記記録媒体に記録しないか、または前記記録媒体から前記画像データを削除する制御を行う
ことを特徴とする構成１から１０のいずれか１項に記載の撮像装置。
（構成１２）
前記制御手段は、複数のフレーム間での前記ブレ量が閾値以上であって、かつブレ方向の反転する回数が閾値より大きい場合、前記被写体は不規則に動く被写体であると判断し、前記露光期間での前記敏感度を撮影前の前記敏感度よりも下げて前記追従制御を行う
ことを特徴とする構成１１に記載の撮像装置。
（構成１３）
前記制御手段は、複数のフレーム間での前記ブレ量が一定量で増加し、かつブレ方向が一定である場合、前記被写体は規則的に動く被写体のうち、加速成分をもって動く被写体であると判断し、前記露光期間での前記敏感度を撮影前の前記敏感度よりも上げて前記追従制御を行う
ことを特徴とする構成１１に記載の撮像装置。
（構成１４）
前記制御手段は、前記被写体が不規則に動く被写体であるか、または規則的に動く被写体のうち、加速成分をもって動く被写体であると判断した場合、前記露光時間をより短くする方向へ前記露出条件を変更する制御を行う
ことを特徴とする構成１２または構成１３に記載の撮像装置。
（方法）
被写体を撮像する撮像手段と、前記撮像手段の撮像方向を変更する駆動手段と、前記駆動手段を制御する制御手段と、を備える撮像装置にて実行される制御方法であって、
被写体情報および前記撮像装置の揺れ量の検出を行う検出工程と、
前記被写体情報および前記揺れ量の検出情報を用いて、前記駆動手段により前記被写体に対して前記撮像方向を追従させる追従制御および像ブレ補正の制御と、前記撮像手段の露出条件を変更する制御を前記制御手段が行う制御工程と、を有し、
前記制御工程にて前記制御手段は、前記駆動手段の制御量および駆動情報と前記追従制御の追従度および敏感度を算出する処理と、前記追従度から取得されるブレ情報、前記駆動情報、前記揺れ量との少なくともいずれかにより決定される、前記撮像手段の露光期間での前記敏感度と露出条件との少なくともいずれかに変更する処理を行う
ことを特徴とする撮像装置の制御方法。
【符号の説明】
【0165】
１０１ カメラ
１０２ 鏡筒
１０３ 固定部
１０４，１０５ 回転ユニット
１０２ 鏡筒
１０３ 固定部
１０４，１０５ 回転ユニット
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】