特許 7500194 撮像装置及びその制御方法、プログラム、記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-07

(45)【発行日】2024-06-17

(54)【発明の名称】撮像装置及びその制御方法、プログラム、記憶媒体

(51)【国際特許分類】

   G03B 15/00 20210101AFI20240610BHJP

   G03B 5/00 20210101ALI20240610BHJP

   G03B 37/00 20210101ALI20240610BHJP

   H04N 23/68 20230101ALI20240610BHJP

   H04N 23/695 20230101ALI20240610BHJP

   H04N 23/65 20230101ALI20240610BHJP

【ＦＩ】

G03B15/00 P

G03B15/00 Q

G03B15/00 W

G03B5/00 L

G03B37/00 A

H04N23/68

H04N23/695

H04N23/65

【請求項の数】 15

(21)【出願番号】P 2019239279

(22)【出願日】2019-12-27

(65)【公開番号】P2021107874

(43)【公開日】2021-07-29

【審査請求日】2022-12-19

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】阿部 秀俊

(72)【発明者】

【氏名】若松 伸茂

【審査官】越河 勉

(56)【参考文献】

【文献】特開２０１９－１６１５３９（ＪＰ，Ａ）

【文献】特開平０７－１９１３６０（ＪＰ，Ａ）

【文献】特開２０１８－０５０１４６（ＪＰ，Ａ）

【文献】特開２０１８－１８０３４１（ＪＰ，Ａ）

【文献】特開２０１７－２１５３５０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ５／００

Ｇ０３Ｂ ３７／００

Ｈ０４Ｎ ２３／６８

Ｈ０４Ｎ ２３／６９５

Ｈ０４Ｎ ２３／６５

(57)【特許請求の範囲】

【請求項1】

被写体像を撮像する撮像手段と、
前記撮像手段を回転させることが可能な回転手段と、
撮像装置の振れに基づく像ブレを補正するための前記回転手段の第１の回転量を算出する第１の算出手段と、
前記撮像手段で撮像された画像から被写体を探索するための前記回転手段の第２の回転量を算出する第２の算出手段と、
ユーザの指示による前記回転手段の第３の回転量を算出する第３の算出手段と、
前記第１乃至第３の回転量のいずれも、前記第１乃至第３の回転量に対してそれぞれ設定された閾値未満である場合に、前記回転手段を停止させる停止手段と、を備え、
前記第２の算出手段は、被写体を画面内の所定の位置にとどめるように追尾するにあたり、画面内の前記所定の位置から所定の半径外に存在する被写体については、前記所定の位置に移動させるための前記回転手段の回転量を前記第２の回転量として算出し、前記所定の位置から前記所定の半径以内に存在する被写体については、前記第２の回転量をゼロと算出し、且つ、前記被写体の重要度に基づいて、前記所定の半径を変更することを特徴とする撮像装置。

【請求項2】

前記第１の算出手段は、前記撮像装置の振れ量が、第１の閾値より小さい場合に、前記第１の回転量をゼロにすることを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記第１の算出手段は、前記撮像装置の振れ量が前記第１の閾値よりも大きい第２の閾値より大きい場合に、前記第１の回転量をゼロにすることを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記第１の算出手段は、前記第１の閾値を、ユーザにより設定された撮影条件に応じて変更することを特徴とする請求項２または３に記載の撮像装置。

【請求項5】

前記ユーザにより設定された撮影条件は、像ブレ補正強度の設定、追尾強度の設定、自動撮影頻度の設定、シャッター速度の設定、省電力設定の少なくとも１つを含むことを特徴とする請求項４に記載の撮像装置。

【請求項6】

前記第１の算出手段は、前記第１の閾値を、前記撮像装置の状態に応じて変更することを特徴とする請求項２乃至５のいずれか１項に記載の撮像装置。

【請求項7】

前記撮像装置の状態は、撮影シーン、電池残量、所定時間内での総撮影枚数あるいは総撮影時間、焦点距離、被写体輝度、撮影画像転送状態の少なくとも１つを含むことを特徴とする請求項６に記載の撮像装置。

【請求項8】

前記ユーザの指示とは、外部デバイス操作による指示、音声指示、及びジェスチャー指示の少なくともいずれか１つであることを特徴とする請求項１乃至７のいずれか１項に記載の撮像装置。

【請求項9】

前記第３の算出手段は、第３の回転量に対する第３の閾値を、ユーザにより設定された撮影モードに応じて変更することを特徴とする請求項１乃至８のいずれか１項に記載の撮像装置。

【請求項10】

前記撮影モードは、パノラマ撮影モード、タイムラプス撮影モード、トラッキング撮影モード、一人称撮影モードのうち少なくとも１つを含むことを特徴とする請求項９に記載の撮像装置。

【請求項11】

前記停止手段は、前記回転手段への通電をＯＦＦすることにより前記回転手段を停止させることを特徴とする請求項１乃至１０のいずれか１項に記載の撮像装置。

【請求項12】

前記回転手段は、前記撮像手段を、軸の回りに回転させる少なくとも１つの回転機構を有することを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。

【請求項13】

被写体像を撮像する撮像手段と、前記撮像手段を回転させることが可能な回転手段と、を備える撮像装置を制御する方法であって、
撮像装置の振れに基づく像ブレを補正するための前記回転手段の第１の回転量を算出する第１の算出工程と、
前記撮像手段で撮像された画像から被写体を探索するための前記回転手段の第２の回転量を算出する第２の算出工程と、
ユーザの指示による前記回転手段の第３の回転量を算出する第３の算出工程と、
前記第１乃至第３の回転量のいずれも、前記第１乃至第３の回転量に対してそれぞれ設定された閾値未満である場合に、前記回転手段を停止させる停止工程と、
を有し、
前記第２の算出工程では、被写体を画面内の所定の位置にとどめるように追尾するにあたり、画面内の前記所定の位置から所定の半径外に存在する被写体については、前記所定の位置に移動させるための前記回転手段の回転量を前記第２の回転量として算出し、前記所定の位置から前記所定の半径以内に存在する被写体については、前記第２の回転量をゼロと算出し、且つ、前記被写体の重要度に基づいて、前記所定の半径を変更することを特徴とする撮像装置の制御方法。

【請求項14】

請求項１３に記載の制御方法の各工程をコンピュータに実行させるためのプログラム。

【請求項15】

請求項１３に記載の制御方法の各工程をコンピュータに実行させるためのプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、パン・チルト機構を有する撮像装置に関する。

【背景技術】

【0002】

近年、パン・チルト機能を有するカメラが小型化されてきたことにより、このようなカメラを体に付けた状態（ウェアラブル）や、手持ちで撮影を行う機会が増えている。体に付けた状態や手持ちで撮影を行う場合は、像ブレが発生しやすくなるため、パン・チルト機構を用いて像ブレを打ち消す方向にモーターを駆動させて像ブレ補正を行う技術が提案されている。このとき、監視カメラのように常に電力を供給できる場合は問題ないが、バッテリで駆動するようなトータル電力容量が限られている場合においては、常にパン・チルト機能を駆動させながら長時間システムを動かすことは困難であった。

【0003】

特許文献１には、ウェアラブルなライフログ自動撮影装置の動作方法において、モーションセンサを備え、モーションセンサからの信号に応じて、低消費電力状態に移行させる技術が開示されている。この技術によると、自動撮影が必要でない場合は、適切に低消費電力状態に移行することにより、自動撮影を長時間行うことが可能となる。

【0004】

特許文献２には、パン・チルト機構を用いて被写体を探索し撮影する方法が開示されている。そして、エリア毎に算出された被写体の重要度レベルに基づいて、撮影画像の画角の中心位置を変更する変更手段を用いて、被写体を探索する撮影画像の画角の中心位置を変更する技術が開示されている。この技術によると、効率的に被写体を探索することにより、探索時間の短縮と探索による消費電力の低減を図ることができるので、長時間の自動撮影が可能となる。

【先行技術文献】

【特許文献】

【0005】

【文献】特表２０１６－５３６８６８号公報

【文献】特開２０１８－５０１４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、パン・チルトカメラが低消費電力状態や探索動作中以外の、像ブレ補正が必要でない状態においても、常にパン・チルト機能を動作させ続けると、消費電力が大きく、自動撮影する時間が短くなってしまうという課題があった。

【0007】

本発明は上述した課題に鑑みてなされたものであり、パン・チルト機能を用いて像ブレ補正動作を行う撮像装置において、消費電力を極力削減できるようにすることである。

【課題を解決するための手段】

【0008】

本発明に係わる撮像装置は、被写体像を撮像する撮像手段と、前記撮像手段を回転させることが可能な回転手段と、撮像装置の振れに基づく像ブレを補正するための前記回転手段の第１の回転量を算出する第１の算出手段と、前記撮像手段で撮像された画像から被写体を探索するための前記回転手段の第２の回転量を算出する第２の算出手段と、ユーザの指示による前記回転手段の第３の回転量を算出する第３の算出手段と、前記第１乃至第３の回転量のいずれも、前記第１乃至第３の回転量に対してそれぞれ設定された閾値未満である場合に、前記回転手段を停止させる停止手段と、を備え、前記第２の算出手段は、被写体を画面内の所定の位置にとどめるように追尾するにあたり、画面内の前記所定の位置から所定の半径外に存在する被写体については、前記所定の位置に移動させるための前記回転手段の回転量を前記第２の回転量として算出し、前記所定の位置から前記所定の半径以内に存在する被写体については、前記第２の回転量をゼロと算出し、且つ、前記被写体の重要度に基づいて、前記所定の半径を変更することを特徴とする。

【発明の効果】

【0009】

本発明によれば、パン・チルト機能を用いて像ブレ補正動作を行う撮像装置において、消費電力を極力削減することが可能となる。

【図面の簡単な説明】

【0010】

【図1】本発明の一実施形態に係わる撮像装置を模式的に示す図。

【図2】一実施形態の撮像装置の構成を示す図。

【図3】一実施形態における撮像装置の動作を説明するフローチャート。

【図4】撮像装置の絶対角度の算出と像振れ補正量の算出のためのブロック構成を示す図。

【図5】撮像装置と座標軸の関係を示す図。

【図6】撮像装置の空間座標における角度領域毎のエリア分割を説明するための図。

【図7】撮影画像内のエリア分割を説明するための図。

【図8】撮影画像内のエリア分割を説明するための図。

【図9】撮影画像内のエリア毎の人物検出を説明するための図。

【図10】撮影画像内のエリア毎の物体検出を説明するための図。

【図11】撮影画像内のエリア毎のシーン検出を説明するための図。

【図12】音声検出を説明するためのフローチャート。

【図13】撮影画像内の動き検出を説明するための図。

【図14】エリア毎の撮影枚数管理を説明するための図。

【図15】個人認証登録被写体毎の撮影枚数管理を説明するための図。

【図16】物体認識登録被写体毎の撮影枚数管理を説明するための図。

【図17】シーン毎の撮影枚数管理を説明するための図。

【図18】探索経過時間による演算を説明するためのフローチャート。

【図19】シーン毎の探索目標角度演算を説明するための図。

【図20】カメラで検出した被写体の画像上の位置の例と、追尾・探索のための閾値と第２の回転補正量の設定方法を示す図。

【図21】カメラで検出した振動量の時系列変化の例と、像ブレ補正のための第１と第２の閾値と第１の回転補正量の設定方法を示す図。

【発明を実施するための形態】

【0011】

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0012】

＜カメラの構成＞
図１は、本発明の一実施形態に係わる撮像装置を模式的に示す図である。

【0013】

図１（ａ）に示す撮像装置１０１は、電源スイッチの操作を行うことができる操作部材（以後、電源ボタンというが、タッチパネルへのタップやフリック、スワイプなどの操作でもよい）などが設けられている。被写体像の撮像を行う撮影レンズ群や撮像素子を含む筐体である鏡筒１０２は、撮像装置１０１に取り付けられ、鏡筒１０２を固定部１０３に対して回転駆動できる回転機構を設けている。チルト回転ユニット１０４は、鏡筒１０２を図１（ｂ）に示すピッチ方向に回転できるモーター駆動機構であり、パン回転ユニット１０５は、鏡筒１０２をヨー方向に回転できるモーター駆動機構である。よって、鏡筒１０２は、１軸以上の方向に回転可能である。なお、図１（ｂ）は、固定部１０３の位置での軸定義である。角速度計１０６と加速度計１０７はともに、撮像装置１０１の固定部１０３に実装されている。そして、角速度計１０６や加速度計１０７に基づいて、撮像装置１０１の振動を検出し、チルト回転ユニットとパン回転ユニットを検出した揺れ角度に基づいて回転駆動する。これにより、可動部である鏡筒１０２の振れを補正したり、傾きを補正したりする構成となっている。

【0014】

図２は、本実施形態の撮像装置の構成を示すブロック図である。

【0015】

図２において、制御部２１５は、プロセッサ（例えば、ＣＰＵ、ＧＰＵ、マイクロプロセッサ、ＭＰＵなど）、メモリ（例えば、ＤＲＡＭ、ＳＲＡＭなど）からなる。これらは、各種処理を実行して撮像装置１０１の各ブロックを制御したり、各ブロック間でのデータ転送を制御したりする。不揮発性メモリ（ＥＥＰＲＯＭ）２１６は、電気的に消去・記録可能なメモリであり、制御部２１５の動作用の定数、プログラム等が記憶される。

【0016】

図２において、ズームユニット２０１は、変倍を行うズームレンズを含む。ズーム駆動制御部２０２は、ズームユニット２０１を駆動制御する。フォーカスユニット２０３は、ピント調整を行うレンズを含む。フォーカス駆動制御部２０４は、フォーカスユニット２０３を駆動制御する。

【0017】

撮像部２０５は、撮像素子とＡ／Ｄ変換器を備え、撮像素子が各レンズ群を通して入射する光を受け、その光量に応じた電荷の情報をアナログ画像信号として画像処理部２０６に出力する。画像処理部２０６は複数のＡＬＵ（Arithmetic and Logic Unit）を搭載した演算回路であり、Ａ／Ｄ変換により出力されたデジタル画像データに対して、歪曲補正やホワイトバランス調整や色補間処理等の画像処理を適用し、適用後のデジタル画像データを出力する。画像処理部２０６から出力されたデジタル画像データは、画像記録部２０７でＪＰＥＧ形式等の記録用フォーマットに変換され、不揮発性メモリ２１６などの記録媒体に記録される。また、画像処理部２０６から出力されたデジタル画像データは、外部表示可能な形式に変換され、外部表示装置へ送信される。

【0018】

鏡筒回転駆動部２１２は、チルト回転ユニット１０４、パン回転ユニット１０５を駆動して鏡筒１０２を必要な回転量だけチルト方向とパン方向に駆動させる。

【0019】

装置揺れ検出部２０８は、例えば撮像装置１０１の３軸方向の角速度を検出する角速度計（ジャイロセンサ）１０６や、装置の３軸方向の加速度を検出する加速度計（加速度センサ）１０７が搭載される。装置揺れ検出部２０８は、検出された信号に基づいて、装置の回転角度や装置のシフト量などを演算する。

【0020】

装置移動検出部２０９は、ＧＰＳ（Global Positioning System）の位置情報や加速度センサ１０７の出力などを用いて、撮像装置１０１の移動を検出する。ＧＰＳは、撮像装置１０１に設けられていてもよいし、外部ＧＰＳ検出装置で検出した位置情報を、撮像装置１０１に送信するようにしてもよい。

【0021】

装置揺れ検出部２０８でも撮像装置１０１のシフト量を検出しているが、加速度センサの特性上大きな移動を検出することは難しいので、小さな範囲での移動は装置揺れ検出部２０８で検出し、大きな移動は装置移動検出部２０９で検出する。

【0022】

音声入力部２１０は、撮像装置１０１に設けられたマイクから撮像装置１０１周辺の音声信号を取得する。マイクは撮像装置１０１に設けられていてもよいし、外部マイク装置で検出した音声信号を、撮像装置１０１に送信するようにしてもよい。

【0023】

操作部２１１は、撮像装置１０１を操作するための操作部であり、電源ボタンやカメラの設定を変更できるボタンが設けられている。電源ボタンが操作されると、システム全体に用途に応じて電源が供給され、カメラが起動される。通信部２１３は、有線または無線通信により、不図示の外部デバイス（スマートフォン等）と通信を行う。

【0024】

＜撮像装置の動作＞
図３は、本実施形態における撮像装置の動作を説明するフローチャートである。

【0025】

図３に示す動作は、撮像装置１０１の主電源のオンでスタートされ、自動被写体探索や自動撮影が実行される。また、音声入力部２１０から入力された音声によるユーザの操作コマンド、および通信部２１３を介して不図示の外部デバイス上で構図を確認し入力されたユーザの指示を受け、手動のパン・チルト駆動、指示された被写体の追尾・探索、指示されたタイミングでの手動撮影が実行される。

【0026】

操作部２１１において電源ボタンが操作されると、まずステップＳ３０１において、制御部２１５が、各種初期設定（撮像／自動探索など）を行う。初期設定が終了し、撮像素子からの画像情報を取得可能になると、ステップＳ３０２に進む。

【0027】

ステップＳ３０２では、撮像部２０５で取り込まれた画像信号が画像処理部２０６で被写体検出用に画像処理される。処理された画像を用いて、人物検出や物体検出などの被写体検出が行われる。人物を検出する場合、被写体の顔や人体を検出する。顔検出処理では、人物の顔を判断するためのパターンが予め定められており、撮像された画像内に含まれるそのパターンに一致する箇所を人物の顔領域として検出することができる。また、被写体の顔としての確からしさを示す信頼度も同時に算出される。信頼度は、例えば画像内における顔領域の大きさや、顔パターンとの一致度等から算出される。物体認識についても同様に、予め登録されたパターンに一致する物体を認識することで実行される。また、撮像された画像内の色相や彩度等のヒストグラムを使用して特徴被写体を抽出する方法などもある。撮影画角内に捉えられている被写体の画像に関し、その色相や彩度等のヒストグラムから導出される分布を複数の区間に分け、区間ごとに撮像された画像を分類する処理が実行される。例えば、撮像された画像について複数の色成分のヒストグラムが作成され、その山型の分布範囲で区分けし、同一の区間の組み合わせに属する領域により、撮像された画像が分類され、被写体の画像領域が認識される。認識された被写体の画像領域ごとに評価値を算出することにより、その評価値が最も高い被写体の画像領域を主被写体領域として判定することができる。以上の方法で、撮像情報から各被写体情報を得ることができる。ステップＳ３０２で被写体検出情報などの撮像情報が取り込まれると、ステップＳ３０３に進む。

【0028】

ステップＳ３０３では、装置揺れ検出部２０８内の角速度情報が取得され、ステップＳ３０４に進む。ステップＳ３０４では、装置揺れ検出部２０８内の加速度情報が取得され、ステップＳ３０５に進む。ステップＳ３０５では、検出された加速度情報と角速度情報から撮像装置１０１の絶対角度の算出が行われ、ステップＳ３０６に進む。

【0029】

ステップＳ３０６では、撮像装置１０１が手持ち状態や人の体に付けられた状態において生じる画像ブレを抑えるための像振れ補正量が算出される。

【0030】

ここで、ステップＳ３０５の撮像装置の絶対角度の算出、ステップＳ３０６の像振れ補正量の算出の方法を、図４と図５に示すブロック図を用いて説明する。

【0031】

図１（ａ）に示すように、角速度計１０６と加速度計１０７はともに、撮像装置１０１の固定部１０３に配置されている。そのため、角速度や加速度は固定部１０３の位置での情報が出力されるので、その情報に基づいて算出される撮像装置の絶対角度も、固定部１０３の位置での絶対角度となる。よって、鏡筒１０２の回転振れ（撮像素子の振れ）を補正するには、固定部１０３の位置での角速度情報に基づいて、補正用角度を演算することにより像振れ補正量を算出する必要がある。そして、像振れ補正量に基づき、チルト回転ユニット１０４、パン回転ユニット１０５を駆動することにより、振れ補正が可能となる。

【0032】

図４は、撮像装置の絶対角度の算出と像振れ補正量の算出のためのブロック構成を示す図である。

【0033】

撮像装置の絶対角度の算出方法について、以下説明する。

【0034】

角速度計１０６の出力（ピッチ方向、ヨー方向、ロール方向）と、加速度計１０７の出力（Ｘ軸、Ｙ軸、Ｚ軸）がピッチ絶対角度算出部４０１、ヨー絶対角度算出部４０２、ロール絶対角度算出部４０３にそれぞれ入力される。ピッチ方向、ヨー方向、ロール方向それぞれの絶対角度をそれぞれ算出することで、角速度計１０６と加速度計１０７の位置での絶対角度、即ち固定部１０３の絶対角度を算出する。

【0035】

まず、重力加速度を用いることにより、加速度計１０７の各軸の出力の関係から、ロール方向、ピッチ方向、ヨー方向の撮像装置の絶対角度を算出することができ、加速度演算ピッチ絶対角度と加速度演算ヨー絶対角度と加速度演算ロール絶対角度をそれぞれ算出する。しかし、装置が静止している状態で外部からの加速度の影響を受けない場合、即ち加速度計が検出する加速度は重力加速度が支配的である場合でしか精度よく傾き角度を算出できない。例えば、撮影者が手持ちで歩行しながらの撮影や、体の一部にカメラを固定装着しての撮影や、車やバイクなどの乗り物にカメラを取り付けての撮影などでは、重力加速度以外の加速度の影響（ここでは振動加速度と呼ぶ）が大きくなる。そのため、正確な絶対角度演算を行うことは困難である。また、角速度計１０６のみでカメラ角度を推定する場合においても、角速度出力の積分演算により姿勢角度を推定可能であるが、積分による誤差も蓄積されてしまい、これもまた正確な絶対角度演算を行うことは困難である。

【0036】

そこで、角速度計１０６と加速度計１０７のそれぞれが苦手とするノイズ領域を除去し、センサフュージョンにより信号を合成して絶対角度の算出を行う。センサフュージョンは、カルマンフィルタや相補フィルタなどを用いて行われる。角速度計１０６の積分誤差に最も影響する低周波ノイズを除去し、加速度計１０７の外乱による演算誤差に最も影響する高周波ノイズを除去し、信号を合成する。これにより、ノイズを除去した正確な絶対角度の算出が可能となる。

【0037】

よって、角速度計１０６からのジャイロピッチ角速度と加速度演算ピッチ絶対角度とのセンサフュージョンによるピッチ絶対角度算出４０１が行われ、ピッチ絶対角度が演算される。また、角速度計１０６からのジャイロヨー角速度と加速度演算ヨー絶対角度とのセンサフュージョンによるヨー絶対角度算出４０２が行われ、ヨー絶対角度が算出される。さらに、角速度計１０６からのジャイロロール角速度と加速度演算ロール絶対角度とのセンサフュージョンによるロール絶対角度算出４０３が行われ、ロール絶対角度が算出される。

【0038】

また、加速度計１０７からの撮像装置の絶対角度が算出不可能な軸（例えば、図５（ｂ）のＹ方向が重力方向と完全一致している場合の、Ｙ軸周りの回転軸であるヨー回転軸）では、角速度計１０６のみで絶対角度の算出が行われる。撮像装置の角度変化により、絶対角度が算出可能だと判定されていた最後の絶対角度をスタートにして、絶対角度が算出不可能な期間は、角速度積分による絶対角度の算出がなされることになる。以上の方法により、撮像装置の絶対角度が算出可能である。

【0039】

次に、像振れ補正量の算出方法について説明する。

【0040】

前述した撮像装置の絶対角度の算出方法によって、撮像装置の絶対角度が算出可能であるので、その信号に基づいて、チルト回転ユニット１０４、パン回転ユニット１０５を回転駆動すれば、像ブレ補正が可能である。しかし、撮像装置の絶対角度に基づいて像ブレ補正制御した場合、同じ姿勢を維持し続ける制御を行うことになる。そのため、撮影者が移動しながら撮影するなどの場合に構図が変更されないなどの影響や、それぞれの補正ユニットの可動端を超えての像ブレ補正制御が不可能になるなどの問題が生じる。よって、低周波成分の振れ補正は行わないで、高周波成分のみを像ブレ補正制御した方がよい。像振れ補正量算出においては、低周波成分の振れ補正制御は行わないので、角速度計１０６のみを用いて補正量を算出する。

【0041】

角速度計１０６の出力をＨＰＦ（ハイパスフィルタ）でＤＣ成分をカットした後に積分し、角度信号に変換することで、振れ補正角度を算出する。角速度計１０６は、固定部１０３に配置されており、パン回転ユニット１０５の回転軸に対する角速度計１０６のヨー方向の回転軸は一致している。そのため、パン振れ補正角度算出部４０５では、角速度計１０６の出力のヨー角速度をＨＰＦと積分処理で角度に変換することで、パン方向（ヨー方向）の振れ補正角度を算出し、パン回転ユニット１０５を回転駆動する。これにより、パン方向の振れ補正を行う。チルト方向については、角速度計１０６が固定部１０３に配置されているので、パン回転ユニット１０５の回転角度によって、チルト方向の振れ補正を行うための制御が変化する。角速度計１０６の位置、即ち固定部１０３の位置で、図４（ｂ）のように定義される軸方向の角速度を検出できるとする。このとき、パン回転が正位置(図５（ａ）、Ｘ軸が光軸に対して常に垂直方向に位置するとき)の場合は、ピッチ振れ補正角度算出部４０６で算出したピッチ振れ補正角度をそのままチルト振れ補正角度として算出する。また、パン回転角度が正位置から９０度回転（図５（ｂ）、Ｚ軸が光軸に対して常に垂直方向に位置するとき）の場合は、ロール振れ補正角度算出部４０７で算出したロール振れ補正角度をそのままチルト振れ補正角度として算出する。そして、それらの間は、パン回転角度に基づいて、ピッチ振れ補正角度とロール振れ補正角度とから、パン角度回転位置でのチルト振れ補正角度を算出する。パン角度回転位置に応じたチルト振れ補正角度は式（１）で算出することができる。

【0042】

θtl ＝θpi×cosθap＋θri×sinθap …（１）
（θtl：チルト振れ補正角度、θpi：ピッチ振れ補正角度、θri：ロール振れ補正角度、θap：パン回転角度）
以上のように、チルト振れ補正角度算出部４０４で、パン回転位置に応じて、チルト振れ補正角度が算出される。

【0043】

式（１）では、ピッチ角度とロール角度を変換し、チルト振れ補正角度を算出した。しかし、角速度計１０６からのピッチ角速度と、ロール角速度と、パン回転角度とから、チルト角速度を算出し、チルト角速度をＨＰＦと積分処理で角度変換する方法でも、チルト振れ補正角度を算出可能である。

【0044】

以上の方法で、パン振れ補正角度とチルト振れ補正角度をそれぞれ算出可能であり、それぞれの振れ補正角度（像振れ補正量）に応じて、チルト回転ユニット１０４、パン回転ユニット１０５を回転駆動すれば、像ブレ補正が可能となる。

【0045】

また、上記で求めた撮像装置の絶対角度と、チルト回転ユニット１０４、パン回転ユニット１０５の回転位置から鏡筒１０２の絶対角度も算出することができる。具体的には、ヨー絶対角度算出部４０２の出力のヨー絶対角度から、パン回転ユニット１０５の回転角度を減算することで、ヨー方向の光軸基準カメラ角度（鏡筒１０２のヨー絶対角度）を算出することができる。

【0046】

また、パン回転ユニット１０５の回転位置とチルト回転ユニット１０４の回転位置とから、固定部１０３の位置に変換したピッチ方向の鏡筒回転角度とロール方向の鏡筒回転角度が算出可能である。そのため、ピッチ絶対角度算出部４０１の出力のピッチ絶対角度からピッチ方向の鏡筒回転角度を減算することで、ピッチ方向の光軸基準カメラ角度（鏡筒１０２のピッチ絶対角度）を算出することができる。また、ロール絶対角度算出部４０３の出力のロール絶対角度から、ロール方向の鏡筒回転角度を減算することで、ロール方向の光軸基準カメラ角度（鏡筒１０２のロール絶対角度）を算出することができる。

【0047】

以上のように、光軸基準の撮像装置の角度を求めることができれば、例えば撮像装置の起動時の角度を基準として、現在の鏡筒（カメラ光軸)がどの角度方向を向いているかを判定可能である。

【0048】

以上の方法で撮像装置の絶対角度と像振れ補正量が算出されると、ステップＳ３０７に進み、カメラ移動検出が行われる。装置移動検出部２０９内のＧＰＳ位置情報や加速度情報により撮像装置１０１が大きく移動したか否かを検出する。もしくはＧＰＳ位置情報を取得できる外部デバイスを有し、撮像装置１０１と外部デバイスとが相互通信可能な構成で、ＧＰＳ位置情報の変化があった場合に外部デバイスから撮像装置１０１へ移動情報を通知することで移動したか否かを検出してもよい。

【0049】

ステップＳ３０８では、カメラ状態判定を行う。角速度情報や加速度情報やＧＰＳ位置情報をもとに検出したカメラ角度やカメラ移動量などにより、現在カメラがどのような振動／動き状態なのかを判定する。例えば、車に撮像装置１０１を装着して撮影する場合、移動された距離によって大きく周りの風景などの被写体情報が変化する。そのため、車などに装着して速い速度で移動している「乗り物移動状態」か否かを判定し、後に説明する自動被写体探索に使用することができる。また、カメラ角度の変化が大きいか否かを判定し、撮像装置１０１が揺れ角度がほとんどない「置き撮り状態」であるのかを判定する。「置き撮り状態」である場合は、撮像装置１０１自体の角度変化はないと考えてよいので、置き撮り用の被写体探索を行うことができる。また、比較的カメラ角度変化が大きい場合は、「手持ち状態」と判定され、手持ち用の被写体探索を行うことができる。各状態での被写体探索方法については、後述する。

【0050】

ステップＳ３０９では、ステップＳ３０５で検出されたカメラ角度が正確に算出されているか否かを判定し、撮像装置の絶対角度検出が難しい状態の場合に検出不可と判定し、ステップＳ３１０に進む。

【0051】

ステップＳ３１０では、自動探索処理の初期化が行われ、後に説明する被写体重要度レベルの初期化などの処理が行われる。撮像装置の絶対角度が検出可能な状態であれば、ステップＳ３１１に進む。撮像装置の絶対角度が検出不可能な状態とは、カメラ衝撃が非常に大きく、加速度計の出力からのカメラ角度算出に不具合が生じてしまう場合や、カメラ角速度が非常に大きく、角速度計が検出できる範囲をオーバーしてしまう場合などが考えられる。このような状態が検出されると、撮像装置の絶対角度検出は不可能であると判定されることになる。

【0052】

ステップＳ３１１では、ステップＳ３０１での初期設定時や、ステップＳ３１０での自動被写体探索の初期化時における撮像装置１０１の絶対角度を基準としたエリア分割が行われる。そして、現在撮像装置１０１が取得している画像をエリア分割に基づいて、ブロック分割する。

【0053】

図６を用いて、エリア分割について説明する。図６（ａ）のように、カメラ位置（原点Ｏがカメラ位置とする）を中心として、全周囲でエリア分割を行う。図６（ａ）の例においては、チルト方向、パン方向それぞれ２２．５度で分割している。図６（ａ）のように分割すると、チルト方向の角度が０度から離れるにつれて、水平方向の円周が小さくなり、エリア領域が小さくなる。よって、図６（ｂ）のように、チルト角度が４５度以上の場合、水平方向のエリア範囲は２２．５度よりも大きく設定している。

【0054】

図６（ｃ）、６（ｄ）に撮影画角内でのエリア分割された例を示す。軸６０１は初期化時の撮像装置１０１の方向であり、この方向角度を基準位置としてエリア分割が行われる。６０２は、撮像されている画像の画角エリアを示しており、そのときの画像例を図６（ｄ）に示す。画角に写し出されている画像内ではエリア分割に基づいて、図６（ｄ）の６０３～６１８のように画像分割される。

【0055】

図７（ａ）、７（ｂ）、７（ｃ）に、カメラのパン方向が初期化時の方向６０１を向いているときの、撮影画角内におけるエリア分割を示す。自動被写体探索の初期化時における撮像装置１０１の絶対角度を基準としたエリア領域である。そして、チルト角度が０度の場合の、カメラ撮影画角を符号７０１で、画角中心を符号７０２で示し、そのときの撮影画像を図７（ｂ）に示す。チルト角度が５５度の場合の、カメラ撮影画角を符号７０３で、画角中心を符号７０４で示し、そのときの撮影画像を図７（ｃ）に示す。

【0056】

チルト角度が０度の場合は、横（水平）方向の角度範囲がそれほど大きく変わらないので、エリアの大きさの差も小さいが、チルト角度が５５度の場合は、横方向の角度範囲が角度によって大きく変わってしまう。そこで、チルト角度が４５度以上の場合は、水平方向のエリア範囲を２２．５度よりも大きくとることで、チルト角度が大きくなるにつれてエリア範囲が小さくなりすぎることを防いでいる。

【0057】

図８（ａ）、８（ｂ）は、カメラ初期位置からパン方向に１１．２５度回転させたときのエリア領域を示し、チルト角度が０度の場合の、カメラ撮影画角を符号８０１で、画角中心を符号８０２で示し、そのときの撮影画像を図８（ｂ）に示す。図８（ａ）に示すように、水平方向は、１１．２５度を中心として、エリア領域が設定される。

【0058】

上記の撮影画角内でのエリア分割領域は以下の式（２）、（３）で求められ、画角内に存在する分割領域をすべて算出し、図７（ｂ）、７（ｃ）や図８（ｂ）のように、画像内がエリア分割される。

【0059】

θay ＝θy＋θy’ …（２）
θax ＝θx’×cosθay …（３）
θx：パン角度（カメラ初期位置を基準）
θy：チルト角度（カメラ初期位置を基準）
θx’：パン角度位置（画像水平中心）からエリア分割中心までの角度
θy’：チルト角度位置（画像垂直中心）からエリア分割中心までの角度
θax：画像内での水平中心から水平方向エリア分割中心までの水平方向角度の長さ
θay：画像内での垂直中心から垂直方向エリア分割中心までの垂直方向角度の長さ
ただし、カメラ初期位置を０度基準とする。

【0060】

エリア分割角度は２２．５度毎に設定されるが、垂直方向４５度～６７．５度の範囲は、水平方向エリア分割は４５度に設定される。垂直方向６７．５度～９０度の範囲は水平方向の分割は行わず１つのエリアとして設定される。

【0061】

このように、ステップＳ３１１でエリア分割が行われると、ステップＳ３１２に進み、被写体重要度レベルの算出が行われる。

【0062】

以下、図６（ｄ）のような取得画像内の被写体情報等に基づいて、エリア別に被写体重要度レベルが算出される。しかし、図６（ｄ）の６０３、６０４、６０５、６０６、６０７、６１０、６１１、６１４、６１５、６１６、６１７、６１８のように、画角に対して写っている領域が小さい（例えば、エリアの大きさを１００％としたときに画像内でエリアが写っている領域が５０％以下）のときは、被写体重要度の判定や更新は行わない。上記のように設定したエリア毎に被写体重要度レベルがさまざまな条件で設定される。被写体重要度レベルは、例えば以下の項目から算出される。

【0063】

＜人物情報に応じた重要度レベル設定＞
画角内の各エリア位置での人物情報に応じた重要度レベル設定を行う。

【0064】

顔検出の公知の技術には、例えば顔に関する知識（肌色情報、目・鼻・口などのパーツ）を利用する方法と、ニューラルネットワークに代表される学習アルゴリズムにより顔検出のための識別器を構成する方法などがある。また、検出精度向上のために複数の顔検出方法を組み合わせて顔検出を行うのが一般的である。顔検出からは、顔の大きさや顔の向き、また顔としての確からしさを示す信頼度などが算出される。また、顔の各器官検出情報から顔の表情を検出する技術も知られており、目の開き度合を検出したり、笑顔度を検出したりすることができる。具体的には、顔を構成する器官（目、鼻、及び口など）の輪郭、並びに目頭、目尻、小鼻、口角及び唇の位置等から表情検出に必要な特徴量を取得する。特徴量を取得する手法としては、各顔構成部品のテンプレートを用いたテンプレートマッチングによる方法や、顔構成部品の多数のサンプル画像を用いた学習アルゴリズムによる方法などがある。検出した特徴量に基づいて、笑顔度や目つむり、ウインクや表情推定（喜び／驚き／怒り／悲しみ／真顔）、ジェスチャーなどを検出可能である。

【0065】

また、予め個別の顔データを登録しておき、検出した顔から特定の個人であるかを更に検出する個人顔認証も行うことができる。予めデータベースに登録されている対象との状態が一致するか否か、またはその一致度を判定する。検出された被写体の画像データから、その被写体領域と被認証対象として識別するための特徴情報を抽出する。そして抽出した特徴情報と予めデータベースに登録されている被写体の画像の特徴情報とを比較する。この比較による類似度を示す認証評価値に基づき、被認証対象がどの登録対象であるか、または該当する登録対象がないかの認証を行う。例えば、認証評価値に対して所定の閾値を設け、所定の閾値以上の場合に、被認証対象がデータベースに登録されている該当対象であると判定することができる。

【0066】

Ｋｒは、顔信頼性によってレベル付けされた（例えば、信頼性小→大でＫｒが大きくなるような）値であり、顔の大きさや顔の向き、顔の確からしさなどよって信頼性が判定される。

【0067】

Ｋａは、個人顔認証情報によってレベル付けされた値であり、登録された個人顔毎の重要度（予め重要度を登録などしておく）や、後述する過去撮影情報に基づいて、顔毎に設定される。

【0068】

Ｋｓは、顔表情によってレベル付けされた値であり、予め設定された表情に応じたレベル付け（例えば、笑顔／喜び／驚きなどは高いレベルに設定され、怒り／悲しみ／真顔／目つむりなどは低いレベルに設定されている）に基づいて、顔毎にレベル付けされる。ここで、各表情で表情の度合い、例えば笑顔であれば笑顔度合いに応じてレベルを変化させるような構成にしてもよい。

【0069】

以上求めたＫｒ、Ｋａ、Ｋｓから、人物表情に応じたレベルＦｌｖｌは、式（４）で求められる。

【0070】

Ｆｌｖｌ＝Ｋｒ × Ｋａ × Ｋｓ …（４）
図９を用いて、人物情報に応じたレベル設定について説明する。上記で説明したとおり、図９のエリア９０１、９０４、９０５、９０８のように、画像に写っている領域が小さい場合は、探索していないものとして判定されない。ここで、３人の人物（９０９、９１０、９１１）が画角内に写っている場合を例に説明する。被写体９０９は個人顔認証登録されていない被写体であり、表情に笑顔がない被写体とする。被写体９１０は個人顔認証登録されていない被写体であり、表情に笑顔がある被写体とする。被写体９１１は個人顔認証登録されている被写体であり、表情に笑顔がある被写体とする。

【0071】

エリア９０２と９０６に人物９０９が写っているので、両方のエリアに人物９０９の人物情報に応じたレベル設定を行う。人物９０９は、個人認証登録されていないのでゲインＫａは１、笑顔でないのでゲインＫｓは１となり、人物９０９のレベルは、Ｋｒとなり、顔信頼性によって被写体９０９の重要度レベルが決まる。

【0072】

エリア９０３とエリア９０７に人物９１０と人物９１１が写っているので、両方のエリアに人物９１０と人物９１１の人物情報に応じたレベル設定を行う。人物９１０は、個人顔認証登録されていないのでゲインＫａは１、笑顔がある被写体なのでゲインＫｓは１以上の値に設定されている。人物９１１は、個人顔認証登録されているのでゲインＫａは１以上に、笑顔がある被写体なのでゲインＫｓは１以上の値に設定されている。

【0073】

よって、顔信頼性が人物９０９と人物９１０と人物９１１とで同じである場合、各被写体の重量度レベルの大きさは、９１１＞９１０＞９０９となる。

【0074】

また、顔が写っている割合によって、レベル分けを行う。顔割合が大きいエリアには、上記で求めたレベルをそのまま設定し、顔割合が小さいエリアには顔割合によってレベルを変更する。例えば、エリア９０３とエリア９０７の人物顔の写っている割合が８：２の場合、レベルを１０：２．５に設定する。

【0075】

以上のように、人物情報に基づいて、エリア毎に重要度レベルが設定される。

【0076】

＜物体認識情報に応じた重要度レベル設定＞
予め登録されている被写体を検出した場合、物体認識情報に基づいた重要度レベル設定を行う。例えば、「犬」や「猫」など一般的な物体カテゴリー認識を行ったり、事前に登録された被写体画像との一致度から、被写体認識による重要度レベル設定を行う。物体認識については、ニューラルネットワークに代表される学習アルゴリズムにより「犬」、「猫」などの識別器を構成する方法などがある。

【0077】

図１０を用いて、予め登録されている物体認識情報に応じたレベル設定について説明する。ここで、画面上に３つの被写体（１００９、１０１０、１０１１）が写っている場合を例に説明する。被写体１００９は物体認識により犬と判定され、被写体１０１０は猫と判定される。被写体１０１１は人物であり、人物は＜人物情報に応じた重要度レベル設定＞で判定されているので、物体認識情報に応じたレベル設定からは対象外の被写体となる。「犬」を認識した場合のレベルと、「猫」を認識した場合のレベルはそれぞれ登録されており、例えば「犬」は重要被写体であり、「猫」は重要被写体でないと設定されている場合は、「犬」を検出したエリア１００７の方が「猫」を検出したエリアよりもレベルが高く設定される。また、物体認識の信頼度を求め、検出の信頼度に応じてレベルを変更してもよい。

【0078】

ここでも、被写体が写っている割合によって、レベル分けを行う。被写体割合が最も大きいエリアには、上記で求めた重要度レベルをそのまま設定し、被写体割合が小さいエリアは、その割合によってレベルを変更する。

【0079】

＜シーンに応じた重要度レベル設定＞
画像データを解析することで、「青空シーン」、「自然の緑が多いシーン」、「夕景シーン」等を判定し、シーン判定情報に基づいたレベル設定を行う。なお、空にかかわるシーン判定については、カメラの絶対角度情報から、カメラの傾き情報が分かるので、重力方向と垂直な方向よりも、上方向領域の画像において、「青空シーン」や「夕景シーン」のような空の判定が行われる。

【0080】

まず、撮影された１フレームの１２ビットＲＡＷデータをｎ×ｍ（ｎ、ｍは整数）の領域にブロック分割し、分割された各領域内のＲ、Ｇ、Ｂ各色の画素の平均値を算出する。各ブロックのＲ、Ｇ、Ｂ平均値に対して、ホワイトバランス補正処理、ガンマ補正処理、色変換マトリックス処理による仮現像処理を行う。

【0081】

「青空シーン」の判定は、画面内上方向領域における青空ブロックの割合を算出することで行われる。青空ブロックか否かの判定はＵＶ色空間上で青空判定領域を定義し、その領域内に入ったブロックをカウントすることで行われる。

【0082】

「夕景シーン」の判定は、画面内上方向領域における夕景ブロックの割合を算出することで行われる。夕景ブロックか否かの判定はＵＶ色空間上で夕景判定領域を定義し、その領域内に入ったブロックをカウントすることで行われる。

【0083】

「自然の緑が多いシーン」の判定は、画面内全ブロックに占める自然の緑ブロックの割合を検出することで行われる。自然の緑ブロックか否かの判定はＵＶ色空間上で自然の緑判定領域を定義し、その領域内に入ったブロックをカウントすることで行われる。

【0084】

図１１を用いて、シーン検出情報に応じた重要度レベルの設定について説明する。

【0085】

画面内の右上範囲に青空が写っており、画面内の左範囲に建物が写っており、画面内の右下範囲に自然の緑が写っているシーンであるとする。画面内のシーン判定により、「青空シーン」と「自然の緑シーン」を検出し、エリア１１０３は青空領域認識に応じたレベルが設定され、エリア１１０７は自然の緑領域認識に応じたレベルが設定される。エリア１１０２はエリアに対する青空領域が４０％程度なので、青空領域認識に応じたレベルの４０％が設定される。エリア１１０６はエリアに対する自然の緑領域が３０％程度なので、青空領域認識に応じたレベルの３０％が設定される。

【0086】

上記では、色空間情報によるシーン判定方法について説明したが、輝度値によってシーンを判定する方法もある。「夜景シーン」の判定を例に説明すると、画面全体のヒストグラムにおいて、極端に輝度の高いレベルと極端に輝度の低いレベルのみの被写体が分布している場合、夜景として判定する。また、画像の輝度信号の高周波成分に基づくコントラスト評価により点光源を判定し、輝度分布と点光源検出結果とを用いて「夜景シーン」を判定してもよい。

【0087】

「青空シーン」、「夕景シーン」、「自然の緑が多いシーン」、「夜景シーン」それぞれにおける重要度レベルはそれぞれ登録されており、それぞれの登録されている重要度レベルに応じて、エリア毎にシーンに応じた重要度レベルの設定を行う。

【0088】

＜音声情報に応じた重要度レベルの設定＞
音声情報データを解析することで、「音声方向」、「音レベル」、「音声認識」等を判定し、音声情報に基づいた重要度レベルの設定を行う。

【0089】

図１２のフローチャートを用いて、音声情報に応じた重要度レベルの設定について説明する。

【0090】

ステップＳ１２０１では、制御部２１５の音声取得部が、外部で発声した音声を取得したか否かを判定する。音声を取得した場合は、ステップＳ１２０２に進む。音声を取得しなかった場合は、ステップＳ１２０１へ戻る。

【0091】

ステップＳ１２０２で、制御部２１５の音声方向検知部が、取得した音声の発生方向を検知する。ステップＳ１２０３では、音レベルを検知する。ステップＳ１２０４で、制御部２１５の音声認識部が、取得した音声を認識する。

【0092】

ステップＳ２１５では、認識した音声が特定の音声コマンドか否かを判定し、音声コマンドの場合はＳ１２０６に進み、音声認識レベルＳｃをＡｃ１に設定する。音声コマンドでない場合はＳ１２０７に進み、音声認識コマンドレベルＳｃを０に設定する。

【0093】

ステップＳ１２０８では、検出した音レベルが所定値以上であるか否かを判定し、所定値以上であれば、ステップＳ１２０９に進み、音声レベルＳｓをＡｃ２に設定する。音レベルが所定値より小さければ、ステップＳ１２１０に進み、音レベルＳｓを０に設定する。

【0094】

ステップＳ１２１１では、ステップＳ１２０２で検出した音声の発生方向から、図６に対応する音方向エリアを算出する。例えば、音声方向認識誤差を考えて、判定された方向の角度から±４５度の範囲すべてを音方向エリアとする。

【0095】

ステップＳ１２１２では、音声認識レベルＳｃと音声レベルＳｓを加算し、トータル音レベルＳｌを算出し、ステップＳ１２１３に進む。

【0096】

ステップＳ１２１３では、トータル音レベルＳｌが前回のサンプリングでのトータル音レベルＳｌに対して、大きくなる方へ変化したか否かを判定する。大きくなる方に変化した場合、ステップＳ１２１４に進み、所定時間パラメータＴａに時間カウントＸｔを設定し、ステップＳ１２１５に進む。ステップＳ１２１５では、ステップＳ１２１１で設定したエリアにレベルＳｌを設定し、ステップＳ１２０１へ戻る。

【0097】

ステップＳ１２１３でトータル音レベルＳｌが前回のサンプリングでのトータル音レベルＳｌに対して、同じか小さくなる方に変化した場合は、ステップＳ１２１６に進み、所定時間パラメータＴａをデクリメントし、ステップＳ１２１７に進む。

【0098】

ステップＳ１２１７で時間Ｔａが０以下か否かを判定する。０以下（トータル音レベルＳｌが小さくなる方へ変化してからＴａ経過した場合）であれば、ステップＳ１２１８で、トータル音レベルＳｌを０に設定し、ステップＳ１２１１で設定したエリアのトータル音レベルＳｌを０に設定する。ステップＳ１２１７で時間Ｔａが０より大きい場合、ステップＳ１２１５へ進み、これまでで演算されたトータル音レベルＳｌを音声方向のエリアに音声情報に応じた重要度レベルで設定する。

【0099】

＜画像動き情報に応じた重要度レベル設定＞
図６のようにエリア分割された各エリアにおいて動き被写体が存在するか否かを判定し、画像動き情報に応じた重要度レベル設定を行う。

【0100】

エリア毎にフレーム間の差分検出やフレーム間の動きベクトル検出等を行う。動きベクトルの検出方法としては、画面を複数の領域に分割し、予め記憶されている１フレーム前の画像と現在の画像（連続する２つの画像）を比較することで、画像の相対的なズレ情報から画像動き量を算出する。

【0101】

ここで、撮像装置の絶対角度と、チルト回転ユニット１０４、パン回転ユニット１０５の回転位置との差分により、鏡筒（撮像面光軸方向）の角度が分かるので、フレーム間の鏡筒角度の差分から、カメラ角度の変化の影響による動きベクトル値が検出できる。

【0102】

図１３（ａ）のように、エリアの中でも更に分割された領域でフレーム間の移動ピクセルを検出し、検出した移動ピクセルからカメラ角度の変化の影響による動きベクトル値を減算したベクトル信号から、度数分布処理を行う。なお、低コントラストなどのようにベクトル検出が難しい場合は、検出不可ブロックのベクトル情報は度数分布処理には反映させない。

【0103】

度数分布例を図１３（ｂ）と図１３（ｃ）に示す。図１３（ｂ）は、あるエリアに動き被写体がない場合の、あるフレームでの度数分布例を示す。閾値１３０２の範囲はベクトル値が小さく、ほとんど動きがないベクトル範囲であるため、閾値１３０２の範囲内のベクトル情報は使用しない。閾値１３０２以外の移動量が度数閾値１３０３を超えている場合、エリア内に動き被写体があると判定するが、図１３（ｂ）においては閾値１３０３を超えていないので動き被写体はないと判定する。図１３（ｃ）は、エリアに動き被写体がある場合のあるフレームでの度数分布例を示す。閾値１３０２の範囲外におけるベクトル移動量が度数閾値１３０３を超えているので、このエリアに動き被写体があると判定される。過去数フレームの間、動き被写体が連続していると判定されると、動き被写体ありの重要度レベルが設定される。

【0104】

＜過去の撮影情報に応じたレベル設定＞
過去に撮影された情報から重要度レベル設定を行う。

【0105】

カメラは後に説明する方法で、パン・チルトを駆動し、被写体自動探索を行う。探索中の画像情報から、カメラが自動撮影トリガーを検出すると、自動撮影が行われる。自動撮影トリガーは例えば、人物の笑顔などの表情検出であったり、後に説明する最終的な被写体重要度レベルの大きさであったりする。また、撮影者がカメラに設けられたレリーズＳＷなどにより、手動で撮影することもある。カメラは撮影すると、過去撮影情報が記憶管理される。

【0106】

まず、エリア毎の過去撮影情報に応じたレベル設定について説明する。

【0107】

図６のようにエリア分割された各エリアにおいて、各エリアでの撮影枚数が記憶管理される。図１４は、エリア毎の過去管理の方法を示した図であり、縦軸がエリア毎に、横軸が時間毎に、撮影枚数が管理されている。図１４のようなエリア毎の過去情報から、エリア毎の重要度レベル設定を行う。「今～Ｔ１時間」は現在から過去Ｔ１時間前までの撮影枚数であり、この重み係数を例えば１とする。「Ｔ１時間～Ｔ２時間」は過去Ｔ１時間から過去Ｔ２時間までの間の撮影枚数であり、この重み係数を例えば０．８とする。「Ｔ２時間～Ｔ３時間」は過去Ｔ２時間から過去Ｔ３時間までの間の撮影枚数であり、この重み係数を例えば０．５とする。「Ｔ３時間～Ｔ４時間」は過去Ｔ３時間から過去Ｔ４時間までの間の撮影枚数であり、この重み係数を例えば０．２とする。

【0108】

それぞれの重み係数と撮影枚数を乗算し、各時間の計算結果を加算することで、重み付きのトータル撮影枚数をエリア毎に算出する。

【0109】

Ａｒｅａ１のトータル撮影枚数は、０×１＋０×０．８＋０×０．５＋２×０．２＝０．４枚となり、Ａｒｅａ３のトータル撮影枚数は、３×１＋４×０．８＋２×０．５＋０×０．２＝７．２枚となる。

【0110】

各エリアのトータル撮影枚数にレベル係数（係数はマイナスの値であり、撮影枚数が多くなるにつれて重要度レベルが下がっていくようにしている）を乗算して、エリア毎の過去撮影情報に応じたレベル設定を行う。

【0111】

また、過去撮影情報は、＜人物情報に応じた重要度レベル設定＞や＜物体認識情報に応じた重要度レベル設定＞や＜シーンに応じた重要度レベル設定＞などにもフィードバックされ、各レベル設定にも影響するようにしている。

【0112】

図１５は、＜人物情報に応じた重要度レベル設定＞にフィードバックするための過去撮影情報を管理した表である。個人登録されている被写体毎（Ａsan、Ｂsan、Ｃsan、Ｄsan、…）の過去撮影枚数がそれぞれ記憶管理されている。図１４で説明した方法と同様に、各時間で重み係数が設定されており、登録被写体毎にそれぞれトータル撮影枚数が算出される。トータル撮影枚数にレベル設定のためのレベル係数（係数はマイナスの値であり、撮影枚数が多くなるにつれてレベルが下がっていくようにしている）を乗算した結果を、ゲインＫａに加算する。これにより、＜人物情報に応じたレベル設定＞に過去撮影情報をフィードバックする。なお、Ｋａは０以下にはならないように設定される。

【0113】

図１６は、＜物体認識情報に応じた重要度レベル設定＞にフィードバックするための過去撮影情報を管理した表である。登録されている被写体毎（犬、猫、…）の過去撮影枚数がそれぞれ記憶管理されている。図１４で説明した方法と同様に、各時間で重み係数が設定されており、登録被写体毎にそれぞれトータル撮影枚数が算出される。トータル撮影枚数にレベル設定のためのレベル係数（係数はマイナスの値であり、撮影枚数が多くなるにつれてレベルが下がっていくようにしている）を乗算した結果を、各被写体に応じたレベル設定に加算する。これにより、＜物体認識情報に応じたレベル設定＞に過去撮影情報をフィードバックする。なお、各被写体に応じた重要度レベルは０以下にはならないように設定される。

【0114】

図１７は、＜シーンに応じた重要度レベル設定＞にフィードバックするための過去撮影情報を管理した表である。シーン毎（青空、夕景、自然の緑、夜景、…）の過去撮影枚数がそれぞれ記憶管理されている。図１４で説明した方法と同様に、各時間で重み係数が設定されており、登録被写体毎にそれぞれトータル撮影枚数が算出される。トータル撮影枚数にレベル設定のためのレベル係数（係数はマイナスの値であり、撮影枚数が多くなるにつれてレベルが下がっていくようにしている）を乗算した結果を、各シーンに応じたレベル設定に加算する。これにより、＜シーンに応じたレベル設定＞に過去撮影情報をフィードバックする。なお、各シーンに応じた重要度レベルは０以下にはならないように設定される。

【0115】

＜未探索時間による重要度レベル設定＞
図６のように分割された各エリア位置での最後に探索されたときからの経過時間に応じた重要度レベル設定を行う。処理のフローチャートを図１８に示す。

【0116】

処理がスタートすると、ステップＳ１８０１で現在のパン・チルト位置を取得し、ステップＳ１８０２に進む。

【0117】

ステップＳ１８０２では、図５で説明した方法で算出された撮像装置の絶対角度を取得し、ステップＳ１８０３に進む。ステップＳ１８０３では、ステップＳ１８０１で取得したパン・チルト位置とステップＳ１８０２で取得した撮像装置の絶対角度とから鏡筒１０２の絶対角度を算出し、ステップＳ１８０４に進む。

【0118】

ステップＳ１８０４では、ループ演算のための変数であるＡｒｅａに１を代入し、ステップＳ１８０５に進む。

【0119】

ステップＳ１８０５では、鏡筒１０２の絶対角度を微分処理して算出した絶対角速度が所定速度以内であるかを判定し、また図６のように分けられたエリア毎に各エリア番号が定義されており、変数Ａｒｅａが画角内に写っているエリア番号か否かを判定する。Ａｒｅａが画角内にあり且つ、鏡筒絶対角速度がそれぞれ被写体検出できる程度の速度（撮像遅れ、検出時間遅れを加味して、画像から被写体検出するまでの遅れ時間が所定値以内の角速度であること）であれば、ステップＳ１８０６に進む。

【0120】

ステップＳ１８０６では、現在のＡｒｅａの未探索時間に応じた重要度レベルを０に設定し、ステップＳ１８０８に進む。

【0121】

ステップＳ１８０５で、現在のＡｒｅａが画角内にない或いは、鏡筒絶対角速度が所定角速度よりも大きければ、ステップＳ１８０７に進み、現在のＡｒｅａの時間レベルをインクリメントし、ステップＳ１８０８に進む。

【0122】

ステップＳ１８０８では、Ａｒｅａをインクリメントし、ステップＳ１８０９に進み、Ａｒｅａがトータルエリアの数より大きいか否かを判定し、大きければ処理を終了する。Ａｒｅａがトータルエリアの数よりも小さければステップＳ１８０５に戻り、ステップＳ１８０５～１８０９の処理を繰り返す。

【0123】

以上の方法により、エリア毎に未探索時間に応じた重要度レベルが設定され、エリアが最後に被写体探索されてからの経過時間（エリアの未探索時間）によって、各エリアの時間レベルが大きくなっていく。これにより、長時間探索されていないエリアがあれば、重要度レベルが上がり、パン・チルトによりそのエリアの探索を行う仕様となる。

【0124】

＜カメラ振動状態による重要度レベル設定＞
カメラ振動状態に応じて重要度レベル設定を行う。

【0125】

ステップＳ３０８で算出したカメラ状態判定結果から、カメラの振動状態（乗り物移動状態、置き撮り状態、手持ち状態）が判定される。

【0126】

カメラの振動状態が「置き撮り状態」の場合、撮像装置の絶対角度演算を間違うことはなく、各エリアの重要度レベルの演算の信頼性は高いので、これまでで演算された各エリアの被写体重要度レベルをそのまま使用して後の探索制御を行う。

【0127】

カメラ振動状態が「乗り物移動状態」の場合は、移動速度が速いので、乗り物に乗っている人のエリアの変化はほとんどないが、風景などの被写体は刻々と変化する。よって、乗り物移動状態の場合は、＜人物情報に応じた重要度レベル設定＞はそのままの重要度レベルを使用するが、＜画像動き情報に応じた重要度レベル設定＞の重要度レベルは使用しない。また、＜シーンに応じた重要度レベル設定＞や＜物体認識情報に応じた重要度レベル設定＞はすぐに変化する可能性が高いので、重要度レベルを下げる。但し、自動撮影においては検出したらすぐ撮影を行うなどの工夫もする。＜音声情報に応じた重要度レベル設定＞や＜過去撮影情報に応じたレベル設定＞はそのままの重要度レベルを使用する。また、速い速度で移動しているカメラの進行方向を加速度センサなどで検出し、進行方向のエリアの重要度レベルを上げておくなどの演算も行われる。

【0128】

カメラの振動状態が「手持ち状態」（ブレ振動が大きい状態）の場合は、撮影者がカメラの方向を操作する可能性が高い。そこで、カメラ正位置（チルト角度、パン・チルト角度が０度）から±４５度の範囲のエリアは重要度レベルを大きくし、±４５度～±９０度の範囲のエリアは重要度レベルを小さくする。そして、±９０度よりも離れた範囲では重要度レベルを更に小さくなるように、各エリアの重要度レベルを設定する。エリア毎に重要度レベルを加算する方法でもよいし、エリア毎に算出された重要度レベルに、範囲に応じて重みをかける方法でもよい。例えば、±４５度の範囲のエリアは重み係数１、±４５度～±９０度の範囲のエリアは重み係数を１以下、±９０度よりも離れた範囲では重み係数を更に小さくしておく、などのようにすればよい。

【0129】

以上の方法により、カメラ振動状態により、各重要度レベル演算を変更し、各振動状態に合った被写体探索が行われるようにする。

【0130】

上記の方法で求めた各エリアにおける＜人物情報に応じた重要度レベル＞、＜物体認識情報に応じた重要度レベル＞、＜シーンに応じた重要度レベル＞、＜音声情報に応じた重要度レベル＞、＜画像動き情報に応じた重要度レベル＞、＜過去撮影情報に応じた重要度レベル＞、＜未探索時間による重要度レベル＞を加算し、被写体重要度レベルを算出し、ステップＳ３１３に進む。なお、被写体重要度レベルが所定閾値以上の被写体を検出した場合は、追尾判定して、追尾・探索のための閾値を変更して追尾されやすくする。

【0131】

ステップＳ３１３では、エリア毎の被写体重要度レベルから、パン・チルト探索の目標角度を算出し、ステップＳ３１４に進む。パン・チルト探索目標角度は以下の方法で算出される。

【0132】

まず、各エリアで隣接するエリアの被写体重要度レベルから、探索用最終レベルを算出する。図１９（ａ）のエリア１９０１における探索用最終レベルはエリア１９０１と周辺のエリア（１９０２、１９０３、１９０４、１９０５、１９０６、１９０７、１９０８、１９０９）との情報を用いて算出される。エリア１９０１の重み係数を１として、その他の重み係数を１以下（例えば０．５）として、各エリアの被写体重要度レベルに各重み係数を乗算し、すべてのエリアで求めた計算値を加算することで探索用最終レベルが算出される。この演算をすべてのエリアで行い、各エリアでの探索用最終レベルを算出する。次に、探索用最終レベルが最も大きいエリアを探索目標エリアと設定する。探索目標エリアが図１９のエリア１９０１だった場合、エリア１９０１～１９０９の探索用最終レベルとエリア１９０１～１９０９の各エリアの中心角度とから、パン・チルト探索目標角度を式（５）により算出する。

【0133】

【数1】

【0134】

ここで、ｎは１９０１～１９０９のエリアの数（９）であり、ｉは１９０１～１９０９を１～９に定義した変数であり、ｂは各エリアの中心角度、ａは各エリアの探索用最終レベルである。このように、エリア１９０１～１９０９間の探索用最終レベルに基づいた角度の重心位置ｙを演算する（ｙは、チルト方向、パン方向それぞれで演算される）ことで、パン・チルト探索目標角度を算出することができる。

【0135】

なお、各エリアの探索用最終レベルの全ての値が、所定の閾値以下の場合は、探索してもその時点での重要な被写体はないと判定され、パン・チルト駆動は行わないようにする。

【0136】

このとき、＜過去撮影情報に応じたレベル設定＞を除外した条件で算出した被写体重要度に基づいて目標角度を算出し、目標角度にパン・チルト駆動した後は、各エリアの探索用最終レベルのいずれかが所定閾値より大きくなるまで、その角度位置に保持される。以上のようにして、パン・チルト探索目標角度を算出する。

【0137】

次いで、追尾のための第２の回転補正量を算出する、ステップＳ３１４へ進む。

【0138】

図２０は、カメラで検出した被写体の画像上の位置の例と、追尾・探索のための閾値と第２の回転補正量の設定方法を示す図である。

【0139】

Ｃ０は撮像画像（画角）における追尾目標位置、Ｃ１は撮像画像上の被写体領域の中心位置、Ｃ０を中心とする円Ｐは追尾目標領域で、円Ｐの半径は追尾・探索を行うか否かを判定するための閾値である。被写体の追尾残り（Ｃ１とＣ０の撮像画像上の距離）が追尾・探索のための閾値よりも遠い場合は、Ｃ１がＣ０の位置に近づくよう回転機構による追尾が行われる。

【0140】

追尾のためのパン・チルト回転補正量（Ｄｐ，Ｄｔ）を算出する際は、Ｃ０（ｘ０，ｙ０）の座標とＣ１（ｘ１，ｙ１）の座標の差を求めて、その差にパンまたはチルトのそれぞれの変換係数を乗じて駆動量を求める。パンの変換係数をｋｐ、チルトの変換係数をｋｔとした場合のパンの回転補正量Ｄｐとチルトの回転補正量Ｄｔは以下の式で表される。 Ｄｐ＝（ｘ１－ｘ０）×ｋｐ …（６）
Ｄｔ＝（ｙ１－ｙ０）×ｋｔ …（７）
ここで式（６）および式（７）の変換係数ｋｐおよびｋｔは、画像上の位置誤差をパン・チルトの目標位置との差に変換するためのもので、撮像素子のサイズ、焦点距離、パンおよびチルトの位置検出手段の検出分解能に応じて変化する。

【0141】

ステップＳ３１４では、ステップＳ３０６で求めた像振れ補正量とステップＳ３１３までで求めたパン・チルト探索目標角度、追尾のための回転補正量から、パン・チルト駆動量を算出する。像振れ補正量と追尾のための回転補正量とパン・チルト探索目標角度に基づいた制御サンプリングでの駆動角度を加算することで、パン・チルト駆動量を算出（パンの駆動角度、チルトの駆動角度それぞれを算出）し、ステップＳ３１５に進む。

【0142】

図２１は、カメラで検出した振動量の時系列変化の例と、像ブレ補正のための第１と第２の閾値と第１の回転補正量の設定方法を示す図である。図２１の閾値１は、カメラが置き撮りされているか否かを判定する振動量に関する、像ブレ補正のための第１の閾値であり、予めカメラで測定して記憶させておく。カメラが置き撮り状態であれば、像ブレ補正のために回転機能を動作させる必要性は低い。カメラは検出した振動量が閾値１未満であれば（図２１時刻ｔ０～時刻ｔ１）、置き撮りされていると判定し、像ブレ補正のための第１の回転補正量を０（ゼロ）に設定する。

【0143】

図２１の閾値２は、カメラが像ブレ補正可能な範囲内であるか否かを判定する振動量に関する、像ブレ補正のための第２の閾値であり、予めカメラで測定して記憶させておく。カメラの像ブレ補正可能な上限範囲を超える振動量である場合は、像ブレ補正を動作させたとしても上限範囲以上の像ブレは補正できないため、像ブレ補正効果に対する電力消費の観点で像ブレ補正を動作させないほうが望ましい。カメラは検出した振動量が図２１の閾値２以上であれば（図２１時刻ｔ１～時刻ｔ２）、像ブレ補正のための第１の回転補正量を０に設定する。

【0144】

カメラは、検出した振動量が図２１の閾値１以上で図２１の閾値２未満であれば（図２１時刻ｔ２～時刻ｔ３）、像ブレ補正のための第１の回転補正量は、ステップ３１４までに算出した値のままとする。

【0145】

図２０（ａ）は、撮影重要度の高い被写体が画角内に存在する一例を示している。重要度に応じて追尾目標領域の範囲を狭く設定し、追尾目標領域に入っていないＣ１をＣ０の位置で捉え続けられるよう、追尾・探索のための第２の回転補正量をステップＳ３１４までに算出した値のままとし、回転駆動による追尾を継続する。

【0146】

図２０（ｂ）は、撮影重要度の低い被写体が画角内に存在する一例を示している。重要度に応じて追尾目標領域の範囲を広く設定し、Ｃ１が追尾目標領域に入っているので、追尾・探索のための第２の回転補正量を０に設定し、回転駆動による追尾は行わない。

【0147】

被写体が画角内に存在しない場合は、追尾・探索のための第２の回転補正量を０に設定し、回転駆動による追尾は行わない。

【0148】

また、ユーザ操作による回転指示があったときの回転補正量を第３の回転補正量とする。ユーザ操作によりパン・チルトを回転させるときに、回転が不要な回転機構の通電をＯＦＦする（回転機構を停止させる）ことが省電力の観点からは望ましい。ここで、ユーザ操作とは「外部デバイス操作による指示」「音声指示」「ジェスチャー指示」である。「外部デバイス操作による指示とは、通信部２１３を介して不図示の外部デバイスから送信される指示である。外部デバイスを操作するユーザの指示を受け、指示された方向へ回転機構を回転させることができる。また「音声指示」とは、音声入力部２１０から入力された音声による指示であり、音声の発生方向を検知して、その方向へ回転機構を回転させることができる。また「ジェスチャー指示」とは、ステップＳ３１２において撮像部で撮像中の被写体のうちの人物の特定の意味を持つジェスチャー動作による指示である。それを検知したとき、ジェスチャーに基づき回転機構を回転させることができる。これらのユーザ操作による回転指示が行われたとき、回転が不要な軸の回転ユニットの通電はＯＦＦすることができる。ユーザ操作による回転指示として、パン・チルトのいずれかの方向の操作量がゼロの場合は、ユーザ操作による第３の回転補正量を０に設定し、回転駆動は行わない。

【0149】

ここで、本実施形態では、ユーザ操作により回転させるか否かのユーザ操作の操作量の閾値（ユーザ操作のための閾値）は、ゼロ、つまりユーザ操作があった場合には、その都度、回転補正量が算出される。しかしながら、微小なユーザ操作の操作量が検出された場合には、第３の回転補正量が０に設定されるように、不感帯を設けるための閾値を設定してもよい。

【0150】

このように、第１乃至第３の回転補正量を設定することで、第１乃至第３の回転量のいずれも、第１乃至第３の回転量に対してそれぞれ設定された閾値未満である場合に、回転機構の通電をＯＦＦすることができる。

【0151】

ステップＳ３１５では、パン・チルト各軸の通電ＯＦＦの判定をするための閾値を、ユーザにより設定された撮影条件および撮影モードと、撮像装置内部で検出したカメラ状態とから算出し、ステップＳ３１６へ進む。

【0152】

ここで、ユーザにより設定された撮影条件とは、「像ブレ補正強度の設定」「追尾強度の設定」「探索強度の設定」「自動撮影頻度の設定」「シャッター速度の設定」「省電力設定」のことで、撮影条件によっては像ブレ補正や追尾・探索のための閾値を変更する。

【0153】

たとえば、「像ブレ補正強度の設定」が「弱」に設定されている場合は、通電がＯＦＦされやすくなるように、像ブレ補正のための第１の閾値を上方へ変更する。「追尾強度の設定」が「弱」に設定されている場合は、通電がＯＦＦされやすくなるように、追尾・探索のための閾値を上方へ変更する。「探索強度の設定」が「弱」に設定されている場合は、通電がＯＦＦされやすくなるように追尾・探索のための閾値を上方へ変更する。「自動撮影頻度の設定」が「低」に設定されている場合は、像ブレ補正のための第１の閾値、および追尾・探索のための閾値を上方へ変更する。「シャッター速度の設定」が手振れ限界よりも高速側に設定されている場合は、像ブレ補正効果が少ないので像ブレ補正のための第１の閾値を上方へ変更する。「省電力設定」が「有効」に設定されている場合は、像ブレ補正のための第１の閾値、追尾・探索のための閾値、ユーザ操作のための閾値をそれぞれ上方へ変更する。

【0154】

また、ユーザにより設定された撮影モードとは、「パノラマ撮影モード」、「タイムラプス撮影モード」、「トラッキング撮影モード」、「一人称撮影モード」のことで、設定された撮影モードの動作によって閾値を変更する。

【0155】

たとえば、「パノラマ撮影モード」においては、パン・チルトを水平・垂直方向ごとに所定回転角度ずつ回転させながら所定の複数枚撮影を行い、撮影した画像を連結して静止画を合成することが行われる。外部デバイス操作によるユーザの指示を受け、所定の回転角度で水平・垂直方向ごとに画角を変更するときに、回転が不要な軸の回転ユニットの通電はＯＦＦすることができる。回転が不要な回転機構の通電がＯＦＦされやすい方向へユーザ操作のための閾値を変更する。

【0156】

「タイムラプス撮影モード」においては、パン・チルトの開始位置から終了位置までを所定角度で回転し、画角を変化させながら撮影した複数枚の画像から動画を生成することが行われる。外部デバイス操作によるユーザの指示を受け、指示された開始角度と終了角度の間を水平・垂直方向ごとに撮影の向きを変更するときに、回転が不要な軸の回転ユニットの通電はＯＦＦすることができる。回転が不要な回転機構の通電がＯＦＦされやすい方向へユーザ操作のための閾値を変更する。

【0157】

「トラッキング撮影モード」においては、パン・チルトを回転させて移動する被写体を追尾し撮影することが行われる。外部デバイス操作によるユーザの指示を受け、指示された被写体を追尾するときに、回転が不要な軸の回転ユニットの通電はＯＦＦすることができる。回転が不要な回転機構の通電がＯＦＦされやすい方向へユーザ操作のための閾値を変更する。追尾する被写体を指定し追尾するときは、必要な追尾がされるよう追尾・探索のための閾値は下方へ変更する。しかし、追尾する被写体が指示されていない、または指示された被写体が存在しなくなった場合は、通電がＯＦＦされやすくなるように追尾・探索のための閾値を上方へ変更する。

【0158】

ここで「パノラマ撮影モード」、「タイムラプス撮影モード」、「トラッキング撮影モード」おいては、ステップＳ３０８でカメラ振動状態が置き撮りと判定されていたときは、像ブレ補正動作は不要なので、像ブレ補正のための第１の閾値を上方へ変更する。これにより、回転ユニットの通電がＯＦＦされやすくなる。一方、カメラ振動状態が置き撮りと判定されなかったときは、手持ちなどによる振動があるので、像ブレ補正のための第１の閾値はそのままとする。

【0159】

「一人称撮影モード」においては、画面内で移動する被写体を追いかけていくようにパン・チルトを回転させながら撮影を行うことが行われている。このとき回転が不要な軸の回転ユニットの通電はＯＦＦすることができる。外部デバイス操作によるユーザの指示を受け、指示された被写体、あるいは認識された主被写体を追いかけて行くようにパン・チルトを回転するとき、回転が不要な回転機構の通電がＯＦＦされやすい方向へユーザ操作のための閾値を変更する。また、追いかけていく被写体を指定し追尾するときは、必要な速度の追尾回転動作がされるよう追尾・探索のための閾値は下方へ変更する。しかし、被写体が指示されていない、また追いかけていた被写体が存在しなくなった場合は、通電がＯＦＦされやすくなるように追尾・探索のための閾値を上方へ変更する。

【0160】

また、撮像装置内部で検出したカメラ状態とは、「撮影シーン判定」、「電池残量」、「所定時間内での総撮影枚数或いは総撮影時間」、「焦点距離」、「被写体輝度」、「撮影画像転送状態」のことで、カメラ状態によっては回転機構の通電をＯＦＦすることができる。

【0161】

たとえば「撮影シーン判定」において、重要撮影シーンであると判定した場合は、その被写体をブレなく確実に撮影させるため、パン・チルト駆動モーターの通電がＯＮに移行しやすくなるように、像ブレ補正のための第１の閾値を下方向へ変更する。そうでない場合は、通電がＯＦＦに移行しやすくなるように、像ブレ補正のための第１の閾値を上方向へ変更する。同様に、重要撮影シーンであると判定した場合は、その被写体を確実に追尾・探索するために追尾・探索のための閾値を下方向へ変更し、そうでない場合は通電がＯＦＦに移行しやすくなるように追尾・探索のための閾値を上方向へ変更する。

【0162】

ここで重要撮影シーンの判定は、カメラが認識した人物情報や、物体認識情報、音声情報、画像動き情報、過去撮影情報に応じて、今撮影するシーンが重要な撮影シーンであるか否かを判定する。

【0163】

「電池残量」が所定値より少ない場合は、像ブレ補正機能の有無よりも、カメラの稼働時間を延ばすほうが重要被写体を自動撮影できる可能性も高くなる。そこで電池残量が所定値より少ない場合は、パン・チルト駆動モーターの通電がＯＦＦに移行しやすくなるように像ブレ補正のための第１の閾値を変更する。同様に、通電がＯＦＦに移行しやすくなるように追尾・探索のための閾値を上方向へ変更する。

【0164】

「所定時間内での総撮影枚数或いは総撮影時間」が所定値以上であれば、それまでの自動撮影において所望の被写体を撮影できていることが想定できる。そこで電池残量が所定値より少ない場合は、パン・チルト駆動モーターの通電がＯＦＦに移行しやすくなるように像ブレ補正のための第１の閾値を変更する。同様に、通電がＯＦＦに移行しやすくなるように、追尾・探索のための閾値を上方向へ変更する。

【0165】

「焦点距離」が広角側である場合はパン・チルト駆動による像ブレ補正を行わなくても、シャッター速度によってはぶれの少ない画像が撮影できる可能性が高まる。通電ＯＦＦの判定のための閾値は、鏡筒１０２の焦点距離が所定閾値よりも広角側のとき、あるいは焦点距離に応じて広角側で閾値を所定の係数で大きく変更する。これにより、パン・チルト駆動モーターの通電がＯＦＦに移行しやすくなるように像ブレ補正のための第１の閾値を変更する。同様に、通電がＯＦＦに移行しやすくなるように追尾・探索のための閾値を上方向へ変更する。

【0166】

「被写体輝度」が所定閾値以上の場合はパン・チルト駆動による像ブレ補正を行わなくても、シャッター速度によっては被写体ブレの少ない画像が撮影できる。そのため、通電ＯＦＦの判定のための閾値を、撮像部２０５で撮像された画像の輝度情報に応じて変更するようにしてもよい。たとえば、被写体の輝度が所定の輝度を超える場合は、パン・チルト駆動モーターの通電がＯＦＦに移行しやすくなるように像ブレ補正のための第１の閾値を変更する。同様に、通電がＯＦＦに移行しやすくなるように追尾・探索のための閾値を上方向へ変更する。

【0167】

ステップＳ３１６では、ステップＳ３１４で算出した各軸の回転補正量を、カメラで検出した振動検出量と被写体重要度に基づいて再算出し、ステップＳ３１７へ進む。

【0168】

たとえば、カメラで検出した振動検出量が置き撮り状態と判断できる程度に小さい場合は、回転機能を動作させる必要性が低い。そこで予め置き撮りに相当する振動量を閾値（図２１の閾値１）に設定し、閾値に対して撮像装置１０１で検出した振動量が小さい場合（図２１の時刻ｔ０からｔ１までの期間）は、像ブレ補正のための第１の回転補正量を０に設定する。

【0169】

一方、カメラで検出した振動検出量が非常に大きく、撮像装置１０１が像ブレ補正可能な上限範囲を超える振動量である場合は、像ブレ補正を動作させたとしても上限範囲以上の被写体ぶれは抑振できない。そのため、像ブレ補正効果に対する電力消費の観点で像ブレ補正を動作させないほうが望ましい。そこで、予め像ブレ補正可能な上限に相当する振動量を閾値（図２１の閾値２）に設定しておく。そして、設定した閾値に対して撮像装置１０１で検出した振動量が上回る場合（図２１の時刻ｔ１からｔ２までの期間）は、像ブレ補正のための第１の回転補正量を０に設定する。

【0170】

また、撮像部２０５で撮像された画像内に被写体を検出していない場合や、検出した被写体重要度が低い場合は、自動追尾および撮影を行わず、回転機構を動作させないほうがより長時間システムを稼動させる観点では望ましい。そこで被写体を検出していない場合は、追尾および探索のための第２の回転補正量を０とする。一方、被写体を検出している場合は、その被写体を画角中心からどの範囲に捉え続けるかを決める領域（追尾目標領域）を被写体の撮影重要度が高い場合は狭く設定し（図２０(ａ)）、被写体の撮影重要度が低い場合は広く設定する(図２０(ｂ))。そして、撮像装置１０１で検出した被写体領域の重心が追尾目標領域内に存在する場合は、追尾および探索のための第２の回転補正量を０に設定する。

【0171】

ステップＳ３１７では、ステップＳ３１５で算出した回転補正量と、ステップＳ３１６で算出した通電ＯＦＦを判定するための閾値を比較し、いずれかの回転補正量が所定時間閾値未満の場合は、その軸の回転機構の通電をＯＦＦし、ステップＳ３１８へ進む。

【0172】

ステップＳ３１８でパン・チルトそれぞれの駆動角度に応じて、鏡筒回転駆動部２１２によって、チルト回転ユニット１０４、パン回転ユニット１０５をそれぞれ駆動制御し、ステップＳ３１９に進む。

【0173】

ステップＳ３１９では、操作部２１１の操作による手動による撮影指示があったか否かを判定する。撮影指示があった場合、ステップＳ３２２に進み、撮影を開始して静止画像の取得を行い、撮影画像を画像記録部２０７に記録する。ステップＳ３１９で、手動撮影指示がなかった場合、ステップＳ３２０に進み、自動撮影判定処理を行う。

【0174】

ステップＳ３２０の自動撮影判定では、Ｓ３１６までで得られた被写体重要度レベルが所定値を超えている場合、自動的に撮影動作ＯＮと判定される。または、被写体重要度レベルが所定値を超えていない場合でも、検出した顔の笑顔度合から自動撮影判定を行ったり、検出した複数顔の距離の近さから自動撮影判定を行ったり、過去に撮影していない物体（例えば、犬や猫など）やシーン（例えば、青空や夕景や夜景や自然の緑など）を検出したら自動撮影判定を行ったりする。ステップＳ３２０で自動撮影判定が行われると、ステップＳ３２１に進む。

【0175】

ステップＳ３２１で自動撮影判定結果が自動撮影ＯＮだった場合、ステップＳ３２２に進み、静止画撮影が行われる。ステップＳ３２１で自動撮影ＯＦＦだった場合、ステップＳ３０２に戻り、自動被写体探索、自動撮影処理を繰り返す。

【0176】

ステップＳ３２２で静止画撮影が行われた場合、ステップＳ３２３に進む。そして、ステップＳ３１０で撮影された時点の被写体情報により、過去の重要被写体の撮影枚数情報や単位時間当たりの撮影枚数と目標撮影枚数とから算出したスケジュール消化率などの過去撮影情報の管理が行われる。動画の撮影を行う場合においても同様の方法で、過去撮影情報の管理が行われる。動画の場合は、動画撮影中の被写体検出などの撮影情報から、過去撮影情報の管理が行われる。

【0177】

ステップＳ３２３で過去撮影情報が更新されると、ステップＳ３０２に戻り、自動被写体探索、自動撮影処理を繰り返す。

【0178】

以上説明したように、上記の実施形態によれば、像ブレ補正駆動が必要でない場合は、適切に像ブレ補正動作をオフすることができ、自動撮影を長時間使用できる撮像装置を提供することが可能となる。

【0179】

（他の実施形態）
また本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読み出し実行する処理でも実現できる。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現できる。

【0180】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0181】

１０１：撮像装置、１０２:鏡筒、１０３：固定部、１０４：チルト回転ユニット、１０５：パン回転ユニット、１０６：角速度計、１０７：加速度計、２０１：ズームユニット、２０２；ズーム駆動制御部、２０３：フォーカスユニット、２０４：フォーカス駆動制御部、２０５：撮像部、２０６：画像処理部、２０８：装置揺れ検出部、２０９：装置移動検出部、２１０：音声入力部、２１１：操作部、２１２：制御部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】