知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-02
(45)【発行日】2024-07-10
(54)【発明の名称】撮像装置および撮像方法
(51)【国際特許分類】
G03B 5/00 20210101AFI20240703BHJP
G03B 15/00 20210101ALI20240703BHJP
G02B 7/04 20210101ALI20240703BHJP
H04N 23/69 20230101ALI20240703BHJP
H04N 23/695 20230101ALI20240703BHJP
【ＦＩ】
G03B5/00 L
G03B15/00 Q
G03B5/00 J
G03B15/00 S
G02B7/04 E
H04N23/69
H04N23/695
【請求項の数】
9
(21)【出願番号】P 2019236745
(22)【出願日】2019-12-26
(65)【公開番号】P2021105657
(43)【公開日】2021-07-26
【審査請求日】2022-12-08
(73)【特許権者】
【識別番号】000001007
【氏名又は名称】キヤノン株式会社
(74)【代理人】
【識別番号】100126240
【弁理士】
【氏名又は名称】阿部 琢磨
(74)【代理人】
【識別番号】100223941
【弁理士】
【氏名又は名称】高橋 佳子
(74)【代理人】
【識別番号】100159695
【弁理士】
【氏名又は名称】中辻 七朗
(74)【代理人】
【識別番号】100172476
【弁理士】
【氏名又は名称】冨田 一史
(74)【代理人】
【識別番号】100126974
【弁理士】
【氏名又は名称】大朋 靖尚
(72)【発明者】
【氏名】芦谷 智史
【審査官】岡田 弘
(56)【参考文献】
【文献】特開２０１５－１３０６１２（ＪＰ，Ａ）
【文献】特開２０１８－１８９７３０（ＪＰ，Ａ）
【文献】特開２０１５－２０１７１１（ＪＰ，Ａ）
【文献】特開２０１９－２１２９６８（ＪＰ，Ａ）
【文献】特開２０１７－０６９８８４（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０３Ｂ ５／００－５／０８
Ｇ０３Ｂ １５／００－１５／０３５
Ｇ０３Ｂ １５／０６－１５／１６
Ｇ０２Ｂ ７／０２－７／１６
Ｈ０４Ｎ ５／２２２－５／２５７
Ｈ０４Ｎ ２３／００
Ｈ０４Ｎ ２３／４０－２３／７６
Ｈ０４Ｎ ２３／９０－２３／９５９
(57)【特許請求の範囲】
【請求項1】
被写体を撮像する撮像手段と、前記撮像手段の画角を変更するズーム駆動手段と、
前記撮像手段をパン方向およびチルト方向に回転させるパンチルト駆動手段と、
前記撮像手段で撮像された撮像画像から前記被写体を検出する被写体検出手段と、
前記被写体検出手段の検出結果に基づいて、前記被写体を追尾するための前記撮像手段の画角である追尾画角を算出する追尾手段と、
前記撮像手段の振れを検出する振れ検出手段と、
前記振れ検出手段の検出結果に基づいて、前記パンチルト駆動手段を制御して振れを補正する振れ補正手段と、
前記振れ補正手段による振れ補正後に残存する振れ残り角度を算出する算出手段と、
を有し、
前記追尾手段は、前記算出手段によって算出された前記振れ残り角度に基づいて、前記追尾画角に対する閾値である撮像画角限度を算出し、
前記ズーム駆動手段は、
前記追尾画角が前記撮像画角限度を超える場合、前記撮像手段の画角を前記撮像画角限度に変更し、
前記追尾画角が前記撮像画角限度以下の場合、前記撮像手段の画角を前記追尾画角とし、
前記振れ補正後に振れ残りが発生している振れ残り発生時間に基づいて、前記撮像手段の画角を変更することを特徴とする撮像装置。
【請求項2】
前記ズーム駆動手段は、前記振れ残りの発生時間が発生時間閾値を超え、かつ、前記追尾画角が前記撮像画角限度を超える場合、前記撮像手段の画角を前記撮像画角限度に変更することを特徴とする請求項１に記載の撮像装置。
【請求項3】
前記ズーム駆動手段は、前記振れ補正により振れ残りが解消されるのに要する時間に基づいて、前記撮像手段の画角を決定することを特徴とする請求項１に記載の撮像装置。
【請求項4】
前記ズーム駆動手段は、前記振れ残りが解消されるのに要する時間が解消時間閾値を超えることなく、かつ、前記追尾画角が前記撮像画角限度を超える場合、前記撮像手段の画角を前記撮像画角限度に変更することを特徴とする請求項３に記載の撮像装置。
【請求項5】
前記ズーム駆動手段は、過去の振れ残り時間に基づいて前記発生時間閾値を決定することを特徴とする請求項２に記載の撮像装置。
【請求項6】
前記ズーム駆動手段は、過去の振れ残り時間に基づいて前記解消時間閾値を決定することを特徴とする請求項４に記載の撮像装置。
【請求項7】
前記ズーム駆動手段は、前記追尾画角が前記撮像画角限度を超える場合、前記撮像手段の画角を前記撮像画角限度に変更しし、電子ズーム制御により前記追尾画角と一致させるように電子ズーム制御することを特徴とする請求項１に記載の撮像装置。
【請求項8】
撮像部の画角を変更するステップと、前記撮像部をパン方向およびチルト方向に回転させるステップと、
前記撮像部の振れを検出するステップと、
前記振れを検出するステップの検出結果に基づいて、前記撮像部のパン方向およびチルト方向を制御して振れを補正するステップと、
前記撮像部が撮像した撮像画像から被写体を検出するステップと、
前記被写体を検出するステップの検出結果に基づいてパン方向およびチルト方向を制御して追尾対象の被写体を追尾するための前記撮像部の画角である追尾画角を算出するステップと、
振れを補正するステップにおける触れ補正後に残存する振れ残り角度を算出するステップと、
前記振れ残り角度に基づいて、前記追尾画角に対する閾値である撮像画角限度を算出するステップと、を有し、
前記画角を変更するステップにおいては、
前記追尾画角が前記撮像画角限度を超える場合、前記撮像部の画角を前記撮像画角限度に変更し、
前記追尾画角が前記撮像画角限度以下の場合、前記撮像部の画角を前記追尾画角とし、
前記振れ補正後に振れ残りが発生している振れ残り発生時間に基づいて、前記撮像部の画角を変更する
ことを特徴とする撮像方法。
【請求項9】
コンピュータを、請求項１から７のいずれか１項に記載の撮像装置の各手段として機能させるためのプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、撮像装置および撮像方法に関する。
【背景技術】
【0002】
従来より、振れ量を検出し、振れが許容できる限界値以下になるように、光学ズームまたはデジタルズームの倍率を変更する技術が知られている（たとえば、特許文献１参照）。
【先行技術文献】
【特許文献】
【0003】
【文献】特開２００６－２６７２１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明が解決しようとする課題は、振れ補正機能を備えた撮像装置において、被写体のフレームアウトを抑制することである。
【課題を解決するための手段】
【0005】
上記目的を達成するために、本発明の１つの態様による撮像装置は、被写体を撮像する撮像手段と、前記撮像手段の画角を変更するズーム駆動手段と、前記撮像手段をパン方向およびチルト方向に回転させるパンチルト駆動手段と、前記撮像手段の振れを検出する振れ検出手段と、前記振れ検出手段の検出結果に基づいて、前記パンチルト駆動手段を制御して振れを補正する振れ補正手段と、前記振れ補正手段による振れ補正後に残存する振れ残り角度を算出する算出手段と、を有し、前記ズーム駆動手段は、前記算出手段が算出した振れ残り角度に基づいて、前記撮像手段の画角を変更する。
【図面の簡単な説明】
【0006】
【図1】本発明の第１実施形態に係る撮像装置の構成を示すブロック図。
【図2】パンチルト駆動について説明する図。
【図3】防振制御中のカメラヘッドの動きを示す図。
【図4】防振制御処理を示すフローチャート。
【図6】被写体検出処理を示すフローチャート。
【図7】被写体検出処理における被写体の位置と大きさの計算方法を説明する図。
【図8】第１実施形態での自動追尾における画角決定処理を示すフローチャート。
【図9】第１実施形態での自動追尾における画角計算方法について説明する図。
【図10】第１実施形態での振れ残り発生時の撮像画角限度について説明する図。
【図11】第２実施形態での自動追尾における画角決定処理を示すフローチャート。
【図12】第２実施形態での振れ残り角度とズーム制御の関係を示すタイミングチャート。
【図13】第３実施形態での自動追尾における画角決定処理を示すフローチャート。
【図14】第３実施形態での自動追尾における画角計算方法について説明する図。
【発明を実施するための形態】
【0007】
以下、本発明の実施形態を、図面を参照して詳細に説明する。なお、以下の実施形態は本発明を限定するものではなく、また、本実施形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。実施形態の構成は、本発明が適用される装置の仕様や各種条件（使用条件、使用環境等）によって適宜修正又は変更され得る。本発明の技術的範囲は、特許請求の範囲によって確定されるのであって、以下の個別の実施形態によって限定されない。また、後述する各実施形態の一部を適宜組み合わせて構成してもよい。
【0008】
【0009】
＜撮像装置の構成＞
撮像装置１０００は、ネットワーク３０００を介して不図示のクライアント装置（情報処理装置）と接続されており、撮像装置１０００とクライアント装置は相互に通信可能である。撮像装置１０００は、撮像部１００１と、画像処理部１００２と、ズーム駆動部１００３と、パン駆動部１００４と、チルト駆動部１００５と、振れ検出部１００６と、システム制御部１００７と、通信部１００８とを有する。本実施形態では、撮像装置本体とレンズが一体となった撮像装置について説明するが、レンズ交換式であってもよい。
撮像装置１０００は、ネットワーク３０００を介して不図示のクライアント装置（情報処理装置）と接続されており、撮像装置１０００とクライアント装置は相互に通信可能である。撮像装置１０００は、撮像部１００１と、画像処理部１００２と、ズーム駆動部１００３と、パン駆動部１００４と、チルト駆動部１００５と、振れ検出部１００６と、システム制御部１００７と、通信部１００８とを有する。本実施形態では、撮像装置本体とレンズが一体となった撮像装置について説明するが、レンズ交換式であってもよい。
【0010】
撮像部１００１は、被写体を撮像する。撮像部１００１は、レンズ、撮像素子およびその制御回路部を有し、レンズの撮像光学系により結像される被写体からの光を受光し、光電変換によって被写体の光像を電気信号へ変換する。
画像処理部１００２は、撮像部１００１が光電変換した信号を取得し、現像処理や圧縮・符号化処理等を施した画像データを生成する。画像処理部１００２は、生成された画像データをシステム制御部１００７へ送信する。また、画像処理部１００２は、画像認識処理により撮像画像内の追尾対象となる被写体を検出する。画像処理部１００２は、当該検出結果をシステム制御部１００７に送信する。
画像処理部１００２は、撮像部１００１が光電変換した信号を取得し、現像処理や圧縮・符号化処理等を施した画像データを生成する。画像処理部１００２は、生成された画像データをシステム制御部１００７へ送信する。また、画像処理部１００２は、画像認識処理により撮像画像内の追尾対象となる被写体を検出する。画像処理部１００２は、当該検出結果をシステム制御部１００７に送信する。
【0011】
撮像装置１０００は、撮像部１００１の撮像画角を変更するためのズーム駆動部１００３を有する。ズーム駆動部１００３は、光学ズームレンズ機構部（図示せず）と、そのアクチュエータであるステッピングモータ等の電動モータ（図示せず）とを有する。
また、撮像装置１０００は、撮像部１００１の撮像方向を変更する複数の駆動部を有する。本実施形態では、撮像装置１０００が、第１の駆動部としてパンニング（以下、「パン」と称する場合もある）動作を行うパン駆動部１００４と、第２の駆動部としてチルティング（以下、「チルト」と称する場合もある）動作を行うチルト駆動部１００５とを有する例を説明する。
パン駆動部１００４は、パン動作を行う機構部（図示せず）と、アクチュエータであるステッピングモータ等の電動モータ（図示せず）と、パン角度を検出するエンコーダ（図示せず）とを有する。
チルト駆動部１００５は、チルト動作を行う機構部（図示せず）と、アクチュエータであるステッピングモータ等の電動モータ（図示せず）と、チルト角度を検出するエンコーダ（図示せず）とを有する。なお、以下の記載において、パン駆動部１００４とチルト駆動部１００５を合わせてパンチルト駆動部と称する場合もある。
また、撮像装置１０００は、撮像部１００１の撮像方向を変更する複数の駆動部を有する。本実施形態では、撮像装置１０００が、第１の駆動部としてパンニング（以下、「パン」と称する場合もある）動作を行うパン駆動部１００４と、第２の駆動部としてチルティング（以下、「チルト」と称する場合もある）動作を行うチルト駆動部１００５とを有する例を説明する。
パン駆動部１００４は、パン動作を行う機構部（図示せず）と、アクチュエータであるステッピングモータ等の電動モータ（図示せず）と、パン角度を検出するエンコーダ（図示せず）とを有する。
チルト駆動部１００５は、チルト動作を行う機構部（図示せず）と、アクチュエータであるステッピングモータ等の電動モータ（図示せず）と、チルト角度を検出するエンコーダ（図示せず）とを有する。なお、以下の記載において、パン駆動部１００４とチルト駆動部１００５を合わせてパンチルト駆動部と称する場合もある。
【0012】
振れ検出部１００６は、例えば、ジャイロセンサや加速度センサ等（図示せず）を有し、撮像装置１０００のパン方向およびチルト方向それぞれの振動を検出する。振れ検出部１００６は、検出結果をシステム制御部１００７に出力する。
【0013】
システム制御部１００７は、ＣＰＵ（中央演算処理装置：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有し、撮像装置１０００全体の制御を行う。システム制御部１００７は、通信部１００８を介して、画像データ等を不図示のクライアント装置に配信する。また、システム制御部１００７は、通信部１００８を介してクライアント装置から送信されるカメラ制御コマンドを受信し、受信したカメラ制御コマンドを解析し、カメラ制御コマンドに応じた処理を実行する。そして、システム制御部１００７は、カメラ制御コマンドに対するレスポンスをクライアント装置へ送信する。例えば、システム制御部１００７は、クライアント装置から受信した画質調整コマンドの指示に基づいて画像処理部１００２を制御する。また、システム制御部１００７は、クライアント装置から受信したＰＴＺコマンドの指示に基づいて、パン駆動部１００４、チルト駆動部１００５およびズーム駆動部１００３を制御する。
【0014】
また、システム制御部１００７は、振れ検出部１００６から取得した検出結果に基づいて、撮像装置１０００に加わる振動に対して、パン駆動部１００４およびチルト駆動部１００５を制御し、撮像装置１０００の振れを補正するＰＴ防振の制御を行う。
防振制御には、画像処理による補正を用いた電子防振方式や、レンズ駆動等により光学的に補正を行う光学防振方式、上述のようにパン駆動部１００４およびチルト駆動部１００５を制御して防振を実現するＰＴ防振と呼ばれる手法などがある。ＰＴ防振は、振幅の大きい振れに対しても補正可能であり、船上等大きな振れが発生する設置環境において特に有効である。なお、本明細書に記載された防振という用語は、振れや振れ等の物理的な振動自体を抑制することを意味するものではなく、振れや振れ等に伴う画像の像ブレを補正することを意味する。
また、システム制御部１００７は、画像処理部１００２から取得した被写体の検出結果に基づいて、被写体を追いかけるようにパン駆動部１００４、チルト駆動部１００５およびズーム駆動部１００３を制御する自動追尾の制御を行う。すなわち、自動追尾制御では、被写体が常に画面中心の位置になるようにパンチルト制御を行い、当該被写体が撮像画角内の所定サイズで写るようにズーム制御を行う。
防振制御には、画像処理による補正を用いた電子防振方式や、レンズ駆動等により光学的に補正を行う光学防振方式、上述のようにパン駆動部１００４およびチルト駆動部１００５を制御して防振を実現するＰＴ防振と呼ばれる手法などがある。ＰＴ防振は、振幅の大きい振れに対しても補正可能であり、船上等大きな振れが発生する設置環境において特に有効である。なお、本明細書に記載された防振という用語は、振れや振れ等の物理的な振動自体を抑制することを意味するものではなく、振れや振れ等に伴う画像の像ブレを補正することを意味する。
また、システム制御部１００７は、画像処理部１００２から取得した被写体の検出結果に基づいて、被写体を追いかけるようにパン駆動部１００４、チルト駆動部１００５およびズーム駆動部１００３を制御する自動追尾の制御を行う。すなわち、自動追尾制御では、被写体が常に画面中心の位置になるようにパンチルト制御を行い、当該被写体が撮像画角内の所定サイズで写るようにズーム制御を行う。
【0015】
＜パンチルト駆動＞
次に、図２を参照してパンチルト駆動について説明する。図２（ａ）は、撮像装置１０００を上面から見た図であり、図２（ｂ）は撮像装置１０００を側面から見た図である。撮像装置１０００は、ベース（基台）部であるボトムケース１１０１と、ターンテーブル１１０２と、カメラヘッド支柱１１０３と、カメラヘッド１１０４とを有する。
図２を参照して、図１に示すパン駆動部１００４およびチルト駆動部１００５と各部との関係について説明する。パン駆動部１００４は、ボトムケース１１０１とターンテーブル１１０２で構成される。ターンテーブル１１０２が鉛直軸を中心軸として回転することにより、パンニング方向の駆動が行われる。本実施形態のパン駆動部１００４は、図２（ａ）に示すように、パンニング方向に－１７５度から＋１７５度まで回転することができる。なお、以下の記載において、ボトムケース１１０１の下面（底面）１１０１ａを接地面と称する。
次に、図２を参照してパンチルト駆動について説明する。図２（ａ）は、撮像装置１０００を上面から見た図であり、図２（ｂ）は撮像装置１０００を側面から見た図である。撮像装置１０００は、ベース（基台）部であるボトムケース１１０１と、ターンテーブル１１０２と、カメラヘッド支柱１１０３と、カメラヘッド１１０４とを有する。
図２を参照して、図１に示すパン駆動部１００４およびチルト駆動部１００５と各部との関係について説明する。パン駆動部１００４は、ボトムケース１１０１とターンテーブル１１０２で構成される。ターンテーブル１１０２が鉛直軸を中心軸として回転することにより、パンニング方向の駆動が行われる。本実施形態のパン駆動部１００４は、図２（ａ）に示すように、パンニング方向に－１７５度から＋１７５度まで回転することができる。なお、以下の記載において、ボトムケース１１０１の下面（底面）１１０１ａを接地面と称する。
【0016】
チルト駆動部１００５は、ターンテーブル１１０２上のカメラヘッド支柱１１０３とカメラヘッド１１０４で構成される。カメラヘッド１１０４が鉛直軸に直交する軸（図２（ｂ）の紙面に垂直な軸）を中心軸として回転することにより、チルティング方向の駆動が行われる。本実施形態のチルト駆動部１００５は、パンニング方向を０度として斜め下方向－４５°から真上方向＋９０度まで回転することができる。
このように本実施形態の撮像装置１０００は、カメラヘッド１１０４をパンニング方向およびチルティング方向に回転することで撮影方向を変えて撮影することができる。また、パン駆動部１００４およびチルト駆動部１００５を用いて、振れ検出部１００６で検出した振れをキャンセルするようにカメラヘッド１１０４を駆動することで、振れを低減した画像を撮影することができる。なお、本実施形態のパンニング方向およびチルティング方向の駆動範囲は一例であり、上記した駆動範囲に限られるものではない。
このように本実施形態の撮像装置１０００は、カメラヘッド１１０４をパンニング方向およびチルティング方向に回転することで撮影方向を変えて撮影することができる。また、パン駆動部１００４およびチルト駆動部１００５を用いて、振れ検出部１００６で検出した振れをキャンセルするようにカメラヘッド１１０４を駆動することで、振れを低減した画像を撮影することができる。なお、本実施形態のパンニング方向およびチルティング方向の駆動範囲は一例であり、上記した駆動範囲に限られるものではない。
【0017】
＜ＰＴ防振制御中のカメラヘッドの動き＞
次に、図３を参照してＰＴ防振制御中のカメラヘッド１１０４の動きを説明する。図３において、直線の矢印２００１は、撮像装置１０００の撮影方向を示す。カメラヘッド１１０４Ａは、振れがない状態のカメラヘッド１１０４の状態を示す。カメラヘッド１１０４Ｂは、振れにより接地面１１０１ａが前方に傾いた場合にチルト補正をしたカメラヘッド１１０４の状態を示す。カメラヘッド１１０４Ｃは、振れにより接地面１１０１ａが後方に傾いた場合にチルト補正をしたカメラヘッド１１０４の状態を示す。
振れがない状態では、カメラヘッド１１０４Ａは水平方向を向き、矢印２００１で示す撮影方向を撮影している。撮像装置１０００が接地面の振れにより前方に傾いた場合には、カメラヘッド１１０４Ｂで示すように、チルト角度を上方向に制御することで、矢印２００１で示す撮影方向を維持する。撮像装置１０００が接地面の振れにより後方に傾いた場合には、カメラヘッド１１０４Ｃで示すように、チルト角度を下方向に制御することで、矢印２００１で示す撮影方向を維持する。
このようにＰＴ防振制御では、接地面の振れによる撮像装置１０００の傾きを振れ検出部１００６で検出し、撮影方向を維持するようにパン駆動部１００４およびチルト駆動部１００５を制御することで、振れを低減した画像撮影する。
次に、図３を参照してＰＴ防振制御中のカメラヘッド１１０４の動きを説明する。図３において、直線の矢印２００１は、撮像装置１０００の撮影方向を示す。カメラヘッド１１０４Ａは、振れがない状態のカメラヘッド１１０４の状態を示す。カメラヘッド１１０４Ｂは、振れにより接地面１１０１ａが前方に傾いた場合にチルト補正をしたカメラヘッド１１０４の状態を示す。カメラヘッド１１０４Ｃは、振れにより接地面１１０１ａが後方に傾いた場合にチルト補正をしたカメラヘッド１１０４の状態を示す。
振れがない状態では、カメラヘッド１１０４Ａは水平方向を向き、矢印２００１で示す撮影方向を撮影している。撮像装置１０００が接地面の振れにより前方に傾いた場合には、カメラヘッド１１０４Ｂで示すように、チルト角度を上方向に制御することで、矢印２００１で示す撮影方向を維持する。撮像装置１０００が接地面の振れにより後方に傾いた場合には、カメラヘッド１１０４Ｃで示すように、チルト角度を下方向に制御することで、矢印２００１で示す撮影方向を維持する。
このようにＰＴ防振制御では、接地面の振れによる撮像装置１０００の傾きを振れ検出部１００６で検出し、撮影方向を維持するようにパン駆動部１００４およびチルト駆動部１００５を制御することで、振れを低減した画像撮影する。
【0018】
＜像ブレ補正処理＞
次に、図４のフローチャートを参照してパンチルト駆動部による像ブレ補正処理（ＰＴ防振処理）を説明する。なお、ＳはＳｔｅｐの略である。
図４のフローチャート（ＰＴ防振処理）は、撮像装置１０００における撮影開始と同時に開始される。
Ｓ１００１において、システム制御部１００７は、振れ検出部１００６で検出したパン方向の角速度およびチルト方向の角速度を取得する。
Ｓ１００２において、システム制御部１００７は、Ｓ１００１で取得した角速度を角度値に変換する角度変換処理を行う。システム制御部１００７は、取得したパン方向の角速度を時間積分してパン振れ角度値を算出すると共に、取得したチルト方向の角速度を時間積分してチルト振れ角度値を算出する。
次に、図４のフローチャートを参照してパンチルト駆動部による像ブレ補正処理（ＰＴ防振処理）を説明する。なお、ＳはＳｔｅｐの略である。
図４のフローチャート（ＰＴ防振処理）は、撮像装置１０００における撮影開始と同時に開始される。
Ｓ１００１において、システム制御部１００７は、振れ検出部１００６で検出したパン方向の角速度およびチルト方向の角速度を取得する。
Ｓ１００２において、システム制御部１００７は、Ｓ１００１で取得した角速度を角度値に変換する角度変換処理を行う。システム制御部１００７は、取得したパン方向の角速度を時間積分してパン振れ角度値を算出すると共に、取得したチルト方向の角速度を時間積分してチルト振れ角度値を算出する。
【0019】
Ｓ１００３において、システム制御部１００７は、Ｓ１００２において算出した振れ角度値から振れ補正角度を算出するための振れ補正角度算出処理を行う。システム制御部１００７は、算出したパン振れ角度値からパン方向の振れ補正角度を算出すると共に、算出したチルト振れ角度値からチルト方向の振れ補正角度を算出する。システム制御部１００７は、振れにより発生した角度分をキャンセルするよう振れ補正角度を算出する。例えば、パン振れ角度値０．１度の場合、パン方向の振れ補正角度は－０．１度とする。
Ｓ１００４において、システム制御部１００７は、Ｓ１００３で算出したパン方向およびチルト方向の補正角度に応じて、パン駆動部１００４およびチルト駆動部１００５に駆動指示を行う。
このように本実施形態のＰＴ防振処理では、検出したパン方向およびチルト方向それぞれの振れに応じて、振れをキャンセルするようにパンチルト駆動部１００４を制御し振れを補正する。
Ｓ１００４において、システム制御部１００７は、Ｓ１００３で算出したパン方向およびチルト方向の補正角度に応じて、パン駆動部１００４およびチルト駆動部１００５に駆動指示を行う。
このように本実施形態のＰＴ防振処理では、検出したパン方向およびチルト方向それぞれの振れに応じて、振れをキャンセルするようにパンチルト駆動部１００４を制御し振れを補正する。
【0020】
＜撮像装置のハードウェア構成＞
次に、撮像装置の１０００のハードウェア構成について説明する。
図５は、撮像装置１０００のハードウェア構成を示している。撮像装置１０００は、ＣＰＵ１５１と、ＲＯＭ１５２と、ＲＡＭ１５３と、通信部１５４と、撮像デバイス１５５と、入力部１５６と、外部メモリ１５７とを有する。撮像装置１０００の各部（１５１～１５７）はバス１５８により相互に接続されている。
ＣＰＵ１５１は、撮像装置１０００を統括制御する制御装置である。ＣＰＵ１５１は、各構成部（１５２～１５７）を制御する。
ＲＯＭ１５２は、ＣＰＵ１５１が処理を実行するために必要なプログラム等を記憶する。ＣＰＵ１５１が、ＲＯＭ１５２に記憶されたプログラムに基づき処理を実行することにより、撮像装置１０００の上述した機能構成や処理ステップ（図４、図６、図８、図１１、図１３）等が実現される。なお、当該プログラム等は、外部メモリ１５７や着脱可能な記憶媒体（図示せず）に記憶されてもよい。
ＲＡＭ１５３は、ＣＰＵ１５１がＲＯＭ１５２から読み出したプログラムを展開し、処理を実行するためのメモリである。また、ＲＡＭ１５３は、一時記憶メモリとして各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。
次に、撮像装置の１０００のハードウェア構成について説明する。
図５は、撮像装置１０００のハードウェア構成を示している。撮像装置１０００は、ＣＰＵ１５１と、ＲＯＭ１５２と、ＲＡＭ１５３と、通信部１５４と、撮像デバイス１５５と、入力部１５６と、外部メモリ１５７とを有する。撮像装置１０００の各部（１５１～１５７）はバス１５８により相互に接続されている。
ＣＰＵ１５１は、撮像装置１０００を統括制御する制御装置である。ＣＰＵ１５１は、各構成部（１５２～１５７）を制御する。
ＲＯＭ１５２は、ＣＰＵ１５１が処理を実行するために必要なプログラム等を記憶する。ＣＰＵ１５１が、ＲＯＭ１５２に記憶されたプログラムに基づき処理を実行することにより、撮像装置１０００の上述した機能構成や処理ステップ（図４、図６、図８、図１１、図１３）等が実現される。なお、当該プログラム等は、外部メモリ１５７や着脱可能な記憶媒体（図示せず）に記憶されてもよい。
ＲＡＭ１５３は、ＣＰＵ１５１がＲＯＭ１５２から読み出したプログラムを展開し、処理を実行するためのメモリである。また、ＲＡＭ１５３は、一時記憶メモリとして各種処理の対象となるデータを一時記憶するための記憶領域としても使用される。
【0021】
通信部１５４は、ネットワーク３０００を介してクライアント装置と通信を行う回路である。例えば、通信部１５４は、外部へ撮影画像や情報を送信する際に使用される。通信部１５４は、例えば、無線ＬＡＮインタフェースである。
撮像デバイス１５５は、被写体を動画および静止画として撮影する画像センサを有するデバイスである。撮像デバイス１５５は、画角や撮影方向等の撮影条件を調整することができる。また、撮像デバイス１５５は、パン、チルトおよびズーム機構を有し、ＣＰＵ１５１の制御によって、パン、チルトおよびズーム（望遠制御／広角制御）動作を実行する。
撮像デバイス１５５は、レンズ等の光学系の部材や、ＣＭＯＳイメージセンサやＣＣＤイメージセンサを有しており、被写体を撮影して、映像を取得する。撮像デバイス１５５は、例えば、１秒間に３０フレーム分の画像を取得して、３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の動画像を取得することができる。本実施形態では、撮像デバイス１５５（撮像部１００１）は、撮像デバイス１５５から取得したビデオ画像をＨ．２６４等のネットワーク配信可能なデジタル画像データに変換する（符号化する）機能も備えている。
撮像デバイス１５５は、被写体を動画および静止画として撮影する画像センサを有するデバイスである。撮像デバイス１５５は、画角や撮影方向等の撮影条件を調整することができる。また、撮像デバイス１５５は、パン、チルトおよびズーム機構を有し、ＣＰＵ１５１の制御によって、パン、チルトおよびズーム（望遠制御／広角制御）動作を実行する。
撮像デバイス１５５は、レンズ等の光学系の部材や、ＣＭＯＳイメージセンサやＣＣＤイメージセンサを有しており、被写体を撮影して、映像を取得する。撮像デバイス１５５は、例えば、１秒間に３０フレーム分の画像を取得して、３０ｆｐｓ（ｆｒａｍｅ ｐｅｒ ｓｅｃｏｎｄ）の動画像を取得することができる。本実施形態では、撮像デバイス１５５（撮像部１００１）は、撮像デバイス１５５から取得したビデオ画像をＨ．２６４等のネットワーク配信可能なデジタル画像データに変換する（符号化する）機能も備えている。
【0022】
入力部１５６は、電源ボタンやテンキーなどから構成される。撮像装置１０００のユーザは、入力部１５６を介して撮像装置１０００に指示を与えることができる。入力部１５６は、ユーザインタフェースと称されることもある。例えば、撮像装置１０００のユーザは、入力部１５６を介して撮像装置１０００の位置情報をＲＯＭ１５２または外部メモリ（図示せず）に入力することができる。
外部メモリは、例えば、ＣＰＵ１５１がプログラムを用いた処理を実行する際に必要な各種データや情報などを記憶する。また、外部メモリには、ＣＰＵ１５１がプログラムを用いた処理を実行することにより得られた各種データや情報などが記憶される。
外部メモリは、例えば、ＣＰＵ１５１がプログラムを用いた処理を実行する際に必要な各種データや情報などを記憶する。また、外部メモリには、ＣＰＵ１５１がプログラムを用いた処理を実行することにより得られた各種データや情報などが記憶される。
【0023】
＜被写体検出処理＞
次に、図６のフローチャートを参照して自動追尾における被写体検出処理を説明する。
図６のフローチャート（被写体検出処理）は、撮像装置１０００における自動追尾の開始と同時に開始される。
Ｓ２００１において、画像処理部１００２は、追尾対象の被写体を検出する。被写体の検出には、例えば、フレーム間差分を用いる。フレーム間差分では、撮像画像の連続するフレーム間の差分を抽出して動体を検出する。なお、被写体の検出の手法はフレーム間差分に限定されない。例えば、一定期間取得した撮像画像中の静止箇所を抽出した背景画像を生成し、当該背景画像と現在画像との差分を抽出することにより動体を検出する背景差分方式を用いてもよい。また、予め追尾対象となる被写体（例えば、船舶等）が撮影された一定量のデータから追尾対象となる被写体の特徴を捉え学習し、その学習データを基に撮像画像中の被写体を検出する機械学習方式を用いてもよい。
次に、図６のフローチャートを参照して自動追尾における被写体検出処理を説明する。
図６のフローチャート（被写体検出処理）は、撮像装置１０００における自動追尾の開始と同時に開始される。
Ｓ２００１において、画像処理部１００２は、追尾対象の被写体を検出する。被写体の検出には、例えば、フレーム間差分を用いる。フレーム間差分では、撮像画像の連続するフレーム間の差分を抽出して動体を検出する。なお、被写体の検出の手法はフレーム間差分に限定されない。例えば、一定期間取得した撮像画像中の静止箇所を抽出した背景画像を生成し、当該背景画像と現在画像との差分を抽出することにより動体を検出する背景差分方式を用いてもよい。また、予め追尾対象となる被写体（例えば、船舶等）が撮影された一定量のデータから追尾対象となる被写体の特徴を捉え学習し、その学習データを基に撮像画像中の被写体を検出する機械学習方式を用いてもよい。
【0024】
Ｓ２００２において、画像処理部１００２は、追尾対象の被写体の位置と大きさを算出する。
ここで、図７を参照して被写体検出処理における被写体の位置と大きさの計算方法を説明する。図７において、符号３００１Ａは撮像画角を示し、符号３００２Ａは追尾対象の被写体を示している。また、Ｘ１は被写体領域の水平方向左側座標を示し、Ｘ２は被写体領域の水平方向右側座標を示し、Ｙ１は被写体領域の垂直方向上側座標を示し、Ｙ２は被写体領域の垂直方向下側座標を示す。また、Ｘ３は被写体中心水平座標を示し、Ｙ３は被写体中心垂直座標を示し、Ｙ４は被写体の垂直方向の大きさを示す。
例えば、撮像解像度が水平方向１９２０ピクセル、垂直方向１０８０ピクセルとし、撮像画像における位置を、水平方向と垂直方向の２次元座標で表し、左上端点を原点、つまり０位置とする。かかる前提の下、Ｓ２００１において検出した被写体が、水平方向についてはＸ１の１２８０ピクセルからＸ２の１６００ピクセルまで、垂直方向についてはＹ１の５９２ピクセルからＹ２の７２８ピクセルまでで囲まれた矩形領域に存在したとする。このとき、検出被写体の中心座標水平方向Ｘ３は、１２８０＋（１６００－１２８０）／２＝１４４０ピクセルとなる。検出被写体の中心座標垂直方向Ｙ３は、５９２＋（７２８－５９２）／２＝６６０ピクセルとなる。また検出被写体の垂直方向の大きさＹ４は、７２８－５９２＝１３６ピクセルとなる。画像処理部１００２は、このように検出した被写体の中心座標および垂直方向の大きさを求め、システム制御部１００３に出力する。
ここで、図７を参照して被写体検出処理における被写体の位置と大きさの計算方法を説明する。図７において、符号３００１Ａは撮像画角を示し、符号３００２Ａは追尾対象の被写体を示している。また、Ｘ１は被写体領域の水平方向左側座標を示し、Ｘ２は被写体領域の水平方向右側座標を示し、Ｙ１は被写体領域の垂直方向上側座標を示し、Ｙ２は被写体領域の垂直方向下側座標を示す。また、Ｘ３は被写体中心水平座標を示し、Ｙ３は被写体中心垂直座標を示し、Ｙ４は被写体の垂直方向の大きさを示す。
例えば、撮像解像度が水平方向１９２０ピクセル、垂直方向１０８０ピクセルとし、撮像画像における位置を、水平方向と垂直方向の２次元座標で表し、左上端点を原点、つまり０位置とする。かかる前提の下、Ｓ２００１において検出した被写体が、水平方向についてはＸ１の１２８０ピクセルからＸ２の１６００ピクセルまで、垂直方向についてはＹ１の５９２ピクセルからＹ２の７２８ピクセルまでで囲まれた矩形領域に存在したとする。このとき、検出被写体の中心座標水平方向Ｘ３は、１２８０＋（１６００－１２８０）／２＝１４４０ピクセルとなる。検出被写体の中心座標垂直方向Ｙ３は、５９２＋（７２８－５９２）／２＝６６０ピクセルとなる。また検出被写体の垂直方向の大きさＹ４は、７２８－５９２＝１３６ピクセルとなる。画像処理部１００２は、このように検出した被写体の中心座標および垂直方向の大きさを求め、システム制御部１００３に出力する。
【0025】
＜画角決定処理＞
次に、図８のフローチャートを参照して自動追尾における画角決定処理を説明する。本処理は、撮像装置１０００における自動追尾の開始と同時に開始される。
Ｓ３００１において、システム制御部１００７は、画像処理部１００２より追尾対象の被写体検出結果を取得する。
Ｓ３００２において、システム制御部１００７は、取得した被写体検出結果である被写体の中心位置および大きさに基づいて、追尾画角、つまり追尾のためのパンチルト位置およびズーム画角を算出する。
ここで、図９を参照して自動追尾における画角計算方法について説明する。図９において、符号３００１Ａは撮像画角を示し、符号３００１Ｂは追尾画角を示し、符号３００２Ａは追尾対象の被写体を示している。Ｘ０は撮像中心水平座標を示し、Ｙ０は撮像中心垂直座標を示し、Ｘ３は被写体中心水平座標を示し、Ｙ３は被写体中心垂直座標を示す。Ｘ５は被写体中心と撮像中心の水平方向の差分を示し、Ｙ５は被写体中心と撮像中心の垂直方向の差分を示す。Ｙ４は被写体の垂直方向の大きさを示し、Ｙ６は追尾画角の垂直方向の大きさを示す。
例えば、撮像解像度が水平方向１９２０ピクセル、垂直方向１０８０ピクセルとし、現在の撮像画角が水平方向６．４度、垂直方向３．６度とする。また、現在のパン位置が５度であり、現在のチルト位置が２度とする。撮像画像における位置を水平方向と垂直方向の２次元座標で表し、左上端点を原点、つまり０位置とすると、撮像中心の水平座標Ｘ０は９６０ピクセルとなり、垂直座標Ｙ０は５４０ピクセルとなる。また、被写体検出処理で説明した通り、被写体中心の水平座標Ｘ３は１４４０ピクセルであり、垂直座標Ｙ３は６６０ピクセルであり、被写体の垂直方向の大きさＹ４は１３６ピクセルであるとする。
このとき、撮像画像の中心位置から被写体中心位置との水平方向の差分Ｘ５は、１４４０－９６０＝４８０ピクセルとなる。これを撮像画角より角度に換算すると、差分Ｘ５は、４８０×３．２／１９２０＝０．８度となる。これより、追尾のパン位置は、現在のパン位置から上記差分を加えて、５＋０．８＝５．８度となる。
同様に、撮像画像の中心位置から被写体中心位置との垂直方向の差分Ｙ５は、６６０－５４０＝１２０ピクセルとなる。これを撮像画角より角度に換算すると、差分Ｙ５は、１２０×１．８／１０８０＝０．２度となる。これより、追尾のチルト位置は、現在のチルト位置から上記差分を加えて、２＋０．２＝２．２度となる。
次に、図８のフローチャートを参照して自動追尾における画角決定処理を説明する。本処理は、撮像装置１０００における自動追尾の開始と同時に開始される。
Ｓ３００１において、システム制御部１００７は、画像処理部１００２より追尾対象の被写体検出結果を取得する。
Ｓ３００２において、システム制御部１００７は、取得した被写体検出結果である被写体の中心位置および大きさに基づいて、追尾画角、つまり追尾のためのパンチルト位置およびズーム画角を算出する。
ここで、図９を参照して自動追尾における画角計算方法について説明する。図９において、符号３００１Ａは撮像画角を示し、符号３００１Ｂは追尾画角を示し、符号３００２Ａは追尾対象の被写体を示している。Ｘ０は撮像中心水平座標を示し、Ｙ０は撮像中心垂直座標を示し、Ｘ３は被写体中心水平座標を示し、Ｙ３は被写体中心垂直座標を示す。Ｘ５は被写体中心と撮像中心の水平方向の差分を示し、Ｙ５は被写体中心と撮像中心の垂直方向の差分を示す。Ｙ４は被写体の垂直方向の大きさを示し、Ｙ６は追尾画角の垂直方向の大きさを示す。
例えば、撮像解像度が水平方向１９２０ピクセル、垂直方向１０８０ピクセルとし、現在の撮像画角が水平方向６．４度、垂直方向３．６度とする。また、現在のパン位置が５度であり、現在のチルト位置が２度とする。撮像画像における位置を水平方向と垂直方向の２次元座標で表し、左上端点を原点、つまり０位置とすると、撮像中心の水平座標Ｘ０は９６０ピクセルとなり、垂直座標Ｙ０は５４０ピクセルとなる。また、被写体検出処理で説明した通り、被写体中心の水平座標Ｘ３は１４４０ピクセルであり、垂直座標Ｙ３は６６０ピクセルであり、被写体の垂直方向の大きさＹ４は１３６ピクセルであるとする。
このとき、撮像画像の中心位置から被写体中心位置との水平方向の差分Ｘ５は、１４４０－９６０＝４８０ピクセルとなる。これを撮像画角より角度に換算すると、差分Ｘ５は、４８０×３．２／１９２０＝０．８度となる。これより、追尾のパン位置は、現在のパン位置から上記差分を加えて、５＋０．８＝５．８度となる。
同様に、撮像画像の中心位置から被写体中心位置との垂直方向の差分Ｙ５は、６６０－５４０＝１２０ピクセルとなる。これを撮像画角より角度に換算すると、差分Ｙ５は、１２０×１．８／１０８０＝０．２度となる。これより、追尾のチルト位置は、現在のチルト位置から上記差分を加えて、２＋０．２＝２．２度となる。
【0026】
また、被写体の垂直方向の大きさＹ４から追尾画角を決定する。例えば、追尾時に被写体の大きさが撮像画角の１／３となるように追尾画角を設定すると、追尾画角垂直方向の大きさＹ６は、１３６÷１／３＝４０８ピクセルとなる。これを撮像画角に換算すると、 Ｙ６は、４０８×３．６／１０８０＝１．３６度となる。
以上より、追尾画角は、パン位置５．８度、チルト位置２．２度、垂直方向の画角が１．３６度と算出される。
図８に戻る。Ｓ３００３において、システム制御部１００７は、振れ補正後に残存する振れ残り角度を算出する。振れ残り角度は、検出した振れ角度と実際に振れを補正したパンチルト角度との差分から算出する。例えば、チルト振れ検出角度が－５度のとき、チルト振れ補正角度は５度となる。防振制御においてパンチルト駆動部の応答性を超える大きい振れが発生した場合には、振れ補正しきれない状態となる。振れ補正しきれず、チルト振れ補正角度に対してチルトが実際に動作した角度をエンコーダより検出し、これが３度であるとする。このとき、チルト方向の振れ残り角度は、５－３＝２度となる。
以上より、追尾画角は、パン位置５．８度、チルト位置２．２度、垂直方向の画角が１．３６度と算出される。
図８に戻る。Ｓ３００３において、システム制御部１００７は、振れ補正後に残存する振れ残り角度を算出する。振れ残り角度は、検出した振れ角度と実際に振れを補正したパンチルト角度との差分から算出する。例えば、チルト振れ検出角度が－５度のとき、チルト振れ補正角度は５度となる。防振制御においてパンチルト駆動部の応答性を超える大きい振れが発生した場合には、振れ補正しきれない状態となる。振れ補正しきれず、チルト振れ補正角度に対してチルトが実際に動作した角度をエンコーダより検出し、これが３度であるとする。このとき、チルト方向の振れ残り角度は、５－３＝２度となる。
【0027】
Ｓ３００４において、システム制御部１００７は、振れ残り角度より撮像画角限度を算出する。
ここで、図１０を参照して自動追尾における振れ残り発生時の撮像画角限度について説明する。図１０において、符号３００１Ｃは撮像画角を示し、符号３００１Ｄは撮像画角限度を示し、符号３００２Ｃは追尾対象の被写体を示す。また、Ａ１はチルト方向振れ残り角度を示し、Ａ２は被写体の垂直方向の大きさの半分の換算角度を示し、Ａ３は垂直方向の撮像画角限度を示す。
例えば、撮像画角の垂直方向が３．６度、撮像解像度の垂直方向が１０８０ピクセルとし、チルト方向の振れ残り角度Ａ１が２度であり、被写体の垂直方向の大きさが１３６ピクセルとする。
被写体の垂直方向の大きさの半分は、１３６÷２＝６８ピクセルとなる。これを角度換算したＡ２は、６８×３．６／１０８０＝０．２２度となる。振れ残りが生じたときにも被写体全体が画角に含まれる最低限の画角は、振れ残り角度Ａ１および被写体の大きさの半分の換算角度Ａ２を基に、（２＋０．２２）×２＝４．４４度となる。これに対し、画角の上下余白を含めたマージン１．２倍をとるとすると、垂直方向の撮像画角限度Ａ３は、 ４．４４×１．２＝５．３２８度となる。
ここで、図１０を参照して自動追尾における振れ残り発生時の撮像画角限度について説明する。図１０において、符号３００１Ｃは撮像画角を示し、符号３００１Ｄは撮像画角限度を示し、符号３００２Ｃは追尾対象の被写体を示す。また、Ａ１はチルト方向振れ残り角度を示し、Ａ２は被写体の垂直方向の大きさの半分の換算角度を示し、Ａ３は垂直方向の撮像画角限度を示す。
例えば、撮像画角の垂直方向が３．６度、撮像解像度の垂直方向が１０８０ピクセルとし、チルト方向の振れ残り角度Ａ１が２度であり、被写体の垂直方向の大きさが１３６ピクセルとする。
被写体の垂直方向の大きさの半分は、１３６÷２＝６８ピクセルとなる。これを角度換算したＡ２は、６８×３．６／１０８０＝０．２２度となる。振れ残りが生じたときにも被写体全体が画角に含まれる最低限の画角は、振れ残り角度Ａ１および被写体の大きさの半分の換算角度Ａ２を基に、（２＋０．２２）×２＝４．４４度となる。これに対し、画角の上下余白を含めたマージン１．２倍をとるとすると、垂直方向の撮像画角限度Ａ３は、 ４．４４×１．２＝５．３２８度となる。
【0028】
図８に戻る。Ｓ３００５において、システム制御部１００７は、Ｓ３００２で求めた垂直方向の追尾画角がＳ３００４で求めた撮像画角限度以下か否か、換言すれば、撮像画角限度を超えるか否かを判定する。追尾画角が撮像画角限度以下でない場合、換言すれば、追尾画角が撮像画角限度を超える場合（Ｓ３００５でＮＯ）、システム制御部１００７はＳ３００６の処理に進む。追尾画角が撮像画角限度以下である場合（Ｓ３００５でＹＥＳ）、換言すれば、追尾画角が撮像画角限度を超えない場合、システム制御部１００７は追尾画角をＳ３００２で求めた追尾画角に設定してＳ３００７の処理に進む。
Ｓ３００６において、システム制御部１００７は、追尾画角をＳ３００４で求めた撮像画角限度に制限して設定する。
Ｓ３００７において、システム制御部１００７は、設定された追尾画角にパン駆動部１００４、チルト駆動部１００５およびズーム制御部１００３を制御する。
Ｓ３００６において、システム制御部１００７は、追尾画角をＳ３００４で求めた撮像画角限度に制限して設定する。
Ｓ３００７において、システム制御部１００７は、設定された追尾画角にパン駆動部１００４、チルト駆動部１００５およびズーム制御部１００３を制御する。
【0029】
＜第１実施形態の効果＞
本実施形態では、パンチルト機構を用いて防振を行うＰＴ防振と、パンチルトズームを用いて被写体を追いかけるよう制御する自動追尾を備えた撮像装置において、ＰＴ防振中の自動追尾の際に、振れ残り角度から撮像画角限度を求める。次いで、その撮像画角限度を基に追尾画角を決定することで、ＰＴ防振で振れ残りが生じた場合も追尾対象が画角から外れてしまうことを低減し、追尾に適した画角で撮影することができる。
なお、本実施形態では、撮像画角限度をチルト方向の振れ残りおよび被写体の垂直方向の大きさを基に決めたが、撮像画角限度の決定方法はこれに限定されない。例えば、パン方向の振れ残りおよび被写体の水平方向の大きさを基に、撮像画角限度を決めてもよい。あるいは、パン方向およびチルト方向の振れ残りと、被写体の水平方向と垂直方向の大きさの両方を基に、撮像画角限度を決めてもよい。
本実施形態では、パンチルト機構を用いて防振を行うＰＴ防振と、パンチルトズームを用いて被写体を追いかけるよう制御する自動追尾を備えた撮像装置において、ＰＴ防振中の自動追尾の際に、振れ残り角度から撮像画角限度を求める。次いで、その撮像画角限度を基に追尾画角を決定することで、ＰＴ防振で振れ残りが生じた場合も追尾対象が画角から外れてしまうことを低減し、追尾に適した画角で撮影することができる。
なお、本実施形態では、撮像画角限度をチルト方向の振れ残りおよび被写体の垂直方向の大きさを基に決めたが、撮像画角限度の決定方法はこれに限定されない。例えば、パン方向の振れ残りおよび被写体の水平方向の大きさを基に、撮像画角限度を決めてもよい。あるいは、パン方向およびチルト方向の振れ残りと、被写体の水平方向と垂直方向の大きさの両方を基に、撮像画角限度を決めてもよい。
【0030】
第２実施形態
第２実施形態では、ＰＴ防振制御の振れ残り時間を考慮したズーム制御を行う形態について説明する。装置構成（図１乃至図３および図５）については、第１実施形態と同様であるため説明は省略する。第１実施形態と同様な構成や処理については、同様な参照符号を付ける。
第１実施形態では、振れ残り角度に基づいて撮像画角限度を求め、撮像画角限度に基づいて追尾画角を決定する方法を示したが、振れ残り角度が変動する場合、振れ残り角度の変動に連動してズームを頻繁に制御することになる。画角が頻繁に変化すると、視認性の悪い映像となってしまう。
そこで、第２実施形態では、振れ残り角度と振れ残り時間に基づいて撮像画角を決定する。例えば、振れ残りが発生しワイド側（一番短い焦点距離側）で撮影している状態から振れ残りが収まってすぐにテレ側（一番長い焦点距離側）にズーム制御するのではなく、所定時間待ってからテレ側にズームするようにする。
あるいは、逆に振れ残りがなくテレ側で撮影している状態から、短時間の瞬間的な振れ残りであればワイド側にズーム制御しないようにする。このように、第２実施形態においては、振れ残りの発生時間や振れ残りの解消時間を考慮してズーム制御を行う。それによって、振れ残り角度が変動する場合でも、頻繁にズーム制御することにより視認性の悪い映像となることをさらに低減し、追尾に適した画角で撮影することができる。
第２実施形態では、ＰＴ防振制御の振れ残り時間を考慮したズーム制御を行う形態について説明する。装置構成（図１乃至図３および図５）については、第１実施形態と同様であるため説明は省略する。第１実施形態と同様な構成や処理については、同様な参照符号を付ける。
第１実施形態では、振れ残り角度に基づいて撮像画角限度を求め、撮像画角限度に基づいて追尾画角を決定する方法を示したが、振れ残り角度が変動する場合、振れ残り角度の変動に連動してズームを頻繁に制御することになる。画角が頻繁に変化すると、視認性の悪い映像となってしまう。
そこで、第２実施形態では、振れ残り角度と振れ残り時間に基づいて撮像画角を決定する。例えば、振れ残りが発生しワイド側（一番短い焦点距離側）で撮影している状態から振れ残りが収まってすぐにテレ側（一番長い焦点距離側）にズーム制御するのではなく、所定時間待ってからテレ側にズームするようにする。
あるいは、逆に振れ残りがなくテレ側で撮影している状態から、短時間の瞬間的な振れ残りであればワイド側にズーム制御しないようにする。このように、第２実施形態においては、振れ残りの発生時間や振れ残りの解消時間を考慮してズーム制御を行う。それによって、振れ残り角度が変動する場合でも、頻繁にズーム制御することにより視認性の悪い映像となることをさらに低減し、追尾に適した画角で撮影することができる。
【0031】
＜画角決定処理＞
図１１のフローチャートを参照して第２実施形態における画角決定処理を説明する。
図１１のフローチャート（画角決定処理）は、撮像装置１０００における自動追尾の開始と同時に開始される。
Ｓ４００１において、システム制御部１００７は、画像処理部１００２より追尾対象の被写体検出結果を取得する。
Ｓ４００２において、システム制御部１００７は、取得した被写体検出結果の被写体の位置および大きさを検出に基づいて、追尾画角、つまり追尾のためのパンチルト位置およびズーム画角を算出する。
Ｓ４００３において、システム制御部１００７は、振れ残り角度を算出する。第１実施形態での説明と同様に、例えば、チルト方向の振れ残り角度は２度とする。
Ｓ４００４において、システム制御部１００７は、振れ残り角度より撮像画角限度を算出する。
Ｓ４００５において、システム制御部１００７は、振れ残りが発生しているか否かを判定する。例えば、システム制御部１００７は、算出した振れ残り角度の振幅が所定値以上の場合、振れ残りが発生していると判定する。振れ残りが発生している場合、システム制御部１００７は、Ｓ４００６の処理に進む。振れ残りが発生していない場合、システム制御部１００７は、Ｓ４００８の処理に進む。
Ｓ４００６において、システム制御部１００７は、振れ残り発生時間を算出する。例えば、システム制御部１００７は、Ｓ４００５において振れ残りが発生していると判定された時点から振れ残り発生と判定した状態が継続している時間を計測する。
Ｓ４００７において、システム制御部１００７は、振れ残り発生時間が第１の所定時間（発生時間閾値）以上か否かを判定する。振れ残り発生時間が第１の所定時間以上である場合、換言すれば、振れ残り発生時間が発生時間閾値を越える場合、システム制御部１００７は、Ｓ４０１０の処理に進む。振れ残り発生時間が第１の所定時間以上ではない場合、換言すれば、振れ残り発生時間が発生時間閾値を超えない場合、システム制御部１００７は、Ｓ４０１２の処理に進む。
図１１のフローチャートを参照して第２実施形態における画角決定処理を説明する。
図１１のフローチャート（画角決定処理）は、撮像装置１０００における自動追尾の開始と同時に開始される。
Ｓ４００１において、システム制御部１００７は、画像処理部１００２より追尾対象の被写体検出結果を取得する。
Ｓ４００２において、システム制御部１００７は、取得した被写体検出結果の被写体の位置および大きさを検出に基づいて、追尾画角、つまり追尾のためのパンチルト位置およびズーム画角を算出する。
Ｓ４００３において、システム制御部１００７は、振れ残り角度を算出する。第１実施形態での説明と同様に、例えば、チルト方向の振れ残り角度は２度とする。
Ｓ４００４において、システム制御部１００７は、振れ残り角度より撮像画角限度を算出する。
Ｓ４００５において、システム制御部１００７は、振れ残りが発生しているか否かを判定する。例えば、システム制御部１００７は、算出した振れ残り角度の振幅が所定値以上の場合、振れ残りが発生していると判定する。振れ残りが発生している場合、システム制御部１００７は、Ｓ４００６の処理に進む。振れ残りが発生していない場合、システム制御部１００７は、Ｓ４００８の処理に進む。
Ｓ４００６において、システム制御部１００７は、振れ残り発生時間を算出する。例えば、システム制御部１００７は、Ｓ４００５において振れ残りが発生していると判定された時点から振れ残り発生と判定した状態が継続している時間を計測する。
Ｓ４００７において、システム制御部１００７は、振れ残り発生時間が第１の所定時間（発生時間閾値）以上か否かを判定する。振れ残り発生時間が第１の所定時間以上である場合、換言すれば、振れ残り発生時間が発生時間閾値を越える場合、システム制御部１００７は、Ｓ４０１０の処理に進む。振れ残り発生時間が第１の所定時間以上ではない場合、換言すれば、振れ残り発生時間が発生時間閾値を超えない場合、システム制御部１００７は、Ｓ４０１２の処理に進む。
【0032】
Ｓ４００８において、システム制御部１００７は、振れ残り解消時間を算出する。例えば、システム制御部１００７は、Ｓ４００５において振れ残りが発生していないと判定された時点から振れ残りが発生していないと判定した状態が継続している時間を計測する。
Ｓ４００９において、システム制御部１００７は、振れ残り解消時間が第２の所定時間（解消時間閾値）以上か否かを判定する。振れ残り解消時間が第２の所定時間以上ではない場合、換言すれば、振れ残り解消時間が解消時間閾値を越えない場合、システム制御部１００７はＳ４０１０の処理に進む。振れ残り解消時間が第２の所定時間以上である場合、換言すれば、振れ残り解消時間が解消時間閾値を越えた場合、システム制御部１００７はＳ４０１２の処理に進む。
Ｓ４０１０において、システム制御部１００７は、追尾画角が撮像画角限度未満か否かを判定する。追尾画角が撮像画角限度未満である場合、換言すれば、追尾画角が撮像画角限度を超える場合、システム制御部１００７はＳ４０１１の処理に進む。追尾画角が撮像画角限度未満ではない場合、換言すれば、追尾画角が撮像画角限度を超えない場合、システム制御部１００７はＳ４０１２の処理に進む。
Ｓ４０１１において、システム制御部１００７は、追尾画角をＳ４００４で求めた撮像画角限度に制限して設定する。
Ｓ４０１２において、システム制御部１００７は、設定された追尾画角にパン駆動部１００４、チルト駆動部１００５およびズーム制御部１００３を制御する。
このように、第２実施形態では、振れ残り発生時間および振れ残り解消時間は、ズーム制御による画角決定（Ｓ４００７、Ｓ４００９、Ｓ４０１０、Ｓ４０１１、Ｓ４０１２）の判断に用いられている。
Ｓ４００９において、システム制御部１００７は、振れ残り解消時間が第２の所定時間（解消時間閾値）以上か否かを判定する。振れ残り解消時間が第２の所定時間以上ではない場合、換言すれば、振れ残り解消時間が解消時間閾値を越えない場合、システム制御部１００７はＳ４０１０の処理に進む。振れ残り解消時間が第２の所定時間以上である場合、換言すれば、振れ残り解消時間が解消時間閾値を越えた場合、システム制御部１００７はＳ４０１２の処理に進む。
Ｓ４０１０において、システム制御部１００７は、追尾画角が撮像画角限度未満か否かを判定する。追尾画角が撮像画角限度未満である場合、換言すれば、追尾画角が撮像画角限度を超える場合、システム制御部１００７はＳ４０１１の処理に進む。追尾画角が撮像画角限度未満ではない場合、換言すれば、追尾画角が撮像画角限度を超えない場合、システム制御部１００７はＳ４０１２の処理に進む。
Ｓ４０１１において、システム制御部１００７は、追尾画角をＳ４００４で求めた撮像画角限度に制限して設定する。
Ｓ４０１２において、システム制御部１００７は、設定された追尾画角にパン駆動部１００４、チルト駆動部１００５およびズーム制御部１００３を制御する。
このように、第２実施形態では、振れ残り発生時間および振れ残り解消時間は、ズーム制御による画角決定（Ｓ４００７、Ｓ４００９、Ｓ４０１０、Ｓ４０１１、Ｓ４０１２）の判断に用いられている。
【0033】
ここで、図１２のタイミングチャートを参照して防振制御中の振れ残り角度とズーム制御の関係を説明する。図１２（ａ）は、防振制御中の振れ残り角度の変化例を示すタイミングチャートであり、Ａ１は振れ残り角度を示し、Ａｔｈ振れ残り角度閾値を示し、Ｔｔｈ１は振れ残り発生時間閾値を示し、Ｔｔｈ２振れ残り解消時間閾値を示す。図１２（ｂ）は、防振制御中の追尾画像角の変化例を示すタイミングチャートであり、Ａ３は撮像画角を示し、Ｚ１は振れ残り解消時の追尾画角を示し、Ｚ２は振れ残り発生時の追尾画角を示す。
図１２（ａ）において、時刻ｔ１からｔ２の期間は、振れ残り角度が振れ残り角度閾値Ａｔｈを超え、振れ残りが発生している状態を示している。しかし、時刻ｔ１からｔ２の期間の振れ残り発生時間は、振れ残り発生時間閾値Ｔｔｈ１未満である。したがって、この場合、撮像画角のズーム制御は行わない。
時刻ｔ３を過ぎると再度、振れ残りが発生している状態となる。振れ残りの発生は、時刻ｔ４を超えて継続し、振れ残り発生時間は、振れ残り発生時間閾値Ｔｔｈ１以上となる。この場合、時刻ｔ４のタイミングで撮像画角のズーム制御を行う。
時刻ｔ５からｔ６の期間は、継続していた振れ残りが解消されている状態を示している。時刻ｔ５からｔ６の振れ残り解消時間は、振れ残り解消時間閾値Ｔｔｈ２未満である。したがって、この場合、撮像画角のズーム制御は行わない。
時刻ｔ７を過ぎると再度、振れ残りが解消されている状態となる。振れ残りの解消は、時刻ｔ８を超えて継続し、振れ残り解消時間は、振れ残り解消時間閾値Ｔｔｈ２以上となる。そのため、時刻ｔ８のタイミングで撮像画角のズーム制御を行う。
図１２（ａ）において、時刻ｔ１からｔ２の期間は、振れ残り角度が振れ残り角度閾値Ａｔｈを超え、振れ残りが発生している状態を示している。しかし、時刻ｔ１からｔ２の期間の振れ残り発生時間は、振れ残り発生時間閾値Ｔｔｈ１未満である。したがって、この場合、撮像画角のズーム制御は行わない。
時刻ｔ３を過ぎると再度、振れ残りが発生している状態となる。振れ残りの発生は、時刻ｔ４を超えて継続し、振れ残り発生時間は、振れ残り発生時間閾値Ｔｔｈ１以上となる。この場合、時刻ｔ４のタイミングで撮像画角のズーム制御を行う。
時刻ｔ５からｔ６の期間は、継続していた振れ残りが解消されている状態を示している。時刻ｔ５からｔ６の振れ残り解消時間は、振れ残り解消時間閾値Ｔｔｈ２未満である。したがって、この場合、撮像画角のズーム制御は行わない。
時刻ｔ７を過ぎると再度、振れ残りが解消されている状態となる。振れ残りの解消は、時刻ｔ８を超えて継続し、振れ残り解消時間は、振れ残り解消時間閾値Ｔｔｈ２以上となる。そのため、時刻ｔ８のタイミングで撮像画角のズーム制御を行う。
【0034】
＜第２実施形態の効果＞
本実施形態では、ＰＴ防振中の自動追尾の際に、振れ残り角度に加えてその振れ残り発生時間、または振れ残り解消時間を基にズーム制御する。これにより、ＰＴ防振で振れ残りが生じた場合も追尾対象が画角から外れてしまうことを低減できる。さらに、振れ残り角度が変動する場合でも、頻繁にズームを制御することにより視認性の悪い映像となることを低減し、より追尾に適した画角で撮影することができる。
なお、本実施形態では、時間閾値を固定値としたが、時間閾値は固定値でなくともよい。例えば、時間閾値を振れ残りの状況に応じて変更してもよい。例えば、過去のＰＴ制御のデータ等から、振れ残りが多いと判断できる場合、一度振れ残りが収まっても再度振れ残りが発生する可能性が高い。そのため、過去のＰＴ制御のデータ等に基づいて、振れ残り解消時間閾値を長くしてもよい。
このように、振れ残りの過去の発生状況に応じて時間閾値を変更することにより、振れ残り角度が変動する場合でも、頻繁にズームを制御することにより視認性の悪い映像となることをさらに低減し、より追尾に適した画角で撮影することができる。
本実施形態では、ＰＴ防振中の自動追尾の際に、振れ残り角度に加えてその振れ残り発生時間、または振れ残り解消時間を基にズーム制御する。これにより、ＰＴ防振で振れ残りが生じた場合も追尾対象が画角から外れてしまうことを低減できる。さらに、振れ残り角度が変動する場合でも、頻繁にズームを制御することにより視認性の悪い映像となることを低減し、より追尾に適した画角で撮影することができる。
なお、本実施形態では、時間閾値を固定値としたが、時間閾値は固定値でなくともよい。例えば、時間閾値を振れ残りの状況に応じて変更してもよい。例えば、過去のＰＴ制御のデータ等から、振れ残りが多いと判断できる場合、一度振れ残りが収まっても再度振れ残りが発生する可能性が高い。そのため、過去のＰＴ制御のデータ等に基づいて、振れ残り解消時間閾値を長くしてもよい。
このように、振れ残りの過去の発生状況に応じて時間閾値を変更することにより、振れ残り角度が変動する場合でも、頻繁にズームを制御することにより視認性の悪い映像となることをさらに低減し、より追尾に適した画角で撮影することができる。
【0035】
第３実施形態
第３実施形態では、電子ズームを利用した形態について説明する。装置構成（図１乃至図３および図５）については、第１実施形態と同様であるため説明は省略する。第１実施形態と同様な構成や処理については、同様な参照符号を付ける。
第１実施形態では、振れ残り角度に基づいて撮像画角限度を求め、撮像画角限度に基づいて追尾画角を決定する方法を示したが、振れ残り角度が頻繁に変動する場合、当該変動に連動してズームを頻繁に制御することになる。画角が頻繁に変化すると、視認性の悪い映像となってしまう。そこで、第３実施形態では、振れ残り角度に基づいて撮像画角限度を決定し、追尾画角が撮像画角限度で制限される場合には、広角に制限した画角から元の追尾画角になるよう電子ズーム制御を行い、見た目上の画角が変動しないように制御する。これにより振れ残り角度が変動する場合でも、頻繁にズーム制御することにより視認性の悪い映像となることを低減し、より追尾に適した画角で撮影することができる。
第３実施形態では、電子ズームを利用した形態について説明する。装置構成（図１乃至図３および図５）については、第１実施形態と同様であるため説明は省略する。第１実施形態と同様な構成や処理については、同様な参照符号を付ける。
第１実施形態では、振れ残り角度に基づいて撮像画角限度を求め、撮像画角限度に基づいて追尾画角を決定する方法を示したが、振れ残り角度が頻繁に変動する場合、当該変動に連動してズームを頻繁に制御することになる。画角が頻繁に変化すると、視認性の悪い映像となってしまう。そこで、第３実施形態では、振れ残り角度に基づいて撮像画角限度を決定し、追尾画角が撮像画角限度で制限される場合には、広角に制限した画角から元の追尾画角になるよう電子ズーム制御を行い、見た目上の画角が変動しないように制御する。これにより振れ残り角度が変動する場合でも、頻繁にズーム制御することにより視認性の悪い映像となることを低減し、より追尾に適した画角で撮影することができる。
【0036】
＜画角決定処理＞
図１３のフローチャートを参照して第３実施形態における画角決定処理を説明する。
図１３のフローチャート（画角決定処理）は、撮像装置１０００における自動追尾の開始と同時に開始される。
Ｓ５００１において、システム制御部１００７は、画像処理部１００２より追尾対象の被写体検出結果を取得する。
Ｓ５００２において、システム制御部１００７は、取得した被写体検出結果の被写体の位置および大きさを検出に基づいて、追尾画角、つまり追尾のためのパンチルト位置およびズーム画角を算出する。
Ｓ５００３において、システム制御部１００７、振れ残り角度を算出する。
Ｓ５００４において、システム制御部１００７は、振れ残り角度より撮像画角限度を算出する。
Ｓ５００５において、システム制御部１００７は、追尾画角が撮像画角限度未満か否かを判定する。追尾画角が撮像画角限度未満である場合、換言すれば、追尾画角が撮像画角限度を超える場合、システム制御部１００７は、Ｓ５００６の処理に進む。追尾画角が撮像画角限度未満ではない場合、換言すれば、追尾画角が撮像画角限度を超えない場合、システム制御部１００７は、Ｓ５００９の処理に進む。
Ｓ５００６において、システム制御部１００７は、追尾画角をＳ５００４で求めた撮像画角限度に制限して設定する。
Ｓ５００７において、システム制御部１００７は、電子ズーム率を算出する。
図１３のフローチャートを参照して第３実施形態における画角決定処理を説明する。
図１３のフローチャート（画角決定処理）は、撮像装置１０００における自動追尾の開始と同時に開始される。
Ｓ５００１において、システム制御部１００７は、画像処理部１００２より追尾対象の被写体検出結果を取得する。
Ｓ５００２において、システム制御部１００７は、取得した被写体検出結果の被写体の位置および大きさを検出に基づいて、追尾画角、つまり追尾のためのパンチルト位置およびズーム画角を算出する。
Ｓ５００３において、システム制御部１００７、振れ残り角度を算出する。
Ｓ５００４において、システム制御部１００７は、振れ残り角度より撮像画角限度を算出する。
Ｓ５００５において、システム制御部１００７は、追尾画角が撮像画角限度未満か否かを判定する。追尾画角が撮像画角限度未満である場合、換言すれば、追尾画角が撮像画角限度を超える場合、システム制御部１００７は、Ｓ５００６の処理に進む。追尾画角が撮像画角限度未満ではない場合、換言すれば、追尾画角が撮像画角限度を超えない場合、システム制御部１００７は、Ｓ５００９の処理に進む。
Ｓ５００６において、システム制御部１００７は、追尾画角をＳ５００４で求めた撮像画角限度に制限して設定する。
Ｓ５００７において、システム制御部１００７は、電子ズーム率を算出する。
【0037】
ここで、図１４の説明図を参照して第３実施形態における画角計算方法を説明する。
図１４において、Ａ４は撮像画角限度を示し、Ａ５は追尾画角を示す。例えば、撮像画角限度Ａ４が５．３２８度であり、追尾画角Ａ２が４．８度であるとする。このとき追尾画角のズーム駆動部の制御位置としては、追尾画角が撮像画角限度未満であるため、撮像画角は撮像画角限度で制限される。ここで、撮像画角限度Ａ４から見た目が元の追尾画角Ａ５と同じとなるような電子ズーム倍率は、５．３２８／４．８＝１．１１倍となる。
図１３に戻る。Ｓ５００８において、システム制御部１００７は、Ｓ５００７で算出した電子ズーム率を画像処理部１００２に指示する。画像処理部１００２は、指示された電子ズーム率の画像処理を行う。
Ｓ５００９において、システム制御部１００７は、設定された追尾画角にパン駆動部１００４、チルト駆動部１００５およびズーム制御部１００３を制御する。
図１４において、Ａ４は撮像画角限度を示し、Ａ５は追尾画角を示す。例えば、撮像画角限度Ａ４が５．３２８度であり、追尾画角Ａ２が４．８度であるとする。このとき追尾画角のズーム駆動部の制御位置としては、追尾画角が撮像画角限度未満であるため、撮像画角は撮像画角限度で制限される。ここで、撮像画角限度Ａ４から見た目が元の追尾画角Ａ５と同じとなるような電子ズーム倍率は、５．３２８／４．８＝１．１１倍となる。
図１３に戻る。Ｓ５００８において、システム制御部１００７は、Ｓ５００７で算出した電子ズーム率を画像処理部１００２に指示する。画像処理部１００２は、指示された電子ズーム率の画像処理を行う。
Ｓ５００９において、システム制御部１００７は、設定された追尾画角にパン駆動部１００４、チルト駆動部１００５およびズーム制御部１００３を制御する。
【0038】
＜第３実施形態の効果＞
本実施形態では、ＰＴ防振中の自動追尾の際に、振れ残り角度に基づいて撮像画角限度を決定する。その際、追尾画角が撮像画角限度で制限される場合には、広角に制限した画角から元の追尾画角になるよう電子ズームを制御する、すなわち電子ズーム制御を行うことで、見た目上の画角が変動しないようにすることができる。これにより振れ残り角度が変動する場合でも、頻繁にズーム制御することにより視認性の悪い映像となることを低減し、より追尾に適した画角で撮影することができる。
本実施形態では、ＰＴ防振中の自動追尾の際に、振れ残り角度に基づいて撮像画角限度を決定する。その際、追尾画角が撮像画角限度で制限される場合には、広角に制限した画角から元の追尾画角になるよう電子ズームを制御する、すなわち電子ズーム制御を行うことで、見た目上の画角が変動しないようにすることができる。これにより振れ残り角度が変動する場合でも、頻繁にズーム制御することにより視認性の悪い映像となることを低減し、より追尾に適した画角で撮影することができる。
【0039】
＜その他の実施形態＞
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実行可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。
以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形および変更が可能である。
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワークまたは記憶媒体を介してシステムまたは装置に供給し、そのシステムまたは装置のコンピュータにおける１つ以上のプロセッサがプログラムを読み出し実行する処理でも実行可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。ＡＳＩＣは、Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔの略である。
【符号の説明】
【0040】
１０００…撮像装置、１００１…撮像部、１００２…画像処理部、１００３…ズーム駆動部、１００４…パン駆動部、１００５…チルト駆動部、１００６…振れ検出部、１００７…システム制御部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】