特許 7574004 制御装置、撮像装置、監視システム、及び制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-10-18

(45)【発行日】2024-10-28

(54)【発明の名称】制御装置、撮像装置、監視システム、及び制御方法

(51)【国際特許分類】

   H04N 23/69 20230101AFI20241021BHJP

   H04N 23/45 20230101ALI20241021BHJP

   H04N 23/661 20230101ALI20241021BHJP

   H04N 23/695 20230101ALI20241021BHJP

   H04N 23/60 20230101ALI20241021BHJP

   G03B 15/00 20210101ALI20241021BHJP

【ＦＩ】

H04N23/69

H04N23/45

H04N23/661

H04N23/695

H04N23/60

G03B15/00 S

G03B15/00 P

【請求項の数】 9

(21)【出願番号】P 2020109491

(22)【出願日】2020-06-25

(65)【公開番号】P2022006912

(43)【公開日】2022-01-13

【審査請求日】2023-06-06

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100110412

【弁理士】

【氏名又は名称】藤元 亮輔

(74)【代理人】

【識別番号】100104628

【弁理士】

【氏名又は名称】水本 敦也

(74)【代理人】

【識別番号】100121614

【弁理士】

【氏名又は名称】平山 倫也

(72)【発明者】

【氏名】鈴木 裕

【審査官】池田 博一

(56)【参考文献】

【文献】特表２０１３－５１９２５４（ＪＰ，Ａ）

【文献】特許第４０１０４４４（ＪＰ，Ｂ２）

【文献】特開２０１９－２１１３３７（ＪＰ，Ａ）

【文献】特開２０１８－０４６４１５（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１７／００１９６０５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１１／００５８０３６（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６９

Ｈ０４Ｎ ２３／４５

Ｈ０４Ｎ ２３／６６１

Ｈ０４Ｎ ２３／６９５

Ｈ０４Ｎ ２３／６０

Ｇ０３Ｂ １５／００

(57)【特許請求の範囲】

【請求項1】

光軸周りの回転であるローテーション方向へ回転可能な第一の撮像部と、
撮像方向、及び画角の少なくとも一つを変更可能であり、前記ローテーション方向への回転を実行できない第二の撮像部と、
前記第一の撮像部の前記ローテーション方向の回転に関する情報を取得する取得部と、
前記ローテーション方向への回転を行った後の前記第一の撮像部から取得した第一の画像上で指定された指定領域の位置情報、及び前記回転に関する情報を用いて、前記指定領域を含むように前記第二の撮像部の第二撮像領域を設定する設定部と、
前記第二の撮像部の前記撮像方向および前記画角の少なくとも一つを変更することによって前記第二撮像領域を撮像して第二の画像を取得する制御部とを有することを特徴とする制御装置。

【請求項2】

前記設定部は、前記第一の撮像部が前記ローテーション方向への回転を行う前に取得可能な画像上の前記指定領域に対応する領域の位置情報を用いて前記第二撮像領域を設定することを特徴とする請求項１に記載の制御装置。

【請求項3】

前記第二の画像は、前記指定領域に応じて、前記第二撮像領域を撮像して取得した画像に対して切り出し処理、及び前記回転に関する情報に基づく回転処理を行うことで取得されることを特徴とする請求項１又は２に記載の制御装置。

【請求項4】

前記第二の画像を示す画像は、前記第一の画像に重畳されることを特徴とする請求項１又は２に記載の制御装置。

【請求項5】

前記第二の画像を示す画像は、前記指定領域が指定されている間に前記第一の画像に重畳されることを特徴とする請求項４に記載の制御装置。

【請求項6】

前記第二の画像を示す画像は、前記指定領域が指定された後、前記第一の画像に重畳されることを特徴とする請求項４に記載の制御装置。

【請求項7】

請求項１乃至６に記載の制御装置と、
ネットワークを介して通信可能に接続される装置とを有することを特徴とする監視システム。

【請求項8】

光軸周りの回転であるローテーション方向へ回転可能な第一の撮像部と、撮像方向、及び画角の少なくとも一つを変更可能であり、前記ローテーション方向への回転を実行できない第二の撮像部とを備える撮像装置を制御する制御方法であって、
前記第一の撮像部の前記ローテーション方向の回転に関する情報を取得するステップと、
前記第一の撮像部から取得した前記第一の撮像部がローテーション方向への回転を行った後の第一の画像上で指定された指定領域の位置情報、及び前記回転に関する情報を用いて、前記指定領域を含むように前記第二の撮像部の第二撮像領域を設定するステップと、
前記第二の撮像部の前記撮像方向および前記画角の少なくとも一つを変更することによって前記第二撮像領域を撮像して第二の画像を取得させる制御ステップとを有することを特徴とする制御方法。

【請求項9】

コンピュータに、請求項８に記載された制御方法を実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、制御装置、撮像装置、監視システム、及び制御方法に関する。

【背景技術】

【0002】

近年、複数のカメラ（以下、多眼カメラ）を用いて単一のカメラを使用した場合よりも広い撮影範囲の画像を取得可能なネットワークカメラが知られている。多眼カメラには、複数の固定カメラと撮影倍率を変化可能なズームカメラや、魚眼レンズなどで視野領域３６０°を有するカメラ（以下、全方位カメラ）とズームカメラなどのように、様々な機構を組み合わせたものも含まれる。複数の固定カメラには、手動にて個別に水平（パン）、垂直（チルト）、光軸中心（ローテーション）の回転方向に画角を調整し所望の撮像領域を設定可能なカメラも含まれる。

【0003】

また、多眼カメラの撮影方法の一例として、固定カメラから取得される画像をつなぎ合わせて、広範囲撮影（パノラマ撮影）を行い、指定した領域を、機構の異なるズームカメラで高解像度な撮影を行う方法が知られている。特許文献１には、ズームカメラの撮影位置と一致するように全方位カメラの撮影位置を設定し、全方位カメラで指示した位置をズームカメラで撮影を行うシステムを開示している。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第４１０４４４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１のシステムでは、固定カメラ部分が全方位カメラである場合、画像の領域ごとにズームカメラの位置を指定しておく必要がある。この場合、指定した位置から外れた領域や、複数の領域を、ズームカメラで表示できない。このような問題は、例えば、固定カメラ部分がローテーション機構を備えるカメラで、ズームカメラがローテーション機構を備えない場合でも発生する。固定カメラがパン、チルト駆動を行う場合、ズームカメラもパン、チルト駆動を行うことで、固定カメラの撮影範囲を網羅することが可能である。しかしながら、固定カメラがローテーション駆動を行う場合、固定カメラとズームカメラの機能の差から、ローテーションされた角度の差を埋めることができず、同じ画角を撮影することができない。

【0006】

本発明は、固定カメラのローテーションで発生する、ズームカメラとの領域指定の位置ずれを補正して表示させる制御装置、撮像装置、監視システム、及び制御方法を提供することを目的とする。

【課題を解決するための手段】

【0007】

本発明の一側面としての制御装置は、光軸周りの回転であるローテーション方向へ回転可能な第一の撮像部と、撮像方向、及び画角の少なくとも一つを変更可能であり、ローテーション方向への回転を実行できない第二の撮像部と、第一の撮像部のローテーション方向の回転に関する情報を取得する取得部と、ローテーション方向への回転を行った後の第一の撮像部から取得した第一の画像上で指定された指定領域の位置情報、及び回転に関する情報を用いて、指定領域を含むように第二の撮像部の第二撮像領域を設定する設定部と、第二の撮像部の撮像方向および画角の少なくとも一つを変更することによって第二撮像領域を撮像して第二の画像を取得する制御部とを有することを特徴とする。

【発明の効果】

【0008】

本発明によれば、固定カメラのローテーションで発生する、ズームカメラとの領域指定の位置ずれを補正して表示させる制御装置、撮像装置、監視システム、及び制御方法を提供することができる。

【図面の簡単な説明】

【0009】

【図1】第１の実施形態の撮像システムの構成図である。

【図2】第１の実施形態の撮像装置のブロック図である。

【図3】第１の実施形態の端末のブロック図である。

【図4】第１の実施形態の撮像装置から取得された映像が端末の表示装置で表示される画面の一例を示す図である。

【図5】第一の画像のローテーション動作前の画像を示す図である。

【図6】第１の実施形態の第一の撮像部がローテーション動作を行っている場合の第二の撮像部の制御方法を示すフローチャートである。

【図7】第１の実施形態の指定領域の設定の説明図である。

【図8】第２の実施形態の第一の画像の一例を示す図である。

【図9】第２の実施形態の表示装置に表示されるイメージの一例を示す図である。

【発明を実施するための形態】

【0010】

以下、本発明の実施形態について、図面を参照しながら詳細に説明する。各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。
［第１の実施形態］
図１は、本実施形態の撮像システム（監視システム）の構成図である。撮像システムは、天井や電柱等に設置される撮像装置１００、撮像装置１００からの映像や各種情報の表示、及び撮像装置１００を遠隔操作する端末１２０、並びに、それらを接続するネットワーク（ＩＰネットワーク網）１１０で構成される。なお、図１では、撮像装置１００と端末１２０をそれぞれ１つだけ示しているが、これらの数に特に制限はない。

【0011】

撮像装置１００は、撮影方向を任意の角度に変更して固定が可能な複数のカメラで構成される第一の撮像部（多眼カメラ）１０１、及び狭角であるが撮影方向や光学ズーム倍率を変更可能で高精細な画像を得ることが可能な第二の撮像部１０２を有する。第一の撮像部１０１の複数のカメラは、個別に手動でパン、チルト、ローテーションの設定が行われる。複数のカメラはそれぞれ、設定された、パン方向への回転、チルト方向への回転、及びローテーション方向への回転を実行し、任意の角度で固定されて撮影を行う。なお、本形態では、複数のカメラは手動で設定されるが、各カメラの駆動部にモータを搭載することによって自動で設定されるようにしてもよい。第二の撮像部１０２は、端末１２０によって遠隔で操作され、パン、チルト、画角を変更可能なズームの少なくとも一つを実行可能である。第二の撮像部１０２は、撮影方向を３６０°回転可能とし、第一の撮像部１０１の撮像領域に含まれる領域を撮像することができる。なお、第一及び第二の撮像部１０１，１０２の撮像速度は本実施形態では１５フレーム／秒に設定されているが、本発明はこれに限定されない。

【0012】

また、撮像装置１００は、取得した画像をネットワーク１１０上の端末１２０に送信する機能を有する。端末１２０は、ネットワーク１１０を介して撮像装置１００に通信可能に接続され、撮像装置１００から受信した映像を表示したり、撮像装置１００に対して各種コマンドを発行したりする機能を有する。

【0013】

図２は、撮像装置１００のブロック図である。撮像装置１００は、第一の撮像部１０１、第二の撮像部１０２、第一及び第二の撮像部１０１，１０２の制御と取得した画像を処理する制御部２２０、記憶部２３０、及びネットワーク１１０との間で通信を行うネットワーク（ＮＷ）通信部２４０を有する。なお、本実施形態では、制御部２２０は、撮像装置１００内に設けられているが、撮像装置１００とは異なる制御装置として構成されていてもよい。

【0014】

第一の撮像部１０１は、広角な画像を取得するための広角レンズにより構成される撮像光学系２００，２０４、撮像素子２０１，２０５、駆動部２０２，２０６、位置検出部２０３，２０７、及び画像処理部２０８を有する。第一の撮像部１０１では、撮像光学系、撮像素子、駆動部、位置検出部の構成が１つの撮像領域を撮像する。図２では、２つの構成が示されているが、構成の数に特に制限はない。なお、撮像光学系２００，２０４は、本実施形態では広角レンズにより構成されているが、ズームレンズやフォーカスレンズ、絞り機構などにより構成されていてもよい。

【0015】

撮像光学系２００，２０４は、それぞれの光軸が異なるように配置されているため、別々の方向を個別に撮影することができる。また、撮像光学系を撮像領域の一部が重複するように配置し、構成の数を増やすことによって、３６０度の広範囲（又は全方位）を網羅することも可能である。

【0016】

撮像素子２０１，２０５は、ＣＣＤやＣＭＯＳ等の２次元のイメージセンサで構成され、撮像光学系２００，２０４により形成された被写体像を光電変換し、得られた電気信号を画像処理部２０８に供給する。

【0017】

駆動部２０２，２０６は、第一の撮像部１０１の撮像方向（光軸方向）を変更することができる。本実施形態では、個別に手動でパン、チルト、ローテーションの設定を行うことで、第一の撮像部１０１を所定の角度に固定することができる。ただし、手動での設定に限定するものではなく、駆動部にモータを搭載することによって自動で設定してもよい。

【0018】

位置検出部２０３，２０７はそれぞれ、駆動部２０２，２０６で変更した機械的な位置の変化を検出して、位置情報を示す電気信号を出力するエンコーダで構成され、取得した電気信号を画像処理部２０８に供給する。

【0019】

画像処理部２０８は、撮像素子２０１，２０５から受信した電気信号をデジタルデータに変換し、デモザイク処理をはじめ、画質を高める処理や、取得した光量を信号レベルとして高めるゲイン処理を行う。また、画像処理部２０８は、撮像素子２０１，２０５に対して蓄積した電荷をクリアするリセット信号を出力する処理を行う。また、画像処理部２０８は、シャッタースピード、絞り値、ゲイン処理の設定を変更することで撮像素子２０１，２０５に入射される光の量を調整する露光制御を行う。画像処理部２０８は、処理後の画像データを制御部２２０に供給する。

【0020】

第二の撮像部１０２は、撮像光学系２１０、撮像素子２１１、駆動部２１２、位置検出部２１３、及び画像処理部２１４を有する。撮像光学系２１０は、ズームレンズやフォーカスレンズ、絞り機構などにより構成される。撮像素子２１１は、撮像光学系２１０により形成された被写体像を光電変換し、得られた電気信号を画像処理部２１４に供給する。画像処理部２１４は、画像処理部２０８と同様の処理を実行する機能を有する。駆動部１１２は、制御部２２０からの制御信号に従い、パン、チルト、及びズームレンズの動作を制御するための不図示の各種モータを駆動する。駆動部２１２は、本実施形態ではモータ駆動により自動で制御されるが、本発明はこれに限定されない。駆動部２１２による駆動が行われることで、第二の撮像部１０２の撮像方向（光軸方向）や光学ズーム倍率を変更することができる。

【0021】

記憶部２３０は、例えばフラッシュメモリやハードディスク等の不揮発性メモリである。記憶部２３０には、第一の撮像部１０１の設定された角度に関する情報や端末１２０によって指定された領域の座標情報などが格納されている。格納されている情報は、制御部２２０による処理が実行される際に利用される。

【0022】

ＮＷ通信部２４０は、ネットワーク１１０との通信を行うインターフェースである。なお、ＮＷ通信部２４０とネットワーク１１０との通信は、有線、無線を問わない。

【0023】

制御部２２０は、駆動制御部（駆動部）２２１、画像表示生成部２２２、通信制御部２２３、角度取得部（取得部）２２４、枠生成部２２５、角度変換部（設定部）２２６、符号化部２２７、及びコマンド解釈部２２８を有する。制御部２２０は、例えば、中央処理装置ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＣＰＵが実行するプログラムを格納するＲＯＭ、及びＣＰＵのワークエリアとして使用されるＲＡＭで構成される。この場合、参照番号２２１～２２８で示される処理部は、プログラムを実行するＣＰＵにより実現される。ただし、いくつかは、専用のハードウェアで実現されてもよい。

【0024】

駆動制御部２２１は、第二の撮像部１０２の駆動部２１２へのパン及びチルト、並びに、ズーム倍率の制御のための駆動信号を生成する。駆動部２１２は、駆動制御部２２１により生成された駆動信号に基づき不図示のパン、チルト、ズームレンズを移動させる各種モータを駆動する。また、駆動制御部２２１は、第一及び第二の撮像部１０１，１０２によるフォーカシング、絞り等の制御も行う。

【0025】

画像表示生成部２２２は、画像処理部２０８，２１４からのデータを端末１２０にどのような配置で表示させるのか決定する。特に、第一の撮像部１０１の表示方式については、複数の撮像素子から取得される複数の画像の配置（複数の画像をどの領域に表示させるか）や、複数の画像をつなぎ合わせる際の画像作成の順番などが指定される。また、画像表示生成部２２２は、取得した画像から領域の切り出しや所望の表示の大きさに拡大縮小を行うデジタルズーム処理なども行う。

【0026】

通信制御部２２３は、符号化部２２７が生成した符号化データを、ＮＷ通信部２４０を介して端末１２０に送信する。このとき、通信制御部２２３は、第二の撮像部１０２から得た画像と、第一の撮像部１０１から得た広範囲画像とを適当なレイアウトとなるようにして送信する。また、通信制御部２２３は、ＮＷ通信部２４０を介して端末１２０からの各種要求コマンドを受信した場合、受信した要求コマンドをコマンド解釈部２２８に通知する。

【0027】

角度取得部２２４は、第一の撮像部１０１の位置検出部２０３，２０７から出力される電気信号を用いて、どの撮像素子がどの方向に向けられているのかを判定し、判定結果を記憶部２３０に送信する。

【0028】

枠生成部２２５は、第一及び第二の撮像部１０１，１０２から取得した画像上に、端末１２０から指定された指定領域を囲む領域枠を生成（描画）する。枠生成部２２５は、画像の水平方向をＸ座標、垂直方向をＹ座標とした場合に、指定された領域が画像のどの座標となるかを算出して領域枠を生成する。枠生成部２２５が第一の撮像部１０１から取得した画像上に領域枠を生成した場合、第二の撮像部１０２のパン、チルト、ズーム動作によって、指定された領域を表示させる。また、枠生成部２２５が第二の撮像部１０２から取得した画像上に領域枠を生成した場合、第二の撮像部１０２のズーム動作によって、指定された領域を表示させる。

【0029】

角度変換部２２６は、角度取得部２２４により取得された情報、枠生成部２２５により生成された情報、並びに第一及び第二の撮像部１０１，１０２の関係性を用いて枠生成部２２５に枠の再作成を行わせる。

【0030】

符号化部２２７は、画像処理部２０８，２１４から取得した画像データを符号化し、符号化データを生成する。符号化データは、通信制御部２２３に送信される。

【0031】

コマンド解釈部２２８は、通信制御部２２３より通知された要求コマンドを解析し、要求コマンドに応じた処理を実行する。例えば、端末１２０により第一の撮像部１０１から取得した画像の所定の領域が指定された際、第二の撮像部１０２が指定された領域と同一の領域を撮像するように駆動制御部２２１に指示する。

【0032】

以下、図３を参照して、端末１２０の内部構成について説明する。図３は、端末１２０のブロック図である。

【0033】

端末１２０は、パーソナルコンピュータに代表される情報処理装置である。端末１２０は、装置全体の制御を司るＣＰＵ３０１、ＢＩＯＳやブートプログラムが格納されているＲＯＭ３０２、及びＯＳ（オペレーティングシステム）やカメラアプリケーション等を記憶したり、ワークエリアとして機能したりするＲＡＭ３０３を有する。また、端末１２０は、ＯＳやカメラアプリケーション等を記憶するＨＤＤ３０４、及びネットワーク１１０と通信するためのネットワークＩ／Ｆ３０５を有する。また、端末１２０は、ユーザからの指示入力のためのキーボードやマウス、タッチパネル等で構成される操作部３０６を有する。更に、端末１２０は、表示制御部３０７、及び表示装置３０８を有する。

【0034】

端末１２０の電源がＯＮになると、ＣＰＵ３０１はＲＯＭ３０２に格納されたブートプログラムに従ってＯＳをＨＤＤ３０４からＲＡＭ３０３にロードし実行する。これにより端末１２０が情報処理装置として機能する。また、この結果、操作部３０６、及び表示装置３０８がユーザインターフェースとして機能する。ユーザは操作部３０６を操作してカメラアプリケーションプログラムの実行を指示することで、カメラアプリケーションがＨＤＤ３０４からＲＡＭ３０３にロードされた後、実行される。これにより、端末１２０は、撮像装置１００から取得した映像を表示する装置として機能する。

【0035】

図４は、本実施形態の撮像装置１００から取得された映像が端末１２０の表示装置３０８で表示される画面の一例を示す図である。表示装置３０８には、第一の撮像部１０１で取得された第一の画像４０１、及び第二の撮像部１０２から取得された第二の画像４０２が表示されている。第一の画像４０１の破線で囲われている領域４０３は、第二の撮像部１０２で拡大表示を行うべき指定領域を示している。すなわち、第二の画像４０２は、第二の撮像部１０２がパン、チルト、ズーム処理を行い、第一の画像４０１内の領域４０３を表示している。

【0036】

ここで、第一の画像４０１は、説明のため、第一の撮像部１０１内に設けられた複数の撮像素子のうち１つの撮像素子から取得された画像として表示されているが、実際は、複数の撮像素子から取得された画像として表示される。実際に表示される画像は、画像表示生成部２２２により生成される。例えば、撮像素子が４つ設けられている場合、第一の画像４０１は、４枚の画像として表示されてもよいし、撮像素子ごとに取得された画像がつなぎ合わせられた１枚の広角画像として表示されてもよい。

【0037】

ここで、第一の撮像部１０１が、パン、チルトを行っている場合、第二の撮像部１０２も同様にパン、チルトを行うことで、第一の撮像部１０１で撮影可能な撮影範囲を網羅することが可能である。すなわち、領域４０３の座標情報を取得することで、第二の撮像部１０２で領域４０３を撮影可能である。

【0038】

しかし、第一の撮像部１０１がローテーション方向への回転（ローテーション動作）を行っている場合、第一の画像４０１の座標情報のみを用いて領域４０３を第二の撮像部１０２にて表示することができない。また、ローテーション動作で発生した回転によるずれを吸収することができない。

【0039】

図５は、第一の撮像部１０１が角度４５°でローテーション動作を行うことで取得された第一の画像４０１のローテーション動作前の画像４０１ａを示す図である。ここで、ユーザが表示装置３０８を用いて領域４０３を指定した場合、実際には、図５の領域４０３ａが指定されたこととなる。第二の撮像部１０２は、ローテーション動作を行うことができないため、領域４０３ａを表現することができない。すなわち、第二の画像４０２は、車両が４５°傾いた画像となってしまう。

【0040】

以下、本実施形態の第一の撮像部１０１がローテーション方向への回転を行っている場合の第二の撮像部１０２の制御方法について説明する。図６は、本実施形態の第一の撮像部１０１がローテーション方向への回転を行っている場合の第二の撮像部１０２の制御方法を示すフローチャートである。

【0041】

ステップＳ１０１では、制御部２２０（角度取得部２２４）は、位置検出部２０３，２０７から取得した電気信号を用いて第一の撮像部１０１がローテーション動作を行っているかどうかを判定する。第一の撮像部１０１がローテーション動作を行っていると判定された場合、ステップＳ１０５に進み、そうでない場合、ステップＳ１０２に進む。

【0042】

ステップＳ１０２では、制御部２２０（枠生成部２２５）は、第一の撮像部１０１から取得された第一の画像４０１上に領域枠（図４の領域４０３を囲む枠に相当）を生成する。

【0043】

ステップＳ１０３では、制御部２２０は、ステップＳ１０２で生成された領域枠の座標情報を取得する。取得された座標情報は、記憶部２３０に保存される。

【0044】

ステップＳ１０４では、制御部２２０は、ステップＳ１０２で生成された領域枠に応じた領域を撮像するように第二の撮像部１０２を移動させる。本実施形態では、制御部２２０は、領域枠の座標情報と、事前に取得されている第一及び第二の撮像部１０１，１０２の関係性から第二の撮像部１０２にパン、チルト、ズームを行わせる。第二の撮像部１０２で取得された画像は、表示装置３０８上に第二の画像４０１として表示される。例えば、第一の撮像部１０１の初期時の画角、及び枠生成時の第二の撮像部１０２の設定に関する情報を記憶部２３０に保存し、初期時の画角から枠生成時の画角のずれを用いて枠生成時の第二の撮像部１０２の設定から移動させればよい。

【0045】

ステップＳ１０５では、制御部２２０（角度取得部２２４）は、位置検出部２０３，２０７から取得した電気信号を用いて第一の撮像部１０１のローテーション動作の角度（ローテーションへの回転に関する情報）を取得する。

【0046】

ステップＳ１０６では、制御部２２０（枠生成部２２５）は、第一の撮像部１０１から取得した第一の画像４０１上に領域枠（図４の領域４０３を囲む枠に相当）を生成する。なお、領域４０３は、第一の撮像部１０１のローテーション動作が反映された領域となっている。

【0047】

ステップＳ１０７では、制御部２２０は、ステップＳ１０６で生成された領域枠の座標情報を取得する。

【0048】

ステップＳ１０８では、制御部２２０（角度変換部２２６）は、ローテーション動作の角度、並びに第一及び第二の撮像部１０１，１０２の関係性を用いて、ステップＳ１０７で取得された座標情報を変換する。

【0049】

ステップＳ１０９では、制御部２２０（角度変換部２２６）は、変換後の座標を用いて第一の撮像部１０１から取得された第一の画像４０１上に領域枠（以下、変換後領域枠）を生成する。

【0050】

ステップＳ１１０では、制御部２２０は、ステップＳ１０９で生成された変換後領域枠から第二の撮像部１０２が移動可能な拡大領域枠を生成する。

【0051】

ステップＳ１１１では、制御部２２０は、ステップＳ１１０で生成された拡大領域枠に応じた領域を撮影するように第二の撮像部１０２を移動させる。

【0052】

ステップＳ１１２では、制御部２２０（画像表示生成部２２２）は、移動後の第二の撮像部１０２から取得した画像から、変換後領域枠に対応する領域を切り出すと共に、切り出した領域が第二の画像４０２のサイズとなるように拡大処理を行う。

【0053】

ステップＳ１１３では、制御部２２０（画像表示生成部２２２）は、ステップＳ１１２で処理された画像をステップＳ１０５で取得されたローテーション動作の角度だけ回転させて（回転処理を実行して）表示装置３０８に表示する。

【0054】

ここで、図７を参照して、領域を指定する方法について説明する。図７は、指定領域の設定の説明図である。図７では、横方向をＸ軸、縦方向をＹ軸、図の１マスを１画素として、第一の座標ｏ（０，０）で示される、光軸中心である中心点７０４を中心に第一の撮像部１０１が４５°だけローテーション動作を行っている状況を想定している。

【0055】

図７（ａ）は、ローテーション動作前の画像４０１ａと領域４０３ａ、及びローテーション動作後の第一の画像４０１と領域４０３を重ねて示している。領域４０３の頂点ａ～ｄの座標はそれぞれ、ａ（－３，－２），ｂ（－３，－３），ｃ（－２，－２），ｄ（－２，－３）であり、図６のステップＳ１０７において取得される座標情報である。領域４０３ａのそれぞれの頂点ａａ～ｄｄの座標はそれぞれ、ａａ（－３．５３，０．７），ｂｂ（－４．２４，０），ｃｃ（－２．８２，０），ｄｄ（－３．５３，－０．７）であり、図６のステップＳ１０９において生成される変換後領域枠の座標である。

【0056】

頂点ａａ，ｄｄはそれぞれ、領域４０３の頂点ａ，ｄが中心点７０４を中心に一点鎖線７０２で示される同軸円上を４５°だけ回転した点である。頂点ｃｃは、領域４０３の頂点ｃが中心点７０４を中心に点線７０１で示される同軸円上を４５°だけ回転した点である。頂点ｃｃは、領域４０３の頂点ｃが中心点７０４を中心に点線７０１で示される同軸円上を４５°だけ回転した点である。頂点ｂｂは、領域４０３の頂点ｂから中心点７０４を中心に破線７０３で示される同軸円心上を４５°だけ回転した点である。頂点ａａ～ｄｄの各座標は、三平方の定理によって算出される。

【0057】

図７（ｂ）は、図７（ａ）の表示に加え、第二の撮像部１０２がパン、チルト、ズーム動作を行うで領域４０３ａの各頂点が最大量だけ移動した点を結んだ領域４０３ｂを示している。領域４０３ｂの頂点ａａａ～ｄｄｄの座標はそれぞれ、ａａａ（－４．２４，０．７），ｂｂｂ（－４．２４，－０．７），ｃｃｃ（－２．８２，０．７）、ｄｄｄ（－２.８２，－０．７）となる。領域４０３ｂは領域４０３ａを含んでおり、領域４０３ｂの外周は図６のステップＳ１１０で生成される拡大領域枠である。

【0058】

以上説明したように、本実施形態では、第一の撮像部１０１がローテーションを行っても、図６のステップＳ１１１～Ｓ１１３の処理が行われることで第二の撮像部１０２で第一の画像４０１上の指定された領域に対応する領域を撮影することが可能となる。

【0059】

なお、本実施形態では、ローテーション動作の角度を４５°としているが、本発明はこれに限定されない。また、第一の撮像部１０１が複数設けられている場合でも個別に対応可能である。また、ローテーション動作の角度が９０°，１８０°，２７０°である場合、撮像素子２１１が対応できるのであれば、読み出し方向を変えることで対応してもよい。
［第２の実施形態］
本実施形態の撮像装置は、第１の実施形態の撮像装置と同様の構成を有する。本実施形態では、第１の実施形態との差分について説明し、同等の箇所についての説明は省略する。

【0060】

本実施形態では、第二の画像４０２の領域を示す画像を第一の画像４０１に重畳させる構成について説明する。本実施形態では、第二の画像４０２を取得する際に、切り出し処理やローテーション処理は行わずに、光学ズームのみの高解像度の画像の取得と、第一及び第二の撮像部１０１，１０２のローテーションでのずれを視覚的に分かりやすくすることを目的とする。

【0061】

図８は、本実施形態の第一の撮像部１０１から取得される第一の画像４０１の一例を示す図である。本実施形態では、第一の撮像部１０１のローテーション動作の角度は４５°である。図８では、第一の画像４０１上に、領域４０３を形成する際に端末１２０の操作部３０６のマウスを用いて領域を指定している様子が示されている。矢印８０１は、マウスがクリックされた点を始点、クリックを継続したままマウスを所定位置まで移動してクリックを離した点を終点としている。このようなドラッグアンドドロップ処理で矢印８０１の方向と大きさを決めることで、領域４０３を形成することができる。

【0062】

本実施形態では、第一の画像４０１上に、第一の撮像部１０１のローテーションを考慮した第二の撮像部１０２の撮像領域である、長二点鎖線で囲まれた領域８０２（拡大領域枠）を表示させる。領域８０２は、領域４０３に対して４５°ずれており、領域４０３が含まれる大きさを有する。なお、領域８０２は、ドラッグアンドドロップ処理が行われている間に矢印８０１をマウスで引く動作に合わせて表示されるようにしてもよいし、ドラッグアンドドロップ処理が完了してから表示されるようにしてもよい。

【0063】

図９は、本実施形態の表示装置３０８に表示されるイメージの一例を示す図である。第一の画像４０１の隣の領域には、領域８０２を撮像することで取得される第二の画像９０１が表示されている。本実施形態の構成では、第一の画像４０１中の車は第二の画像９０１中の車に対して４５°ずれて表示されている。また、第二の画像９０１は、デジタルズーム処理が施されていないため、高解像度の画像となっている。

【0064】

以上説明したように、本実施形態の構成によれば、第二の撮像部１０２から取得される第二の画像４０２の領域８０２を示す画像を第一の画像４０１に重畳させる。これにより、高解像度の画像の取得と、第一及び第二の撮像部１０１，１０２のローテーションでのずれを視覚的に表現することができる。

【0065】

なお、第二の画像を、ローテーション動作を考慮して第一の画像に合わせて表示させるか、光学ズームのみの表示とさせるかをユーザが選択できるようにしてもよい。また、ローテーション動作の角度の換算方法として、既に同じ角度の算出値があった場合に他の撮像部へ共有するようにしてもよい。
［その他の実施例］
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0066】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【符号の説明】

【0067】

１００ 撮像装置
１０１ 第一の撮像部
１０２ 第二の撮像部
２２０ 制御部（制御装置）
２２１ 駆動制御部（駆動部）
２２４ 角度取得部（取得部）
２２６ 角度変換部（設定部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】