特許 7603042 撮像装置およびその制御方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-11

(45)【発行日】2024-12-19

(54)【発明の名称】撮像装置およびその制御方法

(51)【国際特許分類】

   H04N 23/695 20230101AFI20241212BHJP

   H04N 5/222 20060101ALI20241212BHJP

   H04N 23/60 20230101ALI20241212BHJP

   H04N 23/58 20230101ALI20241212BHJP

   G03B 15/00 20210101ALI20241212BHJP

   G03B 5/06 20210101ALI20241212BHJP

【ＦＩ】

H04N23/695

H04N5/222 100

H04N23/60

H04N23/58

G03B15/00 P

G03B15/00 Q

G03B5/06

【請求項の数】 17

(21)【出願番号】P 2022184973

(22)【出願日】2022-11-18

(65)【公開番号】P2023134346

(43)【公開日】2023-09-27

【審査請求日】2023-09-04

(31)【優先権主張番号】P 2022039559

(32)【優先日】2022-03-14

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】110003281

【氏名又は名称】弁理士法人大塚国際特許事務所

(72)【発明者】

【氏名】佐藤 夏子

(72)【発明者】

【氏名】川崎 諒

【審査官】池田 博一

(56)【参考文献】

【文献】特開２００３－１８５９０２（ＪＰ，Ａ）

【文献】中国特許出願公開第１１３９９４６５８（ＣＮ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６９５

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ２３／６０

Ｈ０４Ｎ ２３／５８

Ｇ０３Ｂ １５／００

Ｇ０３Ｂ ５／０６

(57)【特許請求の範囲】

【請求項1】

撮像光学系および撮像素子を有する撮像部と、
前記撮像部の向きをパン方向および／またはチルト方向に移動する姿勢制御手段と、
前記撮像光学系および前記撮像素子の少なくとも一方を撮像面に平行な面内で移動させるシフト制御手段と、
前記姿勢制御手段および前記シフト制御手段の一方を駆動する際に、該一方の駆動による前記撮像部の撮像範囲の変化が相殺されるように、該一方の駆動に同期して他方を駆動する同期制御手段と、
前記撮像部により得られる撮像画像における被写体の歪み量を逐次決定する決定手段と、
前記シフト制御手段に対するユーザー指示を受け付ける受付手段と、
を有し、
前記同期制御手段は、前記決定手段により決定された歪み量が所定の閾値以下となった場合に駆動を停止し、
前記受付手段は、前記シフト制御手段の駆動を停止させる駆動停止指示を受け付けるよう構成されており、
前記同期制御手段は、前記姿勢制御手段および前記シフト制御手段を駆動している間に前記受付手段により前記駆動停止指示を受け付けた場合、該駆動停止指示を受け付けたタイミングにおける前記撮像部の向きおよび前記撮像素子のシフト位置の一方に基づいて他方を調整する
ことを特徴とする撮像装置。

【請求項2】

前記シフト制御手段は、前記撮像部により得られる撮像画像における被写体の歪みが補償されるように、前記撮像光学系および前記撮像素子の少なくとも一方を撮像面に平行な面内で移動させる
ことを特徴とする請求項１に記載の撮像装置。

【請求項3】

前記同期制御手段は、前記一方における第１の駆動量に基づいて前記他方における第２の駆動量を決定する
ことを特徴とする請求項２に記載の撮像装置。

【請求項4】

前記同期制御手段は、更に、前記撮像素子のサイズ、前記撮像光学系から前記撮像素子までの結像距離に基づいて、前記第２の駆動量を決定する
ことを特徴とする請求項３に記載の撮像装置。

【請求項5】

前記受付手段は、前記シフト制御手段を所定量だけ駆動させる駆動指示を逐次受け付けるよう構成されており、
前記同期制御手段は、前記受付手段により前記駆動指示を受け付けた場合、該駆動指示に基づき前記シフト制御手段を所定量だけ駆動し、該所定量の駆動に応じた前記姿勢制御手段の駆動量を逐次決定し駆動する
ことを特徴とする請求項１に記載の撮像装置。

【請求項6】

前記受付手段は、前記シフト制御手段を駆動させる駆動指示を受け付けるよう構成されており、
前記同期制御手段は、前記受付手段により前記駆動指示を受け付けた場合、前記姿勢制御手段および前記シフト制御手段の両方の駆動速度を決定し駆動開始する
ことを特徴とする請求項１に記載の撮像装置。

【請求項7】

前記同期制御手段は、前記受付手段により前記駆動指示を受け付けた場合、前記姿勢制御手段および前記シフト制御手段の両方の駆動時間が同じになるように前記駆動速度を決定する
ことを特徴とする請求項６に記載の撮像装置。

【請求項8】

前記駆動指示は、前記シフト制御手段による前記撮像素子のシフト方向の情報を含む
ことを特徴とする請求項５に記載の撮像装置。

【請求項9】

前記シフト制御手段を所定量ずつ繰り返し駆動させる駆動開始指示を受け付ける受付手段を更に有し、
前記シフト制御手段は、前記受付手段により前記駆動開始指示を受け付けた場合に駆動を開始する
ことを特徴とする請求項１に記載の撮像装置。

【請求項10】

前記撮像部により得られる撮像画像に対応する深度情報を取得する深度取得手段を更に有し、
前記決定手段は、前記撮像画像に含まれる被写体領域内の深度の差に基づいて前記歪み量を決定する
ことを特徴とする請求項９に記載の撮像装置。

【請求項11】

前記撮像部により得られる撮像画像に含まれる被写体のエッジを検出するエッジ検出手段を更に有し、
前記決定手段は、前記エッジ検出手段により前記被写体に対して検出された１対のエッジ間のエッジ間隔の差に基づいて前記歪み量を決定する
ことを特徴とする請求項９に記載の撮像装置。

【請求項12】

前記撮像部により得られる撮像画像における被写体の歪み形状種別を決定する決定手段を更に有し、
前記姿勢制御手段および前記シフト制御手段それぞれにおける駆動方向は、前記決定手段により決定された歪み形状種別に基づいて決定される
ことを特徴とする請求項１に記載の撮像装置。

【請求項13】

前記撮像部により得られる撮像画像に対応する深度情報を取得する深度取得手段を更に有し、
前記決定手段は、前記撮像画像に含まれる被写体領域内の深度の変化方向に基づいて前記歪み形状種別を決定する
ことを特徴とする請求項１２に記載の撮像装置。

【請求項14】

前記撮像部により得られる撮像画像に含まれる被写体のエッジを検出するエッジ検出手段を更に有し、
前記決定手段は、前記エッジ検出手段により前記被写体に対して検出された１対のエッジ間のエッジ間隔の変化方向に基づいて前記歪み形状種別を決定する
ことを特徴とする請求項１２に記載の撮像装置。

【請求項15】

前記撮像画像に歪みが生じている複数の被写体が存在する場合、前記決定手段による決定の対象となる１つの被写体の選択を受け付ける受付手段を更に有する
ことを特徴とする請求項１２に記載の撮像装置。

【請求項16】

撮像装置の制御方法であって、
前記撮像装置は、
撮像光学系および撮像素子を有する撮像部と、
前記撮像部の向きをパン方向および／またはチルト方向に移動する姿勢制御手段と、
前記撮像光学系および前記撮像素子の少なくとも一方を撮像面に平行な面内で移動させるシフト制御手段と、
前記シフト制御手段に対するユーザー指示を受け付ける受付手段と、
を有し、
前記制御方法は、
前記撮像部により得られる撮像画像における被写体の歪み量を逐次決定する決定工程と、
前記姿勢制御手段および前記シフト制御手段の一方を駆動する際に、該一方の駆動による前記撮像部の撮像範囲の変化が相殺されるように、該一方の駆動に同期して他方を駆動する同期制御工程と、
を含み、
前記同期制御工程では、前記決定工程により決定された歪み量が所定の閾値以下となった場合に前記姿勢制御手段および前記シフト制御手段の駆動を停止し、
前記同期制御工程では、前記姿勢制御手段および前記シフト制御手段を駆動している間に前記受付手段により前記シフト制御手段の駆動を停止させる駆動停止指示を受け付けた場合、該駆動停止指示を受け付けたタイミングにおける前記撮像部の向きおよび前記撮像素子のシフト位置の一方に基づいて他方を調整する
ことを特徴とする制御方法。

【請求項17】

撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記撮像装置は、
撮像光学系および撮像素子を有する撮像部と、
前記撮像部の向きをパン方向および／またはチルト方向に移動する姿勢制御手段と、
前記撮像光学系および前記撮像素子の少なくとも一方を撮像面に平行な面内で移動させるシフト制御手段と、
前記シフト制御手段に対するユーザー指示を受け付ける受付手段と、
を有し、
前記制御方法は、
前記撮像部により得られる撮像画像における被写体の歪み量を逐次決定する決定工程と、
前記姿勢制御手段および前記シフト制御手段の一方を駆動する際に、該一方の駆動による前記撮像部の撮像範囲の変化が相殺されるように、該一方の駆動に同期して他方を駆動する同期制御工程と、
を含み、
前記同期制御工程では、前記決定工程により決定された歪み量が所定の閾値以下となった場合に前記姿勢制御手段および前記シフト制御手段の駆動を停止し、
前記同期制御工程では、前記姿勢制御手段および前記シフト制御手段を駆動している間に前記受付手段により前記シフト制御手段の駆動を停止させる駆動停止指示を受け付けた場合、該駆動停止指示を受け付けたタイミングにおける前記撮像部の向きおよび前記撮像素子のシフト位置の一方に基づいて他方を調整する
ことを特徴とするプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像制御に関するものであり、特に被写体歪みを低減するための撮像制御に関するものである。

【背景技術】

【0002】

高いビルを地表から撮影しようとする場合など、被写体がカメラに対して正対していないとき、撮像画像における被写体に歪みが生じる。これを解消するための技術として、カメラと被写体を正対させ、撮像素子（または光学系）を撮像面に対して平行移動（シフト）して撮影する技術（以降では「シフト制御」と呼ぶ）が知られている。

【0003】

特許文献１には、撮像に基づいて得られる測距データを用いてカメラに対する被写体の傾きを検出し、正対補正を行う技術が開示されている。また、正対補正を、レンズユニットの回転制御と撮像素子のシフト制御とにより行うことが開示されている。また、特許文献２には、鉛直方向に対する被写体のエッジの歪み（角度）を検出し、検出された歪みが相殺されるように光学系をシフト制御する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２００３－１８５９０２号公報

【文献】特開２０１１－０５９２８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、特許文献１においては、撮像素子における異なる像高位置で取得した複数の測距データの差分に基づいて被写体の傾きを検出している。そのため、測距精度が低い場合には被写体の歪みに対する補正が適切になされない場合がある。また、特許文献２においては、エッジの歪みを相殺するための光学系のシフト制御を行っているが、シフト制御による撮像範囲の変動を考慮していない。そのため、シフト制御を行っている期間において撮像画像における被写体の位置が変化し品位が悪化する場合がある。

【0006】

本発明は、このような問題に鑑みてなされたものであり、撮像画像の品位を向上させつつより適切な歪み補正を可能とする技術を提供することを目的としている。

【課題を解決するための手段】

【0007】

上述の問題点を解決するため、本発明に係る撮像装置は以下の構成を備える。すなわち、撮像装置は、
撮像光学系および撮像素子を有する撮像部と、
前記撮像部の向きをパン方向および／またはチルト方向に移動する姿勢制御手段と、
前記撮像光学系および前記撮像素子の少なくとも一方を撮像面に平行な面内で移動させるシフト制御手段と、
前記姿勢制御手段および前記シフト制御手段の一方を駆動する際に、該一方の駆動による前記撮像部の撮像範囲の変化が相殺されるように、該一方の駆動に同期して他方を駆動する同期制御手段と、
前記撮像部により得られる撮像画像における被写体の歪み量を逐次決定する決定手段と、
前記シフト制御手段に対するユーザー指示を受け付ける受付手段と、
を有し、
前記同期制御手段は、前記決定手段により決定された歪み量が所定の閾値以下となった場合に駆動を停止し、
前記受付手段は、前記シフト制御手段の駆動を停止させる駆動停止指示を受け付けるよう構成されており、
前記同期制御手段は、前記姿勢制御手段および前記シフト制御手段を駆動している間に前記受付手段により前記駆動停止指示を受け付けた場合、該駆動停止指示を受け付けたタイミングにおける前記撮像部の向きおよび前記撮像素子のシフト位置の一方に基づいて他方を調整する。

【発明の効果】

【0008】

本発明によれば、撮像画像の品位を向上させつつより適切な歪み補正を行う技術を提供することができる。

【図面の簡単な説明】

【0009】

【図1】撮像システムの構成を説明するブロック図である。

【図2】被写体歪みを説明する図である。

【図3】シフト制御を説明する図である。

【図4】撮像範囲を維持しつつ被写体歪みを低減するための制御を説明する図である。

【図5】回転制御およびシフト制御の駆動量計算を説明する図である。

【図6】歪み補正における撮像画像の時間変化を示す図である。

【図7】歪み補正のユーザーインターフェースを例示する図である。

【図8】第１の同期制御における制御方法を説明する図である。

【図9】第１の同期制御における処理のフローチャートである。

【図10】第２の同期制御における制御方法を説明する図である。

【図11】第２の同期制御における処理のフローチャートである。

【図12】変形例に係る撮像装置が実行する処理のフローチャートである。

【図13】深度情報に基づいた歪み形状判定を説明する図である。

【図14】エッジ検出に基づいた歪み形状判定を説明する図である。

【図15】複数の被写体が存在する場合の歪み形状判定を説明する図である。

【図16】複数の被写体が存在する場合の補正対象決定を説明する図である。

【図17】各歪み形状に対する回転制御およびシフト制御の関係を示す図である。

【図18】深度情報に基づいた歪み量算出を説明する図である。

【図19】エッジ検出に基づいた歪み量算出を説明する図である。

【図20】撮像装置のハードウェア構成を説明する図である。

【発明を実施するための形態】

【0010】

以下、添付図面を参照して実施形態を詳しく説明する。なお、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

【0011】

（第１実施形態）
本発明に係る撮像装置の第１実施形態として、撮像システムを例に挙げて以下に説明する。

【0012】

＜システム構成＞
図１は、撮像システムの構成を説明するブロック図である。撮像システムは、撮像装置と監視装置１１１とを含んでいる。撮像装置は、撮像部であるカメラユニット１００、オートゲインコントローラ（ＡＧＣ）１０７、アナログデジタル（ＡＤ）変換器１０８、カメラ信号処理部１０９、通信部１１０を有する。また、撮像装置は、駆動量決定部１１２、シフト制御部１１３、回転制御部１１４、シフト駆動部１１５、回転駆動部１１６を更に有している。

【0013】

カメラユニット１００は、撮像光学系、バンドパスフィルタ（ＢＰＦ）１０４、カラーフィルタ１０５、撮像素子１０６を含んでいる。ここで、撮像光学系は、光軸方向に移動して焦点距離を変更するズームレンズ１０１、光軸方向に移動して焦点調節を行うフォーカスレンズ１０２、光量を調整する絞りユニット１０３を有する。なお、撮像光学系は、撮像装置と一体の構成であってもよいし、撮像装置に対して着脱可能な構成であってもよい。

【0014】

撮像光学系を通過した光は、ＢＰＦ１０４及びカラーフィルタ１０５を介して撮像素子１０６上に光学像としての被写体像を形成する。ＢＰＦ１０４は撮像光学系の光路に対し挿抜可能なものでも良い。被写体像は、撮像素子１０６により光電変換される。

【0015】

撮像素子１０６から出力されたアナログ電気信号（撮像信号）は、ＡＧＣ１０７によりゲイン調整され、ＡＤ変換器１０８によりデジタル信号に変換された後、カメラ信号処理部１０９に入力される。カメラ信号処理部１０９では、デジタル撮像信号に対して各種画像処理を行って映像信号を生成する。

【0016】

映像信号は、通信部１１０を介して撮像装置に有線または無線通信により接続された監視装置１１１に出力される。また、監視装置１１１からは、ユーザーによる指示を受けて、通信部１１０を介して、シフト制御部１１３および回転制御部１１４にそれぞれコマンドなどの制御信号を出す。

【0017】

駆動量決定部１１２は、カメラユニット１００を回転制御する場合の回転駆動量と、撮像素子１０６をシフト制御する場合のシフト駆動量と、のどちらか一方に基づいて、他方の駆動量を決定する。回転制御は、パン方向および／またはチルト方向の回転移動にかかる姿勢制御である。このとき、決定される駆動量は、一方（回転制御またはシフト制御）により生じる撮像範囲の変化を相殺するような補正動作を行う他方の駆動量である。すなわち、撮像画像における被写体の位置の変化を抑制するように他方の駆動量を決定する。駆動量決定部１１２における駆動量決定の詳細については、図２～図５を参照して後述する。

【0018】

シフト制御部１１３は、駆動量決定部１１２で決定されたあるいは通信部１１０を介して受付けた駆動指示（シフト駆動量）に基づいて、撮像素子１０６に対してシフト駆動を指示する。回転制御部１１４は、駆動量決定部１１２で決定されたあるいは通信部１１０を介して指示された回転駆動量に基づいて、カメラユニット１００に対して回転駆動を指示する。

【0019】

シフト駆動部１１５は、シフト制御部１１３から指示されたシフト駆動に基づいて、撮像素子１０６を駆動する。回転駆動部１１６は、回転制御部１１４から指示された回転駆動に基づいて、カメラユニット１００を駆動する。ここで、シフト制御部１１３およびシフト駆動部１１５は、撮像素子１０６に対してシフト駆動の指示および駆動を行っているが、光学系に対しシフト駆動の指示および駆動を行っても良い。

【0020】

＜被写体歪みを補償するためのシフト制御＞
図２は、被写体歪みを説明する図である。ここでは、建物を地表から見上げて撮影する場合の模式図と、そのときの撮像画像を例示的に示している。被写体２０１に対してカメラユニットが正対していない場合（すなわち、被写体２０１（建物の壁面）と光軸２０４が垂直ではない場合）、撮像画像２００に示されるように建物が台形状に歪んだ状態（被写体歪み）になる。

【0021】

図３は、シフト制御を説明する図である。ここでは、図２と同じ被写体２０１（建物）に正対しシフト制御により撮影する場合の模式図と、そのときの撮像画像を例示的に示している。具体的には、被写体２０１（建物の壁面）に対して光軸２０４が垂直になるようにし、被写体２０１が撮像範囲に収まるように、撮像面２０３を（光学系２０２に対して相対的に）下にシフトしている。このシフト制御により、撮像画像３００に示されるように、被写体歪みが補償された状態になる。

【0022】

ただし、撮像画像３００のような被写体歪みが補償された撮像を行うためには、カメラユニット１００および撮像素子１０６を適切に制御することが必要であり、これには、仰角２０５および被写体距離２０６の情報が必要である。

【0023】

図４は、撮像範囲を維持しつつ被写体歪みを低減するための制御を説明する図である。具体的には、図２の撮影状態に対して、被写体２０１（建物の壁面）に対して光軸２０４が垂直に近づくようにカメラユニットの回転制御（回転量α）を行いつつ、撮像範囲を維持するためのシフト制御（シフト量ｘ）を行う状態を示している。

【0024】

すなわち、カメラユニット１００を微小の回転量αだけ回転（チルト）制御した場合、撮像範囲は元の撮像範囲４００からカメラユニットをα回転したときの撮像範囲４０１に変化する。例えば、撮像範囲４０１による撮像画像では、下から１／３は地表が写っており、建物の最上部が欠けた（見切れた）状態になっている。このような撮像範囲の変化を無くす（撮像範囲４００を維持する）ためには、撮像素子１０６をシフト量ｘだけ撮像面内で下方向にシフトすれば良い。

【0025】

図５は、回転制御およびシフト制御の駆動量計算を説明する図である。具体的には、図４に示すような撮像範囲を維持するための、カメラユニット１００の回転量αに応じた撮像素子１０６のシフト量ｘの算出方法を説明している。

【0026】

図５に示す三角形ＯＡＢは、図４に示す三角形ＯＡＢを拡大した図である。ここで、αはカメラユニット１００の回転量、α_０は垂直画角／２、ｘは撮像素子１０６のシフト量、ｘ_０はセンサ垂直サイズ／２、ｌは結像位置である。このとき、カメラユニット１００をα回転させたときの撮像素子のシフト量ｘは、数式（１）で表される。

【0027】

【数1】

【0028】

ここで、数式（２）の関係が成り立つ。

【0029】

【数2】

【0030】

数式（１）および数式（２）より、カメラユニット１００をα回転させたとき、撮像範囲の変化を無くすための撮像素子のシフト量ｘは、センサ垂直サイズ、結像位置を用いて、数式（３）で表すことができる。

【0031】

【数3】

【0032】

すなわち、数式（３）の関係を用いて回転制御およびシフト制御を行うことにより、被写体歪みを低減することが可能となる。また、補正制御（回転制御およびシフト制御）中における撮像範囲の変化を抑止（すなわち撮像範囲の維持）することが可能となる。

【0033】

図６は、歪み補正における撮像画像の時間変化を示す図である。例えば、監視装置１１１の表示部に表示される撮像画像における、補正制御（回転制御およびシフト制御）の開始時点から完了時点までの変化を示している。

【0034】

撮像開始時（補正制御開始前）では、被写体である建物の上部が下部に対して短くなる歪み（以下では「上部歪み」と呼ぶ）が生じている。この状態に対し、数式（３）の関係を用いて、カメラユニット１００の回転制御に同期させた撮像素子１０６のシフト制御を開始する。これにより、撮像画像における被写体の相対位置が維持されたままの状態で、被写体に生じた歪みが時間と共に徐々に補正されることになる。この上部歪みに対する補正を、以下では「上部補正」と呼ぶ。同様に、下部歪み、右部歪み、左部歪みに対する補正を、それぞれ、下部補正、右部補正、左部補正と呼ぶ。

【0035】

図７は、歪み補正のユーザーインターフェース（ＵＩ）を例示する図である。例えば、このＵＩは、監視装置１１１において、物理的なボタンあるいは表示部上のＧＵＩとして提供され得る。ユーザーは、監視装置１１１の表示部に表示される撮像画像における被写体の歪みの状態に合わせて、どの歪み補正（上部補正、下部補正、右部補正、左部補正）を実施するか決定し、ＵＩ上の対応するボタンを押下する。これにより、対応するシフト方向の情報を含むユーザー指示（駆動指示、駆動開始指示、駆動停止指示）が送信される。

【0036】

図６に示すような撮像画像であれば、「上部補正」を実施する。ユーザーのボタン押下が始まったタイミングで、数式（３）に基づきカメラユニット１００および撮像素子１０６の制御が開始され、ユーザーによるボタン押下が終わったタイミングで、それらの制御を停止する。

【0037】

ユーザーは、図６のように時間的に変化する撮像画像を確認しながら、ボタンの押下を行うことで、被写体の歪み補正を精度良く行うことが出来る。例えば、「上部補正」ボタンの押下時間が長すぎ過補正となった場合は「下部補正」ボタンを押下するとよい。

【0038】

＜効果＞
上述の数式（３）で表されるシフト量の算出は、撮像装置の仰角や被写体距離といった情報が不要である。具体的には、数式（３）によるシフト量の算出に必要な情報は、カメラユニット１００の回転量、センサ垂直サイズ、結像位置である。これらの情報は撮像装置ごとに既知の情報または制御情報から取得される情報である。このように、上述のシフト制御は仰角や被写体距離といった情報の検出精度の影響を受けないという点で有用である。

【0039】

また、図６を参照して説明したように、レンズユニット１００の回転制御と撮像素子１０６のシフト制御を同期して行うことにより、補正制御中における撮像範囲の変化を抑止することが可能となる。すなわち、補正制御中におおて撮像範囲に対する被写体位置が変動せず、被写体の歪みのみが補正されるため品位が良い。

【0040】

＜撮像装置の動作＞
以下では、上述したカメラユニット１００の回転制御と撮像素子１０６のシフト制御との同期制御についてさらに説明する。特に、異なる２つの同期制御方式について説明する。

【0041】

＜第１の同期制御＞
図８は、第１の同期制御における制御方法を説明する図である。第１の同期制御では、カメラユニット１００の１ステップ（所定量）分の回転制御指示を逐次受け付け、撮像素子１０６のシフト量を逐次決定し同期制御する方式である。すなわち、カメラユニット１００と撮像素子１０６の制御目標位置を細かく指定しながら、両者の駆動を同期させる。

【0042】

図８は、ある撮像条件におけるカメラユニット１００の回転量と撮像素子１０６のシフト量との関係を示している。ここでは、カメラユニット１００の１ステップの回転量をα’とし、基準位置からの回転量に応じた撮像素子１０６のシフト量ｘを算出して、算出結果に基づいて制御を行う。

【0043】

図９は、第１の同期制御における処理のフローチャートである。以下の動作は、撮像装置の各部が行う。

【0044】

ステップＳ９００では、撮像装置は、数式（３）に基づいて撮像素子１０６のシフト量を算出するために必要となる、ｘ_０（センサ垂直サイズ／２）を取得する。

【0045】

ステップＳ９０１では、撮像装置は、歪み補正ボタン（図７）がユーザー操作により押下されているか否かを判定する。例えば、監視装置１１１から送信され通信部１１０を介して入力された制御信号が歪み補正ボタンの押下を示しているか否かにより判定する。押下されている場合はＳ９０２に進み、押下されていない場合は判定を継続する。

【0046】

図７に示す４種類のボタンは、ユーザー操作により、補正したい歪みの形状に適したものが選択的に押下される。カメラユニット１００および撮像素子１０６の駆動方向（シフト方向）は、ここで選択された補正のタイプにより一意に決定される。例えば、上部補正が押下された場合は、回転制御をチルト下方向、シフト制御を下方向に制御する。また、下部補正が押下された場合は、上部補正の場合のそれぞれ逆方向に制御する。さらに、左部補正が押下された場合は、回転制御をパン右方向、シフト制御を右方向に制御する。右部補正が押下された場合は、左部補正の場合のそれぞれ逆方向に制御する。

【0047】

ステップＳ９０２では、撮像装置は、結像位置ｌを取得する。結像位置ｌは、図５に示すＯＢ間の結像距離であり、これは光学系２０２と撮像面２０３との間の結像距離を示している。結像位置ｌは、フォーカスレンズの制御に用いるフォーカスレンズ位置により取得することができる。歪み補正ボタンがユーザーにより押下されてから、押下停止まで、結像位置ｌの取得は一度のみ行えば良い。

【0048】

ステップＳ９０３では、駆動量決定部１１２は、カメラユニット１００の１ステップの回転量α’を設定する。１ステップの回転量α’が小さい程、撮像範囲を維持する効果が高くなる。

【0049】

ステップＳ９０４では、駆動量決定部１１２は、回転制御部１１４にカメラユニット１００の回転目標位置αを設定する。回転目標位置αは、Ｓ９０３で設定した１ステップ回転量α’に基づいて設定される。歪み補正開始時のカメラユニット１００の回転位置を基準として、１ステップ回転する度に１ステップの回転量α’だけ加算した量が、カメラユニット１００の回転目標位置αである。

【0050】

ステップＳ９０５では、駆動量決定部１１２は、Ｓ９０４で設定したカメラユニット１００の回転目標位置αに基づいて、撮像素子１０６のシフト目標位置ｘを決定する。この決定は、数式（３）に基づいて行い、必要となるｘ_０、ｌ、αは、それぞれ、Ｓ９００、Ｓ９０２、Ｓ９０４で取得または設定した値を用いる。

【0051】

ステップＳ９０６では、駆動量決定部１１２は、シフト制御部１１３にＳ９０５で算出した撮像素子１０６のシフト目標位置ｘを設定する。

【0052】

ステップＳ９０７では、回転制御部１１４およびシフト制御部１１３は、それぞれ、回転駆動部１１６およびシフト駆動部１１５を制御して、カメラユニット１００および撮像素子１０６を駆動する。すなわち、Ｓ９０４で設定されたカメラユニット１００の回転目標位置αおよびＳ９０６で設定された撮像素子１０６のシフト目標位置ｘに基づいて、駆動する。

【0053】

ステップＳ９０８では、回転制御部１１４およびシフト制御部１１３は、それぞれ、カメラユニット１００の回転駆動または、撮像素子１０６のシフト駆動のいずれかの制御位置がメカ駆動端に達しているか否かを判定する。いずれかが駆動端に達していると判定された場合は、歪み補正制御を終了する。いずれも駆動端に達していない場合はＳ９０９に進む。

【0054】

ステップＳ９０９では、撮像装置は、歪み補正ボタンの押下が終了しているか否かを判定する。例えば、Ｓ９０１と同様に、監視装置１１１から送信され通信部１１０を介して入力された制御信号が歪み補正ボタンの押下を示しているか否かにより判定する。終了している場合は歪み補正制御を終了し、押下されていない場合はＳ９０４に戻り歪み補正制御を継続する。

【0055】

歪み補正ボタンが押下され続けている場合は、Ｓ９０４～９０８の処理を繰り返し行うことで、撮像範囲に対する被写体の相対位置を維持したまま歪み補正を行うことができる。ここでは、カメラユニット１００を１ステップ回転制御させるのに応じて、撮像素子１０６のシフト駆動量を算出しているが、撮像素子１０６の１ステップのシフト駆動量を設定しておき、シフト駆動量に応じて回転駆動量を算出しても良い。また、シフト制御は撮像素子１０６でなく、光学系２０３を制御しても良い。

【0056】

以上のように、第１の同期制御においては、カメラユニット１００と撮像素子１０６の制御目標位置を細かく指定しながら、両者の駆動を同期させることが出来る。

【0057】

＜第２の同期制御＞
図１０は、第２の同期制御における制御方法を説明する図である。第２の同期制御では、カメラユニット１００の回転制御と撮像素子１０６のシフト制御の駆動速度を、制御開始時に指定することにより、両者の制御を同期させる。

【0058】

図１１は、第２の同期制御における処理のフローチャートである。以下の動作は、撮像装置の各部が行う。なお、Ｓ９００～Ｓ９０２、Ｓ９０７、Ｓ９０９は、第１の同期制御と同様の処理であるため説明を省略する。

【0059】

ステップＳ１１００では、撮像装置は、撮像素子１０６のシフト可動量ｘ_ｌｉｍを取得する。シフト可動量ｘ_ｌｉｍは、撮像素子１０６の現在位置からメカ駆動端までの距離である。

【0060】

ステップＳ１１０１では、撮像装置は、カメラユニット１００の回転可動量α_ｌｉｍを取得する。回転可動量α_ｌｉｍは、カメラユニット１００の現在位置からメカ駆動端までの角度である。

【0061】

ステップＳ１１０２では、駆動量決定部１１２は、撮像素子１０６のシフト最大駆動量ｘ_ｍａｘを算出する。シフト最大駆動量ｘ_ｍａｘは、カメラユニット１００をＳ１１０１で取得した回転可動量α_ｌｉｍだけ回転駆動する場合に、撮像範囲に対して被写体の相対位置を維持するために必要な撮像素子１０６のシフト駆動量である。シフト最大駆動量ｘ_ｍａｘは、数式（３）に基づいて算出される。

【0062】

ステップＳ１１０３では、駆動量決定部１１２は、Ｓ１１００で算出したシフト可動量ｘ_ｌｉｍと、Ｓ１１０２で算出したシフト最大駆動量ｘ_ｍａｘとの大小比較をする。ｘ_ｌｉｍ＞ｘ_ｍａｘの場合はＳ１１０４に進む。ｘ_ｌｉｍ＞ｘ_ｍａｘの場合は、カメラユニット１００をメカ駆動端まで制御したときに、被写体の相対位置を維持するために必要な撮像素子１０６のシフト制御をしても、撮像素子１０６がメカ駆動端に突き当たらない場合である。一方、ｘ_ｌｉｍ≦ｘ_ｍａｘの場合はＳ１１０６に進む。ｘ_ｌｉｍ≦ｘ_ｍａｘの場合は、カメラユニット１００をメカ駆動端まで制御したときに、撮像素子１０６がメカ駆動端に突き当たってしまい、被写体の相対位置を維持しきれない場合である。

【0063】

ステップＳ１１０４では、駆動量決定部１１２は、撮像素子１０６のシフト目標位置を、撮像素子１０６の現在位置ｘ_ｎｏｗに対してＳ１１０２で算出したシフト最大駆動量ｘ_ｍａｘだけ加算した位置に設定する。

【0064】

ステップＳ１１０５では、駆動量決定部１１２は、カメラユニット１００の回転目標位置を、カメラユニット１００の現在位置α_ｎｏｗに対してＳ１１０１で取得した回転可動量α_ｌｉｍだけ加算した位置に設定する。

【0065】

ステップＳ１１０６では、駆動量決定部１１２は、カメラユニット１００の回転最大駆動量α_ｍａｘを算出する。回転最大駆動量α_ｍａｘは、撮像素子１０６をＳ１１００で取得したシフト可動量ｘ_ｌｉｍだけシフト制御する場合に、撮像範囲に対して被写体の相対位置を維持するために必要なカメラユニット１００の回転駆動量である。回転最大駆動量α_ｍａｘは、数式（３）に基づいて算出される。

【0066】

ステップＳ１１０７では、駆動量決定部１１２は、撮像素子１０６のシフト目標位置を、撮像素子１０６の現在位置ｘ_ｎｏｗに対してＳ１１００で取得したシフト可動量ｘ_ｌｉｍだけ加算した位置に設定する。

【0067】

ステップＳ１１０８では、駆動量決定部１１２は、カメラユニット１００の回転目標位置を、カメラユニット１００の現在位置α_ｎｏｗに対してＳ１１０６で算出した回転最大駆動量α_ｍａｘだけ加算した位置に設定する。

【0068】

ステップＳ１１０９では、駆動量決定部１１２は、カメラユニット１００の回転速度ｖ_ｒを回転制御部１１４に設定する。なお、回転制御速度ｖ_ｒを遅くする程、ユーザーは、歪み補正の開始と終了を指示する際の微調整がしやすくなる。

【0069】

ステップＳ１１１０では、駆動量決定部１１２は、撮像素子１０６のシフト速度ｖ_ｓをシフト制御部１１３に設定する。このとき、カメラユニット１００と撮像素子１０６が同時に目標位置に到達する（すなわち、駆動時間が同じになる）ようにシフト速度ｖ_ｓを設定する。

【0070】

ステップＳ１１１１では、回転制御部１１４およびシフト制御部１１３は、それぞれ、カメラユニット１００および撮像素子１０６が目標位置に到達したか否かを判定する。両方とも到達した場合は、歪み補正制御を終了する。少なくとも一方が到達していない場合は、Ｓ９０９に進む。

【0071】

ステップＳ１１１２では、撮像装置は、歪み補正の停止処理を行う。停止処理は、歪み補正終了指示を受け付けたタイミングにおけるカメラユニット１００の向きに対して、撮像範囲が維持されるようなシフト位置まで撮像素子１０６をシフトした後、制御を終了する処理である。

【0072】

カメラユニット１００の回転量と撮像素子１０６のシフト量との間の線形性が低い場合、目標位置に到達する途中の地点では、撮像範囲に対する被写体の相対位置が完全には維持されない場合がある。そのため、ユーザー操作により制御目標位置より手前で歪み補正が終了した場合には、Ｓ１１１２による停止処理により撮像範囲を調整するのである。

【0073】

以上のように、第１の同期制御においては、カメラユニット１００と撮像素子１０６の制御の駆動速度を制御開始時に指定することで、両者の駆動を同期させることができる。

【0074】

上述の第１の同期制御および第２の同期制御は、どちらもカメラユニット１００と撮像素子１０６を同期させることが出来る。ただし、第１の同期制御では、第２の同期制御に比較して、歪み補正制御中の被写体の相対位置の維持効果が高い点で優位である。一方、第２の同期制御は、第１の同期制御に対して、計算回数や駆動回数が少ない（１回）ため高速制御を必要とする撮影条件において優位である。

【0075】

＜撮像装置のハードウェア構成＞
次に、撮像装置のハードウェア構成例について、図２０のブロック図を用いて説明する。なお、図２０に示した構成は、撮像装置に適用可能な構成の一例に過ぎず、適宜変形／変更が可能である。

【0076】

ＣＰＵ２１１は、主記憶装置２１２に格納されているコンピュータプログラムやデータを用いて処理を実行する。これによりＣＰＵ２１１は、撮像装置全体の動作制御を行うと共に、撮像装置が行うものとして前述した各処理を実行若しくは制御する。例えばＣＰＵ２１１は、主記憶装置２１２に格納されているコンピュータプログラムやデータを用いて処理を実行することで、図１に示したカメラ信号処理部１０９、駆動量決定部１１２、シフト制御部１１３、回転制御部１１４の各機能部の機能を実現する。

【0077】

主記憶装置２１２は、Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ（ＲＡＭ）等の記憶装置である。主記憶装置２１２は、補助記憶装置２１３からロードされたコンピュータプログラムやデータ、撮像部２１５による撮像画像、通信部１１０を介して監視装置１１１から受信した各種のデータ、を格納するためのエリアを有する。さらに主記憶装置２１２は、ＣＰＵ２１１が各種の処理を実行する際に用いるワークエリアを有する。このように主記憶装置２１２は、各種のエリアを適宜提供することができる。

【0078】

補助記憶装置２１３は、ハードディスクドライブ（ＨＤＤ）、Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ（ＲＯＭ）、ソリッドステートドライブ（ＳＳＤ）等の大容量情報記憶装置である。補助記憶装置２１３には、ＯＳ（オペレーティングシステム）や、撮像装置が行うものとして前述した各処理をＣＰＵ２１１に実行若しくは制御させるためのコンピュータプログラムやデータが保存されている。また補助記憶装置２１３には、通信部１１０を介して監視装置１１１から受信したデータも保存される。補助記憶装置２１３に保存されているコンピュータプログラムやデータは、ＣＰＵ２１１による制御に従って適宜主記憶装置２１２にロードされ、ＣＰＵ２１１による処理対象となる。

【0079】

駆動部２１４は、監視装置１１１から受信した撮像パラメータに基づいてカメラユニット１００を駆動する。例えば、撮像素子１０６をシフト制御するシフト駆動部１１５や、カメラユニット１００を回転制御する回転駆動部１１６に対応する。なお、駆動部２１４による制御対象は特定の対象に限らず、その他の対象（例えばカメラユニット１００の位置）であっても良い。

【0080】

カメラユニット１００は、撮像素子と光学系とを有し、光学系の光軸と撮像素子との交点を撮像中心として被写体の像を撮像素子上に結像する。撮像素子には、ＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌ－Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）等がある。通信部１１０は、監視装置１１１との間のデータ通信を行う。

【0081】

以上説明したとおり第１実施形態によれば、撮像素子のシフト制御を行う際に、撮像素子のシフト制御に同期させてカメラユニットの回転制御（チルトまたはパン）を行う。より具体的には、シフト制御により生じる撮像範囲の変化を相殺するように同期して回転制御を行う。この同期制御により、補正制御中における撮像範囲の変化を抑止することが出来、高い品位の映像を提供することが可能となる。

【0082】

（変形例）
変形例では、撮像装置が、撮像画像に基づいて被写体に生じている歪み形状を判定し、歪み形状が補正されるようにカメラユニット１００の回転制御および撮像素子１０６のシフト制御を行う例について説明する。

【0083】

図１２は、変形例に係る撮像装置が実行する処理のフローチャートである。

【0084】

ステップＳ１２００では、撮像装置は、ユーザーからの歪み補正実行指示の有無を判定する。ユーザーからの歪み補正指示が有ると判定された場合はＳ１２０１に進む。一方、指示が無いと判定された場合は引き続き歪み補正指示を待ち受ける。

【0085】

ステップＳ１２０１では、撮像装置は、撮像画像内に歪みが生じている被写体（以下、歪み被写体）が存在するか否かを判定する。歪み被写体が存在すると判定した場合はＳ１２０２に進み、歪み被写体が存在しないと判定した場合はＳ１２０３に進む。歪み被写体の有無の判定方法として、以下では、深度情報に基づく方法とエッジ検出に基づく方法を説明するが、それ以外の方法により歪み被写体の有無を判定しても良い。

【0086】

図１３は、深度情報に基づいた歪み形状判定を説明する図である。深度情報（各画素がその位置での深度値を有する深度画像など）に基づく歪み被写体有無の判定方法では、ある被写体領域において被写体距離が単調に変化している場合に、当該被写体は撮像装置と正対しておらず歪み被写体となっていると判定する。

【0087】

図１４は、エッジ検出に基づいた歪み形状判定を説明する図である。エッジ検出に基づく歪み被写体有無の判定方法では、ある被写体領域に対して検出した１対のエッジに関して上下方向（または左右方向）に沿ったエッジ間隔が一定で無い場合に歪み被写体であると判定する。

【0088】

ステップＳ１２０２では、撮像装置は、Ｓ１２０１で歪み被写体であると判定された被写体を歪み補正対象として設定する。なお、シーンによっては、撮像画像内に複数の歪み被写体が存在する場合もある。この場合には、ユーザーから補正対象の被写体の選択を受け付けることにより、補正対象の被写体を設定するとよい。

【0089】

図１５は、複数の被写体が存在する場合の歪み形状判定を説明する図である。また、図１６は、複数の被写体が存在する場合の補正対象決定を説明する図である。具体的には、図１６は、補正対象の被写体の選択をユーザーから受け付ける画面を示している。図１６では、Ｓ１２０１において歪み被写体と判定された物体毎に領域分割した複数の多角形領域を撮像画像に重畳して表示し、ユーザーから１つの多角形領域の選択を受け付ける形態の表示画面である。

【0090】

ステップＳ１２０３では、撮像装置は、撮像画像において歪み被写体（補正対象となる被写体）が存在しないことをユーザーに通知する。

【0091】

ステップＳ１２０４では、撮像装置は、補正対象となる被写体の歪み形状種別（上部歪み、下部歪み、右部歪み、左部歪み）を判定する。歪み形状判定の場合にも、深度情報に基づく判定や、エッジ検出に基づく判定が可能である。

【0092】

例えば、図１３の撮像画像１３００に対応する深度情報において、撮像画像１３００の建物領域に対する深度（被写体距離）が画像下端から上端の方向にかけて近くから遠くへ変化していることを示している。遠近法により、距離が近い程大きく見え、遠い程小さく見える。そのため、撮像画像１３００の建物に生じる歪み形状は「上部歪み」（画像下方向が大きく上方向が小さい）であると判定できる。

【0093】

同様に、撮像画像１３０１に対応する深度情報において、撮像画像１３０１の建物領域に対する深度（被写体距離）が画像左端から右端の方向にかけて近くから遠くへ変化していることを示している。そのため、撮像画像１３０１の建物に生じる歪み形状は「右部歪み」（画像左方向が大きく右方向が小さい）であると判定できる。このように、深度情報を活用し、撮像画像内の被写体（建物）における深度が変化している方向に基づいて歪み形状を判定することが可能である。

【0094】

また、図１４の撮像画像１４００においては、撮像画像内の被写体に対して検出した１対のエッジに関して、１対のエッジ間の間隔が画像下端から上端の方向にかけて狭くなっていることを示している。この場合、被写体に生じる歪み形状は「上部歪み」であると判定できる。さらに、撮像画像１４０１においては、撮像画像内の被写体に対して検出した１対のエッジに関して、１対のエッジ間の間隔が画像左端から右端の方向にかけて狭くなっていることを示している。この場合、被写体に生じる歪み形状は「右部歪み」であると判定できる。このように、被写体に対して検出した１対のエッジ間のエッジ間隔が変化している方向に基づいて当該被写体の歪み形状を判定することが可能である。

【0095】

ステップＳ１２０５では、撮像装置は、Ｓ１２０４で判定した歪み形状に基づいて、各歪み形状に適したカメラユニット１００の回転制御および撮像素子１０６のシフト制御の駆動方向を設定する。

【0096】

図１７は、各歪み形状に対する回転制御およびシフト制御の関係を示す図である。図１７に示されるように、各歪み形状に対し、それを補正するためのカメラユニット１００および撮像素子１０６の駆動方向は一意に決定可能である。

【0097】

ステップＳ１２０６では、撮像装置は、歪み補正駆動を行う。ここでは所定量ずつ歪み補正駆動（ステップ駆動）を行いＳ１２０６～Ｓ１２０８を繰り返すことを想定する。なお、この処理は、図９を参照して上述した処理（Ｓ９０２～Ｓ９０７）と同様であるため説明は割愛する。

【0098】

ステップＳ１２０７では、撮像装置は、補正対象となる被写体に生じている現在の歪み量を算出する。歪み量算出の場合にも、深度情報に基づく算出や、エッジ検出に基づく算出が可能である。

【0099】

図１８は、深度情報に基づいた歪み量算出を説明する図である。図１８は、Ｓ１２０６の歪み補正駆動中における撮像画像の変化を例示的に示している。撮像画像１８００は、補正対象の被写体の上部と下部で深度（被写体距離）の差が大きいことを示している。この場合、歪み量は大きい値で算出される。１ステップ以上の歪み補正駆動を行った後に得られる撮像画像１８０１は、撮像画像１８００に比べて補正対象の被写体の上部と下部での深度の差が小さくなっている。そのため、歪み量は、撮像画像１８００と比較して小さい値で算出される。更に歪み補正駆動を行った後に得られる撮像画像１８０２は、補正対象の被写体の上部と下部での深度が略同一となっている。そのため、歪み量は０に近い値で算出される。このように深度情報に基づいて歪み量の算出を行う場合、補正対象の被写体における複数領域（例えば上部と下部）の深度差を歪み量として評価することが可能である。

【0100】

図１９は、エッジ検出に基づいた歪み量算出を説明する図である。図１９は、Ｓ１２０６の歪み補正駆動中における撮像画像の変化を例示的に示している。撮像画像１９００は、補正対象の被写体の上部と下部で１対のエッジ間のエッジ間隔の差が大きいことを示している。この場合、歪み量は大きい値で算出される。１ステップ以上の歪み補正駆動を行った後に得られる撮像画像１９０１は、撮像画像１９００に比べて補正対象の被写体の上部と下部でのエッジ間隔の差が小さくなっている。そのため、歪み量は、撮像画像１９００と比較して小さい値で算出される。更に歪み補正駆動を行った後に得られる撮像画像１９０２は、補正対象の被写体の上部と下部でのエッジ間隔が略同一となっている。そのため、歪み量は０に近い値で算出される。このようにエッジ検出に基づいて歪み量の算出を行う場合、補正対象の被写体における複数領域（例えば上部と下部）のエッジ間隔の差を歪み量として評価することが可能である。

【0101】

ステップＳ１２０８では、撮像装置は、Ｓ１２０７で算出された歪み量が所定の閾値以下であるか否かを判定する。歪み量が所定の閾値以下で無い場合は、歪み補正が十分でないためＳ１２０６へ戻る。一方、歪み量が所定の閾値以下となった場合はＳ１２０９に進む。

【0102】

ステップＳ１２０９では、撮像装置は、歪み形状判定（Ｓ１２０４）が２回行われているか否かを判定する。これは、被写体によっては、撮像画像の上下方向の歪み（上部歪みまたは下部歪み）と左右方向の歪み（右部歪みまたは左部歪み）の両方が存在する場合があるためである。一度の歪み形状判定に基づく補正（Ｓ１２０４～Ｓ１２０８）では、上下方向または左右方向の何れか一方の歪みしか補正されないため、歪み形状判定が２回行われているか否かを判定するのである。

【0103】

以上説明したように、撮像装置は、撮像画像に対応する深度情報や撮像画像に対するエッジ検出の結果に基づいて、撮像画像の被写体に生じている歪みを補正することが可能である。

【0104】

本明細書の開示は、以下の撮像装置、制御方法およびプログラムを含む。
（項目１）
撮像光学系および撮像素子を有する撮像部と、
前記撮像部の向きをパン方向および／またはチルト方向に移動する姿勢制御手段と、
前記撮像光学系および前記撮像素子の少なくとも一方を撮像面に平行な面内で移動させるシフト制御手段と、
前記姿勢制御手段および前記シフト制御手段の一方を駆動する際に、該一方の駆動による前記撮像部の撮像範囲の変化が相殺されるように、該一方の駆動に同期して他方を駆動する同期制御手段と、
前記撮像部により得られる撮像画像における被写体の歪み量を逐次決定する決定手段と、
を有し、
前記同期制御手段は、前記決定手段により決定された歪み量が所定の閾値以下となった場合に駆動を停止する
ことを特徴とする撮像装置。
（項目２）
前記シフト制御手段は、前記撮像部により得られる撮像画像における被写体の歪みが補償されるように、前記撮像光学系および前記撮像素子の少なくとも一方を撮像面に平行な面内で移動させる
ことを特徴とする項目１に記載の撮像装置。
（項目３）
前記同期制御手段は、前記一方における第１の駆動量に基づいて前記他方における第２の駆動量を決定する
ことを特徴とする項目１または２に記載の撮像装置。
（項目４）
前記同期制御手段は、更に、前記撮像素子のサイズ、前記撮像光学系から前記撮像素子までの結像距離に基づいて、前記第２の駆動量を決定する
ことを特徴とする項目３に記載の撮像装置。
（項目５）
前記シフト制御手段に対するユーザー指示を受け付ける受付手段を更に有する
ことを特徴とする項目１乃至４の何れか１項目に記載の撮像装置。
（項目６）
前記受付手段は、前記シフト制御手段を所定量だけ駆動させる駆動指示を逐次受け付けるよう構成されており、
前記同期制御手段は、前記受付手段により前記駆動指示を受け付けた場合、該駆動指示に基づき前記シフト制御手段を所定量だけ駆動し、該所定量の駆動に応じた前記姿勢制御手段の駆動量を逐次決定し駆動する
ことを特徴とする項目５に記載の撮像装置。
（項目７）
前記受付手段は、前記シフト制御手段を駆動させる駆動指示を受け付けるよう構成されており、
前記同期制御手段は、前記受付手段により前記駆動指示を受け付けた場合、前記姿勢制御手段および前記シフト制御手段の両方の駆動速度を決定し駆動開始する
ことを特徴とする項目５に記載の撮像装置。
（項目８）
前記同期制御手段は、前記受付手段により前記駆動指示を受け付けた場合、前記姿勢制御手段および前記シフト制御手段の両方の駆動時間が同じになるように前記駆動速度を決定する
ことを特徴とする項目７に記載の撮像装置。
（項目９）
前記受付手段は、前記シフト制御手段の駆動を停止させる駆動停止指示を更に受け付けるよう構成されており、
前記同期制御手段は、前記姿勢制御手段および前記シフト制御手段を駆動している間に前記受付手段により前記駆動停止指示を受け付けた場合、該駆動停止指示を受け付けたタイミングにおける前記撮像部の向きおよび前記撮像素子のシフト位置の一方に基づいて他方を調整する
ことを特徴とする項目７または８に記載の撮像装置。
（項目１０）
前記駆動指示は、前記シフト制御手段による前記撮像素子のシフト方向の情報を含む
ことを特徴とする項目６乃至９の何れか１項目に記載の撮像装置。
（項目１１）
前記シフト制御手段を所定量ずつ繰り返し駆動させる駆動開始指示を受け付ける受付手段を更に有し、
前記シフト制御手段は、前記受付手段により前記駆動開始指示を受け付けた場合に駆動を開始する
ことを特徴とする項目１乃至４の何れか１項目に記載の撮像装置。
（項目１２）
前記撮像部により得られる撮像画像に対応する深度情報を取得する深度取得手段を更に有し、
前記決定手段は、前記撮像画像に含まれる被写体領域内の深度の差に基づいて前記歪み量を決定する
ことを特徴とする項目１１に記載の撮像装置。
（項目１３）
前記撮像部により得られる撮像画像に含まれる被写体のエッジを検出するエッジ検出手段を更に有し、
前記決定手段は、前記エッジ検出手段により前記被写体に対して検出された１対のエッジ間のエッジ間隔の差に基づいて前記歪み量を決定する
ことを特徴とする項目１１に記載の撮像装置。
（項目１４）
前記撮像部により得られる撮像画像における被写体の歪み形状種別を決定する決定手段を更に有し、
前記姿勢制御手段および前記シフト制御手段それぞれにおける駆動方向は、前記決定手段により決定された歪み形状種別に基づいて決定される
ことを特徴とする項目１乃至４の何れか１項目に記載の撮像装置。
（項目１５）
前記撮像部により得られる撮像画像に対応する深度情報を取得する深度取得手段を更に有し、
前記決定手段は、前記撮像画像に含まれる被写体領域内の深度の変化方向に基づいて前記歪み形状種別を決定する
ことを特徴とする項目１４に記載の撮像装置。
（項目１６）
前記撮像部により得られる撮像画像に含まれる被写体のエッジを検出するエッジ検出手段を更に有し、
前記決定手段は、前記エッジ検出手段により前記被写体に対して検出された１対のエッジ間のエッジ間隔の変化方向に基づいて前記歪み形状種別を決定する
ことを特徴とする項目１４に記載の撮像装置。
（項目１７）
前記撮像画像に歪みが生じている複数の被写体が存在する場合、前記決定手段による決定の対象となる１つの被写体の選択を受け付ける受付手段を更に有する
ことを特徴とする項目１４乃至１６の何れか１項目に記載の撮像装置。
（項目１８）
撮像装置の制御方法であって、
前記撮像装置は、
撮像光学系および撮像素子を有する撮像部と、
前記撮像部の向きをパン方向および／またはチルト方向に移動する姿勢制御手段と、
前記撮像光学系および前記撮像素子の少なくとも一方を撮像面に平行な面内で移動させるシフト制御手段と、
を有し、
前記制御方法は、
前記撮像部により得られる撮像画像における被写体の歪み量を逐次決定する決定工程と、
前記姿勢制御手段および前記シフト制御手段の一方を駆動する際に、該一方の駆動による前記撮像部の撮像範囲の変化が相殺されるように、該一方の駆動に同期して他方を駆動する同期制御工程と、
を含み、
前記同期制御工程では、前記決定工程により決定された歪み量が所定の閾値以下となった場合に前記姿勢制御手段および前記シフト制御手段の駆動を停止する
ことを特徴とする制御方法。
（項目１９）
撮像装置の制御方法をコンピュータに実行させるためのプログラムであって、
前記撮像装置は、
撮像光学系および撮像素子を有する撮像部と、
前記撮像部の向きをパン方向および／またはチルト方向に移動する姿勢制御手段と、
前記撮像光学系および前記撮像素子の少なくとも一方を撮像面に平行な面内で移動させるシフト制御手段と、
を有し、
前記制御方法は、
前記撮像部により得られる撮像画像における被写体の歪み量を逐次決定する決定工程と、
前記姿勢制御手段および前記シフト制御手段の一方を駆動する際に、該一方の駆動による前記撮像部の撮像範囲の変化が相殺されるように、該一方の駆動に同期して他方を駆動する同期制御工程と、
を含み、
前記同期制御工程では、前記決定工程により決定された歪み量が所定の閾値以下となった場合に前記姿勢制御手段および前記シフト制御手段の駆動を停止する
ことを特徴とするプログラム。

【0105】

（その他の実施例）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

【0106】

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

【符号の説明】

【0107】

１００ カメラユニット； １０１ ズームレンズ； １０２ フォーカスレンズ； １０３ 絞りユニット； １０４ バンドパスフィルタ； １０５ カラーフィルタ； １０６ 撮像素子； １０７ ＡＧＣ； １０８ ＡＤ変換機； １０９ カメラ信号処理部； １１０ 通信部； １１１ 監視装置； １１２ 駆動量決定部； １１３ シフト制御部； １１４ 回転制御部； １１５ シフト駆動部； １１６ 回転駆動部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】