特許 7580955 撮像装置、方法、プログラム及び記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-01

(45)【発行日】2024-11-12

(54)【発明の名称】撮像装置、方法、プログラム及び記憶媒体

(51)【国際特許分類】

   H04N 23/69 20230101AFI20241105BHJP

   G03B 5/00 20210101ALI20241105BHJP

   H04N 23/68 20230101ALI20241105BHJP

【ＦＩ】

H04N23/69

G03B5/00 J

H04N23/68

【請求項の数】 10

(21)【出願番号】P 2020115057

(22)【出願日】2020-07-02

(65)【公開番号】P2022012896

(43)【公開日】2022-01-17

【審査請求日】2023-06-28

(73)【特許権者】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】芦谷 智史

【審査官】彦田 克文

(56)【参考文献】

【文献】特開２０１７－１０６９４７（ＪＰ，Ａ）

【文献】特開２０１８－１４６６０６（ＪＰ，Ａ）

【文献】特開２０１９－１０２８３３（ＪＰ，Ａ）

【文献】特開２００７－０１９７４３（ＪＰ，Ａ）

【文献】特開２０１３－００９０３９（ＪＰ，Ａ）

【文献】特開２００７－２１５１１４（ＪＰ，Ａ）

【文献】特開２００８－０４８１５２（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ２３／６８

Ｈ０４Ｎ ２３／６９

Ｇ０３Ｂ ５／００

(57)【特許請求の範囲】

【請求項1】

撮像光学系を介して被写体の画像を撮像する撮像手段と、
前記撮像光学系の画角を変更するズーム駆動手段と、
前記撮像手段によって撮像される画像に基づいて、前記撮像手段によって撮像される画像において動きベクトルを検出する領域を決定する決定手段と、
前記決定手段により決定した前記領域から検出される動きベクトルに基づいて、前記撮像手段によって撮像される画像の振れ量を検出する振れ検出手段と、
前記振れ検出手段により検出した前記振れ量に基づいて前記撮像手段によって撮像される画像の振れを補正する振れ補正手段と、
前記決定手段により決定した前記領域が前記撮像光学系の画角から外れないように前記ズーム駆動手段を制御する制御手段と、
を有することを特徴とする撮像装置。

【請求項2】

請求項１に記載の撮像装置において、
少なくとも前記撮像光学系をパン方向に駆動するパン駆動手段と
少なくとも前記撮像光学系をチルト方向に駆動するチルト駆動手段と
をさらに有し、
前記振れ補正手段は、前記振れ検出手段により検出した前記振れ量に応じて前記パン駆動手段とチルト駆動手段の少なくとも一方を用いて前記撮像光学系を駆動することにより前記撮像手段によって撮像される画像の振れを補正することを特徴とする撮像装置。

【請求項3】

請求項１又は２に記載の撮像装置において、
前記撮像光学系は、振れ補正光学系を有し、
前記振れ補正手段は、前記振れ検出手段により検出した前記振れ量に応じて前記振れ補正光学系の駆動を制御することにより前記撮像手段によって撮像される画像の振れを補正することを特徴とする撮像装置。

【請求項4】

請求項１から３のいずれか一項に記載の撮像装置において、
前記振れ補正手段は、前記撮像手段により撮像される画像から、前記振れ検出手段により検出した振れ量に応じた範囲を切り出すことにより前記撮像手段によって撮像される画像の振れを補正することを特徴とする撮像装置。

【請求項5】

請求項１から４のいずれか一項に記載の撮像装置において、
前記制御手段は、前記ズーム駆動手段により光学ズームすると前記決定手段により決定した前記領域が前記撮像光学系の画角から外れないように、デジタルズームを行うように前記撮像手段を制御することを特徴とする撮像装置。

【請求項6】

請求項１から５のいずれか一項に記載の撮像装置において、
前記制御手段は、前記振れ検出手段により検出した前記撮像手段によって撮像される画像の振れ量と前記振れ補正手段により補正した補正量との差分に基づいて、前記ズーム駆動手段を制御することを特徴とする撮像装置。

【請求項7】

請求項１から６のいずれか一項に記載の撮像装置において、
撮像範囲の指定を受け付ける受付手段をさらに有し、
前記制御手段は、前記決定手段により決定した複数の前記領域のうち前記受付手段が指定を受け付けた撮像範囲に近い領域が前記撮像光学系の画角に含まれるように前記ズーム駆動手段を制御することを特徴とする撮像装置。

【請求項8】

撮像装置を制御する方法であって、
撮像光学系を介して被写体の画像を撮像する撮像ステップと、
前記撮像ステップによって撮像される画像に基づいて、前記撮像ステップによって撮像される画像において動きベクトルを検出する領域を決定する決定ステップと、
前記決定ステップにより決定した前記領域から検出される動きベクトルに基づいて、前記撮像ステップによって撮像される画像の振れ量を検出する検出ステップと、
前記振れ検出ステップにより検出した前記振れ量に基づいて前記撮像ステップによって撮像される画像の振れを補正する補正ステップと、
前記決定ステップにより決定した前記領域が前記撮像光学系の画角から外れないように前記撮像光学系の画角を変更するズーム駆動手段を制御する制御ステップと、
を有することを特徴とする方法。

【請求項9】

コンピュータに撮像装置を制御する方法を実行させるためのプログラムであって、前記方法は、
撮像光学系を介して被写体の画像を撮像する撮像ステップと、
前記撮像ステップによって撮像される画像に基づいて、前記撮像ステップによって撮像される画像において動きベクトルを検出する領域を決定する決定ステップと、
前記決定ステップにより決定した前記領域から検出される動きベクトルに基づいて、前記撮像ステップによって撮像される画像の振れ量を検出する検出ステップと、
前記振れ検出ステップにより検出した前記振れ量に基づいて前記撮像ステップによって撮像される画像の振れを補正する補正ステップと、
前記決定ステップにより決定した前記領域が前記撮像光学系の画角から外れないように前記撮像光学系の画角を変更するズーム駆動手段を制御する制御ステップと、
を有することを特徴とするプログラム。

【請求項10】

請求項９に記載のプログラムを記憶したコンピュータで読み取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像装置、方法、プログラム及び記憶媒体に関する。

【背景技術】

【0002】

従来より、被写体が検出領域に収まるように光学防振の制御を行う技術が知られている（たとえば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１７－１０６９４７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明が解決しようとする課題は、動きベクトルを用いた良好な防振制御を行うことである。

【課題を解決するための手段】

【0005】

本発明の一態様に係る撮像装置は、撮像光学系を介して被写体の画像を撮像する撮像手段と、前記撮像光学系の画角を変更するズーム駆動手段と、前記撮像手段によって撮像される画像に基づいて、前記撮像手段によって撮像される画像において動きベクトルを検出する領域を決定する決定手段と、前記決定手段により決定した前記領域から検出される動きベクトルに基づいて、前記撮像手段によって撮像される画像の振れ量を検出する振れ検出手段と、前記振れ検出手段により検出した前記振れ量に基づいて前記撮像手段によって撮像される画像の振れを補正する振れ補正手段と、前記決定手段により決定した前記領域が前記撮像光学系の画角から外れないように前記ズーム駆動手段を制御する制御手段と、を有する。

【図面の簡単な説明】

【0006】

【図1】第１の実施形態におけるネットワークカメラの機能ブロック図である。

【図2】第１の実施形態におけるネットワークカメラのメカ機構図である。

【図3】第１の実施形態における防振制御中のカメラヘッドの動きを示す図である。

【図4】第１の実施形態における防振制御処理を説明するフローチャートである。

【図5】第１の実施形態における撮影画像中の振れ検出領域と指定画角の関係の例を示す図

【図6】第１の実施形態におけるズーム制御処理を説明するフローチャートである。

【図7】第１の実施形態におけるデジタルズームを利用したズーム制御処理を説明するフローチャートである。

【図8】第２の実施形態における撮影画像中の振れ検出領域と指定画角の関係の例を示す図である。

【図9】第３の実施形態における撮影画像中の振れ検出領域と指定画角の関係の例を示す図である。

【図10】第４の実施形態におけるネットワークカメラの機能ブロック図である。

【発明を実施するための形態】

【0007】

（第１の実施形態）
図１は、本実施形態に係るネットワークカメラの機能ブロック構成図である。ネットワークカメラ１０００は、ネットワーク３０００を介して不図示のクライアント装置（情報処理装置）と相互に通信可能な状態に接続されている。

【0008】

ネットワークカメラ１０００は、撮像部１００１、画像処理部１００２、システム制御部１００３、振れ検出部１００４、ズーム駆動部１００５、パン駆動部１００６、チルト駆動部１００７、パンチルトズーム制御部１００８、通信部１００９を備える。

【0009】

図１を参照して、ネットワークカメラ１０００の各部構成と機能について説明する。

【0010】

撮像部１００１は、レンズ（撮像光学系）、撮像素子及びその制御群から構成され、被写体の像の撮像及び電気信号への変換を行う。

【0011】

画像処理部１００２は、撮像部１００１において撮像、光電変換された信号の所定の現像処理、圧縮符号化処理を行い、画像データを生成し、システム制御部１００３へ伝達する。また、画像処理部１００２は、撮影した画像を解析し動きベクトルを用いて画像の振れを検出する処理を行う。検出した振れの情報は、パンチルトズーム制御部１００８に伝達し、後述する防振制御に用いる。

【0012】

システム制御部１００３は、通信部１００９を介して、生成された画像データをクライアント装置に配信する。また通信部１００９は、クライアント装置から送信されるカメラ制御コマンドを受信（受付）し、システム制御部１００３へ伝達する。またカメラ制御コマンドに対するレスポンスをクライアント装置へ送信する。システム制御部１００３は、伝達されたカメラ制御コマンドを解析し、コマンドに応じた処理を行う。例えば、画像処理部１００２に対して画質の設定指示、パンチルトズーム制御部１００８に対してパン、チルト、ズーム動作の指示を行う。画像処理部１００２は伝達された指示に基づいて、画像処理を行う。またパンチルトズーム制御部１００８は伝達された指示に基づいて、ズーム駆動部１００５、パン駆動部１００６、及びチルト駆動部１００７の制御を行う。

【0013】

振れ検出部１００４は、ジャイロセンサー等により構成され、撮像部１００１のパン方向およびチルト方向の角速度を検出する。検出した角速度情報はパンチルト制御部１００７に伝達し、後述する防振制御に用いる。

【0014】

ズーム駆動部１００５は、ズーム動作を行うメカ駆動系、その駆動源のモータ、駆動部の角度を検出するエンコーダ等により構成される。また、パン駆動部１００６は、パン動作を行うメカ駆動系、その駆動源のモータ、駆動部の角度を検出するセンサ等により構成される。また、チルト駆動部１００６は、チルト動作を行うメカ駆動系、その駆動源のモータ、駆動部の角度を検出するセンサ等により構成される。ズーム駆動部１００５、パン駆動部１００６、及びチルト駆動部１００７の動作は、パンチルトズーム制御部１００８により制御される。

【0015】

図２は、本実施形態に係るパンチルト動作可能なネットワークカメラのメカ機構図である。図２（ａ）は上面から見た図、図２（ｂ）は側面から見た図を示す。図２において、１１０１はボトムケース、１１０２はターンテーブル、１１０３はカメラヘッド支柱、１１０４はカメラヘッドである。

【0016】

図２を参照して、パンチルト駆動部のメカ機構について説明する。図２において、パン駆動部はボトムケース１１０１とターンテーブル１１０２で構成され、ターンテーブル１１０２が水平方向に回転する。本実施形態のネットワークカメラのパン駆動部は左右方向に－１７５度から＋１７５度まで回転することができる。

【0017】

チルト駆動部はターンテーブル１１０２の上に備えられたカメラヘッド支柱１１０３とカメラヘッド１１０４で構成され、カメラヘッド１１０４が垂直方向に回転する。本実施形態のネットワークカメラのチルト駆動部は水平方向を０度として斜め下方向－４５°から真上方向９０度まで回転することができる。

【0018】

このように本実施形態のネットワークカメラは、カメラヘッドを水平方向及び垂直方向に回転することで撮影方向を変えて撮影することができる。また、このパンチルト駆動部を用いて、振れ検出部で検出した振れをキャンセルするようにカメラヘッドを駆動することで、振れを低減した画像を撮影する構成となっている。

【0019】

図３はＰＴ防振制御中のカメラヘッドの動きを示す図である。図３において、１１０４Ａは振れがない状態のカメラヘッド、１１０４Ｂは振れにより前方に傾いた状態のカメラヘッド、１１０４Ｃは振れにより後方に傾いた状態のカメラヘッド、２００１は撮影方向を示している。

【0020】

図３において、振れがない状態では１１０４Ａで示すようにカメラヘッドが水平方向を向き、１２０１で示す撮影方向を撮影している。この状態から１１０４Ｃで示すようにカメラが設置面の振れにより後方に傾いた場合には、チルト角度を下方向に制御することで、１２０１で示す撮影方向を維持する。また１１０４Ｂで示すようにカメラが設置面の振れにより前方に傾いた場合には、チルト角度を上方向に制御することで、１２０１で示す撮影方向を維持する。このようにＰＴ防振制御では、設置面の振れによるカメラッドの傾きを検出し、撮影方向を維持するようにＰＴ駆動部を制御することで、振れを低減した画像を撮影する。

【0021】

図４はＰＴ防振制御処理Ｓ１０００を例示したフローチャートである。カメラが撮影開始するとパンチルトズーム制御部１００８は、Ｓ１０００の処理に進む。

【0022】

ステップＳ１００１で、パンチルトズーム制御部１００８は、振れ検出部１００４よりパン方向の角速度、およびチルト方向の角速度を取得する。

【0023】

ステップＳ１００２で、パンチルトズーム制御部１００８は、取得したパン方向の角速度を積分しパン角度値を算出する。また取得したチルト方向の角速度を時間積分によりチルト角度値を算出する。

【0024】

ステップＳ１００３で、画像処理部１００２は、動きベクトルを算出する。動きベクトルは、例えばブロックマッチングを用いて求める。ブロックマッチングでは、画像全体を例えば１６画素×１６画素のブロックに分割する。分割した一つのブロックについて、前フレームの中をスライドさせていき、最も合致する箇所を探索する。合致の判定については、ブロック内の各画素について輝度差の絶対値を取り、その総和を評価値とし、この評価値が最小となる箇所を探す。前フレームで最も合致した箇所の位置と現在のフレームの位置より対象ブロックの移動量を動きベクトルとして求める。他のブロックも同様に探索し、全てのブロックについて動きベクトルを求める。こうして算出した各ブロックの動きベクトルについて、平均をとり画像全体としての動きベクトルを求める。パンチルトズーム制御部１００８は、画像処理１００２で求めた動きベクトルを取得する。

【0025】

ステップＳ１００４で、パンチルトズーム制御部１００８は、動きベクトルをパン（水平）方向とチルト（垂直）方向に分解し、また角度値に変換しパン角度値及びチルト角度値を算出する。

【0026】

ステップＳ１００５で、パンチルトズーム制御部１００８は、算出したパン角度値をよりパン方向の補正角度（補正量）を算出する。また算出したチルト角度値よりチルト方向の補正角度（補正量）を算出する。補正角度は振れにより発生した角度分をキャンセルするよう算出する。例えばチルト角度値０．１度となる場合、補正角度は－０．１度とする。ジャイロセンサーで検出した振れと動きベクトルで検出した振れについてはその特性により有効な情報を利用する。例えば、低い周波数の振れは動きベクトルの振れ検出方法を主に利用し、一方高い周波数の振れは、ジャイロセンサーの振れ検出方法を主に利用するなど使い分ける。

【0027】

ステップＳ１００６で、パンチルトズーム制御部１００８は、算出したパン方向およびチルト方向の補正角度に応じて、パン駆動部１００６、およびチルト駆動部１００７に駆動指示を行い、処理を終了する。

【0028】

上記の通り、ＰＴ防振制御ではパン方向およびチルト方向それぞれ検出した振れに応じてその振れをキャンセルするようにパンチルト駆動部を制御し振れを低減する。

【0029】

図５は、本実施形態のカメラが船に設置され、海の方向を撮影した際の撮影画像の例を示す図である。図５において、２００１は広角端での撮像画角、２００２は振れ検出領域、２００３Ａ及び２００３ＢはＰＴＺ指定画角（撮像範囲）、２００４は振れ検出可能画角を示している。

【0030】

図５のように広角端での撮影画角２００１では、画像の上部に島影が含まれるよう撮影されている。２００２で示すこれらの領域では固定しておりかつエッジ等特徴点をもつ被写体が含まれており動きベクトルにより振れが検出可能となる。それ以外の領域では、空や海など特徴点が少ない領域のため振れが正しく検出できない。広角端の撮影画角２００１では、２００２で示す振れ検出可能領域を利用して先の説明のように動きベクトルを用いて振れを検出し、検出した振れに応じて防振制御を行う。

【0031】

この状態からＰＴＺ操作により画角が変化する場合、例えば２００３Ａで示す画角に変化した場合には、撮影画角の中に動きベクトル検出可能領域２００２が含まれているため、振れは検出可能であり、防振制御が有効に行える状態となる。一方、２００３Ｂで示す画角に変化した場合には、撮影画角の中に動きベクトル検出可能領域２００２が含まれていないため、振れを正しく検出することができない。そのため防振制御が有効に行えず振れのある画像となってしまう。そこで指定された２００３Ｂの画角まで光学ズームするのではなく、その画角より広角側の動きベクトル検出可能領域２００２を含む２００４で示す画角までに光学ズームを制限させることで、動きベクトルによる振れ検出可能となる。これにより、防振制御を有効に行える状態を維持し、振れを低減した画像を撮影することができる。

【0032】

図６はズーム制御処理Ｓ２０００を例示したフローチャートである。カメラがＰＴＺ操作指示を受けるとパンチルトズーム制御部１００８は、Ｓ２０００の処理に進む。

【0033】

ステップＳ２００１で、パンチルトズーム制御部１００８は、振れ検出領域を抽出する。振れ検出領域の抽出では、動きベクトルを正しく検出することができる固定しておりかつエッジ等特徴点をもった被写体を含む領域を抽出する。例えば、エッジ検出を用いて画像の中で輝度が急に変化している箇所を検出し、撮影画像中の物体の輪郭を抽出する。その輪郭で囲われた領域を振れ検出領域とする。例えば、図５における２００２で示す箇所を振れ検出領域として抽出する。

【0034】

ステップＳ２００２で、パンチルトズーム制御部１００８は、振れ検出領域が指定された画角に含まれているか否かを判定する。含まれる場合はＳ２００３、含まれない場合はＳ２００４の処理に進む。

【0035】

ステップＳ２００３で、パンチルトズーム制御部１００８は、指定された画角まで光学ズームを行う。

【0036】

ステップＳ２００４で、パンチルトズーム制御部１００８は、振れ検出可能画角を算出する。振れ検出可能画角の算出では、指定された画角を中心に広角側に広げ、ステップ２００１で抽出した振れ検出領域が含まれる画角を算出する。例えば、広角端の画角を水平４０度、垂直３０度とし、その中心を０度として水平－２０度から＋２０度、垂直－１５度から＋１５度の座標で表すとする。その中で、振れ検出領域が水平－１７度から＋５度、垂直８度から９．５度とする。そして、パン＋１０度、チルト＋２度、ズームを水平画角で１６度のＰＴＺ操作が指示されたとする。ＰＴＺ操作された時の画角を座標上で表現すると、水平＋２度から＋１８度、垂直－４度から＋８度までの範囲となり、振れ検出領域を含まない範囲となっている。この状態から振れ検出領域を含む範囲まで広げる。

【0037】

指定画角の範囲垂直８度と振れ検出領域の範囲垂直９．５度よりその差分は、
９．５－８＝１．５度
となる。垂直画角を上下１．５度ずつ広げると、－５．５度から＋９．５度までの１５度となり、そのとき垂直画角は、
１５×４／３＝２０度
となる。画角範囲は水平０度から＋２０度、垂直－５．５度～＋９．５度の範囲となり、振れ検出領域を含む画角となる。このように振れ検出可能画角は２０度と求める。

【0038】

例としては指定された画角を中心に画角を広角に広げるよう求めたが、これに限らない。例えば、指定画角の中心を振れ検出領域側にずらすことで、振れ検出領域を含めるために画角を広げる範囲を狭めることができ、より光学ズームの利用制限を低減することができる。

【0039】

ステップＳ２００５で、パンチルトズーム制御部１００８は、振れ検出可能画角まで光学ズームを行い、処理を終了する。

【0040】

以上、説明した通り、動きベクトルによる振れ検出を用いた防振制御において、撮影画像の中の動きベクトル検出可能な領域を抽出し、抽出領域が画角（視野）から外れないような光学ズーム値を求める。そして、この光学ズーム値を用いてズーム制御することで、どのような画角においても防振性能を考慮した画角制御を行うことができる。

【0041】

尚、本実施形態では、振れ検出領域を含むようにズーム動作を制限する方法を示したがこれに限らない。例えば、制限した光学ズームでの画角から、指定の画角までをデジタルズームするとしても構わない。これにより防振性能を維持しながら指定された画角を撮影し、画角指定の制限を低減することができる。

【0042】

図７はデジタルズームを利用したズーム制御処理Ｓ３０００を例示したフローチャートである。カメラがＰＴＺ操作指示を受けるとパンチルトズーム制御部１００８は、Ｓ３０００の処理に進む。

【0043】

ステップＳ３００１で、パンチルトズーム制御部１００８は、先に説明した方法と同様に振れ検出領域を抽出する。

【0044】

ステップＳ３００２で、パンチルトズーム制御部１００８は、振れ検出画角が指定された画角に含まれているか否かを判定する。含まれる場合はＳ３００３、含まれない場合はＳ３００４の処理に進む。

【0045】

ステップＳ３００３で、パンチルトズーム制御部１００８は、指定された画角まで光学ズームを行う。

【0046】

ステップＳ３００４で、パンチルトズーム制御部１００８は、先に説明した方法と同様に振れ検出可能画角を算出する。

【0047】

ステップＳ３００５で、パンチルトズーム制御部１００８は、デジタルズーム倍率を算出する。例えば、先に説明した例のように指定画角１６度に対して、振れ検出可能画角２０度として光学ズームを制限した場合、
２０／１６＝１．２５
より、デジタルズーム倍率を１．２５倍とする。

【0048】

ステップＳ３００６で、パンチルトズーム制御部１００８は、振れ検出画可能角まで光学ズームを行う。

【0049】

ステップＳ３００７で、パンチルトズーム制御部１００８は、デジタルズーム倍率までデジタルズームを行い、処理を終了する。

【0050】

また、本実施形態では、動きベクトルによる振れ検出領域を含むようにズーム動作を制限する方法を示したがこれに限らない。例えば、状況によっては多少振れを許容しても光学ズームを利用したい場合も考えられる。そこで、防振制御を優先して光学ズームを制限する制御方法と、別に振れを許容して光学ズームを優先する制御方法とを用意し、その制御方法を切り替え可能にするとしてもよい。

【0051】

また、本実施形態では、動きベクトルによる振れ検出領域を含むようにズーム動作を制限する方法を示したがこれに限らない。例えば動きベクトルによる振れ検出手段と、ジャイロセンサー等の動きベクトルとは別の振れ検出手段との複数の振れ検出手段を備えることができる。動きベクトルによる振れ検出が有効な画角においては、動きベクトルによる振れ検出手段で検出した振れを主に利用する。また、動きベクトルによる振れ検出が有効でない画角においては、動きベクトルとは別の振れ検出手段で検出した振れを主に利用して防振制御を行うことができる。

【0052】

また、本実施形態では、防振制御手段として、パンチルト駆動部により振れ補正を行うＰＴ防振制御手段を示したがこれに限らない。例えば、光学的に振れを補正する光学防振制御手段（補正光学系）や、画像切り出しにより振れを補正する電子防振制御手段を用いても構わない。

【0053】

（第２の実施形態）
次に、図８を参照し、本発明の第２の実施形態について、防振制御による振れ残りの大きさを考慮した場合を主に説明する。第１の実施形態の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、第１の実施形態との相違点を中心に説明する。このような説明の省略の仕方については、後述する他の実施形態でも同じである。

【0054】

図８は、本実施形態のカメラが船に設置され、海の方向を撮影した際の防振制御の振れ残りが異なる際の撮影画像の例を示す図である。図８において、２００１は広角端での撮像画角、２００２は振れ検出領域、２００３はＰＴＺ操作画角、２００４Ａは振れ残りが大きい場合の振れ検出可能画角、２００４Ｂは振れ残りが小さいときの振れ検出可能画角を示している。

【0055】

図８において、２００３の画角が指定された場合に、先の第１の実施形態で説明したように指定された２００３の画角まで光学ズームするのではなく、その画角より広角側の振れ検出可能領域２００２を含む２００４Ａで示す画角までに光学ズームを制限する。これにより、動きベクトルによる振れ検出が可能で、防振制御を有効に行える状態を維持することができる。

【0056】

ＰＴ防振制御において、ＰＴ駆動部の応答性を超える大きさや周波数の振れに対しては、その振れに追従できず振れ残りが発生する。振れ検出領域を画角の端にぎりぎり含まれるような状態で振れ検出可能画角を設定すると、防振制御で振れ残りが発生した状況では、振れ検出領域が画角から外れてしまう。そこで振れ検出可能画角の設定では、振れ残りが発生しても振れ検出領域が画角から外れないようにマージンを設ける必要がある。ただし、マージンを大きく取りすぎると、光学ズームの使用範囲の制限を広げてしまうことになる。そこで、振れ残りの大きさによって振れ検出領域を変更し、振れ残りが小さい場合には、振れ検出可能領域を小さく抑える。これにより、振れ検出可能画角を適切に設定し、不要な光学ズームの使用範囲の制限を低減することができる。

【0057】

本実施形態の処理について、図６のフローチャートを用いて、同様の処理は省略し、異なる処理を中心に説明を行う。カメラがＰＴＺ操作指示を受けるとパンチルトズーム制御部１００８は、Ｓ２０００の処理に進む。

【0058】

ステップＳ２００１からＳ２００３までは先の説明と同様に処理を行う。

【0059】

ステップＳ２００４で、パンチルトズーム制御部１００８は、振れ検出可能角度を算出する。ここでは先の説明の例と同様に振れ検出可能角度を２０度とする。そこに振れ残り角度を考慮したマージンを加算する。例えば、チルト方向の振れ角度が１．５度とし、その振れの周波数で応答可能なチルト角度が１度とすると、振れ残り角度は、
１．５－１＝０．５
０．５度となる。振れ検出可能角度は、２０度にマージン０．５度を加算し、２０．５度と求める。また例えば、別の条件で応答可能なチルト角度が１．２度とすると、振れ残り角度は、
１．５－１．２＝０．３
０．３度となる。振れ検出可能角度は、２０度にマージン０．３度を加算し、２０．３度と求める。

【0060】

以降の処理は、先の説明と同様に処理を行う。

【0061】

以上、説明した通り、動きベクトルによる振れ検出を用いた防振制御において、撮影画像の中の動きベクトル検出可能な領域を抽出し、振れ残りの大きさに応じて画角から外れないような光学ズーム値を求める。この光学ズーム値を用いてズーム制御することで、どのような画角においても防振性能を考慮した画角制御を行い、さらに光学ズームの使用範囲の制限を低減することができる。

【0062】

（第３の実施形態）
次に、図９を参照し、本発明の第３の実施形態について、振れ検出領域が複数ある場合を主に説明する。第１の実施形態の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、第１の実施形態との相違点を中心に説明する。

【0063】

図９は、本実施形態のカメラが船に設置され、海の方向を撮影した際の振れ検出領域が複数ある場合の撮影画像の例を示す図である。図９において、２００１は広角端での撮像画角を示す。また、２００２Ａ及び２００２Ｂは振れ検出領域を示す。また、２００３Ｃ及び２００３ＤはＰＴＺ指定画角を示す。また、２００４Ｃは２００３Ｃの画角が指定された場合の振れ検出可能画角を示す。また、２００４Ｄは２００３Ｄが指定された場合の振れ検出可能画角を示す。

【0064】

図９のように広角端での撮影画角２００１では、画像の上部の右側と左側に２か所島影が含まれるよう撮影されている。２００２Ａと２００２Ｂで示す領域では固定しておりかつエッジ等特徴点を持つ被写体が含まれており動きベクトルにより振れが検出可能となる。広角端の撮影画角２００１では、２００２Ａと２００２Ｂで示す振れ検出可能領域を利用して先の説明のように動きベクトルを用いて振れを検出し、検出した振れに応じて防振制御を行う。

【0065】

このように振れ検出領域が複数個所ある状況において、振れ検出可能画角を設定する際には、指定された画角に対して、より近い方の振れ検出領域を選択した方が指定画角により近い画角まで光学ズームを使用することができる。例えば、画角２００３Ｃが指定の場合には、２００２Ａの振れ検出領域を含むよう振れ検出可能画角を２００４Ｃのように設定し、一方、画角２００３Ｄが指定された場合には、２００２Ｂの振れ検出領域を含むよう振れ検出可能画角を２００４Ｄのように設定する。これにより、光学ズームの使用範囲の制限を低減することができる。

【0066】

本実施形態の処理について、図６のフローチャートを用いて、同様の処理は省略し、異なる処理を中心に説明を行う。カメラがズーム指定されるとパンチルトズーム制御部１００８は、Ｓ２０００の処理に進む。

【0067】

ステップＳ２００１で、パンチルトズーム制御部１００８は、振れ検出領域を抽出する。先の説明と同様の方法により抽出し、本例では図９で示す２００２Ａと２００２Ｂの２つの領域を抽出する。

【0068】

以降、ステップＳ２００２からＳ２００３までは先の説明同様の処理を行う。

【0069】

ステップＳ２００４で、パンチルトズーム制御部１００８は、振れ検出可能画角を算出する。振れ検出領域として、抽出した２００２Ａと２００２Ｂの２か所の領域と指定された画角とを比較し、近い方を選択する。

【0070】

例えば、広角端の画角を水平４０度、垂直３０度とし、その中心を０度として水平－２０度から＋２０度、垂直－１５度から＋１５度の座標で表すとする。その中で、一つの振れ検出領域が水平－１７度から―７度、垂直８度から９．５度とし、もう一つの振れ検出領域が水平１０度から１５度、垂直８度から９．５度とする。そして、パン＋１０度、チルト＋２度、ズームを水平画角で１６度のＰＴＺ操作が指示されたとする。ＰＴＺ操作された時の画角を座標上で表現すると、水平＋２度から＋１８度、垂直－４度から＋８度までの範囲となり、振れ検出領域を含まない範囲となっている。

【0071】

ここで、指定画角の重心座標は、
水平 （１８－２）／２＋２＝１０度
垂直 （８－（－４））／２－４＝２度
振れ検出領域２００２Ａの重心の座標は、
水平 （－７－（－１７））／２－１７＝－１２度
垂直 （９．５－８）／２＋８＝８．７５度
また、もう一つの振れ検出領域２００２Ｂの重心の座標は、
水平 （１５－１０）／２＋１０＝１２．５度
垂直 （９．５－８）／２＋８＝８．７５度
指定画角の重心と振れ検出領域２００２Ａの重心との距離は、

【0072】

【数1】

【0073】

一方、指定画角の重心と振れ検出領域２００２Ｂの重心との距離は、

【0074】

【数2】

【0075】

求めた指定画角との距離を比較し、指定画角は振れ検出領域２００２Ｂの方が近いため振れ検出領域として２００２Ｂを選択する。

【0076】

選択した振れ検出領域２００２Ｂを含むように指定画角に対して先の説明と同様に、振れ検出可能画角を算出する。以降の処理は、先の説明と同様の処理を行う。

【0077】

以上、説明した通り、動きベクトルによる振れ検出を用いた防振制御において、撮影画像の中の動きベクトル検出可能な領域を複数個所抽出する。そして、指定画角によって複数の抽出領域から指定画角に近い方を選択する。そして、選択した抽出領域が画角から外れないような光学ズーム値を求める。この光学ズーム値を用いてズーム制御することで、どのような画角においても防振性能を考慮した画角制御を行い、さらに光学ズームの使用範囲の制限を低減することができる。

【0078】

（第４の実施形態）
次に、図１０を参照し、本発明の第４の実施形態について、振れ検出とパンチルトズームを別の鏡筒で行う構成について主に説明する。第１の実施形態の場合と同様の構成要素については既に使用した符号を用いることで、それらの詳細な説明を省略し、第１の実施形態との相違点を中心に説明する。

【0079】

図１０は、本実施形態に係るネットワークカメラの機能ブロック構成図である。ネットワークカメラ１０００は、ネットワーク３０００を介して不図示のクライアント装置（情報処理装置）と相互に通信可能な状態に接続されている。

【0080】

図１０を参照して、ネットワークカメラ１０００の各部構成と機能について説明する。

【0081】

ネットワークカメラ１０００は、１０１０で示す第１の鏡筒部と２００３で示す第２の鏡筒部を備える。第１の鏡筒部１０１０は、第１の実施形態で説明したものと同様に、第１の撮像部１００１、第１の画像処理部１００２、振れ検出部１００４、ズーム駆動部１００５、パン駆動部１００６、チルト駆動部１００７、パンチルトズーム制御部１００８を備える。また、第２の鏡筒部４００３は、第２の撮像部４００１、第２の画像処理部４００２を備える。また、これら第１の鏡筒部１０１０、及び第２の鏡筒部４００３に加え、システム制御部１００３、通信部１００９で構成される。

【0082】

第１の鏡筒部は、第１の実施形態で説明したように、パンチルトズームによる画角変更、及びパンチルト駆動部により防振制御が可能となっている。ただし、本実施形態では、第１の画像処理部１００２にて、動きベクトルを用いた画像の振れの検出処理は行わない。

【0083】

第２の撮像部４００１は、レンズ、撮像素子及びその制御群から構成され、被写体の撮像及び電気信号への変換を行う。また第２の撮像部は広角画角を撮影可能なレンズを備える。第２の画像処理部４００２は、第２の撮像部４００１において撮像、光電変換された信号の所定の現像処理、圧縮符号化処理を行い、画像データを生成し、システム制御部１００３へ伝達する。また、第２の画像処理部４００２において、第２の撮像部４００１で撮影した画像を解析し動きベクトルを用いて画像の振れを検出する処理を行う。検出した振れの情報は、パンチルトズーム制御部１００８に伝達し、後述する防振制御に用いる。

【0084】

システム制御部１００３は、通信部１００９を介して、第１の画像処理部１００２で生成された画像データ、及び第２の画像処理部４００２で生成された画像データをクライアント装置に配信する。

【0085】

また、通信部１００９は、クライアント装置から送信される第１の鏡筒部１０１０のカメラ制御コマンド、及び第２の鏡筒部４００３のカメラ制御コマンドを受信し、システム制御部１００３へ伝達する。またカメラ制御コマンドに対するレスポンスをクライアント装置へ送信する。システム制御部１００３は、伝達されたカメラ制御コマンドを解析し、コマンドに応じた処理を行う。例えば、第１の画像処理部１００２、または第２の画像処理部４００２に対して画質の設定指示を行う。第１の画像処理部１００２、及び第２の画像処理部４００２は伝達された指示に基づいて、画像処理を行う。

【0086】

このように、本実施形態における撮像装置は、パンチルトズームによる画角変更、及びパンチルト駆動部により防振制御が可能な第１の鏡筒部と、第１の鏡筒部とは別の広角で撮影可能な第２の鏡筒部との２つの鏡筒部を備える。そして、第２の鏡筒部で撮影した広角の撮像画像に対して動きベクトルによる振れ検出処理を行い、そこで検出した振れを用いて第１の鏡筒部において防振制御を行う。これにより、光学ズームの使用範囲の制限を無くすことができる。

【0087】

本実施形態の処理について、図４のフローチャートを用いて、同様の処理は省略し、異なる処理を中心に説明を行う。カメラが撮影開始するとパンチルトズーム制御部１００８は、Ｓ１０００の処理に進む。

【0088】

ステップＳ１００１からＳ１００２までは先の説明と同様に処理を行う。

【0089】

ステップＳ１００３で、第２の画像処理部４００２は、先の説明と同様に動きベクトルを求める。パンチルトズーム制御部１００８は、第２の画像処理部４００２で求めた動きベクトルを取得する。

【0090】

ステップＳ１００４からＳ１００６までは先の説明と同様に処理を行う。

【0091】

このように、パン方向およびチルト方向それぞれ検出した振れに応じてその振れをキャンセルするようにパンチルト駆動部を制御し振れを低減する。

【0092】

以上、説明した通り、第２の鏡筒部で撮影した広角の撮像画像に対して動きベクトルによる振れ検出処理を行う。そして、第２の鏡筒部で検出した振れを用いて第１の鏡筒部において防振制御を行う。これによって、どのような画角においても防振性能を維持し、さらに光学ズームの使用範囲の制限を無くすことができる。

【0093】

なお、本実施形態では、パンチルトズームによる画角変更、及びパンチルト駆動部により防振制御が可能な第１の鏡筒部と、第１の鏡筒部とは別の第２の鏡筒部との二つの鏡筒部を備えた撮像装置という構成を示したがこれに限らない。例えば、第２の撮像装置で常に広角の撮像画像に対して動きベクトルによる振れ検出処理を行い、そこで検出した振れを第１の撮像装置に伝達し、伝達された振れを用いて第１の撮像装置にて防振制御を行うとしてもよい。

【0094】

（その他の実施形態）
本発明における制御の一部または全部を上述した実施形態の機能を実現するプログラム（ソフトウェア）をネットワーク又は各種記憶媒体を介して撮像装置や情報処理装置に供給するようにしてもよい。そしてその撮像装置や情報処理装置におけるコンピュータ（又はＣＰＵやＭＰＵ等）がプログラムを読み出して実行するようにしてもよい。その場合、そのプログラム、及び該プログラムを記憶した記憶媒体は本発明を構成することとなる。

【0095】

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】