特開 2025-5680 姿勢情報取得装置、撮像装置、及び姿勢情報取得方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025005680

(43)【公開日】2025-01-17

(54)【発明の名称】姿勢情報取得装置、撮像装置、及び姿勢情報取得方法

(51)【国際特許分類】

   G03B 5/00 20210101AFI20250109BHJP

   G03B 17/56 20210101ALI20250109BHJP

   H04N 23/58 20230101ALI20250109BHJP

   H04N 23/68 20230101ALI20250109BHJP

【ＦＩ】

G03B5/00 J

G03B17/56 B

H04N23/58

H04N23/68

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2023105951

(22)【出願日】2023-06-28

(71)【出願人】

【識別番号】000001007

【氏名又は名称】キヤノン株式会社

(74)【代理人】

【識別番号】100126240

【弁理士】

【氏名又は名称】阿部 琢磨

(74)【代理人】

【識別番号】100223941

【弁理士】

【氏名又は名称】高橋 佳子

(74)【代理人】

【識別番号】100159695

【弁理士】

【氏名又は名称】中辻 七朗

(74)【代理人】

【識別番号】100172476

【弁理士】

【氏名又は名称】冨田 一史

(74)【代理人】

【識別番号】100126974

【弁理士】

【氏名又は名称】大朋 靖尚

(72)【発明者】

【氏名】山内 将暉

【テーマコード（参考）】

2H105

2K005

5C122

【Ｆターム（参考）】

2H105AA03

2H105AA06

2H105AA12

2H105EE16

2K005CA04

2K005CA14

2K005CA24

2K005CA38

2K005CA40

2K005CA54

5C122EA41

5C122GD04

5C122HA76

5C122HA77

5C122HA82

5C122HB01

(57)【要約】

【課題】 被駆動部を駆動させるアクチュエータを有する装置の被駆動部の姿勢情報を取得することが可能な姿勢情報取得装置を提供することができる。
【解決手段】 本発明の姿勢情報取得装置は、基台４０に対して姿勢を変更可能な被駆動部に設けられ、被駆動部に加わる揺れを検出する揺れ検出部から、揺れ検出結果を取得する第１の取得手段と、被駆動部の駆動情報を取得する第２の取得手段と、揺れ検出結果と駆動情報とに基づいて、被駆動部の姿勢情報を算出する姿勢情報算出部と、を備えることを特徴とする。
【選択図】 図２

【特許請求の範囲】

【請求項1】

基台に対して姿勢を変更可能な被駆動部に設けられ、前記被駆動部に加わる揺れを検出する揺れ検出部から、揺れ検出結果を取得する第１の取得手段と、
前記被駆動部の駆動情報を取得する第２の取得手段と、
前記揺れ検出結果と前記駆動情報とに基づいて、前記被駆動部の姿勢情報を算出する姿勢情報算出部と、を備えることを特徴とする姿勢情報取得装置。

【請求項2】

前記姿勢情報算出部は、
前記揺れ検出結果から高周波成分を抽出して得られた信号と、前記駆動情報とに基づいて前記被駆動部の姿勢情報を算出することを特徴とする請求項１に記載の姿勢情報取得装置。

【請求項3】

前記姿勢情報算出部は、
前記揺れ検出結果から高周波成分を抽出して得られた信号と、前記駆動情報とを加算した信号に基づいて前記被駆動部の姿勢情報を算出することを特徴とする請求項２に記載の姿勢情報取得装置。

【請求項4】

前記姿勢情報算出部は、前記駆動情報と前記揺れ検出結果とをフィルタに入力して得られた出力信号に基づいて前記被駆動部の姿勢に関する情報を算出し、
前記フィルタは誤差を含む入力値からシステムの状態を推定するためのフィルタであることを特徴とする請求項１に記載の姿勢情報取得装置。

【請求項5】

前記フィルタはカルマンフィルタであることを特徴とする請求項４に記載の姿勢情報取得装置。

【請求項6】

前記揺れ検出結果は角速度信号であることを特徴とする請求項１に記載の姿勢情報取得装置。

【請求項7】

前記被駆動部は前記基台に対してパン、チルト、ロールの少なくともいずれかの駆動が行われるものであることを特徴とする請求項１に記載の姿勢情報取得装置。

【請求項8】

前記駆動情報は前記被駆動部の前記基台に対する位置を示す情報であることを特徴とする請求項１に記載の姿勢情報取得装置。

【請求項9】

請求項１乃至８のいずれか１項に記載の姿勢情報取得装置と、前記基台と、前記被駆動部と、を有し、
前記被駆動部は撮像光学系からの光を撮像する撮像素子を含む撮像部を有することを特徴とする撮像装置。

【請求項10】

請求項１、５乃至８のいずれか１項に記載の姿勢情報取得装置と、
前記基台と、前記被駆動部と、
前記被駆動部が有する撮像部により撮像された画像の像ブレをブレ補正量に基づいて補正する像ブレ補正の制御手段を備え、
前記姿勢情報算出部は、前記駆動情報と前記揺れ検出結果と前記ブレ補正量に基づいて前記被駆動部の姿勢情報を算出し、
前記被駆動部は撮像光学系からの光を撮像する撮像素子を含む撮像部を有することを特徴とする撮像装置。

【請求項11】

前記姿勢情報算出部は、前記揺れ検出結果と前記ブレ補正量とに基づいて取得された、揺れ成分の影響の少なくとも一部が補正された画像に対応する揺れ成分と、前記駆動情報とに基づいて前記被駆動部の姿勢情報を算出することを特徴とする請求項１０に記載の撮像装置。

【請求項12】

前記姿勢情報算出部は恵、前記揺れ検出結果から前記ブレ補正量を減算することにより、前記揺れ成分を取得することを特徴とする請求項１１に記載の撮像装置。

【請求項13】

基台に対して姿勢を変更可能な被駆動部に設けられ、前記被駆動部に加わる揺れを検出する揺れ検出部から、揺れ検出結果を取得する工程と、
前記被駆動部の駆動情報を取得する工程と、
前記揺れ検出結果と前記駆動情報とに基づいて、前記被駆動部の姿勢情報を算出する工程と、を有することを特徴とする姿勢情報取得方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、被駆動部の姿勢情報を取得する姿勢情報取得装置、撮像装置、及び姿勢情報の取得方法に関するものである。

【背景技術】

【0002】

ビデオカメラ等の撮像装置には、搭載されたセンサの出力から相対的な姿勢を算出する機能を有するものがある。特許文献１では、撮像装置の動きを角速度センサと加速度センサ及び地磁気センサによって検出し、これらの出力を組み合わせて撮像装置の姿勢を算出する技術が開示されている。このように、撮像装置の動きを検出するセンサを使用することで、撮像装置の姿勢を算出することができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２０－１８１０５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ここで、近年、撮像部を回転させるアクチュエータを有し、卓上や天井等に固定して使用する撮像装置がある。このような撮像装置は、ユーザが撮像装置に対して駆動量を入力するか、または、撮像した映像の情報から自動的に駆動量を算出する等して、駆動目標値を決定し、その目標値に従ってアクチュエータを駆動させることで撮像方向を制御する。しかしながら、特許文献１には、このような撮像装置において姿勢情報を取得することについては考慮されていない。また、撮像装置に限らず、基台に対して回転駆動する等して姿勢を変更する被駆動部の姿勢情報を取得する場合も同様である。

【0005】

本発明は、撮像部などの被駆動部を駆動させるアクチュエータを有する装置の被駆動部の姿勢情報を取得することが可能な姿勢情報取得装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するため、本発明の一側面としての姿勢情報取得装置は、基台に対して姿勢を変更可能な被駆動部に設けられ、前記被駆動部に加わる揺れを検出する揺れ検出部から、揺れ検出結果を取得する第１の取得手段と、前記被駆動部の駆動情報を取得する第２の取得手段と、前記揺れ検出結果と前記駆動情報とに基づいて、前記被駆動部の姿勢情報を算出する姿勢情報算出部と、を備えることを特徴とする。本発明のその他の特徴については発明を実施するための形態で説明をする。

【発明の効果】

【0007】

本発明によれば、被駆動部を駆動させるアクチュエータを有する装置の被駆動部の姿勢情報を取得することが可能な姿勢情報取得装置を提供することができる。

【図面の簡単な説明】

【0008】

【図1】パンチルトカメラとその姿勢を説明するための概念図である。

【図2】第１の実施形態および第２の実施形態のパンチルトカメラを説明するための構成図である。

【図3】パンチルト駆動目標値とパンチルト駆動量を説明するためのグラフである。

【図4】第１の実施形態のパンチルトカメラの姿勢情報算出部の構成図である。

【図5】第１の実施形態のパンチルトカメラの姿勢情報算出処理を示すフローチャートである。

【図6】第２の実施形態のパンチルトカメラの姿勢情報算出部を説明するための構成図である。

【図7】第２の実施形態のパンチルトカメラの姿勢情報算出処理を示すフローチャートである。

【図8】第３の実施形態のパンチルトカメラを説明するための構成図である。

【図9】第３の実施形態のパンチルトカメラの姿勢情報算出部を説明するための構成図である。

【図10】第３の実施形態のパンチルトカメラの姿勢情報算出処理を示すフローチャートである。

【発明を実施するための形態】

【0009】

以下、本発明の好ましい実施の形態を添付の図面を参照しながら詳細に説明する。なお、第１～第３の実施形態１～３に共通する部分について最初に説明した後、それぞれの実施形態特有の部分について説明する。また、各図において、同一の部材については同一の参照番号を付し、重複する説明は省略する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。

【0010】

＜共通部分＞
図１～３を用いて、第１～第３実施形態に共通する構成について説明をする。第１～第３実施形態では、被駆動部が基台に対して駆動する装置として、パンチルトカメラを例に説明をする。

【0011】

図１は、パンチルトカメラ１００の外観図である。パンチルトカメラ１００は、基台４０と、基台に対して姿勢を変更可能な被駆動部である撮像部１０とチルト駆動部２０とパン駆動部３０とを備える。

【0012】

撮像部１０は、撮像光学系を構成する撮像レンズ１０５と、撮像光学系により結像された被写体像を撮像する撮像素子１０６とを備える。

【0013】

チルト駆動部２０は撮像部１０をチルト方向に回転自由に支持する機構であり、回転駆動用のアクチュエータであるステッピングモータと、当該ステッピングモータを駆動するためのパルス信号を生成する集積回路（ＩＣ）を有する。チルト駆動部２０は、集積回路にパルス数を設定することで、撮像部１０をチルト方向に回転駆動させる。

【0014】

パン駆動部３０はチルト駆動部２０をパン方向に回転自由に支持する機構であり、回転駆動用のアクチュエータであるステッピングモータと、当該ステッピングモータを駆動するためのパルス信号を生成する集積回路で構成される。パン駆動部３０は、集積回路にパルス数を設定することで、チルト駆動部２０およびそれに支持されている撮像部１０をパン方向に回転駆動させる。

【0015】

基台４０はパン駆動部３０を回転自由に支持する機構であり、天井や天板、三脚などに固定される。また、天板などに置いた状態で撮影してもよい。

【0016】

パンチルトカメラ１００は、チルト駆動部２０およびパン駆動部３０の集積回路にパルス数を設定することで、撮像部１０をパン方向およびチルト方向に回転させ、撮像部１０の姿勢を変更することができる。

【0017】

なお、チルト駆動部２０およびパン駆動部３０のアクチュエータはステッピングモータに限定されず、ボイスコイルモータまたはその他のモータを使用してもよい。

【0018】

図１を用いてパンチルトカメラ１００の被駆動部である撮像部１０の姿勢について説明する。本実施形態では、撮像部１０の動きに合わせて回転する、直交する３軸の座標系を定義し、その座標系が回転角で撮像部１０の姿勢を表す。すなわち、算出する姿勢情報は、ある基準タイミングにおける座標系に対して、どれだけ回転したかという相対角度で表されるものとする。例えば、図１（ａ）のようにＸ軸、Ｙ軸、Ｚ軸を定義し、これを基準タイミングＴ_Ａにおける座標系Ｃ_Ａとする。その後、撮像部１０の姿勢が変化して、図１（ｂ）のように、タイミングＴ_Ｂにおいて、Ｘ_ｂ軸、Ｙ_ｂ軸、Ｚ_ｂ軸のような座標系Ｃ_Ｂになったとする。この時の座標系Ｃ_Ａから座標系Ｃ_Ｂへ変換するための回転角が、タイミングＴ_Ｂにおける撮像部１０の姿勢である。

【0019】

座標系の回転角は、例えば、基準タイミングにおける座標系を基準座標系として、オイラー角を使って表すことができ、本実施形態でもオイラー角を使って説明する。なお、オイラー角については公知の情報であるため、詳しい説明は省略する。また、図１では、撮像部１０の光軸方向を座標系のＺ軸に対応させているが、算出する姿勢は基準角度に対する相対角度で表されるため、座標系は任意に定義できる。尚、基準タイミングは、例えば、パンチルトカメラ１００の電源起動時でもよいし、後述するクライアント装置から映像記録の指示を受けたタイミングでもよい。図２は、本発明の実施形態であるパンチルトカメラ１００の構成を示すブロック図である。パンチルトカメラ１００はネットワーク１０２を介して、クライアント装置（不図示）と接続されており、相互に通信可能である。

【0020】

クライアント装置は、パンチルトカメラ１００に対してユーザがパンチルト駆動や画像（静止画と動画は問わない）記録を指示するコントローラや、パンチルトカメラ１００で撮像した映像をユーザが確認するためのモニタ等を備える装置である。

【0021】

ネットワーク１０２は、例えば、インターネット、有線ＬＡＮ、無線ＬＡＮ、またはＷＡＮ等により実現される。なお、本実施形態では、ネットワークを介して撮像装置とクライアント装置を接続する場合について説明するが、ネットワーク以外のインタフェースで接続をしてもよく、パンチルトカメラ１００を制御する方法をこれらに限定するものではない。

【0022】

通信制御部１０１は、ネットワーク１０２を介してクライアント装置から撮像部１０へのパンチルト駆動指示を受け、パンチルト駆動量決定部１０３に駆動指示を出力する。具体的には、ユーザはクライアント装置で、パンチルト駆動の回転角度と駆動時間を設定し、これらがネットワーク１０２と通信制御部１０１とを介してパンチルト駆動量決定部１０３に入力される。また、クライアント装置から記録指示を受けると、記録制御部へ記録指示を出力する。

【0023】

パンチルト駆動量決定部１０３は、通信制御部１０１から受け付けた駆動指示が示す回転角度と駆動時間に基づいてパンチルト駆動目標値およびパンチルト駆動量を決定する。図３はパンチルト駆動目標値とパンチルト駆動量の一例を表すグラフである。パンチルト駆動目標値は撮像部１０の目標姿勢角を表す時系列データである。例えば、図３（ａ）は、時刻ｔ＝０において、ターゲット角度Ｄ、ターゲット時間Ｔが入力された場合のパンチルト駆動目標値ｄ（ｔ）を表している。パンチルト駆動量決定部１０３は、ターゲット角度Ｄ、ターゲット時間Ｔが入力されると、初めにターゲット駆動時間を満たすように駆動開始タイミングｔ１、駆動終了タイミングｔ２を決定する。その後、タイミングｔ２においてパンチルト駆動目標値がターゲット角度Ｄに達するようにタイミングｔ１～タイミングｔ２間のパンチルト駆動目標値ｄ（ｔ）を算出する。

【0024】

パンチルト駆動目標値ｄ（ｔ）は、例えば、下記（式１）を用いて算出される。

【0025】

【数1】

【0026】

算出されたパンチルト駆動目標値は、撮像部１０の姿勢算出のために姿勢情報算出部２００に入力される。また、パンチルト駆動目標値は、姿勢算出の基準タイミングにおいて０で初期化され、以降、駆動指示が来るたびに積算されていく。

【0027】

一方、パンチルト駆動量とは、アクチュエータの駆動角速度を表す時系列データである。例えば、図３（ｂ）は、タイミングｔ０において、ターゲット角度Ｄ、ターゲット時間Ｔが入力された場合のパンチルト駆動量ω（ｔ）を表している。パンチルト駆動量ω（ｔ）はパンチルト駆動目標値ｄ（ｔ）に基づいて算出され、例えば、パンチルト駆動目標値ｄ（ｔ）を時間微分することで、角速度として算出される。算出されたパンチルト駆動量は、パンチルト駆動指示部１０４に入力される。

【0028】

パンチルト駆動指示部１０４は、パンチルト駆動量決定部１０３から取得したパンチルト駆動量に基づいて、チルト駆動部２０およびパン駆動部３０の集積回路に設定するパルス数を算出し、算出したパルス数をチルト駆動部２０及びパン駆動部３０へ出力する。チルト駆動部２０およびパン駆動部３０のそれぞれは、パンチルト駆動支持部１０４から取得したパルス数をチルト駆動部２０およびパン駆動部３０のそれぞれの集積回路に設定する。これにより、パンチルト駆動量に基づいた角度でアクチュエータが駆動し、撮像部１０の基台４０に対する姿勢が変化する。

【0029】

なお、パンチルト駆動量決定部１０３はパンチルト駆動目標値を（式１）に基づいて算出し、一定速度でアクチュエータを駆動させる場合について説明したが、パンチルト駆動目標値の算出方法はこれに限定されない。例えば、パンチルト駆動量決定部１０３は加減速駆動させるためのパンチルト駆動目標値のパターンを予め保持しておき、入力された回転角度や駆動時間に基づいてそれらパターンを組み合わせることで、加減速を伴う駆動をさせてもよい。

【0030】

また、ここでは、パンチルト駆動量決定部１０３がクライアント装置からのユーザ指示に基づいてパンチルト駆動目標値およびパンチルト駆動量を決定する場合について説明したが、撮像部１０のパンチルト駆動はこれに限定されない。例えば、パンチルト駆動量決定部１０３は、ユーザ指示の代わりに、後述する画像メモリ１１０に格納されている映像情報に基づいて回転角度と駆動時間を決定してもよい。これにより、パンチルトカメラ１００による被写体の自動追尾が実現される。具体的には、パンチルト駆動量決定部１０３が入力された映像情報から被写体を検出し、算出した被写体移動量と被写体移動速度からパンチルト駆動の回転角度と駆動時間を決定する。被写体検出を行う別の回路を有し、被写体検出結果をパンチルト駆動量決定部１０３に入力する構成としてもよい。

【0031】

撮像部１０は、撮像レンズ１０５、撮像素子１０６、角速度センサ１０７を有する。撮像素子１０６は撮像レンズ１０５を通して被写体を撮像し、撮像した画像信号を画像信号処理部１０８へ出力する。撮像素子１０６は、例えばＣＭＯＳイメージセンサ等で構成される。

【0032】

画像信号処理部１０８は、撮像素子１０６から出力された画像信号にホワイトバランス調整やガンマ補正等の信号処理を施し、生成された映像信号を画像メモリ１１０に格納する。

【0033】

画像メモリ１１０は映像信号を一時的に格納する記憶媒体である。画像メモリ１１０に格納された映像信号は、通信制御部１０１によりネットワーク１０２を介してクライアント装置に送信されたり、記録制御部１１１を介して記録媒体１１２へ記録されたりする。

【0034】

記録制御部１１１は、通信制御部１０１によりネットワーク１０２を介してクライアント装置から、映像記録の指示を受け、画像メモリ１１０に格納された映像信号と姿勢情報算出部２００が出力した姿勢情報とを同期させて、記録媒体１１２に記録する。なお、第１～第３の実施形態では、パンチルトカメラ１００が記録媒体１１２を備える場合について説明する。しかしながら、パンチルトカメラ１００が記録媒体１１２を持たず、ネットワーク１０２を介してクライアント装置に映像信号および姿勢情報を送信し、クライアント装置側で記録してもよい。また、記憶媒体１１２は、パンチルトカメラ１００に装着可能な可搬型の記憶媒体（例えばＳＤカード）でもよい。

【0035】

角速度センサ１０７は、撮像部１０に加わる揺れを角速度として検出する検出部であり、直交する３軸まわりの角速度を検出する。検出した３つの角速度信号は姿勢情報算出部２００に入力され、撮像部１０の姿勢算出に使用される。本実施形態では、姿勢算出の説明を簡単にするために、角速度センサ１０７の検出軸をｘ軸、ｙ軸、ｚ軸とする。ｘ軸が撮像部１０の側面方向、ｙ軸が撮像部１０の上下面方向、ｚ軸が撮像部１０の光軸方向と一致するように角速度センサ１０７が取り付けられているものとする。

【0036】

姿勢情報算出部２００はパンチルト駆動目標値と角速度信号に基づいて撮像部１０の姿勢を算出する。一般的に、角速度センサや加速度センサ等の慣性センサの出力には電気的なノイズ特性やフィルタ演算による位相遅れ等による誤差が含まれており、角速度信号の特に低周波帯域には誤差成分が含まれている。そのため、慣性センサの出力だけに基づいて姿勢情報を算出すると、算出した姿勢情報の精度が低下してしまうという。

【0037】

一方、パンチルト駆動目標値は、慣性センサ出力に含まれるような電気的なノイズ成分を含まず、撮像光学系の姿勢変化を予め知ることができるため位相遅れによる誤差が生じない。しかしながら撮像部１０の基台４０に対するパンチルト駆動位置に関する情報は含まれているが、外力によってパンチルトカメラ１００自体の姿勢が変化する成分は含まれていない。ここで、外力による姿勢変化とは、例えば、建物に固定されている場合は風や人の運動による振動の影響などによる姿勢変化のことを指す。そこで、第１～第３の実施形態の姿勢情報算出部２００では、角速度信号とパンチルト駆動目標値とを用いて撮像部１０の姿勢を算出する。算出方法の詳細については第１～第３の実施形態で説明をする。

【0038】

＜第１の実施形態＞
図４は第１の実勢形態のパンチルトカメラの姿勢情報算出部２００の機能ブロック図である。また、図５は姿勢情報算出部２００による姿勢情報算出処理を示すフローチャートであり、任意の周期（例えば画像の取り込み周期など）で繰り返し実行される処理を表している。これら図面を参照して、本実施形態の姿勢情報算出部２００による姿勢情報算出処理について説明する。

【0039】

本実施形態では、パンチルト駆動量決定部１０３が出力したパンチルト駆動目標値をフレーミング成分、角速度センサ１０７で検出した角速度信号に基づいて算出した角度を揺れ成分として、両者を合成して撮像部１０の姿勢を算出する。

【0040】

本実施形態の姿勢情報算出部２００は、角速度信号を角度信号に換算する角度換算部２０１と、角度信号から高周波成分を抽出する高周波成分抽出部２０２と、抽出された角度信号の高周波成分とフレーミング成分とを加算する加算器２１０とを有する。

【0041】

角度換算部２０１は、角速度センサ１０７が検出した角速度信号を積分演算することにより、角度信号（ψ_Ｇ、θ_Ｇ、φ_Ｇ）に変換する。下記（式２）は、角速度センサ１０７からの出力である角速度信号（ωｘ、ωｙ、ωｚ）を角度信号（ψ_Ｇ、θ_Ｇ、φ_Ｇ）に変換するための式である。（ωｘ、ωｙ、ωｚ）は角速度センサ１０７が検出したそれぞれ前述のｘ軸、ｙ軸、ｚ軸まわりの角速度を表している。角度信号ψ_Ｇ、θ_Ｇは、それぞれパンチルト駆動量決定部１０３が出力したパンチルト駆動目標値のパン方向の回転角ψ_Ｔ、チルト方向の回転角θ_Ｔに対応している。また、角度信号φ_Ｇは、撮像部１０の光軸方向のまわりの回転角を表している。ここで、（ψ_Ｇ（ｔ）、θ_Ｇ（ｔ）、φ_Ｇ（ｔ））は今回の処理で算出した角度信号であり、（ψ_{Ｇ（ｔ－１）}、θ_{Ｇ（ｔ－１）}、φ_{Ｇ（ｔ－１）}）は前回の処理で算出した角度信号である。

【0042】

行列Ａは角速度センサ１０７が検出した角速度信号をオイラー角で表された角度変化量に変換するための変換行列であり、下記（式３）で表される。（θ、φ）は加算器２１０の出力からフィードバックされる撮像部１０の姿勢角を表しており、θはチルト方向の回転角、φは撮像部１０の光軸方向のまわりの回転角を表している。

【0043】

【数2】

【0044】

【数3】

【0045】

尚、角速度信号を角度信号に変換する方法はこの式を用いるものに限定されず、ローパスフィルタを用いた疑似積分や、数学的に積分する方法等、種々の公知の方法により角速度を角度に変換し、これを前回の角度信号に加算する方法を用いることができる。

【0046】

高周波成分抽出部２０２は、角度信号（ψ_Ｇ、θ_Ｇ、φ_Ｇ）に含まれる高周波成分を抽出する。高周波成分抽出部２０２は、例えばハイパスフィルタで構成される。

【0047】

加算器２１０は、高周波成分抽出部２０２により抽出された、角度信号（つまり揺れ成分）の高周波成分と、フレーミング成分とを加算することにより、揺れ成分とフレーミング成分を合成して撮像部１０の姿勢情報を算出する。

【0048】

本実施形態の姿勢情報算出部２００による姿勢情報算出処理のフローを図５を用いて説明する。まず、ステップＳ１０１において、現在の処理タイミングが前述した姿勢算出の基準タイミングであるかどうかを判断する。基準タイミングであると判断された場合には、ステップＳ１０２、ステップＳ１０３、ステップＳ１０４に示した初期化処理を実行する。

【0049】

まず、ステップＳ１０２で、角度換算部２０１は角度積算値（ψ_Ｇ、θ_Ｇ、φ_Ｇ）を０で初期化する。次に、ステップＳ１０３で、パンチルト駆動量決定部１０３はパンチルト駆動目標値（ψ_Ｔ、θ_Ｔ、０）を０で初期化する。これにより、ステップＳ１０４で、加算器２１０から出力される姿勢情報（ψ、θ、φ）も０で初期化される。角度積算値（ψ_Ｇ、θ_Ｇ、φ_Ｇ）とパンチルト駆動目標値（ψ_Ｔ、θ_Ｔ、０）の初期化の順番は特に問わず、順次行っても良いし同時に行ってもよい。

【0050】

ステップＳ１０１で現在の処理タイミングが基準タイミングではないと判断された場合、あるいは、基準タイミングであると判断され、各初期化処理が終了した場合は、ステップＳ１０５へ進む。ステップＳ１０５では、角速度センサ１０７が検出した角速度信号を角度換算部２０１が積分演算することにより、角度信号（ψ_Ｇ、θ_Ｇ、φ_Ｇ）を算出してステップＳ１０６へ進む。

【0051】

ステップＳ１０６では、高周波成分抽出部２０２がステップＳ１０５で算出した角度信号（ψ_Ｇ、θ_Ｇ、φ_Ｇ）に含まれる高周波成分を抽出して、揺れ成分（ψ_Ｇｈ、θ_Ｇｈ、φ_Ｇｈ）として加算器２１０へ出力する。

【0052】

ステップＳ１０７では、加算器２１０は、（式４）に示すように、パンチルト駆動量決定部１０３が出力したパンチルト駆動目標値（ψ_Ｔ、θ_Ｔ、０）と高周波成分抽出部２０２が出力した揺れ成分（ψ_Ｇｈ、θ_Ｇｈ、φ_Ｇｈ）とを加算する。そして、加算結果を姿勢角（ψ、θ、φ）として記録制御部１１１に出力する。ここで、ψはパン方向の回転角、θはチルト方向の回転角、φはロール方向の回転角を表している。

【0053】

【数4】

【0054】

以上、説明してきたように、本実施形態によれば、角速度センサで検出した揺れ成分を用いることで周囲環境による振動を検出しつつ、パンチルト駆動目標値を用いて撮像部の姿勢を精度よく算出することが可能となる。

【0055】

＜第２の実施形態＞
図６は第２の実勢形態のパンチルトカメラの姿勢情報算出部２００の機能ブロック図である。なお、図６において図４と同様の構成には同じ符号を付し、説明は省略する。また、図７は姿勢情報算出部２００による姿勢情報算出処理を示すフローチャートであり、第１の実施形態同様に任意の周期で繰り返し実行される処理を表している。なお、図７において図５と同様の処理には同じ符号を付し、説明は省略する。これら図面を参照して、本実施形態の姿勢情報算出部２００による姿勢情報算出処理について説明する。

【0056】

本実施形態では、パンチルト駆動量決定部１０３が出力したパンチルト駆動目標値と角速度センサ１０７で検出した角速度信号に基づいてカルマンフィルタリングすることによって、撮像部１０の姿勢を算出する。ここで、カルマンフィルタは状態方程式及び観測方程式を用いて、誤差を含む入力値からシステムの動的な状態を推定するためのフィルタの一例である。

【0057】

本実施形態の姿勢情報算出部２００は、角速度センサ１０７の出力である角速度信号とパンチルト駆動量決定部１０３の出力であるパンチルト駆動目標値とが入力されるカルマンフィルタ演算部２０３を備える。カルマンフィルタ演算部２０３はカルマンフィルタリングにより得られた出力信号に基づいて姿勢情報を取得し、記録制御部１１１へ出力する。

【0058】

本実施形態の姿勢情報算出部２００による姿勢情報算出処理のフローを図７を用いて説明する。まず、ステップＳ１０１において、現在の処理タイミングが前述した姿勢算出の基準タイミングであるかどうかを判断する。基準タイミングであると判断された場合には、ステップＳ１０２、ステップＳ１０３、ステップＳ１１１に示した初期化処理を実行する。ステップＳ１０２、Ｓ１０３の初期化処理は第１実施形態と同様であるため説明は省略する。

【0059】

ステップＳ１１１では、カルマンフィルタ演算部２０３の初期化が実行され、後述するカルマンフィルタの状態値である姿勢角（ψ、θ、φ）が０で初期化される。ステップＳ１０１で現在の処理タイミングが基準タイミングではないと判断された場合は、ステップＳ１１２へ進む。ステップＳ１１２では、カルマンフィルタ演算部２０３は、角速度センサ１０７が出力した角速度信号（ωｘ、ωｙ、ωｚ）と、パンチルト駆動量決定部１０３が出力したパンチルト駆動目標値（ψ_Ｔ、θ_Ｔ、０）の２つの信号をカルマンフィルタに入力する。そして、カルマンフィルタの出力を姿勢角（ψ、θ、φ）として記録制御部１１１に出力する。なお、カルマンフィルタは公知の情報であるため、詳細な説明は省略する。

【0060】

本実施形態では、撮像部１０の姿勢を推定する動的な状態とすると、状態方程式は（式５）、観測方程式は（式６）で表され、それぞれ異なる種類のノイズ成分を含む２つの入力から真の状態を推定する構成になっている。パンチルト駆動目標値は周囲環境の振動成分を含まないことが真の状態に対するノイズ成分であり、角度信号は角速度センサ１０７の温度特性等による出力変動（オフセット成分やドリフト成分といった誤差を含むこと）等がノイズ成分である。

【0061】

【数5】

【0062】

【数6】

【0063】

ｘは撮像部１０の真の姿勢を表す状態値、ｙは観測値、ｕは入力値、ｖはプロセスノイズ、ｗは観測ノイズを表し、状態値ｘを姿勢角（ψ、θ、φ）、観測値ｙをパンチルト駆動目標値（ψ_Ｔ、θ_Ｔ、０）、入力値ｕを角速度信号（ωｘ、ωｙ、ωｚ）とする。行列Ａは角速度信号（ωｘ、ωｙ、ωｚ）をオイラー角で表された角度変化量に変換するための変換行列であり、前述の（式３）に示した通りであり、（θ、φ）は後段からフィードバックされる撮像部１０の姿勢情報を表す。プロセスノイズｖおよび観測ノイズｗは、角速度信号やパンチルト駆動目標値に含まれるノイズ成分の大きさを考慮して設定される必要がある。カルマンフィルタ演算部２０３は、この状態方程式と観測方程式に基づいてカルマンフィルタリングすることによって姿勢角（ψ、θ、φ）を得る。

【0064】

以上、説明してきたように、本実施形態によれば、角速度信号とパンチルト駆動目標値を用いてカルマンフィルタリングをすることにより、振動の影響を考慮しつつ、より正確な姿勢を算出することが可能となる。

【0065】

＜第３の実施形態＞
本実施形態では、撮像部１０に加わる揺れにより生じる像ブレを補正する機能を備える場合において、撮像部１０の姿勢情報を算出する方法について説明する。

【0066】

図８は、第３の実勢形態のパンチルトカメラ１００の構成を示す機能ブロック図である。なお、図８において図２と同様の構成には同じ符号を付し、説明は省略する。

【0067】

本実施形態のパンチルトカメラ１００は、像ブレ補正制御部１０９を備え、電子的に像ブレを補正する機能を有する点で図２に示したパンチルトカメラ１００と異なる。像ブレ補正制御部１０９は、撮像部１０に加わる揺れにより、撮像部１０のより撮像される画像（映像）に生じる像ブレを補正するための像ブレ補正量を算出し、画像信号処理部１０８および姿勢情報算出部２００に出力する。像ブレ補正制御部１０９は、通信制御部１０１によりネットワーク１０２を介してクライアント装置から像ブレ補正を行うか否かの像ブレ補正機能の入切の指示を受け、その入切に応じて像ブレ補正角の算出方法を切り替える。像ブレ補正機能が入の場合には、角速度センサ１０７の出力である角速度信号を積分して像ブレ補正量を算出する。なお、像ブレ補正量の算出の際、角度信号に低周波成分を除去するためのハイパスフィルタ処理をしてもよいし、補正の効き具合を調整するためのゲインを乗じてもよく、角速度センサ１０７の出力にもとづいて像ブレ補正量を算出すれば良い。像ブレ補正量の算出方法については公知の技術を用いることができるため説明は省略する。一方、像ブレ補正機能が切の場合は、像ブレ補正量を０に固定する。

【0068】

画像信号処理部１０８は像ブレの動きを打ち消すように画像の切り出し位置をシフトすることで像ブレを補正する。切り出し位置のシフト量は、像ブレ補正制御部１０９から出力される像ブレ補正量に基づいて算出され、例えば、下記（式７）を用いて像ブレ補正量（ψ_Ｈ、θ_Ｈ）から切り出し位置シフト量（Ｈ_ａ、Ｈ_ｂ）に換算される。（ψ_Ｈ、θ_Ｈ）はそれぞれ、パン方向、チルト方向の像ブレ補正量を、（Ｈ_ａ、Ｈ_ｂ）はそれぞれ、水平方向、垂直方向の切り出し位置シフト量を表している。また、ｆは撮像レンズ１０５の焦点距離、ｐは撮像素子１０６のセルピッチである。

【0069】

【数7】

【0070】

なお、本実施形態では像ブレ補正の手段として、画像の切り出し位置シフトにより電子的に補正する方法について説明をしたが、像ブレ補正の方法はこれに限定されない。例えば、撮像レンズ１０５が像ブレ補正用のシフトレンズ（不図示）を有し、像ブレ補正制御部１０９の出力である像ブレ補正角に基づいて撮像レンズ１０５の光軸方向に対して直交する方向にシフトレンズを駆動させることで像ブレを補正してもよい。このようなシフトレンズの駆動により、撮像素子１０６と撮像レンズによって結像される光学像との相対位置がシフトし、像ブレを補正することができる。その場合、撮像部１０にシフトレンズの位置を検出するホール素子を設置し、像ブレ補正制御部１０９でホール素子で検出したシフトレンズの位置から実際の像ブレ補正量を逆算し、その補正量を姿勢情報算出部２００に入力させてもよい。また、撮像素子１０６を光軸方向に対して直交する方向に駆動することで、像ブレを補正してもよい。この場合も、撮像部１０に撮像素子１０６の位置を検出するホール素子を設置し、ホール素子で検出した撮像素子１０６の位置から実際の像ブレ補正量を逆算して姿勢情報算出部２００に入力させてもよい。また、像ブレ補正の方法は、複数組み合わせてもよい。

【0071】

像ブレ補正によって像ブレ補正が効いている場合、周囲環境による振動の影響が記録映像に表れないため、第１の実施形態や第２の実施形態で説明した姿勢算出方法を用いると、画像の動きと算出した姿勢情報が一致しない。前述の通り、本実施形態のパンチルトカメラでは画像信号と姿勢情報を同期して記録するため、像ブレ補正後の映像の動きに姿勢情報を一致させることが好適である。本実施形態では、この目的を達成するための姿勢算出方法について説明する。

【0072】

図９は、第３の実勢形態のパンチルトカメラの姿勢情報算出部２００の機能ブロック図である。なお、図９において図４と同様の構成には同じ符号を付し、説明は省略する。また、図１０は姿勢情報算出部２００による姿勢情報算出の処理を示すフローチャートであり、任意の周期で繰り返し実行される処理を表している。なお、図１０において図５と同様の処理には同じ符号を付し、説明は省略する。

【0073】

本実施形態の姿勢情報算出部２００は、角度換算部２０１からの出力から、像ブレ補正制御部１０９の出力を減算する減算器２２０を備える点が図４に示した第１の実施形態の姿勢情報算出部２００と異なる。減算器２２０による減算結果が高周波成分抽出部２０２へ出力される。これにより、像ブレ補正により揺れ成分の影響の少なくとも一部が補正された画像に対応する、像ブレ補正後の揺れ成分を取得することができる。本実施形態では、この像ブレ補正後の揺れ成分とフレーミング成分とを用いて姿勢情報を取得する。

【0074】

本実施形態の姿勢算出部２２０による姿勢情報算出処理のフローを図１０を用いて説明する。ステップＳ１０１からＳ１０５までは第１の実施形態と同様であり、基準タイミングであると判断された場合は各種初期化処理（Ｓ１０２～Ｓ１０３）を行い、ステップＳ１０５へ進む。また、基準タイミングでないと判断された場合もステップＳ１０５へ進む。ステップＳ１０５では、上述のように角速度センサ１０７の出力を角度信号（ψ_Ｇ、θ_Ｇ、φ_Ｇ）に変換し、ステップＳ１０８へ進む。

【0075】

ステップＳ１０８において、減算器２２０は、角度換算部２０１が出力した角度信号（ψ_Ｇ、θ_Ｇ、φ_Ｇ）から像ブレ補正制御部１０９が出力した像ブレ補正量（角度）を減算し減算結果を高周波成分抽出部２０２に出力してステップＳ１０６へ進む。このステップで像ブレ補正量を減算することにより、像ブレ補正を考慮した姿勢角（ψ、θ、φ）を取得することができる。

【0076】

ステップＳ１０６、Ｓ１０７は第１の実施形態と同様であり、減算器２２０による減算結果から高周波成分を抽出してこれを揺れ成分（ψ_Ｇｈ、θ_Ｇｈ、φ_Ｇｈ）とし、フレーミング成分（ψ_Ｔ、θ_Ｔ、０）と加算することで姿勢角情報を取得する。

【0077】

以上、説明してきたように、本実施形態によれば、像ブレ補正機能を備える場合において、角速度信号とパンチルト駆動目標値と像ブレ補正角に基づいて姿勢情報を算出することで、像ブレ補正機能を考慮した姿勢情報を算出することが可能となる。

【0078】

（その他の実施形態・変形例）
以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。例えば、第２、第３の実施形態を組み合わせ、減算器２２０の出力とパンチルト駆動量決定部１０３の出力をカルマンフィルタに入力して姿勢情報を取得してもよい。

【0079】

また、上述の第１～３の実施形態では、パンチルト駆動量決定部１０３から撮像部１０のパンチルト駆動における駆動目標値（ψ_Ｔ、θ_Ｔ、０）を取得し、駆動目標値をフレーミング成分とした。しかしながら、撮像部１０の基台４０に対する駆動情報であればフレーミング成分はこれに限定されない。例えば、パンチルト駆動量決定部１０３が取得したパンチルト駆動量を角度に換算した値であっても良い。また、基台４０に対する撮像部１０のパンチルト駆動を検出する位置検出センサ（エンコーダ）を備える場合は、位置検出センサの出力に基づいてパンチルトの位置を検出し、これをフレーミング成分として用いてもよい。但し、パンチルト駆動を検出する位置検出センサの検出結果をフレーミング成分として用いると、パンチルト駆動指示に基づく情報（例えば駆動目標値）をフレーミング成分として用いる場合と比較して、位相遅れの影響が生じやすいため、位相補償を行ってもよい。

【0080】

また、上述の第１～３の実施形態では、パンチルトカメラ１００本体内で姿勢情報を算出する形態について説明をしたが、ネットワークで接続された別の装置で取得してもよい。その場合、当該装置が姿勢情報取得装置として機能する。別の装置で姿勢情報を算出する場合、角速度センサの出力とフレーミング成分として例えばパンチルト駆動の駆動目標値とが通信制御部１１１を介して当該装置に送信される。当該装置がパンチルトカメラ１００へ駆動指示を送信するクライアント装置である場合は、クライアント装置がパンチルトカメラ１００へ出力する駆動指示に基づいて駆動目標値等の駆動情報を取得してもよい。また、クライアント装置とは別の装置が姿勢情報を算出する場合であっても、角速度センサの出力はパンチルトカメラ１００から、駆動目標値等の駆動情報はクライアント装置から受信する形態としてもよい。

【0081】

また、上述の第１～３の実施形態では、揺れ成分として角速度信号を用いたが、揺れ成分はこれに限定されず、加速度センサの出力、地磁気センサの出力等も用いることができる。３軸での姿勢を検出する場合は、加速度センサ（ピッチ、ロール方向）と地磁気センサ（ヨー方向）を組み合わせればよい。

【0082】

また、上述の第１～３の実施形態では、レンズ一体型のパンチルトカメラを例に説明をしたが、パンとチルトとロールの少なくともいずれかの駆動ができれば、撮像装置の構成はこれに限定されない。例えば、レンズ交換式のパンチルトカメラや、パンチルト駆動可能なジンバルカメラにも適用できる。また、用途も特に問わず、所謂監視カメラでも良いし、映像制作に用いられるようなカメラであっても良い。また、パンチルト駆動可能な雲台またはジンバルとカメラを組み合わせて構成される撮影システムであってもよい。パンチルト駆動も、ユーザの指示に基づいてリアルタイムに駆動しても良いし、予め設定された駆動で予め設定された時刻あるいは時間間隔で駆動しても良い。また、上述のように、被写体を自動追尾してパンチルト駆動してもよい。さらに、撮像装置以外の基台に対してパンチルトロールの回転駆動することで姿勢を変更可能なロボットアームなどの装置に適用することもできる。

【0083】

また、姿勢情報の取得方法は上述の第１～第３の実施形態に限定されない。例えば、フレーミング成分と揺れ成分を比較することで、揺れ成分の位相遅れ量を取得し、揺れ成分に対して取得した位相遅れ分を位相補償フィルタを用いて補償することで、揺れ成分に含まれる位相遅れの影響を軽減できる。取得した、位相補償済みの揺れ成分に基づいて姿勢情報を取得することで、フレーミング成分を用いずに姿勢情報を取得するよりも精度よく姿勢情報を取得することができる。

【0084】

また、上述の実施形態の機能を実現するソフトウェアのプログラムを、記録媒体から直接、或いは有線／無線通信を用いてプログラムを実行可能なコンピュータを有するシステム又は装置に供給し、そのプログラムを実行する場合も本発明に含む。

【0085】

従って、本発明の機能処理をコンピュータで実現するために、該コンピュータに供給、インストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明の機能処理を実現するためのコンピュータプログラム自体も本発明に含まれる。

【0086】

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等、プログラムの形態を問わない。

【0087】

プログラムを供給するための記録媒体としては、例えば、ハードディスク、磁気テープ等の磁気記録媒体、光／光磁気記憶媒体、不揮発性の半導体メモリでもよい。

【0088】

また、プログラムの供給方法としては、コンピュータネットワーク上のサーバに本発明を形成するコンピュータプログラムを記憶し、接続のあったクライアントコンピュータはがコンピュータプログラムをダウンロードしてプログラムするような方法も考えられる。

【符号の説明】

【0089】

１００ パンチルトカメラ
１０ 撮像部
２０ チルト駆動部
３０ パン駆動部
１０３ パンチルト駆動量決定部
１０４ パンチルト駆動指示部
１０５ 撮像レンズ
１０６ 撮像素子
１０７ 角速度センサ
１０８ 画像信号処理部
１０９ 像ブレ補正制御部
１１１ 記録制御部
２０１ 角度換算部
２０２ 高周波成分抽出部
２０３ カルマンフィルタ演算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】