(58)【調査した分野】(Int.Cl.,DB名)
光学系またはイメージセンサを駆動機構を介して前記光学系の光軸と交差する方向に移動させることで振れ補正を実行する撮像装置と、前記撮像装置を回転可能に支持する支持機構とを備える撮像システムを制御する制御装置であって、
前記撮像装置の振動を示す振動信号に基づいて前記振れ補正を実行するための前記駆動機構に対する駆動信号を取得し、
前記振動信号及び前記駆動信号に基づいて、前記支持機構を制御するように構成される回路を備える制御装置。
光学系またはイメージセンサを駆動機構を介して前記光学系の光軸と交差する方向に移動させることで振れ補正を実行する撮像装置と、前記撮像装置を回転可能に支持する支持機構とを備える撮像システムを制御する制御方法であって、
前記撮像装置の振動を示す振動信号に基づいて前記振れ補正を実行するための前記駆動機構に対する駆動信号を取得する段階と、
前記振動信号及び前記駆動信号に基づいて、前記支持機構を制御する段階と
を備える制御方法。
【発明を実施するための形態】
【0018】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0019】
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
【0020】
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含んでよい。
【0021】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
【0022】
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0023】
図1は、本実施形態に係る撮像システム1000の外観の一例を示す図である。撮像システム1000は、ジンバル50、撮像装置100、支持部材410、一対の持ち手部400、持ち手部420、及び表示装置450を備える。
【0024】
撮像装置100は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル50は、撮像装置100を回転可能に支持する。ジンバル50は、撮像装置100の姿勢を調整可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、撮像装置100を、アクチュエータを用いてヨー軸を中心に回転可能に支持する。ジンバル50は、撮像装置100を、アクチュエータを用いて更にピッチ軸及びロール軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置100を回転させることで、撮像装置100の姿勢を変更してよい。
【0025】
支持部材410は、着脱可能にジンバル50を支持している。支持部材410は、T字形状であり、ピッチ軸方向に延びる棒状部材412と、棒状部材412の中央部分からヨー軸方向に延びる棒状部材414とを含む。一対の持ち手部400は、支持部材410に回転可能に取り付けられる。一対の持ち手部400は、ジンバル50を間に挟んで棒状部材412の両端に取付けられる。一対の持ち手部400は、支持部材410に回転可能に取り付けられる。一対の持ち手部400は、着脱可能に支持部材410に設けられてよい。棒状部材414の一端にジンバル50が着脱可能に取り付けられる。持ち手部420は、ロール軸方向に延び、棒状部材414の他端に設けられる。
【0026】
棒状部材414にはさらに表示装置450が設けられる。表示装置450は、タッチパネルディスプレイでよい。表示装置450は、撮像装置100のレンズ部200が設けられる側と反対の側で、棒状部材414に取付けられる。表示装置450は、撮像装置100のレンズ部200が設けられる正面と反対側の背面側で、棒状部材414に取付けられてよい。表示装置450は、支持部材410に着脱可能に設けられてよい。撮像システム1000は、表示装置450が支持部材410から取り外された状態で、利用されてよい。表示装置450は、表示面の角度を調整可能に支持部材410に設けられてよい。表示装置450は、ピッチ軸を中心に回転可能に支持部材410に設けられてよい。
【0027】
支持部材410及び表示装置450は、支持部材410に取付けられる取付部材の一例である。なお、本実施形態における表示装置450は、撮像装置100と別体として支持部材410に取付けられている。しかし、表示装置450は、撮像装置100の一部として設けられてよい。表示装置450は、撮像装置100を介して支持部材410に支持されてよい。表示装置450は、撮像装置100に一体的に設けられてよい。表示装置450は、撮像装置100に対して表示面の角度を調整可能に撮像装置100に設けられてよい。
【0028】
図2は、撮像システム1000の機能ブロックの一例を示す図である。撮像システム1000は、ジンバル50、撮像装置100、主制御部600、メモリ610、持ち手部400、及び表示装置450を備える。
【0029】
表示装置450は、撮像装置100により撮像された画像を表示する。表示装置450は、ジンバル50及び撮像装置100の各種動作条件を設定する設定画面を表示してよい。表示装置450はタッチディスプレイでよく、ユーザは、表示装置450を介して、ジンバル50及び撮像装置100の動作を指示してよい。
【0030】
主制御部600は、撮像システム1000全体を制御する。主制御部600は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。メモリ610は、主制御部600がジンバル50、撮像装置100、及び持ち手部400を制御するのに必要なプログラムなどを格納する。メモリ610は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。メモリ610は、支持部材410に設けられてよい。メモリ610は、支持部材410から取り外し可能に設けられてよい。
【0031】
ジンバル50は、ジンバル制御部510、ヨー軸ドライバ512、ピッチ軸ドライバ522、ロール軸ドライバ532、ヨー軸駆動部514、ピッチ軸駆動部524、ロール軸駆動部534、ヨー軸回転機構516、ピッチ軸回転機構526、及びロール軸回転機構536を有する。
【0032】
ヨー軸回転機構516は、ヨー軸を中心に撮像装置100を回転させる。ピッチ軸回転機構526は、ピッチ軸を中心に撮像装置100を回転させる。ロール軸回転機構536は、ロール軸を中心に撮像装置100を回転させる。ジンバル制御部510は、主制御部600からのジンバル50の駆動信号に応じて、ヨー軸ドライバ512、ピッチ軸ドライバ522、及びロール軸ドライバ532に対して、それぞれの駆動量を示す駆動信号を出力する。ヨー軸ドライバ512、ピッチ軸ドライバ522、及びロール軸ドライバ532は、駆動量を示す駆動信号に従って、ヨー軸駆動部514、ピッチ軸駆動部524、及びロール軸駆動部534を駆動させる。ヨー軸回転機構516、ピッチ軸回転機構526、及びロール軸回転機構536は、ヨー軸駆動部514、ピッチ軸駆動部524、及びロール軸駆動部534により駆動されて回転し、撮像装置100の姿勢を変更する。
【0033】
撮像装置100は、撮像部102及びレンズ部200を備える。撮像部102は、イメージセンサ120、撮像制御部110、及びメモリ130を有する。イメージセンサ120は、CCDまたはCMOSにより構成されてよい。イメージセンサ120は、ズームレンズ211及びフォーカスレンズ210を介して結像された光学像の画像データを撮像制御部110に出力する。
【0034】
撮像制御部110は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。メモリ130は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。メモリ130は、撮像制御部110がイメージセンサ120などを制御するのに必要なプログラム等を格納する。メモリ130は、撮像装置100の筐体の内部に設けられてよい。メモリ130は、撮像装置100の筐体から取り外し可能に設けられてよい。
【0035】
レンズ部200は、フォーカスレンズ210、ズームレンズ211、レンズ駆動部212、レンズ駆動部213及びレンズ制御部220を有する。フォーカスレンズ210、及びズームレンズ211は、少なくとも1つのレンズを含んでよい。フォーカスレンズ210、及びズームレンズ211の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部200は、撮像部102に対して着脱可能に設けられる交換レンズでよい。レンズ駆動部212は、カム環、ガイド軸などの機構部材を介して、フォーカスレンズ210の少なくとも一部または全部を光軸に沿って移動させる。レンズ駆動部213は、カム環、ガイド軸などの機構部材を介して、ズームレンズ211の少なくとも一部または全部を光軸に沿って移動させる。レンズ制御部220は、撮像部102からのレンズ制御命令に従って、レンズ駆動部212及びレンズ駆動部213の少なくとも一方を駆動して、機構部材を介してフォーカスレンズ210及びズームレンズ211の少なくとも一方を光軸方向に沿って移動させることで、ズーム動作及びフォーカス動作の少なくとも一方を実行する。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。
【0036】
レンズ部200は、位置センサ214、及び位置センサ215をさらに有する。位置センサ214は、フォーカスレンズ210の位置を検出する。位置センサ214は、現在のフォーカス位置を検出してよい。位置センサ215は、ズームレンズ211の位置を検出する。位置センサ215は、ズームレンズ211の現在のズーム位置を検出してよい。
【0037】
レンズ部200は、光学式像振れ補正機構(OIS)を有する。より具体的には、レンズ部200は、像振れ補正用のレンズ231、レンズ駆動部233、及び位置センサ235を有する。また、撮像部102は、振動センサ250を有する。振動センサ250は、撮像装置100の振動を示す振動信号を出力する。振動センサ250は、撮像装置100の振動を検出するジャイロセンサでよい。振動センサ250は、撮像装置100の振動を検出する加速度センサでよい。ジャイロセンサは、例えば角度振れと回転振れを検出する。加速度センサは、例えばX方向やY方向のシフトぶれを検出する。ジャイロセンサでも、角度や回転をX方向の成分やY方向の成分に変換することができる。加速度センサでも、X方向やY方向のシフトぶれを角度ぶれと回転ぶれに変換することができる。振動センサ250は加速度センサとジャイロセンサを組み合わせてもよい。
【0038】
レンズ駆動部233は、レンズ231を光軸と直交する方向に移動させて、像振れ補正を実行する。レンズ駆動部233は、X方向にレンズ231を駆動させる電動機、及びY方向にレンズ231を駆動させる電動機を含んでよい。電動機は、ステッピングモータでよい。電動機は、ボイスコイルモータでよい。
【0039】
撮像制御部110は、振動センサ250からの振動信号に基づいて、像振れ補正を実行するためのレンズ駆動部233に対する駆動信号を生成する。レンズ駆動部233は、駆動信号に基づいて、レンズ231を光軸と直交する方向に移動させてよい。レンズ駆動部233は、駆動信号に基づいてレンズ231を光軸と直交するX方向及びY方向に移動させてよい。レンズ駆動部233は、振動センサ250からの振動信号に基づいて、撮像装置100の振動の影響を低減させる方向に、レンズ231を光軸と直交する方向に移動させてよい。
【0040】
駆動信号は、レンズ231をX方向及びY方向に移動させる移動量を示してよい。駆動信号は、レンズ231をX方向に移動させるための電動機の駆動量、及びレンズ231をY方向に移動させるための電動機の駆動量を示してよい。駆動信号は、それぞれの電動機に入力する電流値を示してよい。
【0041】
位置センサ235は、レンズ231の位置を検出する。位置センサ235は、レンズ231の光軸と垂直な方向の位置を検出してよい。位置センサ235は、レンズ231の光軸と垂直なX方向及びY方向の位置を検出してよい。
【0042】
レンズ部200は、像振れ補正装置の一例である。レンズ制御部220は、振動センサ250からの振動を示す振動信号を取得し、振動信号に基づいて、レンズ駆動部233を介して、レンズ231を光軸と交差するX方向及びY方向の少なくとも一方に振動させることで、像振れを補正する。イメージセンサ120は、ズームレンズ211、フォーカスレンズ210、及びレンズ231を介して結像された像を撮像する。
【0043】
撮像部102は、ボディ内像振れ補正機構(BIS)をさらに有する。より具体的には、撮像部102は、イメージセンサ駆動部150、及び位置センサ152をさらに有する。イメージセンサ駆動部150は、イメージセンサ120を光軸と交差する方向に移動させる。イメージセンサ駆動部150は、イメージセンサ120を光軸と直交する方向に移動させる。イメージセンサ駆動部150は、イメージセンサ120を光軸と直交するX方向及びY方向の少なくとも一方に移動させる。イメージセンサ駆動部150は、X方向にイメージセンサ120を駆動させる電動機、及びY方向にイメージセンサ120を駆動させる電動機を含んでよい。第3電動機及び第4電動機は、ステッピングモータ、またはボイルコイルモータでよい。位置センサ152は、イメージセンサ120の位置を検出する。位置センサ152は、イメージセンサ120の光軸と垂直な方向の位置を検出してよい。撮像制御部110は、振動センサ250から撮像装置100の振動を示す振動信号を取得し、振動信号に基づいて、イメージセンサ駆動部150を介して、イメージセンサ120を光軸と交差する方向に振動させることで、像振れを補正する。
【0044】
撮像制御部110は、振動センサ250からの振動信号に基づいて、像振れ補正を実行するためのイメージセンサ駆動部150に対する駆動信号を生成する。イメージセンサ駆動部150は、駆動信号に基づいて、イメージセンサ120を光軸と直交する方向に移動させてよい。イメージセンサ駆動部150は、駆動信号に基づいてイメージセンサ120を光軸と直交するX方向及びY方向に移動させてよい。イメージセンサ駆動部150は、振動センサ250からの振動信号に基づいて、撮像装置100の振動の影響を低減させる方向に、イメージセンサ120を光軸と直交する方向に移動させてよい。
【0045】
駆動信号は、イメージセンサ120をX方向及びY方向に移動させる移動量を示してよい。駆動信号は、イメージセンサ120をX方向に移動させるための電動機の駆動量、及びイメージセンサ120をY方向に移動させるための電動機の駆動量を示してよい。駆動信号は、それぞれの電動機に入力する電流値を示してよい。
【0046】
撮像装置100は、OISまたはBISの少なくとも一方を有していればよい。イメージセンサ駆動部150またはレンズ駆動部233が駆動機構の一例である。
【0047】
撮像システム1000において、ジンバル50は、撮像装置100の姿勢を制御する。ジンバル50は、例えば、撮像装置100の姿勢を予め定められた姿勢を維持するように、ヨー軸駆動部514、ピッチ軸駆動部524、及びロール軸駆動部534を介して、ヨー軸回転機構516、ピッチ軸回転機構526、及びロール軸回転機構536を制御する。しかしながら、ジンバル50は、撮像装置100の振動をすべて打ち消せない場合がある。ジンバル50は、撮像装置100の低周波の振動を打ち消すことができる。しかし、ジンバル50は、撮像装置100の高周波の振動を打ち消すことができない。撮像装置100及びジンバル50が、飛行体などの移動体に搭載される場合にも、高周波の振動が撮像装置100で発生する場合がある。
【0048】
そこで、撮像装置100は、ジンバル50で打ち消すことができなかった振動を、OISまたはBISによる像振れ補正により打ち消してよい。ところが、像振れ補正により像振れ補正用のレンズ231またはイメージセンサ120が移動することで生じる推力に対する反力が、撮像装置100を支持するジンバル50に加わる。このような反力により、ジンバル50が、撮像装置100の姿勢を適切に制御できない場合がある。すなわち、撮像装置100が像振れ補正を実行することで、ジンバル50が撮像装置100の姿勢を適切に制御できず、撮像装置100により撮像される画像に像振れが生じる場合がある。
【0049】
図3に示すように、レンズ231がY方向に移動することで生じる推力701に対抗する反力702がジンバル50のピッチ軸801に加わる。
図4に示すように、レンズ231がX方向に移動することで生じる推力703に対抗する反力704がジンバル50のヨー軸802に加わる。
【0050】
また、
図5Aに示すように、レンズ231がX方向及びY方向に移動することで、撮像装置100の重心がジンバル50に対してずれると、
図5Bに示すように、レンズ231のX方向の推力703及びY方向の推力701に対抗する反力705がジンバル50のロール軸803に加わる。
【0051】
このような反力がジンバル50のそれぞれの軸に加わることで、ジンバル50が撮像装置100の姿勢を適切に制御できない場合がある。ジンバル50は、このような反力により、撮像装置100の姿勢を予め定められた姿勢に維持できない場合がある。
【0052】
そこで、主制御部600は、このような反力を低減すべく、反力と反対の方向にそれぞれの軸を回転させるように、ジンバル50を制御する。主制御部600は、撮像装置100の振動を示す振動信号に基づいて振れ補正を実行するためのレンズ駆動部233またはイメージセンサ駆動部150に対する駆動信号を取得する。駆動信号は、レンズ231またはイメージセンサ120をX方向に移動させるための電動機の駆動量、及びレンズ231をY方向に移動させるための電動機の駆動量を示してよい。主制御部600は、振動センサ250から撮像装置100の振動を示す振動信号をさらに取得する。
【0053】
主制御部600は、振動信号及び駆動信号に基づいて、ジンバル50を制御する。主制御部600は、撮像装置100の姿勢を予め定められた姿勢に維持すべく駆動信号及び駆動信号に基づいて、ジンバル制御部510を介して、ジンバル50を制御してよい。主制御部600は、駆動信号に基づいて、レンズ231またはイメージセンサ120のX方向に沿った方向の第1の動きを特定してよい。第1の動きは、レンズ231またはイメージセンサ120がX方向に移動することにより生じる推力[N(ニュートン)]を示す情報でよい。第1の動きは、レンズ231またはイメージセンサ120のX方向の移動量を示してよい。第1の動きは、レンズ231またはイメージセンサ120のX方向に移動させる電動機の駆動量(トルク)、または電動機へ入力される電流値を示してよい。第1の動きは、レンズ231またはイメージセンサ120のX方向への加速度を示してよい。
【0054】
主制御部600は、駆動信号に基づいて、レンズ231またはイメージセンサ120のY方向に沿った方向の第2の動きを特定してよい。第2の動きは、レンズ231またはイメージセンサ120がY方向に移動することにより生じる推力[N(ニュートン)]を示す情報でよい。第2の動きは、レンズ231またはイメージセンサ120のY方向の移動量を示してよい。第2の動きは、レンズ231またはイメージセンサ120のY方向に移動させる電動機の駆動量、または電動機へ入力される電流値を示してよい。第2の動きは、レンズ231またはイメージセンサ120のY方向への加速度を示してよい。
【0055】
主制御部600は、第1の動きに基づいて、ジンバル制御部510及びジンバル50を介してピッチ軸を中心とする撮像装置100の回転を制御してよい。主制御部600は、第1の動きに基づいて、ジンバル制御部510及びジンバル50を介してピッチ軸に加えるトルクを制御してよい。主制御部600は、第2の動きに基づいて、ジンバル制御部510及びジンバル50を介してヨー軸を中心とする撮像装置100の回転を制御してよい。主制御部600は、第2の動きに基づいて、ジンバル制御部510及びジンバル50を介してヨー軸に加えるトルクを制御してよい。主制御部600は、第1の動き及び第2の動きに基づいて、ジンバル制御部510及びジンバル50を介してロール軸を中心とする撮像装置100の回転を制御してよい。制御部600は、第1の動き及び第2の動きに基づいて、ジンバル制御部510及びジンバル50を介してロール軸に加えるトルクを制御してよい。
【0056】
主制御部600は、第1の動き及び第2の動きに基づいて、レンズ231またはイメージセンサ120が移動することで生じるジンバル50のピッチ軸、ヨー軸、及びロール軸への反力に対抗する力をピッチ軸、ヨー軸、及びロール軸の少なくとも1つに生じさせるべく、ジンバル50を介して、ピッチ軸、ヨー軸、及びロール軸の少なくとも1つを中心とする撮像装置100の回転を制御してよい。主制御部600は、回路の一例である。
【0057】
主制御部600は、撮像装置100の振動信号に基づく像振れ補正を実行するためのレンズ駆動部233に対する駆動信号に基づいて、
図6に示すようなレンズ231のY方向への推力701を導出する。さらに、主制御部600は、レンズ231のY方向への推力701に対抗するジンバル50のピッチ軸に加わる反力702を導出する。主制御部600は、ジンバル50のピッチ軸に加わる反力702を打ち消す方向の力710がジンバル50のピッチ軸に加わるように、ジンバル50のピッチ軸を中心とした撮像装置100の駆動量を導出する。主制御部600は、ジンバル50のピッチ軸に加わる反力702を打ち消す方向の力710がジンバル50のピッチ軸に加わるように、ジンバル50のピッチ軸に加えるトルクを導出してよい。同様に、主制御部600は、ジンバル50のヨー軸に加わる反力704を打ち消す方向の力がジンバル50のヨー軸に加わるように、ジンバル50のヨー軸を中心とした撮像装置100の駆動量を導出する。主制御部600は、ジンバル50のヨー軸に加わる反力704を打ち消す方向の力がジンバル50のヨー軸に加わるように、ジンバル50のヨー軸に加えるトルクを導出する。
【0058】
さらに、主制御部600は、
図7に示すように、主制御部600は、レンズ231のY方向への推力701及びレンズ231のX方向への推力703により生じるジンバル50のロール軸に加わる反力705を導出する。主制御部600は、ジンバル50のロール軸に加わる反力705を打ち消す方向の力がジンバル50のロール軸に加わるように、ジンバル50のロール軸を中心とした撮像装置100の駆動量を導出する。主制御部600は、ジンバル50のロール軸に加わる反力705を打ち消す方向の力がジンバル50のロール軸に加わるように、ジンバル50のロール軸に加えるトルクを導出する。
【0059】
ジンバル制御部510が、導出されたそれぞれの軸に対する駆動量に基づいて、ヨー軸回転機構516、ピッチ軸回転機構526、及びロール軸回転機構536を制御する。これにより、像振れ補正を実行するためにレンズ231またはイメージセンサ120が移動することでジンバル50に加わる反力により、ジンバル50が撮像装置100の姿勢を適切に制御できなくなることを防止できる。
【0060】
図8は、像振れ補正を実行するときのジンバル50の制御手順の一例を示すフローチャートである。
【0061】
主制御部600は、撮像制御部110から、振動センサ250により検出された撮像装置100の振動を示す振動信号、及び像振れ補正を実行するための撮像装置100の振動信号に基づくレンズ231の駆動信号を取得する(S100)。主制御部600は、振動信号に基づいて、ジンバル50のヨー方向、ピッチ方向、及びロール方向のそれぞれの駆動量を導出する(S102)。主制御部600は、振動信号に基づいて、撮像装置100の姿勢を予め定められた姿勢に維持させるためのジンバル50のヨー方向、ピッチ方向、及びロール方向のそれぞれの駆動量を導出してよい。
【0062】
また、主制御部600は、駆動信号に基づいて、レンズ231のX方向及びY方向の動きを特定する(S104)。主制御部600は、駆動信号に基づいて、レンズ231のX方向及びY方向の動きとして、レンズ231のX方向及びY方向への推力を特定してよい。主制御部600は、駆動信号に基づいて、レンズ231のX方向及びY方向の動きとして、レンズ231をX方向及びY方向に移動させるそれぞれの電動機の駆動量を特定してよい。
【0063】
主制御部600は、レンズ231のX方向の動きに基づいて、ジンバル50のヨー方向への駆動量を導出する。主制御部600は、レンズ231のY方向への動きに基づいて、ジンバル50のピッチ方向への駆動量を導出する。主制御部600は、レンズ231のX方向及びY方向への動きに基づいて、ジンバル50のロール方向への駆動量を導出する(S106)。
【0064】
主制御部600は、振動信号に基づくジンバル50のヨー方向、ピッチ方向、及びロール方向のそれぞれの駆動量と、駆動信号に基づくヨー方向、ピッチ方向、及びロール方向それぞれの駆動量とに基づいて、ジンバル50のヨー方向、ピッチ方向、及びロール方向のそれぞれの合算駆動量を導出する(S108)。主制御部600は、撮像装置100の姿勢を予め定められた姿勢に維持すべく、ジンバル50のヨー方向、ピッチ方向、及びロール方向それぞれの合算駆動量に基づいてジンバル50を制御する(S110)。主制御部600は、振動信号に基づくフィードバック制御と、駆動信号に基づくフィードフォーワード制御とにより、撮像装置100の姿勢が所望の姿勢になるようにジンバル50を制御する。
【0065】
以上の通り、本実施形態によれば、像振れ補正を実行するためにレンズ231またはイメージセンサ120が移動することでジンバル50のそれぞれの軸に加わる反力を打ち消すように、ジンバル50のそれぞれの軸に力を加える。これにより、ジンバル50が撮像装置100の姿勢を適切に制御できなくなることを防止できる。
【0066】
上記のような撮像装置100は、移動体に搭載されてもよい。撮像装置100は、
図9に示すような、無人航空機(UAV)に搭載されてもよい。UAV10は、UAV本体20、ジンバル50、複数の撮像装置60、及び撮像装置100を備えてよい。ジンバル50、及び撮像装置100は、撮像システムの一例である。UAV10は、推進部により推進される移動体の一例である。移動体とは、UAVの他、空中を移動する他の航空機などの飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。
【0067】
UAV本体20は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。UAV本体20は、複数の回転翼の回転を制御することでUAV10を飛行させる。UAV本体20は、例えば、4つの回転翼を用いてUAV10を飛行させる。回転翼の数は、4つには限定されない。また、UAV10は、回転翼を有さない固定翼機でもよい。
【0068】
撮像装置100は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル50は、撮像装置100を回転可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、撮像装置100を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル50は、撮像装置100を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置100を回転させることで、撮像装置100の姿勢を変更してよい。
【0069】
複数の撮像装置60は、UAV10の飛行を制御するためにUAV10の周囲を撮像するセンシング用のカメラである。2つの撮像装置60が、UAV10の機首である正面に設けられてよい。更に他の2つの撮像装置60が、UAV10の底面に設けられてよい。正面側の2つの撮像装置60はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置60もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置60により撮像された画像に基づいて、UAV10の周囲の3次元空間データが生成されてよい。UAV10が備える撮像装置60の数は4つには限定されない。UAV10は、少なくとも1つの撮像装置60を備えていればよい。UAV10は、UAV10の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置60を備えてもよい。撮像装置60で設定できる画角は、撮像装置100で設定できる画角より広くてよい。撮像装置60は、単焦点レンズまたは魚眼レンズを有してもよい。
【0070】
遠隔操作装置300は、UAV10と通信して、UAV10を遠隔操作する。遠隔操作装置300は、UAV10と無線で通信してよい。遠隔操作装置300は、UAV10に上昇、下降、加速、減速、前進、後進、回転などのUAV10の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、UAV10の高度を上昇させる指示情報を含む。指示情報は、UAV10が位置すべき高度を示してよい。UAV10は、遠隔操作装置300から受信した指示情報により示される高度に位置するように移動する。指示情報は、UAV10を上昇させる上昇命令を含んでよい。UAV10は、上昇命令を受け付けている間、上昇する。UAV10は、上昇命令を受け付けても、UAV10の高度が上限高度に達している場合には、上昇を制限してよい。
【0071】
図10は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
【0072】
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
【0073】
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR−ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
【0074】
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【0075】
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【0076】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0077】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
【0078】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0079】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【解決手段】制御装置は、光学系またはイメージセンサを駆動機構を介して光学系の光軸と交差する方向に移動させることで振れ補正を実行する撮像装置と、撮像装置を回転可能に支持する支持機構とを備える撮像システムを制御する。制御装置は、撮像装置の振動を示す振動信号に基づいて振れ補正を実行するための駆動機構に対する駆動信号を取得し、振動信号及び駆動信号に基づいて、支持機構を制御するように構成される回路を備えてよい。