(58)【調査した分野】(Int.Cl.,DB名)
光学系またはイメージセンサを前記光学系の光軸と交差する方向に移動させる第1駆動機構を有する撮像装置と、前記撮像装置を回転可能に支持する支持機構とを備える撮像システムを制御する制御装置であって、
前記撮像装置の振動を示す振動信号に基づく第1周波数帯域の第1信号に従って前記支持機構を制御し、前記振動信号に基づく第2周波数帯域の第2信号に従って前記第1駆動機構を制御することで、像振れ補正を実行するように構成される回路を備え、
前記回路は、
前記像振れ補正を実行している間に、前記光学系または前記イメージセンサが移動可能範囲の境界位置まで移動した場合、前記移動可能範囲内の予め定められた第1位置まで前記光学系または前記イメージセンサを移動させるリセット動作を実行し、
前記光学系または前記イメージセンサが移動可能範囲内の境界位置まで移動した後、前記リセット動作が完了するまでの間、前記振動信号に基づく前記第1周波数帯域及び前記第2周波数帯域を含む第3周波数帯域の第3信号に従って前記支持機構を制御することで、像振れ補正を実行するように構成される、制御装置。
前記回路は、前記光学系または前記イメージセンサが移動可能範囲内の境界位置まで移動すると、前記リセット動作を開始するまで前記光学系または前記イメージセンサを前記境界位置で待機させ、前記第2信号に基づいて前記第1駆動機構を制御することで前記光学系または前記イメージセンサの移動方向が前記第1位置に近づく方向になる場合に、前記リセット動作を開始するように構成される、請求項1に記載の制御装置。
光学系またはイメージセンサを前記光学系の光軸と交差する方向に移動させる第1駆動機構を有する撮像装置と、前記撮像装置を回転可能に支持する支持機構とを備える撮像システムを制御する制御方法であって、
前記撮像装置の振動を示す振動信号に基づく第1周波数帯域の第1信号に従って前記支持機構を制御し、前記振動信号に基づく第2周波数帯域の第2信号に従って前記第1駆動機構を制御することで、像振れ補正を実行する段階と、
前記像振れ補正を実行している間に、前記光学系または前記イメージセンサが移動可能範囲の境界位置まで移動した場合、前記移動可能範囲内の予め定められた第1位置まで前記光学系または前記イメージセンサを移動させるリセット動作を実行する段階と、
前記光学系または前記イメージセンサが移動可能範囲内の境界位置まで移動した後、前記リセット動作が完了するまでの間、前記振動信号に基づく前記第1周波数帯域及び前記第2周波数帯域を含む第3周波数帯域の第3信号に従って前記支持機構を制御することで、像振れ補正を実行する段階と
を備える制御方法。
【発明を実施するための形態】
【0015】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0016】
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
【0017】
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含んでよい。
【0018】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM(登録商標))、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
【0019】
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk(登録商標)、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0020】
図1は、本実施形態に係る撮像システム1000の外観の一例を示す図である。撮像システム1000は、ジンバル50、撮像装置100、支持部材410、一対の持ち手部400、持ち手部420、及び表示装置450を備える。
【0021】
撮像装置100は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル50は、撮像装置100を回転可能に支持する。ジンバル50は、撮像装置100の姿勢を調整可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、撮像装置100を、アクチュエータを用いてヨー軸を中心に回転可能に支持する。ジンバル50は、撮像装置100を、アクチュエータを用いて更にピッチ軸及びロール軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置100を回転させることで、撮像装置100の姿勢を変更してよい。
【0022】
支持部材410は、着脱可能にジンバル50を支持している。支持部材410は、T字形状であり、ピッチ軸方向に延びる棒状部材412と、棒状部材412の中央部分からヨー軸方向に延びる棒状部材414とを含む。一対の持ち手部400は、支持部材410に回転可能に取り付けられる。一対の持ち手部400は、ジンバル50を間に挟んで棒状部材412の両端に取付けられる。一対の持ち手部400は、支持部材410に回転可能に取り付けられる。一対の持ち手部400は、着脱可能に支持部材410に設けられてよい。棒状部材414の一端にジンバル50が着脱可能に取り付けられる。持ち手部420は、ロール軸方向に延び、棒状部材414の他端に設けられる。
【0023】
棒状部材414にはさらに表示装置450が設けられる。表示装置450は、タッチパネルディスプレイでよい。表示装置450は、撮像装置100のレンズ部200が設けられる側と反対の側で、棒状部材414に取付けられる。表示装置450は、撮像装置100のレンズ部200が設けられる正面と反対側の背面側で、棒状部材414に取付けられてよい。表示装置450は、支持部材410に着脱可能に設けられてよい。撮像システム1000は、表示装置450が支持部材410から取り外された状態で、利用されてよい。表示装置450は、表示面の角度を調整可能に支持部材410に設けられてよい。表示装置450は、ピッチ軸を中心に回転可能に支持部材410に設けられてよい。
【0024】
支持部材410及び表示装置450は、支持部材410に取付けられる取付部材の一例である。なお、本実施形態における表示装置450は、撮像装置100と別体として支持部材410に取付けられている。しかし、表示装置450は、撮像装置100の一部として設けられてよい。表示装置450は、撮像装置100を介して支持部材410に支持されてよい。表示装置450は、撮像装置100に一体的に設けられてよい。表示装置450は、撮像装置100に対して表示面の角度を調整可能に撮像装置100に設けられてよい。
【0025】
図2は、撮像システム1000の機能ブロックの一例を示す図である。撮像システム1000は、ジンバル50、撮像装置100、主制御部600、メモリ610、持ち手部400、及び表示装置450を備える。
【0026】
表示装置450は、撮像装置100により撮像された画像を表示する。表示装置450は、ジンバル50及び撮像装置100の各種動作条件を設定する設定画面を表示してよい。表示装置450はタッチディスプレイでよく、ユーザは、表示装置450を介して、ジンバル50及び撮像装置100の動作を指示してよい。
【0027】
主制御部600は、撮像システム1000全体を制御する。主制御部600は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。メモリ610は、主制御部600がジンバル50、撮像装置100、及び持ち手部400を制御するのに必要なプログラムなどを格納する。メモリ610は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。メモリ610は、支持部材410に設けられてよい。メモリ610は、支持部材410から取り外し可能に設けられてよい。
【0028】
ジンバル50は、ジンバル制御部510、ヨー軸ドライバ512、ピッチ軸ドライバ522、ロール軸ドライバ532、ヨー軸駆動部514、ピッチ軸駆動部524、ロール軸駆動部534、ヨー軸回転機構516、ピッチ軸回転機構526、及びロール軸回転機構536を有する。
【0029】
ヨー軸回転機構516は、ヨー軸を中心に撮像装置100を回転させる。ピッチ軸回転機構526は、ピッチ軸を中心に撮像装置100を回転させる。ロール軸回転機構536は、ロール軸を中心に撮像装置100を回転させる。ジンバル制御部510は、主制御部600からのジンバル50の駆動信号に応じて、ヨー軸ドライバ512、ピッチ軸ドライバ522、及びロール軸ドライバ532に対して、それぞれの駆動量を示す駆動信号を出力する。ヨー軸ドライバ512、ピッチ軸ドライバ522、及びロール軸ドライバ532は、駆動量を示す駆動信号に従って、ヨー軸駆動部514、ピッチ軸駆動部524、及びロール軸駆動部534を駆動させる。ヨー軸回転機構516、ピッチ軸回転機構526、及びロール軸回転機構536は、ヨー軸駆動部514、ピッチ軸駆動部524、及びロール軸駆動部534により駆動されて回転し、撮像装置100の姿勢を変更する。
【0030】
撮像装置100は、撮像部102及びレンズ部200を備える。撮像部102は、イメージセンサ120、撮像制御部110、及びメモリ130を有する。イメージセンサ120は、CCDまたはCMOSにより構成されてよい。イメージセンサ120は、ズームレンズ211及びフォーカスレンズ210を介して結像された光学像の画像データを撮像制御部110に出力する。
【0031】
撮像制御部110は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。メモリ130は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。メモリ130は、撮像制御部110がイメージセンサ120などを制御するのに必要なプログラム等を格納する。メモリ130は、撮像装置100の筐体の内部に設けられてよい。メモリ130は、撮像装置100の筐体から取り外し可能に設けられてよい。
【0032】
レンズ部200は、フォーカスレンズ210、ズームレンズ211、レンズ駆動部212、レンズ駆動部213及びレンズ制御部220を有する。フォーカスレンズ210、及びズームレンズ211は、少なくとも1つのレンズを含んでよい。フォーカスレンズ210、及びズームレンズ211の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部200は、撮像部102に対して着脱可能に設けられる交換レンズでよい。レンズ駆動部212は、カム環、ガイド軸などの機構部材を介して、フォーカスレンズ210の少なくとも一部または全部を光軸に沿って移動させる。レンズ駆動部213は、カム環、ガイド軸などの機構部材を介して、ズームレンズ211の少なくとも一部または全部を光軸に沿って移動させる。レンズ制御部220は、撮像部102からのレンズ制御命令に従って、レンズ駆動部212及びレンズ駆動部213の少なくとも一方を駆動して、機構部材を介してフォーカスレンズ210及びズームレンズ211の少なくとも一方を光軸方向に沿って移動させることで、ズーム動作及びフォーカス動作の少なくとも一方を実行する。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。
【0033】
レンズ部200は、位置センサ214、及び位置センサ215をさらに有する。位置センサ214は、フォーカスレンズ210の位置を検出する。位置センサ214は、現在のフォーカス位置を検出してよい。位置センサ215は、ズームレンズ211の位置を検出する。位置センサ215は、ズームレンズ211の現在のズーム位置を検出してよい。
【0034】
レンズ部200は、光学式像振れ補正機構(OIS)を有する。より具体的には、レンズ部200は、像振れ補正用のレンズ231、レンズ駆動部233、及び位置センサ235を有する。また、撮像部102は、振動センサ250を有する。振動センサ250は、撮像装置100の振動を示す振動信号を出力する。振動センサ250は、撮像装置100の振動を検出するジャイロセンサでよい。振動センサ250は、撮像装置100の振動を検出する加速度センサでよい。ジャイロセンサは、例えば角度振れと回転振れを検出する。加速度センサは、例えばX方向やY方向のシフトぶれを検出する。ジャイロセンサでも、角度や回転をX方向の成分やY方向の成分に変換することができる。加速度センサでも、X方向やY方向のシフトぶれを角度ぶれと回転ぶれに変換することができる。振動センサ250は加速度センサとジャイロセンサを組み合わせてもよい。
【0035】
レンズ駆動部233は、レンズ231を光軸と直交する方向に移動させて、像振れ補正を実行する。レンズ駆動部233は、X方向にレンズ231を駆動させる電動機、及びY方向にレンズ231を駆動させる電動機を含んでよい。電動機は、ステッピングモータでよい。電動機は、ボイスコイルモータでよい。
【0036】
主制御部600は、振動センサ250からの振動信号に基づいて、像振れ補正を実行する。主制御部600は、振動センサ250からの振動信号に基づいて、像振れ補正を実行ためのレンズ駆動部233に対する駆動信号を生成してよい。レンズ駆動部233は、駆動信号に基づいて、レンズ231を光軸と直交する方向に移動させてよい。レンズ駆動部233は、駆動信号に基づいてレンズ231を光軸と直交するX方向及びY方向に移動させてよい。レンズ駆動部233は、振動センサ250からの振動信号に基づいて、撮像装置100の振動の影響を低減させる方向に、レンズ231を光軸と直交する方向に移動させてよい。
【0037】
駆動信号は、レンズ231をX方向及びY方向に移動させる移動量を示してよい。駆動信号は、レンズ231をX方向に移動させるための電動機の駆動量、及びレンズ231をY方向に移動させるための電動機の駆動量を示してよい。駆動信号は、それぞれの電動機に入力する電流値を示してよい。
【0038】
位置センサ235は、レンズ231の位置を検出する。位置センサ235は、レンズ231の光軸と垂直な方向の位置を検出してよい。位置センサ235は、レンズ231の光軸と垂直なX方向及びY方向の位置を検出してよい。
【0039】
レンズ部200は、像振れ補正装置の一例である。レンズ制御部220は、振動センサ250からの振動を示す振動信号を取得し、振動信号に基づいて、レンズ駆動部233を介して、レンズ231を光軸と交差するX方向及びY方向の少なくとも一方に振動させることで、像振れを補正する。イメージセンサ120は、ズームレンズ211、フォーカスレンズ210、及びレンズ231を介して結像された像を撮像する。
【0040】
撮像部102は、ボディ内像振れ補正機構(BIS)をさらに有する。より具体的には、撮像部102は、イメージセンサ駆動部150、及び位置センサ152をさらに有する。イメージセンサ駆動部150は、イメージセンサ120を光軸と交差する方向に移動させる。イメージセンサ駆動部150は、イメージセンサ120を光軸と直交する方向に移動させる。イメージセンサ駆動部150は、イメージセンサ120を光軸と直交するX方向及びY方向の少なくとも一方に移動させる。イメージセンサ駆動部150は、X方向にイメージセンサ120を駆動させる電動機、及びY方向にイメージセンサ120を駆動させる電動機を含んでよい。第3電動機及び第4電動機は、ステッピングモータ、またはボイルコイルモータでよい。位置センサ152は、イメージセンサ120の位置を検出する。位置センサ152は、イメージセンサ120の光軸と垂直な方向の位置を検出してよい。主制御部600は、振動センサ250からの振動信号に基づいて、像振れ補正を実行するためのイメージセンサ駆動部150に対する駆動信号を生成してよい。撮像制御部110は、主制御部600からの振動信号に基づいて、イメージセンサ駆動部150を介して、イメージセンサ120を光軸と交差する方向に振動させることで、像振れを補正する。イメージセンサ駆動部150は、駆動信号に基づいて、イメージセンサ120を光軸と直交する方向に移動させてよい。イメージセンサ駆動部150は、駆動信号に基づいてイメージセンサ120を光軸と直交するX方向及びY方向に移動させてよい。イメージセンサ駆動部150は、駆動信号に基づいて、撮像装置100の振動の影響を低減させる方向に、イメージセンサ120を光軸と直交する方向に移動させてよい。
【0041】
駆動信号は、イメージセンサ120をX方向及びY方向に移動させる移動量を示してよい。駆動信号は、イメージセンサ120をX方向に移動させるための電動機の駆動量、及びイメージセンサ120をY方向に移動させるための電動機の駆動量を示してよい。駆動信号は、それぞれの電動機に入力する電流値を示してよい。
【0042】
撮像装置100は、OISまたはBISの少なくとも一方を有していればよい。イメージセンサ駆動部150またはレンズ駆動部233が駆動機構の一例である。
【0043】
撮像システム1000において、ジンバル50は、撮像装置100の姿勢を制御する。ジンバル50は、例えば、撮像装置100の姿勢を予め定められた姿勢を維持するように、ヨー軸駆動部514、ピッチ軸駆動部524、及びロール軸駆動部534を介して、ヨー軸回転機構516、ピッチ軸回転機構526、及びロール軸回転機構536を制御する。
【0044】
図3は、撮像システム1000のピッチ方向の像振れ補正の様子を模式的に示す。撮像システム1000は、振動センサ250からの振動信号に基づいて、レンズ231、イメージセンサ120、及びジンバル50の少なくとも1つを駆動させることで、像振れ補正を実行する。ジンバル50、レンズ231、及びイメージセンサ120のそれぞれの重量は異なり、動きやすさも異なる。例えば、イメージセンサ120が最も軽く、次に、レンズ231が軽く、ジンバル50が最も重い。レンズ231が小型の場合には、イメージセンサ120よりもレンズ231のほうが軽い場合もある。軽い重量の制御対象は、重い重量の制御対象より、低い電力で高い周波数で振動させることができる。よって、高い周波数の像振れの補正は、軽い重量の制御対象で実行するほうが、重い重量の制御対象で実行するよりも、電力の消費を抑えることができる。
【0045】
そこで、本実施形態では、振動センサ250からの振動信号を異なる周波数帯域ごとに分けて、それぞれの周波数帯域における電力消費を抑制させることを考慮して、ジンバル50、レンズ231、及びイメージセンサ120に割り当てる。ジンバル50、レンズ231、及びイメージセンサ120のそれぞれは、割り当てられた周波数帯域の周波数の振動を打ち消すように像振れ補正を実行する。
【0046】
主制御部600は、振動センサ250から撮像装置100の振動を示す振動信号を、撮像制御部110を介して取得する。主制御部600は、振動信号から第1周波数帯域の第1信号と、第2周波数帯域の第2信号とを取得する。主制御部600は、振動信号から第3周波数帯域の第3信号を取得してよい。主制御部600は、第1周波数帯域、第2周波数帯域、及び第3周波数帯域のそれぞれのフィルタを利用することで、振動信号から、第1周波数帯域の第1信号、第2周波数帯域の第2信号、及び第3周波数帯域の第3信号を分離して取得する。
【0047】
主制御部600は、ジンバル制御部510を介して、第1信号に基づいて、ヨー軸回転機構516、ピッチ軸回転機構526、及びロール軸回転機構536の少なくとも1つを制御する。主制御部600は、第1信号で示される振動を打ち消すように、ヨー軸回転機構516、ピッチ軸回転機構526、及びロール軸回転機構536の少なくとも1つを制御する。主制御部600は、レンズ制御部220を介して、第2信号に基づいて、レンズ駆動部233を制御する。主制御部600は、第2信号で示される振動を打ち消すように、レンズ駆動部233を制御する。主制御部600は、撮像制御部110を介して、第3信号に基づいてイメージセンサ駆動部150を制御する。主制御部600は、第3信号で示される振動を打ち消すように、イメージセンサ駆動部150を制御する。
【0048】
主制御部600は、第1信号に基づいてヨー軸回転機構516、ピッチ軸回転機構526、及びロール軸回転機構536の少なくとも1つを制御し、第2信号に基づいてレンズ駆動部233を制御し、第3信号に基づいてイメージセンサ駆動部150を制御することで、像振れ補正を実行する。
【0049】
OIS用の第2周波数帯域は、ジンバル50用の第1周波数帯域に含まれる周波数によりも高い周波数を含んでよい。OIS用の第2周波数帯域は、第1周波数帯域に含まれる周波数の一部を含んでよい。第1周波数帯域は、第2周波数帯域の一部と重複してよい。第3周波数帯域は、OIS用の第2周波数帯域に含まれる周波数より高い周波数を含んでよい。第2周波数帯域は、第1周波数帯域の一部及び第4周波数帯域の一部と重複してよい。OIS用の第2周波数帯域及びBIS用の第4周波数帯域は、ジンバル50用の第1周波数帯域に含まれる周波数よりも高い周波数を含んでよい。
【0050】
第1周波数帯域、第2周波数帯域、及び第4周波数帯域のそれぞれのフィルタは、それぞれの駆動系の特性に応じて事前に設計されてよい。第1周波数帯域、第2周波数帯域、及び第4周波数帯域のそれぞれのフィルタは、制御対象の重量の大きさに応じて事前に設計されてよい。
【0051】
撮像装置100がジンバル50に対して着脱可能に接続される態様であれば、主制御部600は、撮像装置100からOIS用の周波数帯域、及びBIS用の周波数帯域を示す周波数帯域情報を取得し、メモリ610からジンバル50用の周波数帯域を示す周波数帯域情報を取得し、各周波数帯域情報に基づいて、第1周波数帯域、第2周波数帯域、及び第4周波数帯域のそれぞれのフィルタを設定してよい。主制御部600は、撮像装置100からOIS用のフィルタ、及びBIS用のフィルタを示すフィルタ情報を取得し、メモリ610からジンバル50用のフィルタを示すフィルタ情報を取得し、各フィルタ情報に基づいて、第1周波数帯域、第2周波数帯域、及び第4周波数帯域のそれぞれのフィルタを設定してよい。
【0052】
主制御部600は、メモリ610に記憶された複数のフィルタ情報に基づいて、周波数帯域情報に示される周波数帯域に応じて、フィルタ情報を読み出し、第1周波数帯域、第2周波数帯域、及び第4周波数帯域のそれぞれのフィルタを設定してよい。
【0053】
レンズ部200が撮像部102に対して着脱可能に装着される交換レンズの場合、主制御部600は、周波数帯域またはフィルタを特定可能な交換レンズのレンズ情報を取得し、レンズ情報に基づいて、第2周波数帯域のフィルタを設定してよい。
【0054】
ここで、撮像装置100は、OISまたはBISを有することで、撮像装置100の振れを打ち消す方向に、レンズ231またはイメージセンサ120を移動させることで、像振れを補正する。しかし、レンズ231またはイメージセンサ120の移動可能範囲は、物理的な制約がある。レンズ231またはイメージセンサ120が移動可能範囲内の境界位置まで移動すると、移動可能範囲内の予め定められた第1位置までレンズ231またはイメージセンサ120を移動させるリセット動作が実行される。レンズ231またはイメージセンサ120が移動可能範囲内の境界位置まで移動すると、移動可能範囲内の予め定められた初期位置まで、レンズ231またはイメージセンサ120を移動させるリセット動作が実行されてよい。リセット動作が実行されている間は、レンズ231またはイメージセンサ120を移動させることで像振れ補正を実行できない。一方、レンズ231またはイメージセンサ120のリセット動作が実行されている間でも、ジンバル50による像振れ補正は実行できる。
【0055】
そこで、レンズ231またはイメージセンサ120が像振れ補正を実行している間に、リセット動作を実行している場合、主制御部600は、レンズ231またはイメージセンサ120に割り当てられた周波数帯域の少なくとも一部の像振れ補正もジンバル50に実行させてよい。
【0056】
主制御部600は、像振れ補正を実行している間に、レンズ231またはイメージセンサ120が移動可能範囲の境界位置まで移動した場合、移動可能範囲内の予め定められた第1位置までレンズ231またはイメージセンサ120を移動させるリセット動作を実行してよい。主制御部600は、レンズ231またはイメージセンサ120が移動可能範囲内の境界位置まで移動した後、リセット動作が完了するまでの間、振動センサ250からの振動信号に基づく第1周波数帯域及び第2周波数帯域を含む第3周波数帯域の第3信号を取得してよい。主制御部600は、第3信号に従ってジンバル50を制御することで、像振れ補正を実行してよい。
【0057】
主制御部600は、レンズ231またはイメージセンサ120が移動可能範囲内の境界位置まで移動すると、リセット動作を開始するまでレンズ231またはイメージセンサ120を境界位置で待機させてよい。そして、主制御部600は、第2信号に基づいてレンズ駆動部233またはイメージセンサ駆動部150を制御することでレンズ231またはイメージセンサ120の移動方向が第1位置に近づく方向になる場合に、リセット動作を開始してよい。
【0058】
主制御部600は、像振れ補正を実行している間に、レンズ231またはイメージセンサ120のリセット動作を実行している場合、振動センサ250からの振動信号から第1周波数帯域の周波数と、第2周波数帯域または第4周波数帯域の少なくとも一部の周波数とを含む第3周波数帯域の第3信号を取得し、第3信号に基づいてジンバル50を制御することで、像振れ補正を実行してよい。また、主制御部600は、像振れ補正を実行しながら、レンズ231またはイメージセンサ120のリセット動作を打ち消す方向に、ジンバル50を駆動してもよい。
【0059】
主制御部600は、レンズ231のリセット動作を実行している場合、第1周波数帯域用のフィルタ及び第2周波数帯域用のフィルタから、第3周波数帯域用のフィルタに切り替えることで、第3周波数帯域の第3信号を取得してよい。
【0060】
主制御部600は、第3信号に基づいてジンバル制御部510を介してヨー軸回転機構516、ピッチ軸回転機構526、及びロール軸回転機構536の少なくとも1つを制御し、第4信号に基づいてイメージセンサ駆動部150を介してイメージセンサ120を制御することで、像振れ補正を実行してよい。主制御部600は、レンズ231がリセット動作で第1方向に第1移動量だけ移動する場合、撮像装置100が第1方向と反対の第2方向に第1移動量だけ移動するようにジンバル50を制御してよい。主制御部600は、レンズ231がリセット動作で第1方向に第1移動量だけ移動する場合、像振れ補正を実行しながら、撮像装置100が第1方向と反対の第2方向に第1移動量に相当する回転量だけ回転するように、ジンバル50の姿勢を制御してよい。これにより、リセット動作に伴う画像内での被写体の位置ずれを抑制できる。
【0061】
図4は、像振れ補正に必要な振れ角度の時間的な変化の様子を示す。
図4は、ジンバル50及びレンズ231の駆動を制御することで、像振れ補正を行う例を示す。(a)では、ジンバル50の像振れ補正及びOISの総合的な振れ角度800と、ジンバル50で本来補正すべき振れ角度802とを示す。(b)では、ジンバル50で本来補正すべき振れ角度802と、OISのリセット動作に伴いOISの振れ角度分を加算したジンバル50で実際に補正すべき振れ角度804とを示す。(c)では、OISで本来補正すべき振れ角度806と、OISのリセット動作に伴いOISで実際に補正すべき振れ角度808とを示す。
【0062】
第1期間810において、主制御部600は、ジンバル50の像振れ補正と、OISとをそれぞれ実行する。第1期間810において、主制御部600は、第1周波数帯域の像振れ補正をジンバル50を駆動することで、実行する。さらに、主制御部600は、第1周波数帯域より高い第2周波数帯域の振れ補正をOISにより実行する。
【0063】
OISを実行することで、レンズ231が移動可能範囲の境界位置まで移動すると、第2期間812において、主制御部600は、OISを一旦保留にして、レンズ231を境界位置に待機させる。第2期間812において、主制御部600は、OISで本来補正すべき振れ角度を加算して、ジンバル50での像振れ補正を実行する。
【0064】
その後、本来補正すべき総合的な振れ角度800が、レンズ231が予め定められた第1位置に近づくように移動する方向の振れ角度であれば、第3期間814において、主制御部600は、レンズ231を第1位置に移動させるべくリセット動作を実行する。リセット動作を実行している間、主制御部600は、リセット動作に伴うレンズ231の振れ角度を加算して、ジンバル50の像振れ補正を実行する。リセット動作が完了すると、第4期間816において、再び、ジンバル50の像振れ補正と、OISとをそれぞれ実行する。
【0065】
図5は、ジンバル50の像振れ補正とOISとを実行する場合の処理手順の一例を示す。
【0066】
主制御部600は、振動センサ250からの振動信号に基づく第1周波数帯域の第1信号に基づいてジンバル50を駆動し、振動信号に基づく第2周波数帯域の第2信号に基づいてレンズ231を駆動することで、像振れ補正を実行する(S100)。主制御部600は、像振れ補正を実行中に、レンズ231が移動可能範囲の境界位置まで移動したかどうかを判定する(S102)。レンズ231が境界位置まで移動していない場合には、ジンバル50とレンズ231とを駆動する像振れ補正を継続する。
【0067】
一方、レンズ231が境界位置まで移動すると、主制御部600は、OISを一旦停止して、レンズ231を境界位置で待機させる(S104)。主制御部600は、OISで本来補正すべき振れ角度を導出する(S106)。主制御部600は、OISで補正すべき振れ角度を加算して、ジンバル50による像振れ補正を実行する(S108)。
【0068】
主制御部600は、第2周波数帯域の第2信号に基づいて、本来OISで補正すべき振れ角度が、レンズ231が第1位置に近づく方向に移動する角度を示すか否かを判定する(S110)。レンズ231が第1位置に近づく方向に移動する場合には、主制御部600は、OISのリセット動作を開始する(S112)。つまり、主制御部600は、レンズ231を第1位置まで移動させるべく、レンズ231の駆動を開始する。
【0069】
リセット動作を実行している間、主制御部600は、第2信号に基づいてOISで本来補正すべき振れ角度を導出する(S114)。主制御部600は、OISで補正すべき振れ角度を加算して、ジンバル50による像振れ補正を実行する(S116)。主制御部600は、OISで補正すべき振れ角度を加算して、かつリセット動作に伴うレンズ231の移動を相殺するように、ジンバル50による像振れ補正を実行する。リセット動作が完了すると(S118)。主制御部600は、再び、ジンバル50の像振れ補正とOISとを実行する。
【0070】
以上のように、本実施形態によれば、OISまたはBIS、もしくはOIS及びBISに加えて、ジンバル50による像振れ補正を実行する。そして、OISまたはBISでのリセット動作が実行される場合、リセット動作が完了するまでの間、ジンバル50によりOISまたはBISで本来実行すべき像振れ補正も実行する。これにより、OISまたはBISでのリセット動作が完了するまでの間も、高い精度で像振れ補正を実行できる。OISまたはBISで、高周波成分の像振れ補正を実行し、ジンバル50で低周波成分の像振れ補正を実行することで、電力消費を抑える。しかも、リセット動作によりOISまたはBISで高周波成分の像振れ補正を実行できない場合には、ジンバル50で低周波及び高周波成分の像振れ補正を実行する。よって、像振れ補正の精度を向上させることができる。
【0071】
上記のような撮像装置100は、移動体に搭載されてもよい。撮像装置100は、
図6に示すような、無人航空機(UAV)に搭載されてもよい。UAV10は、UAV本体20、ジンバル50、複数の撮像装置60、及び撮像装置100を備えてよい。ジンバル50、及び撮像装置100は、撮像システムの一例である。UAV10は、推進部により推進される移動体の一例である。移動体とは、UAVの他、空中を移動する他の航空機などの飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。
【0072】
UAV本体20は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。UAV本体20は、複数の回転翼の回転を制御することでUAV10を飛行させる。UAV本体20は、例えば、4つの回転翼を用いてUAV10を飛行させる。回転翼の数は、4つには限定されない。また、UAV10は、回転翼を有さない固定翼機でもよい。
【0073】
撮像装置100は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル50は、撮像装置100を回転可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、撮像装置100を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル50は、撮像装置100を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置100を回転させることで、撮像装置100の姿勢を変更してよい。
【0074】
複数の撮像装置60は、UAV10の飛行を制御するためにUAV10の周囲を撮像するセンシング用のカメラである。2つの撮像装置60が、UAV10の機首である正面に設けられてよい。更に他の2つの撮像装置60が、UAV10の底面に設けられてよい。正面側の2つの撮像装置60はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置60もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置60により撮像された画像に基づいて、UAV10の周囲の3次元空間データが生成されてよい。UAV10が備える撮像装置60の数は4つには限定されない。UAV10は、少なくとも1つの撮像装置60を備えていればよい。UAV10は、UAV10の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置60を備えてもよい。撮像装置60で設定できる画角は、撮像装置100で設定できる画角より広くてよい。撮像装置60は、単焦点レンズまたは魚眼レンズを有してもよい。
【0075】
遠隔操作装置300は、UAV10と通信して、UAV10を遠隔操作する。遠隔操作装置300は、UAV10と無線で通信してよい。遠隔操作装置300は、UAV10に上昇、下降、加速、減速、前進、後進、回転などのUAV10の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、UAV10の高度を上昇させる指示情報を含む。指示情報は、UAV10が位置すべき高度を示してよい。UAV10は、遠隔操作装置300から受信した指示情報により示される高度に位置するように移動する。指示情報は、UAV10を上昇させる上昇命令を含んでよい。UAV10は、上昇命令を受け付けている間、上昇する。UAV10は、上昇命令を受け付けても、UAV10の高度が上限高度に達している場合には、上昇を制限してよい。
【0076】
図7は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
【0077】
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
【0078】
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR−ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
【0079】
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【0080】
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【0081】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0082】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
【0083】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0084】
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【解決手段】制御装置は、撮像装置の振動を示す振動信号に基づく第1周波数帯域の第1信号に従って支持機構を制御し、振動信号に基づく第2周波数帯域の第2信号に従って第1駆動機構を制御することで、像振れ補正を実行するように構成される回路を備える。回路は、像振れ補正を実行している間に、光学系またはイメージセンサが移動可能範囲の境界位置まで移動した場合、移動可能範囲内の予め定められた第1位置まで光学系またはイメージセンサを移動させるリセット動作を実行し、光学系またはイメージセンサが移動可能範囲内の境界位置まで移動した後、リセット動作が完了するまでの間、振動信号に基づく第1周波数帯域及び第2周波数帯域を含む第3周波数帯域の第3信号に従って支持機構を制御することで、像振れ補正を実行するように構成される。