(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0019】
以下、発明の実施形態を通じて本開示を説明するが、以下の実施形態は特許請求の範囲に係る発明を限定するものではない。実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須とは限らない。
【0020】
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイル又はレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
【0021】
以下の実施形態では、移動体として、撮像者が手に把持して撮像するジンバルカメラ装置を例示する。ジンバルカメラ装置は、無人航空機に搭載されたジンバルカメラ装置でもよい。撮像制御方法は、移動体の動作が規定されたものである。また、記録媒体は、プログラム(例えば移動体に各種の処理を実行させるプログラム)が記録されたものである。
【0022】
図1は、実施形態におけるジンバルカメラ装置10の外観を示す斜視図である。ジンバルカメラ装置10は、ジンバル20と、カメラ30と、モニタ55と、装置本体60とを含む構成を有する。
【0023】
装置本体60は、例えば略円柱状に形成された部材である。装置本体60の上端には、ジンバル20が着脱自在に装着される。装置本体60の図中左側面には、モニタ50を取付可能な取付部63が設けられる。装置本体60の右側面には、三脚に取り付けられる雌ねじ部(図示せず)が形成される。
【0024】
また、装置本体60の上部正面には、前方に傾斜した操作面610が形成される。操作面610には、各種ボタンやインジケータ614が配置される。各種ボタンは、シャッタボタン611、録画ボタン612及び操作ボタン613を含む。装置本体60の中央下部は、撮像者の手で把持される把持部620に形成される。シャッタボタン611は、静止画の撮像を指示する。録画ボタン612は、動画の撮像を指示する。録画ボタン612は、動画の撮像の停止を指示してもよい。
【0025】
ジンバル20は、カメラ30が搭載され、カメラ30の振れを補正する。ジンバル20は、カメラ30の姿勢を3軸方向(ロール軸、ピッチ軸、ヨー軸)において可変自在に支持する。ジンバル20は、ジンバル部の一例である。ジンバル20は、装置本体60の上端部に設けられた取付部210に取り付けられる。取付部210には、ジンバル20と装置本体60との係合を解除する解除ボタン211が設けられる。
【0026】
ジンバル20は、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217を有する。ヨー軸モータ215は、装置本体60の上端に配置される。ロール軸モータ216は、アーム部材221を介してヨー軸モータ215に取り付けられる。ピッチ軸モータ217は、アーム部材222を介してロール軸モータ216に取り付けられる。ジンバル20は、ヨー軸、ピッチ軸、及びロール軸を中心にカメラ30を回転可能に支持してよい。
【0027】
ロール軸(
図1のx軸参照)は、光軸Ocに一致してよく、前後方向に沿って設定される回転軸である。ピッチ軸(
図1のy軸参照)は、ロール軸に垂直な方向に設定され、左右方向に沿って設定される回転軸である。ヨー軸(
図1のz軸参照)は、ロール軸及びピッチ軸に垂直な方向に設定され、上下方向に設定される回転軸である。ロール軸、ピッチ軸及びヨー軸は、相互に直交する3軸の一例である。
【0028】
ヨー軸モータ215は、ヨー軸周りにカメラ30が回転するための駆動力を供給する。カメラ30は、ヨー軸モータ215の駆動力により、ヨー軸を中心に回転自在である。よって、ヨー軸モータ215は、ヨー軸周りにカメラ30を回転させるロータとして動作する。
【0029】
ロール軸モータ216は、ロール軸周りにカメラ30が回転するための駆動力を供給する。カメラ30は、ロール軸モータ216の駆動力により、ロール軸を中心に回転自在である。よって、ロール軸モータ216は、ヨー軸周りにカメラ30を回転させるロータとして動作する。
【0030】
ピッチ軸モータ217は、ピッチ軸周りにカメラ30が回転するための駆動力を供給する。カメラ30は、ピッチ軸モータ217の駆動力により、ピッチ軸を中心に回転自在である。よって、ピッチ軸モータ217は、ピッチ軸周りにカメラ30を回転させるロータとして動作する。
【0031】
ジンバル20は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心にカメラ30を回転させることで、カメラ30の撮像方向を変更してよい。この場合、ジンバル20は、把持部620を把持するユーザがカメラ30の向きを変更することで、カメラ30の撮像方向を変更してよい。ジンバル20は、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217の駆動により、カメラ30の撮像方向を変更してよい。ジンバル20は、手振れ等の外力に起因して、カメラ30の撮像方向が変化し得る。
【0032】
ジンバル20は、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217を駆動し、被写体に対するカメラ30の向きが振れないように、ヨー軸、ロール軸及びピッチ軸の3軸方向にカメラ30を回転自在に支持してよい。つまり、ジンバル20は、カメラ30の向き(姿勢)を安定化させるスタビライザ機能を有する。なお、ここでは、3軸方向で姿勢を調整可能とすることを例示するが、3軸方向のいずれか2軸方向で姿勢を調整可能としてもよいし、1軸方向のみで姿勢を調整可能としてもよい。
【0033】
また、ジンバル20は、各モータがカメラ30に駆動力を供給しない場合でも、機構的に、3軸(ロール軸、ピッチ軸、ヨー軸)周りに回転自在である。また、各モータからの駆動力がなくカメラ30に対する外力を受けない場合、カメラ30は、3軸方向のそれぞれにおいて、基準方向を向く姿勢が維持されてよい。基準方向は、予め定められた方向でよい。
【0034】
カメラ30は、被写体を撮像可能な撮像部を内蔵し、ロール軸モータ216及びピッチ軸モータ217によって回転自在に支持される筐体311を有する。カメラ30は、所望の撮像範囲に含まれる被写体(例えば、人物、山や川等の景色、建物、物品)を撮像する撮像用のカメラでよい。
【0035】
モニタ50は、カメラ30で撮像された画像(例えば、静止画、動画)を表示する。なお、モニタ50は、オプションとして、交換自在に取り付けられてよい。ここでは、モニタ50には、カメラ30と無線通信可能な携帯端末(スマートフォン)が用いられてよい。なお、モニタ50が設けられなくてもよい。
【0036】
図2は、ジンバルカメラ装置10のハードウェア構成を示すブロック図である。ジンバルカメラ装置10は、ジンバル20と、カメラ30と、モニタ50とを含む構成を有する。ジンバル20は、ジンバル制御部21、メモリ22、慣性計測装置23、角度検出器24、ヨー軸回転機構25、ピッチ軸回転機構26、ロール軸回転機構27、インタフェース28及び操作部29を有する。
【0037】
メモリ22は、各種データ、情報、ジンバル制御部21が実行可能なプログラム、カメラ30による撮像画像の画像データ、撮像画像に関する付加データ(メタデータ)、等を記憶してよい。メモリ22は、例えば、RAM(Random Access Memory)、ROM(Read-Only Memory)、SDカード、その他のメモリ、を含んでよい。
【0038】
慣性計測装置23は、ジンバルカメラ装置10の前後、左右、及び上下の3軸方向の加速度と、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角速度とを検出して取得する。慣性計測装置23は、磁束の変化を検出するホールセンサや、ジンバルカメラ装置10の姿勢(傾き)を検出するジャイロセンサを有してよい。なお、慣性計測装置23の代わりに、加速度センサが用いられてよい。
【0039】
角度検出器24は、例えば、ジンバルカメラ装置10の向きとして、ピッチ軸、ロール軸、及びヨー軸の3軸方向の角度を検出する。検出される角度は、基準方向に対する角度でよい。
【0040】
したがって、ジンバル制御部21は、角度検出器24により検出された角度と、この角度の変化に要した時間を基に、角速度を算出して取得してよい。また、ジンバル制御部21は、慣性計測装置23から角速度を取得してよい。また、ジンバル制御部21は、角度検出器24から角度を取得してよい。ジンバル制御部21は、慣性計測装置23から取得された角速度を積分し、角度を取得してよい。
【0041】
ヨー軸回転機構25は、カメラ30をヨー軸方向に駆動するヨー軸モータ215を含む。ヨー軸回転機構25は、ヨー軸を中心に(ヨー軸周りに)カメラ30を回転自在に支持する。ピッチ軸回転機構26は、カメラ30をピッチ軸方向に駆動するピッチ軸モータ217を含む。ピッチ軸回転機構26は、ピッチ軸を中心に(ピッチ軸周りに)カメラ30を回転自在に支持する。ロール軸回転機構27は、カメラ30をロール軸方向に駆動するロール軸モータ216を含む。ロール軸回転機構27は、ロール軸を中心に(ロール軸周りに)カメラ30を回転自在に支持する。
【0042】
インタフェース28は、入力装置、出力装置、記録媒体、等の外部機器を接続可能である。インタフェース28は、有線通信又は無線通信するための通信インタフェースを含んでよい。有線通信は、USB(Universal Serial Bus)ケーブルを介した通信を含んでよい。無線通信用の通信インタフェースは、無線LAN(Local Area Network)、Bluetooth(登録商標)、又は公衆無線回線を介した通信を含んでよい。
【0043】
操作部29は、操作面610に配置された各種ボタンを含む。操作部29は、各種ボタン、キー、タッチパッド、タッチパネルを含んでよい。操作部29は、ユーザからの操作を受け、操作に関する操作信号をジンバル制御部21へ出力する。
【0044】
ジンバル制御部21は、例えばCPU(Central Processing Unit)、MPU(Micro Processing Unit)又はDSP(Digital Signal Processor)を用いて構成される。ジンバル制御部21は、ジンバル20の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
【0045】
ジンバル制御部21は、カメラ30の撮像範囲を示す撮像範囲情報を取得してよい。ジンバル制御部21は、撮像範囲を特定するためのパラメータとして、カメラ30の画角を示す画角情報をカメラ30から取得してよい。ジンバル制御部21は、撮像範囲を特定するためのパラメータとして、カメラ30の撮像方向を示す情報を取得してよい。ジンバル制御部21は、例えばカメラ30の撮像方向を示す情報として、カメラ30の姿勢の状態を示す姿勢情報を取得してよい。カメラ30の姿勢情報は、ジンバル20のロール軸、ピッチ軸、及びヨー軸の基準回転角度からの回転角度を示してよい。ジンバル制御部21は、ジンバル制御部21は、カメラ30の画角及び撮像方向に基づいて、カメラ30が撮像する撮像範囲を画定し、撮像範囲情報を生成してよい。
【0046】
ジンバル制御部21は、カメラ30の撮像方向又は画角を変更することによって、カメラ30の撮像範囲を制御してよい。ジンバル制御部21は、ジンバル20の回転機構(ヨー軸回転機構25、ピッチ軸回転機構26、ロール軸回転機構27)を制御することで、ジンバル20に支持されているカメラ30の撮像範囲を制御してよい。
【0047】
撮像範囲とは、撮像部220又は撮像部230により撮像される地理的な範囲でよい。撮像範囲は、3次元空間データにおける範囲でよいし、2次元空間データにおける範囲でもよい。撮像範囲は、カメラ30の画角及び撮像方向に基づいて特定されてよい。カメラ30の撮像方向は、カメラ30の撮像レンズが設けられた正面が向く方向でよい。撮像部220の撮像方向は、ジンバル20に対するカメラ30の姿勢の状態とから特定される方向でよい。
【0048】
ジンバル制御部21は、カメラ30により撮像された複数の画像を解析することで、ジンバルカメラ装置10の周囲の環境(例えば、人物、建物、風景等の被写体までの距離、朝昼夜等の時間帯)を特定してよい。ジンバル制御部21は、周囲の環境に基づいて、カメラ30の撮像モードを決定してよい。
【0049】
ジンバル制御部21は、カメラ30の撮像方向を示す情報として、ジンバル20からカメラ30の姿勢の状態を示す姿勢情報を取得してよい。カメラ30の姿勢情報は、ジンバル20のピッチ軸及びヨー軸の基準回転角度からの回転角度を示してよい。回転角度は、角度検出器24から取得されてよい。ジンバル制御部21は、ジンバル20の回転機構を制御することで、ジンバル20に支持されているカメラ30の撮像範囲を制御してよい。
【0050】
ジンバル制御部21は、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217の少なくとも1つを駆動するための駆動電力(駆動電圧)を制御してよい。つまり、ジンバル制御部21は、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217の少なくとも1つに印加される印加電力(印加電圧)を制御してよい。駆動電圧が高い程、各モータの回転角度を細かく調整でき(例えば0.01度毎)、駆動電圧が高い程、各モータの回転角度を大まかに調整できる(例えば0.1度毎)。
【0051】
ジンバル制御部21は、慣性計測装置23又は角度検出器24により導出(例えば検出、算出)された角度に基づいて、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217の少なくとも1つの駆動を制御してよい。つまり、ジンバル制御部21は、導出された角度に応じて、3軸方向におけるカメラ30の姿勢を調整してよい。
【0052】
ジンバル制御部21は、例えば、カメラ30の姿勢(角度)がロール軸周りに角度A(度)分変化した場合、この角度の変化を相殺するように、又は角度の変化が許容量の範囲内となるように、少なくとも1つのモータを駆動し、カメラ30の姿勢を制御してよい。角度の変化の許容量は、固定値でも可変値でもよい。このように、ジンバル制御部21は、角度に応じて、カメラ30の振れ(姿勢の変化)に対する振れ補正を行ってよい。
【0053】
ジンバル制御部21は、慣性計測装置23又は角度検出器24により導出(例えば検出、算出)された角速度に基づいて、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217の少なくとも1つの駆動を制御してよい。つまり、ジンバル制御部21は、導出された角速度に応じて、3軸方向におけるカメラ30の姿勢を調整してよい。
【0054】
例えば、カメラ30の姿勢(角度)がロール軸周りに角速度B(度/秒)分変化した場合、ジンバル制御部21は、この角速度の変化を相殺するように、又は角速度の変化が許容量の範囲内となるように、少なくとも1つのモータを駆動し、カメラ30の姿勢を制御してよい。角速度の変化の許容量は、固定値でも可変値でもよい。このように、ジンバル制御部21は、角速度に応じて、カメラ30の振れ(姿勢の変化)に対する振れ補正を行ってよい。
【0055】
ジンバル制御部21は、操作部29による操作に基づいて、撮像方向や撮像範囲を変更してよい。
【0056】
ジンバル制御部21は、操作部29の十字キー入力を介して、カメラ30を上下左右に回転させてよい。操作部29により上下方向に移動を指示した場合、ジンバル制御部21は、ピッチ軸を中心に回転するよう、ピッチ軸モータ217の回転を制御してよい。操作部29により左右方向に移動を指示した場合、ジンバル制御部21は、ヨー軸を中心に回転するよう、ヨー軸モータ215の回転を制御してよい。よって、ジンバル制御部21は、操作部29の十字キーの操作に応じて、上下左右方向に撮像方向を変更可能である。撮像方向が変化することで、撮像範囲が変化する。
【0057】
ジンバル制御部21は、所望の被写体を追跡対象に決定してよい。ジンバル制御部21は、追跡対象が撮像範囲に含まれるように、各モータを制御し、撮像方向を変更するよう制御してよい。追跡対象とカメラ30との相対的な位置が変化した場合、つまり、追跡対象が移動した場合やカメラ30の位置や向きが変化した場合、各モータへの印加電圧の指令値を変更してよく、つまり各モータの回転角度の指令値を変更してよい。これにより、追跡対象が撮像範囲に含まれるように追跡される。
【0058】
ジンバル制御部21は、各モータを制御する際の1回あたりの又は単位時間あたりのモータの回転角度や回転速度を制御してよい。よって、ジンバル制御部21は、カメラ30の向き(撮像方向)をモータ駆動により変更する場合、目標となる撮像方向となるまでにかかる時間の長さを変更可能である。
【0059】
ジンバル制御部21は、ジンバル20の動作モード(ジンバルモード)を決定し、設定してよい。ジンバルモードは、カメラ30がどの程度振れることを許容するかを示してよい。これにより、例えば、ジンバル20は、ジンバル20による振れ補正によりカメラ30の姿勢を安定化させる度合を調整可能である。
【0060】
ジンバルモードは、例えば、通常モード、高精度モードを有してよい。通常モードでは、カメラ30が、基準位置(基準向き、例えば被写体の向き)に対して3軸方向の少なくとも1方向に、角度閾値th1以下の角度で振れることが許容される。高精度モードでは、カメラ30が、基準位置(基準向き例えば被写体の向き)に対して3軸方向の少なくとも1方向に、角度閾値th2以下の角度で振れることが許容される。なお、高精度モードに設定された場合には、通常モードに設定された場合よりもカメラ30の振れが許容されないので、角度閾値th2は角度閾値th1よりも小さく設定される。つまり、th2<th1である。なお、ジンバルモードは、通常モードと高精度モードとの2種類だけでなく、3種類以上あってもよい。この場合、角度閾値がそれぞれ異なることで、カメラ30の振れの許容度が3段階以上で異なる。
【0061】
ジンバル制御部21は、通常モードに設定された場合よりも高精度モードに設定された場合の方が、各モータに印加される印加電圧が大きくなるように制御してよい。この場合、ジンバル制御部21は、高精度モードの場合、通常モードの場合よりも、各モータの回転角度を細かく調整でき、例えばカメラ30の振れにおいて可能な限りカメラ30の姿勢をなるべく固定できる。なお、高精度モードでは、印加電圧が大きくなるので、通常モードよりも消費電力が大きくなる。
【0062】
ジンバル制御部21は、カメラ30により撮像するためのカメラパラメータの設定や変更を、カメラ30に指示してよい。カメラパラメータは、シャッタスピード、F値、ISO感度、等を含んでよい。
【0063】
カメラ30は、撮像制御部31、レンズ制御部32、メモリ33、撮像素子34、レンズ駆動部35,36、フォーカスレンズ37及びズームレンズ38を有する。
【0064】
撮像制御部31は、例えばCPU、MPU又はDSPを用いて構成される。撮像制御部31は、カメラ30の各部の動作を統括して制御するための信号処理、他の各部との間のデータの入出力処理、データの演算処理及びデータの記憶処理を行う。
【0065】
撮像制御部31は、撮像素子34を駆動して撮像動作を行う。撮像制御部31は、ジンバル20からの撮像の指示に従い、撮像素子34を駆動して撮像動作してよい。撮像制御部31は、撮像素子34で撮像された画像の画像データ(画像信号)を処理(画像処理)し、メモリ33に記憶する。撮像制御部31は、画像処理として、例えば、シェーディング補正、色補正、輪郭強調、ノイズ除去、ガンマ補正、ディベイヤ、圧縮等の各処理を行ってよい。
【0066】
撮像制御部31は、各カメラパラメータ(シャッタスピード、F値(絞り値)、ISO感度(画像信号のゲイン)、ズーム倍率、等)を調整してよい。撮像制御部31は、ジンバル20からの指示に従い、各カメラパラメータを調整して設定してよい。撮像制御部31は、設定されたシャッタスピード及びF値に従って、画像撮像時にシャッタを開閉させてよい。撮像制御部31は、設定されたISO感度に従って、撮像素子34で得られた画像信号の増幅を制御してよい。また、撮像制御部31は、画像信号の増幅量(ゲインの値)を調整してよい。撮像制御部31は、ズーム倍率の変更や自動露出(AE:Auto Exposure)を行うための指示を、レンズ制御部32に送出してよい。撮像制御部31は、光学ズームを実施する場合に、レンズ制御部32にレンズを駆動させてよい。レンズ制御部32は、電子ズームを実施する場合が、撮像画像の一部を切り出してよい。
【0067】
撮像制御部31は、操作部29による操作に基づいて、各種撮像の実施や撮像条件(例えば、撮像方向、撮像範囲、各種カメラパラメータ)の設定、変更等を行ってよい。撮像制御部31は、録画ボタン612の押下により動画の撮像の指示を受けると、動画を撮像する。撮像制御部31は、シャッタボタン611の押下により静止画の撮像の指示を受けると、静止画を撮像する。
【0068】
撮像制御部31は、操作部29を介してズームアップの指示を受けた場合、撮像範囲が小さくなるように、ズームレンズの移動をさせて光学ズームを実施してよい。撮像制御部31は、操作部29を介してズームアップの指示を受けた場合、撮像範囲が小さくなるように、撮像画像の切り出し範囲を小さくして、電子ズームを実施してよい。撮像制御部31は、操作部29を介してズームアウトの指示を受けた場合、撮像範囲が大きくなるように、光学ズーム又は電子ズームを実施してよい。撮像制御部31は、操作部29のズームボタンの操作に応じて、ズームアップ(ズームイン)やズームアウトを行い、撮像範囲を変更可能である。
【0069】
撮像制御部31は、所望の被写体に焦点を合わせるための合焦制御を実施してよい。撮像制御部31は、ジンバル20からの指示に従い、合焦制御してよい。撮像制御部31は、合焦制御を実施する場合、レンズ制御部32にレンズの位置を調整するようレンズを駆動させてよい。合焦制御は、自動合焦制御(AF:Auto Focus)を含んでよい。自動合焦制御は、継続的に焦点位置を変更しながら合焦制御を行うこと(CAF:Continuous AF)を含んでよい。CAFでは、例えば、所望の被写体に対して焦点が合わせられた状態が継続する。合焦制御には、通常、例えば1〜2秒の時間を要し、カメラ30の姿勢が安定していない場合、更に長く時間を要し得る。
【0070】
レンズ制御部32は、フォーカスレンズ37のレンズ位置を光軸方向に移動させて焦点を調節するレンズ駆動部35、及び、ズームレンズ38のレンズ位置を光軸方向に移動させてズーム倍率を変更するレンズ駆動部36を制御する。レンズ制御部32は、ジンバル20からの合焦制御の指示に従い、合焦動作を実施してよい。レンズ駆動部35及びレンズ駆動部36は、それぞれ駆動モータ(図示せず)を含む。
【0071】
フォーカスレンズ37は、被写体からの光を集光し、撮像素子34の撮像面に光学像を結像させる。ズームレンズ38は、レンズを収容する鏡筒(図示せず)を有し、ズーミング動作を行う際に鏡筒を前後方向に伸縮させる。なお、ズームレンズ38が設けられていなくてもよい。
【0072】
メモリ33は、各種データ、情報、プログラムを保持する。メモリ33は、カメラパラメータや画像データ等を記憶してよい。メモリ33は、カメラパラメータとして、例えばシャッタスピード、F値、ISO感度、等を記憶する。メモリ33は、例えば、RAM、ROM、SDカード、その他のメモリ、を含んでよい。
【0073】
撮像素子34は、撮像面上に結像した光学像を電気信号に光電変換し、画像信号として出力する。撮像素子には、CCD(Charge Coupled Device:電荷結合素子)イメージセンサやCMOS(Complementary Metal Oxide Semiconductor:相補型MOS)イメージセンサが用いられてよい。
【0074】
モニタ50は、タッチパネルが前面に配置されたスマートフォンでよい。なお、モニタとしては、スマートフォンに限らず、液晶ディスプレイや有機EL(Electro Luminescence)等を有する表示ユニットでもよい。また、モニタ50として動作するスマートフォンが実行するアプリケーションに連動して、ジンバル20やカメラ30が動作してもよい。
【0075】
カメラ30及びモニタ50は、相互に有線通信(例えばUSB通信)又は無線通信(例えば無線LAN、Bluetooth(登録商標)、近距離通信、公衆無線回線)により通信可能である。カメラ30による撮像画像は、モニタ50にリアルタイムに表示されてよい。この画像は、ライブビュー画像とも称される。
【0076】
次に、ジンバルカメラ装置10の動作について説明する。
【0077】
図3は、ジンバルカメラ装置10の動作例を示すフローチャートである。なお、
図3の初期設定では、ジンバルモードが通常モードに設定されていることを想定する。なお、ジンバル制御部21が実施する各種動作の一部は、カメラ30の撮像制御部31により実施されてもよい。同様に、ジンバル制御部21が実施する各種動作の一部は、カメラ30の撮像制御部31により実施されてもよい。
【0078】
まず、ジンバル部のジンバル制御部21は、カメラ30により画像が撮像される撮像シーンが夜景シーンであり、且つ、カメラ30が被写体を撮像するための撮像モードが静止画を撮像するための静止画撮像モードであるか否かを判定する(S11)。
【0079】
S11では、ジンバル制御部21は、例えば操作部29を介して撮像シーンとして夜景シーンが選択されている場合に、夜景シーンであると判定してよい。選択可能な複数の撮像シーンの情報は、メモリ22に保持されていてよい。
【0080】
ジンバル制御部21は、例えば、カメラ30で撮像されたライブビュー画像における各画素の輝度を基に、夜景シーンであるか否かを判定してよい。この場合、ジンバル制御部21は、カメラ30からライブビュー画像を取得し、取得したライブビュー画像の輝度を基に、夜景シーンであるか否かを判定してよい。また、カメラ30の撮像制御部31が、ライブビュー画像の輝度を基に、夜景シーンであるか否かを判定し、夜景シーンの判定情報をジンバル制御部21が取得することが、ジンバル制御部21により夜景シーンであるか否かを判定することに含まれてもよい。
【0081】
ジンバル制御部21は、例えば、カメラ30で撮像されたライブビュー画像を、メモリ22に予め格納された複数枚の夜景シーンで撮像された画像(夜景画像)と比較し、夜景画像との類似度(例えば画像の輝度の類似度)を算出してよい。ジンバル制御部21は、ライブビュー画像と夜景画像との類似度が閾値th0以上である場合に、夜景シーンであると判定してよい。メモリ22に保持された夜景画像は、インタフェース28の通信インタフェースを介してネットワークと接続して外部サーバ等から取得され、適宜更新されてよい。メモリ22に保持された夜景画像は、カメラ30で過去に撮影された画像(ライブビュー画像の一部や静止画像)であってもよい。
【0082】
ジンバルカメラ装置10は、ライブビュー画像の輝度を基に夜景シーンであるか否かを判定する場合、例えば手動で操作部29を介して撮像シーンを設定するよりも、ライブビュー画像が撮像された際の実際の周囲環境の光量を加味して、撮像シーンの判定が可能である。
【0083】
S11では、ジンバル制御部21は、例えばメモリ22に保持されている撮像モードの設定情報を参照し、撮像モードとして静止画撮像モードに設定されている場合、撮像モードが静止画撮像モードであると判定してよい。撮像モードには、例えば、静止画撮像モード、動画撮像モード、等が含まれる。
【0084】
ジンバル制御部21は、撮像シーンが夜景シーンであり、且つ、撮像モードが静止画撮像モードである場合、夜景シーンでの静止画撮像を行うためのカメラパラメータの設定を行う。カメラパラメータの設定は、少なくとも1つのカメラパラメータの現状の設定状態からの変更を含んでよい。
【0085】
具体的には、ジンバル制御部21は、ジンバルモードを変更してよい(S12)。ここでは、ジンバル制御部21は、ジンバルモードを通常モードから高精度モードに変更してよい。ジンバル制御部21は、上記のカメラ30の振れの許容量を規定する角度閾値を、角度閾値th1(例えば0.1度)から角度閾値th2(例えば0.05度)に変更してよい。この角度閾値の設定情報は、メモリ22に保持されてよい。また、ジンバルモードを通常モードから高精度モードに変更する場合、ジンバル20の各モータへの印加電力(印加電圧)を大きくしてよく、例えば「3W」から「5W」に変更してよい。
【0086】
また、ジンバル制御部21は、ISO感度を変更してよい(S13)。この場合、ジンバル制御部21は、ISO感度を小さくするよう、つまり、画像信号の増幅量を小さくするよう、カメラ30に指示してよい。カメラ30の撮像制御部31は、ジンバル20からの指示に従って、ISO感度を小さくしてよい。このISO感度の設定情報(例えば画像信号の増幅量の設定情報)は、メモリ33に保持されてよい。
【0087】
ここで、ISO感度は、画像信号のゲインを示し、ISO感度を大きくすると、画像信号及び画像信号以外のノイズ信号の増幅量が共に大きくなり、ISO感度を小さくすると、画像信号の増幅量が小さくなる。画像信号は、実信号成分とノイズ成分とを含む。夜景シーンでは、実信号成分の信号レベルが小さいと想定されるので、実信号成分に対するノイズ成分の大きさが相対的に大きくなる。よって、ジンバルカメラ装置10は、夜景シーンではノイズ成分の増幅による影響を加味して、画像信号の増幅量を現状の設定値よりも(例えばジンバルモードが通常モードの場合よりも)小さくすることで、ノイズが抑制されて画質が向上した静止画を撮像できる。
【0088】
また、ジンバル制御部21は、シャッタスピードを変更してよい(S14)。ここでは、ジンバル制御部21は、シャッタスピードを遅くするよう、カメラ30に指示してよい。ここでは、シャッタスピードが、例えば「1秒」から「3〜5秒」に変更されるよう指示されてよい。カメラ30の撮像制御部31は、ジンバル20からの指示に従って、シャッタスピードを遅くしてよい。このシャッタスピードの設定情報は、メモリ33に保持されてよい。
【0089】
ジンバルカメラ装置10は、シャッタスピードを現状の設定値よりも(例えばジンバルモードが通常モードの場合よりも)小さくすることで、静止画撮像時の光量が増加するので、ISO感度を小さくすることによる画像信号の増幅量の低下による画像信号の実信号成分の低下を補填できる。
【0090】
カメラ30の撮像制御部31は、カメラパラメータが夜景シーン且つ静止画撮像モードに合わせて設定された状態で、撮像素子34に静止画の撮像を指示する(S15)。この場合、撮像制御部31は、例えばシャッタボタン611の押下を検知して、静止画を撮像させてよい。
【0091】
ジンバル20のジンバル制御部21は、静止画の撮像後に、ジンバルモードを復帰させてよい(S16)。ここでは、ジンバル制御部21は、ジンバルモードを高精度モードから通常モードに復帰させる。つまり、ジンバル制御部21は、ジンバルモードを、S12における変更の前の設定情報に戻してよい。この場合、ジンバル制御部21は、角度閾値の設定を、角度閾値th2から角度閾値th1に変更してよい。また、ジンバル制御部21は、ジンバルモードの復帰と同様に、他のカメラパラメータ(例えばISO感度、シャッタスピード)についても、例えばS13、S14における変更の前の設定状態に復帰させてよい。
【0092】
一方、ジンバル制御部21は、ジンバル制御部231は、撮像シーンが夜景シーン以外の撮像シーンであり、又は、撮像モードが静止画撮像モード以外の撮像モード(例えば動画撮像モード)である場合、カメラパラメータの設定を変更せずに、画像(例えば動画又は夜景シーン以外の静止画)を撮像する(S17)。
【0093】
このように、ジンバルカメラ装置10は、夜景シーンで静止画を撮像する際に、ジンバルの精度を上げることで、カメラ30の振れを抑制できる(ジンバル20を長期間安定化できる)。言い換えると、ジンバルカメラ装置10は、ジンバルの精度を上げることで、例えば追跡対象の被写体からのカメラ30の振れに対して許容量が少なくなるので、カメラ30の姿勢を迅速に安定化できる。よって、ジンバルカメラ装置10は、安定した静止画撮像を短時間で行うことが可能となる。
【0094】
また、ジンバルカメラ装置10は、夜景シーンにおいてカメラ30により撮影する場合でも、手振れを抑えるためにISO感度を上げて撮像することを回避し、画像信号の増幅量(ゲイン)が上がることにより、ノイズ成分により画質が劣化することを回避できる。
【0095】
また、カメラ30の振れが発生すると、カメラ30の姿勢が安定化するまでに時間を要し、自動露出(AE:Auto Exprosure)に要する時間が長くなる傾向がある。これに対し、毎回、自動露出が実施される場合でも、ジンバルカメラ装置10は、シャッタスピードを遅くすることで、自動露出に要する時間を待機でき、夜間撮像においても振れの抑制された状態で静止画を撮像できる。
【0096】
また、ジンバルカメラ装置10は、ISO感度を上げずにシャッタスピードを遅くし、更にジンバル20の精度を一時的に上げることで、カメラ30の振れを抑えつつ、高画質な夜景シーンで画像を撮像できる。
【0097】
また、ジンバルカメラ装置10は、夜景シーンで画像を撮像する際に、ジンバル20の各モータに印加される電圧を上げることで、カメラ30の振れ補正量を細かく調整できる。よって、ジンバルカメラ装置10は、カメラ30の振れの許容量の低減を実現でき、つまりカメラ30の姿勢を一層安定化(例えば固定)できる。ジンバルカメラ装置10は、カメラ30の姿勢を安定化した状態でISO感度とシャッタスピードとを下げることで、ジンバル20を用いた夜景撮影を安定化できる。よって、ジンバルカメラ装置10は、夜景を良好な画質で撮影できる。
【0098】
このように、ジンバルカメラ装置10(移動体の一例)は、カメラ30(撮像部の一例と、カメラ30が搭載されカメラ30の振れを補正するジンバル20(ジンバル部の一例)と、を備える。ジンバル20は、相互に直交する3軸の少なくとも1つの回転軸を中心に、カメラ30を回転自在に支持してよい。ジンバル20は、3軸の少なくとも1つの回転軸を中心に、カメラを回転させるモータ(例えばヨー軸モータ215、ロール軸モータ216、ピッチ軸モータ217)を備えてよい。ジンバル20は、撮像シーンが夜景シーンであるか否かを判定し、撮像モードが静止画撮像モードであるか否かを判定してよい。ジンバル20は、撮像シーンが夜景シーンであり、撮像モードが静止画撮像モードである場合、モータの回転許容量(例えば角度閾値)を小さくするよう制御し、カメラ30で得られる画像信号の増幅量を小さくするようカメラ30に指示し、カメラ30のシャッタスピードを遅くするようカメラ30に指示してよい。
【0099】
ジンバル20に対してカメラ30の振れが一度発生すると、振れが収まるまでに(安定化するまでに)時間がかかる。振れが安定化するとは、所定の撮像シーン(例えば夜景シーン)や所定の撮像モード(例えば静止画撮像モード)での撮像に対する振れによる影響を無視できる程度に、振れが収まることとも言える。ジンバルカメラ装置10は、印加電圧を大きくすることで、モータの細かな調整が可能となり、回転許容量を小さくできる。したがって、ジンバルカメラ装置10は、振れが安定化するまでの時間を短くでき、カメラ30の振れによる画像のブレを軽減できる。よって、安定化するまでの時間を短くすることで、夜景撮像時の撮像画像の画質を向上し易くなる。夜景撮像時は、例えば星空の撮像時を含んでよい。
【0100】
カメラ30の振れがある場合に撮像された画像の画像信号の増幅量を小さくすることで、ノイズ成分が増幅されて画質が劣化することを抑制できる。また、増幅量を下げることで静止画の輝度(画素値、画像信号の信号レベル)が小さくなるが、シャッタスピードを遅くして多くの光量を取り入れることで、静止画の輝度を確保でき、画質を向上できる。夜景撮像時には、少しのカメラ30の振れでも撮像される画像の画質に大きく影響するが、ジンバルカメラ装置10は、夜景シーンで撮像される画像の画質を改善可能な複数の処理を連携させて、効率良く画質改善できる。
【0101】
また、カメラ30は、ジンバル20により制御された回転許容量で、静止画を撮像してよい。ジンバル20は、ジンバル20により制御された回転許容量を、ジンバル20により制御される前の状態に復帰してよい。
【0102】
これにより、ジンバルカメラ装置10は、静止画撮像を行うタイミング以外では、モータの印加電圧を元に戻す(つまり小さくする)ことで、ジンバル20の各モータを駆動するための電圧を大きくする期間を限定できる。したがって、ジンバルカメラ装置10は、消費電力を小さくできる。
【0103】
また、カメラ30は、ジンバル20により指示された画像信号の増幅量及びシャッタスピードで、静止画を撮像してよい。ジンバル20は、ジンバル20により指示された画像信号の増幅量及び前記シャッタスピードを、ジンバル部により指示される前の状態に復帰してよい。
【0104】
これにより、ジンバルカメラ装置10は、ジンバルモードとともに、夜景撮像時の画質向上を行うための各カメラパラメータの変更も解除できる。これにより、夜景撮像前の撮像シーンや撮像モードに適したカメラパラメータで、画像を撮像できる。
【0105】
また、ジンバル20は、カメラ30により撮像されたライブビュー画像の輝度に基づいて、夜景シーンであるか否かを判定してよい。
【0106】
これにより、ジンバルカメラ装置10は、静止画を撮像する際に撮像素子34に実際に取り込まれている光量を加味して、夜景シーンか否かを判断できる。よって、ジンバルカメラ装置10は、実際の撮像空間における光量を加味して、静止画の画質改善を行うことができる。また、ジンバルカメラ装置10は、夜時間帯であっても光量が十分である場合には夜景シーンではないと判定されることで、夜景シーンを撮像するための消費電力の大きい静止画撮像を行うことを抑制でき、省電力化できる。
【0107】
また、ジンバルカメラ装置10が把持部620を備えることで、撮像者(ユーザ)が自由にジンバルカメラ装置10を把持して移動できる。この場合でも、ジンバルカメラ装置10は、手振れによるカメラ30の振れを加味して、夜景撮像時の画質の劣化を抑制できる。
【0108】
(他のジンバルカメラ装置)
図4は、他のジンバルカメラ装置10Bの外観例を示す斜視図である。
図4において、
図1に示したジンバルカメラ装置10と同様の構成部については、同一の符号を付し、その説明を省略又は簡略化する。
【0109】
ジンバルカメラ装置10Bは、装置本体60Bと、ジンバル20Bと、携帯端末50Bとを含む構成を有する。装置本体60Bは、例えば略円柱状に形成された部材である。装置本体60Bの上端には、ジンバル20Bが着脱自在に装着される。装置本体60Bの上部正面には、傾斜を有する操作面610が形成される。操作面610には、各種ボタンが配置される。各種ボタンは、シャッタボタン611、録画ボタン612、及び操作ボタン613を含む。装置本体60の中央下部は、撮像者の手で把持される把持部620に形成される。
【0110】
ジンバル20Bは、装置本体60Bの上端に着脱自在に取り付けられる。ジンバル20Bには、取付部315を介して、携帯端末50Bが取り付けられる。ジンバル20Bは、取付部315に取り付けられた携帯端末50Bの位置や向きを可変自在に支持する。
【0111】
ジンバル20Bは、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217を有する。ヨー軸モータ215は、装置本体60Bの上端に配置される。ロール軸モータ216は、アーム部材221を介してヨー軸モータ215に取り付けられる。ピッチ軸モータ217は、アーム部材221を介してロール軸モータ216に取り付けられる。ジンバル20Bは、ヨー軸モータ215、ロール軸モータ216及びピッチ軸モータ217を駆動し、被写体に対する携帯端末50B(携帯端末50Bが備える撮像部)の向きが振れないように、ヨー軸、ロール軸及びピッチ軸の3軸方向に携帯端末50Bを回転自在に支持する。つまり、ジンバル20Bは、携帯端末50B(携帯端末50Bが備える撮像部)の向き(姿勢)を安定化させるスタビライザ機能を有する。ここでは、携帯端末50Bの撮像部が、
図1のカメラ30に相当する。
【0112】
ジンバル20B及び携帯端末50Bは、相互に有線通信(例えばUSB通信)又は無線通信(例えば無線LAN、Bluetooth(登録商標)、近距離通信、公衆無線回線)により通信可能である。
【0113】
携帯端末50Bは、携帯端末50Bが備える撮像部(不図示)により撮像された画像を、リアルタイムに表示してよい。この画像は、ライブビュー画像とも称される。携帯端末50Bの撮像部は、ジンバル20Bに搭載されているので、ジンバルカメラ装置10と同様に、ジンバル20Bによる振れ補正による影響(例えばカメラ30の撮像方向が振れの発生前の時点に戻ろうとすることによる影響)を受け、ジンバルモードによって携帯端末50Bの振れが安定化するまでの時間が長くなることもある。この場合でも、ジンバルカメラ装置10Bは、ジンバルカメラ装置10と同様に、ジンバル20Bによる振れ補正(姿勢の調整)やカメラパラメータを加味して夜景シーンにおいて撮像できるので、画質の低下を抑制して静止画等を撮像できる。
【0114】
(無人航空機に搭載されたジンバル)
図5は、ジンバル200が搭載された無人航空機100の外観を示す斜視図である。無人航空機100は移動体の一例である。無人航空機100は、UAV本体102と、ジンバル200と、撮像部220と、複数の撮像部230と、UAV制御部110(不図示)と、を含む構成である。UAV制御部110は、制御部の一例である。
【0115】
UAV本体102は、複数の回転翼(プロペラ)を備える。UAV本体102は、複数の回転翼の回転を制御することにより無人航空機100を飛行させる。UAV本体102は、例えば4つの回転翼を用いて無人航空機100を飛行させる。回転翼の数は、4つに限定されない。また、無人航空機100は、回転翼を有さない固定翼機でよい。
【0116】
ジンバル200は、ヨー軸、ピッチ軸、及びロール軸を中心に撮像部220を回転可能に支持してよい。ジンバル200は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像部220を回転させることで、撮像部220の撮像方向を変更してよい。
【0117】
撮像部220は、所望の撮像範囲に含まれる被写体(例えば、空撮対象となる上空の様子、山や川等の景色、地上の建物)を撮像する撮像用のカメラである。
【0118】
複数の撮像部230は、無人航空機100の飛行を制御するために無人航空機100の周囲を撮像するセンシング用のカメラである。
【0119】
UAV制御部110は、無人航空機100の飛行を制御する。UAV制御部110は、ジンバル200、回転翼機構(不図示)、撮像部220及び撮像部230を制御する。また、UAV制御部110は、ジンバル制御部21と同様の機能を有する。この場合、無人航空機100の場合、UAV制御部110がジンバル制御部21に相当し、撮像部220がカメラ30に相当する。
【0120】
このように、撮像部220は、ジンバル200に搭載されているので、ジンバルカメラ装置10と同様に、ジンバル200による振れ補正による影響(例えば撮像部220の撮像方向が振れの発生前の時点に戻ろうとすることによる影響)を受ける。この場合でも、無人航空機100は、ジンバルカメラ装置10,10Bと同様に、ジンバル200による振れ補正を加味して夜景シーンにおいて撮像できるので、画質の低下を抑制して静止画等を撮像できる。また、無人航空機100は、飛行中に、例えば気流の影響を受けても、ジンバル200により撮像部220の振れを補正しながら、高画質で夜景の画像を撮像できる。よって、無人航空機100は、自由な方向に飛行しながら、撮像部220による撮像方向を任意の方向に向け、夜間に高画質な画像を撮像できる。
【0121】
以上、本開示を実施形態を用いて説明したが、本開示の技術的範囲は上述した実施形態に記載の範囲には限定されない。上述した実施形態に、多様な変更又は改良を加えることが当業者に明らかである。その様な変更又は改良を加えた形態も本開示の技術的範囲に含まれ得ることが、特許請求の範囲の記載からも明らかである。
【0122】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現可能である。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「先ず、」、「次に」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【0123】
また、本開示は、上記実施形態の装置の機能を実現するプログラムを、ネットワークあるいは各種記憶媒体を介して装置に供給し、この装置内のコンピュータが読み出して実行するプログラム、及びこのプログラムが記憶された記録媒体も適用範囲である。