(58)【調査した分野】(Int.Cl.,DB名)
前記暈し処理部は、前記移動体の移動速度が第1移動速度の場合、第1サイズのフィルタを適用して前記画像にぼけを付与し、前記移動体の移動速度が前記第1移動速度より大きい第2移動速度の場合、前記第1サイズより大きい第2サイズのフィルタを適用して前記画像にぼけを付与する、請求項6に記載の画像処理装置。
前記暈し処理部は、前記移動体の移動速度が予め定められた閾値より小さい場合、第1サイズのフィルタを適用して前記画像にぼけを付与し、前記移動体の移動速度が前記閾値以上である場合、前記第1サイズより大きい第2サイズのフィルタを適用して前記画像にぼけを付与する、請求項6に記載の画像処理装置。
前記暈し処理部は、前記撮像装置のシャッタ速度が第1シャッタ速度の場合、第1サイズのフィルタを適用して前記画像にぼけを付与し、前記撮像装置のシャッタ速度が前記第1シャッタ速度より大きい第2シャッタ速度の場合、前記第1サイズより大きい第2サイズのフィルタを適用して前記画像にぼけを付与する、請求項9に記載の画像処理装置。
前記暈し処理部は、前記撮像装置のシャッタ速度が前記第1シャッタ速度より小さい予め定められた第3シャッタ速度より小さい場合、前記画像にぼけを付与しない、請求項10に記載の画像処理装置。
【発明の概要】
【発明が解決しようとする課題】
【0003】
移動体に搭載された撮像装置により撮像される画像に、移動体の移動に応じた効果を生じさせることが望まれている。
【課題を解決するための手段】
【0004】
本発明の一態様に係る画像処理装置は、移動体に搭載された撮像装置により撮像された画像を取得する取得部を備えてよい。画像処理装置は、撮像装置が画像を撮像しているときの移動体の移動方向を特定する特定部を備えてよい。画像処理装置は、移動方向に基づいて、画像にぼけを付与する暈し処理部を備えてよい。
【0005】
特定部は、移動体を制御する制御情報に基づいて移動体の移動方向を特定してよい。
【0006】
特定部は、撮像装置の撮像面に沿った移動方向を特定してよい。暈し処理部は、移動方向に沿ったぼけを画像に付与する暈し処理を施してよい。
【0007】
暈し処理部は、移動方向と反対方向に延びるぼけを画像に付与する暈し処理を施してよい。
【0008】
特定部は、撮像装置が画像を撮像しているときの移動体の移動速度をさらに特定してよい。暈し処理部は、移動速度に応じた強度のぼけを画像に付与してよい。
【0009】
暈し処理部は、移動速度に応じたサイズのフィルタを適用して画像にぼけを付与してよい。
【0010】
暈し処理部は、移動体の移動速度が第1移動速度の場合、第1サイズのフィルタを適用して画像にぼけを付与してよい。暈し処理部は、移動体の移動速度が第1移動速度より大きい第2移動速度の場合、第1サイズより大きい第2サイズのフィルタを適用して画像にぼけを付与してよい。
【0011】
暈し処理部は、移動体の移動速度が予め定められた閾値より小さい場合、第1サイズのフィルタを適用して画像にぼけを付与してよい。暈し処理部は、移動体の移動速度が閾値以上である場合、第1サイズより大きい第2サイズのフィルタを適用して画像にぼけを付与してよい。
【0012】
特定部は、撮像装置が画像を撮像しているときの撮像装置のシャッタ速度を特定してよい。暈し処理部は、シャッタ速度に応じたサイズのフィルタを適用して画像にぼけを付与してよい。
【0013】
暈し処理部は、撮像装置のシャッタ速度が第1シャッタ速度の場合、第1サイズのフィルタを適用して画像にぼけを付与してよい。暈し処理部は、撮像装置のシャッタ速度が第1シャッタ速度より大きい第2シャッタ速度の場合、第1サイズより大きい第2サイズのフィルタを適用して画像にぼけを付与してよい。
【0014】
暈し処理部は、撮像装置のシャッタ速度が第1シャッタ速度より小さい予め定められた第3シャッタ速度より小さい場合、画像にぼけを付与しなくてよい。
【0015】
特定部は、撮像装置が画像を撮像しているときの移動体の移動速度、及び撮像装置のシャッタ速度を特定してよい。暈し処理部は、移動速度及びシャッタ速度に応じた強度のぼけを付与してよい。
【0016】
撮像装置は、撮像装置の撮像方向を調整可能に撮像装置を支持する支持機構を介して移動体に搭載されてよい。特定部は、撮像装置が画像を撮像しているときの移動体に対する撮像装置の撮像方向を特定してよい。特定部は、移動体の移動方向、及び移動体に対する撮像装置の撮像方向に基づいて、撮像面に沿った移動方向を特定してよい。
【0017】
特定部は、撮像装置が画像を撮像しているときの移動体の移動速度、及び移動体に対する撮像装置の回転速度を特定してよい。暈し処理部は、移動体の移動速度及び撮像装置の回転速度に応じた強度のぼけを画像に付与してよい。
【0018】
本発明の一態様に係る撮像装置は、イメージセンサを備えてよい。撮像装置は、イメージセンサから出力される画像に対して画像処理を行う上記画像処理装置を備えてよい。
【0019】
本発明の一態様に係る移動体は、上記撮像装置を備えて移動する移動体でよい。
【0020】
移動体は、撮像装置の撮像方向を調整可能に撮像装置を支持する支持機構を備えてよい。
【0021】
本発明の一態様に係る画像処理方法は、移動体に搭載された撮像装置により撮像された画像を取得する段階を備えてよい。画像処理方法は、撮像装置が画像を撮像しているときの移動体の移動方向を特定する段階を備えてよい。画像処理方法は、移動方向に基づいて、画像にぼけを付与する段階を備えてよい。
【0022】
本発明の一態様に係るプログラムは、上記画像処理装置としてコンピュータを機能させるためのプログラムでよい。
【0023】
本発明の一態様によれば、移動体に搭載された撮像装置により撮像される画像に、移動体の移動に応じた効果を生じさせることできる。
【0024】
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
【発明を実施するための形態】
【0026】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施の形態は特許請求の範囲に係る発明を限定するものではない。また、実施の形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。以下の実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0027】
特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。
【0028】
本発明の様々な実施形態は、フローチャート及びブロック図を参照して記載されてよく、ここにおいてブロックは、(1)操作が実行されるプロセスの段階または(2)操作を実行する役割を持つ装置の「部」を表わしてよい。特定の段階及び「部」が、プログラマブル回路、及び/またはプロセッサによって実装されてよい。専用回路は、デジタル及び/またはアナログハードウェア回路を含んでよい。集積回路(IC)及び/またはディスクリート回路を含んでよい。プログラマブル回路は、再構成可能なハードウェア回路を含んでよい。再構成可能なハードウェア回路は、論理AND、論理OR、論理XOR、論理NAND、論理NOR、及び他の論理操作、フリップフロップ、レジスタ、フィールドプログラマブルゲートアレイ(FPGA)、プログラマブルロジックアレイ(PLA)等のようなメモリ要素等を含んでよい。
【0029】
コンピュータ可読媒体は、適切なデバイスによって実行される命令を格納可能な任意の有形なデバイスを含んでよい。その結果、そこに格納される命令を有するコンピュータ可読媒体は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく実行され得る命令を含む、製品を備えることになる。コンピュータ可読媒体の例としては、電子記憶媒体、磁気記憶媒体、光記憶媒体、電磁記憶媒体、半導体記憶媒体等が含まれてよい。コンピュータ可読媒体のより具体的な例としては、フロッピー(登録商標)ディスク、ディスケット、ハードディスク、ランダムアクセスメモリ(RAM)、リードオンリメモリ(ROM)、消去可能プログラマブルリードオンリメモリ(EPROMまたはフラッシュメモリ)、電気的消去可能プログラマブルリードオンリメモリ(EEPROM)、静的ランダムアクセスメモリ(SRAM)、コンパクトディスクリードオンリメモリ(CD-ROM)、デジタル多用途ディスク(DVD)、ブルーレイ(RTM)ディスク、メモリスティック、集積回路カード等が含まれてよい。
【0030】
コンピュータ可読命令は、1または複数のプログラミング言語の任意の組み合わせで記述されたソースコードまたはオブジェクトコードの何れかを含んでよい。ソースコードまたはオブジェクトコードは、従来の手続型プログラミング言語を含む。従来の手続型プログラミング言語は、アセンブラ命令、命令セットアーキテクチャ(ISA)命令、マシン命令、マシン依存命令、マイクロコード、ファームウェア命令、状態設定データ、またはSmalltalk、JAVA(登録商標)、C++等のようなオブジェクト指向プログラミング言語、及び「C」プログラミング言語または同様のプログラミング言語でよい。コンピュータ可読命令は、汎用コンピュータ、特殊目的のコンピュータ、若しくは他のプログラム可能なデータ処理装置のプロセッサまたはプログラマブル回路に対し、ローカルにまたはローカルエリアネットワーク(LAN)、インターネット等のようなワイドエリアネットワーク(WAN)を介して提供されてよい。プロセッサまたはプログラマブル回路は、フローチャートまたはブロック図で指定された操作を実行するための手段を作成すべく、コンピュータ可読命令を実行してよい。プロセッサの例としては、コンピュータプロセッサ、処理ユニット、マイクロプロセッサ、デジタル信号プロセッサ、コントローラ、マイクロコントローラ等を含む。
【0031】
図1は、無人航空機(UAV)10及び遠隔操作装置300の外観の一例を示す。UAV10は、UAV本体20、ジンバル50、複数の撮像装置60、及び撮像装置100を備える。ジンバル50、及び撮像装置100は、撮像システムの一例である。UAV10は、移動体とは、空中を移動する飛行体、地上を移動する車両、水上を移動する船舶等を含む概念である。空中を移動する飛行体とは、UAVの他、空中を移動する他の航空機、飛行船、ヘリコプター等を含む概念である。
【0032】
UAV本体20は、複数の回転翼を備える。複数の回転翼は、推進部の一例である。UAV本体20は、複数の回転翼の回転を制御することでUAV10を飛行させる。UAV本体20は、例えば、4つの回転翼を用いてUAV10を飛行させる。回転翼の数は、4つには限定されない。また、UAV10は、回転翼を有さない固定翼機でもよい。
【0033】
撮像装置100は、所望の撮像範囲に含まれる被写体を撮像する撮像用のカメラである。ジンバル50は、撮像装置100を回転可能に支持する。ジンバル50は、支持機構の一例である。例えば、ジンバル50は、撮像装置100を、アクチュエータを用いてピッチ軸で回転可能に支持する。ジンバル50は、撮像装置100を、アクチュエータを用いて更にロール軸及びヨー軸のそれぞれを中心に回転可能に支持する。ジンバル50は、ヨー軸、ピッチ軸、及びロール軸の少なくとも1つを中心に撮像装置100を回転させることで、撮像装置100の姿勢を変更してよい。
【0034】
複数の撮像装置60は、UAV10の飛行を制御するためにUAV10の周囲を撮像するセンシング用のカメラである。2つの撮像装置60が、UAV10の機首である正面に設けられてよい。更に他の2つの撮像装置60が、UAV10の底面に設けられてよい。正面側の2つの撮像装置60はペアとなり、いわゆるステレオカメラとして機能してよい。底面側の2つの撮像装置60もペアとなり、ステレオカメラとして機能してよい。複数の撮像装置60により撮像された画像に基づいて、UAV10の周囲の3次元空間データが生成されてよい。UAV10が備える撮像装置60の数は4つには限定されない。UAV10は、少なくとも1つの撮像装置60を備えていればよい。UAV10は、UAV10の機首、機尾、側面、底面、及び天井面のそれぞれに少なくとも1つの撮像装置60を備えてもよい。撮像装置60で設定できる画角は、撮像装置100で設定できる画角より広くてよい。撮像装置60は、単焦点レンズまたは魚眼レンズを有してもよい。
【0035】
遠隔操作装置300は、UAV10と通信して、UAV10を遠隔操作する。遠隔操作装置300は、UAV10と無線で通信してよい。遠隔操作装置300は、UAV10に上昇、下降、加速、減速、前進、後進、回転などのUAV10の移動に関する各種命令を示す指示情報を送信する。指示情報は、例えば、UAV10の高度を上昇させる指示情報を含む。指示情報は、UAV10が位置すべき高度を示してよい。UAV10は、遠隔操作装置300から受信した指示情報により示される高度に位置するように移動する。指示情報は、UAV10を上昇させる上昇命令を含んでよい。UAV10は、上昇命令を受け付けている間、上昇する。UAV10は、上昇命令を受け付けても、UAV10の高度が上限高度に達している場合には、上昇を制限してよい。
【0036】
図2は、UAV10の機能ブロックの一例を示す。UAV10は、UAV制御部30、メモリ37、通信インタフェース36、推進部40、GPS受信機41、慣性計測装置42、磁気コンパス43、気圧高度計44、温度センサ45、湿度センサ46、ジンバル50、撮像装置60及び撮像装置100を備える。
【0037】
通信インタフェース36は、遠隔操作装置300などの他の装置と通信する。通信インタフェース36は、遠隔操作装置300からUAV制御部30に対する各種の命令を含む指示情報を受信してよい。メモリ37は、UAV制御部30が、推進部40、GPS受信機41、慣性計測装置(IMU)42、磁気コンパス43、気圧高度計44、温度センサ45、湿度センサ46、ジンバル50、撮像装置60、及び撮像装置100を制御するのに必要なプログラム等を格納する。メモリ37は、コンピュータ読み取り可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリ等のフラッシュメモリの少なくとも1つを含んでよい。メモリ37は、UAV本体20の内部に設けられてよい。UAV本体20から取り外し可能に設けられてよい。
【0038】
UAV制御部30は、メモリ37に格納されたプログラムに従ってUAV10の飛行及び撮像を制御する。UAV制御部30は、第2制御部の一例である。UAV制御部30は、CPUまたはMPU等のマイクロプロセッサ、MCU等のマイクロコントローラ等により構成されてよい。UAV制御部30は、通信インタフェース36を介して遠隔操作装置300から受信した命令に従って、UAV10の飛行及び撮像を制御する。推進部40は、UAV10を推進させる。推進部40は、複数の回転翼と、複数の回転翼を回転させる複数の駆動モータとを有する。推進部40は、UAV制御部30からの命令に従って複数の駆動モータを介して複数の回転翼を回転させて、UAV10を飛行させる。
【0039】
GPS受信機41は、複数のGPS衛星から発信された時刻を示す複数の信号を受信する。GPS受信機41は、受信された複数の信号に基づいてGPS受信機41の位置(緯度及び経度)、つまりUAV10の位置(緯度及び経度)を算出する。IMU42は、UAV10の姿勢を検出する。IMU42は、UAV10の姿勢として、UAV10の前後、左右、及び上下の3軸方向の加速度と、ピッチ、ロール、及びヨーの3軸方向の角速度とを検出する。磁気コンパス43は、UAV10の機首の方位を検出する。気圧高度計44は、UAV10が飛行する高度を検出する。気圧高度計44は、UAV10の周囲の気圧を検出し、検出された気圧を高度に換算して、高度を検出する。温度センサ45は、UAV10の周囲の温度を検出する。湿度センサ46は、UAV10の周囲の湿度を検出する。
【0040】
撮像装置100は、撮像部102及びレンズ部200を備える。レンズ部200は、レンズ装置の一例である。撮像部102は、イメージセンサ120、撮像制御部110、及びメモリ130を有する。イメージセンサ120は、CCDまたはCMOSにより構成されてよい。イメージセンサ120は、複数のレンズ210を介して結像された光学像を撮像し、撮像された画像を撮像制御部110に出力する。撮像制御部110は、CPUまたはMPUなどのマイクロプロセッサ、MCUなどのマイクロコントローラなどにより構成されてよい。撮像制御部110は、UAV制御部30からの撮像装置100の動作命令に応じて、撮像装置100を制御してよい。撮像制御部110は、第1制御部の一例である。メモリ130は、コンピュータ可読可能な記録媒体でよく、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。メモリ130は、撮像制御部110がイメージセンサ120などを制御するのに必要なプログラム等を格納する。メモリ130は、撮像装置100の筐体の内部に設けられてよい。メモリ130は、撮像装置100の筐体から取り外し可能に設けられてよい。
【0041】
レンズ部200は、複数のレンズ210、複数のレンズ駆動部212、及びレンズ制御部220を有する。複数のレンズ210は、ズームレンズ、バリフォーカルレンズ、及びフォーカスレンズとして機能してよい。複数のレンズ210の少なくとも一部または全部は、光軸に沿って移動可能に配置される。レンズ部200は、撮像部102に対して着脱可能に設けられる交換レンズでよい。レンズ駆動部212は、カム環などの機構部材を介して、複数のレンズ210の少なくとも一部または全部を光軸に沿って移動させる。レンズ駆動部212は、アクチュエータを含んでよい。アクチュエータは、ステッピングモータを含んでよい。レンズ制御部220は、撮像部102からのレンズ制御命令に従って、レンズ駆動部212を駆動して、機構部材を介して1または複数のレンズ210を光軸方向に沿って移動させる。レンズ制御命令は、例えば、ズーム制御命令、及びフォーカス制御命令である。
【0042】
レンズ部200は、メモリ222、位置センサ214をさらに有する。レンズ制御部220は、撮像部102からのレンズ動作命令に応じてレンズ駆動部212を介して、レンズ210の光軸方向への移動を制御する。レンズ制御部220は、撮像部102からのレンズ動作命令に応じてレンズ駆動部212を介して、レンズ210の光軸方向への移動を制御する。レンズ210の一部または全部は、光軸に沿って移動する。レンズ制御部220は、レンズ210の少なくとも1つを光軸に沿って移動させることで、ズーム動作及びフォーカス動作の少なくとも一方を実行する。位置センサ214は、レンズ210の位置を検出する。位置センサ214は、現在のズーム位置またはフォーカス位置を検出してよい。
【0043】
レンズ駆動部212は、振れ補正機構を含んでよい。レンズ制御部220は、振れ補正機構を介して、レンズ210を光軸に沿った方向、または光軸に垂直な方向に移動させることで、振れ補正を実行してよい。レンズ駆動部212は、ステッピングモータにより振れ補正機構を駆動して、振れ補正を実行してよい。なお、振れ補正機構は、ステッピングモータにより駆動されて、イメージセンサ120を光軸に方向に沿った方向、または光軸に垂直な方向に移動させることで、振れ補正を実行してよい。
【0044】
メモリ222は、レンズ駆動部212を介して移動する複数のレンズ210の制御値を記憶する。メモリ222は、SRAM、DRAM、EPROM、EEPROM、及びUSBメモリなどのフラッシュメモリの少なくとも1つを含んでよい。
【0045】
以上のように構成されたUAV10において、撮像装置100により撮像された画像に対して、UAV10の移動に応じた効果を生じさせる。例えば、UAV10が屋外で撮像装置100により動画を撮像する場合、シャッタ速度が速く、フレーム間で被写体の動きが滑らかにならず、被写体の動きが不自然になる動画になる場合がある。本実施形態に係る撮像装置100によれば、このような画像の不自然さをUAV10の移動に応じたぼけを画像に施すことで解消する。
【0046】
撮像制御部110は、取得部112、特定部114、及び暈し処理部116を有する。撮像制御部110は、画像処理装置の一例である。取得部112、特定部114、及び暈し処理部116は、撮像装置100以外の他の装置、例えば、パーソナルコンピュータなどに備えられてもよい。取得部112は、撮像装置100によりイメージセンサ120を介して撮像された画像を取得する。取得部112は、撮像装置100により撮像された動画を構成する各画像を順次取得してよい。特定部114は、撮像装置100が画像を撮像しているときのUAV10の移動方向を特定する。特定部114は、イメージセンサ120の撮像面に沿った移動方向を特定してよい。特定部114は、UAV10の移動方向のうちイメージセンサ120の撮像面に平行な成分を特定してよい。特定部114は、UAV制御部30を介して取得されるUAV10を制御する制御情報に基づいて、UAV10の移動方向を特定してよい。特定部114は、UAV制御部30を介して取得されるGPS受信機41からのUAV10の移動方向情報、及び慣性計測装置42からのUAV10の姿勢情報などに基づいて、UAV10の移動方向を特定してよい。
【0047】
暈し処理部116は、UAV10の移動方向に基づいて、画像にぼけを付与する。暈し処理部116は、UAV10の移動方向に沿ったぼけを画像に付与する暈し処理を施してよい。暈し処理部116は、UAV10の移動方向と反対方向に延びるぼけを画像に付与する暈し処理を施してよい。暈し処理部116は、UAV10の移動方向と反対方向に延びるぼけを画像に付与するフィルタを適用することで、暈し処理を施してよい。UAV10の移動方向と、撮像装置100の撮像方向とが同一の場合、暈し処理部116は、画像の中心から放射状に延びるぼけを画像に付与するフィルタを適用することで、暈し処理を施してよい。暈し処理部116は、特定の方向に画像を暈す処理を施すモーションブラーフィルタを画像に適用してよい。暈し処理部116は、特定の方向に画像を暈す処理を施すガウシアンフィルタを画像に適用してよい。
【0048】
特定部114は、撮像装置100が画像を撮像しているときのUAV10の移動速度をさらに特定してよい。特定部114は、UAV制御部30を介して取得されるUAV10を制御する制御情報に基づいて、UAV10の移動速度を特定してよい。特定部114は、推進部40の制御情報に基づいて、UAV10の移動速度を特定してよい。特定部114は、UAV制御部30を介して取得されるGPS受信機41からのUAV10の移動速度に基づいて、UAV10の移動速度を特定してよい。暈し処理部116は、UAV10の移動速度に応じた強度のぼけを画像に付与してよい。暈し処理部116は、UAV10の移動速度に応じたサイズのフィルタを適用して画像にぼけを付与してよい。暈し処理部116は、UAV10の移動速度が第1移動速度の場合、第1サイズのフィルタを適用して画像にぼけを付与してよい。
【0049】
暈し処理部116は、UAV10の移動速度が第1移動速度より大きい第2移動速度の場合、第1サイズより大きい第2サイズのフィルタを適用して画像にぼけを付与してよい。
【0050】
暈し処理部116は、UAV10の移動速度が予め定められた閾値より小さい場合、第1サイズのフィルタを適用して画像にぼけを付与してよい。暈し処理部116は、UAV10の移動速度が閾値以上である場合、第1サイズより大きい第2サイズのフィルタを適用して画像にぼけを付与してよい。
【0051】
暈し処理部116は、UAV10の移動速度に応じたフィルタのサイズを変える代わりに、UAV10の移動速度に応じた重みづけのフィルタを適用することで、ぼけを画像に付与してよい。暈し処理部116は、UAV10の移動速度が大きくなるほど、ぼけの強度が高くなるように重み付けされたフィルタを適用することで、ぼけを画像に付与してよい。暈し処理部116は、UAV10の移動速度に応じたサイズ及び重みづけのフィルタを適用することで、ぼけを画像に付与してよい。
【0052】
撮像装置100は、ジンバル50を介してUAV10に搭載されている。ジンバル50が動作することで、撮像装置100のUAV10に対する撮像方向は変化する。そこで、特定部114は、撮像装置100が画像を撮像しているときのUAV10に対する撮像装置100の撮像方向をさらに特定してよい。そして、特定部114は、UAV10の移動方向、及びUAV10に対する撮像装置100の撮像方向に基づいて、UAV10のイメージセンサ120の撮像面に沿った移動方向を特定してよい。特定部114は、UAV制御部30から取得するジンバル50の制御情報に基づいて、UAV10のイメージセンサ120の撮像面に沿った移動方向を特定してよい。
【0053】
特定部114は、撮像装置100が画像を撮像しているときのUAV10に対する撮像装置100の回転速度をさらに特定してよい。暈し処理部116は、UAV10の移動速度及び撮像装置100の回転速度に応じた強度のぼけを画像に付与してよい。
【0054】
取得部112は、イメージセンサ120を介して順次撮像される画像に、タイムスタンプとして、その画像が撮像されたときのUAV10の移動方向、及びUAV10の移動速度を示す情報を関連付けて、メモリ130に順次記憶させてもよい。特定部114は、画像に関連付けられたタイプスタンプを参照することで、画像が撮像されたときのUAV10の移動方向、及びUAV10の移動速度を特定してよい。
【0055】
図3に示すように、UAV10が矢印400で示す方向(紙面右方向)に第1移動速度で移動しながら、撮像装置100が矢印402(紙面上方向)で示す方向を撮像している場合、暈し処理部116は、UAV10の移動方向と反対方向に延びるぼけを画像に付与する3×3のサイズのフィルタ500を適用してよい。
【0056】
図4に示すように、UAV10が矢印400で示す方向(紙面右方向)に第1移動速度より大きい第2移動速度で移動しながら、撮像装置100が矢印402(紙面上方向)で示す方向を撮像している場合、暈し処理部116は、UAV10の移動方向と反対方向に延びるぼけを画像に付与する5×5のサイズのフィルタ502を適用してよい。
【0057】
図5に示すように、UAV10が矢印410で示す方向(紙面右下方向)に第2移動速度で移動しながら、撮像装置100が記号412で示す方向(紙面手前から奥方向)を撮像している場合、暈し処理部116は、UAV10の移動方向と反対方向に延びるぼけを画像に付与する5×5のサイズのフィルタ504を適用してよい。
【0058】
図6は、暈し処理の手順の一例を示すフローチャートである。特定部114は、動画を構成する暈し処理の対象のフレームが撮像されたときのUAV10の移動方向及び移動速度を特定する(S100)。暈し処理部116は、UAV10の移動方向及び移動速度に基づいて、フィルタのサイズ、及びフィルタ内の重みづけを決定する(S102)。暈し処理部116は、UAV10の移動速度に基づいて、フィルタのサイズを選択し、選択されたサイズのフィルタの中から、UAV10の移動方向と反対方向に延びるぼけを施すように重みづけされたフィルタを選択してよい。暈し処理部116は、決定されたフィルタを対象のフレームに適用して、フレームに暈し処理を施す(S104)。暈し処理部116は、フィルタを適用した後の対象のフレームを出力する(S106)。
【0059】
以上のように、本実施形態によれば、UAV10の移動方向及び移動速度に応じた暈しが画像に施されるので、UAV10の移動に応じた効果を効果的に画像に生じさせることができる。例えば、UAV10が屋外で撮像装置100により動画を撮像する場合に、シャッタ速度が速くても、被写体が不自然な動きにならない動画を得ることができる。
【0060】
暈し処理部116は、例えば、UAV10の移動速度の予め定められた閾値Vthを基準として、フィルタのサイズを切り替えてもよい。暈し処理部116は、例えば、
図7に示すように、UAV10の移動速度が閾値Vthより小さい場合、第1のサイズ(例えば、3×3のサイズ)のフィルタを選択してよい。暈し処理部116は、UAV10の移動速度が閾値Vth以上である場合、第2のサイズ(例えば、5×5のサイズ)のフィルタを選択してよい。
【0061】
暈し処理部116は、UAV10の移動速度に応じて段階的にフィルタのサイズを切り替えてもよい。暈し処理部116は、例えば、
図8に示すように、UAV10の移動速度が第1閾値Vth1より小さい場合、第1のサイズ(例えば、3×3のサイズ)のフィルタを選択してよい。暈し処理部116は、UAV10の移動速度が第1閾値Vth1以上かつ第2閾値Vth2より小さい場合、第2のサイズ(例えば、5×5のサイズ)のフィルタを選択してよい。暈し処理部116は、UAV10の移動速度が第2閾値Vth2以上でかつ第3閾値Vth3より小さい場合、第3のサイズ(例えば、7×7のサイズ)のフィルタを選択してよい。暈し処理部116は、UAV10の移動速度が第3閾値Vth3以上である場合、第4のサイズ(例えば、9×9のサイズ)のフィルタを選択してよい。
【0062】
特定部114は、撮像装置100が画像を撮像しているときの撮像装置100のシャッタ速度をさらに特定してもよい。暈し処理部116は、シャッタ速度に応じたサイズのフィルタを適用して画像にぼけを付与してよい。暈し処理部116は、撮像装置100のシャッタ速度が第1シャッタ速度の場合、第1サイズのフィルタを適用して画像にぼけを付与してよい。暈し処理部116は、撮像装置100のシャッタ速度が第1シャッタ速度より大きい第2シャッタ速度の場合、第1サイズより大きい第2サイズのフィルタを適用して画像にぼけを付与してよい。暈し処理部116は、撮像装置100のシャッタ速度が第1シャッタ速度より小さい予め定められた第3シャッタ速度以下の場合、画像にぼけを付与しなくてよい。
【0063】
暈し処理部116は、
図9に示すように、シャッタ速度が第1閾値Vss1より小さい場合、画像にぼけを付与しなくてよい。暈し処理部116は、シャッタ速度が第1閾値Vss1以上、かつ第2閾値Vss2より小さい場合、第1のサイズ(例えば、3×3のサイズ)のフィルタを選択してよい。暈し処理部116は、第2閾値Vss2以上かつ第3閾値Vss3より小さい場合、第2のサイズ(例えば、5×5のサイズ)のフィルタを選択してよい。暈し処理部116は、シャッタ速度が第3閾値Vss3以上である場合、第3のサイズ(例えば、7×7のサイズ)のフィルタを選択してよい。
【0064】
暈し処理部116は、UAV10の移動速度及びシャッタ速度に応じた強度の、UAV10の移動方向と反対方向に延びるぼけを画像に付与してよい。暈し処理部116は、UAV10の移動速度に応じたサイズのフィルタと、シャッタ速度に応じたサイズのフィルタとを組み合わせたフィルタを画像に適用して、画像にぼけ処理を施してもよい。暈し処理部116は、UAV10の移動速度に応じたサイズのフィルタを画像に適用した後、シャッタ速度に応じたサイズのフィルタを画像に適用することで、画像にUAV10の移動方向と反対方向に延びるぼけ処理を施してもよい。
【0065】
図10は、暈し処理部116によりぼけ処理が施される前の画像と、ぼけ処理が施された後の画像との一例を示す図である。
図10に示す画像は、紙面右方向にUAV10が移動しながら、撮像装置100が紙面手前から奥に向かう方向に向いた状態で、撮像装置100により撮像された画像である。このように、UAV10の移動方向と反対方向に延びるぼけ処理を施すことで、画像にUAV10の移動に伴う臨場感を与えることができる。
【0066】
特定部114は、撮像装置100から被写体までの距離(被写体距離)をさらに特定してもよい。暈し処理部116は、被写体までの距離に応じたサイズのフィルタを画像に適用して、画像にぼけ処理を施してもよい。暈し処理部116は、被写体距離が第1の被写体距離の場合、第1のサイズのフィルタを画像に適用してよい。暈し処理部116は、被写体距離が第1の被写体距離より短い第2の被写体距離の場合、第1のサイズより大きい第2のサイズのフィルタを画像に適用してよい。
【0067】
特定部114は、画像を複数の領域に分割して、複数の領域のそれぞれごとに被写体距離を特定してよい。暈し処理部116は、複数の領域ごとの被写体距離に応じたサイズのフィルタを複数の領域のそれぞれに適用して、画像のぼけ処理を施してもよい。
【0068】
特定部114は、画像に対して相対的に移動する被写体を特定してよい。暈し処理部116は、画像内のその被写体の領域に対してフィルタを適用して、画像内のその被写体に対してぼけ処理を施してもよい。
【0069】
図11は、本発明の複数の態様が全体的または部分的に具現化されてよいコンピュータ1200の一例を示す。コンピュータ1200にインストールされたプログラムは、コンピュータ1200に、本発明の実施形態に係る装置に関連付けられるオペレーションまたは当該装置の1または複数の「部」として機能させることができる。または、当該プログラムは、コンピュータ1200に当該オペレーションまたは当該1または複数の「部」を実行させることができる。当該プログラムは、コンピュータ1200に、本発明の実施形態に係るプロセスまたは当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ1200に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつかまたはすべてに関連付けられた特定のオペレーションを実行させるべく、CPU1212によって実行されてよい。
【0070】
本実施形態によるコンピュータ1200は、CPU1212、及びRAM1214を含み、それらはホストコントローラ1210によって相互に接続されている。コンピュータ1200はまた、通信インタフェース1222、入力/出力ユニットを含み、それらは入力/出力コントローラ1220を介してホストコントローラ1210に接続されている。コンピュータ1200はまた、ROM1230を含む。CPU1212は、ROM1230及びRAM1214内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。
【0071】
通信インタフェース1222は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブが、コンピュータ1200内のCPU1212によって使用されるプログラム及びデータを格納してよい。ROM1230はその中に、アクティブ化時にコンピュータ1200によって実行されるブートプログラム等、及び/またはコンピュータ1200のハードウェアに依存するプログラムを格納する。プログラムが、CR−ROM、USBメモリまたはICカードのようなコンピュータ可読記録媒体またはネットワークを介して提供される。プログラムは、コンピュータ可読記録媒体の例でもあるRAM1214、またはROM1230にインストールされ、CPU1212によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ1200に読み取られ、プログラムと、上記様々なタイプのハードウェアリソースとの間の連携をもたらす。装置または方法が、コンピュータ1200の使用に従い情報のオペレーションまたは処理を実現することによって構成されてよい。
【0072】
例えば、通信がコンピュータ1200及び外部デバイス間で実行される場合、CPU1212は、RAM1214にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース1222に対し、通信処理を命令してよい。通信インタフェース1222は、CPU1212の制御の下、RAM1214、またはUSBメモリのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、またはネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
【0073】
また、CPU1212は、USBメモリ等のような外部記録媒体に格納されたファイルまたはデータベースの全部または必要な部分がRAM1214に読み取られるようにし、RAM1214上のデータに対し様々なタイプの処理を実行してよい。CPU1212は次に、処理されたデータを外部記録媒体にライトバックしてよい。
【0074】
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。CPU1212は、RAM1214から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索/置換等を含む、様々なタイプの処理を実行してよく、結果をRAM1214に対しライトバックする。また、CPU1212は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第2の属性の属性値に関連付けられた第1の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、CPU1212は、第1の属性の属性値が指定される、条件に一致するエントリを当該複数のエントリの中から検索し、当該エントリ内に格納された第2の属性の属性値を読み取り、それにより予め定められた条件を満たす第1の属性に関連付けられた第2の属性の属性値を取得してよい。
【0075】
上で説明したプログラムまたはソフトウェアモジュールは、コンピュータ1200上またはコンピュータ1200近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワークまたはインターネットに接続されたサーバーシステム内に提供されるハードディスクまたはRAMのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それによりプログラムを、ネットワークを介してコンピュータ1200に提供する。
【0076】
特許請求の範囲、明細書、及び図面中において示した装置、システム、プログラム、及び方法における動作、手順、ステップ、及び段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、及び図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
【0077】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【解決手段】無人航空機UAVにおいて、画像処理装置は、移動体に搭載された撮像装置により撮像された画像を取得する取得部、撮像装置が画像を撮像しているときの移動体の移動方向を特定する特定部及び移動方向に基づいて、画像にぼけを付与する暈し処理部を備える。特定部は、移動体を制御する制御情報に基づいて移動体の移動方向を特定する。