特許 6436601 移動体、移動体の制御方法、制御プログラムを格納した記憶媒体、および制御プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6436601

(24)【登録日】2018年11月22日

(45)【発行日】2018年12月12日

(54)【発明の名称】移動体、移動体の制御方法、制御プログラムを格納した記憶媒体、および制御プログラム

(51)【国際特許分類】

   H04N 5/232 20060101AFI20181203BHJP

   H04N 5/222 20060101ALI20181203BHJP

   H04N 7/18 20060101ALI20181203BHJP

   G06T 7/00 20170101ALI20181203BHJP

   B64C 39/02 20060101ALI20181203BHJP

   B64D 47/08 20060101ALI20181203BHJP

【ＦＩ】

   H04N5/232 290

   H04N5/222 100

   H04N5/232 030

   H04N7/18 U

   G06T7/00 300F

   B64C39/02

   B64D47/08

【請求項の数】30

【全頁数】24

(21)【出願番号】特願2017-519596(P2017-519596)

(86)(22)【出願日】2016年7月29日

(86)【国際出願番号】JP2016072307

(87)【国際公開番号】WO2018020656

(87)【国際公開日】20180201

【審査請求日】2017年4月11日

(73)【特許権者】

【識別番号】513068816

【氏名又は名称】エスゼット ディージェイアイ テクノロジー カンパニー リミテッド

【氏名又は名称原語表記】ＳＺ ＤＪＩ ＴＥＣＨＮＯＬＯＧＹ ＣＯ．，ＬＴＤ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100108213

【弁理士】

【氏名又は名称】阿部 豊隆

(72)【発明者】

【氏名】笹尾 幸良

【審査官】 鹿野 博嗣

(56)【参考文献】

【文献】 特開２００６−２８１８３０（ＪＰ，Ａ）

【文献】 特開２０１５−０９０５９１（ＪＰ，Ａ）

【文献】 大倉 史生, 神原 誠之, 横矢 直和，フライスルーＭＲ平城京 無人飛行船からの空撮全方位動画像を用いた蓄積再生型拡張テレプレゼンス，電子情報通信学会技術研究報告 Ｖｏｌ．１１０ Ｎｏ．２３８，日本，社団法人電子情報通信学会，２０１０年１０月１４日，p.31-36

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｂ６４Ｃ ３９／０２

Ｂ６４Ｄ ４７／０８

Ｇ０６Ｔ ７／００

Ｈ０４Ｎ ５／２２２

Ｈ０４Ｎ ７／１８

(57)【特許請求の範囲】

【請求項1】

機体と、
撮像装置と、
前記撮像装置の姿勢と前記機体の姿勢との関係に基づいて、前記撮像装置が撮像した画像に前記機体の一部であるオブジェクトが存在するか否かを判定する判定部と、
前記オブジェクトが存在すると判定された場合、前記オブジェクトを除去する処理を行う処理部と
を有する、移動体。

【請求項2】

前記判定部は、前記撮像装置の傾きと前記機体の傾きとが成す角度に基づいて前記判定を行う、請求項１に記載の移動体。

【請求項3】

前記角度が所定の角度より大きい場合、前記判定部は、前記オブジェクトが存在すると判定する、請求項２に記載の移動体。

【請求項4】

前記所定の角度は、前記機体の形状、前記機体の大きさ、前記撮像装置と前記機体との位置の関係、および前記撮像装置の画角を含む情報に基づいて設定される、請求項３に記載の移動体。

【請求項5】

回転翼をさらに有し、
前記所定の角度は、前記回転翼の形状、前記回転翼の大きさ、前記回転翼と前記機体との位置の関係、前記撮像装置と前記機体との位置の関係、および前記撮像装置の画角を含む情報に基づいて設定される、請求項３に記載の移動体。

【請求項6】

前記機体の姿勢情報および前記撮像装置の姿勢情報を取得する取得部をさらに有し、
前記判定部は、前記機体の姿勢情報および前記撮像装置の姿勢情報を用いて前記判定を行う、請求項１から５のいずれか一項に記載の移動体。

【請求項7】

前記取得部は、ジャイロセンサによって測定された姿勢情報を取得する、請求項６に記載の移動体。

【請求項8】

撮像装置と、
機体の傾きを示す第一の値に基づいて、前記撮像装置が撮像した画像に前記機体の一部であるオブジェクトが存在するか否かを判定する判定部と、
前記オブジェクトが存在すると判定された場合、前記オブジェクトを除去する処理を行う処理部と
を有する、移動体。

【請求項9】

前記第一の値は、風速、前記移動体を操作する操作端末において操作された第二の値、および前記移動体の回転翼を駆動する駆動モータの電流値の少なくとも１つを含む、請求項８に記載の移動体。

【請求項10】

前記風速を取得する第一取得部をさらに有し、
前記判定部は、取得された前記風速が所定の閾値を超える場合、前記オブジェクトが存在すると判定する、請求項９に記載の移動体。

【請求項11】

前記風速は、風速計を用いて取得される、請求項１０に記載の移動体。

【請求項12】

前記操作端末において操作された第二の値を取得する第二取得部をさらに有し、
前記判定部は、取得された前記第二の値が所定の閾値を超える場合、前記オブジェクトが存在すると判定する、請求項９から１１のいずれか一項に記載の移動体。

【請求項13】

複数の回転翼と、
前記複数の回転翼のそれぞれの電流値を取得する第三取得部と
をさらに有し、
前記判定部は、前記機体の進行方向とは反対側の前記回転翼の電流値が、前記機体の進行方向の側の前記回転翼の電流値より大きい場合、前記オブジェクトが存在すると判定する、請求項９から１２のいずれか一項に記載の移動体。

【請求項14】

前記機体と前記撮像装置との間に更にジンバルを有する、請求項１から１３のいずれか一項に記載の移動体。

【請求項15】

前記ジンバルは、前記撮像装置の姿勢を一定に保つ制御をする、請求項１４に記載の移動体。

【請求項16】

前記処理部は、前記画像において前記オブジェクトが含まれ得る領域を抽出する、請求項１から１５のいずれか一項に記載の移動体。

【請求項17】

前記処理部は、前記領域から前記オブジェクトを検出する、請求項１６に記載の移動体。

【請求項18】

前記処理部は、前記領域を特徴量の情報に変換し、予め記憶されている前記オブジェクトの特徴量の情報と比較することで前記オブジェクトを検出する、請求項１７に記載の移動体。

【請求項19】

前記特徴量の情報は、ヒストグラム又は空間周波数を含む、請求項１８に記載の移動体。

【請求項20】

前記処理部は、前記処理部で検出された前記オブジェクトを補間する、請求項１７から１９のいずれか一項に記載の移動体。

【請求項21】

前記処理部は、前記処理部で検出された前記オブジェクトに対応する画素を、前記オブジェクトの近傍の領域の画素を用いて補間する、請求項２０に記載の移動体。

【請求項22】

前記処理部は、前記処理部で検出された前記オブジェクトに対応する画素を、前記画像の時間的に前後する画像を用いて補間する、請求項２０または２１に記載の移動体。

【請求項23】

記憶部をさらに有し、
前記処理部は、前記処理部で処理される前の画像及び前記処理部で処理された後の画像の少なくとも１つを前記記憶部に出力する、請求項１から２１のいずれか一項に記載の移動体。

【請求項24】

通信部をさらに有し、
前記処理部は、前記処理部で処理された画像を前記通信部を介して外部に出力する、請求項１から２３のいずれか一項に記載の移動体。

【請求項25】

機体と、撮像装置とを有する移動体の制御方法であって、
前記撮像装置の姿勢と前記機体の姿勢との関係に基づいて、前記撮像装置が撮像した画像に前記機体の一部であるオブジェクトが存在するか否かを判定するステップと、
前記オブジェクトが存在すると判定された場合、前記オブジェクトを除去するステップと
を有する、移動体の制御方法。

【請求項26】

撮像装置を有する移動体の制御方法であって、
機体の傾きを示す第一の値に基づいて、前記撮像装置が撮像した画像に前記機体の一部であるオブジェクトが存在するか否かを判定するステップと、
前記オブジェクトが存在すると判定された場合、前記オブジェクトを除去するステップと
を有する、移動体の制御方法。

【請求項27】

機体と、撮像装置とを有する移動体の制御プログラムを格納する、コンピュータ読み取り可能な記憶媒体であって、
前記制御プログラムは、コンピュータに、
前記撮像装置の姿勢と前記機体の姿勢との関係に基づいて、前記撮像装置が撮像した画像に前記機体の一部であるオブジェクトが存在するか否かを判定するステップと、
前記オブジェクトが存在すると判定された場合、前記オブジェクトを除去するステップと
を実行させる、コンピュータ読み取り可能な記憶媒体。

【請求項28】

撮像装置を有する移動体の制御プログラムを格納する、コンピュータ読み取り可能な記憶媒体であって、
前記制御プログラムは、コンピュータに、
機体の傾きを示す第一の値に基づいて、前記撮像装置が撮像した画像に前記機体の一部であるオブジェクトが存在するか否かを判定するステップと、
前記オブジェクトが存在すると判定された場合、前記オブジェクトを除去するステップと
を実行させる、コンピュータ読み取り可能な記憶媒体。

【請求項29】

機体と、撮像装置とを有する移動体の制御プログラムであって、コンピュータに、
前記撮像装置の姿勢と前記機体の姿勢との関係に基づいて、前記撮像装置が撮像した画像に前記機体の一部であるオブジェクトが存在するか否かを判定するステップと、
前記オブジェクトが存在すると判定された場合、前記オブジェクトを除去するステップと
を実行させる、制御プログラム。

【請求項30】

撮像装置を有する移動体の制御プログラムであって、コンピュータに、
機体の傾きを示す第一の値に基づいて、前記撮像装置が撮像した画像に前記機体の一部であるオブジェクトが存在するか否かを判定するステップと、
前記オブジェクトが存在すると判定された場合、前記オブジェクトを除去するステップと
を実行させる、制御プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、移動体に関する技術である。より詳細には、移動体で行われる画像処理に関する技術に関する。

【背景技術】

【0002】

特許文献１には画像内のオブジェクトの写り込みを除去する技術が開示されている。特許文献１には、カメラ機能付のタブレットコンピュータを用いた技術が開示されている。タブレットコンピュータは、撮像した画像に不要な写り込みがあるか否かを画像のスペクトルを解析して判定する。不要な写り込みがある場合、タブレットコンピュータは、不要な写り込みがある領域の近傍の領域の画素を用いて、その不要な写り込みがある領域を補間する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５−１２６３２６号公報

【非特許文献】

【0004】

【非特許文献1】Bertalmio, Marcelo, Andrea L. Bertozzi, and Guillermo Sapiro. “Navier-stokes, fluid dynamics, and image and video inpainting.” In Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on, vol. 1, pp. I-355. IEEE, 2001.

【非特許文献2】Telea, Alexandru. “An image inpainting technique based on the fast marching method.” Journal of graphics tools 9.1 (2004): 23-34.

【発明の概要】

【発明が解決しようとする課題】

【0005】

連続して撮像が行われる際に、撮像した全ての画像を解析してオブジェクトの写り込みがあるか否かを判定することは、処理負荷の増加を引き起こす。

【課題を解決するための手段】

【0006】

本発明の一実施形態に係る移動体は、機体と、撮像装置と、撮像装置の姿勢と機体の姿勢との関係に基づいて、撮像装置が撮像した画像にオブジェクトが存在するか否かを判定する判定部と、オブジェクトが存在すると判定された場合、オブジェクトを除去する処理を行う処理部とを有する。

【0007】

この形態によれば、移動体は、撮像装置の姿勢と機体の姿勢との関係に基づいて、オブジェクトが画像に存在するか否かを判定する。移動体は、オブジェクトが画像に存在すると判定された場合、撮像装置が撮像した画像からオブジェクトを除去する処理を行う。かかる処理によれば、実際にオブジェクトを除去する処理を行う前に、オブジェクトが存在する画像であるか否かを判定できる。したがって、画像処理を実行することによって生じる処理負荷を軽減できる。

【0008】

本発明の一実施形態においては、判定部は、撮像装置の傾きと機体の傾きとが成す角度に基づいて判定を行ってよい。

【0009】

本発明の一実施形態においては、上記の角度が所定の角度より大きい場合、判定部は、オブジェクトが存在すると判定してよい。

【0010】

本発明の一実施形態においては、上記の所定の角度は、機体の形状、機体の大きさ、撮像装置と機体と位置の関係、および撮像装置の画角を含む情報に基づいて設定されてよい。かかる構成によれば、機体の既知の情報からオブジェクトが画像に存在する可能性がある姿勢を特定できる。

【0011】

本発明の一実施形態においては、移動体は、回転翼をさらに有してよい。上記の所定の角度は、回転翼の形状、回転翼の大きさ、回転翼と機体との位置の関係、撮像装置と機体との位置の関係、および撮像装置の画角を含む情報に基づいて設定されてよい。かかる構成によれば、機体と回転翼との既知の情報からオブジェクトが画像に存在する可能性がある姿勢を特定できる。

【0012】

本発明の一実施形態においては、移動体は、機体の姿勢情報および撮像装置の姿勢情報を取得する取得部をさらに有してよい。判定部は、機体の姿勢情報および撮像装置の姿勢情報を用いて判定を行ってよい。

【0013】

本発明の一実施形態においては、姿勢取得部は、ジャイロセンサによって測定された姿勢情報を取得してよい。

【0014】

本発明の一実施形態に係る移動体は、撮像装置と、機体の傾きを示す第一の値に基づいて、撮像装置が撮像した画像にオブジェクトが存在するか否かを判定する判定部と、オブジェクトが存在すると判定された場合、オブジェクトを除去する処理を行う処理部とを有する。

【0015】

この形態によれば、移動体は、機体の傾きを示す第一の値に基づいて、オブジェクトが存在するか否かを判定する。移動体は、オブジェクトが存在すると判定された場合、撮像装置が撮像した画像からオブジェクトを除去する処理を行う。かかる処理によれば、実際にオブジェクトを除去する処理を行う前に、オブジェクトが存在する画像であるか否かを判定できる。したがって、画像処理を実行することによって生じる処理負荷を軽減できる。

【0016】

本発明の一実施形態においては、上記の第一の値は、風速、移動体を操作する操作端末において操作された第二の値、および移動体の回転翼を駆動する駆動モータの電流値の少なくとも１つを含んでよい。

【0017】

本発明の一実施形態においては、移動体は、風速を取得する第一取得部をさらに有してよい。判定部は、取得された風速が、所定の閾値を超える場合、オブジェクトが存在すると判定してよい。

【0018】

本発明の一実施形態においては、風速は、風速計を用いて取得されてよい。

【0019】

本発明の一実施形態においては、移動体は、操作端末において操作された第二の値を取得する第二取得部をさらに有してよい。判定部は、取得された第二の値が所定の閾値を超える場合、オブジェクトが存在すると判定してよい。

【0020】

本発明の一実施形態においては、移動体は、複数の回転翼と、複数の回転翼のそれぞれの電流値を取得する第三取得部とをさらに有してよい。判定部は、機体の進行方向とは反対側の回転翼の電流値が、機体の進行方向の側の回転翼の電流値より大きい場合、オブジェクトが存在すると判定してよい。

【0021】

本発明の一実施形態においては、機体と撮像装置との間に更にジンバルを有してよい。

【0022】

本発明の一実施形態においては、ジンバルは、撮像装置の姿勢を一定に保つ制御をしてよい。

【0023】

本発明の一実施形態においては、処理部は、画像においてオブジェクトが含まれ得る領域を抽出してよい。

【0024】

本発明の一実施形態においては、処理部は、抽出された上記の領域からオブジェクトを検出してよい。

【0025】

本発明の一実施形態においては、処理部は、抽出された上記の領域を特徴量の情報に変換し、予め記憶されているオブジェクトの特徴量の情報と比較することでオブジェクトを検出してよい。

【0026】

本発明の一実施形態においては、上記の特徴量を示す情報は、ヒストグラムまたは空間周波数を含んでよい。

【0027】

本発明の一実施形態においては、処理部は、処理部で検出されたオブジェクトを補間してよい。

【0028】

本発明の一実施形態においては、処理部は、処理部で検出されたオブジェクトに対応する画素を、オブジェクトの近傍の領域の画素を用いて補間してよい。

【0029】

本発明の一実施形態においては、処理部は、処理部で検出されたオブジェクトに対応する画素を、画像の時間的に前後する画像を用いて補間してよい。

【0030】

本発明の一実施形態においては、移動体は、記憶部をさらに有してよい。処理部は、処理部で処理される前の画像及び処理部で処理された後の画像の少なくとも１つを記憶部に出力してよい。

【0031】

本発明の一実施形態においては、移動体は、通信部をさらに有してよい。処理部は、処理部で処理された画像を通信部を介して外部に出力してよい。

【0032】

本発明の一実施形態においては、オブジェクトは、機体の一部であってよい。

【0033】

本発明の一実施形態に係る制御方法は、機体と撮像装置とを有する移動体の制御方法である。この移動体の制御方法は、撮像装置の姿勢と機体の姿勢との関係に基づいて、撮像装置が撮像した画像にオブジェクトが存在するか否かを判定するステップと、オブジェクトが存在すると判定された場合、オブジェクトを除去するステップとを有する。

【0034】

この形態によれば、撮像装置の姿勢と機体の姿勢との関係に基づいて、オブジェクトが画像に存在するか否かを判定する処理が行われる。オブジェクトが存在すると判定された場合、撮像装置が撮像した画像からオブジェクトを除去する処理が行われる。かかる処理によれば、実際にオブジェクトを除去する処理を行う前に、オブジェクトが存在する画像であるか否かを判定できる。したがって、画像処理を実行することによって生じる処理負荷を軽減できる。

【0035】

本発明の一実施形態に係る制御方法は、撮像装置を有する移動体の制御方法である。この移動体の制御方法は、機体の傾きを示す第一の値に基づいて、撮像装置が撮像した画像にオブジェクトが存在するか否かを判定するステップと、オブジェクトが存在すると判定された場合、オブジェクトを除去するステップとを有する。

【0036】

この形態によれば、機体の傾きを示す第一の値に基づいて、オブジェクトが存在するか否かを判定する処理が行われる。オブジェクトが存在すると判定された場合、撮像装置が撮像した画像からオブジェクトを除去する処理が行われる。かかる処理によれば、実際にオブジェクトを除去する処理を行う前に、オブジェクトが存在する画像であるか否かを判定できる。したがって、画像処理を実行することによって生じる処理負荷を軽減できる。

【0037】

本発明の一実施形態に係る記憶媒体は、制御プログラムを格納するコンピュータ読み取り可能な記憶媒体である。この制御プログラムは、機体と、撮像装置とを有する移動体の制御プログラムである。この制御プログラムは、コンピュータに、撮像装置の姿勢と機体の姿勢との関係に基づいて、撮像装置が撮像した画像にオブジェクトが存在するか否かを判定するステップと、オブジェクトが存在すると判定された場合、オブジェクトを除去するステップとを実行させる。

【0038】

この形態によれば、撮像装置の姿勢と機体の姿勢との関係に基づいて、撮像装置が撮像した画像にオブジェクトが存在するか否かを判定する処理が実行される。オブジェクトが存在する画像に対しては、オブジェクトを除去する処理が実行される。かかる処理によれば、実際にオブジェクトを除去する処理を行う前に、オブジェクトが存在する画像であるか否かを判定できる。したがって、画像処理を実行することによって生じる処理負荷を軽減できる。

【0039】

本発明の一実施形態に係る記憶媒体は、制御プログラムを格納するコンピュータ読み取り可能な記憶媒体である。この制御プログラムは、コンピュータに、撮像装置を有する移動体の制御プログラムである。この制御プログラムは、機体の傾きを示す第一の値に基づいて、撮像装置が撮像した画像にオブジェクトが存在するか否かを判定するステップと、オブジェクトが存在すると判定された場合、オブジェクトを除去するステップとを実行させる。

【0040】

この形態によれば、機体の傾きを示す第一の値に基づいて、オブジェクトが存在するか否かを判定する処理が実行される。オブジェクトが存在すると判定された場合、撮像装置が撮像した画像からオブジェクトを除去する処理が実行される。かかる処理によれば、実際にオブジェクトを除去する処理を行う前に、オブジェクトが存在する画像であるか否かを判定できる。したがって、画像処理を実行することによって生じる処理負荷を軽減できる。

【0041】

本発明の一実施形態に係る制御プログラムは、機体と、撮像装置とを有する移動体の制御プログラムである。この制御プログラムは、コンピュータに、撮像装置の姿勢と機体の姿勢との関係に基づいて、撮像装置が撮像した画像にオブジェクトが存在するか否かを判定するステップと、オブジェクトが存在すると判定された場合、オブジェクトを除去するステップとを実行させる。

【0042】

この形態によれば、撮像装置の姿勢と機体の姿勢との関係に基づいて、撮像装置が撮像した画像にオブジェクトが存在するか否かを判定する処理が実行される。オブジェクトが存在する画像に対しては、オブジェクトを除去する処理が実行される。かかる処理によれば、実際にオブジェクトを除去する処理を行う前に、オブジェクトが存在する画像であるか否かを判定できる。したがって、画像処理を実行することによって生じる処理負荷を軽減できる。

【0043】

本発明の一実施形態に係る制御プログラムは、撮像装置を有する移動体の制御プログラムである。この制御プログラムは、コンピュータに、機体の傾きを示す第一の値に基づいて、撮像装置が撮像した画像にオブジェクトが存在するか否かを判定するステップと、オブジェクトが存在すると判定された場合、オブジェクトを除去するステップとを実行させる。

【0044】

この形態によれば、機体の傾きを示す第一の値に基づいて、オブジェクトが存在するか否かを判定する処理が実行される。オブジェクトが存在すると判定された場合、撮像装置が撮像した画像からオブジェクトを除去する処理が実行される。かかる処理によれば、実際にオブジェクトを除去する処理を行う前に、オブジェクトが存在する画像であるか否かを判定できる。したがって、画像処理を実行することによって生じる処理負荷を軽減できる。

【発明の効果】

【0045】

本発明によれば、オブジェクトを画像処理によって除去する場合の処理負荷を軽減できる。

【図面の簡単な説明】

【0046】

【図1】プロペラの写り込みの例を示す図である。

【図2】ＵＡＶの外観の一例を示す図である。

【図3】ＵＡＶの構成の例を示すブロック図である。

【図4】リモートコントローラ端末の例を示す図である。

【図5】ＵＡＶに備えられた撮像装置の画角を説明する図である。

【図6】オブジェクトが画像に写り込む場合を説明する図である。

【図7】ＵＡＶ制御部の構成の例を示すブロック図である。

【図8】フローチャートの一例を示す図である。

【図9】ＵＡＶの傾きと撮像装置の傾きとを説明する図である。

【図10】候補領域を説明する図である。

【図11】検出したオブジェクトの例を説明する図である。

【図12】補間処理を説明する図である。

【発明を実施するための形態】

【0047】

以下、図面を参照しながら本発明の実施形態について詳細に説明する。なお、以下の実施形態において説明する構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

【0048】

特許請求の範囲、明細書、図面、及び要約書には、著作権による保護の対象となる事項が含まれる。著作権者は、これらの書類の何人による複製に対しても、特許庁のファイルまたはレコードに表示される通りであれば異議を唱えない。ただし、それ以外の場合、一切の著作権を留保する。

【0049】

移動体に搭載された撮像装置によって撮像された画像にオブジェクトが存在する場合がある。図１は、移動体の一例であるマルチコプターに搭載された撮像装置を用いて撮像された画像の例を示す図である。画像１１にはマルチコプターの機体は写り込んでいない。画像１２には、マルチコプターのプロペラ１３、１４がオブジェクトとして写りこんでいる。マルチコプターのプロペラ１３、１４によって、画像１２内の一部の領域が覆い隠されてしまっている。

【0050】

本実施形態においては、移動体に搭載された撮像装置によって撮像された画像に、オブジェクトが存在するか否かの判定が行われる。オブジェクトが存在すると判定された画像に対して、移動体は、オブジェクトを画像処理で除去する処理を行う。移動体は、オブジェクトが存在しないと判定された画像に対しては、オブジェクトを画像処理で除去する処理を行わない。画像を解析してオブジェクトを除去する処理を全ての画像に対して行わないので処理負荷を低減できる。オブジェクトが画像に存在するか否か（オブジェクトが画像に写り込んでいる可能性があるか否か）は、移動体と撮像装置との相対的な姿勢に基づいて判定することができる。移動体と撮像装置との相対的な姿勢に基づく判定処理は、画像の中身を解析して写り込みがあるか否かを判定する処理と比べて処理負荷が軽い。したがって、オブジェクトを画像処理によって除去する場合の処理負荷を軽減できる。

【0051】

本実施形態においては、移動体の一例として無人航空機（ＵＡＶ：Unmanned aerial vehicle）を用いる形態を説明する。移動体は、有人航空機であってよい。移動体は、空中を移動する他の航空機、地上を移動する車両、水上を移動する船舶、ロボット等を含む概念である。

【0052】

図２は、本実施形態に係るＵＡＶ１０１の外観の一例を示す図である。ＵＡＶ１０１は、ＵＡＶ機体２１０、複数の回転翼２２０、ジンバル２３０、撮像装置２４０、およびカメラ２５０を備える。

【0053】

複数の回転翼２２０の回転が制御されることにより、ＵＡＶ機体２１０の飛行が制御される。例えばＵＡＶ１０１は、４つの回転翼を有する構成とすることができる。回転翼の数は４つに限定されるものではない。回転翼の数は任意の数であってもよい。ＵＡＶ１０１は、回転翼を有さない固定翼を有する種類のＵＡＶであってもよい。ＵＡＶ１０１は、回転翼および固定翼のどちらも有する種類のＵＡＶであってもよい。

【0054】

ジンバル２３０は、ＵＡＶ機体２１０に備えられる。ジンバル２３０は、撮像装置２４０を回転可能に支持する。ジンバル２３０は、例えばヨー軸、ピッチ軸、及びロール軸を中心に撮像装置２４０を回転制御することができる。

【0055】

撮像装置２４０は、ＵＡＶ機体２１０の周囲の被写体を撮像して画像データを得る。撮像装置２４０は、ジンバル２３０によって回転可能に制御される。撮像装置２４０は、レンズおよび撮像センサを少なくとも含む構成とすることができる。

【0056】

複数のカメラ２５０は、ＵＡＶ１０１の飛行を制御するためのセンシングカメラとすることができる。例えば、ＵＡＶ機体２１０の機首である正面に２つのカメラ２５０が備えられていてもよい。ＵＡＶ機体２１０の底面に２つのカメラ２５０が備えられていてもよい。２つのカメラ２５０のペアによって撮像された画像の視差を用いることによって、ＵＡＶ機体２１０の周囲の距離を求めることができる。カメラ２５０のペアは、機首、機尾、側面、底面、及び天井面のうちの少なくとも１つに備えられていてもよい。カメラ２５０は、レンズおよび撮像センサを少なくとも含む構成とすることができる。

【0057】

図３は、本実施形態に係るＵＡＶ１０１の構成のブロック図の一例を示す図である。ＵＡＶ１０１は、ＵＡＶ全体の制御を行うＵＡＶ制御部３１０と、メモリ３２０と、通信インタフェース３３０とを有する。ＵＡＶ制御部３１０は、回転翼機構３４０、ジンバル２３０、撮像装置２４０、およびカメラ２５０を制御可能である。

【0058】

ＵＡＶ制御部３１０は、例えばメモリ（記憶部）３２０に格納されたソフトウェアプログラムに従ってＵＡＶ全体の制御を行う。ＵＡＶ制御部３１０は、通信インタフェース（通信部）３３０を通じてリモートコントローラ端末（操作端末）などから受信した指示に従って、ＵＡＶ全体の制御を行う。例えばＵＡＶ制御部３１０は、ＵＡＶの飛行の制御を行ったり、撮像装置２４０の撮像制御を行ったりする。ＵＡＶ制御部３１０は、例えばＣＰＵ、ＭＰＵ等のマイクロプロセッサ、ＭＣＵ等のマイクロコントローラ等により構成することができる。

【0059】

メモリ３２０は、ＵＡＶ全体の制御を行うソフトウェアプログラムを格納してもよい。メモリ３２０は、撮像装置２４０およびカメラ２５０が撮像した画像データなどの各種のデータおよびＵＡＶ１０１の各種の情報などを格納してもよい。メモリとしては、コンピュータ読み取り可能な記憶媒体を用いることができる。例えば、ＳＲＡＭ、ＤＲＡＭ、ＥＥＰＲＯＭ、ＵＳＢメモリなどのフラッシュメモリを用いることができる。メモリ３２０は、ＵＡＶ１０１の筐体に備えられてもよい。メモリ３２０はＵＡＶ１０１から取り外し可能であってもよい。

【0060】

通信インタフェース３３０は、無線通信によってリモートコントローラ端末からの指示を受信したり、ＵＡＶ１０１のメモリに格納されている各種のデータおよび情報を送信したりすることができる。通信インタフェース３３０は、ＧＮＳＳ（Global Navigation Satellite System）測位システムからの信号を受信することもできる。

【0061】

回転翼機構３４０は、複数の回転翼２２０と、複数の回転翼２２０を回転させる複数の駆動モータとを含む構成とすることができる。

【0062】

ＵＡＶ１０１は、気圧計、レーザ、加速度、及びジャイロ等の各種のセンサを有してもよい。ＵＡＶ１０１はその他の装置、機構などを備えることができる。

【0063】

図４は、ＵＡＶ１０１を制御するリモートコントローラ端末４００の例を示す図である。リモートコントローラ端末４００は、操作部４１０、表示部４２０、支持部４３０を有する。

【0064】

操作部４１０は、ユーザからの操作指示の入力を受け付ける。ユーザからの操作指示は、図示されていない通信インタフェースを通じてリモートコントローラ端末４００からＵＡＶ１０１に送信される。

【0065】

表示部４２０は、ＵＡＶ１０１に関する各種の情報を表示する。表示部４２０は、ＵＡＶ１０１が撮像装置２４０で撮像した画像を表示してよい。表示部４２０は、ＵＡＶ１０１がカメラ２５０で撮像した画像を表示してよい。表示部４２０は、リモートコントローラ端末４００から取り外し可能であってよい。表示部４２０は、タブレット端末、スマートフォン端末などの各種の携帯可能な情報端末装置であってよい。

【0066】

支持部４３０は、表示部４２０を支持する。支持部４３０は、任意の角度に調整可能であってよい。表示部４２０は、支持部４３０に取り付けたり支持部４３０から取り外し可能であったりしてよい。表示部４２０は、支持部４３０と一体化されてよい。

【0067】

図５は、図１に示すＵＡＶ１０１を簡略的に示した図である。図５は、ＵＡＶ１０１に備えられた撮像装置２４０の画角を説明する図である。ＵＡＶ機体２１０と撮像装置２４０との間にはジンバル２３０が備えられている。ジンバル２３０は、撮像装置２４０の姿勢を一定に維持することができる。ジンバル２３０はＵＡＶ機体２１０に振動が生じても撮像装置２４０が振動しないように制御する。ジンバル２３０は、撮像装置２４０の角度（姿勢）を任意の角度（姿勢）に保つことができる。したがって、ＵＡＶ機体２１０と撮像装置２４０とは、異なる角度（姿勢）を保つことができる。

【0068】

図６は、ＵＡＶ機体２１０が、図５に示す姿勢よりも進行方向の前方側に傾いている例を示す図である。一方、撮像装置２４０は図５に示す姿勢と同じ姿勢を保っている。図６に示すような関係においては、回転翼２２０の一部６１０が撮像装置２４０の画角６００に含まれる。つまり、回転翼２２０の一部６１０は、撮像装置２４０によって撮像された画像に写り込む。図６に示すような関係とは、ＵＡＶ機体２１０の姿勢、回転翼２２０とＵＡＶ機体２１０との位置の関係、撮像装置２４０の姿勢、及び撮像装置２４０とＵＡＶ機体２１０との位置の関係とすることができる。図６の例では、回転翼２２０の一部６１０が画像に含まれる例を説明しているが、これに限られない。ＵＡＶ機体２１０の一部の部位（例えばフレーム）が撮像装置２４０において撮像された画像に含まれる場合がある。このように、本実施形態におけるオブジェクトは、ＵＡＶ機体２１０の一部である。ＵＡＶ機体２１０の一部には、ＵＡＶ機体２１０のフレームが含まれてもよい。ＵＡＶ機体２１０の一部には、回転翼２２０が含まれてもよい。その他、ＵＡＶ１０１に備えられる図示されていない他の機構などが、ＵＡＶ機体２１０の一部に含まれてもよい。

【0069】

一般に、複数の回転翼２２０を有するＵＡＶ１０１が水平移動する際、図６に示すようにＵＡＶ機体２１０は進行方向の前方側に傾く。この傾きは、進行方向の後方側の回転翼２２０の回転力を、進行方向の前方側の回転翼２２０の回転力よりも相対的に上げることで生じる。かかる動作により、ＵＡＶ１０１には、進行方向に向けて移動する力が与えられる。

【0070】

ＵＡＶ機体２１０に傾きが生じた場合であっても、撮像装置２４０はジンバル２３０によって一定の姿勢を引き続き保つ。したがって、ＵＡＶ機体２１０と撮像装置２４０との相対的な姿勢は動的に変わり得る。ＵＡＶ機体２１０と撮像装置２４０との相対的な姿勢が動的に変わり得るということは、オブジェクトが画像に存在するか否かが動的に変わり得るともいえる。ＵＡＶ１０１が移動する速度が高速であるほどＵＡＶ機体２１０の傾きは大きくなる。傾きが大きくなるとオブジェクトが画像に存在する可能性が高まる。

【0071】

ＵＡＶ１０１を高速で移動させている場合にオブジェクトが画像に存在すると、高速で移動させていない通常の場合と比べて画像から得られる視野が実質的に狭くなる。高速で移動させている場合に画像から得られる視野が狭くなると、リモートコントローラ端末４００の表示部４２０で画像を見ながらＵＡＶ１０１を操作する操作者にとって、ＵＡＶ１０１の操作に支障が生じる可能性がある。

【0072】

ＵＡＶ１０１が高速で移動する場合以外でも、オブジェクトが画像に存在する場合がある。例えば、強風が発生した場合である。強風に煽られた結果、ＵＡＶ機体２１０が大きく傾く場合がある。この場合でも、ジンバル２３０は撮像装置２４０を一定の姿勢に保つので、オブジェクトが画像に存在することがある。つまり、回転翼２２０の一部、ＵＡＶ機体２１０のフレームの一部、またはその他の機構の一部が画像に写り込む可能性が生じる。ＵＡＶ１０１が風に煽られた場合、リモートコントローラ端末４００の表示部４２０で画像を見ながらＵＡＶ１０１を操作する操作者は、画像を確認して速やかに各種の操作を行う。このとき、オブジェクトが画像に存在してしまうと、ＵＡＶ１０１の現在の状況の確認に遅れが生じてしまうことがある。

【0073】

オブジェクトが画像に存在することを防止する典型的な手法としては、ＵＡＶ機体２１０及び撮像装置２４０の互いの姿勢に関わらず、撮像した画像にオブジェクトが存在しないように設計することが考えられる。例えば、回転翼２２０及びＵＡＶ機体２１０から撮像装置２４０が物理的に離れるようにＵＡＶ１０１を設計することが考えられる。ただし、この方法はＵＡＶ１０１の機体設計に制限を加えることになる。機体の仕様によっては、このような設計をすることができない場合もある。

【0074】

機体設計に制限を加えない手法として、画像処理によってオブジェクトを画像から除去することが考えられる。ＵＡＶ１０１は、画像を解析してオブジェクトが存在するかを判定する処理を行う。そして、オブジェクトが存在する場合、ＵＡＶ１０１は、その画像の中からオブジェクトを画像処理によって除去する処理を行う。しかしながら、これらの処理を撮像装置２４０が撮像して得られた全ての画像に対して行うと、ＵＡＶ１０１の処理負荷が高くなる。

【0075】

本実施形態では、所定の条件を満たす場合に撮像された画像に対して、オブジェクトが存在するかを判定する処理を行う。オブジェクトが存在すると判定された画像からオブジェクトを除去する。このように、本実施形態では、撮像装置２４０が撮像して得られた全ての画像に対して画像処理を行わない。したがって、撮像装置２４０が撮像して得られた全ての画像に対して画像処理を行う場合と比べて処理負荷を軽減することができる。

【0076】

図７は、本実施形態にかかるＵＡＶ制御部３１０の構成の一例を示すブロック図である。ＵＡＶ制御部３１０は、姿勢取得部７１０、風速取得部７２０、操作指示取得部７３０、電流値取得部７４０、画像取得部７５０、判定部７６０、画像処理部７７０、及び出力部７８０を有する。画像処理部７７０は、候補領域抽出部７７１及び補間部７７２を含む。図７は、一例に過ぎず、他の構成が含まれてもよい。

【0077】

姿勢取得部７１０は、ＵＡＶ機体２１０の姿勢情報を取得する。姿勢情報とは、例えばヨー軸、ピッチ軸、ロール軸の回転角度を示す情報である。ＵＡＶ１０１は、慣性計測装置（ＩＭＵ：Inertial Measurement Unit）を備えていてもよい。ＩＭＵは、直交する３軸に対して３つのジャイロセンサや３つの加速度センサを備えていてもよい。ＵＡＶ１０１は、３軸地磁気センサを備えてもよい。姿勢取得部７１０は、加速度センサ、ジャイロセンサ、および３軸地磁気センサなどを用いてＵＡＶ機体２１０の姿勢情報を取得してよい。姿勢取得部７１０で取得した姿勢情報は、判定部７６０と候補領域抽出部７７１に送られる。

【0078】

姿勢取得部７１０は、撮像装置２４０の姿勢情報を取得してもよい。つまり、姿勢取得部７１０は、ジンバル２３０によって制御されている撮像装置２４０の姿勢情報を取得してよい。姿勢取得部７１０は、ジンバル２３０の制御情報に基づいて撮像装置２４０の姿勢情報を取得してよい。撮像装置２４０に加速度センサ、ジャイロセンサ、および３軸地磁気センサが備えられてもよく、姿勢取得部７１０は、撮像装置２４０に備えられたセンサからの情報を用いて撮像装置２４０の姿勢情報を取得してよい。撮像装置２４０の姿勢は、リモートコントローラ端末４００からの制御によって任意の角度に変えることができてもよい。

【0079】

風速取得部（第一取得部）７２０は、風速を取得する。風速取得部７２０は、取得した風速を判定部７６０に送る。ＵＡＶ１０１は、風速計を備えていてもよい。風速取得部７２０は、風速計で得られた値を取得してもよい。

【0080】

風速取得部７２０は、ＩＭＵによって得られた加速度と角速度とに基づいて風速を算出してもよい。例えば、ＵＡＶ１０１のＵＡＶ制御部３１０による制御によって、計算上は位置Ａに移動するべきところ、ＩＭＵで得られた値を元に計算した結果、位置Ａ´にＵＡＶ１０１が移動していたとする。風速取得部７２０は、このような位置Ａ´と位置Ａとの関係に基づいて風速を算出してもよい。

【0081】

風速取得部７２０は、経路の風速を示す情報を通信インタフェース３３０を通じて外部から取得してもよい。

【0082】

風速取得部７２０は、ＵＡＶ１０１の対地速度と対気速度との差に基づいて風速を取得してもよい。例えばＧＮＳＳなどを用いて対地速度を取得してよく、対気速度測定器を用いて対気速度を取得してよい。風速取得部７２０は、これらの差に基づいて風速を取得してよい。

【0083】

操作指示取得部（第二取得部）７３０は、リモートコントローラ端末４００の操作部４１０によって入力を受け付けた操作指示を、通信インタフェース３３０を介して取得する。操作指示は、操作部４１０のコントローラスティックの傾きを示す値（第二の値）であってよい。操作部４１０のコントローラスティックの傾きが大きいほど、ＵＡＶ１０１の速度を上げる指示であってよい。ＵＡＶ制御部３１０は、取得した操作指示に基づいてＵＡＶ１０１の飛行を制御してよい。

【0084】

電流値取得部（第三取得部）７４０は、回転翼機構３４０の駆動モータに流す電流値を取得する。電流値取得部７４０は、複数の回転翼２２０のそれぞれに対応する回転翼機構３４０の駆動モータに流す電流値を取得する。

【0085】

画像取得部７５０は、撮像装置２４０を用いて撮像された画像を取得する。画像取得部７５０は、取得した画像を画像処理部７７０に出力する。

【0086】

判定部７６０は、画像処理部７７０に入力される画像にオブジェクトが存在するか否かを判定する。判定部７６０は、姿勢取得部７１０において取得された姿勢情報、風速取得部７２０において取得された風速、操作指示取得部７３０において取得された操作指示、および電流値取得部７４０において取得された電流値のうちの少なくとも１つに基づく判定をしてよい。判定部７６０が判定した結果は、画像処理部７７０に出力される。詳細については後述する。

【0087】

画像処理部７７０は、入力された画像に各種の画像処理を行う。画像処理部７７０は、候補領域抽出部７７１と補間部７７２とを有する。画像処理部７７０は、候補領域抽出部７７１による候補領域抽出処理と補間部７７２による補間処理とのほかに、別の処理を実行してよい。画像処理部７７０は、各種の処理を行った画像を出力部７８０に出力する。

【0088】

候補領域抽出部７７１は、入力された画像の候補領域を抽出する。候補領域とは、オブジェクトが存在する可能性のある領域のことである。本実施形態においてＵＡＶ１０１の構造は既知であるとする。候補領域抽出部７７１は、既知の情報を用いて候補領域を抽出してよい。既知の情報は、例えばＵＡＶ１０１のＵＡＶ機体２１０の形状および大きさを含んでよい。既知の情報は、回転翼２２０の形状および大きさを含んでよい。既知の情報は、回転翼２２０とＵＡＶ機体２１０との位置の関係を含んでよい。既知の情報は、撮像装置２４０とＵＡＶ機体２１０との位置の関係を含んでよい。既知の情報は、撮像装置２４０の画角（光軸に対する水平画角および垂直画角）を含んでよい。候補領域抽出部７７１は、これらの既知の情報を用いることで、画像内における候補領域を抽出してよい。候補領域抽出部７７１は、姿勢取得部７１０において取得された姿勢情報をさらに用いて候補領域を抽出してもよい。詳細は後述する。

【0089】

補間部７７２は、候補領域抽出部７７１が抽出した候補領域に補間処理を行う。補間部７７２は、候補領域からオブジェクトを検出する処理を行う。補間部７７２は、検出したオブジェクトを除去する処理を行う。オブジェクトを除去する処理としては、インペインティングと呼ばれる公知の処理を適用してよい。

【0090】

出力部７８０は、画像処理部７７０によって出力された画像を出力する。出力部７８０は、画像をメモリ３２０に出力してよい。出力部７８０は、通信インタフェース３３０を通じて画像をリモートコントローラ端末４００に送信してよい。出力部７８０は、画像をメモリ３２０に出力し、かつ、リモートコントローラ端末４００に送信してよい。出力部７８０は、通信インタフェース３３０を通じて画像を他の装置（例えばクラウド上のサーバ）に送信してよい。

【0091】

以下では、判定部７６０、候補領域抽出部７７１、及び補間部７７２を用いた処理の詳細を説明する。

【0092】

図８は、本実施形態にかかる処理の一例を示すフローチャートである。同図に示す処理は、ＵＡＶ制御部３１０によって実行される。この処理は、画像取得部７５０において画像が取得されるタイミングで実行される。動画の場合は、動画を構成する各フレーム（静止画）の取得タイミングで実行されてよい。図８に示す処理は、ＵＡＶ制御部３１０によって実行される制御方法の一例である。

【0093】

ステップＳ８１０において判定部７６０は、撮像装置２４０の姿勢とＵＡＶ機体２１０の姿勢との関係が示す第一パラメータが所定の閾値を超えたか否かを判定することができる。判定部７６０は、姿勢取得部７１０において取得された姿勢情報が示す、ＵＡＶ機体２１０の傾きと撮像装置２４０の傾きとが成す角度が、所定の角度より大きいか否かを判定してよい。

【0094】

姿勢取得部７１０において取得された姿勢情報が示す、ＵＡＶ機体の傾きと撮像装置２４０の傾きとが成す角度が、所定の角度より大きいか否かを判定部７６０が判定する例を説明する。撮像装置２４０の傾きとＵＡＶ機体２１０の傾きとが成す角度が所定の角度より大きい場合、画像内にオブジェクトが存在する可能性がある。ＵＡＶ制御部３１０はステップＳ８２０に処理を進める。この傾きは、撮像装置２４０の姿勢とＵＡＶ機体２１０の姿勢との相対的な関係を示しているともいえる。判定部７６０は、ある基準線を想定した場合に、その基準線に対する撮像装置２４０の光軸方向の傾きとその基準線に対するＵＡＶ機体２１０の傾きとの差が、所定の角度より大きいか否かを判定してもよい。例えば、基準線を水平線とすると、撮像装置２４０の水平線に対する傾き（仰俯角）とＵＡＶ機体２１０の水平線に対する傾き（仰俯角）との差が、所定の角度より大きいか否かを判定してもよい。傾きは、ＵＡＶ機体２１０および撮像装置２４０のジャイロセンサなどから得られるピッチ軸の回転角度を示す情報を用いてよい。

【0095】

図９は、ＵＡＶ機体２１０の進行方向９０１と撮像装置２４０の光軸方向９０２とを表した図である。先に説明したように、ＵＡＶ１０１の構造は既知である。既知の情報は、ＵＡＶ機体２１０の形状および大きさを含んでよい。既知の情報は、回転翼２２０ａの形状、および大きさを含んでよい。既知の情報は、回転翼２２０ａとＵＡＶ機体２１０との位置の関係を含んでよい。図９の例では、進行方向側の回転翼２２０ａに関する情報を既知の情報として含む例を示すが、進行方向とは反対側の回転翼２２０ｂに関する情報を含んでもよい。既知の情報は、撮像装置２４０とＵＡＶ機体２１０との位置の関係を含んでよい。既知の情報は、撮像装置２４０の画角（光軸に対する水平画角および垂直画角）を含んでよい。これらの既知の情報を用いることで、画像内にオブジェクトが存在する場合のＵＡＶ機体２１０の傾きと撮像装置２４０の傾きとが成す角度を特定できる。例えば、撮像装置２４０の光軸方向９５２に対するＵＡＶ機体２１０の向き９５１が成す角θが、所定の角度より大きい場合、画像内にオブジェクトが存在すると判定してよい。閾値として用いる所定の角度は、先に説明した既知の情報から予め設定されてよい。

【0096】

既知の情報に応じて、判定結果が異なる例を説明する。対比例として、図９に示す例を用いる。

【0097】

図９に示す例よりも、ＵＡＶ機体２１０の形状が撮像装置２４０の光軸方向に伸びているとき、撮像装置２４０の光軸方向に対するＵＡＶ機体２１０の傾きが図９に示す例よりも小さい場合であっても、画像内にオブジェクトが存在すると判定されることがある。

【0098】

図９に示す例よりも、ＵＡＶ機体２１０の大きさが大きいとき、撮像装置２４０の光軸方向に対するＵＡＶ機体２１０の傾きが図９に示す例よりも小さい場合であっても、画像内にオブジェクトが存在すると判定されることがある。

【0099】

図９に示す例よりも、回転翼２２０ａの形状が撮像装置２４０の光軸方向に伸びているとき、撮像装置２４０の光軸方向に対するＵＡＶ機体２１０の傾きが図９に示す例よりも小さい場合であっても、画像内にオブジェクトが存在すると判定されることがある。

【0100】

図９に示す例よりも、回転翼２２０ａの大きさが大きいとき、撮像装置２４０の光軸方向に対するＵＡＶ機体２１０の傾きが図９に示す例よりも小さい場合であっても、画像内にオブジェクトが存在する可能性があると判定されることがある。

【0101】

図９に示す例よりも、進行方向側の回転翼２２０ａがＵＡＶ機体２１０の進行方向と反対寄りの位置に取り付けられているとき、撮像装置２４０の光軸方向に対するＵＡＶ機体２１０の傾きが図９に示す例よりも大きい場合であっても、画像内にオブジェクトは存在しないと判定されることがある。

【0102】

図９に示す例よりも、撮像装置２４０の画角が小さいとき、撮像装置２４０の光軸方向に対するＵＡＶ機体２１０の傾きが図９に示す例よりも大きい場合であっても、画像内にオブジェクトは存在しないと判定されることがある。

【0103】

図９に示す例よりも、撮像装置２４０がＵＡＶ機体２１０の鉛直方向の下側に取り付けられているとき、撮像装置２４０の光軸方向に対するＵＡＶ機体２１０の傾きが図９に示す例よりも大きい場合であっても、画像内にオブジェクトは存在しないと判定されることがある。

【0104】

このように、姿勢情報に対応する閾値は、既知の情報に基づいて設定される。ＵＡＶ機体２１０の傾きと撮像装置２４０の傾きとが成す角度が、閾値（所定の角度）を超える場合には、オブジェクトが画像内の存在する可能性がある。したがって、ＵＡＶ制御部３１０は、ステップＳ８２０に処理を進める。

【0105】

ステップＳ８１０において判定部７６０は、機体の傾きを示す第二パラメータ(第一の値)が所定の閾値を超えたか否かを判定してもよい。パラメータは、風速取得部７２０において取得された風速、操作指示取得部７３０において取得された操作指示、および電流値取得部７４０において取得された電流値の少なくとも１つであってよい。それぞれのパラメータには、対応する閾値が予め設定されてよい。判定部７６０は、風速取得部７２０において取得された風速が所定の風速を超えているか否かを判定してよい。判定部７６０は、操作指示取得部７３０において取得された操作指示が示す値が、所定の入力値を超えているか否かを判定してよい。判定部７６０は、電流値取得部７４０において取得された電流値が、所定の電流値を超えているか否かを判定してよい。

【0106】

機体の傾きを示すパラメータが、対応する閾値を超えた場合、ＵＡＶ機体２１０の姿勢が傾いている可能性が高い。換言すれば、各取得部のいずれかで取得された情報が、対応する閾値を超えた場合、ＵＡＶ機体２１０の姿勢が傾いている可能性が高い。したがって、撮像された画像に回転翼２２０やＵＡＶ機体２１０などのオブジェクトが存在する可能性がある。それぞれのパラメータのいずれか一つが、対応する閾値を超えた場合に、判定部７６０は、ステップＳ８２０に処理を進めてもよい。それぞれのパラメータのうちの複数の種類のパラメータが、対応する閾値を超えた場合に、判定部７６０は、ステップＳ８２０に処理を進めてもよい。

【0107】

風速取得部７２０において取得された風速が、所定の風速を超えているか否かを判定部７６０が判定する例を説明する。例えば、風速の所定の閾値として秒速１５ｍが設定されていると想定する。判定部７６０は、風速取得部７２０において取得された風速が秒速１５ｍを超えている場合、所定の閾値を超えた値を検出したと判定する。所定の閾値を超えた風速が計測されるということは、ＵＡＶ機体２１０が傾いている可能性が高い。したがって、画像内にオブジェクトが存在する場合があるので、ＵＡＶ制御部３１０はステップＳ８２０に処理を進める。

【0108】

操作指示取得部７３０において取得された操作指示が示す値が、所定の入力値を超えているか否かを判定部７６０が判定する例を説明する。所定の入力値は、リモートコントローラ端末４００からの操作指示が示す値としてよい。リモートコントローラ端末４００からの操作指示が示す値が、所定の閾値を超えている場合、判定部７６０は所定の閾値を超えた値を検出したと判定する。例えば、リモートコントローラ端末４００の操作部４１０がある規定の位置よりも強く傾けられた場合に、所定の入力値が所定の閾値を超えていると判定する。リモートコントローラ端末４００の操作部４１０がある規定の位置よりも強く傾けられた場合は、ＵＡＶ１０１が高速飛行をする可能性が高い。ＵＡＶ１０１が高速飛行をすることにより、ＵＡＶ機体２１０が傾く可能性が高い。したがって、画像内にオブジェクトが存在する場合があるので、ＵＡＶ制御部３１０はステップＳ８２０に処理を進める。

【0109】

電流値取得部７４０において取得された電流値が、所定の電流値を超えているか否かを判定部７６０が判定する例を説明する。所定の電流値は、回転翼機構３４０のモータに流れる電流値としてよい。例えばＵＡＶ１０１の進行方向とは反対側の２つのモータに流す電流値が所定の閾値を超えている場合がある。この場合、ＵＡＶ１０１が高速飛行をしている可能性が高い。ＵＡＶ１０１の進行方向側の２つのモータの電流値が、進行方向とは反対側の２つのモータに流される電流値よりも小さい場合も、ＵＡＶ１０１が傾いて飛行をしている可能性が高い。所定の電流値は、進行方向側のモータの電流値でもよいし、進行方向とは反対側のモータの電流値でもよい。これらの組み合わせでもよい。例えば、ＵＡＶ１０１の進行方向の反対側のモータに流す電流値が進行方向側に流す電流値よりも相対的に大きい場合、所定の電流値が閾値を超えているとしてもよい。いずれにおいても、ＵＡＶ１０１が高速飛行をしている可能性が高い。ＵＡＶ１０１が高速飛行をすることにより、ＵＡＶ機体２１０が傾く可能性が高い。したがって、画像内にオブジェクトが存在する場合があるので、ＵＡＶ制御部３１０はステップＳ８２０に処理を進める。

【0110】

ステップＳ８１０の時点では、オブジェクトが実際に画像に存在しているか否かを、画像を探索して確認する必要はない。この時点では、オブジェクトが画像に存在する可能性があるか否かを判定する処理を行う。オブジェクトが実際に画像に存在する可能性がある場合、後述するステップに進み、画像処理部７７０が、画像内を探索してオブジェクトを検出する処理が行われることになる。

【0111】

画像処理部７７０が、画像取得部７５０で取得される全ての画像に対してオブジェクトの検出処理および除去処理を行うことは負荷が高い。本実施形態においては、ステップＳ８１０の判定処理を行う。かかる判定処理によって、オブジェクトが存在する可能性がある画像であるか否かを、画像処理を行うことなく判定することができる。ステップＳ８１０は、ＵＡＶ機体２１０が傾いているか否か、あるいは、傾く可能性があるか否かを判定する処理ともいえる。

【0112】

ステップＳ８１０において判定部７６０は、画像取得部７５０が画像を取得した時点の姿勢情報、風速、操作指示、および電流値を用いて判定処理を行うことが好ましいが、これに限られない。所定の時間の間は共通の姿勢情報、風速、操作指示、および電流値を用いて判定してもよい。例えば、３０ｆｐｓ（frames per second）の動画の場合、所定の時間を１秒と想定すると、３０フレームに対しては、その中の１フレーム目の時点における姿勢情報、風速、操作指示、および電流値を、残りの２９フレームに適用してもよい。

【0113】

ステップＳ８１０では、判定部７６０は、閾値を超えるパラメータを検出した場合、ステップＳ８２０に処理を進める。ステップＳ８１０において、閾値を超えるパラメータが検出されない場合には、オブジェクトが画像に存在しないと考えられる。したがって、以下で説明する画像処理を行わない。したがって、処理負荷を低減できる。

【0114】

ステップＳ８１０の判定において用いられる所定の閾値は、リモートコントローラ端末４００からの指示に従って任意の値を設定してよい。所定の閾値は、飛行中にリモートコントローラ端末４００からの指示によって変更されてよい。

【0115】

ステップＳ８２０において候補領域抽出部７７１は、候補領域を抽出する。先に説明したように、ＵＡＶ１０１の構造は既知である。これらの既知の情報を用いると、撮像装置２４０が撮像した画像の中のどの領域にオブジェクトが写り込む可能性があるかを特定することができる。換言すれば、候補領域抽出部７７１は、既知の情報を用いて候補領域を抽出することができる。

【0116】

候補領域抽出部７７１は、既知の情報に加えて姿勢取得部７１０で取得された姿勢情報を用いて候補領域を抽出してよい。ＵＡＶ機体２１０の傾きと撮像装置２４０の傾きとから、候補領域を抽出してよい。先に説明した図９においては、ＵＡＶ機体２１０の傾き（姿勢）と、撮像装置２４０の傾き（姿勢）と、既知の情報とを用いると、撮像装置２４０で撮像された画像の上部に候補領域が抽出される。

【0117】

図１０は、撮像装置２４０によって撮像された画像１０００を示す図である。画像１０００内には、候補領域１０１０、１０２０が含まれる。候補領域１０１０、１０２０は、オブジェクトが存在し得る領域である。ステップＳ８２０の時点においては、実際に画像１０００内にオブジェクトが存在しているかを確認する必要はない。候補領域１０１０、１０２０は、オブジェクトが存在し得る領域に過ぎない。例えば、回転翼２２０は、回転軸を中心に回転をする。回転翼２２０の一部が画像内に存在し得る程度にＵＡＶ機体２１０が傾いていたとしても、撮像のタイミングに応じて、回転翼２２０が含まれる画像が撮像される場合と回転翼２２０が含まれない画像が撮像される場合とがある。候補領域１０１０、１０２０は、回転翼２２０が回転軸を中心に画像内で取り得る円範囲を含む領域としてよい。

【0118】

ステップＳ８３０において候補領域抽出部７７１は、候補領域を抽出したか否かを判定する。候補領域を抽出しない場合には、以降の処理は不要であるので処理を終了する。したがって、オブジェクトを検出し、除去するといった画像処理を行う必要がない。候補領域を抽出した場合、ステップＳ８４０に処理が移行する。

【0119】

ステップＳ８４０において補間部７７２は、ステップＳ８２０において抽出された候補領域を解析してオブジェクトを検出する処理を行い、候補領域にオブジェクトが存在するかを判定する。図１１は、補間部７７２が、オブジェクト１１１０及び１１２０を検出した例を示す図である。オブジェクトの例としては、先に説明したようにＵＡＶ機体２１０の一部や回転翼２２０の一部が挙げられる。ＵＡＶ機体２１０及び回転翼２２０の形状及び色などのような外観のテクスチャは既知である。したがって、補間部７７２は、候補領域内からこれらの既知のオブジェクトを検出したか否かを判定すればよい。補間部７７２は、予めメモリ３２０に格納されたオブジェクトの情報と撮像装置２４０で撮像した画像のオブジェクトの情報とを対比させてもよい。

【0120】

例えば、オブジェクトの色のヒストグラムや空間周波数などの特徴量の情報が予めメモリ３２０に格納されている。補間部７７２は、撮像装置２４０で撮像した画像の候補領域を、色のヒストグラムや空間周波数のなどの特徴量の情報に変換する。補間部７７２は、変換して得られた特徴量の情報を、予め格納している特徴量の情報と比較することで候補領域１０１０、１０２０の中からオブジェクト１１１０、１１２０を検出してよい。

【0121】

候補領域にオブジェクトが検出された場合、ステップＳ８５０に進む。候補領域にオブジェクトが検出されない場合、処理を終了する。

【0122】

ステップＳ８５０において補間部７７２は、検出したオブジェクトを補間する。例えば、補間部７７２は、検出したオブジェクト１１１０、１１２０の画素を欠損領域として扱う。補間部７７２は、欠損領域を補間する補間処理を行う。補間処理としては、１枚の画像内の欠損領域の周囲の画素を用いて欠損領域の画素を補間する、インペインティングと呼ばれる処理がある。

【0123】

図１２は、欠損領域を補間する補間処理を説明する図である。補間部７７２は、画像１０００内において検出されたオブジェクト１１１０、１１２０の周囲（近傍）の領域１２１０、１２２０の画素を用いてオブジェクト１１１０、１１２０の画素値を補間する。周囲の領域１２１０、１２２０は、例えば欠損領域から最低ｎ画素離れた矩形として定められてよい。このようなインペインティングと呼ばれる処理は、例えば非特許文献１および非特許文献２に記載されている公知の手法を適用してよい。かかる処理により、オブジェクト１１１０、１１２０が画像１０００から除去される。オブジェクト１１１０、１１２０は、その近傍の領域の画素を用いた補間処理によって、違和感の少ない領域に変換される。

【0124】

具体的には、上記の近傍は、補間対象のオブジェクトの大きさ及び位置から決定されてよい。例えば、オブジェクトの一方向を補間する場合、オブジェクトの一方向における長さをＬＸ（画素）とすると、ＬＸ×α＋βによって補間範囲は決定できる。αは、取得された全体の画像と補間対象のオブジェクトの大きさ及び位置とから決定されるパラメータであってよい。βは、画素である。βは、例えば、ＬＸが小さい場合に、補足するために用いられるパラメータであってよい。

【0125】

欠損領域を補間する処理は、オブジェクト１１１０、１１２０が違和感のない程度に画像１０００から取り除かれていればよい。補間処理の手法によっては、あるいはオブジェクト１１１０、１１２０の周囲の画素によっては、補間処理を実行した後にオブジェクト１１１０、１１２０の輪郭が微かに残る場合もある。しかしながら、補間処理前と比べて補間処理後の画像の方が違和感は低減する。したがって、オブジェクト１１１０、１１２０は完全に画像１０００から取り除かれていなくてもよい。オブジェクト１１１０、１１２０の一部が補間処理後の画像に残っていてもよい。

【0126】

これまでの説明において補間部７７２は、１枚の画像中に含まれるオブジェクトを、その１枚の画像中のオブジェクトの周囲の画素を用いて補間する例を説明した。補間部７７２は、時間的に前、後、または前後両方のフレームを用いてオブジェクトを補間してもよい。例えばオブジェクトが回転翼２２０の場合、フレームによっては回転翼２２０の一部が画像に存在したり、存在しなかったりすることがある。時間的に前後のフレームでは、オブジェクトが存在しないフレームもあり得るので、そのフレームを用いて補間処理を行ってもよい。

【0127】

補間部７７２は、１枚の画像中に含まれるオブジェクトを、その１枚の画像中のオブジェクトの周囲の画素を用いて補間する処理と、時間的に前、後、または前後両方のフレームを用いてオブジェクトを補間する処理とを組み合わせもよい。

【0128】

上述した実施形態では主に回転翼を有するＵＡＶを例に挙げて説明したが、これに限られることはない。機体の姿勢と撮像装置の姿勢とが異なる態様となり得る移動体であれば、上述した実施形態で説明した処理を適用可能である。

【0129】

上述した実施形態では、撮像装置は機体の下部に取り付けられた例を説明したが、これに限られない。撮像装置が取り付けられる箇所は機体の側面でもよいし、上部でもよい。いずれの位置に取り付けられていてもよい。

【0130】

上述した実施形態では、判定部７６０の判定結果に応じて画像処理部７７０が候補領域抽出部７７１および補間部７７２の処理を行うか否かを切り替える例を説明したが、これに限られることはない。他の構成でもよい。例えば、判定部７６０の判定結果が画像処理部７７０ではなく画像取得部７５０に送られてよい。画像取得部７５０は、判定部７６０の判定結果に基づいて、画像処理部７７０に画像を出力するか、画像処理部７７０を介さずに出力部７８０に画像を出力するかを切り替えてよい。

【0131】

画像処理部７７０は、補間部７７２による補間を行う前の画像（補間前画像と呼ぶ）と補間を行った画像（補間後画像と呼ぶ）との両方を出力部７８０に出力してよい。出力部７８０は、補間前画像および補間後画像の両方をメモリ３２０に出力してよい。かかる構成により、ユーザはオリジナルの画像とオブジェクトが除去された画像との両方を見比べることができる。

【0132】

撮像装置２４０の光軸方向は一定方向に固定され、ジンバル２３０によって一定の姿勢に保たれる例を説明したが、これに限られない。撮像装置２４０の光軸方向は、リモートコントローラ端末４００からの指示により変更されてよい。ジンバル２３０は、変更された光軸方向の姿勢を保つように引き続き撮像装置２４０の姿勢を制御する。判定部７６０は、変更後の撮像装置２４０の姿勢情報を用いて判定を行ってよい。

【0133】

上述した実施形態では、ＵＡＶ機体２１０の傾きを用いることで、画像にオブジェクトが存在する可能性があるか否かを判定する形態を説明した。ＵＡＶ機体２１０が傾くということは、回転翼２２０もＵＡＶ機体２１０の傾きに合わせて傾く。回転翼２２０にジャイロセンサが備えられている場合、回転翼２２０の姿勢を用いて画像にオブジェクトが存在するか否かを判定してもよい。

【0134】

図８の処理においては、ステップＳ８１０において所定のパラメータの値が、そのパラメータに対応する閾値を超える場合、ステップＳ８２０に進み、候補領域を抽出する処理を行う形態を説明したが、これに限られない。ステップＳ８１０の処理を省略して、ステップＳ８２０から処理を開始してもよい。例えば、既知の情報と、ＵＡＶ機体２１０の姿勢と、撮像装置２４０の姿勢とを用いて、画像内に候補領域が抽出されるかを判定する形態でもよい。

【0135】

図８の処理においては、ステップＳ８２０とＳ８３０との処理を省略してもよい。ステップＳ８１０において所定のパラメータの値が、そのパラメータに対応する閾値を超える場合、画像内のどこかにオブジェクトが存在する可能性があると考えられる。ステップＳ８２０及びＳ８３０の処理を行うことで、除去すべき領域を特定できるので処理負荷が軽減できる。しかしながら、ステップＳ８１０の判定を行うだけでも、画像処理の対象とする画像を絞り込むことが可能であるので、ステップＳ８２０及びＳ８３０を行わなかったとしても、処理負荷の軽減を実現できる。全ての画像に対して画像処理を行わないで済むからである。

【0136】

上述した実施形態においては、ＵＡＶ１０１が画像処理を行う形態を説明したが、これに限られない。リモートコントローラ端末４００において画像処理が行われてもよい。リモートコントローラ端末４００は、画像処理部を備えてよい。図７の姿勢取得部７１０、風速取得部７２０、操作指示取得部７３０、電流値取得部７４０、画像取得部７５０が取得したデータは、出力部７８０を介してリモートコントローラ端末４００に送信されてよい。リモートコントローラ端末４００は、送信されたデータを用いて図８に示す処理を行ってよい。

【0137】

上述した実施形態の機能を実現するための各部は、例えばハードウェアまたはソフトウェアによって実装することができる。ソフトウェアによって実装される場合、ハードウェアを制御するプログラムコード（制御プログラム）がＣＰＵ、ＭＰＵなどのコンピュータの各種のプロセッサによって実行されてもよい。プログラムコードの機能を実現するための回路等のハードウェアを設けてもよい。プログラムコードの一部をハードウェアで実現し、残りの部分を各種プロセッサが実行してもよい。

【符号の説明】

【0138】

１０１ ＵＡＶ
２１０ ＵＡＶ機体
２２０ 回転翼
２３０ ジンバル
２４０ 撮像装置
２５０ カメラ
３１０ ＵＡＶ制御部
３２０ メモリ
３３０ 通信インタフェース
３４０ 回転翼機構
４００ リモートコントローラ端末
４１０ 操作部
４２０ 表示部
４３０ 支持部
７１０ 姿勢取得部
７２０ 風速取得部
７３０ 操作指示取得部
７４０ 電流値取得部
７５０ 画像取得部
７６０ 判定部
７７０ 画像処理部
７７１ 候補領域抽出部
７７２ 補間部
７８０ 出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】