特開 2018-69961 デバイス配置装置、デバイス配置方法及びデバイス配置プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2018-69961(P2018-69961A)

(43)【公開日】2018年5月10日

(54)【発明の名称】デバイス配置装置、デバイス配置方法及びデバイス配置プログラム

(51)【国際特許分類】

   B64C 39/02 20060101AFI20180406BHJP

   B64C 13/18 20060101ALI20180406BHJP

   B64D 47/08 20060101ALI20180406BHJP

   G05D 1/10 20060101ALN20180406BHJP

【ＦＩ】

   B64C39/02

   B64C13/18 Z

   B64D47/08

   G05D1/10

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

【全頁数】11

(21)【出願番号】特願2016-212929(P2016-212929)

(22)【出願日】2016年10月31日

(71)【出願人】

【識別番号】516145390

【氏名又は名称】株式会社エンルートＭ’ｓ

(71)【出願人】

【識別番号】516066028

【氏名又は名称】株式会社エンルート

(71)【出願人】

【識別番号】516176855

【氏名又は名称】呉 軍

(71)【出願人】

【識別番号】516176866

【氏名又は名称】顔 開

(74)【代理人】

【識別番号】100127328

【弁理士】

【氏名又は名称】八木澤 史彦

(74)【代理人】

【識別番号】100140866

【弁理士】

【氏名又は名称】佐藤 武史

(72)【発明者】

【氏名】伊豆 智幸

(72)【発明者】

【氏名】呉 軍

(72)【発明者】

【氏名】顔 開

【テーマコード（参考）】

5H301

【Ｆターム（参考）】

5H301AA06

5H301BB10

5H301CC04

5H301CC07

5H301CC10

5H301GG09

5H301GG17

5H301GG23

(57)【要約】

【課題】降下の際に、人間や動物に危害を加えることを回避することができる飛行制御装置及び飛行制御方法を提供すること。
【解決手段】飛行制御装置は、降下目標領域の画像を取得する画像取得手段と、画像に含まれる物体を認識する物体認識手段と、物体認識手段によって認識した物体に基づいて、降下適合性を示す安全度を判断する安全度判断手段と、安全度に基づいて、機体を降下させる機体制御手段と、を有する。
【選択図】図１

【特許請求の範囲】

【請求項1】

デバイスを配置する領域である目標領域に向かって自律移動するための自律移動手段と、
前記目標領域の画像を取得する画像取得手段と、
前記画像に含まれる物体を認識する物体認識手段と、
前記物体認識手段によって認識した物体に基づいて、前記デバイスを配置する位置としての適性を示す適性度を算出する適性度算出手段と、
前記適性度に基づいて、前記目標領域において、前記デバイスを配置するデバイス配置手段と、
を有するデバイス配置装置。

【請求項2】

前記物体認識手段は、深層学習（ディープラーニング）によって生成された特徴データを参照する請求項１に記載のデバイス配置装置。

【請求項3】

前記適性度算出手段は、前記目標領域を細分化して小領域とし、前記小領域ごとに前記適性度を算出し、
前記デバイス配置手段は、前記小領域の前記適性度に基づいて、前記デバイスを配置するようになっている請求項１または請求項２のいずれかに記載のデバイス配置装置。

【請求項4】

前記デバイス配置装置は、隣接する前記小領域を小領域群とし、各前記小領域の前記適性度及び前記小領域群の前記適性度に基づいて、前記デバイスを配置するようになっている請求項１乃至請求項３のいずれかに記載のデバイス配置装置。

【請求項5】

前記デバイス配置装置は、各前記目標領域の近傍において、前記画像取得手段によって、前記目標領域の周辺部を含む全体画像を取得し、
前記周辺部の前記適性度を参照して、前記デバイスを配置するようになっている請求項１乃至請求項４のいずれかに記載のデバイス配置装置。

【請求項6】

自律移動可能なデバイス配置装置が実施するデバイス配置方法であって、
デバイスを配置する領域である目標領域に向かって自律移動する自律移動ステップと、
前記目標領域の画像を取得する画像取得ステップと、
前記画像に含まれる物体を認識する物体認識ステップと、
前記物体認識ステップにおいて認識した物体に基づいて、デバイスを配置する位置としての適性を示す適性度を算出する適性度算出ステップと、
前記適性度に基づいて、前記目標領域において、前記デバイスを配置するデバイス配置ステップと、
を含むデバイス配置方法。

【請求項7】

デバイス配置装置を制御するコンピュータを、
デバイスを配置する領域である目標領域に向かって自律移動するための自律移動手段、
前記目標領域の画像を取得する画像取得手段、
前記画像に含まれる物体を認識する物体認識手段、
前記物体認識手段によって認識した物体に基づいて、デバイスを配置する位置としての適性を示す適性度を算出する適性度算出手段、
前記適性度に基づいて、前記目標領域において、前記デバイスを配置するデバイス配置手段、
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、デバイス配置装置、デバイス配置方法及びデバイス配置プログラムに関する。

【背景技術】

【0002】

従来、無人航空機を使用して、無人地上センサーなどのデバイスを配置する方法が提案されている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００８―１５００２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかし、上述の技術においては、デバイスを配置する投下地点の評価を無人航空機からの画像に基づいて、遠隔地に位置する人間が行う必要がある。このため、投下地点の評価に時間を要する場合があるうえに、画像が複雑な場合に、投下地点を正しく評価することができない場合がある。

【0005】

本発明はかかる問題の解決を試みたものであり、デバイスの配置の際に、人間を介さずに、迅速かつ正確に、デバイスの配置位置を評価して、デバイスを配置することができるデバイス配置装置の提供を目的とする。

【課題を解決するための手段】

【0006】

第一の発明は、デバイスを配置する領域である目標領域に向かって自律移動するための自律移動手段と、
前記目標領域の画像を取得する画像取得手段と、
前記画像に含まれる物体を認識する物体認識手段と、
前記物体認識手段によって認識した物体に基づいて、前記デバイスを配置する位置としての適性を示す適性度を算出する適性度算出手段と、
前記適性度に基づいて、前記目標領域において、前記デバイスを配置するデバイス配置手段と、
を有するデバイス配置装置である。

【0007】

第一の発明の構成によれば、デバイス配置装置は、目標領域に向かって自律移動し、画像を取得し、画像中の物体を認識し、デバイスを配置するための適性度を算出したうえで、デバイスを配置する。このため、デバイスの配置の際に、人間を介さずに、迅速かつ正確に、デバイスの配置位置を評価して、デバイスを配置することができる。

【0008】

第二の発明は、第一の発明の構成において、前記物体認識手段は、深層学習（ディープラーニング）によって生成された特徴データを参照するデバイス配置装置である。

【0009】

第三の発明は、第一または第二のいずれかの発明の構成において、前記適性度算出手段は、前記目標領域を細分化して小領域とし、前記小領域ごとに前記適性度を算出し、
前記デバイス配置手段は、前記小領域の前記適性度に基づいて、前記デバイスを配置するようになっているデバイス配置装置である。

【0010】

第四の発明は、第一乃至第三のいずれかの発明の構成において、前記デバイス配置装置は、隣接する前記小領域を小領域群とし、各前記小領域の前記適性度及び前記小領域群の前記適性度に基づいて、前記デバイスを配置するようになっているデバイス配置装置である。

【0011】

第五の発明は、第一乃至第四のいずれかの発明の構成において、前記デバイス配置装置は、各前記目標領域の近傍において、前記画像取得手段によって、前記目標領域の周辺部を含む全体画像を取得し、
前記周辺部の前記適性度を参照して、前記デバイスを配置するようになっているデバイス配置装置である。

【0012】

第六の発明は、自律移動可能なデバイス配置装置が実施するデバイス配置方法であって、
デバイスを配置する領域である目標領域に向かって自律移動する自律移動ステップと、
前記目標領域の画像を取得する画像取得ステップと、
前記画像に含まれる物体を認識する物体認識ステップと、
前記物体認識ステップにおいて認識した物体に基づいて、デバイスを配置する位置としての適性を示す適性度を算出する適性度算出ステップと、
前記適性度に基づいて、前記目標領域において、前記デバイスを配置するデバイス配置ステップと、
を含むデバイス配置方法である。

【0013】

第七の発明は、デバイス配置装置を制御するコンピュータを、
デバイスを配置する領域である目標領域に向かって自律移動するための自律移動手段、
前記目標領域の画像を取得する画像取得手段、
前記画像に含まれる物体を認識する物体認識手段、
前記物体認識手段によって認識した物体に基づいて、デバイスを配置する位置としての適性を示す適性度を算出する適性度算出手段、
前記適性度に基づいて、前記目標領域において、前記デバイスを配置するデバイス配置手段、
として機能させるためのデバイス配置プログラムである。

【発明の効果】

【0014】

以上のように、本発明によれば、デバイスの配置の際に、人間を介さずに、迅速かつ正確に、デバイスの配置位置を評価して、デバイスを配置することができる。

【図面の簡単な説明】

【0015】

【図1】本発明の実施形態の作用の概略を示す図である。

【図2】本発明の実施形態の作用の概略を示す図である。

【図3】デバイスを配置する目標領域の座標を示す概念図である。

【図4】本発明の実施形態の無人飛行体の機能構成を示す概略図である。

【図5】デバイスを配置する目標領域の座標を示す概念図である。

【図6】本発明の実施形態のフローチャートである。

【図7】デバイスを配置する目標領域の座標を示す概念図である。

【図8】デバイスを配置する目標領域の座標を示す概念図である。

【発明を実施するための形態】

【0016】

本発明の実施形態を、図面を参照して説明する。なお、当業者が適宜実施できる構成については説明を省略し、本発明の基本的な構成についてのみ説明する。

【0017】

＜第一の実施形態＞
図１及び図２に示す無人飛行体１（以下、「無人機１」という。）は、自律飛行可能な、いわゆる、ドローン、あるいは、マルチコプターある。無人機１は、デバイス配置装置の一例である。無人機１は、本体３及び４つの回転翼５を有する。各回転翼５は、それぞれ、モーターに連結されている。本体３には、無人機１の各部を制御するコンピュータ、自律飛行制御装置、無線通信装置、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）を利用した測位装置、加速度センサーやジャイロセンサーなどの慣性センサー、磁気センサー、気圧センサー、バッテリー等が配置されている。また、本体３には、カメラ７が接続されている。カメラ７は、デジタル画像を撮像するデジタルカメラ、あるいは、ビデオカメラ等である。無人機１は、通信装置によって、基地局５０（図４参照）と通信可能になっている。

【0018】

大領域１００中の各領域Ｐ１〜Ｐ９は、デバイスを配置する目標領域の一例である。無人機１は、領域Ｐ１〜Ｐ９に向かって自律移動する。無人機１は、領域Ｐ１〜Ｐ９の座標データを有している。図３に、座標データの一例を概念的に示す。無人機１は、例えば、最初に領域１に向かい、領域１における作業が完了した後は、領域２に向かうというように、順々に作業を行うように構成されている。領域Ｐ１〜Ｐ９において、デバイスを配置する適性を有する位置がある場合には、図２に示すようにデバイスＳを各領域Ｐ１〜Ｐ９に配置する。デバイスＳは、例えば、環境を調査するためのセンサーまたは計測機器であって、振動を計測する振動センサー、放射線を測定する放射線センサー、風速センサー、湿度センサー、温度センサー等である。例えば、特定の集落に、デバイスＳを配置することによって、その地域の地盤の状況を観測できる。

【0019】

大領域１００に示す地域２００は、山２０２，２０４及び２０６を背景とし、前方に湖２０８がある。山２０６と湖２０８の間には、道路２１０が配置され、自動車２１４が通行している。山２０６の山裾と道路２１０の間には、複数の家屋からなる集落２１２が形成されている。無人機１は、地域２００の中の大領域１００に複数のデバイスＳを配置するときに、集落２１２や道路２１０の近傍は回避し、また、デバイスＳの種類によっては、湖２０８の近傍を回避するようになっている。さらに、無人機１は、デバイスＳを配置するときに、例えば、領域１内において、デバイスＳが最も性能を発揮できる場所を選択して配置するように構成されている。

【0020】

図４に示すように、無人機１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１０、記憶部１２、無線通信部１４、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）部１６、慣性センサー部１８、画像処理部２０、駆動制御部２２、デバイス配置制御部２４、及び、電源部２６を有する。

【0021】

無線通信部１４によって、無人機１は基地局５０と通信可能になっている。基地局５０は、無人機１の離陸及び着陸を監視及び管理する管理装置の一例であり、適宜、飛行に関する指示を与えるようになっている。

【0022】

ＧＰＳ部１６と慣性センサー部１８によって、無人機１は機体の位置を測定することができる。ＧＰＳ部１６は、基本的に、３つ以上のＧＰＳ衛星からの電波を受信して無人飛行体１の位置を計測する。慣性センサー部１８は、例えば、加速度センサー及びジャイロセンサーによって、出発点からの無人機１の移動を積算して、無人機１の位置を計測する。

【0023】

画像処理部２０によって、無人機１は、カメラ７を作動させて画像を取得することができる。

【0024】

駆動制御部２２によって、無人機１は、各回転翼５の回転を制御するようになっている。

【0025】

デバイス配置制御部２４によって、無人機１は、その機体に搭載したデバイスを領域Ｐ１〜Ｐ９に配置するようになっている。

【0026】

電源部２６は、例えば、交換可能な可充電電池であり、無人機１の各部に電力を供給するようになっている。

【0027】

記憶部１２には、出発点から目的位置まで自律飛行するための飛行計画を示すデータ等の無人飛行に必要な各種データ及びプログラムや、以下の各プログラムが格納されている。

【0028】

記憶部１２には、画像取得プログラム、物体認識プログラム、適性度算出プログラム、デバイス配置プログラムが格納されている。

【0029】

ＣＰＵ１０及び画像取得プログラムは、画像処理部２０を作動させて、画像を取得するための画像取得手段の一例である。無人機１は、画像取得プログラムによって、領域Ｐ１〜Ｐ９の各領域の画像を取得する。無人機１は、目標領域として、例えば、領域Ｐ１の近傍に至ったと判断した場合に、領域Ｐ１全体の画像を取得する。例えば、無人機１は、領域Ｐ１の中心座標から水平面における距離が１００ｍ（メートル）以内に入った場合に、領域Ｐ１の近傍に至ったと判断し、領域Ｐ１の画像取得を開始する。無人機１は、領域Ｐ１に接近すると、図５に示すように、領域Ｐ１を小領域ａ〜ｐに分割し、各小領域ａ〜ｐに焦点を当てた画像取得を行う。

【0030】

ＣＰＵ１０及び物体認識プログラムは、物体認識手段の一例である。無人機１は、物体認識プログラムによって、深層学習（ディープラーニング）によって生成された特徴データを参照するようになっており、取得した画像に含まれる物体の特徴を識別して、物体を認識できるようになっている。なお、深層学習（ディープラーニング）とは、多層構造のニューラルネットワークの機械学習であり、画像認識の分野が有力な活用分野の一つである。物体認識プログラムは、地形の凹凸なども物体として認識する。

【0031】

無人機１は、例えば、小領域ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｉ，ｊ，ｍ，ｎ，ｏ及びｐは、凹凸が激しい地形であると認識する。そして、例えば、小領域ｇ及びｈは比較的平坦であるが植物が多い地形、小領域ｋ及びｌは、非常に平坦で乾燥していると認識する。

【0032】

ＣＰＵ１０と適性度算出プログラムは適性度算出手段の一例である。適性度算出プログラムは、物体認識プログラムによって認識した物体に基づいて、デバイスを配置する位置としての適性を示す適性度を算出するためのプログラムである。適性度算出プログラムは、デバイスの種類ごとに、適性度定義データを有する。適性度定義データは、デバイスが有効に機能する環境に応じて、適性度を規定している。例えば、家屋に近い場合、自動車が通行する道路に近い場合、あるいは、凹凸が激しい地形で、デバイスを安定して配置できない場合には、適性度は低い。水没に適さないデバイスついては、水溜まりであって、デバイスが水没する場合には、適性度が低い。これに対して、平坦な地形であって、乾燥している場合には、適性度が高い。適性度は、例えば、低い方から高い方へ、５段階で評価するものとする。最も低い適性度は適性度１であり、最も適性度が高い場合には適性度５である。適性度定義データは、例えば、家屋近傍や水溜まりは適性度１、道路近傍は適性度２、凹凸の激しい地形は適性度３、平坦で乾燥した場所の適性度５というように、物体の種類と適性度を関連付けたデータである。無人機１は、適性度算出プログラムの適性度定義データを参照して、デバイスを配置する位置の適性度を判断するようになっている。

【0033】

例えば、小領域ｋ及びｌは、非常に平坦で乾燥しており、デバイスが有効に機能する可能性が高いから、適性度が最も高く、適性度は５である。小領域ｇ及びｈは比較的平坦であるが植物が多い地形であり、適性度は３である。小領域ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｉ，ｊ，ｍ，ｎ，ｏ及びｐは、凹凸が激しい地形であるから、適性度は１である。

【0034】

ＣＰＵ１０とデバイス配置プログラムは機体制御手段の一例である。デバイス配置プログラムは、適性度に基づいて、デバイスを配置するためのプログラムである。無人機１は、小領域ｋ及びｌが適性度５であり、小領域ｇ及びｈが適性度が３であり、小領域ａ，ｂ，ｃ，ｄ，ｅ，ｆ，ｉ，ｊ，ｍ，ｎ，ｏ及びｐは適性度１であることに基づいて、適性度が高い小領域ｋ及びｌを選択して、小領域ｋまたはｌのいずれかにデバイスを配置する。

【0035】

以下、無人機１の動作をフローチャートで説明する。図６に示すように、無人機１は、出発点から目標領域に向かって自律飛行し、目標領域である、例えば、領域Ｐ１の近傍に到達したか否かを判断し（ステップＳＴ１）、目標領域近傍に到達したと判断した場合には、カメラ７を作動させて画像取得を開始する（ステップＳＴ２）。続いて、無人機１は、最初にデバイスを配置する領域上空、例えば、領域Ｐ１の上空に到達したか否かを判断し（ステップＳＴ３）、当該領域上空に到達したと判断した場合には、各小領域ａ等に焦点を合わせて画像を取得し、画像に基づいて、各小領域ごとの適性度を算出する（ステップＳＴ４）。続いて、デバイスを配置する基準以上の適性度の小領域があるか否か、すなわち、適性地点があるか否かを判断し（ステップＳＴ５）、適性地点があれば、デバイスを配置し（ステップＳＴ６）、適性地点がない場合には、デバイスを配置しない（ステップＳＴ７）。続いて、無人機１は、すべての領域Ｐ１〜Ｐ９についての作業が完了したと判断した場合には（ステップＳＴ８）、画像取得を停止し、基地局に帰還する（ステップＳＴ９）。一方、無人機１は、すべての領域についての作業が完了していない判断した場合には（ステップＳＴ８）、次の領域へ移動する（ステップＳＴ１０）。

【0036】

＜第二の実施形態＞
第二の実施形態においては、無人機１は、適性度算出プログラムによって、隣接する小領域を小領域群とし、各小領域の適性度及び小領域群の適性度に基づいて、デバイスを配置するようになっている。

【0037】

図７を参照して説明する。例えば、小領域ｇとｋを小領域群とすると、その平均の適性度は４である。同様に、領域ｈと領域ｌからなる小領域群の平均の適性度は４であり、小領域ｋとｏからなる小領域群の平均の適性度は３であり、小領域ｌとｐからなる小領域群の平均の適性度は３であり、小領域ｋとｌからなる小領域群の平均の適性度は５である。このように計算すると、小領域ｋとｌの境界の平均の適性度が５であり最高値であるが、無人機１は、小領域ｋとｌの境界の中でも、平均適性度が３の小領域ｏ及びｐ側との境界側ではなくて、適性度が４の小領域ｇ及びｈ側との境界側の方が適性が高いと判断するようになっている。すなわち、各小領域についての適性度に加えて、隣接する小領域からなる小領域群の適性度を使用することで、デバイスを配置するための一層適切な位置を判断することができる。

【0038】

＜第三の実施形態＞
第三の実施形態においては、無人機１は、画像取得プログラムによって、
各目標領域Ｐ１等の近傍において、目標領域Ｐ１等の周辺部を含む全体画像を取得し、周辺部の適性度を参照して、デバイスを配置するようになっている。

【0039】

図８を参照して説明する。無人機１は、小領域及び小領域群の適性度を踏まえた段階では、小領域ｋ及びｌの境界線であって、かつ、小領域ｇ及びｈとの境界線近傍が最も適切であると判断する。ここで、例えば、周辺領域Ｐ１ｏｕｔにおいて、小領域ｌ近傍の適性度が４であるとする。一方、領域Ｐ１内において小領域ｋに隣接する小領域ｊの適性度は１である。小領域ｊとｋからなる小領域群の平均の適性度は３であり、小領域ｌと周辺領域Ｐ１ｏｕｔのうち小領域ｌの近傍からなる領域の平均の適性度は４．５である。無人機１は、最も適切なデバイスの配置位置を小領域ｋとｌとの境界線ではなくて、矢印Ｘ１方向に移動させた部分であると判断するようになっている。これにより、デバイスを配置するためのさらに一層適切な位置を判断することができる。

【0040】

上述の実施形態１乃至実施形態３においては、無人飛行体１の記憶部１２に、画像取得プログラム、物体認識プログラム、適性度算出プログラム、デバイス配置プログラムが格納されているものとして説明したが、物体認識プログラム及び／または適性度算出プログラムを基地局５０のサーバ内の記憶部に格納し、基地局５０で処理した結果を無人機１に送信することによって、無人機１を制御するように構成してもよい。この場合、無人機１の記憶部１２は、基地局５０からの指示を処理する処理プログラムを格納すれば足りる。

【0041】

なお、本発明のデバイス配置装置及びデバイス配置方法は、上記実施形態に限らず、本発明の要旨を逸脱しない範囲内において種々変更を加えることができる。

【符号の説明】

【0042】

１ 無人飛行体（無人機）
１０ ＣＰＵ
１４ 無線通信部
１６ ＧＰＳ部
１８ 慣性センサー部
２０ 画像処理部
２２ 駆動制御部
２４ デバイス配置制御部
２６ 電源部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】