(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B1)
(11)【特許番号】
(24)【登録日】2022-03-09
(45)【発行日】2022-03-17
(54)【発明の名称】無人航空機システム、無人航空機および評価用データの作成方法
(51)【国際特許分類】
B64C 39/02 20060101AFI20220310BHJP
【FI】
B64C39/02
(21)【出願番号】P 2022000713
(22)【出願日】2022-01-05
【審査請求日】2022-01-06
【早期審査対象出願】
(73)【特許権者】
【識別番号】522007185
【氏名又は名称】DPMSs合同会社
(74)【代理人】
【識別番号】100125690
【氏名又は名称】小平 晋
(72)【発明者】
【氏名】山岡 高広
【審査官】姫島 卓弥
(56)【参考文献】
【文献】国際公開第2017/017984(WO,A1)
【文献】国際公開第2020/121664(WO,A1)
【文献】特開2014-122019(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
B64C 39/02
(57)【特許請求の範囲】
【請求項1】
複数の無人航空機を備える無人航空機システムにおいて、
前記無人航空機は、飛行中の前記無人航空機の飛行状態および飛行環境を検知するための複数のセンサと、飛行中の前記無人航空機の飛行状態を判断するための飛行状態判断手段とを備え、
前記飛行状態判断手段は、複数の前記センサの出力信号が入力されるとともに複数の前記センサの出力信号に基づく複数の特徴データを少なくとも人工知能アルゴリズムを用いて所定時間ごとに生成して出力する特徴データ生成部と、前記特徴データ生成部で生成される所定時間ごとの複数の前記特徴データである特徴データ群が入力されるとともに人工知能アルゴリズムを用いて前記特徴データ群を処理する飛行状態判断部とを備え、
前記飛行状態判断部には、無線通信可能な領域を飛行する他の前記無人航空機である周辺無人航空機の、前記特徴データ生成部の出力データの少なくとも一部または前記飛行状態判断部の出力データの少なくとも一部が無線通信によって入力され、
前記飛行状態判断部は、前記周辺無人航空機から入力される前記周辺無人航空機の前記特徴データ生成部の出力データまたは前記周辺無人航空機の前記飛行状態判断部の出力データに基づいて処理した前記特徴データ群の処理結果に基づいて、前記無人航空機の飛行状態を判断することを特徴とする無人航空機システム。
【請求項2】
複数の前記無人航空機を管理するための管理装置を備え、
前記無人航空機は、前記無人航空機の現在位置のデータである現在位置データを取得するためのGPSセンサと、所定時間ごとに生成される前記特徴データ群および前記特徴データ群の生成タイミングで取得される前記現在位置データが記憶される航空機側記憶部とを備え、
複数の前記無人航空機は、前記無人航空機の稼働後に前記航空機側記憶部に記憶される前記特徴データ群および前記現在位置データを前記管理装置に送信し、
前記管理装置は、前記現在位置データの取得タイミングと前記現在位置データとに対応付けられた所定時間ごとの前記特徴データ群がデータベース化されて記憶される管理装置側記憶部を備えることを特徴とする請求項1記載の無人航空機システム。
【請求項3】
前記無人航空機は、前記無人航空機の現在位置のデータである現在位置データを取得するためのGPSセンサと、前記周辺無人航空機から受信する電波の強度を検知するための電波強度センサと、前記周辺無人航空機が発信する電波の発信状態の良否を判断するための電波発信状態判断部とを備えるとともに、前記周辺無人航空機から前記現在位置データを無線で受信し、
前記電波発信状態判断部は、前記周辺無人航空機から受信する前記現在位置データと前記電波強度センサの検知結果とに基づいて、前記周辺無人航空機が発信する電波の発信状態の良否を判断することを特徴とする請求項1または2記載の無人航空機システム。
【請求項4】
請求項1から3のいずれかに記載の無人航空機システムが備える前記無人航空機であることを特徴とする無人航空機。
【請求項5】
請求項1から3のいずれかに記載の無人航空機システムにおいて、前記特徴データ生成部が作成する複数の前記特徴データのそれぞれを前記特徴データ生成部が評価するための評価用データの作成方法であって、
前記無人航空機単体の状態で、少なくとも、前記無人航空機の飛行前、前記無人航空機のアイドリング時、前記無人航空機の上昇時、前記無人航空機の下降時、前記無人航空機の前進時、前記無人航空機の後退時、および、前記無人航空機のホバリング時のそれぞれについて各種のデータを取得して前記評価用データを作成する第1評価用データ作成工程と、
前記無人航空機に重量物を搭載した状態で、少なくとも、前記無人航空機の飛行前、前記無人航空機のアイドリング時、前記無人航空機の上昇時、前記無人航空機の下降時、前記無人航空機の前進時、前記無人航空機の後退時、および、前記無人航空機のホバリング時のそれぞれについて各種のデータを取得して前記評価用データを作成する第2評価用データ作成工程とを備えることを特徴とする評価用データの作成方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、無人航空機システムに関する。また、本発明は、無人航空機システムで使用される無人航空機に関する。さらに、本発明は、無人航空機システムで使用される評価用データを作成するための評価用データの作成方法に関する。
【背景技術】
【0002】
従来、無人航空機(ドローン)と、ユーザが無人航空機を遠隔操作するための操作用端末とを備える無人航空機システムが知られている(たとえば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
無人航空機の飛行状態は、無人航空機が飛行する空域の天候等の様々な要因で変動する。無人航空機の飛行状態が変動して、無人航空機の飛行状態が悪化すると、無人航空機が落下するおそれが高くなる。そのため、飛行中の無人航空機の飛行状態は精度良く判断できることが好ましい。
【0005】
そこで、本発明の課題は、飛行中の無人航空機の飛行状態を精度良く判断することが可能な無人航空機システムを提供することにある。また、本発明の課題は、かかる無人航空機システムが有する無人航空機を提供することにある。さらに、本発明の課題は、かかる無人航空機システムで使用される評価用データを作成するための評価用データの作成方法を提供することにある。
【課題を解決するための手段】
【0006】
上記の課題を解決するため、本発明の無人航空機システムは、複数の無人航空機を備える無人航空機システムにおいて、無人航空機は、飛行中の無人航空機の飛行状態および飛行環境を検知するための複数のセンサと、飛行中の無人航空機の飛行状態を判断するための飛行状態判断手段とを備え、飛行状態判断手段は、複数のセンサの出力信号が入力されるとともに複数のセンサの出力信号に基づく複数の特徴データを少なくとも人工知能アルゴリズムを用いて所定時間ごとに生成して出力する特徴データ生成部と、特徴データ生成部で生成される所定時間ごとの複数の特徴データである特徴データ群が入力されるとともに人工知能アルゴリズムを用いて特徴データ群を処理する飛行状態判断部とを備え、飛行状態判断部には、無線通信可能な領域を飛行する他の無人航空機である周辺無人航空機の、特徴データ生成部の出力データの少なくとも一部または飛行状態判断部の出力データの少なくとも一部が無線通信によって入力され、飛行状態判断部は、周辺無人航空機から入力される周辺無人航空機の特徴データ生成部の出力データまたは周辺無人航空機の飛行状態判断部の出力データに基づいて処理した特徴データ群の処理結果に基づいて、無人航空機の飛行状態を判断することを特徴とする。
【0007】
本発明の無人航空機システムでは、無人航空機が備える飛行状態判断手段は、無人航空機の飛行状態および飛行環境を検知するための複数のセンサの出力信号に基づく複数の特徴データを少なくとも人工知能アルゴリズムを用いて所定時間ごとに生成して出力する特徴データ生成部と、特徴データ生成部で生成される所定時間ごとの複数の特徴データである特徴データ群を人工知能アルゴリズムを用いて処理する飛行状態判断部とを備えている。また、本発明では、飛行状態判断部は、周辺無人航空機から入力される周辺無人航空機の特徴データ生成部の出力データまたは周辺無人航空機の飛行状態判断部の出力データに基づいて処理した特徴データ群の処理結果に基づいて、無人航空機の飛行状態を判断している。
【0008】
すなわち、本発明では、飛行状態判断部は、少なくとも人工知能アルゴリズムを用いて生成された無人航空機自体の特徴データ群の、人工知能アルゴリズムを用いた処理結果であって、かつ、周辺無人航空機の特徴データ生成部または飛行状態判断部の出力データを判断材料にしながら人工知能アルゴリズムを用いて処理された特徴データ群の処理結果に基づいて無人航空機の飛行状態を判断している。そのため、本発明では、飛行中の無人航空機の飛行状態を精度良く判断することが可能になる。
【0009】
本発明において、無人航空機システムは、複数の無人航空機を管理するための管理装置を備え、無人航空機は、無人航空機の現在位置のデータである現在位置データを取得するためのGPSセンサと、所定時間ごとに生成される特徴データ群および特徴データ群の生成タイミングで取得される現在位置データが記憶される航空機側記憶部とを備え、複数の無人航空機は、無人航空機の稼働後に航空機側記憶部に記憶される特徴データ群および現在位置データを管理装置に送信し、管理装置は、現在位置データの取得タイミングと現在位置データとに対応付けられた所定時間ごとの特徴データ群がデータベース化されて記憶される管理装置側記憶部を備えることが好ましい。
【0010】
このように構成すると、複数の無人航空機から収集されて管理装置側記憶部に記憶される膨大な特徴データ等に基づいて、たとえば、無人航空機が落下したときの各種の特徴データの値等を把握することが可能になる。したがって、管理装置側記憶部に記憶されるデータに基づいて、たとえば、無人航空機の飛行を継続するのか否かの判断材料となる情報等の様々な情報を作成して提供することが可能になる。
【0011】
本発明において、無人航空機は、無人航空機の現在位置のデータである現在位置データを取得するためのGPSセンサと、周辺無人航空機から受信する電波の強度を検知するための電波強度センサと、周辺無人航空機が発信する電波の発信状態の良否を判断するための電波発信状態判断部とを備えるとともに、周辺無人航空機から現在位置データを無線で受信し、電波発信状態判断部は、周辺無人航空機から受信する現在位置データと電波強度センサの検知結果とに基づいて、周辺無人航空機が発信する電波の発信状態の良否を判断することが好ましい。
【0012】
周辺無人航空機が発信する電波の発信状態が極端に悪化すると、周辺無人航空機を遠隔操作する操作用端末と周辺無人航空機との間の無線通信ができなくなって、周辺無人航空機が落下するおそれが高くなるが、このように構成すると、周辺無人航空機が発信する電波の発信状態が悪化していると電波発信状態判断部で判断されたときに、周辺無人航空機が発信する電波の発信状態が悪化していることを、この周辺無人航空機の操作を行うオペレータに何らかの方法で知らせることが可能になる。したがって、たとえば、周辺無人航空機が落下する前に周辺無人航空機を着陸させる等の所定の措置を取ることが可能になる。
【0013】
本発明の無人航空機システムにおいて、特徴データ生成部が作成する複数の特徴データのそれぞれを特徴データ生成部が評価するための評価用データの作成方法は、たとえば、無人航空機単体の状態で、少なくとも、無人航空機の飛行前、無人航空機のアイドリング時、無人航空機の上昇時、無人航空機の下降時、無人航空機の前進時、無人航空機の後退時、および、無人航空機のホバリング時のそれぞれについて各種のデータを取得して評価用データを作成する第1評価用データ作成工程と、無人航空機に重量物を搭載した状態で、少なくとも、無人航空機の飛行前、無人航空機のアイドリング時、無人航空機の上昇時、無人航空機の下降時、無人航空機の前進時、無人航空機の後退時、および、無人航空機のホバリング時のそれぞれについて各種のデータを取得して評価用データを作成する第2評価用データ作成工程とを備えている。この場合には、無人航空機の様々な状況における評価用データを作成することが可能になる。したがって、特徴データ生成部は、作成された評価用データに基づいて複数の特徴データのそれぞれをより適切に評価することが可能になる。
【発明の効果】
【0014】
以上のように、本発明の無人航空機システムでは、飛行中の無人航空機の飛行状態を精度良く判断することが可能になる。また、本発明の評価用データの作成方法で評価用データを作成すれば、複数の特徴データのそれぞれをより適切に評価することが可能になる。
【図面の簡単な説明】
【0015】
【
図1】本発明の実施の形態にかかる無人航空機システムの構成を説明するためのブロック図である。
【
図2】
図1に示すセンサの出力信号の一例を示す図である。
【
図3】
図1に示す特徴データ生成部で生成される特徴データ群等を説明するための図である。
【
図4】
図1に示す第2記憶部に記憶される評価用データ群を説明するための図である。
【
図5】
図4に示す評価用データの一例を説明するための図である。
【
図6】
図1に示す管理装置の記憶部を説明するためのブロック図である。
【
図7】
図6に示す特徴データ群記憶部に記憶されるデータを説明するための図である。
【
図8】
図1に示す管理装置の表示部の表示の一例を説明するための図である。
【発明を実施するための形態】
【0016】
以下、図面を参照しながら、本発明の実施の形態を説明する。
【0017】
(無人航空機システムの全体構成)
図1は、本発明の実施の形態にかかる無人航空機システム1の構成を説明するためのブロック図である。
【0018】
本形態の無人航空機システム1は、複数の無人航空機2と、複数の無人航空機2を管理するための管理装置3とを備えている。以下の説明では、無人航空機2を「ドローン2」とする。また、無人航空機システム1は、ドローン2の充電および保守等を行うためのドローンポート4と、複数のドローン2のそれぞれを遠隔操作するための複数の操作用端末5とを備えている。本形態の無人航空機システム1は、たとえば、数十台のドローン2を備えている。管理装置3は、無人航空機システム1が有する全てのドローン2を一括で管理している。
【0019】
無人航空機システム1は、1個または複数個のドローンポート4を備えている。1個のドローンポート4では、1台または複数台のドローン2の充電等が行われる。また、無人航空機システム1は、ドローン2と同数の操作用端末5を備えている。操作用端末5は、たとえば、親指等で操作する操作レバー等を有するコントローラ、または、スマートフォン等の携帯機器、あるいは、ノートブック型のパーソナルコンピュータ等である。管理装置3は、たとえば、パーソナルコンピュータと、パーソナルコンピュータに接続されるサーバーとから構成されている。
【0020】
ドローン2と操作用端末5との間では無線通信が行われる。ドローン2と操作用端末5との間では、たとえば、近距離無線通信規格の1つであるZigBeeに基づく無線通信が行われる。また、本形態では、無線通信可能な距離までドローン2と管理装置3とが近づいている場合には、ドローン2と管理装置3との間でZigBee等に基づく無線通信を行うことが可能になっている。また、本形態では、無線通信可能な領域を飛行する複数のドローン2の間でZigBee等に基づく無線通信を行うことが可能になっている。
【0021】
以下の説明では、所定の1台のドローン2と無線通信可能な領域を飛行する他のドローン2を、無線通信可能な領域から外れた領域を飛行する他のドローン2と区別して表す場合には、無線通信可能な領域を飛行する他のドローン2を「周辺ドローン2A」とする。本形態の周辺ドローン2Aは、周辺無人航空機である。
【0022】
(ドローンの構成)
図2は、
図1に示すセンサ10の出力信号SGの一例を示す図である。
図3は、
図1に示す特徴データ生成部18で生成される特徴データ群FG等を説明するための図である。
図4は、
図1に示す第2記憶部22に記憶される評価用データ群EGを説明するための図である。
図5は、
図4に示す評価用データDEの一例を説明するための図である。
【0023】
ドローン2は、ドローン2の機械的な構成であるドローン本体(図示省略)と、ドローン本体を制御するドローン制御部8とを備えている。ドローン制御部8は、制御基板に実装されており、この制御基板は、ドローン本体に搭載されている。また、ドローン2は、ドローン2を制御するための複数のセンサ(図示省略)と、操作用端末5等との間で無線通信を行うための無線通信部9とを備えている。また、ドローン2は、ドローン2を制御するための複数のセンサとは別に、飛行中のドローン2の飛行状態および飛行環境を検知するための複数のセンサ10を備えている。
【0024】
複数のセンサ10は、ドローン本体に取り付けられている。ドローン2は、複数のセンサ10として複数種類のセンサを備えている。ドローン2は、たとえば、ドローン2の飛行状態を検知するためのセンサ10として、AE(Acoustic Emission)センサ、振動センサおよび複数の画像センサ(カメラ)等を備えている。また、ドローン2は、ドローン2の飛行環境を検知するためのセンサ10として、温度センサ、湿度センサ、風速センサおよび照度センサ等を備えている。
【0025】
また、ドローン2は、飛行中のドローン2の飛行状態を判断するための飛行状態判断手段11と、飛行状態判断手段11の一部を構成する後述の飛行状態判断部19でドローン2の飛行状態が悪化していると判断された場合に所定の異常処理を実行する異常処理部12と、ドローン2の現在位置のデータである現在位置データを取得するためのGPSセンサ13と、周辺ドローン2Aから受信する電波の強度を検知するための電波強度センサ14と、周辺ドローン2Aが発信する電波の発信状態の良否を判断するための電波発信状態判断部15とを備えている。
【0026】
飛行状態判断手段11、異常処理部12、電波強度センサ14および電波発信状態判断部15は、たとえば、共通の制御基板に実装されている。この制御基板は、ドローン制御部8が実装される制御基板とは別に設けられた制御基板である。この制御基板は、ドローン本体に搭載されている。GPSセンサ13は、たとえば、ドローン本体に取り付けられている。
【0027】
飛行状態判断手段11は、複数のセンサ10の出力信号SGが入力されるとともに複数のセンサ10の出力信号SGに基づく複数の特徴データ(特徴点、
図3参照)を少なくとも人工知能アルゴリズムを用いて所定時間ごとに生成して出力する特徴データ生成部18と、特徴データ生成部18で生成される所定時間ごとの複数の特徴データである特徴データ群FGが入力されるとともに人工知能アルゴリズムを用いて特徴データ群FGを処理する飛行状態判断部19とを備えている。
【0028】
また、飛行状態判断手段11は、複数のセンサ10の出力信号SGを特徴データ生成部18で処理可能なデータに変換する信号処理部20と、所定時間ごとに生成される特徴データ群FGが記憶される航空機側記憶部としての第1記憶部21と、特徴データ生成部18が作成する複数の特徴データのそれぞれを特徴データ生成部18が評価するための評価用データDEが記憶される第2記憶部22とを備えている。
【0029】
信号処理部20は、たとえば、アナログ信号であるセンサ10の出力信号SG(
図2参照)をデジタル信号に変換する変換回路である。特徴データ生成部18には、信号処理部20から出力されるデジタル信号が入力される。すなわち、特徴データ生成部18には、信号処理部20で処理された後の複数のセンサ10の出力信号SGが入力される。特徴データ生成部18は、集積回路である。特徴データ生成部18は、一定時間ごとに特徴データ群FGを生成する。本形態では、特徴データ生成部18は、100ミリ秒ごとに特徴データ群FGを生成する。また、特徴データ生成部18は、たとえば、センサ10の出力信号SGから取得される100ミリ秒の間の100個のデータ(点)を用いて特徴データ群FGを生成する。
【0030】
すなわち、
図2、
図3に示すように、100ミリ秒の時間をT1、T2、T3、・・・、Ti、・・・とすると、特徴データ生成部18は、時間T1、T2、T3、・・・、Ti、・・・のそれぞれにおいて、時間T1、T2、T3、・・・、Ti、・・・のそれぞれで取得される100個のデータを用いて特徴データ群FGを生成する。また、特徴データ生成部18は、複数のセンサ10のそれぞれの出力信号SGに基づいて、複数のセンサ10ごとに特徴データ群FGを生成する。
【0031】
すなわち、特徴データ生成部18は、ドローン2が有する全てのセンサ10の数と同数の特徴データ群FGを100ミリ秒ごとに生成する。なお、特徴データ生成部18は、センサ10の出力信号SGから取得される100ミリ秒の間の100個未満または100個を超えるデータを用いて特徴データ群FGを生成しても良い。また、特徴データ群FGが生成される時間間隔は、100ミリ秒未満であっても良いし、100ミリ秒を超えても良い。
【0032】
本形態の特徴データ生成部18は、統計的アルゴリズム(統計的手法)および人工知能アルゴリズム(機械学習アルゴリズム)を用いて複数の特徴データを生成する。具体的には、特徴データ生成部18は、
図3に示すように、100ミリ秒ごとに特徴データ1~特徴データnまでのn個の特徴データを生成する。たとえば、特徴データ生成部18は、100ミリ秒ごとに200個の特徴データを生成する。200個の特徴データには、たとえば、100ミリ秒の間の100個のデータの二乗平均平方根、標準偏差、中央値およびレンジ(最大値と最小値との差)等の、統計的アルゴリズムを用いて生成される特徴データが含まれている。
【0033】
また、200個の特徴データには、たとえば、100ミリ秒の間の100個のデータをランダムフォレスト(RF)で処理することで生成される特徴データ、100ミリ秒の間の100個のデータをサポートベクターマシーン(SVM)で処理することで生成される特徴データ、および、100ミリ秒の間の100個のデータを再帰型ニューラルネットワーク(RNN)で処理することで生成される特徴データ等の、人工知能アルゴリズムを用いて生成される特徴データが含まれている。
【0034】
また、特徴データ生成部18は、生成された複数の特徴データのそれぞれを評価する。具体的には、特徴データ生成部18は、生成されたn個の特徴データのそれぞれを5段階で評価する。n個の特徴データのそれぞれを評価するための評価用データDEは、予め作成されている。評価用データDEには、たとえば、
図5に示すように、時間軸を横軸として特徴データの値の特性を表す曲線と、曲線上の値に応じた評価値(1~5の5段階の評価値)とが含まれている。
図5に示すように、評価用データDEにおいては、たとえば、ドローン2の飛行に支障がない正常レベルの範囲内に特徴データの値が収まっている場合の評価値は「3」となり、正常レベルの範囲から特徴データの値が外れている場合には、特徴データの値に応じて、評価値が「5」、「4」、「2」、「1」となる。
【0035】
評価用データDEは、n個(たとえば、200個)の特徴データごとに作成されている。また、評価用データDEは、複数のセンサ10ごとに作成されている。すなわち、1個のセンサ10につき、n個の特徴データを評価するためのn個の評価用データDEが作成されており、n個の評価用データDEからなる評価用データ群EGが複数のセンサ10の数と同数、作成されている。また、
図4に示すように、複数のセンサ10ごとに作成される複数の評価用データ群EGは、ドローン2の状況ごとに作成されている。具体的には、ドローン2の飛行前、ドローン2のアイドリング時、ドローン2の上昇時、ドローン2の下降時、ドローン2の前進時、ドローン2の後退時、および、ドローン2のホバリング時のそれぞれにおいて、複数のセンサ10ごとに作成される複数の評価用データ群EGが作成されている。
【0036】
さらに、ドローン2の飛行前に複数のセンサ10ごとに作成される複数の評価用データ群EGと、ドローン2のアイドリング時に複数のセンサ10ごとに作成される複数の評価用データ群EGと、ドローン2の上昇時に複数のセンサ10ごとに作成される複数の評価用データ群EGと、ドローン2の下降時に複数のセンサ10ごとに作成される複数の評価用データ群EGと、ドローン2の前進時に複数のセンサ10ごとに作成される複数の評価用データ群EGと、ドローン2の後退時に複数のセンサ10ごとに作成される複数の評価用データ群EGと、ドローン2のホバリング時に複数のセンサ10ごとに作成される複数の評価用データ群EGとからなるデータセットDSは、
図4に示すように、ドローン2の稼働条件ごとに作成されている。
【0037】
ドローン2の稼働条件には、たとえば、ドローン2が荷物の運搬用で使用されるのか、または、空撮用で使用されるのか、あるいは、農薬散布用で使用されるのか等のドローン2の用途が含まれている。また、ドローン2に重量物が搭載される場合には、ドローン2に搭載される重量物の重量がドローン2の稼働条件に含まれている。また、ドローン2に重量物が搭載される場合には、たとえば、重量物がドローン2に直接固定されるのか、あるいは、重量物がドローン2に吊り下げされるのか等の重量物の取付状態がドローン2の稼働条件に含まれている。たとえば、
図4に示すように、ドローン2の稼働条件として、稼働条件1~稼働条件mまでのm個の稼働条件がある。
【0038】
ドローン2の稼働条件ごとに作成されるデータセットDSは、第2記憶部22に予め記憶されている。すなわち、ドローン2の各稼働条件に対応するm個のデータセットDSが第2記憶部22に予め記憶されている。後述のように、ドローン2の稼働前には、管理装置3において稼働条件が選択される。選択された稼働条件のデータである稼働条件データは、管理装置3からドローン2に無線で送信される。ドローン2が稼働条件データを受信すると、特徴データ生成部18は、第2記憶部22に記憶されたm個のデータセットDSの中から稼働条件データに応じたデータセットDSを選択する。
【0039】
また、特徴データ生成部18は、選択したデータセットDSに基づいて、n個の特徴データのそれぞれを評価する。具体的には、特徴データ生成部18は、生成された特徴データの値に応じてn個の特徴データのそれぞれに評価値を付与する。このときには、特徴データ生成部18は、ドローン2の状況に応じて選択される評価用データ群EGに基づいてn個の特徴データのそれぞれに評価値を付与する。また、特徴データ生成部18は、n個の特徴データのそれぞれに付与されたn個の評価値に基づいて総合評価を行う。具体的には、特徴データ生成部18は、n個の評価値の平均値を総合評価値として算出する(
図3参照)。
【0040】
特徴データ生成部18が100ミリ秒ごとに生成する特徴データ群FGと、特徴データ生成部18が付与する評価値のデータである評価値データと、特徴データ生成部18が算出する総合評価値のデータである総合評価値データとは、第1記憶部21に記憶される。すなわち、第1記憶部21には、特徴データ群FGと評価値データと総合評価値データとが100ミリ秒ごとに順次記憶される。また、第1記憶部21には、特徴データ群FGの生成タイミングにおいてGPSセンサ13で取得される現在位置データが順次記憶される。すなわち、第1記憶部21には、GPSセンサ13で取得される現在位置データが100ミリ秒ごとに順次記憶される。
【0041】
100ミリ秒ごとに第1記憶部21に順次記憶される特徴データ群FG、評価値データ、総合評価値データおよび現在位置データは、ドローン2の稼働後(飛行終了後)に管理装置3に送信される。すなわち、ドローン2は、第1記憶部21に記憶される特徴データ群FG、評価値データ、総合評価値データおよび現在位置データをドローン2の稼働後に管理装置3に送信する。具体的には、無人航空機システム1が有する全てのドローン2が、第1記憶部21に記憶される特徴データ群FG、評価値データ、総合評価値データおよび現在位置データをドローン2の稼働後に管理装置3に送信する。第1記憶部21に記憶される特徴データ群FG、評価値データ、総合評価値データおよび現在位置データは、これらのデータをドローン2が管理装置3に送信するまで第1記憶部21から消去されることなく第1記憶部21に記憶されている。
【0042】
飛行状態判断部19は、集積回路である。具体的には、飛行状態判断部19は、たとえば、米国特許第9501739号明細書に記載された集積回路である。飛行状態判断部19には、第1記憶部21に記憶される特徴データ群FGが順次入力される。また、飛行状態判断部19には、100ミリ秒ごとに生成される特徴データ群FGが順次入力される。
【0043】
また、本形態では、周辺ドローン2Aの特徴データ生成部18の出力データの一部が周辺ドローン2Aからドローン2に無線で送信されており、飛行状態判断部19には、周辺ドローン2Aの特徴データ生成部18の出力データの一部が無線通信によって入力される。具体的には、周辺ドローン2Aの特徴データ生成部18で算出された総合評価値データが飛行状態判断部19に入力される。たとえば、ある時間において、3台の周辺ドローン2Aが存在する場合には(
図1参照)、3台分の総合評価値データが飛行状態判断部19に入力される。飛行状態判断部19には、周辺ドローン2Aの総合評価値データが100ミリ秒ごとに入力される。
【0044】
飛行状態判断部19は、100ミリ秒ごとに入力される特徴データ群FGを人工知能アルゴリズムを用いて順次処理する。また、飛行状態判断部19は、周辺ドローン2Aから入力される総合評価値データに基づいて特徴データ群FGを処理する。また、飛行状態判断部19は、周辺ドローン2Aから入力される総合評価値データに基づいて処理した特徴データ群FGの処理結果に基づいて、ドローン2の飛行状態を判断する。飛行状態判断部19は、100ミリ秒ごとにドローン2の飛行状態を判断する。
【0045】
なお、飛行状態判断部19には、ドローン2が受信した稼働条件データも入力される。飛行状態判断部19をモデル化すると、飛行状態判断部19は、複数のニューロンを備えており、複数のニューロンの閾値は、周辺ドローン2Aから入力される総合評価値データと稼働条件データとに基づいて変わる。稼働条件データがニューロンの閾値の変動に寄与する寄与度は、周辺ドローン2Aから入力される総合評価値データがニューロンの閾値の変動に寄与する寄与度よりも大きくなっている。そのため、稼働条件データに基づいてニューロンの閾値が比較的大きく変わり、周辺ドローン2Aから入力される総合評価値データに基づいてニューロンの閾値が比較的小さく変わる。
【0046】
飛行状態判断部19は、ドローン2の飛行状態が悪化していると判断すると、異常処理部12に対して異常処理実行指令データを送信する。異常処理実行指令データを受信した異常処理部12は、所定の異常処理を実行する。本形態では、異常を知らせる警報を発生させる警報器をドローン本体が備えており、異常処理部12は、異常処理として、この警報器に警報を発生させる。
【0047】
本形態では、周辺ドローン2AのGPSセンサ13で取得される現在位置データは、ドローン2に無線で送信されており、電波発信状態判断部15は、周辺ドローン2Aから現在位置データを無線で受信する。また、電波強度センサ14は、周辺ドローン2Aから受信する電波の強度を検知する。電波発信状態判断部15は、周辺ドローン2Aから受信する周辺ドローン2Aの現在位置データと電波強度センサ14の検知結果とに基づいて、周辺ドローン2Aが発信する電波の発信状態の良否を判断する。
【0048】
たとえば、電波発信状態判断部15は、周辺ドローン2Aの現在位置データから周辺ドローン2Aが比較的近い位置を飛行していると判断されるにもかかわらず、電波強度センサ14の検知結果に基づいて周辺ドローン2Aから受信する電波の強度が弱いと判断される場合には、周辺ドローン2Aの電波の発信状態が悪いと判断する。電波発信状態判断部15は、周辺ドローン2Aの電波の発信状態が悪いと判断すると、異常処理部12に対して異常処理実行指令データを送信する。異常処理実行指令データを受信した異常処理部12は、たとえば、飛行状態判断部19から異常処理実行指令データを受信した場合と同様の異常処理を実行する。
【0049】
異常処理が実行されてドローン2から警報が発せられると、周辺ドローン2Aは、たとえば、振動センサによって警報を検知して、ドローン2の異常処理が実行されたことを認識する。ドローン2の異常処理が実行されたことを認識した周辺ドローン2Aは、たとえば、異常処理が実行されたドローン2に近づいて画像センサでドローン2を撮影する。撮影された画像データは、第1記憶部21に記憶され、ドローン2の稼働後にドローン2から管理装置3に送信される。また、ドローン2の異常処理が実行されたことを認識した周辺ドローン2Aは、たとえば、周辺ドローン2Aの操作用端末5に、ドローン2の異常処理が実行されたことを知らせるアラームを送信する。
【0050】
なお、ドローン本体は、通常、バッテリーの残量等を知らせるためのLEDランプ等のランプを備えているため、異常処理部12は、異常処理として、ランプを所定の態様で光らせても良い。また、たとえば、異常を知らせる警報を発生させる警報器を操作用端末5が備えている場合には、異常処理部12は、異常処理として、この警報器に警報を発生させても良いし、操作用端末5が液晶ディスプレイ等の表示部を備えている場合には、異常処理部12は、異常処理として、この表示部に所定の表示を行っても良い。
【0051】
また、飛行状態判断部19は、ドローン2の飛行状態が悪化していると判断したときに、ドローン制御部8に異常処理実行指令データを送信しても良い。また、電波発信状態判断部15は、周辺ドローン2Aの電波の発信状態が悪いと判断したときに、ドローン制御部8に異常処理実行指令データを送信しても良い。この場合には、異常処理実行指令データを受信したドローン制御部8は、たとえば、ドローン2を不時着させたり、ドローンポート4に早急に帰還させたりする。
【0052】
また、たとえば、周辺ドローン2Aの特徴データ生成部18から飛行状態判断部19に入力される総合評価値データが「4」または「5」である場合に、ドローン2が、周辺ドローン2Aに異常が生じていることを認識して、ドローン2の操作用端末5に、周辺ドローン2Aに異常が生じていることを知らせるアラームを送信しても良い。また、たとえば、周辺ドローン2Aの飛行状態判断部19が発信する異常処理実行指令データをドローン2が受信可能となっており、周辺ドローン2Aの飛行状態判断部19が発信する異常処理実行指令データをドローン2が受信したときに、ドローン2が、ドローン2の操作用端末5に、周辺ドローン2Aに異常が生じていることを知らせるアラームを送信しても良い。
【0053】
(管理装置の構成)
図6は、
図1に示す管理装置3の記憶部27を説明するためのブロック図である。
図7は、
図6に示す特徴データ群記憶部31に記憶されるデータを説明するための図である。
図8は、
図1に示す管理装置3の表示部25の表示の一例を説明するための図である。
【0054】
上述のように、管理装置3は、たとえば、パーソナルコンピュータとサーバーとによって構成されている。管理装置3は、各種の表示を行うための液晶ディスプレイ等の表示部25と、人工知能アルゴリズムを用いて評価用データDEを処理して評価用データDEを更新するための機械学習部26と、各種のデータが記憶される記憶部27と、ドローン2との間およびドローンポート4との間で無線通信を行うための無線通信部28とを備えている。
【0055】
記憶部27は、ドローン2の稼働後にドローン2から送信される特徴データ群FG、評価値データ、総合評価値データおよび現在位置データが記憶される管理装置側記憶部としての特徴データ群記憶部31と、評価用データDEが記憶される評価用データ記憶部32と、ドローン2の稼働条件が記憶される稼働条件記憶部33とを備えている。上述のように、無線通信可能な距離までドローン2と管理装置3とが近づいている場合には、ドローン2と管理装置3との間で無線通信を行うことが可能になっている。また、上述のように、第1記憶部21に記憶される特徴データ群FG、評価値データ、総合評価値データおよび現在位置データは、ドローン2の稼働後に管理装置3に送信される。
【0056】
特徴データ群記憶部31には、ドローン2から送信される特徴データ群FG、評価値データ、総合評価値データおよび現在位置データがドローン2ごとに記憶されている。また、特徴データ群記憶部31には、
図7に示すように、現在位置データの取得タイミング(すなわち、特徴データ群FGの生成タイミング、具体的には、100ミリ秒の時間T1、T2・・・)と現在位置データ(ドローン2が飛行している空域)とに対応付けられた所定時間ごとの特徴データ群FGがデータベース化されて記憶されている。すなわち、特徴データ群記憶部31には、時間と空域とに関連付けられた所定時間ごとの特徴データ群FGがデータベース化されて記憶されている。
【0057】
また、特徴データ群記憶部31には、現在位置データの取得タイミングと現在位置データとに対応付けられた所定時間ごとの評価値データ、総合評価値データ、ドローン2ごとに付されたドローンID、ドローン2の型式データ(たとえば、ドローン2の製造年月日、および、ドローン2の修理履歴等のデータ)、稼働条件ごとに付された稼働IDおよび稼働条件の内容である稼働内容データ(たとえば、ドローン2の用途、ドローン2に搭載される重量物の重量、および、重量物の取付状態等のデータ)がデータベース化されて記憶されている。本形態では、特徴データ群記憶部31に記憶されるデータのデータフォーマットは、XML形式となっている。また、現在位置データの取得タイミングと現在位置データとに対応付けられた所定時間ごとの各種のデータには、ドメイン名が付与されている。
【0058】
評価用データ記憶部32には、第2記憶部22に記憶されるデータセットDSと同様のデータセットDSが記憶されている。すなわち、評価用データ記憶部32には、ドローン2の稼働条件ごとに作成されるデータセットDSが記憶されている。
【0059】
機械学習部26は、集積回路である。機械学習部26には、特徴データ群記憶部31に記憶される各種のデータ、および、評価用データ記憶部32に記憶されるデータセットDSが入力される。機械学習部26は、人工知能アルゴリズムを用いてデータセットDSを処理する。また、機械学習部26は、特徴データ群記憶部31から入力される各種のデータに基づいてデータセットDSを処理する。また、機械学習部26は、処理後のデータセットDSを評価用データ記憶部32に送信して、評価用データ記憶部32に記憶されるデータセットDSを更新する。評価用データ記憶部32に記憶されるデータセットDSが更新されると、ドローンポート4に戻ったドローン2に更新後のデータセットDSが送信され、更新後のデータセットDSが第2記憶部22に記憶される。
【0060】
上述のように、稼働条件記憶部33には、ドローン2の稼働条件が記憶されている。たとえば、稼働条件記憶部33には、稼働条件1~稼働条件mまでのm個の稼働条件が記憶されている。稼働条件記憶部33に記憶される稼働条件は、更新可能になっている。ドローン2の稼働条件は、たとえば、表示部25に表示される選択画面を用いて選択される。ドローン2の稼働条件が選択されると、稼働条件データが管理装置3からドローン2に無線で送信される。また、管理装置3は、ドローン2の飛行ルート等もドローン2に無線で送信する。
【0061】
なお、管理装置3は、ネットワークを介して複数のドローン2の操作用端末5に接続されていても良い。この場合には、ネットワークを介して操作用端末5から送信されるデータに基づいて、各ドローン2の情報を表示部25にリアルタイムで表示することが可能となる。たとえば、
図8に示すように、表示部25には、ドローン2を選択するための選択部25aと、選択部25aで選択されたドローン2の各センサ10の出力信号SGを表示する出力信号表示部25bと、選択されたドローン2の各センサ10の総合評価値等を表示する評価値表示部25cと、選択されたドローン2と無線通信可能な周辺ドローン2Aを表示する周辺ドローン表示部25dとが表示される。
図8に示す例では、選択部25aにおいて「ドローンB」が選択されており、出力信号表示部25b、評価値表示部25cおよび周辺ドローン表示部25dに、「ドローンB」に関する情報がリアルタイムで表示される。
【0062】
(ドローンポートの構成)
ドローンポート4では、上述のように、ドローン2の充電が行われる。ドローンポート4は、ドローン2の充電設備を備えている。また、ドローンポート4では、ドローン2の保守(メンテナンス)が行われる。ドローンポート4は、ドローン2の保守設備を備えている。また、ドローンポート4では、複数のセンサ10の校正(キャリブレーション)が行われる。ドローンポート4は、センサ10の校正を行うための設備を備えている。センサ10の校正は、ドローン2が充電のためにドローンポート4に戻ってきたときに行われる。ドローンポート4および管理装置3は、ドローンポート4に戻ったドローン2と管理装置3との間の無線通信が可能となる位置に配置されている。なお、充電完了後のドローン2の1回の最大稼働時間は、たとえば、30分である。
【0063】
(ドローンの動作およびドローンの内部での処理)
待機状態のドローン2は、ドローンポート4で停止している。ドローン2が稼働するときには、管理装置3で稼働条件が選択される。選択された稼働条件は、管理装置3からドローン2に無線で送信される。ドローン2が稼働条件を受信すると、ドローン2は、稼働可能な状態になる。ドローン2が稼働し始めると、特徴データ生成部18は、一定時間ごとに特徴データ群FGを生成する。また、特徴データ生成部18は、生成された複数の特徴データのそれぞれを評価する。このときには、特徴データ生成部18は、ドローン2が受信した稼働条件データに応じたデータセットDSを選択し、選択したデータセットDSを用いて複数の特徴データのそれぞれを評価する。
【0064】
また、飛行状態判断部19は、ドローン2の飛行状態を判断する。飛行状態判断部19は、ドローン2の飛行状態が悪化していると判断すると、異常処理部12に対して異常処理実行指令データを送信する。異常処理実行指令データを受信した異常処理部12は、異常処理を実行する。また、ドローン2の異常処理が実行されたことを認識した周辺ドローン2Aは、異常処理が実行されたドローン2に近づいて画像センサでドローン2を撮影する等の動作を行う。
【0065】
所定時間の飛行が終了したドローン2は、ドローンポート4に戻ってくる。ドローンポート4に戻った稼働後のドローン2は、第1記憶部21に記憶されている特徴データ群FG、評価値データ、総合評価値データおよび現在位置データの全てを管理装置3に送信する。管理装置3は、これらのデータを特徴データ群記憶部31に記憶する。第1記憶部21に記憶されている特徴データ群FG、評価値データ、総合評価値データおよび現在位置データが管理装置3に送信されると、第1記憶部21に記憶されていた特徴データ群FG、評価値データ、総合評価値データおよび現在位置データは消去される。
【0066】
(評価用データの作成方法)
評価用データDEは、たとえば、ドローンポート4において作成される。評価用データDEを作成するときには、所定の条件を満足する基準のドローン2(基準機)が使用される。評価用データDEを作成する際には、ドローン2単体の状態で(すなわち、ドローン2に何も搭載していない状態で)、ドローン2の飛行前、ドローン2のアイドリング時、ドローン2の上昇時、ドローン2の下降時、ドローン2の前進時、ドローン2の後退時、および、ドローン2のホバリング時のそれぞれについて各種のデータを取得して評価用データDEを作成する(第1評価用データ作成工程)。
【0067】
また、ドローン2に重量物を搭載した状態で、ドローン2の飛行前、ドローン2のアイドリング時、ドローン2の上昇時、ドローン2の下降時、ドローン2の前進時、ドローン2の後退時、および、ドローン2のホバリング時のそれぞれについて各種のデータを取得して評価用データDEを作成する(第2評価用データ作成工程)。第2評価用データ作成工程では、ドローン2に搭載される重量物の重量および重量物の取付状態を変えながら、様々な評価用データDEを作成する。
【0068】
また、第1評価用データ作成工程および第2評価用データ作成工程で作成された評価用データDEから、ドローン2の稼働条件ごとのデータセットDSが作成される。ドローン2の稼働条件ごとのデータセットDSがドローンポート4において作成されると、ドローンポート4において作成されたデータセットDSは、管理装置3に送信され、評価用データ記憶部32に記憶される。なお、評価用データDEは、ドローンポート4以外の場所において作成されても良い。
【0069】
(本形態の主な効果)
以上説明したように、本形態では、特徴データ生成部18は、複数のセンサ10の出力信号SGに基づく複数の特徴データを統計的アルゴリズムおよび人工知能アルゴリズムを用いて所定時間ごとに生成して出力し、飛行状態判断部19は、特徴データ生成部18で生成される所定時間ごとの特徴データ群FGを人工知能アルゴリズムを用いて処理している。また、本形態では、飛行状態判断部19は、周辺ドローン2Aから入力される総合評価値データに基づいて特徴データ群FGを処理するとともに、周辺ドローン2Aから入力される総合評価値データに基づいて処理した特徴データ群FGの処理結果に基づいて、ドローン2の飛行状態を判断している。
【0070】
すなわち、本形態では、飛行状態判断部19は、統計的アルゴリズムおよび人工知能アルゴリズムを用いて生成されたドローン2自体の特徴データ群FGの、人工知能アルゴリズムを用いた処理結果であって、かつ、周辺ドローン2Aから入力される総合評価値データを判断材料にしながら人工知能アルゴリズムを用いて処理された特徴データ群FGの処理結果に基づいてドローン2の飛行状態を判断している。そのため、本形態では、飛行中のドローン2の飛行状態を精度良く判断することが可能になる。
【0071】
本形態では、無人航空機システム1が有する全てのドローン2は、第1記憶部21に記憶される特徴データ群FG、評価値データ、総合評価値データおよび現在位置データをドローン2の稼働後に管理装置3に送信している。また、本形態では、特徴データ群記憶部31に、現在位置データの取得タイミング(時間)と現在位置データ(空域)とに対応付けられた所定時間ごとの特徴データ群FG、評価値データ、総合評価値データ、ドローンID、ドローン2の型式データ、稼働IDおよび稼働内容データがデータベース化されて記憶されている。
【0072】
そのため、本形態では、複数のドローン2から収集されて第1記憶部21に記憶される膨大な特徴データ等に基づいて、たとえば、ドローン2が落下したときの各種の特徴データの値等を把握することが可能になる。したがって、本形態では、第1記憶部21に記憶されるデータに基づいて、たとえば、ドローン2の飛行を継続するのか否かの判断材料となる情報等の様々な情報を作成して提供することが可能になる。また、本形態では、特徴データ群記憶部31に記憶されるデータのデータフォーマットがXML形式となっているため、第1記憶部21に記憶されたデータの中から必要なデータを容易に検索して抽出することが可能になる。
【0073】
本形態では、電波発信状態判断部15は、周辺ドローン2Aから受信する周辺ドローン2Aの現在位置データと電波強度センサ14の検知結果とに基づいて、周辺ドローン2Aが発信する電波の発信状態の良否を判断している。また、たとえば、周辺ドローン2Aが屋内やトンネルに入ったり、周辺ドローン2Aの近傍で雷が発生したりして、周辺ドローン2Aが発信する電波の発信状態が極端に悪化すると、周辺ドローン2Aを遠隔操作する操作用端末5と周辺ドローン2Aとの間の無線通信ができなくなって、周辺ドローン2Aが落下するおそれが高くなるが、本形態では、周辺ドローン2Aの電波の発信状態が悪いと電波発信状態判断部15が判断すると、異常処理が実行されている。そのため、本形態では、周辺ドローン2Aが発信する電波の発信状態が悪化していることを周辺ドローン2Aの操作を行うオペレータに知らせることが可能になる。したがって、本形態では、周辺ドローン2Aが落下する前に何らかの措置を取ることが可能になる。
【0074】
本形態では、ドローン2の稼働条件ごとにデータセットDSが作成されている。そのため、本形態では、ドローン2の様々な状況における評価用データDEを作成することが可能になる。したがって、本形態では、特徴データ生成部18は、作成された評価用データDEに基づいて、複数の特徴データのそれぞれをより適切に評価することが可能になる。
【0075】
(他の実施の形態)
上述した形態において、周辺ドローン2Aの飛行状態判断部19の出力データの一部がドローン2に無線で送信されても良い。この場合には、飛行状態判断部19は、周辺ドローン2Aから入力される周辺ドローン2Aの飛行状態判断部19の出力データの一部に基づいて特徴データ群FGを処理するとともに、周辺ドローン2Aから入力される周辺ドローン2Aの飛行状態判断部19の出力データの一部に基づいて処理した特徴データ群FGの処理結果に基づいて、ドローン2の飛行状態を判断しても良い。
【0076】
上述した形態では、特徴データ生成部18は、統計的アルゴリズムおよび人工知能アルゴリズムを用いて複数の特徴データを生成しているが、特徴データ生成部18は、人工知能アルゴリズムのみを用いて複数の特徴データを生成しても良い。また、上述した形態において、ドローン2の稼働条件ごとに作成されるデータセットDSが第2記憶部22に予め記憶されていなくても良い。この場合には、管理装置3において稼働条件が選択されると、稼働条件データに応じたデータセットDSが管理装置3からドローン2に送信されて、たとえば、第2記憶部22に一時的に記憶される。
【符号の説明】
【0077】
1 無人航空機システム
2 ドローン(無人航空機)
2A 周辺ドローン(周辺無人航空機)
3 管理装置
10 センサ
11 飛行状態判断手段
13 GPSセンサ
14 電波強度センサ
15 電波発信状態判断部
18 特徴データ生成部
19 飛行状態判断部
21 第1記憶部(航空機側記憶部)
31 特徴データ群記憶部(管理装置側記憶部)
FG 特徴データ群
【要約】
【課題】飛行中の無人航空機の飛行状態を精度良く判断することが可能な無人航空機システムを提供する。
【解決手段】無人航空機システム1では、無人航空機2が備える飛行状態判断手段11は、無人航空機2の飛行状態および飛行環境を検知するための複数のセンサ10の出力信号に基づく複数の特徴データを少なくとも人工知能アルゴリズムを用いて所定時間ごとに生成して出力する特徴データ生成部18と、特徴データ生成部18で生成される所定時間ごとの複数の特徴データである特徴データ群を人工知能アルゴリズムを用いて処理する飛行状態判断部19とを備えている。飛行状態判断部19は、無線通信可能な領域を飛行する他の無人航空機2である周辺無人航空機2Aから入力される周辺無人航空機2Aの特徴データ生成部18の出力データに基づいて処理した特徴データ群の処理結果に基づいて、無人航空機2の飛行状態を判断している。
【選択図】
図1