IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ソニー株式会社の特許一覧

<>
  • 特開-情報処理装置及び情報処理方法 図1
  • 特開-情報処理装置及び情報処理方法 図2
  • 特開-情報処理装置及び情報処理方法 図3
  • 特開-情報処理装置及び情報処理方法 図4
  • 特開-情報処理装置及び情報処理方法 図5
  • 特開-情報処理装置及び情報処理方法 図6
  • 特開-情報処理装置及び情報処理方法 図7
  • 特開-情報処理装置及び情報処理方法 図8
  • 特開-情報処理装置及び情報処理方法 図9
  • 特開-情報処理装置及び情報処理方法 図10
  • 特開-情報処理装置及び情報処理方法 図11
  • 特開-情報処理装置及び情報処理方法 図12
  • 特開-情報処理装置及び情報処理方法 図13
  • 特開-情報処理装置及び情報処理方法 図14
  • 特開-情報処理装置及び情報処理方法 図15
  • 特開-情報処理装置及び情報処理方法 図16
  • 特開-情報処理装置及び情報処理方法 図17
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023183922
(43)【公開日】2023-12-28
(54)【発明の名称】情報処理装置及び情報処理方法
(51)【国際特許分類】
   G08G 5/04 20060101AFI20231221BHJP
   B64F 1/36 20170101ALI20231221BHJP
   G08G 1/00 20060101ALI20231221BHJP
   G01C 21/34 20060101ALI20231221BHJP
   G09B 29/00 20060101ALI20231221BHJP
   G09B 29/10 20060101ALI20231221BHJP
   G16Y 10/40 20200101ALI20231221BHJP
   G16Y 40/60 20200101ALI20231221BHJP
【FI】
G08G5/04 A
B64F1/36
G08G1/00 D
G01C21/34
G09B29/00 F
G09B29/10 A
G16Y10/40
G16Y40/60
【審査請求】未請求
【請求項の数】20
【出願形態】OL
(21)【出願番号】P 2022097729
(22)【出願日】2022-06-17
(71)【出願人】
【識別番号】000002185
【氏名又は名称】ソニーグループ株式会社
(74)【代理人】
【識別番号】100121131
【弁理士】
【氏名又は名称】西川 孝
(74)【代理人】
【識別番号】100082131
【弁理士】
【氏名又は名称】稲本 義雄
(74)【代理人】
【識別番号】100168686
【弁理士】
【氏名又は名称】三浦 勇介
(72)【発明者】
【氏名】伊神 徹
【テーマコード(参考)】
2C032
2F129
5H181
【Fターム(参考)】
2C032HC09
2C032HC27
2C032HD01
2C032HD03
2F129AA11
2F129BB03
2F129BB21
2F129DD39
2F129DD53
2F129EE02
2F129EE26
2F129EE43
2F129EE94
2F129EE95
2F129FF02
2F129FF12
2F129FF15
2F129FF20
2F129FF71
2F129FF72
2F129GG17
2F129HH12
5H181AA26
5H181BB04
5H181BB05
5H181BB20
5H181CC04
5H181FF04
5H181FF10
5H181FF13
5H181FF22
5H181FF32
5H181FF35
5H181LL04
5H181LL07
5H181LL08
(57)【要約】
【課題】飛行体の飛行領域の安全性をユーザが容易に確認できるようする。
【解決手段】情報処理装置は、1以上の第1の飛行体により検出された前記第1の飛行体の周囲の環境に関する情報を含む第1の飛行体情報に基づく情報であって、第2の飛行体が飛行する飛行領域の安全性に関する情報である安全性情報の出力を制御する出力制御部を備える。本技術は、例えば、ドローンの運用を管理するサーバに適用できる。
【選択図】図6
【特許請求の範囲】
【請求項1】
1以上の第1の飛行体により検出された前記第1の飛行体の周囲の環境に関する情報を含む第1の飛行体情報に基づく情報であって、第2の飛行体が飛行する飛行領域の安全性に関する情報である安全性情報の出力を制御する出力制御部を
備える情報処理装置。
【請求項2】
前記安全性情報は、前記第1の飛行体情報に基づいて検出された前記飛行領域内の危険度の空間的な分布を示す情報を含む
請求項1に記載の情報処理装置。
【請求項3】
前記安全性情報は、前記危険度の空間的な分布を示す情報を地図に重畳した画像を含む
請求項2に記載の情報処理装置。
【請求項4】
前記安全性情報は、前記危険度の空間的な分布を示す情報を前記第2の飛行体の周囲の画像に重畳した画像を含む
請求項2に記載の情報処理装置。
【請求項5】
前記安全性情報は、危険要因毎の前記危険度の空間的な分布を示す情報、及び、前記危険要因毎の前記危険度を統合した統合危険度の空間的な分布を示す情報のうち少なくとも1つを含む
請求項2に記載の情報処理装置。
【請求項6】
前記危険要因は、地磁気の状態、風の状態、照度、GNSS信号の受信状態、及び、無線通信の電波状態のうち少なくとも1つを含む
請求項5に記載の情報処理装置。
【請求項7】
前記第1の飛行体情報に基づいて、前記危険度の空間的な分布を検出する危険度検出部を
さらに備える請求項2に記載の情報処理装置。
【請求項8】
前記危険度検出部は、前記第1の飛行体情報に基づいて、危険要因毎の前記危険度の空間的な分布、及び、前記危険要因毎の前記危険度を統合した統合危険度の空間的な分布のうち少なくとも1つを検出する
請求項7に記載の情報処理装置。
【請求項9】
前記危険度の空間的な分布の検出結果に基づいて、未来の前記危険度の空間的な分布を予測する危険度予測部を
さらに備える請求項7に記載の情報処理装置。
【請求項10】
前記安全性情報は、過去から未来までの前記飛行領域の前記危険度の推移を示す情報を含む
請求項9に記載の情報処理装置。
【請求項11】
前記危険度検出部は、前記第2の飛行体により検出された前記第2の飛行体の周囲の環境に関する情報を含む第2の飛行体情報にさらに基づいて、前記危険度の空間的な分布を検出する
請求項7に記載の情報処理装置。
【請求項12】
前記危険度の空間的な分布に基づいて、前記第2の飛行体の飛行動作を制御する動作制御部を
さらに備える請求項2に記載の情報処理装置。
【請求項13】
前記安全性情報は、危険要因毎の前記危険度の空間的な分布を示す情報を含み、
前記動作制御部は、前記危険要因毎の前記危険度の空間的な分布に基づいて、前記第2の飛行体の飛行動作を制御する
請求項12に記載の情報処理装置。
【請求項14】
前記安全性情報は、前記第1の飛行体情報に基づいて検出された前記飛行領域の危険要因を示す情報を含む
請求項1に記載の情報処理装置。
【請求項15】
前記安全性情報は、前記危険要因に対する対策に関する情報をさらに含む
請求項14に記載の情報処理装置。
【請求項16】
前記飛行領域の前記危険要因に基づいて、前記第2の飛行体の飛行動作を制御する動作制御部を
さらに備える請求項14に記載の情報処理装置。
【請求項17】
前記第1の飛行体の周囲の環境に関する情報は、前記第1の飛行体の周囲の地磁気の状態、風の状態、照度、GNSS信号の受信状態、及び、無線通信の電波状態のうち少なくとも1つを含む
請求項1に記載の情報処理装置。
【請求項18】
前記第1の飛行体情報は、前記第1の飛行体の状態に関する情報、及び、前記第1の飛行体に関する情報のうち少なくとも1つをさらに含む
請求項1に記載の情報処理装置。
【請求項19】
前記安全性情報は、前記第2の飛行体により検出された前記第2の飛行体の周囲の環境に関する情報を含む第2の飛行体情報にさらに基づく
請求項1に記載の情報処理装置。
【請求項20】
情報処理装置が、
1以上の第1の飛行体により検出された前記第1の飛行体の周囲の環境に関する情報を含む飛行体情報に基づく情報であって、第2の飛行体が飛行する飛行領域の安全性に関する情報である安全性情報の出力を制御する
情報処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本技術は、情報処理装置及び情報処理方法に関し、特に、飛行体の飛行領域の安全性をユーザが容易に確認できるようにした情報処理装置及び情報処理方法に関する。
【背景技術】
【0002】
従来、複数の航空機からの測定値を用いて、地域内の風ベクトルを特定し、特定された風ベクトルに基づいて、3次元風況マップを作成し、3次元風況マップを用いて航空機の飛行計画を作成する技術が提案されている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2019-89538号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、特許文献1に記載の発明の3次元風況マップは、航空機の飛行計画を作成するためのものであり、ユーザに提示することは想定されていない。従って、特許文献1に記載の発明では、ドローン等の飛行体が飛行領域の安全性を確認することは困難である。
【0005】
本技術は、このような状況に鑑みてなされたものであり、ドローン等の飛行体の飛行領域の安全性をユーザが容易に確認できるようするものである。
【課題を解決するための手段】
【0006】
本技術の一側面の情報処理装置は、1以上の第1の飛行体により検出された前記第1の飛行体の周囲の環境に関する情報を含む第1の飛行体情報に基づく情報であって、第2の飛行体が飛行する飛行領域の安全性に関する情報である安全性情報の出力を制御する出力制御部を備える。
【0007】
本技術の一側面の情報処理方法は、情報処理装置が、1以上の第1の飛行体により検出された前記第1の飛行体の周囲の環境に関する情報を含む飛行体情報に基づく情報であって、第2の飛行体が飛行する飛行領域の安全性に関する情報である安全性情報の出力を制御する。
【0008】
本技術の一側面においては、1以上の第1の飛行体により検出された前記第1の飛行体の周囲の環境に関する情報を含む飛行体情報に基づく情報であって、第2の飛行体が飛行する飛行領域の安全性に関する情報である安全性情報が出力される。
【図面の簡単な説明】
【0009】
図1】本技術の概要を説明するために図である。
図2】本技術を適用した飛行管理システムの一実施の形態を示すブロック図である。
図3】ドローンの機能の構成例を示すブロック図である。
図4】コントローラの機能の構成例を示すブロック図である。
図5】モバイルデバイスの機能の構成例を示すブロック図である。
図6】管理サーバの機能の構成例を示すブロック図である。
図7】飛行管理システムの処理を説明するためのフローチャートである。
図8】危険度検出処理の詳細を説明するためのフローチャートである。
図9】危険度予測処理の詳細を説明するためのフローチャートである。
図10】モバイルデバイスの安全性情報の表示例を示す図である。
図11】モバイルデバイスの安全性情報の表示例を示す図である。
図12】モバイルデバイスの安全性情報の表示例を示す図である。
図13】モバイルデバイスの安全性情報の表示例を示す図である。
図14】コントローラの安全性情報の出力例を示す図である。
図15】ドローンの安全性情報の表示例を示す図である。
図16】モバイルデバイスの安全性情報の表示例を示す図である。
図17】コンピュータの構成例を示すブロック図である。
【発明を実施するための形態】
【0010】
以下、本技術を実施するための形態について説明する。説明は以下の順序で行う。
1.実施の形態
2.変形例
3.その他
【0011】
<<1.実施の形態>>
図1乃至図16を参照して、本技術の実施の形態について説明する。
【0012】
<本技術の概要>
まず、図1を参照して、本技術の概要について説明する。
【0013】
ドローンを安全に飛行させるためには、ドローンの飛行領域の安全性を事前に確認することが望ましい。なお、飛行領域は、ドローンが実際に飛行する領域だけでなく、飛行する予定の領域も含む。
【0014】
そこで、例えば、ユーザは、ドローンの飛行前に、ユーザがいる離陸地点の地磁気の状態、風の状態、GNSS信号の受信状態等をチェックすることにより、飛行領域の安全性を確認する。
【0015】
しかし、ユーザがいる地表付近とドローンが実際に飛行する飛行領域とでは、環境が異なる場合がある。従って、現状では、ドローンを実際に飛行させた上で、最終的に飛行領域の環境を確認し、安全性を見極める必要がある。そのため、ドローンを飛行させてから、飛行領域が危険であることが判明する場合がある。
【0016】
これに対して、本技術は、図1に示されるように、ユーザが運用するドローン11Aの周囲のドローン11B-1乃至ドローン11B-nからの情報に基づいて、ドローン11Aの飛行領域の安全性を容易に確認できるようにするものである。ドローン11B-1乃至ドローン11B-nは、例えば、ドローン11Aが飛行する予定の空域や高さをすでに飛行しているドローンである。
【0017】
なお、以下、ドローン11B-1乃至ドローン11B-nを個々に区別する必要がない場合、単にドローン11Bと称する。以下、ドローン11Aとドローン11Bを区別する必要がない場合、単にドローン11と称する。以下、ドローン11Aを自機とも称する。以下、ドローン11A以外のドローン11Bを他機とも称する。
【0018】
<飛行管理システム1の構成例>
次に、図2を参照して、本技術を適用した飛行管理システム1の構成例について説明する。飛行管理システム1は、ドローン11Aの飛行領域の安全性を検出及び予測し、飛行領域の安全性を示す情報をユーザに提示したり、ドローン11Aの飛行動作を制御したりするシステムである。
【0019】
飛行管理システム1は、上述したドローン11A及びドローン11B-1乃至ドローン11B-n以外に、コントローラ12、モバイルデバイス13、管理サーバ14、情報配信サーバ15、登録機体照会サーバ16、個別機体DB(データベース)18、ユーザ運用履歴DB(データベース)18、機体運用履歴DB(データベース)19、及び、危険度履歴DB(データベース)20を備える。
【0020】
ドローン11A、各ドローン11B、コントローラ12、モバイルデバイス13、管理サーバ14、情報配信サーバ15、登録機体照会サーバ16、ユーザ運用履歴DB18、機体運用履歴DB19、及び、危険度履歴DB20は、ネットワーク31を介して相互に接続され、通信することが可能である。ネットワーク31は、インターネット、携帯電話網等の各種のネットワーク、基地局、アクセスポイント等を備える。なお、各ドローン11Bとネットワーク31との間の接続の図示は省略されている。
【0021】
なお、この図は、ユーザが運用するドローン11Aを中心にした図であり、各ドローン11Bに対する構成の図示は省略されている。例えば、実際には、各ドローン11Bに対して、コントローラ及びモバイルデバイスが設けられる。また、説明は省略するが、各ドローン11Bも、後述するドローン11Aと同様の処理を実行することが可能である。
【0022】
ドローン11Aは、所定の通信方式により各ドローン11Bと直接無線通信を行うことが可能である。ドローン11Aと各ドローン11Bとの間の通信方式には、例えば、Bluetooth(登録商標)等の近距離無線通信方式、又は、Wi-Fi Beacon等による直接放送方式等が用いられる。
【0023】
ドローン11Aは、所定の通信方式によりコントローラ12と直接無線通信を行うことが可能である。ドローン11Aとコントローラ12との間の通信方式には、例えば、2.4GHz帯のスペクトラム拡散方式等が用いられる。
【0024】
ドローン11Aは、例えば、Wi-Fi等の無線通信、又は、4G、5G等の移動体通信により、ネットワーク31に接続することが可能である。従って、ドローン11Aは、ネットワーク31を介して、各ドローン11B、モバイルデバイス13、管理サーバ14、情報配信サーバ15、及び、登録機体照会サーバ16等と通信することが可能である。
【0025】
コントローラ12は、例えば、プロポーショナルシステムにより構成される。コントローラ12は、上述したように、ドローン11Aと直接無線通信を行うことが可能であり、ドローン11Aの遠隔操作に用いられる。
【0026】
コントローラ12は、所定の通信方式によりモバイルデバイス13と直接無線通信を行うことが可能である。コントローラ12とモバイルデバイス13との間の通信方式には、例えば、Bluetooth(登録商標)等の近距離無線通信方式が用いられる。
【0027】
モバイルデバイス13は、例えば、スマートフォン等により構成される。モバイルデバイス13は、Wi-Fi等の無線通信、又は、4G、5G等の移動体通信により、ネットワーク31に接続することが可能である。従って、モバイルデバイス13は、ネットワーク31を介して、各ドローン11、管理サーバ14、情報配信サーバ15、及び、登録機体照会サーバ16等と通信することが可能である。
【0028】
なお、以下、モバイルデバイス13が、ネットワーク31(例えば、アクセスポイント等)を介して、Wi-Fiによりドローン11Aと無線通信する場合の例について説明する。
【0029】
モバイルデバイス13は、所定のアプリケーションを実行することにより、ドローン11Aの遠隔操作、及び、ドローン11Aの状態及びドローン11の飛行領域の安全性を示す情報の出力等を実行することが可能である。
【0030】
管理サーバ14は、例えば、各ドローン11の運用を管理するサーバである。管理サーバ14は、例えば、各ドローン11からの情報に基づいて、ドローン11Aの飛行領域の安全性を示す情報(以下、安全性情報と称する)を生成する。管理サーバ14は、ネットワーク31を介して、ドローン11A及びモバイルデバイス13に安全性情報を送信する。
【0031】
これに対して、ドローン11Aは、管理サーバ14からの安全性情報に基づいて、ユーザに対して安全性情報を出力する。ドローン11Aは、安全性情報に基づいて、飛行動作を制御する。
【0032】
モバイルデバイス13は、管理サーバ14からの安全性情報に基づいて、ユーザに対して安全性情報を出力する。モバイルデバイス13は、安全性情報に基づいて、動作指令又は制御パラメータをドローン11に送信することにより、ドローン11の飛行動作を遠隔制御する。モバイルデバイス13は、安全性情報をコントローラ12に送信する。
【0033】
コントローラ12は、モバイルデバイス13からの安全性情報に基づいて、ユーザに対して安全性情報を出力する。コントローラ12は、安全性情報に基づいて、動作指令又は制御パラメータをドローン11に送信することにより、ドローン11の飛行動作を遠隔制御する。
【0034】
また、管理サーバ14は、安全性情報に基づいて、ネットワーク31を介して動作指令又は制御パラメータをドローン11Aに送信することにより、ドローン11の飛行動作を遠隔制御する。
【0035】
情報配信サーバ15は、ドローン11Aの飛行領域に関する各種の情報(以下、配信情報と称する)を配信する。配信情報は、例えば、気象情報等を含む。
【0036】
登録機体照会サーバ16は、個別機体DB17を用いて、管理サーバ14等からのドローン11に関する情報の照会に対して応答することにより、各ドローン11の登録情報を提供する。
【0037】
個別機体DB17は、各ドローン11に関する登録情報を格納するデータベースである。登録情報は、例えば、各ドローン11のリモートID、種類、型式、製造者、製造番号、重量区分、運用者(例えば、所有者や使用者)等の個人情報、改造の有無等を含む。
【0038】
ユーザ運用履歴DB18は、各ユーザのドローン11の運用履歴を格納するデータベースである。各ユーザのドローン11の運用履歴は、例えば、各ユーザのドローン11の飛行回数、運用機体履歴、及び、運用地域の危険度履歴を含む。運用機体履歴は、例えば、ユーザが運用したドローン11の機体の履歴を示す。例えば、運用機体履歴は、各ユーザが小型から大型までのどのレベルの機体を運用したことがあるかを示す。運用地域の危険度履歴は、例えば、ユーザがドローン11を運用した地域の危険度の履歴を示す。例えば、運用地域の危険度履歴は、各ユーザがどれだけ危険な場所でドローン11の運用経験があるかを示す。
【0039】
機体運用履歴DB19は、各ドローン11の運用履歴を格納するデータベースである。各ドローン11の運用履歴は、例えば、各ドローン11の飛行回数、各ドローン11の自己診断によるエラー検出履歴、及び、修理履歴を含む。
【0040】
危険度履歴DB20は、各地点の危険度の履歴を格納するデータベースである。各地点の危険度の履歴は、例えば、危険度が検出された位置及び日時、並びに、危険要因毎の危険度及び統合危険度等の情報を含む。
【0041】
また、危険度履歴DB20は、管理サーバ14により生成される危険度マップを格納する。危険度マップの詳細は後述するが、危険度マップは、危険要因毎の危険度及び統合危険度の空間的な分布を示すマップである。
【0042】
ここで、危険要因とは、ドローン11の飛行に悪影響を与える可能性がある要因である。例えば、危険要因は、地磁気の状態、風の状態(風速、風向き等)、照度、GNSS信号の受信状態、無線通信の通信状態等を含む。
【0043】
<ドローン11の構成例>
図3は、ドローン11の構成例を示している。
【0044】
ドローン11は、センサ部101、GNSS信号受信部102、制御部103、飛行機構104、通信部106、及び、記憶部107を備えている。
【0045】
センサ部101は、ドローン11の状態又はドローン11の周囲の状態を検出する各種のセンサを備える。例えば、センサ部101は、カメラ、ステレオカメラ、デプスセンサ(例えば、ToF(Time of Flight)センサ)等の画像センサ、風速計、地磁気センサ、IMU(Inertial Measurement Unit)等を備える。センサ部101の各センサは、検出結果を示すセンサデータを制御部103に供給する。
【0046】
GNSS信号受信部102は、GNSS衛星からGNSS信号を受信し、制御部103に供給する。
【0047】
制御部103は、CPU(Central Processing Unit)等のプロセッサ及びメモリ等により構成される。制御部103は、所定のプログラムを実行することにより、ドローン11の各部を制御したり、各種の処理を実行したりする。制御部103は、情報取得部111、自機情報検出部112、動作制御部113、及び、出力制御部114を備える。
【0048】
情報取得部111は、通信部106を介して、外部から各種の情報を取得する。例えば、情報取得部111は、各ドローン11Bから各ドローン11Bに関する情報(以下、他機情報と称する)を取得する。例えば、情報取得部111は、安全性情報を管理サーバ14から取得する。
【0049】
自機情報検出部112は、センサ部101からのセンサデータ、GNSS信号受信部102からのGNSS信号、及び、飛行機構104からの飛行機構104の状態を示す情報に基づいて、ドローン11及びドローン11の周囲の状態を検出する。自機情報検出部112は、ドローン11及びドローン11の周囲の状態を示す自機情報を生成する。
【0050】
動作制御部113は、自機情報、安全性情報、並びに、通信部106を介して外部(例えば、コントローラ12、モバイルデバイス13、又は、管理サーバ14)から受信した動作指令及び制御パラメータに基づいて、飛行機構104を制御することにより、ドローン11の飛行動作を制御する。
【0051】
出力制御部114は、出力部105からの各種の情報(例えば、視覚情報及び聴覚情報)の出力を制御する。例えば、出力制御部114は、出力部105からの安全性情報の出力を制御する。
【0052】
飛行機構104は、ドローン11を飛行させるための機構である。飛行機構104は、例えば、プロペラ、プロペラを回転させるモータ等を備える。飛行機構104は、動作制御部113の制御の下に駆動し、ドローン11を飛行させる。
【0053】
出力部105は、視覚情報又は聴覚情報を出力する各種の出力デバイスを備える。例えば、出力部105は、表示デバイス、音声出力デバイス等を備える。出力部105は、出力制御部114の制御の下に、各種の情報を出力する。
【0054】
通信部106は、各種の通信デバイスを備え、所定の通信方式により、他の装置と無線通信を行う。例えば、通信部106は、ドローン11B及びコントローラ12と直接無線通信を行う。例えば、通信部106は、ネットワーク31を介して、ドローン11B、モバイルデバイス13、管理サーバ14、情報配信サーバ15、及び、登録機体照会サーバ16等と通信する。
【0055】
記憶部107は、例えば不揮発性メモリを備え、ドローン11の処理に必要な各種の情報を記憶する。
【0056】
<コントローラ12の構成例>
図4は、コントローラ12の機能の構成例を示している。
【0057】
コントローラ12は、入力部151、制御部152、出力部153、通信部154、及び、記憶部155を備える。
【0058】
入力部151は、各種の入力デバイス及び操作デバイスを備え、各種の情報の入力及びコントローラ12の操作に用いられる。入力部151は、入力デバイス又は操作デバイスを用いて入力された入力情報を制御部152に供給する。
【0059】
制御部152は、CPU等のプロセッサ及びメモリ等により構成される。制御部152は、所定のプログラムを実行することにより、コントローラ12の各部を制御したり、各種の処理を実行したりする。制御部152は、情報取得部161、出力制御部162、及び、遠隔制御部163を備える。
【0060】
情報取得部161は、通信部154を介して、外部から各種の情報を取得する。例えば、情報取得部161は、ドローン11Aから自機情報を取得する。例えば、情報取得部161は、モバイルデバイス13から安全性情報を取得する。
【0061】
出力制御部162は、出力部153からの各種の情報(例えば、視覚情報、聴覚情報、及び、触覚情報)の出力を制御する。例えば、出力制御部162は、出力部153からの安全性情報の出力を制御する。
【0062】
遠隔制御部163は、ドローン11の飛行動作の遠隔制御を実行する。例えば、遠隔制御部163は、入力情報、自機情報、及び、安全性情報に基づいて、ドローン11を遠隔制御するための動作指令又は制御パラメータを生成し、通信部154を介して、ドローン11に送信する。
【0063】
出力部153は、視覚情報、聴覚情報、又は、触覚情報を出力する各種の出力デバイスを備える。例えば、出力部153は、表示デバイス、音声出力デバイス、ハプティクスデバイス等を備える。出力部153は、出力制御部162の制御の下に、各種の情報を出力する。
【0064】
通信部154は、各種の通信デバイスを備え、所定の通信方式により、他の装置と無線通信を行う。例えば、通信部154は、ドローン11A及びモバイルデバイス13と直接無線通信を行う。
【0065】
記憶部155は、例えば不揮発性メモリを備え、コントローラ12の処理に必要な各種の情報を記憶する。
【0066】
<モバイルデバイス13の構成例>
図5は、モバイルデバイス13の機能の構成例を示している。
【0067】
モバイルデバイス13は、入力部201、制御部202、出力部203、通信部204、及び、記憶部205を備える。
【0068】
入力部201は、各種の入力デバイス及び操作デバイスを備え、各種の情報の入力及びモバイルデバイス13の操作に用いられる。入力部201は、入力デバイス又は操作デバイスを用いて入力された入力情報を制御部202に供給する。
【0069】
制御部202は、CPU等のプロセッサ及びメモリ等により構成される。制御部202は、所定のプログラムを実行することにより、モバイルデバイス13の各部を制御したり、各種の処理を実行したりする。制御部202は、情報取得部211、出力制御部212、及び、遠隔制御部213を備える。
【0070】
情報取得部211は、通信部204を介して、外部から各種の情報を取得する。例えば、情報取得部211は、ドローン11Aから自機情報を取得する。例えば、情報取得部161は、管理サーバ14から安全性情報を取得する。
【0071】
出力制御部212は、出力部203からの各種の情報(例えば、視覚情報、聴覚情報、及び、触覚情報)の出力を制御する。例えば、出力制御部212は、出力部203からの安全性情報の出力を制御する。
【0072】
遠隔制御部213は、ドローン11の飛行動作の遠隔制御を実行する。例えば、遠隔制御部213は、入力情報、自機情報、及び、安全性情報に基づいて、ドローン11を遠隔制御するための動作指令又は制御パラメータを生成し、通信部204を介して、ドローン11に送信する。
【0073】
出力部203は、視覚情報、聴覚情報、又は、触覚情報を出力する各種の出力デバイスを備える。例えば、出力部203は、表示デバイス、音声出力デバイス、ハプティクスデバイス等を備える。出力部203は、出力制御部212の制御の下に、各種の情報を出力する。
【0074】
通信部204は、各種の通信デバイスを備え、所定の通信方式により、他の装置と無線通信を行う。例えば、通信部204は、ネットワーク31を介して、ドローン11A、管理サーバ14、情報配信サーバ15、及び、登録機体照会サーバ16等と通信する。例えば、通信部204は、コントローラ12と直接無線通信を行う。
【0075】
記憶部205は、例えば不揮発性メモリを備え、モバイルデバイス13の処理に必要な各種の情報を記憶する。
【0076】
<管理サーバ14の構成例>
図6は、管理サーバ14の機能の構成例を示している。
【0077】
管理サーバ14は、制御部251、通信部252、及び、記憶部253を備える。
【0078】
制御部251は、CPU等のプロセッサ及びメモリ等により構成される。制御部251は、所定のプログラムを実行することにより、管理サーバ14の各部を制御したり、各種の処理を実行したりする。制御部251は、情報取得部261、危険度検出部262、危険度予測部263、出力制御部264、及び、遠隔制御部265を備える。
【0079】
情報取得部261は、通信部252を介して、外部から各種の情報を取得する。例えば、情報取得部261は、ドローン11Aから自機情報及び他機情報を取得する。例えば、情報取得部161は、情報配信サーバ15から配信情報を取得する。例えば、情報取得部161は、登録機体照会サーバ16から各ドローン11の登録情報を取得する。例えば、情報取得部261は、ユーザ運用履歴DB18から各ユーザのドローン11の運用履歴を取得する。例えば、情報取得部261は、機体運用履歴DB19から各ドローン11の運用履歴を取得する。例えば、情報取得部261は、危険度履歴DB20から各地点の危険度の履歴を取得する。
【0080】
危険度検出部262は、自機情報、他機情報、情報配信サーバ15からの配信情報、ユーザのドローン11の運用履歴、ドローン11Aの運用履歴、及び、各地点の危険度の履歴等に基づいて、ドローン11Aの飛行領域の危険度を検出する。危険度検出部262は、飛行領域の危険度の検出結果に基づいて、現在の危険度マップを生成する。
【0081】
危険度予測部263は、ドローン11Aの飛行領域の危険度の検出結果、情報配信サーバ15からの配信情報、及び、各地の危険度の履歴等に基づいて、ドローン11Aの飛行領域の危険度を予測する。危険度予測部263は、飛行領域の危険度の予測結果に基づいて、未来の危険度マップを生成する。
【0082】
出力制御部264は、ドローン11Aの飛行履歴の検出結果及び予測結果に基づいて、ドローン11Aの飛行領域の安全性に関する安全性情報を生成する。出力制御部264は、通信部252及びネットワーク31を介して、安全性情報を他の装置に送信することにより、他の装置(例えば、ドローン11A、コントローラ12、及び、モバイルデバイス13)による安全性情報の出力を制御する。
【0083】
遠隔制御部265は、ドローン11の飛行動作の遠隔制御を実行する。例えば、遠隔制御部265は、自機情報及び安全性情報に基づいて、ドローン11を遠隔制御するための動作指令又は制御パラメータを生成し、通信部252を介して、ドローン11に送信する。
【0084】
通信部252は、各種の通信デバイスを備え、所定の通信方式により、他の装置と通信を行う。例えば、通信部252は、ネットワーク31を介して、ドローン11、情報配信サーバ15、登録機体照会サーバ16、ユーザ運用履歴DB18、機体運用履歴DB19、及び、危険度履歴DB20等と通信する。
【0085】
<飛行管理システム1の処理>
次に、図7のフローチャートを参照して、飛行管理システム1の処理について説明する。
【0086】
この処理は、例えば、ドローン11Aの電源がオンされたとき開始され、オフされたとき終了する。
【0087】
ステップS1において、飛行管理システム1は、危険度検出処理を実行する。
【0088】
ここで、図8のフローチャートを参照して、危険度検出処理の詳細について説明する。
【0089】
ステップS21において、ドローン11Aは、自機及び他機の情報を取得する。
【0090】
具体的には、自機情報検出部112は、センサ部101からのセンサデータに基づいて、自機の周囲の地磁気の状態、風の状態(例えば、風向き及び風速)、並びに、照度を検出する。
【0091】
ドローン11AのGNSS信号受信部102は、GNSS衛星からGNSS信号を受信し、制御部103に供給する。自機情報検出部112は、GNSS信号に基づいて、自機の現在位置(緯度、経度、及び、高度)並びに姿勢を検出する。また、自機情報検出部112は、GNSS信号の受信状態を検出する。GNSS信号の受信状態は、例えば、観測衛星数及びGNSS信号のC/N(搬送波対雑音比)を含む。
【0092】
自機情報検出部112は、通信部106からの情報に基づいて、無線通信の通信状態を検出する。無線通信の通信状態は、例えば、コントローラ12からの送信信号の強度及びS/N比、通信可能なWi-Fiのアクセスポイント、並びに、アクセスポイントからの受信信号のRSSI(Received Signal Strength Indicator)を含む。
【0093】
自機情報検出部112は、センサ部101からのセンサデータ、及び、飛行機構104からの情報に基づいて、例えば、ドローン11Aの進行方向(方位)並びに、垂直方向及び水平方向の速度を検出する。
【0094】
自機情報検出部112は、以上の検出結果等に基づいて、自機の機体ステータスを判定する。機体ステータスは、例えば、正常又はEmergencyのいずれかに分類される。Emergencyは、例えば、緊急事態が発生していることを示す。
【0095】
自機情報検出部112は、自機に関する情報である自機情報を生成する。自機情報は、例えば、現在の日時、自機の周囲の環境に関する情報、自機の状態に関する情報、及び、自機に関する情報を含む。
【0096】
自機の周囲の環境に関する情報は、例えば、自機の周囲の地磁気の状態、風の状態、照度、無線通信の通信状態、及び、GNSS信号の受信状態、並びに、自機の現在位置を含む。
【0097】
自機の状態に関する情報は、例えば、自機の進行方向(方位)、垂直方向及び水平方向の速度、姿勢、並びに、機体ステータスを含む。
【0098】
自機に関する情報は、例えば、自機の機体に関する情報、及び、自機の登録情報を含む。自機の機体に関する情報は、例えば、自機の機体種別を含む。自機の機体種別は、例えば、UA type、EU class/categoryを含む。自機の登録情報は、例えば、自機のRID(リモートID)、製造番号、ドローン11Aの運用者の運用者ID等を含む。
【0099】
自機情報検出部112は、通信部106を介して、自機情報をコントローラ12に送信する。コントローラ12の情報取得部161は、通信部154を介して、ドローン11Aから自機情報を受信する。
【0100】
自機情報検出部112は、通信部106及びネットワーク31を介して、自機情報をモバイルデバイス13に送信する。モバイルデバイス13の情報取得部211は、ネットワーク31及び通信部204を介して、ドローン11Aから自機情報を受信する。
【0101】
自機情報検出部112は、通信部106及びネットワーク31を介して、自機情報を管理サーバ14に送信する。管理サーバ14の情報取得部261は、ネットワーク31及び通信部252を介して、ドローン11Aから自機情報を受信する。
【0102】
また、ドローン11Aの情報取得部111は、通信部106を介して、直接通信可能なドローン11Bから各ドローン11Bに関する他機情報を受信する。他機情報は、例えば、各ドローン11Bに関して、上述した自機情報と同様の情報を含む。
【0103】
自機情報検出部112は、通信部106及びネットワーク31を介して、他機情報を管理サーバ14に送信する。管理サーバ14の情報取得部261は、ネットワーク31及び通信部252を介して、ドローン11Aから他機情報を受信する。
【0104】
なお、例えば、ドローン11Aは、ネットワーク31との間の通信状態が悪い場合、コントローラ12、モバイルデバイス13、及び、ネットワーク31を介して、自機情報及び他機情報を管理サーバ14に送信するようにしてもよい。
【0105】
ステップS22において、危険度検出部262は、危険要因毎の危険度を検出する。例えば、危険度検出部262は、地磁気の状態、風の状態、照度、GNSS信号の受信状態、及び、無線通信の通信状態に対する危険度をそれぞれ検出する。
【0106】
具体的には、例えば、危険度検出部262は、自機情報に基づいて、ドローン11Aの周囲の危険要因毎の危険度を算出する。例えば、各危険要因の危険度は、0.0から1.0までの範囲内に正規化され、かつ、危険度が高くなるほど値が大きくなるように設定される。
【0107】
例えば、地磁気の状態に基づく危険度である地磁気危険度は、ドローン11Aで検出された3軸方向の地磁気のノルム値とリファレンス値との差により算出される。リファレンス値は、例えば、NOAA(National Oceanic and Atmospheric Administration)が公開している”Maps of Magnetic Elements from the WMM2020”に基づいて設定される。
【0108】
例えば、風の状態に基づく危険度である風危険度は、ドローン11Aで検出された風速がth1<風速≦th0の場合、次式(1)により算出される。
【0109】
風危険度=1.0-1.0/((風速-th1)+1.0) ・・・(1)
【0110】
なお、th0<風速の場合、風危険度は1.0(非常に危険)に設定される。風速≦th1である場合、風危険度は0.0(安全)に設定される。
【0111】
例えば、GNSS信号の受信状態に基づく危険度であるGNSS危険度は、次式(2)により算出される。
【0112】
GNSS危険度=α×(C/N)+(1-α)×観測衛星数 ・・・(2)
【0113】
αは係数であり、0以上かつ1未満の値に設定される。C/Nは、ドローン11Aが受信したGNSS信号のC/Nである。
【0114】
例えば、無線通信の通信状態に基づく危険度である無線通信危険度は、ドローン11Aで検出された無線通信の受信信号のRSSIを正規化することにより算出される。
【0115】
危険度検出部262は、同様の方法により、各ドローン11Bの他機情報に基づいて、各ドローン11Bの周囲の危険要因毎の危険度を算出する。
【0116】
このようにして、現在の時刻tのドローン11A及び各ドローン11Bの現在位置における危険要因毎の危険度がそれぞれ算出される。
【0117】
ステップS23において、危険度検出部262は、統合危険度を算出する。例えば、危険度検出部262は、ドローン11Aの周囲の危険要因毎の危険度の加重平均を、ドローン11Aの周囲の統合危険度として算出する。
【0118】
なお、加重平均における各危険要因の危険度に対する重みは、例えば、実験により設定される。また、ドローン11Aの機体ステータスがEmergencyである場合(ドローン11Aに緊急事態が発生している場合)、例えば、統合危険度は1.0(非常に危険)に設定される。
【0119】
危険度検出部262は、同様の方法により、各ドローン11Bの周囲の統合危険度を算出する。
【0120】
このようにして、現在の時刻tのドローン11A及び各ドローン11Bの現在位置における統合危険度がそれぞれ算出される。
【0121】
ステップS24において、管理サーバ14は、現在の危険度マップを生成する。具体的には、例えば、管理サーバ14の情報取得部261は、所定の時間前から現在の時刻tの1つ前の時刻t-1までの期間のドローン11Aの飛行領域を含む3次元空間(以下、マップ空間と称する)内の各地点の危険度の履歴を、通信部252及びネットワーク31を介して、危険度履歴DB20から取得する。
【0122】
危険度検出部262は、マップ空間を所定の単位毎に複数のVoxelに分割する。危険度検出部262は、所定の時間前から時刻tまでの各Voxelに含まれる地点の危険度をVoxel毎かつ危険要因毎に積算することにより、各Voxelの危険要因毎の危険度を算出する。このとき、危険度検出部262は、減衰関数を用いて、検出時刻が前の危険度ほど値を減衰させながら危険度を積算する。危険度検出部262は、同様の方法により、各Voxelに含まれる地点の統合危険度を積算することにより、各Voxelの統合危険度を算出する。
【0123】
このようにして、現在の時刻tにおける危険度マップが生成される。すなわち、危険度マップは、マップ空間を分割した複数のVoxel単位の危険度及び統合危険度を示す。換言すれば、危険度マップは、マップ空間内の危険要因毎の危険度及び統合危険度の空間的な分布を示す。
【0124】
危険度検出部262は、通信部252及びネットワーク31を介して、現在の時刻tの各位置の危険要因毎の危険度及び統合危険度を示す情報、並びに、時刻tの危険度マップを危険度履歴DB20に格納する。
【0125】
その後、危険度検出処理は終了する。
【0126】
図7に戻り、ステップS2において、管理サーバ14は、危険度予測処理を実行する。
【0127】
ここで、図9のフローチャートを参照して、危険度予測処理の詳細について説明する。
【0128】
ステップS41において、管理サーバ14の情報取得部261は、外部の配信サービスから情報を取得する。例えば、情報取得部261は、通信部252及びネットワーク31を介して、情報配信サーバ15から各地点の危険度の予測に用いる配信情報を取得する。取得する配信情報は、例えば、気象庁やNOAAが配信する気象情報を含む。
【0129】
ステップS42において、管理サーバ14の危険度予測部263は、危険度を予測する。
【0130】
例えば、危険度予測部263は、学習モデルを用いて、ステップS41の処理で取得した配信情報、及び、所定の時間前から現在の時刻tまでの各地点の危険度の履歴に基づいて、各地点の未来の危険要因毎の危険度及び統合危険度を予測する。
【0131】
このとき、危険度予測部263は、例えば、現在の時刻tからΔt後の時刻t+Δtの各地点の危険度を予測するようにしてもよい。または、危険度予測部263は、例えば、時刻t+Δtから時刻t+Δt+Tまでの長さTの期間の各地点の危険度を予測するようにしてもよい。
【0132】
なお、学習モデルは、事前にオフラインで機械学習により生成される。学習モデルの学習には、例えば、SVM(Support Vector Machine)やニューラルネットによる教師あり学習が用いられる。
【0133】
例えば、学習モデルは、ある地点における配信情報と所定の長さの期間の危険度の履歴を学習データとし、当該期間よりΔt後の当該地点における危険度の履歴を教師データとして、機械学習を行うことにより生成される。
【0134】
または、例えば、学習モデルは、ある地点における配信情報と所定の長さの期間の危険度の履歴を学習データとし、当該期間からΔt後から所定の長さTの期間の当該地点における危険度の履歴を教師データとして、機械学習を行うことにより生成される。
【0135】
なお、危険度の種類ごとに異なる学習モデルが用いられてもよいし、同じ学習モデルが用いられてもよい。前者の場合、例えば、地磁気危険度用の学習モデル、風危険度用の学習モデル、統合危険度用の学習モデル等が個別に生成され、用いられる。後者の場合、1つの学習モデルが生成され、危険要因毎の危険度及び統合危険度の予測に1つの学習モデルを用いられる。
【0136】
ステップS43において、危険度予測部263は、未来の危険度マップを生成する。具体的には、危険度予測部263は、図8のステップS24と同様の処理により、各地点の危険度の予測値に基づいて、未来の危険度マップを生成する。
【0137】
なお、例えば、所定の期間内の各時刻の危険度が予測されている場合、その期間内の各時刻における複数の危険度マップが生成される。一方、例えば、現在の時刻から所定の時間後の時刻の危険度が予測されている場合、その時刻の危険度マップが生成される。
【0138】
危険度予測部263は、通信部252及びネットワーク31を介して、未来の危険度マップを危険度履歴DB20に格納する。
【0139】
その後、危険度予測処理は終了する。
【0140】
図7に戻り、ステップS3において、飛行管理システム1は、安全性情報を出力する。
【0141】
例えば、管理サーバ14の出力制御部264は、過去及び現在の各地点の危険度、並びに、現在及び未来の危険度マップに基づいて、ドローン11Aの飛行領域の安全性に関する情報を含む安全性情報を生成する。安全性情報は、例えば、現在及び未来の危険度マップ、並びに、ドローン11Aの飛行領域の安全性に関する情報をユーザに提示するための安全性提示情報を含む。
【0142】
出力制御部264は、通信部252及びネットワーク31を介して、安全性情報をドローン11A及びモバイルデバイス13に送信する。
【0143】
ドローン11Aの情報取得部111は、ネットワーク31及び通信部106を介して、管理サーバ14から安全性情報を受信する。ドローン11の出力制御部114は、必要に応じて、安全性情報に含まれる安全性提示情報に基づいて、出力部105からの安全性情報の出力を制御する。
【0144】
モバイルデバイス13の情報取得部211は、通信部204及びネットワーク31を介して、管理サーバ14から安全性情報を受信する。モバイルデバイス13の出力制御部212は、必要に応じて、安全性情報に含まれる安全性提示情報に基づいて、出力部203からの安全性情報の出力を制御する。
【0145】
また、モバイルデバイス13の情報取得部211は、通信部204を介して、安全性情報をコントローラ12に送信する。
【0146】
コントローラ12の情報取得部161は、通信部154を介して、モバイルデバイス13から安全性情報を受信する。コントローラ12の出力制御部162は、必要に応じて、安全性情報に含まれる安全性提示情報に基づいて、出力部153からの安全性情報の出力を制御する。
【0147】
ここで、図10乃至図15を参照して、安全性情報の出力例について説明する。
【0148】
まず、図10乃至図13を参照して、モバイルデバイス13の出力部203が備える表示デバイスにおいて表示される安全性情報の画面例について説明する。
【0149】
図10の例では、ドローン11Aの飛行領域を含む地図上に現在の危険度マップ(危険度の空間的な分布)が重畳されている。具体的には、ドローン型のアイコン301、ドローン型のアイコン302-1乃至アイコン302-3、及び、領域303-1乃至領域303-5が地図上に重畳されている。
【0150】
なお、以下、アイコン302-1乃至アイコン302-3を個々に区別する必要がない場合、単にアイコン302と称する。以下、領域303-1乃至領域303-5を個々に区別する必要がない場合、単に領域303と称する。
【0151】
アイコン301は、自機(ドローン11A)の現在位置を示している。各アイコン302は、自機の周囲の他機(ドローン11B)の現在位置を示している。なお、アイコン301及びアイコン302のデザインは、例えば、対応するドローン11A又はドローン11Bの機種等により変化するようにしてもよい。
【0152】
各領域303は、安全領域又は危険領域の位置を示している。ここで、安全領域とは、安全が確認されている領域である。危険領域とは、例えば、少なくとも1つの危険要因に対する危険度が所定の閾値以上の領域である。
【0153】
また、各領域303には、領域303の特性を示す情報が表示されている。ここで、領域303の特性とは、例えば、安全領域又は危険領域のいずれであるか、領域303内の危険要因等である。
【0154】
具体的には、領域303-1は、地磁気の乱れが発生していて危険な領域の位置を示している。領域303-2は、無線通信のノイズが多くて危険な領域の位置を示している。領域303-3及び領域303-4は、風が強くて危険な領域の位置を示している。領域303-5は、他機が安全に飛行できている領域の位置を示している。
【0155】
各領域303の表示態様(例えば、色、パターン等)は、例えば、領域の特性により変化する。例えば、安全領域又は危険領域のいずれであるか、及び、危険要因等により、各領域303の表示態様が変化する。また、例えば、危険要因が同じ領域303の表示態様(例えば、色の濃淡)が、危険度に応じて変化する。さらに、複数の危険要因の領域303が重なる領域の表示態様が、例えば、他の領域より目立つように変化する(例えば、色が濃くなったり、明るくなったりする)。
【0156】
なお、例えば、ユーザが選択した特性の領域のみが表示されるようにしてもよい。例えば、ユーザの選択により、危険要因が地磁気の状態である領域303-1、及び、危険要因が風の状態である領域303-3及び領域303-4のみが表示されるようにしてもよい。
【0157】
また、例えば、危険要因を区別せずに危険領域が表示されるようにしてもよい。この場合、例えば、危険要因毎の危険領域の代わりに、統合危険度に基づく危険領域が表示されるようにしてもよい。
【0158】
さらに、例えば、現在の危険度マップだけでなく、過去又は未来の危険度マップが地図上に重畳されるようにしてもよい。例えば、ユーザが指定した日時の危険度マップが地図上に重畳されるようにしてもよい。例えば、過去から未来までの各日時の危険度マップが所定の時間毎に切り替えて地図上に表示されることにより、危険度マップの時系列の推移がユーザに提示されるようにしてもよい。
【0159】
これにより、ユーザは、自機の飛行領域内の各地点の安全性を容易かつ詳細に確認することが可能になる。
【0160】
図11の例では、所定の領域の危険要因毎の危険度及び統合危険度の時系列の推移が、グラフにより示されている。すなわち、所定の領域の過去及び現在の危険要因毎の危険度及び統合危険度の検出値、並びに、未来の危険度及び統合危険度の予測値の時系列の推移が、グラフにより示されている。
【0161】
具体的には、グラフの横軸は時刻を示し、縦軸は危険度を示している。例えば、曲線321は、統合危険度の時系列の推移を示している。曲線322は、GNSS危険度の時系列の推移を示している。曲線323は、風危険度の時系列を示している。
【0162】
例えば、図10の画面においてユーザにより指定された位置を含むVoxelの危険度の推移が、図11のグラフにより表示されるようにしてもよい。または、例えば、自機の現在位置を含むVoxelの危険度の推移が、図12のグラフにより表示されるようにしてもよい。
【0163】
なお、例えば、図11のグラフに表示する危険度の危険要因や期間をユーザが選択できるようにしてもよい。
【0164】
また、例えば、ドローン11の飛行領域における危険要因毎の危険度及び統合危険度の平均値の時系列の推移が表示されるようにしてもよい。
【0165】
これにより、ユーザは、ドローン11の飛行領域の危険度の時系列の推移を容易かつ詳細に確認することが可能になる。
【0166】
図12の例では、ドローン11Aにより撮影されたドローン11Aの周囲の画像(動画像)内に現在の危険度マップ(危険度の空間的な分布を示す情報)が重畳されている。具体的には、領域341-1乃至領域341-3が、画像内に重畳されている。
【0167】
なお、以下、領域341-1乃至領域341-3を個々に区別する必要がない場合、単に領域341と称する。
【0168】
各領域341は、図11の各領域303と同様に、安全領域及び危険領域の位置を示している。また、各領域341には、図11の各領域303と同様に、領域341の特性を示す情報が表示されている。
【0169】
具体的には、領域341-1は、風が強くて危険な領域の位置を示している。領域341-2は、GNSS信号の受信感度が低くて危険な領域の位置を示している。領域341-3は、地磁気の乱れが発生していて危険な領域の位置を示している。
【0170】
各領域341の表示態様は、例えば、図11の各領域303の表示態様と同様に、領域341の特性に応じて変化する。
【0171】
なお、例えば、ユーザが選択した特性の領域のみが表示されるようにしてもよい。
【0172】
また、例えば、危険要因を区別せずに危険領域が表示されるようにしてもよい。
【0173】
さらに、例えば、現在の危険度マップだけでなく、過去又は未来の危険度マップが画像上に重畳されるようにしてもよい。例えば、ユーザが指定した時刻の危険度マップが画像上に重畳されるようにしてもよい。例えば、過去から未来までの各時刻の危険度マップが所定の時間毎に切り替えて画像上に表示されることにより、危険度マップの時系列の推移がユーザに提示されるようにしてもよい。
【0174】
これにより、ユーザは、実際のシーンにおける自機の飛行領域の安全性を容易かつ詳細に認識することが可能になる。
【0175】
なお、図12の画像の上下には、メニュー及び操作領域が表示され、ドローン11Aの状態等を示すアイコン等が画像内に重畳されているが、その詳細な説明は省略する。
【0176】
図13は、ドローン11Aの飛行前のユーザへのインストラクションの表示例を示している。具体的には、ドローン11Aの飛行領域の危険要因、及び、危険要因に対する対策に関する情報が表示されている。
【0177】
危険要因に対する対策としては、例えば、ドローン11Aの機体の点検、トラブル発生時のドローン11Aの動作仕様及び操作方法の確認等が想定される。
【0178】
具体的には、図13の例では、自機の飛行領域の風が強いため、ドローン11Aの1番モータの周辺状況を再度点検してから、ドローン11Aを飛ばすように促す情報が表示されている。また、枠361により、ドローン11Aの1番モータの位置が示されている。
【0179】
また、無線通信の通信状態(無線状況)が悪いため、ドローン11Aの機体と送信機(コントローラ12)の通信が途切れた場合のドローン11Aの挙動をマニュアル等で再度確認するように促す情報が表示されている。
【0180】
これにより、ユーザは、ドローン11Aの飛行前に飛行領域の危険要因を確認し、適切な対策をとることができる。
【0181】
次に、図14を参照して、コントローラ12からの安全性情報の出力例について説明する。
【0182】
図14は、コントローラ12の外観の構成例を示している。
【0183】
コントローラ12は、LED401を備えている。LED401は、出力部153の一部を構成する。
【0184】
例えば、出力制御部162は、危険要因に対応する色又はパターンでLED401を発光させる。なお、出力制御部162は、危険度に応じて、LED401の明るさ等を変化させるようにしてもよい。
【0185】
また、例えば、出力制御部162は、危険要因に対応する振動パターンでコントローラ12を振動させる。例えば、出力制御部162は、危険要因に対応するパターンの音声を出力部153から出力させる。
【0186】
これにより、ユーザは、例えば、モバイルデバイス13を見なくても、ドローン11Aの周囲に危険な領域が存在すること、及び、その危険要因を認識することができる。
【0187】
次に、図15を参照して、ドローン11Aからの安全性情報の出力例について説明する。
【0188】
図15は、ドローン11Aの外観の構成例を示している。
【0189】
ドローン11Aは、プロペラ451-1乃至プロペラ451-4の下方にLED452-1乃至LED452-4を備えている。LED452-1乃至LED452-4は、出力部105の一部を構成する。
【0190】
なお、以下、LED452-1乃至LED452-4を個々に区別する必要がない場合、単にLED452と称する。
【0191】
例えば、各LED452は、出力制御部114の制御の下に、危険要因に対応する色又はパターンで発光する。なお、出力制御部114は、危険度に応じて、各LED452の明るさ等を変化させるようにしてもよい。
【0192】
また、ドローン11Aが離陸前の場合、例えば、出力制御部114は、危険要因に対応するパターンの音声を出力部105から出力させる。
【0193】
これにより、ユーザは、例えば、モバイルデバイス13を見なくても、ドローン11Aの周囲に危険な領域が存在すること、及び、その危険要因を認識することができる。
【0194】
図7に戻り、ステップS4において、飛行管理システム1は、飛行制御処理を実行する。
【0195】
例えば、ドローン11Aの動作制御部113は、ステップS21の処理で取得した自機情報、危険要因毎の危険度マップ、及び、統合危険度の危険度マップ等に基づいて、必要に応じて、ドローン11の飛行動作を制御することにより危険対策を実行する。
【0196】
例えば、動作制御部113は、ドローン11Aの周囲の危険度が高い場合、飛行動作の制限、緊急着陸若しくはRTH(Return To Home)の発動条件の変更、又は、緊急着陸若しくはRTHを実行する。飛行動作の制限は、例えば、ドローン11Aの最大速度、飛行高度、及び、姿勢の最大変化量のうち少なくとも1つの制限を含む。
【0197】
例えば、動作制御部113は、現在及び未来の危険度マップにおいて危険度が所定の閾値以上の領域に対してジオフェンスを設定し、ドローン11Aがジオフェンス内に進入しないように制御する。
【0198】
例えば、動作制御部113は、現在の危険度マップにおいて特定のセンサの精度が低下する可能性がある領域を飛行している場合、対象となるセンサの使用を制限する。例えば、地磁気が乱れている領域において、地磁気センサの使用が制限される。例えば、照度が低い領域において、画像センサの使用が制限される。
【0199】
具体的には、例えば、動作制御部113は、当該領域から出るまでの間、対象となるセンサの使用を停止する。例えば、動作制御部113は、当該領域から出るまでの間、EKF(拡張カルマンフィルタ)等を用いたセンサフュージョン時に、対象となるセンサに対する重みを小さくする。
【0200】
例えば、動作制御部113は、ドローン11Aが無線通信の通信状態が悪い領域を飛行中の場合、通信を安定化させるために、センサ部101により撮影された動画像の転送レートを下げる。
【0201】
例えば、動作制御部113は、危険度マップにおいて危険度が低い領域をドローン11に飛行させるようにルートを設定する。
【0202】
動作制御部113は、ドローン11Aの危険対策を実行した場合、危険対策の内容を示す危険対策情報を、通信部106及びネットワーク31を介して、モバイルデバイス13に送信する。
【0203】
モバイルデバイス13の情報取得部211は、ネットワーク31及び通信部204を介して、危険対策情報をドローン11Aから受信する。
【0204】
モバイルデバイス13の出力制御部212は、必要に応じて、安全性提示情報及び危険対策情報に基づいて、ドローン11Aの危険対策に関する情報を出力部203から出力させる。
【0205】
図16は、このときモバイルデバイス13の出力部214が備える表示デバイスにおいて表示される画面例を示している。
【0206】
この例では、ドローン11Aの飛行領域の風が強いため、十分安全な帰還を考慮し、ドローン11Aのバッテリ残量が30%になったときにRTHが発動するように発動条件を変更する旨が表示されている。
【0207】
また、ドローン11Aの周囲の無線状況(無線通信の通信状態)が悪いため、ドローン11Aの飛行速度を制限する旨が表示されている。
【0208】
なお、例えば、出力部214は、無線通信の通信状態が悪い場合、モバイルデバイス13より通信距離が長いコントローラ12の使用を促したり、ドローン11Aの近くで操縦するように促したりする情報を出力するようにしてもよい。
【0209】
なお、ここでは、危険対策を実行する旨をユーザに通知する例を示しているが、危険対策の実行前に危険対策の可否をユーザに問い合わせるようにしてもよい。そして、例えば、ユーザが危険対策を許可した場合、ドローン11Aが危険対策を実行するようにしてもよい。
【0210】
これにより、ドローン11Aは、危険を未然に回避し、安全に飛行することが可能になる。また、ユーザは、飛行領域の危険性、及び、それに対して実行される危険対策を容易に認識することができる。
【0211】
その後、処理はステップS1に戻り、ステップS1以降の処理が実行される。
【0212】
以上のようにして、ユーザは、ドローン11の飛行領域の安全性を飛行前及び飛行中に容易に確認することができる。これにより、ドローン11がより安全に飛行することが可能になる。
【0213】
<<2.変形例>>
以下、上述した本技術の実施の形態の変形例について説明する。
【0214】
<危険度に関する変形例>
例えば、危険度検出部262は、過去の事故の履歴に基づいて、飛行領域の危険度を検出するようにしてもよい。例えば、危険度検出部262は、過去に事故が発生した地点付近において、危険度を高く設定するようにしてもよい。
【0215】
例えば、機体重量が250gのドローンと25kgのドローンとでは、風に対する危険度が異なる。これに対して、例えば、危険度検出部262は、自機の特性に基づいて、危険度を算出するようにしてもよい。自機の特性は、例えば、型番、メーカ、サイズ、重量、仕様、方式(例えば、VTOL(Vertical Take-Off and Landing aircraft)、マルチコプター等)、機体種別(例えば、クラスUA type、EU class/category)等を含む。
【0216】
例えば、危険度検出部262は、自機と近い特性を持つ他機(以下、類似他機と称する)の他機情報を優先して危険度の算出に用いるようにしてもよい。例えば、危険度検出部262は、類似他機の他機情報のみを用いて、危険度を算出するようにしてもよい。例えば、危険度検出部262は、類似他機の他機情報に対する重みを大きくして、危険度を算出するようにしてもよい。
【0217】
例えば、危険度検出部262は、自機の整備状況、修理履歴、運用機関等に基づいて、自機の機体のトラブルの発生確率を算出し、機体のトラブルの発生確率に基づいて、危険度を算出するようにしてもよい。
【0218】
例えば、危険度検出部262は、他機の位置や動きに基づいて、危険度を算出するようにしてもよい。例えば、危険度検出部262は、大型のドローン11Bが高速で飛行している位置付近の危険度を高く設定するようにしてもよい。
例えば、危険度検出部262は、ユーザのドローンの運用経験に基づいて、危険度を算出するようにしてもよい。例えば、同じ環境条件に対して、ユーザの運用経験が長いほど、危険度を低く設定し、ユーザの運用経験が浅いほど、危険度を高く設定するようにしてもよい。
【0219】
危険度のレベル数は、任意に設定することができる。例えば、危険度のレベル数は、安全若しくは危険の2段階、安全、普通、若しくは、危険の3段階、又は、4段階以上に設定することが可能である。
【0220】
危険度マップは、必ずしも、緯度、経度、及び、高度の3次元空間のマップでなくてもよく、例えば、緯度及び経度の2次元空間のマップでもよい。
【0221】
<危険対策に関する変形例>
例えば、ドローン11の動作制御部113は、ユーザのドローンの運用経験に基づいて、危険対策を実行するようにしてもよい。例えば、動作制御部113は、ユーザのドローンの運用経験が長い場合、危険対策の実行の判断に用いる危険度に対する閾値(以下、危険対策閾値と称する)を高く設定したり(危険対策が実行されにくくしたり)、高度な操作が要求される危険対策を実行したりするようにしてもよい。例えば、動作制御部113は、ユーザのドローンの運用経験が浅い場合、危険対策閾値を低く設定したり(危険対策が実行されやすくしたり)、より安全な危険対策を実行したりするようにしてもよい。
【0222】
例えば、動作制御部113は、自機の特性に基づいて、危険対策を実行するようにしてもよい。
【0223】
例えば、動作制御部113は、自機の整備状況、修理履歴、運用機関等に基づいて、自機の機体のトラブルの発生確率を算出し、機体のトラブルの発生確率に基づいて、危険対策を実行するようにしてもよい。例えば、動作制御部113は、機体のトラブルの発生確率が高くなるほど、危険対策閾値を低く設定するようにしてもよい。
【0224】
<安全性情報の出力方法に関する変形例>
例えば、図10の画面において、3次元の地図に危険度マップが重畳されるようにしてもよい。
【0225】
例えば、図10の画面等において、危険度マップを表示する高度を設定できるようにして、設定された高度における危険度マップが表示されるようにしてもよい。
【0226】
<処理の分担に関する変形例>
上述した飛行管理システム1の処理の分担は、その一例であり、適宜変更することが可能である。
【0227】
例えば、上述した危険度検出処理、危険度予測処理、及び、安全性情報の生成処理は、管理サーバ14以外の装置が実行したり、管理サーバ14と他の装置が分担して実行したりすることが可能である。
【0228】
具体的には、例えば、ドローン11B又はモバイルデバイス13が、自機情報及び他機情報等に基づいて、危険度検出処理を実行するようにしてもよい。例えば、ドローン11B又はモバイルデバイス13が、危険度の履歴及び配信情報等に基づいて、危険度予測処理を実行するようにしてもよい。例えば、ドローン11B又はモバイルデバイス13が、危険度マップ等に基づいて、安全性提示情報を含む安全性情報を生成するようにしてもよい。
【0229】
例えば、コントローラ12、モバイルデバイス13、又は、管理サーバ14は、危険度マップ等に基づいて、動作指令又は制御パラメータを生成し、ドローン11に送信し、ドローン11の飛行動作を遠隔制御することにより、ドローン11の危険対策を遠隔制御するようしてもよい。
【0230】
例えば、各ドローン11Bが、ドローン11Aを介さずに、直接ネットワーク31を介して管理サーバ14に他機情報を送信するようにしてもよい。
【0231】
例えば、ドローン11Aの運用履歴やユーザの運用履歴は、ドローン11A、コントローラ12、又は、モバイルデバイス13に保存されるようにしてもよい。
【0232】
<その他の変形例>
本技術は、例えば、ドローン以外の無人航空機、及び、小型無人機等の無人で飛行する飛行体に適用することができる。
【0233】
<<3.その他>>
<コンピュータの構成例>
上述した一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。
【0234】
図17は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
【0235】
コンピュータ1000において、CPU(Central Processing Unit)1001、ROM(Read Only Memory)1002、RAM(Random Access Memory)1003は、バス1004により相互に接続されている。
【0236】
バス1004には、さらに、入出力インタフェース1005が接続されている。入出力インタフェース1005には、入力部1006、出力部1007、記憶部1008、通信部1009、及びドライブ1010が接続されている。
【0237】
入力部1006は、入力スイッチ、ボタン、マイクロフォン、撮像素子などよりなる。出力部1007は、ディスプレイ、スピーカなどよりなる。記憶部1008は、ハードディスクや不揮発性のメモリなどよりなる。通信部1009は、ネットワークインタフェースなどよりなる。ドライブ1010は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア1011を駆動する。
【0238】
以上のように構成されるコンピュータ1000では、CPU1001が、例えば、記憶部1008に記録されているプログラムを、入出力インタフェース1005及びバス1004を介して、RAM1003にロードして実行することにより、上述した一連の処理が行われる。
【0239】
コンピュータ1000(CPU1001)が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア1011に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。
【0240】
コンピュータ1000では、プログラムは、リムーバブルメディア1011をドライブ1010に装着することにより、入出力インタフェース1005を介して、記憶部1008にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部1009で受信し、記憶部1008にインストールすることができる。その他、プログラムは、ROM1002や記憶部1008に、あらかじめインストールしておくことができる。
【0241】
なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。
【0242】
また、本明細書において、システムとは、複数の構成要素(装置、モジュール(部品)等)の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、1つの筐体の中に複数のモジュールが収納されている1つの装置は、いずれも、システムである。
【0243】
さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
【0244】
例えば、本技術は、1つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。
【0245】
また、上述のフローチャートで説明した各ステップは、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0246】
さらに、1つのステップに複数の処理が含まれる場合には、その1つのステップに含まれる複数の処理は、1つの装置で実行する他、複数の装置で分担して実行することができる。
【0247】
<構成の組み合わせ例>
本技術は、以下のような構成をとることもできる。
【0248】
(1)
1以上の第1の飛行体により検出された前記第1の飛行体の周囲の環境に関する情報を含む第1の飛行体情報に基づく情報であって、第2の飛行体が飛行する飛行領域の安全性に関する情報である安全性情報の出力を制御する出力制御部を
備える情報処理装置。
(2)
前記安全性情報は、前記第1の飛行体情報に基づいて検出された前記飛行領域内の危険度の空間的な分布を示す情報を含む
前記(1)に記載の情報処理装置。
(3)
前記安全性情報は、前記危険度の空間的な分布を示す情報を地図に重畳した画像を含む
前記(2)に記載の情報処理装置。
(4)
前記安全性情報は、前記危険度の空間的な分布を示す情報を前記第2の飛行体の周囲の画像に重畳した画像を含む
前記(2)又は(3)に記載の情報処理装置。
(5)
前記安全性情報は、危険要因毎の前記危険度の空間的な分布を示す情報、及び、前記危険要因毎の前記危険度を統合した統合危険度の空間的な分布を示す情報のうち少なくとも1つを含む
前記(2)乃至(4)のいずれかに記載の情報処理装置。
(6)
前記危険要因は、地磁気の状態、風の状態、照度、GNSS信号の受信状態、及び、無線通信の電波状態のうち少なくとも1つを含む
前記(5)に記載の情報処理装置。
(7)
前記第1の飛行体情報に基づいて、前記危険度の空間的な分布を検出する危険度検出部を
さらに備える前記(2)乃至(6)のいずれかに記載の情報処理装置。
(8)
前記危険度検出部は、前記第1の飛行体情報に基づいて、危険要因毎の前記危険度の空間的な分布、及び、前記危険要因毎の前記危険度を統合した統合危険度の空間的な分布のうち少なくとも1つを検出する
前記(7)に記載の情報処理装置。
(9)
前記危険度の空間的な分布の検出結果に基づいて、未来の前記危険度の空間的な分布を予測する危険度予測部を
さらに備える前記(7)又は(8)に記載の情報処理装置。
(10)
前記安全性情報は、過去から未来までの前記飛行領域の前記危険度の推移を示す情報を含む
前記(9)に記載の情報処理装置。
(11)
前記危険度検出部は、前記第2の飛行体により検出された前記第2の飛行体の周囲の環境に関する情報を含む第2の飛行体情報にさらに基づいて、前記危険度の空間的な分布を検出する
前記(7)乃至(10)のいずれかに記載の情報処理装置。
(12)
前記危険度の空間的な分布に基づいて、前記第2の飛行体の飛行動作を制御する動作制御部を
さらに備える前記(2)乃至(11)のいずれかに記載の情報処理装置。
(13)
前記安全性情報は、危険要因毎の前記危険度の空間的な分布を示す情報を含み、
前記動作制御部は、前記危険要因毎の前記危険度の空間的な分布に基づいて、前記第2の飛行体の飛行動作を制御する
前記(12)に記載の情報処理装置。
(14)
前記安全性情報は、前記第1の飛行体情報に基づいて検出された前記飛行領域の危険要因を示す情報を含む
前記(1)乃至(13)のいずれかに記載の情報処理装置。
(15)
前記安全性情報は、前記危険要因に対する対策に関する情報をさらに含む
前記(14)に記載の情報処理装置。
(16)
前記飛行領域の前記危険要因に基づいて、前記第2の飛行体の飛行動作を制御する動作制御部を
さらに備える前記(14)又は(15)に記載の情報処理装置。
(17)
前記第1の飛行体の周囲の環境に関する情報は、前記第1の飛行体の周囲の地磁気の状態、風の状態、照度、GNSS信号の受信状態、及び、無線通信の電波状態のうち少なくとも1つを含む
前記(1)乃至(16)のいずれかに記載の情報処理装置。
(18)
前記第1の飛行体情報は、前記第1の飛行体の状態に関する情報、及び、前記第1の飛行体に関する情報のうち少なくとも1つをさらに含む
前記(1)乃至(17)のいずれかに記載の情報処理装置。
(19)
前記安全性情報は、前記第2の飛行体により検出された前記第2の飛行体の周囲の環境に関する情報を含む第2の飛行体情報にさらに基づく
前記(1)乃至(18)のいずれかに記載の情報処理装置。
(20)
情報処理装置が、
1以上の第1の飛行体により検出された前記第1の飛行体の周囲の環境に関する情報を含む飛行体情報に基づく情報であって、第2の飛行体が飛行する飛行領域の安全性に関する情報である安全性情報の出力を制御する
情報処理方法。
【0249】
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。
【符号の説明】
【0250】
1 飛行管理システム, 11A,11B-1乃至11B-n ドローン. 12 コントローラ, 13 モバイルデバイス, 14 管理サーバ, 15 情報配信サーバ, 16 登録機体紹介サーバ, 17 個別機体DB, 18 ユーザ運用履歴DB, 19 機体運用履歴DB, 20 危険度履歴DB, 101 センサ部, 102 GNSS信号受信部, 103 制御部, 104 飛行機構, 105 出力部, 106 通信部, 111 情報取得部, 112 自機情報検出部, 113 動作制御部, 114 出力制御部, 152 制御部, 153 出力部, 154 通信部, 161 情報取得部, 162 出力制御部, 163 遠隔制御部, 202 制御部, 203 出力部, 204 通信部, 211 情報取得部, 212 出力制御部, 遠隔制御部, 251 制御部, 252 通信部, 261 情報取得部, 262 危険度検出部, 263 危険度予測部, 264 出力制御部, 265 遠隔制御部
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17