(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-08-27
(45)【発行日】2024-09-04
(54)【発明の名称】移動体制御装置、地上監視装置及びシステム
(51)【国際特許分類】
G08G 5/04 20060101AFI20240828BHJP
B64C 13/20 20060101ALI20240828BHJP
B64F 1/36 20240101ALI20240828BHJP
【FI】
G08G5/04 A
B64C13/20 Z
B64F1/36
(21)【出願番号】P 2020177115
(22)【出願日】2020-10-22
【審査請求日】2023-05-19
(73)【特許権者】
【識別番号】000005108
【氏名又は名称】株式会社日立製作所
(74)【代理人】
【識別番号】110001829
【氏名又は名称】弁理士法人開知
(72)【発明者】
【氏名】緒方 健人
(72)【発明者】
【氏名】今本 健二
(72)【発明者】
【氏名】中津 欣也
【審査官】秋山 誠
(56)【参考文献】
【文献】国際公開第2019/199857(WO,A1)
【文献】特開2010-95246(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
G08G 5/04
G05D 1/46
B64C 13/20
B64F 1/36
(57)【特許請求の範囲】
【請求項1】
飛行可能な移動体に搭載される移動体制御装置であって、
前記移動体の周囲の障害物を検知する第1の障害物検知部と、
前記移動体の位置を取得する位置取得部と、
地上監視装置
が備える第2の障害物検知部によって検知された障害物の情報を示す障害物情報を受信する情報受信部と、
前記第1の障害物検知部によって検知された障害物の位置、前記位置取得部によって取得された前記移動体の位置、及び前記情報受信部によって受信された障害物情報から、前記移動体の制御に用いる障害物を重複しないように決定する障害物決定部と、
決定された障害物を回避するように前記移動体を制御もしくは前記移動体の操作支援を行う制御部と、を備え
、
前記障害物情報は、
前記地上監視装置が備える前記第2の障害物検知部によって検知された障害物の位置を示す位置情報と、
2つの障害物の間に視界不良領域があるかに基づき前記地上監視装置が備える前記第2の障害物検知部によって検知された障害物が分類されるグループを識別するグループIDと、を含み、
前記障害物決定部は、
前記地上監視装置が備える前記第2の障害物検知部によって検知された障害物のうち前記位置取得部によって取得された前記移動体の位置から閾値以下の距離の障害物を前記移動体と同定し、
前記地上監視装置が備える前記第2の障害物検知部によって検知された障害物から、前記移動体と同定された障害物のグループID以外の障害物を抽出し、
前記移動体が備える前記第1の障害物検知部によって検知された障害物と、前記抽出された障害物を障害物として決定する
ことを特徴とする移動体制御装置。
【請求項2】
請求項
1に記載の移動体制御装置であって、
前記視界不良領域は、雲であり、
前記グループは、障害物が雲の上にあるグループ、障害物が雲の下にあるグループ、又は障害物が雲の中にあるグループである
ことを特徴とする移動体制御装置。
【請求項3】
請求項
1に記載の移動体制御装置と通信する前記地上監視装置であって、
前記移動体の飛行経路を含む所定空間内の障害物又は前記所定空間内に侵入する障害物を検知する第2の障害物検知部と、
前記視界不良領域を検知する視界不良領域検知部と、
2つの障害物の間に前記視界不良領域
があるかに基づき
前記第2の障害物検知部によって検知された障害物をグループに分類し、分類されたグループを識別するグループIDを障害物に付与する死角障害物抽出部と、
前記第2の障害物検知部によって検知された障害物の位置を示す位置情報と、前記グループ
IDとを含む前記障害物情報を送信する情報送信部と、
を備えることを特徴とする地上監視装置。
【請求項4】
飛行可能な移動体に搭載される移動体制御装置と通信す
る地上監視装置であって、
前記移動体の位置を示す位置情報を受信する受信部と、
前記移動体の飛行経路を含む所定空間内の障害物又は前記所定空間内に侵入する障害物を検知する第2の障害物検知部と、
視界不良領域を検知する視界不良領域検知部と、
前記移動体と障害物の間に前記視界不良領域
があるかに基づき、前記第2の障害物検知部によって検知され
た障害物から、
前記視界不良領域によって前記移動体の位置から死角となる障害物を抽出する死角障害物抽出部と、
前記第2の障害物検知部によって検知され、前記移動体の位置から死角となる障害物の位置を示す位置情報を含
む障害物情報を送信する情報送信部と、
を備えることを特徴とする地上監視装置。
【請求項5】
請求項1に記載の移動体制御装置と地上監視装置を含むシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、移動体制御装置、地上監視装置及びシステムに関する。
【背景技術】
【0002】
自機の周囲をセンシングしながら自動飛行するeVTOL(electric Vertical Take-Off and Landing)システムにおいて、センシングの性能が低下する環境下では安全性が低下したり、効率が低下したりすることが懸念される。
【0003】
eVTOLシステムの類似例として、パイロットが乗っていない飛行機とパイロットの乗っている既存の飛行機が同じ航空管制で安全に運行するためのシステムが知られている(例えば、特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
eVTOLはコストや重量の問題があり、高性能なセンサを搭載することができない。そのため、悪天候時にはセンシング範囲が短くなることが想定される。また、周囲に複数の障害物が存在する環境では、ある障害物が死角を作り、その後ろの別の障害物を検出することができない。
【0006】
このような環境下では、eVTOL単体でのセンシング性能に限りがあるため、飛行速度を低下させる必要がある。しかし、バッテリー残量が限られているeVTOLは、低速飛行が続くとバッテリーが切れてしまい墜落する懸念がある。
【0007】
そこで、eVTOLが飛行する環境を地上から監視する地上監視装置を用いて周囲の障害物を検出するシステムが考えられる。地上監視装置は重量の課題はなく高性能なセンサを設置できるため、その情報をeVTOLに送信すれば、eVTOLは自動飛行が可能となる。
【0008】
しかし、地上監視装置にて障害物を検出しeVTOLに送信すると通信遅れ等の遅延が生じるため、安全かつ高効率に飛行をすることは難しい。そのため、eVTOLのセンシングと地上監視装置のセンシングを適切に組み合わせる必要がある。
【0009】
特に、同じ障害物を地上監視装置とeVTOLが検出した場合、上記の遅延によりeVTOLのセンシング結果と地上監視装置のセンシング結果にずれが生じ、統合が難しい。
【0010】
本発明の目的は、移動体で検知された障害物と地上監視装置で検知された障害物が同じ物体であるか否かを判定しないで移動体に障害物を回避させることができる移動体制御装置、地上監視装置及びシステムを提供することにある。
【課題を解決するための手段】
【0011】
上記目的を達成するために、本発明の一例は、飛行可能な移動体に搭載される移動体制御装置であって、前記移動体の周囲の障害物を検知する第1の障害物検知部と、前記移動体の位置を取得する位置取得部と、地上監視装置が備える第2の障害物検知部によって検知された障害物の情報を示す障害物情報を受信する情報受信部と、前記第1の障害物検知部によって検知された障害物の位置、前記位置取得部によって取得された前記移動体の位置、及び前記情報受信部によって受信された障害物情報から、前記移動体の制御に用いる障害物を重複しないように決定する障害物決定部と、決定された障害物を回避するように前記移動体を制御もしくは前記移動体の操作支援を行う制御部と、を備え、前記障害物情報は、前記地上監視装置が備える前記第2の障害物検知部によって検知された障害物の位置を示す位置情報と、2つの障害物の間に視界不良領域があるかに基づき前記地上監視装置が備える前記第2の障害物検知部によって検知された障害物が分類されるグループを識別するグループIDと、を含み、前記障害物決定部は、前記地上監視装置が備える前記第2の障害物検知部によって検知された障害物のうち前記位置取得部によって取得された前記移動体の位置から閾値以下の距離の障害物を前記移動体と同定し、前記地上監視装置が備える前記第2の障害物検知部によって検知された障害物から、前記移動体と同定された障害物のグループID以外の障害物を抽出し、前記移動体が備える前記第1の障害物検知部によって検知された障害物と、前記抽出された障害物を障害物として決定する。
【発明の効果】
【0012】
本発明によれば、移動体で検知された障害物と地上監視装置で検知された障害物が同じ物体であるか否かを判定しないで移動体に障害物を回避させることができる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。
【図面の簡単な説明】
【0013】
【
図2】実施例1によるシステムが適用される想定シーンを示す図である。
【
図3】実施例1による移動体制御装置を搭載した移動体(自機)が飛行体を検出する例を示す図である。
【
図4】実施例1による地上監視装置が飛行体を検出する例を示す図である。
【
図5】地上監視装置の検出結果をそのまま移動体へ送信した場合の課題を説明するための図である。
【
図7】
図1に示す障害物検知部の処理を示すフローチャートである。
【
図8】
図1に示す視界不良領域検知部の処理を示すフローチャートである。
【
図10】
図1に示す死角障害物抽出部の処理を示すフローチャートである。
【
図11】地上監視装置による検出例を示す図である。
【
図12B】障害物をグループ化した結果を示す図である。
【
図13】
図1に示す障害物決定部の処理を示すフローチャートである。
【
図15】
図14に示す死角障害物抽出部の処理を示すフローチャートである。
【
図16】
図14に示す障害物決定部の処理を示すフローチャートである。
【
図18】
図17に示す視界不良領域検知部の処理を示すフローチャートである。
【
図19】
図17に示す死角障害物抽出部の処理を示すフローチャートである。
【
図20】実施例1の変形例によるシステムの構成図である。
【
図21】変形例によるシステムが適用される想定シーンを示す図である。
【
図22】
図20に示す制御部の処理を示すフローチャートである。
【発明を実施するための形態】
【0014】
以下、図面を用いて、地上監視装置と移動体制御装置を含むシステムの構成及び動作について説明する。なお、各図において、同一符号は同一部分を示す。
【0015】
[実施例1]
図1は、実施例1によるシステムの構成図である。本実施例のシステムは、地上監視装置10と移動体制御装置200を備える。本実施例の目的は、例えば、移動体20(eVTOL等の飛行体)を制御する移動体制御装置200のセンシング性能が限定される環境下においても、安全かつ高効率な自動飛行を実現することにある。
【0016】
(地上監視装置)
図1に示すように、地上監視装置10は、周辺監視部101、障害物検知部102、視界不良領域検知部103、死角障害物抽出部104、障害物情報送信部105を備える。
【0017】
周辺監視部101は、路上に設置され、その周囲を監視するセンサ(例えば、カメラ、LiDAR:Light Detection and Ranging等)から構成される。センサから出力される情報を示すセンサ情報sは、センサがカメラの場合は画像であり、センサがLiDARの場合は点群データである。なお、周辺監視部101は、後述する移動体20の周辺監視部201よりもセンシング性能が高い。例えばカメラであれば死角が発生しないように監視エリア内に複数台設置する、LiDARであれば波長が長い高出力が可能なものを用いる等である。
【0018】
障害物検知部102は、周辺監視部101から得られるセンサ情報sを処理し、所定範囲の障害物(飛行体、鳥等)を検出する。障害物検知部102には、センサ情報sが入力され、障害物検知部102は、障害物の位置(X,Y,Z)を示す位置情報p_i(i=1,2,…)を出力する。なお、本実施例では、障害物の位置(X,Y,Z)が複数個存在する場合に、障害物検知部102はそれぞれの障害物の位置情報にID=i(i=1,2,…)を付与して出力している。
【0019】
視界不良領域検知部103は、各種要因により視界不良となっている領域を検出する。例えば、視界不良領域検知部103はカメラ、雲高計等を用いて雲を検出するが、雨雲レーダ等の情報から雲の情報(位置、形状、範囲等の情報)を取得してもよい。視界不良領域検知部103には、センサ又は雨雲レーダ等からのセンサ情報が入力され、視界不良領域検知部103は、視界不良となる領域の位置情報p_cloudを出力する。
【0020】
死角障害物抽出部104は、障害物の位置情報p_iと視界不良となる領域の位置情報p_cloudから、お互いに死角の位置関係にある障害物をグルーピングする。詳細は後述するが、死角障害物抽出部104は、例えば、障害物をグループ1(雲の上)、グループ2(雲の下)、グループ3(雲の中A)、グループ4(雲の中B)に分類する。死角障害物抽出部104には、障害物検知部102から障害物の位置情報p_i、視界不良領域の位置情報p_cloudが入力され、死角障害物抽出部104は、障害物の位置情報p_iと、死角の位置関係にある障害物のグループを示すグループ情報gid_i(i=1,2,…)を出力する。
【0021】
障害物情報送信部105は、障害物の位置情報p_iとグループ情報gid_iを含む障害物情報を送信する。障害物情報送信部105には、死角障害物抽出部104から障害物の位置情報p_iと障害物のグループ情報gid_iが入力され、障害物情報送信部105は、障害物の位置情報p_iとグループ情報gid_iを含む障害物情報を出力する。
【0022】
なお、障害物検知部102、視界不良領域検知部103、死角障害物抽出部104は、例えば、プロセッサとメモリが協働することによりソフトウェア的に実現されてもよいし、FPGA等の集積回路によりハードウェア的に実現されてもよい。障害物情報送信部105は、無線通信機器から構成される。
【0023】
(移動体制御装置)
図1に示すように、移動体制御装置200は、周辺監視部201、障害物検知部202、位置取得部203、障害物情報受信部204、障害物決定部205、制御部206を備える。移動体制御装置200は、移動体20に搭載される。
【0024】
周辺監視部201は、移動体20に設置され、その周囲を監視するセンサ(例えば、カメラ、LiDAR等)から構成される。センサから出力される情報を示すセンサ情報sは、センサがカメラの場合は画像であり、センサがLiDARの場合は点群データである。
【0025】
障害物検知部202は、周辺監視部201から得られるセンサ情報を処理し、周囲の障害物(飛行体、鳥等)を検出する。障害物検知部202には、センサ情報(画像、点群データ等)が入力され、障害物検知部202は、障害物の位置情報p_n(n=1,2,…)を出力する。なお、本実施例では、障害物の位置が複数個存在する場合に、障害物検知部202はそれぞれの障害物の位置情報にID=n(n=1,2,…)を付与して出力している。
【0026】
位置取得部203は、GPS(Global Positioning System)などのGNSS(Global Navigation Satellite System)を用いて移動体20の位置を取得する。位置取得部203には、GPS信号(GNSS信号)が入力され、位置取得部203は、移動体20の位置情報p_self(緯度・経度・高度、もしくはある基準点からのX,Y,Z座標)を出力する。
【0027】
障害物情報受信部204は、地上監視装置10から送信される障害物情報(障害物の位置情報p_iとグループ情報gid_i)を受信する。障害物情報受信部204は、地上監視装置10によって検出された障害物の位置情報p_iおよびグループ情報gid_iを出力する。
【0028】
障害物決定部205は、移動体20の位置情報p_selfと受信した障害物情報を比較し、死角となる障害物を抽出(決定)する。具体的には、障害物決定部205は、移動体位置が含まれる障害物のグループを抽出し、そのグループ以外の障害物を抽出する。
【0029】
例えば、グループA:雲の上、グループB:雲の下、グループC:雲の中、の3グループで障害物情報が送られてきたときに、移動体20の位置情報p_selfを用いて、自分がどのグループに属するかを障害物決定部205は判定する。地上監視装置10から見れば自機は障害物として検知されているはずなので、障害物情報(障害物の位置情報)の中の1つは自機の位置情報である。そのため、自機の位置に最も近い障害物を見つけ、その障害物が属するグループがわかれば、自機が属するグループは特定できる。
【0030】
障害物決定部205には、障害物検知部202が検知した障害物の位置情報p_nと受信した障害物情報(障害物の位置情報p_iとグループ情報gid_i)と移動体20の位置情報p_selfが入力され、障害物決定部205は、障害物の位置情報p_nと、死角となる障害物の位置情報p_blind_k(k=1,2,…)を出力する。
【0031】
制御部206は、障害物検知部202が検知した障害物の位置情報p_nと、死角の障害物の位置情報p_blind_kを用いて、障害物との衝突を回避しながら目的地に向かうための飛行経路を生成し、その制御を実現するアクチュエータへの指令値を算出する。制御部206には、障害物検知部202が検知した障害物の位置情報p_n、死角の障害物の位置情報p_blind_k、移動体の位置情報p_selfが入力され、アクチュエータへの制御指令値が出力される。
【0032】
なお、障害物検知部202、位置取得部203、障害物情報受信部204、障害物決定部205、制御部206は、例えば、プロセッサとメモリが協働することによりソフトウェア的に実現されてもよいし、FPGA等の集積回路によりハードウェア的に実現されてもよい。障害物情報受信部204は、無線通信機器から構成される。
【0033】
(想定シーン)
図2は、実施例1によるシステムが適用される想定シーンを示す図である。移動体20(自機)と飛行体A(30A)は、雲40の上に位置する。飛行体B(30)は、雲の中に位置する。飛行体C(30C)と飛行体D(30D)は、雲の下に位置する。
【0034】
(自機による検出例)
図3は、実施例1による移動体制御装置200を搭載した移動体20(自機)が飛行体を検出する例を示す図である。
【0035】
雲40の上に位置する移動体20(自機)は、同じく雲40の上に位置する飛行体A(30A)を検出できる。なお、
図3では、移動体20(自機)が検出可能な飛行体を実線で囲んでいる(以下、同じ)。
【0036】
しかし、移動体20(自機)は、センシング性能が低いため、雲40の中に位置する飛行体B(30)を検出できない。また、移動体20(自機)は、雲40の反対側(雲40の下)に位置する飛行体C(30C)及び飛行体D(30D)を検出できない。
【0037】
(地上監視装置による検出例)
図4は、実施例1による地上監視装置10が飛行体を検出する例を示す図である。
【0038】
地上監視装置10は、センシング性能が高いため、
図4のすべての飛行体を検知できる。すなわち、地上監視装置10は、移動体20、飛行体A(30A)、飛行体B(30)、飛行体C(30C)及び飛行体D(30D)を検出する。なお、
図4では、地上監視装置10が検出可能な飛行体を点線で囲んでいる(以下、同じ)。
【0039】
(課題)
図5は、地上監視装置10の検出結果をそのまま移動体20へ送信した場合の課題を説明するための図である。
【0040】
飛行体A(30A)は、移動体20と地上監視装置10の両方で検出される。しかし、通信の遅延やセンシングの誤差により、移動体20によって検出される飛行体A(30A)の位置情報と地上監視装置10によって検出される飛行体A(30A)の位置情報は異なる。
【0041】
そのため、移動体20は、自機によって検出された物体(飛行体A)と地上監視装置10によって検出された物体(飛行体A)が「本当に同じ物体なのか、別の物体なのか」を見極める処理を行う必要がある。
【0042】
一方、飛行体B(30)、飛行体C(30C)及び飛行体D(30D)は、地上監視装置10のみで検出される。通信の遅延の影響はあるものの移動体20はそれらの飛行体を検出できないので、それらの位置情報を移動体20の制御に利用することは有効である。
【0043】
(本実施例の特徴)
図6は、実施例1の特徴を説明するための図である。
【0044】
前述したように、地上監視装置10の検出結果を移動体20へ送信する際に、通信遅延が生じる。そのため、地上監視装置10で検出した情報をすべて移動体20へ送信すると、地上監視装置10でも移動体20でも検出できている障害物の情報を移動体20が受信した場合、移動体20の側で位置ずれが生じる。
【0045】
しかし、その2つの物体が同じ物体なのか、異なる物体なのかを判断することは難しい。本実施例では、地上監視装置10は、死角の関係にある障害物(物体)の位置情報にグループ情報を付与して送信し、移動体20は、自機が含まれていないグループの障害物情報を参照することにより、移動体20から見えない障害物の位置情報を取得することができる。
【0046】
(障害物検知部)
図7は、
図1に示す障害物検知部102、202の処理を示すフローチャートである。
【0047】
S10:点群取得
障害物検知部102、202は、それぞれ周辺監視部101、201のLiDARから点群(X,Y,Z)を取得する。
【0048】
S15:3Dグリッド分割処理
障害物検知部102、202は、検出エリアを所定サイズの3Dグリッドに分割し、各グリッド内に所定数以上のLiDAR点が含まれるグリッドを物体存在グリッドとして抽出する。
【0049】
S20:グルーピング処理
障害物検知部102、202は、抽出したグリッドに隣接する物体存在グリッドがあれば、同一物体としてグルーピングを行う。このグルーピング処理をすべての物体存在グリッドに対して実施する。
【0050】
S25:物体抽出・追跡処理
障害物検知部102、202は、グルーピングされたグリッドを物体候補とし、グリッドの重心位置を算出する。障害物検知部102、202は、今回の検出結果と、過去の物体候補の検出結果を用いて追跡処理を行い、一定回数以上連続して検出されている物体候補を物体として確定する。障害物検知部102、202は、ここで検出された物体を障害物として出力する。出力する位置は、グリッドの重心位置とする。
【0051】
(視界不良領域検知部)
図8、
図9A~9Dを用いて視界不良領域検知部103の処理を説明する。
図8は、
図1に示す視界不良領域検知部103の処理を示すフローチャートである。
図9A~9Dは、
図8のS30、S35、S45、S60の処理結果をそれぞれ示す図である。
【0052】
S30:初期化
視界不良領域検知部103は、監視エリア(検出エリア)内の3Dマップ(以下、遮蔽マップと呼ぶ)を初期化する。初期化により遮蔽マップ上の物体の位置、形状等の情報は消去される(
図9A)。
【0053】
S35:地形情報の配置
視界不良領域検知部103は、山や建物等の地形を示す地形情報を3D地図(データベース)から取得し、地形を遮蔽マップに配置する(
図9B)。
【0054】
S40:点群情報の取得
視界不良領域検知部103は、周辺監視部101からLiDARの点群情報(点群データ)を取得する。
【0055】
S45:点群の配置
視界不良領域検知部103は、LiDARの点群を遮蔽マップへ配置する(
図9C)。
【0056】
S50:センサ情報の取得
視界不良領域検知部103は、地上監視装置10に接続されている雨雲レーダ、雲高計もしくはカメラ、又は気象衛星等からセンサ情報を取得する。
【0057】
S55:雲の検出
視界不良領域検知部103は、センサ情報を解析し、雲を検出する。例えば、視界不良領域検知部103は、雨雲レーダの情報を用いて雲を特定したり、カメラや衛星の画像を解析し、雲を検出したりする。雲までの高さは雲高計などで計測される。画像を用いた雲の検出には、深層学習を用いたセマンティックセグメンテーションのようなアプローチによる検出などがある。衛星画像を用いる場合は地表面との反射率の違いを用いた検出等が用いられる。
【0058】
S60:雲の配置
視界不良領域検知部103は、例えば、カメラ画像の検出結果と、雲高計で計測した高さ情報等から、遮蔽マップ内に雲を配置する(
図9D)。
【0059】
(死角障害物抽出部)
図10、11、12A、12Bを用いて死角障害物抽出部104の処理を説明する。
図10は、
図1に示す死角障害物抽出部104の処理を示すフローチャートである。
図11は、地上監視装置10による検出例を示す図である。
図12Aは、遮蔽マップを示す模式図である。
図12Bは、障害物をグループ化した結果を示す図である。
【0060】
S70:位置情報の取得
死角障害物抽出部104は、地上監視装置10によって検出された障害物の位置情報(X,Y,Z)を取得する。
図11の例では、ID=1~5に対応する障害物が地上監視装置10によって検出されている。
【0061】
S75:障害物の選択
障害物が複数ある場合、死角障害物抽出部104は障害物を任意に2つ選択する。
【0062】
S80:遮蔽マップへ投影
死角障害物抽出部104は、S15で選択した2つの障害物の位置を遮蔽マップ内に投影(配置)する。
【0063】
S85:2点間に遮蔽物あるか否か
死角障害物抽出部104は、遮蔽マップ上で2点(2つの障害物の位置)を結ぶ線を求め、線上を探索して間に遮蔽物が存在するかを確認する。
図12Aでは、例えば、ID=1とID=2に対応する障害物の間に遮蔽物はなく、ID=1とID=3に対応する障害物の間には遮蔽物としての雲40がある。なお、
図12Aでは、2点間に遮蔽物がない線に丸印を付し、2点間に遮蔽物がある線にX印を付している。
【0064】
S90:異なるグループIDの付与
2点間に遮蔽物がある場合、死角障害物抽出部104は異なるグループIDを2つの障害物に付与する。
図12Bでは、例えば、ID=1とID=3に対応する障害物にそれぞれGroup=1、Group=2が付与されている。
【0065】
S95:同じグループIDの付与
2点間に遮蔽物がない場合、死角障害物抽出部104は同じグループIDを2つの障害物に付与する。
図12Bでは、例えば、ID=1とID=2に対応する障害物にGroup=1が付与されている。
【0066】
S100:ループの終了条件
死角障害物抽出部104は、すべての障害物の組み合わせについて遮蔽物の有無を確認する。
【0067】
S105:グループの作成
死角障害物抽出部104は、すべての障害物の組み合わせについて遮蔽物の有無を確認した場合、
図12Bに示すようにグループを作成する。例えば、死角障害物抽出部104は、グループごとに障害物の色を変えてディスプレイへ表示したり、同じグループに含まれる障害物を囲む線を表示したりしてもよい。なお、移動体制御装置200は、S90又はS95で付与されたグループIDにより障害物のグループを識別できる。
【0068】
(障害物決定部)
図13は、
図1に示す障害物決定部205の処理を示すフローチャートである。
【0069】
S110:自機の位置情報の取得
障害物決定部205は、位置取得部203から自機位置(X,Y,Z)を示す位置情報を取得する。
【0070】
S115:障害物情報の取得
障害物決定部205は、障害物情報受信部204で受信された障害物情報から障害物の位置情報(X[i], Y[i], Z[i])とグループ情報としてのグループID(Group[i])を取得する。なお、障害物の位置情報(X[i], Y[i], Z[i])は
図1のp_iに相当し、グループID (Group[i])は
図1のgid_iに相当する。
【0071】
S120:自機に相当する障害物の抽出
障害物決定部205は、移動体20(自機)に最も近い位置情報に対応する障害物i_nearを抽出する。前述したように、地上監視装置10から見れば移動体20(自機)は障害物として検知されているはずだからである。
【0072】
S125:分岐条件
障害物決定部205は、移動体20(自機)と障害物i_nearの距離Lが閾値L1以下であるか否かを判定する。障害物決定部205は、距離Lが閾値L1以下の場合、S130へ処理を進め、距離Lが閾値L1を超える場合、S140へ処理を進める。
【0073】
S130:グループIDの取得
最も近い障害物との距離Lが閾値L1以下のため、障害物i_nearは移動体20(自機)と同定できる。障害物決定部205は、障害物情報から障害物i_nearに対応するグループID(Group[i_near])を取得する。
【0074】
S135:自機と異なるグループIDの障害物の抽出
障害物決定部205は、グループID(Group[i_near])以外のグループIDに対応する障害物の位置情報を障害物情報から抽出する。
【0075】
S140:すべての障害物の抽出
最も近い障害物との距離Lが閾値L1を超えるため、障害物i_nearは移動体20(自機)と同定できない。障害物決定部205は、グループIDに関わらずすべての障害物の位置情報を障害物情報から抽出する。
【0076】
S145:障害物の統合
障害物決定部205は、移動体20(自機)で検知された周囲の障害物情報と、S135又はS140で抽出された障害物情報を統合し、統合された障害物情報を制御部206に送信するテーブルに登録する。
【0077】
本実施例の特徴は、以下のようにまとめることもできる。
【0078】
<移動体制御装置>
障害物検知部202(第1の障害物検知部)は、飛行可能な移動体20の周囲の障害物を検知する。位置取得部203は、移動体20の位置を取得する。障害物情報受信部204(情報受信部)は、地上監視装置10によって検知された障害物の情報を示す障害物情報を受信する。障害物決定部205は、障害物検知部202によって検知された障害物の位置、位置取得部203によって取得された移動体20の位置、及び障害物情報受信部204によって受信された障害物情報から、移動体20の制御に用いる障害物を重複しないように決定する。制御部206は、決定された障害物を回避するように移動体20を制御もしくは移動体20の操作支援を行う。これにより、移動体で検知された障害物と地上監視装置で検知された障害物が同じ物体であるか否かを判定しないで移動体に障害物を回避させることができる。
【0079】
詳細には、障害物情報は、地上監視装置10によって検知された障害物の位置を示す位置情報と、視界不良領域との位置関係に基づき分類された障害物のグループを示すグループ情報を含む。障害物決定部205は、障害物検知部202(第1の障害物検知部)によって検知された障害物と、地上監視装置10によって検知され、かつ移動体20が属さないグループの障害物を障害物として決定する。これにより、移動体制御装置200の側で死角の位置にある障害物を特定できる。
【0080】
<地上監視装置>
障害物検知部102(第2の障害物検知部)は、移動体20の飛行経路を含む所定空間内の障害物又は所定空間内に侵入する障害物を検知する。視界不良領域検知部103は、視界不良領域を検知する。死角障害物抽出部104は、視界不良領域との位置関係に基づき、障害物検知部102によって検知された障害物から死角の関係にある障害物を抽出してグループに分類する。障害物情報送信部105(情報送信部)は、障害物検知部102によって検知された障害物の位置を示す位置情報と、グループを示すグループ情報を含む障害物情報を送信する。これにより、死角の関係にある障害物をグループ化することができる。
【0081】
本実施例によれば、移動体20で検知された障害物と地上監視装置10で検知された障害物が同じ物体であるか否かを判定しないで移動体20に障害物を回避させることができる。また、移動体20を制御する移動体制御装置200のセンシング性能が限定される環境下においても、安全かつ高効率な自動飛行を実現することができる。
【0082】
[実施例2]
図14は、実施例2によるシステムの構成図である。本実施例では、地上監視装置10は受信部106を備え、移動体制御装置200は送信部207を備える。以下、主として実施例1との相違点を説明する。
【0083】
移動体制御装置200の送信部207は、移動体20の位置情報p_selfを地上監視装置10へ送信する。
【0084】
地上監視装置10の受信部106は、移動体制御装置200から移動体20の位置情報p_selfを受信する。地上監視装置10の死角障害物抽出部104は、移動体20から死角となる障害物に対応する障害物情報(障害物の位置情報p_blind_k)のみを送信(出力)する。
【0085】
移動体制御装置200の障害物決定部205は、障害物検知部202で検知された周囲の障害物(位置情報p_nに対応する障害物)と、障害物情報受信部204で受信された障害物情報に含まれる位置情報p_blind_kに対応する障害物のすべてを、制御部206で用いる障害物とする。
【0086】
(死角障害物抽出部)
図15は、
図14に示す死角障害物抽出部104の処理を示すフローチャートである。
【0087】
S150:障害物の位置情報の取得
死角障害物抽出部104は、障害物検知部102で検知された周囲の障害物の位置情報p_iを取得する。
【0088】
S155:移動体の位置情報の取得
死角障害物抽出部104は、受信部106から移動体20の位置情報p_selfを取得する。
【0089】
S160:障害物の選択
死角障害物抽出部104は、障害物を任意に1つ選択する。
【0090】
S165:遮蔽マップへ投影
死角障害物抽出部104は、S155で取得した位置情報p_selfに対応する移動体20の位置と、S160で選択した1つの障害物の位置を遮蔽マップ内に投影(配置)する。
【0091】
S170:2点間に遮蔽物あるか否か
死角障害物抽出部104は、遮蔽マップ上で2点(移動体20の位置と1つの障害物の位置)を結ぶ線を求め、線上を探索して間に遮蔽物が存在するかを確認する。
【0092】
S175:障害物として登録
2点間に遮蔽物がある場合、死角障害物抽出部104は、移動体20へ送信する障害物情報(障害物の位置情報p_blind_k)としてS160で選択した障害物の位置情報p_iを登録する。
【0093】
S180:障害物の位置情報の除外
2点間に遮蔽物がない場合、死角障害物抽出部104は、移動体20へ送信する障害物情報からS160で選択した障害物の位置情報p_iを除外する。すなわち、死角障害物抽出部104は、移動体20へ送信する障害物情報(障害物の位置情報p_blind_k)としてS160で選択した障害物の位置情報p_iを登録しない。
【0094】
S185:ループの終了条件
死角障害物抽出部104は、移動体20と障害物のすべての組み合わせについて遮蔽物の有無を確認する。
【0095】
(障害物決定部)
図16は、
図14に示す障害物決定部205の処理を示すフローチャートである。
【0096】
S190:自機の位置情報の取得
障害物決定部205は、位置取得部203から自機の位置情報p_selfを取得する。
【0097】
S195:障害物情報の取得
障害物決定部205は、障害物情報受信部204から障害物情報(障害物の位置情報p_blind_k)を取得する。
【0098】
S200:障害物の統合
障害物決定部205は、移動体20(自機)で検知した周囲の障害物情報(障害物の位置情報p_n)と、S195で取得された障害物情報(障害物の位置情報p_blind_k)を統合し、統合された障害物情報を制御部206に送信するテーブルに登録する。
【0099】
本実施例の特徴は、以下のようにまとめることもできる。
【0100】
<移動体制御装置>
送信部207は、移動体20の位置を示す位置情報を地上監視装置10に送信する。障害物情報は、地上監視装置10によって検知され、かつ移動体20の位置から死角となる障害物の位置を示す位置情報を含む。障害物決定部205は、障害物検知部202(第1の障害物検知部)によって検知された障害物と、地上監視装置10によって検知され、かつ移動体20の位置から死角となる位置の障害物を障害物として決定する。これにより、移動体制御装置200の側で死角の位置にある障害物を特定する必要がない。
【0101】
<地上監視装置>
受信部106は、移動体20の位置を示す位置情報を受信する。障害物検知部102(第2の障害物検知部)は、移動体20の飛行経路を含む所定空間内の障害物又は所定空間内に侵入する障害物を検知する。視界不良領域検知部103は、視界不良領域を検知する。死角障害物抽出部104は、視界不良領域との位置関係に基づき、障害物検知部102によって検知され、移動体20の位置から死角となる障害物を抽出する。障害物情報送信部105(情報送信部)は、障害物検知部102によって検知され、移動体20の位置から死角となる障害物の位置を示す位置情報を含む障害物情報を送信する。これにより、障害物情報のデータ量を小さくすることができる。
【0102】
[実施例3]
図17は、実施例3によるシステムの構成図である。以下、主として実施例2との相違点を説明する。
【0103】
移動体制御装置200の送信部207は、移動体20の位置情報p_selfと周囲の障害物の位置情報p_nを地上監視装置10へ送信する。
【0104】
地上監視装置10の受信部106は、移動体制御装置200から移動体20の位置情報p_selfと障害物の位置情報p_nを受信する。
【0105】
地上監視装置10の視界不良領域検知部103は、視界不良を発生する状況か否かを検知する。例えば、視界不良領域検知部103は、視界不良が発生している場合、フラグflg_cloud=1とし、視界不良が発生していない場合、フラグflg_cloud=0とする。
【0106】
地上監視装置10の死角障害物抽出部104は、視界不良が発生している場合(flg_cloud=1)、移動体20の周囲で検知された障害物ではない障害物の位置情報p_not_k(k=1,2,…)を抽出する。一方、地上監視装置10の死角障害物抽出部104は、視界不良が発生していない場合(flg_cloud=0)、障害物の位置情報を抽出(出力)しない。この場合、死角障害物抽出部104は、移動体制御装置200へ障害物の位置情報を送らないことを示す通知を出力したり、空(ヌル値)の位置情報を出力したりしてもよい。
【0107】
障害物決定部205は、障害物検知部202で検知された周囲の障害物(位置情報p_nに対応する障害物)と、障害物情報受信部204で受信された障害物情報に含まれる位置情報p_not_kに対応する障害物のすべてを、制御部206で用いる障害物とする。
【0108】
(視界不良領域検知部)
図18は、
図17に示す視界不良領域検知部103の処理を示すフローチャートである。
【0109】
S210:センサ情報の取得
視界不良領域検知部103は、地上監視装置10に接続されている雨雲レーダ、雲高計もしくはカメラ、又は気象衛星等からセンサ情報を取得する。
【0110】
S215:雲の検出
視界不良領域検知部103は、地上監視装置10に接続されている雨雲レーダ、雲高計もしくはカメラ、又は気象衛星等からセンサ情報を取得する。視界不良領域検知部103は、例えば、所定範囲(飛行経路を含む検出可能範囲)に雲があり視界不良が発生している場合、フラグflg_cloud=1とし、所定範囲に雲がなく視界不良が発生していない場合、フラグflg_cloud=0とする。
【0111】
(死角障害物抽出部)
図19は、
図17に示す死角障害物抽出部104の処理を示すフローチャートである。
【0112】
S220:障害物の位置情報の取得
死角障害物抽出部104は、障害物検知部102で検知された周囲の障害物の位置情報p_iを取得する。
【0113】
S225:移動体の位置情報の取得
死角障害物抽出部104は、受信部106から移動体20の位置情報p_selfを取得する。
【0114】
S230:移動体の周囲の障害物の位置情報の取得
死角障害物抽出部104は、受信部106から移動体20の移動体の周囲の障害物の位置情報p_nを取得する。
【0115】
S235:視界不良があるか否か
死角障害物抽出部104は、視界不良があるか否かを判定する。死角障害物抽出部104は、視界不良がある場合(flg_cloud=1)、S240へ処理を進め、視界不良がない場合(flg_cloud=0)、S245へ処理を進める。
【0116】
S240:障害物の一部を除去
視界不良がある場合、死角障害物抽出部104は、移動体20へ送信する障害物情報から移動体20の周囲の障害物の位置情報p_nを除去(除外)する。すなわち、死角障害物抽出部104は、移動体20へ送信する障害物情報(障害物の位置情報p_not_k)として移動体20の周囲の障害物の位置情報p_nを登録しない。
【0117】
S245:障害物のすべてを除去
視界不良がない場合、移動体20へ送信する障害物情報をすべて削除する。前述したように、死角障害物抽出部104は、移動体制御装置200へ障害物の位置情報p_not_kを送らないことを示す通知を出力したり、空(ヌル値)の位置情報を出力したりしてもよい。
【0118】
本実施例の特徴は、以下のようにまとめることもできる。
【0119】
<移動体制御装置>
送信部207は、移動体20の位置を示す位置情報と、障害物検知部202(第1の障害物検知部)によって検知された障害物の位置を示す位置情報を地上監視装置10に送信する。障害物情報は、地上監視装置10によって検知され、かつ障害物検知部202によって検知されない障害物の位置を示す位置情報を含む。障害物決定部205は、障害物検知部202によって検知された障害物と、地上監視装置10によって検知され、かつ障害物検知部202によって検知されない障害物を障害物として決定する。これにより、移動体制御装置200の計算負荷が小さくなる。
【0120】
詳細には、障害物情報受信部204(情報受信部)は、視界不良領域がある場合のみ、地上監視装置10によって検知され、かつ障害物検知部202によって検知されない障害物の位置を示す位置情報を含む障害物情報を受信する。これにより、移動体制御装置200の計算負荷がさらに小さくなる。
【0121】
<地上監視装置>
受信部106は、移動体20の位置を示す位置情報と、障害物検知部202(第1の障害物検知部)によって検知された障害物の位置を示す位置情報を受信する。障害物検知部102(第2の障害物検知部)は、移動体20の飛行経路を含む所定空間内の障害物又は所定空間内に侵入する障害物を検知する。視界不良領域検知部103は、視界不良領域を検知する。障害物情報送信部105(情報送信部)は、視界不良領域により視界不良が発生している場合、地上監視装置10によって検知され、かつ障害物検知部202(第1の障害物検知部)によって検知されない障害物の位置を示す位置情報を含む障害物情報を送信する。これにより、通信データ量を低減することができる。
【0122】
詳細には、視界不良領域検知部103は、視界不良領域の透明度が閾値より高い場合、視界不良が発生していると判定する。これにより、カメラの画像から視界不良の有無を判定することができる。
【0123】
[変形例]
図20は、実施例1の変形例によるシステムの構成図である。本実施例では、地上監視装置10は自己診断部107を備える。なお、本実施例では、実施例1の障害物情報送信部105と障害物情報受信部204に代えて、それぞれ情報送信部105Aと情報受信部204Aを備えるが、ハードウェアとしては実施例1と同じである。以下、主として実施例1との相違点を説明する。
【0124】
地上監視装置10の自己診断部107は、地上監視装置10が異常か否かを判定する。例えば、周辺監視部101からセンサの異常を示す異常通知を受信した場合、周辺監視部101のセンサは正常だがセンサ全面にゴミが付着する等により障害物検知部102で全く検知できない場合、同じ物体を検知し続けている場合等に、自己診断部107は、地上監視装置10が異常であると判定する。すなわち、地上監視装置10が異常であるとは、地上監視装置10において障害物を検知するセンサ又はセンサ信号を処理するプロセッサが機能しない状態を示す。
【0125】
(想定シーン)
図21は、変形例によるシステムが適用される想定シーンを示す図である。移動体20は、予め決められたスカイロード(所定の幅を有する平面又は曲面)を飛行している。地上監視装置10A~10Dは、それぞれスカイロードの所定範囲にある障害物を検出する。
図21の例では、地上監視装置10Aは、地上監視装置10Aが異常であることを示す自己診断情報を移動体20に送信する。
【0126】
(制御部)
図22は、
図20に示す制御部206の処理を示すフローチャートである。
【0127】
S250:自己診断情報の取得
制御部206は、移動体20(自機)の飛行経路上で地上監視装置10A~10Dの自己診断情報を取得する。
【0128】
S255:分岐条件
制御部206は、自己診断情報から地上監視装置10A~10Dがすべて正常であるか否かを判定する。制御部206は、すべて正常である場合、S260へ処理を進め、いずれかが異常である場合、S265へ処理を進める。
【0129】
S260:飛行を継続
制御部206は、予定通り目的地までの飛行を継続させるように移動体20を制御する。移動体20は、実施例1で述べた飛行を継続する。
【0130】
S265:飛行状態の変更
地上監視装置10A~10Dのいずれかが異常である場合、制御部206は、飛行を停止してホバリングに移行するように移動体20を制御する。
図21の例では、地上監視装置10Cの自己診断情報から地上監視装置10Cが異常であると判定される。
【0131】
S270:管制センタへ通知
制御部206は、管制センタ(不図示)へ地上監視装置10Cが異常であることを通知し、対応を決定する。飛行の目的、バッテリー残量、目的地までの残距離等によって対応は変わるが、元の経路を引き返す、最寄りのスカイポートに緊急着陸する、地上監視装置10Cの情報が不要な速度で飛行する等の対応がある。
【0132】
本実施例の特徴は、以下のようにまとめることもできる。
【0133】
<移動体制御装置>
情報受信部204Aは、地上監視装置10から自己診断の結果を示す自己診断情報を受信する。制御部206は、自己診断情報から、地上監視装置10が正常に障害物を検知できない状態であると判定される場合、移動体20を空中で停止又は減速させる。これにより、移動体20の飛行の安全性が向上する。
【0134】
<地上監視装置>
自己診断部107は、自己診断を行う。情報送信部105Aは、自己診断の結果を示す自己診断情報を送信する。これにより、地上監視装置10の信頼性が向上する。
【0135】
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上述した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
【0136】
また、上記の各構成、機能等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、SSD(Solid State Drive)等の記録装置、または、ICカード、SDカード、DVD等の記録媒体に置くことができる。
【0137】
なお、本発明の実施例は、以下の態様であってもよい。
【0138】
(1).地上監視装置10は、地上に設置され周辺を監視して外界情報を取得する周辺監視部101と、前記外界情報から所定範囲(スカイロード)内の空間内の障害物および侵入する障害物を検知し位置情報を取得する障害物検知部102と、前記障害物の位置関係や周辺の視界不良が発生する領域を検知する視界不良領域検知部103と、前記位置関係や前記視界不良により死角の関係にある障害物を抽出する死角障害物抽出部104と、前記抽出結果に基づいて障害物情報を送信する情報送信部(障害物情報送信部105)を有する。
【0139】
移動体制御装置200は、移動体20に設置され周辺を監視して外界情報を取得する周辺監視部201と、前記外界情報から移動体周囲の障害物を検知する障害物検知部202と、移動体の位置を取得する位置取得部203と、地上監視装置10からの障害物情報を受信する情報受信部(障害物情報受信部204)と、周囲の検知障害物、移動体の位置および受信した障害物情報に基づき、制御に用いる障害物を決定する障害物決定部205と、決定された障害物情報を用いて制御もしくは操作支援(操縦支援)を行う制御部206を有する。
【0140】
(2).(1)において、地上監視装置10では、視界不良領域検知部103は雲等の視界不良となる物体を検知し、死角障害物抽出部104は視界不良物との位置関係に基づき障害物を複数のグループに分類し(例えば、雲の上、雲の中、雲の下)、情報送信部(障害物情報送信部105)はグループの情報を付与して(障害物情報を)送信する。移動体制御装置200では、障害物統合部(障害物決定部205)は、自機位置および受信した障害物情報から、自機が属さないグループの障害物情報を抽出し、抽出した障害物情報と自機の障害物検知結果を障害物として決定する。
【0141】
(3).(1)において、地上監視装置10は、移動体制御装置200から位置情報を受信する移動体位置情報受信部(受信部106)を有し、情報送信部(障害物情報送信部105)は、移動体位置から死角となる障害物情報のみを送信する。移動体制御装置では、障害物決定部は、周囲の検知障害物と、受信した障害物情報をすべて障害物として用いる。
【0142】
(4).(1)において、地上監視装置10は、移動体制御装置200から位置情報および周囲障害物情報を受信する位置・障害物情報受信部(受信部106)を有し、情報送信部(障害物情報送信部105)は、移動体周囲で検知された障害物ではない障害物の障害物情報を送信する。移動体制御装置200は、自機周囲の障害物を検知する障害物検知部202と、自機位置と周囲障害物情報を送信する位置・障害物情報送信部(送信部207)を有する。障害物決定部205は、周囲の検知障害物と、受信した障害物情報が示す障害物をすべて障害物として用いる。
【0143】
(5).視界不良領域検知部103は、検出した雲の透明度を計測し、透明度が低い場合は視界不良であるとは判定しない。
【0144】
(6).地上監視装置10は、監視装置内に異常が発生したか否かを診断する自己診断部107を有し、自己診断の結果、異常があると診断された場合には、情報送信部105Aにより移動体制御装置200へ通知する。移動体制御装置200は、情報受信部204Aにより地上監視装置10からの自己診断情報を受信し、制御部206は、自機が飛行する経路上の地上監視装置から異常があるという診断結果を受信した場合は、第二の飛行手段(例えば、ホバリング、速度を落とす)に切り替える。
【0145】
すなわち、地上監視装置10は、地上から自律飛行体が飛行する所定エリアを監視し、障害物を検出し、センシング困難な関係にある障害物を推定し、推定結果として障害物情報を送信する。自律飛行体は、自機のセンシングにより検出した障害物と、地上監視装置10から取得したセンシング困難な障害物情報を用いて、自律飛行を行う。
【0146】
(1)-(6)によれば、自律飛行体は、自機に近くて衝突の可能性が高い障害物は自機のセンシング結果を用いることができ、衝突の危険は低いが将来的な衝突のリスクがあるセンシング範囲外の障害物は地上監視装置から送られてきた情報を用いて制御が可能となる。また、自機のセンシング結果と地上監視装置から送られてきた情報の統合が不要となる。
【符号の説明】
【0147】
10…地上監視装置
20…移動体
30A、30B、30C、30D…飛行体
40…雲
101…周辺監視部
102…障害物検知部
103…視界不良領域検知部
104…死角障害物抽出部
105…障害物情報送信部
105A…情報送信部
106…受信部
107…自己診断部
200…移動体制御装置
201…周辺監視部
202…障害物検知部
203…位置取得部
204…障害物情報受信部
204A…情報受信部
205…障害物決定部
206…制御部
207…送信部