(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024175806
(43)【公開日】2024-12-19
(54)【発明の名称】位置推定装置、衝突防止装置、位置推定方法、衝突防止方法、プログラム
(51)【国際特許分類】
B64D 45/00 20060101AFI20241212BHJP
G08G 5/04 20060101ALI20241212BHJP
B64D 47/08 20060101ALI20241212BHJP
B64U 20/87 20230101ALI20241212BHJP
G01S 5/12 20060101ALI20241212BHJP
【FI】
B64D45/00 Z
G08G5/04 A
B64D47/08
B64U20/87
G01S5/12
【審査請求】未請求
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023093832
(22)【出願日】2023-06-07
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100149548
【弁理士】
【氏名又は名称】松沼 泰史
(74)【代理人】
【識別番号】100181135
【弁理士】
【氏名又は名称】橋本 隆史
(72)【発明者】
【氏名】平 佳一郎
【テーマコード(参考)】
5H181
5J062
【Fターム(参考)】
5H181AA26
5H181BB04
5H181BB11
5H181BB13
5H181BB15
5H181CC01
5H181CC02
5H181CC03
5H181CC04
5H181CC07
5H181CC12
5H181CC14
5H181FF04
5J062AA01
5J062BB03
5J062CC11
5J062FF01
5J062FF02
(57)【要約】
【課題】対象機とその対象機の周辺に位置する周辺機との位置関係における対象機の位置を精度よく特定する位置推定装置を提供する。
【解決手段】対象機の周辺に位置する複数の周辺機から送信された電波信号であって当該電波信号を送信した周辺機の位置情報を含む電波信号を受信する。複数の周辺機のうちの少なくとも一つの周辺機を撮影する撮影装置を制御する。撮影により生成された画像に基づいて当該画像に写る周辺機の前記対象機を基準とする方向を算出する。画像に写る周辺機の方向と、電波信号とに基づいて、周辺機の位置との関係における対象機の位置の範囲を推定する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
対象機の周辺に位置する複数の周辺機から送信された電波信号であって当該電波信号を送信した周辺機の位置情報を含む電波信号を受信する受信手段と、
前記複数の周辺機のうちの少なくとも一つの周辺機の撮影により生成された画像に基づいて当該画像に写る周辺機の前記対象機を基準とする方向を算出する方向算出手段と、
前記画像に写る周辺機の方向と、前記電波信号とに基づいて、前記周辺機の位置との関係における前記対象機の位置の範囲を推定する位置推定手段と、
を備える位置推定装置。
【請求項2】
前記撮影により前記画像を生成する撮影装置を制御する撮影制御手段を備える請求項1に記載の位置推定装置。
【請求項3】
前記位置推定手段は、
前記電波信号に基づいて前記対象機の第一の位置の範囲を推定し、
前記画像に写る周辺機の前記対象機を基準とする方向に基づいて前記第一の位置の範囲を補正する
請求項2に記載の位置推定装置。
【請求項4】
前記撮影制御手段は、前記電波信号に基づいて前記一つの周辺機を含む画角に前記撮影装置の撮影方向を駆動する駆動量を算出し、その駆動量に基づいて前記撮影方向の撮影方向を制御して前記画像を取得する、
請求項2または請求項3に記載の位置推定装置。
【請求項5】
前記撮影制御手段は、魚眼レンズまたは広角レンズを備えた前記撮影装置を制御して前記画像を取得する、
請求項2または請求項3に記載の位置推定装置。
【請求項6】
前記撮影装置は光学センサまたは距離画像センサである
請求項2または請求項3に記載の位置推定装置。
【請求項7】
前記対象機に格納された請求項2または請求項3に記載の位置推定装置。
【請求項8】
前記補正後の前記対象機の位置の範囲に基づいて前記周辺機との位置関係を維持する移動制御部と、
を備える請求項3に記載の位置推定装置。
【請求項9】
前記請求項1または請求項2に記載の位置推定装置の推定した前記対象機の位置と前記周辺機の位置との関係に基づいて前記対象機と前記周辺機の衝突防止処理を行う衝突防止装置。
【請求項10】
対象機の周辺に位置する複数の周辺機から送信された電波信号であって当該電波信号を送信した周辺機の位置情報を含む電波信号を受信し、
前記複数の周辺機のうちの少なくとも一つの周辺機の撮影により生成された画像に基づいて当該画像に写る周辺機の前記対象機を基準とする方向を算出し、
前記画像に写る周辺機の方向と、前記電波信号とに基づいて、前記周辺機の位置との関係における前記対象機の位置の範囲を推定する
位置推定方法。
【請求項11】
請求項10に記載の位置推定方法により推定した前記対象機の位置と前記周辺機の位置との関係に基づいて前記対象機と前記周辺機の衝突防止処理を行う衝突防止方法。
【請求項12】
対象機の周辺に位置する複数の周辺機から送信された電波信号であって当該電波信号を送信した周辺機の位置情報を含む電波信号を受信する受信手段を備えた位置推定装置のコンピュータを、
前記複数の周辺機のうちの少なくとも一つの周辺機の撮影により生成された画像に基づいて当該画像に写る周辺機の前記対象機を基準とする方向を算出する方向算出手段と、
前記画像に写る周辺機の方向と、前記電波信号とに基づいて、前記周辺機の位置との関係における前記対象機の位置の範囲を推定する位置推定手段、
として機能させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
この開示は、位置推定装置、衝突防止装置、位置推定方法、衝突防止方法、プログラムに関する。
【背景技術】
【0002】
無人航空機やその他の移動機が編隊を組んで移動する場合、それら移動機のうちの対象機とその対象機の周辺に位置する周辺機の位置関係を制御する必要がある。関連技術として特許文献1の技術が開示されている。
【0003】
特許文献1には、光学センサにより取得された標識の画像に基づいて、標識の識別情報と、無人機から見た標識の方位とを取得し、取得された標識の識別情報に基づいて標識の座標を取得し、取得された標識の方位及び座標に基づいて無人機の位置を算出することを開示する。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
ところで、上述のような技術において、複数の移動機が編隊を組んで移動する場合に、それら移動機のうちの対象機とその対象機の周辺に位置する周辺機との位置関係における対象機の位置を精度よく特定する技術が求められていた。
【0006】
この開示は、上記の課題を解決する位置推定装置、衝突防止装置、位置推定方法、衝突防止方法、プログラムを提供することを目的としている。
【課題を解決するための手段】
【0007】
この開示の第1の態様によれば、位置推定装置は、対象機の周辺に位置する複数の周辺機から送信された電波信号であって当該電波信号を送信した周辺機の位置情報を含む電波信号を受信する受信手段と、前記複数の周辺機のうちの少なくとも一つの周辺機の撮影により生成された画像に基づいて当該画像に写る周辺機の前記対象機を基準とする方向を算出する方向算出手段と、前記画像に写る周辺機の方向と、前記電波信号とに基づいて、前記周辺機の位置との関係における前記対象機の位置の範囲を推定する位置推定手段と、を備える。
【0008】
この開示の第2の態様によれば、位置推定方法は、対象機の周辺に位置する複数の周辺機から送信された電波信号であって当該電波信号を送信した周辺機の位置情報を含む電波信号を受信し、前記複数の周辺機のうちの少なくとも一つの周辺機の撮影により生成された画像に基づいて当該画像に写る周辺機の前記対象機を基準とする方向を算出し、前記画像に写る周辺機の方向と、前記電波信号とに基づいて、前記周辺機の位置との関係における前記対象機の位置の範囲を推定する。
【0009】
この開示の第3の態様によれば、プログラムは、対象機の周辺に位置する複数の周辺機から送信された電波信号であって当該電波信号を送信した周辺機の位置情報を含む電波信号を受信する受信手段を備えた位置推定装置のコンピュータを、前記複数の周辺機のうちの少なくとも一つの周辺機の撮影により生成された画像に基づいて当該画像に写る周辺機の前記対象機を基準とする方向を算出する方向算出手段と、前記画像に写る周辺機の方向と、前記電波信号とに基づいて、前記周辺機の位置との関係における前記対象機の位置の範囲を推定する位置推定手段、として機能させる。
【発明の効果】
【0010】
複数の移動機が編隊を組んで移動する場合に、それら移動機のうちの対象機とその対象機の周辺に位置する周辺機との位置関係における対象機の位置を精度よく特定することができる。
【図面の簡単な説明】
【0011】
【
図1】この開示の一実施形態による飛行制御システムの概略構成図である。
【
図2】この開示の一実施形態による各航空機に備わる機能を示す図である。
【
図3】この開示の一実施形態による対象機の位置範囲の算出精度を説明する図である。
【
図4】この開示の一実施形態による電波信号を送信する周辺機と電波信号を受信する対象機の関係を示す図である。
【
図5】この開示の一実施形態による撮影画像に写る周辺機の方向の算出例を示す図である。
【
図6】この開示の一実施形態による画像に基づいた周辺機の位置情報の補正処理の概要を示す図である。
【
図7】この開示の一実施形態による周辺機と対象機の位置推定装置の処理フローを示す第1の図である。
【
図8】この開示の一実施形態による周辺機と対象機の位置推定装置の処理フローを示す第2の図である。
【
図9】この開示の一実施形態による位置推定装置の最小構成を示す機能ブロック図である。
【
図10】この開示の一実施形態の最小構成の位置推定装置による処理フローを示す図である。
【
図11】この開示の各実施形態に係る位置推定装置のハードウェア構成を示す図である。
【発明を実施するための形態】
【0012】
図1はこの開示の一実施形態による飛行制御システムの概略構成図である。
図1に示すように飛行制御システム100は、複数の移動装置により構成される。本実施形態において移動装置は航空機1であり、複数の航空機1により飛行制御システム100が構成されている。
図1においては航空機1A、1B、1C、1Xの4機の航空機1を図示している。飛行制御システム100を構成する航空機1は4機以外の他の数の複数の航空機1により構成されてよい。複数の航空機1のうち自機の位置を推定する対象を対象機と呼ぶ。また対象機の周辺を飛行する航空機1を周辺機と呼ぶ。以下、
図1に示す航空機1Xを対象機、航空機1A、1B、1Cを周辺機と設定して説明する。各航空機は総称して航空機1と呼ぶ。
【0013】
図2は各航空機に備わる機能を示す図である。
図2に示すように各航空機1には位置推定装置10、飛行制御装置20、アンテナ30、撮影装置40、衛星測位装置50、計時装置60、受信部11、撮影制御部12、第一方向算出部13、第二方向算出部14、位置推定部15、送信部16を備える。
【0014】
位置推定装置10は衛星測位装置50に故障などの不具合がある場合に衛星測位装置50に代わって自装置が備わる航空機1の位置を推定する。
飛行制御装置20は自装置が備わる航空機1の飛行を制御する。
アンテナ30は電波信号の送信または受信を行う。
撮影装置40は航空機1のうちの周辺機を撮影する。
衛星測位装置50はGPS(Global Positioning System)やGNSS(Global Navigation Satellite System Profile)などの衛星測位システムの仕組みを利用して自装置が備わる航空機1の位置を算出する。
計時装置60は時刻を計時する。
【0015】
位置推定装置10において、受信部11は、アンテナ30から電波信号を受信する。撮影制御部12は、撮影装置40を制御する。第一方向算出部13は、各電波信号の到来方向を算出する。第二方向算出部14は、撮影装置40の生成した画像に含まれる周辺機の位置に基づいて位置推定装置10が備わる航空機1の周辺機の方向を算出する。位置推定部15は、画像に写る周辺機の方向と、電波信号とに基づいて、周辺機の位置との関係における対象機(位置推定装置10が備わる航空機1)の位置の範囲を推定する。
【0016】
ここで各航空機1は上述のように衛星測位装置50を備えている。従って通常は衛星測位装置50の機能により自機の位置を算出することができる。しかしながら衛星測位装置50が何らかの理由により故障した場合、航空機1は自機の位置を特定することができない。複数の航空機1により編隊などを組む場合、衛星測位装置50が自機の位置を算出できなくなった場合でも、各航空機1の位置を継続して精度良く算出できることが望ましい。よってこの開示による航空機1の位置推定装置10は、画像に写る周辺機の方向と、電波信号とに基づいて、周辺機の位置との関係における自機の位置の範囲を推定する機能を備える。なお各航空機1に備わる計時装置60の計時する時刻は精度高く同期しているものとする。
【0017】
図3は位置の範囲の算出精度を説明する図である。
この開示において周辺機となる航空機1は電波信号を送信する。電波信号には周辺機となる航空機1に備わる衛星測位装置50の算出した位置情報と、当該航空機1に含まれる計時装置60の計時した時刻とが含まれる。対象機はその電波信号を受信する。電波信号に含まれる周辺機の理想的な位置からの位置誤差と、周辺機と対象機の時刻の同期誤差によって、周辺機からの対象機の相対的な位置の範囲の精度は
図3に示すように変化する。そして対象機の位置を推定するためには複数の周辺機からの電波信号を受信する必要があるが、周辺機の位置誤差や、時刻の同期誤差による、推定した対象機の位置の範囲のずれができるだけ小さくすることが望まれる。
【0018】
図4は電波信号を送信する周辺機と電波信号を受信する対象機の関係を示す図である。
周辺機である航空機1Aが電波信号を送信してから対象機1Xで受信するまでの電波到達時間をt
A、周辺機である航空機1Bが電波信号を送信してから対象機1Xで受信するまでの電波到達時間をt
B、周辺機である航空機1Cが電波信号を送信してから対象機1Xで受信するまでの電波到達時間をt
Cとする。電波信号の伝播速度はcとする。この場合、周辺機の各衛星測位装置50が算出した位置誤差をε
GPS、周辺機の計時装置60が算出した時刻と対象機の計時装置60が算出した時刻との時刻同期ずれをt
SYNCとすると、対象機となる航空機1Xの位置Xは以下の式(1)、(2)、(3)を満たす。この式(1)、(2)、(3)を満たす位置Xの範囲は、上述した周辺機の位置誤差や、周辺機と対象機との時刻の同期誤差による影響が含まれる。
【0019】
【0020】
【0021】
【0022】
従って、位置推定装置10は撮影装置から得た画像を用いて対象機の位置Xの範囲を補正することにより位置Xの推定精度を高める。
【0023】
図5は撮影画像に写る周辺機の方向の算出例を示す図である。
図5を用いて、撮影画像に写る周辺機の方向の算出例の一態様を説明する。対象機(航空機1X)の進行方向をz軸とみなし、進行方向zに垂直で対象機の位置を面上に含む垂直面αとz軸に垂直で周辺機の位置を面上に含む垂直面βとの距離をd、対象機と周辺機とを結ぶ直線をr、z軸と直線rとの角度をθ、直線rを垂直面αに射影した場合の当該垂直面αにおいて対応する直線と垂直面αにおいて対象機を原点とした水平軸(x軸)との角度をφとする。垂直面αを撮影画像と見做し、当該撮影画像において対象機を基準とした周辺機の方向はφと特定することができる。そして撮影画像に写る周辺機の方向(周辺機方向)はθとφにより特定することができる。θは下記の式(4)により算出することができる。
【0024】
【0025】
なおz軸方向の距離d(垂直面αと垂直面βの距離)は、撮影装置40で撮影した画像内の対象機の大きさのピクセル数と実際の機体長の比率、カメラの焦点距離により求めることができる。
【0026】
図6は画像に基づいた周辺機の位置情報の補正処理の概要を示す図である。
第二方向算出部14は、上述の通り周辺機方向(θ,φ)を算出する。第二方向算出部14は周辺機(航空機1A)の周辺機方向(θ,φ)を位置推定部15へ出力する。位置推定部15は、式(1)における周辺機(航空機1A)の位置A(x
A、y
A、z
A)を式(5)、(6)、(7)により補正した位置A’(x’
A、y’
A、z’
A)を算出する。
【0027】
【0028】
【0029】
【0030】
位置推定部15は、式(1)における位置Aを式(5)、(6)、(7)により補正した位置A’に置き換える(式(8))。これにより、位置推定装置10は撮影装置40から得た画像を用いて対象機の位置Xの範囲を補正することができる。
【0031】
【0032】
(第1実施形態)
図7は第1実施形態による周辺機と対象機の位置推定装置の処理フローを示す図である。次に周辺機の位置推定装置10と、対象機の位置推定装置10の処理フローを、順を追って説明する。まず対象機(航空機1X)において衛星測位装置50の故障が検知されたとする。この場合、対象機は周辺機(航空機1A、1B、1C)から送信される電波信号の受信を待機する。周辺機(航空機1A、1B、1C)において計時装置60が計時する時刻は同期している。
【0033】
周辺機(航空機1A、1B、1C)の位置推定装置10において送信部16は、衛星測位装置50の算出した位置情報を取得する(ステップS101)。また周辺機(航空機1A、1B、1C)の位置推定装置10において送信部16は、計時装置60の算出した時刻情報を取得する(ステップS102)。送信部16は位置情報と時刻情報とを含む電波信号を定期的にアンテナ30から送信する(ステップS103)。
【0034】
対象機(航空機1X)の受信部11はアンテナ30を介して周辺機(航空機1A、1B、1C)から送信された各電波信号を受信する(ステップS201)。受信部11は、各電波信号に含まれる情報(位置情報、時刻情報)を位置推定部15へ出力する。位置推定部15は、式(1)、式(2)、式(3)を用いて、対象機(航空機1X)の位置Xの位置範囲を推定する(ステップS202)。当該位置範囲の算出は三角測量の技術を用いてよい。
【0035】
この位置Xの位置範囲の推定において、電波信号の受信は同時でない場合もある。この場合、位置推定部15は、位置推定に必要な電波信号の数のうち、最初に受信した電波信号の受信時刻を基準とする。位置推定部15は、当該基準の受信時刻と、その後に受信する電波信号の受信時刻との間において発生した、その電波信号を発信した周辺機と対象機との相対移動量を打ち消すように当該電波信号に含まれる位置情報を補正する。そしてその補正後の位置情報を用いて、対象機(航空機1X)の位置Xの位置範囲を推定するようにしてよい。
【0036】
基準の受信時刻と、その後に受信する電波信号の受信時刻との間において発生した、その電波信号を発信した周辺機と対象機との相対移動量は、定期的に周辺機から受信した電波信号に基づいて算出した当該周辺機との距離の変化に基づいて算出するようにしてよい。
【0037】
他方、第一方向算出部13は、各電波信号に基づいて電波到来方向を推定する。この電波到来方向は、アンテナ30がアレイアンテナ等である場合において、受信した各アンテナ30の信号を用いて公知の技術により推定してよい。第一方向算出部13は各電波信号に基づいて算出した電波到来方向を撮影制御部12へ出力する。撮影制御部12は、各電波信号に基づいて算出された電波到来方向と、現在の撮影装置40の撮影方向とを比較して、最も現在の撮影装置40の撮影方向に方向が近い電波到来方向を選択する。撮影制御部12は、選択した電波到来方向に撮影装置40の撮影方向が向くように駆動量を算出し、その駆動量を用いて撮影装置40のアームの回転を制御する。なお、第一方向算出部13は、各電波信号のうちの何れか一つの電波信号の電波到来方向のみを算出し、撮影制御部12がその電波到来方向に撮影装置40の撮影方向が向くように制御してもよい。電波到来方向を算出する対象の一つの電波信号は、最も早く受信した電波信号であってもよい。
【0038】
撮影制御部12は駆動量を用いて電波到来方向に撮影装置40の撮影方向が向くように制御すると、撮影を指示する。撮影装置40は撮影指示に基づいて周辺機を撮影する。撮影装置制御部12は撮影装置40から画像を取得する。当該処理は、撮影制御部12が、電波信号に基づいて一つの周辺機を含む画角に撮影装置の撮影方向を駆動する駆動量を算出し、その駆動量に基づいて撮影方向の撮影方向を制御して画像を取得する処理の一態様である。撮影制御部12は画像を第二方向算出部14へ出力する。第二方向算出部14は、
図5を用いて説明した手法により、周辺機方向(θ,φ)を算出する(ステップS203)。第二方向算出部14は、周辺機方向(θ,φ)を位置推定部15へ出力する。
【0039】
なお撮影装置40が魚眼レンズや広角レンズを有するものである場合、撮影装置40の撮影方向を変更しなくとも、撮影装置40が生成した画像には周辺機が映る。従って、撮影装置40が魚眼レンズや広角レンズを有するものである場合、位置推定装置10の第一方向算出部13は、電波到来方向を算出せずともよい。第二方向算出部14は、例えば、魚眼レンズや広角レンズにより撮影された画像の一部を、公知の技術により変換(歪み補正等)して
図5で示した垂直面αを生成し、その垂直面αを用いて周辺機方向(θ,φ)を上記と同様に算出してよい。
【0040】
また撮影装置40は、光学センサや距離画像センサであってよい。光学センサは例えば高感度カメラ、赤外線カメラなどである。距離画像センサはTOF(Time of Flight)センサやLiDAR(Laser Imaging Detection and Ranging)である。
【0041】
位置推定部15は、周辺機方向(θ,φ)を用いて撮影画像に写る周辺機の位置情報を、式(5)、(6)、(7)により補正する。そして位置推定部15は補正後の位置情報に基づいて、式(1)から式(8)を導き、位置推定部15は、式(8)、式(2)、式(3)を用いて、対象機(航空機1X)の位置Xの位置範囲を推定する(ステップS204)。
【0042】
このような処理により、位置推定装置10は、自装置の備わる対象機(航空機1X)の位置の範囲をより高精度に算出することができる。
【0043】
(第2実施形態)
第1実施形態においては、複数の電波信号に基づいて対象機の位置Xの位置範囲を推定した後に、撮影画像から得た1つの周辺機(航空機1A)の方向(θ,φ)をフィードバックして当該位置Xの位置範囲を推定している。しかしながら、他の方法において、位置推定装置10は、電波信号を受信すると共に、撮影装置40により撮影した画像を取得し、式(8)、(2)、(3)を用いて直ちに、対象機(航空機1X)の位置Xの位置範囲を推定するようにしてもよい。
【0044】
図8は第2実施形態による周辺機と対象機の位置推定装置の処理フローを示す図である。次に第2実施形態による、周辺機の位置推定装置10と、対象機の位置推定装置10の処理フローを、順を追って説明する。第1実施形態と同様に、対象機(航空機1X)において衛星測位装置50の故障が検知されたとする。この場合、対象機は周辺機(航空機1A、1B、1C)から送信される電波信号の受信を待機する。周辺機(航空機1A、1B、1C)において計時装置60が計時する時刻は同期している。
【0045】
周辺機(航空機1A、1B、1C)の位置推定装置10において送信部16は、衛星測位装置50の算出した位置情報を取得する(ステップS301)。また周辺機(航空機1A、1B、1C)の位置推定装置10において送信部16は、計時装置60の算出した時刻情報を取得する(ステップS302)。送信部16は位置情報と時刻情報とを含む電波信号を定期的にアンテナ30から送信する(ステップS303)。周辺機における処理は第1実施形態と同様である。
【0046】
対象機(航空機1X)の受信部11はアンテナ30を介して周辺機(航空機1A、1B、1C)から送信された各電波信号を受信する(ステップS401)。受信部11は、各電波信号に含まれる情報(位置情報、時刻情報)を位置推定部15へ出力する。
【0047】
他方、第一方向算出部13は、各電波信号に基づいて電波到来方向を推定する。この電波到来方向は、アンテナ30がアレイアンテナ等である場合において、受信した各アンテナ30の信号を用いて公知の技術により推定してよい。第一方向算出部13は各電波信号に基づいて算出した電波到来方向を撮影制御部12へ出力する。撮影制御部12は、各電波信号に基づいて算出された電波到来方向と、現在の撮影装置40の撮影方向とを比較して、最も現在の撮影装置40の撮影方向に方向が近い電波到来方向を選択する。撮影制御部12は、選択した電波到来方向に撮影装置40の撮影方向が向くように駆動量を算出し、この駆動量を用いて撮影装置40のアームの回転を制御する。なお、第一方向算出部13は、各電波信号のうちの何れか一つの電波信号の電波到来方向のみを算出し、撮影制御部12がその電波到来方向に撮影装置40の撮影方向が向くように制御してもよい。電波到来方向を算出する対象の一つの電波信号は、最も早く受信した電波信号であってもよい。
【0048】
撮影制御部12は電波到来方向に撮影装置40の撮影方向が向くように制御すると、撮影を指示する。撮影装置40は撮影指示に基づいて周辺機を撮影する。撮影装置制御部12は撮影装置40から画像を取得する。撮影制御部12は画像を第二方向算出部14へ出力する。第二方向算出部14は、
図5を用いて説明した手法により、周辺機方向(θ,φ)を算出する(ステップS402)。第二方向算出部14は、周辺機方向(θ,φ)を位置推定部15へ出力する。
【0049】
位置推定部15は、周辺機方向(θ,φ)を用いて撮影画像に写る周辺機の位置情報を、式(5)、(6)、(7)により補正する。そして位置推定部15は補正後の位置情報に基づいて式(9)を導き、位置推定部15は、式(9)、式(1)、式(2)を用いて、対象機(航空機1X)の位置Xの位置範囲を推定する(ステップS403)。当該位置範囲の算出は三角測量の技術を用いてよい。なお式(9)は上記式(8)と同じ式である。
【0050】
【0051】
【0052】
【0053】
第2実施形態においても、位置Xの位置範囲の推定において、電波信号の受信は同時でない場合もある。この場合、位置推定部15は、位置推定に必要な電波信号の数のうち、最初に受信した電波信号の受信時刻を基準とする。位置推定部15は、当該基準の受信時刻と、その後に受信する電波信号の受信時刻との間において発生した、その電波信号を発信した周辺機と対象機との相対移動量を打ち消すように当該電波信号に含まれる位置情報を補正する。そしてその補正後の位置情報を用いて、対象機(航空機1X)の位置Xの位置範囲を推定するようにしてよい。
【0054】
基準の受信時刻と、その後に受信する電波信号の受信時刻との間において発生した、その電波信号を発信した周辺機と対象機との相対移動量は、定期的に周辺機から受信した電波信号に基づいて算出した当該周辺機との距離の変化に基づいて算出するようにしてよい。
【0055】
第2実施形態においても、撮影装置40が魚眼レンズや広角レンズを有するものである場合、撮影装置40の撮影方向を変更しなくとも、撮影装置40が生成した画像には周辺機が映る。従って、撮影装置40が魚眼レンズや広角レンズを有するものである場合、位置推定装置10の第一方向算出部13は、電波到来方向を算出せずともよい。第二方向算出部14は、例えば、魚眼レンズや広角レンズにより撮影された画像の一部を、公知の技術により変換(歪み補正等)して
図5で示した垂直面αを生成し、その垂直面αを用いて周辺機方向(θ,φ)を上記と同様に算出してよい。
【0056】
第2実施形態においても、撮影装置40は、光学センサや距離画像センサであってよい。光学センサは例えば高感度カメラ、赤外線カメラなどである。距離画像センサはTOF(Time of Flight)センサやLiDAR(Laser Imaging Detection and Ranging)である。
【0057】
ここで第1実施形態や第2実施形態の説明において、1つの周辺機(航空機1A)の位置情報のみ撮影画像を用いて補正し、当該補正後の周辺機(航空機1A)の位置情報を用いた式(8)(=式(9))、式(2)、式(3)を用いて対象機(航空機1X)の位置Xの位置範囲を推定している。しかしながら、撮影画像に複数の周辺機が映る場合や、複数の撮影画像のそれぞれで複数の周辺機が順に撮影できる場合には、さらに複数の周辺機の位置情報を補正して、同様に対象機(航空機1X)の位置Xの位置範囲を推定してもよい。この場合、例えば対象機(航空機1B)の位置B(xB、yB、zB)を、上記の式(5)、(6)、(7)と同様の式により補正した位置B’(x’B、y’B、z’B)を算出し、この位置B’により位置Bを補正した式(2)に対応する式を用いて、上記同様に対象機(航空機1X)の位置Xの位置範囲を推定する。同様に位置C’により位置Cを補正した式(3)に対応する式を用いて、上記同様に対象機(航空機1X)の位置Xの位置範囲を推定する。
【0058】
上述の第1実施形態や第2実施形態において、位置推定装置10は推定した対象機(航空機1A)の位置Xの位置範囲を飛行制御装置20へ出力してよい。そして飛行制御装置20は、推定された対象機(航空機1X)の位置Xの位置の範囲に基づいて対象機(航空機1X)と周辺機(航空機1A、1B、1C)との位置関係を維持する移動制御を行うようにしてもよい。例えば、飛行制御装置20は、周辺機(航空機1A、1B、1C)の位置情報(座標)と、対象機(航空機1X)の位置Xの位置の範囲(座標の範囲)とを比較して、対象機が何れかの周辺機に近づいていると判定した場合、その近づいている周辺機から遠ざかり、周辺機(航空機1A、1B、1C)の各座標による三角形の範囲のほぼ中央付近に移動するよう飛行制御を行うようにしてよい。
【0059】
上述の実施形態の説明では、対象機と周辺機が航空機1である場合の例を示している。航空機1は、ドローンなどの無人航空機であってよい。または対象機や周辺機は、他の移動体(移動装置)であってもよい。例えば対象機や周辺機は、自動車であってもよい。また対象機や周辺機は無人で移動する移動装置でなく、人により運転される移動装置であってもよい。
【0060】
図9はこの開示の一実施形態による位置推定装置の最小構成を示す機能ブロック図である。
図10はこの開示の一実施形態の最小構成の位置推定装置による処理フローを示す図である。
【0061】
位置推定装置10は少なくとも、受信手段101、方向算出手段102、位置推定手段103を備える。
受信手段101は、対象機の周辺に位置する複数の周辺機から送信された電波信号であって当該電波信号を送信した周辺機の位置情報を含む電波信号を受信する(ステップS1001)。
方向算出手段102は、複数の周辺機のうちの少なくとも一つの周辺機の撮影により生成された画像に基づいて当該画像に写る周辺機の対象機を基準とする方向を算出する(ステップS1002)。
位置推定手段103は、画像に写る周辺機の方向と、電波信号とに基づいて、周辺機の位置との関係における対象機の位置の範囲を推定する(ステップS1003)。
【0062】
上記の位置推定装置10のプログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0063】
(ハードウェア構成)
図11は本実施形態による位置推定装置のハードウェア構成図である。
この図が示すように位置推定装置10は、CPU(Central Processing Unit)101、ROM(Read Only Memory)102、RAM(Random Access Memory)103、HDD(Hard Disk Drive)104、通信モジュール105等の各ハードウェアを備えたコンピュータであってよい。
【0064】
上述の位置推定装置10における上記各処理の過程に対応するプログラムが上記コンピュータの読み取り可能な記録媒体に記憶されており、このプログラムを上記コンピュータが読み出して実行することによって、上記各処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD-ROM、DVD-ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
【0065】
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
【0066】
以上、この開示の位置推定装置を説明したが、この開示は上述の実施の形態に限定されるものではない。この開示の構成や詳細には、この開示のスコープ内で当業者が理解し得る様々な変更をすることができる。そして、各実施の形態は、適宜他の実施の形態と組み合わせることができる。
【0067】
なお、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0068】
(付記1)
対象機の周辺に位置する複数の周辺機から送信された電波信号であって当該電波信号を送信した周辺機の位置情報を含む電波信号を受信する受信手段と、
前記複数の周辺機のうちの少なくとも一つの周辺機の撮影により生成された画像に基づいて当該画像に写る周辺機の前記対象機を基準とする方向を算出する方向算出手段と、
前記画像に写る周辺機の方向と、前記電波信号とに基づいて、前記周辺機の位置との関係における前記対象機の位置の範囲を推定する位置推定手段と、
を備える位置推定装置。
【0069】
(付記2)
前記撮影により前記画像を生成する撮影装置を制御する撮影制御手段を備える付記1に記載の位置推定装置。
【0070】
(付記3)
前記位置推定手段は、
前記電波信号に基づいて前記対象機の第一の位置の範囲を推定し、
前記画像に写る周辺機の前記対象機を基準とする方向に基づいて前記第一の位置の範囲を補正する
付記2に記載の位置推定装置。
【0071】
(付記4)
前記撮影制御手段は、前記電波信号に基づいて前記一つの周辺機を含む画角に前記撮影装置の撮影方向を駆動する駆動量を算出し、その駆動量に基づいて前記撮影方向の撮影方向を制御して前記画像を取得する、
付記2または付記3に記載の位置推定装置。
【0072】
(付記5)
前記撮影制御手段は、魚眼レンズまたは広角レンズを備えた前記撮影装置を制御して前記画像を取得する、
付記2または付記3に記載の位置推定装置。
【0073】
(付記6)
前記撮影装置は光学センサまたは距離画像センサである
付記2または付記3に記載の位置推定装置。
【0074】
(付記7)
前記対象機に格納された付記2または付記3に記載の位置推定装置。
【0075】
(付記8)
前記補正後の前記対象機の位置の範囲に基づいて前記周辺機との位置関係を維持する移動制御手段と、
を備える付記3に記載の位置推定装置。
【0076】
(付記9)
付記1または付記2に記載の位置推定装置の推定した前記対象機の位置と前記周辺機の位置との関係に基づいて前記対象機と前記周辺機の衝突防止処理を行う衝突防止装置。
【0077】
(付記10)
対象機の周辺に位置する複数の周辺機から送信された電波信号であって当該電波信号を送信した周辺機の位置情報を含む電波信号を受信し、
前記複数の周辺機のうちの少なくとも一つの周辺機の撮影により生成された画像に基づいて当該画像に写る周辺機の前記対象機を基準とする方向を算出し、
前記画像に写る周辺機の方向と、前記電波信号とに基づいて、前記周辺機の位置との関係における前記対象機の位置の範囲を推定する
位置推定方法。
【0078】
(付記11)
前記撮影により前記画像を生成する撮影装置を制御する
付記10に記載の位置推定方法。
【0079】
(付記12)
前記電波信号に基づいて前記対象機の第一の位置の範囲を推定し、
前記画像に写る周辺機の前記対象機を基準とする方向に基づいて前記第一の位置の範囲を補正する
付記11に記載の位置推定方法。
【0080】
(付記13)
前記電波信号に基づいて前記一つの周辺機を含む画角に前記撮影装置の撮影方向を駆動する駆動量を算出し、その駆動量に基づいて前記撮影方向の撮影方向を制御して前記画像を取得する、
付記11または付記12に記載の位置推定方法。
【0081】
(付記14)
魚眼レンズまたは広角レンズを備えた前記撮影装置を制御して前記画像を取得する、
付記11または付記12に記載の位置推定方法。
【0082】
(付記15)
前記撮影装置は光学センサまたは距離画像センサである
付記11または付記12に記載の位置推定方法。
【0083】
(付記16)
前記対象機に格納された付記11または付記12に記載の位置推定方法。
【0084】
(付記17)
前記補正後の前記対象機の位置の範囲に基づいて前記周辺機との位置関係を維持する
付記12に記載の位置推定方法。
【0085】
(付記18)
付記10に記載の位置推定方法により推定した前記対象機の位置と前記周辺機の位置との関係に基づいて前記対象機と前記周辺機の衝突防止処理を行う衝突防止方法。
【0086】
(付記19)
対象機の周辺に位置する複数の周辺機から送信された電波信号であって当該電波信号を送信した周辺機の位置情報を含む電波信号を受信する受信手段を備えた位置推定装置のコンピュータを、
前記複数の周辺機のうちの少なくとも一つの周辺機の撮影により生成された画像に基づいて当該画像に写る周辺機の前記対象機を基準とする方向を算出する方向算出手段と、
前記画像に写る周辺機の方向と、前記電波信号とに基づいて、前記周辺機の位置との関係における前記対象機の位置の範囲を推定する位置推定手段、
として機能させるプログラム。
【0087】
(付記20)
前記撮影により前記画像を生成する撮影装置を制御する撮影制御手段を備える付記19に記載のプログラム。
【0088】
(付記21)
前記位置推定手段は、
前記電波信号に基づいて前記対象機の第一の位置の範囲を推定し、
前記画像に写る周辺機の前記対象機を基準とする方向に基づいて前記第一の位置の範囲を補正する
付記20に記載のプログラム。
【0089】
(付記22)
前記撮影制御手段は、前記電波信号に基づいて前記一つの周辺機を含む画角に前記撮影装置の撮影方向を駆動する駆動量を算出し、その駆動量に基づいて前記撮影方向の撮影方向を制御して前記画像を取得する、
付記20または付記21に記載のプログラム。
【0090】
(付記23)
前記撮影制御手段は、魚眼レンズまたは広角レンズを備えた前記撮影装置を制御して前記画像を取得する、
付記20または付記21に記載のプログラム。
【0091】
(付記24)
前記撮影装置は光学センサまたは距離画像センサである
付記20または付記21に記載のプログラム。
【0092】
(付記25)
前記対象機に格納された付記20または付記21に記載のプログラム。
【0093】
(付記26)
前記補正後の前記対象機の位置の範囲に基づいて前記周辺機との位置関係を維持する移動制御手段と、
を備える付記21に記載のプログラム。
【0094】
(付記27)
付記19または付記20に記載のプログラムを実行する位置推定装置の推定した前記対象機の位置と前記周辺機の位置との関係に基づいて前記対象機と前記周辺機の衝突防止処理を、衝突防止装置のコンピュータに実行させるプログラム。
【符号の説明】
【0095】
1、1A、1B、1C、1X・・・航空機(移動装置)
10・・・位置推定装置
11・・・受信部(受信手段101)
12・・・撮影制御部
13・・・第一方向算出部
14・・・第二方向算出部(方向算出手段102)
15・・・位置推定部(位置推定手段103)
16・・・送信部
20・・・飛行制御装置
30・・・アンテナ
40・・・撮影装置
50・・・衛星測位装置
60・・・計時装置
100・・・飛行制御システム