IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 日本電気株式会社の特許一覧

特開2024-138748位置推定装置、位置推定方法及びプログラム
<>
  • 特開-位置推定装置、位置推定方法及びプログラム 図1
  • 特開-位置推定装置、位置推定方法及びプログラム 図2
  • 特開-位置推定装置、位置推定方法及びプログラム 図3
  • 特開-位置推定装置、位置推定方法及びプログラム 図4
  • 特開-位置推定装置、位置推定方法及びプログラム 図5
  • 特開-位置推定装置、位置推定方法及びプログラム 図6
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024138748
(43)【公開日】2024-10-09
(54)【発明の名称】位置推定装置、位置推定方法及びプログラム
(51)【国際特許分類】
   G06T 7/70 20170101AFI20241002BHJP
【FI】
G06T7/70 A
【審査請求】未請求
【請求項の数】10
【出願形態】OL
(21)【出願番号】P 2023049410
(22)【出願日】2023-03-27
(71)【出願人】
【識別番号】000004237
【氏名又は名称】日本電気株式会社
(74)【代理人】
【識別番号】100109313
【弁理士】
【氏名又は名称】机 昌彦
(74)【代理人】
【識別番号】100149618
【弁理士】
【氏名又は名称】北嶋 啓至
(72)【発明者】
【氏名】荒井 貴成
(72)【発明者】
【氏名】浅川 義博
(72)【発明者】
【氏名】八幡 正典
(72)【発明者】
【氏名】石川 和広
(72)【発明者】
【氏名】大場 隆宏
(72)【発明者】
【氏名】板倉 州優
(72)【発明者】
【氏名】田中 優美
(72)【発明者】
【氏名】安達 英夫
【テーマコード(参考)】
5L096
【Fターム(参考)】
5L096CA02
5L096FA66
5L096FA69
5L096JA09
(57)【要約】
【課題】 移動体の位置を推定できる環境に関する条件を緩和しながら、GNSSを使用できない場合であっても位置を推定できる位置推定装置などを提供する。
【解決手段】 本開示の一態様に係る位置推定装置10は、飛翔体に搭載された撮像装置を用いて撮像された画像を取得する取得部110と、少なくとも外形形状の特徴および三次元位置が記録されている登録対象の各々の特徴と、前記画像とに基づいて、前記画像に含まれている前記登録対象を検出する検出部120と、前記画像における前記登録対象の位置である二次元位置と、検出された前記登録対象の前記三次元位置とを使用して、前記飛翔体の三次元位置を推定する推定部130と、推定した前記三次元位置を出力する出力部140と、を備える。
【選択図】 図1
【特許請求の範囲】
【請求項1】
飛翔体に搭載された撮像装置を用いて撮像された画像を取得する取得手段と、
少なくとも外形形状の特徴および三次元位置が記録されている登録対象の各々の特徴と、前記画像とに基づいて、前記画像に含まれている前記登録対象を検出する検出手段と、
前記画像における前記登録対象の位置である二次元位置と、検出された前記登録対象の前記三次元位置とを使用して、前記飛翔体の三次元位置を推定する推定手段と、
推定した前記三次元位置を出力する出力手段と、
を備える位置推定装置。
【請求項2】
前記登録対象の前記三次元位置は、前記登録対象の前記特徴である登録特徴と関連付けられ、
前記画像から照合対象の特徴である抽出特徴を抽出する抽出手段と、
前記抽出特徴と、前記登録特徴との照合を行う照合手段と、
をさらに備え、
前記検出手段は、前記照合の結果によって前記登録特徴とマッチすることが示される前記抽出特徴が抽出された、前記画像における場所を、前記登録対象の前記二次元位置として検出する
請求項1に記載の位置推定装置。
【請求項3】
前記取得手段は、前記飛翔体に搭載されたセンサによって検出された、三次元位置が得られている基準局からの基準電波の情報を取得し、
前記推定手段は、前記基準電波の情報を使用して、前記基準局から前記飛翔体までの距離を推定し、推定した前記距離と前記基準局の位置とをさらに使用して、前記飛翔体の前記位置を推定する
請求項1又は2に記載の位置推定装置。
【請求項4】
前記検出手段は、前記登録対象として、構造物の特徴部分、及び、自然の地形の特徴部分の少なくともいずれかを検出する
請求項1又は2に記載の位置推定装置。
【請求項5】
前記抽出手段は、前記照合対象の特徴として、構造物の特徴部分の特徴、及び、自然の地形の特徴部分の特徴の少なくともいずれかを抽出する
請求項2に記載の位置推定装置。
【請求項6】
前記取得手段は、前記飛翔体に搭載されたセンサによって検出された、前記飛翔体の地表面からの高さの情報を取得し、
前記推定手段は、前記高さの情報を更に使用して、前記飛翔体の前記三次元位置を推定する
請求項1又は2に記載の位置推定装置。
【請求項7】
前記取得手段は、三次元位置が得られている測定装置によって測定された、前記測定装置から前記飛翔体の相対位置を取得し、
前記推定手段は、前記相対位置をさらに使用して、前記飛翔体の前記三次元位置を推定する
請求項1又は2に記載の位置推定装置。
【請求項8】
飛翔体に搭載された撮像装置を用いて撮像された画像を取得し、
少なくとも外形形状の特徴および三次元位置が記録されている登録対象の各々の特徴と、前記画像とに基づいて、前記画像に含まれている前記登録対象を検出し、
前記画像における前記登録対象の位置である二次元位置と、検出された前記登録対象の前記三次元位置とを使用して、前記飛翔体の三次元位置を推定し、
推定した前記三次元位置を出力する、
位置推定方法。
【請求項9】
前記登録対象の前記三次元位置は、前記登録対象の前記特徴である登録特徴と関連付けられ、
前記画像から照合対象の特徴である抽出特徴を抽出し、
前記抽出特徴と、前記登録特徴との照合を行い、
前記照合の結果によって前記登録特徴とマッチすることが示される前記抽出特徴が抽出された、前記画像における場所を、前記登録対象の前記二次元位置として検出する
請求項8に記載の位置推定方法。
【請求項10】
飛翔体に搭載された撮像装置を用いて撮像された画像を取得する取得処理と、
少なくとも外形形状の特徴および三次元位置が記録されている登録対象の各々の特徴と、前記画像とに基づいて、前記画像に含まれている前記登録対象を検出する検出処理と、
前記画像における前記登録対象の位置である二次元位置と、検出された前記登録対象の前記三次元位置とを使用して、前記飛翔体の三次元位置を推定する推定処理と、
推定した前記三次元位置を出力する出力処理と、
をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、位置を推定する技術に関する。
【背景技術】
【0002】
ドローンなどの飛翔体は、一般的に、GPS(Global Positioning System)等のGNSS(Global Navigation Satellite System)を使用して位置の推定を行う。しかし、GNSSを使用するための機器の故障叉は異常等の発生によって、飛翔体の位置を推定できなくなることがある。特に飛翔体が飛翔している間に、飛翔体の位置を推定できなくなると、衝突等の事故が発生する恐れがある。
【0003】
特許文献1には、樹木が茂る環境において移動する移動体に搭載されたLiDARセンサによって得られた点群データによって示される樹木の幹部の分布と、環境地図データとのマッチングを行うことにより、移動体の位置を推定する方法が記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】国際公開第2022/107588号
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献1の技術は、樹木の幹部の分布を使用して、移動体の位置を推定する。従って、特許文献1の技術では、樹木が茂る環境の外において、移動体の位置を推定することはできない。言い換えると、特許文献1の技術では、移動体の位置を推定できる環境が限られる。
【0006】
本開示の目的の1つは、移動体の位置を推定できる環境に関する条件を緩和しながら、GNSSを使用できない場合であっても位置を推定できる位置推定装置などを提供することである。
【課題を解決するための手段】
【0007】
本開示の一態様に係る位置推定装置は、飛翔体に搭載された撮像装置を用いて撮像された画像を取得する取得手段と、少なくとも外形形状の特徴および三次元位置が記録されている登録対象の各々の特徴と、前記画像とに基づいて、前記画像に含まれている前記登録対象を検出する検出手段と、前記画像における前記登録対象の位置である二次元位置と、検出された前記登録対象の前記三次元位置とを使用して、前記飛翔体の三次元位置を推定する推定手段と、推定した前記三次元位置を出力する出力手段と、を備える。
【0008】
本開示の一態様に係る位置推定方法は、飛翔体に搭載された撮像装置を用いて撮像された画像を取得し、少なくとも外形形状の特徴および三次元位置が記録されている登録対象の各々の特徴と、前記画像とに基づいて、前記画像に含まれている前記登録対象を検出し、前記画像における前記登録対象の位置である二次元位置と、検出された前記登録対象の前記三次元位置とを使用して、前記飛翔体の三次元位置を推定し、推定した前記三次元位置を出力する。
【0009】
本開示の一態様に係るプログラムは、飛翔体に搭載された撮像装置を用いて撮像された画像を取得する取得処理と、少なくとも外形形状の特徴および三次元位置が記録されている登録対象の各々の特徴と、前記画像とに基づいて、前記画像に含まれている前記登録対象を検出する検出処理と、前記画像における前記登録対象の位置である二次元位置と、検出された前記登録対象の前記三次元位置とを使用して、前記飛翔体の三次元位置を推定する推定処理と、推定した前記三次元位置を出力する出力処理と、をコンピュータに実行させる。
【発明の効果】
【0010】
本開示には、移動体の位置を推定できる環境に関する条件を緩和しながら、GNSSを使用できない場合であっても位置を推定できるという効果がある。
【図面の簡単な説明】
【0011】
図1図1は、本開示の第1の実施形態に係る位置推定装置の構成の例を表すブロック図である。
図2図2は、本開示の第1の実施形態に係る位置推定装置の動作の例を表すフローチャートである。
図3図3は、本開示の第2の実施形態に係る位置推定装置の構成の例を表すブロック図である。
図4図4は、本開示の第2の実施形態に係る位置推定装置の動作の例を表すフローチャートである。
図5図5は、本開示の第2の実施形態の第2の変形例に係る位置推定装置の構成の例を表すブロック図である。
図6図6は、本開示の実施形態に係る位置推定装置を実現することができる、コンピュータのハードウェア構成の一例を表す図である。
【発明を実施するための形態】
【0012】
以下では、本開示の実施形態について、図面を使用して詳細に説明する。
【0013】
<第1の実施形態>
まず、本開示の第1の実施形態について、図面を使用して詳細に説明する。
【0014】
<構成>
図1は、本開示の第1の実施形態に係る位置推定装置の構成の例を表すブロック図である。図1に示す例では、本開示の第1の実施形態に係る位置推定装置10は、取得部110と、検出部120と、推定部130と、出力部140と、を備える。
【0015】
取得部110は、飛翔体に搭載された撮像装置を用いて撮像された画像を取得する。検出部120は、少なくとも外形形状の特徴および三次元位置が記録されている登録対象の各々の特徴と、前記画像とに基づいて、前記画像に含まれている前記登録対象を検出する。推定部130は、前記画像における前記登録対象の位置である二次元位置と、検出された前記登録対象の前記三次元位置とを使用して、前記飛翔体の三次元位置を推定する。出力部140は、推定した前記三次元位置を出力する。
【0016】
なお、本開示の飛翔体には、ジャイロ等を使用した、飛翔体の基準方向の方位と飛翔体の基準方向が水平面となす角と(言い換えると、三次元空間内における所定の座標系における、飛翔体の基準方向を表す三次元方向)を測定するセンサが搭載されている。そして、飛翔体の基準方向の三次元方向が、そのセンサによる測定によって得られる。さらに、飛翔体の基準方向の三次元方向と、飛翔体に取り付けられている撮像装置の光軸の方向との間の関係は、あらかじめ得られている。そして、撮像装置が画像を撮像した際の撮像装置の光軸の三次元方向は、例えば、飛翔体の基準方向と飛翔体に取り付けられている撮像装置の光軸の方向との間の関係と、撮像時にセンサによる三次元方向の測定の結果から得られたした飛翔体の基準方向の三次元方向とから、得られている。登録対象については、後で詳細に説明する。登録対象の三次元位置は、登録対象において特定可能な部分の三次元位置である。三次元位置は、適宜定められた座標系における座標によって表される。三次元位置は、例えば、緯度、経度、及び、高さ(例えば海抜の標高)によって表される。登録対象の画像における位置である二次元位置は、例えば、画像に設定された座標系における、上述の特定可能な部分の座標によって表される。
【0017】
推定部130は、例えば、画像おける登録対象の位置である二次元位置と、検出された登録対象の三次元位置とを使用して、登録対象の三次元位置から飛翔体が搭載する撮像装置のカメラ中心への方向を算出する。
【0018】
具体的には、推定部130は、画像おける登録対象の位置である二次元位置から、例えば撮像装置に設定された三次元座標系(以下、カメラ座標系と表記)におけるベクトルによって表される、カメラ中心から登録対象の三次元位置によって示される点への方向を算出する。
【0019】
上述のカメラ座標系と、上述の登録対象の三次元位置を示す座標(例えば、緯度、経度及び高さ)の、三次元空間内に定義された三次元座標系(以下、空間座標系)との間の変換は、三次元空間内における回転及び並進ベクトルによって表される。また、前述のカメラ中心を通り前述のカメラ座標系におけるベクトルによって表される方向の直線は、登録対象の三次元位置を通る。すなわち、登録対象の三次元位置を示す座標に上述の回転を表す変換を行った座標は、上述の直線を表す式を満たす。
【0020】
推定部130は、例えば、複数の登録対象の三次元位置の上述の式から、空間座標系の座標からカメラ座標系への変換(すなわち回転及び並進ベクトル)を表すパラメータを算出する。推定部130は、カメラ中心から登録対象の三次元位置によって示される点への方向を表すベクトルに対して、上述の変換の逆変換(すなわち、カメラ座標系の座標から空間座標系の座標への変換)を適用することによって、空間座標系における、カメラ中心から登録対象の三次元位置によって示される点への方向を表すベクトルが得られる。
【0021】
推定部130は、例えば、3つ以上の登録対象についての、登録対象の三次元位置を通り、カメラ中心から登録対象の三次元位置によって示される点への方向を表すベクトルの方向の直線に対する、距離の二乗の和が最も小さい点の座標を、例えば最小二乗法によって算出する。推定部130は、算出された座標を、飛翔体の位置とする。
【0022】
本実施形態の位置推定装置10は、例えば、飛翔体に搭載されている装置である。本実施形態の位置推定装置10は、飛翔体と例えば無線通信を介して通信可能な、飛翔体に搭載されていない装置であってもよい。位置推定装置10は、例えば、GNSSを利用した位置の推定に失敗した飛翔体からの要求に応じて、飛翔体の位置を推定する。位置推定装置10は、GNSSを利用した位置の推定が失敗したか否かに関わらず、飛翔体の位置を推定してもよい。
【0023】
<動作>
図2は、本開示の第1の実施形態に係る位置推定装置10の動作の例を表すフローチャートである。図2に示す例では、取得部110が、飛翔体に搭載された撮像装置を用いて撮像された画像を取得する(ステップS11)。次に、検出部120が、少なくとも外形形状の特徴および三次元位置が記録されている登録対象の各々の特徴と、画像とに基づいて、画像に含まれている登録対象を検出する(ステップS12)。次に、推定部130が、画像における登録対象の位置である二次元位置と、登録対象の三次元位置とを使用して、飛翔体の三次元位置を推定する(ステップS13)。そして、出力部140が、推定された三次元位置を出力する(ステップS14)。
【0024】
<効果>
移動体の位置を推定できる環境に関する条件を緩和しながら、GNSSを使用できない場合であっても位置を推定できるという効果がある。その理由は、検出部120が、飛翔体に搭載された撮像装置を用いて撮像された画像から、三次元位置が特定されている登録対象を検出するからである。そして、推定部130が、画像における登録対象の位置である二次元位置と、登録対象の三次元位置とを使用して、飛翔体の三次元位置を推定するからである。これにより、GNSSを利用して位置を検出できない場合であっても、本実施形態に係る位置推定装置は、飛翔体の位置を推定できる。また、本実施形態に係る位置推定装置は、例えば幹部を飛翔体に搭載されたLiDARによって測定できる形状の樹木が均一ではない分布で生育している環境等の特定の環境下でなくても、飛翔体の位置を推定できる。すなわち、本実施形態では、移動体(すなわち、飛翔体)の位置を推定できる環境に関する条件が緩和されている。
【0025】
<第2の実施形態>
次に、本開示の第2の実施形態について、図面を使用して詳細に説明する。
【0026】
図3は、本開示の第2の実施形態に係る位置推定装置の構成の例を表すブロック図である。図3に示す例では、本実施形態の位置推定装置100は、取得部110と、検出部120と、推定部130と、出力部140と、対象情報記憶部150とを含む。検出部120は、抽出部121と、照合部122と、位置検出部123とを含む。本実施形態の取得部110、検出部120、推定部130及び出力部140は、それぞれ、第1の実施形態の取得部110、検出部120、推定部130及び出力部140との機能と同じ機能を備える。以下では、
<取得部110>
取得部110は、飛翔体に搭載された撮像装置を用いて撮像された画像を取得する。
【0027】
<登録対象について>
登録対象は、例えば、人工的な構造物の特徴的な部分である。構造物は、ビルディングやタワーや橋梁(塔を備える橋梁を含む)等の建造物を含む。構造物は、さらに、道路等を含んでいてもよい。登録対象は、例えば、河川、山等の自然の地形の特徴的な部分であってもよい。後で詳細に説明する。特徴的な部分は、識別が可能な特徴から適宜選択された特徴であってよい。
【0028】
ビルディング及びタワーなどの特徴的な部分は、例えば、ビルディング及びタワーなどの上部である。この場合、登録対象の特徴は、上部の形状、色、窓及び窓枠等の構造、壁等のテクスチャ、描かれているロゴ及び文字の少なくともいずれか等を表す情報の組み合わせである。登録対象の三次元位置は、例えば、登録対象の上部に存在する先端部又は角のいずれか等の位置を特定可能な部位の三次元位置である。
【0029】
ビルディング、タワー及び他の建造物等の特徴的な部分は、上部に取り付けらえているマーカであってもよい。マーカの各々には、例えば固有の模様が描かれている。この場合、登録対象の特徴は、マーカの模様の情報である。登録対象の三次元位置は、マーカの特定位置(例えば、あらかじめ定義された中心等)の三次元位置である。
【0030】
塔を備える橋梁の特徴的な部分は、例えば、橋梁の橋げた、橋脚及び塔などの部分である。この場合、登録対象の特徴は、橋の構造、形状及び色などの組み合わせである。登録対象の三次元位置は、例えば、登録対象の塔の先端部又は角のいずれか等の位置を特定可能な部位の三次元位置である。
【0031】
橋梁の特徴的な部分は、例えば、橋梁と、橋梁が掛かっている位置を含む、橋梁が掛かっている河川又は道路などの一部とであってもよい。この場合、登録対象の特徴は、橋梁の構造及び色等の情報と、橋梁が掛かっている河川又は道路などの一部の形状を表す情報との組み合わせである。登録対象の三次元位置は、橋梁の中心(例えば、橋梁を通る路面の、橋梁の両端の間の部分の、長さ方向の中央であり、幅方向の中央である点)の三次元位置である。
【0032】
道路の特徴的な部分は、予め定められた複雑な構造を備える交差点(例えば、五差路以上の交差点)、交差点と道路の湾曲部との組み合わせ、あらかじめ定められた道路構造物(インターチェンジ及びジャンクション等)である。道路の特徴は、交差点の構造の情報、交差点から所定範囲内の道路の幅及び曲がり方(局率など)を表す情報(例えば、道路の中心線上の位置とその位置のおける道路の中心線の曲率とその位置において道路の中心線と直交する方向の道路の幅)、道路構造物の形状と位置とを表す情報等の、登録対象の形状(すなわち、道路の形状)を表す情報である。道路の幅及び曲がり方(局率など)を表す情報は、例えば、道路の中心線上の所定の間隔で定められた点の位置とその位置のおける道路の中心線の曲率とその位置において道路の中心線と直交する方向の道路の幅の組み合わせの情報(以下、道路の線形状情報)であってもよい。道路の幅及び曲がり方(局率など)を表す情報は、例えば、道路の領域の形状を表す画像(道路の領域情報とも表記)であってもよい。道路の領域の形状を表す画像は、例えば、道路の領域に含まれる画素の画素値が、道路の領域を表す所定値であり、道路ではない領域に含まれる画素の画素値が、道路ではない領域を表す他の所定値である画像である。この場合、1つの画素に対応する三次元空間内の領域は、あらかじめ定められたサイズの領域である。道路の特徴的な部分の三次元位置は、例えば、交差点の中心の三次元位置である。道路の特徴的な部分の三次元位置は、道路構造物のあらかじめ定められた中心の位置の三次元位置であってもよい。
【0033】
河川の特徴的な部分は、例えば、河口、三角州、合流点、分岐点などである。この場合の河川の特徴は、河口、三角州、合流点、分岐点などの、登録情報の形状(すなわち、河川の形状)を表す情報である。河川の特徴を表す情報は、例えば、河川の領域情報であってよい。河川の領域情報は、言い換えると、河川の領域の形状を表す画像であってもよい。河川の形状を表す画像は、河川の領域に含まれる画素の画素値が、河川の領域を表す所定値であり、河川ではない領域に含まれる画素の画素値が、河川ではない領域を表す他の所定値である画像である。この場合、1つの画素に対応する三次元空間内の領域は、あらかじめ定められたサイズの領域である。河川の特徴的な部分の三次元位置は、例えば、河口、三角州、合流点、分岐点などの形状に対してあらかじめ特定可能であるように定義された位置の三次元位置である。
【0034】
山は、例えば、三角点が設置されている頂上である。山が独立峰である場合、例えば、頂上から水平方向で所定距離以内に他の山の頂上が存在しない場合、山の特徴的な部分は、例えば、頂上を含む所定範囲の形状である。山頂を含む所定範囲は、例えば、頂上から水平方向で所定距離以内の領域である。この場合、登録対象の三次元位置は、頂上の三次元位置である。山が独立峰ではない場合、例えば、頂上から水平方向で所定距離以内に他の山の頂上が存在する場合、山の特徴的な部分は、互いの間の距離が所定距離以内である山頂のグループに含まれる山頂のいずれかからの距離が所定距離以内である領域であってもよい。この場合、登録対象の三次元位置は、山頂のグループに含まれる頂上のうち、最も標高が高い山頂の三次元位置である。この場合の、登録対象の三次元位置は、山頂のグループに含まれる頂上の各々の三次元位置であってもよい。
【0035】
なお、対象特徴の三次元位置として記憶されている三次元位置によって表される点を、登録特徴点と表記する。
【0036】
<対象情報記憶部150>
対象情報記憶部150は、登録特徴の情報と、その登録情報の三次元位置の情報とを記憶する。
【0037】
<検出部120>
検出部120は、抽出部121、照合部122及び位置検出部123によって、少なくとも外形形状の特徴および三次元位置が記録されている登録対象の各々の特徴と、画像とに基づいて、画像に含まれている登録対象を検出する。
【0038】
<抽出部121>
抽出部121は、飛翔体に搭載された撮像装置を用いて撮像され、取得手段によって取得された画像から、照合対象の特徴を抽出する。
【0039】
抽出部121は、まず、例えば既存の画像認識技術のいずれかを使用して、画像から、撮像された対象の種類を推定する。抽出部121は、例えば、画像において、対象の種類ごとに、対象の特徴部分を表す領域を抽出する。そして、抽出部121は、対象の種類ごとに、抽出された領域から、対象の特徴を表す情報を抽出する。対象の種類が、ビルディング及びタワーなどの建造物、又は、塔を備える橋梁である場合、抽出部121は、例えば、これらの種類の登録対象の特徴として説明した上述の特徴を抽出する。対象の種類が、河川又は道路である場合、抽出部121は、例えば、河川又は道路の上述の特徴部分の形状を表す情報(例えば、鉛直上方から撮像した場合の形状)を、撮像装置のカメラパラメータを使用して、対象の特徴を表す情報として推定する。この場合、抽出部121は、河川又は道路の上述の特徴部分の形状を、スケール倍の自由度を許して推定する。言い換えると、抽出部121は、例えば、河川又は道路の上述の特徴部分のいずれかの方向の大きさが所定サイズであると仮定した場合の、河川又は道路の上述の特徴部分の形状を推定する。対象の特徴部分が、橋梁と、橋梁が掛かっている位置を含む、橋梁が掛かっている河川又は道路などの一部とである場合、抽出部121は、同様に、対象の特徴部分の形状を、スケール倍の自由度を許して推定する。対象が山である場合、抽出部121は、山頂を表す点を含む山稜の形状(すなわち、山稜の輪郭線の形状、言い換えると、山稜と背景との境界の形状)を、対象の特徴として抽出する。特徴が抽出された対象を、照合対象と表記する。
【0040】
<照合部122>
照合部は、抽出された照合対象の特徴(以下、照合特徴とも表記)と、三次元位置が記録されている上述の登録対象の特徴(以下、登録特徴とも表記)との照合を行う。
【0041】
照合対象の種類が、ビルディング及びタワーなどの建造物、又は、塔を備える橋梁である場合、照合部122は、照合特徴と、対象情報記憶部150に格納されている、照合対象と同じ種類の登録対象の登録特徴との間の類似性の判定を行う。この場合、照合部122は、2つの特徴の間の類似性を表すスコア(類似度とも表記)の予め定義された算出方法に従って、照合特徴と登録特徴との間の類似性を表すスコアを算出する。照合部122は、算出されたスコアが類似性の高さの基準を満たす登録対象の中で、最も高い類似性を示すスコアが算出された登録対象が、照合対象とマッチする登録対象であると判定する。
【0042】
照合対象の種類が、河川又は道路である場合、照合部122は、照合特徴である形状の情報と、対象情報記憶部150に格納されている、照合対象と同じ種類の登録対象の登録特徴である形状の情報との間の類似性の判定を行う。照合対象の形状の情報及び登録対象の形状の情報が、上述の領域情報(すなわち、道路又は河川等である対象の領域を表す画像)である場合、照合部122は、まず、形状全体を拡大又は縮小する倍率と、形状全体の回転と、形状全体の平行移動とを変数として、照合特徴と登録特徴とが最も類似する、倍率、回転及び平行移動の値を算出する位置合わせを行う。照合部122は、テンプレートとして使用される登録特徴に、照合特徴をマッチさせるテンプレートマッチングの技術を使用して、位置合わせを行ってもよい。この場合、照合部122は、照合特徴と登録特徴との類似性を表すスコアとして、例えば、照合特徴を表す画像と登録特徴を表す画像とが重なっている領域における、画素値の差の絶対値の合計、又は、画素値の差の絶対値の平均値等の、あらかじめ定められている種類の統計値を算出してよい。照合部122は、算出されたスコアが類似性の高さの基準を満たす登録対象の中で、最も高い類似性を示すスコアが算出された登録対象が、照合対象とマッチする登録対象であると判定する。
【0043】
照合対象の形状の情報及び登録対象の形状の情報が、上述の道路の線形状情報、照合部122は、まず、形状全体を拡大又は縮小する倍率と、形状全体の回転と、形状全体の平行移動とを変数として、照合特徴と登録特徴とが最も類似する、倍率、回転及び平行移動の値を算出する位置合わせを行う。照合部122は、テンプレートとして使用される登録特徴に、照合特徴をマッチさせるテンプレートマッチングの技術を使用して、位置合わせを行ってもよい。ただし、照合部122は、既存の2つの曲線上の対応点を関連付ける技術を使用して、照合特徴に情報が含まれる路の中心線上の点に対応する、登録特徴に情報が含まれる路の中心線上の点を特定する。照合部122は、対応する2つの点の間の、位置、曲率及び幅の組み合わせの差を表す値(以下、差分情報値と表記)を算出する。差分情報値の算出方法は、あらかじめ定められていてよい。照合部122は、対応する2つの点の複数の組み合わせから算出される差分情報値の絶対値の和、又は、差分情報値の絶対値の平均などの、差分情報値の統計値を算出する。照合部122は、差分情報値の統計値を、照合特徴と登録特徴との間の類似性を表すスコアとしてよい。照合部122は、スコアが、最も類似していることを表す(この例では、スコアが最も小さくなる)、倍率、回転及び平行移動の値を算出する。照合部122は、対象情報記憶部150に格納されている登録対象の中で、スコアが最も類似していることを表す登録対象を、照合対象とマッチする登録情報であると判定する。
【0044】
取得部110は、飛翔体が飛翔している地域を表す情報(以下、飛翔地域情報とも表記)を例えば飛翔体から受け取ってもよい。飛翔体が飛翔している地域を表す情報は、予め飛翔体に与えられていてもよい。飛翔体が飛翔している地域を表す情報は、飛翔体を管理する装置から飛翔体に与えられてもよい。飛翔体が飛翔している地域を表す情報は、例えば、飛翔体が飛翔している位置を含む領域を表す情報である。具体的には、飛翔体が飛翔している地域を表す情報は、例えば、飛翔体が飛翔している位置を含む領域を表す地名であってもよい。その場合、地名毎に、その地名が示す領域に対してあらかじめ1つの位置(以下、代表位置と表記)が定められる。飛翔体が飛翔している地域を表す情報は、例えば、飛翔体が飛翔している位置を含む領域にあらかじめ設定された位置(すなわち、代表位置)の座標であってもよい。本実施形態の位置推定装置100によって推定される飛翔体の位置は、例えば、飛翔体が飛翔中にGNSS等を利用して位置を得ることができなくなった場合に利用される。飛翔体が飛翔している地域を表す情報は、例えば、GNSS等を利用して最後に得られた位置の情報であってもよい。この場合、飛翔体は、例えば、GNSS等を利用して得られた位置の情報を保持し、保持している、GNSS等を利用して最後に得られた位置の情報を、飛翔体が飛翔している地域を表す情報(具体的には、上述の代表位置)として出力するように構成される。
【0045】
照合特徴と登録特徴が山である場合、照合部122は、対象情報記憶部150に格納されている、山である登録対象の情報から、飛翔地域情報が示す位置(上述の代表位置)から見える、登録対象(すなわち、山)を抽出し、代表位置から見える登録対象の稜線の形状を算出する。照合部122は、照合特徴が表す稜線の形状と最も類似する稜線の形状が算出された登録対象が、照合対象とマッチする登録情報であると判定する。その際、照合部122は、例えば、照合対象の頂上を示す点に対応する、登録対象の頂上を示す点を特定する。この場合、照合部122は、まず、形状全体を拡大又は縮小する倍率と、形状全体の回転と、形状全体の平行移動とを変数として、照合特徴と登録特徴とが最も類似する、倍率及び回転の値を算出する位置合わせを行う。照合部122は、テンプレートとして使用される登録特徴に、照合特徴をマッチさせるテンプレートマッチングの技術を使用して、位置合わせを行ってもよい。照合部122は、既存の2つの曲線上の対応点を関連付ける技術を使用して、照合特徴が表す稜線上の点に対応する、登録特徴が表す稜線上の点を特定する。照合部122は、対応する2つの点の間の、位置の差を表す値(例えば距離)を算出する。照合部122は、対応する2つの点の複数の組み合わせから算出された距離の平均などの、距離の統計値を算出する。照合部122は、距離の統計値を、照合特徴と登録特徴との間の類似性を表すスコアとしてよい。照合部122は、スコアが、最も類似していることを表す(この例では、スコアが最も小さくなる)、倍率及び回転の値を算出する。照合部122は、対象情報記憶部150に格納されている登録対象の中で、スコアが最も類似していることを表す登録対象を、照合対象とマッチする登録情報であると判定する。
【0046】
上述のように、取得部110は、飛翔体が飛翔している地域を表す情報(飛翔地域情報とも表記)を例えば飛翔体から受け取ってもよい。照合部122は、飛翔地域情報によって表される地域を含む所定範囲に含まれる登録対象から、登録特徴を照合特徴と照合する登録対象を選択してもよい。飛翔地域情報によって表される地域を含む所定範囲は、例えば、飛翔地域情報が三次元空間上の位置(上述の代表位置)の座標によって表される場合、その座標に含まれる緯度及び経度を中心とする所定距離以内の領域である。飛翔地域情報によって表される地域を含む所定範囲は、例えば、飛翔地域情報が表す領域から所定距離以内の領域であってもよい。
【0047】
<位置検出部123>
位置検出部123は、照合の結果によって登録特徴とマッチすることが示される抽出特徴が抽出された、画像における場所を、登録対象の二次元位置として検出する。言い換えると、位置検出部123は、照合部122によって登録特徴とマッチすると判定された抽出特徴が抽出された画像上の場所を、登録対象の二次元位置として検出する。登録特徴とマッチすると判定された抽出特徴が抽出された画像上の場所は、具体的には、抽出対象とマッチした登録特徴の、記録されている三次元位置に対応する画素の位置である。画素の位置は、具体的には、画像に設定されている座標系における座標によって表される。
【0048】
位置検出部123は、画像から、画像処理技術及び画像認識技術等を使用して、登録特徴点に対応する画素を抽出してもよい。位置検出部123は、登録対象における、登録対象の三次元位置によって特定される点の位置から、照合特徴にマッチする登録特徴が表す登録対象が、登録特徴照合特徴に最も類似する位置に存在する場合の、登録対象の三次元位置に対応する画素の位置を、例えば算出された前述の倍率、回転及び平行移動の少なくともいずれかを使用して算出してもよい。
【0049】
<推定部130>
推定部130は、画像における登録対象の位置である二次元位置と、検出された登録対象の前記三次元位置とを使用して、飛翔体の三次元位置を、例えば上述のように三角測量の原理によって推定する。
【0050】
<出力部140>
出力部140は、例えば飛翔体に対して、推定した三次元位置を出力する。出力部140は、飛翔体の位置を取得し、飛翔体に対する制御等の指令を送信する管理装置に対して、推定した三次元位置を出力してもよい。
【0051】
<動作>
図4は、本開示の第2の実施形態に係る位置推定装置の動作の例を表すフローチャートである。図4に示す例では、まず、取得部110が、飛翔体に搭載された撮像装置を用いて撮像された画像を取得する(ステップS101)。次に、検出部120の抽出部121が、画像から照合対象の照合特徴を抽出する(ステップS102)。次に、検出部120の照合部122が、照合特徴と登録対象の登録特徴とを照合する(ステップS103)。そして、検出部120の位置検出部123が、登録特徴とマッチした照合特徴が抽出された画像上の位置を、登録対象の二次元位置として検出する(ステップS104)。次に、推定部130が、画像における登録対象の位置である二次元位置と、登録対象の三次元位置とを使用して、飛翔体の三次元位置を推定する(ステップS105)。そして、出力部140が、例えば飛翔体に対して、推定した三次元位置を出力する(ステップS106)。
【0052】
<効果>
本実施形態には、第1の実施形態と同じ効果がある。その理由は、第1の実施形態の効果が生じる理由と同様である。
【0053】
<第2の実施形態の第1の変形例>
なお、一般的に、山の稜線が飛翔体に搭載された撮像装置によって撮像される場合、飛翔体と山の頂上との間の距離は、頂上の高さと比較して長いことが多い。この場合、三角測量の原理を使用して推定された飛翔体の高さの精度が低下する可能性がある。飛翔体は、地表面から飛翔体までの高さを測定する高さセンサを備えていてもよい。そして、取得部110は、地表面から飛翔体までの高さの測定値を、飛翔体から取得してもよい。推定部130は、推定した三次元位置のうち緯度と経度とによって特定される位置の地表面の海抜の高さの情報を、例えば、対象情報記憶部150から読み出してもよい。この場合、対象情報記憶部150は、緯度及び経度によって特定される様々な地点の地表面の海抜の高さの情報を予め記憶する。推定部130は、推定した三次元位置のうち緯度と経度とによって特定される位置の地表面の海抜の高さの情報を、例えば、通信ネットワークを介して位置推定装置と通信可能である、緯度及び経度によって表される地点の標高の情報を提供する地図情報サーバから取得してもよい。これらの場合、推定部130は、地表面からの高さの測定値と、緯度及び経度によって示される地点の地表面の海抜の高さとの和を、飛翔体の三次元位置のうち高さとして算出してもよい。飛翔体は、飛翔体の海抜の高さを測定する高さセンサ(例えば気圧センサを使用した高さセンサ)を備えていてもよい。そして、取得部110は、飛翔体の海抜の高さの測定値を、飛翔体から取得してもよい。推定部130は、取得された飛翔体の海抜の高さの測定値を、飛翔体の三次元位置のうち高さとしてもよい。
【0054】
なお、推定部130は、照合対象及び登録対象が山である場合、画像における登録対象の位置である二次元位置と、検出された登録対象の前記三次元位置とを使用して、飛翔体から、照合対象にマッチした登録対象である山の山頂への方向を算出してもよい。そして、推定部130は、飛翔体から、複数の照合対象にそれぞれマッチした複数の登録対象の各々へ方向から、飛翔体の二次元位置(例えば、緯度及び経度)を算出してもよい。
【0055】
<第2の実施形態の第2の変形例>
図5は、本開示の第2の実施形態の第2の変形例に係る位置推定装置の構成の例を表すブロック図である。図5に示す例では、本変形例の位置推定部101は、第2の実施形態の位置推定装置100の各部に加えて、更新情報取得部160と、更新部170と、対象情報記憶部150とを含む。
【0056】
<対象情報記憶部150>
本実施形態の対象情報記憶部150は、第2の実施形態の対象情報記憶部150が記憶する情報(すなわち、登録対象の情報)に加えて、地表面の三次元モデルの情報を記憶する。地表面の三次元モデルは、地表面に建造物が存在しない領域における地表面の高さと、地表面に建造物が存在する領域における建造物の表面の高さとを表す情報である。地表面の三次元モデルは、さらに、人工的な建造物の色、模様、テクスチャ、構造等の情報を含む。
【0057】
<更新情報取得部160>
更新情報取得部160は、例えば通信ネットワークを介して通信可能に接続された他の装置から、地表面の三次元モデルの更新情報を取得する。この更新情報は、地表面の三次元モデルに対する変更を表す情報である。
【0058】
<更新部170>
更新部170は、更新情報取得部160が受け取った更新情報を使用して、対象情報記憶部150に格納されている地表面の三次元モデルを更新する。更新部170は、さらに、更新された地表面の三次元モデルを使用して、登録対象の情報(例えば、登録対象の特徴及び三次元位置)を更新する。更新部170は、地表面の三次元モデルのうち、登録対象として情報が記憶されている部分の情報が更新された場合に、その部分から生成される登録対象の情報を更新する。
【0059】
<第2の実施形態の第3の変形例>
取得部110は、飛翔体に搭載されたセンサによって検出された、三次元位置が得られている電波基準局(以下、基準局とも表記)からの基準電波の情報を取得してもよい。基準局は、基準電波を発信するアンテナを備え、アンテナの三次元位置が特定されている施設である。なお、基準局のアンテナの三次元位置が、基準局の三次元位置として使用される。基準電波は、例えば、予め定められたタイミングで出力された、所定のパターンのパルスの電波による信号である。基準電波の情報は、基準電波を発信した基準局の三次元位置と、基準電波が発信された時刻と基準電波が受信された時刻との差(すなわち、時間差)を含む。基準電波は、基準局ごとに異なっていてよい。飛翔体は、基準電波から、基準電波を発信した基準局を特定する。飛翔体は、基準局の三次元位置の情報を保持していてもよい。飛翔体は、基準局の三次元位置の情報を保持し、飛翔体と通信可能に接続されているサーバから、受信した基準電波を発信した基準局の三次元位置の情報を取得してもよい。
【0060】
推定部130は、基準電波の情報(具体的には、時間差)を使用して、基準局から飛翔体までの距離を推定する。そして、推定部130は、距離と基準局の位置(すなわち、三次元位置)とをさらに使用して、飛翔体の位置を推定する。具体的には、推定部130は、例えば照合対象とマッチした登録対象の数が足りない(例えば、2以下である)こと等が原因で、登録対象の二次元位置から飛翔体の位置が定まらない場合は、飛翔体と基準局との位置が推定された距離であるという条件を使用して、飛翔体の位置を推定する。推定部130は、登録対象の二次元位置から推定した飛翔体の位置を、飛翔体と基準局との位置が推定された距離を使用して変更してもよい。推定部130は、例えば、登録対象の二次元位置から推定した飛翔体の位置が、飛翔体と基準局との位置が推定された距離である範囲と離れている場合、飛翔体の位置が、飛翔体と基準局との位置が推定された距離である範囲に近づくように、飛翔体の位置を修正してもよい。
【0061】
上述のように、第1の実施形態及び第2の実施形態の推定部130は、例えば、3つ以上の登録対象についての、登録対象の三次元位置を通り、カメラ中心から登録対象の三次元位置によって示される点への方向を表すベクトルの方向の直線に対する、距離の二乗の和が最も小さい点の座標を、例えば最小二乗法によって算出する。
【0062】
本変形例では、推定部130は、基準電波の情報から算出された距離が表す球面への距離と、登録対象の三次元位置を通り、カメラ中心から登録対象の三次元位置によって示される点への方向を表すベクトルの方向の直線への距離と、の二乗の和がもっとも小さい座標が表す位置を、飛翔体の位置としてもよい。
【0063】
<第2の実施形態の第4の変形例>
地表(具体的には、地表面又は建造物)に、飛翔体を測定するセンサ(例えば、飛翔体を撮像する撮像装置、LiDAR、レーダ等)が設置されていてもよい。そして、飛翔体を測定する装置によって測定された飛翔体の情報(例えば、飛翔体が撮像された画像)と、センサの三次元位置とから、飛翔体の位置を推定する、飛翔体位置推定装置が設置されていてもよい。測定の際に、飛翔体位置推定装置は、飛翔体に対して、レーザ光及び電波などを照射するように、レーザ光及び電波などを照射する照射装置を制御してもよい。飛翔体位置推定装置は、位置推定装置100と通信可能に接続されている。
【0064】
この場合、飛翔体位置推定装置は、飛翔体の位置を算出するために、センサによって得られた測定値(例えば画像上の飛翔体の位置を表す座標)が表す直線を使用する場合、その直線から算出された飛翔体までの距離を算出する。飛翔体位置推定装置は、飛翔体の位置を算出するために、センサによって得られた測定値(例えばレーダによって得られたアンテナから飛翔体の位置までの距離)が表す平面を使用する場合、その平面から算出された飛翔体までの距離を算出する。飛翔体位置推定装置は、複数のセンサによる測定値を使用して算出された上述の距離の二乗の平均を、精度を表す値として算出してもよい。
【0065】
本変形例の取得部110は、飛翔体位置推定装置から、飛翔体位置推定装置が推定した飛翔体の位置を表す情報(以下、取得位置とも表記)を取得する。本変形例の取得部110は、飛翔体位置推定装置から、精度を表す値(以下、地表測定精度と表記)を取得してもよい。
【0066】
上述のように、推定部130は、例えば、3つ以上の登録対象についての、登録対象の三次元位置を通り、カメラ中心から登録対象の三次元位置によって示される点への方向を表すベクトルの方向の直線に対する、距離の二乗の平均が最も小さい点の座標を、例えば最小二乗法によって算出する。推定部130は、算出された座標を、飛翔体の位置とする。推定部130は、飛翔体の位置から、登録対象の三次元位置を通り、カメラ中心から登録対象の三次元位置によって示される点への方向を表すベクトルの方向の直線への距離の二乗の平均を、飛翔体の位置の精度を表す値(以下、飛翔体測定精度と表記)として算出してもよい。
【0067】
推定部130は、飛翔体から画像が取得されない場合、及び、取得した画像から3つ以上の登録対象の位置を特定できなかった場合に、飛翔体位置推定装置から取得した飛翔体の位置を、飛翔体の位置として推定してもよい。この場合、推定部130は、飛翔体から画像が取得され、取得された画像から3つ以上の登録対象の位置を特定できた場合に、飛翔体から画像を使用して推定された飛翔体の位置を、飛翔体の位置とする。
【0068】
推定部130は、飛翔体測定精度が所定の精度の高さの基準を満たさなかった場合に、飛翔体位置推定装置から取得した飛翔体の位置を、飛翔体の位置として推定してもよい。この場合、推定部130は、飛翔体測定精度が所定の精度の高さの基準を満たす場合は、飛翔体から画像を使用して推定された飛翔体の位置を、飛翔体の位置とする。
【0069】
推定部130は、飛翔体測定精度が表す精度が、地表測定精度が表す精度以上である場合に、飛翔体から画像を使用して推定された飛翔体の位置を、飛翔体の位置としてもよい。この場合、推定部130は、飛翔体測定精度が表す精度が、地表測定精度が表す精度よりも低い場合に、飛翔体位置推定装置から取得した飛翔体の位置を、飛翔体の位置とする。
【0070】
飛翔体位置推定装置は、センサから飛翔体の位置に向かう直線の情報を、位置推定装置100に送信してもよい。取得部110は、飛翔体位置推定装置は、センサから飛翔体の位置に向かう直線の情報を取得してもよい。
【0071】
この場合、推定部130は、センサから飛翔体の位置に向かう直線の情報を更に使用して、飛翔体の位置を推定してもよい。具体的には、推定部130は、登録対象の二次元位置を使用して算出した直線への距離と、飛翔体位置推定装置から情報を取得した直線への距離と、の二乗の和が最も小さくなる点の座標を、例えば最小二乗法によって、飛翔体の位置を表す座標として算出する。
【0072】
<第2の実施形態の第5の変形例>
対象情報記憶部150は、登録対象の情報として、地図情報(緯度及び経度と関連付けられた、地形及び道路の形状を表す情報)を記憶していてもよい。この場合の地形は、例えば、河川、池沼、港湾、及び、海岸線等の形状と標高の分布とを表す。また、道路の形状は、地表に敷設された道路、橋梁上の道路を含む、空中から視認できる道路の形状である。地形及び道路の形状を表す情報を、地表構造情報と表記する。地表構造情報は、1つの画素が所定サイズの領域を表す画像として記憶されていてよい。地表構造情報の画像は、例えば、画素の画素値が、画素に対応する地表面の種類(例えば、水域(河川、池沼、海面等)、道路、及び、その他の領域)毎に設定された画素である画像である。
【0073】
この場合、抽出部121は、取得された画像から、照合対象の照合特徴として、地表構造情報を抽出する。抽出部121は、例えば、取得された画像が、飛翔体から地表面までの距離を所定距離である飛翔体に搭載された撮像装置によって撮像された画像であるという設定の下で、飛翔体の撮像装置のカメラパラメータを使用して、画像から地表構造情報を抽出する。言い換えると、抽出部121は、上述の設定の下で、地表構造情報を表す、1つの画素が所定サイズの領域を表す画像を生成する。この場合、抽出部121は、地表面が水平面であるという設定の下で、地表構造情報を表す画像を生成する。飛翔体の撮像装置のカメラパラメータは、予め抽出部121に与えられる。
【0074】
そして、照合部122は、照合特徴である抽出された地表構造情報を、照合特徴である地表構造情報と照合する。具体的には、地表構造情報が画像である場合、照合部122は、テンプレートマッチング(例えば、倍率、回転及び並進ベクトルを変数としたテンプレートマッチング)によって、照合特徴である抽出された地表構造情報の画像の、飛翔体の鉛直下方の地点を表す画素に対応する、地表構造情報の画像の画素の位置を特定する。
【0075】
なお、地表構造情報は、例えば、道路及び水域等の境界線によって表されていてもよい。この場合、抽出部121は、画像から、道路及び水域等の境界線を、地表構造情報として抽出する。照合部122は、曲線から特徴点(例えば曲率が基準よりも高い点)を抽出し、照合特徴である地表構造情報から抽出された特徴点と登録特徴である地表構造情報から抽出された特徴点との間の対応関係を特定する。照合部122は、さらに、対応関係が特定されたの間の距離の二乗の平均が最小になるように照合特徴に対して行う変換(倍率、回転及び平行移動によって表される)を特定する。
【0076】
位置検出部123は、照合特徴である抽出された地表構造情報の画像の、飛翔体の鉛直下方の地点を表す画素に対応する、地表構造情報の画像の画素の位置の緯度及び経度を、飛翔体の緯度及び経度とする。なお、照合部122によって、照合特徴である抽出された地表構造情報と、照合特徴である地表構造情報との関係が得られている。抽出部121によって、取得部110によって取得された画像、すなわち、飛翔体に搭載された撮像装置によって撮像された画像と、照合特徴である抽出された地表構造情報との関係は得られている。言い換えると、飛翔体に搭載された撮像装置によって撮像された画像に写る構造物等と、照合特徴である地表構造情報によって表される三次元空間内のその構造物等のサイズとの関係が得られている。位置検出部123は、三次元空間内の構造物等のサイズと、その構造物等の飛翔体に搭載された撮像装置によって撮像された画像に写る像のサイズとの関係と、カメラパラメータとから、その構造物等と飛翔体に搭載された撮像装置との間の距離を算出する。上述のように、飛翔体の三次元位置のうち、緯度及び経度は得られている。位置検出部123は、例えば、飛翔体の三次元位置のうち、緯度及び経度が表す場所と、構造物等との間の距離を算出する。そして、位置検出部123は、飛翔体の三次元位置のうち緯度及び経度が表す場所と構造物等との間の距離と、飛翔体の撮像装置からその構造物までの距離とから、飛翔体の三次元位置のうち緯度及び経度が表す場所と飛翔体の撮像装置との間の距離を算出する。翔体の三次元位置のうち緯度及び経度が表す場所と飛翔体の撮像装置との間の距離は、飛翔体の撮像装置の地表面からの高さである。位置検出部123は、飛翔体の撮像装置の地表面からの高さを、飛翔体の地表面からの高さとする。位置検出部123は、対象情報記憶部150が記憶する地図情報から、飛翔体の三次元位置のうち緯度及び経度が表す場所の地表面の標高(海抜の高さ)を特定する。位置検出部123は、飛翔体の撮像装置の地表面からの高さと、飛翔体の三次元位置のうち緯度及び経度が表す場所の地表面の標高との和を、飛翔体の標高(海抜の高さ)とする。これにより、飛翔体の位置が得られる。
【0077】
なお、地図情報は、地表面に存在する建造物の表面の標高の分布として、上述の三次元モデルを含んでいてもよい。
【0078】
<第2の実施形態の第6の変形例>
本変形例では、取得部110は、飛翔体がGNSSを利用して特定した飛翔体の位置の情報と、その位置において撮像された画像とを、例えば飛翔体が位置の情報を特定する度に受け取る。取得部110は、受け取った、飛翔体の位置の情報と、その位置において撮像された画像(以下、過去画像と表記)とを、対象情報記憶部150に格納する。
【0079】
本変形例の位置推定装置100は、取得部110が、飛翔体がGNSSを利用して特定した飛翔体の位置を取得しなかった場合に、例えば第2の実施形態の位置推定装置100又は第2の実施形態の他の変形例に係る位置推定装置と同様に、飛翔体の位置を推定する。
【0080】
その場合、本実施形態の位置検出部123は、例えば、上述の、飛翔体の位置の精度を表す値が所定精度よりも低い精度を示している場合、取得部110が取得した画像から、照合特徴が抽出された照合対象の画像をテンプレートとして切り出す。位置検出部123は、例えばテンプレートマッチングにより、テンプレートとして切り出された照合対象の画像との類似性の高さが所定基準以上である過去画像を特定する。位置検出部123は、テンプレートと過去画像とが重なった部分の画素の画素値の差の評価値(例えば、差の二乗の平均、又は、差の絶対値の平均等)を、類似性の高さを表す値として使用してよい。位置検出部123は、画像から抽出された所定個数以上の照合対象について、同じ位置情報(すなわち、飛翔体の位置の情報)に関連付けられた類似性の高さが所定基準以上である過去画像が特定された場合、特定された過去画像に関連付けられている位置情報が示す位置を、飛翔体の位置としてよい。
【0081】
<第2の実施形態の第7の変形例>
照合対象及び登録対象は、例えば、トンネル内の非常口及び標識などの構造物(以下、構造物のうち、トンネル内の非常口及び標識などを、特に、路側構造物と表記)であってもよい。そして、トンネルごとに、トンネルの内部における路側構造物の三次元位置が、登録対象の三次元位置として、対象情報記憶部150に格納されていてもよい。また、トンネルの路面の三次元位置の情報(言い換えると、三次元モデル)が、対象情報記憶部150に格納されていてもよい。位置推定装置100には、例えば他の情報処理装置から、飛翔体が飛翔するトンネルを特定する情報が与えられる。取得部110は、さらに、トンネルを特定する情報を取得する。位置検出部123は、トンネルを特定する情報が示すトンネルにおける、トンネルの内部における路側構造物の三次元位置を、登録対象の三次元位置として使用して、飛翔体の三次元位置を特定する。
【0082】
<第2の実施形態の第8の変形例>
本変形例の飛翔体は、サイズが特定されている、互いに異なる複数のマーカを、飛翔しながら地表面に配置する機能を備える。そして、飛翔体は、例えばトンネル内などのGNSSを利用できない環境において、飛翔しながらマーカを地表面に配置してよい。
【0083】
本実施形態の抽出部121は、画像から、照合対象としてマーカの領域を抽出する。本実施形態の位置検出部123は、マーカのサイズの情報と、飛翔体の撮像装置のカメラパラメータとから、マーカに対する、飛翔体の撮像装置の相対位置を推定する。
【0084】
また、本変形例は、第2の実施形態の第7の変形例に適用されてもよい。その場合、位置検出部123は、さらに、トンネルの内部における路側構造物の三次元位置と、推定された飛翔体の三次元位置と、カメラパラメータと、トンネルの路面の三次元モデルとを使用して、マーカの三次元位置を推定してもよい。そして、位置推定装置100は、三次元位置が推定されたマーカを、登録対象として用いてもよい。
【0085】
<他の実施形態>
本開示の実施形態に係る位置推定装置は、記憶媒体から読み出されたプログラムがロードされたメモリと、そのプログラムを実行するプロセッサとを含むコンピュータによって実現できる。本開示の実施形態に係る位置推定装置は、専用のハードウェアによっても実現できる。本開示の実施形態に係る位置推定装置は、前述のコンピュータと専用のハードウェアとの組み合わせによっても実現できる。
【0086】
図6は、本開示の実施形態に係る位置推定装置を実現することができる、コンピュータ1000のハードウェア構成の一例を表す図である。図6に示す例では、コンピュータ1000は、プロセッサ1001と、メモリ1002と、記憶装置1003と、I/O(Input/Output)インタフェース1004とを含む。また、コンピュータ1000は、記憶媒体1005にアクセスすることができる。メモリ1002と記憶装置1003は、例えば、RAM(Random Access Memory)、ハードディスクなどの記憶装置である。記憶媒体1005は、例えば、RAM、ハードディスクなどの記憶装置、ROM(Read Only Memory)、可搬記憶媒体である。記憶装置1003が記憶媒体1005であってもよい。プロセッサ1001は、メモリ1002と、記憶装置1003に対して、データやプログラムの読み出しと書き込みを行うことができる。プロセッサ1001は、I/Oインタフェース1004を介して、例えば、飛翔体(具体的には、飛翔体に搭載されている撮像装置)又は他の情報処理装置にアクセスすることができる。プロセッサ1001は、記憶媒体1005にアクセスすることができる。記憶媒体1005には、コンピュータ1000を、本開示の実施形態に係る位置推定装置として動作させるプログラムが格納されている。
【0087】
プロセッサ1001は、記憶媒体1005に格納されている、コンピュータ1000を、本開示の実施形態に係る位置推定装置として動作させるプログラムを、メモリ1002にロードする。そして、プロセッサ1001が、メモリ1002にロードされたプログラムを実行することにより、コンピュータ1000は、本開示の実施形態に係る位置推定装置として動作する。
【0088】
取得部110、検出部120、抽出部121、照合部122、位置検出部123、推定部130、出力部140、更新情報取得部160、更新部170は、例えば、メモリ1002にロードされたプログラムを実行するプロセッサ1001によって実現できる。対象情報記憶部150は、コンピュータ1000が含むメモリ1002やハードディスク装置等の記憶装置1003によって実現できる。取得部110、検出部120、抽出部121、照合部122、位置検出部123、推定部130、出力部140、対象情報記憶部150、更新情報取得部160、更新部170の一部又は全部は、各部の機能を実現する専用の回路によっても実現できる。
【0089】
また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
【0090】
(付記1)
飛翔体に搭載された撮像装置を用いて撮像された画像を取得する取得手段と、
少なくとも外形形状の特徴および三次元位置が記録されている登録対象の各々の特徴と、前記画像とに基づいて、前記画像に含まれている前記登録対象を検出する検出手段と、
前記画像における前記登録対象の位置である二次元位置と、検出された前記登録対象の前記三次元位置とを使用して、前記飛翔体の三次元位置を推定する推定手段と、
推定した前記三次元位置を出力する出力手段と、
を備える位置推定装置。
【0091】
(付記2)
前記登録対象の前記三次元位置は、前記登録対象の前記特徴である登録特徴と関連付けられ、
前記画像から照合対象の特徴である抽出特徴を抽出する抽出手段と、
前記抽出特徴と、前記登録特徴との照合を行う照合手段と、
をさらに備え、
前記検出手段は、前記照合の結果によって前記登録特徴とマッチすることが示される前記抽出特徴が抽出された、前記画像における場所を、前記登録対象の前記二次元位置として検出する
付記1に記載の位置推定装置。
【0092】
(付記3)
前記取得手段は、前記飛翔体に搭載されたセンサによって検出された、三次元位置が得られている基準局からの基準電波の情報を取得し、
前記推定手段は、前記基準電波の情報を使用して、前記基準局から前記飛翔体までの距離を推定し、推定した前記距離と前記基準局の位置とをさらに使用して、前記飛翔体の前記位置を推定する
付記1又は2に記載の位置推定装置。
【0093】
(付記4)
前記検出手段は、前記登録対象として、構造物の特徴部分、及び、自然の地形の特徴部分の少なくともいずれかを検出する
付記1又は2に記載の位置推定装置。
【0094】
(付記5)
前記抽出手段は、前記照合対象の特徴として、構造物の特徴部分の特徴、及び、自然の地形の特徴部分の特徴の少なくともいずれかを抽出する
付記2に記載の位置推定装置。
【0095】
(付記6)
前記取得手段は、前記飛翔体に搭載されたセンサによって検出された、前記飛翔体の地表面からの高さの情報を取得し、
前記推定手段は、前記高さの情報を更に使用して、前記飛翔体の前記三次元位置を推定する
付記1又は2に記載の位置推定装置。
【0096】
(付記7)
前記取得手段は、三次元位置が得られている測定装置によって測定された、前記測定装置から前記飛翔体の相対位置を取得し、
前記推定手段は、前記相対位置をさらに使用して、前記飛翔体の前記三次元位置を推定する
付記1又は2に記載の位置推定装置。
【0097】
(付記8)
飛翔体に搭載された撮像装置を用いて撮像された画像を取得し、
少なくとも外形形状の特徴および三次元位置が記録されている登録対象の各々の特徴と、前記画像とに基づいて、前記画像に含まれている前記登録対象を検出し、
前記画像における前記登録対象の位置である二次元位置と、検出された前記登録対象の前記三次元位置とを使用して、前記飛翔体の三次元位置を推定し、
推定した前記三次元位置を出力する、
位置推定方法。
【0098】
(付記9)
前記登録対象の前記三次元位置は、前記登録対象の前記特徴である登録特徴と関連付けられ、
前記画像から照合対象の特徴である抽出特徴を抽出し、
前記抽出特徴と、前記登録特徴との照合を行い、
前記照合の結果によって前記登録特徴とマッチすることが示される前記抽出特徴が抽出された、前記画像における場所を、前記登録対象の前記二次元位置として検出する
付記8に記載の位置推定方法。
【0099】
(付記10)
前記飛翔体に搭載されたセンサによって検出された、三次元位置が得られている基準局からの基準電波の情報を取得し、
前記基準電波の情報を使用して、前記基準局から前記飛翔体までの距離を推定し、推定した前記距離と前記基準局の位置とをさらに使用して、前記飛翔体の前記位置を推定する
付記8又は9に記載の位置推定方法。
【0100】
(付記11)
前記登録対象として、構造物の特徴部分、及び、自然の地形の特徴部分の少なくともいずれかを検出する
付記8又は9に記載の位置推定方法。
【0101】
(付記12)
前記照合対象の特徴として、構造物の特徴部分の特徴、及び、自然の地形の特徴部分の特徴の少なくともいずれかを抽出する
付記9に記載の位置推定方法。
【0102】
(付記13)
前記飛翔体に搭載されたセンサによって検出された、前記飛翔体の地表面からの高さの情報を取得し、
前記高さの情報を更に使用して、前記飛翔体の前記三次元位置を推定する
付記8又は9に記載の位置推定方法。
【0103】
(付記14)
三次元位置が得られている測定装置によって測定された、前記測定装置から前記飛翔体の相対位置を取得し、
前記相対位置をさらに使用して、前記飛翔体の前記三次元位置を推定する
付記8又は9に記載の位置推定方法。
【0104】
(付記15)
飛翔体に搭載された撮像装置を用いて撮像された画像を取得する取得処理と、
少なくとも外形形状の特徴および三次元位置が記録されている登録対象の各々の特徴と、前記画像とに基づいて、前記画像に含まれている前記登録対象を検出する検出処理と、
前記画像における前記登録対象の位置である二次元位置と、検出された前記登録対象の前記三次元位置とを使用して、前記飛翔体の三次元位置を推定する推定処理と、
推定した前記三次元位置を出力する出力処理と、
をコンピュータに実行させるプログラム。
【0105】
(付記16)
前記登録対象の前記三次元位置は、前記登録対象の前記特徴である登録特徴と関連付けられ、
前記画像から照合対象の特徴である抽出特徴を抽出する抽出処理と、
前記抽出特徴と、前記登録特徴との照合を行う照合処理と、
をさらにコンピュータに実行させ、
前記検出処理は、前記照合の結果によって前記登録特徴とマッチすることが示される前記抽出特徴が抽出された、前記画像における場所を、前記登録対象の前記二次元位置として検出する
付記15に記載のプログラム。
【0106】
(付記17)
前記取得処理は、前記飛翔体に搭載されたセンサによって検出された、三次元位置が得られている基準局からの基準電波の情報を取得し、
前記推定処理は、前記基準電波の情報を使用して、前記基準局から前記飛翔体までの距離を推定し、推定した前記距離と前記基準局の位置とをさらに使用して、前記飛翔体の前記位置を推定する
付記15又は16に記載のプログラム。
【0107】
(付記18)
前記検出処理は、前記登録対象として、構造物の特徴部分、及び、自然の地形の特徴部分の少なくともいずれかを検出する
付記15又は16に記載のプログラム。
【0108】
(付記19)
前記抽出処理は、前記照合対象の特徴として、構造物の特徴部分の特徴、及び、自然の地形の特徴部分の特徴の少なくともいずれかを抽出する
付記16に記載のプログラム。
【0109】
(付記20)
前記取得処理は、前記飛翔体に搭載されたセンサによって検出された、前記飛翔体の地表面からの高さの情報を取得し、
前記推定処理は、前記高さの情報を更に使用して、前記飛翔体の前記三次元位置を推定する
付記15又は16に記載のプログラム。
【0110】
(付記21)
前記取得処理は、三次元位置が得られている測定装置によって測定された、前記測定装置から前記飛翔体の相対位置を取得し、
前記推定処理は、前記相対位置をさらに使用して、前記飛翔体の前記三次元位置を推定する
付記15又は16に記載のプログラム。
【0111】
以上、実施形態を参照して本開示を説明したが、本開示は上記実施形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
【符号の説明】
【0112】
10 位置推定装置
100 位置推定装置
101 位置推定部
110 取得部
120 検出部
121 抽出部
122 照合部
123 位置検出部
130 推定部
140 出力部
150 対象情報記憶部
160 更新情報取得部
170 更新部
1000 コンピュータ
1001 プロセッサ
1002 メモリ
1003 記憶装置
1004 I/Oインタフェース
1005 記憶媒体
図1
図2
図3
図4
図5
図6