特開 2022-47756 立体地図データ作成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022047756

(43)【公開日】2022-03-25

(54)【発明の名称】立体地図データ作成プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20220317BHJP

   G06T 1/00 20060101ALI20220317BHJP

   G08G 5/00 20060101ALI20220317BHJP

   G01C 21/32 20060101ALI20220317BHJP

【ＦＩ】

G06T7/00 650Z

G06T1/00 330Z

G08G5/00 A

G01C21/32

【審査請求】未請求

【請求項の数】4

【出願形態】ＯＬ

(21)【出願番号】P 2020153705

(22)【出願日】2020-09-14

(71)【出願人】

【識別番号】520355507

【氏名又は名称】Ｓｋｙｓｔｅｒ株式会社

(74)【代理人】

【識別番号】100099623

【弁理士】

【氏名又は名称】奥山 尚一

(74)【代理人】

【識別番号】100107319

【氏名又は名称】松島 鉄男

(74)【代理人】

【識別番号】100125380

【弁理士】

【氏名又は名称】中村 綾子

(74)【代理人】

【識別番号】100142996

【弁理士】

【氏名又は名称】森本 聡二

(74)【代理人】

【識別番号】100166268

【弁理士】

【氏名又は名称】田中 祐

(74)【代理人】

【識別番号】100170379

【弁理士】

【氏名又は名称】徳本 浩一

(74)【代理人】

【識別番号】100096769

【弁理士】

【氏名又は名称】有原 幸一

(72)【発明者】

【氏名】杉山 ▲逸▼郎

(72)【発明者】

【氏名】松本 実

【テーマコード（参考）】

2F129

5B057

5H181

5L096

【Ｆターム（参考）】

2F129AA03

2F129AA11

2F129BB03

2F129EE02

2F129EE66

2F129EE69

2F129EE90

2F129EE94

2F129FF02

2F129FF20

2F129FF60

2F129FF71

2F129FF74

2F129GG17

2F129HH04

5B057AA13

5B057BA02

5B057CA01

5B057CA08

5B057CA13

5B057CB01

5B057CB08

5B057CB13

5B057CC01

5B057CE08

5B057DA07

5B057DC40

5H181AA01

5H181AA26

5H181BB04

5H181BB12

5H181BB20

5H181CC03

5H181CC04

5H181FF04

5H181FF07

5H181FF10

5H181FF13

5H181FF22

5H181MC19

5L096AA02

5L096AA06

5L096AA09

5L096BA08

5L096CA02

5L096CA18

5L096FA66

5L096FA67

5L096FA69

5L096GA34

5L096HA09

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】無人航空機飛行のための立体地図データを作成する。
【解決手段】無人航空機飛行のための立体地図データ作成プログラムは、移動体搭載カメラにより撮影された周囲画像と、カメラの撮像方向と、撮影時の移動体の位置座標情報と、移動体の周囲画像に写っている物体までの距離情報とを取得するステップ（Ｓ２０１）と、学習済み数理モデルを用いて、周囲画像に写っている物体の種類と、物体の画像内位置とを判定するステップ（Ｓ２０２）と、移動体の位置座標情報とカメラの撮像方向と距離情報とに基づいて、種類が判定された物体の位置座標を計算し、種類が判定された物体の前記周囲画像内の大きさと距離情報とに基づいて、物体の大きさを計算するステップ（Ｓ２０３）と、種類が判定された物体ごとに、物体の種類と物体の位置座標と物体の大きさとが組み合わされた立体地図データを作成するステップ（Ｓ２０４）とをコンピュータに実行させる。
【選択図】図６

【特許請求の範囲】

【請求項1】

無人航空機飛行のための立体地図データを作成する立体地図データ作成プログラムであって、
移動体に搭載されたカメラにより撮影された前記移動体の周囲画像と、前記カメラの撮像方向と、前記撮影時の前記移動体の位置座標情報と、前記移動体の周囲画像に写っている物体と前記移動体との距離情報とを取得する取得ステップと、
入力画像と、前記入力画像に写っている物体の種類と、前記入力画像に写っている物体の画像内位置とを教師データとする学習がなされた数理モデルを用いて、前記周囲画像に写っている物体の種類と、前記周囲画像に写っている物体の画像内位置とを判定する判定ステップと、
前記移動体の位置座標情報と、前記カメラの撮像方向と、前記距離情報とに基づいて、前記判定ステップにより種類が判定された物体の位置座標を計算するとともに、前記判定ステップにより種類が判定された物体の、前記周囲画像内の大きさと、前記距離情報とに基づいて、前記判定ステップにより種類が判定された物体の大きさを計算する計算ステップと、
前記判定ステップにより種類が判定された物体ごとに、当該物体の種類と、当該物体の位置座標と、当該物体の大きさとが組み合わされた立体地図データを作成する作成ステップと、
作成された立体地図データ群を立体地図データベースとして保存し再利用するステップと
をコンピュータに実行させる立体地図データ作成プログラム。

【請求項2】

前記計算ステップにおいて、前記判定ステップにより種類が判定された物体の大きさが、前記物体の形状にも基づいて計算され、
前記物体の形状は、前記物体の種類と前記物体の形状との関係が定義された幾何形状モデルテーブルから導かれる、
請求項１に記載の立体地図データ作成プログラム。

【請求項3】

請求項１又は２に記載の立体地図データ作成プログラムにより作成された立体地図データと、前記立体地図データベース内の物体と対比対象となる構造物の座標基準点データベースに保存されている既知の確定座標とに基づいて、前記立体地図データ内の物体の座標情報を、前記構造物の確定座標に書き替えるどうかを判断する第１判断ステップと、
前記第１判断ステップの判断結果が肯定的なものであった場合に、前記立体地図データ内の物体の座標情報を、前記構造物の確定座標に書き替える第１補正ステップと、
前記補正ステップが行われたことを履歴として作成する履歴作成ステップと、
前記第１判断ステップの判断結果が否定的なものであった場合に、前記構造物の確定座標に基づいて前記立体地図データ内の物体について位置座標の測量が行うことができるかどうかを判断する第２判断ステップと、
前記第２判断ステップの判断結果が肯定的なものであった場合に、前記測量を行う測量ステップと、
前記立体地図データ内の物体の座標情報を、前記測量ステップにより得られた座標情報に書き替える第２補正ステップと、
前記測量ステップにより得られた物体と座標情報の組み合わせを新たな確定座標として座標基準点データベースに加えるステップと
をさらにコンピュータに実行させる、請求項１又は２に記載の立体地図データ更新プログラム。

【請求項4】

画像と、前記画像に写っている物体の種類と、前記画像に写っている物体の画像内位置とを取得する第１取得ステップと、
前記画像の撮影地点から前記画像に写っている物体までの距離を取得する第２取得ステップと、
前記画像と、前記物体の種類と、前記物体の画像内位置と、前記距離とを教師データとして、入力画像が入力されると前記入力画像に写っている物体の種類と当該物体の入力画像内位置と当該物体までの距離とを出力する数理モデルのパラメータを生成する生成ステップと
をコンピュータに実行させる、数理モデルの学習プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、立体地図データ作成プログラムに関する。

【背景技術】

【0002】

特許文献１に、飛行体が飛行する飛行空間を複数の３次元空間によって表現した３次元地図データが開示されている。この３次元地図データは、前記３次元空間が前記飛行空間において占める位置を特定する位置データと、前記３次元空間毎に割り当てられ、前記飛行体にとっての当該３次元空間の性質を表わす性質データとを備えるとされている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１８０３５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

経済産業省の「空の産業革命に向けたロードマップ２０１９」によれば、無人航空機（ＵＡＶ）の有人地帯での目視外飛行（レベル４）が、２０２２年度から行われることが予定されている。このような無人航空機の飛行を支えるための立体地図が求められている。

【0005】

本発明は、無人航空機飛行のための立体地図データベースを作成することを目的とする。

【課題を解決するための手段】

【0006】

上記目的を達成するために、無人航空機飛行のための立体地図データを作成する立体地図データ作成プログラムが提供される。本プログラムは、移動体に搭載されたカメラにより撮影された前記移動体の周囲画像と、前記カメラの撮像方向と、前記撮影時の前記移動体の位置座標情報と、前記移動体の周囲画像に写っている物体と前記移動体との距離情報とを取得する取得ステップと、入力画像と、前記入力画像に写っている物体の種類と、前記入力画像に写っている物体の画像内位置とを教師データとする学習がなされた数理モデルを用いて、前記周囲画像に写っている物体の種類と、前記周囲画像に写っている物体の画像内位置とを判定する判定ステップと、前記移動体の位置座標情報と、前記カメラの撮像方向と、前記距離情報とに基づいて、前記判定ステップにより種類が判定された物体の位置座標を計算するとともに、前記判定ステップにより種類が判定された物体の、前記周囲画像内の大きさと、前記距離情報とに基づいて、前記判定ステップにより種類が判定された物体の大きさを計算する計算ステップと、前記判定ステップにより種類が判定された物体ごとに、当該物体の種類と、当該物体の位置座標と、当該物体の大きさとが組み合わされた立体地図データを作成する作成ステップと、作成された立体地図データ群を立体地図データベースとして保存し再利用するステップとをコンピュータに実行させる。

【発明の効果】

【0007】

本発明によれば、無人航空機飛行のための立体地図データベースを作成することができる。

【図面の簡単な説明】

【0008】

【図1】立体地図データベースを作成するためのシステムを示す説明図である。

【図2】移動体及びセンターの構成を示す説明図である。

【図3】静止画像の一例を示す説明図である。

【図4】エッジコンピュータの機能構成例を示す説明図である。

【図5】エッジコンピュータにより行われる起動処理を示すフローチャートである。

【図6】エッジコンピュータにより行われる立体地図データベース作成処理を示すフローチャートである。

【図7】立体地図データベースに基づくビューア表示例を示す説明図である。

【図8】サーバの機能構成例を示す説明図である。

【図9】サーバにより行われる立体地図データベース作成処理を示すフローチャートである。

【図10】サーバにより行われる学習処理を示すフローチャートである。

【図11】サーバにより行われる別の学習処理を示すフローチャートである。

【図12】立体地図データベースに基づく、水平方向断面のビューア表示例を示す説明図である。

【図13】サーバのハードウェア構成例を示す説明図である。

【発明を実施するための形態】

【0009】

以下、本発明を図示の実施の形態に基づいて説明する。ただし、本発明は、以下に説明する実施の形態によって限定されるものではない。

【0010】

図１及び図２に、無人航空機飛行に用いられる立体地図データベースを作成するためのシステムＳを示す。このシステムＳは、移動体１とセンター（又は地上局）２とを備えている。システムＳにおける、上記立体地図データベースを作成するための移動体１は、無人航空機１ａに限られず、車両１ｂなどの移動可能なものであればよい。

【0011】

移動体１には、カメラ１１と、ＧＮＳＳ受信機１２と、慣性計測装置（ＩＭＵ）１３と、ＬｉＤＡＲ装置１４と、エッジコンピュータ１５とが搭載されている。エッジコンピュータ１５には、ＳＤカードなどの記録媒体１６が接続される。

【0012】

カメラ１１は、移動体１の移動時あるいは停止時に、移動体１の周囲を捉えた動画を取得する。図３に、カメラ１１の動画から得られる静止画像ＩＭ１を一例として示す。ＧＮＳＳ受信機１２は、ＧＰＳ衛星などのＧＮＳＳ衛星が発した電磁波を受信する。この電磁波には、移動体１の位置座標を計算するためのデータが含まれている。

【0013】

慣性計測装置１３は、移動体１の、互いに直交する３軸の角速度と、移動体１の加速度とを計測する。ＬｉＤＡＲ装置１４は、ＬｉＤＡＲ（Light Detection and Ranging、またはLaser Imaging Detection and Ranging）と呼ばれる技術を用いて、移動体１の周囲を捉えた画像を取得し、当該画像に写っている対象物と移動体１との距離（深度）を計測する。

【0014】

カメラ１１が捉えた動画と、ＧＮＳＳ受信機１２が受信した電磁波のデータと、慣性計測装置１３の計測データと、ＬｉＤＡＲ装置１４の計測データとは、エッジコンピュータ１５に送られる。

【0015】

センター２は、移動体１内のエッジコンピュータ１５と通信ネットワークを通じて接続されるサーバ２１と、このサーバに接続された最新地図データベース２２とを備えている。この最新地図データベース２２には、その時点で最新の地図データが保存されている。

【0016】

図４に示すように、エッジコンピュータ１５は、データ取得部１５１と、物体判定部１５２と、位置及びサイズ計算部１５３と、３Ｄモデラー（エッジコンピュータ１５内のモデラー）１５４とを備えている。

【0017】

データ取得部１５１は、カメラ１１と、ＧＮＳＳ受信機１２と、慣性計測装置１３と、ＬｉＤＡＲ装置１４とから送られてきたデータを取得する。そのほか、データ取得部１５１は、サーバ２１から各種データを取得できるように構成されている。

【0018】

物体判定部１５２は、データ取得部１５１により取得された、静止画像ＩＭ１などの、カメラ１１が捉えた動画から得られる静止画像に写っている物体と、その物体の当該静止画像内の位置とを判定する。物体判定部１５２は、この判定を行うために、ＣＮＮ（畳み込みニューラルネットワーク）などの数理モデルを用いる。この数理モデルを第１数理モデルとも呼ぶ。

【0019】

この数理モデルの入力は、静止画像ＩＭ１などの、カメラ１１が捉えた動画から得られる静止画像である。また、この数理モデルの出力は、入力された静止画像に写っている物体の種類と、その物体の当該静止画像内の位置とである。

【0020】

この数理モデルは、入力された学習用画像と、当該学習用画像に写っている対象物体と、その物体のラベル（物体の種類）及び画像内位置とを教師データとする学習が予めなされている。つまり、学習用画像に指示された物体と、その物体のラベル及び画像内位置とが、当該学習用画像に対するアノテーションである。アノテーションの対象となる物体の例として、建物、歩道橋、電柱、支柱、街路樹、電線、マンホール、郵便ポストが挙げられる。
無人航空機が安全に飛行するために衝突を回避しなければならない物体を、アノテーションの対象とすることができる。学習の流れについては後述する。

【0021】

学習がなされた数理モデルを用いて、物体判定部１５２は、カメラ１１が捉えた動画から得られる静止画像に写っている物体の種類と、その物体の当該静止画像内の位置とを判定する。学習用画像のアノテーションとしての物体が、建物、歩道橋、電柱、支柱、街路樹、電線、マンホール、及び郵便ポストの８つであった場合、物体判定部１５２は、静止画像に写っている物体の種類を、この８つの物体のいずれかとして判定する。

【0022】

物体判定部１５２は、種類が判定された各物体について、その形状を特定することができる。物体の種類ごとに、対応する形状がテーブルとして定義されている。このテーブルを、図４の記録媒体１６内の幾何形状モデルテーブル１６３として示す。深度判定より取得する物体の大きさは、このテーブルから導かれる形状をもとに数値を当てはめて定めることができる。このテーブルにおいては、物体の種類と、対応する形状とが、例えば以下のように定められている。
建物： １以上の立方体の組み合わせ
電柱： 円柱
支柱： 円柱と薄い直方体(板状体）との組み合わせ
街路樹： 円錐

【0023】

位置及びサイズ計算部１５３は、データ取得部１５１により取得されたＧＮＳＳ電磁波のデータに基づいて、移動体１の位置座標（緯度、経度）を計算する。また、位置及びサイズ計算部１５３は、データ取得部１５１により取得された慣性計測装置１３の計測データに基づいて、カメラ１１の撮像方向を計算する。さらに、位置及びサイズ計算部１５３は、ＬｉＤＡＲ装置１４のデータを用いて、物体判定部１５２により判定された各物体と移動体１との距離を計算する。このようにして得られた移動体１の位置座標（緯度、経度）と、カメラ１１の撮像方向と、物体判定部１５２により判定された各物体と移動体１との距離とを用いて、位置及びサイズ計算部１５３は、各物体の位置座標（緯度、経度）を計算する。

【0024】

位置及びサイズ計算部１５３は、物体判定部１５２により判定された各物体の実際の大きさも計算する。この計算は、データ取得部１５１がＬｉＤＡＲ装置１４から取得した深度のデータと、当該物体の静止画像内の大きさと、幾何形状モデルテーブル１６３から導かれる形状とに基づいて行われる。

【0025】

以上のようにして、位置及び計算部１５３は、物体判定部１５２により判定された各物体の位置座標（緯度、経度）及び実際の大きさを計算する。

【0026】

３Ｄモデラー１５４は、物体判定部１５２の判定結果と、位置及びサイズ計算部１５３の計算結果とを用いて、立体地図データベース（簡易版の立体地図データベースとも呼ぶ）を作成する。この立体地図データベースは、物体判定部１５２により判定された物体ごとに作られる立体地図データレコードを有する。各立体地図データレコードは、対応する物体の識別番号と、当該物体の種類と、当該物体の位置座標（緯度、経度）と、当該物体の実際の大きさとを有する。さらに、３Ｄモデラー１５４は、作成された簡易版の立体地図データレコードを、簡易版立体地図データベース１６１として記録媒体１６に記録する。

【0027】

図５に、移動体１内のエッジコンピュータ１５により行われる起動処理の流れを示す。ステップＳ１０１にて、サーバ２１は、移動体１の対象地域（これから移動体１が飛行あるいは走行しようとする地域）の指定をシステムＳのユーザから受ける。対象地域データの一例として、「東京都中央区日本橋３丁目の３キロメートル四方」が挙げられる。さらに同ステップにて、データ取得部１５１は、サーバ２１から、移動体１の対象地域データを取得する。

【0028】

ステップＳ１０２において、データ取得部１５１は、サーバ２１を通して、最新地図データベース２２内の最新地図データを取得する。当初の最新地図データには、地図会社など、システムＳの外部から入手した地形情報及び高精度で測量された座標基準点情報、または、外部から入手した地形情報、ビル情報及び座標情報のみが存在する。地形情報とは、数値標高モデルなどから取得される、丘、谷などの地形に関する情報である。座標基準点情報とは、電柱、マンホールなどの精度の保証された緯度及び経度に関する情報である。ビル情報とは、その建物の緯度及び経度並びにその建物の大きさに関する情報である。

【0029】

無人航空機１ａの自動飛行では通常、飛行の前に航路の設定がセンター２（地上局）でなされる。この地上局のソフトウェア（または管制システムのソフトウェア）は、通常２次元の地図を持っており、その地図上に飛行経路が定義される。無人飛行機１ａは、この経路に従って、ＧＮＳＳで自己の位置座標を把握しながら飛行することになる。あるいは、ステップＳ１０２にて読み出された最新地図データに基づいて、飛行経路が定義されてもよい。ステップＳ１０２にて取得された最新地図データは、移動体１の移動の際に用いることができる。

【0030】

後述する処理により、システムＳ内の移動体１により得られた簡易版の立体地図データから、詳細版の立体地図データが作成される。そして、この詳細版の立体地図データは、最新地図データベース２２に追加される。

【0031】

ステップＳ１０３において、データ取得部１５１は、サーバ２１から、物体判定部１５２が物体判定の際に用いる数理モデルのパラメータを取得する。なお、ステップＳ１０２及びステップＳ１０３に関して、いずれか一方のステップが行われたのちに他方のステップが行われてもよいし、あるいは、両ステップが同時に行われてもよい。

【0032】

ステップＳ１０４にて、データ取得部１５１は、ステップＳ１０２にて取得された最新地図データと、ステップＳ１０３にて取得されたパラメータとを記録媒体１６に書き込む。

【0033】

図６に、移動体１内のエッジコンピュータ１５により行われる簡易版立体地図データベースを作成する処理の流れを示す。この作成処理は、図５に示した起動処理に続いて行われる。ステップＳ２０１にて、データ取得部１５１はデータを取得する。具体的には、データ取得部１５１は、カメラ１１による動画から静止画像を取得し、ＧＮＳＳ受信機１２から、受信された電磁波のデータを取得する。データ取得部１５１はさらに、慣性計測装置１３による計測データを取得し、ＬｉＤＡＲ装置１４から、ＬｉＤＡＲ技術による計測データを取得する。

【0034】

ステップＳ２０２にて、物体判定部１５２は、上記数理モデルを用いて、ステップＳ２０１にて取得された静止画像に写っている物体の種類と、その物体の画像内位置とを判定する。この判定の詳細は前述したとおりである。

【0035】

ステップＳ２０３にて、位置及びサイズ計算部１５３は、物体判定部１５２により判定された各物体の位置座標（緯度、経度）及び実際の大きさを計算する。この計算の詳細は、前述したとおりである。

【0036】

ステップＳ２０４にて、３Ｄモデラー１５４は、簡易版の立体地図データを作成する。

【0037】

なお、サーバ２１にて、物体の種類と、静止画像内の当該物体の大きさとから、当該物体と移動体１との距離を推定する距離推定モデル（距離推定ＡＩ）が生成される。この距離推定モデルも、畳み込みニューラルネットワークなどの数理モデルである。距離推定モデルの入力は、移動体の周囲画像であり、出力は、その周囲画像に写っている物体の種類と、当該物体の画像内位置と、当該物体までの距離とである。ＬｉＤＡＲ装置１４が搭載されていない移動体においては、この距離推定モデルを用いて距離が推定される。詳細は後述する。なお、距離推定モデルを第２数理モデルとも呼ぶ。

【0038】

ステップＳ２０５にて、３Ｄモデラー１５４は、簡易版立体地図データを簡易版立体地図データベース１６１として記録媒体１６に記録する。この配置後のデータは、ドローンの衝突回避の他、サーバ２１において距離推定モデル（距離推定ＡＩ）のパラメータ算出に使用される。同ステップにてさらに、データ取得部１５１は、カメラ１１による動画データを動画データベース１６２として記録媒体１６に記録する。

【0039】

ステップＳ２０６にて、３Ｄモデラー１５４は、簡易版立体地図データベースをサーバ２１に送るとともに、データ取得部１５１は、動画データベースをサーバ２１に送る。なお、このステップＳ２０５は必須というわけではない。例えば、移動体１とセンター２との通信ネットワークの容量が限られている場合には、ステップＳ２０６を行わないとすることができる。

【0040】

ステップＳ２０５及びステップＳ２０６に関して、いずれか一方のステップが行われたのちに他方のステップが行われてもよいし、あるいは、両ステップが同時に行われてもよい。

【0041】

図７に、画像ＩＭ２を示す。この画像は、分かりやすさのために、地図内に立方体や円錐等で近似されたオブジェクト（すなわち簡易モデル）が配置された後の様子を示している。この画像ＩＭ２は、ビューアにより、評価者の位置、視線方向、投射盤の距離に応じて、通常の透視変換を経て表示装置に描画することができる。

【0042】

なお、画像ＩＭ２内の破線で囲まれた領域は、無人航空機の主な飛行空間にあたる地上５メートルから地上１５０メートルまでの空間を示す。

【0043】

図８に、サーバ２１の機能構成例を示す。サーバ２１は、データ取得部２１１と、第１補正処理部２１２と、第２補正処理部２１３と、パラメータ計算部２１４とを備えている。サーバ２１には、図１に示したように最新地図データベース２２が接続されるほか、主要構造物データベース２３と、簡易版立体地図データベース１６１と、動画データベース１６２とが接続される。簡易版立体地図データベース１６１及び動画データベース１６２は、図６のステップＳ２０６にて移動体１からサーバ２１に送られたものか、あるいは、同図のステップＳ２０５における記録完了後の記録媒体１６から取得されるものである。

【0044】

主要構造物データベース２３には、緯度及び経度が既に測定され座標として確定されている主要構造物の位置座標及び大きさが保存されている。主要構造物の例として、既存のビル、三角点、マンホール及び電柱が挙げられる。

【0045】

図９に、サーバ２１により行われる詳細版立体地図データベースの作成処理の流れを示す。ステップＳ３０１にて、データ取得部２１１は、主要構造物データベース２３内のレコードと、簡易版立体地図データベース１６１内のレコードと、動画データベース１６２内の動画データとを読み出す。

【0046】

ステップＳ３０２にて、第１補正処理部２１２は、ステップＳ３０１にて読み出された簡易版立体地図データベース１６１に、主要構造物データベース２３に保存されている（基準点しての）構造物と同じ構造物に関するレコードがあるかどうかを判断する。この判断結果が肯定的なものである場合は、次にステップＳ３１１が行われ、さもなければステップＳ３２１が行われる。

【0047】

ステップＳ３１１にて、第１補正処理部２１２は、ステップＳ３０２にて発見された簡易版立体地図データベース１６１内のレコードの位置座標情報（緯度、経度）を、主要構造物データベース２３内の対応する位置座標情報（緯度、経度）に書き替える。この書替え処理が第１の補正処理である。同ステップにてさらに、第１補正処理部２１２は、第１補正処理後のレコードを最新地図データベース２２に書き込む。

【0048】

ステップＳ３１２にて、第１補正処理部２１２は、ステップＳ３１１にて補正処理を行ったという履歴を所定のログファイルに書き込む。このログファイルは、例えば、サーバ２１内の記憶装置に記憶することができる。ステップＳ３１２の後、処理は終了する。

【0049】

通常、主要構造物データベース２３内の位置座標情報は国土交通省で測定され規定された基準点またはその基準点から実測定された精度の高い座標である、これらの高精度座標をここでは確定座標と呼ぶ。これに対し簡易版立体地図データベース１６１内の位置座標情報は、ＧＮＳＳ衛星が発した電磁波のデータに基づいているため精度について保証されているものではない。そのため、ステップＳ３１１にて、簡易版立体地図データベース１６１内の位置座標情報を、主要構造物データベース２３内の座標に置き換える補正処理を行う。

【0050】

ところが、主要構造物データベース２３内の位置座標情報が、簡易版立体地図データベース１６１内の位置座標情報に比べ、誤差が大きい場合も考えられる。例えば、災害発生前に主要構造物データベース２３のデータが取得され、災害発生後に簡易版立体地図データベースのレコードが作成された場合である。このような場合に備え、ステップＳ３１２にて作成された座標修正の事実を記録したログファイルを用いて、ステップＳ３１１による補正処理が果たして妥当だったのかどうかを事後的に検証することができる。

【0051】

ステップＳ３２１において、第２補正処理部２１３は、簡易版立体地図データベース１６１内の物体のうち主要構造物ではない物体についての三角測量が可能かどうかを判断する。第２補正処理部２１３は、主要構造物ではない物体についての三角測量を行うために必要な少なくとも２つの主要構造物が、当該物体が写っている画像に写っていれば、測量可能と判断し、さもなければ測量不可能と判断する。測量可能と判断されれば次にステップＳ３２２が行われ、測量不可能と判断されればステップＳ３３１が行われる。

【0052】

ステップＳ３２２にて、第２補正処理部２１３は、主要構造物ではない物体と上記少なくとも２つの主要構造物とが写っている画像から、当該物体についての三角測量を行い、当該物体についての位置座標を取得する。確定座標2点から三角測量演算されたこの位置座標は、確定座標と認識される。

【0053】

ステップＳ３２３にて、第２補正処理部２１３は、主要構造物ではない物体の簡易版立体地図データベース１６１内の座標情報を、ステップＳ３２２にて取得された座標に書き替えると同時にこの対象物体を主要構造物として新たな確定座標とともに主要構造物データベースに格納する。この作業により主要構造物は漸次増殖して行き、主要構造物データベースの増殖にしたがって立体地図の精度が向上してゆく。この書替え処理を第２の補正処理とも呼ぶ。その後、処理は終了する。

【0054】

ステップＳ３３１にて、第２補正処理部２１３は、主要構造物ではない物体についての未補正の座標情報を、確定座標ではなく算定座標として、最新地図データベース２２に書き込む。その後、処理は終了する。

【0055】

ステップＳ３０２にて主要構造物と判断された、簡易版立体地図データベース１６１内の各レコードについて、ステップＳ３１１及びステップＳ３１２を行うことができる。また、ステップＳ３０２にて主要構造物ではないと判断された、簡易版立体地図データベース１６１内の各レコードについて、ステップＳ３２１及びそれ以降の各ステップを行うことができる。

【0056】

このように、位置座標データについては、ＧＮＳＳ衛星による位置座標情報、あるいはＲＴＫ（Real Time Kinematics、リアルタイム位置情報取得装置）による精度の高い位置計算、に加え、地上の基準点として確定座標を持つ建造物、電柱、マンホールなどにより位置精度の調整が行われ、サーバ上の地図データの精度が向上する。
地上基準点としての建造物、電柱、マンホールなどについてはあらかじめ測量をして、既知データとして形状と確定座標のセットを基準点データテーブル（主要構造物データベース）として格納しておくか、基準点の情報（当該基準点の識別子及び確定座標）を、当該基準点から電波等で発信する仕組み（ビーコン）を作っておくことができる。
地図作成時または移動体の移動時には、カメラ映像により基準点形状を認識し、基準点データテーブルと付け合せるか、または受信電波により識別子を獲得し、基準点データと付け合わせるか、または基準点が識別子と位置情報を送信している場合にはそのまま位置データとして採用することができる。地上基準点群は、地域を効率よくカバーするように設計し(例えば１ｋｍごとに一点のメッシュ構造を作る）、別に測定をしておくことで無人飛行、無人走行への有力な基盤情報とする(ＧＮＳＳ電波の届かない地点などでの飛行を可能とする)。基準点の位置データは確定座標として扱う。ステップＳ３２３により、確定座標は増殖する。
地図上で新たな地上基準点の設置により、ＧＮＳＳデータなどに比してより精度の高い位置情報が獲得された場合には、サーバ側でその周辺の基準点までの間の地図データの修正をする。地上基準点で得られたデータで取得した位置データは、確定座標としてサーバ上の地図に記憶され、その後は原則、修正されない。

【0057】

改めて説明すると、確定座標とは、地上測量により測量された位置情報、または二つ以上の確定座標から算出された座標をいう。
算出座標とは、一つの確定座標と深度付き点群データやＧＮＳＳなどにより算出された座標、またはＧＮＳＳと深度付き点群データにより計算された座標をいう。算出座標は、確定座標に比べ精度が低い。算定座標は、確定座標点の増加により、確定座標に昇格することがある（ステップＳ３２３）。
確定データについては、地盤変動や災害などの事態により正確さを毀損することがある、更新モード（ステップＳ３１１）を設けることで、再設定を可能とする。再設定は、地域ごとに行うことができる。

【0058】

図１０に、物体判定部１５２が判定を行うために用いる数理モデルのパラメータ（重み係数）を生成するためにサーバ２１により行われる処理を示す。ステップＳ４０１にて、データ取得部２１１は、教師データを取得する。この教師データは、先に述べたとおり、学習用画像と、当該学習用画像に写っている物体と、その物体の当該学習用画像内の位置とである。

【0059】

ステップＳ４０２にて、パラメータ計算部２１４は、教師データに基づいて、上記数理モデルのパラメータを計算する。すなわち、学習がなされた第１数理モデルが構築される。

【0060】

図１１に、サーバ２１により行われる、距離推定モデル（第２数理モデル）のパラメータ生成処理の流れを示す。ステップＳ５０１にて、データ取得部２１１は、ステップＳ４０１と同様、学習用画像と、当該学習用画像に写っている物体と、その物体の当該学習用画像内の位置とを取得する。

【0061】

ステップＳ５０２にて、データ取得部２１１は、ステップＳ５０１の学習用画像に写っている物体と画像撮影地点との距離に関するデータ（ＬｉＤＡＲデータあるいは深度データ）を取得する。
なお、ステップＳ５０１及びステップＳ５０２に関して、いずれか一方のステップが行われたのちに他方のステップが行われてもよいし、あるいは、両ステップが同時に行われてもよい。

【0062】

ステップＳ５０３にて、パラメータ計算部２１４は、ステップＳ５０１にて取得されたデータと、ステップＳ５０２にて取得された距離のデータとを教師データとして、距離推定モデル（第２数理モデル）のパラメータを計算する。すなわち、学習がなされた第２数理モデルが構築される。

【0063】

移動体１とは異なり、ＬｉＤＡＲ装置１４を備えていない移動体は、この第２数理モデルを用いることで、入力された画像に写っている物体の種類と、物体の画像内位置と、当該物体までの距離とを得ることができる。すなわち、ＬｉＤＡＲ装置１４を備えていない移動体であっても、図６に示した簡易版立体地図データベースの作成処理を行うことができる。

【0064】

その他、最新地図データベース２２から、指定された高度における水平方向の断面画像を作成することができる。図１２に示すように、最新地図データベース２２から、サーバ２１にインストールされたビューアにより、第１の高度Ｘにおける水平方向の断面画像ＩＭ１１を作成し、第２の高度Ｙにおける水平方向の断面画像ＩＭ１２を作成することができる。この断面画像作成は、サーバ２１が、指定された高度の入力をユーザから受けて行うことができる。

【0065】

図１３に、サーバ２１のハードウェア構成例を示す。サーバ２１は、プロセッサ２１ａと、インタフェース装置２１ｂと、表示装置２１ｃと、入力装置２１ｄと、ドライブ装置２１ｅと、補助記憶装置２１ｆと、メモリ装置２１ｇとを備えており、これらがバス２１ｈにより相互に接続されている。

【0066】

プロセッサ２１ａは、ＣＰＵ及びＧＰＵを含む。ＧＰＵは、高並列処理を行うことができる。

【0067】

サーバ２１の機能を実現するプログラムは、ＣＤ－ＲＯＭ等の記録媒体２１ｉによって提供される。プログラムを記録した記録媒体２１ｉがドライブ装置２１ｅにセットされると、プログラムが記録媒体２１ｉからドライブ装置２１ｅを介して補助記憶装置２１ｆにインストールされる。あるいは、プログラムのインストールは必ずしも記録媒体２１ｉにより行う必要はなく、ネットワーク経由で行うこともできる。補助記憶装置２１ｆは、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

【0068】

メモリ装置２１ｇは、プログラムの起動指示があった場合に、補助記憶装置２１ｆからプログラムを読み出して格納する。プロセッサ２１ａは、メモリ装置２１ｇに格納されたプログラムにしたがってサーバ２１の機能を実現する。インタフェース装置２１ｂは、ネットワークを通して他のコンピュータに接続するためのインタフェースとして用いられる。表示装置２１ｃはプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置２１ｄはキーボード及びマウス等である。

【0069】

エッジコンピュータ１５も、サーバ２１と同様のハードウェア構成を有する。

【0070】

これまでに述べた実施形態は、装置としての側面、方法としての側面及びコンピュータプログラムとしての側面を有している。

【0071】

図１～図７及び図１０を参照しながら述べた形態によれば、機械学習による数理モデルを用いて、無人航空機飛行のための立体地図データベースを効率的に作成することができる。無人航空機が飛行する主な空間は、地上５メートルから地上１５０メートルまでの空間である。この空間に存在する建物などの物体との衝突を避け、安全に飛行するための、一定の精度を持った立体地図データベースを作成することができる。

【0072】

無人航空機の飛行にあたっては、その空域にある建造物などの物体の認識が必要である。ただし、その物体の模様、窓等の造作物の認識までもが必要なわけではない。また、離陸地点と着陸地点を除き、空域に存在する物体の細部の凹凸の認識も必要ない。このような状況に照らして、不要部を切り捨てることにより判定速度を上げ、リアルタイム性の向上に焦点を当てた物体認識を行うことができる。

【0073】

図８及び図９に示した処理によれば、図６に示した処理により作成された立体地図データベースの精度を高めることができる。これは、無人航空機の安全飛行により資する。なお、エッジコンピュータ１５の性能に応じて、図９の処理をサーバ２１ではなくエッジコンピュータ１５にて行ってもよい。

【0074】

図１１に示した処理に作成される数理モデルによれば、比較的高価なＬｉＤＡＲ装置が搭載されていない移動体によっても、立体地図データベースを効率的に作成することができる。

【0075】

その他、地上基準点としてのマンホールは、地下構造物の地図情報と地上地図との結節点の役割を担う。地下地図と地上地図の一体化が可能となる。

【0076】

これまでに説明した実施形態に関し、以下の付記を開示する。
［付記１］
無人航空機飛行のための立体地図データを作成する立体地図データ作成プログラムであって、
移動体に搭載されたカメラにより撮影された前記移動体の周囲画像と、前記カメラの撮像方向と、前記撮影時の前記移動体の位置座標情報と、前記移動体の周囲画像に写っている物体と前記移動体との距離情報とを取得する取得ステップと、
入力画像と、前記入力画像に写っている物体の種類と、前記入力画像に写っている物体の画像内位置とを教師データとする学習がなされた数理モデルを用いて、前記周囲画像に写っている物体の種類と、前記周囲画像に写っている物体の画像内位置とを判定する判定ステップと、
前記移動体の位置座標情報と、前記カメラの撮像方向と、前記距離情報とに基づいて、前記判定ステップにより種類が判定された物体の位置座標を計算するとともに、前記判定ステップにより種類が判定された物体の、前記周囲画像内の大きさと、前記距離情報とに基づいて、前記判定ステップにより種類が判定された物体の大きさを計算する計算ステップと、
前記判定ステップにより種類が判定された物体ごとに、当該物体の種類と、当該物体の位置座標と、当該物体の大きさとが組み合わされた立体地図データを作成する作成ステップと、
作成された立体地図データ群を立体地図データベースとして保存し再利用するステップと
をコンピュータに実行させる立体地図データ作成プログラム。
［付記２］
前記計算ステップにおいて、前記判定ステップにより種類が判定された物体の大きさが、前記物体の形状にも基づいて計算され、
前記物体の形状は、前記物体の種類と前記物体の形状との関係が定義された幾何形状モデルテーブルから導かれる、
付記１に記載の立体地図データ作成プログラム。
［付記３］
付記１又は２に記載の立体地図データ作成プログラムにより作成された立体地図データと、前記立体地図データベース内の物体と対比対象となる構造物の座標基準点データベースに保存されている既知の確定座標とに基づいて、前記立体地図データ内の物体の座標情報を、前記構造物の確定座標に書き替えるどうかを判断する第１判断ステップと、
前記第１判断ステップの判断結果が肯定的なものであった場合に、前記立体地図データ内の物体の座標情報を、前記構造物の確定座標に書き替える第１補正ステップと、
前記補正ステップが行われたことを履歴として作成する履歴作成ステップと、
前記第１判断ステップの判断結果が否定的なものであった場合に、前記構造物の確定座標に基づいて前記立体地図データ内の物体について位置座標の測量が行うことができるかどうかを判断する第２判断ステップと、
前記第２判断ステップの判断結果が肯定的なものであった場合に、前記測量を行う測量ステップと、
前記立体地図データ内の物体の座標情報を、前記測量ステップにより得られた座標情報に書き替える第２補正ステップと、
前記測量ステップにより得られた物体と座標情報の組み合わせを新たな確定座標として座標基準点データベースに加えるステップと
をさらにコンピュータに実行させる、付記１又は２に記載の立体地図データ更新プログラム。
［付記４］
画像と、前記画像に写っている物体の種類と、前記画像に写っている物体の画像内位置とを取得する第１取得ステップと、
前記画像の撮影地点から前記画像に写っている物体までの距離を取得する第２取得ステップと、
前記画像と、前記物体の種類と、前記物体の画像内位置と、前記距離とを教師データとして、入力画像が入力されると前記入力画像に写っている物体の種類と当該物体の入力画像内位置と当該物体までの距離とを出力する数理モデルのパラメータを生成する生成ステップと
をコンピュータに実行させる、数理モデルの学習プログラム。

【0077】

以上、本発明の実施の形態につき述べたが、本発明は既述の実施の形態に限定されるものではなく、本発明の技術的思想に基づいて各種の変形及び変更が可能である。

【符号の説明】

【0078】

Ｓ システム
１ 移動体
１ａ 無人航空機
１ｂ 車両
２ センター

１１ カメラ
１２ ＧＮＳＳ受信機
１３ 慣性計測装置（ＩＭＵ）
１４ ＬｉＤＡＲ装置
１５ エッジコンピュータ
１６ 記録媒体

２ センター
２１ サーバ
２２ データベース

１５１ データ取得部
１５２ 物体判定部
１５３ 位置及びサイズ計算部
１５４ ３Ｄモデラー

２１１ データ取得部
２１２ 第１補正処理部
２１３ 第２補正処理部
２１４ パラメータ計算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】