特許 7352908 無人航空機の推定位置を修正するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-09-21

(45)【発行日】2023-09-29

(54)【発明の名称】無人航空機の推定位置を修正するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体

(51)【国際特許分類】

   G01C 21/20 20060101AFI20230922BHJP

   G05D 1/10 20060101ALI20230922BHJP

【ＦＩ】

G01C21/20

G05D1/10

【請求項の数】 15

(21)【出願番号】P 2019223731

(22)【出願日】2019-12-11

(65)【公開番号】P2021092465

(43)【公開日】2021-06-17

【審査請求日】2022-06-23

(73)【特許権者】

【識別番号】515100042

【氏名又は名称】株式会社ＡＣＳＬ

(73)【特許権者】

【識別番号】399041158

【氏名又は名称】西日本電信電話株式会社

(73)【特許権者】

【識別番号】519265251

【氏名又は名称】株式会社ジャパン・インフラ・ウェイマーク

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100103610

【弁理士】

【氏名又は名称】▲吉▼田 和彦

(74)【代理人】

【識別番号】100109070

【弁理士】

【氏名又は名称】須田 洋之

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100086771

【弁理士】

【氏名又は名称】西島 孝喜

(74)【代理人】

【識別番号】100109335

【弁理士】

【氏名又は名称】上杉 浩

(74)【代理人】

【識別番号】100120525

【弁理士】

【氏名又は名称】近藤 直樹

(74)【代理人】

【識別番号】100139712

【弁理士】

【氏名又は名称】那須 威夫

(74)【代理人】

【識別番号】100151987

【弁理士】

【氏名又は名称】谷口 信行

(72)【発明者】

【氏名】井上 翔介

(72)【発明者】

【氏名】ニクラス ベリストロム

(72)【発明者】

【氏名】クリストファー トーマス ラービ

(72)【発明者】

【氏名】宗 秀哉

(72)【発明者】

【氏名】岸 豊久

【審査官】小林 勝広

(56)【参考文献】

【文献】特開２０１６－０８２４４１（ＪＰ，Ａ）

【文献】国際公開第２０１５／１６３１０７（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ６４Ｂ １／００－ １／７０

Ｂ６４Ｃ １／００－９９／００

Ｂ６４Ｄ １／００－４７／０８

Ｂ６４Ｆ １／００－５／６０

Ｂ６４Ｇ １／００－９９／００

Ｇ０１Ｃ １／００－ １／１４、 ５／００－１５／１４、

２１／００－２１／３６、２３／００－２５／００

Ｇ０５Ｄ １／００－ １／１２

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０、３０／４１８、

４０／１６、４０／２０

Ｇ０８Ｇ １／００－９９／００

(57)【特許請求の範囲】

【請求項1】

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステム。

【請求項2】

前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することは、前記特徴点が分布する領域の第１の代表点が、前記画像中の前記無人航空機の進行方向とは反対側の第１の領域に入ったことであり、前記第１の代表点は、前記特徴点が分布する領域が、前記画像において、前記第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応する指標となるものである請求項１に記載のシステム。

【請求項3】

前記特徴点が分布する領域の第１の代表点は、抽出された前記特徴点のうちの最も前記無人航空機の進行方向側の点である請求項２に記載のシステム。

【請求項4】

前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、第１の閾値以下であることである請求項１に記載のシステム。

【請求項5】

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステム。

【請求項6】

前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することは、前記特徴点が分布する領域の第２の代表点が、前記画像中の前記無人航空機の進行方向側の第２の領域に位置していたことを検知したことであり、
前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することは、前記特徴点が分布する領域の第２の代表点が、前記画像中の前記第２の領域から外れたことを検知したことであり、
前記第２の代表点は、前記特徴点が分布する領域が、前記画像において、前記第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応する指標となるものである請求項５に記載のシステム。

【請求項7】

前記特徴点が分布する領域の第２の代表点は、抽出された前記特徴点のうちの最も前記無人航空機の進行方向側の点である請求項６に記載のシステム。

【請求項8】

前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、第２の閾値以上であることを検知したことであり、
前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、前記第２の閾値よりも小さくなったことを検知したことである請求項５に記載のシステム。

【請求項9】

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正し、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステム。

【請求項10】

請求項１～９のいずれか１項に記載のシステムを搭載した無人航空機。

【請求項11】

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法。

【請求項12】

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法。

【請求項13】

上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、
前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、
前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正し、
前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法。

【請求項14】

請求項１１～１３のいずれか１項に記載の方法をコンピュータに実行させるためのプログラム。

【請求項15】

請求項１４に記載のプログラムを記録したコンピュータ読み取り可能な記録媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、無人航空機の推定位置を修正するためのシステム、方法、プログラム及びプログラムを記憶した記憶媒体に関する。

【背景技術】

【0002】

近時ドローンによる建築構造物の点検が試みられている。ドローンは、ＧＰＳの衛星測位情報を利用して自己位置を推定し、飛行計画経路に沿って自律飛行することができるが、橋梁の下や建築構造物の周囲などでは、ＧＰＳによって正確な位置情報を得ることが難しい。そのため、そのような環境においては、Ｖｉｓｕａｌ ＳＬＡＭによる自己位置推定をＧＰＳによる自己位置推定の代替とする技術が提案されている（下記非特許文献１）。ここで、Ｖｉｓｕａｌ ＳＬＡＭとは、連続して撮影された画像の複数のフレーム間で複数の特徴点を追跡することにより自己位置とマップの推定を並行して行う技術である。

【先行技術文献】

【非特許文献】

【0003】

【文献】野波健蔵、「ドローン産業応用のすべて」、オーム社、平成30年2月、p.73-79

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、Ｖｉｓｕａｌ ＳＬＡＭによる自己位置推定においては、飛行距離が大きくなるにつれて誤差が累積するため、実際の飛行経路が、飛行計画経路とずれてきてしまう。

【0005】

そこで、本発明は、無人航空機がＶｉｓｕａｌ ＳＬＡＭによる自己位置推定により自律飛行を行う場合に、無人航空機の推定位置を修正するためのシステム及び方法を提供することを目的の１つとする。

【課題を解決するための手段】

【0006】

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステムを提供するものである。

【0007】

前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することは、前記特徴点が分布する領域の第１の代表点が、前記画像中の前記無人航空機の進行方向とは反対側の第１の領域に入ったことであるものとすることができる。

【0008】

前記特徴点が分布する領域の第１の代表点は、抽出された前記特徴点のうちの最も前記無人航空機の進行方向側の点であるものとすることができる。

【0009】

前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、第１の閾値以下であるものとすることができる。

【0010】

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステムを提供するものである。

【0011】

前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することは、前記特徴点が分布する領域の第２の代表点が、前記画像中の前記無人航空機の進行方向側の第２の領域に位置していたことを検知したことであり、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することは、前記特徴点が分布する領域の第２の代表点が、前記画像中の前記第２の領域から外れたことを検知したことであるものとすることができる。

【0012】

前記特徴点が分布する領域の第２の代表点は、抽出された前記特徴点のうちの最も前記無人航空機の進行方向側の点であるものとすることができる。

【0013】

前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、第２の閾値以上であることを検知したことであり、
前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することは、前記特徴点が分布する領域の面積に関するパラメータが、前記第２の閾値よりも小さくなったことを検知したことであるものとすることができる。

【0014】

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、前記無人航空機の推定位置を修正するシステムであって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正し、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正するシステム。

【0015】

本発明の１つの態様は、前記システムを搭載した無人航空機を提供するものである。

【0016】

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法を提供するものである。

【0017】

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法を提供するものである。

【0018】

本発明の１つの態様は、上方を撮像可能な撮像装置を備え、前記撮像装置により取得された画像から特徴点を抽出し、該特徴点に基づいて自己位置推定しながら飛行する無人航空機が、橋梁を横断する複数の横断経路の端部を、前記橋梁の側端に沿って延びる連結経路を介して相互に連結して形成された飛行計画経路に基づいて、前記橋梁を前記橋梁の下方から撮像しながら飛行するときに、コンピュータにより実行される前記無人航空機の推定位置を修正する方法であって、前記連結経路は、前記無人航空機の飛行順に第１の端部、第２の端部を有し、前記飛行計画経路において、前記第１の端部は、ウェイポイントして設定され、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達する前に、前記特徴点が分布する領域が、前記画像において、第１の所定の程度以上、前記無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正し、前記無人航空機が前記横断経路を飛行中に、前記自己位置推定により推定された前記無人航空機の推定位置が前記ウェイポイントに到達したときに、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在することに対応することを検知したとき、前記無人航空機をそのまま進行方向に進ませ、前記特徴点が分布する領域が、前記画像において、第２の所定の程度以上、前記無人航空機の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの前記無人航空機の推定位置が、前記ウェイポイントに対応するように、前記無人航空機の推定位置を修正する方法を提供するものである。

【0019】

本発明の１つの態様は、前記方法をコンピュータに実行させるためのプログラムを提供するものである。

【0020】

本発明の１つの態様は、前記プログラムを記録したコンピュータ読み取り可能な記録媒体を提供するものである。

【発明の効果】

【0021】

上記構成による本発明によれば、無人航空機がＶｉｓｕａｌ ＳＬＡＭによる自己位置推定により自律飛行を行う場合に、無人航空機の推定位置を修正するためのシステム及び方法を提供することができる。

【図面の簡単な説明】

【0022】

【図1】本発明の１つの実施形態に係る無人航空機の外観図である。

【図2】本発明の１つの実施形態に係る無人航空機の全体構成を示す図である。

【図3】本発明の１つの実施形態に係る推定位置修正システムの機能構成を示す図である。

【図4】本発明の１つの実施形態に係る推定位置修正システムの推定位置修正処理の例のフローチャートである。

【図5】飛行計画経路の一例を示す図である。

【図6】図５の一部を拡大し、無人航空機の位置と特徴点の分布の関係の一例を示す図である。

【発明を実施するための形態】

【0023】

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明は以下に説明する具体的態様に限定されるわけではなく、本発明の技術思想の範囲内で種々の態様を取り得る。例えば、本発明の無人航空機は、図１に示すマルチコプタに限らず、回転翼機、固定翼機等、任意の無人航空機であってもよい。また、無人航空機１のシステム構成も、図に示されるものに限らず同様の動作が可能であれば任意の構成を取ることができる。例えば通信回路の機能を飛行制御部に統合する等、複数の構成要素が実行する動作を単独の構成要素により実行してもよいし、あるいは主演算部の機能を複数の演算部に分散する等、単独の構成要素が実行する動作を複数の構成要素により実行してもよい。また、無人航空機１のメモリ内に記憶される各種データは、それとは別の場所に記憶されていてもよいし、各種メモリに記録される情報も、１種類の情報を複数の種類に分散して記憶してもよいし、複数の種類の情報を１種類にまとめて記憶してもよい。

【0024】

図１は、本実施形態に係る無人航空機（マルチコプタ）１の一例であるマルチコプタの外観図である。無人航空機１は、外観に関しては、制御ユニット１０１と、制御ユニット１０１からの制御信号により駆動される６つのモータ１０２と、各々のモータ１０２の駆動により回転して揚力を発生させる６つのロータ（回転翼）１０３と、制御ユニット１０１と各々のモータ１０２とを接続する６つのアーム１０４と、着陸時に無人航空機を支える着陸脚１０５とを備える。モータ１０２、ロータ１０３、及びアーム１０４の数は、それぞれ、３、４などのような３以上の数とすることもできる。制御ユニット１０１からの制御信号により６つのモータ１０２が回転させられ、それにより６つのロータ１０３の各々の回転数を制御することにより、上昇、下降、前後左右への飛行、旋回等、無人航空機１の飛行が制御される。また、制御ユニット１０１には台座１０６が取り付けられており、高解像度で対象物を撮影するための第１のカメラ１０８が、第１のカメラ１０８を回転可能に支持する支持部材１０７を介して台座１０６に取り付けられている。また、台座１０６の前方には後述のＶｉｓｕａｌ ＳＬＡＭ処理を行うための対象物の画像を撮影するための第２のカメラ１０９が真上に向けて取り付けられており、台座１０６の下側にはＶＳＬＡＭ処理ユニット１２４が取り付けられている。また、無人航空機１は、飛行位置センサ１１０、アンテナ１１７も有している。

【0025】

図２は、図１に示す無人航空機１の全体構成を示す図である。無人航空機１は、大きく、制御ユニット１０１、制御ユニット１０１に電気的に接続されたモータ１０２、モータ１０２に機械的に接続されたロータ１０３、第１のカメラ１０８、第２のカメラ１０９、飛行位置センサ１１０、姿勢センサ１１１、方位センサ１１２、高度センサ１１３、距離センサ１１５、アンテナ１１７から構成される。

【0026】

制御ユニット１０１は、無人航空機１の飛行制御を行うための情報処理や、そのための電気信号の制御を行うための構成であり、典型的には基板上に各種の電子部品を配置して配線することによってそのような機能の実現に必要な回路を構成したユニットである。制御ユニット１０１は、さらに、情報処理ユニット１２０、通信回路１２１、制御信号生成部１２２、スピードコントローラ１２３、インターフェイス１２５から構成される。

【0027】

第１のカメラ１０８は、高解像度で対象物を撮像するためのカメラである。第１のカメラ１０８は、第１のカメラ１０８を回転可能に支持する支持部材１０７を介して台座１０６に取り付けられていて、これにより撮像方向を変えることができるようになっている。第１のカメラ１０８は、無人航空機１の飛行中、それの撮影範囲の画像のデータを取得し、取得された画像は、後述の記憶部２２１に記憶される。画像は、典型的には一連の静止画像からなる動画の画像である。

【0028】

第２のカメラ１０９は、後述のＶｉｓｕａｌ ＳＬＡＭ処理を行うための対象物の画像を撮影するためのカメラであり、台座１０６に真上を向くように取り付けられている。Ｖｉｓｕａｌ ＳＬＡＭ処理の負荷を低減するために、低解像度での撮像を行う第２のカメラ１０９が、第１のカメラ１０８とは別個に設けられている。第２のカメラ１０９は、無人航空機１の飛行中、それの撮影範囲の画像のデータを取得し、取得された画像は、情報処理ユニット１２０や後述の記憶部２０７に記憶される。画像は、典型的には一連の静止画像からなる動画の画像である。

【0029】

飛行位置センサ１１０は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサのような無人航空機１の飛行位置の座標を感知するナビゲーションのためのセンサである。飛行位置センサ１１０は、好適には、三次元的な座標を感知する。飛行位置センサ１１０は、主として、ＧＰＳ信号が良好に受信可能な環境下で、無人航空機１が飛行計画経路に沿って飛行する時の位置を制御するために使用される。

【0030】

姿勢センサ１１１は、例えば６軸ジャイロ（加速度／角速度センサ）のような、無人航空機１の移動と傾きなどを検出するためのセンサであり、無人航空機１の飛行時の姿勢を制御するために使用される。

【0031】

方位センサ１１２は、例えば磁気センサのような、飛行方向を制御するためのセンサである。

【0032】

高度センサ１１３は、例えば気圧センサのような、無人航空機１の高度を検出するセンサであり、無人航空機１の飛行高度を制御するために使用される。

【0033】

無人航空機１は、超音波センサのような距離センサを備えていてもよい。距離センサ１１５は、例えば超音波センサのような、障害物や地面との間の距離を測定し、障害物との衝突を避けたり、対地高度を精密に測定するためのセンサである。

【0034】

アンテナ１１７は、無人航空機１を操縦したり制御するための情報や各種データを含む無線信号を受信したり、テレメトリ信号を含む無線信号を無人航空機１から送信するための空中線である。

【0035】

通信回路１２１は、アンテナ１１７を通じて受信した無線信号から、無人航空機１のための操縦信号、制御信号や各種データなどを復調して情報処理ユニット１２０に入力したり、無人航空機１から出力されるテレメトリ信号などを搬送する無線信号を生成するための電子回路であり、典型的には無線信号処理ＩＣである。なお、例えば、操縦信号の通信と、制御信号、各種データの通信とを別の周波数帯の異なる通信回路で実行するようにしてもよい。例えば、手動での操縦を行うためのコントローラ（プロポ）の送信器と９５０ＭＨｚ帯の周波数で通信し、データ通信を２ＧＨｚ帯／１．７ＧＨｚ帯／１．５ＧＨｚ帯／８００ＭＨｚ帯の周波数で通信するような構成を採ることも可能である。

【0036】

制御信号生成部１２２は、情報処理ユニット１２０によって演算により得られた制御指令値データを、電圧を表わすパルス信号（ＰＷＭ信号など）に変換する構成であり、典型的には、発振回路とスイッチング回路を含むＩＣである。スピードコントローラ１２３は、制御信号生成部１２２からのパルス信号を、モータ１０２を駆動する駆動電圧に変換する構成であり、典型的には、平滑回路とアナログ増幅器である。図示していないが、無人航空機１は、リチウムポリマーバッテリやリチウムイオンバッテリ等のバッテリデバイスや各要素への配電系を含む電源系を備えている。

【0037】

ＶＳＬＡＭ処理ユニット１２４は、本発明の推定位置修正システムの一例となるもので、ＣＰＵ１２４ａ、ＲＡＭ１２４ｂ、ＲＯＭ１２４ｃ、外部メモリ１２４ｄ、インターフェイス１２４ｇを含む。ＲＡＭ１２４ｂ、ＲＯＭ１２４ｃ、外部メモリ１２４ｄ、インターフェイス１２４ｅは、システムバス１２４ｆを介して、ＣＰＵ１２４ａに接続されている。ＶＳＬＡＭ処理ユニット１２４は、ＧＰＵを備えていてもよい。

【0038】

後述の図３に示される推定位置修正システム２の各部は、ＲＯＭ１２４ｃや外部メモリ１２４ｄに記憶された各種プログラムが、ＣＰＵ１２４ａ、ＲＡＭ１２４ｂ、ＲＯＭ１２４ｃ、外部メモリ１２４ｄ、インターフェイス１２４ｅ等を資源として使用することで実現される。

【0039】

Ｖｉｓｕａｌ ＳＬＡＭについては、ＭｏｎｏＳＬＡＭやＰＴＡＭ（Ｐａｒａｌｌｅｌ Ｔｒａｃｋｉｎｇ ａｎｄ Ｍａｐｐｉｎｇ等、さまざまなアルゴリズムが開発されている。ＶＳＬＡＭ処理ユニット１２４がそのようなアルゴリズムを実装したプログラムを実行することにより、第２のカメラ１０９からの画像信号を用いてＶｉｓｕａｌ ＳＬＡＭによる自己位置推定とマップ作成を行い、これにより推定された自己位置（無人航空機１の周囲に存在する要素に対する無人航空機１の相対位置）や速度（位置の時間微分により求められる。）、姿勢（撮影した画像における複数の特徴点の配置から幾何学計算により求められる。）等、無人航空機１の状態を表す量を決定する。これらの量を示す信号は情報処理ユニット１２０へと出力され、そして情報処理ユニット１２０は、ＶＳＬＡＭ処理ユニット１２４から入力される情報を利用する。またＶＳＬＡＭ処理ユニット１２４が推定したマップ情報も情報処理ユニット１２０へと出力され、記録装置に記録される。なお、第２のカメラ１０９としては単眼カメラではなく、ステレオカメラを用いてもよく、この場合も同様の原理でＶｉｓｕａｌ ＳＬＡＭによる自己位置等の推定が可能である。

【0040】

インターフェイス１２５は、情報処理ユニット１２０、飛行位置センサ１１０、姿勢センサ１１１、方位センサ１１２、高度センサ１１３、距離センサ１１５などの機能要素との間で信号の送受信ができるように信号の形態を変換することにより、それらを電気的に接続する構成である。なお、説明の都合上、図面においてインターフェイスは１つの構成として記載しているが、接続対象の機能要素の種類によって別のインターフェイスを使用することが通常である。また、接続対象の機能要素が入出力する信号の種類によってはインターフェイス１２５が不要な場合もある。また、図２において、インターフェイス１２５が媒介せずに接続されている情報処理ユニット１２０であっても、接続対象の機能要素が入出力する信号の種類によってはインターフェイスが必要となる場合もある。

【0041】

情報処理ユニット１２０は、ＣＰＵ、ＲＡＭ、ＲＯＭ、外部メモリ、システムバスを含む。ＲＡＭ、ＲＯＭ、外部メモリ、通信回路１２１、制御信号生成部１２２、インターフェイス１２５は、システムバスを介して、ＣＰＵに接続されている。

【0042】

情報処理ユニット１２０は、操作者からの操縦信号（非自律飛行時）や飛行計画経路データ（自律飛行時）などに基づいて無人航空機１の飛行を適切に制御する。具体的には、飛行制御用の各種センサやＶＳＬＡＭ処理ユニット１２４から得られる情報により無人航空機１の姿勢、速度等を判断し、飛行位置センサ１０７から得られる情報により無人航空機１の現在の飛行位置などを判断し、操縦信号、飛行計画経路、速度制限、高度制限等の目標値と比較することにより情報処理ユニット１２０で各ロータ１０３に対する制御指令値を演算し、制御指令値を示すデータを制御信号生成部１２２に出力する。制御信号生成部１２２は、その制御指令値を電圧を表わすパルス信号に変換して各スピードコントローラ１２３に送信する。各スピードコントローラ１２３は、そのパルス信号を駆動電圧へと変換して各モータ１０２に印加し、これにより各モータ１０２の駆動を制御して各ロータ１０３の回転数を制御することにより無人航空機１の飛行が制御される。

【0043】

ここで、飛行計画経路データは、無人航空機１の三次元（緯度、経度、高度）の飛行計画経路を表すデータであり、典型的には、飛行計画経路上に存在する一連の複数のウェイポイントの集合のデータである。飛行計画経路は、典型的には、それらの複数のウェイポイントを順番に結んだ直線の集合であるが、ウェイポイントの所定範囲内においては所定の曲率の曲線とすることもできる。好適には、飛行計画経路の特定のウェイポイントの近傍に目標位置が存在すると良い。そのウェイポイントには、それを通過後に目標位置に向かう旨の情報が付加される。そのウェイポイントは、飛行計画経路の終点（折り返し点）とすることもできる。なお、あるウェイポイントを目標位置とすることもできる。この場合、そのウェイポイントのデータには、それが目標位置である旨の情報が付加される。飛行計画経路データは、複数のウェイポイントにおける飛行速度を定めるデータを含んでいてもよい。飛行計画経路データは、典型的には自律飛行において飛行計画経路を定めるために使用されるが、非自律飛行において飛行時のガイド用として使用することもできる。飛行計画経路データは、典型的には、飛行前に無人航空機１に入力されて記憶される。

【0044】

図３は、本発明の１つの実施形態に係る推定位置修正システムの機能構成を示す図である。修正位置修正システム２は、ＶＳＬＡＭ部２０１、特徴点領域パラメータ算出部２０３、推定位置修正部２０５、記憶部２０７を備える。

【0045】

ＶＳＬＡＭ部２０１は、第２のカメラ１０９が撮像した画像の画像データを取得し、取得した画像データから橋梁３に関する特徴点を検出し、検出された特徴点に基づいて、自己位置の推定とマップの作成を行う。

【0046】

特徴点分布領域パラメータ算出部２０３は、検出された特徴点が分布する領域に関するパラメータを算出する。検出された特徴点が分布する領域に関するパラメータは、例えば、検出された特徴点のうちの最も無人航空機の進行方向側の点、検出された特徴点が分布する領域の面積等、任意の適切な特徴点に関するパラメータとすることができる。

【0047】

推定位置修正部２０５は、算出された特徴点が分布する領域に関するパラメータが、所定の条件を満たす場合に、推定位置を修正する。すなわち、無人航空機１が後述の横断経路を飛行中に、自己位置推定により推定された無人航空機の推定位置がウェイポイントに到達する前に、特徴点が分布する領域が、画像において、第１の所定の程度以上、無人航空機の進行方向とは反対側に偏って存在することに対応することを検知したとき、そのときの無人航空機の推定位置が、ウェイポイントに対応するように、推定位置を修正する。また、無人航空機が横断経路を飛行中に、自己位置推定により推定された無人航空機の推定位置がウェイポイントに到達したときに、特徴点が分布する領域が、画像において、第２の所定の程度以上、無人航空機１の進行方向側に偏って存在することに対応することを検知したとき、無人航空機をそのまま進行方向に進ませ、特徴点が分布する領域が、画像において、第２の所定の程度以上、無人航空機１の進行方向側に偏って存在しなくなったことに対応することを検知したとき、そのときの無人航空機の推定位置が、前記ウェイポイントに対応するように、推定位置を修正する。

【0048】

記憶部２０７は、各種データや各種プログラムを記憶する。

【0049】

以上のシステム構成を前提に、本発明の１つの実施形態に係る推定位置修正システムの推定位置修正処理の例を図１～６を参照して、以下に説明する。本実施形態では、橋梁の下側を撮像して点検を行う場合を例として説明する。

【0050】

図４は、本発明の１つの実施形態に係る推定位置修正システムの推定位置修正処理の例のフローチャートである。図５は、飛行計画経路の一例を示す図である。図６は、図５の一部を拡大し、無人航空機の位置と特徴点の分布の関係の一例を示す図である。

【0051】

無人航空機１の飛行前の事前準備として、適切な飛行計画経路を作成し、飛行計画経路上に存在する一連の複数のウェイポイントの集合を飛行計画経路データとして情報処理ユニット１２０に記憶させておく。飛行計画経路データは、それぞれのウェイポイントにおける高度あるいは対地高度の情報を含むこともできる。無人航空機１の飛行計画経路データを情報処理ユニット１２０に記憶させる際には、それらを無線信号で無人航空機１に送信し、アンテナ１１７及び通信回路１２１を経由して情報処理ユニット１２０に読み込ませると好適である。無人航空機１が他の適当なインターフェイスを有している場合、そのインターフェイスを経由して無人航空機１の情報処理ユニット１２０に読み込ませてもよい。

【0052】

図５は、飛行計画経路ＲＴの一部の一例を示す図である。橋梁３の長手方向に直交する方向に延びる横断経路Ｔ１、Ｔ２、Ｔ３、・・・と橋梁３の側縁３１との交点がウェイポイントＰ１、Ｐ２、Ｐ３、・・・として設定され、横断経路Ｔ１、Ｔ２、Ｔ３、・・・が橋梁３の側縁３１に沿って延びる連結経路Ｊ１、Ｊ２、Ｊ３、・・・を介して連結されている。隣接する横断経路間の間隔は、第１のカメラ１０８の撮影幅に基づいて、隣接する横断経路での撮影幅のオーバラップ量を考慮して決定される。また、ウェイポイントの高度は、橋梁３から所定の距離だけ下方とされる。連結経路は、必ずしも橋梁の側縁上にある必要はなく、橋梁の側縁に沿っていればよい。

【0053】

飛行前の事前準備が完了すると、情報処理ユニット１２０により飛行計画経路に沿った自律飛行制御が行われる。すなわち、情報処理ユニット１２０は、情報処理ユニット１２０から飛行計画経路データを読み出し、それによって定められる飛行計画経路に沿って目標位置に飛行するように無人航空機１を制御する。具体的には、飛行計画経路データで定められるウェイポイントをその順番に経由して飛行するように無人航空機１の飛行方向及び高度を制御する。飛行計画経路は好適には目標となる飛行速度のデータを含んでおり、無人航空機１は、その飛行速度で飛行計画経路に沿って飛行するように制御される。なお、情報処理ユニット１２０は、飛行時に、ユーザからの手動の操作を受け付けて非自律飛行を実行させることができる。この場合、飛行計画経路はガイド用として使用することになり、例えば、手動の操作が終了したときに無人航空機１を飛行計画経路上に復帰させることなどができる。

【0054】

ＶＳＬＡＭ部２０１は、飛行中に、第２のカメラ１０９が橋梁３の下方から橋梁３を撮像した画像の画像データを取得し、取得した画像データから橋梁３に関する特徴点を検出し、検出された特徴点に基づいて、自己位置の推定とマップの作成を行う（Ｓ１０１）。

【0055】

特徴点分布領域パラメータ算出部２０５は、検出された特徴点が分布する領域に関するパラメータである、検出された特徴点のうちの最も機体の進行方向側の点Ｃｔを算出する（Ｓ１０３）。

【0056】

推定位置修正部２０５は、算出された検出された特徴点のうちの最も機体の進行方向側の点が、所定の条件を満たす場合に、推定位置を修正する。

【0057】

図６は、図５の一部を拡大し、無人航空機の位置と特徴点の分布の関係の一例を示す図である。無人航空機１が橋梁３の下を飛行しているとき（例えば図６のＡ点）、上方を撮像可能な第２のカメラ１０９により取得された画像Ｉには、画像全体に橋梁３が撮像されているので、検出される特徴点Ｃ、Ｃｔは、図６の（I）に示されるように、取得された画像全体に分布する。一方、無人航空機１が橋梁の側縁３１付近に達すると（例えば図６のＢ点）、第２のカメラ１０９により取得された画像Ｉの、無人航空機１の進行方向とは反対側には橋梁３が撮像され、無人航空機１の進行方向側には空が撮像されるので、検出される特徴点Ｃ、Ｃｔは、図６の（II）に示されるように、取得された画像Ｉの、無人航空機１の進行方向とは反対側の領域に分布し、取得された画像Ｉの無人航空機１の進行方向側には特徴点Ｃ、Ｃｔが分布しない。すなわち、取得された画像Ｉにおいて、特徴点Ｃ、Ｃｔが分布する領域は、所定の程度、無人航空機１の進行方向とは反対側に偏って存在する。

【0058】

したがって、この特徴点の分布を利用して、横断経路を飛行しているときに、検出された特徴点Ｃ、Ｃｔが取得された画像Ｉ全体に分布している場合は、無人航空機１は橋梁３の下を飛行しており、特徴点Ｃ、Ｃｔが分布する領域が、所定の程度、無人航空機１の進行方向とは反対側に偏って存在する場合は、無人航空機１は橋梁３の側縁３１付近、すなわち次のウェイポイント付近を飛行していると判断することができる。

【0059】

一方、Ｖｉｓｕａｌ ＳＬＡＭによる自己位置推定においては、飛行距離が大きくなるにつれて誤差が累積するが、正の誤差が累積すると、実際の自己位置が次のウェイポイントに到達しても、推定された自己位置がウェイポイントにまだ到達していないという状態が生じ、負の誤差が累積すると、推定された自己位置が飛行計画経路上のウェイポイントに到達したとき、実際の自己位置は、ウェイポイントの手前となるという状態が生じる。

【0060】

そこで、推定位置修正部２０７は、横断経路（例えばＴ２）を飛行中に、ＶＳＬＡＭ部２０３が推定した自己位置がウェイポイント（例えばＰ３）に到達する前に（Ｓ１０５）、特徴点領域の第１の代表点である、ステップＳ１０３で算出された検出された特徴点Ｃのうちの最も機体の進行方向側の点Ｃｔが、取得された画像Ｉ中の第１の領域である、画像中央から無人航空機１の進行方向とは反対側の領域Ｒ１に入ったことを検知した場合（図６の（III））（Ｓ１０７）、そのときの無人航空機１の推定位置をウェイポイント（例えばＰ３）の位置に修正する（Ｓ１１３）。推定位置の修正は、ウェイポイントそのものの位置ではなく、ウェイポイント近辺の任意の適切なウェイポイントに対応する位置に修正してもよい。

【0061】

また、推定位置修正部２０５は、横断経路（例えばＴ２）を飛行中に、ＶＳＬＡＭ部２０１が推定した自己位置がウェイポイント（例えばＰ３）に到達したときに、ステップＳ１０３で算出された検出された特徴点Ｃのうちの最も機体の進行方向側の点Ｃｔが、取得された画像中の第２の領域である、画像中央から無人航空機１の進行方向側の領域Ｒ２に位置していたことを検知した場合（図６の（I）、（II））（Ｓ１０９）、進行方向を変えることなくそのままの進行方向に無人航空機１を進めるように制御信号生成部１２２に指示を与え（Ｓ１１１）、特徴点領域の第２の代表点である、ステップＳ１０３で算出された検出された特徴点Ｃのうちの最も機体の進行方向側の点Ｃｔが、取得された画像Ｉ中の第２の領域である、画像中央から無人航空機１の進行方向側の領域Ｒ２から外れたことを検知した場合（図６の（III））（Ｓ１０９）、そのときの無人航空機１の推定位置をウェイポイント（例えばＰ３）の位置に修正する（Ｓ１１３）。

【0062】

上記実施形態においては、抽出された特徴点が分布する領域に関するパラメータが、抽出された特徴点のうちの最も機体の進行方向側の点である例を説明したが、抽出された特徴点が分布する領域に関するパラメータは、これに限定されるものではなく、特徴点が分布する領域が、画像において、所定の程度以上、無人航空機の進行方向側又は進行方向とは反対側に偏って存在することに対応する指標となる任意の適切なパラメータとすることができる。

【0063】

このようなパラメータとして、例えば、抽出された特徴点が分布する領域の面積に関するパラメータを考えることができる。すなわち、図６の（I）～（III）を参照して、無人航空機が横断経路を飛行しているときは、画像の進行方向側のみに特徴点が分布する領域が存在することはないから、例えば、特徴点が分布する領域の面積、ないしは画像の全領域の面積に対する特徴点が分布する領域の面積の割合といった特徴点が分布する領域の面積に関するパラメータが小さいほど、特徴点が分布する領域が、無人航空機の進行方向とは反対側に偏って存在する程度が大きくなる。したがって、この場合、無人航空機が横断経路を飛行中に、自己位置推定により推定された無人航空機の推定位置がウェイポイントに到達する前に、特徴点が分布する領域の面積に関するパラメータが、第１の閾値以下であることを検知したとき、そのときの無人航空機の推定位置が、ウェイポイントに対応するように、無人航空機の推定位置を修正し、無人航空機が横断経路を飛行中に、自己位置推定により推定された無人航空機の推定位置がウェイポイントに到達したときに、特徴点が分布する領域の面積に関するパラメータが、第２の閾値以上であることを検知したとき、無人航空機をそのまま進行方向に進ませ、特徴点が分布する領域の面積に関するパラメータが、第２の閾値よりも小さくなったことを検知したとき、そのときの無人航空機の推定位置が、ウェイポイントに対応するように、無人航空機の推定位置を修正する構成とすればよい。

【0064】

また、上記実施形態においては、抽出された特徴点が分布する領域に関するパラメータが、抽出された特徴点のうちの最も無人航空機の進行方向側の点を用いたが、特徴点が分布する領域の重心や、抽出された特徴点のうちの複数の最も無人航空機の進行方向側の点を加重平均した点等、他の任意の適切な特徴点が分布する領域の代表点を用いることもできる。

【0065】

また、上記実施形態においては、第１の代表点と第２の代表点が同じであったが、両者は異なっていてもよい。

【0066】

また、上記実施形態においては、第１の領域として、画像中央から無人航空機１の進行方向とは反対側の領域を、第２の領域として、画像中央から無人航空機１の進行方向側の領域を用いたが、これに限定されるものではなく、他の任意の適切な領域を用いることができる。

【0067】

また、上記実施形態においては、横断経路は、橋梁の長手方向に直交する方向に延びる経路としたが、これに限定されるものではなく、他の任意の適切な方向とすることができ、また横断経路毎に異なる方向とすることができる。また、横断経路は、直線経路でなく、曲線経路であってもよい。

【0068】

本実施形態によれば、Ｖｉｓｕａｌ ＳＬＡＭにより推定される自己位置に累積する誤差を、所定のタイミングで修正することができる。

【0069】

Ｖｉｓｕａｌ ＳＬＡＭによる自己位置推定において、負の誤差が累積すると、推定された自己位置が飛行計画経路上のウェイポイントに到達したとき、実際の自己位置は、ウェイポイントの手前となるので、ウェイポイントで折り返すと、橋梁の端部側に点検されない部分が残ってしまうが、本実施形態によれば、無人航空機１を橋梁の端部まで進めるので、点検されない部分を残さないようにすることができる。

【0070】

また、Ｖｉｓｕａｌ ＳＬＡＭによる自己位置推定において、正の誤差が累積すると、実際の自己位置がウェイポイントに到達しても、推定された自己位置がウェイポイントにまだ到達していないので、機体はそのまま進行方向に進む。そのため、機体は橋梁下の外にはみ出してしまうため、撮像された画像には空しか写らず、特徴点を検出することができないため、方向を見失ってしまい、自律飛行ができなくなってしまうが、本実施形態によれば、そのような方向を見失うことを防止することができる。

【0071】

以上、本発明について、例示のためにいくつかの実施形態に関して説明してきたが、本発明はこれに限定されるものでなく、本発明の範囲及び精神から逸脱することなく、形態及び詳細について、様々な変形及び修正を行うことができることは、当業者に明らかであろう。

【符号の説明】

【0072】

１ 無人航空機
１０１ 制御ユニット
１０２ モータ
１０３ ロータ
１０４ アーム
１０５ 着陸脚
１０６ 台座
１０７ 支持部材
１０８ 第１のカメラ
１０９ 第２のカメラ
１１０ 飛行位置センサ
１１１ 姿勢センサ
１１２ 方位センサ
１１３ 高度センサ
１１５ 距離センサ
１１７ アンテナ
１２０ 情報処理ユニット
１２１ 通信回路
１２２ 制御信号生成部
１２３ スピードコントローラ
１２４ ＶＳＬＡＭユニット
１２４ａ ＣＰＵ
１２４ｂ ＲＡＭ
１２４ｃ ＲＯＭ
１２４ｄ 外部メモリ
１２４ｅ インターフェイス
１２４ｆ システムバス
１２５ インターフェイス
２ 推定位置修正システム
２０１ ＶＳＬＡＭ部
２０３ 特徴点領域パラメータ算出部
２０５ 推定位置修正部
２０７ 記憶部
３ 橋梁
３１ 側縁
ＲＴ 飛行計画経路
Ｔ１、Ｔ２、Ｔ３ 横断経路
Ｊ１、Ｊ２、Ｊ３ 連結経路
Ｐ１、Ｐ２、Ｐ３ ウェイポイント
Ｉ 画像
Ｃ 特徴点
Ｃｔ 最も機体の進行方向側の特徴点
ＣＡ 特徴点領域
Ｒ１ 第１の領域
Ｒ２ 第２の領域

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】