特許 7444884 パイプにＵＡＶがパーチする自動化方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-27

(45)【発行日】2024-03-06

(54)【発明の名称】パイプにＵＡＶがパーチする自動化方法

(51)【国際特許分類】

   G05D 1/46 20240101AFI20240228BHJP

   B64C 13/18 20060101ALI20240228BHJP

   B64C 39/02 20060101ALI20240228BHJP

   B64D 47/08 20060101ALI20240228BHJP

   G08G 5/02 20060101ALI20240228BHJP

   G01B 11/00 20060101ALI20240228BHJP

   G01C 7/04 20060101ALI20240228BHJP

   G01C 15/00 20060101ALI20240228BHJP

【ＦＩ】

G05D1/46

B64C13/18 Z

B64C39/02

B64D47/08

G08G5/02 A

G01B11/00 H

G01C7/04

G01C15/00 104C

【請求項の数】 20

(21)【出願番号】P 2021531006

(86)(22)【出願日】2019-11-27

(65)【公表番号】

(43)【公表日】2022-01-28

(86)【国際出願番号】 US2019063586

(87)【国際公開番号】W WO2020112985

(87)【国際公開日】2020-06-04

【審査請求日】2022-09-12

(31)【優先権主張番号】62/772,700

(32)【優先日】2018-11-29

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】16/696,085

(32)【優先日】2019-11-26

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】599130449

【氏名又は名称】サウジ アラビアン オイル カンパニー

(73)【特許権者】

【識別番号】319003493

【氏名又は名称】キング・アブドゥッラー・ユニバーシティ・オブ・サイエンス・アンド・テクノロジー

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】モハメド・アブデルカデル

(72)【発明者】

【氏名】ファドゥル・アブデルラティフ

(72)【発明者】

【氏名】ジェフ・エス・シャムマ

【審査官】今井 貞雄

(56)【参考文献】

【文献】国際公開第２０１８／１２９３２１（ＷＯ，Ａ１）

【文献】国際公開第２０１７／０９６５４８（ＷＯ，Ａ１）

【文献】Cai Luo，A Vision-Aided Approach to Perching a Bioinspired Unmanned Aerial Vehicle，IEEE TRANSACTIONS ON INDUSTRIAL ELECTRONICS，2018年05月，65，3976-3984

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／４６

(57)【特許請求の範囲】

【請求項1】

円筒状の曲面から離れた開始位置から、前記円筒状の曲面に自律的にパーチするための無人航空機（ＵＡＶ）であって、前記ＵＡＶは、
前記円筒状の曲面を含む前記ＵＡＶからのシーンの３次元（３Ｄ）の点群をキャプチャおよび出力するように構成されている、３Ｄ深度カメラと、
前記シーンの２次元（２Ｄ）スライスをキャプチャおよび出力するように構成されている、２Ｄ ＦＯＶを有する３ＤのＬＩＤＡＲシステムとは対照的に、１次元（１Ｄ）視野（ＦＯＶ）を有する、２Ｄの光検出および測距（ＬＩＤＡＲ）システムと、
前記円筒状の曲面上に前記ＵＡＶを機械的にパーチするように構成されているパーチ機構と、
制御回路であって、
前記深度カメラおよび前記２ＤのＬＩＤＡＲシステムを制御して、前記シーンの前記３Ｄ点群および前記２Ｄスライスをそれぞれキャプチャすることと、
前記深度カメラから前記キャプチャされた３Ｄ点群および前記２ＤのＬＩＤＡＲシステムから前記キャプチャされた２Ｄスライスを入力することと、
前記キャプチャされた３Ｄ点群および前記キャプチャされた２Ｄスライスを使用して、前記円筒状の曲面を自律的に検出および位置特定することと、
前記円筒状の曲面の前記自律的な検出および位置特定に基づいて、前記ＵＡＶを前記開始位置から前記円筒状の曲面上の着陸位置へ自律的に誘導することと、
前記パーチ機構を使用して、前記ＵＡＶを自律的に制御し、前記着陸位置の前記円筒状の曲面に前記ＵＡＶをパーチすることと、を行うように構成されている、制御回路と、を備える、ＵＡＶ。

【請求項2】

前記制御回路が、
前記ＵＡＶが前記円筒状の曲面付近に到達するまで、前記キャプチャされた３Ｄ点群を使用して、前記ＵＡＶを前記着陸位置へと自律的に誘導しながら、前記開始位置からの前記自律的な検出および位置特定を実行することと、
前記ＵＡＶが前記円筒状の曲面付近に到達すると、前記３Ｄ点群を使用することから、前記キャプチャされた２Ｄスライスを使用することに切り替えて、前記自律的な検出および位置特定を実行することと、を行うようにさらに構成されている、請求項１に記載のＵＡＶ。

【請求項3】

前記制御回路が、
前記パーチに先立って、前記ＵＡＶを前記円筒状の曲面付近の整合位置へ自律的に誘導することであって、前記整合位置は、前記ＵＡＶが前記着陸位置に対して整合される位置であることと、
前記キャプチャされた２Ｄスライスを使用して、前記ＵＡＶを自律的に誘導して、前記整合位置から前記着陸位置に直接移動させることと、を行うようにさらに構成されている、請求項２に記載のＵＡＶ。

【請求項4】

前記制御回路が、前記３Ｄ点群および前記２Ｄスライスを融合することによって、前記円筒状の曲面を自律的に検出および位置特定するようにさらに構成されており、前記融合が、
前記キャプチャされた３Ｄ点群のうちの１つを使用して、前記円筒状の曲面の前記自律的な検出および位置特定の第１のパスを実行することと、
前記第１のパスからの前記検出および位置特定された円筒状の曲面を使用して、前記２Ｄスライスのうちの対応する１つをキャプチャすることと、
前記２Ｄスライスのうちの前記対応する１つを使用して、前記円筒状の曲面の前記自律的な検出および位置特定の第２のパスを実行することと、を含む、請求項１に記載のＵＡＶ。

【請求項5】

前記深度カメラのポーズを推定するように構成された慣性測定ユニット（ＩＭＵ）をさらに備え、前記制御回路が、前記３Ｄ点群の第１のものにおける前記検出および位置特定された前記円筒状の曲面から、前記３Ｄ点群のうちの第２のものにおける前記円筒状の曲面の場所を予測するために、前記３Ｄ点群のうちの前記第１のものをキャプチャすることと、前記３Ｄ点群のうちの前記第２のものをキャプチャすることと、の間で、前記深度カメラの前記推定されたポーズを使用するようにさらに構成されている、請求項１に記載のＵＡＶ。

【請求項6】

前記制御回路が、
前記キャプチャされた３Ｄ点群を使用して、前記円筒状の曲面を自律的に検出および位置特定することと、
前記２ＤのＬＩＤＡＲシステムを制御して、前記検出および位置特定された円筒状の曲面に垂直な前記２Ｄスライスをキャプチャすることと、を行うようにさらに構成されている、請求項１に記載のＵＡＶ。

【請求項7】

前記円筒状の曲面が、円筒の一部であり、前記制御回路は、前記２ＤのＬＩＤＡＲシステムを制御して、前記円筒の中心軸に垂直な前記２Ｄスライスをキャプチャするようにさらに構成されている、請求項６に記載のＵＡＶ。

【請求項8】

前記制御回路が、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アプローチを使用して、前記円筒状の曲面を自律的に検出および位置特定するようにさらに構成されている、請求項１に記載のＵＡＶ。

【請求項9】

前記制御回路が、
前記キャプチャされた３Ｄ点群、または前記キャプチャされた２Ｄスライス、または前記キャプチャされた３Ｄ点群および前記キャプチャされた２Ｄスライスの両方を使用して、前記開始位置から前記着陸位置までの前記ＵＡＶの飛行経路上の１つ以上の障害物を検出することと、
前記飛行経路上の前記１つ以上の障害物を回避するように、前記ＵＡＶを自律的に再誘導することと、を行うようにさらに構成されている、請求項１に記載のＵＡＶ。

【請求項10】

前記円筒状の曲面が、強磁性であり、前記パーチ機構が、パーチ中に前記強磁性の円筒状の曲面に磁着するように、かつパーチ後に前記強磁性の円筒状の曲面に磁着されたままであるように構成されている、磁気脚を備える、請求項１に記載のＵＡＶ。

【請求項11】

無人航空機（ＵＡＶ）を円筒状の曲面から離れた開始位置から前記円筒状の曲面上に自律的にパーチさせる方法であって、
前記ＵＡＶに取り付けられた３次元（３Ｄ）深度カメラを使用して、前記円筒状の曲面を含む前記ＵＡＶからのシーンの３Ｄ点群をキャプチャおよび出力することと、
前記ＵＡＶに取り付けられた２次元（２Ｄ）の光検出および測距（ＬＩＤＡＲ）システムを使用して、前記シーンの２Ｄスライスをキャプチャおよび出力することであって、前記２ＤのＬＩＤＡＲシステムは、２Ｄ ＦＯＶを有する３ＤのＬＩＤＡＲシステムとは対照的に、１次元（１Ｄ）視野（ＦＯＶ）を有する、キャプチャおよび出力することと、
前記ＵＡＶに取り付けられたパーチ機構を使用して、前記円筒状の曲面に前記ＵＡＶを機械的にパーチすることと、
前記深度カメラおよび前記２ＤのＬＩＤＡＲシステムを制御して、前記シーンの前記３Ｄ点群と前記２Ｄスライスをそれぞれにキャプチャすることと、
前記深度カメラから前記キャプチャされた３Ｄ点群と前記２ＤのＬＩＤＡＲシステムから前記キャプチャされた２Ｄスライスを入力することと、
前記キャプチャされた３Ｄ点群および前記キャプチャされた２Ｄスライスを使用して、前記円筒状の曲面を自律的に検出および位置特定することと、
前記円筒状の曲面の前記自律的な検出および位置特定に基づいて、前記ＵＡＶを前記開始位置から前記円筒状の曲面上の着陸位置へ自律的に誘導することと、
前記パーチ機構を使用して、前記ＵＡＶを自律的に制御し、前記着陸位置の前記円筒状の曲面に前記ＵＡＶをパーチすることと、を含む、方法。

【請求項12】

前記ＵＡＶが前記曲面付近に到達するまで、前記キャプチャされた３Ｄ点群を使用して、前記ＵＡＶを前記着陸位置へと自律的に誘導しながら、前記開始位置からの前記自律的な検出および位置特定を実行することと、
前記ＵＡＶが前記円筒状の曲面付近に到達すると、前記３Ｄ点群を使用することから、前記キャプチャされた２Ｄスライスの使用することに切り替えて、前記自律的な検出および位置特定を実行することと、をさらに含む、請求項１１に記載の方法。

【請求項13】

前記パーチに先立って、前記ＵＡＶを前記円筒状の曲面付近の整合位置へ自律的に誘導し、そこで前記ＵＡＶが前記着陸位置に対して整合されることと、
前記キャプチャされた２Ｄスライスを使用して、前記ＵＡＶを自律的に誘導して、前記整合位置から前記着陸位置に直接移動させることと、をさらに含む、請求項１２に記載の方法。

【請求項14】

前記３Ｄ点群と前記２Ｄスライスを融合することによって、前記円筒状の曲面を自律的に検出および位置特定することをさらに含み、前記融合が、
前記キャプチャされた３Ｄ点群の１つを使用して、前記円筒状の曲面の前記自律的な検出および位置特定の第１のパスを実行することと、
前記第１のパスからの前記検出および位置特定された曲面を使用して、前記２Ｄスライスのうちの対応する１つをキャプチャすることと、
前記２Ｄスライスのうちの前記対応する１つを使用して、前記曲面の前記自律的な検出および位置特定をする第２のパスを実行することと、を含む、請求項１１に記載の方法。

【請求項15】

前記ＵＡＶが、前記ＵＡＶに取り付けられた慣性測定ユニット（ＩＭＵ）をさらに備え、前記方法が、
前記ＩＭＵを使用して前記深度カメラのポーズを推定することと、
前記３Ｄ点群の第１のものにおける前記検出および位置特定された前記円筒状の曲面から、前記３Ｄ点群のうちの第２のものにおける前記円筒状の曲面の場所を予測するために、前記３Ｄ点群のうちの前記第１のものをキャプチャすることと、前記３Ｄ点群のうちの前記第２のものをキャプチャすることと、の間で、前記深度カメラの前記推定されたポーズを使用することと、をさらに含む、請求項１１に記載の方法。

【請求項16】

前記キャプチャされた３Ｄ点群を使用して、前記円筒状の曲面を自律的に検出および位置特定することと、
前記２ＤのＬＩＤＡＲシステムを制御して、前記検出および位置特定された円筒状の曲面に垂直な２Ｄスライスをキャプチャすることと、をさらに含む、請求項１１に記載の方法。

【請求項17】

前記円筒状の曲面が円筒の一部であり、前記方法が、前記２ＤのＬＩＤＡＲシステムを制御して、前記円筒の中心軸に垂直な前記２Ｄスライスをキャプチャすることをさらに含む、請求項１６に記載の方法。

【請求項18】

ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アプローチを使用して、前記円筒状の曲面を自律的に検出および位置特定することをさらに含む、請求項１１に記載の方法。

【請求項19】

前記キャプチャされた３Ｄ点群、または前記キャプチャされた２Ｄスライス、または前記キャプチャされた３Ｄ点群および前記キャプチャされた２Ｄスライスの両方を使用して、前記開始位置から前記着陸位置までのＵＡＶの飛行経路上の１つ以上の障害物を検出することと、
前記飛行経路上の前記１つ以上の障害物を回避するために、前記ＵＡＶを自律的に再誘導すること、をさらに含む、請求項１１に記載の方法。

【請求項20】

前記円筒状の曲面が強磁性であり、前記パーチ機構が磁気脚を備え、前記方法が、パーチ中に前記磁気脚を前記強磁性の円筒状の曲面に磁着させ、パーチ後に前記強磁性の円筒状の曲面に前記磁気脚が磁着されたままにすることをさらに含む、請求項１１に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、米国特許法第１１９条（ｅ）の下、２０１８年１１月２９日に出願された「ＰＥＲＣＨＩＮＧ ＵＡＶ ＷＩＴＨ ＲＥＬＥＡＳＡＢＬＥ ＣＲＡＷＬＥＲ」と題する米国特許仮出願第６２／７７２，７００号の利益を主張し、かつ、米国特許法第１２０条の下、２０１９年１１月２６日に出願された「ＡＵＴＯＭＡＴＩＯＮ ＭＥＴＨＯＤＳ ＦＯＲ ＵＡＶ ＰＥＲＣＨＩＮＧ ＯＮ ＰＩＰＥＳ」と題する米国出願第１６／６９６，０８５号の利益を主張するものであり、参照によりそれぞれの全体を本明細書に引用する。

【0002】

本開示は、概して、構造物の検査および保守に関するものであり、具体的には、構造物を検査および保守するための解放可能かつ再ドッキング可能なクローラを有するパーチする無人航空機（ｕｎｍａｎｎｅｄ ａｅｒｉａｌ ｖｅｈｉｃｌｅ、ＵＡＶまたはドローン）を使用する検査方法に関する。さらに、本開示は、概して、パイプなどの湾曲した強磁性構造の検査および保守、特にこれらの構造にパーチするＵＡＶの自動化方法に関する。

【背景技術】

【0003】

パイプ、貯蔵タンクなどの露出した金属資産の検査と保守は、環境によっては人間が実行するのが困難または非現実的となり得る。そのような状況では、自動化されたＵＡＶの使用は、実行可能な代替手段とすることができる。しかしながら、このような検査と保守は、多くの場合、資産から距離をおいてホバリングするのではなく、資産への直接的な接触を使用して実行するのが最良である。しかしながら、ＵＡＶは、資産に着陸すること、パーチすること、または移動することが難しい場合がある。さらに、パイプ（および他の曲面構造）は、これらの資産が、着陸、パーチ、または移動する先として曲面を呈するため、ＵＡＶで検査または保守するのが特に難しい場合がある。

【0004】

さらに、石油およびガス施設で到達が困難な鉄鋼資産を検査することは困難な作業である。例えば、製油所、ガスプラント、海上プラットフォーム、および他のプラントで見られる高架資産の定期的な検査は、予期しない障害、リーク、およびシャットダウンを防止するために最も重要である。これらの資産は、検査作業中に接近することが困難である高所のパイプおよび構造物を含む。このような資産を検査する１つの方法は、検査官が資産に接近し、厚さ測定用の超音波検査（ＵＴ）センサなどを使用して手動検査を実行するための足場を立てることである。このような足場は、高価であり、頻繁な検査に大きなコスト障壁をもたらすだけでなく、主に落下およびつまずきの危険という形で安全上の懸念を引き起こす。

【発明の概要】

【発明が解決しようとする課題】

【0005】

当技術分野におけるこれらおよび他の問題に関して、本開示は、構造物を検査または保守するための解放可能なクローラを有する効果的なパーチするＵＡＶのための技術的解決策を提供することを目的とする。当技術分野におけるこれらおよび他の問題に関して、本開示は、パイプおよび他の資産にパーチするＵＡＶの自動化方法のための技術的解決策を提供することもまた、目的とする。

【課題を解決するための手段】

【0006】

一実施形態によれば、曲面から離れた開始位置から曲面上に自律的にパーチするための無人航空機（ＵＡＶ）が提供される。ＵＡＶは、曲面を含むＵＡＶからシーンの３Ｄ点群をキャプチャおよび出力するように構成されている３次元（３Ｄ）深度カメラと、シーンの２Ｄスライスをキャプチャおよび出力するように構成されている、２次元（２Ｄ）の光検出および測距（ｌｉｇｈｔ ｄｅｔｅｃｔｉｏｎ ａｎｄ ｒａｎｇｉｎｇ、ＬＩＤＡＲ）システムおよび、制御回路とを含む。制御回路は、深度カメラおよびＬＩＤＡＲシステムを制御して、シーンの３Ｄ点群と２Ｄスライスとをそれぞれにキャプチャし、深度カメラからキャプチャされた３Ｄ点群とＬＩＤＡＲシステムからキャプチャされた２Ｄスライスを入力し、キャプチャされた３Ｄ点群とキャプチャされた２Ｄスライスを使用して、曲面を自律的に検出および位置特定し、曲面の自律的な検出および位置特定に基づいて、ＵＡＶを開始位置から曲面上の着陸位置へ自律的に誘導するように構成されている。

【0007】

一実施形態では、制御回路はさらに、ＵＡＶが曲面付近に到達するまで、キャプチャされた３Ｄ点群を使用して、ＵＡＶを着陸位置へと自律的に誘導しながら、開始位置からの自律的な検出および位置特定を実行し、ＵＡＶが曲面付近に到達すると、３Ｄ点群の使用することから、キャプチャされた２Ｄスライスを使用することに切り替えて、自律的な検出および位置特定を実行するように構成されている。

【0008】

一実施形態では、制御回路はさらに、着陸に先立ってＵＡＶを曲面付近の整合位置へ自律的に誘導することであって、整合位置は、ＵＡＶが着陸位置に対して整合される位置であることと、キャプチャされた２Ｄのスライスを使用して、ＵＡＶを自律的に誘導して、整合位置から着陸位置に直接移動させることと、を行うように構成されている。

【0009】

一実施形態では、制御回路はさらに、３Ｄ点群および２Ｄスライスを融合することによって曲面を自律的に検出および位置特定するように構成されている。融合には、キャプチャされた３Ｄ点群の１つを使用して、曲面の自律的な検出および位置特定の第１のパスを実行することと、第１のパスから検出および位置特定された曲面を使用して、２Ｄスライスのうちの対応する１つをキャプチャすることと、２Ｄスライスのうちの対応する１つを使用して、曲面の自律的な検出および位置特定をする第２のパスを実行することとを含まれる。

【0010】

一実施形態では、ＵＡＶは、深度カメラのポーズを推定するように構成された慣性測定ユニット（ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ、ＩＭＵ）をさらに含む。ここで、制御回路はさらに、３Ｄ点群の第１のものにおける検出および位置特定された曲面から、３Ｄ点群のうちの第２のものにおける曲面の場所を予測するために、３Ｄ点群のうちの第１のものをキャプチャすることと、３Ｄ点群のうちの第２のものをキャプチャすることと、の間で、深度カメラの推定されたポーズを使用するように構成されている。

【0011】

一実施形態では、制御回路はさらに、キャプチャされた３Ｄ点群を使用して、曲面を自律的に検出および位置特定し、ＬＩＤＡＲシステムを制御して、検出および位置特定された曲面に垂直な２Ｄスライスをキャプチャするように構成されている。

【0012】

一実施形態では、曲面が円筒状であり、制御回路は、ＬＩＤＡＲシステムを制御して、円筒の中心軸に垂直な２Ｄスライスをキャプチャするようにさらに構成されている。

【0013】

一実施形態では、制御回路は、ランダムサンプルコンセンサス（ｒａｎｄｏｍ ｓａｍｐｌｅ ｃｏｎｓｅｎｓｕｓ、ＲＡＮＳＡＣ）アプローチを使用して、曲面を自律的に検出および位置特定するようにさらに構成されている。

【0014】

一実施形態では、制御回路はさらに、キャプチャされた３Ｄ点群またはキャプチャされた２Ｄスライスまたは、キャプチャされた３Ｄ点群とキャプチャされた２Ｄスライスの両方を使用して、開始位置から着陸位置までのＵＡＶの飛行経路上の１つ以上の障害物を検出するように構成され、かつ、飛行経路上の１つ以上の障害物を回避するために、ＵＡＶの自律的に再誘導するように構成されている。

【0015】

一実施形態では、曲面は強磁性である。ＵＡＶは磁気脚を含み、磁気脚は、着陸中に強磁性曲面に磁着し、かつ、着陸後も強磁性曲面に磁着したままになるように構成されている。

【0016】

別の実施形態によれば、曲面から離れた開始位置から曲面に無人航空機（ＵＡＶ）を自律的にパーチする方法が提供される。この方法は、ＵＡＶに取り付けられた３次元（３Ｄ）深度カメラを使用して、曲面を含むＵＡＶからのシーンの３Ｄ点群をキャプチャおよび出力することと、ＵＡＶに接続された２次元（２Ｄ）の光検出および測距（ＬＩＤＡＲ）システムを使用して、シーンの２Ｄスライスをキャプチャおよび出力することと、深度カメラおよびＬＩＤＡＲシステムを制御して、シーンの３Ｄ点群と２Ｄスライスとをそれぞれにキャプチャすることと、深度カメラからキャプチャされた３Ｄ点群とＬＩＤＡＲシステムからキャプチャされた２Ｄスライスを入力することと、キャプチャされた３Ｄ点群とキャプチャされた２Ｄスライスを使用して、曲面を自律的に検出および位置特定することと、曲面の自律的な検出および位置特定に基づいて、開始位置から曲面上の着陸位置へＵＡＶを自律的に誘導すること、を含む。

【0017】

一実施形態では、この方法はさらに、ＵＡＶが曲面付近に到達するまで、キャプチャされた３Ｄ点群を使用して、ＵＡＶを着陸位置へと自律的に誘導しながら、開始位置からの自律的な検出および位置特定を実行することと、ＵＡＶが曲面付近に到達すると、３Ｄ点群を使用することから、キャプチャされた２Ｄスライスの使用することに切り替えて、自律的な検出および位置特定を実行することを含む。

【0018】

一実施形態では、この方法はさらに、着陸に先立って曲面付近の整合位置へＵＡＶを自律的に誘導することと、キャプチャされた２Ｄのスライスを使用して、整合位置から着陸位置へとＵＡＶが直接移動するように、ＵＡＶを自律的に誘導することを含む。

【0019】

一実施形態では、この方法は、３Ｄ点群と２Ｄスライスを融合することによって曲面を自律的に検出し、位置特定することをさらに含む。融合には、キャプチャされた３Ｄ点群の１つを使用して、曲面の自律的な検出および位置特定の第１のパスを実行することと、第１のパスから検出および位置特定された曲面を使用して、２Ｄスライスのうちの対応する１つをキャプチャすることと、対応する２Ｄスライスの１つを使用して、曲面の自律的な検出および位置特定をする第２のパスを実行することとを含まれる。

【0020】

一実施形態では、ＵＡＶは、ＵＡＶに取り付けられた慣性測定ユニット（ＩＭＵ）をさらに含み、この方法は、ＩＭＵを使用して深度カメラのポーズを推定することと、３Ｄ点群の第１のものにおける検出および位置特定された曲面から、３Ｄ点群のうちの第２のものにおける曲面の場所を予測するために、３Ｄ点群のうちの第１のものをキャプチャすることと、３Ｄ点群のうちの第２のものをキャプチャすることと、の間で、深度カメラの推定されたポーズを使用することとを含む。

【0021】

一実施形態では、この方法はさらに、キャプチャされた３Ｄ点群を使用して、曲面を自律的に検出および位置特定することと、ＬＩＤＡＲシステムを制御して、検出および位置特定された曲面に垂直な２Ｄスライスをキャプチャすることを含む。

【0022】

一実施形態では、曲面は円筒状であり、この方法は、円筒の中心軸に垂直な２ＤスライスをキャプチャするようにＬＩＤＡＲシステムを制御することをさらに含む。

【0023】

一実施形態では、この方法は、ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アプローチを使用して、曲面を自律的に検出および位置特定することをさらに含む。

【0024】

一実施形態では、この方法は、キャプチャされた３Ｄ点群、キャプチャされた２Ｄスライス、または、キャプチャされた３Ｄ点群とキャプチャされた２Ｄスライスの両方を使用して、開始位置から着陸位置までのＵＡＶの飛行経路上の１つ以上の障害物を検出することと、飛行経路上の１つ以上の障害物を回避するために、ＵＡＶの自律的に再誘導することを含む。

【0025】

一実施形態では、曲面は強磁性であり、ＵＡＶは磁気脚を含む。この方法は、磁気脚を、着陸中に強磁性曲面に磁着させることと、着陸後も強磁性曲面に磁着したままになるようにすることを含む。

【0026】

本明細書で開示される様々な実施形態および実装形態の任意の組み合わせを使用することができる。これらおよび他の態様および特徴は、添付の図面および特許請求の範囲と共に、特定の実施形態の以下の説明から理解することができる。

【図面の簡単な説明】

【0027】

【図1A】一実施形態による、構造物（例えば、パイプ）にパーチするＵＡＶの例の図であり、ＵＡＶは、構造物を検査または維持するための解放可能なクローラを有する。図１ＡはクローラがＵＡＶに取り付けられている様子を示す。

【図1B】一実施形態による、構造物（例えば、パイプ）にパーチするＵＡＶの例の図であり、ＵＡＶは、構造物を検査または維持するための解放可能なクローラを有する。図１ＢはクローラがＵＡＶに取り付けられていない（例えば、構造物上をクロールする）様子を示す。

【図2】一実施形態による、曲面（パイプなど）にＵＡＶを着陸させるための自律的な案内着陸技術のブロック図である。

【図3A】一実施形態による、ＵＡＶが対象構造物（パイプなど）へパーチする例示的なステップの斜視図であり、対象物へアプローチするステップである。

【図3B】一実施形態による、ＵＡＶが対象構造物（パイプなど）へパーチする例示的なステップの斜視図であり、対象物と整合させるステップである。

【図3C】一実施形態による、ＵＡＶが対象構造物（パイプなど）へパーチする例示的なステップの斜視図であり、対象物へパーチするステップである。

【図4】一実施形態による、曲面（パイプなど）へのＵＡＶの自律展開および着陸のための例示的な逐次経路設計技術のフローチャートである。

【図5】一実施形態による、センサ融合を使用した対象物の検出、位置特定、および整合の例示的な技術の斜視図である。

【図6】一実施形態による、２ＤのＬＩＤＡＲセンサデータのクラスタ化を使用した例示的な円（例えば、パイプ）検出技術のフローチャートである。

【図7】一実施形態による、例示的な近隣ベースのパイプ検出技術のフローチャートである。

【図8】一実施形態による、カルマンフィルタフレームワークに基づく例示的なパイプ位置特定技術のフローチャートである。

【図9】一実施形態による、画像追跡およびカルマンフィルタを使用する例示的なパイプ位置特定技術のフローチャートである。

【図10】一実施形態による、曲面から離れた開始位置から曲面にＵＡＶが自律的にパーチする例示的な方法のフローチャートである。

【0028】

図面は例示的なものであり、必ずしも縮尺どおりである必要はなく、同じまたは類似の特徴は、全体を通して同じまたは類似の参照番号を有することに留意されたい。

【発明を実施するための形態】

【0029】

様々な例示的な実施形態では、接近し難いパイプまたは貯蔵タンクなどの構造を検査または維持するための解放可能なクローラを有するにパーチするＵＡＶが提供される。ＵＡＶは、炭素鋼パイプおよび構造物などの強磁性表面上で接触検査作業を実行する高度な性能を有するハイブリッドＵＡＶである。ＵＡＶは、検査対象のパイプに向かって飛行し、自律的に着陸し（一般にパーチングと称される）、解放可能なクローラを展開して、パイプの周りを這うように進んで、例えば、込み入った検査作業を実行することができる。

【0030】

前述のように、パイプ、貯蔵タンクなどの露出した金属資産の検査と保守を人々が行うことは、困難または非現実的となり得る。例えば、石油およびガス業界の最大の課題の１つは、製油所、ガスプラント、海上プラットフォーム、および他のプラントおよび施設に見られる高架資産の定期検査である。これらの資産は、検査または保守作業中に接近することが難しい高所のパイプおよび構造物を含む。人々がそれらを検査または維持する唯一の方法が、足場を建てて、検査官またはエンジニアが資産に接近し、例えば、厚さ測定のために超音波検査（ＵＴ）センサを使用して手動検査を実行することであるときがある。このような足場は、高価であり、頻繁な検査に大きなコスト障壁をもたらすだけでなく、主に落下およびつまずきの危険という形で安全上の懸念を引き起こす。

【0031】

したがって、例示的な実施形態では、解放可能なクローラを有するパーチするＵＡＶは、母子構成で２台のビークルを有することによって、前述の技術的問題に対する解決策を提供する。各ビークルは、最も適した性能を実行するように設計または最適化されている。ビークルには、パイプ上を飛行し、かつ、パイプに着陸できる、パーチするＵＡＶと、ＵＡＶによって運ばれ、着陸またはパーチした後にＵＡＶから解放される小型の磁気クローラが含まれる。クローラは、（例えば、磁気ホイールを使用して）パイプ上をあちこち移動して、例えば、ＵＴセンサを使用した厚さ測定などの検査スキャン、または他の検査またはメンテナンスを実行できる。これにより、ＵＡＶ全体をパイプの周りでクロールさせるよりも便利なアプローチが提供される。これには、より大きくて重いモータが必要であり、特にクリアランスの制約が限られている場合に、近くのパイプおよび資産との衝突のリスクがある。

【0032】

さらに様々な例示的な実施形態では、パイプにパーチするＵＡＶのための自動化方法が提供される。これらの自動化方法は、自律的でより安全なパーチするＵＡＶのための体系的な手段をさらに提供する。これらの自動化方法は、例えば検査作業を実行するために、パイプを含む到達困難な鉄骨構造にＵＡＶがパーチする（着陸する）ことをさらに提供する。いくつかのそのような実施形態では、例えば、高架の対象物（パイプなど）にパーチして検査作業を実行する、クロールするロボットを解放するために、ＵＡＶは送られる。いくつかのかかる実施形態では、ＵＡＶ検査ミッションは、主に、ＵＡＶを対象物の近くへ飛ばす操作者によって監視および制御される。これらの実施形態のいくつかでは、ＵＡＶは解放可能なクローラを有するが、これらの実施形態の他のいくつかでは、ＵＡＶは解放可能なクローラを有しないことに留意されたい。

【0033】

先の説明のように、パイプおよび他の曲面構造は、ＵＡＶで検査または保守するのが特に難しい場合がある。これらの資産は、着陸してパーチするために呈するものが曲面であるためである。さらに、これらの資産は、検査作業中に接近し難い場合がある。さらに、少なくとも人間である操作者が資産のいくつかの部分に接近するにあたり、足場の建設は実用的または実行可能ではない可能性がある。さらに、ＵＡＶを操作する場合、人間である操作者は、離れた資産上にパーチする操作を適切に実行するためのツールを欠いている可能性がある。例えば、操作者は車載カメラを使用して対象物を一人称で見ることができるが、人間レベルの知覚精度と正確さでは信頼できるパーチするには不十分な可能性があり、手動で行うとシステムの安全性が損なわれる可能性がある。さらに、パイプなどの検査対象にＵＡＶを自律的に着陸させることは、技術的に困難な作業である。

【0034】

したがって、いくつかの例示的な実施形態では、１つまたは複数の環境感知デバイス、精密で高感度な案内および着陸技術、ならびに効果的な機械的パーチ機構を含む高度なシステムを使用して、パイプなどの高架資産で成功した堅牢な着陸操作を達成する。例えば、ＵＡＶのパーチ移動の正確さと精度同様に安全性レベルとを向上させるために、深度カメラおよびレーザスキャナ（ＬＩＤＡＲ）などの、オンボードセンサを使用した自動化方法が提供される。いくつかの実施形態では、オンボードコンピュータを使用して、センサの測定値を処理して、対象物を正確かつ精密に検出し、ＵＡＶに対して位置特定して、パーチ経路を計画し、最終的に、ＵＡＶを制御してパーチするステップを実行する。

【0035】

図１Ａおよび１Ｂは、一実施形態による、構造物５０（例えば、パイプ）上にパーチする例示的なＵＡＶ１００の図であり、ＵＡＶ１００は、構造物５０を検査または維持するための解放可能なクローラ１３０を有する。クローラ１３０は、図１ＡではＵＡＶ１００に取り付けられており、図１ＢではＵＡＶ１００に取り付けられていない（例えば、構造５０上をクロールする）ように示されている。説明を容易にするために、構造物５０は、ＵＡＶ１００よりも大きい（例えば、著しく大きい）と全体を通して想定されている。例えば、構造物５０は、ＵＡＶ１００よりもすべての次元で大きい。または、構造物５０が提供する着陸予定区域は、ＵＡＶ１００の着陸予定区域よりも大きい。さらに、説明を容易にするために、構造物５０（または本明細書に記載の任意の構造）は、直系８インチ以上のパイプなどのパイプであると想定されている。

【0036】

図１Ａおよび１Ｂは、動作中の母子構成を示す。図１Ａは、クローラ１３０がまだドッキングされた状態の、パイプ５０に着陸した後のＵＡＶ１００を示す。図１Ｂは、検査作業を実行するためにＵＡＶ１００から解放された後のクローラ１３０を示す。解放可能なクローラ１３０によって提供されるクロール機能により、ＵＡＶ１００は、より容易な接近可用性などの検査および保守作業のための重要な機能を付与される（例えば、検査または保守が行われる正確なスポットに着陸する必要がない）。クロールにより、円周方向および縦方向のスキャンがさらに提供される。例えば、石油およびガス産業では、パイプ５０のフルスキャンを実行して、パイプ５０の特定の領域における最小鋼厚を見つけることが重要である。このようなスキャンには、円周スキャンと縦スキャンが含まれることがよくあり、クロールはこれによく適合する。クロールによって、さらに、複数の検査中に電力効率が提供される（例えば、同じパイプ上の複数の検査サイト間のクロールは、飛行よりも電力効率が高くなる）。

【0037】

図１Ａおよび２Ｂでは、ＵＡＶ１００は、４つの関節式磁石１２０（永久磁石または切り替え可能な永久磁石など）を利用する。パイプ５０へのＵＡＶ１００の着陸に対応するために、各磁石１２０（またはより正確には、その磁場）は、ＵＡＶ１００がパイプ５０に着陸したとき、またはパーチしているときに、パイプ５０に対して垂直な配向で関節運動する。

【0038】

いくつかの実施形態では、関節磁石１２０の磁場は、能動的にオンとオフを切り替えることができる（例えば、作業完了後の容易な取り外しを可能にするため）。リアルタイムフィードバックの形式として、自動着陸移動中のＵＡＶ１００に対するパイプの相対場所などを測定するために、レーザスキャナ１１０（例えば、光検出および測距、またはＬＩＤＡＲ）が含まれる。いくつかの実施形態では、ミニチュアクローラ１３０は、ワイヤによって接続され（例えば、電力および通信のために）、ＵＴセンサ、４つの磁気ホイール１４０、および対応するペア（例えば、前部および後部）でホイール１４０を駆動するための２つのモータを含む。ワイヤはまた、検査または保守を実行するための残りの電子機器および電池をＵＡＶ本体１００内に配置することを可能にする。これにより、クローラ１３０のサイズ、重量、および複雑さが軽減される。

【0039】

いくつかの他の実施形態では、クローラ１３０は、異なる数のホイール１４０（例えば、２つまたは３つのホイール、または４つ以上）およびそれらのタイプ（いくつか例を挙げると、オムニホイール、メカナムホイールなど）を含む。無人地上車両（ｕｎｍａｎｎｅｄ ｇｒｏｕｎｄ ｖｅｈｉｃｌｅ、ＵＧＶ）とは異なり、磁気クローラ１３０は、パイプの検査または保守の（全体に示されているように）様々な曲率および様々な方向と戦わなければならない。したがって、いくつかの実施形態では、磁気クローラ１３０は、パイプの曲率（または他の湾曲した構造または血管からの同様の曲率）を航行するための特別な移動システムを有する。

【0040】

いくつかの実施形態では、クローラ１３０とＵＡＶ１００との間の通信は有線である。例えば、細いコードの小さなスプールを使用して、クローラ１３０は、電力および通信のためにＵＡＶ１００に接続することができる。これにより、例えば、クローラ１３０内に電池および他の電子機器を保持する必要がなくなり、ＵＡＶ１００に既に存在するいくつかの構成要素を利用することによって、クローラをより小さくし、総重量を節約することができる。

【0041】

他のいくつかの実施形態では、クローラ１３０とＵＡＶ１００との間の通信は無線である。ここで、クローラ１３０は、より独立した車両を提供するために、それ自体の電池および電子機器を含む。これは、例えば、ＵＡＶ１００がクローラ１３０を地面から拾い上げ、パイプ５０に展開する際に有用な場合があり、その時点で、ＵＡＶ１００は、飛行して何らかの他の検査作業を行い、次いで、クローラ１３０を拾い上げるために戻ることができる。これは、多数のクローラ１３０（例えば、クローラ１３０の群）が複数の資産を検査する場合にも有用である。ＵＡＶ１００は、それらを１つずつ、またはバッチで、地面から目的地に向けて拾い上げて、作業完了時に回収する。異なる実施形態では、無線接続は、クローラ１３０とＵＡＶ１００または操作者の制御局のいずれか、もしくは、ＵＡＶ１００と操作者の制御局の両方との間であり得る。

【0042】

一実施形態では、ＵＡＶ１００は、ＵＡＶ１００の飛行を可能にするように構築された本体を含む（例えば、ロータ、制御デバイスおよび誘導デバイスなどを有する）。ＵＡＶ１００はまた、本体に接続され、湾曲した強磁性表面５０に飛行するＵＡＶ１００を着陸させてパーチするように構成された３つ以上の脚を含む。各脚は、本体に接続された上部（またはメイン）部分と、永久磁石１２０を含む下部とを含む。底部は、着陸時に脚を強磁性面５０に磁着し、かつ、パーチする間、脚を強磁性面に磁着されたままであるように構成されている。さらに、受動的な関節ジョイント接続は、脚の上部と下部を接続し、着陸中に下部が強磁性表面５０に近づいていくことに応答して、上部に対して下部を受動的に関節運動（例えば、ピボット）する。ＵＡＶ１００は、磁気ホイール１４０を有する解放可能なクローラ１３０をさらに含む。磁気ホイール１４０によって、パーチする間にクローラ１３０をＵＡＶ１００から分離することが可能になり、分離後は、クローラ１３０を強磁性表面５０に磁着しながら、強磁性表面５０上でクローラ１３０を移動することが可能になる。

【0043】

異なる実施形態では、ＵＡＶ１００の異なる着陸機構を使用することができる。これらは、磁性または非磁性などの様々なタイプの接着機構を含み得る。磁気的な着陸機構の例には、パイプ５０からの離陸中に機械的手段によって、遮断または克服することができる磁石が含まれる。このような磁石には、切り替え可能な永久磁石、離陸時の取り外しを支援する作動梃を備えた永久磁石、永電磁石、および電磁石が含まれる。しかしながら、連続的な電力消費は電磁石にとって不利になりうることに留意されたい。非磁性の接着機構は、ステンレス鋼、複合パイプ、コンクリート壁などの非強磁性の表面に使用できる。このような機構は、ヤモリに着想を得た乾燥接着剤（合成剛毛など）であるマイクロスパイン、吸盤、グリッパ、およびクロールを含む。

【0044】

異なる実施形態では、異なるクローラ荷重または設計を使用される。単純化するために、これらの荷重または設計を、検査および保守という２つの基本的なカテゴリに分類する。検査荷重および設計には、パイプおよび構造物を検査するために石油およびガス業界でよく使用される様々なタイプのセンサを含む。例えば、いくつかの実施形態では、ＵＴセンサが厚さ測定に使用される。説明を簡単にするために、全体を通して厚さ測定用のＵＴセンサが、検査と保守のための例示的なデバイスとアプリケーションを表すために時々使用される。しかしながら、他の実施形態は、そのようなデバイスまたはアプリケーションに限定されない。例えば、他の検査センサもしくはプローブを、ＵＴセンサの代わりに、またはＵＴセンサに加えて、作業に応じて使用することができ、それには渦電流センサおよび交流電流場測定（ＡＣＦＭ）センサなどを含む（しかし、この限りではない）。

【0045】

さらに他の実施形態では、クローラ１３０は、１つ以上のツールで構成され、保守目的で使用される。例えば、クローラ１３０を、洗浄、表面処理、およびコーティング補修などの軽い保守作業を実行するために使用することができる。さらに他の実施形態では、クローラ１３０は、１つ以上のカメラで構成され、目視検査に使用される。例えば、いくつかの実施形態では、カメラは、単純な目視検査の作業に使用される。関心のある領域の動画または写真のみを取得する必要があるが、その領域をＵＡＶ１００によって直接的に検査することが困難であるような区域などの作業である。

【0046】

いくつかの実施形態では、クローラ１３０は、マーカ（ペイントまたはＱＲコードなど）を関心のある領域（センサの読み取り値が正常レベル外である場所、障害が検出される場所、または状態は正常であるがとにかくマーキングすべき場所など）に残すように構成される。例えば、これらの場所は、重要な厚さレベルを検出する場所である可能性がある。いくつかのかかる実施形態では、クローラ１３０が再ドッキングし、ＵＡＶ１００が飛び去った後に、ＵＡＶ１００がこれらのマーカをスキャンし、これらのマーカの正確な場所を示す環境の３Ｄ再構成を作成する。いくつかのかかる実施形態では、ＵＡＶ１００は、オンボードＲＧＢ－Ｄカメラを使用してマーカを検出し、ＵＡＶ１００に対するそれらの場所を計算する。ＵＡＶのＧＰＳの位置を使用して、計算または別様の方法でマーカの絶対的な場所を判定することができる。ＵＡＶ１００がマーカをスキャンしている間、クローラ１３０は、例えば、パイプ５０上に留まるか、またはＵＡＶ１００と再ドッキングすることができることに留意されたい。

【0047】

いくつかの実施形態では、クローラ１３０は、無線の位置特定を使用して、資産上の（または他のセンサ読み取り）問題がある場所を、仮想マーカなどで識別する。言い換えれば、瑕疵の場所は、精度は低くなるが、物理的なマーカがなくても判定することできる。これは、ＵＡＶ１００に対するクローラの場所を、無線センサを使用して計算（または別様に判定）することができるためである。例えば、いくつかのかかる実施形態では、ＵＡＶ１００は、超広帯域（ｕｌｔｒａ－ｗｉｄｅ ｂａｎｄ、ＵＷＢ）センサアレイを運び、当該センサアレイはクローラ１３０に据え付きの別のＵＷＢ送信機の無線信号を受信する。次いで、ＵＡＶ１００が飛行中であるか、パイプ５０に取り付けられているかに関係なく、クローラの相対的な場所を測定することができる。いくつかの実施形態では、操作者がクロール中に障害を発見するときはいつでも、ＵＡＶ１００に関するクローラの場所にタグが付けられ、キャプチャされる。ＵＡＶのＧＰＳセンサを使用すると、これらの瑕疵の絶対的な場所を判定することができる。いくつかの実施形態では、ＧＰＳが利用可能ではない場合、ＵＡＶの場所は、ＧＰＳが利用可能であるホームベースからの飛行軌道およびＩＭＵデータに基づいて推定される。これは、カメラ画像とＩＭＵデータを融合して基準点（ホームベースなど）に対する場所推定を計算する視覚慣性オドメトリ（ｖｉｓｕａｌ ｉｎｅｒｔｉａｌ ｏｄｏｍｅｔｒｙ、ＶＩＯ）などのセンサ融合技術を使用して行うこともできる。

【0048】

いくつかの実施形態では、前もって計算された（または判定された）検査場所が、ＵＡＶ１００から操作用コンピュータまたは地上局に転送される。次いで、検査場所が、例えば、検査対象のプラントのあらかじめ作成された３Ｄモデル上、またはＵＡＶのオンボードセンサ（深度カメラもしくは３ＤのＬＩＤＡＲ）上で視覚化される。さらに、いくつかのかかる実施形態では、視覚化された場所に、対応する測定厚（または他の検知された値または情報）の注釈が付けられる。

【0049】

図２は、一実施形態による、曲面（パイプ５０のようなパイプなど）にＵＡＶ（ＵＡＶ１００など）を着陸させるための、自律的な案内および着陸技術２００のブロック図である。本明細書に記載のこの技術および他の技術を、割り当てられたタスクを実行するように構成された（例えば、プログラムされた）演算回路または他の論理回路を含むセンサおよび他のデバイスの組み合わせを使用して実装することができる。これらのデバイスはＵＡＶ上（またはＵＡＶのすぐ近く）にある。いくつかの例示的な実施形態では、制御ロジックは、演算回路（マイクロプロセッサなど）上で実行されるように構成されたコンピュータコードとして実装され、技術の一部である制御のステップを実行する。説明を容易にするために、この処理ロジック（例えば、ＡＳＩＣ、ＦＰＧＡ、プロセッサ、カスタム回路など）は、全体を通して制御回路と称される。説明をさらに簡単にするために、この制御回路は、制御ロジックを実行する（または、意図された目的を実行するように回路をカスタマイズする）コードによってプログラム可能であるものとする。

【0050】

図２を参照すると、自律的な案内および着陸技術２００は、２ＤのＬＩＤＡＲシステムおよび３Ｄまたは赤外線（ＩＲ）深度カメラなどの走査センサを含む様々な環境センサから生のセンサデータ２１０を取り込むか、そうでなければ受信するステップを含む。制御回路は、センサデータ２１０を処理するようにコードによって構成され、実用的な情報を生成する。この情報によって、技術２００の残りの部分が実施され、例えば、ＵＡＶに対する制御命令が発行されて、繊細なパーチ移動が実行される。

【0051】

さらに詳細には、技術２００は、パイプ検出および位置特定２２０のステップを含む。一実施形態では、制御回路は、コードによって構成されるが、そのコードは、環境センサからのデータを処理し、対象となるパイプを識別および検出するため、ならびにＵＡＶに対するその場所２３０を発見するためものものである。技術２００は、軌道計画２４０のステップをさらに含む。一実施形態では、対象物の場所２３０が識別されると、制御回路は、現在の場所から所望の着陸場所（例えば、パイプ直上）までの完全な着陸軌道２５０を計画するようにさらに構成される。技術２００は、２６０に続く制御および軌道のステップをさらに含む。一実施形態では、制御回路は、着陸移動中にＵＡＶが計画された軌道２５０に従うように、また、あらゆる妨害および着陸軌道２５０からの逸脱についてリアルタイムでＵＡＶを補正および制御２７０するようにさらに構成される。これらのステップの実装例の詳細を以下に示す。

【0052】

図３Ａ、３Ｂ、および３Ｃは、一実施形態による、ＵＡＶ３００が、対象構造物（パイプ２５０など）へパーチする例示的なステップの斜視図であり、対象物へアプローチするステップ、対象物と整合させるステップ、対象物２５０へパーチするステップをそれぞれに含む。図３Ａは、ＵＡＶ３００が対象物２５０にアプローチし、適切な着陸位置を決定しているときの、対象物アプローチフェーズを表す。図３Ｂは、ＵＡＶ３００が（例えば、対象物２５０の上空から）着陸位置を微調整して、可能な限り正確に最終降下（または他の移動）をするときの、対象物整合フェーズを表す。図３Ｃは、ＵＡＶ３００が対象物２５０に着陸した（かつ現在パーチしている）ときのパーチ段階を表す。

【0053】

ＵＡＶには、深度カメラ（３Ｄ深度センサなど）と２ＤのＬＩＤＡＲシステムの両方が含まれる。説明を簡単にするために、深度カメラは、深度センサで構成されたピクセルを使用して、矩形（２Ｄ）の視野（ｆｉｅｌｄ ｏｆ ｖｉｅｗ、ＦＯＶ）を取得（またはスキャン）する。各ピクセルの深度センサは、カメラからピクセルに対応するＦＯＶ内の対応する領域までの距離を推定する。これにより、深度カメラの出力データに追加の次元（３Ｄ）が付与される。説明をさらに簡単にするために、２ＤのＬＩＤＡＲは、タイミングセンサで構成されたピクセルを使用して線形（１Ｄ）のＦＯＶを取得（またはスキャン）する。２ＤのＬＩＤＡＲからの出力レーザ光とピクセルへの戻り光とのタイミングの違いに基づいて、２ＤのＬＩＤＡＲは、２ＤのＬＩＤＡＲと線形ＦＯＶの各ピクセルとの間の距離を（光速を使用して）推定する。これにより、２ＤのＬＩＤＡＲの出力データに追加の次元（２Ｄ）が付与されて、これは、ＬＩＤＡＲのスキャン方向に沿った２Ｄスライスを表す。３ＤのＬＩＤＡＲシステムとは対称的に、これは、タイミングセンサで構成されたピクセルを使用して、矩形（２Ｄ）のＦＯＶを取得（またはスキャン）する。このようなシステムにより、矩形配列内の対応する各ピクセルに距離の次元を追加することで、３Ｄの出力を生成する。

【0054】

これらの２つのセンサ（３Ｄ深度カメラおよび２ＤのＬＩＤＡＲシステム）を使用して、本明細書で考察される検出、位置特定、および整合の異なる例示的な実施形態が存在する。おそらく理想的な仕組みでは、３ＤのＬＩＤＡＲを使用して、十分な正確さと精度を常に、ＵＡＶに対する対象物のポーズの連続的なフィードバックに提供可能でありながらも、実際的な考慮事項がある。例えば、現在の３ＤのＬＩＤＡＲ技術では、比較的大きな（例えば、幅が１メートルを超える）ＵＡＶのみが、このようなセンサを搭載するのに十分な荷重を提供できる。このような大きなＵＡＶが、比較的小型のパイプ（例えば、直径が８インチに近いパイプ）に着陸するというのは実用的ではない。これは、３Ｄ深度カメラと２ＤのＬＩＤＡＲシステムの合計重量を考慮した場合であっても、かなり軽量な３Ｄ深度カメラと２ＤのＬＩＤＡＲシステムとは対照的である。さらに、現在の３ＤのＬＩＤＡＲ技術では、３ＤのＬＩＤＡＲシステムのコスト（３ＤのＬＩＤＡＲシステムを搭載するための大きなＵＡＶは言うまでもなく）は、３Ｄ深度カメラと２ＤのＬＩＤＡＲシステムとの両方のコストよりも桁違いに高くなる可能性がある。

【0055】

したがって、実際的な考慮事項として、３Ｄ深度カメラと２ＤのＬＩＤＡＲシステムの組み合わせを考慮して、ＵＡＶに、本明細書で説明する自律的な検出、位置特定、整合、およびパーチを実行するために必要なセンシングデータを提供する。これにより、３ＤのＬＩＤＡＲシステムと比較して、比較的低コストで小さな荷重システムが提供される。言い換えると、ＵＡＶのサイズとその荷重量に関する制約の一部またはほとんどを緩和するために、３Ｄ深度センサとハイエンド２ＤのＬＩＤＡＲの組み合わせが提供される。両方のセンサを合わせた重量は、ハイエンドの３ＤのＬＩＤＡＲシステムよりもはるかに軽量である。さらに、３ＤのＬＩＤＡＲシステムと比較して、両方のセンサのコストが、１桁削減されている。提案されたセンサの組み合わせは、３ＤのＬＩＤＡＲシステムと同じほど高い正確さおよび精度を提供しない場合があるが、本明細書で説明する例示的な方法を使用は、正確かつ精密な自律的なパーチのための位置特定のフィードバックを、適切かつ同等の全体的なパフォーマンスで提供する。

【0056】

図３Ａ、３Ｂ、および３Ｃの例示的な実施形態を参照すると、この構成では、ＵＡＶ３００の各センサ（３Ｄ深度カメラおよび２ＤのＬＩＤＡＲシステム）を、対象物であるパイプ２５０からの特定の距離範囲での検出および位置特定に使用する。例えば、深度カメラは、比較的遠い距離から対象物２５０を連続的に検出および位置特定するために使用される。ＵＡＶ３００は対象物２５０（例えば、設定された距離または事前定義された距離未満、または対象物２５０の近接内に）に近づくとすぐに、２ＤのＬＩＤＡＲシステムを、対象物２５０の検出、位置特定、および整合にずっと、パーチが完了するまで使用する。そのため、以下の２つのゾーンがある：ＵＡＶ３００が、検出および位置特定に３Ｄ深度カメラのみを使用する、遠隔ゾーン（例えば、ＵＡＶ３００がパイプ２５０から比較的遠いとき）、およびＵＡＶ３００が、検出、位置特定、および整合に２ＤのＬＩＤＡＲシステムのみを使用する、近接ゾーン（例えば、ＵＡＶ３００はパイプ２５０に比較的近いとき）。

【0057】

このような仕組みでは、３Ｄ深度カメラは検知された周囲の３Ｄ点群を提供し、これは、パイプ（パイプ２５０など）などの任意の対象物の形状を３Ｄでセグメント化するのに役立ち、３Ｄ点群の中に半円筒状として表される。これはさらに、対象物２５０の３Ｄサイズを推定し、対象物２５０上の適切な着陸ポイントを選択するのに役立つ。しかしながら、深度カメラは、対象物２５０に近い距離で信頼性が低くなるため、パーチの信頼性が低下する可能性がある。

【0058】

対照的に、２ＤのＬＩＤＡＲシステムは、深度カメラと比較してより正確な近接測定（パイプ２５０付近）を提供する。パイプ２５０は２ＤのＬＩＤＡＲに２Ｄのスライスとして、例えば、半円、半楕円、直線またはほぼ直線に、パイプ２５０に対する２ＤのＬＩＤＡＲスキャナの角度に応じて表される。２ＤのＬＩＤＡＲのこの正確さの利点は、深度カメラの信頼性がさらに低下する対象物２５０から非常に近い距離で特に顕著になる。しかしながら、対象物２５０から遠い距離では、２ＤのＬＩＤＡＲシステムが、２Ｄ（例えば、距離の線形アレイ）測定のみを使用して、所望の対象物２５０を堅牢に検出することは困難である可能性がある。これは、一部には、２Ｄ表現で対象物２５０と類似の表現を持つ他の周囲の物体が存在する可能性があり、かつ、２Ｄスライスにはそのような周囲のオブジェクトから区別するのに十分な対象物２５０がないためである。

【0059】

したがって、２つのセンサを組み合わせることにより、対象物２５０から離れた距離で深度カメラを使用することにより、物体の検出および位置特定の曖昧さを回避することができ、対象物２５０から近い距離で２ＤのＬＩＤＡＲシステムを使用することにより、整合のパーチ正確さおよび精度を改善することができる。さらに、制御回路による処理能力は、２つの独立したステップのそれぞれで１つのセンサの出力のみを消費することによって減少する。

【0060】

図４は、一実施形態による、曲面（パイプなど）へのＵＡＶの自律的な展開および着陸のための例示的逐次経路計画技術４００のフローチャートである。図４の経路計画技術４００は、区分線系軌道アプローチを使用しており、それは、図３Ａ、３Ｂ、および３Ｃのそれぞれについて、例示的な対象物へのアプローチ、対象物との整合、および対象物へのパーチに示されるものと類似する。この方法では、制御回路は、例えば、上記の１つ以上の対象物検出および位置特定方法を使用して、３つの異なる状態でのＵＡＶの軌道を計算するようにプログラムされている。３つの状態とは、図３Ａ、３Ｂ、および３Ｃのそれぞれに示されるように、対象物へのアプローチ、対象物との整合、および対象物へのパーチである。言い換えれば、完全なパーチ軌道は、これらの３つの部分で構成されており、制御回路は互いに独立して計算するようにプログラムされている。

【0061】

図４の経路計画技術４００を参照すると、処理は、対象物にアプローチするステップ４１０から始まる。これは、自律的なパーチミッションの第１の状態であり、対象物が最初に検出され、比較的遠い距離から位置特定される。ここで、制御回路は、ＵＡＶを、最初に、対象物から離れた事前定義された場所でホバリング状態のままにするようにプログラムされている。制御回路はさらに、検出および位置特定アルゴリズムのための対象物の初期入力画像の操作者の選択を受信するようにプログラムされている。例えば、ユーザまたは操作者は、ＵＡＶの車載カメラによって提供されるライブ画像ストリームから対象物を含む関心領域（ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ、ＲＯＩ）を選択することにより、ユーザインターフェイスからこれを行うことができる。次に、制御回路は、初期の対象物入力画像とオンボード深度カメラの入力を使用して、ＵＡＶに対する対象物の連続的な検出と３Ｄ位置特定を提供するようにさらにプログラムされる。このことから、制御回路はさらに、対象物の（検出および位置特定からの）計算されたポーズを使用して、対象物のより近くに移動し、整合の準備をするためにＵＡＶがたどる安全なパス（例えば、直線）を計算するようにプログラムされている。

【0062】

技術４００はさらに、ＵＡＶ（またはドローン）が、（例えば、安全な経路に沿って移動し、対象物に接近した後）対象物に現在十分に接近しているかどうかを判定するステップ４２０を含む。一実施形態では、制御回路は、例えば、ＵＡＶが、対象物からの事前定義された場所または事前定義された距離であって、２ＤのＬＩＤＡＲシステムの対象物への視認性が高い位置に到達すると、この状態（対象物へのアプローチ）が完了していると判定をするようにさらにプログラムされている。その時点で、２ＤのＬＩＤＡＲシステムは対象物にパーチする準備として（３Ｄ深度カメラよりも）より正確な位置特定を実行することができ、対象物へのアプローチの状態（深度カメラが検出および位置特定に使用されるとき）が終了する。

【0063】

技術４００はさらに、２ＤのＬＩＤＡＲシステムを使用して現在検出されている対象物にＵＡＶを整合させるステップ４３０を含む。この状態では、制御回路はさらに、対象物に対するＵＡＶの配向を最適化するために２ＤのＬＩＤＡＲ測定のみを使用して対象物の検出および位置特定をして、正確で明確なパーチを実現するようにプログラムされている。これには、ＵＡＶを、パイプの真上およびパイプの事前定義された近接範囲内など、対象物にパーチする適切な場所に移動することを含む場合がある。この目的のために、技術４００はさらに、ＵＡＶが対象物と整合されているかどうかを判定するステップ４４０を含む。ここで、制御回路はさらに、２ＤのＬＩＤＡＲ測定を使用して、ＵＡＶが対象物に対して十分に近く、適切な配向であり、実際に対象物にパーチするかどうかを判定するようにプログラムされている。そうでない場合、制御回路はさらに、ＵＡＶを対象物にさらに整合させるために２ＤのＬＩＤＡＲ測定を引き続き使用するようにさらにプログラムされている。

【0064】

対象物と整合されると、技術４００はさらに、２ＤのＬＩＤＡＲ測定を使用して、対象物にパーチするステップ４５０（例えば、最終着陸操作）を含む。ＵＡＶが対象物と整合した後、制御回路はさらに、パーチするポイント（対象物上の着陸場所）への安全な経路を計算するようにプログラムされている。一実施形態では、安全な経路は、対象物上にパーチするポイント、およびこの点に向かう速度プロファイルによって特徴付けられる。制御回路はさらに、計算された軌道に沿ってＵＡＶを制御し、ＵＡＶを対象物に安全に着陸させるときに、連続的なフィードバックのために２ＤのＬＩＤＡＲ測定を使用するようにプログラムされている。

【0065】

図５は、一実施形態による、センサ融合を使用する対象物の検出、位置特定、および整合の例示的な技術の斜視図である。説明を容易にするために、図３Ａ、３Ｂ、および３Ｃのパイプ２５０およびＵＡＶ３００が、図５の例示的な技術の説明で使用される。最も重要な違いは、制御回路のプログラミングおよび、ＵＡＶ３００における３Ｄ深度カメラと２ＤのＬＩＤＡＲシステムの併用にあるからである。

【0066】

さらに詳細には、図５を参照すると、この構成では、深度カメラと２ＤのＬＩＤＡＲシステムの両方が、パーチミッション全体でずっと、同時に（例えば、いっせいに）使用される。かかる一実施形態では、粗密のアプローチに従うセンサ融合法が使用される。このアプローチでは、深度カメラを使用して、対象物２５０を堅牢に検出および位置特定するが、その距離精度は、一般に、同等の２ＤのＬＩＤＡＲシステムの精度よりも低くなる。これは、３Ｄ深度カメラ（２Ｄ ＦＯＶ）によって提供される追加のカバレッジと、そのような画像を使用して３Ｄ形状（パイプ２５０など）を認識する機能が、長い距離ではより優れているためであり、２ＤのＬＩＤＡＲシステム（１Ｄ ＦＯＶ）は、そのような距離に他の構造物が存在する場合に、対象物２５０をと識別するためのより多くの課題を呈する可能性がある。

【0067】

図５に示されるように、粗密のアプローチには、深度カメラの位置特定結果（例えば、コースの特定）を利用し、ＵＡＶ３００が対象物２５０をパーチする点へ向かって移動する際に２ＤのＬＩＤＡＲ測定の探索空間に制約をかける。この制約された探索空間は、対象物２５０を隔離する可能性が最も高い深度カメラＦＯＶの部分（またはパーチ位置などの対象物２５０の関心のある部分）を表す。制約された空間内の２ＤのＬＩＤＡＲ測定は、対象物２５０を検出して位置特定するために使用され（例えば、詳細な位置特定）、大きさと方向（例えば、１Ｄスキャン）の両方を制約に制約をかけて２ＤのＬＩＤＡＲ測定を実行する。

【0068】

別のかかるセンサ融合の実施形態では、ＵＡＶ３００の制御回路は、カルマンフィルタベースのセンサ融合スキームを使用して、それぞれの測定値の曖昧さの収支を取ながら各センサ（深度カメラおよび２ＤのＬＩＤＡＲ）の独立した推定を融合することによって、より堅牢な位置特定推定を行うようにプログラムされている。

【0069】

センサ融合の実施形態では、両方のセンサの測定値が融合され、パーチするミッション全体で常に使用される。これは、各センサの測定値が独立したステップで使用される、図３Ａ、３Ｂ、および３Ｃに示される実施形態とは異なっている。２つの基本的なアプローチを比較すると、センサ融合の場合、位置特定の正確さが常に向上し、パーチポイントへ向かうＵＡＶの軌道がより滑らかになる。しかしながら、センサ融合では、両方のセンサの測定値がパーチミッション全体でずっと処理されるため、計算時間が長くなる。

【0070】

センサ融合の実施形態では、制御回路は、（図４の逐次経路計画技術の区分線形軌道とは対照的に）連続的なパーチ軌道を計算するようにプログラムされている。ここで、制御回路は、深度カメラと２ＤのＬＩＤＡＲシステムの両方を使用して対象物が初めて検出され、位置特定されると、初期値の連続軌道を計算するようにプログラムされている。制御回路は、最初の対象物検出時のＵＡＶの場所、対象物上のパーチポイント、および軌道に沿った速度プロファイルを使用して、この連続軌道を特徴付けるようにさらにプログラムされている。

【0071】

マルチセンサ構成は、独自の機能を利用することにより、より堅牢なオブジェクトの検出、位置特定、および整合を提供するが、各センサを単独で自律的なパーチタスクで使用することもできるシナリオがある。つまり、特定の特殊なシナリオでは、２ＤのＬＩＤＡＲシステムまたは３Ｄ深度カメラのいずれかで、パーチの自律的な検出、位置特定、および整合を実行するのに十分である。例えば、２ＤのＬＩＤＡＲシステムは、非クラスタ化（またはノイズのない）環境での堅牢な対象物の検出、位置特定、および整合のために単独で使用することができる。同様に、３Ｄ深度カメラは、大型の対象物の適切な検出、位置特定、および整合を提供するために単独で使用することができる。

【0072】

以下は、検出および位置特定方法の例示的な実施形態の説明である。これらは、湾曲した構造上のＵＡＶの自律的なパーチの最も挑戦的な態様であるからである。説明を容易にするために、これらの方法は、対象物を適切に検出および位置特定するためにセンサデータを処理するように制御回路をプログラミングするという観点から説明されている。さらに、この説明の多くは、湾曲した構造物（パイプなど）にＵＡＶを自律的にパーチするタスクへの検出および位置特定アルゴリズムの実際の適用であるため、そのようなアルゴリズムのステップの実装が、対応するステップを実行するように制御回路をプログラミングすることによるものであることをも理解されたい。

【0073】

先に述べたように、対象物の検出および位置特定は、自律的なパーチ移動で最も困難なタスクである。これは、移動制御の正確さと精度が位置特定のフィードバックの正確さと精度に大きく依存しているためである。例示的な実施形態では、深度カメラまたは２ＤのＬＩＤＡＲシステム（または両方）を使用してこのタスクを実行するために、（制御回路上でプログラムされたものとして）異なるアルゴリズムが説明されている。深度カメラと２ＤのＬＩＤＡＲは、パイプを検知してその場所を検出する２つの異なるタイプのセンサである。各々が異なるアプローチを使用して距離を測定し、互いに大きく異なるデータを生成する。そのため、本明細書で説明するように、位置特定アプローチまたはアルゴリズムは、これらのセンサのうちの１つの特定のタイプに特化している場合がある。

【0074】

深度カメラは、ボリューム表現（または３Ｄ点群）を提供する。これには、検知ピクセルの矩形（２Ｄ）アレイによって観察される、周囲の３Ｄ環境で検知された物体の距離測定が含まれる。反対に、２ＤのＬＩＤＡＲシステムは２Ｄ点スライスを提供する。これには、検知ピクセルの線形（１Ｄ）アレイによって観察される線に沿って検知された物体の距離測定が含まれる。深度カメラの点群を使用して、任意の３Ｄ物体のセグメント化および位置特定を実行することができる。対照的に、２ＤのＬＩＤＡＲ測定は、これらの形状の２Ｄスライスを検出するためにのみ使用できる。そのため、２ＤのＬＩＤＡＲデータのみを使用した任意の物体の検出および位置特定は著しくより困難であり、周囲のノイズ（３Ｄ深度データでフィルタリングが容易な、類似の物体または他のスプリアス信号源など）に特に敏感である。深度カメラを使用した対象物の位置特定の正確さと精度は、対象物の近傍０．３～１０メートル（ｍ）などで、十分であると見なされる。しかしながら、２ＤのＬＩＤＡＲは、より近い距離、特に０．０５ｍ未満などのかなり近い距離で、大幅に高くなった正確さおよび精度を提供する。

【0075】

説明を容易にするために、説明される実施形態は、パイプまたは円筒状の他の対象物を検出するように設計されたアルゴリズムを使用するが、同様の概念を他の実施形態で一般化して、球形または部分球形などの他の曲面対象物を検出することができる。３Ｄ深度カメラと２ＤのＬＩＤＡＲシステムのデータ出力はかなり異なるため、対象物の検出および位置特定用の異なるアルゴリズムをセンサのタイプごとに提供する。これらのアルゴリズムのより詳細な説明は、図６から９を参照して下記に示す。しかしながら、今回はより簡単な説明が成される。

【0076】

３Ｄ深度カメラを使用して検出および位置特定を実行するための異なる実施形態が提示される。これらには、点群からの物体のセグメント化の使用、慣性測定の融合の使用、および点群を削減するための画像ベースの物体追尾の使用が含まれる。しかしながら、これらは単なる例であり、他のものは本開示に照らして明らかになるであろう。

【0077】

点群からの物体のセグメント化を使用した検出および位置特定に関して、これの主な手順に含まれるのは、深度カメラからの点群を受信すること、点群内の境界ボックスを識別すること、境界ボックス内での物体のセグメント化の実行すること、対象物の中心の場所を推定すること、および前のステップの結果と新しい入力点群を使用して、これらのステップの一部またはすべてを繰り返すことである。さらに詳細には、制御回路は、深度カメラから点群を受信するようにプログラムされている（例えば、出力データを深度カメラから３Ｄ点群へ処理する）。制御回路はさらに、入力点群内の対象物（この場合はパイプ）を表す候補の点を含む初期境界ボックスを識別するようにプログラムされている。例えば、この初期の境界ボックスは、いくつか例を挙げると、点群全体、開始する前に判定された部分、測定器（ＧＰＳ、ＩＭＵなど）に基づく対象領域の初期推定、またはユーザ定義の境界ボックスであってもよい。

【0078】

制御回路はさらに、パイプの数学モデル（例えば、円筒）にベストフィットするすべての点を見つけるために、識別された境界ボックス内で物体のセグメント化を実行するようにプログラムされている。このことから、制御回路はさらに、意図された対象となるパイプを表す（例えば、予測された場所と形状が最も一致する）可能性が最も高いセグメント化された物体を識別するように、プログラムされている。この点において、制御回路はさらに、深度カメラに対する対象パイプの中心の場所を推定するようにプログラされている。一実施形態では、対象物であるパイプとして識別された点の図心を、パイプの中心の推定に使用する。次の繰り返しでは、新しい入力点群が使用可能になると、さらなるセグメント化および更新された図心計算で、前に計算された図心の周囲に新しい境界ボックスを定義する。これは、対象物がカメラのＦＯＶに関して以前の場所からあまり移動していないことを前提とする（例えば、小さな動きの想定）。

【0079】

慣性測定融合を使用した検出および位置特定に関して、これは、ここで考察される点群の実施形態からの物体のセグメント化に類似しており、小さな動きの仮定のみが緩和されている。代わりに、制御回路はさらに、深度カメラにしっかりと取り付けられた慣性測定ユニット（ＩＭＵ）からなど、さらなる入力を受信する（または、慣性を測定するか、深度カメラのポーズを推定する）ようにプログラムされていて、前の推定された場所に基づく次の繰り返しでの対象物の場所（深度カメラのＦＯＶに対する）を予測する。新しい境界ボックスは、新しいＩＭＵベースの推定された場所の周囲に構築される。ＩＭＵを使用して、ＵＡＶの高速モーションまたは回転を予測できる。これにより、小さなモーションの仮定が緩和され、次の繰り返しでより正確な境界ボックスを予測できる。

【0080】

点群を低減するための画像ベースの物体追跡を使用する検出および位置特定に関して、制御回路は、画像ベースの物体追跡を使用して、入力点群を画像フレーム内の追跡された物体の領域のみに対応するものに制約するように、プログラムされている。一実施形態では、画像トラッカの障害を説明するために、ＩＭＵを使用して画像フレーム内の物体の場所を予測し、それを使用して、物体が行方不明なったときに画像トラッカを再初期化する。

【0081】

２ＤのＬＩＤＡＲシステムを使用して検出と位置特定を実行するための様々な実施形態が提示されている。かかる一実施形態は、クラスタ化および修正ランダムサンプルコンセンサス（ＲＡＮＳＡＣ）アルゴリズムを使用して円検出を行うことを含む。ここで、制御回路は、改良型ＲＡＮＳＡＣアルゴリズムを使用して、２ＤのＬＩＤＡＲ距離測定の高速クラスタ化を利用するようにプログラムされている。別のかかる実施形態では、線形クラスタのリジェクトを使用する。ここで、制御回路はさらに、２ＤのＬＩＤＡＲ測定で線形（またはほぼ線形のセグメント）を表す点を削除するように（改良型ＲＡＮＳＡＣの実施形態から）さらにプログラムされている。さらに別のかかる実施形態は、一時的なパイプの位置および直径の追跡を使用する。ここで、制御回路は、初期の有効な対象物検出の位置と直径を使用して、各フレームで完全な検出を実行する代わりに、後続の時間フレームで対象物を追跡するようにプログラムされている。

【0082】

さらに別のかかる実施形態は、ＲＡＮＳＡＣおよびハフ変換を使用して楕円検出を実行する。上記の例示的な２ＤのＬＩＤＡＲ検出および位置特定の実施形態は、円（２ＤのＬＩＤＡＲスライスの１Ｄ部分の例）を入力データにフィットさせることを説明しているが、このアプローチでは、制御回路は、楕円を入力点にフィットさせるようにプログラムされている。これは、対象となるパイプに対するＬＩＤＡＲの配向によっては、結果の点が円よりも楕円で表される場合が多いためである。さらに、楕円を使用して、ＬＩＤＡＲとパイプの間の方向角（ヨー）を計算できる。これは、パイプとのＵＡＶの整合において有用であり得る。この実施形態は、ハフ変換と共にＲＡＮＳＡＣ技術を使用しており、以下により完全に説明される。２ＤのＬＩＤＡＲ検出および位置特定のさらなる他の実施形態は、本開示に照らして明らかになるであろう。

【0083】

さらに詳細には、２ＤのＬＩＤＡＲシステムを使用した様々な位置特定技術について説明する。２ＤのＬＩＤＡＲは、高速の回転スキャン速度でレーザビームをスイープし、環境からスキャナに戻る反射レーザの飛行時間を測定する軽量レーザスキャナである。これにより、２ＤのＬＩＤＡＲは、視線内にあり、２ＤのＬＩＤＡＲの特定の範囲内にある限り、スキャナ周辺のすべての物体と障害物の詳細な２Ｄスキャンを提供できる。ＬＩＤＡＲの高速スキャン速度のため、ならびに、点群が３Ｄ点群ではなく２Ｄであるため、単一スキャンの送信に必要な帯域幅が狭いため、リアルタイムスキャンが可能である。

【0084】

２ＤのＬＩＤＡＲシステムを使用したパイプの位置特定の複数のアルゴリズムについてさらに説明する。様々な技術には、展開される環境などの要因に応じて、それぞれ長所と短所がある。技術には、クラスタ化と改良型ＲＡＮＳＡＣアプローチを使用した円の検出、線形クラスタのリジェクト、一時的なパイプの位置と直径の追跡、ＲＡＮＳＡＣとハフ変換を使用した楕円の検出が含まれる。

【0085】

図６は、一実施形態による、２ＤのＬＩＤＡＲセンサデータのクラスタ化を使用する例示的な円（例えば、パイプ）検出技術６００のフローチャートである。技術６００は、クラスタ化を利用する大幅に改良されたＲＡＮＳＡＣアプローチを使用して、高精度で２ＤのＬＩＤＡＲデータからパイプを検出および位置特定する。制御回路は、点群を角度でソートすることにより、高速クラスタ化を実行するようにプログラムされている。

【0086】

図６を参照すると、処理は、５センチメートル（ｃｍ）よりも近い連続する点をクラスタ化）し、特定の数（例えば、ｎ）点より少ないクラスタを無視するステップ６１０から始まる。このステップでは、制御回路は近くの点をクラスタ化するようにプログラムされ、特定の閾値サイズに達するクラスタのみを考慮する。例えば、一実施形態では、制御回路は、線形スキャンにおける２つの連続する各点間の距離を計算し、離れている距離が５ｃｍ未満であるそれらの点を一緒にクラスタ化するようにプログラムされている。制御回路はさらに、特定の閾値ｎ未満の点を有するいかなるクラスタも無視し、他のクラスタを適格として維持するようにプログラムされている。

【0087】

技術６００はさらに、任意の大きな数の繰り返し（例えば、利用可能な処理能力、点群のサイズ、所望の精度、およびなどに依存する）のために、改良型ＲＡＮＳＡＣを駆動し、改良型ＲＡＮＳＡＣは残りのステップ６２０～６８０を包含する。より具体的には、技術６００は、ランダムに適格なクラスタ内の３つのランダムな点を通る円をフィットさせるステップ６２０を含む。目標は、クラスタ内の他の点を特徴付ける円（パイプスライスなど）をすばやく見つけることである。ここで、制御回路は、適格なクラスタをランダムに選択するようにプログラムされており、そのクラスタから、そのクラスタ内の３つの点をランダムに選択し、それらに円をフィットさせる。

【0088】

技術６００はさらに、円の方程式を使用して、円から選択されたクラスタ内の他のすべての点の代数誤差を計算するステップ６３０を含む。これは、クラスタが円にどの程度フィットしているかの尺度を提供する。ここで、制御回路はさらに、円の方程式に接続されたときに、そのクラスタ内の他のすべての点の代数誤差を計算または別様に判定するようにプログラムされている。技術６００はさらに、円に近いクラスタ内の正対応点の数を数えるステップ６４０を含む。ここで、制御回路はさらに、誤差が事前定義された閾値よりも小さい（例えば、円に近い）のある正対応点の数を見つけるようにプログラムされている。技術６００は、正対応点の数がクラスタ閾値サイズｎの数よりも大きいかどうかを判定するステップ６５０さらに含む。これにより、クラスタが実際に円（パイプなど）であるという確証が得られる。ここで、制御回路はさらに、正対応点の数を閾値ｎと比較し、それが小さい場合は、クラスタ（またはクラスタ内の点選択）は円（パイプ）に適切にフィットしないため、ステップ６２０から処理が繰り返されるようにプログラムされている。

【0089】

そうでない場合は、正対応点の数は閾値ｎを超えており、技術６００はさらに、すべての正対応点を通る最良の新しい円をフィットさせ、総残余誤差を計算するステップ６６０を含む。ここで、制御回路はさらに、すべての正対応点を通るベストフィットな円を見つけ、ベストフィットな円に関する誤差を見つけるようにプログラムされている。技術６００は、新しい円が前の最良の円よりも良好である（例えば、より小さな誤差）かどうかを判定するステップ６７０をさらに含む。目的は、利用可能な２ＤのＬＩＤＡＲデータにフィットする最良の円（パイプなど）を見つけることである。ここで、制御回路は、最新の円／クラスタのフィットの総残余誤差を比較するようにさらにプログラムされており、その誤差が前の繰り返しで見つかった最良の円／クラスタのフィットのそれ以上である場合、新しい最良の円が見つかっていないので、ステップ６２０からプロセスが繰り返される。

【0090】

そうでない場合は、新しい最良の円が見つかったので、技術６００は、新しい円を最良の円として保存するステップ６８０をさらに含む。ここで、制御回路は、新しい円を、後の候補円と比較するために電子記憶媒体に最良の円として格納し、さらにより良い円を探すためにステップ６２０から始まる処理を繰り返すようにさらにプログラムされている。繰り返しは、いくつかの終了基準が満たされると停止する（例えば、反復回数、計算時間、残差誤差が事前定義された閾値を下回るなど）。この技術は、ＵＡＶが対象となるパイプに十分に近く、パイプがスキャンラインで観察されるクラスタで寡占の場合にうまく機能する。パイプの相対的なサイズが縮小するか、他の構造物（特に他の湾曲した構造）の量が増えると、対象となるパイプを検出して位置特定する技術の信頼性が大幅に低下する。

【0091】

２ＤのＬＩＤＡＲの検出および位置特定の別の技術では、線形クラスタのリジェクトが実行される。ここでの目的は、最初にどのクラスタが単なる線分であるかを識別し、次にそれらを検索から無視することによって、上記の改良型ＲＡＮＳＡＣアルゴリズムでの誤検出という落とし穴を回避することである。それらを除外すると、改良型ＲＡＮＳＡＣを開始できる。これを行うには多くの方法がある。例えば、一実施形態では、制御回路は、各セグメント（またはクラスタ）を通る最小二乗線にフィットし、次にそれらの総残余誤差を調査するようにプログラムされている。別の実施形態では、制御回路は、各クラスタで主成分分析（ｐｒｉｎｃｉｐａｌ ｃｏｍｐｏｎｅｎｔ ａｎａｌｙｓｉｓ、ＰＣＡ）を実行し、それらの第２の固有値を調査するようにプログラムされている。小さい２番目の固有値はフラットクラスタ（例えば、線分）を示し、大きい２番目の固有値（例えば、非線形クラスタ）はＲＡＮＳＡＣの適切な候補である可能性がある。また別の実施形態では、制御回路は、各クラスタの平均勾配変化を見つけ、それをクラスタの真直度の指標として使用するようにさらにプログラムされている。制御回路はさらに、真直度が事前定義された閾値を超えるクラスタを破棄するようにプログラムされている。

【0092】

２ＤのＬＩＤＡＲの検出および位置特定のさらに別の技術では、一時的なパイプの位置と直径の追跡が実行される。例えば、この技術は、上記で論じたクラスタ化および可改良型ＲＡＮＳＡＣの実施形態と組み合わせて使用することができる。ここでの考え方は、１つのフレームでパイプについて検出された情報（２ＤのＬＩＤＡＲスナップショットなど）を利用して、次のフレームでのパイプの検索を支援することである。かかる一実施形態では、制御回路は、パイプが１つのフレームで見つかった場合、探索空間が次のフレームでは、第１のフレームでのパイプの場所の近くに制限されるようにプログラムされている。これは、ＵＡＶがあるフレームから次のフレームへごくわずかに動くことを前提としているが、これは、特定のアプリケーションで有効な前提である。しかしながら、誤った検出（誤検知）を回避するように必ず注意しなければならない。誤った検出によって、検索ウィンドウが真のパイプの場所からずれてしまう可能性がある。これにより、発散が生じ、真の場所にスナップバックできなくなる可能性がある。

【0093】

したがって、別のかかる実施形態では、制御回路は、真であるらしいとして第１のフレームで検出されたパイプ直径を使用し、それから、後続のフレームでは、その特定の許容範囲内の直径を有する円のみを受け入れるようにさらにプログラムされている。これにより、アルゴリズムのパフォーマンスが大幅に向上し、誤検知が減少する。

【0094】

２ＤのＬＩＤＡＲの検出および位置特定のさらに別の技術では、ＲＡＮＳＡＣとハフ変換を使用した楕円検出が実行される。２ＤのＬＩＤＡＲ出力に円をフィットさせることは２ＤのＬＩＤＡＲスキャンでパイプを検出する１つのアプローチだが、スキャンスライスが対象となるパイプの縦軸に垂直であると想定している。しかしながら、一般に、これは、対象物パイプの縦軸が位置特定され、それに応じて２ＤのＬＩＤＡＲスキャンが調整された場合にのみ当てはまる。それ以外の場合、２ＤのＬＩＤＡＲスライスは代わりに楕円にフィットする可能性がある。言い換えると、ＵＡＶがパイプの方に直接向いており、パイプに垂直である場合、パイプは２ＤのＬＩＤＡＲスキャンでは円のセグメントのように見える。しかしながら、ＵＡＶがわずかな角度θでも右または左に回転（ヨー）すると、パイプは完全な円のセグメントとしてではなく、楕円のセグメントとして表示される。楕円の離心率は、パイプに対するＵＡＶのヨー／方位角θに直接関係している。

【0095】

より正式には、ＵＡＶが水平でピッチングしている限り、楕円の短軸の長さは常にパイプの直径Ｄに等しくなる。ゼロ以外のピッチ角は、ＵＡＶのＩＭＵを介して角度を測定し、ＬＩＤＡＲデータ点をその角度で回転させることで補正され得る。ＵＡＶのヨー角θと長軸の長さＬの関係は、次のように特徴付けられる：θ＝ａｒｃｃｏｓ（Ｄ／Ｌ）。したがって、一実施形態では、制御回路は、ＬＩＤＡＲデータのパイプ点を使用して楕円を２ＤのＬＩＤＡＲデータにフィットさせ、次に対応する長軸および短軸の長さを抽出して、パイプ直径およびＵＡＶのヨー角を識別するようにプログラムされている。別の実施形態では、制御回路は、ハフ変換を使用して、ＲＡＮＳＡＣを使用して最良の楕円を見つけるときに２ＤのＬＩＤＡＲデータがノイズに対してより敏感でないようにするようにさらにプログラムされている。しかしながら、大きな検索空間の次元が計算時間を支配し、許容できないパフォーマンスにつながるのを防ぐように注意する必要がある。

【0096】

３Ｄ（ＩＲなど）深度カメラを使用した様々な位置特定技術について、全体を通して説明する。深度カメラは、深度カメラによって生成された点群内の直パイプを検出して位置特定するために適した候補である。点群は、３Ｄ空間内の物体の離散的な体積表現である。物体の検出と追跡は、２Ｄ画像処理のコンピュータビジョン研究の一環として研究されている。画像はキャプチャされたシーンの特徴の豊富なソースを提供するが、単眼カメラを使用して物体の３Ｄポーズを位置特定および推定することは困難である。主な課題は深度推定に由来する。ステレオカメラは、より多くの計算と、限られた範囲であることを対価として、ある程度の救済を提供する。３ＤのＬＩＤＡＲシステムは、検知された環境のボリューム表現を提供する。これにより、物体の位置特定がより簡単かつ正確になる。しかしながら、既存の３ＤのＬＩＤＡＲデバイスは、３ＤのＬＩＤＡＲの比較的重い重量に起因して、小さなＵＡＶを使用する空中アプリケーションなどの特定のアプリケーションには使用することができない。

【0097】

したがって、深度カメラは、ステレオカメラと３ＤのＬＩＤＡＲシステムとの間の低コストなトレードオフ解を提供する。深度カメラは、ＲＧＢ－Ｄカメラと呼ばれることが多く、通常のＲＧＢカメラとＩＲセンサとを組み合わせて、ＲＧＢ画像と各ピクセルの推定深度を提供する。深度画像は点群に変換することができ、点群は、検知された環境のボリューム表現を提供する。３ＤのＬＩＤＡＲデバイスは、一般に、深度カメラと比較してより正確な点群を提供することができる。しかしながら、以下でさらに考察されるいくつかのフィルタリング技術では、深度カメラによって生成された点群は、本明細書において考察されるように自律的なパーチに適している可能性がある。現在、Ｉｎｔｅｌ ＲｅａｌＳｅｎｓｅ Ｄ４３５カメラなど、小型のＵＡＶに搭載できるほど小型である、低コストの深度カメラがいくつかある。

【0098】

点群でパイプの検出および位置特定を実行し、そのポーズを推定するための様々な技術が提供される。ここで、ポーズは自由度６の（６－ＤＯＦ）ポーズ、つまりパイプの図心の３Ｄ位置とその軸の３Ｄ回転角である。技術には、点群フィルタリング、パイプセグメント化、およびパイプ追跡が含まれる。

【0099】

３Ｄ深度カメラ出力のための例示的な点群フィルタリングの実施形態では、生の入力点クラウドは、一般に密であり、センサ不正確さおよび環境条件のために雑音多い測定値を含む。したがって、より正確な物体のセグメント化結果を取得するために、生の入力点群にフィルタリングを適用すると便利な場合がある。このような２つのフィルタには、トリミングとダウンサンプリングが含まれる。これらのフィルタは、例えば、円筒のセグメント化を実行する前に適用することができる。それらはまた、単独でまたは一緒に適用することができる（それらの効果が複合する場合）。それらは、円筒（パイプ）のセグメント化などの他の手法の前に適用することもできる。

【0100】

例示的なトリミングの実施形態では、センサの近くの物体のみが対象であり、さらなる点は有用である可能性が低い。例えば、入力点群には、センサから最大１０メートル離れたデータが含まれている場合があるが、関心を向ける物体を画像化するには、最大５メートルの深さで十分である。したがって、制御回路は、これらのデータ点から５メートル以上離れてトリミングするようにプログラムされている。これにより、ノイズと外れ値の数が減り、オブジェクトのセグメント化の精度を改善する。さらに、処理する点の数が低減されるため、セグメント化時間を大幅に低減することができる。同様の方法で、例示的なダウンサンプリングの実施形態では、制御回路は、入力点群をダウンサンプリングするようにプログラムされている。このタイプのフィルタリングによって、入力点群のサイズも縮小する。これにより、さらに他の処理が高速化され、自動パーチなどの計算バウンドの（リアルタイムなどの）環境で役立つ場合がある。

【0101】

例示的なパイプのセグメント化の実施形態では、制御回路はさらに、入力点群がフィルタされた後に物体のセグメント化を実行するようにプログラムされている。点群において物体のセグメント化を行う多くの方法が存在し、例えば、領域の拡大、最小カットグラフ、正規分布の違い、ユークリッド距離ベースのクラスタ化、ランダムサンプリングコンセンサス（ＲＡＮＳＡＣ）を使用したモデルフィッティングなどである。説明を簡潔にするために、この開示では、主にＲＡＮＳＡＣを使用したモデルのフィットに焦点を当てる。ＲＡＮＳＡＣは、望ましくない外れ値を含む一連の観測データから数学モデルのパラメータを推定する反復法である。したがって、ＲＡＮＳＡＣは外れ値の検出方法としても説明できる。この方法は、実用的であり役立つ。なぜなら、実際のフィールドデータには、外れ値と見なされる他の構造物の測定ノイズに加えて、対象となる物体を囲む他の構造物の測定値が含まれているためである。

【0102】

一般に、パイプは、３つのモデルパラメータ、つまり、円筒の半径、円筒の中心軸上の点（３つの座標）、および方向または原点に対する中心軸の３Ｄ回転（３つの座標）によってパラメータ化できる円筒モデルで表せる。ＲＡＮＳＡＣアルゴリズムの主な機構は次のとおりである。物体のモデルが定義される。本明細書の場合、前述のパラメータ（半径、中心軸の点、中心軸の配向）を持つ円筒モデルである。距離関数は、フィットされたモデルからポイントがどれだけ離れているかを測定するために定義される。一実施形態では、ユークリッド距離は距離関数として機能する。

【0103】

各時間ステップｔで、入力データフレームが提供される。これは、時間ｔにおける入力点群Ｐｔである。一実施形態では、制御回路は、事前定義された最大繰り返し数まで、ＲＡＮＳＡＣ法を繰り返し実行するようにプログラムされている。各繰り返しで、制御回路はモデルフィッティングによって円筒モデルのパラメータを推定するようにプログラムされ、モデルの精度は定義された距離関数を使用して計算される。制御回路はさらに、ＲＡＮＳＡＣ法の実行を継続し、すべての繰り返しにわたって最大の精度で最良のモデルフィット（モデルパラメータ）を出力するようにプログラムされている。これらのステップは、各入力点群Ｐｔに適用される。

【0104】

いくつかの実施形態では、オープンプロジェクトの点群ライブラリ（Ｐｏｉｎｔ Ｃｌｏｕｄ Ｌｉｂｒａｒｙ、ＰＣＬ）を使用して、ＲＡＮＳＡＣを使用する円筒のセグメント化の実装を含む、点群フィルタリングのためのいくつかの機能を提供する。かかる一実施形態では、ＰＣＬは、点群フィルタリングおよび円筒のセグメント化を実行するために使用される。ＲＡＮＳＡＣを使用した点群のフィルタリングとパイプのセグメント化は、ほとんどの場合、うまく機能して、対象となるパイプを検出して位置特定するが、失敗することもあり、例えば、スプリアス雑音のあるセグメントが最良のセグメントとして見えるほど入力データに雑音がある場合、または、入力データに２つの円筒があって、本技術が誤った方を識別する場合である。したがって、いくつかの実施形態では、誤って検出されたパイプを減らし、他のパイプの存在下での検出の曖昧さを減らすために、パイプ追跡機構が提案される。

【0105】

図７は、一実施形態による、例示的な近隣ベースのパイプ検出技術７００のフローチャートである。処理は、ＲＡＮＳＡＣを使用して７１０円筒の検出を実行するステップで始まり、次に７２０有効な円筒を選択し、現在の有効な図心を有効なシリンダの図心に更新するステップが続く。ここで、制御回路は、ＲＡＮＳＡＣを使用して入力３Ｄ深度カメラデータ（点群）で円筒の検出を実行するようにプログラムされ、有効な検出（例えば、可能なパイプまたは円筒形）が利用可能になると、選択された円筒が次のフレームでの初期候補として選択され、有効な円筒の図心が計算される。技術７００は、前の有効な図心の周りの次の入力群をトリミングするステップ７３０をさらに含む。ここで、制御回路はさらに、連続する入力群の間の深度センサで小さな動きの仮定を行い、以前に計算された有効な図心の周りの次の入力群をトリミングするようにプログラムされている。

【0106】

技術７００はさらに、ＲＡＮＳＡＣベースのセグメント化をトリミングされた群に適用するステップ７４０と、結果として得られる円筒（またはデータポイントの円筒群）の図心を計算するステップを含む。この時点で、技術７００は、新しい重心が前の重心の近くにあるかどうかを判定するステップ７５０を含み、そうでない場合は、前の有効な図心が維持されて、処理はステップ７３０から再開される。一実施形態では、制御回路は、前の図心と新しい図心との間の距離が事前定義された隣接距離ｄ以下であるかどうかを判定するようにプログラムされ、そうでない場合、それは無効な検出と見なされ、有効な図心は新しい図心で更新されない。そうでなければ、前の重心と新しい重心は隣接しており（例えば、隣接距離ｄ内）、技術７００は、現在の有効な図心を新しい図心に更新するステップ７６０をさらに含む。この新しい図心の周りで７３０をトリミングするステップから、処理が再開される。

【0107】

この追跡機構の成功は、小さな動きの仮定に大きく依存していることに注意することが重要である（例えば、連続するフレーム内の選択された円筒の図心は互いに近くにある）。したがって、いくつかの実施形態では、急速な動きの存在下での検出の堅牢性をさらに改善するために、センサ融合機構が使用される。いくつかのかかる実施形態では、センサ融合メカニズムは、カルマンフィルタを使用する。

【0108】

図８は、一実施形態による、カルマンフィルタフレームワークに基づく例示的なパイプ位置特定技術８００のフローチャートである。この技術は、前述の手法のパイプ検出および位置特定を改善するのに役立つ。ここでは、深度カメラにしっかりと取り付けられた慣性測定ユニット（ＩＭＵ）を使用して、動きの速い場合でも検出された対象物をより正確に予測する。この予測を使用して、ＲＡＮＳＡＣベースのセグメント化が、入力点群のサブセットであるパイプの点群の予測された場所に適用される。

【0109】

図８を参照すると、処理は、パイプの初期の場所を見つけるステップ８１０から始まる。一実施形態では、制御回路は、深度カメラ（またはＵＡＶ）の場所および配向を受信または判定するようにプログラムされ、このおよび初期パイプ場所（ＲＡＮＳＡＣを使用）から、パイプの初期の場所を判定する。パイプの初期の場所がわかれば、この技術にはさらに、ＩＭＵ測定値を取得し、それらをパイプ場所の最後の推定値と融合して、深度カメラのＦＯＶ内のパイプの次の場所を予測するステップ８２０が含まれる。ここで、制御回路は、カルマンフィルタフレームワークでＩＭＵ測定値と以前のパイプ場所の推定値との融合を実行するようにプログラムされている。カルマンフィルタフレームワークには、予測ステップとそれに続く更新ステップの２つのステップがある。ＩＭＵ測定値は、空間内のＩＭＵ（またはそれに接続されている深度カメラ）のポーズを予測するための予測ステップで使用される。予測は、発散し始める前の短期間で許容可能な精度で実行できる。これで、予測ステップ８２０が完了する。

【0110】

技術８００はさらに、予測された場所の周りの深さ測定値を取得するステップ８３０と、これらの深さ測定値からパイプ場所を推定し、次いで、パイプ場所推定値を更新するステップを含む。ここで、制御回路は、予測された場所（ステップ８２０から）の周りにある次のフレームの入力点群のサブセットを使用してパイプの場所推定を更新し、次のフレームでパイプを見つけて位置特定するようにさらにプログラムされている。次に、このサブセット点群内の推定されたパイプ場所は、予測された場所を修正し、発散を回避するために、更新ステップ８３０で使用される。これで、更新ステップ８３０が完了する。フレームワークは、予測ステップ８２０および更新ステップ８３０の反復を繰り返して進行し、ＵＡＶの飛行中の深度カメラの動きを説明するためにセンサ融合を使用してパイプをよりよく追跡する。

【0111】

図９は、一実施形態による、画像追跡およびカルマンフィルタを使用する例示的なパイプ位置特定技術９００のフローチャートである。技術９００では、物体追跡のソースをもう１つ追加することが、追跡の堅牢性の改善に役立つ。画像ベースの物体トラッキングは、深度（ＲＧＢ－Ｄなど）カメラに埋め込まれているＲＧＢカメラから見たパイプを追跡するために使用される。対応する点群は、元の入力点群から抽出される。抽出された点群のサイズは、潜在的に元の点群よりもはるかに小さく、その結果、物体のセグメント化に関連する計算がはるかに少なくなる。画像ベースの物体追跡は、高速動き中に失敗する可能性がある。この問題を軽減するために、画像ベースの物体トラッカを自動的に再初期化するために、ＩＭＵベースの場所予測もまた使用される。

【0112】

さらに詳細には、処理は、初期化ステップ９１０から始まり、ここで、制御回路は、入力画像内の初期関心領域（ＲＯＩ）を受信するか、さもなければ判定または定義し、対応する点群を抽出し、初期パイプ場所推定値を計算するようにプログラムされており（例えば、ＲＡＮＳＡＣを使用して）、初期ＲＯＩを使用して画像トラッカを初期化する。技術９００は、カルマンフィルタ予測ステップ９２０をさらに含み、制御回路は、ＩＭＵ測定値を取得し、パイプの最後の場所推定に基づいてパイプ場所を予測するようにさらにプログラムされている。技術９００は、画像追跡ステップ９３０をさらに含み、制御回路は、次の画像フレームを（ＲＧＢカメラから）物体トラッカに供給するようにさらにプログラムされていて、画像トラッカは、物体を追跡し、出力ＲＯＩを提供するために実行される。この点で、技術９００は、物体追跡が成功したかどうかを判定するステップ９４０をさらに含み、成功しなかった場合、技術９００は、最後の予測値を使用して画像トラッカを再初期化して初期化ステップ９１０で再開するステップ９５０をさらに含む。

【0113】

そうでなければ、追跡は成功し、技術９００は、物体トラッカ由来の出力ＲＯＩを使用して対応する点群を抽出するステップ９６０をさらに含む。技術９００はさらに、パイプを見つけるステップ９７０を含み、制御回路は、パイプを見つけるために抽出された点群上で物体セグメント化を実行するようにさらにプログラムされる。次に、画像トラッカステップ９３０は、新たに発見されたパイプを使用して再実行される。この物体追跡と同時に、技術９００は、カルマンフィルタ更新ステップ９８０をさらに含み、そこでは、制御回路は、深さ測定からパイプ場所推定を更新するようにさらにプログラムされ、その時点で、カルマンフィルタ予測ステップ９２０が、新しいＩＭＵデータで繰り返される。

【0114】

いくつかの実施形態では、深度カメラおよび２ＤのＬＩＤＡＲセンサは、ＵＡＶの飛行経路を開始位置から目標表面の着陸位置まで自律的に制御する場合など、障害物の検出および回避にも使用される。かかる一実施形態では、操作者が手動でＵＡＶを意図された標的に向かって飛行させているとき、他のパイプまたは構造に遭遇する可能性がある。ここで、センサはこれらの障害物を検出でき、制御回路はＵＡＶを停止し、操作者に別の経路を取るように警告することによって衝突を回避するようにプログラムできる。別のかかる実施形態では、ＵＡＶがパイプ上で自律的に着陸移動を実行している際に、近くの障害物を検出する可能性があり、制御回路はそれらの周りの経路を計画することによってそれらを回避するようにプログラムされる。

【0115】

図１０は、実施形態に従う、曲面（パイプ５０または２５０など）上に、曲面から離れた開始位置からＵＡＶ（ＵＡＶ１００または３００など）を自律的にパーチする例示的な方法１０００のフローチャートである。

【0116】

方法１０００の一部またはすべては、図１Ａから図９に示される構成要素および技術を使用して実行することができる。本明細書に開示されるこの方法および他の方法の一部は、割り当てられたタスクを実行するようにコードまたは論理によって構成された、プログラマブル論理回路（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｃｉｒｃｕｉｔ、ＰＬＣ）、コンピュータ、ソフトウェア、または他の回路（例えば、ＡＳＩＣ、ＦＰＧＡ）などのカスタムまたは事前にプログラムされた論理デバイス、回路、またはプロセッサ上で、またはそれらを使用して実行することができる。デバイス、回路、またはプロセッサは、例えば、専用または共有のハードウェアデバイス（ノートパソコン、シングルボードコンピュータ（ＳＢＣ）、ワークステーション、タブレット、スマートフォン、サーバの一部、またはＦＰＧＡもしくはＡＳＩＣなどの専用ハードウェア回路など）、またはコンピュータサーバ、またはサーバもしくはコンピュータシステムの一部分であり得る。デバイス、回路、またはプロセッサは、１つまたは複数のプロセッサで実行されると部分を引き起こす命令を格納する、非一時的なコンピュータ可読媒体（ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ、ＣＲＭ、例えば読み取り専用メモリ（ｒｅａｄ－ｏｎｌｙ ｍｅｍｏｒｙ、ＲＯＭ）、フラッシュドライブ、またはディスクドライブなどの）を含むことができ、方法１０００（または他の開示された方法）の部分が実行されるようにする。他の実施形態では、操作の順序を変えることができ、操作のいくつかを省略できることに留意されたい。方法１０００の一部またはすべては、方法１０００を実行するように構成されたＵＡＶ上に配置された論理、回路、またはプロセッサを使用して実行することもできる。

【0117】

例示的な方法１０００では、処理は、ＵＡＶからシーンの３Ｄ点群をキャプチャおよび出力するステップ１０１０から始まる。画像は、曲面を含む。キャプチャでは、ＵＡＶに取り付けられた３次元（３Ｄ）深度カメラ（ＩＲ深度カメラまたはＲＧＢ－Ｄカメラなど）を使用する。方法１０００はさらに、シーンの２Ｄスライスをキャプチャおよび出力するステップ１０２０を含む。このキャプチャでは、ＵＡＶに接続された２ＤのＬＩＤＡＲシステムを使用する。方法１０００はさらに、深度カメラおよびＬＩＤＡＲシステムを制御して、シーンの３Ｄ点群および２Ｄスライスをそれぞれにキャプチャするステップ１０３０を含む。これは、ＵＡＶに接続され、制御タスクを実行するようにプログラムされた制御回路（例えば、プログラム可能なプロセッサまたは論理回路）を使用して実行できる。

【0118】

方法１０００はさらに、深度カメラからキャプチャされた３Ｄ点群およびＬＩＤＡＲシステムからキャプチャされた２Ｄスライスを入力するステップ１０４０を含む。ここで、制御回路はセンサデータを入力するようにプログラムすることができる。方法１０００はさらに、キャプチャされた３Ｄ点群およびキャプチャされた２Ｄスライスを使用して曲面を自律的に検出し、位置特定するステップ１０５０を含む。ここで、制御回路は、ＲＡＮＳＡＣを使用して実行し、検出および位置特定を使用するようにプログラムできる。方法１０００はさらに、曲面の自律的な検出および位置特定に基づいて、ＵＡＶを開始位置から曲面上の着陸位置に自律的に誘導するステップ１０６０を含む。ここで、制御回路は、ＵＡＶの飛行経路を開始位置から着陸位置まで３Ｄ点群と２Ｄスライスを使用して自律的に制御するようにプログラムできる。

【0119】

一実施形態では、曲面は、強磁性であり、ＵＡＶは、磁気脚をさらに含む。方法１０００は、着陸中に強磁性脚を強磁性曲面に磁着し、かつ、着陸後に強磁性曲面に磁着されたままであるステップをさらに含む。

【0120】

本明細書に記載の方法は、有形の（例えば、非一時的な）記憶媒体上の機械可読形式のソフトウェアまたはファームウェアによって部分的または全体的に実行され得る。例えば、そのソフトウェアまたはファームウェアは、本明細書で説明した任意の方法の一部またはすべてのステップを実行するように適合されたコンピュータプログラムの形態であってもよく、プログラムがコンピュータまたは適切なハードウェアデバイス（例えば、ＦＰＧＡ）上で実行されるとき、コンピュータプログラムは、コンピュータ可読媒体上に実装されている可能性がある。有形の記憶媒体の例として、ディスク、サムドライブ、メモリなどのコンピュータ可読媒体を含むコンピュータ記憶デバイスが挙げられ、伝播される信号は含まれない。伝播される信号は有形の記憶媒体に存在する場合があるが、伝播される信号自体は有形の記憶媒体の例ではない。ソフトウェアは、方法ステップが任意の適切な順序で、または同時に実行され得るように、並列プロセッサまたは直列プロセッサ上での実行に適し得る。

【0121】

図面中の類似の数字が、いくつかの図面を通して類似の要素を表し、図面に関連して説明され、示された構成要素および／またはステップのすべてが、すべての実施形態または構成に必要とされるわけではないことをさらに理解されたい。

【0122】

本明細書で使用される用語は、特定の実施形態のみを説明する目的のためであり、本開示を限定することを意図していない。本明細書において使用されるとき、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明らかに別のことを示している場合を除き、複数形も含むものと意図する。「ｃｏｍｐｒｉｓｅｓ（備える）」および／または「ｃｏｍｐｒｉｓｉｎｇ（備える）」という用語は、本明細書で使用する際、述べた特徴、整数、ステップ、作業、要素、および／または構成要素の存在を明示するが、１つ以上の他の特徴、整数、ステップ、作業、要素、構成要素、および／またはそれらの群の存在または追加を排除しないことがさらに理解されるであろう。

【0123】

配向の用語は、本明細書においては、単に慣例および参照の目的で使用され、限定として解釈されるべきではない。しかしながら、これらの用語が、見る人を基準にして使用される可能性があることが認識される。したがって、限定が含意されることもなく、推測されることもない。さらに、序数（例えば、第１、第２、第３）の使用は区別のためであり、カウントではない。例えば、「第３」は、対応する「第１」または「第２」があることを示唆していない。また、本明細書において使用される表現および専門用語は、説明目的のものであり、限定として見なされるべきではない。本明細書における「ｉｎｃｌｕｄｉｎｇ（含む）」、「ｃｏｍｐｒｉｓｉｎｇ（備える、含む）」、または「ｈａｖｉｎｇ（有する）」、「ｃｏｎｔａｉｎｉｎｇ（含む）」、「ｉｎｖｏｌｖｉｎｇ（伴う）」、およびそれらの変形の使用は、それ以降に挙げられた項目、およびその等価物、ならびに追加項目を包含することを目的としている。

【0124】

上述の主題は、単に例示として提供されており、限定されるものと解釈されるべきではない。説明および記載された例示的な実施形態および用途に従うことなく、かつ以降の特許請求の範囲の記載によって、ならびにこれらの記載と同等である構造および機能またはステップによって定義されている、本開示によって包含される、本発明の真の趣旨および範囲から逸脱することなく、様々な修正および変更が、本明細書に記載された主題に対して行われ得る。

【符号の説明】

【0125】

５０ ・・・構造物
１００、３００ ・・・ＵＡＶ
１１０ ・・・レーザスキャナ
１２０ ・・・関節式磁石
１３０ ・・・クローラ
１４０ ・・・ホイール
２５０ ・・・着陸軌道

【図1A】

【図1B】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】