特許 7580875 自動化された適応型三次元ロボット現地調査

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-01

(45)【発行日】2024-11-12

(54)【発明の名称】自動化された適応型三次元ロボット現地調査

(51)【国際特許分類】

   G05D 1/00 20240101AFI20241105BHJP

   G05D 1/243 20240101ALI20241105BHJP

   G05D 1/46 20240101ALI20241105BHJP

   H04N 23/60 20230101ALI20241105BHJP

   H04N 23/45 20230101ALI20241105BHJP

   G06Q 10/06 20230101ALI20241105BHJP

   G08G 5/00 20060101ALI20241105BHJP

【ＦＩ】

G05D1/00

G05D1/243

G05D1/46

H04N23/60 100

H04N23/45

G06Q10/06

G08G5/00 A

【請求項の数】 20

【外国語出願】

(21)【出願番号】P 2023101091

(22)【出願日】2023-06-20

(62)【分割の表示】P 2020539036の分割

【原出願日】2018-12-27

(65)【公開番号】P2023126813

(43)【公開日】2023-09-12

【審査請求日】2023-06-29

(31)【優先権主張番号】15/879,743

(32)【優先日】2018-01-25

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】390041542

【氏名又は名称】ゼネラル・エレクトリック・カンパニイ

(74)【代理人】

【識別番号】100188558

【弁理士】

【氏名又は名称】飯田 雅人

(74)【代理人】

【識別番号】100154922

【弁理士】

【氏名又は名称】崔 允辰

(74)【代理人】

【識別番号】100207158

【弁理士】

【氏名又は名称】田中 研二

(72)【発明者】

【氏名】セン，シラジ

(72)【発明者】

【氏名】グレイ，スティーブン ロバート

(72)【発明者】

【氏名】ジャイン，アーピット

(72)【発明者】

【氏名】タン，フアン

(72)【発明者】

【氏名】フォーマン，ダグラス

(72)【発明者】

【氏名】グッツォ，ジュディス アン

【審査官】牧 初

(56)【参考文献】

【文献】国際公開第２０１７／０７３３１０（ＷＯ，Ａ１）

【文献】特開２０１７－１３８１６２（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１６／０２５３８０８（ＵＳ，Ａ１）

【文献】国際公開第２０１７／００５９７６（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０５Ｄ １／００－ １／８７

Ｂ６４Ｕ １０／００－８０／８６

(57)【特許請求の範囲】

【請求項1】

資産の三次元モデルを生成するシステムであって、
命令を格納するメモリ、および
前記命令を実行するように構成されたプロセッサを含み、ここで前記実行された命令は、前記プロセッサに、
資産の周りで無人ロボットを操作するためのミッションプランの制約に対応する入力パラメータを受け取る動作、
前記資産を表す資産タイプの情報を含む前記入力パラメータに基づいて前記ミッションプランを生成する動作であって、前記ミッションプランは、複数のウェイポイントを含み、前記ミッションプランは、前記無人ロボットの各ウェイポイントにおける１つまたは複数の画像センサの位置および向きを識別する、動作、
１つまたは複数の事前定義された基準を満たす前記複数のウェイポイントを接続する前記無人ロボットの飛行経路を生成する動作、
前記飛行経路上で、前記１つまたは複数の画像センサによって、前記資産の局所的部分が変動していると検知する動作、
前記検知された局所的部分の形状を計算し、前記局所的部分の形状に基づいてオンザフライで前記ミッションプランを変更する動作、および
前記変更されたミッションプランの複数のウェイポイントに沿って前記局所的部分の画像をキャプチャする動作を行わせる、システム。

【請求項2】

前記プロセッサは、１つのウェイポイントから次のウェイポイントへの前記飛行経路の実行中に前記無人ロボットのロボット状態を監視するようにさらに構成される、請求項１に記載のシステム。

【請求項3】

前記入力パラメータは、資産制約、三次元再構築制約、およびミッション制約のうちの少なくとも１つを含む、請求項１に記載のシステム。

【請求項4】

前記入力パラメータは、ジオフェンス、カメラパラメータ、および資産寸法のうちの少なくとも１つを含む、請求項３に記載のシステム。

【請求項5】

前記１つまたは複数の画像センサは、（ｉ）カメラ、（ｉｉ）ビデオカメラ、（ｉｉｉ）赤外線カメラ、（ｉｖ）マイク、（ｖ）化学検出器、（ｖｉ）光検出測距（「ＬＩＤＡＲ」）センサ、および（ｖｉｉ）放射線検出器のうちの少なくとも１つに関連付けられる、請求項１に記載のシステム。

【請求項6】

前記資産タイプは、プリミティブ形状およびパラメータに関して表現される、請求項１に記載のシステム。

【請求項7】

前記ミッションプランを変更することは、前記１つまたは複数の画像センサの前記向きを変更すること、ウェイポイントを追加すること、および前記ウェイポイントを変更することのうちの少なくとも１つを含む、請求項１に記載のシステム。

【請求項8】

前記１つまたは複数の事前定義された基準は、環境制約、ロボット制約、およびタスク制約を含む、請求項１に記載のシステム。

【請求項9】

資産の三次元モデルを生成する方法であって、
資産の周りで無人ロボットを操作するためのミッションプランの制約に対応する入力パラメータを受け取るステップ、
前記資産を表す資産タイプの情報を含む前記入力パラメータに基づいて前記ミッションプランを生成するステップであって、前記ミッションプランは、複数のウェイポイントを含み、前記ミッションプランは、前記無人ロボットの各ウェイポイントにおける１つまたは複数の画像センサの位置および向きを識別する、ステップ、
１つまたは複数の事前定義された基準を満たす前記複数のウェイポイントを接続する前記無人ロボットの飛行経路を生成するステップ、
前記飛行経路上で、前記１つまたは複数の画像センサによって、前記資産の局所的部分が変動していると検知するステップ、
前記検知された局所的部分の形状を計算し、前記局所的部分の形状に基づいてオンザフライで前記ミッションプランを変更するステップ、および
前記変更されたミッションプランの複数のウェイポイントに沿って前記局所的部分の画像をキャプチャするステップを含む、方法。

【請求項10】

１つのウェイポイントから次のウェイポイントへの前記飛行経路の実行中に前記無人ロボットのロボット状態を監視するステップをさらに含む、請求項９に記載の方法。

【請求項11】

前記入力パラメータは、資産制約、三次元再構築制約、およびミッション制約のうちの少なくとも１つを含む、請求項９に記載の方法。

【請求項12】

前記入力パラメータは、ジオフェンス、カメラパラメータ、および資産寸法のうちの少なくとも１つを含む、請求項１１に記載の方法。

【請求項13】

前記１つまたは複数の画像センサは、（ｉ）カメラ、（ｉｉ）ビデオカメラ、（ｉｉｉ）赤外線カメラ、（ｉｖ）マイク、（ｖ）化学検出器、（ｖｉ）光検出測距（「ＬＩＤＡＲ」）センサ、および（ｖｉｉ）放射線検出器のうちの少なくとも１つに関連付けられる、請求項９に記載の方法。

【請求項14】

前記資産タイプは、プリミティブ形状およびパラメータに関して表現される、請求項９に記載の方法。

【請求項15】

前記ミッションプランを変更するステップは、前記１つまたは複数の画像センサの前記向きを変更するステップ、ウェイポイントを追加するステップ、および前記ウェイポイントを変更するステップのうちの少なくとも１つを含む、請求項９に記載の方法。

【請求項16】

前記１つまたは複数の事前定義された基準は、環境制約、ロボット制約、およびタスク制約を含む、請求項９に記載の方法。

【請求項17】

実行時にコンピュータに資産の三次元モデルを生成する方法を実行させる命令を格納した非一時的なコンピュータ可読媒体であって、前記方法は、
資産の周りで無人ロボットを操作するためのミッションプランの制約に対応する入力パラメータを受け取るステップ、
前記資産を表す資産タイプの情報を含む前記入力パラメータに基づいて前記ミッションプランを生成するステップであって、前記ミッションプランは、複数のウェイポイントを含み、前記ミッションプランは、前記無人ロボットの各ウェイポイントにおける１つまたは複数の画像センサの位置および向きを識別する、ステップ、
１つまたは複数の事前定義された基準を満たす前記複数のウェイポイントを接続する前記無人ロボットの飛行経路を生成するステップ、
前記飛行経路上で、前記１つまたは複数の画像センサによって、前記資産の局所的部分が変動していると検知するステップ、
前記検知された局所的部分の形状を計算し、前記局所的部分の形状に基づいてオンザフライで前記ミッションプランを変更するステップ、
および
前記変更されたミッションプランの複数のウェイポイントに沿って前記局所的部分の画像をキャプチャするステップを含む、非一時的なコンピュータ可読媒体。

【請求項18】

前記方法は、１つのウェイポイントから次のウェイポイントへの前記飛行経路の実行中に前記無人ロボットのロボット状態を監視するステップをさらに含む、請求項１７に記載の非一時的なコンピュータ可読媒体。

【請求項19】

前記入力パラメータは、資産制約、三次元再構築制約、およびミッション制約のうちの少なくとも１つを含む、請求項１７に記載の非一時的なコンピュータ可読媒体。

【請求項20】

前記１つまたは複数の事前定義された基準は、環境制約、ロボット制約、およびタスク制約を含む、請求項１７に記載の非一時的なコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本明細書に開示される主題は、現地調査に関し、より具体的には、資産およびその環境の三次元モデルを構築するための、産業資産周辺の多感覚データの自律的収集に関する。ロボット、特に産業環境で動作するロボットにとっては、自律的に環境を感知してモデル化する機能を持つことが望ましいだろう。この環境のモデルは、検査、障害物回避、ロボットの位置確認、ターゲット設定などの他のタスクを指示するのに使用することができる。

【背景技術】

【0002】

既存の３Ｄ再構築システムの多くは、パフォーマンスに影響を与えるいくつかの制限に悩まされている。通常、資産の三次元（３Ｄ）再構築に必要なデータは、人間のオペレータが手動で操縦するドローンによって、または人間が携帯する感知システムによって収集される。人間にデータ収集プロセスの側面を実行させることは、困難でエラーが発生しやすいタスクになる可能性があることに注意されたい。これは、計画されたデータ収集にかなりの時間がかかる場合、収集がさまざまなルートを取る可能性がある場合、調査する必要のある対象点が多い場合、資産および／または周辺環境が複雑で動的に変化する場合、他の人および／またはロボットがそのエリアで同時に動作している場合などに特に当てはまる。

【0003】

手動のデータ収集では、正確なモデルを構築するために、画像に焦点が合っているか、資産の適切な領域を対象としているか、および画像間で十分な重なりがあるかを保証するといった特定の成果指標（ＫＰＩ）を満たす３Ｄ再構築を生成するために適切なデータが収集されている保証はない。さらに、手動のデータ収集は、通常、大量のデータを収集することになる。上述のように、現在利用可能なシステムは、通常、人間のオペレータがドローンを手動で操縦して多数の画像（例えば、数千枚程度）をキャプチャし、次にそれを使用して資産の３Ｄモデルを構築する。このデータセット全体を再構築エンジンに送ると、計算コストが非常に高くなる可能性がある。さらに、焦点が合っていない、または十分な重なりがない画像が存在すると、再構築の質が低下する可能性がある。

【0004】

したがって、自動かつ適応的な方法で三次元ロボット現地調査を容易にするシステムおよび方法を提供することが望ましいであろう。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本明細書に記載の実施形態は、無人のロボット／車両が（例えば、資産タイプを与えら
れて）自律的に計画し、そのミッションを新しい情報に基づいてリアルタイム（「オンザフライ」）で更新／適応するシステムおよび方法を提供することにより、従来技術を改善する。

【0006】

様々な実施形態では、無人航空機システムは、最小限の人間の介入で３Ｄモデルを構築するための資産に関する多感覚データを自律的に収集することができる。システムは、タスクと資産のさまざまな制約を考慮したミッションプランを生成する（ジオフェンス、カメラパラメータ、資産寸法、資産タイプなど）。さまざまな制約を組み合わせて、適切な量のデータを収集して３Ｄ再構築の精度を最大化するミッションプランを構築する。さらに、システムは、２次元（２Ｄ）および三次元（３Ｄ）カメラによって感知した資産の局所的形状に基づいて、オンザフライで自動的に再計画できる。

【0007】

一部の従来のアプローチでは、資産の３Ｄ再構築に必要なデータは、通常、人間のオペレータが手動で操縦するドローンによって、または人間が携帯する感知システムによって収集される。例えば、ドローンは最初に手動で（例えば、人間のオペレータによって）または定義された経路を飛行してデータ／初期画像をキャプチャし、次にそれを使用して資産の３Ｄモデルをオフラインで構築する。機械学習などのオフライン分析を使用して、３Ｄ再構築エンジンに送る前にデータをクリーンアップできる。例えば、人間のオペレータによって収集された多数の画像は、感覚モデルとドメインモデルを使用した正確な３Ｄ再構築に必要なデータサンプルの最適な数（例えば、最小限、関連セット）に切り詰められる場合がある。しかしながら、これは、画像が確実に所望の品質であること、および所望の画像がキャプチャされたことの両方を保証するための、オペレータからの絶え間ないフィードバックを必要とする。

【0008】

従来のアプローチの制限の１つは、資産の３Ｄモデルの構築は計算コストのかかるプロセスであり、資産のサイズとタイプ、および収集される画像の数に大きく依存することである。資産のサイズとドローンの電力制限に応じて、モデルの構築操作は、完了するまでに数時間から数日といった具合に長時間かかる場合がある（例えば、典型的な大規模な産業用資産の場合）。さらに、これらの３Ｄ再構築エンジンは通常、それらエンジンが並列化できるクラウドサーバでより適切に実行される。しかし、産業資産の多くは、ネットワーク経由で大量の情報をアップロードすることが困難な地域にある。その結果、従来のシステムは通常、ミッションプランの再生成に使用できる資産の正確なモデルを構築するのに数日かかる。

【課題を解決するための手段】

【0009】

これらの問題を克服するために、本明細書の例では、オンライン感知を利用して、３Ｄ再構築用の局所的形状を最適にキャプチャする方法でミッションプランをオンザフライで更新する。有利なことに、以前に構築された３Ｄモデルへのアクセスは必要ない。これは、計画がオフラインで行われ、ドローンが開ループ方式でミッション飛行をする従来のソリューションとは異なる。

【0010】

様々な実施形態によれば、本システムは、（例えば、画像の重なりに関して）効率的な画像取得を達成し、資産に関して正しい対象領域を特定するような画像を取得するための適切な位置およびカメラ／視野角を自動的に計算する。さらに、画像センサからのデータをシステムにフィードバックして、画質を評価し、必要に応じて適切なアクションを実行できる。そのためドローンは、その位置とカメラの位置が追跡されている間、自律的にミッション飛行をすることができる。画像は計画された場所でのみキャプチャされ、ドローンの位置や向きなどの適切なメタデータが保存される。このようにして、必要な再構築の精度を満たしながら、最小限の数の画像が収集される。さらに、本システムでは、ロボットがそのプランをオンザフライで適応させ、局所的形状の感知に基づいて資産のパーツを
最適にキャプチャできる。

【0011】

３Ｄ再構築システムによって提供される技術的な利点には、最小限の画像で資産を正確に再構築することにつながる、資産を画像化するための最適な場所を自動的に決定できること、およびドローンがそのミッションを追跡し、局所的形状などの感知した情報に基づいて修正アクションを実行できることが含まれる。

【0012】

３Ｄ再構築システムによってもたらされる商業上の利点には、オペレータ（エンジニアなど）が適切な量と忠実度のデータ（例えば、必要な最小数の画像）をすばやく収集して、資産の高忠実度３Ｄモデルを作成できることが含まれる。３Ｄ再構築の従来の方法は、取得した画像の数に大きく依存する計算コストの高いプロセスである。画像をキャプチャする本方法は、モデルを構築するために必要な時間の削減につながり、その結果、実用的な情報が利用可能になるまでの時間を短縮する。さらに、正確な３Ｄモデルを構築することは、資産のパーツを測定するのに役立つだけでなく、資産の特定の場所に行って画像を収集するようにドローンに指示できる対象を絞った検査プランを作成できる。

【0013】

他の特徴および態様は、図面および特許請求の範囲と併せて解釈される以下の詳細な説明から明らかであろう。

【図面の簡単な説明】

【0014】

例示的な実施形態の特徴および利点、ならびにそれらが達成される方法は、以下に簡単に説明される添付の図面と併せて解釈される以下の詳細な説明を参照すると、より容易に明らかになるであろう。

【0015】

【図1】一部の実施形態によるロボットシステムを示す図である。

【図2】一部の実施形態による現地調査システムの概要を示す図である。

【図3】一部の実施形態による例示的なプロセスを示すブロックフロー図である。

【図4】一部の実施形態によるユーザインタフェースの外観図である。

【図5】一部の実施形態によるユーザインタフェースの外観図である。

【図6】一部の実施形態による、ローカルプランが資産の形状に基づいてどのように変化するかの例を示す図である。

【図7】一部の実施形態によるコンピューティングシステムのブロック図である。

【0016】

図面および詳細な説明全体を通して、他に説明がない限り、同じ図面参照番号は、同じ要素、特徴、および構造を指すと理解される。これらの要素の相対的なサイズと描写は、明確さ、説明、および／または便宜上、誇張または調整されている場合がある。

【発明を実施するための形態】

【0017】

以下の説明では、様々な例示的な実施形態の完全な理解を提供するために、特定の詳細が示されている。実施形態に対する様々な修正は当業者に容易に明らかとなり、本明細書で定義される一般的な原理は、本開示の精神および範囲から逸脱することなく、他の実施形態および用途に適用され得る。さらに、以下の説明では、説明の目的で多くの詳細が述べられている。しかしながら、当業者は、これらの特定の詳細を使用せずに実施形態を実施できることを理解するはずである。他の例では、不必要な詳細で説明を不明瞭にしないために、周知の構造およびプロセスは図示または説明されていない。したがって、本開示は、示される実施形態に限定されることを意図するものではなく、本明細書に開示される原理および特徴と一致する最も広い範囲が与えられるべきである。

【0018】

本明細書で説明する一部の実施形態は、無人ロボットにインテリジェントで自動化された環境感知およびモデリングを提供することに関する。そのような実施形態は、ビジネス
または企業エンティティ、政府、個人、非営利組織などを含むさまざまなエンティティに関連する産業資産を検査するなどのタスクを指示するために使用される場合に有用であり得る。本明細書で説明するように、そのような資産は、一般に個別であるか、範囲が限定されている（例えば、飛行機、ヘリコプター、船、潜水艦、宇宙ロケット、衛星、機関車など）か、または地理的に分散している（例えば、道路または線路、港または空港、パイプラインまたは電気インフラ、発電施設または製造プラントなど）。本明細書で説明する一部の実施形態は、ロボット仲介を使用して、手動、自律的、または半自律的な方法でこれらのタイプの資産（および列挙されていない他のもの）を検査するために使用され得る。

【0019】

図１は、一部の実施形態によるロボットシステム１００を示す。図１を参照すると、ロボットシステム１００は、資産１４０の周りの多感覚データを収集する無人ロボット１３０を含む。例えば、無人ロボット１３０は、ドローンなどの無人航空機（ＵＡＶ）、爬行ロボット、転動ロボット、歩行ロボット、自律型水中ビークル（ＡＵＶ）などを含むことができる。図１の例では、無人ロボット１３０は、再充電および保管のためのドッキングステーション１３２を含む。また、無人ロボット１３０は、コントローラ１２０および／または基地局１１０と通信することができる。例えば、コントローラ１２０および基地局１１０は、データ通信チャネルを介して無人ロボット１３０からデータを受信し、無人ロボット１３０にデータを送信することができる。また、一部の例では、基地局１１０は、データ通信チャネルを介して無人ロボット１１０にコマンドを送信するユーザ（例えば、エンジニア）から入力を受け取ることができる。通信チャネルは、例えば、衛星、セルラ、ローカルなどの無線であってもよく、および／または場合によっては有線であってもよい。例えば、ユーザは、資産寸法、資産タイプ、必要なデータ忠実度など、資産に関する特定の情報を入力でき、これらの情報は、さまざまなミッション制約に従うミッションプランを構築するために使用される。次に、ミッションは、ミッションを実行し、必要な画像（例えば、２Ｄおよび３Ｄの両方）を収集する無人航空機１３０に無線で送られる。これらの画像はメタデータとともに３Ｄ再構築システムに送られ、資産の正確な３Ｄモデルが構築される。

【0020】

資産１４０は、無人ロボット１３０によってアクセス可能な地理的位置に配置される構造であり得る。例えば、資産１４０は、海に配置された石油プラットフォーム、地表の下に配置されたタンクまたは井戸、地表に沿って配置されたパイプライン、橋、ダム、ガスフレア、タービン、動力グリッド、航空機、機関車などであってもよい。ミッションプランに基づいて、無人ロボット１３０は、資産１４０を検査（例えば、データを収集）しながら、資産１４０の周りを自律的に移動することができる。図１の例では、無人ロボット１３０は、資産１４０の周りを飛行できるドローンである。ドローンは、資産１４０の表面上の場所への着陸、空中での一時停止などをすることができる。本明細書で説明されるように、ドローン１３０は、飛行プランに含まれる仮想移動経路の３Ｄモデルに基づいて、資産１４０の周りの移動経路を飛行することができる。場合によっては、ドローン１３０は、ドッキングステーション１３２から飛行プランの開始点までの移動経路を提供する命令を受け取ることもできる。

【0021】

無人ロボット１３０は、センサデータを収集するために少なくとも１つのセンサを含み得ることに留意されたい。一部の実施形態によれば、センサは、例えば、カメラ（例えば、赤－緑－青（「ＲＧＢ」）カメラ）、ビデオカメラ、赤外線（「ＩＲ」）カメラ、マイク、化学検出器、光検出測距（「ＬＩＤＡＲ」）センサ、放射線検出器などに関連付けることができる。本明細書では一部の例を単一の検査装置またはロボットに関連して説明しているが、代わりに検査（例えば、現地調査）プランを、同時に情報を収集する複数の検査装置またはロボットに関連付けることができることに注意されたい。

【0022】

様々な実施形態によれば、無人ロボット１３０は、基地局１１０、コントローラ１２０から受信される、または無人ロボット１３０を介してローカルに入力される３Ｄ仮想ミッションプランに基づいて、資産１４０の複数の対象領域の検査を実行することができる。対象領域は、資産１４０全体の様々な分散した場所に配置され、資産１４０の所定の領域内にクラスタ化され、および／または同様のものであり得る。各対象領域には、資産上で検査される対象点、対象領域などの位置、カメラ（または他のセンサ）が対象領域の資産の表面に対して配置される角度、センサデータのキャプチャ中にドローンが移動すべき資産を中心とした旋回角度などが含まれる。

【0023】

図２は、一部の実施形態による現地調査システムの概要を示す図である。このシステムは、オペレータ（例えば、ユーザ、技術者、エンジニアなど）によって提供される資産固有の制約２１０および現地調査の制約２２０を使用して、２３０で現地調査プラン（例えば、ミッション）を生成する。その後、プランはＵＡＶ（ドローンなど）によって実行され、局所的形状を最適化するために２４０でオンザフライで更新される。必要な二次元（２Ｄ）および三次元（３Ｄ）画像が収集されると、２５０で３Ｄ再構築エンジンに渡され、資産のテクスチャ、メトリック、３Ｄモデルが生成される。

【0024】

次に、一緒に説明する図３から図６を参照する。図３は、一部の実施形態による例示的なプロセス３００を示すブロックフロー図である。例えば、プロセス３００は、本明細書で説明されるソフトウェアおよび／またはシステムによって実行され得る。プロセス３００は、資産の正確な３Ｄモデルを構築するための構造を提供する。

【0025】

図４は、一部の実施形態によるユーザインタフェース４００の外観図である。図５は、一部の実施形態によるユーザインタフェース５００の外観図である。

【0026】

図６は、資産の一部のローカル／初期プランが、ドローン上の２Ｄおよび３Ｄセンサによって決定され得る資産の形状に基づいてどのように変化するかの概要を示す図である。

【0027】

図３を参照すると、現地調査プランおよび実行システムは、現地調査ユーザインタフェース（ＵＩ）３１０、ミッションプランナ３２０、飛行プランナ３３０、ミッションエグゼキュータ３４０、および知覚エンジン３５０を含む。

【0028】

現地調査プランを生成するために、ユーザインタフェース（アプリケーションや他のソフトウェアなど）が提供されてもよく、基地局、タブレット、または他のコンピュータなどのユーザデバイスを介して対話されてもよく、それにより検査官またはオペレータといったユーザは、検査現場に関する資産固有および現地調査の制約を入力できる。ここで、現地調査ＵＩ３１０は、システムのユーザが制約（例えば、現地およびミッション固有の制約）を入力するための手段を提供する。例えば、図４に示すように、ユーザは、ドロップダウンメニュー４０２またはミッションプランナ３２０に送信するための同様のユーザインタフェース機能から、パラメータ値（例えば、現地およびミッション固有の制約）を選択することができる。

【0029】

一部の実施形態では、制約は、資産制約（例えば、資産タイプ、資産寸法など）、三次元再構築制約（例えば、地上サンプリング距離（ＧＳＤ）、画像の重なり、焦点距離やセンササイズなどのカメラパラメータ）、望ましい解像度（ピクセル／インチ）および／または特定のサイズの亀裂などの最小の解決可能な機能）、およびミッションの制約（例えば、ロボットの資産からの最小の安全／バックオフ距離、ジオフェンス制約など）を含み得る。

【0030】

入力操作４０２の結果として、ユーザインタフェース４００は、ジオフェンス制約４０
４および４０６を提示されてもよく、これは、１つまたは複数の対象領域および／または対象でない領域を指定する仮想境界を概説するものである。例えば、飛行プランは、範囲／立方体領域４０４内のいかなる領域も含むべきではなく、境界４０６を超えてはならない。

【0031】

ミッションプランナ３２０は、システムの制約を使用して、必要な画像品質とカバレッジを保証するために資産の最適なカバレッジを提供するミッションプランを計算する。ミッションプランナ３２０が資産の三次元モデルにアクセスすることなくミッションプランが生成されるので、代表的な資産タイプの情報がプランを生成するために使用される。代表的な資産５０２は、プリミティブ形状およびパラメータ（例えば、円筒形資産、長方形資産、水平資産など）によって表現される。代表的な資産の範囲（例えば、検査のための領域）は、ユーザインタフェース４００を介して入力された情報によって、またはユーザの観察および判断によって決定され得る。この包括的な形状情報は、制約が与えられた資産を最も適切にカバーするミッションプランを生成するために使用される。

【0032】

移動経路環境の非限定的な例が、ユーザインタフェース５００のスクリーンショットを介して図５に示されている。図５は、代表的な長方形の資産に対して生成されたミッションプランおよび飛行プランの例を示す。ジオフェンス境界４０４、４０６は、ドローンが侵害できない除外ゾーンを示している。生成されたミッションプランには、資産５０２に関するカメラの場所／位置および向きのリストが含まれる。この例では、矢印５０５は、ミッションプランナ３２０から返されたウェイポイントを示している。矢印５０５の位置はカメラの位置を示し、矢印の向きはカメラの向き（例えば、ドローン上の１つまたは複数のセンサの視点または視野角）を示している。線５１５は、生成された飛行プラン／経路（例えば、ドローン飛行検査プラン）を示している。

【0033】

各移動経路（例えば、飛行経路）は、実空間における一連の移動経路およびウェイポイントに対応し得る。例えば、一連の移動経路（例えば、飛行経路上の対象領域）は、仮想空間内で移動経路５１５の仮想的に選択された開始点５１０と仮想的に選択された終了点５２０との間の実線５１５によって接続され得る。移動経路５１５の線は、仮想空間内のＸ、Ｙ、およびＺ座標軸のそれぞれにおいて全体的に変化しながら連続的に移動することができ、それにより、非常に正確なロボットの連続的な三次元運動をシミュレートする。さらに、移動経路５１５は、資産５０２の周りを１回または複数回周り、同時に、本明細書で説明するシステムによって生成される連続線に沿ってＸ、Ｙ、およびＺ座標軸のそれぞれで変化する。

【0034】

仮想空間内の移動経路５１５は、例えば、飛行プランアプリケーションによって、物理的空間（例えば、現実世界）内の物理的移動経路と位置合わせされ得る。実空間のウェイポイントは仮想空間の対象領域に対応し、ロボットがデータと写真をキャプチャするポイントである。例えば、ビデオおよび静止画像に加えて、キャプチャされるデータは、様々な資産パーツ、資産サブ領域などの熱画像、紫外線画像、化学物質濃度のスニッフィングなどを含み得る。経路計画は、例えばＲＧＢカメラとＩＲカメラを別々に使用して、複数のパスで実行できる。さらに、現地調査プランを検査現場で調整して、特定の対象点に焦点を合わせることができる。例えば、ＩＲカメラパスは、ＲＧＢカメラを使用してさらなる現地調査のために設定されたホットスポットを検出する場合がある。

【0035】

インタフェース４００、５００は、任意のタイプのクライアント（例えば、デスクトップシステム、スマートフォン、タブレットコンピュータ）によって提供される任意のタイプのディスプレイ装置（例えば、デスクトップモニタ、スマートフォンディスプレイ、タブレットディスプレイ）上に提示され得る。インタフェース４００、５００を提供するために実行されるアプリケーションは、ウェブブラウザ、スタンドアロンアプリケーション
、または任意の他のアプリケーションを含み得る。実施形態は、インタフェース４００、５００に限定されず、任意の特定のタイプ、フォーマット、または機能を有するユーザインタフェースを含み得る。

【0036】

次に、ミッションプラン情報が飛行プランナ３３０に提供される。飛行プランナ３３０は、環境／現地、ドローン、およびタスク制約などを含む１つまたは複数の所定の基準が与えられると、ドローンが実行できる実現可能な飛行プランを計算する。環境／現地の制約には、安全上の理由からドローンが飛行することを許可されない除外ゾーンが含まれる。ドローンの制約には、ドローンの位置とジンバルの制限に関する情報が含まれる。タスクの制約は、あるウェイポイントから次のウェイポイントへの最短経路（最小距離／時間など）を見つけることから、消費されるエネルギー量が最小の経路までなど、さまざまである。重力に逆らうと最大の電力を消費する可能性があるため、場合によっては、消費されるエネルギーの最小量には、無人ロボットが必要とする上昇の最小量が含まれることがある。飛行プランナ３３０は、上記の制約すべてを満たす最適な経路を見つけて、さまざまなウェイポイントを接続する飛行軌道／プランを生成する。

【0037】

次に、飛行プラン情報は、ミッションエグゼキュータ３４０に提供される。ミッション実行モジュール３４０は、飛行プランナ３３０から飛行プランを受け取り、各ウェイポイントへのサブプラン（例えば、ローカルプラン）を実行する。ミッションエグゼキュータは、ロボットの状態（ドローンの状態、ペイロードの状態など）も監視し、それに応じてアクションを実行する。例えば、ドローンが風の強い状況で飛行していて、ドローンがその軌道から外れている場合、ミッションエグゼキュータはドローンに制御コマンドを提供してドローンを必要な軌道に戻すか、必要に応じて実行を中止する。ドローンが目標のウェイポイントに到達すると、ミッションエグゼキュータはジンバルの向きを調整し、必要な画像をキャプチャする。

【0038】

図６を参照すると、上述のように、生成されたミッションプラン６１５は、資産が特定の代表的な形状６１０に類似しているという仮定に基づいている。しかしながら、図６に示されるように、実際には、資産の実際の形状６２０は、多数の局所的な変動を有する可能性がある。知覚エンジン３５０は、資産の局所的形状６２５を推測し、それに応じてミッションプランを適合させる方法を提供する。知覚エンジンは、２ＤカメラおよびＬＩＤＡＲシステムからの情報を使用して、ウェイポイントにおける資産６２０の局所的形状６２５（例えば、ローカル領域の制約）を計算する。この情報は、ミッションプランを変更するために使用される。ミッションを変更する一部の方法には、画像をキャプチャするカメラの向きを変更すること、局所的形状を最もよくキャプチャするウェイポイントの近くにウェイポイントを追加すること、追加情報に基づいて局所的に近くにあるすでに計画されているウェイポイントを変更することが含まれる。

【0039】

図７は、一部の実施形態による、資産の３Ｄモデルを構築するための現地調査（例えば、データ収集）プランを生成するためのコンピューティングシステム７００を示す図である。例えば、コンピューティングシステム７００は、ロボットと通信し、有線または無線接続を介してロボットを制御するデバイスまたはデバイスのグループであり得る。図７を参照すると、コンピューティングシステム７００は、ネットワークインタフェース７１０、プロセッサ７２０、ディスプレイ７３０、出力７４０、およびストレージ７５０を含む。図７には示されていないが、ロボットシステム７００は、入力ユニット、１つまたは複数のストレージデバイスなどの他の構成要素を含むことができる。ネットワークインタフェース７１０は、衛星ネットワーク、セルラネットワーク、ローカルネットワークなどを介して、インターネット、プライベートネットワーク、パブリックネットワークなどのネットワークを介してデータを送信および受信するデータ通信インタフェースであり得る。

【0040】

プロセッサ７２０は、それぞれが１つまたは複数の処理コアを含む１つまたは複数の処理デバイスを含むことができる。一部の例では、プロセッサ７２０は、マルチコアプロセッサまたは複数のマルチコアプロセッサである。また、プロセッサ７２０は、確定的なものであってもよく、または再構築可能であってもよい。様々な実施形態によれば、プロセッサ７２０は、無人ロボットによる実行のための現地調査プランを表示するように構成されたユーザインタフェースを含む現地調査計画アプリケーションを実行することができる。画像を収集するための複数の資産固有のおよび現地調査の制約の選択を、ユーザインタフェースは受け取り、プロセッサ７２０は検出することができる。

【0041】

ストレージ７５０は、ロボットの移動経路および検査される資産の対象領域を含む現地調査プランを格納することができる。ストレージ７５０はまた、コンピューティングシステム７００が現地調査プロセスを実行する間にキャプチャされたデータを保存することができる。例示的な実施形態では、画像は計画された場所で取り込まれ、ドローンの位置および向きなどのメタデータは、システム７００に関連付けられたストレージ７５０に保存される。ストレージデバイス７５０は、特定のストレージデバイスに限定されず、ＲＡＭ、ＲＯＭ、ハードディスクなどのような任意の既知のメモリデバイスを含むことができる。出力７４０は、資産について生成された無人ロボットの移動経路を含む現地調査プランを、ディスプレイ、または無人ロボット自体および／または制御デバイスなどの別のデバイスまたはシステムに出力することができる。

【0042】

ディスプレイ７３０は、システム７００の埋め込みディスプレイまたはシステム７００に外部接続された別のデバイスなどを介して、ユーザインタフェースおよび他のデータを表示することができる。出力７４０は、ユーザインタフェースおよび他のデータをディスプレイ７３０に出力することができる。

【0043】

本明細書の例は、大部分が陸上の資産に関して提供されているが、実施形態は、水中資産を検査するための水中ドローンに組み込むことができることを理解されたい。この状況では、仮想的に作成された３Ｄ移動経路は同じ方法で作成されるが、移動経路は、空中を通過する代わりに、水、または油などその他の液体ベースの環境を通過する。

【0044】

前述の明細に基づいて理解されるように、本開示の上記の例は、コンピュータソフトウェア、ファームウェア、ハードウェア、またはそれらの任意の組み合わせもしくはサブセットを含むコンピュータプログラミングまたはエンジニアリング技術を使用して実装され得る。コンピュータ可読コードを有するそのような結果として生じるプログラムは、１つまたは複数の非一時的なコンピュータ可読媒体内で具体化または提供され、それにより、本開示の説明された例に従って、コンピュータプログラム製品、すなわち製品を作ることができる。例えば、非一時的なコンピュータ可読媒体は、固定ドライブ、ディスケット、光ディスク、磁気テープ、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）などの半導体メモリ、および／またはインターネット、クラウドストレージ、モノのインターネット、その他の通信ネットワークまたはリンクなどの送受信メディアであり得るが、これらに限定されない。コンピュータコードを含む製品は、１つの媒体から直接コードを実行することにより、ある媒体から別の媒体にコードをコピーすることにより、またはネットワークを介してコードを送信することにより製造および／または使用され得る。

【0045】

コンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、「アプリ」、またはコードとも呼ばれる）は、プログラマブルプロセッサの機械命令を含むことができ、高水準の手続き型および／またはオブジェクト指向のプログラミング言語および／またはアセンブリ／機械語で実装することができる。本明細書で使用される場合、「機械可読媒体」および「コンピュータ可読媒体」という用語は、任意のコンピュータプログラム製品、装置、クラウドストレージ、モノのインターネット、および／または
機械命令および／またはデータを、機械命令を機械可読信号として受信する機械可読媒体を含むプログラマブルプロセッサに提供するために使用されるデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指す。しかしながら、「機械可読媒体」および「コンピュータ可読媒体」は、一時的な信号を含まない。「機械可読信号」という用語は、プログラム可能なプロセッサに機械命令および／または任意の他の種類のデータを提供するために使用できる任意の信号を指す。

【0046】

本明細書におけるプロセスの上記の説明および図解は、プロセスステップを実行するための固定された順序を意味すると見なされるべきではない。むしろ、プロセスステップは、少なくともいくつかのステップの同時実行を含む、実行可能な任意の順序で実行されてもよい。本開示を特定の例に関連して説明してきたが、当業者に明らかな様々な変更、置換、および改変が、開示された実施形態に対して、添付の特許請求の範囲に記載されている本開示の趣旨および範囲から逸脱することなく行われ得ることを理解されたい。

【0047】

本発明のさらなる態様は、以下の項の主題によって提供される。

【0048】

［項１］
資産の三次元モデルを生成するシステムであって、
命令を格納するメモリ、および
前記命令を実行するように構成されたプロセッサを含み、ここで前記実行された命令は、前記プロセッサに、
資産の周りで無人車両を操作するためのミッションプランの制約に対応する入力パラメータを受け取る動作、
前記資産を表す資産タイプの情報を含む前記入力パラメータに基づいて前記ミッションプランを生成することであって、前記ミッションプランは、前記無人車両の１つまたは複数の画像センサの位置および向きを識別するウェイポイントを含む、動作、
１つまたは複数の事前定義された基準を満たす前記ウェイポイントを接続する前記無人車両の飛行経路を生成する動作、
各ウェイポイントで、前記１つまたは複数の画像センサによって感知した前記資産の局所的形状を決定する動作、
前記局所的形状に基づいてオンザフライで前記ミッションプランを変更する動作、および
前記変更されたミッションプランのウェイポイントに沿って前記資産の画像をキャプチャする動作を行わせる、システム。

【0049】

［項２］
前記プロセッサは、１つのウェイポイントから次のウェイポイントへの前記飛行経路の実行中に前記無人車両の車両状態を監視するようにさらに構成される、任意の前項に記載のシステム。

【0050】

［項３］
前記入力パラメータは、資産制約、三次元再構築制約、およびミッション制約のうちの少なくとも１つを含む、任意の前項に記載のシステム。

【0051】

［項４］
前記入力パラメータは、ジオフェンス、カメラパラメータ、および資産寸法のうちの少なくとも１つを含む、任意の前項に記載のシステム。

【0052】

［項５］
前記１つまたは複数の画像センサは、（ｉ）カメラ、（ｉｉ）ビデオカメラ、（ｉｉｉ）赤外線カメラ、（ｉｖ）マイク、（ｖ）化学検出器、（ｖｉ）光検出測距（「ＬＩＤＡＲ」）センサ、および（ｖｉｉ）放射線検出器のうちの少なくとも１つに関連付けられる、任意の前項に記載のシステム。

【0053】

［項６］
前記資産タイプは、プリミティブ形状およびパラメータに関して表現される、任意の前項に記載のシステム。

【0054】

［項７］
前記ミッションプランを変更することは、前記１つまたは複数の画像センサの前記向きを変更すること、ウェイポイントを追加すること、および前記ウェイポイントを変更することのうちの少なくとも１つを含む、任意の前項に記載のシステム。

【0055】

［項８］
前記１つまたは複数の事前定義された基準は、環境制約、車両制約、およびタスク制約を含む、任意の前項に記載のシステム。

【0056】

［項９］
資産の三次元モデルを生成する方法であって、
資産の周りで無人車両を操作するためのミッションプランの制約に対応する入力パラメータを受け取るステップ、
前記資産を表す資産タイプの情報を含む前記入力パラメータに基づいて前記ミッションプランを生成するステップであって、前記ミッションプランは、前記無人車両の１つまた
は複数の画像センサの位置および向きを識別するウェイポイントを含む、ステップ、
１つまたは複数の事前定義された基準を満たす前記ウェイポイントを接続する前記無人車両の飛行経路を生成するステップ、
あるウェイポイントから次のウェイポイントへの前記飛行経路の実行中に前記無人車両の車両状態を監視するステップ、
各ウェイポイントで、前記１つまたは複数の画像センサによって感知した前記資産の局所的形状を決定するステップ、
前記局所的形状に基づいてオンザフライで前記ミッションプランを変更するステップ、および
前記変更されたミッションプランのウェイポイントに沿って前記資産の画像をキャプチャするステップを含む、方法。

【0057】

［項１０］
１つのウェイポイントから次のウェイポイントへの前記飛行経路の実行中に前記無人車両の車両状態を監視するステップをさらに含む、任意の前項に記載の方法。

【0058】

［項１１］
前記入力パラメータは、資産制約、三次元再構築制約、およびミッション制約のうちの少なくとも１つを含む、任意の前項に記載の方法。

【0059】

［項１２］
前記入力パラメータは、ジオフェンス、カメラパラメータ、および資産寸法のうちの少なくとも１つを含む、任意の前項に記載の方法。

【0060】

［項１３］
前記１つまたは複数の画像センサは、（ｉ）カメラ、（ｉｉ）ビデオカメラ、（ｉｉｉ）赤外線カメラ、（ｉｖ）マイク、（ｖ）化学検出器、（ｖｉ）光検出測距（「ＬＩＤＡＲ」）センサ、および（ｖｉｉ）放射線検出器のうちの少なくとも１つに関連付けられる、任意の前項に記載の方法。

【0061】

［項１４］
前記資産タイプは、プリミティブ形状およびパラメータに関して表現される、任意の前項に記載の方法。

【0062】

［項１５］
前記ミッションプランを変更するステップは、前記１つまたは複数の画像センサの前記向きを変更するステップ、ウェイポイントを追加するステップ、および前記ウェイポイントを変更するステップのうちの少なくとも１つを含む、任意の前項に記載の方法。

【0063】

［項１６］
前記１つまたは複数の事前定義された基準は、環境制約、車両制約、およびタスク制約を含む、任意の前項に記載の方法。

【0064】

［項１７］
実行時にコンピュータに資産の三次元モデルを生成する方法を実行させる命令を格納した非一時的なコンピュータ可読媒体であって、前記方法は、
資産の周りで無人車両を操作するためのミッションプランの制約に対応する入力パラメータを受け取るステップ、
前記資産を表す資産タイプの情報を含む前記入力パラメータに基づいて前記ミッションプランを生成するステップであって、前記ミッションプランは、前記無人車両の１つまたは複数の画像センサの位置および向きを識別するウェイポイントを含む、ステップ、
１つまたは複数の事前定義された基準を満たす前記ウェイポイントを接続する前記無人車両の飛行経路を生成するステップ、
あるウェイポイントから次のウェイポイントへの前記飛行経路の実行中に前記無人車両の車両状態を監視するステップ、
各ウェイポイントで、前記１つまたは複数の画像センサによって感知した前記資産の局所的形状を決定するステップ、
前記局所的形状に基づいてオンザフライで前記ミッションプランを変更するステップ、
および
前記変更されたミッションプランのウェイポイントに沿って前記資産の画像をキャプチャするステップを含む、非一時的なコンピュータ可読媒体。

【0065】

［項１８］
前記方法は、１つのウェイポイントから次のウェイポイントへの前記飛行経路の実行中に前記無人車両の車両状態を監視するステップをさらに含む、任意の前項に記載の非一時的なコンピュータ可読媒体。

【0066】

［項１９］
前記入力パラメータは、資産制約、三次元再構築制約、およびミッション制約のうちの少なくとも１つを含む、任意の前項に記載の非一時的なコンピュータ可読媒体。

【0067】

［項２０］
前記１つまたは複数の事前定義された基準は、環境制約、車両制約、およびタスク制約を含む、任意の前項に記載の非一時的なコンピュータ可読媒体。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】