特表2024-536701ニューラルネットワーク案内型パッシブセンサードローン検査システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-08
(54)【発明の名称】ニューラルネットワーク案内型パッシブセンサードローン検査システム
(51)【国際特許分類】
G01C 21/20 20060101AFI20241001BHJP
B64U 10/13 20230101ALI20241001BHJP
B64U 20/87 20230101ALI20241001BHJP
G08G 5/04 20060101ALI20241001BHJP
G06N 3/02 20060101ALI20241001BHJP
B64U 101/26 20230101ALN20241001BHJP
【ＦＩ】
G01C21/20
B64U10/13
B64U20/87
G08G5/04 A
G06N3/02
B64U101:26
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024513113
(86)(22)【出願日】2022-08-26
(85)【翻訳文提出日】2024-04-19
(86)【国際出願番号】 US2022041657
(87)【国際公開番号】W WO2023028302
(87)【国際公開日】2023-03-02
(31)【優先権主張番号】63/237,188
(32)【優先日】2021-08-26
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＵＮＩＸ
２．Ｌｉｎｕｘ
３．ＡＮＤＲＯＩＤ
４．ＰＹＴＨＯＮ
５．ＪＡＶＡ
(71)【出願人】
【識別番号】523055293
【氏名又は名称】ドロボティクス， エルエルシー
(74)【代理人】
【識別番号】110001173
【氏名又は名称】弁理士法人川口國際特許事務所
(72)【発明者】
【氏名】シュタイン，エーヤル
【テーマコード（参考）】
2F129
5H181
【Ｆターム（参考）】
2F129AA11
2F129BB03
2F129BB33
2F129BB62
2F129CC15
2F129CC35
2F129DD20
2F129DD53
2F129EE52
2F129EE95
2F129FF02
2F129FF20
2F129FF32
2F129FF72
2F129FF73
2F129GG17
5H181AA26
5H181BB04
5H181BB05
5H181BB20
5H181CC04
5H181FF04
5H181FF05
5H181FF07
5H181FF14
(57)【要約】
構造体上の様々なロケーションに配設されたセンサーのアレイを有する構造体についての構造状態データを収集するためのドローンシステム、およびそのようなドローンシステムを使用する方法が本明細書で開示される。ドローン検査システムは、ニューラルネットワークを活用して、パッシブセンサーのロケーションを分類するためにドローン飛行経路を算出し、および、デジタルツイン生成のために見通し線センサーを使用して構造体についての構造状態データを収集するようにドローン飛行経路を算出する。構造体上に配設されたセンサーのうちのいくつかは、エネルギーハーベスタを備えるパッシブセンサーであり得、構造収集データをドローンに報告するためにエネルギーを与えられなければならない。ドローン検査システムは、エネルギーハーベスタを介してパッシブセンサーにエネルギーを与えるためのエネルギー伝達モジュールを備え得る。
【特許請求の範囲】
【請求項1】
構造体上の様々なロケーションにおいてパッシブセンサーのアレイを有する構造体の構造状態データを収集するためのシステムであって、各パッシブセンサーがエネルギーハーベスタによってエネルギーを与えられ、システムは、オンボードニューラル計算エンジンと、
エネルギーを与えられたときに、エネルギーハーベスタがパッシブセンサーにエネルギーを与えるように、エネルギーハーベスタにエネルギーを与えるようにターゲット設定可能なエネルギー伝達モジュールと、
エネルギーを与えられたセンサーからのデータを受信するための通信デバイスと
を有するドローン
を備え、
ニューラル計算エンジンが、障害回避のために、およびエネルギー伝達モジュールとセンサーのエネルギーハーベスタとの間の見通し線を識別するために構成される、システム。
【請求項2】
慣性ナビゲーションユニットとＧＰＳ受信機とを含む飛行制御モジュールをさらに備え、飛行制御モジュールが、ドローンを構造体または任意の障害に対して安全な位置に配置する、エネルギー伝達モジュールとセンサーエネルギーハーベスタとの間の最小見通し線距離を識別し、計算するように構成される、請求項１に記載のシステム。
【請求項3】
ニューラル計算エンジンが、初期重みファイルと構成ファイルとに従ってパッシブセンサーのロケーションを決定するように構成される、請求項１に記載のシステム。
【請求項4】
ニューラル計算エンジンが、ドローンを操作してエネルギー伝達モジュールとパッシブセンサーのセンサーエネルギーハーベスタとの間の見通し線を得るために、構造体の周りの飛行経路を決定し、修正するように構成される、請求項１に記載のシステム。
【請求項5】
ドローンが、リモートニューラル計算エンジンとの通信のために構成されるアジャイルトランシーバアレイをさらに備え、オンボードニューラル計算エンジンが、センサーエネルギーハーベスタの位置を特定するための新しい重みファイルと構成ファイルとを受信するように構成され、オンボードニューラル計算エンジンが、リモートニューラル計算エンジンにデータを送信し、リモートニューラル計算エンジンからデータを受信して分類を支援するために、アジャイルトランシーバアレイを使用するように構成される、請求項１に記載のシステム。
【請求項6】
リモートニューラル計算エンジンが、エネルギーハーベスタとの安全な見通し線に到達するためにドローン経路を決定することを支援する、請求項５に記載のシステム。
【請求項7】
リモートニューラルネットワークエンジンがクラウドベースのニューラルネットワークエンジンである、請求項５に記載のシステム。
【請求項8】
エネルギー伝達モジュールがＲＦベースである、請求項１に記載のシステム。
【請求項9】
エネルギー伝達モジュールがレーザーベースである、請求項１に記載のシステム。
【請求項10】
ドローンをリモートニューラル計算エンジンに接続し、センサーエネルギーハーベスタロケーションまたは分類を中継することによってドローンを支援するために、ドローンアジャイルトランシーバアレイと通信しているＨＡＰＳをさらに備える、請求項１に記載のシステム。
【請求項11】
飛行制御モジュールおよびニューラル計算エンジンが、ドローンを構造体から約１５から３０フィートの距離に安全に導くことが可能である、請求項１に記載のシステム。
【請求項12】
ＧＰＳ受信機が、パッシブセンサー間でドローンをナビゲートするように構成され、ニューラル計算エンジンが、パッシブセンサーと、ドローンに対するパッシブセンサーの位置とを分類して、エネルギー伝達モジュールとセンサーエネルギーハーベスタとの間の安全な見通し線を識別するように構成される、請求項２に記載のシステム。
【請求項13】
ＧＰＳ受信機が、構造体の周りでドローンをナビゲートして、複数のパッシブセンサーからのデータを収集するように構成され、ニューラル計算エンジンが、障害回避においてドローンを支援するように構成される、請求項２に記載のシステム。
【請求項14】
エネルギー伝達モジュールが、トグルオンおよびトグルオフするように構成される、請求項１に記載のシステム。
【請求項15】
エネルギー伝達モジュールは、ドローンが安全な位置にあり、エネルギー伝達モジュールがセンサーハーベスタへの見通し線を確立することが可能になった後にトグルオンされ、エネルギー伝達モジュールは、センサーデータを受信した後にトグルオフされる、請求項１４に記載のシステム。
【請求項16】
ＧＰＳ受信機が、少なくとも１マイル離れている、エネルギーハーベスタを有するパッシブセンサー間でドローンをナビゲートするように構成される、請求項２に記載のシステム。
【請求項17】
ドローンが、センサーハーベスタにおいて、エネルギー伝達モジュールをターゲット設定するように構成されるペイロード案内システムをさらに備える、請求項１に記載のシステム。
【請求項18】
エネルギー伝達モジュールが、エネルギーを与えられたときに、エネルギーハーベスタが複数のパッシブセンサーにエネルギーを与えるように、エネルギーハーベスタにエネルギーを与えるようにターゲット設定可能である、請求項１に記載のシステム。
【請求項19】
ドローンエネルギー伝達モジュールが、単一のエネルギーハーベスタによってエネルギーを与えられた複数のパッシブセンサーからのデータを収集するように構成される、請求項１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示はドローン検査システムを対象とする。特に、本開示は、表面に取り付けられたセンサー、または他の様式で構造体またはアセットに組み込まれたセンサーを用いて、構造体または他の大規模アセットを検査するためのニューラルネットワーク案内型ドローン検査システムに関する。
【背景技術】
【0002】
無人航空機（ＵＡＶ）、無人空中システム（ＵＡＳ）、またはリモートでパイロットされる航空機としても知られるドローンは、人間のパイロットが搭乗しない飛行体である。その経路は、オンボードコンピュータによって自律的に制御されるか、または地上のもしくは別のヴィークル中のパイロットのリモート制御によって制御されるかのいずれかである。ドローンは、それらの広範で多様な商業的可能性の認識が増加するにつれて数が急増した。
【0003】
ドローンは、（たとえば、無線塔、クレーン、建築物、彫像など）または他の大規模な永続的または半永続的アセットを検査して、構造体またはアセットの様相を決定するために頻繁に使用される。（冗長性を回避するために、本開示全体にわたって「構造体」を使用するが、「構造体」は任意の種類の大規模な構造体、アセット、または検査されるモノを包含することが理解されよう。構造体は、一般にモニタリングおよび保守を時々行う必要があり、モニタリングおよび保守は、そのような構造体は非常に大きいか、非常に高いか、または非常に遠くにあるかのいずれかであるので、直接的な人間のモニタリングが困難であり得る。そのような構造体のいくつかの非限定的な例は、携帯電話用鉄塔、無線塔、橋、石油掘削装置、オフショアプラットフォーム、パイプライン、風力タービン、電柱または電気設備、精練所、リモート地上貯蔵タンクなどを含む。）たとえば、構造体は、接合部の腐食または割れまたは応力を識別するために検査され得る。これらのドローン検査システムは、ドローンが検査しようとする構造体または構造体の周りにドローンを導くために、たとえば、ナビゲーションのためのＧＰＳウェイポイント（ｗａｙｐｏｉｎｔ）を使用する、全地球測位システム（ＧＰＳ）ナビゲーション機能を利用し得る。ドローンは、しばしば、事前プログラムされた飛行経路をたどり、事前プログラムされた飛行経路は、構造体の構成に基づいて、構造検査を実行する前にドローンオペレータによって作成されるか、またはドローン上のコンピュータプロセッサによって作成されるか、またはドローンからリモートで作成されるかのいずれかである。ドローンシステムは、動作環境をモニターし、検査される構造体への経路をたどり、検査を行うために、（１つ以上のカメラ、無線周波数（ＲＦ）センサーなどを含む）様々なオンボードセンサーを利用し得る。
【0004】
これらのセンサーの存在にもかかわらず、ドローンは、飛行経路における計画外の変更に反応するために（たとえば、予想外の障害を回避するために、または衝突回避操作を行うために）、またはウェイポイントの正確性に影響を及ぼすことがあるＧＰＳドリフトに適応するために、これらのセンサーによって提供されるデータを使用するように用意されていないことがある。ＧＰＳドリフトは、事前プログラムされた飛行経路がＧＰＳドリフトベクトル較正および補正に対処することができないときに起こる。たとえば、オペレータまたはプロセッサが、そのような補正がない場合のウェイポイントをもつ飛行計画を規定するとき、ナビゲーションシステムにより、ドローンがコースから外れることがある：小さな逸脱でさえ、当該の構造体の全部または一部を事前プログラムされた飛行経路から、したがって、オンボードセンサーの視界から外し得る。従来のドローンはまた、動作環境中の異常または予想外の状態に反応することができないことがある。ドローンは、たとえば、センサーの読み取り値が、プリセットされたトリガしきい値を下回ると、情報を収集することを中止し得、または、ドローンが、コースから外れ、ターゲットに実際に到達する前にセンサーデータを記録し始めると、データを過剰収集し得る。
【0005】
いくつかのドローン検査システムでは、ドローンはドローンの見通し線内でオペレータによって制御される。これには、各検査の現場の人員の存在、ならびにドローンの飛行への細心の持続的な注意が必要とされる。ドローンは、検査を必要とする構造体の各領域にぴったりと接近しなければならないが、これらの領域は、データが最初に収集され、検査が実際に開始するまで、十分に知られていないことがある。ドローンはまた、風および天候状態にかかわらず、構造体からの安全な距離を維持し、接近の際に障害を避けて通らなければならない。ドローンを安全に効率的に動作させるタスクは、多数の構造体を含む（発電所など）大型設備を検査するときに特に難しくなり得る。
【0006】
さらに、ドローンは、ドローンが「見る」ことができるもののみ、すなわち、ドローンの装着センサーの見通し線内にあるモノのみを検査することができる。（この意味における「見る」は、ドローンの所与の位置からの仮説上の見通し線内を意味し、光センサーに限定されないが、光センサーと非光センサーの両方、たとえば、ＲＧＢカメラ、熱センサー、マルチスペクトルセンサーなどを含み得る）。ドローンの装着センサーの見通し線内にないパネルの裏側（この場合、塗装被覆または断熱材の下）に腐食がある場合、ドローンセンサーはこの情報を見逃す。
【0007】
したがって、当該技術において、パッシブセンサーを有する構造体を検査するためのニューラルネットワーク案内型ドローン検査システムが依然として必要である。また、当該技術において、パッシブセンサーを識別し、そのようなセンサーにエネルギーを与えて（ｅｎｅｒｇｉｚｅ）、それらからのデータを収集することが可能なニューラルネットワーク案内型ドローン検査システムが依然として必要である。
【先行技術文献】
【特許文献】
【0008】
【特許文献1】米国特許出願公開第２０２２／００５５７４９号明細書
【特許文献2】米国特許出願公開第２０２２／００５８９６０号明細書
【特許文献3】米国特許第１０，６１８，６５４号明細書
【特許文献4】米国特許第１０，５８６，４６２号明細書
【発明の概要】
【課題を解決するための手段】
【0009】
いくつかの点において、本開示は、構造体上の様々なロケーションにおいてパッシブセンサーのアレイを有する構造体の構造状態データを収集するためのシステムであって、各パッシブセンサーがエネルギーハーベスタ（ｅｎｅｒｇｙ ｈａｒｖｅｓｔｅｒ）によってエネルギーを与えられ、システムは、オンボードニューラル計算エンジンと；エネルギーを与えられたときに、エネルギーハーベスタがパッシブセンサーにエネルギーを与えるように、エネルギーハーベスタにエネルギーを与えるようにターゲット設定可能なエネルギー伝達モジュールと；エネルギーを与えられたセンサーからのデータを受信するための通信デバイスとを有するドローンを含み、ニューラル計算エンジンが、障害回避のために、およびエネルギー伝達モジュールとセンサーのエネルギーハーベスタとの間の見通し線を識別するために構成される、システムに関する。
【0010】
本発明の他の態様について、発明を実施するための形態および特許請求の範囲に関してさらに説明する。
【図面の簡単な説明】
【0011】
【発明を実施するための形態】
【0012】
本発明は、構造体上の様々なロケーションに配設されたセンサーのアレイを有する構造体についての構造状態データを収集するためのドローン検査システム、およびそのようなドローンシステムを使用する方法を対象とする。ドローン検査システムはニューラルネットワークを活用して、パッシブセンサーと環境の他の部分とを分類しそれらのロケーションを識別するためにドローン飛行経路を算出し、および、デジタルツインを生成するために、ドローンの「見通し線」内にある構造体上のパッシブセンサーからの情報を取得することができる、ドローン上に取り付けられたセンサーを使用して、構造体についての構造状態データを収集するようにドローン飛行経路を算出する。デジタルツインは、構造体またはシステムの仮想表現であり、それは、そのライフサイクルにわたり、およびリアルタイムデータから更新され、意思決定を助けるために、シミュレーション、機械学習および推論を使用する。構造体上に配設されたセンサーのうちのいくつかは、エネルギーハーベスタを備えるパッシブセンサーであり得、ドローンに構造収集データを報告するためにエネルギーを与えられなければならない。パッシブセンサーにエネルギーを与え、それらからの読み取り値を得るために、ドローンは、リアルタイム追跡機能を有し得、そのリアルタイム追跡機能は、数平方インチ（パッシブセンサーのエネルギーハーベスタの一般的なサイズ）ほどの小ささのターゲットに当たるように、構造体からの安全な距離にあるドローンの位置と、エネルギー伝達モジュールの目標との両方を制御することを可能にするのに十分なほど正確なである。このタスクは、従来のＧＰＳウェイポイント案内型ドローンの能力を超える。
【0013】
このレベルの正確な位置案内を可能にするために、ドローンの飛行経路のリアルタイム補正のために、慣性ナビゲーションシステムと併せて、ニューラルネットワークとともにオプティカルフローセンサーが活用される。構造状態データ、たとえば、構造体上に存在する腐食の様相、接合部の割れまたは応力の存在、または構造体のステータスに関する他の情報およびパッシブセンサーによる測定の対象となる他の情報を含んでいる、構造体の寸法的に正確なデジタルツインを作成するために、この高レベルの案内精度が、見通し線センサーデータならびにパッシブセンサーデータの効率的な収集を可能にする。複数の見通し線およびパッシブセンサーデータは、寸法的に正確なデジタルツインを生成するために処理され、このデジタルツインは、構造体の見えない異常を検出するために機械学習アルゴリズムを使用して分析されることができる。パッシブセンサーデータおよび他のデータは、欠陥または保守の問題を有し得る構造体の潜在的なエリアまたは領域の識別を改善するために、機械学習アルゴリズムによって使用され得る。そのようなアルゴリズムは、その場合、構造体の現在の状態に関する自動化された保守アラートを生成することができる。また、履歴構造状態データを現在の構造状態データと比較することによって予測保守アラートを生成することができる。いくつかの実施形態では、アラートまたは分析は、構造体のデジタルツイン上の１つ以上の選択された変数（たとえば、腐食）のヒートマップの形態を取り得る。そのようなヒートマップは、自動化された保守スケジュールを生成して、構造体の潜在的な問題、論点などに、それらが緊急事態になる前に対処するために、、履歴ヒートマップおよび予測アルゴリズムと組み合わせることができる。
【0014】
本明細書では、上記の問題に対処するための無人航空機（ＵＡＶ）または「ドローン」検査システムが提供される。ドローン検査システムは、構造体上または構造体の周囲に位置付けされた１つ以上のパッシブセンサーから構造体の状態についての情報および／またはデータを収集するためのものである。１つ以上のパッシブセンサーは、各パッシブセンサーのロケーションにおける、またはそれに最も近い構造体の１つ以上の状態に関するデータを得るように構成されたパッシブセンサーのアレイを形成し得る。ドローン検査システムは、センサーと環境中の他の物体とを分類するためにニューラル計算エンジンを使用する。本明細書で使用する際、分類するとは、特定の物体を、物体の指定されたクラスにあるとして識別することを意味する。ドローンニューラル計算エンジンは、オプティカルフローセンサーなど、オンボードセンサーによって得られた情報およびデータに基づいて、物体を分類するときの確実性を算出し得る。たとえば、ドローンは、物体がセンサーであるという９５％の確実性で、環境中の物体をセンサーとして分類し得る。
【0015】
ドローンは、パッシブセンサーからの構造状態データを得る目的で構造体の周りの飛行経路を計画するために、慣性ナビゲーションとＧＰＳ測位とともにニューラル計算エンジンを使用し得る。飛行経路は、各ターゲット設定されたセンサーを用いて見通し線を得るドローンの能力に基づいて修正され得る。代替的に、飛行経路は、ドローンを単一の地点まで操作して、構造体に提供され得るセンサーアレイ中の複数のセンサーにエネルギーを与えるために、修正され得る。この飛行経路は、１つ以上のオプティカルフローセンサーを利用して１つ以上のパッシブセンサー要素にあるエネルギー伝達モジュールまたは励振器（ｅｘｃｉｔｅｒ）を目標としながら、ドローンを構造体からの安全な距離に保つために、算出され得る。ドローンは、本明細書でさらに説明する様式でパッシブセンサー要素にエネルギーを与え、センサーからの構造体の状態に関するデータを受信し得る。受信された情報に基づいて、ドローンは、飛行経路を修正するように、または他のパッシブセンサーからのもしくはオンボードセンサーからの追加の情報を得るように、プログラムされるか、人間のオペレータによって命令されるか、またはニューラルネットワークによって導かれ得る。
【0016】
構造体１２の状態についてのデータを得るために、構造体１２の上または周りにセンサー１０のアレイが位置し得る。図１は、構造体１２の状態をモニターするためのセンサーを有する一般的な構造体１２である携帯電話用鉄塔を示す。携帯電話用鉄塔上のセンサー１０は、一般に、たとえば、構造的完全性１４、構成要素の腐食１６、および／または塗装被覆の完全性または腐食１８をモニターするために配備される。使用され得る他のタイプのセンサー１０は、非限定的な例として、割れ検出、構造たわみ、振動、温度差、流体圧力、湿度、磁場などのためのセンサーをも含む。
【0017】
センサー１０は、一般に、到達し難いまたはリモートのロケーションに配置される。そのようなセンサー１０は、一般に、データを得および／または送信するために（たとえば、励振器からの）インテロゲーションまたは励振（ｅｘｃｉｔａｔｉｏｎ）に対してのみ動作するパッシブセンサー１０である。パッシブセンサー１０は、バッテリー、ハードワイヤード電気接続、またはその場で電力を受け取る他の手段を有しないセンサーである。むしろ、パッシブセンサー１０は、周囲環境からのエネルギー、または（本明細書でさらに説明するように、ドローン上に配置され得る）励振器からのエネルギーを、センサー１０によって使用可能なエネルギーに変換することが可能なエネルギーハーベスタ２０を有し得る。たとえば、エネルギーハーベスタ２０は、熱電、圧電、光起電力、焦電、または電磁エネルギーハーベスタであり得る。エネルギーハーベスタ２０は、パッシブセンサー１０の一体構成要素であり得るか、またはパッシブセンサー１０とは別個であり得る。エネルギーハーベスタ２０がパッシブセンサー１０とは別個である実施形態では、エネルギーハーベスタ２０は、ワイヤ２２、またはパッシブセンサー１０に電力を提供する他の手段によってパッシブセンサー１０に接続され得る。図６Ａおよび図６Ｂに示されているように、１つのエネルギーハーベスタ２０が複数のパッシブセンサー１０に電力を提供し得る。構造体１２はアクティブセンサー１０とパッシブセンサー１０の両方の組合せを有し得るが、本明細書で開示する飛行経路プログラミング特性は、パッシブセンサー１０とともに使用するために特に好適である。別段に記載されていない限り、本明細書の方法およびシステムの説明はパッシブセンサー１０に関するものであるが、構造体１２は、パッシブセンサー１０に加えて存在するアクティブセンサー１０を有し得、ドローンはアクティブセンサーとパッシブセンサーの両方から情報を得ることができる。その上、アクティブセンサー１０さえをも用いた本明細書の方法およびシステムの使用は、アクティブセンサー１０が、情報を定期的に送信する必要があるか、または困難なもしくは「見にくい」ロケーションにあるときに、特に望ましくあり得る。
【0018】
図２に示されているように、ドローン２４は、センサー１０のアレイ中の１つ以上のセンサー１０の見通し線ロケーションを決定するために、構造体１２の周りを移動するための事前プログラムされた飛行経路２６を有し得る。ドローン２４は、本明細書でさらに説明するオンボード機器とオンボードまたはリモート計算機能とを有する任意の無人航空機であり得る。大部分の用途において、一般的なドローンであり、有利には、所定の位置にホバリングするための機能を有する、クアッドコプター（ｑｕａｄｃｏｐｔｅｒ）またはオクトコプター（ｏｃｔｏｃｏｐｔｅｒ）スタイルのドローンが使用されるであろうことが予想されるが、これらの特定タイプのドローンは必要ではない。
【0019】
ドローン２４は、飛行経路２６に従ってドローン２４の飛行を導くためのドローン制御ユニットを備え得る。ドローン制御ユニットは、ニューラル計算エンジン３０によって決定および／または修正される飛行経路２６についての命令を受信するようにプログラムされる。ニューラル計算エンジン３０はドローン２４に搭載されて提供され得るか、またはそれはドローン２４からリモートに位置し得る。ニューラル計算エンジン３０はグラフィック処理ユニット（ＧＰＵ）のモジュールであり得る。グラフィック処理ユニットは異なる構成（たとえば、ＮＶＩＤＩＡ（Ｒ）ＴＥＳＬＡ ｖ１００ＴＥＮＳＯＲ ＣＯＲＥ（Ｒ）ＧＰＵ上に提供された１６ＧＢ構成および３２ＧＢ構成）を有し得る。選択されたＧＰＵ構成はニューラル計算エンジン３０のパフォーマンスを変更し得る。ニューラル計算エンジン３０は１つ以上のニューラルネットワークを実行し得る。
【0020】
ニューラルネットワーク３２は、人間の脳を模して大まかにモデル化されたコンピュータアルゴリズムであり、パターンを認識し、非線形則を学習し、データ間の複雑な関係を規定することができる。それらは、ドローンがナビゲートしミッションサポートを提供するのを助けることができ、データの過剰収集なしに構造体の適切な検査を保証する。本明細書に記載のドローン２４は、検査、監視、報告、および他のミッションを支援するためにニューラルネットワーク３２を実行し得る。本発明は、低高度検査ドローン２４に搭載されて実行される教師なし「ディープラーニング」ニューラルネットワークを利用し得る。そのようなドローン検査ニューラルネットワーク３２は、事前プログラムされた飛行経路に沿った構造体１２へのナビゲーション中に、および／またはそのミッション中に（たとえば、それが構造体１２を走査し、検査する際に）複数のオンボードセンサーからのデータストリームをリアルタイムでモニターし得る。重要なことには、ニューラルネットワークは、ドローン２４が、ターゲット獲得を可能にし、検査されるすべてのアセット１２の位置を特定することによって、ＧＰＳドリフトまたは他のコース逸脱、または予想外のターゲット異常を補償することを可能にし得る。ニューラルネットワークは、その内容全体が引用により本明細書に組み込まれる米国特許公開第２０２２／００５５７４９号において開示されているニューラルネットワークと同様に動作し得る。
【0021】
ドローン２４はまた、ドローン２４のロケーションと構造体１２上の個々のパッシブセンサー１０のロケーションとを決定するために、搭載されている１つ以上のカメラまたは他の視覚またはジオロケーティング（ｇｅｏｌｏｃａｔｉｎｇ）センサー３４を有し得る。これらのセンサー３４は、オプティカルフローセンサー、ＲＧＢカメラ、温度カメラまたはマルチスペクトルカメラ、ＰＩＭ分析のための磁気センサーなどを含み得る。
【0022】
さらに、ドローン２４は、オペレータ、高高度擬似衛星プラットフォーム、または他の飛行制御もしくは案内システムと通信するための、通信アレイに接続されたアジャイルトランシーバアレイ３６；オンボード飛行経路の算出または修正のための飛行制御計算モジュール；１つ以上のオプティカルフローセンサー；慣性ナビゲーションシステムとＧＰＳ受信機とを備える飛行制御モジュール；センサー１０をアクティブ化するためのエネルギー伝達モジュールまたは励振器５０；および／またはセンサー１０からのデータを受信するためのセンサー通信デバイスを有し得る。ドローンはまた、以下で参照される様々な計算機能を行うためのプロセッサアレイを有し得る。プロセッサアレイは、グラフィック処理ユニット（ＧＰＵ）、中央処理ユニット（ＣＰＵ）、またはそれらの組合せであり得る。光データの量と、以下のプロセスが一般に必要とする動作とを考えると、ＧＰＵが好ましいが、これは要求されてはいない。
【0023】
飛行制御計算モジュール４０は、初期の事前プログラムされた飛行経路２６を受信し得る。いくつかの実施形態では、ニューラルネットワーク３２は、初期の事前プログラムされた飛行経路２６をドローン制御ユニット２８に提供する。いくつかの実施形態では、飛行経路２６は、構造体上のセンサーアレイ中のセンサー１０のロケーションに関するニューラル計算エンジン３０に提供される情報に基づいてニューラル計算エンジン３０によって決定され得る。そのような情報は、ニューラル計算エンジン３０が、センサー１０のロケーションを決定するために、構造体１２の周りの飛行経路２６を計算することを可能にする、初期重みファイルと構成ファイルとを含み得る。本明細書で使用する際、重みファイルは、ニューラルネットワーク３２が処理しているデータをどのように分類するかについて、計算エンジン３０上のニューラルネットワーク３２をトレーニングするファイルを指す。構成ファイルは、ニューラル計算エンジン３０上で実行されるニューラルネットワーク３２の構造またはタイプを構成するファイルを指す。
【0024】
ニューラル計算エンジン３０は、知られているセンサーロケーションに基づいて初期飛行２６経路を決定し得るが、センサーロケーションが知られていない場合、構造体１２の表面を光学的に走査してセンサーロケーションを識別するための、飛行経路２６が選択され得る。ニューラル計算エンジン３０はまた、飛行経路１２を計算するとき、構造幾何と、周囲の動作環境とを考慮に入れ得る。
【0025】
図３に示されているように、飛行経路２６は、高高度擬似衛星（ＨＡＰＳ）ヴィークル６０と通信しているニューラル計算エンジン３０によって決定され得、高高度擬似衛星（ＨＡＰＳ）ヴィークル６０は、延長された飛行時間と、一般に地球の周りの軌道中の人工衛星によって行われるジオロケーションまたは他の機能を提供することとが可能な超軽量無人航空機である。ＨＡＰＳ６０は、その内容全体が引用により本明細書に組み込まれている米国特許公開第２０２２／００５８９６０号において教示されているＨＡＰＳと同様であり得る。他の実施形態では、飛行経路２６は人間のオペレータによって決定され、提供され得、それは、構造体に近いロケーションにおいて単一の視点から構造体１２を容易に決定することができないときに必要であり得る。
【0026】
ＨＡＰＳ６０は、さらに、追加の計算能力、リソース、および／または計算ネットワークを提供するために、リモートニューラル計算エンジンとして使用され得るか、または地上ベースの計算ネットワークと通信するために有利に使用され得る。ＨＡＰＳ６０は、ドローン２４上の利用可能な（ドローン上の電力制約により制限され得る）計算能力を高めるために、それ自体のＨＡＰＳベースのニューラルネットワーク計算エンジン６２（ＨＡＰＳＮＮ）を有し得る。さらにまたは代替的に、ＨＡＰＳ６０は、ドローン２４と地上航空制御システム（ｔｅｒｒｅｓｔｒｉａｌ ａｖｉａｔｉｏｎ ｃｏｎｔｒｏｌ ｓｙｓｔｅｍ）（たとえば、ＵＴＭおよびＬＡＡＮＣ）または他の地上ベースの航空交通監視インフラストラクチャとの間で、中間ノードとして通信ネットワークに入るか、または、センサーロケーションなど、メッセージを中継し（すなわち、伝送リンクとして働き）得る。ＨＡＰＳＮＮ６２はまた、ドローン２４との事前の通信が行われていない場合でも、ＨＡＰＳ６０によるプロアクティブな予測仲裁（ｐｒｅｄｉｃｔｉｖｅ ｉｎｔｅｒｃｅｓｓｉｏｎ）を容易にし得る。地勢および空域内の固定された通信機能のロケーション、ならびにドローン２４の計算された軌跡の記憶または獲得された知識に基づいて、ＨＡＰＳＮＮ６２は、ドローン２４との通信の必要を認識し、ＨＡＰＳヴィークル６０に、ドローン２４、および／またはハブとしてそれ自体を用いた、リモートの地上もしくはクラウドコンピューティングネットワークまたは制御システムとのワイヤレスリンクを確立させ得る。ドローン２４がアジャイルトランシーバアレイ３４を備える実施形態では、アジャイルトランシーバアレイ３４は、とりわけ、ドローン２４をＨＡＰＳＮＮ６２に接続するために使用され得る。
【0027】
代表的なＨＡＰＳＮＮ６２アーキテクチャが図４Ａに示されている。一般に、コンピュータメモリに記憶された命令として実装される複数のソフトウェアサブシステムは従来の中央処理ユニット（ＣＰＵ）６４によって実行される。ＣＰＵ６４は、ＨＡＰＳの飛行および動作、ならびに以下で説明する機能を制御し得るか、またはこれらの機能は別個のプロセッサ６４の間で割り振られ得る。さらに、ニューラルネットワーク機能の効率的な実行のために、システムは専用グラフィックス処理ユニット（ＧＰＵ）を含み得る。（たとえば、ＭＩＣＲＯＳＯＦＴ ＷＩＮＤＯＷＳ、ＵＮＩＸ、ＬＩＮＵＸ、ｉＯＳ、またはＡＮＤＲＯＩＤなど）オペレーティングシステムは、ファイル管理、リソース割振り、および（少なくとも１つの不揮発性ストレージ要素６６を含む）ハードウェアデバイスとコンピュータメモリ６８内で実行されるソフトウェアサブシステムとからのメッセージならびにそれらへのメッセージのルーティングなど、低レベルのシステム機能を提供する。より一般的には、ＨＡＰＳＮＮ６２は、ハードウェア、ソフトウェア、または両方の組合せにおいて実装されたモジュールを含み得る。ソフトウェアにおいて提供される機能の場合、プログラムは、ＰＹＴＨＯＮ、ＦＯＲＴＲＡＮ、ＰＡＳＣＡＬ、ＪＡＶＡ、Ｃ、Ｃ＋＋、Ｃ＃、ＢＡＳＩＣ、様々なスクリプト言語、および／またはＨＴＭＬなど、いくつかの高水準言語のいずれかで書かれ得る。ＨＡＰＳヴィークル６０ならびに機械的機能および飛行機能の動作を担当するソフトウェアモジュールは、従来のものであり、図示されていない；たとえば、その内容全体が引用により本明細書に組み込まれている米国特許第１０，６１８，６５４号を参照されたい。
【0028】
ＨＡＰＳＮＮ６２は、ニューラルネットワークモジュール７０と、トランシーバモジュール３６と、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）７２とを含む。トランシーバモジュール３６およびＦＰＧＡ７２は、飛行ヴィークルの間の、ならびに地上および衛星ベースの制御インフラストラクチャとのエアボーン（ａｉｒｂｏｒｎｅ）通信をサポートするように構成された通信設備を構成するか、またはその一部であり得る。ＨＡＰＳＮＮ６２はドローンのニューラル計算エンジン３０とともに動作し得る。クラウドニューラルネットワークモジュール７０は、ＨＡＰＳヴィークルにとってローカルであり得るが、より一般的には、クラウド中で、すなわち、以下で説明するように、ＨＡＰＳヴィークル６０とワイヤレス通信しているリモート（たとえば、地上）サーバ上で動作する。モジュール３６、７２は、一般に、ＨＡＰＳヴィークル自体の上に位置する。
【0029】
クラウドニューラルネットワークモジュール７０は、アジャイルトランシーバ３６を介してドローン２４からリアルタイムで受信され、クラウドニューラルネットワーク７０に渡され得る画像とデータとを処理する分類ニューラルネットワーク７４を含む。分類ニューラルネットワーク７４は、モニターされるドローン２４が引き受けるミッションに関連があるトレーニング画像のデータベース７６を使用してトレーニングされている。分類ニューラルネットワーク７４は、受信された画像とデータとを処理し、分類し、それらに関連する異常を検出する（すなわち、そのような異常の確率を計算する）。すなわち、異常は、受信された画像中の予想されない何かに基づいて、または他のドローンテレメトリーと一緒に考慮されたときに検出され得る；たとえば、他の場合には予想されない画像が、ドローン２４によって報告された天候状態とともに撮られたときに異常検出をトリガし得る。異常が検出されたとき、分類ニューラルネットワーク７４は、適切な応答を決定するために分類データベース７８を調べ得る；すなわち、データベース７８は、それぞれ異常を指定する記録と、順番に取られ得る１つ以上の関連するアクションとを含む。データベース記録を有しない異常が検出された場合、画像は人間による検査および分類のために送信され得る。次いで、新しい分類がトレーニングデータベース７６に追加され、ニューラルネットワーク７４を再トレーニングするために使用される。得られた調整された重みは、ニューラルネットワーク７０に関連付けられたクラウドサーバによって伝搬され、ドローンニューラル計算エンジン３０に戻され得る。このプロシージャについて以下でさらに説明する。
【0030】
アジャイルトランシーバパッケージ３６は、放送型自動従属監視（Ａｕｔｏｍａｔｉｃ Ｄｅｐｅｎｄｅｎｔ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｂｒｏａｄｃａｓｔ）（ＡＤＳ－Ｂ）、空中衝突防止装置（Ｔｒａｆｆｉｃ Ｃｏｌｌｉｓｉｏｎ Ａｖｏｉｄａｎｃｅ Ｓｙｓｔｅｍ）（ＴＣＡＳ）、２次監視レーダー（Ｓｅｃｏｎｄａｒｙ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｒａｄａｒ）（ＳＳＲ）、および再放送型自動従属監視（Ａｕｔｏｍａｔｉｃ Ｄｅｐｅｎｄｅｎｔ Ｓｕｒｖｅｉｌｌａｎｃｅ Ｒｅｂｒｏａｄｃａｓｔ）（ＡＤＳ－Ｒ）サブシステムなど、１つ以上のサブシステムを含み得る。これらのサブシステムは、インテロゲーション、応答、および再ブロードキャストのために９７８ＭＨｚ、１０９０ＭＨｚ、および１０３０ＭＨｚで動作し得る。これらのサブシステムによりＨＡＰＳＮＮ６２は有人航空トラフィックの位置を「リッスン」することが可能になり、したがって、ニューラルネットワーク６２は、３Ｄまたは２Ｄ空間において近くのトラフィックを計算的に表し、ドローン２４と有人航空トラフィックとの間のいかなる衝突も解決することができる。これは、ドローン２４の位置を有人航空トラフィックにブロードキャストするか、または有人航空トラフィックの位置をドローン２４にブロードキャストすることによって達成することができる。空域における衝突を回避するためにどの方向に移動すべきかについての命令とともに、緊急アラートが有人および／または無人トラフィックに発せられ得る。
【0031】
アジャイルトランシーバ３４は、いくつかのＵＴＭシステムが利用する地上電気通信ネットワークを用いて、またはＨＡＰＳ６０からのデータをクラウドベースのニューラルネットワーク７０に送信するためにバックホール通信チャネルを用いて、ＨＡＰＳＮＮ６２の空域中で動作しているドローン間の通信リンクをサポートするために、３Ｇ、４Ｇ、ＬＴＥ、５Ｇまたは任意の将来の電気通信プロトコルと帯域幅とを含むセルラーネットワークパッケージを含み得る。ＶＨＦおよびＵＨＦトランシーバ（ＴＸ／ＲＸ）モジュールは、ＶＯＲ、ＶＯＲ／ＤＭＥまたはＴＡＣＡＮなどの航法援助をモニターするために使用され得、それらは、ＧＰＳ信号が失われた場合に、ニューラルネットワーク７０が信号飛行時間を使用してドローン２４ならびにＨＡＰＳ６０の位置を解決することを可能にする。これにより、必要が生じた場合に、データを送信または受信するために衛星通信コンスタレーションを活用することも可能になる。ドローン仮想レーダー（ＤＶＲ）データリンクは、航空トラフィック位置情報を送るおよび受信して、衝突を解決することまたはドローンを追跡することを助けるために、（たとえば、その開示全体が引用により本明細書に組み込まれる米国特許第１０，５８６，４６２号に記載されている）この技術を実装するドローンプラットフォームとの通信を容易にする。ニューラルネットワーク（ＮＮ）データリンクは、専用高帯域幅バックホールチャネルであり、それは、ＨＡＰＳＮＮ６２がドローンニューラルコンピュータエンジン３０と通信することを可能にし、モニターされる空域中で動作している１つ以上のドローン２４から受信されたデータをリアルタイムで送信し、分類データベース７８から得られた予測と作動命令とを受信する。ＦＰＧＡ７２は、トランシーバ３４を同調させ、ノイズをフィルタリングして除くソフトウェアを実行するためのハードウェアアクセラレータとして採用される。
【0032】
ドローン２４中に実装される代表的なドローン検査ニューラルネットワーク８０は、ニューラルネットワーク計算エンジン３０と、分類データベース８２と、以下で説明する様々なデータハンドリングおよび処理機能を行うための「バックエンド」コードとを含む。さらに、ドローン２４は、上記で詳述したように、アジャイルトランシーバ３６のセットとＦＰＧＡ７２とを備えるか、またはそれらからなる、通信設備を含み得る。また、ドローン２４はＣＰＵ６４とストレージ６６とコンピュータメモリ６８とを含み得る。
【0033】
上記のように、ドローン検査ニューラル計算エンジン３２はＨＡＰＳＮＮ６２とインタラクトし得るが、ドローン検査ニューラル計算エンジン３２は、それ自体で存在し、動作することができる；すなわち、ドローン検査ニューラル計算エンジン３２の配備および使用の成功のために、ＨＡＰＳＮＮ６２は不要である。いずれにせよ、上記で説明したシステムにより、（たとえば、構造体１２上に位置するパッシブセンサー１０またはエネルギーハーベスタ２０の位置を特定するために）ドローン２４が検査しているアセット１２上の当該の物体、ならびに飛行中にドローン２４が回避する必要がある障害を、ドローン２４が分類することが可能になる。ニューラル計算エンジン３０は、ドローン２４上の画像獲得デバイス３４、たとえば、ビデオカメラから受信された画像を処理し、分類するように構成される。したがって、ニューラルネットワーク３０は、入来する画像中の物体を検出し、認識するようにプログラムされた畳み込みニューラルネットワーク（ＣＮＮ）であり得る。これらはニューラルネットワークのトレーニングに基づいて分類され得、ドローン検査ニューラルネットワーク３２は（たとえば、バックエンドコードの適用によって）、検出された画像に対する適切な応答を決定するために分類データベース８２を調べ得る。この場合、データベース７８は、それぞれ何らかのセマンティックな意味またはアクションに関連する物体を指定する記録を含む。たとえば、ニューラルネットワーク３０が入来する画像中に木を検出した場合、対応するデータベースエントリは、木を障害として識別し、ドローンのステアリングおよび推進システムを制御することによって、ドローンのナビゲーションシステム８４が実行する回避操作を、トリガし得る。同様に、ニューラルネットワーク３０が、パッシブセンサー１０と首尾一貫する異常を検出した場合、対応するデータベースエントリは、物体をパッシブセンサー１０として分類し、安全な距離および見通し線まで飛ぶように飛行経路を修正し、パッシブセンサー１０からのデータを得ることがれきる。ドローンステアリングおよび推進システムは、電源（たとえば、バッテリー）、通信プラットフォーム、推進およびステアリングシステム、およびオートパイロットシステムなど、ドローン２４に一般的な要素を含む、ドローンの飛行パッケージ８６の一部である。
【0034】
ドローン検査ニューラルネットワーク３２はまた、ＤＶＲ、ＵＴＭ、ＬＡＡＮＣ、ＡＤＳ－ＢおよびＴＣＡＳシステムのうちの１つ以上を含み得る１つ以上の監視システム８８、９０から、データを受信し得る。これらはドローンの通信プラットフォームの一部として実装され得るが、ニューラル計算エンジン３０は、画像を分類することにこのデータを使用し得るので、それらはドローン検査ニューラルネットワーク３２内に概念的に示されている；同様に、天候監視システム９２は、従来、ドローンの通信プラットフォーム内に実装されるであろうが、ここでも、天候状態は画像分類またはデータベースルックアップに関連があり得るので、天候監視システム９２はＤＩＮＮ３２の一部として示されている；同じ視覚シーンは天候に応じて異なるアクションを促進し得、たとえば、ドローン２４は、風の強い状態の下では構造体からより離れ得る。
【0035】
ドローン２４がＨＡＰＳＮＮ６２と協働してインタラクトする実施形態では、後者は、さらなるサポートとより強力な分類機能とを提供し得る。たとえば、ニューラルネットワーク３０によって分類不可能な検出された物体をもつ画像が検査のためにＨＡＰＳＮＮ６２にアップロードされ得、返報にＨＡＰＳＮＮ６２によって発せられたリアルタイム命令がドローンのナビゲーションシステム８４によって実行され得る。その上、ＨＡＰＳＮＮ６２は、そのドローンによって行われている（ＨＡＰＳＮＮ６２にリアルタイムで通信される）分類に基づいてドローンのミッションをより好適なものにするために、ニューラルネットワーク３０のための異なる重みファイルをリアルタイムで更新または供給し得る。ニューラルネットワーク３０は、これらの新しい重みファイルを、受信されたときに、応答可能にロードする。
【0036】
このプロセスは図４Ｂに示されている。また図４Ａを参照すると、ドローン検査ニューラルネットワーク３２は、ドローン２４が、衝突を回避するのにおよび鉄塔１２の周りを飛ぶのに十分に速く反応することを可能にするように、入来する画像フレームをリアルタイムで（たとえば、－３０フレーム毎秒（ＦＰＳ）で）処理する。したがって、ドローン２４は、ＣＮＮ動作をサポートするためのグラフィックス処理ユニット（ＧＰＵ）を含み得る。リアルタイムフレーム分析により、ＧＰＵは、画像を処理し、検査されているアセット１２上の当該のアイテムを分類し、分類のバックエンドコードを通知し、バックエンドコードが分類に反応するために論理を実行することを可能にすることが可能になり、たとえば、物体がパッシブセンサー１０として分類された場合、分類データベース８２は、飛行経路２６を変更し将来の検査のためにパッシブセンサーロケーションを保存するための、命令を含み得る。
【0037】
ドローン２４は、たとえば、各秒６０メガピクセル（ＭＰ）写真画像を処理することが可能な高精度ＣＮＮを（必要な場合、計算エンジン７４中にまたはＨＡＰＳ６０自体内にさえ）含むＨＡＰＳＮＮに、画像データを送信し得る。ＣＮＮアーキテクチャは、計算エンジン３０上で動作するバックエンド論理を活用することによって分類の速度と正確性とのために設計される。このバックエンド論理は、ドローン２４によってキャプチャされたアセット１２の最初の少数の画像に基づいて分類されているアセット１２に基づいてＣＮＮ重みファイルと構成ファイルとを変更することができる。これらの予備画像は、必要な場合、安全な距離においてアセット１２の周りの「予備」飛行経路２６の一部として収集され得、解像度が６０ＭＰ以上であり得る。これらの予備画像は、ＣＮＮの入力画像サイズ（たとえば、検査される構造体に応じて、２２４×２２４以上）にダウンスケールされ、（たとえば、２０個の）畳み込みレイヤのシーケンスと後続の平均プーリングレイヤとを通り、異なるアセット１２（たとえば、１００個のタイプのアセット）を分類するように事前トレーニングされた完全に接続されたレイヤを通る。アセット１２のタイプが識別されると、重みファイルおよび構成ファイルは変更され得、構造体上に存在し得る当該の物体またはエリアの確率とバウンディングボックスとを出力するために、より多くの（たとえば、４つの）畳み込みレイヤと、後続の２つの完全に接続されたレイヤとが追加される。このタイプの分類では、より粒度の細かい詳細が存在する必要があるので、ドローン２４からアップロードされた画像は、サイズが（たとえば、４４８×４４８に）増加し得る。サイズ増加の程度は動的に制御され得、たとえば、信頼できる分類のための十分な詳細が検出されない場合、スケールアップされる。
【0038】
完全に接続されたレイヤは、物体のクラス確率およびバウンディングボックス（たとえば、センサー１０、エネルギーハーベスタ２０、または画像中で識別可能な他の関連がある物体の分類）を予測する。例として、最後の層は線形活性化を使用し得るが、畳み込みレイヤはリーキーＲｅＬｕ活性化を使用し得る。
【0039】
計算エンジン３０のバックエンド論理は、それがクラスおよびバウンディングボックス座標の存在を検出すると、その特定の分類をドローンの画像獲得デバイス３４の視界の中心に持ってくるために、重心トラッカー機能に切り替え、重心トラッカー機能をトリガし得る。バックエンド論理は、測距計算エンジンと協働してハーベスタ２０にエネルギーを与えパッシブセンサー１０からの情報およびデータを得るために、ドローン２４が接近するのに最も安全な飛行経路２６を解決し、励振器５０と通信システムとを位置づけする。
【0040】
ステップ２００において、ＨＡＰＳＮＮ ＣＮＮ（「ＨＰ－ＣＮＮ」）は、標準の物体検出ルーチン（たとえば、ＹＯＬＯ）を使用して、各画像を処理しその中の物体を検出するために、その以前のトレーニングに基づいてすべての検出された物体を分類することを試みる。
【0041】
上記のＨＡＰＳＮＮおよびドローンデータアーキテクチャに加えて、ドローンは、エネルギー伝達モジュール５０とセンサーエネルギーハーベスタ２０との間の見通し線を識別するための飛行制御モジュール４４を備え得る。飛行制御モジュールは慣性ナビゲーションシステムおよび／またはＧＰＳ受信機を備え得る。ＧＰＳ受信機４８は、動作環境中の、地球に対するドローン２４の位置を決定し得る。ドローン２４のヘディングは、ＧＰＳ受信機からの読み取り値間のドローン２４の位置の変化を算出することによって、ＧＰＳ受信機からのデータを使用して決定され得る。
【0042】
慣性ナビゲーションシステムは、動作環境中のドローン２４の動きを測定するためにドローンの加速度を追跡する。このデータは、動作環境中のドローン２４の位置をより正確に決定するために、ＧＰＳ受信機からのデータを補足するために使用され得る。いくつかの実施形態では、慣性ナビゲーションシステムは、ドローン２４が水平であるのか傾斜しているのかを決定するように構成され得る。慣性ナビゲーションシステムはまた、高度を決定するための１つ以上の気圧計と、および／またはドローン２４のヘディングを決定するための１つ以上の磁力計を用いて構成され得る。そのような情報は、たとえば、ターゲットセンサーからのドローンの距離を決定することなど、ドローン２４に関与する算出において他のデータとともに考慮に入れ得る。慣性ナビゲーションシステムは、飛行計画に対してリアルタイムの補正が行われることを可能にするために、ドローン２４の位置をモニターするために動きセンサーと回転センサーとを使用する。飛行制御モジュールはまた、パッシブセンサー１０からの構造状態データを得る目的で、構造体１２の周りの飛行経路２６を分類し計画するために、オンボードニューラル計算エンジン３０とともに働き得る。
【0043】
事前プログラムされた飛行経路２６を通って操作する過程において、ドローンのオンボード視覚センサーまたは他の位置特定センサー３４は、事前プログラムされた飛行経路２６に基づいて、構造体１２上の１つ以上のパッシブセンサー１０がドローン２４への直接経路／見通し線アクセスを有しないことを決定し得る。そのような場合、ニューラルネットワーク３２は、ドローン２４からセンサー１０までの直接経路または見通し線が利用可能であるロケーションを決定するために、ドローンロケーションデータとセンサー１０の知られているロケーションとを使用する。構造体１２および周辺空域のより完全なビューを支援するために、ＨＡＰＳプラットフォーム６０のデータリンクを使用し、ドローン２４のオンボード視覚センサーまたはカメラ３４に基づいてセンサー１０の位置を容易に特定することができない場合、および、分類するためにより高度のアルゴリズムを必要とするセンサー１０を検出することを支援するために、ドローン２４をより強力なクラウドベースのニューラル計算エンジン７４に接続するデータ転送ノードとして働くことにおいて、やはり、ＨＡＰＳプラットフォーム６０はまた、ニューラル計算エンジン３０に接続して使用され得る。ＧＰＳ受信機４８および飛行制御計算モジュール４０は、センサー１０がドローン２４との見通し線内に来るまで、新たに計算された飛行経路２６に沿ってドローン２４を導く。
【0044】
ドローン２４上のオプティカルフローセンサー４２は、パッシブセンサー１０の厳密な位置を特定するために使用され得る。ニューラルネットワーク３２は、パッシブセンサー１０の正確なロケーションまたはセンサー１０のエネルギーハーベスタ２０の正確なロケーションをロックオンするための特定のターゲットを決定し、提供するために、オプティカルフローセンサーデータを読み取るように構成され得る。いくつかの事例では、正確なセンサーロケーションの決定はニューラルネットワーク処理をさらに必要とし得る。特に、構造体１２の周りの最適な飛行経路２６を決定するための重みおよび構成は、一般に、センサー１０とセンサー１０上のエネルギーハーベスタ２０との正確なロケーションを光学的に決定するための重みおよび構成とは異なる。センサー１０とそのエネルギーハーベスタ２０との位置を特定するために、本明細書で提供するシステムは２つのオプションを有する。第１のオプションは、ＨＡＰＳＮＮ６２と（必要な場合、ＨＡＰＳＮＮ６２を通してまたはＨＡＰＳＮＮ６２と接続して、追加の計算能力を有する地上の他のリモートニューラルネットワークに）通信して、重みファイルおよび構成ファイルの異なるセットを使用してセンサー１０とエネルギーハーベスタ２０とのロケーションを決定するために、ドローン２４がアジャイルトランシーバアレイ３６をアクティブ化し得ることである。ドローン２４に搭載されたニューラルネットワーク処理を行うための電力リソースにより他の目的（たとえば、通信、励振器に電力供給すること、または飛行中にドローンモーターを動作させること）のための電力の損失が大きくなる場合、これは好ましいオプションである。いくつかの事例では、ドローンＧＰＵまたはＣＰＵ６４は、オプティカルフローセンサーからセンサー１０およびエネルギーハーベスタ２０のロケーションを効率的に決定するのに十分な計算キャパシティを有しないことがある。そのような事例では、オンボードプロセッサ６４は、ＨＡＰＳ６０に搭載された、またはリモートの地上もしくはクラウドコンピューティングネットワーク上の追加の計算能力にアクセスするために、アジャイルトランシーバアレイ３６を通してＨＡＰＳＮＮ６２との通信を開始し得る。第２のオプションとして、そのような追加の計算リソースが手近にない場合、ニューラルネットワーク計算エンジン３０は、センサー１０とエネルギーハーベスタ２０とのロケーションを決定するための新しい重みファイルおよび構成ファイルのダウンロードを受信し得る。正確なセンサーロケーションを決定するための時間まで、そのようなファイルをアップロードせず利用しないことによって、ドローン２４は、計算速度を増加させ、電力出力を低減するための追加のワーキングメモリと処理パワーとを保持することができる。
【0045】
パッシブセンサー１０の位置が特定され、直接経路または見通し線が獲得されると、ドローンニューラル計算エンジン３０は、励振器５０がパッシブセンサー１０に照準を合わせ、エネルギーを与えることを可能にするために、ドローン２４を安全な見通し線まで操作するように飛行経路２６を修正し得る。安全な見通し線は、ドローン２４がパッシブセンサー１０からの安全な距離に位置し、および環境中の他の障害または構造体１２に対する安全な位置に位置する見通し線であり得る。「安全な距離」および「安全な位置」は、構造体の性質および周囲の環境、局所的な大気状態（たとえば、風の強い状態は、穏やかな状態よりも、安全な位置にあるために、障害からより大きい距離を必要とするようにプログラムされ得る）、および／または計画された飛行経路２６を維持するドローン２４の能力を含む、いくつかの要因に基づいて変動し得る。これらはついでまた、ニューラルネットワーク計算エンジンの飛行経路計画の予測電力が時間とともにより正確になるにつれて変化し得る。現在、通常動作状態および穏やかな風または無風での、初期検査および一般的な構造体のための「安全な距離」は約１５フィートであるが、これは、本開示から逸脱することなく、ニューラル計算エンジン３０の繰り返される試行と教示とに基づいて飛行計画の正確性が向上するとともに小さくなり得る。構造体１２の初期検査が行われると、パッシブセンサー１０の位置および解決された飛行経路２６がログされる。これらは、パッシブセンサー１０をロックオンするために必要とされる走査エリアと計算ワークロードとを低減させるために、この同じ構造体の将来の検査において使用するために、ドローン２４によってアクセスされ得る。
【0046】
図５に示されているように、エネルギー伝達モジュールまたは励振器５０は、パッシブセンサー１０を励振し（ｅｘｃｉｔｅ）エネルギーを与えるために使用され得る。いくつかの実施形態では、エネルギー伝達モジュール５０は、トグルオンおよびトグルオフするように構成され得る。たとえば、エネルギー伝達モジュール５０は、センサー１０との安全な見通し線が達成されたときのみトグルオンされ、ドローン２４がセンサー１０からのデータを受信した後にトグルオフされる。これは、オンボード電力を節約し、ドローンの飛行動作の持続時間を延長し得る。エネルギー伝達モジュールまたは励振器５０の非限定的な例は、ビームフォーミングされた無線周波数（ＲＦ）励振器および赤外（ＩＲ）レーザー励振器を含む。エネルギー伝達モジュール５０は、センサー１０またはセンサー１０のアレイがデータを提供するために数秒間のみ動作可能である必要があり得る。
【0047】
ドローン２４は、エネルギー伝達モジュールをセンサーにターゲット設定するかまたは照準を合わせるためのペイロード案内システム５６を備え得る。ペイロード案内システム５６は、エネルギー伝達モジュール５０を垂直および水平に回転させるように構成され得る。ペイロード案内システムは、エネルギー伝達モジュール５０からのビームを広げるかまたは狭めるように構成され得る。その上、ペイロード案内システムは、ドローン２４の小さい動きがエネルギー伝達モジュール５０をセンサー１０からターゲット外に移動させるのを防ぐために、エネルギー伝達モジュール５０を安定させるように構成され得る。
【0048】
ドローン２４によって励振されると、センサー１０は、ドローン２４上のセンサー通信デバイス５２にデータを送信するようにトランシーバを動作させ得る。センサー１０には、ドローントランシーバ３６に送信される、以前の記憶された読み取り値からのデータを有し得る。センサー１０は、励振の瞬間においてデータを得るか、または器械読み取り値（たとえば、温度、磁場強度、湿度、腐食、応力、方位など）をとり得るが、他の場合は完全にパッシブである。
【0049】
ドローン２４は、センサー１０からのデータを受信するためのセンサー通信デバイスを備え得る。センサー通信デバイスは通信アレイまたはトランシーバであり得る。さらに、センサー通信デバイスは、アジャイルトランシーバアレイ３６など、ドローン上の別の通信デバイスとは別個であるかまたはそれと一体であり得る。
【0050】
パッシブセンサー１０からのデータを受信した後に、ドローン２４は、構造体１２上に位置する追加のパッシブセンサー１０からのデータを得るために、（場合によってはニューラル計算エンジンによって修正された）その事前決定された飛行経路２６を継続し得る。他の実施形態では、ドローンのニューラル計算エンジン３０は、センサー１０によって提供されたデータが、さらなる検査を必要とし得る何らかの様態の異常であることを決定するように動作可能であり得る。たとえば、携帯電話用鉄塔１２上のたわみセンサー１０は、ロケーションの近くに構造体上の弱点または変形があり得ることを示す、そのロケーションが以前の読み取り値に対して異常な量ゆがんだことを示すデータを提供し得る。そのような異常が識別された場合、ドローンのニューラルネットワーク計算エンジン３０は、ロケーションに関する追加のデータを得ることが必要であることを決定し得、ロケーションをさらに検査するために、オプティカルフローセンサー、ＲＧＢカメラ、温度カメラまたはマルチスペクトルカメラ、ＰＩＭ分析のための磁気センサーなど、ドローン上の１つ以上のオンボードセンサー３４をアクティブ化し得る。
【0051】
本明細書で説明するシステムおよび方法は少なくとも以下の利点を有する。本システムは、構造体１２のデジタルツイン、すなわち、物理的構造体自体に対するリアルタイムの仮想カウンターパートおよび／またはそのような構造体自体のモデルとして働く構造体の仮想表現を生成するために、データを収集しながら構造体１２の周りのパッシブセンサー１０の状況からデータを受信しパッシブセンサー１０の位置を特定する目的の、ニューラル計算エンジン３０の動作の下でほぼまたは完全に自律的なドローン２４を提供する。ニューラル計算エンジン３０は、センサー１０のロケーションとそのようなセンサー１０からのデータを安全に得る能力とに関する情報に応答して飛行経路２６を決定し、修正することが可能である。パッシブセンサー１０を励振する能力は、センサー上の電力蓄積または動作の必要性を低減するかまたはなくす。エネルギー伝達モジュール５０の動作時間を低減することも、ドローン２４に上の電力消費を低減し、それによって動作時間を延長する。
【0052】
上記の説明では、本開示のプロセス、機械、製造、組成物、および他の教示を示し、それらについて説明した。さらに、本開示では、開示されているプロセス、機械、製造、組成物、および他の教示の特定の実施形態のみを示し、それらについてのみ説明したが、上述のように、本開示の教示は、関連技術における当業者の技能および／または知識に相応して、様々な他の組合せ、改変、および環境において使用することが可能であり、本明細書で表された教示の範囲内で変更または改変が可能であることを理解されたい。上記で説明した実施形態は、さらに、本開示のプロセス、機械、製造、組成物、および他の教示を実施する知られているいくつかの最良の形態を説明するものであり、また、他の当業者が、そのような実施形態または他の実施形態において、具体的用途または使用によって必要とされる様々な改変とともに、本開示の教示を利用することを可能にするものである。したがって、本開示のプロセス、機械、製造、組成物、および他の教示は、本明細書で開示した厳密な実施形態および例を限定することを意図しない。本明細書のいかなるセクションの見出しも、３７Ｃ．Ｆ．Ｒ．§１．７７の示唆との一貫性のためにのみ、またはさもなければ組織的キュー（ｑｕｅｕｅ）を提供するために、提供される。これらの見出しは、本明細書に記載された本発明を限定するまたは特徴づけるものではない。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【国際調査報告】