特表2023-538589ハイジャック、電波妨害、およびなりすまし攻撃に対する耐性を伴う無人航空機
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-09-08
(54)【発明の名称】ハイジャック、電波妨害、およびなりすまし攻撃に対する耐性を伴う無人航空機
(51)【国際特許分類】
G08G 5/00 20060101AFI20230901BHJP
B64U 20/80 20230101ALI20230901BHJP
B64U 20/87 20230101ALI20230901BHJP
B64U 10/13 20230101ALI20230901BHJP
【ＦＩ】
G08G5/00 A
B64U20/80
B64U20/87
B64U10/13
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023512047
(86)(22)【出願日】2021-07-27
(85)【翻訳文提出日】2023-03-31
(86)【国際出願番号】 US2021070965
(87)【国際公開番号】W WO2022067278
(87)【国際公開日】2022-03-31
(31)【優先権主張番号】63/068,660
(32)【優先日】2020-08-21
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】523055293
【氏名又は名称】ドロボティクス， エルエルシー
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】スタイン， エヤル
【テーマコード（参考）】
5H181
【Ｆターム（参考）】
5H181AA26
5H181BB04
5H181BB05
5H181BB20
5H181CC04
5H181CC14
5H181EE12
5H181FF05
5H181LL01
5H181LL02
(57)【要約】
無人航空機（ＵＡＶ）または「ドローン」は、攻撃を検出し、それに応答することを支援するために、ニューラルネットワークを実行する。ニューラルネットワークは、航行の間、リアルタイムに、複数の搭載センサからのデータストリームを監視し得、高高度擬似衛星（「ＨＡＰＳ」）プラットフォームと通信し得る。例えば、ニューラルネットワークが、サイバー攻撃を検出したが、それが、外部通信に干渉しないという決定をする場合、ドローンの航行制御をＨＡＰＳに偏移し得る。
【特許請求の範囲】
【請求項1】
無人航空機（ＵＡＶ）であって、ニューラル算出エンジンと、
飛行パッケージと、
航行システムと、
画像入手デバイスと、
複数のアジャイル送受信機を含む通信設備と、
複数の予め記憶された通過点および飛行画像を含むコンピュータメモリと、
コンピュータであって、前記コンピュータは、（ａ）前記ＵＡＶへの攻撃を検出し、（ｂ）それに応答して、講じられるべき緩和アクションを識別し、（ｃ）前記アクションを講じさせるように訓練された予測子への入力として、前記画像入手デバイス、通信アレイ、または航行システムのうちの１つまたはそれを上回るものから受信されるデータを使用するために、プロセッサと、前記コンピュータメモリ内に記憶され、前記プロセッサによって実行可能である命令とを含む、コンピュータと
を備える、無人航空機（ＵＡＶ）。
【請求項2】
前記攻撃は、ＧＰＳなりすましであり、前記アクションは、前記ドローンに、ＧＰＳを伴わずに航行させることと、予め記憶された通過点飛行計画に沿って、複数の全米航空航行援助施設に対して、前記アジャイル送受信機を調整することとである、請求項１に記載のＵＡＶ。
【請求項3】
前記ドローンをＧＰＳを伴わずに航行させることは、オプティカルフローまたは慣性航行を使用する航行を含む、請求項２に記載のＵＡＶ。
【請求項4】
前記攻撃は、ＧＰＳなりすましであり、前記アクションは、高高度擬似衛星車両への航行制御の転送を引き起こすことである、請求項１に記載のＵＡＶ。
【請求項5】
前記攻撃は、ＲＦ遮断であり、前記アクションは、外部通信を要求しない予めプログラムされる飛行計画の実行である、請求項１に記載のＵＡＶ。
【請求項6】
前記予めプログラムされる飛行計画は、（ｉ）前記予めプログラムされる通過点飛行計画に沿って前記ドローンを航行させるための慣性航行またはオプティカルフローのうちの少なくとも１つと、（ｉｉ）画像マッチングを使用して、前記ドローンが各通過点に到達した時間を分類することとに依拠する、請求項５に記載のＵＡＶ。
【請求項7】
前記攻撃は、レーザ攻撃であり、前記アクションは、前記レーザから離れた飛行経路をプロットし、前記ドローンにそれを追従させることである、請求項１に記載のＵＡＶ。
【請求項8】
前記コンピュータはさらに、前記緩和アクションを算出的に識別するために、高高度擬似衛星車両と通信するように構成される、請求項１に記載のＵＡＶ。
【請求項9】
前記予測子は、ニューラルネットワークである、請求項１に記載のＵＡＶ。
【請求項10】
前記通信設備は、陸地および上空管制システムと相互作用するように構成される、請求項１に記載のＵＡＶ。
【請求項11】
アクションのデータベースをさらに備え、前記コンピュータは、前記検出された攻撃に応答して、前記データベースから、アクションを選択し、その実行を引き起こすように構成される、請求項１に記載のＵＡＶ。
【請求項12】
無人航空機（ＵＡＶ）を動作させる方法であって、前記方法は、前記ＵＡＶの飛行の間、リアルタイムにデジタル画像を入手するステップと、
前記ＵＡＶを航行させるためのＧＰＳ信号を入手するステップと、
無線信号を介して、陸地または上空インフラストラクチャと通信するステップと、
それに基づいて、前記入手されたデジタル画像、前記ＧＰＳ信号、および／または無線通信信号を、前記ＵＡＶへの攻撃を検出するように訓練された予測子を用いて、分析するステップと、
前記検出された攻撃に応答して、講じられるべき緩和アクションを識別するステップと、
前記アクションを講じさせるステップと
を含む、方法。
【請求項13】
前記攻撃は、ＧＰＳなりすましであり、前記アクションは、前記航行システムをＧＰＳを伴わずに航行させることである、請求項１２に記載の方法。
【請求項14】
前記サイバー攻撃は、ＧＰＳなりすましであり、前記アクションは、高高度擬似衛星車両への航行制御の転送を引き起こすことである、請求項１２に記載の方法。
【請求項15】
前記攻撃は、ＲＦ遮断であり、前記アクションは、外部通信を要求しない飛行計画の実行である、請求項１２に記載の方法。
【請求項16】
前記攻撃は、レーザ攻撃であり、前記アクションは、前記レーザから離れた飛行経路をプロットし、前記ドローンにそれを追従させることである、請求項１２に記載の方法。
【請求項17】
前記緩和アクションを算出的に識別するために、高高度擬似衛星車両と通信することをさらに含む、請求項１２に記載の方法。
【請求項18】
前記予測子は、ニューラルネットワークである、請求項１２に記載の方法。
【請求項19】
前記通信設備は、陸地および上空管制システムと相互作用するように構成される、請求項１２に記載の方法。
【請求項20】
前記アクションは、アクションのデータベースから選択される、請求項１２に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本願は、２０２０年８月２１日に出願された、米国第６３／０６８，６６０号の優先権および利益を主張する。
本願は、２０２０年８月２１日に出願された、米国第６３／０６８，６６０号の優先権および利益を主張する。
【0002】
本発明は、概して、無人航空機（ＵＡＶ）の航行、およびそれによる任務実行に関し、特に、ハイジャックする、または別様に上空動作に影響を及ぼすことを試みる、電子攻撃に対する抵抗を伴う、ＵＡＶに関する。
【背景技術】
【0003】
ＵＡＶは、一般には、ドローンまたは無人航空機システム（ＵＡＳ）として公知であり、遠隔操縦航空機とも称され、人間のパイロットの搭乗を伴わない、飛行体である。その経路は、搭載コンピュータによって自律的に、または地上または別の車両内のパイロットの遠隔制御によってのいずれかで制御される。ドローンは、その広範かつ多様な商業的潜在性の認識が、増加するにつれて、数が急増している。
【0004】
ドローンは、航行のためにＧＰＳ通過点を使用する等、全地球測位システム（ＧＰＳ）航行機能を利用し得、予めプログラムされた飛行経路に追従する傾向がある。これらは、ドローンを、搭載センサを使用して、走査および調査するであろう資産に、またはその周囲に導き得る。ドローンシステムは、動作環境を監視し、調査されることになる資産までの経路を予め計算し、それに追従し、調査を実施するために、様々な搭載センサ（１つまたはそれを上回るカメラ、無線周波数（ＲＦ）センサ等を含む）を利用し得る。
【0005】
これらのセンサの存在にもかかわらず、ドローンは、飛行経路の計画されていない変更に対応するために（例えば、予想外の障害物を回避する、または衝突回避操縦を実施するために）、それらが提供するデータを使用する、または通過点の正確度に影響を及ぼし得る、ＧＰＳドリフトに適合させるように装備されていない場合がある。ＧＰＳドリフトは、予めプログラムされた飛行経路が、ＧＰＳドリフトベクトルの較正および補正を考慮することに失敗するときに、生じる。操作者が、そのような補正が不在である通過点を伴う、飛行計画を画定するとき、例えば、航行システムは、ドローンをコースから外させ得る。わずかな偏差でさえ、着目資産の全てまたは一部分を予めプログラムされた飛行経路の外側、その結果、搭載センサの視野の外側に出し得る。ＧＰＳドリフトよりも危険なものは、ＧＰＳ信号を模倣し、ドローンをハイジャックし得る、電子的「なりすまし」攻撃であり、ドローンに損傷を与える、またはそれを盗取する、または人または財産に対する付随的損傷を引き起こすために、その意図される飛行経路から離れて誘導する。ドローンに対して使用され得る、他の形態のサイバー攻撃は、ＲＦ飽和攻撃を含み、これは、ドローンと衛星または陸地通信との間の接続を切断するように設計される。電子攻撃およびその標的が急増するにつれて、ドローンの動作を乗っ取る、またはそれに干渉しようとする悪意のある試みに対して、ドローンを保護するための必要性は、緊急なものである。
【発明の概要】
【課題を解決するための手段】
【0006】
本発明の実施形態は、ドローンの航行および制御をハイジャックする、改変する、または別様にそれに干渉しようとする試みを検出し、無効化する。本明細書内では広義に「攻撃」と称される、これらの努力は、多数の形態をとり得る。ドローンの航行パッケージが、損なわれている場合、飛行の間に適切な動作を復元することは、可能性として考えられ得ず、実際に、不法占有自体は、検出することが非常に困難であり得る。ドローンと衛星または陸地管制エンティティとの間の接続が、切断される、またはハイジャックされる場合、攻撃から必然的に導かれる結果を回避するために、航行制御をそのようなエンティティに転送することは、不可能であろう。搭載光学センサの方向感覚を喪失させる、または光を遮断するように設計される、レーザ攻撃は、航行パッケージ自体が、影響を受けていない場合であっても、ドローンをコース外に向かわせることができる。
【0007】
種々の実施形態では、ドローンは、ドローンが進行するにつれて、搭載カメラによって、リアルタイムに、捕捉される画像フレームを分析する、ニューラルネットワークを含む。ニューラルネットワークは、人間の脳を大まかにモデル化したコンピュータアルゴリズムであり、パターンを認識することと、非線形ルールを学習することと、データ間の複雑な関係を定義することとにおいて優れている。それらは、ドローンが、航行し、任務サポートを提供し、データの過剰収集を伴うことなく、適切な資産調査を確実にすることに役立ち得る。本明細書によるドローンは、ニューラルネットワークを実行し、調査、偵察、報告、および他の任務を支援し得る。本発明は、低高度調査ドローンに搭載されて実行される、教師なし「深層学習」ニューラルネットワークを利用する。そのようなドローン調査ニューラルネットワーク（「ＤＩＮＮ」）は、予めプログラムされる飛行経路に沿った資産への航行の間、および／またはその任務の間（例えば、資産を走査および調査する際）、複数の搭載センサからのデータストリームをリアルタイムに監視し得る。本ニューラルネットワークは、空域内での安全かつ効率的なドローン動作を可能にするために、無人交通管理システムと通信し得、そして有人航空交通と通信し得る。陸地および／または衛星ベースの通信ネットワークへの双方向性接続を使用し、ＤＩＮＮは、リアルタイムの空域変更認可を要求または受信し得、したがって、他の航空交通との空域衝突、地形または障害物衝突を考慮するように、またはより効率的な任務実行のために、ドローンの飛行経路を最適化するように、ドローンの飛行経路を適合させることができる。重要なこととして、ＤＩＮＮは、ドローンデータの位置を監視し、攻撃を検出し、適切なアクションを決定するために、ドローンが、監視と防御の独立層として作用することを有効にすることができる。ドローンをハイジャックし、その意図される飛行経路から離して誘導するように設計される、ＧＰＳなりすまし攻撃、またはドローンとＨＡＰＳＮＮまたは陸地通信との間の接続を切断するように設計される、ＲＦ遮断攻撃の場合、ＤＩＮＮは、資産または他の目印に対して相対的に、ドローンの位置を追跡し、ドローンが、他の方向へ航行させられることに抵抗する、または通信が、確実に再確立されるまで、安全な飛行経路を維持することを可能にすることができる。光学センサの方向感覚を喪失させる、または光を遮断することが意図されるレーザ攻撃の場合には、ＤＩＮＮは、そのような攻撃によって生産されるパターンを認識および分類し、ドローンによって、予めプログラムされた応答をトリガし、攻撃に反撃する、またはドローンの飛行経路を改変し、攻撃の源からそれ自体を遠ざけることができる。
【0008】
上空インフラストラクチャは、高高度長期耐久性（「ＨＡＬＥ」）プラットフォームとも呼ばれる、高高度擬似衛星（「ＨＡＰＳ」）プラットフォームを含む。これらは、高高度（例えば、少なくとも７０，０００フィート）において、持続的に動作する無人航空機であり、昼間は、太陽放射によって再充電され得、したがって、長期間にわたって飛行したままであり続け、衛星同様の広い有効範囲の空域を提供することができる。ＲＦ通信ペイロードを装備されたＨＡＰＳドローンは、単独で、または既存の通信衛星コンステレーション、または地上ベースの電気通信ネットワーク、領空域偵察インフラストラクチャ、領空域航行援助施設、または個々の航空交通通信および偵察システムと連携して、ＲＦ有効範囲の広大な面積を提供し、ドローンを含む航空交通へのコネクティビティおよびリアルタイム通信および偵察サービスを提供することができる。
【0009】
ＨＡＰＳプラットフォームは、変化する帯域幅の需要を満たすためのアップグレードのために容易に回収されない、または直前に数を増加させられない衛星コンステレーションより、少ない費用かつ高い柔軟性を伴って、動作されることができる。加えて、衛星は、既存の地球航空交通偵察システムと容易に統合されず、ドローンの動作を監視し、同一空域内で動作するドローンと有人航空交通との安全な分離を維持するために、それらをＨＡＰＳプラットフォームほど十分に好適な状態にはしない。電気通信施設等の陸地の代替手段は、一般的には、短距離かつ小面積の有効範囲を有し、繰り返しになるが、有効範囲または能力を拡張することは、費用がかかり、地形または人工構造物の特徴に起因して、実現可能でさえない場合がある。
【0010】
ＨＡＰＳプラットフォームは、それが、航空交通を監視する際、ニューラルネットワーク（「ＨＡＰＳＮＮ」）を実行し得る。ニューラルネットワークは、リアルタイムに、有効範囲のその空域内の事象を分類、予測、および解析すること、および以前には見られなかった、または検出されなかった、新たな事象から学習することを有効にする。ＨＡＰＳＮＮ装備型ＨＡＰＳプラットフォームは、有効範囲のその空域内の航空交通のほぼ１００％の偵察を提供し得、ＨＡＰＳＮＮは、空域内の安全かつ効率的なドローン動作を促進するために、ドローンから受信されるデータを処理し得る。ＨＡＰＳＮＮはまた、双方向性接続およびリアルタイム監視を有効にし、したがって、ドローンが、その意図される任務をより良好に実行することができる。
【0011】
種々の実施形態では、ＤＩＮＮは、ＨＡＰＳＮＮと協働する。例えば、ＤＩＮＮが、攻撃を検出したが、それが、外部通信に干渉しないという決定をする場合、ドローンの航行制御をＨＡＰＳＮＮに偏移し得る。
【0012】
故に、第１の側面において、本発明は、種々の実施形態では、ニューラル算出エンジンと、飛行パッケージと、航行システムと、画像入手デバイスと、複数のアジャイル送受信機を含む、通信設備と、複数の予め記憶された通過点および飛行画像を含む、コンピュータメモリと、コンピュータであって、（ａ）ＵＡＶへの攻撃を検出し、（ｂ）それに応答して、講じられるべき緩和アクションを識別し、（ｃ）アクションを講じさせるように訓練された、予測子への入力として、画像入手デバイス、通信アレイ、または航行システムのうちの１つまたはそれを上回るものから受信されるデータを使用するために、プロセッサと、コンピュータメモリ内に記憶され、プロセッサによって実行可能である命令とを含む、コンピュータとを備える、ＵＡＶに関連する。
【0013】
攻撃が、ＧＰＳなりすましである場合、アクションは、ドローンに、ＧＰＳを伴わずに航行させることと、予め記憶された通過点飛行計画に沿って、複数の全米航空航行援助施設に対して、アジャイル送受信機を調整することとであり得る。ドローンは、オプティカルフローおよび／またはカルマンフィルタリングを用いた慣性航行を使用して、ＧＰＳ航行を伴うことなく、航行し得る。攻撃が、ＧＰＳなりすましである場合、アクションは、ＨＡＰＳへの航行制御の転送を引き起こすことであり得る。攻撃が、ＲＦ遮断である場合、アクションは、外部通信を要求しない予めプログラムされる飛行計画の実行である。いくつかの実施形態では、予めプログラムされる飛行計画は、（ｉ）予めプログラムされる通過点飛行計画に沿って、ドローンを航行させるために、カルマンフィルタリングを用いた慣性航行またはオプティカルフローのうちの少なくとも１つ、および（ｉｉ）画像マッチングを使用して、ドローンが、各通過点に到達した時間を分類することとに依拠する。攻撃が、レーザ攻撃である場合、アクションは、レーザから離れた飛行経路をプロットし、ドローンにそれを追従させることであり得る。
【0014】
いくつかの実施形態では、コンピュータはさらに、緩和アクションを算出的に識別するために、ＨＡＰＳ車両と通信するように構成される。予測子は、例えば、ニューラルネットワークであり得る。種々の実施形態では、通信設備は、陸地および上空管制システムと相互作用するように構成される。ＵＡＶはさらに、所定のアクションのデータベースを備え得、コンピュータは、検出された攻撃に応答して、データベースから、アクションを選択し、その実行を引き起こすように構成される。
【0015】
別の側面では、本発明は、ＵＡＶを動作させる方法に関する。種々の実施形態では、本方法は、ＵＡＶの飛行の間、リアルタイムにデジタル画像を入手するステップと、ＵＡＶを航行させるためのＧＰＳ信号を入手するステップと、無線信号を介して、陸地または上空インフラストラクチャと通信するステップと、それに基づいて、入手されたデジタル画像、ＧＰＳ信号、および／または無線通信信号を、ＵＡＶへのサイバー攻撃を検出するように算出的に訓練された予測子を用いて、算出的に分析するステップと、検出されたサイバー攻撃に応答して、講じられるべき緩和アクションを算出的に識別するステップと、アクションを講じさせるステップとを含む。
【図面の簡単な説明】
【0016】
前述および以下の詳細な説明は、図面と併せて解釈されるとき、より容易に理解されるであろう。
【0017】
【0018】
【0019】
【0020】
【0021】
【0022】
【0023】
【0024】
【0025】
【0026】
【0027】
【0028】
【0029】
【0030】
【0031】
【0032】
【0033】
【発明を実施するための形態】
【0034】
最初に、図１－７を参照すると、これは、従来のＨＡＰＳプラットフォーム１０５によって実施される機能、およびＨＡＰＳＮＮの動作を通して、これらの機能が向上され得る様式を図示している。図１では、ＨＡＰＳプラットフォーム１０５は、１０８において代表的に示される、複数の携帯電話中継塔と、１１０において代表的に示される、複数の航空管制システムと、１１３において代表的に示される、一連の航空機と通信し、これらのシステムおよび車両の全ては、ＨＡＰＳプラットフォーム１０５が監視する、画定された空域１１５内に存在する。ＨＡＰＳプラットフォーム１０５はまた、空域１１５内の複数のドローン１１８と、直接および／または携帯電話中継塔を介して通信し得る。最終的に、ＨＡＰＳプラットフォーム１０５は、例えば、実質的に固定された位置を維持するためのジオロケーションのために、１２０において代表的に示される、衛星と通信し得る。このように、ＨＡＰＳプラットフォーム１０５は、空域１１５の完全なスナップショットを取得および更新し、その中の航空交通を監視し、空域１１５内の種々の相互通信エンティティ間の通信ハブとしての役割を果たす。
【0035】
図２に見られるように、ＨＡＰＳ１０５は、監視される空域１１５内で動作する、ドローン１１８および有人航空交通１３３の位置、状態、および速度を監視する。搭載ＨＡＰＳＮＮは、ドローン１１８の動作高度を前提として、地形または他の障害物２０５が、ドローン１１８と航空管制システム１１０と、さらに航空機１１３との間の見通し内通信を遮断するであろうことを認識する。障害物２０５は、ＨＡＰＳ１０５によってリアルタイムに認識され、マップされるが、それらは、ＨＡＰＳ１０５にローカルで、またはワイヤレスリンクを介してアクセス可能なマップ内に記憶される可能性が高くあり得る。より具体的には、ＨＡＰＳＮＮは、障害物２０５が、ドローン１１８と航空管制システム１１０との間の現在または未来の通信に干渉する尤度を算出し得、その尤度が、閾値を超過する場合、ドローン１１８と航空管制システム１１０とをブリッジする、通信リンクを確立するための必要性を登録する。その場合では、ＨＡＰＳ１０５は、それに応答して、任意の適切なモダリティまたはその組み合わせ、例えば、観察、テレメトリ、信号監視、および／またはドローン１１８および／またはその飛行を監視する地球航空交通管制システムとの直接通信によって、ドローン１１８の状態（高度を含む、位置、および軌道）を取得する。
【0036】
本認識された必要性の結果として、ＨＡＰＳ１０５は、中間ノードとして通信ネットワークに進入し、ドローン１１８と、航空管制システム１１０（例えば、ＵＴＭおよびＬＡＡＮＣ）または他の地上ベースの航空交通偵察インフラストラクチャとの間で、メッセージを中継し得る（すなわち、伝送リンクとして作用する）。ＨＡＰＳＮＮが不在の場合、ＨＡＰＳ１０５は、それに対応して動作するであろうが、例えば、ドローン１１８が、先にＨＡＰＳ１０５および管制システム１１０と通信していた場合、ＨＡＰＳ１０５は、ドローン１１８が、障害物２０５に接近するにつれて、ドローン１１８と管制システム１１０との間の直接通信が、喪失されるとき、バックアップ通信チャネルとしての役割を果たし得る。ＨＡＰＳＮＮは、ドローン１１８と管制システム１１０との間の先行する通信が行われていない場合であっても、ＨＡＰＳ１０５による積極的かつ予測的な介入を促進する。空域１１５内の地形および固定された通信特徴の位置、および（空域１１５に進入したたばかりであり得る）ドローン１１８の算出された軌道に関する、記憶または入手された知識に基づいて、ＨＡＰＳＮＮは、ドローン１１８と管制システム１１０との間の通信に対する必要性を認識し、ＨＡＰＳ１０５に、ハブとして、それ自体とのワイヤレスリンクを確立させる。同様に、ドローン１１８および有人航空機１１３の地形および監視された高度に関する知識に基づいて、ＨＡＰＳＮＮは、ＨＡＰＳ１０５に、ハブとして、それ自体とのドローン１１８と航空機１１３との間のワイヤレスリンクを確立させ得る。
【0037】
図３は、高度を限定されて認可された空域３０５を通して移行する、ドローン１１８が、空域３０５内に留まるために、それが、その周囲を飛行しなければならない、３１０において集合的に示される、障害物に遭遇するであろう状況を図示する。予めプログラムされた飛行経路からの本逸脱は、障害物の範囲に応じて、非常に大きくあり得、ドローンが、優れた正確度を伴って、取り扱うように装備されていない、コース補正を要求し、潜在的に、それが、そこに到達するとき、標的の全てまたは一部分を見落とすことにつながり得る。ドローン１１８と通信しているＨＡＰＳ１０５を用いる場合、ＨＡＰＳＮＮは、付加的な空域認可に対する必要性を予測し、領域３１５への拡張を要求する。いったん認可が取得されると、ＨＡＰＳ１０５は、高度制限の緩和をドローン１１８に通信する。いくつかの実施形態では、ＨＡＰＳ１０５は、ドローン１１８のためのより高い高度における修正された飛行経路３２０を算出し得、航行正確度に影響を及ぼし得る、側方逸脱を伴うことなく、標的のためにコース上に留まることを有効にする。
【0038】
同様に、図４では、ドローン１１８のために計画され認可された飛行経路４０５は、ＨＡＰＳ１０５が、搭載レーダを用いて、またはリアルタイムの気象更新から検出する、危険な局所的な気象パターンを通して、それを取り込むであろう。ドローンの飛行経路および気象条件を認知しているＨＡＰＳＮＮは、代替飛行区画４１０に対する必要性を認識し、それが、または別の搭載算出モジュールが、これを算出する。ＨＡＰＳ１０５は、新たな飛行経路４１０に対する認可を取得し、それをドローン１１８の航行システムに通信する。
【0039】
図５は、携帯電話中継塔１０８と、全米航空システム航行援助信号（ＶＯＲ、ＶＯＲ／ＤＭＥ、ＴＡＣＡＮ等）の源５０５との見通し線内通信を阻止する、障害物を通して進行する、ドローン１１８を示す。ＨＡＰＳＮＮは、空域１１５内の陸地の特徴、およびドローン１１８の状態に関する知識から、本条件を推測する。必然的に導かれる結果として、ＨＡＰＳＮＮは、ＨＡＰＳ１０５に、少なくとも、遮断される源１０８、５０５からの信号を中継させる、またはハブとして、それ自体との通信エンティティ１０８、１１８、５０５間のワイヤレスリンクを確立させる。
【0040】
図６では、ドローン６０５は、その認可された空域６１０内を飛行している。第２のドローン６１５が、空域６１０に進入し、ＨＡＰＳＮＮは、ドローン６０５、６１５が、通信していない、または通信することができないことを検出する。例えば、ドローン６０５、６１５の一方または両方が、「非協働的」である、すなわち、他のドローンと通信し、飛行経路における衝突を回避するように装備されていない場合がある。ＨＡＰＳＮＮは、ドローン間、および／または地上ベースの航空交通偵察および監視システムとの通信、またはその不在に基づいて、これを推測し得る。ＨＡＰＳＮＮは、衝突を回避するために、ドローン６０５が、ドローン６０５がドローン６１５を通過するまでの一時的であり得る、代替飛行経路６２０に追従するべきであることを決定する。ＨＡＰＳＮＮまたは別の搭載算出モジュールは、新たな飛行経路６２０を算出する。ＨＡＰＳ１０５は、それに応じて、新たな飛行経路６２０に対する認可を取得し、それをドローン６０５の航行システムに通信する。
【0041】
図７を参照すると、ドローン１１８は、例えば、ＲＦＩＤ読取機を使用して、認可された空域回廊７０７内の飛行経路７０５に追従し、一連の資産（例えば、電力線７１２に沿った、一連の変換器７１０１．．．７１０５）からのデータ読取値を調査する、または取り込む。ＨＡＰＳＮＮは、ドローン１１８によって受信されるデータストリームを監視し、ドローンが異常を検出した場合、ＨＡＰＳＮＮは、ドローン１１８が、その空域認可に対する変更を要求するであろうことを推測し得る。特に、異常が、変換器７１０３と関連付けられる場合、予測される認可の必要性は、領域７２０を網羅し得る。ＨＡＰＳＮＮは、ＨＡＰＳ１０５に、アクションを講じさせる、例えば、情報を適切なＵＴＭ／ＬＡＡＮＣシステムに中継する、またはドローン１１８の代わりに、空域認可に対する変更を要求し得、これは、次いで、より接近して変換器７１０３を自由に調査し、リアルタイムまたは後の評価のためにその画像を記録するであろう。
【0042】
図８Ａは、代表的なＨＡＰＳＮＮアーキテクチャ８００を図示し、これは、ＨＡＰＳ飛行体と、種々のハードウェアおよびソフトウェア要素とを含む。一般に、コンピュータメモリに記憶される命令として実装される、複数のソフトウェアサブシステムは、従来の中央処理ユニット（ＣＰＵ）８０２によって実行される。ＣＰＵ８０２は、ＨＡＰＳ車両の飛行および動作、および下記に説明される機能を制御し得る、またはこれらの機能は、別個のプロセッサ８０２間で配分され得る。加えて、ニューラルネットワーク機能性の効率的な実行に関し、本システムは、専用グラフィックス処理ユニットを含み得る。オペレーティングシステム（例えば、ＭＩＣＲＯＳＯＦＴ ＷＩＮＤＯＷＳ（登録商標）、ＵＮＩＸ（登録商標）、ＬＩＮＵＸ（登録商標）、ｉＯＳ、またはＡＮＤＲＯＩＤ（登録商標）等）は、ファイル管理、リソース配分、および（少なくとも１つの不揮発性記憶要素８０３を含む）ハードウェアデバイスおよびソフトウェアサブシステムから、およびそれらへのメッセージの経路指定等の低レベルのシステム機能を提供し、これは、コンピュータメモリ８０４内で実行される。より一般的には、ＨＡＰＳＮＮ８００は、ハードウェア、ソフトウェア、または両方の組み合わせにおいて実装される、モジュールを含み得る。ソフトウェア内に提供される機能に関し、プログラムは、ＰＹＴＨＯＮ、ＦＯＲＴＲＡＮ、ＰＡＳＣＡＬ、ＪＡＶＡ（登録商標）、Ｃ、Ｃ＋＋、Ｃ＃、ＢＡＳＩＣ、種々のスクリプト言語、および／またはＨＴＭＬ等のいくつかの高レベル言語のいずれかにおいて、書き込まれ得る。ＨＡＰＳ車両の動作に関与する、ソフトウェアモジュール、および機械的および飛行特徴は、従来のものであり、図示されない。例えば、米国特許第１０，６１８，６５４号を参照されたい。
【0043】
ＨＡＰＳＮＮ８００は、ニューラルネットワークモジュール８０５と、送受信機モジュール８０８と、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）８１０とを含む。モジュール送受信機モジュール８１０およびＦＰＧＡ８１０は、飛行体間、および陸地および衛星ベースの管制インフラストラクチャとの上空通信をサポートするように構成される、通信設備を構成する、またはその一部であり得る。ＨＡＰＳＮＮ８００は、ＤＩＮＮ８１２を装備する、ドローンと併せて動作し得る（但し、その必要はない）。クラウドニューラルネットワークモジュール８０５は、ＨＡＰＳ車両に対してローカルであるが、より典型的には、下記に説明されるように、クラウド内で、すなわち、ＨＡＰＳ車両とのワイヤレス通信における、遠隔（例えば、陸地）サーバ上で動作し得る。モジュール８０８、８１０は、典型的には、ＨＡＰＳ車両自体上に位置する。
【0044】
クラウドニューラルネットワークモジュール８０５は、ドローンからリアルタイムに、アジャイル送受信機８０８を介して、受信される画像およびデータを処理する、分類ニューラルネットワーク８１５を含み、これは、クラウドニューラルネットワーク８０５まで通過され得る。分類ニューラルネットワーク８１５は、監視されるドローンが引き受ける任務に関連する、訓練画像のデータベース８１７を使用して訓練されている。分類ニューラルネットワーク８１５は、受信される画像およびデータを処理および分類し、それと関連付けられる異常を検出する、すなわち、その確率を算出する。すなわち、異常は、受信される画像内の何らかのものに基づいて、または他のドローンテレメトリと並行して検討されるとき、検出され得る。例えば、他の例外的でない画像は、ドローンによって報告される気象条件と併せて撮影されるとき、異常検出をトリガし得る。異常が検出されるとき、分類ニューラルネットワーク８１５は、適切な応答を決定するために、分類データベース８１９を閲覧し得、すなわち、データベース８１９は、それぞれが、異常、および順に講じられ得る１つまたはそれを上回る関連付けられるアクションを規定する記録を含む。データベース記録を有しない異常が、検出された場合、画像は、人間による調査および分類のために伝送され得る。新たな分類が、次いで、訓練データベース８１７に追加され、ニューラルネットワーク８１５を再訓練するために使用される。結果として生じる、調節された加重が、ニューラルネットワーク８０５と関連付けられるクラウドサーバによって、現場内のドローンおよび他のドローンに、類似する任務プロファイルを伝送する、ＤＩＮＮ８１２（存在する場合）に逆伝播され得る。本手順は、下記にさらに説明される。
【0045】
アジャイル送受信機パッケージ８０８は、照会、応答、および再ブロードキャストのために、９７８ＭＨｚ、１，０９０ＭＨｚ、および１，０３０ＭＨｚで動作する、自動従属偵察ブロードキャスト（ＡＤＳ－Ｂ）と、交通衝突回避システム（ＴＣＡＳ）と、二次偵察レーダ（ＳＳＲ）と、自動従属偵察リブロードキャスト（ＡＤＳ－Ｒ）サブシステムとを含む。これらは、ＨＡＰＳＮＮ８００が、有人航空交通の位置を「リッスン」することを有効にし、したがって、ニューラルネットワーク８１５は、３Ｄまたは２Ｄ空間内の近傍交通を算出的に表し、ドローンと有人航空交通との間の任意の衝突を解析することができる。これは、ドローンの位置を有人航空交通に、または有人航空交通の位置をドローンにブロードキャストすることによって実現されることができる。緊急警告は、空域における衝突を回避するために移動するべき方向に関する命令を伴って、有人および／または無人交通に対して発行される。
【0046】
アジャイル送受信機８０８は、いくつかのＵＴＭシステムが利用する、陸地電気通信ネットワークを用いて、またはＨＡＰＳからクラウドベースのニューラルネットワークにデータを伝送するためのバックホール通信チャネルを用いて、ＨＡＰＳＮＮ８００の空域内で動作するドローン間の通信リンクをサポートするために、３Ｇ、４Ｇ、ＬＴＥ、５Ｇ、または任意の将来的電気通信プロトコルおよび帯域幅を含む、セルラーネットワークパッケージを含み得る。ＶＨＦおよびＵＨＦ送受信機（ＴＸ／ＲＸ）モジュールは、ＧＰＳ信号が喪失された場合に、ニューラルネットワーク８０５が、信号の飛行時間を使用して、ドローンおよびＨＡＰＳの位置を解析することを可能にする、ＶＯＲ、ＶＯＲ／ＤＭＥ、またはＴＡＣＡＮ等の航行援助施設を監視するために使用され得る。これはまた、万一、必要性が生じた場合、データを伝送または受信するために、衛星通信コンステレーションを活用することも有効にする。ドローン仮想レーダ（ＤＶＲ）データリンクは、衝突を解析する、またはドローンを追跡することに役立てるために、航空交通位置情報を送信および受信するために、（例えば、米国特許第１０，５８６，４６２号に記載される）本技術を実装するドローンプラットフォームとの通信を促進する。ニューラルネットワーク（ＮＮ）データリンクは、ＨＡＰＳＮＮ８００が、ＤＩＮＮニューラルネットワーク算出エンジン８２５と通信することを可能にする、専用高帯域幅バックホールチャネルであり、監視される空域内で動作する複数のドローンから受信される、リアルタイムデータを伝送し、分類データベース８１９から取得される予測およびアクション命令を受信する。ＦＰＧＡ８１０は、送受信機８０８を調整し、ノイズをフィルタ除去する、ソフトウェアを起動するためのハードウェア促進因子として採用される。
【0047】
ドローン１１８内に実装される、代表的なＤＩＮＮ８１２は、ニューラルネットワーク算出エンジン８２５と、分類データベース８２５と、下記に説明されるような種々のデータ取扱および処理機能を実施するための「バックエンド」コードとを含む。加えて、ドローン１１８は、上記に詳述されるように、アジャイル送受信機８０８とＦＰＧＡ８１０とのセットを備える、またはそれから成る通信設備を含む。また、ドローン１１８は、ＣＰＵ８０２と、ストレージ８０３と、コンピュータメモリ８０４とを含み得る。
【0048】
言及されるように、ＤＩＮＮ８１２は、ＨＡＰＳＮＮ８００と相互作用し得るが、いずれか一方が、存在し、それ自体で動作することができる、すなわち、ＨＡＰＳＮＮは、ＤＩＮＮの展開および使用の成功のためには不必要であるが、ＨＡＰＳＮＮは、ＤＩＮＮを欠いている飛行体に対して、その偵察および安全の役割を果たし得る。ＤＩＮＮ８１２の役割は、ドローン１１８が、調査している資産上の着目物体、および飛行の間に回避する必要があるであろう障害物を分類する（例えば、調査されることになる携帯電話中継塔、およびそのような塔上の亀裂の入ったアンテナを認識する）ことを有効にすることである。ニューラルネットワーク８２５は、画像入手デバイス８２７、例えば、ドローン１１８上のビデオカメラから受信される、画像を処理および分類するように構成される。故に、ニューラルネットワーク８２５は、着信画像内の物体を検出および認識するようにプログラムされる、畳み込みニューラルネットワーク（ＣＮＮ）であり得る。これらは、ニューラルネットワークの訓練に基づいて分類され得、ＤＩＮＮ８１２（例えば、バックエンドコード）は、検出される画像に対する適切な応答を決定するために、分類データベース８３０を閲覧し得る。本場合では、データベース８１９は、それぞれが、いくつかの意味論的意味またはアクションと関連付けられる、物体を規定する記録を含む。例えば、ニューラルネットワーク８２５が、着信画像内に木を検出した場合、対応するデータベースエントリは、木を障害物として識別し、ドローンの航行システム８３２が、ドローンの操向および推進システムを制御することによって実行する、回避操縦をトリガし得る。これらは、ドローンの飛行パッケージ８３５の一部であり、これは、従来のものであり、したがって、詳細には示されないが、電源、通信プラットフォーム、推進および操向システム、自動操縦システム等を含む。
【0049】
ＤＩＮＮ８１２はまた、１つまたはそれを上回る偵察システム８３７、８３９からデータを受信し得、これは、ＤＶＲ、ＵＴＭ、ＬＡＡＮＣ、ＡＤＳ－Ｂ、およびＴＣＡＳシステムのうちの１つまたはそれを上回るものを含み得る。これらは、ドローンの通信プラットフォームの一部として実装され得るが、ニューラルネットワーク８２５が、画像を分類する際に本データを使用し得るため、それらは、ＤＩＮＮ８１２内に概念的なものとして図示されている。同様に、気象偵察システム８４２は、従来の方法では、ドローンの通信プラットフォーム内に実装されるであろうが、繰り返しになるが、気象条件が、画像分類またはデータベース検索に関連し得るため、ＤＩＮＮ８１２の一部として示されており、図４に示されるように、同一の視覚場面は、気象に応じて、異なるアクションを促し得る、例えば、ドローン１１８は、強風条件下では、建物により広い停泊余地を与え得る。
【0050】
ドローン１１８が、ＨＡＰＳＮＮ８００と協働的に相互作用する実施形態では、後者は、さらなるサポートおよびより強力な分類能力を提供し得る。例えば、ニューラルネットワーク８２５によって分類不可能である、検出された物体を伴う画像は、吟味のためにＨＡＰＳＮＮ８００にアップロードされ得、ＨＡＰＳＮＮによって、返信として発行されるリアルタイム命令は、ドローンの航行システム８３２によって実行され得る。さらに、ＨＡＰＳＮＮ８００は、そのドローンによって行われている（かつＨＡＰＳＮＮ８００にリアルタイムに通信される）分類に基づいて、ドローンの任務をより良好に適合させるために、ニューラルネットワーク８２５のための異なる加重ファイルをリアルタイムに更新または供給し得る。ニューラルネットワーク８２５は、受信されるとき、これらの新たな加重ファイルをそれに応答して読み込む。
【0051】
本プロセスは、図８Ｂに示されている。図８Ａもまた参照すると、ＤＩＮＮ８１２は、着信画像フレーム（例えば、約毎秒３０フレーム（ＦＰＳ））をリアルタイムに処理し、ドローン１１８が、衝突を回避し、塔８５０の周囲を飛行するために十分な速さで反応することを有効にする。故に、ドローン１１８は、ＣＮＮ動作をサポートするために、グラフィックス処理ユニット（ＧＰＵ）を含み得る。リアルタイムフレーム分析は、ＧＰＵが、画像を処理し、調査されることになる資産上の着目アイテムを分類し、分類のバックエンドコードを通知し、一般的には、分類に対応するアクションを取得するために、分類データベース８３０内で検索を実施することによって、バックエンドコードが、分類に反応する論理を実行することを可能にする。
【0052】
ドローン１１８は、画像データをＨＡＰＳＮＮに伝送し、これは、例えば、毎秒６０メガピクセル（ＭＰ）の写真画像を処理することが可能である、（算出エンジン８１５内、または所望に応じて、さらにＨＡＰＳ自体内の）高精度ＣＮＮを含む。ＣＮＮアーキテクチャは、算出エンジン８２５上で起動する、バックエンド論理を活用することによって、分類の速度および正確度のために設計される。本バックエンド論理は、ドローンによって捕捉される、資産の最初の数枚の画像に基づいて分類される資産に基づいて、ＣＮＮの加重および構成ファイルを変更することができる。これらの予備画像は、安全な距離における資産の周囲の「予備」飛行経路の一部として収集され、解像度において、６０ＭＰまたはそれを上回り得る。これらの予備画像は、ＣＮＮの入力画像サイズ（例えば、２２４×２２４、または調査されることになる資産に応じて、それよりも大きい）に縮小され、（例えば、２０個の）連続する畳み込み層を通して通過し、その後、平均プーリング層と、異なる資産（例えば、１００個のタイプの資産）を分類するために予め訓練される、完全結合層とが続く。いったん資産のタイプが、識別されると、加重および構成ファイルは、変更され得、より多くの（例えば、４つの）畳み込み層が、追加され、その後、資産上に存在し得る、着目物体または面積の確率および境界ボックスを出力するために、２つの完全結合層が、続く。ドローンからアップロードされる画像は、本タイプの分類が、より粒度の細かい詳細が存在することを要求するため、（例えば、４４８×４４８まで）サイズを増加させられ得る。サイズ増加の度合いは、動的に制御され、例えば、十分な詳細が、信頼可能な分類のために検出されない場合、スケールアップされ得る。
【0053】
完全結合層は、クラス確率および境界ボックス（すなわち、亀裂の入ったアンテナ、錆、および腐食等）を予測する。実施例として、最終層は、線形アクティブ化を使用し得るが、畳み込み層は、リーキーＲｅＬｕアクティブ化を使用し得る。
【0054】
いったん算出エンジン８２５のバックエンド論理が、クラスおよび境界ボックス座標の存在を検出すると、これは、その具体的な分類をドローンの画像入手デバイスの視野の中心に動かすために、重心トラッカ機能に切り替え、それをトリガし得る。バックエンド論理は、高解像度走査のための画像入手デバイスに接近し、それを位置付けるために、ドローンにとって最も安全な飛行経路を解析するために、測距算出エンジンと協働する。
【0055】
故に、予備飛行経路は、視野内の資産のタイプを確立し、任意のＧＰＳドリフトベクトルを考慮するために、ドローンに対して相対的な３Ｄ空間内の資産の位置を登録する。動作面積内に、任意の障害物または危険が存在する場合、それらは、分類され、３Ｄ空間内のそれらの位置が、登録される。重心トラッカは、いったん着目面積内の分類が、検出されると、アクティブ化され、着目物体を視野内の中心に保つ。測距算出エンジンは、ドローンの順方向および逆方向の移動を制御する。これらのコマンドのいずれかが、実行される前に、動作面積内に存在する資産および任意の障害物に対して相対的な３Ｄ空間内のドローンの位置が、取得される。本データは、ドローンを着目面積まで動かすであろう、安全なＧＰＳ通過点飛行経路を解析する、バックエンド論理を通して起動され、ＧＰＳ拒否面積では、本飛行経路は、依然として、重心および測距機能性と併せて、慣性データのカルマンフィルタリングを使用して、解析および実行されることができる。飛行経路は、重心トラッカおよび測距算出エンジンを介して、リアルタイムに微調整される。重心トラッカは、ＤＩＮＮ８１２ではなく、ＨＡＰＳＮＮ８００によって実行され得ることに留意されたい。
【0056】
ステップ８５５では、ＨＡＰＳＮＮ ＣＮＮ（「ＨＰ－ＣＮＮ」）は、標準的な物体検出ルーチン（例えば、ＹＯＬＯ）を使用して、その中の物体を検出するために、各画像を処理し、（下記にさらに議論される）その先行する訓練に基づいて、全ての検出された物体を識別（すなわち、分類）することを試みる。識別されることができない検出された物体は、データベース内に記憶され、識別および標識付けのために、人員にとって利用可能なものにされる（ステップ８５７）。ＨＰ－ＣＮＮは、次いで、新たに識別され、標識付けされた物体データを含む、拡張データセット上で再訓練され（ステップ８５９）、新たなＣＮＮ加重の生成を結果としてもたらす（ステップ８６２）。ドローン１１８上に常駐する、リアルタイムニューラルネットワーク８２５もまた、ＣＮＮ（「ＲＴ－ＣＮＮ」）である場合、ＨＡＰＳＮＮ８００は、これらの加重をＲＴ－ＣＮＮにプッシュし得、これは、それらを受信し、ロードする。すなわち、ＨＰ－ＣＮＮおよびＲＴ－ＣＮＮは、ＨＰ－ＣＮＮのために生成されるＣＮＮ加重が、ドローン隊列を横断して、伝播され得るように、同じであり得る、または実質的に類似し得る。
【0057】
ＨＰ－ＣＮＮ（または、いくつかの実施形態では、それ自体の上のＲＴ－ＣＮＮ）は、従来の方式で訓練され得る。特に、ＣＮＮは、ドローンが、任務を実行するにつれて、ドローンによって遭遇される可能性が高い物体の標識付き画像上で訓練され、それらの典型的な飛行経路内で、ドローンによって遭遇される可能性が最も高い物体を分析および分類することが可能である、ＣＮＮをもたらす。訓練セットが、網羅的ではあり得ず、ドローンが、使用の間、未知の物体に必然的に遭遇するであろうため、認識されない物体の所在を突き止め、手動の標識付けのために、それらを記憶し、その後、拡張データセット上でＣＮＮを再訓練する、上記に説明されるプロセスは、ドローンの視覚的ボキャブラリおよびアクションレパートリを絶えず充実させることによって、事故のリスクを最小限にすることに役立つ。これは、多くのドローンから分類不可能な物体を受信する、中央訓練ハブとして、ＨＡＰＳＮＮを使用して、最も効率的に遂行され、最新の分類能力を反映するように、それらのニューラルネットワークの全てを更新された状態に保ち得るが、それにもかかわらず、本訓練および再訓練機能を個々のＤＩＮＮ上に実装することも可能性として考えられる。
【0058】
図９Ａ－１３Ｅは、種々のドローンの用途、およびＤＩＮＮが、ドローンの動作を制御および単純化するために使用され得る様式を図示する。図９Ａでは、ＤＩＮＮ８１２は、ドローン１１８が、より近接した調査を要求する異常または構造物を検出する際、リアルタイムに変化し得る飛行パターン９１０に従って調査されるようにするために、アンテナ９００の周囲にドローン１１８を誘導する。例えば、図９Ｂに示されるように、飛行経路９１０は、障害物として認識されたであろう電力線９１５に、ドローン１１８が近寄らないように改変され得る。
【0059】
図１０を参照すると、アンテナ１０００は、亀裂１００５を有し、これは、ＤＩＮＮ装備ドローンによって識別され得る。バックエンドは、アンテナ１０００上の重心を固定し、画像入手を促進するために、アンテナを視野の中心に置くようにドローンを移動させるために、ｏｐｅｎＣＶ機能を実行し得る。これは、カメラが、亀裂を良好に拾得するために十分な詳細を解析するために、ドローン１１８をアンテナに十分に接近して位置付けるために、既知のセンササイズ、レンズの性質、およびカメラの焦点分離のステレオＲＧＢカメラによって生成される、深度マップと結合されることができる。ドローン１１８によって認識され得る他の障害は、構造上の腐食１０１０および塗装コーティング異常１０１５を含む。ドローン１１８ペイロードは、ＥＭセンサおよび赤外線カメラ等の付加的なセンサを含み得、ＤＩＮＮ８１２は、スペクトル分析および／または電磁算出エンジン等の付加的なモジュールを含み得る。これらは、ドローン１１８が、同軸コネクタ１０２５におけるＰＩＭシグネチャ、および（アーク放電の可能性を示す）避雷器１０３０から発出する磁場等の他のＥＭ異常、および異常な熱シグネチャ１０３５を検出することを有効にする。これらの条件は、ドローン１１８によって、または搭載算出エンジンを使用して、および／または上記に説明されるように、ＨＡＰＳＮＮ８００と協働して、診断および観察され得る。ＤＩＮＮ８１２はさらに、上記に議論されるように取得される、深度マップと、レーザ距離計／レーダ／超音波、またはドローンペイロードが最も正確な距離測定値を導出するために含有され得る、その他の測距センサとの間のデータ融合を起動するための測距算出エンジン、画像処理および（前述のように、重心設置等の）分析機能を実行するためのコンピュータビジョン算出エンジン、および／または可視スペクトル外の波長において取得される、赤外線および他の画像を分析するための赤外線および多重スペクトル算出エンジンを含み得る。
【0060】
図１１に示されるように、ドローン１１８が、通常の動作下においては、磁力線が、１１１０において示されるように、垂直であるが、異常な非垂直磁力線１１０５等の通常とは異なるＥＭシグネチャを資産１１００から検出する場合、それは、異常を記録する、またはドローン１１８がＨＡＰＳＮＮと通信している実施形態では、それをＨＡＰＳＮＮに報告し得、これは、条件をより良好に診断するために、より特殊化された調査ペイロードを伴うドローンを自律的に呼び寄せ得る。ドローン１１８はまた、調査されることになる資産と通信する、または別様に相互作用し得る。図１２では、ドローン１１８は、異常を示す、変換器１２００内に記憶されるデータを読み取る。すなわち、変換器１２００は、自己診断能力を有し、動作異常が、先立って検出されたとき、検出を示すデータが、内部に記憶されたことになる。変換器１２００が、ドローン１１８によって定期的に調査され、異常な条件が、緊急の注意を要求しない場合、変換器が、検出に応じて、その存在を監督人員に通信することは、必要ではない場合がある。むしろ、ドローン１１８は、調査飛行を行うとき、全ての変換器のメモリに照会し、それによって、変換器の異常検出を示す、以前に記憶されたデータを入手することができる。これは、ドローン１１８に、条件の分類およびデータベース検索に応答して、（図に示されるような）より接近した調査を実施するように促し得る。繰り返しになるが、ＨＡＰＳＮＮは、条件を認識し、新たな加重をドローン１１８のＤＩＮＮに送信し、変換器１２００を調査するにつれて、条件特定の分類を行うことを有効にする。
【0061】
図１３Ａ－１３Ｅは、ＤＩＮＮ８１２が、複雑な調査環境を通して最適な飛行経路を確立し得る方法を示す。図１３Ａおよび１３Ｂは、１３１０において集合的に示される、一連の発信伝送線と、電圧レギュレータ１３１５と、逓降変換器１３２０と、一連のスイッチ１３２５と、１つまたはそれを上回る避雷器１３３０と、１３３５において集合的に示される、受信伝送線とを含む、配電変電所１３００を図示する。これらの構成要素のうちのいずれかは、異常または機能不良を発生し得、全てが、ドローン１１８によって調査され得る。図１３Ｃおよび１３Ｄに示されるように、ドローン１１８は、単独で、またはＨＡＰＳＮＮと連携して、ＤＩＮＮによる分析のための画像を集めるために、予備飛行パターン１３５０を実行し得る。ＤＩＮＮ８１２は、ドローンの搭載カメラによって入手される画像を分析し、種々の構成要素１３１０－１３３５を分類する。これらの分類に基づいて、航行モジュール８３２（図８参照）またはバックエンドコードは、全ての構成要素１３１０－１３３５が、ドローン１１８によって適切かつ効率的に調査されることを可能にする、最適化された飛行計画１３５５を算出する。より詳細には、変電所１３００内に存在する各構成要素は、予備調査飛行経路１３５０の間に分類され、これらは、ＧＰＳドリフトベクトル、および初期の飛行経路を中心とする障害物または不正確性に関連する、他の未知のものに適応させるために、変電所１３００から遠く離れている。いったん構成要素が、分類されると、画像内のその位置、およびドローンの位置が、登録される。本プロセスは予備調査全体を通して、複数回繰り返され、バックエンドコードが、三角測量し、分類された各資産をそれぞれ、３Ｄ空間内に位置付けることを有効にし、したがって、ドローンおよびペイロードを資産により近接して動かすであろう、より正確な調査飛行経路が、算出されることができる。本新たな飛行計画１３５５が、次いで、実行され、再度、ＤＩＮＮ８１２は、飛行経路が実行されるにつれて、資産を分類する。予備調査では、ドローンは、遠くに離れているため、ＤＩＮＮ８１２は、画像入手デバイスの解像度が、固定されると、大きなアイテムのみを分類することができる。いったん、より近接した飛行経路１３５５が、実行されると、より多くの資産の詳細が、検出され、ＤＩＮＮ８１２が、新たなアイテムを分類し、必要に応じて、ドローンの経路を再度調節することを有効にするであろう。測距算出エンジンは、容認可能かつ安全な限界と一致する、ドローンと資産との間の最近傍の許容可能な接近距離を算出する。
【0062】
複雑な調査動作が、ＤＩＮＮによって最適化され得る、さらなる別の用途が、図１４に図示されている。ここでは、目的は、「放射線中心」、すなわち、異なる標高において、電気通信構造物１４００に搭載される、アンテナ１４１０、１４１５、１４２０のそれぞれの放射線の中心１４１０Ｒ、１４１５Ｒ、１４２０Ｒを検出および分類することである。ＤＩＮＮは、放射線中心を分類し、次いで、アンテナ毎に、重心を識別し、放射線中心をドローンカメラの視野の中心に動かし、それによって、気圧計の読取値（標高）が、記録されることができる。航行モジュール８３２は、次いで、本標高を使用し、ドローン１１８が、アンテナ構造の再構築のための３Ｄモデルデータを取得することを有効にする、軌道飛行経路を生成することができる。
【0063】
ＤＩＮＮ８１２は、サイバー攻撃を検出し、攻撃を緩和または無効化するために必要とされる、１つまたはそれを上回るアクションを決定し、アクションを達成させるように構成され得る。いくつかの事例では、これは、ＨＡＰＳＮＮ８００に関与し得る。例えば、ＤＩＮＮ８１２は、航行パッケージ８３２が、攻撃によって損なわれたことを検出し得、航行の制御をＨＡＰＳＮＮ８００に転送し、これは、リアルタイムに、ドローン１１８の場所、および画像入手デバイス８２７によって記録される画像を監視し、障害物の周囲において、ドローン１１８を航行させ、例えば、その開始場所または操作者の場所に戻し得る。他の場合では、ＤＩＮＮ８１２は、サイバー攻撃の存在を認識するが、その特性を認識し得ない場合があり、本場合では、それに応答して、講じるべきアクションを識別することは、不可能であろう。本状況では、これは、攻撃の存在を明らかにしたデータをＨＡＰＳＮＮ８００に通信し得る。ＨＡＰＳＮＮ８００は、単独で、または陸地資源との通信後に、攻撃の性質および緩和方略を推測し得、これは、ドローン１１８に通信され、繰り返しになるが、緩和方略は、ドローン１１８の動作のＨＡＰＳＮＮ８００による制御の引き受けを伴い得る。
【0064】
ドローンをハイジャックし、その意図される飛行経路から離れて誘導するように設計される、ＧＰＳなりすまし攻撃、またはドローンとＨＡＰＳＮＮまたは陸地通信との間の接続を切断するように設計される、ＲＦ飽和攻撃の場合には、ＤＩＮＮ８１２は、資産または他の目印に対して相対的に、ドローンの位置を追跡し、ドローン１１８が、他の方向へ航行させられることに抵抗する、または通信が、確実に再確立されるまで、安全な飛行経路を維持することを可能にすることができる。光学センサの方向感覚を喪失させる、または光を遮断することが意図されるレーザ攻撃の場合には、ＤＩＮＮ８１２は、そのような攻撃によって生産されるパターンを認識および分類し、ドローンによる応答をトリガし、攻撃に反撃する、またはドローンの飛行経路を改変し、攻撃の源を回避することができる。
【0065】
その最も単純な形態では、ＧＰＳなりすまし攻撃は、実際のＧＰＳコンステレーションからのＲＦ信号を不鮮明にする、ＲＦ信号から成る。なりすまし攻撃者は、実際の位置情報を、ＧＰＳが、その意図される場所から離れて移動していると考えるように混乱させるために必要とされる、いかなる情報とも置換する（基本的には、ＧＰＳなりすまし者は、ＧＰＳを移動させることを望む方向に、それが存在する必要がある場所まで戻って移動させるために、補正を行うように、ＧＰＳを誘導する）。資産までのドローン１１８の飛行経路は、通常、ドローンが実行する、ＧＰＳ通過点を使用して、予め計画されるが、ＤＩＮＮ８１２は、動作環境内で、資産および任意の障害物または危険を分類すると、飛行経路をリアルタイムに補正および調節するために、光学フローセンサを使用する。例えば、図１５Ａは、必ずしもそうではないが、可能性として、ＨＡＰＳ１０５によって誘導されている間の着目目的地までの飛行経路上のドローン１１８を示す。ドローン１１８の位置は、例えば、ＧＰＳおよび／または陸地セルラーネットワーク１５１５および／または航行援助施設に基づいて、ＨＡＰＳ１０５およびドローン自体によって監視される。車載ＲＦ源１５０５は、源１５０５の周囲の球状有効領域内のＲＦ通信を抑制する、ＲＦ場１５１０を生成する。ドローンの飛行経路１４２０は、ＲＦ場１５１０を通して通過し、図１４Ｂに示されるように、ドローン１１８がＲＦ場１５１０に進入するとき、ＨＡＰＳ１０５および地上セルラーネットワーク１５１５との通信が切断される。攻撃の性質を認識すると、ドローン１１８のＤＩＮＮ８１２は、通信が、ＲＦ場１５１０によってもはや影響を受けることがなくなり、通信が、再確立されるまで、予めプログラムされた回避飛行経路１５２５の実行を引き起こす。ＤＩＮＮ８１２は、単独で、またはより典型的には、ＨＡＰＳ１０５からの支援を伴って、（目的地、およびいくつかの場合では、ＲＦ場１５１０の推定される形状に基づいて）ドローン１１８を干渉するＲＦ場１５１０の範囲外に保つ、新たな飛行計画１５３０を算出する。
【0066】
特に、ＤＩＮＮ８１２は、バックエンド論理、および動作環境の３Ｄマップを生成し、本環境内のドローン１１８、資産、および／または障害物の位置をプロットする、従来のアルゴリズムを介して、ドローン１１８のための新たな飛行経路をプロットすることができる。本データは、ニューラル算出エンジン８２５と関連付けられるメモリ内に記憶され、位置のリアルタイム算出および解析を有効にするように最適化され得る。これは、ドローンが、存在する必要のある場所に対して相対的に、かつ目印または障害物に対して相対的に、容易にドローンの実際の位置を追跡させる。カルマンフィルタリングは、システム８３２の慣性航行能力を使用して、ドローン１１８の移動を追跡するために適用されることができ、これは、ドローンの移動を追跡するために予め記憶される通過点の画像マッチング、コンパスデータ、ＲＧＢセンサを使用する資産または目印のオプティカルフロー追跡、全米航空航行援助施設の位置情報、および／またはＧＰＳ位置情報を利用し得る、ニューラルネットワーク分類と融合されるデータである。これは、ＤＩＮＮ８１２が、リアルタイムに、本３Ｄ環境内のドローンの位置をプロットし、センサのうちの１つまたはそれを上回るものが、それが存在するべき場所、および他のセンサが、それが存在することを示す場所に対して相対的に、３Ｄ環境内の異なる位置にドローン１１８を置く、異常な読み取り値を与えているかどうかを検出することを有効にする。実施例として、なりすまし攻撃の間、ＧＰＳが、ドローン１１９が、その意図される通過点から離れて移動していることを示すが、慣性航行援助施設、目印を追跡しているオプティカルフローセンサ、および全米航空航行援助施設が、ドローン１１８が、通過点に向かって移動していることを示す場合、ＤＩＮＮ８１２は、ＧＰＳなりすまし攻撃が、行われていることを認識するであろう。いったんシナリオが分類されると、攻撃に反撃するために、ドローンを操縦するように設計されるアルゴリズム、またはドローンを攻撃から離して移動させるように予めプログラムされた他の操作が、トリガされることができる。
【0067】
ＤＩＮＮ８１２とＨＡＰＳＮＮ８００との間のデータリンクは、典型的には、暗号化され、通信チャネルが開放される前に、各ＤＩＮＮ８１２が、ＨＡＰＳＮＮ８００によって識別されることを確実にするために、ハンドシェイクを活用し得る。これは、認可されていない通信の試み、または認可されていないユーザまたはＤＩＮＮによるなりすましを防止する役割を果たす。
【0068】
その最も単純な形態では、レーザまたは光学攻撃は、ＲＧＢカメラまたはＩＲカメラ等のオプティカルフローデバイスの撮像センサを損傷させるように設計される。センサが、損傷されない場合、シャッタ速度または口径開口部が、影響を受け、画像を不鮮明にし、したがって、パターンまたは色が、もはや区別することができず、それによって、センサが使用不可能となり得る。これは、事実上、ニューラルネットワークが、画像内のパターンを分類することができないため、オプティカルフローセンサが、航行目的のために使用されることを停止させる。そのようなシナリオは、例えば、センサが、具体的な方位において指向しているとき、所与の期間内に、所定の閾値数の不鮮明な写真が、検出されるかどうかを検出することは比較的容易である。アルゴリズムは、バックエンド論理を介してアクティブ化され、オプティカルフローセンサの方位を変更し、不鮮明な写真が、中止されるかどうかを検出することができる。その場合、かつセンサが、元々の方位に戻って指向されるときに、不鮮明な写真が、再開される場合、ＤＩＮＮ８１２は、本シナリオをレーザ攻撃として認識および分類し、３Ｄ環境内の面積／方位を飛行禁止区域としてプロットするであろう。レーザまたは他の光学攻撃が、指向性であることを前提として、これは、実装されるべき単純な解決策である。例えば、図１６Ａは、必ずしもそうではないが、可能性として、ＨＡＰＳ１０５によって誘導されている間の着目目的地までの飛行経路１６０５上のドローン１１８を示す。ドローン１１８の位置は、例えば、ＧＰＳおよび／または陸地セルラーネットワーク１６１５および／または航行援助施設に基づいて、ＨＡＰＳ１０５およびドローン自体によって監視される。レーザ攻撃者１６０５は、ドローン１１８（図１６Ｂ）を標的化し、ＤＩＮＮ８１２は、レーザ攻撃のパターンを検出し、バックエンド論理が、回避アクションを実施することを有効にする。図１６Ｃに示されるように、ＤＩＮＮ８１２および／またはＨＡＰＳ１０５のＨＡＰＳＮＮＮは、レーザ攻撃の源１６０５の周囲に、またはそこから離れて、新たな飛行経路１６２０を生成し得る。
【0069】
ＧＰＳ信号、航法援助信号、およびＨＡＰＳＮＮまたは陸地通信ネットワークへのデータリンク信号が、全て同時に喪失される場合、ＤＩＮＮ８１２は、シナリオをＲＦ飽和攻撃として分類し、その時点でバックエンド論理が、ニューラル算出エンジン８２５と関連付けられる、メモリ内に記憶される３Ｄ環境を活用し、現在の動作環境外、かつそこから離れた経路をプロットする、従来のアルゴリズムを起動し得る。３Ｄプロットに対して相対的なドローン１１８の実際の飛行経路は、ドローン１１８が、ＲＦ通信を再確立することができるまで、オプティカルフローおよび慣性航行カルマンフィルタリングを使用して、監視および調節される。
【0070】
本明細書に採用される用語および表現は、説明の用語および表現として使用され、限定されるものではなく、そのような用語および表現の使用において、示され、説明される特徴の任意の同等物またはその一部を除外する意図はない。加えて、本発明のある実施形態を説明したが、本明細書に開示される概念を組み込む他の実施形態が、本発明の精神および範囲から逸脱することなく使用され得ることは、当業者にとって明白であろう。故に、説明される実施形態は、全ての事項において、単に例示的なものあって、制限的なものではないとみなされるべきである。
【0071】
請求される内容は、以下の通りである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8A】
【図8B】
【図9A】
【図9B】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図13C】
【図13D】
【図13E】
【図14】
【図15A】
【図15B】
【図15C】
【図16A】
【図16B】
【図16C】
【国際調査報告】