▶ スリーエム イノベイティブ プロパティズ カンパニーの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-12
(54)【発明の名称】ドローンホスト型建設欠陥マーキング
(51)【国際特許分類】
E04G 21/18 20060101AFI20240405BHJP
B64U 10/13 20230101ALI20240405BHJP
F16F 7/00 20060101ALI20240405BHJP
F16F 9/00 20060101ALI20240405BHJP
B25H 7/04 20060101ALN20240405BHJP
【ＦＩ】
E04G21/18 Z
B64U10/13
F16F7/00 A
F16F9/00 Z
B25H7/04 D
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023562545
(86)(22)【出願日】2022-04-07
(85)【翻訳文提出日】2023-10-11
(86)【国際出願番号】 IB2022053288
(87)【国際公開番号】W WO2022219470
(87)【国際公開日】2022-10-20
(31)【優先権主張番号】63/201,090
(32)【優先日】2021-04-12
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/201,092
(32)【優先日】2021-04-12
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】505005049
【氏名又は名称】スリーエム イノベイティブ プロパティズ カンパニー
(74)【代理人】
【識別番号】100130339
【弁理士】
【氏名又は名称】藤井 憲
(74)【代理人】
【識別番号】100135909
【弁理士】
【氏名又は名称】野村 和歌子
(74)【代理人】
【識別番号】100133042
【弁理士】
【氏名又は名称】佃 誠玄
(74)【代理人】
【識別番号】100171701
【弁理士】
【氏名又は名称】浅村 敬一
(72)【発明者】
【氏名】ボーデン，パトリック エス．
(72)【発明者】
【氏名】ケンドリック，ポール エー．
(72)【発明者】
【氏名】アンダーソン，ナサニエル ディー．
(72)【発明者】
【氏名】レイス，ケイトリン エム．
(72)【発明者】
【氏名】クヌドソン，オーリン ビー．
(72)【発明者】
【氏名】テート，フランシス ジェイ．
(72)【発明者】
【氏名】ワイデンブラント，マーティン ジェイ．オー．
【テーマコード（参考）】
2E174
3J066
3J069
【Ｆターム（参考）】
2E174DA14
2E174DA31
2E174EA00
3J066AA22
3J066AA30
3J066BA01
3J066BB01
3J066BD01
3J069AA69
3J069AA70
(57)【要約】
システムは、処理回路と、ドローンであって、マーキングデバイスを受け入れるマーキングマウントと、マーキングマウントの往復運動のための摺動フレームワークを提供するモーションガイドと、マーキングマウントとモーションガイドとの間に配置された衝撃吸収サブアセンブリと、を含むドローンとを含む。ドローンの制御論理は、処理回路から受信したナビゲーション命令に基づいて、基材に適用されたテープの誤適用又は基材欠陥に関連付けられたエリアにドローンをナビゲートし、マーキングデバイスの遠位先端がテープ誤適用又は基材欠陥に関連付けられたエリアと接触するようにするとともに、衝撃吸収サブアセンブリを作動させて、マーキングデバイスの遠位先端とテープ誤適用又は基材欠陥に関連付けられたエリアとの間の接触によって引き起こされる衝撃を少なくとも部分的に吸収するように構成されている。
【特許請求の範囲】
【請求項1】
処理回路と、ドローンであって、
マーキングデバイスを受け入れるように構成されたマーキングマウントと、
前記マーキングマウントの往復運動のための摺動フレームワークを提供するように構成されたモーションガイドと、
前記マーキングマウントと前記モーションガイドとの間に配置された衝撃吸収サブアセンブリであって、前記モーションガイドが、前記衝撃吸収サブアセンブリの位置を維持するように構成されている、衝撃吸収サブアセンブリと、
前記処理回路に通信可能に結合された制御論理であって、
前記処理回路から受信したナビゲーション命令に基づいて、テープ誤適用又は基材欠陥に関連付けられたエリアに前記ドローンをナビゲートし、前記マーキングデバイスの遠位先端が前記テープ誤適用又は前記基材欠陥に関連付けられた前記エリアと接触するようにするとともに、前記衝撃吸収サブアセンブリを作動させて、前記マーキングデバイスの前記遠位先端と前記テープ誤適用又は前記基材欠陥に関連付けられた前記エリアとの間の前記接触によって引き起こされる衝撃を少なくとも部分的に吸収する、
ように構成された、制御論理と、
を有する、ドローンと、
を備える、システム。
【請求項2】
前記衝撃吸収サブアセンブリが、圧縮ばねセットを含む、請求項１に記載のシステム。
【請求項3】
前記衝撃吸収サブアセンブリが、油圧デバイスを含む、請求項１に記載のシステム。
【請求項4】
前記ドローンが、無線インタフェースハードウェアを更に備え、前記処理回路が、前記ドローンの前記無線インタフェースハードウェアに無線結合された遠隔制御デバイスに組み込まれている、請求項１に記載のシステム。
【請求項5】
前記マーキングデバイスが、前記遠位先端部が前記テープ誤適用又は前記基材欠陥に関連付けられた前記エリアと前記接触したことに応じて、前記遠位先端部から前記テープ誤適用又は前記基材欠陥に関連付けられた前記エリア上にインクを供給するように構成されている、請求項１に記載のシステム。
【請求項6】
前記マーキングデバイスが、前記遠位先端が前記基材欠陥に関連付けられた前記エリアと前記接触したことに応じて、前記テープ誤適用又は前記基材欠陥に関連付けられた前記エリア上にセルフタック紙ストリップを供給するように構成されている、請求項１に記載のシステム。
【請求項7】
前記処理回路が、前記ドローンに組み込まれている、請求項１に記載のシステム。
【請求項8】
前記テープ誤適用に関連付けられた前記エリアが、建物の外皮層上にある、請求項１に記載のシステム。
【請求項9】
前記基材欠陥に関連付けられた前記エリアが、建物の外皮層の一部である、請求項１に記載のシステム。
【請求項10】
前記テープ誤適用又は前記基材欠陥に関連付けられた前記エリアが、建物の屋根の一部である、請求項１に記載のシステム。
【請求項11】
前記テープ誤適用が、フィッシュマウスしわ、前記基材に適用された前記テープのテンティング、欠落テープセグメント、不十分な接着、又は不十分な張力のうちの少なくとも１つに関連付けられている、請求項１に記載のシステム。
【請求項12】
前記基材欠陥が、表面の裂け目、アンダードライブ締結具、オーバードライブ締結具、前記基材の表面ガウジング、ボード分離、過剰なシーラント状態、前記基材の穴、又は前記基材の２つ以上のボード間の間隙のうちの少なくとも１つに関連付けられている、請求項１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、ドローンを使用して実施される建設関連機能の分野に関する。
【背景技術】
【0002】
建設中又は建設後に、建物は、検査を受ける。そのような検査中に特定の欠陥が検出された場合、建設中の段階であろうと完成後段階であろうと、将来の識別のために欠陥をマーキングする、かつ／又は修復することができる。
【発明の概要】
【0003】
本開示は、ドローンを使用した建物検査、建物欠陥マーキング、及び建物欠陥修復のために構成されたシステムを説明する。本開示は、主に、ドローンホスト型技術を、非限定的な実施例として、建物の建設中に建物外皮層に対して実行されるものとして説明する。しかしながら、本開示の様々なドローンホスト型技術は、建物が現在建設中でも、又は完全に建設されていても、建物の様々な面に適用可能であることが理解されよう。本開示のいくつかの実施例は、ドローンに組み込まれたカメラハードウェアを活用して、建物の（例えば、建物外皮の）１つ以上の画像を取得する。これらの実施例によれば、本開示のシステムは、訓練された機械学習（machine-learning、ＭＬ）モデルを使用して画像（単数又は複数）を分析し、画像（単数又は複数）内に示される建物の一部分が、ＭＬモデルが検出するように訓練されている欠陥を含むか否かを判定するものである。
【0004】
本開示のいくつかの実施例は、建物欠陥に対するドローンホスト型マーキング動作を対象とする。これらの実施例では、ドローンは、インク供給サブシステム又はセルフタック紙供給サブシステムなどのマーキングサブシステムを含む、又はそれに結合することができる。これらの実施例では、本開示のシステムは、マーキングサブシステムを作動させて、識別された欠陥のエリア又はその近くのエリアをマーキングすることができる。本開示のいくつかの実施例は、建物欠陥に対するドローンホスト型修復動作を対象とする。これらの実施例では、ドローンは、エアロゾル供給サブシステム若しくは接着剤供給サブシステムなどの修復サブシステムを含む、又はそれに結合することができる。これらの実施例では、本開示のシステムは、修復サブシステムを作動させて、識別された欠陥に関連付けられたエリアにエアロゾル又は接着剤（場合によって）を供給することができる。
【0005】
一実施例では、システムは、処理回路と、ドローンとを含む。ドローンは、マーキングデバイスを受け入れるように構成されたマーキングマウントと、マーキングマウントの往復運動のための摺動フレームワークを提供するように構成されたモーションガイドと、マーキングマウントとモーションガイドとの間に配置された衝撃吸収サブアセンブリであって、モーションガイドが、衝撃吸収サブアセンブリの位置を維持するように構成されている、衝撃吸収サブアセンブリとを含む。ドローンは、処理回路に通信可能に結合された制御論理を更に含む。制御論理は、処理回路から受信したナビゲーション命令に基づいて、テープ誤適用又は基材欠陥に関連付けられたエリアにドローンをナビゲートし、マーキングデバイスの遠位先端がテープ誤適用又は基材欠陥に関連付けられたエリアと接触するようにするとともに、衝撃吸収サブアセンブリを作動させて、マーキングデバイスの遠位先端とテープ誤適用又は基材欠陥に関連付けられたエリアとの間の接触によって引き起こされる衝撃を少なくとも部分的に吸収するように構成されている。
【0006】
本開示のシステムは、現在利用可能な解決策に勝るいくつかの潜在的な利点を提供する。ドローン上で画像キャプチャ、欠陥マーキング、及び欠陥修復動作をホストすることによって、本開示のシステムは、安全性を改善し、また、天候／視界条件が変動し、高い高度の場所であるかもしれない現場に作業者が配備されるときのヒューマンエラーの発生を低減することによって、データ精度を改善する。本開示の欠陥検出技術は、訓練されたＭＬモデル（本開示による様々な実施例では、分類モデル、検出モデル、又はセグメンテーションモデルであり得る）を実行して、建物のエリアの画像データを分析し、それによって、安全性の懸念が非常に重要であるヒューマンエラーの可能性を低減する。
【0007】
更に、本開示のドローンホスト型技術は、ドローンの操縦性を活用して、建物（又は他の構造物）をより徹底的に検査し、人間の作業者が到達することが困難であり得るエリアにおいて検査、マーキング、又は修復を実行することによって、検査、マーキング、又は修復の精度及び完全さを向上させることができる。いくつかの実施例では、本開示のドローンは、専用の画像キャプチャハードウェアを備え、それによって、人間の目が建物の標準画像又は直接ビューを解釈することができるよりも高い精度で本開示の訓練されたモデルが分析することができる画像を提供する。このようにして、本開示のドローンホスト型技術は、データ精度及び／又はプロセスの完全さを改善することができ、その一方で、強化された安全性の実用的な適用も提供する。
【0008】
本開示の１つ以上の実施例の詳細が、添付の図面及び以下の明細書に記述されている。本開示の他の特徴、目的、及び利点は、説明及び図面並びに特許請求の範囲から明らかになるであろう。
【図面の簡単な説明】
【0009】
【図1】システムの一実施例であって、その態様は、本開示の１つ以上の技術を実行するように構成されている、一実施例を示す概念図である。
【0010】
【図2】本開示のドローンホスト型テープ適用検査の態様を示す概念図である。
【0011】
【0012】
【図4A】本開示の訓練された分類モデルが生成することができる様々な深層学習生成画像ラベルを示す図である。
【図4B】本開示の訓練された分類モデルが生成することができる様々な深層学習生成画像ラベルを示す図である。
【図4C】本開示の訓練された分類モデルが生成することができる様々な深層学習生成画像ラベルを示す図である。
【図4D】本開示の訓練された分類モデルが生成することができる様々な深層学習生成画像ラベルを示す図である。
【0013】
【0014】
【0015】
【図7】本開示の訓練された分類モデルが基材に適用されたテープに関する１つ以上の欠陥を検出するために実行することができる偏光画像分析の態様を示すグラフである。
【0016】
【図8】本開示のドローンホスト型基材検査の態様を示す概念図である。
【0017】
【図9A】本開示の訓練された分類モデルが基材欠陥として検出することができる、基材におけるアンダードライブ締結具の例を示す概念図である。
【図9B】本開示の訓練された分類モデルが基材欠陥として検出することができる、基材におけるアンダードライブ締結具の例を示す概念図である。
【図9C】本開示の訓練された分類モデルが基材欠陥として検出することができる、基材におけるアンダードライブ締結具の例を示す概念図である。
【0018】
【図10A】本開示の訓練された分類モデルが基材欠陥として検出することができる、基材におけるボード分離の例を示す概念図である。
【図10B】本開示の訓練された分類モデルが基材欠陥として検出することができる、基材におけるボード分離の例を示す概念図である。
【0019】
【図11】オーバードライブ締結具によって引き起こされ、本開示の訓練された分類モデルを使用して検出される、基材の欠陥の例を示す概念図である。
【0020】
【図12A】本開示の訓練された分類モデルが基材欠陥として検出することができる、基材における衝突関連の損傷の例を示す概念図である。
【図12B】本開示の訓練された分類モデルが基材欠陥として検出することができる、基材における衝突関連の損傷の例を示す概念図である。
【0021】
【図13A】本開示の態様による、ドローンが装備されて、基材又はテープ上の潜在的な調査対象のオブジェクトをマーキングするように構成されている実施例を示す図である。
【図13B】本開示の態様による、ドローンが装備されて、基材又はテープ上の潜在的な調査対象のオブジェクトをマーキングするように構成されている実施例を示す図である。
【0022】
【図14A】本開示の態様による、ドローンが装備されて、基材又は基材に適用されたテープ上の潜在的な調査対象のオブジェクトを修復するように構成されている実施例を示す概念図である。
【図14B】本開示の態様による、ドローンが装備されて、基材又は基材に適用されたテープ上の潜在的な調査対象のオブジェクトを修復するように構成されている実施例を示す概念図である。
【図14C】本開示の態様による、ドローンが装備されて、基材又は基材に適用されたテープ上の潜在的な調査対象のオブジェクトを修復するように構成されている実施例を示す概念図である。
【0023】
【図15】本開示の態様による、ドローンが装備されて、基材又は基材に適用されたテープ上の潜在的な調査対象のオブジェクトを修復するように構成されている別の実施例を示す概念図である。
【0024】
【図16】本開示の例示的なプロセスを示すフローチャートである。
【0025】
本発明の範囲から逸脱することなく、実施例を利用することができ、また、構造的変更を行うことができることを理解されたい。これらの図は、必ずしも一定の比率の縮尺ではない。図面で使用されている同様の番号は、同様の構成要素を示す。しかし、所与の図における構成要素を示すための番号の使用は、同じ番号で示されている別の図内の構成要素を限定することを意図していないことが理解されよう。
【発明を実施するための形態】
【0026】
図１は、システム１０の一実施例を示す概念図であり、その態様は、本開示の１つ以上の技術を実行するように構成されている。システム１０は、建物２、ドローン４、ドローンコントローラ６、及びコンピューティングシステム８を含む。建物２は、外側に面する露出層が「外皮層」又は「建物外皮」である期間中の、建設段階にあるものとして示されている。本開示の技術は、非限定的な実施例として建物外皮に対して実行されるものとして説明されるが、本開示の様々な技術は、他の基材にも同様に適用可能であることが理解されよう。他の基材の例としては、屋外であろうと屋内であろうと、完成した建築壁、壁、フェンス、橋、船、航空機、携帯電話の中継塔などの非建築構造物が挙げられる。
【0027】
建物外皮とは、それぞれの建物（この場合、建物２）の調整された環境と調整されていない環境との間の物理的バリアを指す。様々な実施例では、建物外皮は、「建物エンクロージャ」、上述のような「外皮層」、又は「耐候性バリア」（weatherproof barrier、「ＷＰＢ」）と呼ばれることがある。建物外皮は、建物の内部を屋外要素から遮蔽し、環境制御において極めて重要な役割を果たす。建物外皮の要素遮蔽及び環境制御機能の態様は、雨遮断、空気制御、熱伝達の制御、及び蒸気遮蔽を含む。したがって、建物外皮の完全性は、建物２の安全性及び居住性にとって不可欠である。
【0028】
建物外皮の欠陥を検査すること、検出された欠陥があればそれにマーキングすること、又は建物外皮の検出された欠陥があればそれを修復することなどのタスクに関して、精度及び完全さは、完全性を維持するという目標に極めて重要である。建物のサイズ、設計の複雑さ、及び密集が増すにつれて、これらのタスクを手動で実行することは、ますます困難になっている。システム１０は、ドローン（例えば、ドローン４）の操縦性を活用して、建物外皮検査、欠陥マーキング、及び／又は欠陥修復のうちの１つ以上を実行することができる。システム１０はまた、専用コンピューティング能力を活用して、潜在的な欠陥の存在、そのような潜在的な欠陥があればその場所、及び／又はそのような潜在的な欠陥があればそれを修復するために実行される動作のパラメータを識別することができる。これらの専用コンピューティング能力は、ドローン４、ドローンコントローラ６、及び／又はコンピューティングシステム８のうちの１つ以上のコンピューティング又は処理ハードウェアによって提供することができる。いくつかの実施例では、システム１０の態様は、クラウドコンピューティングリソースを活用して、専用コンピューティング能力を分散方式で実装することができる。
【0029】
ドローン４は、１つ以上のタイプの無人航空ビークル（unmanned aerial vehicle、ＵＡＶ）を表すことができる。様々な実施例では、ドローン４はまた、自律航空機、自動操縦ビークル、遠隔操作航空機、遠隔操縦航空機、遠隔操縦航空機システム、遠隔操縦航空システム、遠隔操縦航空ビークル、遠隔操縦システム、遠隔操縦ビークル、小型無人航空機システム、小型無人航空機、無人飛行システム、無人飛行ビークル、遠隔操縦輸送システムなどのうちの１つ以上と呼ばれることもある。
【0030】
ドローンコントローラ６の処理回路及び／又はコンピューティングシステム８の処理回路は、ドローン４及びそのそれぞれのサブシステムによる検査、欠陥マーキング、又は欠陥修復の対象である建物２のエリアの場所に基づいて、ドローン４のためのナビゲーション命令を定式化することができる。次に、処理回路は、場合によっては、ドローンコントローラ６又はコンピューティングシステム８の無線インタフェースハードウェアを起動して、ドローン４の無線インタフェースハードウェアにナビゲーション命令を送信することができる。ドローン４、ドローンコントローラ６、及びコンピューティングシステム８の無線インタフェースハードウェアは、ドローン４、ドローンコントローラ６、及び／又はコンピューティングシステム８のうちの２つ以上の間の無線通信を可能にすることなどによって、また無線インタフェースハードウェアを備える他のデバイスとの無線通信を可能にする通信ハードウェアを表すことができる。
【0031】
ドローン４は、ドローン４の飛行経路などのドローン４の動きを制御するモーションガイドを備えることができる。ドローン４はまた、ドローン４の無線インタフェースハードウェアを介して、ドローンコントローラ６又はコンピューティングシステム８のいずれかからナビゲーション命令を受信する制御論理を備えることができる。制御論理は、ドローンコントローラ６又はコンピューティングシステム８から受信したナビゲーション命令を使用して、ドローン４を建物２の特定の部分に近接するエリアにナビゲートすることができる。本開示の態様と一致する様々な実施例では、ドローンコントローラ６及び／又はコンピューティングシステム８の処理回路は、識別された潜在的な調査対象のオブジェクト（objects of potential survey interest、ＯｏＰＳＩ）のマーキング及び／又は修復を容易にするために、ＯｏＰＳＩについて検査される建物２のエリアに基づいて、又は以前に識別されたＯｏＰＳＩに関連付けられたエリアに基づいて、ナビゲーション命令を形成することができる。
【0032】
コンピューティングシステム８は、とりわけ、携帯電話（例えば、スマートフォン）、タブレットコンピュータ、ネットブック、ラップトップコンピュータ、デスクトップコンピュータ、携帯情報端末（personal digital assistant、「ＰＤＡ」）、ウェアラブルデバイス（例えば、スマートウォッチ又はスマートグラス）などの、様々なタイプのコンピューティングデバイスのうちの１つ以上を含む、又はそれらの一部であることができる。いくつかの実施例では、コンピューティングシステム８は、２つ以上のそのようなデバイスの相互接続されたネットワークを含む分散システムを表すことができる。コンピューティングシステム８は、本開示の態様による非限定的な実施例として、図１ではラップトップコンピュータとして示されている。
【0033】
ドローンコントローラ６は、多くの実施例では、無線制御送信機又は送受信機を表す。ドローンコントローラ６は、様々な入力ハードウェア（例えば、ジョイスティック、ボタンなど）を介して受信したユーザ入力を処理し、上述したナビゲーション命令を定式化し、通信インタフェースハードウェアを介してドローン４の通信インタフェースハードウェア（例えば、受信機）にナビゲーション命令を実質的にリアルタイムで送信するように構成されている。ドローン４及びドローンコントローラ６の相補的な通信インタフェースは、１つ以上の所定の周波数を介して通信することができる。
【0034】
このようにして、システム１０の態様は、ドローン４の飛行能力及び操縦性を活用して、建物２を検査し、いくつかのシナリオでは、
をマーキング及び／又は修復する。システム１０の態様はまた、検査スループットを改善すること、及び／又は検査官にデータを提供することによって、またいくつかの実施例では、所有者、保険業者、請負業者、現場監督などに視覚（例えば、静止画及び／又はビデオ）記録を提供することによって、建物２の検査プロセスを増強する。
【数1】
【0035】
図２は、本開示のドローンホスト型テープ適用検査の態様を示す概念図である。図２は、いくつかの実施例では、（図示されるような）壁、屋根などの建物２の外面の一部分を表すことができる基材１６を示す。この実施例では、基材１６は、テープ１４を備えている。テープ１４は、様々なタイプの接着剤被覆材料のいずれかを表すことができる。本開示は主に、テープ１４が、基材１６などの建物外面における継ぎ目、裂け目、又は他の不連続部を封止するために一般的に使用される、いわゆる「フラッシングテープ」を表す、非限定的な実施例を説明する。いくつかの実施例では、基材１６は、表面上に外向きの接着剤層を残すロールオン接着剤などの接着剤層でコーティングされた表面を表すことができる。テープ１４、基材１６がコーティングされ得るシーラント、及び／又は基材１６がコーティングされ得る外向き接着剤のうちの１つ以上のいくつかの非限定的な実施例の特徴は、公開番号ＵＳ２０１３０１３９９５３Ａ１、ＵＳ２０２０００３０９８Ａ１、及びＵＳ２０１９００３１９２３Ａ１を有する公開された米国特許出願、並びに公開番号ＷＯ２０２１０３３１１１Ａ１、Ｗ０２０２１０２４２０６Ａ１、ＷＯ２０１６０１９２４８Ａ１、ＷＯ２０１６１０６２７３Ａ１、ＷＯ２０１５１８３３５４Ａ２、ＷＯ２０１５１２６９３１Ａ１、ＷＯ２０１７０３１２７５Ａ１、Ｗ０２０１９１５２６２１Ａ１、ＷＯ２０１７１１２７５６Ａ１、ＷＯ２０１７０３１２７５Ａ１、ＷＯ２０１８１５６６３１Ａ１、及びＷＯ２０１８２２０５５５Ａ１を有する国際特許出願に記載されており、これらのそれぞれの開示全体は、参照により本明細書に組み込まれる。
【0036】
図２の実施例では、ドローン４は、画像キャプチャハードウェア１２を備える。いくつかの実施例では、画像キャプチャハードウェア１２は、キャプチャされた静止画像及び／又は動画をデジタルフォーマットで（例えば、．ｊｐｅｇファイル、．ｐｎｇファイル、．ｍｐ４ファイルなどとして）記憶するように構成されたカメラなどの、１つ以上のタイプのデジタルカメラを表す。ドローンコントローラ６又はコンピューティングシステム８から受信したナビゲーション命令に基づいて、ドローン４の制御論理は、モーションガイドに、基材１６に適用されたテープ１４の特定のエリアに近接するエリアにドローン４をナビゲートさせることができる。ドローン４が画像キャプチャハードウェア１２による画像キャプチャを可能にするのに十分に配置され向けられていることを検出すると、制御論理は、画像キャプチャハードウェア１２をアクティブ化して、画像キャプチャハードウェア１２のレンズハードウェアの視野内にあるテープ１４の部分の１つ以上の画像をキャプチャすることができる。
【0037】
本開示と一致するいくつかの実装形態によれば、制御論理は、画像キャプチャハードウェア１２がドローン４に物理的に結合された別個のカメラである場合、ドローン４のアクチュエータサブアセンブリを動作させて、画像キャプチャハードウェア１２のボタンをアクティブ化又は押下することができる。本開示と一致する他の実装形態によれば、制御論理は、画像キャプチャハードウェア１２がドローン４に組み込まれている場合、画像キャプチャハードウェア１２の論理を動作させて、画像キャプチャ能力をアクティブ化することができる。次に、画像キャプチャハードウェア１２は、無線又は有線手段を使用してデジタル画像データを転送するのに適切な様々なタイプの通信チャネルを介して、キャプチャされたデジタル画像（単数又は複数）をドローン４の処理回路及び／又はコンピューティングシステム８の処理回路に提供することができる。
【0038】
本明細書で使用されるとき、処理回路は、中央処理装置（central processing unit、ＣＰＵ）、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）、シングルコア又はマルチコアプロセッサ、コントローラ、デジタル信号プロセッサ（digital signal processor、ＤＳＰ）、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）、固定機能回路、プログラマブル回路、固定機能とプログラマブル回路の任意の組み合わせ、個別論理回路、又は集積論理回路のうちの１つ以上を含むことができる。ドローン４又はコンピューティングシステム８の処理回路は、訓練されたＭＬモデルに従って画像キャプチャハードウェア１２から受信した画像（単数又は複数）を分析し、分析に基づいて、基材１６に適用されたテープ１４（又はその一部分）の誤適用を検出することができる。本開示の様々な実施例では、処理回路は、訓練された分類モデル、訓練された検出モデル、又は訓練されたセグメンテーションモデルを実行することができる。
【0039】
いくつかの実施例では、ドローン４又はコンピューティングシステム８の処理回路は、クラウドコンピューティング能力を活用して、訓練されたモデルを実行することができる。様々な実施例では、訓練されたモデルは、ディープニューラルネットワークなどの訓練された深層学習モデルであってもよい。処理回路が本開示に従ってテープ１４の画像を分析するために実行することができる訓練されたディープニューラルネットワークの一実施例は、訓練された畳み込みニューラルネットワーク（convolutional neural network、ＣＮＮ）であり、それによって、コンピュータビジョン指向機械学習技術を適用して、基材１６に適用されたテープ１４の誤適用を検出する。ＣＮＮの態様は、公開番号ＷＯ２０２１／０３３０６１Ａ１及びＷＯ２０２０／００３１５０Ａ２を有する国際特許出願に記載されており、これらのそれぞれの開示全体は、参照により本明細書に組み込まれる。ドローン４又はコンピューティングシステム８の処理回路が本開示の欠陥検出態様を実行するために実行することができる訓練されたＣＮＮの一実施例は、Ｍａｓｋ Ｒ－ＣＮＮである。
【0040】
図３Ａ及び図３Ｂは、システム１０の態様が本開示の技術を使用して検出することができる、基材１６へのテープ１４の誤適用の更なる詳細を示す概念図である。図３Ａは、ドローン４又はコンピューティングシステム８の処理回路が本開示の訓練されたモデルを使用して検出することができるテープ適用欠陥の一例を示す。図３Ａに示される欠陥のいくつかは、本明細書で「フィッシュマウスしわ」と呼ばれるものに対応する。本明細書で使用されるとき、フィッシュマウスしわは、基材１６とのテープ１４の内側部分の隣接する非接着部分又は非同一平面部分を有する、基材１６からのテープ１４の縁部の非接着部分を伴う、テープの誤適用を指す。基材１６に適用されたテープ１４の縁部の非接着部分及び隣接する突出したしわによって生じる開口部は、流体（空気、水など）が浸入して基材１６に適用されたテープ１４の機能を損なう開口部を形成する。
【0041】
ドローン４又はコンピューティングシステム８の処理回路が訓練されたモデルを実行することによって検出することができる別のタイプの欠陥は、「テンティング」を含み、これは、（例えば、図３Ａに示されるフィッシュマウスしわの縁部侵入点なしに）基材１６に対するテープ１４の内側突出部の非接着部分及び突出部を指す。テープ１４のテンティングは、誤った適用手順によって、又は「アンダードライブ締結具」の上にテープ１４を適用することによって引き起こされる可能性がある。アンダードライブ締結具は、釘、ねじ、ボルト、又は他のタイプの締結具であって、基材１６に部分的に打ち込まれているが、締結具のヘッドが、締結具のヘッドの上に適用されたときにテープ１４をテント状にさせる大きさまで基材１６から突出している状態のものを指す。
【0042】
図３Ｂは、ドローン４又はコンピューティングシステム８の処理回路が本開示の訓練されたモデルを使用して検出することができるテープ適用欠陥の別の例を示す。図３Ａに示される欠陥は、本明細書では「欠落テープセグメント」と呼ばれる。欠落テープセグメント１８は、屋内調整の問題などのために基材１６の一部分を露出させるべきでないときに、基材１６の一部分を露出させたままにする、テープ１４の誤適用を示す。例えば、欠落テープセグメント１８は、要素に露出されるべきではない基材の継ぎ目又は基材パッチを露出させる可能性がある。ドローン４又はコンピューティングシステム８の処理回路はまた、本開示の訓練されたモデルを実行して、欠落テープセグメント１８とは異なるテープ１４の不連続部を検出することができる。一実施例として、ドローン４又はコンピューティングシステム８の処理回路は、本開示の訓練されたモデルを実行して、テープ１４の幅全体に及ばない裂け目、又はテープ１４の下の基材１６を露出させないが、代わりにテープ１４の有効性を損なう若しくは減少させるスクラッチを検出することができる。ドローン４又はコンピューティングシステム８の処理回路はまた、本開示の訓練されたモデルを実行して、画像キャプチャデバイス１２から受信した画像を分析し、（上述の例以外の）不十分な接着、不十分な張力（例えば、テープ１４が基材１６に適用されるときに十分な力で巻き下ろされない場合にテープ１４に対して「緩み」を引き起こし得るため）などの、基材１６に適用されたテープ１４の他のタイプの誤適用を検出することができる。いくつかの実施例では、ドローン４又はコンピューティングシステム８の処理（ローカルであるかクラウドコンピューティングリソースを活用するかにかかわらず）は、テープ１４の画像を分析して、テープ１４に関するブランド情報、規格準拠情報などを、その情報が画像処理なしで人間の目に見える方法で表されるかどうかにかかわらず、判定することができる。
【0043】
図４Ａ～図４Ｄは、本開示の訓練されたモデルが生成することができる様々な深層学習生成画像ラベルを示す図である。図４Ａ～図４Ｄの各々は、ドローン４又はコンピューティングデバイス８の処理回路が様々なレベルの計算複雑度で本開示の訓練されたモデルを実行することによって生成することができる、モデル出力を示す。図４Ａ～図４Ｄは、本開示の画像ラベルを生成することに関する計算複雑度の昇順を順に示す。
【0044】
図４Ａの実施例では、本開示の訓練された分類モデルは、基材１６に適用されたテープ１４の画像に対して全画像分類を実施する。この実施例では、ドローン４又はコンピューティングシステム８の処理回路は、画像ラベル１９の形態で「不合格」分類を返す。画像ラベル１９の「不合格」結果は、画像キャプチャハードウェア１２から受信した画像内の任意の場所で少なくとも１つの欠陥を検出することに基づいて、訓練された分類モデルによって生成された結果又はモデル出力である。図４Ｂの実施例では、本開示の訓練された検出モデルは、基材１６に適用されたテープ１４の画像に対してサブ画像分類を実施する。この実施例では、本開示の訓練された検出モデルは、画像を複数のサブ画像２０に分割し、画像ラベル１９によって図４Ａの実施例において全体として画像全体に対して行われたように、各それぞれのサブ画像２０を「合格」又は「不合格」ラベルで分類する。
【0045】
図４Ｃの実施例では、本開示の訓練された検出モデルは、基材１６に適用されたテープ１４の画像に対してオブジェクト検出を実施する。図４Ｃに示されるオブジェクト検出ベースの技術によれば、本開示の訓練された検出モデルは、基材１６に適用されたテープ１４の欠陥を示す画像のエリアの周りの矩形のバウンディングボックス（バウンディングボックス２２）を返し、それに対して、本開示の訓練された検出モデルは、それぞれの「不合格」結果をモデル出力として返す。図４Ｃの非限定的な実施例に示されるように、訓練された検出モデルは、オブジェクト検出を実施して、複数の（潜在的に、図４Ｃの場合のように、重複する）バウンディングボックス２２を返すことができる。
【0046】
図４Ｄの実施例では、本開示の訓練されたセグメンテーションモデルは、基材１６に適用されたテープ１４の画像に対して画像セグメンテーションを実施する。図４Ｄに示される画像セグメンテーションベースの技術によれば、本開示の訓練されたセグメンテーションモデルは、画像キャプチャハードウェア１２から取得された画像に表されるように、基材１６に適用されたテープ１４に関する欠陥のピクセルごとのラベリングを返す。図４Ｄは、本開示の訓練されたセグメンテーションモデルが基材１６に適用されたテープ１４を示す画像キャプチャハードウェア１２から受信した画像のピクセルごとの分析に基づいて識別する、欠陥セグメント２４を示す。
【0047】
図３Ａ～図４Ｄは、様々な実施例では、赤－緑－青（red-green-blue、ＲＧＢ）色空間、グレースケール色空間、白黒色空間、又は人間の目に部分的若しくは全体的に識別可能な様々な他の色度空間などの、様々な色空間で表される画像を表す。これらの実施例では、画像キャプチャデバイス１２は、これらの色空間のいずれかにおいてデジタル画像データを生成するように構成されたデジタルカメラハードウェアを表す。他の実施例では、画像キャプチャハードウェア１２は、いわゆる「偏光カメラ」を表すことができる。偏光カメラは、偏光カメラの偏光センサによって出力されたデータに対して計算を実行することによって、様々なフォーマットの画像データを生成することができる。
【0048】
図５は、本開示の態様による、基材１６に適用されたテープ１４に関する欠陥を検出するためにシステム１０が分析することができる偏光画像を示す概念図である。画像キャプチャハードウェア１２が偏光カメラを表す実施例では、ドローン４又はコンピューティングシステム８の処理回路は、画像キャプチャハードウェア１２によって出力された様々なデータを分析して、基材１６に適用されたテープ１４に関する欠陥を検出することができる。例として、ドローン４又はコンピューティングシステム８の処理回路は、本開示の訓練された分類モデルを実行して、以下の２つの値、すなわち、偏光画像内の非偏光、及び偏光画像内に示される直線偏光度（degree of linear polarization、ＤｏＬＰ）を分析することができる。図５は、本開示の訓練されたモデルがテープ１４の図示されたしわに基づく適用欠陥を高い信頼度で検出するために利用することができる、各カラーチャネル内の各ピクセルについて計算されたＤｏＬＰデータを含む前処理又は処理された偏光画像を示す。
【0049】
画像キャプチャハードウェアが偏光カメラを表すいくつかの非限定的な実施例では、画像キャプチャハードウェア１２の画像センサハードウェアは、０度、４５度、９０度、及び１３５度それぞれに向けられた４つの偏光フィルタを含む。４つの偏光フィルタを介して得られる４つの画像がＩ０、Ｉ４５、Ｉ９０、及びＩ１３５によって表される表記法を使用して、画像キャプチャハードウェア１２の偏光カメラは、以下の計算に従って各カラーチャネルについてストークスベクトル（Ｓ０、Ｓ１、Ｓ２、及びＳ３）を計算することができる。
【数2】
【0050】
上記の式（１）に従って計算されたストークスベクトルは、それぞれ、非偏光の強度画像（Ｓ０）、直線偏光又は水平偏光の強度画像（Ｓ１）、４５度又は１３５度で偏光された光の強度画像（Ｓ２）、及び円偏光された光（Ｓ３）を表す。偏光カメラは、以下の式（２）に従って、上述のストークスベクトルを使用してＤｏＬＰを計算することができる。
【数3】
【0051】
ドローン４又はコンピューティングシステム８の処理回路は、本開示の訓練されたモデルを実行して、直線偏光度を使用し、基材１６に適用されたテープ１４に関するしわ２６及び／又はフィッシュマウスしわ２８などの、しわに基づく欠陥を検出することができる。テープ１４の表面は、反射される入射光の角度に依存して異なって光を反射するので、しわ２６及び／又はフィッシュマウスしわ２８の存在及び潜在的に大きさ（基材１６から外向きの角度に関して）は、上述の偏光ベースの測定を変化させる。
【0052】
本開示の訓練されたモデルは、実行されると、式（２）に従って計算されたＤｏＬＰを使用して、光反射の方向性にとらわれずに、光反射の一貫性を測定することができる。様々な実験では、テープ１４は、黒色かつ光沢のある外観を有していた。テープ１４の色にかかわらず、本開示の訓練されたモデルは、テープ１４の光沢特性を活用して、ＤｏＬＰを使用し、しわの陰影及び他の影響を検出し、基材１６へのテープ１４の適用における欠陥を検出することができる。テープ１４のより暗い色（上記の実験で使用された黒色など）は、本開示の訓練されたモデルがＤｏＬＰを使用して基材１６に適用されたテープ１４のしわ２６及び／又はフィッシュマウスしわ２８を検出する能力を更に高めることができる。
【0053】
図６Ａ～図６Ｄは、本開示の訓練されたモデルが図５に示される偏光画像を使用して生成することができる様々な深層学習生成画像ラベルを示す図である。図６Ａ～図６Ｄの各々は、ドローン４又はコンピューティングデバイス８の処理回路が様々なレベルの計算複雑度で図５の偏光画像に対して本開示の訓練されたモデルを実行することによって生成することができる画像ラベルを示す。図６Ａ～図６Ｄは、図５の偏光画像を使用して画像ラベルを生成することに関する計算複雑度の昇順を順に示す。
【0054】
図６Ａの実施例では、本開示の訓練された分類モデルは、基材１６に適用されたテープ１４の偏光画像に対して全画像分類を実施する。この実施例では、ドローン４又はコンピューティングシステム８の処理回路は、偏光画像の全画像分析、最初に検出されたしわ２６若しくはフィッシュマウスしわ２８の検出時に満たされた条件、又は実質的に同時の検出の場合の両方に基づいて、「不合格」結果を返す。モデル出力の「不合格」結果は、図６Ａの画像ラベル２９によって示される。
【0055】
図６Ｂの実施例では、本開示の訓練された検出モデルは、基材１６に適用されたテープ１４の偏光画像に対してサブ画像分類を実施する。この実施例では、本開示の訓練された検出モデルは、偏光画像を複数のサブ画像３０に分割し、図６Ａの実施例において全体として偏光画像全体に対して行われたように、各それぞれのサブ画像３０を「合格」又は「不合格」結果として分類する。
【0056】
図６Ｃの実施例では、本開示の訓練された検出モデルは、基材１６に適用されたテープ１４の偏光画像に対してオブジェクト検出を実施する。図６Ｃに示されるオブジェクト検出ベースの技術によれば、本開示の訓練された検出モデルは、基材１６に適用されたテープ１４の欠陥を示す偏光画像のエリアの周りの矩形のバウンディングボックス（バウンディングボックス３２）を返す。図６Ｃの非限定的な実施例に示されるように、訓練された検出モデルは、オブジェクト検出を実施して、複数の（かつ、潜在的に重複する）バウンディングボックス３２を返すことができる。
【0057】
図６Ｄの実施例では、本開示の訓練されたセグメンテーションモデルは、基材１６に適用されたテープ１４の偏光画像に対して画像セグメンテーションを実施する。図６Ｄに示される画像セグメンテーションベースの技術によれば、本開示の訓練されたセグメンテーションモデルは、画像キャプチャハードウェア１２の偏光カメラから取得された画像に表されるように、基材１６に適用されたテープ１４に関するしわ２６及びフィッシュマウスしわ２８のピクセルごとのラベリングを返す。図６Ｄは、本開示の訓練されたセグメンテーションモデルが基材１６に適用されたテープ１４を示す図５の偏光画像に示された光偏光のピクセルごとの分析に基づいて識別する、欠陥セグメント２４を示す。
【0058】
図７は、本開示の訓練されたモデルが基材１６に適用されたテープ１４に関する１つ以上の欠陥を検出するために実行することができる偏光画像分析の態様を示すグラフ３６である。プロット線３８、４０、及び４２は、異なる偏光画像分析シナリオの下での対応する偽陽性率の関数としての（画像分類についての）真陽性率の変化を示す。全体として、グラフ３６は、ＤｏＬＰ画像及び非偏光（Ｓ０）画像に関して本開示の訓練されたモデルによって分類された試験データセットから生成された受信者動作特性（receiver operator characteristic、ＲＯＣ）曲線を表す。
【0059】
グラフ３６に示されるように、曲線下面積（area under the curve、ＡＵＣ）は、Ｓ０プロット線４０（非偏光画像に対応する）及びランダムプロット線４２（ベースライングラウンドトゥルースとして提供される）についてのＡＵＣと比較したとき、ＤｏＬＰプロット線３８（偏光画像に対応する）について最大である。図７に示されるＡＵＣは、本開示の訓練されたモデルに提供されるデータセットにおいて、画像の対応するクラスがどれだけ区別可能であるかの全体的な尺度を提供する。ＤｏＬＰプロット線３８についてのＡＵＣは、グラフ３８に示されるプロット線の中で最大であり、本開示の訓練されたモデルが他の画像を使用するよりも容易にＤｏＬＰ画像からしわ２６及び／又はフィッシュマウスしわ２８を区別することができることを示す。
【0060】
このようにして、本開示の技術は、本開示の訓練されたモデル（例えば、分類、検出、又はセグメンテーションモデルのうちの１つ以上）を使用することによって、基材１６に適用されたテープ１４に関する欠陥検出の精度を改善する。画像キャプチャハードウェア１２がＲＧＢ色空間、グレースケール色空間で、又は偏光画像（又はＤｏＬＰ画像）として画像を提供するかにかかわらず、本開示の訓練されたモデルは、（例えば、異なる視力又は知覚能力から生じるヒューマンエラーを軽減することによって）データ精度を改善しながら、基材１６に適用されたテープ１４に関する様々なタイプの欠陥を検出する。非限定的な使用事例の例としてドローン４に結合又は組み込まれるものとして主に説明されているが、本開示の訓練されたモデルに基づく画像分析技術はまた、非ドローンベースの実装形態においても同様にこれらのデータ精度向上を提供することが理解されよう。
【0061】
例えば、本開示の訓練されたモデルは、画像キャプチャハードウェア１２がスマートフォン、タブレットコンピュータ、ウェアラブルコンピューティングデバイスなどのモバイルコンピューティングデバイスに組み込まれている実施例において、画像キャプチャハードウェア１２によってキャプチャされた画像を使用することができる。別の実施例として、本開示の訓練されたモデルは、画像キャプチャデバイス１２が専用デジタルカメラ又は専用偏光カメラである場合、画像キャプチャデバイス１２によってキャプチャされた画像を使用することができる。上記に列挙された非ドローンベースの実施例のいずれかでは、本開示の訓練されたモデルは、デジタルカメラのアクチュエータボタンを介して提供されるユーザ入力又はモバイルコンピューティングデバイスのタッチスクリーンにおいて提供されるタッチ入力などによる、画像の手動キャプチャに基づいて、基材１６に適用されたテープ１４の画像を使用することができる。
【0062】
上述したドローンホスト型実装形態によれば、本開示のシステムは、安全性を改善し、基材１６のアクセスが困難なエリアから画像をキャプチャ及び分析する能力も改善する。例えば、ドローン４を使用して画像キャプチャハードウェア１２を潜在的に危険な場所に輸送し、これらの場所で画像をキャプチャすることによって、システム１０は、作業者が手動画像キャプチャのためにこれらの場所にアクセスすることを必要とすることによって人間の作業者を危険にさらす必要性を軽減する、又は潜在的に排除する。ドローン４はまた、さもなければ基材１６を調査するために作業者によって使用される機器に利用可能でない操縦能力を提供することができ、それによって、基材１６のこれらのエリアに関するアクセス可能性及びテープ検査能力を改善する。
【0063】
図８は、本開示のドローンホスト型基材検査の態様を示す概念図である。ドローンコントローラ６又はコンピューティングシステム８から受信したナビゲーション命令に基づいて、ドローン４の制御論理は、モーションガイドに、基材１６の特定のエリアに近接するエリアにドローン４をナビゲートさせることができる。ドローン４が配置されて画像キャプチャハードウェア１２による画像キャプチャを可能にするのに十分な向きにあることを検出すると、制御論理は、画像キャプチャハードウェア１２をアクティブ化して、画像キャプチャハードウェア１２のレンズハードウェアの視野内にある基材１６の部分の１つ以上の画像をキャプチャすることができる。
【0064】
ドローン４又はコンピューティングシステム８の処理回路は、上述した訓練されたモデル（例えば、分類モデル、検出モデル、又はセグメンテーションモデルのうちの１つ以上）のうちのいずれかを実行することによって、画像キャプチャハードウェア１２から受信した画像（単数又は複数）を分析して、基材１６の欠陥を検出することができる。上述したように、様々な実施例では、訓練されたモデルは、訓練されたＣＮＮなどの訓練されたディープニューラルネットワークであってもよい。これら及び他の実施例では、本開示の訓練されたモデルは、コンピュータビジョン指向機械学習技術を適用して、基材１６の欠陥を検出することができる。
【0065】
図９Ａ～図９Ｃは、本開示の訓練されたモデルが基材欠陥として検出することができる、基材１６におけるアンダードライブ締結具の例を示す概念図である。本明細書で使用されるとき、用語「アンダードライブ締結具」は、釘、ねじ、ボルト、鋲、又は他の貫通締結具のいずれかであって、締結具ヘッド４４を基材１６の表面と実質的に同一平面の位置に置くのに十分な深さ又は十分に均一な深さまで基材１６内に打ち込まれていないものを指すことができる。アンダードライブ締結具は、基材１６によって表される建物外皮又は他の構造物の構造的完全性を損なう。テープ１４が図９Ａに示されるアンダードライブ締結具を取り囲み、かつ含む基材１６の部分の上に適用される場合、締結具ヘッド４４の突出部は、基材１６に対するテープ１４のテンティングに基づく誤適用をもたらし得る。
【0066】
システム１０の態様は、（例えば、図８に示すようにドローン４を使用することによって、又は他の実施例に関して上述したように手動配置を介して）基材１６に十分に近接して画像キャプチャハードウェア１２を配置して、画像をキャプチャするために画像キャプチャハードウェア１２をアクティブ化することに基づいて、図９Ａに示す基材１６の画像をキャプチャすることができる。ドローン４又はコンピューティングシステム８の処理回路は、図９Ａの画像を使用して本開示の訓練されたモデルを実行して、締結具ヘッド４４の位置及び／又は向きを表す画像データに基づいてアンダードライブ締結具を検出することができる。このようにして、本開示の訓練されたモデルは、その実行段階において、図９Ａの締結具のアンダードライブ状態を示すモデル出力を提供することができ、それによって、アンダードライブ締結具の修復を適時に可能にする。
【0067】
例えば、本開示の訓練されたモデルが締結具ヘッド４４の位置及び／又は向きに基づいて検出するアンダードライブ締結具は、更なる建設関連タスクが基材１６の上で実行される前に、本開示の訓練されたモデルによって提供されるモデル出力に基づいて修復することができる。この実施例では、本開示の訓練されたモデルは、修復前にアンダードライブ締結具に単にアクセスするための追加の解体又は分解の必要性を低減又は潜在的に排除する。代わりに、外皮層検査中に締結具ヘッド４４を表す画像データを分析することに基づいてアンダードライブ締結具を検出することによって、本開示の訓練されたモデルは、適時かつ効率的な方法でアンダードライブ締結具の修復を可能にする。
【0068】
図９Ｂに示される画像は、図９Ａの締結具ヘッド４４の突出部によって示される基材１６のアンダードライブ締結具欠陥の上に適用されたときのテープ１４の有効性の欠陥を示す。本開示の訓練されたモデルが図９Ｂの画像を使用して実行される実施例では、モデル出力は、テープ１４の除去のシーケンス、締結具ヘッド４４の位置及び／又は向きによって証明されるアンダードライブ締結具の修復、並びに修復された基材１６へのテープ１４の新しいセグメントの再適用等の様々なタイプの修復を可能にする。（図１～図６に関して上述したように）訓練されたモデルが基材１６へのテープ１４の適用における欠陥を検出するようにも訓練される実施例などのいくつかの実施例では、訓練されたモデルは、締結具ヘッド４４の場所におけるテープ１４の誤適用（この特定の実施例では、引き裂き）を示すモデル出力を通信することもできる。
【0069】
図９Ｃに示す画像は、基材１６に適用されたテープ１４のテンティング４７によって示される基材１６のアンダードライブ締結具欠陥の上に適用された場合のテープ１４の有効性の欠陥を示す。テンティング４７が生じるのは、基材１６に不適切に埋め込まれたアンダードライブ締結具の上にテープ１４が適用されてもアンダードライブ締結具にテープ１４を破断又は貫通させる張力がないためである。本開示の訓練されたモデルが図９Ｃの画像を使用して実行される実施例では、モデル出力は、テープ１４の除去のシーケンス、アンダードライブ締結具を除去すること又はアンダードライブ締結具を基材１６と同一平面になるように打ち込むことなどによるテンティング４７の修復、及びテープ１４の新しいセグメントが基材１６と同一平面になるような修復された基材１６へのテープ１４の新しいセグメントの再適用などの、様々なタイプの修復を可能にする。
【0070】
図１０Ａ及び図１０Ｂは、本開示の訓練されたモデルが基材欠陥として検出することができる、基材１６におけるボード分離の例を示す概念図である。本明細書で使用されるとき、「分離」という用語は、基材１６の２つの隣接するボードの間の非同一平面接合部（非同一平面接合部４５など）を指す。非同一平面接合部４５は、十分に緊密に共に接合されていないボード間の間隙を表すことができる、又は異なる深さに配置された隣接するボード間の勾配差を表すことができる、又はこれらの欠陥の組み合わせを表すことができる。非同一平面接合部４５などの条件から生じるボード分離は、基材１６によって表される建物外皮又は他の構造物の構造的完全性を損なう。
【0071】
システム１０の態様は、（例えば、図８に示すようにドローン４を使用することによって、又は他の実施例に関して上述したように手動配置を介して）基材１６に十分に近接して画像キャプチャハードウェア１２を配置して、画像をキャプチャするために画像キャプチャハードウェア１２をアクティブ化することに基づいて、図１０Ａに示す基材１６の画像をキャプチャすることができる。ドローン４又はコンピューティングシステム８の処理回路は、図１０Ａの画像を使用して本開示の訓練されたモデルのうちの１つ以上を実行して、非同一平面接合部４５の存在を検出することができる。このようにして、本開示の訓練されたモデルは、その実行段階において、非同一平面接合部４５の存在を示すモデル出力を提供することができ、結果として生じるボード分離の修復を適時に可能にする。様々な実施例では、本開示の訓練されたモデルのモデル出力は、手動修復、（例えば、ドローン又は他の機器を使用した）自動修復、又は任意の他の適切な修復スキーム若しくは機構などの様々なタイプの修復を可能にすることができる。
【0072】
例えば、非同一平面接合部４５によって引き起こされるボード分離は、更なる建設関連タスクが基材１６の上で実行される前に、本開示の訓練されたモデル（単数又は複数）によって提供されるモデル出力に基づいて修復することができる。この実施例では、本開示の訓練されたモデルは、修復前に非同一平面接合部４５に単にアクセスするための追加の解体又は分解の必要性を低減又は潜在的に排除する。代わりに、外皮層検査中に非同一平面接合部４５によって引き起こされるボード分離を検出することによって、本開示の訓練されたモデルは、適時かつ効率的な方法でボード分離の修復を可能にする。
【0073】
図１０Ｂに示される画像は、図１０Ａの非同一平面接合部４５によって示される基材１６のボード分離欠陥の上に適用されたときのテープ１４の有効性の欠陥を示す。本開示の訓練されたモデルが図１０Ｂの画像を使用して実行される実施例では、モデル出力は、テープ１４の除去のシーケンス、非同一平面接合部４５から生じるボード分離の修復、及び修復された基材１６へのテープ１４の新しいセグメントの再適用等の様々なタイプの修復を可能にする。（図１～図７に関して上述したように）モデルが基材１６へのテープ１４の適用における欠陥を検出するようにも訓練される実施例などのいくつかの実施例では、訓練されたモデルは、非同一平面接合部４５におけるテープ１４の非接着部分を示すモデル出力を通信することもできる。
【0074】
図１１は、オーバードライブ締結具によって引き起こされ、本開示の訓練されたモデルを使用して検出される、基材１６の欠陥の例を示す概念図である。本明細書で使用されるとき、「オーバードライブ締結具」という用語は、釘、ねじ、鋲、ボルト、又は他の締結具であって、締結具のヘッド又は他のタイプの近位端が基材１６を貫通し、基材の下に現在配置されているように、過剰な深さまで打ち込まれているものを指す。締結具のオーバードライブは、基材１６の表面に（かつ表面の下のある深さまで）穴５０を形成させる。穴５０は、基材１６の構造的完全性、並びに温度、水、及び他の要素などの気象条件から建物２の内部を遮蔽することに関する基材１６の完全性を損なう可能性がある欠陥を表す。穴５０は、基材１６に対する熱伝達、水の浸入、又は他の機能の低下を引き起こす可能性がある。穴５０は、本明細書では、一例としてオーバードライブ締結具によって生じるものとして説明されているが、穴５０は、風で運ばれた破片、取り外された締結具などの他の要因によって生じる場合もある。
【0075】
ドローン４又はコンピューティングシステム８の処理回路は、図１１の画像を使用して本開示の訓練されたモデルを実行して、穴５０の存在を検出することができる。このようにして、本開示の訓練されたモデル（単数又は複数）は、そのそれぞれの実行段階（単数又は複数）において、穴５０の存在を示すモデル出力を提供することができ、結果として生じるボード分離の修復を適時に可能にする。本開示の訓練されたモデル（単数又は複数）はまた、建設現場管理者、検査官、請負業者などのための文書化証跡を提供することができ、それによって、保険に関連する情報を提供し、かつ潜在的に将来の紛争において紛争のある項目を明確にするために、建設管理を支援する。この実施例では、本開示の訓練されたモデルは、修復前に穴５０に単にアクセスするための追加の解体又は分解の必要性を低減又は潜在的に排除する。代わりに、外皮層検査中に穴５０によって表される基材１６の構造的欠陥を検出することによって、本開示の訓練されたモデルは、適時かつ効率的な方法で穴５０の修復を可能にする。
【0076】
図１２Ａ及び図１２Ｂは、本開示の訓練されたモデルが基材欠陥として検出することができる、基材１６における衝突関連の損傷の例を示す概念図である。本明細書で使用されるとき、「衝突関連の損傷」という用語は、打撃（内向き圧力）又はガウジング（外向き圧力）から生じ得る、基材１６に対する任意のタイプの損傷を指す。基材１６は、多数の異なる原因に起因する衝突関連の損傷を呈し得るが、図１２Ａ及び図１２Ｂの例は、非限定的な例として、ハンマー爪端部ガウジング及びハンマー打撃によって引き起こされる損傷に関して本明細書で説明される。図１２Ａ及び図１２Ｂに示される衝突関連の損傷は、基材１６によって表される建物外皮又は他の構造物の構造的完全性を損なう。
【0077】
システム１０の態様は、（例えば、図８に示すようにドローン４を使用することによって、又は他の実施例に関して上述したように手動配置を介して）基材１６に十分に近接して画像キャプチャハードウェア１２を配置して、画像をキャプチャするために画像キャプチャハードウェア１２をアクティブ化することに基づいて、図１２Ａに示す基材１６の画像をキャプチャすることができる。ドローン４又はコンピューティングシステム８の処理回路は、図１２Ａの画像を使用して本開示の訓練されたモデルを実行して、表面の裂け目４６の存在を検出することができる。本開示の訓練されたモデルは、その実行段階において、様々な幅及び重症度の裂け目を検出することができる。図１２Ａに示されるように、本開示の訓練されたモデルは、基材１６において、２つの比較的大きな裂け目、並びに多数のより小さな裂け目又は「へこみ」を検出する。このようにして、本開示の訓練されたモデルは、その実行段階において、表面の裂け目４６の存在を示すモデル出力を提供することができ、適時に表面の裂け目４６の修復を可能にする。
【0078】
例えば、非同一平面接合部４５によって引き起こされるボード分離は、更なる建設関連タスクが基材１６の上で実行される前に、本開示の訓練されたモデルによって提供されるモデル出力に基づいて修復することができる。この実施例では、本開示の訓練されたモデルは、修復前に非同一平面接合部４５に単にアクセスするための追加の解体又は分解の必要性を低減又は潜在的に排除する。代わりに、外皮層検査中に非同一平面接合部４５によって引き起こされるボード分離を検出することによって、本開示の訓練されたモデルは、適時かつ効率的な方法でボード分離の修復を可能にする。
【0079】
図１２Ｂに示す画像は、基材１６の表面くぼみ４８を示す。表面くぼみ４８は、ハンマーで基材１６の表面を打つときに加えられる過度の力及び／又は不適切な角度によって、又は他の要因によって引き起こされる可能性がある。本開示の訓練されたモデルが図１２Ｂの画像を使用して実行される実施例では、それぞれのモデル出力は表面くぼみ４８を識別しており、これは基材１６に適用された耐候性コーティングの下に配置されたその露出された材料（例えば、木材）をハンマーが打つ事例を示している。
【0080】
図１３Ａ及び図１３Ｂは、本開示の態様による、ドローン４が装備されて、基材１６又はテープ１４上の潜在的な調査対象のオブジェクト（ＯｏＰＳＩ）をマーキングするように構成されている実施例を示す。いくつかの実施例では、システム１０の態様は、図１～図１２Ｂに関して上述した訓練されたモデルを使用して識別される、又は他の方法で識別されるＯｏＰＳＩの近くのエリアにドローン４をナビゲートすることができる。図１３Ａの実施例では、ドローン４は、上部マウント５２を備える。上部マウント５２は、（飛行中に向けられた）ドローン４の上面に物理的に結合されたときに、追加のアタッチメント及び構成要素へのドローン４の更なる結合を可能にする、任意のハードウェア又はハードウェア構成要素の組み合わせを表すことができる。他の実施形態では、ドローン４は、飛行中に地面に面するドローン４の表面を介して追加のアタッチメント及び／又は構成要素の結合を可能にする底部マウントを備えることができる。
【0081】
ドローン４は、衝撃吸収サブアセンブリ５４を備える。図１３Ａの実施例では、上部マウント５２は、ドローン４を衝撃吸収サブアセンブリ５４に結合する。いくつかの実施例では、衝撃吸収サブアセンブリ５４は、単一の圧縮ばね又は複数の圧縮ばねを含むことができる圧縮ばねセットを表す。他の実施例では、衝撃吸収サブアセンブリ５４は、油圧デバイス、圧縮ブラダ、ストラット、磁性流体などの他のタイプの衝撃吸収技術を表すことができる。いずれにしても、衝撃吸収サブアセンブリ５４は、衝突関連の衝撃を熱エネルギーなどの放散可能な別の形態のエネルギーに変換することによって、衝撃インパルスを吸収及び／又は減衰するように構成されている。
【0082】
ドローン４はまた、マーキングデバイス５６を備える。マーキングデバイス５６は、基材１６のエリア、又は基材１６に適用されるテープ１４のエリアをマーキングするように構成された様々なタイプの機器を表すことができる。一実施例では、マーキングデバイス５４は、マーキングデバイス５６の遠位先端と、基材１６又は基材１６に適用されたテープ１４などのレセプタクルとの間の接触時にインクを供給するように構成された、ペン、フェルトペン、マーカー、ビンゴドーバーなどのインク供給システムを表す。別の実施例では、マーキングデバイス５６は、マーキングデバイス５６の遠位先端が接触するレセプタクル（例えば、基材１６又は基材１６に適用されたテープ１４）上にセルフタック紙ストリップを供給するように構成されている。他の実施例では、マーキングデバイス５６は、他の方法でレセプタクル（基材１６又は基材１６に適用されたテープ１４など）をマーキングするように構成されている。
【0083】
図１３Ｂは、図１４３の例において構成されたドローン４の特定の態様の更なる詳細を示す。図１３Ｂは、上部マウント５２を介してドローン４に結合された様々な構成要素の側面図である。図１３Ｂは、衝撃吸収サブアセンブリ５４の圧縮範囲５８を示す。圧縮範囲５８は、衝撃吸収サブアセンブリ５４が上部マウント５２を介してドローン４に結合された構成要素の組み合わせの全長の一時的な低減を可能にする、長さを表す。
【0084】
圧縮範囲５８は、マーキングデバイス５６が基体１６などの物体に衝突するたびに衝撃吸収サブアセンブリ５４が圧縮する長さを表すものではないことが理解されよう。むしろ、圧縮範囲５８は、マーキングデバイス５６の遠位先端が剛体又は半剛体（例えば、基材１６又は基材１６に適用されたテープ１４）と接触する際に衝撃吸収サブアセンブリ５４によって与えられる最大圧縮を表す。図１３Ｂに示される向きの実施例では、マーキングデバイス５６の右側端部は、本明細書に記載されるＯｏＰＳＩマーキング機能の一部として基材１６と接触する遠位先端を含む。
【0085】
衝突の力に応じて、衝撃吸収サブアセンブリ５４は、圧縮範囲５８いっぱいの大きさ、又は圧縮範囲５８未満の大きさのいずれかまで圧縮することができる。図１３Ｂに示す構成では、衝撃吸収サブアセンブリ５４は、マーキングマウント６０と後部止め具６４との間に配置されている。マーキングマウント６０は、マーキングデバイス５６を受け入れるように構成された構成要素を表す。いくつかの実施例では、マーキングマウント６０は、拡張可能又は構成可能な直径及び／又は形状を有し、それによって、マーキングマウント６０が様々な形状、サイズ、フォームファクタなどのマーキングデバイス又は他の周辺機器を受け入れることを可能にする。
【0086】
このようにして、マーキングマウント６０は、本開示のシステム及び技術による様々なタイプのマーキング周辺機器の使用を可能にする。後部止め具６４は、固定位置を有する剛性構成要素を表す。後方止め具６４は、ドローン４が遠位先端マーキングデバイス５６と基材１６又はテープ１４との衝突に対する反力を提供することを可能にし、一方で、圧縮範囲５８の全長によって表される最大長まで、衝撃吸収サブアセンブリ５４によって提供される圧縮に対応する。
【0087】
図１３Ｂに示す構成によれば、ドローン４はまた、モーションガイド６６を備える。様々な実施例では、モーションガイド６６は、マーキングデバイス５６の遠位先端が基材１６に衝突したことに応じて（マーキングデバイス５６を保持する）マーキングマウント６０の往復運動のための摺動フレームワークを提供する直線モーションガイドである。モーションガイド６６は、上部マウント５２を介してドローン４に結合され、１つ以上の締結具を使用して（例えば、スロット付きチャネル又は別のタイプのチャネル内で）モーションガイド６６とマーキングマウント６０との間の定位置に衝撃吸収サブアセンブリ５４を保持する。
【0088】
ドローン４の制御回路は、識別されたＯｏＰＳＩに関連付けられた（例えば、識別されたＯｏＰＳＩにある、識別されたＯｏＰＳＩを含む、又は識別されたＯｏＰＳＩに近接する）エリアにドローン４をナビゲートするように構成されている。制御回路は、ドローン４のローカル位置トラッカ及び他のハードウェアを使用して、ドローン４のこれらの動きを達成することができる。例えば、制御回路は、ドローン４の制御論理から受信した命令に基づいて、識別されたＯｏＰＳＩに関連付けられたエリアにドローン４をナビゲートすることができる。次に、ドローン４の制御論理は、制御論理がドローン４又はコンピューティングシステム８の処理回路から受信するナビゲーション命令に基づいて、ＯｏＰＳＩに関連付けられたエリアにドローン４をナビゲートすることができる。
【0089】
いくつかの実施例では、ドローン４は、図１３Ａ及び図１３Ｂの実施例において構成されているように、図８、図９Ａ、図１０Ａ、及び図１１～図１２Ｂに示され、それらの図に関して説明された例などの、基材１６の欠陥に関連付けられたＯｏＰＳＩにナビゲートし、ＯｏＰＳＩをマーキングすることができる。ドローン４が図１３Ａ及び図１３Ｂの態様に従ってナビゲートしマーキングすることができる基材欠陥ＯｏＰＳＩの例としては、表面の裂け目、アンダードライブ締結具、オーバードライブ締結具、表面ガウジング、過剰なシーラント、ボード分離、間隙などが挙げられる。
【0090】
いくつかの実施例では、ドローン４は、図１３Ａ及び図１３Ｂの実施例において構成されているように、図２～図７、図９Ｂ、及び図１０Ｂに示され、それらの図に関して説明された例などの、基材１６に適用されたテープ１４に関するテープ誤適用（単数又は複数）に関連付けられたＯｏＰＳＩにナビゲートし、ＯｏＰＳＩをマーキングすることができる。ドローン４が図１３Ａ及び図１３Ｂの態様に従ってナビゲートしマーキングすることができるテープ誤適用関連のＯｏＰＳＩの例としては、フィッシュマウスしわ、基材１６に適用されたテープ１４のテンティング、欠落セグメント（単数又は複数）、様々なタイプの不十分な接着、不十分な張力などが挙げられる。
【0091】
図１４Ａ～図１４Ｃは、本開示の態様による、ドローン４が装備されて、基材１６又は基材１６に適用されたテープ１４上のＯｏＰＳＩを修復するように構成されている実施例を示す概念図である。いくつかの実施例では、システム１０の態様は、図１～図１２Ｂに関して上述した訓練されたモデルを使用して識別される、又は他の方法で識別されるＯｏＰＳＩの近くのエリアにドローン４をナビゲートすることができる。図１４Ａの実施例では、ドローン４は、上部マウント５２及び下部マウント６８を備える。下部マウント６８は、（飛行中の向きで）ドローン４の下面又は地面に面する表面に物理的に結合されたときに、追加のアタッチメント及び構成要素へのドローン４の更なる結合を可能にする、任意のハードウェア又はハードウェア構成要素の組み合わせを表すことができる。
【0092】
下部マウント６８を介して、ドローン４は、ディスペンササブアセンブリ７２を備える。ディスペンササブアセンブリ７２は、シリンジ７６を受け入れるハウジング７５を含む。図示されるように、ハウジング７５は、シリンジ７６のアプリケータがハウジング７５から遠位に配置されるような位置及び向きでシリンジ７６を受け入れるように構成されている。したがって、ディスペンササブアセンブリ７２は、シリンジ７６の任意の内容物をドローン４の機体から遠位方向に押し出すことを可能にする位置及び向きでシリンジ７６を収容するように構成されている。
【0093】
図１３Ｂに関して説明したように、ドローン４の制御回路は、ドローン４の制御論理がドローン４又はコンピューティングシステム８の処理回路から受信したナビゲーション命令に基づいて生成する命令に基づいて、識別されたＯｏＰＳＩに関連付けられた（例えば、識別されたＯｏＰＳＩにある、識別されたＯｏＰＳＩを含む、又は識別されたＯｏＰＳＩに近接する）エリアにドローン４をナビゲートするように構成されている。ドローン４の制御論理はまた、ドローン４又はコンピューティングシステム８の処理回路から押出命令を受信することができる。
【0094】
図１４Ｂは、ディスペンササブアセンブリ７２の上面図を示す。処理回路から受信した押出命令に基づいて、制御論理は、アクチュエータモータ７７を作動させることができる。例えば、受信した押出命令に基づいて、ドローン４の制御論理は、アクチュエータモータ７７に、アクチュエータアーム８０を往復運動の伸長段階に移動させることができる。往復運動の伸長段階は、アクチュエータアーム８０がドローン４の機体から遠位に直線経路上を動く段階を表す。指定された距離８２は、アクチュエータがディスペンササブアセンブリ内で動くことができる距離を意味し、これは、このフォームファクタにおける材料の消耗に相関することができる。
【0095】
【0096】
アクチュエータアーム８０を往復運動の伸長段階に動かすことによって、アクチュエータモータ７７は、アクチュエータアーム８０にシリンジ７６の内容物の一部を押し出させる。ドローン４が識別されたＯｏＰＳＩに関連付けられたエリアに配置されていることに基づいて、アクチュエータモータ７７は、アクチュエータアーム８０に、ＯｏＰＳＩに関連付けられたエリアにシリンジ７６の内容物を押し出させる。いくつかの実施例では、ナビゲーション命令及び／又は押出命令に基づいて、ドローン４の制御論理は、シリンジ７６の内容物を押し出すためにアクチュエータアーム８０が往復運動の伸長段階にある間に、ドローン４を基材１６の表面と平行に、又は実質的に平行に動かすように構成されている。
【0097】
本明細書で使用されるとき、基材１６の表面と実質的に平行なドローン４の動きは、基材１６のＸ－Ｙ平面と実質的に平行な任意のパターンでの動きを指す。アクチュエータアーム８０が伸長段階にある間に、基材１６のＸ－Ｙ平面と実質的に平行にドローン４を動かすことによって、ドローン４の制御論理は、ナビゲーション命令及び押出命令を処理して、識別されたＯｏＰＳＩの一部、大部分、又は全ての上にシリンジ７６の内容物を押し出す。
【0098】
すなわち、ナビゲーション命令は、完了時に、識別されたＯｏＰＳＩの一部、大部分、又は全てをカバーする動きパターンに対応することができる。いくつかの実施例では、押出命令に関連付けられた押出増分に基づいて、ドローン４の制御論理は、アクチュエータモータ７７に、アクチュエータアーム８０を往復運動の後退段階に動かしてシリンジ７６の内容物の押出を中止させることができる。すなわち、押出増分は、シリンジ７６の内容物が押し出されている間にＯｏＰＳＩの十分なエリアをカバーするためのドローン４の動きを仮定して、ＯｏＰＳＩを修復するために押し出されるシリンジ７６の内容物の量を定義することができる。
【0099】
アクチュエータカプラ７４は、（ドローン４の機体に対して）アクチュエータアーム８０の遠位端を（ドローン４の機体に対して）シリンジ７６の近位端に物理的に結合し、シリンジ７６の近位端に、アクチュエータアーム８０の往復運動の伸長段階及び後退段階の両方を追跡させる。
【0100】
図１４Ｃは、図１４Ａに示されるスロット付きチャネル７０の更なる詳細を示す。図１４Ａに示すように、スロット付きチャネル７０は、ディスペンササブアセンブリ７２をドローン４の機体に結合するように構成されている。スロット付きチャネル７０は、ドローン４の機体への固定点の基準点に対するディスペンササブアセンブリ７２の半径方向の動きの自己加重非制御自由度（degree of freedom、ＤＯＦ）８８を提供する。ディスペンササブアセンブリ７２の動きの非制御ＤＯＦ８８を提供することによって、スロット付きチャネル７０は、ディスペンササブアセンブリ７２の半径方向の動きに対するエラーバッファ（例えば、向かい風の突風、ロータ洗浄など）を提供する。
【0101】
スロット付きチャネル７０によって提供される非制御ＤＯＦ８８は、制御されたＤＯＦの実装形態の場合に必要とされ、ひいては潜在的に重量に敏感なシステムに重量を追加することになる、追加のモータ及び搭載された構成要素のインフラストラクチャの必要性を低減する。しかしながら、制御されたＤＯＦの実装形態及び／又は堅固に固定された実装形態もまた、本開示の接着剤供給ドローンの実装形態と一致することが理解されるであろう。図１４Ｃは、ピボットハブ８４並びに半径方向締結具８６Ａ及び８６Ｂを示す。半径方向締結具８６Ａ及び８６Ｂは、ピボットハブ８４から等距離に配置され、非制御ＤＯＦ８８に含まれる弧を提供する。
【0102】
単に例示を容易にするために、半径方向締結具８６Ａと８６Ｂとの間の円周方向の動きによって表される弧のみが図１４Ｃに示されているが、スロット付きチャネル７０は、非制御ＤＯＦ８８を提供するために、様々な数の半径方向締結具を含むことができることが理解されよう。様々な実施例では、シリンジ７６は、コーキング材、汎用シリコーン接着剤、ニトロセルロース接着剤、ペーストシーラント、エポキシアクリル、又はディスペンササブアセンブリ７２を使用して供給されるのに適した他の接着剤等の様々なタイプの接着剤内容物を装填することができる。いくつかの実施例では、ドローン４は、交換可能なシリンジを備えることができ、シリンジ７６は、現在使用中のシリンジを表し、他のバックアップ及び／又は使用済みのシリンジも搭載されている。
【0103】
図１４Ａ～図１４Ｃに示されるドローン４の実施形態は、シリンジ７６の接着剤内容物を供給して、表面の裂け目、アンダードライブ締結具、オーバードライブ締結具、表面ガウジング、ボード間の間隙若しくは他の不連続部、衝突関連の損傷などの基材１６の欠陥、及び／又はフィッシュマウスしわ、裂け目若しくは擦り傷、しわ、テンティング、欠落テープセグメント、不十分な接着、不十分な張力などのテープ１４の誤適用を含むがこれらに限定されない、様々なタイプのＯｏＰＳＩを修復することができる。
【0104】
図１５は、本開示の態様による、ドローン４が装備されて、基材１６又は基材１６に適用されたテープ１４上のＯｏＰＳＩを修復するように構成されている別の実施例を示す概念図である。いくつかの実施例では、システム１０の態様は、図１～図１２Ｂに関して上述した訓練されたモデルを使用して識別される、又は他の方法で識別されるＯｏＰＳＩの近くのエリアにドローン４をナビゲートすることができる。図１５の実施例では、ドローン４は、ディスペンササブアセンブリ９０を備える。ディスペンササブアセンブリ９０は、エアロゾル供給システム１０２を受け入れるハウジング９４を含む。ディスペンササブアセンブリ９０は、非限定的な実施例としてドローン４の上面に取り付けられるものとして図１５に示されているが、本開示による別の実施例では、ディスペンササブアセンブリ９０は、他の方法でドローン４に結合することができることが理解されよう。
【0105】
エアロゾル供給システム１０２は、ノズル１０４を押し下げることなどによって圧力弁が開くと圧縮された内容物を放出するように構成された１つ以上のタイプの缶又は貯蔵デバイスを表すことができる。図１３Ｂに関して説明したように、ドローン４の制御回路は、ドローン４の制御論理がドローン４又はコンピューティングシステム８の処理回路から受信したナビゲーション命令に基づいて生成する命令に基づいて、識別されたＯｏＰＳＩに関連付けられた（例えば、識別されたＯｏＰＳＩにある、識別されたＯｏＰＳＩを含む、又は識別されたＯｏＰＳＩに近接する）エリアにドローン４をナビゲートするように構成されている。ドローン４の制御論理はまた、ドローン４又はコンピューティングシステム８の処理回路から供給命令を受信することができる。
【0106】
処理回路から受信した供給命令に基づいて、制御論理は、モータ９２を作動させることができる。例えば、受信した供給命令に基づいて、ドローン４の制御論理は、モータ９２に、トリガ９８を往復運動の後退段階に移動させることができる。往復運動の後退段階は、トリガ９８がドローン４の機体に向かって近位に動く段階を表す。例えば、ドローン４の制御論理によってこのように作動されると、モータ９２は、ドローン４の機体に向かってリンクワイヤ９６を後退させることができ、それによって、リンクワイヤ９６に結合されたトリガ９８を後退させる。
【0107】
往復運動の後退段階にトリガ９８を動かすことによって、モータ９２は、トリガ９８にノズル１０４を押下させ、それによって、エアロゾル供給システム１０２の内容物の一部を放出させる。ドローン４が識別されたＯｏＰＳＩに関連付けられたエリアに配置されていることに基づいて、モータ９２は、トリガ９８にノズル１０４を押下させ、エアロゾル供給システム１０２の内容物をＯｏＰＳＩに関連付けられたエリアに供給させる。いくつかの実施例では、ナビゲーション命令及び／又は供給命令に基づいて、ドローン４の制御論理は、トリガ９８が往復運動の後退段階にある間に、ドローン４を基材１６の表面と平行に、又は実質的に平行に動かし、ノズル９８を押下して保持し、それによって、エアロゾル供給システム１０２の内容物を供給するように構成されている。
【0108】
本明細書で使用されるとき、基材１６の表面と実質的に平行なドローン４の動きは、基材１６のＸ－Ｙ平面と実質的に平行な任意のパターンでの動きを指す。トリガ９８が往復運動の後退段階にある間にドローン４を基材１６のＸ－Ｙ平面と実質的に平行に動かすことによって、ドローン４の制御論理は、ナビゲーション命令及び押出命令を処理して、識別されたＯｏＰＳＩの一部、大部分、又は全ての上にエアロゾル供給システム１０２の内容物を供給する。
【0109】
すなわち、ナビゲーション命令は、完了時に、識別されたＯｏＰＳＩの一部、大部分、又は全てをカバーする動きのパターンに対応することができる。いくつかの実施例では、押出命令に関連付けられた供給増分に基づいて、ドローン４の制御論理は、モータ９２に、リンクワイヤ９６に加えられた張力の少なくとも一部を解放させ、往復運動の伸長段階にトリガ９８を動かしてエアロゾル供給システム１０２の内容物の供給を中止させることができる。すなわち、供給増分は、エアロゾル供給システム１０２の内容物が噴霧されている間にＯｏＰＳＩの十分なエリアをカバーするためのドローン４の動きを仮定して、ＯｏＰＳＩを修復するために噴霧されるエアロゾル供給システム１０２の内容物の量を定義することができる。
【0110】
エアロゾル供給システム１０２の内容物は、任意のエアロゾル推進シーラント、又はゴムシーラント、耐候性スプレー式塗料、加圧発泡シーラントなどの封止若しくは成形目的のために識別されたＯｏＰＳＩの上に噴霧されるのに適した任意の他の材料を含むことができる。図１５に示されるドローン４の実施形態は、エアロゾル供給システム１０２の内容物を供給して、表面の裂け目、オーバードライブ締結具、表面ガウジング、ボード間の間隙若しくは他の不連続部、衝突関連の損傷などの基材１６の欠陥、及び／又は裂け目若しくは擦り傷、欠落テープセグメント、不十分な接着などのテープ１４の誤適用を含むがこれらに限定されない、様々なタイプのＯｏＰＳＩを修復することができる。
【0111】
図１４Ａ～図１５と一致するいくつかの実装形態では、ドローン４は、光源と、光センサと、光源を光センサに結合する光ファイバリンクとを備えることができる。これらの実装形態では、ドローン４の制御論理は、供給／押出命令に基づいて光源をアクティブ化することができ、モータ９２又はアクチュエータモータ７７（場合によって）は、それぞれの往復運動の後退段階にトリガ９８を動かす、又は伸長段階にアクチュエータアーム８０を動かすように構成されている。これらの実施例では、ドローン４の制御論理は、これらの光ベースの技術を使用して、光センサが光ファイバリンクを介して光源のアクティブ化を検出したことに応じて、ノズル１０４を押し下げ、又はシリンジ７６の内容物を押し出して、ＯｏＰＳＩに関連付けられたエリアにエアロゾル供給システム１０２又はシリンジ７６の内容物を供給する。
【0112】
図１４Ａ～図１５と一致する他の実装形態では、ドローン４は、マイクロコントローラ、Ｂｌｕｅｔｏｏｔｈ（登録商標）又は他の近距離、低電力、無線送受信機、及びバッテリ又はバッテリパックなどの電源を備えることができる。マイクロコントローラは、スクリプトを連続的に実行することができ、スクリプトは、適切な関数呼び出しにおいて、無線送受信機との接続を開始し、供給増分又は押出増分に対応する信号を送信してもよい。これらの実施例では、マイクロコントローラ－送受信機ベースのサブシステムは、ドローン４のファームウェアとは別個かつ独立しており、したがって、基礎となるＵＡＶプラットフォームに適合するための特定の機械的調整を保留して、異なる基礎となるＵＡＶプラットフォーム間で移植可能であり、異なる基礎となるＵＡＶプラットフォームに依存しない。
【0113】
図１６は、本開示の例示的なプロセス１１０を示すフローチャートである。プロセス１１０は、建物２の調査から開始することができる（１０６）。例えば、ドローン４の制御論理は、ドローン４をナビゲートし、画像キャプチャハードウェア１２をアクティブ化して、建物２の１つ以上の画像をキャプチャすることができる。次に、ドローン４又はコンピューティングシステム８の処理回路は、１つ以上の画像を分析することができる（１０８）。様々な実施例では、ドローン４又はコンピューティングシステム８の処理回路は、モデル出力を生成するために、本開示の訓練された分類モデル、訓練された検出モデル、又は訓練されたセグメンテーションモデルのうちの１つ以上を実行することによって、画像キャプチャハードウェアから受信した画像（単数又は複数）を分析することができる。
【0114】
処理回路は、モデル出力を報告してもよい（１１２）。例えば、処理回路は、処理回路に通信可能に結合された出力ハードウェアに通信可能に結合されていてもよい。これらの実施例では、処理回路は、出力ハードウェアを介してモデル出力を出力するように構成することができ、出力ハードウェアは、モニタ、スピーカ、モデル入力を別のデバイスに中継するように構成された通信インタフェースなどとすることができる。図４Ａ～図４Ｄ及び図６Ａ～図６Ｄに関して上述したように、モデル出力は、欠陥状態及び／又は画像（単数又は複数）に示される特定のＯｏＰＳＩ（単数又は複数）を示すことができる。
【0115】
プロセス１１０は、ドローン４を使用して、検出されたＯｏＰＳＩをマーキングするかどうかの判定（判断ブロック１１４）を含む。判定がドローン４を使用して検出されたＯｏＰＳＩをマーキングすること（判断ブロック１１４の「はい」分岐）である場合、ドローン４の制御論理は、ドローン４に、１３Ａ及び１３Ｂに関して上述した技術を使用することなどによって、ＯｏＰＳＩをマーキングさせることができる（１１６）。判定がドローン４を使用して検出されたＯｏＰＳＩをマーキングしないこと（判断ブロック１１４の「いいえ」分岐）である場合、現場管理者は、任意選択的に、検出されたＯｏＰＳＩを手動でマーキングすることができる（１１８）。検出されたＯｏＰＳＩの手動マーキングの任意選択の性質は、図１６のステップ１１８の破線の境界によって示されている。
【0116】
プロセス１１０はまた、ドローン４を使用して、検出されたＯｏＰＳＩを修復するかどうかの判定（判断ブロック１２０）を含む。判定がドローン４を使用して検出されたＯｏＰＳＩを修復すること（判断ブロック１２０の「はい」分岐）である場合、ドローン４の制御論理は、ドローン４に、１４Ａ～１５に関して上述した技術を使用することなどによって、ＯｏＰＳＩを修復させることができる（１２２）。判定がドローン４を使用して検出されたＯｏＰＳＩを修復しないこと（判断ブロック１２０の「いいえ」分岐）である場合、現場管理者は、任意選択的に、検出されたＯｏＰＳＩを手動で修復することができる（１２４）。検出されたＯｏＰＳＩの手動修復の任意選択の性質は、図１６のステップ１２４の破線の境界によって示されている。様々な実施例では、ドローン４の制御論理は、画像キャプチャハードウェア１２から受信した画像（単数又は複数）を分析することによって、処理回路が手動で又はドローン４によって配置されたマークを検出したことに応じて、ドローン４をＯｏＰＳＩを取り囲むエリアにナビゲートし、修復措置を達成するように構成することができる。
【0117】
いくつかの実装形態では、（これらの実装形態ではコントローラ６に通信可能に結合されている）コンピューティングシステム８上で実行されるソフトウェアアプリケーションは、エアロゾル供給システム１０２による噴霧を介して修復されることになる基材１６上の１つ以上のターゲットを自律的に識別する。アプリケーションは、（例えば、ドローン４が備えることができる画像キャプチャハードウェア１２又は他のビデオキャプチャハードウェアを介して）ドローン４から受信したビデオフィードのビデオデータを処理することができる。例えば、アプリケーションは、２つの合板ボード間の亀裂を識別し、ドローン４の制御論理に、ドローン４を亀裂の縁部又は端部と位置合わせさせ、エアロゾルディスペンサシステム１０２を作動させて噴霧を開始させ、ドローン４が亀裂の反対側の端部に到達するまで亀裂に沿ってドローン４を動かすことができ、その時点で、制御論理は、エアロゾル供給システム１０２を停止させ、噴霧を停止させることができる。
【0118】
別の実施例では、アプリケーションは、パイプと基材１６との接合部を取り囲む間隙を識別し、ドローン４の制御論理に、ドローン４を亀裂の縁部と位置合わせさせ、エアロゾルディスペンサシステム１０２を作動させて噴霧を開始させ、ドローン４が接合部を完全に一周するまで、パイプと基材１６との接合部を追跡する円形経路に沿ってドローン４を動かすことができ、その時点で、制御論理は、エアロゾル供給システム１０２を停止させ、噴霧を停止させることができる。これらの実施例のいずれにおいても、アプリケーションは、異なる距離、角度、照明条件等における基材１６の多数の画像のデータセットを使用して訓練されたコンピュータビジョン指向機械学習モデルを実行することによって、亀裂、パイプ、又はパイプ接合部を識別することができる。「円形」として説明されているが、パイプ接合部における間隙を修復するためのドローン４の経路は、長円形、楕円形、又は任意の他のタイプの閉鎖形状であってもよいことが理解されるであろう。
【0119】
コンピュータビジョン処理は、対象のエリアの周りのラベル付けされたバウンディングボックス内のエリアで実行することができる。本開示のコンピュータビジョン処理ワークフローの一実施例では、コンピューティングシステム８上で実行されるアプリケーションは、訓練された機械学習アルゴリズムを実行して、画像キャプチャハードウェア１２から受信したビデオフレームを読み取り、（例えば、カラーマスキング又は他の技術を使用して）対象のオブジェクトを画像の背景から分離することができ、（例えば、拡張、侵食などのモルフォロジー演算を使用して）マスクを改良することができ、（例えば、キャニーエッジ検出を使用して）１つ以上のエッジを検出することができる。
【0120】
この実施例では、訓練された機械学習アルゴリズムは、マスクを侵食して、外側エッジを除去し、（例えば、ハフ線変換を使用して）線をエッジに適合させ、（例えば、ＤＢＳＣＡＮクラスタリングを使用して）あまり関連性のない又は無関係なハフ線をフィルタリングして除去することができ、ハフ線とマスクエッジ（単数又は複数）との交点を細かくすることができる。この実施例では、訓練された機械学習アルゴリズムは、（例えば、ｋ平均クラスタリングを使用して）最も適合する交点を見つけ、最も適合する相互作用点からビデオ中心までの距離を計算し、無線通信接続を介してドローン４の制御論理に変数を渡すことができる。
【0121】
この変数は、亀裂開始点、亀裂、角度、及びエアロゾル供給システム１０２が検出された亀裂（単数又は複数）を完全に修復することを可能にする方法で制御論理がドローン４をナビゲートすることを可能にする他のパラメータを示すことができる。エアロゾル供給システム１０２の使用に関して主に説明されているが、本開示のコンピュータビジョン処理の態様はまた、（例えば、図１３Ａ～図１３Ｃに示される構成を使用して）ＯｏＰＳＩマーキングを可能にし、かつ／又は図１４Ａ及び図１４Ｂの実施例によって示されるような接着剤供給を使用してＯｏＰＳＩ修復を可能にすることが理解されるであろう。
【0122】
システム１０の態様が修復手順を実施する例示的な手順（ディスペンササブアセンブリ９０を使用するか、エアロゾル供給システム１０２を使用するかにかかわらず）を以下に説明する。この実施例では、ドローン４の制御論理は、修復されるＯｏＰＳＩとドローン４を位置合わせすることができる。次に、制御論理は、上述の光トグル機構、上述のマイクロコントローラベースの機構などの本開示と一致する任意の機構を使用して、ディスペンササブアセンブリ９０又はエアロゾル供給システム１０２のいずれかを作動させることができ、システム１０の態様は、上述のコンピュータビジョン手順を実行することができる。
【0123】
コンピュータビジョン手順の出力に基づいて、処理回路は、ＯｏＰＳＩの角度（例えば、亀裂角度）が所定の範囲内にあるかどうかを判定してもよい。亀裂角度が所定の範囲内にない場合、制御論理は、基材１６に対してドローン４のヨーを調整し、ＯｏＰＳＩ角度の評価のためにコンピュータビジョン手順を再実行することができる。
【0124】
ＯｏＰＳＩが所定の範囲内にある場合（コンピュータビジョン手順の実行パスに関する角度評価の第１の反復又は後続の反復であっても）、処理回路は、ＯｏＰＳＩの端部（例えば、亀裂端部）が画像キャプチャハードウェア１２によってキャプチャされたビデオフレーム又は他の画像の中心にある、又は実質的に中心に位置するかを判定することができる。ＯｏＰＳＩの端部がフレームの中心にない、又は実質的に中心に位置して配置されていない場合、制御論理は、ドローン４をＯｏＰＳＩに沿って動かすようにドローン４のピッチ及び／又はロールを調整することができ、それによって、ディスペンササブアセンブリ９０又はエアロゾル供給システム１０２のいずれかをＯｏＰＳＩの端部と位置合わせして、適切な場所で修復を開始する。
【0125】
処理回路は、ＯｏＰＳＩの端部が、画像キャプチャハードウェアを介して直近にキャプチャされたフレーム内の実質的に中心に位置するまで、コンピュータビジョン手順を反復的に再実行してもよい。ＯｏＰＳＩ角度が所定の範囲内にあり、かつＯｏＰＳＩの端部が画像キャプチャハードウェア１２によってキャプチャされたフレーム内の実質的に中心に位置することを示すコンピュータビジョン手順の実行サイクル時に、制御論理は、ディスペンササブアセンブリ９０又はエアロゾル供給システム１０２を停止して、（例えば、上述の光トグル機構、上述のマイクロコントローラベースの機構、又は本開示と一致する任意の他の作動機構のいずれかを使用して）ＯｏＰＳＩを修復することができる。
【0126】
好ましい実施形態の以下の詳細な説明において、本発明を実施できる具体的な実施形態を例示する添付図面を参照する。例示された実施形態は、本発明にかかる全ての実施形態を網羅することを意図するものではない。他の実施形態を利用することができ、構造的又は論理的な変更が、本発明の範囲から逸脱することなくなされ得ることを理解されたい。したがって、以下の詳細な説明は、限定的な意味で解釈されるべきではなく、本発明の範囲は、添付の特許請求の範囲によって定義されるものである。
【0127】
別段の指示がない限り、本明細書及び特許請求の範囲で使用されている、特徴部のサイズ、量、及び物理的特性を表す全ての数は、全ての場合において、用語「約」又は「およそ」又は「実質的に」によって修飾されているものとして理解されたい。したがって、特に反対の指示がない限り、上記明細書及び添付の特許請求の範囲に記載されている数値パラメータは、本明細書で開示される教示を利用して当業者が得ようとする所望の特性に応じて変動し得る近似値である。
【0128】
本明細書及び添付の特許請求の範囲で使用する場合、単数形「ａ」、「ａｎ」、及び「ｔｈｅ」は、内容が別途明示しない限り、複数の指示対象を有する実施形態を包含する。本明細書及び添付の特許請求の範囲で使用する場合、用語「又は」は、そうでないことを内容が明示していない限り、全般的に、「及び／又は」を含む意味で用いられる。
【0129】
実施例により、本明細書で説明した方法のいずれかの特定の行為又はイベントは、異なる順序で実行することができ、追加、結合、又はまったく省略することができる（例えば、説明した行為又はイベントのすべてが方法の実施のために必要であるわけではない）ことが認識される。更に、特定の実施例では、行為又はイベントは、順次ではなく、例えば、マルチスレッド処理、割込処理、又は複数のプロセッサにより、同時に実行することができる。
【0130】
本開示で説明される技術は、ハードウェア、ソフトウェア、ファームウェア、又はそれらの任意の組み合わせに少なくとも部分的に実装してもよい。例えば、説明された技術の様々な態様は、１つ以上のマイクロプロセッサ、ＣＰＵ、ＧＰＵ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、又は他の任意の等価集積回路若しくは個別論理回路、並びにそのような構成要素の任意の組み合わせを含む１つ以上のプロセッサに実装することができる。用語「プロセッサ」又は「処理回路」は、一般的に、前述の論理回路の単独又は他の論理回路との組み合わせ、あるいは他の等価回路、のいずれかを指してもよい。ハードウェアを含む制御ユニットもまた、本開示の技術のうちの１つ以上を実行することができる。
【0131】
そのようなハードウェア、ソフトウェア、及びファームウェアは、本開示で説明される様々な動作及び機能をサポートするために、同じデバイス内又は別個のデバイス内に実装してもよい。更に、記載されたユニット、モジュール又は構成要素のいずれかは、個別であるが相互運用可能な論理デバイスとして一緒に又は別々に実現することができる。モジュール又はユニットとしての異なる特徴の描写は、異なる機能的な態様を強調するように意図されており、必ずしもかかるモジュール又はユニットを別個のハードウェア又はソフトウェアの構成要素によって実現しなければならないことを意味するものではない。むしろ、１つ以上のモジュール又はユニットに関連付けられた機能は、別個のハードウェア又はソフトウェアの構成要素によって実行してもよく、あるいは、共通の又は別個のハードウェア又はソフトウェアの構成要素に組み込まれてもよい。
【0132】
本開示で説明された技術はまた、命令を含むコンピュータ可読記憶媒体などのコンピュータ可読媒体において具現化又は符号化してもよい。コンピュータ可読記憶媒体に埋め込まれた又は符号化された命令は、例えば、命令が実行されると、プログラム可能プロセッサ又は他のプロセッサに方法を実行させてもよい。コンピュータ可読記憶媒体としては、ランダムアクセスメモリ（random access memory、ＲＡＭ）、読み出し専用メモリ（read only memory、ＲＯＭ）、プログラム可能読み出し専用メモリ（programmable read only memory、ＰＲＯＭ）、消去可能プログラム可能読み出し専用メモリ（erasable programmable read only memory、ＥＰＲＯＭ）、電子消去可能プログラム可能読み出し専用メモリ（electronically erasable programmable read only memory、ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ－ＲＯＭ、フロッピーディスク、カセット、磁気媒体、光媒体、又は他のコンピュータ可読媒体を挙げることができる。
【0133】
様々な実施例について説明してきた。これら及び他の実施例は、以下の特許請求の範囲内である。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図4C】
【図4D】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図11】
【図12A】
【図12B】
【図13A】
【図13B】
【図14A】
【図14B】
【図14C】
【図15】
【図16】
【国際調査報告】