知財求人 - 知財ポータルサイト「IP Force」
▶ カーボン オートノマス ロボティック システムズ， インコーポレイテッドの特許一覧
特表2024-511712オブジェクトのポイントツーポイントマッチング及びターゲティングのためのシステム及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-03-15
(54)【発明の名称】オブジェクトのポイントツーポイントマッチング及びターゲティングのためのシステム及び方法
(51)【国際特許分類】
A01M 21/04 20060101AFI20240308BHJP
G01S 17/89 20200101ALI20240308BHJP
E02D 1/02 20060101ALI20240308BHJP
B23K 26/082 20140101ALI20240308BHJP
【ＦＩ】
A01M21/04
G01S17/89
E02D1/02
B23K26/082
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023552506
(86)(22)【出願日】2022-03-16
(85)【翻訳文提出日】2023-08-30
(86)【国際出願番号】 US2022020592
(87)【国際公開番号】W WO2022197831
(87)【国際公開日】2022-09-22
(31)【優先権主張番号】63/162,285
(32)【優先日】2021-03-17
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/576,814
(32)【優先日】2022-01-14
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】522103465
【氏名又は名称】カーボン オートノマス ロボティック システムズ， インコーポレイテッド
(74)【代理人】
【識別番号】100078282
【弁理士】
【氏名又は名称】山本 秀策
(74)【代理人】
【識別番号】100113413
【弁理士】
【氏名又は名称】森下 夏樹
(74)【代理人】
【識別番号】100181674
【弁理士】
【氏名又は名称】飯田 貴敏
(74)【代理人】
【識別番号】100181641
【弁理士】
【氏名又は名称】石川 大輔
(74)【代理人】
【識別番号】230113332
【弁護士】
【氏名又は名称】山本 健策
(72)【発明者】
【氏名】セルゲーエフ， アレクサンダー イーゴレヴィッチ
【テーマコード（参考）】
2B121
2D043
4E168
5J084
【Ｆターム（参考）】
2B121AA19
2B121BB21
2B121BB32
2B121BB35
2B121DA43
2B121DA45
2B121DA62
2B121DA63
2B121EA26
2D043AC01
4E168CA06
4E168CA13
4E168CB01
4E168CB03
4E168CB04
4E168DA02
4E168DA03
4E168DA04
4E168DA13
4E168DA37
4E168EA15
4E168EA24
4E168JA11
5J084AA04
5J084AB17
5J084AC02
(57)【要約】
本明細書では、オブジェクトの正確なターゲティングに使用されることができる方法、デバイス、モジュール、及びシステムを開示する。ポイントツーポイントターゲティング方法は、２つ以上のセンサを備えたシステムによって実装され得、２つ以上のセンサがオブジェクトを位置特定し、２つ以上のセンサ間のハンドオフを調整することができる。これらの方法、デバイス、モジュール、及びシステムは、自動作物栽培またはメンテナンスに使用されることができる。本明細書に開示されるデバイスは、雑草を焼却または照射することができるレーザビームなどのビームで、雑草を位置特定し、識別し、自律的にターゲットにするように構成され得る。これらの方法、デバイス、モジュール、及びシステムは、農作物管理または自宅での雑草防除に使用されることができる。
【選択図】図１０Ａ
【選択図】図１０Ａ
【特許請求の範囲】
【請求項1】
オブジェクトをターゲティングする方法であって、予測表現を提供することと、
前記予測表現内でターゲットになるオブジェクトを識別することと、
前記予測表現内の前記オブジェクトの予測位置を決定することと、
前記予測位置のターゲティング表現を提供することと、
前記ターゲティング表現内の前記オブジェクトを識別することと、
前記ターゲティング表現に基づいて前記オブジェクトのターゲット位置を決定することと、
を含む、前記方法。
【請求項2】
予測センサを用いて前記予測表現を収集すること、ターゲティングセンサを用いて前記ターゲティング表現を収集すること、またはその両方をさらに含む、請求項１に記載の方法。
【請求項3】
前記ターゲティングセンサを前記予測位置に向けることをさらに含む、請求項２に記載の方法。
【請求項4】
前記ターゲティングセンサを前記ターゲット位置に向けることをさらに含む、請求項２に記載の方法。
【請求項5】
前記ターゲティングセンサを前記ターゲット位置に向けることは、前記ターゲティングセンサの第一位置と前記ターゲティングセンサの第二位置との間のオフセットを決定することを含む、請求項２に記載の方法。
【請求項6】
前記ターゲティングセンサが前記ターゲティングセンサの前記第二位置に位置決めされるとき、前記ターゲティングセンサは前記ターゲット位置に向けられる、請求項２に記載の方法。
【請求項7】
前記ターゲット位置は、前記予測位置よりも前記オブジェクトに近い、請求項１に記載の方法。
【請求項8】
器具を前記ターゲット位置に向けることをさらに含む、請求項１に記載の方法。
【請求項9】
前記器具の方向はターゲティングセンサの方向と相関される、請求項８に記載の方法。
【請求項10】
前記器具を前記ターゲット位置に向けることは、前記器具の第一位置と前記器具の第二位置との間のオフセットを決定することを含み、前記器具が前記器具の前記第二位置に位置決めされるとき、前記器具は前記ターゲット位置に向けられる、請求項８に記載の方法。
【請求項11】
前記器具を使用して前記オブジェクトを操作することをさらに含む、請求項８に記載の方法。
【請求項12】
前記オブジェクトを操作することは、前記オブジェクトに電磁放射線を照射することと、前記オブジェクトを移動させることと、前記オブジェクトに噴霧することと、それらの組み合わせとからなる群から選択される、請求項１１に記載の方法。
【請求項13】
前記予測センサは、センサタイプ、センサ解像度、倍率、視野、カラーバランス、色感度、及び位置決めからなる群から選択される１つまたは複数のパラメータでは、前記ターゲティングセンサとは異なり、前記位置決めは、前記オブジェクトに対する角度、距離、またはその両方を含む、請求項２に記載の方法。
【請求項14】
前記予測センサ及び前記ターゲティングセンサはビークルに結合される、請求項２に記載の方法。
【請求項15】
前記予測位置は、前記予測表現が収集される時刻と前記ターゲティング表現が収集される時刻との間の前記オブジェクトに対する前記ビークルの運動を考慮する、請求項１４に記載の方法。
【請求項16】
前記ターゲット位置は、前記ターゲティング表現が収集される時刻と操作が実行される時刻との間の前記オブジェクトに対する前記ビークルの運動を考慮する、請求項１４に記載の方法。
【請求項17】
前記オブジェクトは、表面上、それより上、またはそれより下に位置している、請求項１に記載の方法。
【請求項18】
前記オフセットは、前記表面の深度におけるばらつきを考慮する、請求項１７に記載の方法。
【請求項19】
前記ターゲット位置は、前記オブジェクトから５０ｍｍ以下、２５ｍｍ以下、１０ｍｍ以下、５ｍｍ以下、３ｍｍ以下、２ｍｍ以下、または１ｍｍ以下である、請求項１に記載の方法。
【請求項20】
前記予測センサ、前記ターゲティングセンサ、またはその両方は、カメラ、光検出測距（ＬＩＤＡＲ）センサ、光検出器、アクティブピクセルセンサ、半導体検出器、超音波センサ、ＲＡＤＡＲ検出器、ソナーセンサ、及びフォトダイオードアレイからなる群から選択される、請求項２に記載の方法。
【請求項21】
訓練済み機械学習モデルを使用して、前記ターゲティング表現内の前記オブジェクトを識別することと、
前記予測表現内の前記オブジェクトを識別することと、
前記ターゲティング表現内の前記オブジェクトを前記予測表現内の前記オブジェクトとマッチングさせることと、
を含む、請求項１に記載の方法。
【請求項22】
前記オブジェクトは、雑草、植物、及び障害物からなる群から選択される、請求項１に記載の方法。
【請求項23】
前記予測位置、前記ターゲット位置、またはその両方は、前記予測表現内の位置、前記ターゲティングセンサの位置、前記器具の位置、前記予測センサの位置、前記表面上の前記オブジェクトの位置、前記ビークルの位置、またはそれらの任意の組み合わせを含む、請求項２に記載の方法。
【請求項24】
オブジェクトをターゲティングする方法であって、予測センサを使用して予測表現を収集することと、
前記予測表現内でターゲットになるオブジェクトを識別することと、
前記予測表現内の前記オブジェクトの予測位置を決定することと、
ターゲティングセンサを前記予測位置に向けることと、
前記ターゲティングセンサを使用して、前記予測位置のターゲティング表現を収集することと、
前記ターゲティング表現内の前記オブジェクトを識別することと、
前記ターゲティング表現に基づいて前記オブジェクトのターゲット位置を決定することと、
前記ターゲティングセンサを前記ターゲット位置に向けることと、
器具を前記ターゲット位置に向けることと、
前記器具を用いて前記オブジェクトを操作することと、
を含む、前記方法。
【発明の詳細な説明】
【背景技術】
【0001】
相互参照
本出願は、２０２２年１月１４日に出願された「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＯＩＮＴ ＴＯ ＰＯＩＮＴ ＯＢＪＥＣＴ ＭＡＴＣＨＩＮＧ ＡＮＤ ＴＡＲＧＥＴＩＮＧ」と題された米国非仮出願第１７／５７６，８１４号、及び２０２１年３月１７日に出願された「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＯＩＮＴ ＴＯ ＰＯＩＮＴ ＯＢＪＥＣＴ ＭＡＴＣＨＩＮＧ ＡＮＤ ＴＡＲＧＥＴＩＮＧ」と題された米国仮出願第６３／１６２，２８５号の利益を主張するものであり、これらの出願は、あらゆる目的のためにそれらの全体が参照により本明細書に援用されている。
本出願は、２０２２年１月１４日に出願された「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＯＩＮＴ ＴＯ ＰＯＩＮＴ ＯＢＪＥＣＴ ＭＡＴＣＨＩＮＧ ＡＮＤ ＴＡＲＧＥＴＩＮＧ」と題された米国非仮出願第１７／５７６，８１４号、及び２０２１年３月１７日に出願された「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＰＯＩＮＴ ＴＯ ＰＯＩＮＴ ＯＢＪＥＣＴ ＭＡＴＣＨＩＮＧ ＡＮＤ ＴＡＲＧＥＴＩＮＧ」と題された米国仮出願第６３／１６２，２８５号の利益を主張するものであり、これらの出願は、あらゆる目的のためにそれらの全体が参照により本明細書に援用されている。
【0002】
技術の進歩に伴い、これまで人間が行っていた仕事はますます自動化されてきている。工場の組立ラインなど、高度に制御された環境で実行される仕事は、毎回同じ方法で仕事を実行するように機械に指示することで自動化されることができるが、街中での運転または雑然とした部屋の掃除機かけなど、予測不可能な環境で実行される仕事は、仕事を実行するための動的なフィードバック及び適応に依存している。自律システムは、予測不可能な環境でオブジェクトを識別して位置特定するのに苦労することがよくある。オブジェクトの検出、位置特定、及びターゲティングの方法が改善することで、自動化技術が進歩し、自律システムが予測不可能な環境に反応して適応する能力が向上する。
【発明の概要】
【課題を解決するための手段】
【0003】
様々な態様では、本開示は、オブジェクトをターゲティングする方法を提供し、この方法は、予測センサを使用して予測画像を収集することと、予測画像内でターゲットになるオブジェクトを識別することと、予測画像に基づいてオブジェクトの予測位置を決定することと、ターゲティングセンサを予測位置に向けることと、ターゲティングセンサを使用して予測位置のターゲット画像を収集することと、ターゲット画像内のオブジェクトを識別することと、ターゲット画像に基づいてオブジェクトのターゲット位置を決定することとを含む。
【0004】
いくつかの態様では、方法は、ターゲティングセンサをターゲット位置に向けることをさらに含む。いくつかの態様では、ターゲティングセンサをターゲット位置に向けることは、ターゲティングセンサの第一位置とターゲティングセンサの第二位置との間のオフセットを決定することを含む。いくつかの態様では、ターゲティングセンサがターゲティングセンサの第二位置に位置決めされるとき、ターゲティングセンサはターゲット位置に向けられる。いくつかの態様では、ターゲット位置は、予測位置よりもオブジェクトに近い。いくつかの態様では、ターゲティングセンサは器具に関連付けられる。
【0005】
いくつかの態様では、方法は、器具をターゲット位置に向けることをさらに含む。いくつかの態様では、器具をターゲット位置に向けることは、器具の第一位置と器具の第二位置との間のオフセットを決定することを含む。いくつかの態様では、器具が器具の第二位置に位置決めされるとき、器具はターゲット位置に向けられる。いくつかの態様では、ターゲティングセンサ及び器具は互いに結合される。いくつかの態様では、ターゲティングセンサの向き及び器具の向きは相関される。
【0006】
いくつかの態様では、方法は、器具を使用してオブジェクトを操作することをさらに含む。いくつかの態様では、オブジェクトを操作することは、オブジェクトに電磁放射線を照射することを含む。いくつかの態様では、電磁放射線は赤外光である。いくつかの態様では、オブジェクトを操作することは、オブジェクトを移動させることを含む。いくつかの態様では、オブジェクトを操作することは、オブジェクトに噴霧することを含む。
【0007】
いくつかの態様では、予測センサは、センサタイプ、センサ解像度、倍率、視野、カラーバランス、及び色感度からなる群から選択される１つまたは複数のパラメータでは、ターゲティングセンサとは異なる。いくつかの態様では、予測センサは、オブジェクトに対してターゲティングセンサとは異なる角度、距離、またはその両方に位置決めされる。いくつかの態様では、予測センサ及びターゲティングセンサはビークルに結合される。いくつかの態様では、ビークルは運動中である。いくつかの態様では、予測位置は、予測画像が収集される時刻とターゲット画像が収集される時刻との間のオブジェクトに対するビークルの運動を考慮する。いくつかの態様では、ターゲット位置は、ターゲット画像が収集される時刻と操作が実行される時刻との間のオブジェクトに対するビークルの運動を考慮する。
【0008】
いくつかの態様では、オブジェクトは表面の上、それより上、またはそれより下に位置している。いくつかの態様では、表面は平坦ではない表面である。いくつかの態様では、表面は農業用表面である。いくつかの態様では、表面は建設用表面である。いくつかの態様では、オフセットは表面の深度におけるばらつきを考慮する。いくつかの態様では、ターゲット位置は、オブジェクトから５０ｍｍ以下、２５ｍｍ以下、１０ｍｍ以下、５ｍｍ以下、３ｍｍ以下、２ｍｍ以下、または１ｍｍ以下である。
【0009】
いくつかの態様では、予測センサは、カメラ、光検出測距（ＬＩＤＡＲ）センサ、光検出器、アクティブピクセルセンサ、半導体検出器、超音波センサ、ＲＡＤＡＲ検出器、ソナーセンサ、及びフォトダイオードアレイからなる群から選択される。いくつかの態様では、ターゲティングセンサは、カメラ、光検出測距（ＬＩＤＡＲ）センサ、光検出器、アクティブピクセルセンサ、半導体検出器、超音波センサ、ＲＡＤＡＲ検出器、ソナーセンサ、及びフォトダイオードアレイからなる群から選択される。
【0010】
いくつかの態様では、ターゲット画像内でオブジェクトを識別することは、ターゲット画像内のオブジェクトを予測画像内のオブジェクトとマッチングさせることを含む。いくつかの態様では、マッチングは、訓練済み機械学習モデルを使用して、ターゲット画像内のオブジェクトを予測画像内のオブジェクトとマッチングさせることを含む。いくつかの態様では、予測画像内でオブジェクトを識別することは、訓練済み機械学習モデルを使用してオブジェクトを識別することを含む。いくつかの態様では、訓練済み機械学習モデルは深層学習モデルである。いくつかの態様では、オブジェクトは、雑草、植物、及び障害物からなる群から選択される。
【0011】
いくつかの態様では、予測位置は、予測画像内の位置、ターゲティングセンサの位置、器具の位置、予測センサの位置、表面上のオブジェクトの位置、ビークルの位置、またはそれらの組み合わせを含む。いくつかの態様では、ターゲット位置は、ターゲット画像内の位置、ターゲティングセンサの位置、器具の位置、予測センサの位置、表面上のオブジェクトの位置、ビークルの位置、またはそれらの組み合わせを含む。
【0012】
様々な態様では、本開示は、オブジェクトをターゲティングするためのシステムを提供し、このシステムは、予測センサ及びオブジェクト識別モジュールを有する予測システムと、ターゲティングセンサ、ターゲティングセンサを制御するように構成されたアクチュエータ、及びオブジェクトマッチングモジュールを有するターゲティングシステムとを含み、予測センサは、予測画像を収集するように構成され、オブジェクト識別モジュールは、予測画像内のターゲットになるオブジェクトを識別し、予測画像に基づいてオブジェクトの予測位置を決定するように構成され、ターゲティングモジュールは、オブジェクト識別モジュールからオブジェクトの予測位置を受信するように構成され、アクチュエータは、ターゲティングセンサをオブジェクトの予測位置に向けるように構成され、ターゲティングセンサは、予測位置のターゲット画像を収集するように構成され、オブジェクトマッチングモジュールは、ターゲット画像内でオブジェクトを位置特定し、ターゲット画像に基づいてオブジェクトのターゲット位置を決定するように構成される。
【0013】
いくつかの態様では、アクチュエータは、ターゲティングセンサをターゲット位置に向けるように構成される。いくつかの態様では、ターゲット位置は、予測位置よりもオブジェクトに近い。いくつかの態様では、アクチュエータはミラーを回転または並進させるように構成される。いくつかの態様では、ミラーの回転または並進はターゲティングセンサを向ける。
【0014】
いくつかの態様では、ターゲティングモジュールは、アクチュエータによって向けられた器具をさらに含む。いくつかの態様では、ターゲティングセンサの向きと器具の向きは互いに対して固定される。いくつかの態様では、器具はオブジェクトを操作するように構成される。いくつかの態様では、器具はレーザを含む。いくつかの態様では、レーザは赤外レーザである。いくつかの態様では、器具はグラバーを含む。いくつかの態様では、器具は噴霧器を含む。
【0015】
いくつかの態様では、予測センサは、センサタイプ、センサ解像度、倍率、視野、カラーバランス、及び色感度からなる群から選択される１つまたは複数のパラメータでは、ターゲティングセンサとは異なる。いくつかの態様では、予測センサは、オブジェクトに対してターゲティングセンサとは異なる角度、距離、またはその両方に位置決めされる。いくつかの態様では、オブジェクト識別モジュールは、訓練済み機械学習モデルを含む。いくつかの態様では、オブジェクトマッチングモジュールは、訓練済み機械学習モデルを含む。いくつかの態様では、訓練済み機械学習モデルは深層学習モデルである。
【0016】
いくつかの態様では、オブジェクトは、雑草、植物、及び障害物からなる群から選択される。いくつかの態様では、システムは、本開示の方法を実行するように構成される。
【0017】
様々な態様では、本開示は、オブジェクトを位置特定する方法を提供し、この方法は、第一センサによって収集された画像内で第一オブジェクトを位置特定することと、第二センサによって収集された画像内で第二オブジェクトを位置特定することと、第一セットの訓練画像及び第二セットの訓練画像を用いて訓練されたオブジェクトマッチング深層学習モデルを使用して、第二オブジェクトが第一オブジェクトと同じであると決定することとを含む。
【0018】
いくつかの態様では、第一セットの訓練画像は第一センサによって収集され、第二セットの訓練画像は第二センサによって収集される。いくつかの態様では、第一センサは、センサタイプ、センサ解像度、倍率、視野、カラーバランス、及び色感度からなる群から選択される１つまたは複数のパラメータでは、第二センサとは異なる。いくつかの態様では、第一センサは、オブジェクトに対して第二センサとは異なる角度、距離、またはその両方に位置決めされる。いくつかの態様では、方法は、第二オブジェクトを第一オブジェクトとマッチングさせることをさらに含む。
【0019】
本発明の新規の特徴は、添付の特許請求の範囲に特に記載される。本発明の特徴及び利点のより良い理解が、その中で本発明の原理が利用される例示的な実施形態を示す以下の詳細な説明、及び以下の付随する図面を参照することによって得られるであろう。
【図面の簡単な説明】
【0020】
【図1】本明細書の１つまたは複数の実施形態による、レーザ路及び可視光路が示されているレーザ光学系の等角図を示す。
【図2】本明細書の１つまたは複数の実施形態による、レーザ路及び可視光路が示されているレーザ光学系の上面図を示す。
【図3】本明細書の１つまたは複数の実施形態による、クリーンエア路が示されているレーザ光学系の側断面図を示す。
【図4A】本明細書の１つまたは複数の実施形態による、ターゲティングレーザ及びターゲティングレーザのターゲティングカバレッジエリアの側面図を示す。
【図4B】本明細書の１つまたは複数の実施形態による、ターゲティングレーザ及びターゲティングレーザのターゲティングカバレッジエリアの正面図を示す。
【図5】本明細書の１つまたは複数の実施形態による、予測カメラ、複数のターゲティングレーザ、予測カメラの予測ビューエリア、及びターゲティングレーザのターゲティングカバレッジエリアの等角図を示す。
【図6】本明細書の１つまたは複数の実施形態による、自律型レーザ除草ロボット、予測カメラ、及び複数のターゲティングレーザのカバレッジエリアの正面図を示す。
【図7】本明細書の１つまたは複数の実施形態による、自律型レーザ除草ロボット、予測カメラ、及び複数のターゲティングレーザのカバレッジエリアの等角図を示す。
【図8】本明細書の１つまたは複数の実施形態による、オブジェクトを識別し、割り当て、ターゲティングする方法を示す。
【図9】本明細書の１つまたは複数の実施形態による、畑内の雑草を識別し、割り当て、ターゲットにし、除草する方法を示す。
【図10A】本明細書の１つまたは複数の実施形態による、オブジェクトを識別し、位置特定し、ターゲットにし、操作するためのシステムを示す。
【図10B】本明細書の１つまたは複数の実施形態による、表面上の雑草のターゲット画像及び雑草の周囲の予測画像の作物領域（挿入図）を示す。
【図11】本明細書の１つまたは複数の実施形態による、オブジェクトを識別し、位置特定し、ターゲティングするための方法を示す。
【図12】本明細書の１つまたは複数の実施形態による、予測センサまたはターゲティングセンサを較正するための較正グリッドを示す。
【図13】本開示の実施形態による、検出端末のコンポーネントを示すブロック図である。
【図14】本開示の実施形態による、検出端末位置を決定するためのプロシージャを示すフローチャートである。
【図15】本明細書で説明される様々な技術を実装することができるコンピューティングデバイスのコンピューティングデバイスアーキテクチャの例示的なブロック図である。
【発明を実施するための形態】
【0021】
本開示の様々な例示的な実施形態について、以下で詳細に説明する。特定の実装について説明するが、この説明が説明のみを目的としていることを理解されたい。関連分野の当業者であれば、本開示の趣旨及び範囲から逸脱することなく他の構成要素及び構成を使用することができることが認識されよう。したがって、以下の説明及び図面は例示的なものであり、限定するものとして解釈されるべきではない。本開示を完全に理解するために、多くの具体的な詳細が説明されている。しかしながら、特定の例では、説明を不明瞭にすることを避けるために、周知されている、または従来の詳細については説明しない。本開示における１つまたは実施形態への言及は、同じ実施形態または任意の実施形態への言及であり得、それらのような言及は、例示的な実施形態の少なくとも１つを意味する。
【0022】
「一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」または「一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）」への言及は、その実施形態と関係して記載される特定の特徴、構造、または特性が本開示の少なくとも１つの実施形態に含まれることを意味する。本明細書の種々の場所において出現する「一実施形態では」という語句は、必ずしもすべて同一の実施形態を参照することも、別個または代替の例示的な実施形態が他の例示的な実施形態と相互に排他的であることもない。さらに、いくつかの例示的な実施形態によって示されてもよいが、他の実施形態によって示されなくてもよい、様々な特徴が説明される。ある例のあらゆる特徴は、あらゆる他の例のあらゆる他の特徴と統合される、またはそれと共に使用されることができる。
【0023】
本明細書で使用される用語は、一般に、本開示の文脈内で、かつ各用語が使用される特定の文脈内で、当該技術分野における通常の意味を有する。代替の言語及び同義語は、本明細書で論じられるいずれか１つ以上の用語に使用されてもよく、用語が本明細書で詳述される、または論じられるかどうかに特別な意味を置くべきではない。場合によっては、特定の用語の同義語が提供される。１つ以上の同義語の説明は、他の同義語の使用を排除するものではない。本明細書で論じられるあらゆる用語の例を含む本明細書のあらゆる箇所での例の使用は、例示に過ぎず、本開示またはいずれかの例示的な用語の範囲及び意味をさらに限定することを意図するものではない。同様に、本開示は、本明細書で与えられる様々な例示的な実施形態に限定されない。
【0024】
本開示の範囲を限定することを意図するものではないが、本開示の例示的な実施形態による器具、装置、方法及びそれらの関連結果の例を以下に示す。タイトルまたはサブタイトルが読者の便宜のために例で使用される場合があり、本開示の範囲を決して限定するものではないことに留意されたい。特に定義されない限り、本明細書で用いる技術用語及び科学用語は、本開示が属する技術分野の当業者によって一般に理解される意味を有する。矛盾がある場合には、定義を含む本明細書が優先する。
【0025】
本開示のさらなる特徴及び利点は、以下の説明に示すとともに、その説明から一部が明らかになるか、または本明細書に開示されている原理を実施することによって認識することができる。本開示の特徴及び利点は、添付の請求項に具体的に示されている命令と組み合わせによって実現され得られることができる。本開示のこれら及び他の特徴は、以下の説明及び添付の特許請求の範囲からより完全に明らかになるか、または本明細書に記載の原理を実践することによって知ることができる。
【0026】
説明を明確にするために、場合によっては、本技術は、ソフトウェア、またはハードウェアとソフトウェアの組み合わせで具現化される方法におけるデバイス、デバイスコンポーネント、ステップまたはルーチンを表す個々の機能ブロックを含むものとして提示されることがある。
【0027】
図面では、いくつかの構造的特徴または方法的特徴が、特定の配置及び／または順序で示されている場合がある。しかしながら、そのような特定の配置及び／または順序が必要でない場合があることを理解されたい。むしろ、いくつかの実施形態では、それらのような特徴は、例示的な図に示されているものとは異なる方法及び／または順序で配置されてもよい。さらに、特定の図に構造的特徴または方法的特徴を含めることは、そのような特徴がすべての実施形態で必要であることを黙示することを意味するものではなく、いくつかの実施形態では、それを含めなくてもよく、または他の特徴と組み合わせてもよい。
【0028】
本開示の概念が多様な修正及び代替の形態が可能であるが、その特定の実施形態が図面中に例として示され、本明細書で詳細に説明される。しかしながら、開示された特定の形態に本開示の概念を限定する意図はなく、反対に、意図が、本開示及び添付の特許請求の範囲と合致しているすべての修正、均等物、及び代替物を網羅することであることを理解されたい。
【0029】
本開示は、複数のセンサ間のオブジェクト検出を自律的に調整するために、オブジェクトのポイントツーポイントマッチング及びターゲティングのためのシステム及び方法を提供する。自動運転車などの自律システムは、オブジェクトを検出して識別し、オブジェクトとインタラクトする、またはオブジェクトとインタラクトすることを回避するために電磁センサに依存していることが多い。自律システムでは複数のセンサを使用して、検出角度を拡大すること、視野を広げること、または検出解像度を向上させることができる。ただし、複数のセンサの調整は、例えばセンサの解像度、視野、色感度、位置決め、またはセンサタイプが特に異なる場合には困難になる可能性がある。
【0030】
本明細書では、検出システムの２つ以上のセンサ間でオブジェクトの検出、位置特定、及びターゲティングを調整するためのシステム及び方法について説明する。本開示のシステム及び方法は、第一センサでオブジェクトを位置特定し、第二センサで同じオブジェクトを識別し、そのオブジェクトを操作するために使用され得る。第一センサは、オブジェクトの予測位置を決定するために使用され得、第二センサは、オブジェクトの位置を洗練して、オブジェクトのターゲット位置を決定するために使用され得る。オブジェクトのターゲット位置は、オブジェクトの予測位置よりも正確であり得る。
【0031】
本開示のシステム及び方法は、不規則または予測不可能な環境に位置しているオブジェクトの識別、検出、及び精密なターゲティングを伴う広範囲の用途を有し得る。例えば、本開示のシステム及び方法は、圃場の植物または建設現場のデブリなど、凹凸のあるまたは平坦ではない表面上のオブジェクトを正確に位置特定し、操作するために使用されることができる。あるいは、またはそれに加えて、本開示のシステム及び方法は、軌道から収集された衛星画像内の圃場などのより広いエリア、または圃場内のより小さいエリア内のオブジェクトまたはエリアを正確に位置特定し、ターゲットにするために使用され得る。
【0032】
いくつかの実施形態では、２つ以上のセンサ間でオブジェクト検出を調整することにより、最初に広視野センサを用いてオブジェクトを位置特定し、次に、より狭い視野を有するセンサ内で同じオブジェクトを識別することにより、広い視野を維持しながら、オブジェクトローカライゼーションの正確さを高めることができる。いくつかの実施形態では、２つ以上のセンサ間でオブジェクト検出を調整することにより、複数のオブジェクトの並列ターゲティングを可能にすることによって、オブジェクト検出及びターゲティングの速度を高めることができる。例えば、複数のオブジェクトを広視野センサで位置特定し得、第一オブジェクトを第一ターゲティングモジュールに割り当て得、第二オブジェクトを第二ターゲティングモジュールに割り当て得、第三オブジェクトを第三ターゲティングモジュールに割り当て得る。第一、第二、及び第三オブジェクトのそれぞれは、それぞれ第一、第二、及び第三ターゲティングモジュールによって位置特定され、ターゲットにされ得る。
【0033】
２つ以上のセンサ間でオブジェクト検出を調整することは、予測不可能な環境にあるオブジェクト、または凹凸のある表面もしくは平坦ではない表面にあるオブジェクトには困難である場合がある。例えば凹凸のある表面上のオブジェクトの測位に起因するオブジェクトの三次元位置の不規則さにより、オブジェクトのローカライゼーションの正確さが低下し得ると、第一センサによって収集された画像内のオブジェクトのローカライゼーションと、第二センサによって収集された画像内の同じオブジェクトのローカライゼーションとにおける差異が生じ得る。例えば、平坦ではない表面上にあるオブジェクトは、第一センサによって収集された画像と第二センサによって収集された画像とでは異なる位置にあるように見える場合がある。本明細書で説明される方法は、深層学習モデルなどの機械学習モデルを使用して、オブジェクトまたは環境の不規則さを考慮することによって、２つ以上のセンサ間でのオブジェクトの正確なローカライゼーションを可能にする。
【0034】
本明細書で使用される場合、「画像」は、領域またはオブジェクトの表現を指す場合がある。例えば、画像は、領域またはオブジェクトから散乱される電磁放射線（例えば、光、ｘ線、マイクロ波、または電波）によって形成される領域またはオブジェクトの視覚表現であり得る。別の例では、画像は、光検出測距（ＬＩＤＡＲ）または電波検出測距（ＲＡＤＡＲ）センサによって形成された点群モデルであってもよい。別の例では、画像は、領域またはオブジェクトから反射された音波、超低周波、または超音波を検出することによって生成されるソノグラムであってもよい。本明細書で使用される場合、「撮像」は、領域またはオブジェクトの表現（例えば、画像）を収集するまたは生成するプロセスを記述するために使用され得る。
【0035】
本明細書で使用される場合、オブジェクトの位置またはセンサの位置などの位置は、参照フレームに対して相対的に表現され得る。例示的な参照フレームには、表面参照フレーム、車両参照フレーム、センサ参照フレーム、またはアクチュエータ参照フレームが含まれる。位置は、例えば変換係数または較正モデルを使用することによって、参照フレーム間で容易に変換されることができる。位置、位置の変化、またはオフセットが１つの参照フレームで表されてもよいが、位置、位置の変化、もしくはオフセットが任意の参照フレームで表されてもよく、または参照フレーム間で容易に変換されてもよいことを理解されたい。
【0036】
検出システム
いくつかの実施形態では、本開示の方法を実行するように構成された本開示の検出システムは、予測システム及びターゲティングシステムを有することができる。予測システムは、対象領域を撮像するように構成された予測センサを含むことができ、ターゲティングシステムは、対象領域の一部を撮像するように構成されたターゲティングセンサを含むことができる。撮像は、対象領域または対象領域の一部の表現（例えば、画像）を収集することを含んでもよい。いくつかの実施形態では、予測システムは複数の予測センサを含み得、より大きい対象領域のカバレッジを可能にする。いくつかの実施形態では、ターゲティングシステムは、複数のターゲティングセンサを含み得る。
いくつかの実施形態では、本開示の方法を実行するように構成された本開示の検出システムは、予測システム及びターゲティングシステムを有することができる。予測システムは、対象領域を撮像するように構成された予測センサを含むことができ、ターゲティングシステムは、対象領域の一部を撮像するように構成されたターゲティングセンサを含むことができる。撮像は、対象領域または対象領域の一部の表現（例えば、画像）を収集することを含んでもよい。いくつかの実施形態では、予測システムは複数の予測センサを含み得、より大きい対象領域のカバレッジを可能にする。いくつかの実施形態では、ターゲティングシステムは、複数のターゲティングセンサを含み得る。
【0037】
対象領域は、ターゲティングセンサの視野と予測センサの視野との間の重複領域に対応し得る。このような重複は、同時であってもよく、または時間的に離れていてもよい。例えば、予測センサの視野は、第一時刻では対象領域を包含し、ターゲティングセンサの視野は、第二時刻には対象領域を包含するが、第一時刻では包含しない。任意選択で、検出システムは、第一時刻と第二時刻との間で対象領域に対して移動し、予測センサの視野とターゲティングセンサの視野との重複の時間的な分離を促進することができる。
【0038】
いくつかの実施形態では、予測センサは、ターゲティングセンサよりも広い視野を有し得る。予測システムは、予測センサによって収集された予測画像または表現内の対象オブジェクトを識別するためのオブジェクト識別モジュールをさらに含むことができる。オブジェクト識別モジュールは、予測画像内の対象オブジェクトを他のオブジェクトから区別することができる。
【0039】
予測モジュールは、対象オブジェクトの予測位置を決定し得、その予測位置をターゲティングシステムに送信することができる。
【0040】
ターゲティングシステムは、予測システムから受信した予測位置に基づいて、オブジェクトを含むと予測される対象領域の所望の部分にターゲティングセンサを向けることができる。ターゲティングシステムは、予測システムによって識別された対象オブジェクトがターゲティングセンサによって収集されたターゲット画像または表現に存在するかどうかを決定するためのオブジェクトマッチングモジュールを含み得る。対象オブジェクトがターゲット画像内に存在するとオブジェクトマッチングモジュールが決定する場合、ターゲティングモジュールは、対象オブジェクトのターゲット位置を決定することができる。オブジェクトのターゲット位置は、オブジェクトの予測位置よりもオブジェクトの実際の位置に近い場合がある。いくつかの実施形態では、ターゲティングモジュールは、オブジェクトのターゲット位置を使用して、器具をオブジェクトに向けることができる。いくつかの実施形態では、器具は、オブジェクトにアクションを実行してもよく、またはオブジェクトを操作してもよい。
【0041】
本開示の検出システムは、地面、床、壁、圃場、芝生、道路、土塁、杭、または凹地などの表面の上のオブジェクトをターゲットにするために使用され得る。いくつかの実施形態では、表面は、凹凸のある地面、凹凸のある地形、またはきめの粗い床などの平坦ではない表面であってもよい。例えば、表面は、建設現場、圃場、もしくは鉱山トンネル内の凹凸のある地面であってもよく、または表面は、野原、道路、森林、丘、山、住宅、もしくは建物を含む凹凸のある地形であってもよい。本明細書に記載の検出システムは、単一センサシステムまたはオブジェクトマッチングモジュールを欠くシステムよりも、より正確で、より高速に、またはより広いエリア内の平坦ではない表面の上のオブジェクトを位置特定することができる。
【0042】
あるいは、またはそれに加えて、検出システムを使用して、木の接地点から離れた木の頂部など、オブジェクトが置かれている表面から離隔され得るオブジェクトをターゲットにしてもよく、及び／または表面に対して、例えば空気中または大気中の地表に対して位置特定可能であるオブジェクトをターゲットにしてもよい。さらに、検出システムは、車両、動物、人間、または飛行物体など、表面に対して移動し得るオブジェクトをターゲットにするために使用されてもよい。
【0043】
光学制御系
本明細書に記載の方法は、対象オブジェクトをターゲットにするために、レーザ光学系などの光学制御系によって実装されることができる。例えば、光学系を使用して、予測センサなどの第一センサによって収集された画像または表現内で識別された対象オブジェクトをターゲットにし得、ターゲティングセンサなどの第二センサによって収集された画像または表現内で同じオブジェクトを位置特定し得る。いくつかの実施形態では、第一センサは予測カメラであり、第二センサはターゲティングカメラである。オブジェクトをターゲティングすることは、ターゲティングセンサを使用してオブジェクトを精密に位置特定することと、器具でオブジェクトをターゲティングすることとを含んでもよい。
本明細書に記載の方法は、対象オブジェクトをターゲットにするために、レーザ光学系などの光学制御系によって実装されることができる。例えば、光学系を使用して、予測センサなどの第一センサによって収集された画像または表現内で識別された対象オブジェクトをターゲットにし得、ターゲティングセンサなどの第二センサによって収集された画像または表現内で同じオブジェクトを位置特定し得る。いくつかの実施形態では、第一センサは予測カメラであり、第二センサはターゲティングカメラである。オブジェクトをターゲティングすることは、ターゲティングセンサを使用してオブジェクトを精密に位置特定することと、器具でオブジェクトをターゲティングすることとを含んでもよい。
【0044】
本明細書では、ビーム、例えば光ビームを対象オブジェクトの位置など、表面上のターゲット位置に向けるための光学制御系について説明する。ここで図１～図７を参照して、オブジェクト識別及びポイントツーポイントターゲティングのための例示的なシステムについて説明する。図示の実施形態では、器具はレーザである。しかしながら、把持器具、噴霧器具、定植器具、収穫器具、受粉器具、マーク付け器具、吹き付け器具、または堆積器具を含むがこれらに限定されない、他の器具も本開示の範囲内にある。
【0045】
図１は、本明細書に開示される光学制御系１００の一実施形態の等角図を示す。エミッタ１０１は、光路、例えばレーザ路１０２に沿ってビームを向けるように構成される。いくつかの実施形態では、ビームは、例えば光、電波、マイクロ波、またはｘ線などの電磁放射線を含む。いくつかの実施形態では、光は可視光、赤外光、または紫外光である。ビームはコヒーレントであってもよい。一実施形態では、エミッタは、赤外レーザなどのレーザである。
【0046】
いくつかの実施形態では、エミッタは、約１ｍ、約１００ｍｍ、約１０ｍｍ、約１ｍｍ、約１００μｍ、約１０μｍ、約１．５μｍ、約１μｍ、約９００ｎｍ、約８００ｎｍ、約７００ｎｍ、約６００ｎｍ、約５００ｎｍ、約４００ｎｍ、約３００ｎｍ、約１００ｎｍ、約１０ｎｍ、または約１ｎｍの波長を有するビームを放射する。いくつかの実施形態では、エミッタは、約１ｍ～約１００ｍｍ、約１００ｍｍ～約１０ｍｍ、約１０ｍｍ～約１ｍｍ、約１ｍｍ～約１００μｍ、約１００μｍ～約１０μｍ、約１０μｍ～約１．５μｍ、約１．５μｍ～約１μｍ、約１μｍ～約９００ｎｍ、約９００ｎｍ～約８００ｎｍ、約８００ｎｍ～約７００ｎｍ、約７００ｎｍ～約６００ｎｍ、約６００ｎｍ～約５００ｎｍ、約５００ｎｍ～約４００ｎｍ、約４００ｎｍ～約３００ｎｍ、約３００ｎｍ～約１００ｎｍ、約１００ｎｍ～約１０ｎｍ、または約１０ｎｍ～約１ｎｍの波長を有するビームを放射する。
【0047】
いくつかの実施形態では、エミッタは、最大１０ｍＷ、最大１００ｍＷ、最大１Ｗ、最大１０Ｗ、最大１００Ｗ、最大１ｋＷ、または最大１０ｋＷの電磁放射線を放射できてもよい。いくつかの実施形態では、エミッタは、１０ｍＷ～１００ｍＷ、１００ｍＷ～１Ｗ、１Ｗ～１０Ｗ、１０Ｗ～１００Ｗ、１００Ｗ～１ｋＷ、または１ｋＷ～１０ｋＷの電磁放射線を放射できてもよい。
【0048】
１つ以上の光学素子はビームの経路内に位置決めされてもよい。光学素子は、ビーム結合器１０３、第一反射素子１０５、及び第二反射素子１０６のうちの１つまたは複数を備え得る。これらの素子は、ビーム路の方向に、ビーム結合器１０３、次に第一反射素子１０５、次に第二反射素子１０６の順序で構成され得る。
【0049】
別の例では、第一反射素子１０５または第二反射素子１０６の一方または両方は、ビーム路の方向の順序では、ビーム結合器１０３の前に構成され得る。別の例では、光学素子は、ビーム路の方向の順序では、ビーム結合器１０３、続いて第一反射素子１０５の順序で構成されてもよい。別の例では、第一反射素子１０５または第二反射素子１０６の一方または両方は、ビーム路の方向では、ビーム結合器１０３の前に構成され得る。任意の数の追加の反射素子をビーム路内に位置決めすることができる。
【0050】
ビーム結合器１０３は、ビーム結合素子と呼ばれることもある。いくつかの実施形態では、ビーム結合器１０３は、セレン化亜鉛（ＺｎＳｅ）、硫化亜鉛（ＺｎＳ）、またはゲルマニウム（Ｇｅ）ビーム結合器であってもよい。例えば、ビーム結合器１０３は、赤外光を透過させ、可視光を反射するように構成され得る。いくつかの実施形態では、ビーム結合器１０３は二色性であってもよい。いくつかの実施形態では、ビーム結合器１０３は、カットオフ波長よりも長い波長を有する電磁放射線を通過させ、カットオフ波長よりも短い波長を有する電磁放射線を反射するように構成され得る。いくつかの実施形態では、ビーム結合器は、カットオフ波長よりも短い波長を有する電磁放射線を通過させ、カットオフ波長よりも長い波長を有する電磁放射線を反射するように構成され得る。
【0051】
いくつかの実施形態で、カットオフ波長は、約１ｍ、約１００ｍｍ、約１０ｍｍ、約１ｍｍ、約１００μｍ、約１０μｍ、約１．５μｍ、約１μｍ、約９００ｎｍ、約８００ｎｍ、約７００ｎｍ、約６００ｎｍ、約５００ｎｍ、約４００ｎｍ、約３００ｎｍ、約１００ｎｍ、約１０ｎｍ、または約１ｎｍであってもよい。いくつかの実施形態では、カットオフ波長は、約１ｍ～約１００ｍｍ、約１００ｍｍ～約１０ｍｍ、約１０ｍｍ～約１ｍｍ、約１ｍｍ～約１００μｍ、約１００μｍ～約１０μｍ、約１０μｍ～約１．５μｍ、約１．５μｍ～約１μｍ、約１μｍ～約９００ｎｍ、約９００ｎｍ～約８００ｎｍ、約８００ｎｍ～約７００ｎｍ、約７００ｎｍ～約６００ｎｍ、約６００ｎｍ～約５００ｎｍ、約５００ｎｍ～約４００ｎｍ、約４００ｎｍ～約３００ｎｍ、約３００ｎｍ～約１００ｎｍ、約１００ｎｍ～約１０ｎｍ、または約１０ｎｍ～約１ｎｍであってもよい。他の実施形態では、ビーム結合器は、偏光ビームスプリッタ、ロングパスフィルタ、ショートパスフィルタ、またはバンドパスフィルタであってもよい。
【0052】
本開示の光学制御系は、光路内に位置決めされたレンズをさらに含むことができる。いくつかの実施形態では、レンズは、集束レンズであってもよく、集束レンズは、ビーム、散乱光、またはその両方を集束させるように位置決めされてもよい。例えば、集束レンズを可視光路内に位置決めして、散乱光をターゲティングカメラに集束させることができる。いくつかの実施形態では、レンズは、デフォーカスレンズであってもよく、デフォーカスレンズは、ビーム、散乱光、またはその両方をデフォーカスするように位置決めされてもよい。いくつかの実施形態では、レンズは、コリメートレンズであってもよく、コリメートレンズは、ビーム、散乱光、またはその両方を視準するように位置決めされてもよい。いくつかの実施形態では、２つ以上のレンズが光路内に位置決めされ得る。例えば、２つのレンズを光路内で直列に位置決めして、ビームを拡大させてもよく、または狭めてもよい。
【0053】
第一反射素子１０５及び第二反射素子１０６の一方または両方の位置及び向きは、アクチュエータによって制御され得る。いくつかの実施形態では、アクチュエータは、モータ、ソレノイド、検流計、またはサーボであってもよい。例えば、第一反射素子１０５の位置は第一アクチュエータによって制御されてもよく、第二反射素子１０６の位置及び向きは第二アクチュエータによって制御されてもよい。いくつかの実施形態では、単一反射素子は複数のアクチュエータによって制御され得る。例えば、第一反射素子１０５は、第一軸に沿った第一アクチュエータ及び第二軸に沿った第二アクチュエータによって制御され得る。いくつかの実施形態では、単一アクチュエータは、複数の軸に沿って反射素子を制御することができる。
【0054】
アクチュエータは、反射素子を回転させることによって反射素子の位置を変化させることにより、反射素子に当たるビームの入射角を変化させることができる。入射角を変化させると、ビームが表面に当たる位置の並進運動が起こる。いくつかの実施形態では、光学系が表面に対して移動している間、ビームが表面に当たる位置が維持されるように入射角を調整することができる。いくつかの実施形態では、第一アクチュエータは、第一回転軸を中心に第一反射素子を回転させることにより、ビームが表面に当たる位置を第一並進軸に沿って並進させ、第二アクチュエータは、第二反射素子を、第二回転軸を中心に回転させることにより、ビームが表面に当たる位置を第二並進軸に沿って並進させる。いくつかの実施形態では、第一アクチュエータ及び第二アクチュエータは、第一回転軸及び第二回転軸を中心に第一反射素子を回転させることにより、ビームが第一反射素子の表面に当たる位置を第一並進軸及び第二並進軸に沿って並進させる。例えば、単一反射素子は、第一アクチュエータ及び第二アクチュエータによって制御され得、２つのアクチュエータによって制御される単一反射素子を用いて、ビームが表面に当たる位置を第一並進軸及び第二並進軸に沿って並進させることができる。
【0055】
第一並進軸及び第二並進軸は直交していてもよい。表面上のカバレッジエリアは、第一並進軸に沿った最大並進運動と、第二並進軸に沿った最大並進運動とによって画定され得る。第一アクチュエータ及び第二アクチュエータの一方または両方は、サーボ制御、圧電作動、ピエゾ慣性作動、ステッピングモータ制御、検流計駆動、リニアアクチュエータ制御、またはそれらの任意の組み合わせであってもよい。第一反射素子及び第二反射素子の一方または両方は、ミラー、例えば、ダイクロイックミラーもしくは誘電体ミラー、プリズム、ビームスプリッタ、またはそれらの任意の組み合わせであってもよい。いくつかの実施形態では、第一反射素子及び第二反射素子の一方または両方は、ビームを偏向させることができる任意の素子であってもよい。
【0056】
図２は、図１に示される光学制御系１００の一実施形態の上面図を示す。図１にみられるように、ターゲティングカメラ１０４は、可視光路１５２に沿ってビーム路、例えばレーザ路１０２と反対の方向に進む光、例えば可視光を捕捉するように位置決めされ得る。光は、対象オブジェクトを有する表面などの表面、または対象オブジェクトなどのオブジェクトによって散乱し、可視光路１５２に沿ってターゲティングカメラ１０４の方に進み得る。いくつかの実施形態では、ターゲティングカメラ１０４は、ビーム結合器１０３から反射された光を捕捉するように位置決めされる。他の実施形態では、ターゲティングカメラ１０４は、ビーム結合器１０３を透過した光を捕捉するように位置決めされる。このような光を捕捉すると、ターゲティングカメラ１０４は、表面上のターゲット視野を撮像するように構成され得る。ターゲティングカメラ１０４はビーム結合器１０３に結合されてもよく、またはターゲティングカメラ１０４はビーム結合器１０３を支持する支持構造体に結合されてもよい。一実施形態では、ターゲティングカメラ１０４がビーム結合器１０３に対して固定位置を維持するように、ターゲティングカメラ１０４は、ビーム結合器１０３に対して移動しない。
【0057】
図３は、本明細書に開示される光学制御デバイスの一実施形態の断面図を示す。図３は、図１及び図２に示される光学制御デバイス１００の光学素子上へのダスト及びデブリの堆積を防止するための機構を示す。いくつかの実施形態では、光学素子は、表面上の所定の境界の外側の光学制御デバイスの領域にビームが当たるのを防ぐために、ミラー上にハードストップ３５１を備え得る。光学素子、例えばビーム結合素子１０３ならびに第一反射素子１０５及び第二反射素子１０６などの反射素子の一方または両方は、筐体によって保護され得る。光学素子は筐体によって取り囲まれてもよい。いくつかの実施形態では、筐体は、ダスト、デブリ、水、またはそれらの任意の組み合わせが光学素子に接触するのを防ぐために密閉される。
【0058】
筐体は、図３に示されるように、レーザ透避窓１０７を備えることができる。いくつかの実施形態では、レーザ透避窓１０７は、レーザ路１０２などのビーム路内の第二反射素子１０６の後にビームと交差するように位置決めされるか、またはレーザ透避窓１０７は、ビーム路内の第一反射素子１０５の後にビームと交差するように位置決めされる。いくつかの実施形態では、レーザ透避窓１０７はビーム路内の最後の素子である。レーザ透避窓１０７は、ダスト、デブリ、水、またはそれらの任意の組み合わせが光学素子に到達するのを防ぐことができる。いくつかの実施形態では、レーザ透避窓１０７は、光などの電磁放射線に対して実質的に透明な材料を含む。例えば、レーザ透避窓１０７は、ガラス、石英、石英ガラス、セレン化亜鉛、透明ポリマー、またはそれらの組み合わせを含んでもよい。
【0059】
筐体は、レーザ透避窓１０７の表面上にダストもしくはデブリが堆積するのを防止するように、またはレーザ透避窓１０７の表面上に堆積したダストもしくはデブリを除去するように構成された自浄デバイスをさらに備えてもよい。いくつかの実施形態では、自浄デバイスは、気流３５３に清浄な空気を放出するように構成された筐体の外面内にアパーチャ３５２を備える。清浄な気流３５３は、デブリがレーザ透避窓１０７を損傷させるのを防ぐことができる。いくつかの実施形態では、清浄な空気は濾過されてもよい。アパーチャ３５２は、気流３５３を透避窓の外面に向けるように構成され得る。アパーチャ３５２は、清浄な空気がレーザ透避窓１０７の表面を横切るように向けられるように構成され得る。いくつかの実施形態では、筐体は、ビーム路１０２を遮ることなく清浄な気流３５３を導くように構成される。例えば、筐体は、ビームが遮られずに通過できるような隙間を有する、ビーム路内のレーザ透避窓１０７の後に開口部３５４を備えることができる。いくつかの実施形態では、開口部は、アパーチャ３５２に対向する壁を備える。壁は、ビームを遮ることなく、気流３５３の方向を制御し、乱流を減少させるように構成され得る。開口部は、レーザ透避窓１０７及びビーム路１０２を取り囲むことができ、ビーム路１０２の方向では、開口部がレーザ透避窓１０７に近づくほど狭くなり、レーザ透避窓１０７から離れるほど広くなるように構成され得る。いくつかの実施形態では、開口部は、乱流を防ぎながら清浄な空気の通過を可能にするために滑らかな隅部３５５を有する。
【0060】
光学制御系１００を出た後、ビームは、図４Ａ及び図４Ｂに示されるように、ビーム路１０２に沿って表面に向けられることができる。いくつかの実施形態では、表面は対象オブジェクト、例えば雑草を含む。図２に示されるような、反射素子１０５及び１０６の一方または両方の回転運動は、それぞれ図４Ａ及び図４Ｂのビュー４００及び４５０に示されるように、第一並進軸４０１に沿ったレーザ掃引、及び第二並進軸４０２に沿ったレーザ掃引を生じることができる。反射素子１０５及び１０６の一方または両方の回転運動は、ビームが表面に当たる位置を制御することができる。例えば、反射素子１０５及び１０６の一方または両方の回転運動は、ビームが表面に当たる位置を表面上の対象オブジェクトの位置に移動させることができる。いくつかの実施形態では、ビームは対象オブジェクトを損傷させるように構成される。例えば、ビームは電磁放射線を含むことができ、ビームはオブジェクトを照射することができる。別の例では、ビームは赤外光を含むことができ、ビームはオブジェクトを焼却することができる。いくつかの実施形態では、オブジェクトを取り囲み、オブジェクトを含む領域をビームがスキャンするように、反射素子の一方または両方を回転させることができる。
【0061】
予測カメラまたは予測センサは、光学制御系１００などの光学制御系と連携して、ターゲットにするオブジェクトを識別し、位置特定することができる。予測カメラは、アミアブルなレーザ掃引４０１及び４０２によってカバーされる光学制御系のカバレッジエリアを取り囲む視野を有してもよい。予測カメラは、ターゲットにするオブジェクトを識別し、選択するために、カバレッジエリアを含む領域の画像または表現をキャプチャするように構成され得る。選択されたオブジェクトを光学制御系に割り当てることができる。いくつかの実施形態では、予測カメラの視野及び光学制御系のカバレッジエリアは、予測カメラの視野が第一時刻にターゲットを包囲し、光学制御系のカバレッジエリアが第二時刻にターゲットを包囲するように、時間的に分離されてもよい。任意選択で、予測カメラ、光学制御系、またはその両方は、第一時刻と第二時刻との間でターゲットに対して移動してもよい。
【0062】
いくつかの実施形態では、複数の光学制御系を組み合わせて、表面上のカバレッジエリアを増大させることができる。図５は、複数の光学制御系１００を備える複合系５００を示す。複数の光学制御系は、各光学制御系の並進軸４０２に沿ったレーザ掃引が、隣接する光学制御系の並進軸に沿ったレーザ掃引と重複するように構成される。組み合わされたレーザ掃引４０１及び４０２は、複数の光学制御系からの複数のビームのうちの少なくとも１つのビームが到達できるカバレッジエリア５０３を画定する。予測カメラ５０１は、予測カメラの視野５０２がカバレッジエリア５０３を完全に包囲するように位置決めされてもよい。いくつかの実施形態では、検出システムは、それぞれが視野を有する、２つ以上の予測カメラを備えることができる。予測カメラの視野を組み合わせて、カバレッジエリアを完全に包囲する予測視野を形成することができる。いくつかの実施形態では、予測視野は、単一時点でカバレッジエリアを完全には包囲しないが、２つ以上の時点（例えば、画像フレーム）にわたるカバレッジエリアを包囲し得る。任意選択で、１つまたは複数の予測カメラは、２つ以上の時点にわたってカバレッジエリアに対して相対的に移動して、カバレッジエリアの時間的なカバレッジを可能にしてもよい。予測カメラまたは予測センサは、ターゲットにするオブジェクトを識別して選択するために、カバレッジエリア５０３を含む領域の画像または表現をキャプチャするように構成され得る。選択されたオブジェクトは、オブジェクトの位置と、個々の光学制御系のレーザ掃引４０１及び４０２によってカバーされるエリアとに基づいて、複数の光学制御系のうちの１つに割り当てられ得る。
【0063】
図６のビュー６００及び図７のビュー７００に示されるように、複数の光学制御系は車両６０１上に構成されることができる。例えば、ビークルは自律走行車であってもよい。自律走行車はロボットであってもよい。いくつかの実施形態では、車両は人間によって制御され得る。例えば、車両は人間の運転者によって運転される場合がある。いくつかの実施形態では、車両は、人間の運転者によって運転される第二車両に連結され得、例えば、第二車両によって後ろに牽引されてもよく、押されてもよい。車両は、人間によって、例えばリモコンによって遠隔制御され得る。いくつかの実施形態では、車両は、長波信号、光信号、衛星、または任意の他の遠隔通信方法を介して遠隔制御され得る。複数の光学制御系は、カバレッジエリアが車両の下、後ろ、前、または周囲の表面と重なるように車両上に構成され得る。
【0064】
車両６０１は、１つまたは複数の対象オブジェクト、例えば複数の植物及び１つまたは複数の雑草を含む作物畑を有する、複数のオブジェクトを含む表面を走行するように構成され得る。車両６０１は、複数の車輪、動力源、モータ、予測カメラ５０１、またはそれらの任意の組み合わせのうちの１つまたは複数を備え得る。いくつかの実施形態では、車両６０１は、植物、例えば作物を損傷することなく、植物の上を移動するために、表面より上に十分な隙間を有する。いくつかの実施形態では、左車輪の内縁部と右車輪の内縁部との間の空間は、植物を損傷させることなく植物の列の上を通過するのに十分な幅である。いくつかの実施形態では、左車輪の外縁部と右車輪の外縁部との間の距離は、車両が２列の植物、例えば２列の作物の間を、植物を損傷させることなく通過できるように十分に狭い。一実施形態では、複数の車輪、複数の光学制御系、及び予測カメラを備える車両は、作物の列を走行し、複数のビームのうちの１つのビームをターゲット、例えば雑草に向けて放射することにより、雑草を焼却する、または照射することができる。
【0065】
自律型除草システム
本明細書に記載の方法は、雑草をターゲットにして除去するために、自律型除草システムによって実装されることができる。例えば、自律型除草システムは、予測センサなどの第一センサによって収集された画像または表現内で識別された対象雑草をターゲットにし、ターゲティングセンサなどの第二センサによって収集された画像または表現内で同じ雑草を位置特定するために使用され得る。いくつかの実施形態では、第一センサは予測カメラであり、第二センサはターゲティングカメラである。雑草をターゲティングすることは、ターゲティングセンサを使用して雑草を精密に位置特定することと、レーザで雑草をターゲティングすることと、赤外光などのレーザ光で雑草を焼却することによって雑草を除去することとを含むことができる。予測センサは、対象オブジェクトの予測位置を決定するように構成された予測モジュールの一部であってもよく、ターゲティングセンサは、対象オブジェクトの予測位置を洗練してターゲット位置を決定し、そのターゲット位置でレーザを用いて対象オブジェクトをターゲットにするように構成されたターゲティングモジュールの一部であってもよい。予測モジュールは、本明細書で説明されるように、ポイントツーポイントターゲティングを使用してカメラハンドオフを調整するためにターゲティングモジュールと通信するように構成され得る。
本明細書に記載の方法は、雑草をターゲットにして除去するために、自律型除草システムによって実装されることができる。例えば、自律型除草システムは、予測センサなどの第一センサによって収集された画像または表現内で識別された対象雑草をターゲットにし、ターゲティングセンサなどの第二センサによって収集された画像または表現内で同じ雑草を位置特定するために使用され得る。いくつかの実施形態では、第一センサは予測カメラであり、第二センサはターゲティングカメラである。雑草をターゲティングすることは、ターゲティングセンサを使用して雑草を精密に位置特定することと、レーザで雑草をターゲティングすることと、赤外光などのレーザ光で雑草を焼却することによって雑草を除去することとを含むことができる。予測センサは、対象オブジェクトの予測位置を決定するように構成された予測モジュールの一部であってもよく、ターゲティングセンサは、対象オブジェクトの予測位置を洗練してターゲット位置を決定し、そのターゲット位置でレーザを用いて対象オブジェクトをターゲットにするように構成されたターゲティングモジュールの一部であってもよい。予測モジュールは、本明細書で説明されるように、ポイントツーポイントターゲティングを使用してカメラハンドオフを調整するためにターゲティングモジュールと通信するように構成され得る。
【0066】
予測モジュール
本開示の予測モジュールは、表面上のオブジェクトを位置特定するように構成され得る。図８は、対象オブジェクトを識別し、割り当て、ターゲットにするように構成された予測モジュール８１０を示す。いくつかの実施形態では、ターゲット予測システム８１１は、予測カメラ５０１または予測センサを使用して表面の領域の画像をキャプチャし、画像内の対象オブジェクトを識別し、オブジェクトの予測位置を決定するように構成される。
本開示の予測モジュールは、表面上のオブジェクトを位置特定するように構成され得る。図８は、対象オブジェクトを識別し、割り当て、ターゲットにするように構成された予測モジュール８１０を示す。いくつかの実施形態では、ターゲット予測システム８１１は、予測カメラ５０１または予測センサを使用して表面の領域の画像をキャプチャし、画像内の対象オブジェクトを識別し、オブジェクトの予測位置を決定するように構成される。
【0067】
ターゲット予測システム８１１は、対象オブジェクトを識別し、予測画像内の他のオブジェクトから対象オブジェクトを区別するように構成されたオブジェクト識別モジュールを含み得る。いくつかの実施形態では、ターゲット予測システム８１１は、機械学習モデルを使用して、オブジェクトのラベル付き画像を含む訓練データセットから抽出された特徴に基づいてオブジェクトを識別し、区別する。例えば、ターゲット予測システム８１１は、雑草を識別し、雑草を作物などの他の植物から区別するように訓練され得る。別の例では、ターゲット予測システム８１１は、デブリを識別し、デブリを他のオブジェクトから区別するように訓練され得る。オブジェクト識別モジュールは、植物を識別し、作物と雑草との間など、異なる植物の間で区別するように構成され得る。いくつかの実施形態では、機械学習モデルは、深層学習ニューラルネットワークなどの深層学習モデルであってもよい。
【0068】
いくつかの実施形態では、オブジェクト識別モジュールは、畳み込みニューラルネットワークなどの識別機械学習モデルを使用することを含む。識別機械学習モデルは、例えば対象オブジェクトの有り無しで表面の、高解像度画像などの多くの画像を用いて訓練されることができる。例えば、機械学習モデルは、雑草の有り無しで畑の画像を用いて訓練されることができる。訓練が済むと、機械学習モデルは、対象オブジェクトを含む画像内の領域を識別するように構成され得る。領域は、多角形、例えば矩形によって画定されてもよい。いくつかの実施形態では、領域は境界ボックスである。いくつかの実施形態では、領域は、識別された領域をカバーするポリゴンマスクである。いくつかの実施形態では、識別機械学習モデルは、対象オブジェクトの位置、例えば予測画像内のピクセル位置を決定するように訓練されてもよい。
【0069】
カメラ制御変換システム８１２は、予測画像内のオブジェクトの位置を表面上の位置に、または検出システムの参照フレームに対する表面位置に変換するように構成され得る。例えば、カメラ制御変換システム８１２は、予測画像内の位置から、図１～図３に示される光学制御系１００の反射素子１０５及び１０６など、１つ以上の反射素子を制御する１つ以上のアクチュエータの１つ以上のアクチュエータ位置、例えばパン及びチルト位置への変換を提供する複数の補間関数を構築することができる。
【0070】
図８に示される予測モジュール８１０は、姿勢及び運動補正システム８１３をさらに含むことができる。姿勢及び運動補正システム８１３は、測位システム、例えば、ホイールエンコーダもしくはロータリエンコーダ、慣性計測ユニット（ＩＭＵ）、全地球測位システム（ＧＰＳ）、測距センサ（例えば、レーザ、ＳＯＮＡＲ、もしくはＲＡＤＡＲ）、または内部ナビゲーションシステム（ＩＮＳ）を含み得る。姿勢及び運動補正システムは、予測センサに直接的または間接的に結合され得る慣性計測ユニット（ＩＭＵ）を利用することができる。例えば、予測センサ及びＩＭＵは車両に搭載されてもよい。ＩＭＵは、ＩＭＵの運動の読み取り値、及び予測センサなど、ＩＭＵに直接的または間接的に結合されたあらゆるものを収集することができる。例えば、ＩＭＵは、経過時間にわたる運動の大きさ及び方向を決定するために使用され得る３次元加速度及び３次元回転情報を含む読み取り値を収集することができる。姿勢及び運動補正システムは、全地球測位システム（ＧＰＳ）を含み得る。ＧＰＳは、予測モジュールの予測センサまたはターゲティングモジュールのターゲティングセンサに直接的または間接的に結合され得る。例えば、ＧＰＳは、衛星ベースの無線ナビゲーションシステムと通信して、第一時点で予測センサの第一位置を測定し、第二時点で予測センサの第二位置を測定することができる。姿勢及び運動補正システムは、車両の車輪と通信するホイールエンコーダを備えることができる。ホイールエンコーダは、角周波数、回転周波数、回転角度、またはホイール回転数に基づいて、速度または移動距離を推定することができる。いくつかの実施形態では、測位システム及び検出システムは車両上に位置決めされてもよい。代替的にまたは追加的に、測位システムは、検出システムに空間的に結合されている車両上に位置決めされてもよい。例えば、測位システムは、検出システムを牽引する車両に設置されてもよい。
【0071】
姿勢及び運動補正システム８１３は、内部ナビゲーションシステム（ＩＮＳ）を備え得る。ＩＮＳは、ターゲティングセンサに直接的または間接的に結合され得る。例えば、ＩＮＳは、ターゲティングカメラの位置、向き、及び速度を測定するために、加速度計などのモーションセンサ、及びジャイロスコープなどの回転センサを備え得る。姿勢及び運動補正システム８１３は、ターゲティングセンサの位置における変化を決定するために外部参照を使用してもよいし、使用しなくてもよい。姿勢及び運動補正システムは、第一位置及び第二位置からのターゲティングセンサの位置における変化を決定することができる。いくつかの実施形態では、ターゲット予測システムが画像内の対象オブジェクトを位置特定した後、姿勢及び運動補正システム８１３は、画像がキャプチャされてから経過した時間量と、経過時間中に発生した予測カメラの運動の大きさ及び方向とを決定する。姿勢及び運動補正システム８１３は、オブジェクトの位置、経過時間、ならびに運動の大きさ及び方向を統合して、表面上のオブジェクトの調整された位置を決定することができる。
【0072】
オブジェクトの位置に基づいて、ターゲット割り当てシステム８１４は、オブジェクトをターゲティングモジュール８２０に割り当てることができる。いくつかの実施形態では、ターゲティングモジュールは、複数のターゲティングモジュールのうちの１つであってもよい。予測モジュール８１０は、対象オブジェクトの予測位置を、割り当てられたターゲティングモジュール８２０に送信することができる。オブジェクトの予測位置は、経過時間中の運動の大きさ及び方向に基づいて調整されてもよく、またはその位置は、多角形によって画定される領域内であってもよく、またはその両方であってもよい。将来の予測オブジェクト位置は、将来の期間中に予測される運動の大きさ及び方向に基づいて決定され得る。ターゲット割り当てモジュール８１４は、予測位置、調整された予測位置、または将来の予測位置と重複するカバレッジエリアを有するターゲティングモジュールにターゲットを割り当てることができる。
【0073】
予測モジュール８１０は、システムコントローラ、例えばストレージ、ランダムアクセスメモリ（ＲＡＭ）、中央処理装置（ＣＰＵ）、及びグラフィックスプロセッシングユニット（ＧＰＵ）を有するシステムコンピュータを備えることができる。システムコンピュータは、テンソルプロセッシングユニット（ＴＰＵ）を備えることができる。システムコンピュータは、ターゲットを検出して識別するための操作を実行するために、十分なＲＡＭ、ストレージスペース、ＣＰＵパワー、及びＧＰＵパワーを有する必要がある。予測センサは、オブジェクトを検出して識別するための操作を実行するのに十分な解像度の画像を提供する必要がある。いくつかの実施形態では、予測センサは、電荷結合素子（ＣＣＤ）カメラもしくは相補型金属酸化膜半導体（ＣＭＯＳ）カメラなどのカメラ、ＬＩＤＡＲ検出器、赤外線センサ、紫外線センサ、ｘ線検出器、または画像を生成できる任意の他のセンサであってもよい。
【0074】
ターゲティングモジュール
本開示のターゲティングモジュール８２０は、予測モジュール８１０によって識別されたオブジェクトをターゲットにするように構成され得る。いくつかの実施形態では、ターゲティングモジュールは、オブジェクトを操作するために器具をオブジェクトに向けることができる。例えば、ターゲティングモジュール８２０は、雑草を焼却するために雑草の方にレーザビームを向けるように構成され得る。別の例では、ターゲティングモジュール８２０は、オブジェクトを把持するように把持ツールに指示するように構成され得る。別の例では、ターゲティングモジュールは、流体をオブジェクトに噴霧するように噴霧ツールに指示することができる。いくつかの実施形態では、オブジェクトは、雑草、植物、畑、デブリ破片、障害物、表面領域、または操作できる他の任意のオブジェクトであってもよい。図８は、予測モジュール８１０から対象オブジェクトの予測位置を受信し、ターゲティングカメラ１０４またはターゲティングセンサを予測位置に向けるように構成されたターゲティングモジュール８２０を示す。いくつかの実施形態では、ターゲティングモジュール８２０は、レーザなどの器具を予測位置に向けることができる。図８の示される実施形態では、ターゲティングセンサの位置と器具の位置とを結合することができる。いくつかの実施形態では、複数のターゲティングモジュール８２０が予測モジュール８１０と通信する。
本開示のターゲティングモジュール８２０は、予測モジュール８１０によって識別されたオブジェクトをターゲットにするように構成され得る。いくつかの実施形態では、ターゲティングモジュールは、オブジェクトを操作するために器具をオブジェクトに向けることができる。例えば、ターゲティングモジュール８２０は、雑草を焼却するために雑草の方にレーザビームを向けるように構成され得る。別の例では、ターゲティングモジュール８２０は、オブジェクトを把持するように把持ツールに指示するように構成され得る。別の例では、ターゲティングモジュールは、流体をオブジェクトに噴霧するように噴霧ツールに指示することができる。いくつかの実施形態では、オブジェクトは、雑草、植物、畑、デブリ破片、障害物、表面領域、または操作できる他の任意のオブジェクトであってもよい。図８は、予測モジュール８１０から対象オブジェクトの予測位置を受信し、ターゲティングカメラ１０４またはターゲティングセンサを予測位置に向けるように構成されたターゲティングモジュール８２０を示す。いくつかの実施形態では、ターゲティングモジュール８２０は、レーザなどの器具を予測位置に向けることができる。図８の示される実施形態では、ターゲティングセンサの位置と器具の位置とを結合することができる。いくつかの実施形態では、複数のターゲティングモジュール８２０が予測モジュール８１０と通信する。
【0075】
ターゲティングモジュール８２０は、本明細書で説明されるような光学制御系を含み、それと通信することができる。例えば、図１～図３の光学制御系１００について示されるように、ターゲティングモジュールは、レーザ路１０２などの光路に沿ってビームを放射するエミッタ１０１と、ビーム結合素子１０３と、ターゲティングカメラ１０４と、第一アクチュエータによって制御されるビームを偏向するように構成された第一反射素子１０５と、任意選択で、光路内に位置決めされた第二アクチュエータによって制御されるビームを偏向するように構成された第二反射素子１０６とを備えることができる。アクチュエータの一方または両方は、反射素子１０５または１０６の一方または両方を第一回転軸、及び任意選択で第二回転軸を中心に回転させることによって、ビーム路の偏向を変化させ、ビームが表面に当たる位置を第一並進軸に沿って、そして任意選択で第二並進軸に沿って並進させるように構成されることができる。いくつかの実施形態では、第一アクチュエータ及び第二アクチュエータは、第一回転軸及び第二回転軸を中心に単一反射素子を回転させ、ビームが表面に当たる点の位置の第一並進軸及び第二並進軸に沿った並進運動を与えることができる。いくつかの実施形態では、第一反射素子１０５、第二反射素子１０６、またはその両方は、ターゲティングカメラ１０４またはターゲティングセンサの方向も制御する。
【0076】
図８に示されるように、ターゲット予測システム８２１は、予測モジュール８１０から対象オブジェクトの予測位置を受信し得、ターゲティングカメラ１０４またはターゲティングセンサをオブジェクトの予測位置に向けることができる。ターゲティングカメラ１０４またはターゲティングセンサは、対象オブジェクトを含むと予測される領域のターゲット画像を収集することができる。いくつかの実施形態では、ターゲティングモジュール８２０は、オブジェクトマッチングモジュールを含み、オブジェクトマッチングモジュールは、ターゲット画像が予測モジュールによって識別された対象オブジェクトを含むかどうかを決定することによって、ポイントツーポイントターゲティングを使用してカメラハンドオフを調整するように構成される。オブジェクトマッチングモジュールは、センサタイプ、解像度、倍率、視野もしくはカラーバランス及び感度などの予測センサとターゲティングセンサとの間の差異、撮像角度もしくは位置の差異、検出システムの運動、平坦ではない表面のばらつき、撮像周波数における差異、または予測画像が収集された時刻とターゲット画像が収集された時刻との間のオブジェクトの変化などが原因である予測画像及びターゲット画像におけるオブジェクトの外観の差異を考慮することができる。いくつかの実施形態では、オブジェクトマッチングモジュールは、レンズ歪み、ＺｎＳｅ光学系からの歪み、球面収差、または色収差など、光学系によって導入される歪みを考慮することができる。
【0077】
いくつかの実施形態では、オブジェクトマッチングモジュールは、例えば、センサタイプ、解像度、倍率、視野、もしくはカラーバランス及び感度などのイメージセンサにおける差異、撮像角度もしくは位置における差異、検出システムの運動、平坦ではない表面のばらつき、または２つの画像が収集された時刻の間のオブジェクトの変化が原因である２つの画像間の差異を考慮して、異なる画像内の同じオブジェクトを識別するように訓練されたオブジェクトマッチング機械学習モジュールを使用し得る。
【0078】
オブジェクトマッチングモジュールがターゲット画像内の対象オブジェクトを識別する場合、オブジェクトマッチングモジュールは、オブジェクトのターゲット位置を決定することができる。オブジェクトマッチングモジュールは、オブジェクトの予測位置とオブジェクトのターゲット位置との間のオフセットを決定することができる。カメラ制御変換システム８２２は、オフセットに基づいて、例えば第一反射素子１０５の位置、及び任意選択で第二反射素子１０６の位置を調整することによって、ターゲティングカメラ１０４などのターゲティングセンサの方向を調整することができる。反射素子の位置は、本明細書で説明されるように、アクチュエータによって制御され得る。例えば、カメラ制御変換システム８２２は、ターゲット画像内のターゲットのピクセル位置を、ビームをターゲット位置に偏向させると予測されるミラー位置に対応する一方または両方のアクチュエータのパンまたはチルト値に変換することができる。いくつかの実施形態では、レーザなどの器具の位置は、器具をオブジェクトのターゲット位置に向けるように調整される。いくつかの実施形態では、ターゲティングセンサ及び器具の運動は結合される。オブジェクトマッチングモジュールがターゲット画像内の対象オブジェクトを識別しない場合、カメラ制御変換システムは、ターゲティングセンサの位置を調整し、第二ターゲット画像を収集することができる。代替的または追加的に、オブジェクトマッチングモジュールがターゲット画像内の対象オブジェクトを識別しない場合、予測画像から異なるオブジェクトが選択され得、新しい予測位置が決定され得る。オブジェクトマッチングモジュールがターゲット画像内の対象オブジェクトを識別できない理由には、不適切な運動補正またはターゲット画像内のオブジェクトの障害物が含まれる可能性がある。
【0079】
オブジェクトのターゲット位置は、姿勢及び運動補正システム８２３を使用してさらに補正されることができる。姿勢及び運動補正システム８２３は、例えばホイールエンコーダ、ＩＭＵ、ＧＰＳ、測距センサ、またはＩＮＳなどの測位システムを使用して、ターゲティングカメラの運動の大きさ及び方向を決定することができる。いくつかの実施形態では、ターゲティングセンサに直接的または間接的に結合されたＩＭＵからの加速度及び回転の読み取り値を使用して、運動の大きさ及び方向を決定する。例えば、ターゲティングセンサ及びＩＭＵは車両に搭載されてもよい。ＩＭＵは、ＩＭＵの運動の読み取り値、及びターゲティングセンサなど、ＩＭＵに直接的または間接的に結合されたあらゆるものを収集することができる。例えば、ＩＭＵは、経過時間にわたる運動の大きさ及び方向を決定するために使用され得る３次元加速度及び３次元回転情報を含む読み取り値を収集することができる。いくつかの実施形態では、姿勢及び運動補正システムは、ホイールエンコーダを使用して、ターゲティングカメラ１０４などのターゲティングセンサの運動の距離及び速度を決定することができる。いくつかの実施形態では、姿勢及び運動補正システムは、ＧＰＳを使用して、ターゲティングカメラ１０４などのターゲティングセンサの運動の大きさ及び方向を決定することができる。ホイールエンコーダは、角周波数、回転周波数、回転角度、またはホイール回転数に基づいて、速度または移動距離を推定することができる。速度または移動距離を使用して、ターゲティングセンサに直接的または間接的に結合された車両などの車両の、表面に対する位置を決定し得る。いくつかの実施形態では、測位システム及び検出システムは車両上に位置決めされてもよい。代替的にまたは追加的に、測位システムは、検出システムに空間的に結合されている車両上に位置決めされてもよい。例えば、測位システムは、検出システムを牽引する車両に設置されてもよい。
【0080】
例えば、ＧＰＳは車両に搭載されてもよい。ＧＰＳは、衛星ベースの無線ナビゲーションシステムと通信して、第一時刻でターゲティングカメラ１０４などのターゲティングセンサの第一位置を測定し、第二時刻でターゲティングセンサの第二位置を測定することができる。いくつかの実施形態では、姿勢及び運動補正システム８２３は、ＩＮＳを使用して、ターゲティングセンサの運動の大きさ及び方向を決定することができる。例えば、ＩＮＳは、ターゲティングセンサの位置、向き、及び速度を測定することができる。いくつかの実施形態では、ターゲット予測システム８２１が画像内の対象オブジェクトを位置特定した後、姿勢及び運動補正システム８２３は、画像がキャプチャされてから経過した時間量と、経過時間中に発生したターゲティングセンサの運動の大きさ及び方向とを決定する。姿勢及び運動補正システム８２３は、オブジェクトの位置、経過時間、ならびに運動の大きさ及び方向を統合して、オブジェクトの補正されたターゲット位置を決定することができる。いくつかの実施形態では、ターゲティングモジュール８２３の姿勢及び運動補正システムによって使用される測位システムと、予測モジュール８１３の姿勢及び運動補正システムによって使用される測位システムは同じである。オブジェクトの将来のターゲット位置は、将来の期間中の運動の予測される大きさ及び方向に基づいて決定され得る。いくつかの実施形態では、ターゲティングモジュール８２０の姿勢及び運動補正システム８２３によって使用される測位システムと、予測モジュールの姿勢及び運動補正システム８２３によって使用される測位システムは異なる。
【0081】
モータ制御システム８２４は、第一アクチュエータ、及び任意選択で第二アクチュエータに信号を提供し、ターゲティングカメラ１０４などのターゲティングセンサ、レーザなどの器具、またはその両方の位置、向き、または方向を制御することができるソフトウェア駆動の電気コンポーネントを備え得る。いくつかの実施形態では、アクチュエータは、第一反射素子１０５、及び任意選択で第二反射素子１０６を制御することができる。例えば、アクチュエータ制御システムは、アクチュエータのパンチルト値を含む信号を第一アクチュエータ及び第二アクチュエータに送信することができる。アクチュエータは、シグナリングされたパンチルト位置を採用し得、レーザによって放射されたビームがオブジェクトのターゲット位置、オブジェクトの補正されたターゲット位置、またはオブジェクトの将来のターゲット位置に偏向されるような位置まで第一反射素子１０５及び第二反射素子１０６を、第一回転軸及び第二回転軸を中心に移動させ得る。
【0082】
ターゲティングモジュール８２０は、器具制御システムを備えることができる。いくつかの実施形態では、器具制御システムは、レーザ制御システム８２５であってもよい。レーザ制御システム８２５などの器具制御システムは、器具のアクティブ化及び非アクティブ化を制御することができるソフトウェア駆動の電気コンポーネントを備えることができる。アクティブ化または非アクティブ化は、ターゲティングカメラ１０４によって検出されるオブジェクトの存在または非存在に依存し得る。アクティブ化または非アクティブ化は、ターゲットオブジェクトの位置に対する器具の位置に依存する場合がある。いくつかの実施形態では、オブジェクトがターゲット予測システムによって識別され、位置特定されるとき、器具制御システムは、レーザエミッタなどの器具をアクティブ化することができる。いくつかの実施形態では、器具制御システムは、ビーム路１０２などの器具のレンジがターゲットオブジェクト位置と重なるように位置決めされるときに器具をアクティブ化してもよい。いくつかの実施形態では、器具制御システムは、器具のレンジが、多角形、例えば、識別された領域をカバーする境界ボックスまたはポリゴンマスクによって画定されるオブジェクトを含む表面の領域内にあるとき、器具をアクティブ化してもよい。
【0083】
器具制御システムは、オブジェクトに把持、噴霧、焼却、または照射などの操作が行われると、すなわち、オブジェクトを含む領域が器具によってターゲットになっていると、オブジェクトがターゲット予測モジュールによって識別されなくなると、指定された期間が経過すると、またはそれらの任意の組み合わせが行われると、器具を非アクティブ化することができる。例えば、レーザ制御システム８２５は、雑草を含む表面上の領域がビームによってスキャンされると、雑草が照射もしくは焼却されると、またはビームが所定の期間アクティブ化されると、エミッタを非アクティブ化することができる。
【0084】
本明細書で説明される予測モジュール及びターゲティングモジュールは、器具を用いてオブジェクトを位置特定し、識別し、ターゲットにするために組み合わせて使用され得る。ターゲティング制御モジュールは、本明細書に記載されるような光学制御系を備えることができる。予測モジュール及びターゲティングモジュールは、例えば電気通信またはデジタル通信など、通信していてもよい。いくつかの実施形態では、予測モジュール及びターゲティングモジュールは直接的または間接的に結合される。例えば、予測モジュール及びターゲティングモジュールは、支持構造体に結合され得る。いくつかの実施形態では、予測モジュール及びターゲティングモジュールは、図６及び図７に示されるように、車両、例えば車両６０１上に構成される。
【0085】
ターゲティングモジュールは、システムコントローラ、例えばストレージ、ランダムアクセスメモリ（ＲＡＭ）、中央処理装置（ＣＰＵ）、及びグラフィックスプロセッシングユニット（ＧＰＵ）を有するシステムコンピュータを備えることができる。システムコンピュータは、テンソルプロセッシングユニット（ＴＰＵ）を備えることができる。システムコンピュータは、ターゲットを検出して識別するための操作を実行するために、十分なＲＡＭ、ストレージスペース、ＣＰＵパワー、及びＧＰＵパワーを有する必要がある。ターゲティングセンサは、オブジェクトを予測画像内で識別されたオブジェクトとマッチングさせる操作を実行するのに十分な解像度の画像を提供する必要がある。
【0086】
雑草ターゲティング及び除草
図９は、本明細書に開示されるデバイス及び方法の一実施形態のプロセス９００を示す。以下の例は例示的なものであり、本明細書に記載されるデバイス、システム、及び方法の範囲を限定するものではない。このプロセスには、畑の雑草を識別し、割り当て、マッチングさせ、ターゲットにし、除草することが含まれる。この例では、除草システムは、複数のターゲティングモジュール８２０と通信する予測モジュール８１０を含む。予測モジュール８１０及びターゲティングモジュール８２０は、システムコントローラ、例えばストレージ、ＲＡＭ、ＣＰＵ、及びＧＰＵを含むコンピュータによって制御される。各ターゲティングモジュールは、図１～図３に示されるように、光学制御系１００を含む。予測モジュール及びターゲティングモジュールは固体支持体に結合される。固体支持体は、図６及び図７に示されるように、車両６０１上に位置決めされる。
図９は、本明細書に開示されるデバイス及び方法の一実施形態のプロセス９００を示す。以下の例は例示的なものであり、本明細書に記載されるデバイス、システム、及び方法の範囲を限定するものではない。このプロセスには、畑の雑草を識別し、割り当て、マッチングさせ、ターゲットにし、除草することが含まれる。この例では、除草システムは、複数のターゲティングモジュール８２０と通信する予測モジュール８１０を含む。予測モジュール８１０及びターゲティングモジュール８２０は、システムコントローラ、例えばストレージ、ＲＡＭ、ＣＰＵ、及びＧＰＵを含むコンピュータによって制御される。各ターゲティングモジュールは、図１～図３に示されるように、光学制御系１００を含む。予測モジュール及びターゲティングモジュールは固体支持体に結合される。固体支持体は、図６及び図７に示されるように、車両６０１上に位置決めされる。
【0087】
図９に示されるように、操作９２０、９３０、９４０、９５０、及び９６０は、対象畑、例えば作物を含む圃場が完全にスキャンされるまで、または別の終点に到達するまで繰り返される（９１０）。まず、予測モジュールは操作９２０を実行する。予測カメラ５０１は、車両６０１の周囲または前方の領域内の畑の表面の画像を収集する。システムコントローラは、例えばオブジェクト識別機械学習モデルを使用して、画像を処理し、画像内の雑草を識別する。ステップ９２１では、予測モデルは、本明細書に記載の方法を使用して、画像内で識別された１つ以上の雑草の位置を予測する。ステップ９２２では、カメラ制御変換システム８１２は、画像内の雑草のピクセル座標を地上位置に変換する。ステップ９２３では、システムコントローラは、例えば９２２でホイールエンコーダ、ＩＭＵ、測距センサ、またはＧＰＳによって測定された、車両６０１の運動に基づいて予測位置を更新するように予測モジュールに指令する。ステップ９２４では、１つまたは複数の雑草のそれぞれが、雑草の地上位置及びターゲティングモジュール８２０のカバレッジエリアに基づいてターゲティングモジュールに割り当てられる。
【0088】
ステップ９２５では、ターゲティングモジュールごとに操作９３０、９４０、９５０、及び９６０が繰り返される。操作９４０、９５０、及び９６０は雑草ごとに繰り返される。複数のターゲティングモジュールのうちのターゲティングモジュール８２０は操作９４０を実行する。ターゲティングカメラ１０４の視野を制御する反射素子を制御するミラーのアクチュエータのパン及びチルト値は、予測システム８１０によって決定された雑草の予測位置に基づいて、雑草の予測位置に向けるように設定され得る。ステップ９４１では、ターゲティングカメラ１０４が畑のターゲット画像をキャプチャし、システムコントローラがターゲット画像内の雑草を識別する。雑草の識別は、例えば本明細書に記載されるオブジェクトマッチング機械学習モデルを使用して、ターゲット画像内で識別されたオブジェクトを予測画像内で識別された対象オブジェクトとマッチングさせることを含んでもよい。いくつかの実施形態では、機械学習モデルは、深層学習ニューラルネットワークなどの深層学習モデルであってもよい。
【0089】
ターゲティングシステムは、オブジェクトマッチングモジュールに基づいて雑草のターゲット位置を決定することができる。ターゲティングシステムは、雑草の予測位置と雑草のターゲット位置との間のオフセットを決定する。システムコントローラは、ステップ９４２では、ターゲティングモジュールによって制御される光学制御系内の各反射素子を制御するアクチュエータごとのパン及びチルト値にオフセットを変換し、雑草のターゲット位置の方に向かうようにターゲティングカメラ１０４及びレーザに指示する。システムコントローラは、９４３では、例えばホイールエンコーダ、ＩＭＵ、測距センサ、またはＧＰＳによって測定される、車両の運動に基づいてアクチュエータのパン及びチルト値に姿勢及び運動補正を適用し、９４４では、アクチュエータのパン及びチルト位置によって制御される放射ビーム路のルートを計画する。アクチュエータが所定の位置に到達すると、９４５ではエミッタをアクティブ化する。
【0090】
９４６で計画されたルートが実装される間、操作９５０が繰り返される。９５１では雑草はターゲティングカメラ１０４によって収集された画像内で識別され、９５２ではルート計画は観察された雑草の位置に基づいて更新される。９５３では、システムコントローラは、ホイールエンコーダ、ＩＭＵ、またはＧＰＳによって測定された車両の運動に基づいて、姿勢及び運動補正をアクチュエータのパン及びチルト値に適用する。９５４では、アクチュエータは更新されたルート計画に基づいて適所に移動する。９６０では、計画されたルートが完了すると、エミッタは非アクティブ化される。
【0091】
オブジェクトの識別及びポイントツーポイントターゲティングのための検出システム
いくつかの実施形態では、予測システム及びターゲティングシステムを有する本開示の検出システムは、ポイントツーポイントターゲティング方法を使用してオブジェクトを識別しターゲットにするように構成され得る。予測システムは、対象領域を撮像するように構成された予測センサを含むことができ、ターゲティングシステムは、対象領域の一部を撮像するように構成されたターゲティングセンサを含むことができる。撮像は、対象領域または対象領域の一部の表現（例えば、画像）を収集することを含んでもよい。
いくつかの実施形態では、予測システム及びターゲティングシステムを有する本開示の検出システムは、ポイントツーポイントターゲティング方法を使用してオブジェクトを識別しターゲットにするように構成され得る。予測システムは、対象領域を撮像するように構成された予測センサを含むことができ、ターゲティングシステムは、対象領域の一部を撮像するように構成されたターゲティングセンサを含むことができる。撮像は、対象領域または対象領域の一部の表現（例えば、画像）を収集することを含んでもよい。
【0092】
図１０Ａは、対象オブジェクトＯを識別し、位置特定し、精密にターゲットにするための方法に使用され得る検出システム１０００を概略的に示す。いくつかの実施形態では、検出システムは、本明細書に記載のような、光学制御系、例えば図１～図３に示される光学制御系１００を含み得る。予測モジュール１０１０及びターゲティングモジュール１０５０を含む検出システム１０００は、ライン１０２１を介して予測センサ１０２０を使用して対象領域１０９１を撮像することができる。対象領域１０９１は、地面、床、または圃場など、表面１０９０の領域であってもよい。画像は、可視光画像、赤外線画像、紫外線画像、光検出測距（ＬＩＤＡＲ）画像、ｘ線画像、または任意のその他の電磁気画像であってもよい。予測センサ１０２０は、電荷結合素子（ＣＣＤ）カメラもしくは相補型金属酸化膜半導体（ＣＭＯＳ）カメラなどのカメラ、ＬＩＤＡＲ検出器、赤外線センサ、紫外線センサ、ｘ線検出器、または電磁波を検出できる任意の他のセンサであってもよい。
【0093】
オブジェクト識別モジュール１０３０は、ライン１０２２を介して予測センサ１０２０から予測画像を受信することができる。予測モジュール１０１０は、オブジェクト識別モジュール１０３０を使用して、予測センサ１０２０によって収集された対象領域１０９１の予測画像における対象オブジェクトＯの存在または非存在を決定してもよい。オブジェクト識別モジュール１０３０は、予測画像内の対象オブジェクトを識別し得、予測画像内の他のオブジェクトから対象オブジェクトを区別することができる。いくつかの実施形態では、オブジェクト識別モジュール１０３０は、識別機械学習モデルを訓練するために使用されるラベル付き画像から抽出された特徴に基づいて、対象オブジェクトを識別するように訓練された識別機械学習モデルを含む。機械学習モデルは、深層学習ニューラルネットワークなどの深層学習モデルであってもよい。いくつかの実施形態では、オブジェクト識別モジュール１０３０は、オブジェクトを識別するためにヒューリスティックモデル、閾値処理、または古典的な検出アルゴリズムを実装することができる。いくつかの実施形態では、オブジェクト識別モジュールは、分光データを使用してオブジェクトを識別する。
【0094】
識別されたオブジェクトは、ライン１０３１を介してオブジェクト位置モジュール１０４０に通信され得る。オブジェクト位置モジュール１０４０は、オブジェクト識別モジュール１０３０によって識別された対象オブジェクトＯのオブジェクト予測位置１０９５を決定することができる。オブジェクト予測位置１０９５は、予測画像内のピクセル位置など、対象領域１０９１内の対象オブジェクトＯの位置に基づいていることができる。いくつかの実施形態では、オブジェクト予測位置１０９５を決定することは、較正モデルを使用してピクセル位置を表面１０９０上の位置に変換することを含んでもよい。いくつかの実施形態では、較正モデルは、三角関数モデル、幾何モデル、またはスプラインモデルなどの数理モデルであってもよい。較正モデルは、予測画像内のピクセル位置を、表面位置、ターゲティングセンサの位置もしくは向き、器具の位置、またはそれらの組み合わせに相関させることができる。いくつかの実施形態では、オブジェクト位置モジュール１０４０は、オブジェクトＯのピクセル位置を表面上の位置に相関させる所定の較正係数に基づいて、オブジェクト予測位置１０９５を決定することができる。いくつかの実施形態では、予測位置１０９５は、予測画像が収集された時刻とターゲット画像が収集される時刻との間のオブジェクトに対する検出システムの運動を考慮することができる。
【0095】
オブジェクト位置モジュール１０４０は、オブジェクト予測位置１０９５を、ライン１０４１を介してターゲティングモジュール１０５０に送信することができる。いくつかの実施形態では、ターゲティングモジュール１０５０は、複数のターゲティングモジュールのうちの１つであり、ターゲティングモジュール１０５０は、ターゲティングモジュールの可用性、またはオブジェクト予測位置１０９５へのターゲティングモジュールの近さに基づいて選択され得る。
【0096】
ターゲティングモジュール１０５０のターゲティング制御モジュール１０５５は、ライン１０５６を介して、ターゲティングセンサ１０６０の位置、向き、または方向を制御することができる。いくつかの実施形態では、ターゲティング制御モジュール１０５５は、ターゲティングセンサ１０６０の位置または向きを調整するアクチュエータを移動させることによって、ターゲティングセンサ１０６０の位置、向き、または方向を制御することができる。いくつかの実施形態では、ターゲティング制御モジュール１０５５は、電磁波をターゲティングセンサ１０６０に、またはターゲティングセンサから向ける反射面の位置または向きを調整するアクチュエータを移動させることによって、ターゲティングセンサ１０６０の位置、向き、または方向を制御することができる。ターゲティング制御モジュール１０５５は、較正モデルを使用して、オブジェクト予測位置１０９５に基づいてターゲティングセンサ１０６０の位置、向き、または方向を調整することができる。いくつかの実施形態では、ターゲティング制御モジュール１０５５は、オブジェクト予測位置をアクチュエータの位置、例えばターゲティングセンサを移動させるアクチュエータの位置、または電磁波をターゲティングセンサに、もしくはターゲティングセンサから向ける反射面を移動させるアクチュエータの位置に相関させる所定の較正係数に基づいて、ターゲティングセンサ１０６０の位置、向き、または方向を調整することができる。
【0097】
ターゲティングセンサ１０６０は、その位置、向き、または方向がオブジェクト予測位置１０９５の方に向かうようにターゲティング制御モジュール１０５５によって調整され得、対象オブジェクトＯを含むと予測される予測領域１０９２のターゲット画像を、ライン１０６１を介して収集する。予測領域１０９２は、予測センサ１０２０によって撮像された対象領域１０９１の一部をカバーしてもよい。
【0098】
図１０Ｂは、広い視野を使用して撮像された表面上の雑草の予測画像、例えば、予測センサを使用して撮像され、対象の雑草の周囲に植え付けられた対象領域１０９１（挿入図）、及びより狭い視野を使用して撮像された同じ雑草のターゲット画像、例えばオブジェクト予測位置１０９５を含む予測領域１０９２、またはオブジェクトターゲット位置１０９６を含むターゲット領域１０９３の一例を示す。図１０Ａのオブジェクトマッチングモジュール１０６５は、ライン１０６３を介してターゲティングセンサ１０６０から受信した、予測領域１０９２またはターゲット領域１０９３のターゲット画像内の対象オブジェクトの存在または非存在を決定することができる。いくつかの実施形態では、オブジェクトマッチングモジュール１０６５は、ターゲット画像内のオブジェクトを検出し、予測画像内で識別されたオブジェクトとマッチングさせるように訓練されたオブジェクトマッチング機械学習モデルを含む。オブジェクトマッチングモジュール１０６５は、センサタイプ、解像度、倍率、視野、もしくはカラーバランス及び感度などのセンサの差異、撮像角度もしくは位置の差異、検出システムの運動、平坦ではない表面のばらつき、または予測画像が収集された時刻とターゲット画像が収集された時刻との間のオブジェクトにおける変化が原因である、オブジェクトの外観の差異を考慮することができる。
【0099】
オブジェクトマッチングモジュール１０６５がターゲット画像内で対象オブジェクトを位置特定しない場合、ターゲティング制御モジュール１０５５は、ターゲティングセンサの位置、向き、または方向を調整することができ、ターゲティングセンサは第二ターゲット画像を収集することができる。このプロセスは、ターゲット画像内でオブジェクトを位置特定するまで繰り返され得る。代替的または追加的に、オブジェクトマッチングモジュール１０６５がターゲット画像内の対象オブジェクトを位置特定しない場合、予測画像から異なるオブジェクトが選択され得、新しい予測位置が決定され得る。オブジェクトマッチングモジュール１０６５がターゲット画像内の対象オブジェクトを識別できない理由には、不適切な運動補正またはターゲット画像内のオブジェクトの障害物が含まれる可能性がある。
【0100】
対象オブジェクトがターゲット画像内に存在するとオブジェクトマッチングモジュール１０６５が決定する場合、位置洗練モジュール１０７０は、ライン１０６６を介してオブジェクトマッチングモジュールと通信し、ターゲット画像内のオブジェクトの位置に基づいて、対象オブジェクトＯのオブジェクトターゲット位置１０９６を決定することができる。オブジェクトターゲット位置を決定することは、較正モデルを使用して、ターゲット画像内のピクセル位置を表面１０９０上の位置に変換することを含んでもよい。較正モデルは、ターゲット画像内のピクセル位置を、表面位置、ターゲティングセンサの位置もしくは向き、器具の位置、またはそれらの組み合わせに相関させることができる。いくつかの実施形態では、ターゲット位置１０９６は、ターゲット画像が収集された時刻と操作が実行される時刻との間のオブジェクトに対する検出システムの運動を考慮することができる。
【0101】
いくつかの実施形態では、オブジェクトマッチングモジュールは、ターゲット位置に基づいてオフセットを決定することができる。オフセットは、現在のアクチュエータ位置と、ターゲティングセンサをオブジェクトターゲット位置１０９６に向けるためのアクチュエータ位置との間のオフセットであってもよい。オフセットは、オブジェクト予測位置１０９５にターゲティングセンサを向けるためのアクチュエータ位置と、オブジェクトターゲット位置１０９６にターゲティングセンサを向けるためのアクチュエータ位置との間のオフセットであってもよい。オフセットは、現在のアクチュエータ位置と、器具をオブジェクトターゲット位置１０９６に向けるためのアクチュエータ位置との間のオフセットであってもよい。オフセットは、オブジェクト予測位置１０９５に器具を向けるためのアクチュエータ位置と、オブジェクトターゲット位置１０９６に器具を向けるためのアクチュエータ位置との間のオフセットであってもよい。オフセットは、表面上の予測位置１０９５と表面上のオブジェクトターゲット位置１０９６との間のオフセットであってもよい。オフセットは、表面座標、ピクセル位置、アクチュエータ位置、またはそれらの組み合わせの関数として決定され得る。いくつかの実施形態では、位置洗練モジュールは、検出システムの運動及びターゲット画像が収集されてからの時間に基づいて、ターゲット位置１０９６を洗練することができる。例えば、運動はホイールエンコーダ、測距センサ、ＩＭＵ、またはＧＰＳを使用して決定されることができる。
【0102】
それに応じて、ターゲティング制御モジュール１０５５は、位置洗練モジュール１０７０によって決定され、ライン１０７１を介してターゲティング制御モジュール１０５５に通信されたオブジェクトのターゲット位置に基づいて、器具の位置、向き、または方向を調整することができる。いくつかの実施形態では、ターゲティング制御モジュール１０５５は、器具１０８０の位置または向きを調整するアクチュエータを移動させることによって、ライン１０５７を介して器具１０８０の位置、向き、または方向を調整することができる。いくつかの実施形態では、ターゲティング制御モジュール１０５５は、ライン１０５６を介してターゲティングセンサ１０６０の位置、向き、または方向を調整することができ、ターゲティングセンサは、ライン１０６２を介して、オブジェクトＯのオブジェクトターゲット位置１０９６を含む表面１０９０のターゲット領域１０９３の画像を収集することができる。いくつかの実施形態では、ターゲティング制御モジュール１０５５は、アクチュエータを移動させて、レーザ放射などの放射を器具からオブジェクトターゲット位置１０９６の方に向ける反射面の位置または向きをアクチュエータが調整することによって、器具１０８０の位置、向き、または方向を制御することができる。
【0103】
いくつかの実施形態では、器具１０８０の運動は、器具１０８０がターゲティングセンサ１０６０の視野に対して固定位置に向けられるように、ターゲティングセンサ１０６０の運動に結合される。いくつかの実施形態では、器具１０８０の運動は、ターゲティングセンサ１０６０の運動と同じアクチュエータによって制御される。
【0104】
器具１０８０は、ライン１０８１を介して器具をオブジェクトターゲット位置１０９６に向けることによって、対象オブジェクトにアクションを実行することができる。例えば、器具１０８０は、オブジェクトターゲット位置１０９６でオブジェクトＯに向けてレーザ光を放射するレーザであってもよい。別の例では、器具１０８０は、オブジェクトターゲット位置１０９６でオブジェクトＯを把持する把持ツールであってもよい。別の例では、器具１０８０は、オブジェクトターゲット位置１０９６でオブジェクトＯに流体を噴霧する噴霧ツールであってもよい。いくつかの実施形態では、器具１０８０は、ターゲット位置１０９６に植物を植える定植ツールであってもよい。いくつかの実施形態では、器具１０８０は、オブジェクトターゲット位置１０９６でオブジェクトＯを収穫する収穫ツールであってもよい。いくつかの実施形態では、器具１０８０は、オブジェクトターゲット位置１０９６でオブジェクトＯを受粉させる受粉ツールであってもよい。
【0105】
オブジェクトの識別及びポイントツーポイントターゲティングの方法
本明細書に記載の方法は、本明細書に記載の検出システムを使用して対象オブジェクトを識別し、ターゲットにするために使用され得る。オブジェクトの識別及びターゲティングは、第一センサ、例えば予測センサによって収集された画像または表現内でオブジェクトを識別し、第二センサ、例えばターゲティングセンサによって収集された画像または表現内で同じオブジェクトを識別することによって、２つ以上のセンサ間のハンドオフを調整することを含んでもよい。いくつかの実施形態では、第二センサによって収集された画像内で同じオブジェクトを識別することは、画像内でオブジェクトを識別することと、そのオブジェクトが第一センサによって収集された画像内で識別されたオブジェクトと同じであるかどうかを決定することとを含んでもよい。センサのハンドオフは、センサのタイプ、解像度、倍率、視野、もしくはカラーバランス及び感度などの予測センサとターゲティングセンサとの間の差異、撮像角度もしくは位置の差異、検出システムの運動、平坦ではない表面のばらつき、または予測画像が収集された時刻とターゲット画像が収集された時刻との間のオブジェクトの変化が原因で複雑になる場合がある。
本明細書に記載の方法は、本明細書に記載の検出システムを使用して対象オブジェクトを識別し、ターゲットにするために使用され得る。オブジェクトの識別及びターゲティングは、第一センサ、例えば予測センサによって収集された画像または表現内でオブジェクトを識別し、第二センサ、例えばターゲティングセンサによって収集された画像または表現内で同じオブジェクトを識別することによって、２つ以上のセンサ間のハンドオフを調整することを含んでもよい。いくつかの実施形態では、第二センサによって収集された画像内で同じオブジェクトを識別することは、画像内でオブジェクトを識別することと、そのオブジェクトが第一センサによって収集された画像内で識別されたオブジェクトと同じであるかどうかを決定することとを含んでもよい。センサのハンドオフは、センサのタイプ、解像度、倍率、視野、もしくはカラーバランス及び感度などの予測センサとターゲティングセンサとの間の差異、撮像角度もしくは位置の差異、検出システムの運動、平坦ではない表面のばらつき、または予測画像が収集された時刻とターゲット画像が収集された時刻との間のオブジェクトの変化が原因で複雑になる場合がある。
【0106】
図１１は、オブジェクトを位置特定し、ターゲットにするためにポイントツーポイントターゲティングを使用してセンサハンドオフを調整するための方法１１００の一例を示す。この方法は、本明細書に記載の検出システム、例えば図１０Ａに示される検出システム１０００を使用して実装されることができる。いくつかの実施形態では、方法１１００は、予測センサ及びオブジェクト識別モジュールを有する予測モジュールと、ターゲティングセンサ及びオブジェクトマッチングモジュールを有するターゲティングモジュールとを含む検出システムによって実装され得る。例えば、方法は、図８または図１０Ａに示される検出システムを使用して実装され得る。
【0107】
図１１の１１１０では、予測センサは、例えば図１０Ａに示される予測モジュール１０１０を使用して、予測画像を収集する。１１２０では、対象オブジェクトは、図１０Ａに示されるような対象領域１０９１などの予測画像内で識別される。いくつかの実施形態では、対象オブジェクトは、オブジェクト識別機械学習モデルなどのオブジェクト識別モジュールを使用して識別される。１１３０では、対象オブジェクトの予測位置、例えば図１０Ａに示されるオブジェクト予測位置１０９５を決定する。いくつかの実施形態では、予測位置は、予測画像内の対象オブジェクトのピクセル位置に基づいて決定される。いくつかの実施形態では、予測位置は、予測画像が収集された時刻とターゲット画像が収集される時刻との間のオブジェクトに対する検出システムの運動を考慮する。ターゲティングセンサの位置、向き、または方向を制御するアクチュエータの位置は、予測位置に基づいて決定され得る。例えば、ターゲティングセンサの方に光を反射する１つ以上のミラーを制御する１つ以上のアクチュエータのパンまたはチルト値は、予測位置に基づいて決定され得る。別の例では、ターゲティングセンサを移動、傾斜、または回転させる１つまたは複数のアクチュエータの位置の値は、予測位置に基づいて決定され得る。いくつかの実施形態では、アクチュエータは、モータ、ソレノイド、検流計、またはサーボであってもよい。予測位置をアクチュエータ位置に変換することは、予測位置または予測画像内のオブジェクトの位置をアクチュエータ位置に変換するために較正係数を適用することを含むことができる。
【0108】
１１４０では、ターゲティングセンサは対象オブジェクトの予測位置に向けられ、１１５０では、ターゲティングセンサは、例えば図１０Ａのターゲティングモジュール１０５０を使用して、予測位置の画像を収集する。１１６０では、対象オブジェクトは、予測領域１０９２またはターゲット領域１０９３などのターゲット画像内で識別される。対象オブジェクトは、ターゲット画像内で識別されたオブジェクトを、対象領域１０９１の予測画像内で識別された対象オブジェクトとマッチングさせることによって識別され得る。いくつかの実施形態では、オブジェクトマッチングは、オブジェクトマッチング機械学習モデルなどのオブジェクトマッチングモジュールによって実行される。ターゲット画像内で識別されたオブジェクトを予測画像内で識別された対象オブジェクトとマッチングさせるために、オブジェクトマッチングモジュールは、センサタイプ、解像度、倍率、視野、もしくはカラーバランス及び感度などの予測センサとターゲティングセンサとの間の差異、撮像角度もしくは位置の差異、検出システムの運動、平坦ではない表面のばらつき、または予測画像が収集された時刻とターゲット画像が収集された時刻との間のオブジェクトの変化を考慮することができる。対象オブジェクトがターゲット画像内で識別されない場合、ターゲティングセンサの位置、向き、または方向が調整され得、第二ターゲット画像が収集され得る。いくつかの実施形態では、対象オブジェクトがターゲット画像内で識別されるまで、このプロセスを繰り返すことができる。
【0109】
対象オブジェクトがターゲット画像内で識別されると、１１７０では、対象オブジェクトのターゲット位置が決定される。いくつかの実施形態では、対象オブジェクトのターゲット位置は、ターゲット画像内のオブジェクトのピクセル位置に基づいて決定され得る。いくつかの実施形態では、ターゲット位置は、オブジェクトマッチングモジュールによって識別されたオブジェクトの位置から決定され得る。いくつかの実施形態では、ターゲット位置を決定することは、較正係数を使用してターゲット画像内のピクセル位置を表面上のオブジェクトの位置に変換することを含んでもよい。いくつかの実施形態では、ターゲット位置は、ターゲット画像が収集された時刻と操作が実行される時刻との間のオブジェクトに対する検出システムの運動を考慮することができる。
【0110】
１１８０では、対象オブジェクトのターゲット位置と予測位置との間のオフセットが決定される。いくつかの実施形態では、ターゲティングセンサの位置は、決定されたオフセットに基づいて調整され得る。いくつかの実施形態では、器具は、オブジェクトのターゲット位置に基づいて、またはオフセットに基づいて位置決めされる。いくつかの実施形態では、器具の位置は、ターゲティングセンサに対して固定される。いくつかの実施形態では、ターゲティングセンサ及び器具の運動が調整される。器具は、オブジェクトにアクションを実行するために、またはオブジェクトを操作するために、オブジェクトのターゲット位置に向けられることができる。例えば、器具は、オブジェクトに向けてレーザ光を放射するレーザであってもよい。別の例では、器具は、オブジェクトを把持する把持ツールであってもよい。別の例では、器具は、オブジェクトに流体を噴霧する噴霧ツールであってもよい。別の例では、器具は、オブジェクトに受粉する受粉ツールであってもよい。いくつかの実施形態では、器具は、オブジェクト位置に植物を植える定植ツール、オブジェクトを摘むピッキングツール、オブジェクトを点検する点検ツール、オブジェクト位置で土壌をサンプリングする土壌サンプリングツール、オブジェクトを操作する操作ツール、オブジェクトを修理する修理ツール、またはオブジェクトを溶接する溶接ツールであってもよい。
【0111】
オブジェクト識別のための機械学習モデル
本明細書に記載されるように、オブジェクトを位置特定し、ターゲットにするための方法は、センサ、例えば予測センサによって収集された画像内のオブジェクトを識別することを含むことができる。いくつかの実施形態では、オブジェクト識別は、識別機械学習モデルなどのオブジェクト識別モジュールを使用して実行され得る。いくつかの実施形態では、機械学習モデルは、深層学習ニューラルネットワークなどの深層学習モデルであってもよい。オブジェクト識別モジュールは、予測システムによって使用され、予測センサによって収集された予測画像内で、対象オブジェクトを識別し、その対象オブジェクトを他のオブジェクトから区別することができる。例えば、オブジェクト識別モジュールは、予測画像内の雑草を識別し、予測画像内でそれらの雑草を作物などの他の植物から区別することができる。別の例では、オブジェクト識別モジュールは、予測画像内のデブリ破片を識別し、そのデブリを予測画像内の他のアイテムから区別することができる。
本明細書に記載されるように、オブジェクトを位置特定し、ターゲットにするための方法は、センサ、例えば予測センサによって収集された画像内のオブジェクトを識別することを含むことができる。いくつかの実施形態では、オブジェクト識別は、識別機械学習モデルなどのオブジェクト識別モジュールを使用して実行され得る。いくつかの実施形態では、機械学習モデルは、深層学習ニューラルネットワークなどの深層学習モデルであってもよい。オブジェクト識別モジュールは、予測システムによって使用され、予測センサによって収集された予測画像内で、対象オブジェクトを識別し、その対象オブジェクトを他のオブジェクトから区別することができる。例えば、オブジェクト識別モジュールは、予測画像内の雑草を識別し、予測画像内でそれらの雑草を作物などの他の植物から区別することができる。別の例では、オブジェクト識別モジュールは、予測画像内のデブリ破片を識別し、そのデブリを予測画像内の他のアイテムから区別することができる。
【0112】
オブジェクト識別機械学習モデルは、人間のユーザによってラベル付けされたオブジェクトの画像を使用して訓練されることができる。画像には、対象オブジェクトまたは対象でない他のオブジェクトに相当する様々なオブジェクトが含まれる場合がある。例えば、画像は異なるタイプの植物のものであり得、画像内の植物は人間のユーザによって識別され、雑草または雑草ではないと指定され得、それに応じて画像はラベル付けされ得る。例えば、人間のユーザは、植物を、タマネギ、イチゴ、トウモロコシ、もしくはジャガイモなどの作物としてマーク付けしてもよく、またはタンポポ、ヒルガオ、アザミ、シバムギ、もしくはナズナなどの雑草としてマーク付けしてもよい。識別機械学習モデルは、ラベル付けされた画像を使用して訓練されることができ、様々なオブジェクトの特徴を抽出することができる。例えば、深層学習モデルは、様々なタイプの植物の特徴を抽出することができる。いくつかの実施形態では、訓練画像は、深層学習モデルによる特徴抽出を容易にする高解像度画像である。モデルを妥当性確認するために、オブジェクト識別モジュールは、モデルの訓練に使用されていないラベル付けされていない画像内のオブジェクトを識別し得る。モデルからの識別は、人間のユーザからの識別と比較される場合がある。
【0113】
オブジェクトマッチングのための機械学習モデル
本明細書に記載されるように、オブジェクトを位置特定し、ターゲットにするための方法は、予測センサなどの第一センサによって収集された画像内で識別されたオブジェクトを、ターゲティングセンサなどの第二センサによって収集された画像内で識別されたオブジェクトとマッチングさせることを含むことができる。第一センサ及び第二センサは、第一センサによって収集された画像及び第二センサによって収集された画像内で同じオブジェクトを識別することを困難にする異なる特性を有する場合がある。例えば、第一センサ及び第二センサは、異なるセンサタイプ、解像度、倍率、視野、もしくはカラーバランス及び感度を有してもよく、またはセンサはオブジェクトに対して別々に位置決めされてもよい。
本明細書に記載されるように、オブジェクトを位置特定し、ターゲットにするための方法は、予測センサなどの第一センサによって収集された画像内で識別されたオブジェクトを、ターゲティングセンサなどの第二センサによって収集された画像内で識別されたオブジェクトとマッチングさせることを含むことができる。第一センサ及び第二センサは、第一センサによって収集された画像及び第二センサによって収集された画像内で同じオブジェクトを識別することを困難にする異なる特性を有する場合がある。例えば、第一センサ及び第二センサは、異なるセンサタイプ、解像度、倍率、視野、もしくはカラーバランス及び感度を有してもよく、またはセンサはオブジェクトに対して別々に位置決めされてもよい。
【0114】
第一センサと第二センサとの間の差異により、第一センサによって収集された画像及び第二センサによって収集された画像では、同じオブジェクトが異なって見える場合がある。第一センサによって収集された画像及び第二センサによって収集された画像内で同じオブジェクトが異なって見える原因となり得るその他の要因には、平坦ではない表面のばらつき、センサの運動、または画像が第一センサによって収集された時刻と画像が第二センサによって収集された時刻との間のオブジェクトの変化が含まれる可能性がある。オブジェクトマッチング機械学習モデルは、第一センサによって収集された画像と第二センサによって収集された画像との間のオブジェクトの外観の差異を考慮して、予測センサなどの第一センサによって収集された画像で識別されたオブジェクトを、第二センサによって収集された画像で識別されたオブジェクトとマッチングさせるために使用され得る。いくつかの実施形態では、機械学習モデルは、深層学習ニューラルネットワークなどの深層学習モデルであってもよい。
【0115】
マッチング機械学習モデルは、予測センサによって収集されたオブジェクトの画像と、ターゲティングセンサによって収集された同じオブジェクトの画像、異なるオブジェクトの画像、またはオブジェクトのない画像とを使用して訓練されることができる。いくつかの実施形態では、予測センサ及びターゲティングセンサから同じオブジェクトを含む画像を互いの約１秒、約１０秒、約３０秒、約１分、約５分、約１５分、約３０分、約４５分、約１時間、約２時間、約６時間、約１２時間、約２４時間、または約４８時間以内に収集して、予測画像が収集される時刻と、ターゲット画像が収集される時刻との間のオブジェクトにおける変化を最小にした。いくつかの実施形態では、人間のユーザには予測センサによって収集されたオブジェクトの画像が提供され、人間のユーザはターゲティングセンサによって収集された画像内の同じオブジェクトを手動で識別することができ、それに応じてターゲット画像をラベル付けすることができる。
【0116】
マッチング機械学習モデルは、ラベル付けされたターゲット画像をオブジェクトの予測画像と組み合わせて使用して訓練されることができる。マッチング機械学習モデルは、様々な角度及び距離から収集された、様々な解像度、視野、及び色感度を有するセンサによって撮像された同じオブジェクトを識別するように訓練されることができる。モデルを妥当性確認するために、オブジェクトマッチングモジュールには、訓練に使用されなかった予測センサによって収集されたオブジェクトの画像が提供され、オブジェクトマッチングモジュールは、ターゲティングセンサによって収集されたラベル付けされていない画像内の同じオブジェクトを識別することができる。モデルからの識別は、人間のユーザからの識別と比較される場合がある。
【0117】
オブジェクトマッチングモデルの正確さは、直接ヒットのパーセント、オブジェクトの所定の距離内でのヒットのパーセント、及びオブジェクトからの所定の距離外またはオブジェクトが存在しない場合のミスのパーセントを測定することによって評価されることができる。感度及び特異度は、オブジェクトが存在しないときにオブジェクトが識別される度数（偽陽性率）と、オブジェクトが存在するときにオブジェクトが識別されない度数（偽陰性率）を決定することによって評価される。
【0118】
ポイントツーポイントターゲティング及びセンサハンドオフの調整
本明細書で説明されるオブジェクト識別及びオブジェクトマッチング方法は、センサハンドオフを調整し、オブジェクトのポイントツーポイントターゲティングを実行するために、２つ以上のイメージセンサを備えるシステムによって実装され得る。オブジェクトマッチングモジュールを使用して、予測センサなどの第一センサによって収集された画像内でオブジェクトを識別して位置特定することができ、同じオブジェクトをターゲティングセンサなどの第二センサによって収集された画像内でより精密に位置特定することができる。いくつかの実施形態では、オブジェクトは、第一センサによって収集された画像内で、手動で識別される。いくつかの実施形態では、オブジェクトは、オブジェクトを識別するためのソフトウェアを実装するオブジェクト識別モジュールを使用して、第一センサによって収集された画像内で識別される。いくつかの実施形態では、オブジェクト識別モジュールは、識別機械学習モデルを実装することができる。いくつかの実施形態では、オブジェクト識別モジュールは、ヒューリスティックモデル、閾値処理、または古典的な検出アルゴリズムを実装することができる。いくつかの実施形態では、オブジェクト識別モジュールは、分光データを使用してオブジェクトを識別する。いくつかの実施形態では、オブジェクトは、画像内でピクセル位置などのその位置に基づいて第一センサによって収集された画像内で識別される。
本明細書で説明されるオブジェクト識別及びオブジェクトマッチング方法は、センサハンドオフを調整し、オブジェクトのポイントツーポイントターゲティングを実行するために、２つ以上のイメージセンサを備えるシステムによって実装され得る。オブジェクトマッチングモジュールを使用して、予測センサなどの第一センサによって収集された画像内でオブジェクトを識別して位置特定することができ、同じオブジェクトをターゲティングセンサなどの第二センサによって収集された画像内でより精密に位置特定することができる。いくつかの実施形態では、オブジェクトは、第一センサによって収集された画像内で、手動で識別される。いくつかの実施形態では、オブジェクトは、オブジェクトを識別するためのソフトウェアを実装するオブジェクト識別モジュールを使用して、第一センサによって収集された画像内で識別される。いくつかの実施形態では、オブジェクト識別モジュールは、識別機械学習モデルを実装することができる。いくつかの実施形態では、オブジェクト識別モジュールは、ヒューリスティックモデル、閾値処理、または古典的な検出アルゴリズムを実装することができる。いくつかの実施形態では、オブジェクト識別モジュールは、分光データを使用してオブジェクトを識別する。いくつかの実施形態では、オブジェクトは、画像内でピクセル位置などのその位置に基づいて第一センサによって収集された画像内で識別される。
【0119】
第二センサは、第一センサとは異なる位置、向き、距離、または解像度を有する場合がある。オブジェクトマッチングモジュールを使用して、第二センサによって収集された画像内のオブジェクトを、第一センサによって収集された画像内で識別されたオブジェクトとマッチングさせることにより、第一センサと第二センサとの間のハンドオフが容易になり得、第一センサ及び第二センサによる同じオブジェクトの位置特定が可能になる。第一イメージセンサは、第二センサよりも広い視野を有し得ることにより、第一センサによって収集された画像よりも第二センサによって収集された画像内でオブジェクトをより精密に位置特定することが可能になり得る。システムは、３、４、５、６、７、８、９、１０、またはそれ以上のセンサを有し得ることにより、第一センサによって収集された１つまたは複数の画像内で２、３、４、５、６、７、８、９、１０、またはそれ以上のオブジェクトを位置特定することが可能になり得る。例えば、システムには２、３、４、５、６、７、８、９、１０、またはそれ以上のターゲティングセンサが含まれてもよい。２、３、４、５、６、７、８、９、１０またはそれ以上のオブジェクトのそれぞれは、第二、第三、第四、第五、第六、第七、第八、第九、第十、またはそれ以上のセンサによって収集された画像内でマッチングされて位置特定され得、３、４、５、６、７、８、９、１０、またはそれ以上のセンサによって複数のオブジェクトの同時ターゲティングが可能になる。
【0120】
予測センサなどの第一センサは、表面のエリアまたは領域を撮像することができる。第一センサは、ターゲティングセンサなどの第二センサよりも高い解像度、広い視野、またはそれとは異なる位置、距離、もしくは向きを有する場合がある。いくつかの実施形態では、第一センサは、走行、飛行、または周回ビークルなどのビークル上に位置決めされ得る。例えば、第一センサは、自動車、遠隔制御車、自動運転車、自律走行車、自律除草機、トラクタ、コンバイン、収穫機、プランタ、噴霧器、農業車両、建設車両、ブルドーザ、バックホー、クレーン、飛行機、ヘリコプタ、遠隔操作飛行機、ドローン、または衛星上に位置決めされてもよい。いくつかの実施形態では、第二センサは、第一センサと同じビークル、例えば、同じ自動車、遠隔制御車、自動運転車、自律走行車、飛行機、ヘリコプタ、遠隔制御飛行機、ドローン、または衛星上に位置決めされてもよい。
【0121】
いくつかの実施形態では、第二センサは、自動車、遠隔制御車、自動運転車、自律走行車、飛行機、ヘリコプタ、遠隔制御飛行機、ドローン、または衛星などの第二ビークル上に位置決めされ得る。第二センサを備えた第二ビークルは、第一センサを備えた第一ビークルに対して既知の位置または所定の位置にあってもよい。例えば、第一ビークル及び第二ビークルは、互いに対して固定位置にあってもよい。別の例では、第一ビークルと第二ビークルとの間の相対位置は、全地球測位システム（ＧＰＳ）、レーダ、ＬＩＤＡＲ、ソナー、または長距離電波航法（ＬＯＲＡＮ）によって決定され得る。第二センサは、同じタイプのビークルまたは異なるタイプのビークル上に位置決めされてもよい。例えば、第一センサは衛星などの軌道上のビークル上に位置決めされることができ、第二センサは飛行機、ヘリコプタ、遠隔操作飛行機、またはドローンなどの飛行センサ上に位置決めされることができる。別の例では、第一センサは、飛行機、ヘリコプタ、遠隔制御飛行機、またはドローンなどの飛行センサ上に位置決めされることができ、第二センサは、自動車、トラクタ、遠隔制御車、自動運転車、または自律走行車などの走行車両上に位置決めされることができる。
【0122】
オブジェクト識別モジュールは、第一センサによって収集された画像内に位置する対象オブジェクトを識別するために使用され得る。いくつかの実施形態では、オブジェクト識別モジュールは、対象オブジェクトを他のオブジェクトから区別することができる。第一センサと通信する予測システムは、識別された対象オブジェクトから、ターゲットにする対象オブジェクトを選択することができる。予測システムは、オブジェクトの予測位置を決定することができる。いくつかの実施形態では、予測位置は、画像内のピクセル位置を、表面位置、ビークル位置、第一センサの位置、方向もしくは向き、第二センサの位置、方向もしくは向き、またはそれらの組み合わせに調整する、経験的に決定された較正係数を使用して決定される。オブジェクトの予測位置は、第二センサと通信するターゲティングシステムに送信されてもよい。
【0123】
ターゲティングシステムは、第二センサをオブジェクトの予測位置に向けるように、第二センサの位置、向きもしくは方向、または第二センサを運搬するビークルの位置、向きもしくは方向を調整することができる。例えば、ターゲティングシステムは、第二センサを制御する、もしくは第二センサの方に光を反射する１つ以上のミラーを制御する１つ以上のアクチュエータの位置を調整してもよく、またはターゲティングセンサは、第二センサの位置、向きもしくは方向を調整するためにビークルを移動させてもよい。いくつかの実施形態では、第二センサの運動は、第二センサの運動及び器具の運動が相関するように、器具、例えばレーザの運動にリンクされ得る。いくつかの実施形態では、器具は第二センサから独立して制御され得る。いくつかの実施形態では、第二センサの位置、向きまたは方向に対する器具の位置、向きまたは方向は既知である。
【0124】
第二センサは、対象オブジェクトの予測位置で表面のエリアまたは領域を撮像することができる。いくつかの実施形態では、図１０Ｂに示されるように、第二センサによって撮像された領域は、第一センサによって撮像された領域よりも小さくてもよい。図１０Ｂの挿入図は、対象オブジェクトを含み、予測センサによって撮像され、対象オブジェクトの周囲に植え付けられた、表面領域の画像を示す。図１０Ｂの拡大画像は、ターゲティングセンサによって撮像された表面領域の画像を示し、この画像は、オブジェクトマッチング機械学習モデルによって決定された、同じ対象オブジェクトを含む。
【0125】
ターゲティングシステムは、オブジェクトマッチング機械学習モデルなどのオブジェクトマッチングモジュールを使用して、選択されたオブジェクトが第二センサによって収集された画像内に存在するかどうかを決定することができる。オブジェクトが画像内に存在する場合、オブジェクトマッチングモジュールは、オブジェクトのターゲット位置を決定することができる。オブジェクトのターゲット位置は、第一センサによって収集された画像から決定されるオブジェクトの予測位置よりもオブジェクトの実際の位置に近い場合がある。いくつかの実施形態では、ターゲット位置は、第二センサによって収集された画像内のオブジェクトのピクセル位置を、表面位置、ビークル位置、第二センサの位置、方向もしくは向き、またはそれらの組み合わせに相関させる較正係数に基づいて決定される。
【0126】
ターゲティングシステムは、オブジェクトの予測位置とオブジェクトのターゲット位置との間のオフセットを決定することができる。いくつかの実施形態では、オフセットは、オブジェクトの予測表面位置とターゲット表面位置との間のオフセットであってもよい。いくつかの実施形態では、オフセットは、オブジェクトの予測位置における第二センサの位置、方向、または向きと、オブジェクトのターゲット位置における第二センサの位置、方向、または向きとの間のオフセットであり得る。いくつかの実施形態では、オフセットは、オブジェクトの予測位置における第二センサの位置、方向、または向きと、オブジェクトのターゲット位置における器具の位置、方向、または向きとの間のオフセットであり得る。いくつかの実施形態では、オフセットは、オブジェクトの予測位置における器具の位置、方向、または向きと、オブジェクトのターゲット位置における器具の位置、方向、または向きとの間のオフセットであり得る。いくつかの実施形態では、オフセットは、器具の位置、方向、または向きと、オブジェクトのターゲット位置に向けられた器具の位置、方向、または向きとの間のオフセットであり得る。いくつかの実施形態では、オフセットは、オブジェクトの予測位置における第二センサの位置、方向、または向きと、オブジェクトのターゲット位置におけるビークルの位置との間のオフセットであり得る。いくつかの実施形態では、オフセットは、オブジェクトの予測位置におけるビークルの位置と、オブジェクトのターゲット位置におけるビークルの位置との間のオフセットであり得る。
【0127】
第二センサ、器具、ビークル、またはそれらの組み合わせの位置、方向、または向きは、オブジェクトのターゲット位置に向かうオフセットに基づいて調整され得る。この器具は、オブジェクトのターゲット位置でオブジェクトを操作するために使用され得る。例えば、器具は、オブジェクトに向けてレーザ光を放射するレーザであってもよい。別の例では、器具は、オブジェクトを把持する把持ツールであってもよい。別の例では、器具は、オブジェクトに流体を噴霧する噴霧ツールであってもよい。別の例では、器具は、オブジェクトに受粉する受粉ツールであってもよい。
【0128】
例えばオブジェクトマッチングモジュールを使用して第一センサによって収集された画像内で対象オブジェクトを位置特定し、第二センサによって収集された画像内で同じオブジェクトを識別することによって、センサハンドオフを調整するためにポイントツーポイントターゲティングを使用すると、ポイントツーポイントターゲティングを使用しない方法よりも、オブジェクトターゲティングの正確さが向上する可能性がある。いくつかの実施形態では、ポイントツーポイントターゲティングを使用してセンサハンドオフを調整することにより、凹凸のあるまたは不規則な表面上またはそれらの近くに位置決めされるオブジェクトのターゲティングの正確さが向上することができる。いくつかの実施形態では、ポイントツーポイントターゲティングにより、異なるタイプまたは異なる仕様のセンサ間でのセンサハンドオフを調整することが可能になり得る。
【0129】
例えば、ポイントツーポイントターゲティングにより、ＬＩＤＡＲ検出器とカメラとの間、高解像度カメラと低解像度カメラとの間、またはカラーカメラとモノクロカメラとの間のセンサハンドオフが可能になる場合がある。いくつかの実施形態では、ポイントツーポイントターゲティングを使用して、より高解像度、より良好な色再現、またはより広い視野などのより高品質のセンサを用いて対象オブジェクトを位置特定し、そのオブジェクトをより低品質のセンサを用いてターゲットにすることができることにより、より低品質のセンサのみでオブジェクトをターゲットにするよりもターゲティングが改善されることができる。いくつかの実施形態では、ポイントツーポイントターゲティングは、オブジェクトの未知の時間ベースの移動を考慮することができることにより、移動中のオブジェクトのターゲティングまたは移動中のビークルからのオブジェクトのターゲティングが改善されることができる。
【0130】
本開示のポイントツーポイントターゲティング方法を実装する検出システムは、ポイントツーポイントターゲティングを使用しないシステムよりも改善された正確さでオブジェクトをターゲットにするために使用され得る。いくつかの実施形態では、ポイントツーポイントターゲティングを使用する検出システムの実装は、対象オブジェクトの実際の位置から約１ｍｍ、約１．５ｍｍ、約２ｍｍ、約２．５ｍｍ、約３ｍｍ、約４ｍｍ、約５ｍｍ、約６ｍｍ、約７ｍｍ、約８ｍｍ、約９ｍｍ、約１０ｍｍ、約１５ｍｍ、約２０ｍｍ、約２５ｍｍ、約３０ｍｍ、約４０ｍｍ、約５０ｍｍ、約６０ｍｍ、約７０ｍｍ、約８０ｍｍ、約９０ｍｍ、約１００ｍｍ、約１５０ｍｍ、約２００ｍｍ、約３００ｍｍ、約４００ｍｍ、約５００ｍｍ、約１ｍ、約１．５ｍ、約２ｍ、約２．５ｍ、約３ｍ、約４ｍ、約５ｍ、約６ｍ、約７ｍ、約８ｍ、約９ｍ、約１０ｍ、約１５ｍ、約２０ｍ、約２５ｍ、約３０ｍ、約４０ｍ、約５０ｍ、約６０ｍ、約７０ｍ、約８０ｍ、約９０ｍ、または約１００ｍ以内の対象オブジェクトをターゲットにしてもよい。
【0131】
いくつかの実施形態では、ポイントツーポイントターゲティングを使用して決定された対象オブジェクトのターゲット位置は、対象オブジェクトの実際の位置から約１ｍｍ、約１．５ｍｍ、約２ｍｍ、約２．５ｍｍ、約３ｍｍ、約４ｍｍ、約５ｍｍ、約６ｍｍ、約７ｍｍ、約８ｍｍ、約９ｍｍ、約１０ｍｍ、約１５ｍｍ、約２０ｍｍ、約２５ｍｍ、約３０ｍｍ、約４０ｍｍ、約５０ｍｍ、約６０ｍｍ、約７０ｍｍ、約８０ｍｍ、約９０ｍｍ、約１００ｍｍ、約１５０ｍｍ、約２００ｍｍ、約３００ｍｍ、約４００ｍｍ、約５００ｍｍ、約１ｍ、約１．５ｍ、約２ｍ、約２．５ｍ、約３ｍ、約４ｍ、約５ｍ、約６ｍ、約７ｍ、約８ｍ、約９ｍ、約１０ｍ、約１５ｍ、約２０ｍ、約２５ｍ、約３０ｍ、約４０ｍ、約５０ｍ、約６０ｍ、約７０ｍ、約８０ｍ、約９０ｍ、または約１００ｍ以内であってもよい。
【0132】
いくつかの実施形態では、ポイントツーポイントターゲティングを使用して決定された、対象オブジェクトの予測位置及びターゲット位置は、対象オブジェクトの実際の位置から約１ｍｍ、約１．５ｍｍ、約２ｍｍ、約２．５ｍｍ、約３ｍｍ、約４ｍｍ、約５ｍｍ、約６ｍｍ、約７ｍｍ、約８ｍｍ、約９ｍｍ、約１０ｍｍ、約１５ｍｍ、約２０ｍｍ、約２５ｍｍ、約３０ｍｍ、約４０ｍｍ、約５０ｍｍ、約６０ｍｍ、約７０ｍｍ、約８０ｍｍ、約９０ｍｍ、約１００ｍｍ、約１５０ｍｍ、約２００ｍｍ、約３００ｍｍ、約４００ｍｍ、約５００ｍｍ、約１ｍ、約１．５ｍ、約２ｍ、約２．５ｍ、約３ｍ、約４ｍ、約５ｍ、約６ｍ、約７ｍ、約８ｍ、約９ｍ、約１０ｍ、約１５ｍ、約２０ｍ、約２５ｍ、約３０ｍ、約４０ｍ、約５０ｍ、約６０ｍ、約７０ｍ、約８０ｍ、約９０ｍ、または約１００ｍ以内であってもよい。
【0133】
光学系の較正方法
本明細書に開示されるシステム及び方法は、予測センサ、ターゲティングセンサ、器具、またはそれらの組み合わせの位置、方向、向き、または運動を較正するための１つまたは複数の較正ステップをさらに含み得る。いくつかの実施形態では、予測センサまたはターゲティングセンサによって収集された画像または表現内のピクセル位置などの位置を、表面上の位置に相関させるために較正を使用することができる。いくつかの実施形態では、較正は、予測センサなどの第一センサによって収集された画像または表現内の位置を、ターゲティングセンサなどの第二センサによって収集された画像または表現内の位置に相関させるために使用され得る。いくつかの実施形態では、予測センサによって収集された画像内の位置を、ターゲティングセンサの位置、方向、向き、または運動に相関させるために、較正を使用することができる。いくつかの実施形態では、ターゲティングセンサによって収集された画像内の位置を、ターゲティングセンサ、器具、またはその両方の位置、方向、向き、または運動に相関させるために、較正を使用することができる。いくつかの実施形態では、器具の位置、方向、向き、または運動を、表面上の位置に相関させるために較正を使用することができる。較正方法は、経験的測定を使用して、位置、向き、位置特定、または運動を相関させる場合がある。代替的または追加的に、較正方法は数理モデルを使用して、位置、向き、位置特定、または運動を相関させてもよい。
本明細書に開示されるシステム及び方法は、予測センサ、ターゲティングセンサ、器具、またはそれらの組み合わせの位置、方向、向き、または運動を較正するための１つまたは複数の較正ステップをさらに含み得る。いくつかの実施形態では、予測センサまたはターゲティングセンサによって収集された画像または表現内のピクセル位置などの位置を、表面上の位置に相関させるために較正を使用することができる。いくつかの実施形態では、較正は、予測センサなどの第一センサによって収集された画像または表現内の位置を、ターゲティングセンサなどの第二センサによって収集された画像または表現内の位置に相関させるために使用され得る。いくつかの実施形態では、予測センサによって収集された画像内の位置を、ターゲティングセンサの位置、方向、向き、または運動に相関させるために、較正を使用することができる。いくつかの実施形態では、ターゲティングセンサによって収集された画像内の位置を、ターゲティングセンサ、器具、またはその両方の位置、方向、向き、または運動に相関させるために、較正を使用することができる。いくつかの実施形態では、器具の位置、方向、向き、または運動を、表面上の位置に相関させるために較正を使用することができる。較正方法は、経験的測定を使用して、位置、向き、位置特定、または運動を相関させる場合がある。代替的または追加的に、較正方法は数理モデルを使用して、位置、向き、位置特定、または運動を相関させてもよい。
【0134】
予測センサ及びターゲティングセンサの較正
本開示のシステムは、ターゲティングセンサの位置または方向を、予測センサによって収集された予測画像の領域に相関させるように較正されることができる。ターゲティングセンサの方向と予測カメラの領域との間の相関は、図１２に示される較正グリッドなど、区別可能な特徴または別個のフィデューシャルマーカを有する較正表面を使用して実行され得る。いくつかの実施形態では、較正表面は、その上にマーク付けされている表面であってもよい。いくつかの実施形態では、較正表面は、その上に区別可能なオブジェクトを有する表面であってもよい。いくつかの実施形態では、較正は、色、テクスチャ、または密度の変動などの変動を伴う表面であってもよい。
本開示のシステムは、ターゲティングセンサの位置または方向を、予測センサによって収集された予測画像の領域に相関させるように較正されることができる。ターゲティングセンサの方向と予測カメラの領域との間の相関は、図１２に示される較正グリッドなど、区別可能な特徴または別個のフィデューシャルマーカを有する較正表面を使用して実行され得る。いくつかの実施形態では、較正表面は、その上にマーク付けされている表面であってもよい。いくつかの実施形態では、較正表面は、その上に区別可能なオブジェクトを有する表面であってもよい。いくつかの実施形態では、較正は、色、テクスチャ、または密度の変動などの変動を伴う表面であってもよい。
【0135】
予測センサ及びターゲティングセンサを含むシステムは、較正表面が予測センサの視野及びターゲティングセンサの視野と重なるように、較正表面に対して固定位置に位置決めされる。例えば、システムは表面上に配置されてもよい。予測センサは、較正表面の画像を収集することができる。ターゲティングセンサは、様々なターゲティングセンサの位置または方向から較正表面の一連の画像を収集する場合がある。ターゲティングセンサの異なる位置または方向のそれぞれは、ターゲティングセンサの位置または方向を制御するアクチュエータの位置の別個のセットに対応し得る。いくつかの実施形態では、一連の画像はランダムなアクチュエータ位置で収集され得る。
【0136】
較正表面の領域を含む一連の画像ごとに、較正表面の区別可能な特徴を識別し、区別可能な特徴を含む予測画像の領域にマッピングすることができる。ターゲット画像の対応するアクチュエータ位置は、予測画像内の位置がアクチュエータ位置及びターゲティングカメラ位置に相関するように、予測画像の領域に相関することができる。いくつかの実施形態では、較正モデルを使用して、経験的に測定されたセンサ位置または方向の間内の位置に対して、対応する予測画像位置及びアクチュエータ位置を外挿することができる。いくつかの実施形態では、較正モデルは、スプラインモデル、幾何モデル、または三角関数モデルなどの数理モデルである。いくつかの実施形態では、平坦ではない表面の場合、較正モデルの正確さが低下する可能性がある。
【0137】
図１～図３に示される光学制御系は、本明細書に記載の方法を使用して較正されることができる。いくつかの実施形態では、図８の予測モジュール８１２のカメラ制御変換システムを較正する。いくつかの実施形態では、図１２に示される較正グリッドなどの較正表面は、予測カメラの視野内に位置決めされる。較正表面は既知の位置に既知のマークを含む。予測カメラは、較正表面に対して異なる位置で較正表面の複数の画像を収集することができる。次に、予測モジュールは、既知のマークのピクセル位置を表面上の既知の位置に相関させることができる。補間関数は、複数の相関ピクセル位置及び既知の表面位置から構築され得る。いくつかの実施形態では、補間関数はハードドライブに保存され、予測モジュールによってハードドライブからロードされ得る。
【0138】
いくつかの実施形態では、図８のターゲティングモジュール８２２のカメラ制御変換システムを較正する。いくつかの実施形態では、図１０Ａのターゲティング制御モジュール１０５５を較正する。いくつかの実施形態では、較正表面は、ターゲティングカメラの視野内に位置決めされる。較正表面は既知の位置に既知のマークを含む。ターゲティングモジュールは、複数の画像が異なる視野を有するように、較正表面及び複数のアクチュエータ位置の複数の画像を収集することができる。例えば、ターゲティングモジュールは、第一アクチュエータ及び第二アクチュエータのランダムに選択された複数のパンチルト値で複数の画像を収集することができる。較正マップは、複数のサンプル点から構築されることができる。各サンプル点は、既知のアクチュエータ位置で収集された画像内の既知のマークのピクセル位置を識別し、既知の位置をアクチュエータ位置及びピクセル位置と相関させることによって収集され得る。いくつかの実施形態では、マップは較正モデルに適合される。例えば、マップをスプライン平滑化アルゴリズムなどの数理モデルに適合させて滑らかな曲線を構築し得ることにより、サンプル点間の位置の正確な推定が可能になる。いくつかの実施形態では、較正モデルは、ハードドライブに保存され、ターゲティングモジュールによってハードドライブからロードされ得る。
【0139】
器具の較正
本開示のシステムは、器具の位置または方向を、ターゲティングセンサによって収集されたターゲット画像内のピクセル位置に相関させるように較正され得る。いくつかの実施形態では、器具の位置または方向は、ターゲティングセンサに対して固定される。例えば、レーザ器具及びターゲティングカメラは、図１～図３に示されるように、レーザの方向がセンサの方向に結合されるように、同じミラーによって制御され得る。別の例では、器具がターゲティングセンサとともに動くように、器具はターゲティングセンサに強固に結合されてもよい。いくつかの実施形態では、ターゲティングセンサに対する器具の位置または方向は、較正に基づいて調整され得る。いくつかの実施形態では、器具はターゲティングセンサに対して動かすことができる。
本開示のシステムは、器具の位置または方向を、ターゲティングセンサによって収集されたターゲット画像内のピクセル位置に相関させるように較正され得る。いくつかの実施形態では、器具の位置または方向は、ターゲティングセンサに対して固定される。例えば、レーザ器具及びターゲティングカメラは、図１～図３に示されるように、レーザの方向がセンサの方向に結合されるように、同じミラーによって制御され得る。別の例では、器具がターゲティングセンサとともに動くように、器具はターゲティングセンサに強固に結合されてもよい。いくつかの実施形態では、ターゲティングセンサに対する器具の位置または方向は、較正に基づいて調整され得る。いくつかの実施形態では、器具はターゲティングセンサに対して動かすことができる。
【0140】
器具及びターゲティングセンサの較正は、表面上の位置で器具を用いてアクションを行うことによって実行され得る。いくつかの実施形態では、アクションにより、その位置の表面にマークが残る場合がある。例えば、レーザ器具は表面上のスポットを焼却してもよく、噴霧器具は表面上に濡れたスポットを残してもよい。いくつかの実施形態では、アクションにより、その位置の表面が変化する場合がある。例えば、把持器具により、その位置の表面内に穴が開く場合がある。いくつかの実施形態では、器具の位置は、ターゲティングセンサによって決定され得る。ターゲティングセンサは、器具によるアクションの位置で表面の画像を収集することができる。ターゲット画像内の、アクションの位置または器具の位置が決定され得る。ターゲット画像内のピクセル位置を、器具の位置または器具のアクションの位置と相関させてもよい。いくつかの実施形態では、ターゲティングセンサに対する器具の位置は、好ましい位置に調整され得る。例えば、ターゲティングセンサに対する器具の位置は、器具のアクションの位置がターゲット画像の中心またはその近くであるように調整され得る。
【0141】
いくつかの実施形態では、本開示の光学系、例えば、図１～図３に示される光学系は、ターゲティングセンサによって収集された表面の画像内のピクセル位置を、レーザビームが表面に当たる位置、またはツールがオブジェクトもしくは表面とインタラクトする位置など、表面上の器具の位置と相関させるように較正されることができる。ターゲティングセンサの方向及び器具の方向は物理的にリンクされてもよい。例えば、ターゲティングセンサの方向及びレーザの方向は、図１～図３に示されるように、ターゲティングカメラの相対位置及び表面上のレーザビームの位置が固定されるように、レーザの方向及びターゲティングセンサの方向の両方を制御する光学素子を介して物理的にリンクされ得る。ターゲティングセンサは表面の画像を収集することができ、センサと同じ位置にある間、器具は表面でアクションを実行することができる。センサ画像内でアクション点が識別され、アクション点のピクセル位置が決定される。画像を収集し、表面でアクションを実行し、アクション点のピクセル位置を識別するというこのプロセスを繰り返して、ターゲティングセンサと表面上のアクション点との間の関係を記述する較正モデルを決定することができる。いくつかの実施形態では、較正モデルは数理モデルである。いくつかの実施形態では、較正モデルは、経験的に測定された位置の間内のセンサ及び器具の位置を外挿するために、スプラインモデル、幾何モデル、または三角関数モデルを使用して計算される。
【0142】
ターゲティングシステムの微細運動較正
本開示のセンサまたは器具の微細運動は、表面上の位置または距離に対して較正され得る。センサの微細運動較正は、センサを用いて較正表面の第一画像を収集し、センサの位置を調整し、較正表面の第二画像を収集することによって実行されることができる。いくつかの実施形態では、調整はアクチュエータを使用して実行される。第一画像及び第二画像における区別可能な特徴の位置が決定され得、２つの位置の間の運動の距離及び方向が決定され得る。運動の距離及び方向を、アクチュエータの運動の大きさ及び方向と相関させることができる。このプロセスは、多くの異なるアクチュエータの運動または位置に対して繰り返され、較正モデルを決定し得る。いくつかの実施形態では、スプラインモデル、幾何モデル、または三角関数モデルなどの数理モデルを使用して、経験的に決定された点間内の位置に対する、ミラーのパン及びチルト値など、対応するセンサ及びアクチュエータの運動を外挿することができる。例えば、対応するセンサ及びアクチュエータの運動は、スプラインモデルを使用して外挿されることができる。いくつかの実施形態では、平坦ではない表面の場合、較正モデルの正確さが低下する可能性がある。
本開示のセンサまたは器具の微細運動は、表面上の位置または距離に対して較正され得る。センサの微細運動較正は、センサを用いて較正表面の第一画像を収集し、センサの位置を調整し、較正表面の第二画像を収集することによって実行されることができる。いくつかの実施形態では、調整はアクチュエータを使用して実行される。第一画像及び第二画像における区別可能な特徴の位置が決定され得、２つの位置の間の運動の距離及び方向が決定され得る。運動の距離及び方向を、アクチュエータの運動の大きさ及び方向と相関させることができる。このプロセスは、多くの異なるアクチュエータの運動または位置に対して繰り返され、較正モデルを決定し得る。いくつかの実施形態では、スプラインモデル、幾何モデル、または三角関数モデルなどの数理モデルを使用して、経験的に決定された点間内の位置に対する、ミラーのパン及びチルト値など、対応するセンサ及びアクチュエータの運動を外挿することができる。例えば、対応するセンサ及びアクチュエータの運動は、スプラインモデルを使用して外挿されることができる。いくつかの実施形態では、平坦ではない表面の場合、較正モデルの正確さが低下する可能性がある。
【0143】
器具の微細運動較正は、器具を表面上の位置に向けて、ターゲティングセンサなどのセンサを用いて較正表面の第一画像を収集することによって実行されることができる。第一画像内の器具の位置は、器具自体の位置、または器具によって実行されるアクションの位置によって決定され得る。いくつかの実施形態では、器具によって実行されるアクションは、表面にマークを残してもよく、または表面を変化させてもよい。器具の位置を調整することができ、表面の第二画像をセンサによって収集することができる。いくつかの実施形態では、調整はアクチュエータを使用して実行される。第一画像及び第二画像における器具の位置、または器具によって実行されるアクションの位置が決定され得、２つの位置の間の運動の距離及び方向が決定され得る。運動の距離及び方向を、アクチュエータの運動の大きさ及び方向と相関させることができる。
【0144】
このプロセスは、多くの異なるアクチュエータの運動または位置に対して繰り返され、較正モデルを決定し得る。較正モデルは、経験的に決定された点間内の位置に対する、ミラーのパン及びチルト値など、対応する器具及びアクチュエータの運動を外挿するために使用されることができる。いくつかの実施形態では、較正モデルは、スプラインモデル、幾何モデル、または三角関数モデルなどの数理モデルである。いくつかの実施形態では、平坦ではない表面の場合、較正の正確さが低下する可能性がある。
【0145】
コンピュータシステム及び方法
オブジェクトの識別及びターゲティング方法は、コンピュータシステムを使用して実装されることができる。いくつかの実施形態では、本明細書に記載の検出システムはコンピュータシステムを含む。いくつかの実施形態では、コンピュータシステムは、人間の入力なしで自律的にオブジェクト識別及びターゲティング方法を実装することができる。いくつかの実施形態では、コンピュータシステムは、検出端末を介して人間のユーザによって提供される命令に基づいて、オブジェクト識別及びターゲティング方法を実装することができる。
オブジェクトの識別及びターゲティング方法は、コンピュータシステムを使用して実装されることができる。いくつかの実施形態では、本明細書に記載の検出システムはコンピュータシステムを含む。いくつかの実施形態では、コンピュータシステムは、人間の入力なしで自律的にオブジェクト識別及びターゲティング方法を実装することができる。いくつかの実施形態では、コンピュータシステムは、検出端末を介して人間のユーザによって提供される命令に基づいて、オブジェクト識別及びターゲティング方法を実装することができる。
【0146】
図１３は、本開示の様々な態様による、検出端末１４００の非限定的で例示的な実施形態のブロック図にコンポーネントを示す。いくつかの実施形態では、検出端末１４００は、検出システムへのアクセスを提供するためにユーザインタフェースを表示するデバイスである。示されるように、検出端末１４００は検出インタフェース１４２０を含む。検出インタフェース１４２０により、検出端末１４００は、図８の検出システムまたは図１０Ａの検出システムなどの検出システムと通信することが可能になる。いくつかの実施形態では、検出インタフェース１４２０は、例えばリモコンによって、検出システムと通信するように構成されたアンテナを含み得る。いくつかの実施形態では、検出端末１４００はまた、イーサネット（登録商標）インタフェース、Ｗｉ－Ｆｉインタフェース、または検出システムに関連付けられた他のデバイスが検出端末１４００を介して検出システムに接続することを可能にする他のインタフェースなどのローカル通信インタフェースを含んでもよい。例えば、検出端末は、携帯電話などのハンドヘルドデバイスであってもよく、これがグラフィカルインタフェースを実行することにより、ユーザは、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ－Ｆｉ、またはモバイルネットワークを介して検出システムをリモートで操作するまたは監視することが可能になる。
【0147】
検出端末１４００は、検出エンジン１４１０をさらに含む。検出エンジンは、検出システム、例えば図８の検出システムまたは図１０Ａの検出システムのステータスに関する情報を受信することができる。検出エンジンは、識別されたオブジェクトの数、識別されたオブジェクトのアイデンティティ、識別されたオブジェクトの位置、ターゲットになったオブジェクトの数、ターゲットになったオブジェクトのアイデンティティ、ターゲットになったオブジェクトの位置、検出システムの位置、検出システムによって実行されたタスクの経過時間、検出システムによってカバーされるエリア、検出システムのバッテリ充電、またはそれらの組み合わせに関する情報を受信することができる。
【0148】
図示されたデバイスの実際の実施形態は、当業者には知られているさらに多くのコンポーネントをその中に含む。例えば、図示された各デバイスは、電源、１つ以上のプロセッサ、コンピュータ実行可能命令を格納するためのコンピュータ可読媒体などを有する。明確にするために、これら追加のコンポーネントは本明細書では図示されていない。
【0149】
図１４は、本開示の様々な態様による、オブジェクトを検出するためのプロシージャ１５００の非限定的で例示的な実施形態を示すフローチャートである。プロシージャ１５００は、本開示の検出システムと通信するための検出端末を設定するために、図１３に示される検出端末１４００での使用に適したプロシージャの一例である。いくつかの実施形態では、プロシージャ１５００は、検出システム、オブジェクト、検出端末１４００における変化を調整するために再帰的に実行される。
【0150】
ブロック１５２０では、対象オブジェクトを検出するためのパラメータが選択される。
【0151】
ブロック１５３０では、検出システムは、検出パラメータに従ってオブジェクトを検出するように指示される。
【0152】
例示的な実施形態を図示して説明してきたが、本開示の趣旨及び範囲から逸脱することなく、その中に様々な変更を加えることができることが理解されよう。
【0153】
いくつかの例では、本明細書で説明されるプロシージャ（例えば、図９のプロシージャ９００、図１１の１１００、もしくは図１４の１５００、または本明細書で説明される他のプロシージャ）は、図１５に示されるコンピューティングデバイスアーキテクチャ１６００を有するコンピューティングデバイスなど、コンピューティングデバイスまたは装置によって実行され得る。一例では、本明細書で説明されるプロシージャは、コンピューティングデバイスアーキテクチャ１６００を有するコンピューティングデバイスによって実行され得る。コンピューティングデバイスは、モバイルデバイス（例えば、携帯電話）、デスクトップコンピューティングデバイス、タブレットコンピューティングデバイス、ウェアラブルデバイス、サーバ（例えば、サービスとしてのソフトウェア（ＳａａＳ）システムまたは他のサーバベースのシステムにおける）、及び／またはプロシージャ９００、１１００、または１５００を含む、本明細書に記載されるプロセスを実行するためのリソース能力を有する任意の他のコンピューティングデバイスなど、任意の適切なデバイスを含むことができる。場合によっては、コンピューティングデバイスまたは装置は、１つまたは複数の入力デバイス、１つまたは複数の出力デバイス、１つまたは複数のプロセッサ、１つまたは複数のマイクロプロセッサ、１つまたは複数のマイクロコンピュータ、及び／または本明細書に記載されるプロセスのステップを実行するように構成される他のコンポーネントなど、様々なコンポーネントを含み得る。いくつかの例では、コンピューティングデバイスは、ディスプレイ（出力デバイスの一例として、または出力デバイスに加えて）、データを通信及び／または受信するように構成されたネットワークインタフェース、それらの任意の組み合わせ、及び／または他のコンポーネント（複数可）を含み得る。ネットワークインタフェースは、インターネットプロトコル（ＩＰ）ベースのデータまたは他のタイプのデータを通信及び／または受信するように構成され得る。
【0154】
コンピューティングデバイスのコンポーネントは回路に実装されることができる。例えば、コンポーネントは、本明細書に記載される様々な操作を実行するために、１つ以上のプログラム可能な電子回路（例えば、マイクロプロセッサ、グラフィックスプロセッシングユニット（ＧＰＵ）、デジタルシグナルプロセッサ（ＤＳＰ）、中央処理装置（ＣＰＵ）、及び／または他の適切な電子回路）を含むことができる電子回路または他の電子ハードウェアを含むことができ、及び／またはコンピュータソフトウェア、ファームウェア、またはそれらの任意の組み合わせを含むことができる、及び／またはそれらを使用して実装されることができる。
【0155】
プロシージャ９００、１１００、及び１５００は、論理フロー図として示されており、その操作は、ハードウェア、コンピュータ命令、またはそれらの組み合わせで実装されることができる操作シーケンスを表す。コンピュータ命令の観点から、操作は、１つ以上のプロセッサで実行したときに、列挙した操作を実行する１つ以上のコンピュータ可読記憶媒体に格納されたコンピュータ実行可能命令を表す。一般に、コンピュータ実行可能命令には、特定の機能を実行するまたは特定のデータ型を実装する、ルーチン、プログラム、オブジェクト、コンポーネント、データ構造などが含まれる。操作が記載される順序は、制限として解釈されることを意図するものではなく、任意の数の記載される操作を、任意の順序及び／または並行して組み合わせて、プロセスを実現することができる。
【0156】
さらに、本明細書に説明するプロセスは、実行可能命令で構成された１つ以上のコンピュータシステムの制御下で実行されてよく、ハードウェアまたはその組み合わせにより１つ以上のプロセッサで集合的に実行するコード（例えば、実行可能命令、１つ以上のコンピュータプログラム、または１つ以上のアプリケーション）として実装されてよい。上述のように、コードは、例えば、１つ以上のプロセッサによって実行可能な複数の命令を含むコンピュータプログラムの形式で、コンピュータ可読または機械可読記憶媒体上に格納され得る。コンピュータ可読または機械可読記憶媒体は、非一時的であり得る。
【0157】
図１５は、本明細書で説明される様々な技術を実装することができる例示的なコンピューティングデバイスの例示的なコンピューティングデバイスアーキテクチャ１６００を示す。例えば、コンピューティングデバイスアーキテクチャ１６００は、図１０Ａに示される検出システムを実装することができる。コンピューティングデバイスアーキテクチャ１６００のコンポーネントは、バスなどの接続部１６０５を使用して互いに電気通信するように示されている。例示的なコンピューティングデバイスアーキテクチャ１６００は、処理ユニット（ＣＰＵ及び／またはＧＰＵを含み得る）１６１０と、読み出し専用メモリ（ＲＯＭ）１６２０及びランダムアクセスメモリ（ＲＡＭ）１６２５などのコンピューティングデバイスメモリ１６１５を含む様々なコンピューティングデバイスコンポーネントをプロセッサ１６１０に結合するコンピューティングデバイス接続部１６０５とを含む。いくつかの実施形態では、コンピューティングデバイスはハードウェアアクセラレータを含み得る。
【0158】
コンピューティングデバイスアーキテクチャ１６００は、プロセッサ１６１０に直接接続されるか、それに近接して接続されるか、またはその一部として統合される高速メモリのキャッシュを含むことができる。コンピューティングデバイスアーキテクチャ１６００は、プロセッサ１６１０による迅速なアクセスのために、メモリ１６１５及び／またはストレージデバイス１６３０からキャッシュ１６１２にデータをコピーすることができる。このようにして、キャッシュは、データを待機している間のプロセッサ１６１０の遅延を回避するというパフォーマンスブーストを提供することができる。これらのモジュール及び他のモジュールは、様々なアクションを実行するためにプロセッサ１６１０を制御するか、または制御するように構成されることができる。他のコンピューティングデバイスメモリ１６１５も同様に使用のために入手可能であり得る。メモリ１６１５は、異なるパフォーマンス特性を有する複数の異なるタイプのメモリを含むことができる。プロセッサ１６１０は、任意の汎用プロセッサ、ならびにプロセッサ１６１０を制御するように構成された、ストレージデバイス１６３０に格納されたサービス１ １６３２、サービス２ １６３４、及びサービス３ １６３６などのハードウェアまたはソフトウェアサービスだけでなく、ソフトウェア命令がプロセッサ設計に組み込まれる専用プロセッサを含むことができる。プロセッサ１６１０は、複数のコアまたはプロセッサ、バス、メモリコントローラ、キャッシュなどを含む独立言語システムであってもよい。マルチコアプロセッサは対称または非対称であってもよい。
【0159】
コンピューティングデバイスアーキテクチャ１６１０とのユーザインタラクションを可能にするために、入力デバイス１６４５は、音声用のマイクロフォン、ジェスチャまたはグラフィカル入力用のタッチ感応画面、キーボード、マウス、モーション入力、音声など、任意の数の入力メカニズムを表すことができる。出力デバイス１６３５はまた、ディスプレイ、プロジェクタ、テレビ、スピーカデバイスなど、当業者に知られているいくつかの出力メカニズムのうちの１つまたは複数であることができる。場合によっては、マルチモーダルコンピューティングデバイスは、ユーザがコンピューティングデバイスアーキテクチャ１６００と通信するために複数のタイプの入力を提供することを可能にすることができる。通信インタフェース１６４０は、一般に、ユーザ入力及びコンピューティングデバイス出力を運営及び管理することができる。いかなる特定のハードウェア構成での操作にも制限はないため、ここでの基本特徴は、開発された改良型ハードウェアまたはファームウェア構成に簡単に置き換えられることができる。
【0160】
ストレージデバイス１６３０は、不揮発性メモリであり、磁気カセット、フラッシュメモリカード、ソリッドステートメモリデバイス、デジタルバーサタイルディスク、カートリッジ、ランダムアクセスメモリ（ＲＡＭ）１６２５、読み出し専用メモリ（ＲＯＭ）１６２０、及びそれらのハイブリッドなど、コンピュータによってアクセス可能なデータを格納できるハードディスクまたは他のタイプのコンピュータ可読媒体であることができる。ストレージデバイス１６３０は、プロセッサ１６１０を制御するためのサービス１６３２、１６３４、１６３６を含むことができる。他のハードウェアまたはソフトウェアモジュールも企図される。ストレージデバイス１６３０は、コンピューティングデバイス接続部１６０５に接続されることができる。一態様では、特定の機能を実行するハードウェアモジュールは、その機能を実行するために必要なプロセッサ１６１０、接続部１６０５、出力デバイス１６３５などのハードウェアコンポーネントに関連してコンピュータ可読媒体に格納されたソフトウェアコンポーネントを含むことができる。
【0161】
「コンピュータ可読媒体」という用語には、可搬型または非可搬型のストレージデバイス、光ストレージデバイス、及び命令（複数可）及び／またはデータを格納、含有、または搬送できる他の様々な媒体が含まれるが、これらに限定されない。コンピュータ可読媒体は、データを格納することができ、無線で、または有線接続を介して伝播する搬送波及び／または一時的な電子信号を含まない非一時的な媒体を含むことができる。非一時的な媒体の例には、磁気ディスクもしくはテープ、コンパクトディスク（ＣＤ）もしくはデジタルバーサタイルディスク（ＤＶＤ）などの光記憶媒体、フラッシュメモリ、メモリまたはメモリデバイスが含まれ得るが、これらに限定されない。コンピュータ可読媒体は、その上にプロシージャ、関数、サブプログラム、プログラム、ルーチン、サブルーチン、モジュール、ソフトウェアパッケージ、クラス、または命令、データ構造もしくはプログラムステートメントの任意の組み合わせを表すことができる、コード及び／または機械実行可能命令を格納していてもよい。コードセグメントは、情報、データ、引数、パラメータ、またはメモリコンテンツを受け渡す及び／または受信することによって、別のコードセグメントまたはハードウェア回路に結合されることができる。情報、引数、パラメータ、データなどは、メモリ共有、メッセージパッシング、トークンパッシング、ネットワーク伝送などを含む任意の適切な手段を介して受け渡されてもよく、転送されてもよく、または伝送されてもよい。
【0162】
いくつかの実施形態では、コンピュータ可読なストレージデバイス、媒体、及びメモリは、ビットストリームなどを有するケーブルまたは無線信号を含むことができる。ただし、非一時的なコンピュータ可読記憶媒体について言及する場合、エネルギー、搬送信号、電磁波、及び信号自体などの媒体が明示的に除外される。
【0163】
特定の詳細は、本明細書で提供される実施形態及び例の完全な理解を提供するために、上記の説明で提供される。しかしながら、実施形態がこれらの具体的な詳細なしに実施され得ることは、当業者には理解されよう。説明を明確にするために、場合によっては、本技術は、ソフトウェア、またはハードウェアとソフトウェアの組み合わせで実現される方法におけるデバイス、デバイスコンポーネント、ステップまたはルーチンを含む機能ブロックを有する個々の機能ブロックを含むものとして提示される場合がある。図面に示されているもの及び／または本明細書に記載されているもの以外の追加のコンポーネントを使用することもできる。例えば、回路、システム、ネットワーク、プロセス、及び他のコンポーネントは、不必要な詳細で実施形態を不明瞭にしないために、ブロック図形式のコンポーネントとして示される場合がある。他の例では、周知の回路、プロセス、アルゴリズム、構造、及び技術は、実施形態を不明瞭にすることを避けるために、不要な詳細なしに示される場合がある。
【0164】
個々の実施形態は、フローチャート、フロー図、データフロー図、構造図、またはブロック図として示されるプロセスまたは方法として上述され得る。フローチャートでは操作が逐次プロセスとして記述されている場合があるが、操作の多くは並列または同時に実行されることができる。さらに、操作の順序は並べ替えられてもよい。プロセスは、その操作が完了すると終了するが、図には含まれていない追加のステップを含む場合がある。プロセスは、方法、関数、プロシージャ、サブルーチン、サブプログラムなどに対応する場合がある。プロセスが関数に対応する場合、その終了は、呼び出し関数またはメイン関数への関数の戻りに対応することができる。
【0165】
上述の例によるプロセス及び方法は、コンピュータ可読媒体に格納されるコンピュータ実行可能命令、またはその他の方法でコンピュータ可読媒体から入手可能なコンピュータ実行可能命令を使用して実装されることができる。これらのような命令には、例えば、命令及びデータが含まれることができ、これらにより、汎用コンピュータ、専用コンピュータまたは処理装置が特定の機能または機能群を実行する、または別の方法で実行するように構成する。使用されるコンピュータリソースの一部は、ネットワーク経由でアクセスできる。コンピュータ実行可能命令は、例えば、バイナリ、アセンブリ言語などの中間フォーマット命令、ファームウェア、ソースコードなどであってもよい。説明される例による方法中に命令、使用される情報、及び／または作成される情報を格納するために使用され得るコンピュータ可読媒体の例には、磁気または光ディスク、フラッシュメモリ、不揮発性メモリを備えたＵＳＢデバイス、ネットワークストレージデバイスなどが含まれる。
【0166】
これらの開示によるプロセス及び方法を実装するデバイスは、ハードウェア、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語、またはそれらの任意の組み合わせを含むことができ、様々なフォームファクタのいずれかを採用することができる。ソフトウェア、ファームウェア、ミドルウェア、またはマイクロコードで実装される場合、必要なタスクを実行するためのプログラムコードまたはコードセグメント（例えば、コンピュータプログラム製品）は、コンピュータ可読媒体または機械可読媒体に格納され得る。プロセッサ（複数可）は必要なタスクを実行することができる。フォームファクタの典型的な例には、ラップトップ、スマートフォン、携帯電話、タブレットデバイスまたはその他の小型フォームファクタのパーソナルコンピュータ、携帯情報端末、ラックマウントデバイス、スタンドアロンデバイスなどが含まれる。本明細書で説明される機能は、周辺機器またはアドインカードに具現化されることもできる。さらなる例として、そのような機能は、単一デバイス内で実行する異なるチップまたは異なるプロセス間の回路基板上に実装されることもできる。
【0167】
命令、それらのような命令を伝達するための媒体、それらを実行するためのコンピューティングリソース、及びそれらのようなコンピューティングリソースをサポートするための他の構造は、本開示で説明される機能を提供するための手段の例である。
【0168】
本明細書に開示される実施形態に関連して記載される種々の例示の論理ブロック、モジュール、回路及びアルゴリズムステップは、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの組み合わせとして実装されることができる。ハードウェア及びソフトウェアのこの互換性を明確に示すために、多様な例示的な構成要素、ブロック、モジュール、回路及びステップは、概してその機能性の点において上記で説明されている。係る機能性が、ハードウェアとして実装されるのか、それともソフトウェアとして実装されるのかは、特定のアプリケーション、及び全体のシステムに対して課される設計の制約に左右される。当業者は、各々の特定のアプリケーションに関して変動するやり方で説明された機能を実装することができるが、そのような実装形態の決定は、本出願の範囲からの逸脱を生じさせるように解釈されるべきではない。
【0169】
本明細書で説明される技術は、電子ハードウェア、コンピュータソフトウェア、ファームウェア、またはそれらの任意の組み合わせで実装されることもできる。これらのような技術は、汎用コンピュータ、無線通信デバイスハンドセット、または無線通信デバイスハンドセット及び他のデバイスでの適用を含む複数の用途を有する集積回路デバイスなどの様々なデバイスのいずれかに実装されることができる。モジュールまたはコンポーネントとして説明される機能はいずれも、統合された論理デバイス内で合わせて実装されてもよく、または個別ではあるが相互運用可能な論理デバイスとして別々に実装されてもよい。ソフトウェアに実装される場合、技術は、実行時に上記の方法のうちの１つまたは複数を実行する命令を有するプログラムコードを含むコンピュータ可読データ記憶媒体によって少なくとも部分的に実現され得る。コンピュータ読み出し可能データ記憶媒体は、パッケージング材料を含み得るコンピュータプログラム製品の一部を形成することができる。コンピュータ可読媒体は、シンクロナスダイナミックランダムアクセスメモリ（ＳＤＲＡＭ）などのランダムアクセスメモリ（ＲＡＭ）、読み出し専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、電気的に消去可能なプログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気または光データ記憶媒体などのメモリまたはデータ記憶媒体を含んでもよい。さらに、または代替に技術は、命令またはデータ構造の形式でプログラムコードを搬送または通信し、伝播される信号または波など、コンピュータによってアクセスされる、読み出される、及び／または実行されることができるコンピュータ可読通信媒体によって少なくとも部分的に実現され得る。
【0170】
プログラムコードは、１つ以上のデジタルシグナルプロセッサ（ＤＳＰ）、汎用マイクロプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルロジックアレイ（ＦＰＧＡ）、または他の均等な集積回路もしくはディスクリート論理回路などの１つ以上のプロセッサを含み得るプロセッサによって実行され得る。このようなプロセッサは、本開示で説明される技術のいずれかを実行するように構成され得る。汎用プロセッサはマイクロプロセッサである場合があるが、代替ではプロセッサは、いずれかの従来のプロセッサ、コントローラ、マイクロコントローラ、またはステートマシンなどである場合がある。また、プロセッサは、例えば、ＤＳＰと、マイクロプロセッサ、複数のマイクロプロセッサ、ＤＳＰコアと連動する１つ以上のマイクロプロセッサ、または任意の他の係る構成要素の組み合わせ等、コンピューティングデバイスの組み合わせとしても実装できる。したがって、本明細書で使用される「プロセッサ」という用語は、前述の構造のいずれか、前述の構造の任意の組み合わせ、または本明細書で説明される技術の実装に適した他の任意の構造もしくは装置を指し得る。
【0171】
前述の説明では、本出願の態様をその特定の実施形態を参照して説明したが、当業者であれば、本出願がそれに限定されないことを認識するであろう。したがって、本出願の例示的な実施形態を本明細書で詳細に説明してきたが、本発明の概念がその他の方法で様々に具現化されて使用されることができること、また、先行技術によって制限される場合を除き、添付の特許請求の範囲がそれらのような変形形態を含むように解釈されることを意図したものであることを理解されたい。上述の用途の様々な特徴及び態様は、個別にまたは合わせて使用されることができる。さらに、実施形態は、本明細書のより広範な趣旨及び範囲から逸脱することなく、本明細書に記載されたものを上回る任意の数の環境及び用途において利用されることができる。したがって、本明細書及び図面は、限定的ではなく例示的と見なされるべきである。説明の目的で、方法を特定の順序で記載した。代替の実施形態では、方法が記載の順序とは異なる順序で実行されてもよいことを理解されたい。
【0172】
当業者であれば、本明細書で使用される未満（「＜」）及び超（「＞」）の記号または用語は、この説明の範囲から逸脱することなく、それぞれ以下（「≦」）及び以上（「≧」）の記号に置き換えられることができることが理解されよう。
【0173】
構成要素が特定の操作を実行するように「構成される」と説明されている場合、そのような構成は、例えば、その操作を実行するように電子回路もしくは他のハードウェアを設計することによって、その操作を実行するようにプログラム可能な電子回路（例えば、マイクロプロセッサもしくは他の適切な電子回路）をプログラムすることによって、またはそれらの任意の組み合わせによって達成されることができる。
【0174】
「に結合された」という語句は、別のコンポーネントに直接的か間接的かいずれかで物理的に接続されている任意のコンポーネント、及び／または直接的か間接的かいずれかで別のコンポーネントと通信している（例えば、有線または無線接続及び／または他の適切な通信インタフェースを介して他のコンポーネントに接続されている）任意のコンポーネントを指す。
【0175】
セットの「少なくとも１つ」及び／またはセットの「１つ以上」を記載する請求項の文言またはその他の文言は、セットの１つのメンバまたはセットの複数のメンバ（任意の組み合わせ）が請求項を満たすことを示す。例えば、「Ａ及びＢの少なくとも１つ」と記載する請求項の文言は、Ａ、Ｂ、またはＡ及びＢを意味する。別の例では、「Ａ、Ｂ、及びＣの少なくとも１つ」と記載する請求項の文言は、Ａ、Ｂ、Ｃ、またはＡ及びＢ、またはＡ及びＣ、またはＢ及びＣ、またはＡ及びＢ及びＣを意味する。セットの「少なくとも１つ」及び／またはセットの「１つ以上」という文言は、セットをセットに列挙された物品に限定するものではない。例えば、「Ａ及びＢの少なくとも１つ」と記載されている請求項の文言は、Ａ、Ｂ、またはＡ及びＢを意味することができ、Ａ及びＢのセットに記載されていない物品を追加で含むことができる。
【0176】
本明細書で使用される場合、数値に関して「約」及び「おおよそ」という用語は、特に明記されない限り、または文脈から特に明らかでない限り（そのような数値が可能な値の１００％を超える場合を除く）、数値の両方向（より大きいまたはより小さい）で１０％、５％、または１％の範囲内に入る数値を含むように本明細書では使用される。
【0177】
実施例
本発明はさらに以下の非限定的な実施例によって説明される。
本発明はさらに以下の非限定的な実施例によって説明される。
【0178】
実施例１
作物畑の雑草の除草
この実施例は、本開示の検出システム及び方法を使用した作物畑における雑草の除草について説明する。予測システム、ターゲティングシステム、及び赤外レーザを備えた、図６及び図７に示されるような自律走行車が作物畑に位置決めされた。車両は作物の列を自律走行し、広角視野の予測カメラが畑を撮像した。予測カメラの視野は、自律走行車の進行方向に平行に２７．７ｉｎ、進行方向に垂直に２０ｉｎであった。予測システムは、雑草の特徴を識別してそれらをタマネギの作物の特徴から区別するように訓練された識別機械学習モデルを使用して、予測カメラによって収集された画像内の雑草を識別し、雑草を作物から区別した。予測システムは、識別された雑草の中から除草すべき雑草を選択し、予測画像内の雑草のピクセル位置に基づいて雑草の予測位置を決定した。予測により、予測位置がターゲティングシステムに送信された。
作物畑の雑草の除草
この実施例は、本開示の検出システム及び方法を使用した作物畑における雑草の除草について説明する。予測システム、ターゲティングシステム、及び赤外レーザを備えた、図６及び図７に示されるような自律走行車が作物畑に位置決めされた。車両は作物の列を自律走行し、広角視野の予測カメラが畑を撮像した。予測カメラの視野は、自律走行車の進行方向に平行に２７．７ｉｎ、進行方向に垂直に２０ｉｎであった。予測システムは、雑草の特徴を識別してそれらをタマネギの作物の特徴から区別するように訓練された識別機械学習モデルを使用して、予測カメラによって収集された画像内の雑草を識別し、雑草を作物から区別した。予測システムは、識別された雑草の中から除草すべき雑草を選択し、予測画像内の雑草のピクセル位置に基づいて雑草の予測位置を決定した。予測により、予測位置がターゲティングシステムに送信された。
【0179】
ターゲティングシステムにはターゲティングカメラ及び赤外レーザが含まれており、その方向はアクチュエータによって制御されるミラーによって調整された。図１～図３に示されるように、ミラーは、表面からの可視光をターゲティングカメラに反射し、レーザからの赤外光を表面に反射した。ターゲティングシステムは、オブジェクト位置座標をアクチュエータ位置に相関させる経験的に決定された較正係数に基づいて、予測システムから受信した予測位置をアクチュエータ位置に変換し、ターゲティングカメラ及びレーザを予測位置に向けた。ターゲティングシステムは、選択した雑草の予測位置にターゲティングカメラ及び赤外レーザビームを向けるようにアクチュエータを調整した。予測カメラよりも視野が狭いターゲティングカメラが雑草の予測位置で畑を撮像した。ターゲティングカメラの視野は、自律走行車の進行方向に平行に６ｉｎ、進行方向に垂直に４．５ｉｎであった。オブジェクトマッチング機械学習モデルを使用して、ターゲティングシステムは、ターゲティングカメラによって収集された画像内に雑草が存在するかどうか、そして存在する場合には雑草のターゲット位置を決定した。オブジェクトマッチング機械学習モデルは、予測画像の収集から雑草のターゲティングまでの間の自律走行車の運動、予測カメラとターゲティングカメラとの間のカメラの視点及び画像特性の差異、ならびに起伏の多い地形及び雑草の高さによる３次元環境内のばらつきを考慮した。オブジェクトマッチング機械学習モデルを使用して、ターゲティングシステムは雑草のターゲット位置を決定し、予測された雑草位置とターゲット雑草位置との間のオフセットを決定した。ターゲティングシステムは、雑草のターゲット位置に基づいてターゲティングカメラ及び赤外レーザビームの位置を調整し、雑草の位置に向けて赤外ビームをアクティブ化した。このビームは、照射中の自律走行車の運動を考慮してレーザビームの位置を調整しながら、雑草を損なう、または枯らすのに十分な時間、赤外光を雑草に照射した。このシステムは、レーザによって照射される位置が雑草のターゲット位置から５ｍｍ以内、好ましくは２ｍｍ以内であるように較正された。
【0180】
この車両は、図５及び図６に示されるように、４つのターゲティングシステムを含んだため、ターゲティングプロセスは複数回並行して実行できた。各ターゲティングシステムは、予測システムの、異なるが重複する領域をカバーした。予測カメラによって収集された画像内で２番目の雑草を識別した。予測システムは、ターゲティングシステムの可用性及び２番目の雑草の予測位置をターゲットにするターゲティングシステムのレンジに基づいて、２番目の雑草の予測位置を第二ターゲティングシステムに送信した。このプロセスは、作物の畑の雑草がすべて除草されるまで、自律走行車が畑の走行を終了するまで、または別の終点まで繰り返された。
【0181】
実施例２
起伏のある建設環境におけるデブリの自動識別及び除去
この例では、起伏のある環境におけるデブリの自動識別及び除去のためのシステム及び方法について説明する。予測カメラ、ターゲティングカメラ、及びデブリ収集器具を備えた自律走行車が建設現場を自律走行する。建設現場は起伏のある地形表面を有する。予測カメラは建設現場の表面領域を撮像し、画像内のオブジェクトを検出する。訓練済み識別機械学習モデルは、オブジェクトを識別し、デブリとして識別されるオブジェクトを選択する。
起伏のある建設環境におけるデブリの自動識別及び除去
この例では、起伏のある環境におけるデブリの自動識別及び除去のためのシステム及び方法について説明する。予測カメラ、ターゲティングカメラ、及びデブリ収集器具を備えた自律走行車が建設現場を自律走行する。建設現場は起伏のある地形表面を有する。予測カメラは建設現場の表面領域を撮像し、画像内のオブジェクトを検出する。訓練済み識別機械学習モデルは、オブジェクトを識別し、デブリとして識別されるオブジェクトを選択する。
【0182】
予測システムは、較正モデルを使用してデブリの予測位置を決定し、その予測位置をターゲティングシステムに送信する。ターゲティングシステムは、可用性及び選択されたデブリに対する近さに基づいて選択される。ターゲティングシステムは、ターゲティングカメラ及びデブリ収集器具を制御するアクチュエータに、ターゲティングカメラ及びデブリ収集器具をデブリの予測位置に向けるように指示する。ターゲティングカメラは、デブリの予測位置で地形表面を撮像し、訓練済みマッチング機械学習モデルは、デブリが画像内に位置しているかどうか、そしてデブリのターゲット位置を決定する。機械学習モデルは、デブリの予測位置とデブリのターゲット位置との間のオフセットを決定し、そのオフセットをターゲティングシステムに送信する。ターゲティングシステムは、ターゲティングカメラ及びデブリ収集器具をデブリのターゲット位置に向けるようにアクチュエータに指示し、デブリ収集器具はデブリを収集する。
【0183】
追加の位置センサ及び加速度センサは、予測、ターゲティング、及びデブリ収集プロセス中に自律走行車の運動を検出し、画像収集とデブリ収集との間の車両の運動を考慮して更新された座標をターゲティングシステムに提供する。
【0184】
実験例３
配管網内の障害物の自動識別及び除去
この実施例では、配管網内の障害物の自動識別及び除去ためのシステム及び方法について説明する。予測カメラ、ターゲティングカメラ、及び障害物除去器具を備えた自律走行車は、配管系内を自律的に走行する。配管系は不規則な表面を有する。予測カメラは、配管表面領域を撮像し、画像内のオブジェクトを検出する。訓練済み識別機械学習モデルは、オブジェクトを識別し、障害物として識別されるオブジェクトを選択する。
配管網内の障害物の自動識別及び除去
この実施例では、配管網内の障害物の自動識別及び除去ためのシステム及び方法について説明する。予測カメラ、ターゲティングカメラ、及び障害物除去器具を備えた自律走行車は、配管系内を自律的に走行する。配管系は不規則な表面を有する。予測カメラは、配管表面領域を撮像し、画像内のオブジェクトを検出する。訓練済み識別機械学習モデルは、オブジェクトを識別し、障害物として識別されるオブジェクトを選択する。
【0185】
予測システムは、較正モデルを使用して障害物の予測位置を決定し、その予測位置をターゲティングシステムに送信する。ターゲティングシステムは、可用性及び選択された障害物に対する近さに基づいて選択される。ターゲティングシステムは、ターゲティングカメラ及び障害物除去器具を制御するアクチュエータに、ターゲティングカメラ及び障害物除去器具を障害物の予測位置に向けるように指示する。ターゲティングカメラは、障害物の予測位置で配管表面を撮像し、訓練済みマッチング機械学習モデルは、障害物が画像内に位置しているかどうか、そして障害物のターゲット位置を決定する。マッチング機械学習モデルは、障害物の予測位置と障害物のターゲット位置との間のオフセットを決定し、そのオフセットをターゲティングシステムに送信する。ターゲティングシステムは、ターゲティングカメラ及び障害物除去器具を障害物のターゲット位置に向けるようアクチュエータに指示し、障害物除去器具は障害物を除去する。
【0186】
追加の位置センサ及び加速度センサは、予測、ターゲティング、及び障害物除去プロセス中に自律走行車の運動を検出し、画像収集と障害物除去との間の車両の運動を考慮して、更新された座標をターゲティングシステムに提供する。
【0187】
実施例４
空中からの作物管理のための衛星撮像の調整
この実施例では、空中からの作物管理を自動化するために、衛星撮像をドローン撮像で調整するシステム及び方法について説明する。１つ以上の空中からの作物管理ドローンは、それぞれがターゲティングカメラ及び農薬ディスペンサを備え、作物畑の上で飛行する。作物管理ドローンは撮像衛星と通信している。衛星は作物畑を含む地球領域を撮像し、画像の地理的位置データとともに画像を作物管理ドローンに送信する。訓練済み識別機械学習モデルは、画像内の畑を識別し、ターゲットになる畑を選択する。
空中からの作物管理のための衛星撮像の調整
この実施例では、空中からの作物管理を自動化するために、衛星撮像をドローン撮像で調整するシステム及び方法について説明する。１つ以上の空中からの作物管理ドローンは、それぞれがターゲティングカメラ及び農薬ディスペンサを備え、作物畑の上で飛行する。作物管理ドローンは撮像衛星と通信している。衛星は作物畑を含む地球領域を撮像し、画像の地理的位置データとともに画像を作物管理ドローンに送信する。訓練済み識別機械学習モデルは、画像内の畑を識別し、ターゲットになる畑を選択する。
【0188】
予測システムは、ＧＰＳ位置を使用して畑の予測位置を決定し、その予測位置を選択したドローンに送信する。ドローンは、可用性及び選択された障害物に対する近さに基づいて選択される。ドローンのターゲティングシステムは、ドローンを制御するアクチュエータに、畑の予測位置上にターゲティングカメラ及び農薬ディスペンサを位置決めするように指示する。ターゲティングカメラは、畑の予測位置で地面を撮像し、訓練済みマッチング機械学習モデルは、畑が画像内に位置しているかどうか、そして畑のターゲット位置を決定する。マッチング機械学習モデルは、障害物の予測位置と障害物のターゲット位置との間のオフセットを決定し、そのオフセットをターゲティングシステムに送信する。ターゲティングシステムは、ターゲティングカメラ及び農薬ディスペンサを畑のターゲット位置の上に位置決めするようドローンに指示し、農薬ディスペンサは畑に農薬を散布する。
【0189】
追加の位置センサ及び加速度センサは、予測、ターゲティング、及び障害物除去プロセス中にドローンの運動及びＧＰＳ座標を検出し、画像収集衛星に対するドローンの位置情報を提供する。
【0190】
本発明の好適な実施形態が本明細書に示され記載されたが、そのような実施形態は、ほんの一例として提供されることが当業者に明らかであろう。ここで、当業者は、多数の変化形、変更、及び置換を本発明から逸脱することなく想定するであろう。本明細書に記載される本発明の実施形態に対する種々の代替手段が、本発明の実施において採用され得ることを理解されたい。以下の特許請求の範囲が本発明の範囲を定義し、これらの特許請求の範囲に含まれる方法及び構造、ならびにそれらの等価物が、それにより包含されることが意図される。
【図1】
【図2】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10A】
【図10B】
【図11】
【図12】
【図13】
【図14】
【図15】
【国際調査報告】