IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ キャタピラー インコーポレイテッドの特許一覧

特表2024-521731自律的掘削作業のためのデータの選択的なリモート処理
<>
  • 特表-自律的掘削作業のためのデータの選択的なリモート処理 図1
  • 特表-自律的掘削作業のためのデータの選択的なリモート処理 図2
  • 特表-自律的掘削作業のためのデータの選択的なリモート処理 図3
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-04
(54)【発明の名称】自律的掘削作業のためのデータの選択的なリモート処理
(51)【国際特許分類】
   E02F 9/20 20060101AFI20240528BHJP
   E02F 9/26 20060101ALI20240528BHJP
【FI】
E02F9/20 Q
E02F9/26 B
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023571977
(86)(22)【出願日】2022-05-20
(85)【翻訳文提出日】2023-12-07
(86)【国際出願番号】 US2022030209
(87)【国際公開番号】W WO2022251055
(87)【国際公開日】2022-12-01
(31)【優先権主張番号】17/303,310
(32)【優先日】2021-05-26
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.ブルートゥース
(71)【出願人】
【識別番号】391020193
【氏名又は名称】キャタピラー インコーポレイテッド
【氏名又は名称原語表記】CATERPILLAR INCORPORATED
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ホーデル、ベンジャミン ジェイ.
(72)【発明者】
【氏名】ベショーナー、マシュー ジェームズ
【テーマコード(参考)】
2D003
2D015
【Fターム(参考)】
2D003AA01
2D003BA03
2D003CA02
2D003CA10
2D003DA04
2D003DB02
2D003DB03
2D003DB05
2D003DC07
2D015HA03
(57)【要約】
自律的掘削作業のためのデータのリモート処理を選択的に実行する。
機械は、1つの作業具と、1つまたは複数のセンサデバイスと、1つのコントローラと、を含む場合がある。コントローラは、機械が掘削作業を実行する地表面に関するデータを1つまたは複数のセンサデバイスから受信し、1つまたは複数のリモートコンピューティングデバイスにデータを送信して、1つまたは複数のリモートコンピューティングデバイスにデータに基づいて掘削情報を生成させ、1つまたは複数のリモートコンピューティングデバイスから掘削情報を受信するように構成されてもよい。掘削情報は、地表面領域内の一連の掘削場所を識別する情報と、対応する投棄場所を識別する情報とを含むことができる。コントローラは、掘削情報に基づいて、機械を複数の掘削場所のうちの1つの掘削場所にナビゲートさせ、作業具に掘削場所で掘削作業を開始させるように構成されてもよい。
【選択図】図2
【特許請求の範囲】
【請求項1】
機械(105)のコントローラ(145)によって実行される方法であって、
前記機械(105)が掘削作業を実行する地表面に関する第1データを1つまたは複数のセンサデバイス(155、220)から受信するステップと、
前記第1データが1つまたは複数のリモートコンピューティングデバイス(175)に送信されて、1つまたは複数のリモートコンピューティングデバイス(175)に掘削情報を生成させることができると判定するステップと、
前記第1データが送信可能であるとの判定に基づいて、前記第1データを前記1つまたは複数のリモートコンピューティングデバイス(175)に送信するステップと、
掘削情報を前記1つまたは複数のリモートコンピューティングデバイス(175)から受信するステップであって、
前記掘削情報は、一連の掘削場所を識別する情報と、対応する投棄場所を識別する情報とを含む、ステップと、
前記掘削情報に基づいて前記地表面での掘削作業を機械(105)の作業具(140)に開始させるステップと、
前記掘削作業を開始させた後、地表面に関する第2データを前記1つまたは複数のリモートコンピューティングデバイス(175)に送信するステップと、
前記第2データに基づいて生成された更新された掘削情報を前記1つまたは複数のリモートコンピューティングデバイス(175)から受信するステップと、
更新された掘削情報に基づいて機械(105)に掘削作業を調整させるステップと、を含む、方法。
【請求項2】
前記第1データを受信するステップは、
データを前記機械(105)の前記1つまたは複数の第1センサデバイス(155)から受信するステップと、
前記データを前記機械(105)から分離された前記1つまたは複数の機械(210)の1つまたは複数の第2センサデバイス(220)から受信するステップと、を含む、請求項1に記載の方法。
【請求項3】
前記掘削情報は、前記掘削場所のサブセットの各掘削場所における機械(105)の作業具(140)の位置および向きを識別する推薦作業具(140)の姿勢データをさらに含み、
前記方法は、
前記掘削場所のサブセットの各掘削場所での掘削作業に先立って、推薦作業具(140)の姿勢データに基づいて作業具(140)の位置および向きを調整するステップをさらに含む、請求項1に記載の方法。
【請求項4】
前記掘削情報は、前記掘削場所のサブセットの各掘削場所における前記機械(105)の向きを識別する推薦機械(105)の姿勢データをさらに含み、
前記方法は、
前記掘削場所のサブセットの各掘削場所での掘削作業に先立って、推薦機械(105)の姿勢データに基づいて前記機械(105)の向きを調整するステップをさらに含む、請求項1に記載の方法。
【請求項5】
前記掘削情報は、前記投棄場所のサブセットの各投棄場所について、前記機械(105)の前記作業具(140)の位置および向きを識別する推薦作業具(140)の姿勢データをさらに含み、
前記方法は、
前記投棄場所のサブセットの各投棄場所の投棄作業中に、前記推薦作業具(140)の姿勢データに基づいて、前記作業具(140)の位置および向きを調整するステップをさらに含む、請求項1に記載の方法。
【請求項6】
前記掘削作業の実行後、前記地表面を含む環境の第3データを前記1つまたは複数のセンサデバイス(155)から受信するステップと、
第3データを前記1つまたは複数のリモートコンピューティングデバイス(175)に送信して、前記機械(105)の現在場所から目的地場所までのナビゲート情報を前記1つまたは複数のリモートコンピューティングデバイス(175)に生成させるステップであって、
前記現在場所は第1作業現場に関連付けられ、前記目的地場所は第2作業現場に関連付けられているステップと、
前記ナビゲート情報を前記1つまたは複数のリモートコンピューティングデバイス(175)から受信するステップと、
前記機械(105)を前記現在場所から目的地場所までナビゲートするステップと、をさらに含む、請求項1に記載の方法。
【請求項7】
システムであって、
コントローラ(145)を含み、前記コントローラ(145)は、
機械(105)が掘削作業を実行する地表面に関するデータを1つまたは複数のセンサデバイス(155、220)から受信し、
前記データを1つまたは複数のリモートコンピューティングデバイス(175)に送信して、前記1つまたは複数のリモートコンピューティングデバイス(175)にデータに基づいて掘削作業のための掘削情報を生成させ、
地表面領域内の一連の掘削場所を識別する情報と、掘削場所のサブセットの各掘削場所における機械(105)の向きを識別する情報とを含む
前記掘削情報に基づいて、
前記掘削情報を前記1つまたは複数のリモートコンピューティングデバイス(175)から受信し、
前記掘削情報に基づいて、
前記機械(105)を前記掘削場所のサブセット内の掘削場所にナビゲートし、前記掘削場所での向きに応じて向きを変え、
前記機械(105)の作業具(140)に前記掘削場所で掘削作業を行わせるように構成される、システム。
【請求項8】
前記掘削場所は第1掘削場所であり、
前記コントローラ(145)は、さらに、
前記掘削場所での掘削作業中に除去された材料の体積に関する体積情報であって、
更新された掘削情報を前記1つまたは複数のリモートコンピューティングデバイス(175)に生成させるために送信される体積情報を1つまたは複数のリモートコンピューティングデバイス(175)に送信し、
前記1つまたは複数のリモートコンピューティングデバイス(175)から、
前記掘削場所のサブセット内の第2掘削場所における作業具(140)の位置および向きを識別する推薦作業具(140)の姿勢データを含む前記更新された掘削情報を受信し、
前記第2掘削場所での掘削作業に先立って、推薦作業具(140)の姿勢データに基づいて前記作業具(140)の位置および向きを調整するように構成される、請求項7に記載のシステム。
【請求項9】
前記コントローラ(200)は、
前記掘削作業を開始させた後、地表面に関する追加データを1つまたは複数のリモートコンピューティングデバイス(175)に送信し、
前記追加データに基づいて生成された更新された掘削情報を前記1つまたは複数のリモートコンピューティングデバイス(175)から受信し、
更新された掘削情報に基づいて前記機械(105)に掘削作業を調整指せるように構成される、請求項7に記載のシステム。
【請求項10】
前記コントローラ(145)は、
前記掘削作業を開始させた後、地表面に関する追加データであって、
前記1つまたは複数のリモートコンピューティングデバイス(175)が更新された掘削情報を生成するように送信される追加データを前記1つまたは複数のリモートコンピューティングデバイス(175)に送信し、
追加データの送信後の閾値時間内に更新された掘削情報が前記1つまたは複数のリモートコンピューティングデバイス(175)から受信されていないと判定し、
前記更新された掘削情報が前記1つまたは複数のリモートコンピューティングデバイス(175)から受信されていないという判定に基づいて、
前記機械(105)に掘削作業を中断させる、または
前記掘削作業を行う速度を前記機械(105)に低下させるように構成される、請求項7に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して、掘削作業を自律的に実行することに関するものであり、例えば、掘削作業を自律的に実行するために(複数のセンサデバイスからの)データのリモート処理が行われるか否かを判定する。
【背景技術】
【0002】
掘削機は、現場で掘削作業を行うことができる。掘削機の典型的なコンピューティングデバイスは、自律作業中(例えば、掘削作業の自律実行中)に掘削機の作業具を調整することを可能にすることができる。しかしながら、典型的なコンピューティングデバイスは計算制約を受けており、計算が複雑で時間のかかるタスクを典型的なコンピューティングデバイスが実行することを妨げている。例えば、計算制約は、典型的なコンピューティングデバイスが複数のセンサデバイス(例えば掘削機の)からのセンサデータを処理して、掘削作業(例えば掘削作業の自律的な実行)の掘削場所および投棄場所の最適な順序を判定することを妨げる。さらに、掘削機は不整地で過酷な条件下で使用することができ、典型的なコンピューティングデバイスが早期に故障する可能性がある。
【0003】
米国特許第10,066,367号(特許第367号)は、車両が自律的な動作を実行している間に作業具の位置を調整するために車両に取り付けられるように構成されたシステムを開示している。特許第367号は、車両が、運転中に作業具の高さ、傾斜角、および/または荷重を監視し、所望の仕上げプロファイルを達成するために作業具に関連する1つまたは複数のパラメータを調整することができることを開示している。特許第367号は、自律作業中に作業具の位置を調整することを開示しているが、特許第367号は、計算制約(例えば、自律作業に関連する)を解決しておらず、掘削作業の掘削場所および投棄場所を判定するシーケンスを解決しておらず、上述の典型的なコンピューティングデバイスの他の制限を解決していない。
【0004】
本開示は、上記の1つまたは複数の問題および/または当技術分野の他の問題を解決する。
【発明の概要】
【0005】
機械のコントローラによって実行される方法であって、前記機械が掘削作業を実行する地表面に関する第1データを1つまたは複数のセンサデバイスから受信するステップと、前記第1データが1つまたは複数のリモートコンピューティングデバイスに送信されて、1つまたは複数のリモートコンピューティングデバイスに掘削情報を生成させることができると判定するステップと、前記第1データが送信可能であるとの判定に基づいて、前記第1データを前記1つまたは複数のリモートコンピューティングデバイスに送信するステップと、掘削情報を前記1つまたは複数のリモートコンピューティングデバイスから受信するステップであって、前記掘削情報は、一連の掘削場所を識別する情報と、対応する投棄場所を識別する情報とを含む、ステップと、前記掘削情報に基づいて前記地表面での掘削作業を機械の作業具に開始させるステップと、前記掘削作業を開始させた後、地表面に関する第2データを前記1つまたは複数のリモートコンピューティングデバイスに送信するステップと、前記第2データに基づいて生成された更新された掘削情報を前記1つまたは複数のリモートコンピューティングデバイスから受信するステップと、更新された掘削情報に基づいて機械に掘削作業を調整させるステップと、を含む。
【0006】
システムであって、コントローラを含み、前記コントローラは、機械が掘削作業を実行する地表面に関するデータを1つまたは複数のセンサデバイスから受信し、前記データを1つまたは複数のリモートコンピューティングデバイスに送信して、前記1つまたは複数のリモートコンピューティングデバイスにデータに基づいて掘削作業のための掘削情報を生成させ、地表面領域内の一連の掘削場所を識別する情報と、掘削場所のサブセットの各掘削場所における機械の向きを識別する情報とを含む前記掘削情報に基づいて、前記掘削情報を前記1つまたは複数のリモートコンピューティングデバイスから受信し、前記掘削情報に基づいて、前記機械を前記掘削場所のサブセット内の掘削場所にナビゲートし、前記掘削場所での向きに応じて向きを変え、前記機械の作業具に前記掘削場所で掘削作業を行わせるように構成される。
【0007】
機械であって、1つの作業具と、1つまたは複数のセンサデバイスと、1つのコントローラと、を含み、前記コントローラは、機械が掘削作業を実行する地表面に関するデータを1つまたは複数のセンサデバイスから受信し、前記データを1つまたは複数のリモートコンピューティングデバイスにデータを送信して、1つまたは複数のリモートコンピューティングデバイスにデータに基づいて掘削情報を生成させ、地表面領域内の一連の掘削場所を識別する情報と、対応する投棄場所を識別する情報とを含掘削情報を1つまたは複数のリモートコンピューティングデバイスから受信し、掘削情報に基づいて、機械を掘削場所の掘削場所にナビゲートさせ、掘削場所で作業具に掘削作業を開始させるように構成される。
【図面の簡単な説明】
【0008】
図1】本明細書に記載された実施例の概略図である。
図2】本明細書で説明されているシステムの一例の概略図である。
図3】掘削情報を生成するためのデータのリモート処理に関連する例示的な処理のフローチャートである。
【発明を実施するための形態】
【0009】
本開示は、1つまたは複数のリモートコンピューティングデバイスに、機械が掘削作業を行う地表面に関するデータに基づいて掘削情報を生成させる機械に関する。データは、機械の異なる部分に配置された1つまたは複数のセンサデバイス(例えば、ブーム、スティック、および/または作業具に配置された)から取得してもよい。一例として、1つまたは複数のセンサデバイスは、例えば1つまたは複数のステレオ(「立体」)カメラを含むことができ、データは、地表面の1つまたは複数の画像を含んでもよい。データは、高速通信用に構成された衛星デバイスを介して、または高速通信用に構成されたセルラーネットワーク(例えば、5Gネットワーク)を介して、1つまたは複数のリモートコンピューティングデバイスに送信され得る。1つまたは複数のリモートコンピューティングデバイスは、1つまたは複数のクラウドコンピューティングデバイス(例えば、1つまたは複数の高性能リモートコンピューティングデバイス)を含んでもよい。
【0010】
1つまたは複数のリモートコンピューティングデバイスは、データに基づいて掘削情報を生成してもよい。掘削情報は、一連の掘削場所(および連続する掘削場所間の経路)を識別する情報、対応する投棄場所を識別する情報、各掘削場所の機械向きを識別する推薦機械姿勢データ、各掘削場所の機械作業具の位置および/または向きを識別する推薦作業具姿勢データ、各掘削場所の機械のブームおよび/またはスティックの位置および/または向きを識別する推薦リンク姿勢データ、各掘削場所の掘削(または除去)される材料の量を識別する情報などの例を含んでもよい。
【0011】
掘削情報が生成されると、1つまたは複数のリモートコンピューティングデバイスは、複数の一連の掘削場所(および掘削場所間の経路)を判定(または識別)し、異なる要因を考慮して最適な一連の掘削場所を識別してもよい。さまざまな要因には、最小の掘削サイクル時間、最大の燃費、最小の作業器具の磨耗などが含まれ得る。掘削サイクルには、機械による材料の掘削、スイング、材料の投棄など、機械による動作の組み合わせが含まれ得る。さまざまな要因は、ユーザー(たとえば、機械のオペレーター)によって構成可能である。例えば、他の例に加えて、異なる要因は、機械の種類に基づいて、機械の使用量に基づいて、機械が位置する地理的領域に基づいて、地理的領域における気象条件に基づいて、掘削作業が実行されている日時に基づいて構成されてもよい。最適な一連の掘削場所は、掘削情報に含まれる一連の掘削場所に対応してもよい。掘削情報は、掘削作業を容易にするために機械に(例えば、衛星デバイスまたはセルラーネットワークを介して)送信され得る。また、「掘削」や「掘削作業」という用語が広く用いられており、上述したように、作業機械によって予め収集された材料を投棄することも含まれることが理解されるべきである。
【0012】
無線通信が切断された場合や、無線接続が確立され、(無線接続の)データ転送速度が転送速度閾値を満たさない場合には、機械はデータの転送を中断し、データをバッファリングしてもよい。無線通信が再確立されたとき、または(無線接続の)データ伝送速度が伝送速度閾値を満たすとき、機械はデータの伝送を再開してもよい。無線通信が遮断された場合や、データ伝送速度が伝送速度閾値を満たさない場合には、機械は、処理されたデータに依存する(機械の)動作(例えば、掘削作業の中断、ナビゲート動作の中断等)を中断してもよい。いくつかの例では、データが1つまたは複数のリモートコンピューティングデバイスに送信できない場合、データは機械上でローカルに処理されてもよい。さらに、機械は、データが1つまたは複数のリモートコンピューティングデバイスに送信されないこと、および/またはデータが機械上でローカルに処理されていることを示す通知(例えば、機械の運転室内)を提供してもよい。
【0013】
「機械」という用語は、例えば、鉱業、建設、農業、輸送、または別の産業などの産業に関連する作業を実行する機械を指す。さらに、1つまたは複数の作業具を機械に接続してもよい。一例として、機械は、建設車両、作業車両、または上記産業に関連する類似の車両を含んでもよい。
【0014】
図1は、本明細書に記載された実施形態100の概略図である。図1に示すように、例示的な実施形態100は、機械105を含む。機械105は、掘削機などの土工移動機として具現化される。代替的に、機械105はブルドーザーなどの別のタイプの機械であってもよい。
【0015】
図1に示すように、機械105は、地面係合部材110と、機械本体115と、運転室120と、回転要素125とを含む。地面係合部材110は、機械105を推進するためのトラック(図1に示す)、車輪、ローラ、および/または同様のものを含んでもよい。地面係合部材110は、回転要素(図示せず)を担持するサブフレームに取り付けられ、1つまたは複数のエンジンおよび伝動システム(図示せず)によって駆動される。機械本体115は、サブフレームに支持される回転要素に連結された回転可能なフレームに取り付けられ、運転室120および機械本体115がサブフレームおよび地面係合部材110に対して回転可能である。運転室120は、回動可能なフレームに取り付けられた機械本体115によって支持されている。一体型ディスプレイ(図示せず)および例えば一体型ジョイスティックなどのオペレータ制御装置124を含む。オペレータ制御装置124は、1つまたは複数の入力コンポーネントを含んでもよい。
【0016】
自律機械の場合、オペレータ制御装置124は、運転室120内に位置するオペレータが使用するように設計されていなくてもよく、作業機械105内のオペレータとは独立して動作するように設計されていてもよい。この場合、例えば、オペレータ制御装置124は、オペレータ入力なしに別のコンポーネントで使用するための入力信号を提供する1つまたは複数の入力コンポーネントを含んでもよい。回転要素125は、回転フレーム(および機械本体115)の回転(または回転)を可能にする1つまたは複数のコンポーネントを含んでもよい。例えば、回転要素125は、地面係合部材110に対して回転フレーム(および機械本体115)を回転(または回転)させることができる。
【0017】
図1に示すように、機械105は、ブーム130と、スティック135と、機械作業ツール140とを備えている。ブーム130は、その近位端で機械本体115に枢着され、1つまたは複数の流体作動シリンダ(例えば、油圧シリンダまたは空気圧シリンダ)、電動モータ、および/または他の電気機械コンポーネントによって機械本体115に対してヒンジ結合されている。スティック135は、ブーム130の遠位端に枢着されており、1つまたは複数の流体作動シリンダ、モータ、および/または他の電気機械コンポーネントによってブーム130に対して関節運動可能に連結されている。ブーム130および/またはスティック135は、リンクと呼ばれてもよい。機械作業ツール140は、スティック135の遠位端に取り付けられ、1つまたは複数の流体作動シリンダ、モータ、および/または他の電気機械コンポーネントによってスティック135に対して関節運動可能である。機械作業ツール140は、スティック135に取り付けることができるバケット(図1に示す)または別のタイプのツールまたは作業具であってもよい。機械作業ツール140は、作業具と称してもよい。
【0018】
図1に示すように、機械105は、コントローラ145(例えば、電子制御モジュール(ECM)、コンピュータ視覚制御装置、自律制御装置等)、1つまたは複数の慣性測定ユニット(IMU)150(本明細書では個別に「IMU 150」と称し、総称して「IMU 150」と称する)、1つまたは複数のステレオカメラ155、無線通信コンポーネント160、および1つまたは複数のセンサデバイス165を含む。コントローラ145は、機械105の動作を制御および/または監視してもよい。例えば、コントローラ145は、オペレータ制御装置124からの信号、IMU 150からの信号、ステレオカメラ155からの信号、無線通信コンポーネント160からの信号、および/または1つまたは複数のセンサデバイス165からの信号に基づいて、機械105の動作を制御および/または監視してもよい。
【0019】
図1に示すように、IMU 150は、機械105のコンポーネントまたは部分、例えば機械本体115、ブーム130、スティック135および機械作業ツール140の異なる位置に取り付けられる。IMU 150は、IMU 150が取り付けられている機械105のコンポーネントの位置および向きを示す信号を受信、生成、記憶、処理、および/または提供してもよい1つまたは複数のデバイスを含む。例えば、IMU 150は、1つまたは複数の加速度計および/または1つまたは複数のジャイロを含んでもよい。1つまたは複数の加速度計および/または1つまたは複数のジャイロは、基準フレームに対するIMU 150の位置および向きを判定するために使用可能な信号を生成して提供し、それに応じてアセンブリの位置および向きを判定する。本明細書で論じた例はIMU 150に関するものであるが、本開示は、機械105のコンポーネントの位置および向きを判定するために使用してもよい1つまたは複数の他のタイプのセンサデバイスを使用するのに適している。
【0020】
1つまたは複数の第1IMU 150は、ブーム130および/またはスティック135上に配置してもよい。1つまたは複数の第1IMU 150は、ブーム130および/またはスティック135の位置および/または向きを判定するために使用してもよい信号を生成してもよく、この信号は、ブーム130および/またはスティック135の位置および/または向きを示すリンク姿勢データを生成するために使用してもよい。1つまたは複数の第2IMU 150は、機械作業ツール140上に配置され得る。1つまたは複数の第2IMU 150は、機械作業ツール140の位置および/または向きを判定するために使用できる信号を生成してもよく、この信号は、機械作業ツール140の位置および/または向きを示す作業具姿勢データを生成するために使用してもよい。1つまたは複数の第3IMU 150は、機械本体115上に配置してもよい。1つまたは複数の第3IMU 150は、機械本体115の位置および/または向きを判定するために使用できる信号を生成してもよく、この信号は、機械本体115の位置および/または向きを示す機械姿勢データを生成するために使用してもよい。
【0021】
IMU 150は、リンク姿勢データ、作業具姿勢データ、および/または機械姿勢データを定期的に(例えば、30秒毎、毎分毎、2分毎など)コントローラ145に提供してもよい。追加的にまたは代替的に、IMU 150は、トリガイベントに基づいて、リンク姿勢データ、作業具姿勢データ、および/または機械姿勢データをコントローラ145に提供してもよい。本明細書で使用されるトリガイベントは、コントローラ145からの要求、機械本体115の動きの検出、機械作業ツール140の動きの検出、ブーム130および/またはスティック135の動きの検出、オペレータからの要求、バックグラウンドシステムからの要求、機械105が新しいタスクを開始する、機械105が掘削サイクルを完了した後、機械作業ツール140が掘削を完了した後、および/または材料を投棄する前のスイング中に機械105が異なる地理的場所に再配置される、などの例を含んでもよい。
【0022】
ステレオカメラ155は、機械105が掘削作業を実行する地表面を含む環境データを取得および提供してもよい1つまたは複数のデバイスを含んでもよい。このデータは、環境の画像データ(例えば、3次元(3D)画像データ)を含んでもよい。ステレオカメラ155は、定期的(例えば、毎秒、1秒おき、および他の例)に、および/または、トリガイベントに基づいて、コントローラ145にデータを提供してもよい。本明細書で説明される例はステレオカメラ155に関するが、本開示は、1つまたは複数の他のタイプのデバイス、例えば、非ステレオカメラ、光検出および測距(LIDAR)デバイス、および/または無線検出および測距(レーダ)デバイス、ならびに環境に関するデータを提供するように構成されたデバイス(例えば、センサデバイス)の他の例を使用するのに適している。ステレオカメラ155に対する以下のいかなる参照も、特に別段の記載がない限り、これらの他のデバイスを含むものとして理解されるべきである。
【0023】
図1は、ブーム130、スティック135および機械作業ツール140に設けられたステレオカメラ155を示している。実際には、機械105は、1つまたは複数の追加のステレオカメラ155、より少ないステレオカメラ155、および/または異なる配置のステレオカメラ155(例えば、機械105の他の部分に配置されたステレオカメラ155)を含んでもよい。
【0024】
無線通信コンポーネント160は、本明細書で説明するように、機械105が他のデバイスと通信することを可能にする1つまたは複数のデバイスを含む。無線通信コンポーネント160は、トランシーバ、別個の送信機および受信機、アンテナ、ブルートゥーストランシーバ、または別のタイプの無線ローカル領域ネットワークトランシーバなどの例を含んでもよい。無線通信コンポーネント160は、本明細書で説明するように、データを(例えば、1つまたは複数のステレオカメラ155から)1つまたは複数のリモートコンピューティングデバイスに送信し、1つまたは複数のリモートコンピューティングデバイスから掘削情報を受信してもよい。コントローラ145は、掘削情報を用いて、機械105に地表面で掘削作業を行わせることができる。
【0025】
無線通信コンポーネント160は、1つまたは複数のステレオカメラ155からの連続データストリームの形式でデータを送信するように、または代替的に、送信バーストの形式でデータを送信するように構成されてもよい。いくつかの例では、無線通信コンポーネント160は、衛星デバイスを介して、基地局を介して、および/または、無線通信コンポーネント160が、以下で説明するように、1つまたは複数のリモートコンピューティングデバイスにデータを送信し、1つまたは複数のリモートコンピューティングデバイスからデータを受信することを可能にする別のデバイスを介して、データを送信し、掘削情報を受信してもよい。
【0026】
無線通信コンポーネント160は、セルラーネットワーク(例えば、5Gネットワーク、LTE(Long Term Evolution)ネットワーク、符号分割多元接続(CDMA)ネットワーク、3Gネットワーク、4Gネットワーク、または他のタイプのセルラーネットワーク)、インターネット、クラウドコンピューティングネットワーク、無線ローカル領域ネットワーク(LAN)、イントラネット、光ファイバベースネットワーク、ワイド領域ネットワーク(WAN)、公衆地表面移動ネットワーク(PLMN)、メトロポリタンネットワーク(MAN)、電話ネットワーク(例えば、公衆交換電話ネットワーク(PSTN))、プライベートネットワーク、アドホックネットワーク、および/またはこれらまたは他のタイプのネットワークの組み合わせのような、1つまたは複数の有線および/または無線ネットワークを含むネットワークを介して、1つまたは複数のリモートコンピューティングデバイスと通信してもよい。
【0027】
無線通信コンポーネント160は、(例えば、ブルートゥースまたは別のタイプの無線ローカル領域ネットワークを介して)機械105と、機械105から独立した1つまたは複数の他の機械と通信することを可能にしてもよい。例えば、無線通信コンポーネント160は、本明細書で説明するように、1つまたは複数の他の機械の1つまたは複数のセンサデバイスから外部機械データを受信してもよい。外部機械データは、地表面に関するデータを含んでもよい。外部機械データは、1つまたは複数のステレオカメラ155からのデータによって識別される1つまたは複数のビューとは異なる地表面の1つまたは複数のビューを識別してもよい。
【0028】
追加的にまたは代替的に、外部データを受信するために、無線通信コンポーネント160は、本明細書で説明するように、1つまたは複数の他の機械に外部機械データを1つまたは複数のリモートコンピューティングデバイスに送信させるための命令を(例えばコントローラ145から)1つまたは複数の他の機械に送信してもよい。いくつかの場合には、データ(例えば、1つまたは複数のステレオカメラ155からの)および外部機械データは、地表の包括的なビューを形成してもよい。本明細書で説明するように、1つまたは複数のリモートコンピューティングデバイスは、データ(例えば1つまたは複数のステレオカメラ155から)および外部機械データを処理して掘削情報を生成してもよい。
【0029】
センサデバイス165は、機械105の1つまたは複数のコンポーネントに関する信号を受信、生成、記憶、処理、および/または提供してもよい1つまたは複数のデバイスを含む。例えば、センサデバイス165は、例えば、油圧変位センサ、圧力センサ(例えば、油圧シリンダ用)、土壌湿度センサ、機械速度センサ、エンジン速度センサ、および/または全地球測位システム(GPS)デバイスなどの例を含んでもよい。
【0030】
図1にさらに示すように、例示的な実施形態100は、衛星デバイス170に関連し、1つまたは複数のリモートコンピューティングデバイス175-1~175-N(N≧1)(以下、リモートコンピューティングデバイス175と総称し、個別にリモートコンピューティングデバイス175と称する)を含み、基地局180にも関連する。衛星デバイス170は、高速通信のために構成された1つまたは複数のデバイス(例えば、高速通信のために構成された静止衛星)を含んでもよい。例えば、衛星デバイス170は、高速インターネットアクセスを(例えば、無線通信コンポーネント160を介して機械105に)提供するように構成されてもよい。
【0031】
リモートコンピューティングデバイス175は、本明細書で説明されるように、データおよび/または外部機械データに基づいて掘削情報を生成するように構成された1つまたは複数のデバイスを含んでもよい。リモートコンピューティングデバイス175は、単一のコンピューティングデバイス(例えば、単一のサーバ)または複数のコンピューティングデバイス(例えば、複数のサーバ)、例えば、1つまたは複数のデータセンター内の複数のコンピューティングデバイスとして実装してもよい。いくつかの例では、リモートコンピューティングデバイス175は、クラウドコンピューティング環境に含まれてもよい。追加的にまたは代替的に、リモートコンピューティングデバイス175をバックグラウンドシステムに含めてもよい。
【0032】
基地局180は、セルラーネットワークに(例えば、上述のように)接続してもよい。例えば、基地局180は、5Gネットワークに接続してもよい。基地局180は、基地局トランシーバ局、無線基地局、ノードB、エボリューションノードB(eNB)、次世代ノードB(gNB)、基地局サブシステム、セルラーサイト、セルラータワー(例えば、セルラータワー、携帯電話タワーなど)、アクセスポイント、送受信ポイント(TRP)、無線アクセスノード、マクロセル基地局、マイクロセル基地局、スキンセル基地局、および/またはフェムトセル基地局、または同様のタイプのデバイスを含んでもよい。
【0033】
上述したように、図1は、一例として提供される。他の例は、図1を参照して説明した例とは異なる場合がある。
【0034】
図2は、本明細書に記載された例示的なシステム200の概略図である。図2に示すように、システム200は、コントローラ145、IMU 150、ステレオカメラ155、無線通信コンポーネント160、1つまたは複数のセンサデバイス165、1つまたは複数のリモートコンピューティングデバイス175を含む。システム200は、所有権に関係なく、衛星デバイス170、基地局180、およびセンサデバイス220を含む機械210に関連してもよい。機械210は、機械105と同様であっても、機械105とは異なっていて例えば、機械105が掘削機である場合、機械205は、異なる掘削機であってもよいし、自動投棄トラックのような異なるタイプの機械であってもよい。センサデバイス220は、例えば、ステレオカメラ、LIDARデバイス、無線検出および測距(レーダ)デバイスなどを含んでもよい。
【0035】
無線通信コンポーネント160は、衛星デバイス170または基地局180を介して1つまたは複数のリモートコンピューティングデバイス175との無線接続を確立するように構成してもよい(例えば、衛星デバイス170または基地局180との無線接続を確立し、その後、1つまたは複数のリモートコンピューティングデバイスとの無線接続を確立する)。無線通信コンポーネント160は、定期的に(例えば、30秒毎、分毎などの例)、および/またはトリガイベントに基づいて(例えば、コントローラ145からの要求に基づいて、機械105が自律モードで動作しているという指示の受信に基づいて、無線通信コンポーネント160が起動されていることに基づいて、などの例)無線接続の確立を試みるように構成されてもよい。
【0036】
無線通信コンポーネント160は、(1つまたは複数のステレオカメラ155によって取得された)データを、処理のために無線接続を介して1つまたは複数のリモートコンピューティングデバイス175に送信してもよい。1つまたは複数のリモートコンピューティングデバイス175は、処理済みデータを生成するためにデータを処理してもよく、無線通信コンポーネント160は、無線接続を介して1つまたは複数のリモートコンピューティングデバイス175から処理済みデータを受信してもよい。
【0037】
無線通信コンポーネント160は、衛星デバイス170との無線接続の確立よりも優先的に(例えば、基地局180との無線接続の確立よりも優先的に)構成されてもよい。例えば、無線通信コンポーネント160は、基地局180の信号強度が衛星デバイス170の信号強度閾値差を超えない場合、衛星デバイス170との無線接続を確立するように構成されうる。別の例として、無線通信コンポーネント160は、基地局180の信号強度にかかわらず、衛星デバイス170の信号強度が基準を満たす場合に、衛星デバイス170との無線接続を確立するように構成してもよい。
【0038】
他の例を除いて、無線通信コンポーネント160は、閾値の差異を識別する情報を事前に構成してもよく、閾値の差異を識別する情報を機械105のオペレータのデバイスから受信してもよく、閾値の差異を識別する情報をバックエンドシステムから受信してもよい。代替的に、衛星デバイス170との無線接続を優先的に確立するために、無線通信コンポーネント160は、衛星デバイス170に関連して上述した方法と同様の方法で、基地局180との無線接続を優先的に確立するように(例えば、衛星デバイス170との無線接続を確立するよりも)構成されてもよい。
【0039】
いくつかの実施形態では、無線通信コンポーネント160は、衛星デバイス170の相対的な信号強度および基地局180の信号強度に基づいて無線接続を確立するように構成されてもよい。例えば、無線通信コンポーネント160は、衛星デバイス170の信号強度が基地局180の信号強度を超えるとき、衛星デバイス170との無線接続を確立するように構成されてもよい。代替的に、無線通信コンポーネント160は、基地局180の信号強度が衛星デバイス170の信号強度を超える場合、基地局180との無線接続を確立するように構成されてもよい。
【0040】
無線通信コンポーネント160(および/またはコントローラ145)は、衛星デバイス170の信号強度および基地局180の信号強度を周期的に(例えば、15秒毎、30秒毎、および他の例で)判定してもよい。この点において、無線通信コンポーネント160は、衛星デバイス170の信号強度および基地局180の信号強度を周期的に判定することに基づいて、衛星デバイス170との間で無線接続を確立するか、または基地局180との間で無線接続を確立するかを周期的に交互に行うことができる。
【0041】
定期的に交互に無線接続を確立する例として、無線通信コンポーネント160が衛星デバイス170との無線接続を確立したと仮定する。無線通信コンポーネント160(および/またはコントローラ145)が、基地局180の信号強度が衛星デバイス170の信号強度を上回る(またはその逆も同様)と判定した場合、無線通信コンポーネント160は、衛星デバイス170との無線接続を終了し、基地局180との無線接続を確立してもよい。
【0042】
追加的にまたは代替的に、信号強度を周期的に判定するために、無線通信コンポーネント160(および/またはコントローラ145)は、トリガイベント(例えば、コントローラ145からの要求に基づく、機械105の動作変化の指示に基づく、など)に基づいて、衛星デバイス170の信号強度および基地局180の信号強度を判定してもよい。無線通信コンポーネント160は、トリガイベントに基づいて、衛星デバイス170との無線接続を確立するか、または基地局180との無線接続を確立するかを交互に行ってもよい。
【0043】
衛星デバイス170との無線接続の確立と基地局180との無線接続の確立とを交互に(例えば、定期的に、および/またはトリガイベントに基づいて)行うことによって、無線通信コンポーネント160は、1つまたは複数のリモートコンピューティングデバイス175との通信を維持し、データの送信および/または掘削情報の受信の中断を最小限にしようとしてもよい。データの送信および/または掘削情報の受信の中断を防止することにより、無線通信コンポーネント160および/またはコントローラ145は、機械105によって実行される動作の中断を防止してもよい。
【0044】
いくつかの例では、衛星デバイス170の信号強度が信号強度閾値を満たさない場合、無線通信コンポーネント160は、衛星デバイス170との無線接続を確立してもよくないと判定してもよい。同様に、基地局180の信号強度が信号強度閾値を満たさない場合、無線通信コンポーネント160は、基地局180との無線接続を確立してもよくないと判定してもよい。衛星デバイス170の信号強度および基地局180の信号強度の両方が信号強度閾値を満たさない場合、コントローラ145は、データが機械105上でローカルに処理されることを判定してもよい。無線通信コンポーネント160は、信号強度の閾値を識別する情報を事前に構成してもよく、信号強度の閾値を識別する情報をオペレータの装置から受信してもよく、信号強度の閾値を識別する情報をバックエンドシステムから受信してもよい、等のように構成してもよい。
【0045】
無線通信コンポーネント160は、機械学習モデルの出力に基づいて無線接続を確立するように構成してもよい。例えば、無線通信コンポーネント160(および/またはコントローラ145)は、機械学習モデルを使用して、無線通信コンポーネント160が衛星デバイス170と無線接続を確立するか否か、無線通信コンポーネント160が基地局180と無線接続を確立するか否か、または無線通信コンポーネント160が衛星デバイス170または基地局180と無線接続を確立するか否かを予測してもよい。
【0046】
例えば、コントローラ145は、機械105の現在の地理的場所および/または現在の地理的領域を識別する情報、現在の地理的場所および/または現在の地理的領域内の1つまたは複数の障害物を識別する情報(例えば、1つまたは複数の障害物の1つまたは複数の画像)、一日の時間を識別する情報、および/または予測気象状態を識別する情報などを入力として機械学習モデルに提供してもよい。他の例を除いて、入力は、オペレータのデバイス、1つまたは複数のステレオカメラ155、および/または1つまたは複数のセンサデバイス165から取得してもよい。入力に基づいて、機械学習モデルは、無線通信コンポーネント160が衛星デバイス170と無線接続を確立するか、基地局180と無線接続を確立するか、または衛星デバイス170または基地局180と無線接続を確立しないかを示す予測接続情報を出力として提供してもよい。
【0047】
機械学習モデルは、地理的場所および/または地理的領域の履歴データ、地理的場所および/または地理的領域の障害物の履歴データ(例えば、画像)、1日の履歴時間、地理的場所および/または地理的領域の気象条件の履歴データ、地理的場所および/または地理的領域の衛星デバイス170および基地局180の履歴信号強度(例えば、履歴障害物、履歴時間、履歴気象条件などによる)、地理的場所および/または地理的領域の衛星デバイス170および基地局180の履歴遅延、および/または確立された無線接続を示す履歴データ(例えば、衛星デバイス170または基地局180)などを含む履歴データを使用して訓練され得る。
機械学習モデルは、離散的なハードウェアコンポーネントまたはソフトウェアコンポーネント(図示せず)であることができるトレーナデバイスによって生成され、訓練されてもよい。他の例では、トレーナデバイスは、バックグラウンドシステム内に含まれてもよく、または1つまたは複数のリモートコンピューティングデバイス175内に含まれてもよい。トレーナデバイスは、コントローラ145および/または無線通信コンポーネント160による使用のために機械105に機械学習モデルを提供してもよい。トレーナデバイスは、機械学習モデルを更新し、機械学習モデルを機械105に(例えば、スケジュールベースで、オンデマンドベースで、トリガベースで、および/または定期的にベースで)更新して提供してもよい。いくつかの場合には、コントローラ145は、追加の訓練データ(例えば、上記の履歴データと同様の追加の履歴データ)を取得し、追加の訓練データに基づいて機械学習モデルを再訓練させてもよい。例えば、コントローラ145は、機械学習モデルを再訓練するために、追加の訓練データをトレーナデバイスに提供してもよい。機械学習モデルは、定期的におよび/またはトリガイベントに基づいて再訓練されてもよい。いくつかの場合には、機械学習モデルは、1つまたは複数のリモートコンピューティングデバイス175上に実装されてもよい。
【0048】
機械学習モデルを訓練する際に、トレーナデバイスは、訓練データを訓練セット(例えば、機械学習モデルを訓練するためのデータセット)、検証セット(例えば、機械学習モデルのフィッティングを評価するためのデータセットおよび/または機械学習モデルを微調整するためのデータセット)、テストセット(例えば、機械学習モデルの最終的なフィッティングを評価するためのデータセット)および/または類似のものに分割してもよい。トレーナデバイスは、訓練データを最小の特徴セットに低減するために、前処理および/または次元低減を実行してもよい。トレーナデバイスは、機械学習モデルを訓練するための処理を削減するために、この最小特化セット上で機械学習モデルを訓練してもよく、分類技術を最小特化セットに適用してもよい。
【0049】
トレーナデバイスは、分類技術、例えば、論理回帰分類技術、ランダム森林分類技術、勾配強化機械学習(GBM)技術、および/または類似の技術を使用して、分類結果(例えば、衛星デバイス170または基地局180との無線接続が確立されているか否か)を判定してもよい。分類技術を使用することに加えて、または分類技術を使用する代わりに、トレーナデバイスはナイーブベイズ分類器技術を使用してもよい。この場合、デバイスは、最小特徴セットの訓練データを領域および/またはブランチに分割するために2進再帰分割を実行し、予測(例えば、衛星デバイス170または基地局180との無線接続が確立されるか否か)を実行するために、この分割および/またはブランチを使用してもよい。再帰的分割の使用に基づいて、トレーナデバイスは、データ項目の手動、線形順序付けおよび分析に関するコンピューティングリソースの使用を低減してもよく、それにより、数千、数百万、または数十億のデータ項目を使用してモデルを訓練してもよく、少ないデータ項目を使用するよりも正確なモデルをもたらすことができる。
【0050】
トレーナデバイスは、対象専門家(例えば、機械105および/または1つまたは複数の機械に関連する1つまたは複数のオペレータ)から機械学習モデルへの入力を受信することを含む監視訓練プロセスを使用して機械学習モデルを訓練してもよく、これは、監視なし訓練プロセスと比較して機械学習モデルを訓練するための時間量、処理リソース量および/または同様の量を低減することができる。トレーナデバイスは、ニューラルネットワーク技術、潜在的意味索引技術、および/または同様の技術のような、1つまたは複数の他のモデル訓練技術を使用してもよい。
【0051】
例えば、トレーナデバイスは、人工ニューラルネットワーク処理技術を実行して(例えば、2層フィードフォワードニューラルネットワークアーキテクチャ、3層フィードフォワードニューラルネットワークアーキテクチャなどを使用して)、衛星デバイス170または基地局180との無線接続を確立するモードに関するモード識別を実行してもよい。この場合、人工ニューラルネットワーク処理技術を使用することにより、ノイズ、不正確または不完全なデータに対してよりロバストになり、また、人間のアナリストまたはシステムが検出できないパターンおよび/または傾向を、あまり複雑ではない技術を使用して、トレーナデバイスが検出できるようにすることにより、トレーナデバイスによって生成される機械学習モデルの精度を向上させることができる。
【0052】
以下の例では、機械105が作業現場の地表面にあり、機械105が地表面の領域で掘削作業(例えば自律的または半自律的)を行うと仮定している。さらに、1つまたは複数のステレオカメラ155が地表面に関するデータを取得し、上記と同様の方法でそのデータをコントローラ145に提供したと仮定する。コントローラ145は、1つまたは複数のステレオカメラ155からデータを受信し、掘削情報を生成するために処理するために1つまたは複数のリモートコンピューティングデバイス175にデータを送信するか、または機械105上でローカルにデータを処理するかを判定してもよい。
【0053】
データ伝送が処理のために1つまたは複数のリモートコンピューティングデバイス175に送信されるか、または機械105上でローカルに処理されるかを判定する一部として、コントローラ145は、無線接続が可能であるか否かを判定してもよい。無線接続は、無線通信コンポーネント160が衛星デバイス170または基地局180と無線接続を確立してもよい場合、または無線通信コンポーネント160が既に無線接続を確立しており、(無線接続の)データ伝送速度が伝送速度閾値を満たす場合に実行可能である。伝送レート閾値は、オペレータによって判定されてもよく、バックグラウンドシステムによって判定されてもよく、機械105のメモリに記憶されてもよい、などである。無線接続が可能な場合、コントローラ145は、無線通信コンポーネント160に、無線接続を介して1つまたは複数のリモートコンピューティングデバイス175にデータを送信させてもよい。代替的に、無線接続が実行可能でない場合、コントローラ145は、機械105上でデータをローカルに処理させてもよい。無線接続は、無線通信コンポーネント160が衛星デバイス170または基地局180との無線接続を確立できない場合、または無線通信コンポーネント160が既に無線接続を確立しており、データ伝送速度が伝送速度閾値を満たさない場合には、実行できないことがある。
【0054】
いくつかの例では、コントローラ145は、無線接続が可能であるか否かを示す無線接続情報を無線通信コンポーネント160から受信してもよく、コントローラ145は、無線接続情報に基づいて無線接続が可能であるか否かを判定してもよい。いくつかの例では、コントローラ145は、無線通信コンポーネント160が(例えば、衛星デバイス170または基地局180と)無線接続を確立する必要があるか否かを判定し、無線通信コンポーネント160が衛星デバイス170と無線接続を確立するか基地局180と無線接続を確立するか否かの判定に基づいて、無線接続を確立するための命令を無線通信コンポーネント160に提供してもよい。
【0055】
コントローラ145は、命令を提供した後、無線通信コンポーネント160から無線接続情報を受信し、無線接続情報に基づいて無線接続が可能であるか否かを判定してもよい。無線通信コンポーネント160が無線接続を確立する必要があるか否かの判定に基づいて命令を提供する代わりに、コントローラ145は、無線通信コンポーネント160が無線接続を確立してもよいか否かを判定することなく、無線接続を確立する命令を無線通信コンポーネント160に提供してもよい。例えば、コントローラ145は、受信したデータに基づいて命令を提供してもよい。
【0056】
無線通信コンポーネント160が無線接続を確立するべきであるか否かを判定する一部として、コントローラ145は、衛星デバイス170の信号強度を識別する情報、または基地局180の信号強度を識別する情報を無線通信コンポーネント160から取得してもよい。衛星デバイス170の信号強度または基地局180の信号強度が信号強度閾値を満たすとき、コントローラ145は、無線接続を確立するための命令を無線通信コンポーネント160に提供してもよい。逆に、衛星デバイス170の信号強度および基地局180の信号強度の両方が信号強度閾値を満たさない場合、コントローラ145は、無線通信コンポーネント160が(例えば、衛星デバイス170とまたは基地局180と)無線接続を確立してもよくないと判定してもよい。コントローラ145は、無線通信コンポーネント160が無線接続を確立してもよくないという判定に基づいて、(1つまたは複数のステレオカメラ155からの)データがローカルに処理されるべきであると判定してもよい。
【0057】
コントローラ145は、無線接続を確立するための命令を無線通信コンポーネント160に提供すると仮定する。この命令に基づいて、コントローラ145は、上記と同様の方法で(例えば、衛星デバイス170または基地局180と)無線接続を確立し、無線接続が確立されたという表示を提供してもよい。コントローラ145は、(例えば、無線通信コンポーネント160からの指示に基づいて)無線接続が確立されたと判定すると仮定する。無線接続が可能であるとの判定に基づいて、コントローラ145は、無線通信コンポーネント160に、無線接続を介して処理のためのデータ(1つまたは複数のステレオカメラ155から)を1つまたは複数のリモートコンピューティングデバイス175に送信させてもよい。
【0058】
データは、1つまたは複数のステレオカメラ155によって取得された画像および/または画像に基づいて生成された視差マップを含んでもよい。いくつかの場合には、機械105は、LIDARデバイスを含んでもよい。この場合、データは、LIDARデバイスによって得られたデータ(例えば、2次元半データ)に基づく環境の3D点群を含んでもよい。
【0059】
いくつかの場合には、コントローラ145は、無線通信コンポーネント160が1つまたは複数の他の機械210の1つまたは複数のセンサデバイス220から外部機械データを受信したという指示を受信してもよい。外部機械データは、地表面に関するデータを含んでもよい。コントローラ145は、無線通信コンポーネント160に、無線接続を介して1つまたは複数のリモートコンピューティングデバイス175に外部機械データを送信させてもよい。追加的にまたは代替的に、コントローラ145は、無線通信コンポーネント160に命令を1つまたは複数の他の機械210に送信させて、1つまたは複数の他の機械210に外部機械データを1つまたは複数のリモートコンピューティングデバイス175に送信させてもよい。データおよび/または外部機械データは、周期的に(例えば、例では、5秒、10秒毎に)および/またはトリガイベントに基づいて、1つまたは複数のリモートコンピューティングデバイス175に送信されてもよい。
【0060】
コントローラ145は、無線通信コンポーネント160に、掘削作業に関する予想されるメトリック情報を、無線接続を介して1つまたは複数のリモートコンピューティングデバイス175に送信させてもよい。予測メトリック情報は、異なるタイプのメトリックを識別する情報、例えば、各掘削サイクルの予測される時間量、各掘削サイクルの間に除去されるべき材料の予測される体積、領域内で掘削作業が完了する予測される時間量、各掘削サイクルおよび/または掘削作業の間に消費される予測される燃料量、各掘削サイクルおよび/または掘削作業の間に予測される作業具摩耗量などを識別する例を含んでもよい。いくつかの例では、期待計量情報は、各掘削期間の期待された時間量を識別する第1重みの情報、各掘削期間中に除去される材料の期待された体積を識別する第2重みの情報などを含んでもよい。1つまたは複数の重みは、1つまたは複数の他の重みとは異なることができる。
【0061】
重みは、オペレータのデバイス、バックグラウンドシステム等によって提供され得る。重みは、機械105のタイプ、機械105が位置する地理的領域、掘削作業が実行されている日付および/または時間、地理的領域における気象条件、機械105の使用量などの例に基づいてもよい。例えば、機械タイプに関しては、第1機械タイプ(例えば、掘削機)の作業具の交換に関連するコスト(例えば、リソース、複雑性、および/または時間)は、第2機械タイプ(例えば、スリップローダ)の作業具の交換に関連するコスト(例えば、リソース、複雑性、および/または時間)を上回ることができる。この点で、掘削機の作業具摩耗を最小化することは、スリップステアリングローダよりも有利である可能性がある。これにより、予想される作業具摩耗量の重みは、第1機種の他の計量物の重みを上回ることができ、予想される作業具摩耗量の重みは、第2機種の他の計量物の重みよりも小さくしてもよい。すなわち、少なくとも2種類の機械で行ってもよい作業については、作業コストが高い機械よりも、作業コストが低い機械を優先的に使用してもよい。上記の異種機械間の比較は、作業開始前に、シミュレーション中に、または現場試験によって行ってもよい。作業が開始されると、(シミュレーションの結果として)選択された機械を使用してもよい。いくつかの場合には、選択された機械の経路計画を最適化するためにコストを使用してもよい。
【0062】
別の例として、地理的領域に関しては、第1地理的領域内の地表面は、第2地理的領域内の地表面よりも硬くてもよい。この点では、第1地理的領域における作業具摩耗率を第2地理的領域における最小化することを確実にすることが有利である可能性がある。したがって、作業具摩耗の予想される量のコスト(または重み付けされたコスト)は、第1地理的領域の他のメトリックのコスト(または重み付けされたコスト)を上回ることができ、一方、作業具摩耗の予想される量のコスト(または重み付けされたコスト)は、第2地理的領域の他のメトリックのコスト(または重み付けされたコスト)よりも小さくなることができる。作業具摩耗を低減するための最適な経路を選択してもよく、この場合、第1地理的領域および第2地理的領域について、作業具摩耗の予想される量の重量を増加させてもよい。
【0063】
さらに別の例として、日付および/または時間に関して、第1日および/または第1時間は、第2日および/または第2時間に関連付けられた日光量を超える日光量に関連付けられてもよい。この点で、掘削作業が初日および/または初日よりも短い時間で翌日および/または第2時間に完了することを確実にすることが有利である可能性がある。これにより、掘削作業を完了するための予想される時間量の重みは、翌日および/または第2時間の間に他の計量物の重みを超えることができ、掘削作業を完了するための予想される時間量の重みは、初日および/または第1時間の間に他の計量物の重みよりも小さくなり得る。コントローラ145は、機械105のメモリ、バックグラウンドシステム、機械105のオペレータのデバイスなどの例から、期待されるメトリック情報を取得してもよい。
【0064】
コントローラ145は、無線通信コンポーネント160に、無線接続を介して1つまたは複数のリモートコンピューティングデバイス175に地表面領域に関する領域情報を送信させることができる。領域情報は、領域の大きさを識別する情報(例えば、領域の深さ、領域の直径、領域の長さ、領域の幅などの例)、領域の地表面内での位置、領域の幾何学的形状などの例を含んでもよい。代替的に、一例では、1つまたは複数のリモートコンピューティングデバイス175は、バックグラウンドシステム、機械105のオペレータのデバイス、および1つまたは複数の他の機械210から領域情報を受信してもよい。
【0065】
1つまたは複数のリモートコンピューティングデバイス175は、データ、外部データ、期待されるメトリック情報、および/または地域情報を受信してもよい。1つまたは複数のリモートコンピューティングデバイス175は、データ、外部データ、期待されるメトリック情報、および/または領域情報を処理して掘削情報を生成してもよい。データおよび/または外部データ(以下、「データ」という)を処理するとき、1つまたは複数のリモートコンピューティングデバイス175は、データに対して1つまたは複数の動作(例えば、フィルタリング動作)を実行してもよい。例えば、他の例を除いて、1つまたは複数のリモートコンピューティングデバイス175は、データからノイズ(例えば、異常なデータ)の量を除去または低減するためにデータを処理してもよく、および/または、データ中の歪みの可能性があり、データが歪みを呈する原因となる可能性がある項目を除去してもよい。例えば、1つまたは複数のリモートコンピューティングデバイス175は、ノイズ(例えば、異常データ)の量を除去または低減し、および/または項目などの例を除去するために、データのフィルタリング(例えば、視差マップのフィルタリング)を実行してもよい。
【0066】
フィルタリングを実行することに関して、他の例を除いて、1つまたは複数のリモートコンピューティングデバイス175は、空間ノイズ低減フィルタリング、時間/時間フィルタリング、および/またはデジタル信号処理技術を使用してデータを処理してもよい。このようにデータを処理した結果、1つまたは複数のリモートコンピューティングデバイス175は、データの解像度を向上させることができる(例えば、データの平滑性のメトリックを向上させる)。
【0067】
追加的にまたは代替的に、ノイズを除去または低減し、および/またはアイテムを除去するために、1つまたは複数のリモートコンピューティングデバイス175は、データから画像オクルージョンを除去するためにデータを処理してもよい。例えば、1つまたは複数のリモートコンピューティングデバイス175は、1つまたは複数のステレオカメラ155の視線を遮っている可能性のある1つまたは複数のアイテムを識別し、除去するために1つまたは複数のコンピュータ視覚技術を使用してもよい。例えば、1つまたは複数のリモートコンピューティングデバイス175は、1つまたは複数のアイテムを識別するために、1つまたは複数のオブジェクト検出技術(例えば、シングルショット検出器(SSD)技術、YOLO(You One-Only)技術、および/または同様の技術)を使用してデータを分析してもよい。画像オクルージョンを除去する追加または代替として、1つまたは複数のリモートコンピューティングデバイス175は、データの1つまたは複数の部分にデータを挿入してもよい。一例として、1つまたは複数のリモートコンピューティングデバイス175は、データを補間するために、(例えば、1つまたは複数の画像処理技術を使用して)データに画像処理を実行してもよい。
【0068】
上記の1つまたは複数の動作を実行することにより、1つまたは複数のリモートコンピューティングデバイス175は、データ品質の測定を強化し、機械105の動作を容易にする有用な情報を識別する可能性を高めることができる。上記の1つまたは複数の動作を実行することに基づいて、1つまたは複数のリモートコンピューティングデバイス175は、フィルタリングされたデータを生成してもよい。1つまたは複数のリモートコンピューティングデバイス175は、フィルタリングされたデータを処理して(例えば、セマンティックセグメンテーション技術を使用して)、地表面上の1つまたは複数のピットまたは溝に関する情報、地表面上の1つまたは複数の材料のスタックに関する情報、材料に関する情報、および/または機械作業ツール140内の材料に関する情報などの例を判定してもよい。
【0069】
他の例を除いて、1つまたは複数のピットまたは溝に関する情報は、1つまたは複数のピットまたは溝の場所、1つまたは複数のピットまたは溝の深さ、および/または1つまたは複数のピットまたは溝の幾何学的形状(または形状)を含んでもよい。1つまたは複数の杭に関する情報は、1つまたは複数の杭の場所、1つまたは複数の杭の高さ、1つまたは複数の杭の幾何学的形状(または形状)、および/または1つまたは複数の杭の体積などの例を含んでもよい。材料に関する情報は、砂、粘土および/または硬い岩石等の材料の種類を含んでもよい。他の例に加えて、機械作業ツール140内の材料に関する情報は、材料の体積、材料の幾何学的形状(または形状)、および/または機械作業ツール140の充填レベルを含んでもよい。1つまたは複数のピットまたは溝に関する情報、1つまたは複数の杭に関する情報、および/または材料に関する情報を表面データに含めてもよい。
【0070】
表面データは、地表面の現在の地形を識別してもよい。1つまたは複数のリモートコンピューティングデバイス175は、地表面の現在の地形と掘削作業後の地表面の予想される地形とを比較して、材料が除去される地表面の1つまたは複数の第1部分、材料が添加される地表面の1つまたは複数の第2部分、などの例を判定してもよい。この領域情報により、予想される地形を認識してもよい。
【0071】
地表面の現在の地形と地表面の予想される地形とを比較した結果に基づいて、1つまたは複数のリモートコンピューティングデバイス175は、複数の一連の掘削場所(および連続する掘削場所間の経路)および対応する投棄場所を識別してもよい。いくつかの場合には、1つまたは複数のリモートコンピューティングデバイス175が、予想されるメトリック情報に関して、掘削場所および対応する投棄場所の複数のシーケンスを評価してもよい。例えば、(複数のシーケンスのうちの)第1シーケンスは、掘削周期毎に予想される時間量を満たし、(複数のシーケンスのうちの)第2シーケンスは、掘削周期毎に除去される材料の予想される量を満たし、(複数のシーケンスのうちの)第3シーケンスは、当該領域で掘削作業が完了する予想される時間量を満たし、(複数のシーケンスのうちの)第4のシーケンスは、掘削周期毎および/または掘削作業中に消費される予想燃料量を満たし、(複数のシーケンスのうちの)第5のシーケンスは、掘削周期毎に予想される時間量と掘削周期毎および/または掘削作業中に消費される予想燃料量を満たす。
【0072】
1つまたは複数のリモートコンピューティングデバイス175は、掘削場所および対応する投棄場所の複数のシーケンスを評価してもよく、掘削場所および対応する投棄場所の最適なシーケンスを識別してもよく、「最適」は、時間、作業機械の移動数、および/またはタスクの完了に関係する燃料、および/または移動する材料の量に関する1つまたは複数の改善されたシーケンスを提供することを意味する。最適なシーケンスは、複数のシーケンスの総加重コストのうちの最も低い総加重コストに関連付けられるので、最適であり得る。1つまたは複数のリモートコンピューティングデバイス175は、機械学習モデルを使用して掘削場所および対応する投棄場所の複数のシーケンスを識別し、掘削場所および対応する投棄場所の最適なシーケンスを識別してもよい。例えば、1つまたは複数のリモートコンピューティングデバイス175は、機械学習モデルの入力として、データ、領域情報、期待されるメトリック情報などを提供してもよい。機械学習モデルは、入力に基づいて掘削場所および対応する投棄場所のシーケンス(例えば、最適シーケンス)を識別(または予測)してもよい。予測シーケンスは、(機械学習モデルの)パラメータが、機械学習モデルの訓練中に使用される損失関数を最小化するように選択され得るシーケンスであってもよい。損失関数は、数値最適化で考慮されることがある多くの同じ重みコストを符号化してもよい。その出力として、機械学習モデルは、掘削場所と対応する投棄場所の最適な順序を提供してもよい。
【0073】
機械学習モデルは、地表面の履歴データ(例えば、地表面の履歴画像、地表面の履歴視差マップおよび/または地表面の履歴点群)、領域の履歴サイズ(例えば、履歴深さ、履歴直径など)、履歴掘削作業に関する履歴予測メトリック情報などを使用して訓練してもよい。上記と同様の方法で機械学習モデルを訓練してもよい。機械学習モデルの使用に加えて、または代替として、1つまたは複数のリモートコンピューティングデバイス175は、1つまたは複数の数値最適化モデル、1つまたは複数のグラフィック探索アルゴリズム、1つまたは複数のヒューリスティックアルゴリズム、1つまたは複数のオーバーレイパス計画アルゴリズムなどの例を使用してもよい。
【0074】
1つまたは複数のリモートコンピューティングデバイス175は、最適な順序に基づいて掘削情報を生成してもよい。いくつかの例では、掘削情報は、掘削場所(例えば、地理的場所)と連続する掘削場所との間の経路のシーケンスを識別する情報、対応する投棄場所(例えば、地理的場所)を識別する情報、各投棄場所における材料の投棄方法を識別する情報、各掘削場所における機械105の向きを識別する推薦機械姿勢データ、各掘削場所における機械作業ツール140の位置および/または向きを識別する推薦ツール姿勢データ、各掘削場所におけるブーム130および/またはスティック135の位置および/または向きを識別する推薦リンク姿勢データ、各掘削場所において掘削(または除去)される材料の量を識別する情報、表面データ、および他の例を含んでもよい。
【0075】
無線通信コンポーネント160は、無線接続を介して1つまたは複数のリモートコンピューティングデバイス175から掘削情報を受信し、掘削作業を容易にするために掘削情報をコントローラ145に提供してもよい。例えば、コントローラ145は、掘削情報に基づいて、機械105を掘削場所のうちの第1掘削場所にナビゲートさせてもよい。コントローラ145は、機械105が第1掘削場所にあるときに、推薦機械姿勢データに基づいて、機械105の向き(例えば、機械本体115の向き)を調整してもよい。例えば、コントローラ145は、機械105の向きを、第1掘削場所における機械105の向きに一致させることができる。例えば、機械105は位置Aに移動し、次いで地面係合部材110(例えば、トラック)を逆向きに回転させて、機械105がO向きを向いてO’向きに掘削を開始してもよい。代替的に、機械105が位置Aに到達すると、機械105は位置Aに移動し、機械105をO'向きに配置する計画経路を使用してもよい。位置Aに到達した後、機械105はO'向きの掘削を開始してもよい。同様に、コントローラ145は、推薦されたリンク姿勢データに基づいてリンクの向きおよび/または位置を調整してもよく、および/または、推薦作業具姿勢データに基づいて機械作業ツール140の向きおよび/または位置を調整してもよい。
【0076】
調整後、コントローラ145は、第1掘削場所で掘削作業を開始および終了させ、第1掘削場所と第2掘削場所との間の経路に沿って掘削場所のうちの第2掘削場所に向かって機械105を前進させてもよい。掘削作業を開始させた後、コントローラ145は、無線通信コンポーネント160に、地表面に関する追加のデータ(例えば、1つまたは複数のステレオカメラ155によって取得された)を1つまたは複数のリモートコンピューティングデバイス175に送信させてもよい。追加的にまたは代替的に、コントローラ145は、無線通信コンポーネント160に、機械姿勢データ、作業具姿勢データ、リンク姿勢データ、および/または現在の測定値情報を1つまたは複数のリモートコンピューティングデバイス175に送信させてもよい。
【0077】
現在の計量情報は、掘削作業中に機械105によって除去された材料の体積情報、発生した1つまたは複数の掘削サイクルの間に経過した時間量を識別する情報、掘削作業中の地表面硬度の測定(例えば、油圧変位センサからのデータに基づく)、掘削作業中の地表面湿度の測定(例えば、土壌湿度センサからのデータに基づく)、および他の例を含んでもよい。
【0078】
コントローラ145は、追加データに含まれる1つまたは複数の画像に基づいて材料の体積を判定してもよい。例えば、コントローラ145は、1つまたは複数の画像を使用して、関心領域(例えば、機械作業ツール140内の材料、第1掘削場所に対応する投棄場所における材料のスタック等の例)を識別してもよい。例えば、コントローラ145は、関心領域を識別するために、1つまたは複数の対象検出技術(例えば、単一レンズ検出器(SSD)技術、YOLO(You Load)技術、網点網、および/または同様の技術)を使用して、1つまたは複数の画像を分析してもよい。
【0079】
コントローラ145は、1つまたは複数の画像に基づいて、関心領域のグラフィック表現(例えば、2次元半グラフィック表現、3次元グラフィック表現などの例)を生成してもよい。コントローラ145は、1つまたは複数の計算モデル、1つまたは複数の計算アルゴリズム、および/または、グラフィック表現の体積を判定するために使用され得る他の機械アルゴリズムを使用して、グラフィック表現の体積を判定してもよい。コントローラ145は、除去された材料の体積をグラフィカルに表現された体積として判定してもよい。代替的に、コントローラ145は、機械作業ツール140の内面から導出された体積を識別する情報に基づいて、除去された材料の体積を機械作業ツール140の内面から導出された体積として判定してもよい。コントローラ145は、内部表面から導き出された体積を識別する情報を、機械105のメモリ、バックグラウンドシステムなどの例から取得してもよい。
【0080】
コントローラ145は、追加のデータ(1つまたは複数のステレオカメラ155から)、機械姿勢データ、作業具姿勢データ、リンク姿勢データ、および/または現在のメトリック情報を、定期的に(例えば、30秒毎、毎分毎、毎分毎、および他の例で)、および/またはトリガイベントに基づいて(例えば、各掘削周期の後に)送信させてもよい。コントローラ145は、追加データ(1つまたは複数のステレオカメラ155から)、機械姿勢データ、作業具姿勢データ、リンク姿勢データ、および/または現在のメトリック情報を無線通信コンポーネント160に送信させて、掘削情報を更新するか否かを1つまたは複数のリモートコンピューティングデバイス175に判定させてもよい。例えば、掘削情報が更新されるべきか否かを判定する際に、1つまたは複数のリモートコンピューティングデバイス175は、機械作業ツール140内の材料充填レベルが閾値充填レベルを満たすか否かを判定してもよい。例えば、追加データは、機械作業ツール140の1つまたは複数の画像(第1掘削場所の1つまたは複数の掘削期間中に取得される)を含むことができ、1つまたは複数のリモートコンピューティングデバイス175は、1つまたは複数の画像を分析して機械作業ツール140の充填レベルを判定してもよい。
【0081】
いくつかの場合には、1つまたは複数のリモートコンピューティングデバイス175は、1つまたは複数の計算モデル、1つまたは複数の計算アルゴリズム、および/または体積(例えば、機械作業ツール140内の材料体積)を判定するために使用され得る他の機械アルゴリズムを使用して、1つまたは複数の画像を分析してもよい。1つまたは複数のリモートコンピューティングデバイス175が、機械加工作業具140内の材料の充填レベルが閾値充填レベルを満たさないと判定した場合、または体積が閾値体積を満たさない場合、1つまたは複数のリモートコンピューティングデバイス175は、掘削情報を更新すべきであると判定してもよい。言い換えれば、機械作業ツール140が十分な量の材料を掘削していないと1つまたは複数のリモートコンピューティングデバイス175が判定した場合、1つまたは複数のリモートコンピューティングデバイス175は、掘削情報が更新されると判定してもよい。
【0082】
1つまたは複数のリモートコンピューティングデバイス175が、材料の充填レベルが閾値充填レベルを満たしていないと判定した場合、1つまたは複数のリモートコンピューティングデバイス175は、推薦ツール姿勢データ、推薦リンク姿勢データ、および/または推薦機械姿勢データを更新してもよい。1つまたは複数のリモートコンピューティングデバイス175は、掘削期間中(例えば、第1掘削場所および/または第2掘削場所)に移動する材料の体積を機械105に増加させる更新を実行してもよい。いくつかの場合には、更新に基づいて、コントローラ145は、1つまたは複数の他の機械210に命令を送信して、機械105の現在の位置に自律的にナビゲートさせ、材料の追加の量を移動させて、移動される材料の量を増加させてもよい。
【0083】
1つまたは複数のリモートコンピューティングデバイス175は、地表面硬度の測定および/または地表面湿度の測定に基づいて同様の調整を行ってもよい。1つまたは複数のリモートコンピューティングデバイス175が追加データを分析し、掘削作業が第1掘削場所と第2掘削場所との間の経路に沿って障害を生じたと判定すると仮定する。1つまたは複数のリモートコンピューティングデバイス175は、掘削場所および/または投棄場所を追加および/または除去するために、掘削場所および/または投棄場所のシーケンスを更新してもよい。
【0084】
いくつかの場合には、1つまたは複数のリモートコンピューティングデバイス175が、機械105の現在の作業場所の現在の(および/または予想される)気象を判定し、現在の(および/または予想される)気象に基づいて掘削情報を更新してもよい。例えば、1つまたは複数のリモートコンピューティングデバイス175が、現在の作業場所の現在の(および/または予想される)天候が掘削作業にとって好ましくないと判定した場合、1つまたは複数のリモートコンピューティングデバイス175は、異なる作業場所を識別してもよい。異なる作業場所は、機械105の作業場所列の次の作業場所であってもよいし、作業場所列に含まれない作業場所であってもよい。1つまたは複数のリモートコンピューティングデバイス175は、更新された掘削情報に異なる作業場所を識別する情報を含めて、機械105に現在の作業場所で掘削作業を中断させ、異なる作業場所にナビゲートさせることができる。
【0085】
1つまたは複数のリモートコンピューティングデバイス175は、上述した1つまたは複数の調整に基づいて、更新された掘削情報を生成してもよい。更新された掘削情報は、一例として、掘削場所の更新シーケンス、対応する投棄場所を識別する更新情報、各投棄場所における材料の投棄方法を識別する更新情報、各掘削場所における機械105の向きを識別する更新された推奨機械姿勢データ、各掘削場所における機械作業ツール140の位置および/または向きを識別する更新された推奨ツール姿勢データ、各掘削場所におけるブーム130および/またはスティック135の位置および/または向きを識別する更新された推奨リンク姿勢データ、更新された表面データ、その他の例を含んでもよい。1つまたは複数のリモートコンピューティングデバイス175は、更新された掘削情報を送信してもよく、無線通信コンポーネント160は、更新された掘削情報を受信してもよい。コントローラ145は、上記と同様に更新された掘削情報に基づいて掘削作業を調整するように機械105に指示してもよい。
【0086】
いくつかの場合には、無線通信コンポーネント160は、1つまたは複数のリモートコンピューティングデバイス175が掘削情報を連続的に更新し、更新された掘削情報を連続的に提供するように、データを連続的なデータストリームとして送信してもよい。無線通信コンポーネント160は、1つまたは複数のリモートコンピューティングデバイス175から更新された掘削情報を連続的に受信してもよい。コントローラ145は、更新された掘削情報を使用して、機械105の動作をリアルタイムまたはほぼリアルタイムで動的に調整してもよい。例えば、コントローラ145は、機械105を現在の掘削場所から更新された掘削場所にナビゲートさせ、機械105の位置および/または向きを調整し、ブーム130の位置および/または向きを調整し、スティック135の位置および/または向きを調整し、および/または機械作業ツール140の位置および/または向きを調整してもよい。
【0087】
いくつかの場合には、機械105は、表面データおよび/または更新された表面データを使用して、環境における機械105のナビゲートを容易にする(例えば、自律的ナビゲートまたは半自律的ナビゲートを容易にする)ことができる。例えば、機械105は、表面データおよび/または更新された表面データを使用して、環境の1つまたは複数のナビゲート可能な部分を識別し、環境の1つまたは複数のナビゲート不可能な部分を識別してもよい。一例として、他の例を除いて、1つまたは複数の航行可能部分は、1つまたは複数のピットおよび/または1つまたは複数の杭を含まない地表面の1つまたは複数の部分を含んでもよい。1つまたは複数の航行不能部分は、1つまたは複数のピットおよび/または1つまたは複数の杭を含む地表面の1つまたは複数の部分と、機械105の航行動作を妨げる可能性のある項目の他の例とを含んでもよい。この点で、表面データは、機械105の自律的(または半自律的)なナビゲート動作に使用してもよい。他の例では、コントローラ145は、表面データおよび/または更新された表面データを使用して、機械105を、ある掘削場所から別の掘削場所へと、作業場所に関連する現在場所から別の作業場所に関連する目的地場所へとナビゲートさせることができる。
【0088】
いくつかの実施形態では、ワイヤレス接続が実行可能でない場合、コントローラ145は、データ(例えば、1つまたは複数のステレオカメラ155、1つまたは複数のセンサデバイス165、1つまたは複数の他の機械210などから受信したデータ)を記憶させてもよい。例えば、制御部145が上述したように無線接続が不可能であると判定し、制御部145が無線接続が不可能であると判定した後にデータを受信するとする。無線接続が実行可能でないという判定に基づいて、コントローラ145は、閾値時間量のデータをローカルに記憶(またはバッファリング)させてもよい。いくつかの例では、コントローラ145は、循環バッファ(またはリングバッファ)、シングルバッファ、デュアルバッファなどの例を使用して、データをローカルにバッファしてもよい。
【0089】
閾値時間が経過した後、コントローラ145は、無線接続が可能であるか否か(上述した)を判定してもよい。コントローラ145は、閾値時間量の後に無線接続が可能であると判定すると仮定する。コントローラ145は、(上述のように)バッファリングされたデータが1つまたは複数のリモートコンピューティングデバイス175に送信されるように、判定に基づいて、閾値時間量の後に無線接続が可能であってもよい。いくつかの場合には、コントローラ145が閾値時間量の後に無線接続が実行可能でないと判定した場合、コントローラ145は、以下に説明するようにデータをローカルに処理してもよい。
【0090】
いくつかの実施形態では、コントローラ145は、無線接続が実行可能でない場合(例えば、データ送信後の閾値時間内に実行可能でない場合)、機械105に掘削作業を中断させてもよい。例えば、コントローラ145が(上述のように)無線接続が実行不可能であり、掘削情報が1つまたは複数のリモートコンピューティングデバイス175から受信されていないと判定したとする。コントローラ145は、掘削情報が受信されていないと判定したことに基づいて、機械105に掘削作業を中断させてもよい。掘削作業は、無線通信コンポーネント160が無線接続を再確立し、無線接続を介して掘削情報を受信するまで中断してもよい。コントローラ145は、掘削作業を中断する代わりに、掘削作業を実行する速度を機械105に減速させるようにしてもよい。
【0091】
いくつかの実施形態では、コントローラ145は、上記の1つまたは複数の理由のために、データ(例えば、1つまたは複数のステレオカメラ155から)、外部データ(例えば、1つまたは複数の他の機械210から)、期待されるメトリック情報、および/または領域情報をローカルに処理してもよい。一例として、コントローラ145は、無線通信コンポーネント160に無線接続を終了させるか、または無線通信コンポーネント160が無線接続を確立しようとしないようにする(例えば、無線接続が実行可能でない場合)ことにより、データ処理をローカルに実行させてもよい。コントローラ145は、データ、期待されるメトリック情報、および/または地域情報がローカルに処理されていることを示す通知を生成してもよい。他に示されている例外を除いて、通知は、オペレータの装置、バックオフィス、1つまたは複数の他の機械210のオペレータの装置に提供されてもよい。
【0092】
コントローラ145は、データを処理する1つまたは複数のリモートコンピューティングデバイス175と同様に、データ、外部データ、予期されるメトリック情報、および/または領域情報を処理して、機械掘削情報を生成してもよい。いくつかの場合には、機械105の計算制限のために、機械掘削情報は、1つまたは複数のリモートコンピューティングデバイス175によって生成される掘削情報よりも正確でないことがある。
いくつかの場合には、コントローラ145は、領域情報と、掘削された1つまたは複数の他の領域に関する情報とを比較してもよい。機械105のメモリには、1つまたは複数の他の領域のそれぞれに関する情報が、対応する掘削情報と関連付けて記憶されていてもよい。
【0093】
いくつかの例では、コントローラ145は、上記と同様の方法で、無線通信コンポーネント160が無線接続を確立してもよいか否かを(例えば、定期的に、および/または、トリガイベントに基づいて)判定してもよい。例えば、無線接続が実行可能でないと判定した後、コントローラ145は、無線通信コンポーネント160が無線接続を再確立してもよいか否かを(例えば、定期的に、および/または、トリガイベントに基づいて)判定してもよい。コントローラ145は、無線通信コンポーネント160が無線接続を再確立できるとの判定に基づいて、無線通信コンポーネント160に無線接続を確立させてもよい。無線通信コンポーネント160は、上述したように無線接続を確立しうる。
【0094】
いくつかの場合には、(上述した動作を実行するために1つまたは複数のリモートコンピューティングデバイス175によって使用される)アルゴリズムは、機械105がダウンタイムを持たないか、またはダウンタイムが最小である間、1つまたは複数のリモートコンピューティングデバイス175上で更新されてもよい。例えば、アルゴリズムは、機械105の既存のセンサから新しい情報を収集するために、新しい特徴、ツール、および/または情報で更新してもよい。この点で、データを異なるように処理するために機械105を新たなハードウェアで改造することなく、または機械105がダウンタイムを持たないか、または最小のダウンタイムで機械105に付加的な価値(または機能)を付加してもよい。
【0095】
更新アルゴリズムについては、新しいアルゴリズム(例えば、ノイズ・アーチファクト除去、特徴抽出、機械学習モデル訓練等の例)を非生産機械上で開発し、検証すると、新しいアルゴリズムを異なる方法で生産機械に導入してもよい。一例では、新しいアルゴリズムは、古い対応するアルゴリズムの識別子と同じ識別子の下で(1つまたは複数のリモートコンピューティングデバイス175上で)置換され、データを送信する(1つまたは複数のリモートコンピューティングデバイス175に処理する)既存の機械が、要求に応じて改善を即座に知覚できるようにしてもよい。このプロセスは、サーバ側のみ(例えば、1つまたは複数のリモートコンピューティングデバイス175側のみ)で連続的に統合されたスタイル更新であり、1つまたは複数のリモートコンピューティングデバイス175を使用してリモート処理を行うすべての機械に影響を与える。
【0096】
別の例として、新しいアルゴリズムを新しい識別子の下で(1つまたは複数のリモートコンピューティングデバイス175上で)置き換えることができ、既存の機械は、新しい識別子に要求を送信する更新によってオンボードソフトウェアをリフレッシュしてもよい。このプロセスは、サーバ側のみ(例えば、1つまたは複数のリモートコンピューティングデバイス175側のみ)での連続的な統合スタイル更新と、クライアント側(例えば、機械105側)でのソフトウェア配布更新とである。ハードウェアを変更する必要はないが、新しいソフトウェアを機械にプッシュしなければならない。このプロセスを使用すると、ダウンタイムが最短になるようにアップグレードするコンピュータを管理できる。
【0097】
別の例として、新しいアルゴリズムは、新しい識別子の下で(1つまたは複数のリモートコンピューティングデバイス175上で)提供されることができ、既存の機械は、その既存のオンボードソフトウェアを、例えばディスプレイを介して手動で変更するように、新しい識別子を使用するように構成してもよい。このプロセスは、サーバ側での継続的統合スタイルの更新と、クライアント側でのソフトウェア構成の変更である。機械105はハードウェアの変更を必要としない。この処理を使用すると、ダウンタイムをほとんど発生させることなく、どのマシンをアップグレードするかを管理できる。
【0098】
図2に示すデバイスの数および配置は、一例として提供される。実際には、図2に示されるデバイスと比較して、追加のデバイス、より少ないデバイス、異なるデバイス、または異なる配置のデバイスが存在してもよい。さらに、図2に示される2つ以上のデバイスは、単一のデバイス内で実装されてもよく、または、図2に示される単一のデバイスは、複数の分散デバイスとして実装されてもよい。追加的にまたは代替的に、システム200のデバイスのセット(例えば、1つまたは複数のデバイス)は、システム200の他のデバイスのセットが実行するものとして説明された1つまたは複数の機能を実行してもよい。
【0099】
図3は、掘削情報を生成するためのデータのリモート処理に関連する例示的なプロセス300のフローチャートである。図3の1つまたは複数の処理ブロックは、コントローラ(例えば、コントローラ145)によって実行してもよい。図3の1つまたは複数の処理ブロックは、1つまたは複数のステレオカメラ(例えば、1つまたは複数のステレオカメラ155)、無線通信コンポーネント(例えば、無線通信コンポーネント160)、衛星デバイス(例えば、衛星デバイス170)、1つまたは複数のリモートコンピューティングデバイス(例えば、1つまたは複数のリモートコンピューティングデバイス175)、および/または基地局(例えば、基地局180)など、装置から分離された、または装置を含む別の装置または装置のセットによって実行してもよい。
【0100】
図3に示すように、プロセス300は、機械が掘削作業を実行する地表面に関する第1データを1つまたは複数のセンサデバイスから受信することを含んでもよい(ブロック310)。例えば、上述したように、コントローラは、機械が掘削作業を実行する地表面に関する第1データを1つまたは複数のセンサデバイスから受信してもよい。
【0101】
1つまたは複数のセンサデバイスは、1つまたは複数のステレオカメラまたは1つまたは複数の光検出および測距(LIDAR)デバイスのうちの少なくとも1つを含み、1つまたは複数のリモートコンピューティングデバイスは、1つまたは複数のクラウドコンピューティングデバイスを含む。
【0102】
第1データを受信することは、機械の1つまたは複数の第1センサデバイスからデータを受信すること、および任意に、機械から分離された1つまたは複数の機械の1つまたは複数の第2センサデバイスからデータを受信することを含む。
【0103】
図3にさらに示すように、プロセス300は、第1データが1つまたは複数のリモートコンピューティングデバイスに送信されて、1つまたは複数のリモートコンピューティングデバイスに掘削情報を生成させることができると判定することを含んでもよい(ブロック320)。例えば、上述したように、コントローラは、第1データを1つまたは複数のリモートコンピューティングデバイスに送信して、1つまたは複数のリモートコンピューティングデバイスに掘削情報を生成させてもよいと判定してもよい。
【0104】
図3に示すように、プロセス300は、第1データが送信可能であるとの判定に基づいて、第1データを1つまたは複数のリモートコンピューティングデバイスに送信することを含んでもよい(ブロック330)。例えば、上述したように、コントローラは、第1データを送信してもよいとの判定に基づいて、第1データを1つまたは複数のリモートコンピューティングデバイスに送信してもよい。
【0105】
図3にさらに示すように、プロセス300は、1つまたは複数のリモートコンピューティングデバイスから掘削情報を受信することを含み、掘削情報は、一連の掘削場所を識別する情報と、対応する投棄場所を識別する情報とを含む(ブロック340)。例えば、コントローラは、1つまたは複数のリモートコンピューティングデバイスから掘削情報を受信してもよく、掘削情報は、一連の掘削場所を識別する情報と、上述したように、対応する投棄場所を識別する情報とを含む。掘削情報は、掘削場所列を識別する情報と、対応する投棄場所を識別する情報とを含む。
【0106】
掘削情報は、投棄場所サブセットの各投棄場所における機械の作業具の位置および向きを識別するための推薦作業具姿勢データをさらに含み、この方法は、投棄場所サブセットの各投棄場所の投棄作業中に、推薦作業具姿勢データに基づいて作業具の位置および向きを調整することをさらに含む。
【0107】
図3にさらに示すように、プロセス300は、掘削情報に基づいて機械のツールに地表面上で掘削作業を開始させることを含んでもよい(ブロック350)。例えば、上記のように、コントローラは、掘削情報に基づいて、機械のツールに地表面で掘削作業を開始させてもよい。
【0108】
掘削情報は、掘削場所サブセットの各掘削場所における機械の作業具の位置および向きを識別する推薦作業具姿勢データをさらに含み、この方法は、掘削場所サブセットの各掘削場所での掘削作業前に、推薦作業具姿勢データに基づいて作業具の位置および向きを調整することをさらに含む。
【0109】
掘削情報は、掘削場所のサブセットの各掘削場所における機械の向きを識別する推薦機械姿勢データをさらに含み、掘削場所のサブセットの各掘削場所での掘削作業前に、推薦機械姿勢データに基づいて機械の向きを調整することをさらに含む。
【0110】
図3にさらに示すように、プロセス300は、掘削作業を開始させた後に、地表面に関する第2データを1つまたは複数のリモートコンピューティングデバイスに送信することを含んでもよい(ブロック360)。例えば、上述したように、掘削作業を開始させた後、コントローラは、1つまたは複数のリモートコンピューティングデバイスに地表面に関する第2データを送信してもよい。
【0111】
図3にさらに示すように、プロセス300は、第2データに基づいて生成された更新された掘削情報を1つまたは複数のリモートコンピューティングデバイスから受信することを含んでもよい(ブロック370)。例えば、上述したように、コントローラは、第2データに基づいて生成された更新された掘削情報を1つまたは複数のリモートコンピューティングデバイスから受信してもよい。
【0112】
図3にさらに示すように、プロセス300は、更新された掘削情報に基づいて機械に掘削作業を調整させることを含んでもよい(ブロック380)。例えば、上記のように、コントローラは、更新された掘削情報に基づいて掘削作業を調整させてもよい。
【0113】
プロセス300は、掘削作業を実行した後、1つまたは複数のセンサデバイスから地表面を含む環境の第3データを受信し、1つまたは複数のリモートコンピューティングデバイスに第3データを送信して、1つまたは複数のリモートコンピューティングデバイスに機械の現在場所から目的地場所までのナビゲート情報を生成させることを含み、現在場所は第1作業現場に関連付けられ、目的地場所は第2作業現場に関連付けられ、1つまたは複数のリモートコンピューティングデバイスからナビゲート情報を受信し、機械を現在場所から目的地場所までナビゲートさせる。
【0114】
図3はプロセス300のブロック例を示しているが、いくつかの実施形態では、プロセス300は、図3に示されたブロックと比較して、追加のブロック、より少ないブロック、異なるブロック、または異なる配置のブロックを含んでもよい。追加的にまたは代替的に、プロセス300の2つ以上のブロックを並列に実行してもよい。
【産業上の利用可能性】
【0115】
本開示は、1つまたは複数のリモートコンピューティングデバイスが、掘削作業のために機械によって自律的に実行される掘削情報を生成するためにデータ(機械の1つまたは複数のセンサデバイス)を処理させるか否かを判定する機械に関する。このデータは、機械が掘削作業を行う地表面に関するデータを含んでもよい。1つまたは複数のセンサデバイスは、機械の異なる部分(例えば、ブーム、スティック、および/または作業具を備えている)に配置されてもよい。例えば、データは地表面の1つまたは複数の画像を含むことができ、1つまたは複数のセンサデバイスは、例えば、1つまたは複数のステレオカメラを含んでもよい。データは、高速通信のために構成された衛星デバイスを介して、または高速通信のために構成されたセルラーネットワーク(例えば、5Gネットワーク)を介して、1つまたは複数のリモートコンピューティングデバイスに送信されてもよい。
【0116】
掘削作業の計画の一環として、掘削情報の特定は計算が複雑で時間のかかるタスクであり、高性能なコンピューティングリソースを必要とする。般的に限られた機械のコンピューティングリソースを使用して掘削情報を決定するには、いくつかの問題が発生する。例えば、機械の典型的なコンピューティングリソースは、高性能のコンピュータリソースによって生成された掘削情報に関連して、精度および/または品質が低下した掘削情報を生成してもよい。
【0117】
さらに、一般的なコンピューティングデバイスを使用して情報を掘削すると、機械のコンピューティングリソースが過剰に消費され、計算時間が過剰に消費される。このコンピューティングリソースは、機械が実行する他の操作に使用する必要がある場合がある。計算時間が多すぎると、計算が完了するまで機械が長時間アイドル状態になる可能性があり、その結果、機械の生産性が低下する。時間を節約するために(例えば、計算時間を節約するために)、計算を早期に終了してもよく、そのような場合には、次善の経路を選択してもよい。または、パスが選択されず、エラーが発生する可能性がある。最適ではないパスを選択する(またはパスを選択しない)と、マシンのパフォーマンスが低下したり、障害が発生したりする可能性がある。したがって、典型的なコンピューティングリソースを使用して掘削情報を判定することにより、機械が他の操作を実行することを防止してもよいさらに、掘削機は不整地で過酷な条件下で使用してもよく、典型的なコンピューティングデバイスが早期に故障し、計画情報の判定を妨げる可能性がある。本開示は、これらの問題を解決する。
【0118】
本開示の掘削情報は、例えば、処理のために1つまたは複数のリモートコンピューティングデバイスにデータを送信することによって、機械の典型的な限られたコンピューティングリソースを使用して生成されたデータの正確性、適時性、および品質の向上を提供する。この点、掘削情報により、機械による掘削作業の精度向上、機械による掘削作業の精度向上、機械による掘削作業の高速化、機械による掘削作業の効率化、最適経路の特定に要する時間の短縮等を図ることができる。さらに、高速通信のために構成された衛星デバイスまたは高速通信のために構成されたセルラーネットワークを使用して、1つまたは複数のリモートコンピューティングデバイスと通信することにより、機械は、掘削作業中にリアルタイムまたはほぼリアルタイムで機械が調整してもよいように、掘削情報を受信することができる。
【0119】
さらに、1つまたは複数のリモートコンピューティングデバイスは、現場の不整地および悪条件の影響を受けず、したがって、早期故障の影響を受けない。さらに、処理のために1つまたは複数のリモートコンピューティングデバイスにデータを転送することにより、機械は、画像を処理する際に典型的なコンピューティングリソースによって消費される限られたコンピューティングリソースを確保する。
【0120】
前述の開示は、説明および説明を提供しているが、開示されている正確な形態に実施形態を完全に限定すること、または実施形態を限定することは意図されていない。修正および変更は、上記の開示に基づいて行うことができ、または実施された実践から得ることができる。さらに、1つまたは複数の実施形態を組み合わせることができない理由が上記の開示に明確に提供されていない限り、本明細書に記載されているいずれの実施形態を組み合わせることができる。特徴の特定の組み合わせは、請求項に記載されおよび/または明細書に開示されていても、これらの組み合わせは、種々の実施形態の開示を制限することを意図するものではない。以下に列挙される各従属請求項は、1つの請求項のみに直接従属することができるが、様々な実施形態の開示には、請求項セット内の全ての他の請求項と組み合わせる各従属請求項が含まれる。
【0121】
本明細書に使用されるように、「一」、「1つ」および「1セット」は、1つまたは複数のものを含むことを意図しており、「1つまたは複数」と交換可能に使用され得る。さらに、本明細書で使用されるように、冠詞「当該」は、冠詞「当該」と組み合わせて引用される1つまたは複数のものを含むことを意図しており、「1つまたは複数」と交換可能に使用され得る。さらに、「に基づいて」という語句は、特に明記しない限り、「少なくとも部分的に基づく」ということを意味することを意図している。さらに、本明細書で使用されるように、用語「または」は、一連で使用される場合に包括的であることを意図しており、特に明記されていない限り(例えば、「いずれか」または「その1つのみ」と組み合わせて使用される場合)、「および/または」と交換して使用されてもよい。さらに、本明細書の説明を容易にするために、例えば「の下」、「下」、「の上」、「上」等の空間的に相対的な用語を使用して、図示のような、1つの要素または特徴と他の要素または特徴との関係を説明してもよい。空間的に相対的な用語は、図に示されている向きに加えて、使用または動作中の機器、装置および/または要素の異なる向きを含むことを意図している。機器は、他の向き(90度回転または他の向き)にすることができ、本明細書に使用される空間的に相対的な記述子も、それに応じて解釈することができる。
図1
図2
図3
【国際調査報告】