知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-04
(54)【発明の名称】機械動作のためのセンサデータの遠隔処理
(51)【国際特許分類】
E02F 9/20 20060101AFI20240528BHJP
E02F 9/26 20060101ALI20240528BHJP
【ＦＩ】
E02F9/20 N
E02F9/26 B
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023571309
(86)(22)【出願日】2022-05-06
(85)【翻訳文提出日】2023-11-24
(86)【国際出願番号】 US2022028090
(87)【国際公開番号】W WO2022250932
(87)【国際公開日】2022-12-01
(31)【優先権主張番号】17/303,308
(32)【優先日】2021-05-26
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】391020193
【氏名又は名称】キャタピラー インコーポレイテッド
【氏名又は名称原語表記】ＣＡＴＥＲＰＩＬＬＡＲ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ホーデル、ベンジャミン ジェイ．
(72)【発明者】
【氏名】ベショーナー、マシュー ジェイ．
【テーマコード（参考）】
2D003
2D015
【Ｆターム（参考）】
2D003AA01
2D003AB03
2D003AB04
2D003BA02
2D003BA04
2D003DB04
2D003DB05
2D003FA02
2D015HA03
2D015HB04
2D015HB05
(57)【要約】
コントローラは、作業機械の１つ以上のセンサデバイスから、作業機械が所在する地面を含む環境のセンサデータを受信し得る。コントローラは、無線接続が可能であるかどうかを判断し得る。コントローラは、センサデータを処理のために１つ以上のリモートコンピューティングデバイスに送信すること、または作業機械によってセンサデータをローカルに処理することを、無線接続が可能であるかどうかに基づいて選択的に行い得る。無線接続が可能である場合には、センサデータは、１つ以上のリモートコンピューティングデバイスに送信され、１つ以上のリモートコンピューティングデバイスにセンサデータを処理させて第１の処理済みデータを提供する。無線接続が可能でない場合には、センサデータは、作業機械によってローカルに処理されて第２の処理済みデータを生成する。
【選択図】図１
【選択図】図１
【特許請求の範囲】
【請求項1】
作業機械（１０５）のコントローラ（１４５）によって実行される方法であって、前記作業機械（１０５）の１つ以上のセンサデバイス（１５５）から、前記作業機械（１０５）が所在する地面を含む環境のセンサデータを受信することと、
無線接続がアクティブであるかどうかを判断することと、
前記センサデータを処理のために１つ以上のリモートコンピューティングデバイス（１７５）に送信すること、または前記作業機械（１０５）によって前記センサデータをローカルに処理することを、前記無線接続がアクティブであるかどうかを判断することに基づいて選択的に行うことであって、
前記無線接続がアクティブである場合には、前記センサデータは、前記１つ以上のリモートコンピューティングデバイス（１７５）に送信され、前記１つ以上のリモートコンピューティングデバイス（１７５）に前記センサデータを処理させて第１の処理済みデータを提供し、前記第１の処理済みデータは、前記地面の１つ以上の部分に関する第１の表面データ、または前記作業機械（１０５）によって移動されたか移動されるべき材料の体積に関する第１の体積データのうちの少なくとも１つを含み、
前記無線接続がアクティブでない場合には、前記センサデータは、前記作業機械（１０５）によってローカルに処理されて第２の処理済みデータを生成し、前記第２の処理済みデータは、前記地面の１つ以上の部分に関する第２の表面データ、または前記作業機械（１０５）によって移動されたか移動されるべき材料の体積に関する第２の体積データのうちの少なくとも１つを含む、選択的に行うことと、
前記第１の処理済みデータまたは前記第２の処理済みデータを提供して、前記作業機械（１０５）の動作を容易にすることと、を含む、方法。
【請求項2】
前記１つ以上のセンサデバイス（１５５）（１５５）は、１つ以上の第１のセンサデバイス（１５５）であり、前記センサデータは、第１のセンサデータであり、前記方法は、
１つ以上の第２のセンサデバイス（１５５）（１５０）から、前記作業機械の１つ以上の部分（１３０、１３５、および１４０）の位置または向きのうちの少なくとも１つに関する第２のセンサデータを受信することをさらに含み、
前記センサデータの送信または処理を選択的に行うことは、
前記第１のセンサデータおよび前記第２のセンサデータの送信または処理を選択的に行って、前記第１の処理済みデータまたは前記第２の処理済みデータをそれぞれ取得することを含む、請求項１に記載の方法。
【請求項3】
前記センサデータを送信することは、前記センサデータを処理のために前記１つ以上のコンピューティングデバイス（１７５）に、
高速通信用に構成された衛星デバイス（１７０）、または
高速通信用に構成された電気通信ネットワーク（１８０）を介して、送信することを含む、請求項１または２に記載の方法。
【請求項4】
前記第１の体積データまたは前記第２の体積データは、前記作業機械（１０５）の器具内にある第１の体積の材料を識別する情報、
前記地面の１つ以上の部分に所在する第２の体積の材料を識別する情報、または
前記器具の前に積まれた第３の体積の材料を識別する情報のうちの少なくとも１つを含み、
前記第１の処理済みデータまたは前記第２の処理済みデータを提供することは、
前記第１の体積を識別する前記情報または前記第２の体積を識別する前記情報のうちの少なくとも１つを提供することを含み、
前記第１の表面データまたは前記第２の表面データは、
前記地面の１つ以上の部分に所在する１つ以上の穴を識別する情報、または
前記地面の１つ以上の部分に所在する１つ以上の材料の山（ｐｉｌｅ）を識別する情報のうちの少なくとも１つを含み、
前記第１の処理済みデータまたは前記第２の処理済みデータを提供することは、
前記１つ以上の穴を識別する情報または前記１つ以上の山を識別する情報のうちの少なくとも１つを提供して、
前記地面上での前記作業機械の移動、または
前記作業機械の器具の動作のうちの少なくとも１つを容易にすることを含む、請求項２または３に記載の方法。
【請求項5】
前記作業機械（１０５）が閾値時間にわたってアイドル状態にあるかアクティブ状態にあるかを判断すること、または前記作業機械（１０５）の器具（１３０、１３５、１４０）がロック位置にあるかロック解除位置にあるかを判断することをさらに含み、
前記無線接続がアクティブであるかどうかを判断することは、
前記無線接続がアクティブであるかどうかを、
前記作業機械（１０５）が前記アクティブ状態にある場合、または
前記器具（１３０、１３５、１４０）が前記ロック解除位置にある場合のうちの少なくとも一方である場合に、判断することを含む、請求項１から４のいずれか一項に記載の方法。
【請求項6】
システムであって、作業機械（１０５）が所在する地面を含む環境のセンサデータを取得するように構成された１つ以上のセンサデバイス（１５５）と、
コントローラ（１４５）と、を備え、前記コントローラ（１４５）は、
無線接続がアクティブであるかどうかを判断することと、
無線通信コンポーネントを使用して、前記センサデータを処理のために１つ以上のリモートコンピューティングデバイス（１７５）に送信することであって、前記無線接続がアクティブである場合に、
前記センサデータは、前記１つ以上のリモートコンピューティングデバイス（１７５）に送信されて、前記１つ以上のリモートコンピューティングデバイス（１７５）に前記センサデータをフィルタリングさせ、処理済みデータを生成させる、送信することと、
前記１つ以上のリモートコンピューティングデバイス（１７５）から、前記処理済みデータを受信することであって、
前記処理済みデータは、前記地面の１つ以上の部分に関する表面データ、または前記作業機械（１０５）によって移動されたか移動されるべき材料の体積に関する体積データのうちの少なくとも１つを含む、受信することと、
前記処理済みデータを提供して前記作業機械（１０５）の動作を容易にすることと、を行うように構成される、システム。
【請求項7】
前記コントローラ（１４５）は、前記処理済みデータを提供するために、前記体積データを提供して材料移動動作を容易にするように構成され、前記体積データは、
前記作業機械（１０５）の器具内にある第１の体積の材料を識別する情報、
前記地面の１つ以上の部分に所在する第２の体積の材料を識別する情報、または
ある期間にわたって前記作業機械（１０５）によって移動された材料の体積を識別する情報のうちの少なくとも１つを含む、請求項６に記載のシステム。
【請求項8】
前記コントローラ（１４５）は、前記センサデータを送信するために、前記１つ以上のリモートコンピューティングデバイス（１７５）に前記センサデータおよび処理情報を送信し、前記１つ以上のリモートコンピューティングデバイス（１７５）に、前記処理情報に基づいて前記センサデータを処理させて前記処理済みデータを生成させるように構成され、
前記処理情報は、
フィルタリングされたセンサデータを取得するために前記センサデータをフィルタリングする方式を識別する情報、または
前記処理済みデータを生成するために前記センサデータまたは前記フィルタリングされたセンサデータを処理する１つ以上の機械学習モデルを識別する情報のうちの少なくとも１つを含む、請求項６または７に記載のシステム。
【請求項9】
前記コントローラ（１４５）は、前記無線接続がアクティブでないと判断することと、
前記無線接続がアクティブでないと判断することに基づいて、前記センサデータが閾値時間にわたって記憶されるようにすることと、
前記閾値時間が経過した後に前記無線接続がアクティブであるかどうかを判断することと、を行うように構成され、
前記コントローラ（１４５）は、前記センサデータを前記１つ以上のコンピューティングデバイス（１７５）に送信するために、
前記閾値時間が経過した後に前記無線接続がアクティブであると判断することに基づいて、前記センサデータが前記１つ以上のリモートコンピューティングデバイス（１７５）へと送信されるようにすることを行うように構成される、請求項６から８のいずれか一項に記載のシステム。
【請求項10】
前記コントローラ（１４５）は、前記無線通信コンポーネントが前記センサデータを送信した後に前記処理済みデータを受信できないと判断することと、
前記無線通信コンポーネントが前記センサデータを送信した後に前記処理済みデータを受信できない場合に前記作業機械（１０５）が前記処理済みデータに基づく動作を実行できないようにすることと、を行うように構成される、請求項６から９のいずれか一項に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、概して機械のセンサデータの処理に関するものであり、例えば、機械のセンサデータの遠隔処理（ｒｅｍｏｔｅ ｐｒｏｃｅｓｓｉｎｇ）に関するものである。
【背景技術】
【0002】
作業機械（例えば掘削機）は、機械を取り囲む環境の画像を捕捉する立体（「ステレオ」）カメラを備え得る。画像が処理されて、作業機械によって実行される様々な動作に使用され得る情報を生成し得る。画像を（例えば、かかる情報を生成するために）処理することは、計算上複雑かつ時間がかかり得る。
【0003】
作業機械の典型的な計算リソースを使用して画像を処理すると、作業機械の様々な動作のために必要とされ得る過剰な量の計算リソースを消費する。そのため、典型的な計算リソースを使用して画像を処理すれば、作業機械がかかる動作を実行する能力に悪影響を及ぼし得る。しかも、作業機械は、典型的な計算リソースを早期に故障させ得る、岩だらけで厳しい状況で使用され得る。
【0004】
米国特許第６，８５６，８７９号（’８７９特許）に、各オペレータが建設機械を動作させた時間を確実に管理できるようにすることが開示されている。’８７９特許には、整備士が建設機械に対して整備を実行したことを、管理者が遅滞なくリアルタイムで正確に学習できるようになることも開示されている。’８７９特許には、整備士に作業指示が出され、整備士の性能管理および労務管理が容易かつ正確に実行されるようになることもさらに開示されている。’８７９特許には、建設機械の取り付け状況を正確にリアルタイムで学習できることにより、顧客の要求に迅速に対応できるようになることもさらに開示されている。ただし’８７９特許は、上記のとおり、高性能計算リソースを要する計算上複雑で時間のかかるタスクを建設機械で実行することに関わる問題には対処しない。
【0005】
本開示は、上記の問題および／または当該技術分野における他の問題のうちの１つ以上を解決する。
【発明の概要】
【0006】
作業機械のコントローラによって実行される方法は、作業機械の１つ以上のセンサデバイスから、作業機械が所在する地面を含む環境のセンサデータを受信することと、無線接続が可能であるかどうかを判断することと、センサデータを処理のために１つ以上のリモートコンピューティングデバイスに送信すること、または作業機械によってセンサデータをローカルに処理することを、無線接続が可能であるかどうかを判断することに基づいて選択的に行うことであって、無線接続が可能である場合には、センサデータは、１つ以上のリモートコンピューティングデバイスに送信され、１つ以上のリモートコンピューティングデバイスにセンサデータを処理させて第１の処理済みデータを提供し、第１の処理済みデータは、地面の１つ以上の部分に関する第１の表面データ、または作業機械によって移動されたか移動されるべき材料の体積に関する第１の体積データのうちの少なくとも１つを含み、無線接続が可能でない場合には、センサデータは、作業機械によってローカルに処理されて第２の処理済みデータを生成し、第２の処理済みデータは、地面の１つ以上の部分に関する第２の表面データ、または作業機械によって移動されたか移動されるべき材料の体積に関する第２の体積データのうちの少なくとも１つを含む、選択的に行うことと、第１の処理済みデータまたは第２の処理済みデータを提供して、作業機械の動作を容易にすることと、を含む。
【0007】
システムであって、作業機械が所在する地面を含む環境のセンサデータを取得するように構成された１つ以上のセンサデバイスと、コントローラと、を備え、コントローラは、無線接続が可能であるかどうかを判断することと、無線通信コンポーネントを使用して、センサデータを処理のために１つ以上のリモートコンピューティングデバイスに送信することであって、無線接続が可能である場合に、センサデータは、１つ以上のリモートコンピューティングデバイスに送信されて、１つ以上のリモートコンピューティングデバイスにセンサデータをフィルタリングさせ、処理済みデータを生成させる、送信することと、１つ以上のリモートコンピューティングデバイスから、処理済みデータを受信することであって、処理済みデータは、地面の１つ以上の部分に関する表面データ、または作業機械によって移動されたか移動されるべき材料の体積に関する体積データのうちの少なくとも１つを含む、受信することと、処理済みデータを提供して作業機械の動作を容易にすることと、を行うように構成される、システム。
【0008】
機械であって、器具と、機械が所在する地面を含む環境のセンサデータを取得するように構成された１つ以上のセンサデバイスと、無線通信コンポーネントと、コントローラと、を備え、コントローラは、無線接続が可能であるかどうかを判断することと、無線通信コンポーネントを使用して、要求を、無線接続が可能であると判断することに基づいて、１つ以上のリモートコンピューティングデバイスに送信することであって、センサデータを含む要求は、１つ以上のリモートコンピューティングデバイスに送信されて、１つ以上のリモートコンピューティングデバイスにセンサデータをフィルタリングさせ、センサデータをフィルタリングさせた後に処理済みデータを生成させる、送信することと、１つ以上のリモートコンピューティングデバイスから、処理済みデータを受信することであって、処理済みデータは、地面の１つ以上の部分に関する表面データ、または器具によって移動されたか移動されるべき材料の体積に関する体積データのうちの少なくとも１つを含む、受信することと、処理済みデータを提供して環境内での機械の移動、または機械の器具の動作のうちの少なくとも１つを容易にすることと、を行うように構成される、機械。
【図面の簡単な説明】
【0009】
【発明を実施するための形態】
【0010】
本開示は、センサデータを処理のために（例えばステレオカメラから）１つ以上のコンピューティングデバイスに送信すること、またはセンサデータをローカルに処理することを、無線接続が可能であるかどうかに基づいて選択的に行う機械に関するものである。無線接続は、機械が１つ以上のコンピューティングデバイスとの無線接続を確立した場合、または機械が無線接続を確立しており、（無線接続の）データ送信の速度が送信速度閾値を満たした場合に可能であり得る。センサデータは、例えば、無線接続が可能である場合に、処理のために１つ以上のコンピューティングデバイスに送信され得る。センサデータは、高速通信用に構成された衛星デバイスを介して、または高速通信用に構成されたセルラーネットワーク（例えば５Ｇネットワーク）を介して送信され得る。１つ以上のコンピューティングデバイスは、１つ以上のクラウドコンピューティングデバイス（例えば、１つ以上の高性能リモートコンピューティングデバイス）を含み得る。
【0011】
１つ以上のコンピューティングデバイスは、センサデータを処理して処理済みデータを生成し得る。処理済みデータは、機械の動作を容易にするために（例えば、他の例の中でも特に、材料移動動作、ナビゲーション動作を容易にするために）、（例えば、衛星デバイスまたはセルラーネットワークを介して）機械に送信され得る。機械は、無線通信が停止したり、無線接続が確立され、（無線接続の）データ送信の速度が送信速度閾値を満たさなかったりした場合に、センサデータの送信を一時停止し、センサデータをバッファリングし得る。機械は、無線通信が再確立された場合、または（無線接続の）データ送信の速度が送信速度閾値を満たした場合に、センサデータの送信を再開し得る。場合によっては、無線接続が可能でない場合に、機械は、処理済みデータに依存する（機械の）動作を一時停止し得る（例えば、他の例の中でも特に、自律ナビゲーション動作を一時停止し、自律材料移動動作を一時停止し得る）。いくつかの例においては、無線接続が可能でない場合に、センサデータが機械上でローカルに処理され得る。無線接続は、機械が１つ以上のコンピューティングデバイスとの無線接続を確立していない場合、または機械が無線接続を確立しており、データ送信の速度が送信速度閾値を満たさない場合に可能でないことがある。機械は、センサデータを１つ以上のリモートコンピューティングデバイスに送信することができないこと、および／またはセンサデータが機械上でローカルに処理されていることを示す通知を（例えば機械のオペレータに）提供し得る。
【0012】
「機械」という用語は、例えば、採掘、建設、農業、輸送などの産業に関わる動作を実行する機械を指し得る。さらに、１つ以上の器具が機械に接続され得る。一例として、機械は、建設車両、作業車両、または上記の産業に関わる同様の車両を含み得る。
【0013】
図１は、本明細書に記載された例示的な実装形態１００の図である。図１に示すとおり、例示的な実装形態１００は、機械１０５を含む。機械１０５は、掘削機などの土工機械として具体化される。代替として、機械１０５は、ドーザなど別のタイプの機械であり得る。
【0014】
図１に示すとおり、機械１０５は、地面係合部材１１０、機械本体１１５、オペレータキャビン１２０、および旋回要素１２５を含む。地面係合部材１１０は、推進機１０５用の（図１に示すような）トラック（ｔｒａｃｋ）、車輪、および／またはローラなどを含み得る。地面係合部材１１０は、回転フレーム（図示せず）に搭載され、１つ以上のエンジンおよびドライブトレイン（図示せず）によって駆動される。機械本体１１５は、回転フレーム（図示せず）に搭載される。オペレータキャビン１２０は、機械本体１１５によって支持される。オペレータキャビン１２０は、一体型ディスプレイ（図示せず）と、例えば一体型ジョイスティックなどのオペレータ制御部１２４と、を含む。オペレータ制御部１２４は、１つ以上の入力コンポーネントを含み得る。
【0015】
自律機械の場合、オペレータ制御部１２４は、オペレータが使用するように設計されていなくてもよく、むしろ、オペレータとは独立して動作するように設計されていてもよい。この場合には、オペレータ制御部１２４が、例えば、任意のオペレータ入力なしで別のコンポーネントによって使用される入力信号を提供する１つ以上の入力コンポーネントを含み得る。旋回要素１２５は、回転フレーム（および機械本体１１５）が回転（または旋回）できるようにする１つ以上のコンポーネントを含み得る。例えば、旋回要素１２５は、回転フレーム（および機械本体１１５）が地面係合部材１１０に対して回転（または旋回）できるようにし得る。
【0016】
図１に示すとおり、機械１０５は、ブーム１３０、スティック１３５、および機械作業ツール１４０を含む。ブーム１３０は、機械本体１１５のその近位端に枢動可能に搭載され、１つ以上の流体作動シリンダー（例えば、油圧または空気圧シリンダー）、電気モータ、および／または他の電気機械コンポーネントにより、機械本体１１５に対して関節運動する。スティック１３５は、ブーム１３０の遠位端に枢動可能に搭載され、１つ以上の流体作動シリンダー、電気モータ、および／または他の電気機械コンポーネントによってブーム１３０に対して関節運動する。ブーム１３０および／またはスティック１３５は、リンク機構と称され得る。機械作業ツール１４０は、スティック１３５の遠位端に搭載され、１つ以上の流体作動シリンダー、電気モータ、および／または他の電気機械コンポーネントによってスティック１３５に対して関節運動し得る。機械作業ツール１４０は、（図１に示すような）バケツであり得るか、スティック１３５に搭載され得る別のタイプのツールであり得る。機械作業ツール１４０は、器具と称され得る。
【0017】
図１に示すとおり、機械１０５は、コントローラ１４５（例えば、他の例の中でも特に、電子制御モジュール（ＥＣＭ）、コンピュータビジョンコントローラ、オートノミーコントローラ（ａｕｔｏｎｏｍｙ ｃｏｎｔｒｏｌｌｅｒ））、１つ以上の慣性計測装置（ＩＭＵ）１５０（本明細書では、個別的には「ＩＭＵ１５０」と称し、集合的には「ＩＭＵ（複数）１５０」と称する）、ステレオカメラ１５５、無線通信コンポーネント１６０、および１つ以上のセンサデバイス１６５を含む。コントローラ１４５は、機械１０５の動作を制御および／または監視し得る。例えば、コントローラ１４５は、オペレータ制御部１２４からの信号、ＩＭＵ１５０からの信号、ステレオカメラ１５５からの信号、無線通信コンポーネント１６０からの信号、および／または１つ以上のセンサデバイス１６５からの信号に基づいて、機械１０５の動作を制御および／または監視し得る。
【0018】
図１に示すとおり、ＩＭＵ１５０は、例えば、機械本体１１５、ブーム１３０、スティック１３５、および機械作業ツール１４０など、機械１０５のコンポーネントまたは部分上の様々な位置に設置される。ＩＭＵ１５０は、ＩＭＵ１５０が設置される機械１０５のコンポーネントの位置および向きを示す信号を受信、生成、記憶、処理、および／または提供できる１つ以上のデバイスを含む。例えば、ＩＭＵ１５０は、１つ以上の加速度計および／または１つ以上のジャイロスコープを含み得る。１つ以上の加速度計および／または１つ以上のジャイロスコープは、基準フレームに対するＩＭＵ１５０の位置および向き、ひいてはコンポーネントの位置および向きを判断するのに使用できる信号を生成および提供する。本明細書で論じられている例ではＩＭＵ１５０に言及しているが、本開示は、機械１０５のコンポーネントの位置および向きを判断するのに使用され得る１つ以上の他のタイプのセンサデバイスを使用することに適用可能である。
【0019】
ステレオカメラ１５５は、機械１０５が所在する地面を含む環境のセンサデータを取得および提供できる１つ以上のデバイスを含み得る。センサデータは、環境の画像データ（例えば、３次元（３Ｄ）画像データ）を含み得る。本明細書で論じられている例ではステレオカメラ１５５に言及しているが、本開示は、環境に関するデータを提供するように構成されたデバイス（例えばセンサデバイス）の他の例の中でも特に、光検出および測距（ＬＩＤＡＲ）デバイス、ならびに／または無線検出および測距（ＲＡＤＡＲ）デバイスなど、１つ以上の他のタイプのデバイスを使用することに適用可能である。別段に明記されていない限り、以降、ステレオカメラ１５５への任意の言及は、これらの他のデバイスを包含するものと理解されたい。
【0020】
図１は、単一のステレオカメラ１５５を、機械１０５に含まれるものとして示している。実際には、機械１０５は、１つ以上の追加ステレオカメラ１５５および／または別様に配置されたステレオカメラ１５５（例えば、機械１０５の他の部分上に設けられたステレオカメラ１５５）を含み得る。ステレオカメラ１５５は、例えば、ブーム１３０、スティック１３５、および機械作業ツール１４０上に設けられ得る。
【0021】
無線通信コンポーネント１６０は、本明細書に記載のとおり、機械１０５が他のデバイスと通信できるようにする１つ以上のデバイスを含む。無線通信コンポーネント１６０は、他の例の中でも特に、トランシーバ、別個の送信機および受信機、ならびにアンテナを含み得る。無線通信コンポーネント１６０は、本明細書に記載のとおり、（例えばステレオカメラ１５５からの）センサデータを１つ以上のコンピューティングデバイスに送信し得、１つ以上のコンピューティングデバイスから処理済みデータを受信し得る。
【0022】
無線通信コンポーネント１６０は、センサデータをステレオカメラ１５５からのデータの連続フローとして送信するように構成され得る。いくつかの例においては、無線通信コンポーネント１６０が、下記のとおり、衛星デバイスを介して、基地局を介して、および／または無線通信コンポーネント１６０が１つ以上のコンピューティングデバイスにデータを送信できるように、かつ１つ以上のコンピューティングデバイスからデータを受信できるようにし得る別のデバイスを介してセンサデータを送信し得、処理済みデータを受信し得る。
【0023】
無線通信コンポーネント１６０は、他の例の中でも特に、セルラーネットワーク（例えば、５Ｇネットワーク、ロングタームエボリューション（ＬＴＥ）ネットワーク、符号分割多元接続（ＣＤＭＡ）ネットワーク、３Ｇネットワーク、４Ｇネットワーク、または別のタイプのセルラーネットワーク）、インターネット、クラウドコンピューティングネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、イントラネット、光ファイバーベースのネットワーク、広域ネットワーク（ＷＡＮ）、公衆陸上移動網（ＰＬＭＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、電話ネットワーク（例えば、公衆電話交換網（ＰＳＴＮ））、プライベートネットワーク、およびアドホックネットワーク、ならびに／またはこれらもしくは他のタイプのネットワークの組み合わせなど、１つ以上の有線および／または無線ネットワークを含むネットワークを介して１つ以上のコンピューティングデバイスと通信し得る。
【0024】
センサデバイス１６５は、機械１０５の１つ以上のコンポーネントに関する信号を受信、生成、記憶、処理、および／または提供できる１つ以上のデバイスを含む。例えば、センサデバイス１６５は、他の例の中でも特に、油圧変位センサ、（例えば油圧シリンダー用の）圧力センサ、機械速度センサ、エンジン回転数センサ、および／または全地球測位システム（ＧＰＳ）デバイスを含み得る。
【0025】
図１にさらに示すとおり、例示的な実装形態１００は、衛星デバイス１７０を伴い、１つ以上のコンピューティングデバイス１７５－１から１７５－Ｎ（Ｎ?１）（以下、集合的にはコンピューティングデバイス（複数）１７５と称され、個別的にはコンピューティングデバイス１７５と称される）を含み、基地局１８０も伴う。衛星デバイス１７０は、高速通信用に構成された１つ以上のデバイス（例えば、高速通信用に構成された静止衛星）を含み得る。衛星デバイス１７０は、例えば、高速インターネットアクセスを（例えば、無線通信コンポーネント１６０を介して機械１０５に）提供するように構成され得る。
【0026】
コンピューティングデバイス（またはリモートコンピューティングデバイス）１７５は、本明細書で説明しているとおり、センサデータを処理して処理済みデータを生成するように構成された１つ以上のデバイスを含み得る。コンピューティングデバイス１７５は、単一のコンピューティングデバイス（例えば単一のサーバ）、または１つ以上のデータセンタ内の複数のコンピューティングデバイスなどの複数のコンピューティングデバイス（例えば複数のサーバ）として実装され得る。いくつかの例においては、コンピューティングデバイス１７５が、クラウドコンピューティング環境に含まれ得る。追加または代替として、コンピューティングデバイス１７５は、バックオフィスシステムに含まれ得る。
【0027】
基地局１８０は、（例えば上記の）セルラーネットワークに接続され得る。基地局１８０は、例えば５Ｇネットワークに接続され得る。基地局１８０は、ベーストランシーバ基地局、無線基地局、ノードＢ、進化型ノードＢ（ｅＮＢ）、次世代ノードＢ（ｇＮＢ）、基地局サブシステム、セルラーサイト、セルラー塔（例えば、セルフォン塔、および／または携帯電話塔など）、アクセスポイント、送受信ポイント（ＴＲＰ）、無線アクセスノード、マクロセル基地局、マイクロセル基地局、ピコセル基地局、および／もしくはフェムトセル基地局、または同様のタイプのデバイスを含み得る。
【0028】
【0029】
図２は、本明細書に記載された例示的なシステム２００の図である。図２に示すとおり、システム２００は、コントローラ１４５、ＩＭＵ１５０、ステレオカメラ１５５、無線通信コンポーネント１６０、１つ以上のセンサデバイス１６５、１つ以上のコンピューティングデバイス１７５を含み、衛星デバイス１７０および基地局１８０も伴う。コントローラ１４５は、以下でさらに詳述するとおり、ステレオカメラ１５５からのセンサデータが、１つ以上のコンピューティングデバイス１７５によって処理されるようにすること、または機械１０５上でローカルに処理されるようにすることを行うように構成され得る。
【0030】
ＩＭＵ１５０は、１つ以上の第１のＩＭＵ１５０、１つ以上の第２のＩＭＵ１５０、および１つ以上の第３のＩＭＵ１５０を含み得る。１つ以上の第１のＩＭＵ１５０は、ブーム１３０および／またはスティック１３５上に所在し得る。１つ以上の第１のＩＭＵ１５０は、ブーム１３０および／またはスティック１３５の位置および／または向きを判断するのに使用され得る信号を生成し得、信号は、ブーム１３０および／またはスティック１３５の位置および／または向きを示すリンク機構ポーズデータを生成するのに使用され得る。１つ以上の第２のＩＭＵ１５０は、機械作業ツール１４０上に所在し得る。１つ以上の第２のＩＭＵ１５０は、機械作業ツール１４０の位置および／または向きを判断するのに使用され得る信号を生成し得、信号は、機械作業ツール１４０の位置および／または向きを示す器具ポーズデータを生成するのに使用され得る。１つ以上の第３のＩＭＵ１５０は、機械本体１１５上に所在し得る。１つ以上の第３のＩＭＵ１５０は、機械本体１１５の位置および／または向きを判断するのに使用され得る信号を生成し得、信号は、機械本体１１５の位置および／または向きを示す機械ポーズデータを生成するのに使用され得る。
【0031】
ＩＭＵ１５０は、リンク機構ポーズデータ、器具ポーズデータ、および／または機械ポーズデータをコントローラ１４５に周期的に（例えば、他の例の中でも特に、３０秒ごとに、１分ごとに、５分ごとに）提供し得る。追加または代替として、ＩＭＵ１５０は、トリガイベントに基づいて、リンク機構ポーズデータ、器具ポーズデータ、および／または機械ポーズデータをコントローラ１４５に提供し得る。トリガイベントは、他の例の中でも特に、コントローラ１４５からの要求、機械本体１１５の移動の検出、機械作業ツール１４０の移動の検出、機械本体１１５の移動の検出、ブーム１３０および／またはスティック１３５の移動の検出、オペレータからの要求、バックオフィスシステムからの要求、機械１０５による新タスクの開始、異なる地理的位置への機械１０５の移転、機械１０５が掘削サイクルを完了した後、および／または機械作業ツール１４０が掘削を完了した後、ならびに材料を降ろす前の揺動中を含み得る。リンク機構ポーズデータ、器具ポーズデータ、および／または機械ポーズデータは、センサデータが１つ以上のリモートコンピューティングデバイスに送信された速度と同じ速度で１つ以上のリモートコンピューティングデバイスに送信され得る。リンク機構ポーズデータ、器具ポーズデータ、および／または機械ポーズデータは、センサデータと、リンク機構ポーズデータ、器具ポーズデータ、および／または機械ポーズデータとを同期させるために、このように送信され得る。代替として、リンク機構ポーズデータ、器具ポーズデータ、および／または機械ポーズデータは、（センサデータからの）画像が、ＩＭＵ１５０からのデータを使用して世界座標に登録できるように、かつ機械１０５からの他のデータと相関できるようにタイムスタンプされ得る。カメラフレームおよびセンサ時間サンプルとを正確に同期させることができない場合には、センサデータとリンク機構ポーズデータ、器具ポーズデータ、および／または機械ポーズデータとを時間的に整合させるために、センサデータの時間補間を実行し得る。
【0032】
ステレオカメラ１５５は、機械１０５を取り囲む地形を含み、かつ機械１０５が所在する地面を含む環境のセンサデータを取得するように構成され得る。センサデータは、環境の画像データ（例えば環境の画像）を含み得る。場合によっては、センサデータが、環境の３Ｄ画像データを含み得る。ステレオカメラ１５５は、センサデータをコントローラ１４５に周期的に（他の例の中でも特に、毎秒、１秒おきに）提供し得る。追加または代替として、ステレオカメラ１５５は、トリガイベント（例えば、コントローラ１４５からの要求）に基づいてセンサデータをコントローラ１４５に提供し得る。
【0033】
無線通信コンポーネント１６０は、衛星デバイス１７０を介して、または基地局１８０を介して、１つ以上のコンピューティングデバイス１７５との無線接続を確立する（例えば、衛星デバイス１７０との、または基地局１８０との無線接続を確立し、ひいては１つ以上のコンピューティングデバイスとの無線接続を確立する）ように構成され得る。無線通信コンポーネント１６０は、周期的に（例えば、他の例の中でも特に、３０秒ごとに、１分ごとに）、かつ／またはトリガイベントに基づいて（例えば、他の例の中でも特に、コントローラ１４５からの要求、機械１０５が自律モードで動作しているという明示の受信に基づいて、無線通信コンポーネント１６０の開始に基づいて）無線接続の確立を試行するように構成され得る。
【0034】
無線通信コンポーネント１６０は、無線接続を介して、（ステレオカメラ１５５によって取得された）センサデータを処理のために１つ以上のコンピューティングデバイス１７５に送信し得る。１つ以上のコンピューティングデバイス１７５は、センサデータを処理して処理済みデータを生成し得、無線通信コンポーネント１６０は、無線接続を介して１つ以上のコンピューティングデバイス１７５から処理済みデータを受信し得る。
【0035】
無線通信コンポーネント１６０は、（例えば、基地局１８０との無線接続を確立することよりも）衛星デバイス１７０との無線接続を確立することを優先するように構成され得る。無線通信コンポーネント１６０は、例えば、基地局１８０の信号強度が衛星デバイス１７０の信号強度を閾値差以上には超えなければ、衛星デバイス１７０との無線接続を確立するように構成され得る。別の例として、無線通信コンポーネント１６０は、衛星デバイス１７０の信号強度が基地局１８０の信号強度に関係なく信号強度閾値を満たせば、衛星デバイス１７０との無線接続を確立するように構成され得る。
【0036】
無線通信コンポーネント１６０は、他の例の中でも特に、閾値差を識別する情報で事前に構成されたり、機械１０５のオペレータのデバイスから閾値差を識別する情報を受信したり、バックオフィスシステムから閾値差を識別する情報を受信したりし得る。衛星デバイス１７０との無線接続を確立することを優先することに対する代替として、無線通信コンポーネント１６０は、衛星デバイス１７０に関して上記の方式と同様の方式で、（例えば、衛星デバイス１７０との無線接続を確立することよりも）基地局１８０との無線接続を確立することを優先するように構成され得る。
【0037】
いくつかの実装形態においては、無線通信コンポーネント１６０が、衛星デバイス１７０の相対信号強度および基地局１８０の信号強度に基づいて無線接続を確立するように構成され得る。無線通信コンポーネント１６０は、例えば、衛星デバイス１７０の信号強度が基地局１８０の信号強度を超えると、衛星デバイス１７０との無線接続を確立するように構成され得る。代替として、無線通信コンポーネント１６０は、基地局１８０の信号強度が衛星デバイス１７０の信号強度を超えると、基地局１８０との無線接続を確立するように構成され得る。
【0038】
無線通信コンポーネント１６０（および／またはコントローラ１４５）は、衛星デバイス１７０の信号強度および基地局１８０の信号強度を周期的に（例えば、他の例の中でも特に、１５秒ごとに、３０秒ごとに）判断し得る。この点について、無線通信コンポーネント１６０は、衛星デバイス１７０の信号強度と基地局１８０の信号強度とを周期的に判断することに基づいて、衛星デバイス１７０との無線接続を確立することと、基地局１８０との無線接続を確立することとを周期的に交互に行い得る。
【0039】
無線接続の確立を周期的に交互に行う一例として、無線通信コンポーネント１６０が衛星デバイス１７０との無線接続を確立したと仮定する。無線通信コンポーネント１６０は、無線通信コンポーネント１６０（および／またはコントローラ１４５）が、基地局１８０の信号強度が衛星デバイス１７０の信号強度を超えた（そして逆もまた同様）と判断すると、衛星デバイス１７０との無線接続を終了し、基地局１８０との無線接続を確立し得る。
【0040】
信号強度を周期的に判断することに対する追加または代替として、無線通信コンポーネント１６０（および／またはコントローラ１４５）は、トリガイベントに基づいて（例えば、他の例の中でも特に、コントローラ１４５からの要求に基づいて、機械１０５の動作の変更の明示に基づいて）、衛星デバイス１７０の信号強度および基地局１８０の信号強度を判断し得る。無線通信コンポーネント１６０は、トリガイベントに基づいて、衛星デバイス１７０との無線接続を確立することと、基地局１８０との無線接続を確立することとを交互に行い得る。
【0041】
衛星デバイス１７０との無線接続を確立すること、または基地局１８０との無線接続を確立することを（例えば、周期的に、かつ／またはトリガイベントに基づいて）交互に行うことにより、無線通信コンポーネント１６０は、１つ以上のコンピューティングデバイス１７５との通信を維持し得、センサデータの送信および／または処理済みデータの受信の中断を最小限に抑えることを試行し得る。センサデータの送信および／または処理済みデータの受信の中断を防ぐことにより、無線通信コンポーネント１６０および／またはコントローラ１４５は、機械１０５によって実行される動作の任意の中断を防ぎ得る。
【0042】
いくつかの例においては、無線通信コンポーネント１６０が、衛星デバイス１７０の信号強度が信号強度閾値を満たしていなければ、衛星デバイス１７０との無線接続が確立できないと判断し得る。無線通信コンポーネント１６０は、同様に、基地局１８０の信号強度が信号強度閾値を満たしていなければ、基地局１８０との無線接続が確立できないと判断し得る。コントローラ１４５は、衛星デバイス１７０の信号強度および基地局１８０の信号強度がどちらも信号強度閾値を満たしていなければ、センサデータが機械１０５上でローカルに処理されると判断し得る。無線通信コンポーネント１６０は、他の例の中でも特に、信号強度閾値を識別する情報で事前に構成されたり、オペレータのデバイスから信号強度閾値を識別する情報を受信したり、バックオフィスシステムから信号強度閾値を識別する情報を受信したりし得る。
【0043】
無線通信コンポーネント１６０は、機械学習モデルの出力に基づいて無線接続を確立するように構成され得る。無線通信コンポーネント１６０（および／またはコントローラ１４５）は、例えば、機械学習モデルを使用して、無線通信コンポーネント１６０が衛星デバイス１７０との無線接続を確立すべきかどうか、無線通信コンポーネント１６０が基地局１８０との無線接続を確立すべきかどうか、または無線通信コンポーネント１６０が衛星デバイス１７０もしくは基地局１８０との無線接続を確立すべきでないかどうかを予想し得る。
【0044】
コントローラ１４５は、他の例の中でも特に、機械１０５の現在の地理的位置および／または現在の地理的領域を識別する情報、現在の地理的位置および／または現在の地理的領域における１つ以上の障害物を識別する情報（例えば、１つ以上の障害物の１つ以上の画像）、時刻を識別する情報、および／または予想気象条件を識別する情報などを、入力として機械学習モデルに提供し得る。入力は、他の例の中でも特に、オペレータのデバイス、ステレオカメラ１５５、および／または１つ以上のセンサデバイス１６５から取得され得る。機械学習モデルは、入力に基づいて、無線通信コンポーネント１６０が衛星デバイス１７０との無線接続を確立すべきかどうか、基地局１８０との無線接続を確立すべきかどうか、または衛星デバイス１７０もしくは基地局１８０との無線接続を確立すべきでないかどうかを示す予想接続情報を出力として提供し得る。
【0045】
機械学習モデルは、他の例の中でも特に、地理的位置および／もしくは地理的領域の過去のデータ、過去の地理的位置および／もしくは地理的領域における障害物の過去のデータ（例えば画像）、過去の時刻、過去の地理的位置および／もしくは地理的領域における気象条件の過去のデータ、過去の地理的位置および／もしくは地理的領域における衛星デバイス１７０および基地局１８０の過去の信号強度（例えば、他の例の中でも特に、過去の障害物、過去の時間、過去の気象条件に照らして）、過去の地理的位置および／もしくは地理的領域における衛星デバイス１７０および基地局１８０の過去のレイテンシ、ならびに／または確立された無線接続（例えば、衛星デバイス１７０または基地局１８０）を示す過去のデータを含む過去のデータを使用して訓練され得る。
【0046】
機械学習モデルは、別個のハードウェアコンポーネントまたはソフトウェアコンポーネント（図示せず）であり得る訓練デバイス（ｔｒａｉｎｅｒ ｄｅｖｉｃｅ）によって生成および訓練され得る。訓練デバイスは、他の例の中でも特に、バックオフィスシステムに含まれたり、１つ以上のコンピューティングデバイス１７５に含まれたりし得る。訓練デバイスは、コントローラ１４５および／または無線通信コンポーネント１６０による使用のために、機械学習モデルを機械１０５に提供し得る。訓練デバイスは、（例えば、他の例の中でも特に、スケジューリングに基づいて、要求に従って、トリガごとに、周期的に）機械学習モデルを更新し、機械１０５に提供し得る。場合によっては、コントローラ１４５が、追加訓練データ（例えば、上記の過去のデータに類似した追加の過去のデータ）を取得し得、追加訓練データに基づいて機械学習モデルが再訓練されるようにし得る。コントローラ１４５は、例えば、追加訓練データを訓練デバイスに提供して機械学習モデルを再訓練し得る。機械学習モデルは、周期的に、かつ／またはトリガイベントに基づいて再訓練され得る。
【0047】
訓練デバイスは、機械学習モデルを訓練する際に、訓練データを訓練セット（例えば、機械学習モデルを訓練するためのデータセット）、検証セット（例えば、機械学習モデルのフィッティングを評価し、かつ／または機械学習モデルを微調整するのに使用されるデータセット）、および／またはテストセット（例えば、機械学習モデルの最終的なフィッティングを評価するのに使用されるデータセット）などに分け得る。訓練デバイスは、訓練データを最小特徴セットに減らすために、次元削減を前処理および／または実行し得る。訓練デバイスは、この最小特徴セット上で機械学習モデルを訓練することによって、機械学習モデルを訓練するための処理を減らし得るとともに、分類技法を最小特徴セットに適用し得る。
【0048】
訓練デバイスは、分類技法、例えばロジスティック回帰分類技法、ランダムフォレスト分類技法、および／または勾配ブースティング機械学習（ＧＢＭ）技法などを用いて、分類別結果（例えば、衛星デバイス１７０または基地局１８０との無線接続を確立するかどうか）を判断し得る。訓練デバイスは、分類技法の使用に対する追加または代替として、単純ベイズ分類器技法（ｎａiｖｅ Ｂａｙｅｓｉａｎ ｃｌａｓｓｉｆｉｅｒ ｔｅｃｈｎｉｑｕｅ）を使用し得る。この場合、デバイスは、バイナリ再帰分割（ｂｉｎａｒｙ ｒｅｃｕｒｓｉｖｅ ｐａｒｔｉｔｉｏｎｉｎｇ）を実行して、最小特徴セットの訓練データをパーティションおよび／または分岐に分割し得、パーティションおよび／または分岐を用いて予想（例えば、衛星デバイス１７０または基地局１８０との無線接続を確立するかどうか）を実行し得る。再帰分割の使用に基づいて、訓練デバイスは、データ項目の手動線形分類および分析に関する計算リソースの使用を低減し得、それにより、数千、数百万、または数十億のデータ項目を使用してモデルを訓練できるようになり、その結果、少ないデータ項目を使用する場合よりも正確なモデルを得ることができる。
【0049】
訓練デバイスは、対象分野の専門家（例えば、機械１０５および／または１つ以上の機械に関わる１人以上のオペレータ）から機械学習モデルへの入力を受信することを含む教師あり訓練手順を用いて機械学習モデルを訓練し得、これにより、教師なし訓練手順に比べて、機械学習モデルを訓練するための時間および／または処理リソース量などが低減し得る。訓練デバイスは、１つ以上の他のモデル訓練技法、例えばニューラルネットワーク技法および／または潜在意味インデックス技法などを使用し得る。
【0050】
例えば、訓練デバイスは、（例えば、２層フィードフォワードニューラルネットワークアーキテクチャおよび／または３層フィードフォワードニューラルネットワークアーキテクチャなどを使用して）人工ニューラルネットワーク処理技法を実行して、衛星デバイス１７０または基地局１８０との無線接続を確立するパターンに関するパターン認識を実行し得る。この場合、人工ニューラルネットワーク処理技法を使用すると、ノイズがあったり、不正確であったり、不完全であったりするデータに対する堅牢性が高いことと、人間のアナリスト、またはあまり複雑でない技法を用いたシステムには検出できないパターンおよび／もしくは傾向を訓練デバイスが検出できるようにすることとにより、訓練デバイスによって生成される機械学習モデルの正確度が向上し得る。
【0051】
以降の例においては、ステレオカメラ１５５がセンサデータをコントローラ１４５に提供したと仮定する。ステレオカメラ１５５が、例えば、上記の方式と同様の方式でセンサデータをコントローラ１４５に提供し得る。ステレオカメラ１５５が、例えば、コントローラ１４５からセンサデータの要求を受信したと仮定する。ステレオカメラ１５５は、要求を受信することに基づいて、センサデータをコントローラ１４５に提供し得る。コントローラ１４５は、ステレオカメラ１５５からセンサデータを受信し、センサデータが処理のために１つ以上のコンピューティングデバイス１７５へと送信されるようにするか、センサデータが機械１０５上でローカルに処理されるようにするかを判断し得る。
【0052】
コントローラ１４５は、センサデータが処理のために１つ以上のコンピューティングデバイス１７５へと送信されるようにするか、センサデータが機械１０５上でローカルに処理されるようにするかを判断することの一環として、無線接続が可能であるかどうかを判断し得る。無線接続は、無線通信コンポーネント１６０が衛星デバイス１７０または基地局１８０との無線接続を確立した場合、または無線通信コンポーネント１６０が無線接続を確立しており、データ送信の速度が送信速度閾値を満たしている場合に可能であり得る。送信速度閾値は、他の例の中でも特に、オペレータによって判断されたり、バックオフィスシステムによって判断されたり、機械１０５のメモリに記憶されたりし得る。コントローラ１４５は、無線接続が可能である場合に、無線通信コンポーネント１６０に、無線接続を介して１つ以上のコンピューティングデバイス１７５へとセンサデータを送信させ得る。代替として、コントローラ１４５は、無線接続が可能でない場合に、センサデータが機械１０５上でローカルに処理されるようにし得る。無線接続は、無線通信コンポーネント１６０が衛星デバイス１７０または基地局１８０との無線接続を確立していない場合、または無線通信コンポーネント１６０が無線接続を確立しており、データ送信の速度が送信速度閾値を満たしていない場合に可能でないことがある。
【0053】
いくつかの例において、コントローラ１４５は、無線接続が可能であるかどうかを示す無線接続情報を無線通信コンポーネント１６０から受信し得、コントローラ１４５は、無線接続情報に基づいて、無線接続が可能であるかどうかを判断し得る。いくつかの例において、コントローラ１４５は、無線通信コンポーネント１６０が（例えば、衛星デバイス１７０または基地局１８０との）無線接続を確立する必要があるかどうかを判断し得、無線通信コンポーネント１６０が衛星デバイス１７０との無線接続を確立するかどうか、または基地局１８０との無線接続を確立するかどうかを判断することに基づいて、無線接続を確立する命令を無線通信コンポーネント１６０に提供し得る。
【0054】
コントローラ１４５は、命令を提供した後に無線通信コンポーネント１６０から無線接続情報を受信し得、無線接続情報に基づいて、無線接続が可能であるかどうかを判断し得る。コントローラ１４５は、無線通信コンポーネント１６０が無線接続を確立する必要があるかどうかを判断することに基づいて命令を提供することに対する代替として、無線通信コンポーネント１６０が無線接続を確立できるかどうかを判断せずに、無線接続を確立する命令を無線通信コンポーネント１６０に提供し得る。コントローラ１４５は、例えば、センサデータを受信することに基づいて命令を提供し得る。
【0055】
コントローラ１４５は、無線通信コンポーネント１６０が無線接続を確立するかどうかを判断することの一環として、他の例の中でも特に、機械１０５がアイドル状態にあるかアクティブ状態にあるかを判断したり、機械作業ツール１４０がロック位置にあるかロック解除位置にあるかを判断したり、衛星デバイス１７０の信号強度または基地局１８０の信号強度が信号強度閾値を満たすかどうかを判断したり、機械１０５が手動モードで動作しているか自律モードで動作しているかを判断したり、機械１０５の地理的位置を判断したりし得る。一例として、コントローラ１４５は、１つ以上のセンサデバイス１６５から、機械１０５の対地速度を識別する機械速度データおよび／または機械１０５のエンジン回転数を識別するエンジン回転数データを取得し得る。コントローラ１４５は、対地速度および／またはエンジン回転数に基づいて、機械１０５がアイドル状態にあるかアクティブ状態にあるかを判断し得る。
【0056】
コントローラ１４５は、例えば、対地速度が対地速度閾値を満たさない場合、および／またはエンジン回転数がエンジン回転数閾値を満たさない場合に、機械１０５がアイドル状態にあると判断し得る。逆に、対地速度が対地速度閾値を満たす場合、および／またはエンジン回転数がエンジン回転数閾値を満たす場合には、コントローラ１４５は、機械１０５がアクティブ状態にあると判断し得る。コントローラ１４５は、機械１０５がアクティブ状態にある場合、または機械１０５が、閾値時間を満たさない時間にわたってアイドル状態にあった場合に、無線接続を確立する命令を無線通信コンポーネント１６０に提供し得る。代替として、コントローラ１４５は、機械１０５が、閾値時間を満たす時間にわたってアイドル状態にあった場合に、無線接続を確立しない命令を無線通信コンポーネント１６０に提供し得る。
【0057】
コントローラ１４５は、オペレータキャビン１２０内のレバー（またはボタン）からの入力に基づいて、機械作業ツール１４０がロック位置にあるかロック解除位置にあるかを判断し得る。オペレータは、例えばレバーを使用して、機械作業ツール１４０をロック（または固定）またはロック解除し得る。オペレータは、例えばレバーを使用して、機械作業ツール１４０に関わる油圧システムをロックまたはロック解除し得る。油圧システムがロックされると、油圧システムのリンク機構油圧シリンダー、揺動ポンプモータ、またはトラックポンプモータに油圧流体が流れなくなり得る。油圧システムがロック解除されると、油圧システムのリンク機構油圧シリンダー、揺動ポンプモータ、またはトラックポンプモータに油圧流体が流れ得る。レバーは、機械作業ツール１４０がロックされているかロック解除されているかを示す値を生成し得る。コントローラ１４５は、機械作業ツール１４０がロック解除位置にある場合に、無線接続を確立する命令を無線通信コンポーネント１６０に提供し得る。コントローラ１４５は、衛星デバイス１７０の信号強度を識別する情報、または基地局１８０の信号強度を識別する情報を無線通信コンポーネント１６０から取得し得る。コントローラ１４５は、衛星デバイス１７０の信号強度または基地局１８０の信号強度が信号強度閾値を満たす場合に、無線接続を確立する命令を無線通信コンポーネント１６０に提供し得る。逆に、衛星デバイス１７０の信号強度および基地局１８０の信号強度がどちらも信号強度閾値を満たさない場合には、コントローラ１４５は、無線通信コンポーネント１６０が（例えば、衛星デバイス１７０または基地局１８０との）無線接続を確立できないと判断し得る。コントローラ１４５は、無線通信コンポーネント１６０が無線接続を確立できないという判断に基づいて、（ステレオカメラ１５５からの）センサデータがローカルに処理されるものと判断し得る。
【0058】
コントローラ１４５は、機械１０５が手動モードで動作しているか自律モードで動作しているかを示す動作情報を（例えば、機械１０５のメモリから）取得し得る。機械１０５が自律モードで動作していることを動作情報が示す場合には、コントローラ１４５が、無線接続を確立する命令を無線通信コンポーネント１６０に提供し得る。
【0059】
コントローラ１４５は、機械１０５の地理的位置を識別する位置データを（例えば、１つ以上のセンサデバイス１６５から）取得し得る。コントローラ１４５は、地理的位置が、他の位置の中でも特に、無線通信コンポーネント１６０が衛星デバイス１７０または基地局１８０と通信することを妨げ得る地下の位置、建物、覆われた構造物であると判断すると、無線通信コンポーネント１６０が無線接続の確立を試行できないようにし得る。代替として、コントローラ１４５は、地理的位置が、無線通信コンポーネント１６０が衛星デバイス１７０または基地局１８０と通信することを妨げ得る位置ではないと判断すると、無線接続を確立する命令を無線通信コンポーネント１６０に提供し得る。コントローラ１４５は、無線通信コンポーネント１６０によって無線通信を確立できないように、地理的位置における予想気象条件に関する情報に対して同様のアクションを実行し得る。上記のとおり、コントローラ１４５は、無線通信コンポーネント１６０が無線接続を確立するのを試行できないようにすることにより、（例えば、他の例の中でも特に、地理的位置、予想気象条件が原因で）無線接続を確立する試行に失敗する際に使用されたであろう計算リソースを保存し得る。
【0060】
無線接続を確立する命令をコントローラ１４５が無線通信コンポーネント１６０に提供するものと仮定する。コントローラ１４５は、命令に基づいて、上記の方式と同様の方式で（例えば、衛星デバイス１７０または基地局１８０との）無線接続を確立し、無線接続が確立されたという明示を提供し得る。コントローラ１４５が、（例えば、無線通信コンポーネント１６０からの明示に基づいて）無線接続が可能であると判断するものと仮定する。コントローラ１４５は、無線接続が可能であると判断することに基づいて、無線通信コンポーネント１６０に、無線接続を介して、（ステレオカメラ１５５からの）センサデータを処理のために１つ以上のコンピューティングデバイス１７５へと送信させ得る。
【0061】
センサデータは、ステレオカメラ１５５によって取得された画像および／または画像に基づいて生成された視差マップを含み得る。場合によっては、機械１０５がＬＩＤＡＲデバイスを含み得る。かかる場合には、センサデータが、ＬＩＤＡＲデバイスによって取得されたデータに基づく環境の３Ｄ点群を含み得る。１つ以上のコンピューティングデバイス１７５は、センサデータを受信し得、センサデータを処理して処理済みデータを生成し得る。
【0062】
１つ以上のコンピューティングデバイス１７５は、センサデータを処理するときに、センサデータに対して１つ以上の動作（例えばフィルタリング動作）を実行し得る。１つ以上のコンピューティングデバイス１７５は、例えば、他の例の中でも特に、センサデータを処理して、ある量のノイズ（例えば外れ値データ）をセンサデータから除去もしくは低減し、かつ／またはセンサデータ内で歪められたり、センサデータのレンダリングを歪めたりし得る項目を除去し得る。１つ以上のコンピューティングデバイス１７５は、例えば、他の例の中でも特に、センサデータに対してフィルタリングを実行（例えば、視差マップに対してフィルタリングを実行）して、その量のノイズ（例えば外れ値データ）を除去もしくは低減し、かつ／または項目を除去し得る。
【0063】
１つ以上のコンピューティングデバイス１７５は、フィルタリングの実行に関して、他の例の中でも特に、空間ノイズ低減フィルタリング、時間的／時間フィルタリング、および／またはデジタル信号処理技法を使用してセンサデータを処理し得る。このようにしてセンサデータを処理した結果、１つ以上のコンピューティングデバイス１７５は、センサデータの分解能を高め（例えば、センサデータの平滑度の尺度を高め）得る。
【0064】
ノイズを除去もしくは低減すること、および／または項目を除去することに対する追加または代替として、１つ以上のコンピューティングデバイス１７５は、センサデータを処理して、センサデータから画像のオクルージョン（ｏｃｃｌｕｓｉｏｎ）を除去し得る。１つ以上のコンピューティングデバイス１７５は、例えば、１つ以上のコンピュータビジョン技法を用いて、ステレオカメラ１５５の視線を遮った可能性がある１つ以上の項目を識別および除去し得る。１つ以上のコンピューティングデバイス１７５は、例えば、１つ以上の物体検出技法（例えば、シングルショット検出器（ＳＳＤ）技法、および／またはＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）技法など）を用いてセンサデータを分析して、１つ以上の項目を識別し得る。画像のオクルージョンを除去することに対する追加または代替として、１つ以上のコンピューティングデバイス１７５は、センサデータの１つ以上の部分においてデータを補間し得る。一例として、１つ以上のコンピューティングデバイス１７５は、センサデータに対して（例えば、１つ以上の画像処理技法を用いて）画像処理を実行して、センサデータを補間し得る。
【0065】
上記の１つ以上の動作を実行することにより、１つ以上のコンピューティングデバイス１７５は、センサデータの品質の尺度を高め得、機械１０５の動作を容易にし得る有用な情報を識別する確率を高め得る。１つ以上のコンピューティングデバイス１７５は、上記の１つ以上の動作を実行することに基づいて、フィルタリングされたデータを生成し得る。１つ以上のコンピューティングデバイス１７５は、（例えば、セマンティックセグメンテーション技法を用いて）他の例の中でも特に、フィルタリングされたデータを処理して、地面上の１つ以上の穴に関する情報、地面上の１つ以上の材料の山（ｐｉｌｅ）に関する情報、材料に関する情報、および／または機械作業ツール１４０内の材料に関する情報を判断し得る。
【0066】
１つ以上の穴に関する情報は、他の例の中でも特に、１つ以上の穴の位置、１つ以上の穴の深さ、および／または１つ以上の穴の幾何形状（もしくは形状）を含み得る。１つ以上の山に関する情報は、他の例の中でも特に、１つ以上の山の位置、１つ以上の山の高さ、１つ以上の山の幾何形状（または形状）、および／または１つ以上の山の体積を含み得る。材料に関する情報は、他の例の中でも特に、砂、粘土、および／または硬岩など、材料のタイプを含み得る。機械作業ツール１４０内の材料に関する情報は、他の例の中でも特に、材料の体積、材料の幾何形状（または形状）、および／または機械作業ツール１４０の充填レベルを含み得る。
【0067】
１つ以上の穴に関する情報、１つ以上の山に関する情報、および／または材料に関する情報は、表面データに含まれ得る。表面データは、機械１０５により、環境内で機械１０５をナビゲーションを容易にするのに使用され得る。表面データは、機械１０５により、例えば、環境の１つ以上のナビゲート可能部分を識別し、環境の１つ以上のナビゲート不可部分を識別するのに使用され得る。一例として、１つ以上のナビゲート可能部分は、機械１０５のナビゲーション動作を妨害し得る項目のうち他の例の中でも特に、１つ以上の穴を含まなく、かつ／または１つ以上の山を含まない、地面の１つ以上の部分を含み得る。１つ以上のナビゲート不可部分は、機械１０５のナビゲーション動作を妨害し得る項目のうち他の例の中でも特に、１つ以上の穴、および／または１つ以上の山を含む、地面の１つ以上の部分を含み得る。この点に関して、表面データは、機械１０５の自律ナビゲーション動作に使用され得る。
【0068】
表面データは、機械１０５により、機械１０５の材料移動動作（例えば掘削動作）を容易にするのに使用され得る。表面データは、機械１０５により、例えば、材料移動動作のために地面の１つ以上の位置（１つ以上の穴および／または１つ以上の山の位置以外）を識別するのに使用され得る。この点に関して、表面データは、機械１０５の自律材料移動動作に使用され得る。
【0069】
材料に関する情報および／または機械作業ツール１４０内の材料に関する情報は、体積データに含まれ得る。体積データは、（例えば、他の例の中でも特に、機械１０５および／またはバックオフィスシステムにより）他の例の中でも特に機械１０５のオペレータの生産性の尺度を判断するのに使用され得る。体積データは、例えば、他の例の中でも特に、ある期間にわたって機械１０５によって移動された材料の体積を識別する情報、および／または材料移動タスクの完了の尺度を示す情報を含み得る。
【0070】
いくつかの実装形態においては、１つ以上のコンピューティングデバイス１７５が、１つ以上の機械学習モデルを使用してフィルタリングされたデータを処理し得る。１つ以上のコンピューティングデバイス１７５は、例えば、フィルタリングされたデータを１つ以上の機械学習モデルへの入力として提供し得、１つ以上の機械学習モデルは、１つ以上の穴に関する情報、１つ以上の山に関する情報、材料に関する情報、および／または機械作業ツール１４０内の材料に関する情報を出力として提供し得る。例えば、第１の機械学習モデルが、１つ以上の穴に関する情報を（出力として）提供したり、第２の機械学習モデルが、１つ以上の山に関する情報を（出力として）提供したり、第３の機械学習モデルが、材料に関する情報を（出力として）提供したりすることができる。
【0071】
１つ以上のコンピューティングデバイス１７５は、様々な出力を、ソースデータおよび体積データを含む処理済みデータに集約し得る。無線通信コンポーネント１６０は、無線接続を介して、１つ以上のコンピューティングデバイス１７５から処理済みデータを受信し得、処理済みデータをコントローラ１４５に提供して、機械の動作（例えば、他の例の中でも特に、ナビゲーション動作および／または材料移動動作）を容易にし得る。場合によっては、処理済みデータが、他の例の中でも特に、現場管理者のデバイスおよび／またはバックオフィスシステムに提供され得る。
【0072】
１つ以上の機械学習モデルは、他の例の中でも特に、様々な穴（例えば、様々なサイズ、形状、および／または深さ）、様々な山（例えば、様々なサイズ、形状、および／または高さ）、様々なタイプの材料、様々な体積の材料、様々な機械作業ツール、および／または機械作業ツール内の様々な体積の材料を識別する過去のデータ（例えば、過去の画像、過去の視差マップ、および／または過去の点群）を使用して訓練され得る。場合によっては、ＰｏｉｎｔＮｅｔが、点群に関して使用される１つ以上の機械学習モデルの一例であり得る。１つ以上の機械学習モデルは、上記の方式と同様の方式で訓練され得る。
【0073】
コントローラ１４５は、１つ以上のセンサデバイス１６５から、センサデータと併せて処理するための追加データを受信し得る。追加データは、他の例の中でも特に、器具ポーズデータ、機械ポーズデータ、リンク機構ポーズデータ、油圧変位データ、および／または（例えば油圧シリンダー用の）圧力データを含み得る。コントローラ１４５は、センサデータと共に処理して処理済みデータを生成するために、無線通信コンポーネント１６０に、無線接続を介して追加データを１つ以上のコンピューティングデバイス１７５へと送信させ得る。
【0074】
例えば、機械作業ツール１４０内の材料の体積を判断するときに、１つ以上のコンピューティングデバイス１７５は、器具ポーズデータに基づいて視差マップ内の機械作業ツール１４０の座標を判断し得る。機械作業ツール１４０の座標により、１つ以上のコンピューティングデバイス１７５（および／または１つ以上の機械学習モデル）が、機械作業ツール１４０内の材料の体積を判断するときに、機械作業ツール１４０を含むセンサデータの一部分（例えば視差マップの一部分）を識別することができ得る。１つ以上のコンピューティングデバイス１７５（および／または１つ以上の機械学習モデル）は、センサデータの一部分を識別することにより、機械作業ツール１４０内の材料の体積を判断する目的でセンサデータ全体を処理するのに使用されたであろう計算リソースを保存し得る。いくつかの例においては、機械作業ツール１４０内の材料の体積を判断するときに、１つ以上のコンピューティングデバイス１７５が、機械作業ツール１４０の幾何形状を判断し得る。場合によっては、１つ以上のコンピューティングデバイス１７５が、機械１０５から（例えば、無線通信コンポーネント１６０を介してコントローラ１４５から）機械作業ツール１４０の幾何形状に関する情報を受信し得る。代替として、１つ以上のコンピューティングデバイス１７５は、機械１０５を識別する情報を（例えば、無線通信コンポーネント１６０を介してコントローラ１４５から）受信し得、機械１０５を識別する情報を使用して、機械作業ツール１４０の幾何形状に関する情報を（例えばデータ構造から）取得し得る。１つ以上のコンピューティングデバイス１７５は、機械作業ツール１４０の幾何形状に関する情報に基づいて、機械作業ツール１４０の内面の幾何形状を判断し得る。１つ以上のコンピューティングデバイス１７５は、センサデータを分析することに基づいて、機械作業ツール１４０内の材料と接触している内面の一部分を判断し得る。１つ以上のコンピューティングデバイス１７５は、例えば、機械作業ツール１４０の全側面上にある材料が、機械作業ツール１４０のどのくらいの高さかを判断し得る。加えて、１つ以上のコンピューティングデバイス１７５は、機械作業ツール１４０の上面よりも上にある材料の輪郭形状を判断し得る。１つ以上のコンピューティングデバイス１７５は、すべての表面を組み合わせ、１つの囲まれた単一体積を計算し得る。
【0075】
いくつかの実装形態においては、コントローラ１４５が、機械作業ツール１４０が地面に埋まっているか地面から除去されたかを判断したことに基づき、無線接続を介して無線通信コンポーネント１６０にデータ（例えば、他の例の中でも特に、センサデータ、追加データ）を送信させ得る。コントローラ１４５は、例えば、器具ポーズデータおよび／またはリンク機構ポーズデータに基づいて、機械作業ツール１４０が地面に埋まっているか、地面から除去されたかを判断し得る。機械作業ツール１４０が地面から除去された場合、コントローラ１４５は、無線通信コンポーネント１６０にデータを送信させ得る。
【0076】
機械作業ツール１４０が地面に埋まっているか地面から除去されたかを判断することにより、コントローラ１４５は、機械作業ツール１４０が掘削動作中に地面に埋まっている場合に、無線通信コンポーネント１６０が１つ以上のコンピューティングデバイス１７５（および／または１つ以上の機械学習モデル）に機械作業ツール１４０の識別を試行させたデータを送信できないようにし得る。そのため、コントローラ１４５は、１つ以上のコンピューティングデバイス１７５にとって有用でない可能性があるデータを送信するのに、かつ／または機械作業ツール１４０が地面に埋まっている場合に機械作業ツール１４０の識別を試行するのに使用されていたであろう計算リソースを保存し得る。
【0077】
いくつかの実装形態においては、コントローラ１４５が、無線通信コンポーネント１６０に、無線接続を介して１つ以上のコンピューティングデバイス１７５へと処理情報を送信させて、１つ以上のコンピューティングデバイス１７５に、処理情報に基づいてセンサデータを処理させ得る。処理情報は、フィルタリングされたデータを取得するために（ステレオカメラ１５５からの）センサデータをフィルタリングする方式を識別するフィルタリング情報を含み得る。
【0078】
フィルタリング情報は、例えば、他の例の中でも特に、上記の１つ以上のフィルタリング動作を実行するための順序を識別する情報、および／または異なるフィルタリング動作を実行するための（１つ以上のコンピューティングデバイス１７５のうちの）異なるコンピューティングデバイスを識別する情報を含み得る。フィルタリング情報を含むことに対する追加または代替として、処理情報は、上記の１つ以上の機械学習モデルを識別する情報、１つ以上の穴に関する情報を判断するために第１の機械学習モデルが使用されることを示す情報、１つ以上の山に関する情報を判断するために第２の機械学習モデルが使用されることを示す情報などを含み得る。
【0079】
いくつかの実装形態においては、無線接続を確立した後に、コントローラ１４５（および／または無線通信コンポーネント１６０）が衛星デバイス１７０の信号強度および基地局１８０の信号強度を判断し得る。衛星デバイス１７０の信号強度および基地局１８０の信号強度を判断することに基づいて、コントローラ１４５は周期的に、無線通信コンポーネント１６０に、衛星デバイス１７０との無線接続を確立させるか、基地局１８０との無線接続を確立させるか、無線接続を終了させるか、無線接続の確立を試行させないようにし得る。コントローラ１４５が、無線通信コンポーネント１６０に無線接続を終了させるか、無線通信コンポーネント１６０に無線接続の確立を試行させない場合に、コントローラ１４５は、下記のとおり、（ステレオカメラ１５５からの）センサデータが機械１０５上でローカルに処理されるようにし得る。
【0080】
いくつかの実装形態において、無線接続を確立した後に、コントローラ１４５は、上記のとおり、機械１０５がアイドル状態にあるかアクティブ状態にあるかを判断し得、かつ／または機械作業ツール１４０がロック位置にあるかロック解除位置にあるかを判断し得、かつ／または機械１０５が手動モードで動作しているか自律モードで動作しているかを判断し得、かつ／または機械１０５の地理的位置を判断し得る。コントローラ１４５は、上記のとおり、周期的に、かつ／またはトリガイベントに基づいて、かかるアクションを実行し得る。
【0081】
コントローラ１４５が、機械１０５がアイドル状態にあること、機械作業ツール１４０がロック位置にあること、機械１０５が手動モードで動作していること、および／または地理的位置により、無線通信コンポーネント１６０が衛星デバイス１７０または基地局１８０と通信できないことを判断した場合に、コントローラ１４５は、無線通信コンポーネント１６０に無線接続を終了させ得るか、無線通信コンポーネント１６０に無線接続の確立を試行させないようにし得る。コントローラ１４５が、無線通信コンポーネント１６０に無線接続を終了させるか、無線通信コンポーネント１６０に無線接続の確立を試行させない場合に、コントローラ１４５は、下記のとおり、（ステレオカメラ１５５からの）センサデータが機械１０５上でローカルに処理されるようにし得る。
【0082】
いくつかの実装形態においては、無線接続が可能でない場合に、コントローラ１４５によって、ステレオカメラ１５５から受信されたセンサデータが記憶される。例えば、コントローラ１４５が上記のとおり無線接続が可能でないと判断し、コントローラ１４５が、無線接続が可能でないと判断した後にセンサデータを受信するものと仮定する。コントローラ１４５は、無線接続が可能でないと判断することに基づいて、センサデータが閾値時間にわたってローカルに記憶（またはバッファリング）されるようにし得る。いくつかの例において、コントローラ１４５は、他の例の中でも特に、サーキュラーバッファ（またはリングバッファ）、シングルバッファ、ダブルバッファを使用して、センサデータがローカルにバッファリングされるようにし得る。
【0083】
閾値時間が満了した後に、コントローラ１４５は、（上記のとおり）無線接続が可能であるかどうかを判断し得る。コントローラ１４５は、閾値時間が経過した後に無線接続が可能であると判断するものと仮定する。コントローラ１４５は、閾値時間が経過した後に無線接続が可能であると判断することに基づいて、（上記のとおり）センサデータが１つ以上のコンピューティングデバイス１７５に送信されるようにし得る。場合によっては、コントローラ１４５が、閾値時間が経過した後に無線接続が可能でないと判断した場合に、コントローラ１４５は、下記のとおり、センサデータがローカルに処理されるようにし得る。
【0084】
いくつかの実装形態において、無線接続が可能でない場合に、コントローラ１４５は、機械１０５によって実行または開始されている動作を機械１０５に一時停止させ得る。例えば、コントローラ１４５が、（上記のとおり）無線接続が可能でなく、処理済みデータがコンピューティングデバイス１７５から受信されていないと判断したと仮定する。コントローラ１４５は、処理済みデータを使用する動作を機械１０５が実行または開始しているかどうかを判断し得る。
【0085】
例えば、機械１０５が自律動作（例えば、他の例の中でも特に、自律ナビゲーション動作、自律材料移動動作）を実行または開始しているとコントローラ１４５が（例えば、機械１０５のメモリからの情報に基づいて）判断するものと仮定する。さらに、（１つ以上のコンピューティングデバイス１７５によって生成された）処理済みデータが表面データおよび／または体積データを含み、表面データが自律ナビゲーション動作のために機械１０５によって使用され得、体積データが自律材料移動動作のために機械１０５によって使用され得るものと仮定する。コントローラ１４５は、処理済みデータが受信される前に無線接続が可能でないと判断することに基づいて、および機械１０５が処理済みデータを使用する動作を実行または開始していると判断することに基づいて、機械１０５に動作を一時停止させ得る。
【0086】
この動作は、無線通信コンポーネント１６０が無線接続を再確立し、無線接続を介してコンピューティングデバイス１７５からプロセスデータを受信するまで一時停止され得る。場合によっては、コントローラ１４５が、無線接続が（例えば、センサデータを送信した後に）閾値時間にわたって可能でないと判断した場合に、コントローラ１４５が機械１０５に動作を一時停止させ得る。場合によっては、コントローラ１４５が、閾値時間が経過した後に、無線接続が可能でないことを示す通知を提供し得る。通知は、他の例の中でも特に、オペレータキャビン１２０を介して（例えば、一体型ディスプレイを介して）提供され、かつ／またはオペレータのデバイスに提供され、かつ／またはバックオフィスに提供され得る。場合によっては、動作が処理済みデータを使用する動作ではないとコントローラ１４５が判断した場合に、コントローラ１４５が、機械１０５が引き続き動作を実行できるようにし得る。
【0087】
いくつかの実装形態において、コントローラ１４５は、上記の理由のうちの１つ以上で、（ステレオカメラ１５５からの）センサデータがローカルに処理されるようにし得る。コントローラ１４５は、センサデータを処理して機械処理済みデータを生成し得る。コントローラ１４５は、１つ以上のコンピューティングデバイス１７５がセンサデータを処理することに関し、上記の方式と同様の方式でセンサデータを処理し得る。コントローラ１４５は、例えば、他の例の中でも特に、（上記の）１つ以上の動作を実行して、センサデータからノイズを除去し、センサデータ内のノイズを低減し、センサデータから歪んだ項目を除去し、センサデータから画像のオクルージョンを除去し得る。
【0088】
コントローラ１４５は、１つ以上の動作を実行することに基づいて、機械フィルタリングされたデータを生成し得る。コントローラ１４５によって実行される１つ以上の動作は、１つ以上のコンピューティングデバイス１７５によって実行される１つ以上の動作よりも計算上複雑でないことがある。その結果、機械フィルタリングされたデータは、１つ以上のコンピューティングデバイス１７５によってフィルタリングされたデータとは異なり得る（例えば、機械フィルタリングされたデータの分解能は、コンピューティングデバイス１７５からのフィルタリングされたデータの分解能を下回り得る）。
【0089】
コントローラ１４５は、機械フィルタリングされたデータを、上記の方式と同様の方式で（上記の１つ以上の機械学習モデルと同様の）１つ以上の機械学習モデルを使用して処理し得る。機械フィルタリングされたデータを処理した結果、コントローラ１４５は、（上記の表面データと同様の）機械表面データおよび／または（上記の体積データと同様の）機械体積データを含む機械処理済みデータを生成し得る。場合によっては、機械１０５の計算上の制約により、（コントローラ１４５によって使用される）１つ以上の機械学習モデルが、１つ以上のコンピューティングデバイス１７５によって使用される１つ以上の機械学習モデルによって提供される出力よりも正確でない出力を提供し得る。この点に関して、機械処理データは、１つ以上のコンピューティングデバイス１７５によって提供される処理済みデータよりも正確でないことがあり得る。
【0090】
コントローラ１４５は、関心領域の体積（例えば、他の例の中でも特に、材料の山の体積、または機械作業ツール１４０内の材料の体積）を判断し得る。状況によっては、コントローラ１４５が、上記の方式と同様の方式で、機械作業ツール１４０の内面の幾何形状に基づいて機械作業ツール１４０内の材料の体積を判断し得る。状況によっては、コントローラ１４５が、センサデータ（例えば画像）を分析して関心領域を識別し得る。コントローラ１４５は、例えば、１つ以上の物体検出技法（例えば、シングルショット検出器（ＳＳＤ）技法、および／またはＹＯＬＯ（Ｙｏｕ Ｏｎｌｙ Ｌｏｏｋ Ｏｎｃｅ）技法など）を用いて画像を分析して、関心領域を識別し得る。
【0091】
コントローラ１４５は、画像に基づいてグラフィック表示（例えば、３次元（３Ｄ）グラフィック表示または２．５次元グラフィック表示）を生成し得る。グラフィック表示は、関心領域を含む、機械１０５を取り囲む領域（または機械１０５を取り囲む領域の一部分）を表し得る。この点に関して、グラフィック表示は、コントローラ１４５が、関心領域の特性（例えば関心領域の体積）を含む、機械１０５を取り囲む領域の特性を判断できるようにし得る。グラフィック表示は、画像の視差マップに基づいて生成され得る。
【0092】
コントローラ１４５は、器具ポーズデータおよび／または機械ポーズデータに基づいて機械１０５の１つ以上の部分の位置および／または向きを判断し得る。コントローラ１４５は、１つ以上の部分の位置および／または向きに基づいて、機械１０５に対する関心領域の座標を判断し得る。コントローラ１４５は、例えば、機械１０５の特定の部分に対する関心領域の座標を判断し得る。コントローラ１４５は、例えば、機械１０５の特定の部分をグラフィック表示の中心点（例えば、３Ｄグラフィック表示の座標「０，０，０」）とみなし得、関心領域の座標は、中心点に対するグラフィック表示の座標に対応し得る。
【0093】
コントローラ１４５は、座標に基づいて、関心領域に対応する３Ｄグラフィック表示の一部分（以下、「３Ｄ部分」と称する）を識別し得る。コントローラ１４５は、３Ｄグラフィック表示全体を処理して関心領域の体積を判断するのに使用されていたであろう計算リソースを保存するために３Ｄ部分を識別し得る。コントローラ１４５は、１つ以上の計算モデル、１つ以上の計算アルゴリズム、および／または３Ｄグラフィック表示の体積を判断するのに使用され得る他の機械アルゴリズムを使用して３Ｄ部分の体積を判断し得る。
【0094】
いくつかの例において、コントローラ１４５は、無線通信コンポーネント１６０が無線接続を確立できるかどうかを、上記の方式と同様の方式で（例えば、周期的に、かつ／またはトリガイベントに基づいて）判断し得る。例えば、無線接続が可能でないと判断した後、コントローラ１４５は、無線通信コンポーネント１６０が無線接続を再確立できるかどうかを（例えば、周期的に、かつ／またはトリガイベントに基づいて）判断し得る。コントローラ１４５は、無線通信コンポーネント１６０が無線接続を再確立できると判断することに基づいて、無線通信コンポーネント１６０に無線接続を確立させ得る。無線通信コンポーネント１６０は、上記のとおり無線接続を確立し得る。
【0095】
状況によっては、（上述のアクションを実行するために１つ以上のコンピューティングデバイス１７５によって使用される）アルゴリズムが、１つ以上のコンピューティングデバイス１７５上で、機械１０５のダウンタイムを皆無または最小限にして更新され得る。アルゴリズムは、例えば、新たな特徴、ツール、および／または情報で更新されて、機械１０５の既存のセンサから新たな情報を収集し得る。この点に関して、データ処理の仕方を変えるための新しいハードウェアを用いて機械１０５を改造することなく、または機械１０５のダウンタイムを皆無もしくは最小限にして、機械１０５に追加の価値（または機能）が追加され得る。
【0096】
アルゴリズムの更新に関しては、（例えば、他の例の中でも特に、ノイズ／アーチファクト除去、特徴抽出、機械学習モデル訓練のための）新アルゴリズムが開発され、非生産機械上で検証されると、新アルゴリズムが様々な方式で生産機械に導入され得る。一例においては、（処理のために１つ以上のコンピューティングデバイス１７５に）データを伝送する既存の機械が要求を受けて改善を直ちに認識できるように、新アルゴリズムが、（１つ以上のコンピューティングデバイス１７５上で）対応する旧アルゴリズムの識別子（複数可）と同じ識別子（複数可）で置換され得る。プロセスは、サーバ側でのみ（例えば、１つ以上のコンピューティングデバイス１７５側でのみ）行われる継続的な統合スタイル更新であり、遠隔処理のために１つ以上のコンピューティングデバイス１７５を使用するすべての機械に影響を及ぼす。
【0097】
別の例として、新アルゴリズムは、（１つ以上のコンピューティングデバイス１７５上で）新しい識別子（複数可）下で置換することができ、既存の機械は、新しい識別子（複数可）に要求を伝送する更新によってフラッシュされるそのオンボードソフトウェアを有し得る。プロセスは、サーバ側でのみ（例えば、１つ以上のコンピューティングデバイス１７５側でのみ）行われる継続的な統合スタイル更新であり、クライアント側（例えば機械１０５側）で行われるソフトウェア配布更新である。ハードウェアの変更は必要ないが、新しいソフトウェアを機械にプッシュする必要がある。このプロセスを用いて、どの機械を最小限のダウンタイムでアップグレードするかを管理することができる。
【0098】
さらなる別の例として、新アルゴリズムは、（１つ以上のコンピューティングデバイス１７５上で）新しい識別子（複数可）下で提供することができ、既存の機械は、その既存のオンボードソフトウェアを、例えば、ディスプレイを通じて行う手動変更を通じて新しい識別子（複数可）を使用するように構成することができる。このプロセスは、サーバ側で行われる継続的な統合スタイル更新と、クライアント側で行われるソフトウェア構成変更である。機械１０５にハードウェアの変更は必要ない。この処理を用いて、どの機械をほぼダウンタイムなしでアップグレードするかを管理することができる。
【0099】
図２に示すデバイスの数および配置は、一例として提供されている。実際には、図２に示したものと比較して、追加のデバイス、少ないデバイス、異なるデバイス、または配置の異なるデバイスが存在し得る。さらに、図２に示す２つ以上のデバイスが、単一のデバイス内で実装されたり、図２に示す単一のデバイスが複数の分散デバイスとして実装されたりし得る。追加または代替として、システム２００の一組のデバイス（例えば、１つ以上のデバイス）が、システム２００の別の一組のデバイスによって実行されると説明された１つ以上の機能を実行し得る。
【0100】
図３は、センサデータの遠隔処理に関する例示的なプロセス３００のフローチャートである。図３の１つ以上のプロセスブロックは、コントローラ（例えばコントローラ１４５）によって実行され得る。図３の１つ以上のプロセスブロックは、ステレオカメラ（例えばステレオカメラ１５５）、無線通信コンポーネント（例えば無線通信コンポーネント１６０）、衛星デバイス（例えば衛星デバイス１７０）、１つ以上のコンピューティングデバイス（例えば１つ以上のコンピューティングデバイス１７５）、および／または基地局（例えば基地局１８０）など、デバイスとは別々であるかそのデバイスを含む別のデバイスまたはデバイス群によって実行され得る。
【0101】
図３に示すとおり、プロセス３００は、作業機械の１つ以上のセンサデバイスから、作業機械が所在する地面を含む環境のセンサデータを受信することを含み得る（ブロック３１０）。例えば、コントローラは、上記のとおり、作業機械の１つ以上のセンサデバイスから、作業機械が所在する地面を含む環境のセンサデータを受信し得る。
【0102】
１つ以上のセンサデバイスは、１つ以上の第１のセンサデバイスであり、センサデータは、第１のセンサデータであり、方法は、１つ以上の第２のセンサデバイスから、作業機械の１つ以上の部分の位置または向きのうちの少なくとも１つに関する第２のセンサデータを受信することをさらに含む。
【0103】
図３にさらに示すとおり、プロセス３００は、無線接続が可能であるかどうかを判断することを含み得る（ブロック３２０）。例えば、コントローラは、上記のとおり、無線接続が可能であるかどうかを判断し得る。
【0104】
プロセス３００は、作業機械がアイドル状態にあるかアクティブ状態にあるかを判断すること、または作業機械の器具がロック位置にあるかロック解除位置にあるか判断することを含み、無線接続が可能であるかどうかを判断することは、作業機械がアクティブ状態にある場合、または器具がロック解除位置にある場合のうちの少なくとも一方の場合に無線接続が可能であるかどうかを判断することをさらに含む。
【0105】
図３にさらに示すとおり、プロセス３００は、センサデータを処理のために１つ以上のコンピューティングデバイスに送信すること、または作業機械によってセンサデータをローカルに処理することを、無線接続が可能であるかどうかに基づいて選択的に行うことを含み得る（ブロック３３０）。
【0106】
コントローラは、例えば、センサデータを処理のために１つ以上のリモートコンピューティングデバイスに送信すること、または作業機械によってセンサデータをローカルに処理することを、無線接続が可能であるかどうかに基づいて選択的に行い得、無線接続が可能である場合には、センサデータは、１つ以上のリモートコンピューティングデバイスに送信され、１つ以上のリモートコンピューティングデバイスにセンサデータを処理させて第１の処理済みデータを提供し、第１の処理済みデータは、地面の１つ以上の部分に関する第１の表面データ、または作業機械によって移動されたか移動されるべき材料の体積に関する第１の体積データのうちの少なくとも１つを含み、無線接続がアクティブでない場合には、上記のとおり、センサデータは、作業機械によってローカルに処理されて第２の処理済みデータを生成し、第２の処理済みデータは、地面の１つ以上の部分に関する第２の表面データ、または作業機械によって移動されたか移動されるべき材料の体積に関する第２の体積データのうちの少なくとも１つを含む。
【0107】
センサデータを送信することは、環境の１つ以上の画像、環境の１つ以上の視差マップ、および／または環境の１つ以上の点群のうちの１つ以上を送信することを含む。
【0108】
センサデータを送信することは、高速通信用に構成された衛星デバイス、または高速通信用に構成されたセルラーネットワークを介して、センサデータを処理のために１つ以上のコンピューティングデバイスに送信することを含む。
【0109】
センサデータを送信することは、センサデータを送信して、１つ以上のリモートコンピューティングデバイスに、センサデータに対するフィルタリング動作を実行させることを含み、フィルタリング動作は、センサデータからノイズを除去すること、センサデータから画像のオクルージョンを除去すること、または環境内での１つ以上の障害物に関する情報をセンサデータから除去することのうちの２つ以上を含む。
【0110】
センサデータを送信することは、センサデータおよび処理情報を送信し、１つ以上のリモートコンピューティングデバイスに、処理情報に基づいてセンサデータを処理させて処理済みデータを生成させることを含む。処理情報は、フィルタリングされたセンサデータを取得するためにセンサデータをフィルタリングする方式を識別する情報、またはセンサデータまたはフィルタリングされたセンサデータを処理して処理済みデータを生成する１つ以上の機械学習モデルを識別する情報のうちの少なくとも１つを含む。
【0111】
図３にさらに示すとおり、プロセス３００は、第１の処理済みデータまたは第２の処理済みデータを提供して作業機械の動作を容易にすることを含み得る（ブロック３４０）。コントローラは、例えば、上記のとおり、第１の処理済みデータまたは第２の処理済みデータを提供して、作業機械の動作を容易にし得る。
【0112】
第１の体積データまたは第２の体積データは、作業機械の器具のバケツ内にある第１の体積の材料を識別する情報、または地面の１つ以上の部分に所在する第２の体積の材料を識別する情報のうちの少なくとも１つを含み、第１の処理済みデータまたは第２の処理済みデータを提供することは、第１の体積を識別する情報または第２の体積を識別する情報のうちの少なくとも１つを提供することを含む。
【0113】
第１の表面データまたは第２の表面データは、地面の１つ以上の部分に所在する１つ以上の穴を識別する情報、または地面の１つ以上の部分に所在する１つ以上の材料の山を識別する情報のうちの少なくとも１つを含み、第１の処理済みデータまたは第２の処理済みデータを提供することは、１つ以上の穴を識別する情報または１つ以上の山を識別する情報のうちの少なくとも１つを提供して、地面上での作業機械の移動または作業機械の器具の動作のうちの少なくとも１つを容易にすることを含む。
【0114】
１つ以上のセンサデバイスは、１つ以上の第１のセンサデバイスであり、センサデータは、第１のセンサデータであり、方法は以下をさらに含む：センサデータの送信または処理を選択的に行うことは、第１のセンサデータおよび第２のセンサデータの送信または処理を選択的に行って、第１の処理済みデータまたは第２の処理済みデータをそれぞれ取得することを含む。
【0115】
プロセス３００は、無線通信コンポーネントがセンサデータを送信した後に処理済みデータを受信できないと判断することと、無線通信コンポーネントがセンサデータを送信した後に処理済みデータを受信できない場合に作業機械が処理済みデータに基づく動作を実行できないようにすることと、を含み得る。
【0116】
プロセス３００は、地面の１つ以上の部分に関する表面データに基づいて機械に地面を自律的にナビゲートさせること、または器具によって移動されたか移動されるべき材料の体積に関する体積データに基づいて機械に器具を自律的に動作させて材料を移動させることを含み得る。
【0117】
図３は、プロセス３００の例示的なブロックを示しているが、プロセス３００は、図３に描かれたブロックと比べて、追加のブロック、少ないブロック、異なるブロック、または配置の異なるブロックを含み得る。追加または代替として、プロセス３００のブロックのうちの２つ以上は、並行して実行されたり、組み合わせられたりし得る。
【産業上の利用可能性】
【0118】
本開示は、センサデータを処理のために（例えばステレオカメラから）１つ以上のリモートコンピューティングデバイスに送信すること、またはセンサデータをローカルに処理することを、無線接続が可能であるかどうかに基づいて選択的に行う機械に関するものである。センサデータは、例えば、無線接続が可能である場合に、処理のために１つ以上のリモートコンピューティングデバイスに送信されて処理済みデータを生成し得る。代替として、無線接続が可能でない場合には、センサデータが機械上でローカルに処理され得る。
【0119】
ステレオカメラからの画像を処理して、機械にとって有用な情報を生成することは、高性能計算リソースを使用することでメリットが得られる、計算上複雑で時間のかかるタスクである。機械の典型的な計算リソースを使用して画像を処理することは、いくつかの問題を提示する。例えば、機械の典型的な計算リソースによって画像が処理されると、高性能コンピュータリソースによって生成された情報に比して正確度および／または品質が低い情報が生成され得る。作業機械の典型的な計算リソースを使用して画像を処理すると、過剰な量の計算リソースを消費する。かかる計算リソースは、作業機械の様々な動作に必要とされ得る。そのため、典型的な計算リソースを使用して画像を処理すれば、様々な動作に対する作業機械の能力に悪影響を及ぼし得る。しかも、作業機械は、典型的な計算リソースを早期に故障させ得る、岩だらけで厳しい状況で使用され得る。加えて、機械の典型的な計算リソースは、非効率的な方式で情報を生成し得る。
【0120】
本開示は、上記の問題を解決する。例えば、センサデータを処理のために１つ以上のリモートコンピューティングデバイスに送信することにより、本開示の処理済みデータは、機械の典型的な計算リソースを使用して生成されたデータに比して正確度および品質が高い。この点に関して、処理済みデータは、他の例の中でも特に、機械によって実行される動作の正確度を改善し、かつ／または機械によって実行される動作の精度を改善し、かつ／または機械によって実行される動作の速度を改善し、かつ／または機械によって実行される動作の効率を改善し得る。加えて、センサデータを処理のために１つ以上のリモートコンピューティングデバイスに送信することにより、処理済みデータが、効率的な方式で生成される。さらに、高速通信用に構成された衛星デバイスまたは高速通信用に構成されたセルラーネットワークを使用して１つ以上のコンピューティングデバイスと通信することにより、機械が処理済みデータを適時に受信し得る。
【0121】
さらには、１つ以上のコンピューティングデバイスが、多くの現場でよく見られる、岩だらけで厳しい条件にさらされなくなるため、早期に故障しなくなる。加えて、センサデータを処理のために１つ以上のリモートコンピューティングデバイスに送信することにより、画像をローカルに処理することによって消費されたであろう計算リソースを機械が節約する。さらに、センサデータを処理のために１つ以上のリモートコンピューティングデバイスに送信することにより、機械は、電力消費を低減し、ひいては、画像を処理するときに典型的な計算リソースによって消費されたであろう過剰な量の電力を節約する。加えて、処理のために１つ以上のリモートコンピューティングデバイスを使用することにより、機械の機器アップグレードに関して柔軟性が得られる。
【0122】
先述の開示は、例示および説明を提供するものであるが、網羅的であること、または開示された精密な形態に実装形態を限定することを意図したものではない。改変および変形は、上記の開示に照らして行われたり、実装形態の実践から得られたりし得る。さらに、１つ以上の実装形態を組み合わせられない理由が先述の開示に明示的に提供されていない限り、本明細書に記載された任意の実装形態は組み合わせられ得る。特徴の特定の組み合わせが請求項に記載され、かつ／または本明細書に開示されていても、これらの組み合わせは、様々の実装形態の開示を制限することを意図するものではない。以下に列記される各従属請求項は、１つの請求項のみに直接従属し得るが、様々の実装形態の開示は、請求項群内の他のすべての請求項と組み合わせた各従属請求項を含む。
【0123】
本明細書に使用されている「単数形（ａ、ａｎ）」および「セット（ｓｅｔ）」は、１つ以上の項目を含むことを意図しており、「１つ以上」と互換的に使用され得る。さらに、本明細書で使用されている「単数形（ｔｈｅ）」は、「単数形（ｔｈｅ）」と組み合わせて参照される１つ以上の項目を含むことを意図しており、「１つ以上」と互換的に使用され得る。さらに、「に基づいて」という句は、別段に明記されていない限り、「少なくとも部分的に基づいて」を意味することを意図している。また、本明細書で使用されている「または」という用語は、一連で使用された場合には包括的であることを意図しており、別段に明記されていない限り（例えば、「どちらか」または「～のうちの１つのみ」と組み合わせて使用される場合）、「および／または」と互換的に使用され得る。加えて、本明細書で使用されている「除去する」という用語は、特性または特徴の部分的低減、ならびにその特性または特徴の排除を包含する。
【図1】
【図2】
【図3】
【国際調査報告】