特表 2024-514793 機械状態を決定するための方法およびシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-03

(54)【発明の名称】機械状態を決定するための方法およびシステム

(51)【国際特許分類】

   E02F 9/20 20060101AFI20240327BHJP

   E02F 9/26 20060101ALI20240327BHJP

【ＦＩ】

E02F9/20 Z

E02F9/26 B

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023560935

(86)(22)【出願日】2022-03-30

(85)【翻訳文提出日】2023-10-24

(86)【国際出願番号】 US2022022502

(87)【国際公開番号】W WO2022216493

(87)【国際公開日】2022-10-13

(31)【優先権主張番号】17/226,635

(32)【優先日】2021-04-09

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】391020193

【氏名又は名称】キャタピラー インコーポレイテッド

【氏名又は名称原語表記】ＣＡＴＥＲＰＩＬＬＡＲ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ホッブス、ベンジャミン ディ．

(72)【発明者】

【氏名】テース、カルステン

(72)【発明者】

【氏名】シュロス、ラッセル エイ．

【テーマコード（参考）】

2D003

2D015

【Ｆターム（参考）】

2D003AA01

2D003AB01

2D003AB02

2D003AB03

2D003AB04

2D003BA04

2D003BA06

2D003CA02

2D003DA04

2D003DB03

2D003DB04

2D003DB05

2D015HA03

(57)【要約】

【要約】
機械状態を決定するための方法およびシステム。
機械（１００）は、機械の下部フレーム（１０４）に対する機械の上部フレーム（１０２）の回転を感知するように構成された回転センサ（１２４）を含む。機械（１００）はまた、下部フレーム（１０４）に対する上部フレーム（１０２）の回転軸（１０６）から離間して配置された３次元位置センサ（１２６）を含む。機械（１００）はまた、トラック運動（１２８）を検出するためのセンサ、画像センサ（１３０）、測距センサ、ＩＭＵ、線形変位センサ、および／または類似のセンサを含む複数の追加センサを含むことができる。コンピューティングシステムは、センサから様々な入力を受け取り、データを融合して機械（１００）の状態情報を決定する。

【特許請求の範囲】

【請求項1】

機械（１００）であって、
表面に沿って移動するように構成された下部フレーム（１０４）と、
前記下部フレーム（１０４）に対して回転可能な上部フレーム（１０２）と、
前記下部フレーム（１０４）に対する前記上部フレーム（１０２）の角度向きを測定するように構成された第１センサ（１２４）と、
前記上部フレーム（１０２）に結合され、グローバル位置を感知するように構成された全地球航法衛星システム（ＧＮＳＳ）センサ（１２６）と、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行されると、
第１時刻における前記下部フレーム（１０４）に対する上部フレーム（１０２）の第１角度向きを示す第１入力を第１センサから受け付けるアクションと、
第２時刻における前記下部フレーム（１０４）に対する前記上部フレーム（１０２）の第２角度向きを示す第２入力を第１センサ（１２４）から受け付けるアクションと、
前記第１時刻に関連する第１グローバル位置（３０２（１））、および前記第２時刻に関連する第２グローバル位置（３０２（２））を前記ＧＮＳＳセンサ（１２６）から受信するアクションと、
前記第１入力、前記第２入力、前記第１グローバル位置および第２グローバル位置に少なくとも部分的に基づいて、機械（１００）の向き（１４４）を決定するアクションと、を機械に実行させる実行可能命令を記憶したメモリと、を含む、機械（１００）。

【請求項2】

前記機械（１００）の向きを決定するステップは、
前記第１角度向きおよび前記第２角度向きに少なくとも部分的に基づいて前記ＧＮＳＳセンサ（１２６）の推定経路を決定するステップと、
前記第１グローバル位置（３０２（１））および前記第２グローバル位置（３０２（２））を推定経路と比較するステップと、
前記比較に基づいて前記機械（１０２）の推定回転中心（３０６）を決定するステップと、を含む、請求項１に記載の機械（１００）。

【請求項3】

前記第１角度向きと前記第２角度向きとの差が約５度以下である、請求項１に記載の機械（１００）。

【請求項4】

前記機械は、
前記機械上に配置された追加センサ（１２８、１３０）をさらに含み、前記アクションは、
追加センサデータを前記追加センサから受信するアクションをさらに含み、
前記機械（１００）の向きを決定するステップは、追加センサデータにさらに基づいている、請求項１に記載の機械（１００）。

【請求項5】

前記下部フレーム（１０４）に結合された１つまたは複数のトラック（１０８）と、
前記１つまたは複数のトラック（１０８）のうちの少なくとも１つに制御入力を提供して、前記１つまたは複数のトラック（１０８）を介して前記下部フレーム（１０４）を移動させるように構成されたコントローラと、をさらに含み、
追加センサ（１２８、１３０）は、トラックセンサ（１２８）を含み、前記アクションは、
トラックデータを前記トラックセンサから受信するアクションと、
前記トラックデータに少なくとも部分的に基づいて前記ＧＮＳＳセンサ（１２６）の推定動きを決定するアクションと、
前記第１グローバル位置（３０２（１））および前記第２グローバル位置（３０２（２））を前記推定動きと比較するアクションと、をさらに含み、
前記機械（１００）の向き（１４４）は、前記第１グローバル位置及び前記第２グローバル位置の比較に関連する誤差に少なくとも部分的に基づいている、請求項４に記載の機械（１００）。

【請求項6】

前記追加センサ（１２８、１３０）は、画像センサ（１３０）または測距センサを含み、前記アクションは、
前記第１時刻に関連する第１画像（５１６）、および前記第２時刻に関連する第２画像（５１８）を含む画像データを前記追加センサ（１３０）から受信するアクションと、
前記第１画像（５１６）中の特徴（５２４）を識別するアクションと、
前記第２画像（５１８）中の特徴（５２４）を識別するアクションと、
前記第１画像（５１６）と前記第２画像（５１８）との間の前記特徴（５２４）の位置変化に少なくとも部分的に基づいて、前記ＧＮＳＳセンサの推定動きを決定するアクションと、
前記第１グローバル位置および前記第２グローバル位置を前記推定動きと比較するアクションと、をさらに含み、
前記機械の向きは、前記第１グローバル位置と前記第２グローバル位置との比較に関連する誤差に少なくとも部分的に基づいている、請求項４に記載の機械（１００）。

【請求項7】

システム（１００、２００、３００、４００、６００）であって、
下部フレーム（１０４）と、下部フレーム（１０４）に対して移動可能な上部フレーム（１０２）とを有する機械（１００、２００、３００、４００、６０２）と、
前記下部フレーム（１０４）に対する前記上部フレーム（１０２）の回転軸（１０６）から離間した位置で、前記上部フレーム（１０２）または下部フレーム（１０４）に配置される３次元位置センサ（１２６）と、
前記機械（１００）に結合された追加センサ（１２４、１２８、１３０）と、
１つまたは複数のプロセッサと、
前記１つまたは複数のプロセッサによって実行されると、
第１機械位置に関連する第１センサデータ、および第１機械位置とは異なる第２機械位置に関連する第２センサデータを前記追加センサ（１２４、１２８、１３０）から受信するアクションと、
前記第１センサデータおよび前記第２センサデータに少なくとも部分的に基づいて、前記第１機械位置と前記第２機械位置との間の機械（１００）の推定動きを決定するアクションと、
前記機械に関連する複数のグローバル位置を３次元位置センサ（１２６）から受信するアクションと、
前記機械に関連する複数のグローバル位置および前記機械の推定動きに少なくとも部分的に基づいて、前記第２機械位置における機械（１００）の向き（１４４）を決定するアクションと、を機械に実行させる、実行可能命令を記憶したメモリと、を含む、システム（１００、２００、３００、４００、６００）。

【請求項8】

前記追加センサは、前記下部フレーム（１０８）に対する前記上部フレーム１０６）の回転を決定するように構成された回転センサ（１２４）であり、前記機械（１００）の向き（１４４）を決定するステップは、
前記回転センサによって感知された角変位に少なくとも部分的に基づいて、前記３次元位置センサの推定円弧を前記推定動きとして決定するステップと、
前記複数のグローバル位置を前記推定円弧と比較するステップと、
前記比較に基づいて、前記機械の推定回転中心を決定するステップと、を含む、請求項７に記載のシステム（１００、２００、３００、４００、６００）。

【請求項9】

前記追加センサは、前記機械（１００）に関連する前記トラック（１０８）の運動に関連するデータを生成するように構成されたトラックセンサ（１２８）を含み、前記機械の向き（１４４）を決定するステップは、
トラックデータを前記トラックセンサ（１２８）から受信するステップと、
前記トラックデータに少なくとも部分的に基づいて、推定動きである推定経路を決定するステップと、
前記複数のグローバル位置を前記推定経路と比較するステップと、
前記比較に基づいて、前記機械の推定回転中心を決定するステップと、を含む、請求項７に記載のシステム（１００、２００、３００、４００、６００）。

【請求項10】

前記追加センサは、画像センサ（１３０）または測距センサを含み、前記機械の向き（１４４）を決定するステップは、
第１画像データ（５１６）および第２画像データ（５１８）を前記追加センサから受信するステップと、
前記第１画像データと前記第２画像データとの間の差に少なくとも部分的に基づいて、前記３次元位置センサの推定動きを決定するステップと、
前記複数のグローバル位置を前記推定動きと比較するステップと、を含み、
前記機械の向きは、前記複数のグローバル位置を前記推定動きと比較することに関連する誤差に少なくとも部分的に基づいている、請求項１０に記載のシステム（１００、２００、３００、４００、６００）。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、概して、機械状態の決定に関し、より具体的には、複数の機械上のセンサによって生成されたデータを融合することによって機械の向きおよび／または位置を決定するための方法およびシステムに関する。

【背景技術】

【0002】

遠隔制御および／または自律的な活動を含む一部の土木作業活動（例えば、採掘、建設、浚渫、掘削など）を促進するには、機械の位置および／または向きに関する情報が必要になる場合がある。例えば、一部のコンピュータ支援掘削作業では、掘削前および／または掘削中に、環境内などで機械の位置を特定すること、および／または機械の向きを決定することが必要である。従来、そのような位置特定および／または向きの決定は、ＧＮＳＳ（全地球航法衛星システム）センサを含む全地球測位センサに基づく場合がある。例えば、いくつかの従来の用途は、本体の一部上の既知の間隔位置に結合された２つのＧＮＳＳセンサが使用される。センサが結合された部分は、本体の１つまたは複数の他の部分に対して移動する。２つのＧＮＳＳセンサからのグローバル位置（および機械本体との関係）は、機械の位置と向き、または方位を提供する。しかし、機械、特に機械群に２つのＧＮＳＳセンサを搭載するのは高価である。したがって、単一のＧＮＳＳセンサを使用し、他のセンサからのデータを利用して車両の正確な位置および／または向きを決定するシステムを提供することが望ましい場合がある。

【0003】

システムの設計は、機械器具および／または部品の相対的な位置を決定する試みに着目している。例えば、Ｎｅｙｅｒらの特許公報ＧＢ２５７１００４Ａ（「第００４号公報」）は、様々なセンサモダリティを使用して移動機械を制御するためのシステムおよび方法を記載している。例えば、第００４号公報には、マニピュレータアームの位置を決定するために、移動式作業機械に変位センサ、角度センサ、慣性センサ、回転速度センサ、加速度センサ、および１つまたは複数のカメラを装備することが記載されてもよい。

【0004】

第００４号公報に記載されたシステムは、作業機械の様々な状態を決定するためのセンサを含むことができるが、第００４号公報には、ここで詳述されている機械の向きなど、機械の状態を判定するための技術の多くは記載されていない。

【0005】

本開示は、従来技術の１つまたは複数の改良に関する。

【発明の概要】

【0006】

機械の一例は、表面に沿って移動するように構成された下部フレームと、下部フレームに対して回転可能な上部フレームと、下部フレームに対する上部フレームの角度向きを測定するように構成された第１センサと、上部フレームに結合され、グローバル位置を感知するように構成された全地球航法衛星システム（ＧＮＳＳ）センサと、１つまたは複数のプロセッサと、実行可能な命令を記憶したメモリと、を含む。１つまたは複数のプロセッサによって実行されると、命令は、第１時刻における下部フレームに対する上部フレームの第１角度向きを示す第１入力を第１センサから受け付けるアクションと、第２時刻における下部フレームに対する上部フレームの第２角度向きを示す第２入力を第１センサから受け付けるアクションと、第１時刻に関連する第１グローバル位置および第２時刻に関連する第２グローバル位置をＧＮＳＳセンサから受信するアクションと、第１入力、第２入力、第１グローバル位置、および第２グローバル位置に少なくとも部分的に基づいて機械の向きを決定するアクションと、を機械に実行させる。

【0007】

例示的なシステムは、下部フレームと、下部フレームに対して移動可能な上部フレームとを有する機械と、下部フレームに対する上部フレームの回転軸から離間した位置で上部フレームに配置された３次元位置センサと、機械に結合された追加センサと、１つまたは複数のプロセッサと、実行可能な命令を記憶したメモリと、を含む。１つまたは複数のプロセッサによって実行されると、命令は、第１機械位置に関連する第１センサデータ、及び第１機械位置とは異なる第２機械位置に関連する第２センサデータを追加センサから受信するアクションと、第１センサデータおよび第２センサデータに少なくとも部分的に基づいて、第１機械位置と第２機械位置との間の機械の推定動きを決定するアクションと、機械に関連する複数のグローバル位置を３次元位置センサから受信するアクションと、機械に関連する複数のグローバル位置および機械の推定動きに少なくとも部分的に基づいて、第２機械位置における機械の向きを決定するアクションと、を機械に実行させる。

【0008】

機械の向きを決定する方法の一例は、機械の下部フレームに対する機械の上部フレームの回転を示すセンサデータを回転センサから受信するステップと、センサデータおよび３次元位置センサの位置に少なくとも部分的に基づいて、３次元位置センサの推定円弧を決定するステップと、複数のグローバル位置を３次元位置センサから受信するステップと、複数のグローバル位置および推定円弧に少なくとも部分的に基づいて機械の向きを決定するステップと、を含む。

【図面の簡単な説明】

【0009】

【図1】本開示の態様による、機械の位置および／または向きを決定するための例示的な環境を表す。

【図2】本開示の態様による、単一の３次元位置センサおよび回転センサからのセンサデータを使用して機械の位置および／または向きを決定する例の概略図である。

【図3】本開示の態様による図２の例を示す図である。

【図4】本開示の態様による、機械の位置および／または向きを決定する別の例の概略図である。

【図5】本開示の態様による、機械の位置および／または向きを決定するさらなる例の概略図である。

【図6】本開示の態様による、機械の位置および／または向きを決定するためのコンピューティング環境の例である。

【図7】本開示の態様による、機械の位置および／または向きを決定し、その位置および／または向きに基づいて機械を制御するための例示的な方法の流れ図である。

【発明を実施するための形態】

【0010】

本開示は、一般に、機械状態を決定するための方法、システム、および技術に関する。本明細書で説明される特定の構成要素は、例えば地面係合機械、土木機械などの機械上の構成要素であり得るが、本明細書で説明された技術は、任意の数の他の機械に適用可能であり得る。可能であれば、図面全体を通じて同じ参照番号を使用して、同じまたは類似の特徴を参照する。

【0011】

図１は、本開示の態様による状態決定技術を実装する機械１００の一例を示す。機械１００は、掘削機として示されており、一般に、機械１００を移動させる、機械１００でタスクを実行するなど、互いに相対的に移動可能な複数の構成要素および部品を含む。より詳細には、図１に示されている機械１００は、車台に対して移動可能に結合された上部または上部フレーム１０２と、下部または下部フレーム１０４とを含む。本開示の具体例では、上部フレーム１０２は、下部フレーム１０４に対して、例えば、上部フレーム１０２の回転中心を通って延びる軸１０６の周りに回転するように構成されている。図に示されるように、軸１０６は、通常、垂直方向またはｚ方向に位置合わせされている。本明細書でさらに詳述するように、本開示の態様は、相対回転を定量化することと、定量化を他のデータとともに使用して、向きおよび／または位置などの機械１００の状態を決定することと、を含む。

【0012】

図１に示すように、下部フレーム１０４は、本明細書で総称して「トラック１０８」と呼ばれる、第１トラック１０８ａおよび第２トラック１０８ｂ上に支持されているか、あるいは、別の方法で結合されている。トラック１０８は、例えば、図１のｘ－ｙ平面内に実質的に位置することができる地面に沿って機械１００を推進するために、独立して移動可能である。１．これら２つのトラックは、独立して制御可能であり、例えば回転、並進等のように、下部フレーム１０４（従って機械１００）の地面に対する運動を容易にしてもよい。いくつかの例では、トラック１０８は油圧によって作動してもよい。トラック１０８を介して地面に沿って（例えばｘ－ｙ平面内で）機械１００が移動することにより、機械１００の位置および向きが変化する。トラック１０８は、２つのトラックを含むように図示されているが、他の実施形態では、機械１００は、より多くまたはより少ないトラックを含んでもよい。さらに、機械１００は、トラックの使用に限定されない。例えば、限定するものではないが、機械１００はまた、トラック１０８の代わりに、またはそれに加えて、車輪を含んでもよい。

【0013】

上部フレーム１０２は、上述したように、下部フレーム１０４に結合され、下部フレーム１０４に対して回転可能である。図２１に示すように、運転室１１０は、上部フレーム１０２に支持されている。諸例では、運転室１１０は、機械１００のオペレータを収容することができ、例えば、オペレータが機械１００を制御して１つまたは複数のタスクを実行することができるような大きさである。これらの場合、運転室１１０は、ジョイスティック、タッチスクリーンディスプレイ、ステアリングホイール、レバーなどの１つまたは複数のユーザ制御装置、ディスプレイ、ゲージなどのユーザフィードバックデバイス、および／または任意の他の特徴を収容してもよい。さらに、図１には示されていないが、運転室１１０は、コンピューティングシステム、電気システム、機械システム、油圧システムなどを含むが、これに限定されない、機械１００の制御関連システムおよび部品も収容することができる。上部フレーム１０２はまた、例えば作業器具、電子装置、およびステアリングの操作を含む機械１００の操作のための動力を供給するように構成された、エンジン、１つまたは複数の電池などの１つまたは複数の電源（図示せず）を支持することができ、および／または、機械１００を、地形を横切って推進させるためにトラック１０８を駆動するためのトルクを供給することができる。限定するものではないが、動力源はまた、油圧流体の流れを介して履帯１０８および／または機械１００の器具および他の態様の動作を制御する油圧システムを含んでもよい。

【0014】

上述したように、機械１００は、掘削機として具現化することができ、ブーム１１２と、スティック１１４と、バケット１１６とを含むことができる。ブーム１１２は、従来の機械と同様に、上部フレーム１０２に結合され、上部フレーム１０２に対して相対移動可能に構成され、スティック１１４は、ブーム１１２に結合され、ブーム１１２に対して相対移動可能に構成され、スティック１１４は、スティック１１４に結合され、スティック１１４に対して相対移動可能に構成されている。図示の例では、ブーム１１２を上部フレーム１０２に対して相対的に移動させるために一対の第１油圧アクチュエータ１１８が設けられている。ブーム１１２に対してスティック１１４を移動させる第２油圧アクチュエータ１２０が設けられ、スティックに対してバケット１１６を移動させる第３油圧アクチュエータ１２２が設けられている。例えば、限定するものではないが、油圧アクチュエータ１１８、１２０、１２２は、掘削作業のような機械１００による作業の完了を容易にするように制御されてもよい。他の例では、機械１００は、他の器具および／または追加の器具を含んでもよい。例えば、バケット１１６は、スティック１１４に接続された別の器具と交換されてもよい。他の場合、機械１００は、ブーム１１２およびスティック１１４以外の器具を含んでもよい。さらに、他のアクチュエータおよび／または追加のアクチュエータを使用して、例えば油圧アクチュエータ１１８、１２０、１２２の代わりに器具を制御してもよい。

【0015】

機械１００はまた、図１に概略的に示された複数のセンサを含む。具体的には、図１は、下部フレーム１０４に対する上部フレーム１０２の運動、例えば軸１０６の周りの運動に関連するセンサデータを生成するように構成された回転センサ１２４を示している。限定するものではないが、回転センサ１２４は、回転ポテンショメータ、磁気ホール効果センサ、１つまたは複数のエンコーダ、誘導位置センサ、差動変圧器等のうちの１つまたは複数であってもよく、または、これらを含んでもよい。回転センサ１２４は、下部フレーム１０４に対する上部フレーム１０２の角度、例えば基準軸または基準面に対する上部フレーム１０２の角度を決定するように構成され得る。いくつかの例では、回転センサ１２４は、下部フレーム１０４に対する上部フレーム１０２の回転を約０．１度以下の精度まで計算することを可能にするデータを生成してもよい。本明細書でさらに詳述するように、本開示による技術では、回転センサ１２４によって生成されたセンサデータは、機械１００の向きおよび／または位置情報などの状態情報を決定するために使用される。

【0016】

機械１００は、位置センサ１２６をさらに含む。位置センサ１２６は、位置センサ１２６の位置、例えば２次元または３次元のグローバル位置またはローカル位置を決定するように構成される。いくつかの例では、位置センサ１２６は、全地球航法衛星システム（ＧＮＳＳ）デバイスであってもよいが、機械目標位置センサ、ロボットトータルステーション、ロボット追跡ステーション、および他のタイプのセンサシステムを含むが、これらに限定されない他の位置センサも考慮されてもよい。図１の例では、位置センサ１２６は機械１００の上部フレーム１０２に結合され、位置センサ１２６は、ＧＮＳＳデバイス、または一般的に一定の間隔（例えば、１０Ｈｚの周波数で、または毎秒１０回の出力）でデバイスのグローバル位置を決定し出力する他の従来の全地球測位デバイスとしてもよい。ＧＮＳＳデバイスは、ＧＮＳＳデバイスの２次元または３次元座標、例えば世界座標系を出力してもよい。従来から知られているように、ＧＮＳＳデバイスの位置には、誤差が生じる。この例では、位置センサ１２６であるＧＮＳＳデバイスは、機械の回転中心から離間した位置、例えば、軸１０６から離間した位置に配置されている。これにより、ＧＮＳＳデバイスは、機械１００が地面に沿って移動する場合や、上部フレーム１０２が下部フレーム１０４に対して回転する場合、例えば並進運動を行わない場合に移動することになる。本明細書でさらに詳述するように、本開示の技術では、機械１００の向きおよび位置情報は、ＧＮＳＳデバイスによって生成された位置データを使用して決定される。さらに、いくつかの以前のシステムとは異なり、本明細書に記載された技術は、単一の位置センサ（例えば、単一のＧＮＳＳデバイス）のみからのデータを利用して正確な状態情報を決定することができる。機械１００は、追加のＧＮＳＳデバイスを含むがこれに限定されない１つまたは複数の追加の位置センサを含んでもよいが、本明細書に記載された実施形態によれば、そのようなセンサは必要とされない場合がある。

【0017】

機械１００は、回転センサ１２４および位置センサ１２６に加えて、追加センサを含んでもよい。例えば、図１は、トラックセンサ１２８を概略的に示す。トラックセンサ１２８は、第１トラック１０８ａに関連して示されているが、トラックセンサ１２８のような他のトラックセンサも、第２トラック１０８ｂに関連していてもよい。以下の説明は、一般に第１トラック１０８ａに関連するが、第２トラック１０８ｂにも適用してもよい。一般に、トラックセンサ１２８は、第１トラック１０８ａの運動に関する情報を生成するように構成される。例えば、トラックセンサ１２８は、第１トラック１０８ａの運動（およびその運動に伴う変位）を検出してもよい。他の例では、トラックセンサ１２８は、第１トラック１０８ａを駆動するためのスプロケット、車軸、または他の機構に関連する回転の程度を検出してもよい。他の例では、トラックセンサ１２８は、例えばトラック１０８を駆動するために使用される流体に関連する流体の流れを感知してもよい。さらなる例では、トラックセンサ１２８は、第１トラック１０８ａおよび第２トラック１０８ｂの両方の運動を決定するトラック感知システムの一部であってもよいし、トラック感知システムの一部であってもよい。本明細書でさらに詳述するように、トラック１０８の運動に関連する情報を使用して機械１００の状態を決定してもよい。

【0018】

トラックの運動を決定するための他の技術およびシステムも考えられる。例えば、トラックの運動は、機械１００を移動させるために使用される制御信号から推定され得る。例えば、このような制御信号は、運転室１１０内のオペレータからのオペレータ入力、遠隔オペレータからのオペレータ入力、および／または（例えば自律システム内の）オペレータとして機能するコンピューティングデバイスからのオペレータ入力に応答して生成され得る。これらの例では、トラックセンサ１２８は、これらの信号に関連する情報を生成するように構成されてもよく、トラック１０８の実際の動きおよび機械１００の実際の動きは、信号から推測されてもよい。例えば、限定するものではないが、トラックセンサ１２８は、ジョイスティックステアリングホイールなどのユーザコントロールの物理的な変位を検出することができ、あるいはそのような運動に応答して生成される制御信号、例えば電気信号を識別してもよい。

【0019】

機械１００はまた、図１に概略的に示すように、１つまたは複数の画像センサおよび／または測距センサをセンサ１３０として含んでもよい。例えば、センサ１３０は、機械１００の環境に関するデータを生成するために、上部フレーム１０２に結合された位置に配置されてもよい。図示の例では、センサ１３０は運転室１１０のルーフに取り付けられている。センサ１３０は、遮るもののない視野を提供するためにルーフに取り付けることができるが、他の位置も考えられる。例えば、センサ１３０は、環境内の物体を含む環境を画像化してもよい。いくつかの例では、機械１００の周囲の所定の領域を画像化するのに十分な数のセンサが設けられてもよい。場合によっては、機械の周囲の３６０度の視野に関連するセンサデータを生成するのに十分な数のセンサが提供される場合がある。限定するものではないが、センサ１３０は、カメラまたは他の撮像デバイス、レーザレーダセンサ、レーダセンサ、ソナーセンサ、飛行時間センサ、および／または同様のもののうちの１つまたは複数を含んでもよい。センサ１３０は単一のセンサとして示されているが、センサ１３０の複数のインスタンスが提供されてもよく、これらのインスタンスは同じまたは異なるモダリティであってもよい。本明細書に記載された技術によれば、センサ１３０によって生成されたセンサデータは、機械１００の状態を決定するために使用されてもよい。

【0020】

機械１００はまた、機械の器具に関連する情報を生成するための器具センサなどを含んでもよい。図１の例では、機械１００は、第１器具センサ１３２、第２器具センサ１３４および第３器具センサ１３６を含む。より具体的には、第１器具センサ１３２は、上部フレーム１０２に対するブーム１１２の運動に関連するセンサデータを生成し、第２器具センサ１３４は、ブーム１１２に対するスティック１１４の運動に関連するセンサデータを生成し、第３器具センサ１３６は、スティック１１４に対するバケット１１６の運動に関連するセンサデータを生成する。いくつかの例では、第１器具センサ１３２は、第１油圧アクチュエータ１１８の一方または両方に関連してもよく、第２器具センサ１３４は、第２油圧アクチュエータ１２０に関連してもよく、および／または、第３器具センサ１３６は、第３油圧アクチュエータ１２２に関連してもよい。限定するものではないが、第１器具センサ１３２、第２器具センサ１３４、および／または第３器具センサ１３６のうちの１つまたは複数は、第１油圧アクチュエータ１１８、第２油圧アクチュエータ１２０、および／または第３油圧アクチュエータ１２２のそれぞれの線形変位を決定するように構成されてもよい。例えば、線形変位を使用して、器具のさまざまな要素の既知のキネマティック関係に基づいて運動を決定してもよい。他の実施形態では、器具センサ１３２、１３４、１３６は、線形変位以外の値を測定してもよい。限定するものではないが、器具センサ１３２、１３４、１３６のうちの１つまたは複数は、例えばピンまたは他のピボット位置における相対的な回転運動を検出するように構成されてもよい。更に別の例では、器具センサ１３２、１３４、１３６は、ブーム１１２、スティック１１４、および／またはバケット１１６のような関連する部品の３次元的な動きを、相対的な動きとは無関係に検出するように構成されてもよい。例えば、器具センサ１３２、１３４、１３６のうちの１つまたは複数は慣性測定ユニット（ＩＭＵ）であってもよい。他の例では、器具センサ１３２、１３４、１３６は、変位センサ、位置センサ、角度センサ、回転センサ、加速度計、または動きを定量化、導出、推論することができる任意の他のセンサを含んでもよい。このようなセンサを備えた機械１００が示されているが、他のタイプおよびユニットのセンサも考えられる。

【0021】

上述したように、機械１００は、１つまたは複数のタスクを実行するために使用される。このようなタスクは、例えば、トラック１０８を介して機械１００を異なる位置に移動させること、および／または（ブーム１１２および／またはバケットバー１１４を介して）バケット１１６を作動させて掘削、整地などを行うことを含んでもよい。タスクはまた、下部フレーム１０４に対する上部フレーム１０２（そのために運転室１１０、ブーム１１２、スティック１１４、およびバケット１１６）の回転を含むかまたは必要とする場合がある。いくつかの例では、タスクは、例えば運転室１１０に座っている人間のオペレータからの指示に応答して実行されてもよい。限定するものではないが、人間のオペレータは、レバー、ジョイスティック、タッチスクリーン、または他のタイプの制御装置を使用して機械１００を操作してもよい。オペレータはまた、「スティックイン」イベント、「スティックアウト」イベント、「ブームアップ」イベント、「ブームダウン」イベントなど、さまざまなタイプの機能、動作、またはイベント、「バケットカール」イベント、「バケットダンプ」イベント、または機械１００の１つ以上の部品の運動に関連する他の任意のイベントに対応する入力コマンドを使用してもよい。

【0022】

図１は、機械１００に関連する状態決定システム１３８も示している。状態決定システム１３８は、コンピューティングシステムまたはコンピューティングデバイス（機械１００上のコンピューティングデバイスまたは非搭載コンピューティングデバイスを含む）によって実装されてもよい。状態決定システム１３８は、センサデータ１４０を受信し、機械１００の状態に関する情報を（例えば、状態データ１４２として）決定する機能を含む。本明細書で使用される場合、「状態」という用語は、機械１００に関連する任意の特性または属性を指し得る。特定の例では、状態決定システム１３８は、車両の位置（例えば、世界座標系における）および／または向きを決定することができる。機械状態はまた、機械１００の機首方位、姿勢、速度、加速度、および／または任意の他の特徴もしくは特性のうちの１つまたは複数をさらにまたは代替的に含むことができる。以下でさらに説明されるように、状態決定システム１３８は、１つまたは複数の融合モデル１４６を含む。

【0023】

センサデータ１４０は、上述したように、機械１００に関連する任意のセンサによって生成されたデータを含んでもよい。限定するものではないが、センサデータ１４０は、例えば、下部フレーム１０４に対する上部フレーム１０２の角度変位として、回転センサ１２４によって生成された回転データを含んでもよい。センサデータ１４０は、位置センサ１２６によって生成された位置、例えばグローバル位置、例えば世界座標系におけるＧＮＳＳセンサとしての位置を含んでもよい。センサデータ１４０は、トラックセンサ１２８（および／または上述した任意の追加のトラックセンサ）によって生成されたトラックデータをさらに含んでもよい。さらに、センサデータ１４０は、センサ１３０および／または器具センサ１３２、１３４、１３６によって生成された環境データを含んでもよい。センサデータ１４０は、図１に示すセンサ以外からの情報を含むこともできる。例えば、センサデータ１４０は、機械１００および／または機械１００の一部を移動させるために機械１００のオペレータによって発行されたオペレータコマンドに関する情報を含むこともできる。諸例では、センサデータ１４０は、また、例えば状態判定システム１３８または何らかの遠隔コンピューティングシステムなどのコンピューティングシステムがデータを取得できるようにするために、例えばタイムスタンプ、タグ、ヘッダなどとして時間データを含んでもよい。

【0024】

図１に示すように、状態決定システム１３８は、１つまたは複数の融合モデル１４６を含んでもよい。本明細書で使用される場合、「融合モデル」とは、複数のデータ入力から状態データを決定する数学モデル、アルゴリズム、トレーニングモデル、および／または他の処理部品を指す。例えば、融合モデル１４６は、機械１００に取り付けられた様々なセンサによって生成されたセンサデータ１４０から状態データ１４２を決定するように実行されてもよい。例えば、融合モデル１４６は、上記したセンサデータ１４０のような異なる入力を処理し、これらの入力を使用して状態データ１４２を推定してもよい。いくつかの例では、融合モデル１４６の各々は、向き、速度、加速度などの異なる状態パラメータを決定するのに使用されてもよい。他の例では、モデル１４６の個々は、受信されたセンサデータ１４０のタイプに基づいて提供されてもよい。諸例では、本明細書でさらに詳述するように、融合モデル１４６は、状態データ１４２を推定するためにセンサデータ１４０を処理する推定モデル、確率モデル、トレーニングモデルなどを含んでもよい。

【0025】

いくつかの例では、融合モデル１４６のうちの１つは、位置センサ１２６からの位置データおよび回転センサ１２４からの回転データを使用して機械１００の回転中心を推定するように構成されてもよい。例えば、図２および図３に関連して以下でさらに詳述するように、融合モデル１４６は、位置センサ１２６によって生成されたグローバル位置の複数のインスタンスから機械１００の回転中心の推定値を生成し、これらの推定値を回転センサ１２４からの測定された角変位と融合して、位置センサのみから得られるよりも正確な回転中心を決定してもよい。上述したように、回転センサ１２４は、位置センサ１２６によって生成された位置よりも高い精度で、下部フレーム１０４に対する上部フレーム１０２の回転中心、例えば、軸線１０６の周りの角度変位を決定する。融合モデル１４６は、このようなより忠実度の高い回転データを利用して、回転中心のより正確な位置を決定し、機械１００の位置および向きをより正確に決定してもよい。さらに、本明細書に記載された技術は、慎重な校正ステップを必要とせずに状態データを決定してもよい。例えば、回転センサ１２４からのデータを位置データと融合することにより、機械１００の通常の使用中に状態データ１４２を正確に決定することが可能になり得る。言い換えれば、本明細書に記載された技術によれば、校正ルーチンを部分的または完全に省略してもよい。

【0026】

図１は、状態決定システム１３８が融合モデル１４６のみを含むことを示しているが、状態決定システム１３８は、追加部品を含んでもよい。限定するものではないが、状態決定システム１３８は、入力を処理する機能を含んでもよい。例えば、状態決定システム１３８は、入力センサデータ１４０を検証する機能を含んでもよい。例えば、状態決定システム１３８は、一定の遅延、忠実度、または他の要件を満たしていないデータを含むことができる信頼性のないデータを識別し、削除してもよい。状態決定システム１３８はまた、例えば、時間、ソースなどによってデータをフィルタリングする機能も含むことができる。例えば、状態決定システム１３８は、直前の期間（例えば、直前の秒、１０ミリ秒など）の間に機械１００が移動した期間に関連するセンサデータを識別し、これらの入力のみを融合モデル１４６に渡すことができる。状態決定システム１３８はまた、入力センサデータ１４０を処理して、融合モデル１４６に渡されるデータを生成することもできる。例えば、状態決定システム１３８は、画像データを受信し、画像データを処理して、エッジ、角などの特徴を識別してもよい。状態決定システム１３８の他の機能も説明から理解される。諸例では、センサデータ１４０（および／または、本明細書でさらに説明されるような他のデータ）から状態データ１４２を決定することに含まれる任意の処理は、状態決定システム１３８によって実行され得る。他の場合、本明細書で説明される機能の一部または全てが、異なる部品によって実行されてもよい。

【0027】

上述したように、状態データ１４２は、機械１００の状態に関する任意の情報を含んでもよい。いくつかの例では、状態データ１４２は、機械１００の相対的な位置および向きを示す２次元または３次元のベクトルを含んでもよい。機器向きベクトル１４４の一例を図１に示す。機械向きベクトル１４４は、軸１０６上の点、例えば、下部フレーム１０４に対する上部フレーム１０２の回転中心から始まり、上部フレーム１０２の前部に対応する方向を有してもよい。他の例では、機械向きベクトル１４４の方向は、機械１００および／または機械１００の部品に異なって対応してもよい。また、諸例では、機械向きベクトル１４４は、速度、加速度、信頼度メトリック、および／または他の状態情報を含むがこれらに限定されない、他の関連するデータを有してもよい。

【0028】

前述したように、機械１００に関連するデータは、例えば、融合モデル１４６を実装する状態決定システム１３８を介して、状態データ１４２を決定するために使用されてもよい。本明細書に記載の技術によれば、状態データ１４２を決定する例については、図２～５を参照して以下に詳細に説明する。

【0029】

より具体的には、図２は、回転中心２０６を中心として下部フレーム２０４に対して回転することを必要とするタスクを実行する機械１００であり得る機械２００の概略図である。この例では、上部フレーム２０２は機械１００の上部フレーム１０２に対応し、下部フレーム２０４は下部フレーム１０４に対応し、回転中心２０６は軸１０６などの回転軸に一致していてもよい。図２２はＧＮＳＳセンサ２０８であり、このＧＮＳＳセンサ２０８は、図１に関連して上述された位置センサ１２６の例であり得る。図示の例では、下部フレーム２０４は地面に対して動かない、例えばトラックの動きがない。機械１００は、第１場所からバケットを用いて土を除去し、例えば第２場所で回転してバケットを捨ててもよい。

【0030】

図２は、具体的には、第１機械位置を実線で示し、第２機械位置を点線で示す。第１機械位置では、上部フレーム２０２は、回転中心２０６を中心とする第１回転位置を有し、第２機械位置では、上部フレーム２０２’は、回転中心を中心とする異なる回転位置を有する。理解されるように、第１回転位置は第１時刻に関連し、第２回転位置は第１時刻の後の第２時刻に関連している。上述したように、２つの機械位置では、下部フレーム２０４は動かない。機械２００の上部フレーム２０２は、回転角度θだけ、上部フレーム２０２’によって示される第２位置まで（図２の平面内で）反時計回りに回転している。上記したように、回転角θは、回転センサ１２４（図２には図示せず）を使用して測定される。回転センサ１２４は、下部フレーム２０４に対する上部フレーム２０２の角度向き（または向きの変化）の正確な測定を提供する。例えば、回転角度θは、１回目と２回目とで測定された角度向きの差である。

【0031】

図２の例では、機械１００の位置（例えばグローバル位置）は変化しないが、機械１００の状態は変化している。したがって、図２の例では、第１位置では、機械１００は、第１グローバル位置と第１向きまたは方位とを含む第１状態を有する。この第１状態は、図２において、第１機械向きベクトル２１０によって示されている。第１状態には、ゼロ（線形およびおそらく回転）速度、ゼロ（線形およびおそらく回転）加速度、および／またはその他の特性も含まれるいくつかの例では、信頼値を第１機械向きベクトル２１０に関連付けることもできる。限定するものではないが、第１機械向きベクトルの大きさは信頼値に対応してもよい。第２機械位置では、機械２００は、第２グローバル位置と第２向きまたは方位とを含む第２状態を有する。この第２状態は、図２において、第２機械向きベクトル２１０’によって示されている。第２の状態には、ゼロ（線形およびおそらく回転）速度、ゼロ（線形およびおそらく回転）加速度、および／またはその他の特性も含まれる。いくつかの例では、信頼値を第２機械向きベクトル２１０’に関連付けることもできる。限定するものではないが、第２機械向きベクトル２１０’の大きさは、信頼値に対応してもよい。

【0032】

第２機械位置では、車両の下部フレーム２０４は第１状態に対して動かず、例えば、トラックは、機械２００が世界座標系において地面に対して動く原因とならない。しかしながら、ＧＮＳＳセンサ２０８は、例えば、ＧＮＳＳセンサが上部フレーム２０２に結合されており、下部フレーム２０４に対する上部フレーム２０２の回転のために、上部フレーム２０２が、例えば上部フレーム２０２’に示されるように移動しているので、位置の変化を検出する。ＧＮＳＳセンサ２０８は、例えばＸ－Ｙ平面内において、回転中心２０６から離間した位置で、回転中心２０６を中心として下部フレーム２０４に対して回転する上部フレーム２０２に結合される。この間隔のために、ＧＮＳＳセンサ２０８は、下部フレーム２０４に対する上部フレーム２０２の回転中心２０６の周りの円弧を追跡する、すなわち、ＧＮＳＳセンサ２０８によって示される第１位置からＧＮＳＳセンサ２０８’によって示される第２位置へ移動する。理解されるように、上部フレーム２０２が第１位置から第２位置に回転するとき、ＧＮＳＳセンサ２０８は、少なくとも第１機械状態および第２機械状態に関連するグローバル位置を含む複数のグローバル位置を記録する。ＧＮＳＳセンサ２０８の構成、例えば、ＧＮＳＳセンサ２０８がグローバル位置を決定および／または生成する頻度に応じて、ＧＮＳＳセンサ２０８はまた、図示の機械位置の間の複数のグローバル位置を決定してもよい。

【0033】

図２の例では、下部フレーム２０４に対する上部フレーム２０２の回転は機械２００の唯一の運動であり、第２位置における機械２００の向きは、例えば、第２機械向きベクトル２１０’の方向によって示されるように、例えば、第１機械向きベクトル２１０の方向によって示されるように、回転角度θだけ回転させた、第１位置における機械の向きである。

【0034】

理想的なケースでは、例えば、機械振動に起因するセンサノイズや誤差が存在しない場合、ＧＮＳＳセンサ２０８によって測定されたグローバル位置は、向きベクトル２１０’を決定するのに十分である可能性がある。具体的には、ＧＮＳＳセンサ２０８の機械２０８上の位置が、例えば、機械２００の回転中心２０６に対して、および／または、機械２００上の器具の位置に対して既知であるので、ＧＮＳＳセンサ２０８は、上部フレーム２０２およびＧＮＳＳセンサ２０８によって生成された位置が、回転中心２０６から既知の距離にある円弧上にある場合と同様に、同じ回転（回転角度θなど）を受けることになる。ＧＮＳＳセンサによって生成された２つのグローバル位置を用いて、例えば、回転中心２０６とＧＮＳＳセンサ２０８との間の距離に等しい半径を有するグローバル位置を囲む円の交点において、２つの候補回転中心を決定することができる。ＧＮＳＳセンサによって測定された第３グローバル位置から回転中心２０６を三角測量して、機械向きベクトル２１０’の方向を決定することができる。

【0035】

理想的な場合には、ＧＮＳＳセンサ２０８からのデータは、状態情報を決定するのに十分であるが、現実世界の適用は異なる。具体的には、図１の例のように、回転動きのみであっても、ＧＮＳＳ技術、使用中の機械１００の振動、および／または他の要因により、ＧＮＳＳセンサからの測定値にはノイズが多いことが多い。このようなノイズおよび現実世界の不正確さを克服するために、本明細書に記載の技術は、測定された回転角度θなどの回転データを利用して、ベクトルの方向を含む機械向きベクトル２１０’の様々な態様を正確に決定することができる。

【0036】

図３は、本開示の態様による位置および向きの決定をより詳細に示す概略図である。具体的には、図３は、ＧＮＳＳセンサ２０８からの測定値である第１点３０２（１）および第２点３０２（２）を示しており、測定値は、第１機械位置にある上部フレーム２０２および第２機械位置にある上部フレーム２０２’に対応している。図３はまた、第３点３０２（３）、第４点３０２（４）、および第Ｎ点３０２（Ｎ）を含む複数の追加点を示し、Ｎは４より大きい任意の整数を表す。一般的に、第１点３０２（１）から第Ｎ点３０２（Ｎ）、またはその点の任意のサブセットは、ここでは「点３０２」と呼ばれる場合がある。一方、図３の例では、５つの点３０２が示されているが、他の例では、より多くまたはより少ない点（第１点３０２（１）および第２点３０２（２）までの点を含む）が使用されてもよい。

【0037】

限定するものではないが、本開示の態様は、点３０２および回転センサによって決定された角度、例えば回転角度θを使用して、機械の位置および向きを決定する。例えば、ＧＮＳＳセンサ２０８の運動を近似する予想される円弧３０４の特性は、上部フレーム２０６上のＧＮＳＳセンサ２０８の配置と、測定された回転角度θとに基づいて決定されてもよい。本開示のいくつかの態様では、円弧３０４のオフセット形式の測定点３０２に対する誤差、例えば横方向距離を決定することができ、回転中心２０６に対応する推定回転中心３０６を、これらの誤差に基づいて決定することができる。他の例では、円弧３０４を点３０２に当てはめて、推定回転中心３０６を得るようにしてもよい。例えば、回転中心を決定するための技術は、最小二乗誤差最小化、平均化、モデル適合に基づく最適化などを含んでもよい。加えて、これらの推定方法は、誤差の分散、中央値誤差など、最終推定値に関する不確実性の指標を提供する可能性がある。車両の状態推定に関連する信頼値、例えば機械向きベクトルに関連する信頼値は、この不確実性に少なくとも部分的に基づいてもよい。

【0038】

推定回転中心３０６を決定するための他の例も考えられる。例えば、ノイズがない場合には、隣接する対点３０２を結ぶ線の垂直二等分線はすべて回転中心２０６で交わる。しかしながら、グローバル位置ポイントにはノイズが多いため、本明細書に記載される技術は、ポイント３０２のペアの回転中心を推定することができる。このようにして、推定された中心のクラスタ、例えば点の各対に対応するクラスタが生成される。本明細書に記載の技術は、クラスタから推定回転中心３０６を推定することができる。このようなクラスタリングは、上記のフィッティングと組み合わせて、または上記のフィッティングの代わりに使用され得る。

【0039】

いくつかの例では、例えば、機械がこれらの位置を感知している間静止していてもよいので、第１点３０２（１）および第２点３０２（２）は、点３０２の他の例よりも正確であってもよい。上記の方法では、点３０２（１）、３０２（２）および回転角度θから得られた回転中心から推定される回転センサ１２４からの最小二乗誤差を、例えば他の誤差項よりも高い重みで重み付けすることで、誤差を適切に重み付けすることにより、事前信念として組み合わせることができる。

【0040】

ＧＮＳＳのグローバル位置データにはある程度誤差がある。そのため、ＧＮＳＳセンサによる連続的な測定は、実際の動きがない場合など、機械の運動を誤って示している可能性がある。例えば、従来のＧＮＳＳセンサは、約０．１フィート（例えば、約３センチメートル）の範囲内でグローバル位置を見つけることができる。いくつかの例では、本明細書に記載された技術は、ＧＮＳＳセンサに関連する誤差範囲外の２点に関するデータを受信したときに、車両の向きおよび位置を決定することができる。言い換えれば、図２および３では、比較的大きな回転角θを示しているが、これは主に説明を明確にするためである。実際には、本明細書に記載の方法を使用して正確な回転中心を得るには、５度以下の回転角θで十分である可能性がある。次に、推定された回転中心の振り角度を機械の以前の位置および向きに適用することにより、機械の向きベクトルを決定できる。

【0041】

先に説明した例では、機械の横方向の運動が発生していないことを確認するために、センサデータ１４０の一部などの他のセンサデータが車両で生成され得る。例えば、上述したように、車両の制御入力に関する情報は、状態決定部品によって受信されてもよい。具体的には、機械のオペレータが、例えばジョイスティック、ユーザインターフェース、ステアリング機構、または他の制御デバイスを介して機械を動かすための制御を入力した場合、その入力は、トラック１０８をある態様で動かすためにコントローラに送信され得る。図２の例では、状態決定部品は、トラックを移動するための入力または命令が与えられていないと判定し、それによって、次のフレームが移動していないことを確認することができる。図１または本明細書の他の場所に関連して上記したセンサのいずれかからの他のセンサデータも、下部フレーム２０４が動いていないことを判定するために使用され得る。例えば、下部フレームに結合されたＩＭＵ、加速度計、および／または他のセンサは、下部フレームが移動していないことを確認する（または他の例では、下部フレーム２０４の運動量を決定する）ことができる情報を状態決定部品に提供することができる。

【0042】

前述の技術は、上部フレーム２０２上の異なる既知の位置など、複数のＧＮＳＳセンサを必要とする従来のシステムを改良したものである。他の従来のシステムは、単一のＧＮＳＳセンサ（または他のタイプの位置センサ）を有してもよいが、使用前および／または使用中の間隔など、機械の位置および向きを決定するための広範な校正手順を機械が実行する必要がある。例えば、従来の校正手順の一部は、機械が下部フレームに対して上部フレームを比較的大きな角度、例えば３０度以上回転させることを含む場合がある。この校正手順を通じて、十分に大きな角度にわたる十分な数の離間したグローバル位置を使用して、例えば点によって作られる円弧を推定することによって、機械の回転中心を許容誤差内で近似する。しかしながら、上述したように、ＧＮＳＳセンサによって生成されるグローバル位置に関連する大きな誤差のために、許容可能な精度を有する機械向きを提供するためには、大きな角度と比較的多数の位置が必要である。一方、本開示の態様は、回転センサおよび（単一の）ＧＮＳＳデバイスからの情報（および／または他のセンサからのデータ）を融合して、広範な校正手順を必要とせずに、位置および／または向きを含む機械２００の正確な状態情報を決定する。いくつかの例では、本明細書に記載された技術は、大きな校正角度を必要とせずに、より高い精度で機械２００の位置および向きを計算することができる。本明細書に記載された技術では、回転角度θ、例えば、５度以下の角度回転で機械状態情報を決定することができる。いくつかの例では、本明細書に記載された技術は、機械の通常の動作中、例えばタスクの実行中に実行することができ、それにより、それによって別個の校正手順の必要性が完全に回避される。他の実施形態では、校正手順を大幅に簡略化し、例えば、より小さい角度回転を有することにより、校正に必要な時間を大幅に短縮することができる。

【0043】

機械の並進運動がないことがわかっている場合、ＧＮＳＳセンサからの複数の測定値で車両の位置および向きを決定するのに十分な場合がある。しかしながら、並進運動は、ＧＮＳＳセンサ２０８の期待される円弧３０４を変化させてもよい。本開示の態様は、センサデータ１４０からのデータなどの追加のデータを使用して、より複雑な機械運動に応答して機械向きベクトルを生成することもできる。限定するものではないが、融合モデル１４６は、ＩＭＵデータ、トラックデータ、および／または同様のデータ、例えば、下部フレーム２０４に関連するセンサデータを使用して、ＧＮＳＳセンサ２０８によって生成された測定値が適切であるＧＮＳＳセンサの推定経路を決定してもよい。上述したように、本明細書に記載の技術を実行するには比較的小さな動きで十分であるため、推定経路は円弧から大きく逸脱することがなく、および／または推定された円弧は機械の動作中に他の動き、例えば並進運動から分離される可能性がある。

【0044】

図２および図３の例、これらの図に関連して説明された変形例のいずれでも、下部フレーム１０４および２０４に対する上部フレーム１０２。２０２の回転運動を想定しており、回転センサ１２４は、回転の正確な測定値を取得し、回転データおよびグローバル位置データに基づいて状態データ１４２を生成する。ただし、一部のタイプの機械動きには、このような相対回転が含まれない場合がある。図４および５は、相対回転を含まないこれらの動きの例を示している。

【0045】

具体的には、図４は、機械１００または機械２００であり得、上部フレーム４０２および下部フレーム４０４を含む機械４００の概略図である。この例では、上部フレーム４０２は機械１００の上部フレーム１０２に対応し、下部フレーム４０４は機械１００の下部フレーム１０４に対応してもよい。さらに、上部フレーム４０２は、下部フレーム４０４に対して、例えば回転中心４０６を中心として回転可能である。回転中心４０６は、軸１０６などの回転軸と一致していてもよい。また、図４はＧＮＳＳセンサ４０８であり、ＧＮＳＳセンサ４０８は、図１に関連して上述した位置センサ１２６の例であり得る。図示の例では、下部フレーム４０４は地面に対して移動しているが、上部フレーム４０２は下部フレーム４０４に対して、例えば回転中心４０６を中心として相対回転していない。機械４００は、第１場所から第２芭蕉、例えば建設現場の異なる部分に移行する可能性がある。

【0046】

図４の例では、上部フレーム４０２は下部フレーム４０４に対して回転していないが、機械状態は変化している。図４の例では、第１機械位置４１０において、機械４００は、第１グローバル位置および第１向きまたは方位を含む第１状態を有する。この第１状態は、図４において、第１機械向きベクトル４１２によって示されている。第１状態には、非ゼロの速度、加速度、および／または他の特性も含まれてもよい。いくつかの例では、信頼値を第１機械向きベクトル４１２に関連付けることもできる。限定するものではないが、第１機械向きベクトル４１２の大きさは、信頼値に対応してもよい。第２機械位置４１４では、機械４００は、第２グローバル位置および第２向きまたは方位を含む第２状態を有する。第２の状態は、図４において、機械向きベクトル４１６によって示されている。第２状態には、非ゼロ速度、ゼロ（線形およびおそらく回転）加速度、および／またはその他の特性も含まれてもよいいくつかの例では、信頼値を第２機械向きベクトル４１６に関連付けることもできる。限定するものではないが、第２機械向きベクトル４１６の大きさは、信頼値に対応してもよい。

【0047】

上述したように、第２機械位置４１４では、機械４００の下部フレーム４０４が地面に対して移動している。より具体的には、第１トラック１０８ａおよび第２トラック１０８ｂに対応し得る第１トラック４１８および／または第２トラック４２０は、機械４００が世界座標系において地面に対して移動させるように作動されている。前の例と同様に、ＧＮＳＳセンサ４０８は、例えばＧＮＳＳセンサが上部フレーム４０２に結合され、上部フレーム４０２が下部フレーム４０４によって支持されるので、第１および第２機械位置４１０、４１４に関連するグローバル位置（および第１および第２機械位置４１０、４１４の間の位置）を生成する。しかしながら、上部フレーム４０２は下部フレーム４０４に対して移動しないので、図２および図３の例に示されるように、測定点と比較できる予想される円弧は存在しない。

【0048】

図４の例では、上記のセンサデータ１４０のタイプのような他のセンサデータを使用して、ＧＮＳＳセンサ４０８の予想される経路４２２を推定することができる。その後、ＧＮＳＳセンサ４０８によって生成されたグローバル位置は、推定経路４２２と比較され得る。少なくともいくつかの例では、予想される経路４２２は、例えば上述したトラックセンサ１２８からのトラックデータのようなトラックデータに少なくとも部分的に基づいて決定されてもよい。例えば、機械４００に入力された制御に応じて、機械４００の運動は、第１トラック４１８および／または第２トラック４２０の運動によって、例えば、オペレータ、遠隔制御装置、自律制御システム、または他の方法によって入力されてもよい。いくつかの例では、状態決定システム１３８はまた、機械４００のこれらの制御に関する情報に少なくとも部分的に基づいて、向きを決定してもよい。トラック４１８、４２０は、例えば、互いに相対的に移動するように独立に制御されて、下部フレーム４０４に地面上での所望の動きを与えてもよい。本開示の諸例では、トラック４１８、４２０のそれぞれの制御に関する情報を他のデータと融合して、予想される経路４２２を決定してもよい。制御に関する情報には、ジョイスティックまたは他の物理的制御の物理的変位、電気信号、またはユーザ入力によって引き起こされる電気信号の変化などのユーザ入力に関する情報が含まれているが、これに限定するものではない。他の例では、制御に関する情報は、トラックを移動させるための駆動システムに関する情報を含んでもよい。例えば、トラックは油圧システムによって駆動されてもよく、トラックに流れる油圧流体に関する情報は、トラックの実際の運動を推定するために使用され得る。さらに別の例では、制御に関する情報は、トラックの実際の運動を示すセンサデータであり得る。例えば、トラックセンサをトラックに取り付けて、トラックの変位や、トラックを駆動するハブの回転などを決定してもよい。

【0049】

トラックの運動に関連する情報は、機械１００の並進運動および／または回転運動を近似するために使用され得る。例えば、状態決定システム１３８は、例えば、１つまたは複数の融合モデル１４６を使用して、第１トラック経路４２４および／または第２トラック経路４２６を近似してもよい。上部フレーム４０２に対するＧＮＳＳセンサの位置が既知であるので、予想される経路４２２は、第１トラック経路４２４および／または第２トラック経路４２６のうちの１つまたは複数に基づいて決定されてもよい。ＧＮＳＳセンサ４０８からのグローバル位置データは、推定経路４２２に沿った位置に関連する時刻においても利用可能である。場合によっては、状態決定システム１３８は、機械の幾何学的形状、センサの既知の位置、および左／右トラックから上記の各センシングデータに入力された並進量のマッピングに基づいて、その回転中心に対する機械の並進および３次元回転（ヨー、ピッチおよびロール）を計算する。単一のセンサに基づくこれらの推定値は、センサ融合アルゴリズムを使用して、例えば融合モデル１４６として機械１００の動きの正確な推定値を決定して融合し、次いで、例えば推定動きベクトルを機械の以前の位置および向きに適用することによって、機械の位置および向きを計算してもよい。例えば、一実施形態では、カルマンフィルタまたは拡張カルマンフィルタを使用して、センサ測定値を入力として使用して機械の回転中心および向きを追跡してもよい。

【0050】

ＧＮＳＳセンサ４０８の推定トラック経路４２４、４２６、およびその結果としての推定経路４２２は、回転センサ１２４から決定される推定円弧３０４よりも大きな誤差を受けやすい可能性がある。例えば、トラック４１８、４２０は、例えば地形、土壌条件、および／または類似のものに基づいてスライドする傾向があり得る。その結果、下部フレーム４０４に対する上部フレーム４０２の回転の恩恵を受けずに計算された機械向きベクトル４１２、４１６は、相対回転運動に少なくとも部分的に基づく機械向きベクトルよりも低い信頼性を有する可能性がある。その結果、本開示のいくつかの実施形態では、図４に示すように、機械４００のような機械が第１位置から第２位置に移動するように制御されるとき、機械４００は、下部フレーム４０４に対する上部フレーム４０２の回転を与えるように制御可能である。このような制御は、例えば、ユーザからの入力がない場合、オペレータによって誘導されてもよく、コントローラによって誘導されてもよい。本明細書で詳述するように、例えば約５度以下のオーダーのような小さな相対回転でも、本明細書に記載された技術を実現するのに十分である。

【0051】

図５は、例えば、追加のタイプのセンサデータを使用して、状態情報を決定するための追加の技術を示す。具体的には、図５は、機械１００、２００、４００のいずれかであり得、上部フレーム５０２と下部フレーム５０４とを含む機械５００の概略図である。この例では、上部フレーム５０２は上部フレーム１０２、２０２、４０２のいずれかに対応し、下部フレーム５０４は下部フレーム１０４、２０４、４０４のいずれかに対応してもよい。さらに、他の例と同様に、上部フレーム５０２は、下部フレーム５０４に対して、例えば回転中心５０６を中心として回転可能であってもよい。回転中心５０６は、軸１０６などの回転軸と一致していてもよい。また、図５は、ＧＮＳＳセンサ５０８であり、ＧＮＳＳセンサ５０８は、位置センサ１２６および／または上述したＧＮＳＳセンサ２０８、４０８のうちの１つであり得る。図示の例では、下部フレーム５０４は地面に対して回転するが、上部フレーム５０２は下部フレーム５０４に対して回転しない、例えば回転中心４０６を中心として回転する。この例では、機械は、例えば、材料を掘削する第１向きと、掘削された材料を投棄する第２位置との間で、所定の位置で回転してもよい。

【0052】

図５の例では、下部フレーム５０４に対する上部フレーム５０２の回転はないが、地面に対する回転により機械状態が変化している。図５の例では、実線で示される第１機械位置５では、機械５００は、第１グローバル位置および第１向きまたは方位を含む第１状態を有する。この第１状態は、関連する第１機械向きベクトル（図５に図示せず）を有してもよい。第１状態はまた、速度、加速度、および／または他の特性を含んでもよい。いくつかの例では、信頼値を第１機械位置に関連付けることもできる。破線で示す第２機械位置において、機械５００は、第２グローバル位置（ＧＮＳＳセンサ５０８によって測定される）と、第２向きまたは方位とを含む第２状態を有する。第２の状態は、図５において、機械向きベクトル５１０によって示されている。第２状態はまた、速度、加速度、および／または他の特性を含んでもよい。いくつかの例では、信頼値を機械向きベクトル５１０に関連付けることもできる。限定するものではないが、第２機械向きベクトル５１０の大きさは、信頼値に対応してもよい。

【0053】

機械５００はまた、図１に示されるセンサ１３０に対応し得る画像センサ５１２を含む。図４において、画像センサ５１２は、機械５００の前方にほぼ広がる視野５１４を有するカメラであってもよい。図５の視野５１４は、画像センサ５１２は、より広い視野またはより狭い視野を有し得るため、図５に示される視野は単なる例である。限定するものではないが、視野５１４は機械５００のツールによって容易に妨げられることがあり、したがって、機械５００の片側または後部のような交互の視野が好ましい。さらに別の例では、３６０度の視野カメラが使用され、全視野の一部が本明細書に記載の技術に従って使用される。視野５１４の範囲に関係なく、画像センサ５１２は機械５００の環境に関する画像データを生成してもよい。図５の例では、画像センサ５１２は、機械５００が第１機械位置（実線で示す）にある画像センサ５１２の視野５１４に対応する第１画像データ５１６（図５に概略的に示す）を生成する。像センサ５１２はまた、画像センサ５１２が第２機械位置（破線で示す）にある視野５１４に対応する第２画像データ５１８を生成する（図５にも概略的に示す）。第１画像データ５１６と第２画像データ５１８は、図５にも概略的に示されるように、領域５２０で重なる。

【0054】

図５の例では、図４の例と同様に、ＧＮＳＳセンサ５０８が追跡する推定円弧を生成するために使用できる、回転センサ１２４によって測定される相対回転はない。しかしながら、画像センサ５１２によって生成された画像データは、ＧＮＳＳセンサ５０８の運動を推定するために使用されてもよい。例えば、第１画像データ５１６および第２画像データ５１８は、機械５００の周囲の環境における特徴の画像を含む。これらの特徴には、建物、送電塔、監視塔、クレーンなどの固定重機などが含まれるが、これらに限定されるものではない。諸例では、第１画像データ５１６および第２画像データ５１８を分析して、キャプチャ間のカメラの回転角度を計算してもよい。

【0055】

いくつかの例では、画像センサ５１２は、第１画像データ５１６および第２画像データ５１８を含む画像データとして、一定の時間間隔でビデオシーケンスまたは静止画像をキャプチャしてもよい。状態決定システム１３８は、画像データから画像センサ５１２のカメラの回転角度を推測するための１つまたは複数の方法を実装してもよい。一例では、重複領域５２０内の建物５２４などの特有の構造上の点は、例えば、ＳＩＦＴ、ＳＵＲＦ、またはＨｏＧ特徴を使用して決定および記述され得、後続の画像内の対応する点は、これらの特徴を照合することによって決定され得る。マッチングが要求される画像は、重複領域５２０など、少なくともいくつかのユニークな構造を含む重複を有する。カメラの動きは、一組の既知の点対応関係と、図示の例では機械５００が旋回する点または軸に対するカメラの位置関係から計算してもよい。さらに、ＧＮＳＳセンサ５０８は、画像センサ５１２に対して既知の位置関係を有するので、図２および図３の例に示すように、状態決定システム１３８は、例えば融合モデル１４６を使用して予想される円弧を決定してもよく、ＧＮＳＳセンサ５０８によって決定されたグローバル位置は、上述したように予想される円弧に適合してもよい。別の方法では、回転運動中にキャプチャされたビデオシーケンスは、コンピュータビジョンにおいて既知の特徴追跡またはオプティカルフローを使用するストラクチャフロムモーション技術を使用して分析され得る。図５の例は画像センサを使用しているが、今説明した技術は測距センサ、飛行時間センサなどにも同様に適用可能である。

【0056】

図２および３は、例えば単一のＧＮＳＳセンサからの回転データおよびＧＮＳＳデータを使用して状態情報を決定する技術を示している。図４および５は、相対回転が存在しない例を示しているので、単一のＧＮＳＳセンサと組み合わせて他の技術を使用して、向きおよび／または位置を含む状態を推定する。理解されるように、理解されるように、本開示は、利用可能な回転データがない場合に、図４のようなトラックデータおよび／または図５のような画像データを使用することに限定されない。対照的に、本明細書に記載された様々な技術は、例えば、融合モデル１４６を使用して、一緒に使用されてもよい。より多くのデータ型とモデルが使用されるようになると、推定技術はより堅牢になる可能性がある。例えば、回転センサ１２４は最も精度の高いデータを生成してもよいが、トラックデータおよび／または画像データは、正確ではないが、状態データ１４２を決定するために使用されてもよい。諸例では、異なるタイプのデータに異なる重み付けを行ってもよい。

【0057】

図１～図５および前述の開示は、機械の上部フレームに配置されたＧＮＳＳセンサに関するものであるが、代わりに、ＧＮＳＳセンサは機械の下部フレームに配置されてもよく、他のセンサの少なくともいくつかは逆に上部フレームに配置されてもよいことが理解されるべきである。さらに、上述したように、ＧＮＳＳセンサは位置センサの一例に過ぎず、本明細書で説明する例で使用するＧＮＳＳセンサの代わりに他の種類の位置センサを使用してもよい。

【0058】

図６は、本明細書に記載された一実施形態による機械状態を決定するためのシステム６００の一例を示す図である。少なくとも１つの例では、システム６００は、１つまたは複数のネットワーク６０４を介して１つまたは複数の遠隔コンピューティングデバイス６０６と通信する１つまたは複数の機械６０２を含んでもよい。例えば、機械６０２は、機械１００、２００、４００、５００のいずれでもよい。遠隔コンピューティングデバイス６０６は、フラットパネルコンピューティングデバイス、デスクトップコンピューティングデバイス、ノートパソコンコンピューティングデバイス、モバイルコンピューティングデバイス、クラウドベースのコンピューティングデバイス、サーバベースのコンピューティングデバイス、または本明細書に記載された機能を実行し、機械６０２と通信することができるその他任意のコンピューティングデバイスを含んでもよい。ネットワーク６０４は、ローカルエリアネットワーク（ＬＡＮ）、インターネットを含むがこれに限定されないワイドエリアネットワーク（ＷＡＮ）、またはこれらの任意の組み合わせを含むことができ、任意の適切なプロトコルおよび通信技術を使用する有線および無線通信技術を含んでもよい。

【0059】

システム６００は、１つまたは複数のセンサ６０８と、ディスプレイ６１０と、１つまたは複数のユーザインターフェース６１２と、１つまたは複数のコントローラ６１４と、プロセッサ６１６と、プロセッサ６１６に通信可能に結合されたメモリ６１８と、１つまたは複数の通信接続部品６２０とを含んでもよい。図示の例では、機械６０２のメモリ６１８は、状態決定部品６２２およびグラフィカルユーザインタフェース（ＧＵＩ）生成システム６２４を記憶する。これらのシステムは、以下に示され、別個の部品として説明されるが、様々なシステムの機能は、上述した従来のシステムとは異なる場合がある。さらに、本明細書で説明される様々な機能を実行するために、より少ないまたはより多いシステムおよび部品を使用してもよい。説明のために、図６では、メモリ６１８に常駐するように示されているが、状態決定部品６２２および／またはＧＵＩ生成システム６２４は、追加的にまたは代替的に、機械６０２によってアクセス可能である（例えば、機械６０２から離れたメモリ上に記憶されているか、または機械６０２から離れたメモリによってアクセス可能である）ことが想定され得る。

【0060】

センサ６０８は、本明細書で説明される任意のセンサを含んでもよい。例えば、限定するものではないが、センサ６０８は、回転センサ１２４、位置センサ１２６、トラックセンサ１２８、センサ１３０、および／または、本明細書で説明する他のセンサを含んでもよい。限定するものではないが、センサ６０８は、機械６０２の態様および／または機械６０２の環境に関するデータを生成するように構成されてもよい。

【0061】

ユーザインターフェース６１２は、例えば、ユーザが機械６０２と対話することを可能にするように、機械６０２のオペレータに提供されてもよい。いくつかの例では、機械６０２のオペレータは、オペレータが運転室１１０内にいる間、ユーザインターフェース６１２にアクセスすることができる。ユーザインターフェース６１２は、ディスプレイスクリーン、タッチスクリーン、ジョイスティック、ステアリングホイール、スイッチ、ペダル、および／またはオペレータがインターフェースできる任意の他の機構もしくはコンポーネントを含んでもよい。

【0062】

コントローラ６１４は、制御信号を実装する部品を含んでもよい。限定するものではないが、コントローラ６１４は、ユーザインターフェース６１２を介して受信したオペレータ入力に基づいて信号を受信し、これらの制御を実行するためのアクションを決定してもよい。コントローラ６１４は、油圧コントローラ、アクチュエータコントローラ、電子コントローラなどを含んでもよい。場合によっては、本明細書でさらに詳述するように、ユーザインターフェース６１２および／またはコントローラ６１４からのデータを使用して、機械の動きを推定してもよい。

【0063】

少なくとも一例では、状態決定部品６２２は、センサ入力に基づいて機械６０２の状態データを決定する機能を含んでもよい。例えば、状態決定部品６２２は、上述した状態決定システム１３８と実質的に同じであってもよい。諸例では、状態決定部品６２２は、回転センサおよび単一のＧＮＳＳセンサからセンサデータを受信し、その情報に基づいて機械６０２の方向を決定してもよい。例えば、状態決定部品６２２は、上述した融合モデル１４０のような１つまたは複数のモデルを利用してもよい。

【0064】

いくつかの例では、ＧＵＩ生成システム６２４は、例えば、ディスプレイ６１０を介してレンダリングするための１つまたは複数の対話型インターフェースを生成する機能を含んでもよい。いくつかの例では、ＧＵＩ生成システム６２４は、ＧＵＩを生成するために、状態決定部品６２２から情報を受信してもよい。いくつかの例では、ＧＵＩは、機械６０２および情報状態に関する情報を示してもよい。状態情報は、機械向きベクトルを含んでもよい。ＧＵＩは、状態情報に関連する信頼値をオペレータに提示することもできる。本明細書で説明するように、回転センサからの回転データを使用して決定される状態情報は、他の技術を使用して決定される状態データよりも正確である可能性がある。この精度はＧＵＩを介してオペレータに説明する場合がある。

【0065】

通信接続部品（複数可）６２０は、機械６０２と、遠隔コンピューティングデバイス（複数可）６０６および／または他のローカルまたは遠隔デバイス（複数可）との間で通信することを可能にする。例えば、通信接続部品６２０は、例えば、ネットワーク６０４を介して、遠隔コンピューティングデバイス（複数可）６０６との通信を容易にすることができる。通信接続部品（複数可）６２０は、例えば、ＩＥＥＥ８０２．１１規格によって定義された周波数、ブルートゥース登録商標のような短距離無線周波数、他の無線送信、または任意の適切な有線または無線通信プロトコルを介して、Ｗｉ－Ｆｉベースの通信を可能にしてもよく、これにより、個々のコンピューティングデバイスが他のコンピューティングデバイスとインターフェースしてもよい。

【0066】

いくつかの実施形態では、機械６０２は、ＧＵＩ、センサデータなどを生成する命令などの情報を、ネットワーク６０４（複数可）を介して遠隔コンピューティングデバイス（複数可）６０６に送信することができる。遠隔コンピューティングデバイス（複数可）６０６は、通信接続部品６２０、６４０を介して機械６０２からそのような情報を受信してもよい。いくつかの実施形態では、遠隔コンピューティングデバイス（複数可）６０６は、例えば、機械６０２の状態を決定すること、またはＧＵＩを生成することを含む、機械６０２に起因するいくつかの機能を実行してもよい。少なくとも１つの例では、遠隔コンピューティングデバイス（複数可）６０６は、プロセッサ６２６と、プロセッサ（複数可）６２６に通信可能に結合された１つまたは複数のメモリ６２８とを含んでもよい。図示の例では、遠隔コンピューティングデバイス（複数可）６０６のメモリ６２８は、状態決定部品６３０、ＧＵＩ生成部品６３２、状態モデル生成部品６３４を記憶し、および／またはデータストア６３６を含んでもよい。諸例では、状態決定部品６３０は、状態決定部品６２２と実質的に同じであってもよく、ＧＵＩ生成部品６３２は、ＧＵＩ生成部品６２４と実質的に同じであってもよい。

【0067】

状態モデル生成部品６３４は、例えば、上述した融合モデル（複数可）１４０を含む１つまたは複数のモデルを生成する機能を含んでもよい。限定するものではないが、状態モデル生成部品６３４は、様々なセンサ入力から状態情報を生成するために機械学習モデルを訓練するなどの１つまたは複数の訓練プロセスを実施してもよい。さらに、状態モデル生成部品６３４は、推定経路、重心、および／またはＧＮＳＳセンサの他の機械部品など、本明細書で説明される態様をモデル化する機能を含んでもよい。

【0068】

データストア６３６は、モデル６３８を含んでもよく、モデル６３８は、いくつかの場合、融合モデル（複数可）１４６を含んでもよい。データストア６３６は、本明細書で説明されるように、機械固有情報、機械固有モデル、および／または、状態決定態様を決定するために使用される他のデータを記憶することもできる。

【0069】

遠隔コンピューティングデバイス（複数可）６０６はまた、遠隔コンピューティングデバイス６０６と他のローカルまたは遠隔デバイス（複数可）との間の通信を可能にする通信接続部品（複数可）６４０を含んでもよい。例えば、通信接続部品（複数可）６４０は、例えば、ネットワーク６０４を介して、機械６０２および／または他の機械との通信を容易にすることができる。通信接続部品（複数可）６４０は、例えば、ＩＥＥＥ８０２．１１規格によって定義される周波数、ブルートゥース登録商標のような短距離無線周波数、他の無線送信、または任意の適切な有線または無線通信プロトコルを介して、Ｗｉ－Ｆｉベースの通信を可能にすることができ、これにより、個々のコンピューティングデバイスが他のコンピューティングデバイスとインターフェースしてもよい。

【0070】

機械６０２のプロセッサ（複数可）６１６および遠隔コンピューティングデバイス（複数可）６０６のプロセッサ（複数可）６２６は、データを処理し、本明細書で説明する動作を実行する命令を実行することができる任意の適切なプロセッサであってもよい。限定的ではなく、例示的には、プロセッサ６１６、６２６は、１つまたは複数の中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、または電子データを処理して、電子データをレジスタおよび／またはメモリに記憶され得る他の電子データに変換する他の任意のデバイスまたはデバイスの一部を含んでもよい。いくつかの例では、集積回路（例えば、ＡＳＩＣｓ等）、ゲートアレイ（例えば、ＦＰＧＡｓ等）、および他のハードウェアデバイスは、符号化された命令を実装するように構成されている限り、プロセッサとみなされてもよい。

【0071】

メモリ６１８およびメモリ６２８は、非一時的なコンピュータ読み取り可能な媒体の一例である。メモリ６１８、６２８は、本明細書に記載された方法および様々なシステムに起因する機能を実装するために、オペレーティングシステムおよび１つまたは複数のソフトウェア用途、命令、プログラム、および／またはデータを記憶してもよい。様々な実施形態において、メモリは、任意の適切なメモリ技術、例えば、ＳＲＡＭ（ＳＲＡＭ）、ＳＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ Ｄｙｎａｍｉｃ ＲＡＭ）、不揮発性／フラッシュメモリ型メモリ、または情報を記憶することができる任意の他のタイプのメモリを使用して実施してもよい。本明細書に記載されたアーキテクチャ、システム、および単一の要素は、多くの他の論理、プログラミング、および物理部品を含むことができ、添付図面に示されているものは、本明細書での議論に関連する例にすぎない。

【0072】

様々なシステムおよび部品が離散システムとして図示されているが、これらの図示は単なる一例であり、より多くまたはより少ない離散システムが本明細書に記載された様々な機能を実行してもよい。さらに、機械６０２に帰属する機能は、遠隔コンピューティングデバイス（複数可）６０６において実行してもよく、および／または、遠隔コンピューティングデバイス（複数可）６０６に帰属する機能は、機械６０２において実行してもよい。
図７は、本明細書で説明されているように、機械状態を決定することに関連することができる、本開示の例示的なプロセス７００を説明する流れ図を示している。例示的なプロセス７００は、ハードウェア、ソフトウェア、またはそれらの組み合わせで実現され得るアクションまたは動作を表す論理フロー図中のステップのセットとして示されている。ソフトウェアのコンテキストでは、ステップは、メモリに記憶されたコンピュータ実行可能命令を表す。そのような命令が例えばプロセッサ（複数可）によって実行される場合、そのような命令は、プロセッサ（複数可）および／またはコンピューティングデバイス、またはコンピューティングデバイスまたはコンピューティングデバイスに関連する機械を含む様々な部品に、説明されたアクションまたは動作を実行させてもよい。一般に、コンピュータ実行可能命令は、特定の機能を実行する、または特定のデータタイプを実装するルーチン、プログラム、オブジェクト、部品、データ構造などを含む。記述された動作の順序は限定的と解釈されることを意図しておらず、記述された任意の数の動作を任意の順序および／または並列に組み合わせてプロセスを実現することができる。いくつかの実施形態では、プロセスの１つまたは複数のブロックが完全に省略されてもよい。さらに、プロセス７００は、他の方法と全体的にまたは部分的に組み合わせてもよい。

【0073】

より詳しく説明すると、図１７は、機械（例えば、機械１００、２００、４００、５００）の状態を決定し、その状態に基づいて、掘削タスクを実行するように機械（例えば）を制御するための例示的なプロセス７００を示している。プロセス７００は、状態決定システム（複数可）／部品（複数可）１３８、６２２、６３０および／または機械（複数可）１００、２００、４００、５００、６０２によって実行してもよいが、他の部品はプロセス７００の動作の一部またはすべてを実行してもよい。加えて、プロセス７００の動作は、必ずしも図７に示される順序で実行される必要はなく、開示された実施形態と一致する異なる順序で実行されてもよい。

【0074】

動作７０２において、プロセス７００は、ＧＮＳＳセンサから第１データを受信することを含んでもよい。例えば、機械１００が１つまたは複数のタスクを実行するために使用される場合、状態決定システム１３８は、位置センサ１２６によって生成されたセンサデータを受信してもよい。諸例では、第１データは、機械１００が移動したときにＧＮＳＳセンサによって生成された複数のグローバル位置を含む。ＧＮＳＳセンサは、機械１００の上部フレーム１０２に、上部フレーム１０２が回転する軸から離間した位置で結合されてもよい。このように構成すると、ＧＮＳＳセンサは、大部分の機械運動に応答して移動して、新しいグローバル位置を生成する。

【0075】

動作７０４において、プロセス７００は、回転センサから第２データを受信してもよい。例えば、機械１００が１つまたは複数のタスクを実行するために使用される場合、状態決定システム１３８は、回転センサ１２４によって生成されたセンサデータを受信してもよい。諸例では、第２データは、機械１００の下部フレーム１０４に対する機械の上部フレーム１０２の回転変位を含む。回転センサ１２４は、軸１０６を中心とした上部フレーム１０２の下部フレーム１０４に対する角度変位を決定するように構成されてもよい。回転センサ１２４は、例えば約０．１度以内の回転変位を高精度に求めてもよい。

【0076】

動作７０６において、プロセス７００は、第２データに基づいて振り角度を決定することを含む。上述したように、回転センサ１２４は、回転軸１０６を中心とした角度変位を測定する。振り角度は、絶対角度、相対角度、または他の角度測定値としてもよい。図２の例では、振り角度は、回転角度θであってもよい。

【0077】

動作７００において、プロセス７００は、振り角度と第１データとに基づいて回転中心を推定することを含む。図２および図３の例に関連して上述したように、本開示の態様には、ＧＮＳＳデータおよび回転データを使用して状態情報を決定することが含まれる。例えば、回転中心に対するＧＮＳＳセンサの位置が既知であるので、振り角度を使用してＧＮＳＳセンサの期待円弧を決定してもよい。上述したように、ＧＮＳＳセンサによって決定されたグローバル位置は、推定円弧と比較されて、推定された重心を決定してもよい。本明細書では、推定回転中心を決定するための他の例示的な技術も記載される。

【0078】

動作７１０において、プロセス７００は、追加データを受信することを任意に含んでもよい。追加データは、上述のセンサデータ１４０のいずれか、および／または機械および／または機械の運動に関連する他の情報であり得る。場合によっては、追加データは、それぞれ図４および図５に関連して上述したトラックデータおよび／または画像データを含んでもよく、またはそれらを生成するために使用してもよい。

【0079】

動作７１２において、プロセス７００は、推定回転中心、機械パラメータ、および任意選択で追加データに基づいて機械状態情報を決定することを含む。例えば、機械状態情報は、位置、位置、向き、速度、加速度、および／または機械１００の様々な態様に関連する他の情報を含んでもよい。限定するものではないが、機械状態情報は、機械の位置および向きを示す機械向きベクトルであってもよい。諸例では、推定回転中心が決定されると、ＧＮＳＳセンサ、重心、トラック、および／または他のセンサのような機械部品間の既知の空間関係が、機械の方向を決定するために使用されてもよい。追加データは、推定重心を決定するため、車両の運動に関する仮定（例えば、横方向の運動がないこと）を確認するため、および／または本明細書で詳述される他の目的のために、センサデータと融合され得る。

【0080】

動作７１４において、プロセス７００は、機械状態情報に少なくとも部分的に基づいて機械を制御することを含む。例えば、機械１００は、マイニング、グレーディング等を含むがこれに限定されないマイニングタスクを実行するために使用されてもよい。いくつかの例では、掘削する地形の３Ｄモデルを使用して、これらの動作を支援することができる。モデルに基づいて動作を実行するには、機械の向きなど、機械の状態が必要になる場合がある。他の例では、動作７１４は、オペレータ、サイト管理者、またはマシンに関連する他のユーザに表示するためのＧＵＩを生成することを含んでもよい。

【産業上の利用可能性】

【0081】

開示されたシステムおよび方法は、機械の制御、機械の位置決めなど、機械状態データが必要とされ得るあらゆる環境に適用される。一実施形態では、状態決定は、機械向きベクトルとして少なくとも部分的に特徴付けられ得る。たとえば、状態は、機械の各部分の相対回転に関連付けられた回転センサデータと、ＧＮＳＳセンサによって生成されたグローバル位置に基づいてもよい。開示されたシステムおよび方法は、より正確な状態決定を可能にし、場合によっては複雑で煩雑な校正および／または再校正ルーチンを必要としない。例えば、本明細書に記載された技術は、機械を使用してタスクを実行するプロセスを含む、校正および再校正を実行する時間を短縮してもよい。

【0082】

例えば、図１を参照して、機械１００は、下部フレーム１０４に対して軸１０６を中心に回転可能な上部フレーム１０２を含む。回転センサ１２４は、上部フレーム１０２と下部フレーム１０４との間の相対的な角度変位を測定するために配置されている。３次元位置センサ１２６、例えばＧＮＳＳセンサも、軸１０６から離間した位置で上部フレーム１０２に結合される。トラックセンサ１２８、画像センサ（例えば、センサ１３０として）、および／または器具センサ１３２、１３４、１３６を含むが、これらに限定されない追加センサも、機械１００上に配置されてもよい。機械１００に関連するコンピューティングシステムとして動作する状態決定システム１３８は、例えば１つまたは複数の融合モデル１４６を適用することによって、センサデータおよび生成された状態データ１４２を一部またはすべてのセンサから受信してもよい。諸例では、状態決定システム１３８は、回転センサ１２４からの回転データ、トラックセンサ１２８からのトラックデータ、画像センサ１３０からの画像データ、および／または他のセンサデータに基づいて機械１００の運動を推定し、位置センサ１２６によって検出されたグローバル位置を推定された経路と比較してもよい。例えば、比較によって機械の推定回転中心を識別してもよく、位置センサ１２６と回転中心との既知の関係を使用して機械１００の方向を決定してもよい。

【0083】

本明細書に記載された技術は、作業場所の効率および／または機械（機械１００のような）の効率を向上させることができる。限定的ではなく、例示的には、本明細書で説明する技術は、頻繁、複雑、および／または破壊的な校正ルーチンなしに、機械の向きを含む機械状態情報を決定することができ、これは、燃料消費および／または部品の摩耗の低減を含むがこれに限定されない、機械１００のより効率的な使用をもたらすことができる。

【0084】

例えば、オペレータが校正手順を実行して機械状態を判断しなければならない場合、機械は生産作業タスクに使用できない。本開示の態様は、タスクの実行中に機械に関する状態情報を決定することができ、それにより、作業のスループットを増加させ、非作業関連の使用による機械部品の摩耗を減少させることができる。

【0085】

当業者であれば、開示された技術を実施するためのコンピュータプログラムは、コンピュータ読み取り可能な記憶媒体上に記憶され、および／またはコンピュータ読み取り可能な記憶媒体から読み出されてもよいことを理解する。コンピュータ読み取り可能な記憶媒体は、プロセッサによって実行されたときに、本明細書で開示されるプロセスを含むコンピュータ実行可能命令を記憶することができる。例示的なコンピュータ読み取り可能な記憶媒体は、ハードディスク、フロッピー（登録商標）ディスク、磁気テープ、または当技術分野で知られている他の磁気記憶装置のような磁気記憶装置、光学的記憶装置、例えばＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、または当該技術分野で知られている他の光学的記憶装置、および／または、ＥＰＲＯＭ、フラッシュ・ドライブ、または当技術分野で知られている別の集積回路記憶装置などの電子記憶装置を含んでもよい。コンピュータ読み取り可能な記憶媒体は、機械１００の１つまたは複数の部品によって実装されてもよい。

【0086】

当業者にとって明らかなように、機械の向きおよび／または位置を決定するために開示されたシステムは、本開示の範囲を逸脱することなく、様々な修正および変更が可能である。本明細書に開示された様々な実施形態の仕様および実践を考慮することによって、本開示の他の実施形態は当業者にとって明らかである。本開示の真の範囲は、以下の特許請求の範囲およびそれらの均等物によって示され、本明細書および実施例は単なる例示とみなされることが意図されている。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【国際調査報告】