(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-07-29
(45)【発行日】2024-08-06
(54)【発明の名称】油圧機械の制御マッピング
(51)【国際特許分類】
E02F 9/22 20060101AFI20240730BHJP
G06N 3/02 20060101ALI20240730BHJP
G06N 20/00 20190101ALI20240730BHJP
E02F 9/20 20060101ALI20240730BHJP
【ＦＩ】
E02F9/22 E
G06N3/02
G06N20/00
E02F9/20 C
【請求項の数】
10
(21)【出願番号】P 2021568210
(86)(22)【出願日】2020-04-09
(65)【公表番号】
(43)【公表日】2022-07-19
(86)【国際出願番号】 US2020027387
(87)【国際公開番号】W WO2020231554
(87)【国際公開日】2020-11-19
【審査請求日】2023-04-10
(31)【優先権主張番号】16/410,934
(32)【優先日】2019-05-13
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】391020193
【氏名又は名称】キャタピラー インコーポレイテッド
【氏名又は名称原語表記】ＣＡＴＥＲＰＩＬＬＡＲ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ホーデル、ベンジャミン ジェイ．
(72)【発明者】
【氏名】ペイン、ニコラス エー．
(72)【発明者】
【氏名】シュロス、ラッセル エー．
(72)【発明者】
【氏名】ゴーマン、コーリー エル．
【審査官】松本 泰典
(56)【参考文献】
【文献】中国特許出願公開第１０２０４１８２４（ＣＮ，Ａ）
【文献】特開平１０－０６８１４４（ＪＰ，Ａ）
【文献】特開２００９－２４３１５７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０２０／０２５７６０７（ＵＳ，Ａ１）
【文献】欧州特許出願公開第０３０９３４００（ＥＰ，Ａ１）
【文献】米国特許第０６０４７２２８（ＵＳ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｅ０２Ｆ ９／２２
Ｇ０６Ｎ ３／０２
Ｇ０６Ｎ ２０／００
Ｅ０２Ｆ ９／２０
(57)【特許請求の範囲】
【請求項1】
機械制御システム（２０２）であって、トレーニングデータセットに基づいて機械学習システム（２２４）を利用してトレーニングされたモデル重み（２２２）のセットを格納するメモリ（２０８）であって、前記トレーニングデータセットは、油圧バルブ（１０４）が事前設定された変位に従って設定されたときに、機械（１００）の油圧バルブ（１０４）の事前設定された変位を、測定された機械（１００）の構成要素（１０６、１０８、１１０）の動きパラメータに相関させ、前記構成要素（１０６、１０８、１１０）は、前記油圧バルブ（１０４）によって少なくとも部分的に動かされる、メモリ（２０８）と、
前記機械（１００）の前記構成要素（１０６、１０８、１１０）の要求された速度を示す速度コマンド及び前記機械（１００）上に配置された１つ又は複数のセンサからの機械状態データ（２１６）を受信するように構成された入力データレシーバ（２１８）と、
前記モデル重み（２２２）のセットを使用して、前記速度コマンドと前記機械状態データ（２１６）の組み合わせを、前記速度コマンドに応答して要求された速度で前記構成要素（１０６、１０８、１１０）の動きを引き起こす前記油圧バルブ（１０４）の予測変位にマッピングするように構成された制御マッピングモデル（２２０）と、を具備した機械制御システム（２０２）。
【請求項2】
前記速度コマンドが、前記機械の制御要素に対する前記機械（１００）の操作者による操作者コマンド入力である、請求項１に記載の機械制御システム（２０２）。
【請求項3】
前記動きパラメータは、前記油圧バルブ（１０４）が前記事前設定された変位に従って設定されたときに、テスト実施中に測定された際の前記構成要素（１０６、１０８、１１０）の位置座標、速度、又は加速度のうちの少なくとも１つを含み、前記構成要素（１０６、１０８、１１０）は、前記油圧バルブ（１０４）によって少なくとも部分的に動かされる、請求項１に記載の機械制御システム（２０２）。
【請求項4】
前記機械学習システム（２２４）が、ニューラルネットワーク全結合層（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｌａｙｅｒ）を備えた放射基底関数ネットワーク（ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ ｎｅｔｗｏｒｋ）を含み、該放射基底関数ネットワークが複数の反復にわたって前記モデル重みのセット（２２２）を調整するために少なくとも部分的にバックプロパゲーションを利用して前記モデル重みのセット（２２２）をトレーニングするように構成されている、請求項１に記載の機械制御システム（２０２）。
【請求項5】
前記メモリ（２０８）が、異なるタイプのイベントに対応する複数のモデル重み（２２２）のセットを格納し、前記制御マッピングモデル（２２０）が、前記速度コマンドに関連付けられたイベントタイプに基づいて前記複数のモデル重み（２２２）のセットから前記モデル重み（２２２）のセットを選択する、請求項１に記載の機械制御システム（２０２）。
【請求項6】
前記機械状態データ（２１６）が、ポンプ圧力、油圧シリンダ圧力、及び前記機械（１００）の前記構成要素（１０６、１０８、１１０）又は他の構成要素（１０６、１０８、１１０）に関連付けられた位置データのうちの１つ又は複数を含む、請求項１に記載の機械制御システム（２０２）。
【請求項7】
機械（１００）であって、実質的に剛性のあるフレームと、
異なる変位に対して開くように構成された油圧バルブ（１０４）と、
前記実質的に剛性のフレームに接続された構成要素（１０６、１０８、１１０）であって、前記油圧バルブ（１０４）が、前記実質的に剛性のフレームを基準にして前記構成要素（１０６、１０８、１１０）を動かすように構成されている、構成要素（１０６、１０８、１１０）と、
機械状態データ（２１６）を測定するように構成されている前記機械（１００）によって搭載される１つ又は複数のセンサと、
前記油圧バルブ（１０４）の変位を制御するように構成された機械制御システム（２０２）であって、
トレーニングデータセットに基づいて機械学習システム（２２４）を利用してトレーニングされたモデル重み（２２２）のセットを格納するメモリ（２０８）であって、該トレーニングデータセットは、油圧バルブ（１０４）が事前設定された変位に従って設定されたときに、油圧バルブ（１０４）の事前設定された変位を、測定された構成要素（１０６、１０８、１１０）の動きパラメータに相関させ、前記構成要素（１０６、１０８、１１０）は、前記油圧バルブ（１０４）によって少なくとも部分的に動かされる、メモリ（２０８）と、
前記構成要素（１０６、１０８、１１０）の要求された速度を示す速度コマンド及び前記１つ又は複数のセンサからの前記機械状態データ（２１６）を受信するように構成された入力データレシーバ（２１８）と、
前記モデル重み（２２２）のセットを使用して、前記速度コマンドと前記機械状態データ（２１６）の組み合わせを、前記速度コマンドに応答して要求された速度で前記構成要素（１０６、１０８、１１０）の動きを引き起こす前記油圧バルブ（１０４）の予測変位にマッピングするように構成された制御マッピングモデル（２２０）と、を具備した機械制御システム（２０２）と、を具備した機械（１００）。
【請求項8】
前記機械学習システム（２２４）が、ニューラルネットワーク全結合層（ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｌａｙｅｒ）を備えた放射基底関数ネットワーク（ｒａｄｉａｌ ｂａｓｉｓ ｆｕｎｃｔｉｏｎ ｎｅｔｗｏｒｋ）を含み、且つ前記機械学習システム（２２４）が、複数の反復にわたって前記モデル重みのセット（２２２）を調整するために少なくとも部分的にバックプロパゲーションを利用して前記モデル重みのセット（２２２）をトレーニングするように構成されている、請求項７に記載の機械（１００）。
【請求項9】
前記機械制御システム（２０２）の前記メモリ（２０８）が、異なる種別のイベントに対応する複数のモデル重み（２２２）のセットを格納し、前記制御マッピングモデル（２２０）が、前記速度コマンドに関連付けられたイベント種別に基づいて、前記複数のモデル重み（２２２）のセットから前記モデル重み（２２２）のセットを選択する、請求項７に記載の機械（１００）。
【請求項10】
前記機械状態データ（２１６）が、ポンプ圧力、油圧シリンダ圧力、及び機械（１００）の前記構成要素（１０６、１０８、１１０）又は他の構成要素（１０６、１０８、１１０）の位置データのうちの１つ又は複数を含む、請求項７に記載の機械（１００）。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、油圧機械の制御をマッピングするためのシステム及び方法に関し、より具体的には、機械学習を利用して、入力データを、油圧機械構成要素を所望の速度で動かせるバルブ変位を得るための電流へマッピングできるモデル重みを見いだすことに関する。
【背景技術】
【0002】
掘削機及びその他の機械は、多くの場合、油圧制御構成要素を有する。例えば、油圧シリンダにリンクされた油圧ポンプは、掘削機のブーム、スティック、及び／又はバケットを動作させることができる。従来、油圧構成要素は機械的に直接制御されることがよくある。例えば、従来の機械式制御では、レバーの動きが油圧バルブを機械的に開閉して油圧シリンダ内の圧力を変化させ、それによって機械構成要素の動きを引き起こす。最近では、油圧構成要素の直接的な機械的制御の代わりに電気油圧式制御を使用する機械が開発された。電気油圧式制御は、入力コマンドを電流又は油圧構成要素の動作を駆動する信号に変換できる。
【0003】
例えば、Ｐ． Ｏｐｄｅｎｂｏｓｃｈ， Ｎ． Ｓａｄｅｇｈ， 及び Ｗ． Ｂｏｏｋ，「Ｌｅａｒｎｉｎｇ Ｃｏｎｔｒｏｌ Ａｐｐｌｉｅｄ ｔｏ Ｅｌｅｃｔｒｏ－Ｈｙｄｒａｕｌｉｃ Ｐｏｐｐｅｔ Ｖａｌｖｅｓ，（電気油圧式ポペットバルブに適用される学習制御）」Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｃｏｎｔｒｏｌ Ｃｏｎｆｅｒｅｎｃｅ， ２００８， ｐｐ． １５２５－１５３２（以下「Ｏｐｄｅｎｂｏｓｃｈ」）は、その関係が非線形である可能性があるとしても、バルブソレノイドに送られる電流の量に比例して開く電気油圧式バルブについて説明している。特に、Ｏｐｄｅｎｂｏｓｃｈは、バルブの逆入力状態マッピングを学習し、バルブのフローコンダクタンスを所望の軌道に従わせる、ノーダルリンクパーセプトロンネットワーク（Ｎｏｄａｌ Ｌｉｎｋ Ｐｅｒｃｅｐｔｒｏｎ Ｎｅｔｗｏｒｋ：ＮＬＰＮ）を使用して、電気油圧式バルブを較正及び制御する方法について説明している。
【0004】
ただし、Ｏｐｄｅｎｂｏｓｃｈで説明されている方法により、所望のフローコンダクタンスを達成するために電気油圧式バルブに印加する電流を決定できるとはいえ、その電流又は電気油圧式バルブの対応するフローコンダクタンスがどのように電気油圧式バルブによって駆動される機械構成要素の実際の速度に変換されるかについては説明していない。Ｏｐｄｅｎｂｏｓｃｈで説明されている方法に従ってバルブのフローコンダクタンスを制御できる場合でも、関連する機械構成要素の結果として生じる速度は、油圧シリンダの圧力、構成要素の位置、及び機械の状態の他の態様などの他の変数によって変化する可能性がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
電気油圧式バルブによって駆動される機械構成要素の所望の速度を達成するために、電気油圧式バルブに提供される電流を制御するためのシステム及び方法が、本明細書に記載されている。
【課題を解決するための手段】
【0006】
第１の態様によれば、機械の機械制御システムは、前記油圧バルブが前記事前設定された変位に従って設定されたときに、機械の油圧バルブの事前設定された変位を、測定された前記機械の構成要素の動きパラメータに相関させ、前記構成要素は、前記油圧バルブによって少なくとも部分的に動かされるトレーニングデータセットに基づく機械学習システムを利用してトレーニングされたモデル重みのセットを格納するメモリを含むことができる。前記機械制御システムはまた、前記機械の構成要素に関連付けられた入力コマンド及び前記機械に配置された１つ又は複数のセンサからの機械状態データを受け取るように構成された入力データレシーバを含むことができる。前記機械制御システムは、前記モデル重みのセットを利用して、前記入力コマンドと前記機械状態データの組み合わせを、前記入力コマンに応答して前記構成要素の動きを引き起こす前記油圧バルブの予測変位にマッピングするように構成された制御マッピングモデルを有することができる。
【0007】
さらなる態様によれば、機械は実質的に剛性のフレーム、異なる変位に合わせて開くように構成された油圧バルブ、前記実質的に剛性のフレームに接続された構成要素を含むことができる。前記油圧バルブは、前記実質的に剛性のあるフレームを基準にして前記構成要素を動かすように構成されることができる。前記機械は、機械状態データを測定するように構成された１つ又は複数のセンサを搭載することもできる。前記機械はさらに、前記油圧バルブの変位を制御するように構成された機械制御システムを有することができる。前記機械制御システムは、前記油圧バルブが前記事前設定された変位に従って設定されたときに、前記油圧バルブの事前設定された変位を、測定された前記構成要素の動きパラメータに相関させ、前記構成要素が前記油圧バルブによって少なくとも部分的に動かされるトレーニングデータセットに基づく機械学習システムを利用してトレーニングされたモデル重みのセットを格納するメモリを含むことができる。前記機械制御システムはまた、前記構成要素に関連付けられた入力コマンド及び前記１つ又は複数のセンサからの前記機械状態データを受信するように構成された入力データレシーバを含むことができる。前記機械制御システムは、前記モデル重みのセットを使用して、前記入力コマンドと前記機械状態データの組み合わせを、前記入力コマンドに応答して前記構成要素の動きを引き起こす前記油圧バルブの予測変位にマッピングするように構成された制御マッピングモデルをさらに含むことができる。
【0008】
別の態様によれば、方法は、複数の事前定義されたバルブ変位を規定するパラメータグリッドに従って、機械上で複数のテストシーケンスを実行することによってテストシーケンスデータを取得することを含むことができる。前記複数のテストシーケンスのうちの第１のテストシーケンスを実行することは、前記複数の事前定義されたバルブ変位の第１のバルブ変位に少なくとも部分的に基づいて油圧バルブを動作させることであって、前記油圧バルブを動作させることが、前記機械の構成要素の動きを引き起こす、動作させることと、前記油圧バルブの動作によって引き起こされる前記構成要素の動きを示す第１のテストシーケンスデータを測定すること、とを含むことができる。本方法はまた、トレーニングデータの中の前記テストシーケンスデータを使用することにより機械学習システムを使用してモデル重みのセットをトレーニングすることと、トレーニングラベルの中の前記複数の事前定義されたバルブ変位を使用することと、前記モデル重みのセットが、損失メトリックが事前定義された閾値を下回るように前記トレーニングデータから前記トレーニングラベルを予測するまで前記モデル重みのセットを繰り返し調整することと、を含むことができる。本方法は、前記機械上の１つ又は複数のセンサから機械状態データを受信することと、前記入力コマンドと前記機械状態データの組み合わせを前記予測変位にマッピングするために前記モデル重みのセットを使用して前記油圧バルブの予測変位を生成することと、をさらに含むことができる。前記予測変位に少なくとも部分的に基づいて、前記油圧バルブの変位を制御することが、前記入力コマンドに応答して前記構成要素の動きを引き起こすことができる。
【図面の簡単な説明】
【0009】
本発明に係る実施形態について、添付の図面を参照しつつ説明する。図中、参照番号の左端の桁は、その参照番号が最初に表示される図を特定している。異なる図中の同じ参照番号は、類似又は同一のアイテムを示す。
【発明を実施するための形態】
【0010】
図１は、機械１００の一例を示している。機械１００は、実質的に剛性のフレームを有することができ、且つ機械１００の１つ又は複数の油圧制御構成要素を動作させることができる機械１００内の油圧流体の圧力を制御するように構成された油圧ポンプ１０２及び１つ又は複数の油圧バルブ１０４を含むことができる。図１の例では、機械１００は、ブーム１０６、スティック１０８、及びバケット１１０を含む油圧制御構成要素を備えた掘削機である。油圧ポンプ１０２及び／又はバルブ１０４は、油圧シリンダを制御して、１つ又は複数の油圧制御構成要素の動きを引き起こすことができる。例えば、油圧ブームシリンダ１１２は、ブーム１０６の動きを制御することができ、油圧スティックシリンダ１１４はスティック１０８の動きを制御することができ、油圧バケットシリンダ１１６はバケット１１０及び／又はリンケージの動きを制御することができる。他の例では、機械１００は、油圧制御バケットを備えたホイールローダー、あるいは油圧制御式ドローバー、サークル、及びモールドボード（ＤＣＭ）を備えたモーターグレーダーなど、油圧制御構成要素を備えた任意の他のタイプの機械であり得る。
【0011】
機械１００は、少なくとも部分的に電気油圧的に制御されることができ、それによって、バルブ１０４に印加される電流は、バルブ１０４を異なるバルブ変位位置に対して異なる角度で開閉させ、その結果１つ又は複数の油圧制御構成要素の対応する動きを引き起こすことができる。例えば、バルブ１０４は、バルブソレノイドを有することができ、バルブソレノイドに提供される電流は、バルブ１０４が、ブーム１０６、スティック１０８、バケット１１０、及び／又は他の油圧制御構成要素の対応する動きをもたらすバルブ変位に合わせて開閉するように調整することができる。
【0012】
機械１００は、電子制御モジュール（ＥＣＭ）１１８を有することができる。ＥＣＭは、１つ又は複数のバルブ１０４に提供されるバルブソレノイド電流などの電流を調整することができる機械制御システムであり得る。ＥＣＭ１１８は、オペレータコマンド及び／又は機械１００の現在の状態に関するデータを含む、入力データを処理し、油圧制御構成要素の動きを引き起こすことができる１つ又は複数のバルブ１０４に提供される電流を決定することができる。例えば、掘削機のキャブに座っている人間オペレータは、キャブ内のレバーを動かすか、別のタイプの制御器を使用して、オペレータが所望する速度でスティック１０８を内側に動かす「スティックイン」イベントのための速度コマンドなどの入力コマンドを入力することができる。別の例として、自律オペレータを実装するソフトウェアは、レバー又は他の制御器を物理的に動かすことなく、速度コマンド又は他の入力コマンドを直接出力することができる。速度コマンド又は他の入力コマンドは、異なるタイプの機能、操作、イベント（「スティックイン」イベント、「スティックアウト」イベント、「ブームアップ」イベント、「ブームダウン」イベント、「バケットカール（ｂｕｃｋｅｔ－ｃｕｒｌ）」イベント、「バケットダンプ」イベント、又は１つ又は複数の油圧制御構成要素の動きに関連付けられた任意の他のイベントなど）に対応し得る。
【0013】
図２は、オンボード・コンピューティング・システム２０２及びオフボード・コンピューティング・システム２０４の例を示している。オンボード・コンピューティング・システム２０２は、機械１００にオンボードであるか、又は機械１００に組み込まれている１つ又は複数のコンピューティングデバイス又は他のコントローラを含むことができ、且つ１つ又は複数のプロセッサ２０６、システムメモリ２０８、及び通信インターフェース２１０を含むことができる。例えば、オンボード・コンピューティング・システム２０２は、ＥＣＭ１１８、プログラマブルロジックコントローラ（ＰＬＣ）、及び／又は他のコンピューティングデバイスであり得るか、又はそれらを含み得る。オフボード・コンピューティング・システム２０４は、ラップトップコンピュータ、デスクトップコンピュータ、サーバ、又は任意の他の外部コンピューティングデバイスであり得るし、それ自体のプロセッサ２０６、システムメモリ２０８、及び通信インターフェース２１０を含むこともできる。いくつかの例では、オンボード・コンピューティング・システム２０２及びオフボード・コンピューティング・システム２０４は、通信インターフェース２１０を使用して、直接有線接続又はネットワークを介した接続などの有線又は無線通信リンク２１２を介して互いに通信することができる。
【0014】
オンボード・コンピューティング・システム２０２は、ＥＣＭ１１８を含むことができる。いくつかの例では、ＥＣＭ１１８は、オンボード・コンピューティング・システム２０２内の他のコンピューティングデバイスにリンクされてもされなくてもよいコンピューティングデバイスであり得る。例えば、ＥＣＭ１１８は、それ自体のプロセッサ２０６、システムメモリ２０８、及び／又は通信インターフェース２１０を備えた専用コントローラなど、オンボード・コンピューティング・システム２０２の他の要素にリンクされた別個のハードウェア要素であり得る。ＥＣＭ１１８は、コンピュータ実行可能命令及び本明細書に記載の動作に関連付けられた他のデータを格納するシステムメモリ２０８を有することができ、且つＥＣＭ１１８の１つ又は複数のプロセッサ２０６は、ＥＣＭ１１８に関連付けられたコンピュータ実行可能命令を実行することができる。他の例では、ＥＣＭ１１８は、コンピュータ実行可能命令及びＥＣＭ１１８に関連付けられた他のデータが、オンボード・コンピューティング・システム２０２の１つ又は複数の他のコンピューティングデバイスによって格納及び／又は実行され得るようなソフトウェアモジュールであり得る。
【0015】
プロセッサ（複数可）２０６は、本明細書に記載されるように、様々な機能を実行するように動作することができる。いくつかの例では、プロセッサ（複数可）２０６は、中央処理装置（ＣＰＵ）、グラフィックス処理装置（ＧＰＵ）、ＣＰＵとＧＰＵの両方、又は当技術分野で知られている他の処理装置又は構成要素を含み得る。システムメモリ２０８は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ハードドライブ又は他のディスクドライブ、メモリカード、光学ストレージ、磁気ストレージ、及び／又は任意の他のコンピュータ可読媒体を含む統合又はリムーバブルメモリ装置を含む揮発性及び／又は非揮発性のコンピュータ可読媒体であり得る。コンピュータ可読媒体は、非一時的なコンピュータ可読媒体であり得る。コンピュータ可読媒体は、本明細書に記載の動作を実行するためにプロセッサ（複数可）２０６によって実行され得るコンピュータ実行可能命令を格納するように構成され得る。付加的に、プロセッサ（複数可）２０６は、ローカルメモリを所有することができ、ローカルメモリはまた、プログラムモジュール、プログラムデータ、及び／又は１つ又は複数のオペレーティングシステムを格納することができる。
【0016】
例示的な実施形態は、本明細書に記載されているプロセス又は方法を実行するようにコンピュータ（又は他の電子デバイス）をプログラムするために使用され得る命令（圧縮又は非圧縮形式で）をその上に記憶した非一時的な機械可読記憶媒体を含むコンピュータプログラムアイテムとして提供され得る。機械可読記憶媒体には、ハードドライブ、フロッピーディスク、光ディスク、ＣＤ－ＲＯＭ、ＤＶＤ、読み取り専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ、磁気カード又は光学カード、ソリッドステートメモリデバイス、又は電子命令を保存するのに適した他のタイプの媒体／機械可読媒体を含み得るが、これらに限定されない。さらに、例示的な実施形態はまた、一時的な機械可読信号（圧縮又は非圧縮形式）を含むコンピュータプログラムアイテムとして提供され得る。キャリアを使用して変調されているかどうかにかかわらず、機械可読信号の例には、インターネット又は他のネットワークを介してダウンロードされた信号を含む、コンピュータシステム又はコンピュータプログラムをホストとして処理又は実行している機械がアクセスするように構成されることができる信号が含まれるが、これらに限定されない。
【0017】
オフボード・コンピューティング・システム２０４のシステムメモリ２０８は、１つ又は複数のパラメータグリッド２１４を格納することができる。以下により詳細に説明するように、パラメータグリッド２１４は、テストイベント中に使用して機械１００に関するデータを測定及び取り込むことができるパラメータの組み合わせを規定することができる。いくつかの例では、パラメータグリッド２１４は、テスト中にオンボード・コンピューティング・システム２０２にコマンドを送信するように構成されたオフボード・コンピューティング・システム２０４のシステムメモリ２０８に格納されることができる。他の例では、パラメータグリッド２１４は、オフボード・コンピューティング・システム２０４上に準備され、テストの前にオンボード・コンピューティング・システム２０２にロードされ得、その結果、オンボード・コンピューティング・システム２０２のシステムメモリ２０８はまた、１つ又は複数のパラメータグリッド２１４のコピーを格納し得る。
【0018】
オンボード・コンピューティング・システム２０２のシステムメモリ２０８は、パラメータグリッド２１４に基づくテスト中及び／又は機械１００の他の動作中に機械１００のオンボードで測定及び記録されたチャンネルデータ２１６などのチャンネルデータ２１６を格納することができる。チャンネルデータ２１６は、パラメータグリッドによって規定されたテストイベントの実行中、及び／又は機械１００の通常の動作中に、機械１００の状態に関する物理及び／又は仮想センサによって提供される測定値及び他のデータを含むことができる。テストイベント中及び／又は機械１００の通常の動作中に記録されたチャンネルデータ２１６は、以下でさらに説明するように、記憶及び／又は分析のためにオフボード・コンピューティング・システム２０４のシステムメモリ２０８に転送されることもできる。
【0019】
ＥＣＭ１１８などのオンボード・コンピューティング・システム２０２はまた、入力データレシーバ２１８を含むことができる。入力データレシーバ２１８は、速度コマンド又はレバーの動きによって示される他のコマンドなどのイベントに関連付けられた入力コマンド、あるいは他のユーザ入力に対応するデジタル信号又は自律オペレータソフトウェアからの速度命令を受信することができる。入力データレシーバ２１８はまた、現在のポンプ圧力又はポンプコマンドに関するチャンネルデータ２１６及びバルブ１０４の現在の変位に関する情報など、機械１００の現在の状態に関する他の入力データを受信するか又は探索することができる。
【0020】
オンボード・コンピューティング・システム２０２のシステムメモリ２０８はまた、制御マッピングモデル２２０及びモデル重み２２２のデータを格納することができる。制御マッピングモデル２２０は、モデル重み２２２を使用して入力データを出力データにマッピングする数学的モデル又は計算グラフであり得る。例えば、制御マッピングモデル２２０は、速度コマンド及び機械１００の状態に関する他の入力データなどの入力データを、対応するバルブソレノイド電流又は他の電流に変換又はマッピングすることができる。制御マッピングモデル２２０によって決定される電流は、制御マッピングモデル２２０により予測され、機械の現在の状態の他の態様と組み合わせて、入力コマンドに対応する速度における油圧制御構成要素の動きをもたらす変位に合わせてバルブ１０４を開閉させる電流であり得る。
【0021】
以下により詳細に説明するように、いくつかの例では、モデル重み２２２は、オフボード・コンピューティング・システム２０４上で実行される機械学習システム２２４によって生成されることができ、且つモデル重み２２２は、制御マッピングモデル２２０によって使用されるために、オフボード・コンピューティング・システム２０４からオンボード・コンピューティング・システム２０２のシステムメモリ２０８へ転送されることができる。機械学習システム２２４は、機械学習を利用して、モデル重み２２２が、入力データを、入力速度コマンドに対応する速度でスティック１０８及び／又はその他の油圧制御構成要の動きをもたらすと予測されるバルブ１０４の電流にマッピングするように、テストデータに基づいてモデル重み２２２をトレーニングするように構成されることができる。
【0022】
図３は、パラメータグリッド２１４の一例を示している。パラメータグリッド２１４は、機械１００が実行できる特定のタイプのイベント又は動作に対して規定されることができる。例えば、機械１００が、「スティックイン」イベント、「スティックアウト」イベント、「ブームアップ」イベント、「ブームダウン」イベント、「バケットカール」イベント、及び「バケットダンプ」イベントを実行できる掘削機である場合には、これらの６つのタイプのイベントのそれぞれに１つずつ、６つのパラメータグリッド２１４が規定されることができる。パラメータグリッド２１４は、あるタイプのイベントの実行中に機械１００の構成要素の動きに影響を与えることができるパラメータ３０２を規定することができる。パラメータグリッド２１４は、パラメータ３０２の値３０６の全く異なる組み合わせで複数のテストイベント３０４を規定することもできる。
【0023】
パラメータグリッド２１４のパラメータ３０２は、テスト中に機械１００にオンボードで設定されることができ、且つ／又はイベントタイプに関連する少なくとも１つの機械構成要素の動き及び／又は速度に影響を及ぼすことができる変数であり得る。例えば、機械１００が掘削機であり、イベントタイプが「スティックイン」イベントである場合、パラメータグリッド２１４の列は、ブーム位置、ペイロード値、ポンプ圧力を決定するポンプ電流コマンド、及びバルブ１０４の変位に対応するリンケージバルブ電流を含むパラメータ３０２を規定することができる。いくつかの例では、ポンプ電流コマンドは、ポンプバルブ電流、また従ってバルブ１０４の変位を制御し、それ自体が、ポンプ圧力を決定する油圧の流れを制御することができる。これらのパラメータ３０２は、掘削機の「スティックイン」イベントタイプに対して選択することができる。ブーム１０６の位置、ペイロード値、油圧ポンプ１０２によって提供される圧力、及び／又は掘削機内のバルブ１０４の変位が、一緒に、組み合わせて、掘削機のスティック１０８の内向きの運動の結果得られる速度を支配することができるからである。
【0024】
パラメータグリッド２１４はまた、異なるテストイベント３０４に対して規定されたパラメータ３０２に対して値３０６の一連の異なる組み合わせを規定することができる。パラメータグリッド２１４内の異なるテストイベント３０４は、同じ全体的なタイプのイベントに関連することができるが、パラメータ３０２の異なる初期値３０６に基づく異なるテスト実行、スイープ、又はシーケンスであり得る。例えば、パラメータグリッド２１４の１つの行は、ブーム位置、ポンプコマンド、及び第１のテストイベント３０４のバルブ変位の第１の組み合わせを規定することができる一方、パラメータグリッド２１４の第２の行は、第２のテストイベント３０４のためのブーム位置、ポンプコマンド、及びバルブ変位の第２の組み合わせを規定することができる。いくつかの例では、パラメータグリッド２１４は、１つ又は複数のパラメータ３０２の値３０６を、１つ又は複数のパラメータ３０２パラメータグリッド２１４内で順次的であるテストイベント３０４間で一定に保つことができるが、１つ又は複数の他のパラメータ３０２の値３０６を変更することができる。例えば、パラメータグリッド２１４は、ブーム位置及びポンプコマンドの値３０６を、一連のテストイベント３０４全体を通して一定に保つことができるが、順次的なテストイベント３０４の間で事前定義された量だけバルブ変位を変化させる。この例では、テストイベント３０４の第１のセットが、バルブ変位の複数の可能な値３０６と組み合わせて、ブーム位置及びポンプコマンドの定数値３０６を示した後、パラメータグリッド２１４内のテストイベント３０４の後続セットは、ブーム位置及び／又はポンプコマンドの新しい定数値３０６を規定することができ、且つバルブ変位の複数の可能な値３０６を再度通り抜けることができる。
【0025】
全体として、パラメータグリッド２１４は、特定のタイプのイベント中に機械１００の１つ又は複数の油圧制御構成要素の可能な運動を駆動する状態空間をカバーするために、複数のテストイベント３０４にわたって定義済みのパラメータ３０２の値３０６のいくつもの組み合わせを有するように規定されることができる。以下に説明するように、パラメータグリッド２１４は、機械１００のテスト中に使用して、機械学習を介して分析することができる機械構成要素及び他のチャンネルデータ２１６に関連付けられる動きパラメータを取り込むことができる。
【0026】
図４は、パラメータグリッド２１４内の値３０６に基づいてテスト環境における機械１００の物理的テスト中にチャンネルデータ２１６を取り込むプロセスのフローチャートを示している。図４のプロセス中に、テストイベント３０４は、テストイベント３０４のパラメータグリッド２１４に事前設定された値３０６に対応する固定パラメータオーバーライドを使用して機械１００を初期化することによって実行され得る。複数のテストイベント３０４にわたって、パラメータグリッド２１４で規定された値３０６の様々な組み合わせの結果を観察及び記録することができ、その結果を後で機械学習を介して制御マッピングモデル２２０のモデル重み２２２を決定するために使用することができる。図４のプロセスは、異なるパラメータグリッド２１４を使用して、機械１００に関連付けられた全く異なるタイプのイベントに関連付けられたチャンネルデータ２１６の異なるセットを取り込むために複数回実行されることができる。例えば、機械１００が、「スティックイン」イベント、「スティックアウト」イベント、「ブームアップ」イベント、「ブームダウン」イベント、「バケットカール」イベント、及び「バケットダンプ」イベントを実行できる掘削機であり、且つチャンネルデータ２１６を、これらの６つのタイプのイベントについて取り込むことになっている場合には、図４のプロセスを、６種類のイベントごとに１回ずつ、６回実行できる。
【0027】
動作４０２において、パラメータグリッド２１４をテストコントローラにロードすることができる。例えば、場合によっては、テストコントローラは、テスト中に少なくとも部分的に機械１００を制御するために有線又は無線接続を介して機械１００に接続される、ラップトップコンピュータ又は他のコントローラなどのオフボード・コンピューティング・システム２０４であり得る。パラメータグリッド２１４は、特定のタイプのイベント中に機械１００の１つ又は複数の油圧制御構成要素の可能な運動を駆動する状態空間をカバーするために、様々なテストイベント３０４のためのパラメータ３０２の値３０６を用いて規定されてきた可能性がある。いくつかの例では、パラメータグリッド２１４を手動で規定されてきた可能性がある。他の例では、パラメータグリッド２１４の一部又は全部の態様は、異なるテストイベント３０４に関するその値３０６などであって、プログラムに従って規定されてきた可能性がある。例えば、コンピュータ実行可能命令は、オフボード・コンピューティング・システム２０４のプロセッサ２０６によって実行されることができ、事前定義された増分値によって連続するテストイベント３０４において１つ又は複数のパラメータ３０２の値３０６を変化させることによってパラメータグリッド２１４を自動的に生成することができる。
【0028】
動作４０４において、パラメータグリッド２１４を使用して、テストイベント３０４のために機械１００を初期化することができる。特定のテストイベント３０４のために機械１００を初期化するには、機械１００の構成要素は、パラメータグリッド２１４内のテストイベント３０４のために規定された値３０６に従って設定されることができる。例えば、特定のテストイベント３０４について、パラメータグリッド２１４が固有のブーム位置、固有のポンプコマンド、及び固有のバルブ変位を規定する場合、機械１００のブーム１０６を定義済みのブーム位置へ動かせることができ、油圧ポンプ１０２を、定義済みのポンプコマンドに従って設定することができ、そしてバルブ１０４を、定義済みのバルブ変位に従って開くように設定することができる。
【0029】
いくつかの例では、ＥＣＭ１１８又は他のオンボードコントローラ、オフボードコントローラ、機械要素、ロボット要素、及び／又は他の要素などのテストコントローラ及び／又は他のテスト機器を使用して、機械１００の構成要素をパラメータグリッド２１４内の値３０６の組み合わせに従って自動的に構成することができる。例えば、オフボードテストコントローラのプロセッサ２０６は、特定のテストイベント３０４用のパラメータグリッド２１４内の値３０６を決定し、その値３０６又は対応する命令を、機械１００のオンボードコントローラに出力することができる。当該オンボードコントローラは、コンピュータ実行可能命令を実行して機械１００の構成要素を、テストイベント３０４に関連付けられる値３０６に基づいて人間の入力なしに自動的に動作させ又は調整させる信号を生成及び出力する。これにより、テストイベント３０４毎のパラメータグリッド２１４に従って機械１００の構成要素を初期化する際のヒューマンエラーのリスクを低減することができ、パラメータグリッド２１４内の複数の連続するテストイベント３０４に基づくテストが人間の介入なしに自動的に進行することを可能にする。
【0030】
動作４０６において、パラメータグリッド２１４内のそのテストイベント３０４の値３０６に従ってテストイベント３０４の機械１００の構成要素を初期化した後、テストコントローラは、機械１００の構成要素が、動作４０４中に初期化された構成要素の状態に基づいて動きをするように機械１００を起動させることによってテストイベント３０４を実行することができ。例えば、掘削機がブーム位置、ポンプコマンド、及びパラメータグリッド２１４内のテストイベント３０４に対して規定されたバルブ変位に基づいて初期化されたとき、掘削機の油圧ポンプ１０２は、掘削機のスティック１０８が、事前設定されたブーム位置、ポンプコマンド、及びバルブ変位の結果として動作するように作動状態にされることができる。
【0031】
動作４０８において、チャンネルデータ２１６は、機械１００が動くにつれて、機械１００上又はその周辺の物理及び／又は仮想センサを使用して、テストイベント３０４の実行中に測定及び記録されることができる。測定及び記録されたチャンネルデータ２１６は、速度、加速度、位置情報、及び／又は任意の他の動きパラメータを含む、テストイベント３０４の実行中に測定された機械１００の構成要素の動きパラメータを指示することができる。
【0032】
例えば、慣性測定ユニット（ＩＭＵ）又はストリングポテンショメータなどの位置センサを使用して、テストイベント３０４の実行中に３次元空間を通してスティック１０８又は他の機械構成要素の位置を追跡することができる。空間座標又は経時的な構成要素の位置を示す他の情報などのこの位置データを使用して、構成要素の速度、構成要素の加速度、及び／又はその他の位置データを含む、テストイベント３０４の実行中のスティック１０８又は他の機械構成要素の動きパラメータを測定又は導出することができる。いくつかの例では、運動学的分析、微分分析、又は任意の他のタイプの分析を使用して、速度パラメータ、加速度パラメータ、及び／又はテストイベント３０４の実行中に得られた測定値から機械構成要素に関連付けられた任意の他のタイプの動きパラメータを導出することができる。
【0033】
速度情報及び／又はテストイベント３０４の実行中に機械構成要素に関連付けられた他の動きパラメータを決定することに加えて、他のチャンネルデータ２１６もまた、テストイベント３０４の実行中に測定及び記録されることができる。例えば、ヘッド側圧力、ロッド側圧力、油圧シリンダに関連付けられた他の圧力、ポンプ圧力、エンジン回転速度、トルク、及び／又は他の測定値などのチャンネルデータ２１６は、テストイベント３０４の実行中に測定又は導出されることができる。
【0034】
いくつかの例では、テストイベント３０４のパラメータグリッド２１４内の事前設定された値３０６への応答としてテストイベント３０４の実行中に測定されたスティック１０８の速度など、テストイベント３０４の実行中に測定されたチャンネルデータ２１６は、テストコントローラに設けられたシステムメモリ２０８に格納されたデータファイルに記録されることができる。他の例では、測定されたチャンネルデータ２１６は、オフボード・コンピューティング・システム２０４のシステムメモリ２０８に記憶するために、テストコントローラからオフボード・コンピューティング・システム２０４に転送されることができる。
【0035】
動作４１０において、テストコントローラは、パラメータグリッド２１４内にまだ実行されるべき追加のテストイベント３０４があるかどうかを判定することができる。例えば、テストコントローラは、パラメータグリッド２１４内のすべてのテストイベント３０４が実行されたかどうかを判定することができる。いかなる追加のテストイベント３０４も実行されることがない場合、テストコントローラは、動作４１２におけるモデリングのために、記録されたチャンネルデータ２１６を出力することができる。例えば、記録されたチャンネルデータ２１６は、図５に関して以下に説明するように、機械学習モデルのトレーニング及び／又は検証に使用するために出力されることができる。しかしながら、パラメータグリッド２１４内の追加のテストイベント３０４が実行されることになる場合、テストコントローラは、動作４０４に戻ることができ、且つ後続のテストイベント３０４に関連付けられた値３０６の新しい組み合わせに基づいて、新しいテストイベント３０４のために機械１００を再初期化することができる。他の例では、テストコントローラは、すべてのテストイベント３０４が完了するまで待つのではなく、各テストイベント３０４の後に記録済のチャンネルデータ２１６を出力してもよい。
【0036】
図５は、パラメータグリッド２１４の値３０６及びテストイベント３０４の実行中に記録された対応するチャンネルデータ２１６に基づいてモデル重み２２２をトレーニングするプロセスのフローチャートを示している。例えば、オフボード・コンピューティング・システム２０４は、図４に示されているデータ取り込みプロセスを用いて複数のテストイベント３０４の実行中に特定のイベントタイプについて取り込まれたチャンネルデータ２１６とともに図５のプロセスを使用して、次いでオンボード・コンピューティング・システム２０２に転送されることができるモデル重み２２２をトレーニングすることができる。モデル重み２２２は、１つ又は複数の機械学習アルゴリズム又はアーキテクチャを使用する機械学習システム２２４によってトレーニングされることができ、その結果、モデル重み２２２は、機械１００の状態の他の属性と組み合わせて、入力速度コマンドに対応する機械構成要素の速度をもたらすことが期待される、バルブ１０４の電流を予測することができる。図５のプロセスは、オフボード・コンピューティング・システム２０４によって実行されることができる。当該オフボード・コンピューティング・システム２０４は、パラメータグリッド２１４を規定したか、あるいは図４のプロセス中にテストコントローラとして機能した同じ又は異なるオフボード・コンピューティング・システム２０４であり得る。
【0037】
動作５０２において、オフボード・コンピューティング・システム２０４は、パラメータグリッド２１４の値３０６及び対応する記録されたチャンネルデータ２１６を含む、テストイベント３０４に対応するデータを、トレーニングデータセット及びテストデータセットに分割することができる。テストデータセットは、モデル重み２２２のトレーニング中に抑制され、使用されないようにできる。以下でさらに説明するように、トレーニングデータセットの一部又は全部を使用してモデルの重み２２２をトレーニングした後、テストデータセットと十分に整合する予測を行うためにモデル重み２２２が使用できるかどうかに基づいて、モデルの重み２２２の精度を検証することができる。例えば、テストイベント３０４の１０％に関連付けられたデータを、テストデータとして見合せて、モデル重み２２２のトレーニングには使用されないようできる一方、テストイベント３０４の他の９０％に関連付けられたデータは、モデル重み２２２をトレーニングするためにトレーニングデータとして使用できる。他の例では、テストイベント３０４用のデータの任意の他の量又はパーセンテージを、モデル重み２２２をトレーニングするために使用されないテストデータとして見合せることができる。
【0038】
トレーニングデータセットは、それ自体でトレーニングデータとトレーニングラベルに分割できる。モデル重み２２２のトレーニング中にトレーニングデータが機械学習システム２２４への入力として使用される場合、トレーニングラベルは、対応するトレーニングデータ入力に基づいてモデル重み２２２が生成すべき目標出力とすることができる。ここで、トレーニングラベルは、バルブの変位、又はそれらのバルブ変位を引き起こす対応する電流にすることができる。トレーニングデータは、パラメータグリッド２１４からの他の値３０６及び／又は速度測定値、構成要素位置、圧力設定値又は測定値、速度コマンドなどの、測定されたチャンネルデータ２１６、及び／又は他の測定されたチャンネルデータ２１６又はパラメータグリッド２１４内に事前設定された値３０６とすることができる。したがって、パラメータグリッド２１４内の特定のテストイベント３０４に対して規定されたバルブ変位は、トレーニングラベルとして使用することができる一方、そのテストイベント３０４のためにパラメータグリッド２１４内に事前定義されたデータ及び／又は速度測定値又はテストイベント３０４の実行中に測定された他のデータは、そのトレーニングラベルに対応するトレーニングデータとして使用することができる。例えば、「スティックイン」イベントのテストイベント３０４の実行中に、バルブ１０４がパラメータグリッド２１４内の特定のバルブ変位に従って事前設定されていてもよく、且つスティック１０８の結果得られた速度がチャネルデータ２１６として測定されたとはいえ、機械学習システム２２４を使用してモデル重み２２２をトレーニングする場合には、測定された速度はトレーニングデータの一部とすることができ、且つその対応するバルブ変位はトレーニングデータセットから予測されるべきトレーニングラベルとすることができる。
【0039】
動作５０４において、トレーニングデータ及び対応するトレーニングラベルを機械学習システム２２４に提供して、モデル重み２２２のセットをトレーニングすることができる。機械学習システム２２４は、深層学習フレームワークを有することができ、多層パーセプトロン（ｍｕｌｔｉ－ｌａｙｅｒ ｐｅｒｃｅｐｔｒｏｎ）、複合ニューラルネットワーク（ｃｏｍｐｌｅｘ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ）、長・短期記憶ネットワーク、又は他のアーキテクチャを含む様々なタイプのアーキテクチャを有することができる。１つの非限定的な例として、機械学習システム２２４は、放射基底関数（ＲＢＦ）ネットワークとそれに続く高密度全結合型ニューラルネットワーク層（ｄｅｎｓｅ ｆｕｌｌｙ－ｃｏｎｎｅｃｔｅｄ ｎｅｕｒａｌ ｎｅｔｗｏｒｋ ｌａｙｅｒ）を備えたアーキテクチャを有することができる。いくつかの例では、機械学習システム２２４は、バックプロパゲーションに基づいてモデル重み２２２を少なくとも部分的にトレーニングすることができる。
【0040】
ＲＢＦネットワークモデルを使用するものなどの機械学習システム２２４は、モデルパラメータを使用して、入力を出力に回帰させることができる。モデルパラメータは、重み、バイアス、基底ベクトル、又は他のタイプの値とすることができるが、本明細書ではモデル重み２２２と呼ぶ。機械学習システム２２４は、任意の数のモデル重み２２２を使用又はトレーニングしてもよい。いくつかの例では、機械学習システム２２４は、数十又は数百のモデル重み２２２を使用又はトレーニングしてもよいが、他の例では、任意の他の数のモデル重み２２２を使用又はトレーニングしてもよい。いくつかの例では、モデル重み２２２は、最初にランダム値に初期化されてもよい。しかしながら、時間の経過とともに、機械学習システム２２４のフレームワークは、モデル重み２２２がトレーニングデータで動作して、以下で説明するように十分であると考えられる程度まで対応するトレーニングラベルを生成できるようになるまで、モデル重み２２２を調整することができる。
【0041】
モデル重み２２２の反復調整は、モデル重み２２２が最小損失に収束して対応するトレーニングデータから期待されるトレーニングラベルを正確に予測できるように、少なくとも部分的にバックプロパゲーションに基づくことができる。例えば、機械学習システム２２４のフレームワークは、速度測定値、構成要素位置、圧力設定値、及び／又は他の値などのテストイベント３０４に関連付けられたトレーニングデータが、モデルの重み２２２を、トレーニングデータに対応したバルブ変位を示す対応するトレーニングラベルに、モデル重み２２２に基づいてマッピングされることができるように、モデル重み２２２を調整することができる。
【0042】
動作５０６において、モデル重み２２２が、損失メトリックが事前定義された閾値を満たすように十分にトレーニングされているかどうかを判定することができる。いくつかの例では、テストイベント３０４に関連付けられたデータから見合されたテストデータは、機械学習システム２２４を介して実行されることができ、機械学習システム２２４によってトレーニングされた現在のモデル重み２２２に基づいて出力データを生成することができる。当該出力は、テストイベント３０４に関連付けられたデータから見合されたテストラベルと比較されることができ、モデルの出力と予想されるテストラベルとの間の損失メトリックを計算することができる。いくつかの例では、損失メトリックは平均二乗誤差として計算されることができ、平均二乗誤差の値が小さいほど、モデルの出力とテストラベル間のより近い一致を示す。
【0043】
これらの例では、平均二乗誤差などの計算された損失メトリックが事前定義された許容閾値を下回っている場合、モデル重み２２２のトレーニングは十分に正確であると判定できる。計算された損失メトリックが動作５０６において事前定義された許容閾値を下回っていないことが判明した場合、動作５０４及び５０６を繰り返して、計算された損失メトリックが事前定義された許容閾値を下回り且つモデル重み２２２が十分に正確であると判定されるまでモデル重み２２２を更に調整することができる。
【0044】
他の例では、計算された損失メトリックは、最小化されていると想定されてもよく、したがって、モデル重み２２２を調整するためにトレーニング反復の事前定義された回数が実行された後、モデル重み２２２が十分に正確であると見なすことができるように事前定義された閾値を満たしていると想定されてもよい。例えば、平均二乗誤差などの損失メトリックは、上記のように動作５０６を通過するたびに計算することができるが、サンプルデータを用いた実験は、損失メトリックが５０回目の反復より前に最小値に達するか、又は最小値に向かう傾向があるかもしれない且つ後続の反復中に上昇しないことを示した。これは、トレーニングが５０回目の反復を過ぎてデータに過剰適合しないことを意味する。したがって、これらの実験に基づいて、いくつかの例では、カウンタは、動作５０６を介して反復回数を追跡することができ且つ反復カウンタが、各反復中に損失メトリックを明示的に計算することなく５０回目の反復など、事前定義された値に達するときに、モデル重み２２２は動作５０６で正確であると想定されることができる。
【0045】
モデル重み２２２が動作５０６において十分に正確であると判定された後、機械学習を使用するトレーニング中にモデル重み２２２を繰り返し調整するためにおそらく動作５０４及び５０６を介して幾数回の反復後に、最終的なモデル重み２２２は、オフボード・コンピューティング・システム２０４によって出力されることができ、機械１００のオンボード・コンピューティング・システム２０２にロードされる。いくつかの例では、モデル重み２２２でプロビジョニングされた機械１００は、テスト中に使用されたのと同じ機械１００とすることができる。しかしながら、他の例では、モデル重み２２２でプロビジョニングされた機械１００は、テスト中に使用された機械１００と同等である異なる機械１００とすることができる。例えば、テスト環境でテストショベルを使用して図３のプロセスに従ってテストが実施された、そしてオフボード・コンピューティング・システム２０４上で機械学習を使用してモデル重み２２２が決定されたとき、これらのモデル重み２２２は、次いで、テスト掘削機と同等である生産掘削機のオンボード・コンピューティング・システム２０２にプロビジョニングされることができる。
【0046】
図５のプロセスで使用されるトレーニング及びテストデータセットは、固有のタイプのイベントに対して実行されたテストイベント３０４に対応させることができため、図５のプロセスを使用して決定及び出力されたモデル重み２２２がそのタイプのイベントにとっても固有とすることができる。したがって、機械１００が異なるタイプのイベントを実行することができる場合、図５のプロセスを繰り返して、各タイプのイベントに固有のモデル重み２２２を決定することができる。例えば、機械１００が、「スティックイン」イベント、「スティックアウト」イベント、「ブームアップ」イベント、「ブームダウン」イベント、「バケットカール」イベント、及び「バケットダンプ」イベントを実行できる掘削機である場合、図５のプロセスを６回実行して、６つのタイプのイベントのそれぞれに固有のモデル重み２２２の異なるセットを決定することができる。
【0047】
図６は、入力データに基づいてバルブ変位に対する電流を予測するために、機械１００上でモデル重み２２２を使用するプロセスのフローチャートを示している。例えば、モデル重み２２２は、入力データを、バルブ１０４を機械１００の状態の他の属性と組み合わせて、油圧制御機械構成要素の予想される速度に導くバルブ変位に合わせて開閉させる、バルブソレノイド電流などの対応する電流にマッピングするためにＥＣＭ１１８又は他のオンボード・コンピューティング・システム２０２上の制御マッピングモデル２２０によって使用されてもよい。他の例では、モデル重み２２２を使用して、機械構成要素の予想される速度に導くと予想されるバルブ変位を予測することができ、他の処理を使用して、バルブ１０４を予測されるバルブ変位に合わせて開放させる電流を決定することができる。
【0048】
動作６０２において、モデル重み２２２は、機械１００のオンボード・コンピューティング・システム２０２にロードされることができる。上で論じたように、モデル重み２２２は、機械１００又は同等の機械１００で実行されるテストイベント３０４に関連付けられたデータに基づいてモデル重み２２２をトレーニングすることによって、オフボード・コンピューティング・システム２０４上の機械学習システム２２４を使用して決定されることができる。いくつかの例では、モデル重み２２２は、オフボード・コンピューティング・システム２０４上で１つのフォーマット又はプログラミング言語で表現され得るが、機械１００のオンボード・コンピューティング・システム２０２によって使用される別のフォーマット又はプログラミング言語に変換され得る。例えば、動作５０６において出力されたモデル重みは、図２に示されるようにオンボード・コンピューティング・システム２０２の制御マッピングモデル２２０によって使用されるモデル重み２２２を格納又はポピュレートするために機械１００のオンボード・コンピューティング・システム２０２にロード又はフラッシュされることができる構成ファイルに変換されることができる。上で論じたように、モデル重み２２２の異なるセットは、機械１００が実行することができる異なるタイプのイベントについて決定されることができる。したがって、異なるタイプのイベントに固有のモデル重み２２２の異なるセットは、動作６０２中に機械１００にロードされることができる。
【0049】
動作６０４において、オンボード・コンピューティング・システム２０２は、機械１００の油圧制御構成要素に関連付けられた速度コマンドを受信することができる。いくつかの例では、速度コマンドは、物理レバーの動き又はハードウェア制御器の他の起動に対応することができる。例えば、スティック１０８の動きを制御するために人間オペレータが掘削機のキャブに設けられたレバーを動かす程度は、人間オペレータが要求し期待しているスティック１０８の速度を指示することができる。他の例では、オンボード・コンピューティング・システム２０２は、例えば、ソフトウェア制御自律オペレータから又は指定された速度での構成要素の動きを直接的に要求するユーザ入力からの電子命令として、要求された速度で機械１００の油圧制御構成要素を動かすための直接命令又は信号を受信することができる。
【0050】
いくつかの例では、速度コマンドは、要求されたイベントのタイプを直接的又は間接的に示すことができる。例えば、速度コマンドがスティック１０８に関連付けられたレバーの内向きの動きとして受信されるとき、オンボード・コンピューティング・システム２０２は、オペレータが「スティックイン」イベントを要求していると判定し得る。オンボード・コンピューティング・システム２０２は、指示されたイベントタイプに対応するモデル重み２２２の複数のセットのうちの１つを選択し得る。例えば、受信された速度コマンドが、代わりに「スティックアウト」イベントに対応するレバーの外向きの動きである場合、オンボード・コンピューティング・システム２０２は、「スティックアウト」イベントタイプについて特定的に決定されたモデル重み２２２を使用すべきであると判定することができる。他の例では、入力速度コマンド又は複数のタイプのイベントに対する他の入力を実質的に同時に受信することができ、オンボード・コンピューティング・システム２０２は、イベントのタイプ毎にモデル重み２２２を選択することができ、これによって、オンボード・コンピューティング・システム２０２は、機械１００の多機能制御のために入力データを出力データにマッピングするために使用できる異なるセットのモデル重み２２２を使用することができる。これら例のうちいくつかでは、異なるタイプの入力データ及び／又はモデル重みを、出力データに実質的に同時にまたは並行してマッピングできる。他の例では、異なるタイプの入力データ及び／又はモデル重みを、ラウンドロビン順序又は直列ループで出力データにマッピングできる。
【0051】
動作６０６において、オンボード・コンピューティング・システム２０２はまた、機械１００の現在の状態に関する機械状態データを取得することができる。この機械状態データは、機械１００上のセンサによって測定された、又は、構成要素の現在位置、油圧シリンダ圧力、及びポンプ圧力など他の方法でオンボード・コンピューティング・システム２０２に知られているチャンネルデータ２１６を含むことができる。機械状態データは、図５のプロセスにおいてモデル重み２２２のトレーニングデータとして使用されたデータのタイプに対応することができる。センサが故障し、対応するチャンネルデータ２１６を読み取ることができない場合など、チャンネルデータ２１６又はモデル重み２２２のトレーニング中に使用された他のデータのタイプが動作６０６で利用できない場合には、いくつかの例では、欠落データを以前の測定値、データが時間の経過とともにどのように進行したかの傾向から推測することができる、あるいは他の方法で推定できる、あるいは欠落したデータのデフォルト値を使用できる。
【0052】
いくつかの例では、速度コマンド及び／又は機械状態データを、制御マッピングモデル２２０に送る前に、サニタイズ及び／又はスケーリングすることができる。例えば、制御マッピングモデル２２０は、－１から１などの入力値の予想される分布を有し得、したがって、ＥＣＭ１１８は、入力値を予想される分布にスケーリングすることができる。
【0053】
動作６０８において、オンボード・コンピューティング・システム２０２の制御マッピングモデル２２０は、モデル重み２２２を使用して、速度コマンド及び機械状態データからバルブ１０４の電流（例えば、バルブソレノイド電流）を予測することができる。例えば、オンボード・コンピューティング・システム２０２は、受信した速度コマンドから導出された所望の速度、及び機械状態データを、その制御マッピングモデル２２０に入力することができる。オンボード・コンピューティング・システム２０２上の制御マッピングモデル２２０は、モデル重み２２２をトレーニングしたオフボード・コンピューティング・システム２０４上の機械学習システム２２４と同じアーキテクチャを有することができ、その結果、制御マッピングモデル２２０は、提供されたモデル重み２２２を使用して同じタイプの入力データを同じタイプの出力データにマッピングすることができる。例えば、機械学習システム２２４のように、制御マッピングモデル２２０は、要求されたイベントタイプに対応するモデル重み２２２のセットを使用して、所望の速度及び機械状態データの表現を、バルブ１０４を固有のバルブ変位に合わせて開閉させ、結果として油圧制御構成要素をオペレータが所望する速度で動かせるバルブ１０４の電流へマッピングするＲＢＦネットワークモデルアーキテクチャを有することができる。代替的に、制御マッピングモデル２２０は、モデル重み２２２を使用して、入力データを特定のバルブ変位に直接マッピングすることができ、オンボード・コンピューティング・システム２０２の他の要素は、バルブ１０４をそのバルブ変位に合わせて動かすことができる対応するバルブ電流を決定することができる。例えば、ルックアップテーブル又は他の実験データは、バルブ１０４をその現在変位から制御マッピングモデル２２０によって決定された新しいバルブ変位に合わせて動かすバルブ電流を決定するためにオンボード・コンピューティング・システム２０２の電流決定器によって使用されることができるオンボード・コンピューティング・システム２０２のシステムメモリ２０８に格納されることができる。
【0054】
いくつかの例では、制御マッピングモデル２２０によって予測される値は、－１と１の間の値などの特定のスケールであり得、オンボード・コンピューティング・システム２０２は、それらの値を、バルブ１０４を対応するバルブ変位に動かすために機械１００において使用されることができる値に、スケーリング及び／又はオフセットすることができる。
【0055】
動作６１０において、油圧制御機械構成要素は、予測された電流及び／又はバルブ変位に従ってバルブ１０４を開閉することによって駆動されることができる。例えば、予測に基づくバルブ１０４の調整は、油圧シリンダの圧力を調整して、それらを動かし、結果として、ブーム１０６、スティック１０８、あるいはバケット１１０などの油圧制御構成要素を動かすことができる。モデル重み２２２が、テスト中のバルブ変位及び他のチャンネルデータ２１６を含む複数の変数の異なる組み合わせによって部分的に引き起こされる機械構成要素の測定速度を表わしたトレーニングデータセットを使用してトレーニングされたため、モデル重み２２２を使用して予測された電流及び／又はバルブ変位は、機械１００の状態の現在の属性と組み合わせて、オペレータによって要求及び期待される速度で機械構成要素の動きをもたらすことが期待されることができる。言い換えれば、テスト中に、パラメータグリッド２１４内のテストイベント３０４に従ってバルブ変位が事前設定された、そして他の変数とともにそれらのバルブ変位の様々な組み合わせによって引き起こされる機械構成要素の速度が測定されたとはいえ、動作中にオンボード・コンピューティング・システム２０２は、モデル重み２２２を使用して、機械１００の状態に関する他の変数の現在の既知値と組み合わせて、オペレータが所望する速度で機械構成要素の動きをもたらすバルブ変位の電流を予測することができる。
【0056】
動作６１０の後、いくつかの例では、オンボード・コンピューティング・システム２０２は、動作６０４における次の速度コマンドを受信するのを待つことができる。場合によっては、次の速度コマンドは、以前の速度コマンドと同じイベントタイプに関連付けられてもよく、新しい速度コマンドに応答してバルブの変位又は電流を予測するためにモデル重み２２２の同じセットを使用できることを指し示している。例えば、２つの連続する速度コマンドは、両方とも「スティックイン」イベントに関するものであってよいが、スティック１０８に対しては要求速度が異なっていてもよい。他の場合には、次の速度コマンドが以前の速度コマンドとは異なるイベントタイプに関連付けられてもよい、このことは新しい速度コマンドに応答してバルブの変位又は電流を予測するためにモデル重み２２２の異なるセットを使用する必要があることを指し示している。他の例では、オンボード・コンピューティング・システム２０２は、例えば、並列又はラウンドロビン又は直列ループ実装でモデル重み２２２の異なるセットを使用して異なるタイプの入力データを出力データにマッピングすることによって、多機能制御を可能にするために、異なるタイプのイベントに対応する異なるセットのモデル重み２２２を実質的に同時に使用するように構成されることができる。
【0057】
付加的に、次の速度コマンドが動作６０４を介して新しいループで受信された後、新しい機械状態データを動作６０６で取得されることができる。機械１００の態様は、最後の通過の動作６０６を基準にして変更した可能性があり、したがって、オンボード・コンピューティング・システム２０２は、新しい通過の動作６０６においてチャンネルデータ２１６又は他の状態データの最新の測定値を取得することができ、これによって機械１００の状態に関する最新のデータに少なくとも部分的に基づいて動作６０８において予測を行うことができるようになる。例えば、以前の速度コマンドが動作６１０においてブーム１０６の動きをもたらしたとき、油圧シリンダ圧力、ポンプ圧力、構成要素の位置、及び／又は他のデータが新しい値に変更された可能性がある。これらの新しい値は、後続の速度コマンドに応答して予測を行うときに取得及び検討されることができる。
【産業上の利用可能性】
【0058】
本明細書に記載のシステム及び方法は、機械１００に、機械１００の状態の他の属性と組み合わせてオペレータによって入力された速度コマンドに微細に一致する機械構成要素の速度をもたらすと予想される予測バルブ変位又は対応する電流を決定させることができる。多くのオペレータは、レバーやその他の制御器の動きが機械の動きにどのように変換されるかを直感的に感じることができるように、機械的に駆動された従来の油圧機械について長年の経験を持っている。このような直接機械リンクは、電気油圧制御される機械には存在しない可能性もあり、そしてそれらの速度コマンドが、オペレータが期待する速度で機械構成要素の動きをもたらさない場合、オペレータはイライラするかもしれない。付加的に、速度コマンドが、オペレータが期待する機械の動きをもたらさない場合、それはまた、機械１００によって実行される作業に影響を与える可能性がある。例えば、掘削機を使用して作業現場を整地して、オペレータがプラスマイナス１インチの差異で地ならししたい際には、オペレータが要求する機械の動きと機械の実際の性能との間の不一致は、オペレータがプロジェクトを完了させる能力に大きな影響を及ぼす可能性がある。
【0059】
１つの解決策は、入力コマンドが、期待される動きをもたらすように機械１００を手動で調整することであり得る。ただし、これはテスト機械でテストを実施して、テストに基づいた制御変数を手動で調整し、且つ新しいテストを実施することを伴うことがよくある。このプロセスには、テストの実施と変数を手動で再調整するのに数か月あるいは数年かかる場合があり、新しい機械の配備又は販売が大幅に遅れる可能性がある。
【0060】
本明細書で説明するように、パラメータグリッド２１４に従って自動的に実行されるテストシーケンスの単一のセットからモデル重みを生成するために機械学習を利用することにより、このプロセスを大幅にスピードアップすることができる。自動生成されたモデル重みはまた、入力コマンドを基準にした機械１００の最終的な動きの誤差を減少させることができる。付加的に、パラメータグリッド２１４が、特定のタイプのイベント中に機械１００の１つ又は複数の油圧制御構成要素の可能な運動を駆動する状態空間をカバーできるパラメータ３０２の値の複数の組み合わせで設計されることが可能であるため、機械学習モデルは、機械１００の現在の状態に関する他の変数に関係なく、期待速度を発生させるバルブ変位に対する電流を予測できるモデル重みを生成するようにトレーニングされることができる。したがって、本明細書に記載のシステム及び方法は、機械１００の動きを、反復可能かつ期待される方法で、オペレータからの速度コマンドに一致させることができる。
【0061】
本開示の態様は、上記の実施形態を参照して特に示され、説明されてきたが、当業者には、開示される内容の精神と範囲から逸脱することなく開示された機械、システム、及び方法の修正によって、様々な追加の実施形態が企図され得ることが理解される。そのような実施形態は、特許請求の範囲及びその任意の同等物に基づいて決定される本開示の範囲内にあると理解されるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
