特表 2024-532674 ツール交換条件を示す作業機械の地面係合ツールの摩耗レベルを判定するためのシステム及びコンピュータにより実施される方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-09-10

(54)【発明の名称】ツール交換条件を示す作業機械の地面係合ツールの摩耗レベルを判定するためのシステム及びコンピュータにより実施される方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240903BHJP

   G06T 7/11 20170101ALI20240903BHJP

   G06T 7/593 20170101ALI20240903BHJP

   E02F 9/26 20060101ALI20240903BHJP

   E02F 9/28 20060101ALN20240903BHJP

【ＦＩ】

G06T7/00 610

G06T7/00 350C

G06T7/00 650B

G06T7/11

G06T7/593

G06T7/00 C

E02F9/26 B

E02F9/28 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024504937

(86)(22)【出願日】2022-07-22

(85)【翻訳文提出日】2024-03-05

(86)【国際出願番号】 US2022037977

(87)【国際公開番号】W WO2023018535

(87)【国際公開日】2023-02-16

(31)【優先権主張番号】17/399,199

(32)【優先日】2021-08-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】391020193

【氏名又は名称】キャタピラー インコーポレイテッド

【氏名又は名称原語表記】ＣＡＴＥＲＰＩＬＬＡＲ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(74)【代理人】

【識別番号】110002848

【氏名又は名称】弁理士法人ＮＩＰ＆ＳＢＰＪ国際特許事務所

(72)【発明者】

【氏名】ミアンゾ、ローレンス エイ．

(72)【発明者】

【氏名】オブラック、トッド エイ．

(72)【発明者】

【氏名】マシュー、ショーン ナイナン

(72)【発明者】

【氏名】プロゼク、ジョン エム．

(72)【発明者】

【氏名】ワイズ、レイモンド アラン

(72)【発明者】

【氏名】アドラー、ダニエル ポール

【テーマコード（参考）】

2D015

5L096

【Ｆターム（参考）】

2D015HA03

2D015HB00

5L096BA03

5L096CA02

5L096CA05

5L096DA02

5L096DA04

5L096FA64

5L096FA66

5L096FA69

5L096GA51

5L096HA11

(57)【要約】

例示的な摩耗検出システム（１１０）は、１つ以上のセンサから、作業機械（１００）の掘削－ダンプサイクルの第１の時点で、作業機械の少なくとも１つの地面係合ツール（ＧＥＴ）に関連する第１の画像データを受信する。摩耗検出システムは、第１の画像データを処理して、少なくとも１つのＧＥＴの第１の摩耗測定値及び第１の摩耗レベルを判定する。摩耗検出システムは、第１の摩耗レベルがＧＥＴ交換条件を示すかどうかを判定する。摩耗検出システムは、第１の摩耗レベルがＧＥＴ交換条件を示す場合、警告を生成する。摩耗検出システムは、第１の摩耗レベルがＧＥＴ交換条件を示さない場合、第１の時点とは異なる第２の時点で、少なくとも１つのＧＥＴに関連する第２の画像データを受信し、少なくとも１つのＧＥＴに対する第２の摩耗測定値および第２の摩耗レベルを判定する。摩耗検出システムは、第１の摩耗レベル及び第２の摩耗レベルがＧＥＴ交換条件を示すと判定することに基づき、第１の摩耗レベル及び第２の摩耗レベルを示す警告を生成する。

【特許請求の範囲】

【請求項1】

作業機械（１００）に関連付けられた１つ以上のセンサ（１２６、１２８）から、前記作業機械の掘削－ダンプサイクルにおける第１の時点で、前記作業機械の少なくとも１つの地面係合ツール（ＧＥＴ）に関連する第１の画像データを受信することと、
前記第１の画像データに基づいて、前記少なくとも１つのＧＥＴの第１の摩耗測定値を判定することと、
前記第１の摩耗測定値に基づいて、前記第１の時点に対応する前記少なくとも１つのＧＥＴの第１の摩耗レベルを判定することと、
前記第１の摩耗レベルがＧＥＴ交換条件を示すかどうかを判定することと、を備える、コンピュータにより実施される方法であって、
前記第１の摩耗レベルが前記ＧＥＴ交換条件を示すと判定すると、前記第１の摩耗レベルを示す警告を生成し、
前記第１の摩耗レベルが前記ＧＥＴ交換条件を示さないと判定すると、
前記１つ以上のセンサから、前記作業機械の前記掘削－ダンプサイクルにおける前記第１の時点とは異なる第２の時点で、前記作業機械の前記少なくとも１つのＧＥＴに関連する第２の画像データを受信し、
前記第２の画像データに基づいて、前記少なくとも１つのＧＥＴの第２の摩耗測定値を判定し、
前記第２の摩耗測定値に基づいて、前記第２の時点に対応する前記少なくとも１つのＧＥＴの第２の摩耗レベルを判定し、
前記第１の摩耗レベル及び前記第２の摩耗レベルが前記ＧＥＴ交換条件を示すかどうかを判定し、前記第１の摩耗レベル及び前記第２の摩耗レベルが前記ＧＥＴ交換条件を示すと判定すると、前記第１の摩耗レベル及び前記第２の摩耗レベルを示す警告を生成する、方法。

【請求項2】

前記第１の摩耗レベルが前記ＧＥＴ交換条件を示すと判定することは、前記第１の時点が前記掘削－ダンプサイクルの開始よりも前記掘削－ダンプサイクルの終了に近いと判定することを含む、請求項１に記載のコンピュータにより実施される方法。

【請求項3】

前記第１の摩耗レベルを示す前記警告を生成することは、前記作業機械に関連付けられたディスプレイ（１３３）上に、前記第１の摩耗レベルのグラフィックインジケータ（１２２０）をレンダリングすることを含む、請求項１に記載のコンピュータにより実施される方法。

【請求項4】

前記少なくとも１つのＧＥＴの前記第１の摩耗測定値を判定することは、前記第１の画像データに基づいて、視差マップ（５３０、７３０）を生成することを含む、請求項１に記載のコンピュータにより実施される方法。

【請求項5】

前記少なくとも１つのＧＥＴの前記第１の摩耗測定値を判定することは、深層学習ＧＥＴ検出アルゴリズムを前記視差マップに適用することをさらに含む、請求項４に記載のコンピュータにより実施される方法。

【請求項6】

作業機械（１００）に関連付けられた１つ以上のセンサ（１２６、１２８）と、
１つ以上のプロセッサ（１４０）と、
前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに以下を含む動作を実行させる実行可能命令を格納する非一時的なコンピュータ可読媒体（１４３）と、を備えるシステムであって、
前記動作は、
作業機械に関連付けられた前記１つ以上のセンサから、前記作業機械の掘削－ダンプサイクルにおける第１の時点で、前記作業機械の少なくとも１つの地面係合ツール（ＧＥＴ）に関連する第１の画像データを受信することと、
前記第１の画像データに基づいて、前記少なくとも１つのＧＥＴの第１の摩耗測定値を判定することと、
前記第１の摩耗測定値に基づいて、前記第１の時点に対応する前記少なくとも１つのＧＥＴの第１の摩耗レベルを判定することと、
前記第１の摩耗レベルがＧＥＴ交換条件を示すかどうかを判定することと、を含み、
前記第１の摩耗レベルが前記ＧＥＴ交換条件を示すと判定すると、前記第１の摩耗レベルを示す警告を生成し、
前記第１の摩耗レベルが前記ＧＥＴ交換条件を示さないと判定すると、
前記１つ以上のセンサから、前記作業機械の前記掘削－ダンプサイクルにおける前記第１の時点とは異なる第２の時点で、前記作業機械の前記少なくとも１つのＧＥＴに関連する第２の画像データを受信し、
前記第２の画像データに基づいて、前記少なくとも１つのＧＥＴの第２の摩耗測定値を判定し、
前記第２の摩耗測定値に基づいて、前記第２の時点に対応する前記少なくとも１つのＧＥＴの第２の摩耗レベルを判定し、
前記第１の摩耗レベル及び前記第２の摩耗レベルが前記ＧＥＴ交換条件を示すかどうかを判定し、前記第１の摩耗レベル及び前記第２の摩耗レベルが前記ＧＥＴ交換条件を示すと判定すると、前記第１の摩耗レベル及び前記第２の摩耗レベルを示す警告を生成する、システム。

【請求項7】

前記第１の摩耗レベルが前記ＧＥＴ交換条件を示すと判定することは、前記第１の時点が前記掘削－ダンプサイクルの開始よりも前記掘削－ダンプサイクルの終了に近いと判定することを含む、請求項６に記載のシステム。

【請求項8】

前記第１の摩耗レベルを示す前記警告を生成することは、前記作業機械に関連付けられたディスプレイ（１３３）上に、前記第１の摩耗レベルのグラフィックインジケータ（１２２０）を生成することを含む、請求項６に記載のシステム。

【請求項9】

前記少なくとも１つのＧＥＴの前記第１の摩耗測定値を判定することは、前記第１の画像データに基づいて、視差マップ（５３０、７３０）を生成することを含む、請求項６に記載のシステム。

【請求項10】

前記少なくとも１つのＧＥＴの前記第１の摩耗測定値を判定することは、深層学習ＧＥＴ検出アルゴリズムを前記視差マップに適用することをさらに含む、請求項９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物体の経時的な摩耗を検出するためのシステム及び方法に関し、より具体的には、撮像技術を用いて、１つ以上の地面係合ツール（ＧＥＴ）の経時的な摩耗又は損失を検出するためのシステム及び方法に関する。

【背景技術】

【0002】

機械は、作業現場で様々なタスクを実行するために使用され得る。例えば、機械は、砂利、コンクリート、アスファルト、土壌、及び／又は他の材料など、作業現場に存在する材料を掘削、移動、成形、輪郭形成、及び／又は除去するために使用され得る。これらの機械には、そのような材料を収集するために使用されるバケットを含めることができ、バケットには、材料をほぐすための歯などのＧＥＴのセットを含めることができる。ＧＥＴはまた、バケットのエッジを保護するために歯間バケットに取り付けられたシュラウドを含むことができる。時間の経過とともに、ＧＥＴは摩耗してサイズが小さくなり、その効果が低下し、バケットが作業現場の材料を収集することがより困難になる。ＧＥＴはバケットから破損し得る。ＧＥＴ破損が検出されない場合、ＧＥＴは作業現場の材料と混ざり、破砕機や粉砕機などの下流側の処理装置にダメージを与え得る。作業機械は摩耗検出システムを利用して、下流側の装置に損傷が発生する前に摩耗又は破損したＧＥＴを特定し得る。

【0003】

摩耗検出システムを提供する試みは、２０２０年１２月２日に公開された国際公開第２０２０／２３７３２４号（「３２４号公開」）に記載されている。３２４号公開には、作業装置に取り付けられＧＥＴに向けられた１つ以上のセンサを備え、ＧＥＴの状態を監視するシステムが記載されている。このシステムは、１つ以上のセンサからデータを受信し、ＧＥＴの少なくとも一部の三次元（３Ｄ）表現を生成し、現在生成されたＧＥＴの３Ｄ表現を以前に生成されたＧＥＴの３Ｄ表現と比較する。そして、このシステムは、その比較によって、ＧＥＴの摩耗又は損失を判定する。操作者は、検出の感度を調整するようにチューニングできる「適応閾値」を設定することができる。

【0004】

３２４号公開に記載されたシステムには、いくつかの欠点がある。例えば、適応閾値に完全に依存し、経時的に３Ｄ表現を比較することで、急性ＧＥＴ摩耗（例えば、ＧＥＴの損失）が、適応閾値がシステムによって統計的な外れ値又は誤った測定として認識される場合、高く設定されると、検出されない状況が生じ得る。逆に、適応閾値が低すぎると、公報第３２４号に記載のシステムは、過度に頻繁な警告又は警報を作成し、操作者に不快感を与える高頻度の偽陽性を生成し得る。この不快感は、操作者が警告又は警報を無視する、適応閾値を高すぎる値に調整する、又は完全に摩耗検出システムをオフにすることにつながり、その目的を達成しない。本明細書に記載されているシステム及び方法は、これらの問題のうちの１つ以上を解決することを意図している。

【発明の概要】

【0005】

第１の態様によるＧＥＴ摩耗検出のためのコンピュータにより実施される方法は、作業機械に関連付けられた１つ以上のセンサから、前記作業機械の掘削－ダンプサイクルにおける第１の時点で、前記作業機械の少なくとも１つのＧＥＴに関連する第１の画像データを受信することを備える。また、この方法は、前記第１の画像データに基づいて、前記少なくとも１つのＧＥＴの第１の摩耗測定値を判定することと、前記第１の摩耗測定値に基づいて、前記第１の時点に対応する前記少なくとも１つのＧＥＴの第１の摩耗レベルを判定することと、を備える。このコンピュータにより実施される方法は、前記第１の摩耗レベルがＧＥＴ交換条件を示すかどうかを判定すること、を備える。前記第１の摩耗レベルが前記ＧＥＴ交換条件を示すと判定すると、前記第１の摩耗レベルを示す警告を生成する。前記第１の摩耗レベルが前記ＧＥＴ交換条件を示さないと判定すると、前記１つ以上のセンサから、前記作業機械の前記掘削－ダンプサイクルにおける前記第１の時点とは異なる第２の時点で、前記作業機械の前記少なくとも１つのＧＥＴに関連する第２の画像データを受信する。このコンピュータにより実施される方法は、前記第２の画像データに基づいて、前記少なくとも１つのＧＥＴの第２の摩耗測定値を判定し、前記第２の摩耗測定値に基づいて、前記少なくとも１つのＧＥＴの第２の摩耗レベルを判定する。このコンピュータにより実施される方法は、前記第１の摩耗レベル及び前記第２の摩耗レベルが前記ＧＥＴ交換条件を示すかどうかを判定し、前記第１の摩耗レベル及び前記第２の摩耗レベルが前記ＧＥＴ交換条件を示すと判定すると、前記第１の摩耗レベル及び前記第２の摩耗レベルを示す警告を生成する。

【0006】

さらなる態様によるＧＥＴ摩耗検出システムは、１つ以上のプロセッサと、作業機械に関連付けられた１つ以上のセンサと、を備える。また、このＧＥＴ摩耗検出システムは、前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに以下を含む動作を実行させる実行可能命令を格納する非一時的なコンピュータ可読媒体を備え、前記動作は、前記作業機械に関連付けられた前記１つ以上のセンサから、前記作業機械の掘削－ダンプサイクルにおける第１の時点で、前記作業機械の少なくとも１つのＧＥＴに関連する第１の画像データを受信することを含む。前記１つ以上のプロセッサは、前記第１の画像データに基づいて、前記少なくとも１つのＧＥＴの第１の摩耗測定値を判定し、前記第１の摩耗測定値に基づいて、前記少なくとも１つのＧＥＴの第１の摩耗レベルを判定する。また、前記１つ以上のプロセッサは前記第１の摩耗レベルがＧＥＴ交換条件を示すかどうかを判定する。前記第１の摩耗レベルが前記ＧＥＴ交換条件を示すと判定すると、前記第１の摩耗レベルを示す警告を生成する。前記第１の摩耗レベルが前記ＧＥＴ交換条件を示さないと判定すると、前記１つ以上のセンサから、前記作業機械の前記掘削－ダンプサイクルにおける前記第１の時点とは異なる第２の時点で、前記作業機械の前記少なくとも１つのＧＥＴに関連する第２の画像データを受信する。前記１つ以上のプロセッサは、前記第２の画像データに基づいて、前記少なくとも１つのＧＥＴの第２の摩耗測定値を判定し、前記第２の摩耗測定値に基づいて、前記少なくとも１つのＧＥＴの第２の摩耗レベルを判定する。前記１つ以上のプロセッサは、前記第１の摩耗レベル及び前記第２の摩耗レベルが前記ＧＥＴ交換条件を示すかどうかを判定し、前記第１の摩耗レベル及び前記第２の摩耗レベルが前記ＧＥＴ交換条件を示すとき、前記第１の摩耗レベル及び前記第２の摩耗レベルを示す警告を生成する。

【0007】

別の態様による作業機械は、少なくとも１つのＧＥＴを含むバケット、少なくとも左画像センサ及び右画像センサを含む複数のセンサ、ディスプレイ、１つ以上のプロセッサ、及び前記１つ以上のプロセッサによって実行されると、前記１つ以上のプロセッサに以下を含む動作を実行させる実行可能命令を記憶する非一時的なコンピュータ可読媒体を備える。前記動作は、複数のセンサから、掘削－ダンプサイクルの終了よりも掘削－ダンプサイクルの開始に近い前記作業機械の掘削－ダンプサイクルにおける第１の時点で、前記少なくとも１つのＧＥＴに関連する第１の画像データを受信することを含む。前記１つ以上のプロセッサは、前記第１の画像データに基づいて、前記少なくとも１つのＧＥＴの第１の摩耗測定値を判定し、前記第１の摩耗測定値に基づいて、前記少なくとも１つのＧＥＴの第１の摩耗レベルを判定する。前記１つ以上のプロセッサは、前記第１の摩耗レベルがＧＥＴ交換条件を示すかどうかを判定する。前記第１の摩耗レベルが前記ＧＥＴ交換条件を示すと判定すると、前記第１の摩耗レベルを示す警告を生成し、前記ディスプレイ上に前記警告をレンダリングする。前記第１の摩耗レベルが前記ＧＥＴ交換条件を示さないと判定すると、前記複数のセンサから、前記作業機械の前記掘削－ダンプサイクルにおける第２の時点で、前記少なくとも１つのＧＥＴに対応する第２の画像データを受信する。前記第２の時点は、前記第１の時点の後である。前記１つ以上のプロセッサは、前記第２の画像データに基づいて、前記少なくとも１つのＧＥＴの第２の摩耗測定値を判定し、前記第２の摩耗測定値に基づいて、前記少なくとも１つのＧＥＴの前記第２の摩耗レベルを判定する。前記１つ以上のプロセッサは、前記第１の摩耗レベル及び前記第２の摩耗レベルが前記ＧＥＴ交換条件を示すかどうか判定し、前記第１の摩耗レベル及び前記第２の摩耗レベルが前記ＧＥＴ交換条件を示すときに、前記第１の摩耗レベル及び前記第２の摩耗レベルを示す警告を生成し、前記ディスプレイ上に前記警告をレンダリングする。

【図面の簡単な説明】

【0008】

添付図面を参照して具体的な実施形態について説明する。各図において、参照番号の最左の桁は、その参照番号が最初に現れる図を特定する。異なる図面における同じ符号は、類似又は同一の項目を示す。

【図1】ＧＥＴにおける摩耗を検出するための例示的なシステムを含む例示的な機械を概略的に示すブロック図である。

【図2】ＧＥＴにおける摩耗を検出するための例示的なシステムを含む例示的な機械を有する例示的な環境を示す概略側面図である。

【図3】ＧＥＴにおける摩耗を検出するための例示的なシステムを含む例示的な機械を有する別の例示的な環境を示す概略側面図である。

【図4】ＧＥＴにおける摩耗を検出するための例示的なシステムを含む例示的な機械を有する別の例示的な環境の概略側面図を示す図である。

【図5】コンピュータビジョン技術を用いた関心領域検出処理のための画像データの流れの一例を示す画像データフロー図である。

【図6】深層学習技術を用いた関心領域検出処理のための画像データの流れの例を示す画像データフロー図である。

【図7】深層学習技術を用いた関心領域検出処理のための画像データの流れの例を示す画像データフロー図である。

【図8】ＬｉＤＡＲセンサ及び撮像データを用いた関心領域検出処理のための画像データの流れの例を示す画像データフロー図である。

【図9】画像点を用いる摩耗検出処理のための画像データの流れの一例を示す画像データフロー図である。

【図10】例示的な環境における摩耗を検出するための例示的な処理である。

【図11】例示的な環境における摩耗を検出するための例示的な処理である。

【図12】ＧＥＴの摩耗を検出するための例示的なシステムの例示的なユーザインターフェースである。

【発明を実施するための形態】

【0009】

本開示は、一般に、１つ以上のセンサを使用して、作業現場などの環境における作業機械のコンポーネントの摩耗を検出するためのシステム及び方法を対象とする。１つ以上のセンサは、コンポーネントに関連する撮像データを撮像することができる（立体カメラ又は「ステレオカメラ」の一部とすることができる）撮像センサ、ＬｉＤＡＲセンサ、赤外線（ＩＲ）センサ、ソナーセンサ、温度センサ、又はレーダーセンサを含むことができる。撮像データは、ビデオ、画像、ＬｉＤＡＲ撮像データ、ＩＲ撮像データ、音声ベースの撮像データ、又はレーダーデータを含むことができるが、これらに限定されない。撮像データは、作業機械に関連する摩耗検出コンピュータシステムによって分析されて、この態様は、コンポーネントの摩耗を検出するために、作業機械上、ステレオカメラ内、作業機械の１つ以上のセンサ内、またはそれらの外部もしくは作業機械の外部に配置され得る。例えば、このコンポーネントは、作業機械のバケットの１つ以上のＧＥＴであってもよい。作業機械の１つ以上のセンサは、それぞれ異なる視野を有してもよく、コンポーネントに対してわずかに異なる撮像データを生成してもよい。異なる視野は、コンポーネントの撮像に悪影響を与え得る悪い照明条件、影、又は破片に関連する誤差を低減し得る。摩耗検出システムは、撮像された撮像データから、ＧＥＴのマーカー点（例えば、エッジ、角部、又はコンポーネント上の視覚的指標）に関連する画像点を判定し、その画像点を使用して、コンポーネントの測定値を判定することができる。摩耗検出システムは、判定された測定値、及び／又は、過去の又はベースラインの測定値に基づいて、コンポーネントの摩耗レベル又は損失を判定し得る。摩耗検出システムは、作業機械の掘削－ダンプサイクルの様々な時点で、１つ以上のセンサから撮像データを受信し、掘削－ダンプサイクル内の時点の配置に基づいて、警告を生成するか追加の撮像データを撮像するかを判定してもよい。

【0010】

図１は、例示的な摩耗検出コンピュータシステム１１０を含む例示的な作業機械１００の概略的に示すブロック図である。図１において、作業機械１００は、油圧採掘ショベルとして描かれているが、他の例では、作業機械１００は、土壌、岩石、又は鉱物などの材料を移動、彫刻、掘削、又は除去する任意の機械を含むことができる。図１に示すように、作業機械１００は、アーム１２２に取り付けられたバケット１２０を含むことができる。バケット１２０は、作業機械１００が材料を緩めるのを助ける歯のような１つ以上の地面係合ツール（ＧＥＴ）１２５を含むことができる。本開示で提供される例では、ＧＥＴ１２５を一般に歯と呼ぶが、他の種類のＧＥＴも、本開示によって提供される実施形態の範囲内にあると考えられる。例えば、ＧＥＴは、リップシュラウド、エッジガード、アダプター、リッパープロテクター、刃先、サイドバープロテクター、チップ、又は作業現場の材料との摩擦により時間の経過とともに摩耗する作業機械に関連するその他のツールを含むことができる。

【0011】

作業機械１００はまた、視野１２７を有するセンサ１２６及び視野１２９を有するステレオカメラ１２８のような、それぞれの視野を有する１つ以上のセンサを含む。視野１２７と視野１２９は両方ともバケット１２０とＧＥＴ１２５に向けられている。図１に示すように、視野１２７と視野１２９は、重なってはいるが、異なる。センサ１２６は、単なるいくつかの例として、画像センサ、ＬｉＤＡＲセンサ、ＩＲセンサ、ソナーセンサ、又はレーダーセンサを含むことができる。

【0012】

本開示において使用される場合、「撮像データ」という用語は、センサ１２６又はステレオカメラ１２８によって生成され、ＧＥＴ１２５のサイズ、形状、又は外観を反映するように解読又は処理可能な、摩耗検出コンピュータシステム１１０によって受信されるデータを指す。本開示は、単数のセンサ１２６を参照しているが、いくつかの実施形態において、作業機械１００は、ステレオカメラ１２８に加えて、通常、それぞれがそれ自体の視野１２７を有する２つ以上のセンサ１２６を含む。例えば、作業機械１００は、視野１２９を有するカメラ１２８、ＬｉＤＡＲセンサ、追加の撮像センサ、及びＩＲセンサを含んでもよく、これらすべては、本開示の実施形態による摩耗検出コンピュータシステムによって処理される撮像データを生成してもよい。

【0013】

いくつかの実施形態において、センサ１２６は、適応スキャンＬｉＤＡＲセンサ、すなわち、その解像度および視野が命令され、制御され、構成され得るＬｉＤＡＲセンサを含む。例えば、センサ１２６は、ＡＥＹＥ ４Ｓｉｇｈｔ Ｍ（商標）を含むことができる。いくつかの実施形態では、視野１２７は、６０度×３０度のベースラインから開始し（「低」解像度範囲スキャンを表す）、その後、０．０２５度にわたる高精細関心領域まで０．１度ずつ調整されてもよいが、他の実施形態では、他の視野及び角度解像度が存在してもよい。センサ１２６は、１００Ｈｚの周波数で１平方度当たり最大１６００個の点を収集するように構成することができる。センサ１２６の精度は、視野１２７の角度解像度と、センサ１２６とＧＥＴ１２５との間の距離との関数である。例えば、ＧＥＴ１２５がセンサ１２６から約６メートル離れており、視野１２７が６０度×３０度に構成されている場合、１平方度当たり１６００個の点のスキャンは、約７．２メートル×３．２メートルの撮像矩形内にＬｉＤＡＲヒットを生成する。視野の焦点を再調整することにより、ＬｉＤＡＲヒットは水平方向と垂直方向に２．６ミリメートルを記録できる。センサ１２６の一例を上述したが、適応スキャンが可能な異なるＬｉＤＡＲセンサを様々な実施形態で使用することができる。

【0014】

センサ１２６は、赤外線センサ又はＧＥＴ１２５の熱署名を検出することができるセンサも含むことができる。例えば、センサ１２６は、６４０×５１２の解像度、９Ｈｚのリフレッシュレート、７５度の視野を備えた長波ＦＬＩＲ（登録商標）赤外線カメラを含むことができる。赤外線センサ１２６は、光が少ない環境、または動作中に破片がＧＥＴ１２５に付着する可能性がある環境において、カメラ１２８を補完することができる。センサ１２６の他の例として、ソナー又はレーダーセンサを含むことができる。

【0015】

ステレオカメラ１２８は、バケット１２０及びＧＥＴ１２５のような視野１２９内の物体のステレオ画像を撮像するために、間隔を置いて配置された左画像センサ及び右画像センサを含む。いくつかの実施形態では、左画像センサ及び右画像センサは、モノクロ画像を撮像する。ステレオカメラ１２８は、視野１２９内の物体のカラー画像を撮像するためのカラー画像センサをさらに含むことができる。いくつかの実施形態では、カメラ１２８はデジタル画像を出力し、又は作業機械１００は、カメラ１２８と摩耗検出コンピュータシステム１１０との間に配置され、摩耗検出コンピュータシステム１１０がアナログ画像を受信する前にデジタル画像に変換するアナログデジタル変換器を含んでもよい。本開示は、議論を容易にするために、単一の視野１２９を有するステレオカメラ１２８を参照しているが、当業者は、カメラ１２８の各画像センサ（例えば、左、右、カラー）が、本開示の実施形態に従ってＧＥＴ１２５が測定され得る立体画像を生成するために、それぞれの視野を有することを理解するであろう。

【0016】

いくつかの実施形態では、センサ１２６及びカメラ１２８のような作業機械１００の１つ以上のセンサは、１つ以上のセンサのレンズの表面（又はスクリーン）から破片、霧、又は他の障害物を除去するためのレンズクリーニング装置を含むことができる。レンズクリーニング装置は、例えば、圧縮空気、洗浄溶剤、又は洗浄不凍液を噴出するノズルを含むことができる。レンズクリーニング装置は、レンズの表面に接触して拭き取り、破片又は他の障害物をレンズ表面から押し出すように構成された可動ワイパーをさらに含むことができる。いくつかの実施形態では、１つ以上のセンサのレンズのカバーは、レンズスクリーンを（円筒形レンズスクリーンの場合）回転させるか、又はレンズスクリーンを（平面レンズスクリーンの場合）スライドさせて、１つ以上のワイパーに接触させてスクリーンから破片を取り除くアクチュエータを含んでもよい。

【0017】

作業機械１００が作業現場内で動作するとき、掘削－ダンプサイクルの一部として作業現場内で材料を移動又は掘削するためにアーム１２２を動かしてバケット１２０を位置決めすることができる。作業機械１００は、掘削－ダンプサイクルによりバケット１２０を位置決めする際に、バケット１２０を視野１２７及び視野１２９に出し入れすることができる。センサ１２６及びカメラ１２８は、掘削－ダンプサイクル中にＧＥＴ１２５を遮るものなく見えるように配置されてもよい。例えば、センサ１２６及びカメラ１２８は、掘削－ダンプサイクル内でバケット１２０が材料を空にする瞬間にバケット１２０及びＧＥＴ１２５が見えるように、作業機械１００上に配置されてもよい。別の例として、センサ１２６及びカメラ１２８は、掘削－ダンプサイクル中にアーム１２２が完全に伸張又は収縮したときにバケット１２０が視野に入るように配置されてもよい。図２～４に関して以下に説明するように、センサ１２６及びカメラ１２８の位置（及びそれぞれの視野１２７及び視野１２９）は、作業機械１００の種類及び作業現場に関する詳細に応じて変化してもよい。

【0018】

いくつかの実施形態において、視野１２７及び視野１２９は、掘削－ダンプサイクルの異なるポイントにおいて、バケット１２０及びＧＥＴ１２５の画像データを撮像してもよい。例えば、センサ１２６は、掘削－ダンプサイクルの早い段階（例えば、サイクルの終わりよりもサイクルの開始に近い）でＧＥＴ１２５の画像データを撮像してもよく、カメラ１２８は、掘削－ダンプサイクルの遅い段階（例えば、サイクルの開始よりもサイクルの終わりに近い）でＧＥＴ１２５の画像データを撮像してもよい。いくつかの実施形態では、センサ１２６及び／又はカメラ１２８は、掘削－ダンプサイクルの異なるポイントでＧＥＴ１２５の画像データを収集するために、それぞれの視野１２７、１２９を調整してもよい。例えば、いくつかの実施形態において、センサ１２６及びカメラ１２８の両方は、掘削－ダンプサイクルの早い段階でＧＥＴ１２５の画像データを撮像した後、視野１２７、１２９を調整して、掘削－ダンプサイクルの遅い段階でＧＥＴ１２５の画像データを撮像してもよい。

【0019】

いくつかの実施形態によれば、作業機械１００は、操作者制御パネル１３０を含む。操作者制御パネル１３０は、作業機械１００の操作者のための出力を生成するディスプレイ１３３を含むことができ、これにより、操作者は、摩耗検出コンピュータシステム１１０に関する状態又は警報を受信することができる。ディスプレイ１３３は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、陰極線管（ＣＲＴ）ディスプレイ、又は当技術分野で知られている他の種別のディスプレイを含むことができる。いくつかの例では、ディスプレイ１３３は、スピーカ又はヘッドホン又は周辺スピーカ用のポート等、音声出力を含む。ディスプレイ１３３は、マイクや周辺マイクのためのポートなどの音声入力デバイスを含むこともできる。いくつかの実施形態では、ディスプレイ１３３は、入力デバイスとしても機能するタッチ感知ディスプレイ画面を含む。

【0020】

ディスプレイ１３３は、摩耗コンピュータ検出システム１１０によってレンダリングされたＧＥＴ１２５の摩耗レベル又は損失に関する情報を表示することができる。例えば、ディスプレイ１３３は、計算されたＧＥＴ１２５の測定値を表示してもよい。計算された測定値は、いくつかの実施形態において、ＧＥＴ１２５の健康状態を反映するようにカラーコード化されてもよい。例えば、計算された測定値は、ＧＥＴ１２５が許容可能な摩耗レベルを有すると見なされる場合は緑の背景で表示されてもよく、ＧＥＴ１２５の交換が必要に近づいている場合は黄色の背景で表示されてもよく、ＧＥＴ１２５が破損又は摩耗して交換が必要になるまでに達した場合は赤で表示されてもよい。ディスプレイ１３３は、バケット１２０の画像、ＧＥＴ１２５の画像、又は摩耗コンピュータ検出システム１１０によってレンダリングされたＧＥＴ１２５に関連する視野１２７、１２９内の関心領域の画像を表示することもできる。

【0021】

いくつかの実施形態では、操作者制御パネル１３０はまた、キーボード１３７を含む。キーボード１３７は、摩耗検出コンピュータシステム１１０のための入力能力を提供する。キーボード１３７は、作業機械１００の操作者が摩耗検出コンピュータシステム１１０に入力を提供することを可能にする複数のキーを含む。例えば、本開示の例によれば、操作者は、キーボード１３７のキーを押下して作業機械１００、バケット１２０、及び／又はＧＥＴ１２５の種類を選択又は入力することができる。キーボード１３７は、非仮想であってもよく（例えば、物理的にキーを押すことができるものを含む）、又は、キーボード１３７は、ディスプレイ１３３のタッチ感知式の実施形態上に表示される仮想キーボードであってもよい。

【0022】

図１に示すように、摩耗検出コンピュータシステム１１０は、１つ以上のプロセッサ１４０を含む。プロセッサ１４０は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ＣＰＵ、ＧＰＵ又はＦＰＧＡのある組み合わせ、又は任意の他の種類の処理ユニットのうちの１つ以上を含むことができる。プロセッサ１４０は、算術演算及び論理演算を実行する複数の算術論理ユニット（ＡＬＵ）と、プロセッサキャッシュメモリから命令及び記憶内容を抽出した後、プログラム実行中に必要に応じてＡＬＵを呼び出して命令を実行する１つ以上の制御ユニット（ＣＵ）とを有することができる。プロセッサ１４０は、一般的な種類の揮発性（ＲＡＭ）及び／又は不揮発性（ＲＯＭ）メモリに関連付けられ得る、メモリ１４３に記憶されたアプリケーション、ルーチン又はプロセスのドライバ及び他のコンピュータが実行可能な命令を実行する役割も負ってもよい。

【0023】

摩耗検出コンピュータシステム１１０は、メモリ１４３をさらに含む。メモリ１４３は、揮発性（例えば、ＲＡＭ）、不揮発性（例えば、ＲＯＭ、フラッシュメモリなど）、又はこれらのいずれかの組み合わせとすることができるシステムメモリを含むことができる。メモリ１４３は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶するための任意の方法又は技術によって実現される、揮発性及び不揮発性、取り外し可能及び取り外し不可媒体などの非一時的なコンピュータ可読媒体を含むこともできる。システムメモリ、取り外し可能ストレージ、及び取り外し不可ストレージは、非一時的なコンピュータ可読媒体の例である。非一時的なコンピュータ可読媒体の例としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多機能ディスク（ＤＶＤ）又は他の光記憶装置、カセットテープ、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置、又は必要な情報を記憶するために使用され、摩耗検出コンピュータシステム１１０によってアクセスされ得る他の非一時的媒体が挙げられるが、これらに限定されない。

【0024】

メモリ１４３は、本明細書で説明されるように、摩耗検出コンピュータシステム１１０のためのコンピュータ実行可能命令を含むデータを記憶する。例えば、メモリ１４３は、物理パラメータライブラリ１４５、画像アナライザ１５０、摩耗アナライザ１５３、警告マネージャ１５５、及びＧＥＴ摩耗レベルストレージ１５７のような摩耗検出コンピュータシステム１１０の１つ以上のコンポーネントを記憶することができる。メモリ１４３は、摩耗検出コンピュータシステム１１０の動作を可能にするために、プロセッサ１４０によって実行可能な追加のコンポーネント、モジュール、又は他のコードを記憶することもできる。例えば、メモリ１４３は、入出力機能、ソフトウェアドライバ、オペレーティングシステム、又は他のコンポーネントに関するコードを含むことができる。

【0025】

いくつかの実施形態によれば、摩耗検出コンピュータシステム１１０の様々な態様は、カメラ１２８内に配置されてもよい。例えば、カメラ１２８は、プロセッサ１４０及び／又はメモリ１４３のうちの１つ以上を含んでもよい。同様に、摩耗検出コンピュータシステム１１０の様々な態様は、センサ１２６内に配置されてもよい。加えて、又は代替的に、摩耗検出コンピュータシステム１１０の様々な態様は、作業機械１００上に配置され、センサ１２６又はカメラ１２８の外部に配置されてもよい。

【0026】

物理パラメータライブラリ１４５は、作業機械１００、バケット１２０、ＧＥＴ１２５、センサ１２６、及び／又はカメラ１２８に関する物理パラメータセットを含む。例えば、物理パラメータライブラリ１４５は、いくつかの例として、バケット１２０のサイズ、バケット１２０の形状、ＧＥＴ１２５のサイズ、ＧＥＴ１２５の形状、及びＧＥＴ１２５とバケット１２０との間の空間的関係、及び／又はセンサ１２６とカメラ１２８との間の空間的関係に関する測定データを含むことができる。物理パラメータライブラリ１４５は、新しい状態又は摩耗していない状態でのＧＥＴ１２５のサイズ及び形状に関するパラメータ、及び最大摩耗に達したときのＧＥＴ１２５のサイズ及び形状に関するパラメータをさらに含むことができる。

【0027】

物理パラメータライブラリ１４５は、いくつかの実施形態において、バケット１２０又はＧＥＴ１２５のマーカー点に関連する幾何学的パラメータを含むことができる。マーカー点は、摩耗アナライザ１５３によって使用され得る、ＧＥＴ１２５の摩耗又は損失を測定するためのバケット１２０及びＧＥＴ１２５の態様又は参照点に関連する。例えば、マーカー点には、ＧＥＴ１２５の角部、ＧＥＴ１２５がバケット１２０と係合するバケット１２０のエッジ、バケット１２０のエッジとＧＥＴ１２５との間の角部、又は溶接、塗料、溝、反射テープ、又はバーコードなどのＧＥＴ１２５に適用された物理的マーカが含まれ得る。物理パラメータライブラリ１４５は、マーカー点のＧＥＴ１２５又はバケット１２０に対する相対位置に関する情報を有する物理パラメータセットを含むことができる。例えば、物理パラメータセットには、ＧＥＴ１２５の角部の角度、ＧＥＴ１２５のエッジ又はバケット１２０のエッジに対するＧＥＴ１２５上の物理的マーカの相対的位置が含まれ得る。摩耗検出コンピュータシステム１１０の実施形態は、本明細書に記載の特定の例を超えた物理パラメータセットを含んでもよく、当業者は、バケット１２０又はＧＥＴ１２５上のマーカー点を検出する他の方法が使用され得ること、及び物理パラメータライブラリ１４５が、センサ１２６及び／又はカメラ１２８によって収集された画像データにおいてマーカー点を特定するために摩耗アナライザ１５３によって使用され得る物理パラメータセットを含むことができることを理解するであろう。

【0028】

物理パラメータライブラリ１４５は、バケット１２０とＧＥＴ１２５との組み合わせに関するテンプレート又は参照画像（例えば、バケットツールテンプレート）も含むことができる。例えば、作業機械１００の場合、物理パラメータライブラリ１４５に記憶されたテンプレートのうちの１つは、バケット１２０が視野１２７及び／又は視野１２９内に位置することが予想されるので、ＧＥＴ１２５を有するバケット１２０の画像を含むことができる。バケットツールテンプレートは、摩耗していないＧＥＴ１２５（例えば、摩耗していない、又は予期されるエッジ）、又は最大摩耗に達したＧＥＴ１２５（例えば、閾値エッジ）を表すことができる。物理パラメータライブラリ１４５は、ＧＥＴが交換を必要とするほど摩耗したときを摩耗アナライザ１５３が判定するのを助けるために、ＧＥＴ１２５の摩耗に関する他の情報も含むことができる。ＧＥＴ１２５に関する摩耗データは、いくつかの例として、実際に測定された形式（例えば、メートル法又はインチ法のサイズ）又は画素値の形式であり得る。

【0029】

別の例として、物理パラメータライブラリ１４５は、ＧＥＴ１２５のＣＡＤベースのモデルを含むことができる。ＣＡＤベースのモデルには、ＡｕｔｏＣＡＤ（登録商標）、Ａｕｔｏｄｅｓｋ（登録商標）、ＳｏｌｉｄＷｏｒｋｓ（登録商標）、又は他のよく知られたＣＡＤプログラムなどのコンピュータ支援設計プログラムを用いて開発されたリファレンスＧＥＴ１２５モデルを使用してもよい。摩耗検出コンピュータシステム１１０は、観察されたＧＥＴ１２５のサイズ及び形状を、ＣＡＤベースのモデルを基準点として、同じ種類のモデル、標準的な、又は摩耗していないＧＥＴと比較して、ＧＥＴ１２５の摩耗又は損失を判定してもよい。いくつかの実施形態において、ＣＡＤベースのモデルは、ＧＥＴ１２５上の点の位置、向き、及び／又は相対的な位置決めを含むことができる。

【0030】

物理パラメータライブラリ１４５は、複数の物理パラメータセットを含むことができ、各物理パラメータセットは、作業機械、バケット、ＧＥＴ、又はこれらの組み合わせに対応する。動作中、操作者は、操作者制御パネル１３０を使用して、バケット１２０及びＧＥＴ１２５、又は作業機械１００に適合する物理パラメータライブラリ１４５から物理パラメータセットを選択することができる。例えば、作業機械１００がモデル番号「６０１５Ｂ」を有する油圧採掘ショベルである場合、操作者は操作者制御パネル１３０を用いてモデル番号「６０１５Ｂ」を入力することができ、摩耗検出コンピュータシステム１１０は、モデル「６０１５Ｂ」の油圧採掘ショベルに対応する物理パラメータセットを物理パラメータライブラリ１４５からメモリ１４３にロードすることができる。いくつかの例では、摩耗検出コンピュータシステム１１０の電源投入又はリセット動作時に、物理パラメータライブラリ１４５で利用可能なテンプレートのリストをディスプレイ１３３に表示することができ、操作者は、作業機械１００のモデル番号、バケット１２０のバケット種類又はＧＥＴ１２５の種類に応じて、リストから１つの物理パラメータセットを選択して動作させることができる。

【0031】

いくつかの実施形態では、操作者は、作業シフトの開始時に、カメラ１２８の視野１２９内にバケット１２０及びＧＥＴ１２５を配置し、摩耗検出コンピュータシステム１１０に、操作者制御パネル１３０上の入力を用いてバケット１２０及びＧＥＴ１２５の画像を撮像することができる。次いで、摩耗検出コンピュータシステム１１０は、バケット１２０及びＧＥＴ１２５を物理パラメータセットと照合する画像照合処理を実行し、一致する物理パラメータセットに基づいて、本明細書に開示される摩耗検出及び画像処理プロセスのためにそれ自体を構成することができる。いくつかの実施形態では、摩耗検出コンピュータシステム１１０は、カメラ１２８及び視野１２９の代わりに、センサ１２６及び視野１２７を構成処理に使用することができる。

【0032】

画像アナライザ１５０は、視野１２７及び視野１２９内のＧＥＴ１２５を特定するために、センサ１２６又はカメラ１２８のいずれかによって撮像された撮像データを分析し、その撮像データの処理に基づいてＧＥＴ１２５の摩耗を測定するように構成することができる。例えば、画像アナライザ１５０は、（カメラ１２８の左画像センサによって撮像された）左修正画像及び（カメラ１２８の右画像センサによって撮像された）右修正画像の形態で立体画像をカメラ１２８から受信することができる。画像アナライザ１５０は、ＧＥＴ１２５に対応する関心領域を特定又は判定するために、左修正画像及び右修正画像に対して様々なコンピュータビジョン技術を実行することができる。別の例として、画像アナライザ１５０は、ＧＥＴ１２５に対応する関心領域を特定するために使用することができるセンサ１２６によって撮像された撮像データを受信することができる。開示された実施形態では、画像アナライザ１５０は、以下により詳細に説明するように、センサ１２６からデータを受信して、ＧＥＴ１２５の摩耗又は損失を判定する。

【0033】

いくつかの実施形態において、画像アナライザ１５０は、ＧＥＴ１２５の摩耗又は損失が検出された場合に、２セットの撮像データを処理する。撮像データの第１のセットは、視野１２７又は視野１２９内の関心領域を特定するために撮像される。関心領域は、視野１２７又は視野１２９内のＧＥＴ１２５の相対位置に対応する。関心領域を検出するための撮像データの第１のセットは、ＧＥＴ１２５の一般的な関心領域の位置を特定するように設計された、広く低解像度の撮像データの撮像であり、「粗スキャン」と呼ばれることがある。いくつかの実施形態では、撮像データの第１のセットはカメラ１２８を用いて撮像されてもよく、画像アナライザ１５０は、コンピュータビジョン又は機械学習技術を用いて関心領域を判定する。他の実施形態では、撮像データの第１のセットは、センサ１２６を用いて、比較的広い第１低解像度（例えば、センサ１２６のＬｉＤＡＲ実施形態では６０度×３０度）で撮像されてもよい。いくつかの実施形態では、画像アナライザ１５０は、センサ１２６及びカメラ１２８から撮像データの第１のセットを受信する。

【0034】

画像アナライザ１５０は、ＧＥＴ１２５に対応する関心領域を特定すると、センサ１２６を制御して、関心領域に焦点を合わせ、より高解像度のスキャン又はいくつかの実施形態では「微細スキャン」を行ってもよい。例えば、画像アナライザ１５０は、特定された関心領域に焦点を合わせて視野１２７を狭めるように変更するようにセンサ１２６のアプリケーション・プログラミング・インターフェース（ＡＰＩ）と通信することができる。次に、センサ１２６は、ＧＥＴ１２５をもう１回スキャンして、撮像データの第２のセットを収集する。狭い視野１２７を有するセンサ１２６によって撮像された撮像データの第２のセットは、センサ１２６（広い視野に設定されている場合）又はカメラ１２８のいずれかによって撮像された第１の撮像データよりも高い解像度を有する。

【0035】

いくつかの実施形態において、粗スキャンは、センサ１２６又はカメラ１２８のいずれかによって実行されることができ、微細スキャンは、カメラ１２８又はセンサ１２６のうちの他方によって実行されることができる。或いは、センサ１２６及びカメラ１２８の両方が、粗スキャン及び微細スキャンの両方を実行してもよい。

【0036】

一実施形態において、画像アナライザ１５０は、カメラ１２８から受信した左修正画像及び右修正画像に基づいて、高密度ステレオ視差マップを作成する。画像アナライザは、関心領域を特定するために、高密度ステレオ視差マップを分割することができる。加えて、画像アナライザ１５０は、高密度ステレオ視差マップに基づいて３次元点群を作成することもでき、また、３次元点群を分割して関心領域を特定することもできる。

【0037】

コンピュータビジョン技術に加えて、又はコンピュータビジョン技術を使用する代わりに、画像アナライザ１５０は、深層学習又は機械学習技術を用いて、カメラ１２８によって撮像された左修正画像及び／又は右修正画像内の関心領域を特定することができる。例えば、画像アナライザ１５０は、個々のＧＥＴ、ＧＥＴグループ、又はＧＥＴとバケットの組み合わせがラベル付けされた画像コーパスに基づいて関心領域を特定するように訓練されたニューラルネットワークを使用する深層学習ＧＥＴ検出アルゴリズムを使用することができる。画像アナライザ１５０はまた、画像内のＧＥＴの位置を特定するように訓練されたニューラルネットワークを採用する深層学習ＧＥＴ位置アルゴリズムを使用することもできる。ＧＥＴ位置アルゴリズムは、個々のＧＥＴがラベル付けされた画像のコーパスを用いて訓練することができる。ＧＥＴ位置アルゴリズムは、画像内の個々のＧＥＴを特定すると、ＧＥＴの対応する位置を出力する。例えば、ＧＥＴ位置アルゴリズムは、ＧＥＴ位置に関する画素位置又はバウンディングボックス出力を出力することができる。

【0038】

いくつかの実施形態において、深層学習ＧＥＴ検出アルゴリズムは、視差マップに基づいて関心領域を特定するように訓練されたニューラルネットワークを含む。例えば、深層学習ＧＥＴ検出アルゴリズムの訓練データのコーパスは、個々のＧＥＴ、ＧＥＴグループ、又はＧＥＴ及びバケットの組み合わせがラベル付けされている左修正及び右修正画像間の視差画像を含むことができる。

【0039】

上記のように、画像アナライザ１５０がＧＥＴ１２５を含む関心領域を特定すると、画像アナライザ１５０は、センサ１２６に、視野１２７に焦点を合わせるように命令及び制御してもよく、又はカメラ１２８に、関心領域における視野１２９に焦点を合わせるように命令及び制御してもよい。いくつかの実施形態では、画像アナライザ１５０は、センサ１２６とカメラ１２８との間の空間的関係データを用いて、センサ１２６に関心領域上の視野１２７を変更するように命令する。例えば、ＬｉＤＡＲの実施形態では、センサ１２６は、その視野を変更する命令を受信すると、そのＭＥＭＳ（微小電気機械システム）ミラーの構成を狭い視野１２７に変更して、ＧＥＴ１２５に関するより高解像度の撮像データを撮像することができる。

【0040】

画像アナライザ１５０は、撮像されたより高解像度の撮像データから、ＧＥＴ１２５に対応する３次元点群を作成することができる。３次元点群中の各点は、ＬｉＤＡＲヒット又は赤外線熱署名などのセンサ１２６によって撮像された「ヒット」又は検出点に対応する。いくつかの実施形態では、点間の実際の距離は１ｍｍ程度に小さくてもよい。十分に高い解像度を有する実施形態（すなわち、実際の点間距離が約２．５ｍｍ未満である場合）では、画像アナライザ１５０は、摩耗検出分析のために３次元点群データを摩耗アナライザ１５３に送る。他の実施形態では、画像アナライザ１５０は、摩耗分析のために３次元点群データをさらに洗練するための追加処理を実行してもよい。

【0041】

例えば、いくつかの実施形態では、画像アナライザ１５０は、３次元点群を密なメッシュ表面に変換することができる。画像アナライザ１５０はさらに、ＧＥＴ撮像データを摩耗アナライザ１５３に通信する前に、密なメッシュ表面を疎なメッシュ表面に変換することができる。センサ１２６によって撮像された撮像データをＣＡＤベースのＧＥＴモデルと比較するときに、３次元点群から密なメッシュ表面、次いで疎なメッシュ表面への変換は、計算コストを削減するために望ましい場合がある。３次元点群から密なメッシュ表面、そして疎なメッシュ表面への変換でも、オーバーサンプリングにより撮像データに存在する可能性のあるノイズを除去できる。

【0042】

いくつかの実施形態では、摩耗アナライザ１５３は、カメラ１２８からのより低い解像度の第１の受信撮像データを、センサ１２６からのより高い解像度の第２の受信撮像データと融合させて、ＧＥＴ１２５の観測測定に対する信頼性を得る。このような実施形態では、画像アナライザ１５０は、カメラ１２８によって撮像された左画像及び右画像に対して追加の処理を実行する。例えば、画像アナライザ１５０は、関心領域を特定すると、さらにそれらを処理して、左修正画像に対応する左エッジデジタル画像と、右修正画像に対応する右エッジデジタル画像とを作成することができる。画像アナライザ１５０は、勾配大きさ検索ベースのエッジ検出を採用してもよいが、コンピュータビジョンの分野で採用されている他のエッジ検出技術（例えば、ゼロクロスに基づくエッジ検出技術）を他の実施形態で採用して、左エッジデジタル画像及び右エッジデジタル画像を作成してもよい。

【0043】

いくつかの例では、画像アナライザ１５０は、ＧＥＴ１２５のエッジ推定を洗練し、及び／又は、撮像された画像内のＧＥＴ１２５の予想される位置を使用することによって、個々のＧＥＴ１２５を特定することができる。例えば、画像アナライザ１５０は、使用中のバケット１２０とＧＥＴ１２５の種類に対応する物理パラメータライブラリ１４５に記憶された物理パラメータセットに基づいて、バケット１２０に対するＧＥＴ１２５の予想される位置を知ることができる。この情報を用いて、画像アナライザ１５０は、選択された画像内の予想される位置に到達し、歯に最も近い画素領域を撮像することができる。次に、畳み込みフィルタ、セグメンテーション分析、エッジ検出、又は画素領域内の画素強度／暗さ分析を適用するなどのコンピュータビジョン技術に基づいて、画素領域を使用して歯をさらに特定することができる。いくつかの実施形態では、画像アナライザ１５０は、個々の歯テンプレートを用いて画素領域に適用し、コンピュータビジョン技術を用いて歯の位置をさらに洗練することができる。画像アナライザ１５０は、動的プログラミング技術を用いてエッジをさらに洗練してもよい。動的プログラミング技術は、エッジの強度に基づく平滑化、エッジが高密度ステレオ視差マップ内の穴や不確実な領域に近いかどうか、又は他のエッジ検出最適化手法を含むことができる。画像アナライザ１５０は、ＧＥＴ位置アルゴリズムの出力を使用して、ＧＥＴの位置を判定する際の信頼性を得て、ＧＥＴ位置アルゴリズムの出力に基づいてエッジ推定をさらに洗練することもできる。

【0044】

画像アナライザ１５０はまた、ＧＥＴ１２５における摩耗又は損失を判定するために、センサ１２６によって撮像されたより高解像度の撮像データと共に使用され得る摩耗アナライザ１５３である摩耗アナライザ１５３に提供される疎なステレオ視差を作成することができる。いくつかの実施形態では、画像アナライザ１５０は、（左修正画像に関連付けられた）左エッジデジタル画像と（右修正画像に関連付けられた）右エッジデジタル画像との間に疎なステレオ視差を作成し、この視差は、摩耗アナライザ１５３によって使用される。代替的に、画像アナライザ１５０は、（左修正画像に関連付けられた）第１の関心領域画像と（右修正画像に関連付けられた）第２の関心領域画像とから疎なステレオ視差を計算し、疎なステレオ視差画像からエッジを検出してもよい。

【0045】

摩耗アナライザ１５３は、画像アナライザ１５０によって生成された疎なステレオ視差を摩耗のために分析するように構成することができる。例えば、バケット１２０及びＧＥＴ１２５に関連付けられた物理パラメータセットは、摩耗していないＧＥＴ１２５又はカメラ１２８の予期される画像取得に基づいて較正された摩耗していないＧＥＴ１２５のセットに関連する予期されるデータを含むことができる。いくつかの例として、予期されるデータは、画素、実測値、ＧＥＴ１２５のＣＡＤベースのモデル、又は摩耗していないＧＥＴに関するエッジ画像の形式であり得る。摩耗アナライザ１５３は、疎なステレオ視差を受信すると、疎なステレオ視差を、センサ１２６によって撮像されたより高解像度の撮像データ（又は、いくつかの実施形態では、３次元点群に基づいて判定された密なメッシュ表面又は疎なメッシュ表面）の３次元点群と融合し、相関させ、ＧＥＴ１２５に関する測定データを判定することができる。次に、ＧＥＴ１２５の摩耗レベル又は損失を判定するために、判定された測定データを、ＧＥＴ１２５の摩耗していないバージョンに対応する予想データと比較することができる。

【0046】

いくつかの実施形態において、画像アナライザ１５０は、センサ１２６及び／又はカメラ１２８から収集された画像データにおけるマーカー点を特定する。上記の通り、マーカー点は、ＧＥＴ１２５の角部、ＧＥＴ１２５に適合するバケット１２０のエッジを参照することができ、又はバケット１２０又はＧＥＴ１２５上の物理的又は視覚的マーカを参照することができる。例えば、画像アナライザ１５０がマーカー点としてＧＥＴ１２５の角部を特定している場合、画像アナライザ１５０は、いくつかの例としての、Ｍｏｒａｖｅｃ、Ｈａｒｒｉｓ＆Ｓｔｅｐｈｅｎｓ、Ｓｈｉ－Ｔｏｍａｓｉ、Ｆｏｒｓｔｎｅｒ、マルチスケールＨａｒｒｉｓ、ガウスのラプラシアン、Ｗａｎｇ及びＢｒａｄｙ、ＳＵＳＡＮ（核を同化する最小単一値セグメント）、Ｔｒａｊｋｏｖｉｃ、Ｈｅｄｌｅｙなどのコンピュータビジョンの分野で知られている角部検出技術、及び／又は、ヘシアン技術などを実行してもよい。セグメンテーション、パターンマッチング、又はテンプレートマッチング分析を実行することに加えて、センサ１２６及び／又はカメラ１２８によって収集された画像データに基づいて、マーカー点を特定するために、他の角部検出方法が使用され得る。

【0047】

いくつかの実施形態において、画像アナライザ１５０は、コンピュータビジョン技術に加えて、又は代替として、深層学習又は機械学習技術を使用して、関心領域内のマーカー点を特定してもよい。例えば、画像アナライザ１５０は、ＧＥＴ１２５のマーカー点（例えば、角部、エッジ、マーカ）がラベル付けされているデータコーパスを使用して訓練されたマーカー点検出アルゴリズムを展開してもよい。マーカー点検出アルゴリズムは、いくつかの例として、正規化されたモノクローム画像（例えば、カメラ１２８の左画像センサ及び右画像センサによって提供される撮像データと同様）、カラー画像（例えば、カメラ１２８のカラー画像センサによって提供される撮像データと同様）、視差マップ（例えば、カメラ１２８の左画像センサ及び右画像センサによって提供される撮像データに基づいて生成された視差と同様）、ＬｉＤＡＲ点群撮像データ及び／又は赤外線撮像データを使用して訓練され得る。マーカー点検出アルゴリズムの訓練データは、作業機械１００の実施形態に配置されたセンサ１２６及びカメラ１２８の実施形態と変動し、対応し得る。

【0048】

画像アナライザ１５０はまた、画像データソースにわたって撮像データ内の画像点をマッピングする。例えば、画像アナライザ１５０は、センサ１２６によって撮像された撮像データ及び１２８によって撮像された撮像データに関連するＧＥＴ１２５の端部先端に関連する画像点を判定してもよい。画像アナライザ１５０は、これを行って、破片又は悪い照明条件によって引き起こされ得る撮像データの誤差を判定してもよい。例えば、画像アナライザ１５０は、カメラ１２８の撮像データによって撮像された別の１セットの撮像データの画像点データと比較して、センサ１２６によって撮像された１組の撮像データからの画像点データが外れ値であるように見える場合、これを無視してもよく、その逆の場合もまた同様である。いくつかの実施形態において、画像アナライザ１５０は、最近に撮像された撮像データから判定された画像点データを過去の画像点データと比較し、過去の画像点データと一致しない画像点データを無視してもよい。

【0049】

いくつかの実施形態では、疎なステレオ視差に関連する画素数を用いて、ＧＥＴの摩耗又は損失を測定することができる。画素数には、領域（例えば、ＧＥＴの総画素）、画素単位のＧＥＴの高さ、画素単位のＧＥＴの幅、ＧＥＴの高さと幅の合計が含まれるが、これはいくつかの例にすぎない。画素数の判定方法は、ＧＥＴの形状やスタイルによって変化することができる。例えば、長さが幅よりもはるかに大きいＧＥＴには、高さ画素数を使用することができ、幅が長さよりもはるかに大きいＧＥＴには、幅画素数を使用することができる。本開示の精神及び範囲を逸脱することなく、画素数を判定するための様々な方法を使用することができる。

【0050】

いくつかの実施形態において、摩耗アナライザ１５３は、判定された測定データと、摩耗していないＧＥＴ１２５に対応する予想データとの間の類似性スコアを計算することができる。類似性スコアは、ＧＥＴ１２５の判定された測定データが物理パラメータセットの予想データとどの程度一致するかの尺度を反映することができる。例えば、類似性スコアは、類似性を検出する和集合交点又はＪａｃｃａｒｄインデックス法を使用することを含むことができる。いくつかの実施形態では、類似性スコアは、類似性を検出するためのダイス係数又はＦ１スコア法を用いて判定されてもよい。類似性スコアはまた、疎なステレオ視差の画素が予想されるエッジ画像と重なる割合を反映する値も含むことができる。いくつかの実施形態では、類似性スコアは、０から１００までスケール化又は正規化されてもよい。

【0051】

類似性スコアは、ＧＥＴ１２５の摩耗の指標を提供することができる。例えば、低いスコア（例えば、０から２０の範囲）は、ＧＥＴ１２５の１つが壊れているか、又は歯の損失を示す欠損を示している可能性がある。高いスコア（例えば、８０～１００の範囲）は、歯の健康状態が良好であり、交換する必要がないことを示している可能性がある。低いスコアと高いスコアの間のスコアは、歯の摩耗レベルを示すことができ、より高いスコアは、より低いスコアよりも歯の交換のリードタイムが長いことを示すことができる。

【0052】

いくつかの実施形態では、摩耗アナライザ１５３は、ＧＥＴ１２５に関する測定データを経時的に収集し、収集された測定データを用いて、ＧＥＴ１２５の摩耗レベル及びＧＥＴ１２５の摩耗傾向を判定することができる。摩耗アナライザ１５３は、収集された測定データをＧＥＴ摩耗レベルストレージ１５７に記憶してもよい。例えば、作業機械１００は、ジョブのために数日間にわたって作業現場で動作し続けることができる。作業機械１００がジョブ中に材料を移動させると、カメラ１２８は、ステレオ画像バケット１２０とＧＥＴ１２５とを摩耗検出コンピュータシステム１１０に提供し、画像アナライザ１５０は、ＧＥＴ１２５のために疎なステレオ視差を作成する。摩耗アナライザ１５３は、ジョブの期間にわたるいくつかの時点でのＧＥＴ１２５に関連する測定データ（例えば、画素数、メートル法測定、インチ法測定）をマッピングすることができる。バケット１２０及びＧＥＴ１２５が作業現場で材料と係合するにつれて、ＧＥＴ１２５は摩耗によりサイズが減少することが予想される。したがって、ＧＥＴ１２５に関連する測定データも時間とともに減少し、時間の経過に伴う画素数は摩耗傾向を反映することにある。摩耗アナライザ１５３は、特定の時点における摩耗傾向を用いて、特定の時点におけるＧＥＴ１２５の摩耗レベルを判定することができる。ＧＥＴ１２５の摩耗レベルは、ＧＥＴ１２５の交換が必要であることを示している場合もあれば、ＧＥＴ１２５の１つ以上の損失を示している場合もある。いくつかの実施形態では、ＧＥＴ１２５に関連する測定データはメモリ１４３に記憶されることができ、複数のジョブ及び複数の作業現場に適用されることができ、摩耗傾向はＧＥＴ１２５の寿命に適用することができる。このような実施形態では、バケット１２０又はＧＥＴ１２５が交換されると、摩耗アナライザ１５３によって撮像されたＧＥＴ１２５に関連する画素数をリセットすることができ、摩耗アナライザ１５３は、ゼロ時点からＧＥＴ１２５の画素数の収集を再開することができる。

【0053】

摩耗アナライザ１５３は、ＧＥＴ１２５によって経時的に測定された測定データに基づいて摩耗傾向を判定するので、摩耗アナライザ１５３は、ＧＥＴ１２５の交換が必要になる可能性がある場合の予測も作成することができる。例えば、摩耗アナライザ１５３は、ＧＥＴ１２５に関連する測定データが、ＧＥＴ１２５が１０作業時間ごとに１％の寿命を失うことを示しており（測定データは１０作業時間ごとに１％減少するため）、ＧＥＴ１２５が８００作業時間使用されていると判定した場合、摩耗アナライザ１５３は、２００時間以内にＧＥＴ１２５を交換する必要があると判定することができる。

【0054】

いくつかの実施形態では、摩耗検出コンピュータシステム１１０は、警告マネージャ１５５を含むことができる。警告マネージャ１５５は、摩耗アナライザ１５３と通信することができ、摩耗アナライザ１５３によって特定された摩耗傾向及び摩耗レベルを監視することができる。警告マネージャ１５５は、摩耗アナライザ１５３によって特定された情報に基づいて操作者制御パネル１３０にメッセージ警告を提供することができる。例えば、摩耗レベルが摩耗閾値に達した場合、警告マネージャ１５５は、操作者制御パネル１３０のディスプレイ１３３に示された警告を生成することができる。閾値は、極端なＧＥＴ摩耗、又は場合によっては完全なＧＥＴ損失を示す値に対応することができる。警告は、作業機械１００の操作者に、１つ以上のＧＥＴ１２５が交換を必要としていることを示すことができる。摩耗閾値は、実施形態によって異なる可能性があり、ＧＥＴ１２５の種類及びＧＥＴ１２５が係合する作業現場の材料に依存し得る。

【0055】

警告マネージャ１５５はまた、ＧＥＴ１２５が２週間以内に交換する必要があるなど、将来のある時点でＧＥＴ１２５の交換が必要になる可能性があるという警告を提供することができる。交換警告は、ＧＥＴ１２５の摩耗傾向予測に関する情報を含むことができる。例えば、交換警告は、摩耗傾向の定量化（例えば、ＧＥＴ１２５が１日当たり２％摩耗している）、歯が使用された時間、又は使用データに基づいてＧＥＴ１２５が摩耗閾値に達すると予想される日付又は時間を含むことができる。

【0056】

いくつかの実施形態では、警告マネージャ１５５は、摩耗アナライザ１５３によって特定された摩耗傾向を監視し、作業機械１００の操作者に現在の摩耗レベルを通知するように摩耗レベル値をディスプレイ１３３に提供することができる。例えば、摩耗傾向がＧＥＴ１２５が６０％摩耗していることを示している場合、警告マネージャ１５５は、摩耗傾向に基づいて、交換が必要になる前にＧＥＴ１２５の寿命が４０％残っていることを示す表示を提供することができる。ディスプレイ１３３は、また、歯が破損したこと、歯の損失を示すこと（例えば、ＧＥＴ１２５の１つ以上の寿命が２０％未満であるとき）を操作者に知らせることもできる。

【0057】

いくつかの実施形態において、警告マネージャ１５５は、摩耗レベル又はＧＥＴ１２５の測定値を示すディスプレイ１３３上に摩耗レベルをレンダリングするようにする命令を生成することができる。例えば、摩耗アナライザ１５３が、処理された撮像データに基づいて、ＧＥＴ１２５のうちの１つが現在３２５ｍｍであると判定した場合、警告マネージャ１５５は、プロセッサによって実行されると、ディスプレイ１３３に、その１つのＧＥＴが現在３２５ｍｍであることを示すようにする命令を生成してもよい。

【0058】

いくつかの実施形態において、摩耗検出コンピュータシステム１１０は、遠隔監視コンピュータシステム１６０と通信することができる。遠隔監視コンピュータシステム１６０は、遠隔ディスプレイ１６３、１つ以上の遠隔プロセッサ１６５、及び遠隔メモリ１７０を含むことができる。遠隔監視コンピュータシステム１６０は、１つ以上の作業機械１００が動作する作業現場に配置されることができ、作業現場における摩耗検出コンピュータシステム１１０の関連の時点と通信してもよい。遠隔監視コンピュータシステム１６０は、複数の作業機械１００のためにＧＥＴ摩耗レベルを表示し、作業現場全体でのＧＥＴの健康状態の監視を容易にするために、ＧＥＴ摩耗情報を記憶するように構成することができる。例えば、遠隔ディスプレイ１６３は、１つの場所に各ＧＥＴ１２５の摩耗レベルを表示して、監視を容易にするために、１つ以上の作業機械１００に対応するユーザインターフェースを表示するように構成されてもよい。遠隔監視コンピュータシステム１６０は、ノートパソコン、デスクトップコンピュータシステム、又はモバイルデバイスとして実装されてもよい。

【0059】

遠隔監視コンピュータシステム１６０は、１つ以上の遠隔プロセッサ１６５を含む。遠隔プロセッサ１６５は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ＣＰＵ、ＧＰＵ又はＦＰＧＡのある組み合わせ、又は任意の他の種類の処理ユニットのうちの１つ以上を含むことができる。遠隔プロセッサ１６５は、算術演算及び論理演算を実行する複数の算術論理ユニット（ＡＬＵ）と、プロセッサキャッシュメモリから命令及び記憶内容を抽出した後、プログラム実行中に必要に応じてＡＬＵを呼び出して命令を実行する１つ以上の制御ユニット（ＣＵ）とを有することができる。遠隔プロセッサ１６５は、一般的な種類の揮発性（ＲＡＭ）及び／又は不揮発性（ＲＯＭ）メモリに関連付けられ得る、遠隔メモリ１７０に記憶されたアプリケーション、ルーチン又はプロセスのドライバ及び他のコンピュータ実行可能命令を実行する役割も負ってもよい。

【0060】

遠隔監視コンピュータシステム１６０はまた、遠隔メモリ１７０を含む。遠隔メモリ１７０は、揮発性（例えば、ＲＡＭ）、不揮発性（例えば、ＲＯＭ、フラッシュメモリなど）、又はこれらのいずれかの組み合わせとすることができるシステムメモリを含むことができる。遠隔メモリ１７０は、コンピュータ可読命令、データ構造、プログラムモジュール、又は他のデータなどの情報を記憶するための任意の方法又は技術によって実現される、揮発性及び不揮発性、取り外し可能及び取り外し不可媒体などの非一時的なコンピュータ可読媒体を含むこともできる。システムメモリ、取り外し可能ストレージ、及び取り外し不可ストレージは、非一時的なコンピュータ可読媒体の例である。非一時的なコンピュータ可読媒体の例としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ又は他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多機能ディスク（ＤＶＤ）又は他の光記憶装置、カセットテープ、磁気テープ、磁気ディスク記憶装置又は他の磁気記憶装置、又は必要な情報を記憶するために使用され、遠隔監視コンピュータシステムによってアクセスされ得る他の非一時的媒体が挙げられるが、これらに限定されない。

【0061】

遠隔メモリ１７０は、遠隔ディスプレイ１６３を命令及び制御し、遠隔ログマネージャ１７５を実装するための、コンピュータが実行可能な命令を含むデータを、遠隔監視コンピュータシステム１６０に格納する。遠隔メモリ１７０は、遠隔監視コンピュータシステム１６０の動作を可能にするために、遠隔プロセッサ１６５によって実行可能な追加のコンポーネント、モジュール、又は他のコードを記憶することもできる。例えば、遠隔メモリ１７０は、入出力機能、ソフトウェアドライバ、オペレーティングシステム、又は他のコンポーネントに関するコードを含むことができる。

【0062】

遠隔監視コンピュータシステム１６０は、ＧＥＴの健康状態に関連する作業現場のマネージャのための監視出力を生成し、作業現場における１つ以上の作業機械１００のＧＥＴ摩耗レベルに関連する警告及び警報を受信する遠隔ディスプレイ１６３を含む。遠隔ディスプレイ１６３は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、陰極線管（ＣＲＴ）ディスプレイ、又は当技術分野で知られている他の種別のディスプレイを含むことができる。いくつかの例では、遠隔ディスプレイ１６３は、スピーカ又はヘッドホン又は周辺スピーカ用のポート等、音声出力を含む。遠隔ディスプレイ１３３は、マイクや周辺マイクのためのポートなどの音声入力デバイスを含むこともできる。いくつかの実施形態では、遠隔ディスプレイ１３３は、入力デバイスとしても機能するタッチ感知ディスプレイを含む。

【0063】

ディスプレイ１３３（作業機械１００上）と同様に、遠隔監視コンピュータシステム１６０の遠隔ディスプレイ１６３は、作業現場で摩耗コンピュータ検出システム１１０によってレンダリングされたＧＥＴ１２５の摩耗レベル又は損失に関する情報を表示することができる。例えば、遠隔ディスプレイ１６３は、１つ以上の作業機械１００のＧＥＴ１２５の算出した測定値を表示してもよい。計算された測定値は、いくつかの実施形態において、ＧＥＴ１２５の健康状態を反映するようにカラーコード化されてもよい。例えば、計算された測定値は、ＧＥＴ１２５が許容可能な摩耗レベルを有すると見なされる場合は緑の背景で表示されてもよく、ＧＥＴ１２５の交換が必要に近づいている場合は黄色の背景で表示されてもよく、ＧＥＴ１２５が破損又は摩耗して交換が必要になるまでに達した場合は赤で表示されてもよい。ディスプレイ１３３は、作業現場における作業機械１００の各摩耗コンピュータ検出システム１１０によってレンダリングされた、バケット１２０、ＧＥＴ１２５、又はＧＥＴ１２５に関連する視野１２７、１２９内の関心領域の画像を示すこともできる。

【0064】

摩耗検出コンピュータシステム１１０は、ＧＥＴ１２５が広範囲の摩耗により交換が必要になった場合、又は破損した場合に、作業機械１００の操作者に通知することを可能にする。摩耗検出コンピュータシステム１１０によって採用され、以下により詳細に説明される処理は、５ｍｍ未満のスケールでのＧＥＴ摩耗の高精度かつ正確な測定を提供し、これにより、操作者は、極端なＧＥＴ摩耗又はＧＥＴ損失の場合に作業機械１００の動作を停止することができる。摩耗検出コンピュータシステム１１０によって展開される処理及び技術は、様々な作業機械に使用することができる。

【0065】

例えば、図２は、ホイールローダ作業機械２０１が動作する例示的な環境２００の概略側面図を示す図である。ホイールローダ作業機械２０１は、バケット２２０と１つ以上のバケット２２５とを含むことができる。図２に示されるように、ＧＥＴ２２５及びバケット２２０は、掘削－ダンプサイクルのダンプ終了中に（センサ２２６の）視野２２７及び（カメラ２２８の）視野２２９内にあるように、センサ２２６及びカメラ２２８が配置される。その結果、このような実施形態では、ＬｉＤＡＲセンサ２２６及びカメラ２２８は、バケット２２０が掘削－ダンプサイクルのダンプ終了時に停止しているときに撮像データを撮像するように構成され得る。

【0066】

別の例として、図３は、油圧採掘ショベル作業機械３０１が動作している例示的な環境３００の概略側面図を示す図である。油圧採掘ショベル作業機械３０１は、バケット３２０と、１つ以上のバケット３２５とを含むことができる。ホイールローダ作業機械２０１のセンサ２２６及びカメラ２２８の位置とは対照的に、センサ３２６及びカメラ３２８は、掘削－ダンプサイクルの掘削終了中にＧＥＴ３２５が（センサ３２６の）視野３２７及び（カメラ３２８の）視野３２９内にあるように配置される。このような実施形態では、センサ３２６及びカメラ３２８は、バケット３２０が掘削－ダンプサイクルの掘削端で停止している間に撮像データを撮像するように構成されてもよい。

【0067】

さらに別の例では、図４は、電動ロープショベル作業機械４０１が動作している環境４００の例の概略側面図を示す図である。電動ロープショベル作業機械４０１は、バケット４２０と、１つ以上のＧＥＴ４２５と、センサ４２６と、カメラ４２８とを含むことができる。図４に示すように、ＧＥＴ４２５は、掘削－ダンプサイクルの中間点において（センサ４２６の）視野４２７及び（カメラ４２８の）視野４２９内に位置することができるが、バケット４２０がセンサ４２６及びカメラ４２８に相対的に近いときに位置する。このような実施形態では、センサ４２６及びカメラ４２８は、バケット４２０が視野４２７及び視野４２９に関連する位置範囲に入ったときに撮像データを撮像するように構成することができる。

【0068】

図２～４は、特定の作業機械及びセンサ／カメラの位置の例を示しているに過ぎないが、センサ２２６、３２６、４２６及びカメラ２２８、３２８、４２８は、それぞれの視野２２７、３２７、４２７、２２９、３２９、４２９が作業機械２０１、３０１、４０１の掘削－ダンプサイクルの任意の時点で画像データを撮像するように配置され得ることに留意されたい。さらに、センサ２２６、３２６、４２６及びカメラ２２８、３２８、４２８の記載された位置決めは、いくつかの実施形態において組み合わせることができる。例えば、本開示は、掘削－ダンプサイクルの開始、中間、及び／又は終了に向けられた視野を有するセンサ及びカメラを有する、ホイールローダ作業機械２０１、油圧採掘ショベル作業機械３０１、及び電動ロープショベル作業機械４０１の実施形態を考慮する。

【0069】

図５は、コンピュータビジョン技術を使用した関心領域検出処理の撮像データの流れの一例を示す画像データフロー図５００を示す。画像データフロー図５００は、ＧＥＴ１２５に関してカメラ１２８によって撮像された撮像データ中の関心領域が検出されたときに、画像アナライザ１５０によって受信され、処理され、生成された画像を含む。画像データフロー図５００は、カメラ１２８によって撮像された左画像５１０及び右画像５２０を含む。左画像５１０は、カメラ１２８の左画像センサによって撮像された修正画像であってもよい。右画像５２０は、カメラ１２８の右画像センサによって撮像された修正画像であってもよい。左画像５１０及び右画像５２０の両方は、バケット１２０及びＧＥＴ１２５の画像を含む。

【0070】

画像アナライザ１５０は、視差マップ５３０を作成するために左画像５１０及び右画像５２０を処理することができる。視差マップ５３０は、左画像５１０の各画素と右画像５２０の各画素との間の視差を示す高密度ステレオ視差マップであってもよい。視差マップ５３０と、物理パラメータライブラリ１４５から得られ、バケット１２０、ＧＥＴ１２５、及び／又は作業機械１００に関連付けられた物理パラメータセット５３５とを用いて、画像アナライザ１５０は、３次元点群５４０を構築することができる。３次元点群５４０は、左画像５１０と右画像５２０との間の視差を３次元的に示す。次に、画像アナライザ１５０は、左画像５１０、右画像５２０、又はその両方においてＧＥＴ１２５を含む関心領域５５０を特定するために、３次元点群５４０に対してセグメンテーション分析を実行することができる。いくつかの実施形態において、画像アナライザ１５０は、関心領域５５０を用いて、ＧＥＴ１２５のためのより高解像度の撮像データを撮像するようにセンサ１２６を命令し制御することができる。

【0071】

図６は、深層学習技術を使用した関心領域検出処理のための撮像データの流れの例を示す画像データフロー図６００を示す。上述の画像データフロー図５００と同様に、関心領域検出処理の出力は、画像アナライザ１５０が画像データをさらに解析するために使用するＧＥＴ１２５に対応する関心領域５５０となる。しかし、画像アナライザ１５０は、画像データフロー図５００とは異なり、深層学習技術を利用して画像データフロー図６００における関心領域５５０を検出する。

【0072】

画像データフロー図６００は、カメラ１２８によって撮像された画像６１０を含む。画像６１０は、カメラ１２８の左画像センサ又は右画像センサのいずれかによって撮像された修正画像であり得る、又はセンサ１２６から撮像された画像データであり得る。画像アナライザ１５０は、深層学習ＧＥＴ検出アルゴリズムを画像６１０に適用することができる。深層学習ＧＥＴ検出アルゴリズムは、ＧＥＴが個別に特定され、ラベル付けされ、及び／又はＧＥＴグループが個別に特定され、ラベル付けされた画像データコーパスで訓練されたニューラルネットワークを採用することができる。画像アナライザ１５０は、深層学習ＧＥＴ検出アルゴリズムを画像６１０に適用すると、個々のＧＥＴ１２５を含む画像の複数の個別ＧＥＴバウンディングボックス６２０を特定することができる。いくつかの実施形態では、画像アナライザ１５０は、個々のＧＥＴバウンディングボックス６２０を含むＧＥＴグループバウンディングボックス６３０を特定することもできる。画像アナライザ１５０がＧＥＴグループバウンディングボックス６３０を特定すると、画像アナライザ１５０は、その中の画素を関心領域５５０として抽出することができる。図６は、画像６１０からの関心領域５５０の検出を示しているが、これは、カメラ１２８の左画像センサ、カメラ１２８の右画像センサ、カメラ１２８のカラー画像センサ、又はセンサ１２６によって撮像された画像データを表してもよく、いくつかの実施形態において、画像データフロー図６００は、特定の時点においてこれらのうちの２つ以上に適用されてもよい。例えば、画像アナライザ１５０は、カメラ１２８の左画像センサ、カメラ１２８の右画像センサ、カメラ１２８のカラー画像センサ、及び／又は、特定の時間においてセンサ１２６によって撮像された画像データのうちの２つ以上から撮像データの関心領域を検出してもよい。

【0073】

図７は、深層学習技術を使用した関心領域検出処理のための撮像データの流れの例を示す画像データフロー図７００を示す。上述の画像データフロー図６００と同様に、関心領域検出処理の出力は、画像アナライザ１５０が画像データをさらに解析するために使用するＧＥＴ１２５に対応する関心領域５５０となる。しかし、画像データフロー図５００とは異なり、図７に関して説明した深層学習ＧＥＴ検出アルゴリズムは、視差マップを含むデータのコーパスを使用して訓練され、２つ以上の画像センサ（例えば、カメラ１２８の左画像センサ及び右画像センサ）から生成された視差マップを使用して関心領域が検出される。

【0074】

画像データフロー図７００は、カメラ１２８又はセンサ１２６によって撮像された第１の画像７１０及び第２の画像７２０を含む。１つの単なる例として、第１の画像７１０は、カメラ１２８の左画像センサによって撮像された修正画像であり得、第２の画像７２０は、カメラ１２８の右画像センサによって撮像された修正画像であり得るが、第１の画像７１０及び第２の画像７２０は、必ずしもカメラ１２８から受信される必要はない。別の例として、第１の画像７１０又は第２の画像７２０のいずれか１つは、センサ１２６から撮像された赤外線画像データであり得る。さらに他の例として、第１の画像７１０は、センサ１２６によって撮像され得るが、第２の画像７２０は、カメラ１２８によって撮像され得る、又はその逆であり得る。第１の画像７１０と第２の画像７２０の両方は、バケット１２０とＧＥＴ１２５の画像が含む。画像アナライザ１５０は、第１の画像７１０および第２の画像７２０を処理して、視差マップ７３０を作成してもよい。視差マップ７３０は、第１の画像７１０の各画素と第２の画像７２０の各画素との間の視差を示す高密度ステレオ視差マップであり得る。

【0075】

画像アナライザ１５０は、深層学習ＧＥＴ検出アルゴリズムを視差マップ７３０に適用することができる。深層学習ＧＥＴ検出アルゴリズムは、ＧＥＴが個別に特定及びラベル付けされている画像データのコーパス、及び／又は、第１の画像７１０及び第２の画像７２０内で撮像されたバケット１２０及びＧＥＴ１２５の種類に対応する視差マップ内で個別に特定及びラベル付けされたＧＥＴグループで訓練されたニューラルネットワークを採用してもよい。画像アナライザ１５０は、深層学習ＧＥＴ検出アルゴリズムを視差マップ７３０に適用すると、個々のＧＥＴ１２５を含む画像の複数の個別ＧＥＴバウンディングボックス７４０を特定することができる。いくつかの実施形態では、画像アナライザ１５０は、個々のＧＥＴバウンディングボックス７４０を含むＧＥＴグループバウンディングボックス７５０を特定することもできる。画像アナライザ１５０がＧＥＴグループバウンディングボックス７５０を特定すると、画像アナライザ１５０は、その中の画素を関心領域５５０として抽出することができる。

【0076】

図８は、センサ１２６によって撮像された撮像データの関心領域検出処理のための撮像データの流れの一例を示す画像データフロー図８００を示す。以下の図８の説明は、センサ１２６のＬｉＤＡＲ実施形態を例として使用するが、他の例も考えられる。センサ１２６によって画像データフロー図８００に従って撮像された撮像データは、画像８１０に示される視野に実質的に対応する。図示のように、視野にはバケット１２０とＧＥＴ１２５が含まれている。

【0077】

センサ１２６が、例えばバケット１２０やＧＥＴ１２５のいずれかに対応する表面などの物体表面を検出した場合に、センサ１２６は、複数のＬｉＤＡＲ「ヒット」を含むＬｉＤＡＲデータ撮像を行う。ＬｉＤＡＲヒットは、３次元点群８２０として表すことができ、３次元点群８２０の各点はＬｉＤＡＲヒットに対応する。画像アナライザ１５０は、セグメンテーション分析又は他の物体認識分析技術を実行することにより、３次元点群８２０に基づいて関心領域５１０を判定する。いくつかの実施形態では、画像アナライザ１５０は、物理パラメータセット５３５を用いて、関心領域５５０を特定することができる。例えば、画像アナライザ１５０は、バケット歯テンプレート、ＧＥＴ１２５のＣＡＤベースのモデル、又はパターンマッチング技術を使用して、３次元点群８２０内の関心領域５５０を特定することができる。

【0078】

図９は、マーカー点特定を使用する摩耗検出処理のための撮像データの流れの一例を示す画像データフロー図９００を示す。上記のように、ＧＥＴ１２５の特徴は、マーカー点とみなすことができ、摩耗検出コンピュータシステム１１０は、画像データ内のマーカー点、又はＧＥＴ１２５に対応する画像データ内の関心領域の特定に基づいて、ＧＥＴ１２５の測定値を判定してもよい。マーカー点は、例えば、ＧＥＴ１２５のエッジ、角部、又は特定の角度を含むことができる。データフロー図９００は、１つの関心領域（例えば、関心領域９１０）を使用したマーカー点の特定のためのデータの流れを示しているが、動作において、摩耗検出コンピュータシステム１１０は、センサ１２６及び／又はカメラ１２８から受信した複数の画像データのセットに対して、時点毎に、データフロー図９００に従って撮像データを処理してもよい。

【0079】

画像アナライザ１５０が関心領域９１０を特定すると、関心領域９１０におけるマーカー点９２０を特定するのを補助するために、物理パラメータセット５３５を参照し、ＧＥＴ１２５に対応する関心領域９１０内のマーカー点９２０を特定する。例えば、物理パラメータセット５３５は、関心領域９１０に対して角部検出分析を実行する際に画像アナライザが使用し得るＧＥＴ１２５の各角部の角度のサイズ又は形状を含むことができる。別の例として、物理パラメータセット５３５は、関心領域９１０へのセグメンテーション解析で画像アナライザ１５０が適用するＧＥＴ１２５内のマーカー点（例えば、角部、マーク、溶接、又は他の識別子の画像）に一致するテンプレートを含むことができる。関心領域９１０がＩＲカメラによって撮像された画像データに対応する実施形態において、物理パラメータセット５３５は、ＧＥＴ１２５の予想温度値及びＧＥＴ１２５が使用される作業環境に関連する温度情報を含むことができる。

【0080】

画像アナライザ１５０がマーカー点９２０を判定すると、ＧＥＴ端部９３０を特定及び／又は他の方法で判定することができる。ＧＥＴ端部９３０は、ＧＥＴ１２５の長さに対応し、一方の端部は、ＧＥＴ１２５のバケット側エッジ（例えば、ＧＥＴ１２５がバケット１２０と接触する場所）に対応し、他方の端部は、ＧＥＴ１２５の前エッジ又は係合エッジ（例えば、ＧＥＴ１２５が地面と係合する場所）に対応する。ＧＥＴ端部９３０の判定に基づいて、摩耗アナライザ１５３は、関心領域９１０内にあるＧＥＴ１２５についてのＧＥＴ測定値９４０を判定することができる。例えば、摩耗アナライザ１５３は、特定のＧＥＴ１２５について、ＧＥＴ端部９３０間の画素数を判定し、次いで、画素数を距離測定（例えば、メートル法又はヤードポンド法の実世界距離測定）に変換してもよい。

【0081】

図１０は、ＧＥＴ１２５の摩耗を検出するための例示的な摩耗検出処理１０００を表すフローチャートを示す。いくつかの実施形態では、処理１０００は、画像アナライザ１５０及び摩耗アナライザ１５３によって実行されてもよい。処理１０００は、図５～図９の画像データフローに一般的に従い、これらの図の説明、及び図１に関して上述した画像アナライザ１５０及び摩耗アナライザ１５３の説明と一致するように解釈されるべきである。以下の議論では、画像アナライザ１５０または摩耗アナライザ１５３によって実行される処理１０００の態様について説明するが、摩耗検出コンピュータシステム１１０の他のコンポーネントは、本開示の精神および範囲から逸脱することなく、処理１０００の１つまたは複数のブロックを実行することができる。

【0082】

処理１０００は、ステップ１０１０で始まり、画像アナライザ１５０が作業機械１００に関連付けられた複数のセンサから撮像データを受信する。複数のセンサは、例えば、センサ１２６及びカメラ１２８の左モノクロ、右モノクロ、又はカラー画像センサを含むことができる。いくつかの実施形態において、複数のセンサのそれぞれは、異なる視野を有する。例えば、カメラ１２８の左モノクロ画像センサとカメラ１２８の右モノクロ画像センサは、ステレオ撮像に必要な視差を作成するために、わずかに異なる視野を有し得る。別の例として、センサ１２６及びカメラ１２８は、異なる角度からＧＥＴ１２５に関連する画像データを撮像するために、作業機械１００上で異なる向きを有してもよい。画像アナライザ１５０は、作業機械の掘削－ダンプサイクル中に複数のセンサの各々から撮像データを受信し、画像アナライザ１５０は、分析目的で複数のセンサの各々の撮像データを相関させてもよい。例えば、処理１０００の１回の反復について、画像アナライザ１５０は、複数のセンサのうちの１つから第１の画像データを受信し、複数のセンサのうちの別のセンサから第２の画像データを受信し、それらを一緒に処理して、１つの掘削－ダンプサイクルのＧＥＴ摩耗測定値を判定してもよい。

【0083】

ステップ１０２０において、画像アナライザ１５０は、ステップ１０１０において複数のセンサから受信した画像データ内のそれぞれの関心領域を特定する。例えば、画像アナライザ１５０は、複数のセンサのうちの第１のセンサから受信した第１の画像データ内の第１の関心領域と、複数のセンサのうちの第２のセンサから受信した第２の画像データ内の第２の関心領域とを特定するために、コンピュータビジョン技術を使用してもよい（例えば、図５を参照）。画像アナライザ１５０は、複数のセンサのうちの第１のセンサから受信した第１の画像データ内の第１の関心領域と、複数のセンサのうちの第２のセンサから受信した第２の画像データ内の第２の関心領域とを特定するために、深層学習技術を使用してもよい（例えば、図６、図７を参照）。複数のセンサのうちの１つがＬｉＤＡＲセンサである場合、画像アナライザ１５０は、画像データ内の関心領域を判定するために、点群分析方法を使用してもよい（例えば、図８を参照）。

【0084】

ステップ１０３０において、画像アナライザ１５０は、関心領域内の１つ以上の画像点も特定してもよい（例えば、図９を参照）。いくつかの例では、ステップ１０３０において画像アナライザ１５０によって特定された画像点は、図１及び図９に関して上述したように、ＧＥＴ１２５のエッジに関連付けられる。いくつかの実施形態において、画像アナライザ１５０は、ＧＥＴ１２５を説明する幾何学的パラメータを使用して、画像点を判定する。幾何学的パラメータは、ＧＥＴ１２５の角部（例えば、前エッジの側エッジに対する相対長さ、角部の角度、角部の形状）を記述してもよく、又はＧＥＴ１２５の全体的なサイズ、形状、又は厚さなどの他の物理的側面を記述してもよい。

【0085】

ステップ１０４０において、摩耗アナライザ１５３は、ステップ１０３０で特定された画像点に基づいてＧＥＴ測定値を判定する。摩耗アナライザ１５３は、画像点間の画素数と距離測定値とを相関付けて（例えば、図９を参照）、ＧＥＴ測定値を判定してもよい。いくつかの実施形態において、摩耗アナライザ１５３は、画素におけるＧＥＴ測定値を追跡及び記録してもよい。ステップ１０４０で判定されたＧＥＴ測定値に基づき、摩耗アナライザ１５３は、ステップ１０５０で、ＧＥＴの摩耗レベル又は損失を判定する。摩耗レベル又は損失は、現実世界の測定（例えば、ミリメートル）、画素単位、又は予想されるサイズのパーセンテージ単位で定量化できる（例えば、ＧＥＴ１２５ベースのＣＡＤベースのモデル）。上述したように、摩耗アナライザ１５３は、摩耗していない状態のＧＥＴ１２５のＣＡＤベースモデルを使用し、これを観察されたＧＥＴ１２５測定値と比較して、ＧＥＴ摩耗レベル又は損失を判定することができる。摩耗アナライザ１５３はまた、ＧＥＴの過去の測定データを用いて、経時的な摩耗レベルを判定するか、又は摩耗レベル傾向を判定して、ＧＥＴ１２５の交換が必要な時期を予測することができる。いくつかの実施形態では、摩耗アナライザ１５３は、摩耗が閾値を超えたときに損失を判定するように構成されてもよい。例えば、そのサイズが５０％以上減少した場合、又は一定の測定量（例えば、長さが５ｃｍ）が減少した場合、摩耗アナライザはＧＥＴの損失を判定することができる。摩耗アナライザ１５３は、ＧＥＴの摩耗が閾値に達したとき又はそれを超えたときに警告を発することができる。

【0086】

いくつかの実施形態では、画像アナライザ１５０及び摩耗アナライザ１５３は、１つの掘削－ダンプサイクル内で、処理１０００を数回実行する。このような実施形態において、摩耗アナライザ１５３は、現在の掘削－ダンプサイクルにおいて判定された（ステップ１０４０）ＧＥＴ測定値を、同じ掘削－ダンプサイクル内で以前に（又は後に）判定された１つ以上のＧＥＴ測定値、又は履歴的測定値と比較し、現在判定されたＧＥＴ測定値が一致しているかどうかを判定してもよい。測定値が不一致である場合（例えば、いくつかの閾値によって同一の掘削－ダンプサイクル内の他のＧＥＴ測定値と異なる場合）、摩耗アナライザ１５３は、現在の測定をノイズ又は誤ったデータとして破棄することができる。閾値は、環境、作業機械、又はＧＥＴの種類に基づいて構成することができる。例えば、長いＧＥＴで柔らかい材料を掘削する作業機械に対しては、閾値を低い値（例えば、１０％未満）に設定してもよく、短いＧＥＴで硬い材料を掘削する作業機械に対しては、閾値をより高い値（例えば、２０％超）に設定してもよい。また、いくつかの実施形態において、画像アナライザ１５０及び摩耗アナライザ１５３は、判定されたＧＥＴ測定値がノイズであるかどうかを判定するために処理１０００を実行する際の掘削－ダンプサイクル内の時点も考慮し得る。

【0087】

図１１は、ＧＥＴ１２５の摩耗を検出するための例示的な摩耗検出処理１１００を表すフローチャートを示す。いくつかの実施形態では、処理１１００は、画像アナライザ１５０及び摩耗アナライザ１５３によって実行されてもよい。処理１１００は、図５～図９の画像データフローに一般的に従い、これらの図の説明、及び図１に関して上述した画像アナライザ１５０及び摩耗アナライザ１５３の説明と、摩耗検出処理１０００の説明と一致するように解釈されるべきである。以下の議論では、画像アナライザ１５０または摩耗アナライザ１５３によって実行される処理１１００の態様について説明するが、摩耗検出コンピュータシステム１１０の他のコンポーネントは、本開示の精神および範囲から逸脱することなく、処理１１００の１つまたは複数のブロックを実行することができる。

【0088】

処理１１００は、作業機械１００の１つの掘削－ダンプサイクル内、又は作業機械１００の複数の掘削－ダンプサイクル内／を超えて実行することができる。いくつかの実施形態では、画像アナライザ１５０及び摩耗アナライザ１５３は、単一の掘削－ダンプサイクル内で処理１１００を数回実行する。

【0089】

掘削－ダンプサイクルの開始後（ブロック１１０５）、ステップ１１１０において、画像アナライザ１５０は、センサ１２６又はカメラ１２８から第１の画像データを受信する。撮像された第１の画像データを処理した後（単なる１つの非限定的な例としての処理１０００を使用する）、摩耗アナライザ１５３は、ブロック１１１５においてＧＥＴ１２５に対する第１の摩耗測定値を判定し、それからＧＥＴ１２５に対する第１の摩耗レベルを判定する。摩耗アナライザ１５３は、図１、９、及び１０に関して上述した技術を単なるいくつかの例として使用して、第１の摩耗測定値及び第１の摩耗レベルを判定してもよい。

【0090】

摩耗アナライザ１５３がＧＥＴ１２５の第１の摩耗レベルを判定した後、摩耗アナライザ１５３が、第１の摩耗レベルがＧＥＴ交換条件を示すかどうか、例えば、摩耗アナライザ１５３が作業機械１００の操作者にＧＥＴの交換が必要であることを通知する警告を生成すべきかどうかを判定する。第１の摩耗レベルがＧＥＴ交換条件を示すかどうかの判定は、いくつかの実施形態において２つの判定を含むことができる。判定の一つは、摩耗レベルが警告の必要性を示すかどうかである（ステップ１１２７）。摩耗レベルが警告の必要性を示していない場合（ステップ１１２７：ＮＯ）、処理１１００は終了し、本開示の実施形態と一致する同じ掘削－ダンプサイクル内の別の時点で繰り返されてもよい（ブロック１１９５）。しかしながら、摩耗レベルが警告の必要性を示している場合（ステップ１１２７：ＹＥＳ）、処理は他の判定（ステップ１１２９）に進み、第１の画像データが掘削－ダンプサイクルの後半で撮像されたかどうかを判定する。いくつかの実施形態において、他の判定は、掘削－ダンプサイクル内の「遅延点」に基づいてもよい。第１の画像データが遅延点の後に受信された場合、摩耗アナライザ１５３は、掘削－ダンプサイクルが遅れていると判定してもよく（ステップ１１２９：ＹＥＳ）、処理１１００はステップ１１３５に進み、摩耗アナライザ１５３は、警告を生成する。第１の画像データが遅延点の前に受信された場合、摩耗アナライザ１５３は、掘削－ダンプサイクルが遅いものでないと判定してもよく（ステップ１１２９：ＮＯ）、処理１１００はステップ１１４０に進む。いくつかの実施形態において、遅延点は、作業機械１００の操作者によって設定されてもよく、遅延点は、デフォルト設定を有してもよい。例えば、デフォルト設定は、掘削－ダンプサイクルの中間点又は５０％点である。掘削－ダンプサイクルの終了に近い時に撮像された画像データは、サイクルの後半に撮像されるが、掘削－ダンプサイクルの開始に近い時に撮像された画像データは、掘削－ダンプサイクルの前半に撮像される（遅くない）。

【0091】

摩耗アナライザ１５３が、第１のＧＥＴ摩耗レベルが警告の必要性を示しており、掘削－ダンプサイクルの後半で第１の画像データを受信しなかったと判定した場合、警告の必要性を確認するために、ＧＥＴ１２５の画像データの第２のセットが収集される。ステップ１１４０において、画像アナライザ１５０は、センサ１２６又はカメラ１２８から第２の画像データを受信する。第２の画像データを処理した後（単なる１つの非限定的な例としての処理１０００を使用する）、摩耗アナライザ１５３は、ブロック１１４５においてＧＥＴ１２５に対する第２の摩耗測定値を判定し、それから、上述のＧＥＴ１２５に対する第１の摩耗レベルを判定したのと同様の方法で、ＧＥＴ１２５に対する第２の摩耗レベルを判定する（ステップ１１５０）。摩耗アナライザ１５３は、次いで、ＧＥＴ交換条件が満たされているかを判定する。第１の摩耗レベル及び第２の摩耗レベルの両方が警告の必要性を示す場合（ステップ１１５５：ＹＥＳ」）、摩耗アナライザはステップ１１３５において警告を生成する。しかしながら、第２の摩耗レベルが警告の必要性を示さない場合（ステップ１１５５：ＮＯ）、ＧＥＴ交換条件は満たされず、処理１１００は、現在の掘削－ダンプサイクルについて終了する（ブロック１１９５）。

【0092】

いくつかの実施形態では、摩耗アナライザ１５３は、処理１１００の各反復について、第１のＧＥＴ摩耗レベル又は第２のＧＥＴ摩耗レベル（計算された場合）を記録してもよい。ロギングには、ＧＥＴ摩耗測定値、ＧＥＴ摩耗レベルを記憶すること、及び／又は、撮像画像データを記憶することが含まれていてもよい。摩耗アナライザ１５３は、この情報を、摩耗検出コンピュータシステム１１０においてＧＥＴ摩耗レベルストレージ１５７に記録するか、又は遠隔ログマネージャ１７５に記憶するために遠隔監視コンピュータシステムに提供することができる。

【0093】

図１２は、ディスプレイ１３３又は遠隔ディスプレイ１６３上にレンダリングされ得る例としての摩耗検出ユーザインターフェース１２００を示している。ユーザインターフェース１２００は、バケット１２０及びＧＥＴ１２５の撮像画像１２１０を含むことができる。撮像画像１２１０は、いくつかの実施形態において、バケット１２０及びＧＥＴ１２５の静止画像又はリアルタイムビデオ画像であり得る。ユーザインターフェース１２００は、ＧＥＴ１２５の現在の状態を表示するＧＥＴ１２５の状態ユーザインターフェース要素１２２０も含むことができる。状態ユーザインターフェース要素１２２０は、例えば、ＧＥＴ１２５の現在の測定値（図１２に示すように）、ＧＥＴ１２５の摩耗率、又はその両方を表示することができる。いくつかの実施形態において、状態ユーザインターフェースは、作業機械１００の操作者に情報を提供するためのカラーコーディング等、ＧＥＴ摩耗の指標を含むことができる。例えば、ＧＥＴ１２５が著しい摩耗を伴うことなく良好な状態にある場合、状態ユーザインターフェース要素１２２０は、健康インジケータ１２３０を用いてレンダリングされ得る。健康インジケータ１２３０は、アクションをとる必要がないことを示すために、カラーコード化（例えば、緑）され得る。別の例として、ＧＥＴ１２５が部分的に摩耗して交換が必要に近づいた場合、状態ユーザインターフェース要素１２２０は、部分摩耗インジケータ１２４０を用いてレンダリングし得る。部分摩耗インジケータ１２４０は、ユーザインターフェース１２００内で、カラーコード化（例えば、黄色）、特殊なフォント、又はハイライト表示されてもよい。別の例として、ＧＥＴ１２５が交換が必要な段階まで摩耗された場合、又は破損した場合、状態ユーザインターフェース要素１２２０は、完全摩耗インジケータ１２５０でレンダリングし得る。完全摩耗インジケータ１２５０は、ユーザインターフェース１２００内でハイライト表示されるか、又は一貫して点滅して操作者に警告するために、特別なフォントでカラーコード化（例えば、赤）され得る。

【0094】

ユーザインターフェース１２００は、ＧＥＴ１２５のクローズアップビュー１２６０も含むことができる。クローズアップビュー１２６０は、例えば、画像データ内の特定された関心領域に対応し得る。いくつかの実施形態において、完全摩耗インジケータ１２５０に加えて、ユーザインターフェース１２００は、ＧＥＴ交換条件を操作者に警告するための注意通知１２７０を含むことができる。部分摩耗インジケータ１２４０、完全摩耗インジケータ１２５０、及び／又は注意通知１２７０にも、音声暗示又は警報が同行し得る。

【0095】

上記の説明全体を通して、摩耗検出コンピュータシステム１１０のいくつかのコンポーネントは、いくつかの動作を実行するものとして説明されている。しかし、摩耗検出コンピュータシステム１１０のいくつかの実施形態では、上記以外のコンポーネントがこれらの動作を実行することができる。さらに、摩耗検出コンピュータシステム１１０は、実施形態例において上述したものよりも追加的なコンポーネント、又はより少ないコンポーネントを含むことができる。摩耗検出コンピュータシステム１１０は、上記に開示された特定の実施形態に限定される必要はないことを、当業者は理解するであろう。

【産業上の利用可能性】

【0096】

本開示のシステム及び方法は、土壌、岩石、鉱物などの材料を掘削、移動、成形、輪郭形成、及び／又は除去する作業現場での作業機械の動作に関連して使用することができる。これらの作業機械は、作業現場で材料をすくったり、掘ったり、捨てたりするために使用されるバケットを装備してもよい。バケットは、動作中に材料を緩めるのを助けるために１つ以上のバケットを備えていてもよい。作業機械はまた、本明細書に記載された例に従って摩耗検出方法を実行するように構成されたプロセッサ及びメモリを有するシステムを含むことができる。このシステム及び方法は、ＧＥＴのような作業機械のコンポーネントの摩耗又は損失を検出することができ、したがって、このような作業機械の操作者は、下流側の処理装置に損傷を与える故障が発生する前に是正措置を講じることができる。

【0097】

いくつかの例では、システム及び方法は、作業機械の１つ以上のセンサからＧＥＴに関連する撮像データを撮像し、その撮像データを処理してＧＥＴの摩耗又は損失を判定する。１つ以上のセンサは、画像センサ、立体カメラ、ＬｉＤＡＲセンサ、赤外線センサ、温度センサ、ソナーセンサ、及び／又はレーダを含むことができる。

【0098】

いくつかの例では、１つ以上のセンサは、作業機械の掘削－ダンプサイクル中に、２回の撮像データを収集する。撮像データの第１のコレクションは、例えば、サイクルの終了よりもサイクルの開始に近い、例えば、掘削－ダンプサイクルの早い部分中に撮像され得る。第１の時点での撮像データの第１のコレクションの処理が、ＧＥＴの損失を示唆するＧＥＴ摩耗検出条件を示す場合、システムは、急性ＧＥＴ摩耗又は損失の分析及び確認のために、ＧＥＴの撮像データの第２のコレクションを作成する。撮像データの第２のコレクションの処理が、ＧＥＴの損失を示唆するＧＥＴ摩耗検出条件を示す場合、システムは、作業機械の操作者が、（例えば、作業現場から壊れたＧＥＴを取り出すために、作業機械の動作を停止することなどの）是正措置を講じ得るように、作業機械の操作者に対する警告を生成し得る。

【0099】

撮像データの第１のコレクションは、例えば、サイクルの開始よりもサイクルの終了に近い、掘削－ダンプサイクルの後半においても撮像され得る。このような状況において、撮像データの第１のコレクションの処理が、ＧＥＴの損失を示唆するＧＥＴ摩耗検出条件を示す場合、システムは、撮像データの第２のコレクションを取得することなく、操作者に警告を行う。システムは、ＧＥＴ摩耗検出条件を確認するために撮像データの第２のコレクションを正確に撮像する時間が不十分である場合に、これを行ってもよい。

【0100】

本開示に記載の摩耗検出システムは、作業機械が作動している間、作業機械の操作者にＧＥＴの摩耗に関する視覚情報を提供する。例えば、ＧＥＴの摩耗レベルは、操作者のディスプレイ上にレンダリングされ得る。損失又は深刻な摩耗を示唆するＧＥＴ摩耗検出条件を検出した場合、システムは、ＧＥＴ摩耗検出条件を検出したＧＥＴの画像を、操作者のディスプレイにレンダリングしてもよい。次いで、操作者は、レンダリングされた画像を使用して、是正措置が必要かどうかを判定するのを支援することができる。

【0101】

本開示に記載の処理により、偽陽性と操作者の不快感を低減しつつ、適時にＧＥＴの摩耗状態を検出することができる。

【0102】

本開示の態様は、上記の例を参照して特に示され、説明されてきたが、本開示の精神及び範囲を逸脱することなく、本開示の装置、システム、及び方法を修正することによって、様々な追加の実施形態追加の実施形態が企図され得ることは、当業者に理解されるであろう。そのような実施形態は、特許請求の範囲及びその任意の均等物に基づいて判定される本開示の範囲内にあると理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2024-03-05

【手続補正1】

【補正対象書類名】図面

【補正対象項目名】図５

【補正方法】変更

【補正の内容】

【図5】

【手続補正2】

【補正対象書類名】図面

【補正対象項目名】図６

【補正方法】変更

【補正の内容】

【図6】

【手続補正3】

【補正対象書類名】図面

【補正対象項目名】図７

【補正方法】変更

【補正の内容】

【図7】

【手続補正4】

【補正対象書類名】図面

【補正対象項目名】図８

【補正方法】変更

【補正の内容】

【図8】

【手続補正5】

【補正対象書類名】図面

【補正対象項目名】図９

【補正方法】変更

【補正の内容】

【図9】

【手続補正6】

【補正対象書類名】図面

【補正対象項目名】図１２

【補正方法】変更

【補正の内容】

【図12】

【国際調査報告】