(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-09-02
(45)【発行日】2024-09-10
(54)【発明の名称】地面係合ツールの摩耗及び損失検出システム及び方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240903BHJP
【ＦＩ】
G06T7/00 610C
【請求項の数】
10
(21)【出願番号】P 2023522853
(86)(22)【出願日】2021-10-12
(65)【公表番号】
(43)【公表日】2023-11-15
(86)【国際出願番号】 US2021054472
(87)【国際公開番号】W WO2022093525
(87)【国際公開日】2022-05-05
【審査請求日】2023-05-09
(31)【優先権主張番号】17/086,081
(32)【優先日】2020-10-30
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】391020193
【氏名又は名称】キャタピラー インコーポレイテッド
【氏名又は名称原語表記】ＣＡＴＥＲＰＩＬＬＡＲ ＩＮＣＯＲＰＯＲＡＴＥＤ
(74)【代理人】
【識別番号】110001243
【氏名又は名称】弁理士法人谷・阿部特許事務所
(72)【発明者】
【氏名】ペトラニー、ピーター、ジョセフ
(72)【発明者】
【氏名】ラム、シャストリ
【審査官】千葉 久博
(56)【参考文献】
【文献】特開２０２０－１０５９０２（ＪＰ，Ａ）
【文献】特開２０１５－１９０７７０（ＪＰ，Ａ）
【文献】米国特許第１０３３９６６７（ＵＳ，Ｂ２）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｔ ７／００
(57)【特許請求の範囲】
【請求項1】
方法であって、作業機械（１００）に関連するカメラ（１２８）から、少なくとも１つの地面係合ツール（ＧＥＴ）（１２５）を有する前記作業機械のバケット（１２０）を含む複数の画像（５３０）のビデオストリームを受信すること、
前記ビデオストリームから複数のツール画像（６２０）を一定期間に識別し、前記複数のツール画像は、前記一定期間内の複数の時間インスタンスにおいて前記少なくとも１つのＧＥＴを描画すること、
前記複数のツール画像から複数のツールピクセル数（６３５）を特定すること、及び
前記少なくとも１つのＧＥＴの摩耗レベルおよび損失を、前記複数のツールピクセル数に基づいて特定すること、を含み、
前記少なくとも１つのＧＥＴの前記損失が、前記複数のツールピクセル数の経時変化率に基づいて特定されることを含む、
方法。
【請求項2】
前記摩耗レベルまたは損失に基づいて警報を生成することをさらに含む請求項１に記載の方法。
【請求項3】
前記少なくとも１つのＧＥＴの摩耗レベルおよび損失を前記複数のツールピクセル数に基づいて特定することは、前記一定期間内の前記複数の時間インスタンスを前記複数のツールピクセル数にマッピングすることを含む請求項１に記載の方法。
【請求項4】
摩耗レベルの傾向を特定すること（７４０）をさらに含む請求項１に記載の方法。
【請求項5】
前記摩耗レベルの傾向に基づいて前記少なくとも１つのＧＥＴの交換時間を予測することをさらに含む請求項４に記載の方法。
【請求項6】
システムであって、カメラ（１２８）、
プロセッサ（１４０）、及び
前記プロセッサによって実行されるときに前記プロセッサに動作を実行させる実行可能命令を記憶する非一時的なコンピュータ可読媒体（１５０）を含み、前記動作は、
少なくとも１つの地面係合ツール（ＧＥＴ）（１２５）を有するバケット（１２０）の複数の画像（５３０）のビデオストリームを前記カメラから受信すること、
前記ビデオストリームから、一定期間内の複数の時間インスタンスにおいて前記ＧＥＴを描画する前記複数のツール画像（６２０）を識別すること、
前記複数のツール画像から複数のツールピクセル数（６３５）を特定すること、及び
前記少なくとも１つのＧＥＴの摩耗レベルおよび損失を前記複数のツールピクセル数に基づいて特定すること、を含み、
前記少なくとも１つのＧＥＴの前記損失が、前記複数のツールピクセル数の経時変化率に基づいて特定されることを含む、システム。
【請求項7】
前記動作は、さらに、前記摩耗レベルまたは損失に基づいてアラームを生成することを含む請求項６に記載のシステム。
【請求項8】
前記少なくとも１つのＧＥＴの摩耗レベルおよび損失を前記複数のツールピクセル数に基づいて特定することは、前記一定期間内の前記複数の時間インスタンスを前記複数のツールピクセル数にマッピングすることを含む請求項６に記載のシステム。
【請求項9】
前記動作は、摩耗レベルの傾向（７４０）を特定することをさらに含む請求項６に記載のシステム。
【請求項10】
前記摩耗レベルの傾向は、前記複数の時間インスタンスを前記複数のツールピクセル数にマッピングすることによって特定される請求項９に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、物体の経時的摩耗を検出するためのシステム及び方法に関し、より具体的には、コンピュータ視覚技術を用いて地面係合ツール（ＧＥＴ）の経時的摩耗又は損失を検出するためのシステム及び方法に関する。
【背景技術】
【0002】
機械は、工事現場で様々なタスクを実行するために使用することができる。例えば、機械は、砂利、コンクリート、アスファルト、土壌、及び／または他の材料などの工事現場に存在する材料を掘削、移動、成形、輪郭の形成、及び／または除去するために使用することができる。これらの機械は、これらの材料を収集するためのバケットを含むことができ、且つバケットは、材料を解放するための歯などの地面係合ツール（ＧＥＴ）のセットを含むことができる。時間が経つにつれて、ＧＥＴが摩耗して寸法が減少し、それらの有効性を低下させ、バケットが工事現場の材料を収集するのがより困難になる。ＧＥＴはバケットから破断することもできる。ＧＥＴ破断が検出されない場合、ＧＥＴは工事現場の材料と混合することができ、それに破砕機や粉砕機などの下流処理装置にダメージを与えることができる。作業機器は、摩耗検出システムを利用して下流装置が破損する前に摩耗または破断のＧＥＴを識別することができる。
【0003】
摩耗検出システムを提供する試みが、２０１９年７月２日に特許出願された米国特許番号１０３３９６６７Ｂ２（「’６６７特許」）に記載されている。具体的には、’６６７特許は、重機に関連する作業工具の画像における摩耗部分の状態を特定する方法が記載されている。’６６７特許によれば、該方法は、重機の動作中に作業工具の画像をキャプチャすることに関する。画像は強度値を有する複数の画素を含む。’６６７特許はまた、複数の画素における連続画素サブセットを選択し、各画素サブセットを処理することにより、画素サブセットの画素強度値が摩耗の部分と一致するかどうかを特定することを記載している。画像をキャプチャして分類するトレーニングのニューラルネットワークを用いてマッチングを実行する。
【0004】
’６６７特許は、摩耗を識別するためのニューラルネットワークと機械学習への依存性に問題がある可能性がある。ニューラルネットワーク及び機械学習を計算的に訓練・使用することは、特に動画を介して撮影された大量の画像を処理する場合に高価である可能性がある。その他、’６６７特許に記載されているような機械学習技術は、それらを無効にするために大量の偽陽性が発生しやすい可能性がある。本明細書で説明されるシステム及び方法は、これらの問題のうちの１つまたは複数を解決するために使用することができる。
【発明の概要】
【発明が解決しようとする課題】
【0005】
第一の様態によれば、地面係合ツール（ＧＥＴ）の摩耗または損失を検出する方法は、作業機械に関連するカメラから作業機械のバケットを含む複数の画像のビデオストリームを受信することを含む。該バケットは少なくとも１つのＧＥＴを含む。該方法はまた、一定期間にビデオストリームから複数のツール画像を識別することを含む。複数のツール画像は、複数の時間インスタンスで少なくとも１つのＧＥＴを描画する。本方法はまた、複数のツール画像から複数のツールピクセル数を特定し、また複数のツールピクセル数に基づいて少なくとも１つのＧＥＴの摩耗レベルまたは損失を特定することを含む。
【0006】
別の様態によれば、ＧＥＴ摩耗検出システムは、カメラ、プロセッサ、及び実行可能命令を格納する非一時的なコンピュータ可読媒体を含む。実行可能命令は、プロセッサによって実行されるとき、該プロセッサの実行がカメラからビデオストリームを受信する動作を含み、該ビデオストリームが少なくとも１つのＧＥＴを有するバケットの複数の画像を含む。該動作は、さらにビデオストリームから複数のツール画像を識別することを含み、該複数のツール画像が一定期間に複数の時間インスタンスで少なくとも１つのＧＥＴを描画する。該動作はまた、複数のツール画像から複数のツールピクセル数を特定し、複数のツールピクセル数に基づいて少なくとも１つのＧＥＴの摩耗レベルまたは損失を特定することを含む。
【0007】
別の様態によれば、ＧＥＴ摩耗検出システムは、カメラを含み、該カメラは作業機械の掘削-傾倒サイクルのある時間に、複数のＧＥＴがカメラの視野内にあるときに複数のＧＥＴを有するバケットのビデオストリームをキャプチャするように構成される。該システムはまた、プロセッサと実行可能命令を格納するコンピュータ可読媒体を含み、該実行可能命令がプロセッサによって実行されたときに該プロセッサににより動作を実行させる。該動作は、カメラからビデオストリームを受信することを含む。該ビデオストリームはバケットの複数の画像を含む。該動作はまた、ビデオストリームから複数のツール画像を識別することを含み、該複数のツール画像が一定期間に複数の時間インスタンスで少なくとも１つのＧＥＴを描画する。この動作はまた、複数のツール画像からＧＥＴに関連する複数のツールピクセル数を特定し、それに複数の時間インスタンスを該複数のツールピクセル数にマッピングすることに基づいてＧＥＴの摩耗レベルまたは損失を特定することを含む。
【図面の簡単な説明】
【0008】
図面を参照して具体的な実施形態について説明する。図面において、参照符号の最左端の数字は参照符号が最初に現れる図面を示す。異なる図面における同一の符号は、類似または同一の項目を示す。
【0009】
【発明を実施するための形態】
【0010】
本開示は、一般に、工事現場などの環境における作業機器のコンポーネントの摩耗をコンピュータ視覚技術を用いて検出するためのシステム及び方法に関する。いくつかの例では、作業機械に関連するカメラは、作業機械のコンポーネントのビデオをキャプチャする。ビデオは、コンポーネントの摩耗を検出するために、作業機械に関連するプロセッサによって解析される。該コンポーネントは、作業機械であるバケットの１つまたは複数の地面係合ツール（ＧＥＴ）であり得る。いくつかの例では、該システム及び方法は、バケット及びＧＥＴの両方を示すテンプレート画像を用いてカメラによってキャプチャされたビデオから処理のための画像を選択する。
【0011】
処理のために選択された画像について、該システム及び方法は、ＧＥＴのピクセル数を特定し、またＧＥＴのピクセル数の経時変化のグラフまたはマッピングを作成する。ピクセル数は、いくつかの例としてのみ挙げたものであり、面積（例えば、ＧＥＴの総ピクセル）、ピクセルを単位とするＧＥＴの高さ、ピクセルを単位とするＧＥＴの幅、ＧＥＴの高さと幅の合計を含むことができる。ピクセル数の特定方法は、ＧＥＴの形状やスタイルにによって変化することができる。例えば、長さが幅よりもはるかに大きいＧＥＴには、高さピクセル数を使用することができ、幅が長さよりもはるかに大きいＧＥＴには、幅ピクセル数を使用することができる。本開示の精神及び範囲を逸脱することない場合、ピクセル数を特定するための様々な方法を使用することができる。
【0012】
いくつかの例では、プロセッサは、ＧＥＴピクセル数の経時変化率に基づいてＧＥＴの摩耗を特定し、またいつＧＥＴを交換する必要があるかを予測することができる。プロセッサはまた、ＧＥＴピクセル数の経時変化率がいつ高いかに基づいて、ＧＥＴのうちの１つが破断しているか（例えば、ＧＥＴ損失）を特定することができる。このような特定は、ＧＥＴピクセル数の経時変化率を用いて行われ、該システム及び方法は、偽陽性の影響を最小化することによって摩耗検出における誤りを低減することができ、機械学習やニューラルネットワークなどのより誤りやすい技術よりも少ない処理リソースで行うことができる。
【0013】
図１は、例示的な摩耗検出コンピュータシステム１１０を含む例示的な作業機械１００を示す概略図のブロック図である。図１は、作業機械１００を油圧式採掘用ショベルとして図示しているが、他の例では、作業機械１００は、土壌、岩石、鉱物などの材料を移動、彫刻、掘削、または除去する任意の機械を含むことができる。図１に示すように、作業機器１００は、アーム１２２に取り付けられたバケット１２０を含むことができる。バケット１２０は 作業機械１００が材料を解放するのを助ける 歯１２５などの１つまたは複数の地面係合ツール（ＧＥＴ）を含むことができる。本開示で提供される例は、歯１２５をＧＥＴと呼ぶが、他のタイプのＧＥＴも、本開示で提供される実施形態の範囲内にあると考えられる。例えば、ＧＥＴは、リップカバー、エッジ保護装置、アダプタ、土緩器保護具、切削刃、サイドロッド保護具、先端、または作業機械に関連して、工事現場材料との摩擦により時間とともに摩耗する可能性がある他のツールを含むことができる。
【0014】
作業機器１００は、さらにカメラ１２８を含むことができる。カメラ１２８は、バケット１２０及び歯１２５を指向する視野１２９を有することができる。カメラ１２８は、単眼カメラまたは立体カメラであり得る。
【0015】
作業機械１００が工事現場内で動作しているとき、アーム１２２を移動させてバケット１２０を位置決めし、それによって掘削－傾倒サイクルの一部として工事現場で移動してまたは掘削材料とすることができる。作業機械１００が掘削－傾倒サイクル中にバケット１２０を位置決めするとき、バケット１２０はカメラ１２８の視野１２９に出入りすることができる。カメラ１２８は、掘削－傾倒サイクル中に歯１２５を有するバリアフリービューとして位置決めすることができる。例えば、カメラ１２８は、バケット１２０が掘削－傾倒サイクル内で材料を空にするときにバケット１２０と歯１２５が見えるように、作業機械１００に位置決めすることができる。別の例として、カメラ１２８は、アーム１２２が掘削－傾倒サイクル内で完全に伸長または完全に収縮したときにバケット１２０が視野に入るように位置決めすることができる。図２乃至図４に関して以下に説明するように、カメラ１２８の位置は、作業機器１００の種類やその工事現場に関する詳細にによって変化することができる。
【0016】
いくつかの実施形態によれば、作業機械１００は、オペレータ制御パネル１３０を含むことができる。オペレータ制御パネル１３０は、オペレータが摩耗検出コンピュータシステム１１０に関連する状態またはアラームを受信できるように、作業機器１００のオペレータに出力を生成するディスプレイ１３３を含むことができる。ディスプレイ１３３は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、陰極線管（ＣＲＴ）ディスプレイ、または当技術分野で知られている他のタイプのディスプレイを含むことができる。いくつかの例では、ディスプレイ１３３は、スピーカまたはヘッドホンまたは周辺スピーカのためのポートなどのオーディオ出力を含むことができる。ディスプレイ１３３は、マイクや周辺マイクのためのポートなどのオーディオ入力デバイスを含むこともできる。いくつかの実施形態では、ディスプレイ１３３は、入力デバイスとして機能することもできるタッチセンサディスプレイを含むことができる。
【0017】
いくつかの実施形態では、オペレータ制御パネル１３０は、キーボード１３７をさらに含むことができる。キーボード１３７は、摩耗検出コンピュータシステム１１０に入力能力を提供することができる。キーボード１３７は、作業機械１００のオペレータが摩耗検出コンピュータシステム１１０に入力を提供することを可能にする複数のキーを含むことができる。例えば、本開示の例によれば、オペレータは、作業機械１００、バケット１２０または歯１２５に関連する画像テンプレートを選択するためにキーボード１３７のキーを押すことができる。キーボード１２７は非仮想的（例えば、物理的に押下可能なキーを含む）であってもよく、或いはキーボード１２７はディスプレイ１３３のタッチセンサー実施形態に示される仮想キーボードであり得る。
【0018】
図１に示すように、摩耗検出コンピュータシステム１１０は、プロセッサ１４０を含むことができる。プロセッサ１４０は、中央処理ユニット（ＣＰＵ）、グラフィック処理ユニット（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ＣＰＵ、ＧＰＵ、またはＦＰＧＡの何らかの組み合わせ、または任意の他のタイプの処理ユニットなどの１つまたは複数のプロセッサを含むことができる。プロセッサ１４０は、算術演算及び論理演算を実行する多くの算術論理ユニット（ＡＬＵ）と、プロセッサキャッシュから命令及び格納されたコンテンツを抽出し、その後、プログラム実行中に必要に応じてＡＬＵにアクセスすることにより命令を実行する１つまたは複数の制御ユニット（ＣＵ）とを有することができる。プロセッサ１４０はまた、通常のタイプの揮発性（ＲＡＭ）メモリ及び／または不揮発性（ＲＯＭ）メモリに関連付けることができるメモリ１５０に記憶されたアプリケーション、ルーチンまたはプロセスを実行するドライブ、及び他のコンピュータ実行可能命令の実行を担当することができる。
【0019】
いくつかの実施形態では、摩耗検出コンピュータシステム１１０はメモリ１５０を含むことができる。メモリ１５０は、揮発性（例えばＲＡＭ）、不揮発性（例えばＲＯＭ、フラッシュメモリなど）、または両者の何らかの組み合わせであり得るシステムメモリを含むことができる。メモリ１５０は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術によって実現される、揮発性及び不揮発性、可動性及び非可動性媒体などの非一時的なコンピュータ可読媒体を含むこともできる。システムメモリ、リムーバブルストレージ、及びリムーバブルストレージは、非一時的なコンピュータ可読媒体の例である。非一時的なコンピュータ可読媒体の例としては、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ－ＲＯＭ、デジタル多機能ディスク（ＤＶＤ）または他の光メモリ、カセットテープ、磁気テープ、磁気ディスクメモリまたは他の磁気記憶装置、または必要な情報を記憶するために使用され、摩耗検出コンピュータシステム１１０によってアクセスされ得る他の非一時的媒体が挙げられるが、これらに限定されない。
【0020】
メモリ１５０は、コンピュータ実行可能命令を含む、本明細書に記載の摩耗検出コンピュータシステム１１０のためのデータを記憶することができる。例えば、メモリ１５０は、テンプレートライブラリ１６０、画像セレクタ１６５、画像解析器１７０、摩耗解析器１７５、及びアラーム管理器１８０などの摩耗検出コンピュータシステム１１０の１つまたは複数のコンポーネントを記憶することができる。メモリ１５０はまた、摩耗検出コンピュータシステム１１０の動作を可能にするために、追加のコンポーネント、モジュール、またはプロセッサ１４０によって実行され得る他のコードを記憶することができる。例えば、メモリ１５０は、入力/出力機能、ソフトウェアドライバ、オペレーティングシステム、または他のコンポーネントに関連するコードを含むことができる。
【0021】
テンプレートライブラリ１６０は、カメラ１２８によって摩耗検出コンピュータシステム１１０に提供されるビデオフィードから画像を識別して選択するために、画像セレクタ１６５によって使用される１つまたは複数のテンプレート画像を含むことができる。例えば、テンプレートライブラリ１６０は、ビデオフィードから１つまたは複数の画像テンプレートと基本的に類似した画像を見つけるために画像セレクタ１６５によって実行される分割または畳み込みフィルタリングアルゴリズムの一部として使用できる１つまたは複数の画像テンプレートを含むことができる。いくつかの実施形態によれば、テンプレートライブラリ１６０に格納されたテンプレートは、バケット及びその歯の画像（例えばバケット－ツールテンプレート）を含む。例えば、作業機器１００について、テンプレートライブラリ１６０に格納されたテンプレートの１つは、バケット１２０がカメラ１２８の視野内に位置することが予想されるため、歯１２５を有するバケット１２０の画像を含むことができる。いくつかの例では、１つまたは複数のテンプレートの歯１２５は、摩耗していなくて新しいもので、または工事現場で材料と接合する前に現れる。
【0022】
テンプレートライブラリ１６０は、各バケットツールテンプレートが作業機械、バケット、歯、ＧＥＴ、またはこれらの組み合わせに対応する複数のバケットツールテンプレートを含むことができる。操作中、オペレータはオペレータ制御パネル１３０を使用し、テンプレートライブラリ１６０から歯１２５または作業機械１００のバケット１２０に適合するバケット－ツールテンプレートを選択することができる。例えば、作業機器１００が「６０１５Ｂ」というモデルの油圧ショベルである場合、オペレータはオペレータコントロールパネル１３０を用いてモデル「６０１５Ｂ」を入力することができ、摩耗検出コンピュータシステム１１０は、テンプレートライブラリ１６０から６０１５Ｂというモデルの油圧ショベルに対応するテンプレートをメモリ１５０にロードすることができる。いくつかの例では、摩耗検出コンピュータシステム１１０の電源投入またはリセット動作時に、テンプレートライブラリ１６０に使用可能なテンプレートのリストをディスプレイ１３３に示すことができ、オペレータは、作業機械１００の型番、バケット１２０のバケットの種類、または歯１２５の種類に基づいて、テンプレートの１つをリストから選択して動作に用いられる。
【0023】
いくつかの実施形態によれば、画像セレクタ１６５は、さらに摩耗検出分析のための画像を選択するための１つまたは複数の動作を実行することができる。いくつかの実施形態では、画像セレクタ１６５は、バケットツールテンプレート及びコンピュータ視覚技術を使用して、カメラ１２８のビデオフィードのビデオフレームをテンプレートにマッチングする。画像セレクタ１６５は、スコップツールテンプレートをカメラ１２８のビデオフィードのビデオフレームとマッチングするために、様々なコンピュータビジョン技術を単独で、または組み合わせて利用することができる。例えば、画像セレクタは、テンプレート、マスク、またはカーネルに基づいて画像内のオブジェクトを識別するために、普通のテンプレートベースのコンピュータ視覚的方法、特徴空間を使用する方法、相互相関的方法、画像分割、エッジ検出技術、畳み込みフィルタ、または当技術分野で知られている他の技術を使用することができる。
【0024】
いくつかの実施形態では、画像セレクタ１６５は、さらなる摩耗検出分析のための画像を選択するために他の技術を使用することができる。例えば、画像セレクタ１６５は、作業機械１００の掘削－傾倒サイクル中にバケット１２０の位置に基づいて画像をキャプチャするように構成され得る。そのような例では、画像セレクタ１６５は、掘削－傾倒サイクルの開始または終了時など、バケット１２０が固定された位置にあることが予想される場合、またはバケットが完全に縮小または伸長される場合に画像を選択することができる。バケット１２０が固定位置に達すると、画像セレクタは、カメラ１２８のビデオフィードから画像をキャプチャし、将来の摩耗検出処理に使用するために選択することができる。画像セレクタ１６５はまた、バケット１２０と歯１２５がカメラ１２８に最も近いとき、またはカメラ１２８がバケット１２０と歯１２５の明瞭なビューまたはバリアフリービューを有するとき、掘削－傾倒サイクル中の点で画像を選択するように構成され得る。
【0025】
画像セレクタ１６５は、さらに摩耗検出分析のための画像を選択するために機械学習またはニューラルネットワーク技術を使用することもできる。例えば、画像セレクタは、カメラ１２８の視野に対して最適な位置にあるバケット１２０及び歯１２５、並びにカメラ１２８の視野に対して非最適な位置にあるバケット１２０及び歯１２５を示すトレーニングイメージライブラリを用いてトレーニングされたニューラルネットワークを含むことができる。訓練画像ライブラリはまた、欠落した歯１２５のうちの１つまたは複数を有するバケット１２０、それに付着した材料を有するバケット１２０、通常は作業機械１００と共に使用されないバケットまたは歯など、偽陽性をトリガする可能性のある工事現場からの物体の画像を含むことができ、ほんの一部の例としてのみ使用される。ニューラルネットワークが訓練されると、画像セレクタ１６５はそれを使用してカメラ１２８のビデオフィードを処理し、さらに摩耗検出処理のための画像を選択することができる。
【0026】
いくつかの実施形態によれば、画像セレクタ１６５は、上記識別技術の組み合わせを用いて、さらに摩耗検出分析のための画像を識別することができる。例えば、画像セレクタ１６５は、カメラ１２８によってキャプチャされたビデオストリームの画像へのバケット－ツールテンプレートの適用を開始するために、バケット１２０の掘削－傾倒サイクル内の視野１２９に対応する位置範囲内の位置をトリガとして使用することができる。このような実施形態では、画像セレクタ１６５は、バケット１２０が位置範囲外にある場合には「待機」モードに入ることができ、バケット１２０が位置範囲に入った場合には「開始処理」モードに入ることができる。別の例として、画像セレクタ１６５は、類似の方法でさらに処理するための画像を選択するために、バケット１２０の位置範囲を使用し、訓練されたニューラルネットワークと組み合わせることができる。
【0027】
画像解析器１７０は、画像セレクタ１６５によって選択された画像を解析して、選択された画像における各歯１２５をさらに識別するように構成され得る。いくつかの例では、画像解析器１７０は、取り込まれた画像内の歯１２５の予期の位置を使用して各歯１２５を選択する。例えば、画像セレクタ１６５がバケット－ツールテンプレートを使用する場合、バケット－ツールテンプレート中の歯とバケットの相対位置に基づいて、バケット１２０に対する歯１２５の予期の位置を知ることになる。この情報を用いて、画像解析器１７０は、選択された画像中の予期の位置に到達し、歯に隣接する画素領域をキャプチャすることができる。次に、畳み込みフィルタ、分割分析、エッジ検出、または画素領域内の画素強度／暗さ分析を適用するなどのコンピュータ視覚技術に基づいて、画素領域を使用して歯をさらに識別することができる。いくつかの実施形態では、画像解析器１７０は、コンピュータ視覚技術を使用して歯の位置をさらに細分化するために、単一の歯テンプレートを使用して画素領域に適用することができる。
【0028】
摩耗解析器１７５は、画像解析器１７０によって識別される歯画像または画素領域の摩耗を解析するように構成され得る。いくつかの実施形態では、画像解析器１７０は、画像セレクタ１６５によって使用される関連するバケットツールテンプレートに基づいて摩耗を解析し、処理のための画像を選択する。例えば、関連付けられたバケットツールテンプレートは、バケットツールテンプレートからの摩耗していない歯のサイズ及び歯の画像のサイズに基づいて画像解析器１７０によって識別された歯の画像と比較することができる摩耗していないツールの画像を含むことができる。いくつかの実施形態では、歯画像とバケットツールテンプレート中の対応する摩耗していない歯について類似性スコアを計算することができる。類似性スコアは、歯画像とバケット－ツールテンプレート中の対応する摩耗していない歯との整合度の尺度を反映することができる。例えば、類似性スコアは、類似性を検出するための結合交差またはＪａｃｃａｒｄ指数法を使用することを含むことができる。いくつかの実施形態では、類似性スコアは、類似性を検出するｄｉｃｅ係数またはＦ１スコア法を用いて特定することができる。類似性スコアはまた、バケット－ツールテンプレート内で対応する摩耗していない歯とのオーバーラップの割合を反映するいくつかの歯画像を有する画素の値を含むことができる。いくつかの実施形態では、類似性スコアは０～１００からスケーリングまたは正規化することができる。
【0029】
類似性スコアは、歯１２５の摩耗指示を提供することができる。例えば、低スコア（例えば、０～２０の範囲）は、歯１２５のうちの１つが破断または欠損していることを示し、歯の損失を示すことができる。高スコア（例えば、８０～１００の範囲）は、歯の健康が良く、交換が必要ないことを示すことができる。低スコアと高スコアとの間のスコアは、歯の摩耗レベルを提供することができ、ここで、より高いスコアは、より低いスコアより歯を交換するためのリードタイムが長いことを示す。
【0030】
いくつかの実施形態では、摩耗解析器１７５は、歯１２５の画像に関連する画素を時間とともにカウントし、このピクセル数を用いて歯１２５の摩耗レベルと歯１２５の摩耗傾向を特定することができる。例えば、作業機械１００は、その工事現場で数日間作業することができる。作業機械１００が作業中に材料を移動すると、カメラ１２８は、バケット１２０と歯１２５のビデオフィードを摩耗検出コンピュータシステム１１０に提供し、画像解析器１７０は、歯を有する画素領域を識別して更なる解析に使用する。摩耗解析器１７５は、動作中の一定時間内のいくつかの時間インスタンスにおいて、歯に関連するピクセル数をマッピングすることができる。バケット１２０と歯１２５が現場で材料と接合されると、歯１２５は摩耗により寸法が減少することが予想される。したがって、歯１２５に関連するピクセル数も時間とともに低下し、時間とともにピクセル数は摩耗傾向を反映する。特定の時点における歯１２５の摩耗レベルは、特定の時点における摩耗傾向を用いて特定することができる。歯１２５の摩耗レベルは、歯１２５の交換が必要であることを示すことができ、または歯１２５のうちの１つ以上の歯の損失を示すことができる。いくつかの実施形態では、歯１２５に関連するピクセル数をメモリ１５０に記憶し、複数の作業及び複数の工事現場に適用することができ、歯１２５の寿命に摩耗傾向を適用することができる。このような実施形態では、摩耗分析器１７５によって捕捉された歯１２５に関連するピクセル数をバケット１２０または歯１２５を交換する際にリセットすることができ、摩耗分析器１７５は歯１２５を捕捉するピクセル数をゼロ時点から再開することができる。
【0031】
摩耗解析器１７５は、経時的に測定された歯１２５のピクセル数に基づいて摩耗傾向を特定するので、摩耗解析器１７５はまた、歯１２５がいつ交換される必要があるかの予測を形成することができる。例えば、摩耗解析器１７５が、歯１２５に関連付けられたピクセル数が、歯１２５が１０時間当たり１%寿命を失うことを示している（ピクセル数が１０時間当たり１%減少するため）と判定し、歯１２５が８００時間使用されている場合、摩耗解析器１７５は、歯１２５を２００時間以内に交換する必要があると判定することができる。
【0032】
いくつかの実施形態では、摩耗検出コンピュータシステム１１０は、アラームマネージャ１８０を含むことができる。アラームマネージャ１８０は、摩耗分析器１７５と通信することができ、摩耗分析器１７５によって特定された摩耗傾向及び摩耗レベルを監視することができる。アラームマネージャ１８０は、摩耗解析器１７５によって特定された情報に基づいてオペレータ制御パネル１３０にメッセージアラームを提供することができる。例えば、摩耗レベルが摩耗しきい値に達した場合、アラームマネージャ１８０は、オペレータコントロールパネル１３０のディスプレイ１３３に示されたアラームを生成することができる。該しきい値は、極端な歯摩耗を示す値に対応するか、場合によっては完全な歯損失を示す値に対応することができる。アラームは、１つまたは複数の歯１２５を交換する必要がある指示を作業機器１００のオペレータに提供することができる。摩耗しきい値は、実施形態に応じて変化することができ、歯１２５の種類及び歯１２５と接合される現場の材料に依存することができる。
【0033】
アラームマネージャ１８０はまた、歯１２５を２週間以内に交換する必要があるなど、将来のある時点で交換する必要があるアラームを提供することができる。交換アラームは、歯１２５の摩耗傾向予測に関する情報を含むことができる。例えば、交換アラームは、摩耗傾向の定量化（例えば、歯１２５が稼働日当たり２%摩耗する）、歯が使用された時間量、または歯１２５が使用データに基づいて摩耗しきい値に達する予定の日付または時間を含むことができる。
【0034】
いくつかの実施形態では、アラームマネージャ１８０は、摩耗分析器１７５によって特定された摩耗傾向を監視し、作業機械１００のオペレータに現在の摩耗レベルを通知するように摩耗レベル値をディスプレイ１３３に提供することができる。例えば、摩耗傾向が歯１２５が６０%摩耗したことを示している場合、摩耗傾向に基づいて、アラームマネージャ１８０は、歯１２５が交換される必要がある前にその寿命の４０%が残される指示を提供することができる。 ディスプレイ１３３はまた、オペレータに歯がすでに破断し、歯の損失（例えば、歯１２５のうちの１つまたは複数が２０%未満の寿命を有する場合）を示すしたことを通知することができる。
【0035】
図２は、ホイールローダ作業機２０１が動作している例示的な環境２００の概略側面図であり、そのうち、ホイールローダ作業機器２０１が動作している。ホイールローダ作業機械２０１は、バケット２２０と１つまたは複数の地面係合歯２２５とを含むことができる。図２に示すように、カメラ２２８は、掘削－傾倒サイクルの傾倒終了時に、カメラ２２８の視野２２９内に歯２２５及びバケット２２０が存在するように配置される。したがって、画像セレクタ１６５（図１）は、このような実施形態では、掘削－傾倒サイクルの傾倒終了時にバケット２２０が静止している間で画像をキャプチャするように構成され得る。
【0036】
図３は、例示的な環境３００の概略側面図であり、油圧掘削ショベル作業機械３０１が動作している。油圧掘削ショベル作業機械３０１は、バケット３２０と１つ又は複数の地面係合歯３２５とを含むことができる。ホイールローダ作業機器２０１のカメラ２２８の位置とは反対し、カメラ３２８は、掘削－傾倒サイクルの掘削終了時にカメラ３２８の視野３２９内に歯３２５が位置するように配置される。画像セレクタ１６５（図１）は、このような実施形態では、掘削－傾倒サイクルの掘削終了時にバケット３２０が静止している間で画像をキャプチャするように構成され得る。
【0037】
図４は、例示的な環境４００の概略側面図であり、そのうち、電気ロープショベル作業機械４０１が動作している。電気ロープショベル作業機械４０１は、バケット４２０と、１つまたは複数の地面係合歯４２５と、カメラ４２８とを含むことができる。図４に示すように、掘削－傾倒サイクルの中点において、歯４２５はカメラ４２８の視野４２９内にあってもよいが、バケット４２０はカメラ４２８に比較的近接している。このような実施形態では、画像セレクタ１６５（図１）は、バケット４２０がカメラ４２８の視野４２９に関連する位置範囲に入ったときに画像をキャプチャするように構成され得る。
【0038】
図５は、画像選択プロセスを例示するためのデータストリームを示す画像選択データストリーム図５００を示す。いくつかの実施形態では、テンプレートライブラリ１６０は、バケットツールテンプレート５１０を画像セレクタ１６５に提供することができる。上述したように、バケット工具テンプレート５１０は、作業前に作業機械１００のオペレータによって選択されてもよい。いくつかの実施形態では、バケットツールテンプレート５１０は、摩耗検出コンピュータシステム１１０のソフトウェアまたはファームウェアにプリロードされる。作業機械１００が現場で動作している場合、カメラ１２８は、複数の画像５３０を含むビデオフィードを画像セレクタ１６５に提供することができる。画像セレクタ１６５は、テンプレート５１０を用いて複数の画像を解析することができる。例えば、画像セレクタ１６５は、さらに摩耗検出分析のために選択された画像５４０を識別するために、コンピュータ視覚テンプレートマッチング技術、畳み込みフィルタ、分割分析、エッジ検出、または他のコンピュータ視覚技術を使用して、テンプレート５１０を複数の画像５３０にマッチングすることができる。
【0039】
図５に示すように、テンプレート５１０は、テンプレートバケット５２０とテンプレート歯５２５の画像を含む。テンプレートバケット５２０は、バケット１２０がカメラ１２８の視野内にどのようにして現れるかに一致する位置及び方向におけるバケット１２０の画像を表すことができる。テンプレート歯５２５は、新しい、摩耗していない、または使用されていない歯１２５のバージョンを表すことができる。
【0040】
いくつかの実施形態では、テンプレート５１０は、選択された画像５４０内の各歯１２５を後で識別するために使用することができるテンプレート歯位置５２７を近似する情報を提供することを含む。テンプレート歯位置５２７は、テンプレート５１０に組み込まれたバケット-ツール画像の１つの位置のピクセルオフセットを含むことができる。例えば、オフセットはバケット５２０の左上隅の下向き及び右向きのピクセル数であり得る。いくつかの実施形態では、テンプレート歯位置５２７は、バケット５２０の縁または角からのオフセットではなく、テンプレート歯５２５の絶対画素位置であり得る。図像分析器１７０可以使用模板歯位置５２７来近似所選図像５４０内的対応図像歯位置５４７。画像解析器１７０は、選択された画像５４０内の対応する画像歯位置５４７を近似するためにテンプレート歯位置５２７を使用することができる。
【0041】
図６は、ピクセル数データフローチャート６００を示す。ピクセル数データフローチャート６００は、歯１２５に関連するピクセル数を特定するために画像解析器１７０内で発生することができる例示的なデータフローを示す。例示的なデータフローチャート６００は歯１２５に関連するが、異なる実施形態では他のＧＥＴが想定される。いくつかの実施形態では、画像解析器１７０は、キャプチャされたバケットツール画像６１０を選択された画像５４０の背景から分離するために、選択された画像５４０に対してコンピュータ視覚分割解析を実行する。バケット‐ツール画像６１０が背景から分割されると、画像解析器１７０は、キャプチャされたバケット‐ツール画像６１０に関連する複数の歯画像６２０を識別し、拡張することにより、選択された画像５４０を識別することができる。画像解析器１７０は、複数の歯画像６２０を識別するためにいくつかの技術を使用することができる。例えば、上述したように、画像解析器１７０は、テンプレート歯位置５２７を用いて、近似的に対応する画像歯位置５４７を特定し、その後、単一歯を含む可能性のある画像の所定サイズの画素領域６３０を抽出することができる。例えば、画素領域６３０は、５０画素の高さ×３０画素幅であってもよく、画像解析器１７０は、対応する画像歯位置５４７ごとに画素領域６３０を抽出してもよい。
【0042】
いくつかの実施形態では、画像解析器１７０は、キャプチャされたバケット‐ツール画像６１０から複数の歯画像６２０を分割するために、追加のテンプレートマッチング、分割、畳み込みフィルタまたは他のコンピュータ視覚技術を使用することができる。例えば、画像解析器１７０は、１つの歯のテンプレートを用いて複数の歯画像６２０を識別することができる。
【0043】
いくつかの実施形態によれば、画像解析器１７０は、複数の歯画像６２０に関連するピクセル数を特定することができる。いくつかの実施形態では、画像解析器１７０は、選択された画像５４０から歯に関連する画素６３５を検出することができる。例えば、画像解析器１７０は、画素６３５が４３６画素を含むと判定することができる。画素６３５は、摩耗した作業機械１００の歯１２５の１つの実際の寸法及び次元の視覚的表現または抽象化を特定することができる摩耗アナライザを提供することができる。画像解析器１７０は、さらなる解析のために、ピクセル数を摩耗解析器１７５に転送することができる。
【0044】
画像解析器１７０は、バケットツールテンプレート５１０内のテンプレート歯５２５を表すピクセル数に基づいて、各歯に関連する画素の予想量（例えば、予想数、予想位置、予想組み分けなど）を特定することもできる。例えば、画像解析器は、テンプレート歯５２５のエッジに基づいて摩耗していない歯の予期のエッジ６４０を検出するために、例えばエッジ検出などのコンピュータ視覚技術を使用することができる。予期のエッジ６４０内のピクセル数は、画素６３５の予期のピクセル数を表すことができる。いくつかの実施形態では、摩耗解析器１７５は、予期のピクセル数及び画素６３５の実際の数を用いて、特定の時点での歯摩耗レベルを特定することができる。
【0045】
いくつかの実施形態では、摩耗解析器１７５は、上述のようにテンプレート歯５２５（摩耗していない工具を表す）と複数の歯画像６２０との間の類似性スコアを計算することができる。類似性スコアは、歯１２５の予想されるピクセル数と実際の画素６３５の数との差に基づいて計算することができる。いくつかの実施形態では、畳み込みフィルタを使用して、テンプレート５１０と選択された画像５４０またはテンプレート５１０の部分（例えば、テンプレート歯５２５）と選択された画像５４０の対応する部分との比較に基づいて類似性スコアを作成することができる。一例では、類似性スコアは０～１００のスケールに正規化することができ、２０未満の値は低類似性（例えば、歯が欠けたり折れたりする可能性がある）を表し、８０を超える値は通常摩耗していないツールを表し、２０～８０の間の値は異なる摩耗距離を表す。類似性スコアは０～１００の範囲でスケーリングすることができるが、開示された実施形態の精神及び範囲内では他の範囲を想定することができる。
【0046】
図７は、ツールピクセル数の経時的マッピングの例示的摩耗傾向図７００を示す図であり、曲線７０５として示されている。いくつかの実施形態によれば、摩耗傾向図７００は摩耗分析器１７５によって作成することができる。摩耗傾向図７００は、ピクセル数軸７１０と時間軸７２０とを含むことができる。摩耗傾向図７００は、ピクセル数軸７１０を垂直軸とし、時間軸７２０を水平軸として示しているが、いくつかの実施形態では、これらの軸は逆にすることができる。ピクセル数軸７１０は、ピクセル数だけインクリメントすることができる。時間軸７２０は、例えば、分、時間、または日などの任意の期間にわたってインクリメントすることができる。いくつかの実施形態では、摩耗解析器１７５は、ディスプレイ１３３に摩耗傾向図７００の図形表現を提示させるコードをオペレータ制御パネルに提供する。
【0047】
図７には例示的な摩耗傾向図７００が視覚的に示されているが、摩耗解析器１７５は、表示可能なコードを作成する必要はない。そのような実施形態では、摩耗傾向図７００に示すデータは、摩耗傾向、摩耗レベル、及び／または歯１２５の損失を特定するために摩耗解析器１７５が使用するデータ構造またはオブジェクトに格納することができる。そのような実施形態について、摩耗傾向図７００は、本開示において議論の目的のために提供される視覚的支援である。
【0048】
図７の例に示すように、摩耗傾向図７００は、歯１ ７３１、歯２ ７３２、歯３ ７３７、歯４ ７３４の４種類の歯の曲線７０５を示している。摩耗傾向図７００の提示された視覚的表現において、摩耗傾向図７００は、摩耗傾向図７００上の曲線と歯１ ７３１、歯２ ７３２、歯３ ７３７と歯４ ７３４との間の相関を識別する歯キー７３０を含むことができる。摩耗傾向図７００は歯に関するデータを示しているが、いくつかの実施形態では他のタイプのＧＥＴに関する曲線を示してもよい。
【0049】
いくつかの実施形態によれば、摩耗解析器１７５は曲線７０５に基づいて摩耗傾向を特定することができる。例えば、図７は、歯４ ７３４の曲線７０５の摩耗傾向７４０を示す。例示的な摩耗傾向マップ７００では、摩耗傾向７４０は線形であるが、いくつかの用途では、いくつかの歯は非線形摩耗傾向を有することができる。摩耗傾向図７００は、摩耗レベルしきい値７５０を含むこともできる。摩耗傾向７４０が摩耗レベルしきい値７５０と交差すると、摩耗傾向７４０に対応する歯（例えば、歯４ ７３４）は、 すでに交換が必要な時点まで摩耗しているか、または破断しており、歯損失＜５９/＞を示している。いくつかの実施形態では、アラームマネージャ１８０は、作業機械１００のオペレータ歯の交換が必要であることを知らせる視覚的または音声的アラームを生成することができる。いくつかの実施形態では、摩耗傾向７４０は、摩耗傾向７４０の外挿バージョンと摩耗しきい値７５０との間の交差点に基づいて、歯を交換する必要があるかもしれない将来の時点を検出するために使用されてもよい。
【0050】
図８は、例示的な画像の選択プロセス８００を示すフローチャートを示す。いくつかの実施形態では、プロセス８００は、画像セレクタ１６５及び画像解析器１７０によって実行することができる。以下の議論では、プロセス８００を画像セレクタ１６５及び画像解析器１７０によって実行されると説明するが、本開示の精神及び範囲を逸脱することなく、摩耗検出コンピュータシステムの他のコンポーネントはプロセス８００の１つまたは複数のブロックを実行することができる。
【0051】
プロセス８００は、画像セレクタが作業機械のバケットのビデオストリームをキャプチャするブロック８１０で開始する。ビデオストリームは、作業機械のバケットとバケットの地面係合ツール（ＧＥＴ）（例えば歯）の複数の画像を含むことができる。ブロック８２０で、画像セレクタ１６５は、バケットツールテンプレートを用いてビデオストリームから複数の画像を分割する。上記の議論と一致するバケット－ツールテンプレートは、摩耗していないＧＥＴを有するバケットの画像を含む。画像セレクタは、分割分析を使用して、ビデオから供給される複数の画像のバケットと歯の画像が背景から分割されるブロック８２０を実行することができる。さらに、バケットツールテンプレートは、複数の画像とバケットツールテンプレートとの間の類似性を特定するために複数の画像に適用されるマスクとして機能することができる。いくつかの実施形態では、画像セレクタはバケット－ツールテンプレートと複数の画像との間の類似性スコアを特定する。類似性に基づいて、画像セレクタ１６５は、ブロック８３０で摩耗検出分析のための画像を選択することができる。
【0052】
ブロック８４０で、画像解析器は、ブロック８３０で選択された画像のうちの複数のＧＥＴを識別する。いくつかの実施形態では、画像解析器は、図５に関して上述したように、バケット－ツールテンプレート内のツールの位置を使用して複数のＧＥＴを識別することができる。複数のＧＥＴを識別すると、ツールの摩耗レベルを特定することができる。摩耗レベルは、バケット－ツールテンプレートに描かれた摩耗していないツールのピクセル数と、複数のＧＥＴに関連するピクセル数との差に基づいて特定することができる。別の例として、ブロック８５０は、バケット－ツールテンプレート内のツールの類似性を複数の識別されたＧＥＴと比較することによって実行することができる。別の例として、図９に示す摩耗検出分析プロセス９００に従って摩耗レベルを特定することができる。
【0053】
図９は、例示的な摩耗検出分析プロセス９００を示すフローチャートである。いくつかの実施形態では、プロセス９００は、摩耗検出コンピュータシステム１１０の１つまたは複数のコンポーネントによって実行することができる。以下の議論では、プロセス９００を摩耗検出コンピュータシステム１１０の一部のコンポーネントとして実行するように説明するが、本開示の精神及び範囲を逸脱することなく、摩耗検出コンピュータシステムの異なるコンポーネントはプロセス９００の１つまたは複数のブロックを実行することができる。
【0054】
プロセス９００は、画像セレクタが作業機械のバケットのビデオストリームを受信するブロック９１０で開始する。ビデオストリームは、作業機械のバケットとバケットの地面係合ツール（ＧＥＴ）の複数の画像を含むことができる。ブロック９２０で、画像セレクタは、さらに摩耗検出処理のための画像をビデオストリームから選択する。いくつかの例では、画像セレクタは、画像選択プロセス８００について上述したバケットツールテンプレートを使用してブロック９２０を実行する。いくつかの実施形態では、画像選択器１６５は、掘削－傾倒サイクルにおける作業機械のバケットの位置に基づいて画像を選択する。例えば、バケットがカメラがバケットとそのＧＥＴの画像をキャプチャする最適な位置にある場合、画像セレクタはビデオストリームの画像をキャプチャすることができる。他の例では、画像セレクタは、機械学習技術またはニューラルネットワークを使用して、摩耗検出分析のための最適な画像を識別することができる。ブロック９２０において、画像は、上記の技術のうちの１つまたは複数を組み合わせて選択することができる。
【0055】
ブロック９３０で、画像解析器は、選択された画像内のＧＥＴを識別する。画像解析器は、図６及び図８に関して上述した実施形態と一致するＧＥＴを検出することができる。画像解析器がＧＥＴを識別すると、ブロック９４０で、画像解析器はＧＥＴのピクセル数を特定する。いくつかの例では、ピクセル数が摩耗解析器に提供される。ブロック９５０で、摩耗解析器は、ＧＥＴのピクセル数を時間インスタンスにマッピングする。時間インスタンスは、絶対日付時間値（例えば、２０２０年１０月１日１６：０４：３２）であってもよく、または作業機器の操作に基づく相対時間（例えば、作業機器の操作の秒数、分数、時間数）であり得る。
【0056】
ブロック９６０において、摩耗解析器は、現在のピクセル－時間マッピング及び以前のピクセル－時間マッピングに基づいてＧＥＴの摩耗レベルを特定する。摩耗解析器１７５は、ピクセル時間マッピングのための最適フィット線または最適フィット曲線を作成することにより摩耗レベルを特定することができる。摩耗レベルが摩耗しきい値より高い場合（ブロック９７０：はい）、処理はブロック９２０に戻る。摩耗レベルが摩耗しきい値より低い場合（ブロック９７０：いいえ）、アラームマネージャ１８０は、交換が必要な１つ以上のアラームをＧＥＴして生成することができる。いくつかの実施形態では、アラームが生成された後、処理はブロック９２０に戻る。
【0057】
以上の説明を通して、摩耗検出コンピュータシステム１１０のいくつかのコンポーネントは、いくつかの動作を実行するように記述される。しかし、摩耗検出コンピュータシステム１１０のいくつかの実施形態では、上記以外のコンポーネントがこれらの動作を実行することができる。さらに、摩耗検出コンピュータシステム１１０は、実施形態例において上述したものよりも追加的なコンポーネント、またはより少ないコンポーネントを含むことができる。摩耗検出コンピュータシステム１１０は、上記に開示された特定の実施形態に限定される必要はないことを、当業者は理解するであろう。
【産業上の利用可能性】
【0058】
本明細書に記載のシステム及び方法は、掘削、移動、成形、輪郭の形成、及び／または土壌、岩石、鉱物などの材料の除去などの作業機械の操作に関連して使用することができる。これらの作業機器には、工事現場で材料をすくい、掘ったり、倒したりするためのバケットを装備することができる。バケットには、作業中に材料を緩めるのを助けるための一連の地面係合ツール（ＧＥＴ）を装備することができる。作業機械はまた、本明細書に記載された例に従った摩耗検出方法を実行するように構成されたプロセッサとメモリとを有するシステムを含むことができる。該システム及び方法は、ＧＥＴなどの作業機械コンポーネントの摩耗を検出することができる。いくつかの例では、該システム及び方法は、摩耗検出処理のために作業機械に関連するカメラから作業機械コンポーネントのビデオをキャプチャすることができる。いくつかの例では、該システム及び方法は、カメラによってキャプチャされたビデオから処理のための画像を選択するために、ビデオ画像と比較された画像テンプレートを使用する。テンプレートは、作業機械に関連する摩耗していないＧＥＴを有するバケットのサンプル画像を含むことができる。単一の摩耗していない歯のテンプレートとは反対に、バケットツールテンプレートを使用することで、画像選択処理に必要なリソースを削減できる。バケット-ツールテンプレートはＧＥＴが１つしかないテンプレートよりも大きいため、少ない処理サイクルでテンプレートとキャプチャされた画像を比較する。バケット・ツール・テンプレートの使用は、画像選択の精度を高め、偽陽性を減らすこともできる。工事現場の汚れ、破砕屑、または岩石破片の塊は、サイズと形状が単一の歯に似ていることができるため、単一の歯テンプレートを使用する従来の摩耗検出システムは、このような材料をＧＥＴに誤って使用して、処理ミスや偽陽性を引き起こすことができる。したがって、バケットツールテンプレートを使用することにより、単一の歯テンプレートを使用するコンピュータビジョンまたは方法上の処理におけるエラーを低減することができる。
【0059】
いくつかの例では、該システム及び方法は、単一のＧＥＴを識別し、バケットツールテンプレートに基づいて選択された画像中のＧＥＴのピクセル数をＧＥＴの予想されるピクセル数と比較することにより、摩耗検出のための画像を選択する。いくつかの例では、該システム及び方法は、バケット－ツールテンプレート中の摩耗していないＧＥＴの位置に基づいて単一のＧＥＴを識別することができ、バケットに対する選択画像中のＧＥＴの近似位置をバケット－ツールテンプレート中のＧＥＴの既知の位置に基づいてバランスさせることができ、選択画像内の特定のＧＥＴを識別するために標準的なコンピュータ視覚技術（例えば、畳み込みフィルタ）を使用することができる。標準的なコンピュータビジョン技術の焦点を選択した画像でＧＥＴされた近似位置に縮小することにより、処理時間が短縮される。
【0060】
いくつかの例では、該システム及び方法は、ＧＥＴされた画像を一定期間キャプチャすることによって摩耗検出を特定する。例えば、該システム及び方法は、ＧＥＴされた複数の画像をその期間内の複数の時間インスタンスでキャプチャすることができる。該システム及び方法は、本明細書に開示された例示的な実施形態を使用して、複数の時間インスタンスにおけるＧＥＴのピクセル数を特定することができる。ピクセル数は時間インスタンスにマッピングすることができ、該システム及び方法は、ピクセル数の変化率に基づいて摩耗傾向を特定することができる。該システム及び方法は、摩耗傾向に基づいてＧＥＴが交換を必要とするときを予測することができる。ＧＥＴの経時的なピクセル数を使用することにより、該システム及び方法は、摩耗傾向の外れ値であり、摩耗傾向の統計的ノイズを表すため、偽陽性の影響を最小化することにより摩耗検出における誤りを低減することができる。さらに、開示されたシステム及び方法は、機械コンポーネントの摩耗を特定するための機械学習またはニューラルネットワーク技術よりも少ない処理リソースが必要である。したがって、開示されたシステム及び方法は、コンピュータ視覚技術を使用して摩耗を識別するために機械学習またはニューラルネットワーク技術に依存する摩耗検出システムよりも効果的であり、より正確であり、より少ない処理リソースが必要であるためである。
【0061】
上記の例を参照して、本開示の様々な態様を具体的に示し、説明したが、開示された精神及び範囲を逸脱することなく、開示された装置、システム及び方法の変更によって様々な追加の実施形態を想定することができることを当業者は理解するであろう。そのような実施形態は、特許請求の範囲及びその任意の等価物に基づいて特定された本開示の範囲内に入ると理解されるべきである。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
