特表 2024-522396 地面係合ツールの摩耗および損失検出システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-06-19

(54)【発明の名称】地面係合ツールの摩耗および損失検出システムおよび方法

(51)【国際特許分類】

   E02F 9/26 20060101AFI20240612BHJP

   G06T 7/00 20170101ALI20240612BHJP

   G06T 7/521 20170101ALI20240612BHJP

   G06T 7/593 20170101ALI20240612BHJP

   G01S 17/86 20200101ALI20240612BHJP

   G01B 11/16 20060101ALI20240612BHJP

   G01S 17/89 20200101ALI20240612BHJP

   E02F 9/28 20060101ALI20240612BHJP

【ＦＩ】

E02F9/26 B

G06T7/00 610

G06T7/521

G06T7/593

G01S17/86

G01B11/16 Z

G01S17/89

E02F9/28 A

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023572742

(86)(22)【出願日】2022-05-16

(85)【翻訳文提出日】2023-12-01

(86)【国際出願番号】 US2022029386

(87)【国際公開番号】W WO2022256163

(87)【国際公開日】2022-12-08

(31)【優先権主張番号】17/335,835

(32)【優先日】2021-06-01

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】391020193

【氏名又は名称】キャタピラー インコーポレイテッド

【氏名又は名称原語表記】ＣＡＴＥＲＰＩＬＬＡＲ ＩＮＣＯＲＰＯＲＡＴＥＤ

(74)【代理人】

【識別番号】110001243

【氏名又は名称】弁理士法人谷・阿部特許事務所

(72)【発明者】

【氏名】ミアンゾ、ローレンス エイ．

(72)【発明者】

【氏名】オブラク、トッド エイ．

(72)【発明者】

【氏名】プルゼック、ジョン エム．

(72)【発明者】

【氏名】ワイズ、レイモンド エイ．

(72)【発明者】

【氏名】マシュー、ショーン エヌ．

【テーマコード（参考）】

2D015

2F065

5J084

5L096

【Ｆターム（参考）】

2D015HA03

2D015HB05

2D015JA01

2F065AA63

2F065FF05

2F065FF31

2F065GG04

2F065JJ03

2F065JJ05

2F065JJ26

2F065MM16

2F065MM26

2F065QQ01

2F065QQ03

2F065QQ33

5J084AA05

5J084AA13

5J084AC02

5J084BA48

5J084EA04

5L096AA09

5L096BA02

5L096FA54

5L096FA64

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

地面係合ツールの摩耗および損失検出システムおよび方法を提供する。例示的な摩耗検出システム（１１０）は、作業機械（１００）に関連する１つまたは複数のセンサ（１２６、１２８）から第１イメージングデータを受信する。第１イメージングデータは、作業機械の少なくとも１つの地面係合ツール（ＧＥＴ）（１２５）に関するデータを含む。例示的なシステムは、第１イメージングデータ内の少なくとも１つのＧＥＴのデータを含む関心領域を識別する。識別された関心領域に基づいて、例示的なシステムは、第１イメージングデータよりも高解像度の少なくとも１つのＧＥＴをキャプチャする第２イメージングデータをキャプチャするようにＬｉＤＡＲセンサ（１２６）を制御する。例示的なシステムは、第２イメージングデータに基づいて、少なくとも１つのＧＥＴの３次元点群を生成し、３次元点群に基づいて、少なくとも１つのＧＥＴの摩耗レベルまたは損失を決定する。
【選択図】図1

【特許請求の範囲】

【請求項1】

コンピュータ実装方法であって、
作業機械（１００）に関連する１つまたは複数のセンサ（１２６、１２８）から第１イメージングデータを受信するステップであって、前記第１イメージングデータは、前記作業機械の少なくとも１つの地面係合ツール（ＧＥＴ）（１２５）に関するデータを含み、前記第１イメージングデータは、第１解像度で少なくとも１つのＧＥＴを識別する、ステップと、
前記第１イメージングデータ内の関心領域（５５０）を識別するステップであって、前記関心領域は、前記少なくとも１つのＧＥＴに関するデータを含む、ステップと、
光検出測距（ＬｉＤＡＲ）センサ（１２６）を制御して、前記識別された関心領域に対応する第２イメージングデータを取得するステップであって、前記第２イメージングデータは、前記第１解像度よりも高い第２解像度で前記少なくとも１つのＧＥＴを識別する、ステップと、
前記第２イメージングデータに基づいて、前記少なくとも１つのＧＥＴの３次元点群（８２０）を生成するステップと、
前記３次元点群に基づいて、前記少なくとも１つのＧＥＴの摩耗レベルまたは損失を決定するステップと、を含む、方法。

【請求項2】

前記第１イメージングデータを受信する前記１つまたは複数のセンサは、ＬｉＤＡＲセンサを含む、請求項１に記載のコンピュータ実装方法。

【請求項3】

前記ＬｉＤＡＲセンサは、第１視野を用いて前記第１イメージングデータをキャプチャするステップと、
前記ＬｉＤＡＲセンサは、第２視野を用いて前記第２イメージングデータをキャプチャするステップと、を含み、
前記第１視野は前記第２視野よりも広い、請求項２に記載のコンピュータ実装方法。

【請求項4】

前記１つまたは複数のセンサは、ステレオカメラ（１２８）の左画像センサおよび右画像センサを含み、
前記第１イメージングデータは、
前記左画像センサによってキャプチャされた前記少なくとも１つのＧＥＴの左画像と、
前記右画像センサによってキャプチャされた前記少なくとも１つのＧＥＴの右画像と、を含む、請求項１に記載のコンピュータ実装方法。

【請求項5】

前記少なくとも１つのＧＥＴの摩耗レベルまたは損失を決定するステップは、さらに、
前記少なくとも１つのＧＥＴに対応する前記左画像内の左エッジを決定するステップと、
前記少なくとも１つのＧＥＴに対応する前記右画像内の右エッジを決定するステップと、
前記左エッジおよび前記右エッジに基づいて疎なステレオ視差情報を決定するステップと、
前記疎なステレオ視差情報を３次元点群と融合するステップと、を含む、請求項４に記載のコンピュータ実装方法。

【請求項6】

システム（１１０）であって、
作業機械（１００）に関連する１つまたは複数のセンサ（１２６、１２８）であって、前記１つまたは複数のセンサのうちの少なくとも１つは、光検出測距（ＬｉＤＡＲ）センサ（１２８）である、１つまたは複数のセンサ（１２６、１２８）と、
１つまたは複数のプロセッサ（１４０）と、
前記１つまたは複数のプロセッサによって実行されるときに、
１つまたは複数のセンサから第１イメージングデータを受信する動作であって、前記第１イメージングデータは、前記作業機械の少なくとも１つの地面係合ツール（ＧＥＴ）（１２５）に関するデータを含み、前記第１イメージングデータは、第１解像度で前記少なくとも１つのＧＥＴを識別する、動作と、
前記第１イメージングデータ内の関心領域（５５０）を識別する動作であって、前記関心領域は、少なくとも１つのＧＥＴに関するデータを含む、動作と、
ＬｉＤＡＲセンサを制御して、識別された関心領域に対応する第２イメージングデータを取得する動作であって、前記第２イメージングデータは、前記第１解像度よりも高い解像度で前記少なくとも１つのＧＥＴを識別する、動作と、
前記第２イメージングデータに基づいて、前記少なくとも１つのＧＥＴの３次元点群（８２０）を生成する動作と、
前記３次元点群に基づいて、前記少なくとも１つのＧＥＴの摩耗レベルまたは損失を決定する動作と、を含む動作を、前記１つまたは複数のプロセッサに実行させる実行可能命令を記憶する非一時的なコンピュータ可読媒体（１５０）と、を含む、システム（１１０）。

【請求項7】

前記少なくとも１つのＧＥＴの摩耗レベルまたは損失を決定する前記ステップは、前記少なくとも１つのＧＥＴのためのＣＡＤベースモデルに少なくとも部分的に基づいている、請求項６に記載のシステム。

【請求項8】

前記ＬｉＤＡＲセンサは、第１視野を用いて前記第１イメージングデータをキャプチャし、前記第２視野を用いて前記第２イメージングデータをキャプチャし、前記第１視野は前記第２視野よりも広い、請求項６に記載のシステム。

【請求項9】

前記１つまたは複数のセンサは、ステレオカメラの左画像センサおよび右画像センサをさらに含み、
前記第１イメージングデータは、
前記左画像センサによってキャプチャされた前記少なくとも１つのＧＥＴの左画像と、
前記右画像センサによってキャプチャされた前記少なくとも１つのＧＥＴの右画像と、を含む、請求項６に記載のシステム。

【請求項10】

前記少なくとも１つのＧＥＴの摩耗レベルまたは損失を決定する前記ステップは、さらに、
前記少なくとも１つのＧＥＴに対応する前記左画像内の左エッジを決定するステップと、
前記少なくとも１つのＧＥＴに対応する前記右画像内の右エッジを決定するステップと、
前記左エッジおよび前記右エッジに基づいて、疎なステレオ視差情報を決定するステップと、
前記疎なステレオ視差情報を前記３次元点群と融合するステップと、を含む、請求項９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、物体の経時的な摩耗を検出するためのシステムおよび方法に関し、より具体的には、イメージング技術を用いて、１つまたは複数の地面接合ツール（ＧＥＴ）の経時的な摩耗または損失を検出するためのシステムおよび方法に関する。

【背景技術】

【0002】

機械は、工事現場で様々なタスクを実行するために使用することができる。例えば、機械は、砂利、コンクリート、アスファルト、土壌、および／または他の材料など、作業現場に存在する材料を掘削、移動、成形、輪郭形成、および／または除去するために使用され得る。これらの機械には、そのような材料を収集するために使用されるバケットを含めることができ、バケットには、材料をほぐすための歯などのＧＥＴグループを含めることができる。ＧＥＴはまた、バケットのエッジを保護するために歯間バケットに接続されたシュラウドを含んでもよい。時間の経過とともに、ＧＥＴは摩耗してサイズが小さくなり、その効果が低下し、バケットが現場の材料を収集することがより困難になる。ＧＥＴはバケットから破断することもできる。ＧＥＴ破断が検出されない場合、ＧＥＴは工事現場の材料と混合することができ、それに破砕機や粉砕機などの下流処理装置にダメージを与えることができる。作業機械は摩耗検出システムを利用して、下流の機器に損傷が発生する前に摩耗または破損したＧＥＴを特定する場合がある。

【0003】

摩耗検出システムを提供する試みは、２０１６年８月１８日に発行された、米国特許出願公開第２０１６／０２３７６４０（「公開第６４０号」）に記載されている。公開第６４０号には、コンポーネントの識別、存在、状態、使用状況、および／または性能などの製品の特性を監視する、土工機器用の地面に係合する製品を監視するためのシステムおよびツールが記載されている。公開第６４０号に開示されている監視ツールは、光検出測距（「ＬｉＤＡＲ」）センサを含んでもよいが、開示されているＬｉＤＡＲセンサは静的であり、異なる視野または解像度を有する物体のスキャンを可能にする適応スキャン技術を採用していない。さらに、公開第６４０号に記載されている監視ツールは、約２センチメートル以下の精度および正確さで粗い物体検出を提供するだけである。

【0004】

低解像度および非適応スキャンＬｉＤＡＲセンサに依存することは、ＧＥＴにおける摩耗を検出する上で欠点がある。まず、約２ｃｍの解像度は、ミリメートル（またはそれ以下）オーダーの測定が好ましいので、効果的または正確なＧＥＴ測定を確実に提供する。さらに、非適応スキャンＬｉＤＡＲセンサでが、ｉＤＡＲセンサが固定視野を維持する必要があるため、画像キャプチャの調整やキャプチャされた画像情報の解像度の変更が妨げられる。結果として、公開第６４０号に記載されたシステムは、ＧＥＴの摩損または損失を検出する際にエラーを起こしやすく、所望の精度レベルの測定値を提供することができない。本明細書に記載さらえているシステムおよび方法は、これらの問題のうちの１つまたは複数を解決することを意図している。

【発明の概要】

【0005】

第１態様によれば、ＧＥＴの摩損または損失を検出する方法は、作業機械に関連する１つまたは複数のセンサから第１イメージングデータを受信するステップを含む。第１イメージングデータは、作業機械の少なくとも１つのＧＥＴに関するデータを含む。第１イメージングデータは、第１解像度で少なくとも１つのＧＥＴを識別する。本方法は、第１イメージングデータ内の関心領域を識別し、関心領域は、少なくとも１つのＧＥＴに関するデータを含む。本方法は、ＬｉＤＡＲセンサを制御して、識別された関心領域に対応する第２イメージングデータをキャプチャする。第２イメージングデータは、第１解像度よりも高い第２解像度で少なくとも１つのＧＥＴを識別する。本方法は、第２イメージングデータに基づいて、少なくとも１つのＧＥＴの３次元点群を生成し、３次元点群に基づいて、少なくとも１つのＧＥＴの摩耗レベルまたは損失を決定する。

【0006】

別の態様によれば、摩耗検出システムは、作業機械に関連する１つまたは複数のセンサと、１つまたは複数のプロセッサと、実行可能命令を記憶する非一時的なコンピュータ可読媒体とを含む。１つまたは複数のセンサのうちの少なくとも１つは、ＬｉＤＡＲセンサである。実行可能命令は、プロセッサによって実行されるときに、１つまたは複数のセンサから第１イメージングデータを受信することを含む動作をプロセッサに実行させる。第１イメージングデータは、作業機械の少なくとも１つのＧＥＴに関するデータを含む。第１イメージングデータは、第１解像度でＧＥＴを識別する。動作は、少なくとも１つのＧＥＴに関するデータを含む第１イメージングデータ内の関心領域を識別し、ＬｉＤＡＲセンサを制御して、第１解像度よりも高い第２解像度で、識別された関心領域に対応する第２イメージングデータをキャプチャすることをさらに含み、動作は、第２イメージングデータに基づいて少なくとも１つのＧＥＴの３次元点群を生成し、３次元点群に基づいて少なくとも１つのＧＥＴの摩耗レベルまたは損失を決定することをさらに含む。

【0007】

別の態様によれば、作業機械は、少なくとも１つのＧＥＴを含むバケットと、左画像センサおよび右画像センサを含むステレオカメラと、ＬｉＤＡＲセンサと、１つまたは複数のプロセッサと、１つまたは複数のプロセッサによって実行されるときに動作を１つまたは複数のプロセッサに実行させる実行可能命令を記憶する非一時的なコンピュータ可読媒体と、を含む。動作は、左画像センサによってキャプチャされた少なくとも１つのＧＥＴの左画像を受信することと、右画像センサによってキャプチャされた少なくとも１つのＧＥＴの右画像を受信することと、を含む。動作は、左画像および右画像に基づいて密なステレオ視差マップを生成することと、密なステレオ視差マップに基づいて関心領域を識別することと、をさらに含む。動作は、ＬｉＤＡＲセンサを制御して、識別された関心領域に基づいてイメージングデータをキャプチャすることをさらに含む。イメージングデータは、左画像または右画像よりも高い解像度で少なくとも１つのＧＥＴをキャプチャする。動作は、イメージングデータに基づいて、少なくとも１つのＧＥＴの３次元点群を生成することと、３次元点群に基づいて、少なくとも１つのＧＥＴの摩耗レベルまたは損失を決定することと、をさらに含む。

【0008】

図面を参照して具体的な実施形態について説明する。図において、参照番号の最左の桁は、その参照番号が最初に現れる図を識別する。異なる図面における同一の符号は、類似または同一の項目を示す。

【図面の簡単な説明】

【0009】

【図1】ＧＥＴにおける摩耗を検出するための例示的なシステムを含む例示的な機械を示す概略図のブロック図である。

【図2】ＧＥＴにおける摩耗を検出するための例示的なシステムを含む例示的な機械の例示的な環境を示す概略側面図である。

【図3】ＧＥＴにおける摩耗を検出するための例示的なシステムを含む例示的な機械の他の例示的な環境を示す概略側面図である。

【図4】ＧＥＴにおいて摩耗を検出するための例示的なシステムを含む例示的な機械を有する別の例示的な環境の概略側面図を示す図である。

【図5】コンピュータビジョン技術を用いた関心領域検出処理の画像データの流れの一例を示す画像データフロー図である。

【図6】深層学習技術を使用した関心領域検出プロセスのための画像データの流れの例を示す画像データフロー図である。

【図7】ＬｉＤＡＲセンサおよびイメージングデータを用いた関心領域検出プロセスのための画像データの流れの例を示す画像データフロー図である。

【図8】摩耗検出処理のための画像データの流れの一例を示す画像データフロー図である。

【図9】例示的な環境において摩耗を検出するための例示的なプロセスである。

【発明を実施するための形態】

【0010】

本開示は、一般に、１つまたは複数のセンサを使用して、作業現場などの環境における作業機械のコンポーネントの摩耗を検出するためのシステムおよび方法を対象とする。１つまたは複数のセンサは、コンポーネントに関連するイメージングデータをキャプチャすることができる（ステレオカメラまたは「ステレオカメラ」の一部とすることができる）画像センサと、ＬｉＤＡＲセンサとを含んでもよい。イメージングデータは、ビデオ、画像またはＬｉＤＡイメージングデータを含んでもよいが、これらに限定されない。イメージングデータは、作業機械に関連する摩耗検出コンピュータシステムによって分析されて、コンポーネントの摩耗を検出し、作業機械の様々な側面が、作業機械上、ステレオカメラ内、ＬｉＤＡＲセンサ内、またはこれらのコンポーネントの外部に配置され得る。例えば、このコンポーネントは、作業機械のバケットの１つまたは複数のＧＥＴであってもよい。摩耗検出コンピュータシステムは、１つまたは複数の段階でイメージングデータを分析する。例示的な第１段階では、摩耗検出コンピュータシステムは、より低い解像度イメージングデータを受信し、分析されたコンポーネント（例えば、ＧＥＴ）を含む関心領域を検出するために使用する。例示的な第２段階では、摩耗検出コンピュータシステムは、関心領域の位置を用いてＬｉＤＡＲセンサを制御して、分析されたコンポーネントのより高解像度のＬｉＤＡイメージングデータをキャプチャする。高解像度イメージングデータの３次元点群を分析して、分析されたコンポーネントの摩耗レベルまたは損失を決定する。この技術を用いると、摩耗検出コンピュータシステムは、分析されたコンポーネントの画像をミリメートルレベルの精度でキャプチャするようにＬｉＤＡＲセンサに命令することができる（例えば、ＬｉＤＡＲセンサは、約１～２ミリメートルごとにデータ「ヒット」を受信する）。

【0011】

図１は、例示的な摩耗検出コンピュータシステム１１０を含む例示的な作業機械１００の概略図を示すブロック図である。一方、図１において、作業機械１００は、油圧採掘ショベルとして描かれており、他の例では、作業機械１００は、土壌、岩石、または鉱物などの材料を移動、彫刻、掘削、または除去する任意の機械を含んでもよい。図１に示すように、作業機械１００は、アーム１２２に取り付けられたバケット１２０を含んでもよい。バケット１２０は、作業機械１００が材料を緩めるのを助ける歯のような１つまたは複数の接地係合ツール（ＧＥＴ）１２５を含んでもよい。本開示で提供される例は、ＧＥＴ １２５を一般に歯と呼ぶが、他のタイプのＧＥＴは、本開示で提供される実施形態の範囲内であることが予想される。例えば、ＧＥＴは、リップシュラウド、エッジガード、アダプター、リッパープロテクター、刃先、サイドバープロテクター、チップ、または作業現場の材料との摩擦により時間の経過とともに摩耗する作業機械に関連するその他のツールを含んでもよい。

【0012】

作業機械１００はまた、視野１２７を有するＬｉＤＡＲセンサ１２６および視野１２９を有するステレオカメラ１２８のような、それぞれの視野を有する１つまたは複数のセンサを含んでもよい。視野１２７と視野１２９は両方ともバケット１２０とＧＥＴ １２５に向けられている。図１に示すように、視野１２７および視野１２９は実質的に重なっている。

【0013】

ＬｉＤＡＲセンサ１２６は、適応スキャンＬｉＤＡＲセンサ、すなわち、その解像度および視野が命令され、制御され、構成され得るＬｉＤＡＲセンサを含むことができる。ＬｉＤＡＲセンサは、解像度および視野を命令し、制御し、構成することができる。例えば、ＬｉＤＡＲセンサ１２６は、ＡＥＹＥ４Ｓｉｇｈｔ Ｍ（商標）を含んでもよい。いくつかの実施形態では、視野１２７は、６０度×３０度のベースラインから開始し（「低」解像度範囲スキャンを表す）、その後、０．０２５度にわたる高精細関心領域まで０．１度ずつ調整されてもよいが、他の実施形態では、他の視野および角度解像度が存在してもよい。ＬｉＤＡＲセンサ１２６は、１００Ｈｚの周波数で１乗度当たり最大１，６００個の点を収集するように構成されてもよい。ＬｉＤＡＲセンサ１２６の精度は、視野１２７の角度解像度と、ＬｉＤＡＲセンサ１２６とＧＥＴ １２５との間の距離との関数である。例えば、ＧＥＴ １２５がＬｉＤＡＲセンサ１２６から約６メートル離れており、視野１２７が６０度×３０度に構成されている場合、１乗度当たり１，６００ポイントのスキャンは、約７．２メートル×３．２メートルのキャプチャ矩形内にＬｉＤＡヒットを生成する。視野の焦点を再調整することにより、ＬｉＤＡＲのヒットは水平方向と垂直方向に２．６ミリメートルを記録できる。ＬｉＤＡＲセンサ１２６の一例を上述したが、適応スキャンが可能な異なるＬｉＤＡＲセンサを様々な実施形態で使用することができる。

【0014】

ステレオカメラ１２８は、バケット１２０およびＧＥＴ １２５のような視野１２９内の物体のステレオ画像をキャプチャするために、間隔を置いて配置された左および右の画像センサを含む。いくつかの実施形態では、左画像センサおよび右画像センサは、モノクロ画像をキャプチャする。ステレオカメラ１２８は、視野１２９内の物体のカラー画像をキャプチャするためのカラー画像センサをさらに含んでもよい。いくつかの実施形態では、カメラ１２８はデジタル画像を出力し、または作業機械１００は、カメラ１２８と摩耗検出コンピュータシステム１１０との間に配置され、摩耗検出コンピュータシステム１１０がアナログ画像を受信する前にデジタル画像に変換するアナログデジタル変換器を含んでもよい。

【0015】

いくつかの実施形態では、ＬｉＤＡＲセンサ１２６およびカメラ１２８のような作業機械１００の１つまたは複数のセンサは、１つまたは複数のセンサのレンズの表面（またはスクリーン）から破片、霧、または他の障害物を除去するためのレンズクリーニング装置を含んでもよい。レンズクリーニング装置は、例えば、圧縮空気、洗浄溶剤、または洗浄不凍液を噴出するノズルを含んでもよい。レンズクリーニング装置は、レンズの表面に接触して拭き取り、破片または他の障害物をレンズ表面から押し出すように構成された可動ワイパーをさらに含んでもよい。いくつかの実施形態では、１つまたは複数のセンサのレンズのカバーは、レンズスクリーンを（円筒形レンズスクリーンの場合）回転させるか、またはレンズスクリーンを（平面レンズスクリーンの場合）スライドさせて、１つまたは複数のワイパーに接触させてスクリーンからゴミを取り除くアクチュエータを含んでもよい。

【0016】

作業機械１００が作業現場内で動作するとき、掘削・投棄サイクルの一部として作業現場内で材料を移動または掘削するためにアーム１２２を動かしてバケット１２０を位置決めすることができる。作業機械１００は、掘削・投棄サイクルによりバケット１２０を位置決めする際に、バケット１２０を視野１２７および視野１２９に出し入れすることができる。ＬｉＤＡＲセンサ１２６およびカメラ１２８は、ディグ投棄サイクル中にＧＥＴ １２５を遮るものなく見えるように配置されてもよい。例えば、ＬｉＤＡＲセンサ１２６およびカメラ１２８は、掘削・投棄サイクル内でバケット１２０が材料を空にする瞬間にバケット１２０およびＧＥＴ １２５が見えるように、作業機械１００上に配置されてもよい。別の例として、ＬｉＤＡＲセンサ１２６およびカメラ１２８は、掘削・投棄期間中にアーム１２２が完全に伸張または収縮したときにバケット１２０が視野に入るように配置されてもよい。図２～４に関して以下に説明するように、ＬｉＤＡＲセンサ１２６およびカメラ１２８の位置（およびそれぞれの視野１２７および視野１２９）は、作業機械１００のタイプおよび作業場所に関する詳細に応じて変化してもよい。

【0017】

いくつかの実施形態によれば、作業機械１００は、運転者制御パネル１３０を含む。運転者制御パネル１３０は、作業機械１００の運転者のための出力を生成するディスプレイ１３３を含むことができ、これにより、運転者は、摩耗検出コンピュータシステム１１０に関する状態または警報を受信することができる。ディスプレイ１３３は、液晶ディスプレイ（ＬＣＤ）、発光ダイオードディスプレイ（ＬＥＤ）、陰極線管（ＣＲＴ）ディスプレイ、または当技術分野で知られている他のタイプのディスプレイを含むことができ、いくつかの例では、ディスプレイ１３３は、ヘッドホンまたは周辺スピーカのためのスピーカまたはポートのようなオーディオ出力を含む。ディスプレイ１３３はまた、マイクロホンまたは周辺マイクロホン用ポートなどのオーディオ入力デバイスを含んでもよい。いくつかの実施形態では、ディスプレイ１３３は、入力デバイスとしても機能するタッチ感知ディスプレイを含む。

【0018】

いくつかの実施形態では、運転者制御パネル１３０はまた、キーボード１３７を含む。キーボード１３７は、摩耗検出コンピュータシステム１１０のための入力能力を提供する。キーボード１３７は、作業機械１００の運転者が摩耗検出コンピュータシステム１１０に入力を提供することを可能にする複数のキーを含む。例えば、本開示の例によれば、運転者は、作業機械１００、バケット１２０、および／またはＧＥＴ １２５のタイプを選択または入力するために、キーボード１３７のキーを押下することができる。キーボード１３７は、非仮想であってもよく（例えば、物理的にキーを押すことができるものを含む）、または、ディスプレイ１３３のタッチに敏感な実施形態上に表示される仮想キーボードであってもよい。

【0019】

図１に示すように、摩耗検出コンピュータシステム１１０は、１つまたは複数のプロセッサ１４０を含む。プロセッサ１４０は、中央処理ユニット（ＣＰＵ）、グラフィックス処理ユニット（ＧＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、ＣＰＵ、ＧＰＵまたはＦＰＧＡのある組み合わせ、または任意の他のタイプの処理ユニットのうちの１つまたは複数を含んでもよい。プロセッサ１４０は、算術演算および論理演算を実行する複数の算術論理ユニット（ＡＬＵ）と、プロセッサキャッシュメモリから命令および記憶内容を抽出した後、プログラム実行中に必要に応じてＡＬＵを呼び出して命令を実行する１つまたは複数の制御ユニット（ＣＵ）とを有することができる。プロセッサ１４０は、一般的なタイプの揮発性（ＲＡＭ）および／または不揮発性（ＲＯＭ）メモリに関連付けられ得る、メモリ１５０に記憶されたアプリケーション、ルーチンまたはプロセスのドライバおよび他のコンピュータ実行可能命令を実行する役割も負ってもよい。

【0020】

摩耗検出コンピュータシステム１１０は、メモリ１５０をさらに含む。メモリ１５０は、揮発性（例えば、ＲＡＭ）、不揮発性（例えば、ＲＯＭ、フラッシュメモリなど）、またはこれらのいずれかの組み合わせとすることができるシステムメモリを含んでもよい。メモリ１５０は、コンピュータ可読命令、データ構造、プログラムモジュール、または他のデータなどの情報を記憶するための任意の方法または技術によって実現される、揮発性および不揮発性、可動性および非可動性媒体などの非一時的なコンピュータ可読媒体を含むこともできる。システムメモリ、リムーバブルストレージ、およびリムーバブルストレージは、非一時的なコンピュータ可読媒体の例である。非一時的なコンピュータ可読媒体の例には、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリまたは他のメモリ技術、ＣＤ?ＲＯＭ、デジタル多用途ディスク（ＤＶＤ）または他の光学メモリ、磁気カセット、磁気テープ、磁気ディスクメモリまたは他の磁気記憶装置、または所望の情報を記憶するために使用され、摩耗検出コンピュータシステム１１０によってアクセスされ得る他の任意の非一時的媒体が含まれるが、これらに限定されるものではない。

【0021】

メモリ１５０は、本明細書で説明されるように、摩耗検出コンピュータシステム１１０のためのコンピュータ実行可能命令を含むデータを記憶する。例えば、メモリ１５０は、物理パラメータライブラリ１６０、画像分析装置１７０、摩耗分析装置１７５、および警報管理装置１８０のような摩耗検出コンピュータシステム１１０の１つまたは複数のコンポーネントを記憶することができる。メモリ１５０は、摩耗検出コンピュータシステム１１０の動作を可能にするために、プロセッサ１４０によって実行可能な追加のコンポーネント、モジュール、または他のコードを記憶することもできる。例えば、メモリ１５０は、入出力機能、ソフトウェアドライバ、オペレーティングシステム、または他のコンポーネントに関するコードを含んでもよい。

【0022】

いくつかの実施形態によれば、摩耗検出コンピュータシステム１１０の様々な態様は、カメラ１２８内に配置されてもよい。例えば、カメラ１２８は、プロセッサ１４０および／またはメモリ１５０のうちの１つまたは複数を含んでもよい。同様に、摩耗検出コンピュータシステム１１０の様々な態様は、ＬｉＤＡＲセンサ１２６内に配置されてもよい。加えて、または代替的に、摩耗検出コンピュータシステム１１０の様々な態様は、作業機械１００上に配置され、ＬｉＤＡＲセンサ１２６またはカメラ１２８の外部に配置されてもよい。

【0023】

物理パラメータライブラリ１６０は、作業機械１００、バケット１２０、ＧＥＴ １２５、ＬｉＤＡＲセンサ１２６、および／またはカメラ１２８に関する物理パラメータセットを含む。例えば、物理パラメータライブラリ１６０は、いくつかの例として、バケット１２０のサイズ、バケット１２０の形状、ＧＥＴ １２５のサイズ、ＧＥＴ １２５の形状、およびＧＥＴ １２５とバケット１２０との間の空間的関係、および／またはＬｉＤＡＲセンサ１２６とカメラ１２８との間の空間的関係に関する測定データを含んでもよい。物理パラメータライブラリ１６０は、新しい状態または摩耗していない状態でのＧＥＴ １２５のサイズおよび形状に関するパラメータ、および最大摩耗に達したときのＧＥＴ １２５のサイズおよび形状に関するパラメータをさらに含んでもよい。

【0024】

物理パラメータライブラリ１６０は、バケット１２０とＧＥＴ １２５との組み合わせに関するテンプレートまたは参照画像（例えば、バケットツールテンプレート）も含んでもよい。例えば、作業機械１００の場合、物理パラメータライブラリ１６０に記憶されたテンプレートのうちの１つは、バケット１２０が視野１２７および視野１２９内に位置することが予想されるので、ＧＥＴ １２５を有するバケット１２０の画像を含んでもよい。バケットツールテンプレートは、摩耗していないＧＥＴ １２５（例えば、摩耗していない、または予期されるエッジ）、または最大摩耗に達したＧＥＴ １２５（例えば、閾値エッジ）を表すことができる。物理パラメータライブラリ１６０は、ＧＥＴが交換を必要とするほど摩耗したときを摩耗分析装置１７５が判断するのを助けるために、ＧＥＴ １２５の摩耗に関する他の情報も含んでもよい。ＧＥＴ １２５に関する摩耗データは、実際に測定された形式（例えば、メートル法またはインチ法のサイズ）またはピクセル値の形式であり得る。

【0025】

別の例として、物理パラメータライブラリ１６０は、ＧＥＴ １２５のＣＡＤベースモデルを含んでもよい。ＣＡＤベースのモデルには、ＡｕｔｏＣＡＤ（登録商標）、Ａｕｔｏｄｅｓｋ（登録商標）、ＳｏｌｉｄＷｏｒｋｓ（登録商標）、または他のよく知られたＣＡＤプログラムなどのコンピュータ支援設計プログラムを用いて開発されたリファレンスＧＥＴ １２５モデルを使用してもよい。摩耗検出コンピュータシステム１１０は、観察されたＧＥＴ １２５のサイズおよび形状を、ＣＡＤベースのモデルを基準点として、同じタイプのモデル、標準的な、または摩耗していないＧＥＴと比較して、ＧＥＴ １２５の摩耗または損失を決定してもよい。

【0026】

物理パラメータライブラリ１６０は、複数の物理パラメータセットを含むことができ、各物理パラメータセットは、作業機械、バケット、ＧＥＴ、またはこれらの組合せに対応する。作動中、運転者は、運転者制御パネル１３０を使用して、バケット１２０およびＧＥＴ １２５、または作業機械１００に適合する物理パラメータライブラリ１６０から物理パラメータセットを選択することができる。例えば、作業機械１００がモデル番号「６０１５Ｂ」を有する油圧マイニングショベルである場合、運転者は運転者コントロールパネル１３０を用いてモデル番号「６０１５Ｂ」を入力することができ、摩耗検出コンピュータシステム１１０は、モデル番号「６０１５Ｂ」の油圧マイニングショベルに対応する物理パラメータセットを物理パラメータライブラリ１６０からメモリ１５０にロードすることができる。いくつかの例では、摩耗検出コンピュータシステム１１０の電源投入またはリセット動作時に、物理パラメータライブラリ１６０で利用可能なテンプレートのリストをディスプレイ１３３に表示することができ、運転者は、作業機械１００のモデル、バケット１２０のバケットタイプまたはＧＥＴ １２５のタイプに応じて、リストから１つの物理パラメータセットを選択して動作させることができる。

【0027】

いくつかの実施形態では、運転者は、作業シフトの開始時に、カメラ１２８の視野１２９内にバケット１２０およびＧＥＴ １２５を配置し、摩耗検出コンピュータシステム１１０に、運転者制御パネル１３０上の入力を用いてバケット１２０およびＧＥＴ １２５の画像をキャプチャすることができる。次いで、摩耗検出コンピュータシステム１１０は、バケット１２０およびＧＥＴ １２５を物理パラメータセットと照合する画像照合プロセスを実行し、一致する物理パラメータセットに基づいて、本明細書に開示される摩耗検出プロセスおよび画像処理プロセスのためにそれ自体を構成することができる。いくつかの実施形態では、摩耗検出コンピュータシステム１１０は、カメラ１２８および視野１２９の代わりに、ＬｉＤＡＲセンサ１２６および視野１２７を構成プロセスに使用することができる。

【0028】

画像分析装置１７０は、視野１２７および視野１２９内のＧＥＴ １２５を識別するために、ＬｉＤＡＲセンサ１２６またはカメラ１２８によってキャプチャされたイメージングデータを分析し、イメージングデータの処理に基づいてＧＥＴ １２５の摩耗を測定するように構成されてもよい。例えば、画像分析装置１７０は、左補正画像（カメラ１２８の左画像センサによってキャプチャされる）および右補正画像（カメラ１２８の右画像センサによってキャプチャされる）の形態でステレオ画像をカメラ１２８から受信することができる。画像分析装置１７０は、ＧＥＴ １２５に対応する関心領域を識別または決定するために、左補正画像および右補正画像に対して様々なコンピュータビジョン技術を実行することができる。別の例として、画像分析装置１７０は、ＧＥＴ １２５に対応する関心領域を識別するために使用することができるＬｉＤＡＲセンサ１２６によってキャプチャされたイメージングデータを受信することができる。開示された実施形態では、画像分析装置１７０は、以下により詳細に説明するように、ＬｉＤＡＲセンサ１２６からデータを受信して、ＧＥＴ １２５の摩損または損失を決定する。

【0029】

画像分析装置１７０は、ＧＥＴ １２５の摩耗または欠損が検出された場合に、２セットのイメージングデータを処理する。第１イメージングデータセットは、視野１２７または視野１２９内の関心領域を識別するためにキャプチャされる。関心領域は、視野１２７または視野１２９内のＧＥＴ １２５の相対位置に対応する。関心領域を検出するための第１イメージングデータセットは、ＧＥＴ １２５の一般的な関心領域の位置を特定するように設計された、広く低解像度イメージングデータキャプチャであり、「粗いスキャン」と呼ばれることがある。いくつかの実施形態では、第１イメージングデータセットはカメラ１２８を用いてキャプチャされてもよく、画像分析装置１７０は、コンピュータビジョンまたは機械学習技術を用いて関心領域を決定する。他の実施形態では、第１イメージングデータセットは、ＬｉＤＡＲセンサ１２６を用いて、比較的広い第１低解像度（例えば、６０度×３０度）でキャプチャされてもよい。いくつかの実施形態では、画像分析装置１７０は、ＬｉＤＡＲセンサ１２６およびカメラ１２８から第１イメージングデータセットを受信する。

【0030】

画像分析装置１７０は、ＧＥＴ １２５に対応する関心領域を識別すると、ＬｉＤＡＲセンサ１２６を制御して、関心領域に焦点を合わせ、より高解像度のスキャンまたは「微細スキャン」を行う。例えば、画像分析装置１７０は、識別された関心領域に焦点を合わせて視野１２７を狭めるように変更するようにＬｉＤＡＲセンサ１２６のアプリケーション・プログラミング・インターフェース（ＡＰＩ）と通信することができる。次に、ＬｉＤＡＲセンサ１２６は、ＧＥＴ １２５をもう１回スキャンして、第２イメージングデータセットを収集する。狭い視野１２７を有するＬｉＤＡＲセンサ１２６によってキャプチャされた第２イメージングデータセットは、ＬｉＤＡＲセンサ１２６（広い視野に設定されている場合）またはカメラ１２８によってキャプチャされた第１イメージングデータセットよりも高い解像度を有する。

【0031】

一実施形態では、画像分析装置１７０は、第１イメージングデータ（すなわち、関心領域を決定するための低解像度イメージングデータ）を受信すると、左補正画像および右補正画像に基づいて密なステレオ視差マップを作成する。画像分析装置は、関心領域を識別するために、密なステレオ視差マップを分割することができる。加えて、画像分析装置１７０は、密なステレオ視差マップに基づいて３次元点群を作成することもでき、また、３次元点群を分割して関心領域を識別することもできる。

【0032】

コンピュータビジョン技術に加えて、またはコンピュータビジョン技術を使用する代わりに、画像分析装置１７０は、深層学習または機械学習技術を用いて、カメラ１２８によってキャプチャされた左補正画像および／または右補正画像内の関心領域を識別することができる。例えば、画像分析装置１７０は、個々のＧＥＴ、ＧＥＴグループ、またはＧＥＴとバケットの組み合わせがラベル付けされた画像コーパスに基づいて関心領域を識別するように訓練されたニューラルネットワークを使用する深層学習ＧＥＴ検出アルゴリズムを使用することができる。画像分析装置１７０はまた、画像内のＧＥＴの位置を特定するように訓練されたニューラルネットワークを使用する深層学習ＧＥＴ位置アルゴリズムを使用することもできる。ＧＥＴ位置アルゴリズムは、個々のＧＥＴがタラベル付けされた画像コーパスを用いて訓練することができる。ＧＥＴ位置アルゴリズムは、画像内の個々のＧＥＴを識別すると、ＧＥＴの対応する位置を出力する。例えば、ＧＥＴ位置アルゴリズムは、ＧＥＴ位置に関するピクセル位置またはバウンディングボックス出力を出力することができる。

【0033】

上述したように、画像分析装置１７０は、ＧＥＴ １２５を含む関心領域を識別すると、関心領域に視野１２７の焦点を合わせるようにＬｉＤＡＲ１２６に命令および制御する。いくつかの実施形態では、画像分析装置１７０は、ＬｉＤＡＲセンサ１２６とカメラ１２８との間の空間的関係データを用いて、ＬｉＤＡＲセンサ１２６に関心領域上の視野１２７を変更するように命令する。ＬｉＤＡＲセンサ１２６は、その視野を変更するコマンドを受信すると、そのＭＥＭＳ（微小電気機械システム）ミラーの構成を狭い視野１２７に変更して、ＧＥＴ １２５に関するより高解像度イメージングデータをキャプチャすることができる。

【0034】

画像分析装置１７０は、キャプチャされた高解像度イメージングデータから、ＧＥＴ １２５に対応する３次元点群を作成することができる。３次元点群内の各点は、ＬｉＤＡＲセンサ１２６によってキャプチャされたＬｉＤＡ「ヒット」または検出点に対応する。いくつかの実施形態では、点間の実際の距離は１ｍｍまで小さくてもよい。十分に高い解像度を有する実施形態（すなわち、実際の点間距離が約２．５ｍｍ未満である場合）では、画像分析装置１７０は、摩耗検出分析のために３次元点群データを摩耗分析装置１７５に送る。他の実施形態では、画像分析装置１７０は、摩耗分析のために３次元点群データをさらに洗練するための追加処理を実行してもよい。

【0035】

例えば、いくつかの実施形態では、画像分析装置１７０は、３次元点群を密なメッシュサーフェスに変換することができる。画像分析装置１７０はさらに、ＧＥＴイメージングデータを摩耗分析装置１７５に通信する前に、密なメッシュサーフェスを疎なメッシュサーフェスに変換することができる。ＬｉＤＡＲセンサ１２６によってキャプチャされたイメージングデータをＣＡＤベースのＧＥＴモデルと比較するときに、３次元点群から密なメッシュサーフェス、次いで疎なメッシュサーフェスへの変換は、計算コストを削減するために望ましい場合がある。３次元点群から密なメッシュサーフェス、そして疎なメッシュサーフェスへの変換でも、オーバーサンプリングによりイメージングデータに存在する可能性のあるノイズを除去できる。

【0036】

いくつかの実施形態では、摩耗分析装置１７５は、カメラ１２８からのより低い解像度の第１受信イメージングデータを、ＬｉＤＡ１２６からのより高い解像度の第２受信イメージングデータと融合させて、ＧＥＴ １２５の観測測定に対する信頼性を得る。このような実施形態では、画像分析装置１７０は、カメラ１２８によってキャプチャされた左画像および右画像に対して追加の処理を実行する。例えば、画像分析装置１７０は、関心領域を識別すると、さらにそれらを処理して、左補正画像に対応する左エッジデジタル画像と、右補正画像に対応する右エッジデジタル画像とを生成することができる。画像分析装置１７０は、勾配マグニチュード検索ベースのエッジ検出を採用してもよいが、コンピュータビジョンの分野で採用されている他のエッジ検出技術（例えば、ゼロクロスに基づくエッジ検出技術）を他の実施形態で採用して、左エッジデジタル画像および右エッジデジタル画像を生成してもよい。

【0037】

いくつかの例では、画像分析装置１７０は、ＧＥＴ １２５のエッジ推定を調整し、および／または、キャプチャされた画像内のＧＥＴ １２５の意図された位置を使用することによって、個々のＧＥＴ １２５を識別することができる。例えば、画像分析装置１７０は、使用中のバケット１２０のタイプに対応する物理パラメータライブラリ１６０に記憶された物理パラメータセットに基づいて、バケット１２０に対するＧＥＴ １２５の意図された位置を知ることができる。この情報を用いて、画像分析装置１７０は、選択された画像内の所望の位置に到達し、歯に最も近いピクセル領域をキャプチャすることができる。次に、畳み込みフィルタ、分割分析、エッジ検出、または画素領域内の画素強度／暗さ分析を適用するなどのコンピュータ視覚技術に基づいて、画素領域を使用して歯をさらに識別することができる。いくつかの実施形態では、画像分析装置１７０は、個々の歯テンプレートを用いてピクセル領域に適用し、コンピュータビジョン技術を用いて歯の位置をさらに洗練することができる。画像分析装置１７０は、動的プログラミング技術を用いてエッジをさらに洗練することが動的プログラミング技術は、エッジの強度に基づく平滑化、エッジが高密度ステレオ視差マップ内の穴や不確実な領域に近いかどうか、または他のエッジ検出最適化手法を含んでもよい。画像分析装置１７０は、ＧＥＴ位置アルゴリズムの出力を使用して、ＧＥＴの位置を決定する際の信頼を得て、ＧＥＴ位置アルゴリズムの出力に基づいてエッジ推定をさらに改良することもできる。

【0038】

画像分析装置１７０はまた、ＧＥＴ １２５における摩耗または損失を決定するために、ＬｉＤＡＲセンサ１２６によってキャプチャされたより高解像度イメージングデータと共に使用され得る摩耗分析装置１７５に提供される疎ステレオ視差を生成することができる。いくつかの実施形態では、画像分析装置１７０は、左エッジデジタル画像（左補正画像に関連する）と右エッジデジタル画像（右補正画像に関連する）との間に疎なステレオ視差を生成し、この視差は、摩耗分析装置１７５によって使用される。代替的に、画像分析装置１７０は、第１関心領域画像（左補正画像に関連する）と第２関心領域画像（右補正画像に関連する）とから疎ステレオ視差を算出し、疎ステレオ視差画像からエッジを検出してもよい。

【0039】

摩耗分析装置１７５は、画像分析装置１７０によって生成された間引いたステレオ視差を摩耗のために分析するように構成されてもよい。例えば、バケット１２０およびＧＥＴ １２５に関する物理パラメータセットは、摩耗していないＧＥＴ １２５またはカメラ１２８の予期される画像取得に基づいて較正された摩耗していないＧＥＴ １２５のセットに関連する予期されるデータを含んでもよい。いくつかの例として、予期されるデータは、ピクセル、実測値、ＧＥＴ １２５のＣＡＤベースモデル、または摩耗していないＧＥＴに関するエッジ画像の形式であり得る。摩耗分析装置１７５は、疎なステレオ視差を受信すると、疎なステレオ視差を、ＬｉＤＡＲセンサ１２６によってキャプチャされたより高解像度イメージングデータ（または、いくつかの実施形態では、３次元点群に基づいて決定された密なメッシュサーフェスまたは疎なメッシュサーフェス）の３次元点群と融合し、相関させ、ＧＥＴ １２５に関する測定データを決定することができる。次に、ＧＥＴ １２５の摩耗レベルまたは損失を決定するために、決定された測定データを、ＧＥＴ １２５の摩耗していないバージョンに対応する予想データと比較することができる。

【0040】

いくつかの実施形態では、疎なステレオ視差に関連するピクセル数を用いて、ＧＥＴの摩耗または損失を測定することができる。ピクセル数には、領域（例えば、ＧＥＴの総ピクセル）、ピクセル単位のＧＥＴ高さ、ピクセル単位のＧＥＴ幅、ＧＥＴの高さと幅の合計が含まれるが、これはほんの一部の例にすぎない。ピクセル数の特定方法は、ＧＥＴの形状やスタイルによって変化することができる。例えば、長さが幅よりもはるかに大きいＧＥＴには、高さピクセル数を使用することができ、幅が長さよりもはるかに大きいＧＥＴには、幅ピクセル数を使用することができる。本開示の精神および範囲を逸脱することなく、ピクセル数を決定するための様々な方法を使用することができる。

【0041】

いくつかの実施形態では、摩耗分析装置１７５は、決定された測定データ（高解像度のＬｉＤＡスキャンから導出された情報、カメラ１２８からの低解像度イメージングデータに基づいて決定された疎なステレオ視差、またはその両方の組み合わせを含んでもよい）と、摩耗していないＧＥＴ １２５に対応する予期されるデータとの間の類似スコアを計算することができる。類似性スコアは、ＧＥＴ １２５の決定された測定データが物理パラメータセットの予想されるデータとどの程度一致するかのメトリックを反映することができる。例えば、類似性スコアは、類似性を検出する和集合交点またはＪａｃｃａｒｄインデックス法を使用することを含んでもよい。いくつかの実施形態では、類似性スコアは、類似性を検出するためのダイス係数またはＦ１スコア法を用いて決定されてもよい。類似性スコアはまた、疎なステレオ視差のピクセルが所望のエッジ画像と重なる割合を反映する値も含んでもよい。いくつかの実施形態では、類似度スコアは０から１００までスケーリングまたは正規化されてもよい。

【0042】

類似性スコアは、ＧＥＴ １２５の摩耗指標を提供することができる。例えば、低いスコア（例えば、０から２０の範囲）は、ＧＥＴ １２５の１つが壊れているか、または歯の喪失を示す欠損を示している可能性がある。高いスコア（例えば、８０～１００の範囲）は、歯の健康状態が良好であり、交換する必要がないことを示している可能性がある。低いスコアと高いスコアの間のスコアは、歯の摩耗レベルを示し、より高いスコアは、より低いスコアよりも歯の交換のリードタイム時間が長いことを示す。

【0043】

いくつかの実施形態では、摩耗分析装置１７５は、ＧＥＴ １２５に関する測定データを経時的に収集し、収集された測定データを用いて、ＧＥＴ １２５の摩耗レベルおよびＧＥＴ １２５の摩耗傾向を決定することができる。例えば、作業機械１００は、仕事のために数日間にわたって作業現場で動作し続けることができる。作業機械１００が作業中に材料を移動させると、カメラ１２８は、ステレオ画像バケット１２０とＧＥＴ １２５とを摩耗検出コンピュータシステム１１０に提供し、画像分析装置１７０は、ＧＥＴ １２５のために疎なステレオ視差を生成する。摩耗分析装置１７５は、ジョブの期間にわたるいくつかの時点でのＧＥＴ １２５に関連する測定データ（例えば、ピクセル数、メートル法測定、フィート／インチ法測定）をマッピングすることができる。バケット１２０およびＧＥＴ １２５が作業現場で材料と係合するにつれて、ＧＥＴ １２５は摩耗によりサイズが減少することが予想される。したがって、ＧＥＴ １２５に関連する測定データも時間とともに減少し、時間の経過に伴うピクセル数は摩耗傾向を反映することにある。摩耗分析装置１７５は、特定の時点における摩耗傾向を用いて、特定の時点におけるＧＥＴ １２５の摩耗レベルを決定することができる。ＧＥＴ １２５の摩耗レベルは、ＧＥＴ １２５の交換が必要であることを示している場合もあれば、ＧＥＴ １２５の１つまたは複数の損失を示している場合もある。いくつかの実施形態では、ＧＥＴ １２５に関連する測定データはメモリ１５０に記憶され、複数の仕事および複数の作業現場に適用され得、摩耗傾向はＧＥＴ １２５の寿命に適用可能であり得る。このような実施形態では、バケット１２０またはＧＥＴ １２５が交換されると、摩耗分析装置１７５によってキャプチャされたＧＥＴ １２５に関連するピクセル数をリセットすることができ、摩耗分析装置１７５は、ゼロ時間点からＧＥＴ １２５のピクセル数の収集を再開することができる。

【0044】

摩耗分析装置１７５は、ＧＥＴ １２５によって経時的に測定された測定データに基づいて摩耗傾向を決定するので、ＧＥＴ １２５の交換が必要になる可能性がある場合の予測も作成することができる。例えば、摩耗分析装置１７５は、ＧＥＴ １２５に関連する測定データが、ＧＥＴ １２５が１０作業時間ごとに１％の寿命を失うことを示しており（測定データは１０作動時間ごとに１％減少するため）、ＧＥＴ １２５が８００作業時間使用されていると判断した場合、２００時間以内にＧＥＴ １２５を交換する必要があると判断することができる。

【0045】

いくつかの実施形態では、摩耗検出コンピュータシステム１１０は、警報管理装置１８０を含んでもよい。警報管理装置１８０は、摩耗分析装置１７５と通信することができ、摩耗分析装置１７５によって特定された摩耗傾向および摩耗レベルを監視することができる。警報管理装置１８０は、摩耗解析器１７５によって特定された情報に基づいて運転者制御パネル１３０にメッセージ警報を提供することができる。例えば、摩耗レベルが摩耗閾値に達した場合、警報管理装置１８０は、運転者制御パネル１３０のディスプレイ１３３に表示される警報を生成することができる。閾値は、極端なＧＥＴ摩耗、または場合によっては完全なＧＥＴ損失を示す値に対応することができる。警報は、作業機械１００の運転者に、１つまたは複数のＧＥＴ １２５が交換を必要としていることを示すことができる。摩耗閾値は、実施形態によって異なる可能性があり、ＧＥＴ １２５の種類およびＧＥＴ １２５が係合する作業現場の材料に依存し得る。

【0046】

警報管理装置１８０はまた、ＧＥＴ １２５が２週間以内に交換する必要があるなど、将来のある時点でＧＥＴ １２５の交換が必要になる可能性があるという警報を提供することができる。交換警報は、ＧＥＴ １２５の摩耗傾向予測に関する情報を含んでもよい。例えば、交換警報は、摩耗傾向の定量化（例えば、ＧＥＴ １２５が１日当たり２％摩耗している）、歯が使用された時間、または使用データに基づいてＧＥＴ １２５が摩耗閾値に達すると予想される日付または時間を含んでもよい。

【0047】

いくつかの実施形態では、警報管理装置１８０は、摩耗分析装置１７５によって決定された摩耗傾向を監視し、現在の摩耗レベルを作業機械１００の運転者に通知するための摩耗レベル値をディスプレイ１３３に提供することができる。例えば、摩耗傾向がＧＥＴ １２５が６０％摩耗していることを示している場合、警報管理装置１８０は、摩耗傾向に基づいて、交換が必要になる前にＧＥＴ １２５の寿命が４０％残っていることを示す表示を提供することができる。ディスプレイ１３３は、また、歯が折れたこと、歯の喪失を示すこと（例えば、ＧＥＴ １２５の１つ以上の寿命が２０％未満であるとき）を運転者に知らせることもできる。

【0048】

摩耗検出コンピュータシステム１１０は、ＧＥＴ １２５が広範囲の摩耗により交換が必要になった場合、または損傷した場合に、作業機械１００の運転者に通知することを可能にする。摩耗検出コンピュータシステム１１０によって採用され、以下により詳細に説明されるプロセスは、５ｍｍ未満のスケールでのＧＥＴ摩耗の精度高いかつ正確な測定を提供し、これにより、運転者は、極端なＧＥＴ摩耗またはＧＥＴ損失の場合に作業機械１００の動作を停止することができる。摩耗検出コンピュータシステム１１０によって展開されるプロセスおよび技術は、様々な作業機械に使用することができる。

【0049】

例えば、図２は、ホイールローダ作業機械２０１が動作する環境例２００の概略側面図を示す図である。ホイールローダ作業機械２０１は、バケット２２０と１つまたは複数のバケット２２５とを含んでもよい。図２に示されるように、ＧＥＴ ２２５およびバケット２２０は、掘削・投棄サイクルの投棄終了中に（ＬｉＤＡＲセンサ２２６の）視野２２７および（カメラ２２８の）視野２２９内にあるように、ＬｉＤＡＲセンサ２２６およびカメラ２２８が位置決めされる。その結果、このような実施形態では、ＬｉＤＡＲセンサ２２６およびカメラ２２８は、バケット２２０が掘削投棄サイクルの投棄終了時に停止しているときにイメージングデータをキャプチャするように構成され得る。

【0050】

別の例として、図３は、油圧マイニングショベル作業機械３０１が動作している環境例３００の概略側面図を示す図である。油圧マイニングショベル作業機械３０１は、バケット３２０と、１つまたは複数のバケット３２５とを含んでもよい。ホイールローダ作業機械２０１のＬｉＤＡＲセンサ２２６およびカメラ２２８の位置とは対照的に、ＬｉＤＡＲセンサ３２６およびカメラ３２８は、掘削投棄サイクルの掘削終了中にＧＥＴ３２５が（ＬｉＤＡＲセンサ３２６の）視野３２７および（カメラ３２８の）視野３２９内にあるように配置される。このような実施形態では、ＬｉＤＡＲセンサ３２６およびカメラ３２８は、バケット３２０が掘削・投棄サイクルの掘削端で静止している間にイメージングデータをキャプチャするように構成されてもよい。

【0051】

さらに別の例では、図４は、電動ロープショベル作業機械４０１が動作している環境４００の例の概略側面図を示す図である。電動ロープショベル作業機械４０１は、バケット４２０と、１つまたは複数のＧＥＴ４２５と、ＬｉＤＡＲセンサ４２６と、カメラ４２８とを備えることができる。図４に示すように、ＧＥＴ４２５は、掘削・投棄サイクルの中間点において（ＬｉＤＡＲセンサ４２６の）視野４２７および（カメラ４２８の）視野４２９内に位置することができるが、バケット４２０がＬｉＤＡＲセンサ４２６およびカメラ４２８に相対的に近いときに位置する。このような実施形態では、ＬｉＤＡＲセンサ４２６およびカメラ４２８は、バケット４２０が視野４２７および視野４２９に関連する位置範囲に入ったときにイメージングデータをキャプチャするように構成されてもよい。

【0052】

図５は、コンピュータビジョン技術を使用した関心領域検出プロセスのイメージングデータのストリームの一例を示す画像データフロー図５００を示す。画像データフロー図５００は、ＧＥＴ １２５に関してカメラ１２８によってキャプチャされたイメージングデータ中の関心領域が検出されたときに、画像分析装置１７０によって受信され、処理され、生成された画像を含む。画像データフロー図５００は、カメラ１２８によってキャプチャされた左画像５１０および右画像５２０を含む。左画像５１０は、カメラ１２８の左画像センサによってキャプチャされた補正画像であってもよい。右画像５２０は、カメラ１２８の右画像センサによってキャプチャされた補正画像であってもよい。左画像５１０および右画像５２０の両方は、バケット１２０およびＧＥＴ １２５の画像を含む。

【0053】

画像分析装置１７０は、視差マップ５３０を作成するために左画像５１０および右画像５２０を処理することができる。視差マップ５３０は、左画像５１０の各ピクセルと右画像５２０の各ピクセルとの間の視差を示す密なステレオ視差マップであってもよい。視差マップ５３０と、物理パラメータライブラリ１６０から得られ、バケット１２０、ＧＥＴ １２５、および／または作業機械１００に関連付けられた物理パラメータセット５３５とを用いて、画像分析装置１７０は、３次元点群５４０を構築することができる。３次元点群５４０は、左画像５１０と右画像５２０との間の視差を３次元的に示す。次に、画像分析装置１７０は、ＧＥＴ １２５を含む関心領域５５０を識別するために、３次元点群５４０に対して分割分析を実行することができる。画像分析装置１７０は、関心領域５５０を用いて、ＧＥＴ １２５のためのより高い解像度イメージングデータをキャプチャするようにＬｉＤＡＲセンサ１２６を命令し制御することができる。

【0054】

図６は、深層学習技術を使用した関心領域検出プロセスのためのイメージングデータの流れの例を示す画像データフロー図６００を示す。上述の画像データフロー図５００と同様に、関心領域検出プロセスの出力は、ＧＥＴ １２５に対応する関心領域５５０となり、画像分析装置１７０は、領域５５０を用いて、より高解像度のイメージングデータをＧＥＴ １２５のためにキャプチャするようにＬｉＤＡＲセンサ１２６に命令し、制御する。しかし、画像分析装置１７０は、画像データフロー図５００とは異なり、深層学習技術を利用して関心領域５５０を検出する。

【0055】

画像データフロー図６００は、カメラ１２８によってキャプチャされた画像６１０を含む。画像６１０は、カメラ１２８の左画像センサまたは右画像センサによってキャプチャされた補正画像であってもよい。画像分析装置１７０は、深層学習ＧＥＴ検出アルゴリズムを画像６１０に適用することができる。深層学習ＧＥＴ検出アルゴリズムは、ＧＥＴが個別に識別され、ラベル付けされ、および／またはＧＥＴグループが個別に識別され、ラベル付けされた画像データコーパスで訓練されたニューラルネットワークを採用することができる。画像分析装置１７０は、深層学習ＧＥＴ検出アルゴリズムを画像６１０に適用すると、個々のＧＥＴ １２５を含む画像の複数の単一ＧＥＴバウンディングボックス６２０を識別することができる。いくつかの実施形態では、画像分析装置１７０は、個々のＧＥＴバウンディングボックス６２０を含むＧＥＴグループバウンディングボックス６３０を識別することもできる。画像分析装置１７０がＧＥＴグループバウンディングボックス６３０を識別すると、画像分析装置１７０は、その中のピクセルを関心領域５５０として抽出することができる。

【0056】

図７は、ＬｉＤＡＲセンサ１２６によってキャプチャされたイメージングデータの関心領域検出プロセスのためのイメージングデータの流れの一例を示す画像データフロー図７００を示す。ＬｉＤＡＲセンサ１２６によって画像データフロー図７００に従ってキャプチャされたイメージングデータは、画像７１０に示される視野に実質的に対応する。図に示すように、視野にはバケット１２０とＧＥＴ １２５が含まれている。ＬｉＤＡＲセンサ１２６は、例えばバケット１２０やＧＥＴ １２５に対応する表面などの物体表面を検出した場合に、複数のＬｉＤＡ「ヒット」を含むＬｉＤＡデータキャプチャを行う。ＬｉＤＡヒットは、３次元点群７２０として表すことができ、３次元点群７２０の各点はＬｉＤＡヒットに対応する。画像分析装置１７０は、セグメンテーション分析または他の物体識別分析技術を実行することにより、３次元点群７２０に基づいて関心領域５１０を決定する。いくつかの実施形態では、画像分析装置１７０は、物理パラメータセット５３５を用いて、関心領域５５０を識別することができる。例えば、画像分析装置１７０は、バケツ歯テンプレート、ＧＥＴ １２５のＣＡＤベースモデル、またはパターンマッチング技術を使用して、３次元点群７２０内の関心領域５５０を識別することができる。

【0057】

図８は、ＬｉＤＡＲセンサ１２６によってキャプチャされた高解像度データを使用する摩耗検出プロセスのためのイメージングデータの流れの一例を示す画像データフロー図８００を示す。画像分析装置１７０は、関心領域５５０を識別すると、ＬｉＤＡＲセンサ１２６に関心領域５５０の高解像度スキャンを実行するように命令し、制御して、ＧＥＴ １２５に関するより正確なデータをキャプチャする。ＬｉＤＡＲセンサ１２６は、そのＭＥＭＳミラーを狭い視野１２７に調整して高解像度スキャンを行い、関心領域５５０に限定された物体識別データ（ひいてはＧＥＴ １２５）をキャプチャする。画像分析装置１７０は、ＬｉＤＡＲセンサ１２６によってキャプチャされた高解像度イメージングデータ８１０を受信し、高解像度３次元点群８２０内の各点がＬｉＤＡヒットに対応する高解像度３次元点群８２０を生成することができる。いくつかの実施形態では、画像分析装置１７０は、摩耗分析装置１７５がＧＥＴ １２５のＧＥＴ摩耗または損失測定値８３０を決定できるように、高解像度の３次元点群８２０を摩耗分析装置１７５に通信する。いくつかの実施形態では、画像分析装置１７０は、摩耗分析装置１７５に通信する前に、最初に高解像度の３次元点群８２０を密なメッシュサーフェス８４０に変換することができ、またはさらに、密なメッシュサーフェス８４０を疎なメッシュサーフェス８５０に変換することができる。

【0058】

いくつかの実施形態では、摩耗分析装置１７５は、ＧＥＴ摩耗または損失測定値８３０を決定するために、高解像度イメージングデータ８１０から導出される情報に加えて情報を利用する。例えば、いくつかの実施形態では、摩耗分析装置１７５は、摩耗していない状態のＧＥＴのＣＡＤベースモデルなどの物理パラメータセット５３５からの情報を、ＧＥＴ摩耗または損失測定値８３０を決定するためのベースラインとして使用する。摩耗分析装置１７５はまた、物理パラメータセット５３５からの情報の代わりに、または物理パラメータセット５３５からの情報に加えて、ＧＥＴ １２５に対する以前のＧＥＴ摩耗または損失測定値８３０を使用することもできる。いくつかの実施形態では、摩耗分析装置１７５は、カメラ１２８によってキャプチャされたイメージングデータから生成された関心領域５５０の疎なステレオ視差８６０を使用し、それを高解像度イメージングデータ８１０から導出された情報と融合して、ＧＥＴ摩耗または損失測定値８３０を決定することができる。

【0059】

図９は、ＧＥＴ １２５の摩耗を検出するための例示的な摩耗検出プロセス９００を表すフローチャートを示す。いくつかの実施形態では、プロセス９００は、画像分析装置１７０および摩耗分析装置１７５によって実行されてもよい。プロセス９００は、一般に、図５～図８の画像データフローに従っており、また、これらの図の説明、および図１に関して上述した画像分析装置１７０および摩耗分析装置１７５の説明と一致して解釈されるべきである。以下の説明では、画像分析装置１７０または摩耗分析装置１７５によって実行されるプロセス９００の様々な態様について説明するが、摩耗検出コンピュータシステム１１０の他のコンポーネントは、本開示の精神および範囲を逸脱することなく、プロセス９００の１つまたは複数のブロックを実行することができる。

【0060】

プロセス９００は、ブロック９１０で始まり、画像分析装置１７０は、作業機械１００に関連する１つまたは複数のセンサから第１イメージングデータを受信する。例えば、１つまたは複数のセンサは、ＬｉＤＡＲセンサ１２６およびカメラ１２８を含んでもよい。ブロック９１０で受信される第１イメージングデータは、通常、作業機械１００のバケット１２０およびＧＥＴ １２５をキャプチャするのに十分な広さを有する１つまたは複数のセンサの視野に対応する。本開示で説明されるように、ブロック９２０において、第１イメージングデータは、ＧＥＴ １２５を含む関心領域を識別するために使用されることができるＧＥＴ １２５の「粗いスキャン」または「低解像度スキャン」であると考えることができる。

【0061】

ＧＥＴ １２５を含む関心領域は、カメラ１２８によってキャプチャされたイメージングデータに対して標準的なセグメンテーション分析またはエッジ検出分析を実行し、その結果を物理パラメータライブラリ１６０に格納されているＧＥＴまたはバケットとＧＥＴの組み合わせのパターンと比較することによって決定することができる。勾配分析などの他のコンピュータビジョン技術を使用することもできる。ＧＥＴ １２５を含む関心領域は、ＬｉＤＡＲセンサ１２６によってキャプチャされたイメージングデータに対して深度ベースのセグメンテーションを実行し、同様にその結果を物理パラメータライブラリ１６０に格納されているＧＥＴまたはバケットとＧＥＴの組み合わせのパターンと比較することによって決定することもできる。いくつかの実施形態では、ブロック９２０において関心領域が決定されるとき、画像分析装置１７０は、ＣＡＤベースのＧＥＴモデルを用いてもよい。

【0062】

ブロック９３０において、画像分析装置１７０は、関心領域を用いて、ＬｉＤＡＲセンサ１２６の視野を縮小または調整して関心領域に焦点を合わせ、拡大することによってＧＥＴ １２５に焦点を合わせるように命令し制御する。ＬｉＤＡＲセンサ１２６は、視野を縮小して方向を変更することにより、ＧＥＴ １２５の高解像度スキャンをキャプチャすることができる。ＬｉＤＡＲセンサ１２６がＧＥＴ １２５の高解像度スキャンを実行した後、画像分析装置１７０は、ブロック９４０でＬｉＤＡＲセンサ１２６から第２イメージングデータを受信する。第２イメージングデータは、より狭く、より焦点の合った視野でＬｉＤＡＲセンサ１２６によってキャプチャされており、ブロック９１０で受信された第１イメージングデータよりも解像度が高い。

【0063】

ブロック９５０において、画像分析装置１７０は、第２イメージングデータに基づいて３次元点群を生成する。３次元点群内の点は、ＧＥＴ １２５からの高解像度スキャンのＬｉＤＡヒットに対応する。いくつかの実施形態では、３次元点群は正確なＧＥＴ測定（例えば、２ｍｍ以内のヒット）を計算するのに十分な解像度を有し、画像分析装置１７０は３次元点群を摩耗分析装置１７５に送る。いくつかの実施形態では、画像分析装置１７０は、摩耗分析装置１７５と通信する前に、密なメッシュサーフェスまたは疎なメッシュサーフェスを作成することにより、３次元点群をさらに処理する。

【0064】

ブロック９６０において、摩耗分析装置１７５は、第２イメージングデータ（例えば、より高解像度の画像データ）から導き出された情報を用いて、摩耗レベルまたはＧＥＴの損失を決定する。摩耗レベルまたは損失は、現実世界の測定（例えば、ミリメートル）、ピクセル単位、または予想されるサイズのパーセンテージ単位で定量化できる（例えば、ＧＥＴ １２５ベースのＣＡＤベースモデル）。上述したように、摩耗分析装置１７５は、摩耗していない状態のＧＥＴ １２５のＣＡＤベースモデルを使用し、これを観察されたＧＥＴ １２５測定値と比較して、ＧＥＴ摩耗レベルまたは損失を決定することができる。摩耗分析装置１７５はまた、ＧＥＴの過去の測定データを用いて、経時的な摩耗レベルを決定するか、または摩耗レベル傾向を決定して、ＧＥＴ １２５の交換が必要な時期を予測することができる。いくつかの実施形態では、摩耗分析装置１７５は、摩耗が閾値を超えたときに損失を決定するように構成されてもよい。例えば、ＧＥＴのサイズが５０％以上減少した場合、または一定の測定量（例えば、長さが５ｃｍ）が減少した場合、摩耗分析装置はＧＥＴの損失を決定することができる。摩耗分析装置１７５は、ＧＥＴの摩耗が閾値に達したときまたはそれを超えたときに警報を発することができる。

【0065】

上記の説明全体を通して、摩耗検出コンピュータシステム１１０のいくつかのコンポーネントは、いくつかの動作を実行するものとして説明されている。しかし、摩耗検出コンピュータシステム１１０のいくつかの実施形態では、上記以外のコンポーネントがこれらの動作を実行することができる。さらに、摩耗検出コンピュータシステム１１０は、実施形態例において上述したものよりも追加的なコンポーネント、またはより少ないコンポーネントを含むことができる。摩耗検出コンピュータシステム１１０は、上記に開示された特定の実施形態に限定される必要はないことを、当業者は理解するであろう。

【産業上の利用可能性】

【0066】

本開示のシステムおよび方法は、土壌、岩石、鉱物などの材料を掘削、移動、成形、輪郭形成、および／または除去する作業現場での作業機械の動作に関連して使用することができる。これらの作業機械には、作業現場で材料をすくったり、掘ったり、捨てたりするために使用されるバケットが装備されていてもよい。バケットは、作業中に材料を緩めるのを助けるために１つまたは複数のバケットを備えていてもよい。作業機械はまた、本明細書に記載された例に従って摩耗検出方法を実行するように構成されたプロセッサおよびメモリを有するシステムを含んでもよい。このシステムおよび方法は、ＧＥＴのような作業機械のコンポーネントの摩耗または損失を検出することができ、したがって、このような作業機械の運転者は、下流の処理装置に損傷を与える故障が発生する前に是正措置を講じることができる。

【0067】

いくつかの例では、システムおよび方法は、作業機械の１つまたは複数のセンサからＧＥＴに関連するイメージングデータを取得し、次にイメージングデータを処理してＧＥＴの摩損または損失を決定する。１つまたは複数のセンサは、ＬｉＤＡＲセンサ、画像センサ、および／またはステレオカメラを含んでもよい。

【0068】

いくつかの例では、１つまたは複数のセンサは、作業機械の掘削・投棄期間中に２回のイメージングデータを収集する。第１イメージングデータの収集は、バケットおよびＧＥＴの「粗いスキャン」または「低解像度スキャン」であると考えられる。粗いスキャンに基づいて、システムおよび方法は、第１イメージングデータ内の関心領域を決定することができる。関心領域はＧＥＴグループ（場合によっては、個々のＧＥＴ）に対応する。関心領域に基づいて、システムおよび方法は、ＬｉＤＡＲセンサにその視野の焦点をＧＥＴに合わせて第２イメージングデータの収集を実行するように命令する。第２イメージングデータの収集は、ＧＥＴの「微細スキャン」または「高解像度スキャン」と考えられる。

【0069】

本開示で説明されるプロセスは、処理効率を提供しながら、ＧＥＴの高精度の測定を提供する。例えば、バケットの粗いスキャンとＧＥＴを使用すると、システムと方法は、高解像度のＬｉＤＡＲスキャン（計算コストがかかる）を、ＬｉＤＡＲセンサの視野内の関連物体に制限することができる。微細スキャンを使用することで、１または２ｍｍ以内のＧＥＴ測定が可能になる。

【0070】

さらに、微細スキャンにＬｉＤＡＲを使用すると（画像処理やコンピュータビジョン技術とは対照的に）、他の利点も得られる。例えば、照明が不十分である場合、霧や悪天候（雨や雪など）でカメラに障害物がある場合、取得した掘削物間のコントラストが低い場合、照明条件に陰影が生じている場合などには、ＬｉＤＡによるイメージングデータのキャプチャを、純粋な画像によるデータのキャプチャよりも良好に行うことができる。したがって、ＬｉＤＡを用いた微細スキャンは、ＧＥＴの摩耗をより正確に検出することができ、下流の加工機に損傷を与える致命的なＧＥＴ損失や摩耗の可能性を低減することができる。

【0071】

本開示の態様は、上記の例を参照して特に示され、説明されてきたが、当業者は、本開示の精神および範囲を逸脱することなく、本開示の装置、システム、および方法を修正することによって、様々な追加の実施形態を想定することができることを理解する。そのような実施形態は、請求項およびその任意の均等物に基づいて決定される本開示の範囲内に入るものとして理解されるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【国際調査報告】