ホーム > 特許ランキング > ＪＥＢＩ Ｓ．Ａ．Ｃ．
知財求人 - 知財ポータルサイト「IP Force」
▶ ジェビ エス．エー．シー．の特許一覧 ▶ メゾネス アウリッヒ，マウリシオの特許一覧
特表2024-537640鉱物積載プロセスのためのインテリジェント監視システム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-16
(54)【発明の名称】鉱物積載プロセスのためのインテリジェント監視システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20241008BHJP
G06T 7/62 20170101ALI20241008BHJP
G06V 10/25 20220101ALI20241008BHJP
G06V 10/82 20220101ALI20241008BHJP
E02F 9/20 20060101ALI20241008BHJP
E02F 9/26 20060101ALI20241008BHJP
【ＦＩ】
G06T7/00 350C
G06T7/62
G06V10/25
G06V10/82
E02F9/20 Q
E02F9/26 B
【審査請求】未請求
【予備審査請求】有
(21)【出願番号】P 2024515449
(86)(22)【出願日】2022-09-12
(85)【翻訳文提出日】2024-04-17
(86)【国際出願番号】 IB2022058595
(87)【国際公開番号】W WO2023037344
(87)【国際公開日】2023-03-16
(31)【優先権主張番号】001494-2021/DIN
(32)【優先日】2021-09-10
(33)【優先権主張国・地域又は機関】PE
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＹＴＨＯＮ
(71)【出願人】
【識別番号】524088238
【氏名又は名称】ジェビ エス．エー．シー．
【氏名又は名称原語表記】ＪＥＢＩ Ｓ．Ａ．Ｃ．
【住所又は居所原語表記】Ｂｒｏｎｓｉｎｏ ４７７ Ｌｉｍａ， １５０３７ （ＰＥ）
(71)【出願人】
【識別番号】524088249
【氏名又は名称】メゾネス アウリッヒ，マウリシオ
【氏名又は名称原語表記】ＭＥＳＯＮＥＳ ＡＵＲＩＣＨ， Ｍａｕｒｉｃｉｏ
【住所又は居所原語表記】Ｊｒ． Ｂｒｏｎｓｉｎｏ ４７７ Ｌｉｍａ， １５０３７ （ＰＥ）
(74)【代理人】
【識別番号】100105131
【弁理士】
【氏名又は名称】井上 満
(74)【代理人】
【識別番号】100105795
【弁理士】
【氏名又は名称】名塚 聡
(72)【発明者】
【氏名】メゾネス アウリッヒ，マウリシオ
(72)【発明者】
【氏名】ポルトゥガル ザンブラノ，クリスチャン
(72)【発明者】
【氏名】ビバンコ オリヴェラ，エダー ジョエル
(72)【発明者】
【氏名】カルピオ レイノソ，ユヘリコ アルベルト
(72)【発明者】
【氏名】ヴァレリオ オゴシ，マーロン アルマルド
【テーマコード（参考）】
2D003
2D015
5L096
【Ｆターム（参考）】
2D003AA01
2D003AB04
2D003BA02
2D003BA03
2D003FA02
2D015HA03
2D015HB04
2D015HB05
5L096AA02
5L096AA09
5L096BA02
5L096CA02
5L096CA18
5L096CA27
5L096DA02
5L096DA03
5L096FA02
5L096FA18
5L096FA59
5L096FA62
5L096FA64
5L096FA69
5L096HA11
5L096JA11
5L096JA16
5L096JA22
5L096KA04
(57)【要約】
「ＧＥＴスマート」システムはＡＩモデリング及びニューラルネットワーク技術を使用して、摩耗部品の紛失イベントを効率的に識別し、掘削機の動作中に他の有用な測定基準を提供して、効率を改善し、中断時間を低減する。本システムは多次元センサーを用いてグランドエンゲージツール（ＧＥＴ）の完全性を監視し、関心領域を決定し、ＣＰＵとＴＰＵの組み合わせを有する組込みシステムを介してエンリッチドテンソルを生成し、処理する。本システムはまた、ＧＥＴの摩耗レベル、ショベルバケット当たりの鉱物の体積、及び平均粒径を決定する。
【選択図】 図４Ｂ
【選択図】 図４Ｂ
【特許請求の範囲】
【請求項1】
鉱山作業における鉱物積載中のショベルの状態を検出するのに使用するためのＡＩベースの監視システムであって、１つ又は複数のセンサーと、
エンリッチドテンソルデータ構造と、
人工知能モジュールと、
重み付け機構と、
１つ又は複数の出力と、を含むシステム。
【請求項2】
前記センサーはさらに、１つ又は複数のカラー画像カメラと、
１つ又は複数のＬＩＤＡＲセンサーと、
１つ又は複数の立体カメラと、
１つ又は複数の慣性測定ユニットと、を含む、請求項１に記載のシステム。
【請求項3】
前記人工知能モジュールはさらに、関心オブジェクトを検出するように適合された１つ又は複数のニューラルネットワークと、
関心オブジェクトを検出するように適合された１つ又は複数の基盤モデルと、を含み、
１つ又は複数のニューラルネットワークは、カラー画像のみを処理するように構成され、
１つ又は複数のニューラルネットワークは、点群のみを処理するように構成され、
１つ又は複数のニューラルネットワークは、深度マップのみを処理するように構成され、
１つ又は複数のニューラルネットワークは、慣性データのみを処理するように構成され、
１つ又は複数の基盤モデルは、カラー画像、点群、深度マップ、及び慣性データを全体的に処理するように構成され、
前記１つ又は複数のニューラルネットワーク及び基盤モデルはそれぞれ、予測オブジェクトラベル及び信頼レベルの形態で結果を返す、請求項１に記載のシステム。
【請求項4】
前記ニューラルネットワークはさらに、１つ又は複数の畳み込みニューラルネットワークと、
１つ又は複数のデンスニューラルネットワークと、
１つ又は複数のリカレントニューラルネットワークと、を含む、請求項３に記載のシステム。
【請求項5】
前記基盤モデルはさらに、１つ又は複数のビジョントランスフォーマを含む、請求項３に記載のシステム。
【請求項6】
前記エンリッチドテンソルデータ構造はさらに、カラー画像データと、
点群データと、
深度データと、
慣性データと、を含む、請求項１に記載のシステム。
【請求項7】
鉱山作業における鉱物積載中のショベルの状態を検出する方法であって、１つ又は複数の関心領域を定義するステップと、
エンリッチドテンソルデータ構造を構築するステップと、
人工知能モジュールを用いて前記エンリッチドテンソルを処理するステップと、
前記人工知能モジュールの１つ又は複数の結果を、重み付けを用いて処理するステップと、
前記重み付け機構の結果に基づいて警告を生成するステップと、を含む方法。
【請求項8】
１つ又は複数の関心領域を定義するステップは、さらに、カメラの視野内の矩形領域を定義することと、
カメラの視野内の２本の水平線によって境界付けられた領域を定義することと、
カメラの視野内の２本の垂直線によって境界付けられた領域を定義することと、
カメラの視野内の特定の領域の深度に基づいた領域を定義することと、
時間の区分を定義することと、
オブジェクト検出に基づいた領域を、前記オブジェクトの中心点を決定し、前記中心点への最小及び最大距離を適用することによって定義することと、
検出されたオブジェクトによって囲まれた領域を定義することのうちの１つ又は複数を含む、請求項７に記載の方法。
【請求項9】
前記エンリッチドテンソルデータ構造を構築するステップは、さらに、少なくとも慣性測定ユニット、立体カメラ、カラー画像カメラ、及びＬＩＤＡＲからの生データを収集することと、
プリセット入力に基づいて関心領域を定義すること、又は前記収集された生データを分析することと、
前記関心領域内から正規化された生データを含むデータ構造を作成することと、を含む、請求項７に記載の方法。
【請求項10】
鉱山作業における鉱物積載中のショベルの状態を決定するための人工知能モジュールをトレーニングする方法であって、ニューラルネットワークへトレーニング画像のバッチを導入するステップと、
予測ラベルセットを受信するステップと、
前記予測ラベルへの試験ラベルセットの交差を適用するステップと、
誤差値のセットを生成するステップと、
前記誤差値を適用することによって前記ニューラルネットワークの重みを調整するステップと、を含む方法。
【請求項11】
鉱山作業における鉱物積載中のショベルの状態を決定するためのセンサーデータを分析する方法であって、１つ又は複数の摩耗部品に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記ショベル上の１つ又は複数の取り付け点に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記関心領域内の収集された前記センサーデータに基づいて１つ又は複数のデータ構造を構築するステップと、
各データ構造のラベルと信頼区間のセットを生成するステップと、
一連の値を用いて重み付けメカニズムを設定するステップと、
データ構造ごとに、ラベルと信頼区間のセットの重み付けを行うステップと、
前記重み付けの結果に基づいて警告を生成するステップと、を含む方法。
【請求項12】
鉱山作業における鉱物積載中のショベルの状態を決定するためのセンサーデータを分析する方法であって、１つ又は複数の摩耗部品に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記関心領域内の収集された前記センサーデータに基づいて１つ又は複数のデータ構造を構築するステップと、
各摩耗部品の多角形幾何学的表現を生成するステップと、
各摩耗部品の点群を生成するステップと、
摩耗部品の前記幾何学的表現及び未摩耗部品の既知の値に基づいて摩耗レベルを計算するステップと、を含む方法。
【請求項13】
前記多角形幾何学的表現は、輪郭、重心、及び１つ又は複数の軸を含む、請求項１２に記載の方法。
【請求項14】
鉱山作業における鉱物積載中のショベルの状態を決定するためのセンサーデータを分析する方法であって、前記ショベル内のいくつかの鉱物に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記関心領域内の収集された前記センサーデータに基づいて１つ又は複数のデータ構造を構築するステップと、
前記鉱物の輪郭の表面マップを生成するステップと、
前記表面マップ及び前記ショベルの形状の既知の値に基づいて前記鉱物の体積及び重量を計算するステップと、を含む方法。
【請求項15】
鉱山作業における鉱物積載中のショベルの状態を決定するためのセンサーデータを分析する方法であって、前記ショベル内の表面上に載っている複数の鉱物粒子に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記関心領域内の収集された前記センサーデータに基づいて１つ又は複数のデータ構造を構築するステップと、
各粒子の多角形幾何学的表現を生成するステップと、
各粒子の点群を生成するステップと、
前記幾何学的表現及び前記点群に基づいて各粒子の寸法を計算するステップと、を含む方法。
【請求項16】
前記多角形幾何学的表現は、輪郭、重心、及び１つ又は複数の軸を含む、請求項１５に記載の方法。
【発明の詳細な説明】
【背景技術】
【0001】
＜関連出願の相互参照＞
本出願は２０２１年９月１０日に先行して出願されたペルー出願第００１４９４－２０２１／ＤＩＮ号の優先権の利益を主張し、その全内容は、参照により本明細書に組み込まれる。
本出願は２０２１年９月１０日に先行して出願されたペルー出願第００１４９４－２０２１／ＤＩＮ号の優先権の利益を主張し、その全内容は、参照により本明細書に組み込まれる。
【0002】
本発明は主に、鉱山掘削設備における鉱物積載（mineral loading）を監視するためのシステム及び方法に関する。
【0003】
掘削機などの重機は、鉱物及び土壌採掘において日常的に使用されている。そのような機械は、ショベル又はバケットを備え、下流の処理のために待機車両内にばらの（loose）鉱石を迅速に移動させる。ばらの岩石に係合する動作器具は、摩耗の特定の段階で犠牲にされる（又は、捨て石にされる／be sacrificed）ように設計された１つ又は複数のグランドエンゲージツール（ＧＥＴ）を備える。これらの部品は高い硬度を有するので、部品の紛失（又は、損害／loss）は、破砕機及びコンベヤベルトなどの下流の機器を損傷する可能性がある。このようなイベントはまれではあるが、著しい中断時間及び安全上の危険をもたらす可能性がある。したがって、採掘作業では、摩耗部品の紛失をできるだけ紛失イベント（又は、損害事象／loss event）に近い時点で（又は、近づけて）検出することが重要である。
【0004】
ＧＥＴ紛失イベントを検出するための様々な技術が、従来技術において企図されている。例えば、動作器具の連続画像を捕捉し、ピクセルの強度値を測定して、ピクセルのサブセットが摩耗部品に対応するかどうかを決定するなどの技術がある。他の技術は、その位置を確立するためにＧＥＴ内にＲＦＩＤモジュールを埋め込む。
【0005】
しかしながら、実際のＧＥＴ紛失イベントは１つの掘削機につき年に平均して１回しか発生しないので、これらのシステムの多くは、許容できないレベルの誤警報に悩まされ、不必要な作業停止又はオペレータの疲労をもたらし、警報を無視する（「おおかみ少年症候群」）、又は非常に高価な特殊なＧＥＴ（ＲＦＩＤ実装など）を必要とする。
【0006】
また、掘削機の大きさが巨大であり、近くの人員に危険をもたらすため、頻繁な検査のために人間を使用することは実用的ではない。また、日中、夜間、極端に暑い、又は極端に寒い状況、又は悪天候下で作業しなければならない。
【発明の開示】
【発明が解決しようとする課題】
【0007】
本発明は「ＧＥＴスマート」システムと呼ばれ、ＡＩモデリング及びニューラルネットワーク技術を使用して、摩耗部品の紛失イベントを効率的に識別し、掘削機の動作中に他の有用な測定基準を提供して、効率を改善し、中断時間を低減する。
【課題を解決するための手段】
【0008】
一実施形態では、本発明が、地面移動工程（earth moving step）の下流の採掘作業内で壊滅的な損傷を引き起こす可能性を有するグランドエンゲージツール（ＧＥＴ）の完全性（又は、インテグリティ／integrity）を監視する。
【0009】
本発明は、様々な多次元センサーを使用して、掘削機、その構成要素、及びその周囲に関する情報を収集する。次いで、すべての情報は、エンリッチドテンソル（豊富化されたテンソル／enriched tensor）と呼ばれる一意のデータ構造に構造化され、ＣＰＵ及びテンソルプロセッシングユニット（テンソル処理ユニット／ＴＰＵ）を備える組み込みシステムを使用してリアルタイムで処理される。データは、ニューラルネットワーク及び視覚変換器を含む統計的及び人工知能（ＡＩ）技術を介して処理される。
【0010】
本発明はいくつかの並列及び独立した処理技術を使用して別々の（又は、離散的な／discrete）結果を生成し、これらの結果は許容可能な偽陽性率（false positive rate）内で欠落しているＧＥＴを正確に検出するために、カスタムアルゴリズム（custom algorithm）によって個々に評価される。「真陽性の（true positive）」イベントが識別されると、本発明は運転室内モニタを介してオペレータに通知し、また、クラウド及びモバイルアプリケーションを介して遠隔のユーザに通知する。
【0011】
地面移動プロセスに関連する他のメトリックス（又は、測定基準／metrics）が、本発明によって計算される。これらは、ＧＥＴの摩耗レベル、ショベルバケット当たりの鉱物の体積、及び平均粒径を検出することを含む。
【図面の簡単な説明】
【0012】
【発明を実施するための形態】
【0013】
＜実装環境、ハードウェア、及びユーザインターフェース＞
図１Ａは、システムの機能に必要なハードウェアアセンブリの例示的な実施形態である。タワーアセンブリ１００は、マスト１０１と、データ収集ユニット１０２と、処理エンクロージャ１０３とを備える。データ収集ユニットは、視覚データ、深度データ、及び慣性データを収集するために使用されるセンサー（感覚／sensory）装置ならびに、作業領域を照明し、センサーを良好な運転可能状態に維持するために使用される装置を備える。マストは、高振動及び過酷な環境に設置するための基部を備え、様々なハードウェア構成要素に係合するためのスロットと、電気ケーブルを通すための保護された場所を含む。一対のヘッドランプ１０４は、視覚的検出及びオペレータの補助に必要な照明を提供する。
図１Ａは、システムの機能に必要なハードウェアアセンブリの例示的な実施形態である。タワーアセンブリ１００は、マスト１０１と、データ収集ユニット１０２と、処理エンクロージャ１０３とを備える。データ収集ユニットは、視覚データ、深度データ、及び慣性データを収集するために使用されるセンサー（感覚／sensory）装置ならびに、作業領域を照明し、センサーを良好な運転可能状態に維持するために使用される装置を備える。マストは、高振動及び過酷な環境に設置するための基部を備え、様々なハードウェア構成要素に係合するためのスロットと、電気ケーブルを通すための保護された場所を含む。一対のヘッドランプ１０４は、視覚的検出及びオペレータの補助に必要な照明を提供する。
【0014】
処理エンクロージャ１０３は本質的に、本発明のソフトウェア部分が実行されるコンピュータと、電力管理ユニットとを備える。
【0015】
タワーアセンブリ１００は、図１Ｂに示されるように、掘削機上に配置されてもよく、この場合、データ収集ユニットは粉塵又は飛散する破片の影響を最小限に抑えるために、装置内の高い地点に最適に配置される。掘削機は、ショベル１１０を備え、このショベルには、例示的なグランドエンゲージツール／摩耗部品１１１がショベルのリムをほぼ画定する位置に設置される。これらの部品は、ショベルや掘削機自体の損傷を防ぐために、磨耗する（wear out）ように設計される。掘削機アーム１１５はタワーアセンブリとは独立して移動し、オペレータキャビン１２０は、以下でさらに詳細に説明される、システムのためのユーザインターフェースを含む。人は、おおよそのスケールを示すために提供される。
【0016】
図１Ｃはデータ収集ユニットから見たショベル及び摩耗部品の例示的な図であり、図１Ｄは、摩耗部品１１１を分解図で示したものである。それらは、摩耗するように設計されていない生の（又は、ローの／raw）取り付け点１１２を介してショベルに取り付けられる。取り付け点が見える場合はいつでも、１つ又は複数の摩耗部品が取り外されていることを意味する。いずれの部品も、個別に又は組み合わせて、採掘作業においていつでも取り外される。
【0017】
図１Ｅは、オペレータキャビンの内部の例示的な図である。ＧＥＴスマートシステムユーザインターフェースは、機器オペレータにとって目立つ場所に配置された１つのモニタモジュール１２１によって表される。好ましい実施形態では、この特徴は視覚的及び聴覚的警報を用いて実装されてもよく、オフサイト要員に通知するモバイルアプリが明示的に企図される。
【0018】
図１Ｆは、データ収集ユニット１０２を単独で示す。センサーエンクロージャ１３１には、少なくとも１つ又は複数の立体カメラ及びＬＩＤＡＲセンサーを含む様々なセンサーが収容される。当技術分野で知られている他のビデオカメラも、視覚データを収集するために使用され得る。これらのカメラは、カメラウィンドウ１３２を介して風雨（又は、要素／elements）から保護される。例示的な実施形態では、これらのセンサーがＩｎｔｅｌ ＲｅａｌＳｅｎｓｅ Ｄ４５５アクティブ立体カメラ、及びＣｏｎｔｉｎｅｎｔａｌ Ｈｉｇｈ Ｒｅｓｏｌｕｔｉｏｎ ３Ｄ Ｆｌａｓｈ ＬｉＤＡＲであり得る。
【0019】
掘削機の動きを追跡するための少なくとも慣性データを提供する環境センサーは、加速度計、ジャイロスコープ、及び磁力計を含む。さらに、温度、大気圧、湿度、ノイズ、及び発光データを収集し得る。例示的な実施形態では、このセンサーはＢｏｓｃｈ ＸＤＫであり得る。センサーは、タワーアセンブリ内に設置される。
【0020】
センサーエンクロージャは、データ収集ユニットを良好な運転可能状態に保つために調整された空気流を提供するエアブレードシステム１４０によって保護される。このシステムは、エンクロージャの上部を通る空気流を、それがカメラウィンドウを下向きに通過するように導くことによって機能する。これは、ウィンドウの埃や湿気の蓄積を防ぎ、ウィンドウやセンサーを損傷する恐れのある飛散する破片の向きを変える。調整された空気は、センサーを最適な動作温度に保つこともできる。このシステムは、保守の必要性と、物理的構成要素にアクセスするために人間が必要とされる頻度とを低減する。
【0021】
＜エンリッチドテンソル及びＡＩモジュール＞
ＧＥＴスマートシステムの中心は、データ収集ユニットによって捕捉されたセンサーデータの関連部分を記憶する、エンリッチドテンソルとして知られるデータ構造と、ＡＩモジュールとして知られるエンリッチドテンソルを操作するソフトウェアアルゴリズムである。
ＧＥＴスマートシステムの中心は、データ収集ユニットによって捕捉されたセンサーデータの関連部分を記憶する、エンリッチドテンソルとして知られるデータ構造と、ＡＩモジュールとして知られるエンリッチドテンソルを操作するソフトウェアアルゴリズムである。
【0022】
図２Ａは、システムに関連するデータ収集ユニットによって見られる情報の例示的なグラフィック表示である。フレーム内で、カメラは掘削機ショベルが前面に見える典型的な動作環境を捕捉し、ＧＥＴ１１１の全てではないにしてもほとんどが見える。全体的な地形２００は、それが乾いているか濡れているか、太陽が輝いているか曇っているか、及びそれが昼間であるか夜間であるかに基づいて、様々な色又はテクスチャを有し得る。雪の吹きだまり２０１、水たまり２０２、建物２０３、及び作業者２０４などの特徴はすべて目に見え、雨又は結露による水滴２０５はカメラレンズに近接して存在し、したがって、視覚を不明瞭にする。いくつかの雲２０６は、空２０７内に存在し得る。これらの特徴は人間の目によって容易に判定可能であるが、各々は機械認識のためのそれら自体の課題を提示し、ＧＥＴ紛失及び採掘プロセスの他の望ましい特徴を検出することに焦点を当てるべきである。
【0023】
図２Ｂに示すように、ＧＥＴスマートシステムは、様々なセンサー２１０を利用して、構造化及び非構造化の両方の異なるフォーマットで生データ２１１を収集することによって、認識プロセスを開始する。慣性計測ユニット（ＩＭＵ）は時系列で、質量体の比力（又は、特定力／specific force）、角速度、及び配向に関連する情報を生成し、立体カメラはカメラの視野内の深度データを提供し、ＬＩＤＡＲは各点の距離の点群を捕捉し、構築し、撮像装置は、ＲＧＢフォーマットで画像データを捕捉する。
【0024】
生データを捕捉した後、テンソルモジュール２１２によって関心領域（ＲＯＩ）が計算される。この計算は、システムがエンリッチドテンソルに含めるための最も関連するデータを効率的に識別することを可能にする。ＲＯＩは、関心オブジェクト（object of interest）に関連する情報を含む可能性が最も高いデータの最小サブセットである。
【0025】
図２Ｃは、例示的なＲＯＩを示す。それは、掘削機ショベル、ひいては摩耗部品又は取り付け点のような関心オブジェクトが任意の所与の瞬間に現れるべき可視スクリーンの特定の領域によって表すことができる。それは、ＧＥＴが見えているショベルバケットがほとんど常に現れるべき、２つの水平線２２０及び２２１と２つの垂直線２２２及び２２３とを含む領域によって画定される。そのような領域を定義することは、システムの視覚処理を、捕捉された全データの一部に即座に限定し、処理時間を大幅に低減する。それはまた、以下でさらに論じられるように、３Ｄ空間において表されてもよい。
【0026】
ＲＯＩは、プリセットを介して、又は単にＩＭＵデータのみを介して決定されてもよい。センサーによって収集された慣性データは、掘削機の状態、ショベルが地面を掘削しているか、又は運搬しているかを正確に決定することができ、その結果、ショベルが上を向いている（及びＧＥＴが最も目に見える）状態を最適に決定し得る。したがって、ＲＯＩはまた、時間ベースであってもよく、この場合、システムはショベルが下向きであり、ＧＥＴが見えないことがわかっているときには、収集されたデータを単に無視する。データを制限することによって、それは、偽陽性を生成する可能性を低減する。
【0027】
他の実施形態では、ＲＯＩを画定する水平線が動的であってもよく、検出されたＧＥＴの中心点を取り、中心点に最小及び最大距離を適用することによって生成されてもよく、中心点は次いで、ＧＥＴが発見される可能性が高い領域を決定するための軸として使用される。この技法は、ＧＥＴがプリセット領域からドリフトしてわずかに外れ、誤った検出をもたらす、時折のエッジケースを防止し得る。ＲＯＩの境界は実装ごとに異なり、掘削機ショベルのサイズ及びセンサーの位置などのパラメータに基づいてカスタマイズ可能である。ＲＯＩはまた、必ずしも、可視スクリーン全体の幾何学的部分でなくてもよく、ＧＥＴ又はＧＥＴが切り離された後の「生の（又は、ローの）」取り付け点など、関心オブジェクトを囲む長方形又は直方体に限定されてもよい。
【0028】
図２Ｂに戻ると、テンソルモジュールは関心領域内にある収集されたデータを正規化し、このデータを用いてエンリッチドテンソルを構築する。
【0029】
図２Ｄは、エンリッチドテンソルの例示的なフレームのグラフィック表示であり、ＩＭＵ値２１５、点群２１６、赤色、緑色、及び青色（ＲＧＢ）画像２１７、２１８、及び２１９、ならびに深度フレーム２２０を含むデータ構造である。このデータ構造は、多次元マトリクス又は視覚処理技術において知られている任意のデータ構造を介して実装され得る。エンリッチドテンソルの各フレームは、１５～９０フレーム毎秒で変化するフレームレートで捕捉され、記憶される、特定のタイミング（specific moment in time）を表す。したがって、エンリッチドテンソルは、任意の所与の関心領域の慣性、点群、画像、及び深度データの時系列であり、さらなる処理のための基礎である。
【0030】
図２Ｅは、エンリッチドテンソルフレームの点群２１６部分のグラフィック表示である。これは３Ｄ表現であるので、ショベルアーム１１５は（図に示されるように）前面近くに現れ（up）、バケットは隣接しているが、幾分より後方に下がっている。ＧＥＴは、図面に示されるような位置にあることが予想される。地面、景観等の詳細は背景にある。
【0031】
関心領域は直方体２３０によって表され、これはまた点群の全体積でもあり、直方体内の点群の一部分のみがエンリッチドテンソル内に存在する。外側の部分はほとんど無関係であり、未処理のままである（又は、関心領域は直方体２３０によって表され、これはまた点群の全体積でもある。直方体内の点群の一部分のみがエンリッチドテンソル内に存在するため、外側の部分はほとんど無関係であり、未処理のままである）。
【0032】
図２Ｆは、エンリッチドテンソルフレームの深度フレーム２２０（又は深度マップ）部分のグラフィック表示である。ショベル１１０はカメラに最も近く、他の捕捉された特徴はより後方にある。環境の特徴２２１はカメラの距離に近い可能性があるが、これは関心領域の外にあるので、通常、考慮から除外される。立体カメラは線画で表される情報の粒度（granularity of the information）を容易に超えることができ、したがって、この状況に遭遇することはめったにない。
【0033】
図２ＧはＡＩモジュール２５０のフローチャートであり、個々のデータフローを別々に処理するように適合された複数のニューラルネットワーク（ＮＮ）を備える。エンリッチドテンソルは、その成分ストリームに分離され、別々に処理される。すべてのニューラルネットワークは、少なくとも識別された関連オブジェクトのラベルと、そのような予測の信頼レベルとを含み得る予測データを出力する。好ましい実施形態では、使用されるハードウェアがＧｏｏｇｌｅのＴｅｎｓｏｒＦｌｏｗフレームワークを実行するテンソルプロセッシングユニット（ＴＰＵ）である。
【0034】
ＡＩモジュールは、エンリッチドテンソルの２Ｄ画像部分を処理するように構成された２次元畳み込みニューラルネットワーク（２Ｄ－ＣＮＮ）を備える。出力は分類モデルに供給され、分類モデルは精緻化された予測（refined prediction）を行う。これらの出力はどちらも後で使用するために保持される。重み付けプロセスは、出力が一致する場合にはより高いスコアを与え、出力が一致しない場合にはより低いスコアを与える。好ましい実施形態では、２Ｄ－ＣＮＮが、バックボーンとしてＲｅｓＮｅｔ－１８ニューラルネットワークを有するシングルショット検出器（ＳＳＤ）であり得る。分類モデルは、デンスニューラルネットワーク（又は、深層ニューラルネットワーク／ＤＮＮ）であってよく、これは１８～１００層の深さのＣＮＮである。
【0035】
ＡＩモジュールは、エンリッチドテンソルの点群部分を処理するように構成された３次元畳み込みニューラルネットワーク（３Ｄ－ＣＮＮ）をさらに備える。このＮＮは、３Ｄデータを処理するようにトレーニングされることを除いて、２Ｄ－ＣＮＮと同様である。例示的な実施形態では、この構成要素がＰｏｉｎｔＰｉｌｌａｒｓであり得る。
【0036】
ＡＩモジュールは、深度データを処理して関心オブジェクトまでの距離を取得するために使用される追加の計算と、ＩＭＵ（慣性）データを処理するためのリカレントニューラルネットワーク（ＲＮＮ）とをさらに備える。ＲＮＮは、時系列データ（慣性データは時系列データとして構造化される）を処理するのに熟練しているので、好ましい実施形態である。具体的には、長・短期記憶（ＬＳＴＭ）ニューラルネットワークが、通常のＲＮＮよりも長期依存性の処理に優れており、断続的にしか発生しない掘削機状態を「忘れる」ことがないので好ましい。それぞれ独自の出力を生成する。
【0037】
最後に、ＡＩモジュールは、個々のデータストリームに関係なく、エンリッチドテンソル全体を処理する基盤モデル（foundational model）を含む。好ましい実施形態では、基盤モデルがニューラルネットワークではなく、ビジョントランスフォーマ（ＶｉＴ）である。機械学習におけるトランスフォーマは、様々なデータモダリティに適用し得る一般的な学習方法に精通した複数の自己注意層から構成される。ＧＥＴスマートシステムでは、全体のエンリッチドテンソルを全体的に処理するために使用され、同様に予測データを出力する。
【0038】
＜トレーニングとデータ拡張＞
ニューラルネットワーク又はディープラーニングモデルは、アプリケーション環境で使用できるようになる前にトレーニングが必要である。モデルトレーニングの目的は検出されたデータ特徴とラベルとの間の関係の最良の数学的表現を構築し、ＮＮとの関係を得る（inure）ことである。ＧＥＴスマートシステムでは、トレーニングが一般に、事前にラベル付けされた関心オブジェクトに関する情報を含むデータセットを提供することを伴う。トレーニングセットは、ＮＮが慣れなければならない「正しい回答」のセットと考えることができる。
ニューラルネットワーク又はディープラーニングモデルは、アプリケーション環境で使用できるようになる前にトレーニングが必要である。モデルトレーニングの目的は検出されたデータ特徴とラベルとの間の関係の最良の数学的表現を構築し、ＮＮとの関係を得る（inure）ことである。ＧＥＴスマートシステムでは、トレーニングが一般に、事前にラベル付けされた関心オブジェクトに関する情報を含むデータセットを提供することを伴う。トレーニングセットは、ＮＮが慣れなければならない「正しい回答」のセットと考えることができる。
【0039】
トレーニングデータセットは少なくとも３つのサブセットに分割され、トレーニングサブセットは教師付き学習を介してＮＮの性能を改善するために使用され、検証サブセットはタスクにおける習熟度を実証するためのクイズとして使用され、テストサブセットはＮＮの習熟度メトリックのセットを取得するために使用される。
【0040】
表１は、トレーニングデータセットの関連する特徴の量的な要約チャートである。一実施形態では、使用されるデータセットが３７，１０４個のトレーニング画像及び４，１０６個のテスト画像を含む。関連する特徴（摩耗部品の有無）は、ＮＮが特徴を認識できるようにラベル付けされる。例えば、データセット内で、歯オブジェクトは９２，４３０回ラベル付けされる。「生（又は、ロー）」とラベル付けされたオブジェクトは、損傷したＧＥＴ又はＧＥＴが取り外された後に見える、生の取り付け点１１２（図１Ｃ参照の画像である。
表１ トレーニングデータセットの要約チャート
表１ トレーニングデータセットの要約チャート
【0041】
表中の特徴及び画像の数は、２Ｄ－ＣＮＮニューラルネットワークを十分にトレーニングするための例示的な実施形態である。各タイプのモデルは、それ自体のトレーニングデータセットを必要とする。しかしながら、データセットが理想的であり、可能な限り多様である場合、少なくとも１０，０００個の画像が必要であると推定され、より理想的でないデータセットでは、４０，０００個を超える画像が必要とされ得る。点群を処理する３Ｄ－ＣＮＮの場合、少なくとも１０，０００点群が必要である。
【0042】
図３Ａは、ニューラルネットワークのための例示的なトレーニングプロセスを示す。好ましい実施形態では、トレーニングは一度に６４個の画像のバッチで行われる。各バッチ４１０を処理した後、ＮＮは最も適切な重みを計算し、予測ラベル４１２とＮＮによって生成された試験ラベル４１３との交差（intersection）４２０（ＸＮＯＲ）を実行することによって、特徴を決定する際のその精度を表す誤差値４２１を決定する。全エポック（６４画像の全５８０バッチ）が提示されると、生成された以前の誤差値を考慮した重み補正が実行され、処理が繰り返される。
【0043】
所望の精度に達するために、８０～１２０エポックがトレーニングごとに使用され、１０～２０回のトレーニングが実行される。このプロセスは、数時間又は数日かかることさえある。好ましい実施形態では、トレーニングプロセスがＮＶＩＤＩＡ ＴＡＯフレームワーク上で実施される。トレーニングはパイプラインを介して自動化される。パイプラインは専用ハードウェア（トレーニング専用）で実行され、Ｐｙｔｈｏｎ３で実装される。
【0044】
３Ｄ－ＣＮＮをトレーニングするための手順は、テスト画像ラベルと予測ラベルとの交差が３次元であることを除いて、全ての点で２Ｄ－ＣＮＮと同一である。各モデルはそれ自体のコンテキストにおいてトレーニングされ、例えば、ＲＮＮをトレーニングする際には、ＲＮＮがＩＭＵから取得されたデータのみを処理するので、慣性データのみが使用される。
【0045】
トレーニングデータセットは、類似の機器及び環境から収集されたすべての入力及びセンサーの組合せから構築される。実際の動作と同様に、ビジュアルカメラ、ＬＩＤＡＲ、環境センサー、ＩＭＵ、レーダから生データを収集する。しかしながら、ＧＥＴスマートシステムはデータ拡張（data augmentation）と呼ばれるプロセスを通して初期データセットを操作し、変換することによって、追加のトレーニングデータを生成する。
【0046】
データ拡張の目標は、トレーニングされたＡＩモデルが実験又はシミュレーションによって通常達成可能なものよりもロバストであるように、十分に多様なトレーニングデータを生成することである。実際のＧＥＴ紛失イベントはまれであるため、本番環境で必要なデータセットのすべてを収集できるわけではない。また、所望のトレーニングダイバーシティを可能にするのに十分に可変な条件でＧＥＴ紛失イベントが捕捉されるわけでもない。
【0047】
明示的に企図されるいくつかの技法は、鏡像を提示すること、画像をいずれかの方向に１５度まで傾斜させること、ズームイン又はズームアウトすること、又は画像がより明るく又はより暗くなるようにコントラストを調整することなど、画像に対して数学的演算を実行することである。
【0048】
他の技術は、上記の演算を３次元点群に適用することを含む。好ましい実施形態では、特定の関心オブジェクトの点群がすべてのデータ点がオブジェクトの中心を表す計算された点にわずかにさらに又はより近くに移動され、実際のオブジェクトよりわずかに大きい又は小さいオブジェクトの点群を生成するように操作される。
【0049】
別の実施形態では、デジタルツインとして知られる処理において、合成データを含む掘削機及びショベルのデジタル表現が生成され得る。
【0050】
＜ＧＥＴ紛失検出及び摩耗検出アプリ＞
ＧＥＴスマートシステムの主要なタスクの１つは、ＧＥＴ紛失イベントを、発生時に、又はイベントに可能な限り近い時点で検出して、摩耗部品の位置を特定し、除去され得るようにすることである。これは、採掘作業が過度に中断されないように、誤警報の頻度がオペレータの許容レベル以下の状態で達成されるべきである。
ＧＥＴスマートシステムの主要なタスクの１つは、ＧＥＴ紛失イベントを、発生時に、又はイベントに可能な限り近い時点で検出して、摩耗部品の位置を特定し、除去され得るようにすることである。これは、採掘作業が過度に中断されないように、誤警報の頻度がオペレータの許容レベル以下の状態で達成されるべきである。
【0051】
システムの別のタスクは、任意の特定のＧＥＴの摩耗レベルを検出することである。これらの部品は犠牲になる部分であるので、摩耗は、そのライフサイクルの不可欠な部分である。サービス期間の終わりに近づいているＧＥＴを正確に予測することは予防的保守が必要であることを示し、ＧＥＴ紛失イベントを完全に回避し得る。
【0052】
図４Ａは、これらのタスクのいずれかで使用されるフロー図及びモジュールである。エンリッチドテンソルからのデータは、処理のために一連の待ち行列に引き込まれる。後の使用、例えばトレーニングのために、ストリームが記録のために選択される場合、データは、記録待ち行列及び記憶装置への保持のための記録モジュールに送信される。
【0053】
処理のために選択されたデータはＡＩモジュール待ち行列に入れられ、ＡＩモジュール２５０に入り、これは、上で説明したように、各モデルから別々の（又は、離散的な／discrete）出力を生成する。これらの出力は、少なくとも、予測ラベルと、各ラベルの関連する信頼レベルとを含む。出力は、少なくとも３Ｄ－ＦＭ（３次元基盤モデル）；３Ｄ－ＣＮＮ；２Ｄ－ＦＭ（２次元基盤モデル）；２Ｄ－ＣＮＮ；２Ｄ分類器；深さ；及びＲＮＮ（慣性）出力を含む。
【0054】
図４Ｂは、視覚データを処理する例示的なモジュールによって生成されたラベルのグラフィック表示である。エンリッチドテンソルの任意の所与のフレームにおいて、モデルは、ＧＥＴ１１１などの複数の関心オブジェクトを認識する。各認識されたオブジェクトは、バウンディングボックス４１０、４１２、又は４１３によって囲まれる。各オブジェクトにはラベル４１１が関連付けられており、このラベルは認識されたオブジェクトのタイプを詳細に示し、モデルの信頼レベルに関連付けられている。条件によっては、すべてのＧＥＴを常に高い信頼レベルで認識できるわけではない。例えば、バウンディングボックス４１２内のＧＥＴは、材料４１５によって部分的に隠されているので、わずか７２％の信頼レベルを表示する。
【0055】
図では、バウンディングボックス４１３内のＧＥＴが失われているか、又は損傷を受けている。ＡＩモジュールはこれを判定（又は、決定）し、それに「生（又は、ロー）」ラベル及び信頼度レベルを割り当て、それは、下流でさらに処理される。
【0056】
読みやすくするために、バウンディングボックス又はラベルのすべてが本明細書に示されているわけではない。図は２次元であるが、バウンディングボックスが立方体である３次元結果が生成され、数学的に操作されることに留意されたい。
【0057】
図４ＣはＧＥＴスマートマネージャ４０１を詳細に示し、これは、各ＡＩモデルの決定を重み付け／タイブレーク（tiebreak）し、警告が保証されるかどうかを決定する。一連のカスタム閾値４０２は、この決定を行うのに役立つ。これらの閾値は、現場、環境、又はオペレータのエラーに対する許容度に基づいて、実装ごとに異なり得る。すべての閾値が満たされない場合、システムは偽のイベントがあると判断し、警告を鳴らさない。しかし、一致（又は、コンセンサース／consensus）に達すると、システムは真のイベントを報告し、通知を送信し、記録のためにイベントにフラグを立てる。
【0058】
一実施形態では、上記マネージャが２Ｄ分類器からの出力を評価し、事前設定されたバウンディングボックス内で検出された各要素のラベル及び信頼レベルのセットを生成する。３Ｄ－ＣＮＮからの出力は、２Ｄバウンディングボックスと重複するオブジェクトのみが評価されることを除いて、同様に評価される。モデルがラベルにさらに同意する場合、オブジェクトは有効とみなされる。
【0059】
より全体的には、複数のモデルが高い信頼度で欠けているＧＥＴを報告するものの、ＲＮＮがショベルがＧＥＴが見えるべきではない位置にあると報告する場合、欠けているＧＥＴに似ている誤った粒子（particle）の誤検出である可能性が高く、警告は鳴らされない。複数のモデルが深度データに基づいて、関心領域から近すぎる、又は遠すぎる領域内の欠けているＧＥＴを報告する場合、上記マネージャは、検出が有効でないと決定し得る。
【0060】
図４Ｄは、関心領域（ＲＯＩ）がプリセットからではなく、図４Ｂで説明したように関心オブジェクトを認識することから選択される実施形態について詳述する。ＧＥＴに類似する多くのオブジェクトが、ＡＩモデルによって誤ってピックアップされ得ることは明らかである。したがって、関連する関心オブジェクトを決定するために、深度マップデータが考慮される必要がある。
【0061】
深度マップのこの表現において、ＧＥＴのうちの少なくともいくつかが、それらのＲＯＩにおいて選択されていることが示される。認識された各オブジェクトについて、質量中心が計算され、深度マップ上の対応する位置にマッピングされる。正確な距離（例示的な距離は７～８メートルの間であり得る）内に位置するものだけが、さらなる処理のために選択される。
【0062】
図４Ｅは、摩耗検出アプリを機能させるためのプロセスを表す。ＧＥＴスマートシステムは個々のＧＥＴを含むバウンディングボックス４２０を生成し、ＧＥＴ画像の境界を描くＧＥＴ形状４２１を決定する。この形状から、中心４２２までの距離４２３が計算され、そこから多角形近似が決定され、少なくとも形状の長軸／短軸が得られる。
【0063】
システムはまた、ＧＥＴの輪郭を描くＬＩＤＡＲデータからのＧＥＴ点群４２４を決定し、その後、多角形近似４２５が計算される。
【0064】
次いで、この情報は、ＧＥＴの面積、質量、測定値、及び体積などの物理的パラメータを決定するために計算される。これらのパラメータは、新しいＧＥＴについて知られたものなので、個々のＧＥＴごとの摩耗レベルを計算し得る。
【0065】
＜体積分析及び粒子サイズ分析アプリ＞
ＧＥＴスマートシステムはそのＡＩモデルを活用して、収集された鉱物を物理的に操作又は検査する必要なしに、特定の他のタスクを自動化し得る。システムは、所与のショベル積載物（又は、荷重／load）の体積分析を実行して、すくい上げられた物質の体積及び重量を決定する。システムはまた、物質の粒径の推定値を提供し得る。図面から明らかなように、１組のセンサーデータ入力だけで多くの異なるタスクを達成することが可能である。
ＧＥＴスマートシステムはそのＡＩモデルを活用して、収集された鉱物を物理的に操作又は検査する必要なしに、特定の他のタスクを自動化し得る。システムは、所与のショベル積載物（又は、荷重／load）の体積分析を実行して、すくい上げられた物質の体積及び重量を決定する。システムはまた、物質の粒径の推定値を提供し得る。図面から明らかなように、１組のセンサーデータ入力だけで多くの異なるタスクを達成することが可能である。
【0066】
図５Ａを参照すると、体積分析アプリは最初に、水平線４３０によって描かれる関心領域を画定し、ここでは、ショベルの全積載物の表面４３１の面積が見られる可能性が高い。集められた鉱物の特性のために、この表面は、不均一である可能性が高い。この領域から、凹凸面の全ての点の表面マップを少なくとも点群データから構成し得る。
【0067】
図５Ｂは、ショベルバケットの形状に重ね合わせた表面マップを示す。ショベルバケットの寸法４３２は、既知の定数である。表面マップの各点は底部の既知の位置に垂直に対応し、したがって、ショベル積載物の深さ及び体積を計算し得る。物質の密度が既知である場合、ショベル積載物の重量も決定し得る。
【0068】
これらの測定基準はユーザインターフェースを介して利用可能であり、例えば、オペレータがダンプトラック上に載置された積載物を定量化して、積載物が適切かつ効率的に積載されるようにすることを可能にする。ダンプトラックをアンダーロードする（又は、積載不足にする）ことは地面移動プロセス中に費用のかかる非効率を引き起こし、ダンプトラックをオーバーロードする（又は、過剰積載する）ことはトラックに損傷を与える可能性がある。
【0069】
粒度アプリに関して、掘削機が動作する典型的な環境は、鉱山が既に爆発物で爆破された後に物質をすくうことである。粒度分析又は粒径の測定は、爆破プロセス及び下流処理の両方を調整及び最適化するために重要である。
【0070】
図５Ｃを参照すると、粒径分析アプリは、線４４０によって描かれる関心領域を定義することから始まる。表面分析は、収集された鉱物の表面に存在する複数の粒子上の粒子境界４４１を描くことを含む。
【0071】
図５Ｄは、識別された粒子境界の周りに画定された複数のバウンディングボックス４４２を示す。摩耗検出アプリと同様に、各粒子の中心までの距離が計算され、多角形近似が決定され、少なくとも形状の長軸／短軸が得られる。システムはまた、粒子の輪郭を描く複数の粒子点群４４３を決定し、その後、多角形近似４４４が計算される。
【0072】
次いで、この情報は、粒子当たりの面積及び体積などの物理的パラメータを決定するために計算される。表面におけるこれらのサンプルは、これらがランダムにすくい上げられるので、ショベルの全内容物を表し、したがって、表面下成分（sub-surface components）を分析する必要がない。
【0073】
次いで、寸法測定値は、鉱山爆破プロセス及び処理プラントに知らせる有用な測定基準に変換される。これらの測定基準はクラウドを介して鉱山爆破オペレータに報告され、鉱山及びプラントオペレータが鉱物処理パラメータを設定し、爆破動作にフィードバックを提供して爆破の不足又はやり過ぎ（又は、下又は上／under or over）を検出することを可能にする。
【0074】
ＧＥＴスマートシステムにおけるこれらの用途の利点は、取り出した物質を検査又は測定するために必要とされる物理的接触及び中断時間がより少なく、したがって効率及び安全性が向上することである。
【0075】
本明細書において引用される全ての刊行物及び特許出願は、あたかも個々の刊行物又は特許出願が具体的かつ個々に参照により組み込まれることが示されているかのように、参照により本明細書に組み込まれる。
【0076】
例示的な実施形態を参照して本発明を説明してきたが、本発明の範囲から逸脱することなく、様々な変更を行うことができ、その要素の代わりに等価物を用いることができることが当業者には理解されるであろう。加えて、本質的な範囲から逸脱することなく、特定の状況又は材料を教示に適合させるために、多くの修正を行うことができる。したがって、本発明は本発明を実施するために企図される最良の形態として開示される特定の実施形態に限定されるものではなく、本発明は添付の特許請求の範囲内に入るすべての実施形態を含むことが意図される。
【0077】
下記は、本願の出願当初に記載の発明である。
＜請求項１＞
鉱山作業における鉱物積載中のショベルの状態を検出するのに使用するためのＡＩベースの監視システムであって、
１つ又は複数のセンサーと、
エンリッチドテンソルデータ構造と、
人工知能モジュールと、
重み付け機構（又は、計量機構／weighing mechanism）と、
１つ又は複数の出力と、を含むシステム。
＜請求項２＞
前記センサーはさらに、
１つ又は複数のカラー画像カメラと、
１つ又は複数のＬＩＤＡＲセンサーと、
１つ又は複数の立体カメラと、
１つ又は複数の慣性測定ユニットと、を含む、請求項１に記載のシステム。
＜請求項３＞
前記人工知能モジュールはさらに、
関心オブジェクトを検出するように適合された１つ又は複数のニューラルネットワークと、
関心オブジェクトを検出するように適合された１つ又は複数の基盤モデルと、を含み、
１つ又は複数のニューラルネットワークは、カラー画像のみを処理するように構成され、
１つ又は複数のニューラルネットワークは、点群のみを処理するように構成され、
１つ又は複数のニューラルネットワークは、深度マップのみを処理するように構成され、
１つ又は複数のニューラルネットワークは、慣性データのみを処理するように構成され、
１つ又は複数の基盤モデルは、カラー画像、点群、深度マップ、及び慣性データを全体的に処理するように構成され、
前記１つ又は複数のニューラルネットワーク及び基盤モデルはそれぞれ、予測オブジェクトラベル及び信頼レベルの形態で結果を返す、請求項１に記載のシステム。
＜請求項４＞
前記ニューラルネットワークはさらに、
１つ又は複数の畳み込みニューラルネットワークと、
１つ又は複数のデンスニューラルネットワークと、
１つ又は複数のリカレントニューラルネットワークと、を含む、請求項３に記載のシステム。
＜請求項５＞
前記基盤モデルはさらに、
１つ又は複数のビジョントランスフォーマを含む、請求項３に記載のシステム。
＜請求項６＞
前記エンリッチドテンソルデータ構造はさらに、
カラー画像データと、
点群データと、
深度データと、
慣性データと、を含む、請求項１に記載のシステム。
＜請求項７＞
鉱山作業における鉱物積載中のショベルの状態を検出する方法であって、
１つ又は複数の関心領域を定義するステップと、
エンリッチドテンソルデータ構造を構築するステップと、
人工知能モジュールを用いて前記エンリッチドテンソルを処理するステップと、
前記人工知能モジュールの１つ又は複数の結果を、重み付けを用いて処理するステップと、
前記重み付け機構の結果に基づいて警告を生成するステップと、を含む方法。
＜請求項８＞
１つ又は複数の関心領域を定義するステップは、さらに、
カメラの視野内の矩形領域を定義することと、
カメラの視野内の２本の水平線によって境界付けられた領域を定義することと、
カメラの視野内の２本の垂直線によって境界付けられた領域を定義することと、
カメラの視野内の特定の領域の深度に基づいた領域を定義することと、
時間の区分を定義することと、
オブジェクト検出に基づいた領域を、前記オブジェクトの中心点を決定し、前記中心点への最小及び最大距離を適用することによって定義することと、
検出されたオブジェクトによって囲まれた領域を定義することのうちの１つ又は複数を含む、請求項７に記載の方法。
＜請求項９＞
前記エンリッチドテンソルデータ構造を構築するステップは、さらに、
少なくとも慣性測定ユニット、立体カメラ、カラー画像カメラ、及びＬＩＤＡＲからの生データを収集することと、
プリセット入力に基づいて関心領域を定義すること、又は前記収集された生データを分析することと、
前記関心領域内から正規化された生データを含むデータ構造を作成することと、を含む、請求項７に記載の方法。
＜請求項１０＞
鉱山作業における鉱物積載中のショベルの状態を決定するための人工知能モジュールをトレーニングする方法であって、
ニューラルネットワークへトレーニング画像のバッチを導入するステップと、
予測ラベルセットを受信するステップと、
前記予測ラベルへの試験ラベルセットの交差を適用するステップと、
誤差値のセットを生成するステップと、
前記誤差値を適用することによって前記ニューラルネットワークの重みを調整するステップと、を含む方法。
＜請求項１１＞
鉱山作業における鉱物積載中のショベルの状態を決定するためのセンサーデータ（又は、感覚データ／sensory data）を分析する方法であって、
１つ又は複数の摩耗部品に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記ショベル上の１つ又は複数の取り付け点に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記関心領域内の収集された前記センサーデータに基づいて１つ又は複数のデータ構造を構築するステップと、
各データ構造のラベルと信頼区間のセットを生成するステップと、
一連の値を用いて重み付けメカニズムを設定するステップと、
データ構造ごとに、ラベルと信頼区間のセットの重み付けを行うステップと、
前記重み付けの結果に基づいて警告を生成するステップと、を含む方法。
＜請求項１２＞
鉱山作業における鉱物積載中のショベルの状態を決定するためのセンサーデータを分析する方法であって、
１つ又は複数の摩耗部品に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記関心領域内の収集された前記センサーデータに基づいて１つ又は複数のデータ構造を構築するステップと、
各摩耗部品の多角形幾何学的表現を生成するステップと、
各摩耗部品の点群を生成するステップと、
摩耗部品の前記幾何学的表現及び未摩耗部品の既知の値に基づいて摩耗レベルを計算するステップと、を含む方法。
＜請求項１３＞
前記多角形幾何学的表現は、輪郭、重心、及び１つ又は複数の軸を含む、請求項１２に記載の方法。
＜請求項１４＞
鉱山作業における鉱物積載中のショベルの状態を決定するためのセンサーデータを分析する方法であって、
前記ショベル内のいくつかの鉱物に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記関心領域内の収集された前記センサーデータに基づいて１つ又は複数のデータ構造を構築するステップと、
前記鉱物の輪郭の表面マップを生成するステップと、
前記表面マップ及び前記ショベルの形状の既知の値に基づいて前記鉱物の体積及び重量を計算するステップと、を含む方法。
＜請求項１５＞
鉱山作業における鉱物積載中のショベルの状態を決定するためのセンサーデータを分析する方法であって、
前記ショベル内の表面上に載っている複数の鉱物粒子に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記関心領域内の収集された前記センサーデータに基づいて１つ又は複数のデータ構造を構築するステップと、
各粒子の多角形幾何学的表現を生成するステップと、
各粒子の点群を生成するステップと、
前記幾何学的表現及び前記点群に基づいて各粒子の寸法を計算するステップと、を含む方法。
＜請求項１６＞
前記多角形幾何学的表現は、輪郭、重心、及び１つ又は複数の軸を含む、請求項１５に記載の方法。
＜請求項１＞
鉱山作業における鉱物積載中のショベルの状態を検出するのに使用するためのＡＩベースの監視システムであって、
１つ又は複数のセンサーと、
エンリッチドテンソルデータ構造と、
人工知能モジュールと、
重み付け機構（又は、計量機構／weighing mechanism）と、
１つ又は複数の出力と、を含むシステム。
＜請求項２＞
前記センサーはさらに、
１つ又は複数のカラー画像カメラと、
１つ又は複数のＬＩＤＡＲセンサーと、
１つ又は複数の立体カメラと、
１つ又は複数の慣性測定ユニットと、を含む、請求項１に記載のシステム。
＜請求項３＞
前記人工知能モジュールはさらに、
関心オブジェクトを検出するように適合された１つ又は複数のニューラルネットワークと、
関心オブジェクトを検出するように適合された１つ又は複数の基盤モデルと、を含み、
１つ又は複数のニューラルネットワークは、カラー画像のみを処理するように構成され、
１つ又は複数のニューラルネットワークは、点群のみを処理するように構成され、
１つ又は複数のニューラルネットワークは、深度マップのみを処理するように構成され、
１つ又は複数のニューラルネットワークは、慣性データのみを処理するように構成され、
１つ又は複数の基盤モデルは、カラー画像、点群、深度マップ、及び慣性データを全体的に処理するように構成され、
前記１つ又は複数のニューラルネットワーク及び基盤モデルはそれぞれ、予測オブジェクトラベル及び信頼レベルの形態で結果を返す、請求項１に記載のシステム。
＜請求項４＞
前記ニューラルネットワークはさらに、
１つ又は複数の畳み込みニューラルネットワークと、
１つ又は複数のデンスニューラルネットワークと、
１つ又は複数のリカレントニューラルネットワークと、を含む、請求項３に記載のシステム。
＜請求項５＞
前記基盤モデルはさらに、
１つ又は複数のビジョントランスフォーマを含む、請求項３に記載のシステム。
＜請求項６＞
前記エンリッチドテンソルデータ構造はさらに、
カラー画像データと、
点群データと、
深度データと、
慣性データと、を含む、請求項１に記載のシステム。
＜請求項７＞
鉱山作業における鉱物積載中のショベルの状態を検出する方法であって、
１つ又は複数の関心領域を定義するステップと、
エンリッチドテンソルデータ構造を構築するステップと、
人工知能モジュールを用いて前記エンリッチドテンソルを処理するステップと、
前記人工知能モジュールの１つ又は複数の結果を、重み付けを用いて処理するステップと、
前記重み付け機構の結果に基づいて警告を生成するステップと、を含む方法。
＜請求項８＞
１つ又は複数の関心領域を定義するステップは、さらに、
カメラの視野内の矩形領域を定義することと、
カメラの視野内の２本の水平線によって境界付けられた領域を定義することと、
カメラの視野内の２本の垂直線によって境界付けられた領域を定義することと、
カメラの視野内の特定の領域の深度に基づいた領域を定義することと、
時間の区分を定義することと、
オブジェクト検出に基づいた領域を、前記オブジェクトの中心点を決定し、前記中心点への最小及び最大距離を適用することによって定義することと、
検出されたオブジェクトによって囲まれた領域を定義することのうちの１つ又は複数を含む、請求項７に記載の方法。
＜請求項９＞
前記エンリッチドテンソルデータ構造を構築するステップは、さらに、
少なくとも慣性測定ユニット、立体カメラ、カラー画像カメラ、及びＬＩＤＡＲからの生データを収集することと、
プリセット入力に基づいて関心領域を定義すること、又は前記収集された生データを分析することと、
前記関心領域内から正規化された生データを含むデータ構造を作成することと、を含む、請求項７に記載の方法。
＜請求項１０＞
鉱山作業における鉱物積載中のショベルの状態を決定するための人工知能モジュールをトレーニングする方法であって、
ニューラルネットワークへトレーニング画像のバッチを導入するステップと、
予測ラベルセットを受信するステップと、
前記予測ラベルへの試験ラベルセットの交差を適用するステップと、
誤差値のセットを生成するステップと、
前記誤差値を適用することによって前記ニューラルネットワークの重みを調整するステップと、を含む方法。
＜請求項１１＞
鉱山作業における鉱物積載中のショベルの状態を決定するためのセンサーデータ（又は、感覚データ／sensory data）を分析する方法であって、
１つ又は複数の摩耗部品に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記ショベル上の１つ又は複数の取り付け点に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記関心領域内の収集された前記センサーデータに基づいて１つ又は複数のデータ構造を構築するステップと、
各データ構造のラベルと信頼区間のセットを生成するステップと、
一連の値を用いて重み付けメカニズムを設定するステップと、
データ構造ごとに、ラベルと信頼区間のセットの重み付けを行うステップと、
前記重み付けの結果に基づいて警告を生成するステップと、を含む方法。
＜請求項１２＞
鉱山作業における鉱物積載中のショベルの状態を決定するためのセンサーデータを分析する方法であって、
１つ又は複数の摩耗部品に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記関心領域内の収集された前記センサーデータに基づいて１つ又は複数のデータ構造を構築するステップと、
各摩耗部品の多角形幾何学的表現を生成するステップと、
各摩耗部品の点群を生成するステップと、
摩耗部品の前記幾何学的表現及び未摩耗部品の既知の値に基づいて摩耗レベルを計算するステップと、を含む方法。
＜請求項１３＞
前記多角形幾何学的表現は、輪郭、重心、及び１つ又は複数の軸を含む、請求項１２に記載の方法。
＜請求項１４＞
鉱山作業における鉱物積載中のショベルの状態を決定するためのセンサーデータを分析する方法であって、
前記ショベル内のいくつかの鉱物に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記関心領域内の収集された前記センサーデータに基づいて１つ又は複数のデータ構造を構築するステップと、
前記鉱物の輪郭の表面マップを生成するステップと、
前記表面マップ及び前記ショベルの形状の既知の値に基づいて前記鉱物の体積及び重量を計算するステップと、を含む方法。
＜請求項１５＞
鉱山作業における鉱物積載中のショベルの状態を決定するためのセンサーデータを分析する方法であって、
前記ショベル内の表面上に載っている複数の鉱物粒子に関するデータを含む１つ又は複数の関心領域を定義するステップと、
前記関心領域内の収集された前記センサーデータに基づいて１つ又は複数のデータ構造を構築するステップと、
各粒子の多角形幾何学的表現を生成するステップと、
各粒子の点群を生成するステップと、
前記幾何学的表現及び前記点群に基づいて各粒子の寸法を計算するステップと、を含む方法。
＜請求項１６＞
前記多角形幾何学的表現は、輪郭、重心、及び１つ又は複数の軸を含む、請求項１５に記載の方法。
【図1A】
【図1B】
【図1C】
【図1D】
【図1E】
【図1F】
【図2A】
【図2B】
【図2C】
【図2D】
【図2E】
【図2F】
【図2G】
【図3A】
【図4A】
【図4B】
【図4C】
【図4D】
【図4E】
【図5A】
【図5B】
【図5C】
【図5D】
【国際調査報告】