特表 2024-543006 スクラップヤードにおける金属分離

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-19

(54)【発明の名称】スクラップヤードにおける金属分離

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241112BHJP

   G06V 10/82 20220101ALI20241112BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 610

G06V10/82

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024525473

(86)(22)【出願日】2022-10-24

(85)【翻訳文提出日】2024-06-25

(86)【国際出願番号】 US2022047614

(87)【国際公開番号】W WO2023076186

(87)【国際公開日】2023-05-04

(31)【優先権主張番号】63/273,535

(32)【優先日】2021-10-29

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．テフロン

２．ＰＹＴＨＯＮ

３．ＴＥＮＳＯＲＦＬＯＷ

４．ＭＡＴＬＡＢ

５．ＪＡＶＡ

６．ＣＵＤＡ

７．Ｄｅｅｐｌｅａｒｎｉｎｇ４ｊ

(71)【出願人】

【識別番号】520417713

【氏名又は名称】ソルテラ・テクノロジーズ・インコーポレイテッド

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】マヌエル・ジェラルド・ガルシア・ジュニア

(72)【発明者】

【氏名】ナリン・クマール

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA08

5L096CA02

5L096DA02

5L096HA11

(57)【要約】

ビジョンシステムを利用して材料を分類するための装置であって、前記ビジョンシステムは、材料のそれぞれを識別または分類するために人工知能システムを実装することができ、これらの材料を次いで、このような識別または分類に基づいて、スクラップヤードにある山から、他の山のような別々の群に分離することができる。人工知能システムは、ニューラルネットワークを利用し、いくつかのタイプの材料を認識および分類するように事前に訓練することができる。

【特許請求の範囲】

【請求項1】

第1の金属合金組成を有する少なくとも1つの金属合金片および第2の金属合金組成を有する少なくとも1つの金属合金片を含む金属合金片の異種混合物の第1の山内に含まれる個々の金属合金片の画像を捕捉するように構成されたカメラと、
人工知能(「AI」)システムで実装されたデータ処理システムであって、前記AIシステムは、前記第1の金属合金組成を有する第1の金属合金片に、前記第1の金属合金片の前記捕捉された画像の前記AIシステムを通じた処理に応じて第1の分類を割り当てるように構成されている、データ処理システムと、
前記第1の分類に応答して前記第1の山から前記第1の金属合金片を自動的に把持および除去するように構成された分離デバイスと、
を含む装置。

【請求項2】

前記分離デバイスは、前記第1の金属合金片を金属合金片の第2の山上に堆積させるように構成されている、請求項1に記載の装置。

【請求項3】

前記第2の山は、前記第1の金属合金組成を有する金属合金片からなる、請求項2に記載の装置。

【請求項4】

前記AIシステムは、前記第2の金属合金組成を有する第2の金属合金片に、前記第2の金属合金片の前記捕捉された画像の前記AIシステムを通じた処理に応じて第2の分類を割り当てるように構成され、前記分離デバイスは、前記第2の分類に応答して前記第1の山から前記第2の金属合金片を自動的に把持および除去するように構成され、前記分離デバイスは、前記第2の金属合金片を金属合金片の第3の山上に堆積させるように構成されている、請求項2に記載の装置。

【請求項5】

前記第3の山は、前記第2の金属合金組成を有する金属合金片の均質な集合である、請求項4に記載の装置。

【請求項6】

前記人工知能システムは、前記捕捉された画像で検出された特徴を、訓練段階中に生成された知識ベースに格納されているものと比較する1つまたは複数のアルゴリズムを使用するニューラルネットワークで構成され、前記訓練段階中、前記1つまたは複数のアルゴリズムは、1つまたは複数の指定されたクラスの金属合金と、前記知識ベースを作成する捕捉された画像データから抽出されたそれらの特徴との間の関係を学習する、請求項1に記載の装置。

【請求項7】

前記カメラは、前記個々の金属合金片の視覚画像を捕捉するように構成されている、請求項1に記載の装置。

【請求項8】

前記第1の金属合金片は鋼合金片である、請求項1に記載の装置。

【請求項9】

前記分離デバイスは、前記第1の山内の前記第1の金属合金片の第1の場所を識別するとともに、前記第2の山の第2の場所を識別する前記データ処理システムからの命令を受信するコントローラを有するロボットアームである、請求項2に記載の装置。

【請求項10】

前記第1および第2の山は金属スクラップヤード内に配置されている、請求項9に記載の装置。

【請求項11】

材料片の第1の山内に含まれる材料片の混合物のそれぞれの1つまたは複数の特性を捕捉するように構成されたセンサであって、前記材料片の混合物は、異なる化学組成を有する材料片を含む、センサと、
第1の化学組成を有する第1の材料片に、前記第1の材料片の前記捕捉された1つまたは複数の特性の処理に応じて第1の分類を割り当てるように構成されたデータ処理システムと、
前記第1の分類に応答して前記第1の山から前記第1の材料片を自動的に把持および除去するように構成された分離デバイスと、
を含む装置。

【請求項12】

前記分離デバイスは、前記第1の山内の前記第1の材料片の第1の場所を識別するとともに、第2の山の第2の場所を識別する前記データ処理システムからの命令を受信するコントローラを有するロボットアームであり、前記センサは、前記分離デバイスのアーム上に取り付けられたx線蛍光システムである、請求項11に記載の装置。

【請求項13】

前記センサは、前記材料片の視覚画像を捕捉するように構成されたカメラであり、前記データ処理システムは人工知能(「AI」)システムで実装され、前記AIシステムは、第1の化学組成を有する第1の材料片に、前記第1の材料片の前記捕捉された視覚画像の前記AIシステムを通じた処理に応じて第1の分類を割り当てるように構成されている、請求項11に記載の装置。

【請求項14】

前記AIシステムは、第2の化学組成を有する第2の材料片に、前記第2の材料片の前記捕捉された視覚画像の前記AIシステムを通じた処理に応じて第2の分類を割り当てるように構成され、前記分離デバイスは、前記第2の分類に応答して前記第1の山から前記第2の材料片を自動的に把持および除去するように構成され、前記第1および第2の分類は互いに異なり、前記分離デバイスは、前記第1の材料片を材料片の第2の山上に堆積させるように構成され、前記分離デバイスは、前記第2の材料片を材料片の第3の山上に堆積させるように構成されている、請求項13に記載の装置。

【請求項15】

前記第2の山は、前記第1の化学組成を有する材料片の均質な集合であり、前記第3の山は、前記第2の化学組成を有する材料片の均質な集合である、請求項14に記載の装置。

【請求項16】

前記材料片はスクラップ金属合金片であり、前記第1の材料片は第1のスクラップ金属合金片であり、前記第1および第2の山は金属スクラップヤード内に配置され、前記分離デバイスは、前記第1のスクラップ金属合金片をスクラップ金属合金片の第2の山上に堆積させるように構成されている、請求項13に記載の装置。

【請求項17】

前記分離デバイスは、前記第1の山内の前記第1のスクラップ金属合金片の第1の場所を識別するとともに、前記第2の山の第2の場所を識別する前記データ処理システムからの命令を受信するコントローラを有するロボットアームである、請求項16に記載の装置。

【請求項18】

前記AIシステムは、前記捕捉された画像で検出された特徴を、訓練段階中に生成された知識ベースに格納されているものと比較する1つまたは複数のアルゴリズムを使用するニューラルネットワークで構成され、前記訓練段階中、前記1つまたは複数のアルゴリズムは、1つまたは複数の指定されたクラスのスクラップ金属合金と、前記知識ベースを作成する捕捉された画像データから抽出されたそれらの特徴との間の関係を学習する、請求項17に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

関連特許および特許出願
この出願は、米国仮特許出願第63/273,535号の優先権を主張する。この出願は、米国特許出願第17/752,669号の一部継続出願であり、これは米国特許出願第17/667,397号の一部継続出願であり、これは米国特許出願第17/495,291号の一部継続出願であり、これは米国特許出願第17/491,415号(米国特許第11,278,937号として発行)の一部継続出願であり、これは米国特許出願第17/380,928号の一部継続出願であり、これは米国特許出願第17/227,245号の一部継続出願であり、これは米国特許出願第16/939,011号(米国特許第11,471,916号として発行)の一部継続出願であり、これは米国特許出願第16/375,675号(米国特許第10,722,922号として発行)の継続出願であり、これは米国特許出願第15/963,755号(米国特許第10,710,119号として発行)の一部継続出願であり、これは米国特許出願第15/213,129号(米国特許第10,207,296号として発行)の一部継続出願であり、これは米国仮特許出願第62/193,332号の優先権を主張しており、これらのすべてをここで参照により本明細書に組み込む。米国特許出願第17/491,415号(米国特許第11,278,937号として発行)は米国特許出願第16/852,514号(米国特許第11,260,426号として発行)の一部継続出願であり、これは米国特許出願第16/358,374号(米国特許第10,625,304号として発行)の分割出願であり、これは米国特許出願第15/963,755号(米国特許第10,710,119号として発行)の一部継続出願であり、これは米国仮特許出願第62/490,219号の優先権を主張しており、これらのすべてをここで参照により本明細書に組み込む。

【0002】

政府ライセンス権
この開示は、米国エネルギー省から授与された助成金第DE-AR0000422号に基づき、米国政府の支援を受けて行われた。米国政府はこの開示に関して一定の権利を有することができる。

【0003】

本開示は概して材料の分離に、特に、金属スクラップヤードのような大きな領域にわたって集められた材料の分類および/または選別に関する。

【背景技術】

【0004】

このセクションは、本開示の例示的な実施形態に関連し得る技術のさまざまな態様を紹介するように意図されている。この議論は、本開示の特定の態様のより良好な理解を促進する枠組みを提供するのに役立つと考えられる。したがって、このセクションは、必ずしも先行技術の自認としてではなく、この観点から読まれるべきであることが理解されるべきである。

【0005】

リサイクルとは、そうしなければゴミとして捨てられるであろう材料を収集および加工し、新しい製品に変えるプロセスである。リサイクルは、埋め立て地および焼却炉に送られる廃棄物の量を減らし、天然資源を保護し、国内の材料源を利用することで経済的安全性を高め、新しい原材料を収集する必要性を減らすことで汚染を防ぎ、そしてエネルギーを節約するため、地域社会に、そして環境に利益をもたらす。

【0006】

収集後、リサイクル可能なものは通常、材料回収施設に送られ、選別、洗浄され、そして製造に使用することができる材料へ加工される。結果として、高度に混合された廃棄物の流れを経済的に選別する高スループットの自動選別プラットフォームがさまざまな業界全体を通して有益であろう。したがって、混合された産業または都市廃棄物の流れを高スループットで識別、分析、および分離して、後続の処理のためのより高品質の原料(これは微量汚染物質のレベルも低くなり得る)を経済的に生成することができる、費用対効果の高い選別プラットフォームの必要性がある。通常、材料回収施設は、多くの材料を区別することができないため、スクラップはより低品質でより低価値の市場に限定されるか、または非常に遅く、労働集約的、そして非効率的であるため、経済的にリサイクルまたは回収することができる材料の量が限定される。

【0007】

スクラップ金属は細断されることが多いため、金属の再利用を促進するには選別が要求される。スクラップ金属を選別することで、そうしなければ埋め立て地に行く可能性がある金属が再利用される。加えて、選別されたスクラップ金属を使用すると、鉱石からバージン原料を精製することと比較して、汚染および排出が減る。選別された金属の品質が一定の基準を満たせば、製造業者はバージン原料の代わりにスクラップ金属を使用することができる。スクラップ金属は、鉄および非鉄金属、重金属、ニッケルまたはチタンのような高価値金属、鋳造または鍛造金属、および他のさまざまな合金の種類を含むことができる。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】米国特許出願第17/667,397号

【特許文献2】国際公開特許出願第WO 99/2248号

【特許文献3】米国特許第10,207,296号

【非特許文献】

【0009】

【非特許文献1】K. Alipourら、「Point to-Point Stable Motion Planning of Wheeled Mobile Robots with Multiple Arms for Heavy Object Manipulation」、2011 IEEE International Conference on Robotics and Automation、6162頁～6167頁、2011年5月9日～13日

【非特許文献2】Krizhevskyら、「ImageNet Classification with Deep Convolutional Networks」、Proceedings of the 25th International Conference on Neural Information Processing Systems、2012年12月3日～6日

【非特許文献3】LeCunら、「Gradient-Based Learning Applied to Document Recognition」、Proceedings of the IEEE, Institute of Electrical and Electronic Engineers (IEEE)、1998年11月

【発明の概要】

【課題を解決するための手段】

【0010】

本開示のさまざまな詳細な実施形態を本明細書で開示する。しかしながら、開示された実施形態は本開示の単なる例示であり、これはさまざまな代替の形式で具体化され得ることが理解されるべきである。図は必ずしも縮尺どおりではなく、いくつかの特徴は、特定の構成要素の詳細を示すために誇張または縮小されていることがある。したがって、本明細書で開示される具体的な構造的および機能的詳細は、限定的なものとして解釈されるべきではなく、本開示のさまざまな実施形態を使用するために当業者に教示するための代表的な基礎としてのみ解釈されるべきである。

【図面の簡単な説明】

【0011】

【図1】本開示の実施形態にしたがって人工知能(「AI」)システムを訓練するために利用することができる材料取り扱いシステムの概略図である。

【図2】人工知能システムにおける訓練段階中に使用される材料片の制御セットの例示的な表現を示す図である。

【図3】本開示の実施形態にしたがって構成されたフローチャート図である。

【図4】スクラップヤード内に収集された金属スクラップの山を示す図である。

【図5】本開示の実施形態にしたがって構成されたデータ処理システムのブロック図である。

【図6】スクラップヤードにおける金属スクラップのような、1つまたは複数の山へと収集された材料を分類/識別および/または選別/分離するための本開示の実施形態にしたがって構成された装置を概略的に示す図である。

【発明を実施するための形態】

【0012】

本開示の実施形態は、スクラップヤードに収集されたさまざまな金属合金を識別/分類するように構成された人工知能(「AI」)/ビジョンシステムを利用する。

【0013】

本明細書で使用されるとき、「材料」は、金属(鉄および非鉄)、金属合金、金属合金スクラップ片、ヘビー、ゾルバ、トウィッチ、別の異なる材料に埋め込まれた金属片、プラスチック(業界で知られている、本明細書で開示されている、または将来新しく作成されるプラスチックのいずれかを含むが、これらに限定されない)、ゴム、フォーム、ガラス(ホウケイ酸またはソーダ石灰ガラス、およびさまざまな色のガラスを含むが、これらに限定されない)、セラミック、紙、段ボール、テフロン、PE、束のワイヤ、絶縁被覆ワイヤ、希土類元素、葉、木、植物、植物の一部、繊維、バイオ廃棄物、包装、電子廃棄物、電池および蓄電池、使用済み車両、鉱業、建設、および解体廃棄物のスクラップ、作物廃棄物、森林残渣、目的に応じて栽培された草、木質エネルギー作物、微細藻類、都市の食品廃棄物、食品廃棄物、危険な化学および生物医学的廃棄物、建設瓦礫、農場廃棄物、生物由来品目、非生物由来品目、特定の炭素含有量を持つ物体、都市固形廃棄物内に見られ得る任意の他の物体、および本明細書に開示されているセンサ技術のいずれかを含むがこれらに限定されない、1つまたは複数のセンサシステムを含むがこれらに限定されないものによって、互いに区別することができる前述のいずれかのさらなるタイプまたはクラスを含む、本明細書に開示されている任意の他の物体、品目、または材料を含むがこれらに限定されない、任意の品目または物体を含むことができる。

【0014】

より一般的な意味において、「材料」は、化学元素、1つまたは複数の化学元素の化合物もしくは混合物、または化学元素の化合物もしくは混合物の化合物もしくは混合物で構成される任意の品目または物体を含むことができ、化合物または混合物の複雑さは単純なものから複雑なものまでの範囲であり得る(これらのすべてを本明細書では、特定の「化学組成」を有する材料と呼ぶこともある)。「化学元素」は、化学元素の周期表の化学元素を意味し、この出願の出願日以降に発見される可能性がある化学元素を含む。この開示内で、「スクラップ」、「スクラップ片」、「材料」、および「材料片」という用語は互換的に使用することができる。本明細書で使用されるとき、金属合金組成を有すると称される材料片またはスクラップ片は、他の金属合金と区別される特定の化学組成を有する金属合金である。

【0015】

本明細書で使用されるとき、材料の「堆積」は、物が積み重ねられた、または重なり合った山を指す。本明細書で使用されるとき、物の「山」は通常、乱雑であり、丘または盛り土の形状を有することが多い。

【0016】

本明細書で使用されるとき、「化学シグネチャ」という用語は、サンプルにおける1つまたは複数の特定の元素または分子(ポリマーを含む)の存在を示す、1つまたは複数の分析機器によって生成されるであろうような、固有のパターン(たとえば、指紋スペクトル)を指す。元素または分子は有機および/または無機であり得る。このような分析機器は、本明細書で開示されている、また米国特許出願第17/667,397号に開示されているセンサシステムのいずれかを含み、この出願をここで参照により本明細書に組み込む。本開示の実施形態によれば、1つまたは複数のこのようなセンサシステムは、材料片の化学シグネチャを生成するように構成することができる。

【0017】

業界ではよく知られているように、「ポリマー」は、多くの繰り返しサブユニットで構成された、非常に大きな分子、または高分子で構成された物質または材料である。ポリマーは、自然に見られる天然ポリマーまたは合成ポリマーであり得る。「多層ポリマーフィルム」は2つ以上の異なるポリマー組成物で構成されている。層は少なくとも部分的に連続しており、好ましくは、しかし任意選択で、同じ広がりを持っている。本明細書で使用されるとき、「プラスチック」、「プラスチック片」、および「プラスチックの材料片」(これらのすべては互換的に使用することができる)という用語は、1つまたは複数のポリマーおよび/または多層ポリマーフィルムのポリマー組成物を含む、またはこれで構成されている任意の物体を指す。

【0018】

本明細書で使用されるとき、「画分」は、有機および/または無機の元素または分子、ポリマータイプ、プラスチックタイプ、ポリマー組成、プラスチックの化学シグネチャ、プラスチック片の物理的特性(たとえば、色、透明度、強度、融点、密度、形状、大きさ、製造タイプ、均一性、刺激に対する反応など)などの任意の指定された組み合わせを指し、本明細書に開示されるプラスチックのさまざまな分類およびタイプのありとあらゆるものを含む。画分の非限定的な例は、LDPEと比較的高い割合のアルミニウム、LDPEおよびPPと比較的低い割合の鉄、PPと亜鉛、PE、PET、およびHDPEの組み合わせ、赤色のLDPEプラスチック片の任意のタイプ、PVCを除くプラスチック片の任意の組み合わせ、黒色のプラスチック片、有機および無機分子の指定された組み合わせを含む#3～#7タイプのプラスチックの組み合わせ、1つまたは複数の異なるタイプの多層ポリマーフィルムの組み合わせ、指定された汚染物質または添加物を含まない指定されたプラスチックの組み合わせ、指定された閾値より大きな融点を持つ任意のタイプのプラスチック、複数の指定されたタイプの任意の熱硬化性プラスチック、塩素を含まない指定されたプラスチック、同様の密度を有するプラスチックの組み合わせ、同様の極性を有するプラスチックの組み合わせ、キャップが付いていないプラスチックボトルまたはその逆、を含む1つまたは複数の異なるタイプのプラスチック片である。

【0019】

本明細書で使用されるとき、「所定の」という用語は、たとえば本開示の実施形態のユーザによって事前に確立または決定されたものを指す。

【0020】

本明細書で使用されるとき、「スペクトルイメージング」は、電磁スペクトルにわたる複数の帯域を使用するイメージングである。一般的なカメラは、可視スペクトルにおける3つの波長帯域、赤、緑、および青(RGB)にわたる光で構成された画像を捕捉するが、スペクトルイメージングは、RGBを含んでこれを超えるさまざまな技術を包含する。たとえば、スペクトルイメージングは、赤外線、可視、紫外線、および/またはx線スペクトル、または上のいくつかの組み合わせを使用することができる。スペクトルデータ、またはスペクトル画像データは、スペクトル画像のデジタルデータ表現である。スペクトルイメージングは、可視および非可視帯域におけるスペクトルデータの同時取得、可視範囲の外側からの照明、または具体的なスペクトル範囲を捕捉するための光学フィルタの使用を含むことができる。スペクトル画像における各ピクセルについて数百の波長帯域を捕捉することも可能である。本明細書で使用されるとき、「画像データパケット」という用語は、個々の材料片の捕捉されたスペクトル画像に関連するデジタルデータのパケットを指す。

【0021】

本明細書で使用されるとき、「識別する」および「分類する」という用語、「識別」および「分類」という用語、および前述のものの任意の派生語を、互換的に利用することができる。本明細書で使用されるとき、材料片を「分類する」ことは、その材料片が属する材料のタイプまたはクラスを判定する(すなわち、識別する)ことである。たとえば、本開示のいくつかの実施形態によれば、センサシステム(本明細書でさらに説明するような)を、材料を分類し、このような分類された材料を他の材料と区別するための任意の種類の情報を収集および分析するように構成することができ、その分類は、色、質感、色相、形状、明るさ、重量、密度、化学組成、大きさ、均一性、製造タイプ、化学シグネチャ、所定の画分、放射性シグネチャ、光、音、または他の信号に対する透過率、および材料片の放出および/または反射された電磁放射(「EM」)を含む、さまざまな場のような刺激に対する反応を含むがこれらに限定されない、1つまたは複数の物理的および/または化学的特性(たとえば、これらはユーザ定義であってもよい)のセットに応じて材料片を選択的に分離する分離装置内で利用することができる。

【0022】

材料のタイプまたはクラス(すなわち、分類)は、ユーザ定義可能(たとえば、所定)とすることができ、材料の任意の既知の分類に限定されない。これらのタイプまたはクラスの粒度は非常に粗いものから非常に細かいものまでの範囲とすることができる。たとえば、これらのタイプまたはクラスは、粒度が比較的粗い、プラスチック、セラミック、ガラス、金属、および他の材料、粒度がより細かい、たとえば、亜鉛、銅、真鍮、クロムメッキ、およびアルミニウムのような、異なる金属および金属合金、または粒度が比較的細かい、具体的なタイプの金属合金の間を含むことができる。したがって、これらのタイプまたはクラスは、たとえば、プラスチックおよび金属合金のような大きく異なる化学組成の材料の間を区別するように、または、たとえば、異なるタイプの金属合金のようなほぼ同一の化学組成の材料の間を区別するように構成することができる。本明細書で議論する方法およびシステムは、分類される前に化学組成がまったく未知である材料片を正確に識別/分類するために適用することができるということが理解されるべきである。

【0023】

本明細書で使用されるとき、「製造タイプ」は、鍛造プロセスによって形成された、鋳造された(消耗型鋳造、永久型鋳造、および粉末冶金を含むが、これらに限定されない)、鍛造された金属部品のような、材料片が製造された製造プロセス、材料除去プロセスなどのタイプを指す。

【0024】

本明細書で使用されるとき、複数の材料片の異種混合物は、1つまたは複数の他の材料片とは異なる化学組成を有する少なくとも1つの材料片を含み、および/またはこの異種混合物内の少なくとも1つの材料片は他の材料片と物理的に区別可能であり、および/またはこの異種混合物内の少なくとも1つの材料片は、混合物内の他の材料片とは異なるクラスまたはタイプの材料であり、これらの装置および方法は、この材料片をそのような他の材料片とは別の群へと識別/分類/区別/分離するように構成されている。対照的に、均質な組または群の材料はすべて同じ識別可能なクラスまたはタイプの材料内に入る。

【0025】

本開示の実施形態を、ユーザ定義または所定のグループ分け(たとえば、材料タイプの分類)に応じて、材料片(たとえば、異なる金属合金)を別々の山、堆積、容器、またはビンに物理的に分離することによって、材料片をそのような別々の群に分離するものとして本明細書で説明することができる。一例として、本開示のいくつかの実施形態内で、他の材料片(たとえば、これらは材料の異なるクラスまたはタイプに属すると分類されている)と区別可能である材料の特定のクラスまたはタイプに属すると分類された材料片を分離するため、材料片を別々の山または容器に分離することができる。

【0026】

分離されるべき材料は不規則な大きさおよび形状を有し得ることが留意されるべきである。たとえば、このような材料は、これらの材料をこのような不規則な形状および大きさの破片に切り刻む(スクラップ片を生成する)何らかの種類の細断機構を以前に通っている可能性がある。

【0027】

異なる鋼合金の分離に関して本開示の実施形態を説明するが、本開示はこのように限定されず、たとえば倉庫内またはスクラップヤードにおいて、群、山、または堆積に収集することができる任意のクラス/タイプの材料の識別および/または分離に適用可能である。「合金鋼」および「鋼合金」という用語は、炭素に加えて他の合金元素が添加された鋼を指す。一般的な合金元素は、マンガン(Mn)、ニッケル(Ni)、クロム(Cr)、モリブデン(Mo)、バナジウム(V)、ケイ素(Si)、およびホウ素(B)を含む。あまり一般的ではない合金元素は、アルミニウム(Al)、コバルト(Co)、銅(Cu)、セリウム(Ce)、ニオブ(Nb)、チタン(Ti)、タングステン(W)、スズ(Sn)、亜鉛(Zn)、鉛(Pb)、およびジルコニウム(Zr)を含む。

【0028】

たとえば、図4は、各山に異なるタイプの鋼合金スクラップ片の混合物のN(N>1)個の山401…403を含む例示的なスクラップヤード400を描いている。本開示の非限定的な利点は、大きな金属片を、これらがはるかに小さな破片に細断される前に分離することであり、これにより、金属合金のこのような混合物が、その多くが廃棄される、または実質的に失われて効果的にリサイクルされないようなはるかに小さな寸法に細断される可能性がある、はるかに小さな破片に細断される前に、金属合金を分離することが可能になり得る。このような大きな金属片は、エンジンブロックまたはエンジンブロックの大きな部分、鋼梁などと同じくらいの大きさであることもある。

【0029】

ここで図6を参照すると、スクラップヤード(たとえば、図4を参照)における金属スクラップ片のような、1つまたは複数の山へと収集された材料片を分類/識別および/または分離するための本開示の実施形態にしたがって構成された装置600の簡略図が示されている。本開示の実施形態を説明するという目的のため、材料片は異なる化学組成のさまざまな金属(たとえば、鋼)合金片である。図6は、金属合金の山605で示される金属合金片の山に収集された金属合金片を描いており、異なる金属合金片が金属合金の山605内でランダムに混合されている可能性がある。金属合金の山605は、図4に描かれているように、倉庫内またはスクラップヤードに配置することができる。

【0030】

金属合金の山605にある金属合金片の画像および/または動画を捕捉するため、山605の近傍内にカメラ610を(たとえば、建物の柱または壁に)取り付けることができる。カメラ610は、図1に関して本明細書で説明するカメラ109と同様であってもよい。カメラ610によって収集された画像データは、有線または無線の伝送を含む、任意の適切な手段によってコンピュータシステム612に送信することができる。コンピュータシステム612は、図1に関して本明細書で説明するビジョンシステム110と同様のビジョンシステムを含むことができる。コンピュータシステム612は、山605にある金属合金片(または、他の金属合金片の下に隠れているために露出させるまで視覚化することができない金属合金片があり得るため、少なくともカメラ610で視覚化することができる金属合金片)のそれぞれの互いに対する場所を判定するため、そして次いで、金属合金片のどれが金属合金分類の1つまたは複数に属するかを分類/識別するため、図3に関して本明細書で説明するシステムおよびプロセス300にしたがって画像データを処理するように構成することができる。

【0031】

この場所および分類情報を次いでコントローラ614に送信することができ、これは、分類された金属合金片のそれぞれを把持/収集して山605から除去し、次いで任意選択でこれらを異なる金属合金の山601、602、および603に分離する分離デバイス620の動作を制御する。分離デバイス620は、ある金属合金分類に属するとビジョンシステムによって識別された山605にある特定の金属合金片を自動的に選択し、任意の適切な手段によってその特定の金属合金片を物理的に把持または採取してそれを山605から除去するようにコントローラ614によって制御され得る任意の適切なロボットアームマニピュレータを含むことができる。分離デバイス620は、それを所定の場所(たとえば、金属合金の山601、602、または603の1つ)に堆積させるように構成することもできる。ロボットアームの一例が、K. Alipourら、「Point to-Point Stable Motion Planning of Wheeled Mobile Robots with Multiple Arms for Heavy Object Manipulation」、2011 IEEE International Conference on Robotics and Automation、6162頁～6167頁、2011年5月9日～13日に開示されており、これをここで参照により本明細書に組み込む。本開示の実施形態内で使用され得る他のロボットマニピュレータが当該技術においてよく知られている。あるいは、この把持具は、識別された破片を物理的に採取するための大きな磁石であってもよい。

【0032】

装置600は、特定の分類の金属合金を山605から除去するように、または1つまたは複数の分類の金属合金片を除くすべてを山605から除去するように構成することができる。あるいは、装置600は、1つまたは複数の特定の分類の金属合金片を山605から除去し、それらを1つまたは複数の他の場所、たとえば1つまたは複数の容器またはビン、または1つまたは複数の他の山(たとえば、山601、602、603の1つまたは複数)に配置するように構成することができる。

【0033】

本明細書でさらに説明するように、ビジョンシステムが、捕捉された画像からの画像データを使用して、異なる鋼合金を分類/識別することが可能になるよう、本明細書で開示されるようなさまざまな適切な技術にしたがってビジョンシステムの訓練を実行することができる。

【0034】

本開示のいくつかの実施形態によれば、カメラ610は、山605内の材料片の画像を捕捉または取得するための1つまたは複数のデバイスで構成することができる。これらのデバイスは、可視光、赤外線(IR)光、紫外線(UV)光を含むが、これらに限定されない、材料片によって照射または反射される任意の所望の波長範囲を捕捉または取得するように構成することができる。たとえば、カメラ610は、材料片の画像が捕捉される(たとえば、画像データとして)ように山605の近く(たとえば、上方)に配置された1つまたは複数のカメラ(静止画および/または動画、これらのいずれも、2次元、3次元、および/またはホログラフィック画像を捕捉するように構成することができる)で構成することができる。あるいは、カメラ610は、いくつかの破片を照らすための1つまたは複数のレーザ光と、照らされた破片の画像を次いで捕捉するためのカメラと、を含むことができる。たとえば、いくつかのタイプのプラスチックをいくつかの波長の光で照らして、これらを他のタイプのプラスチックと区別することができる。

【0035】

材料片の感知された特性/捕捉された情報のタイプに関係なく、材料片のそれぞれを識別および/または分類するため、この情報を次いでコンピュータシステム612に送信して(たとえば、ビジョンシステムおよびAIシステムによって)処理することができる。AIシステムは、任意のよく知られているAIシステム(たとえば、人工狭義知能(「ANI」)、人工汎用知能(「AGI」)、および人工超知能(「ASI」))、ニューラルネットワーク(たとえば、人工ニューラルネットワーク、ディープニューラルネットワーク、畳み込みニューラルネットワーク、リカレントニューラルネットワーク、オートエンコーダ、強化学習など)を実装するものを含む機械学習システム、教師あり学習、教師なし学習、半教師あり学習、強化学習、自己学習、特徴学習、スパース辞書学習、異常検出、ロボット学習、相関ルール学習、ファジーロジック、ディープラーニングアルゴリズム、ディープ構造化学習階層学習アルゴリズム、サポートベクターマシン(「SVM」)(たとえば、線形SVM、非線形SVM、SVM回帰など)、決定木学習(たとえば、分類および回帰木(「CART」))、アンサンブルメソッド(たとえば、アンサンブル学習、ランダムフォレスト、バギングおよびペースト、パッチおよびサブスペース、ブースティング、スタッキングなど)、次元削減(たとえば、射影、マニフォールド学習、主成分分析など)、および/またはディープ機械学習アルゴリズム、たとえば、ここで参照により本明細書に組み込む、deeplearning.netのウェブサイトに記載されて公共に利用可能なもの(このウェブサイト内で参照されているすべてのソフトウェア、出版物、および利用可能なソフトウェアへのハイパーリンクを含む)を実装する機械学習システムを実装することができる。本開示の実施形態内で利用され得る公共に利用可能な機械学習ソフトウェアおよびライブラリの非限定的な例は、Python、OpenCV、Inception、Theano、Torch、PyTorch、Pylearn2、Numpy、Blocks、TensorFlow、MXNet、Caffe、Lasagne、Keras、Chainer、Matlab Deep Learning、CNTK、MatConvNet(コンピュータビジョンアプリケーション用の畳み込みニューラルネットワークを実装するMATLABツールボックス)、DeepLearnToolbox(Deep Learning(Rasmus Berg Palmからの)用のMatlabツールボックス)、BigDL、Cuda-Convnet(畳み込み(またはより一般的には、フィードフォワード)ニューラルネットワークの高速C++/CUDA実装)、Deep Belief Networks、RNNLM、RNNLIB-RNNLIB、matrbm、deeplearning4j、Eblearn.lsh、deepmat、MShadow、Matplotlib、SciPy、CXXNET、Nengo-Nengo、Eblearn、cudamat、Gnumpy、3元因子RBMおよびmcRBM、mPoT(CUDAMatおよびGnumpyを使用して自然画像のモデルを訓練するPythonコード)、ConvNet、Elektronn、OpenNN、NeuralDesigner、Theano Generalized Hebbian Learning、Apache Singa、Lightnet、およびSimpleDNNを含む。

【0036】

本開示のいくつかの実施形態によれば、いくつかのタイプの機械学習は2段階で実行することができる。たとえば、まず、訓練が行われ、これはオフラインで実行することができ、システム100は、材料片の実際の分類/選別を実行するために利用されていない。システム100は、材料片の同質セット(本明細書では制御サンプルとも呼ばれる)(すなわち、同じタイプまたはクラスの材料を有するか、または同じ所定の画分内に入る)がシステム100を(たとえば、コンベヤシステム103によって)通過し、共通の容器(たとえば、容器140)に収集され得ることで、機械学習システムを訓練するために利用することができる。あるいは、訓練は、材料片の制御セットの感知情報(特性)を収集するための何らかの他の機構を使用することを含むことができる。この訓練段階中、機械学習システム内のアルゴリズムが、捕捉された情報から特徴を抽出する(たとえば、当該技術においてよく知られている画像処理技術を使用して)。訓練アルゴリズムの非限定的な例は、線形回帰、勾配降下法、フィードフォワード、多項式回帰、学習曲線、正規化学習モデル、およびロジスティック回帰を含むが、これらに限定されない。機械学習システム内のアルゴリズムが材料とその特徴/特性(たとえば、ビジョンシステムおよび/またはセンサシステムによって捕捉されたもの)との間の関係を学習し、所望の分類によって次いで分離することができる、材料片の異種混合物を後に分類する(たとえば、装置600によって)ための知識ベースを作成するのは、この訓練段階である。このような知識ベースは1つまたは複数のライブラリを含むことができ、各ライブラリは、機械学習システムが材料片を分類する際に利用するためのパラメータ(たとえば、ニューラルネットワークパラメータ)を含む。たとえば、1つの特定のライブラリは、特定のタイプまたはクラスの材料、または所定の画分に入る1つまたは複数の材料を認識および分類するように訓練段階によって構成されたパラメータを含むことができる。本開示のいくつかの実施形態によれば、このようなライブラリをコンピュータシステム612に入力することができ、次いで装置600のユーザは、装置600の動作を調整するためにパラメータのいくつかのものを調整することが可能になり得る(たとえば、機械学習システムが山605内の特定の材料片をどの程度認識するかの閾値の有効性を調整する)。

【0037】

加えて、材料片に特定の材料を含む結果、材料に識別可能な物理的特徴(たとえば、視覚的に区別可能な特性)が生じる。結果として、このような特定の組成を含む複数の材料片が前述の訓練段階を通されると、機械学習システムは、このような材料片を他とどのように区別するかを学習することができる。したがって、本開示のいくつかの実施形態にしたがって構成された機械学習システムは、そのそれぞれの材料/化学組成に応じて材料片の間を区別するように構成することができる。たとえば、このような機械学習システムは、特定の元素を含む材料片を、材料片内に含まれるその元素の割合(たとえば、重量または体積の割合)に応じて分類/識別することができるように構成することができる。

【0038】

図2に描かれているように、訓練段階中、本明細書で1つまたは複数の制御サンプルのセットと呼ぶことができる、具体的なクラスまたはタイプの材料の1つまたは複数の材料片201の例が、ビジョンシステムを通過して(たとえば、コンベヤシステム203によって)運ばれ、機械学習システム内の1つまたは複数のアルゴリズムが、このようなタイプまたはクラスの材料を表す特性または特徴を検出、抽出、および学習するようになっている。材料片201は、本明細書で開示されている「材料」のいずれか(たとえば、山605内に存在することになるものを表す金属合金片)であり得ることに留意されたい。

【0039】

たとえば、材料片201のそれぞれは1つまたは複数の特定のタイプまたはクラスの金属合金を表すことができ、これらは、機械学習システム内の1つまたは複数のアルゴリズムが、このような材料片をどのように検出、認識、および分類するかを「学習」(訓練)するように、このような訓練段階に通される。ビジョンシステム(たとえば、ビジョンシステム110)を訓練する場合、材料片の間を視覚的に識別(区別)するように訓練される。これにより、このような均質なクラスの材料片に固有のパラメータのライブラリが作成される。同じプロセスを任意の分類の材料片の画像に関して実行して、このような分類の材料片に固有のパラメータのライブラリを作成することができる。ビジョンシステムによって分類されるべき各タイプの材料について、材料のその分類の任意の数の例示的な材料片をビジョンシステムに通すことができる。捕捉された感知情報が入力データとして与えられると、機械学習システム内のアルゴリズムはN個の分類器を使用することができ、これらのそれぞれがN個の異なる材料タイプの1つをテストする。本明細書で開示されている材料のタイプ、クラス、または画分のいずれかを含む、材料の任意のタイプ、クラス、または画分を検出するように、機械学習システムを「教育」(訓練)することができるということに留意されたい。

【0040】

アルゴリズムが確立され、機械学習システムが材料分類のための違い(たとえば、ユーザ定義の統計的信頼レベル内での)を十分に学習した後、異なる材料についてのパラメータのライブラリを次いで、材料片の混合物(たとえば、山605内の)から材料片を識別および/または分類し、次いであるいはこのような分類された材料片を図6に関して説明したようにできる限り分離するために使用されるべき材料分類および/または分離システム(たとえば、装置600)に実装することができる。

【0041】

機械学習システムを構築、最適化、および利用する技術は、関連文献に見られるように当業者には知られている。このような文献の例は、Krizhevskyら、「ImageNet Classification with Deep Convolutional Networks」、Proceedings of the 25th International Conference on Neural Information Processing Systems、2012年12月3日～6日、ネバダ州レイクタホ、およびLeCunら、「Gradient-Based Learning Applied to Document Recognition」、Proceedings of the IEEE, Institute of Electrical and Electronic Engineers (IEEE)、1998年11月の出版物を含み、これらの両方をここで、その全体を参照により本明細書に組み込む。

【0042】

本開示は機械学習技術に排他的に限定されるわけではないことが理解されるべきである。材料分類/識別のための他の技術も使用することができる。たとえば、ビジョンシステムは、カメラ610のためのマルチまたはハイパースペクトルカメラを使用した光学分光技術を利用して、材料のスペクトル放出を調べることによって、ある種類の材料(たとえば、1つまたは複数の特定の要素を含む)の有無を示すことができる信号を提供することができる。材料片の写真をテンプレートマッチングアルゴリズムにおいて使用することもでき、取得された画像と画像のデータベースを比較して、そのデータベースから特定のタイプの材料の有無を見つける。捕捉された画像のヒストグラムをヒストグラムのデータベースと比較することもできる。同様に、スケール不変特徴変換(「SIFT」)のような特徴抽出技術とともにバッグオブワードモデルを使用して、捕捉された画像とデータベース内のものとの間で抽出された特徴を比較することができる。本開示のいくつかの実施形態によれば、材料片の制御サンプルをビジョンシステムに通す訓練段階を利用する代わりに、ラベル付け/注釈付け技術(または任意の他の教師あり学習技術)を利用して機械学習システムの訓練を実行することができ、これによって、材料片のデータ/情報がビジョンシステムによって捕捉されると、ユーザが、各材料片を識別するラベルまたは注釈を入力し、これを次いで使用して、材料片の異種混合物(たとえば、山605)内の材料片を分類するときに機械学習システムによって使用されるライブラリを作成する。換言すれば、あるクラスの材料の1つまたは複数のサンプルから捕捉された特性の以前に生成された知識ベースを、本明細書に開示される技術のいずれかによって達成することができ、このような知識ベースを次いで利用して材料を自動的に分類する。

【0043】

したがって、本明細書に開示されるように、本開示のいくつかの実施形態は、山605にある材料片を互いに分離するために1つまたは複数の異なる材料の識別/分類を提供する。いくつかの実施形態によれば、機械学習技術を利用してニューラルネットワークを訓練(すなわち、構成)し、さまざまな1つまたは複数の異なるクラスまたはタイプの材料を識別することができる。

【0044】

ここで言及する1つの点は、本開示のいくつかの実施形態によれば、材料片の収集/捕捉/検出/抽出された特徴/特性は、必ずしも単に特に識別可能な物理的特性であるとは限らないということであり、これらは、数学的にのみ表現することができる、またはまったく数学的に表現することができない抽象的な定式であり得る。それにもかかわらず、機械学習システムは、訓練段階中に制御サンプルを分類することが可能になるパターンを探すためにデータのすべてを解析するように構成することができる。さらに、機械学習システムは、材料片の捕捉された情報のサブセクションを取得し、事前定義された分類間の相関関係を見つけようと試みることができる。

【0045】

当業者は、本明細書で説明する機械学習システムをマシンビジョン装置またはシステムと区別することができるであろうということが留意されるべきである。この用語は業界において以前から使用されているため、電子マシンビジョン装置は一般的には、特にロボットタイプの自動加工、組み立ておよび検査装置と併せて使用される。加工、組み立て、読み取り、表示、または検査されている物体を観察するため、テレビカメラが一般的に使用され、カメラによって受信および送信される信号を標準信号またはデータベースと比較して、画像化された物品が適切に加工、仕上げ、配向、組み立て、決定されているかどうかなどを判定することができる。マシンビジョン装置が検査および欠陥検出用途において広く使用されており、ハードおよびソフトグッズの両方における不一致および不完全を迅速に確認し、調整または拒否を即座に実行することができる。マシンビジョン装置は、カメラによって生成された信号を、適切な寸法、外観、配向などを示す所定の信号と比較することによって、異常を検出する。国際公開特許出願第WO 99/2248号を参照、これをここで参照により本明細書に組み込む。それにもかかわらず、マシンビジョンシステムは、アルゴリズムを通して捕捉された情報のさらなる処理を含むであろういかなる種類のさらなるデータ処理(たとえば、画像処理)も実行しない。Wikipediaにおけるマシンビジョンの定義を参照、これをここで参照により本明細書に組み込む。したがって、マシンビジョン装置またはシステムが、機械学習アルゴリズムのような、いかなる種類のアルゴリズムも含まないことは、容易に理解することができる。代わりに、マシンビジョンシステムは本質的にパーツの画像を画像のテンプレートと比較する。

【0046】

図3は、本開示のいくつかの実施形態にしたがってビジョンシステムを利用して材料片を分類/識別および次いで分離するためのプロセス300の例示的な実施形態を示すフローチャート図を示す。プロセス300は、図1のシステム100および図6の装置600を含む、本明細書に記載の本開示の実施形態のいずれか内で動作するように構成することができる。たとえば、プロセス300は、本明細書に記載するように機械学習システムを訓練するためにシステム100において利用することができる。このような場合、プロセスブロック302、306、312、および/または313を利用しなくてもよい。さらに、プロセス300は、本明細書に記載するように山605から材料片を除去/分離するために装置600において利用することができる。このような場合、プロセスブロック306を利用しなくてもよい。

【0047】

プロセス300の動作は、システム(たとえば、コンピュータシステム107、ビジョンシステム110、および/またはコンピュータシステム612内に実装されたビジョンシステム)を制御するコンピュータシステム(たとえば、図5のコンピュータシステム3400)内を含む、ハードウェアおよび/またはソフトウェアによって実行することができる。プロセスブロック301において、材料片の画像がカメラ(たとえば、カメラ109、カメラ610)で撮影される。プロセスブロック302において、分類/識別されるべき各材料片の場所を識別するため、各材料片の山605における場所がビジョンシステムによって検出される。プロセスブロック303において、材料片の感知情報/特性がビジョンシステムによって画像から捕捉/取得される。プロセスブロック304において、先に開示されたようなビジョンシステム(たとえば、ビジョンシステム110、またはコンピュータシステム612内に実装されているもの)が、捕捉された情報の前処理を実行することができ、これを利用して材料片のそれぞれを(たとえば、背景(たとえば、山605にある他の材料片)から)検出(抽出)することができ、換言すれば、前処理を利用して材料片と背景との間の違いを識別することができる。膨張、閾値設定、および輪郭設定のようなよく知られた画像処理技術を利用して、材料片を背景とは別個のものとして識別することができる。プロセスブロック305において、セグメンテーションを実行することができる。たとえば、捕捉された情報は、1つまたは複数の材料片に関する情報を含むことができる。したがって、このような場合、個々の材料片の画像を画像の背景から隔離することが望まれ得る。プロセスブロック305のための例示的な技術において、最初のステップは、画像の高コントラストを適用することであり、このように、背景ピクセルが実質的にすべて黒のピクセルに縮小され、材料片に関するピクセルの少なくともいくつかが実質的にすべて白のピクセルに明るくされる。白い材料片の画像ピクセルを次いで、材料片の大きさ全体をカバーするように膨張させる。このステップの後、材料片の場所は黒い背景上のすべて白いピクセルの高コントラスト画像である。次いで、輪郭アルゴリズムを利用して材料片の境界を検出することができる。境界情報は保存され、境界場所は次いで元の画像に転送される。次いで、元の画像に対して、先に定義された境界より大きい領域上でセグメンテーションが実行される。このように、材料片が識別され、背景から分離される。本開示の実施形態によれば、プロセスブロック305は、マスクR-CNNのような画像セグメンテーションプロセスを実装することができる。

【0048】

任意選択のプロセスブロック306において、材料片の大きさおよび/または形状を判定することができる。プロセスブロック307において、後処理を実行することができる。後処理は、捕捉された情報/データをリサイズして、ニューラルネットワークにおいて使用するために準備することを伴い得る。これは、材料片を分類する機械学習システムの能力を強化することになるようにいくつかのプロパティを修正する(たとえば、画像コントラストを強化する、画像背景を変更する、またはフィルタを適用する)ことも含むことができる。プロセスブロック309において、データをリサイズすることができる。ニューラルネットワークのような、いくつかの機械学習システムのためのデータ入力要件に一致するように、いくつかの状況下でデータリサイジングが望まれることがある。たとえば、ニューラルネットワークには、典型的なデジタルカメラによって捕捉された画像のサイズよりはるかに小さな画像サイズ(たとえば、225×255ピクセルまたは299×299ピクセル)が要求されることがある。また、入力データのサイズが小さくなるほど、分類を実行するために必要とされる処理時間が少なくなる。

【0049】

プロセスブロック310および311において、各材料片について、感知/検出された特徴に基づいて材料のタイプまたはクラスが識別/分類される。たとえば、プロセスブロック310は、1つまたは複数の機械学習アルゴリズムを使用するニューラルネットワークで構成され、これらは、訓練段階中に生成された知識ベースに格納されているものと抽出された特徴を比較し、このような比較に基づいて材料片のそれぞれに最も一致する分類を割り当てる。機械学習システムのアルゴリズムは、自動的に訓練されたフィルタを使用することによって、捕捉された情報/データを階層的に処理することができる。フィルタ応答は次いで、最終ステップで確率が得られるまで、アルゴリズムの次のレベルにおいて正常に結合される。プロセスブロック311において、これらの確率をN個の分類のそれぞれに使用することができる(たとえば、それぞれの材料片をN個の別々の山601…603のどれに分類すべきかを決定するため)。たとえば、N個の分類のそれぞれを山601…603の1つに割り当てることができ、検討中の材料片を山605から削除し、事前定義された閾値より大きい最も高い確率を返す分類に対応する山へと配置する。本開示の実施形態中、このような事前定義された閾値をユーザによって事前設定することができる。確率のいずれも事前定義された閾値より大きくなければ、特定の材料片を外れ値の山へと選別することができる。

【0050】

次に、プロセスブロック312において、コントローラ614を介して分離デバイス620を作動させて、分類/識別された材料片を採取または把持し、山605から除去する。プロセスブロック313において、分離デバイス620は次いで、分類/識別された材料片を山601…603の適切な1つへと配置することができる。

【0051】

ビジョンシステムは、材料片がスクラップヤードにあった期間の違い、材料片上の汚れの量、気象条件の違い(たとえば、雪、雨、日光)、化学薬品/洗剤と混合された水が散布された材料片とされていない材料片、および異なるソースから得られた材料片のような、材料片の画像が得られる異なる環境条件を補償するように調整することができる。

【0052】

図1は材料取り扱いシステム100の一例を示しており、これは、異なる金属合金のような、異なるタイプ/クラスの材料を分類/識別するようにコンピュータ612内に実装される機械学習システムを訓練するように本開示のさまざまな実施形態にしたがって構成することができる。

【0053】

システム100を通して個々の(すなわち、物理的に分離可能な)材料片101を搬送するようにコンベヤシステム103を実装することができ、個々の材料片101のそれぞれを所定の所望の群に分類することができるようになっている。このようなコンベヤシステム103は、材料片101が通常所定の一定速度で移動する1つまたは複数のコンベヤベルト(たとえば、コンベヤベルト102、103)で実装することができる。しかしながら、本開示のいくつかの実施形態は他のタイプのコンベヤシステムで実装することができる。

【0054】

コンベヤベルト103は、コンベヤベルト103を所定の速度で移動させるのに適した従来の駆動モータ104を使用する従来のエンドレスベルトコンベヤとすることができる。本開示のいくつかの実施形態によれば、何らかの種類の適切なフィーダ機構を利用して材料片101をコンベヤベルト103上へ供給することができ、これによってコンベヤベルト103はシステム100内のさまざまな構成要素を通過させて材料片101を搬送する。本開示のいくつかの実施形態内で、コンベヤベルト103は、コンベヤベルトモータ104によって所定の速度で移動するように動作させる。ベルト速度検出器105(たとえば、従来のエンコーダ)をコンベヤベルト103に動作的に結合して、コンベヤベルト103の動き(たとえば、速度)に対応する情報を提供することができる。

【0055】

本開示のいくつかの実施形態によれば、材料片101がコンベヤベルト103によって受け取られた後、タンブラおよび/またはバイブレータを利用して、材料片の集合から個々の材料片を分離し、次いでこれらを1つまたは複数の単一化された(すなわち、一列に並んだ)流れに配置することができる。本開示の代替の実施形態によれば、材料片を1つまたは複数の単一化された(すなわち、一列に並んだ)流れに配置することができ、これは能動的または受動的シンギュレータ106によって実行することができる。受動的シンギュレータの一例が米国特許第10,207,296号にさらに説明されている。先に議論したように、シンギュレータの組み込みまたは使用は要求されない。代わりに、コンベヤシステム(たとえば、コンベヤベルト103)は単に、コンベヤベルト103上へ配置された材料片の集合をランダムに搬送するだけでよい。

【0056】

ビジョンシステム110は、1つまたは複数の静止またはライブ動作カメラ109を利用して材料片101のそれぞれについての情報を収集または捕捉することができる。たとえば、ビジョンシステム110は、材料片101の色、色相、大きさ、形状、質感、全体的な物理的外観、均一性、組成、および/または製造タイプを含むが、これらに限定されない、1つまたは複数の(ユーザ定義の)物理的特性のセットに応じて材料片101を選択的に分類するためにシステム100内で利用することができる任意のタイプの情報を収集または捕捉するように(たとえば、機械学習システムで)構成することができる。ビジョンシステム110は、たとえば、典型的なデジタルカメラおよびビデオ機器において利用されるような光学センサを使用することによって、材料片101のそれぞれの画像(1次元、2次元、3次元、またはホログラフィックイメージングを含む)を捕捉する。光学センサによって捕捉されたこのような画像は次いで画像データとしてメモリデバイスに格納される。本開示の特定の実施形態によれば、このような画像データは、光の光学波長(すなわち、一般的な人間の目によって観察可能である光の波長)内で捕捉された画像を表す。しかしながら、本開示の代替の実施形態では、一般的な人間の目の可視波長の外側の光の波長で構成された材料の画像を捕捉することができるセンサを利用することができる。この捕捉された画像データを次いで利用して材料片の制御セットを分類し、装置600によって分離されるべき異なるタイプの各材料について機械学習システムを(本明細書で説明するように)訓練するようにする。

【0057】

ここで図5を参照すると、本開示の実施形態の態様を実装することができるデータ処理(「コンピュータ」)システム3400を示すブロック図が描かれている。(「コンピュータ」、「システム」、「コンピュータシステム」、および「データ処理システム」という用語は、本明細書で互換的に使用することができる。)コンピュータシステム107、コンピュータシステム612、および/またはビジョンシステム110は、コンピュータシステム3400と同様に構成することができる。コンピュータシステム3400はローカルバス3405(たとえば、周辺コンポーネント相互接続(「PCI」)ローカルバスアーキテクチャ)を使用することができる。とりわけ、アクセラレーテッドグラフィックスポート(「AGP」)および業界標準アーキテクチャ(「ISA」)のような任意の適切なバスアーキテクチャを利用することができる。1つまたは複数のプロセッサ3415、揮発性メモリ3420、および不揮発性メモリ3435を、ローカルバス3405(たとえば、PCIブリッジ(図示せず)を通して)に接続することができる。統合メモリコントローラおよびキャッシュメモリを1つまたは複数のプロセッサ3415に結合することができる。1つまたは複数のプロセッサ3415は1つまたは複数の中央処理装置および/または1つまたは複数のグラフィックス処理装置および/または1つまたは複数のテンソル処理装置を含むことができる。直接コンポーネント相互接続を通して、またはアドインボードを通して、ローカルバス3405への追加の接続を行うことができる。図示の例において、通信(たとえば、ネットワーク(LAN))アダプタ3425、I/O(たとえば、小型コンピュータシステムインターフェイス(「SCSI」)ホストバス)アダプタ3430、および拡張バスインターフェイス(図示せず)を、直接コンポーネント接続によってローカルバス3405に接続することができる。オーディオアダプタ(図示せず)、グラフィックスアダプタ(図示せず)、およびディスプレイアダプタ3416(ディスプレイ3440に結合される)を、ローカルバス3405に(たとえば、拡張スロット内へ挿入されたアドインボードによって)接続することができる。

【0058】

ユーザインターフェイスアダプタ3412は、キーボード3413およびマウス3414、モデム/ルータ(図示せず)、および追加メモリ(図示せず)のための接続を提供することができる。I/Oアダプタ3430は、ハードディスクドライブ3431、テープドライブ3432、およびCD-ROMドライブ(図示せず)のための接続を提供することができる。

【0059】

1つまたは複数のオペレーティングシステムを1つまたは複数のプロセッサ3415上で実行させ、コンピュータシステム3400内のさまざまなコンポーネントの制御を調整および提供するために使用することができる。図5において、オペレーティングシステムは市販のオペレーティングシステムとすることができる。オブジェクト指向プログラミングシステム(たとえば、Java、Pythonなど)がオペレーティングシステムと連動して動き、システム3400上で実行されているプログラム(たとえば、Java、Pythonなど)からオペレーティングシステムへの呼び出しを提供することができる。オペレーティングシステム、オブジェクト指向オペレーティングシステム、およびプログラムのための命令を、ハードディスクドライブ3431のような不揮発性メモリ3435ストレージデバイス上に配置し、プロセッサ3415が実行するために揮発性メモリ3420内へロードすることができる。

【0060】

当業者は、図5におけるハードウェアが実装形態に応じて異なり得ることを理解するであろう。フラッシュROM(または同等の不揮発性メモリ)または光ディスクドライブなどのような他の内部ハードウェアまたは周辺デバイスを、図5に示すハードウェアに加えて、またはこれの代わりに使用することができる。また、本開示のプロセスのいずれも、マルチプロセッサコンピュータシステムに適用することも、複数のそのようなシステム3400によって実行することもできる。たとえば、ビジョンシステム110の訓練を第1のコンピュータシステム3400によって実行することができる一方、分類するためのコンピュータシステム612の動作を第2のコンピュータシステム3400によって実行することができる。

【0061】

別の一例として、コンピュータシステム3400は、コンピュータシステム3400が何らかのタイプのネットワーク通信インターフェイスを含むか否かにかかわらず、何らかのタイプのネットワーク通信インターフェイスに依存することなく起動可能であるように構成されたスタンドアロンシステムとすることができる。さらなる一例として、コンピュータシステム3400を組み込みコントローラとすることができ、これは、オペレーティングシステムファイルまたはユーザ生成データを格納する不揮発性メモリを提供するROMおよび/またはフラッシュROMで構成されている。

【0062】

図5に示す例および上述の例は、アーキテクチャ上の限定を示唆するように意味されていない。さらに、本開示の態様のコンピュータプログラム形式は、コンピュータシステムによって使用される任意のコンピュータ読み取り可能な記憶媒体(すなわち、フロッピーディスク、コンパクトディスク、ハードディスク、テープ、ROM、RAMなど)に常駐することができる。

【0063】

本明細書で説明したように、本開示の実施形態は、材料片を識別、特定、分類、および/または分離するための、説明したさまざまな機能を実行するように実装することができる。このような機能性は、前述のコンピュータシステム107、ビジョンシステム110、および/またはコンピュータシステム612のような、1つまたは複数のデータ処理システム(たとえば、図5のデータ処理システム3400)内のような、ハードウェアおよび/またはソフトウェア内で実装することができる。ただし、本明細書で説明する機能性は、いかなる特定のハードウェア/ソフトウェアプラットフォームへの実装にも限定されるべきではない。

【0064】

当業者によって理解されるように、本開示の態様は、システム、プロセス、方法、プログラム製品、および/または装置として具体化することができる。したがって、本開示のさまざまな態様は、完全にハードウェアの実施形態、完全にソフトウェアの実施形態(ファームウェア、常駐ソフトウェア、マイクロコードなどを含む)、またはソフトウェアとハードウェアの態様を組み合わせた実施形態の形をとることができ、これらは一般に、本明細書で「回路」、「回路構成」、「モジュール」、または「システム」と呼ぶことができる。さらに、本開示の態様は、コンピュータ読み取り可能なプログラムコードが具体化された1つまたは複数のコンピュータ読み取り可能な記憶媒体に具体化されたプログラム製品の形をとることができる。(しかしながら、1つまたは複数のコンピュータ読み取り可能な媒体の任意の組み合わせを利用することができる。コンピュータ読み取り可能な媒体はコンピュータ読み取り可能な信号媒体またはコンピュータ読み取り可能な記憶媒体であってもよい。)

【0065】

図中のフローチャートおよびブロック図は、本開示のさまざまな実施形態によるシステム、方法、プロセス、プログラム製品、および装置の可能な実装形態のアーキテクチャ、機能性、および動作を示している。この点において、フローチャートまたはブロック図における各ブロックは、モジュール、セグメント、またはコードの一部を表すことができ、これは、指定された論理機能を実装するための1つまたは複数の実行可能なプログラム命令を含む。また、いくつかの実装形態において、ブロックに記された機能が、図に記されたものとは異なる順序で実行されることがあるということが留意されるべきである。たとえば、連続して示す2つのブロックが、実際には、実質的に同時に実行されることがあり、または、関連する機能性に応じて、これらのブロックが逆の順序で実行され得るときもある。

【0066】

さまざまなタイプのプロセッサ(たとえば、CPU3415)が実行するためにソフトウェアに実装されているモジュールは、たとえば、1つまたは複数の物理的または論理的なコンピュータ命令のブロックを含むことができ、これらは、たとえば、オブジェクト、手順、または関数として組織することができる。ただし、識別されたモジュールの実行可能ファイルは物理的に一緒に配置されている必要はなく、論理的に一緒に結合されると、モジュールを含み、モジュールのための指定された目的を達成する、異なる場所に格納された違う命令を含むことができる。実際、実行可能なコードのモジュールは、単一の命令、または多くの命令である可能性があり、いくつかの異なるコードセグメントにわたって、異なるプログラムの間で、およびいくつかのメモリデバイスを横切って分散している可能性もある。同様に、運用データ(たとえば、本明細書で説明する材料分類ライブラリ)は、本明細書においてモジュール内で識別および図示することができ、任意の適切な形式で具体化して任意の適切なタイプのデータ構造内で組織することができる。運用データは単一のデータセットとして収集することができ、または異なるストレージデバイスを含む異なる場所にわたって分散させることができる。データはシステムまたはネットワーク上で電子信号を提供することができる。

【0067】

これらのプログラム命令を、汎用コンピュータ、専用コンピュータ、または他のプログラム可能なデータ処理装置(たとえば、コントローラ)の1つまたは複数のプロセッサおよび/またはコントローラに提供してマシンを製造することができ、コンピュータまたは他のプログラム可能なデータ処理装置のプロセッサ(たとえば、CPU3415)を介して実行される命令により、フローチャートおよび/またはブロック図のブロックに指定された機能/動作を実装するための回路または手段が作成されるようになる。

【0068】

また、ブロック図および/またはフローチャート図の各ブロック、およびブロック図および/またはフローチャート図におけるブロックの組み合わせは、指定された機能または動作を実行する専用ハードウェアベースのシステム(たとえば、これは1つまたは複数のグラフィックス処理ユニットを含む)、または専用ハードウェアとコンピュータ命令の組み合わせによって実装することができるということが留意されよう。たとえば、カスタムVLSI回路またはゲートアレイ、既製の半導体、たとえばロジックチップ、トランジスタ、コントローラ、または他の個別部品を含むハードウェア回路として、モジュールを実装することができる。また、フィールドプログラマブルゲートアレイ、プログラマブルアレイロジック、プログラマブルロジックデバイスなどのようなプログラマブルハードウェアデバイスにおいてモジュールを実装することができる。

【0069】

本明細書の説明において、フローチャートの技術を一連の連続した動作で説明することができる。動作の順序、および動作を実行する要素は、本教示の範囲から逸脱することなく自由に変更することができる。いくつかの方法で動作を追加、削除、または変更することができる。同様に、これらの動作を並び替えるまたはループさせることができる。さらに、プロセス、方法、アルゴリズムなどを、連続した順序で説明することができるが、そのようなプロセス、方法、アルゴリズム、またはこれらの任意の組み合わせは、代替の順序で実行されるように動作可能であり得る。さらに、プロセス、方法、またはアルゴリズム内のいくつかの動作を、少なくともある時点の間で同時に実行することができ(たとえば、並行して実行される動作)、また、全体、一部、またはこれらの任意の組み合わせで実行することもできる。

【0070】

本明細書で、デバイスを「構成する」、または何らかの機能を実行する「ように構成された」デバイスに言及している。これは、事前定義されたロジックブロックを選択して論理的に関連付け、監視または制御機能を含む特定のロジック機能を提供することを含むことができるということが理解されるべきである。また、レトロフィットコントロールデバイスのコンピュータソフトウェアベースのロジックをプログラミングすること、個別ハードウェア部品を配線すること、または前述のいずれかまたはすべての組み合わせを含むことができる。このように構成されたデバイスは、指定された機能を実行するように物理的に設計されている。

【0071】

本明細書で説明されていない限り、具体的な材料、処理行為、および回路に関する多くの詳細は従来のものであり、コンピューティング、エレクトロニクス、およびソフトウェア技術内の教科書および他のソースで見つけることができる。

【0072】

本開示の態様のための動作を実行するためのコンピュータプログラムコード、すなわち、命令は、Java、Smalltalk、Python、C++などのようなオブジェクト指向プログラミング言語、「C」プログラミング言語もしくは同様のプログラミング言語のような従来の手続き型プログラミング言語、MATLABもしくはLabVIEWのようなプログラミング言語、または本明細書に開示されている機械学習ソフトウェアのいずれかを含む、1つまたは複数のプログラミング言語の任意の組み合わせで記述することができる。プログラムコードは、ユーザのコンピュータシステム上で完全に、ユーザのコンピュータシステム上で部分的に、スタンドアロンソフトウェアパッケージとして、ユーザのコンピュータシステム(たとえば、ソートに利用されるコンピュータシステム)上で部分的に、およびリモートコンピュータシステム(たとえば、機械学習システムを訓練するために利用されるコンピュータシステム)上で部分的に、またはリモートコンピュータシステムもしくはサーバ上で完全に実行することができる。後者のシナリオにおいて、リモートコンピュータシステムは、ローカルエリアネットワーク(「LAN」)またはワイドエリアネットワーク(「WAN」)を含む、任意のタイプのネットワークを通してユーザのコンピュータシステムに接続することができ、または外部コンピュータシステムへの接続(たとえば、インターネットサービスプロバイダを使用したインターネットを通して)を行うこともできる。前述の一例として、本開示のさまざまな態様は、コンピュータシステム107、ビジョンシステム110、およびコンピュータシステム612の1つまたは複数で実行されるように構成することができる。

【0073】

本開示の代替の実施形態によれば、カメラ610および関連するビジョンシステムの利用の代わりに、またはこれに加えて、センサデバイスを利用して山605にある材料片のそれぞれを分類することができる。このようなセンサデバイスは、ロボットマニピュレータのアームまたは把持機構のような、分離デバイス620上のどこかに取り付けることができる。

【0074】

センサデバイスは、照射または反射された電磁放射を利用するセンサ(たとえば、赤外線(「IR」)、フーリエ変換IR(「FTIR」)、前方監視赤外線(「FLIR」)、超近赤外線(「VNIR」)、近赤外線(「NIR」)、短波長赤外線(「SWIR」)、長波長赤外線(「LWIR」)、中波長赤外線(「MWIR」または「MIR」)、X線透過(「XRT」)、ガンマ線、紫外線(「UV」)、X線蛍光(「XRF」)、レーザ誘起ブレークダウン分光法(「LIBS」)、ラマン分光法、反ストークスラマン分光法、ガンマ分光法(これは、山にあるような、他の物体で隠れている物体を感知するために利用することができる)、ハイパースペクトル分光法(たとえば、可視波長を超える任意の範囲)、音響分光法、NMR分光法、マイクロ波分光法、テラヘルツ分光法(前述のいずれかでの1次元、2次元、または3次元イメージングを含む))、または、化学もしくは放射性を含むがこれらに限定されない、任意の他のタイプのセンサ技術を利用するセンサを含む、任意のタイプのセンサ技術で構成することができる。XRFシステムの実装は米国特許第10,207,296号でさらに説明されている。

【0075】

以下のセンサシステムも、プラスチック片の化学シグネチャを判定し、および/またはプラスチック片を分類するために、本開示のいくつかの実施形態で使用することができる。先に開示されたさまざまな形式の赤外線分光法を利用して、任意のプラスチック材料のベースポリマー、ならびに材料中に存在する他の成分(鉱物充填剤、コポリマー、ポリマーブレンドなど)についての情報を提供する各プラスチック片に固有の化学シグネチャを取ることができる。示差走査熱量測定(「DSC」)は、各材料に固有の分析材料の加熱中に生成される熱遷移を得る熱分析技術である。熱重量分析(「TGA」)は、ポリマーの割合、他の有機成分、鉱物充填剤、カーボンブラックなどに関するプラスチック材料の組成についての定量的情報をもたらす別の熱分析技術である。細管および回転式レオメトリは、そのクリープおよび変形抵抗を測定することによってポリマー材料のレオロジー特性を判定することができる。光学および走査型電子顕微鏡(「SEM」)は、多層材料(たとえば、多層ポリマーフィルム)における層の数および厚さ、ポリマーマトリクス内の顔料または充填剤粒子の分散サイズ、コーティングの欠陥、成分間の界面形態などに関して分析された材料の構造についての情報を提供することができる。クロマトグラフィ(たとえば、LC-PDA、LC-MS、LC-LS、GC-MS、GC-FID、HS-GC)は、UV安定剤、酸化防止剤、可塑剤、滑り止め剤などのような、プラスチック材料の少量成分、ならびに残留モノマー、インクまたは接着剤からの残留溶媒、分解物質などを定量化することができる。

【0076】

本開示の態様は、第1の金属合金組成を有する少なくとも1つの金属合金片および第2の金属合金組成を有する少なくとも1つの金属合金片を含む金属合金片の異種混合物の第1の山内に含まれる個々の金属合金片の画像を捕捉するように構成されたカメラと、AIシステムで実装されたデータ処理システムであって、AIシステムは、第1の金属合金組成を有する第1の金属合金片に、第1の金属合金片の捕捉された画像のAIシステムを通じた処理に応じて第1の分類を割り当てるように構成されている、データ処理システムと、第1の分類に応答して第1の山から第1の金属合金片を自動的に把持および除去するように構成された分離デバイスと、を含む装置を提供する。分離デバイスは、第1の金属合金片を金属合金片の第2の山上に堆積させるように構成することができる。第2の山は、第1の金属合金組成を有する金属合金片からなり得る。AIシステムは、第2の金属合金組成を有する第2の金属合金片に、第2の金属合金片の捕捉された画像のAIシステムを通じた処理に応じて第2の分類を割り当てるように構成され、分離デバイスは、第2の分類に応答して第1の山から第2の金属合金片を自動的に把持および除去するように構成され、分離デバイスは、第2の金属合金片を金属合金片の第3の山上に堆積させるように構成されている。第3の山は、第2の金属合金組成を有する金属合金片の均質な集合とすることができる。人工知能システムは、捕捉された画像で検出された特徴を、訓練段階中に生成された知識ベースに格納されているものと比較する1つまたは複数のアルゴリズムを使用するニューラルネットワークで構成することができ、訓練段階中、1つまたは複数のアルゴリズムは、1つまたは複数の指定されたクラスの金属合金と、知識ベースを作成する捕捉された画像データから抽出されたそれらの特徴との間の関係を学習する。カメラは、個々の金属合金片の視覚画像を捕捉するように構成することができる。第1の金属合金片は鋼合金片とすることができる。分離デバイスは、第1の山内の第1の金属合金片の第1の場所を識別するとともに、第2の山の第2の場所を識別するデータ処理システムからの命令を受信するコントローラを有するロボットアームを含むことができる。第1および第2の山は金属スクラップヤード内に配置することができる。

【0077】

本開示の態様は、材料片の第1の山内に含まれる材料片の混合物のそれぞれの1つまたは複数の特性を捕捉するように構成されたセンサであって、材料片の混合物は、異なる化学組成を有する材料片を含む、センサと、第1の化学組成を有する第1の材料片に、第1の材料片の捕捉された1つまたは複数の特性の処理に応じて第1の分類を割り当てるように構成されたデータ処理システムと、第1の分類に応答して第1の山から第1の材料片を自動的に把持および除去するように構成された分離デバイスと、を含む装置を提供する。分離デバイスは、第1の山内の第1の材料片の第1の場所を識別するとともに、第2の山の第2の場所を識別するデータ処理システムからの命令を受信するコントローラを有するロボットアームを含むことができ、センサは、分離デバイスのアーム上に取り付けられたx線蛍光システムである。センサは、材料片の視覚画像を捕捉するように構成されたカメラとすることができ、データ処理システムはAIシステムで実装され、AIシステムは、第1の化学組成を有する第1の材料片に、第1の材料片の捕捉された視覚画像のAIシステムを通じた処理に応じて第1の分類を割り当てるように構成されている。AIシステムは、第2の化学組成を有する第2の材料片に、第2の材料片の捕捉された視覚画像のAIシステムを通じた処理に応じて第2の分類を割り当てるように構成することができ、分離デバイスは、第2の分類に応答して第1の山から第2の材料片を自動的に把持および除去するように構成され、第1および第2の分類は互いに異なり、分離デバイスは、第1の材料片を材料片の第2の山上に堆積させるように構成され、分離デバイスは、第2の材料片を材料片の第3の山上に堆積させるように構成されている。第2の山は、第1の化学組成を有する材料片の均質な集合とすることができ、第3の山は、第2の化学組成を有する材料片の均質な集合である。材料片はスクラップ金属合金片とすることができ、第1の材料片は第1のスクラップ金属合金片とすることができ、第1および第2の山は金属スクラップヤード内に配置され、分離デバイスは、第1のスクラップ金属合金片をスクラップ金属合金片の第2の山上に堆積させるように構成されている。分離デバイスは、第1の山内の第1のスクラップ金属合金片の第1の場所を識別するとともに、第2の山の第2の場所を識別するデータ処理システムからの命令を受信するコントローラを有するロボットアームを含むことができる。AIシステムは、捕捉された画像で検出された特徴を、訓練段階中に生成された知識ベースに格納されているものと比較する1つまたは複数のアルゴリズムを使用するニューラルネットワークで構成することができ、訓練段階中、1つまたは複数のアルゴリズムは、1つまたは複数の指定されたクラスのスクラップ金属合金と、知識ベースを作成する捕捉された画像データから抽出されたそれらの特徴との間の関係を学習する。

【0078】

本明細書の説明において、プログラミング、ソフトウェアモジュール、ユーザ選択、ネットワークトランザクション、データベースクエリ、データベース構造、ハードウェアモジュール、ハードウェア回路、ハードウェアチップ、コントローラ、ロボットマニピュレータなどの例のような、多数の具体的な詳細を提供して、本開示の実施形態の完全な理解を提供している。しかしながら、関連技術における当業者は、これらの具体的な詳細の1つまたは複数なしで、または他の方法、構成要素、材料などで本開示を実践することができるということを認識するであろう。他の例において、本開示の態様を不明瞭にすることを避けるため、よく知られている構造、材料、または動作を詳細に図示または説明していないことがある。

【0079】

この開示を読んだ当業者は、本開示の範囲から逸脱することなく、実施形態に変更および修正を行うことができるということを認識するであろう。本明細書で図示および説明する特定の実装形態は本開示およびそのベストモードの例示とすることができ、本開示の範囲を他の方法で限定するように決して意図されるものではないことが理解されるべきである。他の変形が次の請求項の範囲内にあり得る。

【0080】

この明細書全体を通しての「一実施形態」、「実施形態」、または類似の文言への言及は、実施形態に関連して説明される特定の特徴、構造、または特性が、本開示の少なくとも1つの実施形態に含まれることを意味する。したがって、この明細書全体を通しての「1つの実施形態において」、「一実施形態において」、「実施形態」、「いくつかの実施形態」、「さまざまな実施形態」という句、および同様の文言の出現は、すべてが同じ実施形態を指し得るが、必ずしもそうではない。さらに、本開示の説明された特徴、構造、態様、および/または特性は、1つまたは複数の実施形態において任意の適切な方法で組み合わせることができる。対応して、いくつかの特徴が特定の組み合わせで作用するとして最初に特許請求されていても、特許請求されている組み合わせからの1つまたは複数の特徴をいくつかの場合においてその組み合わせから削除することができ、その特許請求されている組み合わせを部分的組み合わせまたは部分的組み合わせの変形に向けることができる。

【0081】

利益、利点、および問題に対する解決策を、具体的な実施形態に関して上述してきた。しかしながら、利益、利点、問題に対する解決策、および利益、利点、または解決策をもたらす、またはより顕著にすることができるいかなる要素も、いずれかまたはすべての請求項の重要、必要、または必須の特徴または要素として解釈されるべきではない。さらに、本明細書に記載のいずれの構成要素も、必須または重要であると明示的に説明されていない限り、本開示の実践に要求されない。

【0082】

本明細書で、「または」という用語は、包括的であるように意図されている可能性があり、「AまたはB」はAまたはBを含み、AとBの両方も含む。本明細書で使用されるとき、「および/または」という用語は、エンティティのリストの文脈で使用されるとき、エンティティが単独で存在するか、または組み合わせで存在するかを指す。したがって、たとえば、「A、B、C、および/またはD」という語句は、A、B、C、およびDを個別に含むが、A、B、C、およびDのありとあらゆる組み合わせおよび部分的組み合わせも含む。

【0083】

本明細書で使用されている用語は、特定の実施形態を説明するという目的のためだけのものであり、開示の限定であるように意図されていない。本明細書で使用されるとき、「a」、「an」、および「the」という単数形は、文脈が明確に別のことを示していない限り、複数形も含むように意図されている可能性がある。

【0084】

以下の請求項におけるすべてのミーンズまたはステッププラスファンクション要素の対応する構造、材料、行為、および同等物は、具体的に特許請求されているような他の特許請求されている要素と組み合わせてその機能を実行するための任意の構造、材料、または行為を含むように意図されている可能性がある。

【0085】

特定の特性または状況に関して本明細書で使用されるとき、「実質的に」は、その特定の特性または状況から測定可能なほど損なわれないほど十分に小さい偏差の程度を指す。許容される偏差の正確な程度はいくつかの場合において具体的な文脈に依存し得る。

【0086】

本明細書で使用されるとき、複数の項目、構造要素、構成要素、および/または材料を、便宜上、共通のリストで提示することがある。しかしながら、これらのリストは、リストの各部材が別個の固有の部材として個別に識別されているものとして解釈されるべきである。したがって、このようなリストの個々の部材は、反対の指示なく、その提示が共通の群にあるということのみに基づいて、同じリストの任意の他の部材の事実上の同等物として解釈されるべきではない。

【0087】

他の方法で定義されていない限り、本明細書で使用されるすべての技術および科学用語(周期表内の化学元素に使用される頭字語のような)は、本開示の主題が属する技術における当業者に一般的に理解されているのと同じ意味を有する。本明細書に記載のものと同様または同等の任意の方法、デバイス、および材料を、本開示の主題の実践または試験に使用することができるが、代表的な方法、デバイス、および材料をここでは説明している。

【0088】

「結合された」という用語は、本明細書で使用されるとき、直接結合または機械的結合に限定されるように意図されていない。別途記載がない限り、「第1」および「第2」のような用語は、このような用語が説明する要素の間を恣意的に区別するために使用される。したがって、これらの用語は必ずしもこのような要素の時間的または他の優先順位を示すように意図されていない。

【符号の説明】

【0089】

100 材料取り扱いシステム
101 材料片
102 コンベヤベルト
103 コンベヤシステム
104 モータ
105 ベルト速度検出器
106 シンギュレータ
107 コンピュータシステム
109 ライブ動作カメラ
110 ビジョンシステム
140 容器
201 材料片
203 コンベヤシステム
400 スクラップヤード
401…403 山
3400 コンピュータシステム
3405 ローカルバス
3412 ユーザインターフェイスアダプタ
3413 キーボード
3414 マウス
3415 プロセッサ
3416 ディスプレイアダプタ
3420 揮発性メモリ
3425 通信アダプタ
3430 I/Oアダプタ
3431 ハードディスクドライブ
3432 テープドライブ
3435 不揮発性メモリ
3440 ディスプレイ
600 装置
601 山
602 山
603 山
605 山
610 カメラ
612 コンピュータシステム
614 コントローラ
620 分離デバイス

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】