特許 7600241 １以上の物質の特徴付けを行う方法及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-06

(45)【発行日】2024-12-16

(54)【発明の名称】１以上の物質の特徴付けを行う方法及びシステム

(51)【国際特許分類】

   G01N 23/04 20180101AFI20241209BHJP

   G06T 7/00 20170101ALI20241209BHJP

   G01N 23/087 20180101ALI20241209BHJP

【ＦＩ】

G01N23/04

G06T7/00 610Z

G01N23/087

【請求項の数】 16

(21)【出願番号】P 2022537883

(86)(22)【出願日】2020-12-18

(65)【公表番号】

(43)【公表日】2023-02-22

(86)【国際出願番号】 EP2020087063

(87)【国際公開番号】W WO2021123197

(87)【国際公開日】2021-06-24

【審査請求日】2023-11-15

(31)【優先権主張番号】19217631.1

(32)【優先日】2019-12-18

(33)【優先権主張国・地域又は機関】EP

(73)【特許権者】

【識別番号】510054027

【氏名又は名称】ヴィート エヌブイ

(74)【代理人】

【識別番号】100085545

【弁理士】

【氏名又は名称】松井 光夫

(74)【代理人】

【識別番号】100118599

【弁理士】

【氏名又は名称】村上 博司

(72)【発明者】

【氏名】グルツ，ルーラント

(72)【発明者】

【氏名】ブロース，クリス

(72)【発明者】

【氏名】クアゲブール，ミーケ

【審査官】比嘉 翔一

(56)【参考文献】

【文献】特開２０１４－０８１９４３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０１２８９３６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１６／００２５８８８（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００７／００１４４７２（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１７／０１０３５１３（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ２３／００－Ｇ０１Ｎ２３／２２７６

Ｇ０１Ｖ １／００－Ｇ０１Ｖ９９／００

Ｇ０６Ｔ ７／００－Ｇ０６Ｔ ７／９０

Ｇ０６Ｖ１０／００－Ｇ０６Ｖ２０／９０

Ｇ０６Ｖ３０／４１８

Ｇ０６Ｖ４０／１６

Ｇ０６Ｖ４０／２０

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍ３）

(57)【特許請求の範囲】

【請求項1】

１以上の物質の特徴付けを行うコンピュータ実装方法であって、
より低いエネルギーのＸ線画像とより高いエネルギーのＸ線画像とを少なくとも取得する為のマルチエネルギー画像化を行うように構成されたＸ線センサを備えている知覚システムによって、該１以上の物質をスキャンすること；
該画像内の別個の１以上のオブジェクトを分離する為に該知覚システムによって取得された画像のセグメント化を行うこと、ここで、該セグメント化されたオブジェクトの面積を示すデータが決定される；
該セグメント化されたオブジェクトごとに、該より低いエネルギーのＸ線画像及び該より高いエネルギーのＸ線画像の分析によって、面積密度を示すデータ及び原子番号を示すデータを決定すること、ここで、該面積密度及び原子番号を示す該データが、既知の面積密度及び原子番号を有する異なる物質を用いて、マルチエネルギーＸ線画像化を行うことによって較正されるモデルによって決定される；
該セグメント化されたオブジェクトごとに、該セグメント化されたオブジェクトごとの該面積密度を示す該データ及び該面積を示す該データに基づいて、質量を示すデータを計算すること；並びに、
該セグメント化されたオブジェクトごとに、少なくとも該原子番号を示す該データを、訓練されたニューラルネットワークに対する入力として提供すること、ここで、該訓練されたニューラルネットワークが、各セグメント化されたオブジェクトにラベル付けするように構成されており、ここで、該質量を示す該データが、該ラベル付けされたセグメント化されたオブジェクトの各々に関連付けられている；
を含む、前記方法。

【請求項2】

該計算された質量が、前記訓練されたニューラルネットワークに対する入力として提供される、請求項１に記載の方法。

【請求項3】

該知覚システムが更に、セグメント化されたオブジェクトの体積を示すデータを決定する為の奥行き画像化ユニットを備えている、請求項１又は２に記載の方法。

【請求項4】

該奥行き画像化ユニットが、三次元レーザ三角測量ユニット又は三次元カメラのうちの少なくとも１つを備えている、請求項３に記載の方法。

【請求項5】

該知覚システムが更に、該セグメント化されたオブジェクトのカラー画像を撮影するように構成されたカラー画像化ユニットを備えている、請求項１～４のいずれか１項に記載の方法。

【請求項6】

該知覚システムの異なるサブシステムからのデータは、該セグメント化された１以上のオブジェクトごとに特性的特徴を決定する前にアラインされる、請求項１～５のいずれか１項に記載の方法。

【請求項7】

該セグメント化された１以上のオブジェクトごとに、体積、寸法、直径、形状、テクスチャ、色、又は偏心のうちの少なくとも１つに関連する、更なる特性的特徴が決定される、請求項１～６のいずれか１項に記載の方法。

【請求項8】

該１以上の物質は、物質ストリームを形成するコンベヤ上で移動され、ここで、該物質ストリームは、該物質ストリーム内のオブジェクトの特徴付けの為の該知覚システムによってスキャンされる、請求項１～７のいずれか１項に記載の方法。

【請求項9】

該セグメント化された１以上のオブジェクトの特性的特徴が、デジタルツインモデルを構築する為に記憶される、請求項１～８のいずれか１項に記載の方法。

【請求項10】

該１以上の物質は、第１のデジタル識別マーカを決定する為の搬送の前に特徴付けられ、ここで、遠隔地への搬送の後に引き続き、該１以上の物質は、第２のデジタル識別マーカを決定する為に特徴付けられ、ここで、該第１のデジタル識別マーカと該第２のデジタル識別マーカとは、搬送期間中の含有量の変化を決定する為に互いに比較される、請求項１～９のいずれか１項に記載の方法。

【請求項11】

該１以上の物質は不均一である、請求項１～１０のいずれか１項に記載の方法。

【請求項12】

該１以上の物質は、固形廃棄物、生産された製品若しくは構成要素、農産物、又はバッテリからなる群から選択される、請求項１～１１のいずれか１項に記載の方法。

【請求項13】

１以上の物質の特徴付けを行う為のシステムであって、
該１以上の物質をスキャンする為に配置された知覚ユニットを備えており、ここで、該知覚ユニットは、より低いエネルギーのＸ線画像とより高いエネルギーのＸ線画像とを少なくとも取得する為のマルチエネルギー画像化を行うように構成されたＸ線センサを備えており；
ここで、該システムが
該画像内の別個の１以上のオブジェクトを分離する為に、該システムによって取得された画像のセグメント化を行うこと、ここで、該セグメント化されたオブジェクトの面積を示すデータが決定される；
該セグメント化されたオブジェクトごとに、該より低いエネルギーのＸ線画像及び該より高いエネルギーのＸ線画像の分析によって、面積密度を示すデータ及び原子番号を示すデータを決定すること、ここで、該面積密度及び原子番号を示す該データが、既知の面積密度及び原子番号を有する異なる物質を用いて、マルチエネルギーＸ線画像化を行うことによって較正されるモデルによって決定される；
該セグメント化されたオブジェクトごとに、該セグメント化されたオブジェクトごとの該面積密度を示す該データ及び該面積を示す該データに基づいて、質量を示すデータを計算すること；
該セグメント化されたオブジェクトごとに、少なくとも該原子番号を示す該データを、訓練されたニューラルネットワークに対する入力として提供すること、ここで、該訓練されたニューラルネットワークが、各セグメント化されたオブジェクトにラベル付けするように構成されており、ここで、該質量を示す該データが、該ラベル付けされたセグメント化されたオブジェクトの各々に関連付けられている
の工程を実行するように構成されたコントローラを備えている、上記システム。

【請求項14】

コントローラ上で実行された場合に、請求項１～１２のいずれか１項に記載の方法の各工程を行う為にプログラム命令が格納された１以上のコンピュータ読み取り可能な記憶装置を備えているコンピュータプログラム製品。

【請求項15】

廃棄物ストリームを選別するように構成されたリサイクルデバイスであって、ここで、該リサイクルデバイスが、該廃棄物ストリーム中の異なる物質を区別する為に、請求項１３に記載のシステムを備えている、上記のリサイクルデバイス。

【請求項16】

該リサイクルデバイスが、該廃棄物ストリーム中の該区別された異なる物質に関連する情報に基づいて、プロセスパラメータを制御するように構成されている、請求項１５に記載のリサイクルデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、１以上の物質の特徴付けを行う方法及びシステムに関する。本発明は更に、コンピュータプログラム製品に関する。更に、本発明は、廃棄物ストリーム（waste stream）を選別するように構成されたリサイクルデバイス(recycling device)に関する。

【背景技術】

【0002】

１以上の物質の特徴付けは、例えばリサイクルプロセス、農業プロセス、食糧生産プロセス等において、幾つかの重要な用途を有する。該特徴付けは、例えば品質管理、価値評価、並びにプロセスエンジニアリング及び制御の為に使用されることができる。例えば、廃棄物処理の場合、慣用的に、多くの廃棄物ストリームが、特徴付けデータの欠如に起因して、準最適にリサイクルされている。物質ストリーム（例えばバルク固形廃棄物ストリーム）の為の適当な特徴付け技術に対する必要性がある。

【0003】

廃棄物特徴付けに対する慣用的なアプローチは、依然として典型的に、人物、例えば特別な施設において働いている工場人員、によるオブジェクトの手動での検査である。このアプローチは、遅く、主観的で、高価であり、最終的に、廃棄物ストリーム内の粒子に関してわずかな情報しか伝えない。幾つかの慣用的な方法において、試料が、例えば実験室において、採取され、検査され／分析される。このプロセスは、あまりにも多くの時間を消費することがあり（化学分析は、数日、数週間から数か月を要することがある）、コストの増加をもたらしうる。更に、物質／オブジェクトの総量のごく一部分のみが特徴付けられる。典型的に、物質の品質は測定することが困難であるので、多くの物質ストリームが準最適にリサイクルされる。

【0004】

より詳細なレベルでデータを伝える、高速で、客観的な及び／又は自動化された方法についての必要性がある。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の目的は、上記に言及した欠点のうちの少なくとも１つを除去する方法及びシステムを提供することである。

【0006】

追加的に又は代替的には、本発明の目的は、１以上の物質の改善された物質特徴付けを提供することである。

【0007】

追加的に又は代替的には、本発明の目的は、改善された物質特徴付けを提供することである。

【課題を解決するための手段】

【0008】

その為に、１以上の物質の特徴付けを行う方法であって、より低いエネルギーのＸ線画像とより高いエネルギーのＸ線画像とを少なくとも取得する為のマルチエネルギー画像化を行うように構成されたＸ線センサを備えている知覚システムによって、該１以上の物質をスキャンすること；該画像内の別個の１以上のオブジェクトを分離する為に該知覚システムによって取得された画像のセグメント化を行うこと、ここで、該セグメント化されたオブジェクトの面積を示すデータが決定される；該セグメント化されたオブジェクトごとに、該より低いエネルギーのＸ線画像及び該より高いエネルギーのＸ線画像の分析によって、面積密度を示すデータ及び原子番号を示すデータを決定すること、ここで、該面積密度及び原子番号を示す該データが、既知の面積密度及び原子番号を有する異なる物質を用いて、マルチエネルギーＸ線画像化を行うことによって較正されるモデルによって決定される；該セグメント化されたオブジェクトごとに、該セグメント化されたオブジェクトごとの該面積密度を示す該データ及び該面積を示す該データに基づいて、質量を示すデータを計算すること；並びに、該セグメント化されたオブジェクトごとに、少なくとも該原子番号を示す該データを、訓練されたニューラルネットワークに対する入力として提供すること、ここで、該訓練されたニューラルネットワークが、各セグメント化されたオブジェクトにラベル付けするように構成されており、ここで、該質量を示す該データが、該ラベル付けされたセグメント化されたオブジェクトの各々に関連付けられている；を含む、上記方法を提供する。

【0009】

物質ストリーム内のオブジェクトは、識別され、特徴付けられることができる。各個々のオブジェクトの特徴付けは、異なる特徴付けパラメータを提供しうる。これは、異なる物質分類においてオブジェクトを区別することを可能にする。追加的に、又は代替的には、質量バランスが決定されることができる。そのような導出された情報は、該特徴付けられたオブジェクトの物理的性質を使用したポストモデル化の為に使用されることができる。追加的に、又は代替的には、各セグメント化されたオブジェクトの或る性質、例えばジオメトリ、直径、形状、化学的性質等、が決定されることができる。

【0010】

本発明は、不均一な物質流を分析することを効果的に可能にすることができる。これは、大規模なリソース（作業負荷、時間等）を必要とせずに行われることができる。該不均一な物質流の質量バランスでさえ、効率的に決定されることができ、一方で、該物質流内の該オブジェクト及び／又は物質は、まだ選別されていない。

【0011】

本発明は、物質ストリーム、例えば廃棄物ストリーム、を選別する際に有意な利点を提供する。しかしながら、本発明は、物質選別以外の様々な他の用途において使用されることができる。例えば、本発明は、物質ストリームの価値を決定する為に使用されることができる。物質ストリーム内の異なる構成要素の特性を識別することによって、価値が推定されることができる。物質ストリーム（例えば、廃棄物ストリーム）のサンプリングは、あまりにも多くの時間及び努力を要しうる。本発明に従うシステムは、質量バランスを決定すること及び価値推定を可能にする。

【0012】

質量は、少なくとも１つのエネルギーレベルを有するＸ線画像を使用して、Ｘ線モデルに基づいて推定されうる。面積密度は、（より）高いエネルギー吸収率によって主に決定される。（より）高いエネルギー吸収率のみを考慮に入れることによって、２つ以上のエネルギーレベルのＸ線画像（より低いエネルギーレベルのＸ線画像及びより高いエネルギーレベルのＸ線画像を参照）を必要とせずに、該質量の推定を行うことが可能である。推定は、１つのＸ線エネルギー範囲のみを考慮して提供されうる。しかしながら、実際の場合においては、少なくとも２つのＸ線エネルギーレベルが採用されうる。

【0013】

該質量は、少なくとも２つの異なるエネルギーレベルを有する、Ｘ線画像を使用して、Ｘ線モデルに基づいて予測されうる（単一のＸ線画像（１つのエネルギーレベル）に基づいて推定を行うことがまた可能である）。２つを超えるＸ線エネルギーレベルを有するマルチスペクトルＸ線画像化がまた採用されることができることが認識されるであろう。該Ｘ線画像は、同じＸ線画像化デバイスによって取得されうる。しかしながら、複数のＸ線画像化デバイスを使用することがまた可能である。

【0014】

幾つかの例において、該１以上の物質（例えば、物質ストリーム）のより低いエネルギーのＸ線画像及びより高いエネルギーのＸ線画像が撮影され、該１以上の物質の該２つのＸ線画像から面積密度及び原子番号を計算する為に、モデルが使用される。該質量は、全ての決定された面積密度の合計に基づいて計算されることができる。セグメント化されたオブジェクトの質量は、該セグメント化されたオブジェクトの全てのピクセルの合計に基づいて、密度から直接計算されることができる。該原子番号は、該物質の化学組成に関して付加的な情報を提供する。各個々のセグメント化されたオブジェクト／構成要素の該原子番号に関する知識は、該化学組成を考慮に入れた、有意に改善された物質特徴付けを提供することができる。原子番号は、該個々のセグメント化されたオブジェクト／構成要素の該質量を計算する為に必要とされないことがありうる。

【0015】

該面積密度は、面積当たりの質量として見なされることができ、該質量は、該面積及び該面積密度に基づいて決定されることができる。該セグメント化されたオブジェクトの各々の面積は、画像化データにおけるセグメント化に基づいて識別されることができる。

【0016】

より低いエネルギーのＸ線画像及びより高いエネルギーのＸ線画像が撮影され、スペクトル内の２つの範囲に関する情報を提供しうる。幾つかの例において、該少なくとも２つのＸ線画像は、同時に撮影されることができる。Ｘ線画像化において、少なくとも２つの値が、空間内の各ポイント（少なくとも、該より低いエネルギー及び該より高いエネルギー）について取得されることができる。幾つかの例において、Ｘ線センサが、互いに重なり合って配置される。上部サブセンサは、該より低いエネルギーを感知しうるものであり、下部サブセンサは、該より高いエネルギーを感知しうる。幾つかの例において、複数エネルギーのＸ線画像化は、各ピクセルが２つを超える値に結びつけられるように、行われうる。幾つかの例において、各ピクセルは、２つの値、すなわち、デュアルエネルギーＸ線画像化の為の該より低いエネルギー及びより高いエネルギー、に結びつけられることができる。

【0017】

有利には、本発明は、訓練された人工ニューラルネットワークを使用して、改善されたラベル付けを提供しうる。このようにして、分析された１以上の物質のオブジェクト／構成要素のより良好な決定が取得されることができる。例えば、物質のストリームの物質組成のより良好な決定が達成されることができる。該セグメント化されたオブジェクトのラベルがまた、例えば一般的なユーザインターフェースによって、ユーザに提示可能な付加的な特徴付けデータとして考慮されることができる。幾つかの例において、決定されたデータは、仮想モデル（該１以上の物質、例えば物質ストリーム、のデジタルツイン）を描く為に使用され、仮想実験又はモデル化を可能にする。幾つかの例において、該セグメント化されたオブジェクトの決定された特徴／特性は包括的である。該ラベルは、より用途固有の情報（例えば、バッテリの分類の為のラベル、すなわち、木材及びプラスチック、マツ、オーク、プラスチック、鉄物質、非鉄物質、鉱物、電気部品、金属スクラップ、コンクリート等）を提供することができる。該データは、異なる手法において使用されることができること、及び多くの異なる使用が予期されることが、認識されるであろう。例えば、ラベルは、価格、又は品質タイプ、化学組成及び／若しくは含有量等であることがまたできる。

【0018】

該特徴／特性は、（客観的な決定を可能にする）測定可能な量として考慮されることができる。該ラベルは、主観的な検討事項（例えば、価格、知覚品質、成熟度等）を考慮に入れることができる。本発明は、その中の個々の構成要素／オブジェクトが互いに区別されるべきである、多種多様な、物質の混合物又は物質ストリームに対して採用されることができる。任意的に、該物質の混合物又は物質ストリームは、その中で区別が行われるべき、少なくとも１つのタイプの物質を含む。

【0019】

異なるアルゴリズムが、該画像内のオブジェクト／構成要素のセグメント化を提供する為に使用されることができる。例えば、方法は、オブジェクト検出アルゴリズムを含みうる。オブジェクト検出アルゴリズムの例は、ニューラルネットワークによる閾値化、分水界、セマンティックセグメント化又はインスタントセグメント化である。該オブジェクト／構成要素をセグメント化する為に、他のアルゴリズムがまた可能である。該セグメント化されたオブジェクトは、特徴／特性抽出の為に、切り取られ、個々に評価されうる。

【0020】

任意的に、該セグメント化されたオブジェクトは、該訓練されたニューラルネットワークを使用して、分類を提供する為に個々に処理される。この動作は、少なくとも部分的に並行して行われることがまたありうる。複数の訓練されたニューラルネットワークが使用されることがまた予期される。

【0021】

任意的に、該Ｘ線センサは、デュアルエネルギーＸ線センサである。デュアルエネルギーＸ線画像化は、マルチエネルギーＸ線画像化よりも安価であることができる。しかしながら、該Ｘ線センサにおいてマルチエネルギーＸ線センサを使用することがまた可能である。なぜならば、このようにして、より正確な結果が取得されることができるからである。

【0022】

任意的に、該知覚システムは更に、セグメント化されたオブジェクトの体積を示すデータを決定する為の奥行き画像化ユニットを備えている。

【0023】

異なるタイプの奥行き画像化ユニットが使用されることができる。体積を示す値は、１以上の物質を特徴付ける為の重要なメトリックであることができる。

【0024】

任意的に、該奥行き画像化ユニットは、三次元レーザ三角測量ユニット又は三次元カメラのうちの少なくとも１つを備えている。

【0025】

他のタイプの奥行き画像化ユニットがまた可能である。

【0026】

任意的に、該知覚システムは更に、該セグメント化されたオブジェクトのカラー画像を撮影するように構成されたカラー画像化ユニットを備えている。

【0027】

複数のセンサが、廃棄物を選別する為に使用されうる。幾つかの例において、第１のセンサは、とりわけ面積密度のインジケーションを得る為に使用され（例えば、Ｘ線を採用する）、第２のセンサは、とりわけ体積のインジケーションを得る為に使用される（例えば、３Ｄカメラ、レーザ三角測量等）。他のセンサ、例えばカラーカメラ、がまた、更に多くの情報を収集する為に使用されることができる。有利な実施態様において、記録されたセンサデータが、訓練されたニューラルネットワークに対して供給される前に、複数の前処理工程が行われる。該画像はアラインされ、検出されたオブジェクトはセグメント化される。該画像をアラインすることは、シフトすること、拡大縮小すること、剪断すること、視点を変化させること等のうちの少なくとも１つに関与しうる。該画像をアラインすることは、アラインされた画像を取得する為の、該画像に対する任意の他の歪み補正に関与しうる。複数の性質、例えば質量、体積、原子番号、密度、形状等、がオブジェクトごとに決定される。次に、このデータは、該ニューラルネットワークに対する入力として使用される。これにより、様々な物質をより良好に区別することができるニューラルネットワークが取得されることを可能にし、従って、廃棄物リサイクル用途における廃棄物グループが得られる。より効率的なニューラルネットワークがまた、このようにして取得されていることができる。

【0028】

任意的に、該知覚システムの異なるサブシステムからのデータは、該セグメント化された１以上のオブジェクトごとに特性的特徴を決定する前にアラインされる。

【0029】

幾つかの例において、Ｘ線画像化は、該セグメント化されたオブジェクトごとの質量及び原子番号を決定する為に使用される。しかしながら、他のセンサがまた、画像化の為に使用されうる。任意的に、異なるセンサからの画像は、データ融合の為にアラインされる。例えば、画像化の為の該センサ及び／又は検出器は、異なる視野、異なる歪み、拡大率等を有しうる。アラインメントは、該複数のセンサ／検出器から受信された複数の画像化データに対して、アラインメントアルゴリズム又は変換アルゴリズムを行うことによって実行されることができる。

【0030】

幾つかの例において、異なる画像化センサ／検出器からのデータは、例えば、赤－緑－青画像データ、より低いエネルギーのＸ線、より高いエネルギーのＸ線、高さ（３Ｄカメラ）についての、複数の「画像層」を有する３Ｄマトリクスへ投入されうる。また、付加的なデータ、例えば原子番号に関連する導出された画像、表面密度画像、密度、が含まれうる（例えば、体積と表面密度とを組み合わせることによって、該セグメント化されたオブジェクト／構成要素ごとに、密度が決定されることができる）。

【0031】

任意的に、該セグメント化された１以上のオブジェクトごとに、体積、寸法、直径、形状、テクスチャ、色、又は偏心のうちの少なくとも１つに関連する、更なる特性的特徴が決定される。該異なるセンサ画像、例えばＸ線吸収率、高さ、色等、並びに導出された画像、例えば原子番号、面積密度、密度、化学組成及び勾配、のオブジェクトピクセル値の他の特性的特徴、例えば平均値、標準偏差、三次以上のモーメント、ヒストグラム等、がまた決定されることができる。決定されることができる幾つかの例示的な形状パラメータは、外周、固体性、面積、凸部面積、凸性、真円度、直線度、カール性、球形度、縦横比、フェレット直径、相当直径、短軸長さ及び長軸長さ、最大及び最小コード長さ、他の直径定義である。先行する特性的特徴のいかなる組み合わせがまた可能であることが認識されるであろう。

【0032】

複数の特性が、該セグメント化されたオブジェクトごとに決定されるので、該オブジェクトは、多次元空間において配置されることができる。これは、例えば、該１以上の物質の該決定された特性を与えるコンピュータプログラム製品の一般的なユーザインターフェースを介して、物質ストリームの強化された概観を提供することができる。

【0033】

任意的に、該１以上の物質は、物質ストリームを形成するコンベヤ上で移動され、ここで、該物質ストリームは、該物質ストリーム内のオブジェクトの特徴付けの為の該知覚システムによってスキャンされる。

【0034】

幾つかの例において、まず、該物質ストリーム内の該オブジェクト（例えば、構成要素、粒子）がセグメント化される。このようにして、該オブジェクトは、簡単に切り取られ、分離され及び／又は分けられることができる。該オブジェクトは、それらが互いに接触している場合でさえ、分けられることができる。次の工程において、各粒子の一連の特徴／特性が識別されることができる。次に、これらの特徴／特性は、機械学習モデル、例えば人工ニューラルネットワーク、に対して供給されることができる。

【0035】

粒子の質量、体積、直径、形状、テクスチャ、輪郭等は、オンザフライで又はリアルタイムで決定されることができる。該オブジェクトの質量は、非接触測定（Ｘ線を参照）を使用して計算されることができる。該個々のオブジェクトの該質量は、Ｘ線物理学に基づいた物理モデルを使用して計算されうる。これは、分類の為にニューラルネットワークに対して画像化データを供給する前の、前処理工程として考慮されることができる。他の技法がまた、該個々のオブジェクトの該質量を決定する為に使用されうる。幾つかの例において、機械学習モデルが採用される。

【0036】

任意的に、該セグメント化された１以上のオブジェクトの特性的特徴は、デジタルツインモデル（digital twin model）を構築する為に記憶される。

【0037】

本発明は、物質ストリームの構成要素レベルでの特徴付けを可能にする。このようにして、デジタルツインモデルがセットアップされることができる。次に、仮想テスト及びシミュレーションが、該デジタルツインモデルを使用して行われることができる。

【0038】

物理的な物質ストリームは、スキャンされ、そして、「デジタルツイン」（digital twin）とまた称される仮想表現へと変換されることができる。このデジタル対応物は、該ストリーム内の全ての粒子の物理的性質、例えば質量、体積、密度、形状、サイズ、物質、視覚的外観、テクスチャ等、及び、異なるカメラによって撮影された元の画像を含む。該デジタルツインは、仮想実験（例えば、研究所においてあなたの両手を汚さずに、コンピュータデータに基づいて、ふるい分け実験を行う）、粒子ベースのプロセスシミュレーションを可能にし、物質ストリームを調べて新しい洞察を獲得する為のアクセス可能で直観的な手法を提供する。

【0039】

任意的に、該１以上の物質は、第１のデジタル識別マーカを決定する為の搬送の前に特徴付けられ、ここで、遠隔地への搬送の後に引き続き、該１以上の物質は、第２のデジタル識別マーカを決定する為に特徴付けられ、ここで、該第１のデジタル識別マーカと該第２のデジタル識別マーカとは、搬送期間中の含有量の変化を決定する為に互いに比較される。

【0040】

幾つかの例において、容器又は貨物は、不均一な物質を含む。該貨物は、長距離にわたって搬送され、再度特徴付けられうる。詳細な特徴付けが提供されることができるので、デジタルフィンガープリンティングは、詳細なレベルで行われることができる。これが出発地点及び到達地点で行われる場合、該容器又は貨物が不正に変更されているかどうかが決定されることができる。その中身を含む該容器／貨物が同じかどうかがチェックされることができる。更に、追加されたもの又は取り出されたものに関する詳細が、識別されることができる。

【0041】

任意的に、該１以上の物質は不均一である。

【0042】

物質ストリームは、物質の流れとして定義されることができることが認識されるであろう。幾つかの例において、ストリームは、特定の手法で転用される特定の物質カテゴリであることができる。幾つかの例において、ストリームは、特定の手法で転用される幾つかの物質カテゴリの混合物であることができる。物質ストリームの例は、再使用市場へ送られる分解された物質、混合廃棄物リサイクル施設へ送られる混載廃棄物等を包含する。

【0043】

任意的に、該１以上の物質は、固形廃棄物、生産された製品若しくは構成要素、農産物、又はバッテリからなる群から選択される。

【0044】

本発明は、廃棄物バッテリの選別に対して適用される場合、有意な利点を提供する。バッテリは、同じ外観を有しうる（例えば、外部からは、幾つかのバッテリは同じに見えることが多い）。異なるバッテリタイプを含む、バッテリのストリームは、コンベヤベルトに沿って案内されることができる。異なるタイプのバッテリは、本発明に従う方法を使用して、互いに効果的に区別されることができる。例えば、アルカリ電池とリチウムイオン電池との間で区別が行われることができる。更に、特徴、例えばサイズ、形状、構成（例えば、バッテリパック）、がまた、該バッテリストリーム内の該異なるバッテリ間で区別を行う為に使用されることができる。識別された／セグメント化されたバッテリに何の物質が含まれているか、例えば、どのカソード物質（例えば、コバルト・ニッケル等）が該バッテリに収容されているか、を識別することも可能である。

【0045】

幾つかの例において、該方法は、農業プロセスの特徴付けの為に使用される。例えば、梨（又は他の果物）の現行（current）が特徴付けられることができる。第１の特徴は、梨の外面上の小さいドットの（相対的な）量を示す値として定義されうるものであり、第２の特徴は、どれだけ多くの大きいスポットが該梨の該外面上に存在するかを示す値として定義されうるものであり、第３の特徴は、該梨の体積を示す値として定義されうるものである等である。次に、ラベルは、例えば、個々にセグメント化された梨の商業的価値として定義されることができる。この例において、他の特徴／特性及び／又はラベルがまた定義されることができることが認識されるであろう。例えば、食物ストリームの特徴付けの為の、他の用途がまた可能である。

【0046】

幾つかの例において、該方法は、以下の工程、すなわち、少なくとも１つの画像を取得する為に、１以上の物質を画像化すること（例えば、Ｘ線スキャン）、その画像から構成要素をセグメント化し、クリッピングすること、個々のセグメント化された構成要素についての特徴及び／又は特性、例えば、（例えば、デュアルエネルギーＸ線画像化又はマルチエネルギーＸ線画像化に基づく）質量、（例えば、３Ｄ画像に基づく）体積、原子番号、形状、偏心、寸法等を識別すること、のうちの少なくとも幾つかを含みうる。

【0047】

任意的に、バルク固形廃棄物ストリームの為の直接的なインライン特徴付けシステムが提供される。

【0048】

一つの観点によれば、本発明は、１以上の物質の特徴付けを行う為のシステムであって、該１以上の物質をスキャンする為に配置された知覚ユニットを備えており、ここで、該知覚ユニットは、より低いエネルギーのＸ線画像とより高いエネルギーのＸ線画像とを少なくとも取得する為のマルチエネルギー画像化を行うように構成されたＸ線センサを備えており；ここで、該システムが、該画像内の別個の１以上のオブジェクトを分離する為に、該知覚システムによって取得された画像のセグメント化を行うこと、ここで、該セグメント化されたオブジェクトの面積を示すデータが決定される；該セグメント化されたオブジェクトごとに、該より低いエネルギーのＸ線画像及び該より高いエネルギーのＸ線画像の分析によって、面積密度を示すデータ及び原子番号を示すデータを決定すること、ここで、該面積密度及び原子番号を示す該データが、既知の面積密度及び原子番号を有する異なる物質を用いて、マルチエネルギーＸ線画像化を行うことによって較正されるモデルによって決定される；該セグメント化されたオブジェクトごとに、該セグメント化されたオブジェクトごとの該面積密度を示す該データ及び該面積を示す該データに基づいて、質量を示すデータを計算すること；並びに、該セグメント化されたオブジェクトごとに、少なくとも該原子番号を示す該データを、訓練されたニューラルネットワークに対する入力として提供すること、ここで、該訓練されたニューラルネットワークが、各セグメント化されたオブジェクトにラベル付けするように構成されており、ここで、該質量を示す該データが、該ラベル付けされたセグメント化されたオブジェクトの各々に関連付けられている、の工程を実行するように構成されたコントローラを備えている、上記のシステムを提供する。

【0049】

廃棄物選別の手動プロセスは、多くの時間及びリソースを要する。該手動選別は、非効率的なだけでなく、エラーがまた生じやすい。本発明は、幾つかの例において選別システムにおいて採用されうる、改善された特徴付けシステムを提供する。各構成要素、オブジェクト又は粒子の情報を特徴付け、追跡することが可能である。本発明は、他の用途において、例えば農業用途及び／又は食品加工用途において、がまた使用されることができる。例えば、苺のバッチ又はストリームは、品質決定の為に詳細な手法で特徴付けられることができる。追加的に、該特徴付けに基づいて、該苺のバッチ又はストリームの値が推定されることができる。

【0050】

本発明はまた、他の用途において、例えば分離工場（廃棄物リサイクル工場）のプロセス制御の為に、使用されることができる。幾つかの例において、そのような工場は、１以上の物理的分離ユニット（例えば、ふるい、渦電流、磁気分離器、振動分離器等）を備える。該１以上の分離ユニットの有効性は、オンザフライでさえも及び／又はリアルタイムでさえも、評価されることができる。これは、デバイスが品質管理に基づいて最適化され、調整されることを可能にすることができる。例えば、分離された粒子又は部分が、ある値よりも大きくなる場合、より小さい粒子又は部品を分離する為に、或るギャップが調整されなければならない。慣用的な解決策において、これは可能ではない。なぜならば、試料を採取し、特徴付け測定を行う為に、全プロセスが停止させられることになるからである。

【0051】

有利には、前処理工程及び特徴抽出工程は、オブジェクトにラベル付けする為に、該訓練された人工ニューラルネットワークに対してデータを供給する前に、行われることができる。複数の特徴／特性は、セグメント化されたオブジェクトごとに決定されることができる。次に、ラベルが、オブジェクトごとに割り当てられることができる。訓練されたニューラルネットワークは、各セグメント化されたオブジェクトに関連付けられたラベルの自動決定の為に、該セグメント化されたオブジェクトに結びつけられた該複数の決定された特徴／特性を考慮に入れて、使用されることができる。本発明によれば、ニューラルネットワークに対して画像化データを直接供給する代わりに、該特徴／特性が該訓練されたニューラルネットワークに対して供給される個々の構成要素を識別する為に、該画像化データがセグメント化される。任意的に、異なるセンサ／検出器からの画像化データは、アラインされ、データ融合を可能にする。有意に、より正確な結果は、このようにして取得されることができる。該訓練されたニューラルネットワークに対して該画像化データを追加的に入力することがまた可能である。従って、画像のピクセルを入力として与える代わりに、該オブジェクトの各々に関連付けれた該特徴／特性が入力として与えられる。それは、オブジェクトごとに効果的に行われることができる。該訓練されたニューラルネットワークに対する該入力は、例えば、質量、体積、原子番号、形状パラメータ、例えば偏心、等、であることができる（該ニューラルネットワークの第１の層における入力ノードを参照）。該ニューラルネットワークの出力は、該セグメント化されたオブジェクトの分類を提供しうる。

【0052】

該システムは、１以上の物質（例えば、物質ストリーム）の効率的且つ効果的な特徴付けを比較的高いスループットで提供することができる。

【0053】

一つの観点によれば、本発明は、コントローラ上で実行された場合に、本発明に従う方法の該工程を行う為に構成されたコンピュータプログラム製品を提供する。

【0054】

一つの観点によれば、本発明は、廃棄物ストリームを選別するように構成されたリサイクルデバイスであって、ここで、該リサイクルデバイスが、該廃棄物ストリーム中の異なる物質を区別する為に、請求項１２に記載のシステムを備えている、上記のリサイクルデバイスを提供する。

【0055】

任意的に、該リサイクルデバイスは、該廃棄物ストリーム中の該区別された異なる物質に関連する情報に基づいて、プロセスパラメータを制御するように構成されている。

【0056】

該方法は、分離工程の必要なしに、明確に定義されたサブフラクションのリアルタイムの質量バランス、及び従って、例えば完全な価値評価、を提供することを可能にする。これは、リサイクル工場が、分析実験室における化学分析に関連付けられた、産業分析の標準リードタイムが数週間から３か月までに及ぶ、高価で労働集約的なサンプリング手順を低減すること、及び最終的には完全にスキップすること、並びに不確実性を減少させることを可能にすることができる。

【0057】

一つの観点によれば、本発明は、１以上の物質の特徴付けの為の該システムの使用に関する。

【0058】

一つの観点によれば、本発明は、複雑で不均一な物質ストリームのインライン特徴付けの為に適合されたインライン特徴付けシステムを提供する。該システムには、１ｍ／ｓまでの速度で移動する、例えば１ｍの幅のコンベヤベルトの上方に配置された複数のセンサが搭載されることができる。物質は、該ベルト上の単層において提示されうる。任意的に、単層を確実にする為の手段が提供される。設置されるセンサは、平均原子番号及び質量を直接測定すること、並びに基本的に「物質を透視する」ことを可能にするデュアルエネルギーＸ線透過（ＤＥ－ＸＲＴ：ｄｕａｌ－ｅｎｅｒｇｙ ｘ－ｒａｙ ｔｒａｎｓｍｉｓｓｉｏｎ）と、厳密な体積及び形状を決定することを可能にする任意的な３ｄレーザ三角測量（３Ｄ－ＬＴ：３ｄ ｌａｓｅｒ ｔｒｉａｎｇｕｌａｔｉｏｎ）と、任意的な高解像度カラーカメラとを含む。これらのセンサからのデータは、コントローラによって処理されることができる。該コントローラは、異なるセンサ／検出器の受信されたデータをアラインし、融合させるように、並びに、該ベルト上の個々のオブジェクト／構成要素を検出し、分類し、測定する為に、人工知能及び機械学習に基づいたモデル及びアルゴリズムを適用するように、構成されうる。

【0059】

該インライン特徴付けシステムは、表面層においてだけでなく、物質を「透視する」為にＸ線を使用するように構成されることができる。これは、複合物質、例えば、保護層又は塵の層の下に価値が隠されている物質、を識別することを可能にする。更に、一体化されたデュアルエネルギーＸ線透過（ＤＥ－ＸＲＴ）技術は、オブジェクトの質量を、それらの重さを直接量る必要なしに、直接測定することを可能にする。また、ＤＥ－ＸＲＴ技術は、平均原子番号を直接測定する。（３Ｄレーザ三角測量（３Ｄ－ＬＴ）を使用した）オブジェクト体積及び３Ｄ形状測定によって補完されて、密度がまた導出されることができる。追加的に、又は代替的には、高解像度カラーカメラが設置されることができ、例えば機械学習モデル（例えば、深層学習アルゴリズム）を使用して、構造、パターン、色、形状、テキスト等を識別することを可能にする。幾何学的なアルゴリズムが、異なる視点から記録されるセンサデータの正確なアラインメントの為に使用されうる。

【0060】

一つの観点によれば、本発明は、１以上の物質の特徴付けを行う方法、及び１以上の物質の特徴付けを行う為のシステムであって、該１以上の物質が、より低いエネルギーのＸ線画像とより高いエネルギーのＸ線画像とを少なくとも取得する為のマルチエネルギー画像化を行うように構成されたＸ線センサを備えている知覚システムによってスキャンされる、上記の方法及びシステムを提供する。更に、該画像内の別個の１以上のオブジェクトを分離する為に、該知覚システムによって取得された画像に対してセグメント化が行われることができ、ここで、該セグメント化されたオブジェクトの面積を示すデータが決定される。更に、該セグメント化されたオブジェクトごとに、面積密度を示すデータ及び原子番号を示すデータが、該より低いエネルギーのＸ線画像及び該より高いエネルギーのＸ線画像の分析によって決定されることができ、該面積密度及び原子番号を示す該データは、既知の面積密度及び原子番号を有する異なる物質を用いて、マルチエネルギーＸ線画像化を行うことによって較正されるモデルによって決定される。更に、該セグメント化されたオブジェクトごとに、少なくとも該原子番号を示す該データは、訓練されたニューラルネットワークに対する入力として提供されることができ、ここで、該訓練されたニューラルネットワークが、各セグメント化されたオブジェクトにラベル付けするように構成される。

【0061】

該方法に鑑みて説明された該観点、特徴及びオプションのいずれも、該システム並びに該説明されたリサイクルデバイス及びコンピュータプログラム製品に対して等しく適用されることが認識されるであろう。上記の観点、特徴及びオプションのうちのいずれか１つ以上が組み合わされることができることがまた、明らかであろう。

【0062】

本発明は、図面において表されている例示的な実施態様に基づいて、更に解明されるであろう。該例示的な実施態様は、非制限的な例示として与えられる。図は、非限定的な例として与えられる、本発明の実施態様の略図に過ぎないことに留意されたい。

【図面の簡単な説明】

【0063】

【図1】図１は、システムの実施態様の概略図を示す。

【図2】図２は、システムの実施態様の概略図を示す。

【図3】図３は、特徴付けられた物質の概略図を示す。

【図4-1】図４－１は、データ融合の概略図を示す。

【図4-2】図４－２は、データ融合の概略図を示す。

【図5】図５は、グラフの概略図を示す。

【図6】図６は、セグメント化された画像の概略図を示す。

【図7】図７は、方法の概略図を示す。

【図8】図８は、グラフの概略図を示す。

【図9】図９は、グラフの概略図を示す。

【図10A】図１０Ａは、グラフの概略図を示す。

【図10B】図１０Ｂは、グラフの概略図を示す。

【図11A】図１１Ａは、グラフの概略図を示す。

【図11B】図１１Ｂは、グラフの概略図を示す。

【図12】図１２は、システムの実施態様の概略図を示す。

【図13】図１３は、方法の概略図を示す。

【発明を実施するための形態】

【0064】

図１は、１以上の物質３の特徴付けを行う為のシステム１の実施態様の概略図を示しており、該システム１は、該１以上の物質３をスキャンする為に配置された知覚ユニット５を備えている。該知覚ユニット５は、より低いエネルギーのＸ線画像とより高いエネルギーのＸ線画像とを少なくとも取得する為のマルチエネルギー画像化を行うように構成されたＸ線センサを備えている。該システム１は、該画像内の別個の１以上のオブジェクトを分離する為に、該知覚システム５によって取得された画像のセグメント化を行うこと、ここで、該セグメント化されたオブジェクトの面積を示すデータが決定される、該より低いエネルギーのＸ線画像及び該より高いエネルギーのＸ線画像の分析によって、該セグメント化されたオブジェクトごとに、面積密度を示すデータ及び原子番号を示すデータを決定すること、ここで、該面積密度及び原子番号を示す該データが、既知の面積密度及び原子番号を有する異なる物質を用いて、マルチエネルギーＸ線画像化を行うことによって較正されるモデルによって決定される、該セグメント化されたオブジェクトごとの該面積密度を示す該データ及び該面積を示す該データに基づいて、該セグメント化されたオブジェクトごとに、質量を示すデータを計算すること、並びに、該セグメント化されたオブジェクトごとに、訓練されたニューラルネットワークに対する入力として、少なくとも該原子番号を示す該データを提供すること、ここで、該訓練されたニューラルネットワークが、各セグメント化されたオブジェクトにラベル付けするように構成されており、ここで、該質量を示す該データが、該ラベル付けされたセグメント化されたオブジェクトの各々に関連付けられている、の工程を行うように構成されたコントローラを含む。この例において、該知覚ユニット５及び該１以上の物質３は、矢印Ａによって示されるように、互いに対して移動可能である。このようにして、該知覚ユニットは、該１以上の物質３をスキャンすることができる。例えば、コンベヤベルトが、該知覚ユニット５に沿って該１以上の物質３を案内する為に使用されることができる。しかしながら、該知覚ユニット５が、該１以上の物質３に対して移動されることがまた可能である。

【0065】

本発明は、各セグメント化されたオブジェクトに質量を割り当てることを可能にする。これは、オブジェクトの分類ごとに全質量バランスが割り当てられることができることを意味する。

【0066】

幾つかの例において、該質量は、該訓練されたニューラルネットワークに対する入力として提供されることができる。質量と化学的性質（原子番号を参照）との組み合わせは、該訓練された人工ニューラルネットワークによる、ラベルの良好な予測を提供する。

【0067】

幾つかの例において、該訓練されたニューラルネットワークを使用して、該セグメント化されたオブジェクトの各々に分類が割り当てられた後に、該質量は、少なくとも出力において使用され、該質量は、該質量バランスを作成する為に使用される。

【0068】

図２は、システム１の実施態様の概略図を示す。この例において、任意的な（カラー）カメラ７又は任意的な３Ｄレーザ三角測量ユニット９のうちの少なくとも１つが、該セグメント化されたオブジェクトの各々に結びつけられた付加的な特性を決定することを可能にする為に配置される。従って、幾つかの例において、物質タイプ、質量等に関連する特徴／特性の次に、サイズ、形状、色、テクスチャ、視覚的洞察等のうちの少なくとも１つに基づいて、該識別された及び／又はセグメント化されたオブジェクト間の区別を行うことがまた可能である。そのような情報はまた、仮想実験を可能にしうる。この例において、該知覚ユニット５は、デュアルエネルギーＸ線画像化を行う為の２つのＸ線サブユニット１１ａ、１１ｂを有するＸ線センサ１１を含む。更に、該カメラ７及び３Ｄレーザ三角測量ユニット９は、該知覚ユニット５に一体化される。このようにして、該知覚ユニット５は、例えばコンピュータユニット１３によって、アラインされること及び／又は融合されることができる複数の画像を提供する。異なるカメラ／検出器から取得された画像化データをアラインすること及び／又は融合することは、該セグメント化されたオブジェクトの該特徴／特性のより良好な決定を可能にすることができる。該１以上の物質はセグメント化され、該個々のセグメント化されたオブジェクト３ｉは、該個々のセグメント化されたオブジェクト３ｉの関連する特徴／特性を決定する為に分析される。この例において、以下の特徴１５、すなわち密度、物質、形状、サイズ及び質量、が、セグメント化されたオブジェクトごとに決定される。特徴の他のセットがまた可能であることが認識されるであろう。該データから、該セグメント化されたオブジェクトの各々の（相対的な）重量（割合）を導出することがまた可能である。

【0069】

本発明に従うシステムは、１以上の物質の特徴付けにおいて、より高速で且つより自律的であることができ、一方で、人間からのより少ない（労働集約的な）入力を要求する。該システムは、廃棄物特徴付けの用途において、重要な利点を提供することができる。

【0070】

異なる（画像の）廃棄物粒子を認識し、それらを異なるカテゴリに分類するモデルを開発する為に、機械学習モデルは、多くの画像をその機械学習モデルに示すことによって訓練されることができ、各画像は、その中に何があるかを説明するラベルを伴う。全てのデータが予めラベル付けされる慣用的なアプローチは、教師付き学習として知られている。このラベル付けされたデータは、機械学習アルゴリズムの燃料を表す。廃棄物特徴付け技術の場合、ラベル付けされたデータは、物理的な「純粋な」単一物質ストリームをスキャンすることによって典型的に生成されることができ、この単一物質ストリームは、不均一な廃棄物ストリームから数千の個々の粒子を逐一選択することによって手動で準備されることが多い。

【0071】

廃棄物の該特徴付けは、リサイクル産業（recycling industry）において幾つかの重要な用途を有する。廃棄物の特徴付けは、価値評価の為に使用されることができる。完全な物質ストリームの高速で信頼性の高い価値評価は、商品株式市場の変動性にさらされるリスクを減少させる。更に、廃棄物の特徴付けは、品質管理の為に使用されることができる。循環型経済においては、リサイクルされた製品の品質が保証されることが望まれる。該特徴付け技術は、市場の信頼を確立することに役立つ。更に、該特徴付け技術は、プロセスエンジニアリングの為に使用されることができる。廃棄物リサイクルプロセスの技術的及び経済的な実現可能性、並びに仮想実験による新しいプロセスの設計が、評価されることができる。更に、該特徴付け技術は、オンラインプロセス最適化の為に使用されることができる。選別プロセスが、オンザフライで測定され、制御され、最適化されることができる。

【0072】

本発明は、物質を質的にも（物質タイプ、化学的性質、純度等）定量的にも（質量バランス、物理的性質等）評価する、直接的なインライン特徴付け技術を提供することができる。そのようなインライン特徴付けシステムは、不均一で複雑な物質ストリームを完全に評価するように構成されることができ、サブサンプリングの必要を除去する。更に、質量バランスがオンザフライで生み出されることができる。実際に、物質オブジェクトごとに、仮想的な手法で更に評価されることができるデジタルツインが作成されることができる。

【0073】

図３は、本発明に従う方法を使用した、特徴付けられた物質の概略図を示す。異なるオブジェクト３ｉがセグメント化され、関連する特性／特徴が決定される。情報は、例えば一般的なユーザインターフェースを使用して、提示されることができる。この例において、該特徴は、質量、体積、直径、形状、及びテクスチャを包含する。更に、該訓練されたニューラルネットワークによって決定されたラベル１７がまた提供されることができる。この例においては、２つのラベル１７、すなわち、オブジェクトタイプ（例えば、ボトル、カメラ、ヘッドホン等）及び物質（例えば、ＰＥＴ、物質の組成等）、が提供される。他の特徴及び／又はラベルがまた可能であることが認識されるであろう。

【0074】

図４は、データ融合の概略図を示す。この例において、該知覚ユニット５は、複数の画像化センサ、すなわちＲＧＢカラーカメラ、高さセンサ（例えば、レーザ三角測量、又は３Ｄカメラ）、及びＸ線センサ（例えば、低いエネルギーのＸ線画像及び高いエネルギーのＸ線画像を提供するデュアルエネルギーＸ線センサ）、を含む。２つの別個のセンサを使用する代わりに、２つの別個のセンサを一体化することが可能であることが認識されるであろう。例えば、３Ｄカメラは、高さ情報とＲＧＢカラー画像との両方を提供する為に使用されることができる。融合された画像１９は、該画像化ユニット５の異なるセンサ又はサブユニットからの、取得された画像であることができる。

【0075】

Ｘ線の吸収率は、Ｘ線画像化によって測定される。Ｘ線の吸収率は、特定の物質の質量に比例することができる。しかしながら、高い吸収率を有する比較的薄い物質（例えば、鉛）は、小さい吸収率を有する非常に厚い物質と同様のＸ線画像を与えることができる。より低いエネルギー画像及びより高いエネルギー画像は、そのような場合の間で区別を行う為に使用されることができ、物質の区別を可能にする。

【0076】

複数のセンサ（例えば、ＸＲＴ及び３ＤＬＴ）を組み合わせることによって、セグメント化されたオブジェクトの物理的／化学的性質が決定されること又は直接測定されることができる。該測定された及び／又は決定された特性は、ラベルを提供する為に機械学習モデルに対する入力として提供されることができる。複雑で不均一な物質ストリームの値及び組成が定量化されることができ、現行のサンプリング手順及び分析手順と比較して、リサイクル企業にとってコスト及び時間の節約をもたらす。

【0077】

図５は、異なる物質タイプについての予測された質量に対して実際の質量がプロットされているグラフの概略図を示す。より低いエネルギーのＸ線画像及びより高いエネルギーのＸ線画像に基づいて該質量を決定する為のモデルが正確な結果を提供することが分かる。質量相対誤差（mass relative error）は、１５パーセント未満である。

【0078】

図６は、セグメント化された画像の概略図を示す。オブジェクト３ｉのセグメント化は、境界ボックス２０によって視覚化される。該ボックス２０は、この例において矩形であるが、他の形状がまた可能である。他のセグメント化技法がまた可能である。例えば、該識別されたオブジェクト３ｉの輪郭をセグメント化することがまた可能である。該セグメント化されたオブジェクト３ｉごとに、１以上の特徴／特性が決定されることができる。これらの特性は、用途固有のラベルを提供する為に、該訓練されたニューラルネットワークに対して供給されることができる。

【0079】

図７は、方法３０の概略図を示す。第１の工程３１において、該１以上の物質の該オブジェクト又は構成要素が識別され、セグメント化される。これは、オブジェクト検出アルゴリズム及び／又はセグメント化アルゴリズムによって行われることができる。画像は、該知覚ユニット５を使用して取得される。該セグメント化されている獲得された画像は、異なる画像のアラインメント及び／又は融合を行った後に取得されること、例えば、該知覚ユニット５の異なるセンサ又はサブユニットから到来すること、がまた可能である。この例において、ボックス２０は、該セグメント化されたオブジェクト３ｉの周囲に提供される。第２の工程３３において、特性／特徴１５が、該セグメント化されたオブジェクト３ｉごとに決定される。この例において、質量、体積及び原子番号が決定される。データは、ラベル１７を出力として取得する為に、該訓練されたニューラルネットワーク２５に対する入力として提供されることができる。この例において、該訓練されたニューラルネットワークは、深層学習モデルである。しかしながら、他の機械学習モデルがまた使用されることができる。幾つかの例において、人工ニューラルネットワークの代わりに、代替的な回帰モデルが使用される。

【0080】

図８は、グラフの概略図を示す。該複数の識別されたセグメント化されたオブジェクト３ｉは、各クラスタが同様の特徴及び／又は特性を有する構成要素を含むように、１以上のクラスタへと分割されることができる。該オブジェクトは、このようにしてグループ化されることができ、該１以上の物質（例えば、廃棄物ストリーム）の組成において、より多くの洞察を提供する。この例においては、密度及び原子番号を考慮に入れた２Ｄクラスタが提供される。様々な他のクラスタグラフが可能であることが認識されるであろう。

【0081】

本発明は、オブジェクト／構成要素レベルでの物質ストリーム特徴付けを可能にする。粒子サイズ分布又は質量バランスに加えて、特製の品質メトリックが、該１以上の物質（例えば、物質ストリーム）の個々のオブジェクトの（直接測定された）物理的性質に基づいて定義されることができる。そうすることで、本技術は、物理的な物質ストリームのデジタルツインを構築し、仮想実験、新しい洞察及びより良好な価値評価を可能にする。本発明は、選別工程の必要なしに、高い分類精度及び正確な質量バランスで、不均一な廃棄物ストリームの選別を可能にする。

【0082】

図９は、図８のグラフと同様のグラフの概略図を示す。この例においては、該複数の識別されたセグメント化されたオブジェクト３ｉが、該グラフに示されており、特徴付けられている該１以上の物質の組成における、より視覚的な洞察を可能にする。

【0083】

図１０Ａ及び図１０Ｂは、デュアルエネルギーＸ線透過及びマルチエネルギーＸ線透過に関連するグラフの概略図を示す。該グラフにおいて、該透過は、異なるセグメント化されたオブジェクト３ｉについてのエネルギーに対してプロットされている。

【0084】

（Ｘ線）光子が物質を通過するとき、それらの一部は該物質と相互作用し、一方で、別の部分は相互作用しない。この最後の部分、すなわち透過された部分、は、Ｘ線透過（ＸＲＴ：Ｘ－Ｒａｙ Ｔｒａｎｓｍｉｓｓｉｏｎ）画像化において検出器が取り込むものである。画像化されるべきオブジェクトは、源と検出器との間に位置する。

【0085】

或る物質による透過されるＸ線の量は、１）物質（化学組成、原子番号）、２）密度（ρ）、３）厚さ（ｄ）及び４）光子のエネルギー（Ｅ）に依存する。

【0086】

これは、上記の図１０Ａに反映されており、図１０Ａにおいては、異なる物質について、光子の透過が、Ｘ線光子エネルギーに対してプロットされている。物質の異なる分光透過率のおかげで、我々は、複数のエネルギーを使用して物質を画像化する場合に、異なる物質を区別することができる。

【0087】

例えば、デュアルエネルギーＸＲＴ（ＤＥ－ＸＲＴ：dual energy XRT）の場合において、各センサピクセルは、エネルギースペクトルの２つの部分において感知することになり、それ故に、低エネルギー信号及び高エネルギー信号を生成することになる。該低エネルギー信号は、或る閾値未満の全ての光子を一体化し、一方で、該高エネルギー信号は、Ｘ線と該閾値を超えたエネルギーとを一体化する。該エネルギースペクトルの低い部分の透過及び高い部分の透過を測定することによって、平均原子番号（Ｚ）及び面積密度（ρｄ）（密度×厚さ）を計算することが可能である。

【0088】

図から分かるように、或る物質の透過スペクトルは、個々の低下を示す（或る物質の透過スペクトルはまた、ピークを有するが、これらは描かれていない）。これらの低下（該Ｘ線光子エネルギー）の位置は、化学元素についての特性であり、一方で、該低下の高さは、その物質の量に対応する。それ故に、複数のエネルギービン（２を超える）を導入し、マルチエネルギーＸ線透過を行うことによって、これらの低下の一部又は全部に着目することが可能になり、それ故に、該低下の該位置及び該高さを調べることによって、スキャンされた物質の化学（元素）組成を定量的に決定することが可能になる。

【0089】

デュアルエネルギーは、或る範囲内（例えば、原子番号４０まで）で、平均原子番号を測定することが可能である。しかしながら、マルチエネルギー透過は、この範囲をより大きい原子番号へと大きく拡大することができる。また、特定の低下に着目することによって、マルチエネルギーＸＲＴは、特定の化学元素に着目し、物質中に存在するその元素の量を定量的に決定することを可能にする。これについての既知の技法のうちの１つは、Ｋエッジ画像化である。

【0090】

図１０Ｂにおいて、面積密度（ρｄ）（密度×厚さ）の効果が描かれている。該密度が大きいほど、又は該物質が厚いほど、透過率は低くなる。しかしながら、該低下の場所は同じままである。該低下の相対的な高さがまた非常に類似している。

【0091】

図１１Ａ及び図１１Ｂは、デュアルエネルギーＸ線透過及びマルチエネルギーＸ線透過に関連するグラフの概略図を示す。図１１Ａにおいて、低エネルギー画像及び高エネルギー画像が示されている。図１１Ｂにおいて、高エネルギー透過が、異なるセグメント化されたオブジェクト３ｉについて、低エネルギー透過に対してプロットされている。

【0092】

図１１Ａにおいて、当業者はＰｂ含有量の増加の影響が分かる。該低下の位置は一定のままであるが、該低下の高さは、Ｐｂ含有量の増加と共に増加する。この効果は、マルチエネルギー画像化、例えばｋエッジ画像化、を使用して、物質の化学組成を定量的に決定することを可能にする。ＤＥ－ＸＲＴ較正スキャンに基づいて、ＬＥ、ＨＥ及びＺ間の以下の関係が導出されることができる。これは、ＬＥ及びＨＥの測定に基づいて、図１１Ｂに例示されるように、平均原子番号を導出することを可能にする。同様に、ρｄとの関係が導出されることができる。

【0093】

較正期間中に、物質のその原子番号及び密度が既知である該物質が採取されうる。該グラフは、該低エネルギーＸ線画像及び高エネルギーＸ線画像について、原子番号及び表面密度が何であるかを示す。面積密度が、セグメント化されたオブジェクトに一体化される又は追加される場合、該オブジェクトの質量が計算されることができる。

【0094】

図１２は、システム１００の実施態様の概略図を示す。該システム１００は、該廃棄物ストリーム内の該区別された異なる物質に関連する情報に基づいて、プロセスパラメータを制御するように構成されることができる。該システム１００は、プロセス制御の為にリアルタイムのプロセス情報を提供するように構成されることができる。例えば、あるプロセスにおいて、特徴付け工程の後に、例えば、複数の異なる物理的な分離工程を含む、境界線が存在する場合。どの入力が到来するかに基づいて、該パラメータ（例えば、速度帯域、機械の設定）は、より良好な分離を達成する為に、入力として何が提示されるかに基づいて調整されることができる。

【0095】

本発明は、バルク固形廃棄物ストリームの為の直接的なインライン特徴付け技術を提供しうる。特徴付けは、異なるセンサ（Ｘ線、３Ｄレーザ及び色）並びに人工知能を利用して、産業上関連する分析論に関連付けられた、該１以上の物質（例えば、物質ストリーム）のオブジェクト／構成要素レベルのビッグデータを伝えることができる。

【0096】

図１３は、１以上の物質の特徴付けを行う方法１０００の概略図を示す。第１の工程１００１において、該１以上の物質は、より低いエネルギーのＸ線画像とより高いエネルギーのＸ線画像とを少なくとも取得する為のマルチエネルギー画像化を行うように構成されたＸ線センサを備えている知覚システムによってスキャンされる。第２の工程１００２において、該画像内の別個の１以上のオブジェクトを分離する為に、該知覚システムによって取得された画像に対してセグメント化が行われ、該セグメント化されたオブジェクトの面積を示すデータが決定される。第３の工程１００３において、該セグメント化されたオブジェクトごとに、面積密度を示すデータ及び原子番号を示すデータが、該より低いエネルギーのＸ線画像及び該より高いエネルギーのＸ線画像の分析によって決定され、該面積密度及び原子番号を示す該データは、既知の面積密度及び原子番号を有する異なる物質を用いて、マルチエネルギーＸ線画像化を行うことによって較正されるモデルによって決定される。第４の工程１００４において、該セグメント化されたオブジェクトごとに、質量を示すデータが、該セグメント化されたオブジェクトごとの該面積密度を示す該データ及び該面積を示す該データに基づいて計算される。第５の工程１００５において、該セグメント化されたオブジェクトごとに、少なくとも該原子番号を示す該データが、訓練されたニューラルネットワークに対する入力として提供され、ここで、該訓練されたニューラルネットワークが、各セグメント化されたオブジェクトにラベル付けするように構成され、ここで、該質量を示す該データが、該ラベル付けされたセグメント化されたオブジェクトの各々に関連付けられている。

【0097】

Ｘ線画像化ユニットを使用して質量に関する知識を有することは、物質特徴付けにおいて、十分な利点をもたらすことができる。そのような特徴付けは、複雑で不均一なストリームに対してさえ実行されうる（例えば、廃棄物物質ストリームを選別する用途）。

【0098】

様々なニューラルネットワークモデル及び／又はニューラルネットワークアーキテクチャが使用されることができる。ニューラルネットワークは、センサデータ及び／又は前処理されたデータ（該セグメント化されたオブジェクトの決定された特徴特性を参照）を処理する、例えば分類する、為の能力を有する。ニューラルネットワークは、コンピュータ化されたシステムにおいて実装されることができる。ニューラルネットワークは、複雑なデータ入力を処理する為に様々な機械学習アルゴリズムの為のフレームワークとしての役割を果たすことができる。そのようなニューラルネットワークシステムは、一般に、いかなるタスク固有の規則がまたプログラムされずに、例を考慮することによってタスクを行うことを「学習し」うる。ニューラルネットワークは、ニューロンと呼ばれる、接続されたユニット又はノードの集合に基づくことができる。各接続は、該ニューラルネットワークにおいて、あるニューロンから別のニューロンへ信号を送信することができる。信号を受信したニューロンは、その信号を処理し、次に、そのニューロンに接続された付加的なニューロンへ信号を送ることができる（アクティブ化を参照）。各ニューロンの出力は、その入力の合計の何らかの非線形関数によって典型的に計算される。該接続は、学習が進むにつれて調整されるそれぞれの重みを有することができる。他のパラメータ、例えばバイアス、がまたありうる。典型的に、該ニューロンは、層へアグリゲートされる。異なる層は、深層ニューラルネットワークを形成する為に、それらの入力に対して異なる種類の変換を行いうる。

【0099】

深層学習ニューラルネットワークは、複数のレベルの表現を有する表現学習方法として考慮されることができ、複数のレベルの表現は、未加工の入力から始まる１つのレベルにおける表現を、より高い、わずかにより抽象的なレベルにおける表現へと各々が変換する、単純だが非線形のモジュールを構成することによって取得されることができる。該ニューラルネットワークは、慣用的な方法又は古典的な方法を使用して見ることが困難なパターンを識別しうる。従って、或る印刷条件において構造を印刷する問題に固有のカスタムコードを書き込む代わりに、該ネットワークは、例えば分類アルゴリズムを使用して、異なる及び／又は変化する構造印刷条件を取り扱うことができるように訓練されることができる。訓練データは、該ニューラルネットワークが印刷プロセスを効率的に制御する為の分類ロジックを決定することができるように、該ニューラルネットワークに対して供給されうる。

【0100】

方法の特定の工程が、別の工程に続くものとして言及される場合、その特定の工程は、上記他の工程に直接続くことができること、又は、特に指定がない限り、１以上の中間工程が、該特定のステップを実行する前に実行されうることが、更に理解されるであろう。同様に、構成要素、例えば該ニューラルネットワークのニューロン、の間の接続が説明される場合、この接続は、特に指定がない限り又は文脈によって除外されない限り、直接確立されうること、又は中間構成要素、例えば他のニューロン若しくは論理演算、を通じて確立されうることが、理解されるであろう。

【0101】

該方法はコンピュータ実装工程を含みうることが認識されるであろう。上記に言及された全ての工程は、コンピュータ実装工程であることができる。実施態様は、コンピュータ装置を備えうるものであり、方法は、コンピュータ装置において行われる。本発明は、コンピュータプログラム、特には、本発明を実施する為に適合された、担体上又は担体内のコンピュータプログラム、にまた及ぶ。該プログラムは、本発明に従う方法の実装における使用に好適なソースコード若しくはオブジェクトコード又は任意の他の形態でありうる。該担体は、該プログラムを担持することができる任意のエンティティ又はデバイスでありうる。例えば、該担体は、記憶媒体、例えばＲＯＭ、例えば半導体ＲＯＭ又はハードディスク、を備えうる。更に、該担体は、送信可能な担体、例えば電気ケーブル若しくは光ケーブルを介して、又は無線若しくは他の手段によって、例えばインターネット若しくはクラウドを介して、伝達されうる電気信号又は光信号、でありうる。

【0102】

幾つかの実施態様は、例えば、機械又は有形のコンピュータ可読媒体又は物品を使用して、実装されうるものであり、機械又は有形のコンピュータ可読媒体又は物品は、機械によって実行された場合に、該機械に、該実施態様による方法及び／又は動作を行わせうる命令又は命令のセットを記憶しうる。

【0103】

様々な実施態様は、ハードウェア要素、ソフトウェア要素、又は両方の組み合わせを使用して実装されうる。ハードウェア要素の例は、プロセッサ、マイクロプロセッサ、回路、特定用途向け集積回路（ＡＳＩＣ：application specific integrated circuits）、プログラマブル論理デバイス（ＰＬＤ：programmable logic devices）、デジタル信号プロセッサ（ＤＳＰ：digital signal processors）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：field programmable gate array）、ロジックゲート、レジスタ、半導体デバイス、マイクロチップ、チップセットなどを包含しうる。ソフトウェアの例は、ソフトウェア構成要素、プログラム、アプリケーション、コンピュータプログラム、アプリケーションプログラム、システムプログラム、機械プログラム、オペレーティングシステムソフトウェア、モバイルアプリ、ミドルウェア、ファームウェア、ソフトウェアモジュール、ルーチン、サブルーチン、関数、コンピュータ実装方法、プロシージャ、ソフトウェアインターフェース、アプリケーションプログラムインターフェース（ＡＰＩ：application program interfaces）、方法、命令セット、コンピューティングコード、コンピュータコードなどを包含しうる。

【0104】

グラフィック及び／又は画像／ビデオ処理技法が、様々なハードウェアアーキテクチャにおいて実装されうる。グラフィック機能性は、チップセット内に一体化されうる。代替的に、別個のグラフィックスプロセッサが使用されうる。例えば、画像（静止又はビデオ）の処理は、グラフィックサブシステム、例えば、グラフィック処理ユニット（ＧＰＵ）又は視覚処理ユニット（ＶＰＵ）、によって行われうる。また別の実施態様として、グラフィック又は画像／ビデオ処理機能は、例えばマルチコアプロセッサを含む、汎用プロセッサによって実装されうる。更なる実施態様において、該機能は、家電デバイスにおいて実装されうる。異なるハードウェアアーキテクチャの組み合わせを使用した、実施態様が可能である。

【0105】

本明細書において、本発明は、本発明の実施態様の特定の例を参照して説明されている。しかしながら、本発明の本質から逸脱せずに、様々な変形例、バリエーション、代替例及び変更が行われうることは明白であろう。明確さ及び簡潔な説明の目的の為に、特徴が、同じ又は別の実施態様の一部として本明細書において説明されているが、これらの別の実施態様において説明されている該特徴の全部又は一部の組み合わせを有する代替的実施態様がまた、特許請求の範囲によって概説されるような、本発明のフレームワーク内に収まるものと予期され、理解される。従って、明細書、図及び例は、制限的な意味においてではなく、例示的な意味において考えられるべきものである。本発明は、添付の特許請求の範囲の趣旨及び範囲内に収まる、あらゆる代替例、変形例及びバリエーションを網羅するように意図されている。更に、説明されている要素の多くは、別個の構成要素若しくは分散された構成要素として、又は、任意の適切な組み合わせ及び位置において他の構成要素と共に、実装されうる、機能的エンティティである。

【0106】

特許請求の範囲において、括弧内に配置されたいかなる参照符号がまた、請求項を限定するものとして解釈されるべきではない。語「備えている」は、請求項において列挙されている特徴又は工程以外の、他の特徴又は工程の存在を除外しない。更に、語「１つ」（a）及び「１つ」（an）は、「１つのみ」（only one）に限定されるものとして解釈されるべきでなく、代わりに、「少なくとも１つの」を意味する為に使用されており、複数を除外しない。或る方策が、互いに異なる請求項において記載されているという単なる事実は、これらの方策の組み合わせが有利に使用されることができないことを示さない。

【図1】

【図2】

【図3】

【図4-1】

【図4-2】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11A】

【図11B】

【図12】

【図13】