特表 2024-527702 移動物体の化学成分の自動検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-26

(54)【発明の名称】移動物体の化学成分の自動検出

(51)【国際特許分類】

   G01N 21/27 20060101AFI20240719BHJP

   G06T 7/00 20170101ALI20240719BHJP

【ＦＩ】

G01N21/27 A

G06T7/00 350C

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023578905

(86)(22)【出願日】2022-07-12

(85)【翻訳文提出日】2024-02-21

(86)【国際出願番号】 US2022036828

(87)【国際公開番号】W WO2023003727

(87)【国際公開日】2023-01-26

(31)【優先権主張番号】17/383,293

(32)【優先日】2021-07-22

(33)【優先権主張国・地域又は機関】US

(31)【優先権主張番号】17/811,766

(32)【優先日】2022-07-11

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】516326438

【氏名又は名称】エックス デベロップメント エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】ローゼンフェルド，ダニエル

(72)【発明者】

【氏名】ホリデイ，アレクサンダー

(72)【発明者】

【氏名】マーフィー，ガロイド

(72)【発明者】

【氏名】ジャオ，アレン リチャード

(72)【発明者】

【氏名】マー，ホンシュー

(72)【発明者】

【氏名】ベフロージ，サイラス

(72)【発明者】

【氏名】ヴェルデンバーグ，デレク

(72)【発明者】

【氏名】ジャコー，ジイ

(72)【発明者】

【氏名】チェルネジキ，ヴァディム

【テーマコード（参考）】

2G059

5L096

【Ｆターム（参考）】

2G059AA01

2G059BB08

2G059BB11

2G059EE01

2G059EE02

2G059EE12

2G059FF01

2G059HH01

2G059HH02

2G059HH03

2G059KK04

2G059MM01

2G059MM03

2G059MM05

2G059MM09

2G059MM10

5L096AA02

5L096AA06

5L096CA02

5L096DA01

5L096DA02

5L096EA12

5L096EA39

5L096FA02

5L096FA32

5L096FA33

5L096GA51

5L096HA11

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

【課題】 画像に描かれているもの及び描かれた要素の特性をより確実かつ正確に検出することである。
【解決手段】 １つ以上の物体が複数の波長帯域の各々で光を反射、散乱、又は吸収する程度を示す画像データが取得され、画像データは、コンベヤベルトが物体（複数可）を移動させている間に収集された。画像データは、周波数にわたる分析を実行すること、及び／又は空間次元の表現にわたる分析を実行することによって前処理される。画像前処理された画像データを使用して、特徴値のセットが生成される。機械学習モデルは、特徴値を使用して出力を生成する。出力を使用して、１つ以上の物体中の化学物質の同一性又は物体（複数可）中の１つ以上の化学物質のレベルの予測が生成される。物体（複数可）における化学物質の同一性の予測、又は１つ以上の物体のうちの少なくとも１つにおける１つ以上の化学物質のレベルを示すデータが出力される。
【選択図】図１

【特許請求の範囲】

【請求項1】

１つ以上のコンピュータによって実施される方法であって、前記方法が、
前記１つ以上のコンピュータによって、リサイクルライン原料中の１つ以上の物体が複数の波長帯域の各々において光を反射、散乱、又は吸収する程度を示す画像データであって、前記画像データが、コンベヤベルトが前記１つ以上の物体を移動させている間に収集されたものである、前記画像データを取得することと、
前記画像データを前処理して、前処理された画像データを生成することであって、前記前処理が、周波数にわたる分析を実行すること、及び／又は空間次元の表現にわたる分析を実行することを含む、前処理された画像データを生成することと、
前記１つ以上のコンピュータによって、前記前処理された画像データから導出される特徴値のセットを生成することと、
前記１つ以上のコンピュータによって、かつ機械学習モデルへの入力として提供される前記特徴値のセットに応じて前記機械学習モデルによって生成される出力に基づいて、前記１つ以上の物体における化学物質の同一性又は前記１つ以上の物体における１つ以上の化学物質のレベルの予測であって、前記予測が、汚染物質若しくは特定のタイプのプラスチックの同一性又は汚染物質若しくは特定のタイプのプラスチックのレベルを含む、前記予測を生成することと、
前記１つ以上のコンピュータによって、前記１つ以上の物体中の前記化学物質の前記同一性又は前記１つ以上の物体中の前記１つ以上の化学物質の前記レベルの前記予測を示すデータを提供することと、を含む、方法。

【請求項2】

前記画像データを前処理することが、
１つ以上の基準画像データセットを使用して、前記ハイパースペクトルデータを正規化することを含む、請求項１に記載の方法。

【請求項3】

前記画像データを前処理することが、
前記画像データを使用して導関数を生成することと、
閾値を識別することと、
前記画像データの前記導関数及び前記閾値を使用して、閾値交差分析を実行することと、を含む、請求項１に記載の方法。

【請求項4】

前記画像が、カメラによって収集されたものであり、前記カメラが、
レンズであって、前記レンズの光軸が前記コンベヤベルトの表面に対して４０～５０度であるように位置付けられる、レンズ、又は
画像センサであって、前記画像センサの光軸が前記コンベヤベルトの表面に対して４０～５０度であるように位置付けられた画像センサ
を有する、請求項１に記載の方法。

【請求項5】

前記画像が、カメラによって収集されたものであり、前記カメラが、
レンズであって、前記レンズの光軸が前記コンベヤベルトの表面に対して８５～９５度であるように位置付けられる、レンズ、又は
画像センサであって、前記画像センサの光軸が前記コンベヤベルトの表面に対して８５～９５度であるように位置付けられた画像センサ
を有する、請求項１に記載の方法。

【請求項6】

前記画像が、カメラによって収集されたものであり、前記カメラが、
レンズであって、前記レンズの光軸が前記コンベヤベルトの表面に対して１５度未満であるように位置付けられる、レンズ、又は
画像センサであって、前記画像センサの光軸が前記コンベヤベルトの表面に対して１５度未満であるように位置付けられた画像センサ
を有する、請求項１に記載の方法。

【請求項7】

方法であって、
前記画像データが、前記コンベヤベルトの寸法に沿った位置のセットのうちの各位置について、及び周波数のセットのうちの各周波数について、前記位置及び周波数に対応する反射率、吸収率、又は吸光度を識別する値を含み、
前記方法が、セグメンテーション技術を使用して、前記位置のセットのサブセットを特定の物体に対応するものとして識別することを更に含み、
前記特徴値のセットを生成することが、前記位置のセットの前記サブセットに対応する前記画像データの一部から導出される前記特徴値のセットを生成することを含む、請求項１に記載の方法。

【請求項8】

前記特徴値のセットを生成することが、
カーネルのセットにアクセスすることと、
前記カーネルのセットの各々を使用して、前記前処理された画像データの１つ以上の部分の各々を畳み込むことと、を含む、請求項１に記載の方法。

【請求項9】

前記カーネルのセットのうちの少なくとも１つの各々が、化学物質の特定のセットに対応する周波数シグネチャを含む、請求項８に記載の方法。

【請求項10】

前記画像データが、ハイパースペクトル画像データを含む、請求項１に記載の方法。

【請求項11】

前記プラスチック物体の少なくとも１つにおける前記化学物質の前記予測された同一性に基づいて、又は前記プラスチック物体の少なくとも１つにおける前記１つ以上の化学物質の予測された前記レベルに基づいて、廃棄物流からプラスチック物体を選別することを含む、請求項１に記載の方法。

【請求項12】

前記機械学習モデルが決定木又はニューラルネットワークである、請求項１に記載の方法。

【請求項13】

前記画像データを前処理することが、前記機械学習と同じ計算ワークフローにおいて実行される、請求項１に記載の方法。

【請求項14】

前記予測が、前記１つ以上の物体のうちの１つの物体内の主要コンポーネントの同一性の予測である、請求項１に記載の方法。

【請求項15】

システムであって、
１つ以上のコンピュータと、
前記１つ以上のコンピュータによって実行されると、前記システムに動作を実行させるように動作可能な命令を記憶する１つ以上のコンピュータ可読媒体であって、前記動作が、
１つ以上の物体が複数の波長帯域の各々において光を反射、散乱、又は吸収する程度を示す画像データであって、前記画像データが、コンベヤベルトが前記１つ以上の物体を移動させている間に収集される、前記画像データを取得することと、
前記画像データを前処理して、前処理された画像データを生成することであって、前記前処理が、周波数にわたる分析を実行すること、及び／又は空間次元の表現にわたる分析を実行することを含む、前処理された画像データを生成することと、
前記前処理された画像データから導出される特徴値のセットを生成することと、
機械学習モデルへの入力として提供される前記特徴値のセットに応じて前記機械学習モデルによって生成される出力に基づいて、前記１つ以上の物体における化学物質の同一性又は前記１つ以上の物体における１つ以上の化学物質のレベルの予測を生成することと、
前記１つ以上の物体中の前記化学物質の前記同一性又は前記１つ以上の物体中の前記１つ以上の化学物質の前記レベルの前記予測を示すデータを提供することと、を含む、システム。

【請求項16】

前記画像データを前処理することが、
１つ以上の基準画像データセットを使用して、前記ハイパースペクトルデータを正規化することを含む、請求項１５に記載のシステム。

【請求項17】

前記画像データを前処理することが、
前記画像データを使用して導関数を生成することと、
閾値を識別することと、
前記画像データの前記導関数及び前記閾値を使用して、閾値交差分析を実行することと、を含む、請求項１５に記載のシステム。

【請求項18】

前記画像が、カメラによって収集されたものであり、前記カメラが、
レンズであって、前記レンズの光軸が前記コンベヤベルトの表面に対して４０～５０度であるように位置付けられる、レンズ、又は
画像センサであって、前記画像センサの光軸が前記コンベヤベルトの表面に対して４０～５０度であるように位置付けられた画像センサ
を有する、請求項１５に記載のシステム。

【請求項19】

前記画像が、カメラによって収集されたものであり、前記カメラが、
レンズであって、前記レンズの光軸が前記コンベヤベルトの表面に対して８５～９５度であるように位置付けられる、レンズ、又は
画像センサであって、前記画像センサの光軸が前記コンベヤベルトの表面に対して８５～９５度であるように位置付けられた画像センサ
を有する、請求項１５に記載のシステム。

【請求項20】

前記１つ以上のコンピュータによって実行された場合に、前記システムに動作を実行させるように動作可能な命令を記憶する１つ以上の非一時的コンピュータ可読媒体であって、前記動作が、
１つ以上の物体が複数の波長帯域の各々において光を反射、散乱、又は吸収する程度を示す画像データであって、前記画像データが、コンベヤベルトが前記１つ以上の物体を移動させている間に収集される、前記画像データを取得することと、
前記画像データを前処理して、前処理された画像データを生成することであって、前記前処理が、周波数にわたる分析を実行すること、及び／又は空間次元の表現にわたる分析を実行することを含む、前処理された画像データを生成することと、
前記前処理された画像データから導出される特徴値のセットを生成することと、
機械学習モデルへの入力として提供される前記特徴値のセットに応じて前記機械学習モデルによって生成される出力に基づいて、前記１つ以上の物体における化学物質の同一性又は前記１つ以上の物体における１つ以上の化学物質のレベルの予測を生成することと、
前記１つ以上の物体中の前記化学物質の前記同一性又は前記１つ以上の物体中の前記１つ以上の化学物質の前記レベルの前記予測を示すデータを提供することと、を含む、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２２年７月１１日に出願された米国特許出願第１７／８１１，７６６号及び２０２１年７月２２日に出願された米国特許出願第１７／３８３，２９３号の利益及び優先権を主張し、これらは、あらゆる目的のためにその全体が参照により本明細書に組み込まれる。

【0002】

本明細書は、概して、移動物体のハイパースペクトル画像を収集し、自動的に分析することに関する。より具体的には、移動物体のハイパースペクトル画像が収集され、特徴が抽出され、機械学習モデルが、特徴を使用して描かれた物体の１つ以上の構成要素の各々を予測するために使用される。

【背景技術】

【0003】

コンピュータビジョンは、画像を自動的に処理して（例えば）画像内に何が描かれているかを予測するために使用することができる。様々な状況が、この自動化された処理に複雑さを導入し得る。例えば、場合によっては、１つの物体（又は動物、植物など）が別の物体（又は動物、植物など）の前にあり、別の物体を部分的に不明瞭にする。別の例として、物体の描写が、物体の１つの典型的な特性とは異なる形状、テクスチャ、色などを有するような遠近問題が生じ得る。更に別の例として、環境の照明、又はカメラによって見られるような光源の輝度は、別の日に対して所与の日において異なり得る（又は別の環境若しくはカメラに対して異なり得る）が、これは、描写されているものを正確に特徴付けるためにキャプチャされた画像からの強度及び／又は周波数データを使用するための努力を複雑にし得る。

【0004】

画像セグメンテーションは、特定の部分に属するピクセルが同様の特徴を共有するように、画像を意味のある部分に分割するデジタル画像処理の技術である。これは、画像内の物体の形状及び境界を定義することによって、デジタル画像の分析を可能にする。画像セグメンテーションは、自律車両、医療画像診断、及び衛星撮像などの複数の領域で広く使用されている。しかしながら、画像セグメンテーションは、画像処理の現実世界の複雑さ（例えば、上述したものなど）が生じるとき、可能性が低く、及び／又は正確さが低くなり得る。

【0005】

画像処理システム及び技術が、画像に描かれているもの及び描かれた要素の特性をより確実かつ正確に検出することができるように改善されれば有利であろう。

【発明の概要】

【0006】

本明細書で説明される主題の１つの革新的な態様によれば、コンピュータシステムは、ハイパースペクトル画像を使用して、以前の手法よりも高い精度及び効率で画像セグメンテーションを実行することができる。ハイパースペクトル画像は、波長が異なる複数の光帯域（例えば、「波長帯域」、「スペクトル帯域」、又は単に「帯域」）についての被写体に関する画像データを提供し、従来のカラー画像又はグレースケール画像よりも著しく多くの情報を含む。この情報は多くの形態で提供され、多くの場合、典型的なＲＧＢ画像よりも多くの帯域を含み、従来のＲＧＢベイヤーフィルタ帯域よりも狭いスペクトル帯域に関する情報を含み、可視範囲外の帯域（例えば、赤外線、紫外線など）に関する情報も含む。

【0007】

しかしながら、ハイパースペクトル画像の波長帯域の全てが、セグメント化される各タイプの境界に関連するわけではない。結果として、撮像される物体のタイプ及びその特性（例えば、材料、組成、構造、テクスチャなど）に応じて、異なるハイパースペクトル波長帯域に対する画像データは、領域境界を示し得る。同様に、いくつかの物体タイプ及び領域タイプに関して、いくつかの波長帯域に関する情報は、ノイズを追加するか、又は所望の境界を実際に不明瞭にする可能性があり、その結果、セグメンテーション精度が低減し、セグメンテーション分析の計算コストが増加する。

【0008】

更に、現実世界の撮像は、誤った検出及び／又は特徴付けをもたらし得る、上記で説明されるものなどの複雑さを導入する。これらの複雑さのいくつかは、他の波長帯域と比較していくつかの波長帯域において選択的に顕著であるか、又はより顕著であり得る。

【0009】

以下に説明される技術は、コンピュータシステムが、異なる物体タイプ及び領域タイプの正確かつ効率的な検出及び／若しくはセグメンテーションを提供し、並びに／又は描写された物体の正確かつ効率的な特徴付けを提供する、波長帯域の異なる組み合わせを指定するプロファイルをどのように生成及び使用することができるかを説明する。これらのプロファイルを使用して、システムは、画像（例えば、ハイパースペクトル及び／又は可視光画像）内の画像データを選択的に使用することができ、その結果、画像内の異なるタイプの領域又は異なるタイプの境界の位置を特定するために、画像帯域の異なる組み合わせが使用される。例えば、特定の物体タイプに対して、プロファイルは、その物体タイプの物体に対して、第１のタイプの領域が帯域１、２、及び３の画像データを使用してセグメント化されるべきであり、第２のタイプの領域が帯域３、４、及び５の画像データを使用してセグメント化されるべきであることを示し得る。特定の物体タイプの画像を処理するとき、各領域タイプに対する帯域のサブセット、例えば、第１のタイプの領域を識別するための帯域１、２、及び３に対する画像データ、並びに第２のタイプの領域を識別するための帯域３、４、及び５に対する画像データを含む、プロファイルにおいて指定されたセグメンテーションパラメータが使用される。

【0010】

ハイパースペクトル画像は、１つ以上の光源及び１つ以上のカメラ（及び／又は１つ以上の光センサ）を含む光学システムを使用して生成されていてもよい。光源（複数可）は、（例えば）赤外光、近赤外光、短波光、コヒーレント光、コヒーレント光などを放射するように構成されてもよい。場合によっては、光源（複数可）は、（例えば）光源の熱出力をそのスペクトル出力から分離し得る光ファイバーを含む。場合によっては、カメラ（複数可）の少なくとも１つは、カメラのレンズ又は画像センサの光軸が、撮像される物体（複数可）を支持する表面（例えば、コンベヤベルト）に対して、７５～１０５度、８０～９０度、８５～９５度、又は８７．５～９２．５度、３０～６０度、３５～５５度、４０～５０度、４２．５～４７．５度、又は１５度未満であるように位置付けられる。場合によっては、光学システムは、複数のカメラを含み、物体（複数可）を支持する表面に対する第１のカメラの光軸の間の角度は、表面に対する第２のカメラの光軸の間の角度と異なる。差は、（例えば）少なくとも５度、少なくとも１０度、少なくとも１５度、少なくとも２０度、少なくとも３０度、３０度未満、２０度未満、１５度未満、及び／又は１０度未満であってもよい。場合によっては、第１のカメラは、第２のカメラに対して異なるタイプの光をフィルタリングする。例えば、第１のカメラが赤外線カメラであり、第２のカメラが可視光カメラであってもよい。

【0011】

例示的な実装形態として、果実の画像のセグメンテーションを使用して、コンピュータビジョンシステムによって果実の特性及び品質を自動的に評価することができる。単に背景から果実をセグメント化することを超えて、システムを使用して、果実の異なる部分を互いにセグメント化することができる。イチゴの場合、外部は、葉（例えば、萼、萼片、果梗）、種子（例えば、痩果）、及び果肉（例えば、花托）を含む。果肉は、異なる状態の領域、例えば、完熟、未完熟、傷有り、かび、腐敗などを有することができる。品質管理又は他の目的のための個々のイチゴの迅速かつ効率的なマシンビジョン分析を容易にするために、システムは、対象領域のタイプ（例えば、葉、種子、及び果肉）と、各領域タイプの領域をセグメント化又は識別するために使用されるハイパースペクトル画像の帯域のサブセットとを指定するイチゴ物体タイプのプロファイルを生成することができる。帯域のこれらのサブセットは、トレーニング例のデータ駆動型分析を通して決定されることができ、トレーニング例は、ハイパースペクトル画像及び例のための領域タイプを示すグラウンドトゥルースセグメンテーションを含む。プロファイルは、異なる帯域の画像データに適用する関数、使用する閾値など、各領域タイプについて他のパラメータを指定し得る。定義されたプロファイルを用いて、システムは、イチゴのハイパースペクトル画像を正確かつ効率的に処理し、各領域タイプをセグメント化することができる。各領域タイプについて、システムは、帯域のサブセット及びプロファイルにおいて指定された他のパラメータを使用して、その領域タイプのインスタンスについての境界を定義することができる。その結果、各領域タイプは、領域境界を最もよく示す帯域のサブセットを使用して正確にセグメント化することができ、処理は、各領域タイプのセグメンテーションに使用される帯域の数を制限することによってより効率的になる。

【0012】

別の例示的な実装形態として、廃棄物材料の画像のセグメンテーションを使用して、リサイクル可能な材料をよりよく識別し、特徴付けることができる。一例として、システムを使用して、異なるタイプのプラスチック（例えば、ポリエチレン（ＰＥ）、ポリエチレンテレフタレート（ＰＥＴ）、塩化ポリビニル（ＰＶＣ）、ポリプロピレン（ＰＰ）など）を表す画像データの領域を正確にセグメント化して、物体の材料を自動的に検出し、異なるタイプの物体がどこに位置するかを識別することができる。更に、セグメンテーション技術を使用して、材料中の添加剤並びに汚染のインスタンスを識別し、特徴付けることができる。例えば、１つ以上の主要材料（例えば、ＰＥ対ＰＥＴ）を含む領域を識別することに加えて、又はその代わりに、セグメンテーション技術はまた、異なる添加剤（例えば、フタル酸塩、臭化物、塩素酸塩、耐ＵＶコーティング）が存在する、又は汚染物質（例えば、油、食品残留物など）が存在する、物体又は物体の部分を識別することができる。異なるタイプの領域をよりよく特徴付けるために、システムは、対象領域のタイプ（例えば、異なるタイプの材料、存在する異なる添加剤、異なる汚染物質）を指定する異なるタイプの物体及び材料、並びに各領域タイプの領域をセグメント化又は識別するために使用されるハイパースペクトル画像の帯域のサブセットについてのプロファイルを生成及び記憶することができる。帯域のこれらのサブセットは、トレーニング例のデータ駆動型分析を通して決定されることができ、これは、ハイパースペクトル画像及び例のための領域タイプを示すグラウンドトゥルースセグメンテーションを含むことができる。プロファイルは、異なる帯域の画像データに適用する関数、使用する閾値など、各領域タイプについて他のパラメータを指定し得る。プロファイルが定義されると、システムは、ハイパースペクトル画像を処理し、各領域タイプを正確かつ効率的にセグメント化することができる。各領域タイプに対して、システムは、異なる材料から構成される領域、異なる汚染物質が検出される領域、異なるタイプの汚染が存在する領域などに対する境界を定義することができる。その結果、各領域タイプは、領域境界を最もよく示す帯域のサブセットを使用して正確にセグメント化することができ、処理は、各領域タイプのセグメンテーションに使用される帯域の数を制限することによってより効率的になる。

【0013】

以下で更に説明するように、システムは、セグメンテーションを実行する前に帯域を修正する合成帯域を定義することもできる。合成帯域は、ハイパースペクトル画像内の１つ以上の画像帯域に基づくことができるが、１つ以上の関数又は変換が適用されてもよい。例えば、合成帯域は、関数が帯域に適用される（例えば、加算、減算、乗算、除算など）、２つ以上の帯域の複合又は集約であってもよい。一例は、合成帯域として、２つの帯域の差を２つの帯域の和で除算するなど、２つの帯域に基づいて正規化インデックスを計算することである。各帯域の画像が５００ピクセル×５００ピクセルの寸法を有するハイパースペクトル画像の場合、帯域１及び２の正規化インデックスを生成する結果は、５００ピクセル×５００ピクセルの２Ｄ画像であってもよく、結果の各ピクセルは、式（Ｐ_帯域１－Ｐ_帯域２）／（Ｐ_帯域１＋Ｐ_帯域２）に従って、ソース画像の同じ位置にある２つのピクセルＰ_帯域１及びＰ_帯域２を組み合わせることによって計算される。別の例は、ピクセルのセットにわたる全ての帯域を受け入れ、ピクセルの各セットを単一の数にマッピングする関数を適用することである。次いで、この関数は、画像の高さ及び幅に沿って畳み込まれて、画像全体にわたる新しい合成帯域を生成する。最後の例は、全ての帯域を単一の数に投影する関数を各個々のピクセルに適用することである。同様に、この関数を画像内の各ピクセルに適用して、各点において新しい合成帯域を生成することができる。もちろん、これは異なる帯域の画像データを組み合わせる１つの方法に過ぎず、多くの異なる関数を使用することができる。

【0014】

合成帯域は、他のパラメータとともに、領域境界を示さない画像情報の影響をフィルタリング又は低減しながら、領域境界を示す情報のタイプを増幅又は強調するためにシステムによって使用され得る。これは、セグメンテーションアルゴリズムが適用され得る強調された画像を提供する。各対象領域の帯域及び関数を事前に定義することによって、セグメンテーション処理は、ニューラルネットワークを用いて各ハイパースペクトル画像を処理するなどの他の技術よりもはるかに高速であり、計算コストが低くなり得る。一般に、合成帯域は、様々な異なる帯域の画像データにわたって分布する領域境界に関する情報を組み合わせることができ、システムが、様々な帯域から領域境界を最良に信号伝達するハイパースペクトル画像成分を抽出し、それらを、高精度、高信頼度セグメンテーションを可能にする１つ以上の複合画像に組み合わせることを可能にする。本手法の別の利点は、ニューラルネットワーク及び同様のモデルをトレーニングするために通常必要とされるよりもはるかに少ないトレーニングデータ及びトレーニング計算を必要としながら、異なる物体タイプ及び領域タイプのためのセグメンテーションをカスタマイズするための経験的なデータ駆動型手法を可能にすることである。

【0015】

プロファイルを生成するために、システムは、異なる領域タイプのより正確なセグメンテーションを可能にするハイパースペクトル画像の波長帯域のサブセットを識別する選択プロセスを実行することができる。このプロセスは、トレーニング例に適用される複数のフェーズ又は反復を含むことができる。第１のフェーズは、個々の帯域について画像データを評価し、対象領域間の差を最も明確に示す（例えば、セグメント化される特定の領域とトレーニングデータにおいて表される１つ以上の他の領域タイプとの間の差が最も高い、又は最も一貫して示す）個々の帯域のサブセットを選択することができる。所定の数の帯域、又は特定の基準を満たす帯域のサブセットが、第２のフェーズにおける更なる評価のために選択され得る。第２のフェーズは、第１のフェーズからの個々の選択された帯域への異なる関数の適用に基づく合成帯域の生成を含むことができる。例えば、帯域１及び２がフェーズ１において選択された場合、システムは、それらの２つの帯域を組み合わせる異なる方法（例えば、帯域１マイナス帯域２、帯域１プラス帯域２、帯域１及び帯域２の正規化インデックスなど）に基づいて、いくつかの異なる候補帯域を生成することができる。次いで、システムは、正規化された帯域が対象領域を他の領域からどれだけ明確かつ一貫して区別するかを評価し、これらの合成帯域のサブセットを選択すること（例えば、最高スコアを有する所定の数を選択すること、最小閾値を上回る領域タイプ識別スコアを有するものを選択することなど）ができる。選択プロセスは、任意選択で、合成帯域の異なる組み合わせを評価し、そこから選択するために更なるフェーズを継続することができ、各追加フェーズは、対象領域タイプの識別のより高い精度及び／又は一貫性を提供する新しい組み合わせを選択する。

【0016】

プラスチックの光学的選別及び分類の用途において、システムは、画像データの組み合わされた帯域又は合成帯域を生成し、異なる材料を検出するためにどの帯域を使用すべきかを明らかにすることによって、システムの識別力を著しく改善することができる。例えば、分析は、どの帯域が異なるベースプラスチックタイプを最もよく識別するかを決定するために、並びにこれらを他の一般的な材料から識別するために実行され得る。同様に、分析は、添加剤を含まないベースタイプのプラスチック（例えば、純粋なＰＥ）を、１つ以上の添加剤（例えば、フタル酸塩、臭化物、塩素酸塩など）を含むそのタイプのプラスチックから最もよく識別する帯域を選択するために、並びに汚染されていない領域を異なるタイプの表面汚染物質を有する領域から識別するために使用することができる。帯域の選択は、特定のスペクトル領域における反射率及び変動のベースライン量を設定するベースプラスチックのタイプに依存し得る。したがって、存在する異なる添加剤又は汚染物質の領域を識別するために、帯域の異なる組み合わせを選択し得る。いくつかの実装形態では、帯域選択は、識別されるべき材料のセットと、対象の添加剤及び汚染物質の特定のタイプとによって通知され得る。

【0017】

場合によっては、前処理は、画像の一部分（例えば、セグメント、領域、ピクセルグループ、又はピクセル）が処理される前に（例えば、物体識別、物体特徴付け、構成要素検出などのために）実行される。前処理は、１つ以上の特徴を識別することを含むことができる。次いで、後続の処理（例えば、描写された物体が１つ以上の構成要素のいずれかを含むか否かを予測する）は、１つ以上のスペクトル内の多くの（例えば、数百から数千）強度の代わりに、比較的小さい特徴のセットを処理するように構成されてもよい。例えば、正規化及び／又は減算プロセスは、スペクトル及び１つ以上の他のベースラインスペクトルを使用して実行されてもよい。別の例として、スペクトルは、スペクトルの導関数（又は二次導関数）を計算することによって前処理されてもよく、導関数（又は二次導関数）におけるベースライン又は０ラインの交差に対応する周波数は、特徴として定義されることができる。更に別の例として、スペクトル（又はスペクトルの導関数若しくは二次導関数）は、カーネル（例えば、ガウス形状、単一正弦サイクルの形状、１つ以上の化学物質に対応する形状などを有し得る）を使用して畳み込まれてもよく、畳み込まれたスペクトル（それ自体又はその特性）は、特徴として定義されてもよい。更に別の例として、ベースラインをスペクトルから除去し得る。別の例は、平滑化技術（例えば、局所最小二乗法又はＳａｖｔｉｚｋｙ－Ｇｏｌａｙ法）を使用してスペクトルから１つ以上の特徴を識別することを含む。例えば、Ｓａｖｔｉｚｋｙ－Ｇｏｌａｙ法は、（多項式を微分することができる場合）ｐ次多項式を各データ点を取り囲むｎ点に当てはめることができ、それによってデータを平滑化し、導関数の容易な推定を提供することができる。別の例として、局所最小二乗法を使用して、任意の関数形式をデータに当てはめることができる。

【0018】

１つの一般的な態様では、１つ以上のコンピュータによって実行される方法は、１つ以上のコンピュータによって、ハイパースペクトル画像の画像データであって、画像データが、複数の波長帯域の各々についての画像データを含む、画像データを取得することと、１つ以上のコンピュータによって、特定の物体タイプの物体の画像のための異なる領域タイプをセグメント化するために指定された波長帯域の所定のサブセットを示す、特定の物体タイプのための記憶されたセグメンテーションプロファイルデータにアクセスすることと、１つ以上のコンピュータによって、異なる領域タイプをセグメント化するために、記憶されたセグメンテーションプロファイルデータにおいて指定された波長帯域の所定のサブセットを使用して、画像データを複数の領域にセグメント化することと、１つ以上のコンピュータによって、複数の領域及び複数の領域のそれぞれの領域タイプを示す出力データを提供することと、を含む。

【0019】

いくつかの実装形態では、コンピュータシステムは、機械学習モデルを使用して、物体の画像に基づいて物体の化学成分を予測する。機械学習モデルは、物体の画像及び従来の化学分析の結果に基づいてトレーニングすることができる。例えば、トレーニング画像は、破壊試験プロセスの前の物体のものであり得、トレーニングラベル又はトレーニングターゲットは、物体内の１つ以上の化学物質の量又は濃度などの破壊試験プロセスの結果であり得る。トレーニングを通して、機械学習モデルは、物体の損傷していない外部の外観の特性に基づいて物体の化学特性を予測するように学習することができ、物体への損傷なしに化学組成の予測を可能にする。

【0020】

この技術の１つの用途は、果実の画像に基づいて果実中の糖度を予測することである。システムは、果実のハイパースペクトル画像を取得し、ハイパースペクトル画像からのデータを、糖度を予測するようにトレーニングされた機械学習モデルに提供することができる。モデルは、高精度を達成するために、特定のタイプの果実についてトレーニングされ得る。例えば、１つのモデルは、イチゴの糖度を予測するように特化され得、別のモデルは、サクランボの糖度を予測するようにトレーニングされ得るなどである。モデルは、対象化学物質の量を示す数値の予測などの回帰出力を提供するように構成されてもよい。例えば、モデルは、ブリックス度又は糖の濃度を表す別の単位の値を予測し得る。これらの技術は、果実又は他のタイプのサンプルの糖度及び他の化学成分の迅速で非破壊的な決定を提供することができる。

【0021】

この技術の別の用途は、プラスチックなどの他の材料の化学成分を予測することである。この技術を使用して、廃棄物材料の組成を評価し、材料の選別及びリサイクルを容易にすることができる。システムは、異なるプラスチックタイプに対応するハイパースペクトル画像の領域をセグメント化することができる。一例として、施設は、ハイパースペクトルカメラを考慮して、プラスチックアイテム（単独又は他のアイテムと混合された）などの材料を移動させるコンベヤを含むことができる。キャプチャされたハイパースペクトル画像は、次いで、異なるベースプラスチック（例えば、ＰＥ、ＰＥＧ、ＰＥＴなど）のための異なるセグメンテーションプロファイルを使用してセグメント化される。セグメンテーションプロファイルは、異なるベースプラスチックタイプの領域をセグメント化するために、並びに汚染物質を有する領域及び添加剤を有するプラスチックをベースプラスチックが存在する領域から区別するために使用するために、キャプチャされたスペクトル帯域データを変更又は組み合わせる潜在的に異なる合成帯域を含むスペクトル帯域の異なるセットを指定することができる。セグメント化された画像データを使用して、システムは、特定の材料（例えば、ベースプラスチックの領域、特定の添加剤を有するプラスチックの領域、汚染が存在する領域など）を記述するデータを分離するセグメント化された領域を使用して、化学成分及び濃度の予測に使用される機械学習モデル入力を生成することができる。例えば、ハイパースペクトル画像をセグメント化して、食品残留物からの油汚染を有するＰＥＴベースのプラスチックを示す特定の領域を識別すると、システムは、そのセグメント化された領域のスペクトルデータを使用して、その汚染を特徴付けるようにトレーニングされた機械学習モデルへの入力を生成する、例えば、汚染物質の化学組成及び汚染物質の濃度を予測することができる。異なる化学特性又は異なる領域の特性を予測するために、異なるモデルを作成することができる。例えば、いくつかのモデルは、異なる汚染物質の濃度を予測するようにトレーニングすることができ、他のモデルは、異なる添加剤の濃度を予測するようにトレーニングすることができるなどである。複数のタイプの領域がセグメント化されるとき、各領域タイプについてのハイパースペクトル画像データは、その特定の領域タイプについての化学分析のためにトレーニングされた機械学習モデルを用いて処理され得る。

【0022】

いくつかの実装形態では、ハイパースペクトル撮像データ以外の他の技術を通して生成された撮像データ又は走査データは、セグメンテーションのため、並びに化学物質の量及び濃度を予測するために使用されることができる。例えば、ハイパースペクトル撮像に加えて、又はその代替として、Ｘ線蛍光及びレーザ誘起ブレークダウン分光法を使用することができる。より一般的には、任意の適切な形態の分光法、例えば、吸収分光法、発光分光法、弾性散乱及び反射分光法、インピーダンス分光法、ラマン分光法及び非弾性散乱現象の他の分析、コヒーレント若しくは共鳴分光法、又は核分光法を使用することができる。これらの追加の分析技術は、コンピュータシステムが考慮することができる本質的に他の情報帯域であるデータを生成するために使用することができる。異なる情報タイプをセグメント化するためにどの情報帯域を使用するかを決定し、異なる化学特性を予測するためにどの帯域を使用するかを決定するとき、コンピュータシステムは、どの分光技術及び分光結果の部分が異なる化学物質の存在及び量に関して最も有益であるかを選択することができる。同様に、これらの分光技術から得られる情報を使用して、モデルをトレーニングし、トレーニングされたモデルへの入力として情報を提供して予測を生成することができる。

【0023】

一般に、本明細書で説明する主題の１つの革新的な態様は、１つ以上のコンピュータによって、物体の表現を含む画像についての画像データであって、画像データが、可視波長範囲外の１つ以上の波長帯域を含む複数の波長帯域の各々についての画像データを含む、画像データを取得するアクションと、１つ以上のコンピュータによって、画像データから導出された特徴データを、物体の外部を表す画像データから導出された特徴データに応じて物体内の化学成分のレベルを予測するようにトレーニングされた機械学習モデルに提供するアクションと、１つ以上のコンピュータによって、特徴データに応じて生成された機械学習モデルの出力であって、出力が、画像内に表された物体内の化学成分のレベルの予測を含む、出力を受信することと、１つ以上のコンピュータによって、物体内の化学成分の予測レベルを示す出力データを提供するアクションと、を含む方法で実施することができる。

【0024】

いくつかの実装形態では、出力データは、１つ以上のコンピュータによってディスプレイ上に表示される。いくつかの実装形態では、出力データは、通信ネットワークを介してクライアントデバイスに提供される。出力データは、画像データに関連付けられたクライアントデバイスからの要求に応じて提供され得る。

【0025】

機械学習モデルは、プラスチックへの添加剤又はプラスチックへの汚染物質の予測される濃度又は量を示す値を提供するようにトレーニングされたものであり得る。例えば、機械学習モデルは、特定のタイプのプラスチックの画像から導出された特徴データを受信することに応じて、特定のタイプのプラスチック中に存在する添加剤の予測レベルを示すようにトレーニングされたものであり得る。いくつかの実装形態では、予測は、画像データ（及び／又は画像データの特徴）のみに基づき、プラスチックについての他の化学分析のいかなる結果も受信せず、物体を改変すること（例えば、プラスチックの破壊的化学処理）などもない。いくつかの実装形態では、出力は、化学物質の予測濃度を示す数値などの回帰出力である。他の実装形態では、機械学習モデルの出力は、化学物質が存在するか否かの分類、又は濃度の異なる範囲若しくはレベルに対応する分類であり得る。評価することができる添加剤の例としては、フタル酸塩、臭化物、塩素酸塩、及びコーティングが挙げられる。同様に、油、グリース、及び食品残留物などの異なるタイプの汚染物質のタイプ及び濃度も、適切なモデルを用いて予測することができる。いくつかの実装形態では、モデルは、存在する樹脂（複数可）のタイプ、樹脂の純度のレベルなど、ベースプラスチック樹脂の特性を予測するようにトレーニングされ得る。

【0026】

いくつかの実装形態では、システムは、単一のプラスチックアイテムなどの単一の物体のための出力を生成するために使用されてもよい。他の実装形態では、システムは、リサイクル施設におけるコンベヤベルト上のプラスチックアイテムのグループなど、複数のアイテムの集合体を特徴付ける出力を生成するために使用され得る。いくつかの実装形態では、物体の異なる部分で異なるレベルの汚染を示すように、物体の異なる部分について異なる化学出力予測を決定することができる。

【0027】

機械学習モデルは、（ｉ）プラスチックアイテムの例示的な画像データと、（ｉｉ）例示的な画像データに表されたプラスチックアイテムの化学成分の指標とを含むトレーニングデータを使用してトレーニングすることができる。機械学習モデルは、（ｉ）特定のタイプのベースプラスチック（例えば、ＰＥ、ＰＰ、ＰＥＴなど）についての例示的な画像データと、（ｉｉ）例示的な画像データに表されるプラスチックアイテムについて測定された１つ以上の添加剤（複数可）又は汚染物質（複数可）のレベルの指標とを含むトレーニングデータを使用してトレーニングされたものであり得る。機械学習モデルは、画像内に表されるプラスチックの化学成分をリモートかつ非破壊的に予測するようにトレーニングされており、機械学習モデルは、（ｉ）プラスチックアイテムの物理的又は化学試験（破壊試験を含み得る）の前に例示的プラスチックアイテムの表現を提供する例示的画像データと、（ｉｉ）例示的画像データ内に表される例示的プラスチックアイテムの試験を通して取得される測定結果とに基づいてトレーニングされている。

【0028】

機械学習モデルは、予測される糖の濃度又は量を示す値を提供するようにトレーニングされたものであり得る。例えば、機械学習モデルは、特定のタイプの果実の画像から導出される特徴データを受信することに応じて、特定のタイプの果実中の糖度の予測レベルを示すようにトレーニングされたものであり得る。いくつかの実装形態では、予測は、物体（例えば、果実）に関する他の化学分析のいかなる結果も受信することなく、物体を改変することなく（例えば、果実の内部についての情報を切断又は取得することなく）など、画像データのみに基づく。

【0029】

機械学習モデルの出力は、特定のタイプの果実全体（例えば、切断又はセグメント化されていない）中の糖度の予測レベルの指標を含み、出力データは、特定のタイプの果実全体中の糖度のレベルを示す。モデルは、特定のタイプの果実のために、及び潜在的に特定の化学物質又は化学物質のセットの濃度又は量を予測するためにも、生成及びトレーニングされ得る。異なるモデルは、異なるタイプの物体の特性を予測するために、又は異なる化学物質の濃度若しくは量などの異なる化学特性を予測するために、スペクトル帯域の異なるセットに対する特徴などの異なる特徴を使用することができる。

【0030】

機械学習モデルは、果実の外部の画像についての画像データから導出された特徴データを受信することに応じて、果実の果汁中の糖度の予測レベルを示すようにトレーニングされたものであり得る。機械学習モデルは、ブリックス度、プラトー度、糖の比重、糖の質量分率、又は糖の濃度のうちの少なくとも１つの値として、果汁中の糖度の予測レベルを示すように構成され得る。他の実装形態では、モデルは、サンプルの化学物質の量のレベル又は範囲を示す分類を予測することができる。

【0031】

いくつかの実装形態において、評価される特定の果実は、特定のイチゴ、例えば、特定の単一のイチゴである。機械学習モデルは、イチゴの外部の画像についての画像データから導出された特徴データを受信することに応じて、イチゴからの果汁中の糖度の予測レベルを示すようにトレーニングされている。機械学習モデルの出力は、特定のイチゴからの果汁の糖度の予測レベルの指標を含み、出力データは、特定のイチゴからの果汁の糖度の予測レベルを示す。

【0032】

機械学習モデルは、（ｉ）果実の例示的な画像データと、（ｉｉ）例示的な画像データに表される果実の糖度の指標とを含むトレーニングデータを使用してトレーニングすることができる。機械学習モデルは、（ｉ）イチゴについての例示的な画像データと、（ｉｉ）例示的な画像データにおいて表されるイチゴについて測定された糖度のレベルの指標とを含むトレーニングデータを使用してトレーニングされている。機械学習モデルは、画像に表される果実の糖度を非破壊的に予測するようにトレーニングされており、機械学習モデルは、（ｉ）例示的な果実の破壊試験の前に例示的な果実の表現を提供する例示的な画像データと、（ｉｉ）例示的な画像データに表される例示的な果実の破壊試験を通じて取得された結果とに基づいてトレーニングされている。

【0033】

様々なタイプの機械学習モデルを使用することができる。例えば、機械学習モデルは、決定木又はニューラルネットワークとすることができる。場合によっては、機械学習モデルは、勾配ブースト回帰木である。

【0034】

場合によっては、画像データに対して画像セグメンテーションを実行して、所定のタイプの領域を識別することができ、特徴データは、所定のタイプの識別された領域の画像データから導出される。モデルに提供される特徴データは、所定のタイプでない領域についての情報を除外することができる。例えば、分析される物体を示すが、特定の所定の基準を依然として満たさない（例えば、特定の特性についての分析に望ましくない物体の部分を表す）画像の領域についての画像データは、モデルへの入力から除外され得る。したがって、特徴は、特定のタイプではない領域に関する情報を省略しながら、所定のタイプの領域に関する情報を表すことができる。分析に使用される所定のタイプの領域は、イチゴの果肉を示す領域であり得、機械学習モデルに入力される特徴データは、イチゴの果肉を表す画像データから導出される。イチゴの萼及び痩果に対応する領域などの他の領域の画像データは、分析から除外することができる。

【0035】

分析に使用される画像データは、ハイパースペクトル画像データとすることができ、データは、可視波長範囲外の１つ以上の波長帯域について取得される。例えば、画像データは、赤外光の１つ以上の波長帯域における反射率（又は吸収率若しくは吸光度）のデータを含むことができる。モデルへの入力のための特徴データはまた、赤外光の１つ以上の波長帯域についてキャプチャされた画像データに基づくことができる。

【0036】

いくつかの実施形態では、１つ以上の物体が複数の波長帯域の各々において光を反射、散乱、又は吸収する程度を示す画像データであって、画像データは、コンベヤベルトが１つ以上の物体を移動させている間に収集される、画像データを取得することと、画像データを前処理して、前処理された画像データを生成することであって、前処理が、周波数にわたる分析を実行すること、及び／又は空間次元の表現にわたる分析を実行することを含む、生成することと、前処理された画像データから導出される特徴値のセットを生成することと、機械学習モデルへの入力として提供される特徴値のセットに応じて機械学習モデルによって生成される出力に基づいて、１つ以上の物体における化学物質の同一性又は１つ以上の物体における１つ以上の化学物質のレベルの予測を生成することと、１つ以上の物体における化学物質の同一性又は１つ以上の物体のうちの少なくとも１つにおける１つ以上の化学物質のレベルの予測を示すデータを提供することと、を含むコンピュータ実装方法が提供される。

【0037】

本態様及び他の態様の他の実装形態は、対応するシステム、装置、及びコンピュータプログラムを含み、それらは、方法のアクションを実行するように構成され、コンピュータ記憶デバイス上で符号化される。１つ以上のコンピュータのシステムは、動作中にシステムにアクションを実行させる、システム上にインストールされたソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせによってそのように構成することができる。１つ以上のコンピュータプログラムは、データ処理装置によって実行されると、装置にアクションを実行させる命令を有することによってそのように構成することができる。

【0038】

本明細書で説明される主題の１つ以上の実施形態の詳細は、添付の図面及び以下の説明に記載される。本主題の他の潜在的な特徴、態様、及び利点は、説明、図面、及び特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0039】

【図1】ハイパースペクトル画像を使用して画像セグメンテーションを実行するように実装されたシステムの一例を示すブロック図である。

【図2】物体の異なるタイプの領域をセグメント化するためにハイパースペクトル画像の波長帯域の異なるサブセットを選択するためにプロファイルを使用して強調された画像セグメンテーションを実行する一例を示す図である。

【図3】画像セグメンテーションを実行するための画像データの異なる帯域を自動的に生成及び選択する一例を示す図である。

【図4】物体の画像をセグメント化する際に使用する波長帯域を自動的に生成し選択するプロセスを説明するフロー図である。

【図5A】物体の画像に基づいて物体の化学成分を予測するシステムの例を示す図である。

【図5B】物体の画像に基づいて物体の化学成分を予測するシステムの例を示す図である。

【図6A】特定のタイプの果実のハイパースペクトル画像の画像セグメンテーションを示すブロック図である。

【図6B】機械学習モデルへの入力として提供する特徴ベクトルを取得するための、セグメント化された画像からの特徴値のセットの生成を示すブロック図である。

【図7】画像セグメンテーション及び機械学習を使用して化学分析を実行するプロセスを説明するフロー図である。

【図8A】暗基準ハイパースペクトル画像の例示的なハイパースペクトルデータを示す。

【図8B】暗基準ハイパースペクトル画像の例示的なハイパースペクトルデータを示す。

【図8C】暗基準ハイパースペクトル画像の例示的なハイパースペクトルデータを示す。

【図9A】明基準ハイパースペクトル画像についての対応する例示的なハイパースペクトルデータを示す。

【図9B】明基準ハイパースペクトル画像についての対応する例示的なハイパースペクトルデータを示す。

【図9C】明基準ハイパースペクトル画像についての対応する例示的なハイパースペクトルデータを示す。

【図10】ポリエチレンプラスチックのスペクトルの一例を示す。

【発明を実施するための形態】

【0040】

図１は、ハイパースペクトル画像の帯域選択及び画像セグメンテーションを実行するように実装された例示的なシステム１００のブロック図である。システム１００は、物体の画像（例えば、ハイパースペクトル画像）をキャプチャするためのカメラシステム１１０を含む。キャプチャされた画像のうちの１つ以上のうちの各々は、複数の帯域の各々についての画像データを備えてもよく、各帯域は、波長の特定の帯域についての反射光の測定値を表す。図１は、段階（Ａ）～（Ｅ）に示されるデータの例示的なフローを更に示す。段階（Ａ）～（Ｅ）は、図示された順序で発生し得、図示された順序とは異なる順序で発生し得る。

【0041】

システム１３０は、帯域及び／又は画像特徴を選択して、多くの異なる用途のための画像セグメンテーションを実行するために使用され得る。例えば、システムは、異なるタイプの果実、野菜、肉、及び他の食品を識別及び評価するための帯域を選択するために使用されることができる。別の例として、システムは、リサイクル可能な材料タイプを検出すること、並びに添加剤又は汚染の存在を検出することなど、廃棄物材料を識別及び評価するための帯域及び／又は特徴を選択するために使用され得る。

【0042】

プラスチックの光学的選別及び分類の用途において、システムは、戦略的前処理技術を利用すること、戦略的処理技術を利用すること、及び／又は画像データの結合又は合成帯域を生成し、異なる材料を検出するためにどの帯域を使用すべきかを明らかにすることによって、システムの識別力を大幅に改善することができる。例えば、前処理は、基準画像に対する正規化を実行すること、導関数を生成すること、ベースライン（又は０）交差に対応する周波数を検出すること、フィルタリングを実行すること、畳み込みを生成すること、及び／又は別の計算を実行し、次いで出力（例えば、検出されたベースライン交差を有する周波数、畳み込み総和統計など）を生成することを含み得る。別の例として、分析を実行して、どの帯域及び／又は特徴が異なるベースプラスチックタイプを最もよく識別するかを決定するとともに、これらを他の一般的な材料から識別することができる。同様に、分析は、添加剤を含まないベースタイプのプラスチック（例えば、純粋なＰＥ）を、１つ以上の添加剤（例えば、フタル酸塩、臭化物、塩素酸塩など）を含むそのタイプのプラスチックから最もよく識別する帯域を選択するために、並びに汚染されていない領域を異なるタイプの表面汚染物質を有する領域から識別するために使用することができる。帯域の選択は、反射率（又は吸収率又は吸光度）のベースライン量及び特定のスペクトル領域における変動を設定する、ベースプラスチックのタイプに依存し得る。したがって、存在する異なる添加剤又は汚染物質の領域を識別するために、帯域の異なる組み合わせを選択し得る。いくつかの実装形態では、帯域選択は、識別されるべき材料のセットと、対象の添加剤及び汚染物質の特定のタイプとによって通知され得る。

【0043】

図１の例では、カメラシステム１１０は、図ではイチゴである物体１０１のハイパースペクトル画像１１５を撮影する。各ハイパースペクトル画像１１５は、Ｎ個の帯域の画像データを含む。一般に、ハイパースペクトル画像は、３次元ｘ、ｙ及びｚを有すると考えることができ、ここで、ｘ、ｙは、単一帯域についての２Ｄ画像の空間次元を表し、ｚは、波長帯域の数を通じたインデックス又はステップを表す。したがって、ハイパースペクトル画像は、複数の２次元画像を含み、各画像は、ｘ及びｙ空間次元によって表され、各画像は、光の異なるスペクトル帯域に対する同じシーンのキャプチャされた光強度（例えば、反射率）を表す。

【0044】

カメラシステム１１０によって収集され、分析される画像は、非ハイパースペクトル画像を含み得、ハイパースペクトル画像に言及する本明細書の開示は、非ハイパースペクトル画像を使用するように適合されてもよいことを理解されたい。例えば、カメラシステム１１０は、可視範囲、近赤外範囲、短波赤外範囲、又は中波赤外範囲において低吸収のレンズを含み得る。したがって、キャプチャされた画像は、それぞれ可視範囲、近赤外範囲、短波赤外範囲、又は中波赤外範囲の信号を示し得る。カメラシステム１１０は、発光ダイオード（カメラセンサ露出に同期され得る）、白熱光源、レーザ、及び／又は黒体照明源などの様々な照明源のうちのいずれかを含み得る。カメラシステム１１０に含まれる発光ダイオードは、所与の対象化学物質（例えば、所与のタイプのプラスチック）のピーク共鳴と一致するピーク放射、及び／又は複数の分子吸収と一致する帯域幅を有し得る。場合によっては、所与の特定のスペクトル領域をカバーすることができるように、複数のＬＥＤがカメラシステム１１０に含まれる。ＬＥＤ光源はコヒーレント光を提供し、放射及び信号対ノイズを制御することは、他の光源よりも実現可能であり得る。更に、それらは、一般に、他の光源と比較して、より信頼性が高く、より少ない電力を消費する。

【0045】

場合によっては、カメラシステム１１０は、カメラのレンズ又は画像センサの光軸が、撮像される物体（複数可）を支持する表面（例えば、コンベヤベルト）に対して７５～１０５度、８０～９０度、８５～９５度、８７．５～９２．５度、３０～６０度、３５～５５度、４０～５０度、４２．５～４７．５度、又は１５度未満であるように構成される。場合によっては、光学システムは、複数のカメラを含み、物体（複数可）を支持する表面に対する第１のカメラの光軸の間の角度は、表面に対する第２のカメラの光軸の間の角度と異なる。差は、（例えば）少なくとも５度、少なくとも１０度、少なくとも１５度、少なくとも２０度、少なくとも３０度、３０度未満、２０度未満、１５度未満、及び／又は１０度未満であってもよい。差は、異なる形状を有するか、又は下にある表面に対して異なる角度で位置付けられている（例えば、異なる傾斜を有する）物体からの信号を検出することを容易にし得る。場合によっては、第１のカメラは、第２のカメラに対して異なるタイプの光をフィルタリングする。例えば、第１のカメラが赤外線カメラであり、第２のカメラが可視光カメラであってもよい。場合によっては、カメラシステム１１０は、カメラに対して鏡面反射条件にある光源と、カメラに対して拡散反射条件にある第２の光源とを含む（例えば、異なる鏡面反射率及び拡散反射率を有する物体の検出を容易にする）。

【0046】

カメラシステム１１０は、照明源から撮像場所に光を伝達するための（例えば、光ファイバー、中空、中実、又は液体充填タイプの）光ガイドを含み得、これは、撮像場所において放出される熱を低減し得る。カメラシステム１１０は、光源（複数可）からの光が線に集束されるか、又は分光器への入口スリットの投影サイズに一致するように集束されるようなタイプの光源又は光学系を含み得る。カメラシステム１１０は、照明源及び撮像デバイス（カメラ）が、鏡面反射条件（明視野画像を生成するように）、非鏡面（又は拡散）条件（暗視野画像を生成するように）、又は条件の混合で配置されるように構成されてもよい。ほとんどのハイパースペクトル画像は、撮像技術に応じて、数個又は数十個の波長帯域の各々について画像データを有する。多くの用途において、多数の帯域を有する画像を処理することは、計算コストが高い（結果を際の遅延及び高電力使用をもたらす）ため、高次元空間は、探索することが実行不可能であることが証明され得るか、又は不適切な距離メトリック（「次元の呪い」）を有するため、又は帯域が高度に相関される（「相関リグレッサの問題」）ため、ハイパースペクトル画像内の帯域の数を管理可能な量に低減することが望ましい。主成分分析（ＰＣＡ）及びプーリングなど、多くの異なる次元削減技術が過去に提示されている。しかしながら、これらの技術は、依然としてかなりの計算コストがかかり、特殊なトレーニングを必要とし、画像セグメンテーションなどの用途において必ずしも所望の精度を提供するとは限らないことが多い。更に、多くの技術は、異なる波長帯域が、異なるタイプの境界（例えば、材料、組成、構造、テクスチャなどの異なる特性を有する異なるタイプの領域の境界）をセグメント化するために劇的に異なる情報値を有することが多いにもかかわらず、セグメンテーション決定のためにほとんど又は全ての帯域の使用を試みる。これは、従来、セグメンテーション分析に必要とされるよりも多くの波長帯域について画像データを処理する非効率性をもたらしてきた。また、セグメンテーション境界に対して低い関連性を有する帯域のデータは、ノイズ及びわずかに関連するデータを有するデータ内のキー信号を不明瞭にするので、精度が制限される。

【0047】

特に、セグメンテーション決定に対する異なる波長帯域の重要性は、領域のタイプごとに大きく異なる。２０の異なる波長帯域のうち、１つのタイプの領域（例えば、特定の材料又は組成を有する）は、撮像される全帯域のうちのいくつかのみと強く相互作用し得、第２のタイプの領域（例えば、異なる材料又は組成を有する）は、撮像される全帯域のうちの異なるサブセットと強く相互作用し得る。多くの従来のシステムは、帯域のサブセットが最良のセグメンテーション結果を生成した領域依存変動を決定し、記憶し、使用する能力を有しておらず、これは、多くの場合、少なくともいくつかの対象領域のセグメンテーションにわずかに関連する又は関連しない帯域データの非効率的な処理をもたらした。以下で説明するように、本明細書で説明する技術は、各物体タイプ及び領域タイプについてのセグメンテーションパラメータが、トレーニング例の分析に基づいて決定され、記憶され、次いで、あるタイプの物体についての対象領域の各タイプをよりよく識別し区別するために使用されることを可能にする。これは、多くの異なる物体タイプに対して行うことができ、システムが、異なる物体又はシーンに対するプロファイルを選択し、帯域及びパラメータの適切なセットを使用して、異なる物体又はシーンに対して存在し得る様々な領域タイプをセグメント化することを可能にする。

【0048】

図１の例では、カメラシステム１１０は、ハイパースペクトル画像データを処理し、セグメント化された画像又はセグメント化された画像から導出された他のデータを返すサーバシステム１３０とネットワーク１２０を介して通信することができるコンピュータ又は他のデバイスを含むか、又はそれに関連付けられる。他の実装形態では、コンピュータシステム１３０の機能（例えば、プロファイルを生成すること、ハイパースペクトル画像データを処理すること、セグメンテーションを実行することなど）は、カメラシステム１１０の場所でローカルに実行され得る。例えば、システム１００は、カメラシステム１１０及びコンピュータシステム１３０を収容するスタンドアロンユニットとして実装することができる。

【0049】

ネットワーク１２０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、又はそれらの組み合わせを含むことができる。ネットワーク１２０はまた、任意のタイプの有線及び／又は無線ネットワーク、衛星ネットワーク、ケーブルネットワーク、Ｗｉ－Ｆｉネットワーク、モバイル通信ネットワーク（例えば、３Ｇ、４Ｇなど）、又はそれらの任意の組み合わせを含むことができる。ネットワーク１２０は、インターネットプロトコル（ＩＰ）、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、又は他のタイプのプロトコルなどのパケットベース及び／又はデータグラムベースのプロトコルを含む通信プロトコルを利用することができる。ネットワーク１２０は、スイッチ、ルータ、ゲートウェイ、アクセスポイント、ファイアウォール、基地局、リピータ、又はそれらの組み合わせなど、ネットワーク通信を容易にし、かつ／又はネットワークのためのハードウェア基盤を形成するいくつかのデバイスを更に含むことができる。

【0050】

いくつかの実装形態では、コンピュータシステム１３０は、画像を分析し、選択された帯域構成及びセグメント化された画像を出力として提供する帯域選択及び画像セグメンテーションモジュールを提供する。いくつかの実装形態では、コンピュータシステム１３０は、単一のリモートサーバによって、又はローカル若しくはグローバルに分散された複数の異なるサーバのグループによって実装され得る。そのような実装形態では、コンピュータシステム１３０によって実行される機能は、複数の分散コンピュータシステムによって実行することができ、機械学習モデルは、ネットワーク１２０を介してソフトウェアサービスとして提供される。

【0051】

簡単に言えば、図１は、コンピュータシステム１３０が、様々なトレーニング例の分析を通じて物体タイプ及び／又は領域タイプのセグメンテーションプロファイルを生成する一例を示す。次いで、コンピュータシステム１３０は、追加のハイパースペクトル画像を受信し、画像内の物体の物体タイプのプロファイルを使用して、正確なセグメンテーション結果を効率的に生成する。図１、図２、図５、及び図６Ａ～図６Ｂは、検出及び評価される物体のタイプとしてイチゴを示しているが、説明した同じ技術を使用して他のタイプの物体を処理することができる。

【0052】

段階（Ａ）の間、セットアッププロセスとして、コンピュータシステム１３０は、画像がセグメント化される物体のタイプのプロファイルを生成する。例えば、システムがイチゴの画像をセグメント化することを可能にするために、イチゴ物体タイプのプロファイル１５３を作成することができる。プロファイル１５３は、イチゴをセグメント化するときに使用する帯域のサブセット、又はより潜在的には、イチゴの異なるタイプの領域をセグメント化するために使用する異なる帯域を指定することができる。

【0053】

物体タイプのプロファイルを生成するために、コンピュータシステム１３０は、プロファイルされる物体タイプのインスタンスのハイパースペクトル画像を含む様々なトレーニング例１５１を処理する。ハイパースペクトル画像の各々は、１つ以上の技術に従って前処理され得る。前処理は、（例えば）ハイパースペクトル画像内の各ピクセルについて、ピクセルに対応するスペクトルを修正することを含み得る。修正は、（例えば）スペクトルの一次導関数を計算すること、スペクトルの二次導関数を計算すること、スペクトル（又はスペクトルの導関数若しくは二次導関数）を１つ以上のカーネルの各々と畳み込むこと（例えば、ガウスカーネル、単一サイクル正弦波カーネル、又は所与のタイプの材料のシグネチャを有するカーネル）、スペクトルからベースラインを除去すること、及び／又は１つ以上の基準スペクトル（例えば、カメラシステム１１０内の光源が完全にオン又は完全にオフであり、視野内に物体がない明暗条件に対応する）に基づいてスペクトルを正規化することを含み得る。例えば、ベースラインの除去及び／又は正規化は、（周波数帯域のセットの各々について）スペクトル内の周波数帯域における強度が、明条件に対応する最大値及び暗条件に対応する最小値に対して低下することを示す結果を生成するために実行され得る。

【0054】

いくつかの実装形態では、帯域評価モジュール１５０は、処理されたハイパースペクトル画像の帯域の各々が分析されて、ハイパースペクトル画像セグメンテーションを実行しながら高精度を可能にする選択された帯域構成を生成する帯域選択プロセスを実行する。

【0055】

帯域評価モジュール１５０は、物体タイプ及び／又は領域タイプについて帯域選択１５２の反復プロセスを実行することができる。第１の反復中に、ハイパースペクトル画像の個々の帯域は、選択プロセス１５２ａを受ける。プロセス１５２ａは、ハイパースペクトルトレーニング画像の複数の帯域から帯域のサブセットを選択する。例えば、第１の反復中に、モジュール１５０は、様々なハイパースペクトル画像トレーニング例１５１の帯域１～Ｎを評価し、帯域が特定のタイプの対象領域（例えば、イチゴの果肉）と他の領域（例えば、葉、種子、背景など）とをどれだけうまく識別するかを示すスコアを各帯域に与える。この例では、プロセス１５２の第１の反復は、帯域１～Ｎから帯域１及び帯域３を選択する。別の例として、モジュール１５０は、（例えば）スペクトル内のピーク、スペクトルの導関数又は二次導関数内の閾値の交差、スペクトル内の極小値などに関連付けられた帯域を識別し得る。

【0056】

いくつかの実装形態では、個々の帯域のサブセットの選択後、合成帯域又は変更された帯域が生成される。合成帯域は、第１の反復において選択された帯域のうちの１つ以上について画像データを処理することによって生成され得る。例えば、帯域のサブセット内の各帯域は、（例えば、第１の反復において選択された帯域の）２つ以上の異なる帯域からのデータを組み合わせる動作を含み得る、１つ以上の動作（例えば、画像処理動作、数学的動作など）を受けることができる。様々な所定の関数の各々は、選択された帯域の異なる組み合わせについて（例えば、帯域の各対又は帯域の選択されたサブセット内の各順列について）画像データに適用することができる。これは、第１の反復において選択された帯域に対する異なる修正又は帯域の組み合わせを各々表す合成帯域の新しいセットを作成することができる。例えば、選択プロセス１５２ａによる選択時に、モジュール１５０は、帯域１及び帯域３に対して動作を実行して、（１）帯域１＋帯域３、（２）帯域１／帯域３、（３）帯域１－帯域３を含む３つの新しい合成帯域を作成する。合成帯域はまた、画像データに適用される畳み込み又は投影から導出することができ、畳み込み又は投影は、ピクセルのグループ及び単一のピクセルをそれぞれ単一の数にマッピングする関数である。単一又は複数の畳み込み及び／又は単一及び複数の投影を画像全体にわたって適用して、新しい合成帯域を作成することができる。

【0057】

次に、このようにして作成された合成帯域を評価、例えばスコア付けして、対象の領域タイプ（例えば、イチゴの果肉）と他の領域タイプとを各々識別するレベルを決定する。次いで、コンピュータシステム１３０は、第２の反復のために、選択プロセス１５２ｂにおいて合成帯域の中から選択する。この例では、帯域１－帯域３として作成された合成帯域がプロセス１５２ｂによって選択される。新しい修正又は複合帯域を生成し、次いでそれらの中から最も有効なものを選択する反復プロセスは、所望のレベルの精度に達するまで継続することができる。

【0058】

この例では、イチゴの果肉をセグメント化するための情報は、単一の２Ｄ画像に蒸留又は集約される。しかしながら、これは必須ではなく、いくつかの実装形態では、プロファイル１５３は、複数の別個の帯域（例えば、元の帯域又は合成／修正された帯域）がセグメンテーションのために生成及び使用されるべきであることを示し得る。例えば、システムは、セグメンテーションが、帯域１＋帯域３、帯域１／帯域３、及び帯域１－帯域３の３つの帯域について画像データを使用することであると指定し得る。

【0059】

帯域評価モジュール１５０は、プロファイル１５３が生成されている物体のタイプの複数の領域タイプの各々について選択プロセスを実行する。これは、各領域タイプに対して、その領域タイプに使用される帯域の選択されたサブセットを生成する。選択された帯域が合成帯域である場合、成分入力帯域及び合成帯域を生成するために適用される関数がプロファイルに記憶される。その結果、物体タイプに対するプロファイル１５３は、物体の各領域タイプに対して使用されるべき選択された帯域構成を含み得、領域タイプの各々に対する画像セグメンテーションに対する高精度を可能にする。例えば、イチゴをセグメント化するためのプロファイル１５３の場合、領域タイプは、葉、種子、及び果肉であり得る。別の例として、ダイニングルームの要素をセグメント化するためのプロファイルにおいて、複数の領域タイプは、第１の領域として椅子、第２の領域としてテーブル、及び第３の領域として壁を含み得る。

【0060】

いくつかの実装形態では、プロファイル１５３の領域タイプは、異なる材料の領域を表し、その結果、セグメンテーションは、画像内に示された異なる材料の領域間の区別を容易にすることができる。帯域評価モジュール１４０は、画像セグメンテーションを実行しながら高精度を可能にするために、各材料タイプについて帯域構成を生成する。例えば、家具を評価するために、複数の材料タイプは、木材、プラスチック、及び皮革を含む。より一般的には、選択は、材料、組成、テクスチャ、密度、構造などを含む様々な特性のいずれかについて画像帯域パラメータを決定することができる。

【0061】

いくつかの実装形態では、帯域評価モジュール１５０は、物体の複数の条件タイプの各々について選択及び動作プロセス１５２を実行する。例えば、イチゴの果肉は、完熟、未完熟、傷有り、ウドンコ病などの異なるタイプの領域を有すると考えられ得る帯域評価モジュール１５０は、画像セグメンテーションを実行しながら、異なる条件の領域を高精度で区別することを可能にする、条件のタイプごとの帯域構成を生成し、プロファイル１５３に記憶し得る。

【0062】

段階（Ａ）について説明されたプロファイルを生成するプロセスは、多くの異なる物体タイプについて実行されて、セグメンテーションプロファイル１５３のライブラリを作成することができ、このライブラリは、記憶され、システム１３０によって取り出されて、異なる物体タイプの各々を正確にセグメント化することができる。各物体タイプについて、複数の異なる領域タイプが指定されてもよく、各領域タイプは、その領域タイプの画像領域をセグメント化するために使用されるように指定された対応する波長帯域、演算子、アルゴリズム、及び他のパラメータを有する。

【0063】

段階（Ｂ）の間、カメラシステム１１０は、物体のハイパースペクトル画像をキャプチャする。例えば、カメラシステム１１０は、Ｎ個の異なる波長帯域の各々についての画像データを含むイチゴ１０１のハイパースペクトル画像１１５を撮影する。いくつかの実装形態では、ハイパースペクトル画像１１５は、製造、包装、又は品質保証のためのコンベヤ上の物体など、異なる物体の一連の画像中の多くのうちの１つとして送られ得る。

【0064】

段階（Ｃ）の間、ハイパースペクトル画像１１５は、例えば、ネットワーク１２０を使用して、カメラシステム１１０からコンピュータシステム１３０に送信される。ハイパースペクトル画像１１５は、セグメント化された画像を生成するため、画像内に表される物体の特性若しくは品質を検査するため、又は別の目的のためなど、画像を処理するための要求に関連して送信することができる。

【0065】

段階（Ｄ）の間、ハイパースペクトル画像１１５を受信すると、コンピュータシステム１３０は、セグメント化されるべき異なるタイプの領域のための画像データを識別及び生成するための処理（及び潜在的に前処理も）を実行する。本明細書で言及されるように、前処理は、（例えば）ハイパースペクトル画像内の各ピクセルについて、ピクセルに対応するスペクトルを修正することを含み得る。修正は、（例えば）スペクトルの一次導関数を計算すること、スペクトルの二次導関数を計算すること、スペクトル（又はスペクトルの導関数若しくは二次導関数）を１つ以上のカーネル（例えば、ガウスカーネル又は所与のタイプの材料のシグネチャを有するカーネル）の各々と畳み込むこと、スペクトルからベースラインを除去すること、及び／又は（例えば、視野内に物体がない明暗条件に対応する）１つ以上の基準スペクトルに基づいてスペクトルを正規化することを含み得る。スペクトルからベースラインを除去することは、（例えば）環境内のＣＯ_２に起因する信号成分を低減又は除去し得る。基準スペクトルを使用してスペクトルを正規化することは、（例えば、経時的な、又は別の光源に対する）光源の強度の変動性にもかかわらず、より一貫したスペクトル結果をもたらし得る。

【0066】

処理は、ハイパースペクトル画像１１５内に表される物体タイプを識別する事前セグメンテーションステップ、物体タイプのプロファイル１５３を（例えば、データベースから、及び複数の異なる物体タイプのプロファイルの中から）取り出すステップ、異なる帯域の画像データを前処理するステップ（例えば、合成画像又は複合画像を生成するステップ、閾値、関数、又はフィルタなどを適用するステップ）、画像の数を低減するステップ（例えば、複数の帯域からの画像データをより少ない画像又は単一の画像に投影又は結合するステップ）、及び／又はプロファイル１５３内のパラメータを用いたセグメンテーション処理のためにハイパースペクトル画像１１５を準備するステップを含むことができる。場合によっては、処理は、ピーク（例えば、スペクトル又はその前処理されたバージョンにおける）、ベースライン交差（例えば、スペクトル又はその一次導関数若しくは二次導関数における）、又は０交差（例えば、スペクトルの一次導関数若しくは二次導関数における）を検出することを含む。各ピーク、ベースライン交差、又は０交差が検出された周波数帯域（複数可）を識別し、スペクトルを特徴付ける特徴として使用することができる。

【0067】

コンピュータシステム１３０は、ハイパースペクトル画像１１５内に表される物体１０１の物体タイプを識別し、次いで、その画像タイプに対応するセグメンテーションプロファイル１５３を選択し、取り出す。ハイパースペクトル画像１１５に関連して提供されるデータは、画像内に表される物体１０１のタイプを示すことができる。例えば、ハイパースペクトル画像１１５を処理するための要求は、評価される物体が「イチゴ」物体タイプであるという指示を含むことができる。別の例として、システム１００は、同じタイプの物体を示すハイパースペクトル画像を繰り返し処理するように構成されてもよく、その結果、コンピュータシステム１３０は、入ってくるハイパースペクトル画像１１５をイチゴの画像として解釈又は処理するように既に構成されている。これは、同じタイプのアイテムが順次処理される製造施設又は包装ワークフローにおける場合であり得る。更に別の例では、コンピュータシステム１３０は、物体認識モデルを使用して、ハイパースペクトル画像１１５内に表される物体のタイプを検出し、次いで、自動的に識別された物体タイプに対応するプロファイルを選択し得る。

【0068】

ハイパースペクトル画像１１５に描かれた物体の物体タイプに対して適切なプロファイル１５３が選択されると、コンピュータシステム１３０は、選択されたプロファイル１５３内の情報を適用して、ハイパースペクトル画像１１５を処理する。例えば、プロファイル１５３は、ハイパースペクトル画像１１５内の異なる帯域の画像データから生成する異なる複合画像又は合成画像を指定し得る。コンピュータシステム１３０は、これらの画像を生成してもよく、プロファイルが指定する任意の他のアルゴリズム又は動作を適用してもよい。その結果、モジュール１４０は、セグメンテーション処理が適用された１つ以上の画像を準備する。場合によっては、これは、単一の２Ｄ画像、又はセグメント化されるべき様々な異なる領域タイプの各々に対する異なる２Ｄ画像、又は複数の異なる領域タイプの各々に対する複数の２Ｄ画像をもたらし得る。実際には、モジュール１４０は、プロファイル１５３を使用して、所与の領域タイプに関連しない帯域の画像データをフィルタ除去し、画像データをセグメンテーションのための適切な形式に処理する、前処理段階として働くことができる。

【0069】

段階（Ｅ）の間、セグメンテーションモジュール１６０は、画像処理モジュール１４０からの処理された画像データに基づいてセグメンテーションを実行する。セグメンテーションは、異なる物体の境界及びそれらの物体の異なるタイプの領域を決定することができる。セグメンテーションプロセスを見る１つの方法は、モジュール１６０が、それが受信した画像（対応するハイパースペクトル画像１１５を表す）の異なる領域をクラス又はカテゴリに分類することができることであり、例えば、ピクセルを、様々なタイプ、背景、又は物体の一部ではない、葉、種子、果肉などのうちの１つとして割り当てることである。例えば、画像処理モジュール１４０によって生成される選択された帯域構成の画像データは、閾値セグメンテーション、クラスタリングセグメンテーション、圧縮ベースのセグメンテーション、ヒストグラムベースのセグメンテーション、エッジ検出、領域拡張技術、偏微分方程式ベースの方法（例えば、曲線伝播、パラメトリック方法、レベルセット方法、高速マーチング方法など）、グラフ分割セグメンテーション、流域セグメンテーション、モデルベースのセグメンテーション、マルチスケールセグメンテーション、マルチスペクトルセグメンテーションなどの様々なセグメンテーションアルゴリズムのいずれかを適用することができる。セグメンテーションアルゴリズムは、各領域タイプに対してプロファイル１５３によって指定されるパラメータ（例えば、閾値、重み、基準、異なるモデル又はモデルトレーニング状態など）を使用し得、その結果、異なるセグメンテーションパラメータ又は異なるセグメンテーションアルゴリズムを使用して、異なる領域タイプを識別し得る。セグメンテーションの結果は、画像として表現することができる。一例は、２Ｄピクセルグリッドを提供する画像であり、ピクセルは、特定の領域タイプ（例えば、葉）に対応するときに「１」の値を与えられ、そうでないときに「０」の値を与えられる。

【0070】

この例では、プロファイル１５３は、イチゴの葉、種子、及び果肉の３つの領域タイプを指定する。プロファイル１５３は、セグメント化されるべきこれらの３つの領域、並びにこれらの３つの領域がどこに存在するかを識別する際に使用する帯域及びパラメータを指定した。セグメンテーションモジュール１６０は、３つの異なる領域タイプの各々に１つずつ、３つの画像を含む出力１６０を生成する。したがって、各画像は、異なる領域タイプに対応し、ハイパースペクトル画像１１５の２Ｄ視野のうち、特定の領域タイプのインスタンスによって占有される領域を指定する。言い換えれば、セグメント化された画像は、画像マスクを含むことができ、又はそうでなければ、ある領域タイプが存在すると識別される領域の境界を指定することができる。場合によっては、異なる領域タイプの領域は、異なるピクセルを異なる領域に対応するものとして分類する異なる値（例えば、背景又は物体の一部ではないものに対して０、葉に対して１、種子に対して２、イチゴの果肉に対して３など）を用いて、単一の画像において全て指定され得る。

【0071】

段階（Ｆ）の間、システム１３０は、セグメンテーション結果１６０を記憶し、それらを使用して出力を生成及び提供する。セグメンテーション境界がハイパースペクトル画像１１５内の帯域のサブセットに対する画像データを使用して生成されたとしても、決定された境界は、ハイパースペクトル画像１１５の帯域の各々に対する画像データを処理するために使用することができる。例えば、ハイパースペクトル画像は、２０個の異なる帯域についての画像データを有し得、セグメンテーションプロセスは、帯域１及び２についてのみ画像データを使用し得る。決定された結果として得られる領域境界は、次いで、異なる帯域の２０個全てについて画像データ内の定義された領域をセグメント化又は選択するために適用され得る。ハイパースペクトル画像１１５の異なる帯域についての画像は、物体１０１の同じビュー及びパースペクティブを共有するので、１つの帯域についての画像データに基づくセグメンテーションは、他の帯域についての画像データに直接適用（例えば、オーバーレイ、投影、又は他の方法でマッピング）され得る。このようにして、セグメンテーションは、ハイパースペクトル画像１１５内の画像の全てにわたって一貫して適用され得る。

【0072】

セグメンテーション結果１６０は、物体１０１のサンプル識別子と、キャプチャされたハイパースペクトル画像１１５とに関連付けて、データベース又は他のデータストレージに記憶され得る。品質管理及び製造用途のために、システム１３０は、欠陥の検出及び記録、特定の物体が施設を通って移動するときの特定の物体の品質及び特性の追跡、物体のロット又はバッチのサンプリングされた分析の支援などの一部として関連付けを使用することができる。システム１３０がセグメント化されたハイパースペクトル画像データを使用して実行することができる共通の機能のいくつかは、組成、品質、サイズ、形状、テクスチャ、又は他の特性に対するスコアを割り当てるなど、物体１０１又はその特定の部分を特徴付けることを含む。これらのスコアに基づいて、又は潜在的に中間スコアを伴わない画像分析の直接出力として、コンピュータシステム１３０は、セグメント化されたハイパースペクトル画像データに基づいて物体を分類することができる。例えば、システム１３０は、物体を異なる品質等級などのカテゴリに分類し、割り当てられたカテゴリに基づいてコンベヤシステムを用いて物体を異なる領域に向けることができる。同様に、システム１３０は、欠陥を有する物体を検出し、それらを製造又は包装パイプラインから除去することができる。

【0073】

セグメンテーション結果１６０、ハイパースペクトル画像１１５にセグメンテーションを適用した結果、及び／又はそれらを使用して生成された他の情報を提供することができる。いくつかの実装形態では、セグメント化された境界を示す１つ以上の画像が、表示又は更なる処理のためにカメラシステム１１０又は別のコンピューティングデバイスに送信される。例えば、セグメンテーションを通して決定された異なる領域タイプの境界は、領域境界をオーバーレイし、物体１０１のハイパースペクトル画像１１５又は複合画像若しくは標準色（例えば、ＲＧＢ）画像のための領域タイプを示す注釈データにおいて指定されることができる。

【0074】

いくつかの実装形態では、コンピュータシステム１３０は、特定のセグメント化された領域のピクセル値から入力特徴値を生成し、入力特徴値を機械学習モデルに提供するなど、セグメント化された画像に対して更なる処理を実行する。例えば、機械学習モデルは、サイズ、形状、色、外観の一貫性、欠陥の欠如などの特性に基づいてイチゴなどの物体を分類するようにトレーニングされてもよい。コンピュータシステム１３０は、セグメンテーションを通じて決定された領域境界を使用して、ハイパースペクトル画像１１５から、個々のイチゴ及び／又はイチゴの特定のタイプの領域に対応する様々なスペクトル帯域の画像データを分離してもよい。したがって、コンピュータシステム１３０は、トレーニングされた機械学習モデルへの入力として、背景要素及び他の物体を除外し、代わりに、イチゴの一部を示している領域のみを提供するか、又はイチゴの特定の部分（例えば、イチゴの果肉、種子及び葉を省略）を示す領域のみを提供する入力画像を提供することができる。

【0075】

場合によっては、機械学習モデルに提供される入力は、画像データ自体をモデルに提供することなく、セグメント化された画像から導出することができる。例としては、１つの領域タイプとして分類されたピクセルの数の、別の領域タイプとして分類されたピクセルに対する比（例えば、種子領域ピクセルの量の、果肉領域ピクセルの量に対する比）、ある領域タイプ（例えば、イチゴの果肉）としてセグメント化されたピクセルの平均強度（潜在的に、様々なスペクトル帯域の各々に対する）、及びある領域タイプとしてセグメント化されたピクセルの強度の分布が挙げられる。場合によっては、領域内の各ピクセルからのスペクトルは、本明細書に開示される技術に従って前処理され、前処理されたスペクトルは、特徴を生成するために分析される。例示的な特徴は、ベースライン（又は０）の交差が特定の周波数帯域で観察されるスペクトルの割合、スペクトル（又はスペクトルの導関数若しくは二次導関数）と所与のカーネルとの畳み込みの平均積分、スペクトル内で検出されるピークの中央値数、スペクトルの一次導関数内で検出される０交差の中央値数、第１の周波数帯域におけるスペクトル内の強度と第２の周波数帯域におけるスペクトル内の強度との間の平均比などを含む。

【0076】

機械学習モデル１７０は、物体の状態を分類したり物体の特性を推定したりするなど、様々な異なる機能を実行するようにトレーニングすることができる。イチゴの場合、機械学習モデルは、セグメント化された入力画像データを使用して、分類（例えば、良好な状態、未完熟、傷有り、ウドンコ病など）を決定し得る。機械学習モデルはまた、化学成分、強度、欠陥タイプ又は欠陥密度、テクスチャ、色などの特定の特性のハイパースペクトル画像ベースの予測のためのスコア又は分類を提供するようにトレーニングされ得る。機械学習モデル１７０は、ニューラルネットワーク、分類器、決定木、ランダムフォレストモデル、サポートベクターマシン、又は他のタイプのモデルであり得る。セグメント化されたハイパースペクトル画像データ又はハイパースペクトル画像データから導出された入力特徴を処理する機械学習モデルの結果は、後で使用するためにデータベースに記憶し得、様々なデバイスのいずれかに、例えば、ユーザに表示するためのクライアントデバイスに、物体１０１を複数の場所のうちの１つに向けるためのコンベヤシステムに、追跡システムなどに提供し得る。例えば、物体１０１を分類する機械学習モデルの結果を使用して、選別機器１８０（例えば、機械学習モデル結果によって示される特性に従って選別機器１８０に物体を物理的に移動又はグループ化させる）、物体１０１をどのようにどこで包装するかを指定する包装機器、物体１０１を移動又は調整するためのロボットアーム又は他の自動マニピュレータ、或いは物体１０１を操作するために送信される命令を生成し得る。

【0077】

図１の技術は、プラスチック及び他のリサイクル可能なものなどの他のタイプの材料を評価するために適用することもできる。例えば、これらの技術を使用して、廃棄物材料の化学的又は材料的同一性を特徴付ける効率及び精度を改善し得、材料タイプ、添加剤の存在、汚染物質の存在、及びコンピュータビジョンを通じて決定される他の特性によってアイテムを選別することが可能になる。この分析は、機械的プロセス及び化学的リサイクルプロセスの両方を改善するために使用することができる。

【0078】

機械的リサイクルは、プラスチックをリサイクルするための有力な戦略であり、プラスチック廃棄物を粉砕し、溶融し、再押出しすることを伴う。リサイクル施設は、リサイクル製品において高レベルの材料性能を保持するために、高純度で選別された材料の流れを処理するように設計されることが多い。しかしながら、原料の不純物は、添加剤を含む複雑な配合、並びに材料の物理的分解のために、数サイクルの機械的リサイクルの直後であっても、リサイクルの有効性を低減させる。例えば、プラスチック材料では、ポリ乳酸（ＰＬＡ）は、ポリエチレンテレフタレート（ＰＥＴ）選別及び機械的リサイクル操作において検出されないことが多い一般的な廃プラスチックである。別の例として、塩化ポリビニル（ＰＶＣ）などの塩素化化合物は、リサイクルプロセス中に腐食性化合物が生成され、これが炭化水素出力の価値を制限するので、機械的及び化学的リサイクル操作の両方において許容されない。

【0079】

機械的リサイクルは、化学的汚染物質に対して非感受性であり、廃棄物材料の化学構造を改変することが不可能であり得る機械的分離及び再形成プロセスを使用することに部分的に起因して、混合された、複合的な、及び汚染された廃棄物流への適用可能性が制限される。システム１３０は、プラスチック及び他の材料の改善された識別及び分類を通して機械的リサイクルの有効性を改善することができ、材料のより正確な選別、したがって、より高純度の、より価値のあるリサイクル原料をもたらす。更に、システム１３０は、撮像データを使用して、添加剤及び汚染物質の存在及びタイプを検出することができ、これらの化合物が存在する材料を異なるように処理又は除去することを可能にする。

【0080】

化学的リサイクルは、廃棄物材料の化学結合をより小さな分子に破壊することによって、機械的リサイクルの制限を解決し得る。例えば、ポリマー材料の場合、化学的リサイクルは、プラスチック廃棄物原料からオリゴマー、モノマー、又は更に塩基性分子を回収する手段を提供し得る。ポリマーの場合、化学的リサイクルプロセスは、その副生成物が新しい材料のための原料にアップサイクルされ得るように、複雑なプラスチック生成物の化学組成を解重合及び解離するための操作を含み得る。化学的リサイクルの要素は、材料が一次原材料に繰り返し解離されることを可能にし得る。このようにして、機械的リサイクルの場合のように、化学構造及び材料一体性によって限られた数の物理的プロセスに限定されるのではなく、化学的リサイクルを「エンドツーエンド」プラットフォームに統合して、リサイクル可能材料の分子成分の再利用を容易にし得る。例えば、化学的リサイクルの製品は、塩基性モノマー（エチレン、アクリル酸、酪酸、ビニルなど）、原料ガス（一酸化炭素、メタン、エタンなど）、又は元素材料（硫黄、炭素など）を含み得る。単一のグループのリサイクル製品に限定される代わりに、投入廃棄物材料の分子構造に基づいて、化学反応によって廃棄物から生成することができる中間化学物質から合成することができる製品が識別され得る。そうすることで、エンドツーエンドプラットフォームは、廃棄物材料を１つ以上の目標製品に変換する化学反応スキームを生成することによって、廃棄物流を管理し得る。例えば、エンドツーエンドプラットフォームは、目標製品への廃棄物材料の化学変換のために、廃棄物原料を化学的リサイクル施設に向け得る。

【0081】

システム１３０の能力はまた、化学的リサイクルの有効性を改善することができる。例えば、システム１３０は、コンベヤベルト上の廃棄物流のハイパースペクトル画像をキャプチャし、図１の技術を使用して、どの材料が存在するかを検出する。例えば、カメラシステム１１０は、コンベヤベルトの幅に沿ってライン走査を収集してもよく、次いで、コンベヤベルト上を通過する物体内にどの化学物質があるかを予測するために、（例えば、前処理されたスペクトルから導出された特徴を機械学習モデルに供給することによって）分析され得る。システム１３０はまた、例えば、識別された異なるタイプの領域のサイズ及び形状、並びに存在する異なる材料の割合に基づいて、存在する異なる材料の量を推定することができる。システム１３０はまた、どの添加剤及び汚染物質が存在するかを検出することができる。廃棄物流の組成に関するこの情報から、システム１３０は、化学処理パラメータを修正又は更新して、目標製品量、終点、又は化学構造を変更することができる。これらのパラメータのうちのいくつかは、処理の条件（例えば、滞留時間、反応温度、反応圧力、又は混合速度及びパターン）並びに使用される化学薬剤（例えば、入力分子、出力分子、触媒、試薬、溶媒を含む）のタイプ及び濃度の変化を含み得る。システム１３０は、異なる入力タイプ（例えば、入力材料の異なる混合又は条件）に対する処理パラメータを指定する表、式、モデル、又は他のデータを記憶することができ、システム１３０は、記憶されたデータを使用して、必要とされる処理条件を実装するための処理機械への命令を決定することができる。このようにして、システム１３０は、廃棄物流のハイパースペクトル撮像データの分析を使用して、化学的リサイクル処理パラメータが廃棄物流の材料特性に一致するように廃棄物処理パラメータを調整することができる。監視は継続的に実行することができるので、廃棄物流中の材料の混合物が変化すると、システム１３０は、入ってくる材料の混合物に対して適切に処理パラメータを変化させる。

【0082】

図１に示す技術のリサイクルへの適用例として、カメラシステム１１０は、撮像される物体１０１としての廃棄物材料のハイパースペクトル画像をキャプチャするように構成することができる。いくつかの実装形態では、カメラシステム１１０は、コンベヤ上の廃棄物材料のハイパースペクトル画像をキャプチャするように構成される。廃棄物材料は、単一の画像内に撮像された異なるタイプ及び組成の多くの物体を含み得る。画像を処理した結果は、廃棄物材料を選別し、任意選択で廃棄物材料を機械的又は化学的に処理するための機器に対する命令を生成するために使用される。

【0083】

段階（Ａ）の間、セットアッププロセスとして、コンピュータシステム１３０は、対象の１つ以上のタイプの材料のプロファイルを生成する。異なるプロファイルは、異なるプラスチックタイプ（例えば、ＰＥ、ＰＥＴ、ＰＶＣなど）に対して生成され得る。プロファイルは、スペクトル及び／又はスペクトルの特徴を含み得る。添加剤及び汚染物質のセグメンテーション及び検出を容易にするための情報は、基本材料プロファイル又は他のプロファイルに含めることができる。例えば、本出願では、図１に示されるプロファイル１５３は、ＰＥＴのプロファイルを表し得、ＰＥＴと一致する領域をセグメント化するときに使用するスペクトル帯域のサブセットを示し得る。プロファイル１５３はまた、異なるタイプ又は変形のＰＥＴをセグメント化するために、或いは異なるタイプの添加剤又は汚染物質を有する領域をセグメント化するためにそれぞれ使用される帯域の異なるサブセットを示してもよい。プロファイル１５３はまた、又は代替的に、正規化されたスペクトルの導関数における０交差に対応する帯域、前処理されたスペクトル（又はスペクトルの導関数若しくは二次導関数）とカーネルとの畳み込みの関数、スペクトルの新しいベクトル空間への投影などの特徴を識別し得る。

【0084】

上述の技術を使用して、コンピュータシステム１３０は、プロファイルされる材料のインスタンスのハイパースペクトル画像を含む様々なトレーニング例１５１を処理することによって、材料のプロファイルを生成する。トレーニング例は、他のタイプのプラスチックなどの他の廃棄物材料を含む様々な他の異なる材料の存在下で識別されるターゲット材料（例えば、ＰＥＴ）を示す例を含むことができる。トレーニング例１５１は、添加剤又は汚染物質が存在する領域を有する材料の画像の少なくともいくつかの例を含むことができ、したがって、システム１３０は、どの帯域及び／又は特徴が、材料の清潔な又は純粋な領域を、様々な添加剤又は汚染物質が存在する領域から区別するかを学習することができる。

【0085】

帯域評価モジュール１５０は、処理されたハイパースペクトル画像の帯域及び／又は特徴の各々が分析されて、他のタイプの材料、特に、対象の材料とともに撮像される可能性がある他のタイプのプラスチック及び他の廃棄物材料から所望の材料をセグメント化するための高精度を可能にする選択された構成を生成する帯域選択プロセスを実行する。上述したように、帯域評価モジュール１５０は、複数の異なる材料タイプ及び／又は領域タイプの各々について帯域選択１５２の反復プロセスを実行することができる。異なるベースプラスチックタイプの領域のセグメンテーションのために、システム１３０は、クラスタリング技術、成分分析（例えば、主成分分析又は独立成分分析）、又はサポートベクターマシン（ＳＶＭ）を使用して、異なる帯域を使用して材料を識別することから得られるピクセルグループ間の変化又は差を決定することができる。場合によっては、各タイプのプラスチックのピクセル強度を一緒にクラスタ化することができ、クラスタ間（例えば、クラスタの平均値間）の差を決定することができる。一般に、帯域及び／又は特徴選択分析は、異なる材料のピクセルグループ間の差又はマージンを最大化することを試みることができる。

【0086】

例えば、ＰＥ、ＰＥＴ、ＰＶＣ、及びＰＰを区別するために、帯域評価モジュール１５０は、異なるスペクトル帯域におけるピクセル強度（又は未処理若しくは前処理されたスペクトルの導関数若しくは二次導関数の強度）の差を評価し、異なるプラスチックに対する反射（又は吸収）強度間の最大かつ最も一貫した量の差（例えば、マージン）を提供する帯域を識別することができる。例示のために、帯域評価モジュール１５０は、第１の帯域が上記の４つのプラスチックタイプの各々に対して同様の平均反射率を有するが、第２の帯域がプラスチックタイプのうちの少なくともいくつかに対して反射率のより大きい量の差を示すことを決定し得る。分析は、どの帯域がどの材料対を区別するのに最も効果的であるかを識別するために、対ごとに行われてもよい。様々な反復において、帯域選択モジュール１５０は、最大識別力（例えば、ピクセル強度グルーピング間の最高マージン）を有する帯域を選択し、これらの異なる組み合わせを行って合成帯域を生成することができ、合成帯域は、反復の最大数に達するまで、又はマージンが識別能力の最小閾値を満たすまで、同様に評価される。同様に、このプロセスを使用して、添加剤又は汚染物質を有するプラスチックを純粋なベースプラスチックから最もよく区別する帯域及び合成帯域を決定することができる。

【0087】

別の例として、ＰＥ、ＰＥＴ、ＰＶＣ、及びＰＰを区別するために、評価モジュール１５０は、スペクトル（又はその前処理されたバージョン）を畳み込むために使用され得る１つ以上のカーネルを識別することができる。次いで、畳み込みの関数は、各スペクトルが１つ以上のカーネルの各々についての値に関連付けられるように、特徴として定義され得る。場合によっては、この値は単に別のベクトルへのスペクトルのスカラー投影であってもよく、又は多くのそのような値がベクトル空間に基づく投影によって生成されてもよい。場合によっては、１つ以上のカーネルの各々は、化学物質に対応する（例えば、化学物質のスペクトル又はスペクトルの前処理されたバージョンを含む）。場合によっては、１つ以上のカーネルの各々は、より高いレベルの形状又は属性に対応する。

【0088】

帯域選択の結果として、システム１３０は、例えば、帯域の第１のサブセット又は特徴の第１のセットが、他のプラスチック又は廃棄物材料からの所望のプラスチックタイプ（例えば、ＰＥＴ）の識別を提供する（例えば、１つ以上の他の帯域又は１つ以上の他の特徴によって提供される識別よりも良好である）こと、及び／又は帯域の第２の異なるサブセット又は特徴の第２のセットが、食品残留物としての油などの特定の添加剤又は汚染物質をセグメント化するのに有効である（例えば、少なくとも１つの他の帯域又は少なくとも１つの他の特徴によって提供されるセグメント化よりも良好である）ことを決定し得る。これは、元のハイパースペクトル画像の複数の異なるスペクトル帯域からのデータを組み合わせる合成帯域の生成及び評価を含むことができる。これは、異なる材料についてのプロファイルのリポジトリをもたらし、各々が、ターゲット材料をそれが近くにある可能性が高い他の材料から区別するためにシステムが識別した最良のパラメータ及び帯域のサブセットを示す。

【0089】

図１の技術のリサイクル用途への適用を続けると、段階（Ｂ）の間、カメラシステム１１０は、廃棄物流のハイパースペクトル画像をキャプチャする。例えば、カメラシステム１１０は、選別又は他の処理への途中のコンベヤ上の廃棄物流のハイパースペクトル画像１１５を撮影する。段階（Ｃ）の間、ハイパースペクトル画像１１５は、例えば、ネットワーク１２０を使用して、カメラシステム１１０からコンピュータシステム１３０に送信される。ハイパースペクトル画像１１５は、セグメント化された画像を生成するため、画像１１５内に表される材料を識別するため、画像によって表される１つ以上の特定の材料の量を決定するため、サンプルの汚染のレベル若しくはタイプを評価するため、又は別の目的のためなど、画像を処理するための要求に関連して送信され得る。

【0090】

段階（Ｄ）の間、コンピュータシステム１３０は、ハイパースペクトル画像データ１１５において識別されるべき異なるタイプの材料のプロファイルを取り出す。プロファイル内の情報に基づいて、コンピュータシステム１３０は、１つの帯域を選択し得、１つ以上の合成帯域を生成し得、及び／又は検出される各々の異なるタイプの領域を識別するために画像データの１つ以上の特徴を識別し得る。例えば、プロファイルは、異なるプラスチックタイプに対して、また異なる添加剤及び汚染物質に対して、異なる帯域のセットを指定することができる。例示すると、帯域の１つのセットは、清潔なＰＥＴ領域をセグメント化するために使用されてもよく、帯域の別のセットは、油で汚染されたＰＥＴ領域をセグメント化するために使用されてもよく、帯域の第３のセットは、特定の添加剤を有するＰＥＴの領域をセグメント化するために使用されてもよい、などである。一方、１つ以上の帯域、合成帯域又は特徴を使用して、描かれた物体が化学物質のセット（及び／又は化学物質を含む物体の一部）のいずれかを含むか否かを予測し得る。

【0091】

段階（Ｅ）の間、セグメンテーションモジュール１６０は、画像処理モジュール１４０からの処理された画像データに基づいてセグメンテーションを実行する。プラスチックリサイクルの場合、セグメント化された領域は、異なるプラスチックタイプ（例えば、ＰＥＴ、ＰＥ、ＰＶＣなど）の領域、並びに添加剤又は汚染が存在する領域（例えば、油汚染を有するＰＥ、耐ＵＶ添加剤を有するＰＥＴなど）であり得る。システム１３０は、各タイプの異なるアイテム又は領域の数をカウントすること、各領域タイプによってカバーされる面積を決定すること（例えば、異なる材料の量及び割合の指標として）など、セグメント化された結果を解釈するための更なる処理を実行することができる。

【0092】

段階（Ｆ）の間、システム１３０は、セグメンテーション結果１６０及び撮像された領域を特徴付ける他のデータを記憶する。システム１３０は、撮像された領域内の特定の物体又は領域（例えば、コンベヤ上の廃棄物材料）を、セグメンテーション分析を通して決定された材料タイプとともにマークするメタデータを記憶することができる。異なる領域の境界、並びに異なる領域タイプの面積又は割合も記憶することができる。次いで、システム１３０は、この情報を使用して、廃棄物材料を処理するための命令を生成することができる。例えば、システム１３０は、検出されたプラスチックのタイプに従って、異なるプラスチック片を異なるビン、コンベヤ、又は他のデバイスに向けるために、機械的選別マシンに情報を提供することができる。別の例として、システム１３０は、１つ以上の添加剤を有するプラスチックアイテムを識別し、それらを添加剤を有さないプラスチックから分離することができる。同様に、システム１３０は、少なくとも最小量の汚染（例えば、汚染物質が存在する少なくとも最小面積）を有するアイテムを識別し、これらのアイテムを除去して、リサイクル原料の残りの部分の汚染を回避することができる。より一般的には、システム１３０は、セグメント化されたハイパースペクトル画像データを使用して、検出された材料の様々な特性のいずれかにスコアを割り当てるなど、廃棄物材料の様々な特性を特徴付けることができる。これらのスコアに基づいて、又は潜在的に中間スコアを伴わない画像分析の直接出力として、コンピュータシステム１３０は、廃棄物材料の部分を分類するか、又は廃棄物材料のセットを全体として分類することができる。

【0093】

上述したように、セグメンテーション結果１６０、ハイパースペクトル画像１１５にセグメンテーションを適用した結果、及び／又はそれらを使用して生成された他の情報は、表示又は更なる処理のために他のデバイスに提供され得る。セグメント化された画像はまた、１つ以上の機械学習モデルのための入力を生成するために、コンピュータシステム１３０又は別のシステムによって使用されることができる。例えば、コンピュータシステム１３０は、あるセグメント化された領域のピクセル値から入力特徴値を生成し、入力特徴値を機械学習モデルに提供することができる。例えば、機械学習モデルは、プラスチックのタイプ並びに存在する添加剤及び／又は汚染の量及びタイプに基づいて、アイテム又はアイテムのセットをリサイクル可能であるか否かに分類するようにトレーニングされ得る。コンピュータシステム１３０は、セグメンテーションを通じて決定された領域境界を使用して、ハイパースペクトル画像１１５から、それぞれ異なる材料タイプ、異なる添加剤、又は異なる汚染物質の領域に関するデータを分離し得る。場合によっては、セグメント化された領域についてのハイパースペクトル画像データからの情報は、分類決定に関連し得る材料の更なる特性、例えば、材料の密度、厚さ、品質などを示し得る。したがって、コンピュータシステム１３０は、トレーニングされた機械学習モデルへの入力として、背景要素（例えば、コンベヤのベルト）及び対象でない他の物体を除外し、代わりに、モデルの分類決定に関連する領域のみを提供する、１つ以上の入力画像を提供することができる。提供される情報の帯域は、セグメンテーションに使用されるものとは異なっていてもよい。ある材料を他の材料から最もよく区別するスペクトル帯域は、その材料の特性を示すスペクトル帯域、又はその材料の異なる状態若しくは変化を区別するスペクトル帯域とは全く異なる場合がある。追加的に又は代替的に、本明細書に開示される１つ以上の特徴（例えば、スペクトルの一次導関数又は二次導関数の０交差が所与の周波数帯域において検出されるか否か、スペクトル（又はスペクトルの導関数若しくは二次導関数）及びカーネルの畳み込みの関数、特定のベクトル上へのスペクトルのスカラー投影、スペクトル内の検出されたピークの数、スペクトルの導関数内の所与のベースラインの検出された交差の数など）は、材料を特徴付ける、及び／又は材料を伴う物体のための後続アクションを決定するために使用されてもよい。場合によっては、特徴付けは、セグメント化された物体描写内のピクセルのセットの各々に対して実行され、特徴付けの集約（例えば、平均、モード、中央値、閾値を上回る割合、範囲、標準偏差などを含む）が、物体を特徴付け、及び／又は物体に対する後続アクションを識別するために使用される。場合によっては、セグメント化された物体描写内のピクセルのセットのスペクトルは、最初に集約され（例えば、中央値、平均、モードなどを計算するために）、次いで、物体に対する特徴付けを生成するために、及び／又は物体に対する後続アクションを識別するために処理される。

【0094】

セグメント化されたハイパースペクトル画像（及び／又はハイパースペクトル画像データに対応する特徴）は、トレーニングされた機械学習モデル、又は手続き型若しくは規則ベースのモデルなどの他の計算方法によって処理されて、材料シグネチャ、添加剤若しくは汚染物質シグネチャ、又は化学タイプ、組成、形態、構造、若しくは純度を示す他の情報に関連する信号内のパターンを探し得る。リサイクル施設によってしばしば受け取られるような多様な可塑剤を含む異なる形態のリサイクルＰＥＴ物体など、複数の異なる添加剤、汚染物質、又は不純物を主材料に組み込んだ材料では、複数の領域タイプについてのデータを提供することができる。多くの形態のリサイクル原材料にわたって同様の特性を有するためにあまり有益でないスペクトル帯域を除外するスペクトル帯域のサブセットについての画像データを含む、対象の複数の帯域についてのデータも提供することができる。一例として、材料を分類するようにトレーニングされたＳＶＭを実装する分類器に、対象の特定の帯域についてのデータを提供し得、異なるタイプのセグメント化された領域がマークされるか、又は他の方法で示される。

【0095】

場合によっては、機械学習モデルに提供される入力は、画像データ自体をモデルに提供することなく、セグメント化された画像から導出することができる。例としては、１つの領域タイプとして分類されたピクセルの数の、別の領域タイプとして分類されたピクセルに対する比（例えば、非プラスチックを示すピクセルに対するプラスチックを示すピクセルの量、ＰＥを表すピクセルに対するＰＥＴを表すピクセルの比、汚染されたＰＥＴを表すピクセルの量に対する清潔なＰＥＴのピクセルの量）、ある領域タイプとしてセグメント化されたピクセルの平均強度（潜在的には様々なスペクトル帯域の各々に対する）、及びある領域タイプとしてセグメント化されたピクセルの強度の分布が挙げられる。機械学習モデルのいずれかの出力は、システム１３０によって使用されて、廃棄物材料を選別及び処理するための機械を制御することができる。例えば、これは、分類を示すメタデータでアイテムをラベル付けすることによって、又は命令を生成し、それらを選別デバイスに送信して、特定のアイテムを指定された方法で操作することによって行われ得る。

【0096】

いくつかの実施形態では、画像化及び分析される廃棄物材料は、ポリマー、プラスチック、プラスチック含有複合材料、非プラスチック、リグノセルロース系材料、金属、ガラス、及び／又は希土類材料を含み得るが、これらに限定されない。ポリマー材料及びプラスチック材料は、１つ以上の重合プロセスによって形成される材料を含み得、高度に架橋されたポリマー並びに線状ポリマーを含み得る。場合によっては、廃棄物材料は添加剤又は汚染物質を含み得る。例えば、プラスチック材料は、例えば、所望の特性を付与するか、又は形成特性を促進するために、可塑剤、難燃性材料、耐衝撃性改良剤、レオロジー改良剤、又は廃棄物材料１１１に含まれる他の添加剤を含み得る。場合によっては、廃棄物材料は、広範囲の化学的リサイクルプロセスに適合しない場合がある構成化学物質又は元素を組み込むことがあり、したがって、特徴付けデータ１１３は、そのような化学物質に固有の情報を含むことがある。例えば、ハロゲン又は硫黄含有ポリマーの分解は、腐食性副生成物を生成する場合があり、これは、そのような元素を含む廃棄物材料の化学的リサイクルを阻害又は損なう場合がある。ハロゲン成分を含有する廃棄物材料の一例は、塩化ポリビニル（ＰＶＣ）である。例えば、ＰＶＣの分解は、腐食性副生成物として作用し得る塩素含有化合物を生成し得る。

【0097】

図２は、プロファイル１５３によって指定された帯域構成に基づく領域タイプのセグメンテーションを示す例示的な図である。図２は、図１の例に続く追加の詳細を提供し、イチゴが撮像される物体１０１であり、プロファイル１５３は、イチゴ内の異なる領域タイプをセグメント化するために使用される帯域のサブセットを指定するために既に定義されている。ここで、プロファイルは、各々がハイパースペクトル画像１１５の２つ以上の帯域の画像データから導出される、成分Ａ、Ｂ、及びＣとラベル付けされた、セグメンテーションで使用するために作成する３つの異なる複合又は合成画像を指定する。当然ながら、プロファイルは、複数の帯域を組み合わせる画像を指定するために必要とされず、代わりに、場合によっては、画像データがセグメンテーションモジュール１６０に渡されるべきハイパースペクトル画像１１５から選択された元の帯域を単に指定してもよい。プロファイル１５３によって指示されるように、画像処理モジュール１４０は、様々な複合画像２２０ａ～２２０ｃを生成し、これらの合成画像は、セグメンテーション結果（例えば、異なる領域タイプに対応すると決定された領域又は領域の境界）を示すマスク２３０ａ～２３０ｃを生成するためにセグメンテーションモジュールによって使用される。マスクは、次いで、ハイパースペクトル画像の異なる帯域に対する画像の一部又は全部に適用されることができる。

【0098】

システム１００は、異なる組成、構造、又は他の特性を有する領域が、異なる波長の光に対して非常に異なる応答を有し得るという事実を利用する。言い換えれば、異なるタイプの２つの異なる領域（例えば、種子対葉）は、それぞれ、異なる帯域について光を強く反射し得る。例えば、第１の帯域は、第１の領域タイプ（例えば、種子）によって大部分が吸収され得るが、第２の領域タイプ（例えば、葉）によってはるかに強く反射され、第２の領域タイプ（例えば、葉）をセグメント化するときに使用するのに良好な帯域になる。この例では、光の第１の帯域についてキャプチャされた強度値を示す画像データにおいてキャプチャされた異なる反射率特性は、第１のタイプの領域を少なくとも部分的に縮小又は除去する傾向があり、第２の領域タイプにより強く対応する信号を残す。異なる帯域は、第１の領域タイプが第２の領域タイプよりも高い反射率を有する場合、反対のことを示し得る。しかしながら、多くの場合、２つの領域タイプの差分反射率のレベルは、図示されているほど明確ではない。特に、異なるタイプの領域は、単一のスペクトル帯域のみに基づいて効果的に区別することができない場合がある。

【0099】

帯域評価モジュール１４０は、ハイパースペクトル画像１１５を入力として受け取り、プロファイル１５３を使用して、３つの異なる領域タイプの各々に使用する帯域構成を決定する。例えば、帯域評価モジュール１４０は、３つの複合画像２２０ａ～２２０ｃを生成する。果肉及び種子は、（帯域１＋帯域３）／（帯域１－帯域３）によって生成される複合画像Ａによって最も顕著に示され、イチゴの種子は、複合画像Ｂ（帯域１＋帯域３）において最も顕著に示され、イチゴの葉は、（帯域１－帯域３）／（帯域１／帯域５）の帯域構成で最も顕著に示される。これらの各々において、帯域への参照は、その帯域についての画像データを参照し、その結果、例えば、「帯域１＋帯域３」は、帯域１及び３の両方についての画像データの和を表す（例えば、帯域１画像における各ピクセルについてのピクセル強度値を、帯域３についての画像についての対応するピクセル強度値と合計する）。（各複合画像は、代わりに、特徴の値又は２つ以上の特徴の加重和を示してもよいことが理解されるであろう。プロファイル１５３は、異なる領域タイプを最もよく強調する異なる帯域についての画像データの変換及び集約を指定することができ、より詳細には、セグメンテーションのために境界をより明確にするために異なる領域タイプ間の差を強調することができる。

【0100】

セグメンテーションモジュール１６０はまた、プロファイル１５３から、異なる領域タイプをセグメント化するためにどの帯域（又は特徴）又はそれらの組み合わせを使用すべきか、及び異なる領域タイプにどの他のパラメータを使用すべきか（例えば、閾値、どのアルゴリズム又はモデルを使用すべきかなど）の指示などの情報を受信する。セグメンテーションモジュール１６０は、セグメンテーション動作を実行し、対象領域タイプごとにマスク２３０ａ～２３０ｃを決定することができる。領域タイプに対する各マスクは、その領域タイプに対応する領域を識別する（例えば、その領域タイプを描写するものとして分類されるピクセルを指定する）。マスク２３０ａに見られるように、セグメンテーションプロセスは、イチゴの果肉が明確に識別されて示される領域を残して、種子、葉、及び背景を除去することができる。次に、マスク２３０ａ～２３０ｃは各々、ハイパースペクトル画像１１５内の画像のいずれか又は全てに適用されて、セグメント化された画像、例えば、それぞれの帯域に対する強度値の変動を示すが、データを所望の領域タイプに対応する画像データに制限する画像２４０ａ～２４０ｃを生成することができる。

【0101】

上述したように、セグメンテーション結果は、形状、サイズ、割合、又は他の特性が所定の基準を満たすか否かを決定するなど、物体１０１を評価するために使用することができる。セグメント化された領域はまた、他の特性を決定するために、機械学習モデルによるものを含む分析のために提供され得る。例えば、特定の領域タイプに対応する領域を分離すると、システムは、その領域タイプの領域を使用して実行されるべき分析プロセスを制限することができる。例えば、イチゴの化学組成（例えば、ブリックス度又は他の単位での糖度）の分析は、イチゴの果肉に対応するものとして識別されたピクセルのセットに基づき、考慮される場合に結果を歪める種子、葉、又は背景に対応するピクセルを除外することができる。ハイパースペクトル画像１１５の１つ以上のスペクトル帯域の各々の画像データについて、イチゴの果肉領域タイプに対応するピクセルに関する情報は、イチゴの糖度又は他の特性に関する推定を行う機械学習モデルに提供される。同様に、セグメント化されたデータを使用して、完熟度、全体的な品質、予想される貯蔵寿命などの他の特性を評価し得る。

【0102】

セグメンテーションに使用されるスペクトル帯域は、後続の分析に使用されるスペクトル帯域とは異なっていてもよい。例えば、果肉と種子を区別するためのセグメンテーションは、帯域１及び２の画像データを使用し得る。次に、セグメンテーション結果は、糖度などの化学特性を示す帯域３、及び含水量を示す帯域４の画像データに適用されてもよい。一般に、この手法は、対象領域タイプを最も正確に区別する帯域（複数可）の画像データを使用して、各領域タイプをセグメント化することを可能にする。対象の任意の特性（例えば、異なる化学物質の存在又は濃度、表面特徴、構造特性、テクスチャなど）の分析は、評価されるべき特性の画像データを最もよく提供する帯域のセットにかかわらず、そのセグメンテーションから利益を得ることができる。

【0103】

図３は、セグメンテーションプロファイルを指定するために異なる帯域構成を反復的に選択する一例を示す例示的なプロセス図である。前述したように、ハイパースペクトル画像は、複数の２Ｄ画像を含み、各々が異なる波長帯域について測定された反射率（又は吸収率又は吸光度）を表す。場合によっては、ハイパースペクトル画像は、２次元画像内の位置のセットの各々にわたる、周波数のセットの各々についてのライン走査を含む、ハイパーキューブを含み得、又はハイパーキューブであってもよい。簡単にするために、図３の例は、３つの帯域、帯域１、帯域２及び帯域３のみについての画像データを有するハイパースペクトル画像３０１を使用するが、多くの実装形態では、より多くの帯域が使用される。更に、図３の例は、単一の物体タイプの単一の領域タイプに対して使用する帯域構成を選択するための分析を示している。同じプロセスが、複数の領域タイプの各々について、及び様々な異なる物体タイプの各々について実行され得る。

【0104】

いくつかの実装形態では、選択プロセスの第１の反復において、システムは、ソースハイパースペクトル画像３０１内の個々の帯域ごとに画像データを評価し、所望の領域タイプがその帯域からどの程度良好にセグメント化され得るかを決定することができる。例えば、ハイパースペクトル画像３０１の各画像３０２～３０４は、セグメンテーション結果３０５～３０７を生成するために適用されたセグメンテーションを有する。スコアリングモジュールは、各帯域の画像に基づくセグメンテーション結果を、領域に対するセグメンテーショングラウンドトゥルースと比較し、特定の帯域に対するセグメンテーションの性能を表すスコア３１２～３１４を生成する。例えば、ハイパースペクトル画像３０１の帯域１画像３０２は、セグメンテーションモジュール１６０への入力として提供される。セグメンテーションモジュール１６０は、帯域１画像３０２の処理に基づいてセグメンテーションを実行し、セグメンテーション結果３０５を生成する。スコアリングモジュール３０８は、セグメンテーション結果３０５をグラウンドトゥルースセグメンテーション３１０と比較し、９５％の精度を示すスコア３１２を生成する。ハイパースペクトル画像３０１内の他の帯域の各々を評価するために同じプロセスを行うことができる。

【0105】

次に、システムは、それぞれの帯域についてスコア３１２～３１４（例えば、セグメンテーション精度スコア）を比較して、最高精度を示すものを選択する。例えば、所定の数の帯域を選択することができ（例えば、最高スコアを有するｎ個の帯域）、又は閾値を適用することができる（例えば、８０％を超える精度を有する帯域を選択する）。次いで、選択された帯域は、帯域の潜在的な組み合わせを評価するために、選択プロセスの第２の反復において使用される。

【0106】

第２の選択反復に対して、システムは、試験する帯域の新しい組み合わせを生成する。これは、異なる関数（例えば、異なる帯域の対の画像の和、差、積、商、最大値、最小値など）を使用して、第１の反復で選択された帯域の異なる対を組み合わせることを含むことができる。これにより、選択された帯域をセグメンテーションにおける候補としての特定の関数と組み合わせる合成画像又は複合画像が得られる。例えば、反復１の間、ハイパースペクトル画像３０１の帯域１及び帯域３は、最高精度スコア３１２及び３３２を有するこれらの帯域に基づいて選択された。第２の反復では、これら２つの帯域の画像データが異なる方法で組み合わされて、新しい複合画像又は集約画像が生成される。選択された帯域１及び帯域３は、３つの新しい画像、すなわち、（１）帯域１＋帯域３、（２）帯域１－帯域３、及び（３）帯域１／帯域３を形成するために組み合わされる。これら３つの新しい帯域の組み合わせから得られる画像は、画像コレクション３５１を構成する。

【0107】

第２の反復は、反復１と同じステップを画像コレクション３５１内の画像に対して実行し、例えば、各画像を用いてセグメンテーションを実行し、セグメンテーション結果をグラウンドトゥルースセグメンテーション３１０と比較し、セグメンテーションの精度のスコアを生成し、スコアを比較し、最終的に、最良の精度を提供する画像コレクション３５１から画像３５２～３５４のサブセットを選択する。例えば、反復２の間、画像コレクション３５１内の画像は各々、反復１について説明したのと同じセグメンテーション及び選択プロセスを受ける。例えば、画像３５２（帯域１の画像データと帯域３の画像データとを加算することによって形成される）は、セグメンテーションモジュール１６０への入力として提供される。セグメンテーションモジュール１６０は、セグメンテーションを実行し、この帯域組み合わせ（帯域１＋帯域３）についてのセグメンテーション結果３５５を生成する。スコアリングモジュール３０８は、セグメンテーション結果３５５をグラウンドトゥルース３１０と比較し、９６％の精度を示すスコア３２２を生成する。帯域１及び３からのデータを組み合わせるために使用される異なる演算子を用いて生成された他の画像の各々について、セグメンテーション結果及びスコアが決定される。次に、システムは、セグメンテーションの最良の精度を提供する帯域構成（複数可）を選択する。

【0108】

プロセスは、必要に応じて、例えば、各反復において達成される最高精度が少なくとも閾値量だけ増加する限り、反復の最大数に達するまで、精度の最小レベルに達するまで、候補帯域組み合わせが動作若しくは帯域の最大数に達するまで、又は別の条件に達するまで、追加の反復のために継続することができる。様々な反復にわたる最高精度の帯域が選択され、評価されている領域タイプ及び物体タイプのプロファイルに追加される。これは、ハイパースペクトル画像３０１の元の帯域のサブセット及び／又は特定の合成帯域、例えば、特定の演算子又は関数と組み合わされた帯域のセットを指定することを含むことができる。

【0109】

図４は、帯域選択及びハイパースペクトル画像セグメンテーションのためのプロセス４００の一例を示すフロー図である。プロセス４００は反復プロセスであり、対象領域の各々について、終了基準が満たされるまでプロセスが複数回反復される。各反復中に、プロセス４００は、ハイパースペクトル画像のセグメンテーションを実行し、セグメンテーションの実行に基づいて帯域のセットを選択し、帯域のセット内の帯域を組み合わせて新しい帯域を生成し、新しい帯域を有する新しいハイパースペクトル画像を生成する。簡潔に言えば、プロセス４００は、複数の波長帯域を含むハイパースペクトル画像データにアクセスすることを含む。ハイパースペクトル画像データに基づいて、波長帯域の複数の異なる組み合わせの各々について画像データを生成する。生成された画像データセットの各々に対してセグメンテーションを実行して、波長帯域の複数の異なる組み合わせの各々に対するセグメンテーション結果を取得する。波長帯域の複数の異なる組み合わせに対するそれぞれのセグメンテーション結果に対する精度尺度を決定する。精度尺度に基づいて波長帯域の組み合わせのうちの１つを選択する。波長帯域の選択された組み合わせを示す出力を提供する。

【0110】

より詳細には、異なる波長帯域を有する複数の画像を含むハイパースペクトル画像データが取得される（４１０）。前述したように、ハイパースペクトル画像は３次元ｘ、ｙ及びｚを有し、ｘ、ｙは空間次元を表し、ｚはスペクトル／波長帯域の数を表す。１つの解釈において、ハイパースペクトル画像は複数の２次元画像を含み、各２次元画像はｘ、ｙ空間次元によって表され、２次元画像の各々はｚによって表される異なるスペクトル／波長帯域を有する。ほとんどのハイパースペクトル画像は、撮像技術に応じて、数百又は場合によっては数千の帯域を有する。例えば、カメラシステム１１０は、イチゴ１０１のハイパースペクトル画像１１５を撮影する。ハイパースペクトル画像１１５は、画像の各々が異なる波長帯域を有するＮ個の画像を含む。

【0111】

複数の領域タイプの各々について、プロセス４００は、ハイパースペクトル画像のセグメンテーションを実行し、セグメンテーション結果を生成する（４２０）。前述したように、ハイパースペクトル画像は、異なる波長帯域を有する複数の画像を含む。ハイパースペクトル画像の特定の波長帯域を有する各画像は、セグメンテーションを受ける。例えば、反復１の間、画像３０１は、セグメンテーションモジュール１６０への入力として提供される異なる波長帯域の３つの画像３０２、３０３、３０４を含む。特定の波長での各画像のセグメンテーションは、セグメンテーション結果を生成する。例えば、画像３０２のセグメンテーションは、セグメンテーション結果３０５を生成する。同様に、画像３０３及び３０４のセグメンテーションは、それぞれセグメンテーション結果３０６及び３０７を生成する。

【0112】

セグメンテーション結果は、性能スコアを生成するためにグラウンドトゥルースセグメンテーションと比較される（４３０）。例えば、スコアリングモジュール３０８は、帯域１を有する画像３０２のセグメンテーションの精度を生成するために、画像３０２のセグメンテーション結果３０５をグラウンドトゥルースセグメンテーションと比較する。同様に、スコアリングモジュール３０８は、セグメンテーション結果３０６及び３０７をセグメンテーショングラウンドトゥルース３１０と比較して、精度３２２及び３３２を生成する。

【0113】

任意の帯域におけるハイパースペクトル画像のセグメンテーションの精度が、所望の基準と比較される（４４０）。例えば、ユーザが９９％のセグメンテーション精度を望むが、特定の反復に対する帯域におけるセグメンテーションの最高精度が９９％以上ではない場合、プロセス４００は、最高精度を有する帯域の中から選択プロセスを実行する。しかしながら、帯域のいずれかにおけるセグメンテーションの最高精度が所望の基準を満たす場合、プロセス４００は、その帯域を出力として提供する。

【0114】

波長帯域のセグメンテーション精度が所望の基準を満たさない場合、プロセス４００は、特定の性能スコアを有する帯域の中から複数の異なる帯域を選択し、複数の異なる帯域を使用して新しい波長帯域を生成する（４５０）。例えば、反復１中の異なる帯域を有する３つの画像３０２、３０３、及び３０４のセグメンテーションは、９５％、７０％、及び９８％の精度スコアを生成し、それによって９９％の所望の基準を満たさない。プロセス４５０は、それらの高精度に基づいて帯域１及び帯域３を選択し、新しい帯域３５２、３５３、及び３５４を生成する。これらの３つの新しい帯域は、反復２において新しいハイパースペクトル画像３５１を形成する。

【0115】

図５Ａは、機械学習モデルを使用して物体の１つ以上の画像を処理することによって物体の化学成分を予測するように構成された例示的なシステム１００のブロック図である。システム５００は、サンプル１０１のハイパースペクトル画像１１５に基づいてサンプル１０１の化学成分の予測を生成するために機械学習モデル１７０を使用するコンピュータシステム１３０を含む。システム１００は、分析される物体の画像をキャプチャするためのカメラシステム１１０を含む。カメラシステム１１０は、例えば、複数の異なるスペクトル帯域の各々に対するピクセル強度値を有するハイパースペクトル画像を取得するように構成され得る。いくつかの実装形態では、カメラシステム１１０は、Ｘ線蛍光及びレーザ誘起ブレークダウン分光法を含む、他の撮像又は走査技術を使用して、データを取得することができる。分光法又は他の走査技術からの結果は、セグメンテーション、モデルトレーニング、化学物質の量及び濃度の予測などのために、ハイパースペクトル撮像結果に加えて、又はその代わりに使用されることができる。

【0116】

図５Ａの例及び以下のいくつかの他の例では、システム１００は、特定のタイプの果実、例えばイチゴの糖度を予測するようにトレーニングされたモデルを使用する。同じ技術を使用してモデルをトレーニングし、他のタイプの物体中の他の化学物質の含有量を予測することができる。概して、システム１３０は、機械学習モデルを使用して、サンプルの画像を処理し、サンプルの破壊的分析を通して直接的にのみ試験されることができるサンプルの特性を推論することができる。これは、サンプルを損傷することなく試験することを可能にするだけでなく、多くの用途における試験のためのはるかに速い試験及びより高いサンプリング速度を可能にする。

【0117】

図５Ｂに関して以下で更に説明するように、この技術を使用して、リサイクル及び廃棄物管理のためにプラスチック又は他の材料の特性を予測することができる。例えば、この技術は、ハイパースペクトル画像データからの情報を使用して、プラスチックへの添加剤（例えば、フタル酸塩、臭化物、塩素酸塩、表面コーティングなど）及び／又は汚染物質（例えば、プラスチックアイテム上の油又は食品残留物）の存在を検出し、その濃度を予測するモデルをトレーニングするために使用することができる。いくつかの実装形態では、同じ技術を使用して、モデルをトレーニングし、使用されるベース樹脂のタイプ（例えば、ＰＥ、ＰＥＴ、ＰＶＣなど）を予測し、物体の他の特性を予測することができる。モデルによって生成された情報は、廃棄物アイテム又は廃棄物材料の流れを特徴付けるために使用することができる。

【0118】

システム１００が化学成分を予測する際に高精度を提供することができる方法の１つは、従来のＲＧＢ画像よりもはるかに高いレベルの情報を提供するハイパースペクトル画像の使用によるものである。ハイパースペクトル画像は、ピクセルグリッドの空間次元を表すｘ及びｙと、データがキャプチャされる異なるハイパースペクトル帯域又は波長を示す第３のｚ次元とを有する３次元を有すると考えられ得る。言い換えれば、ハイパースペクトル画像は、ｚによって表される異なるスペクトル帯域又は波長帯域の測定された反射率（又は吸収率又は吸光度）を各々表す複数の２次元画像を含むと考えることができる。例えば、画像１１５は、空間次元を表す複数の画像（例えば、画像１、画像２．．．画像Ｎ）を含み、画像の各々は、異なる波長帯域（例えば、帯域１、帯域２．．．帯域Ｎ）を有する。画像は、ハイパーキューブを含み得、又はハイパーキューブであってもよい。

【0119】

ハイパースペクトル画像は、多くの異なるスペクトル帯域（例えば、５、１０、１５、２０など）に関する情報を含むことが多い。帯域はまた、ＲＧＢ帯域より狭くてもよく、ＲＧＢデータによってカバーされるスペクトルの領域をカバーする３つより多い帯域を含み得る。ハイパースペクトル画像はまた、多くの場合、短波長赤外線（ＳＷＩＲ）、中波長赤外線（ＭＷＩＲ）、及び長波長赤外線（ＬＷＩＲ）の各々について潜在的に１つ以上の帯域を含む、可視範囲ではないスペクトル帯域、例えば、紫外線及び／又は赤外線範囲の帯域についてのデータを含む。異なる化学化合物は、異なるスペクトル帯域に対して異なる光反射率及び吸収特性を有する。言い換えれば、異なる化学物質は、それらの化学構造に応じて異なる波長帯域と強く相互作用する。結果として、ハイパースペクトル画像を使用して多くの比較的狭いスペクトル帯域にわたってサンプルの反射率を評価する能力は、システム１３０が対象化学物質の特性である別個の相互作用を識別するのに役立ち得る。それはまた、いくつかのスペクトル帯域幅に関して同様の特性を有するが、他のスペクトル帯域幅との相互作用に関して異なる特性を有し得る化学物質を区別するのに役立つ。

【0120】

サンプルの分析において使用されるスペクトル帯域のセットは、予測タスクの性質に依存し得る。例えば、システムは、対象化学物質の分析に関連するスペクトル帯域のサブセットを識別し、トレーニング及び推論処理のためにスペクトル帯域のそのサブセットを使用し得る。一例として、果実の糖度を評価するために、糖分子におけるＯ－Ｈ結合振動周波数に対応するスペクトル帯域（複数可）の画像は、糖度を予測することができる。しかしながら、この周波数に対する単一の帯域は、最も信頼できる予測を提供しない可能性があり、単一の帯域は、光と糖との相互作用を、存在し得る他の化合物（例えば、水、他の炭水化物など）の相互作用から適切に区別しない可能性がある。結果として、機械学習モデルを開発するとき、システム５００は、化学成分予測において使用するためのスペクトル帯域の組み合わせのデータ駆動型選択を行うために、様々なステップを実行することができる。モデルにおいてどの帯域を使用すべきかを試験するプロセスは、スペクトル帯域の異なるセットの各々について入力特徴値（例えば、平均強度特徴）を受信するようにトレーニングされた多くの異なるモデルを作成することと、次いで、スペクトル帯域のどのセットが最良に機能するかを決定するためにモデルを試験することとを含むことができる。

【0121】

場合によっては、予測が望まれる化学物質について特性が知られている場合、スペクトル帯域又は複数のスペクトル帯域は、化学物質と高度に相互作用することが知られている帯域を含むように手動で指定され得る。例えば、糖濃度を予測するために、糖分子は、１００ｎｍ～１０００ｎｍの範囲（及び同様に又は代わりに他のもの）の様々なスペクトル帯域と相互作用する結合を有するので、この範囲をカバーする１つ以上の帯域が含まれ得る。予測の対象となる化学化合物の異なる相互作用ピークに対応する様々な帯域を使用することができる。これは、一次相互作用を含む帯域、並びに化学結合の伸縮又は振動のための二次、三次、又は他の倍音を含むことができる。場合によっては、使用される帯域は、ある範囲にわたる化学物質の異なる吸収ピークに対応する。したがって、トレーニング及び推論のためにモデルで使用されるスペクトル帯域は、予測される化学物質の化学構造及び／又は異なる波長との化学物質の既知の相互作用に基づいて選択することができ、したがって、それらのスペクトル帯域の特徴値は、それらの帯域における反射率（又は吸収率若しくは吸光度）の増加又は減少における化学物質の影響を直接示す。上述したように、他の帯域を選択して、対象化学物質とともに存在すると予想されるが、実際には予測されていない他の化学物質の影響を示すこともできる。一例は、化学物質Ａ及び化学物質Ｂの両方が第１の帯域において同様の相互作用を有するが、化学物質Ｂのみが第２の帯域に対して強く相互作用する（又はより一般的には、相互作用の相対的なレベル又はタイプが異なる帯域における２つの化学物質に対して異なる）場合、化学物質Ａの濃度のみが予測されている場合であっても、両方の帯域からの特徴を含めることができ、したがって、モデルは、異なる化学物質の間で第１の帯域における相互作用を帰属又は配分するように学習することができる。

【0122】

場合によっては、スペクトル帯域における情報は、例えば、化学物質の反射率（又は吸収率若しくは吸光度）に起因して、又は化学物質の存在に起因する反射率の差によって、化学物質の存在を直接示す。他の場合には、特徴データは、予測されていないが、それにもかかわらず、通常、対象化学物質とともに発生する化学物質を示す反射率データを通して、化学物質の存在に関する間接的情報を提供してもよい。例えば、所与の用途に対して、２つの化学物質Ａ及びＢは、典型的には、ある比率、例えば６０／４０で一緒に存在し得る。用途又は化学特性の制約を考慮すると、予測されることが望まれる化学物質Ａの濃度を明確に示すスペクトル帯域における反射率を直接測定することは可能でない場合がある。それにもかかわらず、化学物質Ｂの濃度レベルを示すことができるスペクトル帯域が存在する場合、その帯域をモデルにおいて使用することができる。機械学習トレーニングを通して、モデルは、アプリケーション内の２つの化学物質間の関係を前提として、化学物質Ｂの濃度を示す帯域を示す画像データを使用して化学物質Ａの濃度を予測することを学習することができる。どの帯域が最も相関して予測されるか（例えば、予測モデリングにおいて使用される場合に最も有効であるか）のデータ駆動型又は実験的に決定された選択は、これらの関係を明らかにし、どの帯域が最も正確かつ信頼できる結果を提供するかを示すことができる。これは、光と予測される化学物質との直接的な相互作用を示す帯域から、又はそれにもかかわらず対象化学物質に関連する他の化学物質との相互作用を示す帯域から生じ得、したがって対象化学物質の濃度レベルの代用物又は指標として役立ち得る。

【0123】

使用するためのスペクトル帯域の選択は、異なるスペクトル帯域からの情報を組み合わせることができる拡張帯域を生成し、評価し、組み込むことを含み得る。例えば、多くの異なる拡張帯域は、２つ以上の帯域の画像を加算すること、１つの帯域の画像を別の帯域から減算すること、又は他の動作を実行することによって作成され得る。次いで、システムは、拡張帯域のうちのどれが、対象の１つ以上の特性を推論するための最大予測値を有するかを決定する。これにより、システムは、例えば、対象化学物質の反射率（又は吸収率又は吸光度）寄与を他の化学物質の寄与から分離するのに役立つ拡張帯域を識別することが可能になる。例えば、化学物質Ａ及びＢは両方とも第１の帯域と強く相互作用し得るが、化学物質Ｂのみが第２の帯域と強く相互作用し得る。化学物質Ａの含有量を予測するためのモデルに対して、システム５００は、スペクトル帯域の異なる対に対する値を各々加算及び減算する拡張帯域の多くの順列を試験することができる。システム１００は、第１の帯域の画像データから第２の帯域の画像データを減算することによって形成された拡張帯域が、（例えば、第１の帯域単独よりも化学物質Ａとの相互作用を示すのに役立つので）化学物質Ａの含有量を最も示していると判断することができる。結果として、システム１３０は、機械学習モデルをトレーニングして、モデルのトレーニングにおいて、及びトレーニングされたモデルを使用してサンプル中に存在する化学物質Ａのレベルに関する推論を行う際に、識別された拡張帯域のデータをモデルへの入力として使用することができる。

【0124】

化学成分を予測する際により高い精度を提供するために、システム１３０は、化学成分予測に有益であるか又は化学成分予測を予測するサンプルの画像の特定のタイプの領域を分離し得る。システム１３０は、機械学習モデルへの入力を生成するために、画像全体としての画像、又は画像内に示されるサンプルの全体部分でさえもなく、画像内のサンプルの分離領域を使用することができる。これは、特定の基準を満たす領域を識別する自動画像セグメンテーションプロセスを使用して行うことができる。セグメンテーションは、ハイパースペクトル画像の１つ以上のスペクトル帯域についてのデータを使用して、画像に示されるサンプルの異なるタイプの領域を識別することができる。次いで、システム１３０は、例えば、特定の化学物質の含有量のレベルを推論するために画像内の特定のタイプの領域のみを使用して、異なる領域の値を異なるように重み付けして、異なる化学物質の含有量のレベルを推論するために異なる領域を使用して、など、異なるタイプの領域を異なるように扱う推論処理を実行することができる。

【0125】

いくつかの実装形態では、カメラシステム１１０は、サンプル１０１の単一の側の画像をキャプチャし得、又は複数の異なる角度、ポーズ、若しくは向きからサンプル１０１の画像をキャプチャし得る。上述したように、カメラシステム１１０は、可視スペクトル以外の光のスペクトルで果実の画像をキャプチャし得るカメラを含み得る。例えば、カメラシステム１１０は、赤外光及び／又は紫外光の特定の帯域でイチゴの画像を撮影するカメラを含むことができる。図示された例において、カメラシステム１１０は、イチゴのハイパースペクトル画像１１５をキャプチャする。

【0126】

以下で更に説明するように、異なるスペクトル帯域における反射率の強度は、化学成分に関する予測を行う際に使用される。高精度を提供するために、トレーニングにおいてキャプチャされ使用される画像、並びに推論処理に使用される画像は、制御された条件でキャプチャされることができる。これらは、一貫したレベルの人工照明下でのキャプチャ、光源からの一貫した距離、周囲光を遮断する筐体内での画像のキャプチャなどを含むことができる。このようにして、異なるスペクトル帯域に対するピクセル強度値の差によって示される反射率（又は吸収率又は吸光度）の変動は、化学成分の差の信頼できる指標となり得る。

【0127】

システムは、通信ネットワーク１２０を含む。ネットワーク１２０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、又はそれらの組み合わせを含むことができる。ネットワーク１２０はまた、任意のタイプの有線及び／又は無線ネットワーク、衛星ネットワーク、ケーブルネットワーク、Ｗｉ－Ｆｉネットワーク、モバイル通信ネットワーク（例えば、３Ｇ、４Ｇなど）、又はそれらの任意の組み合わせを含むことができる。ネットワーク１２０は、インターネットプロトコル（ＩＰ）、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、又は他のタイプのプロトコルなどのパケットベース及び／又はデータグラムベースのプロトコルを含む通信プロトコルを利用することができる。ネットワーク１２０は、スイッチ、ルータ、ゲートウェイ、アクセスポイント、ファイアウォール、基地局、リピータ、又はそれらの組み合わせなど、ネットワーク通信を容易にし、かつ／又はネットワークのためのハードウェア基盤を形成するいくつかのデバイスを更に含むことができる。

【0128】

コンピュータシステム１３０は、カメラシステム１１０及びサンプル１０１に対してローカル又はリモートに位置し得る１つ以上のコンピュータを含むことができる。コンピュータシステム１３０は、潜在的に特定の化学物質の化学成分を決定する要求とともに、リモートクライアントから画像データを受信するサーバシステムとすることができる。コンピュータシステム１３０は、トレーニングされた機械学習モデル１７０を用いて画像データを処理して、特定の化学物質の量又は濃度の予測を生成し、次いで、例えば、データベースに記憶するために、ユーザインターフェースに出力するために、選別システム又は包装システムなどを制御するために、予測を示すデータをデバイスに提供することができる。

【0129】

図５Ａに図示される技術の１つの用途は、コンピュータシステム１３０を使用して、果実の糖度を予測する（例えば、推論する）ための機械学習モデル１７０をトレーニング及び使用することである。機械学習モデル１７０は、特定の化学物質又は化学物質のグループ若しくはクラスの量又は濃度を推論するようにトレーニングされ得る。同様に、モデル１７０は、特定のタイプの果実、例えばイチゴについて推論を行うようにトレーニングすることができる。異なるサンプルタイプ（例えば、異なるタイプの果実）における異なる化学物質の含有量を予測するために、異なるモデルをトレーニングすることができる。図１において、モデル１７０は、イチゴ全体の外部のハイパースペクトル画像に基づいて、イチゴの果汁中の糖度を推論するために使用される。カメラシステム１１０は、サンプル１０１のハイパースペクトル画像１１５をキャプチャし、ネットワーク１２０を使用して画像１１５のデータをコンピュータシステム１３０に送信する。カメラシステム１１０によってキャプチャされた画像を受信すると、コンピュータシステム１３０は、トレーニングされた機械学習モデル１７０を使用して画像１１５を処理して、画像内の果実の糖度をブリックス度の値として予測する。

【0130】

いくつかの実装形態では、システム５００の構成要素は地理的に分散され得る。そのような実装形態では、コンピュータシステム１３０は、単一のリモートサーバによって、又はローカル若しくはグローバルに分散された複数の異なるサーバのグループによって実装され得る。そのような実装形態では、コンピュータシステム１３０によって実行される機能は、複数の分散コンピュータシステムによって実行することができ、予測モデルは、ネットワーク１２０を介してソフトウェアサービスとして提供される。いくつかの実装形態では、システム５００はローカルに実装され得る。例えば、システム５００は、カメラシステム１１０及びコンピュータシステム１３０を収容するスタンドアロンセンサユニットとして実装することができる。

【0131】

モデルトレーニングはリモートシステムにおいて行われてもよいが、トレーニングされたモデル１７０は、ネットワーク１２０を介して異なるクライアントデバイスに配信され得、クライアントデバイスは、ローカルに記憶されたモデル１７０を用いてローカルにキャプチャされた画像を処理し得る。そのような実装形態では、ユーザは、ユーザデバイスのカメラを向け、特定のタイプの物体の画像を撮影することができる。そのような実装形態では、機械学習モデル１７０は、化学成分推論を生成するために、ユーザデバイス上に記憶され、ユーザデバイスによって使用され得る。

【0132】

機械学習モデルはまた、ユーザデバイスによってアクセスされるソフトウェアサービスとして提供され得る。例えば、機械学習モデルは、リモートサーバ上に実装され得る。スマートフォンなどのユーザデバイスを使用してシーン内の果実の画像を撮影すると、ユーザは、画像をリモートサーバにアップロードすることによって、ネットワーク１２０を介して画像を送信することができる。画像を受信すると、リモートサーバは、画像を処理して、画像内の果実の糖度を予測する。次いで、予測糖度は、表示又はユーザへの通知のために、ネットワーク１２０を介してユーザデバイスに送信される。そのような実装形態は、ユーザデバイスのオペレーティングシステムにおいて実行されるサードパーティアプリケーションに基づくことができ、又はネットワーク１２０若しくはインターネットによって接続されたリモートサーバウェブサイト若しくはポータルにアクセスすることによって実装され得る。

【0133】

図５Ａは更に、段階（Ａ）～（Ｆ）に示されるデータの例示的なフローを示す。段階（Ａ）～（Ｆ）は、図示された順序で発生し得、図示された順序とは異なる順序で発生し得る。いくつかの実装では、段階（Ａ）～（Ｆ）のうちの１つ以上は、オフラインで生じてもよく、コンピュータシステム１３０は、ユーザデバイスがネットワーク１２０に接続されていないときに計算を実行してもよい。段階（Ａ）～（Ｃ）は、機械学習モデル１７０をトレーニングすることを説明し、段階（Ｄ）～（Ｆ）は、トレーニングされたモデル１７０を使用することを説明する。

【0134】

段階（Ａ）の間、コンピュータシステム１３０は、トレーニング画像５４０のセットを取得する。トレーニング画像５４０のセットは、特定のタイプの果実の複数の画像を含む。例えば、イチゴの糖度を予測するために、トレーニング画像５４０のセットは、異なるレベルの糖度を有するイチゴの例を含む、異なるイチゴの複数の画像を含む。トレーニング画像５４０のセット内の各画像は、糖度の測定を通じて決定されたイチゴの実際の糖度を示すグラウンドトゥルースラベル５４１に関連付けられる。果実のグラウンドトゥルースラベル５４１は、最初に果実の画像をキャプチャし、次に侵襲的及び／又は破壊的化学試験を実行して果実の糖度を決定することによって得ることができる。典型的には、測定は、画像がキャプチャされた後にイチゴを粉砕し、例えば屈折計又は浮秤を使用して、放出された果汁の糖度をブリックス度で測定するなどの破壊試験によって行われる。

【0135】

いくつかの実装形態では、トレーニング画像５４０のセットは、同じ特定の果実に対応し得る２つ以上の画像を備え得、２つ以上の画像の各々は、異なる光スペクトル、角度、距離、ポーズ、又はカメラシステムで撮影される。例えば、トレーニング画像５４０のセットは、第１の画像がイチゴの一方の側を示し、第２の画像が同じイチゴの他方の側を示す２つの画像を含み得る。そのような例示的なシナリオでは、画像が同じ果実を参照するので、両方の画像が同じグラウンドトゥルース糖度を有する。

【0136】

ロバストなモデルのトレーニングを可能にするために、トレーニング画像５４０は、異なるカメラシステム、異なる照明レベル、カメラから被写体までの異なる距離、サンプルの異なる向き又はポーズなどで撮影されたイチゴの画像を含むことができる。

【0137】

段階（Ｂ）の間、コンピュータシステム１３０は、特徴抽出モジュール５５０を使用して、画像を処理し、機械学習モデル１７０に提供するための入力特徴を生成する。（場合によっては、特徴抽出モジュール５５０及び機械学習モデル１７０ｂは、単一の同じモデルとして動作し得ることが理解されるであろう。例えば、１つの特徴は画像自体であってもよい。）画像の処理は、いくつかのステップを含むことができる。システム１３０は、トレーニング画像を異なるタイプの領域にセグメント化する。（場合によっては、セグメンテーションプロファイル１５３がヌル演算であり得るように、セグメンテーションが実行されることが理解されるであろう。追加的に又は代替的に、セグメンテーションなどの画像処理は、機械学習フレームワーク内のパイプラインの一部として実行され得る。異なるタイプは、モデル１７０が分析するようにトレーニングされている物体のタイプの異なる部分に対応することができる。例えば、イチゴの果肉、イチゴの種子、及びイチゴの葉又は萼について、異なる領域タイプを決定することができる。別のタイプの領域は、サンプル１０１自体ではなく、サンプル１０１の環境又は周囲を示す背景ピクセルを指すことができる。この例では、トレーニングに使用される画像がセグメント化され、イチゴの果肉に対応する領域が特徴値を決定するために使用され、他の領域は破棄され、糖度の分析には使用されない。例えば、イチゴの外表面は、一般に、果肉及び種子の両方を含む。そのような一例では、特徴抽出モジュール５５０は、トレーニング画像５４０のセット内の画像を処理して、果実の果肉部分を表す画像領域を種子から分離することによって画像セグメンテーションを実行することができる。

【0138】

特徴抽出モジュール５５０はまた、様々な異なる特徴の値を決定することができる。これらの特徴は、異なるスペクトル帯域の各々に対するトレーニング画像の選択されたセグメント化された領域における平均ピクセル強度であり得る。例えば、帯域１の平均強度を提供することができ、帯域２の平均強度を提供することができ、以下同様である。スペクトル帯域の選択されたセットについての平均強度値は、トレーニング中に機械学習モデル１７０への入力のための入力ベクトルとして使用され得る。

【0139】

化学的予測のために使用される物体の部分及び使用されない物体の部分を分離するためのセグメンテーションの代替として、システム１３０は、代わりにサンプリング技術を使用することができる。例えば、イチゴでは、種子を有する領域及び種子を有さない領域は、ハイパースペクトル帯域にわたって非常に異なる反射率曲線を有する。特に、種子は、一般に、全てではないにしてもほとんどのスペクトル帯域に対してより反射性である。この特性を利用するために、特徴抽出モジュール１５０は、イチゴを示す画像の領域にわたって画像データの小さいサンプルを取り、小さいサンプリングされた領域の各々における反射率曲線又は反射率平均値を決定することができる。イチゴを示す領域内のサンプリングは、規則的又はグリッド状パターンでランダム又は擬似ランダムに行われてもよく、又はイチゴの全領域をカバーするサンプリングを使用して行われてもよい。各サンプル領域についての反射率の結果は、曲線、帯域についての平均のベクトルなどのいずれであっても、クラスタに一緒にクラスタ化される。本出願では、２つの主なクラスタが存在し、一方は、種子の包含を表す全体的により高い反射率を有し、他方は、サンプルが種子を回避した場合により低い反射率を有する。次いで、より低い反射率を有するクラスタ内の値を、トレーニングのための特徴値を生成するために使用するグループとして選択することができ、同じ技術を使用して、推論処理のための特徴値を決定することができる。この技術は、サンプリングを使用して、そうでなければ予測の不正確さを引き起こすであろう他の領域（例えば、種子を示す）の寄与から特定のタイプの対象領域（例えば、イチゴの果肉）の寄与を分離する。

【0140】

いくつかの実装形態では、コンピュータシステム１３０は、モデル１７０が予測するようにトレーニングされている特性のタイプを予測するのにどのスペクトル帯域が最も有効であるかを決定するために分析を実行することができる。例えば、ステップ（Ｂ）におけるトレーニングの前に、コンピュータシステム１３０は、分析プロセスを実行して、異なるスペクトル帯域の予測値を個別に又は集合的に検査して、特定のタイプのサンプル（例えば、物体のタイプ）から特定の化学物質の化学成分を予測するための最大の予測精度を提供する帯域の組み合わせを決定することができる。これは、しばしば精度を改善しながら、次元削減及びより小さいモデルを可能にする。一般に、ハイパースペクトル画像は、画像をキャプチャするために使用される撮像技術に応じて数十の帯域を有し、帯域の全てが、所望の化学物質の化学成分を予測するための有用な情報を提供するわけではない。システムは、例示的データの分析を通して識別された相関又は予測値に基づいて、予測される化学成分の所望のタイプについての情報を提供する、異なる帯域からのデータをともに組み合わせる、潜在的に拡張（及び合成）帯域を含む、帯域のサブセットを選択することができる。

【0141】

段階（Ｃ）の間、コンピュータシステム１３０は、トレーニング画像から決定された特徴値を使用して、機械学習モデル１７０をトレーニングする。いくつかの実装形態では、モデル１７０は、勾配ブースト回帰木（例えば、ＸＧブースト木）などの決定木である。他の実装形態では、モデル１７０は、ニューラルネットワーク、サポートベクトル回帰モデル、又は別のタイプのモデルであり得る。機械学習モデル１７０は、トレーニング中に調整される値を有する複数のパラメータを含む。機械学習モデルをトレーニングすることは、機械学習モデル１７０が、トレーニング画像の選択されたセグメント化された領域から決定された入力特徴値のセット、例えば、スペクトル帯域の所定のセットの各々に対する平均強度値を処理することによって、１つ以上の化学物質の含有量のレベルを予測することができるように、機械学習モデルのトレーニング可能パラメータを調整することを含む。勾配ブースト決定木がモデルタイプとして使用されるとき、勾配ブーストトレーニングアルゴリズムが使用され得る。他の実装形態では、ニューラルネットワークが使用され得、誤差の逆伝播及び他のニューラルネットワークトレーニング技術が使用され得る。

【0142】

トレーニングは、モデル１７０が所望の特性（複数可）、例えば、入力からの化合物の量又は濃度を予測することができるまで、異なるトレーニング例を用いて進めることができる。イチゴの糖度を分析する場合、トレーニングデータの適切なセット及び十分な反復を用いて、モデル１７０は、典型的な破壊試験によって提供されるレベルに一致するか又はそれを超える精度で糖度をブリックス度で予測するようにトレーニングされ得る。

【0143】

モデルがトレーニングされた後、モデル１７０を使用して、物体の画像に基づいて物体の予測を行うことができる。段階（Ｄ）の間、カメラシステム１１０は、化学成分予測を行うためにモデル１７０がトレーニングされた物体のタイプであるイチゴであるサンプル１０１の画像１１５をキャプチャする。カメラシステム１１０は、可視範囲内のスペクトル帯域に加えて、又はその代わりに、可視スペクトル外のスペクトル帯域の画像データを含むハイパースペクトル画像１１５をキャプチャすることができる。例えば、カメラシステム１１０は、サンプル１０１のハイパースペクトル画像１１５をキャプチャする。画像１１５は、空間次元を表す複数の画像（例えば、画像１、画像２．．．画像Ｎ）を含み、画像の各々は、異なる波長及び／又は帯域（例えば、帯域１、帯域２．．．帯域Ｎ）を有する。カメラシステム１３０は、画像１１５の画像データをネットワーク１２０を介してコンピュータシステム１３０に提供する。

【0144】

段階（Ｅ）の間、コンピュータシステム１３０は、ネットワーク１２０を介して画像１１５を受信し、機械学習モデル１７０を使用してデータを処理して、化学成分の予測レベルを決定する。この例では、画像１１５を受信すると、コンピュータシステム１３０は、画像１１５を処理して、画像１１５に示されるイチゴの糖度を予測する。

【0145】

特徴抽出モジュール５５０は、サンプル１０１（例えば、背景ではなくイチゴ）を表す画像１１５の部分を識別するために、より具体的には、イチゴの特定のタイプの領域（例えば、葉、種子などとは対照的なイチゴの果肉）を示す画像１１５の部分を識別するために、画像をセグメント化することを含む、画像１１５を処理する。セグメント化された領域の選択されたサブセット、例えば、イチゴの果肉として識別された画像１１５の領域を使用して、モジュール５５０は、特徴の所定のセットの各々に対する値を決定する。特徴は、対象の１つ以上の化学特性を予測する際に使用するために選択された異なるスペクトル帯域に対応することができる。例えば、特徴は、画像１１５内のスペクトル帯域のサブセットの各々についての平均強度であり得る。結果として、特徴値のセットが画像１１５に対して決定され、各特徴値は、スペクトル帯域の所定のセットにおける異なる（拡張帯域であってもよい）スペクトル帯域に対する平均強度値を表し、平均は、イチゴの果肉として識別されたセグメント化された領域にわたって決定される。スペクトル帯域の所定のセットは、トレーニング中に情報がモデル１７０に提供されたスペクトル帯域の同じセットとすることができる。

【0146】

特徴抽出モジュール５５０によって生成された特徴値は、トレーニングされた機械学習モデル１７０への入力として提供される。機械学習モデル１７０は、トレーニング中に決定されたトレーニング状態を使用して、例えば、上述した段階（Ｃ）において設定されたパラメータ値を使用して、入力特徴値を処理する。モデル１７０は、モデル１７０が予測するようにトレーニングされた１つ以上の化学物質の含有量の予測（例えば、推論）レベルを示す出力５７０を生成する。例えば、モデル１７０は、画像１１５に示されているイチゴの糖度を示す回帰出力（例えば、数値）を提供することができる。出力５７０は、ブリックス度、プラトー度、糖の比重、糖の質量分率、又は糖の濃度などの任意の適切な形態又はタイプの単位で表すことができる。予測に使用される測定のタイプは、モデル１７０のトレーニングに使用されるグラウンドトゥルースラベル５４１に使用される同じタイプであり得る。

【0147】

段階（Ｆ）の間、予測化学成分５７０を示すデータがデバイスに提供される。例えば、予測５７０は、サンプル識別子、タイムスタンプ、及び潜在的にサンプルタイプ、場所などのコンテキストデータと関連付けて、データベース５９０又は他のデータストレージに記憶され得る。別の例として、予測５７０は、ユーザインターフェースにおいてユーザに提示するために、スマートフォン、ラップトップコンピュータ、デスクトップコンピュータなどのユーザデバイス５８５に提供され得る。

【0148】

いくつかの実装形態では、予測化学成分は、コンピュータシステム１３０又は別のデバイスによって評価される。例えば、化学成分予測５７０は、１つ以上の閾値と比較されることができ、ユーザは、化学成分が、最大レベルを上回る、最小レベルを下回る、範囲内にある、範囲外にある、又は別の所定の条件を満たす場合、警告を提示されることができる。予測５７０は、コンピュータシステム１３０又は別のシステムによって使用されて、異なる糖レベルを有するイチゴを異なる領域又は容器に移動させるように構成された選別又は包装機器５７５を制御することができる。予測５７０は、追加的に又は代替的に、サンプル１０１又はサンプル１０１のソース（例えば、サンプル１０１を含むロット又はバッチ、サンプル１０１が位置するか又は採取された特定の植物、植物群、又はフィールド、など）に利用する事ができる。この機能を使用して、イチゴ又は他の果実をきめ細かく収穫する時間を推定又は最適化して、所望のレベルの化学成分（例えば、糖濃度又は他の特性）を達成することができる。

【0149】

上記の技術は、サンプル１０１の糖度をブリックス度で予測する一例で示されているが、同じ技術を使用して、他の化学物質の濃度を予測することができる。より一般的には、本技術は、テクスチャ、堅さ又は軟らかさ、予測される理想的な収穫時間までの時間などの他の特性を予測するために使用されることができる。これら及び他の特性は、予測されるべき特性のタイプについてのグラウンドトゥルース値を使用してモデルをトレーニングすることによって予測され得る。これらの他の特性は、場合によっては（例えば、収穫までの時間は、糖濃度に部分的に基づいてもよい）、化学成分に関連又は相関してもよく、又は他の場合ではなくてもよい。

【0150】

図５Ｂは、機械学習モデルを使用して１つ以上の画像に基づいて化学成分を予測するシステム１００の別の例を示すブロック図である。システム１００は、画像データのセグメンテーションを実行し、機械学習モデルを使用して化学成分を予測することができる。セグメンテーションプロセス及び化学成分予測プロセスの両方は、ハイパースペクトル画像からの情報の利用可能な帯域のサブセットを選択することによって、及び／又はハイパースペクトル画像内に描写される物体及び／又は材料を特徴付けるための選択特徴を定義することによって、調整されることができる。結果として、システム１００は、異なる帯域の情報及び／又は異なる種類の情報を使用して、異なる物体又は材料に対応するハイパースペクトル画像内の領域をセグメント化又は識別することができる。同様に、システムは、異なる帯域の情報を入力として使用して、異なる化学特性を推定するか、又は異なるタイプの物体の特性を推定することができる。ハイパースペクトル画像からの情報のこの選択的使用は、予測におけるより高い精度、並びにより高速でより計算集約的でないモデルを提供することができる。

【0151】

図５Ｂの例は、リサイクル及び廃棄物管理のためのプラスチック又は他の材料の予測特性を示す。例えば、この技術は、ハイパースペクトル画像データからの情報を使用して、プラスチックへの添加剤（例えば、フタル酸塩、臭化物、塩素酸塩、表面コーティングなど）及び汚染物質（例えば、プラスチックアイテム上の油又は食品残留物）の存在を検出し、その濃度を予測するモデルをトレーニングするために使用することができる。いくつかの実装形態では、同じ技術を使用して、モデルをトレーニングし、使用されるベース樹脂のタイプ（例えば、ＰＥ、ＰＥＴ、ＰＶＣなど）を予測し、物体の他の特性を予測することができる。モデルによって生成された情報は、廃棄物アイテム又は廃棄物材料の流れを特徴付けるために使用することができる。

【0152】

システム１００は、ハイパースペクトル撮像を使用して光学選別を実行して、リサイクル可能なプラスチックを他の材料から分離するとともに、樹脂タイプ、汚染のレベル若しくはタイプ、及び／又は添加剤の存在若しくは濃度によってプラスチックを選別することができる。システム１００は、様々なプラスチックアイテムを含む廃棄物流１０１ｂを搬送するコンベヤ５０５を含む。カメラシステム１１０は、コンベヤ５０５上にある間に廃棄物流１０１ｂ内のアイテムのハイパースペクトル画像１１５ｂをキャプチャする。ハイパースペクトル画像は、１つ以上の光源及び１つ以上のカメラ（及び／又は１つ以上の光センサ）を含む光学システムを使用して生成されていてもよい。光源（複数可）は、（例えば）赤外光、近赤外光、短波光、コヒーレント光などを放射するように構成されてもよい。場合によっては、光源（複数可）は、（例えば）光源の出力を熱出力から分離し得る光ファイバーを含む。場合によっては、カメラ（複数可）の少なくとも１つは、カメラのレンズ又は画像センサの光軸が、撮像されている物体（複数可）を支持する表面（例えば、コンベヤベルト）に対して７５～１０５度、８０～９０度、８５～９５度、８７．５～９２．５度、３０～６０度、３５～５５度、４０～５０度、４２．５～４７．５度、又は１５度未満であるように位置付けられる。場合によっては、光学システムは、複数のカメラを含み、物体（複数可）を支持する表面に対する第１のカメラの光軸の間の角度は、表面に対する第２のカメラの光軸の間の角度と異なる。差は、（例えば）少なくとも５度、少なくとも１０度、少なくとも１５度、少なくとも２０度、少なくとも３０度、３０度未満、２０度未満、１５度未満、及び／又は１０度未満であってもよい。場合によっては、第１のカメラは、第２のカメラに対して異なるタイプの光をフィルタリングする。例えば、第１のカメラが赤外線カメラであり、第２のカメラが可視光カメラであってもよい。場合によっては、カメラは、撮像されている物体（複数可）を支持する表面に対して第１の角度で傾斜され、光源は、表面に対して第２の角度で傾斜される。第１の角度は、（例えば）第２の角度のほぼ反対であってもよい。例示すると、カメラはベルトの法線ベクトルに対して５度傾斜されてもよく、照明の光軸はベルト法線に対して－５度傾斜されてもよい。

【0153】

ハイパースペクトル画像１１５ｂの処理に基づいて、システム１００は、廃棄物流１０１ｂ内のアイテムを異なるビン５１５ａ～５１５ｃに選別する。例えば、選別マシン５１０は、ハイパースペクトル画像１１５ｂの処理に基づいて動作して、プラスチックを、清潔なＰＥＴアイテム（ビン５１５ａ）、汚れた又は汚染されたＰＥＴアイテム（ビン５１５ｂ）、及び所定の濃度を超える添加剤を有するＰＥＴアイテム（ビン５１５ｃ）などのビンに選別することができる。当然ながら、アイテムをビンに保管する代わりに、選別された出力流は、任意選択で、化学的又は機械的リサイクルによって直接処理されるように異なるコンベヤ上で送られてもよい。廃棄物流１０１ｂが搬送されるにつれて、流れの異なる部分のハイパースペクトル画像が撮影されて処理されるので、個々のアイテム（例えば、ボトル、容器など）は各々、分析されたそれらの組成を有することができ、個々のアイテムは、存在すると決定された樹脂、汚染物質、及び添加剤、並びに潜在的に対象化学物質について推定された量及び濃度に基づいて選別することができる。

【0154】

いくつかの実装形態では、カメラシステム１１０は、ハイパースペクトル撮像に加えて、又はその代わりに、Ｘ線蛍光及びレーザ誘起ブレークダウン分光法などの他の撮像又は走査技術を使用することができる。カメラシステム１１０は、コンベヤ５０５上の廃棄物流１０１ｂ内の物体の走査を取得するように位置付けられた走査機器を含むことができる。コンベヤ５０５は、走査が行われる位置に物体を運び、次いでコンベヤ５０５上の異なるアイテム又はアイテムのグループの走査が取得されるように周期的に停止するように構成することができる。ハイパースペクトル撮像及び分光技術のための走査は、コンベヤ５０５上の同じ走査場所から、又はコンベヤ５０５上の異なる位置で行うことができる。

【0155】

プラスチックでは、対象となるいくつかの化学特性が材料全体に均一に分布している。例えば、樹脂のタイプ及び添加剤の濃度がプラスチックアイテム全体にわたって均一であることが一般的である。しかしながら、汚染物質、ラベル、閉塞物体、及び他の要素は、プラスチックアイテムの部分のハイパースペクトル測定を不明瞭にするか、又は干渉する可能性がある。同様に、蓋などのいくつかの要素は、対応する容器と異なる材料又は組成のものであってもよい。ハイパースペクトル画像データのセグメンテーションは、プラスチックアイテムを非プラスチックアイテムから分離し、個々のプラスチックアイテムを互いアイテムを互いに分離するために実行することができる。更に、セグメンテーションを実行して、汚染されているアイテムの領域を汚染されていない領域から識別することができる。これにより、汚染領域の画像データを分離し、汚染物質のタイプ及び濃度を予測するモデルへの入力を提供するために使用することが可能になる。汚染されていないと識別された領域は、樹脂タイプ及び添加剤特性を予測するモデルへの入力を提供するために使用することができる。その結果、異なるモデルに対して異なるセグメント化された領域を使用することによって、システム１００は、物体を表す画像データの全領域に基づいて物体の特性を評価するよりも高い精度を得ることができる。

【0156】

図５Ｂは、段階（Ａ）～（Ｆ）に示されるデータの例示的なフローを更に示す。段階（Ａ）～（Ｆ）は、図示された順序で発生し得、図示された順序とは異なる順序で発生し得る。段階（Ａ）～（Ｃ）は、化学特性を予測するための１つ以上の機械学習モデル１７０ｂのトレーニングを説明する。段階（Ｄ）～（Ｆ）は、ハイパースペクトル画像１１５ｂのどの領域がモデル１７０ｂ（複数可）が予測するパラメータに関連するかを決定するためにセグメンテーションを実行することを含む、１つ以上のトレーニングされたモデル１７０ｂを使用することを説明する。

【0157】

段階（Ａ）の間、コンピュータシステム１３０は、トレーニング画像５４０ｂのセットを取得する。トレーニング画像５４０ｂのセットは、分析されるプラスチック又は他のリサイクル可能なアイテムの画像を含む。例えば、樹脂タイプ、添加剤、及びプラスチックアイテムの汚染物質を予測するために、トレーニング画像５４０ｂのセットは、異なるタイプのプラスチックの複数のハイパースペクトル画像、並びに異なる添加剤及び異なるタイプの汚染を有するプラスチックの例示的なハイパースペクトル画像を含むことができる。添加剤及び汚染物質を有する例は、異なる濃度及び異なる組み合わせを有する例、並びに複数の異なるベース樹脂タイプの各々についての例を含むことができる。トレーニング画像５４０ｂのセット内の各ハイパースペクトル画像は、撮像されたアイテムの実際の特性を示すグラウンドトゥルースラベル５４１ｂに関連付けられ得る。例えば、グラウンドトゥルースラベル５４１ｂは、樹脂タイプ、異なる添加剤又は汚染物質が存在するか否か、異なる添加剤又は汚染物質の各々の量又は濃度など、モデル１７０ｂが予測するようにトレーニングされる特性のいずれかについての情報を含むことができる。いくつかの実装形態では、グラウンドトゥルースラベル５４１ｂは、存在する樹脂、添加剤、及び汚染物質の質量分率又は他の尺度を示すことができる。グラウンドトゥルースラベル５４１ｂ内の情報は、撮像されたサンプルの試験を通して、又は撮像された物体のタイプに関する製造データ若しくは基準データから材料の特性を調べることによって決定することができる。ロバストなモデルのトレーニングを可能にするために、トレーニング画像５４０は、異なるカメラシステム、異なる照明レベル、被写体までのカメラの異なる距離、サンプルの異なる向き又はポーズなどで撮影された、所与のタイプの果実、廃棄物などの画像を含むことができる。

【0158】

段階（Ｂ）の間、コンピュータシステム１３０は、特徴抽出モジュール５５０を使用して、ハイパースペクトル画像を処理し、機械学習モデル１７０ｂに提供する入力特徴を生成する。ハイパースペクトル画像の処理は、いくつかのステップを含むことができる。システム１３０は、トレーニング画像を異なるタイプの領域にセグメント化する。異なるタイプは、モデル１７０ｂが分析するようにトレーニングされている物体のタイプの異なる部分に対応することができる。例えば、異なるベース樹脂タイプの領域、又は汚染領域及び汚染されていない領域に対して異なる領域タイプを決定することができる。別のタイプの領域は、サンプル１０１ｂ自体ではなく、サンプル１０１ｂの環境又は周囲を示す背景ピクセルを指すことができる。この例では、トレーニングに使用される画像はセグメント化され、非汚染区域に対応する領域は、樹脂含有量及び添加剤特性を予測するための特徴値を決定するために使用され、汚染領域は、汚染物質のタイプ及び濃度を予測するための特徴値を生成するために使用される。

【0159】

特徴抽出モジュール５５０はまた、様々な異なる特徴の値を決定することができる。これらの特徴は、異なるスペクトル帯域の各々に対するトレーニング画像の選択されたセグメント化された領域における平均ピクセル強度を含むことができる。例えば、帯域１の平均強度を提供することができ、帯域２の平均強度を提供することができ、以下同様である。スペクトル帯域の選択されたセットについての平均強度値は、トレーニング中に機械学習モデル１７０ｂへの入力のための入力ベクトルとして使用され得る。０交差又はベースライン交差がスペクトルの導関数又は二次導関数（例えば、導関数が周波数にわたって取られる）において所与の周波数帯域において検出されるか否か、検出されたピークの数、スペクトル及びカーネルの畳み込み（又はスペクトルの導関数若しくは二次導関数）の積分など、他の例示的な特徴が本明細書で開示される。

【0160】

異なるモデル１７０ｂは、異なる特性を予測するために生成され、トレーニングされ得る。例えば、５つの異なる分類器が５つの異なるベース樹脂に対してトレーニングされてもよく、各々は、画像領域が対応するベース樹脂を示す可能性を予測するようにトレーニングされる。同様に、１０個の異なるモデルをトレーニングして、各々が１０個の異なる添加剤のうちの１つの濃度を予測することができる。別の例として、３つの異なる汚染物質の内容を特徴付けるために、３つの異なる汚染物質モデルを生成することができ、対象の汚染物質タイプごとに１つである。場合によっては、モデルは、ＰＥＴサンプル中の異なる添加剤の濃度を予測するようにトレーニングされたモデルの第１のセット、ＰＥサンプル中の異なる添加剤の濃度を予測するようにトレーニングされたモデルの第２のセットなど、更により特化され得る。検出及び測定される異なる化学物質の各々は、ハイパースペクトル画像の様々なスペクトル帯域に対して異なる応答を有することができる。結果として、異なる化学特性を予測するための様々なモデル１７０ｂは、ハイパースペクトル画像のスペクトル帯域の異なるサブセットの入力データを使用するように構成及びトレーニングされ得る。各モデル１７０ｂに使用される帯域は、対象の特性を最良に識別するように、場合によっては、頻繁に存在する他の材料の存在から最良に区別するように選択することができる。

【0161】

いくつかの実装形態では、コンピュータシステム１３０は、各モデル１７０ｂが予測するようにトレーニングされている特性のタイプを予測するために、どのスペクトル帯域及び／又は特徴が最も効果的であるか、十分に効果的であるか、又は比較的効果的であるかを予測するために分析を実行することができる。例えば、ステップ（Ｂ）におけるトレーニングの前に、コンピュータシステム１３０は、特定の化学物質（例えば、特定の樹脂、添加剤、又は汚染物質）の化学成分を予測するための最大の予測精度を提供する帯域の組み合わせを決定するために、異なるスペクトル帯域の予測値を個別に又は集合的に検査するための分析プロセスを実行することができる。これは、しばしば精度を改善しながら、次元削減及びより小さいモデルを可能にする。一般に、ハイパースペクトル画像は、画像をキャプチャするために使用される撮像技術に応じて数十の帯域を有し、帯域の全てが、所望の化学物質の化学成分を予測するための有用な情報を提供するわけではない。システムは、例示的データの分析を通して識別された相関又は予測値に基づいて、予測される化学成分の所望のタイプについての情報を提供する、異なる帯域からのデータを一緒に組み合わせる、潜在的に拡張帯域又は合成帯域を含む、帯域のサブセットを選択することができる。

【0162】

予測されるべき各化学特性について高精度を容易にする帯域又は帯域の組み合わせは、異なるタイプの領域をセグメント化するために使用する帯域を決定するための本明細書（例えば、図３）に記載されるものと類似のプロセスを通して、システム１３０によって識別され得る。例えば、様々な異なるモデル（例えば、回帰木、サポートベクターマシンなどのセット）を、異なる個々の帯域からのデータに基づいてトレーニングすることができ、異なるモデルの性能を試験及び比較することができる。最高精度を有するモデルが識別され、次いで、新しいモデルが別の反復においてトレーニングされ、新しいモデルは、第１のセット内の最も正確なモデルをもたらした帯域の異なる対を使用する。例えば、ハイパースペクトル画像内に２０個のスペクトル帯域がある場合、第１の反復は、スペクトル帯域のうちの単一のスペクトル帯域についてのデータを使用して同じプラスチック添加剤の濃度を各々予測するために２０個のモデルをトレーニングすることができる。次いで、モデルの最高精度サブセット（例えば、ｎが整数である上位ｎ個のモデル、又は閾値を上回る精度を提供するモデルのセット）によってそれぞれ使用される帯域が識別される。５つの帯域がプラスチック添加剤に最も関連するものとして選択される場合、次の評価反復は、同じプラスチック添加剤の濃度を予測するために別の１０個のモデルをトレーニングすることができ、各モデルは、前の反復からの５つの選択された帯域の異なる対を使用する。任意選択で、５つの帯域を異なる方法で組み合わせて、追加的に又は代替的にモデルをトレーニング及び試験するために使用することができる拡張帯域又は合成帯域を生成することができる。反復は、少なくとも最小レベルの精度に達するまで、又は性能が閾値量を超えて増加しなくなるまで継続することができる。この同じ全体的な技術は、どの他の異なる分光技術（例えば、Ｘ線蛍光、レーザ誘起ブレークダウン分光法など）、又はこれらの技術の結果のどの部分が異なる化学特性を最も予測するかを評価するために使用され得る。このタイプの反復手法は、代わりに又は加えて、どの化学物質が描写された物体内にあるか、化学特性などを予測するために使用する特徴を（例えば、複数のタイプの特徴及び／又は複数の周波数帯域に対応する特徴の中から）選択するために実行され得ることが理解されよう。

【0163】

他の技術を使用して、異なるモデル１７０ｂをトレーニングするために使用される帯域のサブセットを選択することができる。例えば、コンピュータシステム１３０は、純粋なサンプル又は高濃度サンプルに対する応答を示す基準ハイパースペクトルデータを記述するデータにアクセスすることができ、システムは、プラスチック添加剤の存在によって最も影響を受ける帯域及び最も影響を受けない帯域をそれぞれ示す高強度及び低強度を有する帯域を識別することができる。別の例として、化学物質の異なる既知の濃度についてのハイパースペクトル画像を比較して、どの帯域が濃度変化として最も大きく変化するかを識別することができ、したがって、どの帯域が濃度の変化に対して最も敏感であるかを示す。

【0164】

段階（Ｃ）の間、コンピュータシステム１３０は、トレーニング画像から決定された特徴値を使用して、機械学習モデル１７０ｂをトレーニングする。いくつかの実装形態では、モデル１７０ｂは、勾配ブースト回帰木（例えば、ＸＧブースト木）などの決定木である。他の実装形態では、各モデル１７０ｂは、ニューラルネットワーク、サポートベクトル回帰モデル、又は別のタイプのモデルであり得る。各機械学習モデル１７０ｂは、トレーニング中に調整される値を有する複数のパラメータを含む。機械学習モデルをトレーニングすることは、機械学習モデル１７０ｂが、入力特徴値のセット、例えば、そのモデル１７０ｂのために選択されたスペクトル帯域の所定のセットの各々の平均強度値を処理することによって、１つ以上の化学物質の含有量のレベルを予測することができるように、機械学習モデルのトレーニング可能パラメータを調整することを伴う。入力値は、特徴付けられている化学物質に関連するトレーニング画像の選択されたセグメント化された領域（例えば、汚染物質特徴付けモデル１７０ｂのための入力を生成するために使用される、汚染されているとしてセグメント化された領域）から決定することができる。勾配ブースト決定木がモデルタイプとして使用されるとき、勾配ブーストトレーニングアルゴリズムが使用され得る。他の実装形態では、ニューラルネットワークが使用され得、誤差の逆伝播及び他のニューラルネットワークトレーニング技術が使用され得る。

【0165】

トレーニングは、モデル１７０ｂが所望の特性（複数可）、例えば、化合物の量又は濃度を予測することができるまで、異なるトレーニング例を用いて進めることができる。プラスチックを分析する場合、トレーニングデータの適切なセット及び十分な反復を用いて、モデル１７０ｂは、典型的な破壊試験によって提供されるレベルに一致するか又はそれを超える精度で異なる添加剤の各々の質量分率を予測するようにトレーニングされ得る。同様に、モデル１７０は、存在する樹脂タイプ、異なる汚染物質が存在するか否か、及び存在する量又は濃度を予測するようにトレーニングすることができる。

【0166】

モデル１７０ｂがトレーニングされた後、モデル１７０ｂを使用して、物体の画像に基づいて物体の予測を行うことができる。段階（Ｄ）の間、カメラシステム１１０は、サンプル１０１ｂのハイパースペクトル画像１１５ｂをキャプチャし、これは、選別されるべき１つ以上の物体を示す、コンベヤ又は５０５上の領域５２０の画像である。ハイパースペクトル画像１１５ｂは、可視範囲内のスペクトル帯域に加えて、又はその代わりに、可視スペクトル外のスペクトル帯域の画像データを含む。例えば、カメラシステム１１０は、サンプル１０１ｂのハイパースペクトル画像１１５ｂをキャプチャする。画像１１５ｂは、空間次元を表す複数の画像（例えば、画像１、画像２．．．画像Ｎ）を含み、画像の各々は、異なる波長及び／又は帯域（例えば、帯域１、帯域２．．．帯域Ｎ）を有する。適切な場合、カメラシステム１１０はまた、Ｘ線蛍光分光法、レーザ誘起ブレークダウン分光法、ラマン分光法、又は他の分光技術のための走査結果を取得することができ、これは、コンベヤ５０５上の物体に関するデータの追加の帯域を提供することができる。カメラシステム１３０は、画像１１５ｂの画像データ、並びに任意の他の関連する分光結果を、ネットワーク１２０を介してコンピュータシステム１３０に提供する。

【0167】

段階（Ｅ）の間、コンピュータシステム１３０は、ネットワーク１２０を介して（又は有線若しくは無線接続を通じて直接）画像１１５ｂを受信し、機械学習モデル１７０ｂを使用してデータを処理して、領域５２０内の１つ以上の物体の化学特性を決定する。これは、異なる化学物質の存在を検出することと、複数の異なる化学物質の各々について存在する化学成分のレベルを推定することとを含むことができる。領域５２０が異なるアイテム（例えば、この例では異なるボトル）を示す場合、各アイテムの化学成分を特徴付け、各アイテムを適切に選別するために、各アイテムに対して個別に処理を行うことができる。この例では、画像１１５ｂを受信すると、コンピュータシステム１３０は画像１１５ｂを処理して、画像１１５ｂから識別された各プラスチック物体について、樹脂タイプ、存在する添加剤、及び存在する汚染物質、並びにこれらの化合物の各々の濃度を予測する。

【0168】

特徴抽出モジュール５５０は、画像１１５ｂを処理し、サンプル１０１ｂ内の異なる物体（例えば、背景ではなく異なるボトル）を表す画像１１５ｂの部分を識別するために、より具体的には、特定のタイプの領域（例えば、ＰＥＴ対ＰＥの領域、汚染領域対清潔な領域など）を示す画像１１５ｂの部分を識別するために、画像をセグメント化することを含む。セグメント化された領域の選択されたサブセットを使用して、モジュール５５０は、特徴の所定のセットの各々に対する値を決定する。特徴は、対象の１つ以上の化学特性を予測する際に使用するために選択された異なるスペクトル帯域に対応することができる。言い換えれば、帯域の異なる組み合わせのデータを使用して、異なるモデル１７０ｂに入力を提供することができる。更に、それらの帯域についてのデータは、例えば、汚染物質濃度を予測するようにトレーニングされたモデルについての入力特徴を生成するためだけに汚染のセグメント化された領域を使用して、モデルに関連する特定のセグメント化された領域（複数可）から取得され得る。例えば、特徴は、画像１１５ｂ内のスペクトル帯域のサブセットの各々についての平均強度であり得る。他の分光技術についてのデータが取得される場合、これらの分光結果についての特徴値もまた生成され、モデル１７０ｂへの入力として提供されて、化学成分の推定値を生成し得る。結果として、特徴値のセットが画像１１５ｂについて決定され、各特徴値は、スペクトル帯域の所定のセット内の異なるスペクトル帯域（拡張帯域であってもよい）についての平均強度値を表し、平均は、モデルに対応する領域タイプとして識別されたセグメント化された領域にわたって決定される。スペクトル帯域の所定のセットは、トレーニング中にそれぞれのモデル１７０ｂに情報が提供されたスペクトル帯域の同じセットであり得る。

【0169】

特徴抽出モジュール５５０によって生成された特徴値は、トレーニングされた機械学習モデル１７０ｂへの入力として提供される。上述したように、それらは、モデル１７０ｂが予測する特性に最も関連するか、又はそれを予測するのに最も効果的であるとして選択された帯域のサブセットに基づいて決定された、各モデル１７０ｂに対する特徴値の異なるセットであり得る。機械学習モデル１７０ｂは、トレーニング中に決定されたトレーニング状態を使用して、例えば、上述の段階（Ｃ）で設定されたパラメータ値を使用して、入力特徴値を処理する。モデル１７０ｂは各々、モデル１７０ｂが予測するようにトレーニングされた１つ以上の化学物質の含有量の予測（例えば、推論又は推定）レベルを示す出力５７０ｂを生成することができる。例えば、異なるモデル１７０ｂは各々、異なる添加剤の質量分率を示す回帰出力（例えば、数値）を提供することができる。予測に使用される測定のタイプは、モデル１７０ｂのトレーニングに使用されるグラウンドトゥルースラベル５４１ｂに使用される同じタイプであり得る。

【0170】

この例では、セグメンテーション結果及びモデル出力は、物体を特徴付けるために組み合わされる。例えば、１つの物体についての特徴付けデータ５８０ｂは、物体がＰＥＴで形成されていること、添加剤ＰＭＤＡが０．６８の質量分率で存在していること、添加剤ＰＢＯが０．３０の質量分率で存在していること、及び物体が油で汚染されていないことを示す。これらの要素の各々は、情報の帯域の対応するセットを使用する異なるモデル１７０ｂを使用して予測することができる。樹脂タイプ及び汚染が存在するか否かなどのいくつかの特徴は、セグメンテーション結果に基づいて決定することができ、この例では、物体をＰＥＴ物体としてセグメント化し、汚染領域がないことを示すことができる。いくつかの実装形態では、モデル１７０ｂのセグメンテーション又は出力を通じて識別されたベース樹脂タイプに基づいて、システム１３０は、異なる添加剤及び汚染物質を検出するためにどのモデル１７０ｂを使用するかを選択することができる。例えば、モデルの１つのセットは、ＰＥＴの存在下で添加剤を検出するようにトレーニングすることができ、モデルの他のセットは、他の樹脂タイプ中の同じ又は異なる添加剤を検出するようにトレーニングすることができる。これは、各モデルが、異なる樹脂タイプから各添加剤を区別するスペクトル特徴により正確に焦点を合わせることを可能にし得、これは、複数の樹脂タイプについての一般的なモデルよりも高い精度の濃度結果をもたらし得る。

【0171】

段階（Ｆ）の間、特徴付けデータ５８０ｂを示すデータがデバイスに提供される。例えば、データ５８０ｂは、サンプル識別子、タイムスタンプ、及び潜在的にサンプルタイプ、場所などのコンテキストデータと関連付けられて、データベース５９０又は他のデータストレージに記憶されることができる。結果として、個々の物体は、モデルを使用して推定される化学成分（例えば、存在する化学物質、化学物質の量又は濃度など）を示すメタデータにタグ付けされるか、又は関連付けられることができる。別の例として、データ５８０ｂは、ユーザインターフェースにおいてユーザに提示するために、スマートフォン、ラップトップコンピュータ、デスクトップコンピュータなどの１つ以上のユーザデバイス５８５に提供され得る。

【0172】

この例では、予測化学成分は、コンピュータシステム１３０又は別のデバイスによって評価され、廃棄物流中の物体を選別するために使用される。例えば、化学成分は、異なるビン５１５ａ～５１５ｃ、コンベヤ、又は他の出力流に対応する１つ以上の閾値と比較することができる。次いで、予測は、コンピュータシステム１３０又は別のシステムによって使用されて、物体を異なる領域又は容器に移動させるように構成される、選別マシン５１０などの選別機器を制御することができる。異なるカテゴリの物体（例えば、異なる化学特性を有するグループ）は、機械的特性又は化学的リサイクルについて異なるように処理され得る。いくつかの実装形態では、廃棄物流全体の特性を評価及び蓄積して、コンベヤ５０５に沿ったプラスチック及び他の化合物の全体的な混合を決定することができる。アイテムが選別されない場合であっても、廃棄物流の性質に関する情報は、使用される異なる入力、溶媒、若しくは触媒の濃度を調整するため、又は他のリサイクルパラメータを調整するためなど、廃棄物流の化学的リサイクルのパラメータを調整するために使用することができる。別の例として、化学成分が最大レベルを上回る、最小レベルを下回る、範囲内にある、範囲外にある、又は別の所定の条件を満たす場合に、ユーザに警告を提示することができる。

【0173】

図６Ａは、特徴抽出モジュール５５０によって実行することができるハイパースペクトル画像の画像セグメンテーションを示す例示的なブロック図である。セグメンテーションは、機械学習モデル１７０が予測を行うようにトレーニングされる特定のタイプの果実（例えば、イチゴ）などの特定のタイプの物体に対して調整され得る。画像セグメンテーションは、ハイパースペクトル画像１１５内のサンプル（例えば、果実）の境界を識別し得、サンプルの特定のタイプの領域（例えば、葉、種子、果肉など）を識別してもよい。

【0174】

セグメンテーションモジュール１６０は、物体１０１のハイパースペクトル画像１１５を入力として受信する。セグメンテーションモジュール１６０は、入力を処理し、出力として、画像の異なる領域の境界を識別するデータを生成する。セグメンテーションモジュール１６０は、ハイパースペクトル画像１１５を処理して画像セグメント６２５、６３０、及び６３５を生成し、画像セグメント６２５はイチゴの葉及び／又は茎を表し、画像セグメント６３０はイチゴの外面上の種子を表し、画像セグメント６３５はイチゴの外部の果肉を表す。このうち、セグメント６３５のみがイチゴの糖度を示すので、セグメント６３５のみを使用して機械学習モデル１７０に入力するための特徴値を生成する。

【0175】

図６Ｂは、機械学習モデル１７０への入力のための特徴値６６０のセットの生成を示す例示的なブロック図である。これは、画像１１５の複数のスペクトル帯域から拡張帯域を生成することを含むことができる。システムは、画像１１５全体を使用するのではなく、セグメント６３５として識別される領域を使用し、画像１１５の残りの部分のピクセルを無視する。セグメンテーションの後、セグメント６３５は、元のハイパースペクトル画像１１５と同じスペクトル帯域についての値を含むが、特定の空間領域内のピクセルのみが考慮される。

【0176】

特徴抽出モジュール１５０は、画像データの拡張帯域を生成するために、異なるスペクトル帯域の画像データを処理する拡張帯域生成器６５０を含むことができる。これらの拡張帯域は、異なる帯域からの画像データの組み合わせに基づくことができ、１つの帯域のピクセルごとの強度値と別の帯域の対応するピクセルごとの強度値との加算、減算、乗算、除算など、様々な演算のいずれかが適用される。場合によっては、拡張帯域は、帯域１の強度値を計算し、帯域２の強度値で除算し、次いで商の２乗（例えば、（帯域１／帯域２）^２）を出力することなど、入力帯域の異なる非線形の組み合わせを含むことができる。

【0177】

特徴抽出モジュールは、機械学習モデル１７０のための入力ベクトル６６０を生成する。例えば、拡張帯域生成器６５０は、セグメント化されたハイパースペクトル画像６４０を入力として受け取り、所定のセットの帯域、例えば、帯域１、３、２６並びに拡張帯域２及び５内の各帯域のセグメント化された画像の平均強度値を含む入力ベクトル６６０を生成する。帯域のこのセットは、利用可能な帯域の総数のサブセットであり得、サブセットは、モデル１７０が予測するために作成される特性の予測に最も適切であるか、又は少なくとも最小限に関連するセットであるように、以前の分析を通して決定されている。いくつかの実装では、平均強度値に加えて、又はその代わりに、他の特性が生成され、機械学習モデル１７０への入力として提供されることができる。例えば、最大強度、最小強度、中間強度、強度分布の特性などを示す値が、スペクトル帯域についての画像データのセグメント化された部分における強度値の算術平均に加えて、又はその代わりに、特徴として提供され得る。他の例として、特徴は、ピーク、トラフ、０交差又はベースライン交差が所与の周波数帯域（例えば、スペクトル、前処理されたスペクトル、スペクトルの導関数、前処理されたスペクトルの導関数、スペクトルの二次導関数、前処理されたスペクトルの二次導関数など）、カーネル及びスペクトル（又はカーネル及びスペクトルの導関数若しくは二次導関数）の畳み込みの積分、ピークの数、において検出されたか否か、などを指すことができる。

【0178】

図７は、特定のタイプの果実の化学組成を分析するためのプロセス７００の一例を示すフロー図である。プロセス７００の動作は、上述したコンピュータシステム１３０などの１つ以上のデータ処理装置又はコンピューティングデバイスによって実行することができる。プロセス７００の動作は、コンピュータ可読媒体に記憶された命令として実装することもできる。命令の実行は、１つ以上のデータ処理装置又はコンピューティングデバイスに、プロセス７００の動作を実行させることができる。プロセス７００の動作は、１つ以上のデータ処理装置又はコンピューティングデバイスと、１つ以上のデータ処理装置又はコンピューティングデバイスにプロセス７００の動作を実行させる命令を記憶するメモリデバイスとを含むシステムによって実装することもできる。

【0179】

プロセス７００の前に、機械学習モデル１７０をトレーニングすることができる。例えば、モデルは、分析される物体のタイプ、例えばイチゴの複数の画像を含むトレーニング画像のセットを使用してトレーニングすることができる。トレーニング画像のセット内の各画像は、予測されるべき化学特性、例えば、画像内に描写される果実の糖度の各々について、対応するグラウンドトゥルース値を有することができる。いくつかの実装では、トレーニングのために使用される果実の画像が、最初にキャプチャされ、物体の不変の外部を示す。グラウンドトゥルース化学特性値は、その後、果実の糖度を決定するために果実を切断又は粉砕するなど、侵襲的及び／又は破壊的化学試験を実行することによって取得される。

【0180】

トレーニング画像５４０のセットは、果実イチゴのグラウンドトゥルース糖度以外のパラメータを更に含み得る。例えば、トレーニング画像のセット内の各例は、画像、グラウンドトゥルース化学特性（例えば、化学物質又は化学物質グループの濃度、量、又は他のレベル）、物体のタイプの識別子、物体の場所又はソースに関するコンテキストデータ、特定の画像が撮影された角度、シーン内のカメラの位置、及び特定の画像をキャプチャするために使用されたカメラシステムの仕様を含み得る。これらの値のいずれか又は全ては、トレーニング及び推論処理において機械学習モデルへの入力として特徴を提供するために使用され得る。

【0181】

プロセス７００は、特定の果実片の表現を含む画像の画像データを取得する（７１０）。例えば、ハイパースペクトル画像は、化学成分に関する予測が望まれる物体についてキャプチャされ得る。

【0182】

プロセス７００は、ハイパースペクトル画像データをセグメント化して、物体上の特定のタイプの領域を識別すること（７１５）を含む。例えば、イチゴの外表面は、一般的に、果肉及び痩果の両方を含む。システムは、ハイパースペクトル画像を処理して画像セグメンテーションを実行し、果実の果肉部分を示す画像領域を痩果から分離する。

【0183】

プロセス７００は、画像データから導出された特徴データを、ハイパースペクトル画像データに基づいて化学成分のレベルを予測するようにトレーニングされた機械学習モデルに提供する（７２０）。例えば、コンピュータシステム１３０は、特徴抽出モジュール５５０を使用して、特定のタイプの識別された領域の特性を表す特徴値を決定する。例えば、特徴値は、特定のタイプの領域に対応するものとして識別された領域内の異なる波長帯域についての画像データを記述することができる。例えば、特定のタイプの領域は、イチゴの外部の果肉部分であり得、イチゴの痩果及び萼は除外され、画像の背景も除外される。特徴値は、異なる帯域の強度の平均値など、異なる帯域の集約値とすることができる。１つの例示的なタイプの特徴値は、イチゴの果肉に対応するものとして識別された領域内に位置する１つの波長帯域についての全てのピクセルにわたって取られた平均強度値である。帯域についての集約値は、例えば、平均値、中央値、モード、幾何平均、ある範囲の値に入るピクセルの割合などであり得る。次いで、特徴値のセットは、機械学習モデルによって処理されて、予測される化学成分のレベルを示す出力を決定する。

【0184】

単一波長帯域についての特徴値に加えて、システムは、合成帯域又は複合帯域についての特徴値も得ることができる。例えば、システムは、所定の関数を使用して特定の所定の帯域を組み合わせて、システムが対象の化学特性を予測するものとして識別する組み合わせを作成することができる。次に、システムは、複合画像から、イチゴの果肉に対応するものとして識別された領域内に位置するピクセルのセットにわたる平均ピクセル強度などの１つ以上の特徴値を導出することができる。

【0185】

プロセス７００は、画像内に表される物体の化学成分のレベルの予測を含む出力を受信すること（７３０）を含む。例えば、イチゴの外側部分を表す抽出された特徴は、トレーニングされた機械学習モデル１７０への入力として提供される。機械学習モデル１７０は、トレーニングされたパラメータに基づいて入力特徴を処理し、画像１１５に示されるイチゴの予測糖度１７０である値を生成する。

【0186】

プロセス７００は、物体の化学成分の予測レベルを示す出力データを提供すること（７４０）を含む。例えば、予測は、提示のためにユーザデバイスに提供され得るか、又は物体の取り扱いを制御するために選別若しくは包装機械に提供され得る。同様に、物体の予測値又は分類は、物体識別子又は物体を含む物体のグループの識別子に関連してデータベースに記憶され得る。

【0187】

実施例
撮像システムは、コンベヤベルトに沿って移動する物体のライン走査ハイパースペクトル画像をキャプチャするように構成される。２つの基準ハイパースペクトル画像が収集され、各々、コンベヤベルト上に物体が存在しない状態である。１つの（「明」）基準ハイパースペクトル画像は、撮像システムの各光源がスペクトル的に平坦で空間的に均一な反射率で物体を照明する最大輝度でオンの状態で収集され、１つの（「暗」）基準ハイパースペクトル画像は、撮像システムの各光源がカメラを照明することから遮断された状態で収集される。図８Ａ～図８Ｃは、暗基準ハイパースペクトル画像の例示的なハイパースペクトルデータを示す。図８Ａはカラーマップを示し、色は強度を識別し、ｘ軸（列）は位置に及び、ｙ軸（行）は周波数帯域にわたる。図８Ｂは、周波数にわたるカラーマップのスライスを示し、図８Ｃは、位置にわたるカラーマップのスライスを示す。図９Ａ～図９Ｃは、明基準ハイパースペクトル画像についての対応する例示的なハイパースペクトルデータを示す。図９Ｂに示される強度の低下は、周囲ＣＯ_２に起因する。基準ハイパースペクトル画像は、光源及び／又は周囲光に起因する強度が時間とともに変化し得るので、繰り返し（例えば、毎日、毎週、毎月、６か月ごとなど）収集され得る。

【0188】

１つ以上の化学物質（例えば、純粋なプラスチック）の各々のスペクトルも収集される。図１０は、ハイパースペクトルカメラで観察されたポリエチレンプラスチックの正規化され前処理された一例を示す。チャネル７５～１２５の間の帯域は、観察された信号に対するＣ－Ｈ分子吸光度の影響に対応する。１７５～２００の帯域は、測定中に存在する大気ＣＯ_２に起因する光の損失に対応する。スペクトルは、ここでは１つの特定の例示的な化学物質についてのみ示されているが、他の化学物質（例えば、天然ＰＶＣ、ポリエチレンブラック、ポリプロピレン天然、ＰＶＣグレー、ポリプロピレンブラック、及び／又はポリエチレン天然）についてのスペクトルが収集され得ることが理解されるであろう。

【0189】

（例えば）各スペクトルは、３０８個の周波数帯域を含むことができる。非常に多くの値を有する材料を確実に区別及び／又は検出するために使用され得る信号を検出することは、特に、所与の物体が複数の化学物質を含み得るか、又は単一の化学物質が多くの帯域にわたって相関信号をもたらし得る場合、帯域間相関に起因して困難であり得る。したがって、所与のスペクトルよりも少ない値を有する特徴セットが定義される。具体的には、畳み込みニューラルネットワーク機械学習モデルによって３２個のカーネルを設計して、データ入力の次元数を３０８から３２に低減する。ハイパーキューブを用いたカーネルの畳み込みのアクションは、各ピクセルにおける帯域のフルセットを、後続の処理ステップにおいて空間情報を復号するために使用され得る３２個の特徴マップに投影する。３２個のカーネルは、トレーニングセット及び評価セットにわたる予測損失を最小化するように選択される。

【0190】

その後、物体を支持するコンベヤベルトが移動し始め、物体が撮像システムの視野に向かって移動する。撮像システムは、ライン走査を実行することによってハイパースペクトル画像を収集する。ハイパースペクトル画像はコンピューティングシステムに利用され、コンピューティングシステムは、２つの基準ハイパースペクトル画像を使用してハイパースペクトル画像を前処理して、各測定強度が最小値に対して最大値に近い範囲を示す。次いで、物体に対応するピクセルが検出されるように、前処理されたハイパースペクトル画像がセグメント化される。

【0191】

第１の分析では、物体に対応する各ピクセルごとに、前処理されたスペクトルが３２個のカーネルの各々と畳み込まれる。３２個のカーネルは、３２個の特徴マップをもたらす。特徴マップは、その後、ピクセル特徴間の空間相関を処理するために畳み込みニューラルネットワークに供給される。この第２の畳み込みニューラルネットワークの出力は、化学組成、より詳細な分析化学データ（予測吸光度スペクトルなど）、又は汚染物質の存在からなってもよい。

【0192】

本明細書に記載のシステム及び技術の様々な実装形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現され得る。これらの様々な実装形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能及び／又は解釈可能な１つ以上のコンピュータプログラム内での実装形態を含むことができ、少なくとも１つのプログラマブルプロセッサは、専用であっても又は汎用であってもよく、データ及び命令をストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスから受信し、かつデータ及び命令をストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスに送信するように結合されている。

【0193】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション、又はコードとしても知られる）は、プログラマブルプロセッサ用の機械命令を含み、高レベル手続き型及び／若しくはオブジェクト指向プログラミング言語で、並びに／又はアセンブリ言語／機械語で実装され得る。本明細書で使用される場合、「機械可読媒体」「コンピュータ可読媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、装置及び／又はデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械命令を機械可読信号として受信する機械可読媒体を含む。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために使用される任意の信号を指す。

【0194】

ユーザとの対話を提供するために、ここで説明するシステム及び技術は、ユーザに情報を表示するためのディスプレイデバイス（例えば、ＣＲＴ（cathode ray tube）（陰極線管）又はＬＣＤ（liquid crystal display）（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を提供することができるキーボード及びポインティングデバイス（例えば、マウス又はトラックボール）とを有するコンピュータ上に実装することができる。他の種類のデバイスが、ユーザとの相互作用を提供するために同様に使用され得、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）とすることができ、ユーザからの入力は、音響、音声、又は触覚入力を含む任意の形態で受信することができる。

【0195】

本明細書で説明するシステム及び技術は、（例えば、データサーバとしての）バックエンドコンポーネントを含む、又はミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含む、又はフロントエンドコンポーネント（例えば、ユーザが本明細書に記載のシステム及び技術の実装と対話することができるグラフィカルユーザインターフェース又はウェブブラウザを有するクライアントコンピュータ）を含む、又はそのようなバックエンド、ミドルウェア、若しくはフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実装されることができる。システムのコンポーネントは、デジタルデータ通信の任意の形態又は媒体（例えば、通信ネットワーク）によって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（local area network、「ＬＡＮ」）、ワイドエリアネットワーク（wide area network、「ＷＡＮ」）、ピアツーピアネットワーク（アドホック又はスタティックメンバを有する）、グリッドコンピューティングインフラストラクチャ、及びインターネットが挙げられる。

【0196】

コンピューティングシステムは、クライアント及びサーバを含むことができる。クライアント及びサーバは概して互いに離れており、典型的には通信ネットワークを介して対話する。クライアント及びサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。

【0197】

いくつかの実装形態について記載してきた。それにもかかわらず、様々な変更が行われ得ることが理解されよう。例えば、上で示されたフローの様々な形態は、ステップが再順序付けされ、追加され、又は除去されて使用され得る。また、メディア共有に対するインセンティブを提供するいくつかのアプリケーション及び方法について説明してきたが、多数の他のアプリケーションが企図されることを認識されたい。したがって、他の実装形態は、以下の特許請求の範囲の範囲内にある。

【図1】

【図2】

【図3】

【図4】

【図5A】

【図5B】

【図6A】

【図6B】

【図7】

【図8A】

【図8B】

【図8C】

【図9A】

【図9B】

【図9C】

【図10】

【国際調査報告】