特表 2024-527706 サンプルセグメンテーションの改善

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-26

(54)【発明の名称】サンプルセグメンテーションの改善

(51)【国際特許分類】

   G06T 7/11 20170101AFI20240719BHJP

【ＦＩ】

G06T7/11

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2023579475

(86)(22)【出願日】2022-07-08

(85)【翻訳文提出日】2024-02-22

(86)【国際出願番号】 US2022036556

(87)【国際公開番号】W WO2023003709

(87)【国際公開日】2023-01-26

(31)【優先権主張番号】17/383,278

(32)【優先日】2021-07-22

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】516326438

【氏名又は名称】エックス デベロップメント エルエルシー

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100126480

【弁理士】

【氏名又は名称】佐藤 睦

(72)【発明者】

【氏名】マー，ホンシュー

(72)【発明者】

【氏名】ジャオ，アレン リチャード

(72)【発明者】

【氏名】ベフロージ，サイラス

(72)【発明者】

【氏名】ヴェルデンバーグ，デレク

(72)【発明者】

【氏名】ジャコー，ジイ

(72)【発明者】

【氏名】チェルネジキ，ヴァディム

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA03

5L096CA02

5L096CA24

5L096DA02

5L096FA02

5L096GA38

5L096HA11

5L096KA04

(57)【要約】

【課題】 高い精度及び効率で画像セグメンテーションを実行することである。
【解決手段】 ハイパースペクトル撮像を使用して画像セグメンテーションを改善するための、コンピュータ記憶媒体上に符号化されたコンピュータプログラムを含む方法、システム、及び装置。いくつかの実装形態では、システムは、ハイパースペクトル画像の画像データを取得し、画像データは、複数の波長帯域の各々についての画像データを含む。システムは、特定の物体タイプの物体の画像について異なる領域タイプをセグメント化するために指定された波長帯域の所定のサブセットを示す、特定の物体タイプについての記憶されたセグメンテーションプロファイルデータにアクセスする。システムは、異なる領域タイプをセグメント化するために、記憶されたセグメンテーションプロファイルデータにおいて指定された波長帯域の所定のサブセットを使用して、画像データを複数の領域にセグメント化する。システムは、複数の領域及び複数の領域のそれぞれの領域タイプを示す出力データを提供する。
【選択図】図１

【特許請求の範囲】

【請求項1】

１つ以上のコンピュータによって実行される方法であって、
前記１つ以上のコンピュータによって、ハイパースペクトル画像の画像データを取得することであって、前記画像データが、複数の波長帯域の各々についての画像データを含む、前記画像データを取得することと、
前記１つ以上のコンピュータによって、特定の物体タイプの物体の画像のための異なる領域タイプをセグメント化するために指定された前記波長帯域の所定のサブセットを示す、前記特定の物体タイプのための記憶されたセグメンテーションプロファイルデータにアクセスすることと、
前記１つ以上のコンピュータによって、前記異なる領域タイプをセグメント化するために、前記記憶されたセグメンテーションプロファイルデータにおいて指定された前記波長帯域の前記所定のサブセットを使用して、前記画像データを複数の領域にセグメント化することと、
前記１つ以上のコンピュータによって、前記複数の領域及び前記複数の領域のそれぞれの領域タイプを示す出力データを提供することと、を含む、方法。

【請求項2】

前記波長の異なる所定のサブセットが、前記波長帯域の異なる組み合わせを含み、前記異なる組み合わせの各々が、前記波長帯域のうちの２つ以上を含む、請求項１に記載の方法。

【請求項3】

波長帯域の前記異なる所定のサブセットが、前記波長帯域の異なる対を含む、請求項１に記載の方法。

【請求項4】

前記アクセスされたデータが、前記領域タイプのうちの少なくとも１つについて、２つの波長帯域についての前記画像データ間の差を前記２つの波長帯域についての前記画像データの和で除算したものを表す、前記２つの波長帯域の組み合わせを指定する、請求項１に記載の方法。

【請求項5】

異なる領域タイプの各々について、領域タイプに対応する波長帯域の所定のサブセットについての画像データに対して実行されるべき１つ以上の動作を示すデータにアクセスすることと、
前記異なる領域タイプの各々について、前記領域タイプについて指定された前記波長帯域の前記所定のサブセットに対して前記領域タイプに対応する前記１つ以上の動作を実行することによって、画像データの修正されたセットを生成することと、を含み、
前記画像データを複数の領域にセグメント化することが、各領域タイプについての画像データの前記修正されたセットを使用して、前記対応する領域タイプの領域をセグメント化すること、
を含む、請求項１に記載の方法。

【請求項6】

前記出力データを提供することが、各領域タイプについて画像データのセットを提供することを含み、前記画像データのセットの各々が、前記対応する領域タイプの領域を分離する、請求項１に記載の方法。

【請求項7】

前記画像データのセットのうちの少なくとも１つが、前記領域タイプのセグメンテーションのために使用される波長帯域の前記所定のサブセットとは異なる１つ以上の波長帯域から導出された画像データを含む、請求項６に記載の方法。

【請求項8】

前記領域タイプが異なる材料に対応する、請求項１に記載の方法。

【請求項9】

前記領域タイプが、異なる条件又は物体に対応する、請求項１に記載の方法。

【請求項10】

前記出力データを提供することが、前記ハイパースペクトル画像内に表された物体の分類を決定するように構成された分類システムに前記出力データを提供することを含む、請求項１に記載の方法。

【請求項11】

前記セグメント化された領域のうちの１つ以上を使用して、前記ハイパースペクトル画像内に表される物体の分類又は状態を決定することを含む、請求項１に記載の方法。

【請求項12】

システムであって、
１つ以上のコンピュータと、
前記１つ以上のコンピュータによって実行されると、前記システムに動作を実行させるように動作可能な命令を記憶する１つ以上のコンピュータ可読媒体と、を備え、前記動作が、
ハイパースペクトル画像の画像データを取得することであって、前記画像データが、複数の波長帯域の各々についての画像データを含む、前記画像データを取得することと、
特定の物体タイプの物体の画像について異なる領域タイプをセグメント化するために指定された前記波長帯域の所定のサブセットを示す、前記特定の物体タイプについての記憶されたセグメンテーションプロファイルデータにアクセスすることと、
前記異なる領域タイプをセグメント化するために、前記記憶されたセグメンテーションプロファイルデータにおいて指定される前記波長帯域の前記所定のサブセットを使用して、前記画像データを複数の領域にセグメント化することと、
前記複数の領域及び前記複数の領域の前記それぞれの領域タイプを示す出力データを提供することと、を含む、システム。

【請求項13】

前記波長の異なる所定のサブセットが、前記波長帯域の異なる組み合わせを含み、前記異なる組み合わせの各々が、前記波長帯域のうちの２つ以上を含む、請求項１２に記載のシステム。

【請求項14】

波長帯域の前記異なる所定のサブセットが、前記波長帯域の異なる対を含む、請求項１２に記載のシステム。

【請求項15】

前記アクセスされたデータが、前記領域タイプのうちの少なくとも１つに対して、前記２つの波長帯域に対する前記画像データ間の差を前記２つの波長帯域に対する前記画像データの和で除算したものを表す２つの波長帯域の組み合わせを指定する、請求項１２に記載のシステム。

【請求項16】

前記異なる領域タイプの各々について、前記領域タイプに対応する前記波長帯域の前記所定のサブセットについての画像データに対して実行されるべき１つ以上の動作を示すデータにアクセスすることと、
前記異なる領域タイプの各々について、前記領域タイプに対して指定された前記波長帯域の前記所定のサブセットに対して前記領域タイプに対応する前記１つ以上の動作を実行することによって、画像データの修正されたセットを生成することと、
を含み、
前記画像データを複数の領域にセグメント化することが、各領域タイプについての画像データの前記修正されたセットを使用して、前記対応する領域タイプの領域をセグメント化すること、を含む、請求項１２に記載のシステム。

【請求項17】

前記出力データを提供することが、各領域タイプについて画像データのセットを提供することを含み、前記画像データのセットの各々が、前記対応する領域タイプの領域を分離する、請求項１２に記載のシステム。

【請求項18】

前記画像データのセットのうちの少なくとも１つが、前記領域タイプのセグメンテーションのために使用される波長帯域の前記所定のサブセットとは異なる１つ以上の波長帯域から導出された画像データを含む、請求項１７に記載のシステム。

【請求項19】

前記領域タイプが、異なる材料に対応する、請求項１２に記載のシステム。

【請求項20】

前記１つ以上のコンピュータによって実行されると、前記システムに動作を実行させるように動作可能な命令を記憶する１つ以上の非一時的コンピュータ可読媒体であって、前記動作が、
前記１つ以上のコンピュータによって、ハイパースペクトル画像の画像データを取得することであって、前記画像データが、複数の波長帯域の各々についての画像データを含む、前記画像データを取得することと、
前記１つ以上のコンピュータによって、特定の物体タイプの物体の画像のための異なる領域タイプをセグメント化するために指定された前記波長帯域の所定のサブセットを示す、前記特定の物体タイプのための記憶されたセグメンテーションプロファイルデータにアクセスすることと、
前記１つ以上のコンピュータによって、前記異なる領域タイプをセグメント化するために、前記記憶されたセグメンテーションプロファイルデータにおいて指定された前記波長帯域の前記所定のサブセットを使用して、前記画像データを複数の領域にセグメント化することと、
前記１つ以上のコンピュータによって、前記複数の領域及び前記複数の領域のそれぞれの領域タイプを示す出力データを提供することと、を含む、非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０２１年７月２２日に出願された米国非仮特許出願第１７／３８３，２７８号の利益及び優先権を主張し、その完全な開示は参照によりその全体が本明細書に組み込まれる。

【0002】

本明細書は、概して、画像のデジタル処理に関し、特に、ハイパースペクトル画像に基づく改善された画像セグメンテーションに関する。

【背景技術】

【0003】

画像セグメンテーションは、特定の部分に属するピクセルが同様の特徴を共有するように、画像を意味のある部分に分割するデジタル画像処理の技術である。これは、画像内の物体の形状及び境界を定義することによって、デジタル画像の分析を可能にする。画像セグメンテーションは、自律車両、医療画像診断、及び衛星撮像などの複数の領域で広く使用されている。

【0004】

ハイパースペクトル撮像技術は、波長が異なる光の複数の帯域（例えば、「波長帯域」、「スペクトル帯域」、又は単に「帯域」）についての被写体に関する画像データを提供することができる。これは、グレースケール画像（例えば、単一の、典型的には大きい帯域にわたる強度を示す）及び標準カラー画像（例えば、可視赤色、緑色、及び青色帯域のための画像情報を含むＲＧＢ画像など）よりも著しく多くの情報を提供する。ハイパースペクトル画像において提供される追加のデータは、被写体に関するより多くの情報を提供するが、ハイパースペクトル画像におけるはるかに大量の結果データ（多くの場合、５、１０、２０、又はそれを上回る異なる波長帯域について）は、多くの場合、効率的に処理されない、又はセグメンテーションなどの画像処理タスクに効果的に適用されない。

【発明の概要】

【0005】

本明細書で説明される主題の１つの革新的な態様によれば、コンピュータシステムは、ハイパースペクトル画像を使用して、以前の手法よりも高い精度及び効率で画像セグメンテーションを実行することができる。ハイパースペクトル画像は、従来のカラー画像よりもはるかに多くの情報を含む。この情報は多くの形態で提供され、多くの場合、典型的なＲＧＢ画像よりも多くの帯域を含み、従来のＲＧＢベイヤーフィルタ帯域よりも狭いスペクトル帯域に関する情報を含み、可視範囲外の帯域（例えば、赤外線、紫外線など）に関する情報も含む。

【0006】

しかしながら、ハイパースペクトル画像の波長帯域の全てが、セグメント化される各タイプの境界に関連するわけではない。結果として、撮像される物体のタイプ及びその特性（例えば、材料、組成、構造、テクスチャなど）に応じて、異なるハイパースペクトル波長帯域に対する画像データは、領域境界を示し得る。同様に、いくつかの物体タイプ及び領域タイプに関して、いくつかの波長帯域に関する情報は、ノイズを追加するか、又は所望の境界を実際に不明瞭にする可能性があり、その結果、セグメンテーション精度を低減し、セグメンテーション分析の計算コストが増加する。

【0007】

以下に説明される技術は、コンピュータシステムが、異なる物体タイプ及び領域タイプの正確かつ効率的なセグメンテーションを提供する波長帯域の異なる組み合わせを指定するプロファイルをどのように生成及び使用することができるかを説明する。これらのプロファイルを使用して、システムは、ハイパースペクトル画像内の画像データを選択的に使用することができ、それにより、画像帯域の異なる組み合わせが、画像内の異なるタイプの領域又はタイプの境界を位置特定するために使用される。例えば、特定の物体タイプに対して、プロファイルは、その物体タイプの物体に対して、第１のタイプの領域が帯域１、２、及び３の画像データを使用してセグメント化されるべきであり、第２のタイプの領域が帯域３、４、及び５の画像データを使用してセグメント化されるべきであることを示し得る。特定の物体タイプのハイパースペクトル画像を処理するとき、各領域タイプに対する帯域のサブセット、例えば、第１のタイプの領域を識別するための帯域１、２、及び３に対する画像データ、並びに第２のタイプの領域を識別するための帯域３、４、及び５に対する画像データを含む、プロファイルにおいて指定されたセグメンテーションパラメータが使用される。

【0008】

一例として、果物の画像のセグメンテーションを使用して、コンピュータビジョンシステムによって果物の特性及び品質を自動的に評価することができる。単に背景から果物をセグメント化することを超えて、システムを使用して、果物の異なる部分を互いにセグメント化することができる。イチゴの場合、外部は、葉（例えば、萼、萼片、果梗）、種子（例えば、痩果）、及び果肉（例えば、容器）を含む。果肉は、異なる状態の領域、例えば、完熟、未完熟、傷有り、かび、腐敗などを有することができる。品質管理又は他の目的のための個々のイチゴの迅速かつ効率的な機械視覚分析を容易にするために、システムは、対象領域のタイプ（例えば、葉、種子、及び果肉）及び各領域タイプの領域をセグメント化又は識別するために使用されるべきハイパースペクトル画像の帯域のサブセットを指定するイチゴ物体タイプのプロファイルを生成することができる。帯域のこれらのサブセットは、トレーニング例のデータ駆動型分析を通して決定されることができ、トレーニング例は、ハイパースペクトル画像及び例のための領域タイプを示すグラウンドトゥルースセグメンテーションを含む。プロファイルは、異なる帯域の画像データに適用する関数、使用する閾値など、各領域タイプについて他のパラメータを指定し得る。定義されたプロファイルを用いて、システムは、イチゴのハイパースペクトル画像を正確かつ効率的に処理し、各領域タイプをセグメント化することができる。各領域タイプについて、システムは、帯域のサブセット及びプロファイルにおいて指定された他のパラメータを使用して、その領域タイプのインスタンスについての境界を定義することができる。結果として、各領域タイプは、領域境界を最もよく示す帯域のサブセットを使用して正確にセグメント化することができ、処理は、各領域タイプのセグメンテーションに使用される帯域の数を制限することによってより効率的になる。

【0009】

別の例として、廃棄物材料の画像のセグメンテーションを使用して、リサイクル可能な材料をよりよく識別し、特徴付けることができる。一例として、システムを使用して、異なるタイプのプラスチック（例えば、ポリエチレン（ＰＥ）、ポリエチレンテレフタレート（ＰＥＴ）、塩化ポリビニル（ＰＶＣ）、ポリプロピレン（ＰＰ）など）を表す画像データの領域を正確にセグメント化して、物体の材料を自動的に検出し、異なるタイプの物体がどこに位置するかを識別することができる。更に、セグメンテーション技術を使用して、材料中の添加剤並びに汚染の事例を識別し、特徴付けることができる。例えば、１つ以上の主要材料（例えば、ＰＥ対ＰＥＴ）を含む領域を識別することに加えて、又はその代わりに、セグメンテーション技術はまた、異なる添加剤（例えば、フタル酸塩、臭化物、塩素酸塩、耐ＵＶコーティング）が存在する、又は汚染物質（例えば、油、食品残留物など）が存在する、物体又は物体の部分を識別することができる。異なるタイプの領域をよりよく特徴付けるために、システムは、対象領域のタイプ（例えば、異なるタイプの材料、存在する異なる添加剤、異なる汚染物質）を指定する異なるタイプの物体及び材料、並びに各領域タイプの領域をセグメント化又は識別するために使用されるハイパースペクトル画像の帯域のサブセットについてのプロファイルを生成及び記憶することができる。帯域のこれらのサブセットは、トレーニング例のデータ駆動型分析を通して決定されることができ、トレーニング例は、ハイパースペクトル画像及び例のための領域タイプを示すグラウンドトゥルースセグメンテーションを含むことができる。プロファイルは、異なる帯域の画像データに適用する関数、使用する閾値など、各領域タイプについて他のパラメータを指定し得る。プロファイルが定義されると、システムは、ハイパースペクトル画像を処理し、各領域タイプを正確かつ効率的にセグメント化することができる。各領域タイプに対して、システムは、異なる材料から構成される領域、異なる汚染物質が検出される領域、異なるタイプの汚染物質が存在する領域などに対する境界を定義することができる。結果として、各領域タイプは、領域境界を最もよく示す帯域のサブセットを使用して正確にセグメント化することができ、処理は、各領域タイプのセグメンテーションに使用される帯域の数を制限することによってより効率的になる。

【0010】

以下で更に説明するように、システムは、セグメンテーションを実行する前に帯域を修正する合成帯域を定義することもできる。合成帯域は、ハイパースペクトル画像内の１つ以上の画像帯域に基づくことができるが、１つ以上の関数又は変換が適用されてもよい。例えば、合成帯域は、関数が帯域に適用される（例えば、加算、減算、乗算、除算など）、２つ以上の帯域の複合又は集約であってもよい。一例は、合成帯域として、２つの帯域の差を２つの帯域の和で除算するなど、２つの帯域に基づいて正規化インデックスを計算することである。各帯域についての画像が５００ピクセル×５００ピクセルの寸法を有するハイパースペクトル画像について、帯域１及び帯域２についての正規化インデックスを生成する結果は、５００ピクセル×５００ピクセルの２Ｄ画像であり得、ここで、結果内の各ピクセルは、式（Ｐ_帯域１－Ｐ_帯域２）／（Ｐ_帯域１＋Ｐ_帯域２）に従ってソース画像内の同じ位置にある２つのピクセルＰ_帯域１及びＰ_帯域２を組み合わせることによって計算される。もちろん、これは異なる帯域の画像データを組み合わせる１つの方法に過ぎず、多くの異なる関数を使用することができる。

【0011】

合成帯域は、他のパラメータとともに、領域境界を示さない画像情報の影響をフィルタリング又は低減しながら、領域境界を示す情報のタイプを増幅又は強調するためにシステムによって使用され得る。これは、セグメンテーションアルゴリズムが適用され得る強調された画像を提供する。各対象領域の帯域及び関数を事前に定義することによって、セグメンテーション処理は、ニューラルネットワークを用いて各ハイパースペクトル画像を処理するなどの他の技術よりもはるかに高速であり、計算コストが低くなり得る。一般に、合成帯域は、様々な異なる帯域の画像データにわたって分布する領域境界に関する情報を組み合わせることができ、システムが、様々な帯域から領域境界を最良に信号伝達するハイパースペクトル画像成分を抽出し、それらを、高精度、高信頼度セグメンテーションを可能にする１つ以上の複合画像に組み合わせることを可能にする。本手法の別の利点は、ニューラルネットワーク及び同様のモデルをトレーニングするために通常必要とされるよりもはるかに少ないトレーニングデータ及びトレーニング計算を必要としながら、異なる物体タイプ及び領域タイプのためのセグメンテーションをカスタマイズするための経験的なデータ駆動型手法を可能にすることである。

【0012】

プロファイルを生成するために、システムは、異なる領域タイプのより正確なセグメンテーションを可能にするハイパースペクトル画像の波長帯域のサブセットを識別する選択プロセスを実行することができる。このプロセスは、トレーニング例に適用される複数のフェーズ又は反復を含むことができる。第１のフェーズは、個々の帯域について画像データを評価し、対象領域間の差を最も明確に示す（例えば、セグメント化される特定の領域とトレーニングデータにおいて表される１つ以上の他の領域タイプとの間の差が最も高い、又は最も一貫して示す）個々の帯域のサブセットを選択することができる。所定数の帯域、又は特定の基準を満たす帯域のサブセットが、第２のフェーズにおける更なる評価のために選択され得る。第２のフェーズは、第１のフェーズからの個々の選択された帯域への異なる関数の適用に基づく合成帯域の生成を含むことができる。例えば、帯域１及び帯域２がフェーズ１において選択された場合、システムは、それらの２つの帯域を組み合わせる異なる方法（例えば、帯域１－帯域２、帯域１＋帯域２、帯域１及び帯域２の正規化インデックスなど）に基づいて、いくつかの異なる候補帯域を生成することができる。次いで、システムは、正規化された帯域が対象領域を他の領域からどれだけ明確かつ一貫して区別するかを評価し、これらの合成帯域のサブセットを選択すること（例えば、最高スコアを有する所定の数を選択すること、最小閾値を上回る領域タイプ識別スコアを有するものを選択することなど）ができる。選択プロセスは、任意選択で、合成帯域の異なる組み合わせを評価し、そこから選択するために更なるフェーズを継続することができ、各追加フェーズは、対象領域タイプの識別のより高い精度及び／又は一貫性を提供する新しい組み合わせを選択する。

【0013】

プラスチックの光学的選別及び分類の用途において、システムは、画像データの組み合わされた帯域又は合成帯域を生成し、異なる材料を検出するためにどの帯域を使用すべきかを明らかにすることによって、システムの識別力を著しく改善することができる。例えば、分析は、どの帯域が異なるベースプラスチックタイプを最もよく識別するかを決定するために、並びにこれらを他の一般的な材料から識別するために実行され得る。同様に、分析は、添加剤を含まないベースタイプのプラスチック（例えば、純粋なＰＥ）を、１つ以上の添加剤（例えば、フタル酸塩、臭化物、塩素酸塩など）を含むそのタイプのプラスチックから最もよく識別する帯域を選択するために、並びに汚染されていない領域を異なるタイプの表面汚染物質を有する領域から識別するために使用することができる。帯域の選択は、特定のスペクトル領域における反射率及び変動のベースライン量を設定するベースプラスチックのタイプに依存し得る。したがって、存在する異なる添加剤又は汚染物質の領域を識別するために、帯域の異なる組み合わせを選択し得る。いくつかの実装形態では、帯域選択は、識別されるべき材料のセットと、対象の添加剤及び汚染物質の特定のタイプとによって通知され得る。

【0014】

１つの一般的な態様では、１つ以上のコンピュータによって実行される方法は、１つ以上のコンピュータによって、ハイパースペクトル画像の画像データであって、画像データは、複数の波長帯域の各々についての画像データを含む、画像データを取得することと、１つ以上のコンピュータによって、特定の物体タイプの物体の画像のための異なる領域タイプをセグメント化するために指定された波長帯域の所定のサブセットを示す、特定の物体タイプのための記憶されたセグメンテーションプロファイルデータにアクセスすることと、１つ以上のコンピュータによって、異なる領域タイプをセグメント化するために、記憶されたセグメンテーションプロファイルデータにおいて指定された波長帯域の所定のサブセットを使用して、画像データを複数の領域にセグメント化することと、１つ以上のコンピュータによって、複数の領域及び複数の領域のそれぞれの領域タイプを示す出力データを提供することと、を含む。

【0015】

いくつかの実装形態では、波長の異なる所定のサブセットは、波長帯域の異なる組み合わせを異なる組み合わせの各々は、波長帯域のうちの２つ以上を含む。

【0016】

いくつかの実装形態では、波長帯域の異なる所定のサブセットは、波長帯域の異なる対を含む。

【0017】

いくつかの実装形態では、アクセスされたデータは、領域タイプのうちの少なくとも１つについて、２つの波長帯域についての画像データ間の差を２つの波長帯域についての画像データの和で除算したものを表す２つの波長帯域の組み合わせを指定する。

【0018】

いくつかの実装形態では、方法は異なる領域タイプの各々について、領域タイプに対応する波長帯域の所定のサブセットについての画像データに対して実行されるべき１つ以上の演算を示すデータにアクセスすることと、異なる領域タイプの各々について、領域タイプに対して指定された波長帯域の所定のサブセットに対して領域タイプに対応する１つ以上の演算を実行することによって、画像データの修正されたセットを生成することを含み、画像データを複数の領域にセグメント化することは、各領域タイプについての画像データの修正されたセットを使用して、対応する領域タイプの領域をセグメント化することを含む。

【0019】

いくつかの実装形態では、出力データを提供することは、領域タイプごとに画像データのセットを提供することを含み、画像データのセットの各々は、対応する領域タイプの領域を分離する。

【0020】

いくつかの実装形態では、画像データのセットのうちの少なくとも１つは、領域タイプのセグメンテーションのために使用される波長帯域の所定のサブセットとは異なる１つ以上の波長帯域から導出された画像データを含む。

【0021】

いくつかの実装形態では、領域タイプは異なる材料に対応する。

【0022】

いくつかの実装形態では、領域タイプは、異なる条件又は物体に対応する。

【0023】

いくつかの実装形態では、出力データを提供することは、ハイパースペクトル画像内に表される物体の分類を決定するように構成された分類システムに出力データを提供することを含む。

【0024】

いくつかの実装形態では、本方法は、セグメント化された領域のうちの１つ以上を使用して、ハイパースペクトル画像内に表される物体の分類又は状態を決定することを含む。

【0025】

いくつかの実装形態では、画像データは、１つ以上の廃棄物アイテムを表し、アクセスされたセグメンテーションプロファイルデータは、特定のタイプのリサイクル可能材料が存在する領域をセグメント化するための波長帯域のサブセットを指定し、複数の領域のうちの少なくとも１つは、リサイクル可能材料が存在する領域を示す。

【0026】

いくつかの実装形態では、本方法は、複数の異なるプラスチックのセグメンテーションプロファイルデータにアクセスすることを含み、アクセスされたセグメンテーションプロファイルデータは、異なるプラスチックをセグメント化するために使用する波長帯域の異なるサブセットを示し、画像データを複数の領域にセグメント化することは、画像データを異なるプラスチックを表す領域にセグメント化することを含み、異なるプラスチックについての領域は、異なるプラスチックについての波長帯域のそれぞれのサブセットを使用してセグメント化される。

【0027】

いくつかの実装形態では、方法は、セグメント化された画像データに基づいて、プラスチックのタイプ、プラスチック用の添加剤、又はプラスチック上の汚染物質のうちの少なくとも１つを検出することを含む。例えば、汚染物質を有する領域に対応する領域のセグメンテーションは、汚染物質の存在を示すことができる。いくつかの実装形態では、領域についてのセグメント化された画像データ、又は領域についてのセグメント化されたデータから導出された特徴値を機械学習モデルによって処理して、材料特性を検出すること、例えば、材料を分類すること、特定の添加剤又は汚染物質を識別すること、存在する化学物質の量又は濃度を推定することなどができる。

【0028】

いくつかの実装形態では、方法は、ハイパースペクトル画像データによって記述される１つ以上の物体を選別又は搬送するために、セグメンテーションプロファイルデータを使用して実行されるセグメンテーションに基づいて機械を制御することを含む。例えば、特定の材料の領域タイプに対応するものとしてセグメント化されている１つ以上の物体の画像データに基づいて、１つ以上の物体を特定の材料の物体用に指定された領域又は容器に移動させる命令を機械に提供することができる。別の例として、セグメント化された画像データを使用して、トレーニングされた機械学習モデルに提供される入力を生成することができ、機械学習モデルの結果として生じる出力を使用して、１つ以上の物体を分類又はラベル付けすることができ、分類又はラベルを機械に提供して、機械に、分類又はラベルに基づいて１つ以上の物体を操作させることができる。

【0029】

本態様及び他の態様の他の実装形態は、対応するシステム、装置、及びコンピュータプログラムを含み、それらは、方法のアクションを実行するように構成され、コンピュータ記憶デバイス上で符号化される。１つ以上のコンピュータのシステムは、動作中にシステムにアクションを実行させる、システム上にインストールされたソフトウェア、ファームウェア、ハードウェア、又はそれらの組み合わせによってそのように構成することができる。１つ以上のコンピュータプログラムは、データ処理装置によって実行されると、装置にアクションを実行させる命令を有することによってそのように構成することができる。

【0030】

本明細書で説明される主題の１つ以上の実施形態の詳細は、添付の図面及び以下の説明に記載される。主題の他の潜在的な特徴、態様、及び利点は、説明、図面、及び特許請求の範囲から明らかになるであろう。

【図面の簡単な説明】

【0031】

【図1】ハイパースペクトル画像を使用して画像セグメンテーションを実行するように実装されたシステムの一例を示すブロック図である。

【図2】物体の異なるタイプの領域をセグメント化するためにハイパースペクトル画像の波長帯域の異なるサブセットを選択するためにプロファイルを使用して強調された画像セグメンテーションを実行する一例を示す図である。

【図3】画像セグメンテーションを実行するための画像データの異なる帯域を自動的に生成及び選択する一例を示す図である。

【図4】物体の画像をセグメント化する際に使用する波長帯域を自動的に生成し選択するプロセスを説明するフロー図である。

【発明を実施するための形態】

【0032】

図１は、ハイパースペクトル画像の帯域選択及び画像セグメンテーションを実行するように実装された例示的なシステム１００のブロック図である。システム１００は、各ハイパースペクトル画像が複数の帯域の各々の画像データを含むように、物体のハイパースペクトル画像をキャプチャするためのカメラシステム１１０を含み、各帯域は特定の波長帯域の反射光の測定値を表す。図１は更に、段階（Ａ）～（Ｅ）に示されるデータの例示的なフローを示す。段階（Ａ）～（Ｅ）は、図示された順序で発生し得、図示された順序とは異なる順序で発生し得る。

【0033】

システム１３０は、多くの異なる用途のために画像セグメンテーションを実行するために使用される帯域を選択するために使用され得る。例えば、システムは、異なるタイプの果物、野菜、肉、及び他の食品を識別及び評価するための帯域を選択するために使用されることができる。別の例として、システムは、リサイクル可能な材料タイプを検出すること、並びに添加剤又は汚染物質の存在及び添加剤又は汚染物質の量又は濃度を検出することなど、廃棄物材料を識別及び評価するための帯域を選択するために使用することができる。

【0034】

図１の例では、カメラシステム１１０は、図ではイチゴである物体１０１のハイパースペクトル画像１１５を撮影する。各ハイパースペクトル画像１１５は、Ｎ個の帯域の画像データを含む。一般に、ハイパースペクトル画像は、３つの次元ｘ、ｙ及びｚを有すると考えることができ、ここで、ｘ、ｙは、単一帯域についての２Ｄ画像の空間次元を表し、ｚは、波長帯域の数を通じるインデックス又はステップを表す。したがって、ハイパースペクトル画像は、複数の２次元画像を含み、各画像は、ｘ及びｙ空間次元によって表され、各画像は、光の異なるスペクトル帯域に対する同じシーンのキャプチャされた光強度（例えば、反射率）を表す。

【0035】

ほとんどのハイパースペクトル画像は、撮像技術に応じて、数個又は数十個の波長帯域の各々について画像データを有する。多くの用途では、主に、多数の帯域を有する画像を処理することは、非常に計算コストがかかり、結果を得る際の遅延及び高電力使用をもたらすため、ハイパースペクトル画像内の帯域の数を管理可能な量に低減することが望ましい。主成分分析（ＰＣＡ）及びプーリングなど、多くの異なる次元削減技術が過去に提示されている。しかしながら、これらの技術は、依然としてかなりの計算コストがかかり、特殊なトレーニングを必要とし、画像セグメンテーションなどの用途において必ずしも所望の精度を提供するとは限らないことが多い。更に、多くの技術は、異なる波長帯域が、異なるタイプの境界（例えば、材料、組成、構造、テクスチャなどの異なる特性を有する異なるタイプの領域の境界）をセグメント化するために劇的に異なる情報値を有することが多いにもかかわらず、セグメンテーション決定のためにほとんど又は全ての帯域の使用を試みる。これは、従来、セグメンテーション分析に必要とされるよりも多くの波長帯域について画像データを処理する非効率性をもたらしてきた。また、セグメンテーション境界に対して低い関連性を有する帯域のデータは、ノイズ及びわずかに関連するデータを有するデータ内のキー信号を不明瞭にするので、精度が制限される。

【0036】

特に、セグメンテーション決定に対する異なる波長帯域の重要性は、領域のタイプごとに大きく異なる。２０の異なる波長帯域のうち、１つのタイプの領域（例えば、特定の材料又は組成を有する）は、撮像される全帯域のうちのいくつかのみと強く相互作用し得、第２のタイプの領域（例えば、異なる材料又は組成を有する）は、撮像される全帯域のうちの異なるサブセットと強く相互作用し得る。多くの従来のシステムは、帯域のサブセットが最良のセグメンテーション結果を生成した領域依存変動を決定し、記憶し、使用する能力を有しておらず、これは、多くの場合、少なくともいくつかの対象領域のセグメンテーションにわずかに関連する又は関連しない帯域データの非効率的な処理をもたらした。以下で説明するように、本明細書で説明する技術は、各物体タイプ及び領域タイプについてのセグメンテーションパラメータが、トレーニング例の分析に基づいて決定され、記憶され、次いで、あるタイプの物体についての対象領域の各タイプをよりよく識別し区別するために使用されることを可能にする。これは、多くの異なる物体タイプに対して行うことができ、システムが、異なる物体又はシーンに対するプロファイルを選択し、帯域及びパラメータの適切なセットを使用して、異なる物体又はシーンに対して存在し得る様々な領域タイプをセグメント化することを可能にする。

【0037】

図１の例では、カメラシステム１１０は、ハイパースペクトル画像データを処理し、セグメント化された画像又はセグメント化された画像から導出された他のデータを返すサーバシステム１３０とネットワーク１２０を介して通信することができるコンピュータ又は他のデバイスを含むか、又はそれに関連付けられる。他の実装形態では、コンピュータシステム１３０の機能（例えば、プロファイルを生成すること、ハイパースペクトル画像データを処理すること、セグメンテーションを実行することなど）は、カメラシステム１１０の場所でローカルに実行され得る。例えば、システム１００は、カメラシステム１１０及びコンピュータシステム１３０を収容するスタンドアロンユニットとして実装することができる。

【0038】

ネットワーク１２０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、インターネット、又はそれらの組み合わせを含むことができる。ネットワーク１２０はまた、任意のタイプの有線及び／又は無線ネットワーク、衛星ネットワーク、ケーブルネットワーク、Ｗｉ－Ｆｉネットワーク、モバイル通信ネットワーク（例えば、３Ｇ、４Ｇなど）、又はそれらの任意の組み合わせを含むことができる。ネットワーク１２０は、インターネットプロトコル（ＩＰ）、伝送制御プロトコル（ＴＣＰ）、ユーザデータグラムプロトコル（ＵＤＰ）、又は他のタイプのプロトコルなどのパケットベース及び／又はデータグラムベースのプロトコルを含む通信プロトコルを利用することができる。ネットワーク１２０は、スイッチ、ルータ、ゲートウェイ、アクセスポイント、ファイアウォール、基地局、リピータ、又はそれらの組み合わせなど、ネットワーク通信を容易にし、かつ／又はネットワークのためのハードウェア基盤を形成するいくつかのデバイスを更に含むことができる。

【0039】

いくつかの実装形態では、コンピュータシステム１３０は、画像を分析し、選択された帯域構成及びセグメント化された画像を出力として提供する帯域選択及び画像セグメンテーションモジュールを提供する。いくつかの実装形態では、コンピュータシステム１３０は、単一のリモートサーバによって、又はローカル若しくはグローバルに分散された複数の異なるサーバのグループによって実装され得る。そのような実装形態では、コンピュータシステム１３０によって実行される機能は、複数の分散コンピュータシステムによって実行することができ、機械学習モデルは、ネットワーク１２０を介してソフトウェアサービスとして提供される。

【0040】

簡単に言えば、図１は、コンピュータシステム１３０が、様々なトレーニング例の分析を通じて物体タイプ及び／又は領域タイプのセグメンテーションプロファイルを生成する一例を示す。次いで、コンピュータシステム１３０は、追加のハイパースペクトル画像を受信し、画像内の物体の物体タイプのプロファイルを使用して、正確なセグメンテーション結果を効率的に生成する。図１及び図２は、検出及び評価される物体のタイプとしてイチゴを示しているが、説明した同じ技術を使用して他のタイプの物体を処理することができる。

【0041】

段階（Ａ）の間、セットアッププロセスとして、コンピュータシステム１３０は、画像がセグメント化される物体のタイプのプロファイルを生成する。例えば、システムがイチゴの画像をセグメント化することを可能にするために、イチゴ物体タイプのプロファイル１５３を作成することができる。プロファイル１５３は、イチゴをセグメント化するときに使用する帯域のサブセット、又はより潜在的には、イチゴの異なるタイプの領域をセグメント化するために使用する異なる帯域を指定することができる。

【0042】

物体タイプのプロファイルを生成するために、コンピュータシステム１３０は、プロファイルされる物体タイプのインスタンスのハイパースペクトル画像を含む様々なトレーニング例１５１を処理する。いくつかの実装形態では、帯域評価モジュール１５０は、処理されたハイパースペクトル画像の帯域の各々が分析されて、ハイパースペクトル画像セグメンテーションを実行しながら高精度を可能にする選択された帯域構成を生成する帯域選択プロセスを実行する。

【0043】

帯域評価モジュール１５０は、物体タイプ及び／又は領域タイプについて帯域選択１５２の反復プロセスを実行することができる。第１の反復中に、ハイパースペクトル画像の個々の帯域は、選択プロセス１５２ａを受ける。プロセス１５２ａは、ハイパースペクトルトレーニング画像の複数の帯域から帯域のサブセットを選択する。例えば、第１の反復中に、モジュール１５０は、様々なハイパースペクトル画像トレーニング例１５１の帯域１～Ｎを評価し、帯域が特定のタイプの対象領域（例えば、イチゴの果肉）と他の領域（例えば、葉、種子、背景など）とをどれだけうまく識別するかを示すスコアを各帯域に与える。この例では、プロセス１５２の第１の反復は、帯域１～Ｎから帯域１及び帯域３を選択する。

【0044】

いくつかの実装形態では、個々の帯域のサブセットの選択後、合成帯域又は変更された帯域が生成される。合成帯域は、第１の反復において選択された帯域のうちの１つ以上について画像データを処理することによって生成され得る。例えば、帯域のサブセット内の各帯域は、（例えば、第１の反復において選択された帯域の）２つ以上の異なる帯域からのデータを組み合わせる動作を含み得る、１つ以上の動作（例えば、画像処理動作、数学演算など）を受けることができる。様々な所定の関数の各々は、選択された帯域の異なる組み合わせについて（例えば、帯域の各対又は帯域の選択されたサブセット内の各順列について）画像データに適用することができる。これは、第１の反復において選択された帯域に対する異なる修正又は帯域の組み合わせを各々表す合成帯域の新しいセットを作成することができる。例えば、選択プロセス１５２ａによる選択時に、モジュール１５０は、帯域１及び帯域３に対して動作を実行して、（１）帯域１＋帯域３、（２）帯域１＋帯域３、（３）帯域１－帯域３を含む３つの新しい合成帯域を作成する。

【0045】

次に、このようにして作成された合成帯域を評価、例えばスコア付けして、対象の領域タイプ（例えば、イチゴの果肉）と他の領域タイプとを各々識別するレベルを決定する。次いで、コンピュータシステム１３０は、第２の反復のために、選択プロセス１５２ｂにおいて合成帯域の中から選択する。この例では、帯域１－帯域３として作成された合成帯域がプロセス１５２ｂによって選択される。新しい修正された帯域又は複合帯域を生成し、次いでそれらの中から最も有効なものを選択する反復プロセスは、所望のレベルの精度に達するまで継続することができる。

【0046】

この例では、イチゴの果肉をセグメント化するための情報は、単一の２Ｄ画像に蒸留又は集約される。しかしながら、これは必須ではなく、いくつかの実装形態では、プロファイル１５３は、複数の別個の帯域（例えば、元の帯域又は合成／修正された帯域）がセグメンテーションのために生成及び使用されるべきであることを示し得る。例えば、システムは、セグメンテーションが３つの帯域、すなわち帯域１＋帯域３、帯域１／帯域３、及び帯域１－帯域３の画像データを使用すべきであると指定し得る。

【0047】

帯域評価モジュール１５０は、プロファイル１５３が生成されている物体のタイプの複数の領域タイプの各々について選択プロセスを実行する。これは、各領域タイプに対して、その領域タイプに使用される帯域の選択されたサブセットを生成する。選択された帯域が合成帯域である場合、成分入力帯域及び合成帯域を生成するために適用される関数がプロファイルに記憶される。その結果、物体タイプに対するプロファイル１５３は、物体の各領域タイプに対して使用されるべき選択された帯域構成を含み得、領域タイプの各々に対する画像セグメンテーションに対する高精度を可能にする。例えば、イチゴをセグメント化するためのプロファイル１５３の場合、領域タイプは、葉、種子、及び果肉であり得る。別の例として、ダイニングルームの要素をセグメント化するためのプロファイルにおいて、複数の領域タイプは、第１の領域として椅子、第２の領域としてテーブル、及び第３の領域として壁を含み得る。

【0048】

いくつかの実装形態では、プロファイル１５３の領域タイプは、異なる材料の領域を表し、その結果、セグメンテーションは、画像内の異なる材料の領域間の区別を容易にすることができる。帯域評価モジュール１４０は、画像セグメンテーションを実行しながら高精度を可能にするために、各材料タイプについて帯域構成を生成する。例えば、家具を評価するために、複数の材料タイプは、木材、プラスチック、及び皮革を含む。より一般的には、選択は、材料、組成、テクスチャ、密度、構造などを含む様々な特性のいずれかについて画像帯域パラメータを決定することができる。

【0049】

いくつかの実装形態では、帯域評価モジュール１５０は、物体の複数の条件タイプの各々について帯域選択プロセス１５２を実行する。例えば、イチゴの果肉は、完熟、未完熟、傷有り、ウドンコ病などの異なるタイプの領域を有すると考えられ得る帯域評価モジュール１５０は、画像セグメンテーションを実行しながら、異なる条件の領域を高精度で区別することを可能にする、条件のタイプごとの帯域構成を生成し、プロファイル１５３に記憶し得る。

【0050】

段階（Ａ）について説明されたプロファイルを生成するプロセスは、多くの異なる物体タイプについて実行されて、セグメンテーションプロファイル１５３のライブラリを作成することができ、このライブラリは、記憶され、システム１３０によって取り出されて、異なる物体タイプの各々を正確にセグメント化することができる。各物体タイプについて、複数の異なる領域タイプが指定されてもよく、各領域タイプは、その領域タイプの画像領域をセグメント化するために使用されるように指定された対応する波長帯域、演算子、アルゴリズム、及び他のパラメータを有する。

【0051】

段階（Ｂ）の間、カメラシステム１１０は、物体のハイパースペクトル画像をキャプチャする。例えば、カメラシステム１１０は、Ｎ個の異なる波長帯域の各々についての画像データを含むイチゴ１０１のハイパースペクトル画像１１５を撮影する。いくつかの実装形態では、ハイパースペクトル画像１１５は、製造、包装、又は品質保証のためのコンベヤ上の物体など、異なる物体の一連の画像中の多くのうちの１つとして送られ得る。

【0052】

段階（Ｃ）の間、ハイパースペクトル画像１１５は、例えば、ネットワーク１２０を使用して、カメラシステム１１０からコンピュータシステム１３０に送信される。ハイパースペクトル画像１１５は、セグメント化された画像を生成するため、画像内に表される物体の特性若しくは品質を検査するため、又は別の目的のためなど、画像を処理するための要求に関連して送信することができる。

【0053】

段階（Ｄ）の間、ハイパースペクトル画像１１５を受信すると、コンピュータシステム１３０は、異なるタイプの領域がセグメント化されるために必要とされる画像データを識別及び生成するための処理を実行する。これは、ハイパースペクトル画像１１５内に表される物体タイプを識別する事前セグメンテーションステップ、物体タイプのプロファイル１５３を（例えば、データベースから、及び複数の異なる物体タイプのプロファイルの中から）取り出すステップ、異なる帯域の画像データを事前処理するステップ（例えば、合成又は複合画像を生成するステップ、閾値、関数、又はフィルタなどを適用するステップ）、画像の数を低減するステップ（例えば、複数の帯域からの画像データをより少ない画像又は単一の画像に投影又は結合するステップ）、及び／又はプロファイル１５３内のパラメータを用いたセグメンテーション処理のためにハイパースペクトル画像１１５を準備するステップを含むことができる。

【0054】

コンピュータシステム１３０は、ハイパースペクトル画像１１５内に表される物体１０１の物体タイプを識別し、次いで、その画像タイプに対応するセグメンテーションプロファイル１５３を選択し、取り出す。ハイパースペクトル画像１１５に関連して提供されるデータは、画像内に表される物体１０１のタイプを示すことができる。例えば、ハイパースペクトル画像１１５を処理するための要求は、評価される物体が「イチゴ」物体タイプであるという指示を含むことができる。別の例として、システム１００は、同じタイプの物体を示すハイパースペクトル画像を繰り返し処理するように構成されてもよく、その結果、コンピュータシステム１３０は、入ってくるハイパースペクトル画像１１５をイチゴの画像として解釈又は処理するように既に構成されている。これは、同じタイプのアイテムが順次処理される製造施設又は包装ワークフローにおける場合であり得る。更に別の例では、コンピュータシステム１３０は、物体認識モデルを使用して、ハイパースペクトル画像１１５内に表される物体のタイプを検出し、次いで、自動的に識別された物体タイプに対応するプロファイルを選択し得る。

【0055】

ハイパースペクトル画像１１５に描かれた物体の物体タイプに対して適切なプロファイル１５３が選択されると、コンピュータシステム１３０は、選択されたプロファイル１５３内の情報を適用して、ハイパースペクトル画像１１５を処理する。例えば、プロファイル１５３は、ハイパースペクトル画像１１５内の異なる帯域の画像データから生成する異なる複合画像又は合成画像を指定し得る。コンピュータシステム１３０は、これらの画像を生成してもよく、プロファイルが指定する任意の他のアルゴリズム又は動作を適用してもよい。その結果、モジュール１４０は、セグメンテーション処理が適用された１つ以上の画像を準備する。場合によっては、これは、単一の２Ｄ画像、又はセグメント化されるべき様々な異なる領域タイプの各々に対する異なる２Ｄ画像、又は複数の異なる領域タイプの各々に対する複数の２Ｄ画像をもたらし得る。実際には、モジュール１４０は、プロファイル１５３を使用して、所与の領域タイプに関連しない帯域の画像データをフィルタ除去し、画像データをセグメンテーションのための適切な形式に処理する、前処理段階として作用することができる。

【0056】

段階（Ｅ）の間、セグメンテーションモジュール１６０は、画像処理モジュール１４０からの処理された画像データに基づいてセグメンテーションを実行する。セグメンテーションは、異なる物体の境界及びそれらの物体の異なるタイプの領域を決定することができる。セグメンテーションプロセスを見る１つの方法は、モジュール１６０が、それが受信した画像（対応するハイパースペクトル画像１１５を表す）の異なる領域をクラス又はカテゴリに分類することができることであり、例えば、ピクセルを、様々なタイプ、背景、又は物体の一部ではない、葉、種子、果肉などのうちの１つとして割り当てることである。例えば、画像処理モジュール１４０によって生成される選択された帯域構成の画像データは、閾値セグメンテーション、クラスタリングセグメンテーション、圧縮ベースのセグメンテーション、ヒストグラムベースのセグメンテーション、エッジ検出、領域拡張技術、偏微分方程式ベースの方法（例えば、曲線伝播、パラメトリック方法、レベルセット方法、高速マーチング方法など）、グラフ分割セグメンテーション、流域セグメンテーション、モデルベースのセグメンテーション、マルチスケールセグメンテーション、マルチスペクトルセグメンテーションなどの様々なセグメンテーションアルゴリズムのいずれかを適用することができる。セグメンテーションアルゴリズムは、各領域タイプに対してプロファイル１５３によって指定されるパラメータ（例えば、閾値、重み、基準、異なるモデル又はモデルトレーニング状態など）を使用し得、その結果、異なるセグメンテーションパラメータ又は異なるセグメンテーションアルゴリズムを使用して、異なる領域タイプを識別し得る。セグメンテーションの結果は、画像として表現することができる。一例は、２Ｄピクセルグリッドを提供する画像であり、ピクセルは、特定の領域タイプ（例えば、葉）に対応するときに「１」の値を与えられ、そうでないときに「０」の値を与えられる。

【0057】

この例では、プロファイル１５３は、イチゴの葉、種子、及び果肉の３つの領域タイプを指定する。プロファイル１５３は、セグメント化されるべきこれらの３つの領域、並びにこれらの３つの領域がどこに存在するかを識別する際に使用する帯域及びパラメータを指定した。セグメンテーションモジュール１６０は、３つの異なる領域タイプの各々に１つずつ、３つの画像を含む出力１６０を生成する。したがって、各画像は、異なる領域タイプに対応し、ハイパースペクトル画像１１５の２Ｄ視野から、特定の領域タイプのインスタンスによって占有される領域を指定する。言い換えれば、セグメント化された画像は、画像マスクを含むことができ、又はそうでなければ、ある領域タイプが存在すると識別される領域の境界を指定することができる。場合によっては、異なる領域タイプの領域は、異なるピクセルを異なる領域に対応するものとして分類する異なる値（例えば、背景又は物体の一部ではないものに対して０、葉に対して１、種子に対して２、イチゴの果肉に対して３など）を用いて、単一の画像において全て指定され得る。

【0058】

段階（Ｆ）の間、システム１３０は、セグメンテーション結果１６０を記憶し、それらを使用して出力を生成及び提供する。セグメンテーション境界がハイパースペクトル画像１１５内の帯域のサブセットに対する画像データを使用して生成されたとしても、決定された境界は、ハイパースペクトル画像１１５の帯域の各々に対する画像データを処理するために使用することができる。例えば、ハイパースペクトル画像は、２０個の異なる帯域についての画像データを有し得、セグメンテーションプロセスは、帯域１及び帯域２についてのみ画像データを使用し得る。決定された結果として得られる領域境界は、次いで、異なる帯域の２０個全てについて画像データ内の定義された領域をセグメント化又は選択するために適用され得る。ハイパースペクトル画像１１５の異なる帯域についての画像は、物体１０１の同じビュー及びパースペクティブを共有するので、１つの帯域についての画像データに基づくセグメンテーションは、他の帯域についての画像データに直接適用（例えば、オーバーレイ、投影、又は他の方法でマッピング）され得る。このようにして、セグメンテーションは、ハイパースペクトル画像１１５内の画像の全てにわたって一貫して適用され得る。

【0059】

セグメンテーション結果１６０は、物体１０１のサンプル識別子と、キャプチャされたハイパースペクトル画像１１５とに関連付けて、データベース又は他のデータストレージに記憶され得る。品質管理及び製造用途のために、システム１３０は、欠陥の検出及び記録、特定の物体が施設を通って移動するときの特定の物体の品質及び特性の追跡、物体のロット又はバッチのサンプリングされた分析の支援などの一部として関連付けを使用することができる。システム１３０がセグメント化されたハイパースペクトル画像データを使用して実行することができる共通の機能のいくつかは、組成、品質、サイズ、形状、テクスチャ、又は他の特性に対するスコアを割り当てるなど、物体１０１又はその特定の部分を特徴付けることを含む。これらのスコアに基づいて、又は潜在的に中間スコアを伴わない画像分析の直接出力として、コンピュータシステム１３０は、セグメント化されたハイパースペクトル画像データに基づいて物体を分類することができる。例えば、システム１３０は、物体を異なる品質等級などのカテゴリに分類し、割り当てられたカテゴリに基づいてコンベヤシステムを用いて物体を異なる領域に向けることができる。同様に、システム１３０は、欠陥を有する物体を検出し、それらを製造又は包装パイプラインから除去することができる。

【0060】

セグメンテーション結果１６０、ハイパースペクトル画像１１５にセグメンテーションを適用した結果、及び／又はそれらを使用して生成された他の情報を提供することができる。いくつかの実装形態では、セグメント化された境界を示す１つ以上の画像が、表示又は更なる処理のためにカメラシステム１１０又は別のコンピューティングデバイスに送信される。例えば、セグメンテーションを通して決定された異なる領域タイプの境界は、領域境界をオーバーレイし、物体１０１のハイパースペクトル画像１１５又は複合画像若しくは標準色（例えば、ＲＧＢ）画像のための領域タイプを示す注釈データにおいて指定されることができる。

【0061】

いくつかの実装形態では、コンピュータシステム１３０は、特定のセグメント化された領域のピクセル値から入力特徴値を生成し、入力特徴値を機械学習モデルに提供するなど、セグメント化された画像に対して更なる処理を実行する。例えば、機械学習モデルは、サイズ、形状、色、外観の一貫性、欠陥の不在などの特性に基づいてイチゴなどの物体を分類するようにトレーニングされてもよい。コンピュータシステム１３０は、セグメンテーションを通じて決定された領域境界を使用して、ハイパースペクトル画像１１５から、個々のイチゴ及び／又はイチゴの特定のタイプの領域に対応する様々なスペクトル帯域の画像データを分離してもよい。したがって、コンピュータシステム１３０は、トレーニングされた機械学習モデルへの入力として、背景要素及び他の物体を除外し、代わりに、イチゴの一部を示している領域のみを提供するか、又はイチゴの特定の部分（例えば、イチゴの果肉、種子及び葉を省略）を示す領域のみを提供する入力画像を提供することができる。

【0062】

場合によっては、機械学習モデルに提供される入力は、画像データ自体をモデルに提供することなく、セグメント化された画像から導出することができる。例としては、１つの領域タイプとして分類されたピクセルの数の、別の領域タイプとして分類されたピクセルに対する比（例えば、種子領域ピクセルの量の、果肉領域ピクセルの量に対する比）、ある領域タイプ（例えば、イチゴの果肉）としてセグメント化されたピクセルの平均強度（潜在的に、様々なスペクトル帯域の各々に対する）、及びある領域タイプとしてセグメント化されたピクセルの強度の分布が挙げられる。

【0063】

機械学習モデル１７０は、物体の状態を分類したり物体の特性を推定したりするなど、様々な異なる機能を実行するようにトレーニングすることができる。イチゴの場合、機械学習モデルは、セグメント化された入力画像データを使用して、分類（例えば、良好な状態、未完熟、傷有り、ウドンコ病など）を決定し得る。機械学習モデルはまた、化学成分、強度、欠陥タイプ又は欠陥密度、テクスチャ、色などの特定の特性のハイパースペクトル画像ベースの予測のためのスコア又は分類を提供するようにトレーニングされ得る。例えば、物体中に存在する化学物質の量又は濃度を予測するために、１つ以上のモデルをトレーニングすることができる。一例は、イチゴについてのハイパースペクトル撮像データの特性を示す入力特徴に基づいて、イチゴからの果汁中の糖の濃度を、例えばブリックス度又は質量分率で非破壊的に予測するようにトレーニングされたモデルである。このモデルは、イチゴのハイパースペクトル画像の例及び測定される対応する糖度に基づいてトレーニングすることができ、その結果、これらの例は、異なるスペクトル帯域における反射率レベルと存在する糖度との間の関係を示す。同じトレーニング及びモデリング技術を使用して、他の化学物質の量又は濃度を予測するモデルを生成し、並びに他の果物、食品、及び非食品物体中の化学物質を予測することができる。

【0064】

機械学習モデル１７０は、ニューラルネットワーク、分類器、決定木、ランダムフォレストモデル、サポートベクターマシン、又は他のタイプのモデルであり得る。セグメント化されたハイパースペクトル画像データ又はハイパースペクトル画像データから導出された入力特徴を処理する機械学習モデルの結果は、後で使用するためにデータベースに記憶することができ、様々なデバイスのいずれかに、例えば、ユーザに表示するためのクライアントデバイスに、物体１０１を複数の場所のうちの１つに向けるためのコンベヤシステムに、追跡システムなどに提供し得る。例えば、物体１０１を分類する機械学習モデルの結果を使用して、選別機器１８０（例えば、機械学習モデル結果によって示される特性に従って選別機器１８０に物体を物理的に移動又はグループ化させる）、物体１０１をどのようにどこで包装するかを指定する包装機器、物体１０１を移動又は調整するためのロボットアーム又は他の自動マニピュレータ、或いは物体１０１を操作するために送信される命令を生成し得る。

【0065】

図１の技術は、プラスチック及び他のリサイクル可能なものなどの他のタイプの材料を評価するために適用することもできる。例えば、これらの技術を使用して、廃棄物材料の化学的又は材料の同一性を特徴付ける効率及び精度を改善し得、材料タイプ、添加剤の存在及び量、汚染物質の存在及び量、並びにコンピュータビジョンを通して決定される他の特性によってアイテムを選別することが可能になる。この分析は、機械的プロセス及び化学的リサイクルプロセスの両方を改善するために使用することができる。

【0066】

機械的リサイクルは、プラスチックをリサイクルするための有力な戦略であり、プラスチック廃棄物を粉砕し、溶融し、再押出しすることを伴う。リサイクル施設は、リサイクル製品において高レベルの材料性能を保持するために、高純度で選別された材料の流れを処理するように設計されることが多い。しかしながら、原料の不純物は、添加剤を含む複雑な配合、並びに材料の物理的分解のために、数サイクルの機械的リサイクルの直後であっても、リサイクルの有効性を低減させる。例えば、プラスチック材料では、ポリ乳酸（ＰＬＡ）は、ポリエチレンテレフタレート（ＰＥＴ）選別及び機械的リサイクル操作において検出されないことが多い一般的な廃プラスチックである。別の例として、塩化ポリビニル（ＰＶＣ）などの塩素化化合物は、リサイクルプロセス中に腐食性化合物が生成され、これが炭化水素出力の価値を制限するので、機械的及び化学的リサイクル操作の両方において許容されない。

【0067】

機械的リサイクルは、化学的汚染物質に対して非感受性であり、廃棄物材料の化学構造を改変することが不可能であり得る機械的分離及び再形成プロセスを使用することに部分的に起因して、混合された、複合的な、及び汚染された廃棄物流への適用可能性が制限される。システム１３０は、プラスチック及び他の材料の改善された識別及び分類を通して機械的リサイクルの有効性を改善することができ、材料のより正確な選別、したがって、より高純度の、より価値のあるリサイクル原料をもたらす。更に、システム１３０は、撮像データを使用して、添加剤及び汚染物質の存在及びタイプを検出することができ、これらの化合物が存在する材料を異なるように処理又は除去することを可能にする。

【0068】

化学的リサイクルは、廃棄物材料の化学結合をより小さな分子に破壊することによって、機械的リサイクルの制限を解決し得る。例えば、ポリマー材料の場合、化学的リサイクルは、プラスチック廃棄物原料からオリゴマー、モノマー、又は更に塩基性分子を回収する手段を提供し得る。ポリマーの場合、化学的リサイクルプロセスは、その副生成物が新しい材料のための原料にアップサイクルされ得るように、複雑なプラスチック生成物の化学組成を解重合及び解離するための操作を含み得る。化学的リサイクルの要素は、材料が一次原材料に繰り返し解離されることを可能にし得る。このようにして、機械的リサイクルの場合のように、化学構造及び材料一体性によって限られた数の物理的プロセスに限定されるのではなく、化学的リサイクルを「エンドツーエンド」プラットフォームに統合して、リサイクル可能材料の分子成分の再利用を容易にし得る。例えば、化学的リサイクルの製品は、塩基性モノマー（エチレン、アクリル酸、酪酸、ビニルなど）、原料ガス（一酸化炭素、メタン、エタンなど）、又は元素材料（硫黄、炭素など）を含み得る。単一のグループのリサイクル製品に限定される代わりに、投入廃棄物材料の分子構造に基づいて、化学反応によって廃棄物から生成することができる中間化学物質から合成することができる製品が識別され得る。そうすることで、エンドツーエンドプラットフォームは、廃棄物材料を１つ以上の目標製品に変換する化学反応スキームを生成することによって、廃棄物流を管理し得る。例えば、エンドツーエンドプラットフォームは、目標製品への廃棄物材料の化学変換のために、廃棄物原料を化学的リサイクル施設に向け得る。

【0069】

システム１３０の能力はまた、化学的リサイクルの有効性を改善することができる。例えば、システム１３０は、コンベヤベルト上の廃棄物流のハイパースペクトル画像をキャプチャし、図１の技術を使用して、どの材料が存在するかを検出する。システム１３０はまた、例えば、識別された異なるタイプの領域のサイズ及び形状、並びに存在する異なる材料の割合に基づいて、存在する異なる材料の量を推定することができる。システム１３０はまた、どの添加剤及び汚染物質が存在するかを検出することができる。廃棄物流の組成に関するこの情報から、システム１３０は、化学処理パラメータを修正又は更新して、目標製品量、終点、又は化学構造を変更することができる。これらのパラメータのうちのいくつかは、処理の条件（例えば、滞留時間、反応温度、反応圧力、又は混合速度及びパターン）並びに使用される化学薬剤（例えば、入力分子、出力分子、触媒、試薬、溶媒を含む）のタイプ及び濃度の変化を含み得る。システム１３０は、異なる入力タイプ（例えば、入力材料の異なる混合又は条件）に対する処理パラメータを指定する表、式、モデル、又は他のデータを記憶することができ、システム１３０は、記憶されたデータを使用して、必要とされる処理条件を実装するための処理機械への命令を決定することができる。このようにして、システム１３０は、廃棄物流のハイパースペクトル撮像データの分析を使用して、化学的リサイクル処理パラメータが廃棄物流の材料特性に一致するように廃棄物処理パラメータを調整することができる。監視は継続的に実行することができるので、廃棄物流中の材料の混合物が変化すると、システム１３０は、入ってくる材料の混合物に対して適切に処理パラメータを変化させる。

【0070】

図１に示す技術のリサイクルへの適用例として、カメラシステム１１０は、撮像される物体１０１としての廃棄物材料のハイパースペクトル画像をキャプチャするように構成することができる。いくつかの実装形態では、カメラシステム１１０は、コンベヤ上の廃棄物材料のハイパースペクトル画像をキャプチャするように構成される。廃棄物材料は、単一の画像内に撮像された異なるタイプ及び組成の多くの物体を含み得る。画像を処理した結果は、廃棄物材料を選別し、任意選択で廃棄物材料を機械的又は化学的に処理するための機器に対する命令を生成するために使用される。

【0071】

段階（Ａ）の間、セットアッププロセスとして、コンピュータシステム１３０は、対象の１つ以上のタイプの材料のプロファイルを生成する。異なるプロファイルは、異なるプラスチックタイプ（例えば、ＰＥ、ＰＥＴ、ＰＶＣなど）に対して生成され得る。添加剤及び汚染物質のセグメンテーション及び検出を容易にするための情報は、基本材料プロファイル又は他のプロファイルに含めることができる。例えば、本出願では、図１に示されるプロファイル１５３は、ＰＥＴのプロファイルを表し得、領域ＰＥＴをセグメント化するときに使用するスペクトル帯域のサブセットを示すことができる。プロファイル１５３はまた、異なるタイプ又は変形のＰＥＴをセグメント化するために、或いは異なるタイプの添加剤又は汚染物質を有する領域をセグメント化するためにそれぞれ使用される帯域の異なるサブセットを示してもよい。

【0072】

上述の技術を使用して、コンピュータシステム１３０は、プロファイルされる材料のインスタンスのハイパースペクトル画像を含む様々なトレーニング例１５１を処理することによって、材料のプロファイルを生成する。トレーニング例は、他のタイプのプラスチックなどの他の廃棄物材料を含む様々な他の異なる材料の存在下で識別されるターゲット材料（例えば、ＰＥＴ）を示す例を含むことができる。トレーニング例１５１は、添加剤又は汚染物質が存在する領域を有する材料の画像の少なくともいくつかの例を含むことができ、したがって、システム１３０は、どの帯域及び特性が、材料の清潔な又は純粋な領域を、様々な添加剤又は汚染物質が存在する領域から区別するかを学習することができる。

【0073】

帯域評価モジュール１５０は、処理されたハイパースペクトル画像の帯域の各々が分析されて、他のタイプの材料、特に、対象材料とともに撮像される可能性がある他のタイプのプラスチック及び他の廃棄物材料から所望の材料をセグメント化するための高精度を可能にする選択された帯域構成を生成する帯域選択プロセスを実行する。上述したように、帯域評価モジュール１５０は、複数の異なる材料タイプ及び／又は領域タイプの各々について帯域選択１５２の反復プロセスを実行することができる。異なるベースプラスチックタイプに対する領域のセグメンテーションのために、システム１３０は、主成分分析又はサポートベクターマシン（ＳＶＭ）を使用して、異なる帯域を使用して材料を識別することから生じる異なるピクセルグループ間の変化又は差を決定することができる。場合によっては、各タイプのプラスチックのピクセル強度を一緒にクラスタ化することができ、クラスタ間（例えば、クラスタの平均値間）の差を決定することができる。一般に、帯域選択分析は、異なる材料に対するピクセルグループ間の差又はマージンを最大化することを試みることができる。例えば、ＰＥ、ＰＥＴ、ＰＶＣ、及びＰＰを区別するために、帯域評価モジュール１５０は、異なるスペクトル帯域におけるピクセル強度の差を評価し、異なるプラスチックの反射強度間の最大かつ最も一貫した量の差（例えば、マージン）を提供する帯域を識別することができる。例えば、帯域評価モジュール１５０は、第１の帯域が上記の４つのプラスチックタイプの各々に対して同様の平均反射率を有するが、第２の帯域が少なくともいくつかのプラスチックタイプに対してより大きな量の反射率の差を示すことを決定してもよい。分析は、どの帯域がどの材料対を区別するのに最も効果的であるかを識別するために、対ごとに行われてもよい。様々な反復において、帯域選択モジュール１５０は、最大識別力（例えば、ピクセル強度グルーピング間の最高マージン）を有する帯域を選択し、これらの異なる組み合わせを行って合成帯域を生成することができ、合成帯域は、反復の最大数に達するまで、又はマージンが識別能力の最小閾値を満たすまで、同様に評価される。同様に、このプロセスを使用して、添加剤又は汚染物質を有するプラスチックを純粋なベースプラスチックから最もよく区別する帯域及び合成帯域を決定することができる。

【0074】

帯域選択の結果として、システム１３０は、例えば、帯域の第１のサブセットが、所望のプラスチックタイプ（例えば、ＰＥＴ）の他のプラスチック又は廃棄物材料からの最良の識別を提供すること、及び帯域の第２の異なるサブセットが、ある添加剤又は汚染物質（例えば、食品残留物としての油）をセグメント化するために最も効果的であることを決定し得る。これは、元のハイパースペクトル画像の複数の異なるスペクトル帯域からのデータを組み合わせる合成帯域の生成及び評価を含むことができる。これは、異なる材料についてのプロファイルのリポジトリをもたらし、各々が、ターゲット材料をそれが近くにある可能性が高い他の材料から区別するためにシステムが識別した最良のパラメータ及び帯域のサブセットを示す。

【0075】

図１の技術のリサイクル用途への適用を続けると、段階（Ｂ）の間、カメラシステム１１０は、廃棄物流のハイパースペクトル画像をキャプチャする。例えば、カメラシステム１１０は、選別又は他の処理への途中のコンベヤ上の廃棄物流のハイパースペクトル画像１１５を撮影する。段階（Ｃ）の間、ハイパースペクトル画像１１５は、例えば、ネットワーク１２０を使用して、カメラシステム１１０からコンピュータシステム１３０に送信される。ハイパースペクトル画像１１５は、セグメント化された画像を生成するため、画像１１５内に表される材料を識別するため、画像によって表される１つ以上の特定の材料の量を決定するため、サンプルの汚染のレベル若しくはタイプを評価するため、又は別の目的のためなど、画像を処理するための要求に関連して送信され得る。

【0076】

段階（Ｄ）の間、コンピュータシステム１３０は、ハイパースペクトル画像データ１１５において識別されるべき異なるタイプの材料のプロファイルを取り出す。プロファイル内の情報に基づいて、コンピュータシステム１３０は、帯域を選択し、及び／又は検出されるべき領域の各々の異なるタイプを識別するための画像データの合成帯域を生成する。例えば、プロファイルは、異なるプラスチックタイプに対して、また異なる添加剤及び汚染物質に対して、異なる帯域のセットを指定することができる。例えば、帯域の１つのセットは、清潔なＰＥＴ領域をセグメント化するために使用されてもよく、帯域の別のセットは、油で汚染されたＰＥＴ領域をセグメント化するために使用されてもよく、帯域の第３のセットは、特定の添加剤を有するＰＥＴの領域をセグメント化するために使用されてもよく、以下同様である。

【0077】

段階（Ｅ）の間、セグメンテーションモジュール１６０は、画像処理モジュール１４０からの処理された画像データに基づいてセグメンテーションを実行する。プラスチックリサイクルの場合、セグメント化された領域は、異なるプラスチックタイプ（例えば、ＰＥＴ、ＰＥ、ＰＶＣなど）の領域、並びに添加剤又は汚染が存在する領域（例えば、油汚染を有するＰＥ、耐ＵＶ添加剤を有するＰＥＴなど）であり得る。システム１３０は、各タイプの異なるアイテム又は領域の数をカウントすること、各領域タイプによってカバーされる面積を決定すること（例えば、異なる材料の量及び割合の指標として）など、セグメント化された結果を解釈するための更なる処理を実行することができる。

【0078】

段階（Ｆ）の間、システム１３０は、セグメンテーション結果１６０及び撮像された領域を特徴付ける他のデータを記憶する。システム１３０は、撮像された領域内の特定の物体又は領域（例えば、コンベヤ上の廃棄物材料）を、セグメンテーション分析を通して決定された材料タイプとともにマークするメタデータを記憶することができる。異なる領域の境界、並びに異なる領域タイプの面積又は割合も記憶することができる。次いで、システム１３０は、この情報を使用して、廃棄物材料を処理するための命令を生成することができる。例えば、システム１３０は、検出されたプラスチックのタイプに従って、異なるプラスチック片を異なるビン、コンベヤ、又は他のデバイスに向けるために、機械的選別マシンに情報を提供することができる。別の例として、システム１３０は、１つ以上の添加剤を有するプラスチックアイテムを識別し、それらを添加剤を有さないプラスチックから分離することができる。同様に、システム１３０は、少なくとも最小量の汚染（例えば、汚染物質が存在する少なくとも最小面積）を有するアイテムを識別し、これらのアイテムを除去して、リサイクル原料の残りの部分の汚染を回避することができる。より一般的には、システム１３０は、セグメント化されたハイパースペクトル画像データを使用して、検出された材料の様々な特性のいずれかにスコアを割り当てるなど、廃棄物材料の様々な特性を特徴付けることができる。これらのスコアに基づいて、又は潜在的に中間スコアを伴わない画像分析の直接出力として、コンピュータシステム１３０は、廃棄物材料の部分を分類するか、又は廃棄物材料のセットを全体として分類することができる。

【0079】

上述したように、セグメンテーション結果１６０、ハイパースペクトル画像１１５にセグメンテーションを適用した結果、及び／又はそれらを使用して生成された他の情報は、表示又は更なる処理のために他のデバイスに提供され得る。セグメント化された画像はまた、１つ以上の機械学習モデルのための入力を生成するために、コンピュータシステム１３０又は別のシステムによって使用されることができる。例えば、コンピュータシステム１３０は、あるセグメント化された領域のピクセル値から入力特徴値を生成し、入力特徴値を機械学習モデルに提供することができる。例えば、機械学習モデルは、プラスチックのタイプ並びに存在する添加剤及び／又は汚染物質の量及びタイプに基づいて、アイテム又はアイテムのセットをリサイクル可能であるか否かに分類するようにトレーニングされ得る。コンピュータシステム１３０は、セグメンテーションを通じて決定された領域境界を使用して、ハイパースペクトル画像１１５から、それぞれ異なる材料タイプ、異なる添加剤、又は異なる汚染物質の領域に関するデータを分離し得る。場合によっては、セグメント化された領域についてのハイパースペクトル画像データからの情報は、分類決定に関連し得る材料の更なる特性、例えば、材料の密度、厚さ、品質などを示し得る。したがって、コンピュータシステム１３０は、トレーニングされた機械学習モデルへの入力として、背景要素（例えば、コンベヤのベルト）及び対象でない他の物体を除外し、代わりに、モデルの分類決定に関連する領域のみを提供する、１つ以上の入力画像を提供することができる。提供される情報の帯域は、セグメンテーションに使用されるものとは異なっていてもよい。ある材料を他の材料から最もよく区別するスペクトル帯域は、その材料の特性を示すスペクトル帯域、又はその材料の異なる状態若しくは変化を区別するスペクトル帯域とは全く異なる場合がある。

【0080】

セグメント化されたハイパースペクトル画像データは、トレーニングされた機械学習モデル、又は手続き型若しくは規則ベースのモデルなどの他の計算方法によって処理されて、材料シグネチャ、添加剤若しくは汚染物質シグネチャ、又は化学タイプ、組成、形態、構造、若しくは純度を示す他の情報に関連する信号内のパターンを探し得る。リサイクル施設によってしばしば受け取られるような多様な可塑剤を含む異なる形態のリサイクルＰＥＴ物体など、複数の異なる添加剤、汚染物質、又は不純物を主材料に組み込んだ材料では、複数の領域タイプについてのデータを提供することができる。多くの形態のリサイクル原材料にわたって同様の特性を有するためにあまり有益でないスペクトル帯域を除外するスペクトル帯域のサブセットについての画像データを含む、対象の複数の帯域についてのデータも提供することができる。一例として、材料を分類するようにトレーニングされたＳＶＭを実装する分類器に、対象の特定の帯域についてのデータを提供し得、異なるタイプのセグメント化された領域がマークされるか、又は他の方法で示される。

【0081】

機械学習モデルを使用して、添加剤及び汚染物質などの異なる化学物質の量又は濃度を予測することができる。プラスチックを分析する場合、トレーニングデータの適切なセット及び十分なトレーニング反復を用いて、１つ以上のモデルをトレーニングして、典型的な破壊試験によって提供されるレベルに一致するか又はそれを超える精度で異なる添加剤又は汚染物質の各々の質量分率を予測することができる。次に、１つ以上のセグメント化された領域内のハイパースペクトルデータに基づいて、モデルに入力を提供することができ、その結果、モデルは、モデルが予測するようにトレーニングされた１つ以上の化学物質の含有量の予測（例えば、推論又は推定）レベルを示す出力を生成する。例えば、異なるモデルは各々、異なる添加剤又は汚染物質についての質量分率を示す回帰出力（例えば、数値）を提供することができる。別の例として、モデルは、存在する化学物質の量（例えば、グラム、モル、又は他の適切な単位で）の推定値を生成することができ、これは、化学物質が存在する領域の量、濃度を示すスペクトル特性、及び領域にわたる濃度の変動などによって示すことができる。別の例として、モデルは、存在する化学物質の量又は濃度に基づいて物体又は領域を分類すること（例えば、第１の濃度範囲に第１の分類を割り当て、第２の濃度範囲に第２の分類を割り当てることなど）ができる。予測において出力される測定値のタイプは、モデルのトレーニングにおいてグラウンドトゥルースラベルとして使用される同じタイプであり得る。

【0082】

異なる分類器は、異なるスペクトル帯域からの情報に基づいて、及び異なるセグメント化された領域タイプに基づいて、異なる化学特性を予測するようにトレーニングされることができる。例えば、第１の分類器は、第１の汚染物質について存在する量又は濃度を予測するように構成することができる。第１の分類器に提供される入力は、第１の汚染物質が存在するものとしてセグメント化された領域から導出することができ、そのセグメント化された領域では、スペクトル帯域の所定のセット（例えば、帯域１、２、３、４）のデータのみが、第１の分類器への入力を生成するために使用される。第２の分類器は、第２の汚染物質について存在する量又は濃度を予測するように構成することができる。第２の分類器に提供される入力は、第２の汚染物質が存在するとしてセグメント化された領域から導出することができ、そのセグメント化された領域では、スペクトル帯域の第２の所定のセット（例えば、帯域１、３、５、７）のデータのみが、第２の分類器への入力を生成するために使用される。したがって、異なる汚染物質、添加剤、及び他の化学物質は、評価される化学物質に最も関連する特定のスペクトル帯域を使用し、最も関連するセグメント化された空間領域に焦点を当てた入力を使用するモデルを用いて予測することができる。

【0083】

場合によっては、機械学習モデルに提供される入力は、画像データ自体をモデルに提供することなく、セグメント化された画像から導出することができる。例としては、１つの領域タイプとして分類されたピクセルの数の、別の領域タイプとして分類されたピクセルに対する比（例えば、非プラスチックを示すピクセルに対するプラスチックを示すピクセルの量、ＰＥを表すピクセルに対するＰＥＴを表すピクセルの比、汚染されたＰＥＴを表すピクセルの量に対する清潔なＰＥＴのピクセルの量）、ある領域タイプとしてセグメント化されたピクセルの平均強度（潜在的には様々なスペクトル帯域の各々に対する）、及びある領域タイプとしてセグメント化されたピクセルの強度の分布が挙げられる。機械学習モデルのいずれかの出力は、システム１３０によって使用されて、廃棄物材料を選別及び処理するための機械を制御することができる。例えば、これは、分類を示すメタデータでアイテムをラベル付けすることによって、又は命令を生成し、それらを選別デバイスに送信して、特定のアイテムを指定された方法で操作することによって行われ得る。

【0084】

いくつかの実施形態では、撮像及び分析される廃棄物材料は、ポリマー、プラスチック、プラスチック含有複合材料、非プラスチック、リグノセルロース系材料、金属、ガラス、及び／又は希土類材料を含み得るが、これらに限定されない。ポリマー材料及びプラスチック材料は、１つ以上の重合プロセスによって形成される材料を含み得、高度に架橋されたポリマー並びに線状ポリマーを含み得る。場合によっては、廃棄物材料は、添加剤又は汚染物質を含み得る。例えば、プラスチック材料は、例えば、所望の特性を付与するか、又は形成特性を促進するために、可塑剤、難燃性材料、耐衝撃性改良剤、レオロジー改良剤、又は廃棄物材料１１１に含まれる他の添加剤を含み得る。場合によっては、廃棄物材料は、広範囲の化学的リサイクルプロセスに適合しない場合がある構成化学物質又は元素を組み込むことがあり、したがって、特徴付けデータ１１３は、そのような化学物質に固有の情報を含むことがある。例えば、ハロゲン又は硫黄含有ポリマーの分解は、腐食性副生成物を生成する場合があり、これは、そのような元素を含む廃棄物材料の化学的リサイクルを阻害又は損なう場合がある。ハロゲン成分を含有する廃棄物材料の一例は、塩化ポリビニル（ＰＶＣ）である。例えば、ＰＶＣの分解は、腐食性副生成物として作用し得る塩素含有化合物を生成し得る。

【0085】

図２は、プロファイル１５３によって指定された帯域構成に基づく領域タイプのセグメンテーションを示す例示的な図である。図２は、図１の例に続く追加の詳細を提供し、イチゴが撮像される物体１０１であり、プロファイル１５３は、イチゴ内の異なる領域タイプをセグメント化するために使用される帯域のサブセットを指定するために既に定義されている。ここで、プロファイルは、各々がハイパースペクトル画像１１５の２つ以上の帯域の画像データから導出される、成分Ａ、Ｂ、及びＣとラベル付けされた、セグメンテーションで使用するために作成する３つの異なる複合画像又は合成画像を指定する。当然ながら、プロファイルは、複数の帯域を組み合わせる画像を指定するために必要とされず、代わりに、場合によっては、画像データがセグメンテーションモジュール１６０に渡されるべきハイパースペクトル画像１１５から選択された元の帯域を単に指定してもよい。プロファイル１５３によって指示されるように、画像処理モジュール１４０は、様々な複合画像２２０ａ～２２０ｃを生成し、これらの合成画像は、セグメンテーション結果（例えば、異なる領域タイプに対応すると判定された領域又は領域の境界）を示すマスク２３０ａ～２３０ｃを生成するためにセグメンテーションモジュールによって使用される。マスクは、次いで、ハイパースペクトル画像の異なる帯域に対する画像の一部又は全部に適用されることができる。

【0086】

システム１００は、異なる組成、構造、又は他の特性を有する領域が、異なる波長の光に対して非常に異なる応答を有し得るという事実を利用する。言い換えれば、異なるタイプの２つの異なる領域（例えば、種子対葉）は、それぞれ、異なる帯域について光を強く反射し得る。例えば、第１の帯域は、第１の領域タイプ（例えば、種子）によって大部分が吸収され得るが、第２の領域タイプ（例えば、葉）によってはるかに強く反射され、第２の領域タイプ（例えば、葉）をセグメント化するときに使用するのに良好な帯域になる。この例では、光の第１の帯域についてキャプチャされた強度値を示す画像データにおいてキャプチャされた異なる反射率特性は、第１のタイプの領域を少なくとも部分的に縮小又は除去する傾向があり、第２の領域タイプにより強く対応する信号を残す。異なる帯域は、第１の領域タイプが第２の領域タイプよりも高い反射率を有する場合、反対のことを示し得る。しかしながら、多くの場合、２つの領域タイプの差分反射率のレベルは、図示されているほど明確ではない。特に、異なるタイプの領域は、単一のスペクトル帯域のみに基づいて効果的に区別することができない場合がある。

【0087】

帯域評価モジュール１４０は、ハイパースペクトル画像１１５を入力として受信し、プロファイル１５３を使用して、３つの異なる領域タイプの各々に使用する帯域構成を決定する。例えば、帯域評価モジュール１４０は、３つの複合画像２２０ａ～２２０ｃを生成する。果肉及び種子は、（帯域１＋帯域３）／（帯域１－帯域３）によって生成される複合画像Ａによって最も顕著に示され、イチゴの種子は、複合画像Ｂ（帯域１＋帯域３）において最も顕著に示され、（帯域１－帯域３）／（帯域１／帯域５）の帯域構成でイチゴの葉が最も顕著に示される。これらの各々において、帯域への参照は、その帯域についての画像データを参照し、その結果、例えば、「帯域１＋帯域３」は、帯域１及び帯域３の両方についての画像データの和を表す（例えば、帯域１画像における各ピクセルについてのピクセル強度値を、帯域３についての画像についての対応するピクセル強度値と合計する）。プロファイル１５３は、異なる領域タイプを最もよく強調する異なる帯域についての画像データの変換及び集約を指定することができ、より詳細には、セグメンテーションのために境界をより明確にするために異なる領域タイプ間の差を強調することができる。

【0088】

セグメンテーションモジュール１６０はまた、プロファイル１５３から、異なる領域タイプをセグメント化するためにどの帯域又はそれらの組み合わせを使用すべきか、及び異なる領域タイプのためにどの他のパラメータを使用すべきか（例えば、閾値、どのアルゴリズム又はモデルを使用すべきかなど）の指示などの情報を受信する。セグメンテーションモジュール１６０は、セグメンテーション動作を実行し、対象領域タイプごとにマスク２３０ａ～２３０ｃを決定することができる。領域タイプに対する各マスクは、その領域タイプに対応する領域を識別する（例えば、その領域タイプを描写するものとして分類されるピクセルを指定する）。マスク２３０ａに見られるように、セグメンテーションプロセスは、イチゴの果肉が明確に識別されて示される領域を残して、種子、葉、及び背景を除去することができる。次に、マスク２３０ａ～２３０ｃは各々、ハイパースペクトル画像１１５内の画像のいずれか又は全てに適用されて、セグメント化された画像、例えば、それぞれの帯域に対する強度値の変動を示すが、データを所望の領域タイプに対応する画像データに制限する画像２４０ａ～２４０ｃを生成することができる。

【0089】

上述したように、セグメンテーション結果は、形状、サイズ、割合、又は他の特性が所定の基準を満たすか否かを判定するなど、物体１０１を評価するために使用することができる。セグメント化された領域はまた、他の特性を決定するために、機械学習モデルによるものを含む分析のために提供され得る。例えば、特定の領域タイプに対応する領域を分離すると、システムは、その領域タイプの領域を使用して実行されるべき分析プロセスを制限することができる。例えば、イチゴの化学組成（例えば、ブリックス度又は他の単位での糖度）の分析は、イチゴの果肉に対応するものとして識別されたピクセルのセットに基づき、考慮される場合に結果を歪める種子、葉、又は背景に対応するピクセルを除外することができる。ハイパースペクトル画像１１５の１つ以上のスペクトル帯域の各々の画像データについて、イチゴの果肉領域タイプに対応するピクセルに関する情報は、イチゴの糖度又は他の特性に関する推定を行う機械学習モデルに提供される。同様に、セグメント化されたデータを使用して、完熟度、全体的な品質、予想される貯蔵寿命などの他の特性を評価し得る。

【0090】

セグメンテーションに使用されるスペクトル帯域は、後続の分析に使用されるスペクトル帯域とは異なっていてもよい。例えば、果肉と種子を区別するためのセグメンテーションは、帯域１及び帯域２の画像データを使用し得る。次に、セグメンテーション結果は、糖度などの化学特性を示す帯域３、及び含水量を示す帯域４の画像データに適用されてもよい。一般に、この手法は、対象領域タイプを最も正確に区別する帯域（複数可）の画像データを使用して、各領域タイプをセグメント化することを可能にする。対象の任意の特性（例えば、異なる化学物質の存在又は濃度、表面特徴、構造特性、テクスチャなど）の分析は、評価されるべき特性の画像データを最もよく提供する帯域のセットにかかわらず、そのセグメンテーションから利益を得ることができる。

【0091】

図３は、セグメンテーションプロファイルを指定するために異なる帯域構成を反復的に選択する例を示す例示的なプロセス図である。前述したように、ハイパースペクトル画像は複数の２Ｄ画像を含み、各２Ｄ画像は、異なる波長帯域について測定された反射率を表す。簡単にするために、図３の例は、３つの帯域、帯域１、帯域２及び帯域３のみについての画像データを有するハイパースペクトル画像３０１を使用するが、多くの実装形態では、より多くの帯域が使用される。更に、図３の例は、単一物体タイプの単一領域タイプに対して使用する帯域構成を選択するための分析を示している。同じプロセスが、複数の領域タイプの各々について、及び様々な異なる物体タイプの各々について実行され得る。

【0092】

いくつかの実装形態では、選択プロセスの第１の反復において、システムは、ソースハイパースペクトル画像３０１内の個々の帯域ごとに画像データを評価し、所望の領域タイプがその帯域からどの程度良好にセグメント化され得るかを決定することができる。例えば、ハイパースペクトル画像３０１の各画像３０２～３０４は、セグメンテーション結果３０５～３０７を生成するために適用されたセグメンテーションを有する。スコアリングモジュールは、各帯域の画像に基づくセグメンテーション結果を、領域に対するセグメンテーショングラウンドトゥルースと比較し、特定の帯域に対するセグメンテーションの性能を表すスコア３１２～３１４を生成する。例えば、ハイパースペクトル画像３０１の帯域１画像３０２は、セグメンテーションモジュール１６０への入力として提供される。セグメンテーションモジュール１６０は、帯域１画像３０２の処理に基づいてセグメンテーションを実行し、セグメンテーション結果３０５を生成する。スコアリングモジュール３０８は、セグメンテーション結果３０５をグラウンドトゥルースセグメンテーション３１０と比較し、９５％の精度を示すスコア３１２を生成する。ハイパースペクトル画像３０１内の他の帯域の各々を評価するために同じプロセスを行うことができる。

【0093】

次に、システムは、それぞれの帯域についてスコア３１２～３１４（例えば、セグメンテーション精度スコア）を比較して、最高精度を示すものを選択する。例えば、所定数の帯域を選択することができ（例えば、最高スコアを有するｎ個の帯域）、又は閾値を適用する（例えば、８０％を超える精度を有する帯域を選択する）ことができる。次いで、選択された帯域は、帯域の潜在的な組み合わせを評価するために、選択プロセスの第２の反復において使用される。

【0094】

第２の選択反復に対して、システムは、試験する帯域の新しい組み合わせを生成する。これは、異なる関数（例えば、異なる帯域の対の画像の和、差、積、商、最大値、最小値など）を使用して、第１の反復で選択された帯域の異なる対を組み合わせることを含むことができる。これにより、選択された帯域をセグメンテーションにおける候補としての特定の関数と組み合わせる合成画像又は複合画像が得られる。例えば、反復１の間、ハイパースペクトル画像３０１の帯域１及び帯域３は、最高精度スコア３１２及び３３２を有するこれらの帯域に基づいて選択された。第２の反復では、これら２つの帯域の画像データが異なる方法で組み合わされて、新しい複合画像又は集約画像が生成される。選択された帯域１及び帯域３は、３つの新しい画像、すなわち、（１）帯域１＋帯域３、（２）帯域１－帯域３、及び（３）帯域１／帯域３を形成するために組み合わされる。これら３つの新しい帯域の組み合わせから得られる画像は、画像コレクション３５１を構成する。

【0095】

第２の反復は、反復１と同じステップを画像コレクション３５１内の画像に対して実行し、例えば、各画像を用いてセグメンテーションを実行し、セグメンテーション結果をグラウンドトゥルースセグメンテーション３１０と比較し、セグメンテーションの精度のスコアを生成し、スコアを比較し、最終的に、最良の精度を提供する画像コレクション３５１から画像３５２～３５４のサブセットを選択する。例えば、反復２の間、画像コレクション３５１内の画像は各々、反復１について説明したのと同じセグメンテーション及び選択プロセスを受ける。例えば、画像３５２（帯域１の画像データと帯域３の画像データとを加算することによって形成される）は、セグメンテーションモジュール１６０への入力として提供される。セグメンテーションモジュール１６０は、セグメンテーションを実行し、この帯域組み合わせ（帯域１＋帯域３）についてのセグメンテーション結果３５５を生成する。スコアリングモジュール３０８は、セグメンテーション結果３５５をグラウンドトゥルース３１０と比較し、９６％の精度を示すスコア３２２を生成する。帯域１及び帯域３からのデータを組み合わせるために使用される異なる演算子を用いて生成された他の画像の各々について、セグメンテーション結果及びスコアが決定される。次に、システムは、セグメンテーションの最良の精度を提供する帯域構成（複数可）を選択する。

【0096】

プロセスは、必要に応じて、例えば、各反復において達成される最高精度が少なくとも閾値量だけ増加する限り、反復の最大数に達するまで、精度の最小レベルに達するまで、候補帯域組み合わせが動作若しくは帯域の最大数に達するまで、又は別の条件に達するまで、追加の反復のために継続することができる。様々な反復にわたる最高精度の帯域が選択され、評価されている領域タイプ及び物体タイプのプロファイルに追加される。これは、ハイパースペクトル画像３０１の元の帯域のサブセット、及び／又は特定の合成帯域、例えば、特定の演算子又は関数と組み合わされた帯域のサブセットを指定することを含むことができる。

【0097】

図４は、帯域選択及びハイパースペクトル画像セグメンテーションのためのプロセス４００の一例を示すフロー図である。プロセス４００は反復プロセスであり、対象領域の各々について、終了基準が満たされるまでプロセスが複数回反復される。各反復中に、プロセス４００は、ハイパースペクトル画像のセグメンテーションを実行し、セグメンテーションの実行に基づいて帯域のセットを選択し、帯域のセット内の帯域を組み合わせて新しい帯域を生成し、新しい帯域を有する新しいハイパースペクトル画像を生成する。簡潔に言えば、プロセス４００は、複数の波長帯域を含むハイパースペクトル画像データにアクセスすることを含む。ハイパースペクトル画像データに基づいて、波長帯域の複数の異なる組み合わせの各々について画像データを生成する。生成された画像データセットの各々に対してセグメンテーションを実行して、波長帯域の複数の異なる組み合わせの各々に対するセグメンテーション結果を取得する。波長帯域の複数の異なる組み合わせに対するそれぞれのセグメンテーション結果に対する精度尺度を決定する。精度尺度に基づいて波長帯域の組み合わせのうちの１つを選択する。波長帯域の選択された組み合わせを示す出力を提供する。

【0098】

より詳細には、異なる波長帯域を有する複数の画像を含むハイパースペクトル画像データが取得される（４１０）。前述したように、ハイパースペクトル画像は３つの次元ｘ、ｙ及びｚを有し、ｘ、ｙは空間次元を表し、ｚはスペクトル／波長帯域の数を表す。１つの解釈において、ハイパースペクトル画像は複数の２次元画像を含み、各２次元画像はｘ、ｙ空間次元によって表され、２次元画像の各々はｚによって表される異なるスペクトル／波長帯域を有する。ほとんどのハイパースペクトル画像は、撮像技術に応じて、数百又は場合によっては数千の帯域を有する。例えば、カメラシステム１１０は、Ｎ個の画像を含むハイパースペクトル画像１１５を撮影し、画像の各々は、異なる波長帯域からのデータを表す。

【0099】

複数の領域タイプの各々について、プロセス４００は、ハイパースペクトル画像のセグメンテーションを実行し、セグメンテーション結果を生成する（４２０）。前述したように、ハイパースペクトル画像は、異なる波長帯域を有する複数の画像を含む。ハイパースペクトル画像の特定の波長帯域を有する各画像は、セグメンテーションを受ける。例えば、反復１の間、画像３０１は、異なる波長帯域についての３つの画像３０２、３０３、３０４を含み、これらは、セグメンテーションモジュール１６０への入力として提供される。各画像を特定の波長でセグメンテーションすると、セグメンテーション結果が生成される。例えば、画像３０２のセグメンテーションは、セグメンテーション結果３０５を生成する。同様に、画像３０３及び３０４のセグメンテーションは、それぞれセグメンテーション結果３０６及び３０７を生成する。

【0100】

セグメンテーション結果は、性能スコアを生成するためにグラウンドトゥルースセグメンテーションと比較される（４３０）。例えば、スコアリングモジュール３０８は、帯域１を有する画像３０２のセグメンテーションの精度を生成するために、画像３０２のセグメンテーション結果３０５をグラウンドトゥルースセグメンテーションと比較する。同様に、スコアリングモジュール３０８は、セグメンテーション結果３０６及び３０７をセグメンテーショングラウンドトゥルース３１０と比較して、精度３２２及び３３２を生成する。

【0101】

任意の帯域におけるハイパースペクトル画像のセグメンテーションの精度が、所望の基準と比較される（４４０）。例えば、ユーザが９９％のセグメンテーション精度を望むが、特定の反復に対する帯域におけるセグメンテーションの最高精度が９９％以上ではない場合、プロセス４００は、最高精度を有する帯域の中から選択プロセスを実行する。しかしながら、帯域のいずれかにおけるセグメンテーションの最高精度が所望の基準を満たす場合、プロセス４００は、その帯域を出力として提供する。

【0102】

波長帯域のセグメンテーション精度が所望の基準を満たさない場合、プロセス４００は、特定の性能スコアを有する帯域の中から複数の異なる帯域を選択し、複数の異なる帯域を使用して新しい波長帯域を生成する（４５０）。例えば、反復１中の異なる帯域を有する３つの画像３０２、３０３、及び３０４のセグメンテーションは、９５％、７０％、及び９８％の精度スコアを生成し、それによって９９％の所望の基準を満たさない。プロセス４５０は、それらの高精度に基づいて帯域１及び帯域３を選択し、新しい帯域３５２、３５３、及び３５４を生成する。これらの３つの新しい帯域は、反復２において新しいハイパースペクトル画像３５１を形成する。

【0103】

本明細書に記載のシステム及び技術の様々な実装形態は、デジタル電子回路、集積回路、特別に設計されたＡＳＩＣ（特定用途向け集積回路）、コンピュータハードウェア、ファームウェア、ソフトウェア、及び／又はそれらの組み合わせにおいて実現され得る。これらの様々な実装形態は、少なくとも１つのプログラマブルプロセッサを含むプログラマブルシステム上で実行可能及び／又は解釈可能な１つ以上のコンピュータプログラム内での実装形態を含むことができ、少なくとも１つのプログラマブルプロセッサは、専用であっても又は汎用であってもよく、データ及び命令をストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスから受信し、かつデータ及び命令をストレージシステム、少なくとも１つの入力デバイス、及び少なくとも１つの出力デバイスに送信するように結合されている。

【0104】

これらのコンピュータプログラム（プログラム、ソフトウェア、ソフトウェアアプリケーション又はコードとしても知られる）は、プログラマブルプロセッサ用の機械命令を含み、高レベル手続き型及び／又はオブジェクト指向プログラミング言語で、及び／又はアセンブリ言語／機械語で実装することができる。本明細書で使用される場合、「機械可読媒体」「コンピュータ可読媒体」という用語は、機械命令及び／又はデータをプログラマブルプロセッサに提供するために使用される任意のコンピュータプログラム製品、装置及び／又はデバイス（例えば、磁気ディスク、光ディスク、メモリ、プログラマブルロジックデバイス（ＰＬＤ））を指し、機械命令を機械可読信号として受信する機械可読媒体を含む。「機械可読信号」という用語は、プログラマブルプロセッサに機械命令及び／又はデータを提供するために使用される任意の信号を指す。

【0105】

ユーザとの対話を提供するために、ここで説明するシステム及び技術は、ユーザに情報を表示するためのディスプレイデバイス（例えば、ＣＲＴ（cathode ray tube）（陰極線管）又はＬＣＤ（liquid crystal display）（液晶ディスプレイ）モニタ）と、ユーザがコンピュータに入力を提供することができるキーボード及びポインティングデバイス（例えば、マウス若しくはトラックボール）とを有するコンピュータ上に実装され得る。他の種類のデバイスが、ユーザとの相互作用を提供するために同様に使用され得、例えば、ユーザに提供されるフィードバックは、任意の形態の感覚フィードバック（例えば、視覚フィードバック、聴覚フィードバック、又は触覚フィードバック）とすることができ、ユーザからの入力は、音響、音声、又は触覚入力を含む任意の形態で受信することができる。

【0106】

本明細書で説明するシステム及び技術は、（例えば、データサーバとしての）バックエンドコンポーネントを含む、又はミドルウェアコンポーネント（例えば、アプリケーションサーバ）を含む、又はフロントエンドコンポーネント（例えば、ユーザが本明細書に記載のシステム及び技術の実装と対話することができるグラフィカルユーザインターフェース又はウェブブラウザを有するクライアントコンピュータ）を含む、又はそのようなバックエンド、ミドルウェア、若しくはフロントエンドコンポーネントの任意の組み合わせを含むコンピューティングシステムで実装されることができる。システムの構成要素は、デジタルデータ通信の任意の形態又は媒体（例えば、通信ネットワーク）によって相互接続することができる。通信ネットワークの例としては、ローカルエリアネットワーク（local area network、「ＬＡＮ」）、ワイドエリアネットワーク（wide area network、「ＷＡＮ」）、ピアツーピアネットワーク（アドホック又はスタティックメンバを有する）、グリッドコンピューティングインフラストラクチャ、及びインターネットが挙げられる。

【0107】

コンピューティングシステムは、クライアント及びサーバを含むことができる。クライアント及びサーバは概して互いに離れており、典型的には通信ネットワークを介して対話する。クライアント及びサーバの関係は、それぞれのコンピュータ上で実行され、互いにクライアント－サーバ関係を有するコンピュータプログラムによって生じる。

【0108】

いくつかの実装形態について記載してきた。それにもかかわらず、様々な変更が行われ得ることが理解されよう。例えば、上で示されたフローの様々な形態は、ステップが再順序付けされ、追加され、又は除去されて使用され得る。また、メディア共有に対するインセンティブを提供するいくつかのアプリケーション及び方法について説明してきたが、多数の他のアプリケーションが企図されることを認識されたい。したがって、他の実装形態は、以下の特許請求の範囲の範囲内にある。

【図1】

【図2】

【図3】

【図4】

【国際調査報告】