特許 6704052 マルチモダリティ鉱物質セグメント化システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6704052

(24)【登録日】2020年5月13日

(45)【発行日】2020年6月3日

(54)【発明の名称】マルチモダリティ鉱物質セグメント化システムおよび方法

(51)【国際特許分類】

   H01J 37/22 20060101AFI20200525BHJP

   G01N 23/2252 20180101ALI20200525BHJP

   G01N 23/046 20180101ALI20200525BHJP

   G01N 23/087 20060101ALI20200525BHJP

   G01N 23/2255 20180101ALI20200525BHJP

   H01J 37/317 20060101ALI20200525BHJP

   H01J 37/28 20060101ALI20200525BHJP

   H01J 37/252 20060101ALI20200525BHJP

   H01J 37/244 20060101ALI20200525BHJP

   G06T 7/00 20170101ALI20200525BHJP

   G06T 7/143 20170101ALI20200525BHJP

【ＦＩ】

   H01J37/22 502H

   G01N23/2252

   G01N23/046

   G01N23/087

   G01N23/2255

   H01J37/317 D

   H01J37/28 B

   H01J37/252 A

   H01J37/244

   G06T7/00 350C

   G06T7/143

【請求項の数】19

【全頁数】19

(21)【出願番号】特願2018-536138(P2018-536138)

(86)(22)【出願日】2016年1月11日

(65)【公表番号】特表2019-504452(P2019-504452A)

(43)【公表日】2019年2月14日

(86)【国際出願番号】US2016012864

(87)【国際公開番号】WO2017123196

(87)【国際公開日】20170720

【審査請求日】2018年11月28日

(73)【特許権者】

【識別番号】515063079

【氏名又は名称】カール・ツァイス・エックス−レイ・マイクロスコピー・インコーポレイテッド

【氏名又は名称原語表記】ＣＡＲＬ ＺＥＩＳＳ Ｘ−ＲＡＹ ＭＩＣＲＯＳＣＯＰＹ， ＩＮＣ．

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】バティプロル，スリーニバス・ナガ

(72)【発明者】

【氏名】ウェイト，トム

【審査官】 小林 直暉

(56)【参考文献】

【文献】 米国特許出願公開第２０１３／００９４７１６（ＵＳ，Ａ１）

【文献】 Nurdan Akhan Baykan, Nihat Ylmaz，Mineral identification using color spaces and artificial neural networks，Computer & Geosciences，２０１０年，Vol.36，pages 91-97

【文献】 Allan A. Nielsen et al.，SEMI-AUTOMATIC SUPERVISED CLASSIFICATION OF MINERALS FROM X-RAY MAPPING IMAGES，Proceedings of the Fourth Annual Conference of the International Association for Mathematical Geology，１９９８年，ＵＲＬ，psu.edu/viewdoc/summary?doi=10.1.1.136.2303

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０１Ｊ３７／３０−４９／４８

(57)【特許請求の範囲】

【請求項1】

マルチモダリティ・イメージング・システムのための試料の鉱物質セグメント化方法であって、前記マルチモダリティ・イメージング・システムは、異なるデータセットを互いに位置合わせして、前記試料のボリュームデータセットを表現するように構成されており、前記方法は、
前記試料の１つまたは複数の画像データセットを生成するステップと、
前記１つまたは複数の画像データセットの少なくとも一部分をカバーする１つまたは複数の鉱物マップを作成するステップと、
前記１つまたは複数の画像データセット内の鉱物に関連付けられる領域を識別し、ラベル付けするために、前記１つまたは複数の画像データセットに前記１つまたは複数の鉱物マップをマスクとして適用するステップと、
特徴生成器を介して前記ラベル付き領域から特徴ベクトルを抽出するステップと、
前記特徴ベクトルの挙動情報を学習するために、前記抽出された特徴ベクトルに対して機械学習訓練アルゴリズムを実行するステップと、
前記試料内の前記鉱物を分類する前記試料のセグメント化画像表現を構築するために、前記機械学習訓練アルゴリズムから学習されている前記挙動情報を前記１つまたは複数の画像データセットに適用するステップとを含み、
前記特徴ベクトルは、前記１つまたは複数の画像データセットに特徴生成器を適用することにより導出される特徴値の配列である、方法。

【請求項2】

前記試料内の前記鉱物を識別するために、エネルギー分散型Ｘ線分光法を使用して、前記鉱物マップが作成される、請求項１に記載の方法。

【請求項3】

特徴生成器を介して前記ラベル付き領域から特徴ベクトルを抽出するステップは、前記特徴ベクトルを抽出するために、特徴抽出エンジンが、前記特徴生成器を使用するコンピュータシステム上で実行することを含む、請求項１に記載の方法。

【請求項4】

前記特徴生成器は、ガボールフィルタを含む、請求項３に記載の方法。

【請求項5】

前記抽出された特徴ベクトルに対して機械学習訓練アルゴリズムを実行するステップは、機械学習エンジンが、前記特徴抽出エンジンによって渡される前記抽出された特徴ベクトルを受け入れ、前記抽出された特徴ベクトルに対して前記機械学習訓練アルゴリズムを実行するコンピュータシステム上で実行することを含む、請求項１に記載の方法。

【請求項6】

前記機械学習訓練アルゴリズムは、ランダムフォレスト機械学習訓練アルゴリズムを含む、請求項１に記載の方法。

【請求項7】

前記試料の１つまたは複数の画像データセットを生成するステップは、前記１つまたは複数の画像データセットとして前記試料の１つまたは複数のＸ線ボリュームデータセットを生成することを含む、請求項１に記載の方法。

【請求項8】

異なるＸ線エネルギーを使用して前記試料の前記１つまたは複数のＸ線ボリュームデータセットを生成するステップをさらに含む、請求項７に記載の方法。

【請求項9】

前記１つまたは複数の画像データセットに前記１つまたは複数の鉱物マップをマスクとして適用するステップは、前記１つまたは複数の画像データセット内の鉱物に関連付けられる領域を識別し、ラベル付けするために、前記１つまたは複数の鉱物マップを使用することを含む、請求項１に記載の方法。

【請求項10】

前記画像データセットの少なくとも１つはＸ線ボリュームデータセットであり、前記試料の前記セグメント化画像表現は、セグメント化Ｘ線ボリュームデータセットである、請求項１に記載の方法。

【請求項11】

前記試料の１つまたは複数の画像データセットを生成するステップは、前記マルチモダリティ・イメージング・システムの集束イオンビーム走査電子顕微鏡（ＦＩＢ−ＳＥＭ）イメージング・分析システムを使用して、１つまたは複数の画像データセットとして前記試料の１つまたは複数のＦＩＢ−ＳＥＭボリュームデータセットを生成することを含む、請求項１に記載の方法。

【請求項12】

前記ＦＩＢ−ＳＥＭイメージング・分析システムの後方散乱電子モードおよび／または二次電子モードを使用して、前記試料の前記１つまたは複数のＦＩＢ−ＳＥＭボリュームデータセットを生成するステップをさらに含む、請求項１１に記載の方法。

【請求項13】

前記画像データセットの少なくとも１つはＦＩＢ−ＳＥＭボリュームデータセットであり、前記試料の前記セグメント化画像表現は、セグメント化ＦＩＢ−ＳＥＭボリュームデータセットである、請求項１に記載の方法。

【請求項14】

前記試料の１つまたは複数の画像データセットを生成するステップは、前記マルチモダリティ・イメージング・システムの集束イオンビーム走査電子顕微鏡（ＦＩＢ−ＳＥＭ）イメージング・分析システムを使用して、１つまたは複数の画像データセットとして前記試料の１つまたは複数のＦＩＢ−ＳＥＭデータセットを生成することを含む、請求項１に記載の方法。

【請求項15】

前記ＦＩＢ−ＳＥＭイメージング・分析システムの後方散乱電子モードおよび／または二次電子モードを使用して、前記試料の前記画像データセットとして１つまたは複数の２Ｄ画像を生成するステップをさらに含む、請求項１４に記載の方法。

【請求項16】

試料の鉱物をセグメント化するためのマルチモダリティ・イメージング・システムであって、前記マルチモダリティ・イメージング・システムは、異なるデータセットを互いに位置合わせして、前記試料のボリュームデータセットを表現するように構成されており、前記システムは、
前記試料の１つまたは複数の画像データセットを生成するイメージングシステムと、
前記試料内の前記鉱物を識別する１つまたは複数の鉱物マップを作成するエネルギー分散Ｘ線分光法システムと、
前記１つまたは複数の画像データセット内の鉱物に関連付けられる領域を識別し、ラベル付けするために、前記１つまたは複数の画像データセットに前記１つまたは複数の鉱物マップをマスクとして適用し、前記ラベル付き領域から特徴ベクトルを抽出する特徴抽出エンジンを利用し、前記特徴ベクトルの挙動情報を学習するために、前記抽出された特徴ベクトルに対して機械学習訓練アルゴリズムを実行する機械学習エンジンを利用し、前記試料内の前記鉱物を分類する前記試料のセグメント化画像表現を構築するために、前記機械学習訓練アルゴリズムから学習されている前記挙動情報を前記１つまたは複数の画像データセットに適用するコンピュータシステムとを備え、
前記特徴ベクトルは、前記１つまたは複数の画像データセットに特徴生成器を適用することにより導出される特徴値の配列である、システム。

【請求項17】

前記イメージングシステムは、前記試料の前記画像データセットとして前記試料の１つまたは複数のＸ線ボリュームデータセットを生成する、請求項１６に記載のシステム。

【請求項18】

前記イメージングシステムは、前記試料の前記画像データセットとして、前記試料の１つまたは複数のＦＩＢ−ＳＥＭボリュームデータセットを生成する集束イオンビーム走査電子顕微鏡（ＦＩＢ−ＳＥＭ）イメージングシステムを含む、請求項１６に記載のシステム。

【請求項19】

前記イメージングシステムは、前記試料の前記画像データセットとして、前記試料の１つまたは複数の２Ｄ画像を生成する集束イオンビーム走査電子顕微鏡（ＦＩＢ−ＳＥＭ）を含む、請求項１６に記載のシステム。

【発明の詳細な説明】

【背景技術】

【0001】

２次元（２Ｄ）および３次元（３Ｄ）の両方において、岩石の鉱物含量を識別および視覚化するために、様々なイメージングモダリティが使用されている。例えば、これらのイメージングモダリティは、石油およびガス採取作業からの岩石試料を分析して、探査および生産作業中に得られる試料の流れおよび機械的特性をモデル化するために、多孔性および鉱物質を決定することができる。一般に、これらのイメージングモダリティは、破壊的技術および非破壊的技術として特徴付けられる。さらに、一部のモダリティは表面特徴のみを分析し、一方で、他のモダリティは３次元構造を分析することができる。

【0002】

典型的な作業では、これらのイメージングモダリティは、３Ｄボリュームまたは２Ｄ画像などの画像データセットを作成する。次いで、画像分析技術を使用して、種々のイメージングモダリティによって作成されるボリュームおよび画像から鉱物含量が推測される。

【0003】

非破壊的イメージングシステムには、Ｘ線コンピュータ断層撮影（ＣＴ）顕微鏡システムおよび走査電子顕微鏡（ＳＥＭ）システムが含まれる。これらのシステムは、試料中の細孔、有機物、および鉱物などの特徴を視覚化する能力を提供する。

【0004】

Ｘ線ＣＴ顕微鏡システムは、典型的には１〜数百ｋｅＶの範囲のＸ線を試料に照射する。２Ｄ投影画像が複数の角度において収集され、投影から試料の３Ｄボリュームが再構成される。ＣＴ強度は鉱物密度と相関するが、Ｘ線ＣＴ顕微鏡システムでは鉱物質を特定する直接の方法はない。

【0005】

ＳＥＭシステムは代わりに、典型的には５００ｅＶと３０ｋｅＶとの間の高エネルギー電子のビームを試料表面に照射する。電子と試料との相互作用から導出される信号が、試料表面の高分解能２Ｄ画像を構築する際に使用される。これにより、後方散乱電子（ＢＳＥ）モード、二次電子（ＳＥ）、エネルギー分散型Ｘ線（ＥＤＸ）、およびカソードルミネッセンス（ＣＬ）モードなどの複数のモードでＳＥＭを同時に動作させることが可能になる。ＥＤＸは、典型的には、試料表面の２Ｄ鉱物マッピングを可能にする定量的鉱物質情報を提供するＳＥＭ上の主要システムである。

【0006】

破壊的イメージングシステムには、集束イオンビーム走査電子顕微鏡（ＦＩＢ−ＳＥＭ）システムが含まれる。ＦＩＢ−ＳＥＭは、イオンビームシステムと電子ビームシステムを統合したマルチビームシステムである。ＦＩＢシステムは、試料表面を高精度でミリングするために、ガリウムなどの原料物質のイオンの集束された高電流ビームを試料に照射する。次いで、ミリングされた表面が、統合ＳＥＭシステムを用いて高分解能で画像化される。所望のボリュームがサンプリングされるまで、ＦＩＢミリングおよびＳＥＭイメージングプロセスが繰り返される。各スライスからのＳＥＭ画像が積み重なって、試料のミリングされた領域の３Ｄボリュームが構築される。

【0007】

１つの現行の画像解析技法は、Ｘ線イメージングシステムから作成される試料のボリューム画像データセットを解析することによって、試料の３Ｄ鉱物マップを作成する。その後、試料の全鉱物含量が規定され、規定された鉱物についてＸ線減弱係数が計算される。次いで、この技術は、計算されたＸ線減弱係数に対応する画像内の特徴的なグレースケールレベルを識別することによってグレースケール３Ｄ画像をセグメント化する。

【0008】

別の画像解析技術は、３Ｄ Ｘ線断層撮影ボリューム画像データセットの多相セグメント化を使用する。３Ｄ Ｘ線断層撮影ボリュームは、標準化輝度グレースケール画像を得るために処理され、その後、少なくとも３つの相にセグメント化される。セグメント化ステップは、標準化輝度画像の中央値／平均フィルタリング勾配画像を計算することと、中央値／平均フィルタリング勾配画像および標準化輝度画像から輝度対勾配グラフを作成することと、輝度対勾配グラフを少なくとも３つの領域に分割することと、領域を画定する閾値を使用して、標準化グレースケール画像をセグメント化して、セグメント化画像を作成することとを含む。次に、セグメント化された相の体積分率および空間分布が計算され、目標値と比較される。

【発明の概要】

【課題を解決するための手段】

【0009】

発明の概要
現行のイメージングおよび鉱物割り当て技法には限界がある。例えば、３Ｄ鉱物マップ作成に関連する技術は、重複するＣＴ値を有する鉱物を区別することができない。これは、粒子のクラスタが、平均原子番号が非常に近い鉱物を含む場合に起こり得る。さらに、この技法は、画像内の領域の縁または境界上に位置するボクセル／ピクセルに間違った鉱物質を割り当てる可能性がある。他方、多相セグメント化方法は、複雑で、計算集約的であり、３Ｄ鉱物マップイメージング解析技法と同じ問題を抱える可能性がある。

【0010】

一般に、一態様によれば、本発明は、マルチモダリティ・イメージング・システムのための鉱物質セグメント化方法を特徴とする。この方法は、試料の１つまたは複数の画像データセットを生成するステップと、１つまたは複数の画像データセットの少なくとも一部をカバーする１つまたは複数の鉱物マップを作成するステップと、試料内の鉱物に関連する領域を識別し、ラベル付するために、１つまたは複数の鉱物マップをマスクとして１つまたは複数の画像データセットに適用するステップとを含む。１つまたは複数の画像データセットは、マルチモダリティ・イメージング・システムの異なるイメージングモダリティを使用して生成される。次に、特徴生成器を介してラベル付き領域から特徴ベクトルが抽出され、特徴ベクトルの挙動情報を学習するために、抽出された特徴ベクトルに対して機械学習訓練アルゴリズムが実行される。次いで、機械学習訓練アルゴリズムから学習されたこの挙動情報が、試料内の鉱物を分類する試料のセグメント化画像表現を構築するために、１つまたは複数の画像データセットに適用される。

【0011】

一例において、ラベル付き画像は、特徴生成器を介して特徴ベクトルのセットに変換される。１つのこのような特徴生成器は、テクスチャおよびエッジ抽出に使用されるガボールフィルタである。ガボールフィルタは、主に３つのパラメータ、すなわち波長、角度、および帯域幅によって特徴付けられる。これらのパラメータを変更することにより、複数のガボール特徴生成器を構築することができる。ラベル付き画像に対して特徴生成器を適用する結果として、各ピクセルがベクトル空間内の点の配列である特徴ベクトルによって表される画像がもたらされる。一例では、画像データセット内の固有のテクスチャを有する鉱物が、対応する鉱物を表す固有の特徴ベクトルが生成されるようにする。

【0012】

この例では、その後、抽出された特徴ベクトルに対して機械学習訓練アルゴリズムが実行されて、特徴の特徴ベクトル組み合わせの特定の値が、対応する鉱物相に関連付けられる。１つのそのような機械学習訓練アルゴリズムは、訓練中に複数の決定木を構築するアンサンブル学習方法であるランダムフォレストである。各決定木は、訓練データのランダムなサブセットを使用することによって構築される。次に、ラベル付き画像からの決定木情報が、１つまたは複数のラベル付けされていない画像データセットに適用されて、試料内の鉱物を分類する試料のセグメント化画像表現が構築される。

【0013】

別の例示的な機械学習訓練アルゴリズムは、クラス間の決定境界を描く多層パーセプトロン（ＭＬＰ）である。ＭＬＰは、式Ｙ＝Ｆ（ｘ）を解く関数写像分類器であり、ｘは特徴ベクトルであり、Ｙはクラスであり、Ｆは決定境界を生成する学習済み関数である。決定境界は、試料内の鉱物を分類する試料のセグメント化画像表現を構築するために、１つまたは複数のラベル付けされていない画像データセットに対して適用される。

【0014】

実施形態では、試料内の鉱物を識別するために、エネルギー分散型Ｘ線分光法を使用して、鉱物マップが作成される。さらに、試料の１つまたは複数の画像データセットを生成するステップは、１つまたは複数の画像データセットとして試料の１つまたは複数のＸ線ボリュームデータセットを生成することを含むことができる。これらは、異なるＸ線エネルギーを使用する試料の１つまたは複数のＸ線ボリュームデータセットを含むことができる。

【0015】

さらに、試料の１つまたは複数の画像データセットを生成するステップは、マルチモダリティ・イメージング・システムの集束イオンビーム走査電子顕微鏡（ＦＩＢ−ＳＥＭ）イメージング・分析システムを使用して、１つまたは複数の画像データセットとして試料の１つまたは複数のＦＩＢ−ＳＥＭボリュームデータセットを生成することを含むことができる。ＦＩＢ−ＳＥＭイメージングおよび分析システムの後方散乱電子モードおよび／または二次電子モードを使用することができる。

【0016】

１つの事例では、画像データセットの少なくとも１つはＦＩＢ−ＳＥＭボリュームデータセットであり、試料のセグメント化画像表現は、セグメント化ＦＩＢ−ＳＥＭボリュームデータセットである。

【0017】

別の事例において、試料の１つまたは複数の画像データセットの少なくとも１つは、集束イオンビーム走査電子顕微鏡（ＦＩＢ−ＳＥＭ）イメージングおよびマルチモダリティ・イメージング・システムの分析システムを使用した、１つまたは複数の画像データセットとしての、試料の１つまたは複数のＦＩＢ−ＳＥＭデータセットを含む。

【0018】

一般に、別の態様によれば、本発明は、試料の鉱物をセグメント化するためのマルチモダリティ・イメージング・システムを特徴とする。このシステムは、試料の１つまたは複数の画像データセットを生成するイメージングシステムと、試料内の鉱物を識別する１つまたは複数の鉱物マップを作成するエネルギー分散型Ｘ線分光システムとを備える。コンピュータシステムは、１つまたは複数の画像データセットに１つまたは複数の鉱物マップをマスクとして適用して、試料内の鉱物に関連付けられる領域を識別し、ラベル付けする。ラベル付き領域から特徴ベクトルを抽出する特徴抽出エンジンが利用される。抽出された特徴ベクトルに機械学習訓練アルゴリズムを実行して特徴ベクトルの挙動情報を学習する機械学習エンジンも利用される。最後に、機械学習訓練アルゴリズムから学習されたこの挙動情報が、試料内の鉱物を分類する試料のセグメント化画像表現を構築するために、１つまたは複数の画像データセットに適用される。

【0019】

本発明の例示的な用途には、材料科学および地球科学からの試料の分析が含まれる。本発明は、実施例において固体酸化物形燃料電池（ＳＯＦＣ）および隕石のような試料のセグメント化画像表現を構築するために使用することができる。セグメント化画像表現は、現在のシステムおよび方法と比較して改善された画像解像度および改善された操作効率で試料内の相および鉱物を分類する。

【0020】

部品の構造および組み合わせの様々な新規の詳細を含む、本発明の上記および他の特徴を、ここで、添付の図面を参照してより詳細に説明し、特許請求の範囲において指摘する。本発明を具体化する特定の方法および装置は、例示のために示したものであり、本発明を限定するものではないことは理解されよう。本発明の原理および特徴は、本発明の範囲から逸脱することなく、様々な多数の実施形態において利用することができる。

【0021】

図面の簡単な説明
添付の図面において、参照符号は異なる図を通して同じ部分を指す。図面は必ずしも原寸に比例せず、代わりに、本発明の原理を例示することに重点が置かれている。図面のうち、

【図面の簡単な説明】

【0022】

【図1】試料の鉱物質を決定するためのマルチモダリティ・イメージング・システムの主要な構成要素を示すシステムブロック図である。

【図2】本発明の概念による試料のセグメント化画像表現を構成する方法の高レベルの記述を提供する概略ブロック図である。

【図3A】試料のセグメント化Ｘ線ボリュームデータセットを生成するための方法を示す、各実施形態が、試料のセグメント化画像表現を構築するためのコンピュータシステムによって実行される方法を説明する、本発明の好ましい実施形態を説明するフローチャートである。

【図3B】試料のセグメント化ＦＩＢ−ＳＥＭボリュームデータセットを生成するための方法を示す、各実施形態が、試料のセグメント化画像表現を構築するためのコンピュータシステムによって実行される方法を説明する、本発明の好ましい実施形態を説明するフローチャートである。

【図3C】試料のセグメント化２Ｄ高ピクセル密度画像を生成するための方法を示す、各実施形態が、試料のセグメント化画像表現を構築するためのコンピュータシステムによって実行される方法を説明する、本発明の好ましい実施形態を説明するフローチャートである。

【図4】マルチモダリティ・イメージング・システムのコンピュータシステム上で実行される異なる協調プロセス／アプリケーション間の関係を示す概略ブロック図であり、プロセスは、試料の関連するセグメント化画像表現を構成するために、図３Ａ〜図３Ｃの実施形態における試料の画像データセットに対して動作する特徴抽出エンジンおよび機械学習エンジンを含む、概略ブロック図である。

【図5】特徴抽出エンジンによって利用される異なる例示的なガボールフィルタ特徴生成器の画像を示す図である。

【図6】異なる鉱物テクスチャを有する試料の３つの異なる画像データセットスニペット、および、各試料について作成された関連する特徴ベクトルのパワー対周波数プロットを示す図である。

【図7A】試料内の２つの異なるクラスの鉱物に対応する特徴ベクトルの例示的な散布図である。

【図7B】図７Ａに示すものと同じ特徴ベクトルの例示的な散布図を示し、加えて、セグメント化鉱物質を構築するために、図７Ａのプロットに低次元多層パーセプトロン（ＭＬＰ）機械学習訓練アルゴリズムを適用した結果を示す図である。

【図7C】図７Ａに示すものと同じ特徴ベクトルの例示的な散布図を示し、加えて、セグメント化鉱物質を構築するために、図７Ａのプロットに高次元多層パーセプトロン（ＭＬＰ）機械学習訓練アルゴリズムを適用した結果を示す図である。

【発明を実施するための形態】

【0023】

ここで、本発明が、本発明の例示的な実施形態が示されている添付の図面を参照して、以下により完全に記載される。しかしながら、本発明は、多くの異なる形態で具現化することができ、本明細書に記載の実施形態に限定されるものと解釈すべきではない。むしろ、これらの実施形態は、本開示が綿密かつ完全になり、本発明の範囲を当業者に十分に伝えるように提供される。

【0024】

本明細書において使用される場合、「および／または」という用語は、関連付けて列挙された項目の１つまたは複数のあらゆる組み合わせを含む。さらに、単数形および冠詞「ａ」、「ａｎ」および「ｔｈｅ」は、特に明記しない限り、複数形も含むことが意図される。本明細書において使用される場合、含む（ｉｎｃｌｕｄｅｓ）、備える（ｃｏｍｐｒｉｓｅｓ）、含んでいる（ｉｎｃｌｕｄｉｎｇ）、および／または、備えている（ｃｏｍｐｒｉｓｉｎｇ）という用語は、記載された特徴、整数、ステップ、動作、要素、および／または構成要素の存在を特定するが、１つまたは複数の他の特徴、整数、ステップ、動作、要素、構成要素、および／またはそれらのグループの存在または追加を除外するものではないことがさらに理解されよう。さらに、構成要素またはサブシステムを含む要素が別の要素に接続または結合されているとして言及および／または示されている場合、それは他の要素に直接接続もしくは結合されてもよく、または介在する要素が存在してもよいことが理解されよう。

【0025】

図１は、例示的なマルチモダリティ・イメージング・システム１００を示す。システム１００は、データストア９０と、コンピュータシステム１２４と、マルチモダリティ試料イメージング・分析システム１２０とを含む。システム１００は、試料１１４内の鉱物の領域を分類（例えば、セグメント化およびラベル付け）し、試料１１４内の微細構造を特徴付けるために利用される。

【0026】

マルチモダリティ試料イメージング・分析システム１２０は、異なるイメージングモダリティに関連するサブシステムを含む。これらは、マルチエネルギーＸ線イメージング・分析システム１１０、集束イオンビーム走査電子顕微鏡（ＦＩＢ−ＳＥＭ）イメージング・分析システム１１８、および、エネルギー分散Ｘ線分光法（ＥＤＸ）システム１１６を含む。マルチモダリティ試料イメージング・分析システム１２０は、コンピュータシステム１２４と連携して、試料１１４の画像データセットを生成する。画像データセットは、データストア９０に保存される。

【0027】

コンピュータシステム１２４は、１つまたは複数のハードウェアベースの中央処理装置（ＣＰＵ）１０２、１つまたは複数のグラフィカル処理装置（ＧＰＵ）１３７および物理メモリ１３３を含む。コンピュータシステム１２４はまた、ＣＰＵ（複数可）１０２上で実行され、任意選択的に、ＧＰＵ１３７と通信することができるオペレーティングシステム１０４を含む。

【0028】

１つまたは複数のアプリケーションまたはプロセスは、オペレーティングシステム１０４によって決定される１つまたは複数のコンテキスト内でオペレーティングシステム１０４上で実行される。このアプリケーションは、機械学習エンジン１７２、特徴抽出エンジン１７０、ユーザ・インターフェース・アプリケーション１０６、および、位置整合・見当合わせエンジン１３８を含む。例において、アプリケーションは、アプリケーションプログラミングインタフェース（ＡＰＩ）を提示する独自のおよび／または標準化されたグラフィックスアプリケーションである。これらのアプリケーションによって提示されるＡＰＩは、例において、メモリ１３３および通信バスを介して、オペレーティングシステム１０４、ＣＰＵ１０２、およびＧＰＵ１３７の間の協調的な通信および処理を可能にする。

【0029】

コンピュータシステム１２４はまた、機械学習訓練アルゴリズム１９６および特徴生成器１９０も含む。特徴抽出エンジン１７０は、特徴生成器１９０を使用して、画像データセットから特徴ベクトル１９２を抽出する。機械学習エンジン１７２は、機械学習訓練アルゴリズム１９６を抽出された特徴ベクトル１９２に適用する。

【0030】

機械学習エンジン１７２および特徴抽出エンジン１７０などのアプリケーションは、ＧＰＵ１３７内などのハードウェア内で実装することもできることが理解されよう。さらに、機械学習エンジン１７２および特徴抽出エンジン１７０の機能は、他の実施態様では、共通のプロセスまたはハードウェア構成要素に組み合わせることができる。

【0031】

オペレータは、ユーザ・インターフェース・アプリケーション１０６を利用して、コンピュータシステム１２４、マルチモダリティ試料イメージング・分析システム１２０、およびデータストア９０などのマルチモダリティ・イメージング・システム１００の主要構成要素と対話する。コンピュータシステム１２４に接続されたディスプレイデバイス６０が、オペレータが、構成要素上のタスクを実行し結果を表示することを可能にする。

【0032】

Ｘ線イメージング・分析システム１１０は、Ｘ線、場合によっては異なるエネルギーにおけるＸ線を使用して、試料１１４の１つまたは複数のＸ線ボリュームデータセットを画像データセットとして生成する。イメージングは、典型的には、試料１１４の３Ｄボリュームにわたって動作する。一実施形態では、イメージングは、例において、典型的には７０ｋｅＶ未満のＸ線を使用する低エネルギー（ＬＥ）データセットと、典型的には１００ｋｅＶを超えるＸ線を使用する高エネルギー（ＨＥ）データセットとを含む。ＬＥデータセットはＬＥ Ｘ線ボリュームデータセット１３０を作成し、ＨＥデータセットはＨＥ Ｘ線ボリュームデータセット１３２を作成する。次に、コンピュータシステム１２４の位置整合・見当合わせエンジン１３８が、ＬＥボリュームデータセット１３０およびＨＥボリュームデータセット１３２を互いに位置整合および見当合わせして、マルチエネルギーＸ線ボリュームデータセット１３４を作成し、それをデータストア９０に保存する。

【0033】

ＦＩＢ−ＳＥＭイメージング・分析システム１１８は、試料１１４の二次電子（ＳＥ）画像データセットおよび／または後方散乱電子（ＢＳＥ）画像データセットの作成を可能にする。一実施形態では、オペレータは、ＦＩＢ−ＳＥＭイメージング・分析システム１１８を使用して、試料１１４の全体にわたって走査して、試料１１４のＢＳＥ ＦＩＢ−ＳＥＭボリュームデータセット１４０およびＳＥ ＦＩＢ−ＳＥＭボリュームデータセット１４２を作成することができる。位置整合・見当合わせエンジン１３８が、ＢＳＥ ＦＩＢ−ＳＥＭボリュームデータセット１４０およびＳＥ ＦＩＢ−ＳＥＭボリュームデータセット１４２を互いに位置整合および見当合わせして、マルチモードＦＩＢ−ＳＥＭボリュームデータセット１４４を作成し、それをデータストア９０に保存する。

【0034】

さらに別の実施形態では、オペレータは、ＦＩＢ−ＳＥＭイメージング・分析システム１１８を使用して、試料１１４の表面のＢＳＥ ２Ｄ高ピクセル密度画像１５０およびＳＥ ２Ｄ高ピクセル密度画像１５２を画像データセットとして作成することができる。ＢＳＥ ＦＩＢ−ＳＥＭボリュームデータセット１４０およびＳＥ ＦＩＢ−ＳＥＭボリュームデータセット１４２とは対照的に、ＢＳＥ ２Ｄ高ピクセル密度画像１５０およびＳＥ ２Ｄ高ピクセル密度画像１５２は、はるかに大きな領域にわたって高解像度で走査される。ＥＤＸシステム１１６はまた、通常、ＦＩＢ−ＳＥＭイメージング・分析システム１１８のＢＳＥおよびＳＥイメージング速度と比較してより遅い速度で動作する。これらの理由から、ＥＤＸ鉱物マップ８０は、試料１１４の特定の領域または断面に走査を限定することによって作成される。位置整合・見当合わせエンジン１３８は、ＢＳＥ ２Ｄ高ピクセル密度画像１５０およびＳＥ ２Ｄ高ピクセル密度画像１５２を互いに位置整合および見当合わせして、マルチモード２Ｄ高ピクセル密度画像１５４を作成し、それをデータストア９０に保存する。

【0035】

システム１００は、マルチモダリティ試料イメージング・分析システム１２０のＥＤＸシステム１１６を使用して、試料１１４の１つまたは複数のＥＤＸ鉱物マップ８０を作成する。ＥＤＸ鉱物マップ８０は、試料１１４の選択されたスライスの２Ｄ画像である。ＥＤＸ鉱物マップ８０は、試料１１４内の元素の特徴的なスペクトルを利用し、選択されたスライスについて各ピクセルにおいて鉱物質を識別することによって生成される。ＥＤＸ鉱物マップ８０は、試料１１４ボリューム内の分析されている表面の鉱物質の「グラウンドトゥルース」を確立する。

【0036】

好ましくは、ＥＤＸ鉱物マップ８０の作成のために選択される試料１１４のスライスは、少なくとも、実施形態／イメージングモダリティの各々に関連付けられる試料１１４の画像データセットによってもカバーされる試料１１４の１つまたは複数の２Ｄスライスまたは表面を含む。Ｘ線モダリティに関連する実施形態について、ＥＤＸ鉱物マップ８０は、好ましくは、マルチエネルギーＸ線ボリュームデータセット１３４によってカバーされる１つまたは複数の２Ｄスライスまたは試料表面から作成される。ＢＳＥ ＦＩＢ−ＳＥＭボリュームデータセットおよびＳＥ ＦＩＢ−ＳＥＭボリュームデータセットの作成に関連する実施形態について、ＥＤＸ鉱物マップ８０は、マルチモードＦＩＢ−ＳＥＭボリュームデータセット１４４によってカバーされる１つまたは複数の２Ｄスライスまたは試料表面から作成される。典型的には、ＥＤＸ鉱物マップ８０を作成するために選択される少なくとも１つのスライスは、試料１１４の表面からのものである。最後に、マルチモード２Ｄ高ピクセル密度画像１５４の生成に関連する実施形態では、マルチモード２Ｄ高ピクセル密度画像１５４によってもカバーされる試料１１４内の１つまたは複数の小さい領域からＥＤＸ鉱物マップ８０が作成される。

【0037】

典型的には、ＥＤＸ鉱物マップ８０は、試料１１４の表面スライスから収集／生成される。しかしながら、ＥＤＸ鉱物マップ８０はまた、試料１１４内から露出される、選択される関心領域に関連するスライスまたは表面から作成することもできる。一例では、ＦＩＢ−ＳＥＭイメージング・分析システム１１８を介して試料１１４から撮影されるＢＳＥ画像は、そこからＥＤＸ鉱物マップ８０を作成することができる試料１１４内の関心領域を識別するのを助けることができる。位置整合・見当合わせエンジン１３８は、ＥＤＸ鉱物マップ８０を、マルチエネルギーＸ線ボリュームデータセット１３４、マルチモードＦＩＢ−ＳＥＭボリュームデータセット１４４、およびマルチモード２Ｄ高ピクセル密度画像１５４と位置整合および見当合わせし、これらの位置整合されたバージョンをデータストア９０に保存する。

【0038】

機械学習エンジン１７２は、ＥＤＸ鉱物マップ８０と共に、位置整合および相関されたデータセット１３２／１３０，１４２／１４０，１５２／１５０を受け入れる。特徴抽出エンジン１７０と関連して、機械学習エンジン１７２は、ＥＤＸ鉱物マップ８０によって識別された各鉱物の対応するピクセルに関連する情報を、マルチエネルギーＸ線ボリュームデータセット１３４、マルチモードＦＩＢ−ＳＥＭボリュームデータセット１４４、およびマルチモード２Ｄ高ピクセル密度画像１５４の各々に適用して、試料１１４の対応するセグメント化画像表現を作成し、それらをデータストア９０に保存する。対応するセグメント化画像表現はそれぞれ、セグメント化Ｘ線ボリュームデータセット１３６、セグメント化ＦＩＢ−ＳＥＭボリュームデータセット１４６、およびセグメント化２Ｄ高ピクセル密度画像１５６である。

【0039】

鉱物質セグメント化方法の開示されている実施形態は、好ましくは、単一またはマルチエネルギーＸ線ボリュームデータセット１３４、単一またはマルチモードＦＩＢ−ＳＥＭボリュームデータセット１４４、または単一またはマルチモード２Ｄ高ピクセル密度画像１５４を入力として受け入れるが、セグメント化方法は、同じモダリティの個々のデータセットまたは複数のデータセットも受け入れることを理解されたい。その後、データセットは、関連するセグメント化画像表現に処理される。一例では、単一のＬＥまたはＨＥ Ｘ線ボリュームデータセット１３０／１３２を処理して、セグメント化Ｘ線ボリュームデータセット１３６を作成することができる。別の例では、単一のＢＳＥ ２Ｄ高ピクセル密度画像１５０を処理して、セグメント化２Ｄ高ピクセル密度画像１５６を作成することができる。さらに別の例では、試料１１４のＢＳＥ ＦＩＢ−ＳＥＭボリュームデータセット１４２を生成し、その後、処理して、セグメント化ＦＩＢ−ＳＥＭボリュームデータセット１４６を作成することができる。

【0040】

図２は、試料１１４のセグメント化画像表現を構築する方法の高レベルの記述を提供する。試料１１４の画像データセット１３４／１４４／１５４は、試料１１４の１つまたは複数のイメージングモダリティに従って作成される。次に、ＥＤＸ鉱物マップ８０（グラウンドトゥルース）が画像データセットの表面と位置整合される。最後に、ＥＤＸ鉱物マップ８０が画像データセット１３４／１４４／１５４に適用されて、鉱物質に関する関連セグメント化画像データセット１３６／１４６／１５６が作成する。

【0041】

図３Ａ〜図３Ｃは、種々のイメージングモダリティについてコンピュータシステム１２４によって実行される好ましい鉱物質セグメント化方法を説明する。

【0042】

図３Ａは、Ｘ線モダリティに関する試料１１４のセグメント化Ｘ線ボリュームデータセット１３６を生成するためのコンピュータシステム１２４の方法を示す。

【0043】

ステップ３０４において、コンピュータシステム１２４は、種々のエネルギー範囲（１つの低エネルギー（ＬＥ）および１つの高エネルギー（ＨＥ））にわたって試料１１４のＸ線ＣＴイメージングを実行して、各エネルギー範囲においてＸ線ボリュームデータセットを作成するように、マルチエネルギーＸ線イメージング・分析システム１１０に指示する。ＬＥ Ｘ線ボリュームデータセット１３０およびＨＥ Ｘ線ボリュームデータセット１３２は、このステップの結果として作成される。

【0044】

ステップ３０６において、位置整合・見当合わせエンジン１３８は、ＨＥ Ｘ線ボリュームデータセット１３２およびＬＥ Ｘ線ボリュームデータセット１３０から位置整合および見当合わせされたマルチエネルギーＸ線ボリュームデータセット１３４を生成する。

【0045】

ステップ３０８によれば、コンピュータシステム１２４は、試料１１４の１つまたは複数のＥＤＸ鉱物マップ８０を作成するように、ＥＤＸシステム１１６に指示する。位置整合・見当合わせエンジン１３８は、ステップ３１０において、マルチエネルギーＸ線ボリュームデータセット１３４をＥＤＸ鉱物マップ（複数可）８０と位置整合および見当合わせする。

【0046】

ステップ３１２において、コンピュータシステム１２４は、マルチエネルギーＸ線ボリュームデータセット１３４にＥＤＸ鉱物マップ（複数可）８０をマスクとして適用して、それらの鉱物質に従って関連するピクセル／ボクセルの領域を識別し、ラベル付けする。

【0047】

ステップ３１４において、コンピュータシステム１２４は、マルチエネルギーＸ線ボリュームデータセット１３４中の鉱物に関連するピクセルのすべての領域が現在のＥＤＸ鉱物マップ（複数可）８０内の対応するラベルによって表されるか否かを決定する。この陳述が偽である場合、制御はステップ３０８の始めに戻り、追加のＥＤＸ鉱物マップ８０が作成される。そうでなければ、制御はステップ３１６に移る。

【0048】

ステップ３１６において、特徴抽出エンジン１７０が、例において、ガボール、ガウス、およびヒストグラム指向勾配フィルタなどの特徴生成器１９０を介して、マルチエネルギーＸ線ボリュームデータセット１３４内のラベル付き領域から特徴ベクトル１９２を抽出する。ステップ３１８によれば、機械学習エンジン１７２が、抽出された特徴ベクトル１９２に機械学習訓練アルゴリズム１９６を実行して、特徴ベクトル１９２の挙動を学習する。例示的な機械学習訓練アルゴリズム１９６は、ランダムフォレスト１９６−１である。

【0049】

ステップ３２０において、機械学習エンジン１７２は、好ましくは、訓練アルゴリズム１９６から学習される挙動情報を、マルチエネルギーＸ線ボリュームデータセット１３４の全体にわたって、および、ＥＤＸ鉱物マップ（複数可）８０を超えて適用して、試料１１４のセグメント化されたラベル付きＸ線ボリュームデータセット１３６を構築する。最後に、ステップ３２２において、コンピュータシステム１２４は、セグメント化Ｘ線ボリュームデータセット１３６の選択されたスライスを１つまたは複数のグラウンドトゥルースＥＤＸ鉱物マップ８０と比較することによって、セグメント化を検証する。

【0050】

図３Ｂは、ＦＩＢ−ＳＥＭイメージングモダリティのための試料１１４のセグメント化ＦＩＢ−ＳＥＭボリュームデータセット１４６を生成する、コンピュータシステム１２４の方法を示す。

【0051】

ステップ３４２において、コンピュータシステム１２４は、試料のＦＩＢ−ＳＥＭ二次電子（ＳＥ）走査および／またはＦＩＢ−ＳＥＭ後方散乱電子（ＢＳＥ）走査を実行して、それぞれ試料１１４のＳＥ ＦＩＢ−ＳＥＭボリュームデータセット１４２および／またはＢＳＥ ＦＩＢ−ＳＥＭボリュームデータセット１４０を作成するように、ＦＩＢ−ＳＥＭイメージング・分析システム１１８に指示する。

【0052】

ステップ３４４において、位置整合・見当合わせエンジン１３８は、ＳＥ ＦＩＢ−ＳＥＭボリュームデータセット１４２および／またはＢＳＥ ＦＩＢ−ＳＥＭボリュームデータセット１４０から位置整合および見当合わせされたマルチモードＦＩＢ−ＳＥＭボリュームデータセット１４４を生成する。ステップ３４６によれば、コンピュータシステム１２４は、ＦＩＢ−ＳＥＭボリュームデータセット１４４によってカバーされる領域／スライスの１つまたは複数のＥＤＸ鉱物マップ８０を作成して、試料１１４の「グラウンドトゥルース」を確立するように、ＥＤＸシステム１１６に指示する。位置整合・見当合わせエンジン１３８は、ステップ３４８において、マルチモードＦＩＢ−ＳＥＭボリュームデータセット１４４をＥＤＸ鉱物マップ（複数可）と位置整合および見当合わせする。

【0053】

ステップ３５０において、コンピュータシステム１２４は、マルチモードＦＩＢ−ＳＥＭボリュームデータセット１４４にＥＤＸ鉱物マップ（複数可）８０をマスクとして適用して、鉱物と関連付けられるピクセルの領域を識別し、ラベル付けする。ステップ３５２において、コンピュータシステムは、マルチモードＦＩＢ−ＳＥＭボリュームデータセット１４４中の鉱物に関連するピクセル／ボクセルのすべての領域が現在のＥＤＸ鉱物マップ（複数可）８０内の対応するラベルによって表されるか否かを決定する。この陳述が偽である場合、制御はステップ３４６の始めに戻り、追加のＥＤＸ鉱物マップ８０が作成される。そうでなければ、制御はステップ３５４に移る。

【0054】

ステップ３５４において、特徴抽出エンジン１７０が、特徴生成器１９０を介して、マルチモードＦＩＢ−ＳＥＭボリュームデータセット１４４内のラベル付き領域から特徴ベクトル１９２を抽出する。ステップ３５６によれば、機械学習エンジン１７２が、抽出された特徴ベクトル１９２に機械学習訓練アルゴリズム１９６を実行して、特徴ベクトル１９２の挙動を学習する。

【0055】

ステップ３５８において、機械学習エンジン１７２が、好ましくは、訓練アルゴリズム１９６から学習される挙動情報を、マルチモードＦＩＢ−ＳＥＭボリュームデータセット１４４の全体にわたって適用して、試料１１４のセグメント化ＦＩＢ−ＳＥＭボリュームデータセット１４６を構築する。最後に、ステップ３６０において、コンピュータシステム１２４は、セグメント化ＦＩＢ−ＳＥＭボリュームデータセット１４６の選択されたスライスを１つまたは複数のＥＤＸ鉱物マップ（複数可）８０と比較することによって、セグメント化を検証する。

【0056】

図３Ｃは、コンピュータシステム１２４が、ＦＩＢ−ＳＥＭモダリティのための試料１１４のセグメント化２Ｄ高ピクセル密度画像１５６を生成する方法を示す。

【0057】

ステップ３７２において、コンピュータシステム１２４は、試料のＦＩＢ−ＳＥＭ二次電子（ＳＥ）走査および／またはＦＩＢ−ＳＥＭ後方散乱電子（ＢＳＥ）走査を実行して、それぞれ試料１１４のＳＥ ２Ｄ画像１５２およびＢＳＥ ２Ｄ画像１５０を作成するように、ＦＩＢ−ＳＥＭイメージング・分析システム１１８に指示する。

【0058】

ステップ３７４において、位置整合・見当合わせエンジン１３８は、ＳＥ ２Ｄ画像１５２およびＢＳＥ ２Ｄ画像１５０から位置整合および見当合わせされたマルチモード２Ｄ画像１５４を生成する。ステップ３７６によれば、コンピュータシステム１２４は、マルチモード２Ｄ画像１５４によってカバーされる試料の領域から１つまたは複数のＥＤＸ鉱物マップ８０を作成して、試料１１４の「グラウンドトゥルース」を確立するように、ＥＤＸシステム１１６に指示する。位置整合・見当合わせエンジン１３８は、ステップ３７８において、マルチモード２Ｄ画像１５４をＥＤＸ鉱物マップ（複数可）と位置整合および見当合わせする。

【0059】

ステップ３８０において、コンピュータシステム１２４は、マルチモード２Ｄ高ピクセル密度画像１５４にＥＤＸ鉱物マップ（複数可）８０をマスクとして適用して、鉱物と関連付けられるピクセルの領域を識別し、ラベル付けする。ステップ３８２において、コンピュータシステムは、マルチモード２Ｄ高ピクセル密度画像１５４中の鉱物に関連するピクセル／ボクセルのすべての領域が現在のＥＤＸ鉱物マップ（複数可）８０内の対応するラベルによって表されるか否かを決定する。この陳述が偽である場合、制御はステップ３７６の始めに戻り、追加のＥＤＸ鉱物マップ８０が作成される。そうでなければ、制御はステップ３８４に移る。

【0060】

ステップ３８４において、特徴抽出エンジン１７０が、特徴生成器１９０を介して、マルチモード２Ｄ高ピクセル密度画像１５４内のラベル付き領域から特徴ベクトル１９２を抽出する。ステップ３８６によれば、機械学習エンジン１７２が、抽出された特徴ベクトル１９２に機械学習訓練アルゴリズム１９６を実行して、特徴ベクトル１９２の挙動を学習する。

【0061】

ステップ３８８において、機械学習エンジン１７２が、好ましくは、訓練アルゴリズム１９６から学習される挙動情報を、マルチモード２Ｄ高ピクセル密度画像１５４の全体にわたって適用して、試料１１４のセグメント化２Ｄ高ピクセル密度画像１５６を作成する。最後に、ステップ３９０において、コンピュータシステム１２４は、セグメント化２Ｄ高ピクセル密度画像１５６の選択された領域を１つまたは複数のＥＤＸ鉱物マップ（複数可）８０と比較することによって、セグメント化を検証する。

【0062】

図４は、コンピュータシステム１２４の特徴抽出エンジン１７０および機械学習エンジン１７２が、協調して動作して、試料１１４のセグメント化画像表現１３６／１４６／１５６を構築する方法を示す。特徴抽出エンジン１７０は、コンピュータシステム１２４から特徴生成器１９０をロードする。特徴生成器１９０は、例において、平均１９０−１、分散１９０−２、ソーベル１９０−３、ガボール１９０−４、勾配方向ヒストグラム（ＨＯＧ）１９０−５、ラプラシアン１９０−６およびへシアン１９０−７フィルタなどのフィルタを含む。これらのフィルタは、通常、デジタルフィルタである。一例では、ガボールフィルタ１９０−４は、角度、帯域幅、および周波数パラメータ値が変動するマルチエネルギーＸ線ボリュームデータセット１３４、マルチモードＦＩＢ−ＳＥＭボリュームデータセット１４４、およびマルチモード２Ｄ高ピクセル密度画像１５４に適用される。

【0063】

特徴抽出エンジン１７０が画像データセットに特徴生成器１９０を適用するのに応答して、画像データセットの各ピクセルには、適用されている各特徴生成器１９０（例えば、フィルタ）のベクトル値の配列が割り当てられる。これらのベクトル値は、特徴ベクトル１９２としても知られている。次に、特徴抽出エンジン１７０は、コンピュータシステム１２４内で実行する他のアプリケーションによる処理のために特徴ベクトル１９２を提供する。

【0064】

機械学習エンジン１７２は、コンピュータシステム１２４から分類器／機械学習訓練アルゴリズム１９６をロードする。例示的な機械学習訓練アルゴリズムは、ランダムフォレスト１９６−１、多層知覚ニューラルネットワーク（ＭＬＰ）１９６−２、およびサポートベクタマシン（ＳＶＭ）１９６−３を含む。

【0065】

機械学習エンジン１７２は、特徴抽出エンジン１７０によって渡される特徴ベクトル１９２を受け入れる。機械学習エンジン１７２は、特徴ベクトル１９２に対して機械学習訓練アルゴリズム１９６を実行し、このプロセスから学習される情報を、ＥＤＸ鉱物マップ８０と位置整合した画像データセット（例えば、マルチエネルギーＸ線ボリュームデータセット１３４、マルチモードＦＩＢ−ＳＥＭボリュームデータセット１４４、およびマルチモード２Ｄ高ピクセル密度画像１５４）の全体に適用する。結果もたらされる、構築されたセグメント化画像表現はそれぞれ、セグメント化Ｘ線エネルギーボリュームデータセット１３６、セグメント化ＦＩＢ−ＳＥＭボリュームデータセット１４６、およびセグメント化２Ｄ高ピクセル密度画像１５６である。

【0066】

図５は、各々が異なる（波長、角度、帯域幅）パラメータ値（６４，０，４）、（６４，４５，４）、（６４，９０，４）および（１６，９０，４）を有する、異なる例示的な２Ｄガボール特徴生成器１９０−４−１〜１９０−４−４を表す画像を示す。

【0067】

典型的な機械学習フレームワークでは、ガボールフィルタ１９０−４のような特徴生成器１９０の大きなセットが、異なる波長、角度および帯域幅設定の範囲にわたって選択される。ガボールフィルタ１９０−４は複雑なカーネルであり、それらはフィルタリングされた画像のセットを生成する。一例では、ガボールフィルタ１９０−４カーネルは１８の周波数および１１個の角度を有し、合計１９８個の画像を作成する。

【0068】

特徴抽出エンジン１７０がガボールフィルタ１９０−４を画像データセット１３４／１４４／１５４に適用することに応答して、特徴ベクトル１９２が作成される。ガボールフィルタ１９０−４の例では、作成される特徴ベクトル１９２は、画像データセット１３４／１４４／１５４内の各ピクセル位置におけるガボール値の配列である。

【0069】

図６は、異なるテクスチャを有する鉱物試料１１４−１〜１１４−３の３つの６４×６４画像スニペットに対して作成されるガボール特徴ベクトル１９２−１〜１９２−３のパワー対周波数プロットを示す。各プロットは、ガボール特徴生成器１９０−４を試料１１４−１〜１１４−３の画像データセット１３４／１４４／１５４に適用することによって生成された。特徴ベクトル１９２−１〜１９２−３の各々を生成するために、ガボール特徴生成器１９０−４を画像データセット１３４／１４４／１５４に適用するとき、特徴抽出エンジン１７０によって同じガボール特徴生成器１９０−４の帯域幅設定が選択された。

【0070】

ガボール特徴生成器１９０−４は窓付きフーリエ変換であるため、現在の例の各プロットの垂直軸はパワーであり、ｘ軸は角度と周波数との組み合わせである。さらに、特徴ベクトル１９２は、ガボールフィルタ１９０−４の特徴生成器を適用することによって作成されているため、特徴ベクトル１９２は、ガボール特徴ベクトル１９２−１〜１９２−３としても参照される。機械学習エンジン１７２は、生成された特徴ベクトル１９２−１〜１９２−３に対して機械学習訓練アルゴリズム１９６を実行することによって、各試料１１４のテクスチャを「学習」する。

【0071】

特徴ベクトル１９２−１〜１９２−３のパワー対周波数プロットの差は、試料１１４−１〜１１４−３の異なるテクスチャに対応する。例において、特徴ベクトル１９２−１〜１９２−３のプロットにおける大きなスパイクは、パワーが高い、狭い周波数および角度である。広い平坦な領域は背景雑音である。

【0072】

図７Ａは、試料１１４内の２つの異なるクラスの鉱物に対応する特徴ベクトル１９２−９〜１９２−１０の例示的な散布図である。この例では、試料１１４は、２つのタイプまたはクラスの鉱物を含む。この例においても、特徴ベクトル１９２−９および１９２−１０は、試料１１４の２つの異なる特徴に関連付けられている。鉱物の第１のクラスまたは「クラス１」に関連付けられる特徴ベクトル１９２−９は、散布図内で円として表され、鉱物の第２のクラスまたは「クラス２」に関連付けられる特徴ベクトル１９２−１０は、散布図内で十字（＋）として表される。

【0073】

図７Ｂは、試料１３６／１４６／１５６のセグメント化画像表現を構築するために、低次元多層パーセプトロン（ＭＬＰ）機械学習訓練アルゴリズム１９６−２を図７Ａのプロットに適用した結果を示す。この例では、低次元ＭＬＰ １９６−２処理を達成するために、２つのＭＬＰ隠れユニットまたは隠れ層ニューロンが選択される。

【0074】

機械学習エンジン１７２が図７Ａの特徴ベクトル１９２に低次元ＭＬＰ機械学習訓練アルゴリズム１９６−２を適用することに応答して、決定表面または境界２００−１が、試料１１４のセグメント化画像表現を構築するために特徴ベクトルの中で定義される。この例では、決定境界２００−１の左に入る特徴ベクトル１９２は、「クラス１」クラスの鉱物に属すると統計的に判定される。決定境界２００−１のさらに左に位置する特徴ベクトル１９２は、決定境界２００−１により近い位置にある特徴ベクトルよりもクラス１に属する確率が高い。同様に、決定境界２００−１の右に入る特徴ベクトル１９２は、「クラス２」クラスの鉱物に属すると判定される。決定境界２００−１のさらに右に位置する特徴ベクトル１９２は、決定境界２００−１により近い位置にある特徴ベクトルよりもクラス２に属する確率が高い。

【0075】

図７Ｂの散布図の中で、一例において、完全な画像セグメント化アルゴリズムが、特徴ベクトル１９２−９のすべての円データ点が決定境界２００−１の右に位置し、特徴ベクトル１９２−１０のすべての十字データ点が決定境界２００−１の左に位置するように決定境界２００−１を最適に生成する。決定境界２００−１に当たる特徴ベクトルを有する特徴は、５０％の確率で両方のクラスに属する。

【0076】

図７Ｃは、図７Ａのプロットに高次元多層パーセプトロン（ＭＬＰ）機械学習訓練アルゴリズムを適用した結果を示す。この例では、高次元ＭＬＰ １９６−２処理を達成するために、６つのＭＬＰ隠れユニットが選択される。機械学習エンジン１７２が図７Ａの特徴ベクトルに高次元ＭＬＰ機械学習訓練アルゴリズム１９６−２を適用することに応答して、決定表面または境界２００−２が、試料１１４のセグメント化画像表現を構築するために特徴ベクトル１９２−９および１９２−１０の中で定義される。

【0077】

本発明は、その好ましい実施形態を参照して具体的に示され、記載されたが、添付の特許請求の範囲によって包含される本発明の範囲から逸脱することなく、形態および詳細における様々な変更がなされ得ることが、当業者には理解されよう。

【図1】

【図2】

【図3A】

【図3B】

【図3C】

【図4】

【図5】

【図6】

【図7A】

【図7B】

【図7C】