ホーム > 特許ランキング > ＦＥＩ ＣＯＭＰＡＮＹ
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024118456
(43)【公開日】2024-08-30
(54)【発明の名称】実験データにおける高速異常検出のための深層学習技術
(51)【国際特許分類】
H01J 37/244 20060101AFI20240823BHJP
H01J 37/22 20060101ALI20240823BHJP
H01J 37/28 20060101ALI20240823BHJP
G01N 23/2206 20180101ALI20240823BHJP
G01N 23/2252 20180101ALI20240823BHJP
G06N 3/0455 20230101ALI20240823BHJP
G01N 23/2276 20180101ALI20240823BHJP
G01N 23/20091 20180101ALI20240823BHJP
G01N 23/203 20060101ALI20240823BHJP
【ＦＩ】
H01J37/244
H01J37/22
H01J37/28 C
G01N23/2206
G01N23/2252
G06N3/0455
G01N23/2276
G01N23/20091
G01N23/203
【審査請求】未請求
【請求項の数】20
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2024022867
(22)【出願日】2024-02-19
(31)【優先権主張番号】18/171,541
(32)【優先日】2023-02-20
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】501233536
【氏名又は名称】エフ イー アイ カンパニ
【氏名又は名称原語表記】ＦＥＩ ＣＯＭＰＡＮＹ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100229448
【弁理士】
【氏名又は名称】中槇 利明
(72)【発明者】
【氏名】ハンズ バンロムペイ
(72)【発明者】
【氏名】モーリス ペーメン
【テーマコード（参考）】
2G001
5C101
【Ｆターム（参考）】
2G001AA03
2G001BA05
2G001BA07
2G001BA11
2G001DA06
2G001DA09
2G001EA03
2G001FA29
2G001HA07
2G001HA13
5C101AA05
5C101AA13
5C101AA14
5C101AA16
5C101AA22
5C101AA23
5C101GG03
5C101GG04
5C101GG05
5C101GG06
5C101GG07
5C101GG09
5C101HH11
5C101HH51
(57)【要約】 （修正有）
【課題】科学的機器支援システム、方法、装置、コンピューティングデバイス及びコンピュータ可読媒体を提供する。
【解決手段】１つ以上の分光モダリティと撮像モダリティとを支援する検出器１６０、１７０、１８０と、検出器が受信した測定値１６２、１７２、１８２のストリームを処理する電子コントローラ１５０と、を含む科学機器であって、電子コントローラは、撮像モダリティに対応する測定値に基づいて試料Ｓのベース画像を生成し、ベース画像に基づいて、かつ、ベース画像の異なるピクセルに対応する、測定されたスペクトルとオートエンコーダによって再構築されたスペクトルとの間の差異に更に基づいて、試料の異常マップを生成する。異常マップは、より詳細な検査及び／又は分析のために、試料内の特定の問題スポットを数秒以内に識別するために、品質管理手順において有益に使用することができる。
【選択図】図１
【解決手段】１つ以上の分光モダリティと撮像モダリティとを支援する検出器１６０、１７０、１８０と、検出器が受信した測定値１６２、１７２、１８２のストリームを処理する電子コントローラ１５０と、を含む科学機器であって、電子コントローラは、撮像モダリティに対応する測定値に基づいて試料Ｓのベース画像を生成し、ベース画像に基づいて、かつ、ベース画像の異なるピクセルに対応する、測定されたスペクトルとオートエンコーダによって再構築されたスペクトルとの間の差異に更に基づいて、試料の異常マップを生成する。異常マップは、より詳細な検査及び／又は分析のために、試料内の特定の問題スポットを数秒以内に識別するために、品質管理手順において有益に使用することができる。
【選択図】図１
【特許請求の範囲】
【請求項1】
装置であって、
試料を横切って電子ビームを走査するように構成された電子ビームカラムと、
前記電子ビームと前記試料との相互作用によって引き起こされた信号を測定するように構成された複数の検出器であって、第１のモダリティのための第１の検出器と、撮像モダリティのための第２の検出器と、を含む、複数の検出器と、
電子コントローラと、を備え、前記電子コントローラが、前記複数の検出器から測定値のストリームを受信するように接続されており、かつ
前記撮像モダリティを使用して生成された、前記試料のベース画像の各ピクセルについて、オートエンコーダを用いて、それぞれの第１の入力ベクトルを潜在空間内のそれぞれの確率密度にマッピングすることであって、前記それぞれの第１の入力ベクトル及び前記ベース画像が、前記測定値のストリームに基づいて取得され、前記それぞれの第１の入力ベクトルが、前記第１のモダリティに対応する、マッピングすることと、
前記オートエンコーダを用いて、前記それぞれの確率密度に対応するそれぞれの第１の出力ベクトルを計算することと、
前記ベース画像の異なるピクセルに対応するそれぞれの差異に基づいて、前記試料の異常マップを生成することであって、前記それぞれの差異の各々が、前記それぞれの第１の入力ベクトルと前記それぞれの第１の出力ベクトルとの間の差異である、生成することと、を行うように構成されている、装置。
試料を横切って電子ビームを走査するように構成された電子ビームカラムと、
前記電子ビームと前記試料との相互作用によって引き起こされた信号を測定するように構成された複数の検出器であって、第１のモダリティのための第１の検出器と、撮像モダリティのための第２の検出器と、を含む、複数の検出器と、
電子コントローラと、を備え、前記電子コントローラが、前記複数の検出器から測定値のストリームを受信するように接続されており、かつ
前記撮像モダリティを使用して生成された、前記試料のベース画像の各ピクセルについて、オートエンコーダを用いて、それぞれの第１の入力ベクトルを潜在空間内のそれぞれの確率密度にマッピングすることであって、前記それぞれの第１の入力ベクトル及び前記ベース画像が、前記測定値のストリームに基づいて取得され、前記それぞれの第１の入力ベクトルが、前記第１のモダリティに対応する、マッピングすることと、
前記オートエンコーダを用いて、前記それぞれの確率密度に対応するそれぞれの第１の出力ベクトルを計算することと、
前記ベース画像の異なるピクセルに対応するそれぞれの差異に基づいて、前記試料の異常マップを生成することであって、前記それぞれの差異の各々が、前記それぞれの第１の入力ベクトルと前記それぞれの第１の出力ベクトルとの間の差異である、生成することと、を行うように構成されている、装置。
【請求項2】
前記複数の検出器が、高角度環状暗視野検出器、中角度環状暗視野検出器、環状明視野検出器、セグメント化環状検出器、微分位相コントラスト検出器、電子エネルギー損失分光法（ＥＥＬＳ）検出器、エネルギー分散型Ｘ線分光法（ＥＤＳ）検出器、及び二次元回折パターン検出器からなる群から選択される、請求項１に記載の装置。
【請求項3】
前記第１の検出器が、ＥＥＬＳ検出器又はＥＤＳ検出器である、請求項１に記載の装置。
【請求項4】
前記オートエンコーダが、
前記それぞれの第１の入力ベクトルを、前記潜在空間内の前記それぞれの確率密度にマッピングするように構成されたニューラルネットワークエンコーダと、
前記それぞれの確率密度に基づいて、前記それぞれの第１の出力ベクトルを生成するように構成されたニューラルネットワークデコーダと、を備え、
前記ニューラルネットワークエンコーダ及び前記ニューラルネットワークデコーダが、損失関数と、トレーニングベクトルのセットと、再構築されたトレーニングベクトルの対応するセットと、を使用してトレーニングされており、前記損失関数が、再構築損失を表す項と正則化項との和を含む、請求項１に記載の装置。
前記それぞれの第１の入力ベクトルを、前記潜在空間内の前記それぞれの確率密度にマッピングするように構成されたニューラルネットワークエンコーダと、
前記それぞれの確率密度に基づいて、前記それぞれの第１の出力ベクトルを生成するように構成されたニューラルネットワークデコーダと、を備え、
前記ニューラルネットワークエンコーダ及び前記ニューラルネットワークデコーダが、損失関数と、トレーニングベクトルのセットと、再構築されたトレーニングベクトルの対応するセットと、を使用してトレーニングされており、前記損失関数が、再構築損失を表す項と正則化項との和を含む、請求項１に記載の装置。
【請求項5】
前記電子コントローラが、平均二乗誤差（ＭＳＥ）、二乗平均平方根誤差（ＲＭＳＥ）、平均絶対誤差（ＭＡＥ）、外れ値検査、又はＨｕｂｅｒ損失に基づいてそれぞれの差異評価メトリック（ＤＥＭ）値を計算することによって、前記それぞれの第１の入力ベクトルと前記それぞれの第１の出力ベクトルとの間の差異を評価するように構成されている、請求項１に記載の装置。
【請求項6】
前記ベース画像の各ピクセルについて、前記電子コントローラが、前記それぞれのＤＥＭ値とＤＥＭ閾値との比較に基づいて、前記ピクセルを異常又は非異常としてマーキングするように構成されている、請求項５に記載の装置。
【請求項7】
前記異常マップが、前記試料のバイナリ、グレースケール、又はカラー画像であり、前記異常マップにおいて、各非異常ピクセルは黒であり、各異常ピクセルは白であり、前記それぞれのＤＥＭ値と前記ＤＥＭ閾値との間の差異に基づいてグレースケールコード化され、又は前記それぞれのＤＥＭ値と前記ＤＥＭ閾値との間の差異に基づいてカラーコード化される、請求項６に記載の装置。
【請求項8】
前記複数の検出器が、第２のモダリティのための第３の検出器を含み、
前記電子コントローラが、
前記ベース画像の各ピクセルについて、前記オートエンコーダを用いて、前記それぞれの第１の入力ベクトル及びそれぞれの第２の入力ベクトルを、前記潜在空間内の前記それぞれの確率密度に合同でマッピングすることであって、前記それぞれの第２の入力ベクトルが、前記第２のモダリティに対応し、かつ前記測定値のストリームに基づいて取得される、マッピングすることと、
前記オートエンコーダを用いて、前記それぞれの確率密度に対応するそれぞれの第２の出力ベクトルを計算することであって、第１の出力ベクトルが前記第１のモダリティに対応し、第２の出力ベクトルが前記第２のモダリティに対応する、計算することと、を行うように構成されている、請求項１に記載の装置。
前記電子コントローラが、
前記ベース画像の各ピクセルについて、前記オートエンコーダを用いて、前記それぞれの第１の入力ベクトル及びそれぞれの第２の入力ベクトルを、前記潜在空間内の前記それぞれの確率密度に合同でマッピングすることであって、前記それぞれの第２の入力ベクトルが、前記第２のモダリティに対応し、かつ前記測定値のストリームに基づいて取得される、マッピングすることと、
前記オートエンコーダを用いて、前記それぞれの確率密度に対応するそれぞれの第２の出力ベクトルを計算することであって、第１の出力ベクトルが前記第１のモダリティに対応し、第２の出力ベクトルが前記第２のモダリティに対応する、計算することと、を行うように構成されている、請求項１に記載の装置。
【請求項9】
前記オートエンコーダが、
前記それぞれの第１の入力ベクトルを、前記潜在空間の第１のプライベート部分空間における第１の確率密度にマッピングするように構成された第１のニューラルネットワークエンコーダと、
前記それぞれの第２の入力ベクトルを、前記潜在空間の第２のプライベート部分空間における第２の確率密度にマッピングするように構成された第２のニューラルネットワークエンコーダと、を備え、
前記第１のニューラルネットワークエンコーダ及び前記第２のニューラルネットワークエンコーダが、前記それぞれの第１の入力ベクトル及び前記それぞれの第２の入力ベクトルを、前記潜在空間の共有部分空間における前記それぞれの確率密度に合同でマッピングするように更に構成されている、請求項８に記載の装置。
前記それぞれの第１の入力ベクトルを、前記潜在空間の第１のプライベート部分空間における第１の確率密度にマッピングするように構成された第１のニューラルネットワークエンコーダと、
前記それぞれの第２の入力ベクトルを、前記潜在空間の第２のプライベート部分空間における第２の確率密度にマッピングするように構成された第２のニューラルネットワークエンコーダと、を備え、
前記第１のニューラルネットワークエンコーダ及び前記第２のニューラルネットワークエンコーダが、前記それぞれの第１の入力ベクトル及び前記それぞれの第２の入力ベクトルを、前記潜在空間の共有部分空間における前記それぞれの確率密度に合同でマッピングするように更に構成されている、請求項８に記載の装置。
【請求項10】
前記それぞれの第１の入力ベクトル及び前記それぞれの第２の入力ベクトルの各々が、１００～１００００の範囲内のそれぞれの次元数を有しており、
前記潜在空間が、二次元空間、四次元空間、又は八次元空間である、請求項９に記載の装置。
前記潜在空間が、二次元空間、四次元空間、又は八次元空間である、請求項９に記載の装置。
【請求項11】
前記電子コントローラが、前記測定値のストリームに処理を適用して、前記それぞれの第１の入力ベクトルを取得するように構成されており、前記処理が、外れ値ピークの除去、推定バックグラウンドの減算、スケーリング、正規化、平均化、選択された関数によるフィッティング、ビニング又は再ビニング、及びガウスカーネルフィルタリングからなる群から選択される１つ以上の動作を含む、請求項１に記載の装置。
【請求項12】
科学機器のための支援装置であって、前記支援装置は、
前記科学機器の複数の検出器から測定値のストリームを受信するように構成されたインターフェースデバイスであって、前記複数の検出器が、電子ビームと試料との相互作用によって引き起こされた信号を測定するように構成されており、かつ前記科学機器の第１のモダリティのための第１の検出器と、前記科学機器の撮像モダリティのための第２の検出器と、を含む、インターフェースデバイスと、
処理デバイスと、を備え、前記処理デバイスは、
前記撮像モダリティを使用して生成された、前記試料のベース画像の各ピクセルについて、オートエンコーダを用いて、それぞれの第１の入力ベクトルを潜在空間内のそれぞれの確率密度にマッピングすることであって、前記それぞれの第１の入力ベクトル及び前記ベース画像が、前記測定値のストリームに基づいて取得され、前記それぞれの第１の入力ベクトルが、前記第１のモダリティに対応する、マッピングすることと、
前記オートエンコーダを用いて、前記それぞれの確率密度に対応するそれぞれの第１の出力ベクトルを計算することと、
前記ベース画像の異なるピクセルに対応するそれぞれの差異に基づいて、前記試料の異常マップを生成することであって、前記それぞれの差異の各々が、前記それぞれの第１の入力ベクトルと前記それぞれの第１の出力ベクトルとの間の差異である、生成することと、を行うように構成されている、支援装置。
前記科学機器の複数の検出器から測定値のストリームを受信するように構成されたインターフェースデバイスであって、前記複数の検出器が、電子ビームと試料との相互作用によって引き起こされた信号を測定するように構成されており、かつ前記科学機器の第１のモダリティのための第１の検出器と、前記科学機器の撮像モダリティのための第２の検出器と、を含む、インターフェースデバイスと、
処理デバイスと、を備え、前記処理デバイスは、
前記撮像モダリティを使用して生成された、前記試料のベース画像の各ピクセルについて、オートエンコーダを用いて、それぞれの第１の入力ベクトルを潜在空間内のそれぞれの確率密度にマッピングすることであって、前記それぞれの第１の入力ベクトル及び前記ベース画像が、前記測定値のストリームに基づいて取得され、前記それぞれの第１の入力ベクトルが、前記第１のモダリティに対応する、マッピングすることと、
前記オートエンコーダを用いて、前記それぞれの確率密度に対応するそれぞれの第１の出力ベクトルを計算することと、
前記ベース画像の異なるピクセルに対応するそれぞれの差異に基づいて、前記試料の異常マップを生成することであって、前記それぞれの差異の各々が、前記それぞれの第１の入力ベクトルと前記それぞれの第１の出力ベクトルとの間の差異である、生成することと、を行うように構成されている、支援装置。
【請求項13】
前記複数の検出器が、高角度環状暗視野検出器、中角度環状暗視野検出器、環状明視野検出器、セグメント化環状検出器、微分位相コントラスト検出器、電子エネルギー損失分光法（ＥＥＬＳ）検出器、エネルギー分散型Ｘ線分光法（ＥＤＳ）検出器、及び二次元回折パターン検出器からなる群から選択される、請求項１２に記載の支援装置。
【請求項14】
前記第１の検出器が、ＥＥＬＳ検出器又はＥＤＳ検出器である、請求項１２に記載の支援装置。
【請求項15】
前記オートエンコーダが、
前記それぞれの第１の入力ベクトルを、前記潜在空間内の前記それぞれの確率密度にマッピングするように構成されたニューラルネットワークエンコーダと、
前記それぞれの確率密度に基づいて、前記それぞれの第１の出力ベクトルを生成するように構成されたニューラルネットワークデコーダと、を備え、
前記ニューラルネットワークエンコーダ及び前記ニューラルネットワークデコーダが、損失関数と、トレーニングベクトルのセットと、再構築されたトレーニングベクトルの対応するセットと、を使用してトレーニングされており、前記損失関数が、再構築損失を表す項と正則化項との和を含む、請求項１２に記載の支援装置。
前記それぞれの第１の入力ベクトルを、前記潜在空間内の前記それぞれの確率密度にマッピングするように構成されたニューラルネットワークエンコーダと、
前記それぞれの確率密度に基づいて、前記それぞれの第１の出力ベクトルを生成するように構成されたニューラルネットワークデコーダと、を備え、
前記ニューラルネットワークエンコーダ及び前記ニューラルネットワークデコーダが、損失関数と、トレーニングベクトルのセットと、再構築されたトレーニングベクトルの対応するセットと、を使用してトレーニングされており、前記損失関数が、再構築損失を表す項と正則化項との和を含む、請求項１２に記載の支援装置。
【請求項16】
前記処理デバイスが、平均二乗誤差（ＭＳＥ）、二乗平均平方根誤差（ＲＭＳＥ）、平均絶対誤差（ＭＡＥ）、外れ値検査、又はＨｕｂｅｒ損失に基づいてそれぞれの差異評価メトリック（ＤＥＭ）値を計算することによって、前記それぞれの第１の入力ベクトルと前記それぞれの第１の出力ベクトルとの間の差異を評価するように構成されている、請求項１２に記載の支援装置。
【請求項17】
前記ベース画像の各ピクセルについて、前記処理デバイスが、前記それぞれのＤＥＭ値とＤＥＭ閾値との比較に基づいて、前記ピクセルを異常又は非異常としてマーキングするように構成されている、請求項１６に記載の支援装置。
【請求項18】
前記異常マップが、前記試料のバイナリ、グレースケール、又はカラー画像であり、前記異常マップにおいて、各非異常ピクセルは黒であり、各異常ピクセルは白であり、前記それぞれのＤＥＭ値と前記ＤＥＭ閾値との間の差異に基づいてグレースケールコード化され、又は前記それぞれのＤＥＭ値と前記ＤＥＭ閾値との間の差異に基づいてカラーコード化される、請求項１７に記載の支援装置。
【請求項19】
科学機器に支援を提供するためにコンピューティングデバイスを介して実施される自動化された方法であって、前記方法が、
前記科学機器の複数の検出器から測定値のストリームを受信することであって、前記複数の検出器が、電子ビームと試料との相互作用によって引き起こされた信号を測定するように構成されており、かつ前記科学機器の第１のモダリティのための第１の検出器と、前記科学機器の撮像モダリティのための第２の検出器と、を含む、受信することと、
前記撮像モダリティを使用して生成された、前記試料のベース画像の各ピクセルについて、オートエンコーダを用いて、それぞれの第１の入力ベクトルを潜在空間内のそれぞれの確率密度にマッピングすることであって、前記それぞれの第１の入力ベクトル及び前記ベース画像が、前記測定値のストリームに基づいて取得され、前記それぞれの第１の入力ベクトルが、前記第１のモダリティに対応する、マッピングすることと、
前記オートエンコーダを用いて、前記それぞれの確率密度に対応するそれぞれの第１の出力ベクトルを計算することと、
前記ベース画像の異なるピクセルに対応するそれぞれの差異に基づいて、前記試料の異常マップを生成することであって、前記それぞれの差異の各々が、前記それぞれの第１の入力ベクトルと前記それぞれの第１の出力ベクトルとの間の差異である、生成することと、を含む、方法。
前記科学機器の複数の検出器から測定値のストリームを受信することであって、前記複数の検出器が、電子ビームと試料との相互作用によって引き起こされた信号を測定するように構成されており、かつ前記科学機器の第１のモダリティのための第１の検出器と、前記科学機器の撮像モダリティのための第２の検出器と、を含む、受信することと、
前記撮像モダリティを使用して生成された、前記試料のベース画像の各ピクセルについて、オートエンコーダを用いて、それぞれの第１の入力ベクトルを潜在空間内のそれぞれの確率密度にマッピングすることであって、前記それぞれの第１の入力ベクトル及び前記ベース画像が、前記測定値のストリームに基づいて取得され、前記それぞれの第１の入力ベクトルが、前記第１のモダリティに対応する、マッピングすることと、
前記オートエンコーダを用いて、前記それぞれの確率密度に対応するそれぞれの第１の出力ベクトルを計算することと、
前記ベース画像の異なるピクセルに対応するそれぞれの差異に基づいて、前記試料の異常マップを生成することであって、前記それぞれの差異の各々が、前記それぞれの第１の入力ベクトルと前記それぞれの第１の出力ベクトルとの間の差異である、生成することと、を含む、方法。
【請求項20】
コンピューティングデバイスによって実行されたときに、前記コンピューティングデバイスに、請求項１９に記載の方法を含む動作を実施させる命令を記憶する非一時的コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
様々な例は、概して、顕微鏡構成要素、機器、システム、及び方法に関する。いくつかの例は、電子顕微鏡法と様々なタイプの分光法とを組み合わせた使用を表す。
【背景技術】
【0002】
顕微鏡技術の例としては、光学顕微鏡法、荷電粒子顕微鏡法、及び走査プローブ顕微鏡法が挙げられる。例えば、荷電粒子顕微鏡法の一種である走査透過電子顕微鏡法（scanning transmission electron microscopy、ＳＴＥＭ）は、集束電子ビームを比較的薄い試料に送り、試料を通過した電子を捕捉して詳細な二次元（two-dimensional、２Ｄ）画像を生成することによって機能する。走査プローブ顕微鏡法の例示的なタイプとしては、原子間力顕微鏡法（atomic force microscopy、ＡＦＭ）、走査トンネル顕微鏡法（scanning tunnelling microscopy、ＳＴＭ）、及び近接場走査光学顕微鏡法（near-field scanning optical microscopy、ＮＳＯＭ）が挙げられる。分光法は、典型的には時間、質量、角度、波長、周波数、又はエネルギーの関数として対応する物理量のフラックスを表す、電磁スペクトル又は粒子スペクトルを測定及び解釈するために使用される。
【発明の概要】
【0003】
本明細書では、とりわけ、科学機器支援システムの様々な例、態様、特徴、及び実施形態、並びに関連する方法、装置、コンピューティングデバイス、及びコンピュータ可読媒体が開示される。いくつかの実施形態は、１つ以上の分光モダリティと撮像モダリティとを支援する検出器を含み、かつ検出器から受信された測定値のストリームを処理するように構成された電子コントローラを更に含む、科学機器を提供する。電子コントローラは、撮像モダリティに対応する測定値に基づいて試料のベース画像を生成するように動作し、また、ベース画像に基づいて、かつベース画像の異なるピクセルに対応する、測定されたスペクトルとオートエンコーダによって再構築されたスペクトルとの間の差異に更に基づいて、試料の異常マップを生成するように更に動作する。少なくともいくつかの例では、異常マップは、より詳細な検査及び／又は分析のために、試料内の特定の問題スポットを数秒以内に識別するために、品質管理手順において有益に使用することができる。
【0004】
一例は、装置を提供し、装置は、試料を横切って電子ビームを走査するように構成された電子ビームカラムと、電子ビームと試料との相互作用によって引き起こされた信号を測定するように構成された複数の検出器であって、第１のモダリティのための第１の検出器と、撮像モダリティのための第２の検出器と、を含む、複数の検出器と、電子コントローラと、を備え、電子コントローラは、複数の検出器から測定値のストリームを受信するように接続されており、かつ撮像モダリティを使用して生成された、試料のベース画像の各ピクセルについて、オートエンコーダを用いて、それぞれの第１の入力ベクトルを潜在空間内のそれぞれの確率密度にマッピングすることであって、それぞれの第１の入力ベクトル及びベース画像が、測定値のストリームに基づいて取得され、それぞれの第１の入力ベクトルが、第１のモダリティに対応する、マッピングすることと、オートエンコーダを用いて、それぞれの確率密度に対応するそれぞれの第１の出力ベクトルを計算することと、ベース画像の異なるピクセルに対応するそれぞれの差異に基づいて、試料の異常マップを生成することであって、それぞれの差異の各々が、それぞれの第１の入力ベクトルとそれぞれの第１の出力ベクトルとの間の差異である、生成することと、を行うように構成されている。
【0005】
別の例は、科学機器のための支持装置を提供し、支持装置は、科学機器の複数の検出器から測定値のストリームを受信するように構成されたインターフェースデバイスであって、複数の検出器は、電子ビームと試料との相互作用によって引き起こされた信号を測定するように構成されており、かつ科学機器の第１のモダリティのための第１の検出器と、科学機器の撮像モダリティのための第２の検出器と、を含む、インターフェースデバイスと、処理デバイスと、を備え、処理デバイスは、撮像モダリティを使用して生成された、試料のベース画像の各ピクセルについて、オートエンコーダを用いて、それぞれの第１の入力ベクトルを潜在空間内のそれぞれの確率密度にマッピングすることであって、それぞれの第１の入力ベクトル及びベース画像が、測定値のストリームに基づいて取得され、それぞれの第１の入力ベクトルが、第１のモダリティに対応する、マッピングすることと、オートエンコーダを用いて、それぞれの確率密度に対応するそれぞれの第１の出力ベクトルを計算することと、ベース画像の異なるピクセルに対応するそれぞれの差異に基づいて、試料の異常マップを生成することであって、それぞれの差異の各々が、それぞれの第１の入力ベクトルとそれぞれの第１の出力ベクトルとの間の差異である、生成することと、を行うように構成されている。
【0006】
更に別の例は、科学機器に支援を提供するためにコンピューティングデバイスを介して実施される自動化された方法を提供し、方法は、科学機器の複数の検出器から測定値のストリームを受信することであって、複数の検出器が、電子ビームと試料との相互作用によって引き起こされる信号を測定するように構成され、かつ科学機器の第１のモダリティのための第１の検出器と、科学機器の撮像モダリティのための第２の検出器とを含む、受信することと、撮像モダリティを使用して生成された、試料のベース画像の各ピクセルについて、オートエンコーダを用いて、それぞれの第１の入力ベクトルを潜在空間内のそれぞれの確率密度にマッピングすることであって、それぞれの第１の入力ベクトル及びベース画像が、測定値のストリームに基づいて取得され、それぞれの第１の入力ベクトルが、第１のモダリティに対応する、マッピングすることと、オートエンコーダを用いて、それぞれの確率密度に対応するそれぞれの第１の出力ベクトルを計算することと、ベース画像の異なるピクセルに対応するそれぞれの差異に基づいて、試料の異常マップを生成することであって、それぞれの差異の各々が、それぞれの第１の入力ベクトルとそれぞれの第１の出力ベクトルとの間の差異である、生成することと、を含む。
【0007】
更に別の例は、コンピューティングデバイスによって実行されたときに、コンピューティングデバイスに、上記の自動化された方法を含む動作を実施させる命令を記憶する非一時的コンピュータ可読媒体を提供する。
【図面の簡単な説明】
【0008】
本特許又は出願ファイルには、カラーで作成された少なくとも１つの図面が含まれる。カラー図面を含む本特許又は特許出願公開のコピーは、要求及び必要な料金の支払いに応じて、特許庁（Office）によって提供される。
【0009】
本開示の前述の態様及び多くの付随する利点が、添付図面と併せて以下の詳細な説明を参照することでより良好に理解されるので、より容易に認識されるであろう。
【図1】いくつかの実施形態による、例示的な科学機器を例解するブロック図である。
【図4】様々な実施形態による、少なくともいくつかの科学機器支援動作を実施するように構成された例示的なコンピューティングデバイスのブロック図である。
【図7A】一実施形態による、図１の科学機器を用いて獲得された電子エネルギー損失分光法（Electron Energy Loss Spectroscopy、ＥＥＬＳ）データの予備処理をグラフで例解する。
【図7B】一実施形態による、図１の科学機器を用いて獲得された電子エネルギー損失分光法（Electron Energy Loss Spectroscopy、ＥＥＬＳ）データの予備処理をグラフで例解する。
【図8A】別の実施形態による、図１の科学機器を用いて獲得されたエネルギー分散型Ｘ線分光法（Energy-Dispersive X-ray Spectroscopy、ＥＤＳ）データの予備処理をグラフで例解する。
【図8B】別の実施形態による、図１の科学機器を用いて獲得されたエネルギー分散型Ｘ線分光法（Energy-Dispersive X-ray Spectroscopy、ＥＤＳ）データの予備処理をグラフで例解する。
【発明を実施するための形態】
【0010】
本明細書における「一実施形態（one embodiment）」又は「一実施形態（an embodiment）」への言及は、その実施形態に関連して説明された特定の特徴、構造、又は特性が、本開示の少なくとも１つの実施形態に含まれ得ることを意味する。本明細書の様々な箇所における「一実施形態による（in accordance with one embodiment）」又は「一実施形態による（in accordance with an embodiment）」という句の出現は、必ずしも全てが同じ実施形態を指すわけではなく、別個の又は代替的な実施形態が他の実施形態と必ずしも相互排他的であるわけでもない。同じことが「実装形態」という用語にも当てはまる。
【0011】
図１は、いくつかの実施形態による、科学機器１００を例解するブロック図である。科学機器１００は、真空チャンバ１０８に結合された走査透過電子顕微鏡（ＳＴＥＭ）カラム１０２を含む。真空チャンバ１０８は、中に可動試料ホルダ１１０を収容し、１つ以上の真空ポンプ（図１には明示せず）を使用して排気することができる。例示的な実施形態では、試料ホルダ１１０は、ＸＹ座標平面に平行に、かつＺ座標軸に平行に独立して移動可能であり、対応する座標系は、図１に示されるＸＹＺ座標トライアドによって示される。科学機器１００を使用して調査される試料Ｓは、図１に示されるように試料ホルダ１１０に取り付けられる。
【0012】
示される例では、ＳＴＥＭカラム１０２は、電子源１１２と、２つ以上の荷電粒子ビーム（charged-particle-beam、ＣＰＢ）レンズとを備えるが、図１では、例解目的のために、そのうちの２つ、すなわち対物レンズ１０６及びコンデンサレンズ１１６のみを概略的に示す。いくつかの例では、（２とは）異なる数のそのようなレンズが、ＳＴＥＭカラム１０２内で使用されてもよい。いくつかの実施形態では、対物レンズ１０６は、超高解像度（ultra-high-resolution、ＵＨＲ）レンズであってもよい。
【0013】
動作中、電子源１１２は、ＳＴＥＭカラム１０２の長手方向軸１１５に概ね沿って伝搬する電子ビーム１１４を生成する。ＣＰＢレンズ１０６及び１１６は、電子ビーム１１４内の電子軌道に影響を及ぼす電場及び磁場を生成するように動作する。電子コントローラ１５０によって生成される制御信号１５２、１５６は、これらの場の強度及び／又は空間構成を変更し、電子ビーム１１４に所望の特性を付与するために使用される。概して、ＣＰＢレンズ１０６及び１１６、制御信号１５２及び１５６、並びに科学機器１００の他の関連構成要素を使用して、様々な動作を実施し、ビーム集束、収差緩和、開口クロッピング、フィルタリングなどの様々な機能をサポートすることができる。ＳＴＥＭカラム１０２は、電子コントローラ１５０によって印加された制御信号１５４に応答して電子ビーム１１４をステアリングすることができる、偏向ユニット１１８を更に備える。このようなビームステアリングを使用して、電子ビーム１１４の集束部分を、試料Ｓを横切る所望の経路に沿って移動させて、例えば試料Ｓのラスタ走査又はベクトル走査を実施することができる。
【0014】
科学機器１００はまた、試料Ｓに比較的近接して真空チャンバ１０８内に位置する検出器１６０、１７０、１８０を含む。動作中、検出器１６０、１７０、及び１８０は、電子コントローラ１５０によって受信される測定値１６２、１７２、及び１８２のストリームを生成する。検出器１６０、１７０、１８０の具体的なタイプは、科学機器１００の実施形態に依存し、典型的には、電子ビーム１１４に応答して作られる、試料Ｓからの異なるタイプの放出及び／又は放射を検出するのに好適な様々な検出器タイプから選択することができる。このようにして作られ得る放出／放射の例示的なタイプとしては、Ｘ線、赤外線、可視光線、紫外線、後方散乱電子、二次電子、オージェ電子、弾性散乱電子、非散乱（例えば、ゼロエネルギー損失）電子、及び非弾性散乱電子が挙げられるが、これらに限定されない。様々な実施形態では、（３とは）異なる数のそのような検出器を使用することができる（図２も参照のこと）。いくつかの実施形態では、検出器１６０、１７０、１８０は、高角度環状暗視野検出器、中角度環状暗視野検出器、環状明視野検出器、セグメント化環状検出器、微分位相コントラスト検出器、ＥＥＬＳ検出器、ＥＤＳ検出器、及び二次元ピクセル化回折パターン検出器からなる群から選択される。いくつかの例では、ＥＥＬＳ検出器は、非散乱電子を検出するように構成される。そのような例では、対応する検出信号を使用して、試料Ｓの厚さを実験的に決定することができる。上記のタイプの放出／放射のうちの様々なものを検出することができる他の検出器もまた、様々な追加の実施形態において使用することができる。
【0015】
示される例では、検出器１６０、１７０は、試料Ｓの上方に位置決めされている。検出器１８０は試料Ｓの下方に位置決めされている。本明細書では、「上方」及び「下方」という用語は、電子源１１２から試料Ｓに向かって概ねＺ座標軸に沿って伝搬する電子ビーム１１４の伝搬方向に対して使用される。この意味で、試料Ｓの「上方」にある場所は、電子ビーム１１４の上流方向に、Ｚ座標軸に沿って試料Ｓからゼロでないオフセットを有する。同様に、試料Ｓの「下方」にある場所は、電子ビーム１１４の下流方向に、Ｚ座標軸に沿って試料Ｓからゼロでないオフセットを有する。様々な追加の実施形態では、異なる数の検出器が、試料Ｓの上方及び下方に位置することができる。いくつかの実施形態では、全てのそのような検出器は、試料Ｓの下方又は上方に位置することができる。
【0016】
図２は、１つの例示的な実施形態による、科学機器１００の一部分２００を例解するブロック図である。部分２００は、科学機器１００における分光法と顕微鏡法との併用に好適な検出器構成の例示的な一例である。分光法及び顕微鏡法は両方とも、個別に試料を分析するために有用なツールであるが、分光法及び顕微鏡法は、組み合わせると更により強力な結果をもたらすことができる。示される例では、部分２００は、ＳＴＥＭ撮像能力を提供する。部分２００に実装される分光技術としては、電子エネルギー損失分光法（ＥＥＬＳ）及びエネルギー分散型Ｘ線分光法（ＥＤＳ）が挙げられるが、これらに限定されない。様々な追加の例では、他の顕微鏡法／分光法の組み合わせが実装される。
【0017】
部分２００は、図１にも示される対物レンズ１０６と、試料Ｓと、検出器１６０、１８０と、を含む。部分２００は、投影レンズ２１０と、環状検出器２２０、２３０、及び２４０と、開口２５０と、磁場セクタ２６０と、を更に含む。図２はまた、図１を参照して上述したように、試料Ｓに送達される電子ビーム１１４も概略的に示す。科学機器のＳＴＥＭ撮像モダリティは、電子ビーム１１４の伝搬方向に対して異なる散乱角を有する電子を選択する環状検出器２２０、２３０、及び２４０の、一部又は全部を使用して、試料Ｓの選択された部分にわたる電子ビーム１１４の集束部分の順次走査を伴う。このようにして実行されたピクセルごとのデータ取得を使用して、とりわけ、試料Ｓの走査領域のＳＴＥＭ画像を構築する。
【0018】
いくつかの例では、環状検出器２２０は、核によるインコヒーレント準弾性電子散乱を検出するように構成された高角度環状暗視野（high-angle annular dark field、ＨＡＡＤＦ）検出器であり、通常、８０ｍｒａｄよりも高い散乱角に対する主要な構成要素である。ＨＡＡＤＦ検出器２２０を用いて検出されるインコヒーレント電子散乱の評価に好適なモデルを適用することにより、例えば、単層材料及び薄膜中の化学種の判定、ナノワイヤ中の重原子不純物の検出、及びナノ結晶の三次元（three-dimensional、３Ｄ）形態の評価が可能になる。ＨＡＡＤＦモダリティの別の重要な用途は、金属粒子のサイズ及び触媒中のそれらの分布が触媒の効力に有意な影響を及ぼすので、不均一触媒反応研究に関連する。
【0019】
いくつかの例では、環状検出器２３０は、約３０～８０ｍｒａｄの散乱角を有する電子を検出するように構成された中角環状暗視野（medium-angle annular dark field、ＭＡＡＤＦ）検出器である。ＨＡＡＤＦモダリティとＭＡＡＤＦモダリティとの組み合わせは、例えば、結晶試料からの追加の特徴の抽出に適用される。そのような用途の一例は、電子ビーム方向に沿った原子種の順序付けに関する情報を提供することができる高次ラウエゾーン（high-order Laue zones、ＨＯＬＺ）を選択するための特定の角度範囲の設計された使用である。ＭＡＡＤＦモダリティは、ＳＴＥＭトモグラフィにおける３Ｄ欠陥解析にも適用することができる。
【0020】
いくつかの例では、環状検出器２４０は、低散乱角で電子を検出するように構成された環状明視野（annular bright field、ＡＢＦ）検出器である。ＡＢＦ検出器２４０によって生成された信号の分析から抽出される情報は、典型的に、より軽い原子種に関連する。例えば、ＨＡＡＤＦモダリティとＡＢＦモダリティとの組み合わせは、Ａｌ２Ｏ３などの金属酸化物中の酸素の原子列、及びＶＨ２などの金属水素化物中の水素の原子列の直接撮像のために使用することができる。別の例では、ＨＡＡＤＦモダリティとＡＢＦモダリティとの組み合わせを使用して、半導体用の基板として電子機器で使用されることが多いＢＮなどの単層窒化物上の化学種を明確に識別することができる。
【0021】
様々な電子顕微鏡ベースの分光技術は、典型的には、試料Ｓ上での電子ビーム１４０の走査中に生成される様々な信号から定量的及び／又は定性的情報を取得することを対象とする。適切に収集した後、分光信号は、例えば、環状検出器２２０、２３０、及び２４０並びに／又は他の好適な検出器のうちの１つ以上を用いて上で示されたように生成される、対応する電子顕微鏡画像とともに提示されるか又はその上にオーバーレイされる材料特性のマップの構築のために使用することができる。データ超立方体表現の形態のそのようなマップの一例は、図３を参照して以下でより詳細に説明される。本明細書で使用される場合、「超立方体」という用語は、三次元立方体をｎ次元に一般化することを指し、ｎは１より大きい正の整数である。様々な例では、超立方体は、単位長の辺を有するように正規化されてもよく、正規化されなくてもよい。いくつかの文献では、超立方体は、ｎ立方体又は正測体と称される。超立方体は、相互に垂直な辺を有する規則的な多面体であり、したがって超直方体である。二次元超立方体は、正方形である。三次元超立方体は、立方体である。四次元超立方体は、正八胞体（tesseract）であり、以下同様である。図３に例解する例示的なデータ構造３００は、非正規化正八胞体を表し、ＳＴＥＭ画像３０２の各元素（ｉ，ｊ）は、ＥＤＳ検出器１６０を使用して測定されたそれぞれのＥＤＳスペクトル３０４ｉ，ｊ及びＥＥＬＳ検出器１８０を使用して測定されたそれぞれのＥＥＬＳスペクトル３０６ｉ，ｊに関連付けられている。
【0022】
図２に例解するいくつかの例では、検出器１６０は、電子ビーム１１４によって刺激された試料Ｓからの特性Ｘ線の放出を検出するように構成されているＥＤＳ検出器として動作する。基底（励起されていない）状態では、試料Ｓ内の原子は、原子の内部電子殻の離散エネルギー準位に電子を有する。電子ビーム１１４と原子との相互作用は、原子の内殻から電子が飛び出すことを引き起こし得、それによって、内殻中に電子正孔（空孔）を作り出す。次いで、この電子正孔と原子の外殻（高エネルギー）からの電子との再結合が、Ｘ線光子の放出を引き起こす。そのようなＸ線光子の束及びそれらのエネルギーは、ＥＤＳ検出器１６０によって測定され、それによって対応するＸ線放出スペクトルが測定される。各化学元素は、Ｘ線放出スペクトルにおいて固有のピークのセットを有するので、ＥＤＳ検出器１６０によって測定されたＸ線スペクトルの分析を使用して、試料Ｓの元素組成を明らかにすることができる。
【0023】
図２に例解するいくつかの例では、検出器１８０は、開口２５０によって選択された狭い角度範囲内で伝搬する電子ビーム１４０の非弾性散乱電子を検出するように構成されている、ＥＥＬＳ検出器として動作する。開口２５０を通過する電子は、磁場セクタ２６０を更に通過し、電子は、ＥＥＬＳ検出器１８０に衝突する前に磁場によって角度分散される。したがって、ＥＥＬＳ検出器１８０の異なるピクセルは、異なるそれぞれのエネルギーの電子を受け取り、ピクセル読み出しは、対応するエネルギー損失スペクトルを提供する。このようにして測定されたエネルギー損失の量は、エネルギー損失の原因が何であったかを解明することができる。例えば、ＥＥＬＳ検出器１８０によって検出可能なエネルギー損失を引き起こし得る非弾性相互作用としては、フォノン励起、バンド間及びバンド内遷移、プラズモン励起、内殻イオン化、及びチェレンコフ放射が挙げられる。ＥＥＬＳ検出器１８０によって検出される内殻イオン化は、試料Ｓの元素組成を検出するのに特に有用であり得る。
【0024】
図３は、一例による、科学機器１００で使用されるデータ構造３００を図式的に例解する。データ構造３００は、例えば、環状検出器２２０、２３０、及び２４０又は他の好適な検出器のうちの１つ以上を用いて実施された測定に基づいて、科学機器１００のＳＴＥＭモダリティを使用して生成された、試料ＳのＳＴＥＭ画像３０２を含む。ＳＴＥＭ画像３０２は、ピクセル化された画像であり、各ピクセルは、それぞれの座標（ｘｉ，ｙｊ）及びピクセル値Ｐｉ，ｊによって特徴付けられ、（ｉ，ｊ）はピクセルインデックスである。画像３０２のタイプに応じて、ピクセル値Ｐｉ，ｊは、スカラー（例えば、強度値）又はベクトル（例えば、ＲＧＢカラーベクトル）であり得る。１つのチャネル測定に対して、ピクセル値Ｐｉ，ｊは、典型的には、グレースケールにマッピングされる。座標（ｘｉ，ｙｉ）は、一般に、図１～図２に示されるＸＹＺ座標系のＸＹ座標平面におけるピクセルの位置を表す。各ピクセル（ｘｉ，ｙｉ）について、ピクセル値Ｐｉ，ｊに加えて、データ構造３００は、ＥＤＳ検出器１６０を使用して測定されたそれぞれのＥＤＳスペクトル３０４ｉ，ｊと、ＥＥＬＳ検出器１８０を使用して測定されたそれぞれのＥＥＬＳスペクトル３０６ｉ，ｊとを含む。
【0025】
一例として、ＳＴＥＭ画像３０２の（ｉ，ｊ）番目及び（ｋ，ｌ）番目のピクセルは、データ構造３００の正八胞体表現の画像ファセット上にマークされる。ＳＴＥＭ画像３０２の（ｉ，ｊ）番目のピクセルについて、データ構造３００は、ピクセル値Ｐｉ，ｊ、ＥＤＳスペクトル３０４ｉ，ｊ、及びＥＥＬＳスペクトル３０６ｉ，ｊを含む。例解のために、図３にはＥＤＳスペクトル３０４ｉ，ｊのみが明示的に示されている。同様に、ＳＴＥＭ画像３０２の（ｋ，ｌ）番目のピクセルについて、データ構造３００は、ピクセル値Ｐｋ，ｌ、ＥＤＳスペクトル３０４ｋ，ｌ、及びＥＥＬＳスペクトル３０６ｋ，ｌを含む。例解のために、図３にはＥＥＬＳスペクトル３０６ｋ，ｌのみが明示的に示されている。
【0026】
科学機器１００の対応する実施形態で使用される検出器の特定のセット及び／又は分光モダリティに応じて、他のデータ構造（一般にデータ構造３００に類似する）を同様に生成することができる。いくつかの例では、そのような他のデータ構造は、データ構造３００よりも多い又は少ない次元を有し得る。様々な実施形態では、科学機器１００のための検出器の異なるセットは、環状暗視野検出器（例えば、２２０、２３０）、環状明視野検出器（例えば、２４０）、ＥＤＳ検出器（例えば、１６０）、ＥＥＬＳ検出器（例えば、２６０、１８０）、微分位相差（ＤＰＣ）検出器、及び２Ｄ回折パターン検出器を含む、検出器の群から選択することができるが、これらに限定されない。いくつかの例では、２Ｄ回折パターン検出器は、様々な電子回折パターンを捕捉及び記録するために使用される蛍光スクリーンを備える。いくつかの例では、２Ｄ回折パターン検出器はピクセル化される。
【0027】
一例では、ＤＰＣ ＳＴＥＭ検出器は、例えば直径方向に対向する２つの象限セグメントを有するセグメント化環状検出器を含む。検出器セグメントの代表的な角度範囲は、約１５ｍｒａｄ～約３０ｍｒａｄである。ＤＰＣ ＳＴＥＭ信号は、２つの正反対の象限セグメントによって生成された個々の信号の差をとることによって生成される。位相物体とみなすことができる弱散乱試料Ｓの場合、ＤＰＣ ＳＴＥＭ画像は、対向する検出器セグメントの方向にとられた試料の電磁場の勾配を表す。部分オングストローム分解能でのＤＰＣ ＳＴＥＭ撮像の実装により、実質的に単一原子のレベルでの局所電磁場の直接特徴付けが有利に可能となる。例えば、各ドメイン内のメゾスコピック分極場と、ＢａＴｉＯ３などの様々な技術的強誘電性酸化物の各単位セル内の個々の電気双極子によって誘導される原子スケールの電場との両方を、ＤＰＣ ＳＴＥＭ撮像によって高感度に検出することができる。
【0028】
別の例では、四次元（four-dimensional、４Ｄ）ＳＴＥＭを実装するために、２Ｄピクセル化回折パターン検出器が使用される。４Ｄ ＳＴＥＭは、ＳＴＥＭ画像３０２の各ピクセルについて完全な２Ｄ回折パターンを捕捉する技術である。この能力は、高速直接電子検出器技術の開発によって可能になった比較的最近の進歩である。比較のために、この開発以前、完全な２Ｄ回折パターンは、典型的には、その１つ又は２つの部分においてのみサンプリングされ、それによって、回折信号情報の大部分が捕捉されないままにされていた。典型的な４Ｄ ＳＴＥＭ出力は、４Ｄデータセットを含み、回折信号は、座標（ｘｉ，ｙｉ，Ｘｊ，Ｙｊ）の関数として表示され、式中、座標（ｘｉ，ｙｉ）は、ＳＴＥＭ画像３０２におけるｉ番目のピクセル座標であり、座標（Ｘｊ，Ｙｊ）は、２Ｄピクセル化回折パターン検出器におけるｊ番目のピクセル座標である。４Ｄ ＳＴＥＭの１つの重要な用途は、仮想撮像に関する。４Ｄ ＳＴＥＭの別の重要な用途は、ＤＰＣ ＳＴＥＭ撮像に関する。
【0029】
図４は、様々な実施形態による、少なくともいくつかの科学機器支援動作を実施するように構成された例示的なコンピューティングデバイス４００のブロック図である。例えば、いくつかの実施形態では、コンピューティングデバイス４００は、電子コントローラ１５０（図１も参照のこと）の少なくともいくつかの動作を実施する。様々な実施形態では、科学機器１００の支援モジュールは、単一のコンピューティングデバイス４００によって、又は複数のコンピューティングデバイス４００によって実装され得る。
【0030】
図４のコンピューティングデバイス４００は、いくつかの構成要素を有するものとして例解されているが、これらの構成要素のうちのいずれか１つ以上は、用途及び設定に好適なものであるように、省略又は複製され得る。いくつかの実施形態では、コンピューティングデバイス４００に含まれる構成要素の一部又は全部は、１つ以上のマザーボードに取り付けられ、筐体に封入され得る。いくつかの実施形態では、これらの構成要素の一部は、単一のシステムオンチップ（system-on-a-chip、ＳｏＣ）上に製作され得る（例えば、ＳｏＣは、１つ以上の処理デバイス４０２及び１つ以上の記憶デバイス４０４を含み得る）。加えて、様々な実施形態では、コンピューティングデバイス４００は、図４に例解される１つ以上の構成要素を含まない場合があるが、任意の好適なインターフェース（例えば、ユニバーサルシリアルバス（Universal Serial Bus、ＵＳＢ）インターフェース、高精細マルチメディアインターフェース（High-Definition Multimedia Interface、ＨＤＭＩ（登録商標））インターフェース、コントローラエリアネットワーク（Controller Area Network、ＣＡＮ）インターフェース、シリアルペリフェラルインターフェース（Serial Peripheral Interface、ＳＰＩ）インターフェース、イーサネットインターフェース、無線インターフェース、又は任意の他の好適なインターフェース）を使用して１つ以上の構成要素に結合するためのインターフェース回路を含み得る。例えば、コンピューティングデバイス４００は、表示デバイス４１０を含まない場合があるが、外部表示デバイス４１０が結合され得る表示デバイスインターフェース回路（例えば、コネクタ及びドライバ回路）を含み得る。
【0031】
コンピューティングデバイス４００は、処理デバイス４０２（例えば、１つ以上の処理デバイス）を含み得る。本明細書で使用される場合、「処理デバイス」という用語は、レジスタ及び／又はメモリからの電子データを処理して、その電子データをレジスタ及び／又はメモリに記憶され得る他の電子データに変換する、任意のデバイス又はデバイスの一部分を指す。様々な実施形態では、処理デバイス４０２は、１つ以上のデジタル信号プロセッサ（digital signal processor、ＤＳＰ）、特定用途向け集積回路（application-specific integrated circuit、ＡＳＩＣ）、中央処理ユニット（central processing unit、ＣＰＵ）、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）、サーバプロセッサ、又は任意の他の好適な処理デバイスを含み得る。
【0032】
コンピューティングデバイス４００はまた、記憶デバイス４０４（例えば、１つ以上の記憶デバイス）を含んでもよい。様々な実施形態では、記憶デバイス４０４は、ランダムアクセスメモリ（random-access memory、ＲＡＭ）デバイス（例えば、スタティックＲＡＭ（static RAM、ＳＲＡＭ）デバイス、磁気ＲＡＭ（magnetic RAM、ＭＲＡＭ）デバイス、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）デバイス、抵抗性ＲＡＭ（resistive RAM、ＲＲＡＭ）デバイス、又は導電性ブリッジＲＡＭ（conductive-bridging RAM、ＣＢＲＡＭ）デバイス）、ハードドライブベースのメモリデバイス、ソリッドステートメモリデバイス、ネットワークドライブ、クラウドドライブ、又はメモリデバイスの任意の組み合わせなどの、１つ以上のメモリデバイスを含み得る。いくつかの実施形態では、記憶デバイス４０４は、処理デバイス４０２とダイを共有するメモリを含み得る。そのような実施形態では、メモリは、キャッシュメモリとして使用され得、例えば、埋め込み型ダイナミックランダムアクセスメモリ（embedded dynamic random-access memory、ｅＤＲＡＭ）又はスピントランスファートルク磁気ランダムアクセスメモリ（spin transfer torque magnetic random-access memory、ＳＴＴ－ＭＲＡＭ）を含む。いくつかの実施形態では、記憶デバイス４０４は、命令を有する非一時的コンピュータ可読媒体を含み得、命令は、１つ以上の処理デバイス（例えば、処理デバイス４０２）によって実行されたときに、コンピューティングデバイス４００に、本明細書の以下に開示される方法のうちの任意の適切な方法、又はそのような方法の部分を実施させる。
【0033】
コンピューティングデバイス４００は、インターフェースデバイス４０６（例えば、１つ以上のインターフェースデバイス４０６）を更に含む。様々な実施形態では、インターフェースデバイス４０６は、コンピューティングデバイス４００と他のコンピューティングデバイスとの間の通信を管理するために、１つ以上の通信チップ、コネクタ、並びに／又は他のハードウェア及びソフトウェアを含み得る。例えば、インターフェースデバイス４０６は、コンピューティングデバイス４００との間でデータを転送するための無線通信を管理する回路を含み得る。「無線」という用語及びその派生語は、非固体媒体を介して変調された電磁放射を介してデータを通信し得る回路、デバイス、システム、方法、技術、通信チャネルなどを説明するために使用され得る。この用語は、関連するデバイスがいかなるワイヤを含まないことを意味するものではないが、いくつかの実施形態では含まない場合もある。無線通信を管理するためにインターフェースデバイス４０６に含まれる回路は、Ｗｉ－Ｆｉ（ＩＥＥＥ８０２．１１ファミリ）、ＩＥＥＥ８０２．１６規格を含む米国電気電子学会（Institute for Electrical and Electronic Engineers、ＩＥＥＥ）規格、任意の修正、更新、及び／又は改訂を伴うロングタームエボリューション（Long-Term Evolution、ＬＴＥ）プロジェクト（例えば、アドバンストＬＴＥプロジェクト、ウルトラモバイルブロードバンド（ultra-mobile broadband、ＵＭＢ）プロジェクト（「３ＧＰＰ（登録商標）２」とも称される）など）を含む、複数の無線規格又はプロトコルのいずれかを実装し得るが、これらに限定されない。いくつかの実施形態では、無線通信を管理するためのインターフェースデバイス４０６に含まれる回路は、モバイル通信用グローバルシステム（Global System for Mobile Communication、ＧＳＭ）、汎用パケット無線サービス（General Packet Radio Service、ＧＰＲＳ）、ユニバーサルモバイル電気通信システム（Universal Mobile Telecommunications System、ＵＭＴＳ）、高速パケットアクセス（High Speed Packet Access、ＨＳＰＡ）、進化型ＨＳＰＡ（Evolved HSPA、Ｅ－ＨＳＰＡ）、又はＬＴＥネットワークに従って動作し得る。いくつかの実施形態では、無線通信を管理するためにインターフェースデバイス４０６に含まれる回路は、ＧＳＭ進化型高速データ（Enhanced Data for GSM Evolution、ＥＤＧＥ）、ＧＳＭ ＥＤＧＥ無線アクセスネットワーク（GSM EDGE Radio Access Network、ＧＥＲＡＮ）、ユニバーサル地上無線アクセスネットワーク（Universal Terrestrial Radio Access Network、ＵＴＲＡＮ）、又は進化型ＵＴＲＡＮ（Evolved UTRAN、Ｅ－ＵＴＲＡＮ）に従って動作し得る。いくつかの実施形態では、無線通信を管理するためのインターフェースデバイス４０６に含まれる回路は、符号分割多元接続（Code Division Multiple Access、ＣＤＭＡ）、時分割多元接続（Time Division Multiple Access、ＴＤＭＡ）、デジタル拡張コードレス通信（Digital Enhanced Cordless Telecommunications、ＤＥＣＴ）、進化データ最適化（Evolution-Data Optimized、ＥＶ－ＤＯ）、及びその派生物、及び３Ｇ、４Ｇ、５Ｇ、並びにそれ以降として指定されている任意の他の無線プロトコルに従って動作し得る。いくつかの実施形態では、インターフェースデバイス４０６は、無線信号を受信及び／又は送信するように構成された１つ以上のアンテナ（例えば、１つ以上のアンテナアレイ）を含み得る。
【0034】
いくつかの実施形態では、インターフェースデバイス４０６は、電気的、光学的、又は任意の他の好適な通信プロトコルなどの有線通信を管理するための回路を含み得る。例えば、インターフェースデバイス４０６は、イーサネット技術に従って通信を支援する回路を含み得る。いくつかの実施形態では、インターフェースデバイス４０６は、無線通信及び有線通信の両方をサポートし得、並びに／又は複数の有線通信プロトコル及び／若しくは複数の無線通信プロトコルをサポートし得る。例えば、インターフェースデバイス４０６の回路の第１のセットは、Ｗｉ－Ｆｉ又はＢｌｕｅｔｏｏｔｈなどの短距離無線通信専用であり得、インターフェースデバイス４０６の回路の第２のセットは、全地球測位システム（global positioning system、ＧＰＳ）、ＥＤＧＥ、ＧＰＲＳ、ＣＤＭＡ、ＷｉＭＡＸ、ＬＴＥ、ＥＶ－ＤＯ、又はその他などの長距離無線通信専用であり得る。いくつかの他の実施形態では、インターフェースデバイス４０６の回路の第１のセットは、無線通信専用であり得、インターフェースデバイス４０６の回路の第２のセットは、有線通信専用であり得る。
【0035】
コンピューティングデバイス４００はまた、バッテリ／電源回路４０８も含む。様々な実施形態では、バッテリ／電源回路４０８は、１つ以上のエネルギー貯蔵デバイス（例えば、バッテリ若しくはキャパシタ）、及び／又はコンピューティングデバイス４００の構成要素をコンピューティングデバイス４００とは別個のエネルギー源に（例えば、ＡＣライン電源に）結合するための回路を含み得る。
【0036】
コンピューティングデバイス４００はまた、表示デバイス４１０（例えば、１つ又は複数の個別の表示デバイス）も含み得る。様々な実施形態では、表示デバイス４１０は、ヘッドアップディスプレイ、コンピュータモニタ、プロジェクタ、タッチスクリーンディスプレイ、液晶ディスプレイ（liquid crystal display、ＬＣＤ）、発光ダイオードディスプレイ、又はフラットパネルディスプレイなどの任意の視覚インジケータを含み得る。
【0037】
コンピューティングデバイス４００はまた、追加の入力／出力（ｉｎｐｕｔ／ｏｕｔｐｕｔ、Ｉ／Ｏ）デバイス４１２も含み得る。様々な実施形態では、Ｉ／Ｏデバイス４１２は、１つ以上のデータ／信号転送インターフェース、オーディオＩ／Ｏデバイス（例えば、マイクロフォン又はマイクロフォンアレイ、スピーカ、ヘッドセット、イヤホン、アラームなど）、オーディオコーデック、ビデオコーデック、プリンタ、センサ（例えば、熱電対又は他の温度センサ、湿度センサ、圧力センサ、振動センサなど）、画像捕捉デバイス（例えば、１つ以上のカメラ）、ヒューマンインターフェースデバイス（例えば、キーボード、マウス、スタイラス、トラックボール、又はタッチパッドなどのカーソル制御デバイス）などを含み得る。
【0038】
科学機器１００及び／又は機器部分２００の特定の実施形態に応じて、インターフェースデバイス４０６及び／又はＩ／Ｏデバイス４１２の様々な構成要素は、科学機器１００の様々な構成要素のための好適な制御信号（例えば、１５２、１５４、１５６）を出力し、科学機器１００の様々な構成要素から好適な制御信号／遠隔測定信号を受信し、かつ科学機器１００の様々な検出器から測定値（例えば、１６２、１７２、１８２）のストリームを受信するように構成することができる。いくつかの例では、インターフェースデバイス４０６及び／又はＩ／Ｏデバイス４１２は、受信されたアナログ信号を、処理デバイス４０２及び／又は記憶デバイス４０４によって実施される動作に好適なデジタル形式に変換するための１つ以上のアナログデジタル変換器（analog-to-digital converter、ＡＤＣ）を含む。いくつかの追加の例では、インターフェースデバイス４０６及び／又はＩ／Ｏデバイス４１２は、処理デバイス４０２及び／又は記憶デバイス４０４によって提供されるデジタル信号を、科学機器１００の対応する構成要素に通信されるのに好適なアナログ形式に変換するための１つ以上のデジタルアナログ変換器（digital-to-analog converter、ＤＡＣ）を含む。
【0039】
科学機器１００のいくつかの産業用途では、科学機器１００に統合された様々な分光モダリティは、品質管理のために、例えば合成された材料及び／又は製造された（マイクロ／ナノ）構造が適用可能な仕様を満たすかどうかを判定するために、利用される。そのような分光技術（例えば、ＥＤＳ、ＥＥＬＳ）のうちのいくつかでは、高速測定（例えば、分光データ収集を含む）は、比較的低い信号対雑音比（signal-to-noise-ratio、ＳＮＲ）値を伴う信号を作る。この低いＳＮＲ値のために、例えば、反復取得実行、ビニング、平均化、主成分分析（principal component analysis、ＰＣＡ）などを含む特定のタイプの信号処理が、典型的には、決定的な品質管理決定に到達するために適用される。これらの信号処理方法のいくつかの制限の例は、特に比較的広い視野及び／又は比較的高い空間解像度に対応するデータセットに適用されるときに、これらの信号処理方法論は時間集約的であり得ることがある。別の例として、ＰＣＡは、典型的には、低損失ＥＥＬＳに対して観察される非線形効果又はチャネリングに起因する非線形効果などの非線形効果を扱うことを意図しない線形技術であることに留意されたい。そのような制限により、典型的には、機器のユーザ／オペレータが、試料Ｓに適用されている品質管理基準に関して十分に明確な実質的、定性的、及び／又は定量的な指標を得ることができるまでに、不利に長い時間（例えば、数時間）を要することになる。
【0040】
従来技術における上述の問題及び場合によってはいくつかの他の関連する問題は、本明細書に開示される少なくともいくつかの実施形態を使用して有益に対処される。１つの例示的な実施形態は、品質管理手順を高速化するために深層学習技術を使用する。より具体的には、ニューラルネットワークを使用して実装される変分オートエンコーダは、データセットの基礎となる統計を学習し、試料Ｓの異なるそれぞれの化学的又は構造的特徴を表す異なるクラスタを定義することによって、学習された統計をより低次元の潜在空間において視覚化するようにトレーニングされる。例えば、２つのスペクトルが類似している場合、トレーニングされた変分オートエンコーダは、そのようなスペクトルを、典型的には同じクラスタ内に位置する潜在空間内の近くの「点」に「符号化」する。潜在空間内の特定のクラスタに対する様々な獲得されたスペクトルのそのような「符号化」に基づいて、対応する科学機器支援システムは、検出された信号が比較的低いＳＮＲ値を有する場合であっても、試料Ｓ内の化学的に類似した領域を識別し強調することができる。その結果、対応する科学機器支持システムは、上述した時間集約的な信号処理方法論に依存することなく、実質的にリアルタイムで（例えば、数時間ではなく数秒以内に）、試料Ｓに関する適切な化学的及び／又は構造的情報を、科学機器１００のユーザ／オペレータに有益に提供することが可能となる。別の実施形態は、トレーニングされた変分オートエンコーダに依存して、実質的にリアルタイムで、獲得された低ＳＮＲスペクトルが予期される試料特性からの有意かつ有意義な偏差を示す、試料Ｓにおける異常領域を識別する。品質管理手順において、このような異常領域は、潜在的な問題スポットとして特に関心事である。そのような異常領域の識別に基づいて、科学機器１００のユーザ／オペレータは、例えば、より高い倍率及び／又は好適な適応走査パターンを適用することによって、特定の問題スポットをより詳細に調査するために、機器の実験設定を有益に変更（例えば、最適化）することができる。
【0041】
図５は、いくつかの実施形態による、科学機器１００で使用されるオートエンコーダ５００を例解するブロック図である。いくつかの例では、オートエンコーダ５００は、例えば上で説明したように、科学機器１００の関連する構成要素に適切に結合されたコンピューティングデバイス４００を使用して実装される。オートエンコーダ５００は、エンコーダ５１０及びデコーダ５２０を含む。エンコーダ５１０及びデコーダ５２０の各々は、それぞれのニューラルネットワークを備える。
【0042】
本明細書において、ニューラルネットワーク（neural network、ＮＮ）は、典型的には非線形のトレーニング可能な回路であり、「ニューロン」、「人工ニューロン」、又は「ＮＮノード」とも称される複数の処理要素（processing element、ＰＥ）を備える。いくつかの実装形態では、ニューラルネットワークは特定用途向け回路であり、異なるＰＥは、対応する物理ネットワークを形成する物理リンクによって接続されたそれぞれの構成可能な部分回路として実装される。いくつかの他の実装形態では、ニューラルネットワークは、コンピュータエミュレート又はプロセッサエミュレートされてもよく、その場合、１つ以上の電子プロセッサ（例えば、図４の４０２）は、対応する特定用途向け回路の信号処理と類似の信号処理を実施するようにプログラムされる。
【0043】
ニューラルネットワークの各ＰＥは、典型的に、１つ以上の他のＰＥとの接続を有する。（物理的又はコンピュータエミュレートされた）ＰＥ間の複数の接続は、ニューラルネットワークのトポロジを定義する。いくつかのトポロジでは、ＰＥは層に集約される。異なる層は、それらの入力に対して異なるそれぞれの種類の変換を実施するように構成された異なるタイプのＰＥを有してもよい。信号は、第１のＰＥ層（典型的には入力層と称される）から最後のＰＥ層（典型的には出力層と称される）に進む。いくつかのトポロジでは、ニューラルネットワークは、入力ＰＥ層と出力ＰＥ層との間に位置する１つ以上の中間ＰＥ層（典型的には隠れ層と称される）を有する。例示的なＰＥは、着信信号をスケーリングし、合計し、バイアスし、活性化関数を使用して、バイアスされた合計の静的非線形関数である出力信号を作るように動作する。結果として生じるＰＥ出力は、ニューラルネットワークの出力のうちのいずれか１つになり得るか、又は対応する接続を通して１つ以上の他のＰＥに送信され得る。個々のＰＥによって適用されるそれぞれの重み及び／又はバイアスは、トレーニング（学習）動作モード中に変更（例えば、最適化）することができ、典型的に、テスト（作業）動作モード中に固定（すなわち、一定に）される。
【0044】
ＮＮエンコーダ５１０への入力は、Ｋ次元（K-dimensional、ＫＤ）ベクトル５０２である。ＮＮエンコーダ５１０の構成は、θで表される、重みとバイアスとのセットを含む。いくつかの例では、ＮＮエンコーダ５１０の出力は、ｋ次元（ｋＤ）ベクトル５１２であり、ここで、ｋ＜Ｋである。ｋＤベクトル５１２は隠れ表現とも称される。ベクトル５１２に対応するｋＤ空間は、潜在空間と称される。以下では、ＮＮエンコーダ５１０によって実施される変換は、ｑθ（ｚ｜ｘ）で表され、式中、ｚ及びｘは、それぞれ、対応するｋＤ及びＫＤベクトルを表す。変分オートエンコーダ５００の場合、潜在空間は確率的であり、すなわちＮＮエンコーダ５１０は、パラメータを、ｑθ（ｚ｜ｘ）に確率密度として出力する。いくつかの例では、確率密度はガウス確率密度である。そのような例では、ＮＮエンコーダ５１０は、入力ベクトル５０２を、潜在空間における平均及び分散にマッピングする。次に、ＮＮデコーダ５２０は、潜在分布をサンプリングして復号動作を実施するように動作する。ＮＮデコーダ５２０への入力は、ｋＤベクトル５１２である。ＮＮデコーダ５１０の構成は、φで表される、重みとバイアスとのセットを含む。ＮＮデコーダ５２０の出力は、ＫＤベクトル５２２である。以下では、ＮＮデコーダ５２０によって実施される変換は、ｐφ（ｘ｜ｚ）で表される。様々な追加の実施形態では、オートエンコーダ５００の他のエンコーダ／デコーダアーキテクチャが同様に使用される。そのような追加の実施形態のいくつかは、以下の特徴を有する。（ｉ）比較的大きいメモリ層に関連付けられるｋ＞Ｋ、及び（ｉｉ）そのようなより大きいｋ次元から小さい次元に移行するためのＰＣＡの使用。
【0045】
ｋはＫより小さいので、ＮＮエンコーダ５１０は次元削減を実施する。機械学習において、「次元削減」とは、データを記述する特徴の数を削減するプロセスである。特徴の数は、典型的には、選択（既存の特徴の一部のみが保存される）又は抽出（古い特徴に基づいて、削減された数の新しい特徴が作成される）のいずれかによって削減される。次元削減は、低次元データに依存する多くのアプリケーションにおいて有用であり得る。次元削減は、データ圧縮として解釈することもでき、エンコーダ５１０はデータを初期空間から潜在空間に圧縮し、デコーダ５２０はデータを圧縮解除する。初期データ分布、潜在空間次元数、及びエンコーダ定義に応じて、データ圧縮は不可逆である可能性があり、これは、情報の一部が符号化プロセス中に損失し、復号によって完全に回復することができないことを意味する。例えば、情報損失に起因して、出力ベクトル５２２は、典型的には、入力ベクトル５０２とは異なる。情報損失の尺度は、再構築対数尤度ｌｏｇｐφ（ｘ｜ｚ）である。この尺度は、それぞれの潜在表現５１２が与えられた入力ベクトル５０２を再構築するためにＮＮデコーダ５２０がどの程度効果的に学習したかの尺度である。
【0046】
オートエンコーダ５００のための重みとバイアスとのセットであるθ及びφは、損失関数に基づいてトレーニング（学習）動作モード中に決定される。変分オートエンコーダ５００の損失関数は、正則化項を使用して負の対数尤度を使用して構築される。いくつかの例では、総損失関数Ｌ（θ，φ，ｘ，ｚ）は、損失関数ｌｉ（θ，φ）の和に分解され、以下のように個々の入力ベクトルｘｉに対応する。
【0047】
【数1】
式中、関数ｌｉ（θ，φ）は、以下で表される。
【0048】
【数2】
式中、第１項は、予測される負の対数尤度Ｅの形態のベクトルｘｉの再構築損失を表し、第２項は、エンコーダの分布ｑθ（ｚ｜ｘ）と潜在空間分布ｐ（ｚ）との間の重み付けされたカルバックライブラー（Kullback-Leibler、ＫＬ）ダイバージェンス（divergence、Ｄ）の形態の正則化項であり、βは、正の重み付け係数である。いくつかの例では、重み係数はβ＝１である。式（２）によって表される損失関数の第１項は、データを良好に再構築する方法を学習するようにデコーダ５２０を「奨励」する。デコーダの出力ベクトル５２２が入力ベクトル５０２を良好に再構築しない場合、統計的言語では、デコーダ５２０が、真のデータに多くの確率質量を配置しない尤度分布をパラメータ化することを意味する。不十分な再構築は、式（１）～（２）によって表される損失関数に従って大きいコストを招く。潜在事後分布と（ガウス）事前分布との間のＫＬダイバージェンスは、その分布をガウス分布に近づけることによって正則化された潜在空間を維持する。例えば、エンコーダ５１０が、標準正規ガウス分布とは異なる潜在表現ｚを出力するとき、式（１）～（２）によって表される損失関数は、対応するペナルティを課す。正則化項がない場合、エンコーダ５１０は、潜在空間の異なる領域における表現を各入力ベクトルに与えてもよい。しかしながら、正則化項は、「類似の」入力ベクトルの表現を潜在空間において互いに近くに保つ効果を有する。
【0049】
いくつかの例では、トレーニング動作モード中に、オートエンコーダ５００は、エンコーダ５１０のパラメータθ及びデコーダ５２０のパラメータφに関する損失関数Ｌ（θ，φ，ｘ，ｚ）をほぼ最小化するために、好適な勾配降下法を使用して、トレーニングセット｛ｘｉ｝でトレーニングされる。例えば、ステップサイズρを有する確率的勾配降下の場合、エンコーダパラメータθは、以下のように、ｌｏｏｓ関数の勾配に基づいて再帰的かつ反復的に更新される。
【0050】
【数3】
デコーダパラメータφも同様にして更新される。収束基準が満たされると、反復は停止する。パラメータθ及びφは、その後、オートエンコーダ５００の試験（作業）動作モードで使用されるために固定される。
【0051】
いくつかの例では、ベクトル５０２、５１２、及び５２２は、科学機器１００の単一のモダリティを表す。そのような例では、入力ベクトル５０２は、科学機器１００の対応する分光モダリティを用いて生成された単一スペクトルである。特定の一例では、入力ベクトル５０２はＥＤＳスペクトル３０４ｎである。別の特定の例では、入力ベクトル５０２はＥＥＬＳスペクトル３０６ｍである。更なる特定の例では、科学機器１００の対応する分光モダリティで使用される別の単一検出器の出力は、入力ベクトル５０２を取得するために同様に使用される。いくつかの例では、潜在空間の次元数はｋ＝２であり、これは、ユーザ／オペレータが視認して検査するために潜在空間を比較的簡単に視覚化するのに役立つ。他の例では、他の次元値ｋが同様に使用される。
【0052】
様々な例では、混合ガウスモデル（Gaussian Mixture model、ＧＭＭ）が、例えば、トレーニングデータセットの潜在空間表現をクラスタリングすることによって、潜在空間を分類するために使用される。ＧＭＭは、ｄ個のガウス分布（数ｄはパラメータである）を、これらのガウス分布によって生成されるデータの尤度が最大になるように（例えば、期待値最大化アルゴリズムに基づいて）潜在空間データに適合させる。ＧＭＭの使用は、例えば、符号化されたデータが、変分オートエンコーダの事前の性質に起因してガウス分布にほぼ従うことが予想されるので、変分オートエンコーダに好適である。いくつかの例では、数ｄは、ＢＩＣ（Ｂａｙｅｓｉａｎ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｒｉｔｅｒｉｏｎ、ベイズ情報量基準）及び／又はＡＩＣ（Ａｋａｉｋｅ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｒｉｔｅｒｉｏｎ、赤池情報量基準）を使用してエルボー法ヒューリスティックに基づいて決定される。各ＧＭＭに対して、クラスタリングが数回（例えば、１０回）実施され、いくつかの分類の中から最良のクラスタ分類が、特徴（例えば、化学元素）分散に基づいて、それがトレーニングデータセットに関連するときに選択される。いくつかの例では、雑音を用いたアプリケーションの密度ベースの空間クラスタリング（Density-Based Spatial Clustering of Applications with Noise、ＤＢＳＣＡＮ）アルゴリズムが、密度ベースのクラスタリングのために使用される。
【0053】
いくつかの他の例では、ベクトル５０２、５１２、及び５２２は、科学機器１００の２つの分光モダリティを表す。そのような例では、入力ベクトル５０２は、科学機器１００の検出器の対応する選択された対を使用して生成された、２つのスペクトルの組み合わせである。特定の一例では、入力ベクトル５０２は、ＥＤＳスペクトルとＥＥＬＳスペクトルとの組み合わせ（例えば、連結）（３０４，３０６）ｉ，ｊである（図３も参照のこと）。他の特定の例では、科学機器１００の対応する実施形態で使用される他の検出器対の出力は、入力ベクトル５０２を取得するために同様に使用される。いくつかの実施形態は、２０２１年８月２日にＡｒｔｉｆｉｃｉａｌ Ｉｎｔｅｌｌｉｇｅｎｃｅに提出されたプレプリント「Ｍｕｌｔｉｍｏｄａｌ Ｖａｒｉａｔｉｏｎａｌ Ａｕｔｏｅｎｃｏｄｅｒｓ ｆｏｒ Ｓｅｍｉ－Ｓｕｐｅｒｖｉｓｅｄ Ｌｅａｒｎｉｎｇ：Ｉｎ Ｄｅｆｅｎｓｅ ｏｆ Ｐｒｏｄｕｃｔ－ｏｆ－Ｅｘｐｅｒｔｓ」と題されたＳｖｅｔｌａｎａ Ｋｕｔｕｚｏｖａ，Ｏｓｗｉｎ Ｋｒａｕｓｅ，Ｄｏｕｇｌａｓ ＭｃＣｌｏｓｋｅｙ，ｅｔ ａｌ．による論文に記載されている特定の特徴から利益を得ることができ、この論文は、参照によりその全体が本明細書に組み込まれる。
【0054】
いくつかの場合、科学機器１００の２つのモダリティの表現は、対応する別個の単一モダリティモデルから取得された潜在的表現をスタッキングすることによって、オートエンコーダ５００において組み合わされる。単一モダリティモデルの各々は、例えば、上で示されたように、対応する単一モダリティのデータのそれぞれの二次元（ｋ＝２）の潜在表現を学習している。これらの潜在的表現のスタッキングの結果として、２つのモダリティの両方からのスペクトルを含む各ピクセルについて四次元（ｋ＝４）の潜在的表現が得られる。次いで、ＧＭＭクラスタリングが、この４Ｄ潜在空間に適用され、ＢＩＣ及びＡＩＣが、適切な数（ｄ）のクラスタを求めるために使用される。オートエンコーダ５００のユニモーダル構成と同様に、各ＧＭＭに対してクラスタリングが数回（例えば、１０回）実施され、いくつかの分類の中から最良のクラスタ分類が、特徴（例えば、化学元素）分散に基づいて、それがトレーニングデータセットに関連するときに選択される。
【0055】
いくつかの場合、科学機器１００の２つの選択されたモダリティを表すオートエンコーダ５００は、データ構造３００（図３）に構造的に類似するトレーニングデータセットを使用してトレーニングされる。言い換えれば、この手法で使用されるトレーニングデータセットは、対応する画像の各ピクセルについてそれぞれのスペクトル対を有し、そのスペクトルの両方が、オートエンコーダ５００のトレーニング動作モード中に入力ベクトル５０２の形態でエンコーダ５１０に供給される。上述したスタッキング手法と比較して、合同バイモーダルトレーニング（joint bimodal training）は、２つのモダリティ間の相関が潜在空間においてより良好に反映され、次いでオートエンコーダ５００の作業動作モード中に活用されることを可能にする。
【0056】
図６は、追加の実施形態による、科学機器１００で使用されるオートエンコーダ５００を例解するブロック図である。示される例では、オートエンコーダ５００は、科学機器１００の２つのモダリティに対応する（例えば、２つの選択された検出器を用いて生成される）実験データを取り扱うように構成された、解きほぐされたバイモーダル変分オートエンコーダ（disentangled bimodal variational autoencoder、ＤＢＶＡＥ）を実装する。他の例（明示せず）では、同様のオートエンコーダアーキテクチャを使用して、科学機器１００の３つ以上のモダリティに対応する実験データを取り扱うように構成された、解きほぐされたマルチモーダル変分オートエンコーダ（disentangled multimodal variational autoencoder、ＤＭＶＡＥ）５００を実装する。以下に提供する説明から、当業者は、任意の過度の実験を伴わずに、そのようなＤＭＶＡＥ５００をどのように作製及び使用するかを容易に理解するであろう。
【0057】
ＤＢＶＡＥ５００のエンコーダ５１０は、それぞれ、５１０１及び５１０２とラベル付けされた２つのエンコーダ部分を含む。エンコーダ部分５１０１及び５１０２の各々は、それぞれのニューラルネットワークを使用して実装され、したがって、「ＮＮエンコーダ部分」と称される。入力ベクトル５０２は、それぞれ、５０２１及び５０２２とラベル付けされた２つの部分ベクトルを含む。部分ベクトル５０２１は、科学機器１００の第１のモダリティに対応し、ＮＮエンコーダ部分５１０１に適用される。部分ベクトル５０２２は、科学機器１００の第２のモダリティに対応し、ＮＮエンコーダ部５１０２に適用される。いくつかの例では、部分ベクトル５０２１及び５０２２は、ＳＴＥＭ画像３０２の同じピクセルに対応する、ＥＤＳ及びＥＥＬＳスペクトルである。
【0058】
ＤＢＶＡＥ５００の潜在空間は、（１）ＮＮエンコーダ部分５１０１及び５１０２のそれぞれに対する２つのプライベート部分空間６３０１及び６３０２と、（ｉｉ）ＮＮエンコーダ部分５１０１及び５１０２によって共有される共有部分空間６３００とを有する。対になった部分ベクトル５０２１及び５０２２、｛（ｘ１，ｘ２）｝が与えられると、ＮＮエンコーダ部分５１０１及び５１０２は、潜在的表現ｚ１～ｑθ１（ｚ｜ｘ１）及びｚ２～ｑθ２（ｚ｜ｘ２）を推論するように動作し、式中、θ１及びθ２は、それぞれ、ＮＮエンコーダ部分５１０１及び５１０２のＮＮパラメータである。潜在的表現ｚ１及びｚ２は、ｚ１＝［ｚｐ１，ｚｓ１］及びｚ２＝［ｚｐ２，ｚｓ２］に因数分解され、式中、ｚｐ１、ｚｐ２はそれぞれ、モダリティｘ１及びｘ２のそれぞれのプライベート部分空間６３０１及び６３０２における潜在的表現を表し、ｚｓ１、ｚｓ２はそれぞれ、モダリティｘ１及びｘ２の共有部分空間６３００における潜在的表現を表す。潜在空間は確率的であるので、潜在部分空間６３００、６３０１、及び６３０２における様々な潜在表現は、ガウス確率密度６３２０、６３２１、及び６３２２のうちの対応するものを適切にサンプリングすることによって取得され、６３２０、６３２１、及び６３２２の各々は、図６に示されるように、平均値と分散値のそれぞれの対（μ，σ）によって特徴付けられる。共有部分空間６３００における潜在表現ｚｓ１、ｚｓ２については、ＤＢＶＡＥ５００のトレーニングは、効果的にｚｓ１＝ｚｓ２＝ｚｓとなるように構成され、これにより、図６に更に示すように、平均値及び分散値の単一の対（μｓ，σｓ）によって特徴付けられる共有ガウス確率密度６３２０の使用が可能となる。いくつかの例では、この結果は、Ｐｒｏｄｕｃｔ－ｏｆ－Ｅｘｐｅｒｔｓ（ＰｏＥ）ベースの一貫性モデル又はＭｉｘｔｕｒｅ－ｏｆ－Ｅｘｐｅｒｔｓ（ＭｏＥ）ベースの一貫性モデルを使用して達成され得る。
【0059】
ＤＢＶＡＥ５００のデコーダ５２０は、それぞれ、５２０１及び５２０２とラベル付けされた２つのデコーダ部分を含む。デコーダ部分５２０１及び５２０２の各々は、それぞれのニューラルネットワークを使用して実装され、したがって、「ＮＮデコーダ部分」と称される。ＮＮデコーダ部分５２０１及び５２０２の構成は、それぞれ、φ１及びφ２として示される重み及びバイアスの、対応するセットによって定義される。ＮＮデコーダ部分５２０１は、潜在表現ｚｐ１及びｚｓに対して動作する。ＮＮデコーダ部分５２０２は、潜在表現ｚｐ２及びｚｓに対して同様に動作する。ＮＮデコーダ部分５２０１の出力は、科学機器１００の第１のモダリティに対応する部分ベクトル５２２１である。ＮＮデコーダ部分５２０２の出力は、科学機器１００の第２のモダリティに対応する部分ベクトル５２２２である。
【0060】
いくつかの例では、潜在表現ｚｐ１、ｚｐ２、及びｚｓは、以下の３つの異なる再構築タスクに対してＤＢＶＡＥ５００をトレーニングすることによって学習される：（１）単一のモダリティを符号化及び復号することを含む、例えば、
【0061】
【数4】
である、自己再構築、（２）両方のモダリティを一緒に符号化及び復号することを含む、すなわち、
【0062】
【数5】
である、合同再構築、並びに（３）一方のモダリティを符号化し、他方のモダリティに復号することを含む、例えば、
【0063】
【数6】
であり、式中、
【0064】
【数7】
は部分ベクトル５２２１及び５２２２を示す（図６も参照のこと）、クロス再構築。これらの再構築タスクの各々は、損失関数におけるそれ自体の項に関連付けられ、完全損失関数Ｌ（θ，φ）は、それらの項の加重和であり、例えば、式（４）によって簡略化された形式で表される。
【0065】
【数8】
式中、インデックスｉは、２つのモダリティを表し、インデックスｊは、上で示された３つの再構築タスクを表し、Ｅｊ，ｉは、ｊ番目の再構築タスク及びｉ番目のモダリティに対応する、再構築損失であり、
【0066】
【数9】
は、ｊ番目の再構築タスク及びｉ番目のモダリティに対応する、カルバックライブラーダイバージェンスであり、λｉ，βｊは、重みである。式（４）で表される損失関数Ｌ（θ，φ）のいくつかの具体例は、例えば、２０２１年にＰｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＩＥＥＥ／ＣＶＦ ｃｏｎｆｅｒｅｎｃｅ ｏｎ ｃｏｍｐｕｔｅｒ ｖｉｓｉｏｎ ａｎｄ ｐａｔｔｅｒｎ ｒｅｃｏｇｎｉｔｉｏｎ（ｐｐ．１６９２－１７００）において公開された、Ｍｉｈｅｅ Ｌｅｅ及びＶｌａｄｉｍｉｒ Ｐａｖｌｏｖｉｃによる論文「Ｐｒｉｖａｔｅ－Ｓｈａｒｅｄ Ｄｉｓｅｎｔａｎｇｌｅｄ Ｍｕｌｔｉｍｏｄａｌ ＶＡＥ ｆｏｒ Ｌｅａｒｎｉｎｇ ｏｆ Ｌａｔｅｎｔ Ｒｅｐｒｅｓｅｎｔａｔｉｏｎｓ」に見出すことができ、これは、参照によりその全体が本明細書に組み込まれる。いくつかの実施形態は、３３ｒｄ Ｃｏｎｆｅｒｅｎｃｅ Ｎｅｕｒａｌ Ｉｎｆｏｒｍａｔｉｏｎ Ｐｒｏｃｅｓｓｉｎｇ Ｓｙｓｔｅｍｓ（ＮｅｕｒＩＰＳ ２０１９），Ｖａｎｃｏｕｖｅｒ，Ｃａｎａｄａにおいて公開された、Ｙｕｇｅ Ｓｈｉ，ｅｔ ａｌ．による「Ｖａｒｉａｔｉｏｎａｌ Ｍｉｘｔｕｒｅ－ｏｆ－Ｅｘｐｅｒｔｓ Ａｕｔｏｅｎｃｏｄｅｒｓ ｆｏｒ Ｍｕｌｔｉ－Ｍｏｄａｌ Ｄｅｅｐ Ｇｅｎｅｒａｔｉｖｅ Ｍｏｄｅｌｓ」と題される論文に記載されたいくつかの特徴から利益を得ることができ、本論文はその全体が参照により本明細書に組み込まれる。
【0067】
いくつかの例では、ＤＢＶＡＥ５００は、八次元（eight-dimensional、８Ｄ）潜在空間を使用するように構成される。混合ガウスモデル（ＧＭＭ）は、科学機器１００の単一モダリティに対応するオートエンコーダ５００の上述した実施形態に使用される２Ｄの例のものと同様の様式でトレーニングデータセットの潜在空間表現をクラスタリングすることによって、この８Ｄ潜在空間を分類するために使用される。特に、上記のＢＩＣ基準及びＡＩＣ基準は、ＧＭＭにおけるガウス分布の数ｄを決定するために使用される。
【0068】
例解目的のために、いかなる暗黙の限定もなしに、科学機器１００のＥＤＳモダリティ及びＥＥＬＳモダリティを参照して、追加の実施形態を本明細書の以下で説明する。そのような実施形態のいくつかの例では、図５又は図６に示されるオートエンコーダ５００は、データ構造３００（図３）に対応する実験データを処理するように構成される。以下に提供される説明から、当業者は、任意の過度の実験を伴わずに、科学機器１００の他の単一モダリティ、他のデュアルモダリティ、及び／又は複数の個々のモダリティの様々なセット、に対応する他の実施形態をどのように作製及び使用するかを容易に理解するであろう。
【0069】
図７～図１２及び図１６～図１７に提示され、以下でより詳細に説明される例示的な実験データは、元素Ｃ、Ｎ、Ｏ、Ａｌ、Ｓｉ、Ｔｉ、Ｃｕ、Ｈｆ、Ｔａ、及びＷを含有する様々な技術的材料で作られたマイクロチップトランジスタに対応する。ＳＴＥＭ画像３０２などの対応するＳＴＥＭ画像の例示的なサイズは、２７０×２０８ピクセルである。そのようなＳＴＥＭ画像のピクセルサイズ及び関連する空間解像度を示す例示的なスケールバーが、図９Ｂ及び図１７Ａに提示されている。様々な例において、ＳＴＥＭ画像の各ピクセルについて、対応するデータ構造は、（ｉ）科学機器１００のＥＥＬＳモダリティを表すそれぞれのＥＥＬＳスペクトル、（ｉｉ）科学機器１００のＥＤＳモダリティを表すそれぞれのＥＤＳスペクトル、又は（ｉｉｉ）科学機器１００のデュアルＥＤＳ＋ＥＥＬＳモダリティを表すそれぞれのＥＥＬＳスペクトル及びそれぞれのＥＤＳスペクトルの両方、を含む。デュアルＥＤＳ＋ＥＥＬＳモダリティが有効であるとき、ＳＴＥＭ画像のピクセルに対応するＥＥＬＳ及びＥＤＳスペクトルは、それぞれの検出器、例えば、ＥＥＬＳ検出器２６０、１８０及びＥＤＳ検出器１６０（図２も参照のこと）を介して並行して（例えば、実質的に同時に）記録される。ＥＥＬＳ検出器２６０、１８０及びＥＤＳ検出器１６０の異なるそれぞれの感度に起因して、獲得されたＥＥＬＳ及びＥＤＳスペクトルは、典型的には、異なるそれぞれのＳＮＲを有する。獲得されたＥＥＬＳスペクトルの各々は、１．５ｅＶのエネルギー分解能で、約２００ｅＶ～約３３００ｅＶのエネルギー範囲をカバーする。獲得されたＥＤＳスペクトルの各々は、５ｅＶのエネルギー分解能で、約０ｅＶ～約２０ｋｅＶのエネルギー範囲をカバーする。少なくともいくつかの例では、生の実験データは、図３のデータ構造３００などの対応するデータ構造にアセンブルされる前に前処理され、次いで、オートエンコーダ５００を使用して実装される処理のために提示される。
【0070】
図７Ａ～図７Ｂは、例示的な実施形態による、ＥＥＬＳ検出器２６０、１８０を使用して獲得されたＥＥＬＳスペクトルの予備処理をグラフで例解する。より具体的には、図７Ａに示されるＥＥＬＳスペクトル７０２は、未処理（生）のＥＥＬＳスペクトルの一例である。図７Ｂに示されるＥＥＬＳスペクトル７０４は、ＥＥＬＳスペクトル７０２を処理することによって生成される、前処理されたＥＥＬＳスペクトルの例である。いくつかの例では、図３のデータ構造３００は、ＥＥＬＳスペクトル７０４に類似する前処理されたＥＥＬＳスペクトルを含む。
【0071】
図７Ａに示されるＥＥＬＳスペクトル７０２などの未処理のＥＥＬＳスペクトルは、典型的には、ＥＥＬＳスペクトルから典型的に抽出される化学情報に寄与しない２つの顕著な特徴の一方又は両方を有する。２つの顕著な特徴のうちの第１の特徴は、強いエネルギー依存性バックグラウンドであり、その強度は、エネルギー損失が増加するにつれて減少する。２つの顕著な特徴のうちの第２の特徴は、検出器１８０に当たる漂遊Ｘ線によって引き起こされた１つ以上の外れ値ピークの偶発的な存在である。したがって、例示的な予備処理は、ＥＥＬＳスペクトルからこれらの特徴を除去することが対象となる。前処理のいくつかの例では、外れ値ピークが最初に除去される。そのようなピークは、実質的に、試料Ｓに関する有用な物理的又は化学的情報を搬送しない雑音特徴であるが、いくつかの有意なスペクトル特徴を不明瞭にすることが多い。前処理中、各外れ値ピークは、周囲のいくつか（例えば、４つ）の検出器ピクセルの平均値によって置き換えられる。この外れ値ピーク除去の後に、推定されたエネルギー依存バックグラウンドの減算が続く。
【0072】
エネルギー依存バックグラウンドは、典型的には、低エネルギー遷移エッジの長いテールによって引き起こされる。エネルギー依存性バックグラウンドの大きさは、試料の厚さ及び組成に依存し得る。いくつかの例では、エネルギー依存バックグラウンドは、べき乗則（又はべき乗則の和）をＥＥＬＳスペクトルのプレエッジ領域（すなわち、観測されたエッジの前のスペクトルの部分）に当てはめ、この当てはめをＥＥＬＳスペクトルの他の部分に外挿することによって近似される。いくつかの他の例では、バックグラウンド除去のための異なる手法が実装される。第１に、ＥＥＬＳスペクトルは全て、それらのエネルギー依存バックグラウンドが０と１との間の範囲に収まるようにスケーリングされる。このスケーリングは、最初と最後のエネルギー損失値に対応する強度間の差を使用して各ＥＥＬＳスペクトルを正規化することによって行われ、これはエネルギー依存バックグラウンドの全範囲を近似的に表す。次に、データセットの平均スペクトルが計算される。式（５）によって表される５つのべき乗則の線形結合は、次に、この平均スペクトルに当てはめられる。
【0073】
【数10】
式中、ｃｒは、係数であり、Ｅは、エネルギー損失である。当てはめは、係数ｃｒを調整して最小二乗平均（least mean square、ＬＭＳ）偏差を最小化することによって実施される。得られたエネルギー依存曲線ｂ（Ｅ）は、次いで、データセットの各ＥＥＬＳスペクトルから減算され、それによって、ＥＥＬＳスペクトル７０４の対応するセットを生成する。
【0074】
図８Ａ～図８Ｃは、例示的な実施形態による、ＥＤＳ検出器１６０を使用して獲得されたＥＤＳスペクトルの予備処理をグラフで例解する。より具体的には、図８Ａに示されるＥＤＳスペクトル８０２は、未処理のＥＤＳスペクトルの一例である。それぞれ、図８Ｂ及び図８Ｃに示されるＥＤＳスペクトル８０４及び８０６は、ＥＤＳスペクトル８０２に適用される予備処理の異なる動作をグラフで例解している。
【0075】
様々な例において、予備処理動作は、獲得されたＥＤＳスペクトルにＰＣＡを適用することを含む。ＥＤＳスペクトル８０２などの未処理のＥＤＳスペクトルにおける雑音は、典型的には、ポアソンノイズに大半を占められており、その強度は、ＥＤＳスペクトルにおけるカウント数に応じて変化する。この雑音特徴により、少なくともいくつかの例では、ＰＣＡ自体では不十分となる可能性がある。そのため、いくつかの例では、ビニング及びフィルタリング動作は、ＰＣＡの前に適用される。典型的なＥＤＳスペクトルは、比較的少ない数のカウントを含むので、ＥＤＳスペクトル８０２などの未処理のＥＤＳスペクトルは、最初に、ＳＮＲを改善するために、エネルギー軸に沿って、例えば、８倍に再ビニングされる。８倍の再ビニングは、エネルギー分解能を５ｅＶ～４０ｅＶに低減する。いくつかの例では、再ビニングの後に、標準偏差σ＝１を有するエネルギー方向のガウスカーネルフィルタリング（Gaussian kernel filtering）が続く。いくつかの例では、ガウスカーネルフィルタリングの後、バックグラウンド減算演算が実行される。いくつかの他の例では、バックグラウンドレベルが十分ゼロに近い場合、バックグラウンド減算演算は省略される。最後に、ＥＤＳスペクトルは正規化される。図８Ｂに示されるＥＤＳスペクトル８０４は、図８ＡのＥＤＳスペクトル８０２の８倍の再ビニングによって取得される。図８Ｃに示されるＥＤＳスペクトル８０６は、図８ＡのＥＤＳスペクトル８０２から、上述した全ての予備処理が終了した後に取得されたものである。
【0076】
図９～図１２は、いくつかの実施形態による、科学機器１００を用いて生成された様々なデータセットのオートエンコーダベースの処理の例示的な例を提供する。図３を参照して説明されたデータ構造３００は、そのようなデータセットの代表的な非限定的な例である。そのようなオートエンコーダベースの処理の代表的な利点としては、対応する科学機器支援システムが、（ｉ）対応する検出信号が比較的低いＳＮＲを示す場合であっても、試料Ｓ内の化学的に類似した領域を実質的にリアルタイムで識別し強調すること、（ｉｉ）試料Ｓにおける異常領域を実質的にリアルタイムで識別するために、いくつかの従来の時間集約的な信号処理方法論を回避すること、及び（ｉｉｉ）より短い時間でより正確な信号推定値を生成するために、改善された信号雑音除去能力を提供すること、を可能にすることが挙げられるが、これらに限定されない。
【0077】
図９Ａ～図９Ｂは、一実施形態による、科学機器１００を用いて生成されたデータ構造のオートエンコーダベースの処理の第１の例を例解する。この特定の例は、科学機器１００の単一の分光モダリティに対応しており、当該単一のモダリティはＥＥＬＳモダリティである。対応するデータ構造は、（ｉ）上記のトランジスタのＳＴＥＭ画像（例えば、図３のＳＴＥＭ画像３０２と同様）と、（ｉｉ）ＳＴＥＭ画像の各ピクセルについて、それぞれのＥＥＬＳスペクトル（例えば、図７Ｂのスペクトル７０４と同様）と、を有する。
【0078】
図９Ａは、同様の技術的材料を含む基準構造のＥＥＬＳスペクトル上で、上述のようにトレーニングされたオートエンコーダ５００（図５）の２Ｄ潜在空間９００を示す。オートエンコーダ５００の潜在空間９００は、上述したように、ＧＭＭを使用して８つのクラスタ９１０～９１７に分類される。クラスタの数（ｄ＝８）は、クラスタ９１０～９１７の各々が比較的低い元素分散を有するような数である。低い元素分散は、クラスタに対応する化学組成が実質的に均質であること、例えば、潜在空間クラスタ全体にわたってほぼ同じ量のほぼ同じ化学元素を表すことを示す。
【0079】
図９Ｂは、対応するデータ構造に属するピクセル化されたＳＴＥＭ画像を示し、各ピクセルは、オートエンコーダ５００のＮＮエンコーダ５１０によってクラスタ９１０～９１７のうちの対応する１つにマッピングされる。マッピングは、（ｉ）ＳＴＥＭ画像のピクセルに関連付けられたＥＥＬＳスペクトルをエンコーダ５１０に供給して、対応する潜在的表現を決定し、（ｉｉ）決定された潜在的表現が入るクラスタ９１０～９１７のうちの対応する１つを識別することによって実施される。このマッピングは、示された凡例に従って図９Ｂに示されている。
【0080】
図１０Ａ～図１０Ｂは、一実施形態による、科学機器１００を用いて生成されたデータ構造のオートエンコーダベースの処理の第２の例を例解する。この特定の例は、科学機器１００の単一の分光モダリティに対応しており、当該単一のモダリティはＥＤＳモダリティである。対応するデータ構造は、（ｉ）上記のトランジスタのＳＴＥＭ画像（例えば、図３のＳＴＥＭ画像３０２と同様）と、（ｉｉ）ＳＴＥＭ画像の各ピクセルについて、それぞれのＥＤＳスペクトル（例えば、図８Ｃのスペクトル８０６と同様）と、を有する。
【0081】
図１０Ａは、同様の技術的材料を含む基準構造のＥＤＳスペクトル上で、上述のようにトレーニングされたオートエンコーダ５００（図５）の２Ｄ潜在空間１０００を例解する。オートエンコーダ５００の潜在空間１０００は、上述したように、ＧＭＭを使用して８つのクラスタ１０１０～１０１７に分類される。クラスタの数（ｄ＝８）は、クラスタ１０１０～１０１７の各々が比較的低い元素分散を有するような数である。既に上述したように、低い元素分散は、クラスタに対応する化学組成が実質的に均質であること、例えば、クラスタ全体にわたってほぼ同じ量のほぼ同じ化学元素を表すことを示す。
【0082】
図１０Ｂは、対応するデータ構造に属するピクセル化されたＳＴＥＭ画像を示し、各ピクセルは、それぞれのＥＤＳスペクトルに基づいて、オートエンコーダ５００のＮＮエンコーダ５１０によってクラスタ１０１０～１０１７のうちの対応する１つにマッピングされる。このマッピングは、示された凡例に従って図１０Ｂに示されている。
【0083】
図１１Ａ～図１１Ｂは、一実施形態による、科学機器１００を用いて生成されたデータ構造のオートエンコーダベースの処理の第３の例を例解する。この特定の例は、科学機器１００のデュアルＥＥＬＳ＋ＥＤＳモダリティに対応する。対応するデータ構造は、（ｉ）上記のトランジスタのＳＴＥＭ画像（例えば、図３のＳＴＥＭ画像３０２に類似する）と、（ｉｉ）ＳＴＥＭ画像の各ピクセルについて、それぞれのＥＥＬＳスペクトル（例えば、図７Ｂのスペクトル７０４と同様）と、（ｉｉｉ）ＳＴＥＭ画像の各ピクセルについて、それぞれのＥＤＳスペクトル（例えば、図８Ｃのスペクトル８０６と同様）と、を有する。
【0084】
図１１Ａは、上述したように、ＥＥＬＳモダリティに対応する２Ｄ潜在空間と科学機器１００のＥＥＬＳモダリティに対応する２Ｄ潜在空間とをスタッキングすることによって作られる、オートエンコーダ５００（図５）の４Ｄ潜在空間を例解する。この４Ｄ潜在空間の対応する２Ｄ投影は、それぞれ、図１１Ａにおいて１１０１及び１１０３としてラベル付けされている。２Ｄ投影１１０１は、ＥＥＬＳモダリティを表す。２Ｄ投影１１０３は、ＥＤＳモダリティを表す。２Ｄ投影１１０１と１１０３とに対応する４Ｄ潜在空間は、上述のように、ＧＭＭを使用して８つのクラスタ１１１０～１１１７に分類される。
【0085】
図１１Ｂは、対応するデータ構造のピクセル化されたＳＴＥＭ画像を示し、各ピクセルは、それぞれのＥＥＬＳ及びＥＤＳスペクトルに基づいて、オートエンコーダ５００のＮＮエンコーダ５１０によってクラスタ１１１０～１１１７のうちの対応する１つにマッピングされる。このマッピングは、示された凡例に従って図１１Ｂに示されている。
【0086】
図１２は、一実施形態による、図６のオートエンコーダ５００の８Ｄ潜在空間を例解する。この８Ｄ潜在空間は、図１１Ａ～図１１Ｂのものと同じデュアルＥＥＬＳ＋ＥＤＳモダリティに対応する。既に上述したように、対応するデータ構造は、（ｉ）上記のナノトランジスタのＳＴＥＭ画像（例えば、図３のＳＴＥＭ画像３０２に類似する）と、（ｉｉ）ＳＴＥＭ画像の各ピクセルについて、それぞれのＥＥＬＳスペクトル（例えば、図７Ｂのスペクトル７０４と同様）と、（ｉｉｉ）ＳＴＥＭ画像の各ピクセルについて、それぞれのＥＤＳスペクトル（例えば、図８Ｃのスペクトル８０６と同様）と、を有する。
【0087】
オートエンコーダ５００の８Ｄ潜在空間は、その４つの直交２Ｄ投影によって図１２に例解されており、それらはそれぞれ、１２０１、１２０３、１２０５、及び１２０７とラベル付けされている。２Ｄ投影１２０１は、ＥＥＬＳモダリティのプライベート部分空間６３０１を表す。２Ｄ投影１２０３は、ＥＤＳモダリティのプライベート部分空間６３０２を表す。２Ｄ投影１２０５及び１２０７は、ＥＥＬＳモダリティ及びＥＤＳモダリティの、４Ｄ共有部分空間６３００を表す。この８Ｄ潜在空間は、上述したように、ＧＭＭを使用して８つのクラスタ１２１０～１２１７に分類される。対応するデータ構造のピクセル化されたＳＴＥＭ画像は、それぞれのＥＥＬＳ及びＥＤＳスペクトルに基づいてクラスタ１２１０～１２１７にマッピングされる。このクラスタマッピングされた画像は、図１１Ｂの画像と定性的に類似しており、そのため明示的に示されていない。
【0088】
図１３は、一実施形態による、ＮＮエンコーダ５１０で使用されるニューラルネットワーク１３００を例解するブロック図である。ニューラルネットワーク１３００は、（Ｎ＋２）個の層１３１００～１３１０Ｎ＋１を有し、式中、Ｎは正の整数である。層１３１００は入力層である。次のＮ個の層１３１０１～１３１０Ｎは隠れ層である。層１３１０Ｎ＋１は出力層である。いくつかの特定の例では、数Ｎは１～４の範囲である。様々な例では、ニューラルネットワーク１３００は、ＮＮエンコーダ５１０（図５）、ＮＮエンコーダ部分５１０１（図６）、又はＮＮエンコーダ部分５１０２（図６）を実装する。
【0089】
ニューラルネットワーク１３００のｉ番目の層１３１０ｉは、Ｍｉ個のＰＥ１３０２を有し、式中、ｉ＝０、１、．．．、Ｎ＋１である。様々な例では、入力層１３１００におけるＰＥ１３０２の数Ｍ０は、入力ベクトル５０２（図５）のサイズ、入力ベクトル５０２１（図６）のサイズ、又は入力ベクトル５０２２（図６）のサイズに対応する。科学機器１００のＥＥＬＳ及びＥＤＳモダリティに対応する上述した特定の例のいくつかについて、数Ｍ０は、５００～５０００の範囲内である。出力層１３１０Ｎ＋１におけるＰＥ１３０２の数ＭＮ＋１は、潜在空間の次元数に対応する。オートエンコーダ５００の上述した例は、２Ｄ、４Ｄ、及び８Ｄ潜在空間を有する。他の例では、他の次元の潜在空間も使用される。隠れ層１３１０１～１３１０Ｎの各々について、それぞれの数Ｍｉは、典型的には、数Ｍ０～数ＭＮ＋１の範囲内である。いくつかの例では、２つの隣接する隠れ層１３１０ｉ及び１３１０ｉ＋１について、ＰＥ１３０２のそれぞれの数は、以下の不等式、Ｍｉ≧Ｍｉ＋１を満たす。一例では、ニューラルネットワーク１３００は、以下のパラメータ、Ｎ＝３、Ｍ０＝５１２、Ｍ１＝Ｍ２＝Ｍ３＝１２５、及びＭ４＝４を有する。
【0090】
様々な例では、入力層１３１００のＰｅ１３０２は、入力ベクトル５０２、５０２１、又は５０２２の対応する成分を受信するように構成される（図５～図６も参照のこと）。後続の層１３１０のＰｅ１３０２の各々は、先行する層１３１０のＰｅ１３０２の各々からそれぞれの入力を受信するように直接接続される。いくつかの例では、様々なＰｅ１３０２は、正規化線形関数（Rectified Linear Unit、ＲｅＬＵ）活性化関数を使用して動作する。他の例では、他の好適な活性化関数も使用することができる。
【0091】
いくつかの例では、ＮＮデコーダ５２０で使用されるニューラルネットワークは、反転トポロジを有するが、他の点ではニューラルネットワーク１３００と同様である。反転トポロジは、図１３に示されるニューラルネットワーク１３００の鏡像をとることによって視覚化することができる。そのような反転トポロジでは、層１３１０Ｎ＋１は、潜在空間から対応する入力ベクトル５１２を受け取るように構成された入力層として動作する。層１３１００は、出力ベクトル５２２、５２２１、又は５２２２を出力するように構成された出力層として動作する。ＮＮデコーダ５２０で使用されるニューラルネットワークを視覚化する別の方法は、図１３に示されるように、信号が反対方向に、すなわち、層１３１０Ｎ＋１から層１３１００に流れるニューラルネットワーク１３００を視認することである。
【0092】
図１４は、一実施形態による、科学機器１００を使用して実装される分析方法を例解するフローチャート１４００である。分析方法１４００は、事前にトレーニングされたオートエンコーダ５００に依存して、実質的にリアルタイムで、試料Ｓに関する化学的及び構造的情報を、試料Ｓの測定スペクトルに基づいて科学機器１００のユーザに提供する。様々な例において、オートエンコーダ５００は、例えば上述したように、基準構造及び／又は試料Ｓの材料と同様の材料を含む試料の対応するスペクトルに対して、かつ／又は数値的にシミュレートされたデータを使用してトレーニングされる。例解目的のために、いかなる暗黙の限定もなしに、ＳＴＥＭ撮像モダリティを参照して分析方法１４００を説明する。提供された説明に基づいて、当業者は、分析方法１４００を、対応する科学機器の他の撮像モダリティにどのように適合させ適用するかを容易に理解するであろう。
【0093】
分析方法１４００は、（ブロック１４０２において）科学機器１００のＳＴＥＭカラム１０２の視野（field of view、ＦＯＶ）内のピクセルを選択することを含む。ピクセルは、ブロック１４０２において、適用可能なＦＯＶ走査パターンに基づいて選択される。様々な例では、ＦＯＶ走査パターンは、ラスタ走査パターン、ベクトル走査パターン、又は任意の他の好適な走査パターンであり、それに基づいて、電子ビーム１１４は、偏向ユニット１１８によってステアリングされ、試料Ｓを横断する所望の経路に沿って移動する。既に上で示されたように、ビームステアリングは、電子コントローラ１５０によって偏向ユニット１１８に印加された制御信号１５４に応答して、偏向ユニット１１８によって実施される。
【0094】
分析方法１４００はまた、（ブロック１４０４において）科学機器１００の２つ以上の検出器を用いて、試料Ｓからの様々な信号を測定することを含む。様々な例において、そのような様々な信号は、ブロック１４０２において選択されたピクセルに対応する試料Ｓ上のスポットから作られ、電子ビーム１１４によるそのスポットのプロービング、刺激、及び／又は励起に応答して作られる。いくつかの例では、ブロック１４０４で使用される科学機器１００の２つ以上の検出器は、科学機器１００の撮像モダリティに対応する少なくとも１つの検出器と、科学機器１００の分光モダリティに対応する少なくとも１つの検出器と、を含む。いくつかの他の例では、ブロック１４０４で使用される検出器は、科学機器１００の撮像モダリティに対応する少なくとも１つの検出器と、科学機器１００の２つの異なる分光モダリティに対応する少なくとも２つの検出器と、を含む。様々な例では、ブロック１４０４で使用される科学機器１００の検出器は、高角度環状暗視野検出器（例えば、２２０）、中角度環状暗視野検出器（例えば、２３０）、環状明視野検出器（例えば、２４０）、セグメント化環状検出器、微分位相コントラスト検出器、ＥＥＬＳ検出器（例えば、２６０／１８０）、ＥＤＳ検出器（例えば、１６０）、及び２Ｄピクセル化回折パターン検出器からなる群から選択される。ブロック１４０４において科学機器１００の２つ以上の検出器によって生成された測定値のストリームは、電子コントローラ１５０に向けられ、そこで処理される。
【0095】
分析方法１４００はまた、電子コントローラ１５０が、（ブロック１４０６において）受信された測定値のストリームに、１つ以上の任意選択の予備処理動作を適用することを含む。様々な例では、そのような予備処理動作のタイプは、ブロック１４０４において使用される検出器のタイプに依存する。例えば、ＥＥＬＳ検出器（例えば、２６０、１８０）で測定されたＥＥＬＳスペクトルの場合、ブロック１４０６の予備処理動作には、（ｉ）外れ値ピークの除去、（ｉｉ）推定されたエネルギー依存性バックグラウンドの減算、（ｉｉｉ）スケーリング、（ｉｖ）正規化、（ｖ）平均化、及び（ｖｉ）選択された関数を用いたフィッティングからなる群から選択される処理動作が含まれ得るが、これらに限定されない。ＥＤＳ検出器（例えば、１６０）を用いて測定されたＥＤＳスペクトルの場合、ブロック１４０６の予備処理動作には、（ｉ）ビニング又は再ビニング、（ｉｉ）ガウスカーネルフィルタリング、（ｉｉｉ）推定されたバックグラウンドを減算すること、及び（ｉｖ）正規化からなる群から選択される処理動作が含まれ得るが、これらに限定されない。他のタイプの測定されたスペクトル及び／又は信号は、典型的には、電子コントローラ１５０に、ブロック１４０６における予備処理動作の他の好適なセットを呼び出させる。いくつかの例では、ブロック１４０６の予備処理動作の一部又は全部は、迂回又は省略される。
【0096】
分析方法１４００はまた、電子コントローラ１５０が、１つ以上の測定されたスペクトル及び／又は信号を、入力ベクトル、例えば５０２又は５０２１、５０２２として、オートエンコーダ５００に印加することを含む（ブロック１４０８において）。いくつかの例では、そのような印加されたスペクトル及び／又は信号は、ブロック１４０６の予備処理動作から生じるスペクトル及び／又は信号である。いくつかの他の例では（例えば、ブロック１４０６の対応する予備処理動作が迂回又は省略される場合）、そのような印加されるスペクトル及び／又は信号は、検出器から受信された未処理のスペクトル及び／又は信号である。そのような入力ベクトルを受信したことに応答して、オートエンコーダ５００のエンコーダ５１０は、ブロック１４０８において、受信された入力ベクトルを潜在空間における対応する（例えば、ガウス）確率密度にマッピングするように動作する。様々な例では、オートエンコーダ５００の潜在空間は、２Ｄ空間（例えば、図９Ａ、図１０Ａを参照のこと）、４Ｄ空間（例えば、図１１Ａを参照のこと）、８Ｄ空間（例えば、図１２を参照のこと）、又は好適な次元数ｋの他の多次元空間である。
【0097】
分析方法１４００はまた、（ブロック１４１０において）電子コントローラ１５０が、対応する潜在空間クラスタを識別することも含む。クラスタ識別は、ブロック１４１０において、（ｉ）対応する入力ベクトルがブロック１４０８においてオートエンコーダ５００のエンコーダ５１０によってマッピングされる潜在空間確率密度と、（ｉｉ）上述した潜在空間のＧＭＭベースの分類とに基づいて実施される。いくつかの例では、ブロック１４１０において実施されるクラスタ特定は、ｋ平均アルゴリズム、ＧＭＭアルゴリズム、及びＤＢＳＣＡＮアルゴリズムからなる群から選択されるアルゴリズムを使用する。
【0098】
分析方法１４００はまた、電子コントローラ１５０が、（判断ブロック１４１２において）試料Ｓの意図された走査が終了したかどうかを判定することを含む。電子コントローラ１５０が、走査が終了したと判定した場合（判断ブロック１４１２の「はい」）、ブロック１４１４の動作が実施される。電子コントローラ１５０が、走査が終了していないと判定した場合（判断ブロック１４１２の「いいえ」）、分析方法１４００の処理動作は、ブロック１４０２の動作にループバックされる。
【0099】
分析方法１４００のブロック１４１４の動作には、電子コントローラ１５０が試料Ｓのクラスタマッピングされた画像を生成することが含まれ、各ピクセルは、ブロック１４１０の対応するインスタンスにおいて識別される潜在空間のそれぞれのクラスタにマッピングされる。いくつかの例では、ブロック１４１４において試料Ｓのクラスタマッピングされた画像を生成することを対象とする動作は、例えば従来の様式で、科学機器１００のアクティブな撮像モダリティに対応する検出器信号を使用して試料Ｓのベース画像を生成することを含む。このようにしてブロック１４１４で生成されたベース画像の一例は、ＳＴＥＭ画像３０２（図３）である。ブロック１４１４において試料Ｓのクラスタマッピングされた画像を生成することを対象とする動作はまた、処理ループ１４０２～１４１２のブロック１４１０の異なるインスタンスにおいて判定されたピクセル対クラスタマッピングの視覚表現を試料Ｓのベース画像上にオーバーレイすることによって、試料Ｓのベース画像を修正することを含む。
【0100】
いくつかの例では、ブロック１４１４において使用されるピクセル対クラスタマッピングの視覚表現は、オートエンコーダ５００の潜在空間の異なるクラスタを異なるそれぞれの色でカラーコーディングすることに基づく。そのようなカラーコーディングのいくつかの例が、図９～図１２に示される凡例によって提供される。そのような例においてブロック１４１４でベース画像を修正する動作には、ベース画像の各ピクセルを、ブロック１４１０の対応するインスタンスにおいてピクセルがマッピングされるクラスタのカラーコードに従って着色することが含まれる。このようにして取得された試料Ｓのクラスタマッピングされた画像のいくつかの例が、図９Ｂ、図１０Ｂ、及び図１１Ｂに示される。
【0101】
いくつかの他の例では、ブロック１４１４で使用されるピクセル対クラスタマッピングの視覚表現は、色混合及び／又は各潜在空間座標をカラー画像の対応する層に割り当てることに基づく。ブロック１４１４の動作が完了すると、分析方法１４００は終了する。
【0102】
図１５は、別の実施形態による、科学機器１００を使用して実装される分析方法１５００を例解するフローチャートである。分析方法１５００は、事前にトレーニングされたオートエンコーダ５００に依存して、科学機器１００のユーザが、実質的にリアルタイムで、獲得されたスペクトルが予期される試料特性からの有意かつ有意義な逸脱を示す、試料Ｓにおける異常領域を識別することを可能にする。例えば、オートエンコーダ５００を用いて実施される潜在空間マッピング及び信号再構築は、検出された信号が比較的低いＳＮＲを有する場合であっても、偏差の大きさを評価し、異常領域と非異常領域とを区別するために容易に定量化可能なメトリックを提供する。品質管理手順において、異常領域は、潜在的な技術的問題スポットとして特に関心事である。オートエンコーダ５００を用いたそのような異常領域の識別に基づいて、科学機器１００のユーザは、例えば、試料Ｓのより詳細な化学的及び構造的特徴付けのための試料Ｓの次の走査において、特定の異常領域にズームインすることができ、かつ／又は他の好適な是正措置をとることができる。分析方法１５００の重要な利点は、トレーニングされたオートエンコーダ５００が、非常に短い信号取得時間（例えば、数秒以内）で試料Ｓ内の異常領域にフラグを立てることができ、それによって、少なくともいくつかの品質管理手順を大幅に早めることである。
【0103】
様々な例では、分析方法１５００は、図１４を参照しながら上述したブロック１４０２～１４０８の動作を含む。簡潔にするために、これらの動作の説明はここでは繰り返さない。読者は、ブロック１４０２～１４０８において実施される動作の詳細について、上記で提供された分析方法１４００の説明の関連部分を参照されたい。
【0104】
分析方法１５００は、（ブロック１５１２において）オートエンコーダ５００が、対応する出力ベクトル、例えば５２２又は５２２１、５２２２を生成することを更に含む。いくつかの例では、ブロック１５１２の動作は、（ｉ）分析方法１５００のブロック１４０８において入力ベクトル５０２又は５０２１、５０２２がマッピングされる潜在空間確率密度を適切にサンプリングすることによって、潜在空間ベクトル５１２又は５１２１、５１２２、５１２ｓを計算することと、（ｉｉ）計算された潜在空間ベクトルをオートエンコーダ５００のＮＮデコーダ５２０に適用して、対応する出力ベクトル５２２又は５２２１、５２２２を生成することと、を含む（図５～図６も参照のこと）。既に上で示されたように、出力ベクトル５２２又は５２２１、５２２２は、入力ベクトル５０２又は５０２１、５０２２として印加された測定されたスペクトルに基づいてオートエンコーダ５００によって計算された再構築スペクトルを含む。
【0105】
ブロック１５１２の動作が完了すると、電子コントローラ１５０は、選択されたピクセルの測定されたスペクトルごとに、オートエンコーダ５００に印加される、対応する再構築されたスペクトルを有する。したがって、様々な例では、ブロック１５１２の動作を完了すると、電子コントローラ１５０は、選択されたピクセルについて測定／再構築されたスペクトルの１つ以上の対を有する。より具体的には、単一の分光モダリティの場合、電子コントローラ１５０は、選択されたピクセルに対して測定／再構築されたスペクトルの単一の対を有する。デュアル分光モダリティの場合、電子コントローラ１５０は、選択されたピクセルに対して２対の測定／再構築されたスペクトルを有し、各対は、デュアルモダリティの異なるそれぞれの個々の単一モダリティに対応する。（３つ以上の異なる分光モダリティを含む）複数の分光モダリティの場合、電子コントローラ１５０は、同様に、選択されたピクセルに対して３対以上の測定／再構築されたスペクトルを有する。
【0106】
図１６Ａ～図１６Ｂは、一実施形態による、科学機器１００のＥＥＬＳモダリティについて測定された、スペクトル及び再構築されたスペクトルの例示的な対を例解するグラフである。より具体的には、図１６Ａは、試料Ｓの１つの選択されたピクセルについて測定された、ＥＥＬＳスペクトル１６１２及び対応する再構築されたＥＥＬＳスペクトル１６１４をグラフで示す。図１６Ｂは、試料Ｓの別の選択されたピクセルについて測定された、ＥＥＬＳスペクトル１６２２及び対応する再構築されたＥＥＬＳスペクトル１６２４をグラフで示す。
【0107】
ＥＥＬＳスペクトル１６１２は、分析方法１５００のブロック１４０４の１つのインスタンスにおいて、ＥＥＬＳ検出器２６０、１８０によって測定される。ＥＥＬＳスペクトル１６１４は、入力ベクトル５０２におけるＥＥＬＳスペクトル１６１２を受信したことに応答して、分析方法１５００のブロック１５１２の対応するインスタンスにおいてオートエンコーダ５００によって計算される。ＥＥＬＳスペクトル１６２２は、分析方法１５００のブロック１４０４の別のインスタンスにおいて、ＥＥＬＳ検出器２６０、１８０によって同様に測定される。ＥＥＬＳスペクトル１６２４は、入力ベクトル５０２におけるＥＥＬＳスペクトル１６２２を受信したことに応答して、分析方法１５００のブロック１５１２の対応するインスタンスにおいてオートエンコーダ５００によって計算される。
【0108】
図１５に戻って参照すると、分析方法１５００はまた、（ブロック１５１４において）電子コントローラ１５０が、ピクセルの測定されたスペクトルと再構築されたスペクトルとの間の差異を評価することを含む。いくつかの例では、ブロック１５１４においてこの目的のために使用される差異評価メトリックは、平均二乗誤差（mean squared error、ＭＳＥ）に基づく。例えば、測定／再構築されたＥＥＬＳスペクトル１６１２／１６１４（図１６Ａ）の場合、対応するＭＳＥ値は、約０．０２である。測定／再構築されたＥＥＬＳスペクトル１６２２／１６２４（図１６Ｂ）の場合、対応するＭＳＥ値は、約０．０５である。他の例では、ブロック１５１４において使用される差異評価メトリックは、他の好適な損失関数に基づく。そのような他の損失関数の例としては、二乗平均平方根誤差（root-mean-square error、ＲＭＳＥ）、平均絶対誤差（mean absolute error、ＭＡＥ）、及びＨｕｂｅｒ損失が挙げられる。いくつかの例では、電子コントローラ１５０は、潜在表現内の外れ値を検出する損失関数を使用することもでき、「外れ値」という用語は、潜在空間内の対応するクラスタから遠く離れて位置する点を指す。
【0109】
様々な例において、差異評価メトリックは、単一の分光モダリティの場合、デュアル分光モダリティの場合、又は複数の分光モダリティの場合のブロック１５１４において計算される。単一の分光モダリティの場合、ブロック１５１４で計算される差異評価メトリックは、損失関数、すなわち、ＭＳＥ、ＲＭＳＥ、ＭＡＥ、又はＨｕｂｅｒ損失のうちの選択された１つと同じである。デュアル又は複数の分光モダリティの場合、ブロック１５１４で使用される差異評価メトリックは、デュアル又は複数の分光モダリティを構成する個々の分光モダリティに対応する損失関数の加重和として計算される。例えば、損失関数がＭＳＥである場合、差異評価メトリック（difference-evaluation metric、ＤＥＭ）値は、ブロック１５１４において以下のように計算される。
【0110】
【数11】
式中、Ｑは、個々の分光モダリティの総数であり、ｑは、モダリティインデックスであり、ｃｑは、ｑ番目のモダリティに対応する重みであり、ＭＳＥｑは、ｑ番目のモダリティの測定／再構築されたスペクトルの対のＭＳＥ値である。重みｃｑは、構成する個々のモダリティのタイプに基づいて選択されるアルゴリズムパラメータである。例えば、重みｃｑは、分析方法１５００を用いて実行されている特定の品質管理動作のために最適に選択されてよい。デュアル分光モダリティの場合、数ＱはＱ＝２である。上述した科学機器１００のＥＥＬＳ＋ＥＤＳモダリティは、デュアル分光モダリティの一例である。
【0111】
分析方法１５００はまた、電子コントローラ１５０が、（ブロック１５１６において）試料Ｓの選択されたピクセルを異常又は非異常としてマーキングすることを含む。マーキングは、ブロック１５１４において計算されたピクセルのＤＥＭ値に基づいてブロック１５１６で実施される。より具体的には、ピクセルのＤＥＭ値がＤＥＭ閾値（ＤＥＭ０）より小さい場合、ピクセルは、ブロック１５１６において非異常としてマーキングされる。ピクセルのＤＥＭ値がＤＥＭ閾値以上である場合、ピクセルは、ブロック１５１６において異常としてマーキングされる。様々な例において、ＤＥＭ閾値は、調整可能なアルゴリズムパラメータであり、その値は、特定の品質管理動作及び検査中のマイクロ／ナノ構造に基づいて選択される。
【0112】
分析方法１５００はまた、電子コントローラ１５０が、（判断ブロック１５１８において）試料Ｓの意図された走査が終了したかどうかを判定することを含む。電子コントローラ１５０が、走査が終了したと判定した場合（判断ブロック１５１８の「はい」）、その後、ブロック１５２０の動作が実施される。電子コントローラ１５０が、走査が終了していないと判定した場合（判断ブロック１５１８の「いいえ」）、分析方法１５００の処理動作は、ブロック１４０２の動作にループバックされる。
【0113】
分析方法１５００のブロック１５２０の動作は、電子コントローラ１５０が試料Ｓの異常マップを生成することを含む。一例では、異常マップは、試料Ｓの白黒二値画像であり、各非異常ピクセルは黒であり、各異常ピクセルは白である。別の例では、異常マップは、試料Ｓのグレースケール画像であり、各非異常ピクセルは黒であり、各異常ピクセルは、ブロック１５１４において計算されたピクセルのＤＥＭ値と、ＤＥＭ閾値との間の差異に基づいて、グレースケール符号化される。更に別の例では、異常マップは試料Ｓのカラー画像であり、各非異常ピクセルは黒であり、各異常ピクセルは、ブロック１５１４で計算されたピクセルのＤＥＭ値と、ＤＥＭ閾値との間の差に基づいて、カラー符号化される。ブロック１５２０の動作が完了すると、分析方法１５００は終了する。
【0114】
図１７Ａ～図１７Ｃは、一実施形態による、分析方法１５００を使用して生成された例示的な異常マップを例解する。示される例では、試料Ｓは、電界効果トランジスタ（field-effect transistor、ＦＥＴ）の縦断面を含む。図１７Ａは、試料ＳのＳＴＥＭ画像１７０２を示す。図１７Ｂは、単一のＥＥＬＳモダリティに対応する分析方法１５００の実施形態によって生成された試料Ｓの異常マップ１７０４を示し、ＤＥＭ閾値はＤＥＭ０＝０．０２に設定されている。図１７Ｃは、分析方法１５００の同じ実施形態によって生成された試料Ｓの異常マップ１７０６を示すが、ＤＥＭ閾値はＤＥＭ０＝０．０５に設定されている。異常マップ１７０４、１７０６のピクセルフレームは、ＳＴＥＭ画像１７０２のピクセルフレームと同じである。
【0115】
異常マップ１７０４、１７０６とＳＴＥＭ画像１７０２との比較は、異常ピクセルがＦＥＴ構造の様々な材料界面に沿って集中していることを明らかにする。異常マップ１７０６に使用されるＤＥＭ閾値は、異常マップ１７０４に使用されるＤＥＭ閾値よりも大きいため、後者のマップは、異常としてマーキングされたピクセルをより多く有する。材料界面に沿って化学組成又は原子価状態が変化する小さい（例えば、薄い）領域は、通常の予想される技術的出来事であるが、ＤＥＭ閾値の正しい（例えば、経験的な）選択は、分析方法１５００を使用して実施される品質検査が、界面層及び他の場所における比較的多数の異常ピクセルを示すことによって、欠陥バッチに迅速にフラグを立てることを可能にする。多くの場合、品質検査は、特に、図１７ＡのＦＥＴなどの手近なナノ構造の界面層に焦点を当てているが、これは、これらの層が、典型的には、ナノ構造の特性に不相応な影響を及ぼすためである。
【0116】
例えば概要セクションにおいて、かつ／又は図１～図１７の一部若しくは全部のいずれか１つ若しくはいずれかの組み合わせを参照して上記で開示された一例によれば、装置が提供され、装置は、試料を横切って電子ビームを走査するように構成された電子ビームカラムと、電子ビームと試料との相互作用によって引き起こされた信号を測定するように構成された複数の検出器であって、第１のモダリティのための第１の検出器と、撮像モダリティのための第２の検出器と、を含む、複数の検出器と、電子コントローラと、を備え、電子コントローラは、複数の検出器から測定値のストリームを受信するように接続されており、かつ撮像モダリティを使用して生成された、試料のベース画像の各ピクセルについて、オートエンコーダを用いて、それぞれの第１の入力ベクトルを潜在空間内のそれぞれの確率密度にマッピングすることであって、それぞれの第１の入力ベクトル及びベース画像が、測定値のストリームに基づいて取得され、それぞれの第１の入力ベクトルが、第１のモダリティに対応する、マッピングすることと、オートエンコーダを用いて、それぞれの確率密度に対応するそれぞれの第１の出力ベクトルを計算することと、ベース画像の異なるピクセルに対応するそれぞれの差異に基づいて、試料の異常マップを生成することであって、それぞれの差異の各々が、それぞれの第１の入力ベクトルとそれぞれの第１の出力ベクトルとの間の差異である、生成することと、を行うように構成されている。
【0117】
上記装置のいくつかの例では、複数の検出器は、高角度環状暗視野検出器、中角度環状暗視野検出器、環状明視野検出器、セグメント化環状検出器、微分位相コントラスト検出器、電子エネルギー損失分光法（ＥＥＬＳ）検出器、エネルギー分散型Ｘ線分光法（ＥＤＳ）検出器、及び二次元回折パターン検出器からなる群から選択される。
【0118】
上記装置のいずれかのいくつかの例では、第１の検出器は、ＥＥＬＳ検出器又はＥＤＳ検出器である。
【0119】
上記装置のいずれかのいくつかの例では、オートエンコーダは、それぞれの第１の入力ベクトルを、潜在空間内のそれぞれの確率密度にマッピングするように構成されたニューラルネットワークエンコーダと、それぞれの確率密度に基づいて、それぞれの第１の出力ベクトルを生成するように構成されたニューラルネットワークデコーダと、を備え、ニューラルネットワークエンコーダ及びニューラルネットワークデコーダは、損失関数と、トレーニングベクトルのセットと、再構築されたトレーニングベクトルの対応するセットと、を使用してトレーニングされており、損失関数は、再構築損失を表す項と正則化項との和を含む。
【0120】
上記装置のいずれかのいくつかの例では、電子コントローラは、平均二乗誤差（ＭＳＥ）、二乗平均平方根誤差（ＲＭＳＥ）、平均絶対誤差（ＭＡＥ）、外れ値検査、又はＨｕｂｅｒ損失に基づいてそれぞれの差異評価メトリック（ＤＥＭ）値を計算することによって、それぞれの第１の入力ベクトルとそれぞれの第１の出力ベクトルとの間の差異を評価するように構成されている。
【0121】
上記装置のいずれかのいくつかの例では、ベース画像の各ピクセルについて、電子コントローラは、それぞれのＤＥＭ値とＤＥＭ閾値との比較に基づいて、ピクセルを異常又は非異常としてマーキングするように構成されている。
【0122】
上記装置のいずれかのいくつかの例では、異常マップは、試料のバイナリ、グレースケール、又はカラー画像であり、異常マップにおいて、各非異常ピクセルは黒であり、各異常ピクセルは白であり、それぞれのＤＥＭ値とＤＥＭ閾値との間の差異に基づいてグレースケールコード化され、又はそれぞれのＤＥＭ値とＤＥＭ閾値との間の差異に基づいてカラーコード化される。
【0123】
上記装置のいずれかのいくつかの例では、複数の検出器は、第２のモダリティのための第３の検出器を含み、電子コントローラは、ベース画像の各ピクセルについて、オートエンコーダを用いて、それぞれの第１の入力ベクトル及びそれぞれの第２の入力ベクトルを、潜在空間内のそれぞれの確率密度に合同でマッピングすることであって、それぞれの第２の入力ベクトルが、第２のモダリティに対応し、かつ測定値のストリームに基づいて取得される、マッピングすることと、オートエンコーダを用いて、それぞれの確率密度に対応するそれぞれの第２の出力ベクトルを計算することであって、第１の出力ベクトルが第１のモダリティに対応し、第２の出力ベクトルが第２のモダリティに対応する、計算することと、を行うように構成されている。
【0124】
上記装置のいずれかのいくつかの例では、オートエンコーダは、それぞれの第１の入力ベクトルを、潜在空間の第１のプライベート部分空間における第１の確率密度にマッピングするように構成された第１のニューラルネットワークエンコーダと、それぞれの第２の入力ベクトルを、潜在空間の第２のプライベート部分空間における第２の確率密度にマッピングするように構成された第２のニューラルネットワークエンコーダと、を備え、第１のニューラルネットワークエンコーダ及び第２のニューラルネットワークエンコーダは、それぞれの第１の入力ベクトル及びそれぞれの第２の入力ベクトルを、潜在空間の共有部分空間におけるそれぞれの確率密度に合同でマッピングするように更に構成されている。
【0125】
上記装置のいずれかのいくつかの例では、それぞれの第１の入力ベクトル及びそれぞれの第２の入力ベクトルの各々は、１００～１００００の範囲内のそれぞれの次元数を有しており、潜在空間は、二次元空間、四次元空間、又は八次元空間である。
【0126】
上記装置のいずれかのいくつかの例では、電子コントローラは、測定値のストリームに処理を適用して、それぞれの第１の入力ベクトルを取得するように構成されており、処理は、外れ値ピークの除去、推定バックグラウンドの減算、スケーリング、正規化、平均化、選択された関数によるフィッティング、ビニング又は再ビニング、及びガウスカーネルフィルタリングからなる群から選択される１つ以上の動作を含む。
【0127】
例えば概要セクションにおいて、かつ／又は図１～図１７の一部若しくは全部のいずれか１つ若しくはいずれかの組み合わせを参照して上記で開示された別の例によれば、科学機器のための支援装置が提供され、支援装置は、科学機器の複数の検出器から測定値のストリームを受信するように構成されたインターフェースデバイスであって、複数の検出器は、電子ビームと試料との相互作用によって引き起こされた信号を測定するように構成されており、かつ科学機器の第１のモダリティのための第１の検出器と、科学機器の撮像モダリティのための第２の検出器と、を含む、インターフェースデバイスと、処理デバイスと、を備え、処理デバイスは、撮像モダリティを使用して生成された、試料のベース画像の各ピクセルについて、オートエンコーダを用いて、それぞれの第１の入力ベクトルを潜在空間内のそれぞれの確率密度にマッピングすることであって、それぞれの第１の入力ベクトル及びベース画像が、測定値のストリームに基づいて取得され、それぞれの第１の入力ベクトルが、第１のモダリティに対応する、マッピングすることと、オートエンコーダを用いて、それぞれの確率密度に対応するそれぞれの第１の出力ベクトルを計算することと、ベース画像の異なるピクセルに対応するそれぞれの差異に基づいて、試料の異常マップを生成することであって、それぞれの差異の各々が、それぞれの第１の入力ベクトルとそれぞれの第１の出力ベクトルとの間の差異である、生成することと、を行うように構成されている。
【0128】
上記支援装置のいくつかの例では、複数の検出器は、高角度環状暗視野検出器、中角度環状暗視野検出器、環状明視野検出器、セグメント化環状検出器、微分位相コントラスト検出器、電子エネルギー損失分光法（ＥＥＬＳ）検出器、エネルギー分散型Ｘ線分光法（ＥＤＳ）検出器、及び二次元回折パターン検出器からなる群から選択される。
【0129】
上記支援装置のいずれかのいくつかの例では、第１の検出器は、ＥＥＬＳ検出器又はＥＤＳ検出器である。
【0130】
上記支援装置のいずれかのいくつかの例では、オートエンコーダは、それぞれの第１の入力ベクトルを、潜在空間内のそれぞれの確率密度にマッピングするように構成されたニューラルネットワークエンコーダと、それぞれの確率密度に基づいて、それぞれの第１の出力ベクトルを生成するように構成されたニューラルネットワークデコーダと、を備え、ニューラルネットワークエンコーダ及びニューラルネットワークデコーダは、損失関数と、トレーニングベクトルのセットと、再構築されたトレーニングベクトルの対応するセットと、を使用してトレーニングされており、損失関数は、再構築損失を表す項と正則化項との和を含む。
【0131】
上記支援装置のいずれかのいくつかの例では、処理デバイスは、平均二乗誤差（ＭＳＥ）、二乗平均平方根誤差（ＲＭＳＥ）、平均絶対誤差（ＭＡＥ）、外れ値検査、又はＨｕｂｅｒ損失に基づいてそれぞれの差異評価メトリック（ＤＥＭ）値を計算することによって、それぞれの第１の入力ベクトルとそれぞれの第１の出力ベクトルとの間の差異を評価するように構成されている。
【0132】
上記支援装置のいずれかのいくつかの例では、ベース画像の各ピクセルについて、処理デバイスは、それぞれのＤＥＭ値とＤＥＭ閾値との比較に基づいて、ピクセルを異常又は非異常としてマーキングするように構成されている。
【0133】
上記支援装置のいずれかのいくつかの例では、異常マップは、試料のバイナリ、グレースケール、又はカラー画像であり、異常マップにおいて、各非異常ピクセルは黒であり、各異常ピクセルは白であり、それぞれのＤＥＭ値とＤＥＭ閾値との間の差異に基づいてグレースケールコード化され、又はそれぞれのＤＥＭ値とＤＥＭ閾値との間の差異に基づいてカラーコード化される。
【0134】
例えば概要セクションにおいて、かつ／又は図１～図１７の一部若しくは全部のいずれか１つ若しくはいずれかの組み合わせを参照して上記で開示された更に別の例によれば、科学機器に支援を提供するためにコンピューティングデバイスを介して実施される自動化された方法が提供され、方法は、科学機器の複数の検出器から測定値のストリームを受信することであって、複数の検出器が、電子ビームと試料との相互作用によって引き起こされる信号を測定するように構成され、かつ科学機器の第１のモダリティのための第１の検出器と、科学機器の撮像モダリティのための第２の検出器とを含む、受信することと、撮像モダリティを使用して生成された、試料のベース画像の各ピクセルについて、オートエンコーダを用いて、それぞれの第１の入力ベクトルを潜在空間内のそれぞれの確率密度にマッピングすることであって、それぞれの第１の入力ベクトル及びベース画像が、測定値のストリームに基づいて取得され、それぞれの第１の入力ベクトルが、第１のモダリティに対応する、マッピングすることと、オートエンコーダを用いて、それぞれの確率密度に対応するそれぞれの第１の出力ベクトルを計算することと、ベース画像の異なるピクセルに対応するそれぞれの差異に基づいて、試料の異常マップを生成することであって、それぞれの差異の各々が、それぞれの第１の入力ベクトルとそれぞれの第１の出力ベクトルとの間の差異である、生成することと、を含む。
【0135】
上記の説明は例解を目的としたものであって、限定的なものではないことを理解されたい。提供された例以外の多くの実装形態及び用途は、上記の説明を読めば明らかになるであろう。範囲は、上記の説明を参照して決定されるべきではなく、代わりに、添付の特許請求の範囲を参照して、そのような特許請求の範囲が権利を与えられる均等物の全範囲とともに決定されるべきである。将来の開発が本明細書で考察される技術において行われること、並びに開示されるシステム及び方法がそのような将来の例に組み込まれることが予想され、意図される。要するに、本出願は、修正及び変形が可能であることを理解されたい。
【0136】
特許請求の範囲で使用される全ての用語は、本明細書で反対の明示的な指示がなされない限り、本明細書に記載される技術に精通する者によって理解される、それらの最も広範な妥当な解釈及びそれらの通常の意味を与えられることが意図される。特に、「ａ」、「ｔｈｅ」、「ｓａｉｄ」などの単数形の冠詞の使用は、特許請求の範囲が反対の明示的な限定を記載しない限り、示された要素のうちの１つ以上を列挙するように読まれるべきである。
【0137】
要約書は、読者が技術的開示の性質を迅速に確認することを可能にするために提供される。要約書は、それが特許請求の範囲の範囲若しくは意味を解釈するため又は制限するために使用されるものではないとの理解をもって提出される。加えて、上記した「発明を実施するための形態」の中で、開示を簡略化する目的のために、様々な特徴が様々な例において総合してグループ化されていることが分かり得る。この開示方法は、特許請求された主題が各請求項において明示的に列挙された特徴よりも多くの特徴を組み込むという意図を反映することとして解釈してはならない。むしろ、下記の特許請求の範囲が反映するように、発明の主題は単一の開示された例の全ての特徴よりも少ないものにある。したがって、下記の特許請求の範囲は、独立して特許請求された主題として自立している各請求項によって、「発明を実施するための形態」の中に組み込まれる。
【0138】
特に明記しない限り、各数値及び範囲は、「約（about）」又は「約（approximately）」という単語がその値又は範囲の前にあるかのように近似であると解釈されるべきである。
【0139】
以下の方法請求項において要素がある場合、それらの要素は、対応するラベル付けを伴って特定の順序で列挙されているが、請求項の記載が、それらの要素の一部又は全部を実装するための特定の順序を別様に暗示しない限り、それらの要素は、必ずしもその特定の順序で実装されるように限定されるように意図されるわけではない。
【0140】
本明細書で別段の定めがない限り、複数の同様の物体のうちの１つの物体を指すための序数の形容詞「第１の」、「第２の」、「第３の」などの使用は、そのような同様の物体の異なるインスタンスが言及されていることを示すにすぎず、そのように言及された同様の物体が、時間的に、空間的に、ランク付けで、又は任意の他の様式のいずれかで、対応する順序又はシーケンスでなければならないことを暗示することを意図するものではない。
【0141】
本明細書で別段の定めがない限り、接続詞「の場合（if）」は、その明白な意味に加えて、「のとき（when）」又は「すると（upon）」又は「決定に応じて（in response to determining）」又は「検出に応じて（in response to detecting）」を意味するように更に又は代替的に解釈されてもよく、この解釈は、対応する特定の文脈に依存してもよい。例えば、「決定された場合」又は「［述べられた条件］が検出された場合」という句は、「決定すると」又は「決定に応じて」又は「［述べられた条件又は事象］を検出する際」又は「［述べられた条件又は事象］の検出に応じて」を意味すると解釈され得る。
【0142】
また、この説明の目的のために、用語「結合する」、「結合すること」、「結合された」、「接続する」、「接続している」、又は「接続された」は、エネルギー若しくは力が２つ以上の要素間で伝達されることを可能にし、１つ以上の追加の要素の介在が企図されるが必須ではない、当技術分野で既知の若しくは後に開発される任意の様式を指す。逆に、「直接結合された」、「直接接続された」などの用語は、そのような追加の要素が存在しないことを意味する。
【0143】
「プロセッサ」及び／又は「コントローラ」とラベル付けされた任意の機能ブロックを含む、図に示される様々な要素の機能は、専用ハードウェア、並びに適切なソフトウェアに関連してソフトウェアを実行することが可能なハードウェアの使用を通して提供され得る。プロセッサによって提供されるとき、機能は、単一の専用プロセッサによって、単一の共有プロセッサによって、又は一部が共有され得る複数の個々のプロセッサによって提供され得る。更に、「プロセッサ」又は「コントローラ」という用語を明示的に使用することは、ソフトウェアを実行することが可能なハードウェアを排他的に指すと解釈されるべきではなく、限定はしないが、デジタル信号プロセッサ（ＤＳＰ）ハードウェア、ネットワークプロセッサ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）、ソフトウェアを記憶するための読み取り専用メモリ（read only memory、ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、及び不揮発性記憶装置を暗黙的に含み得る。従来型及び／又はカスタムの他のハードウェアも含まれ得る。同様に、図に示される任意のスイッチは概念的なものにすぎない。それらの機能は、プログラム論理の動作を通して、専用論理を通して、プログラム制御と専用論理との相互作用を通して、又は手動でさえ実行されてもよく、特定の技術は、文脈からより具体的に理解されるように、実装者によって選択可能である。
【0144】
本出願で使用される場合、「回路（circuit）」、「回路（circuitry）」という用語は、以下のうちの１つ以上又は全部を指し得る。（ａ）ハードウェアのみの回路実装（アナログ及び／又はデジタル回路のみでの実装など）、（ｂ）（適用可能な場合）、（ｉ）アナログ及び／又はデジタルハードウェア回路とソフトウェア／ファームウェアとの組み合わせ、並びに（ｉｉ）ハードウェアプロセッサの任意の部分とソフトウェア（デジタル信号プロセッサを含む）、ソフトウェア、及びメモリとの組み合わせであって、協働して携帯電話若しくはサーバなどの装置に様々な機能を実施させる）などの、ハードウェア回路とソフトウェアとの組み合わせ、並びに（ｃ）動作のためにソフトウェア（例えば、ファームウェア）を必要とするが、動作のために必要とされないときにはソフトウェアが存在しなくてもよい、マイクロプロセッサ又はマイクロプロセッサの一部分などのハードウェア回路及び／又はプロセッサ」。回路のこの定義は、任意の請求項を含む本出願におけるこの用語の全ての使用に適用される。更なる例として、本出願で使用される場合、回路という用語はまた、単にハードウェア回路若しくはプロセッサ（若しくは複数のプロセッサ）、又はハードウェア回路若しくはプロセッサの一部分、並びにその（又はそれらの）付随するソフトウェア及び／又はファームウェアの実装形態もカバーする。回路という用語はまた、例えば、特定の請求項要素に適用可能な場合、モバイルデバイスのためのベースバンド集積回路若しくはプロセッサ集積回路、又はサーバ、セルラネットワークデバイス、若しくは他のコンピューティングデバイス若しくはネットワークデバイス内の同様の集積回路もカバーする。
【0145】
当業者であれば、本明細書における任意のブロック図は、本開示の原理を具現化する例示的な回路の概念図を表すことを理解されたい。同様に、任意のフローチャート、フロー図、状態遷移図、擬似コードなどは、コンピュータ可読媒体において実質的に表され、コンピュータ又はプロセッサが明示的に示されているか否かにかかわらず、そのようなコンピュータ又はプロセッサによって実行され得る様々なプロセスを表すことが理解されよう。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7A】
【図7B】
【図8A】
【図8B】
【図8C】
【図9A】
【図9B】
【図10A】
【図10B】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15】
【図16A】
【図16B】
【図17A】
【図17B】
【図17C】
【外国語明細書】