知財求人 - 知財ポータルサイト「IP Force」
特表2023-547792人工知能（ＡＩ）により支援された電子顕微鏡データの解析
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-11-14
(54)【発明の名称】人工知能（ＡＩ）により支援された電子顕微鏡データの解析
(51)【国際特許分類】
G06T 7/00 20170101AFI20231107BHJP
G06V 10/82 20220101ALI20231107BHJP
G06V 20/69 20220101ALI20231107BHJP
G06N 3/04 20230101ALI20231107BHJP
【ＦＩ】
G06T7/00 350C
G06V10/82
G06V20/69
G06N3/04
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023521495
(86)(22)【出願日】2021-10-08
(85)【翻訳文提出日】2023-05-12
(86)【国際出願番号】 US2021054308
(87)【国際公開番号】W WO2022076915
(87)【国際公開日】2022-04-14
(31)【優先権主張番号】63/089,080
(32)【優先日】2020-10-08
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＰＹＴＨＯＮ
２．ＷＩＮＤＯＷＳ
３．Ｌｉｎｕｘ
４．ＭＡＣ ＯＳ
５．ＪＡＶＡＳＣＲＩＰＴ
(71)【出願人】
【識別番号】510300991
【氏名又は名称】バテル メモリアル インスティチュート
(74)【代理人】
【識別番号】100127926
【弁理士】
【氏名又は名称】結田 純次
(74)【代理人】
【識別番号】100140132
【弁理士】
【氏名又は名称】竹林 則幸
(74)【代理人】
【識別番号】100216105
【弁理士】
【氏名又は名称】守安 智
(72)【発明者】
【氏名】サラ・エム・リール
(72)【発明者】
【氏名】スティーブン・アール・スパージョン
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096CA18
5L096EA39
5L096FA32
5L096FA59
5L096GA30
5L096HA11
(57)【要約】
コンピュータ実装方法が、（ｉ）関心対象の実データセットの少なくとも一部分を、各チップが関心対象の実データセットの部分の実データサブセットを含むチップのグリッドに分割し、実データセットの部分から選択されたグランドトゥルースの例に対応する少数のユーザ選択のチップを受信することであって、選択されたチップは、少数ショットクラスプロトタイプのサポートセットを定義することと；（ｉｉ）サポートセットの潜在空間表現を、埋め込みニューラルネットワークを用いて符号化し、少数ショットクラスプロトタイプをサポートセットの潜在空間表現の平均ベクトルとして定義することと；（ｉｉｉ）埋め込みニューラルネットワークを用いて、関心対象の実データセットの他のチップの潜在空間表現を符号化し、少数ショットニューラルネットワークを用いて、他のチップの潜在空間表現を少数ショットクラスプロトタイプと比較し、この比較に基づいて、他のチップに、少数のユーザ選択のチップに類似した関心対象の実データセットにおける特徴を識別するための少数ショットクラスプロトタイプラベルを割り当てることと、を含む。
【選択図】図３Ｄ
【選択図】図３Ｄ
【特許請求の範囲】
【請求項1】
コンピュータ実装方法であって：関心対象の実データセットの少なくとも一部分を、各チップが関心対象の実データセットの該部分の実データサブセットを含むチップのグリッドに分割し、実データセットの該部分から選択されたグランドトゥルースの例に対応する、少数のユーザ選択のチップを受信することであって、選択されたチップは、少数ショットクラスプロトタイプのサポートセットを定義することと；
サポートセットの潜在空間表現を、埋め込みニューラルネットワークを用いて符号化し、少数ショットクラスプロトタイプをサポートセットの潜在空間表現の平均ベクトルとして定義することと；
埋め込みニューラルネットワークを用いて、関心対象の実データセットの他のチップの潜在空間表現を符号化し、少数ショットニューラルネットワークを用いて、他のチップの潜在空間表現を少数ショットクラスプロトタイプと比較し、該比較に基づいて、他のチップに、少数のユーザ選択のチップに類似した関心対象の実データセットにおける特徴を識別するための少数ショットクラスプロトタイプラベルを割り当てることと、
を含む、前記コンピュータ実装方法。
【請求項2】
サポートセットの潜在空間表現を符号化することは、Ｄ次元を有するサポートデータセットを、学習可能なパラメータφを有する埋込み関数ｆ（φ）を通じて、Ｍ次元を有する潜在空間表現に変換することを含む、請求項１に記載の方法。
【請求項3】
クラスプロトタイプのためのサポートセットＳは、Ｓ＝｛（ｘ１；ｙ１）；．．．（ｘＮ；ｙＮ）｝であり、ｘｉはチップｉを表し、ｙｉは対応する真のクラスラベルであり、埋込み関数を用いて変換することにより、ｆφ（ｘｉ）＝ｚｉを通じて変換されたチップが生成され、クラスプロトタイプｋのための埋め込まれたサポート点を含む平均ベクトルは：【数1】
【請求項4】
他のチップの潜在空間表現を少数ショットクラスプロトタイプと比較し、該比較に基づいて、他のチップに少数ショットクラスプロトタイプラベルを割り当てることは、他のチップごとに：チップの潜在空間表現と、少数ショットクラスプロトタイプとの間のユークリッド距離を計算することと；
ｓｏｆｔｍａｘを用いて距離をクラス確率に正規化することと；
少数ショットクラスプロトタイプラベルをチップに割り当てることであって、少数ショットクラスプロトタイプラベルは最も高いクラス確率を有することと、
を含む、請求項１に記載の方法。
【請求項5】
チップに関連付けられたクラス確率を、近傍のチップのラベル付けに基づいて重み付けすることによって、ラベル平滑化を適用することを更に含む、請求項１に記載の方法。
【請求項6】
サポートセットを定義するチップを調節することによってラベル平滑化を適用することを更に含む、請求項１に記載の方法。
【請求項7】
実データセットは１つまたはそれ以上の画像を含み、チップのグリッドは部分画像のグリッドを含む、請求項１に記載の方法。
【請求項8】
少数ショットクラスプロトタイプラベルを割り当てられたチップのパーセンテージおよび面積に基づいて、１つまたはそれ以上の画像における特徴タイプの総面積を推定することを更に含む、請求項７に記載の方法。
【請求項9】
埋め込みニューラルネットワークは、関心対象の実データセットに関連しているかまたは関連していないデータセットに対し事前トレーニングされた既製のニューラルネットワークである、請求項１に記載の方法。
【請求項10】
少数のユーザ選択のチップは、１個以上かつ１０個以下のユーザ選択のチップを含む、請求項１に記載の方法。
【請求項11】
実データセットから選択されたグランドトゥルースの例に対応する別の少数のユーザ選択のチップを受信することであって、少数の追加の選択されたチップは第２の少数ショットクラスプロトタイプのための第２のサポートセットを定義することと、第２のサポートセットを用いて第２の少数ショットクラスプロトタイプを定義することと、潜在空間表現を第２の少数ショットクラスプロトタイプと比較し、該比較に基づいて、追加の少数のユーザ選択のチップに類似した関心対象の実データセットの特徴を識別するための第２の少数ショットクラスプロトタイプラベルをチップに割り当てることとを更に含む、請求項１に記載の方法。
【請求項12】
少数ショットクラスプロトタイプラベルの割り当てに応答して実データセットから選択されたグランドトゥルースの例に対応するユーザ選択のチップの別の少数の番号付けされたセットを受信することを更に含み、ここで、ユーザ選択のチップの追加の少数の番号付けされたセットの選択されたチップは、別の少数ショットクラスプロトタイプのためのサポートセットを定義する、請求項１に記載の方法。
【請求項13】
ユーザ選択のチップの追加の少数の番号付けされたセットの選択されたチップは、少数のユーザ選択のチップの以前の選択に対する調節を含む、請求項１２に記載の方法。
【請求項14】
関心対象の実データセットは、経時的に変化する実データセットを含み、該方法は、少数ショットクラスプロトタイプを定義した後、後の時系列においてまたはデータ取得中に得られたデータに基づいて、新たな少数ショットクラスプロトタイプを追加するか、または少数ショットクラスプロトタイプを変更することを更に含む、請求項１に記載の方法。
【請求項15】
関心対象の実データセットは、第１の検出モダリティに従って取得され、該方法は、少数ショットクラスプロトタイプラベルを、第２の検出モダリティに関連付けられた関心対象の第２の実データセットの類似のチップに割り当てることを更に含む、請求項１に記載の方法。
【請求項16】
第２の検出モダリティに関連付けられた第２の少数ショットクラスプロトタイプのための第２のサポートセットとして割り当てられた少数ショットクラスプロトタイプラベルを有する類似のチップのうちの１つまたはそれ以上を定義することを更に含む、請求項１に記載の方法。
【請求項17】
関心対象の実データセットは、第１の検出モダリティに従って取得され、方法は：第２の検出モダリティに関連付けられた第２の実データセットの一部分から選択されたグランドトゥルースの例に対応する少数のユーザ選択のチップの第２のセットを受信することを更に含み、ここで、選択されたチップは第２のサポートセットを定義し；
少数ショットクラスプロトタイプは、サポートセットおよび第２のサポートセットの潜在空間表現に関して定義された総計の少数ショットクラスプロトタイプであり；
少数ショットニューラルネットワークを用いることは、関心対象の実データセットおよび関心対象の第２の実データセットの他のチップの潜在空間表現を総計の少数ショットクラスプロトタイプと比較し、該比較に基づいて、関心対象の実データセットおよび関心対象の第２の実データセットの他のチップに、サポートセットおよび第２のサポートセットに類似した関心対象の実データセットおよび関心対象の第２の実データセットにおける特徴を識別するための総計の少数ショットクラスプロトタイプラベルを割り当てることを含む、請求項１に記載の方法。
【請求項18】
少数ショットニューラルネットワークを用いて早期融合データセットを形成する前に、関心対象の実データセットおよび関心対象の第２の実データセットを組み合わせることを更に含む、請求項１７に記載の方法。
【請求項19】
少数ショットニューラルネットワークは、それぞれのサポートセットに基づいてそれぞれの実データセットをラベル付けするようにそれぞれ構成された別個のサブネットワークを含み、該方法は、サブネットワークの出力を組み合わせて後期融合出力を形成することを更に含む、請求項１７に記載の方法。
【請求項20】
データ取得パラメータを調節し、割り当てられた少数ショットクラスプロトタイプラベルを有するチップロケーションにおいて別の実データセットを取得することによって、所望の特徴タイプを自動的に適応的にサンプリングすることを更に含む、請求項１に記載の方法。
【請求項21】
データ取得パラメータを自動的に調節することは、撮像システム移動ステージ、撮像システム倍率、撮像システムサンプリング特性、撮像システム検出器または撮像システム検出器選択を調節することを含む、請求項２０に記載の方法。
【請求項22】
顕微鏡システムであって：メモリと、
該メモリに結合された１つまたはそれ以上の処理ユニットと、
命令を記憶する１つまたはそれ以上の非一時的コンピュータ可読記憶媒体とを含み、
該命令は、実行されると、顕微鏡システムに、少なくとも、動作サブシステムおよび制御サブシステム間の動作を実行させ、実行される動作は：
動作サブシステムを通じて、ユーザ入力に応答して顕微鏡器具データの取得を指示し、指示レベル、通信レベルおよびハードウェアレベルを用いて少数ショットニューラルネットワークで取得された顕微鏡器具データを解析することであって、指示レベルは、データ取得および少数ショット機械学習アプリケーションとのユーザレベルのインタフェースを含むことと；
制御サブシステムを通じて、少なくとも、関心対象の特徴を含む顕微鏡器具データのユーザが選択したフレーム上に、調節可能なグリッドを重ねることを含む開ループ制御モードを通じて、データを取得することであって、グリッドはグリッドラインにおいて画像を複数のエリア形状に分割し、ユーザが選択したエリア形状は、少数ショット機械学習アプリケーションのための少数ショットサポートセットを定義し、少数ショット機械学習アプリケーションは、グリッドをフレームに適用し、取得データ内の各エリア形状を、少数ショットサポートセットに関連付けられたクラスのうちの１つに分類することによって、データ取得アプリケーションによって送信された顕微鏡器具データのユーザが選択したフレームおよび他のフレームを解析するように構成されることと、
を含む、前記顕微鏡システム。
【請求項23】
実行される動作は、制御サブシステムを通じて、開ループ制御モードを通じて得られた少数ショット分類の座標に基づいて、適応的検索グリッドを形成することを含む、閉ループ制御モードを通じてデータを取得することと；
適応的検索グリッドを用いて、事前に選択された特徴タイプを自動的にサンプリングするようにデータ取得パラメータを調節することと、
を含む、請求項２２に記載の顕微鏡システム。
【請求項24】
データ取得パラメータを調節することは、ステージ、撮像倍率、サンプリング分解能、電流／線量、ビーム傾き、アライメントおよび／または検出器のパラメータを調節することを含む、請求項２３に記載の顕微鏡システム。
【請求項25】
透過型電子顕微鏡、走査電子顕微鏡、走査透過型電子顕微鏡または光学顕微鏡を含む、請求項２２に記載の顕微鏡システム。
【請求項26】
ステージパラメータのセットに基づいて、関心対象の選択された領域にわたって画像を取得することであって、取得された画像間のパーセンテージ重複を含むことと；（ｉ）ステージパラメータに関連付けられた画像位置と、（ｉｉ）隣接画像の相互相関のピークに関連付けられた、隣接画像のミスアライメントの補正とに基づいて、関心領域にわたって画像モンタージュを形成するように画像をスティッチングすることと、
を更に含む、請求項２２に記載の顕微鏡システム。
【請求項27】
コンピュータ実装方法であって：関心対象の実データセットの少なくとも一部分を、各チップが関心対象の実データセットの該部分の実データサブセットを含むチップのグリッドに分割し、実データセットの該部分から選択されたグランドトゥルースの例に対応する少数のユーザ選択のチップを受信することであって、選択されたチップは、少数ショットクラスプロトタイプのサポートセットを定義することと；
少数のユーザ選択のチップに類似した関心対象の実データセット内の特徴の識別情報を受信および／または表示することと、
を含み、該識別情報は：
サポートセットの潜在空間表現を、埋め込みニューラルネットワークを用いて符号化し、少数ショットクラスプロトタイプをサポートセットの潜在空間表現の平均ベクトルとして定義することと；
埋め込みニューラルネットワークを用いて、関心対象の実データセットの他のチップの潜在的表現を符号化し、少数ショットニューラルネットワークを用いて、他のチップの潜在空間表現を少数ショットクラスプロトタイプと比較し、該比較に基づいて、他のチップに、少数ショットクラスプロトタイプラベルを割り当てることと、
によって生成される、前記コンピュータ実装方法。
【発明の詳細な説明】
【技術分野】
【0001】
関連出願の相互参照
本出願は、参照によってその全体を本明細書に組み入れる、２０２０年１０月８日に出願された米国特許仮出願第６３／０８９、０８０号の出願日の利益を主張する。
本出願は、参照によってその全体を本明細書に組み入れる、２０２０年１０月８日に出願された米国特許仮出願第６３／０８９、０８０号の出願日の利益を主張する。
【0002】
分野はデータ解析である。
【0003】
政府支援の承認
本発明は、米国エネルギー省から受けた契約ＤＥ－ＡＣ０５７６ＲＬ０１８３０により政府支援を受けた。政府は本発明に一定の権利を有する。
本発明は、米国エネルギー省から受けた契約ＤＥ－ＡＣ０５７６ＲＬ０１８３０により政府支援を受けた。政府は本発明に一定の権利を有する。
【背景技術】
【0004】
顕微鏡器具のオペレータは、多くの場合、材料の事前知識を用い、画像セットまたは分光学的セットの特定の特徴を調査し、次に、その事前知識およびデータ内で見つかった特徴に基づいて開始材料を記述するモデルを構築しようとする。しかしながら、電子顕微鏡および他の器具は、膨大なスケールで情報を生成する可能性があり、例えば、画像が毎秒数千フレームで収集され、これにより、人間のオペレータにはデータ内の特徴を手動で抽出する実際的な方法がないことになる。
【0005】
人工知能（ＡＩ）は、科学探究を再形成し、エネルギー貯蔵、量子コンピューティングおよび生物医学等の分野における飛躍的進歩となる発見を有効にする見込みがある。化学および材料系の研究における基礎である電子顕微鏡法は、ＡＩ駆動型の自動化から大きく利益を受ける立場にある。コンピュータビジョンおよびＡＩにおける多くの手法を用いて、画像内の特徴をより自動的に解析することができる。人間の画像における特徴が顔、眼、口、それらの間の比率等を含む場合があり、人物の詳細または特徴的性質を提供することができるのと同様に、顕微鏡材料も、局所的スケールで、集合体等として、粒界、欠陥、原子モチーフ等の特徴が豊富であり、これを用いて材料を識別することができる。多くのコンピュータビジョン手法は、良好に機能することができるが、多くの場合、調整に労働集約的なステップを必要とし、大量のデータまたはノイズの多いデータに対しスケーリングする能力が限られる。
【0006】
このため、低レベルの器具制御および一般化可能な特徴の検出に対する現在の障壁は、真に自動化された顕微鏡法を非実際的なものにしている。結果として、電子顕微鏡法および改善されたＡＩ駆動型ツールによる利益を受けることができる他の分野において、そのようなツールが必要とされている。
【発明の概要】
【課題を解決するための手段】
【0007】
開示されるデータ解析ツールは、電子顕微鏡または他の器具から収集されたデータの人工知能（ＡＩ）により支援された解析のための柔軟性のあるパイプラインを提供することができる。いくつかの例において、データ収集中に、ほぼリアルタイムの画像定量化結果を提供することができ、更なる例は、データ収集中を含めて、ユーザからのフィードバックを組み込んで、性能を調節することができる。ツールをサポートする開示される方法は、大きな計算コストなしで、非常に僅かなデータ点を用いて、全く異なるデータにわたって高忠実度の１００万パラメータディープラーニングモデルを利用する、少数ショット機械学習技法を適用する。
【0008】
開示される例は、開示される少数ショット解析技法等の新たに出現したスパースデータ解析により誘導される閉ループ器具制御プラットフォームも含むことができる。限られた事前知識に基づいて機械学習によって通知される集中型コントローラは、オンザフライ実験意思決定を駆動することができる。開示されるプラットフォームは、システムの範囲の実際的な自動化された解析を有効にし、新たな高スループットの統計的研究のステージを設定することができる。
【0009】
いくつかの例において、解析ソフトウェアは、特定のアプリケーション駆動型の特徴認識および分類ルーチンをオンザフライで受け入れ、データ収集中の意思決定をサポートすることによって、器具自動化プラットフォームと並行して実行することができる。例えば、顕微鏡は、多岐にわたるサンプルを調査することが可能であるため、開示されるツールは、再トレーニングのために数百万のトレーニングデータ点および数時間のＧＰＵ計算時間を必要とすることなく、新たなサンプルに一般化することができる高忠実度機械学習モデルを含むことができる。少数のトレーニングデータが、大きな事前トレーニングされたディープラーニングモデルを新たなタスクのために一般化するために用いられる少数ショット学習の実施を利用することによって。ここで、ディープラーニングは、通常、複数のネットワーク層を含む人工ニューラルネットワークを指す。開示される少数ショットの手法は、従来のディープラーニング方法の時間およびデータ要件を伴うことなく、完全に新しいサンプルに一般化する能力を用いて、ほぼリアルタイムでのモデル推論を可能にする。これにより、データが収集されているときに、顕微鏡使用者および他の器具のユーザに、それらのサンプルに関する情報を提供することができ、これにより、後にサンプルのいずれの領域から顕微鏡または他の器具を用いてデータを撮像または取得するかに関する決定について案内することができる。
【0010】
開示される技法は、リアルタイム顕微鏡法実験に特に適用可能とすることができるが、これらは、多数の他の器具および用途においても有用とすることができる。いくつかの例は、低温電子顕微鏡（Ｃｒｙｏ－ＥＭ）を含む生体器具および用途に適用することができる。開示される技法は、自動化データ取得のためのＳｅｒｉａｌＥＭおよびＬＥＧＩＮＯＮソフトウェアパッケージ、ならびにＣｒｙｏＳＰＡＲＣ、ＩＭＡＧＩＣ、ＲＥＬＩＯＮ、ならびにセグメンテーションおよび再構成後処理のための他の商用およびオープンソースのソフトウェアツールのホストにおいて実施することができるか、またはこれらに結合することができる。生物学的実験は、任意の数の異なるタイプの特徴のスクリーニング、粒子カウント、およびプラットフォームにとらわれない一般的特徴分類のためにカスタマイズすることができる、開示されるデータ分類ツールから特に利益を受けることができる。多くの例は、光学顕微鏡、電子顕微鏡（例えば、ＴＥＭ、ＳＥＭ、ＳＴＥＭ）、集束イオンビーム器具および分光法器具等の材料科学分野において適用することができる。位相および微細構造の自動化マッピング、粒子カウント、ｋ空間ナビゲーション、モンタージュ生成、動的プロセスの物理的／化学的追跡等が早急に必要とされている。開示される例は、物質の新たな特性を発見および利用する大学および国立研究所における研究グループに適用可能であるのみでなく、品質制御メトリックとしてＴＥＭデータに大きく依存するシリコンデバイス産業におけるもの等の産業プロセスにも適用可能である。
【0011】
開示される技術の上記および他の目的、構成および利点は、添付の図面を参照しながら行われる以下の詳細な説明からより明らかとなろう。
【図面の簡単な説明】
【0012】
【図1A】リンク付けされた少数ショット機械学習アプリケーションから受信される、実験後または実験中の少数ショット機械学習分類も表示する、データ取得アプリケーションの例示的なユーザインタフェースのスクリーンショットである。
【図2】グラフィカルユーザインタフェースおよび関連セグメンテーション統計を通じた例示的なクラスプロトタイプ選択を示す一連のスクリーンショットである。
【図3A】画像セグメンテーションの例示的な少数ショット方法の一連の画像および概略図を示す。図３Ａに示す未加工ＳＴＯ／Ｇｅ画像は、図３Ｂに示すいくつかのより小さなチップに分割される。図３Ｃは、図３Ｂからの少数のユーザ選択のチップを用いてサポートセットにおける所望のセグメンテーションクラスを表す方式を示す。図３Ｄに示すように、このとき、図３Ｂからの各チップは、クエリとして作用することができ、サポートセットによって定義されるように図３Ｃからのプロトタイプに対し比較され、クエリと各プロトタイプとの間の最小ユークリッド距離に従ってカテゴリ化される。図３Ｂ～図３Ｄを通じてセグメンテーションされた図３Ａからの画像が図３Ｅに示される。
【図3B】画像セグメンテーションの例示的な少数ショット方法の一連の画像および概略図を示す。図３Ａに示す未加工ＳＴＯ／Ｇｅ画像は、図３Ｂに示すいくつかのより小さなチップに分割される。図３Ｃは、図３Ｂからの少数のユーザ選択のチップを用いてサポートセットにおける所望のセグメンテーションクラスを表す方式を示す。図３Ｄに示すように、このとき、図３Ｂからの各チップは、クエリとして作用することができ、サポートセットによって定義されるように図３Ｃからのプロトタイプに対し比較され、クエリと各プロトタイプとの間の最小ユークリッド距離に従ってカテゴリ化される。図３Ｂ～図３Ｄを通じてセグメンテーションされた図３Ａからの画像が図３Ｅに示される。
【図3C】画像セグメンテーションの例示的な少数ショット方法の一連の画像および概略図を示す。図３Ａに示す未加工ＳＴＯ／Ｇｅ画像は、図３Ｂに示すいくつかのより小さなチップに分割される。図３Ｃは、図３Ｂからの少数のユーザ選択のチップを用いてサポートセットにおける所望のセグメンテーションクラスを表す方式を示す。図３Ｄに示すように、このとき、図３Ｂからの各チップは、クエリとして作用することができ、サポートセットによって定義されるように図３Ｃからのプロトタイプに対し比較され、クエリと各プロトタイプとの間の最小ユークリッド距離に従ってカテゴリ化される。図３Ｂ～図３Ｄを通じてセグメンテーションされた図３Ａからの画像が図３Ｅに示される。
【図3D】画像セグメンテーションの例示的な少数ショット方法の一連の画像および概略図を示す。図３Ａに示す未加工ＳＴＯ／Ｇｅ画像は、図３Ｂに示すいくつかのより小さなチップに分割される。図３Ｃは、図３Ｂからの少数のユーザ選択のチップを用いてサポートセットにおける所望のセグメンテーションクラスを表す方式を示す。図３Ｄに示すように、このとき、図３Ｂからの各チップは、クエリとして作用することができ、サポートセットによって定義されるように図３Ｃからのプロトタイプに対し比較され、クエリと各プロトタイプとの間の最小ユークリッド距離に従ってカテゴリ化される。図３Ｂ～図３Ｄを通じてセグメンテーションされた図３Ａからの画像が図３Ｅに示される。
【図3E】画像セグメンテーションの例示的な少数ショット方法の一連の画像および概略図を示す。図３Ａに示す未加工ＳＴＯ／Ｇｅ画像は、図３Ｂに示すいくつかのより小さなチップに分割される。図３Ｃは、図３Ｂからの少数のユーザ選択のチップを用いてサポートセットにおける所望のセグメンテーションクラスを表す方式を示す。図３Ｄに示すように、このとき、図３Ｂからの各チップは、クエリとして作用することができ、サポートセットによって定義されるように図３Ｃからのプロトタイプに対し比較され、クエリと各プロトタイプとの間の最小ユークリッド距離に従ってカテゴリ化される。図３Ｂ～図３Ｄを通じてセグメンテーションされた図３Ａからの画像が図３Ｅに示される。
【図4A】それぞれ、元の画像およびセグメンテーションされた画像の対を示し、３つの酸化物系のセグメンテーション性能を例証する。
【図4B】それぞれ、元の画像およびセグメンテーションされた画像の対を示し、３つの酸化物系のセグメンテーション性能を例証する。
【図4C】それぞれ、元の画像およびセグメンテーションされた画像の対を示し、３つの酸化物系のセグメンテーション性能を例証する。
【図5】様々なセグメンテーション手法に従ってセグメンテーションされた画像結果である。
【図6】少数ショットの機械学習画像セグメンテーションの例示的な方法のフローチャートである。
【図7】電子顕微鏡のための例示的なマルチレベル動作システムの概略図である。
【図8】開ループおよび閉ループ制御モードを有する自動システムのフローチャート概略図である。
【図9】例示的なモンタージュ方法のフローチャート概略図である。
【図10】本明細書に記載の技術と併せて用いることができる例示的なクラウドコンピューティング環境の概略図である。
【図11】いくつかの記載の例を実施することができる例示的なコンピューティングシステムの概略図である。
【発明を実施するための形態】
【0013】
序論および概観
開示される例は、自動電子顕微鏡データ収集、トリアージおよび分類プラットフォームを含む。機械学習ベースの自動化は、電子顕微鏡および他の器具において、無人のバッチデータ収集、トリアージおよび分類を提供することができる。電子顕微鏡法は、例として、触媒作用、エネルギー貯蔵、および量子情報科学における展開および発見を知らせる材料特徴付けにおいて有用である。しかしながら、これまで、顕微鏡におけるデータ収集は、非常に人力的、非効率的、かつ主観的なものであり、より信頼性の高い、高スループットの自動化および解析のための新たなツールの必要性の動機付けとなっている。開示される例は、顕微鏡制御、自動化データ収集および少数ショット機械学習（ＭＬ）解析を用いる。論文「Ｒａｐｉｄ ａｎｄ Ｆｌｅｘｉｂｌｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｙ Ｄａｔａ Ｕｓｉｎｇ Ｆｅｗ－Ｓｈｏｔ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ」Ａｋｅｒｓ他（ｄｏｉ：１０．２１２０３／ｒｓ．３．ｒｓ－３４６１０２／ｖ１）、「Ｄｅｓｉｇｎ ｏｆ ａ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｆｅｗ－Ｓｈｏｔ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｙ Ｄａｔａ」Ｄｏｔｙ他（ａｒＸｉｖ：２１０７．１０３８７）、および「Ａｎ Ａｕｔｏｍａｔｅｄ Ｓｃａｎｎｉｎｇ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ Ｇｕｉｄｅｄ ｂｙ Ｓｐａｒｓｅ Ｄａｔａ Ａｎａｌｙｔｉｃｓ」Ｏｌｓｚｔａ他（ａｒＸｉｖ：２１０９．１４７７２ｖ１）を、参照によって本明細書に組み入れる。
開示される例は、自動電子顕微鏡データ収集、トリアージおよび分類プラットフォームを含む。機械学習ベースの自動化は、電子顕微鏡および他の器具において、無人のバッチデータ収集、トリアージおよび分類を提供することができる。電子顕微鏡法は、例として、触媒作用、エネルギー貯蔵、および量子情報科学における展開および発見を知らせる材料特徴付けにおいて有用である。しかしながら、これまで、顕微鏡におけるデータ収集は、非常に人力的、非効率的、かつ主観的なものであり、より信頼性の高い、高スループットの自動化および解析のための新たなツールの必要性の動機付けとなっている。開示される例は、顕微鏡制御、自動化データ収集および少数ショット機械学習（ＭＬ）解析を用いる。論文「Ｒａｐｉｄ ａｎｄ Ｆｌｅｘｉｂｌｅ Ｓｅｍａｎｔｉｃ Ｓｅｇｍｅｎｔａｔｉｏｎ ｏｆ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｙ Ｄａｔａ Ｕｓｉｎｇ Ｆｅｗ－Ｓｈｏｔ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ」Ａｋｅｒｓ他（ｄｏｉ：１０．２１２０３／ｒｓ．３．ｒｓ－３４６１０２／ｖ１）、「Ｄｅｓｉｇｎ ｏｆ ａ Ｇｒａｐｈｉｃａｌ Ｕｓｅｒ Ｉｎｔｅｒｆａｃｅ ｆｏｒ Ｆｅｗ－Ｓｈｏｔ Ｍａｃｈｉｎｅ Ｌｅａｒｎｉｎｇ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ｏｆ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｙ Ｄａｔａ」Ｄｏｔｙ他（ａｒＸｉｖ：２１０７．１０３８７）、および「Ａｎ Ａｕｔｏｍａｔｅｄ Ｓｃａｎｎｉｎｇ Ｔｒａｎｓｍｉｓｓｉｏｎ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ Ｇｕｉｄｅｄ ｂｙ Ｓｐａｒｓｅ Ｄａｔａ Ａｎａｌｙｔｉｃｓ」Ｏｌｓｚｔａ他（ａｒＸｉｖ：２１０９．１４７７２ｖ１）を、参照によって本明細書に組み入れる。
【0014】
グラフィックコンピュータアプリケーションおよびバックエンドコードを用いて、電子顕微鏡データ収集、メタデータ構築および解析のプロセスを自動化することができる。いくつかの例において、ソフトウェアプログラムは、最小の人間の介入で顕微鏡を直接制御するように構成されたＰｙｔｈｏｎベースの（または別のコンピュータソフトウェア言語）プラグインを実施する。自動化アプリケーションの例は、ＭＬベースのデータトリアージおよび分類のために別個のアプリケーションとインタフェースするかまたはこれにリンク付けすることができる。自動化アプリケーションの例は、電子顕微鏡法研究のスループットおよび効率性を増大させ、バッテリおよび触媒等の、エネルギー材料における材料化学および欠陥の、より厳密で統計的に正当な分析を可能にすることができる。材料の微細構造分析は、例えば、核燃料サイクルの分析を改善することができる。
【0015】
コンピュータおよびバッテリ等の多くの最新技術は、透過型電子顕微鏡法（ＴＥＭ）を用いて独自に検査することができる、ナノスケールでの化学および欠陥の複雑な工学に依拠する。しかしながら、顕微鏡動作の旧式のモデルは、通常、データ収集、データトリアージおよびデータ分類を制限する。例えば、データ収集中、移動ステージ、カメラおよび検出器は、データを取得するために手動で操作される。そのような手動の取得は、利用可能な人間の集中および人間の時間の制約によって物理的に制限され、顕微鏡を長期にわたって作動させることを不可能にし、生産性およびサンプルスループットを減少させる。データトリアージでは、関心領域の選択は、通常、既に見つかることが予期されるものに集中する傾向にあるオペレータの事前知識に基づき、新規の特徴を見過ごし、既存のバイアスを増大させる。データ分類の場合、データストリームの統合は、多くの場合、人間の認知によって制限され、これにより、非常に異なるタイプのデータ間（例えば画像およびスペクトル、または撮像モダリティ間）のより高次元の相関を容易に評価することができない。特徴間の微細な予期しない相関が多くの場合見過ごされ、これにより、材料特性および実験の結論に影響を及ぼす可能性がある。
【0016】
データ管理および顕微鏡通信のための適切なフレームワークは、既存および将来の解析モジュール、顕微鏡特徴、ならびに分光計および検出器等の一連の器具に柔軟に基づき、またそれに対応するように拡張可能とすることができる。選択された例において、ＰｙＪＥＭプラグインは、ＲＰＬにおいてライブコマンドをＪＥＯＬ ＧｒａｎｄＡＲＭ ＴＥＭに送信するように構成された。自動化アプリケーションの例は、Ｗｉｎｄｏｗｓ ＯＳ等の様々なオペレーティングシステムを通じてグラフィカルユーザインタフェース（ＧＵＩ）を用いて構成することができ、ユーザインタフェースおよび構成のための、ＮＥＴフレームワーク、ならびに実験設計およびハードウェア制御のためのＰｙｔｈｏｎスクリプトエンジンを含むことができる。図１Ａ～図１Ｂは、例示的なデータ取得アプリケーションのためのユーザインタフェース１０１のスクリーンショット１００を示す。アプリケーションは、ＴＥＭデータ取得パラメータを制御するように構成された編集可能なスクリプト１０２（図１Ｂにも、より詳細に示される）を含む。アプリケーションは、ライブ顕微鏡ステータス読み値１０４および現在の取得画像１０６も含む。ユーザインタフェース１０１は、データ取得プロセス中にほぼリアルタイムで、強調された特徴１１０ａおよび統計１１０ｂを示す、別個の少数ショット機械学習アプリケーションからのオンザフライで処理されたデータセクション１０８も含む。様々な例において、自動化は、任意の時点において休止、中断および／または調節することができる。
【0017】
データ取得および自動化のために構成されたアプリケーションと並行して、少数ショット機械学習アプリケーションは、ＭＬ画像解析を提供し、データを例示的なユーザインタフェース１０１に供給するように構成される。いくつかの例において、少数ショットアプリケーションは、粒子または他の特徴検出のために構成することができ、クラスプロトタイプのためのサポートセットを生成するのに用いられるチップ選択プロセスを通じてユーザによってカスタマイズ可能である。図２は、サポートセット選択のステップ単位の進行、分類されたアプリケーション出力、および分類の統計的表示を示す、例示的な一連のスクリーンショット２００ａ、２００ｂ、２００ｃを示す。コードは、ユーザによりラベル付けされた一握りの画像のみを用いて特徴を迅速に特定するように構成することができる。例えば、スクリーンショット２００ａにおいて、一般化されたネットワークは、ユーザが異なるクラス（クラスＡ、ＢおよびＣ）に対応する画像の少数の矩形を選択することによってカスタマイズされている。スクリーンショット２００ｂにおいて、少数ショットネットワークをトレーニングしてクラスプロトタイプを形成した後、ニューラルネットワークは、ユーザが定義した少数ショットプロトタイプに基づいて画像内の他の矩形を分類し、その画像全体および後続の画像にわたってクラス選択を伝播する。スクリーンショット２００ｃにおいて、豊富で繰り返し可能な統計が、データ収集後、またはデータ収集中にオンザフライで、多くの画像にわたって集められる。いくつかの例において、２つの粒子検出使用事例または特定の粒子特徴（位置、空間分布、サイズ分布等）の検出についてサポートセットを定義することができる。更なる試験の例において２つの商業規格サンプル：炭素支持膜上のナノ粒子、および炭素支持膜上のＭｏＯ３ナノ粒子が試験された。特定の実験において、１０～５０個のＳＴＥＭ環形暗視野画像が様々な倍率で収集され、機械学習コードおよびアプリケーションユーザインタフェースの効率性のための試験データを提供した。
【0018】
選択された例は、原子スケールの電子顕微鏡画像における主要な微細構造特徴の意味的セグメンテーションのために用いることができ、これにより、多くの重要な材料および化学系における構造－特性関係の理解を改善することができる。しかしながら、開示される少数ショット手法は、本質的にバイアスがかかり、誤りを生じやすく、最新の器具類によって生成される大量のデータを受け入れることが不可能な、時間集約的手動解析を伴う現行の枠組みを上回って改善することができる。より自動化された手法が提案されたが、多くはデータの高い多様性に対しロバストでなく、多様な微細構造特徴および材料系に対し十分一般化されていない。本明細書に開示される選択された試験例は、以下の３つの酸化物材料系：（１）ＳｒＴｉＯ３／Ｇｅのエピタキシャルヘテロ構造、（２）Ｌａ０．８Ｓｒ０．２ＦｅＯ３の薄膜、および（３）ＭｏＯ３ナノ粒子、の走査透過型電子顕微鏡法画像の意味的セグメンテーションのための柔軟性のある半教師あり少数ショット機械学習手法を用いてこのロバスト性を実証する。開示された少数ショット学習技法は、ノイズに対しよりロバストであり、より再構成可能であり、他の画像解析方法よりも必要なデータが少ない。開示される例は、新たに出現した高スループットの自動顕微鏡プラットフォームに必要な、高速な画像分類および微細構造特徴マッピングを可能にすることができる。
【0019】
少数ショット機械学習の論考
Ｉ．序論
材料の微細構造は、触媒、エネルギー貯蔵デバイス、および新たに出現した量子コンピューティングアーキテクチャを含む多くの重要な技術の機能に影響を与える。走査透過型電子顕微鏡法（ＳＴＥＭ）は、構造、化学および欠陥を、広範にわたる材料クラスについて原子スケールの分解能で同時に分解する能力に起因して、微細構造を研究するための基本的なツールとしての役割を長い間果たしてきた。ＳＴＥＭは、複雑な転位ネットワークから、二次位相および点欠陥に及ぶ微細構造特徴の性質を明らかにし、精緻化された構造特性モデルをもたらすのに役立ってきた。従来、ＳＴＥＭ画像は、既知の特徴および未知の特徴を識別するためのシステムの事前知識を利用して、分野の専門家によって手動でまたは半自動的に解析されてきた。この手法は、小さなデータ量の限られた数の特徴を測定するのに適しているが、高密度の、稀な、またはノイズの多い特徴を有するサンプルには実用的でない。更に、手動の手法は、複数のデータモダリティを含めるようにスケーリングすることが困難であり、高速で実行することができず、最新の器具の最大の可能性を利用して、ｉｎ ｓｉｔｕの相補的なまたは相関的な研究を行う能力の妨げとなる。より基本的なレベルにおいて、そのような測定が行われる方式の変動性、および標準化された手法の欠如は、実験における再現可能性のより広い問題に寄与する。そのような制限は、全ての材料クラスに当てはまる傾向にあるが、これらは、望ましくない欠陥が極微量であってもその特性が大きく影響を受ける複合酸化物の場合に特に顕著である。開示される例は、微細構造特徴を、既存の方法を用いて可能であるよりも高い正確度、速度および統計的厳密さで特徴付ける手法が緊急に必要とされていることに対処する。
Ｉ．序論
材料の微細構造は、触媒、エネルギー貯蔵デバイス、および新たに出現した量子コンピューティングアーキテクチャを含む多くの重要な技術の機能に影響を与える。走査透過型電子顕微鏡法（ＳＴＥＭ）は、構造、化学および欠陥を、広範にわたる材料クラスについて原子スケールの分解能で同時に分解する能力に起因して、微細構造を研究するための基本的なツールとしての役割を長い間果たしてきた。ＳＴＥＭは、複雑な転位ネットワークから、二次位相および点欠陥に及ぶ微細構造特徴の性質を明らかにし、精緻化された構造特性モデルをもたらすのに役立ってきた。従来、ＳＴＥＭ画像は、既知の特徴および未知の特徴を識別するためのシステムの事前知識を利用して、分野の専門家によって手動でまたは半自動的に解析されてきた。この手法は、小さなデータ量の限られた数の特徴を測定するのに適しているが、高密度の、稀な、またはノイズの多い特徴を有するサンプルには実用的でない。更に、手動の手法は、複数のデータモダリティを含めるようにスケーリングすることが困難であり、高速で実行することができず、最新の器具の最大の可能性を利用して、ｉｎ ｓｉｔｕの相補的なまたは相関的な研究を行う能力の妨げとなる。より基本的なレベルにおいて、そのような測定が行われる方式の変動性、および標準化された手法の欠如は、実験における再現可能性のより広い問題に寄与する。そのような制限は、全ての材料クラスに当てはまる傾向にあるが、これらは、望ましくない欠陥が極微量であってもその特性が大きく影響を受ける複合酸化物の場合に特に顕著である。開示される例は、微細構造特徴を、既存の方法を用いて可能であるよりも高い正確度、速度および統計的厳密さで特徴付ける手法が緊急に必要とされていることに対処する。
【0020】
顕微鏡法画像データ（例えば、マイクログラフ）を定量的に記述することにおける中心的課題は、多岐にわたる可能な微細構造特徴およびデータモダリティである。例えば、１つのセッションにおいて原子分解能でインタフェースを調べるのに用いられる同じ器具を、次に、より低い倍率で粒子形態学または粒界分布を調べるのに用いることができる。各研究において、目標は、多くの場合、定量的かつ意味論的に有意な微細構造記述子を抽出して、測定値を基礎をなす物理モデルにリンク付けすることである。例えば、画像セグメンテーションを通じて、特定の位相または大量の特徴の面積率を推定することは、合成生成物および相転移動力学の理解の重要な部分である。いくつかの画像セグメンテーション方法が存在する（例えば、Ｏｔｓｕ、ウォータシェッドアルゴリズム、ｋ平均クラスタリング）が、いずれも、異なる材料系、画像タイプに容易に一般化可能でなく、大きな調整された画像前処理を必要とする場合がある。
【0021】
機械学習（ＭＬ）方法、特に、畳み込みニューラルネットワーク（ＣＮＮ）が、長さスケールにわたる微細構造データの認識および特徴化のために近年採用されている。材料または微細構造クラス（例えば、「樹状」、「等軸」等）を表す画像全体にラベルを割り当てるか、または画像内の各ピクセルにラベルを割り当てて、それらが別個のカテゴリに分類されるようにする分類タスクが実行されてきた。後者の分類タイプは、意味的セグメンテーションと呼ばれる、局所的特徴（例えば、ライン欠陥、位相、結晶構造）を識別するための画像のセグメンテーションである。しかしながら、ＣＮＮをトレーニングするために大きなデータセットサイズが必要であること、および多岐にわたるデータに対し一般化可能な方法を開発することが困難であること等、意味的セグメンテーション方法の実際の適用において多くの課題が残っている。通常、ディープラーニング方法によるデータ解析は、大量のラベル付けされたトレーニングデータ（ＩｍａｇｅＮｅｔデータベースを通じて入手可能な大きな画像データセット等）を必要とする。顕微鏡法において多くの場合に遭遇するが、データが収集される他の技術分野にも適用可能であるような、限られたトレーニングデータに基づいてデータセットを解析する能力は、材料およびデータ科学における重要な未開拓分野である。近年の進歩により、１ショットまたは少数ショット学習問題における人間レベルの性能を可能にする発展がもたらされたが、材料科学および他の関連データ収集領域におけるそのような方法に対する研究は限られている。多くの特徴付けツールは僅かな数のみのデータ点を提供する場合があるが、単一の電子顕微鏡写真（および潜在的には追加の撮像／スペクトルチャネル）は、関心対象の多くの微細構造特徴を包含する場合がある。開示される少数ショットの例は、過渡的なまたは不安定な材料の研究、および長いリードタイムの実験（腐食または中性子照射研究等）に起因して限られたサンプルしか解析に利用可能でない研究への大きな用途も有する。他の事例において、進化したデータ解析方法を適用することができる、非常に限られているかまたは理解が不良である場合がある以前の研究からのデータが存在する。
【0022】
開示される例は、ＳＴＥＭ画像、他の器具および他のデータモダリティからの画像の、少数ショット機械学習を用いた認識およびセグメンテーションに対する高速で柔軟性のある手法を提供する。選択される実証例において、３つの酸化物材料系が、それらが保有する微細構造特徴の範囲、ならびに半導体、スピントロニクスおよび触媒用途におけるそれらの重要性に起因して、モデル展開（ＳｒＴｉＯ３（ＳＴＯ）／Ｇｅ、Ｌａ０．８Ｓｒ０．２ＦｅＯ３（ＬＳＦＯ）薄膜およびＭｏＯ３ナノ粒子におけるエピタキシャルヘテロ構造）のために選択された。特定の微細構造特徴（例えば、結晶モチーフまたは特定の粒子形態）の例を表す５～８個のみの部分画像（チップと呼ばれる）を用いて、開示されるモデルは、分野の専門家によって生成されるものに匹敵するセグメンテーション結果をもたらした。画像マッピングの成功は、他のセグメンテーション方法（例えば、Ｏｔｓｕ閾値処理、ウォータシェッド、ｋ平均クラスタリング等）と比較した、少数ショット機械学習の低いノイズ感度および高い学習能力に起因することができる。少数ショット手法は、ＳＴＥＭデータストリームにわたる様々な微細構造特徴を迅速に識別し、これによりリアルタイム画像データ収集および解析を知らせることができ、材料発見および設計のために改善された微細構造特徴付けを有効にする、画像駆動による機械学習の能力を明確に示すことができる。
【0023】
ＩＩ．結果および論考
図３Ａ～図３Ｅは、ＳＴＥＭ画像の意味的セグメンテーションを提供するように構成された例示的な少数ショットのディープラーニング手法を示し、相関付けられた一連の画像および概略図３００Ａ～３００Ｅを通じて示される。代表的な例において、少数ショット学習モデルは、特定のモデルが各クラスに対応する画像の領域を識別するために、クラスごとに非常に少数のラベル付けされた例（例えば、≦２、≦３、≦５、≦１０等）を用いることができる。図３Ａにおいて見てとることができるように、１つまたはそれ以上の検出モダリティからのデータが、例えば顕微鏡画像３００Ａの形態で提供される。図３Ｂにおける分割された画像３００Ｂに示すように、画像３００Ａは、部分画像３０４のグリッド３０２に分割された入力画像を形成し、部分画像３０４は、本明細書においてチップと呼ぶことができる。図３Ｃは、分割された画像３００Ｂから選択された部分画像３０４を用いてクラスプロトタイプ３０６ａ～３０６ｃを生成するモデル初期化概略図３００Ｃを示す。図３Ｄは、分割された画像３００Ｂの部分画像３０４または他の画像および部分画像の分類を生成するように構成されたモデル推論概略図３００Ｄを示し、図３Ｅは、モデル推論からのセグメンテーションされたマイクログラフ出力３００Ｅを示す。例えば、異なる材料タイプ、Ｐｔ／Ｃ、ＳＴＯ、およびＧｅのエリアを示す図３Ａにおける表記に示すように、多くの例において、分割またはチッピングのプロセスは、材料微細構造の領域固有の知識によって強化することができる。
図３Ａ～図３Ｅは、ＳＴＥＭ画像の意味的セグメンテーションを提供するように構成された例示的な少数ショットのディープラーニング手法を示し、相関付けられた一連の画像および概略図３００Ａ～３００Ｅを通じて示される。代表的な例において、少数ショット学習モデルは、特定のモデルが各クラスに対応する画像の領域を識別するために、クラスごとに非常に少数のラベル付けされた例（例えば、≦２、≦３、≦５、≦１０等）を用いることができる。図３Ａにおいて見てとることができるように、１つまたはそれ以上の検出モダリティからのデータが、例えば顕微鏡画像３００Ａの形態で提供される。図３Ｂにおける分割された画像３００Ｂに示すように、画像３００Ａは、部分画像３０４のグリッド３０２に分割された入力画像を形成し、部分画像３０４は、本明細書においてチップと呼ぶことができる。図３Ｃは、分割された画像３００Ｂから選択された部分画像３０４を用いてクラスプロトタイプ３０６ａ～３０６ｃを生成するモデル初期化概略図３００Ｃを示す。図３Ｄは、分割された画像３００Ｂの部分画像３０４または他の画像および部分画像の分類を生成するように構成されたモデル推論概略図３００Ｄを示し、図３Ｅは、モデル推論からのセグメンテーションされたマイクログラフ出力３００Ｅを示す。例えば、異なる材料タイプ、Ｐｔ／Ｃ、ＳＴＯ、およびＧｅのエリアを示す図３Ａにおける表記に示すように、多くの例において、分割またはチッピングのプロセスは、材料微細構造の領域固有の知識によって強化することができる。
【0024】
Ａ．前処理
位相がＳＴＥＭ画像において様々なコントラストを有する状態で、材料の別個の位相を分離および測定するために、いくつかの例において元の画像データの前処理を行うことができる。図３Ａ～図３Ｅに示す実験的例において、コントラスト制限適応ＨＥ（ＣＬＡＨＥ）と呼ばれる、大域アーチファクトを導入することなく局所画像品質を高めるように設計されたヒストグラム等化（ＨＥ）技法が使用のために選択された。ＣＬＡＨＥ実施の詳細が表１に記載されている。
位相がＳＴＥＭ画像において様々なコントラストを有する状態で、材料の別個の位相を分離および測定するために、いくつかの例において元の画像データの前処理を行うことができる。図３Ａ～図３Ｅに示す実験的例において、コントラスト制限適応ＨＥ（ＣＬＡＨＥ）と呼ばれる、大域アーチファクトを導入することなく局所画像品質を高めるように設計されたヒストグラム等化（ＨＥ）技法が使用のために選択された。ＣＬＡＨＥ実施の詳細が表１に記載されている。
【0025】
【表1】
【0026】
図３Ｂに示すように、まず、ＣＬＡＨＥが元の画像に対し実行され、次に、処理された画像が、より小さな部分画像３０４のセットに分割された。チップサイズは、９５×９５ピクセル～３２×３２ピクセルで変動したが、全てのチップは、後のモデル推論埋め込みモジュール（ここでは、容易に入手可能なＲｅｓＮｅｔ１０１ ＣＮＮ）において２５６×２５６にリサイズされた。図３Ａ～図３Ｂに見てとることができるように、変動可能なサイズにより、各チップが、微細構造モチーフを捕捉するのに十分大きく、隣り合った空間領域間の粒度を提供するのに十分小さくなることが可能になった。様々な例において、多岐にわたる部分画像形状および／または分割特性、例えば、正方形、矩形、六角形、円形等の形状、ならびに連続、離間、重複等の特性を用いることができることが理解される。実験において、用いられる最終前処理ステップは、ラプラシアン－ガウス（ＬｏＧ）ブロブ検出ルーチンを用いて原子カラムの位置およびサイズをマーキングする強化技法であった。このステップは、クラス間の極度に僅かな差を強化するために、ＬＳＦＯ材料系に対し用いられた。
【0027】
Ｂ．モデルアーキテクチャ
図３Ａ～図３Ｅに示す少数ショットモデルは、畳み込みニューラルネットワーク（例えば、ＲｅｓＮｅｔ１０１）を含む埋め込みモジュール３０８と、少数ショットニューラルネットワーク（例えば、ＰｒｏｔｏＮｅｔ）を含む少数ショット類似性モジュール３１０とを含む。少数ショットモデルは、いくつかの例において１００×１００ピクセル以下の一連のより小さなチップｘｉｋに（分割された画像３００Ｂに示すように）分解された約３０００×３０００ピクセルの高分解能を通常有する、前処理されたＳＴＥＭ画像３００Ａを入力する。少数のこれらのチップは、例として用いられるか、または概略図３００Ｃに示すような１つまたはいくつかのクラスの各々を定義するためのサポートセットとして用いられる。少数ショット学習を用いる他の画像アプリケーションは、通常、完全に異なるｘｉｋを用いて各クラス（Ｓｋ）のサポートセットを定義するが、開示される例において、Ｓｋは、元の画像３００Ａをより小さな部分画像３０４のグリッド３０２に分解することによって作成することができる。部分画像３０４のサブセットは、クラスごとに、例えば、サポートセットＳ１についてチップ３１２ａ～３１２ｃ、サポートセットＳ２についてチップ３１４ａ～１４ｃ、サポートセットＳ３についてチップ３１６ａ～３１６ｃがラベル付けされた。ｋ＝１，．．，Ｋ個のクラスについてのＮ個のラベル付けされた例のセットが、Ｓ＝｛（ｘ１，ｙ１），．．．（ｘＮ，ｙＮ）｝によって定義されたサポートセットを構成する。ここで、ｘｉは画像ｉを表し、ｙｉは対応する真のクラスラベルである。
図３Ａ～図３Ｅに示す少数ショットモデルは、畳み込みニューラルネットワーク（例えば、ＲｅｓＮｅｔ１０１）を含む埋め込みモジュール３０８と、少数ショットニューラルネットワーク（例えば、ＰｒｏｔｏＮｅｔ）を含む少数ショット類似性モジュール３１０とを含む。少数ショットモデルは、いくつかの例において１００×１００ピクセル以下の一連のより小さなチップｘｉｋに（分割された画像３００Ｂに示すように）分解された約３０００×３０００ピクセルの高分解能を通常有する、前処理されたＳＴＥＭ画像３００Ａを入力する。少数のこれらのチップは、例として用いられるか、または概略図３００Ｃに示すような１つまたはいくつかのクラスの各々を定義するためのサポートセットとして用いられる。少数ショット学習を用いる他の画像アプリケーションは、通常、完全に異なるｘｉｋを用いて各クラス（Ｓｋ）のサポートセットを定義するが、開示される例において、Ｓｋは、元の画像３００Ａをより小さな部分画像３０４のグリッド３０２に分解することによって作成することができる。部分画像３０４のサブセットは、クラスごとに、例えば、サポートセットＳ１についてチップ３１２ａ～３１２ｃ、サポートセットＳ２についてチップ３１４ａ～１４ｃ、サポートセットＳ３についてチップ３１６ａ～３１６ｃがラベル付けされた。ｋ＝１，．．，Ｋ個のクラスについてのＮ個のラベル付けされた例のセットが、Ｓ＝｛（ｘ１，ｙ１），．．．（ｘＮ，ｙＮ）｝によって定義されたサポートセットを構成する。ここで、ｘｉは画像ｉを表し、ｙｉは対応する真のクラスラベルである。
【0028】
プロトタイプネットワークは、類似性モジュール３１０のために用いることができ、その軽量の設計および単純性を踏まえると有利である。開示される少数ショットモデルは、各Ｓｋを単一のプロトタイプｃｋによって表すことができるという前提に基づく。ｃｋを計算するために、各ｘｉｋが、Ｄ次元画像を、学習可能なパラメータφを通じてＭ次元表現にマッピングする埋め込み関数ｆφを通じて最初に処理される。次元Ｍの数は、符号化ニューラルネットワークのタイプまたは深度に依拠することができる。変換されたチップまたはｆφ（ｘｉｋ）＝ｚｉｋである場合、クラスｋのためのプロトタイプ（例えば、プロトタイプ３０６ａ～３０６ｃ）を、以下のような埋め込まれたサポート点ｃｋの平均ベクトルとして作成する：
【数1】
【0029】
３００Ｃを通じてクラスプロトタイプが作成された後、類似性モジュール３１０（例えば、トレーニングされていないプロトタイプネットワーク）は、最初に、クエリを、埋め込み関数を通じて、例えば埋め込みモジュール３０８を通じて変換し、次に、埋め込まれたクエリベクトルと、クラスプロトタイプベクトルの各々との間の距離、例えばユークリッド距離を計算することによって、新たなデータ点またはクエリｑｉを分類する。距離が計算された後、ｓｏｆｔｍａｘは、距離をクラス確率に正規化する。ここで、概略図３００Ｄにおけるカテゴリ化ステップ３１８に示すように、最も高い確率を有するクラスが、クエリのラベルとなる。ｑｉごとのモデルの最終出力はセグメンテーションされた画像３００Ｅを形成することができるそれぞれのクラスラベルである。セグメンテーションされた画像３００Ｅは、例えば、それぞれのプロトタイプ３０６ａ～３０６ｃに最も近いチップに対応する色分けされたチップ３２０ａ～３２０ｃを用いてクラスラベルに従って色分けすることができるか、またはユーザによる視覚的区別のために、分類されたチップ間に別の差を設けることができる。
【0030】
Ｃ．モデル推論
ＳＴＥＭ画像（空間次元においてｎｍ～μｍの範囲をとることができる）において相分数を定量化するために、各チップをクエリ点ｑｉとして用いることができ、それによって、クエリ点の集合Ｑ全体が完全な画像を構成することができる。表ＩＩに示すように、Ｑのサイズは、通常、各チップのサイズおよび完全な画像のサイズに正比例する。
ＳＴＥＭ画像（空間次元においてｎｍ～μｍの範囲をとることができる）において相分数を定量化するために、各チップをクエリ点ｑｉとして用いることができ、それによって、クエリ点の集合Ｑ全体が完全な画像を構成することができる。表ＩＩに示すように、Ｑのサイズは、通常、各チップのサイズおよび完全な画像のサイズに正比例する。
【0031】
【表2】
【0032】
図３Ａ～図３Ｅに示す例において、最初に、全てのｑｉが埋め込みモジュール３０８の埋め込み関数を通じて処理され、各プロトタイプ３０６ａ～３０６ｃに対する距離が選択された距離関数を用いて計算された。次に、類似性モジュール３１０の少数ショットネットワークが、距離にわたってｓｏｆｔｍａｘを計算し、最も高い正規化値に従ってクラスラベルを割り当てることによって、Ｋ個のクラスの各々にわたる分布を生成した。
【0033】
モデル固有の実施および特定の例において用いられるパラメータが上記の表ＩＩに提供される。他の機械学習手法におけるモデルパラメータの選択は、多くの場合に冗漫であるが、開示される少数ショットの例における特定のモデルパラメータは、通常、簡潔にすることができる。例えば、事前トレーニングされたモデルを、埋め込みモジュール３０８のためのアーキテクチャとして利用することができる。図３Ａ～図３Ｅに示す例において、１０１個の層を有する残余ネットワークＲｅｓＮｅｔ１０１が埋め込みアーキテクチャとして用いられた。ＲｅｓＮｅｔは、特に、いくつかの関連画像認識タスクにおけるその成功を踏まえて選択された。ＲｅｓＮｅｔ１０１のためのモデル重みは、画像データベースＩｍａｇｅＮｅｔに対しトレーニングされる、ＰｙＴｏｒｃｈ ｐｙｔｏｒｃｈ／ｖｉｓｉｏｎ ｖ０．６．０から入手可能である。また、ユークリッド距離メトリックが少数ショットネットワークにおいて用いられた。なぜなら、このメトリックは、通常、多岐にわたるベンチマークデータセットおよび分類タスクにわたって通常良好に機能するためである。事前トレーニングされたモデルは、指定されたパラメータおよびトレーニングされたモデル重みを備えている。しかしながら、多くの例において、任意の埋め込みアーキテクチャ、特に、セグメンテーションタスクによく適したものを用いることができることに留意されたい。いくつかの例において、マイクログラフセグメンテーションに対し既知の性能適用可能性を有しない既製のニューラルネットワークを用いることができる。更なる例において、顕微鏡法データまたは他の器具データについて不良なセグメンテーション性能を有することが知られているネットワークであっても用いることができる。
【0034】
類似性モジュール３１０は、任意の少数ショットまたはメタ学習アーキテクチャとすることもできるが；Ｐｒｏｔｏｎｅｔは通常、比較的単純であり、実施が容易である。モデルに必ずしも固有でないパラメータ、すなわちチップサイズおよびバッチサイズは、計算メモリ容量に加えて、各別個のマイクログラフのサイズを考慮に入れることができる。チップは、通常、単一のマイクログラフを包含するべきであり、完全な画像のサイズおよび倍率に応じて試行錯誤することができる。バッチサイズは、一度に評価するチップの数とすることができる。通常、少なくとも１６ＧＢのＲＡＭおよび２．７ＧＨｚの処理能力を有するコンピューティングマシンは、６４×６４ピクセルを測定する１００個のチップのバッチサイズで、０．５秒ごとに約１チップのレートでモデル予測を妥当に計算することができる。計算時間は、チップサイズおよび埋め込みモジュール３０８におけるパラメータ数に加えて、処理能力に依拠することができる。いくつかの例では、セグメンテーションおよび関連する処理は、局所的に、またはクラウドベースのリソースを通じて別個のコンピューティングユニットにおいて実行することができる。少数ショットモデルをトレーニングする場合、ここで示すような単純な推論ではなく、少なくとも１つのＧＰＵが必要であり、サイズ調整可能なデータベースを仮定して収束に達するのに数日かかる場合がある。例えば、ＩｍａｇｅＮｅｔ５４のような通常の画像データベースは１４００万の画像を含む。このため、本明細書において論じられる代表的な例において、トレーニングされていない少数ショットモデルが用いられ、純粋な推論を用いて画像に関する判定を行う。
【0035】
Ｄ．分類
３つの酸化物系についてプロトタイプアーキテクチャを用いた少数ショット分類のセグメンテーション出力が図４Ａ～図４Ｃに示される。入力画像４００Ａ～４００Ｃおよびそれぞれのモデル出力４０２Ａ～４０２Ｃは、スーパーピクセル分類であり、すなわち、他のコンピュータビジョンアプリケーションがセグメンテーションにアプローチするのとほとんど同じ方式で、チップに属する全てのピクセルが同じラベルおよび対応する色を受ける。ここで、サポートセットクラス４０４Ａ～４０４Ｃは、可能な出力ラベルのセットを定義する。それぞれの出力セグメンテーション４０２Ａ～４０２Ｃの右側に示される、各クラスに属するチップのパーセンテージは、各別個のマイクログラフについての総面積推定値についてピクセルスケールの変換を用いて、面積に対するパーセンテージからスケーリングすることができる。
３つの酸化物系についてプロトタイプアーキテクチャを用いた少数ショット分類のセグメンテーション出力が図４Ａ～図４Ｃに示される。入力画像４００Ａ～４００Ｃおよびそれぞれのモデル出力４０２Ａ～４０２Ｃは、スーパーピクセル分類であり、すなわち、他のコンピュータビジョンアプリケーションがセグメンテーションにアプローチするのとほとんど同じ方式で、チップに属する全てのピクセルが同じラベルおよび対応する色を受ける。ここで、サポートセットクラス４０４Ａ～４０４Ｃは、可能な出力ラベルのセットを定義する。それぞれの出力セグメンテーション４０２Ａ～４０２Ｃの右側に示される、各クラスに属するチップのパーセンテージは、各別個のマイクログラフについての総面積推定値についてピクセルスケールの変換を用いて、面積に対するパーセンテージからスケーリングすることができる。
【0036】
ＳＴＯ／Ｇｅ系は、コントラストが画像全体にわたって不規則に変動するという点で、ほとんどの画像解析技法にとって特定の課題を提示する。サンプルは複数のインタフェースも含み、一般的な薄膜基板撮像データを表す。選択されたＬＳＦＯ画像は、ペロブスカイト構造マトリックスにおける二次位相を示し、二次位相は、上部から下部への勾配を有するように見え、これは、２つのマイクログラフ間の非常に僅かな差を劇的に減少させる。２つの相互貫入微細構造領域の分離は、合成プロセス、および電導性等の結果として得られる特性を理解する必要がある。前処理は、これらの不規則性のいくつかについて調節することができるが、Ｏｔｓｕ手法、およびウォータシェッド等の従来の閾値ベースのセグメンテーション技法は、一貫した解決に十分ロバストでない。更に、適応的方法であっても、勾配に対し失敗する可能性があり、複数の画像にわたって全体的に適用されるとき確実に失敗する。モデル出力においていくつかの不規則性が存在し、例えば、ここで、４０２Ａにおける二次マイクログラフ領域が、一握りの誤分類チップ、およびいくつかの微細構造特徴（すなわちＳ１）を識別する際のＬＳＦＯシステム４０２Ｂにおけるいくらかの非一貫性を含むが、いくつかの例は、そのようなタイプの課題を、事後空間平滑化を用いて補正することができる。例えば、或る半径以内の１つのラベルによって完全に取り囲まれたチップでクラス確率に重み付けすることができるか、またはサポートセットを定義するチップの選択に対し調節を行うことができる。例えば、チップサイズ、形状および／またはチップに対する変動は、データに対しオフセットすることができ、メッシュは、不規則性を低減するように調整することができる。また、開示される少数ショット技法は、いくつかの異なる材料系に容易に一般化することができる。なぜなら、１つの画像によって定義された単一のサポートセットは、画像系列の解析における一致していない時間節減のために、同じタイプの複数の画像（例えば、他の隣接画像、画像の時系列、倍率またはアパーチャ数等のいくつかの共通パラメータを有するデータ収集の異なるセッション、他の検出モダリティに対する多峰性 関係等）に対する調節なしで適用することができるためである。この容易に一般化可能であることは、Ｍｏ３ナノ粒子について示すように、より大きなエリアマッピングの場合に特に有利とすることができる。ここでは、多岐にわたる可能な粒子形態学を調査するための画像モンタージュを収集することが必要である可能性がある。ここでもまた、開示される少数ショット方法は、不正確なラベル付けの最小の例を用いて、いくつかのナノ粒子の向きを炭素支持背景と区別することに成功する。特に、少数ショット手法は、この「フラット」カテゴリを定義する広範にわたる形状、コントラストおよびサイズを有する、４０２ＣにおけるＳ１の視覚複雑度を受け入れる。４０２ＣにおけるＳ１は、他のものよりもいくつか多いチップを用いて定義されるが、モデルは、コントラストベースの方法単独では不可能なセグメンテーションタスクを妥当に実行することができる。このため、異なる材料系に対し十分一般化するモデルの能力が、図４Ａ～図４Ｃに実証されている。これらは、様々な微細構造特徴が、ＳＴＯ、ＬＳＦＯおよびＭｏＯ３についてマッピングに成功したことを示す。
【0037】
Ｅ．他の方法との比較
最初に、特定のマイクログラフ、すなわちセグメンテーションにおける関心対象の微細構造特徴を定量化する目的で、いくつかの画像解析技法が探索された。単一のセグメンテーション方法のいずれも、コントラスト調節、平滑化および先鋭化等の前処理ステップがなければ良好に機能しない。これらの解析における前処理の目的は、人工コントラストテクスチャを大域的に最小限にし、オブジェクトのエッジを局所的に強調することであり得る。これは、ほとんどのセグメンテーションルーチンにとって重要なノイズ低減ステップである。前処理およびセグメンテーションは多くの場合に分離不可能であることを踏まえて、セグメンテーションおよび前処理の双方を併せた文脈において、比較可能なセグメンテーション方法が調査された。少数ショット手法を、より広く用いられるセグメンテーション方法と比較する目的で、ＳＴＯ／Ｇｅ系からの例示的な画像が、様々なノイズ感度およびセグメンテーション能力を有する技法を用いて解析された。その結果が図５に提示されている。
最初に、特定のマイクログラフ、すなわちセグメンテーションにおける関心対象の微細構造特徴を定量化する目的で、いくつかの画像解析技法が探索された。単一のセグメンテーション方法のいずれも、コントラスト調節、平滑化および先鋭化等の前処理ステップがなければ良好に機能しない。これらの解析における前処理の目的は、人工コントラストテクスチャを大域的に最小限にし、オブジェクトのエッジを局所的に強調することであり得る。これは、ほとんどのセグメンテーションルーチンにとって重要なノイズ低減ステップである。前処理およびセグメンテーションは多くの場合に分離不可能であることを踏まえて、セグメンテーションおよび前処理の双方を併せた文脈において、比較可能なセグメンテーション方法が調査された。少数ショット手法を、より広く用いられるセグメンテーション方法と比較する目的で、ＳＴＯ／Ｇｅ系からの例示的な画像が、様々なノイズ感度およびセグメンテーション能力を有する技法を用いて解析された。その結果が図５に提示されている。
【0038】
セグメンテーションに対する最も単純な手法は、図５の第１の行に示す閾値処理技法のファミリーに入る。最上行に示すガウス当てはめ＋Ｏｔｓｕ、適応平均、および適応ガウスの３つの方法は、画像内のピクセルを、強度閾値に基づいて、２つ以上のクラスに分離するように設計される。これらの方法における閾値は、大域的に（最上行左）、およびピクセルの近傍を用いて局所的に（最上行中央および右）、ピクセル強度の分布に関する情報を用いて決定される。近傍方法は、一般的に、ノイズに対しより感度が高いのに対し、Ｏｔｓｕのより大域的な技法は、前景ピクセル（明）を背景（暗）から比較的良好に分離するように見える。
【0039】
単純な閾値処理を超えて動かし、背景および前景以外のクラスにピクセルを分離することを調べることができる。図５に示すセグメンテーション方法は、通常、強度を、再び画像内のピクセル強度の分布によって定義された複数のクラスに分離する能力を有する。理想的には、画像を２つの別個のマイクログラフに従ってセグメンテーションすることができるという前提を実証するために、２つのクラスがこれらのルーチンについて指定される。これらの手法は、通常、より大きなグループまたは形状の一部でないピクセルを除去するために、ぼかしフィルタおよび／またはモルフォロジカル演算も伴う。形状エッジは、図５の中央行に示すマルチＯｔｓｕ、ウォータシェッド、およびＹｅｎ手法において、最上行におけるより明確であるが、結果として得られるセグメンテーションは、依然として、背景／前景であるように見え、マイクログラフ構造間の区別に失敗する。これらの方法の直接実施の１つの制限は、結果として得られるクラスが、基礎をなすマイクログラフのサイズまたは形状ではなく、常に強度に基づくことである。これらの方法を、形状検出ルーチンを用いて層化することが可能である場合があり、ここでは、概ね同じサイズの形状を同じクラスにクラスタ化することができる。しかしながら、前景／背景セグメンテーション後に形状をクラスタ化することは、教師なし方式で、すなわち、厄介な手動の介入なしで微細構造特徴を明瞭に分離することが可能でないことがわかった。
【0040】
形状クラスタリングルーチンを既にセグメンテーションされた画像に加えるのではなく、クラスタベースの方法が、図３の最下行における未加工画像、または未加工画像の近傍に対し実施された。共通の教師なしＫ最近傍（ＫＮＮ）クラスタリング方法が最下行右に示されており、ここで、クラスタリング結果が、再び、ピクセル強度または背景／前景分離に基づいて見られる。最下行中央は、第１の非強度ベースの手法を示す。平均構造類似性インデックス尺度（ＳＳＩＭ）は、領域間の類似性の尺度として、１００×１００ピクセルの非重複近傍について対ごとに計算される。各近傍の平均ＳＳＩＭは、図５の最下行中央に示されるように２つのクラスにグループ化することができる二峰性分布である。しかしながら、ＳＳＩＭにおけるカットオフは手動で決定されなくてはならない。最後に、開示される少数ショット技法マニュスクリプトによる少数ショットセグメンテーションが最下行左に示され、ここでは、別個のマイクログラフの２つの領域間の完全なセグメンテーションが見られる。少数ショットは、クラスタリング技法として含まれる。なぜなら、近傍が、クラスタリング技法が重心に対し比較を行う方式にいくつかの点において類似してプロトタイプに対し比較されるためである。
【0041】
図６は、別の例示的な少数ショット方法６００のフローチャートを示す。６００において、撮像もしくはスペクトルセンサ、または顕微鏡もしくは他の器具の別の検出器等の器具から入力データ画像が受信される。６０４において、入力データ画像が、より小さな部分画像の配列に分割される。６０６において、ユーザは、例えばマウスまたはタッチスクリーンインタフェースを用いて、関心対象の特徴の異なるクラスを表す関心対象の様々な部分画像を選択することによって、より小さな部分画像の配列から、少数ショット画像セグメンテーションのためのサポートセットを選択することができる。サポートセットは、関心対象のユーザによって選択された特徴を含むことができる。サポートセットは、関心のある特徴と区別されるべき領域、例えば、既知の背景材料もしくは物体、暗空間、白色空間、特定のテクスチャもしくは色、関心のない特定の材料もしくは物体等も含む可能性がある。６０８において、サポートセットは、埋め込みニューラルネットワークを通じて処理することによって、潜在空間表現に変換される。６１０において、クラスプロトタイプは、その後、少数ショットニューラルネットワークによって、配列の他の部分画像または他の取得された入力データ画像内の他の部分画像を分類するのに用いられるように形成される。６１２において、サポートセットが６０８において変換される時点で、または異なる時点で、入力画像の他の部分画像、または他の画像の部分画像は、埋め込みニューラルネットワークを通じて処理することによって、潜在空間表現に変換される。６１４において、入力データ画像の部分画像は、クラスプロトタイプとの比較に基づいて分類され、異なる部分画像が対応するクラスプロトタイプラベルを割り当てられる。６１６において、分類された出力画像は、例えば、コンピュータメモリに記憶されることによって、および／またはユーザに表示されることによって提供することができる。
【0042】
論じたように、顕微鏡は、多くの場合、異なる検出器チャネル、異なる粒子を検出するように構成された検出器、異なる向き、異なるタイプのデータ、ゲーティング、サンプリングレート、フレームレート等の異なるパラメータ構成を有する検出器等の２つ以上の検出モダリティを含む。いくつかの例において、複数の同時に取得された（または同時でない）データモダリティにおいて少数ショットサポートセットを定義することができる。次に、マルチモード少数ショットサポートセットを用いて、集約モダリティにおいてクラスを記述する、より高次のサポートセットベクトルを定義することができる。次に、未知のマルチモードデータを分類するクエリを、これらのより高次のサポートセットベクトルに対し行うことができる。例えば、１つのみのモダリティについて定義されたサポートセットに基づいてより高いクラス確率を有する可能性がある特徴は、他のモダリティの影響に起因して異なるクラス確率を有する可能性がある。いくつかの例において、検出モダリティに関連付けられたサポートセットは、第２の検出モダリティを通じて取得されたデータの類似のチップに割り当てることができる、異なるチップの分類ラベルを生成することができる。例えば、分類されたチップの座標は既知とすることができるため、関心対象の特徴を、第２の検出モダリティにおける画像にマッピングして、ユーザに有用な情報を提供することができる。いくつかの例において、ユーザは、第２のモダリティにおいて特徴のロケーションをレビューして、少数ショットサポートセットを精緻化することによって、第１のモダリティにおけるサポートセットを選択または選択解除することができる。更に、第２の検出モダリティにおけるサポートセット選択は、第１の検出モダリティからのラベルのマッピングによって支援することができる。いくつかの例において、第２の検出モダリティにおけるサポートセットは、第１の検出モダリティのために生成された分類ラベルに基づいて自動的にポピュレートすることができる。
【0043】
ＩＩＩ．利点および用途
ＳＴＥＭ画像セグメンテーションに対し柔軟性のある少数ショット学習手法を用いる開示される例は、より従来の画像処理方法と比較して、関心対象の位相、欠陥および他の微細構造特徴のマッピングおよび識別を大幅に加速することができる。３つの異なる材料系（ＳＴＯ／Ｇｅ、ＬＳＦＯ、およびＭｏＯ３）を用いて、様々な原子スケールの特徴、このためモデル展開のための画像データにおける多様性で性能を検証した。開示された少数ショット学習手法を用いてセグメンテーションされた画像は、元のマイクログラフと良好な定量的一致を示す。
ＳＴＥＭ画像セグメンテーションに対し柔軟性のある少数ショット学習手法を用いる開示される例は、より従来の画像処理方法と比較して、関心対象の位相、欠陥および他の微細構造特徴のマッピングおよび識別を大幅に加速することができる。３つの異なる材料系（ＳＴＯ／Ｇｅ、ＬＳＦＯ、およびＭｏＯ３）を用いて、様々な原子スケールの特徴、このためモデル展開のための画像データにおける多様性で性能を検証した。開示された少数ショット学習手法を用いてセグメンテーションされた画像は、元のマイクログラフと良好な定量的一致を示す。
【0044】
他の技法と比較すると、ノイズ感度および／またはラベル付け能力は、適応的セグメンテーションおよびクラスタリングアルゴリズムにとって課題のままであることがわかった。調査された少数ショット技法は、優れた性能を呈し、材料一式を受け入れるのに十分柔軟性を保っている。少数ショット機械学習は、教師あり情報を有する僅かな数のサンプルのみを含む新たな分類タスクに高速に一般化することにますます成功しているが、経験リスク最小化器は僅かに信頼できないものとなる可能性があり、任意の所与のサポートセットについてモデルの信頼性の不確実性につながる。この不確実性のうちのいくらかは、例えば、モデルを、サポートセットにおける誤りを有する非最適解に向けて駆動することを回避するために、サポートセットを注意深く選択することにより軽減することができる。解における不確実性のうちのいくらかを低減することができる別の方式は、利用可能な場合、大量のラベル付けされたデータを用いて少数ショットモデルを実際にトレーニングし、新たな分類タスクが、完全に新しい異なる材料系においてであっても、最適化の利益を既に有するようにすることである。空間統計は、他の均一な材料領域から偽のセグメンテーション予測を平滑化するための方法も提供することができる。性能における不確実性に加えて、モデルの一般化が可能であることにおける利点も、モデル自体から抽出することができる物理的に有意味な情報の量を制限する。
【0045】
いくつかの例において、開示される少数ショットの例は、マルチモード少数ショットモデルにおけるスペクトル（電子エネルギー損失分光法（ＥＥＬＳ）およびエネルギー分散Ｘ線分光法（ＥＤＳ））および回折（４Ｄ－ＳＴＥＭ）等の複数のデータストリームに適用することができる。マルチモードコンテキストにおける洞察は、より物理的に有意味な情報を抽出し、おそらくセグメンテーション性能を向上させるのに役立つ。
【0046】
理論上、この同じモデルは、多岐にわたるＳＴＥＭ画像に対し一般化すべきであり、他のシステムに対する本発明による予備結果がこれを示す。まだ更に未知であるものは、所与のクラスについてのサポートセットにおけるサイズおよび多岐にわたる例の影響である。シミュレーション研究は、埋め込みのために他のモデルを用いる可能性、およびモデルトレーニングの利点を含む、これらの問いおよび他のものに回答するのを支援するように設計されている。テクスチャセグメンテーションのための少数ショットにおける最近の作業は、ピクセルレベルの表記が可能であることも示し、この手法の正確性をチップレベルの分解能よりも上に押し上げる。理想的には、少数ショットセグメンテーションは、そうでなければ手動で大規模に行うことが極度に高コストになるこれらの大きなトレーニングセットをキュレートし、表記することを支援することもできる。概して、この手法は、単一の画像について材料の微細構造の分析を標準化および自動化する潜在的に強力な手段を提供し、新たな高スループット特徴付けアーキテクチャへの道を開いている。
【0047】
ＩＶ．実験方法
上記の３つの実験システムが以下のように準備された。ＳｒＴｉＯ３膜が分子線エピタキシー法（ＭＢＥ）を用いてＧｅ基板上に堆積された。Ｌａ０．８Ｓｒ０．２ＦｅＯ３膜がＭＢＥを用いてＳｒＴｉＯ３（００１）基板上に堆積された。薄膜の断面ＳＴＥＭサンプルが、ＦＥＩのＨｅｌｉｏｓ ＮａｎｏＬａｂ ＤｕａｌＢｅａｍ集束イオンビーム（ＦＩＢ）顕微鏡および標準的な採取手順を用いて準備された。バルクＭｏＯ３＝粒子が、エタノール内の懸濁液からレース状炭素グリッド上にドロップキャストされた。ＳＴＯ／Ｇｅの高角度環状暗視野（ＳＴＥＭ－ＨＡＡＤＦ）画像が、２０．６ｍｒａｄの収束半角度および９０～３７０ｍｒａｄの収集角度を有して２００ｋＶで動作しているプローブ補正されたＪＥＯＬ ＡＲＭ－２００ＣＦ顕微鏡において収集された。ＬＳＦＯおよびＭｏＯ３のＳＴＥＭ－ＨＡＡＤＦ画像が、２９．７ｍｒａｄの収束半角度および７５～５１５ｍｒａｄの収集角度で、３００ｋＶで動作しているプローブ補正されたＪＥＯＬ ＧｒａｎｄＡＲＭ－３００Ｆ顕微鏡において収集された。この作業において解析された元の画像データは、（ＳＴＯ／Ｇｅの場合の）３０４２×３０４４ピクセル、（ＬＳＦＯの場合の）２０４８×２０４８、およびＭｏＯ３の場合の５１２×５１２間で変動した。ビーム感度に起因して、示されるＳＴＯ／Ｇｅ画像は、フレーム平均化手法を用いて収集され；一連の１０個のフレームが１０２４×１０２４ｐｘサンプリングおよび２μｓ ｐｘ－１を用いて取得され、次に、ＳｍａｒｔＡｌｉｇｎプラグインを用いて２回（２×）非剛体アラインおよびアップサンプリングされた。各材料系から数十個の画像が収集され、広範にわたる選択された欠陥特徴がこの研究において用いられた。前処理技法および少数ショットモデルのためのパラメータの特定の実施態様が、それぞれ表Ｉおよび表ＩＩにおいて上記で説明される。全ての方法は、Ｐｙｔｈｏｎプログラミング言語ｖ．３．６を用いて実施された。各画像は、１６ＧＢ ＲＡＭ ２．７ＧＨｚ Ｉｎｔｅｌ Ｃｏｒｅｉ７ ＭａｃＢｏｏｋ Ｐｒｏを用いて処理された。
上記の３つの実験システムが以下のように準備された。ＳｒＴｉＯ３膜が分子線エピタキシー法（ＭＢＥ）を用いてＧｅ基板上に堆積された。Ｌａ０．８Ｓｒ０．２ＦｅＯ３膜がＭＢＥを用いてＳｒＴｉＯ３（００１）基板上に堆積された。薄膜の断面ＳＴＥＭサンプルが、ＦＥＩのＨｅｌｉｏｓ ＮａｎｏＬａｂ ＤｕａｌＢｅａｍ集束イオンビーム（ＦＩＢ）顕微鏡および標準的な採取手順を用いて準備された。バルクＭｏＯ３＝粒子が、エタノール内の懸濁液からレース状炭素グリッド上にドロップキャストされた。ＳＴＯ／Ｇｅの高角度環状暗視野（ＳＴＥＭ－ＨＡＡＤＦ）画像が、２０．６ｍｒａｄの収束半角度および９０～３７０ｍｒａｄの収集角度を有して２００ｋＶで動作しているプローブ補正されたＪＥＯＬ ＡＲＭ－２００ＣＦ顕微鏡において収集された。ＬＳＦＯおよびＭｏＯ３のＳＴＥＭ－ＨＡＡＤＦ画像が、２９．７ｍｒａｄの収束半角度および７５～５１５ｍｒａｄの収集角度で、３００ｋＶで動作しているプローブ補正されたＪＥＯＬ ＧｒａｎｄＡＲＭ－３００Ｆ顕微鏡において収集された。この作業において解析された元の画像データは、（ＳＴＯ／Ｇｅの場合の）３０４２×３０４４ピクセル、（ＬＳＦＯの場合の）２０４８×２０４８、およびＭｏＯ３の場合の５１２×５１２間で変動した。ビーム感度に起因して、示されるＳＴＯ／Ｇｅ画像は、フレーム平均化手法を用いて収集され；一連の１０個のフレームが１０２４×１０２４ｐｘサンプリングおよび２μｓ ｐｘ－１を用いて取得され、次に、ＳｍａｒｔＡｌｉｇｎプラグインを用いて２回（２×）非剛体アラインおよびアップサンプリングされた。各材料系から数十個の画像が収集され、広範にわたる選択された欠陥特徴がこの研究において用いられた。前処理技法および少数ショットモデルのためのパラメータの特定の実施態様が、それぞれ表Ｉおよび表ＩＩにおいて上記で説明される。全ての方法は、Ｐｙｔｈｏｎプログラミング言語ｖ．３．６を用いて実施された。各画像は、１６ＧＢ ＲＡＭ ２．７ＧＨｚ Ｉｎｔｅｌ Ｃｏｒｅｉ７ ＭａｃＢｏｏｋ Ｐｒｏを用いて処理された。
【0048】
制御および自動化システムの例
科学の歴史は、自然界をより十分に探索するツール、手法およびプロトコルの発展によって強調される。ウォータシェッドの発見は、ますます明らかになる実験を設計および実行する際に人間を啓発することに直接関連してきた。クリーンエネルギー、シリコン革命およびデザイナー薬の台頭は、より良好な空間的、化学的および時間的レンズを通じて界を見た僅かな結果にすぎない。従来、手動の手法が実験に追いついていたが、現在では、全ての科学領域が人間の認知をはるかに超えた規模および複雑度でデータを生成する。この状況により、皮肉にも過剰なデータ、および迅速に作動可能な知識の不足が生じ、実験を変換する自動化および人工知能（ＡＩ）の開発の動機付けとなっている。化学的合成、結晶学および生物学等のいくつかのコミュニティが、この新たなパラダイムを早期に採用したが、硬物質の電子顕微鏡法等の分野は、長年にわたる実際の障壁に起因してこの遷移を始めたばかりである。閉じたまたは専用の器具プラットフォーム等のこれらの障壁のうちのいくつかは、企業推進力の結果であるのに対し、他の障壁は、アクセス可能な規格ベースの実験フレームワークの欠如から生じる。結果として、顕微鏡法におけるデータ科学の採用は、高度に断片化し、いくつかの機関は、強力なカスタム器具および解析プラットフォームを開発することができるのに対し、他の機関は、これらの実施を毎日の解析ワークフローに統合することができていない。現在、一般的な使用事例に対処するための実際的で一般化可能な自動化プラットフォームを設計することが大きく必要とされている。
科学の歴史は、自然界をより十分に探索するツール、手法およびプロトコルの発展によって強調される。ウォータシェッドの発見は、ますます明らかになる実験を設計および実行する際に人間を啓発することに直接関連してきた。クリーンエネルギー、シリコン革命およびデザイナー薬の台頭は、より良好な空間的、化学的および時間的レンズを通じて界を見た僅かな結果にすぎない。従来、手動の手法が実験に追いついていたが、現在では、全ての科学領域が人間の認知をはるかに超えた規模および複雑度でデータを生成する。この状況により、皮肉にも過剰なデータ、および迅速に作動可能な知識の不足が生じ、実験を変換する自動化および人工知能（ＡＩ）の開発の動機付けとなっている。化学的合成、結晶学および生物学等のいくつかのコミュニティが、この新たなパラダイムを早期に採用したが、硬物質の電子顕微鏡法等の分野は、長年にわたる実際の障壁に起因してこの遷移を始めたばかりである。閉じたまたは専用の器具プラットフォーム等のこれらの障壁のうちのいくつかは、企業推進力の結果であるのに対し、他の障壁は、アクセス可能な規格ベースの実験フレームワークの欠如から生じる。結果として、顕微鏡法におけるデータ科学の採用は、高度に断片化し、いくつかの機関は、強力なカスタム器具および解析プラットフォームを開発することができるのに対し、他の機関は、これらの実施を毎日の解析ワークフローに統合することができていない。現在、一般的な使用事例に対処するための実際的で一般化可能な自動化プラットフォームを設計することが大きく必要とされている。
【0049】
任意の自動化プラットフォームの２つの重要なコンポーネントは、低レベル器具制御および意思決定解析である。前者の場合、研究者は、通常、製造者によって設定された制御の制限を受容すること（多くの場合、性能仕様を保証する必要がある）または特注の器具を設計することの間で選択するように強制される。コミュニティは、細胞生物学、医療診断、および単一粒子の低温電子顕微鏡法の分野において最も顕著にではあるが、結晶学、半導体計量学および粒子分析においても、高スループットのスクリーニングおよび自動化に対する複数の革新的な手法を開発した。より近時では、製造者は、低レベルの器具機能に対するアクセスの増大を提供し始めた。これらのアプリケーションプログラミングインタフェース（ＡＰＩ）は、潜在的に、既存の機械学習（ＭＬ）パイプラインに統合することができ、「有線測定（ｍｅａｓｕｒｅ－ｂｙ－ｗｉｒｅ）」自動調整およびガウスプロセス駆動型実験等の新たな制御フレームワークを有効にすることができる。しかしながら、これらのＡＰＩは初期の開発段階にあり、プログラミング、ハードウェアおよび顕微鏡法の専門知識を必要とするため、これらを利用する僅かな制御システムしか設計されていない。更に状況を複雑化するのは、最新の機器が多くの場合に異なる製造者からのコンポーネント（例えば、カメラ、分光計、および走査装置）を組み込んでいることであり、その特徴およびアクセスパリティの欠如により任意の「オープンコントローラ」設計が複雑になる。理想的な「オープンコントローラ」は、（１）低レベル器具コマンドのための中心通信ハブとしての役割を果たし、（２）追加のハードウェアコンポーネントを含むようにスケーリングし、（３）データアーカイブの外部ソースに連結し、（４）解析から制御ループへのオンザフライのフィードバックを統合するべきである。最終的に、任意のそのようなシステムの目標は、低レベルコマンドを高レベルインタフェースに変換し、研究者またはオペレータが、高レベルの実験設計および実行に集中することを可能にすることである。この目標は、研究者が、器具の基礎をなす動作について無知であるべきことを意味するものではなく；むしろ、ほとんどの実験が、未加工（メタ）データ情報（例えば、ステージ座標、プローブ電流および検出器カウント）ではなく、物理的に有意味な材料および科学記述子（例えば、形態学、テクスチャおよび局所的状態密度）を収集することを目的とすることを確認する。
【0050】
実際の低レベル器具制御と並行して、意思決定解析は、任意の自動化プラットフォームの追加の重要な部分である。従来の器具動作は、技能を有するオペレータが実験パラメータを手動で定義し、データを収集し、出力を評価して、次のステップを決定するヒューマン・イン・ザ・ループ制御 に基づく。しかしながら、この手法は、ここで定期的に生成される大きなデータボリュームおよびタイプにあまり適しておらず；高次元のパラメータ空間を解析するのが困難な人間は、ステップをバイアスおよび省略する傾向があり、多くの場合、十分高速に応答することができない。したがって、閉ループ制御のための作動可能なメトリックを迅速に定義することができる解析手法が用いられなければならない。計算撮像の分野は、ノイズ除去および歪み補正等のデータ品質の改善と、成分解析およびＭＬ等の方法を用いた情報の抽出の双方に対する手法を開発した。畳み込みニューラルネットワーク（ＣＮＮ）等のディープラーニング手法は、基礎をなす物理学の事前知識を有することなくデータにおける傾向について一般化可能なモデルを学習可能であることに起因して、顕微鏡法においてますます一般的になっている。これらの方法は、複数のモダリティにわたって大量のデータを効率的に問い合わせることができ、埋め込みコンピューティングハードウェアを用いて加速し、処理時間を低減することができる。その多くの用途の中で、ＭＬは、原子スケールの構造モチーフを効率的に定量化および追跡するために用いられ、自動化顕微鏡プラットフォームの一部として最近成功を示している。これらの利点にかかわらず、従来のＣＮＮは通常制約されている。なぜなら、これらは通常、大量の（１００～１０ｋ超の画像）の冗漫に手作業でラベル付けされたまたはシミュレートされたトレーニングデータを必要とするためである。顕微鏡において研究される多岐にわたる実験およびシステムに起因して、そのようなデータは、多くの場合、時間を消費し、取得が不可能である。加えて、トレーニングセットは、通常、所定のタスクを念頭に置いて選択され、実験中に得られた新たな洞察を組み込むようにオンザフライで変更することが困難である。
【0051】
最近、少数ショットＭＬは、システムに関するほとんどまたは全くない事前情報に基づいて、新規の視覚概念を学習する代替的な手法として提案された。少数ショットは、限られたデータを用いてＭＬの課題に対処するスパースデータ解析のより広い分野の一部である。（上記で論じた）開示される少数ショット手法において、オフラインＣＮＮ事前トレーニングは、ＲｅｓＮｅｔ１０１等の通常のネットワークを用いて１回実行し、その後、ユーザによって提供された限られた数の例を用いて特殊化された少数ショットメタ学習器のオンラインアプリケーションによって実行することができる。例は、１回のみ実行することができるオフライントレーニング、および異なるタスクに対し適応することができる柔軟性を利用するため、これらの手法は、計算効率の利点を有する。少数ショットは、主に電子後方散乱回折（ＥＢＳＤ）パターンの解析における、材料科学コミュニティ内で最小の利用が見られるが、新規のシナリオでは、トリアージおよび分類タスクを知らせる大きな可能性を有する。本明細書に論じられる開示される少数ショット技法は、最近、電子顕微鏡画像のセグメンテーションのための効率性および柔軟性を実証した。グラフィカルユーザインタフェース（ＧＵＩ）において２～１０個のみのユーザが提供した例を用いて、原子分解能および低倍率画像の双方において微細構造特徴を迅速に分類することが可能である。少数ショット手法の出力は、比較的大量の異なる特徴に対する特徴マップおよび統計を含むことができる。また、閉ループ自動化システムにおいてフィードバックし、および／またはマルチモードサポートセットを形成するかもしくは複数の異なる検出モダリティの解析を向上させるための道筋を提供する、所望の特徴のためのピクセル座標を容易に抽出することが可能である。
【0052】
様々な電子顕微鏡および他の顕微鏡ならびに器具のための開示される自動化プラットフォームの例は、少数ショットＭＬによって通知される閉ループフィードバックに基づくことができる。いくつかの例において、器具データは、中央器具コントローラを通じて予め定義された検索パターンに従って自動的に取得することができる。いくつかの例において、データは、非同期通信ハブに渡すことができ、非同期通信ハブにおいて、データはユーザ入力に基づいて別個の少数ショットアプリケーションによって処理される。処理されたデータを用いて、データに関連付けられた所望の特徴を識別し、実験の後続のステップを案内することができる。選択された例において、ステージモンタージュアルゴリズムと組み合わせて、自動化データ収集を大きな関心領域（ＲＯＩ）にわたって実行することができる。少数ショット手法の特定の利点は、新たな知識が得られるとオンザフライで変更することができるタスクによって、特徴を分類し、システムを案内することができることである。開示される手法は、多岐にわたるモードにおいて、よりインテリジェントな統計的実験をもたらすことができる。
【0053】
任意の顕微鏡制御システムの設計は、複数のベンダーからのハードウェアコンポーネントが、カスタムコントローラおよび解析アプリケーションにネットワーク接続されなくてはならないため、本質的に複雑である。いくつかの例示的なシステムは、３つのサブシステム：動作、制御およびデータ処理に分割することができる。動作システムは、複雑な低レベルのハードウェアコマンドを、単純な高レベルのユーザインタフェースに変換するプログラミング言語および通信ネットワークを含むことができる。制御システムは、少数ショットＭＬ特徴分類に基づいて、開および／または閉ループデータ取得モードを包含することができる。ここで、動作システムは、ハードウェアコマンドを変換し、制御システムは、未加工データを物理的に有意味な制御設定点に変換する。本明細書において、ＭｏＯ３ナノ粒子の統計的解析の文脈において、例示的な動作が説明される。いくつかの例において、データ処理システムは、オンザフライのおよび事後のレジストレーション、アライメント、および撮像データのスティッチングを含むことができる。例示的なアーキテクチャは、広範にわたる顕微鏡法実験の、柔軟性があり、カスタマイズ可能な、自動化された動作を有効にすることができる。
【0054】
プラットフォームのバックボーンとして、代表的な例は、開ループ形式で画像データを取得するように構成された分散動作システムを含むことができ、そのデータを少数ショットＭＬを介して解析し、次に、場合により、閉ループ形式の実験の次のステップについて自動的に決定を行う。システムの分散特性は、別個の専用ＭＬ局における解析実行（例えば、リモートでの、またはクラウドベースの環境を用いた解析実行であり、並列処理のために最適化することができる）、リモート実験室における様々な器具の取得および制御、ならびにオフィスまたは自宅からのプロセスの視覚化を可能にする。リモートの視覚化を提供するように構成された例示的なシステムは、信頼性に影響を及ぼすレイテンシおよび通信ドロップアウトを被る可能性があるリモート動作方式と対照の立場にある。
【0055】
図７は、３つのレベル：指示レベル７０２、通信レベル７０４およびハードウェアレベル７０６に配置された電子顕微鏡７０１のための例示的な動作システム７００を示す。代表的な例において、指示レベル７０２は、それぞれ、全体動作および少数ショットＭＬ解析を提供するように構成されたデータ取得アプリケーション７０８および少数ショット機械学習アプリケーション７１０を含む。アプリケーション７０８、７１０は、サンプルがロードされ、初期アライメントが実行されると、エンドユーザが顕微鏡とインタラクトするために用いる一次ツールである。アプリケーション７０８、７１０の各々は、別個のプロセスとすることができ、実際的である場合、別個のマシン上で実行することができる。データ取得アプリケーション７０８は、主要なデータ取得アプリケーションとすることができるが、他のアプリケーションをこれに結合することができる。データ取得アプリケーション７０８は、セッション構成情報等の命令を器具コントローラに送信し、器具コントローラからデータを受信し、所与の実験に関連付けられたデータ／メタデータを記憶するように構成することができる。データ取得アプリケーション７０８は、器具データを、少数ショットＭＬ解析のために少数ショット機械学習アプリケーション７１０に渡し、記憶およびリアルタイムの視覚化のために、返された解析されたデータを受信する。いくつかの例において、少数ショット機械学習アプリケーション７１０は、ウェブベースのＰｙｔｈｏｎ Ｆｌａｓｋ ＧＵＩを特徴とすることができる。少数ショット機械学習アプリケーション７１０を用いて、ユーザが定義した少数ショットサポートセットに基づいて、画像内の特徴または他の器具データグループを分類し、分類された特徴の量および座標を記録する。以下で更に説明されるように、解析の結果は、開ループ取得の終了時にユーザに表示することができ、閉ループ意思決定の基礎として用いることができる。
【0056】
通信レベル７０４は、エンドユーザアプリケーションを、低レベルハードウェアコマンドに連結するように構成することができる。例えば、通信レベル７０４は、より従来の顕微鏡システムでは低速で誤りを生じやすいプロセスである、複数のハードウェアサブシステムとの直接のユーザインタラクションの量を最小にするように特に構成することができる。システム７００の様々な部分間の通信は、中央メッセージング中継器７１２によって扱うことができる。代表的な例において、中央メッセージング中継器は、非同期通信を提供することができる。いくつかの例において、中央メッセージング中継器７１２は、多くのソフトウェア言語およびハードウェアプラットフォームにポート接続されたソケットベースのメッセージングプロトコルであるＺｅｒｏＭＱ（ＺＭＱ）において実施することができる。ＺＭＱパブリッシャ／サブスクライバモデルは、非同期通信を可能にすることに起因して有利とすることができ；すなわち、システム７００のコンポーネントは、メッセージを発行し、次にその作業を継続することができる。例えば、データ取得アプリケーション７０８は、少数ショット機械学習アプリケーション７１０がサブスクライブするポート上に画像を発行することができる。データ取得アプリケーション７０８は、周期的に自身がサブスクライブする少数ショット機械学習アプリケーション７１０ポートをチェックしながら、画像を制御し、データを記憶および視覚化する自身の作業を継続することができる。逆に、少数ショット機械学習アプリケーション７１０コードは、ＺＭＱ中継器を介してデータ取得アプリケーション７０８からの任意のメッセージをリスンすることができる。なぜなら、これらのメッセージは、少数ショット機械学習アプリケーション７１０によって処理される画像を含むためである。同じメッセージにおいて、データ取得アプリケーション７０８は、必要なチップサイズ、および単数または複数のサポートセット内の各クラスに割り当てられたチップの識別情報（微細構造特徴）等の、少数ショット解析に必要なパラメータを送信することができる。代替的に、ユーザは、実験の開始時に、または実験の主要な遷移点において、ＧＵＩ内のこれらの同じパラメータを示すことができる。いくつかの例において、少数ショット解析からの出力は、処理された画像（例えば、画像内の各グリッドが分類により色分けされる）、各分類された特徴の座標、および／またはデータ取得アプリケーション７０８における表示のための概要統計とすることができる。少数ショット機械学習アプリケーション７１０は、少数ショット解析出力をＺＭＱ中継器７１２に返送し、ここで、これはリソースが利用可能であるとき、データ取得アプリケーション７０８による作用を受けることができる。データ取得アプリケーション７０８は、１つまたはそれ以上のクラウドアーカイブ７１４に更に連結することができる。少数ショットサポートセットおよびモデル重み等のデータおよび方法は、実験の前に初期化することができ、次に、実験の終了時にアップロードすることができる。
【0057】
ハードウェアレベル７０６は、通常、実施が最も困難であった。なぜなら、直接低レベルハードウェア制御が、多くの場合、利用不可能であるか、または専用製造者フォーマットで符号化されるためである。多くの製造者は独自のスクリプト言語を提供してきたが、これらは通例、オープンＰｙｔｈｏｎまたはＣ＋＋／Ｃ＃ベースのプログラミング言語と互換性のないサイロ化されたおよび限られたアプリケーション環境の外側でアクセス不可能である。しかしながら、ＰｙＪＥＭ７１６およびＧａｔａｎ Ｍｉｃｒｏｓｃｏｐｙ Ｓｕｉｔｅ（ＧＭＳ）Ｐｙｔｈｏｎ７１８等の最近のＡＰＩのリリースにより、ビーム制御７２０、アライメント７２２、ステージ位置決め７２４および検出器７２６を含む、多くの器具動作と直接インタフェースする能力が解除された。より高レベルの制御を定義するラッパをこれらのＡＰＩの各々について提供することができ、これらは次にＺＭＱ中継器７１２を通される。ハードウェアレベル７０６は、モジュール式であるように構成することができ、新たなハードウェアがアクセス可能にされ、追加のコンポーネントが設置される際、追加のラッパを通じて拡張することができる。動作システム７００の３つのレベル７０２、７０４、７０６は合わせて、顕微鏡の制御を移し、これを例えば非同期通信中継器を介して豊富な自動化および解析アプリケーションにリンク付けする役割を果たす。
【0058】
図８は、動作システム７００のために用いることができる様々な器具制御モードを示す。いくつかの例において、器具は、特徴分類８０６のプロセスによって分離された開ループ制御８０２または閉ループ制御８０４の下で実行することができる。開ループ制御動作において、システムは、データ取得アプリケーションにおいてユーザによって提供されるかまたはクラウドリポジトリからダウンロードされたパラメータに基づいて予め定義された検索グリッド８０８を実行することができる。データ取得アプリケーションにおいてユーザによって提供されたパラメータに基づいて予め定義された検索グリッドの実行は、例えば、ユーザが、サンプルが何を含むか不確実であるとき、新規のシナリオにおいて特に有用とすることができる。クラウドリポジトリ等の外部ソースから受信した提供されたパラメータに基づいて予め定義された検索グリッドの実行は、同じタイプのサンプルまたは特徴の大規模スクリーニングキャンペーンにおいて有用とすることができる。開示される手法の利点は、サンプリング方法を容易に標準化することができ、異なる器具ユーザ間、または更には異なる実験室もしくは産業環境間で共有することができることである。
【0059】
データは、開ループ制御８０２を介して取得されると、例えば、図７に示すようにＺＭＱ中継器７１２を通じて特徴分類８０６のための少数ショット機械学習アプリケーションに渡される。少数ショット解析のためのサポートセットおよびモデルパラメータは、クラウドソースから初期化することができるか、または本明細書に記載のようなインタラクティブＧＵＩにおいて動的に調節することができる。特徴分類８０６中、ユーザは、関心対象の微細構造特徴を含む第１のいくつかの取得フレームのうちの１つを選択することができる。調節可能なグリッドは、画像上に動的に重ね合わされ、画像がこれらのグリッドラインにおいて、正方形または他のエリア形状に分割され、これは、（上記で論じたように）チップと呼ぶことができ、このうちのいくつかは、その後、ユーザによって、少数ショットサポートセットを定義するためのクラスに割り当てられる。２～１０個の僅かなチップを各サポートセットの例として用いて、少数ショットアプリケーションは、データ取得アプリケーションによって送信される後続の画像のうちのいくつかまたは全てに対し少数ショットｐｙｔｈｏｎスクリプトを実行することができる。各画像における各チップは、サポートセットにおいて示されるクラスのうちの１つに分類することができる。グラフィカルユーザインタフェースアプリケーションに組み込まれた少数ショット機械学習アプリケーションは、色分けされたセグメンテーション画像、クラス座標および概要統計を、ユーザへの表示のためにデータ取得アプリケーションに返送することができる。
【0060】
ユーザが少数ショット解析のために関心対象の特徴を定義した後、器具を閉ループ制御モード８０４で動作させることができる。閉ループ制御８０４において、初期検索グリッドが、ユーザの初期指定に従って完了まで実行される。ユーザは、追跡解析において対象とする特徴タイプを事前に選択する。これは、適応的検索グリッドと呼ぶことができる。初期少数ショットＭＬの後、選択されたフレームに対し解析が行われ、各特徴のタイプおよび座標が識別され、データ取得アプリケーションに返して渡される。次に、システムは、ステージ座標（移動ステージを含む）、倍率、サンプリング分解能、電流／線量、ビーム傾き、アライメントおよび／または検出器等のパラメータを調節し、所望の特徴タイプを自動的に適応的にサンプリングすることができる。
【0061】
器具制御の現実世界の例を示すために、ナノ粒子分析を適切な使用事例とみなすことができる。三酸化モリブデン（ＭｏＯ３）フレークのサンプルが、広範にわたる粒子サイズ、向きおよび形態を呈するため、選択された。ＭｏＯ３は、重要な有機太陽電池（ＯＰＶ）前駆体であり、表面上の抗菌的成長の防止において見込みを示し、Ｍｏに還元されるとき、オーステナイト系ステンレス鋼に対する腐食耐性をもたらすことができる。選択されたＴＥＭサンプルは、従来、回折回転を較正するために利用されてきた。回折回転較正のために、様々な寸法（数百ｎｍ～μｍ）の小さな電子透過プレートレットが、炭素膜ＴＥＭグリッド上に蒸着される。
【0062】
図８の上部に示すように、ユーザは、まず、データ取得アプリケーション内の予め定義された検索グリッドを取得する。以下で更に論じられるように、検索グリッドは、特定の画像重複パラメータおよびステージの移動の知識を用いて収集し、取得後のスティッチングを促進することができる。観測された分布、および粒子の向きは、ビーム（それぞれ「ロッド」および「プレート」と呼ばれる）およびプレートクラスタに対し平行および垂直の双方にある個々のプレートレットを含む。次に、粒子座標およびタイプを、少数ショットＭＬ解析を介して自動的に測定することができる。これを行うために、開ループ取得における初期画像フレームは、少数ショット機械学習アプリケーションにおける非同期解析のためにＺＭＱ中継器を通される。ユーザは、所望のタスクに従って関心対象の特徴の例を選択する。これは、他の機械学習手法を上回る少数ショット手法の大きな利点である。例えば、少数ショットモデルは、適切なサポートセットを選択することによって、全ての粒子を背景と区別するか、または特定の粒子タイプ（例えば、プレートおよびロッド）を分離するように調整することができる。重大なことに、このタスクは、新たな情報が取得される際に、オンザフライでまたは事後解析において容易に調節することができる。この情報を用いて、画像セグメンテーション、色分けおよび特徴分布の統計的解析が、開ループ収集が進行するにつれ後続のデータに対し行われる。この情報は、データ取得アプリケーションに戻して渡すことができ、データ取得アプリケーションにおいてユーザに動的に提示することができる。閉ループ動作の最終モードにおいて、様々なシステムパラメータ調節を行うことができる。例えば、ステージは、識別された粒子の特定の座標まで駆動することができ、倍率を調節することができ、および／またはビームサンプリングまたは検出器タイプまたは動作モード等の取得設定を調節することができる。そのような調節は、多くの場合、実験の最も困難な部分である。なぜなら、それらはステージ位置の厳密な呼び出し、および器具アライメントの安定性に依拠するためである。閉ループ制御は、より低い倍率およびより高い倍率の双方において適用することができる。より高い倍率において、ステージは機械的不正確性および焦点ドリフトの影響をはるかに受けやすく、これにより、制御方式におけるかなり多くのフィードバックが必要となる可能性がある。
【0063】
既に説明した動作および制御システムと並行して、より大きなエリアのデータ収集、レジストレーション、および画像のスティッチングのためのデータ処理システムを提供することができる。この処理は、ユーザを局所的微細構造特徴の大域的位置に向けるのに重要であり、閉ループ制御および正確な統計的解析の双方において有用である。上記で論じたＭｏＯ３の例を基に、適切なデータ取得プロセスにおけるステップが図９に示される。そのようなサンプルは、異なる粒子形態および向きを含むため、適切であるが、これらの粒子のスパース性（すなわち、大きな割合の空の炭素背景）に起因して、解析が困難でもある。図９は、ｘおよび／またはｙステージ方向における重複する隣接画像に有用とすることができ、粒子スパース性に特に適用可能とすることができる、より低い倍率におけるデータ取得を行うために用いることができる例示的なモンタージュ方法９００を示す。モンタージュ方法９００は、サポートグリッド上の所望の特徴を表す閉じた円によって示されるように、ユーザに、裂け目および高密度の粒子を有しないＣＵ ＴＥＭグリッド内の単一の関心領域（ＲＯＩ）９０２を選択させることを含む。このＲＯＩは、通常、全体視野（ＦＯＶ）を増大させるようにより低い倍率で選択されるが、より高い倍率で選択することもできる。代替的に、ファインダグリッドの角部等の基準マーカを用いてＲＯＩ９０２を定義することができる。いずれの場合も、ＲＯＩ９０２の反対側の角部におけるｘ座標およびｙ座標は、それぞれ開始位置および終了位置の集合として定義される。
【0064】
所望のＲＯＩの選択時、ユーザに、倍率、およびモンタージュ内の連続画像間の所望の割合の重複の双方等のモンタージュパラメータ９０４を入力するように促すことができる。９０６において、開始位置および終了位置と組み合わせて、重複および画像サイズに基づいてＲＯＩのエリアを分割することによって、マップの数、および収集される各個々の画像のステージ座標が計算される。ユーザプリファレンスに依拠して、システムは、各画像を、蛇行形式で、または鋸歯ラスタ検索パターンで収集することができる。蛇行パターンは、左上角部（または別の角部）において開始し、行の終了（ｎ番目のフレーム）に達するまで選択された方向（例えば、右）に移動することができる。次に、画像取得は、１つの行だけ下がり、左に向かって戻るようにトラバースし、このプロセスを、行ごとに、ｍ番目の行に達し、モンタージュが完成するまで繰り返す。ｚラスタパターンは、左上において開始し、蛇行パターンと同様に、行の終了に達するまで右に動く。行の終了において、画像捕捉は１つの行だけ下がり、左まで戻る。モンタージュおよび画像処理の観点から、２つの方法には僅かな実際の差異が存在し、このため、蛇行方法の低減された移動時間が通常好ましい。モンタージュ捕捉方法９００の開始時に、プログラムは、第１の画像９０８（画像１）を収集することができ、この時点において、図８に示す特徴分類プロセスを用いて所望の特徴を描くことができる。初期分類方式の選択時、第２の画像９１０が取得され（画像２）、方法９００は、初期画像アライメントチェック９１４を実行するように予測された重複座標９１２を利用する。以下で更に説明されるモンタージュアルゴリズムは、特徴アライメントに必要とされる２つの画像９０８、９１０間の相対的変位の更なる精緻化のために用いられる。予測重複９１２フレームに示すように、アスタリスクで示される同じ粒子が各画像において観測されるが、互いに重複していない。９１４においてモンタージュアルゴリズムの更なる精緻化が適用されるとき、粒子が重複し、再び赤いアスタリスクによって示される。第１の行９１６（行１）の完了時、第２の行９１８（行２）が収集され、データのｎ個の行が捕捉され、終了位置に達するまで行われる。図９では完全な行として示されるが、動作中、各画像は、リアルタイムで収集された前のデータに対しモンタージュすることができる。全てのステージ位置が撮像された後、最終モンタージュ９２０を計算することができ、この時点において、ユーザは、顕微鏡が所望の位置および倍率を駆動するために、関心領域（例えば、アスタリスクで示された粒子）を手動でまたは自動的に選択するオプションを有する。
【0065】
モンタージュが、特に大きなエリアにわたって画像捕捉のみに基づくとき、最終的なスティッチングされたモンタージュに影響を及ぼす可能性がある多くの潜在的な複雑性が存在する。選択された走査透過型電子顕微鏡法（ＳＴＥＭ）条件に依拠して、ビームドリフトにより、分散した回折ディスクが所与の検出器に近づく可能性があり（例えば、暗視野検出器に対する強力な回折）、これにより、収集される最初の画像から最後の画像へ撮像条件が歪む可能性がある。既に述べたように、粒子スパース性またはＲＯＩ内のクラスタリングも困難を呈する。例えば、倍率が過度に高く設定されている場合、隣接エリア内に、レジストレーションのための大きなコントラストまたは特徴がない領域が存在する場合がある。そのような状況には、大きなエリアの粒子解析において、および均一なコントラストの粒分布において遭遇する場合がある。ステージの運動は、結果に大きな影響を及ぼす可能性があり、この場合、予測画像位置との不一致が存在する。画像タイミングもスティッチングの労力に大きく影響を及ぼす可能性があり、例えば、ステージが画像捕捉中に動いている場合、画像はぼやける可能性がある。更に、関心エリアが過度に大きい場合、サンプル高さの変化が、大きな焦点ずれに起因して画像品質に影響を及ぼす可能性がある。
【0066】
これらの困難に鑑みて、ステージの運動の知識、および画像特徴にのみ基づいた知識に基づいて様々なスティッチング手法が評価された。いくつかの例において、ステージの運動に基づいた予測を用いて、２つの画像間の重複を直接計算することができるが、スティッチングされた画像におけるアーチファクトが、ステージの移動および画像取得に関する多岐にわたる実際の要因に起因して存在する場合がある。例えば、いくつかの例では、モータヒステリシスまたはステージラッシュにより、ステージの移動のコマンドが発行されたコマンドからずれることになる。「予測重複」が隣接画像を正確にスティッチングすることに失敗する例がフレーム９１２に示される。したがって、画像ごとの補正を、手動または自動の手法を用いて事後に行うことができる。手動のスティッチングは、人間の眼がパターンの検出が得意であることに起因して、少数の画像の場合に良好に機能する。しかしながら、そのようなプロセスは時間がかかり、大きなモンタージュに対し十分スケーリングせず、自動取得のためのプログラム内で自動化することができない。このプロセスを自動化するために、いくつかのスタンドアローンソフトウェアパッケージが利用可能であるが、ユーザに、顕微鏡と直接インタフェースしながら迅速なフィードバックを提供することができない。処理システムの一部として、取得中に画像を動的にアラインしスティッチングするために、画像ベースのレジストレーションスクリプトを提供することができる。アルゴリズム９１４は、例えば、ＳｃｉＰｙの信号処理ライブラリにおいて実施されているように、畳み込み理論を用いて隣接画像の相互相関を迅速に計算し、次に、相互相関のピークを識別し、最大アライメントのための正しい変位を得る。この正規化された相互相関から、フレーム９１４に示すように、予測重複に最も近い局所最大値から、最良のアライメントが得られる。次に、このアライメントプロセスは、モンタージュ全体９２０を構築するために取得される全ての画像について繰り返される。未加工画像の処理後、同じ補正を少数ショット分類モンタージュに適用し、ユーザに、それらのサンプルにおける特徴分布に対する統計の大域的調査を提供することができる。
【0067】
実施形態において、カスタムＰｙｔｈｏｎ３．７．１スクリプトを用いてスティッチングが実行された。Ｐｙｔｈｏｎ３．７．１スクリプトは、ライブラリとしてローカルで実行することができるか、または更なる処理能力を得るためにリモートマシン上でスタンドアローンアプリケーションとして実行することができる。いくつかの例において、取得された画像は、冗長な情報を取り除くためにグレイスケールに変換された。次に、画像は、０の平均ピクセル強度を有するように正規化され、強度の絶対値の最大値が、照明またはコントラストにおける差について調節するために１に対し正規化された。次に、２つの画像間の全ての可能な重複についてそれらの相互相関が計算された。効率性の目的からこのように計算されない場合、直感的に、相互相関を、１つの画像を他の画像の上にスライドし、重複点のピクセル値を点ごとに乗算し、次に合算することとみなすことができる。相互相関のより大きな値は、２つの画像の特徴におけるより良好な合致に対応する。なぜなら、類似の値は、正であれ負であれ、二乗して正の寄与になるためである。値が類似していない場合（例えば、正および負の値の混合）、これらは、相殺される傾向にあり、これにより、より不良な合致を示すより小さな値がもたらされる。したがって、この計算された値を用いて、可能な重複を検索し、局所最大値を得る。しかしながら、画像が周期的構造を示す場合、相互相関において多くの局所最小値が存在する可能性があるため、この最大値が決定される方式には繊細さが存在する。通常、大域最大値は、通常、画像がほぼ完全に重複しているときに生じる。なぜなら、全体アライメントが不良である場合であっても、合算されている多くのピクセルが存在するためである。この影響を補償するため、およびアライメントを優先している事実を強調するため、相互相関は、値を計算するために合算されたピクセル数によって正規化される。
【0068】
このため、例示的な自動化システムは、低レベルの器具制御を、少数ショットＭＬに基づいた閉ループ動作と組み合わせることができる。システムは、複数の製造者からの低レベルハードウェアコンポーネントの実際の変換を提供することができ、これは、エンドユーザによって、直感的ＧＵＩアプリケーションによって容易にプログラムすることができる。開ループ形式および閉ループ形式の双方における顕微鏡動作を提供することができ、より従来的な自動化手法と対照的に、タスクによるサンプルの容易な統計的解析が可能になる。
【0069】
いくつかの記載される実験において用いられる物理的顕微鏡ハードウェアは、ｐｙＪＥＭＰｙｔｈｏｎＡＰＩを設けられたプローブ補正されたＪＥＯＬ ＧｒａｎｄＡＲＭ－３００Ｆ走査透過型電子顕微鏡（ＳＴＥＭ）である。示されるデータは、３００ｋＶの加速電圧においてＳＴＥＭモードにおいて取得される。データ処理は、Ｉｎｔｅｌ Ｘｅｏｎ Ｗ－２１０２ ２．９ＧＨｚプロセッサおよび１ＧＢ ＮＶＩＤＩＡ Ｑｕａｄｒｏ ＮＶＳ ３１０ ＧＰＵを設けられた別個のリモートＤｅｌｌ Ｐｒｅｃｉｓｉｏｎ Ｔ５８２０ Ｗｏｒｋｓｔａｔｉｏｎにおいて実行される。
【0070】
動作システムは、異なるハードウェアコンポーネントにおいて動作する個々のソフトウェアコンポーネントを含む。ソフトウェアの例は、Ｃ＃／Ｐｙｔｈｏｎにおいて実施され、Ｐｙｔｈｏｎスクリプトが．ＮＥＴアプリケーション内から呼び出されることを可能にするライブラリであるＰｙｔｈｏｎ．ＮＥＴを用いる。スティッチングソフトウェアアプリケーションは、Ｐｙｔｈｏｎライブラリを用いて、画像をスティッチングし、モンタージュを形成する。他の説明されたアプリケーションのように、スティッチングソフトウェアアプリケーションは、ライブラリとしてローカルで実行することができるか、または更なる処理能力を得るためにリモートマシン上でスタンドアローンアプリケーションとして実行することができる。ＰｙＪＥＭラッパは、ＰｙＪＥＭライブラリをラッピングし、ＪＥＯＬからＴＥＭセンタＥＭ制御アプリケーションへの通信を可能にするアプリケーションである。ＰｙＪＥＭラッパはＰｙｔｈｏｎで書かれ、ＥＭを制御するために用いられるＰＣ上で実行される。Ｇａｔａｎ Ｓｃｒｉｐｔｉｎｇは、Ｇａｔａｎ Ｍｉｃｒｏｓｃｏｐｙ Ｓｕｉｔｅ（ＧＭＳ）制御ソフトウェアへの通信を可能にする。これは、ＧＭＳ埋込み型スクリプトエンジンにおいてＰｙｔｈｏｎスクリプトとして実行される。全てのコンポーネントは、ＺｅｒｏＭＱに基づき、ＰｙＺＭＱにおいて実施されるプロトコルを用いて中央データ取得アプリケーションと通信する。これは、ＺＭＱパブリッシャ／サブスクライバモデルを用いることにより、非同期となる。全てのｐｙｔｈｏｎコンポーネントはマルチプラットフォームであり、Ｗｉｎｄｏｗｓ、ＬｉｎｕｘおよびＭａｃ ＯＳにおいて試験された。
【0071】
少数ショット機械学習アプリケーションの例は、Ｐｙｔｈｏｎ、Ｄ３、ＪａｖａＳｃｒｉｐｔ、ＨＴＭＬ／ＣＳＳ、およびＶｅｇａ－ｌｉｔｅを、Ｆｌａｓｋ、Ｐｙｔｈｏｎウェブフレームワークと統合する。フロントエンドインタラクティブ視覚化がＪａｖａＳｃｒｉｐｔおよびＨＴＭＬ／ＣＳＳを用いて作成された。Ｆｌａｓｋ Ｆｒａｍｅｗｏｒｋは、フロントエンドユーザインタラクションからの入力がバックエンドにおけるＰｙｔｈｏｎスクリプトへの入力として渡されることを可能にする。Ｐｙｔｈｏｎスクリプトは、画像を処理するための少数ショットコードと、画像を受信し、処理された画像を返送するための少数ショット機械学習コードとを含む。
【0072】
総論
本出願および請求項内で使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明白に別途指示しない限り、複数形を含む。加えて、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含む（ｃｏｍｐｒｉｓｅｓ）」を意味する。更に、用語「結合される（ｃｏｕｐｌｅｄ）」は、結合されるものの間の中間要素の存在を排除しない。
本出願および請求項内で使用される場合、単数形「ａ」、「ａｎ」、および「ｔｈｅ」は、文脈が明白に別途指示しない限り、複数形を含む。加えて、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含む（ｃｏｍｐｒｉｓｅｓ）」を意味する。更に、用語「結合される（ｃｏｕｐｌｅｄ）」は、結合されるものの間の中間要素の存在を排除しない。
【0073】
本明細書に記載されるシステム、装置、および方法は、いかようにも制限すると解釈されるべきではない。代わりに、本開示は、単独ならびに互いとの様々な組合せおよび副次的な組合せにおける、様々な開示された実施形態の全ての新規および非自明の構成および態様に向けられる。開示されたシステム、方法、および装置は、任意の特定の態様もしくは構成またはそれらの組合せに限定されることがなく、また開示されたシステム、方法、および装置は、任意の１つもしくはそれ以上の特定の利点が存在すること、または問題が解決されることを必要としない。動作のいかなる理論も、説明を促進するためのものであり、開示されたシステム、方法、および装置は、そのような動作の理論に限定されない。
【0074】
開示された方法のうちのいくつかの動作は、簡便な提示のために、特定の順序で説明されるが、このような説明の仕方は、特定の順番が以下に明記される具体的な言語により要求されない限り、再配置を包含することを理解されたい。例えば、連続的に説明される動作は、いくつかの場合においては、再配置されるか、または同時に実施される。更には、簡略性の目的で、添付の図面は、開示されたシステム、方法、および装置が、他のシステム、方法、および装置と併せて使用される様々な方式を示さない。加えて、本説明は、時として、開示された方法を説明するために「生成する（ｐｒｏｄｕｃｅ）」および「提供する（ｐｒｏｖｉｄｅ）」のような用語を使用する。これらの用語は、実施される実際の動作の高レベルの抽象化である。これらの用語に対応する実際の動作は、特定の実装形態に応じて様々であり、当業者によって容易に認識可能である。
【0075】
いくつかの例において、値、手順、または装置は、「最低」、「最良」、「最小」などと称される。そのような説明は、多くの使用される機能的代替案の中から選択がなされることを示すことが意図され、そのような選択は、他の選択よりも、優れている、小さい、または別途好ましい必要はないということを理解されたい。
【0076】
図１０は、記載される技術を実施することができる例示的なクラウドコンピューティング環境１０００を示す。クラウドコンピューティング環境１０００は、クラウドコンピューティングサービス１０１０を含む。クラウドコンピューティングサービス１０１０は、コンピュータサーバ、データ記憶リポジトリ、ネットワーキングリソース等の、様々なタイプのクラウドコンピューティングリソースを含むことができる。クラウドコンピューティングサービス１０１０は、中央に位置する（例えば、企業または組織のデータセンタによって提供される）か、または分散される（例えば、異なるデータセンタ等の異なるロケーションに位置し、および／または異なる都市もしくは国に位置する様々なコンピューティングリソースによって提供される）ことができる。クラウドコンピューティングサービス１０１０は、コンピューティングデバイス１０２０、１０２２および１０２４等の様々なタイプのコンピューティングデバイス（例えば、クライアントコンピューティングデバイス）によって利用される。例えば、コンピューティングデバイス（例えば、１０２０、１０２２および１０２４）は、顕微鏡装置または他の器具の一部を含むかまたはこれに接続された、コンピュータ（例えば、デスクトップまたはラップトップコンピュータ）、モバイルデバイス（例えば、タブレットコンピュータまたはスマートフォン）、または他のタイプのコンピューティングデバイスとすることができる。例えば、コンピューティングデバイス（例えば、１０２０、１０２２および１０２４）は、クラウドコンピューティングサービス１０１０を利用して、コンピューティング動作（例えば、データ処理、データ記憶等）を実行することができる。
【0077】
図１１は、記載される革新を実施することができる適切なコンピューティングシステム１１００の一般化された例を示す。多様な汎用または専用コンピューティングシステムで革新を実施することができるため、コンピューティングシステム１１００は、本開示の使用または機能の範囲に関していかなる限定も示唆するものとは意図されない。
【0078】
図１１を参照すると、コンピューティングシステム１１００は、１つまたはそれ以上の処理ユニット１１１０、１１１５およびメモリ１１２０、１１２５を含む。図１１において、この基本構成１１３０は破線内に含まれる。処理ユニット１１１０、１１１５は、上記の図１～図１０のコンピューティング環境のコンポーネントを実装するため、または上記の図１～図１０に示したデータ（例えば、顕微鏡画像）出力を提供するためなど、コンピュータ実行可能命令を実行する。処理ユニットは、汎用中央処理装置（ＣＰＵ）、特定用途向け集積回路（ＡＳＩＣ）におけるプロセッサ、または任意の他の種類のプロセッサとすることができる。マルチ処理システムでは、複数の処理ユニットがコンピュータ実行可能命令を実行して処理能力を上昇させる。例えば、図１１は、中央処理装置１１１０の他にグラフィック処理ユニットまたはコプロセシングユニット１１１５を示す。有形のメモリ１１２０、１１２５は、揮発性メモリ（例えば、レジスタ、キャッシュ、ＲＡＭ）、不揮発性メモリ（例えば、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリ等）、または処理ユニット１１１０、１１１５によってアクセス可能な、２つの何らかの組合せでもよい。メモリ１１２０、１１２５は、本明細書に記載される１つまたはそれ以上の革新を実施するソフトウェア１１８０を、処理ユニット１１１０、１１１５による実行に適するコンピュータ実行可能命令の形態で記憶する。
【0079】
コンピューティングシステム１１００は追加の機能を有することができる。例えば、コンピューティングシステム１１００は、ストレージ１１４０、１つまたはそれ以上の入力デバイス１１５０、１つまたはそれ以上の出力デバイス１１６０、および１つまたはそれ以上の通信接続１１７０を含む。バス、コントローラまたはネットワーク等の相互接続機構（図示せず）がコンピューティングシステム１１００のコンポーネントを相互接続する。典型的に、オペレーティングシステムソフトウェア（図示せず）が、コンピューティングシステム１１００で実行する他のソフトウェアのための動作環境を提供し、コンピューティングシステム１１００のコンポーネントの活動を協調させる。
【0080】
有形のストレージ１１４０は取外し式または非取外し式とすることができ、磁気ディスク、磁気テープもしくはカセット、ＣＤ－ＲＯＭ、ＤＶＤ、または情報を非一時的に記憶するために用いることができ、コンピューティングシステム１１００内でアクセスすることができる、任意の他の媒体を含む。ストレージ１１４０は、本明細書に記載される１つまたはそれ以上の革新を実装するソフトウェア１１８０のための命令を記憶する。
【0081】
入力デバイス１１５０は、キーボード、マウス、ペンもしくはトラックボール等のタッチ入力デバイス、音声入力デバイス、走査デバイス、またはコンピューティングシステム１１００への入力を提供する別のデバイスとすることができる。出力デバイス１１６０は、ディスプレイ、プリンタ、スピーカ、ＣＤライタ、またはコンピューティングシステム１１００からの出力を提供する別のデバイスとすることができる。
【0082】
通信接続１１７０は、別のコンピューティングエンティティへの通信媒体を通じた通信を可能にする。通信媒体は、コンピュータ実行可能命令、オーディオもしくはビデオ入力もしくは出力、または他のデータ等の情報を変調データ信号で伝達する。変調データ信号は、その特性の１つまたはそれ以上が信号における情報を符合化するような方式で設定または変更される信号である。限定ではなく例として、通信媒体は、電気、光学、ＲＦまたは他のキャリアを用いることができる。
【0083】
革新は、プログラムモジュールに含まれるもの等のコンピュータ実行可能命令が対象の実プロセッサまたは仮想プロセッサ上のコンピューティングシステムで実行される一般的な文脈で記載することができる。一般に、プログラムモジュールまたはコンポーネントは、特定のタスクを実行し、または特定の抽象データ型を実装する、ルーチン、プログラム、ライブラリ、オブジェクト、クラス、コンポーネント、データ構造等を含む。プログラムモジュールの機能は、様々な実施形態において望まれるように、プログラムモジュール間で組み合わせ、または分割することができる。プログラムモジュールのコンピュータ実行可能命令は、ローカルまたは分散型コンピューティングシステム内で実行することができる。概して、コンピューティングシステムまたはコンピューティングデバイスはローカルまたは分散とすることができ、ソフトウェアが本明細書に記載される機能を実装しつつ、専用ハードウェアおよび／または汎用ハードウェアの任意の組合せを含むことができる。
【0084】
本明細書に記載の様々な例において、モジュール（例えば、コンポーネントまたはエンジン）は、特定の動作を実行するかまたは特定の機能を提供し、モジュールのためのコンピュータ実行可能命令を実行してそのような動作を実行することができることを示すか、そのような動作が実行されるようにするか、または他の形でそのような機能を提供するように、「コード化」することができる。ソフトウェアコンポーネント、モジュールまたはエンジンに関して説明した機能は、別個のソフトウェアユニット（例えば、プログラム、機能、クラス方法）として実行することができるが、別個のユニットとして実施される必要はない。すなわち、機能は、より大きなまたは汎用のプログラムにおけるコードの１つまたはそれ以上のライン等のより大きなまたはより汎用のプログラムに組み込むことができる。
【0085】
提示のために、発明を実施するための形態は、コンピューティングシステムにおけるコンピュータ動作について説明するために、「決定する」および「用いる」のような用語を使用する。これらの用語は、コンピュータによって実施される動作についての高レベルの抽象概念であり、人間によって実施される行為と混同されるべきではない。これらの用語に対応する実際のコンピュータ動作は、実装形態に応じて変動する。
【0086】
記載のアルゴリズムは、例えば、デジタルコンピュータによって実行されるソフトウェアまたはファームウェアの命令として具現化される。例えば、開示される少数ショット機械学習、自動化およびモンタージュ技法のいずれかは、１つまたはそれ以上のコンピュータ、またはデータ取得システムの一部である１つまたはそれ以上のコンピュータまたは他のコンピューティングハードウェアによって実行することができる。コンピュータは、１つまたはそれ以上のプロセッサ（処理デバイス）および有形、非一時的コンピュータ可読媒体（例えば、１つまたはそれ以上の光学媒体ディスク、揮発性メモリデバイス（ＤＲＡＭまたはＳＲＡＭなど）、または不揮発性メモリもしくは記憶デバイス（ハードドライブ、ＮＶＲＡＭ）、および固体ドライブ（例えば、フラッシュドライブ））を含むコンピュータシステムとすることができる。１つまたはそれ以上のプロセッサは、１つまたはそれ以上の有形、非一時的コンピュータ可読媒体に記憶されたコンピュータ実行可能命令を実行し、それによって、開示された技法のいずれも実施することができる。例えば、開示された実施形態のいずれかを実施するためのソフトウェアは、１つまたはそれ以上の揮発性、非一時的コンピュータ可読媒体にコンピュータ実行可能命令として記憶することができ、この命令は、１つまたはそれ以上のプロセッサによって実行されると、１つまたはそれ以上のプロセッサが、開示された技法または技法のサブセットのいずれかを実施する。計算の結果は、１つまたはそれ以上の有形、非一時的コンピュータ可読記憶媒体に記憶することができ、かつ／またはユーザに対し、例えば、グラフィカルユーザインタフェースを用いて画像セグメンテーションを表示デバイスに表示することによって、出力することもできる。
【0087】
例示された実施形態を参照して開示された技術の原理を説明および例示してきたが、例示された実施形態は、そのような原理から逸脱することなく、配置および細部を変更することができる認識される。例えば、ソフトウェアで示される例示された実施形態の要素は、ハードウェアで実装することができ、逆もまた同様である。また、任意の例からの技術は、他の例のうちの任意の１つまたはそれ以上において説明される技術と組み合わせることができる。例示された例を参照して説明されるもの等、手順および機能は、単一のハードウェアもしくはソフトウェアモジュールにおいて実施することができるか、または別個のモジュールを提供することができることを理解されたい。上記の特定の配置は、簡便な例示のために提供されるものであり、他の配置も用いることができる。
【0088】
開示された技術の原理を適用することができる多くの可能な実施形態の観点から、例示された実施形態は、代表的な例にすぎず、本開示の範囲を限定するとみなされるべきではないということを認識されたい。これらのセクションにおいて具体的に取り扱われる代替案は、単に例示にすぎず、本明細書に説明される実施形態に対する全ての可能な代替案を構成するものではない。例えば、本明細書に説明されるシステムの様々なコンポーネントは、機能および使用において組み合わせることができる。したがって、本発明者らは、添付の特許請求の範囲内に入るもの全てを特許請求する。
【図1A】
【図1B】
【図2】
【図3A】
【図3B】
【図3C】
【図3D】
【図3E】
【図4A】
【図4B】
【図4C】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【国際調査報告】