ホーム > 特許ランキング > ＦＥＩ ＣＯＭＰＡＮＹ
特許7241043オンザフライ単一粒子再構成のための畳み込みニューラルネットワークの使用
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-03-08
(45)【発行日】2023-03-16
(54)【発明の名称】オンザフライ単一粒子再構成のための畳み込みニューラルネットワークの使用
(51)【国際特許分類】
G01N 15/00 20060101AFI20230309BHJP
G06T 7/00 20170101ALI20230309BHJP
G06N 3/08 20230101ALI20230309BHJP
H01J 37/22 20060101ALI20230309BHJP
【ＦＩ】
G01N15/00 B
G01N15/00 A
G06T7/00 350C
G06N3/08
H01J37/22 501Z
【請求項の数】
15
【外国語出願】
(21)【出願番号】P 2020027746
(22)【出願日】2020-02-21
(65)【公開番号】P2020139945
(43)【公開日】2020-09-03
【審査請求日】2022-12-26
(31)【優先権主張番号】16/287,982
(32)【優先日】2019-02-27
(33)【優先権主張国・地域又は機関】US
【早期審査対象出願】
(73)【特許権者】
【識別番号】501233536
【氏名又は名称】エフ イー アイ カンパニ
【氏名又は名称原語表記】ＦＥＩ ＣＯＭＰＡＮＹ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】ジョン フラナガン
(72)【発明者】
【氏名】エリック フランケン
(72)【発明者】
【氏名】マウリース ペーメン
【審査官】外川 敬之
(56)【参考文献】
【文献】特開２０１０－１１７１７５（ＪＰ，Ａ）
【文献】特表平１１－５１５０９７（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１１／００９０５００（ＵＳ，Ａ１）
【文献】米国特許出願公開第２０１８／０３２２６３４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ １５／００
(57)【特許請求の範囲】
【請求項1】
方法であって、複数の粒子画像から、少なくとも部分的にトレーニングされた人工ニューラルネットワークを使用して粒子画像のサブセットを抽出することと、
前記粒子画像のサブセットの粒子画像を分類して、同様の粒子画像の少なくとも１つのグループを定義することと、
前記分類された粒子画像と前記同様の粒子画像の少なくとも１つのグループに少なくとも基づいて、粒子の３次元再構成（３Ｄ再構成）を形成することと、
前記分類された粒子画像または前記粒子の前記３Ｄ再構成の投影に基づいて粒子画像のトレーニングセットを更新することと、を含み、
前記トレーニングセットが、前記少なくとも部分的にトレーニングされたニューラルネットワークに関連付けられ、少なくとも１つの粒子画像の分類および同様の粒子画像の少なくとも１つのグループの定義の、１つまたは複数に応じて自動的に更新され、
前記粒子画像のトレーニングセットを更新することが、
前記粒子の前記３Ｄ再構成に基づいて、粒子の例の１つ以上の合成粒子画像を生成することと、
前記１つ以上の合成粒子画像を前記粒子画像のトレーニングセットに提供することと、
前記合成粒子画像のそれぞれに注釈を付けることと、
前記合成粒子画像のそれぞれに学習重みを適用することと、を含む、
方法。
【請求項2】
前記サブセットの前記粒子画像のそれぞれが品質について注釈を付けされており、前記粒子画像のトレーニングセットが、前記注釈が付けられた粒子画像に基づいて更新される、請求項１に記載の方法。
【請求項3】
前記注釈が、許容または拒絶特性を含む、請求項２に記載の方法。
【請求項4】
方法であって、
複数の粒子画像から、少なくとも部分的にトレーニングされた人工ニューラルネットワークを使用して粒子画像のサブセットを抽出することと、
前記粒子画像のサブセットの粒子画像を分類して、同様の粒子画像の少なくとも１つのグループを定義することと、
前記分類された粒子画像と前記同様の粒子画像の少なくとも１つのグループに少なくとも基づいて、粒子の３次元再構成（３Ｄ再構成）を形成することと、
前記分類された粒子画像または前記粒子の前記３Ｄ再構成の投影に基づいて粒子画像のトレーニングセットを更新することと、を含み、
前記トレーニングセットが、前記少なくとも部分的にトレーニングされたニューラルネットワークに関連付けられ、少なくとも１つの粒子画像の分類および同様の粒子画像の少なくとも１つのグループの定義の、１つまたは複数に応じて自動的に更新され、
前記粒子画像のトレーニングセットを前記更新することが、
品質について前記分類された粒子画像のそれぞれをスコアリングすることと、
前記分類された粒子画像のそれぞれに重みを付けることであって、前記重みが学習重みであることと、
前記スコアリングおよび重み付けされた分類された粒子画像を、前記粒子画像のトレーニングセットに提供することと、を含む、方法。
【請求項5】
許容または拒絶特性によって前記分類された粒子画像のそれぞれに注釈を付けることをさらに含む、請求項４に記載の方法。
【請求項6】
さらに、前記粒子の前記３Ｄ再構成の２次元投影（２Ｄ投影）に基づいて、前記抽出された粒子画像のそれぞれにそれぞれの３Ｄ品質マッチングスコアを適用することであって、前記３Ｄ再構成の各２Ｄ投影が、前記３Ｄ再構成の異なる配向に関連付けられることと、
前記抽出された各粒子画像およびそれらのそれぞれの３Ｄ品質マッチングスコアを前記粒子画像のトレーニングセットに提供することと、を含む、請求項４に記載の方法。
【請求項7】
さらに、自己相似粒子の２次元グループ平均（２Ｄグループ平均）に基づいて、前記抽出された粒子画像のそれぞれにそれぞれの２Ｄ品質マッチングスコアを適用することと、
前記抽出された粒子画像のそれぞれおよびそれらのそれぞれの２Ｄ品質マッチングスコアを前記粒子画像のトレーニングセットに提供することと、を含む、請求項４に記載の方法。
【請求項8】
方法であって、
複数の粒子画像から、少なくとも部分的にトレーニングされた人工ニューラルネットワークを使用して粒子画像のサブセットを抽出することと、
前記粒子画像のサブセットの粒子画像を分類して、同様の粒子画像の少なくとも１つのグループを定義することと、
前記分類された粒子画像と前記同様の粒子画像の少なくとも１つのグループに少なくとも基づいて、粒子の３次元再構成（３Ｄ再構成）を形成することと、
前記分類された粒子画像または前記粒子の前記３Ｄ再構成の投影に基づいて粒子画像のトレーニングセットを更新することと、を含み、
前記トレーニングセットが、前記少なくとも部分的にトレーニングされたニューラルネットワークに関連付けられ、少なくとも１つの粒子画像の分類および同様の粒子画像の少なくとも１つのグループの定義の、１つまたは複数に応じて自動的に更新され、
前記粒子画像のトレーニングセットを更新することが、
前記粒子の前記３Ｄ再構成の２次元投影（２Ｄ投影）に基づいて、前記抽出された粒子画像のそれぞれにそれぞれの３Ｄ品質マッチングスコアを適用することであって、前記３Ｄ再構成の前記２Ｄ投影が、前記３Ｄ再構成の少なくとも２つの異なる配向に関連付けられることと、
前記抽出された粒子画像のそれぞれおよびそれらのそれぞれの３Ｄ品質マッチングスコアを前記粒子画像のトレーニングセットに提供することと、を含む、方法。
【請求項9】
前記粒子画像のトレーニングセットを更新することが、同様の粒子画像のグループを生成することと、
前記同様の粒子画像のグループを前記粒子画像のトレーニングセットに提供することと、を含む、請求項１に記載の方法。
【請求項10】
さらに、少なくとも前記更新されたトレーニングセットを使用して前記人工ニューラルネットワークを再トレーニングすることを含む、請求項１に記載の方法。
【請求項11】
さらに、少なくとも前記複数の粒子画像から粒子画像の第２のサブセットを抽出するために前記再トレーニングされた人工ニューラルネットワークを使用することを含む、請求項１０に記載の方法。
【請求項12】
さらに、前記粒子に関する事前情報および前記複数の粒子画像を取得するために使用される透過型電子顕微鏡の設定のうちの１つに基づいて、複数の事前トレーニングされた人工ニューラルネットワークから前記人工ニューラルネットワークを選択することを含む、請求項１記載の方法。
【請求項13】
さらに、前記少なくとも部分的にトレーニングされた人工ニューラルネットワークを使用して、１つ以上の顕微鏡写真から前記複数の粒子画像を選択することを含む、請求項１に記載の方法。
【請求項14】
前記複数の粒子画像を選択する行為および前記粒子画像のサブセットを抽出する行為が、前記少なくとも部分的にトレーニングされた人工ニューラルネットワークによって並行して行われる、請求項１３に記載の方法。
【請求項15】
前記粒子画像のトレーニングセットを更新することが、前記粒子画像の分類または前記３Ｄ再構成の投影の生成に応じて開始される、請求項１に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、生体粒子の低温電子トモグラフィなどの粒子選択に関する。
【背景技術】
【0002】
生体粒子の構造を調べるために、電子顕微鏡が使用されている。通常、粒子試料は、極低温で維持され、画像は、試料の変化を避けるために、（イオンまたは他の荷電粒子ビーム（ＣＰＢ）を使用して取得されることができるが）低電子ビーム線量によって取得される。その結果、そのような粒子を含む画像は、低コントラストおよび低信号対雑音比を有し、構造判定に使用する画像内の目的の粒子の例を確実に選択することは困難である。多くの場合、ユーザは、面倒で時間のかかる手動プロセスにおいて多数の粒子を選択して調査する。他の場合では、所望の粒子を識別するために畳み込みニューラルネットワーク（ＣＮＮ）が使用されている。あいにく、ＣＮＮをトレーニングすることは、通常、数百または数千の粒子を識別および／または分類して、特定のＣＮＮを確立するための適切なトレーニングセットを生成する必要がある。特定の粒子について適切なトレーニングセットが利用可能な場合であっても、異なる粒子の識別および分類のためのＣＮＮの開発は、依然として困難である。
【発明の概要】
【0003】
方法は、少なくとも部分的にトレーニングされた人工ニューラルネットワークを使用して、複数の粒子画像から粒子画像のサブセットを抽出することを備える。粒子画像のサブセットの粒子画像が分類され、同様の粒子画像の少なくとも１つのグループを定義する。粒子の３次元（３Ｄ）再構成は、分類された粒子画像と、同様の粒子画像の少なくとも１つのグループとに少なくとも基づいて取得される。少なくとも部分的にトレーニングされた人工ニューラルネットワークに関連付けられた粒子画像のトレーニングセットは、分類された粒子画像または粒子の３Ｄ再構成の投影に基づいて更新される。通常、トレーニングセットは、粒子画像の分類またはグループ化に応じてすぐに更新される。いくつかの例では、粒子画像のトレーニングセットを更新することは、品質についてサブセットの粒子画像のそれぞれに注釈を付けることを含み、粒子画像のトレーニングセットは、注釈が付けられた粒子画像に基づいて更新される。特定の例では、注釈は、許容または拒絶の特性を備える。さらなる例では、粒子画像のトレーニングセットを更新することは、品質について分類された粒子画像のそれぞれをスコアリングすることと、分類された粒子画像のそれぞれを学習重みによって重み付けすることと、スコアリングされて重みが付けられた分類された粒子画像を粒子画像のトレーニングセットに提供することとを含む。他の代替例では、分類された粒子画像の一部または全てには、許容または拒絶の特性によって注釈が付けられる。
【0004】
他の実施形態によれば、それぞれの３Ｄ品質マッチングスコアは、粒子の３Ｄ再構成の２次元（２Ｄ）投影に基づいて、抽出された粒子画像のそれぞれに適用され、３Ｄ再構成の各２Ｄ投影は、３Ｄ再構成の異なる配向に関連付けられる。そして、抽出された粒子画像およびそれぞれの３Ｄ品質マッチングスコアは、粒子画像のトレーニングセットに提供される。さらなる例では、自己相似粒子および抽出された粒子画像の２Ｄグループ平均に基づいて、抽出された粒子画像のそれぞれにそれぞれの２Ｄ品質マッチングスコアが適用され、粒子画像のトレーニングセットにそれぞれの２Ｄ品質マッチングスコアが提供される。場合によっては、粒子の３Ｄ再構成の２Ｄ投影に基づいて、抽出された粒子画像のそれぞれにそれぞれの３Ｄ品質マッチングスコアを適用することにより、粒子画像のトレーニングセットが更新され、３Ｄ再構成の２Ｄ投影は、３Ｄ再構成の少なくとも２つの異なる配向に関連付けられる。抽出された粒子画像およびそれぞれの３Ｄ品質マッチングスコアは、粒子画像のトレーニングセットに提供される。
【0005】
さらなる例では、粒子画像のトレーニングセットを更新することは、粒子の３Ｄ再構成に基づいて例示的な粒子の１つ以上の合成粒子画像を生成することと、粒子画像のトレーニングセットに１つ以上の合成粒子画像を提供することとを含む。典型的な例では、合成粒子画像に注釈が付けられ、学習重みが適用される。さらに他の実施形態では、トレーニングセットは、同様の粒子画像のグループを生成し、同様の粒子画像のグループを粒子画像のトレーニングセットに提供することによって更新される。他の例では、外部ソースからの３Ｄ再構成または３Ｄモデルに基づいて例示的な粒子の合成粒子画像を生成し、粒子画像のトレーニングセットに合成画像を提供することにより、トレーニングセットが更新される。他の例では、少なくとも更新されたトレーニングセットを使用して、人工ニューラルネットワークが再トレーニングされる。再トレーニングされた人工ニューラルネットワークは、少なくとも複数の粒子画像から粒子画像の第２のサブセットを抽出するために適用される。人工ニューラルネットワークは、粒子に関する事前情報および複数の粒子画像を取得するために使用される透過型電子顕微鏡の設定のうちの１つに基づいて、複数の事前トレーニングされた人工ニューラルネットワークから選択されることができる。さらに他の例では、複数の粒子画像は、１つ以上の顕微鏡写真から選択され、複数の粒子画像の選択および粒子画像のサブセットの抽出は、同時に実行される。追加の例では、粒子画像のトレーニングセットを更新することは、粒子画像の分類または３Ｄ再構成の投影の生成に応じて開始される。
【0006】
いくつかの例によれば、方法は、１つ以上のコンピュータ可読媒体に、粒子精選に関連付けられた複数のトレーニングされた畳み込みニューラルネットワーク（ＣＮＮ）の定義を記憶することを備える。他の例では、リージョナルＣＮＮ（Ｒ－ＣＮＮ）、完全畳み込みネットワーク、プレーンバニラニューラルネットワーク、多層パーセプトロン（ＭＬＰ）、リカレントニューラルネットワーク（ＲＣＮ）、Ｕ－Ｎｅｔ、または他の機械学習技術が使用されることができる。便宜上、ＣＮＮを参照して例が説明される。トレーニングされたＣＮＮは、選択された粒子タイプに関連付けられた画像のテストセットに適用され、トレーニングされたＣＮＮのテストセットへの適用に基づいて、優先ニューラルネットワーク（または一連の優先ニューラルネットワーク）が、選択した粒子タイプに関連付けられた粒子画像の識別のために選択される。通常、トレーニングされたＣＮＮは、選択された粒子タイプ以外の粒子によって最初にトレーニングされる。さらなる例では、粒子画像のテストセットを使用して、選択された優先ニューラルネットワーク（またはネットワークセット）が再トレーニングされる。他の例では、優先ニューラルネットワークはＮ層を含み、Ｎは３よりも大きい整数であり、再トレーニングは、転移学習を使用して優先ニューラルネットワークのＮ層未満を再トレーニングすることを備える。いくつかの例では、粒子画像のテストセットは、粒子タイプに関連付けられたモデルに基づいている。いくつかの特定の例では、粒子画像のテストセットは、粒子タイプに関連付けられているとして選択された複数の電子顕微鏡写真に基づいて取得される。他の実施形態では、トレーニングされた畳み込みニューラルネットワークは、広域ネットワークを介して取得されるか、または１つ以上のコンピュータ可読媒体に記憶される。典型的な例では、特定の粒子タイプに関連付けられた１つ以上の粒子画像が優先ニューラルネットワークを使用して選択され、いくつかの例では、これらの選択された粒子画像は、優先ニューラルネットワークの再トレーニングに使用される。さらなる例では、選択された粒子タイプに関連付けられた画像のテストセットは、選択された粒子のモデルに基づいている。さらに他の例では、選択された粒子のモデルに基づいて、画像のセットにノイズを追加し、画像のセットのコントラストを低下させることにより、画像のテストセットが取得される。
【0007】
電子顕微鏡システムは、試料の画像を生成するように構成された電子カラムを備える。プロセッサは、複数の事前定義されたニューラルネットワークによって粒子画像のテストセットを処理し、処理に基づいて優先ニューラルネットワークを選択するように構成されている。試料の画像の少なくとも一部は、選択されたタイプの粒子を識別するために、優先ニューラルネットワークによって処理される。場合によっては、少なくとも１つのコンピュータ可読媒体は、優先ニューラルネットワークによって画像の一部を処理するために記憶されたプロセッサ実行可能命令を有する。さらなる例では、通信接続部は、複数の所定のニューラルネットワークの定義を受信し、優先ニューラルネットワークの選択のために定義をプロセッサに接続するように構成されている。さらに他の代表的な例では、少なくとも１つのコンピュータ可読媒体は、トレーニングセットを記憶している。追加の実施形態では、少なくとも１つのコンピュータ可読媒体は、優先ニューラルネットワークによって画像の一部を処理するために記憶されたプロセッサ実行可能命令を有する。
【0008】
システムは、プロセッサと、プロセッサに接続され且つ電子顕微鏡写真からの粒子選択のための畳み込みニューラルネットワークを選択するためのプロセッサ実行可能命令を記憶した少なくとも１つのコンピュータ可読媒体とを備える。いくつかの例では、少なくとも１つのコンピュータ可読媒体は、ＣＮＮの選択のための少なくとも１つのサンプルデータセットを記憶している。他の例では、通信接続部は、プロセッサに接続され、プロセッサによる評価のために少なくとも１つのＣＮＮを提供する。追加の例によれば、少なくとも１つのコンピュータ可読媒体は、粒子選択のために選択されたＣＮＮを再トレーニングするためのプロセッサ実行可能命令を記憶している。さらに他の例では、少なくとも１つのコンピュータ可読媒体は、選択されたＣＮＮの選択された層のみを再トレーニングするためのプロセッサ実行可能命令を記憶している。
【0009】
開示された技術の前述および他の目的、特徴、および利点は、以下の詳細な説明、添付図面を参照してより明らかになるであろう。
【図面の簡単な説明】
【0010】
【発明を実施するための形態】
【0011】
本出願および特許請求の範囲において使用される、単数形「ａ」、「ａｎ」および「ｔｈｅ」は、文脈上他に明確に指示されない限り、複数形も含む。さらに、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含む（ｃｏｍｐｒｉｓｅｓ）」の意味である。さらに、用語「接続された（ｃｏｕｐｌｅｄ）」は、接続されたアイテム間の中間要素の存在を必ずしも排除するものではない。
【0012】
本明細書に記載のシステム、装置、および方法は、多少なりとも制限的なものとして解釈されるべきではない。むしろ、本開示は、単独で、ならびに相互の様々な組み合わせおよび部分的な組み合わせにおいて、様々な開示された実施形態の全ての新規性および非自明性を有する特徴および態様を対象とする。開示されたシステム、方法、および装置は、任意の特定の態様または特徴もしくはそれらの組み合わせに限定されず、開示されたシステム、方法、および装置は、任意の１つまたは複数の特定の利点が存在する、または問題が解決されることも必要としない。いずれの動作理論も説明を容易にするためであるが、開示されたシステム、方法、および装置は、そのような動作理論に限定されない。
【0013】
開示された方法のいくつかの動作は、便宜上、特定の順番で記載されているが、以下に記載される具体的な用語によって特定の順序が要求されない限り、この説明方法が並び替えを包含することを理解されるものとする。例えば、順に記載される動作は、いくつかの場合では、並び替えまたは同時に実行されてもよい。さらに、単純化のために、添付の図面は、開示されたシステム、方法、および装置が、他のシステム、方法、および装置とともに使用され得る様々な方法を示さないことがある。さらに、説明は、開示された方法を説明するために、「製造する（ｐｒｏｄｕｃｅ）」および「提供する（ｐｒｏｖｉｄｅ）」のような用語を使用することがある。これらの用語は、実行される実際の動作の高レベルの抽象化である。これらの用語に対応する実際の動作は、特定の実施に応じて、様々であり、当業者には容易に認識できる。
【0014】
いくつかの例では、値、手順、または装置は、「最低」、「最良」、「最小」などと呼ばれる。そのような表現は、多くの使用された機能的選択肢からの選択が可能であることを示すことを意図しており、そのような選択は、他の選択よりも優れている（ｂｅｔｔｅｒ）、小さい（ｓｍａｌｌｅｒ）、またはその他の点で望ましい（ｏｔｈｅｒｗｉｓｅ ｐｒｅｆｅｒａｂｌｅ）必要はない。例は、「上に」、「下に」、「上の」、「下の」等として示される方向を参照して説明される。これらの用語は、説明の便宜上使用されているが、特定の空間的方向性を示唆するものではない。
【0015】
本開示は、一般に、低温電子トモグラフィおよび単一粒子分析に関する。以下で使用される場合、「粒子精選」とは、透過型電子顕微鏡によって得られた画像から、１つ以上の所定の粒子タイプに対応する画像部分を選択することを指す。しかしながら、開示されたアプローチは、光学顕微鏡などの他のタイプの撮像システムによって使用されることができる。典型的な例では、関心のある粒子は、撮像前に凍結された生物学的粒子である。本明細書で使用される場合、「画像」とは、ユーザによって視認可能な視覚画像、または記憶され、もしくは記憶可能であり、且つ視認可能な画像を生成するために使用されることができるデータセットを指す。そのようなデータ画像は、ＪＰＥＧ、ＴＩＦＦ、ビットマップ、または他のデータ型など、様々なデータ形式とすることができる。最も実用的な例では、画像は、結合されることができる一連の画像フレームとして取得される。以下で説明するように、画像フレーム間のドリフトは、結合して最終画像を形成する前に補償されることができる。多くの例では、画像は２次元であるが、３次元画像も使用可能であり、「画像」という用語は、電子トモグラフィによって生成されるような２次元または３次元画像を指す。場合によっては、「粒子」という用語は、通常透過型電子顕微鏡（ＴＥＭ）または他の撮像システムによって撮像されるように位置する物理粒子を指すが、場合によっては、物理的粒子によって生成される画像データ部分を指す。以下の例では、関心のある物理的粒子に対応する比較的高い可能性を有する画像部分を選択するために、畳み込みニューラルネットワーク（ＣＮＮ）などのニューラルネットワークが選択される。しかしながら、データを使用してパラメータを調整する他の機械学習モデルには、ＣＮＮだけでなく、Ｋ最近傍、サポートベクタマシン、および全ての種類のニューラルネットワークなどが使用されることができる。便宜上、ＴＥＭ画像およびその他の画像は「顕微鏡写真」と呼ばれる。場合によっては、以前にトレーニングされたニューラルネットワークは、トレーニングセットに追加されることができる追加画像を使用してトレーニングまたは再トレーニングされると見なされる。そのような再トレーニングは、新たに追加された画像のみ、または新たに追加された画像と初期トレーニングセットの画像との組み合わせを使用することができる。モデリングによって得られた新たに追加された画像の場合、コントラストが調整（通常は低減）されることができ、ノイズが追加されて測定画像により良好に対応させることができる。いくつかの例では、粒子精選において使用されるＣＮＮ（または他の機械学習アプローチ）などのネットワークは、顕微鏡写真の処理中に更新され、更新後に追加粒子または以前に分析された粒子に適用されることができる。
【0016】
実施例１
図１を参照すると、構造判定または他の用途のために粒子を精選するための代表的なシステム１００は、意図するタイプの粒子の識別および不要な粒子の拒絶のために粒子担持基板の画像を画像プロセッサ１０４に提供する通常は透過型電子顕微鏡（ＴＥＭ）である撮像システム１０２を含む。ＴＥＭまたは他の電子顕微鏡は、一般に、電子ビーム源、電子光学系、および本明細書では電子ビームカラムと呼ばれる電子ビームベースの画像をキャプチャまたは生成する電子検出システムを含む。粒子識別は、撮像システム１０２によって生成される画像の品質が一般に制限されているため、困難であり得る。画像プロセッサ１０４は、撮像システム１０２または上述した別個のローカル処理装置に関連付けられたプロセッサ、またはローカルもしくはワイドエリアネットワーク１０６を介して撮像システム１０２に接続されたリモートプロセッサによって実装されることができる。図１に示すように、ローカル畳み込みニューラルネットワーク（ＣＮＮ）ライブラリ１１２は、画像プロセッサ１０４に接続され且つプロセッサ実行可能命令および１つ以上のＣＮＮを定義する値の記憶を含むコンピュータ可読媒体に記憶される。さらに、調査中の粒子または同様の粒子に関連付けられた粒子モデル、およびＣＮＮライブラリ１１２に記憶されたＣＮＮの１つ以上の補足トレーニングデータの記憶のために、コンピュータ可読媒体１１０、１１４が提供される。単一のメモリまたは記憶装置は、これら全てに使用されることができ、一部または全ては、リモートで記憶されてネットワーク１０６を介して利用可能とすることができる。例えば、リモートＣＮＮライブラリ１０８およびリモート構造プロセッサ１２０は、ネットワーク１０６を介して画像プロセッサ１０４と通信している。画像プロセッサ１０４はまた、撮像システム１０２に対してリモートに配置されることもできる。いくつかの例では、リモートＣＮＮライブラリの仕様は、ローカルＣＮＮライブラリ１１２などのローカル記憶装置に転送される。
図１を参照すると、構造判定または他の用途のために粒子を精選するための代表的なシステム１００は、意図するタイプの粒子の識別および不要な粒子の拒絶のために粒子担持基板の画像を画像プロセッサ１０４に提供する通常は透過型電子顕微鏡（ＴＥＭ）である撮像システム１０２を含む。ＴＥＭまたは他の電子顕微鏡は、一般に、電子ビーム源、電子光学系、および本明細書では電子ビームカラムと呼ばれる電子ビームベースの画像をキャプチャまたは生成する電子検出システムを含む。粒子識別は、撮像システム１０２によって生成される画像の品質が一般に制限されているため、困難であり得る。画像プロセッサ１０４は、撮像システム１０２または上述した別個のローカル処理装置に関連付けられたプロセッサ、またはローカルもしくはワイドエリアネットワーク１０６を介して撮像システム１０２に接続されたリモートプロセッサによって実装されることができる。図１に示すように、ローカル畳み込みニューラルネットワーク（ＣＮＮ）ライブラリ１１２は、画像プロセッサ１０４に接続され且つプロセッサ実行可能命令および１つ以上のＣＮＮを定義する値の記憶を含むコンピュータ可読媒体に記憶される。さらに、調査中の粒子または同様の粒子に関連付けられた粒子モデル、およびＣＮＮライブラリ１１２に記憶されたＣＮＮの１つ以上の補足トレーニングデータの記憶のために、コンピュータ可読媒体１１０、１１４が提供される。単一のメモリまたは記憶装置は、これら全てに使用されることができ、一部または全ては、リモートで記憶されてネットワーク１０６を介して利用可能とすることができる。例えば、リモートＣＮＮライブラリ１０８およびリモート構造プロセッサ１２０は、ネットワーク１０６を介して画像プロセッサ１０４と通信している。画像プロセッサ１０４はまた、撮像システム１０２に対してリモートに配置されることもできる。いくつかの例では、リモートＣＮＮライブラリの仕様は、ローカルＣＮＮライブラリ１１２などのローカル記憶装置に転送される。
【0017】
画像プロセッサ１０４は、撮像システム１０２によって得られた画像を処理して、後続の構造分析または他の目的のために粒子画像を選択する。新たに標的化された粒子タイプを処理する際、標的化された粒子タイプに適合したニューラルネットワークを確立するためのトレーニングセットは、一般に利用可能でなく、ローカルＣＮＮライブラリ１１２および／またはリモートＣＮＮライブラリ１０８からの１つ以上のＣＮＮが、どの利用可能なＣＮＮが優れた結果を提供すると思われるかを確認するために、手動で識別された比較的少数の標的化された粒子画像を処理することによって選択される。さらに、メモリ１１０に記憶された補足トレーニングデータに任意の新たに識別された粒子画像が追加されることができ、１つ以上の選択されたライブラリＣＮＮには、追加のトレーニングのために新たに識別された粒子画像が提供されることができる。いくつかの例では、構造プロセッサ１２０は、ネットワーク１０６を介して接続され、トレーニングセットにおいて使用するためのシミュレートされた画像を提供する。通常、構造プロセッサ１２０は、選択された粒子の３Ｄ表現を生成し、さらに、３Ｄ構造の２Ｄ投影を提供することができる。そのような画像は、様々なノイズ寄与およびコントラスト関数を含むことができ、これらの画像は、補足トレーニングデータとともにメモリ１１０に記憶されることができる。例えば、シミュレートされた画像にノイズが追加されることができ、画像のコントラストが低下されて、測定画像をより良好に近似させることができる。
【0018】
実施例２
図２を参照すると、粒子精選の代表的なワークフロー２００は、選択された粒子が分布するＴＥＭグリッド２０２を提供することを含む。いくつかの例では、ＴＥＭグリッド２０２は、複数の孔を含むいわゆる「孔あき」炭素被覆ＴＥＭ支持体または箔である。粒子は、孔の一部もしくは全て、またはグリッド２０２の他の場所に位置する氷層に保持されることができる。２０４において、１つ以上のグリッド領域の画像（「顕微鏡写真」とも呼ばれる）が取得され、２０６において、特定のグリッド領域が選択される。図２に示すように、画像部分２０８、２１０は、グリッド２０２の孔に対応する。２１２において、画像の最終部分または一連の画像の対応する部分が選択される。場合によっては、明らかな焦点ずれ、大部分の氷の汚染、または、炭素支持体の画像のみを含み且つ孔領域は含まないことに起因して顕微鏡写真が選択されない。完璧な粒子精選アプローチでは、顕微鏡写真の手動選択は、不要とすることができる。一連の画像が使用される場合、２１４において、個々の画像が互いに位置合わせされ、ドリフト（試料の動き）の影響を低減する。画像コントラストは、例えば、画像取得に関連付けられたコントラスト伝達関数を使用して２１６において調整されることができ、２１８において、さらなる調査のために１つ以上の顕微鏡写真が選択される。場合によっては、過度のドリフトや低解像度を示す画像、または過度の氷の厚さに関連付けられた画像は拒絶される。選択された画像２２０は、２２２において、本明細書で説明されるように選択およびトレーニングされた適切なニューラルネットワークを用いて処理される。粒子画像は、３次元粒子形状の２次元への投影であり、粒子は、一般に互いに位置合わせされていないことから、粒子画像は、同様に位置合わせされず、２２４において、粒子画像は、配向に基づいて位置合わせおよび分類される。次に、結果の粒子画像が２２６においてトレーニングセットに追加され、代替ニューラルネットワークのトレーニングに使用することができ、または、優先ニューラルネットワークの一部もしくは全ての層、または利用可能なネットワークセットの一部もしくは全てのニューラルネットワークに追加トレーニングを提供することができる。典型的な例では、選択された粒子画像は、２３０において、３次元構造判定のために通信される。
図２を参照すると、粒子精選の代表的なワークフロー２００は、選択された粒子が分布するＴＥＭグリッド２０２を提供することを含む。いくつかの例では、ＴＥＭグリッド２０２は、複数の孔を含むいわゆる「孔あき」炭素被覆ＴＥＭ支持体または箔である。粒子は、孔の一部もしくは全て、またはグリッド２０２の他の場所に位置する氷層に保持されることができる。２０４において、１つ以上のグリッド領域の画像（「顕微鏡写真」とも呼ばれる）が取得され、２０６において、特定のグリッド領域が選択される。図２に示すように、画像部分２０８、２１０は、グリッド２０２の孔に対応する。２１２において、画像の最終部分または一連の画像の対応する部分が選択される。場合によっては、明らかな焦点ずれ、大部分の氷の汚染、または、炭素支持体の画像のみを含み且つ孔領域は含まないことに起因して顕微鏡写真が選択されない。完璧な粒子精選アプローチでは、顕微鏡写真の手動選択は、不要とすることができる。一連の画像が使用される場合、２１４において、個々の画像が互いに位置合わせされ、ドリフト（試料の動き）の影響を低減する。画像コントラストは、例えば、画像取得に関連付けられたコントラスト伝達関数を使用して２１６において調整されることができ、２１８において、さらなる調査のために１つ以上の顕微鏡写真が選択される。場合によっては、過度のドリフトや低解像度を示す画像、または過度の氷の厚さに関連付けられた画像は拒絶される。選択された画像２２０は、２２２において、本明細書で説明されるように選択およびトレーニングされた適切なニューラルネットワークを用いて処理される。粒子画像は、３次元粒子形状の２次元への投影であり、粒子は、一般に互いに位置合わせされていないことから、粒子画像は、同様に位置合わせされず、２２４において、粒子画像は、配向に基づいて位置合わせおよび分類される。次に、結果の粒子画像が２２６においてトレーニングセットに追加され、代替ニューラルネットワークのトレーニングに使用することができ、または、優先ニューラルネットワークの一部もしくは全ての層、または利用可能なネットワークセットの一部もしくは全てのニューラルネットワークに追加トレーニングを提供することができる。典型的な例では、選択された粒子画像は、２３０において、３次元構造判定のために通信される。
【0019】
実施例３
図３を参照すると、特定のタイプの粒子を選択する方法３００は、３０２において、１つ以上の粒子サンプルを電子ビームに曝露することと、３０４において、関連画像を取得することとを備える。３０６において、コントラスト伝達関数補正が画像に適用され、一連の画像からの画像フレームが位置合わせされて合成される。３０８において、さらなる処理のためにいくつかの画像（顕微鏡写真）が選択される。３１０において、複数のＣＮＮが選択された画像に適用されて、粒子画像を精選および分類し、粒子配列を示す。３１２において、共通のタイプおよび配列の粒子の平均粒子画像が表示されることができる。３１４において、好ましい粒子タイプの最終粒子セットが選択され、３１６において、選択された粒子画像の一部または全てが使用され、粒子構造を推定することができる。
図３を参照すると、特定のタイプの粒子を選択する方法３００は、３０２において、１つ以上の粒子サンプルを電子ビームに曝露することと、３０４において、関連画像を取得することとを備える。３０６において、コントラスト伝達関数補正が画像に適用され、一連の画像からの画像フレームが位置合わせされて合成される。３０８において、さらなる処理のためにいくつかの画像（顕微鏡写真）が選択される。３１０において、複数のＣＮＮが選択された画像に適用されて、粒子画像を精選および分類し、粒子配列を示す。３１２において、共通のタイプおよび配列の粒子の平均粒子画像が表示されることができる。３１４において、好ましい粒子タイプの最終粒子セットが選択され、３１６において、選択された粒子画像の一部または全てが使用され、粒子構造を推定することができる。
【0020】
３１４において最終粒子セットを選択すると、選択された粒子セットが使用され、粒子選択に使用されるニューラルネットワークを改良したり、他のニューラルネットワークをトレーニングもしくは改訂したりすることができる。３２０において、最終粒子セットがトレーニングセットに追加されるべきか含まれるかが判定される。そうである場合、３２２において、１つ以上のニューラルネットワークが最終粒子セットに基づいて再トレーニングまたは改訂されるべきかどうかが判定されることができる。その場合、１つ以上のニューラルネットワークが３２４において改訂される。ＣＮＮの改訂後、またはトレーニングセットの更新に最終粒子セットが使用されず、ＣＮＮが改訂されない場合、３０２において、追加の粒子サンプルが曝露されることができる。さらに、改訂されたＣＮＮが適用され、以前に選択された粒子を再精選することができる。少ないセットの例に基づいて、粒子の精選中に再トレーニングが開始されることができる。１つのＣＮＮが優れた選択肢であると思われる場合、このＣＮＮは、再トレーニングされることができるが、他のＣＮＮ（後で使用されることがない）は、トレーニングされることができない。いくつかの例では、一連のＣＮＮが再トレーニングされ、更新されたトレーニングセットを考慮して上位ＣＮＮが選択される。
【0021】
実施例４
図４を参照すると、好ましいタイプの粒子の選択のために電子顕微鏡画像を処理するための代表的なニューラルネットワーク４００は、Ｎ層４０２１、・・・、４０２Ｎを備え、Ｎは正の整数である。典型的な実際の例では、Ｎは、３、５、１０、１５またはそれ以上である。ニューラルネットワーク４００の層４０４１の初期セットは、典型的には、層４０２１、４０２２などの１つ、２つ、またはそれ以上の畳み込み層（陰影なしのボックスとして示される）と、追加層４０２３とを含み、最終セットの層４０４３は、層４０２Ｎ－１、４０２Ｎ（陰影付きのボックスとして示される）を含み、中間層４０４２は、層４０２Ｋ－１、４０２Ｋなどの層を含み、Ｋは、Ｎ未満の正の整数である。これらの層グループのいずれも、任意の層タイプの層を多かれ少なかれ含むことができる。最終層４０２Ｎは、典型的には、完全に接続された層であり、粒子画像が選択された粒子タイプに関連付けられているか否かを示すために分類層と呼ばれる。通常、１つ以上の初期層は、畳み込み層であるが、様々な層タイプ、アクティベーション関数、および重み値のいずれかが使用されることができる。特定のニューラルネットワークのトレーニングは、バックプロパゲーション法に基づくことができる。いくつかの例では、特定のトレーニングされたニューラルネットワークは、粒子精選のために選択され、関心のある粒子タイプに関連付けられた追加画像に基づいて再トレーニングされる。これは、粒子精選に使用される初期ニューラルネットワークが他の粒子タイプの粒子データを使用してトレーニングされている場合に特に有用であり得る。関心のある粒子タイプの追加データが選択されると、そのようなニューラルネットワークは、より良好に調整されることができる。さらに、場合によっては、そのようなニューラルネットワークの選択された層のみが再トレーニングされる。例えば、設定４０４１、４０４２、４０４３の一部もしくは全て、または他の層または層のセットが再トレーニングされることができる。
図４を参照すると、好ましいタイプの粒子の選択のために電子顕微鏡画像を処理するための代表的なニューラルネットワーク４００は、Ｎ層４０２１、・・・、４０２Ｎを備え、Ｎは正の整数である。典型的な実際の例では、Ｎは、３、５、１０、１５またはそれ以上である。ニューラルネットワーク４００の層４０４１の初期セットは、典型的には、層４０２１、４０２２などの１つ、２つ、またはそれ以上の畳み込み層（陰影なしのボックスとして示される）と、追加層４０２３とを含み、最終セットの層４０４３は、層４０２Ｎ－１、４０２Ｎ（陰影付きのボックスとして示される）を含み、中間層４０４２は、層４０２Ｋ－１、４０２Ｋなどの層を含み、Ｋは、Ｎ未満の正の整数である。これらの層グループのいずれも、任意の層タイプの層を多かれ少なかれ含むことができる。最終層４０２Ｎは、典型的には、完全に接続された層であり、粒子画像が選択された粒子タイプに関連付けられているか否かを示すために分類層と呼ばれる。通常、１つ以上の初期層は、畳み込み層であるが、様々な層タイプ、アクティベーション関数、および重み値のいずれかが使用されることができる。特定のニューラルネットワークのトレーニングは、バックプロパゲーション法に基づくことができる。いくつかの例では、特定のトレーニングされたニューラルネットワークは、粒子精選のために選択され、関心のある粒子タイプに関連付けられた追加画像に基づいて再トレーニングされる。これは、粒子精選に使用される初期ニューラルネットワークが他の粒子タイプの粒子データを使用してトレーニングされている場合に特に有用であり得る。関心のある粒子タイプの追加データが選択されると、そのようなニューラルネットワークは、より良好に調整されることができる。さらに、場合によっては、そのようなニューラルネットワークの選択された層のみが再トレーニングされる。例えば、設定４０４１、４０４２、４０４３の一部もしくは全て、または他の層または層のセットが再トレーニングされることができる。
【0022】
実施例５
図５は、粒子選択のためのＣＮＮを選択、管理、および更新するための例示的なユーザインターフェース５１０のスクリーンショット５００を示している。示されている例では、ＣＮＮのライブラリからのＣＮＮが評価されることをユーザが示すためのチェックボックス５１４が設けられている。ＣＮＮライブラリは、ユーザがコンピュータマウスまたはタッチスクリーンなどのポインティングデバイスを使用して評価のために一部または全てを選択することができるようにボックス５１６に表示されることができる。他の選択肢では、評価のために追加のＣＮＮの検索を開始するためのチェックボックス５１８が設けられる。選択された場合、ユーザインターフェース５１０の追加部分は、検索場所、期間、またはその他の検索属性を示すことができる。特定の粒子の構造に基づくモデリングを介して追加のトレーニングデータを生成するために、チェックボックス５２０が設けられる。取得またはモデル化された結果によるトレーニングセットの更新を許可するために、チェックボックス５２２が設けられる。変更は、それぞれ、選択ボタン５３０、５３２を使用して確認または破棄されることができ、選択ボタン５３４によって追加のトレーニング用に１つ以上のＣＮＮが選択されることができる。上述したように、１つ以上のＣＮＮが再トレーニングされることができ、１つ以上のＣＮＮ層が再トレーニングに使用するために選択されることができる。個々の粒子の注釈もまた追加されることができ、選択ボタン５３５は、注釈を許可し、再トレーニングに使用される分類や重みなどの粒子特性を表示することができるユーザインターフェースへのアクセスを提供する。粒子注釈が使用され、誤って選択された粒子または優先粒子の選択を文書化することができる。
図５は、粒子選択のためのＣＮＮを選択、管理、および更新するための例示的なユーザインターフェース５１０のスクリーンショット５００を示している。示されている例では、ＣＮＮのライブラリからのＣＮＮが評価されることをユーザが示すためのチェックボックス５１４が設けられている。ＣＮＮライブラリは、ユーザがコンピュータマウスまたはタッチスクリーンなどのポインティングデバイスを使用して評価のために一部または全てを選択することができるようにボックス５１６に表示されることができる。他の選択肢では、評価のために追加のＣＮＮの検索を開始するためのチェックボックス５１８が設けられる。選択された場合、ユーザインターフェース５１０の追加部分は、検索場所、期間、またはその他の検索属性を示すことができる。特定の粒子の構造に基づくモデリングを介して追加のトレーニングデータを生成するために、チェックボックス５２０が設けられる。取得またはモデル化された結果によるトレーニングセットの更新を許可するために、チェックボックス５２２が設けられる。変更は、それぞれ、選択ボタン５３０、５３２を使用して確認または破棄されることができ、選択ボタン５３４によって追加のトレーニング用に１つ以上のＣＮＮが選択されることができる。上述したように、１つ以上のＣＮＮが再トレーニングされることができ、１つ以上のＣＮＮ層が再トレーニングに使用するために選択されることができる。個々の粒子の注釈もまた追加されることができ、選択ボタン５３５は、注釈を許可し、再トレーニングに使用される分類や重みなどの粒子特性を表示することができるユーザインターフェースへのアクセスを提供する。粒子注釈が使用され、誤って選択された粒子または優先粒子の選択を文書化することができる。
【0023】
実施例６
図６および以下の説明は、開示された技術が実装されることができる例示的なコンピューティング環境の簡潔で一般的な説明を提供することを意図している。必須ではないが、開示された技術は、パーソナルコンピュータ（ＰＣ）によって実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的なコンテキストで記述される。一般に、プログラムモジュールは、特定のタスクを実行するまたは特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。さらに、開示された技術は、携帯デバイス、マルチプロセッサシステム、マイクロプロセッサまたはプログラム可能な消費者電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなどを含む他のコンピュータシステム構成で実施することができる。開示された技術はまた、タスクが通信ネットワークを介してリンクされているリモート処理デバイスによって実行される分散型コンピュータ環境においても実行することができる。分散型コンピュータ環境では、プログラムモジュールは、ローカルおよびリモートメモリ記憶デバイスの両方に位置することができる。他の例では、処理は、ＦＰＧＡまたはその他のプログラム可能もしくは専用プロセッサに基づいている。
図６および以下の説明は、開示された技術が実装されることができる例示的なコンピューティング環境の簡潔で一般的な説明を提供することを意図している。必須ではないが、開示された技術は、パーソナルコンピュータ（ＰＣ）によって実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的なコンテキストで記述される。一般に、プログラムモジュールは、特定のタスクを実行するまたは特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。さらに、開示された技術は、携帯デバイス、マルチプロセッサシステム、マイクロプロセッサまたはプログラム可能な消費者電子機器、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなどを含む他のコンピュータシステム構成で実施することができる。開示された技術はまた、タスクが通信ネットワークを介してリンクされているリモート処理デバイスによって実行される分散型コンピュータ環境においても実行することができる。分散型コンピュータ環境では、プログラムモジュールは、ローカルおよびリモートメモリ記憶デバイスの両方に位置することができる。他の例では、処理は、ＦＰＧＡまたはその他のプログラム可能もしくは専用プロセッサに基づいている。
【0024】
図６を参照すると、開示された技術を実施する例示的なシステムは、１つ以上の処理ユニット６０２、システムメモリ６０４およびシステムメモリ６０４を含む様々なシステムコンポーネントと１つ以上の処理ユニット６０２を連結するシステムバス６０６を含み、例示的な汎用ＰＣ６００の形態である、一般的な目的のコンピュータデバイスを含む。システムバス６０６は、任意のバスアーキテクチャを利用した、メモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含む数種のバス構造物のどれであってもよい。例示的なシステムメモリ６０４は、読取専用メモリ（ＲＯＭ）６０８およびランダムアクセスメモリ（ＲＡＭ）６１０を含む。ＲＯＭ６０８には、ＰＣ６００内の要素間の情報の転送を助ける基本ルーチンを包有する基本入出力システム（ＢＩＯＳ）６１２が記憶されている。システムメモリ６０４は、それぞれ、ＣＮＮライブラリ、トレーニング手順、およびトレーニングセットの記憶のための部分６１０Ａ、６０１Ｂ、６１０Ｃを含むことができる。あるいは、これらの一部または全ては、リモートコンピュータから取得されることができる。
【0025】
例示的なＰＣ６００は、さらに、ハードディスクから読み書きするためのハードディスクドライブ、取り外し可能な磁気ディスクから読み書きするための磁気ディスクドライブ、および取り外し可能な光ディスク（ＣＤ－ＲＯＭや他の光媒体など）から読み書きするための光ディスクドライブなどの１つ以上の記憶装置６３０を含む。このような記憶装置は、それぞれ、ハードディスクドライブインターフェース、磁気ディスクドライブインターフェース、および光学ドライブインターフェースによってシステムバス６０６に接続することができる。ドライブおよび関連するコンピュータ可読媒体は、ＰＣ６００用のコンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの不揮発性記憶を提供する。他のコンピュータ可読媒体は、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ＣＤ、ＤＶＤ、ＲＡＭ、ＲＯＭなどのような、ＰＣによってアクセス可能なデータを記憶することができ、例示的な動作環境において使用が可能である。
【0026】
複数のプログラムモジュールは、オペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータを含む記憶装置６３０に記憶されることができる。ユーザは、キーボードおよびマウスなどのポインティングデバイスなどの１つ以上の入力装置６４０を介して、コマンドおよび情報をＰＣ６００に入力することができる。他の入力装置は、デジタルカメラ、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信機、スキャナなどを含むことができる。これらおよび他の入力装置は、しばしば、システムバス６０６に連結されるシリアルポートインターフェースを介して１つ以上の処理ユニット６０２に接続されるが、パラレルポート、ゲームポート、またはユニバーサルシリアルバス（ＵＳＢ）などの他のインターフェースによって接続されてもよい。モニタ６４６または他のタイプのディスプレイ装置もまた、ビデオアダプタなどのインターフェースを介してシステムバス６０６に接続されている。スピーカおよびプリンタ（図示せず）などの他の周辺出力装置が含められてもよい。
【0027】
ＰＣ６００は、リモートコンピュータ６６０などの１つ以上のリモートコンピュータへの論理接続を使用してネットワーク環境で動作することができる。いくつかの例では、１つ以上のネットワークまたは通信接続部６５０が含まれる。リモートコンピュータ６６０は、他のＰＣ、サーバ、ルータ、ネットワークＰＣ、またはピアデバイスまたは他の共通ネットワークノードであってもよく、典型的には、ＰＣ６００に関して上述した要素の多くまたは全てを含むが、図６には記憶装置６６２のみ図示されている。パーソナルコンピュータ６００および、またはリモートコンピュータ６６０は、論理ローカルエリアネットワーク（ＬＡＮ）およびワイドエリアネットワーク（ＷＡＮ）に接続することができる。そのようなネットワーキング環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット、およびインターネットでは通常である。
【0028】
ＬＡＮネットワーキング環境において使用される場合、ＰＣ６００は、ネットワークインターフェースを介してＬＡＮに接続される。ＷＡＮネットワーキング環境において使用される場合、ＰＣ６００は、通常、インターネットなどのＷＡＮを介した通信を確立するためのモデムまたは他の手段を含む。ネットワーク環境では、パーソナルコンピュータ６００に関連して示されたプログラムモジュールまたはその一部は、リモートメモリ記憶装置またはＬＡＮもしくはＷＡＮ上の他の場所に記憶されてもよい。示されているネットワーク接続は例示であり、コンピュータ間の通信リンクを確立する他の手段が使用されてもよい。
【0029】
実施例７
図７を参照すると、特定のタイプの粒子を精選するためのニューラルネットワークを提供する方法７００は、７０２において、特定の粒子タイプに基づいてトレーニングされる必要のない１つ以上のＣＮＮを取得することを含む。特定の粒子タイプに関連付けられた粒子画像のセットの処理に基づいて、ライブラリＣＮＮの１つ（または複数）が７０４として選択されることができる。ＣＮＮライブラリまたはライブラリサーバ７０６は、候補ＣＮＮをローカルに記憶するかまたはネットワークを介して候補ＣＮＮを検索するように構成されることができる。７０８において取得した顕微鏡写真から粒子が選択され、必要に応じて、選択された粒子は、メモリ７１２に記憶されている更新されたトレーニングセットに追加されることができる。場合によっては、更新されたトレーニングセットは、粒子を含む画像（ＴＥＭ顕微鏡写真など）の取得に使用される撮像システムから離れている。あるいは、粒子モデリングが使用され、顕微鏡写真を取得するために使用されるＴＥＭからローカルまたはリモートとすることができるサーバ／メモリ７１４を使用して追加のトレーニングセットデータを生成することができる。更新されたＣＮＮまたはＣＮＮの更新された選択が７１６において意図される場合、７１６において更新されたトレーニングセットおよび／またはモデルデータが使用される。選択された粒子を使用したトレーニングに基づく更新されたＣＮＮ（または新たに選択されたＣＮＮ）は、以前に使用された顕微鏡写真だけでなく、以前に検査されていない顕微鏡写真の評価にも使用されることができる。方法７００は、追加の顕微鏡写真の評価中に実行されることができ、利用可能になり次第、更新が使用されることができる。
図７を参照すると、特定のタイプの粒子を精選するためのニューラルネットワークを提供する方法７００は、７０２において、特定の粒子タイプに基づいてトレーニングされる必要のない１つ以上のＣＮＮを取得することを含む。特定の粒子タイプに関連付けられた粒子画像のセットの処理に基づいて、ライブラリＣＮＮの１つ（または複数）が７０４として選択されることができる。ＣＮＮライブラリまたはライブラリサーバ７０６は、候補ＣＮＮをローカルに記憶するかまたはネットワークを介して候補ＣＮＮを検索するように構成されることができる。７０８において取得した顕微鏡写真から粒子が選択され、必要に応じて、選択された粒子は、メモリ７１２に記憶されている更新されたトレーニングセットに追加されることができる。場合によっては、更新されたトレーニングセットは、粒子を含む画像（ＴＥＭ顕微鏡写真など）の取得に使用される撮像システムから離れている。あるいは、粒子モデリングが使用され、顕微鏡写真を取得するために使用されるＴＥＭからローカルまたはリモートとすることができるサーバ／メモリ７１４を使用して追加のトレーニングセットデータを生成することができる。更新されたＣＮＮまたはＣＮＮの更新された選択が７１６において意図される場合、７１６において更新されたトレーニングセットおよび／またはモデルデータが使用される。選択された粒子を使用したトレーニングに基づく更新されたＣＮＮ（または新たに選択されたＣＮＮ）は、以前に使用された顕微鏡写真だけでなく、以前に検査されていない顕微鏡写真の評価にも使用されることができる。方法７００は、追加の顕微鏡写真の評価中に実行されることができ、利用可能になり次第、更新が使用されることができる。
【0030】
実施例８
図８を参照すると、代表的な方法８００は、８０２としてＴＥＭ顕微鏡写真を取得すること、および８０４として顕微鏡写真から粒子画像を選択することを含む。粒子画像は、必要に応じて、ＣＮＮ、他のＮＮ、または他の機械学習方法によって選択されることができる。８０６において、選択された粒子画像は、例えば、ＣＮＮ、他のＮＮ、または他の機械学習方法によって処理され、「良好な」粒子を選択する、すなわち、８０４において取得されたものよりも優れた粒子セットを提供する。８０４、８０６において使用されるＣＮＮまたは他のアプローチは、同じであっても異なっていてもよい。８１０において、選択された粒子画像は、配向に基づいて分類され、８１２において、３Ｄ再構成のために提供される。３Ｄ再構成が使用され、８１４において、トレーニングセットとして使用されることができるまたは８１８においてＣＮＮトレーニングのトレーニングセットに追加されることができる追加の２Ｄ投影を提供することができる。さらに、８０６における良好な粒子選択の後、８１６において、選択された粒子の一部または全てが、トレーニングセットに追加するためにまたはトレーニングセットを形成するために、ユーザによって識別されることができる。８１０における分類後、共通の分類を有する粒子は、８１１において、合成されるかまたはユーザ補正が適用され、合成粒子は、８１８においてＣＮＮトレーニング用に提供される。図８に示すように、複数のトレーニングされたＣＮＮが提供されることができる。これらのＣＮＮの一部または全ては、追加の粒子データまたはモデルデータが利用可能になると評価されることができ、これらのＣＮＮの一部または全て（選択されていないものも含む）は、追加の粒子またはモデルデータを使用して再トレーニングされることができる。追加の顕微鏡写真が処理されているときに、少なくともステップ８１１、８１４、８１６は、「オンザフライ」で実行されることができる。いくつかの代替例では、８１５において、調査中のものと同様の粒子の構造が選択されることができ、８１４において、１つ以上の選択された「類似」に基づく人工的な例が使用され、人工的な例（２Ｄ投影）を生成することができる。
図８を参照すると、代表的な方法８００は、８０２としてＴＥＭ顕微鏡写真を取得すること、および８０４として顕微鏡写真から粒子画像を選択することを含む。粒子画像は、必要に応じて、ＣＮＮ、他のＮＮ、または他の機械学習方法によって選択されることができる。８０６において、選択された粒子画像は、例えば、ＣＮＮ、他のＮＮ、または他の機械学習方法によって処理され、「良好な」粒子を選択する、すなわち、８０４において取得されたものよりも優れた粒子セットを提供する。８０４、８０６において使用されるＣＮＮまたは他のアプローチは、同じであっても異なっていてもよい。８１０において、選択された粒子画像は、配向に基づいて分類され、８１２において、３Ｄ再構成のために提供される。３Ｄ再構成が使用され、８１４において、トレーニングセットとして使用されることができるまたは８１８においてＣＮＮトレーニングのトレーニングセットに追加されることができる追加の２Ｄ投影を提供することができる。さらに、８０６における良好な粒子選択の後、８１６において、選択された粒子の一部または全てが、トレーニングセットに追加するためにまたはトレーニングセットを形成するために、ユーザによって識別されることができる。８１０における分類後、共通の分類を有する粒子は、８１１において、合成されるかまたはユーザ補正が適用され、合成粒子は、８１８においてＣＮＮトレーニング用に提供される。図８に示すように、複数のトレーニングされたＣＮＮが提供されることができる。これらのＣＮＮの一部または全ては、追加の粒子データまたはモデルデータが利用可能になると評価されることができ、これらのＣＮＮの一部または全て（選択されていないものも含む）は、追加の粒子またはモデルデータを使用して再トレーニングされることができる。追加の顕微鏡写真が処理されているときに、少なくともステップ８１１、８１４、８１６は、「オンザフライ」で実行されることができる。いくつかの代替例では、８１５において、調査中のものと同様の粒子の構造が選択されることができ、８１４において、１つ以上の選択された「類似」に基づく人工的な例が使用され、人工的な例（２Ｄ投影）を生成することができる。
【0031】
図８を参照して上述したように、粒子画像は、ＴＥＭ顕微鏡写真または他の２次元画像から選択され、示されるように処理されることができる。しかしながら、粒子画像はまた、電子トモグラフィ画像または処理用の他の３Ｄ画像などの３Ｄ画像の一部として選択されることもできる。３Ｄ画像部分の場合、８１０において、２Ｄ分類の代わりに配向に基づく３Ｄ分類が使用され、８１２における３Ｄ再構成は不要である。
【0032】
実施例９
図９を参照すると、方法９００は、９０２において、１組の顕微鏡写真または他の画像９０４から１つ以上の顕微鏡写真または他の画像を取得することを含む。９０６において、粒子画像のサブセットが、画像部分から粒子画像を優先的に識別するために選択されるニューラルネットワークによって抽出される。単一の顕微鏡写真または複数の顕微鏡写真から複数の粒子画像が取得されることができる。８０６において使用されるニューラルネットワークは、他のタイプの粒子の粒子データによってトレーニングされるか、他の方法でトレーニングされることができ、調査のために選択された粒子タイプの粒子画像なしでトレーニングが行われたことに注意するために部分的にトレーニングされたと見なされることができる。９０８において、抽出された粒子画像は、例えば粒子の向きに基づいて分類され、同様の粒子画像のグループを生成することができる。通常、顕微鏡写真の粒子の配向は制御されておらず、粒子画像の位置合わせは、その後の構造判定を改善することができる。抽出された粒子画像は、２つ以上の配向グループ、または他の粒子特性に基づくグループに関連付けられることができる。例えば、顕微鏡写真または他の画像９０４のセットが複数の粒子タイプに関連付けられている場合、複数の粒子タイプおよび配向に対応するグループ（および配向サブグループ）が形成されることができる。
図９を参照すると、方法９００は、９０２において、１組の顕微鏡写真または他の画像９０４から１つ以上の顕微鏡写真または他の画像を取得することを含む。９０６において、粒子画像のサブセットが、画像部分から粒子画像を優先的に識別するために選択されるニューラルネットワークによって抽出される。単一の顕微鏡写真または複数の顕微鏡写真から複数の粒子画像が取得されることができる。８０６において使用されるニューラルネットワークは、他のタイプの粒子の粒子データによってトレーニングされるか、他の方法でトレーニングされることができ、調査のために選択された粒子タイプの粒子画像なしでトレーニングが行われたことに注意するために部分的にトレーニングされたと見なされることができる。９０８において、抽出された粒子画像は、例えば粒子の向きに基づいて分類され、同様の粒子画像のグループを生成することができる。通常、顕微鏡写真の粒子の配向は制御されておらず、粒子画像の位置合わせは、その後の構造判定を改善することができる。抽出された粒子画像は、２つ以上の配向グループ、または他の粒子特性に基づくグループに関連付けられることができる。例えば、顕微鏡写真または他の画像９０４のセットが複数の粒子タイプに関連付けられている場合、複数の粒子タイプおよび配向に対応するグループ（および配向サブグループ）が形成されることができる。
【0033】
９１０において、抽出、分類およびグループ化された粒子画像が使用されて粒子の３Ｄ再構成を生成することができ、９１１において、３Ｄ再構成を使用して粒子の１つ以上の２Ｄ投影が形成される。これらの２Ｄ投影は、９０６において粒子画像を抽出する際に使用されるニューラルネットワークを再トレーニングするために使用されることができる粒子画像に対応する。さらに、９１２において、粒子構造のモデルに基づいて追加の粒子画像が生成されることができる。そのような粒子画像は、顕微鏡写真または他の粒子測定から得られた粒子画像と区別するために「合成」と呼ばれる。
【0034】
９１４において、分類された粒子画像、２Ｄ再構成、または合成粒子画像のいずれかに注釈が付けられたり、スコアリングされたりまたは重み付けされたりすることができる。例えば、粒子画像は、関心のある粒子に対応するものとして認められ、そのまま許容されるようにラベル付け／注釈付けされることができる一方で、他の粒子画像は、関心のある粒子に対応するものとして認められず、拒絶のために注釈付けされることができる。許容または拒絶で示された粒子画像は、９２２において、追加のニューラルネットワークのトレーニング／再トレーニングに使用されることができる。図９に示すように、トレーニングセットは、９１６において、分類された粒子画像および分類された粒子画像のグループに基づいて、注釈、スコア、または重みを有してまたは有さずに更新されることができる。同様に、９１８において、注釈、スコア、または重みを有するまたは有しない２Ｄ投影に基づく粒子画像が使用され、トレーニングセットを更新することができる。９２０において、合成画像が使用され、注釈、スコア、または重みを有してまたは有さずにトレーニングセットを更新することができる。図９に示すように、これらのトレーニングセットの更新は、並行して、連続して、または同時にまたは他の方法で実行されることができる。一例では、追加の粒子画像または関連付けられた注釈、スコア、または重みが利用可能になると、トレーニングセットがすぐに更新される。通常、そのような更新は、更新の各々またはグループが利用可能になると自動的に生成される。９１６、９１８、９２０で示される１つ以上の更新は、自動化されるか、すぐに実行されるか、または複数の更新が利用可能になるとバッチモードで使用されることができる。ニューラルネットワークの再トレーニング（またはニューラルネットワークの選択）は、自動とすることができるか、即時とすることができるか、または複数の更新もしくは更新のバッチが利用可能になるまで遅延させることができる。典型的な例では、１つ以上の更新に応じて、９２２においてニューラルネットワークが自動的に再トレーニングされる。好ましい例では、トレーニングセットの更新に応じて、実質的に即座に再トレーニングが行われる。通常、トレーニングセットに追加（または削除）が行われると、９０６において使用されるニューラルネットワークが粒子画像処理中に繰り返し更新されるように、再トレーニングが開始される。いくつかの例では、一部または全てのニューラルネットワークの更新の開始に関連して、９３０において一連の選択肢から適切なニューラルネットワークが選択されることができる。したがって、必要に応じて、ニューラルネットワークは、置き換えられることができる。
【0035】
いくつかの例では、１つ以上の顕微鏡写真または１つ以上の粒子画像のセットは、粒子選択に使用されるニューラルネットワークがトレーニングセットに対する更新に基づく再トレーニングによって洗練されるにつれて、繰り返し処理される。各粒子画像または選択された粒子画像が共通のニューラルネットワーク構成によって処理されることができるが、異なるトレーニングセットを考慮して変更されるように、反復は自動とすることができる。反復処理は、必要に応じて、所定の時間または時間間隔で停止または実行されることもできる。
【0036】
粒子選択に関連付けられた３Ｄ画像部分も処理されることができる。例えば、電子トモグラフィ画像によって作成された画像が使用されることができ、粒子に関連付けられた部分が選択されることができる。処理される画像部分は３Ｄ部分であるため、９１０における３Ｄ再構成は不要であり、処理が３Ｄ画像部分に基づいているため、９１１において形成されるような２Ｄ投影は、通常使用されない。ニューラルネットワークのトレーニングおよびトレーニングセットもまた、３Ｄ画像を使用する。
【0037】
実施例１０
前述の例は、２次元画像に基づいているが、図１０に示すように、ボリューム（すなわち、３次元）画像は、同様に処理されて、粒子を選択し、および／または構造を推定することができる。図１０を参照すると、方法１０００は、１００２においてＴＥＭ画像の傾斜シリーズを取得することを含む。１００４において、画像の傾斜シリーズは、位置合わせされて処理され、トモグラフィ再構成を生成する。傾斜シリーズの位置合わせは、通常、軸を中心に試料を傾斜させることによって合成される投影が取得される透過電子トモグラフィに関連付けられる。正確なトモグラフィ再構成のために、傾斜軸に対する傾斜角度が使用され、傾斜シリーズの位置合わせにおいていかなる配向の変化も補償または除去される必要がある。
前述の例は、２次元画像に基づいているが、図１０に示すように、ボリューム（すなわち、３次元）画像は、同様に処理されて、粒子を選択し、および／または構造を推定することができる。図１０を参照すると、方法１０００は、１００２においてＴＥＭ画像の傾斜シリーズを取得することを含む。１００４において、画像の傾斜シリーズは、位置合わせされて処理され、トモグラフィ再構成を生成する。傾斜シリーズの位置合わせは、通常、軸を中心に試料を傾斜させることによって合成される投影が取得される透過電子トモグラフィに関連付けられる。正確なトモグラフィ再構成のために、傾斜軸に対する傾斜角度が使用され、傾斜シリーズの位置合わせにおいていかなる配向の変化も補償または除去される必要がある。
【0038】
１００６において、１つ以上のニューラルネットワークが使用され、調査対象の粒子に関連付けられたトモグラフィ画像部分を選択する。１００７において、１０１２における追加のＣＮＮトレーニングにおいて使用するために、これらの粒子の一部もしくは全てが選択されることができるか、またはいずれも選択されることができない。関連付けられた画像部分を使用して、１つ以上のＣＮＮがトレーニングまたは再トレーニングされることができる。１００８において、トモグラフィ画像部分が分類および位置合わせされ、１０１２における追加のＣＮＮトレーニングにおいて使用するために、これらの画像部分の一部もしくは全てが提供されることができるか、またはいずれも提供されることができない。１０１０において、分類および位置合わせされた画像部分が使用され、アーチファクトが補正された３Ｄ再構成を生成する。通常、ブラインド領域または「ウェッジの欠落」による影響は補償される。１０１６において、再構成が使用され、１０１２におけるＣＮＮトレーニングにおいて使用するための人工的な例を生成することができる。１００６において使用される１つ以上のＣＮＮは、１０１８において以前にトレーニングされたＣＮＮのセットから提供されることができる。上述したように、事前のＣＮＮトレーニングは、他のタイプの粒子に関連付けられた画像部分に基づくことができるが、関心のある粒子と同様であるように見えることがある。
【0039】
例示された実施形態は、本開示の原理から逸脱することなく、配置および詳細において変更され得ることが認識されるであろう。例えば、ソフトウェアにおいて示された例示された実施形態の要素は、ハードウェアで実装されてもよく、逆もまた同様である。また、任意の例の技術は、他の例の１つ以上で説明されている技術と組み合わせることができる。したがって、添付の特許請求の範囲および精神に含まれる全ての主題を発明として主張する。
【符号の説明】
【0040】
１００ システム
１０２ 撮像システム
１０４ プロセッサ
１０６ ローカルもしくはワイドエリアネットワーク
１０８ リモートＣＮＮライブラリ
１１０、１１４ コンピュータ可読媒体、メモリ
１１２ ローカルＣＮＮライブラリ
１２０ リモート構造プロセッサ
２０２ ＴＥＭグリッド
２０８、２１０ 画像部分
２００ ワークフロー
２０２ ＴＥＭグリッド
２０８ 画像部分
２１０ 画像部分
２２０ 画像
４００ ニューラルネットワーク
４０２１、・・・、４０２Ｎ、４０４１、４０４２、４０４３ 層
５００ スクリーンショット
５１０ ユーザインターフェース
５１４、５１８、５２０、５２２ チェックボックス
５１６ ボックス
５３０、５３２、５３４、５３５ 選択ボタン
６００ 汎用ＰＣ
６０２ 処理ユニット
６０４ システムメモリ
６０６ システムバス
６０８ ＲＯＭ
６１０ ＲＡＭ
６１０Ａ、６０１Ｂ、６１０Ｃ 部分
６１２ ＢＩＯＳ
６３０、６６２ 記憶装置
６４０ 入力装置
６４６ モニタ
６５０ 通信接続部
６６０ リモートコンピュータ
７０６ ＣＮＮライブラリまたはライブラリサーバ
７１２ メモリ
７１４ サーバ／メモリ
９０４ 画像
１０２ 撮像システム
１０４ プロセッサ
１０６ ローカルもしくはワイドエリアネットワーク
１０８ リモートＣＮＮライブラリ
１１０、１１４ コンピュータ可読媒体、メモリ
１１２ ローカルＣＮＮライブラリ
１２０ リモート構造プロセッサ
２０２ ＴＥＭグリッド
２０８、２１０ 画像部分
２００ ワークフロー
２０２ ＴＥＭグリッド
２０８ 画像部分
２１０ 画像部分
２２０ 画像
４００ ニューラルネットワーク
４０２１、・・・、４０２Ｎ、４０４１、４０４２、４０４３ 層
５００ スクリーンショット
５１０ ユーザインターフェース
５１４、５１８、５２０、５２２ チェックボックス
５１６ ボックス
５３０、５３２、５３４、５３５ 選択ボタン
６００ 汎用ＰＣ
６０２ 処理ユニット
６０４ システムメモリ
６０６ システムバス
６０８ ＲＯＭ
６１０ ＲＡＭ
６１０Ａ、６０１Ｂ、６１０Ｃ 部分
６１２ ＢＩＯＳ
６３０、６６２ 記憶装置
６４０ 入力装置
６４６ モニタ
６５０ 通信接続部
６６０ リモートコンピュータ
７０６ ＣＮＮライブラリまたはライブラリサーバ
７１２ メモリ
７１４ サーバ／メモリ
９０４ 画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
