特開 2023-116463 ニューラルネットワークベースの画像復元のための取得戦略

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023116463

(43)【公開日】2023-08-22

(54)【発明の名称】ニューラルネットワークベースの画像復元のための取得戦略

(51)【国際特許分類】

   G06T 5/00 20060101AFI20230815BHJP

   G06T 7/00 20170101ALI20230815BHJP

   H01J 37/22 20060101ALI20230815BHJP

【ＦＩ】

G06T5/00 705

G06T7/00 350C

H01J37/22 502G

H01J37/22 501Z

【審査請求】有

【請求項の数】1

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2023081457

(22)【出願日】2023-05-17

(62)【分割の表示】P 2020077019の分割

【原出願日】2020-04-24

(31)【優先権主張番号】16/405536

(32)【優先日】2019-05-07

(33)【優先権主張国・地域又は機関】US

(71)【出願人】

【識別番号】501233536

【氏名又は名称】エフ イー アイ カンパニ

【氏名又は名称原語表記】ＦＥＩ ＣＯＭＰＡＮＹ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】マウリス ペーメン

(72)【発明者】

【氏名】パヴェル ポトチェック

(72)【発明者】

【氏名】レムコ シェーンメイカーズ

(57)【要約】      （修正有）

【課題】ニューラルネットワークベースの画像復元のための方法およびシステムを提供する。
【解決手段】方法は、少なくとも、各々の各トレーニング画像が、試料の同じ場所の画像である複数のトレーニング画像ペアの各画像が、同じ取得パラメータを使用して試料の複数のトレーニング画像ペアを取得することと、複数のトレーニング画像ペアに基づいて、人工ニューラルネットワークを更新することと、更新された人工ニューラルネットワークを使用して複数の試料画像のノイズを除去することと、を含む。複数の試料画像は、複数のトレーニング画像ペアを取得するために使用されるのと同じ取得パラメータを使用して取得される。
【選択図】図３

【特許請求の範囲】

【請求項1】

荷電粒子画像のノイズを除去するための方法であって、前記方法は、
試料の複数のトレーニング画像ペアを取得することであって、前記複数のトレーニング画像ペアの各々の各トレーニング画像が、前記試料の同じ場所の画像であり、前記複数のトレーニング画像ペアの各画像が、同じ取得パラメータを使用して取得される、取得することと、
前記複数のトレーニング画像ペアに基づいて、人工ニューラルネットワークを更新することと、
前記更新された人工ニューラルネットワークを使用して複数の試料画像のノイズを除去することと、を含み、
前記複数の試料画像は、前記複数のトレーニング画像ペアを取得するために使用されるのと同じ取得パラメータを使用して取得される、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、人工知能（ＡＩ）対応の画像復元に関し、具体的には、ＡＩ対応のノイズ低減およびスパース再構成に関する。

【背景技術】

【0002】

多くのタイプの顕微鏡では、ノイズを取り除くかまたは低減することは困難であり、所望未満の結果をもたらす。さらに、ユーザが所望する画像のタイプにより、ノイズを管理することがなおさらに困難になる場合がある。例えば、荷電粒子顕微鏡法では、荷電粒子ビームのパラメータおよびその他の画像取得パラメータは、画像のノイズに影響し得るが、所望の視野と試料の相互作用への逆効果も有し得る。さらなる例のために、荷電粒子ビームのドウェル時間とノイズとの間の折り合いが存在する。具体的には、ドリフトなどの画像取得中に変化がないか、または変化が最小限であることを保証するために、短いドウェル時間が好ましい場合がある。短いドウェル時間はまた、迅速な画像取得をもたらし得る。しかしながら、不利な点は、短いドウェル時間からの画像は、ノイズを伴い、かつ／またはスパースな傾向があること、例えば、情報を欠いたピクセルを有することであり、これは、典型的には、エンドユーザには望ましくない。長いドウェル時間は、ノイズを低減し、例えば、信号対ノイズを増加させ、スパース性が低い画像を提供することができるが、ドウェル時間が長くなると、画像取得時間が増加する傾向があり、とりわけ、生体試料では、試料の損傷をさらにもたらす場合がある。長いドウェル時間は、典型的には、画像取得中のドリフトも招く。これらの折り合いおよび問題は、ノイズのある画像に影響し得るもののほんの一部である。

【0003】

エンドユーザは、典型的には、大きい視野および／または三次元体積を望み、これらは、長いドウェル時間が使用される場合にのみさらに増加する、長い取得時間（一部の例では、１か月のスケール）を必要とする。そのため、ノイズが低減された状態の高速取得時間が望ましい。取得時間は、スパース画像取得によりさらに低減され得る。この問題を解決するために何年にもわたって画像復元に関する様々な試みが行われてきたが、提供された解決策には、それらの独自の欠点、例えば、過度に平滑化された画像または事実上改善されていない画像などがある。そのため、ノイズのある画像の問題を解決するという要望が残っている。

【発明の概要】

【0004】

ニューラルネットワークベースの画像復元のための装置および方法が本明細書で開示される。画像復元は、画像のノイズを除去すること、画像のスパース再構成、およびそれらの組み合わせを含む。ニューラルネットワークベースのノイズ除去のための例示的な方法は、少なくとも、試料の複数のトレーニング画像ペアを取得することであって、複数のトレーニング画像ペアの各々の各トレーニング画像が、試料の同じ場所の画像であり、複数のトレーニング画像ペアの各画像が、同じ取得パラメータを使用して取得される、取得することと、複数のトレーニング画像ペアに基づいて、人工ニューラルネットワークを更新することと、更新された人工ニューラルネットワークを使用して複数の試料画像のノイズを除去することと、を含み、複数の試料画像は、複数のトレーニング画像ペアを取得するために使用されるのと同じ取得パラメータを使用して取得される。

【0005】

ニューラルネットワークベースのノイズ除去を実装するための例示的な装置は、少なくとも、荷電粒子顕微鏡イメージングプラットフォームと、荷電粒子顕微鏡イメージングプラットフォームを制御するように少なくとも結合されたコントローラと、を含む。コントローラは、コードを含む非一時的なコンピュータ可読媒体に結合され、コードは、コントローラによって実行されると、システムに、試料の複数のトレーニング画像ペアを取得することであって、複数のトレーニング画像ペアの各々の各トレーニング画像が、試料の同じ場所の画像であり、複数のトレーニング画像ペアの各画像が、同じ取得パラメータを使用して取得される、取得することと、複数のトレーニング画像ペアに基づいて人工ニューラルネットワークを更新することであって、人工ニューラルネットワークが、システムと共に含まれるか、またはシステムに結合される、更新することと、更新された人工ニューラルネットワークを使用して複数の試料画像のノイズを除去することと、を行わせ、複数の試料画像は、複数のトレーニング画像ペアを取得するために使用されるのと同じ取得パラメータを使用して取得される。

【0006】

ニューラルベースの画像復元の別の実施形態は、スパース再構成向けを対象とする。スパース再構成の例示的な方法は、少なくとも、試料の複数のトレーニング画像ペアを取得することであって、複数のトレーニング画像ペアの各々の各トレーニング画像が、試料の同じ場所の画像であるが、異なる画像ピクセルを含み、複数のトレーニング画像ペアの各画像が、同じ取得パラメータを使用して取得される、取得することと、複数のトレーニング画像ペアに基づいて、人工ニューラルネットワークを更新することと、更新された人工ニューラルネットワークを使用して複数の試料画像の各々を再構成することと、を含み、複数の試料画像は、複数のトレーニング画像ペアを取得するために使用されるのと同じ取得パラメータを使用して取得され、複数の試料画像の各画像は、スパース画像である。

【図面の簡単な説明】

【0007】

【図1】本開示の一実施形態による、荷電粒子顕微鏡システムの例である。

【図2】本開示の一実施形態による、画像のノイズを除去するための例示的な方法である。

【図3】本開示の一実施形態による、スパース画像を再構成するための例示的な方法である。

【図4】本開示の一実施形態による、画像のノイズを除去することを示す例示的な画像シーケンスである。

【図5】本開示の一実施形態による、スパース再構成を示す例示的な画像シーケンスである。

【図6】本開示の一実施形態による、コンピューティングシステム６００の例示的な機能ブロック図である。

【発明を実施するための形態】

【0008】

同様の参照番号は、図面のいくつかの図を通して対応する部分を指す。

【0009】

本発明の実施形態は、ニューラルネットワークベースの画像復元に関する。一実施例では、人工ニューラルネットワークは、ノイズ除去器になるように、小数のノイズのある画像でトレーニングされてもよく、次いで、ノイズ除去器を使用して、試料画像のより大きなデータセットのノイズを除去する。かかる実施例では、少数のノイズのある画像を取得するために使用される取得パラメータはまた、試料画像を取得するために使用され、これにより、両方の画像セットのノイズが同様であることを保証する。別の実施例では、人工ニューラルネットワークは、ノイズを除去する代わりに、スパース再構成を提供するように同様にトレーニングされ得る。スパース再構成の実施例では、トレーニング画像は、少なくともわずかに重複するスパース画像を含み、その結果、ネットワークは、スパース試料画像の大きなデータセットのスパース画像をどのように埋めるかを学習する。しかしながら、本明細書に記載される方法は、概して、広範囲の異なるＡＩ強化または対応の画像復元技術に適用可能であり、限定するものと見なされるべきではないことを理解されたい。

【0010】

本出願および特許請求の範囲において使用される、「ａ」、「ａｎ」、および「ｔｈｅ」という単数形は、文脈上他に明確に指示されない限り、複数形も含む。加えて、「含む」という用語は、「備える」を意味する。さらに、「結合された」という用語は、結合されたアイテム間の中間要素の存在を排除するものではない。加えて、以下の説明および特許請求の範囲では、「含む（ｉｎｃｌｕｄｉｎｇ）」および「含む（ｃｏｍｐｒｉｓｉｎｇ）」という用語は、自由に使用され、ひいては、「を含むが、これに限定されない（ｉｎｃｌｕｄｉｎｇ， ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」を意味すると解釈されるべきである。「トレーニング画像ペア」または「トレーニングペア」という用語は、試料の同じ場所で、同じ取得パラメータを使用して取得された画像のペアを指す。本明細書で使用される場合、「取得パラメータ」という用語は、１つ以上の画像を取得するために使用される荷電粒子顕微鏡の設定を指し、少なくとも、ピクセルあたりのビームのドウェル時間、ビームのスポットサイズ、ビームのランディングエネルギーを含むが、取得された画像の数、または画像を取得する際に使用したグリッドサイズは含まない。概して、本明細書の説明の「取得パラメータ」は、主に、荷電粒子ビームと試料との相互作用の時間を含む大きさを制御するパラメータである。加えて、「スパーストレーニング画像ペア」または「スパーストレーニングペア」という用語は、試料上の同じ場所の画像のペアを指すが、同じ取得パラメータを使用して取得される、スキャンされたピクセルの異なるパターンを含有する。

【0011】

本明細書に記載のシステム、装置、および方法は、多少なりとも制限的なものとして解釈されるべきではない。代わりに、本開示は、単独で、ならびに相互の様々な組み合わせおよび部分的な組み合わせにおいて、様々な開示された実施形態の全ての新規性および非自明性を有する特徴および態様を対象とする。開示されたシステム、方法、および装置は、任意の特定の態様または特徴もしくはそれらの組み合わせに限定されず、開示されたシステム、方法、および装置は、任意の１つもしくは複数の特定の利点が存在する、または問題が解決されることも必要としない。いずれの動作理論も説明を容易にするためであるが、開示されたシステム、方法、および装置は、そのような動作理論に限定されない。

【0012】

開示された方法のいくつかの動作は、便宜的な提示のため、特定の順番で記載されているが、以下に記載される具体的な用語によって特定の順序が要求されない限り、この説明方法が並び替えを包含することを理解されるものとする。例えば、順に記載される動作は、いくつかの場合では、並び替えまたは同時に実施されてもよい。さらに、単純化のために、添付の図面は、開示されたシステム、方法、および装置が、他のシステム、方法、および装置と共に使用され得る様々な方法を示さないことがある。加えて、説明は、開示された方法を説明するために、「製造する（ｐｒｏｄｕｃｅ）」および「提供する（ｐｒｏｖｉｄｅ）」のような用語を使用することがある。これらの用語は、実施される実際の動作の高レベルの抽象化である。これらの用語に対応する実際の動作は、特定の実施に応じて、様々であり、当業者には容易に認識できる。

【0013】

概して、荷電粒子画像は、例えば、様々な量のノイズを含む。様々な量のノイズは、主にプローブ荷電粒子ビームのドウェル時間に基づき得るが、他の要因もまたノイズに影響を与え得る。ドウェル時間に関しては、ドウェル時間が長いほど、含まれるノイズは少なくなり、例えば、信号対ノイズ比（ＳＮＲ）が大きくなるが、ドウェル時間が短いほど、ノイズは大きくなり、例えば、ＳＮＲが低くなる。この折り合いは、ノイズの少ない画像を取得するのは簡単なようであるが、試料のタイプおよび望まれる画像の体積は、さらにドウェル時間の計算に影響する。例えば、柔らかく繊細な試料、例えば、生体試料は、長いドウェル時間によって損傷を受ける場合がある。生体試料は、典型的には、画像のコントラストが不足しているためにＳＮＲの低下を受けることがあり、より長いドウェル時間が勧められる場合があることにも留意されたい。さらに、試料のより大きい面積または体積をイメージングするために必要な画像の数が、長いドウェル時間によって大幅に増加する場合がある。場合によっては、柔らかい試料の多数の画像が望まれる場合があり、これにより、柔らかい試料の追加のノイズに対応するためにドウェル時間が長くなる場合がある。かかるイメージングのワークフローは、１か月分の画像取得につながる場合がある。明らかに、これは望ましくないことであり、より迅速で、損傷が少ない傾向がある画像取得が望ましい。

【0014】

ノイズ問題に対する以前の解決策が利用可能であるが、結果は典型的には、望ましいものではない。かかる解決策としては、古典的なノイズ除去アルゴリズム、およびなおさらに最近の深層学習ベースの解決策を挙げることができる。古典的な手法は、典型的には、試料画像内の実際のノイズに関する単純化し過ぎた仮定に基づいており、画像の過剰な平滑化をもたらす。そのため、情報が失われる。深層学習の手法に関しては、主に異なるノイズでトレーニングするため、トレーニングデータは、典型的には、十分に具体的ではなく、人工的に歪んだクリーンな画像であり得る。加えて、これらの深層学習ベースのノイズ除去ネットワークは、ノイズのある画像でトレーニングされ、クリーンな画像に関連付けられるが、関連付けられたノイズのあるクリーンな画像は、ネットワークのノイズ除去能力に影響する異なる設定下で取得される。明らかに、より新しく、よりよい解決策が望まれている。

【0015】

上に開示される問題に対する１つの解決策としては、ノイズ除去が必要な試料画像と同様のノイズを含む、ノイズのある画像（トレーニング画像ペア）のみを使用して、事前トレーニングされたブラインドノイズ除去器、例えば、事前トレーニングされたブラインド人工ニューラルネットワークのトレーニングを更新することが挙げられる。例えば、事前トレーニングされたブラインドノイズ除去器は、ノイズのあるクリーンな画像を使用して軽くトレーニングされ得るが、更新は、システム特有のノイズを有する、ノイズのある画像ペアのみを使用することができ、これは、ノイズ除去器が、更新された後にクリーンな画像を提供することを助ける。加えて、試料画像の大きなデータセットは、トレーニング画像ペアを取得するために使用されるものと同じ取得パラメータ、例えば、荷電粒子顕微鏡システムの設定下で取得され得る。試料画像が取得された後、更新されたノイズ除去器を使用して試料画像のノイズを除去する。

【0016】

以前の解決策に対する本解決策のいくつかの利点は、トレーニング画像の小さなセットを使用することであり、これは、ノイズ除去器のノイズ除去能力を改善し、トレーニング時間を増加させる。例えば、ノイズ除去器の更新トレーニングには１時間もかからない。さらに、トレーニング画像ペアおよび試料画像の大きなデータセットの両方に短いドウェル時間を使用することにより、画像からデータまでの全体の時間が大幅に増加することがある。さらに、ノイズ除去は、試料画像の大きなデータセットでノイズ除去器が遭遇するであろう、システム特有のノイズを有する画像でのトレーニングにより、従来の深層学習ノイズ除去器よりもはるかに優れている場合がある。そのため、ノイズ除去された画像は、他の方法よりも高品質のものになる。

【0017】

前述のように、この技術を使用して、トレーニング画像ペアのわずかな変化のみでスパース画像を再構成することもできる。ノイズ除去器のトレーニング画像ペアは試料の同じ場所のものであるが、スパーストレーニング画像ペアは、いくつかの重複面積と、いくつかの非重複面積と、を有することができ、これは、スパース再構成ネットワーク、例えば、人工ニューラルネットワークが画像のスパースな（空白の）面積を埋めることを可能にするトレーニングを提供する。

【0018】

図１は、本開示の一実施形態による荷電粒子顕微鏡システム１００の例である。荷電粒子顕微鏡（ＣＰＭ）システム１００、または単にシステム１００は、少なくとも、ＣＰＭ環境１０２、ネットワーク１０４、１つ以上のサーバ１０６、および人工ニューラルネットワーク１１４を含む。ＣＰＭシステム１００を使用して、様々なサイズおよび構造の試料を調査およびイメージングすることができる。一例として、ＣＰＭシステム１００は、少なくとも部分的に、商業または研究の現場で実装され、現場で様々な試料をイメージングするために使用され得る。いくつかの実施形態では、ＣＰＭシステム１００は、様々な場所にわたって分散され得る。例えば、ＣＰＭ環境１０２が開発の場所に位置しても、ネットワーク１０４がローカル、地域、もしくは全国に分散されても、サーバ１０６がサーバファームに位置し、ネットワーク１０４を介してＣＰＭ環境１００に結合されてもよい。ＣＰＭシステム１００の組織化にかかわらず、システム１００は、少なくとも、ノイズ除去および／またはスパース再構成などの様々な画像復元タスクを実施することに合わせて、１つ以上の人工ニューラルネットワーク（ＡＮＮ）１１４を実装するために使用され得る［００２４］。
ＣＰＭ環境１０２は、任意のタイプの荷電粒子顕微鏡を含むが、本明細書に開示されるニューラルネットワークおよび画像復元技術の適用は、例示目的のみに使用される荷電粒子顕微鏡に限定されない。例示的なＣＰＭには、ほんの数例を挙げると、走査型電子顕微鏡（ＳＥＭ）、透過型電子顕微鏡（ＴＥＭ）、走査型透過電子顕微鏡（ＳＴＥＭ）、集束イオンビーム（ＦＩＢ）、および電子ビームとイオンビームの両方の機能を含むデュアルビーム（ＤＢ）システムが含まれる。ＣＰＭ環境１０２を使用して、試料の電子またはイオン画像を得ることができ、これらのうちのいくつかは、試料の体積をイメージングするためなど、試料の連続したスライスの画像であり得る。体積イメージングは、スライスおよびビューとも称されることがあり、試料の表面をイメージンすることと、その表面を取り除くことと、新しく露出された表面をイメージングすることと、を含み、試料の所望の体積がイメージングされるまで繰り返される。ＣＰＭ環境１０２は、単一のツールに含めることができる、あるいは別個のツールに配置され得る様々な態様を含み得る。例えば、ＣＰＭ環境１０２は、イメージングプラットフォーム１０８、例えば、ＳＥＭ、ＴＥＭ、またはＳＴＥＭ、試料調製プラットフォーム１１０、および１つ以上のコントローラ１１２を含んでもよい。当然のことながら、各プラットフォーム１０８および１１０も同様に、２つ以上の顕微鏡／試料調製ツールを含み得る。

【0019】

イメージングプラットフォーム１０８は、試料の画像を取得するために使用され、試料のいくつかは、試料調製プラットフォーム１１０によって調製されていることがあるが、必須ではない。画像は、試料に荷電粒子のそれぞれのビームを照射する電子および／またはイオン源を使用して取得される。例えば、イオンおよび／または電子ビームカラムは、イオンおよび／または電子のそれぞれのビームを提供する。いくつかの実施例では、荷電粒子ビームイメージングは、例えば、ビームをラスタすることなどによって、試料を横切って移動したスキャンされたビームによって取得されるが、他の実施例では、荷電粒子ビームはスキャンされない。次いで、例えば、後方散乱、二次、または透過電子が検出され、それに基づいてグレースケール画像が形成される。画像は、試料の材料に応じたグレースケールのコントラストを含み、グレースケールにおける変化は、材料の種類または結晶の配向における変化を示す。イメージングプラットフォーム１０８は、内部制御（図示せず）、コントローラ１１２、またはそれらの組み合わせによって制御され得る。

【0020】

試料調製プラットフォーム１１０は、イメージングプラットフォーム１０８によって画像化される試料のいくつかを形成する。当然のことながら、画像化された試料は、他のツール（図示せず）によって形成されてもよい。試料調製１１０は、例えば、イオンミリング、イオン誘導エッチング、またはそれらの組み合わせなどにより、より大きな試料からの薄い試料の調製および薄い試料の取り除きを支援するためにＦＩＢを使用するＤＢシステム、およびイメージング用の試料を処理するための他の処理であり得る。他の処理としては、平坦化ミル／エッチング、基準生成、断面形成、トップダウンラメラ調製などを挙げることができるが、これらに限定されない。試料調製プラットフォーム１１０は、試料調製処理を監視することを可能にする電子ビームイメージングコンポーネントも含み得るが、電子ビームイメージングコンポーネントは必要ではない。いくつかの実施形態において、試料調製プラットフォーム１１０は、イメージングプラットフォーム１０８のために試料を調製するために使用される他の物理的調製態様－レーザ、切断ツール、樹脂封止ツール、低温ツールなど－を含み得る。試料調製プラットフォーム１１０は、内部制御（図示せず）、コントローラ１１２、またはそれらの組み合わせによって制御され得る。

【0021】

ネットワーク１０４は、ＣＰＭ環境１０２とサーバ１０６との間で信号を送信するための任意のタイプのネットワークであり得る。例えば、ネットワーク１０４は、ローカルエリアネットワーク、ラージエリアネットワーク、またはインターネット、電話バックボーン、それらの組み合わせなどの分散ネットワークであってもよい。

【0022】

サーバ１０６は、様々なアルゴリズム、ニューラルネットワーク、および分析スイートについてのコードを実行することができる、仮想および／または物理の１つ以上のコンピューティングプラットフォームを含み得る。図示していないが、ＣＰＭ環境１０２のユーザが、データの検索、ソフトウェアコードの更新、データについての分析タスクの実施などのためにサーバ１０６にアクセスしてもよく、アクセスはユーザのローカルコンピューティング環境（図示せず）からネットワーク１０４を通じたものである。いくつかの実施形態では、ユーザは、サーバ１０６に記憶された画像データにアクセスし、ユーザのローカルコンピューティング環境から（サーバ１０６またはＣＰＭ環境１０２で実行され得る）ＡＮＮ１１４を使用して、画像復元、例えば、ノイズ除去および／またはスパース再構成を実装する。

【0023】

ノイズ除去の実施形態の動作において、イメージングプラットフォーム１０８は、所望の取得パラメータを使用して画像を取得するように設定される。取得パラメータは、少なくとも、荷電粒子ビームのエネルギー、ビームのスポットサイズ、およびドウェル時間を決定し得る。例示的なドウェル時間は、０．３μ秒～３．０μ秒であり得る。ドウェル時間は、荷電粒子ビームが取得された画像の各ピクセルで試料に衝突する時間を決定し、ドウェル時間が短いと、システムのドリフト、ビームの損傷、および試料の荷電状態が低減され、いくつかの利点が挙げられる。本明細書で使用される場合、「ピクセル」とは、取得された画像の視認可能な面積内の場所を指すことがあり、ビームをピクセル間で移動させて、視認可能な面積内の画像を取得することができる。視認可能な面積は、所望の視野に基づいて調整可能であり得る。取得パラメータが設定されると、試料の少数のトレーニング画像ペアが取得される。各トレーニング画像ペアは、試料上の同じ場所の少なくとも２つの画像を含み、これらは、スポット画像またはスポットトレーニングペアと呼ばれることもある。同じ場所の２つ以上のスポットトレーニング画像を取得すると、荷電粒子特有のシステムノイズに関する情報が提供される。いくつかの実施形態では、トレーニング画像ペアの数は、合計１００～１０００個、例えば、２００～２０００個の画像であり得る。取得されるトレーニング画像ペアの数は、ＡＮＮ１１４を事前トレーニングする際のノイズがトレーニング画像ペアのシステム特有のノイズにどれだけ近いかに基づいて調整され得る。ノイズが近い場合は、必要なトレーニング画像ペアが少なくなる可能性があり、その逆も同様である。

【0024】

少数のトレーニング画像ペアが取得された後、事前トレーニングされたＡＮＮ１１４は、トレーニング画像ペアにおけるシステム特有のノイズにＡＮＮ１１４を微調整するように更新され得る。ＡＮＮ１１４の更新は、短いドウェル時間のためにノイズのある画像になるトレーニング画像ペアのみを使用することができる。さらに、トレーニング画像ペアは、人工ニューラルネットワークのトレーニングで通常行われているようにはラベル付けされない。加えて、関連付けられたクリーンな画像は、ＡＮＮ１１４のトレーニング更新時には使用されない。したがって、ＡＮＮ１１４は、システムのノイズを学習するために各トレーニング画像ペアのバックプロパゲーションを使用し得る。このトレーニング技術は、ノイズの統計的な性質を利用するノイズ対ノイズトレーニングと称され得る。ノイズの統計的な性質は、多くのノイズソースの平均がゼロであるというスタンスに基づいている。そのため、同じ場所にある複数の画像を平均すると、ノイズを抑制し、クリアな画像を見せることができる。さらに、少数のトレーニング画像ペアでトレーニングすると、システム特有のノイズとの良好な一致につながる高速収束により、高速トレーニングが可能になる。

【0025】

ＡＮＮ１１４のトレーニングの更新前、更新後、または更新と並行して、同じ取得パラメータを使用して、試料画像の大きなデータセットを取得することができる。この大きなデータセットは、ノイズを除去する必要があるテラバイトのデータ（例えば、１０，０００以上の画像）をもたらすことがある。同じ高速のドウェル時間を使用しているため、すべての試料画像を取得する時間は、従来の大きなスケールのデータセットの取得よりもはるかに短い場合がある。試料画像の取得後、ＡＮＮ１１４を更新すると、試料画像のノイズを除去することができる。このノイズ除去ステップは、システム１００またはサーバ１０６で実施することができ、いつでもユーザが開始することができる。

【0026】

上記の例示的な動作をノイズ除去環境で論じたが、スパース再構成技術は、上述のようにスパーストレーニング画像ペアに変更を加えて同様に実装することができる。トレーニング画像間の違いを除いて、（集合的に画像復元と称され得る）ノイズ除去およびスパース画像再構成の処理は、同じではないにしても、類似している。スパース再構成に関して、スパース画像、例えば、欠けているデータを含む画像は、例えば、欠けているデータが、トレーニングされた人工ニューラルネットワークによって埋められて完成され得る。

【0027】

ＡＮＮ１１４に提供される画像が、イメージングプラットフォーム１０８によって取得されるものとして説明されるが、他の実施形態においては、画像が、異なるイメージングプラットフォームによって提供され、ネットワーク１０４を介してＡＮＮ１１４に提供されてもよい。例えば、トレーニング画像ペアおよび試料画像の両方がネットワークを介してサーバ１０６に提供されてもよく、次いで、ＡＮＮ１１４の更新が試料画像のノイズを除去する前にトレーニング画像ペアを使用して実施されてもよい。トレーニング画像および試料画像を取得するために使用される取得パラメータである限り、イメージングに使用される荷電粒子システムは、ＡＮＮ１１４と一緒に収容される必要はない。

【0028】

１つ以上の実施形態では、深層学習システムとも称され得るＡＮＮ１１４は、機械学習コンピューティングシステムである。ＡＮＮ１１４は、人工ニューロンと呼ばれる接続されたユニットまたはノードのコレクションを含む。各接続は、ある人工ニューロンから別のニューロンに信号を送信する。人工ニューロンは、層に集約されてもよい。異なる層は、入力に対して異なる種類の変換を実施してもよい。

【0029】

１つのタイプのＡＮＮ１１４は、畳み込みニューラルネットワーク（ＣＮＮ）である。ＣＮＮは、従来、３つのカラーチャネルにおけるピクセル強度を含む３つの２次元配列で構成されるカラー画像など、複数の配列の形式で到来するデータを処理するように設計されている。ＣＮＮの例示的なアーキテクチャは、一連の段階として構成される。最初の数段階は、畳み込み層とプーリング層の２つのタイプの層で構成され得る。畳み込み層は、入力に畳み込み演算を適用し、結果を次の層に渡す。畳み込みは、視覚刺激に対する個々のニューロンの応答をエミュレートする。プーリング層は、ある層のニューロンクラスターの出力を次の層の単一のニューロンに結合する。例えば、最大プーリングでは、前の層のニューロンのクラスターのそれぞれからの最大値を使用する。１つ以上の実施形態では、ＡＮＮ１１４は、画像のノイズ除去および／また画像のスパース再構成などによって、画像を再構成するように構成されたＣＮＮである。

【0030】

図２は、本開示の一実施形態による、画像のノイズを除去するための例示的な方法２００である。方法２００は、一部は荷電粒子顕微鏡システムによって、さらに一部は荷電粒子顕微鏡システムからデータを受信することができる１つ以上の処理コアによって実装され得る。システム１００である例示的な荷電粒子顕微鏡システム。当然ながら、他の荷電粒子顕微鏡システムを使用することもできる。概して、方法２００は、少数のトレーニング画像ペアに基づいて、ＡＮＮ１１４などのＡＮＮを再トレーニングまたは更新し、次いで、再トレーニング／更新されたＡＮＮを使用して、試料画像の大きなデータセットをノイズ除去することができる。

【0031】

方法２００は、処理ブロック２０１で開始することができ、これは、画像取得パラメータを設定することを含む。例えば、電子ビームのドウェル時間、電子ビームのランディングエネルギー、ビームのスポットサイズなどのような画像取得パラメータ。いくつかの実施形態では、ドウェル時間は、画像の品質に影響を与える最大の要因であり得、方法２００で使用するために取得されたすべての画像で同じであるべきである。例えば、短い（例えば、０．３μ秒の）ドウェル時間は、画像取得中に発生するドリフトを限定するか低減するのを助け、画像取得処理をさらに高速化する。ドリフトを限定することで、根本的な画像信号、例えば、ノイズのない画像を、同じ場所の画像でも同じに維持するのを助け、画像取得処理の速度が増加すると、データの取得が速くなり、繊細な試料の場合は、試料の損傷がさらに限定される場合がある。

【0032】

処理ブロック２０１の後に、トレーニング画像ペアを取得することを含む処理ブロック２０５が続くことがある。トレーニング画像ペアは、試料の同じスポットの画像のペアである場合があり、各画像ペアの各画像は、異なるノイズを有するであろう。取得されるトレーニング画像ペアの数は、とりわけ、後で取得される試料画像の数に比べて比較的少ない場合があるが、取得される数は、ノイズ除去モデル、例えば、ＡＮＮを事前トレーニングするために使用される画像ノイズの類似性の影響も受ける場合がある。

【0033】

方法２００は、事前トレーニングされたノイズ除去器を提供することを含む処理ブロック２０３をさらに含む。このブロックの性能は、処理ブロック２０１および２０５と平行して、当該ブロックの前、または当該ブロックの後に実施され得る。事前トレーニングされたノイズ除去器モデルは、画像のノイズを除去するようにトレーニングされたＡＮＮ１１４などの事前トレーニングされたＡＮＮである。概して、事前トレーニングは、任意のノイズのある画像を使用して行うことができ、処理ブロック２０５の同じ試料タイプの画像のものである必要はなく、さらに同じタイプのノイズを有する必要もない。しかしながら、ノイズに関して、トレーニング画像が処理ブロック２０５で取得されたものにより類似しているほど、ノイズ除去器の再トレーニングまたは更新がより迅速になる可能性がある。

【0034】

処理ブロック２０３の後に、トレーニング画像ペアを使用してノイズ除去器を更新することを含む、処理ブロック２０７が続くことがある。ノイズ除去器、すなわち、ＡＮＮ１１４は、試料画像に含まれるであろうノイズと同様のノイズを有する画像を使用して更新される。試料画像のノイズと同様のノイズを有する画像でノイズ除去器を更新することにより、ノイズ除去は、見返りとして、クリーンな画像、例えば、ノイズが低減された画像をより確実に提供する。さらに、各トレーニング画像ペアは同じスポットのものであり、ノイズのためにのみ異なるため、ノイズ除去器は、ノイズを学習し、画像の残部に影響を与えることなく、ノイズをより取り除くことができる。

【0035】

方法２００は、試料画像の大きなデータセットを取得することを含む、処理ブロック２０９をさらに含む。試料画像は、試料画像が同様のノイズを含むことを保証するために、トレーニング画像ペアを取得するために使用されるものと同じ取得パラメータを使用して取得されるべきである。処理ブロック２０９は、処理ブロック２０３～２０７の前、後、または当該ブロックに並行してなど、処理ブロック２０１が実施された後の任意の時間に実施され得る。試料画像の大きなデータセットは、トレーニング画像ペアを得るために使用されたものと同じ試料のものであるが、試料のはるかに大きい面積または体積を網羅するであろう。概して、試料画像の数は、トレーニング画像ペアの数よりも実質的に多くなる。例えば、試料画像の数は、容易に１万画像を超える可能性があり、テラバイトのデータをもたらす。

【0036】

処理ブロック２０９および２０７の後に、更新されたノイズ検出器を使用して試料画像をノイズ除去することを含む、処理ブロック２１１が続くことがある。ノイズ除去器、例えば、ＡＮＮを使用した試料画像のノイズ除去が、荷電粒子顕微鏡に結合されたＡＮＮによって試料画像が得られるときに行われてもよいし、画像のノイズ除去が、試料画像およびＡＮＮにアクセスするように結合されたユーザのデスクトップコンピュータで実施されてもよい。

【0037】

図３は、本開示の一実施形態による、スパース画像再構成のための例示的な方法３００である。方法３００は、システム１００などの荷電粒子顕微鏡システムによって、または荷電粒子顕微鏡システムから画像を受信するように結合された１つ以上のコンピューティング環境によって実装され得る。概して、方法３００は、スパース画像を再構成して完全な画像を提供することができる。例えば、情報を有する１０～２０％のピクセルを含む画像は、試料の情報を有するピクセルの１００％を完全に提供するように再構成され得る。

【0038】

加えて、方法３００は、方法２００で論じられるように、画像のノイズを除去するために用いられる同様の技術を使用して、ＡＮＮ１１４などのＡＮＮによって実装され得る。スパース再構成では、方法２００のものと同様のトレーニングされたＡＮＮを使用し、方法２００および３００で使用されるトレーニングされた画像ペアの間にはわずかな違いしかない。

【0039】

方法３００は、試料のスパース再構成トレーニング画像ペアを取得することを含む、処理ブロック３０１で開始し得る。スパース再構成トレーニング画像ペアは、試料の重複するスポットの画像のペアであるが、完全に同じスポットのものではない。各ペアは重複面積と非重複面積とを有するべきであり、その結果、ＡＮＮは、画像からスパースなまたは存在しない面積を埋めるようにトレーニングされる。例えば、トレーニングペアのうちの一方の画像はピクセル１、３、および５のデータを含むことができ、トレーニングペアのうちの他方の画像はピクセル２、４、および５のデータを含むことができる。代替的または追加的に、トレーニング画像ペアは、試料上の同じスポットのものであるが、トレーニングペアの各写真は、ピクセルの重複がないように、そのスポットの画像とは異なるピクセルの混合を使用し／含む。方法２００のように、スパーストレーニング画像ペアの数は、とりわけ、試料画像の数と比較して、少なくてもよい。

【0040】

処理ブロック３０１の後に、スパーストレーニング画像ペアを使用して人工ニューラルネットワーク更新することを含む、処理ブロック３０３が続くことがある。トレーニングペアは、スパース再構成のために更新されように、事前トレーニングされたＡＮＮに提供されるであろう。事前トレーニングされたＡＮＮは、画像を再構成するように部分的にトレーニングされてもよく、例えば、スパース画像および関連付けられた完全な画像を使用してトレーニングされてもよい。

【0041】

処理ブロック３０３の後に、試料のスパース試料画像の大きなデータセットを取得することを含む、処理ブロック３０５が続くことがある。スパース画像は、トレーニング画像ペアを取得するために使用されるのと同じパラメータを使用して取得され得る。処理ブロックは、処理ブロック３０３の後に実施されるように示されているが、他の実施形態では、処理ブロック３０５を処理ブロック３０３の前またはそれと並行して実施することができる。

【0042】

処理ブロック３０５の後に、更新された人工ニューラルネットワークを使用して試料画像を再構成することを含む、処理ブロック３０７が続くことがある。更新されたＡＮＮは、欠けているデータを決定し、それを関連付けられた出力画像と共に含めることによって、スパース画像を再構成する。

【0043】

図４は、本開示の一実施形態による、画像のノイズ除去を示す例示的な画像シーケンス４００である。画像シーケンス４００は、更新されたノイズ除去器によって提供される、トレーニング画像ペアおよび関連付けられたノイズ除去された画像を含む。画像４０２および４０４は、試料の同じ場所の例示的なノイズのある画像、例えば、トレーニング画像ペアであり、方法２００の処理ブロック２０７などにおいて、ノイズ除去器を更新する際に使用される。画像４０６は、更新されたノイズ除去器によってノイズ除去された同じ場所のノイズ除去された画像の例である。例示的な画像４０６は一部の面積ではぼやけているが、全体的な画像は、画像４０２および４０４に示されるノイズよりもはるかに少ないノイズを含む。

【0044】

図５は、本開示の一実施形態による、スパース再構成を示す例示的な画像シーケンス５００である。画像５０２は、試料のスパース画像であり、試料画像の大きなデータセットおよび／またはトレーニング画像ペアのうちの１つの画像の一部であり得る。対照的に、画像５０４は、方法３００の処理ブロック３０７などによって、トレーニングされたＡＮＮによって提供される再構成画像である。

【0045】

一実施形態によれば、本明細書に記載される技術は、１つ以上の専用のコンピューティングデバイスによって実装される。専用のコンピューティングデバイスは、技術を実施するために、ハードワイヤードであるか、１つ以上の特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、またはネットワーク処理ユニット（ＮＰＵ）などのデジタル電子デバイスを含む場合があり、技術を実行するために、永続的にプログラムされているか、ファームウェア、メモリ、他のストレージ、または組み合わせのプログラム命令に従って技術を実行するようにプログラムされている１つ以上の汎用ハードウェアプロセッサまたはグラフィック処理ユニット（ＧＰＵ）を含む場合がある。このような専用のコンピューティングデバイスは、カスタムハードワイヤードロジック、ＡＳＩＣ、ＦＰＧＡ、またはＮＰＵとカスタムプログラミングを組み合わせて、技術を実現することもできる。専用のコンピューティングデバイスは、デスクトップコンピューターシステム、ポータブルコンピューターシステム、携帯用デバイス、ネットワークデバイス、または技術を実装するためのハードワイヤードおよび／またはプログラムロジックを組み込む他のデバイスとすることができる。

【0046】

例えば、図６は、本発明の一実施形態が実装され得るコンピュータシステム６００を示すブロック図である。コンピューティングシステム６００は、コントローラ１１２、イメージングプラットフォーム１０８、試料調製プラットフォーム１１０、および／またはサーバ１０６などの、ＣＰＭ環境１０２に含まれるコンピューティングハードウェアの一例であり得る。加えて、コンピュータシステム６００を使用して、ＡＮＮ１１４などの、本明細書に開示される１つ以上のニューラルネットワークを実装することができる。コンピュータシステム６００は、少なくとも、情報を通信するためのバス６４０または他の通信機構と、情報を処理するためにバス６４０と結合されたハードウェアプロセッサ６４２とを含む。ハードウェアプロセッサ６４２は、例えば、汎用マイクロプロセッサであり得る。コンピューティングシステム６００を使用して、方法２００および３００などの、本明細書に開示される方法および技術を実装することができる。

【0047】

コンピュータシステム６００はまた、プロセッサ６４２によって実行される情報および命令を記憶するためにバス６４０に結合されたランダムアクセスメモリ（ＲＡＭ）または他の動的記憶デバイスなどのメインメモリ６４４を含む。メインメモリ６４４は、プロセッサ６４２によって実行される命令の実行中、一時的変数または他の中間情報を記憶するためにも使用され得る。そのような命令は、プロセッサ６４２にアクセス可能な非一時的記憶媒体に記憶されると、コンピュータシステム６００を、命令で指定された動作を実施するようにカスタマイズされた専用マシンにする。

【0048】

コンピュータシステム６００は、静的情報およびプロセッサ６４２に対する命令を記憶するために、バス６４０に結合された読み取り専用メモリ（ＲＯＭ）６４６または他の静的記憶デバイスをさらに含む。磁気ディスクまたは光学ディスクなどの記憶デバイス６４８が提供され、情報および命令を記憶するためにバス６４０に結合されている。

【0049】

コンピュータシステム６００は、コンピュータユーザに情報を表示するために、陰極線管（ＣＲＴ）などのディスプレイ６５０にバス６４０を介して結合され得る。英数字および他のキーを含む入力デバイス６５２が、プロセッサ６４２に情報およびコマンド選択を通信するためにバス６４０に結合されている。別のタイプのユーザ入力デバイスは、方向情報およびコマンド選択をプロセッサ６４２に通信し、ディスプレイ６５０上のカーソル移動を制御するためのマウス、トラックボール、またはカーソル方向キーなどのカーソル制御６５４である。この入力デバイスは一般的に、デバイスが平面内の位置を指定することを可能にする、二つの軸、すなわち、第１の軸（例えば「ｘ」）および第２の軸（例えば「ｙ」）における二方向の自由度を有する。

【0050】

コンピュータシステム６００は、カスタマイズされたハードワイヤードロジック、１つ以上のＡＳＩＣもしくはＦＰＧＡ、ファームウェア、および／またはコンピュータシステムと組み合わせてコンピュータシステム６００を専用マシンにするかもしくはそのようにプログラムするプログラムロジックを使用して、本明細書に記載の技術を実装してもよい。一実施形態によれば、本明細書の技術は、メインメモリ６４４に含まれる１つ以上の命令の１つ以上のシーケンスを実行するプロセッサ６４２に応答して、コンピュータシステム６００によって実施される。そのような命令は、記憶デバイス６４８などの別の記憶媒体からメインメモリ６４４に読み込まれてもよい。メインメモリ６４４に含まれる命令のシーケンスの実行により、プロセッサ６４２は、本明細書に記載される処理ステップを実施する。代替的な実施形態では、ソフトウェア命令の代わりに、またはソフトウェア命令と組み合わせて、ハードワイヤード回路を使用してもよい。

【0051】

本明細書で使用される「記憶媒体（ｓｔｏｒａｇｅ ｍｅｄｉａ）」という用語は、機械を特定の方法で動作させるデータおよび／または命令を記憶する任意の非一時的媒体を指す。そのような記憶媒体は、不揮発性媒体および／または揮発性媒体を含み得る。不揮発性媒体は、例えば、記憶デバイス６４８のような、光または磁気ディスクを含む。揮発性媒体は、メインメモリ６４４のような動的メモリを含む。記憶媒体の一般的な形式は、例えば、フロッピーディスク、フレキシブルディスク、ハードディスク、ソリッドステートドライブ、磁気テープ、または他の磁気データ記憶媒体、ＣＤ－ＲＯＭ、他の光学データ記憶媒体、物理穴のパターンを持つ媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、ＦＬＡＳＨ－ＥＰＲＯＭ、ＮＶＲＡＭ、他のメモリチップ若しくはカートリッジ、連想メモリ（ＣＡＭ）、および三値連想メモリ（ＴＣＡＭ）を含む。

【0052】

記憶媒体は、伝送媒体とは異なるが、伝送媒体と組み合わせて使用してもよい。伝送媒体は、記憶媒体間の情報の転送に関与する。例えば、伝送媒体には、バス６４０を含むワイヤを含む、同軸ケーブル、銅線、および光ファイバが含まれる。伝送媒体は、電波および赤外線データ通信中に生成されるものなど、音響波または光波の形を取ることもできる。

【0053】

様々な形態の媒体が、１つ以上の命令の１つ以上のシーケンスを実行のためにプロセッサ６４２に搬送するのに関与してもよい。例えば、命令は、最初は遠隔コンピュータの磁気ディスクまたはソリッドステートドライブ上で搬送されてもよい。遠隔コンピュータは、命令をその動的メモリにロードして、モデムを使用して電話回線を介して命令を送信することができる。コンピュータシステム６００に対してローカルなモデムが、電話回線上のデータを受信して、赤外線送信機を使用してデータを赤外線信号に変換することができる。赤外線検出器が、赤外線信号内で搬送されているデータを受信することができ、適切な回路が、データをバス６４０上に置くことができる。バス６４０は、データをメインメモリ６４４に搬送し、プロセッサ６４２は、そこから命令を取り出し実行する。メインメモリ６４４によって受信される命令は任意選択的に、プロセッサ６４２による実行の前または後のいずれかに、記憶デバイス６４８に記憶されてもよい。

【0054】

コンピュータシステム６００は、バス６４０に結合された通信インターフェース６５６も含む。通信インターフェース６５６は、ローカルネットワーク６６０に接続されたネットワークリンク６５８に結合する双方向データ通信を提供する。例えば、通信インターフェース６５６は、統合サービスデジタルネットワーク（ＩＳＤＮ）カード、ケーブルモデム、衛星モデム、または対応するタイプの電話回線へのデータ通信接続を提供するモデムであり得る。別の例として、通信インターフェース６５６は、互換性のあるＬＡＮへのデータ通信接続を提供するローカルエリアネットワーク（ＬＡＮ）カードであってもよい。無線リンクの実装であってもよい。そのような実装では、通信インターフェース６５６は、様々なタイプの情報を表すデジタルデータストリームを運ぶ電気信号、電磁信号、または光信号を送受信する。

【0055】

ネットワークリンク６５８は通常、１つ以上のネットワークを介して他のデータデバイスへのデータ通信を提供する。例えば、ネットワークリンク６５８は、ローカルネットワーク６６０を介して、ホストコンピュータ６６２またはインターネットサービスプロバイダ（ＩＳＰ）６６４によって運用されるデータ機器への接続を提供することができる。また、ＩＳＰ６６４は、現在一般的に「インターネット」６６６と称される世界的なパケットデータ通信ネットワークを介してデータ通信サービスを提供する。ローカルネットワーク６６０およびインターネット６６６は両方とも、デジタルデータストリームを搬送する電気信号、電磁信号、または光信号を使用する。コンピュータシステム６００との間でデジタルデータを搬送する、様々なネットワークを通る信号ならびにネットワークリンク６５８上の信号および通信インターフェース６５６を通る信号は、伝送媒体の例示的な形態である。

【0056】

コンピュータシステム６００は、ネットワーク（複数可）、ネットワークリンク６５８、および通信インターフェース６５６を介して、メッセージを送信し、プログラムコードを含むデータを受信することができる。インターネットの例では、サーバ６６８は、インターネット６６６、ＩＳＰ６６４、ローカルネットワーク６６０、および通信インターフェース６５６を介して、アプリケーションプログラムのために要求されたコードを送信し得る。

【0057】

受信されたコードは、受信されたときにプロセッサ６４２によって実行されてもよく、かつ／または後で実行するために記憶デバイス６４８もしくは他の不揮発性記憶デバイスに記憶されてもよい。

【0058】

いくつかの例では、値、手順、または装置は、「最低（ｌｏｗｅｓｔ）」、「最良（ｂｅｓｔ）」、「最小（ｍｉｎｉｍｕｍ）」などと称される。そのような記載は、多くの使用された機能的選択肢からの選択が可能であることを示すことを意図しており、そのような選択は、他の選択よりも優れている（ｂｅｔｔｅｒ）、小さい（ｓｍａｌｌｅｒ）、または他の点で望ましい（ｏｔｈｅｒｗｉｓｅ ｐｒｅｆｅｒａｂｌｅ）必要はないことが理解されよう。加えて、選択された値は、数値的または他の近似的手段によって得られてもよく、単に理論的に正しい／値に対する近似値であってもよい。

【0059】

［付記１］
荷電粒子画像のノイズを除去するための方法であって、前記方法は、
試料の複数のトレーニング画像ペアを取得することであって、前記複数のトレーニング画像ペアの各々の各トレーニング画像が、前記試料の同じ場所の画像であり、前記複数のトレーニング画像ペアの各画像が、同じ取得パラメータを使用して取得される、取得することと、
前記複数のトレーニング画像ペアに基づいて、人工ニューラルネットワークを更新することと、
前記更新された人工ニューラルネットワークを使用して複数の試料画像のノイズを除去することと、を含み、
前記複数の試料画像は、前記複数のトレーニング画像ペアを取得するために使用されるのと同じ取得パラメータを使用して取得される、方法。
［付記２］
前記複数のトレーニング画像ペアの各画像のノイズが、前記トレーニング画像ペアを取得するために使用される荷電粒子顕微鏡に特有のノイズである、付記１に記載の方法。
［付記３］
前記取得パラメータが、前記トレーニング画像ペアを取得するために使用される前記荷電粒子顕微鏡に特有の前記ノイズに影響する、付記２に記載の方法。
［付記４］
前記取得パラメータが、少なくとも荷電粒子ビームのドウェル時間を含む、付記３に記載の方法。
［付記５］
前記複数のトレーニング画像ペアの各画像のノイズが、前記複数の試料画像の各画像のノイズと同様である、付記１に記載の方法。
［付記６］
前記複数のトレーニング画像ペアに基づいて人工ニューラルネットワークを更新することが、前記複数のトレーニング画像ペアおよび前記複数の試料画像を取得するために使用される荷電粒子顕微鏡に特有のノイズに基づいて前記人工ニューラルネットワークを更新することを含む、付記１に記載の方法。
［付記７］
前記複数の試料画像を取得することをさらに含み、前記試料画像が、前記複数のトレーニング画像ペアが網羅するよりも広い前記試料の面積を網羅する、付記１に記載の方法。
［付記８］
事前トレーニングされた人工ニューラルネットワークを提供することをさらに含み、前記事前トレーニングされた人工ニューラルネットワークが、前記複数のトレーニングペアまたは前記複数の試料画像のいずれかのものと同様のノイズを有する画像ではトレーニングされない、付記１に記載の方法。
［付記９］
前記複数のトレーニング画像ペアの画像の数が、前記複数の試料画像の画像の数より少ない、付記１に記載の方法。
［付記１０］
前記複数のトレーニング画像ペアが、前記試料上の異なる場所のスポット画像を含む、付記１に記載の方法。
［付記１１］
システムであって、
荷電粒子顕微鏡イメージングプラットフォームと、
前記荷電粒子顕微鏡イメージングプラットフォームを制御するように少なくとも結合されたコントローラと、を備え、
前記コントローラが、コードを含む非一時的なコンピュータ可読媒体に結合され、前記コードが、前記コントローラによって実行されると、前記システムに、
試料の複数のトレーニング画像ペアを取得することであって、前記複数のトレーニング画像ペアの各々の各トレーニング画像が、試料の同じ場所の画像であり、前記複数のトレーニング画像ペアの各画像が、同じ取得パラメータを使用して取得される、取得することと、
前記複数のトレーニング画像ペアに基づいて人工ニューラルネットワークを更新することであって、前記人工ニューラルネットワークが、前記システムと共に含まれるか、または前記システムに結合される、更新することと、
前記更新された人工ニューラルネットワークを使用して複数の試料画像のノイズを除去することと、を行わせ、
前記複数の試料画像が、前記複数のトレーニング画像ペアを取得するために使用されるのと同じ取得パラメータを使用して取得される、システム。
［付記１２］
前記複数のトレーニング画像ペアの各画像のノイズが、前記トレーニング画像ペアを取得するために使用される荷電粒子顕微鏡に特有のノイズである、付記１１に記載のシステム。
［付記１３］
前記取得パラメータが、前記トレーニング画像ペアを取得するために使用される前記荷電粒子顕微鏡に特有の前記ノイズに影響する、付記１２に記載のシステム。
［付記１４］
前記取得パラメータが、少なくとも荷電粒子ビームのドウェル時間を含む、付記１３に記載のシステム。
［付記１５］
前記複数のトレーニング画像ペアの各画像のノイズが、前記複数の試料画像の各画像のノイズと同様である、付記１１に記載のシステム。
［付記１６］
前記複数のトレーニング画像ペアに基づいて人工ニューラルネットワークを更新することが、前記複数のトレーニング画像ペアおよび前記複数の試料画像を取得するために使用される荷電粒子顕微鏡に特有のノイズに基づいて前記人工ニューラルネットワークを更新することを含む、付記１１に記載のシステム。
［付記１７］
前記コンピュータ可読媒体が、コードであって、前記コードが、前記コントローラによって実行されると、前記システムに、前記複数の試料画像を取得させ、前記試料画像が、前記複数のトレーニング画像ペアが網羅するよりも広い前記試料の面積を網羅する、コードをさらに含む、付記１１に記載のシステム。
［付記１８］
前記コンピュータ可読媒体が、コードであって、前記コードが、前記コントローラによって実行されると、前記システムに、事前トレーニングされた人工ニューラルネットワークを提供させ、前記事前トレーニングされた人工ニューラルネットワークが、前記複数のトレーニングペアまたは前記複数の試料画像のいずれかのものと同様のノイズを有する画像ではトレーニングされない、コードをさらに含む、付記１１に記載のシステム。
［付記１９］
前記複数のトレーニング画像ペアの画像の数が、前記複数の試料画像の画像の数より少ない、付記１１に記載のシステム。
［付記２０］
前記複数のトレーニング画像ペアが、前記試料上の異なる場所のスポット画像を含む、付記１１に記載のシステム。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【外国語明細書】