特表 2024-541614 顕微鏡のオートフォーカスおよび非点収差補正方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-11-08

(54)【発明の名称】顕微鏡のオートフォーカスおよび非点収差補正方法

(51)【国際特許分類】

   H01J 37/153 20060101AFI20241031BHJP

   H01J 37/21 20060101ALI20241031BHJP

   H01J 37/22 20060101ALI20241031BHJP

   G02B 7/28 20210101ALI20241031BHJP

【ＦＩ】

H01J37/153 B

H01J37/21 B

H01J37/22 502H

G02B7/28 J

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2024532412

(86)(22)【出願日】2022-11-30

(85)【翻訳文提出日】2024-07-04

(86)【国際出願番号】 EP2022083891

(87)【国際公開番号】W WO2023099584

(87)【国際公開日】2023-06-08

(31)【優先権主張番号】21212051.3

(32)【優先日】2021-12-02

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】390040420

【氏名又は名称】マックス－プランク－ゲゼルシャフト・ツア・フェルデルング・デア・ヴィッセンシャフテン・エー・ファオ

【氏名又は名称原語表記】Ｍａｘ－Ｐｌａｎｃｋ－Ｇｅｓｅｌｌｓｃｈａｆｔ ｚｕｒ Ｆｏｅｒｄｅｒｕｎｇ ｄｅｒ Ｗｉｓｓｅｎｓｃｈａｆｔｅｎ ｅ．Ｖ．

(74)【代理人】

【識別番号】110000729

【氏名又は名称】弁理士法人ユニアス国際特許事務所

(72)【発明者】

【氏名】コルンフェルド、ヨルゲン

(72)【発明者】

【氏名】シューベルト、フィリップ

【テーマコード（参考）】

2H151

5C101

【Ｆターム（参考）】

2H151AA11

2H151CD12

2H151DA15

5C101AA03

5C101EE08

5C101EE47

5C101EE53

5C101FF56

5C101FF57

5C101HH21

5C101HH36

5C101HH39

5C101HH47

5C101HH48

5C101JJ02

5C101JJ04

(57)【要約】

特定の顕微鏡セットアップ、特に電子顕微鏡のためのオートフォーカスおよび非点収差補正のための方法であって、顕微鏡は、顕微鏡パラメータ、作動距離、Ｘ方向のスティグマータ、及びＹ方向のスティグマータを少なくとも調整可能であり、方法は、
ａ）第１の作動距離摂動でサンプルの第１画像を撮像し、現在の作動距離および現在のスティグマータ設定での第２の作動距離摂動で前記サンプルの第２画像を撮像するステップと；、
ｂ）第１画像のｎ個の部分領域と第２画像のｎ個の部分領域を選択するステップと、ここで、ｎ≧１であり、第１画像のｉ番目の部分領域と第２画像のｉ番目の部分領域がｉ番目の入力パッチ対を形成しており、１≦ｉ≦ｎである；、
ｃ）各々のｉ番目の入力パッチ対を処理し、現在の作動距離、ｘ方向のスティグマータ及びｙ方向のスティグマータに対する補正を有するｉ番目の補正項を受けるステップと；、
ｄ）全ての補正項に応じて出力補正項を受けるステップと；、
ｅ）出力補正項を現在の作動距離とスティグマータ設定に適用することにより、現在の作動距離とスティグマータ設定とを調整するステップと、
を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

特定の顕微鏡セットアップ、特に電子顕微鏡のためのオートフォーカスおよび非点収差補正のための方法であって、顕微鏡は、顕微鏡パラメータ、作動距離、Ｘ方向のスティグマータ、及びＹ方向のスティグマータを少なくとも調整可能であり、
前記方法は、
ａ）第１の作動距離摂動でサンプルの第１画像を撮像し、現在の作動距離および現在のスティグマータ設定での第２の作動距離摂動で前記サンプルの第２画像を撮像するステップと；、
ｂ）前記第１画像のｎ個の部分領域と前記第２画像のｎ個の部分領域を選択するステップと、ここで、ｎ≧１であり、前記第１画像のｉ番目の部分領域と前記第２画像のｉ番目の部分領域がｉ番目の入力パッチ対を形成しており、１≦ｉ≦ｎである；、
ｃ）各々のｉ番目の入力パッチ対を処理し、現在の作動距離、ｘ方向のスティグマータ及びｙ方向のスティグマータに対する補正を有するｉ番目の補正項を受けるステップと；、
ｄ）全ての前記補正項に応じて出力補正項を受けるステップと；、
ｅ）前記出力補正項を現在の作動距離とスティグマータ設定に適用することにより、現在の作動距離とスティグマータ設定とを調整するステップと、
を含む、方法。

【請求項2】

前記補正項が補正方向を含んでいる、請求項１に記載の方法。

【請求項3】

前記第１画像のｉ番目の部分領域のサイズと、前記第２画像のｉ番目の部分領域のサイズは、実質的に同一である、請求項１又は２に記載の方法。

【請求項4】

前記第１画像に対する前記第１画像のｉ番目の部分領域の位置は、前記第２画像に対する前記第２画像のｉ番目の部分領域と実質的に同一であるか、又は異なるかのいずれかである、請求項１～３のいずれかに記載の方法。

【請求項5】

前記出力補正項は、関数の戻り値であり、前記関数は、好ましくは、全ての前記補正項を前記出力補正項に結合する、請求項１～４のいずれかに記載の方法。

【請求項6】

前記ａ）～ｅ）のステップは少なくとも１回繰り返され、
前記方法は、終了条件が満たされたときに停止され、
好ましくは、前記終了条件は、現在の作動距離及びスティグマータ設定と、調整された作動距離及びスティグマータ設定との間の絶対差が第１閾値よりも小さいとしてもよく；、
または、
好ましくは、前記終了条件は、画像のシャープネスを示すシャープネス度が第２閾値を超えること、または、前記ａ）～ｅ）のステップを予め決められた回数繰り返した後である、請求項１～５のいずれかに記載の方法。

【請求項7】

前記第１画像のｉ番目の部分領域と前記第１画像の（ｉ＋１）番目の部分領域とが部分的に重なっている、請求項１～６のいずれかに記載の方法。

【請求項8】

前記ｃ）のステップは、機械学習モデリング方法の設定で機械学習モデリング方法を用いて実施される、請求項１～７のいずれかに記載の方法。

【請求項9】

前記機械学習モデリング方法は、各々のｉ番目の入力パッチ対をｉ番目の重み付け係数で重み付けし、前記ｉ番目の重み付け係数は、機械学習モデリングモデルによって予測された、ｉ番目の入力パッチ対の前記出力補正項に対する重要度に依存している、請求項８に記載の方法。

【請求項10】

前記機械学習モデリング方法は、学習データセットを作成する学習方法によって最適化される、請求項８又は９に記載の方法。

【請求項11】

前記学習方法は、
ｉ）作動距離とスティグマータ設定とが既知の状態で、焦点の合った画像を撮像するステップと；、
ｉｉ）ｋ個の焦点の合っていない画像パッチ対を生成するステップと、ここで、各々の画像は既知の異なるパラメータ設定を有する；、
ｉｉｉ）前記サンプルの異なる部分領域について、前記ｉ）ステップ及び前記ｉｉ）ステップをｊ回繰り返すステップと；、
ｉｖ）前記補正項を既知の作動距離及びスティグマータ設定と比較処理し、比較誤差を求め、前記比較誤差に応じて前記機械学習モデリング方法の設定を調整するステップと、
を含む、請求項１０に記載の方法。

【請求項12】

第１の摂動および第２の摂動は、両方が正の摂動であるか、又は、両方が負の摂動であるか、又は、前記第１の摂動が正の摂動であり、前記第２の摂動が負の摂動であり、
前記第１の摂動と前記第２の摂動の絶対値が、ｉ）同一である、または、ｉｉ）互いに異なる、請求項１～１１のいずれかに記載の方法。

【請求項13】

顕微鏡セットアップ、特に電子顕微鏡のセットアップに用いられる機械学習モデリングモデルの学習データを生成する方法であって、前記方法は、顕微鏡のセットアップや顕微鏡の設定に依存せず、顕微鏡は、顕微鏡パラメータ、作動距離、Ｘ方向のスティグマータ、及びＹ方向のスティグマータを少なくとも調整可能であり、
前記方法は、
ａ）基準作動距離とスティグマータ設定でサンプルの単一の焦点の合った画像を撮像し、
前記焦点の合った画像のシャープネスを表す第１スコア値を、前記単一の焦点の合った画像に割り当てるステップと；、
ｂ）Ｌ＝１として、前記サンプルのＬ番目の位置について、Ｎ個の焦点の合っていない画像を生成し、各々の焦点の合っていない画像に対応するスコア値を求め、最適化法を用いて有向補正項を求めるステップと；、
ｃ）作動距離及びスティグマータ設定に前記有向補正項を適用することにより、前記サンプルのＬ番目の位置における作動距離及びスティグマータ設定を調整し、作動距離及びスティグマータ設定を持つ新しい画像と、得られた画像に関連付けられたスコア値とを得るステップと；、
ｄ）前記ｃ）のスコア値、作動距離、スティグマータ設定を用いて、最適化手法から有向補正項を求めるステップと；、
ｅ）得られた画像のスコア値が、実質的に前記ａ）の第１スコア値以下になるまで、前記ｃ）及びｄ）を繰り返し、基準作動距離とスティグマータ設定を得るステップと；、
ｆ）得られた基準作動距離とＬ番目の位置にフォーカスしたスティグマータ設定とに基づいて、焦点の合っていないパラメータと共にＭ個の焦点の合っていない画像ペアを取得するステップと；、
ｇ）前記サンプルをｘ方向及びｙ方向に移動させることにより、前記サンプルのＬ番目の位置を変更するステップと；、
ｈ）前記ｂ）～ｇ）のステップを、Ｌを増加させながら繰り返すステップと、
を含む、方法。

【請求項14】

請求項１３に記載のＬ＊Ｍ個の画像を用いて、請求項１０に記載の学習データセットを形成する、使用。

【請求項15】

少なくとも１つのプロセッサに結合され、プロセッサ実行可能な命令を記憶するメモリを備えるコンピューティングシステムであって、
前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記コンピューティングシステムに、請求項１～１２のいずれかに記載のオートフォーカスおよび非点収差補正のための方法、及び／又は、請求項１３に記載の学習データを生成する方法を実行させる、コンピューティングシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、顕微鏡のオートフォーカスおよび非点収差補正方法に関する。

【背景技術】

【0002】

顕微鏡、特に電子顕微鏡の場合、顕微鏡のパラメータ、特に画質に関するパラメータは、多くの場合、顕微鏡のユーザーによって手動で制御される。しかし、プローブごとにパラメータを調整するのは非常に時間のかかる作業である。

【0003】

改善策として、電子顕微鏡は、最小限の人的介入でより高い画質を保証するために、自動化及び制御アルゴリズムに依存する可能性がある。

【0004】

しかし、現在使用されている焦点収差補正や非点収差補正アルゴリズムは、通常、画像形成とそれに続く収差補正を明示的にモデル化しようとするものであり、多くの場合、処理時間が長く、未検証の設定に対する一般化には問題がある。

【0005】

電子顕微鏡（ＥＭ）の高解像度と、サンプルの細部まで画像化する能力は、他の追随を許さない。自動化されたＥＭの重要な構成要素は、何百万もの個々の画像と長期にわたる動作を含む可能性のある撮影プロセス全体にわたって高品質の画像を維持することである。このため、顕微鏡パラメータを手動で調整することはほとんど不可能である。アルゴリズムの実行時間バジェット、収差補正の収束速度、サンプルのアーティファクトを避けるための低電子量バジェットに対する厳しい制約は、特に高スループット電子顕微鏡において、その必要性にもかかわらず、自動デフォーカスおよび非点収差補正アルゴリズムに大きな課題を突きつけている。

【0006】

走査型電子顕微鏡（ＳＥＭ）分野における既存のソリューションは、通常、電子ビームとサンプルとの相互作用に関する明示的な物理モデルに基づいている。既知の摂動による測定（この場合は画像）が行われ、続いて焦点とスティグマータパラメータが推論され、波面収差が推定される。このような物理的根拠に基づくアプローチは、理論的には優れた汎化特性、すなわち、異なる顕微鏡やサンプルに対して、全く、あるいは最小限の適応でうまく動作する能力につながるはずであるが、実際には、慎重なチューニングを必要とする多くのパラメータを含んでいる。

【0007】

ここでは、走査型電子顕微鏡における収差補正のための、主にデータ駆動型の方法が紹介される。この方法は、非常に低い信号対雑音比の条件下で機能し、技術水準に比べて処理時間を１桁以上短縮し、広い収差範囲において迅速に収束し、異なる顕微鏡や困難なサンプルに対して、専門家でなくても自動化で再較正することができる。

【0008】

特に、走査型電子顕微鏡のための機械学習ベースの焦点合わせおよびスティグマータ補正法である。提案アルゴリズムは、ほぼ瞬時に推論が可能であり、収束が早く、低電子線量のノイズの多い画像で動作し、専門知識を必要とせず、新しい機械やサンプルに再キャリブレーションするためのすぐに使える手順を持っており、すべての使用シナリオにおいて収束を保証する。

【発明の概要】

【0009】

本発明の目的は、電子顕微鏡のオートフォーカスおよび非点収差補正のための方法を提供することであり、この方法は、使用時に高速かつ堅牢である。

【0010】

この問題は、請求項１に記載の方法によって解決される。さらなる従属請求項は、好ましい実施形態を提供する。また、請求項１３によれば、顕微鏡セットアップに使用される機械学習モデリングモデルの学習データを生成する方法が提供される。また、請求項１５に記載のコンピューティングシステムによって問題が解決される。

【0011】

本発明によれば、特定の顕微鏡セットアップ、特に電子顕微鏡のためのオートフォーカスおよび非点収差補正のための方法が提供される。顕微鏡は、少なくとも以下の顕微鏡パラメータ、作動距離、Ｘ方向のスティグマータ、及びＹ方向のスティグマータを少なくとも調整可能であり、本方法は、
ａ）第１の作動距離摂動でサンプルの第１画像を撮像し、現在の作動距離および現在のスティグマータ設定での第２の作動距離摂動で前記サンプルの第２画像を撮像するステップと；、
ｂ）前記第１画像のｎ個の部分領域と前記第２画像のｎ個の部分領域を選択するステップと、ここで、ｎ≧１であり、前記第１画像のｉ番目の部分領域と前記第２画像のｉ番目の部分領域がｉ番目の入力パッチ対を形成しており、１≦ｉ≦ｎである；、
ｃ）各々のｉ番目の入力パッチ対を処理し、現在の作動距離、ｘ方向のスティグマータ及びｙ方向のスティグマータに対する補正を有するｉ番目の補正項を受けるステップと；、
ｄ）全ての前記補正項に応じて出力補正項を受けるステップと；、
ｅ）前記出力補正項を現在の作動距離とスティグマータ設定に適用することにより、現在の作動距離とスティグマータ設定とを調整するステップと、
を含む。

【0012】

一般に、顕微鏡、特に走査型電子顕微鏡における平坦な標本またはサンプルの像は、電子ビームのスポットの大きさがサンプリング距離以下であるときに最適に撮像される。一般的に、作動距離、直交スティグマータ（本明細書では stig xおよびstig yと呼ぶ）の３つのパラメータを電子顕微鏡オペレータが調整することにより、スポット形状を直接制御し、ビームと試料の相互作用点におけるピクセルサイズ以下にすることができ、その結果、シャープな画像を形成することができる。

【0013】

有利には、顕微鏡または顕微鏡セットアップは、走査型電子顕微鏡（ＳＥＭ）または環境走査型電子顕微鏡（ＥＳＥＭ）であってもよい。また、走査型透過電子顕微鏡（ＳＴＥＭ）または透過電子顕微鏡（ＴＥＭ）であってもよいが、画像形成原理が異なるため、作動距離やスティグマータ設定のパラメータに代えて、追加的または代替的に異なる顕微鏡パラメータを制御する必要がある。

【0014】

提案された方法は、入力として、現在の顕微鏡の作動距離とスティグマータ設定での既知の作動距離摂動を持つ２つの画像を有する。現在の作動距離とスティグマータ設定は、顕微鏡によって撮影される可能性のある特定の画像に関連している。現在の作動距離とスティグマータ設定は、典型的には焦点の合っていないサンプルの画像を提供することに留意されたい。

【0015】

さらに、この方法は、補正項の大きさと方向を検索できるようにするために、少なくとも２つの摂動テスト画像を必要とする。好ましい実施形態によれば、補正項は補正方向を含んでいる。

【0016】

本発明の好ましい実施形態によれば、摂動は互いに対して異なるタイプであってもよい。特に、第１の摂動および第２の摂動は、両方が正の摂動であるか、または両方が負の摂動であるか、または第１の摂動が正の摂動であり、第１の摂動が負の摂動である。

【0017】

さらに好ましくは、第１の摂動と第２の摂動の絶対値は、互いに同一か異なるかのいずれかである。特に、一方の摂動が正で他方の摂動が負である場合、摂動は好ましくは同じ絶対値を有する。しかしながら、一方の摂動が正で他方の摂動が負であり、摂動が異なる絶対値を有する場合もある。一方の摂動が正であり、他方の摂動が負である場合、重要な事実は、これらの摂動が画像対の部分領域のシャープネスに関して非対称性をもたらし、画像パッチ対の一方の部分領域が他方の部分領域よりもシャープであることを意味し、それにより補正項の補正方向がもたらされることである。初期設定が焦点の合った画像で、作動距離パラメータに非対称な摂動がある場合、テスト画像は（純粋なデフォーカスの対称性により）同じぼけ歪みを継承する。焦点の合っていない初期設定の場合、テスト画像の歪みの非対称性を利用して、焦点の合ったパラメータ設定（作動距離とスティグマータ設定）に向けた補正ベクトルを推論することができる。

【0018】

非対称性は、摂動が同じ符号、つまり両方の摂動が正または負である場合にも利用可能である。しかし、もし両方の摂動が同じ符号であれば、摂動の絶対値は互いに異なっていなければならない。もし摂動が同じ絶対値であれば、同じ摂動画像が２回撮像されるため、画像パッチ対が形成されず、方向性は考えられない。

【0019】

しかし、本発明の観点から摂動にはいくつかの要件がある。第一に、本発明は２つの摂動に限定されるものではないことに留意されたい。実際、複数の摂動が使用され、その総数が２つを超える場合もあり得る。好ましくは、摂動の総数は一定であり、より好ましくは、本発明方法に対して予め設定されている。さらに、大きさと方向も一定であることが可能である。方向は摂動の符号によって与えられることもある。

【0020】

さらに、摂動の絶対値は目標パラメータ範囲と同等でなければならず、これは摂動の大きさのオーダーが作動距離とスティグマータ設定の補正の大きさのオーダーと同等かそれ以下であることを意味する。さらに、摂動は目標パラメータ範囲に対して十分に異なっていなければならない。

【0021】

本発明の好ましい実施形態によれば、第１画像のｉ番目の部分領域と第２画像のｉ番目の部分領域のサイズは実質的に同一である。本発明の意味において、「実質的に」とは、それぞれの部分領域のサイズのせいぜい１０％、好ましくは５％の差に関する。最も好ましくは、ｉ番目の部分領域のサイズは同一である。一例として、テスト画像のサイズは1024x768、画素サイズは10nmであり、部分領域のサイズは512x512、256x256、あるいは128x128の正方形であり、それ以上のサイズも可能である。しかし、部分領域のサイズを小さくすると、収束速度が低下する可能性があることが判明した。画像のサイズ、ピクセルサイズ、部分領域のサイズは、提示された値とは異なる値を持ち得ることを理解されたい。しかし、部分領域のサイズは画像全体のサイズよりも小さいことを理解すべきである。

【0022】

さらに好ましい実施形態によれば、第１画像に対する第１画像のｉ番目の部分領域の位置は、第２画像に対する第２画像のｉ番目の部分領域と実質的に同一であるか、または異なっている。

【0023】

本発明のさらに好ましい実施形態によれば、第１画像のｉ番目の部分領域と第１画像の（ｉ＋１）番目の部分領域とは部分的に重なることがある。しかしながら、部分領域が重ならない、または部分領域の一部のみが重なることもあり得る。これは、部分領域がランダムに独立して選択される可能性があるためである。

【0024】

本発明のさらに好ましい実施形態によれば、出力補正項は関数の戻り値である。より好ましくは、関数は、すべてのｉ番目の補正項を１つの出力補正項に結合する。

【0025】

一例として、このような関数に応じて、すべての補正項の平均値、またはすべての補正項の中央値を考慮することができる。さらに別の方法として、関数は、例えばRANSACアルゴリズムなどのような、外れ値に対して非常にロバストなコンピュータ関数であってもよい。

【0026】

本発明のさらに好ましい実施形態によれば、方法ステップａ）～ｅ）が少なくとも１回繰り返される。有利なことに、この方法は、終了条件が満たされたときに停止される。

【0027】

好ましくは、終了条件は、現在の作動距離及びスティグマータ設定と、調整された作動距離及びスティグマータ設定との間の絶対差が第１閾値より小さいこと、とすることができる。また、好ましくは、終了条件は、画像のシャープネスを示すシャープネス度が第２閾値を超える。または、好ましくは、方法ステップａ）～ｅ）の予め決定された回数繰り返した後である。終了条件は、終了条件をさらに指定するために提示された可能性の組み合わせである場合もある。

【0028】

本発明方法の開発中、典型的には３～４回の反復ステップ、つまり方法の反復後に方法が収束することが示された。

【0029】

本発明のさらに好ましい実施形態によれば、方法ステップｃ）は、機械学習モデリング方法設定を有する機械学習モデリング方法を用いて実施される。有利なことに、機械学習モデリング方法はディープラーニング方法である。好ましくは、少なくとも１つの機械学習モデリング方法設定は、機械学習モデリング方法の重みである。

【0030】

機械学習モデリング方法は、複数の入力パッチ対を入力として受け、調整可能な重みを用いて、入力を作動距離及びスティグマータ設定に対する１つの補正項に変換する。機械学習モデリング方法は、好ましくは、入力の非線形特徴抽出とターゲット領域への変換のための畳み込み層と全結合層のシーケンスから構成される。

【0031】

本発明のさらに好ましい実施形態によれば、機械学習モデリング方法は、ｉ番目の出力項をｉ番目の重み付け係数で各々のｉ番目の入力パッチ対に重み付けし、ｉ番目の重み付け係数は、最終出力補正項に対するｉ番目の入力パッチ対の、機械学習モデリングモデルによって予測された重要度に依存する。

【0032】

手法の開発中、サンプルや試料には、組織の血管のように、オートフォーカスアルゴリズムに使用可能な情報がほとんどない部位や領域が含まれることがあることに気づいた。例えば、組織内の血管のように、サンプルホルダのエポキシ樹脂のブランクを示すだけで、ＡＦアルゴリズムが使用できるコントラストを示さず、その結果、最適な結果が得られないことがある。したがって、これらの領域は、オートフォーカスの決定において、より少ない重み付けを持つべきであると推論された。これは、ｉ番目の重み付け係数をアーキテクチャに組み込むことによって実現され、各オートフォーカス推定値を独立に重み付けする手法の新しい出力セットにつながる。これらの新しい方法の出力は、緩く正則化されたスコアであり、好ましくは重み減衰の点でのみ正則化され、機械学習モデリング方法学習中にすでに重み付け係数として使用される。

【0033】

重み付けの２つの異なる粒度がテストされた。第１に、顕微鏡によって取得された大きな入力画像のパッチ対の切り出しである、入力画像パッチのレベルである。第２に、入力画像内のすべての位置のスコアリングにつながる個々のピクセルのレベルである。どちらのアプローチも、コントラスト情報の少ない被検体領域に対してより頑健であり、この方法は、低コントラスト領域をプレフィルターする従来の画像処理を必要としないことを示している。

【0034】

一例として、処理ステップの出力は、重み付け係数によって拡張された補正項である：

【数1】

【0035】

これは出力補正項として処理できる：

【数2】

【0036】

好ましい実施形態によれば、学習方法は：
ｉ）作動距離とスティグマータ設定とが既知の状態で、焦点の合った画像を撮像するステップと；、
ｉｉ）ｋ個の焦点の合っていないパラメータ設定について、パラメータ設定と摂動されたテスト画像のセット（例えば、作動距離摂動が非対象の場合、各々の焦点の合っていないパラメータ設定に対して２つ）を記憶するステップと；、
ｉｉｉ）サンプルの異なる部分領域について、ステップｉ）及びｉｉ）をｊ回繰り返し、既知の焦点の合っていないパラメータをターゲットとして、モデルの学習入力として使用される合計ｊ回ｋ回の画像ペアを生成するステップと；、
ｉｖ）前記補正項を既知の作動距離及びスティグマータ設定と比較処理し、比較誤差を求め、前記比較誤差に応じて前記機械学習モデリング方法の設定を反復的に調整するステップと、
を含む。

【0037】

特に、機械学習モデリング方法の重みは、特にバックプロパゲーション方法を用いて調整される。

【0038】

また、バックプロパゲーション法以外の技術／方法を使うことも可能だろうし、異なる方法を組み合わせることもできる。

【0039】

なお、上記の学習方法では、学習データの生成に使用した顕微鏡に特化したモデルが得られる。

【0040】

しかし、ランディングエネルギー、ビーム電流、作動距離範囲、回転画像取得など、画像設定が大きく異なる別の顕微鏡セットアップに移行した場合、方法が失敗し、収束ではなく発散に至る可能性がある。

【0041】

そこで、顕微鏡のセットアップや顕微鏡の設定に依存しない、機械学習モデリングモデルの学習データを作成する方法を紹介する。

【0042】

顕微鏡セットアップ、特に電子顕微鏡のセットアップに用いられる機械学習モデリングモデルの学習データを生成する方法であって、前記方法は、顕微鏡のセットアップや顕微鏡の設定に依存せず、顕微鏡は、以下の顕微鏡パラメータ、作動距離、Ｘ方向のスティグマータ、及びＹ方向のスティグマータを少なくとも調整可能であり、前記方法は、
ａ）基準作動距離とスティグマータ設定でサンプルの単一の焦点の合った画像を撮像し、
前記焦点の合った画像のシャープネスを表す第１スコア値を、前記単一の焦点の合った画像に割り当てるステップと；、
ｂ）Ｌ＝１として、前記サンプルのＬ番目の位置について、Ｎ個の焦点の合っていない画像を生成し、各々の焦点の合っていない画像に対応するスコア値を求め、最適化法を用いて有向補正項を求めるステップと；、
ｃ）作動距離及びスティグマータ設定に前記有向補正項を適用することにより、前記サンプルのＬ番目の位置における作動距離及びスティグマータ設定を調整し、作動距離及びスティグマータ設定を持つ新しい画像と、得られた画像に関連付けられたスコア値とを得るステップと；、
ｄ）スコア値、作動距離、スティグマータ設定を用いて、最適化手法から有向補正項を求めるステップと；、
ｅ）得られた画像のスコア値が、実質的に前記ａ）の第１スコア値以下になるまで、前記ｃ）及びｄ）を繰り返し、基準作動距離とスティグマータ設定を得るステップと；、
ｆ）得られた基準作動距離とスティグマータ設定とに基づいて、焦点の合っていないパラメータと共にＭ個の焦点の合っていない画像ペアを取得するステップと；、
ｇ）前記サンプルをｘ方向及びｙ方向に移動させることにより、サンプルのＬ番目の位置を変更するステップと；、
ｈ）ステップｂ）～ｇ）を、Ｌを増加させながら繰り返すステップと、
を含む。

【0043】

学習データの生成方法によれば、サンプルのｘ方向とｙ方向のみの動きに基づいて画像が得られる。

【0044】

本発明のさらに好ましい実施形態によれば、最適化方法は古典的最適化である。最適化方法の例としては、シンプレックス法またはダウンヒルシンプレックス法を挙げることができる。このようなダウンヒルシンプレックス法の利点は、非常にロバストで単純であることである。欠点は収束速度が遅いことである。しかし、学習データを生成する方法は、提示されたオートフォーカス方法が学習データのセットに基づいて収束するように、新しい顕微鏡セットアップに対して正しく調整されるように、新しい顕微鏡セットアップのための最小限の学習データセットを作成する。

【0045】

さらに、学習データを生成するための提示された方法は、画像のシャープネスを表すスコア値を使用し、スコア値は方向性がないため、スケーリング係数を除き、顕微鏡セットアップパラメータに依存しない。スケールは、ａ）に従って終了閾値を調整することにより考慮される。

【0046】

本発明のさらなる利点、目的および特性は、添付図面および以下の説明によって説明される。

【図面の簡単な説明】

【0047】

【図1】顕微鏡のセットアップの一例を示す。

【図2】オートフォーカス方式の概要。

【図3】学習データの生成方法を示す。

【図4A】ドエルタイム 200nsでの収束プロット。

【図4B】図４Ａの収束プロットに従って取得された画像。

【図4C】ドエルタイム 50nsでの収束プロット。

【図4D】図４Ｃの収束プロットに従って取得された画像。

【図5】処理時間の提示。

【図6A】サンプルには、オートフォーカスアルゴリズムに有用な情報がほとんどない領域が含まれている。

【図6B】図６Ａの収束プロット。

【図6C】画像パッチの切り抜きと対応するスコア。

【図6D】スコアマップ。

【図7A】特定の顕微鏡における本発明による方法の収束プロット。

【図7B】画像のオートフォーカス。

【図7C】別の顕微鏡における本発明による方法の収束プロット。

【図7D】チューニング後の異なる顕微鏡における本発明による方法の収束プロット。

【発明を実施するための形態】

【0048】

一般に、顕微鏡セットアップ１、好ましくは走査型電子顕微鏡における平坦な試料の像は、電子ビームのスポットの大きさがサンプリング距離以下であるときに最適に撮像される。また、顕微鏡セットアップ１は、サンプル１’’を配置することができるサンプルホルダ１’を備えている。

【0049】

一般的に、顕微鏡セットアップ１の３つのパラメータ、すなわち、作動距離ｗｄと直交スティグマータstigx、stigy（以下、ｘ方向とｙ方向のスティグマータともいう）は、顕微鏡オペレータが直接電子ビームのスポット形状を制御し、ビームと被検体の相互作用点のピクセルサイズ以下にするために調整することができ、その結果、シャープな画像形成につながる。

【0050】

図１に、顕微鏡セットアップ１の３つのパラメータｗｄ、stigx、stigyを簡単に示す。

【0051】

図２に簡単に示すように、本発明による方法は、現在の顕微鏡作動距離とスティグマータ設定で既知の作動距離摂動４、５を持つ２つの画像２、３を入力とする。現在の顕微鏡作動距離とスティグマータ設定により、現在の顕微鏡作動距離とスティグマータ設定の画像６が得られる。現在の顕微鏡作動距離とスティグマータ設定は、設定ベクトルＦで表すことができる。

【数3】

【0052】

図２において、第１画像２は正の作動距離摂動４を有し、第２画像３は負の作動距離摂動５を有し、作動距離摂動４、５は±σ_ｗｄで示される。摂動４、５は、画像２、３のシャープネスに関して非対称性をもたらす。

【0053】

本発明による方法では、まず第１画像２と第２画像３を撮像し、これが後続の方法ステップの基礎となる。

【0054】

この方法によれば、第１画像２のｎ個の部分領域７、９と第２画像３のｎ個の部分領域８、１０とが選択され、ｎ≧１であり、第１画像２のｉ番目の部分領域７、９と第２画像３のｉ番目の部分領域８、１０とがｉ番目の入力パッチ対を形成し、１≦ｉ≦ｎである。

【0055】

図２では、例として各画像２、３に対して２つの部分領域のみが示されている。しかし、好ましくは、画像２、３から多くの部分領域が選択される。

【0056】

好ましくは、１つの画像２、３の一部またはすべての部分領域が重なっている。

【0057】

図２において、好ましくは、第１画像２の第１部分領域７と第２画像３の第１部分領域８とが第１入力パッチ対を形成し、好ましくは、第１画像２の第２部分領域９と第２画像３の第２部分領域１０とが第２入力パッチ対を形成する。

【0058】

画像パッチ対は、処理ステップの入力データを形成し、各ｉ番目の画像パッチ対に基づいて、現在の作動距離とスティグマータ設定に対する補正項ΔF_i 12が推定される。

【0059】

処理ステップは、処理ユニット１１によって実行され、好ましくは、処理ユニット１１は、少なくとも１つのプロセッサ１３とメモリ１４とを備え、好ましくは、メモリ１４は、少なくとも１つのプロセッサ１３に結合され、メモリは、少なくとも１つのプロセッサ１３によって実行可能なコマンドであるプロセッサ実行可能コマンドを記憶するように設計される。特に、少なくとも１つのプロセッサ１３は、ＣＰＵ、または、ＣＰＵとＧＰＵの少なくとも１つであることができる。

【0060】

特に好ましくは、処理ステップは、機械学習モデリング方法の使用によって実施され、さらに好ましくは、機械学習モデリング方法はディープラーニング方法であり、機械学習方法は学習データによって学習可能である。

【0061】

処理ステップの出力として、各画像パッチ対の補正項ΔF_iが得られ、全ての補正項ΔF_iが関数によって結合され、関数の出力が出力補正項ΔFとなる。出力補正項は、作動距離とスティグマータに対する補正を含み、ΔF＝（Δwd,Δstigx, Δstigy）である。

【0062】

その後、出力補正項を現在の作動距離とスティグマータ設定に適用し、現在の設定を補正する。

【0063】

より好ましくは、方法の全体的な結果を改善するために、方法ステップは少なくとも１回繰り返され、終了条件が満たされたときに方法は停止または終了される。

【0064】

好ましくは、終了条件は、現在の作動距離及びスティグマータ設定と、調整された作動距離及びスティグマータ設定との間の絶対差が第１閾値より小さいこと；、または、好ましくは、終了条件は、画像のシャープネスを示すシャープネス度が第２閾値を超えること；、または、方法ステップを予め決められた回数繰り返した後であること、であってもよい。

【0065】

作動距離とスティグマータ設定を調整した結果、焦点の合った画像１５が得られる。

【0066】

モデルを評価するために、モデリング方法は学習方法によって訓練されており、学習方法は、
ｉ）作動距離とスティグマータ設定とが既知の状態で、焦点の合った画像を撮像するステップと；、
ｉｉ）ｋ個の焦点の合っていないパラメータ設定について、パラメータ設定と摂動されたテスト画像のセット（例えば、作動距離摂動が非対象の場合、各々の焦点の合っていないパラメータ設定に対して２つ）を記憶するステップと；、
ｉｉｉ）サンプルの異なる部分領域について、ステップｉ）及びｉｉ）をｊ回繰り返し、既知の焦点の合っていないパラメータをターゲットとして、モデルの学習入力として使用される合計ｊ回ｋ回の画像ペアを生成するステップと；、
ｉｖ）前記補正項を既知の作動距離及びスティグマータ設定と比較処理し、比較誤差を求め、前記比較誤差に応じて前記機械学習モデリング方法の設定を反復的に調整するステップと、
を含む。

【0067】

学習方法を図３に簡単に示す。

【0068】

サンプルの異なる部分領域を評価するために、サンプルをx方向およびy方向に移動させて、サンプルの異なる領域を撮像する。好ましくは、サンプル領域は互いに異なる。また、好ましくは、領域は多くても部分的に重なっている。

【0069】

作動距離とスティグマータ設定（パラメータ ｉ）、又は、焦点の合った画像の値または焦点の合っていない画像の値は、一様に独立してサンプルされたデルタΔ_i～U(a_i,b_i)を、加算することによって変更され、対応する目標値とともに歪んだ画像のセットを生成する。より具体的には、－Δ_iは各パラメータの目標値であり、焦点の合った画像の設定に戻る。

【0070】

一例として、モデリング法を訓練するために、収差パラメータが異なる32個のサンプル位置のセット、合計n=32*10=320の入力画像ペア（10は収差パラメータの数）に対して、１つのＧＰＵで約４４時間学習させた。

【0071】

このモデルは、学習データには含まれていない位置-収差画像ペアでテストされた。図４Ａ(収束プロット)と図４Ｂ(左側が現在の設定による初期画像、右側がオートフォーカスされた画像)に見られるように、図４Ｃ（収束プロット）および図４Ｄ（左側が現在の設定による初期画像、右側がオートフォーカス画像）に見られるような信号対雑音（SNR）比の低い画像ペアであっても、図４Ｂに小さな四角で示したような小さな入力パッチであっても、オートフォーカス方法は３回の繰り返しで目標値ΔFに向かって急速に収束する。

【0072】

特に、図４Ａは、各パラメータ更新が、5×2×512×512入力パッチと200nsピクセル滞留時間を用いて、2×H×Wのパッチ形状（Hは高さ、Wは２つの摂動画像から取り出したピクセルの幅）のＮ個の予測値の平均として計算された収束プロットを示す。Y軸は、初期収差30μm、+6、-6（ｗｄ、stigx、stigy）の各反復後の初期焦点値（破線と点線の水平線はスティグマータと作動距離のマージン0.25μmと1μmを示す）に対する残りの差を示す。入力画像サイズは1024×768ピクセルである。サンプル画像の右上の数字は反復回数を示す。SNRは、１０反復後の最終焦点画像に対する相対値で計算した。初期収差で取得した画像と、本手法を適用した後の画像を図４Ｂに示す。スケールバーは1 μmである。

【0073】

図４Ｃと４Ｄは、図４Ａと４Ｂと同じであるが、ピクセル滞留時間が50nsである。

【0074】

また、入力のアライメントの影響も調べ、入力対のパッチが同じオフセットを共有せず、ランダムに選ばれた極端な場合にも、このモデルはうまく機能することがわかった。より広い範囲の初期デフォーカス（作動距離）値に対する誤差を定量化するために、最初の反復後に残りのΔFを測定した。予想通り、スティグマータ値は安定しており、初期偏差が小さいほど残存作動距離誤差は目標値に近づいた。高精度で画像収差を補正する能力とは別に、性能の良いオートフォーカス法は、テスト画像の取得時間に対して、できるだけ計算オーバーヘッドを増やさないようにする必要がある。そこで、CPUのみとGPUベースの推論について、顕微鏡画像取得時間に対する本手法の処理時間を比較し、顕微鏡制御コンピュータ上で直接実行した。このような制御コンピュータの例として、2.50 GHz、4スレッド、16 GB RAM の Intel Xeon CPU E5-2609 v2 と NVIDIA T1000 を使用した。GPUベースの推論は、特に大きな入力画像パッチに対して、CPUのみの処理よりも約１桁高速であった。重要なことは、本発明による方法の処理時間は、最適化されたCPUのみのモードであっても、実質的なオーバーヘッドを追加しなかったことである。

【0075】

図５は、顕微鏡ＰＣ上で、パッチ辺長（10反復、5入力パッチの出力補正項と標準偏差）を変えた場合の、２つの入力画像の撮像時間（1024×768で2×220ms、滞留時間 200ns）に対する、入力パッチ対あたりの平均オートフォーカス処理時間の比である。エラーバーは未補正の標準偏差（s.d.）を示す。

【0076】

しかし、本発明の開発中に、図６Ａおよび図６Ｂに示すように、多くの被検体には、オートフォーカスアルゴリズムにとって使用可能な情報をほとんど持たない領域、例えば、ブランクのエポキシ樹脂を示すだけで、オートフォーカス法で使用可能なコントラストを示さない、オートフォーカスアルゴリズムにほとんど使用可能な情報を持たない領域が存在し、それによって最適な結果が得られないことに気づいた。

【0077】

これは、ｉ番目の重み付け係数をアーキテクチャに組み込むことによって実現され、各オートフォーカス推定値に独立した重み付けを行う。

【0078】

これらの新しい出力は、機械学習モデルの学習時にすでに重み付け係数として使用されている、緩く正則化されたスコアである。

【0079】

新しい出力は、ΔF_i＝（Δ_i,wd、Δ_i,stigx、Δ_i,stigy、S_i）で表される。

【0080】

重み付けは２つの異なる粒度でテストされた。第１は、入力画像パッチ対のレベルであり、顕微鏡によって取得された大きな入力画像対の切り出しである。図６Ｃに重み付けとスコアを示す。

【0081】

第２は、個々のピクセルのレベルであり、図６Ｄに示すように、入力画像内のすべての位置のスコアリングにつながる。図６Ｄはパッチの一例のスコアマップである。左の列は入力パッチの例を示し、右の列は反復０と２における対応するピクセルのスコアを示す。スケールバーは、0.5μmを示す。

【0082】

どちらのアプローチも、コントラスト情報の少ない被検体領域に対してより頑健であり、本発明による方法が、低コントラスト領域をプレフィルターする従来の画像処理を必要としないことを示している。

【0083】

本発明による方法が、その著しく小さな学習セットに対するオーバーフィッティングにどの程度悩まされるかをテストするために、第1に未見のサンプルで、第2に全く異なる顕微鏡で、異なる画像設定で評価した。

【0084】

驚くべきことに、本発明による方法は、図７Ａおよび図７Ｂに示されるように、単一の標本の画像データのみで訓練した場合でも、新規サンプルに対してほぼ完全に一般化した。しかし、ランディングエネルギ、ビーム電流、作動距離範囲、回転画像取得などの画像設定が大きく異なる、異なる顕微鏡セットアップに移行すると、図７Ｃに示すように、本発明による方法が失敗し、発散する場合がある。しかし、異なる顕微鏡セットアップで本発明による方法を微調整すると、図７Ｄに示すように収束する。

【0085】

そこで、顕微鏡のセットアップや顕微鏡の設定に依存しない、機械学習モデリングモデルの学習データ生成方法を紹介する。

【0086】

元のモデルが新しいセットアップに適用される場合、その補正出力は、好ましくは追加の再学習なしで、新しいセットアップの座標フレームに変換される。

【0087】

顕微鏡セットアップ、特に電子顕微鏡のセットアップに用いられる機械学習モデリングモデルの学習データを生成する方法を提案する。方法は、顕微鏡のセットアップや顕微鏡の設定に依存せず、顕微鏡は、顕微鏡パラメータ、作動距離、Ｘ方向のスティグマータ、及びＹ方向のスティグマータを少なくとも調整可能である。方法は、
ａ）基準作動距離とスティグマータ設定でサンプルの単一の焦点の合った画像を撮像し、
焦点の合った画像のシャープネスを表す第１スコア値を、単一の焦点の合った画像に割り当てるステップと；、
ｂ）Ｌ＝１として、サンプルのＬ番目の位置について、Ｎ個の焦点の合っていない画像を生成し、各々の焦点の合っていない画像に対応するスコア値を求め、最適化法を用いて有向補正項を求めるステップと；、
ｃ）作動距離及びスティグマータ設定に有向補正項を適用することにより、サンプルのＬ番目の位置における作動距離及びスティグマータ設定を調整し、作動距離及びスティグマータ設定を持つ新しい画像と、得られた画像に関連付けられたスコア値とを得るステップと；、
ｄ）スコア値、作動距離、スティグマータ設定を用いて、最適化手法から有向補正項を求めるステップと；、
ｅ）得られた画像のスコア値が、実質的に第１スコア値以下になるまで、ステップｃ）及びｄ）を繰り返し、基準作動距離とスティグマータ設定を得るステップと；、
ｆ）得られた基準作動距離とスティグマータ設定とに基づいて、焦点の合っていないパラメータと共にＭ個の焦点の合っていない画像ペアを取得するステップと；、
ｇ）サンプルをｘ方向及びｙ方向に移動させることにより、サンプルのＬ番目の位置を変更するステップと；、
ｈ）ステップｂ）～ｇ）を、Ｌを増加させながら繰り返すステップと、
を含む。

【0088】

学習データの生成方法によれば、サンプルのｘ方向とｙ方向のみの動きに基づいて画像が得られる。

【0089】

異なる顕微鏡セットアップ用の新しい学習データを生成するためにこのような方法を用いると、本発明による方法が発散した顕微鏡セットアップ用の元の学習セットの31％に相当するn＝10箇所の新しい最小学習データセットが作成された。モデルの微調整（再較正）は、妥当な短い時間間隔で実行された。例えば、一例では、微調整は、単一のＧＰＵで2時間未満で行われ、図７Ｄに示すように、元の収束速度でΔFを推定する能力に戻った。

【0090】

出願書類に開示されたすべての特徴は、個別に、または組み合わせて、先行技術に対して新規性がある場合、発明の本質であると主張される。

【符号の説明】

【0091】

１ 顕微鏡のセットアップ
１’ サンプル
１’’ サンプルホルダ
２ 第１画像
３ 第２画像
４ 第１の摂動
５ 第２の摂動
６ 現在の作動距離とスティグマータ設定による画像
７ 第１画像の第１部分領域
８ 第２画像の第１部分領域
９ 第１画像の第２部分領域
１０ 第２画像の第２部分領域
１１ 処理ユニット
１２ 出力補正項
１３ 全ての補正項の関数
１４ メモリ
１５ 焦点の合った画像

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図4C】

【図4D】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図7A】

【図7B】

【図7C】

【図7D】

【手続補正書】

【提出日】2024-07-04

【手続補正1】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【特許請求の範囲】

【請求項1】

特定の顕微鏡セットアップ、特に電子顕微鏡のためのオートフォーカスおよび非点収差補正のための方法であって、顕微鏡は、顕微鏡パラメータ、作動距離、Ｘ方向のスティグマータ、及びＹ方向のスティグマータを少なくとも調整可能であり、
前記方法は、
ａ）第１の作動距離摂動でサンプルの第１画像を撮像し、現在の作動距離および現在のスティグマータ設定での第２の作動距離摂動で前記サンプルの第２画像を撮像するステップと；、
ｂ）前記第１画像のｎ個の部分領域と前記第２画像のｎ個の部分領域を選択するステップと、ここで、ｎ≧１であり、前記第１画像のｉ番目の部分領域と前記第２画像のｉ番目の部分領域がｉ番目の入力パッチ対を形成しており、１≦ｉ≦ｎである；、
ｃ）各々のｉ番目の入力パッチ対を処理し、現在の作動距離、ｘ方向のスティグマータ及びｙ方向のスティグマータに対する補正を有するｉ番目の補正項を受けるステップと；、
ｄ）全ての前記補正項に応じて出力補正項を受けるステップと；、
ｅ）前記出力補正項を現在の作動距離とスティグマータ設定に適用することにより、現在の作動距離とスティグマータ設定とを調整するステップと、
を含む、方法。

【請求項2】

前記補正項が補正方向を含んでいる、請求項１に記載の方法。

【請求項3】

前記第１画像のｉ番目の部分領域のサイズと、前記第２画像のｉ番目の部分領域のサイズは、実質的に同一である、請求項１に記載の方法。

【請求項4】

前記第１画像に対する前記第１画像のｉ番目の部分領域の位置は、前記第２画像に対する前記第２画像のｉ番目の部分領域と実質的に同一であるか、又は異なるかのいずれかである、請求項１に記載の方法。

【請求項5】

前記出力補正項は、関数の戻り値であり、前記関数は、好ましくは、全ての前記補正項を前記出力補正項に結合する、請求項１に記載の方法。

【請求項6】

前記ａ）～ｅ）のステップは少なくとも１回繰り返され、
前記方法は、終了条件が満たされたときに停止され、
好ましくは、前記終了条件は、現在の作動距離及びスティグマータ設定と、調整された作動距離及びスティグマータ設定との間の絶対差が第１閾値よりも小さいとしてもよく；、
または、
好ましくは、前記終了条件は、画像のシャープネスを示すシャープネス度が第２閾値を超えること、または、前記ａ）～ｅ）のステップを予め決められた回数繰り返した後である、請求項１に記載の方法。

【請求項7】

前記第１画像のｉ番目の部分領域と前記第１画像の（ｉ＋１）番目の部分領域とが部分的に重なっている、請求項１に記載の方法。

【請求項8】

前記ｃ）のステップは、機械学習モデリング方法の設定で機械学習モデリング方法を用いて実施される、請求項１に記載の方法。

【請求項9】

前記機械学習モデリング方法は、各々のｉ番目の入力パッチ対をｉ番目の重み付け係数で重み付けし、前記ｉ番目の重み付け係数は、機械学習モデリングモデルによって予測された、ｉ番目の入力パッチ対の前記出力補正項に対する重要度に依存している、請求項８に記載の方法。

【請求項10】

前記機械学習モデリング方法は、学習データセットを作成する学習方法によって最適化される、請求項８又は９に記載の方法。

【請求項11】

前記学習方法は、
ｉ）作動距離とスティグマータ設定とが既知の状態で、焦点の合った画像を撮像するステップと；、
ｉｉ）ｋ個の焦点の合っていない画像パッチ対を生成するステップと、ここで、各々の画像は既知の異なるパラメータ設定を有する；、
ｉｉｉ）前記サンプルの異なる部分領域について、前記ｉ）ステップ及び前記ｉｉ）ステップをｊ回繰り返すステップと；、
ｉｖ）前記補正項を既知の作動距離及びスティグマータ設定と比較処理し、比較誤差を求め、前記比較誤差に応じて前記機械学習モデリング方法の設定を調整するステップと、
を含む、請求項１０に記載の方法。

【請求項12】

第１の摂動および第２の摂動は、両方が正の摂動であるか、又は、両方が負の摂動であるか、又は、前記第１の摂動が正の摂動であり、前記第２の摂動が負の摂動であり、
前記第１の摂動と前記第２の摂動の絶対値が、ｉ）同一である、または、ｉｉ）互いに異なる、請求項１に記載の方法。

【請求項13】

顕微鏡セットアップ、特に電子顕微鏡のセットアップに用いられる機械学習モデリングモデルの学習データを生成する方法であって、前記方法は、顕微鏡のセットアップや顕微鏡の設定に依存せず、顕微鏡は、顕微鏡パラメータ、作動距離、Ｘ方向のスティグマータ、及びＹ方向のスティグマータを少なくとも調整可能であり、
前記方法は、
ａ）基準作動距離とスティグマータ設定でサンプルの単一の焦点の合った画像を撮像し、
前記焦点の合った画像のシャープネスを表す第１スコア値を、前記単一の焦点の合った画像に割り当てるステップと；、
ｂ）Ｌ＝１として、前記サンプルのＬ番目の位置について、Ｎ個の焦点の合っていない画像を生成し、各々の焦点の合っていない画像に対応するスコア値を求め、最適化法を用いて有向補正項を求めるステップと；、
ｃ）作動距離及びスティグマータ設定に前記有向補正項を適用することにより、前記サンプルのＬ番目の位置における作動距離及びスティグマータ設定を調整し、作動距離及びスティグマータ設定を持つ新しい画像と、得られた画像に関連付けられたスコア値とを得るステップと；、
ｄ）前記ｃ）のスコア値、作動距離、スティグマータ設定を用いて、最適化手法から有向補正項を求めるステップと；、
ｅ）得られた画像のスコア値が、実質的に前記ａ）の第１スコア値以下になるまで、前記ｃ）及びｄ）を繰り返し、基準作動距離とスティグマータ設定を得るステップと；、
ｆ）得られた基準作動距離とＬ番目の位置にフォーカスしたスティグマータ設定とに基づいて、焦点の合っていないパラメータと共にＭ個の焦点の合っていない画像ペアを取得するステップと；、
ｇ）前記サンプルをｘ方向及びｙ方向に移動させることにより、前記サンプルのＬ番目の位置を変更するステップと；、
ｈ）前記ｂ）～ｇ）のステップを、Ｌを増加させながら繰り返すステップと、
を含む、方法。

【請求項14】

請求項１３に記載のＬ＊Ｍ個の画像を用いて、請求項１０に記載の学習データセットを形成する、使用。

【請求項15】

少なくとも１つのプロセッサに結合され、プロセッサ実行可能な命令を記憶するメモリを備えるコンピューティングシステムであって、
前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記コンピューティングシステムに、請求項１に記載のオートフォーカスおよび非点収差補正のための方法、及び／又は、請求項１３に記載の学習データを生成する方法を実行させる、コンピューティングシステム。

【国際調査報告】