▶ ザ ボード オブ リージェンツ オブ ザ ユニヴァーシティー オブ テキサス システムの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-10-17
(54)【発明の名称】高性能電子顕微鏡のための方法
(51)【国際特許分類】
H01J 37/22 20060101AFI20221007BHJP
G06T 5/00 20060101ALI20221007BHJP
【ＦＩ】
H01J37/22 501Z
G06T5/00 725
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2022535414
(86)(22)【出願日】2020-08-10
(85)【翻訳文提出日】2022-04-11
(86)【国際出願番号】 US2020045673
(87)【国際公開番号】W WO2021030297
(87)【国際公開日】2021-02-18
(31)【優先権主張番号】62/885,154
(32)【優先日】2019-08-09
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】500027910
【氏名又は名称】ザ ボード オブ リージェンツ オブ ザ ユニヴァーシティー オブ テキサス システム
(74)【代理人】
【識別番号】100099623
【弁理士】
【氏名又は名称】奥山 尚一
(74)【代理人】
【識別番号】100125380
【弁理士】
【氏名又は名称】中村 綾子
(74)【代理人】
【識別番号】100142996
【弁理士】
【氏名又は名称】森本 聡二
(74)【代理人】
【識別番号】100166268
【弁理士】
【氏名又は名称】田中 祐
(74)【代理人】
【識別番号】100180231
【弁理士】
【氏名又は名称】水島 亜希子
(74)【代理人】
【識別番号】100096769
【氏名又は名称】有原 幸一
(72)【発明者】
【氏名】オトウィノフスキー，ズビシェク
(72)【発明者】
【氏名】ブロンバーグ，ラクェル
(72)【発明者】
【氏名】ボレク，ドミニカ
【テーマコード（参考）】
5B057
5C101
【Ｆターム（参考）】
5B057AA10
5B057CA08
5B057CA12
5B057CA16
5B057CB08
5B057CB12
5B057CB16
5B057CD02
5B057CD12
5B057CE06
5C101AA04
5C101FF03
5C101FF04
5C101HH25
5C101HH40
5C101HH42
5C101HH44
5C101HH47
5C101HH52
5C101HH54
5C101HH55
5C101HH56
5C101HH64
(57)【要約】
クライオ電子顕微鏡画像を含む電子顕微鏡画像において１つまたは複数の画像収差を補正する方法を提供する。本方法は、１つまたは複数の性質が分かっている内部基準格子試料の複数の電子顕微鏡（ＥＭ）画像を得るステップを含み、複数の電子顕微鏡（ＥＭ）画像は、複数の光学上の条件に対して、かつ複数の調整されたビーム画像シフトに対して得られる。本方法は、数ある特徴の中でも、カーネル正準相関分析（ＫＣＣＡ）を用いて、画像化領域にあるすべての点に対して収差を予測する収差補正関数を決定するステップを含み得る。
【特許請求の範囲】
【請求項1】
電子顕微鏡画像において１つまたは複数の画像収差を補正する方法であって、（ａ）１つまたは複数の性質が分かっている内部基準格子試料の複数の電子顕微鏡（ＥＭ）画像を得るステップであって、前記複数の電子顕微鏡画像が、複数の光学上の条件に対して、かつ複数の調整されたビーム画像シフトに対して得られ、前記複数の光学上の条件が、複数の焦点ずれ、複数のｚ高さ、複数のビームチルト、複数のビーム並列化、およびその任意の組合せから選択されるものである、複数のＥＭ画像を得るステップと、
（ｂ）前記複数のＥＭ画像の位置合わせおよび動き補正を行うことによって、試料ドリフトに対して前記複数のＥＭ画像を補正して、ＥＭ顕微鏡写真を作り出すステップと、
（ｃ）前記顕微鏡写真のフーリエ変換（ＦＴ）を計算して、ＦＴ画像を作り出すステップと、
（ｄ）逆畳み込み係数値域から選択される１つまたは複数の所定の逆畳み込み係数を用いて前記ＦＴ画像の逆畳み込みを行い、逆畳み込みＦＴ画像を作り出すステップと、
（ｅ）前記逆畳み込みＦＴ画像にハイパスフィルタを適用して、フィルタ逆畳み込みＦＴ画像を作り出すステップと、
（ｆ）前記フィルタ逆畳み込みＦＴ画像の逆ＦＴを計算して、収差補正ＥＭ顕微鏡写真を作り出すステップと、
（ｇ）前記収差補正ＥＭ顕微鏡写真に対して強度分布を決定するステップと、
（ｈ）前記強度分布に対してモーメントを計算するステップと、
（ｉ）１つまたは複数の所定の逆畳み込み係数を用いてステップ（ｃ）～（ｈ）を繰り返すステップであって、前記１つまたは複数の所定の逆畳み込み係数は、最適な１つまたは複数の逆畳み込み係数がステップ（ｉ）において前記モーメントの極大化に基づいて決定されるまで、以前の反復とは異なる逆畳み込み係数値域から選択される、繰り返すステップと
を含んでなる方法。
【請求項2】
（ｊ）ステップ（ｉ）で得た前記最適な１つまたは複数の逆畳み込み係数と、ステップ（ａ）で使用した前記複数の光学上の条件および複数の調整されたビーム画像シフトとのカーネル正準相関分析（ＫＣＣＡ）を用いて、画像化領域にあるすべての点に対して収差を予測する収差補正関数を決定するステップをさらに含む、請求項１に記載の方法。
【請求項3】
（ｋ）前記内部基準格子試料の前記分かっている１つまたは複数の性質のうちの少なくとも１つとは異なる１つまたは複数の性質が分かっている較正チェック格子試料の１つまたは複数のＥＭ画像を得るステップと、（ｌ）ステップ（ｋ）で得た前記１つまたは複数のＥＭ画像に前記収差補正関数を適用して、収差補正ＥＭ画像を作り出すステップと、
（ｍ）前記較正チェック格子試料の１つまたは複数の分かっている性質に対応する前記収差補正ＥＭ画像における１つまたは複数の特徴の比較に基づいて、前記収差補正関数の適合性を判断するステップと
をさらに含む、請求項２に記載の方法。
【請求項4】
前記内部基準格子試料は、支持体全体にわたって分布する非晶質物を含み、前記非晶質物の厚みは５つ以下の原子層の厚みであり、前記非晶質物の原子質量は、前記支持体を含む前記非晶質物よりも重いものである、請求項１に記載の方法。
【請求項5】
前記非晶質物は金属を含む、請求項４に記載の方法。
【請求項6】
前記非晶質物の厚みが１つの原子層の厚みである、請求項５に記載の方法。
【請求項7】
前記金属は、金、白金、イリジウム、パラジウム、およびその任意の組合せから成る群から選択される、請求項５に記載の方法。
【請求項8】
前記支持体は、単位セル寸法が分かっている結晶性支持体を含む、請求項４に記載の方法。
【請求項9】
前記支持体は、グラフェン、酸化グラフェン、ケイ素、および窒化ケイ素から成る群から選択される物質を含む結晶性支持体を含む、請求項４に記載の方法。
【請求項10】
前記１つまたは複数の分かっている性質は、前記支持体の原子数および前記支持体の単位セル寸法から成る群から選択される、請求項１に記載の方法。
【請求項11】
前記１つまたは複数の画像収差は、前記画像の前記フーリエ変換の位相および振幅に影響する単色収差を含む、請求項１に記載の方法。
【請求項12】
前記１つまたは複数の画像収差は、画像フィールドの幾何学的歪み、曲率、およびその任意の組合せから成る群から選択される、請求項１に記載の方法。
【請求項13】
前記１つまたは複数の画像収差は、一定の位相ずれ、画像変位、焦点ずれ、２回非点収差、軸上コマ、３回非点収差（トレフォイル）、球面収差、スター収差、４回非点収差、５次軸上コマ、スリーローブ収差、５回非点収差、６次球面収差、６次スター収差、ロゼット収差、および６回非点収差から成る群から選択される、請求項１に記載の方法。
【請求項14】
前記ハイパスフィルタが１／５０Åより低い周波数をすべて取り除く、請求項１に記載の方法。
【請求項15】
前記ハイパスフィルタが１／５００Åより低い周波数をすべて取り除く、請求項１に記載の方法。
【請求項16】
あるモーメントを計算するステップは、独立成分分析（ＩＣＡ）による最適化に適する関数に基づいて前記強度分布の形状を定量化することを含む、請求項１に記載の方法。
【請求項17】
前記関数は、負エントロピ、歪度、および尖度から成る群から選択される、請求項１６に記載の方法。
【請求項18】
あるモーメントを計算するステップは、負エントロピを最適化するのに基づいて、前記強度分布の形状を定量化することを含む、請求項１に記載の方法。
【請求項19】
前記複数のＥＭ画像は、複数の倍率で得られるものである、請求項１に記載の方法。
【請求項20】
前記ＫＣＣＡは、１つまたは複数の収差の時変成分に対する補正に対して階層的に実行されるものである、請求項２に記載の方法。
【請求項21】
電子顕微鏡画像において幾何学的歪みを補正する方法であって、（ａ）１つまたは複数の性質が分かっている内部基準格子試料の複数の電子顕微鏡（ＥＭ）画像を得るステップであって、前記複数の電子顕微鏡画像は、複数の光学上の条件に対して、かつ複数の調整されたビーム画像シフトに対して得られ、前記複数の光学上の条件が、複数の焦点ずれ、複数のｚ高さ、複数のビームチルト、およびその任意の組合せから選択され、前記内部基準格子試料は、単位セル寸法が分かっている結晶性支持体全体にわたって分布する非晶質物を含み、前記非晶質物の厚みが５つ以下の原子層の厚みである、複数のＥＭ画像を得るステップと、
（ｂ）前記複数のＥＭ画像の位置合わせおよび動き補正を行うことによって、試料ドリフトに対して前記複数のＥＭ画像を補正して、ＥＭ顕微鏡写真を作り出すステップと、
（ｃ）前記顕微鏡写真のフーリエ変換（ＦＴ）を計算して、ＦＴ画像を作り出すステップと、
（ｄ）前記ＦＴ画像において、前記内部基準格子試料の結晶格子に対応する回折ピークを特定するステップと、
（ｅ）前記回折ピーク間のすべての情報を捨てながら、前記特定した回折ピークをマスキングすることにより、前記回折ピークとその対応する強度しか維持しないことによって、前記ＦＴ画像に対して双対空間フィルタリングを行い、フィルタＦＴ画像を作り出すステップと、
（ｆ）前記フィルタＦＴ画像の逆ＦＴを計算して、フィルタＥＭ顕微鏡写真を作り出すステップと、
（ｇ）前記フィルタＥＭ顕微鏡写真の一部を選択し、前記一部に対応するＦＴ画像を計算してＦＴサブ画像を作り出し、前記ＦＴサブ画像において回折ピーク下位群を特定し、前記回折ピーク下位群に回折極大の指標を付け、前記回折ピーク下位群に対する単位セルパラメータを決定するステップと、
（ｈ）変形行列を用いて、ステップ（ｇ）で決定した前記１つまたは複数の単位セルパラメータが前記内部基準格子試料の前記結晶性支持体の前記分かっている単位セル寸法に一致するかどうか判断するステップと、
（ｉ）前記変形行列に基づいて、計量テンソルを計算するステップと
を含んでなる方法。
【請求項22】
（ｊ）ステップ（ｉ）で得た前記計量テンソルと、ステップ（ａ）で使用した前記複数の光学上の条件およびビーム画像シフトとのカーネル正準相関分析（ＫＣＣＡ）を用いて、画像化領域にあるすべての点に対して前記幾何学的歪みを予測する収差補正関数を決定するステップをさらに含む、請求項２１に記載の方法。
【請求項23】
（ｋ）前記内部基準格子試料の前記１つまたは複数の分かっている性質のうちの少なくとも１つとは異なる１つまたは複数の性質が分かっている較正チェック格子試料の１つまたは複数のＥＭ画像を得るステップと、（ｌ）ステップ（ｋ）で得た前記１つまたは複数のＥＭ画像に前記収差補正関数を適用して、収差補正ＥＭ画像を作り出すステップと、
（ｍ）前記較正チェック格子試料の１つまたは複数の分かっている性質に対応する前記収差補正ＥＭ画像における１つまたは複数の特徴の比較に基づいて、前記収差補正関数の適合性を判断するステップと
をさらに含む、請求項２２に記載の方法。
【請求項24】
前記非晶質物は金属を含む、請求項２１に記載の方法。
【請求項25】
前記非晶質物の厚みは１つの原子層の厚みである、請求項２４に記載の方法。
【請求項26】
前記金属は、金、白金、イリジウム、パラジウム、およびその任意の組合せから成る群から選択される、請求項２５に記載の方法。
【請求項27】
前記支持体は、グラフェン、酸化グラフェン、ケイ素、および窒化ケイ素から成る群から選択される物質を含む結晶性支持体を含む、請求項２１に記載の方法。
【請求項28】
前記複数のＥＭ画像は、複数の倍率で得られるものである、請求項２１に記載の方法。
【請求項29】
前記複数のＥＭ画像は、前記格子試料の位置を変えることなく得られるものである、請求項２１に記載の方法。
【請求項30】
前記ＫＣＣＡは、１つまたは複数の収差の時変成分に対する補正に対して階層的に実行されるものである、請求項２１に記載の方法。
【請求項31】
ステップ（ｉ）における前記変形行列に基づいて、位相に影響するすべての収差をデカルト座標系に変換するステップをさらに含む、請求項２１に記載の方法。【発明の詳細な説明】
【技術分野】
【0001】
（政府支援の謝辞）
本発明は、米国国立衛生研究所によって与えられた認可番号Ｒ０１ＧＭ１１７０８０およびＲ０１ＧＭ１１８６１９の下に政府の支援を受けて行われた。政府は、本発明に一定の権利を有している。
本発明は、米国国立衛生研究所によって与えられた認可番号Ｒ０１ＧＭ１１７０８０およびＲ０１ＧＭ１１８６１９の下に政府の支援を受けて行われた。政府は、本発明に一定の権利を有している。
【0002】
（関連出願の相互参照）
本出願は、２０１９年８月９日に出願された米国仮出願第６２／８８５，１５４号の優先権の利益を主張するものであり、その内容全体は引用することにより本明細書の一部をなすものとする。
本出願は、２０１９年８月９日に出願された米国仮出願第６２／８８５，１５４号の優先権の利益を主張するものであり、その内容全体は引用することにより本明細書の一部をなすものとする。
【0003】
１．技術分野
【0004】
本発明概念は、電子顕微鏡における画像収差を補正する方法を対象とする。
【背景技術】
【0005】
２．関連技術分野の考察
【0006】
電子顕微鏡は、ナノスケールの生体を詳細に画像化することができるユニークなデバイスである。電子顕微鏡により、画像化に続いて、分析対象物の３次元構造を原子レベルに至るまで測定することができ、その際、生体の高分解能構造をもたらす、他の構造生物学法で必要とされる、例えば、結晶や繊維などの高度組織化形態の分子物質がなくても済む。しかし、３次元構造測定の成功と質は、位相板から意図的に導入されるエフェクトを含む、画像歪み、焦点ずれ（defocus）、および画像収差の組合せで技術上記述される顕微鏡の画像特性に影響される。例えば、焦点ずれや位相板の帯電など、意図的に導入されるいくつかのエフェクトもあるが、他の収差は優先的に最小限に抑えられる。ただし、画像分析や構造測定の際にこれらの収差が正確に較正され、補正されていれば、その必要はない。
【0007】
収差の最小化は、顕微鏡アライメントと呼ばれる複雑な手順を適用することで実現されるが、それは、完全には自動化されていない。電子顕微鏡アライメントに付きものなのは、このような収差や歪みを最小限に抑えた画像特性が狭い範囲でしか得られないため、試料の異なる部分を観察するには、機械的な並進を繰り返す必要があるということであり、これは、クライオＥＭ（ｃｒｙｏ－ＥＭ）単一粒子再構成または分析（ＳＰＡまたはＳＰＲ）における効率的なデータ収集には深刻な障害となっている。現在、ＳＰＡ法の利用は、急速に拡大しており、ＳＰＡ関連のハードウェアへの投資総額は、１０億ドル規模に達している。そのため、電子顕微鏡における画像収差を補正するか最小限に抑えるのに、さらなる技法および方法が望まれている。
【発明の概要】
【0008】
以下では、本明細書に開示した発明の対象の性質について、簡単に述べることにする。本発明概念の特定の態様について以下に述べるが、この発明の概要では、本発明概念の範囲を限定する意図はない。
【0009】
本開示の方法、システム、および装置では、クライオＥＭを含む電子顕微鏡観察（ＥＭ：Electron Microscopy）において、データ取得後の計算データ分析時に、複雑なパターンの歪みや収差を記述し、較正し、また解消する。具体的には、本開示の方法では、（１）より詳細な、例えば、より高い分解能結果と、（２）１台の計器でデータ収集処理能力が何倍にも上がることができるような、より一層効率的なデータ収集と、（３）顕微鏡アライメントに関する、経験の浅いユーザからの高度な専門知識やフラストレーションの解消と、（４）位相板やビームチルトに関わる、より情報量の多いデータ収集モードを可能にすることとをもたらす。
【0010】
本開示の一態様により、軸収差の局所変化の実験上得た較正（写像）と、この局所変化に対して行われるカーネル正準相関による分析とを用いて、ＥＭ画像収差、特に非軸収差を補正して、非軸収差の大域記述（a global description of non-axial aberrations）（予測変数：predictor）を回復させる、方法、システム、および装置を提供する。それにより、大域予測変数を適用して、データ品質に収差の影響を及ぼすことなく、画像空間を光軸から離すような光軸およびユーセントリック高さから離れたどのような位置でも収差パターンを得ることができる。全ｘｙ域の使用可能なビーム画像シフトを較正するのが望ましいことが多いが、全使用可能域のｚ並進を較正しなくても済む。
【0011】
本開示の少なくとも１つの態様により、電子顕微鏡画像における１つまたは複数の画像収差を補正する方法を提供する。本方法は、（ａ）１つまたは複数の性質が分かっている内部基準格子試料（an internal reference grid sample）の複数の電子顕微鏡（ＥＭ）画像を得るステップであって、複数の電子顕微鏡画像が、複数の光学上の条件に対して、かつ複数の調整されたビーム画像シフトに対して得られ、複数の光学上の条件が、複数の焦点ずれ、複数のｚ高さ、複数のビームチルト、およびその任意の組合せから選択される、複数のＥＭ画像を得るステップと、（ｂ）複数のＥＭ画像の位置合わせおよび動き補正を行うことによって、試料ドリフトに対して複数のＥＭ画像を補正して、ＥＭ顕微鏡写真を作り出すステップと、（ｃ）顕微鏡写真のフーリエ変換（ＦＴ：Fourier Transform）を計算して、ＦＴ画像を作り出すステップと、（ｄ）逆畳み込み係数値域から選択される所定の逆畳み込み係数（deconvolution coefficient）を用いて、ＦＴ画像の逆畳み込みを行い、逆畳み込みＦＴ画像（deconvoluted FT image）を作り出すステップと、（ｅ）逆畳み込みＦＴ画像にハイパスフィルタを適用して、１／５００Åより低いすべての周波数を取り除き、フィルタ逆畳み込みＦＴ画像を作り出すステップと、（ｆ）フィルタ逆畳み込みＦＴ画像の逆ＦＴを計算して、収差補正ＥＭ顕微鏡写真を作り出すステップと、（ｇ）収差補正ＥＭ顕微鏡写真に対して強度分布を決定するステップと、（ｈ）強度分布に対してモーメントを計算するステップと、（ｉ）所定の逆畳み込み係数を用いてステップ（ｃ）～（ｈ）を繰り返すステップであって、所定の逆畳み込み係数は、最適な逆畳み込み係数がステップ（ｉ）におけるモーメントの極体化に基づいて決定されるまで、以前の反復とは異なる逆畳み込み係数値域から選択されるものである、繰り返すステップとを含み得る。
【0012】
本方法は、（ｊ）ステップ（ｉ）で得た最適な逆畳み込み係数と、ステップ（ａ）で使用した複数の光学上の条件および調整されたビーム画像シフトとのカーネル正準相関分析（ＫＣＣＡ：kernel canonical correlation analysis）を用いて、画像化領域にあるすべての点に対して軸収差を予測する収差補正関数を決定するステップをさらに含み得る。本方法は、（ｋ）内部基準格子試料の１つまたは複数の分かっている性質のうちの少なくとも１つとは異なる１つまたは複数の性質が分かっている較正チェック格子試料の１つまたは複数のＥＭ画像を得るステップと、（ｌ）ステップ（ｋ）で得た１つまたは複数のＥＭ画像に収差補正関数を適用して、収差補正ＥＭ画像を作り出すステップと、（ｍ）較正チェック格子試料の１つまたは複数の分かっている性質に対応する収差補正ＥＭ画像における１つまたは複数の特徴の比較に基づいて、収差補正関数の適合性を判断するステップも含み得る。
【0013】
本開示の別の態様により、電子顕微鏡画像における幾何学的歪みを補正する方法を提供する。この方法は、（ａ）１つまたは複数の性質が分かっている内部基準格子試料の複数の電子顕微鏡（ＥＭ）画像を得るステップであって、複数の電子顕微鏡画像が、複数の光学上の条件に対して、かつ複数の調整されたビーム画像シフトに対して得られ、複数の光学上の条件が、複数の焦点ずれ、複数のｚ高さ、複数のビームチルト、およびその任意の組合せから選択され、内部基準格子試料は、単位セル寸法が分かっている結晶性支持体全体にわたって分布する非晶質物を含み、非晶質物の厚みが５つ以下の原子層の厚みである、複数のＥＭ画像を得るステップと、（ｂ）複数のＥＭ画像の位置合わせおよび動き補正を行うことによって、試料ドリフトに対して複数のＥＭ画像を補正して、ＥＭ顕微鏡写真を作り出すステップと、（ｃ）顕微鏡写真のフーリエ変換（ＦＴ）を計算して、ＦＴ画像を作り出すステップと、（ｄ）ＦＴ画像において、内部基準格子試料の結晶格子に対応する回折ピークを特定するステップと、（ｅ）回折ピーク間のすべての情報を捨てながら、特定した回折ピークをマスキングすることにより、回折ピークとその対応する強度しか維持しないことによって、ＦＴ画像に対して双対空間フィルタリング（dual space filtering）を行い、フィルタＦＴ画像を作り出すステップと、（ｆ）フィルタＦＴ画像の逆ＦＴを計算して、フィルタＥＭ顕微鏡写真を作り出すステップと、（ｇ）フィルタＥＭ顕微鏡写真の一部を選択し、その一部に対応するＦＴ画像を計算して、ＦＴサブ画像を作り出し、ＦＴサブ画像において回折ピーク下位群（a subgroup of diffraction peaks）を特定し、回折ピーク下位群に回折極大の指標を付け、回折ピーク下位群に対する単位セルパラメータを決定するステップと、（ｈ）変形行列（deformation matrix）を用いて、ステップ（ｇ）で決定した１つまたは複数の単位セルパラメータが内部基準格子試料の結晶性支持体の分かっている単位セル寸法に一致するかどうか判断するステップと、（ｉ）変形行列に基づいて、計量テンソルを計算するステップとを含み得る。
【0014】
本方法は、（ｊ）ステップ（ｉ）で得た計量テンソルと、ステップ（ａ）で使用した複数の光学上の条件とのカーネル正準相関分析（ＫＣＣＡ）を用いて、画像化領域にあるすべての点に対して幾何学的歪みを予測する収差補正関数を決定するステップをさらに含み得る。本方法は、（ｋ）内部基準格子試料の１つまたは複数の分かっている性質のうちの少なくとも１つとは異なる１つまたは複数の性質が分かっている較正チェック格子試料の１つまたは複数のＥＭ画像を得るステップと、（ｌ）ステップ（ｋ）で得た１つまたは複数のＥＭ画像に収差補正関数を適用して、収差補正ＥＭ画像を作り出すステップと、（ｍ）較正チェック格子試料の１つまたは複数の分かっている性質に対応する収差補正ＥＭ画像における１つまたは複数の特徴の比較に基づいて、収差補正関数の適合性を判断するステップも含み得る。
【0015】
この記載は、以下の図面およびデータグラフを参照して、より十分に理解されるであろう。これらは、本発明概念の様々な実施形態として提示されるものであり、本発明概念の範囲を完全に詳述するものとして解釈されるべきではない。
【図面の簡単な説明】
【0016】
【図1】本発明概念の実施形態による、Ｘ線（斜線部）およびクライオＥＭ（二重斜線部）の寄与の増大を示す蛋白質構造データバンク（ＰＤＢ：Protein Data Bank）の累積統計を描写する。
【図2】本発明概念の実施形態による、２５７枚の顕微鏡写真に対するビームチルト絞り込みの正確さを示すデータを描写する。
【図3】本発明概念の実施形態による、ビームチルトに起因する未補正のコマ収差が、分解能を約７Åまでに制限するほど厳しいものであった２．４３Å分解能再構成域を描写する。
【図4】本発明概念の実施形態による、データ収集に使用されるプレビュー画像とはるかに高い倍率との間の多段階のロバストなナビゲーションを描写する。
【図5】本発明概念の実施形態による、コマ収差、トレフォイル、および異方性倍率の補正を行った、電子顕微鏡公開画像アーカイブ（ＥＭＰＩＡＲ：Electron Microscopy Public Image Archive）寄託１０１８５および１０１８６の再分析を描写する。
【図6】本発明概念の実施形態による、独立パラメータ（すなわち、観察条件とその非線形関数）と、観察対象の位相ずれ歪みおよび幾何学的歪み収差とのカーネル正準相関分析（ＫＣＣＡ：Kernel Canonical Correlation Analysis）の要素を示す概略図である。
【図7】本発明概念の実施形態による、電子顕微鏡画像における１つまたは複数の画像収差を補正する方法を描写するフローチャートである。
【発明を実施するための形態】
【0017】
本発明概念は、本明細書に記載の図面に絡めて、以下の発明を実施するための形態を参照することによって理解され得る。分かり易いように、様々な図面中のいくつかの要素が正確な比率で描かれていない場合があることに留意されたい。
【0018】
本開示では、電子顕微鏡画像における１つまたは複数の画像収差を補正する方法を提供する。方法は、複数の光学上の条件下で、複数の調整されたビーム画像シフトにおいて、１つまたは複数の性質が分かっている内部基準格子試料の複数の電子顕微鏡（ＥＭ）画像を得ることを含み得る。複数の光学上の条件は、例えば、焦点ずれ、複数のｚ高さ、複数のビームチルト、およびその任意の組合せを含み得る。内部基準格子試料の１つまたは複数の分かっている性質は、例えば、層の原子数および／または格子支持体の単位セル寸法であり得る。本明細書で使用する際、「原子数（atomicity）」という用語は、分子が単一分子であり、他の分子から分かれている、例えば、塊や集合体の形態で堆積していない物質について言及する。
【0019】
内部基準格子試料は、固体支持体と、固体支持体全体にわたって分布する非晶質物とを含み得る。少なくとも場合によっては、固体支持体は、単位セル寸法が分かっている結晶性支持体であり得る。このような場合、結晶性支持体は、例えば、グラフェン、酸化グラフェン、ケイ素、または窒化ケイ素で作られていることがあり得る。しかし、結晶性支持体を使用する場合は、単位セルパラメータが規定されている回折パターンを生成する任意の固体支持体も使用することができ、特に、本開示の方法による、内部基準格子試料として使用するのに性質が適している非晶質被膜を受けるのに使用できる薄い支持構造を形成することができる物質を使用することができる。
【0020】
固体支持体全体にわたって分布する非晶質物の厚みは、５原子層以下の厚みであってもよい。非晶質物の厚みが、１つの原子層、または１～３つの原子層の厚みであるのが好ましい。少なくとも場合によっては、非晶質物は金属を含む。このような場合、金属は、固体支持体の表面上にスパッタリングされ得る十分に重い任意の金属であってもよく、層厚は、電流と真空によって制御され得る。少なくとも場合によっては、非晶質物は、例えば、金、白金、イリジウム、パラジウム、およびその任意の組合せであってもよい。これらの金属は、重く、比較的不活性（例えば、酸化しない）であるため、適している。
【0021】
複数の調整されたビーム画像シフトは、ビーム画像シフト法を用いて集められ得る。ビーム画像シフト法では、試料（例えば、格子）の様々な部分が照らされ（ビームシフト）画像化される（画像シフト）ように、試料の位置を一定に保ち、ビームおよび画像の位置のみをずらすことを伴う。ビームおよび画像の位置をずらすと、異なる次数の収差が誘発する。ＥＭ計器では、ビーム画像シフト法を実行する際、２つのレンズセットが使用される。集光レンズがビームを移動させ、一方、対物レンズが検出装置上の画像を誘導する。この両方のレンズセットは、電子的に制御される。少なくとも１つの実施形態において、コイルを用いてビームをずらし、そのビームのずれがコイルを用いた画像の調整されたシフトを伴うといった、ビーム画像シフトが調整されるか、または同期される。その他の場合、非同期ビーム画像シフトを用いて、その「パートナー」を動かさずにビームまたは画像を移動させることができる。ビームが平行である程度が収差に影響するため、ビームがどの程度平行であるかを確証するために、非同期ビーム画像シフトが行われる。少なくとも場合によっては、電子顕微鏡（ＥＭ）画像は、数秒から数十秒を要する電子ビームへの露光であり、画像の位置を変えずに取得されるが、多くのそれより時間を短くした露光（フレーム）を含んでいる。少なくとも場合によっては、複数のＥＭ画像は、複数の倍率で得られてもよい。場合によっては、複数のＥＭ画像は、格子試料の位置を変えることなく得られてもよい。少なくとも場合によっては、不完全な要因計画を用いて、データ収集対象の点と、顕微鏡の光学上の設定を変更する際のパラメータとを選択することができる。
【0022】
電子顕微鏡画像における１つまたは複数の画像収差を補正する本開示の方法は、複数のＥＭ画像の位置合わせおよび動き補正を行うことによって、試料ドリフトに対して複数のＥＭ画像を補正して、ＥＭ顕微鏡写真を作り出すことをさらに含み得る。本明細書で使用する際、「顕微鏡写真（micrograph）」という用語は、画像全体または画像の一部、例えば、画像のサブ画像を指すことがあり得る。次に、顕微鏡写真のフーリエ変換（ＦＴ）を計算し、ＦＴ画像を作り出すことができる。ＦＴ画像は、顕微鏡写真の情報を含んでいるが、ただし逆格子空間に含んでいる。ＦＴが情報量を変えないために、ＦＴ画像は、種類も大きさも分からない収差によって実像と同じ程度に影響を受ける。しかし、実空間における畳み込みが逆格子（フーリエ）空間では乗算になるという「畳み込み定理」があるので、フーリエ空間（逆格子空間）における演算は、数学上、有利である。
【0023】
次に、逆畳み込み係数値域から選択される所定の逆畳み込み係数を用いて、ＦＴ画像の逆畳み込みを行い、逆畳み込みＦＴ画像を作り出す。顕微鏡写真のフーリエ表現は、振幅および位相がある複素数を含む。したがって、収差に影響を受けた顕微鏡写真では、振幅および位相は、収差のＦＴと画像のＦＴとの積となる。この位相と振幅との積の逆畳み込みには、位相因子の乗算（位相加算）および振幅の乗算が伴う。位相因子乗算成分は、収差の位相変化の表現から導出される複素共役である。振幅変化成分は、（１）収差の振幅変化の逆数と、（２）ウィーナーフィルタ関与（a Wiener filter contribution）をもたらすその結果のノイズ最適化との２つの考察から導出される。所定の逆畳み込み係数は、見込まれる収差域を表す見込まれる逆畳み込み係数値域から選択される収差の値に対する「推測」である。したがって、所定の逆畳み込み係数は、初期化手順の際に、収差の大きさを位相と振幅との積に勝手に記述する初期逆畳み込み係数値である。以下に述べるが、逆畳み込み係数は、後の計算周期において最適化される。
【0024】
次に、逆畳み込みＦＴ画像にハイパスフィルタを適用して、ある値よりも低い周波数をすべて取り除き、フィルタ逆畳み込みＦＴ画像を作り出す。例えば、ハイパスフィルタでは、１／５００Åより低いすべての周波数や１／５０Åよりも低いすべての周波数を取り除くことができる。ハイパスフィルタでは、極低分解能画像情報は、最適化工程に使用される原子情報を表さないため、取り除かれる。
【0025】
この方法は、フィルタ逆畳み込みＦＴ画像の逆ＦＴを計算して、収差補正ＥＭ顕微鏡写真を作り出すことをさらに含み得る。したがって、収差補正ＥＭ顕微鏡写真は、開始時の顕微鏡写真の実空間画像に対応するが、収差に対して補正を適用した画像である。次に、収差補正ＥＭ顕微鏡写真に対して強度分布が決定される。例えば、収差補正画像（数百万画素）におけるすべての強度値のヒストグラムが生成され得る。ヒストグラムは、より正の値に向かって尾を引く、非ガウスである形状をしている。この非ガウス型分布は、格子の性質、例えば、金属原子薄層に起因している。このような原子は、画像が完全に補正されていれば、「より明るく」なっているはずで、また、原子間には空所がある可能性がある。これらの両特徴により、強度ヒストグラムが非ガウス型になる。非ガウス性（Non-Gaussianity）は、分布の一部の特徴が「不均一」であることに起因し、例えば、格子支持体上にまばらにスパッタリングされた金属から生じる強度信号を呼び物とする。収差は、この信号を歪ませ、結果的に格子試料の画像を強度分布の点でより「均一」にする。
【0026】
方法は、強度分布に対してモーメントを計算することをさらに含む。モーメントは、分布の形状を定量的に記述する。具体的なモーメントは、例えば、歪度（skewness）、尖度（kurtosis）、負エントロピ、または独立成分分析（ＩＣＡ：Independent Component Analysis）に適した他の任意の関数の選択肢域から選択される。ＩＣＡにより使用することができる任意の関数も、本開示の技法および方法に適している可能性がある。少なくとも場合によっては、モーメントを計算することは、負エントロピを最適化するのに基づいて強度分布の形状を定量化することが含まれる。
【0027】
方法は、モーメントの分析に基づいて最適な逆畳み込み係数が決定されるまで、以前の反復とは異なる所定の逆畳み込み係数を用いて、ＦＴ計算、ＦＴ画像の逆畳み込み、ハイパスフィルタ適用、逆ＦＴの計算、強度分布の決定、およびモーメントの計算を繰り返すことをさらに含む。逆畳み込み係数が最適化または最大化されるまで、逆畳み込み係数が変えられる数値最適化法が採用される。
【0028】
また、方法は、図６に示す通り、最適な逆畳み込み係数と、複数の光学上の条件および複数の調整されたビーム画像シフトとのカーネル正準相関分析（ＫＣＣＡ）を用いて、画像化領域にあるすべての点に対して収差を予測する収差補正関数を決定することも含み得る。図６は、ＫＣＣＡ工程の概略的表現である。具体的には、図６では、独立パラメータ（すなわち、観察条件とその非線形関数）と、観察対象の位相ずれ収差および幾何学的歪み収差とのＫＣＣＡの要素を描写している。分析の結果では、任意の観察条件に対する収差を予測する関数が得られる。さらに、特定の観察の際の条件が、入力データの補間または外挿によって得られるかどうかが見極められ得る。
【0029】
ＫＣＣＡは、画像化領域で完全写像が得られるような収差記述を広げ、絞り込む。各顕微鏡写真のパラメータ（例えば、複数の光学上の条件および調整されたビーム画像シフト）は、独立変数であり、それらは、図６に示す通り、正準相関で使用される行列のうちの１つを作成するのに使用され得る。また、これらのパラメータの様々な非線形組合せ（例えば、ｘ２、ｙ２、ｘｙ）は、行列にも使用され得る。言い換えれば、ＫＣＣＡの特徴は、独立パラメータ値だけでなく、その非線形関数も含まれ得る、ということである。図６に示す通り、逆畳み込み係数（収差係数）の最適化工程の結果により、第２の行列が形成される。少なくとも場合によっては、ＫＣＣＡが階層的に実行されて、１つまたは複数の収差の時変成分を補正することができる。
【0030】
この方法で決定されたその時の較正は、較正に使用された格子と同じではない格子を用いて、指定の範囲を対象にビーム画像シフト法を用いてデータを集めることによって評価され得る。したがって、格子には、ｚ－高さなどの著しく異なる性質があり得る。したがって、方法は、内部基準格子試料の１つまたは複数の分かっている性質のうちの少なくとも１つとは異なる１つまたは複数の性質が分かっている較正チェック格子試料の１つまたは複数のＥＭ画像を得ることも含み得る。次に、得た１つまたは複数のＥＭ画像に収差補正関数を適用して、収差補正ＥＭ画像を作り出すことができる。方法は、較正チェック格子試料の１つまたは複数の分かっている性質に対応する、収差補正ＥＭ画像の１つまたは複数の特徴の比較に基づいて、収差補正関数の適合性を判断することを含み得る。収差補正関数が補間だけで済む範囲であれば、例えば、ここまでの方法で生成した較正写像内であれば、それ以上の較正は必要ない。しかし、収差補正関数が補間だけで済む範囲外にあり、かつ外挿が必要な場合、外挿では補間よりも大きな誤差が出るため、方法のこれまでのステップを繰り返す必要があり得る。
【0031】
少なくとも場合によっては、方法は、収差のさらなる繰り返しの絞り込みを含み得る。例えば、初期較正では、較正の時間不変成分を決定するが、計器の金物類が変化（ドリフト）する可能性がある。このような場合、初期較正写像が使用され得、より小さな画像域を対象に、測定点網を密にするか、データ収集パラメータの組合せを変えて、複数のＥＭ画像を得ることによって方法を繰り返し、次に、これらのデータ点を用いてこの方法を繰り返すが、時間不変である収差値から開始する。その他の場合、初期較正からの入力を使用して、実験特有の収差補正を獲得することができ、次に、その結果がＫＣＣＡに使用され得る。
【0032】
本開示の方法を用いて補正され得る画像収差としては、画像のフーリエ変換の位相および振幅に影響を与える任意の単色収差でもあり得る。例えば、この方法を用いて補正され得る画像収差は、一定の位相ずれ、画像変位、焦点ずれ、２回非点収差、軸上コマ、３回非点収差（trefoil：トレフォイル）、球面収差、スター収差、４回非点収差、５次軸上コマ、スリーローブ収差、５回非点収差、６次球面収差、６次スター収差、ロゼット収差、および６回非点収差を含み得る。画像収差は、画像フィールドの幾何学的歪みおよび曲率でもあり得る。
【0033】
本開示の別の態様により、電子顕微鏡（ＥＭ）画像における幾何学的歪みを補正する方法が提供される。幾何学的歪みは、角度歪みおよび楕円形歪みとしても知られている。方法は、グラフェン格子などのある原子基準（an atomic reference）に基づいて、画像における幾何学的歪みの較正を得ることを伴う。方法は、１つまたは複数の性質が分かっている内部基準格子試料の複数のＥＭ画像を得ることを含み得、複数の電子顕微鏡画像が、複数の光学上の条件に対して、かつ複数の調整されたビーム画像シフトに対して得られる。複数の光学上の条件は、例えば、複数の焦点ずれ、複数のｚ高さ、複数のビームチルト、およびその任意の組合せであってもよい。内部基準格子試料は、全体にわたって非晶質物が分布している、単位セル寸法が分かっている結晶性固体支持体を含むことができる。非晶質物の厚みは、５つ以下の原子層の厚みであってもよい。非晶質物の厚みが、１つの原子層の厚み、または１～３つの原子層の厚みであるのが好ましい。
【0034】
少なくとも場合によっては、非晶質物が金属であり得る。このような場合、金属は、固体支持体の表面上にスパッタリングされ、電流および真空によって層厚が制御されてもよいほどに重い任意の金属であってもよい。少なくとも場合によっては、非晶質物は、例えば、金、白金、イリジウム、パラジウム、およびその任意の組合せであってもよい。これらの金属は、その重さおよび比較的不活性（例えば、酸化しない）のため適している。結晶性支持体は、例えば、グラフェン、酸化グラフェン、ケイ素、または窒化ケイ素で作られていることがあり得る。しかし、単位セルパラメータが規定されている回折パターンを生成する任意の個体支持体も使用することができ、特に、本開示の方法による内部基準格子試料としての使用に性質が適している非晶質被膜を受けるのに使用できる薄い支持構造を形成することができる物質を使用することができる。
【0035】
この方法は、複数のＥＭ画像の位置合わせおよび動き補正を行うことによって、試料ドリフトに対して複数のＥＭ画像を補正して、ＥＭ顕微鏡写真を作り出すことも含み得る。次に、顕微鏡写真のフーリエ変換（ＦＴ）を計算し、ＦＴ画像を作り出す。内部基準格子試料の結晶格子に対応するＦＴ画像における回折ピークが特定され、回折ピーク間のすべての情報を捨てながら、特定した回折ピークをマスキングすることにより、回折ピークとその対応する強度しか維持しないことによって、ＦＴ画像に対して双対空間フィルタリングを行い、フィルタＦＴ画像を作り出す。次に、フィルタＦＴ画像の逆ＦＴを計算して、フィルタＥＭ顕微鏡写真を作り出すことができる。
【0036】
実空間では、グラフェンなどの結晶性物が重なり合った結晶格子（複数の結晶）から成っていることがあることから、または、結晶が、画像化領域よりも小さい可能性があるので、ＦＴ後に、すべての非結晶性物がデータ分析を分かりにくくすることから、先行ステップが行われる。そのため、この方法では、逆格子空間（フーリエ空間）で回折ピークを見付け、それをマスキングし、すなわち、ピーク間のすべての情報を捨てながらピークとその強度しか維持しない。そして、後方（逆）ＦＴを計算し、フィルで除いた情報をフーリエ空間から実空間に転送する。この工程により、実空間における画像のセグメント化が良くなることが多い。セグメント化が良くなった後、回折パターンを「より明確」にするために、セグメントごとにまたＦＴを計算し、すなわち、フーリエ空間に戻る。
【0037】
次に、「より明確な」回折パターンに対して、単位セルパラメータが標準指標付け手順を用いて決定される。具体的には、この方法は、フィルタＥＭ顕微鏡写真の一部を選択し、その一部に相当するＦＴ画像を計算して、ＦＴサブ画像を作り出すことを含む。次に、ＦＴサブ画像における回折ピーク下位群が特定され、この回折ピーク下位群に対する単位セルパラメータが決定され得るような回折ピーク下位群に対する回折極大の指標が付けられ得る。それにより、変形行列（Ｍ）が決定され、これを用いて、１つまたは複数の単位セルパラメータが内部基準格子試料の結晶性支持体の分かっている単位セル変形寸法に一致するかどうか判断する。変形（Ｍ）行列には、基準格子と観察対象格子との間の回転記述が含まれているため、この回転が画像同士で同じという保証はない。そこで、計量テンソル（ＭＭ＊）が、変形行列に基づいて、変形行列Ｍを取ってそれに共役行列Ｍ＊を乗算することによって計算される。この計算は、変形行列Ｍの一部である回転を取り除くために行われる。計量テンソル（ＭＭ＊）は回転をもはや含んでおらず、これを用いて、ＫＣＣＡを行うことができる。
【0038】
この方法は、図６に示す通り、計量テンソルと複数の光学上の条件および複数の調整されたビーム画像シフトとのカーネル正準相関分析（ＫＣＣＡ）を用いて、画像化領域にあるすべての点に対して幾何学的歪みを予測する収差補正関数を決定することをさらに含み得る。この方法は、内部基準格子試料の１つまたは複数の分かっている性質のうちの少なくとも１つとは異なる１つまたは複数の性質が分かっている較正チェック格子試料の１つまたは複数のＥＭ画像を得て、この１つまたは複数のＥＭ画像に収差補正関数を適用し、収差補正ＥＭ画像を作り出すことをさらに含み得る。最後に、この方法は、較正チェック格子試料の１つまたは複数の分かっている性質に対応する、収差補正ＥＭ画像における１つまたは複数の特徴の比較に基づいて、収差補正関数の適合性を判断することを含み得る。
【0039】
図７には、本発明概念の実施形態による、電子顕微鏡画像において１つまたは複数の画像収差を補正する例示的な方法７００を描写する。７０５において、原子数パラメータおよび／または単位セルパラメータおよび高コントラスト原子パターンが分かっている内部基準格子試料が得られる。７１０において、１つまたは複数の性質が分かっている内部基準格子試料の複数の電子顕微鏡（ＥＭ）画像が複数の光学上の条件に対して、かつ複数の調整されたビーム画像シフトに対して得られる。７１５において、本明細書に記載の方法に従って画像ごとまたはサブ画像ごとに歪み較正が必要か判断される。７４５において、本明細書に記載の方法に従って画像ごとまたはサブ画像ごとに収差較正が必要か判断される。ＫＣＣＡが７２０では歪み較正を用いて行われ、７５０では収差較正を用いて行われる。ＫＣＣＡ分析の結果が７２５において解明され、７３０において収束しなければ、この工程は、ステップ７１０で始まって繰り返される。収束すれば、この工程は、より低い分解能７３５で、ステップ７１０で始まって繰り返される。代替として、７３０において収束に達すると、ＫＣＣＡの結果を用いて、１つまたは複数のデータ画像を補正することができ、かつ／またはこの結果を用いて、対物口径、エネルギフィルタ、およびビーム画像ステージの位置合わせをすることができる。７２０および７５０において、ＫＣＣＡが一緒にでも別々にでも行われてもよく、すなわち、両方の経路からの情報を含む入力を受けてＫＣＣＡが行われてもよい。
【0040】
本開示の方法には、収差を補正する既存のパワースペクトルベースの方法を凌ぐ利点がある。具体的には、本開示では、データ取得対象の点への長範囲（数十ミクロン）電子再配置を可能にさせる、収差に対する新規の補正を提供し（すなわちビーム画像シフト法）、この方法の革新としては、（１）シフトに付随する複合画像歪みを計算上解消することによって可能となる、前例のない空間規模でビーム画像シフト法を使用すること、および（２）カーネル正準相関分析（ＫＣＣＡ）を用いて、格子上の複数の位置で測定された画像歪みを解消するのに必要なパラメータを特定し、そしてＫＣＣＡとのグローバルフィッティングを行って、画像歪みを補正するためのデータを生成し、煩雑なアライメント手順を取り除くことができるように顕微鏡の完全アライメントをやり易くすることが挙げられる。
【0041】
本開示の方法では、複合画像の振幅、位相、また顕微鏡の光軸から離れた試料を画像化するのに頼る超高速データ収集法によってもたらされる幾何学的歪みの正確な反転をもたらす。このような正確な歪み写像が、予想される実験条件範囲で生成され、確認され得ることを裏付けるのに多くの研究が行われた。ビーム画像シフト法によって予め集めたデータを分析し直して、画像歪みおよび位相歪みを較正してからそれらを補正することによって、ＥＭＰＩＡＲデータベースに寄託した。その結果、３．３Åから２．４Åにプロテアソーム再構成の分解能を高めた。この変化は、２００ｖＫ Ｔａｌｏｓ Ａｒｃｔｉｃａにおいて集めたデータでは、並の結果（現在の標準による）から比較的に印象的な結果へという向上に相当する。このチームによって集めた組織内データでは、光軸からの高い（約２０μｍ）変位のためにコマ歪みが非常に激しい試料に対して、高分解能再構成を行った。この結果でも同じ型の計器から２．４Åの分解能を得た。この計算上の補正がなければ、この結果は７Åに近い分解能になると考えられ得る。
【0042】
１つの態様において、本開示の方法では、高処理能力のビーム画像シフト法に必要とされるＥＭ光学素子の正確で自動の較正を提供する。特に、本開示の方法は、図１に示す通り、高分解能生体分子構造測定にますます使用されるようになっている低温電子顕微鏡（クライオＥＭ）に使用され得る。図１に描写する通り、蛋白質構造データバンク（ＰＤＢ：Protein Data Bank）累積統計は、Ｘ線寄託（斜線部）およびクライオＥＭ寄託（二重斜線部）の増大を示している。クライオＥＭ寄託の増大は、２５年ほど前のＸ線寄託の増大に似ており、クライオＥＭが対数目盛り上に直線で表される指数的な増大期にあることを示している。
【0043】
クライオＥＭ単一粒子再構成に使用される明視野（位相コントラスト）画像化条件において、画像歪みは、情報喪失をもたらさないが、それは、むしろその再構成では、この歪みの影響を相応の手順により計算上打ち消すことができるということを意味する。いくつかの歪みの解消は、すでに標準クライオＥＭソフトウェアの持ち前の特徴となっている。例えば、クライオＥＭデータは、通常、ほぼ焦点ずれ状態で取得され、球面収差に影響を受け、またあるレベルの非点収差にも影響を受けることが多い。コントラスト伝達関数（ＣＴＦ：contrast transfer function）によって記述されるこのような歪みは、構造再構成時に解消される。この手法を、顕微鏡写真ごとに絞り込みが独立している粒子再構成時の基準ベースの絞り込みに向けて高次収差補正関数に広げた。その結果が個々の動画間で再現可能であることから、このような再現性が予測される場合、図２に示す通り、位相ずれ、焦点ずれ、非点収差、コマ収差、トリフォイル、および異方性倍率のこのような収差絞り込みが極めて正確であるということを確認した。図２は２５７枚の顕微鏡写真に対するビームチルト絞り込みの正確さを示すデータを描写する。２５７枚の顕微鏡写真を使用した場合に見られるように、ビームチルト絞り込みの正確さは、個々に決定されたビームチルト値の緊密なクラスタ化によって示される。光軸は（０．０）に示している。
【0044】
高分解能技術にとってかなり厳しいと考えられる条件下、すなわち、Ｔａｌｏｓ Ａｒｃｔｉｃａ使用、位相板なし、エネルギフィルタなし、２００ｋＶ、またサイズ１４４ｋＤａの粒子を用いた条件下で、図３に示すように、非常に高い分解能（２．４Å）をもたらした、光軸からの２０μｍずれによって引き起こされた大規模なコマ収差のデータの場合と同様に、収差絞り込みもまた極めて正確である。この手順は、同じ型の計器を用いて、より小さなシフト域全体にわたってビーム画像シフト法を用いて集めたプロテアソームデータに関するＥＭＰＩＡＲ１０１８６（７）に寄託されたデータでも上手くいくことを確認した。この寄託での分解能は３．３Åと報告されているが、本発明の位相補正の手順では分解能は２．４Åとなった。
【0045】
初期試料アライメント、プレビューおよび標準高分解能データ収集を含む、直面するすべての実験条件下にある歪みの較正（グローバルパラメータ化）写像が生成され得る。歪み写像は、傾斜試料を対象にデータを集めるのに必要なユーセントリック高さからの距離を含む、このような段階で直面する空間域および分解能域に完全に及ぶ。このような較正では、また、光軸の位置、方向、ビームチルト、および焦点面が自然に正確になる。ある実施形態において、アポフェリチンを本発明の高品質基準分子として使用するが、他の硬い安定した巨大分子に置き換えてもよい。グローバル関数１つしかフィッティングさせないことにより、光学項が非軸収差の記述となることによって、統合歪み写像を作成する。しかし、小さな画像化域ごとに、このような非軸収差が局所軸収差記述（a local axial aberration description）へと変換され、このような大域記述を既存のプログラムに結び付けるのを容易にすることができる。ＫＣＣＡは、２つのパラメータ群同士の線形関係および非線形関係をしっかりと絞り込むことができるので、これに非常に適した方法であり、２つのパラメータ群とは、１つは説明変数を記述し、この場合、実空間における、また角度（逆格子）空間における位置を記述するものであり、もう１つはデータ特徴を記述し、この場合、倍率および位相歪みであるデータ特徴を記述するものであり、これらは、実空間および角度間隔ゼルニケ多項式（angular-space Zernike polynomials）の積としてパラメータ化される。この歪み較正を行った後、実際のデータ収集時に、データ収集時にまたは様々なデータ収集進行間でドリフトする可能性のある因子を決定し、このようなドリフトは、主に並進（ｘ位置、ｙ位置、焦点位置）および非点収差に影響を及ぼす。この時点で集めたデータでは、非点収差ドリフトがゆっくりとなる傾向があるが、それぞれの顕微鏡写真に対しても調整することが多い。
【0046】
画像歪みに補正を行う様々なやり方がある。補正は必ず、本発明の３次元再構成計算であるので、再構成時に１つの工程にまとめられ得るが、補正が、画像操作パートに、それ以外は再構成段階に分けられてもよい。このような分割が他のプログラムを使用する際の規範であることから、その結果が既存のソフトウェアに適合できるように、画像レベルで歪みを補正する計算を採用する。コマ歪みおよびトレフォイル歪みの都合のよい特徴は、これらが、正確さが何ら失われることなく画像レベルで補正され得ることであり、これは、補正を連続して複数回行う、例えば、基準ベースの絞り込み時に初期補正に続いてさらに較正を行うことにも及ぶ。倍率歪みでは、収集データがオーバーサンプリングされた場合に情報喪失が低くなるので、この手順が通常画像レベルで行われるのにも関わらず、このような規則が守られない。大空間規模で多数（最大で数百）の孔に、また同じ計器における実験間でばらつく可能性があるので、通常、それぞれ別々の実験で行われる電子光学パラメータの着実な自動較正に適用されるとしても、ビーム画像シフトデータ収集手順では、正確な結果をもたらす。
【0047】
本開示の別の態様により、データ収集に使用される倍率を含む、倍率間の正確な写像により、試料において品質パターンをプレビューし、その特徴を把握する方法を提供する。方法は革新的に、プレビュー過程の間に、測位不確実性を２つの成分である（１）孔指標付けと（２）孔縁の正確な検出とに分けることを含む。倍率のデータ収集時にビーム画像シフト法を使用することと組み合わせると、不確実性分割は、倍率のデータ収集時の測位を低倍率プレビュー画像に正確に相関させることを可能にし、その時の手順で中間倍率の使用の必要をなくする。これは、この目的で中間倍率を用いて、その時のプロトコルに従って、孔中央揃え段階のたびに発生する、対物レンズに伴うヒステリシスおよびドリフトの除去に起因して、データ品質に驚くほど大きな効果をもたらす。
【0048】
この方法は、構造生物学実験者（structural biology experimentalists）に合わせて最適化された光歪み写像と、クライアント－サーバ内実験制御アーキテクチャとを含む。クライオＥＭの観点から、数十のデータセットを集め、またデータ収集の前に完全電子ビームアライメントを必要とするクライオＥＭ計器を用いて、７つの異なる構造を、そのうち４つは３Åよりも良い分解能で再構成した。広域にわたって収差および歪みを写像する際、ＫＣＣＡを行って、コントラスト伝達関数（ＣＴＦ）とビーム画像シフト法で集めた格子上の幾何学的歪みパターンとを合わせた。このような空間写像の質は、どのように上手く歪み変化を位置から予測することができるかによって決まる。本発明の早期の結果では、このような関係の主要な正準相関係数（canonical correlation coefficient）が０．９９４であることを確認した。
【0049】
クライオＥＭにおける処理能力無効は、顕微鏡写真収集間の長い不感時間からも、また顕微鏡をアライメントさせ、試料を評価し、データ収集を立ち上げるのに費やす時間からももたらされる。この方法の結果によって、ビーム画像シフト群における画像収集間の不感時間が縮まり、計器アライメントがスピードアップする。この方法では、プレビュー画像を作り出し、それを評価し、データ収集を立ち上げることから生じる他の障害に対処する。この時点の手順は、１日当たり１万以上の顕微鏡写真を集める規模にはならず、この問題に対処する段階がいくつかある。
【0050】
クライオＥＭデータ取得時の多くの非効率性は、プレビュー画像のモンタージュにおける不十分なアライメントからもたらされる。これらの非効率性は、特にデータ収集に望ましい倍率に関係する場合、過剰な重ね合わせの必要と共に、様々な倍率で位置を不正確に指し示す画像歪みの必要を原因とする。電子光学素子には、糸巻形歪み（pincushion distortion）が元々備わっており、これは、光軸に対する非線形放射状変位によってパラメータ化され、本発明の手順では、様々な段階位置で同じ画像を集めることによって立証される。絞り込み手順では、どんどん大きくずれていく画像間の相関関係を最適化するようにこの歪みを調整する。糸巻形歪みと付随する高次歪み（higher-order distortions）とを補正することにより、画像のモンタージュが正確に適合するようになり、重ね合わせの必要が減ることによって、その収集に必要な時間が１／２に縮まる。これらの糸巻形歪みは、安定しているので、実験較正工程ではなくその助けの一部になるはずである。
【0051】
プレビューモンタージュにおける位置誤りの減少から利得がさらに得られる。この時点では、この誤りは、データ収集位置の不十分な予測をもたらし、孔を正確に位置特定するのに、中間倍率の画像を覆うさらなる孔の必要が出てくる。この手順を、分解能ごとに正方形測位を結び付けるロバストで自動の手順に代える。正方形内で格子を正確にアライメントさせる際、中間倍率を適用する必要なく、正確な測位情報を得ることができるように、ビーム画像シフト群を使用する。顕微鏡写真のデータ収集間で中間分解能画像を取り出すこの手順のペナルティは、非常に厳しく、評価が低い。これには、磁力の変化をもたらし、その結果、レンズ内の非弾性的なドリフト応答（inelastic, drifting response）をもたらし、画像の位置をかき乱す、対物レンズ内の電流の大きな変化を伴う。このような非弾性応答は、落ち着くのにかなりの時間が掛かり、周期が巡るたびヒステリシスをもたらすので、画像化位置および画像歪みがこのような周期につれて特有に変わる。そのため、このような周期をなくすことが、計器とその較正の安定性にとっては非常に有益であり、画像ドリフトと再較正頻度を減らし、またより低いドリフトで、投与－スライシング結果の質を高める。
【0052】
図４に示す通り、より高い倍率における多段階の素早いアライメントデータ収集方策によって、中間倍率の必要性をなくする。まず、限られた視野に起因して、孔を見付けるのに非常に素早いモンタージュを作り出し、素早い格子調査を実施し、その指標付けをしっかりと立ち上げる。本発明のナビゲーションの新規の態様は、位置不確実性を（１）孔を正確に位置特定することと、（２）それがどの孔であるかを明らかにする（本発明の手順では、指標で表される）こととに分けることである。２つの別々の画像群を集め、これらの疑問を別々に解く。これによって、間違った指標の孔をアライメントさせることによって頻繁に位置誤りを生成するこの方法の問題が解決する。このような頻繁な誤りから回復させることは、厄介であり、より一層時間を喰う段階をさらに必要とさせる。本発明の手順では、様々な倍率にわたる２つの直交する孔列において氷厚を比較することにより、指標付け曖昧さをしっかりと解消し、最低限の時間で済むようにする。
【0053】
データ収集はセッションで行われ、各セッションは１つまたは複数の正方格子におけるデータ取得に相応する。本発明の手順では、セッション全体にわたり一定の倍率を使用するので、ドリフトへの対物レンズヒステリシス関与（objective lens hysteresis contribution）がなくなる。本発明の早期の研究では、ビーム画像シフト法ではドリフトが小さくなることを確認した。これは、試料１つだけからもたらされたが２つの異なるプロトコルで集められた、ＥＭＰＩＡＲ－寄託のプロテアソームデータ（EMPIAR-deposited proteasome data）の本発明の分析によって裏付けられた。
【0054】
図４は、本発明概念の実施形態による、データ収集に使用されるプレビュー画像とかなり高い倍率との間の多段階のロバストなナビゲーションを表すものである。非常に異なる分解能間の正確な幾何学的関係を表す際の段階では、まず、規則的な格子（ａ）の孔を見付け、次に炭素部分（ｂ）または重金格子（gold-on-gold grids）の孔の縁からの露光部（ｂにおけるの青の長方形）を集めることによって焦点ずれおよびドリフトを明らかにする。（ａ）および（ｂ）に基づいて、より小さな下位格子がその境界（ｃ）を正確に定めるように孔にわたって位置付けられ、そして、可視孔の行および列の縁がプレビュー画像に対する明確な指標付けと成るように、付近の孔格子（ｄ）にわたる氷厚パターン（pattern of ice thickness）を呈するように、非常に短い露光部（ｄにおける緑の長方形）を短い整定時間で集めることによって、指標付け曖昧さが解消される。このフルスキームには、様々な点において初期調査を開始し、様々な計器階層レベルにおける故障モード、例えばビームが検出装置に達しないといった故障モードを考慮するなど、明らかな改善策が含まれる。なお、サブパネルには様々な規模のものがあるが、長方形を画定する露光部および孔はサイズが同じである。
【0055】
従来の収集データセットと、２ｘ２正方孔を含む限定域のビーム画像シフト収集データセットとを分析した。歪み補正なしでは、従来の収集データセットは、図５に示す通り、ビーム画像シフト法で得たデータセットの３．３Åよりも高い３．１Åの分解能を有した。これは、従来の取得データセットでは２．５Åの分解能、限られた距離にわたって適用されたビーム画像シフト法で収集したデータセットでは２．４Å分解能をもたらした歪みを補正した後には逆になった。本発明では、セッション全体にわたり長期試料ドリフトをモニタするのに新規の手順も実施する。特にビーム画像シフトフレーム群では、最初の位置の短い露光部を再度集めることによってドリフトを見極める。そして、同じデータ収集セッションからの複数の群にわたるドリフトを統合する。倍率を１つしか使用しないデータ取得セッションでは比較的高い安定性が見られたが、本発明の手順では、さらなる較正し直しの引き金となり得る過剰なドリフト累積がないかも確認した。
【0056】
本発明の目標は、様々な倍率にわたる位置ナビゲーションを人手介入も付随する時間や専門的技術もなくて済むほど正確にすることである。この理由から、手の込んだように見えるかもしれないがそれほど実行時間を必要としないいくつかのステップを明らかにする。さらに、経時でしっかりと位置関係を維持するのにビルトインチェックと補正手順を備える。
【0057】
大域歪み特徴付け（global distortion characterization）および自動ＥＭ較正によるＣＴＦ写像。試料点の焦点ずれすなわち高さ（ｚ）を表すのに２つの方法がある。すなわち、焦点ずれを決定するコントラスト伝達関数（ＣＴＦ）、およびｚを定めるより速い方法であるビームチルト法である。ＣＴＦは、高コントラスト物質、より多くの露光を必要とし、分析に骨が折れるが、複数の位相歪みを決定するのに使用できるため、多くの情報が得られる。ＣＴＦ法は、さらなる結果検証のためにビームチルティングと組み合わせることもできる。本発明者らは、ソフトウェアの残りの部分と一体化される、（大きな非点収差に対して）単純だが素早くロバストなＣＴＦエスティメータ（CTF estimator）を開発した。
【0058】
較正は、試料ドリフトが無視されても補正されてもよいように安定しているか確認することから始まる。そして、本発明のＣＴＦエスティメータを炭素上のまばらに分布している（約１０～２０）区域全体にわたって収集したデータに、大幅に異なる焦点ずれ値（ｚ座標を変える電子手段によりアクセス可能なアナログ）に向けて適用する。焦点ずれに対するＣＴＦから、また並進ずれからの結果は、画像における任意のｘ、ｙ、ｚ三重項に対しても歪み予測変数を与える、ＫＣＣＡへの入力である。この予測変数は、まず、焦点ずれに対して不変である画像上の位置、すなわち、光軸の位置を見極める。ＣＴＦばらつきの主因は、ビームチルトと球面収差との相互作用に起因するものである。光軸およびビーム方向に対する位置への螺旋ねじれ依存を呈するとしてビームチルトをパラメータ化する。光軸位置におけるビームチルトの適合値は、光軸の方向を定義するものである。これは、本発明の自動較正手順の主要素と成り、光軸に対して座標系を定義するものである。この手順では、ＣＴＦに影響する収差を決定することができ、球面収差との相互作用によって、ビームチルトとその結果としてのコマ収差も決定することができる。しかし、この手法では、高次項を呈するトリフォイルなどのような収差を決定することはできない。光軸以外に、本発明のデータセットのうちの１つに、またプロテアソームＥＭＰＩＡＲ寄託１０１８５および１０１８６にも、際立ったトリフォイルを確認した。アポフェリチンのような高品質試料の基準ベース絞り込みによって光軸からの距離へのこのような歪みの依存を明らかにする。歪みが対物レンズの形状作用から生じることから、歪みは、長期間でも極めて安定している。そのため、このような収差のパターンは、実験に特有のものとしてではなく計器較正の一環として見なされるべきである。炭素を画像化することが、歪みの写像を確立するのに最速の手段を提供し、一方、データ収集から決定されたＣＴＦの分析を用いて、大域歪み写像とそのあり得るドリフトを見付けることもできる。ビームチルトに関するデータをもっと集めて、画像化レンズ歪みからの試料の非直角度と非平面性とに起因する焦点ずればらつきを区別することによって、さらに歯止めを利かせることができる。
【0059】
この方法の結果は、プレビュー画像を収集する時間効率法と、倍率間の正確なナビゲーションとを含む。これによって、望ましい位置と焦点ずれで、素早く正確に集めることが可能になる。この時間効率法により、１回のデータ収集セッションで顕微鏡の倍率を変更することの不安定化作用を完全に回避することが可能になるので、画像安定化に必要な時間が大幅に短縮される。データ収集の正確さは、下流工程の収束を早めるという利点があり、データ収集をモニタし、それを実験の必要に応じて調整し直すのにより効率的なフィードバック計算をもたらす。
【0060】
本開示の方法の特徴は、５つの「標準」ザイデル収差だけではなく高次軸収差の分析と、非軸（すなわち、反射角依存と画像位置依存の両方）収差の分析と、（１）多くの考えられ得る顕微鏡写真に及ぶ画像化フィールド全体を対象に収差を記述する関数のパラメータを大局的に絞り込み、（２）それぞれの別々の顕微鏡写真に、画像化フィールド全体で絞り込まれたパラメータを伝播させ、軸収差を局所的に用いて、この記述に非軸収差の記述を変換し、（３）仕上げの再構成の質を損なわずに、非並列照明の使用を容易にする、１個だけの粒子の画像に同様の変換が別々に適用されるのを可能にする、ことによって、非軸収差分析を実行することとを含む。
【0061】
本開示の方法の他の特徴は、カーネル正準相関法（これは異方性倍率歪みを含む）による複素非軸収差の絞り込みと、高コントラスト源画像からの信号の歪度または関連統計情報を最適化して、計器較正を誘導することによる収差の絞り込みと、ビームを集束させなくても済むことから、較正時に別個のカメラへの切り替えを必要とすることのない（ビームを集束させる必要なく、画像処理を用いてコンデンサをアライメントさせる）直接電子検出装置を使用した較正と、収差の不安定成分を明らかにして、一連のデータ収集時により頻繁にそれを絞り込む（動画ごと、動画群ごとにこのアライメントを補正する）ことと、事実上の焦点ずれ値で、非軸収差および軸収差、また画像回転も写像して、調査モードとデータ収集モードとの正確な写像を可能にすることと、現在の方法に対して、大きな合成ビームおよび画像シフトを用いて、観察対象の試料の一部を素早く変更して、ＳＰＡ用途におけるデータ収集処理能力の何倍もの向上を可能にすることと、高倍率で、また高速で調査を行う選択肢を含み、ビーム画像シフトを用いて、データ収集の一部を調査するかプレビューすることと、（試料チルトを用いて、データ収集に向けての準備の際に３次元性の特徴を把握し、本発明の写像は、３次元写像であり、焦点ずれを考慮する）効率的で限られた試料抽出ベースの断層撮影による、格子の３次元モンタージュと、高処理能力モードにおける収集を実現するビームチルトに関するデータ収集と、２０＋構造情報と（階層的分類を誘導する最高±２～３度）、フルレンジ断層撮影をスピードアップさせる２０＋サブ断層写真と、結晶からのダークモードで、円形口径を用いたプリセッションデータ（precession data）とを含む。
【0062】
本開示では、ＥＭ計器の較正に新しい手法を提供する。現在の手動較正または半自動較正は、フーリエ変換空間における信号の変調、および対物口径画像の形を分析することに左右される。このような従来の較正手法は、問題をもたらす。第１に、この手法では、収差の一部しか明らかにしない。具体的には、この手法は、非軸収差の特徴を把握するようには開発されていない。さらに、コマ収差などの奇数次収差の較正は、収差の特徴の間接相関に左右されるため、この較正が不正確になり、誤用され易くなる。第２に、この従来の手順では、検出装置に対する光源ビームの集束を必要とする。高集束ビームは、高性能直接電子検出装置に悪影響を及ぼすため、この手順では、別個の検出装置を顕微鏡に取り付けることが必要になる。
【0063】
これに対し、本開示の方法は、高精度で高感度の検出装置により得たコントラスト伝達関数（ＣＴＦ）補正の画像に対して計算した画像強度の高次モーメント（例えば、歪度、エントロピ、またはそれに関わるもの）を分析することに左右されるため、この技術の制約を受けることなく、より直に収差を決定する。この新規の手法ではまた、カーネル正準相関分析の使用を通して非軸収差の大域記述（global description）を用いて、非軸収差を較正する。第２の新規の態様は、データ収集時に非単純化（完全記述化：fully described）収差を使用し、後続のデータ分析時にソフトウェア補正を適用することによってその影響を無効にすることであり、これにより、データ品質に悪影響を及ぼすことなく、クライオＥＭにおけるデータ収集の処理能力を大きく高めることができる。別の技術革新は、クライオＥＭにおける高次収差の使用であり、これにより、分解能を上げることができ、ビームを傾けるデータ収集モードも可能になる。回折測定以外の現在のデータ収集法のいずれでも、データ収集に可変ビームチルトを使用しない。ビームを傾けると、断層撮影がスピードアップし、非常に素早い、限られた角度範囲の断層撮影を行うことができ、結晶に関わる新しいタイプの画像化実験が可能になる。
【0064】
本開示では、より詳細な（より高い分解能の）構造モデルを提供し、このモデルは、実験間でかなりのばらつきがある未補正収差レベルにより有益であるかどうかが決まる。顕微鏡をより上手くアライメントさせることができる技量の高い実験者であれば、その実験データにおける収差レベルは低くなる。この分野における現在の典型的な結果では、かろうじて受け入れられる分解能であるので、分解能を少しでも高めることが極めて重要である。ビームチルトに関するデータ収集は、新しい実験モダリティを可能にする。このモダリティは、巨視的な（数ミクロン）結晶を作り出すことのない化学物質の絶対配置決定などの科学上の問題および産業上の問題に対処する。分解能を高めることは、クライオＥＭ実験の最も重要な側面のうちの１つである。クライオＥＭモデルの分解能の最適化には、個々の実験プロジェクトで数か月か数年を要する場合がある。本発明の手法では、現在のソフトウェアが異なるミスアライメントの存在のサインを何ら与えないような、データ収集時の計器アライメントの状態である未知の未知数のうちの１つを取り除く。現在の問題の一部は、アライメントのばらつきが如何なる実験記録にも標準プロトコルで保存されないことである。
【0065】
本開示の方法により、それほど高価ではない計器、例えばＴａｌｏｓ ＡｒｃｔｉｃａやＧｌａｃｉｏｓでは、かなり高価な計器、例えばＫｒｉｏｓによってもたらされた結果と処理能力および質の面でほぼ同じ結果をもたらすことができる。これは、現在のデータ分析用ソフトウェアでは扱うことのない非並列ビーム照明を受け入れることによって実現されることがあり、Ｋｒｉｏｓでは、並行モードで照明対象面積を調整することができる一方、それほど高価ではない計器では、試料の照明対象面積を縮小するのにつれてビームが収束する。これらの計器間の原価の差は数百万ドルであり、この差に関わる他の要因が実際にはそれほど重要ではない。
【0066】
本開示の方法で使用される較正段階は、この手法に適した実験立ち上げと相まった最大エントロピ関連方法のその使用の面で重要な新規性をもつ。非軸歪みの補正での原子格子のその使用もまた斬新で革新的である。収差におけるばらつきを追い、この可変収差を補正するのに特に有用である研究対象試料を較正に使用することができるが、この研究対象試料は、他の較正情報も提供する場合がある。ばらつきの大域（非軸）分析は、カーネル（非線形）正準相関よりも効率的ではない方法でも行われ得るが、カーネル正準相関は、十分に正確な（理に適った）予測変数を回復させるのに比較的少ない観察／較正データ点でも済むことから、他の方法よりも効率的である。
【0067】
グラフェンまたは酸化グラフェン層は、高コントラストを作り出す重原子に透過性で安定した支持体をもたらすことを含む、複数の目的を果たすものであり、結晶周期性は、（専門用語では、楕円歪みであり、歪み円を順守することに由来する意味をもつ）高倍率の距離尺度および角歪みマーカとして働く。強い重原子は、高倍率でその相対距離に対して較正されると、複数のより低い倍率における倍率および歪み較正時の距離特徴として働くことができる。高分解能では、歪みは、画像内の線形として見なすことができ、歪みが異方性であれば、楕円歪みとされることがある。低分解能では、非線形記述を用いて、画像におけるその位置依存を記述することができる。高分解能では、画像内のその位置依存を目の当たりにすることはできないが、ビーム画像シフト法を適用すると、倍率および楕円歪みが、顕微鏡内の位置が変わるにつれて変わるが、観察した画像のサイズよりも相当に大きなシフトの場合しかそのようにならないことを確認した。結晶格子を観察する際、周期格子がコントラスト伝達関数（ＣＴＦ）の零点のうちの１つにならないように焦点ずれ走査を行うことができる。軽原子（炭素やケイ素など）の結晶周期性を観察することが１Å以下の実画素サイズで優先的に行われる。実画素サイズとは、データ画素サイズとは異なる場合がある検出装置の物理画素のことである。データ画素サイズは、補間／超分解能法に起因して小さくなる場合がある。
【0068】
較正の次の段階では、ＣＴＦであるが複素量として扱われるＣＴＦの決定を伴う。状況、例えば顕微鏡に応じて、画像およびビームチルトシフト空間における較正条件計画は、不完全な要因計画かまたは完全な要因計画に従うものであってもよい。それぞれの画像位置、ビームチルトなどに対して、画像のＣＴＦが分析され、ラゲール－ガウス関数が実成分をもたらし、独立成分分析（歪度、尖度、最大エントロピ）と同様の画像のより高いモーメントの分析では、ＣＴＦの位相ずれ成分（虚数部）を示す。この手順で得られたすべての収差は、局所軸収差（local axial aberrations）である。
【0069】
較正から得られた値は、カーネル正準相関分析（ＫＣＣＡ）に登場する。この方法により、関数の形式のすべてのパラメータ（収差）間の非線形依存の回復が可能になるので、局所軸収差の極めて正確な値の回復をもたらす。今度は、較正されていないものであっても（較正は、通常めったに行われない）、画像空間のすべての点における収差の値を計算するのにこの関数（予測変数）が使用され得る。
【0070】
電子光学素子の設計は、本質的に、考えられ得るビーム画像シフト範囲全体にわたる複素非軸収差を誘発する。若干の誤差が生じるが、このような収差は、製造段階時や顕微鏡組み立て段階時でほとんどが明らかにされる電子光学素子の幾何学的形状の結果である。この理由から、較正には、顕微鏡構成要素の機械上の再アライメント後に起こる大きな変化と共に、データ収集間やデータ収集中に起こるささいな変化と相まって、経時で安定している大きな成分がある。較正を分析（上記参照）と組み合わせることで、所与の計器に対する非軸収差の先行写像（較正）をもたらすことができ、この較正には、経時安定成分と時変成分とがあるようになる。非点収差には、１回のデータ収集進行時でも特定のばらつきが見られたが、球面収差やトレフォイルのようないくつかの複素収差は、かなり安定していると予想される。時間に関わる説明変数を加えたＫＣＣＡによりフルキャリブレーションを繰り返すことで、安定成分と非安定成分とを同定する。
【0071】
本開示では、数ある中でも、（１）実際に役に立ち、重要であり、非クライオＥＭ、高分可能アプリケーションにも適用され得る、安定成分にも時間依存（動的）成分にもクライオＥＭで使用される顕微鏡の自動アライメントを可能にすることと、（２）大きなビーム画像シフトに起因する非軸収差が補正され得ることから、（ビーム画像シフト法が使用されるが、この方法で補正することができるビームシフト規模でではない）高処理能力クライオＥＭデータ収集を可能にすることとの収差補正を提供する。データ収集法では、位相板を使用する際に特に重要であるビームシフトによって誘発されるビームチルト作用（分かっている）を打ち消すのに意図的につなげられたビームチルトを含むことがあり、（３）複数の位置（孔）からの途切れのない、つまり、１つの動画がデータ収集後にソフトウェアによって行われる分割によるいくつかの顕微鏡写真に対応する、多くのフレームが入っている非常に長い動画を作り出す面で途切れのないデータ収集を可能にする。データ収集に遅れがあるのは、顕微鏡におけるステージの機械上の動きだけではなく、検出装置からのデータ取得の開始および停止にも関係している。現行の標準は、動画当たり１つの顕微鏡写真であるが、検出装置立ち上げ時間を費やし、例えば、Ｆａｌｃｏｎ３では３秒を費やす。複数の顕微鏡写真から途切れのない動画を集めることで、この遅れの影響を和らげるが（例えば、この方法が事実上の要因によって低減される、試料を位置付けし直すことから）、この遅れは、他の遅れが緩和された場合にしか重要にはならない。１回の顕微鏡写真露光がたった１秒で行われ得るので、検出装置立ち上げ時間を回避することが重要になり、（４）特に、ビーム画像シフト法で使用される場合、位相板の一層良い使用を可能にする。この態様は、ａ）位相板上の望ましい点を正確に見出すことと、ｂ）位相板を位置付けし直す、新規の非自明の方策を使用することとを含む。この新規の方策には複数の重要な利点があり、その利点には、実験データにわたる安定した最適な位相ずれと、位相板の効率的な使用とが含まれ、位相板の効率的な使用により、高処理能力モードが可能になり、（５）ステージチルトとビームチルトとの混合を使用することによる素早い断層撮影と、ステージチルトのみに頼る現在の方法よりも素早く正確である方法とが可能になり、（６）データ収集およびデータ分析に対する調整により、結晶からの画像化モードにおけるデータ収集が可能になり、（７）特に、（例えば、２００ｋＤａよりも小さい）クライオＥＭ適用性のより小さな寸法端における巨大分子の場合、構造の高分解能構成を向上させるさらなる実験情報の取得が可能になる。本開示のこの態様は、収差である間に、位相板がないときにコントラストを意図的に上げるのに使用される、焦点ずれに関係している。焦点ずれの正確な値は、非常に貴重であると考えられる高分解能再構成に影響を与える。焦点ずれは、光学素子の焦点位置からの粒子の重心のｚ方向（ビーム方向）の間隔として定義される。（２００ｋＤａよりもかなり大きい）大きな分子では、焦点ずれは、各粒子の個々の直接基準ベースの微調整によって決まってくることがある。これは、ｚ高さが粒子間でばらつく場合に明らかな問題がある、それらのｚ高さを見極めるのに、複数の粒子からの信号の代わりに使用される、不十分な信号対雑音比に起因して、例えば、粒子が氷層における異なるｚ高さに位置することに起因して、また場合によっては、この層の傾きおよび曲率に起因して、より小さな粒子では実現することができない。このｚ決定誤りの結果は、ｚ高さを決定するそれとは異なる方法をもっている場合には避けることができるが、本発明の方法は、このような方法を提供するため、ここでは関わっている。様々なチルトの画像を比較することで、焦点ずれを分析するのよりも高い精度で、個々の粒子のｚ高さ決定が可能になる。事実、これは、例えば写真用カメラに使用される、電子と可視光学素子との違いに起因する明らかな技術調整を伴う、位相検出方法として光学系分野ではよく知られている。１つまたは複数の動画において複数のビームチルト（可変ビーム方向）を集めるように実験データ収集が調整される必要があるであろう。現在の計器は、このような調整が完全に可能であり、これは、ソフトウェアの観点からも手の込んだことではない。
【0072】
ある態様において、本開示では、電子顕微鏡において非軸収差を補正する方法を提供し、方法は、顕微鏡の前の較正からの入力データによりカーネル正準相関分析（ＫＣＣＡ）を行って、非軸収差の大域記述（予測変数）、すなわち、光学系の点ごとの収差記述を回復させるステップを含む。この方法は、方法適合信号および方法適合計算挙動（例えば、サイズが分かっている原子、塊、回折極大）をもたらす、グラフェン／酸化グラフェンで覆われ、金、白金、またはイリジウムなどの耐放射線物質でまばらにスパッタリングされた格子により電子顕微鏡を較正する先行ステップであって、較正データが、ビーム画像シフト法でまたはチルティング時に使用される区域に及ぶように選択される光学系の複数ではあるが（例えば、数百程度の）すべてではない点で集められる、較正する先行ステップをさらに含む。
【0073】
方法は、光軸およびユーセントリック高さから離れた任意の位置でも収差パターンを得るのに予測変数を適用して、（本開示の技法を実施するのに使用可能なｚ高さ域全体を較正することを必ずしも必要とするわけではないが）データ品質に収差の影響を及ぼすことなく、画像空間を光軸から離すステップをさらに含む。
【0074】
本開示の方法は、ＴＥＭ顕微鏡のビーム画像シフト法および／または自動較正に適用され得る。本開示の方法は、その特定の収差の補正と、データ補正セッション時の顕微鏡写真間の途切れのない進行（１つの顕微鏡写真で進めるのではなく、顕微鏡写真間で非常に少しずつ進めていく）とを含む位相板の使用に適用され得る。
【0075】
ＫＣＣＡは、階層的に、すなわち、まず、計器の時間不変記述（a time-invariant description）を得て、そして、データが集められるたびに収差の時変成分を補正するように、実行され得る。ある態様において、本開示では、非軸収差を補正する方法を提供し、この方法は、方法適合信号および方法適合計算挙動（例えば、サイズが分かっている原子、塊、回折極大）をもたらす、グラフェン／酸化グラフェンで覆われ、金、白金、またはイリジウムなどの耐放射線物質でまばらにスパッタリングされた格子による較正ステップであって、較正データが、傾斜試料の様々なｚ高さに起因する焦点調整を含む、ビーム画像シフト法に使用される区域に及ぶように選択された光学系の複数ではあるが（例えば、数百程度の）すべてではない点で集められる、（通常、傾斜試料の画像シフトから生じるｚ距離域であるが、使用可能なｚ距離域よりもかなり狭いｚ距離域に対して収差を較正する）較正ステップと、較正ステップからの入力データによりＫＣＣＡ（カーネル正準相関分析）を行うステップであって、この工程では光学系の点ごとの収差の記述を示す、ＫＣＣＡを行うステップとを含む。
【0076】
この較正を用いて、クライオＥＭ計器ごとに特徴を把握することができる。実際には、計器が購入された、動かされた、または他の考えられ得る較正を乱す変更が行われた場合など、フルキャリブレーションは、通常めったに行われないが、他の時点で、計器が必ず正しく働くように、定期もしくは不定期の較正計画の一環として、またはいつでも行われてもよい。
【0077】
ＫＣＣＡは、（ａ）における較正からの入力に基づいて、使用を決めた光学系の点ごとの光学収差の決定を可能にするが、ＫＣＣＡでは、時間につれて変わる収差から、時定収差、例えば、トレフォイルを分けることも伴う、較正が行われた計器に固有の式を与える。それ故、通常の試み（較正ではない）時に集められたデータが、ＫＣＣＡへの入力として、また較正時に決定された値とのずれとしてこれらの時変変化を決定するのに使用され得る。
【0078】
ＫＣＣＡは、一枚の顕微鏡写真較正から得た入力数字を用いて、ビーム画像シフト法で、時間不変と時間依存との顕微鏡記述を決定する。較正は、ここで説明するのとは違うように行われてもよいが、規定の格子から原子特徴／回折を与える２つ物質の混合など、その時には分かっていない／標準較正には必要ではない特徴の組合せでなければならない。ビーム画像シフト法の全範囲で現れる高次収差を特徴付ける原子規模における標準較正は行われない。
【0079】
様々に集められた較正データに対してＫＣＣＡを実施することができる。逆に言うと、この較正手順で集められた点を、他の、場合によっては、ＫＣＣＡよりもゆっくりした、正確さが劣る手法で使用し、なお有用と考えられ得る大域予測変数を作り出すことができる。ＫＣＣＡは、繰り返し実施され、すなわち、まず較正データに対して実施され、顕微鏡の時間不変記述を得て（これはめったに行われない）、そして、「標準」試料に対する実験ごとに行われ、較正の時変成分を補正する（これは頻繁に行われる）。較正およびＫＣＣＡからの出力により、ビーム画像シフト法、すなわち、一層素早いデータ収集、自動顕微鏡較正などではシフトを大きくすることができる。本開示の方法は、列挙したそれぞれの組合せが手間の掛かるものであったとして、列挙した特定の実施形態のすべての組合せを含む。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【手続補正書】
【提出日】2022-04-12
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
電子顕微鏡画像において１つまたは複数の画像収差を補正する方法であって、内部基準格子試料の複数の電子顕微鏡（ＥＭ）画像を得るステップであって、前記複数のＥＭ画像が、複数の調整されたビーム画像シフトを含む複数の光学上の条件に関連して電子顕微鏡を用いて取り込まれるものである、複数のＥＭ画像を得るステップと、
試料ドリフトに対して前記複数のＥＭ画像を補正することによってＥＭ顕微鏡写真を生成するステップと、
１つまたは複数の逆畳み込み係数を用いて変換画像の逆畳み込みを行うことによって、逆畳み込み画像を生成するステップであって、前記変換画像は前記ＥＭ顕微鏡写真に変換を適用することによって生成されるものである、逆畳み込み画像を生成するステップと、
前記逆畳み込み画像にフィルタを適用することによって、フィルタ逆畳み込み画像を生成するステップと、
前記フィルタ逆畳み込み画像の逆変換を計算することによって、収差補正ＥＭ顕微鏡写真を生成するステップと、
前記収差補正ＥＭ顕微鏡写真に対して強度分布を決定するステップと、
前記強度部分布に対してモーメントを計算するステップと、
前記１つまたは複数の逆畳み込み係数のうちの最適な１つまたは複数が前記モーメントの極大化に基づいて決定されるまで、１つまたは複数の逆畳み込み係数を用いて反復最適化プロセスを行うステップと
を含んでなる方法。
【請求項2】
前記１つまたは複数の逆畳み込み係数のうちの前記最適な１つまたは複数と前記複数の光学上の条件とのカーネル正準相関分析を用いて、収差を予測するのに使用できる収差補正関数を決定するステップをさらに含む、請求項１に記載の方法。
【請求項3】
前記内部基準格子試料の少なくとも１つの分かっている性質とは異なる１つまたは複数の性質が分かっている較正チェック格子試料の１つまたは複数のＥＭ画像を得るステップと、前記１つまたは複数のＥＭ画像に前記収差補正関数を適用することによって、収差補正ＥＭ画像を生成するステップと
をさらに含む、請求項２に記載の方法。
【請求項4】
前記収差補正ＥＭ画像における１つまたは複数の特徴を前記較正チェック格子試料の１つまたは複数の分かっている性質と比較して、前記収差補正関数が適しているかどうか判断するステップをさらに含む、請求項３に記載の方法。
【請求項5】
前記収差補正関数が、ある範囲にある場合には適していると判断され、前記収差補正関数が、前記ある範囲から外れている場合には適していないと判断される、請求項４に記載の方法。
【請求項6】
前記反復最適化プロセスは、前記反復最適化プロセスの以前の反復とは異なる逆畳み込み係数値域から前記１つまたは複数の逆畳み込み係数を選択することを含む、請求項１に記載の方法。
【請求項7】
前記反復最適化プロセスは、前記１つまたは複数の逆畳み込み係数のうちの前記最適な１つまたは複数が、前記モーメントの極大化に基づいて決定されるまで、前記逆変換の前記計算することを少なくとも繰り返すことを含む、請求項１に記載の方法。
【請求項8】
前記ＥＭ顕微鏡写真を生成するステップは、前記複数のＥＭ画像の位置合わせおよび動き補正を行うことを含む、請求項１に記載の方法。
【請求項9】
前記フィルタがハイパスフィルタであり、前記逆畳み込み画像に前記ハイパスフィルタを適用することによって前記フィルタ逆畳み込み画像が生成される、請求項１に記載の方法。
【請求項10】
前記複数の光学上の条件は、複数の焦点ずれ、複数のｚ高さ、複数のビームチルト、複数のビーム並列化、およびその任意の組合せから選択される、請求項１に記載の方法。
【請求項11】
前記変換がフーリエ変換であり、前記ＥＭ顕微鏡写真に前記フーリエ変換を適用することによって、前記変換画像が生成される、請求項１に記載の方法。
【請求項12】
前記内部基準格子試料は、支持体全体にわたって分布する非晶質物を含み、前記非晶質物の原子質量は、前記支持体を含む物質よりも重いものである、請求項１に記載の方法。
【請求項13】
前記モーメントを計算するステップは、独立成分分析による最適化に適する関数に基づいて、前記強度分布の形状を定量化することを含む、請求項１に記載の方法。
【請求項14】
前記関数は、ある群から選択され、前記ある群は、負エントロピ、歪度、および尖度を含むものである、請求項１３に記載の方法。
【請求項15】
前記モーメントを計算するステップは、負エントロピを最適化するのに基づいて、前記強度分布の形状を定量化することを含む、請求項１に記載の方法。
【国際調査報告】