特許 7618948 電子顕微鏡を用いる生命科学試料の連続微細切片からナノメートル解像度３Ｄ画像データを記録するための自動ロバスト法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2025-01-14

(45)【発行日】2025-01-22

(54)【発明の名称】電子顕微鏡を用いる生命科学試料の連続微細切片からナノメートル解像度３Ｄ画像データを記録するための自動ロバスト法

(51)【国際特許分類】

   H01J 37/22 20060101AFI20250115BHJP

   H01J 37/28 20060101ALI20250115BHJP

【ＦＩ】

H01J37/22 502H

H01J37/22 502A

H01J37/28 B

【請求項の数】 16

【外国語出願】

(21)【出願番号】P 2020110112

(22)【出願日】2020-06-26

(65)【公開番号】P2021009840

(43)【公開日】2021-01-28

【審査請求日】2023-06-16

(31)【優先権主張番号】62/868617

(32)【優先日】2019-06-28

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】501233536

【氏名又は名称】エフ イー アイ カンパニ

【氏名又は名称原語表記】ＦＥＩ ＣＯＭＰＡＮＹ

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】ハロルド，フェリッペオウ

(72)【発明者】

【氏名】コディ，レヴィエン

(72)【発明者】

【氏名】ティルマン，フランケ

【審査官】後藤 慎平

(56)【参考文献】

【文献】米国特許出願公開第２０１９／０１２２８５４（ＵＳ，Ａ１）

【文献】特開２００７－２９９７６８（ＪＰ，Ａ）

【文献】特開２０１４－０７５１９２（ＪＰ，Ａ）

【文献】特開２０１１－０７６９６０（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０１Ｊ ３７／００－３７／３６

(57)【特許請求の範囲】

【請求項1】

走査型電子顕微鏡における画像生成の方法であって、
プロセッサにより、
並んで配置された一連の試験体切片に対応するプレビュー画像のセットを得ることと、
前記プレビュー画像の見当を合わせるように、前記プレビュー画像のセットの前記プレビュー画像の各々を位置合わせするために処理することと、を含み、
前記方法は、
複数の試験体切片に対応する画像エリアを含む画像を得ることと、
前記試験体切片に対応する前記画像エリアを特定するように、前記画像を処理することと、
前記試験体切片の場所を確立することと、をさらに含み、
前記プレビュー画像の各々がそれぞれの試験体切片に対応し、
前記方法は、
前記試験体切片に対応する前記画像エリアの位置合わせに対応するステージ座標を決定することと、
選択された切片の各々の関心領域（ＲＯＩ）を得ることと、前記プレビュー画像の位置合わせに基づき、前記ＲＯＩの少なくとも一部分の３次元再構成されたものを作り出すことと、をさらに含む、方法。

【請求項2】

前記プレビュー画像が、前記プレビュー画像のうちの１つ以上における少なくとも１つの特徴に基づき、見当合わせのために処理される、請求項１に記載の方法。

【請求項3】

さらに、各プレビュー画像が、前記プレビュー画像のセットから選択された基準プレビュー画像に基づき、見当合わせのために処理される、請求項１に記載の方法。

【請求項4】

試験体の関心領域（ＲＯＩ）に対応する切片画像のセットを得ることをさらに含み、前記切片画像が前記プレビュー画像に対応する解像度よりも高い解像度を有し、前記切片画像が、見当が合わせられたプレビュー画像に基づき位置合わせされる、請求項１～３のいずれかに記載の方法。

【請求項5】

各プレビュー画像が、前記プレビュー画像のセットから選択された検索テンプレートの相関関係に基づき、見当合わせのために処理される、請求項１～４のいずれかに記載の方法。

【請求項6】

前記プレビュー画像のセットが、Ｎ個のプレビュー画像０、．．．、Ｎを含み、Ｎが整数であり、少なくとも１つのプレビュー画像が、前記プレビュー画像のセットから選択された検索テンプレートに基づき、見当合わせのために処理される、請求項１～５のいずれかに記載の方法。

【請求項7】

ｉ番目のプレビュー画像が（ｉ－１）番目のプレビュー画像との比較によって見当が合わせされ、ｉが、１よりも大きく、Ｎよりも小さい整数である、請求項６に記載の方法。

【請求項8】

前記プレビュー画像の見当を合わせるように、前記プレビュー画像のセットの前記プレビュー画像の各々を処理することが、前記プレビュー画像を位置合わせすること、または位置合わせに対応する画像変換を格納することを含む、請求項１に記載の方法。

【請求項9】

前記プレビュー画像が第１の解像度に対応しており、前記見当が合わせられたプレビュー画像に基づき、第２の解像度を有する関心領域（ＲＯＩ）画像のセットを得ることをさらに含み、前記第２の解像度が前記第１の解像度よりも高い、請求項１に記載の方法。

【請求項10】

請求項１～９のいずれかに記載の方法を実行するシステムであって、
複数の試験体切片を含む基板の概観画像を得るように位置付けられた光学撮像素子と、
前記基板の前記概観画像を受信し、前記複数の試験体切片に対応する画像部分の位置を特定するように結合された第１の画像プロセッサと、
前記試験体切片の各々の選択した部分に対応するプレビュー画像を作り出すように構成された荷電粒子ビーム画像化システム（ＣＰＢ画像化システム）と、
前記プレビュー画像を受信し、かつ前記プレビュー画像の位置合わせを決定するように結合された第２の画像プロセッサと、を備える、システム。

【請求項11】

前記ＣＰＢ画像化システムが、前記試験体切片の各々に対応するＲＯＩ画像を作り出し、かつ前記プレビュー画像の前記位置合わせに基づき、前記ＲＯＩ画像を位置合わせするように構成されている、請求項１０に記載のシステム。

【請求項12】

前記第１の画像プロセッサと前記第２の画像プロセッサとが同じ画像プロセッサである、請求項１１に記載のシステム。

【請求項13】

前記光学撮像素子によって作り出された前記基板の画像が第１の解像度を有し、前記プレビュー画像が、前記第１の解像度よりも高い第２の解像度を有し、ＲＯＩ画像が前記第２の解像度よりも高い第３の解像度を有する、請求項１２に記載のシステム。

【請求項14】

前記第１の画像プロセッサが、切片テンプレートとの相関関係に基づき、前記複数の試験体切片に対応する画像部分の位置を特定するように結合されている、請求項１２に記載のシステム。

【請求項15】

前記第２の画像プロセッサが、１つ以上の検索テンプレートとの相関関係に基づき、または特徴識別に基づき、前記プレビュー画像を位置合わせするように結合されている、請求項１２に記載のシステム。

【請求項16】

基板ステージをさらに備え、前記第１の画像プロセッサが、前記試験体切片の画像の位置合わせに対応する基板ステージ場所を決定するように結合され、前記第２の画像プロセッサが、前記プレビュー画像の位置合わせに対応する基板ステージ場所を決定するように結合されている、請求項１４に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年６月２８日に出願された米国仮特許出願第６２／８６８，６１７号の利益を主張し、参照によりその全体が本明細書に組み込まれる。

【0002】

本開示は、走査型電子顕微鏡を使用して、複数の切片の正確に一致したサブエリアの取得に関する。

【背景技術】

【0003】

組織試料の極細構造情報は、ライフサイエンス研究においてますます重要になっている。走査型電子顕微鏡（ＳＥＭ：Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ）は高分解能の画像を得ることができるが、組織試料は、ＳＥＭ分析に必要な二次電子または後方散乱電子を効率的に生成することができない。そのため、試料は重金属（オスミウム、鉛など）で染色された後、樹脂製ボックに埋め込まれてトリミングや切除が行われる。これらの結果として得られたブロックは、約１ｍｍ^３の大きさである。ＳＥＭでの画像形成は、電子が効率的にブロック内に約３０ｎｍよりも深くまで浸透しないため、ブロック表面に限られる。３Ｄ画像データを生成するためには、ブロックを連続切片に切断するか、画像化の際にブロック表面から薄い層を除去する必要がある。シリアルブロックフェース画像化またはＦＩＢ－ＳＥＭデュアルビーム画像化のような層の除去に基づくアプローチは、試料を破壊し、ユーザは、切片がイメージの再適用することができない時に、画像化の際に大規模データを取得する必要がある。いわゆるアレイトモグラフィーにおいて使用される切片に試料を切断して、各切片は必要に応じてイメージの再適用することができ、ユーザは試料破壊に関わる必要がない。市販のウルトラミクロトームは、５０ｎｍの切片を再現性よく切断することができ、次に、１００～３００個の連続切片は、通常は１０ｃｍウェハまたは最大１０^２ｃｍ^２の面積の金属板の、導電性支持体上に置かれる。

【0004】

組織ブロック全体から高解像度の画像データを取得する必要はほとんどない。また、１０×１０×５０ｎｍ画素解像度の解像度で記録された１ｍｍ^３ブロックは、３ペタバイトのデータに相当し、３μｓのビーム滞留時間で記録するには１０５日かかることは、実現可能ではない。目的体積または関心は、典型的には、１個または数個の生体細胞のサイズ、すなわち、３０^３μｍ^３～１００^３μｍ^３に相当する。連続切片のＳＥＭ画像化における主な障害は、試料支持体の表面上に散在している連続切片の数百の各々において、同じ３０^２μｍ^２～１００^２μｍ^２のエリアにナビゲートされる。ＳＥＭ技術者はこの方法でナビゲートすることができるが、適切な切片の場所を特定し、切片のこれらの部分を整列させるために、数時間から数日間という非常に長い時間が必要になる可能性がある。これらの理由およびその他の理由により、代替的なアプローチが必要とされる。

【発明の概要】

【0005】

開示されているのは、高精度で、すなわち、画像化エリアの配置の切片間の変動を最小限に抑えた状態で、標本切片の選択された部分を高精度で画像化することを可能にする方法および装置である。いくつかの例では、プレビュー画像は、プレビュー画像のうちの１つ以上において少なくとも１つの特徴に基づいて見当合せのために処理される。代替的に、各プレビュー画像は、プレビュー画像のセットから選択された検索テンプレートに基づいて見当合せのために処理される。典型的な例では、ＲＯＩに関連付けられた標本画像のセットが得られ、標本画像は、プレビュー画像に関連付けられた解像度よりも高い解像度を有する。いくつかの例では、各プレビュー画像は、プレビュー画像のセットから選択された検索テンプレート画像との相関関係に基づいて見当合せのために処理される。特定の例では、プレビュー画像のセットは、Ｎ個のプレビュー画像０、．．．、Ｎを含み、ここで、Ｎは整数であり、少なくとも１つのプレビュー画像は、プレビュー画像のセットから選択された検索テンプレート画像に基づいて見当合せのために処理される。例えば、ｉ番目のプレビュー画像は、（ｉ－１）番目のプレビュー画像と比較することにより見当合せされ、ここで、ｉは１より大きくＮ未満の整数である。いくつかの実施形態では、プレビュー画像のセットのプレビュー画像の各々は、プレビュー画像を位置合わせするか、または位置合わせに関連付けられた画像変換を格納することによって見当合せされる。さらなる例では、プレビュー画像は第１の解像度に関連付けられ、第２の解像度を有するＲＯＩ画像のセットは、見当が合ったプレビュー画像に基づいて取得され、第２の解像度は第１の解像度よりも高い。

【0006】

他の代替例では、複数の標本切片に関連付けられた画像エリアを含む画像が得られ、標本切片に関連付けられた画像エリアを識別するために処理される。切片の位置は、識別された画像エリアに基づいて確立され、プレビュー画像の各々は、それぞれの標本切片に関連付けられている。代表的な例では、標本切片に関連付けられた画像エリアの位置合わせに関連付けられたステージ座標が取得され、かつ格納される。典型的な例では、選択された切片の各々についてＲＯＩ画像が得られ、プレビュー画像の位置合わせに基づいて、またはプレビュー画像の位置合わせに基づいて位置合わせされた高解像度画像に基づいて、ＲＯＩの少なくとも一部分の３次元再構成が生成される。

【0007】

システムは、複数の標本切片を含む基板の概観画像を取得するために配置された撮像素子を備える。第１の画像プロセッサは、概観画像を受信し、複数の標本切片に対応する画像部分の位置を特定するために結合される。荷電粒子ビーム（ＣＰＢ：Ｃｈａｒｇｅｄ Ｐａｒｔｉｃｌｅ Ｂｅａｍ）画像化システムは、各標本切片の選択された部分に対応するプレビュー画像を生成するように構成される。第２の画像プロセッサは、プレビュー画像を受信し、プレビュー画像の位置合わせを決定するために結合される。いくつかの例では、ＣＰＢ画像化システムは、各標本切片に対応したＲＯＩ画像を生成し、プレビュー画像の位置合わせに基づいてＲＯＩ画像を位置合わせするように構成される。代表的な例では、第１の画像プロセッサと第２の画像プロセッサは同じ画像プロセッサである。他の例では、概観画像は第１の解像度を有し、プレビュー画像は第１の解像度よりも高い第２の解像度を有し、ＲＯＩ画像は第２の解像度よりも高い第３の解像度を有する。いくつかの例によれば、第１の画像プロセッサは、切片テンプレートとの相関関係に基づいて、複数の標本切片に関連付けられた画像部分の位置を特定するように結合される。さらなる例では、第２の画像プロセッサは、１つ以上の検索テンプレートとの相関関係に基づいて、または特徴識別に基づいて、プレビュー画像を位置合わせするように結合される。いくつかの例では、第１の画像プロセッサは、標本切片の画像の位置合わせに対応する基板ステージ位置を決定するように結合され、第２の画像プロセッサは、プレビュー画像の位置合わせに対応する基板ステージ位置を決定するように結合される。

【0008】

方法は、プロセッサを使用して、切片テンプレートに基づいて、３Ｄ試料の複数の切片の概観画像において、３Ｄ試料標本の複数の標本切片を識別することを含み、概観画像は、第１の画像解像度に関連付けられた光学画像である。識別された複数の標本切片の画像が見当合せされ、識別された切片の画像の少なくとも選択されたセットにおける関心領域を含む絞り込み領域が選択される。絞り込み領域の各々を含むプレビュー画像が得られ、プレビュー画像は、第１の画像解像度よりも高い第２の画像解像度を有する電子ビームベース画像である。プレビュー画像は、特徴識別を用いて互いに関連して見当合せされ、ＲＯＩに関連付けられた電子ビームベース画像は、プレビュー画像のそれぞれについて取得され、電子ビームベース画像は、第２の画像解像度よりも高い第３の画像解像度を有する。見当が合ったプレビュー画像の各々に対して、ＲＯＩに関連付けられた見当が合った電子ビームベース画像が格納される。

【0009】

開示された技術のこれらおよび他の特徴は、添付の図面を参照して以下に示される。

【図面の簡単な説明】

【0010】

【図1A】切片試料からの画像の位置合わせと見当合せの代表的な方法を示す。

【図1B】切片試料からの画像の位置合わせと見当合せの代表的な方法を示す。

【図2A】切片画像の位置合わせに関連した画像を示す。

【図2B】切片画像の位置合わせに関連した画像を示す。

【図2C】切片画像の位置合わせに関連した画像を示す。

【図2D】切片画像の位置合わせに関連した画像を示す。

【図2E】切片画像の位置合わせに関連した画像を示す。

【図2F】切片画像の位置合わせに関連した画像を示す。

【図2G】切片画像の位置合わせに関連した画像を示す。

【図2H】切片画像の位置合わせに関連した画像を示す。

【図2I】切片画像の位置合わせに関連した画像を示す。

【図3】見当が合った画像を生成する代表的な画像化装置を示す。

【図4】画像取得および処理を制御するための代表的なコンピューティング環境を示す。

【図5】画像を位置合わせする方法を示す。

【図6A】切片画像を位置合わせする代表的な方法を示す。

【図6B】切片画像を位置合わせする代表的な方法を示す。

【図6C】切片画像を位置合わせする代表的な方法を示す。

【図6D】切片画像を位置合わせする代表的な方法を示す。

【図6E】切片画像を位置合わせする代表的な方法を示す。

【図7】３Ｄ断層撮影のための一連の画像を取得するための代表的な方法を示す。

【図8A】歪みのある場合とない場合の切片画像を示す。

【図8B】歪みのある場合とない場合の切片画像を示す。

【図8C】テープ上に位置付けられた切片を示す。

【図8D】画像化視野内の異なる切片位置で取得された切片画像に関連する切片画像アーチファクトを示す。

【図8E】画像化視野内の異なる切片位置で取得された切片画像に関連する切片画像アーチファクトを示す。

【図8F】画像化視野内の切片を位置合わせすることにより、切片画像のスティッチングに関連する切片画像アーチファクトを低減または除去することを示す。

【図8G】画像化視野内の切片を位置合わせすることにより、切片画像のスティッチングに関連する切片画像アーチファクトを低減または除去することを示す。

【図9A】リボン状の標本切片を有するプレビュー画像を使用して、画像スタック内の画像の位置合わせを示す。

【図9B】リボン状の標本切片を有するプレビュー画像を使用して、画像スタック内の画像の位置合わせを示す。

【図9C】リボン状の標本切片を有するプレビュー画像を使用して、画像スタック内の画像の位置合わせを示す。

【図9D】リボン状の標本切片を有するプレビュー画像を使用して、画像スタック内の画像の位置合わせを示す。

【発明を実施するための形態】

【0011】

定義と用語
本明細書で使用されるように、「画像」とは、ディスプレイ上に提示されるか、またはユーザによって閲覧が可能にされる閲覧可能な画像、およびそのような閲覧可能な画像を生成するように適合された格納された表現を指す。このような表現の例としては、．ｊｐｇ、．ｔｉｆｆ、．ｂｍｐなどの形式のファイルを含み、ハードディスクドライブ、メモリなどのコンピュータ可読媒体に格納されているか、または別の方法で格納されている。画像は、ｘ、ｙがデカルト座標である場合、強度Ｉ（ｘ、ｙ）などの座標の関数として、強度または他の値を格納することができる。他の表現は、デカルト座標、極座標、その他の座標を使用する３次元表現なども可能である。便利な説明のために、方法は、特定のステップのシーケンスとして説明されているが、いくつかの場合には、これらのステップは、異なる順序で実行することができ、１つ以上のステップが同時に進行中であってもよい。場合によっては、画像または画像部分は、位置合わせされる、または位置合わせ中と呼ばれる。本明細書で使用されるように、これらの用語は、切片化する前の標本の位置および向きに対応するように重なり合うように、回転および／または並進によって処理された標本切片の画像を指す。代替的に、これらの用語は、回転、並進、または切片化の前に標本の位置および向きを有する画像を生成することを可能にする他の処理、を識別するために処理された画像を指す。例えば、すべての画像が共通の座標系で指定されるように画像座標を更新することができるか、または、それぞれの画像は、自身の座標系または他の座標系に関して定義することができるが、オフセットおよび／または回転を利用して、必要に応じて画像を重ね合わせたり、その他の方法で位置合わせさせたりすることができる。いずれの場合も、画像は、その後、切片画像のスタックを介して標本の構造を決定するために使用することができる。位置合わせは、好適な画像を取得するための光学顕微鏡またはＣＰＢ顕微鏡のステージ座標を決定するために使用することができる。

【0012】

いくつかの例では、１つ以上の参照画像またはテンプレートとの相関が、画像位置合わせを決定するために使用される。固定または可変の参照またはテンプレートを使用することができる。典型的には、レイヤー画像の正確な位置合わせは、スタック内の切片画像によって異なる可能性のある参照画像を使用する。例えば、参照に関して位置合わせのために処理された画像は、後続の画像を位置合わせするための参照として使用することができる。参照画像は、少なくともスタック内の切片画像を変更することができ、または２番目、３番目、４番目、５番目、またはその他の間隔ごとに変更することができる。特徴はレイヤーからレイヤーへと追跡することができ、または、レイヤー間の相関を計算し、相関の最大値を使用して位置合わせを示すことができる。

【0013】

実施例の概要
例は、ミクロトームを使用して得られた標本の処理切片で説明されている。複数の切片が基板上に位置特定され、第１の位置合わせ手順（「大まかな位置合わせ」）が、基板の概観画像に含まれる切片画像の中から典型的にはユーザによって選択される切片テンプレートとの比較または相関に基づいて、切片を互いに対して位置付けるために使用される。第２の位置合わせ手順（「緻密な位置合わせ」）では、いくつかの切片またはすべての切片のいわゆるプレビュー画像が得られる。選択された切片からＲＯＩテンプレートが選択され、ＲＯＩテンプレートとの比較または相関関係に基づいて、第１のプレビュー画像が位置合わせされる。位置合わせされた第１のプレビュー画像に基づいて、ＲＯＩテンプレートが更新され、更新されたＲＯＩテンプレートとの比較または相関関係に基づいて、第２のプレビュー画像が位置合わせされる。このプロセスは、関心のあるすべてのプレビュー画像に対して繰り返される。その後、ＲＯＩはユーザによって選択され、位置合わせされた高解像度画像は、いくつかの切片またはすべての切片から取得することができる。下で考察される例では、概観画像は光学画像であり、その後の画像（プレビュー画像および高解像度画像）は電子ビーム画像である。しかしながら、光学画像または荷電粒子ビーム画像は、電子顕微鏡、光学顕微鏡、光走査型顕微鏡、イオンビーム画像などで生成されたものに使用することができる。

【0014】

実施例１．標本切片からのトモグラフィー画像
開示された方法および装置は、生物学的標本などの標本の３Ｄおよび他の画像化で使用することができる。代表的な方法１００を、図１に示す。１０２で、標本ブロックまたは他の３Ｄ標本が取得される。次に、試料ブロックは、例えば、高精度ミクロトームを用いて１０４で切片化され、切片は、一般的には、標本ブロックから除去された順に基板上に配置される。シリコンウェハは便利な基板である。複数の標本切片を保持する１つ以上の基板のセットを、本明細書では「アレイトモグラフィー試料」または単に「試料」と呼ぶ。切片は、一般的には逐次的な順序付けがより便利であるが、必要に応じて切片の順序を保持するために、切片の適切な追跡を用いて任意に配置することができる。例えば、切片の順序は１０５に格納することができる。１ｍｍ^３の標本ブロックから得られた切片は、一般的には単一の基板に適合せず、１０～１００枚のウェハが必要になる可能性がある。ほとんどの例では、切片は、平行な軸（例えば、左から右へ）に沿って延在する行に配置され、それぞれの後続の行は、先行する行の初期切片の位置に近接する新しい行の位置から始まる。代替的に、前の行の最後の切片の近くに切片を配置することで、新しい行を開始することができ、行が完了すると左端の位置に戻る。詳細に考察されてないが、標本ブロックおよび切片は、必要に応じて、光学顕微鏡または電子ビーム顕微鏡用に染色またはラベル付けすることができる。例えば、蛍光免疫ラベルおよび重金属は、それぞれ光顕微鏡および電子ビーム顕微鏡に使用することができる。場合によっては、切片はテープ上に配置され、テープは次に基板上に配置される。基板は、光および電子ビーム画像化のための位置決めのためのステージに結合されており、特徴および画像の位置は、ステージ座標および回転に基づいて指定することができる。

【0015】

基板上に配置されたままの切片（すなわち、試料）は、カメラなどの光学画像化デバイス１０８で画像化され、１つ以上の概観画像が得られる。以下では便宜上、単一の基板および単一の概観画像のみが必要であると想定している。概観画像は、通常はセクションを保持する基板表面の平面内のｘ軸およびｙ軸を有する座標系内のｘｙ座標として、切片を識別し、関連する位置を取得するために、１１０で処理される。ステージの位置（および向き）は、各々のセクションに割り当てられ、１１１で記録される。切片は、ユーザ定義のテンプレートと、例えば、テンプレートとの光学画像の相互相関を使用した概観画像と、を使用して検出することができる。テンプレートは通常、概観画像の切片画像の中から選択され、本明細書では「切片テンプレート」と呼ばれる。１つ以上の概観画像の複数の部分は、切片をより迅速に識別して配置することができるように、並行して相互相関を用いて処理することができる。約２μｍ／画素の画像解像度が使用されるため、画像またはその一部分を相関演算で使用することができるが、高解像度画像では、連続した画像間の差異が大きすぎて相互相関がうまくいかない場合がある。特定の切片の画像を識別して、すべての切片の場所の切片テンプレートとして使用することができる。

【0016】

切片が位置特定されて順序付けられた状態で、切片プレビュー画像（通常は電子ビームを使用して）が１１２で得られる。プレビュー画像は、関心領域（ＲＯＩ）を含む切片の部分に関連付けられている。いくつかの例では、プレビュー画像は、切片画像上に提供されるユーザのアウトラインに基づいて取得され、そのような選択のためにグラフィカルユーザインターフェースを提供することができる。プレビュー画像は通常、セクション全体をカバーし、切片テンプレートで定義されたサイズに１％、５％、または１０％を加えたものだが、他のサイズを使用することもできる。これらのプレビュー画像は通常、切片の場所で使用される解像度よりも優れた解像度（例えば、１μｍ／画素以上の解像度）で取得される。プレビュー画像は、画像内の歪み、画像間の可変倍率などの可変的なアーチファクトを示すことができる。その結果、通常、ステージ位置では、プレビュー画像の様々な場所にあるＲＯＩの切片の完全な、または満足のいくスタック位置合わせが提供されない。しかしながら、各ＲＯＩに好適な場所は、各ＲＯＩの画像部分の中の画像部分とそれに近接する画像部分を位置合わせさせることができるように、処理中に更新することができる検索テンプレートを使用して、特徴ベースの画像位置合わせまたは画像相関を使用して取得することができる。検索テンプレートは通常、第１のプレビュー画像の少なくとも一部分として選択される。１１４で、プレビュー画像は、検索テンプレートを使用して１つのプレビュー画像から次のプレビュー画像への画像特徴を追跡することによって位置合わせされる。いくつかの例では、追跡に使用される特徴は、標本の変動性に対応するために１つ以上のプレビュー画像が位置合わせされた後に更新され、各プレビュー画像が処理された後に検索テンプレートが更新される。いくつかの例では、選択されたプレビュー画像は、１つ以上の他のプレビュー画像との相互相関のための検索テンプレートとして使用される。処理中に、必要に応じて検索テンプレートを更新することができる。各ＲＯＩは通常、画像の歪みや他の画像アーチファクトのために、独立した特徴ベースの位置合わせまたは他の位置合わせを必要とするが、十分に近接したＲＯＩは、そうではない場合がある。許容可能な近さの程度は、画像アーチファクトの大きさと近接性の関数である可能性があり、各ＲＯＩに対して専用の特徴ベースの位置合わせを使用して、各ＲＯＩを位置合わせすることは、より便利であり得る。１１６では、プレビュー画像の位置合わせおよび登録値を取得し、１１５では、通常はコンピュータ可読媒体に格納することができる。

【0017】

画像スタックが位置合わせされると、高解像度画像（例えば、２ｎｍ／画素）を１１８で取得し、１２０で３Ｄ再構成に使用することができる。いくつかの例では、プレビュー画像の位置合わせは、通常、最初のプレビュー画像よりも高い解像度を有する追加のプレビュー画像を取得して処理することによって、繰り返され得る。追加のＲＯＩが調査される場合、処理は１１２に戻り、追加のＲＯＩに関連付けられた好適なプレビュー画像が得られ、処理される。この例では、切片は以前に位置特定されており、関連する方法のステップは不要である。

【0018】

実施例２．画像の位置合わせのプレビュー
図１Ｂは、プレビュー画像または他の画像部分を使用する画像スタック位置合わせの代表的な方法１５０を示す。説明を簡単にするために、図１Ｂは、切片０、１、２、…、Ｎの画像スタックを参照して考察されており、ここで、Ｎは整数であり、切片０は最上位の切片である。１５２では、プレビュー画像のセットを受信し、１５４では、検索テンプレートが選択され、通常、０番目の切片（または他の切片）のプレビュー画像が選択される。１５６では、ｉ番目の層のプレビュー画像が選択され、１５８では、通常、相互相関を使用して、検索テンプレートと比較され、位置合わせされる。１６０では、登録座標は、通常、後続の位置合わせのためのステージ座標として格納される。１６２では、追加のプレビュー画像を位置合わせするかどうかが決定され、位置合わせする場合には、１５４で、更新された検索テンプレートが選択される。いくつかの例では、更新された検索テンプレートは、以前に位置合わせして使用されたｉ番目の画像であるが、他の例では、初期の参照画像（０番目の画像）が使用される。他の例では、２、５、１０、２０、５０、または１００枚の画像を処理した後に、異なる更新された検索テンプレートが選択されるか、またはごく最近使用されたプレビュー画像が選択されることができる。切片スタックを介して更新された検索テンプレートを変化させることで、スタック全体で変化する画像特徴が存在する場合でも登録を維持することができる。いくつかの例では、最初に選択された更新された検索テンプレートのみが適切であり、いずれのプレビュー画像も使用することができる。より一般的には、更新された検索テンプレートを切片から切片へと継続的に更新することで、漸進的に変化する生物学的構造の場合でも、何百もの切片にわたる登録が可能になる。位置合わせが完了すると、プレビュー画像のＲＯＩ部分を使用して、最終的な高解像度画像を取得し、対象となるボリューム領域の３Ｄ画像を確立することができる。

【0019】

スタックの位置合わせはスタック内から進めることができ、上部または下部の切片から始める必要はない。例えば、ｋ番目のプレビュー画像は、更新された検索テンプレートとして選択されることができ、（ｋ－１）番目と（ｋ＋１）番目のプレビュー画像を位置合わせして、好みに応じて検索テンプレートを更新することができる。プレビュー画像は連続して処理することができ、または、好みに応じて複数のプレビュー画像を並行して処理することができる。

【0020】

関心のある試料部分は、通常、試験体ブロックの選択された部分を通ってのみ延在している。このような例では、すべての切片および切片のすべてのエリアに対応する画像は不要である。ユーザは、グラフィカルユーザインターフェースを使用して、任意の切片と関心のあるエリアを便利に選択することができる。

【0021】

実施例３．代表的な試験体処理
図２Ａ～２Ｉは、試験体処理およびＲＯＩ画像の位置合わせを示す。図２Ａは、代表的な試料切片２０６のような試料切片を保持する代表的なテープストリップ２０４のような一連のテープストリップを支持する基板２０２の画像２００を示す。１２個のテープストリップが示されているが、より多くまたはより少なく使用することができ、試料切片は、基板２０２上に直接置くことができる。複数のこのような基板は、試験体のすべての切片を保持するために必要とされる場合がある。画像２００は概観画像であり、概観画像２００の特定の画像部分２０８が選択され、単一の切片の画像２１０を含む。画像部分２０８は、通常は、概観画像２００との切片テンプレートの相関関係を使用して、他の切片を識別して位置を特定する際に切片テンプレートとして使用するために選択され、次に、相関係数の大きな値に対応する相対的な変位が識別され、切片画像の場所が確立されるように座標が取得される。

【0022】

図２Ｂは、切片２２０、２２１がさらに図２Ｃに示されている、フレーム２０９などのフレームによって示されているように識別されている複数の切片の画像を含む画像部分２１２を示す。これらの切片の各々の画像は、２次元ｘｙ座標系の関連する座標軸を用いて示される。例えば、図２Ｄ～２Ｅに示されるように、切片２２０、２２１は、それぞれの座標軸２３０、２３１に対応している。この例では、切片寸法は約１ｍｍ×０．５ｍｍであり、それぞれの座標軸２３０、２３１に対する画像化領域２４０、２４１の位置が回転角ｒと共に示されている。画像化領域は、一般に、選択された切片のみにおいて必要とされ、切片は、図２Ｆ～２Ｇに示されるように、関心のあるすべての切片を通って延在するトレース２５０で都合よく選択することができる。切片の選択は、表示された基板の画像上にトレース２５０を描画する方法や、コンピュータベースのポインティングデバイスを使用して切片を描画する方法など、様々な方法で行うことができる。カーソル２５６は、トレース２５０を確立する際に使用することができ、マウス、トラックパッド、キーボード、または他のデバイスのためのコンピュータ実行可能命令を介して操作することができる。

【0023】

選択された切片は識別され、互いに対して指定された場所にあるが、一般的に関心領域（ＲＯＩ：Ｒｅｇｉｏｎ Ｏｆ Ｉｎｔｅｒｅｓｔ）にうまく位置合わせされない。位置合わせおよび見当合せは、倍率誤差、回転エ誤差、広い視野で取得されたタイル張りのＳＥＭ概観画像の非線形歪み、切片の境界での不一致によって制限され、切片は、スタックにおいて十分な位置合わせと配置をすることができない。図２Ｈ～２Ｉに示すように、切片２２０の一部分２６０が選択され、エリア２６１のプレビュー画像２６２が取得される。プレビュー画像２６２およびエリア２６１は、関心のある試験体の特徴を含むＲＯＩを含むように選択される。プレビュー画像２６２は通常、概観画像などの以前の画像よりも高解像度の画像である。他の選択された切片のためのＲＯＩを含むプレビュー画像も同様に取得することができ、その後、プレビュー画像は、上で考察されたように相関関係または他のプロセスを使用して位置合わせされる。プレビュー画像ベースの位置合わせでは、初期または以前に位置合わせされたプレビュー画像またはその一部分を検索テンプレートとして使用することができ、検索テンプレートは各プレビュー画像を処理した後に更新される。各切片からのプレビュー画像は位置合わせされることができ、通常は、トレース２５０で示されたプレビュー画像のみが位置合わせされるが、いくつかの例では、数百のそのようなプレビュー画像が選択される。

【0024】

プレビュー画像の位置合わせの後、プレビュー画像は、ＲＯＩの３Ｄ画像を生成するのに使用するために提供されることができる。代替的に、この位置合わせにより、より高解像度の画像を取得することができ、基板ステージを、切片を好適に配置するために使用することができる。必要に応じて、これらの追加の画像も位置合わせすることができる。いずれの場合も、結果の画像スタックにより、オペレーターの介入を最小限に抑えて３Ｄ再構成が可能になる。

【0025】

いくつかの例では、ユーザがＲＯＩを囲むエリアを指定し、線形角度（例えば、ｘｙ座標）と回転角度の両方が検索テンプレートと一致するように調整される。例えば、ＲＯＩは検索テンプレートとして第１の切片から選択され、第２の切片の対応する部分は、適切な並進と回転を適用して一致するように位置合わせされる。第１の切片と第２の切片を位置合わせした状態で、第２の切片の画像中のＲＯＩ周辺の画像部分を選択して、第３の切片の処理に使用する。このプロセスは、関心のあるすべての切片が処理されるまで続く。いくつかの例では、画像は調整されないが、好適なｘｙオフセットおよび回転角度は、その後の画像処理で使用するために保存される。上で考察されたように、切片の他のエリアは、異なるオフセットおよび回転を必要とし、画像は、複数のエリアのために取得され、処理され、位置合わせされ、格納されることができる。

【0026】

実施例４．画像化システム
図３を参照すると、画像化システム３００は、それぞれ、イオンビーム源３０４、イオンビーム３０５を生み出す電子ビーム源３０６、および電ビーム３０７に結合されているシステムコントローラ３０２を含む。それぞれのスキャナ３１２、３１４は、試験体３２０に対して、それぞれ、走査式イオンビーム３１３および走査式電子ビーム３１５を向けるように置かれている。用途によっては、画像は走査式電子ビーム３１５に基づいて得られ、試験体修正に走査式イオンビーム３１３が使用される。しかしながら、走査式イオンビーム３１３および走査式電子ビーム３１５のいずれか１つでも、その両方でも、画像を得ることができる。場合によっては、画像化システムは、電子ビーム源およびイオンビーム源のうちの１つのみを含む。多くの生体試験体では、電子ビームのみが必要とされる。

【0027】

試験体３２０は、ステージコントローラ３２４に結合されているステージ３２２に固定され、ステージコントローラ３２４は、システムコントローラに３０２に結合されている。ステージ３２２は、通常、システムコントローラ３０２により導かれるのに応じて１つ以上の並進、回転、または傾きをもたらすことができる。走査式イオンビーム３１３または走査式電子ビーム３１５に反応するビーム３２６が、１つ以上のアナログ－デジタル変換回路（ＡＤＣ：Ａｎａｌｏｇ－ｔｏ―Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｏｒ）、デジタル－アナログ変換回路（ＤＡＣ：Ｄｉｇｉｔａｌ－ｔｏ－Ａｎａｌｏｇ Ｃｏｎｖｅｒｔｏｒ）、増幅器、ならびに検出器３２８の制御および検出器３２８に関連する信号の処理（増幅、デジタル化、バッファリング）用のバッファを含み得るシステム電子機器３３０に結合されている電子またはイオン検出器３２８に向けられる。他の例では、システム電子機器によってさらに処理される電気信号を生み出す光子検出器が使用される。ほとんどの実用例では、少なくとも１つのＡＤＣを使用して、画像などの１つ以上の有形のコンピュータ可読媒体（画像記憶域３３２として示す）に格納され得る、デジタル化検出器信号を生み出す。他の例では、画像記憶域は、有線または無線のネットワーク接続などの通信接続を介して遠く隔たっている。ビーム３２６は、走査式イオンビーム３１３、走査式電子ビーム３１５、二次電子、イオン、または中性原子の散乱部分であり得る。カメラなどの光学撮像素子３５１が、試験体３２０の画像を作り出すように、例えば、複数の基板切片を表す基板画像を作り出すように結合される。上述の通り、このような画像は、電荷粒子ビーム（ＣＰＢ：Ｃｈａｒｇｅｄ Ｐａｒｔｉｃｌｅ Ｂｅａｍ）を使用したさらなる（通常、より高い解像度の）画像化の対象の切片の各々を特定し、位置特定し、位置合わせするように処理され得る。

【0028】

システムコントローラ３０２は、切片識別３３６、相関および特徴位置合わせ３４０、ＲＯＩおよびプレビュー画像エリアの選択３３８、概観画像の格納および取得３３９、検索テンプレートの選択および更新３４１などの画像処理のための実行可能命令を格納するメモリ３３５に結合されて、処理対象であり、また対象の切片を表す目に見える跡を画定する切片を選択することを含む様々な機能をＧＵＩ３４２に与える。画像（ＣＰＢおよび光学の両方）は、メモリ部分３３２に格納され得る。ステージ座標（回転を含む）も、同様にメモリ部分３３２に格納され得る。システムコントローラ３０２は、画像取得パラメータを設定し、ステージコントローラ３２４と通信状態にある。試験体画像（プレビュー画像、切片画像、基板画像、概観画像など）がディスプレイ３５２上に提示され得、メモリ３３５からの、または１つ以上のユーザ入力デバイス３５０を用いてユーザによって提供される内部格納値を使用して、システム制御および画像化パラメータが明示され得る。

【0029】

図３のレイアウトが、便宜上の図示であり、様々なビーム源、光学カメラ３５２、およびＣＰＢ検出器の実際の位置合わせが示されていないことが分かるであろう。デュアルビーム（イオン／電子）システムが示されているが、一方でも両方でも使用することができ、電子顕微鏡などの多くの実用例では、画像化には、電子ビームのみが使用される。

【0030】

実施例５．代表的なコンピューティング環境
図４および以下の考察は、開示された技術が実装されることができる例示的なコンピューティング環境の簡潔で一般的な説明を提供することを意図している。特に、このコンピューティング環境のいくつかまたはすべての部分を上記の方法および装置で使用して、例えば、切片画像、プレビュー画像、および画像記憶域を特定し、位置合わせするように、ビーム走査および画像処理を制御することができる。必須ではないが、開示された技術は、パーソナルコンピュータ（ＰＣ）によって実行されるプログラムモジュールなどのコンピュータ実行可能命令の一般的なコンテキストで記述される。一般に、プログラムモジュールは、特定のタスクを実行するまたは特定の抽象データ型を実施するルーチン、プログラム、オブジェクト、コンポーネント、データ構造などを含む。また、開示された技術は、ハンドヘルドデバイス、タブレット、マルチプロセッサシステム、マイクロプロセッサベースのまたはプログラム可能な家電製品、ネットワークＰＣ、ミニコンピュータ、メインフレームコンピュータなどを含む、他のコンピュータシステム構成で実装され得る。開示された技術はまた、タスクが通信ネットワークを介してリンクされているリモート処理デバイスによって実行される分散型コンピュータ環境においても実行することができる。分散型コンピュータ環境では、プログラムモジュールは、ローカルおよびリモートメモリ記憶デバイスの両方に位置特定されることができる。場合によっては、このような処理は、ＳＥＭにおいてもたらされる。本開示のシステムは、画像取得を制御し、ユーザインターフェースを提供する役割を果たすことができると共に、画像プロセッサとして働くこともできる。

【0031】

図４を参照すると、開示された技術を実施する例示的なシステムは、１つ以上の処理ユニット４０２、システムメモリ４０４およびシステムメモリ４０４を含む様々なシステムコンポーネントと１つ以上の処理ユニット４０２を連結するシステムバス４０６を含み、例示的な従来のＰＣ４００の形態である、汎用コンピューティングデバイスを含む。システムバス４０６は、任意のバスアーキテクチャを使用する、メモリバスまたはメモリコントローラ、周辺バス、およびローカルバスを含む数種のバス構造物のどれであってもよい。例示的なシステムメモリ４０４は、読取専用メモリ（ＲＯＭ）４０８およびランダムアクセスメモリ（ＲＡＭ）４１０を含む。ＲＯＭ４０８には、ＰＣ４００内の要素間の情報の転送を助ける基本ルーチンを包有する基本入出力システム（ＢＩＯＳ）４１２が記憶されている。

【0032】

例示的なＰＣ４００は、さらに、ハードディスクから読み書きするためのハードディスクドライブ、取り外し可能な磁気ディスクから読み書きするための磁気ディスクドライブ、および取り外し可能な光ディスク（ＣＤ－ＲＯＭや他の光媒体など）から読み書きするための光ディスクドライブなどの１つ以上の記憶デバイス４３０を含む。このような記憶デバイスは、それぞれ、ハードディスクドライブインターフェース、磁気ディスクドライブインターフェース、および光学ドライブインターフェースによってシステムバス４０６に接続することができる。ドライブおよび関連するコンピュータ可読媒体は、ＰＣ４００用のコンピュータ可読命令、データ構造、プログラムモジュール、および他のデータの不揮発性記憶を提供する。他のコンピュータ可読媒体は、磁気カセット、フラッシュメモリカード、デジタルビデオディスク、ＣＤ、ＤＶＤ、ＲＡＭ、ＲＯＭなどのような、ＰＣによってアクセス可能なデータを記憶することができ、例示的な動作環境において使用が可能である。

【0033】

複数のプログラムモジュールは、オペレーティングシステム、１つ以上のアプリケーションプログラム、他のプログラムモジュール、およびプログラムデータを含む記憶デバイス４３０に記憶されることができる。ユーザは、キーボードおよびマウスなどのポインティングデバイスなどの１つ以上の入力デバイス４４０を介して、コマンドおよび情報をＰＣ４００に入力することができる。例えば、ユーザは、コマンドを入力して、画像取得を始める、または、例えば、帯電領域の位置を特定するのにオプティカルフローを使用するか、もしくはイメージ差を使用するかを選択することができる。他の入力デバイスは、デジタルカメラ、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信機、スキャナなどを含むことができる。これらおよび他の入力デバイスは、システムバス４０６に結合されているシリアルポートインターフェースを通して、１つ以上の処理ユニット４０２に接続されていることが多いが、パラレルポート、ゲームポート、ユニバーサルシリアルバス（ＵＳＢ：Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、または有線もしくは無線のネットワーク接続などの他のインターフェースによって接続されていることもある。モニタ４４６または他のタイプの表示デバイスも、ビデオアダプタなどのインターフェースを介してシステムバス４０６に接続され、例えば、１つ以上の切片画像（すなわち、切片を特定し、その位置を特定する際に使用される画像）、プレビュー画像、ＲＯＩ画像、あるいは生画像、または位置合わせ後の画像もしくは位置合わせに必要な並進および回転の表示値を有する画像などの処理済み画像を表示することができる。モニタ４４６を使用して、処理対象の切片を選択することもでき、または特定の画像の位置合わせと、相関、特徴識別、およびプレビューエリア選択または他の画像選択などの位置合わせ手順を選択することもできる。スピーカおよびプリンタ（図示せず）などの他の周辺出力デバイスが含められてもよい。

【0034】

ＰＣ４００は、リモートコンピュータ４６０などの１つ以上のリモートコンピュータへの論理接続を使用してネットワーク環境で動作することができる。いくつかの例では、１つ以上のネットワークまたは通信接続４５０が含まれる。リモートコンピュータ４６０は、他のＰＣ、サーバ、ルータ、ネットワークＰＣ、またはピアデバイスまたは他の共通ネットワークノードであってもよく、典型的には、ＰＣ４００に関して上述した要素の多くまたはすべてを含むが、図４には記憶デバイス４６２のみ図示されている。パーソナルコンピュータ４００および、またはリモートコンピュータ４６０は、論理ローカルエリアネットワーク（ＬＡＮ）およびワイドエリアネットワーク（ＷＡＮ）に接続することができる。そのようなネットワーキング環境は、オフィス、企業規模のコンピュータネットワーク、イントラネット、およびインターネットでは通常である。いくつかの例では、位置が合わせられた画像のスタックが、３Ｄ画像再構成または他の処理のためにリモートシステムに送信される。

【0035】

図４に示すように、メモリ４９０（または、このメモリもしくは他のメモリの一部分）は、１回分、フレーム時間、ビーム電流、走査速度、および画像処理を確立するために、画像取得のためのプロセッサ実行可能命令を格納する。さらに、メモリ４９０は、相互相関の設定、画像回転および並進などの画像位置合わせ、基準画像およびＲＯＩの選択、位置合わせ用のステージ座標の記録のためのプロセッサ実行可能命令を含む。いくつかの例では、プロセッサ実行可能命令は、切片識別、プレピュー画像の処理、および追加の画像の取得を示す表示画像を作り出す。

【0036】

実施例６．切片画像位置合わせの代表的な方法
図５は、複数の試験体切片の選択部分の位置が合わせられた画像のセットを作り出すための方法５００を示す。５０２では、複数の切片画像を含む基板画像（通常、光学画像）が得られ、表示され、また５０２において、位置特定された切片画像（通常、ＳＥＭ画像）が得られ、表示される。５０６では、プレビュー画像が得られ、５０８において、１つ以上の切片画像から絞り込み領域が選択される。５１０では、画像位置が絞り込まれ、５１２において、位置が合わせられた画像が格納されるかまたは出力される。代替的に、各画像に対して、該当する並進および回転が格納され得、位置が合っていない画像が、これらの並進および回転と共に、出力され得る。場合によっては、方法５００は、ほとんどユーザ入力を必要とせず、ＲＯＩの選択の後に進む。

【0037】

実施例７．試料調製およびトモグラフィー処理
図６Ａ～６Ｅには、代表的な方法６００が示されている。図６Ａを参照すると、６０２において、動物生検または組織生検が行われ、６０４において、画像化用に、試料が調製される。生検組織は、２ ｍｍ ^３未満のブロックにトリミングされる。さらに、このブロックは、化学固定、重金属染色、ならびに樹脂含浸および樹脂硬化のうちのいくつかまたはすべてを受け、直列切片化に向けてトリミングされる。典型的な樹脂ブロックは、前面の表面積が０．５～２ｍｍ^２で、厚さが０．５～２ｍｍである。６０６で、樹脂ブロックが、ウルトラミクロトームを用いて、４０～１００ｎｍ厚の切片に直列的に切片化される。切片は、テープ、ガラス板、またはウェハなどの基板上に集められる。テープが使用される場合、１つまたはいくつかの長さのテープがウェハ上または金属板上に接着される。基板上の切片のこの集まりは、「アレイトモグラフィー試料」または単に「試料」と呼ばれる。場合によっては、この集まりは、複数の基板上に及ぶことがあり、そのすべてが、アレイトモグラフィー試料に含まれ得る。次に、試料は、６１０において、図６Ｂ～６Ｄに関連して以下でさらに考察されるような放置データ取得に向けて調製され、６７０において、高解像度画像が得られる。

【0038】

上記６１０で使用されたものなどのデータ取得準備の方法６２０が、図６Ｂに示されている。６２２では、試料が顕微鏡試験体ステージ上に置かれ、６２４では、試料上の全切片の座標が決定される。切片座標の決定については、図６Ｃに関連して以下でさらに考察される。切片座標が得られた後、ＲＯＩの座標６２６で、全切片または選択された切片の座標が得られる。６２８では、選択された切片に対して、画像化領域が作り出される。場合によっては、アレイトモグラフィフィー試料全体の光学画像がＳＥＭにおいて記録される。この画像は、大まかな解像度で切片のすべてまたは大半を示し、概観画像の取得対象のエリアを画定するのに使用され得る。

【0039】

図６Ｃを参照すると、切片座標を決定する方法６３０は、６３２で、試料の光学画像を得ることを含む。この画像を使用して、６３６において、概観画像が得られる試料エリアを画定することができる。概観画像は、複数の切片を表し、単一の画像または画像モザイクであり得る。基板全体が妥当な時間内で画像化され得るように、概観画像の解像度は、同程度に粗く、すなわち１～２μｍ画素サイズである。画像個数と切片個数との相関関係は、全く必要ではない。１つの画像がいくつかの切片を表すことがあり、または、切片をただ１つ表すのに、複数の画像が必要になることもある。これは、顕微鏡の最大視野および切片のサイズによって決まる。場合によっては、ＳＥＭ以外の様々な手段によって概観画像が取得される。このような概観画像をインポートした後、インポートされた画像内の切片位置がアレイトモグラフィー試料における同じ切片のステージ座標に対応するように、概観画像を位置合わせする必要がある。これは、ＳＥＭ画像とインポートされた画像の両方に見られる２つまたは３つの目印を手作業で一致させる位置合わせによって、達成され得る。

【0040】

概観画像は、以下のように使用される。６３６では、概観画像から、ユーザによって選択されたエリア（通常、長方形）が選ばれる。選択されたエリアは、切片テンプレートとしての役割を果たすように、概観画像からコピーされる。自動手順において、６３８では、切片テンプレートが概観画像と相関され、概観画像内の切片場所を決定する。６４０では、概観画像内の一致場所が、ステージ座標系内の位置に移され、すなわち、各切片のステージ位置が格納される。格納された位置のうちの１つにステージを移動させることにより、顕微鏡画像化システム（「極片」）下でそれぞれの切片が中央になる。自動手順によって見付けられなかった切片があれば、ユーザがそれらに印を付けることによって、概観画像に加えることができる。誤って認めた切片があれば（すなわち、非切片）、誤検出として注釈を付け、見付けられた切片のリストから削除することができる。

【0041】

図６Ｄは、全切片にわたってＲＯＩの座標を決定する方法６５０を示す。６５２では、切片プレビュー画像が取得される。切片プレビュー画像は、通常、概観画像と同じかそれよりも高い解像度を有する。いくつかの例では、２００～８００ｎｍの画素サイズが使用される。６５４では、切片プレビュー画像が選択され、６５６では、選択された切片プレピュー画像が第１の切片のものであるかどうかが判断される。第１の切片のものであれば、ＲＯＩは、例えば、コンピュータポインティングデバイスを使用して、表示デバイス上に概要を示すことによって、第１の切片プレビュー画像で注釈が付けられ、６５８において検索テンプレートとして格納される。６６０では、次の切片プレビュー画像における検索テンプレートと一致するものが確認され、６６２では、関連の位置および角度が格納され、かつ／またはステージ座標に変換される。６６４では、さらに切片が処理されるべきであると判断されると、６５４では、次の切片プレビュー画像が選択され、６６６では、それまでに見極められた切片プレビュー画像内の一致場所に検索テンプレートが更新される。各切片プレビュー画像が検索テンプレートと一致するように処理されるたびに、この切片プレビュー画像の一致エリアが検索テンプレートに設定される。このようにして、一致エリアの検索がステップごとに絞り込まれる。

【0042】

全切片が上で考察されたような位置合わせのために処理されると、図６Ｅに示す方法６８０を使用して、画像が得られる。６８２では、切片のうちのいずれかにおいて、画像化領域がユーザによって画定され、他の切片では、対応する領域が選択される。６８４では、画像化領域の画像が得られる。典型的な例では、画素解像度は、５～５０ｎｍであり、視野は、３０^２μｍ^２～１００^２μｍ^２である。切片の各々に対するステージ座標が得られているので、ユーザ介入なしで、方法６８０がプロセッサによって実行され得る。図６Ａ～６Ｅでは、画像化領域が１つだけ使用されているが、他の例では、２つ以上の画像化領域が位置合わせされ得る。さらに、ステージの動きを最小限に抑えることができる。

【0043】

実施例８．切片の位置特定、位置合わせ、および高解像度画像化
図７を参照すると、典型的な方法７００は、通常、ユーザ特定の切片画像に基づく相関関係を使用して、試料の切片の位置を特定する第１の位置合わせを行うこと７０２を含む。これは、便宜上、大まかな位置合わせと呼ばれることがある。７０４において、位置特定された切片の選択された部分を含むプレビュー画像を使用して、位置特定された切片が位置合わせされる。プレビュー画像のＲＯＩが、他のプレビュー画像を位置合わせするのに、検索テンプレートとして使用され、検索テンプレートは、直近に位置合わせされたプレビュー画像を使用して更新される。これは、便宜上、緻密な位置合わせと呼ばれることがある。７０６では、ＲＯＩの少なくとも一部の画像の位置合わせされたまたは位置合わせ可能なスタックを形成する、３Ｄトモグラフィー再構成に好適な最終画像（高解像度画像）が得られる。

【0044】

実施例９．予備位置合わせ
上で考察されたように、画像位置合わせを使用して、位置が合わせられた画像のスタックを得る。予備段階中、すなわち高解像度画像を記録する前に、画像位置合わせが使用される。したがって、取得された画像スタックは、特に絞り込みが行われたＲＯＩの周りで、すでにある程度うまく位置が合っている。それにより、残りの位置誤差は、比較的小さく、例えば＜１０μｍである。記録の後に、もう一回のスタック位置合わせが必要になるが、ずれ量は、＜１０μｍである。それに対し、低精度画像化領域配置で高解像度画像を取得し、スタック位置合わせを行うと、位置決め誤差は、通常＞１００μｍである。この手法では、全切片においてＲＯＩが確実に取り込まれるように、記録された画像のサイズに、＞１００μｍのボーダーを加える必要があるであろう。これは、画像化時間の劇的な増加につながる可能性がある。上述のように、本開示の手法では、取得された画像スタックは、ＲＯＩの周りでうまく位置が合っており、このようなボーダーは、必要ではない。

【0045】

例えば、４０μｍ×４０μｍの四角、４ｎｍ／画素の望ましい解像度であるＲＯＩの場合、理想的な画像サイズは、１０，０００×１０，０００画素である。＋／－１０μｍの画像化エリア位置決め誤差の場合、全切片においてＲＯＩを取り込むのに必要とされる画像サイズは、ＲＯＩサイズ＋２×１０μｍ、または６０μｍ×６０μｍの可能性がある。これにより、記録する画像サイズは、１５，０００×１５，０００画素であり、画像化時間の増加は、１５，０００^２／１０，０００^２＝２．２５である。＋／－１００μｍの画像化エリア位置決め誤差の場合、全切片においてＲＯＩを取り込むのに必要とされる画像サイズは、ＲＯＩサイズ＋２×１００μｍ＝２４０μｍ×２４０μｍの可能性がある。これにより、記録する画像サイズは、６０，０００×６０，０００画素であり、画像化時間の増加は、６０，０００^２／１０，０００^２＝３６である。したがって、大きなボーダーを必要とすることによって、画像取得時間が大幅に増加する可能性があることが明らかである。

【0046】

実施例１０．切片位置合わせおよび歪み
図８Ａ～８Ｆは、画像位置合わせの有無に関わらず、テープに置かれた画像切片の処理を示し、視野におけるピンクッション歪みの影響を表す。画像回転、可変倍率、ピント誤差、および他の画像収差などの他の画像アーチファクトは、同じように補正され得、歪みは、都合の良い例示として表される。先で考察されたように、このような画像アーチファクトは、試験体の切片に基づく画像スタックにおける、また切片の完全画像を形成するように、１つの切片の画像をつなぎ合わせる際の位置ずれにつながる可能性がある。図８Ａおよび８Ｂは、画像化視野８００、８２０に対応している名目上四角い視野で得られた代表的な画像８１２、８３２を示す。（画像化視野は、器具によって画像化された通りの実際の器具視野を指す）。画像化視野８００は、意図した視野であり、画像化欠陥はないが、画像化視野８２０は、ピンクッション歪みを呈する。これらの例では、切片寸法は、対応する視野寸法とほぼ同じである。図８Ａでは、重なりエリア８１０を有する画像化視野８００Ａ、８００Ｂを使用して、試験体切片８０８が画像化される。重なりエリア８１０に対応する画像部分は、位置が合い、視野８００Ａ、８００Ｂで得られた画像を正確につなぎ合わせて、画像８１２を作り出すことができる。したがって、このような画像化視野では、視野内の様々な場所にある切片に対応する画像をつなぎ合わせることができる。図８Ｂでは、重なりエリア８３０を有する歪んだ画像化視野８２０Ａ、８２０Ｂを使用して、試験体切片８２８が画像化される。重なりエリアでは、画像化視野が歪んでおり、画像化視野８２０Ａ、８０２Ｂの対応する部分では、歪みが異なる。重なりエリア８３０に対応する画像部分を合成することができるが、正確な位置合せはない。画像化視野８２０Ａ、８２０Ｂに対応する合成画像は、切片画像８３２を作り出すが、位置合わせが不正確であるか、またはつなぎ合わせた画像のうちの１つまたは両方の部分がなくなっている可能性があるエラー領域８３４を有する。したがって、このような歪んだ画像化視野では、視野内の様々な場所にある切片に対応する画像は、難なくつなぎ合わせられることはない。複数の視野内に別々に置かれた切片の画像には、このスティッチングの難しさがある。

【0047】

図８Ｃは、テープ８３８に置かれた代表的な切片８４２Ａ～８４２Ｅなどの一連の切片を示す。図８Ｄに示すように、切片８４２Ａ～８４２Ｅは、歪んだ画像化視野８４０Ａ～８４０Ｈにおいて、様々なそれぞれの重なりエリア８４３～８４９を含む状態で画像化されている。この例では、各切片は、２つの視野において完全に画像化されている。切片寸法は、１～２ｍｍの高さ、２～３ｍｍの長さであり得、視野にかろうじて収まることが多い。この切片配置は、通常、切断プロセス時に切片がテープ８３８に置かれることによりもたらされる。各切片は、画像化視野８４０Ａ～８４０Ｈ内の２つの場所で切片の画像をつなぎ合わせるだけで、ほぼ完全に画像化される。隣接する画像は、重なりエリア８４３～８４９に対応している。これらの重なりエリアは、画像欠陥に対応しており、画像欠陥は、スティッチング精度を制限し、スティチングを損なう図８Ｅに示すようなオフセットエリア８５３～８５８内の画像部分をもたらす。例えば、切片８４２Ａの画像８５２Ａは、視野８４０Ａ、８４０Ｂにそれぞれ対応する部分８５０Ａ、８５０Ｂと、重なりエリア８４３に対応しているオフセットエリア８５３内の部分とを含む。図８Ｇを参照すると、プレビュー画像および位置合わせを使用して、切片８４２Ａ～８４２Ｅを中央に置くことができるか、それとも視野に対して、図８Ｆに示すような単一の視野内で位置合わせすることができる。歪んだ画像化視野８４０は、歪みを含む可能性があるが、図８Ｇに示すように、スティッチングエラーに対応する重なりエリアを欠いた画像８７１～８７５を作り出す。

【0048】

図９Ａ～９Ｄは、隣接する切片に接触する代表的な切片９１２Ａ～９１２Ｄなどの１６個の試験体切片を含む代表的なスタック９００の位置合わせを示す。このような切片配置は、切片リボンと呼ばれることがあり、テープを用いず、試験体の切断でもたらされ得る。このような切片は、例えば、１：３、１：４、または１：５のアスペクト比を有することがあり、切片は、図８Ｃに示すようなテープで作り出される切片よりも長く、その切片ほど高くないことがある。図９Ａに示すように、切片は、画像化視野９０２Ａおよび９０２Ｂで画像化され、そこでは、各視野は、４つの異なる切片を画像化する（少なくとも部分的に）。画像化視野９０２Ａ～９０２Ｄにおける歪みは、様々な画像化視野からの画像部分をつなぎ合わせるのを損なうオフセット領域９０３、９０５、９０７に対応している。プレビュー画像を使用すると、すべての切片画像が視野においてほぼ同じ位置を有し、図９Ｃおよび図９Ｄに示すような画像スティッチングを必要としない、位置が合わせられた画像スタック９２０が作り出される。例えば、切片９１２Ａ～９１２Ｄの代表的な画像９５２Ａ～９５２Ｄは、単一の視野において共通の位置合わせを有し、スティッチングを必要としない。この例では、切片縁が接触しているので、切片９１２Ｂの画像９５２Ｂも、切片９１２Ａ、９１２Ｃに対応している画像部分９６１、９６２を含む。他の切片画像も、同じように、隣接する切片に対応する部分を含み得る。特定の切片の位置合わせを行う際、隣接する切片の一部分ではなく、意図した切片の一部分を使用する必要がある。

【0049】

開示された技術の原理が適用され得る多くの可能な実施形態を考えると、図示の実施形態が好ましい例にすぎないことが分かるはずである。添付の特許請求の範囲の範囲および趣旨内のすべてを本発明として特許請求する。

【図1A】

【図1B】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図2G】

【図2H】

【図2I】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図6C】

【図6D】

【図6E】

【図7】

【図8A】

【図8B】

【図8C】

【図8D】

【図8E】

【図8F】

【図8G】

【図9A】

【図9B】

【図9C】

【図9D】