(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-05
(45)【発行日】2022-12-13
(54)【発明の名称】荷電粒子顕微鏡装置およびその視野調整方法
(51)【国際特許分類】
H01J 37/22 20060101AFI20221206BHJP
H01J 37/28 20060101ALI20221206BHJP
【FI】
H01J37/22 502H
H01J37/28 B
(21)【出願番号】P 2021546166
(86)(22)【出願日】2019-09-20
(86)【国際出願番号】 JP2019037086
(87)【国際公開番号】W WO2021053826
(87)【国際公開日】2021-03-25
【審査請求日】2022-03-08
(73)【特許権者】
【識別番号】501387839
【氏名又は名称】株式会社日立ハイテク
(74)【代理人】
【識別番号】110000350
【氏名又は名称】ポレール弁理士法人
(72)【発明者】
【氏名】小林 光俊
(72)【発明者】
【氏名】宮本 敦
(72)【発明者】
【氏名】星野 吉延
【審査官】右▲高▼ 孝幸
(56)【参考文献】
【文献】特開平5-290787(JP,A)
【文献】特開2016-4785(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
H01J 37/22
H01J 37/28
(57)【特許請求の範囲】
【請求項1】
荷電粒子顕微鏡を用いて、
試料の参照データを設定する参照データ設定ステップと、
前記参照データに複数の関心領域を設定する関心領域設定ステップと、
前記複数の関心領域毎に、疎なサンプリング座標群を設定するサンプリング座標設定ステップと、
前記サンプリング座標群に基づいて前記試料に荷電粒子を照射して対応する画素値群を得るサンプリング座標撮像ステップと、
前記画素値群から前記複数の関心領域に対応する複数の再構成画像を生成する再構成画像生成ステップと、
前記複数の再構成画像から、前記複数の関心領域の対応関係を推定する対応関係推定ステップと、
前記対応関係に基づいて前記複数の関心領域を調整する関心領域調整ステップを含み、
前記サンプリング座標設定ステップでは、前記参照データに基づいて前記サンプリング座標群を設定する
ことを特徴とする荷電粒子顕微鏡装置における視野調整方法。
【請求項2】
請求項1記載の視野調整方法であって、
前記参照データ設定ステップにおいて前記参照データとして、
前記荷電粒子顕微鏡装置で取得した前記試料の画像、
前記荷電粒子顕微鏡装置で取得した前記試料の疎なサンプリングデータに基づいて再構成した画像、
前記試料の設計データ、
前記荷電粒子顕微鏡装置とは異なる装置で取得した前記試料の画像、
のうち少なくとも一つを設定する
ことを特徴とする荷電粒子顕微鏡装置における視野調整方法。
【請求項3】
請求項1記載の視野調整方法であって、
前記対応関係推定ステップでは、前記対応関係の推定可否を求め、
前記サンプリング座標撮像ステップでは、前記推定可否に基づいてフレーム加算数を制御する
ことを特徴とする荷電粒子顕微鏡装置における視野調整方法。
【請求項4】
請求項1記載の視野調整方法であって、
前記複数の関心領域の中に、サンプリング数が互いに異なる関心領域の組、が少なくとも一つ以上含まれる
ことを特徴とする荷電粒子顕微鏡装置における視野調整方法。
【請求項5】
請求項1記載の視野調整方法であって、
前記複数の関心領域を、{ri}(ただし、i=1~M、M:関心領域数)、と表記し、
関心領域{ri}のj回目(ただしj=1~F、F:フレーム加算数)のフレームに対応する、前記サンプリング座標群を、{si,j,k}(ただし、k=1~Nj、Nj:フレーム毎のサンプリング数)、と表記した時、
前記参照データの第一の関心領域{r1}とその他の関心領域{ri}(i≠1)との変換行列{Ti}(i=2~M)に基づいて前記サンプリング座標群{si,j,k}を設定する
ことを特徴とする荷電粒子顕微鏡装置における視野調整方法。
【請求項6】
請求項1記載の視野調整方法であって、
前記複数の関心領域を、{ri}(ただし、i=1~M、M:関心領域数)、と表記し、
関心領域{ri}のj回目(ただしj=1~F、F:フレーム加算数)のフレームに対応する、前記サンプリング座標群を、{si,j,k}(ただし、k=1~Nj、Nj:フレーム毎のサンプリング数)、と表記し、
関心領域{ri}のj回目のフレームに対応する、前記画素値群を、{yi,j,k}、と表記し、
関心領域{ri}に対応する、前記再構成画像を、{Yi}、と表記した時、
前記サンプリング座標群{si,j,k}を前記参照データと前記再構成画像{Yi}の少なくとも一つと合わせて表示する
ことを特徴とする荷電粒子顕微鏡装置における視野調整方法。
【請求項7】
荷電粒子顕微鏡装置であって、
試料の参照データを設定する参照データ設定部と、
前記参照データに複数の関心領域を設定する関心領域設定部と、
前記複数の関心領域毎に、疎なサンプリング座標群を設定するサンプリング座標設定部と、
前記サンプリング座標群に基づいて前記試料に荷電粒子を照射して対応する画素値群を得るサンプリング座標撮像部と、
前記画素値群から前記複数の関心領域の再構成画像をそれぞれ生成する再構成画像生成部と、
前記再構成画像から前記複数の関心領域の対応関係を推定する対応関係推定部と、
前記対応関係に基づいて前記複数の関心領域を調整する関心領域調整部を含み、
前記サンプリング座標設定部において前記参照データに基づいて前記サンプリング座標群を設定する
ことを特徴とする荷電粒子顕微鏡装置。
【請求項8】
請求項7記載の荷電粒子顕微鏡装置であって、
前記参照データ設定部において前記参照データとして、前記荷電粒子顕微鏡装置で取得した前記試料の画像、前記荷電粒子顕微鏡装置で取得した前記試料の疎なサンプリングデータに基づいて再構成した画像、前記試料の設計データ、前記荷電粒子顕微鏡装置とは異なる装置で取得した前記試料の画像のうち少なくとも一つを設定する
ことを特徴とする荷電粒子顕微鏡装置。
【請求項9】
請求項7記載の荷電粒子顕微鏡装置であって、
前記対応関係推定部において前記対応関係の推定可否を求め、前記サンプリング座標撮像部では、前記推定可否に基づいてフレーム加算数を制御する
ことを特徴とする荷電粒子顕微鏡装置。
【請求項10】
請求項7記載の荷電粒子顕微鏡装置であって、
前記複数の関心領域の中に、サンプリング数が互いに異なる関心領域の組、が少なくとも一つ以上含まれる
ことを特徴とする荷電粒子顕微鏡装置。
【請求項11】
請求項7記載の荷電粒子顕微鏡装置であって、
前記複数の関心領域を、{ri}(ただし、i=1~M、M:関心領域数)、と表記し、
関心領域{ri}のj回目(ただしj=1~F、F:フレーム加算数)のフレームに対応する、前記サンプリング座標群を、{si,j,k}(ただし、k=1~Nj、Nj:フレーム毎のサンプリング数)、と表記した時、
前記サンプリング座標設定部は、前記参照データの第一の関心領域{r1}とその他の関心領域{ri}(i≠1)との変換行列{Ti}(i=2~M)に基づいて前記サンプリング座標群{si,j,k}を設定する
ことを特徴とする荷電粒子顕微鏡装置。
【請求項12】
請求項7記載の荷電粒子顕微鏡装置であって、
前記複数の関心領域を、{ri}(ただし、i=1~M、M:関心領域数)、と表記し、
関心領域{ri}のj回目(ただしj=1~F、F:フレーム加算数)のフレームに対応する、前記サンプリング座標群を、{si,j,k}(ただし、k=1~Nj、Nj:フレーム毎のサンプリング数)、と表記し、
関心領域{ri}のj回目のフレームに対応する、前記画素値群を、{yi,j,k}、と表記し、
関心領域{ri}に対応する、前記再構成画像を、{Yi}、と表記した時、
前記サンプリング座標群{si,j,k}を前記参照データと前記再構成画像{Yi}の少なくとも一つと合わせて表示する表示部を更に有する
ことを特徴とする荷電粒子顕微鏡装置。
【請求項13】
荷電粒子顕微鏡装置であって、
関心領域を設定する関心領域設定部と、
前記関心領域内にj回目のフレームの疎なサンプリング座標群{sj,k}(j=1~F、F:フレーム加算数、k=1~Nj、Nj:フレーム毎のサンプリング数)を設定するサンプリング座標設定部と、
前記サンプリング座標群{sj,k}に基づいて試料に荷電粒子を照射して対応する画素値群{pj,k}を得るサンプリング座標撮像部と、
1回目とj回目の撮像タイミング間における撮像位置のドリフト量群{δj}(j=2~F)を求めるドリフト量推定部と、
前記ドリフト量群{δj}を用いて前記サンプリング座標群{sj,k}間のドリフト量を補正して補正後のサンプリング座標群{Q(sj,k)}を求めるドリフト量補正部と、
前記補正後のサンプリング座標群{Q(sj,k)}と画素値群{pj,k}に基づいて前記関心領域の再構成画像を生成する再構成画像生成部を含み、
前記ドリフト量推定部は
前記サンプリング座標
群{sj,k}を少なくとも一つマージしてマージサンプリング座標群{Cv}(Cv⊂{sj,k}、v=1~Nv、Nv:マージサンプリング座標群数、2≦Nv≦F)を生成する手段と、
任意のvについてそれぞれ前記マージサンプリング座標群{Cv}からマージドリフト量群{Δv}を求める手段と、
前記マージドリフト量群{Δv}に基づいて前記ドリフト量群{δj}を算出する手段を含む
ことを特徴とする荷電粒子顕微鏡装置。
【請求項14】
請求項13記載の荷電粒子顕微鏡装置であって、
前記マージサンプリング座標群{Cv}の少なくとも一つから再構成画像を生成し、前記再構成画像に基づいて前記マージドリフト量群{Δv}を算出する
ことを特徴とする荷電粒子顕微鏡装置。
【請求項15】
荷電粒子顕微鏡装置であって、
荷電粒子ビームを発生する荷電粒子銃と、
試料を載置するステージと、
処理サブシステムと、
を有し、
前記処理サブシステムは:
(1)参照データに複数の関心領域を設定し、
(2)前記複数の関心領域の各々について:
(2A)前記参照データに基づいた疎なサンプリング座標群を設定し、
(2B)前記サンプリング座標群に基づいて、前記試料に荷電粒子ビームを照射して対応する画素値群を取得し、
(2C)前記画素値群から複数の再構成画像を生成し、
(3)前記複数の再構成画像から、前記複数の関心領域の対応関係を推定し、
(4)前記対応関係に基づいて前記複数の関心領域を調整する、
荷電粒子顕微鏡装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、荷電粒子顕微鏡装置およびその視野調整方法に関する。
【背景技術】
【0002】
荷電粒子顕微鏡の撮像方法には、試料に与えるダメージを抑えるため、特許第6192682号公報(特許文献1)に記載の技術がある。特許文献1には、「本発明によると、組{Sn}の濃度N(サイズ)は、選択の問題であり、かつ、様々な因子-たとえば所望の累積測定時間及び/又は撮像の明確さ、試料の壊れやすさ等-に従って選択されて良い。」という記載がある。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
本発明は、本撮像の視野調整のために行う予備撮像を対象とする。特許文献1の方法では、予備撮像で試料を全サンプリングする場合に比べて、視野調整の精度を維持しつつ観察対象に与えるダメージを抑えることができる。しかし、一度選択した濃度Nを調整しないため、必要最小限の濃度を設定することが困難という課題がある。
【0005】
そこで、本発明では、視野調整の精度を維持しつつ試料に与えるダメージを最小限にすることができる技術を提供することを目的とする。
【課題を解決するための手段】
【0006】
上記課題を解決するために、代表的な本発明の荷電粒子顕微鏡装置およびその視野調整方法の一つは、試料の参照データを設定し、前記参照データに複数の関心領域を設定し、前記複数の関心領域毎に、疎なサンプリング座標群を設定し、前記サンプリング座標群に基づいて前記試料に荷電粒子を照射して対応する画素値群を得て、前記画素値群から前記複数の関心領域に対応する複数の再構成画像を生成し、前記複数の再構成画像から、前記複数の関心領域の対応関係を推定し、前記対応関係に基づいて前記複数の関心領域を調整する。ここで、サンプリング座標群の設定は、前記参照データに基づいて行う。その他の本発明の観点は発明を実施するための形態で明らかにする。
【発明の効果】
【0007】
本発明によれば、視野調整の精度を維持しつつ試料に与えるダメージを最小限にすることができる。
【図面の簡単な説明】
【0008】
【
図1A】本発明の一実施形態である走査型電子顕微鏡装置の概略構成の一例を示したブロック図である。
【
図1B】本発明の一実施形態である走査型電子顕微鏡装置の概略構成のうち画像処理部の構成を示すブロック図である。
【
図2】
図3の説明に用いる試料の低倍率画像、関心領域毎に設定する疎なサンプリング座標群および関心領域の再構成画像に関する一例を示した図である。
【
図3】実施例1に係る視野調整処理の一例を示したフロー図である。
【
図4】疎なサンプリング座標群を低倍率画像上または再構成画像上に示すGUIの画面例である。
【
図5】
図6の説明に用いる試料の低倍率画像および関心領域毎に設定する疎なサンプリング座標群に関する一例を示した図である。
【
図6】実施例1に係るステップS303で関心領域毎の疎なサンプリング数を異ならせて設定する例を示したフロー図である。
【
図7】
図8の説明に用いる試料の低倍率画像および関心領域毎に設定する疎なサンプリング座標群に関する一例を示した図である。
【
図8】実施例1に係るステップS303で代表関心領域と同じ位置関係のサンプリング座標群をその他の関心領域に設定する例を示したフロー図である。
【
図9】実施例2の説明に用いる疎なサンプリング座標群、マージサンプリング座標群およびそれらの再構成画像に関する一例を示した図である。
【
図10】実施例2に係る視野調整処理の一例を示したフロー図である。
【
図11】実施例2に係るステップS1005~ステップS1007でマージサンプリング座標群から再構成画像を生成しドリフト量を算出する一例を示したフロー図である。
【発明を実施するための形態】
【0009】
本発明は、視野調整の精度を維持しつつ試料に与えるダメージを最小限にすることができる技術を提供するもので、荷電粒子顕微鏡装置およびその視野調整方法の一つは、試料の参照データを設定し、この参照データに複数の関心領域を設定し、この複数の関心領域毎に、疎なサンプリング座標群を設定し、この設定したサンプリング座標群に基づいて試料に荷電粒子を照射して対応する画素値群を得て、得た画素値群から複数の関心領域に対応する複数の再構成画像を生成し、生成した複数の再構成画像から、複数の関心領域の対応関係を推定し、推定した対応関係に基づいて複数の関心領域を調整することを含み、サンプリング座標群の設定は、前記参照データに基づいて行うものである。
【0010】
以下、本発明の各実施例について図面を用いて説明する。
【実施例1】
【0011】
図1Aは、本発明の一実施形態である走査型電子顕微鏡装置100の概略構成の一例を示した図である。走査型電子顕微鏡装置100は、例えば、走査型電子顕微鏡101、入出力部121、制御部122、処理部123、記憶部124、画像処理部125等を備える。走査型電子顕微鏡101では、電子銃102から電子ビーム103を発生し、前記電子ビーム103をコンデンサレンズ104や対物レンズ105に通すことにより試料106の表面に集束する。
【0012】
なお、入出力部121、制御部122、処理部123、記憶部124、画像処理部125、の少なくとも一部は、プロセッサとメモリと記憶装置を有する1以上の計算機(以後、処理サブシステムと呼ぶ)により実現してもよい、なお、処理サブシステムは、GPU、FPGA、LSI、電子回路といったハードウェアを含んでもよく、表示装置(例えば液晶ディスプレイ)を有してもよい。
【0013】
次に、試料106から発生する粒子を検出器108で検出することにより、画像を取得する。画像は、記憶部124に保存される。検出器108は複数個備わっていても良く、さらに、電子を検出する検出器と電磁波を検出する検出器のように異なる粒子を検出する検出器であったり、エネルギーやスピン方向が特定の範囲内にある粒子のみを検出する検出器であったり、2次荷電粒子検出器と後方散乱荷電粒子検出器のように異なる性質の粒子を検出する検出器であっても良い。同じ性質の粒子を検出する検出器が異なる配置位置に複数備わっていても良い。
【0014】
検出器が複数個備わっている場合には、通常1回の撮像で、画像を複数枚取得することができる。試料106はステージ107に載置又は接しており、ステージ107を移動することにより、試料の任意の位置における画像の取得が可能である。また、ビーム偏向器109で電子ビーム103の向きを2次元的に変えることにより、電子ビームで試料上をスキャンすることができる。
【0015】
入出力部121では、画像撮像位置や撮像条件の入力、画像の出力などを行う。制御部122では、撮像装置の制御として、電子銃102等に印加する電圧や、コンデンサレンズ104および対物レンズ105の焦点位置、ステージ107の位置、ビーム偏向器109の偏向度合い等を制御する。これらを制御することで、電子ビームで試料上を疎にサンプリングする。
【0016】
また、制御部122は、入出力部121、処理部123、記憶部124、画像処理部125の制御も行う。処理部123では、各種の処理、例えば、参照データを設定する処理、ランダムなサンプリング座標を設定するための乱数を生成する処理、電子ビーム103の焦点を試料106の表面に合わせるために必要な自動焦点合わせに関する処理などを行う。記憶部124では、参照データ、関心領域情報、疎なサンプリング座標群、再構成画像、関心領域を調整する変換行列、各種処理パラメータ等を保存する。画像処理部125では、取得したデータに対する画像処理を行う。
【0017】
画像処理部125は、
図1Bに示すように、参照データ設定部130、関心領域設定部131、サンプリング座標設定部132、再構成画像生成部133、関心領域対応関係推定部134、関心領域調整部135を備えている。
【0018】
関心領域設定部131では、参照データに複数の関心領域を設定する。サンプリング座標設定部132では、関心領域毎に疎なサンプリング座標群を設定する。再構成画像生成部133では、関心領域の疎なサンプリング座標群に荷電粒子を照射して得られた疎な画素値群から全サンプリングした撮像画像に近い画像を再構成する。
【0019】
関心領域対応関係推定部134では、再構成画像から関心領域間の対応関係を推定する。関心領域調整部135では、推定した対応関係に基づいて関心領域設定部131で設定した関心領域を調整する。
【0020】
本実施例に係る荷電粒子顕微鏡装置の視野調整方法について、
図2乃至4を用いて説明する。
図2は、
図3のフロー図の説明に用いる試料の低倍率画像201、関心領域205~207毎に設定する疎なサンプリング座標群221~223および関心領域の再構成画像232~234に関する一例を示した図で、内部処理における画像のイメージ図である。一方、
図4は、疎なサンプリング座標群を低倍率画像上または再構成画像上に示すGUIの画面例である。
【0021】
図2には、低倍率画像の欄21、サンプリング座標群の欄22、再構成画像の欄23を示す。
図2において、低倍率画像の欄21に示した参照データは低倍率画像201であり、試料202~204が撮像されている。試料202~204には、それぞれ関心領域205~207および局所関心領域208~210を設定する。
【0022】
関心領域205~207には、サンプリング座標群の欄22に示した、それぞれ疎なサンプリング座標群221~223を設定する。例えば、疎なサンプリング座標群221~223を8フレームに分割して設定する。疎なサンプリング座標群の分布範囲224~226は、各フレームで疎なサンプリング座標を設定する範囲を表す。各フレームの分布範囲224~226における疎なサンプリング座標の位置はランダムであるが、疎なサンプリング座標の数は同じになるように設定する。
【0023】
再構成画像の欄23に示した画像231は、関心領域205を全サンプリングして撮像した中倍率画像である。再構成画像232は、関心領域205の疎なサンプリング座標群221から得られた疎な画素群に基づいて再構成した画像である。疎な画素群から再構成することで信号情報の劣化やアーチファクトが発生するため、一般的に再構成画像232は関心領域205を全サンプリングして撮像した画像231に比べて画質が低下する。
【0024】
再構成画像233は、関心領域206の疎なサンプリング座標群222の2フレーム分から得られた疎な画素群に基づいて再構成した中倍率画像である。再構成に用いる疎な画素群が少ないため、再構成画像233は再構成画像232に比べて信号情報を復元できない。
【0025】
再構成画像234は、関心領域206の疎なサンプリング座標群222の6フレーム分から得られた疎な画素群に基づいて再構成した中倍率画像である。再構成に用いる疎な画素群が比較的に多いため、再構成画像234は再構成画像233に比べて信号情報を復元できる。
【0026】
関心領域235および局所関心領域236は、再構成画像232と再構成画像234から推定した関心領域の対応関係に基づいて調整した関心領域206および局所関心領域209である。
【0027】
ステージドリフトなどが無い理想の撮像条件では関心領域206のように設定すれば、試料の一部の模様は再構成画像232と同じ位置関係で再構成画像234に現れるため、関心領域206の視野調整をする必要がない。しかし、実際の撮像時にはステージドリフトなどが発生し関心領域がずれるため、中倍率画像で関心領域を調整する必要がある。
【0028】
図3は、実施例1に係る視野調整処理の一例を示したフロー図である。ここで、説明のために
図2に示した画像の図を用いる。なお、撮像条件や以下の処理で用いるユーザが入力または教示する情報はパラメータ情報として予め設定されて、記憶部124に記憶されているものとする。
【0029】
ステップS301では、荷電粒子顕微鏡を用いて低倍率で試料を撮像した画像を参照データに設定する。これは低倍率画像201を参照データに設定することに相当する。なお、参照データとして低倍率画像201の領域内に設定した疎なサンプリング座標群から得られた疎な画素群に基づいて再構成した画像を用いてもよい。また、個々のデータとステージ座標に対応を持たせれば、参照データとして光学顕微鏡で撮像した画像を用いてもよいし、CAD(Computer-Aided Design)などによる試料の設計データを用いてもよい。
【0030】
ステップS302では、低倍率画像に複数の関心領域{ri}(i=1~M、M:関心領域数)を設定する。これは、低倍率画像201に関心領域205~207を設定することに相当する。関心領域を設定する方法としては、関心領域のテンプレート画像を作成しておいてテンプレートマッチングにより関心領域を設定してもよいし、各試料の対応する一辺など参照データ上にユーザが教示しておいた情報に基づいて幾何的に関心領域を設定してもよい。
【0031】
ステップS303では、参照データに基づいて関心領域{ri}毎にj回目の疎なサンプリング座標群{si,j,k}(i=1~M、j=1~F、F:フレーム加算数、k=1~Nj、Nj:フレーム毎のサンプリング数)を設定する。これは、関心領域205~207にそれぞれ疎なサンプリング座標群の分布範囲224~226を持たせて疎なサンプリング座標群221~223を設定することに相当する。
【0032】
疎なサンプリング座標群の分布範囲を設定する方法としては、画像解析に基づいて視野調整に有意な信号がある範囲を抽出して設定してもよいし、参照データ上にユーザが教示しておいた情報に基づいて設定してもよい。
【0033】
なお、フレーム加算数は、ユーザ入力に基づいて設定してよい。また、関心領域毎に疎なサンプリング座標群の分布範囲は異なっていてもよく、分布の数は複数であってもよい。さらに、疎なサンプリング座標の総数やフレーム加算数および各フレームに割り当てるサンプリング座標の数は異なっていてもよい。ステップS303の具体的な例については
図5~
図8を用いて後述する。
【0034】
ステップS304では、代表関心領域とする関心領域の全てのサンプリング座標群{s1,j,k}に荷電粒子を照射して対応する疎な画素値群{y1,j,k}を得る。これは、代表関心領域を関心領域205とすることに相当する。
【0035】
ステップS305では、代表関心領域の全てのサンプリング座標群{s1,j,k}から得られた疎な画素値群{y1,j,k}から再構成画像Y1を生成する。これは、関心領域205に設定した8フレーム分の疎なサンプリング座標群221から得られた疎な画素群から再構成画像232を生成することに相当する。
【0036】
再構成画像を生成する方法としては、圧縮センシングを用いる。圧縮センシングの一手法では、サンプリングデータが辞書画像を用いた表現空間でスパースであると仮定し、全サンプリングのデータ数よりも少ないサンプリングデータから辞書画像の線形和で全サンプリング時の撮像画像に近い画像を再構成できる。辞書画像は、一般的な離山コサイン変換に基づいて作成した辞書画像でもよいし、参照データに基づいて作成した辞書画像でもよいし、ユーザが指定した辞書画像でもよい。
【0037】
ステップS306では、iが2から始まって関心領域の数MになるまでステップS307~S313をループする。代表関心領域を1番目の関心領域としてステップS306のループからは除外している。ここで、低倍率画像201における代表関心領域である一番目の関心領域は関心領域205で、関心領域の数Mは3である。
【0038】
ステップS307では、関心領域毎のサンプリング座標群のフレーム加算数FだけステップS308~S311をループする。ここで、関心領域206、207のサンプリング座標群のフレーム加算数Fは8である。
【0039】
ステップS308では、i番目の関心領域{ri}のjフレーム目のサンプリング座標群{si,j,k}に荷電粒子を照射して対応する疎な画素値群{yi,j,k}を得る。ここで、2、3番目の関心領域は関心領域206、207である。
【0040】
ステップS309では、i番目の関心領域{ri}の1~jフレーム目までの疎なサンプリング座標群{si,j,k}から得られた疎な画素値群{yi,j,k}に基づいて再構成画像{Yi}を生成する。なお、必ずしも再構成画像を生成しなくてよく、ユーザ入力に基づいて再構成画像をするか否か決めてよい。また、辞書画像は、以前に代表関心領域および関心領域から得られたデータに基づいて作成した辞書画像でもよい。
【0041】
ステップS310ではi番目の関心領域{ri}とi-1番目の関心領域{ri-1}の変換行列を推定する。これは、例えば、2番目の関心領域206の再構成画像234と1番目の関心領域205の再構成画像232をマッチングさせる変換行列を推定することに相当する。ここで、変換行列は、関心領域間の位置ずれ補正量を意味する。
【0042】
位置ずれ補正量として、平行移動、回転、倍率、スキュー歪みを考慮したい場合、変換行列にはアフィン変換行列を用いる。より複雑な画像歪みを考慮したい場合、変換行列にはホモグラフィ変換行列などを用いる。
【0043】
変換行列を推定する方法としては、SIFT(Scale Invariant Feature Transform)などを用いて画像の特徴点抽出および特徴量記述を行い、特徴量の差分値などに基づいて画像間の特徴点の類似度を算出し、特徴点をペアとして対応づけることで画像間の変換行列を算出する方法がある。なお、i番目の関心領域の変換行列を推定する際、必ずしもi-1番目の関心領域と比較しなくてもよい。
【0044】
ステップS311では、ステップS310までに妥当な変換行列が推定できていれば、ステップS307のループを途中で抜ける。変換行列の妥当性は、例えば、各フレームにおける変換行列の値の収束で判断する。
【0045】
具体的には、2番目の関心領域の2、6フレーム目までのサンプリング座標群から再構成した画像としてそれぞれ再構成画像233、234を、1番目の関心領域205の全ての疎なサンプリング座標から再構成した画像として再構成画像232を想定する。
【0046】
再構成画像233と再構成画像232の間で変換行列は推定できるが、3、4番目のフレームまでの変換行列の値に対して誤差が大きい。一方で、再構成画像234と画像231の間で変換行列を推定すると、4、5、6番目のフレームまでの変換行列の値は誤差が小さく収束する。変換行列の値が収束したと判定する誤差のしきい値は、ユーザ入力に基づいて設定してよい。
【0047】
ステップS312では、jがフレーム加算数Fに達するまでループ処理を実行し、jがフレーム加算数Fであればループ処理を終了する。
【0048】
ステップS313では、推定した変換行列に基づいてi番目の関心領域を調整する。これは、例えば、2番目の関心領域206において再構成画像234の外枠である調整前の関心領域206を調整後の関心領域206である関心領域235に調整することに相当する。なお、i番目以降の関心領域を調整する際、i-1番目までに推定した変換行列を利用してもよい。
【0049】
ステップS314では、iが関心領域の数Mであればループ処理を終了する。
図3のフロー図が終了すれば、予備撮像による各関心領域の視野調整ができ、局所関心領域を本撮像する準備が整う。これは、例えば、2番目の関心領域206において、調整した関心領域235および局所関心領域236があることに相当する。
【0050】
これらにより、参照データに基づいて関心領域の対応関係推定に効果的なサンプリング座標群を設定できるため、試料に与えるダメージを抑えることが可能となる。また、フレーム数に応じて逐次生成する再構成画像から関心領域の対応関係を推定し、その可否に基づいてフレーム加算数を制御することで、視野調整の精度を維持しつつ試料に与えるダメージを最小限にすることが可能になる。
【0051】
次に、
図3で説明したフロー図と
図4に示したGUI(Graphic User Interface)の図の関係について説明する。
【0052】
図4は、疎なサンプリング座標群を低倍率画像上または再構成画像上に示すGUIの画面例である。GUIの画面400では、低倍率画像401上に関心領域405~407に設定した疎なサンプリング座標群408~410を表示する。また、関心領域405~407の再構成画像421~423上に設定した疎なサンプリング座標群の分布範囲424~426を表示する。
【0053】
なお、疎なサンプリング座標群408~410のように疎なサンプリン座標群の分布範囲424~426を疎なサンプリング座標群で示してもよい。さらに、実際に関心領域間の変換行列の推定可否でサンプリングするフレーム数を制御した結果を表示するために、サンプリング座標群427~429を表示する。ここでは、例えば、サンプリング座標群427~429のフレーム数は、それぞれ8、6、7である。
【0054】
まず、
図3のステップS301では、
図4のGUI画面400上に低倍率画像401を参照データとして設定する。
【0055】
次に、ステップS302において、
図4のGUI画面400に表示された低倍率画像401上で、テンプレートマッチング又はユーザが教示した画像に基づいて、関心領域405~407を設定する。
【0056】
次に、ステップS303において、例えばユーザが教示したデータに基づいて設定した関心領域405~407の疎なサンプリング座標群408~410を、GUI画面400上で関心領域405~407と重ねて表示する。
【0057】
次に、ステップS304において、関心領域405を代表関心領域として荷電粒子顕微鏡を用いて代表関心領域405の疎なサンプリング座標群408{s1、j、k}を撮像して得た全てのフレーム(例えば8フレーム分)の疎なサンプリング座標群427を、GUI画面400上に表示する。
【0058】
次に、ステップS305において、代表関心領域405の全てのフレーム(8フレーム分)のサンプリング座標群427から得られる疎な画素値群から再構成画像421 Y1を作成し、GUI画面400上に標示する。また、この再構成画像421上には、疎なサンプリング座標群408の分布範囲424を表示してもよい。
【0059】
次に、ステップS306からステップS314までを繰り返し行う中で、ステップS308のサンプリング座標群409、410{si、j、k}を撮像するステップにおいて撮像して得た全てのフレームのサンプリング座標群428、429を、GUI画面400上に表示する。
【0060】
また、ステップS309の再構成画像を生成するステップにおいて順次生成した、関心領域406および407における再構成画像422および423を、
図4のGUI画面400上に表示する。
【0061】
また、S311のフレーム撮像スキップ可をチェックするステップにおいて、予め設定したフレーム数(例えば8枚)よりも少ないフレーム数で変換行列の値が収束したと判断した場合には、そのフレーム数を、
図4のGUI画面400上の加算フレーム数の欄440に表示する。
【0062】
本実施例によれば、関心領域毎のサンプリング数を異ならせて視野調整に必要なサンプリング数に絞ることで、サンプリング時間を短くする上に試料に与えるダメージを抑えることが可能になる。
【0063】
[変形例1]
次に、
図3のフロー図におけるS303の関心領域{ri}のサンプリング座標群{si、j、k}を設定する方法の第1の変形例として、関心領域毎の疎なサンプリング数を異ならせて設定する例について、
図5および
図6を用いて説明する。
【0064】
図5は、
図6の説明に用いる試料の低倍率画像501および関心領域505~507毎に設定する疎なサンプリング座標群527~529に関する一例を示した図であり、低倍率画像の欄51、暫定の疎なサンプリング座標群の欄52、疎なサンプリング座標群の欄53を示す。低倍率画像の欄51に示した参照データは低倍率画像501であり、試料502~504が撮像されている。試料内の一部の模様508~510は試料502~504毎に異なっている。
【0065】
試料502~504には、それぞれ関心領域505~507を設定する。関心領域505~507には、暫定の疎なサンプリング座標群の欄52に示したような暫定の疎なサンプリング座標群521~523、および疎なサンプリング座標群の欄53に示したような疎なサンプリング座標群527~529を設定する。例えば、暫定の疎なサンプリング座標群521~523およびは疎なサンプリング座標群527~529を8フレームに分割して設定する。各フレームの分布範囲524~526および530~532における疎なサンプリング座標の位置はランダムであるが、疎なサンプリング座標の密度は同じになるように設定する。
【0066】
図6は、実施例1に係るステップS303で関心領域毎の疎なサンプリング数を異ならせて設定する例を示した本変形例に係るフロー図である。ここで、説明のために
図5を用いる。試料の一部の模様508、510が低倍率画像501と低倍率画像201で異なるが、ステップS601は、ステップS303に対応する。このため、疎なサンプリング座標群521~523とそれらの疎なサンプリング座標群の分布範囲524~526は、
図2で説明したそれぞれ疎なサンプリング座標群221~223とそれらの疎なサンプリング座標群の分布範囲224~226に対応する。
【0067】
ステップS602では、低倍率画像に基づいて関心領域の画像特徴量が多い領域を抽出する。これは、低倍率画像501の関心領域505~507毎の模様508~510を抽出することに相当する。画像特徴量が多い領域を抽出する方法としては、ソーベルフィルタなどでエッジを抽出し、エッジ成分を囲むように領域を設定する方法などがある。
【0068】
ステップS603では、画像特徴量が多い領域とそれ以外の領域を分けるマスク画像を生成する。マスク画像の生成方法としては、画像特徴量が多い領域の画素値を1とそれ以外の画素値を0として2値化する方法などがある。関心領域間で試料の模様に位置ずれが生じることを考えれば、2値画像に収縮処理を行って画素値が1の領域を広げておいてもよい。
【0069】
ステップS604では、マスク画像を用いて画像特徴量が少ない領域の疎なサンプリング座標群を除外する。これは、関心領域505~507毎のマスク画像を用いて暫定の疎なサンプリング座標群521~523からマスク画像の画素値が0であるサンプリング座標を除いて疎なサンプリング座標群527~529を設定することに相当する。この場合、疎なサンプリング座標群の分布範囲530~532は、関心領域505~507毎のマスク画像における画素値が1の領域に対応する。
【0070】
これらにより、関心領域毎のサンプリング数を異ならせて視野調整に必要なサンプリング数に絞ることで、サンプリング時間を短くする上に試料に与えるダメージを抑えることが可能になる。
【0071】
[変形例2]
次に、
図3のフロー図におけるステップS303の関心領域{ri}のサンプリング座標群{si、j、k}を設定する方法の第2の変形例として、代表関心領域と同じ位置関係のサンプリング座標群をその他の関心領域に設定する例を、
図7および
図8を用いて説明する。本変形例は、例えば半導体デバイスのような構造がほぼ同じパターンが多数形成されているような試料を、位置ずれが少ないステージを用いて観察するような場合に適用される。
【0072】
図7は、
図8の説明に用いる試料の低倍率画像701および関心領域705~707毎に設定する疎なサンプリング座標群727~729に関する一例を示した図であり、低倍率画像の欄71、疎なサンプリング座標群の欄72、疎なサンプリング座標群の欄73を示す。参照データは低倍率画像の欄71に示した低倍率画像701であり、試料702~704が撮像されている。試料702~704には、それぞれ関心領域705~707を設定する。関心領域705~707には、疎なサンプリング座標群の欄73に示した疎なサンプリング座標群727~729を設定する。例えば、疎なサンプリング座標群727~729を8フレームに分割して設定する。
【0073】
疎なサンプリング座標群の欄73に示した疎なサンプリング座標点730~732は、各フレームのサンプリング座標点を表す。疎なサンプリング座標群の欄72に示した疎なサンプリング座標群721~723は、
図2で説明した疎なサンプリング座標群221~223に対応する。
【0074】
疎なサンプリング座標群の欄72に示した疎なサンプリング座標点724~726は、
図2で説明した疎なサンプリング座標群の分布範囲224~226に関して具体的なサンプリング座標点を示している。疎なサンプリング座標群721~723における疎なサンプリング座標点724~726の位置関係はランダムである。一方で、疎なサンプリング座標群727~729における疎なサンプリング座標点730~732は、関心領域間での位置関係は同じである。なお、疎なサンプリング座標群721と疎なサンプリング座標群727のサンプリング座標点の位置関係は同じでなくてもよい。
【0075】
図8は、実施例1で説明した
図3におけるフロー図のステップS303に対応する本変形例に係る処理フロー図で、代表関心領域と同じ位置関係のサンプリング座標群をその他の関心領域に設定する例を示した。ここで、説明のために
図7を用いる。
【0076】
ステップS801は、ステップS303で代表関心領域である一番目の関心領域に疎なサンプリング座標群を設定するまでは同様である。これは、関心領域708にサンプリング座標群727をサンプリング座標点730のように設定することに相当する。なお、ステップS303と同様に設定すれば、例えば、関心領域705~707においてそれぞれサンプリング座標群721~723をサンプリング座標点724~726のように設定することになる。
【0077】
ステップS802では、低倍率画像に基づいて代表関心領域とそれ以外の関心領域間の変換行列を算出する。変換行列は、例えば、低倍率画像における関心領域間の特徴点マッチングに基づいて算出する。
【0078】
ステップS803では、代表関心領域の疎なサンプリング座標群を代表関心領域とそれ以外の関心領域間の変換行列で座標変換することで代表関心領域以外のサンプリング座標群をそれぞれ設定する。これは、関心領域706、707にサンプリング座標群728、729をサンプリング座標点731、732のように設定することに相当する。
【0079】
これらにより、試料の模様に対して同じような位置関係の疎なサンプリング座標点を設定することで、再構成画像の画質のばらつきが抑えられ視野調整の精度を維持することが可能になる。
【0080】
また、本変形例によれば、関心領域毎のサンプリング数を異ならせて視野調整に必要なサンプリング数に絞ることで、サンプリング時間を短くする上に試料に与えるダメージを抑えることが可能になる。
【実施例2】
【0081】
次に、本発明の第2の実施例を、
図9~11を用いて説明する。本実施例に係る走査型電子顕微鏡装置の構成は、実施例1において
図1Aおよび
図1Bで説明した走査型電子顕微鏡装置100と同じであるので説明を省略する。
【0082】
実施例2が実施例1と異なる点は、マージサンプリング座標群に基づいて算出した疎なサンプリング座標群のドリフト量を用いて、疎なサンプリング座標のドリフトを補正する点にある。ここで、マージサンプリング座標群とは、少なくとも一つの疎なサンプリング座標を他の疎なサンプリング座標にマージしたサンプリング座標群のことである。なお、一つの疎なサンプリング座標群を他の複数の疎なサンプリング座標群にそれぞれマージしてもよい。実施例2が実施例1と異なる点について
図9~11を用いて説明する。
【0083】
図9は、実施例2の説明に用いる疎なサンプリング座標群91、マージサンプリング座標群92およびそれらの再構成画像93に関する一例を示した図である。疎なサンプリング座標群91の欄に示した疎なサンプリング座標群901~906は、関心領域206に設定した疎なサンプリング座標群222の1番目から6番目のフレームに対応するものである。疎なサンプリング座標群901~906のサンプリング座標点907~912について、数は同じだが、位置はランダムである。
【0084】
疎なサンプリング座標群91の欄には、図の表現の便宜上、わずかな数のサンプリング座標点しか図示していないが、例えば、中倍率画像で撮像した際の関心領域を構成する画素数の20%がサンプリング座標点の数になる。マージサンプリング座標群92の欄に示した疎なサンプリング座標群913は、2、3番目のフレームの疎なサンプリング座標群902、903をマージしたもの、疎なサンプリング座標群914は、3、4番目のフレームの疎なサンプリング座標群903、904をマージしたものである。疎なサンプリング座標群921は、1、2番目のフレームの疎なサンプリング座標群901、902をマージしたものである。
【0085】
再構成画像93の欄に示した再構成画像923は、疎なサンプリング座標群921から得られた画素群に基づいて再構成した画像、再構成画像924は、3番目のフレームの疎なサンプリング座標群903から得られた画素群に基づいて再構成した画像である。再構成画像923は中程度の画質である。一方、再構成画像924は低画質である。
【0086】
マージサンプリング座標群92の欄に示した疎なサンプリング座標群931は、1番目のフレームの疎なサンプリング座標群901と3~5番目の疎なサンプリング座標群903~905をマージしたものである。再構成画像933は、疎なサンプリング座標群931から得られた画素群に基づいて再構成した画像であり、再構成画像934は、6番目のフレームの疎なサンプリング座標群906から得られた画素群に基づいて再構成した画像である。再構成画像933は高画質である。一方、再構成画像934は低画質である。
【0087】
図10は、実施例2に係る視野調整処理の一例を示したフロー図である。ここで、説明のために
図2と
図9を用いる。
図10に示した本実施例に係る処理の流れは、実施例1において
図3を用いて説明した処理の流れに対してステップS1001はステップS301~S305と、ステップS1002~S1004はステップS306~308と、ステップS1010~1014はステップS310~S314とそれぞれ同様であるため、これらのステップの説明を省略する。
【0088】
以下には、実施例1において
図3を用いて説明した処理の流れにおけるステップS309とは異なる処理をおこなうステップS1005~S1009について説明する。このステップS1005~S1009までの処理は、再構成画像生成部133で実行する。
【0089】
ステップS1005では、疎なサンプリング座標群をマージしてマージサンプリング座標群を生成する。これは、例えば、
図2の低倍率画像201における2番目の関心領域206のj=4のループ処理時に、
図9に示すような疎なサンプリング座標群921、913、914を生成し、マージサンプリング座標群C1~C4をそれぞれ疎なサンプリング座標群901、921、913、914とすることに相当する。
【0090】
マージの方法は、ユーザ入力に基づいて設定してよい。ここでのユーザ入力は、1フレーム目を除いて、各フレームの疎なサンプリング座標とその一つ前のフレームの疎なサンプリング座標の二つの疎なサンプリング座標をマージするというルールである。また、マージサンプリング座標群の元になる疎なサンプリング座標群は、ステップS1003の以前のループ処理でドリフトが補正された疎なサンプリング座標群でもよい。
【0091】
ステップS1006では、マージサンプリング座標群からマージドリフト量群を算出する。これは、例えば、マージサンプリング座標群C1に対するマージサンプリング座標群C2~4のマージドリフト量Δ2~4を算出することに相当する。なお、基準とするマージサンプリング座標群C1のマージドリフト量Δ1はゼロである。マージドリフト量を算出する方法としては、マージサンプリング座標群の間で相関計算し、最大相関値の位置からドリフト量を算出する方法がある。
【0092】
ステップS1007では、マージドリフト量群に基づいて疎なサンプリング座標群のドリフト量群を算出する。これは、例えば、マージドリフト量Δ1~4の近似曲線を算出し、近似曲線に基づいて補間することで、疎なサンプリング座標群902~904のドリフト量δ2~4を算出する。
【0093】
ステップS1008では、算出したドリフト量群で疎なサンプリング座標群のドリフト量を補正する。これは、δ2~4のドリフト量で疎なサンプリング座標群902~904の座標を補正することに相当する。
【0094】
ステップS1009ではドリフト補正した疎なサンプリング座標群から得られた疎な画素値群に基づいて再構成画像を生成する。
【0095】
これらにより、疎なサンプリング座標群のドリフトを補正することで再構成画像の画質が向上するため、より高精度な視野調整またはより少ないフレーム数での視野調整が可能になる。
【0096】
図11は、実施例2に係るステップS1005~S1007でマージサンプリング座標群から再構成画像を生成しドリフト量を算出する一例を示したフロー図である。ここで、説明のために
図2、9を用いる。
【0097】
ステップS1101はステップS1005に対応する。ステップS1101では、疎なサンプリング座標群から成るマージサンプリング座標群を生成する。これは、一つの例では、2番目の関心領域206のj=3のループ処理時に疎なサンプリング座標群921を生成し、マージサンプリング座標群C1、C2をそれぞれ疎なサンプリング座標群921、903とすることに相当する。もう一つの例では、2番目の関心領域206のj=6のループ処理時に疎なサンプリング座標群931を生成し、マージサンプリング座標群C1~C3をそれぞれ疎なサンプリング座標群931、902、906とすることに相当する。
【0098】
ステップS1102では、マージサンプリング座標群から再構成画像を生成する。これは、一つの例では、マージサンプリング座標群C1の疎なサンプリング座標群921から再構成画像923を生成することに相当する。もう一つの例では、マージサンプリング座標群C1の疎なサンプリング座標群931から再構成画像933を生成することに相当する。
【0099】
ステップS1103では、再構成画像とマージサンプリング座標群に基づいてマージドリフト量群を算出する。これは、一つの例では、再構成画像923とマージサンプリング座標群C2の疎なサンプリング座標群903からマージドリフト量Δ2を算出することに相当する。
【0100】
もう一つの例では、再構成画像933とマージサンプリング座標群C2、C3の疎なサンプリング座標群902、906からマージドリフト量Δ2、Δ3を算出することに相当する。ドリフト量を算出する方法としては、再構成画像と疎なサンプリング座標群の間で相関計算し、最大相関値の位置からドリフト量を算出する方法がある。なお、ドリフト量を算出する際に、疎なサンプリング座標群から再構成画像を生成してもよい。
【0101】
ステップS1104では、マージドリフト量群に基づいてドリフト量群を算出する。これは、一つの例では、マージドリフト量Δ2をドリフト量δ3に、それ以外のドリフト量はゼロに設定することに相当する。もう一つの例では、マージドリフト量Δ2、Δ3をドリフト量δ2、δ6に、それ以外のドリフト量はゼロに設定することに相当する。マージドリフト量群とドリフト量群の対応関係はユーザ入力で設定してよい。
【0102】
これらより、マージサンプリング座標群ではなく、その再構成画像と疎なサンプリング座標群の間でドリフト量を算出することで、ドリフト量を安定に算出することが可能になる。また、フレーム数が少なくドリフト量を安定的に算出することが難しいフレームの疎なサンプリング座標群に対してドリフト量を再計算することで、ドリフト補正の精度を向上することが可能になる。
【0103】
また、本実施例によれば、関心領域毎のサンプリング数を異ならせて視野調整に必要なサンプリング数に絞ることで、サンプリング時間を短くする上に試料に与えるダメージを抑えることが可能になる。
【0104】
なお、本発明は上記実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記実施例は本発明をわかりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であるし、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、機能、処理部、処理手段などは、それらの一部又は全部を、例えば集積回路で設計する等によりハードウエアで実現してもよい。例えば上記の実施例の変形をしてもよい。例えば電子ビームを発生させる電子銃に変えて、他の荷電粒子ビームを発生させる荷電粒子銃を用いてもよい。
【符号の説明】
【0105】
100…走査型電子顕微鏡装置、101…走査型電子顕微鏡、121…入出力部、122…制御部、123…処理部、124…記憶部、125…画像処理部、131…関心領域設定部、132…サンプリング座標設定部、133…再構成画像生成部、134…関心領域対応関係推定部、135…関心領域調整部。