特許 7498223 電子顕微鏡およびキャリブレーション方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-06-03

(45)【発行日】2024-06-11

(54)【発明の名称】電子顕微鏡およびキャリブレーション方法

(51)【国際特許分類】

   H01J 37/22 20060101AFI20240604BHJP

   H01J 37/26 20060101ALI20240604BHJP

【ＦＩ】

H01J37/22 501Z

H01J37/22 501C

H01J37/26

【請求項の数】 5

(21)【出願番号】P 2022085240

(22)【出願日】2022-05-25

(65)【公開番号】P2023173174

(43)【公開日】2023-12-07

【審査請求日】2023-08-31

(73)【特許権者】

【識別番号】000004271

【氏名又は名称】日本電子株式会社

(74)【代理人】

【識別番号】100090387

【弁理士】

【氏名又は名称】布施 行夫

(74)【代理人】

【識別番号】100090398

【弁理士】

【氏名又は名称】大渕 美千栄

(74)【代理人】

【識別番号】100161540

【弁理士】

【氏名又は名称】吉田 良伸

(72)【発明者】

【氏名】小入羽 祐治

【審査官】後藤 慎平

(56)【参考文献】

【文献】特開２０１５－０３２３９２（ＪＰ，Ａ）

【文献】特開２０１６－０８５９１７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０１Ｊ ３７／００－３７／３６

(57)【特許請求の範囲】

【請求項1】

試料に電子線を照射し、前記試料を透過した電子で結像する電子光学系と、
イメージセンサーを含み、前記イメージセンサーの各セルに電子が入射することによって得られた信号に基づくフレーム画像を出力するカメラと、
前記フレーム画像に基づいて画像を生成する演算部と、
を含み、
前記演算部は、
閾値を設定する処理と、
前記フレーム画像を前記閾値を用いて二値化し、二値化された前記フレーム画像に基づいて前記画像を生成する処理と、
を行い、
前記閾値を設定する処理では、
仮閾値を設定し、前記イメージセンサーに入射する電子がポアソン過程に従う条件で得られた複数の前記フレーム画像を取得し、取得した複数の前記フレーム画像の各々を前記仮閾値を用いて二値化し、二値化された複数の前記フレーム画像を積算して積算画像を生成し、当該積算画像の各画素の画素値の平均と分散を算出し、算出した平均を算出した分散で除算して正規化定数を求める処理を、前記仮閾値を変更しながら繰り返し、１－０．０７≦Ｓ≦１＋０．０７を満たす前記正規化定数Ｓが得られた前記仮閾値、または１に最も近い前記正規化定数が得られた前記仮閾値に基づき最適閾値を求め、当該最適閾値を前記閾値として設定する、電子顕微鏡。

【請求項2】

請求項１において、
前記イメージセンサーに入射する電子の電流量を測定する測定器を含み、
前記演算部は、
複数の前記フレーム画像の各々を前記最適閾値を用いて二値化し、二値化された複数の前記フレーム画像を積算して積算画像を生成し、当該積算画像の各画素の画素値の平均と前記イメージセンサーの各セルに入射する電子の数に基づいて、検出量子効率を求める処理を行う、電子顕微鏡。

【請求項3】

請求項１または２において、
前記演算部は、前記閾値を設定する処理において、
前記フレーム画像において、隣接する複数の画素の画素値に基づいて、電子が入射したセルに対応する画素を特定する、電子顕微鏡。

【請求項4】

請求項１または２において、
前記カメラは、電子を前記イメージセンサーで直接検出する、電子顕微鏡。

【請求項5】

試料に電子線を照射し、前記試料を透過した電子で結像する電子光学系と、
イメージセンサーを含み、前記イメージセンサーの各セルに電子が入射することによって得られた信号に基づくフレーム画像を出力するカメラと、
前記フレーム画像に基づいて画像を生成する演算部と、
を含み、
前記演算部は、前記フレーム画像を閾値を用いて二値化し、二値化された前記フレーム画像に基づいて前記画像を生成する処理を行う電子顕微鏡における閾値のキャリブレーション方法であって、
仮閾値を設定し、前記イメージセンサーに入射する電子がポアソン過程に従う条件で得られた複数の前記フレーム画像を取得し、取得した複数の前記フレーム画像の各々を前記仮閾値を用いて二値化し、二値化された複数の前記フレーム画像を積算して積算画像を生成し、当該積算画像の各画素の画素値の平均と分散を算出し、算出した平均を算出した分散で除算して正規化定数を求める処理を、前記仮閾値を変更しながら繰り返し、１－０．０７≦Ｓ≦１＋０．０７を満たす前記正規化定数Ｓが得られた前記仮閾値、または１に最も近い前記正規化定数が得られた前記仮閾値に基づき最適閾値を求め、当該最適閾値を前記閾値として設定する、キャリブレーション方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電子顕微鏡およびキャリブレーション方法に関する。

【背景技術】

【0002】

透過電子顕微鏡では、試料を透過した電子をカメラを用いて検出する。

【0003】

例えば、特許文献１の装置では、マルチチャンネルプレート、光を発生するための蛍光板、および光を記録するためのカメラを用いて、二次元的に電子を検出する。特許文献１の装置では、カメラからのフレームを画素ごとに調べてイベントを検出し、タグ付けを行い、タグ付けされたイベントを結合して、二次元画像を生成する。

【0004】

イベントを検出することでフレームごとに得られる画像は、どこでイベントが生じたか、すなわち、どこに電子が入射したかを表すマップとなる。具体的には、イベントが検出された後の各フレームの画素値は、入射電子を表すイベントを意味する「１」、イベントなしを意味する「０」となる。そのため、イベントを結合して生成された二次元画像の各画素の画素値は、結合されたすべてのフレームを撮影した期間に、その画素に生じたイベントの数、すなわち、入射した電子の数に対応する。このように、特許文献１では、フレームを二値化することで電子の数をカウントするカウンティング処理を行って、二次元画像を生成している。

【0005】

特許文献１では、高フレームレートで電子を検出し、各フレームに対してカウンティング処理を行うことによって、蛍光体プレートが強度に対して非線形なゲインプロファイルを有することによる影響を低減し、良好なリニアリティ（線形性）を有する画像を取得可能としている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０２０－５１２６３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

フレームを二値化して入射電子をカウントするカウンティング処理を行う場合、適切な閾値を設定しなければ、ノイズを入射電子としてカウントしたり、電子が入射したにも関わらずカウントされない数え落としが生じたりしてしまう。

【課題を解決するための手段】

【0008】

本発明に係る電子顕微鏡の一態様は、
試料に電子線を照射し、前記試料を透過した電子で結像する電子光学系と、
イメージセンサーを含み、前記イメージセンサーの各セルに電子が入射することによって得られた信号に基づくフレーム画像を出力するカメラと、
前記フレーム画像に基づいて画像を生成する演算部と、
を含み、
前記演算部は、
閾値を設定する処理と、
前記フレーム画像を前記閾値を用いて二値化し、二値化された前記フレーム画像に基づいて前記画像を生成する処理と、
を行い、
前記閾値を設定する処理では、
仮閾値を設定し、前記イメージセンサーに入射する電子がポアソン過程に従う条件で得られた複数の前記フレーム画像を取得し、取得した複数の前記フレーム画像の各々を前記仮閾値を用いて二値化し、二値化された複数の前記フレーム画像を積算して積算画像を生成し、当該積算画像の各画素の画素値の平均と分散を算出し、算出した平均を算出した分散で除算して正規化定数を求める処理を、前記仮閾値を変更しながら繰り返し、１－０．０７≦Ｓ≦１＋０．０７を満たす前記正規化定数Ｓが得られた前記仮閾値、または１に最も近い前記正規化定数が得られた前記仮閾値に基づき最適閾値を求め、当該最適閾値を前記閾値として設定する。

【0009】

このような電子顕微鏡では、二値化の閾値を適切に設定できる。

【0010】

本発明に係るキャリブレーション方法の一態様は、
試料に電子線を照射し、前記試料を透過した電子で結像する電子光学系と、
イメージセンサーを含み、前記イメージセンサーの各セルに電子が入射することによって得られた信号に基づくフレーム画像を出力するカメラと、
前記フレーム画像に基づいて画像を生成する演算部と、
を含み、
前記演算部は、前記フレーム画像を閾値を用いて二値化し、二値化された前記フレーム画像に基づいて前記画像を生成する処理を行う電子顕微鏡における閾値のキャリブレーション方法であって、
仮閾値を設定し、前記イメージセンサーに入射する電子がポアソン過程に従う条件で得られた複数の前記フレーム画像を取得し、取得した複数の前記フレーム画像の各々を前記仮閾値を用いて二値化し、二値化された複数の前記フレーム画像を積算して積算画像を生成し、当該積算画像の各画素の画素値の平均と分散を算出し、算出した平均を算出した分散で除算して正規化定数を求める処理を、前記仮閾値を変更しながら繰り返し、１－０．０７≦Ｓ≦１＋０．０７を満たす前記正規化定数Ｓが得られた前記仮閾値、または１に最も近い前記正規化定数が得られた前記仮閾値に基づき最適閾値を求め、当該最適閾値を前記閾値として設定する。

【0011】

このようなキャリブレーション方法では、二値化の閾値を適切に設定できる。

【図面の簡単な説明】

【0012】

【図1】本発明の一実施形態に係る電子顕微鏡の構成を示す図。

【図2】入射電子による信号の発生量とその頻度を示すグラフ。

【図3】カウンティング処理を説明するための図。

【図4】入射電子による信号の発生量とその頻度を示すグラフにノイズを加えたグラフ。

【図5】演算部の閾値を設定する処理の一例を示すフローチャート。

【図6】演算部の検出量子効率を算出する処理の一例を示すフローチャート。

【図7】１つのセルに入射した電子が隣接する他のセルに侵入した場合に、電子が入射した１つのセルを特定する手法を説明するための図。

【図8】演算部の閾値を設定する処理の変形例を示すフローチャート。

【図9】演算部の閾値を設定する処理の変形例を示すフローチャート。

【図10】イメージセンサーに入射した電子から得られる信号（ノイズを含む）を模擬した確率密度分布および累積密度関数を示す図。

【図11】１０フレーム分の模擬画像を示す図。

【図12】閾値と正規化定数の関係、閾値とカウンティング画像の各画素の画素値の平均の関係、閾値とカウンティング画像の各画素の画素値の分散の関係を示すグラフ。

【図13】閾値と検出量子効率の関係を示すグラフ。

【図14】閾値を２５に設定してカウンティング処理されたカウンティング画像と、閾値を７５に設定してカウンティング処理されたカウンティング画像を示す図。

【発明を実施するための形態】

【0013】

以下、本発明の好適な実施形態について図面を用いて詳細に説明する。なお、以下に説明する実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また、以下で説明される構成の全てが本発明の必須構成要件であるとは限らない。

【0014】

１． 電子顕微鏡
まず、本発明の一実施形態に係る電子顕微鏡について図面を参照しながら説明する。図１は、本発明の一実施形態に係る電子顕微鏡１００の構成を示す図である。

【0015】

電子顕微鏡１００は、電子源１０と、電子光学系２０と、試料ステージ３０と、カメラ４０と、測定器５０と、演算部６０と、を含む。

【0016】

電子源１０は、電子線を放出する。電子源１０は、例えば、陰極から放出された電子を陽極で加速し電子線を放出する電子銃である。

【0017】

電子光学系２０は、電子源１０からの電子線を試料Ｓに照射し、試料Ｓを透過した電子で結像する。電子光学系２０は、照射系２２と、結像系２４と、を含む。

【0018】

照射系２２は、電子源１０から放出された電子線を試料Ｓに照射する。例えば、照射系２２は、試料Ｓに対して平行ビームを照射する。照射系２２は、複数のコンデンサーレンズ２２０を含む。コンデンサーレンズ２２０は、電子源１０から放出された電子線を集束する。図示はしないが、照射系２２は、コンデンサーレンズ２２０以外のレンズや絞りなどを含んでいてもよい。

【0019】

結像系２４は、試料Ｓを透過した電子線で結像するための光学系である。結像系２４は、対物レンズ２４０と、中間レンズ２４２と、投影レンズ２４４と、を含む。

【0020】

対物レンズ２４０は、試料Ｓを透過した電子線でＴＥＭ像を結像するための初段のレンズである。対物レンズ２４０の後焦点面には、電子回折パターンが形成される。中間レンズ２４２は、焦点距離を変えて、対物レンズ２４０によって形成されるＴＥＭ像または電子回折パターンに焦点を合わせて、ＴＥＭ像または電子回折パターンを拡大し、投影レンズ２４４の物面にＴＥＭ像または電子回折パターンを形成する。投影レンズ２４４は、中間レンズ２４２が形成した像（ＴＥＭ像または電子回折パターン）を拡大し、カメラ４０のイメージセンサー４２上に結像する。

【0021】

図示はしないが、結像系２４は、対物レンズ２４０、中間レンズ２４２、および投影レンズ２４４以外のレンズや絞りなどを含んでいてもよい。

【0022】

試料ステージ３０は、試料ホルダー３２に保持された試料Ｓを支持する。試料ステージ３０によって、試料Ｓを位置決めできる。

【0023】

カメラ４０は、イメージセンサー４２を含む。カメラ４０は、電子をイメージセンサー４２で直接検出する直接検出カメラ（Direct Electron Detector）である。すなわち、カメラ４０は、シンチレーターで電子を光に変換し、光をカメラで撮影して電子を検出する間接検出カメラではなく、シンチレーターを用いることなく、イメージセンサー４２で直接電子を検出する。そのため、カメラ４０では、電子を光に変換する過程において、光が広がることによるボケを低減でき、解像度の高い像を取得できる。

【0024】

直接検出カメラとしては、Ｇａｔａｎ社製のＫ２、Ｇａｔａｎ社製のＫ３、Ｔｈｅｒｍｏ Ｆｉｓｈｅｒ Ｓｃｉｅｎｃｅ社製のＦａｌｃｏｎ ４、Ｄｉｒｅｃｔ Ｅｌｅｃｔｒｏｎ社製のＤＥ－６４などが挙げられる。直接検出カメラでは、低照射量で高いコント
ラストが得られるため、クライオ電顕などに好適である。

【0025】

イメージセンサー４２は、支持層と、有感層と、電極層と、を含む。支持層は、有感層および電極層を支持している。有感層に電子が入射すると光電効果により電子正孔対が発生し、この電子（または正孔）を電圧に変換して信号を読み出す。配線層は、信号を伝える配線として機能する。

【0026】

イメージセンサー４２は、複数のセルを有している。イメージセンサー４２の各セルに電子が入射することによってセルごとに信号が得られる。イメージセンサー４２では、各セルが独立して電子を検出する。

【0027】

イメージセンサー４２は、例えば、ＣＭＯＳイメージセンサー、ＣＣＤイメージセンサーなどである。イメージセンサー４２としてＣＭＯＳイメージセンサーを用いることによって、ＣＣＤイメージセンサーを用いた場合と比べて、高フレームレートでフレーム画像を撮影できる。すなわち、イメージセンサー４２としてＣＭＯＳイメージセンサーを用いることによって、単位時間あたりに撮影できるフレーム画像の数を多くできる。

【0028】

カメラ４０は、イメージセンサー４２の各セルに電子が入射することによって得られた信号に基づくフレーム画像を出力する。カメラ４０から出力されるフレーム画像は、各画素がイメージセンサー４２の各セルに対応している。また、フレーム画像の各画素の画素値は、対応するセルに入射した電子による信号の発生量に対応している。なお、イメージセンサー４２の複数のセルをまとめて１つのセルとみなして、フレーム画像の各画素に対応させてもよい。

【0029】

カメラ４０は、イメージセンサー４２に結像されたＴＥＭ像または電子回折パターンを撮影し、フレーム画像として出力する。フレームは最小撮影単位であり、フレーム画像は１フレームの撮影で得られる画像である。

【0030】

測定器５０は、イメージセンサー４２に入射する電子の電流量を測定する。測定器５０は、ファラデーゲージ５２と、電流計５４と、を含む。ファラデーゲージ５２を電子光学系２０の光軸上に配置し、ファラデーゲージ５２に接続された電流計５４で電流を測定する。これにより、イメージセンサー４２に入射する電子の電流量を測定できる。なお、カメラ４０でＴＥＭ像や電子回折パターンを撮影する際には、ファラデーゲージ５２を光軸上から退避させる。

【0031】

演算部６０は、フレーム画像に基づいて画像を生成する。演算部６０は、例えばＣＰＵ（Central Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）等の処理回路と、半導体メモリ等の記憶回路と、を含む。演算部６０の処理の詳細については後述する。

【0032】

２． 演算部の処理
２．１． 画像生成
演算部６０は、カメラ４０で撮影されたフレーム画像をカウンティング処理（二値化）し、カウンティング処理されたフレーム画像を積算して、画像を生成する。ここで、画像とは、ＴＥＭ像、電子回折パターンなどである。

【0033】

直接検出カメラでは、イメージセンサー４２の有感層に電子が入射すると光電効果により電子正孔対が発生し、この電子（または正孔）を電圧に変換して信号を読み出す。

【0034】

図２は、入射電子による信号の発生量とその頻度を示すグラフである。

【0035】

光電効果による信号の発生量は、図２に示すように、ランダウ分布となる。そのため、信号の発生量から入射電子の数を知ることができない。これは、有感層の材質がシリコンであり、厚さが数μｍ程度であるため、多くの場合、入射電子は、エネルギーが完全に消失することなく、イメージセンサーの最下部まで到達するためである。したがって、フレーム画像を単純に積算して画像を生成した場合、フレーム画像の各画素の画素値（各セルにおける信号の発生量）と入射電子の数のリニアリティが不十分である。

【0036】

演算部６０は、リニアリティを向上させるために、カウンティング処理を行う。カウンティング処理では、フレーム画像を二値化して、入射電子をカウントする。

【0037】

図３は、カウンティング処理を説明するための図である。図３には、カメラ４０から出力されたフレーム画像２、およびカウンティング処理後のフレーム画像４を示している。フレーム画像２の各画素の画素値は、イメージセンサー４２の各セルに入射した電子による信号の発生量に対応している。

【0038】

ここで、閾値が１４０に設定された場合、フレーム画像２の各画素の画素値が１４０よりも大きい場合には画素値を「１」とし、フレーム画像２の各画素の画素値が１４０以下の場合には画素値を「０」とする。これにより、フレーム画像２を二値化して、二値化されたフレーム画像４を得ることができる。

【0039】

このようにして、カウンティング処理を行ったフレーム画像４を積算する。これにより、画素値と入射電子の数のリニアリティを向上させた画像を生成できる。

【0040】

２．２． 閾値のキャリブレーション方法
２．２．１． 閾値
演算部６０は、カウンティング処理においてフレーム画像を二値化する。

【0041】

撮影単位である１フレームの間に、２個以上の電子がイメージセンサー４２の１つのセルに入射しても、二値化によって１個の電子が入射したと判別されるため、数え落としが生じる。これにより、検出量子効率（detective quantum efficiency、ＤＱＥ）が低下する。したがって、フレーム画像に対してカウンティング処理を行う場合、イメージセンサー４２の各セルに入射する電子の数の平均は、０．１e^-／pixel／frame以下、すなわち、１フレームあたり、各セルに電子が０．１個以下入射する条件を満たすことが好ましい。

【0042】

なお、検出量子効率は、入力信号の（Ｓ／Ｎ）^２と出力(検出された)信号の（Ｓ／Ｎ）^２の比であり、理想的な検出器の場合、検出量子効率は１になる。なお、Ｓ／Ｎは、ＳＮ比（signal to noise ratio）である。

【0043】

図４は、図２に示す入射電子による信号の発生量とその頻度を示すグラフにセルのノイズを加えたグラフである。

【0044】

図４に示すように、電子をイメージセンサーで検出する場合、図２に示すランダウ分布にノイズ（ランダムノイズ）が重畳される。このとき、閾値をノイズよりも大きい値に設定すれば、ノイズを信号としてカウントしない。また、入射電子の数え落としを減らすためには、閾値をノイズが含まれない範囲で小さい値に設定すればよい。

【0045】

このように、カウンティング処理においては、二値化の閾値を適切に設定しなければ、ノイズを電子としてカウントしたり、電子が入射したにも関わらずカウントされない数え落としが生じたりしてしまう。

【0046】

また、直接検出カメラでは、イメージセンサー４２を構成するトランジスタ等が電子によってダメージを受ける。この電子によるダメージが蓄積すると、ノイズの増加や、信号の発生量の減少を引き起こし、イメージセンサー４２が劣化する。イメージセンサー４２が劣化すると、図４に示すノイズと信号のプロファイルが変化する。したがって、カウンティング処理を実行する際には、最適な閾値を新たに求める必要がある。このように、電子顕微鏡１００では、閾値のキャリブレーションを行う必要がある。

【0047】

２．２．２． 前提
まず、演算部６０が閾値のキャリブレーションを実行する前に、イメージセンサー４２に入射する電子がポアソン過程に従うように、電子光学系２０を調整する。具体的には、１フレームあたりにイメージセンサー４２の各セルに入射する電子の数の平均と分散が一致するように電子光学系２０を調整する。例えば、試料Ｓに電子線を照射せずに、真空部分に電子線を照射し、電子線がイメージセンサー４２に対して一様に照射される平行照射条件となるように電子光学系２０を調整する。

【0048】

また、１フレームあたりにイメージセンサー４２の各セルに入射する電子の数の平均を１個よりも小さくする。１フレームあたりにイメージセンサー４２の各セルに入射する電子の数の平均は、１フレームあたりにイメージセンサー４２に入射する電子の数を、イメージセンサー４２を構成するセルの数で除算したものである。１フレームあたりにイメージセンサー４２の各セルに入射する電子の数の平均は、０．１個以下、すなわち、０．１e^-／pixel／frameであることが好ましい。電子光学系２０を調整することで、１フレームあたりにイメージセンサー４２の各セルに入射する電子の数を調整できる。

【0049】

また、前提条件として、イメージセンサー４２の１つのセルに入射した電子は、他のセルに侵入しないものとする。

【0050】

最適な閾値を算出するためには、イメージセンサー４２への入力およびカウンティング処理後の出力がポアソン過程を満たす必要がある。

【0051】

２．２．３． 処理の流れ
図５は、演算部６０の閾値を設定する処理の一例を示すフローチャートである。

【0052】

演算部６０は、ユーザーが閾値のキャリブレーションを開始する指示を行ったか否かを判定する（Ｓ１００）。演算部６０は、例えば、キャリブレーション開始ボタンの押下操作が行われた場合や、ＧＵＩや入力機器からキャリブレーション開始指示が入力された場合に、ユーザーが開始指示を行ったと判定する。

【0053】

演算部６０は、開始指示を行ったと判定した場合（Ｓ１００のＹｅｓ）、複数のフレーム画像を取得する（Ｓ１０２）。

【0054】

演算部６０は、あらかじめ設定された数のフレーム画像を取得する。フレーム画像の数が多いほど統計ゆらぎを小さくできる。取得するフレーム画像の数は、例えば、数十以上数百以下程度である。

【0055】

フレーム画像は、上述した前提条件で撮影される。すなわち、フレーム画像は、イメージセンサー４２に入射する電子がポアソン過程に従い、かつ、１フレームあたりにイメージセンサー４２の各セルに入射する電子の数の平均が１よりも小さくなる条件で撮影される。

【0056】

ユーザーは、開始指示を行う前に、あらかじめ上述した前提条件となるように電子光学系２０を調整しておく。演算部６０は、カメラ４０にあらかじめ設定された数のフレーム画像を撮影させる。これにより、演算部６０は、イメージセンサー４２に入射する電子がポアソン過程に従う条件で得られた複数のフレーム画像を取得できる。

【0057】

次に、演算部６０は、カウンティング処理における二値化の仮の閾値（仮閾値ｔｈＭ）を設定する（Ｓ１０４）。ここでは、Ｍ＝１とし、仮の閾値として、仮閾値ｔｈ１を設定する。

【0058】

演算部６０は、取得した複数のフレーム画像の各々をカウンティング処理する（Ｓ１０６）。演算部６０は、仮閾値ｔｈ１を用いて各フレーム画像を二値化する。具体的には、演算部６０は、フレーム画像の各画素において、画素値が仮閾値ｔｈ１よりも大きい場合には画素値を「１」とし、画素値が仮閾値ｔｈ１以下の場合には画素値を「０」とする。このようにして、フレーム画像を二値化して二値画像を生成する。

【0059】

次に、演算部６０は、二値化された複数のフレーム画像を積算して積算画像を生成する（Ｓ１０８）。演算部６０は、二値化された複数のフレーム画像において、対応する画素の画素値を積算して、積算画像を生成する。

【0060】

次に、演算部６０は、積算画像の各画素の画素値の平均と分散を算出する（Ｓ１１０）。演算部６０は、算出された平均と分散に基づいて、正規化定数Ｓを求める（Ｓ１１２）。演算部６０は、算出した平均を算出した分散で除算し、正規化定数Ｓを求める。

【0061】

次に、演算部６０は、Ｍ＝Ｎを満たすか否かを判定する（Ｓ１１４）。すなわち、演算部６０は、仮閾値ｔｈＮを設定したか否かを判定する。

【0062】

演算部６０はＭ＝Ｎを満たさないと判定した場合（Ｓ１１４のＮｏ）、Ｍ＝Ｍ＋１とし、処理Ｓ１０４に戻って、仮閾値ｔｈ２を設定する（Ｓ１０４）。仮閾値ｔｈ２は、仮閾値ｔｈ１と異なる値を持つ。

【0063】

演算部６０は、取得した複数のフレーム画像の各々をカウンティング処理する（Ｓ１０６）。演算部６０は、仮閾値ｔｈ２を用いて各フレーム画像を二値化する。演算部６０は、二値化された複数のフレーム画像を積算して積算画像を生成し（Ｓ１０８）、積算画像の各画素の画素値の平均と分散を算出し（Ｓ１１０）、算出された平均と分散に基づいて、正規化定数Ｓを求める（Ｓ１１２）。

【0064】

このように、演算部６０は、仮閾値を変更しながら、処理Ｓ１０４、処理Ｓ１０６、処理Ｓ１０８、処理Ｓ１１０、処理Ｓ１１２、処理Ｓ１１４を繰り返す。演算部６０は、これらの処理をＮ回繰り返して、Ｍ＝Ｎとなった場合（Ｓ１１４のＹｅｓ）、得られたＮ個の正規化定数Ｓに基づいて最適閾値を決定する（Ｓ１１６）。

【0065】

演算部６０は、例えば、１－０．０７≦Ｓ≦１＋０．０７を満たす正規化定数Ｓが得られた仮閾値のうちの最小の仮閾値を最適閾値とする。この１－０．０７≦Ｓ≦１＋０．０７の判定基準は、単位時間あたりにイメージセンサー４２の各セルに入射する電子の数（e^-／pixel／sec）、フレーム画像が持つデータの大きさ（画素数）、ビット深度（１画素に割り当てられるデータ量）、信号の発生量（ランダウ分布＋ノイズ）、カウンティング処理を行うフレーム画像の数などに基づいて決定される。また、この範囲を満たす仮閾値のうちの最小の仮閾値を最適閾値とすることで、電子の数え落としを低減できる。

【0066】

なお、最適閾値の決定方法は、これに限定されず、例えば、最も「１」に近い正規化定
数Ｓが得られた仮閾値を最適閾値として設定してもよい。

【0067】

演算部６０は、最適閾値とした仮閾値を、画像を生成する処理における閾値として設定し、処理を終了する。

【0068】

２．３． 検出量子効率の算出
演算部６０は、検出量子効率（ＤＱＥ）を算出できる。図６は、演算部６０の検出量子効率を算出する処理の一例を示すフローチャートである。

【0069】

検出量子効率を求める際の前提条件は、閾値のキャリブレーションを行う際の前提条件と同じである。

【0070】

演算部６０は、ユーザーが検出量子効率を算出する処理を開始する指示を行ったか否かを判定する（Ｓ２００）。演算部６０は、例えば、算出処理開始ボタンの押下操作が行われた場合や、ＧＵＩや入力機器から算出処理開始指示が入力された場合に、ユーザーが開始指示を行ったと判定する。

【0071】

演算部６０は、開始指示を行ったと判定した場合（Ｓ２００のＹｅｓ）、複数のフレーム画像を取得する（Ｓ２０２）。

【0072】

次に、演算部６０は、カウンティング処理における二値化の仮閾値ｔｈＭを設定し（Ｓ２０４）、取得した複数のフレーム画像の各々をカウンティング処理する（Ｓ２０６）。次に、演算部６０は、二値化された複数のフレーム画像を積算して積算画像を生成し（Ｓ２０８）、積算画像の各画素の画素値の平均と分散を算出し（Ｓ２１０）、正規化定数Ｓを求める（Ｓ２１２）。

【0073】

次に、演算部６０は、Ｍ＝Ｎを満たすか否かを判定し（Ｓ２１４）、Ｍ＝Ｎを満たさないと判定した場合（Ｓ２１４のＮｏ）、Ｍ＝Ｍ＋１とし、処理Ｓ２０４に戻る。演算部６０は、仮閾値を変更しながら、処理Ｓ２０４、処理Ｓ２０６、処理Ｓ２０８、処理Ｓ２１０、処理Ｓ２１２、処理Ｓ２１４を繰り返す。

【0074】

演算部６０は、これらの処理をＮ回繰り返して、Ｍ＝Ｎとなった場合（Ｓ２１４のＹｅｓ）、得られたＮ個の正規化定数Ｓに基づいて最適閾値を決定する（Ｓ２１６）。

【0075】

処理Ｓ２０２、処理Ｓ２０４、処理Ｓ２０６、処理Ｓ２０８、処理Ｓ２１０、処理Ｓ２１２、処理Ｓ２１４、処理Ｓ２１６は、それぞれ上述した図５に示す処理Ｓ１０２、処理Ｓ１０４、処理Ｓ１０６、処理Ｓ１０８、処理Ｓ１１０、処理Ｓ１１２、処理Ｓ１１４、処理Ｓ１１６と同様に行われる。

【0076】

次に、演算部６０は、検出量子効率を算出する（Ｓ２１８）。演算部６０は、まず、処理Ｓ２０２で取得した複数のフレーム画像の各々を処理Ｓ２１６で求めた最適閾値を用いて二値化する。次に、演算部６０は、二値化された複数のフレーム画像を積算して積算画像を生成する。次に、演算部６０は、積算画像の各画素の画素値の平均と、イメージセンサー４２の各セルに入射する電子の数に基づいて、検出量子効率を求める。

【0077】

ここで、イメージセンサー４２の各セルに入射する電子の数は、処理Ｓ２０２で複数のフレーム画像をカメラ４０で撮影したときの露光時間（総露光時間）にイメージセンサー４２の各セルに入射する電子の数である。このイメージセンサー４２の各セルに入射する電子の数（e^-／pixel）は、単位時間あたりにイメージセンサー４２の各セルに入射する電子の数（e^-／pixel／sec）と、処理Ｓ２０２で複数のフレーム画像をカメラ４０で撮影
したときの露光時間から求めることができる。

【0078】

演算部６０は、測定器５０で測定されたイメージセンサー４２に入射する電子の電流量から単位時間あたりにイメージセンサー４２の各セルに入射する電子の数（e^-／pixel／sec）を算出する。演算部６０は、算出した単位時間あたりにイメージセンサー４２の各セルに入射する電子の数（e^-／pixel／sec）と露光時間に基づいて、イメージセンサー４２の各セルに入射する電子の数（e^-／pixel）を求める。

【0079】

演算部６０は、最適閾値を用いて二値化された複数のフレーム画像を積算して得られた積算画像の各画素の画素値の平均を算出し、当該平均をイメージセンサー４２の各セルに入射する電子の数（e^-／pixel）で除算することで、検出量子効率を算出する。

【0080】

３． 効果
電子顕微鏡１００では、演算部６０は、閾値を設定する処理を行い、閾値を設定する処理では、仮閾値を設定し、イメージセンサー４２に入射する電子がポアソン過程に従う条件で得られた複数のフレーム画像を取得し、取得した複数のフレーム画像の各々を仮閾値を用いて二値化し、二値化された複数のフレーム画像を積算して積算画像を生成し、積算画像の各画素の画素値の平均と分散に基づいて正規化定数を求める処理を、仮閾値を変更しながら繰り返して、仮閾値を求め、仮閾値に基づき最適閾値を求め、当該最適閾値を閾値として設定する。そのため、電子顕微鏡１００では、適切な閾値を設定することができ、画素値と入射電子の数のリニアリティを向上できる。

【0081】

また、電子顕微鏡１００では、演算部６０がカウンティング処理における二値化の閾値を求めるため、容易に、閾値を設定できる。したがって、電子顕微鏡１００では、例えば、放射線ダメージによってイメージセンサー４２が劣化しても、劣化したイメージセンサー４２に応じた閾値を容易に設定できる。

【0082】

電子顕微鏡１００では、演算部６０は、複数のフレーム画像の各々を最適閾値を用いて二値化し、二値化された複数のフレーム画像を積算して積算画像を生成し、当該積算画像の各画素の画素値の平均と、イメージセンサー４２の各セルに入射する電子の数に基づいて、検出量子効率を求める処理を行う。このように、電子顕微鏡１００では、検出量子効率を求めることができる。

【0083】

電子顕微鏡１００では、検出量子効率を求めることができるため、例えば、放射線ダメージによってイメージセンサー４２が劣化する前後の検出量子効率を求めることで、検出量子効率の低下の度合いを把握できる。

【0084】

４． 変形例
４．１． 第１変形例
上述した実施形態では、前提条件として、イメージセンサー４２の１つのセルに入射した電子は、他のセルに侵入しないものとしたが、１つのセルに入射した電子が隣接する他のセルに侵入する場合がある。

【0085】

カメラ４０への入力とカメラ４０の出力がポアソン過程を満たすためには、１つのセルに入射した電子が隣接する他のセルに侵入した場合でも、入射した１つのセルを特定する必要がある。このとき、セルの位置を特定しなくてもよく、イメージセンサー４２に入射した電子の数と、フレーム画像において特定される電子の数が一致すればよい。

【0086】

図７は、１つのセルに入射した電子が隣接する他のセルに侵入した場合に、電子が入射した１つのセルを特定する手法を説明するための図である。

【0087】

例えば、図７に示すように、フレーム画像２において注目する１つの画素（ハッチングを付した画素）に隣接する８つの画素を１つのグループＧとし（グルーピング）、画素値における重心位置を求め、重心位置と重なる画素を電子が入射したセルに対応する画素とする。

【0088】

また、例えば、図７に示すように、フレーム画像２において注目する１つの画素に隣接する８つの画素を１つのグループＧとし、グループＧのなかで、最も大きな画素値を持つ画素を電子が入射したセルに対応する画素とする。

【0089】

また、例えば、図７に示すように、フレーム画像２において注目する１つの画素に隣接する８つの画素を１つのグループＧとし、グループＧのなかであらかじめ指定された位置にある画素を電子が入射したセルに対応する画素とする。例えば、グループＧのなかで左上端に位置する画素を電子が入射したセルに対応する画素とする。

【0090】

上記では、注目する画素と、当該画素に隣接する８つの画素を１つのグループＧとしたが、複数の画素を１つのグループにまとめるグルーピングの手法やグループに含まれる画素の数はこれに限定されない。

【0091】

このように電子が入射した１つのセルを特定する手法は、これらに限定されず、イメージセンサー４２に入射した電子の数と、フレーム画像において特定される電子の数が一致するように、電子が入射した１つのセルを特定できればよい。

【0092】

４．２． 第２変形例
図８は、演算部６０の閾値を設定する処理の変形例を示すフローチャートである。

【0093】

図８に示すように、演算部６０は、複数のフレーム画像を取得する処理Ｓ１０２の後に、複数のフレーム画像の各々に対して黒引き処理Ｓ１０３を行う。

【0094】

黒引き処理は、フレーム画像から黒画像を減算する処理である。ここで、黒画像は、イメージセンサー４２に電子が入射しない条件で撮影された画像である。黒引き処理を行うことによって、イメージセンサー４２の規則的なノイズを除去できる。

【0095】

図６に示す検出量子効率を算出する処理においても、複数のフレーム画像を取得する処理Ｓ２０２の後に、複数のフレーム画像の各々に対して黒引き処理を行ってもよい。

【0096】

４．３． 第３変形例
図９は、演算部６０の閾値を設定する処理の変形例を示すフローチャートである。

【0097】

上述した図５に示す例では、仮閾値ｔｈ１～仮閾値ｔｈＮのそれぞれに対応する正規化定数Ｓを求めた後、仮閾値ｔｈ１～仮閾値ｔｈＮから最適閾値を決定した。

【0098】

これに対して、図９に示す変形例では、演算部６０は、正規化定数Ｓを求める処理Ｓ１１２の後に、正規化定数Ｓが１－０．０７≦Ｓ≦１＋０．０７を満たすか否かを判定する（Ｓ１１５）。

【0099】

演算部６０は、処理Ｓ１１２で求めた正規化定数Ｓが１－０．０７≦Ｓ≦１＋０．０７を満たしていないと判定した場合（Ｓ１１５のＮｏ）、閾値を変更し、処理Ｓ１０４に戻って、処理Ｓ１０６、処理Ｓ１０８、処理Ｓ１１０、処理Ｓ１１２、処理Ｓ１１５を行う。

【0100】

演算部６０は、処理Ｓ１１２で求めた正規化定数Ｓが１－０．０７≦Ｓ≦１＋０．０７を満たしていると判定した場合（Ｓ１１５のＹｅｓ）、このときの仮閾値を最適閾値とする（Ｓ１１６）。

【0101】

５． 実験例
図１０は、イメージセンサーに入射した電子から得られる信号（ノイズを含む）を模擬した確率密度分布および累積密度関数を示す図である。

【0102】

図１０に示す確率密度分布および累積密度関数から、シミュレーションにより模擬画像を１０フレーム分作成した。

【0103】

図１１は、１０フレーム分の模擬画像を示す図である。図１１では、便宜上、模擬画像をグレースケールで表している。

【0104】

模擬画像は、図１０に示す確率密度分布および累積密度関数でイメージセンサーに電子が入射したときに得られるフレーム画像を模擬したものである。模擬画像のサイズは、１００pixel×１００pixelである。

【0105】

二値化の閾値を設定し、図１１に示す１０フレーム分の模擬画像を、カウンティング処理（二値化）した。次に、二値化された１０フレーム分の模擬画像を積算してカウンティング画像（積算画像）を生成した。次に、カウンティング画像の各画素の画素値の平均と分散を算出し、算出した平均を算出した分散で除算し、正規化定数を求めた。

【0106】

この処理を、閾値を２５から２００まで２５刻みで変更しながら繰り返して、閾値ごとに正規化定数を求めた。

【0107】

図１２は、閾値と正規化定数の関係、閾値とカウンティング画像の各画素の画素値の平均の関係、閾値とカウンティング画像の各画素の画素値の分散の関係を示すグラフである。なお、図１２に示す矢印は、対応する軸を示している。

【0108】

閾値が２５では、平均と分散が大きく乖離している。閾値が５０では、閾値が２５のときと比べて、平均と分散の差が小さくなる。閾値が１００以上の範囲では、平均と分散の差がほとんど変化しない。

【0109】

図１２に示すように、正規化定数Ｓが１－０．０７≦Ｓ≦１＋０．０７の範囲に含まれる最小の閾値は７５である。したがって、最適閾値は７５となる。

【0110】

ここで、図１２に示すように、閾値が７５から２００の範囲で、正規化定数Ｓは１－０．０７≦Ｓ≦１＋０．０７の範囲に含まれており、ポアソン過程を満たしている。しかし、閾値が７５から２００の範囲で、カウンティング画像の各画素の画素値の平均は、閾値が７５のときに最大となり、閾値が大きくなるほど減少する。この閾値の減少は、電子の数え落としが生じていることを示唆している。したがって、最適閾値として、正規化定数Ｓが１－０．０７≦Ｓ≦１＋０．０７の範囲に含まれる最小の閾値を選択することで、電子の数え落としを低減できる。

【0111】

なお、上記では、閾値の刻み幅を２５とした場合について説明したが、閾値の刻み幅は特に限定されない。閾値の刻み幅を小さくすることで、より最適な閾値を求めることができる。

【0112】

次に、検出量子効率を求めた。ここでは、１フレームあたりに１つのセルに入射する電子の数の平均を０．１e^-／pixel／frameとして、閾値ごとに検出量子効率を求めた。

【0113】

図１３は、閾値と検出量子効率の関係を示すグラフである。

【0114】

図１３に示すように、閾値が５０以下では、検出量子効率が１００を超えている。このことからも、閾値が５０以下では、ポアソン過程を満たしていないことが確認できる。また、閾値が大きくなるほど、検出量子効率が低下していることがわかる。

【0115】

図１４は、閾値を２５に設定してカウンティング処理されたカウンティング画像Ｉ２と、閾値を７５（最適閾値）に設定してカウンティング処理されたカウンティング画像Ｉ４を示す図である。

【0116】

図１４に示すように、カウンティング画像Ｉ２にはカウンティング画像Ｉ４に比べて、白い画素が多い。これは、図１３に示すように、閾値が２５の場合には検出量子効率が１００％を超えており、カウンティング画像Ｉ２ではノイズがカウントされているためである。

【0117】

本発明は、上述した実施形態に限定されるものではなく、さらに種々の変形が可能である。例えば、本発明は、実施形態で説明した構成と実質的に同一の構成を含む。実質的に同一の構成とは、例えば、機能、方法、及び結果が同一の構成、あるいは目的及び効果が同一の構成である。また、本発明は、実施形態で説明した構成の本質的でない部分を置き換えた構成を含む。また、本発明は、実施形態で説明した構成と同一の作用効果を奏する構成又は同一の目的を達成することができる構成を含む。また、本発明は、実施形態で説明した構成に公知技術を付加した構成を含む。

【符号の説明】

【0118】

２…フレーム画像、４…フレーム画像、１０…電子源、２０…電子光学系、２２…照射系、２４…結像系、３０…試料ステージ、３２…試料ホルダー、４０…カメラ、４２…イメージセンサー、５０…測定器、５２…ファラデーゲージ、５４…電流計、６０…演算部、１００…電子顕微鏡、２２０…コンデンサーレンズ、２４０…対物レンズ、２４２…中間レンズ、２４４…投影レンズ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】