特許 7198360 荷電粒子線装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-12-20

(45)【発行日】2022-12-28

(54)【発明の名称】荷電粒子線装置

(51)【国際特許分類】

   G01N 23/2251 20180101AFI20221221BHJP

   H01J 37/22 20060101ALI20221221BHJP

【ＦＩ】

G01N23/2251

H01J37/22 502H

【請求項の数】 13

(21)【出願番号】P 2021543851

(86)(22)【出願日】2019-09-04

(86)【国際出願番号】 JP2019034683

(87)【国際公開番号】W WO2021044532

(87)【国際公開日】2021-03-11

【審査請求日】2022-02-21

(73)【特許権者】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテク

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】千葉 寛幸

(72)【発明者】

【氏名】陳 偉健

(72)【発明者】

【氏名】小松崎 諒

(72)【発明者】

【氏名】佐藤 博文

【審査官】小野 健二

(56)【参考文献】

【文献】特開２０１４－２０７１１０（ＪＰ，Ａ）

【文献】特開２００３－１０７０２２（ＪＰ，Ａ）

【文献】国際公開第２０１４／１０４１９１（ＷＯ，Ａ１）

【文献】特開２０１７－５４２３９（ＪＰ，Ａ）

【文献】特開２００８－２５１７６６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ２３／００－Ｇ０１Ｎ２３／２２７６

Ｈ０１Ｊ３７／００－Ｈ０１Ｊ３７／３６

(57)【特許請求の範囲】

【請求項1】

荷電粒子線装置であって、
荷電粒子線を試料に対して照射する照射部と、
前記荷電粒子線の前記試料への照射に起因する粒子を検出する粒子検出部と、
前記粒子検出部からの出力に基づいて前記試料の画像を生成する画像生成部と、
構造検出部と、を有し、
前記構造検出部は、
第１構造を検出するための第１学習済みモデルに、前記試料の画像を入力し、
第２構造を検出するための第２学習済みモデルに、前記試料の画像を入力し、
前記第１学習済みモデルから、前記第１構造に係る第１検出結果を取得し、
前記第２学習済みモデルから、前記第２構造に係る第２検出結果を取得し、
前記第１検出結果に基づいて前記第１構造の位置または領域を決定し、
前記第２検出結果に基づいて前記第２構造の位置または領域を決定し、
前記第１構造の位置または領域と、前記第２構造の位置または領域とを異なる表現で表す統合結果情報を出力する、
荷電粒子線装置。

【請求項2】

前記統合結果情報は、前記試料の画像において、前記第１構造の位置または領域と、前記第２構造の位置または領域とを表す統合結果画像によって表され、
前記構造検出部は、前記試料の画像において、前記第１構造の位置または領域に第１表現を表示し、前記第２構造の位置または領域に第２表現を表示することにより、前記統合結果画像を生成する、
請求項１に記載の荷電粒子線装置。

【請求項3】

前記第１表現は第１の色によって実現され、
前記第２表現は第２の色によって実現される、
請求項２に記載の荷電粒子線装置。

【請求項4】

前記構造検出部は、
第３構造を検出するための第３学習済みモデルに、前記試料の画像を入力し、
前記第３学習済みモデルから、前記第３構造に係る第３検出結果を取得し、
前記第３検出結果に基づいて前記第３構造の位置または領域を決定し、
前記統合結果画像は、前記試料の画像において、さらに前記第３構造の位置または領域に前記第１表現または前記第２表現を表示することにより生成される、
請求項２に記載の荷電粒子線装置。

【請求項5】

前記構造検出部は、
前記試料の画像および前記第１検出結果に基づき、画像処理によって前記第１構造の位置または領域を決定し、
前記試料の画像および前記第２検出結果に基づき、画像処理によって前記第２構造の位置または領域を決定する、
請求項１に記載の荷電粒子線装置。

【請求項8】

前記重複時補正処理は、位置または領域が重複する前記第１構造および前記第２構造に基づいて第４構造の位置または領域を決定する処理を含み、
前記統合結果情報は、さらに前記第４構造の位置または領域を表す、
請求項７に記載の荷電粒子線装置。

【請求項9】

前記重複時補正処理は、位置または領域が重複する前記第１構造および前記第２構造について、当該第１構造の位置または領域または当該第２構造の位置または領域を前記統合結果情報に含めないようにする処理を含む、
請求項７に記載の荷電粒子線装置。

【請求項10】

前記重複時補正処理は、位置または領域が重複する前記第１構造および前記第２構造について、それらの位置または領域が重複していることを示す情報を出力する処理を含む、
請求項７に記載の荷電粒子線装置。

【請求項11】

前記重複時補正処理は、さらに、位置または領域が重複する前記第１構造および前記第２構造について、当該第１構造および当該第２構造のうちいずれか一方を選択する操作を受け付ける処理を含む、
請求項１０に記載の荷電粒子線装置。

【請求項12】

荷電粒子線装置であって、
荷電粒子線を試料に対して照射する照射部と、
前記荷電粒子線の前記試料への照射に起因する粒子を検出する粒子検出部と、
前記粒子検出部からの出力に基づいて前記試料の画像を生成する画像生成部と、
構造検出部と、を有し、
前記構造検出部は、
第１構造を検出するための第１学習済みモデルに、前記試料の画像を入力し、
第２構造を検出するための第２学習済みモデルに、前記試料の画像を入力し、
前記第１学習済みモデルから、前記第１構造に係る第１検出結果を取得し、
前記第２学習済みモデルから、前記第２構造に係る第２検出結果を取得し、
前記第１検出結果に基づいて前記第１構造の位置または領域を決定し、
前記第２検出結果に基づいて前記第２構造の位置または領域を決定し、
前記第１構造の位置または領域と、前記第２構造の位置または領域とを表す統合結果情報を出力し、
前記構造検出部は、前記第１構造の位置または領域と前記第２構造の位置または領域とが重複する場合に、当該第１構造および当該第２構造に基づいて重複時補正処理を実行し、
前記重複時補正処理は、
位置または領域が重複する前記第１構造および前記第２構造について、それらの位置または領域が重複していることを示す情報を出力する処理と、
位置または領域が重複する前記第１構造および前記第２構造について、当該第１構造および当該第２構造のうちいずれか一方を選択する操作を受け付ける処理と、
機械学習に用いる教師データを生成する処理と、
を含み、
前記第１構造が選択された場合には、前記教師データは、選択されなかった前記第２構造が前記試料の画像に表れないことを表す教師データであり、
前記第２構造が選択された場合には、前記教師データは、選択されなかった前記第１構造が前記試料の画像に表れないことを表す教師データである、
荷電粒子線装置。

【請求項13】

前記重複時補正処理は、さらに、位置または領域が重複する前記第１構造および前記第２構造について、当該第１構造の位置または領域および当該第２構造の位置または領域に基づき、当該第１構造および当該第２構造のいずれか一方を選択する処理を含む、
請求項７に記載の荷電粒子線装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、荷電粒子線装置に関する。

【背景技術】

【0002】

試料における着目対象物の検出および／または評価を行うために、荷電粒子線装置が用いられる。荷電粒子線装置は、試料に荷電粒子線を照射し、照射に起因する信号を利用して着目対象物の検出および／または評価を行う。このような荷電粒子線装置の例は、特許文献１に開示される。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１９－６０７４１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、従来の技術では、ある特定の構造を検出するには有効であるが、異なる種類の構造が混在している場合の処理が困難であるという課題があった。たとえば、ある形状の粒子を検出するために学習された学習済みモデルは、混在している他の形状の粒子や、粒子ではない異物等を検出するには適さない場合がある。

【0005】

この発明はこのような課題を解決するためになされたものであり、異なる種類の構造を適切に検出できる荷電粒子線装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

この発明に係る荷電粒子線装置の一例は、
荷電粒子線を試料に対して照射する照射部と、
前記荷電粒子線の前記試料への照射に起因する粒子を検出する粒子検出部と、
前記粒子検出部からの出力に基づいて前記試料の画像を生成する画像生成部と、
構造検出部と、を有し、
前記構造検出部は、
第１構造を検出するための第１学習済みモデルに、前記試料の画像を入力し、
第２構造を検出するための第２学習済みモデルに、前記試料の画像を入力し、
前記第１学習済みモデルから、前記第１構造に係る第１検出結果を取得し、
前記第２学習済みモデルから、前記第２構造に係る第２検出結果を取得し、
前記第１検出結果に基づいて前記第１構造の位置または領域を決定し、
前記第２検出結果に基づいて前記第２構造の位置または領域を決定し、
前記第１構造の位置または領域と、前記第２構造の位置または領域とを表す統合結果情報を出力する。

【発明の効果】

【0007】

この発明に係る荷電粒子線装置は、複数の学習済みモデルを利用することにより、それぞれ対応する複数種類の構造を検出することができる。

【図面の簡単な説明】

【0008】

【図1】この発明の実施形態１にかかる荷電粒子線装置を概略的に表した正面図。

【図2】表示部に表示される、統合結果画像の例を示すＧＵＩの例。

【図3】表示部に表示される、学習済みモデルを選択するためのＧＵＩの例。

【図4】各学習済みモデルの処理を説明する図。

【図5】各構造に異なる色を用いた統合結果画像の例。

【図6】複数の構造について同一の表現を用いた統合結果画像の例。

【図7】画像処理を用いた統合結果画像の例。

【図8】重複する構造について矩形枠を表示した統合結果画像の例。

【図9】図８の統合結果画像において重複時補正処理の一例が実行され、新たな構造が表示された状態を示す図。

【図10】図８の統合結果画像において重複時補正処理の一例が実行され、一方の構造が優先された状態を示す図。

【図11】図８の統合結果画像において重複時補正処理の一例が実行され、各構造のうちいずれか１つを選択する操作を受け付ける処理を行っている状態を示す図。

【図12】選択された構造に基づいて生成される教師データの例を模式的に示す図。

【発明を実施するための形態】

【0009】

以下、この発明の実施の形態を添付図面に基づいて説明する。
実施形態１．
＜荷電粒子線装置１００の構成について＞
図１は実施形態１にかかる荷電粒子線装置１００を概略的に表した正面図である。この荷電粒子線装置１００は走査型電子顕微鏡である。ただし、荷電粒子線装置は透過型電子顕微鏡、イオンビーム装置等の他の荷電粒子線装置であってもよい。荷電粒子線装置１００の構成は一例にすぎないことに留意されたい。換言すれば、荷電粒子線装置１００の各部の具体的な構成は荷電粒子線装置１００の種類や構造に応じて変わり得る。

【0010】

荷電粒子線装置１００は、荷電粒子線を試料Ｓに対して照射する照射部１１０を有する。この例の照射部１１０は、電子源１１１と、鏡筒１１２を有する。電子源１１１は荷電粒子線（この例では電子線）の源となる電子を放出する。鏡筒１１２は集束レンズ、走査コイル、対物レンズ等を有し、荷電粒子線を試料Ｓに向かって導く。

【0011】

照射部１１０は試料室１２０に接続されている。典型的には、試料室１２０は図示しない真空ポンプなどによって真空引きされている。

【0012】

この例では、荷電粒子線の試料Ｓへの照射に起因する信号を出力する検出部１３０が試料室１２０に設けられている。検出部１３０が検出する対象は、二次電子、反射電子、Ｘ線、オージェ電子などであってよい。また、検出部１３０は複数設けられていてよい。

【0013】

検出部１３０は、荷電粒子線の試料Ｓへの照射に起因する粒子を検出する粒子検出部を含む。粒子検出部は、たとえば二次電子を検出する第一の検出部１３０Ａである。また、検出部１３０は、荷電粒子線の試料Ｓへの照射に起因する電磁波を検出する電磁波検出部を含んでもよい。電磁波検出部は、たとえばＸ線を検出する第二の検出部１３０Ｂである。検出部１３０は試料室１２０に設けられているとは限らない。一例として、一種の走査型電子顕微鏡では、検出部１３０が鏡筒１１２の内部に設けられている。他の例として、一種の透過型電子顕微鏡では、検出部１３０は試料Ｓを透過した電子線を検出するように試料Ｓより電子線の流れの下流に設けられている。

【0014】

荷電粒子線装置１００はステージ１４０を備える。ステージ１４０は可動ステージであってよい。典型的には、ステージ１４０はＸ方向および／またはＹ方向（荷電粒子線の光軸と垂直な平面内における一方向：図１の矢印方向）に可動であってよい。さらに、ステージ１４０はＺ方向（荷電粒子線の光軸と垂直な方向）に可動であってよい。さらに、ステージ１４０は回転（Ｚ軸方向を回転軸とした回転）可能であってよい。さらに、ステージ１４０は傾斜（Ｘ方向またはＹ方向を回転軸とした回転）可能であってよい。ステージ１４０は試料ホルダ１４１を支持するように構成されていてよい。この例では、試料Ｓは試料ホルダ１４１に載せられる。

【0015】

荷電粒子線装置１００は制御部１５１と、入力部１５２と、記憶部１５３と、表示部１５４に接続されていてよい。制御部１５１、入力部１５２、記憶部１５３、表示部１５４は荷電粒子線装置１００の一部であってもよく、荷電粒子線装置１００と独立していてもよい。各部の間の接続は有線接続であっても無線接続であってもよい。したがって、図１に図示される接続線は例示に過ぎない。追加または代替として、インターネットなどの通信回線を介した接続も採用可能である。たとえば、記憶部１５３は、イントラネット、インターネットまたはクラウドサービス上の記憶部１５３であってもよい。荷電粒子線装置１００が複数階層の制御部１５１または記憶部１５３に接続されている場合、上位の階層にある制御部１５１または記憶部１５３を上位装置と呼ぶ場合がある。

【0016】

典型的な荷電粒子線装置１００においては、検出部１３０からの信号を受け取った制御部１５１は画像もしくはスペクトルの生成が可能である。または、制御部１５１は、試料Ｓの荷電粒子線が照射されている場所または領域（本明細書では以後両者を「領域」と総称する。）の分析または評価が可能である。この例では、制御部１５１は、第一の検出部１３０Ａが出力した信号に基づいたＳＥＭ像（ここでは二次電子像）を生成することができる。同様に、制御部１５１は、第二の検出部１３０Ｂが出力した信号に基づいたＸ線分析画像またはスペクトルを生成することができる。したがって、制御部１５１は、検出部１３０からの出力に基づいて試料Ｓの画像を生成する画像生成部として機能する。さらに、制御部１５１は、これらの画像または信号に基づいて、たとえば試料Ｓの表面形状または表面元素の分析または評価をすることができる。

【0017】

荷電粒子線装置１００への情報の入力または荷電粒子線装置１００からの情報の出力は、ＵＩ（ユーザインタフェース）を介して行われてよい。この例では、ＵＩはＧＵＩ（グラフィックユーザインタフェース）であり、表示部１５４に表示される。

【0018】

制御部１５１による荷電粒子線装置１００の制御、画像もしくはスペクトルの生成または試料Ｓの分析もしくは評価は、記憶部１５３に記憶された学習済みモデルに基づいて実行されてよい。記憶部１５３は複数の学習済みモデルを格納する。本実施形態では、記憶部１５３は、モデルＭ１（第１学習済みモデル）、モデルＭ２（第２学習済みモデル）およびモデルＭ３（第３学習済みモデル）を格納するが、格納される学習済みモデルの数は２個であってもよく、４個以上であってもよい。

【0019】

各学習済みモデルは、それぞれ異なる教師データを用いて機械学習を行うことにより、それぞれ異なる構造を検出するために構成されている。より具体的には、モデルＭ１は第１構造を検出するためのモデルであり、モデルＭ２は第２構造を検出するためのモデルであり、モデルＭ３は第３構造を検出するためのモデルである。構造とは、たとえば、粒子の形状（球状、特定の結晶形状、等）、異物の形状、試料Ｓ上の形状（スクラッチ等）をいう。また、外観上の形状に限らず、特定の組成を有する部分の構造を含んでもよい。

【0020】

なお、各構造がそれぞれ異なる種類の物質等に特化されている必要はなく、同一種類の物質等が持ちうる複数の構造をそれぞれ対応するモデルが検出するように構成されていてもよい。たとえば、試料Ｓ上に、ある物質が丸い粒子として出現したり角張った粒子として出現したりする場合には、あるモデルを丸い構造に対して学習させ、別のモデルを角張った構造に対して学習させれば、複数のモデルによって同一種類の粒子を検出することができる。

【0021】

制御部１５１は、荷電粒子線装置１００全体の動作を制御してもよい。制御部１５１は、プログラムを実行することによりこの制御を実現してもよい。このプログラムは、記憶部１５３に格納されてもよく、記憶部１５３から独立した制御部１５１内の記憶手段に格納されてもよい。

【0022】

荷電粒子線装置１００はさらに、ナビゲーション画像撮影機１６０を備えてよい。ナビゲーション画像撮影機１６０はナビゲーション画像２０６（後述）を撮影する。図１の例ではナビゲーション画像撮影機１６０は試料室１２０に設けられている。図１では、ステージ１４０が図１の矢印の右端に位置する場合に、ナビゲーション画像撮影機１６０は試料ホルダ１４１が存在すると見込まれる部分の少なくとも一部を撮影することができる。図１の例ではナビゲーション画像撮影機１６０は光学カメラであり、試料ホルダ１４１が存在すると見込まれる部分全てを撮影可能である。なお、ナビゲーション画像撮影機１６０のための光源が試料室１２０に設けられていてもよい。

【0023】

図１の例とは異なり、ナビゲーション画像撮影機１６０として光学カメラ以外の画像取得手段が用いられてもよい。また、図１の例とは異なり、荷電粒子線装置１００とは別個独立したナビゲーション画像撮影機１６０が用いられてもよい。たとえば、ナビゲーション画像撮影機１６０として、荷電粒子線装置１００とは別個独立した光学顕微鏡であって、試料ホルダ１４１を一定の位置かつ一定の方向に固定することができる光学顕微鏡が用いられてもよい。また、ナビゲーション画像撮影機１６０も、制御部１５１と、入力部１５２と、記憶部１５３と、表示部１５４に接続されていてよい。

【0024】

制御部１５１は、特定の構造を検出するための構造検出部としても機能する。制御部１５１は、構造検出部として、試料Ｓの画像に基づき、学習済みモデルを利用して構造を検出する。より具体的には、制御部１５１は、モデルＭ１に試料Ｓの画像を入力し、モデルＭ１から第１構造に係る検出結果（第１検出結果）を取得し、この第１検出結果に基づいて第１構造の位置または領域を決定する。

【0025】

同様に、制御部１５１は、モデルＭ２に試料Ｓの画像を入力し、モデルＭ２から第２構造に係る検出結果（第２検出結果）を取得し、この第２検出結果に基づいて第２構造の位置または領域を決定する。さらに、制御部１５１は、モデルＭ３に試料Ｓの画像を入力し、モデルＭ３から第３構造に係る検出結果（第３検出結果）を取得し、この第３検出結果に基づいて第３構造の位置または領域を決定する。

【0026】

また、制御部１５１は、構造検出部として、各構造（たとえば第１構造、第２構造および第３構造）の位置または領域を表す情報を統合し、これらの位置または領域を表す統合結果情報を生成して出力する。

【0027】

＜荷電粒子線装置１００が出力する情報について＞
図２は、表示部１５４に表示されるＧＵＩの例である。このようなＧＵＩは、表示部１５４において表示される画面２００として実現することができる。統合結果情報は、このようなＧＵＩにおいて表示される画像として構成することができる。ただし、統合結果情報の出力態様は画像に限らず、表またはその他の形式で表されてもよい。

【0028】

画面２００は、表形式部２０１と、重畳部２０２とを含む。表形式部２０１では、試料Ｓの評価結果が表形式で表示される。図２の例では、検出された各構造について、その構造が含まれる領域に対応する画像番号（「Ｉｍａｇｅ」）、その領域に含まれる構造のうち当該構造を特定する番号（「Ｎｏ」）、その構造に関する評価結果（「Ｓｃｏｒｅ」）、その構造の位置（「Ｘ」および「Ｙ」）、その構造の面積（「Ａｒｅａ」）が表示されている。

【0029】

重畳部２０２では、評価結果が試料Ｓの画像に重畳して表示される。この例では、重畳部２０２には統合結果画像２０３が複数表示されている。各統合結果画像２０３において、試料Ｓの画像に重畳して、第１構造の位置が黒い丸で示され、第２構造の位置がグレーの五角形で示されている。この例では第３構造は検出されていないが、第３構造が検出された場合には第３構造の位置が対応する図形により示されてもよい。

【0030】

各統合結果画像２０３について、その画像に含まれる各構造に関する評価結果が数値として表示されている。

【0031】

この例では各構造の位置のみを示しているが、各構造が形状を有する領域である場合には、その領域が統合結果画像２０３に重畳して表示されてもよい。たとえば、各構造を構成する画素の色を特定の色（たとえば赤または緑）に変更してもよい。追加または代替として、各構造を構成する画素（からなる領域）を特定の輝度に変更したり、特定のハッチングを有するように変更したり、および／または特定のパターンで明滅するよう変更してもよい。

【0032】

画面２００は、マップ部２０４を含んでもよい。マップ部２０４には、各統合結果画像２０３に対応するシンボル２０５が表示される。シンボル２０５は、それぞれ対応する統合結果画像２０３に関連する情報に応じて表示態様が変化する。表示態様の変化は、形状、色、色調、濃淡、大きさ、位置、等の変化を含む。その他、表示態様の変化には、前述の輝度、ハッチング、明滅パターン等の変化といった、目視により２つ以上の表示態様を弁別可能な変化を含む。

【0033】

たとえば、シンボル２０５の形状（この例では矩形）は、統合結果画像２０３の形状に応じて決定されてもよく、たとえば統合結果画像２０３の形状と同一であってもよい。また、シンボル２０５の色または濃淡は、統合結果画像２０３に含まれる注目構造に関する評価結果に応じて決定されてもよい。また、シンボル２０５の大きさは、試料Ｓにおける統合結果画像２０３の大きさに応じて決定されてもよく、たとえば各統合結果画像２０３間の相対的な大きさに応じて各シンボル２０５間の相対的な大きさが決定されてもよい。また、マップ部２０４におけるシンボル２０５の位置は、試料Ｓにおける統合結果画像２０３の位置に対応してもよい。

【0034】

また、画面２００は、ナビゲーション画像２０６を含んでもよい。ナビゲーション画像２０６はユーザによって試料ホルダ１４１上に載置された試料Ｓにおける探索範囲を視覚的に指定するための画像であり、典型的にはナビゲーション画像撮影機１６０により撮影される。ただし、荷電粒子線装置１００の観察倍率が十分低く設定できるのであれば、ＳＥＭ像などの画像がナビゲーション画像２０６として用いられてもよい。ナビゲーション画像２０６は、たとえば試料Ｓに関して荷電粒子線装置１００が探索すべき探索領域を設定または表示するために用いることができる。

【0035】

＜学習済みモデルに係る具体的処理について＞
図３は、表示部１５４に表示されるＧＵＩの別の例である。このＧＵＩは、学習済みモデルを選択するために用いられる。図３の例では、３つのモデル（たとえばモデルＭ１，Ｍ２，Ｍ３）を特定する情報が入力されている。制御部１５１は、ここで特定された各モデルに試料Ｓの画像を入力する。

【0036】

また、各モデルについて用いるマクロを特定する情報を入力することができる。図３の例では、モデルＭ１についてマクロが指定されており、モデルＭ２およびＭ３についてはマクロは指定されていない。マクロはたとえば画像処理を行うためのプログラムであり、学習済みモデルが出力した情報を画像として受け取り、この画像について特定の画像処理を行うために用いられる。

【0037】

図４を用いて、各学習済みモデルの処理を説明する。図４（ａ）は試料Ｓの画像である。制御部１５１は、検出部１３０からの信号に基づいてこのような画像を生成することができる。図４（ｂ）は、モデルＭ１による検出結果に基づいて決定された第１構造４０１の位置または領域を表す。図４（ｃ）は、モデルＭ２による検出結果に基づいて決定された第２構造４０２の位置または領域を表す。第３構造については図示を省略するが、処理は同様に行われる。

【0038】

各モデルの出力は、直接的に図４（ｂ）または図４（ｃ）に示すような形式（画像中の領域を示す形式）になっている必要はない。たとえば、あるモデルは画像に基づいてヒートマップを出力してもよい。ヒートマップとは、たとえば画素ごとに構造が存在する可能性（たとえば信頼度、確率または尤度）を表したものである。その場合には、制御部１５１は、ヒートマップに基づいて、たとえば２値化処理を含む演算を行うことにより、図４（ｂ）または図４（ｃ）に示すように各構造の位置または領域を決定することができる。

【0039】

＜統合結果画像の表示例について＞
図５は、統合結果情報の出力例としての統合結果画像２０３の例を示す。統合結果画像２０３は、試料Ｓの画像において、各学習済みモデルが検出した構造（たとえば第１構造４０１および第２構造４０２）の位置または領域を表す。

【0040】

各構造はそれぞれ異なる表現を用いて表すことができる。たとえば、制御部１５１は、構造検出部として、試料Ｓの画像において、第１構造４０１の位置または領域に第１表現を表示し、第２構造４０２の位置または領域に第２表現を表示することにより、統合結果画像２０３を生成して出力する。たとえば、第１構造４０１の位置または領域に第１表現を表示し、第２構造４０２の位置または領域に第２表現を表示することにより、統合結果画像２０３を生成することができる。第１表現および第２表現は、試料Ｓの画像に重ねて表示されてもよいし、試料Ｓの画像の一部を置き換えて表示されてもよい。

【0041】

異なる表現は、異なる色、異なる色調、異なる濃淡、異なる塗りつぶしパターン（縦縞、横縞、斜め縞、ドットパターン、グラデーション、等）、異なる点滅状態、等を用いて実現することができる。より具体的な例として、図５の例では、第１構造４０１に対する第１表現は第１の色（すなわちグレー）によって表され、第２構造４０２に対する第２表現は第２の色（すなわち白）によって表される。カラー表示が可能な場合には、第１構造４０１をたとえば赤色で表し、第２構造４０２をたとえば緑色で表してもよい。

【0042】

このように、荷電粒子線装置１００は、複数の学習済みモデルを利用することにより、それぞれ対応する種類の構造を検出することができる。また、異なる構造について異なる表現を用いることにより、荷電粒子線装置１００の使用者は容易に各構造を識別することができる。

【0043】

図６は、統合結果画像２０３の別の例を示す。すべての学習済みモデルが検出した構造についてそれぞれ異なる表現を用いる必要はなく、複数またはすべての学習済みモデルについて同一の表現を用いてもよい。図６の例では、モデルＭ１を介して検出された第１構造４０１と、モデルＭ３を介して検出された第３構造４０３とが、同一の表現（グレー）によって示されている。このように、統合結果画像２０３は、試料Ｓの画像において、さらに第３構造４０３の位置または領域に第１表現または第２表現を表示することにより生成されてもよい。

【0044】

ある対象物の構造が一つに限定されない場合には、このように、複数の学習済みモデルがそれぞれ検出する複数の構造について同一の表現を用いることが有用である。たとえば、ある種類の粒子が様々な形状を有し得る場合には、想定される各形状をそれぞれ異なるモデルに学習させておき、それらのモデルが検出した構造すべてについて同一の表現を用いれば、その粒子の識別が容易になる。

【0045】

図７は、統合結果画像２０３のさらに別の例を示す。いずれかの構造の検出結果を試料Ｓの画像に表示する前に、その検出結果について画像処理を行ってもよい。図７の例では、第１構造４０１に係る検出結果について、図３のように指定されたマクロを用いて画像処理が行われ、結果として、第１構造４０１の範囲が図５に示すものより狭くなっている。

【0046】

画像処理の具体的内容は当業者が適宜設計可能であるが、たとえば、試料Ｓの画像と、各構造の位置とに基づき、当該構造の範囲（または領域）を特定する処理とすることができる。たとえば、試料Ｓの画像において、ある構造が存在する位置が示されていれば、試料Ｓのその位置を含む範囲（または近傍の領域）に適切な画像処理を実行することにより、当該構造の範囲（または領域）を特定することができる。なお、この例では画像処理によって構造の範囲（または領域）が特定されたが、画像処理は構造の範囲（または領域）まで特定する必要はなく、位置のみの特定に用いられてもよい。

【0047】

このような画像処理によれば、各構造の位置または領域を検出する処理と、当該構造の範囲を検出する処理とを分離し、それぞれ最適な処理を用いることができるので、全体として適切な処理結果を得ることができる。たとえばモデルＭ１が、第１構造４０１が存在することは適切に検出できるが、その範囲（または領域）については実際より大きく検出する傾向があるという場合には、範囲（または領域）の検出を画像処理で行うことにより、位置・大きさ共に適切な結果を得ることができる。なお、画像処理の具体的内容は、構造ごとに（すなわち学習済みモデルごとに）異なっていてもよい。なお、画像処理を行う画像は、機械学習によって抽出された結果画像を対象としてもよいし、抽出される前の試料Ｓの画像を用いても良い。

【0048】

このように、制御部１５１は、構造検出部として、試料Ｓの画像および第１検出結果に基づき、画像処理によって第１構造４０１の位置または領域を決定する。同様に、制御部１５１は、試料Ｓの画像および第２検出結果に基づき、画像処理によって第２構造４０２の位置または領域を決定してもよい。また、第３構造が検出されている場合には、制御部１５１は、試料Ｓの画像および第３検出結果に基づき、画像処理によって第３構造の位置または領域を決定してもよい。

【0049】

各構造の検出結果に応じ、荷電粒子線装置１００は、試料Ｓに対するさらなる処理を行ってもよい。たとえば、各構造（第１構造、第２構造または第３構造）の位置または領域に応じた位置または領域について、試料Ｓの解析を行ってもよい。試料Ｓの解析は、形状解析を含んでもよく、組成解析を含んでもよい。たとえば、第１構造４０１が検出された位置または領域（例として図４（ａ）の画像に対応する位置または領域）に対して、さらに照射部１１０を介して荷電粒子線を照射し、検出部１３０を介して当該照射に起因する信号を検出してもよい。

【0050】

この解析に係る信号は、たとえば、試料Ｓに荷電粒子線が照射された際に生じる電子に基づく信号であってもよいし、試料Ｓに荷電粒子線が照射された際に生じるＸ線に基づく信号であってもよい。とくに、各構造の検出を電子に基づく信号により実行し、各構造の解析をＸ線に基づく信号により実行すると、探索を効率的に実行し、解析を高精度で実行することができる。解析には、たとえばエネルギー分散型Ｘ線分光（ＥＤＳ）または電子線後方散乱回折（ＥＢＳＤ）を利用した高倍率の撮影を利用することができる。また、撮影には、高加速または大電流の荷電粒子線を用いてもよい。

【0051】

＜Ｘ線に基づく信号取得の具体例について＞
各モデルに基づく各構造の検出結果に応じ、Ｘ線分析の実行有無を選択しても良い。たとえばモデルＭ１が元素特定を行いたい異物を検出するためのモデルであり、モデルＭ２が異物以外を検出するモデルであった場合、モデルＭ１のみＸ線分析を実行することで、不要なＸ線分析の実行を排除し、効率よく分析を実施することが出来る。

【0052】

図８は、統合結果画像２０３のさらに別の例を示す。矩形枠８０１の内部において、第１構造４０１の位置または領域と、第２構造４０２の位置または領域とが重複している。ここで「位置または領域が重複する」の意味は当業者が適宜解釈可能であるが、たとえば、試料Ｓの画像における各構造の位置が一致する場合、試料Ｓの画像における各構造の領域が一部または全部重複する場合、等を含む。

【0053】

制御部１５１は、構造検出部として、各構造の位置または領域が重複する場合に、当該各構造に基づいて重複時補正処理を実行してもよい。図８の例は、第１構造４０１の位置または領域と、第２構造４０２の位置または領域とが重複する場合を表し、当該第１構造４０１および当該第２構造４０２に基づいて重複時補正処理が行われる。

【0054】

重複時補正処理を適切に実行することにより、同一の対象物を複数のモデルが検出した場合に、より適切な統合結果画像２０３を得ることができる。

【0055】

＜重複時処理の具体例について＞
重複時補正処理は、位置または領域が重複する各構造について、それらの位置または領域が重複していることを示す情報を出力する処理を含んでもよい。図８の例では、第１構造４０１および第２構造４０２の位置または領域が重複している部分を囲むように、重複を示す矩形枠８０１が表示されている。矩形枠８０１は、たとえば試料Ｓの画像に重ねられる。

【0056】

重複していることを示す情報は、矩形枠８０１以外の形式で表されてもよい。たとえば円であってもよいし、図形以外の形式（メッセージ等）であってもよい。また、図８の例では重複していることを示す情報は第１構造４０１および第２構造４０２の位置または領域に関連して表示されるが、重複していることを示す情報の表示位置はこれに限らない。

【0057】

図９は、図８の統合結果画像２０３において重複時補正処理の一例が実行された状態を示す。この例では、重複時補正処理は、位置または領域が重複する第１構造４０１および第２構造４０２に基づいて、新たな構造（第４構造４０４）の位置または領域を決定する処理を含む。統合結果画像２０３は、第４構造４０４の位置または領域を表す。第４構造４０４は、たとえば、重複する各構造の領域の論理和または論理積として取得することができる。また、たとえば試料Ｓの画像において、第４構造４０４の位置または領域に第４表現が表示される。

【0058】

第４構造４０４は、たとえば２つの特徴を併せ持つ構造として検出されるものである。すなわち、ある構造が第１構造４０１としても第２構造４０２としても検出された場合に、その構造はこれら２種類の特徴を有する特定の構造であるということができる。重複時補正処理は、第４構造４０４を、第１構造４０１とも第２構造４０２とも異なる新たな種類の構造として検出する処理であってもよい。

【0059】

このように重複に対応して新たな構造を検出することにより、より詳細な条件での検出処理が可能となる。

【0060】

図１０は、図８の統合結果画像２０３において重複時補正処理の別の例が実行された状態を示す。この例では、重複時補正処理は、各構造間の優先規則を用いて実行される。図１０の例では、第１構造４０１が優先された結果、試料Ｓの画像に第１構造４０１の表現（グレー）が表示され、第２構造４０２の表現（白）は試料Ｓの画像には表示されない（または図８の状態の統合結果画像２０３から差し引かれている）。

【0061】

このような重複時補正処理は、位置または領域が重複する第１構造４０１および第２構造４０２について、当該第１構造４０１の位置または領域または当該第２構造４０２の位置または領域を統合結果情報に含めないようにする処理であるということができる。

【0062】

優先規則は３種類以上の構造間でも定義可能である。たとえば、第１構造を第１位とし、第２構造を第２位とし、第３構造を第３位とする場合を考える。これら３種類の構造がすべて重複した場合には、第１構造の表現のみが試料Ｓの画像に表示される。第１構造および第２構造が重複した場合と、第１構造および第３構造が重複した場合には、第１構造の表現のみが試料Ｓの画像に表示される。第２構造および第３構造が重複した場合には、第２構造の表現のみが試料Ｓの画像に表示される。

【0063】

優先規則の具体的内容（たとえば各構造の優先順位等）は、たとえば図３に示すＧＵＩにおいて、または他のＧＵＩにおいて、荷電粒子線装置１００に入力することができる。また、優先規則は順位に限らず、各構造の優先スコアを算出する処理によって実現することも可能である。

【0064】

このように優先規則を用いることにより、より適切な検出処理が可能となる。

【0065】

図１１は、図８の統合結果画像２０３において重複時補正処理のさらに別の例が実行された状態を示す。この例では、重複時補正処理は、位置または領域が重複する各構造について、当該各構造のうちいずれか１つを選択する操作を受け付ける処理を含む。たとえば、位置または領域が重複する第１構造４０１および第２構造４０２について、当該第１構造４０１および当該第２構造４０２のうちいずれか一方を選択する操作が受け付けられる。

【0066】

図１１の例では、荷電粒子線装置１００の使用者は、選択ウィンドウ１１０１において、「Ａ」のラジオボタンおよび「ＯＫ」ボタンを操作することにより、第１構造４０１を選択することができ、「Ｂ」のラジオボタンおよび「ＯＫ」ボタンを操作することにより、第２構造４０２を選択することができる。

【0067】

このように、適切な構造を使用者に選択させることにより、人間の判断によって適切な検出処理が可能となる。

【0068】

選択する操作を受け付けた後の処理は当業者が適宜設計可能であるが、たとえば図１０に示すように選択された構造の表現のみを試料Ｓの画像に表示してもよい。

【0069】

また、選択された構造に基づき、学習用モデルに対する教師データを生成してもよい。すなわち、重複時補正処理は、機械学習に用いる教師データを生成する処理を含んでもよい。たとえば、図１１の状態において、第１構造４０１が選択された場合に生成される教師データは、選択されなかった第２構造４０２が試料Ｓの画像に表れないことを表す教師データとなる。一方、第２構造４０２が選択された場合に生成される教師データは、選択されなかった第１構造４０１が試料Ｓの画像に表れないことを表す教師データとなる。

【0070】

図１２は、このような教師データの例を模式的に示す。この例では統合結果画像２０３のような形式で示しているが、教師データの形式は学習用モデルに応じて適宜設計することができる。図１２の例は、図８の統合結果画像２０３において第１構造４０１が選択された場合に対応する。第２構造４０２のうち選択されなかったもの（矩形枠８０１内のもの）は、試料Ｓの画像に表れない。

【0071】

生成された教師データは、新たな学習用モデルに対して用いられてもよいし、使用中のモデル（たとえばモデルＭ１，Ｍ２，Ｍ３）を再学習させるためにフィードバックしてもよい。

【0072】

このように、使用者の選択に応じて教師データを生成することにより、より適切な学習済みモデルを生成することができる。とくに、２種類の粒子の構造が互いに類似している場合には、学習済みモデルによるこれらの識別が困難な場合があるが、そのような場合には、これら２種類の粒子をより的確に識別させるための教師データを生成することができる。

【0073】

また、位置または領域が重複する構造のうちいずれかを、分類器によって分類させてもよい。たとえば制御部１５１がこの分類器として機能してもよい。すなわち、重複時補正処理は、位置または領域が重複する第１構造４０１および第２構造４０２について、当該第１構造４０１の位置または領域と、当該第２構造４０２の位置または領域とに基づき、当該第１構造４０１および当該第２構造４０２のいずれか一方を選択する処理を含んでもよい。

【0074】

分類器の具体的な処理内容は当業者が適宜設計することができるが、たとえば各構造の領域の面積に基づいて選択を行ってもよく、より具体的にはより大きい面積を有する構造を選択してもよい。または、荷電粒子線装置１００が各構造についてなんらかの分析または評価を行う場合には、分析結果または評価結果に基づいて選択を行ってもよい。分類器は、画像処理技術を用いて構成されてもよいし、分類器用に準備される学習済みモデルを用いて構成されてもよい。

【0075】

分類器による選択の後の処理は当業者が適宜設計可能であるが、たとえば図１０に示すように選択された構造のみを試料Ｓの画像に表示してもよい。

【0076】

このように分類器によって選択させることにより、適切な構造を効率的に選択することができる。

【符号の説明】

【0077】

１００…荷電粒子線装置
１１０…照射部
１１１…電子源
１１２…鏡筒
１２０…試料室
１３０…検出部
１４０…ステージ
１４１…試料ホルダ
１５１…制御部（画像生成部、構造検出部）
１５２…入力部
１５３…記憶部
１５４…表示部
１６０…ナビゲーション画像撮像機
２００…画面
２０１…表形式部
２０２…重畳部
２０３…統合結果画像
２０４…マップ部
２０５…シンボル
２０６…ナビゲーション画像
４０１…第１構造
４０２…第２構造
４０３…第３構造
４０４…第４構造
８０１…矩形枠
１１０１…選択ウィンドウ
Ｓ…試料
Ｍ１…モデル（第１学習済みモデル）
Ｍ２…モデル（第２学習済みモデル）
Ｍ３…モデル（第３学習済みモデル）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】