知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-27
(45)【発行日】2023-12-05
(54)【発明の名称】荷電粒子ビーム装置
(51)【国際特許分類】
H01J 37/317 20060101AFI20231128BHJP
H01J 37/20 20060101ALI20231128BHJP
H01J 37/22 20060101ALI20231128BHJP
G01N 1/28 20060101ALI20231128BHJP
【ＦＩ】
H01J37/317 D
H01J37/20 D
H01J37/20 Z
H01J37/22 502H
G01N1/28 F
G01N1/28 G
【請求項の数】
3
(21)【出願番号】P 2020047470
(22)【出願日】2020-03-18
(65)【公開番号】P2021057331
(43)【公開日】2021-04-08
【審査請求日】2022-11-21
(31)【優先権主張番号】P 2019173889
(32)【優先日】2019-09-25
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】503460323
【氏名又は名称】株式会社日立ハイテクサイエンス
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100161207
【弁理士】
【氏名又は名称】西澤 和純
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(72)【発明者】
【氏名】村木 礼奈
(72)【発明者】
【氏名】上本 敦
(72)【発明者】
【氏名】麻畑 達也
【審査官】中尾 太郎
(56)【参考文献】
【文献】特表２００５－５０５８９９（ＪＰ，Ａ）
【文献】特開２０１６－０６６５５３（ＪＰ，Ａ）
【文献】特開２０１６－１５７６７１（ＪＰ，Ａ）
【文献】特開２０１８－１１６８６０（ＪＰ，Ａ）
【文献】特開２０１８－１３３５５２（ＪＰ，Ａ）
【文献】特開２０１８－１３３５５３（ＪＰ，Ａ）
【文献】特表２０１９－５０８６７８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１８／０３３０５１１（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０１Ｊ ３７／３１７
Ｈ０１Ｊ ３７／２０
Ｈ０１Ｊ ３７／２２
Ｇ０１Ｎ １／２８
(57)【特許請求の範囲】
【請求項1】
試料から試料片を自動的に作製する荷電粒子ビーム装置であって、荷電粒子ビームを照射する荷電粒子ビーム照射光学系と、
前記試料を載置して移動する試料ステージと、
前記試料から分離および摘出する前記試料片を保持して搬送する試料片移設手段と、
前記試料片が移設される試料片ホルダを保持するホルダ固定台と、
対象物に関する位置についての第１の判定の結果に応じて行われる前記位置についての第２の判定の結果と、前記荷電粒子ビームの照射によって取得した画像を含む情報に基づいて前記位置の制御を行うコンピュータと、
を備え、
前記第１の判定は、前記対象物についてのテンプレートを用いたテンプレートマッチングに基づく判定であり、前記第２の判定は、第２対象物の第２画像を含む第２情報が学習された機械学習のモデルに基づく判定であるか、または、前記第１の判定は、前記機械学習のモデルに基づく判定であり、前記第２の判定は、前記テンプレートマッチングに基づく判定である
荷電粒子ビーム装置。
【請求項2】
前記コンピュータは、判定の種類を選択するための第３の判定の結果に応じて前記第１の判定と、前記第２の判定とのうち少なくとも一方について前記種類を選択する請求項１に記載の荷電粒子ビーム装置。
【請求項3】
前記コンピュータは、前記第１の判定の結果と前記第２の判定の結果との少なくとも一方に基づいて選択された第４の判定の結果と、前記荷電粒子ビームの照射によって取得した画像を含む情報に基づいて前記位置の制御を行う請求項１または請求項２に記載の荷電粒子ビーム装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、荷電粒子ビーム装置に関する。
【背景技術】
【0002】
従来、試料に電子またはイオンから成る荷電粒子ビームを照射することによって作製した試料片を摘出して、透過電子顕微鏡（ＴＥＭ：Ｔｒａｎｓｍｉｓｓｉｏｎ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｐｅ）などによる観察、分析、及び計測などの各種工程に適した形状に試料片を加工する装置が知られている（特許文献１）。特許文献１に記載の装置では、透過電子顕微鏡によって観察を行う場合には、観察対象物である試料から微細な薄膜試料片を取り出した後、該薄膜試料片を試料ホルダに固定してＴＥＭ試料を作成する、いわゆるマイクロサンプリング（ＭＳ：Ｍｉｃｒｏ－ｓａｍｐｌｉｎｇ）が行われる。
【0003】
ＴＥＭ観察用の薄片試料の作製において、マイクロプローブ先端、薄片試料のピックアップ位置、メッシュホルダ上のピラー端などの対象物をテンプレートマッチングにより検出する荷電粒子ビーム装置が知られている（特許文献２）。特許文献２に記載の荷電粒子ビーム装置では、荷電粒子ビームの照射によって取得した対象物の画像に基づいて作成したテンプレートと、対象物の画像から得られる位置情報とに基づいて、対象物に関する位置制御を行う。これによって特許文献２に記載の荷電粒子ビーム装置では、自動でＭＳ（自動ＭＳ）を実行することができる。
【先行技術文献】
【特許文献】
【0004】
【文献】特開２０１９－１０２１３８号公報
【文献】特開２０１６－１５７６７１号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献２に記載の荷電粒子ビーム装置では、荷電粒子ビームの照射によって取得した対象物の画像とテンプレート画像との間でコントラストやフォーカスが異なっている場合や、対象物の画像とテンプレート画像との間で対象物の（異物の付着を含む）表面形状が異なっている場合には、テンプレートマッチングに失敗することがあった。テンプレートマッチングに失敗する場合、特許文献２に記載の荷電粒子ビーム装置では、自動ＭＳが停止してしまう。
このように従来、自動ＭＳの安定性は十分ではなく、自動ＭＳを安定化し、スループットを向上させることが求められていた。
このように従来、自動ＭＳの安定性は十分ではなく、自動ＭＳを安定化し、スループットを向上させることが求められていた。
【0006】
本発明は上記の点に鑑みてなされたものであり、自動ＭＳを安定化できる荷電粒子ビーム装置を提供する。
【課題を解決するための手段】
【0007】
上記課題を解決して係る目的を達成するために、本発明は以下の態様を採用した。（１）本発明の一態様は、試料から試料片を自動的に作製する荷電粒子ビーム装置であって、荷電粒子ビームを照射する荷電粒子ビーム照射光学系と、前記試料を載置して移動する試料ステージと、前記試料から分離および摘出する前記試料片を保持して搬送する試料片移設手段と、前記試料片が移設される試料片ホルダを保持するホルダ固定台と、対象物に関する位置についての第１の判定の結果に応じて行われる前記位置についての第２の判定の結果と、前記荷電粒子ビームの照射によって取得した画像を含む情報に基づいて前記位置の制御を行うコンピュータと、を備える荷電粒子ビーム装置である。
【0008】
上記（１）に記載の態様に係る複合荷電粒子ビーム装置では、第１の判定の結果に応じて行われる第２の判定の結果に基づいて対象物の位置を検出することができるため、自動ＭＳを安定化できる。
ここで従来、対象物の位置の検出に失敗して自動ＭＳが停止してしまう場合、自動ＭＳが停止する度にユーザーが対処をしなくてはならず、スループットの低下を招いていた。上記（１）に記載の態様に係る複合荷電粒子ビーム装置では、第１の判定に失敗した場合であっても、第２の判定の結果に基づいて対象物の位置を検出することができるため、位置検出の成功率の向上、テンプレートマッチング失敗時のリカバリを可能とする。
ここで従来、対象物の位置の検出に失敗して自動ＭＳが停止してしまう場合、自動ＭＳが停止する度にユーザーが対処をしなくてはならず、スループットの低下を招いていた。上記（１）に記載の態様に係る複合荷電粒子ビーム装置では、第１の判定に失敗した場合であっても、第２の判定の結果に基づいて対象物の位置を検出することができるため、位置検出の成功率の向上、テンプレートマッチング失敗時のリカバリを可能とする。
【0009】
（２）上記（１）に記載の荷電粒子ビーム装置において、前記第１の判定は、前記対象物についてのテンプレートを用いたテンプレートマッチングに基づく判定であり、前記第２の判定は、第２対象物の第２画像を含む第２情報が学習された機械学習のモデルに基づく判定である。
上記（２）に記載の態様に係る複合荷電粒子ビーム装置では、テンプレートマッチングに基づく判定の結果に応じて行われる機械学習のモデルに基づく判定の結果に基づいて対象物の位置を検出することができるため、テンプレートマッチングと機械学習のモデルとに基づいて自動ＭＳを安定化できる。特に、上記（２）に記載の態様に係る複合荷電粒子ビーム装置では、テンプレートマッチングに失敗した場合であっても、機械学習のモデルに基づいて、対象物の位置を検出できる。
上記（２）に記載の態様に係る複合荷電粒子ビーム装置では、テンプレートマッチングに基づく判定の結果に応じて行われる機械学習のモデルに基づく判定の結果に基づいて対象物の位置を検出することができるため、テンプレートマッチングと機械学習のモデルとに基づいて自動ＭＳを安定化できる。特に、上記（２）に記載の態様に係る複合荷電粒子ビーム装置では、テンプレートマッチングに失敗した場合であっても、機械学習のモデルに基づいて、対象物の位置を検出できる。
【0010】
（３）上記（１）または（２）に記載の荷電粒子ビーム装置において、前記コンピュータは、判定の種類を選択するための第３の判定の結果に応じて前記第１の判定と、前記第２の判定とのうち少なくとも一方について前記種類を選択する。
上記（３）に記載の態様に係る複合荷電粒子ビーム装置では、対象物の位置の判定に用いられる判定の種類（適切な画像処理アルゴリズム）を選択できるため、対象物の位置の検出の精度を向上させることができる。
上記（３）に記載の態様に係る複合荷電粒子ビーム装置では、対象物の位置の判定に用いられる判定の種類（適切な画像処理アルゴリズム）を選択できるため、対象物の位置の検出の精度を向上させることができる。
【0011】
（４）上記（１）から（３）のいずれかに記載の荷電粒子ビーム装置において、前記コンピュータは、前記第１の判定の結果と前記第２の判定の結果との少なくとも一方に基づいて選択された第４の判定の結果と、前記荷電粒子ビームの照射によって取得した画像を含む情報に基づいて前記位置の制御を行う。
上記（４）に記載の態様に係る複合荷電粒子ビーム装置では、第１の判定の結果と第２の判定の結果との少なくとも一方に基づいて選択された第４の判定の結果に基づいて対象物の位置を検出することができるため、第２の判定の結果に基づいて対象物の位置を検出する場合に比べて自動ＭＳを安定化できる。
上記（４）に記載の態様に係る複合荷電粒子ビーム装置では、第１の判定の結果と第２の判定の結果との少なくとも一方に基づいて選択された第４の判定の結果に基づいて対象物の位置を検出することができるため、第２の判定の結果に基づいて対象物の位置を検出する場合に比べて自動ＭＳを安定化できる。
【発明の効果】
【0012】
本発明によれば、自動マイクロサンプリングを安定化できる。
【図面の簡単な説明】
【0013】
【図1】本発明の第１の実施形態に係る荷電粒子ビーム装置と画像処理用コンピュータとの構成の一例を示す図である。
【図2】本発明の第１の実施形態に係る荷電粒子ビーム装置の構成の一例を示す図である。
【図3】本発明の第１の実施形態に係る試料片を示す平面図である。
【図4】本発明の第１の実施形態に係る試料片ホルダの平面図である。
【図5】本発明の第１の実施形態に係る試料片ホルダの側面図である。
【図6】本発明の第１の実施形態に係る画像処理用コンピュータの構成の一例を示す図である。
【図7】本発明の第１の実施形態に係る初期設定工程の一例を示す図である。
【図8】本発明の第１の実施形態に係る柱状部の上面図である。
【図9】本発明の第１の実施形態に係る柱状部の側面図である。
【図10】本発明の第１の実施形態に係る柱状部の学習画像の一例を示す図である。
【図11】本発明の第１の実施形態に係るピラーが段上構造になっていない柱状部の一例を示す図である。
【図12】本発明の第１の実施形態に係るピラーが段上構造になっていない柱状部の学習画像の一例を示す図である。
【図13】本発明の第１の実施形態に係る試料片ピックアップ工程の一例を示す図である。
【図14】本発明の第１の実施形態に係るニードルの移動処理の一例を示す図である。
【図15】本発明の第１の実施形態に係るニードル先端位置判定処理の一例を示す図である。
【図16】本発明の第１の実施形態に係るニードルの先端が含まれるＳＥＭ画像データの一例を示す図である。
【図17】本発明の第１の実施形態に係るニードルの先端が含まれるＳＩＭ画像データの一例を示す図である。
【図18】本発明の第１の実施形態に係るニードルの先端の一例を示す図である。
【図19】本発明の第１の実施形態に係るニードルの学習画像の一例を示す図である。
【図20】本発明の第１の実施形態に係るニードルの先端に付着した試料片の一例を示す図である。
【図21】本発明の第１の実施形態に係る異常ケースのための学習画像の一例を示す図である。
【図22】本発明の第１の実施形態に係る異物の除去の一例を示す図である。
【図23】本発明の第１の実施形態に係るピックアップ位置判定処理の一例を示す図である。
【図24】本発明の第１の実施形態に係る試料片が含まれるＳＩＭ画像データの一例を示す図である。
【図25】本発明の第１の実施形態に係る試料片の学習画像の一例を示す図である。
【図26】本発明の第１の実施形態に係る学習画像の一例を示す図である。
【図27】本発明の第１の実施形態に係る追加画像の一例を示す図である。
【図28】本発明の第１の実施形態に係る特徴点が判定された画像の一例を示す図である。
【図29】本発明の第１の実施形態に係る特徴点が判定された画像の一例を示す図である。
【図30】本発明の第１の実施形態に係るＳＩＭ画像データにおける試料および試料片の支持部の切断加工位置を示す図である。
【図31】本発明の第１の実施形態に係る試料片マウント工程の一例を示す図である。
【図32】本発明の第２の実施形態に係る画像処理用コンピュータの構成の一例を示す図である。
【図33】本発明の第２の実施形態に係るベアウェアの一例を示す図である。
【図34】本発明の第２の実施形態に係るパターン画像の一例を示す図である。
【図35】本発明の第２の実施形態に係る疑似画像の一例を示す図である。
【図36】本発明の第２の実施形態に係るピックアップ位置の検出処理の一例を示す図である。
【発明を実施するための形態】
【0014】
（第１の実施形態）
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図１は、本実施形態に係る荷電粒子ビーム装置１０と画像処理用コンピュータ３０との構成の一例を示す図である。荷電粒子ビーム装置１０に備えらえる制御用コンピュータ２２は、荷電粒子ビームの照射によって取得した画像データを取得する。制御用コンピュータ２２は、画像処理用コンピュータ３０とデータの送受信を行う。画像処理用コンピュータ３０は、制御用コンピュータ２２から受信した画像データに含まれる対象物を、まずテンプレートＴを用いたテンプレートマッチングに基づいて判定する。画像処理用コンピュータ３０は、テンプレートマッチングによる判定に失敗した場合、機械学習モデルＭに基づいて当該対象物を判定する。制御用コンピュータ２２は、画像処理用コンピュータ３０の判定結果に基づいて、対象物に関する位置の制御を行う。
制御用コンピュータ２２は、対象物に関する位置についての第１の判定（テンプレートマッチング）の結果に応じて対象物の位置についての第２の判定（機械学習モデルＭに基づく判定）を行い、第２の判定の結果と、荷電粒子ビームの照射によって取得した画像を含む情報に基づいて第２対象物に関する位置の制御を行うコンピュータの一例である。
なお、画像処理用コンピュータ３０は、荷電粒子ビーム装置１０に備えられてもよい。
以下、図面を参照しながら本発明の実施形態について詳しく説明する。図１は、本実施形態に係る荷電粒子ビーム装置１０と画像処理用コンピュータ３０との構成の一例を示す図である。荷電粒子ビーム装置１０に備えらえる制御用コンピュータ２２は、荷電粒子ビームの照射によって取得した画像データを取得する。制御用コンピュータ２２は、画像処理用コンピュータ３０とデータの送受信を行う。画像処理用コンピュータ３０は、制御用コンピュータ２２から受信した画像データに含まれる対象物を、まずテンプレートＴを用いたテンプレートマッチングに基づいて判定する。画像処理用コンピュータ３０は、テンプレートマッチングによる判定に失敗した場合、機械学習モデルＭに基づいて当該対象物を判定する。制御用コンピュータ２２は、画像処理用コンピュータ３０の判定結果に基づいて、対象物に関する位置の制御を行う。
制御用コンピュータ２２は、対象物に関する位置についての第１の判定（テンプレートマッチング）の結果に応じて対象物の位置についての第２の判定（機械学習モデルＭに基づく判定）を行い、第２の判定の結果と、荷電粒子ビームの照射によって取得した画像を含む情報に基づいて第２対象物に関する位置の制御を行うコンピュータの一例である。
なお、画像処理用コンピュータ３０は、荷電粒子ビーム装置１０に備えられてもよい。
【0015】
ここで図２を参照し、荷電粒子ビーム装置１０の構成について説明する。
（荷電粒子ビーム装置）
図２は、実施形態の荷電粒子ビーム装置１０の構成の一例を示す図である。荷電粒子ビーム装置１０は、試料室１１と、試料ステージ１２と、ステージ駆動機構１３と、集束イオンビーム照射光学系１４と、電子ビーム照射光学系１５と、検出器１６と、ガス供給部１７と、ニードル１８と、ニードル駆動機構１９と、吸収電流検出器２０と、表示装置２１と、制御用コンピュータ２２と、入力デバイス２３とを備える。
（荷電粒子ビーム装置）
図２は、実施形態の荷電粒子ビーム装置１０の構成の一例を示す図である。荷電粒子ビーム装置１０は、試料室１１と、試料ステージ１２と、ステージ駆動機構１３と、集束イオンビーム照射光学系１４と、電子ビーム照射光学系１５と、検出器１６と、ガス供給部１７と、ニードル１８と、ニードル駆動機構１９と、吸収電流検出器２０と、表示装置２１と、制御用コンピュータ２２と、入力デバイス２３とを備える。
【0016】
試料室１１は、内部を真空状態に維持する。試料ステージ１２は、試料室１１の内部において試料Ｓおよび試料片ホルダＰを固定する。ここで試料ステージ１２は、試料片ホルダＰを保持するホルダ固定台１２ａを備える。このホルダ固定台１２ａは複数の試料片ホルダＰを搭載できる構造であってもよい。
【0017】
ステージ駆動機構１３は、試料ステージ１２を駆動する。ここでステージ駆動機構１３は、試料ステージ１２に接続された状態で試料室１１の内部に収容されており、制御用コンピュータ２２から出力される制御信号に応じて試料ステージ１２を所定軸に対して変位させる。ステージ駆動機構１３は、少なくとも水平面に平行かつ互いに直交するＸ軸およびＹ軸と、Ｘ軸およびＹ軸に直交する鉛直方向のＺ軸とに沿って平行に試料ステージ１２を移動させる移動機構１３ａを備えている。ステージ駆動機構１３は、試料ステージ１２をＸ軸またはＹ軸周りに傾斜させる傾斜機構１３ｂと、試料ステージ１２をＺ軸周りに回転させる回転機構１３ｃと、を備えている。
【0018】
集束イオンビーム照射光学系１４は、試料室１１の内部における所定の照射領域（つまり走査範囲）内の照射対象に集束イオンビーム（ＦＩＢ）を照射する。ここで、集束イオンビーム照射光学系１４は、試料ステージ１２に載置された試料Ｓ、試料片Ｑ、および照射領域内に存在するニードル１８などの照射対象に鉛直方向上方から下方に向かい集束イオンビームを照射する。
【0019】
集束イオンビーム照射光学系１４は、イオンを発生させるイオン源１４ａと、イオン源１４ａから引き出されたイオンを集束および偏向させるイオン光学系１４ｂと、を備えている。イオン源１４ａおよびイオン光学系１４ｂは、制御用コンピュータ２２から出力される制御信号に応じて制御され、集束イオンビームの照射位置および照射条件などが制御用コンピュータ２２によって制御される。
【0020】
電子ビーム照射光学系１５は、試料室１１の内部における所定の照射領域内の照射対象に電子ビーム（ＥＢ）を照射する。ここで電子ビーム照射光学系１５は、試料ステージ１２に固定された試料Ｓ、試料片Ｑ、および照射領域内に存在するニードル１８などの照射対象に、鉛直方向に対して所定角度（例えば６０°）傾斜した傾斜方向の上方から下方に向かい電子ビームを照射可能である。
【0021】
電子ビーム照射光学系１５は、電子を発生させる電子源１５ａと、電子源１５ａから射出された電子を集束および偏向させる電子光学系１５ｂと、を備えている。電子源１５ａおよび電子光学系１５ｂは、制御用コンピュータ２２から出力される制御信号に応じて制御され、電子ビームの照射位置および照射条件などが制御用コンピュータ２２によって制御される。
【0022】
なお、電子ビーム照射光学系１５と集束イオンビーム照射光学系１４の配置を入れ替えて、電子ビーム照射光学系１５を鉛直方向に、集束イオンビーム照射光学系１４を鉛直方向に所定角度傾斜した傾斜方向に配置してもよい。
【0023】
検出器１６は、集束イオンビームまたは電子ビームの照射によって照射対象から発生する二次荷電粒子（二次電子、二次イオン）Ｒを検出する。ガス供給部１７は、照射対象の表面にガスＧを供給する。ニードル１８は、試料ステージ１２に固定された試料Ｓから微小な試料片Ｑを取り出し、試料片Ｑを保持して試料片ホルダＰに移設する。ニードル駆動機構１９は、ニードル１８を駆動して試料片Ｑを搬送する。以下では、ニードル１８とニードル駆動機構１９を合わせて試料片移設手段と呼ぶこともある。
【0024】
吸収電流検出器２０は、ニードル１８に流入する荷電粒子ビームの流入電流（吸収電流とも言う）を検出し、検出した結果を流入電流信号として制御用コンピュータ２２に出力する。
【0025】
制御用コンピュータ２２は、少なくともステージ駆動機構１３と、集束イオンビーム照射光学系１４と、電子ビーム照射光学系１５と、ガス供給部１７と、ニードル駆動機構１９を制御する。制御用コンピュータ２２は、試料室１１の外部に配置され、表示装置２１と、操作者の入力操作に応じた信号を出力するマウスやキーボードなどの入力デバイス２３とが接続されている。制御用コンピュータ２２は、入力デバイス２３から出力される信号または予め設定された自動運転制御処理によって生成される信号などによって、荷電粒子ビーム装置１０の動作を統合的に制御する。
【0026】
ここで上述したように、制御用コンピュータ２２は、画像処理用コンピュータ３０の判定結果に基づいて、対象物に関する位置の制御を行う。制御用コンピュータ２２は、画像処理用コンピュータ３０と通信を行うための通信インターフェースを備える。
【0027】
また、制御用コンピュータ２２は、吸収電流検出器２０から出力される流入電流信号を吸収電流画像データとして画像化する。ここで、制御用コンピュータ２２は、荷電粒子ビームの照射位置を走査しながら検出器１６によって検出される二次荷電粒子Ｒの検出量を、照射位置に対応付けた輝度信号に変換して、二次荷電粒子Ｒの検出量の２次元位置分布によって照射対象の形状を示す吸収電流画像データを生成する。吸収電流画像モードでは、制御用コンピュータ２２は、荷電粒子ビームの照射位置を走査しながらニードル１８に流れる吸収電流を検出することによって、吸収電流の２次元位置分布（吸収電流画像）によってニードル１８の形状を示す吸収電流画像データを生成する。制御用コンピュータ２２は、生成した画像データを表示装置２１に表示させる。
表示装置２１は、検出器１６によって検出された二次荷電粒子Ｒに基づく画像データなどを表示する。
表示装置２１は、検出器１６によって検出された二次荷電粒子Ｒに基づく画像データなどを表示する。
【0028】
荷電粒子ビーム装置１０は、照射対象の表面に集束イオンビームを走査しながら照射することによって、照射対象の画像化やスパッタリングによる各種の加工（掘削、トリミング加工など）と、デポジション膜の形成などが実行可能である。
【0029】
図３は、本発明の実施形態に係る荷電粒子ビーム装置１０において、集束イオンビームを試料Ｓの表面（斜線部）に照射して形成された、試料Ｓから摘出される前の試料片Ｑを示す平面図である。符号Ｆは集束イオンビームによる加工枠、つまり、集束イオンビームの走査範囲を示し、その内側（白色部）が集束イオンビーム照射によってスパッタ加工されて掘削された加工領域Ｈを示している。レファレンスマークＲｅｆは、試料片Ｑを形成する（掘削しないで残す）位置を示す基準点である。試料片Ｑの概略の位置に知るにはデポジション膜を利用し、精密な位置合わせには微細穴を利用する。試料Ｓにおいて試料片Ｑは、試料Ｓに接続される支持部Ｑａを残して側部側および底部側の周辺部が削り込まれて除去されるようにエッチング加工されており、支持部Ｑａによって試料Ｓに片持ち支持されている。
【0030】
次に図４及び図５を参照し、試料片ホルダＰについて説明する。
図４は試料片ホルダＰの平面図であり、図５は側面図である。試料片ホルダＰは、切欠き部４１を有する略半円形板状の基部４２と、切欠き部４１に固定される試料台４３とを備えている。基部４２は、一例として円形板状の金属で形成されている。試料台４３は櫛歯形状であり、離間配置されて突出する複数で、試料片Ｑが移設される柱状部（以下、ピラーとも言う）４４を備えている。
図４は試料片ホルダＰの平面図であり、図５は側面図である。試料片ホルダＰは、切欠き部４１を有する略半円形板状の基部４２と、切欠き部４１に固定される試料台４３とを備えている。基部４２は、一例として円形板状の金属で形成されている。試料台４３は櫛歯形状であり、離間配置されて突出する複数で、試料片Ｑが移設される柱状部（以下、ピラーとも言う）４４を備えている。
【0031】
（画像処理用コンピュータ）
次に図６を参照し、画像処理用コンピュータ３０について説明する。図６は、本実施形態に係る画像処理用コンピュータ３０の構成の一例を示す図である。画像処理用コンピュータ３０は、制御部３００と、記憶部３０５とを備える。
制御部３００は、学習データ取得部３０１と、学習部３０２と、判定画像取得部３０３と、判定部３０４とを備える。
次に図６を参照し、画像処理用コンピュータ３０について説明する。図６は、本実施形態に係る画像処理用コンピュータ３０の構成の一例を示す図である。画像処理用コンピュータ３０は、制御部３００と、記憶部３０５とを備える。
制御部３００は、学習データ取得部３０１と、学習部３０２と、判定画像取得部３０３と、判定部３０４とを備える。
【0032】
学習データ取得部３０１は、学習データを取得する。学習データは、機械学習の学習に用いられる情報である。学習データは、学習画像と、この学習画像内の対象物の位置を示す情報との組である。学習画像内の対象物には、一例として、試料片、ニードルや試料片ホルダに備えらえる柱状部などが含まれる。ここで学習画像内の対象物の種類と、判定画像内の対象物の種類とは同じである。例えば、学習画像内の対象物の種類が試料片、ニードル、または柱状部である場合、判定画像内の対象物の種類はそれぞれ試料片、ニードル、または柱状部である。
【0033】
ここで本実施形態では、学習画像として、対象物への荷電粒子ビームの照射によって予め得られたＳＩＭ画像やＳＥＭ画像が用いられる。荷電粒子ビームは所定の方向から対象物へ照射される。荷電粒子ビーム装置１０において、荷電粒子ビーム照射系の鏡筒の方向は固定されているため、荷電粒子ビームが対象物に照射される方向は予め決められている。
【0034】
学習画像内の対象物の位置を示す情報とは、一例として、この対象物の学習画像内の位置を示す座標である。この学習画像内の位置を示す座標は、例えば、２次元の直交座標や極座標などである。
【0035】
学習画像は、対象物のＳＩＭ画像とＳＥＭ画像との両方を含む。学習画像は、対象物を試料ステージ１２の鉛直方向に対して所定角度傾斜した傾斜方向からみた場合のＳＩＭ画像と、対象物を試料ステージ１２の鉛直方向からみた場合のＳＥＭ画像との両方である。つまり、学習画像は、試料ステージ１２を基準とする第１方向から対象物をみた場合の画像と、この対象物を第２方向からみた場合の画像とを含む。第２方向は、試料ステージ１２を基準とする第１方向とは異なる方向である。
【0036】
学習部３０２は、学習データ取得部３０１が取得した学習データに基づいて、機械学習を実行する。学習部３０２は、学習した結果を機械学習モデルＭとして記憶部３０５に記憶させる。学習部３０２は、一例として、学習データに含まれる学習画像の対象物の種類毎に機械学習を実行する。したがって、機械学習モデルＭは、学習データに含まれる学習画像の対象物の種類毎に生成される。なお、学習部３０２は、対象物の種類毎に機械学習を実行しなくてもよい。つまり、対象物の種類によらず共通の機械学習を実行してもよい。学習部３０２が機械学習を対象物の種類毎に実行するか否かは、例えば、制御用コンピュータ２２へ入力される設定に応じて画像処理用コンピュータ３０において設定される。
また、機械学習モデルＭには、複数のモデルが含まれる。機械学習モデルＭに含まれる複数のモデルは、モデルの生成に用いられた学習データのセットだけでなく、機械学習のアルゴリズムによっても区別される。
なお、以下の説明において画像に撮像されている、または描画されている対象物を、この画像の対象物という場合がある。
また、機械学習モデルＭには、複数のモデルが含まれる。機械学習モデルＭに含まれる複数のモデルは、モデルの生成に用いられた学習データのセットだけでなく、機械学習のアルゴリズムによっても区別される。
なお、以下の説明において画像に撮像されている、または描画されている対象物を、この画像の対象物という場合がある。
【0037】
ここで学習部３０２が実行する機械学習とは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）などを用いた深層学習である。この場合、機械学習モデルＭには、学習画像と、この学習画像内の対象物の位置との対応に応じてノード間の重みが変更された多層ニューラルネットワークが含まれる。この多層ニューラルネットワークは、画像の各画素に対応するノードをもつ入力層と、この画像内の各位置に対応するノードをもつ出力層を備え、入力層にＳＩＭ画像とＳＥＭ画像の各画素の輝度値が入力されると、この画像における位置を示す値の組が出力層から出力される。
【0038】
判定画像取得部３０３は、判定画像を取得する。判定画像とは、制御用コンピュータ２２から出力されるＳＩＭ画像とＳＥＭ画像である。判定画像には、上述した対象物の画像が含まれる。判定画像の対象物には、試料片Ｑや使用後のニードル１８など荷電粒子ビームの照射に関する物体が含まれる。
【0039】
判定画像は、対象物を試料ステージ１２の鉛直方向に対して所定角度傾斜した傾斜方向からみた場合のＳＩＭ画像と、対象物を試料ステージ１２の鉛直方向からみた場合のＳＥＭ画像との両方である。つまり、判定画像は、対象物を第１方向からみた場合の画像と、この対象物を第２方向からみた場合の画像とを含む。ここで第１方向とは、試料ステージ１２を基準とする方向であり、第２方向とは、試料ステージ１２を基準とする第１方向とは異なる方向である。
【0040】
判定部３０４は、テンプレートマッチングに基づいて、判定画像取得部３０３が取得した判定画像に含まれる対象物の位置を判定する。ここで判定部３０４は、テンプレートマッチングにおいて、対象物についてのテンプレートＴを用いる。テンプレートＴは、荷電粒子ビームの照射によって取得した対象物の画像を基にして予め作成される。テンプレートＴは、一例として記憶部３０５に記憶される。
判定部３０４は、テンプレートマッチングに失敗した場合、学習部３０２によって学習が実行された機械学習モデルＭに基づいて、判定画像取得部３０３が取得した判定画像に含まれる対象物の位置を判定する。
判定部３０４は、テンプレートマッチングに失敗した場合、学習部３０２によって学習が実行された機械学習モデルＭに基づいて、判定画像取得部３０３が取得した判定画像に含まれる対象物の位置を判定する。
【0041】
ここで判定画像に含まれる対象物の位置とは、例えば、ＳＩＭ画像とＳＥＭ画像内の試料片のピックアップ位置や、ＳＩＭ画像とＳＥＭ画像内のニードルの先端の位置や、ＳＩＭ画像とＳＥＭ画像内の柱状部４４の位置が含まれる。判定部３０４は、判定画像に含まれる対象物の位置として、一例として、判定画像内の対象物の座標を判定する。
【0042】
なお、本実施形態においては、一例として、判定部３０４は、対象物が試料片Ｑである場合には、テンプレートマッチングに基づいて試料片Ｑのピックアップ位置を判定し、テンプレートマッチングに失敗した場合、機械学習モデルＭに基づいてピックアップ位置を判定する。一方、判定部３０４は、対象物が柱状部４４またはニードル１８である場合には、機械学習モデルＭに基づいて柱状部４４の位置またはニードル１８の先端の位置を判定する。判定部３０４は、対象物が柱状部４４またはニードル１８など試料片Ｑ以外である場合にも、試料片Ｑの場合と同様に、テンプレートマッチングに基づいて判定し、判定に失敗した場合に、機械学習モデルＭに基づいて対象物の位置を判定してもよい。
対象物の位置の判定にいずれのアルゴリズムを用いるかは、例えば、ユーザーによって予め設定される。
テンプレートマッチングに基づく判定は、第１の判定の一例であり、機械学習モデルＭに基づく判定は、第２の判定の一例である。
対象物の位置の判定にいずれのアルゴリズムを用いるかは、例えば、ユーザーによって予め設定される。
テンプレートマッチングに基づく判定は、第１の判定の一例であり、機械学習モデルＭに基づく判定は、第２の判定の一例である。
【0043】
なお、画像処理用コンピュータ３０は、テンプレートＴや学習済みの機械学習モデルを、例えば外部のデータベースから取得してもよい。その場合、制御部３００は、学習データ取得部３０１と学習部３０２とを備えていなくてもよい。
【0044】
以下、制御用コンピュータ２２が実行する自動マイクロサンプリング（ＭＳ：Ｍｉｃｒｏ－ｓａｍｐｌｉｎｇ）の動作、つまり荷電粒子ビーム（集束イオンビーム）による試料Ｓの加工によって形成された試料片Ｑを自動的に試料片ホルダＰに移設させる動作について、初期設定工程、試料片ピックアップ工程、試料片マウント工程に大別して、順次説明する。
（初期設定工程）
図７は、本実施形態に係る初期設定工程の一例を示す図である。
ステップＳ１０：制御用コンピュータ２２は、モード及び加工条件の設定を行う。モードの設定とは、自動シーケンスの開始時に操作者の入力に応じて後述する姿勢制御モードの有無等の設定である。加工条件の設定は、加工位置、寸法、試料片Ｑの個数等の設定である。
（初期設定工程）
図７は、本実施形態に係る初期設定工程の一例を示す図である。
ステップＳ１０：制御用コンピュータ２２は、モード及び加工条件の設定を行う。モードの設定とは、自動シーケンスの開始時に操作者の入力に応じて後述する姿勢制御モードの有無等の設定である。加工条件の設定は、加工位置、寸法、試料片Ｑの個数等の設定である。
【0045】
ステップＳ２０：制御用コンピュータ２２は、柱状部４４の位置を登録する。ここで制御用コンピュータ２２は、対象物として柱状部４４が含まれるＳＩＭ画像とＳＥＭ画像を画像処理用コンピュータ３０に送信する。
【0046】
本実施形態において、対象物が含まれる吸収電流画像データは、対象物のＳＩＭ画像と、対象物のＳＥＭ画像との組である。つまり、対象物が含まれるＳＩＭ画像とＳＥＭ画像は、対象物を試料ステージ１２の鉛直方向に対して所定角度傾斜した傾斜方向からみた場合のＳＩＭ画像と、対象物を試料ステージ１２の鉛直方向からみた場合のＳＥＭ画像との組である。
【0047】
判定画像取得部３０３は、画像処理用コンピュータ３０からＳＩＭ画像とＳＥＭ画像を判定画像として取得する。判定部３０４は、機械学習モデルＭに基づいて、判定画像取得部３０３が取得した判定画像に含まれる柱状部４４の位置を判定する。判定部３０４は、判定した柱状部４４の位置を示す位置情報を制御用コンピュータ２２に出力する。
【0048】
ここで判定部３０４は、対象物を試料ステージ１２の鉛直方向に対して所定角度傾斜した傾斜方向からみた場合のＳＩＭ画像から、対象物の位置の試料ステージ１２における２次元座標を判定する。一方、判定部３０４は、対象物を試料ステージ１２の鉛直方向に対して所定角度傾斜した傾斜方向からみた場合のＳＥＭ画像とから、対象物の位置の当該傾斜方向に垂直な平面における２次元座標を判定する。判定部３０４は、判定した試料ステージ１２における２次元座標と、傾斜方向に垂直な平面における２次元座標とに基づいて、対象物の位置を３次元座標の値として判定する。
【0049】
なお、判定部３０４は、荷電粒子ビーム装置１０において電子ビーム照射光学系１５と集束イオンビーム照射光学系１４とが配置される方向や両者の間の角度の情報である方向情報を３次元座標の値の算出に用いる。判定部３０４は、方向情報を予め記憶部３０５に記憶させ読み出すか、制御用コンピュータ２２から取得する。
ここでステップＳ２０においては、対象物とは、柱状部４４である。以下の工程においても、判定部３０４が対象物の位置を判定する処理は、対象物が試料片Ｑである場合を除いて同様である。
ここでステップＳ２０においては、対象物とは、柱状部４４である。以下の工程においても、判定部３０４が対象物の位置を判定する処理は、対象物が試料片Ｑである場合を除いて同様である。
【0050】
ここで図８から図１２を参照し、柱状部４４や、機械学習モデルＭの生成に用いられる柱状部４４の学習画像について説明する。
図８及び図９は、本実施形態に係る柱状部４４の一例を示す図である。図８及び図９に示す柱状部Ａ０は、柱状部４４の設計上の構造の一例である。ここで図８は、柱状部Ａ０の上面図であり、図９は、柱状部Ａ０の側面図である。柱状部Ａ０は、基部Ａ０２に段上の構造のピラーＡ０１が接着された構造を有する。
図８及び図９は、本実施形態に係る柱状部４４の一例を示す図である。図８及び図９に示す柱状部Ａ０は、柱状部４４の設計上の構造の一例である。ここで図８は、柱状部Ａ０の上面図であり、図９は、柱状部Ａ０の側面図である。柱状部Ａ０は、基部Ａ０２に段上の構造のピラーＡ０１が接着された構造を有する。
【0051】
図１０は、本実施形態に係る柱状部４４の学習画像の一例を示す図である。学習画像Ｘ１１、学習画像Ｘ１２、学習画像Ｘ１３は、柱状部４４の位置の学習に用いられる。学習画像Ｘ１１、学習画像Ｘ１２、学習画像Ｘ１３では、柱状部の位置を示す情報が円として示されている。
学習画像Ｘ１１、学習画像Ｘ１２、学習画像Ｘ１３では、ピラーＡ１１、ピラーＡ２１、ピラー３１の形状はそれぞれ異なっている。一方、学習画像Ｘ１１、学習画像Ｘ１２、学習画像Ｘ１３では、基部Ａ１２、基部Ａ２２、基部Ａ３２の形状は同一である。
学習画像Ｘ１１、学習画像Ｘ１２、学習画像Ｘ１３では、ピラーＡ１１、ピラーＡ２１、ピラー３１の形状はそれぞれ異なっている。一方、学習画像Ｘ１１、学習画像Ｘ１２、学習画像Ｘ１３では、基部Ａ１２、基部Ａ２２、基部Ａ３２の形状は同一である。
【0052】
なお、学習画像Ｘ１１、学習画像Ｘ１２、学習画像Ｘ１３は、一例として、柱状部４４を試料ステージ１２の水平方向からみた場合のＳＩＭ画像とＳＥＭ画像に含まれる柱状部４４の位置を判定するための学習画像である。図２では、集束イオンビーム照射光学系１４や電子ビーム照射光学系１５は試料ステージ１２の水平方向から試料ステージ１２に臨んでいないが、集束イオンビーム照射光学系１４や電子ビーム照射光学系１５のいずれか一方は水平方向から試料ステージ１２に臨んでもよく、学習画像Ｘ１１、学習画像Ｘ１２、学習画像Ｘ１３は、その場合の柱状部４４の位置を判定するための学習画像である。
【0053】
【0054】
図１２は、本実施形態に係るピラーが段上構造になっていない柱状部４４の学習画像の一例を示す図である。学習画像Ｘ２１、学習画像Ｘ２２、学習画像Ｘ２３は、一例として、柱状部４４を試料ステージ１２の鉛直方向からみた場合のＳＥＭ画像に含まれる柱状部４４の位置を判定するための学習画像である。
学習画像Ｘ２１、学習画像Ｘ２２、学習画像Ｘ２３では、ピラーＡ５１、ピラーＡ６１、ピラー７１の形状はそれぞれ異なっている。一方、学習画像Ｘ２１、学習画像Ｘ２２、学習画像Ｘ２３では、基部Ａ５２、基部Ａ６２、基部Ａ７２の形状は同一である。
学習画像Ｘ２１、学習画像Ｘ２２、学習画像Ｘ２３では、ピラーＡ５１、ピラーＡ６１、ピラー７１の形状はそれぞれ異なっている。一方、学習画像Ｘ２１、学習画像Ｘ２２、学習画像Ｘ２３では、基部Ａ５２、基部Ａ６２、基部Ａ７２の形状は同一である。
【0055】
従来のテンプレートマッチングでは、ピラーの形状が異なっている場合に、柱状部の位置を判定できないことがあった。一方、機械学習モデルＭは、柱状部４４の基部が含まれた学習画像を用いた機械学習に基づいて生成されるため、機械学習モデルＭでは、例えば、基部の形状が特徴量として学習されている。そのため、荷電粒子ビーム装置１０では、ピラーの形状が異なっている場合であっても、柱状部の判定の精度が向上する。
学習画像の対象物体は、複数の学習画像の対象物体相互間において同じ形状の部位が含まれていることが好ましい。
学習画像の対象物体は、複数の学習画像の対象物体相互間において同じ形状の部位が含まれていることが好ましい。
【0056】
図７に戻って初期設定工程の説明を続ける。
制御用コンピュータ２２は、画像処理用コンピュータ３０によって判定された柱状部４４の位置を示す位置情報に基づいて、柱状部４４の位置を登録する。
なお、柱状部４４の学習画像では、柱状部４４のうち試料台４３の両端に位置する柱状部の画像が含まれることが好ましい。この学習画像を含む学習データを用いて生成された機械学習モデルＭに基づいて、画像処理用コンピュータ３０は、柱状部４４のうち試料台４３の両端の柱状部を、両端以外の柱状部と区別して検出する。制御用コンピュータ２２は、検出した両端の柱状部の位置から試料片ホルダＰの傾きを算出してもよい。制御用コンピュータ２２は、算出した傾きに基づいて対象物の位置の座標の値を補正してもよい。
制御用コンピュータ２２は、画像処理用コンピュータ３０によって判定された柱状部４４の位置を示す位置情報に基づいて、柱状部４４の位置を登録する。
なお、柱状部４４の学習画像では、柱状部４４のうち試料台４３の両端に位置する柱状部の画像が含まれることが好ましい。この学習画像を含む学習データを用いて生成された機械学習モデルＭに基づいて、画像処理用コンピュータ３０は、柱状部４４のうち試料台４３の両端の柱状部を、両端以外の柱状部と区別して検出する。制御用コンピュータ２２は、検出した両端の柱状部の位置から試料片ホルダＰの傾きを算出してもよい。制御用コンピュータ２２は、算出した傾きに基づいて対象物の位置の座標の値を補正してもよい。
【0057】
ステップＳ３０：制御用コンピュータ２２は、集束イオンビーム照射光学系１４を制御して、試料Ｓを加工する。
【0058】
（試料片ピックアップ工程）
図１３は、本実施形態に係る試料片ピックアップ工程の一例を示す図である。ここで、ピックアップとは、集束イオンビームによる加工やニードルによって、試料片Ｑを試料Ｓから分離、摘出することを言う。
図１３は、本実施形態に係る試料片ピックアップ工程の一例を示す図である。ここで、ピックアップとは、集束イオンビームによる加工やニードルによって、試料片Ｑを試料Ｓから分離、摘出することを言う。
【0059】
ステップＳ４０：制御用コンピュータ２２は、試料の位置を調整する。ここで制御用コンピュータ２２は、対象とする試料片Ｑを荷電粒子ビームの視野に入れるためにステージ駆動機構１３によって試料ステージ１２を移動させる。ここで、制御用コンピュータ２２は、レファレンスマークＲｅｆと試料片Ｑとの相対位置関係を用いる。制御用コンピュータ２２は、試料ステージ１２の移動後、試料片Ｑの位置合わせを行なう。
【0060】
ステップＳ５０：制御用コンピュータ２２は、ニードル１８の移動を実行する。
ここで図１４を参照し、制御用コンピュータ２２が実行するニードル１８の移動のための処理について説明する。図１４は、本実施形態に係るニードル１８の移動処理の一例を示す図である。図１４のステップＳ５１０からステップ５４０は、図１３のステップＳ５０に対応する。
ここで図１４を参照し、制御用コンピュータ２２が実行するニードル１８の移動のための処理について説明する。図１４は、本実施形態に係るニードル１８の移動処理の一例を示す図である。図１４のステップＳ５１０からステップ５４０は、図１３のステップＳ５０に対応する。
【0061】
ステップＳ５１０：制御用コンピュータ２２は、ニードル駆動機構１９によってニードル１８を移動させるニードル移動（粗調整）を実行する。
ステップＳ５２０：制御用コンピュータ２２は、ニードル１８の先端を検出する。ここで制御用コンピュータ２２は、対象物としてニードル１８が含まれる吸収電流画像データを画像処理用コンピュータ３０に送信する。
ステップＳ５２０：制御用コンピュータ２２は、ニードル１８の先端を検出する。ここで制御用コンピュータ２２は、対象物としてニードル１８が含まれる吸収電流画像データを画像処理用コンピュータ３０に送信する。
【0062】
判定画像取得部３０３は、画像処理用コンピュータ３０からＳＩＭ画像とＳＥＭ画像とを判定画像として取得する。判定部３０４は、機械学習モデルＭに基づいて、判定画像取得部３０３が取得した判定画像に含まれるニードル１８の位置を、対象物の位置として判定する。判定部３０４は、判定したニードル１８の位置を示す位置情報を制御用コンピュータ２２に出力する。
【0063】
次に、制御用コンピュータ２２は、画像処理用コンピュータ３０によって判定されたニードル１８の位置を示す位置情報に基づいて、ニードル駆動機構１９によってニードル１８を移動させるニードル移動（微調整）を実行する。
【0064】
ここで図１６から図１９を参照し、ニードル１８や、機械学習モデルＭの生成に用いられるニードル１８の学習画像について説明する。
図１６は、本実施形態に係るニードル１８の先端が含まれるＳＥＭ画像データの一例を示す図である。図１７は、本実施形態に係るニードル１８先端が含まれるＳＩＭ画像データの一例を示す図である。
図１６は、本実施形態に係るニードル１８の先端が含まれるＳＥＭ画像データの一例を示す図である。図１７は、本実施形態に係るニードル１８先端が含まれるＳＩＭ画像データの一例を示す図である。
【0065】
図１８は、本実施形態に係るニードル１８の先端の一例を示す図である。図１８では、ニードル１８の一例として、試料ステージ１２の鉛直方向に対して所定角度傾斜した傾斜方向からみた場合のニードルＢ１が示されている。
【0066】
図１９は、本実施形態に係るニードル１８の学習画像の一例を示す図である。学習画像Ｙ３１、学習画像Ｙ３２、学習画像Ｙ３３は、ニードル１８の先端の位置の学習に用いられる。学習画像Ｙ３１、学習画像Ｙ３２、学習画像Ｙ３３では、ニードル１８の先端の位置を示す情報が円として示されている。学習画像Ｙ３１、学習画像Ｙ３２、学習画像Ｙ３３では、ニードルの先端の太さはそれぞれ異なっている。一方、学習画像Ｙ３１、学習画像Ｙ３２、学習画像Ｙ３３では、ニードルの先端の形状は同一である。
【0067】
実際のニードル１８の先端の太さは、クリーニングによって太さが変化する。従来のテンプレートマッチングでは、ニードルの先端の太さが異なっている場合に、ニードルの先端の位置を判定できないことがあった。一方、機械学習モデルＭは、ニードル１８の先端が含まれた学習画像を用いた機械学習に基づいて生成されるため、機械学習モデルＭでは、例えば、ニードルの先端の形状が特徴量として学習されている。そのため、荷電粒子ビーム装置１０では、ニードルの先端の太さが異なっている場合であっても、ニードルの先端の判定の精度が向上する。
【0068】
ここで図１５を参照し、画像処理用コンピュータ３０がニードル１８の先端の位置を判定する処理の詳細について説明する。図１５は、本実施形態に係るニードル先端位置判定処理の一例を示す図である。図１５に示すニードル先端位置判定処理は、図１４のステップＳ５２０において実行される。
【0069】
ステップＳ５２１０：判定部３０４は、機械学習モデルＭに基づいて、判定画像取得部３０３が取得した判定画像に含まれるニードル１８の先端の位置を、対象物の位置として判定する。
【0070】
ステップＳ５２２０：判定部３０４は、ニードル１８の先端の位置を判定できたか否かを判定する。判定部３０４は、ニードル１８の先端の位置を判定できたと判定する場合（ステップＳ５２２０；ＹＥＳ）、判定したニードル１８の先端の位置を示す位置情報を制御用コンピュータ２２に出力し、ニードル先端位置判定処理を終了する。一方、判定部３０４は、ニードル１８の先端の位置を判定できなかったと判定する場合（ステップＳ５２２０；ＮＯ）、ステップＳ５２３０の処理を実行する。
【0071】
ニードル１８の先端の位置を判定できない場合とは、例えば、ニードル１８の先端に試料片Ｑを切断した一部が付着しておりニードル１８の先端の位置が正しく判定されない場合である。図２０は、本実施形態に係るニードルＢ２の先端に付着した試料片Ｑ２の一例を示す図である。
以下では、ニードル１８の先端の位置を判定できない場合を異常ケースということがある。
以下では、ニードル１８の先端の位置を判定できない場合を異常ケースということがある。
【0072】
ステップＳ５２３０：判定部３０４は、現在のピックアップ位置判定処理において異物検知を実行済みであるか否かを判定する。判定部３０４は、異物検知を実行済みであると判定する場合（ステップＳ５２３０；ＹＥＳ）、ステップＳ５２４０の処理を実行する。一方、判定部３０４は、異物検知を実行済みでないと判定する場合（ステップＳ５２３０；ＮＯ）、ステップＳ５２５０の処理を実行する。
【0073】
ステップＳ５２４０：判定部３０４は、制御用コンピュータ２２に自動ＭＳを停止させる。ここで判定部３０４は、自動ＭＳを停止させるための停止信号を制御用コンピュータ２２に出力する。その後、判定部３０４は、ニードル先端位置判定処理を終了する。
【0074】
ステップＳ５２５０：判定部３０４は、機械学習モデルＭに基づいて、判定画像取得部３０３が取得した判定画像に含まれる異物を判定する。ここで異物とは、ニードル１８の先端に試料片Ｑの一部が付着したものである。
【0075】
ここで図２１を参照し、異常ケースの判定を機械学習によって行うための学習画像について説明する。図２１は、本実施形態に係る異常ケースのための学習画像の一例を示す図である。学習画像Ｙ４１、学習画像Ｙ４２、学習画像Ｙ４３、学習画像Ｙ４４、学習画像Ｙ４５、学習画像Ｙ４６では、ニードル（ニードルＢ４１、ニードルＢ４２、ニードルＢ４３、ニードルＢ４４、ニードルＢ４５、ニードルＢ４６）の先端に試料片の一部（試料片Ｑ４１、試料片Ｑ４２、試料片Ｑ４３、試料片Ｑ４４、試料片Ｑ４５、試料片Ｑ４６）が付着している。
【0076】
ステップＳ５２６０：判定部３０４は、異物を判定できたか否かを判定する。判定部３０４は、異物を判定できたと判定する場合（ステップＳ５２６０；ＹＥＳ）、一方、判定部３０４は、異物を判定できなかったと判定する場合（ステップＳ５２６０；ＮＯ）、ステップＳ５２７０の処理を実行する。
【0077】
ステップＳ５２７０：判定部３０４は、制御用コンピュータ２２に異物を除去させる。ここで判定部３０４は、異物の除去を実行させるための制御信号を制御用コンピュータ２２に出力する。その後、判定部３０４は、ステップＳ５２１０の処理を再度実行する。つまり、判定部３０４は、異物が除去されたニードル１８の先端の位置を判定する。
【0078】
異物を除去とは、ニードル１８のクリーニングによって、ニードル１８の先端に付着した試料片Ｑの一部を除去することである。図２２は、本実施形態に係る異物の除去の一例を示す図である。図２２に示す異物の除去では、ニードル１８のクリーニング用の加工枠ＦＲ６が設置されて、ニードルＢ６の異物Ｑ６が除去される。
【0079】
図１４に戻ってニードル１８の移動処理の説明を続ける。
ステップＳ５３０：制御用コンピュータ２２は、試料片Ｑのピックアップ位置を検出する。ここで制御用コンピュータ２２は、対象物として試料片Ｑが含まれるＳＩＭ画像とＳＥＭ画像を画像処理用コンピュータ３０に送信する。
ステップＳ５３０：制御用コンピュータ２２は、試料片Ｑのピックアップ位置を検出する。ここで制御用コンピュータ２２は、対象物として試料片Ｑが含まれるＳＩＭ画像とＳＥＭ画像を画像処理用コンピュータ３０に送信する。
【0080】
ここで図２３を参照し、画像処理用コンピュータ３０のピックアップ位置を判定する処理について説明する。
図２３は、本実施形態に係るピックアップ位置判定処理の一例を示す図である。図２３に示すステップＳ５３１０からステップＳ５３７０までの各処理は、図１４のステップＳ５３０の処理に対応する。
図２３は、本実施形態に係るピックアップ位置判定処理の一例を示す図である。図２３に示すステップＳ５３１０からステップＳ５３７０までの各処理は、図１４のステップＳ５３０の処理に対応する。
【0081】
ステップＳ５３１０：判定部３０４は、テンプレートマッチングに基づいて、判定画像取得部３０３が取得した判定画像に含まれる試料片Ｑのピックアップ位置を判定する。ここで判定部３０４は、テンプレートマッチングにおいて、記憶部３０５に記憶されるテンプレートＴを用いる。
【0082】
ステップＳ５３２０：判定部３０４は、テンプレートマッチングに基づいて、試料片Ｑのピックアップ位置を判定できたか否かを判定する。判定部３０４は、テンプレートマッチングのスコアが所定の値以上である場合にピックアップ位置を判定できたと判定する。
判定部３０４は、ピックアップ位置を判定できたと判定する場合（ステップＳ５３２０；ＹＥＳ）、判定したピックアップ位置を示す位置情報を制御用コンピュータ２２に出力し、ピックアップ位置判定処理を終了する。一方、判定部３０４は、ピックアップ位置を判定できなかったと判定する場合（ステップＳ５３２０；ＮＯ）、ステップＳ５３３０の処理を実行する。
判定部３０４は、ピックアップ位置を判定できたと判定する場合（ステップＳ５３２０；ＹＥＳ）、判定したピックアップ位置を示す位置情報を制御用コンピュータ２２に出力し、ピックアップ位置判定処理を終了する。一方、判定部３０４は、ピックアップ位置を判定できなかったと判定する場合（ステップＳ５３２０；ＮＯ）、ステップＳ５３３０の処理を実行する。
【0083】
ステップＳ５３３０：判定部３０４は、ピックアップ位置の判定に用いる機械学習モデルＭ－ｊを選択する。ここで判定部３０４は、機械学習モデルＭに含まれる機械学習モデルＭ－ｉ（ｉ＝１、２、・・・、Ｎ：Ｎはモデルの数）のなかからピックアップ位置の判定に用いる機械学習モデルＭ－ｊを１つ選択する。本実施形態では、一例として、判定部３０４は、機械学習モデルＭに含まれる機械学習モデルＭ－ｉ（ｉ＝１、２、・・・、Ｎ：Ｎはモデルの数）のうち現在のピックアップ位置判定処理において選択していないものを所定の順番に基づいて選択する。所定の順番とは、例えば、機械学習モデルＭ－ｉのインデックスｉの昇順である。
【0084】
ステップＳ５３４０：判定部３０４は、選択した機械学習モデルＭ－ｊに基づいてピックアップ位置を判定する。この判定の処理は、上述のステップＳ２０などにおいて判定部３０４が対象物の位置を判定する処理と同様である。
【0085】
ステップＳ５３５０：判定部３０４は、選択した機械学習モデルＭ－ｊに基づいて、試料片Ｑのピックアップ位置を判定できたか否かを判定する。
判定部３０４は、ピックアップ位置を判定できたと判定する場合（ステップＳ５３５０；ＹＥＳ）、判定したピックアップ位置を示す位置情報を制御用コンピュータ２２に出力し、ピックアップ位置判定処理を終了する。一方、判定部３０４は、ピックアップ位置を判定できなかったと判定する場合（ステップＳ５３５０；ＮＯ）、ステップＳ５３６０の処理を実行する。
判定部３０４は、ピックアップ位置を判定できたと判定する場合（ステップＳ５３５０；ＹＥＳ）、判定したピックアップ位置を示す位置情報を制御用コンピュータ２２に出力し、ピックアップ位置判定処理を終了する。一方、判定部３０４は、ピックアップ位置を判定できなかったと判定する場合（ステップＳ５３５０；ＮＯ）、ステップＳ５３６０の処理を実行する。
【0086】
ステップＳ５３６０：判定部３０４は、機械学習モデルＭに含まれるすべての機械学習モデルＭ－ｉ（ｉ＝１、２、・・・、Ｎ：Ｎはモデルの数）が用いられたか否かを判定する。判定部３０４は、すべての機械学習モデルが用いられたと判定する場合（ステップＳ５３６０；ＹＥＳ）、ステップＳ５３７０の処理を実行する。一方、判定部３０４は、すべての機械学習モデルが用いられていないと判定する場合（ステップＳ５３６０；ＮＯ）、ステップＳ５３３０の処理を再度実行する。
【0087】
ステップＳ５３７０：判定部３０４は、制御用コンピュータ２２に自動ＭＳを停止させる。ここで判定部３０４は、自動ＭＳを停止させるための停止信号を制御用コンピュータ２２に出力する。その後、判定部３０４は、ピックアップ位置判定処理を終了する。
【0088】
ここで図２４及び図２５を参照し、試料片Ｑや、機械学習モデルＭの生成に用いられる試料片Ｑの学習画像について説明する。
図２４は、本実施形態に係る試料片Ｑが含まれるＳＩＭ画像データの一例を示す図である。図２４では、試料片Ｑの一例として、試料片Ｑ７１が、ピックアップ位置を示す円とともに示されている。
図２４は、本実施形態に係る試料片Ｑが含まれるＳＩＭ画像データの一例を示す図である。図２４では、試料片Ｑの一例として、試料片Ｑ７１が、ピックアップ位置を示す円とともに示されている。
【0089】
図２５は、本実施形態に係る試料片Ｑの学習画像の一例を示す図である。学習画像Ｚ１１、学習画像Ｚ１２、学習画像Ｚ１３は、試料片Ｑの先端の位置の学習に用いられる。学習画像Ｚ１１、学習画像Ｚ１２、学習画像Ｚ１３では、試料片Ｑのピックアップ位置を示す情報が円として示されている。学習画像Ｚ１１、学習画像Ｚ１２、学習画像Ｚ１３では、試料片のサイズや表面の形状はそれぞれ異なっている。一方、学習画像Ｚ１１、学習画像Ｚ１２、学習画像Ｚ１３では、試料片のピックアップ位置における形状は同一である。
【0090】
実際の試料片の表面の形状は、個体毎に異なる。従来のテンプレートマッチングでは、試料片の表面の形状が異なっている場合に、試料片のピックアップ位置を判定できないことがあった。一方、機械学習モデルＭは、試料片Ｑのピックアップ位置が含まれた学習画像を用いた機械学習に基づいて生成されるため、機械学習モデルＭでは、例えば、試料片Ｑのピックアップ位置の形状が特徴量として学習されている。そのため、荷電粒子ビーム装置１０では、試料片の表面の形状が異なっている場合であっても、試料片Ｑのピックアップ位置の判定の精度が向上する。
【0091】
なお、図２３に示したステップＳ５３３０において、機械学習モデルＭに含まれる機械学習モデルＭ－ｉ（ｉ＝１、２、・・・、Ｎ：Ｎはモデルの数）のなかから対象物の判定に用いる機械学習モデルＭ－ｊを１つ選択する処理における順番は変更されてもよい。例えば、画像処理用コンピュータ３０が対象物（図２３の一例においてピックアップ位置）を判定する処理を最初に実行する場合に、上述した所定の順番とし、２回目以降の処理においては、当該順番は前回対象物が判定できたか否かに応じて変更されてもよい。
例えば、前回の対象物を判定する処理において、機械学習モデルＭ－ｋに基づいて対象物を判定できた場合に、判定部３０４は、この機械学習モデルＭ－ｋの順番を、機械学習モデルＭに含まれる機械学習モデルＭ－ｉ（ｉ＝１、２、・・・、Ｎ：Ｎはモデルの数）のなかにおいて最初の順番としてもよい。あるいは、判定部３０４は、この機械学習モデルＭ－ｋの順番を、所定の順位（例えば１つ）だけ繰り上げてもよい。また、前回の対象物を判定する処理において、機械学習モデルＭ－ｍに基づいて対象物を判定できなかった場合に、判定部３０４は、この機械学習モデルＭ－ｍの順番を最後の順番としてもよい。あるいは、判定部３０４は、この機械学習モデルＭ－ｍの順番を所定の順位（例えば１つ）だけ繰り下げてもよい。
例えば、前回の対象物を判定する処理において、機械学習モデルＭ－ｋに基づいて対象物を判定できた場合に、判定部３０４は、この機械学習モデルＭ－ｋの順番を、機械学習モデルＭに含まれる機械学習モデルＭ－ｉ（ｉ＝１、２、・・・、Ｎ：Ｎはモデルの数）のなかにおいて最初の順番としてもよい。あるいは、判定部３０４は、この機械学習モデルＭ－ｋの順番を、所定の順位（例えば１つ）だけ繰り上げてもよい。また、前回の対象物を判定する処理において、機械学習モデルＭ－ｍに基づいて対象物を判定できなかった場合に、判定部３０４は、この機械学習モデルＭ－ｍの順番を最後の順番としてもよい。あるいは、判定部３０４は、この機械学習モデルＭ－ｍの順番を所定の順位（例えば１つ）だけ繰り下げてもよい。
【0092】
また、図２３に示した対象物を判定する処理において、機械学習モデルＭに含まれるすべての機械学習モデルＭ－ｉ（ｉ＝１、２、・・・、Ｎ：Ｎはモデルの数）が用いられた後、対象物を判定できなかった場合に、学習部３０２は、対象物を判定できなかった判定画像を学習画像に含めて新たに機械学習を実行し、機械学習モデルＭを更新してもよい。その場合、例えば、学習部３０２は、対象物を判定できなかった判定画像を学習データに追加し、新たに機械学習を実行し機械学習モデルＭを更新する。学習データに追加される対象物を判定できなかった判定画像の数は複数であってよい。
機械学習モデルＭを更新するとは、機械学習モデルＭに、新たに学習を実行した結果得られたモデルを追加することである。あるいは、機械学習モデルＭを更新するとは、新たに学習を実行した結果得られたモデルによって、機械学習モデルＭに含まれる複数のモデルのうちいずれかを置き換えることであってもよい。
機械学習モデルＭを更新するとは、機械学習モデルＭに、新たに学習を実行した結果得られたモデルを追加することである。あるいは、機械学習モデルＭを更新するとは、新たに学習を実行した結果得られたモデルによって、機械学習モデルＭに含まれる複数のモデルのうちいずれかを置き換えることであってもよい。
【0093】
学習部３０２が機械学習モデルＭを更新する時期は、例えば、所定の日数毎の時期である。学習部３０２は、例えば、７日毎に機械学習モデルＭを更新する。なお、学習部３０２は、画像処理用コンピュータ３０が荷電粒子ビーム装置１０のユーザーから機械学習モデルＭを更新する操作を受け付けた場合に、機械学習モデルＭを更新してもよい。
【0094】
学習部３０２は、機械学習モデルＭを更新した後、更新した機械学習モデルＭに基づいて判定精度を算出してもよい。その場合、例えば、記憶部３０５にテスト画像セットが予め記憶される。テスト画像セットは、判定画像に含まれる対象物（図２３の例ではピックアップ位置）と同じ種類の対象物の画像を含む複数の画像である。テスト画像セットは、記憶部３０５に予め記憶されたものから、荷電粒子ビーム装置１０のユーザーによって変更されてもよい。
例えば学習部３０２は、更新する前の機械学習モデルＭに基づいて、テスト画像セットに含まれる画像に含まれる対象物を判定部３０４に判定させ、判定結果に基づいて判定精度を算出する。次に、学習部３０２は、更新した後の機械学習モデルＭに基づいて、テスト画像セットに含まれる画像に含まれる対象物を判定部３０４に判定させ、判定結果に基づいて判定精度を算出する。学習部３０２は、例えば、判定精度として、テスト画像セットに含まれる画像に対する対象物の判定に成功した画像の割合を算出する。学習部３０２は、更新した後の機械学習モデルＭが更新する前の機械学習モデルＭに比べて判定精度が向上した場合、更新した機械学習モデルＭによって記憶部３０５に記憶される機械学習モデルＭを置き換える。一方、学習部３０２は、更新した後の機械学習モデルＭが更新する前の機械学習モデルＭに比べて判定精度が向上していない場合、更新した後の機械学習モデルＭを破棄する。
例えば学習部３０２は、更新する前の機械学習モデルＭに基づいて、テスト画像セットに含まれる画像に含まれる対象物を判定部３０４に判定させ、判定結果に基づいて判定精度を算出する。次に、学習部３０２は、更新した後の機械学習モデルＭに基づいて、テスト画像セットに含まれる画像に含まれる対象物を判定部３０４に判定させ、判定結果に基づいて判定精度を算出する。学習部３０２は、例えば、判定精度として、テスト画像セットに含まれる画像に対する対象物の判定に成功した画像の割合を算出する。学習部３０２は、更新した後の機械学習モデルＭが更新する前の機械学習モデルＭに比べて判定精度が向上した場合、更新した機械学習モデルＭによって記憶部３０５に記憶される機械学習モデルＭを置き換える。一方、学習部３０２は、更新した後の機械学習モデルＭが更新する前の機械学習モデルＭに比べて判定精度が向上していない場合、更新した後の機械学習モデルＭを破棄する。
【0095】
また、ユーザーによって機械学習モデルＭが生成されてもよい。その場合、例えば、ユーザーは、画像処理用コンピュータ３０を操作して機械学習モデルＭを生成する。ユーザーは、学習画像を予め用意する。学習データ取得部３０１は、ユーザーによって予め用意された学習画像を取得する。予め用意された学習画像は、例えば、荷電粒子ビーム装置を用いてＳＩＭ画像やＳＥＭ画像を撮像することによって生成する。ここで予め用意された学習画像は、実際に荷電粒子ビーム装置１０が判定画像としてＳＩＭ画像やＳＥＭ画像を生成するのと同程度の範囲で画像についてのパラメータを変化させて生成されることが好ましい。画像についてのパラメータには、コントラスト、ブライトネス、倍率、フォーカス、及びビーム条件などが含まれる。
【0096】
ユーザーが学習画像を予め用意する場合、学習画像に含まれる複数の画像において特定の種類の画像の割合が多くなることは好ましくない。ユーザーが学習画像を予め用意する場合、学習画像には、複数の種類の画像の枚数が互いに均等となるようにそれらの複数の画像が含まれることが好ましい。ここで画像の種類は、例えば、上述した画像についてのパラメータによって区別される。
なお、学習画像には、後述する疑似画像が含まれてもよい。
なお、学習画像には、後述する疑似画像が含まれてもよい。
【0097】
また、ユーザーによって機械学習モデルＭが生成される場合に、機械学習に用いられる学習画像の妥当性はユーザーによって判定される。その場合、ユーザーは、学習画像の妥当性を判定する場合に、ＸＡＩ（Ｅｘｐｌａｉｎａｂｌｅ ＡＩ）を利用してよい。ＸＡＩでは、機械学習のモデルが判定を行う過程を説明する。学習部３０２は、ＸＡＩに基づいて、機械学習モデルＭが対象物を含む画像において対象物の位置を判定する過程で、当該画像において対象物の位置を示す特徴点として用いられた領域を判定する。学習部３０２は、ＸＡＩとして例えば、Ｌａｙｅｒｗｉｓｅ ｒｅｌｅｖａｎｃｅ ｐｒｏｐａｇａｔｉｏｎ（ＬＲＰ）などの手法を用いる。ユーザーは、学習部３０２が判定した特徴点として用いられた領域を目視で確認して学習画像の妥当性を判定する。
【0098】
ここで図２６から図２９を参照し、ＸＡＩに基づく学習画像の妥当性の判定について説明する。図２６は、本実施形態に係る学習画像Ｙ５の一例を示す図である。学習画像Ｙ５には、画像Ｙ５１から画像Ｙ５４が含まれる。画像Ｙ５１から画像Ｙ５４は、ＳＥＭ画像、ＳＩＭ画像、あるいは後述する疑似画像などのいずれであってもよい。画像Ｙ５１から画像Ｙ５４では、それぞれニードルＢ４１からニードルＢ４４がそれぞれ含まれる。学習画像Ｙ５に基づいて学習された機械学習モデルＭ５では、画像Ｙ５１から画像Ｙ５４においてそれぞれ領域Ｒ４１から領域Ｒ４４が、ニードルの先端を示す領域であるという条件が課されて機械学習が実行されている。図２６では、領域Ｒ４１から領域Ｒ４４のそれぞれの形状は、一例として楕円である。
【0099】
図２７は、本実施形態に係る追加画像Ｉ１の一例を示す図である。追加画像Ｉ１は、学習画像Ｙ５に追加しようとしている学習画像であり、学習画像Ｙ５にするべきかについての妥当性を判定する対象である。追加画像Ｉ１は、一例として、ニードルの画像が含まれている。追加画像Ｉ１は、ＳＥＭ画像、ＳＩＭ画像、あるいは後述する疑似画像などのいずれであってもよい。
【0100】
図２８及び図２９は、本実施形態に係る特徴点が判定された画像の一例を示す図である。図２８では、機械学習モデルＭとして、例えば機械学習モデルＭ１に基づいて図２７に示した追加画像Ｉ１に含まれるニードルの先端の位置が判定された場合に、機械学習モデルＭ１が特徴点として用いた領域Ｒ１が示された画像Ｏ１が示されている。図２９では、機械学習モデルＭとして、例えば機械学習モデルＭ２に基づいて図２７に示した追加画像Ｉ１に含まれるニードルの先端の位置が判定された場合に、機械学習モデルＭ２が特徴点として用いた領域Ｒ２１及び領域Ｒ２２が示された画像Ｏ２が示されている。機械学習モデルＭ１、及び機械学習モデルＭ２は、それぞれ学習画像Ｙ５に基づいて機械学習が実行されて生成されている。
【0101】
画像Ｏ１によれば、機械学習モデルＭ１は領域Ｒ１を特徴点として用いて判定を行っている。領域Ｒ１は、ニードルの先端の位置に対応する。上述したように図２６に示した学習画像Ｙ５では、ニードルの先端を示す領域が示されているため、追加画像Ｉ１を機械学習モデルＭ１に追加する必要はない。この場合、ユーザーは、追加画像Ｉ１を学習画像Ｙ５に追加することは妥当でなないと判定する。
画像Ｏ２によれば、機械学習モデルＭ２は領域Ｒ２１及び領域Ｒ２２を特徴点として用いて判定を行っている。領域Ｒ２１はニードルの先端の位置に対応する。一方、領域Ｒ２２はニードルの先端以外の位置に対応する。領域Ｒ２２がニードルの先端以外の位置に対応するという条件を課して、追加画像Ｉ１を機械学習モデルＭ２の学習に用いれば、領域Ｒ２２が示すニードルの先端以外の位置をニードルの先端として判定することが抑制されることが期待される。この場合、ユーザーは、追加画像Ｉ１を学習画像Ｙ５に追加することは妥当であると判定する。
画像Ｏ２によれば、機械学習モデルＭ２は領域Ｒ２１及び領域Ｒ２２を特徴点として用いて判定を行っている。領域Ｒ２１はニードルの先端の位置に対応する。一方、領域Ｒ２２はニードルの先端以外の位置に対応する。領域Ｒ２２がニードルの先端以外の位置に対応するという条件を課して、追加画像Ｉ１を機械学習モデルＭ２の学習に用いれば、領域Ｒ２２が示すニードルの先端以外の位置をニードルの先端として判定することが抑制されることが期待される。この場合、ユーザーは、追加画像Ｉ１を学習画像Ｙ５に追加することは妥当であると判定する。
【0102】
また、図２３に示した対象物を判定する処理では、ステップＳ５３１０においてテンプレートマッチングに基づいて、対象物を判定できなかった場合に、画像処理用コンピュータ３０は、機械学習モデルＭに含まれる機械学習モデルＭ－ｉ（ｉ＝１、２、・・・、Ｎ：Ｎはモデルの数）のなかから対象物の判定に用いる機械学習モデルＭ－ｊを１つ選択する場合の一例、つまりリトライが行われる場合の一例について説明したが、これに限らない。画像処理用コンピュータ３０は、テンプレートマッチングに基づく判定と、機械学習モデルＭに基づく判定とを並行して実行して、妥当であると判定される結果を対象物の判定結果として選択してもよい。
【0103】
図１４に戻ってニードル１８の移動処理の説明を続ける。
ステップＳ５４０：制御用コンピュータ２２は、検出したピックアップ位置までニードル１８を移動させる。
以上で、制御用コンピュータ２２は、ニードル１８の移動処理を終了する。
ステップＳ５４０：制御用コンピュータ２２は、検出したピックアップ位置までニードル１８を移動させる。
以上で、制御用コンピュータ２２は、ニードル１８の移動処理を終了する。
【0104】
図１３に戻って試料片ピックアップ工程の説明を続ける。
ステップＳ６０：制御用コンピュータ２２は、ニードル１８と試料片Ｑとを接続する。ここで制御用コンピュータ２２は、デポジション膜を用いて接続を行う。
ステップＳ７０：制御用コンピュータ２２は、試料Ｓと試料片Ｑとを加工分離する。ここで図３０は、加工分離の様子を示しており、本発明の実施形態に係るＳＩＭ画像データにおける試料Ｓおよび試料片Ｑの支持部Ｑａの切断加工位置Ｔ１を示す図である。
ステップＳ６０：制御用コンピュータ２２は、ニードル１８と試料片Ｑとを接続する。ここで制御用コンピュータ２２は、デポジション膜を用いて接続を行う。
ステップＳ７０：制御用コンピュータ２２は、試料Ｓと試料片Ｑとを加工分離する。ここで図３０は、加工分離の様子を示しており、本発明の実施形態に係るＳＩＭ画像データにおける試料Ｓおよび試料片Ｑの支持部Ｑａの切断加工位置Ｔ１を示す図である。
【0105】
ステップＳ８０：制御用コンピュータ２２は、ニードル１８を退避させる。ここで制御用コンピュータ２２は、ステップＳ５０のニードル１８の移動処理と同様にしてニードル１８の先端の位置を検出してニードル１８を移動させて退避を行う。
【0106】
ステップＳ９０：制御用コンピュータ２２は、試料ステージ１２を移動させる。ここで制御用コンピュータ２２は、上述のステップＳ２０において登録した特定の柱状部４４が、荷電粒子ビームによる観察視野領域内に入るようにステージ駆動機構１３によって試料ステージ１２を移動させる。
【0107】
（試料片マウント工程）
図３１は、本実施形態に係る試料片マウント工程の一例を示す図である。ここで試料片マウント工程とは、摘出した試料片Ｑを試料片ホルダＰに移設する工程のことである。ステップＳ１００：制御用コンピュータ２２は、試料片Ｑの移設位置を判定する。ここで制御用コンピュータ２２は、上述のステップＳ２０において登録した特定の柱状部４４を、移設位置として判定する。
図３１は、本実施形態に係る試料片マウント工程の一例を示す図である。ここで試料片マウント工程とは、摘出した試料片Ｑを試料片ホルダＰに移設する工程のことである。ステップＳ１００：制御用コンピュータ２２は、試料片Ｑの移設位置を判定する。ここで制御用コンピュータ２２は、上述のステップＳ２０において登録した特定の柱状部４４を、移設位置として判定する。
【0108】
ステップＳ１１０：制御用コンピュータ２２は、ニードル１８の位置を検出する。ここで制御用コンピュータ２２は、上述のステップＳ５２０と同様にしてニードル１８の先端の位置を検出する。
ステップＳ１２０：制御用コンピュータ２２は、ニードル１８を移動させる。ここで制御用コンピュータ２２は、ニードル１８をステップＳ１００で判定した試料片Ｑの移設位置までニードル駆動機構１９によってニードル１８を移動させる。制御用コンピュータ２２は、柱状部４４と試料片Ｑとの間に予め定めた空隙を空けてニードル１８を停止させる。
ステップＳ１２０：制御用コンピュータ２２は、ニードル１８を移動させる。ここで制御用コンピュータ２２は、ニードル１８をステップＳ１００で判定した試料片Ｑの移設位置までニードル駆動機構１９によってニードル１８を移動させる。制御用コンピュータ２２は、柱状部４４と試料片Ｑとの間に予め定めた空隙を空けてニードル１８を停止させる。
【0109】
ステップＳ１３０：制御用コンピュータ２２は、ニードル１８に接続された試料片Ｑを柱状部４４に接続する。
ステップＳ１４０：制御用コンピュータ２２は、ニードル１８と試料片Ｑとを分離する。ここで制御用コンピュータ２２は、ニードル１８と試料片Ｑとを接続するデポジション膜ＤＭ２を切断することによって分離を行う。
ステップＳ１５０：制御用コンピュータ２２は、ニードル１８を退避させる。ここで制御用コンピュータ２２は、ニードル駆動機構１９によってニードル１８を試料片Ｑから所定距離だけ遠ざける。
ステップＳ１４０：制御用コンピュータ２２は、ニードル１８と試料片Ｑとを分離する。ここで制御用コンピュータ２２は、ニードル１８と試料片Ｑとを接続するデポジション膜ＤＭ２を切断することによって分離を行う。
ステップＳ１５０：制御用コンピュータ２２は、ニードル１８を退避させる。ここで制御用コンピュータ２２は、ニードル駆動機構１９によってニードル１８を試料片Ｑから所定距離だけ遠ざける。
【0110】
ステップＳ１６０：制御用コンピュータ２２は、次のサンプリングを実行するか否かを判定する。ここで次のサンプリングを実行するとは、引き続いて同じ試料Ｓの異なる場所からサンプリングを継続することである。サンプリングすべき個数の設定は、ステップＳ１０で事前に登録しているため、制御用コンピュータ２２はこのデータを確認して次のサンプリングを実行するかを判定する。次のサンプリングを実行すると判定する場合は、制御用コンピュータ２２は、ステップＳ５０に戻り、上述のように後続するステップを続けサンプリング作業を実行する。一方、制御用コンピュータ２２は、次のサンプリングを実行しないと判定する場合は、自動ＭＳの一連のフローを終了する。
【0111】
なお、本実施形態では、学習データが、学習画像と、この学習画像内の対象物の位置を示す情報との組である場合の一例について説明したが、これに限らない。学習データには、学習画像以外に、試料の種類、スキャンパラメータ（集束イオンビーム照射光学系１４、及び電子ビーム照射光学系１５の加速電圧など）、ニードル１８のクリーニングを実行してからの使用回数、ニードル１８の先端に異物が付着しているか否か、などを示す情報であるパラメータ情報が含まれてもよい。
【0112】
その場合、機械学習モデルＭ１は、学習画像と、パラメータ情報とに基づいて機械学習が実行されて生成される。また、判定部３０４は、制御用コンピュータ２２からＳＩＭ画像やＳＥＭ画像の画像データに加え、パラメータ情報を取得して、画像データ、パラメータ情報と、機械学習モデルＭ１とに基づいて対象物の画像内の位置を判定する。
【0113】
また、さらにパラメータ情報に、上述した方向情報が含まれてもよい。学習データに方向情報が含まれる場合、対象物と、この対象物をみている方向（試料ステージ１２を基準とする方向）との関係が学習されて機械学習モデルＭ１が生成されるため、判定部３０４は、対象物の位置の判定に方向情報を用いる必要はない。
【0114】
なお上述したように、コンピュータ（本実施形態において、制御用コンピュータ２２）は、画像処理用コンピュータ３０が機械学習のモデル（本実施形態において、機械学習モデルＭ１）と、第２画像（本実施形態において、柱状部４４、ニードル１８、及び試料片ＱのＳＩＭ画像やＳＥＭ画像）を含む第２情報とに基づいて第２対象物（本実施形態において、柱状部４４、ニードル１８、及び試料片Ｑ）に関する位置を判定した結果に基づいて、第２対象物（本実施形態において、柱状部４４、ニードル１８、及び試料片Ｑ）に関する位置の制御を行う。なお、画像処理用コンピュータ３０と、制御用コンピュータ２２とは、一体となって荷電粒子ビーム装置１０に備えられてもよい。
【0115】
（第２の実施形態）
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
本実施形態では、学習画像として、対象物の種類に応じて生成された疑似画像が用いられたり、対象物の種類に応じて用いられる機械学習モデルが選択されたりする場合について説明をする。
本実施形態に係る荷電粒子ビーム装置１０を荷電粒子ビーム装置１０ａといい、画像処理用コンピュータ３０を画像処理用コンピュータ３０ａという。
以下、図面を参照しながら本発明の第２の実施形態について詳しく説明する。
本実施形態では、学習画像として、対象物の種類に応じて生成された疑似画像が用いられたり、対象物の種類に応じて用いられる機械学習モデルが選択されたりする場合について説明をする。
本実施形態に係る荷電粒子ビーム装置１０を荷電粒子ビーム装置１０ａといい、画像処理用コンピュータ３０を画像処理用コンピュータ３０ａという。
【0116】
図３２は、本実施形態に係る画像処理用コンピュータ３０ａの構成の一例を示す図である。本実施形態に係る画像処理用コンピュータ３０ａ（図３２）と第１の実施形態に係る画像処理用コンピュータ３０（図６）とを比較すると、学習画像生成部３０６ａ、分類部３０７ａ、機械学習モデルＭ１ａ、及び分類用学習モデルＭ２ａが異なる。ここで、他の構成要素が持つ機能は第１の実施形態と同じである。第１の実施形態と同じ機能の説明は省略し、第２の実施形態では、第１の実施形態と異なる部分を中心に説明する。
制御部３００ａは、学習データ取得部３０１と、学習部３０２と、判定画像取得部３０３と、判定部３０４とに加え、学習画像生成部３０６ａと、分類部３０７ａとを備える。
制御部３００ａは、学習データ取得部３０１と、学習部３０２と、判定画像取得部３０３と、判定部３０４とに加え、学習画像生成部３０６ａと、分類部３０７ａとを備える。
【0117】
学習画像生成部３０６ａは、学習画像として疑似画像ＰＩを生成する。本実施形態において疑似画像ＰＩとは、対象物への荷電粒子ビームの照射によって予め得られたＳＩＭ画像とＳＥＭ画像を元に生成した画像である。学習画像生成部３０６ａは、一例として、ベアウェアＢＷと、パターン画像ＰＴとに基づいて疑似画像ＰＩを生成する。
【0118】
ベアウェアＢＷとは、対象物から表面のパターンが除かれて対象物の形状を示す画像である。ベアウェアＢＷは、サイズ、コントラスト、フォーカスなどが異なる複数の対象物の形状を示す複数の画像であることが好ましい。ベアウェアＢＷは、ＳＩＭ画像とＳＥＭ画像とは異なり、画像ソフトウェアを用いて描画された画像である。
パターン画像ＰＴとは、対象物の内部構造に応じたパターンを示す画像である。パターン画像ＰＴは、荷電粒子ビームの照射によって得られたＳＩＭ画像やＳＥＭ画像であってもよいし、画像ソフトウェアを用いて描画された画像であってもよい。
パターン画像ＰＴとは、対象物の内部構造に応じたパターンを示す画像である。パターン画像ＰＴは、荷電粒子ビームの照射によって得られたＳＩＭ画像やＳＥＭ画像であってもよいし、画像ソフトウェアを用いて描画された画像であってもよい。
【0119】
学習画像生成部３０６ａは、疑似画像生成アルゴリズムを用いて、パターン画像ＰＴが示す対象物の内部構造に応じたパターンにランダムノイズを加えて、ベアウェアＢＷに重畳することによって疑似画像ＰＩを生成する。
【0120】
本実施形態では、一例として、学習画像生成部３０６ａが、試料片Ｑの学習画像として疑似画像ＰＩを生成する場合の一例について説明するが、これに限らない。学習画像生成部３０６ａは、ニードル１８や柱状部４４の学習画像として疑似画像ＰＩを生成してもよい。また、学習画像生成部３０６ａは、上述した異常ケースの学習画像としてニードル１８の先端に試料片Ｑの一部が付着した場合の疑似画像ＰＩを生成してもよい。
【0121】
なお、学習画像生成部３０６ａは、学習画像に、上述した第１実施形態の対象物への荷電粒子ビームの照射によって予め得られたＳＩＭ画像とＳＥＭ画像を含めてもよい。つまり、学習画像生成部３０６ａは、学習画像として、疑似画像ＰＩのみを用いてもよいし、疑似画像ＰＩとＳＩＭ画像とＳＥＭ画像とを組み合わせて用いてもよい。
【0122】
学習部３０２は、機械学習において、学習画像生成部３０６ａが生成した学習画像から、対象物の表面の形状や、内部構造のパターンを特徴量として抽出して、機械学習モデルＭ１ａを生成する。
【0123】
ここで図３３から図３５を参照し、疑似画像ＰＩの生成方法について説明する。
図３３は、本実施形態に係るベアウェアＢＷの一例を示す図である。図３３では、試料片ＱのベアウェアＢＷとして、ベアウェアＢＷ１、ベアウェアＢＷ２、ベアウェアＢＷ３が示されている。ベアウェアＢＷ１、ベアウェアＢＷ２、ベアウェアＢＷ３は、複数のサイズの試料片Ｑの形状を模した画像である。なお、ベアウェアＢＷ１、ベアウェアＢＷ２、ベアウェアＢＷ３には、ピックアップ位置を示す情報としてニードル１８に対応する画像がそれぞれ含まれている。
図３３は、本実施形態に係るベアウェアＢＷの一例を示す図である。図３３では、試料片ＱのベアウェアＢＷとして、ベアウェアＢＷ１、ベアウェアＢＷ２、ベアウェアＢＷ３が示されている。ベアウェアＢＷ１、ベアウェアＢＷ２、ベアウェアＢＷ３は、複数のサイズの試料片Ｑの形状を模した画像である。なお、ベアウェアＢＷ１、ベアウェアＢＷ２、ベアウェアＢＷ３には、ピックアップ位置を示す情報としてニードル１８に対応する画像がそれぞれ含まれている。
【0124】
図３４は、本実施形態に係るパターン画像ＰＴの一例を示す図である。図３４では、パターン画像ＰＴとして、ユーザーサンプルＵ１が示されている。ユーザーサンプルＵ１は、荷電粒子ビーム装置１０ａのユーザーが加工しようとする試料片Ｑの種類に応じて予め用意された画像である。ユーザーサンプルＵ１では、複数の層からなる試料片について、それら複数の層を構成する物質の種類に応じたパターンが描かれている。
【0125】
図３５は、本実施形態に係る疑似画像ＰＩの一例を示す図である。図３５では、疑似画像ＰＩとして、図３３のベアウェアＢＷ１、ベアウェアＢＷ２、ベアウェアＢＷ３と、図３４のユーザーサンプルＵ１とに基づいて生成された疑似画像ＰＩ１、疑似画像ＰＩ２、疑似画像ＰＩ３が示されている。疑似画像ＰＩ１、疑似画像ＰＩ２、疑似画像ＰＩ３は、複数のサイズの試料片Ｑの形状に、ユーザーサンプルＵ１が示す内部構造のパターンが重畳されている。
【0126】
図３２に戻って画像処理用コンピュータ３０ａの構成の説明を続ける。
分類部３０７ａは、分類用学習モデルＭ２ａに基づいて、判定画像取得部３０３が取得した判定画像を分類する。分類用学習モデルＭ２ａは、対象物の種類に応じて、機械学習モデルＭ１ａに含まれる複数のモデルのなかから、判定部３０４が判定に用いるモデルを選択するためのモデルである。ここで機械学習モデルＭ１ａに含まれる複数のモデルは、モデルの生成に用いられた学習データのセットだけでなく、機械学習のアルゴリズムによっても区別される。
分類部３０７ａは、分類用学習モデルＭ２ａに基づいて、判定画像取得部３０３が取得した判定画像を分類する。分類用学習モデルＭ２ａは、対象物の種類に応じて、機械学習モデルＭ１ａに含まれる複数のモデルのなかから、判定部３０４が判定に用いるモデルを選択するためのモデルである。ここで機械学習モデルＭ１ａに含まれる複数のモデルは、モデルの生成に用いられた学習データのセットだけでなく、機械学習のアルゴリズムによっても区別される。
【0127】
分類用学習モデルＭ２ａは、例えば、ユーザー毎の加工する試料片Ｑの種類と、機械学習モデルＭ１ａに含まれるモデルとを対応づける。分類用学習モデルＭ２ａは、機械学習に基づいて予め生成されて記憶部３０５に記憶される。
【0128】
次に図３６を参照し、分類用学習モデルＭ２ａが用いられた荷電粒子ビーム装置１０ａの自動ＭＳの動作として、試料片Ｑのピックアップ位置を検出する処理について説明する。
図３６は、本実施形態に係るピックアップ位置の検出処理の一例を示す図である。
ステップＳ３１０：分類部３０７ａは、分類用学習モデルＭ２ａに基づいて、判定画像取得部３０３が取得した判定画像を分類する。
ステップＳ３２０：分類部３０７ａは、分類した結果に応じて、機械学習モデルＭ１ａに含まれる複数のモデルのなかから、判定部３０４が判定に用いる機械学習モデルを選択する。なお、分類部３０７ａは、分類した結果に応じて、判定部３０４が判定に用いるアルゴリズムとしてテンプレートマッチングを選択してもよい。
ステップＳ３３０：判定部３０４は、分類部３０７ａが選択した機械学習モデルに基づいて、判定画像取得部３０３が取得した判定画像に含まれる試料片Ｑのピックアップ位置を判定する。ここで判定部３０４は、ステップＳ３３０において上述した図２３のピックアップ位置判定処理を実行する。
図３６は、本実施形態に係るピックアップ位置の検出処理の一例を示す図である。
ステップＳ３１０：分類部３０７ａは、分類用学習モデルＭ２ａに基づいて、判定画像取得部３０３が取得した判定画像を分類する。
ステップＳ３２０：分類部３０７ａは、分類した結果に応じて、機械学習モデルＭ１ａに含まれる複数のモデルのなかから、判定部３０４が判定に用いる機械学習モデルを選択する。なお、分類部３０７ａは、分類した結果に応じて、判定部３０４が判定に用いるアルゴリズムとしてテンプレートマッチングを選択してもよい。
ステップＳ３３０：判定部３０４は、分類部３０７ａが選択した機械学習モデルに基づいて、判定画像取得部３０３が取得した判定画像に含まれる試料片Ｑのピックアップ位置を判定する。ここで判定部３０４は、ステップＳ３３０において上述した図２３のピックアップ位置判定処理を実行する。
【0129】
ここで分類部３０７ａによる分類は、判定の種類を選択するための第３の判定の一例である。図２３のステップＳ５３１０のテンプレートマッチングの代わりに機械学習モデルＭ１ａに含まれる複数のモデルのいずれかを用いて機械学習に基づく判定が実行されてもよい。したがって、分類部３０７ａは、判定の種類（アルゴリズム）を選択するための第３の判定の結果に応じて第１の判定（一例として、ステップＳ５３１０における判定）と、第２の判定（一例として、ステップＳ５３４０における判定）とのうち少なくとも一方について判定の種類（アルゴリズム）を選択する。
【0130】
ステップＳ３４０：判定部３０４は、試料片Ｑのピックアップ位置を判定できたか否かを判定する。判定部３０４は、ピックアップ位置を判定できたと判定する場合（ステップＳ３４０；ＹＥＳ）、判定したピックアップ位置を示す位置情報を制御用コンピュータ２２に出力し、ピックアップ位置判定処理を終了する。一方、判定部３０４は、ピックアップ位置を判定できなかったと判定する場合（ステップＳ３４０；ＮＯ）、ステップＳ３５０の処理を実行する。
【0131】
ステップＳ３５０：判定部３０４は、制御用コンピュータ２２に自動ＭＳを停止させる。ここで判定部３０４は、自動ＭＳを停止させるための停止信号を制御用コンピュータ２２に出力する。その後、判定部３０４は、ピックアップ位置判定処理を終了する。
【0132】
なお、上述した実施形態では、判定部３０４は、対象物の位置の判定において、第１の判定が失敗した場合に、第２の判定を行う場合の一例について説明したが、これに限らない。判定部３０４は、第１の判定が成功した場合にも続けて、第２の判定を行い、第１の判定の結果と第２の判定の結果との両方に基づいて対象物の位置を判定してもよい。
例えば、判定部３０４は、テンプレートマッチングに基づいて対象物の位置を判定し、続けて機械学習に基づいて対象物の位置を判定し、それぞれの判定結果が示す位置が一致した場合に、判定結果が示す位置を、対象物の位置として判定してもよい。
例えば、判定部３０４は、テンプレートマッチングに基づいて対象物の位置を判定し、続けて機械学習に基づいて対象物の位置を判定し、それぞれの判定結果が示す位置が一致した場合に、判定結果が示す位置を、対象物の位置として判定してもよい。
【0133】
なお、判定部３０４は、第１の判定の結果と第２の判定の結果との少なくとも一方に基づいて選択された第４の判定の結果に基づいて対象物の位置の制御を行ってもよい。以下にこの場合の具体例を説明する。
例えば、判定部３０４は、対象物の位置の判定について、前回に行った判定の結果に基づいて、次回の判定方法を選択してもよい。対象物の位置の判定について、前回に行った判定の結果に基づいて、次回の判定方法を選択する場合、例えば、判定部３０４は、前回に行った第１の判定の結果と、前回に行った第２の判定の結果とに基づいて、第１の判定の精度が第２の精度よりも低かった場合、次回の判定において第２の判定を最初に行ってもよい。
さらに判定部３０４は、第１の判定の種類や、第２の判定の種類について、前回行った判定の種類に基づいて次回に用いる判定の種類の種類を選択してもよい。
例えば、判定部３０４は、対象物の位置の判定について、前回に行った判定の結果に基づいて、次回の判定方法を選択してもよい。対象物の位置の判定について、前回に行った判定の結果に基づいて、次回の判定方法を選択する場合、例えば、判定部３０４は、前回に行った第１の判定の結果と、前回に行った第２の判定の結果とに基づいて、第１の判定の精度が第２の精度よりも低かった場合、次回の判定において第２の判定を最初に行ってもよい。
さらに判定部３０４は、第１の判定の種類や、第２の判定の種類について、前回行った判定の種類に基づいて次回に用いる判定の種類の種類を選択してもよい。
【0134】
また、判定部３０４は、次回の判定に用いる第１の判定の種類を、前回の第１の判定の結果に応じて行われる第２の判定の結果に基づいて選択してもよい。例えば、判定部３０４は、テンプレートマッチングにおいて用いるテンプレートの種類を、テンプレートマッチングに失敗した場合に行う機械学習に基づく判定の精度に基づいて選択してもよい。
【0135】
また、判定部３０４は、次回の判定に用いる第２の判定の種類を、前回の第２の判定の結果に基づいて選択してもよい。例えば、判定部３０４は、第２の判定の種類のうちある種類を、次回以降の判定において第２の判定の精度が所定の値以下となるまで継続して用いて、第２の判定の精度が所定の値以下となった場合に、第２の判定の種類を変更してもよい。この場合、例えば、判定部３０４は、機械学習の複数のモデルのうちあるモデルを、次回以降の判定においてこのモデルに基づく判定の精度が所定の値以下となるまで継続して用いて、このモデルに基づく判定の精度が所定の値以下となった場合に、機械学習のモデルを変更してもよい。
【0136】
このように、判定部３０４は、第１の判定の結果と第２の判定の結果との少なくとも一方に基づいて選択された第４の判定の結果と、荷電粒子ビームの照射によって取得した画像を含む情報に基づいて対象物の位置の制御を行ってもよい。
【0137】
なお、図３６に示したピックアップ位置の検出処理では、ステップＳ３２０において、判定画像が分類された結果に応じて、機械学習モデルＭ１ａに含まれる複数のモデルのなかから、判定に用いる機械学習モデルが選択される場合の一例について説明したが、これに限らない。判定画像が分類された結果に対して算出されたスコアに基づいて判定に用いる機械学習モデルが選択されてもよい。
【0138】
例えば、分類部３０７ａは、分類用学習モデルＭ２ａに基づいて、判定画像取得部３０３が取得した判定画像を分類した後、分類した結果に対してスコア（分類スコアという）を算出する。分類部３０７ａは、例えば、分類した結果に対する事後確率を算出することによって分類スコアを算出する。分類部３０７ａは、０点から１００点などの所定の範囲に値をもつ数値として分類スコアを算出する。分類部３０７ａは、算出した分類スコアが所定の値以上である場合、分類した結果に応じて、機械学習モデルＭ１ａに含まれる複数のモデルのなかから、判定部３０４が判定に用いる機械学習モデルを選択する。
【0139】
一方、分類部３０７ａは、算出した分類スコアが所定の値未満である場合、機械学習モデルＭ１ａに含まれる複数のモデルのなかから、分類した結果に応じた機械学習モデルに加えて、分類した結果と類似する分類に対応する機械学習モデルを選択する。つまり、分類部３０７ａは、機械学習モデルＭ１ａに含まれる複数のモデルのなかから複数の機械学習モデルを選択する。判定部３０４は、分類部３０７ａが選択した複数の機械学習モデルに基づいて、判定画像に含まれる対象物の位置を複数の機械学習モデル毎に判定する。判定部３０４は、判定した結果を複数の機械学習モデル相互間において比較する。判定部３０４は、例えば、判定した結果に対してスコア（位置判定スコアという）を算出し、位置判定スコアが最も高い結果を、対象物の位置の判定結果として選択する。位置判定スコアは、機械学習モデルＭに基づく対象物の位置の判定に対するスコアである。
【0140】
なお、判定部３０４が対象物の位置の判定を行うために、位置判定スコアの閾値が予め設定されてもよい。位置判定スコアの閾値は、判定部３０４が対象物の位置の判定を行う前の時期に、荷電粒子ビーム装置１０のユーザーによって予め設定される。その場合、判定部３０４は、対象物の位置を判定できたか否かを判定する場合に、対象物の位置を判定できたか否かに加えて、位置判定スコアが閾値以上であるか否かを判定する。判定部３０４は、対象物の位置を判定できたと判定し、かつ位置判定スコアが閾値以上である場合に、対象物の位置を判定できたと判定する。判定部３０４は、対象物の位置を判定できたと判定した場合であっても、位置判定スコアが閾値以上でない場合には、対象物の位置を判定できなかったと判定する。
【0141】
また、対象物の位置がある範囲に含まれていることが予めわかっている場合、対象物の位置の判定結果において対象物の位置を示す座標の範囲に制限が設けられてもよい。座標の範囲は、判定部３０４が対象物の位置の判定を行う前の時期に、荷電粒子ビーム装置１０のユーザーによって予め設定される。その場合、判定部３０４は、対象物の位置が判定できたか否かを判定する場合に、対象物の位置を判定できたと判定し、かつ位置判定スコアが閾値以上であり、なおかつ対象物の位置を示す座標が予め設定された範囲内にある場合のみ、対象物の位置を判定できたと判定する。判定部３０４は、対象物の位置を判定できたと判定した場合であっても、位置判定スコアが閾値未満であるか、あるいは対象物の位置を示す座標が予め設定された範囲外である場合には、対象物の位置を判定できなかったと判定する。
【0142】
なお、上述した実施形態では、荷電粒子ビーム装置１０、１０ａが集束イオンビーム照射光学系１４と、電子ビーム照射光学系１５との２つの荷電粒子ビーム照射光学系を備える場合の一例について説明したが、これに限らない。荷電粒子ビーム装置は、１つの荷電粒子ビーム照射光学系を備えてもよい。その場合、荷電粒子ビーム照射光学系の荷電粒子ビーム照射によって得られる判定画像には、例えば、対象物に加えこの対象物の影が映っていることが好ましい。また、その場合、対象物はニードル１８である。
【0143】
ニードル１８の影とは、試料ステージ１２の鉛直方向に対して所定角度傾斜した傾斜方向から観察時にニードル１８が試料片Ｑの表面に接近すると、ニードル１８近傍の試料片Ｑの表面から発生する２次電子（又は２次イオン）の検出器１６への到達を遮蔽するために生じる現象で、ニードル１８と試料片Ｑの表面との距離が近いほど顕著になる。したがって、ニードル１８と試料片Ｑの表面との距離が近いほど判定画像における影の輝度値が高くなる。
【0144】
画像処理用コンピュータ３０は、判定画像からニードル１８の先端の位置を判定画像における２次元の座標として判定することに加え、ニードル１８の影の輝度値からニードル１８の先端と試料片Ｑの表面との距離を算出する。これによって、画像処理用コンピュータ３０は、判定画像からニードル１８の先端の位置を、３次元座標の値として判定する。
【0145】
なお、上述した実施形態における制御用コンピュータ２２、画像処理用コンピュータ３０、３０ａの一部、例えば、学習データ取得部３０１、学習部３０２、判定画像取得部３０３、判定部３０４、学習画像生成部３０６ａ、分類部３０７ａをコンピュータで実現するようにしてもよい。その場合、この制御機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、制御用コンピュータ２２、画像処理用コンピュータ３０、３０ａに内蔵されたコンピュータシステムであって、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
また、上述した実施形態における制御用コンピュータ２２、画像処理用コンピュータ３０、３０ａの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。制御用コンピュータ２２、画像処理用コンピュータ３０、３０ａの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
また、上述した実施形態における制御用コンピュータ２２、画像処理用コンピュータ３０、３０ａの一部、または全部を、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）等の集積回路として実現してもよい。制御用コンピュータ２２、画像処理用コンピュータ３０、３０ａの各機能ブロックは個別にプロセッサ化してもよいし、一部、または全部を集積してプロセッサ化してもよい。また、集積回路化の手法はＬＳＩに限らず専用回路、または汎用プロセッサで実現してもよい。また、半導体技術の進歩によりＬＳＩに代替する集積回路化の技術が出現した場合、当該技術による集積回路を用いてもよい。
【0146】
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
【符号の説明】
【0147】
１０、１０ａ…荷電粒子ビーム装置、Ｓ…試料、Ｑ…試料片、１４…集束イオンビーム照射光学系（荷電粒子ビーム照射光学系）、１５…電子ビーム照射光学系１５（荷電粒子ビーム照射光学系）、１２…試料ステージ、１８…ニードル（試料片移設手段）、１９…ニードル駆動機構（試料片移設手段）、Ｐ…試料片ホルダ、１２ａ…ホルダ固定台、２２…制御用コンピュータ（コンピュータ）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】