特許 7416975 荷電粒子ビーム装置およびレポート作成方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-09

(45)【発行日】2024-01-17

(54)【発明の名称】荷電粒子ビーム装置およびレポート作成方法

(51)【国際特許分類】

   H01J 37/24 20060101AFI20240110BHJP

   H01J 37/28 20060101ALI20240110BHJP

【ＦＩ】

H01J37/24

H01J37/28 B

【請求項の数】 9

(21)【出願番号】P 2022561254

(86)(22)【出願日】2020-11-16

(86)【国際出願番号】 JP2020042664

(87)【国際公開番号】W WO2022102140

(87)【国際公開日】2022-05-19

【審査請求日】2023-04-17

(73)【特許権者】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテク

(74)【代理人】

【識別番号】110002066

【氏名又は名称】弁理士法人筒井国際特許事務所

(72)【発明者】

【氏名】小松崎 諒

(72)【発明者】

【氏名】伊藤 峻大郎

(72)【発明者】

【氏名】千葉 寛幸

(72)【発明者】

【氏名】設楽 宗史

(72)【発明者】

【氏名】星野 吉延

(72)【発明者】

【氏名】佐藤 博文

【審査官】藤本 加代子

(56)【参考文献】

【文献】特開２００１－８４９４５（ＪＰ，Ａ）

【文献】特開平７－８５５１０（ＪＰ，Ａ）

【文献】特開平７－４４９０８（ＪＰ，Ａ）

【文献】特開昭６０－２６４０３４（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１４／００６７１０２（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０１Ｊ ３７／００－３７／３６

(57)【特許請求の範囲】

【請求項1】

試料の撮影画像を取得する画像取得装置と、
前記画像取得装置を操作する入出力装置と、を備え、
前記入出力装置は、ユーザーが発した会話を文字列データ化した会話原稿を生成し、前記会話原稿から前記画像取得装置に対する指示を含む前記ユーザーの会話意図を認識する指示解析部と、
前記会話原稿、前記会話意図、および前記画像取得装置に対する前記指示に対する前記画像取得装置の応答を履歴情報として記録する履歴保持部と、
前記ユーザーが、前記画像取得装置に対し前記撮影画像を保存する意図を含む指示を行ったタイミングを境界としてレポート作成期間を分割し、今回の撮影画像を保存する意図を含む指示を行ったタイミングにおける撮影条件と、前回の撮影画像を保存する意図を含む指示を行ったタイミングにおける撮影条件とを比較し、前回のレポート作成期間と今回のレポート作成期間との間における撮影条件の共通条件および差分条件を抽出し、前記レポート作成期間ごとに分割された前記履歴情報、前記履歴情報に対応する前記撮影画像および前記差分条件を関連付けたレポート作成情報を出力する差分解析部と、
前記レポート作成情報に基づき、前記レポート作成期間ごとのレポートを作成し、作成した前記レポートを記録するレポート保持部と、
を備えている、
荷電粒子ビーム装置。

【請求項2】

請求項１に記載の荷電粒子ビーム装置において、
前記指示解析部は、学習用会話と前記学習用会話の原稿である学習用原稿とのペアを用いて学習した第１深層学習モデルを用いて、前記ユーザーが発した前記会話から前記会話原稿を生成する、
荷電粒子ビーム装置。

【請求項3】

請求項２に記載の荷電粒子ビーム装置において、
前記指示解析部は、前記学習用原稿と前記学習用原稿に対応する会話意図である学習用意図とのペアを学習した第２深層学習モデルを用いて前記第１深層学習モデルで生成された前記会話原稿から前記ユーザーの前記会話意図を認識する、
荷電粒子ビーム装置。

【請求項4】

請求項１に記載の荷電粒子ビーム装置において、
複数の前記入出力装置が設けられ、
複数のユーザーがそれぞれ異なる前記入出力装置を使用し、
それぞれの前記ユーザーの前記入出力装置には、実験に参加するすべてのユーザーが発した会話が表示される、
荷電粒子ビーム装置。

【請求項5】

請求項１に記載の荷電粒子ビーム装置において、
前記入出力装置は、前記レポート保持部に記録された前記レポートを読み出し、読み出したレポートに対応する撮影条件を前記画像取得装置に設定する、
荷電粒子ビーム装置。

【請求項6】

請求項１に記載の荷電粒子ビーム装置において、
１つの前記入出力装置を複数の前記ユーザーが使用し、
前記入出力装置は、会話を発した前記ユーザーを認識する話者認識部を備えている、
荷電粒子ビーム装置。

【請求項7】

請求項１に記載の荷電粒子ビーム装置において、
前記入出力装置は、前記レポート保持部から複数の前記レポートを読み出し、読み出した複数の前記レポートから、複数の実験で共通に行われている操作を抽出するルーティン抽出部を備え、
前記ルーティン抽出部は、複数の前記レポートから共通で行われている操作を抽出すると、抽出した前記操作にルーティンキーワードを割り当て、前記ルーティンキーワードを前記指示解析部に登録し、抽出した前記操作に含まれるコマンドをルーティンコマンドとして生成する、
荷電粒子ビーム装置。

【請求項8】

試料の撮影画像を取得する画像取得装置と、
前記画像取得装置を操作する入出力装置と、を備え、
前記入出力装置は、
ユーザーの表情画像と音声の情報の少なくともいずれかに基づき前記ユーザーの感情を検知する感情検知部と、
ユーザーが発した会話を文字列データ化した会話原稿を生成し、前記会話原稿から前記ユーザーの感想を抽出し、
前記表情画像および前記感想を関連付けたレポートを作成し、作成した前記レポートを記録するレポート保持部と、
を備えている、
荷電粒子ビーム装置。

【請求項9】

試料の撮影画像を取得する画像取得装置と、前記画像取得装置を操作する入出力装置と、を備えた荷電粒子ビーム装置におけるレポート作成方法であって、
前記入出力装置が、ユーザーが発した会話を文字列データ化した会話原稿を生成し、前記会話原稿から前記画像取得装置に対する指示を含む前記ユーザーの会話意図を認識する工程と、
前記入出力装置が、前記会話原稿、前記会話意図、および前記画像取得装置に対する前記指示に対する前記画像取得装置の応答を履歴情報として記録する工程と、
前記入出力装置が、前記ユーザーが前記画像取得装置に対し前記撮影画像を保存する意図を含む指示を行ったタイミングを境界としてレポート作成期間を分割し、今回の撮影画像を保存する意図を含む指示を行ったタイミングにおける撮影条件と、前回の撮影画像を保存する意図を含む指示を行ったタイミングにおける撮影条件とを比較し、前回のレポート作成期間と今回のレポート作成期間との間における撮影条件の共通条件および差分条件を抽出し、前記レポート作成期間ごとに分割された前記履歴情報、前記履歴情報に対応する前記撮影画像および前記差分条件を関連付けたレポート作成情報を出力する工程と、
前記入出力装置が、前記レポート作成情報に基づき、前記レポート作成期間ごとのレポートを作成し、作成した前記レポートを記録する工程と、
を備えている、
レポート作成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、荷電粒子ビーム装置およびレポート作成方法に関する。

【背景技術】

【0002】

翻訳機等に代表されるように、音声認識や自然言語処理といった技術の商用化が進んでおり、様々な分野での利用が期待されている。荷電粒子ビーム装置では、電子ビームのダメージを受けやすい試料に対する加工やリアルタイムでの観察等、ビームに対する迅速な操作が求められる実験がトレンドとなっている。

【0003】

観察画像の妥当性を担保するためには、撮影するまでの過程と観察画像とのトレーサビリティを正確に対応させる必要がある。さらに、荷電粒子顕微鏡を使った実験を行った後は、観察画像を含むレポートの提出が一般的に必要であるが、実験に伴う膨大な情報を整理する作業がユーザーの負担となっている。

【0004】

例えば、特許文献１には、観察画像にアイコンが表示され、このアイコンがテキストや音声記録を含むデータオブジェクトへのリンクを提供する旨の技術が開示されている。具体的には、観察画像内に音声記録を埋め込み、階層化することで、対象物の画像データのより効率的な取得および解析を可能にする旨が記載されている。

【0005】

特許文献２には、動画像から所定のタイミングで静止画像を抽出することで画像データを取得し、動画像に同期して記録された音声から、無音区間で区切られた発話区間ごとに音声を抽出することで音声データを取得し、画像データと音声データとを関連付けて記録する旨の技術が開示されている。

【先行技術文献】

【特許文献】

【0006】

【文献】特開２０１２－０９９４８１号公報

【文献】特開２０１５－１０９６１２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

電子顕微鏡装置は、一般的に、撮影画像と観察条件とを関連付けて記録しているが、観察画像を撮影するまでの過程は、実験ノート等を基に手動で記録する必要がある。しかしながら、記入漏れ等によって撮影までの過程が正確に記録されないと、過程が曖昧となり、データの信頼性が損なわれてしまう。このため、再現実験を行うことが困難となる等の問題が生じる可能性がある。このように、観察画像を撮影するまでの過程と観察画像とのトレーサビリティを正確に記録することは、観察画像の妥当性を担保するために非常に重要である。

【0008】

また、撮影するまでの過程を逐一記録するためには、例えば数カ所に固定したビデオカメラで実験の様子を録画するという方法がある。しかし、実験の様子だけで過程が明らかでない場合には、作業者が実験の様子を解説する必要がある。しかしながら、このような方法では、ビデオカメラでの録画、膨大な動画データの管理、および動画データからの必要な情報の抽出等に係る作業者の負担が増えるという問題がある。

【0009】

そこで、本発明は、観察画像の妥当性を容易に担保することが可能な荷電粒子ビーム装置を提供することを目的とする。

【課題を解決するための手段】

【0010】

本発明の荷電粒子ビーム装置は、試料の撮影画像を取得する画像取得装置と、画像取得装置を操作する入出力装置と、を備えている。入出力装置は、ユーザーが発した会話を文字列データ化した会話原稿を生成し、会話原稿から画像取得装置に対する指示を含むユーザーの会話意図を認識する指示解析部と、会話原稿、会話意図、および画像取得装置に対する指示に対する画像取得装置の応答を履歴情報として記録する履歴保持部と、ユーザーが、画像取得装置に対し撮影画像を保存する意図を含む指示を行ったタイミングを境界としてレポート作成期間を分割し、今回の撮影画像を保存する意図を含む指示を行ったタイミングにおける撮影条件と、前回の撮影画像を保存する意図を含む指示を行ったタイミングにおける撮影条件とを比較し、前回のレポート作成期間と今回のレポート作成期間との間における撮影条件の共通条件および差分条件を抽出し、レポート作成期間ごとに分割された履歴情報、履歴情報に対応する撮影画像および差分条件を関連付けたレポート作成情報を出力する差分解析部と、レポート作成情報に基づき、レポート作成期間ごとのレポートを作成し、作成したレポートを記録するレポート保持部と、を備えている。

【発明の効果】

【0011】

本発明によれば、観察画像の妥当性を容易に担保することが可能となる。

【図面の簡単な説明】

【0012】

【図1】本発明の実施の形態１に係る荷電粒子ビーム装置の構成例を示す図である。

【図2】図１の入出力装置の操作画面の一例を示す図である。

【図3】図２に対応するレポートの例を示す図である。

【図4】撮影するまでの過程を検索する方法を例示する図である。

【図5】本発明の実施の形態２に係る荷電粒子ビーム装置の構成例を示す図である。

【図6】本発明の実施の形態３に係る荷電粒子ビーム装置の構成例を示す図である。

【図7】本発明の実施の形態４に係る荷電粒子ビーム装置の構成例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一の部材には原則として同一の符号を付し、その繰り返しの説明は省略する。
（実施の形態１）
＜荷電粒子ビーム装置の構成＞

【0014】

図１は、本発明の実施の形態１に係る荷電粒子ビーム装置の構成例を示す図である。本実施の形態に係る荷電粒子ビーム装置１００は、試料に対して荷電粒子ビームを照射する装置である。以下では、例えば走査電子顕微鏡（ＳＥＭ）のような、試料に対して荷電粒子ビームを照射することにより試料の観察画像を取得する装置を例として説明する。また、本実施の形態は、複数人での使用を想定している。ここでは、第１ユーザー１０１および第２ユーザー１０２が使用する場合を例に挙げて説明するが、３人以上でも使用可能である。

【0015】

荷電粒子ビーム装置１００は、画像取得装置１０３、第１入出力装置１１０、第２入出力装置１３０等を備えている。第１入出力装置１１０は、第１ユーザー１０１が使用する装置であり、第２入出力装置１３０は、第２ユーザー１０２が使用する装置である。画像取得装置１０３、第１入出力装置１１０、および第２入出力装置１３０は、互いに有線、無線、あるいはネットワーク（例えばインターネットや内部ネットワーク）で接続され、後述する会話原稿や会話意図、制御信号、撮影画像、撮影条件等の各種情報を相互に送受信可能である。なお、以下では、第１入出力装置１１０および第２入出力装置１３０を入出力装置と称する場合がある。

【0016】

画像取得装置１０３は、試料へ荷電粒子（例えば電子）を照射する荷電粒子銃（例えば電子銃）、荷電粒子の軌道を制御するレンズ、試料を載置するステージ、荷電粒子照射後に試料から放出される二次粒子等を検出する検出器、入出力装置との通信を行う通信インターフェース等（いずれも図示は省略）を備えている。画像取得装置１０３は、入出力装置から受信した制御信号に基づき、荷電粒子銃から荷電粒子を照射し、試料から放出される二次粒子を検出器で検出する。そして、画像取得装置１０３は、検出器で検出された二次電子に基づき、試料の観察画像を生成する。画像取得装置１０３は、生成した観察画像を入出力装置へ送信する。なお、画像取得装置１０３は、生成した観察画像を、画像取得装置１０３内の図示しない記憶装置へ記憶してもよい。

【0017】

第１入出力装置１１０および第２入出力装置１３０は、同様の構成を備えている。このため、第１入出力装置１１０を例に挙げて、入出力装置の構成の説明を行う。

【0018】

第１入出力装置１１０は、第１ユーザー１０１による入力操作を受け付け、入力操作に基づく制御信号を送信することで画像取得装置１０３の制御を行う。第１入出力装置１１０は、画像取得装置１０３が生成した観察画像や、画像取得装置１０３の状態を示す状態データ等の各種情報を画像取得装置１０３から受信する。第１入出力装置１１０は、第２入出力装置１３０との間で観察画像や観察画像を撮影するまでの過程を共有する。

【0019】

第１入出力装置１１０は、図１に示すように、スピーカー１１１、マイク１１２、指示解析部１１３、制御部１１４、履歴保持部１１５、差分解析部１１６、レポート保持部１１９、モニター１２０を備える。

【0020】

第１入出力装置１１０は、マンマシンのインターフェースであるマイク１１２、スピーカー１１１、モニター１２０を備えている。第１入出力装置１１０は、指示解析部１１３や差分解析部１１６の演算を行うＣＰＵ等のコンピュータ、履歴保持部１１５やレポート保持部１１９の機能を実現する記憶装置、画像取得装置１０３や実験に参加する他のユーザーの入出力装置との情報の送受信を行う通信インターフェースが必要である。そのため、入出力装置としては、例えば、スマートフォン、タブレット端末、パーソナルコンピュータ（ＰＣ）等の情報処理端末を用いることが可能である。情報処理端末のコンピュータでソフトウェアプログラムを実行することで、指示解析部１１３や差分解析部１１６等の機能ブロックが実現される。

【0021】

また、第１ユーザー１０１が使用する入出力装置１１０および第２ユーザー１０２が使用する入出力装置１３０は、同じ機能を備えている。ただし、これらの装置間で時刻の同期が行われる必要がある。

【0022】

マイク１１２は、第１ユーザー１０１が荷電粒子ビーム装置１００に対して指示した音声、および、第１ユーザー１０１と第２ユーザー１０２を含む他のユーザーとが議論した音声を取得する。マイク１１２は、取得した音声を音声データに変換し、音声データを指示解析部１１３へ出力する。このように、ユーザーの思考を含む情報が、音声データとして荷電粒子ビーム装置１００へ入力される。

【0023】

入力装置１２１は、例えばキーボードやマウス等、ユーザーの操作による原稿入力を行う装置である。入力装置１２１は、例えば、モニター１２０に表示されるソフトウェアキーボードでもよい。ソフトウェアキーボードは、マウスにより操作されてもよいし、タッチパネル機能を備えたモニター１２０により操作されてもよい。第１ユーザー１０１は、例えば、キーボード等を用いて指示入力領域２１５へ原稿を入力し、マウス等を用いて送信ボタン２１６をクリックすることで入力操作を行うことができる。このように、ユーザーは、マイク１１２を介した音声入力と、入力装置１２１によるテキストデータ等の入力の両方を用いて第１入出力装置１１０への入力操作を行うことができる。

【0024】

指示解析部１１３は、マイク１１２から入力されたユーザーが発した会話を解析し、会話から画像取得装置１０３に対する指示内容を抽出する。指示解析部１１３は、マイク１１２から入力された音声データに対する言語理解を行う。具体的に述べると、指示解析部１１３は、学習用会話（音声データ）とその会話の原稿である学習用原稿（文字列データ）とのペアを用いて学習した深層学習モデル（第１深層学習モデル）を用いて、第１ユーザー１０１の会話（音声データ）から、文字列データとしての会話原稿を生成する。ここで用いられる深層学習モデルは、例えば長・短期記憶（ＬＳＴＭ：Ｌｏｎｇ－Ｓｈｏｒｔ Ｔｅｒｍ Ｍｅｍｏｒｙ）であるが、これに限定されるものではない。

【0025】

次に、指示解析部１１３は、学習用原稿（文字列データ）と学習用原稿に対応する会話意図である学習用意図とのペアを学習した深層学習モデル（第２深層学習モデル）、例えば再帰型ニューラルネットワーク（ＲＮＮ：Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いて、深層学習モデルで生成された会話原稿から第１ユーザー１０１の会話意図を認識し生成する。このように、指示解析部１１３は、音声データに対する言語理解を行い、会話原稿および会話意図を制御部１１４および履歴保持部１１５へ出力する。

【0026】

制御部１１４は、指示解析部１１３における音声データに対する言語理解の処理結果に基づき、画像取得装置１０３を制御する。制御部１１４は、指示解析部１１３から入力される第１ユーザー１０１の会話意図に応じて画像取得装置１０３の制御信号を生成し、生成した制御信号を画像取得装置１０３へ送信する。

【0027】

制御部１１４は、制御信号による制御結果として、画像取得装置１０３から応答信号を受信する。制御部１１４は、受信した応答信号を、スピーカー１１１、履歴保持部１１５、差分解析部１１６、レポート保持部１１９へそれぞれ出力する。なお、制御部１１４は、応答信号に基づく信号を生成し、生成した信号を出力してもよい。

【0028】

応答信号の内容は、スピーカー１１１から音声により第１ユーザー１０１へ伝えられる。これにより、第１ユーザー１０１は、例えば、会話により指示した内容が画像取得装置１０３へ正確に伝わったか否かを確認することが可能となる。また、第１ユーザー１０１は、画像取得装置１０３に対し繰り返し指示する場合でも、指示を行う度に指示内容が伝わったか否かを確認することができ、手応えのある操作が可能となる。また、後述するように、制御部１１４は、各ユーザーの会話およびユーザーの指示に対する画像取得装置１０３の応答をモニターにテキスト表示するようにしてもよい。

【0029】

また、制御部１１４は、第１ユーザー１０１が発した会話の会話原稿および会話意図を、実験に参加する他のユーザーの入出力装置へ送信する。同様に、制御部１１４は、他のユーザーが発した会話の会話原稿および会話意図を、会話を発したユーザーの入出力装置から受信する。制御部１１４は、他のユーザーの会話原稿および会話意図を履歴保持部１１５へ出力する。

【0030】

制御部１１４は、第１入出力装置１１０と画像取得装置１０３との間の情報の送受信を行う通信インターフェースとしての機能も備えている。また、制御部１１４は、第１入出力装置１１０と第２入出力装置１３０との間の情報の送受信を行う通信インターフェースとしての機能も備えている。なお、通信インターフェース機能は、制御部１１４とは別体で設けられてもよい。なお、画像取得装置１０３と第２入出力装置１３０とで、それぞれ異なる通信インターフェースが用いられてもよい。

【0031】

制御部１１４は、例えばＣＰＵ等のコンピュータでソフトウェアプログラムを実行することで第１入出力装置１１０の各機能ブロックを実現する。あるいは、入出力装置１１０の機能ブロックの一部は、ハードウェアで構成されてもよい。

【0032】

履歴保持部１１５は、指示解析部１１３から入力される第１ユーザー１０１の会話原稿および会話意図、制御部１１４から入力される応答（例えばコマンド形式の応答信号）および他のユーザーの会話原稿および会話意図等を履歴情報として記録する。このとき、履歴保持部１１５は、会話原稿、会話意図および応答信号を、会話を発したユーザーのユーザーＩＤおよび会話を行った時刻と関連付けて記録する。すなわち、履歴情報には、会話を発したユーザーのユーザーＩＤおよび会話を行った時刻も含まれる。

【0033】

履歴保持部１１５およびレポート保持部１１９は、記憶装置を備えている。記憶装置は、例えばフラッシュメモリ等の不揮発性メモリでもよいし、ＳＲＡＭやＤＲＡＭ等の揮発性メモリでもよい。

【0034】

差分解析部１１６は、ユーザーが撮影画像を保存する意図を含む指示を行ったタイミングを境界としてレポート作成期間を分割する。差分解析部１１６には、履歴保持部１１５に記録されている履歴情報、および制御部１１４から出力される撮影画像１１７および撮影条件１１８が入力される。差分解析部１１６は、今回のレポート作成期間における撮影条件と、前回のレポート作成期間における撮影条件とを比較し、前回のレポート作成期間と今回のレポート作成期間との間における撮影条件の共通条件および差分条件を抽出する。差分解析部１１６は、レポート作成期間ごとに分割された履歴情報、履歴情報に対応する撮影画像１１７および差分条件等を互いに関連付けた情報をレポート作成情報としてレポート保持部１１９へ出力する。なお、撮影条件の共通条件は、別途レポート保持部１１９へ出力される。

【0035】

撮影画像１１７は、画像取得装置１０３が保存した複数枚の画像である。撮影条件１１８は、画像取得装置１０３が撮影画像１１７を保存した際、画像取得装置１０３に設定されている制御値やセンサーから得られる計測値等の条件である。

【0036】

レポート保持部１１９は、差分解析部１１６から入力されるレポート作成情報および撮影条件の共通条件を用いてレポートを作成し、記録する。その際、レポート保持部１１９は、後述するレポート書き出しの指示があった際、レポートがスムーズに表示されるように、モニター１２０等で閲覧可能な形式にした上でレポートを記録することが望ましい。また、レポート保持部１１９は、レポートの各項目に対し表示／非表示を動的に切り換えられるよう、バックデータもレポート作成情報に関連付けて記録する。

【0037】

第１ユーザー１０１は、第１入出力装置１１０のモニター１２０に出力され、表示されるレポートを閲覧することができる。また、紙媒体への印刷が可能なプリンターにレポートが出力、印刷されてもよい。
＜入出力装置の操作画面＞

【0038】

次に、入出力装置に表示される操作画面について説明する。また、入出力装置および画像取得装置の動作例についても説明する。

【0039】

図２は、図１の入出力装置の操作画面の一例を示す図である。ここでは、主に第１入出力装置１１０に表示される操作画面について説明するが、必要に応じて、第２入出力装置１３０に適用した場合についての説明を行う場合がある。

【0040】

図２に示すように、操作画面２００は、モニター１２０に表示され、会話表示領域２０１、指示入力領域２１５、送信ボタン２１６、観察画像表示領域２２０、条件表示領域２２１、ログイン/ログアウトボタン２３０、ミュートボタン２３１、レポート書き出しボタン２３２、レポート読み込みボタン２３４を含む。

【0041】

会話表示領域２０１には、荷電粒子ビーム装置１００のユーザーの会話（会話原稿）、およびユーザーの指示に対する画像取得装置１０３からの応答（応答信号）に対応するテキストが表示される。

【0042】

第１ユーザー１０１から音声による入力があった場合、会話表示領域２０１には、第１ユーザー１０１のアカウント名２０２と、入力された第１ユーザー１０１の会話の吹き出し２０３とが、互いに関連付けられ１セットで表示される。吹き出し２０３の内容は、指示解析部１１３から出力される第１ユーザー１０１の会話原稿をテキスト表示したものである。

【0043】

実験に参加しているユーザーは、後述する観察画像表示領域２２０に表示された観察画像、および条件表示領域２２１に表示された撮影画像の撮影条件を参照しながら、画像取得装置１０３に対する指示を会話により行う。

【0044】

図２の例では、吹き出し２０３の会話は「光軸を合わせて」となっている。指示解析部１１３は、マイク１１２から入力される音声から第１ユーザー１０１の会話原稿を生成し、生成した会話原稿を制御部１１４へ出力する。制御部１１４は、入力された会話原稿をモニター１２０へ出力し、モニターは、入力された会話原稿を操作画面２００の会話表示領域２０１の左側に表示する。

【0045】

また、制御部１１４は、入力された会話原稿を、第２入出力装置１３０へ送信する。第２入出力装置１３０の制御部は、受信した第１ユーザー１０１の会話原稿をモニターへ出力し、モニターは、入力された会話原稿を操作画面の会話表示領域に表示する。このように、実験に参加している参加者のそれぞれの入出力装置には、すべてのユーザーの会話がリアルタイムで表示され、画像取得装置１０３への指示内容が共有できるようになっている。

【0046】

また、画像取得装置１０３は、第１入出力装置１１０だけでなく、実験に参加しているすべてのユーザーの入出力装置へ応答信号を送信する。これにより、すべてのユーザーの入出力装置に、ユーザーの指示に対する画像取得装置１０３の応答内容が表示される。

【0047】

アカウント名２０２は、第１ユーザー１０１を特定するＩＤを文字列で表示したものであり、例えば図２では「参加者Ａ」と表示されている。なお、アカウント名２０２、吹き出し２０３とともに、音声が入力された時刻が併せて表示されてもよい。

【0048】

また、指示解析部１１３は、吹き出し２０３の会話「光軸を合わせて」から、この会話が、画像取得装置１０３への指示であることを認識し、この会話の会話意図を抽出して制御部１１４へ出力する。制御部１１４は、指示解析部１１３から入力された会話意図に基づき生成した制御信号を画像取得装置１０３へ送信する。

【0049】

図２の吹き出し２０４は、第１ユーザー１０１からの指示「光軸を合わせて」に対する画像取得装置１０３からの応答をテキスト化したものである。画像取得装置１０３は、制御信号に対する応答信号を、第１入出力装置１１０の制御部１１４へ送信する。制御部１１４は、受信した応答信号をモニター１２０へ出力し、モニターは、入力された応答信号に対応するテキストを、ユーザーの指示に対する応答として、会話表示領域２０１の右側に表示する。

【0050】

また、画像取得装置１０３は、第１入出力装置１１０だけでなく、実験に参加しているすべてのユーザーの入出力装置へ応答信号を送信する。これにより、すべてのユーザーの入出力装置に、各ユーザーの指示に対する画像取得装置１０３の応答内容が表示される。

【0051】

なお、吹き出し２０４に対応するアカウント名として、図２では「音声操作システム」と表示されているが、画像取得装置１０３の応答であることがユーザーに認識されるものであれば、これ以外の表記でも構わない。

【0052】

吹き出し２０４の応答は、「アライメントします」となっている。このように、「光軸を合わせて」という第１ユーザー１０１の指示に対し、画像取得装置１０３は、光軸の「アライメント」を行うと応答している。この後、図２には示されていないが、画像取得装置１０３は、光軸のアライメントを行い、アライメント後の撮影画像をすべてのユーザーの入出力装置へ送信する。

【0053】

その後、第１ユーザー１０１は、吹き出し２０５の会話により、倍率を上げて撮影するよう画像取得装置１０３へ指示する。画像取得装置１０３は、倍率を上げて撮影することを応答し、この応答が吹き出し２０６として表示される。画像取得装置１０３は、変更した倍率で撮影した撮影画像および変更した撮影条件をそれぞれの入出力装置へ送信する。そして、このタイミングで、レポートが作成される。このレポートには、吹き出し２０３～２０６の会話、吹き出し２０３、２０５の会話による指示に対応する会話意図、吹き出し２０５の会話の指示により取得した撮影画像、そのときの撮影条件、差分条件、および共通条件等が含まれる。

【0054】

第１ユーザー１０１および第２ユーザー１０２が、それぞれの入出力装置に表示される撮影画像を見ながら、第１ユーザー１０１は、吹き出し２０７の会話により、新たな撮影画像についての見解を第２ユーザー１０２に質問している。吹き出し２０７の会話「どうですか？」は、画像取得装置１０３への指示を行うものではないため、指示解析部１１３は、会話原稿のみを作成し、会話意図の作成は行わない。

【0055】

また、吹き出し２０７の会話に対し、第２ユーザー１０２は、吹き出し２０８の会話において、「内部の構造をもう少しはっきりさせたい」旨の見解を述べている。吹き出し２０８の会話「内部の構造をもう少しはっきりさせたいです。」についても、画像取得装置１０３への指示を行うものではないため、第２入出力装置１３０の指示解析部は、会話原稿のみを作成し、会話意図の作成は行わない。

【0056】

そして、第２ユーザー１０２は、吹き出し２０９の会話において、「明るさを調整してもう一度保存して」との指示を行っている。第２入出力装置１３０の指示解析部は、吹き出し２０９の会話に対応する会話原稿および会話意図を作成し出力する。

【0057】

吹き出し２０９の会話による指示に対し、画像取得装置は、吹き出し２１０の応答において、明るさを調整して撮影する旨応答する。そして、画像取得装置１０３は、明るさを調整した撮影画像を取得し、撮影画像および撮影条件をそれぞれの入出力装置へ送信する。

【0058】

そして、このタイミングで、レポートが再度作成される。このレポートには、吹き出し２０７～２１０の会話、吹き出し２０９の会話による指示に対応する会話意図、吹き出し２０９の会話の指示により取得した撮影画像、そのときの撮影条件、差分条件、および共通条件等が含まれる。

【0059】

なお、ここまでは、ユーザーが発する会話に基づき会話原稿および会話意図が作成される場合について説明したが、キーボード等の入力装置１２１（ソフトウェアによるものも含む）を用いて指示入力領域２１５へ原稿を入力し、送信ボタン２１６で指示することで、ユーザーから音声による入力があったものとしてもよい。この場合、ユーザーにより入力された入力原稿が会話原稿となり、指示解析部１１３は、この入力原稿に基づき会話意図を作成する。すなわち、この場合、指示解析部１１３は、会話原稿を作成しなくてもよい。

【0060】

観察画像表示領域２２０には、画像取得装置１０３が取得した撮影画像が観察画像としてリアルタイムに表示される。第１ユーザー１０１および第２ユーザー１０２は、この観察画像を参照しながら、ユーザー同士の会話や、画像取得装置１０３への指示を行う。

【0061】

条件表示領域２２１には、画像取得装置１０３に設定されている撮影画像の撮影条件、すなわち試料の観察条件が表示される。条件表示領域２２１には、撮影画像の撮影条件として、例えば図２に示すような制御値やセンサーから得られる計測値の条件等が表示される。第１ユーザー１０１、もしくは第２ユーザー１０２は、これらの条件を元に次に設定すべき条件を判断し、音声または入力装置からの原稿入力により画像取得装置へ指示を行う。

【0062】

撮影条件には、図２に示すように、例えば、撮影倍率、加速電圧、ワーキングディスタンス（ＷＤ）、検出信号、ステージの位置（Ｘ、Ｙ）等が含まれる。ここで、検出信号としては、例えば、二次電子（ＳＥ）、反射電子、Ｘ線、オージェ電子、解析コントラスト、Ｚコントラスト、収束イオンビーム等が挙げられる。

【0063】

ログイン／ログアウトボタン２３０は、ユーザーＩＤを入力するためのウィンドウを開くボタンである。ユーザーＩＤの入力時、必要に応じて、パスワードの入力が要求されてもよい。また、複数ユーザーが実験に参加する場合、このウィンドウに、お互いのユーザーの入出力装置を連携させるための連携情報を入力できるようにしてもよい。連携情報としては、例えば、あるサーバーで管理されている固有の会議名や接続先のＩＰアドレスのリスト等が挙げられる。

【0064】

ミュートボタン２３１は、音声信号の取得をオフにするボタンである。ミュートボタン２３１を設けることで、実験に関係のない音声信号が処理されてしまうことを防止することができる。この場合、会話の入力を行わないときだけ、ボタンがオンされることとなる。また、ミュートボタン２３１は、会話の入力を開始するボタンに変更されても構わない。この場合、会話の入力をするときだけこのボタンがオンされることとなる。

【0065】

また、人工知能を用いたスピーカー（ＡＩスピーカー）のように、キーワードで会話の入力のオン／オフを切り換えるようにしてもよい。この場合でも、ミュートボタン２３１や会話の入力を開始するボタンが設けられても構わない。

【0066】

レポート書き出しボタン２３２は、レポート保持部１１９に記録されたレポートの出力を実行するボタンである。レポート書き出しボタン２３２が押下されると、レポートが、モニター１２０で閲覧可能な形式で表示される。また、レポートがプリンターから印刷されてもよい。レポートが閲覧可能な形式でレポート保持部１１９に記録されることで、ユーザーが日常行うレポート作成や大量のレポートからの情報収集等の負担が低減される。

【0067】

レポート読み込みボタン２３４は、すでに生成されたレポートを用いて実験を行うために用いられるボタンである。レポート読み込みボタン２３４が押下されると、レポート保持部１１９に記録されたレポートを読み出す。また、レポートを読み出すとき、まず、レポートの一覧表がモニター１２０に表示されるようにし、一覧表からユーザーが選択したレポートのみが読み出されるようにしてもよい。

【0068】

ユーザーが選択したレポートに含まれる共通条件および差分条件のうち、例えば、制御部１１４は、最も新しい撮影条件を抽出し、抽出した撮影条件を画像取得装置１０３に一括して設定する。また、差分条件については、レポートに含まれる複数の条件から適宜選択できるようにしてもよい。これにより、実験を一旦中断しても、その際のレポートさえ保持していれば、同じ条件で実験を再開することが可能となる。

【0069】

また、レポートに記載されたデータの妥当性が問われた際には、レポート読み込みボタン２３４を押下することにより、該当のレポートを読み出し、読み出したレポートを参照することにより、同一の撮影条件での再観察が可能となる。これにより、同様の観察画像が得られれば、データの妥当性を証明することができる。あるいは、データが妥当か否かを判断できなかった原因となる不足データを後から取得することが可能となる。
＜作成されるレポートの例＞

【0070】

次に、本実施の形態で作成されるレポートの例について説明する。図３は、図２に対応するレポートの例を示す図である。図３のレポートＲＥＰには、タイトル記載領域３０１、コメント挿入ボタン３０２、保存ボタン３０３、共通条件記載領域３１０、第１データセット記載領域３２０、第２データセット記載領域３３０等を備える。

【0071】

タイトル記載領域３０１は、ユーザーにより入力される実験のタイトルが表示される。また、ユーザーは、実験日時等、実験を特定する情報を必要に応じて追記することができる。これにより、実験レポートの可読性や検索性を向上させることが可能となる。

【0072】

コメント挿入ボタン３０２は、実験時に不足した項目の追加や、誤記の訂正等を目的として、レポートＲＥＰにテキストや音声データを挿入する際に用いられるボタンである。

【0073】

保存ボタン３０３は、出力されたレポートを編集した場合、編集済みのレポートをレポート保持部１１９へ保存する際に用いられるボタンである。これにより、実験後にデータ整理を行った場合であっても、レポート保持部１１９でレポートを一元管理することが可能となる。

【0074】

共通条件記載領域３１０は、撮影条件のうち共通条件を表示する領域である。共通条件記載領域３１０には、レポートの共通条件に含まれる各項目が表示される。ただし、共通条件編集ボタン３１１を押下することにより、共通条件として表示すべき項目が、実験ごとに選択されるようにしてもよい。例えば、元素分析のためにＥＤＳ分析を実施する試料では、ＥＤＳ分析を実施しない試料とは異なり、照射電流を共通条件として表示する場合があり得る。

【0075】

第１データセット記載領域３２０は、第１撮影画像３２１を表示する。また、第１撮影画像３２１が他の撮影画像と比べて異なる事項を説明する情報として、第１撮影画像３２１付近に（図３では、撮像画像の直下）、差分解析部１１６により抽出される第１差分条件３２２が表示される。第１撮像画像３２１には、第１削除ボタン３２３が表示されている。第１削除ボタン３２３が押下されると、第１データセット記載領域３２０がレポートから削除される。その際、一部の表示内容は、第２データセット記載領域３３０と統合されるようにしてもよい。

【0076】

さらに、第１データセット記載領域３２０は、第１撮影画像３２１がどのような意図、経緯および手順で取得されたかを一覧にして示す第１撮影過程３２４を表示する。第１撮影過程３２４には、差分解析部１１６により、撮影画像３２１を保存したタイミング境界として分割された履歴が示されている。第１撮影過程３２４は、例えば、図３に示すように、会話を発した（記録された）時刻、会話を発したユーザーのユーザーＩＤ、会話原稿、会話による画像取得装置１０３への操作等が含まれる。

【0077】

また、これら以外にも、第１撮影過程３２４として、画像取得装置１０３の応答、それぞれの入出力装置における指示解析部や差分解析部の途中出力、所望の計測値等の項目等が表示されてるようにしてもよい。

【0078】

第２データセット記載領域３３０は、第１データセット記載領域３２０と同様に、第２撮影画像３３１、第２差分条件３３２、第２撮影過程３３４を表示する。第２撮像画像３３１には、第２削除ボタン３３３が表示される。

【0079】

図３のレポートＲＥＰによれば、△年〇月×日の実験では、３００００倍で同じ視野のコントラストが違う２枚の画像が撮影されている。図３のレポートによれば、参加者Ａと参加者Ｂが実験に参加しており、内部の構造のコントラストを向上するために明るさを調整した意図と、第１撮影画像３２１の画質に参加者Ｂが納得しなかったという経緯も読み取ることが可能である。なお、レポートには、所定の要件を満たさず、再度撮影が行われた場合、第１データセット記載領域３２０の内容をレポートに含めなくてよい。

【0080】

第１削除ボタン３２３が押下されると、第１撮影画像３２１および第１差分条件３２２はレポートＲＥＰから消去される。なお、第１撮影過程３２４は、第２撮影画像３３１を得るまでの過程が含まれているので、第２撮影過程３３４に統合されるようにしてもよい。

【0081】

また、第２差分条件３３２に表示されている「コントラスト：＋１」は、第１撮影画像３２１と第２撮影画像３３１との間で変更された撮影条件を抽出したものである。このため、第１データセット記載領域３２０が消去されると、変更された撮影条件として抽出されなくなるため、第２差分条件３３２は空欄になっても構わない。
＜撮影するまでの過程の検索＞

【0082】

図４は、撮影するまでの過程を検索する方法を例示する図である。図４に例示する検索画面４００は、検索内容入力部４０１、検索ボタン４０２、撮影過程４０３、ハイライト４０４、撮影画像４０５、選択ボタン４０６、ＯＫボタン４０７、Ｃａｎｃｅｌボタン４０８を備えている。

【0083】

ここでは、参加者Ａ（第１ユーザー１０１）は、試料Ａ、試料Ｂ、試料Ｃを観察する実験に参加しているが、初めて観察する試料Ｄの撮影条件をどのように設定すべきかの知見がないため、撮影するまでの過程を検索する機能を使用して撮影条件の設定を行うことになったものとする。

【0084】

まず、参加者は、ユーザー検索内容入力部４０１に、観察の目的である「試料Ｄについて、ミリングで切り出した断面にあるメッキ加工内部の構造を観察します。」と入力して、検索ボタン４０２を押下する。

【0085】

レポート保持部１１９に記録された会話の原稿には、目的の観察画像を得るまでの思考や議論した内容等が含まれているため、例えば制御部１１４は、ここで入力された観察の目的を検索キーワードとして、レポート保持部１１９に記録されたレポートを検索し、検索キーワードと類似する文章を抽出する。

【0086】

検索画面４００には、検索結果として、例えば、検索キーワードと一致または類似する会話原稿を含む撮影過程４０３が表示される。また、撮影過程４０３では、検索キーワードと一致または類似した箇所がハイライト４０４で表示される。図４では、ハイライト４０４をハッチングで示しているが、ハッチングの代わりに色で目立たせることで、ハイライト４０４を実現することもできる。そして、検索画面４００には、検索で抽出された撮影過程４０３に対応する撮影画像４０５が撮影過程４０３と並べて表示される。

【0087】

図４では、検索により抽出された３つのレポートのデータセットが列挙されている。これらのデータセットのうち、参加者Ａは、初めて観察する試料Ｄについて適切と判断したデータセットを選択ボタン４０６で選択し、ＯＫボタン４０７が押下する。そして、制御部１１４は、選択されたデータセットの共通条件、および差分条件をレポート保持部１１９から取得し、取得したこれらの条件を画像取得装置１０３に設定する。

【0088】

なお、検索結果に適切と判断できるデータセットが含まれていない場合、Ｃａｎｃｅｌボタン４０８が押下されることで、画像取得装置１０３の条件を変更することなく、試料Ｄの観察を開始することが可能である。

【0089】

図４の検索結果は、いずれも内部構造をとらえるために撮影条件が満足に設定された例が示されている。その中でも、参加者Ａは、メッキ加工と同じ金属であるホール内側の構造をとらえた上から２段目の条件が適切であると判断し、上から２段目のデータセットを選択し、ホール内部が対応する撮影画像のように取得できた条件で観察を開始する。

【0090】

このように、レポート読み込みボタン２３４からすべてのレポートを読み出し、選択したレポートのデータセットから撮影条件を設定して実験を再開するのではなく、現在の観察目的とレポート保持部１１９に記録された撮影するまでの過程から、類似する条件を検索して、撮影条件を画像取得装置１０３に設定することで、短時間で撮影条件を設定することが可能である。

【0091】

また、例えば、図３のレポートＲＥＰのタイトル記載領域３０１やコメントに、将来の検索に有用なキーワード等の情報を意図的に記載しておくことで、観察目的に合致するレポートが抽出されるようにしてもよい。
＜本実施の形態による主な効果＞

【0092】

本実施の形態によれば、指示解析部１１３は、ユーザーが発した会話を文字列データ化した会話原稿を生成し、会話原稿から画像取得装置に対する指示を含むユーザーの会話意図を認識する。そして、履歴保持部１１５は、会話原稿、会話意図、および画像取得装置１０３に対する指示に対する画像取得装置１０３からの応答を履歴情報として記録する。そして、差分解析部１１６は、ユーザーが、画像取得装置１０３に対し撮影画像を保存する意図を含む指示を行ったタイミングを境界としてレポート作成期間を分割し、今回の撮影画像を保存する意図を含む指示を行ったタイミングにおける撮影条件と、前回の撮影画像を保存する意図を含む指示を行ったタイミングにおける撮影条件とを比較し、前回のレポート作成期間と今回のレポート作成期間との間における撮影条件の共通条件および差分条件を抽出する。そして、差分解析部１１６は、レポート作成期間ごとに分割された履歴情報、履歴情報に対応する撮影画像および差分条件を関連付けたレポート作成情報を出力する。そして、レポート保持部１１９は、レポート作成情報に基づき、レポート作成期間ごとのレポートを作成し、作成したレポートを記録する。

【0093】

この構成によれば、各レポートに、会話の内容、撮像画像、撮像条件等が含まれている。これにより、このレポートを参照することで実験を容易に再現することができるので、観察画像の妥当性を容易に担保することが可能となる。また、観察画像の妥当性が問われた際、撮影するまでの操作やそこに至るまでの会話等が記録されているため、再現実験が可能なことはもちろん、明瞭な説明が可能なり、観察画像の妥当性を容易に示すことができる。

【0094】

また、本実施の形態によれば、指示解析部１１３は、学習用会話と学習用会話の原稿である学習用原稿とのペアを用いて学習した第１深層学習モデルを用いて、ユーザーが発した会話から会話原稿を生成する。この構成によれば、深層学習モデルを用いてユーザーが発した会話を理解することが可能である。

【0095】

また、本実施の形態によれば、第１深層学習モデルは、長・短期記憶である。この構成によれば、既存の技術を好適に本実施の形態の荷電粒子ビーム装置に適用することが可能となる。

【0096】

また、本実施の形態によれば、指示解析部１１３は、学習用原稿と学習用原稿に対応する会話意図である学習用意図とのペアを学習した第２深層学習モデルを用いて第１深層学習モデルで生成された会話原稿からユーザーの会話意図を認識する。この構成によれば、深層学習モデルを用いてユーザーが発した会話に含まれる会話意図を認識することが可能である。

【0097】

また、本実施の形態によれば、第２深層学習モデルは、再帰型ニューラルネットワークである。この構成によれば、既存の技術を好適に本実施の形態の荷電粒子ビーム装置に適用することが可能となる。

【0098】

また、本実施の形態によれば、複数の入出力装置が設けられ、複数のユーザーがそれぞれ異なる入出力装置を使用し、それぞれのユーザーの入出力装置には、実験に参加するすべてのユーザーが発した会話が表示される。この構成によれば、離れた場所にいる場合であっても、複数のユーザーが実験内容を共有することが可能となる。また、実験を効率的に進めることが可能となる。

【0099】

また、本実施の形態によれば、制御部１１４は、レポート保持部１１９に記録されたレポートを読み出し、読み出したレポートに対応する撮影条件を画像取得装置１０３に設定する。この構成によれば、再現実験を容易に行うことが可能となる。
（実施の形態２）

【0100】

次に、実施の形態２について説明する。図５は、本発明の実施の形態２に係る荷電粒子ビーム装置の構成例を示す図である。図５に示すように、本実施の形態では、１つの入出力装置を複数のユーザーが使用する。図５の入出力装置５１０は、図１の入出力装置１１０に話者認識部５０１が追加された構成となっている。

【0101】

話者認識部５０１は、マイク１１２と接続され、マイク１１２から入出力装置５１０に会話を入力した話者を認識する。話者認識部５０１は、話者認識により会話を発した話者を認識（識別、認証）し、認識した話者のアカウント情報５０２を履歴保持部１１５へ出力する。

【0102】

話者認識を行う場合、話者認識部５０１は、ログイン／ログアウトボタン２３０（図２）によるログイン時に、話者認識に必要な学習情報を読み込んでおく。話者認識部５０１は、読み込んだ情報を用いて、ユーザーの声に含まれる特徴を事前に学習する。あるいは、話者認識部５０１は、マイク１１２から入力される音声信号を予め学習した深層学習モデルを用いてもよい。

【0103】

そして、話者認識部５０１は、ユーザー（話者）とアカウント情報５０２とを対応付ける対応情報を参照し、話者認識で特定したユーザーのアカウント情報５０２を取得する。そして、話者認識部５０１は、取得したアカウント情報５０２を履歴保持部１１５へ出力する。この場合、１つのマイクを複数のユーザーが共用する場合でも、話者を特定することが可能である。

【0104】

履歴保持部１１５は、指示解析部１１３から入力された会話原稿および会話意図と、話者認識部５０１から入力されたアカウント情報５０２とを関連付けて記録する。ユーザー（話者）とアカウント情報５０２とを対応付ける対応情報は、入出力装置５１０内の記憶装置に記録される。

【0105】

一方、本実施の形態でも、ユーザーごとのマイクが設けられてもよい。例えば、１つのユーザーＩＤにつき、１つのマイク１１２が割り当てられる。この場合、図２のログイン／ログアウトボタン２３０によるログイン時に、ユーザーごとのマイク１１２を特定するデバイス情報が指定される。これにより、話者認識部５０１は、会話が入力されたマイクを検出することで、話者を認識することが可能である。また、話者認識部５０１は、各マイクからの入力に対する話者認識を行ってもよい。これにより、ユーザーが事前登録したものとは異なるマイクから会話を入力した場合でも、正確に話者を特定することが可能である。

【0106】

本実施の形態によれば、１つの入出力装置１１０を複数のユーザーが使用する。そして、入出力装置１１０は、会話を発したユーザーを認識する話者認識部５０１を備えている。この構成によれば、必要なハードウェアを共有できることにより、入出力装置に要するスペースおよびコストを低減させることが可能となる。

【0107】

また、本実施の形態によれば、複数の入出力装置を使用しないため、それらを連動させるための構成が不要となる。
（実施の形態３）

【0108】

次に、実施の形態３について説明する。図６は、本発明の実施の形態３に係る荷電粒子ビーム装置の構成例を示す図である。図６の入出力装置６１０は、図１の入出力装置１１０にルーティン抽出部６０１が追加された構成となっている。

【0109】

ルーティン抽出部６０１は、レポート保持部１１９から複数のレポートを読み出し、読み出した複数のレポートから、複数の実験で共通に行われている操作を抽出する。

【0110】

ルーティン抽出部６０１は、複数のレポートから共通で行われている操作を抽出すると、抽出した操作にルーティンキーワード６０２を割り当て、指示解析部１１３に登録する。また、ルーティン抽出部６０１は、ルーティンキーワード６０２に対応する操作に含まれるコマンドをルーティンコマンド６０３として生成する。さらに、ルーティン抽出部６０１は、ルーティンキーワード６０２と、ルーティンコマンド６０３と、を制御部１１４へ出力する。制御部１１４は、入力されたルーティンキーワード６０２および対応するルーティンコマンド６０３を関連付け、記憶装置に１セットで登録する。

【0111】

なお、１つのルーティンキーワードに対応するルーティンコマンド６０３は１つとは限らない。１つのルーティンキーワードに複数のコマンドからなるコマンドセットが対応する場合がある。

【0112】

登録されたルーティンキーワード６０２がユーザーから入力されると、指示解析部１１３は、入力されたルーティンキーワード６０２を制御部１１４へ出力し、制御部１１４に対しルーティンコマンド６０３を実行するように指示する。

【0113】

制御部１１４は、指示解析部１１３から入力されたルーティンキーワード６０２を用いて、このルーティンキーワード６０２に対応するルーティンコマンド６０３を検索する。制御部１１４は、検索条件と一致したルーティンコマンドを実行し、画像取得装置１０３を制御する。

【0114】

例えば、ユーザーは、実験前に必ず自動光軸調整と自動フォーカス調整を行っており、試料によってはワーキングディスタンス（ＷＤ）を短くして、試料を観察している。このような場合、ルーティン抽出部６０１は、複数のレポートから、例えば「いつもの」というルーティンキーワード６０２を抽出し、抽出したルーティンキーワード６０２に対し、少なくとも自動光軸調整、および自動フォーカス調整の各コマンドを含むコマンドセットをルーティンコマンド６０３として生成する。

【0115】

ユーザーが、実験開始前に、「いつもの」を音声で入力することにより、画像取得装置１０３は、自動光軸調整と自動フォーカス調整を実行する。

【0116】

本実施の形態によれば、ルーティン抽出部６０１は、複数のレポートから共通で行われている操作を抽出すると、抽出した操作にルーティンキーワード６０２を割り当て、ルーティンキーワード６０２を指示解析部１１３に登録する。そして、ルーティン抽出部６０１は、抽出した操作に含まれるコマンドをルーティンコマンド６０３として生成する。この構成によれば、ユーザーがルーティンで行っている作業を抽出して、実行することで、実験時における人為的ミスの発生を防止し、作業の煩雑さを低減させることが可能となる。
（実施の形態４）

【0117】

次に、実施の形態４について説明する。図７は、本発明の実施の形態４に係る荷電粒子ビーム装置の構成例を示す図である。図７の入出力装置７１０は、図１の入出力装置１１０にカメラ７０１および感情検知部７０２が追加され、履歴保持部１１５および差分解析部が削除された構成となっている。

【0118】

表情、しぐさ、視線や声等、人間が自然に表出するデータを基に感情を推定する感情推定技術において、深層学習が有効であることは一般的に知られている。

【0119】

カメラ７０１は、第１ユーザー１０１の表情を含む表情画像７０５を取得し、取得した表情画像７０５を感情検知部７０２へ出力する。第１ユーザー１０１の声からも感情を検知するために、マイク１１２の出力を感情検知部７０２に入力する。感情検知部７０２は、予め特徴を学習した深層学習モデルを用いて、カメラ７０１から入力される表情画像７０５とマイク１１２を介して入力される第１ユーザー１０１の音声の情報の少なくともいずれかに基づき、第１ユーザー１０１の感情を検知する。

【0120】

感情検知部７０２は、例えば、表情画像７０５やユーザーが発した会話からユーザーの感情を検知する。感情検知部７０２は、例えば、ユーザーの「喜び」や「驚き」等の感情を検知した場合、それぞれの感情に対応する信号を指示解析部１１３や制御部１１４へ出力する。感情検知部７０２は、指示解析部１１３に音声７０４を出力し、制御部１１４に撮影指示７０３を出力する。また、感情検知部７０２は、入力された表情画像７０５をレポート保持部１１９へ出力する。

【0121】

指示解析部１１３は、入力された音声７０４から、ユーザーの感想７０６を抽出し、抽出した感想７０６をレポート保持部１１９へ出力する。また、指示解析部１１３は、これまでの実施の形態と同様、会話原稿を生成し、レポート保持部１１９へ出力してもよい。

【0122】

レポート保持部１１９は、感情検知部７０２から入力された表情画像７０５、指示解析部１１３から入力された感想７０６、制御部１１４から入力される撮影画像１１７、撮影条件１１８を関連付けたレポートを作成する。レポートは、閲覧可能な形式でレポート保持部１１９に記録される。

【0123】

本実施の形態のレポートは、例えば、ユーザーが感動した際に観察していた観察画像と、その時のユーザーの様子（表情や感想）が含まれる。具体的には、本実施の形態のレポートは、荷電粒子ビーム装置を使用した試料の観察が、児童の自由研究におけるテーマとなった場合が想定される。このときのレポートには、実験結果および感想が求められるものとする。レポートの読み手として、学校の先生や保護者等を想定した場合、児童がどのような観察画像を見て、どのような感想を持ったか、あるいは、実験時の児童の様子に関心を持つと考えられる。

【0124】

本実施の形態によれば、例えば、児童が関心を示した観察画像および感想等の発言した内容、実験時の様子が分かる表情画像をレポートとして自動で記録することが可能となる。また本実施の形態のレポートは、先生や保護者へ児童の自由研究の結果を伝えるための資料として、もしくは、児童が作成するレポートの前資料として活用することができる。

【0125】

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は前記実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能である。例えば、前述した実施の形態は、本発明を分かり易く説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施の形態の構成の一部を他の実施の形態の構成に置き換えることが可能であり、また、ある実施の形態の構成に他の実施の形態の構成を加えることも可能である。また、各実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【0126】

これらは全て本発明の範疇に属するものであり、さらに文中や図中に現れる数値やメッセージ等もあくまで一例であり、異なるものを用いても本発明の効果は損なわれることはない。

【符号の説明】

【0127】

１００…荷電粒子ビーム装置、１０３…画像取得装置、１１０、１３０、５１０、６１０、７１０…入出力装置、１１３…指示解析部、１１４…制御部、１１５…履歴保持部、１１６…差分解析部、１１９…レポート保持部、５０１…話者認識部、６０１…ルーティン抽出部、７０１…カメラ、７０２…感情検知部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】