特開 2022-36622 組織構造評価システムおよびサンプル画像撮像方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022036622

(43)【公開日】2022-03-08

(54)【発明の名称】組織構造評価システムおよびサンプル画像撮像方法

(51)【国際特許分類】

   H01J 37/28 20060101AFI20220301BHJP

   G06T 7/00 20170101ALI20220301BHJP

   G06T 1/00 20060101ALI20220301BHJP

   H01J 37/22 20060101ALI20220301BHJP

【ＦＩ】

H01J37/28 B

G06T7/00 300F

G06T1/00 430B

H01J37/22 502H

H01J37/22 502C

【審査請求】未請求

【請求項の数】15

【出願形態】ＯＬ

(21)【出願番号】P 2020140923

(22)【出願日】2020-08-24

(71)【出願人】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテク

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール特許業務法人

(72)【発明者】

【氏名】倉田 明佳

(72)【発明者】

【氏名】多持 隆一郎

【テーマコード（参考）】

5B047

5C033

5L096

【Ｆターム（参考）】

5B047AA30

5B047BB06

5B047BC04

5B047CA01

5B047CA17

5B047CB15

5B047CB21

5B047DA01

5C033UU05

5L096CA04

5L096FA02

5L096FA32

5L096GA51

5L096JA11

5L096KA04

(57)【要約】

【課題】撮像装置に起因する変動をサンプル画像から検出可能な組織構造評価システムを提供する。
【解決手段】組織構造評価装置１０は、撮像装置１によりサンプル４上の観察視野を変えながら撮像した撮像画像から第１の特徴量を抽出する特徴量抽出部１３と、第１の特徴量の長期変動を算出し、長期変動が所定の基準を超える場合には、長期変動の発生前の位置に観察視野を戻して再撮像して再撮像画像を取得し、長期変動の発生前の位置での撮像画像の第１の特徴量と再撮像画像の第１の特徴量との差を算出する変動評価部１４とを備え、変動評価部は、差が所定の閾値未満である場合には長期変動はサンプルに起因する変動であると判定し、差が所定の閾値以上である場合には長期変動は撮像装置に起因する変動であると判定する。
【選択図】図１２

【特許請求の範囲】

【請求項1】

サンプルが載置されるステージを備え、前記サンプルを撮像する撮像装置と、
前記撮像装置を制御する組織構造評価装置とを有し、
前記組織構造評価装置は、
前記撮像装置により前記サンプル上の観察視野を変えながら撮像した撮像画像から第１の特徴量を抽出する特徴量抽出部と、
前記第１の特徴量の長期変動を算出し、前記長期変動が所定の基準を超える場合には、前記長期変動の発生前の位置に観察視野を戻して再撮像して再撮像画像を取得し、前記長期変動の発生前の位置での前記撮像画像の前記第１の特徴量と前記再撮像画像の前記第１の特徴量との差を算出する変動評価部とを備え、
前記変動評価部は、前記差が所定の閾値未満である場合には前記長期変動は前記サンプルに起因する変動であると判定し、前記差が前記所定の閾値以上である場合には前記長期変動は前記撮像装置に起因する変動であると判定する組織構造評価システム。

【請求項2】

請求項１において、
前記変動評価部が、前記長期変動は前記撮像装置に起因する変動であると判定した場合には、前記撮像装置の撮像条件を調整し、撮像条件が調整された前記撮像装置により、前記長期変動の発生前の位置から前記撮像画像の取得をやり直す組織構造評価システム。

【請求項3】

請求項１において、
前記特徴量抽出部は、前記撮像画像を前記サンプルの材料の組織構造に応じた複数の領域に分割し、
前記第１の特徴量は、前記複数の領域のうち参照領域として指定した領域の輝度または鮮鋭度である組織構造評価システム。

【請求項4】

請求項３において、
前記特徴量抽出部は、学習済みセマンティックセグメンテーションモデルを用いて前記撮像画像を前記複数の領域に分割する組織構造評価システム。

【請求項5】

請求項３において、
前記第１の特徴量が前記参照領域の輝度である場合には、前記撮像装置の検出信号を増幅する増幅器のオフセットまたはゲインを調整し、前記第１の特徴量が前記参照領域の鮮鋭度である場合には、前記撮像装置の光学系のフォーカスを調整する組織構造評価システム。

【請求項6】

請求項３において、
前記変動評価部は、前記撮像画像ごとに、直近Ｎ枚の前記撮像画像における前記第１の特徴量の移動平均を算出し、前記長期変動を当該撮像画像の前記第１の特徴量の移動平均と第Ｎ枚目の前記撮像画像の前記第１の特徴量の移動平均との偏差として算出する組織構造評価システム。

【請求項7】

請求項６において、
前記変動評価部は、前記撮像画像の前記第１の特徴量の移動平均が、前記第Ｎ枚目の前記撮像画像の前記第１の特徴量の移動平均の所定比率を超えて変動したときに前記長期変動が前記所定の基準を超えたと判断し、直近の前記撮像画像を取得した観察視野に対してＮ枚前の前記撮像画像を取得した観察視野に戻して再撮像する組織構造評価システム。

【請求項8】

請求項６において、
前記変動評価部は、前記撮像画像ごとに、前記撮像画像の前記第１の特徴量の移動平均に対する前記撮像画像の前記第１の特徴量のばらつきを算出し、前記長期変動が、前記撮像画像の前記第１の特徴量のばらつきの所定比率を超えて変動したときに前記長期変動が前記所定の基準を超えたと判断し、直近の前記撮像画像を取得した観察視野に対してＮ枚前の前記撮像画像を取得した観察視野に戻して再撮像する組織構造評価システム。

【請求項9】

請求項１において、
前記組織構造評価装置は、前記サンプルの撮像を継続するか否かを判定する撮像継続判断部をさらに備え、
前記特徴量抽出部は、前記撮像装置により前記サンプル上の観察視野を変えながら撮像した前記撮像画像から前記サンプルの材料の構造解析のための第２の特徴量を抽出し、
前記変動評価部が、前記長期変動は前記サンプルに起因する変動である判定した場合には、前記撮像継続判断部は、それまでに撮像した前記撮像画像の前記第２の特徴量のばらつきを算出し、前記第２の特徴量のばらつきが所定の基準以下である場合には、前記サンプルの撮像を終了する組織構造評価システム。

【請求項10】

請求項９において、
前記ステージには複数の前記サンプルが載置され、
前記撮像継続判断部が、前記サンプルの撮像の撮像を終了した場合には、前記サンプルに載置された未撮像の前記サンプルの撮像を開始する組織構造評価システム。

【請求項11】

請求項９において、
前記組織構造評価装置は、前記第２の特徴量を用いて、前記サンプルの材料の構造解析処理を行う構造評価部をさらに有する組織構造評価システム。

【請求項12】

請求項１において、
前記撮像装置に起因する変動には、前記撮像装置の構成要素の劣化による変動または前記撮像装置が載置された環境の変動を含む組織構造評価システム。

【請求項13】

請求項１において、
前記サンプル上の観察視野の移動方式が選択可能である組織構造評価システム。

【請求項14】

サンプルが載置されるステージを備え、前記サンプルを撮像する撮像装置と、特徴量抽出部と変動評価部とを備え、前記撮像装置を制御する組織構造評価装置とを有する組織構造評価システムのサンプル画像撮像方法であって、
前記撮像装置は、前記サンプル上の観察視野を変えながら撮像して撮像画像を取得し、
前記特徴量抽出部は、前記撮像画像から第１の特徴量を抽出し、
前記変動評価部は、前記第１の特徴量の長期変動を算出し、前記長期変動が所定の基準を超える場合には、前記長期変動の発生前の位置に観察視野を戻して再撮像して再撮像画像を取得し、前記長期変動の発生前の位置での前記撮像画像の前記第１の特徴量と前記再撮像画像の前記第１の特徴量との差を算出し、
前記変動評価部は、前記差が所定の閾値以上である場合には前記長期変動は前記撮像装置に起因する変動であると判定し、
撮像条件が調整された前記撮像装置は、前記長期変動の発生前の位置から前記撮像画像の取得をやり直すサンプル画像撮像方法。

【請求項15】

請求項１４において、
前記組織構造評価装置は、撮像継続判断部をさらに備え、
前記特徴量抽出部は、前記撮像画像から前記サンプルの材料の構造解析のための第２の特徴量を抽出し、
前記変動評価部は、前記差が前記所定の閾値未満である場合には前記長期変動は前記サンプルに起因する変動であると判定し、
前記撮像継続判断部は、それまでに撮像した前記撮像画像の前記第２の特徴量のばらつきを算出し、前記第２の特徴量のばらつきが所定の基準以下である場合には、前記サンプルの撮像を終了するサンプル画像撮像方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、組織構造評価システムおよびそのサンプル画像撮像方法に関する。

【背景技術】

【0002】

高機能材料の開発や品質評価においては、材料のミクロな構造について定量的、統計的に解析することが有効である。材料のミクロな構造情報は、荷電粒子線装置のような撮像装置による高倍率な荷電粒子線像から得ることができる。組織構造評価システムでは、撮像装置のステージに観察対象とする材料の複数サンプルを搭載し、自動的、かつ連続的に、これらのサンプルを撮像して多数の荷電粒子線像を取得する。これらの荷電粒子線像からミクロな構造の指標となる特徴量を抽出し、解析処理を行う。

【0003】

特許文献１は、光を照射し、測定対象物から反射した反射光を受光することにより、測定対象物の画像を取得する画像入力装置および画像評価装置を開示する。撮像中に照明光源の劣化により光源からの光量が変動すると、受光素子からの出力も変動し、画像測定精度が劣化する。特許文献１では、特に現象を捉えにくく、補正が困難な光量の短期的で周期的な変動に着目し、このような変動を検出する変動発生判断手段を設けている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００６－２６２１７３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

統計的に信頼性のある結果を得るには、多数の荷電粒子線像を撮像する必要がある。このため、すべての枚数の撮像が終了するまでに十数時間～数十時間といった長い時間を要する場合がある。この撮像期間中に、電子銃の劣化といった撮像装置の変動や、温度や湿度などの環境変動（このような被写体であるサンプル以外に起因する変動を、総称して撮像装置に起因する変動と呼ぶ）が生じることがある。この場合、荷電粒子線像に、材料の構造情報に加えて、撮像装置に起因する変動情報が重畳されてしまうことにより、材料の構造情報を正しく評価できないおそれがある。

【0006】

さらに、解析コストの低減に加え、撮像装置に起因する変動の影響を避けるという観点からも、撮像期間をできるだけ短縮することが望ましい。したがって、荷電粒子線像の撮像枚数は、材料のミクロな構造情報を統計的に正しく評価するために必要十分な枚数に抑制することが望ましい。

【0007】

特許文献１では、変動の発生を検出するために評価用画像を使用している。これに対し、組織構造評価システムにおいては、サンプルを連続的に撮像しており、変動チェックのためのオーバーヘッドを抑えるため、サンプル画像そのものから変動を検出できることが望ましい。

【課題を解決するための手段】

【0008】

本発明の一実施態様である組織構造評価システムは、サンプルが載置されるステージを備え、サンプルを撮像する撮像装置と、撮像装置を制御する組織構造評価装置とを有し、
組織構造評価装置は、撮像装置によりサンプル上の観察視野を変えながら撮像した撮像画像から第１の特徴量を抽出する特徴量抽出部と、第１の特徴量の長期変動を算出し、長期変動が所定の基準を超える場合には、長期変動の発生前の位置に観察視野を戻して再撮像して再撮像画像を取得し、長期変動の発生前の位置での撮像画像の第１の特徴量と再撮像画像の第１の特徴量との差を算出する変動評価部とを備え、
変動評価部は、差が所定の閾値未満である場合には長期変動はサンプルに起因する変動であると判定し、差が所定の閾値以上である場合には長期変動は撮像装置に起因する変動であると判定する。

【発明の効果】

【0009】

撮像装置に起因する変動をサンプル画像から検出可能な組織構造評価システムを提供する。

【0010】

その他の課題と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。

【図面の簡単な説明】

【0011】

【図1】連続撮像処理のための条件設定フローチャートである。

【図2】連続撮像処理フローチャートである。

【図3】ステージ上に複数のサンプルを載置した様子を示す図である。

【図4A】サンプル座標登録ＧＵＩの例である。

【図4B】ステージ移動方式ごとの観察視野の移動の軌跡を示す図である。

【図5A】第１の特徴量の抽出方法の一例である。

【図5B】第１の特徴量の抽出方法の別の一例である。

【図6】参照領域設定ＧＵＩの例である。

【図7】長期変動検出パラメータ設定ＧＵＩの例である。

【図8】組織構造特徴量設定ＧＵＩの例である。

【図9】許容誤差設定ＧＵＩの例である。

【図10A】連続撮像にともなう第１の特徴量の推移を示す図である。

【図10B】長期変動と短期変動の推移を示す図である。

【図11】変動評価部の処理を説明するための図である。

【図12】組織構造評価システムの機能ブロック図である。

【発明を実施するための形態】

【0012】

図１２に本実施例の組織構造評価システムの機能ブロック図を示す。撮像装置１として、走査電子顕微鏡（ＳＥＭ：Scanning Electron Microscope）を用いる例を用いて説明する。なお、撮像装置１はＳＥＭに限らず、抽出する特徴量に応じた顕微鏡、分析装置を用いることができる。鏡体２Ａには電子光学系及び検出系が内蔵され、試料室２Ｂにはサンプル４が載置されるステージ３が内蔵される。試料観察時には、図示しない真空ポンプにより、鏡体２Ａ及び試料室２Ｂの内部は真空化される。電子光学系は、その主な構成として、電子線を放出する電子源、電子線をサンプル上に集束させるためのコンデンサレンズ、絞り、対物レンズなどの光学素子、サンプル上で電子線を２次元に走査するための偏向器を有しており、光学系制御部６により制御される。電子光学系の光軸が、サンプル４上の所望の位置（観察視野）に位置するよう、ステージ制御部９はステージ３を制御する。電子光学系からの電子線がサンプル４に照射されると、電子線とサンプルとの相互作用によってサンプル４から２次電子が放出される。検出系は、サンプル４から放出された２次電子を検出する検出器を備えている。検出器からの検出信号は、増幅器５により増幅され、画像形成部７は増幅された検出信号に基づきサンプル画像（ＳＥＭ像）を形成する。形成されたサンプル画像は画像表示部８に表示される。

【0013】

組織構造評価装置１０は、撮像装置１を制御して、ステージ３上に載置された複数のサンプル４から多数のサンプル画像を撮像し、それぞれのサンプル画像から特徴量（組織構造特徴量）を抽出し、統計的に解析することで、サンプルの材料の組織構造の分析、評価を行う装置である。組織構造評価装置１０のハードウェアは、ＨＤＤ（Hard disk drive）、ＳＳＤ（Solid State Drive）のような記憶装置２０を備えるコンピュータである。図１２では、組織構造評価装置１０の実行する機能を機能ブロック図で表現しており、その各機能は、ソフトウェアのプログラムコードをメインメモリに読み込み、プロセッサが読み込んだプログラムコードを実行することで実現される。組織構造評価装置１０の備える各機能の詳細については後述する。

【0014】

組織構造評価装置１０は、ディスプレイなどの表示装置３１、キーボードやポインティングデバイスのような入力装置３２と接続されている。ユーザは、表示装置３１に表示されたＧＵＩ（Graphical Use Interface）に対して、入力装置３２を用いて選択や、入力を行う。

【0015】

図１に組織構造評価システムによる連続撮像処理のための条件設定フローを示す。条件設定フローの処理は、組織構造評価装置１０のシーケンス設定部１１により実行される。まず、ユーザはステージ３上に、解析対象である材料のサンプル４を複数載置する（Ｓ０１）。図３にステージ上に複数のサンプルを載置した様子を示す。この例ではステージ３上に４つのサンプル４－１～４が載置されている。ステージ３はＸ方向とＹ方向のいずれにも移動可能な構成を有している。互いに垂直な関係にあるＸ方向とＹ方向により張られる平面は、システムの走査電子顕微鏡の光軸に対して垂直であり、いずれかのサンプル４が電子光学系の光軸下に位置するようにステージ３を移動させて、撮像を行う。

【0016】

続いて、撮像装置１にロードしたサンプル４の座標登録を行う（Ｓ０２）。ステップＳ０２でシーケンス設定部１１が表示装置３１に表示するサンプル座標登録ＧＵＩ４０を図４Ａに示す。サンプル座標登録ＧＵＩ４０には、座標登録部４１とステージ移動方式選択部４２とが設けられている。ユーザは、座標登録部４１でステージ３に載置されたサンプル４ごとの座標を登録する。この例では、各サンプルにつき、Ｘ方向の始点座標と終点座標、Ｙ方向の始点座標と終点座標をそれぞれ登録している。また、本実施例の連続撮像処理では、１つのサンプル４に対して自動的に観察視野を変更しながら複数のサンプル画像を撮像するため、本ＧＵＩのステージ移動方式選択部４２により、観察視野の移動先をステージ移動方式として指定するようにしている。この例では、ユーザは、ジグザグ方式、らせん方式、ランダム方式の３種類から選択でき、選択した方式について撮像後に移動するＸ方向、Ｙ方向の移動量（視野間隔）を指定できるようになっている。ステージ移動方式ごとの観察視野の移動の軌跡を図４Ｂに模式的に示す。ユーザは、材料の組織構造、撮像位置の精度、撮像枚数などに基づき、ステージ移動方式を選定する。

【0017】

続いて、任意のサンプルから学習用画像を撮像する（Ｓ０３）。学習用画像はサンプルの典型的な組織構造が写っていればよく、サンプル上の撮像位置は任意に選択してよい。後述するように、本実施例の連続撮像処理では、撮像の継続要否を組織構造特徴量のばらつきに基づいて決定している。このため、撮像処理と併行して組織構造特徴量の抽出を行うことが必要であり、学習済みのセマンティックセグメンテーションモデルを用いて撮像画像を組織構造に応じた領域に分割し、分割された領域から特徴量を算出することで、特徴量の抽出を高速化、高精度化している。セマンティックセグメンテーションモデルとは、画像の画素ごとにクラス（この例では、クラスとして組織構造に応じた領域が設定されている）を割り当てる学習モデルである。

【0018】

ユーザは、複数の学習用画像のそれぞれに対して、材料の組織構造に応じた領域に分割した領域分割画像が紐づけられた学習データを準備し、セマンティックセグメンテーションモデルの学習を行う（Ｓ０４）。学習済みのセマンティックセグメンテーションモデルは、記憶装置２０のセマンティックセグメンテーションモデル記憶部２２に記憶される。

【0019】

後述するように、本実施例の連続撮像処理では、撮像装置に起因する変動が所定の許容範囲内であることを担保してサンプル４の撮像を行う。以下では、撮像装置に起因する変動を把握するための特徴量を「第１の特徴量」と呼ぶ。これと区別する意味で、サンプルの構造解析のための組織構造特徴量を「第２の特徴量」と呼ぶことがある。

【0020】

第１の特徴量の抽出方法の一例を図５Ａに示す。図５Ａの方法は、領域分割画像を利用するものである。ここでは、画像５０に対応する領域分割画像５１は４つの領域に分割されており、分割された領域ごとに異なる色／パターンで表示されている。ユーザは、領域分割画像５１から、撮像装置に起因する変動を把握するために使用する領域（これを「参照領域」と呼ぶ）を１または２指定する。この例では、２つの参照領域を指定し、参照領域１の輝度分布５２ａ、参照領域２の輝度分布５２ｂから、第１の特徴量を算出する。

【0021】

指定した参照領域から算出する第１の特徴量は、システムがあらかじめ設定しておいてもよく、ユーザが個別に設定できるようにしてもよい。第１の特徴量として、参照領域の輝度とすることができる。この場合、参照領域の明るさの変動あるいは、参照領域におけるコントラストの変動を撮像装置に起因する変動の指標とすることができる。参照領域における輝度分布を表す特徴量として、輝度分布の平均値、最頻値、中央値などを用いることができる。

【0022】

なお、第１の特徴量の抽出方法は図５Ａの方法には限られない。第１の特徴量の抽出方法の別の一例を図５Ｂに示す。図５Ｂの算出方法は、領域分割画像を用いない方法である。図５Ｂの算出方法では、画像５０全体についての輝度分布５３を得、輝度分布をピーク分離し、第１の特徴量を算出する。輝度分布５３から第１の特徴量を抽出するためにピークを１または２選択することにより、図５Ａと同様に第１の特徴量の抽出が行える。

【0023】

また、第１の特徴量として画像の鮮鋭度を用いてもよい。画像の鮮鋭度を第１の特徴量として用いる場合、例えば、材料中の繰り返し構造を参照領域として設定し、その輪郭線長を第１の特徴量として抽出することができる。温度変動により撮像装置のフォーカス調整にずれが生じ、サンプル画像にぼけが生じる場合がある。このような場合に、第１の特徴量として繰り返し構造の輪郭線長を算出していれば、画像のぼけ具合を輪郭線長の変化として把握することができるようになる。第１の特徴量は１種類でなくともよく、複数種類の第１の特徴量を抽出して、原因の異なる撮像装置に起因する変動を複数、把握するようにしてもよい。

【0024】

本実施例の組織構造評価システムは、学習用画像５０の領域分割画像５１を用いて第１の特徴量及び第２の特徴量を指定するＧＵＩを備えている。

【0025】

シーケンス設定部１１は、第１の特徴量を設定するため、図６に示す参照領域設定ＧＵＩ６０を表示装置３１に表示する。参照領域設定ＧＵＩ６０には、学習用画像５０とその領域分割画像５１が表示され、参照領域選択部６１により、ユーザは第１の特徴量の抽出のために使用する参照領域を指定する（Ｓ０５）。ここでは、領域２を指定した状態を示している。適用ボタン６２が押下されることによって、領域２から第１の特徴量を抽出することを指定する。この場合、組織構造評価システムが参照領域として指定された領域の輝度分布の平均値を第１の特徴量として用いる設定となっていれば、撮像画像において領域２に相当する領域の輝度分布の平均値が第１の特徴量として用いられることになる。

【0026】

続いて、シーケンス設定部１１は、第１の特徴量に基づき撮像装置に起因する変動が許容範囲か否かを判定するための条件を設定するため、図７に示す長期変動検出パラメータ設定ＧＵＩ７０を表示装置３１に表示する。長期変動検出パラメータ設定ＧＵＩ７０には、長期変動計算期間設定部７１と検出基準設定部７２とが設けられている。撮像装置に起因する変動をサンプル画像から把握するため、変動の検出には、直近Ｎ枚の撮像画像の第１の特徴量の平均（移動平均）を用いる。ユーザは、長期変動計算期間設定部７１で移動平均をとる撮像画像の枚数Ｎを指定する（Ｓ０６）。Ｎの値が小さすぎるとサンプル画像の違いの影響を受けやすくなる一方、Ｎの値が大きすぎると撮像装置に起因する変動を検出する感度が低下するため、適度な数に定める必要がある。

【0027】

次にユーザは、検出基準設定部７２で撮像装置に起因する変動発生を示唆する基準（閾値）を設定する（Ｓ０７）。なお、ここで示唆する、としているのは、第１の特徴量の変動が設定した基準に達したとしても、被写体であるサンプルに起因する変動である可能性があるためである。このため、ここで設定する基準は許容以上の撮像装置に起因する変動の発生を示唆するにとどまり、撮像装置に起因する変動が実際に発生しているか、判別する必要がある。この判別処理については後述する。

【0028】

検出基準設定部７２では２種類の基準が選択可能とされている。変動の原因を判別するため、定量的に算出可能な第１の特徴量の移動平均の指標として、長期変動と短期変動とを定義する。長期変動は、撮像画像の第１の特徴量の直近Ｎ枚の移動平均とＮ枚目の撮像画像の第１の特徴量の直近Ｎ枚の移動平均（連続撮像処理の最初に算出された移動平均）との差として定義される。短期変動は、撮像画像の直近Ｎ枚の第１の特徴量の移動平均に対する当該撮像画像における第１の特徴量のばらつきとして定義される。例えば、第１の特徴量が、参照領域の輝度分布の平均値として定義されている場合、短期変動は、第１の特徴量の移動平均に対する参照領域の輝度のばらつき（標準偏差）として定義することができる。第１の特徴量が、参照領域の輪郭線長の平均値として定義されている場合、短期変動は、第１の特徴量の移動平均に対する参照領域の輪郭線長のばらつき（標準偏差）として定義することができる。

【0029】

第１の基準は、短期変動基準で、撮像装置に起因する変動発生を示唆するものである。短期変動の大きさは撮像期間を通じて大きく変化しないと期待できる。このため、長期変動が短期変動に対して所定の比率を超えて変化した場合に、撮像装置に起因する変動発生のおそれを検出する。

【0030】

第２の基準は、長期変動の絶対値基準で、撮像装置に起因する変動発生を示唆するものである。長期変動が、Ｎ枚目の撮像画像の第１の特徴量の直近Ｎ枚の移動平均（すなわち、撮像期間の最初に算出された移動平均）に対する所定の比率を超えて変化した場合に、撮像装置に起因する変動発生のおそれを検出する。

【0031】

続いて、シーケンス設定部１１は、サンプル４の材料の構造解析のために取得する特徴量である組織構造特徴量（第２の特徴量）を設定するため、図８に示す組織構造特徴量設定ＧＵＩ８０を表示装置３１に表示する。組織構造特徴量設定ＧＵＩ８０には、学習用画像５０とその領域分割画像５１が表示され、特徴量選択部８１により、ユーザはサンプルの材料の構造解析のための第２の特徴量を定義する（Ｓ０８）。特徴量選択部８１には、領域分割画像５１における各領域について抽出可能な特徴量として、面積、縦方向のサイズ、横方向のサイズ、輪郭線長、数が選択可能とされている。これらは一例であって、これらの特徴量が選択可能となっていなくてもよく、これら以外の特徴量が選択可能になっていてもよい。特徴量の選択後、ユーザが適用ボタン８２を押下することによって、選択された領域の特徴量が組織構造特徴量（第２の特徴量）として抽出するように設定される。

【0032】

続いて、シーケンス設定部１１は、許容される組織構造特徴量の信頼区間を設定するため、図９に示す許容誤差設定ＧＵＩ９０を表示装置３１に表示する。ユーザは、ステップＳ０８で指定したそれぞれの組織構造特徴量について、その定量化に許される誤差を定義する（Ｓ０９）。誤差は相対値または絶対値で指定することができ、相対値で指定する場合には、平均値の上下何％以内であれば許容されるのか、絶対値で指定する場合には、例えば±何ピクセルの誤差までであれば許容されるのか、定量的に指定する。

【0033】

シーケンス設定部１１は、以上の条件設定フローで設定した条件（構造評価条件）を記憶装置２０の構造評価条件記憶部２３に記憶し、連続撮像処理のための条件設定が完了する。次に、図２を用いて連続撮像処理フローについて説明する。連続撮像処理フロー全体は、シーケンス制御部１２によって制御され、その過程で、特徴量抽出部１３、変動評価部１４、撮像条件調整部１５、撮像継続判断部１６が呼び出されて実行される。

【0034】

シーケンス制御部１２は、まず、サンプル番号１のサンプルから連続撮像処理を開始する（Ｓ１０）。撮像カウンタＭを１に設定し（Ｓ１１）、１（Ｍ）枚目の位置にステージ位置を移動する（Ｓ１２）。ステージ位置はステップＳ０２において設定したステージ移動方式にしたがって決定される。１（Ｍ）枚目の撮像を行う（Ｓ１３）。特徴量抽出部１３は、撮像画像を学習済みセマンティックセグメンテーションモデルにより領域分割して、ステップＳ０５で設定した第１の特徴量、及びステップＳ０８で設定した第２の特徴量を抽出し（Ｓ１４）、第１の特徴量データ及び第２の特徴量データを特徴量記憶部２１に記憶する（Ｓ１５）。シーケンス制御部１２は撮像カウンタＭを１ずつ加算しながら、ステップＳ１２～Ｓ１５をＮ回繰り返す（Ｓ１６）。ＮはステップＳ０６において設定された値である。

【0035】

Ｎ枚の撮像画像が取得されると（ステップＳ１６でno）、変動評価部１４は、Ｎ（Ｍ）枚目までの第１の特徴量データから短期変動と長期変動とを算出し（Ｓ１７）、算出された長期変動がステップＳ０７において設定された基準に基づいて、撮像装置に起因する変動の発生を示唆するものであるかどうかを判定する（Ｓ１８）。ステップＳ１７で算出された長期変動がステップＳ０７の基準以下の場合（ステップＳ１８でno）にはステップＳ２４に進む。一方、長期変動がステップＳ０７の基準を超える場合（ステップＳ１８でyes）にはステップＳ１９に進む。

【0036】

ステップＳ１７において変動評価部１４が算出した長期変動がステップＳ０７の基準を超える場合、この変動が撮像装置に起因する変動によるものか、被写体であるサンプルに起因する変動によるものかを判別する必要がある。このため、変動評価部１４はステップＳ１９～Ｓ２１の判別処理を実行する。この判別処理について例を用いて説明する。

【0037】

この例では、移動平均回数Ｎ＝１０として連続撮像を行い、またステップＳ０７では短期変動を用いた基準（第１の基準）を設定したものとする。なお、ステップＳ０７で長期変動の絶対値基準（第２の基準）を設定した場合には、ステップＳ１７において短期変動を算出する必要はない。図１０Ａは、連続撮像にともなう第１の特徴量の推移を示し、図中の四角が撮像ごとの第１の特徴量の値を示し、実線が第１の特徴量の移動平均（Ｎ＝１０）を示している。図１０Ｂは、この場合の長期変動と短期変動の推移を示し、図中の三角が撮像ごとの短期変動の値を示し、破線が長期変動（撮像枚数Ｍでの移動平均と撮像枚数Ｎでの移動平均との偏差）を示している。撮像カウンタＭ＝３４のとき、ステップＳ１８において長期変動が基準を超えると判定されたとする。このときの変動評価部１４の処理について、図１１を用いて説明する。なお、ステップＳ０２において、ステージ移動方式としてジグザグ方式が選択されていたものとする。

【0038】

軌跡図１１０は、図１０Ａ，Ｂの例において、サンプル上における撮像カウンタＭ＝１～３４における観察視野の軌跡を示している。上述のように、撮像カウンタＭ＝３４での長期変動が大きいと判定されたとする（ステップＳ１８でyes）。そこで、長期変動開始前のステージ位置に戻って撮像する（ステップＳ１９）。この様子を図１１の軌跡図１１１に示す。ここでは、移動平均回数Ｎ＝１０で移動平均をとっているため、長期変動開始前のステージ位置が撮像カウンタＭ＝２４のときの観察視野となるように、ステージ３の位置を制御する。ステップＳ１９で再撮像した再撮像画像から第１の特徴量を抽出し、撮像カウンタＭ＝２４の撮像画像と比較する（Ｓ２０）。

【0039】

撮像装置に起因する変動が生じていなければ、同じ観察視野で再撮像したステップＳ１９での再撮像画像と撮像カウンタＭ＝２４の撮像画像とは、第１の特徴量はほぼ同一になることが期待される。そこで、特徴量の差が許容値よりも小さい、すなわち第１の特徴量が同一であるとみなせる場合（ステップＳ２１でyes）には、第１の特徴量の長期変動に生じた異常はサンプルに起因する変動であると判定して、連続撮像をそのまま継続する。一方、特徴量の差が許容値以上である、すなわち第１の特徴量が同一であるとはみなせない場合（ステップＳ２１でno）には、第１の特徴量の長期変動に生じた異常は撮像装置に起因する変動であると判定して、撮像条件調整部１５により撮像装置１の撮像条件を再調整し（Ｓ２２）、シーケンス制御部１２は長期変動開始前のステージ位置、すなわち撮像カウンタＭ＝２４の観察視野から連続撮像をやり直す（Ｓ２３）。

【0040】

例えば、ステップＳ１９で再撮像した再撮像画像の第１の特徴量の値が図１０Ａに示す星印１２０であったとする。特徴量の差がないとみなせる場合は、観察視野の軌跡は、図１１の軌跡図１１２のようになる。一方、特徴量の差があるとみなされる場合は、観察視野の軌跡は、図１１の軌跡図１１３のようになる。

【0041】

撮像条件調整部１５は、第１の特徴量に応じて撮像装置１の撮像条件を調整する。例えば、第１の特徴量として参照領域の明るさを指標としていれば、増幅器５のオフセットを調整し、第１の特徴量として参照領域のコントラストを指標としていれば、増幅器５のゲインを調整する。また、第１の特徴量として参照領域の鮮鋭度を指標としていれば、光学系のフォーカスを調整する。

【0042】

その後、撮像継続判断部１６は特徴量記憶部２１に蓄積された、サンプルのそれまでに撮像された第２の特徴量データから第２の特徴量のばらつきを算出し（Ｓ２４）、第２の特徴量のばらつきがステップＳ０９で設定された基準を満たしているかどうかを判定する（Ｓ２５）。基準を満たしていれば（ステップＳ２６でyes）、当該サンプルについての撮像は終了し、次のサンプルの撮像を撮像カウントＭ＝１から開始する（Ｓ２６）。撮像が終了したサンプルが最後のサンプルであれば、撮像処理は終了する。一方、基準を満たしていなければ（ステップＳ２６でno）、撮像カウントＭを１加算して（Ｓ２７）、撮像処理を継続する。

【0043】

すべての撮像処理が終了し、すべてのサンプルについて抽出した組織構造特徴量（第２の特徴量データ）が特徴量記憶部２１に記憶されると、構造評価部１７は、得られた組織構造特徴量を用いて、材料のミクロな構造について定量的、統計的に解析処理を行う。

【0044】

以上、本発明を実施例、変形例に基づき説明した。本発明は、上記した実施例、変形例に限定されるものではなく、発明の要旨を変更しない範囲でさまざまな変形が可能である。

【符号の説明】

【0045】

１：撮像装置、２Ａ：鏡体、２Ｂ：試料室、３：ステージ、４：サンプル、５：増幅器、６：光学系制御部、７：画像形成部、８：画像表示部、９：ステージ制御部、１０：組織構造評価装置、１１：シーケンス設定部、１２：シーケンス制御部、１３：特徴量抽出部、１４：変動評価部、１５：撮像条件調整部、１６：撮像継続判断部、１７：構造評価部、２０：記憶装置、２１：特徴量記憶部、２２：セマンティックセグメンテーションモデル記憶部、２３：構造評価条件記憶部、３１：表示装置、３２：入力装置、４０：サンプル座標登録ＧＵＩ、４１：座標登録部、４２：ステージ移動方式選択部、５０：画像、５１：領域分割画像、５２，５３：輝度分布、６０：参照領域設定ＧＵＩ、６１：参照領域選択部、６２，８２：適用ボタン、７０：長期変動検出パラメータ設定ＧＵＩ、７１：長期変動計算期間設定部、７２：検出基準設定部、８０：組織構造特徴量設定ＧＵＩ、８１：特徴量選択部、９０：許容誤差設定ＧＵＩ、１１０，１１１，１１２，１１３：軌跡図。

【図1】

【図2】

【図3】

【図4A】

【図4B】

【図5A】

【図5B】

【図6】

【図7】

【図8】

【図9】

【図10A】

【図10B】

【図11】

【図12】