特開 2024-150622 画像を生成するシステム、及び非一時的コンピュータ可読媒体

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024150622

(43)【公開日】2024-10-23

(54)【発明の名称】画像を生成するシステム、及び非一時的コンピュータ可読媒体

(51)【国際特許分類】

   H01J 37/22 20060101AFI20241016BHJP

   H01J 37/28 20060101ALI20241016BHJP

   G06T 7/11 20170101ALI20241016BHJP

【ＦＩ】

H01J37/22 502H

H01J37/28 B

G06T7/11

【審査請求】有

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2024116783

(22)【出願日】2024-07-22

(62)【分割の表示】P 2023204328の分割

【原出願日】2020-01-09

(71)【出願人】

【識別番号】501387839

【氏名又は名称】株式会社日立ハイテク

(74)【代理人】

【識別番号】110002572

【氏名又は名称】弁理士法人平木国際特許事務所

(72)【発明者】

【氏名】豊田 康隆

(72)【発明者】

【氏名】石川 昌義

(72)【発明者】

【氏名】大内 将記

(57)【要約】

【課題】効率良く、特定部位の学習を行う。
【解決手段】本開示は、荷電粒子ビーム装置が生成した入力画像の入力に基づいて、変換画像を生成するように構成されたシステムであって、１以上のコンピュータサブシステムと、当該１以上のコンピュータサブシステムによって実行される１以上のコンポーネントを備え、当該１以上のコンポーネントは、学習時に教師データとして入力される第１の画像と、前記システムヘの前記入力画像の入力によって変換された第２の画像との間の誤差を抑制するように、パラメータが調整された学習モデルを含み、前記第１の画像は、半導体パターン画像であって、前記第１の画像は、当該画像内の少なくとも２以上の領域において異なるパラメータによる画像補正が施され、前記少なくとも２以上の領域は、画像セグメンテーションにより分割された領域である、画像生成システムを提案する。
【選択図】図１１

【特許請求の範囲】

【請求項1】

荷電粒子ビーム装置が生成した入力画像の入力に基づいて、変換画像を生成するように構成されたシステムであって、
１以上のコンピュータサブシステムと、当該１以上のコンピュータサブシステムによって実行される１以上のコンポーネントを備え、
当該１以上のコンポーネントは、学習時に教師データとして入力される第１の画像と、前記システムヘの前記入力画像の入力によって変換された第２の画像との間の誤差を抑制するように、パラメータが調整された学習モデルを含み、
前記第１の画像は、半導体パターン画像であって、
前記第１の画像は、当該画像内の少なくとも２以上の領域において異なるパラメータによる画像補正が施され、
前記少なくとも２以上の領域は、画像セグメンテーションにより分割された領域である、画像生成システム。

【請求項2】

請求項１において、
前記画像補正は、輝度補正、明度補正、コントラスト補正、および着色補正のうち、少なくともいずれかを含む、画像生成システム。

【請求項3】

荷電粒子ビーム装置が生成した入力画像の入力に基づいて、変換画像を生成するコンピュータ実装方法を実行するためにコンピュータシステム上で実行可能なプログラム命令を記憶する非一時的コンピュータ可読媒体であって、
前記コンピュータ実装方法は、学習時に教師データとして入力される第１の画像と、前記システムヘの前記入力画像の入力によって変換された第２の画像との間の誤差を抑制するように、パラメータが調整された学習モデルを含み、
前記入力画像は、半導体パターン画像であって、
前記第１の画像は、当該画像内の少なくとも２以上の領域において異なるパラメータによる画像補正が施され、
前記少なくとも２以上の領域は、画像セグメンテーションにより分割された領域である、非一時的コンピュータ可読媒体。

【請求項4】

請求項３において、
前記画像補正は、輝度補正、明度補正、コントラスト補正、および着色補正のうち、少なくともいずれかを含む、非一時的コンピュータ可読媒体。

【請求項5】

荷電粒子ビーム装置が生成した入力画像の入力に基づいて、変換画像を生成するように構成されたシステムにおける画像生成方法であって、
前記システムは、１以上のコンピュータサブシステムと、当該１以上のコンピュータサブシステムによって実行される１以上のコンポーネントを備え、
当該１以上のコンポーネントは、学習時に教師データとして入力される第１の画像と、前記システムヘの前記入力画像の入力によって変換された第２の画像との間の誤差を抑制するように、パラメータが調整された学習モデルを含み、
前記入力画像は、半導体パターン画像であって、
前記第１の画像は、当該画像内の少なくとも２以上の領域において異なるパラメータによる画像補正が施され、
前記少なくとも２以上の領域は、画像セグメンテーションにより分割された領域である、画像生成方法。

【請求項6】

請求項５において、
前記画像補正は、輝度補正、明度補正、コントラスト補正、および着色補正のうち、少なくともいずれかを含む、画像生成方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像を生成する方法、システム、及び非一時的コンピュータ可読媒体に係り、特に試料に対するビーム照射に基づいて画像を生成する方法、システム、及び非一時的コンピュータ可読媒体に関する。

【背景技術】

【0002】

特許文献１には、試料に対する荷電粒子ビームの照射に基づいて得られる検出信号に基づいて画像を生成する試料観察装置が開示されている。特許文献１には、深層学習等のニューラルネットワークを用いて、低品質画像から高品質画像を生成する試料観察装置が開示され、当該試料観察装置は、低品質画像から高品質画像を生成するための画像変換モデルを備えている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１８－１３７２７５号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

一方、ニューラルネットワークは低品質画像から変換された画像と高品質画像の２つの画像自体を教師データとし、両画像間を合わせ込むように学習を進めるため、例えば測定や検査の対象となる対象物のエッジなどの特定部位の品質を十分に改善できない場合がある。また、画像全体を合わせ込むような学習を行うと、モデル生成のために多くの時間を費やしてしまう場合もある。

【課題を解決するための手段】

【0005】

以下に、効率良く、特定部位の学習を行うことを目的とする方法、システム、及び非一時的コンピュータ可読媒体について説明する。上記目的を達成するための一態様として、荷電粒子ビーム装置が生成した入力画像の入力に基づいて、変換画像を生成するように構成されたシステムであって、１以上のコンピュータサブシステムと、当該１以上のコンピュータサブシステムによって実行される１以上のコンポーネントを備え、当該１以上のコンポーネントは、学習時に教師データとして入力される第１の画像と、前記システムヘの前記入力画像の入力によって変換された第２の画像との間の誤差を抑制するように、パラメータが調整された学習モデルを含み、前記第１の画像は、半導体パターン画像であって、前記第１の画像は、当該画像内の少なくとも２以上の領域において異なるパラメータによる画像補正が施され、前記少なくとも２以上の領域は、画像セグメンテーションにより分割された領域である、画像生成システムが提案される。

【発明の効果】

【0006】

本発明によれば、分割領域のそれぞれ（例えば、配線と円形の構造物）に対して異なる学習を施すことができ、よって、操作者の好みに応じた画像を、低品質画像から生成することが可能となる。

【図面の簡単な説明】

【0007】

【図1】第１の実施の形態の画像生成システムに入力される画像を生成する画像生成ツールの一種である走査電子顕微鏡（Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ：ＳＥＭ）の一例を示す図である。

【図2】図１に例示するような画像生成ツールによって得られた画像データから、変換画像を生成する画像生成システムの一例を示す図である。

【図3】ニューラルネットワークの構成の一例を示す。

【図4】荷電粒子ビームの走査対象であるパターン、当該パターンにビームを走査することによって得られる画像、及び画像の輝度分布情報から形成される信号波形の一例を示す図である。

【図5】画像の分割条件と、分割された領域に対する損失関数の重み（誤差の調整条件）の設定を可能とするＧＵＩ画面の一例を示す図である。

【図6】輝度分布情報を用いて領域分割を行った画像の一例を示す図である。

【図7】第１の実施の形態（図２）のシステムを用いた学習器の学習条件の設定、設定された学習条件による学習、及び学習を施された学習器を用いた画像生成工程を示すフローチャートである。

【図8】位置合わせパターンとの相対位置関係が異なる位置毎に、異なる重み係数を設定しておくことによって、領域単位の重要度等に応じた学習を行う例、及びレシピに予め視野８０４内のＲＯＩ８０５の重み係数λ_３と、それ以外の領域８０６の重み係数λ_４を設定する例について説明する概念図である。

【図9】第１の実施の形態の変形例に係る走査型電子顕微鏡を示す。

【図10】第１の実施の形態の変形例の動作を説明するフローチャートである。

【図11】第２の実施の形態の画像生成システムの一例を示すブロック図である。

【図12】図１１に例示するコンピュータシステム２０２に入力された高品質画像、当該高品質画像を画像分割処理部２０６０によって分割した領域分割画像、及び当該領域分割画像の分割された領域のそれぞれに対して領域毎輝度補正部２０７０にて輝度調整を行った輝度調整画像の例を示す図である。

【図13】第２の実施の形態において、輝度補正条件を設定するためのＧＵＩ画面の一例を示す。

【図14】第２の実施の形態の動作を説明するフローチャートである。

【図15】第３の実施の形態のシステムの動作を説明する概念図である。

【発明を実施するための形態】

【0008】

以下、添付図面を参照して本実施の形態について説明する。添付図面では、機能的に同じ要素は同じ番号又は対応する番号で表示される場合もある。なお、添付図面は本開示の原理に則った実施の形態と実装例を示しているが、これらは本開示の理解のためのものであり、決して本開示を限定的に解釈するために用いられるものではない。本明細書の記述は典型的な例示に過ぎず、本開示の特許請求の範囲又は適用例を如何なる意味においても限定するものではない。

【0009】

本実施の形態では、当業者が本開示を実施するのに十分詳細にその説明がなされているが、他の実装・形態も可能で、本開示の技術的思想の範囲と精神を逸脱することなく構成・構造の変更や多様な要素の置き換えが可能であることを理解する必要がある。従って、以降の記述をこれに限定して解釈してはならない。

【0010】

以下に説明する実施の形態では、第１の画像を当該第１の画像とは画質が異なる第２の画像に変換する方法、システム、及びコンピュータ可読媒体に係り、画像に含まれる複数領域について、異なる変換を行う方法、システム、及びコンピュータ可読媒体について説明する。

【0011】

［第１の実施の形態］
図１～図１０を参照して、第１の実施の形態に係る画像生成システムを説明する。
図１は、第１の実施の形態に係る画像生成システムに入力される画像を生成する画像生成ツールの一種である走査電子顕微鏡（Ｓｃａｎｎｉｎｇ Ｅｌｅｃｔｒｏｎ Ｍｉｃｒｏｓｃｏｐｅ：ＳＥＭ）の一例を示す図である。なお、以下の説明では荷電粒子線装置の一種であるＳＥＭを画像生成ツールとして説明するが、これに限られることはなく、例えばイオンビームの走査に基づいて画像を生成する集束イオンビーム装置を画像生成ツールとすることも可能である。更に、他にも高品質画像を生成するより低品質画像を生成する方が処理の簡素化等ができるような画像生成ツールを用いるようにしても良い。

【0012】

図１に例示する走査電子顕微鏡システム１００は、撮像部１０１、コンピュータシステム１０２、信号処理部１０３、入出力部１０４、記憶部１０５を備えている。記憶部１０５は、本システムの動作を司るコンピュータプログラムを記憶する非一時的記録媒体としても機能する。コンピュータシステム１０２は、撮像部１０１が備える以下の光学系を制御する。

【0013】

撮像部１０１は、電子ビーム１０７を照射する電子銃１０６、電子ビーム１０７を集束する集束レンズ１０８、集束レンズ１０８を通過した電子ビーム１０７をさらに集束する集束レンズ１０９を備えている。撮像部１０１はさらに、電子ビーム１０７を偏向する偏向器１１０、電子ビーム１０７の集束する高さを制御する対物レンズ１１１を備えている。

【0014】

撮像部１０１の光学系を通過した電子ビーム１０７は、試料ステージ１１３上に載せられた試料１１２に照射される。電子ビーム１０７の照射によって試料１１２から放出される二次電子（Ｓｅｃｏｎｄａｒｙ Ｅｌｅｃｔｒｏｎ：ＳＥ）や後方散乱電子（Ｂａｃｋｓｃａｔｔｅｒｅｄ Ｅｌｅｃｔｒｏｎ：ＢＳＥ）等の放出電子１１４は、その軌道上に設置された下段検出器１１５と上段検出器１１６によって検出される。上段検出器１１６に設けられた開口は、電子ビーム１０７を通過させるものである。この開口を十分小さくすることにより、試料１１２上に形成された深孔や深溝の底から放出され、パターン中心近傍を通過して試料表面上に脱出した二次電子を検出することができる。上段検出器１１６の直前にあるエネルギーフィルタ１１７ａ、又は下段検出器１１５の直前にあるエネルギーフィルタ１１７ｂを用いたエネルギーフィルタリングにより、放出電子１１４をエネルギー弁別することができる。

【0015】

撮像部１０１はさらに、電子ビーム１０７を光軸外に偏向することによって試料１１２へ電子ビーム１０７が到達することを制限するブランキング偏向器１１８、及びブランキング偏向器１１８によって偏向された電子ビーム１０７を受け止めるブランキング用電極１１９を備える。

【0016】

信号処理部１０３は、下段検出器１１５と上段検出器１１６の出力に基づいてＳＥＭ画像を生成する。信号処理部１０３は、図示しない走査偏向器の走査と同期して、フレームメモリ等に検出信号を記憶させることにより画像データを生成する。フレームメモリに検出信号を記憶する際、フレームメモリの走査位置に対応する位置に検出信号を記憶させることにより、信号プロファイル（１次元情報）、及びＳＥＭ画像（二次元情報）を生成する。また、必要に応じて偏向器１２０で二次電子を偏向することにより、深孔等から脱出した光軸近傍を通過する二次電子を、下段検出器１１５の開口外（下段検出器１１５の検出面）に導くことができる。

【0017】

図２は、図１に例示するような画像生成ツールによって得られた画像データから、変換画像を生成する画像生成システムの一例を示す図である。図２に例示するコンピュータシステム１０２は、１以上のＣＰＵやＧＰＵを含む１以上のコンピュータサブシステムで構成されている。また、図２に例示するコンピュータシステム１０２は、当該１以上のコンピュータサブシステムによって実行される１以上のコンポーネントを備える。１以上のコンピュータサブシステムは、後述するような処理を１以上のプロセッサを用いてソフトウェアで実現することもできるし、その処理の一部または全部を電子回路などのハードウェアで実現するようにしても良い。

【0018】

図２に例示するコンピュータシステム２０２は、一例として、画像変換部２０３０、変換誤差算出部２０４０、変換パラメータ更新部２０５０、及び画像分割処理部２０６０を備える。また、コンピュータシステム２０２は、入力装置２０３から各種情報の入力を受けるよう構成される。

【0019】

画像変換部２０３０は、図１に例示するような画像生成ツールの出力画像、又は記憶媒体２０１に記憶されている画像（低品質画像）を入力画像とし、その入力画像に基づいて変換画像を生成する。画像変換部２０３０は、変換パラメータが調整された学習モデルを含んでおり、この学習モデルを用いた画像変換を実行する。変換パラメータは、変換パラメータ更新部２０５０で適宜更新され、画像変換部２０３０に供給される。学習モデルは例えばニューラルネットワークで構成され、図３に例示するような１以上の入力層、１以上の中間層（隠れ層）、及び１以上の出力層を含んでいる。

【0020】

ニューラルネットワークは、出力層で所望の結果（例えば高品質画像や正しい測定値など）が出るよう、パラメータ（重みやバイアス等）を調整する学習を施すことで、適正な出力が可能となる。学習は例えば誤差逆伝播法（バックプロパゲーション）によって、逐次的に変数（重みやバイアス）を更新することによって行われ、データの出力誤差を重み（活性化関数も含む）で偏微分して、出力を少しずつ最適な値へと調整する。

【0021】

変換誤差算出部２０４０は、画像変換部２０３０によって低品質画像から生成された変換画像（出力層の出力である第２の画像）と、正解データ（高品質画像（教師データ））として入力された画像（第１の画像）との誤差を算出する。より具体的には、変換誤差算出部２０４０は、フォワードプロパゲーションによって導出された変換画像の画素値と、それに対応する正解画像の画素値から、算出される平均絶対誤差や平均二乗誤差等を変換誤差として算出する。変換パラメータ更新部２０５０は、変換誤差に基づいて各画素の変換誤差を抑制するように、ニューラルネットワークの変換パラメータ（変数）を調整し、画像変換部２０３０に供給する。

【0022】

画像分割処理部２０６０は、教師データとしての高品質画像を複数の画像に分割し、その分割に関する領域情報を変換誤差算出部２０４０に供給する。領域情報及び重み情報は、入力装置２０３から入力することができる。

【0023】

以上のようなフォワードプロパゲーションとバックプロパゲーションの繰り返しによって、出力の精度を向上させることができるが、ニューロンの入力に対する重みが最適化されるまでには、多くの画像（教師データ）を用いた学習が必要となる。一方、半導体デバイスのパターン等の測定や検査は、画像に含まれるパターン等のエッジ間の寸法測定や、パターン等の形状評価によって行われるため、例えばエッジ以外の部分については高い精度を必要としない。

【0024】

本実施の形態では、画像に含まれる特定のパターンやそれ以外の構造物のエッジ等の部分画像を選択的に高精度変換できるような学習モデルと、その学習モデルに対する学習を施すシステムについて説明する。画像全体ではなく、画像の部位毎の重要度に応じて、学習の程度を変えることができれば、重要な部分については高度な学習を施すことによる高品質画像の生成を実現できる一方で、重要でない部分については学習に要する処理の削減による学習の効率化を実現することが可能となる。

【0025】

図２に例示するシステムでは、教師データとして入力される高品質画像について、画像分割処理部２０６０にて画像分割を行い、入力装置２０３によって入力された分割領域毎の学習の程度に応じて画像変換部２０３において学習器に学習を施す。分割領域毎の学習の程度の設定は、例えば正解データ（ラベル）と学習器の出力との誤差を計算する関数である損失関数を、分割領域毎に異なる重みを付与することによって実現する。例えば[数１]のような演算式に基づいて損失関数Ｌ_Ｄを計算することができる。

【0026】

［数１］
L_Ｄ＝（λ_１・Ｌ_ｂｇ＋λ_２・Ｌ_ｅｄｇｅ）

【0027】

ここで、Ｌ_ｂｇは画像内の第１の領域（例えばパターンエッジ以外の背景部分）に設定される損失関数であり、Ｌ_ｅｄｇｅは画像内の第２の領域（例えばパターンエッジ）に設定される損失関数である。λ_１、λ_２はそれぞれの損失関数の重み係数である。例えばエッジ部分の係数λ_２をλ_１より大きく設定することで、エッジ部以外の領域に対して、相対的に誤差値が大きく見積もられるようになり、結果としてエッジ部分にフォーカスして変換誤差を抑制するような変換パラメータの更新が可能となる。また、これと同様な効果は、Ｌ_ｂｇをエッジ部分を含む画像全体に設定される損失関数、Ｌ_ｅｄｇｅをエッジ部分のみに設定される損失関数とし、エッジ部分の誤差値が画像の総画素数に対する実際のエッジの総画素数の比率よりも大きく反映されるようにλ_１、λ_２を設定することでも得ることができる。

【0028】

一方で、測定や検査に必要のないエッジ以外の部分については、学習をしない、或いは相対的に程度の低い学習を行うべく、λ_１＜λ_２（λ_１はゼロを含む）と設定することによって学習に要する処理を減らすことが可能となる。すなわち、この第１の実施の形態では、学習モデルにおいて、画像内の異なる領域毎に、異なる学習が施されている。画像内の計測や検査に要する領域の損失関数の重みを相対的に増やすと共に、それ以外の領域の損失関数の重みを減らすことで、必要となる部分の再現性を向上させることが可能となる。

【0029】

次に、図２に例示する画像分割処理部２０６０における領域分割処理の概要について説明する。図４は、荷電粒子ビームの走査対象であるパターン、当該パターンにビームを走査することによって得られる画像、及び画像の輝度分布情報から形成される信号波形の一例を示す図である。

【0030】

図４（ａ）に例示するような断面形状を有するラインパターン４０１に荷電粒子ビームを二次元走査し、当該走査によって得られる荷電粒子を検出することによって、図４（ｂ）に例示するような二次元画像４０２を形成することができる。更に投影処理を行う（各画素列の信号を加算平均する）ことによって、図４（ｃ）に例示するような信号波形（プロファイル）４０４を生成することができる。

【0031】

図４（ａ）に例示するような断面を持つパターンに対しビームを走査すると、パターンのエッジに対応する位置４０３から放出される荷電粒子の量は、エッジ効果により、その他の領域から放出される荷電粒子の量より多くなる。上述のように、画像を用いた計測や検査では、エッジ部分の輝度情報が重要である。このため、図４（ｃ）に例示するように、閾値Ｔｈ（４０５）を設定し、輝度が所定の閾値を超える領域から得られる領域、もしくは閾値を超える領域に数画素のマージンを持たせた領域の変換誤差に対する係数をλ_２とし、それ以外の領域から得られる変換誤差に対する係数をλ_１とすることができる。これにより、エッジ部分の再現性に優れた学習モデルを生成することが可能となる。

【0032】

なお、パターンのエッジ部分の特定に基づいて測定を行うような場合、所定の閾値以上の輝度を持つ領域として抽出される領域だけではなく、その周囲も含めた領域をエッジ領域として抽出することが望ましい。特に、エッジ間の寸法を測定する場合、ホワイトバンド（エッジに対応する高輝度領域）の輝度の分布情報を利用して測定の基準位置を決めるため、ホワイトバンド周辺の輝度値も計測値に影響を及ぼすことになる。このため、自動抽出されたホワイトバンド領域と、その周囲の所定の画素数分の領域（周辺領域）も併せて抽出した画像データを教師データとすることが望ましい。周辺領域を含めた画像データを抽出する具体的な手法は、図６を用いて後述する。

【0033】

図５は、画像の分割条件と、分割された領域に対する損失関数の重み（誤差の調整条件）の設定を可能とするＧＵＩ画面の一例を示す図である。なお、図５では、分割領域毎に重み係数λを設定するＧＵＩを例示しているが、これに限られることはなく、学習に要する処理の負荷を調整可能な他のパラメータを入力できるようにしても良い。

【0034】

図５に例示するＧＵＩ画面は、例えば図１に示す入力装置２０３の表示装置に表示させることができる。このようなＧＵＩ画面により、コンピュータシステム２０２（コンピュータサブシステム）によるバックプロパゲーションの条件（学習条件）設定が可能となる。図５に例示するＧＵＩ画面５０１には、ＳＥＭ画像表示領域５０２と、損失関数条件設定領域５０３が含まれている。

【0035】

損失関数条件設定領域５０３では、画像分割条件の選択が可能となっている。具体的には、損失関数設定領域５０３には、ＧＵＩ上で所望の領域を設定するときに選択するＲＯＩ（Region Of Interest） ｓｅｔｔｉｎｇ、自動で領域分割を行うときに選択するＡｕｔｏ Ｓｅｇｍｅｎｔａｔｉｏｎ、及び輝度に応じて自動的に領域分割を行うときに選択するＡｒｅａ ｄｉｖｉｓｉｏｎ ｂｙ ｂｒｉｇｈｔｎｅｓｓの選択ボタンが設けられている。

【0036】

例えばＲＯＩ ｓｅｔｔｉｎｇを選択すると、ＳＥＭ画像表示領域５０２内に、ポインタ５０４によって任意の位置に任意のサイズで設定が可能なＲＯＩ設定枠５０５が表示される。ポインタ５０４によってＲＯＩの位置とサイズを設定した後、重み係数設定枠５０６に所望の重み係数（λ_１、λ_２）を設定することによって、ＲＯＩに対する学習の負荷の程度の設定ができる。また、ＲＯＩとして設定しない領域については、Ｂａｃｋｇｒｏｕｎｄの重み係数（λ_ｇ）を設定することによって、選択領域以外の重み係数を選択することができる。上述のように、ＲＯＩとして選択しない領域の重み係数（λ_ｇ）に対して、相対的にＲＯＩとして選択した領域の重み係数（λ_１、λ_２）を高く設定することによって、ＲＯＩ内の画像の再現性や品質を向上させることが可能となる。

【0037】

また、Ａｕｔｏ Ｓｅｇｍｅｎｔａｔｉｏｎを選択すると、コンピュータシステム２０２は、例えばセマンティックセグメンテーションによって領域分割を自動的に実行する。

【0038】

更に、Ａｒｅａ ｄｉｖｉｓｉｏｎ ｂｙ ｂｒｉｇｈｔｎｅｓｓを選択すると、コンピュータシステム２０２は、画像内の輝度情報に応じた領域分割を実行する。具体的には輝度に応じたｎ値化（ｎ≧２）処理などにより画像内で領域分割を行う。Ａｕｔｏ Ｓｅｇｍｅｎｔａｔｉｏｎや、Ａｒｅａ ｄｉｖｉｓｉｏｎ ｂｙ ｂｒｉｇｈｔｎｅｓｓの選択によって分割された各領域について、損失関数の重み係数を設定するための重み係数設定欄５０７を設けておくことによって、各領域について適切な重みを設定することができる。

【0039】

なお、本実施の形態では、画像を分割し、分割領域の重要度に応じた損失関数条件を定義する例について説明するが、これに限られることはなく、例えばＲＯＩだけを選択的に学習し、その他の領域については学習しない、という選択を行うことも可能である。すなわち、図１の入力装置２０３からは分割に係る情報（領域情報等）は入力せず、画像分割処理部２０３における分割処理を実行しないような設定も可能である。ＲＯＩ以外の部分は低品質画像でも良く、計測や検査に用いるエッジ部分だけを高品質画像としたい場合には、このような選択的学習を行うようにしても良い。

【0040】

一方で、本実施の形態のように学習に要する処理の程度を領域単位で設定できるようにしておけば、画像の再現性と学習に要する処理時間等を勘案した、目的に応じた適切な学習条件を設定することが可能となる。更に、ＲＯＩ以外を最適化しようとすると、ＲＯＩ内の再現画像の品質の向上を阻害する要因となる可能性があるが、ＲＯＩ内をより高品質にするような学習を可能とすることによって、早期の再現画像の品質向上を行うことが可能となる。なお、セマンティックセグメンテーション等に替えて、Ｋ－ｍｅａｎｓ法等の他の分割処理法を適用することも可能である。

【0041】

図２は、低品質画像を入力することによって、高品質画像を出力するシステムを例示しているが、ここで低品質画像とは、例えば少フレーム画像のことである（１フレームとは例えば１の二次元走査）。走査電子顕微鏡等では、画質を向上させるために、同じ視野（Field of View：ＦＯＶ）を複数回走査し、得られた検出信号を積算（加算平均）することによって、画像のＳ／Ｎ比を向上させることができるが、一方でビームを複数回走査すると帯電の蓄積やパターンのシュリンク等が発生する可能性がある。本実施の形態では、低品質画像を１フレーム画像とし、教師データとなる高品質画像を６４フレームのような多フレーム画像とすることによって、低品質画像から高品質画像を再現する。

【0042】

なお、多フレームのビーム走査を行うと、パターンがシュリンクすることがある。このため、本実施の形態では、例えば６４フレームのビーム走査を行い、高品質画像を生成するのに必要な画像信号を取得し、その後に、少フレーム画像（例えば１フレーム画像）を取得する。そして、この少フレーム画像を画像変換部２０３０によって変換し変換画像とすると共に、先に取得した６４フレーム画像のような高品質画像を教師データとして、両者の変換誤差を算出する。これにより、シュリンク等の影響を抑制しつつ、学習器に学習を施すことができる。

【0043】

なお、ビーム走査初期はパターンのシュリンク量が大きいので、例えばシュリンクがある程度収まった時点（例えば走査開始からｎフレームの走査が終了したとき）から、多フレーム画像生成用の信号取得を開始し、このようにして得られた検出信号に基づいて高品質画像を生成するようにすると良い。

【0044】

図６は、輝度分布情報を用いて領域分割を行った画像の一例を示す図である。図６に例示するような画像から投影等により輝度分布情報を抽出すると、図４（ｃ）に例示するような信号波形を生成することができる。ここで所定の閾値を超えた領域のｘ方向の中心を基準とした所定の領域、或いは所定の閾値を超えた領域のｘ方向の端部からｎ画素分（ｎは任意の自然数）拡張した領域をＲＯＩ６０１とし、当該部分固有の損失関数条件（重み係数など）の設定を可能とする、これにより、高輝度部分だけではなく、ピーク波形として表現可能な領域の品質を向上させることができる。

【0045】

図７は、第１の実施の形態（図２）のシステムを用いた学習器の学習条件の設定、設定された学習条件による学習、及び学習を施された学習器を用いた画像生成工程を示すフローチャートである。

【0046】

まず、コンピュータシステム２０２は、図１に例示するような画像生成ツールの出力画像、或いは記憶媒体２０１に記憶されている画像を取得する（ステップＳ７０１）。一方、画像分割処理部２０６０では、入力装置２０３等で指定された領域情報に従い、当該画像に対し領域分割の処理を実行する（ステップＳ７０２）。画像分割処理部２０６０は、例えば図５に例示したＧＵＩ画面で設定された画像分割条件に基づいて、画像の分割を実行する。

【0047】

次に図５に例示するＧＵＩ画面等から、学習に要する負荷のパラメータの１つである損失関数の重み係数を分割領域単位で設定することによって、領域単位の学習条件を設定する（ステップＳ７０３）。

【0048】

次に、学習器を含むコンピュータシステム２０２へ低品質画像を入力することによって、画像変換部２０３０にて変換画像を生成する（フォワードプロパゲーション）。更に、変換誤差算出部２０４０では、低品質画像とは別にコンピュータシステム２０２に入力された高品質画像と、変換画像との画素単位の差分を求め、フォワードプロパゲーションによって生成された画像と、正解画像である高品質画像との誤差を算出する。ここで変換パラメータ更新部２０５０では、画像領域単位で割り当てられた重み係数と各領域の損失関数とを用いてバックプロパゲーションを実行し、ニューラルネットワークの重み及びバイアスの変化を計算し、その値を更新する（ステップＳ７０４）。

【0049】

以上のようなフォワードプロパゲーションとバックプロパゲーションを１回以上繰り返すことによって、学習を行う。なお、フィードバックの手法として進化アルゴリズムを適用することも可能である。

【0050】

以上のように、学習されたモデルは特定領域について選択的に高度な学習が施されているので、学習に要する手間や時間を抑制しつつ、再現性の良い推定（画像変換、ステップＳ７０５）を行うことが可能となる。

【0051】

次に、位置合わせパターンとの相対位置関係が異なる位置毎に、異なる重み係数を設定しておくことによって、領域単位の重要度等に応じた学習を行う例について説明する。

【0052】

図８（ａ）は、半導体ウェハ等の試料上に形成された位置合わせ用パターン８０１と、第１の視野８０２、及び第２の視野８０３との位置関係を示す図である。図１に例示するような走査電子顕微鏡等で所望の位置に視野を位置付ける場合、例えば、位置合わせパターン８０１、或いは所望の位置の座標に、視野位置が位置付けられるように走査電子顕微鏡内に設けられたステージを移動させ、所望の位置の視野より広範囲にビームを走査することによって、低倍率画像を生成する。低倍率画像の取得後、予め登録された位置合わせパターン８０１が含まれるテンプレート画像を用いたパターンマッチングを実行することによって、位置合わせパターン８０１の位置を特定し、当該位置合わせパターン８０１と既知の位置関係にある第１の視野８０２と第２の視野８０３への視野移動を行う。

【0053】

図１に例示する走査電子顕微鏡は、レシピと呼ばれる動作プログラムによって制御され、予め登録された位置合わせ用パターン８０１と所望の視野位置との距離（（－ｘ_１，－ｙ_１）、（ｘ_２，ｙ_２））情報に基づいて、視野移動を行うように１以上のコンピュータシステムによって制御される。図８（ａ）に例示するように、視野位置ごとの重要度等に応じて、損失関数の重み係数（λ_１，λ_２）を定義しておくことによって、学習の効率化を実現することが可能となる。

【0054】

更に、図８（ｂ）に例示するように、レシピに予め視野８０４内のＲＯＩ８０５の重み係数λ_３と、それ以外の領域８０６の重み係数λ_４を設定可能としておくようにしても良い。

【0055】

図９及び図１０に、第１の実施の形態の変形例を示す。
図９は、第１の実施の変形例に係る、ＢＳＥ検出器９０１、９０２と、ＳＥ検出器９０８を備えた走査電子顕微鏡の一例を示す図である。図９に図示以外の構成については、第１の実施の形態と同様の構成（図１）とすることができる。この図９の例では、対物レンズ１１１を通過する電子ビームの高速化と、試料１１２に到達する電子ビームの低加速化を両立すべく、試料１１２に負電圧が印加されている。試料１１２への負電圧の印加によって、対物レンズ１１１との間に試料１１２に到達するビームを減速させる減速電界が形成される。このような光学系では、試料１１２から放出された二次電子９０７はほぼビーム光軸９０４に沿って加速され、例えばウィーンフィルタ９０６によってＳＥ検出器９０８に向かって偏向される。

【0056】

一方、二次電子９０７に対して高加速である後方散乱電子９０３は、相対的に減速電界の影響を受けることがなく、ＳＥ検出器９０８よりも試料１１２に近い側に配置されたＢＳＥ検出器９０１、９０２によって検出される。後方散乱電子９０３は、例えばパターンの側壁に衝突すると、試料１１２の表面に対して傾斜した方向に反射し、対物レンズ１１１の集束作用を受けてＢＳＥ検出器９０１、９０２によって検出される。図９に例示するような位置にＢＳＥ検出器９０１、９０２を配置しておくことによって、パターンのエッジ部分等で反射した後方散乱電子を選択的に検出することができるため、エッジ部分とそれ以外の部分のコントラストを明確にすることができる。

【0057】

第１の実施の形態の変形例では、このような現象を利用して、画像の領域分割を、ＢＳＥ像の輝度分布情報を用い、学習器の学習工程を実行する。図１０は、ＢＳＥ像とＳＥ像の双方を用いて学習を行う学習器の学習工程を示すフローチャートである。

【0058】

まず、図９に例示するような光学系を持つ走査電子顕微鏡によって、ＳＥ検出器９０８、ＢＳＥ検出器９０１、９０２の検出信号に基づきＢＳＥ像とＳＥ像を取得する（ステップＳ１００１、Ｓ１００２）。

【0059】

次に、図２に例示する画像分割処理部２０６０にて、ＢＳＥ画像の輝度分布情報を利用した画像分割処理を実行する（ステップＳ１００３）。上述のように、パターンのエッジ等で反射した後方散乱電子はＢＳＥ検出器９０１、９０２で検出される一方、それ以外の方向に放出された後方散乱電子は検出されない。よって、ＢＳＥ像はエッジ部とそれ以外の部分のコントラストが明確になる。そこで、画像分割処理部２０６０では、例えばＢＳＥ像の中の所定の閾値以上の高輝度部分を抽出し、当該部分、或いは当該高輝度部分を数画素分拡げた部分をＲＯＩと設定する。また、それ以外の部分を背景と定義する。

【0060】

コンピュータシステム２０２は、例えば図５に例示するようなＧＵＩ画面から入力された損失関数に関する情報（本実施の形態の場合、重み係数）を各分割領域に対応する損失関数情報として設定（ステップＳ１００４）し、例えば記憶部１０５に記憶させる。上述のようにＲＯＩと背景の２つの領域に画像分割する場合には、重み係数λ_１、λ_ｇを設定する。

【0061】

コンピュータシステム２０２は、以上のようにして領域ごとに設定された重み係数を用いて、各領域単位で異なる学習（１回以上のフォワードプロパゲーションとバックプロパゲーションの繰り返し）を行うことによって、学習器の学習を行う（ステップＳ１００５）。図１０に例示するような手法によれば、効率の良い学習を行うことができる。

【0062】

［第２の実施の形態］
次に、図１１～図１４を参照して、第２の実施の形態に係る画像生成システムを説明する。図１１のブロック図は、第２の実施の形態の画像生成システムの一例を示している。第１の実施の形態（図２）と同一の構成要素については、図１１において同一の参照符号を付しているので、以下では重複する説明は省略する。

【0063】

図１１に例示するシステムは、単に高品質画像とするのではなく、より見栄えの良い画像を生成することを可能にしたシステムである。具体的に図１１のシステムは、図２のシステムの構成要素に加え、領域毎輝度補正部２０７０を備えている。領域毎輝度補正部２０７０は、画像分割処理部２０６０によって分割された画像のそれぞれについて、輝度補正処理を行うよう構成されている。すなわち、領域毎輝度補正部２０７０は、分割された各領域が所定の輝度となるよう輝度値を補正するように構成されている。

【0064】

図１２は、図１１に例示するコンピュータシステム２０２に入力された高品質画像、当該高品質画像を画像分割処理部２０６０によって分割した領域分割画像、及び当該領域分割画像の分割された領域のそれぞれに対して領域毎輝度補正部２０７０にて輝度調整を行った輝度調整画像の例を示す図である。図１２に例示する高品質画像１２０１は、一例として半導体デバイスを撮像した画像であり、上層配線１２０２、下層配線１２０３、円形の構造物１２０４、及び配線等と重畳している円形の構造物１２０５を含んでいる。

【0065】

画像分割処理部２０６０は、例えばセマンティックセグメンテーションや輝度に応じた領域分割を行うことによって、領域分割画像を生成する。輝度に応じた領域分割を行う場合、例えば所定の輝度範囲ごとに画像を分割するような処理を行うことが考えられる。例えば高品質画像１２０１内に含まれる上層パターン１２０２は下層パターン１２０３より明るい場合が多い。これは試料表面に近い方が、二次電子が放出し易く、相対的に二次電子の検出量が多いためである。更にパターンの形状や他の構造物との位置関係等を特徴量に変換し、その特徴量に応じた分類を行うようにしても良い。図１２の例では、５つの領域Ａ～Ｅに分割された例を示している。具体的には、図１２では、１つの画像が（１）上層配線１２０２に対応する領域Ａ、（２）下層配線１２０３に対応する領域Ｂ、（３）円形構造物１２０４に対応する領域Ｃ、（４）上層配線１２０２と重畳する円形の構造物１２０５に対応する領域Ｄ、及び（５）背景となる領域Ｅの５つの領域に分割されている。

【0066】

以上のようにして分割された各領域に対して、領域毎輝度補正部２０７０は、入力装置２０３等から入力される輝度補正情報に基づいて輝度補正を行う。輝度補正の条件は、例えば図１３に例示するＧＵＩ画面上で設定するようにしても良い。図１３に例示するＧＵＩ画面１３０１は、コンピュータシステム２０２によって分割された各領域について、輝度の調整が可能なように構成されている。

【0067】

ＧＵＩ画面１３０１には、分割画像表示領域１３０２と、輝度条件設定欄１３０３とが設けられている。分割画像表示領域１３０２には、画像分割処理部２０６０によって生成された分割画像が表示される。輝度条件設定欄１３０３には、各分割領域の輝度を調整するためのスライドバー１３０４や、数値で輝度を設定するための輝度設定欄１３０５等が設けられている。

【0068】

輝度設定欄１３０５には、分割画像の初期の輝度を表示しておき、操作者は輝度設定欄１３０５やスライドバー１３０４を用いて各領域が好みの輝度となるように調整を行うようにすることができる。また、スライドバー１３０４等による輝度の調整に伴って、分割画像表示領域１３０２の各領域の輝度を変えるように表示を調整することによって、操作者は変換画像の出来栄えを確認しつつ、条件設定を行うことが可能となる。

【0069】

なお、この第２の実施の形態では、主に手動で各領域の明るさを調整する例について説明するが、例えば暗い領域は明るくし、明るい領域を暗くするよう、明暗を反転させるモードを設けておき、自動で輝度調整を行うようにしても良い。また、円形の構造物を高輝度とし、その他の領域の輝度を下げるモードを用意しておき、測定や検査目的に応じて使い分けるようにしても良い。

【0070】

図１４は、図１１に例示するシステムにおける、学習器の学習条件の設定工程と、学習工程を示すフローチャートである。このフローチャートによれば、画像に含まれる任意の領域の輝度を、選択的に変化させた画像を生成することができる。

【0071】

第２の実施の形態の学習工程では、図１１に例示するコンピュータシステム２０２は、まず、教師データとなる高品質画像を取得し、画像分割処理部２０６０を用いて分割画像を生成する（ステップＳ１４０１、Ｓ１４０２）。分割画像は、入力装置２０３の表示装置等に表示されたＧＵＩ画面等に表示される。

【0072】

操作者は、分割画像表示領域１３０２に表示された分割画像と、各分割領域の表示装置上の明るさを参照しつつ、適切な輝度補正条件を設定する（ステップＳ１４０３）。領域毎輝度補正部２０７０は、設定された輝度補正値条件で画像の輝度補正を行い（ステップＳ１４０４）、輝度補正された画像データを正解データ（ラベル）として変換誤差算出部２０４０に送る。

【0073】

一方、画像変換部２０３０は、低品質画像を入力としたフォワードプロパゲーションを実行すべく、学習用の低品質画像を取得（ステップＳ１４０５）し、変換画像を生成する（ステップＳ１４０６）。変換誤差算出部２０４０は、フォワードプロパゲーションを経て生成された変換画像と、領域毎輝度補正部２０７０の出力である輝度補正画像との間の誤差を求める。変換パラメータ更新部２０５０は、画素単位で変換誤差を教師データとして受け取り、損失が最小となる変換パラメータを設定する（ステップＳ１４０７、Ｓ１４０８）。ステップＳ１４０１～１４０８の処理を１回以上繰り返すことによって、学習が実行される。

【0074】

図１１に例示するようなコンピュータシステム２０２によれば、分割領域のそれぞれ（例えば配線と円形の構造物）に対して異なる学習を施すことができるため、操作者の好みに応じた画像を、低品質画像から生成することが可能となる。

【0075】

なお、上述の実施の形態では各分割領域の輝度を変化させる例について説明したが、例えば特定のパターンにグレーレベル以外の色を画像処理によって着色し、それを教師データとすることも可能である。

【0076】

［第３の実施の形態］
次に、図１５を参照して、第３の実施の形態に係る画像生成システムを説明する。この第３の実施の形態のシステムは、基本構成は前述の実施の形態の構成（図２、図１１）と同様でよい。ただし、この第３の実施の形態は、前述の実施の形態の構成に加え（又は替えて）、領域毎に走査速度を変更することにより、領域毎に異なる学習を実行可能に構成されている。

【0077】

図１５は、第３の実施の形態の特徴を説明する概念図である。図１５（ａ）は、１つの視野（ＦＯＶ）内において、低速走査領域と高速走査領域を設定した例を示している。ＦＯＶ内の高速走査と低速走査の切り替えは、例えば電子顕微鏡の走査偏向器に供給する走査信号を、図１５（ｂ）のように変化させることによって実現することができる。信号波形の傾きは走査速度を示し、図１５（ｂ）の例は、領域（ｂ）の走査速度を領域（ａ）（ｃ）に対し１／２にしたことを示している。走査速度が速い程、単位面積当たりのビーム照射量が減るため、帯電等の影響を低減できる一方で、照射量が少ない分、検出信号量は減少する。

【0078】

この第３の実施の形態では、例えば測定基準や検査の対象となる領域をＲＯＩとして設定すると共に、当該ＲＯＩで選択的に低速走査を行うことができる。これにより、必要な情報の取得とＦＯＶ内の帯電等の影響の抑制の両立を実現できる。

【0079】

前述した通り、第１の実施の形態（図２）では、ＲＯＩの部分を選択的に学習させ、他の領域は学習しないか、又は或いは重みλを下げることによって、効率の良い学習を行うことが可能となる。

【0080】

第３の実施の形態では、フレーム数を変えるだけではなく走査速度を変えることによっても、低品質画像と高品質画像を生成することができる。また、走査速度を変える代わりに、単位面積当たりのビームの照射量を変える他の手段によっても、低品質画像と高品質画像を生成することが可能である。

【0081】

（その他）
領域単位で異なる学習を施す方法として、更に別の例を説明する。試料に対し電子ビームを走査することによって発生する二次電子は、平坦な試料表面に対し、パターン等のエッジ部分の方が、放出量が多く、画像上では高輝度に表示される。一方、試料から放出される後方散乱電子は、試料に含まれる材質に応じたコントラスト画像を生成するのに適している。更に、図９に例示するような光学系を備えた電子顕微鏡によれば、特定の方向に向かう後方散乱電子を選択的に検出することができるため、試料上の構造物の縁部分のコントラストが明確な画像を生成することが可能となる。

【0082】

以上のような検出電子の特徴と、計測や検査の目的に応じた学習モデルを生成する他の例について以下に説明する。まず、パターンのエッジ間の寸法を測定するための画像を生成する学習モデルの場合、ＳＥ像の高輝度領域（エッジ部分）の重み係数を大きくすることが望ましい。また、材質コントラストを明確にする必要がある場合には、ＢＳＥ像の中で輝度が大きく変化する部分（材質が変化する部分）の重み係数を大きくすることが考えられる。図９に例示するような二次電子と後方散乱電子を同時に検出できる光学系を用いて、ＳＥ像とＢＳＥ像の生成と、目的に応じた複数の学習を実行可能なシステムの提供によって、用途に応じた複数のモデルを効率よく生成することが可能となる。

【0083】

なお、上述の実施の形態では低品質画像の画像変換によって、高品質画像を生成（推定）する学習器を含むシステムについて説明したが、高品質画像ではなく、高品質画像から求められるエッジ間の寸法値、プロファイル波形、輪郭線、ラフネス評価値などを正解データとして学習を施し、これらの値やデータを推定するようにしても良い。例えばエッジ間寸法であれば、寸法の計測対象となる２以上のエッジが含まれる高品質画像から、計測アルゴリズムによって求められる寸法値を正解データとすると共に、高品質画像と同じ領域の低品質画像のフォワードプロパゲーションによって求められる寸法値と、正解データの寸法値との誤差を最小化するように変換パラメータを更新するようにして学習を実行する。

【0084】

他の推定対象も同等であり、高品質画像から正解データを抽出し、バックプロパゲーションによって学習を実行することで、学習器に学習を施すことが可能となる。

【0085】

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

【符号の説明】

【0086】

１００…走査電子顕微鏡システム、１０１…撮像部（走査電子顕微鏡）、１０２…コンピュータシステム、１０３…信号処理部、１０４…入出力部、１０５…記憶部、１０６…電子銃、１０７…電子ビーム、１０８…集束レンズ、１０９…集束レンズ、１１０…偏向器、１１１…対物レンズ、１１２…試料、１１３…ステージ、１１４…放出電子、１１５…偏向器、１１６…検出絞り、１１７ａ、１１７ｂ…エネルギーフィルタ、１１８…二次電子、１１９…検出器、１２０…二次電子、１２１…検出器、１２３…、２０１…記憶媒体、２０２…コンピュータシステム、２０３…入力装置、２０３０…画像変換部、２０４０…変換誤差算出部、２０５０…変換パラメータ更新部、２０６０…画像分割処理部、２０７０…領域毎輝度補正部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】