特許 7316867 半導体画像処理装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-07-20

(45)【発行日】2023-07-28

(54)【発明の名称】半導体画像処理装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230721BHJP

   H01J 37/22 20060101ALI20230721BHJP

【ＦＩ】

G06T7/00 350B

H01J37/22 502H

H01J37/22 502K

H01J37/22 502L

【請求項の数】 10

(21)【出願番号】P 2019137061

(22)【出願日】2019-07-25

(65)【公開番号】P2021022056

(43)【公開日】2021-02-18

【審査請求日】2022-03-09

(73)【特許権者】

【識別番号】318010018

【氏名又は名称】キオクシア株式会社

(74)【代理人】

【識別番号】100091982

【弁理士】

【氏名又は名称】永井 浩之

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100105153

【弁理士】

【氏名又は名称】朝倉 悟

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100118843

【弁理士】

【氏名又は名称】赤岡 明

(74)【代理人】

【識別番号】100103263

【弁理士】

【氏名又は名称】川崎 康

(72)【発明者】

【氏名】中島 篤

(72)【発明者】

【氏名】ウン ユー ヤン

(72)【発明者】

【氏名】河野 祐子

(72)【発明者】

【氏名】大橋 拓司

(72)【発明者】

【氏名】井田 知宏

【審査官】新井 則和

(56)【参考文献】

【文献】国際公開第２０１７／２０５５３７（ＷＯ，Ａ１）

【文献】特開２０１２－１７７６３２（ＪＰ，Ａ）

【文献】特開２０１１－１５９０９７（ＪＰ，Ａ）

【文献】Aitor Alvarez-Gila et al.，Adversarial Networks for Spatial Context-Aware Spectral Image Reconstruction from RGB，2017 IEEE International Conference on Computer Vision Workshops (ICCVW)，2017年10月29日，https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=8265274，IEL Online(IEEE Xplore)

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｈ０１Ｊ ３７／２２

(57)【特許請求の範囲】

【請求項1】

第１半導体画像を入力する画像入力部と、
露光条件を入力する露光条件入力部と、
前記第１半導体画像の解像度を落としながら段階的に特徴量を抽出するエンコード処理、又は前記エンコード処理後に前記第１半導体画像の解像度を段階的に高くして第２半導体画像を生成するデコード処理の少なくとも一方を行っている最中に前記露光条件を入力し、前記露光条件を考慮に入れて前記特徴量を抽出して前記第２半導体画像を生成する生成器と、
入力された画像が前記第２半導体画像か、予め用意した第３半導体画像かを判別する判別器と、を備え、
前記生成器は、前記判別器が判別した結果に基づいて、前記判別器が前記第２半導体画像を誤って前記第３半導体画像と判別するように学習を行い、
前記判別器は、前記第２半導体画像を誤って前記第３半導体画像と判別しないように、かつ前記第３半導体画像を誤って前記第２半導体画像と判別しないように学習を行う、半導体画像処理装置。

【請求項2】

第１半導体画像を入力する画像入力部と、
露光条件を入力する露光条件入力部と、
前記第１半導体画像の解像度を落としながら段階的に特徴量を抽出するエンコード処理、又は前記エンコード処理後に前記第１半導体画像の解像度を段階的に高くして第２半導体画像を生成するデコード処理の少なくとも一方を行っている最中に前記露光条件を入力し、前記露光条件を考慮に入れて前記特徴量を抽出して前記第２半導体画像を生成する生成器と、
前記第２半導体画像及び予め用意した第３半導体画像からそれぞれ部分画像を切り出す画像切り出し部と、
前記部分画像の切り出し位置が固定にならないように、前記切り出し位置を決定する切り出し位置決定部と、
入力された画像が前記第２半導体画像の部分画像か、前記第３半導体画像の部分画像かを判別する判別器と、を備え、
前記生成器は、前記判別器が判別した結果に基づいて、前記判別器が前記第２半導体画像の部分画像を誤って前記第３半導体画像の部分画像と判別するように学習を行い、
前記判別器は、前記第２半導体画像の部分画像を誤って前記第３半導体画像の部分画像と判別しないように、かつ前記第３半導体画像の部分画像を誤って前記第２半導体画像の部分画像と判別しないように学習を行う、半導体画像処理装置。

【請求項3】

前記切り出し位置決定部は、前記切り出し位置をランダムに決定する、請求項２に記載の半導体画像処理装置。

【請求項4】

前記切り出し位置決定部は、前記切り出し位置を所定量ずつずらすように決定する、請求項２に記載の半導体画像処理装置。

【請求項5】

前記露光条件は、前記第１乃至第３半導体画像に対応する処理済半導体装置を製造する際に使用する露光機の露光量である、請求項１乃至４のいずれか一項に記載の半導体画像処理装置。

【請求項6】

前記露光条件は、前記第１乃至第３半導体画像に対応する処理済半導体装置を製造する際に使用する露光機のフォーカス条件である、請求項１乃至４のいずれか一項に記載の半導体画像処理装置。

【請求項7】

前記第１半導体画像は、処理済半導体装置を設計するための半導体設計画像であり、
前記第３半導体画像は、前記処理済半導体装置を撮影した半導体撮像画像であり、
前記第２半導体画像は、前記第３半導体画像を推測した半導体推測画像である、請求項１乃至６のいずれか一項に記載の半導体画像処理装置。

【請求項8】

前記第１半導体画像は、処理済半導体装置を撮影した半導体撮像画像であり、
前記第３半導体画像は、処理済半導体装置を設計するための半導体設計画像であり、
前記第２半導体画像は、前記第３半導体画像を推測した半導体推測画像である、請求項１乃至６のいずれか一項に記載の半導体画像処理装置。

【請求項9】

前記第１半導体画像は、処理済半導体装置を撮影した半導体撮像画像であり、
前記第３半導体画像は、前記第１半導体画像とは異なる手法で前記処理済半導体装置を撮影した半導体撮像画像であり、
前記第２半導体画像は、前記第３半導体画像を推測した半導体推測画像である、請求項１乃至６のいずれか一項に記載の半導体画像処理装置。

【請求項10】

前記半導体撮像画像は、電子顕微鏡で拡大された像の撮像画像、光学顕微鏡で拡大された像の撮像画像、又は回折像の撮像画像である、請求項７乃至９のいずれか一項に記載の半導体画像処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の実施形態は、半導体画像処理装置に関する。

【背景技術】

【0002】

半導体装置のレイアウトを表すＣＡＤ設計図面に基づいて、露光装置を用いて半導体装置を製造する場合、ＣＡＤ設計図面通りに半導体装置が製造されたか否かを検証する必要がある。このような検証に、ＧＡＮ（Generative Adversarial Networks：敵対的生成ネットワーク）を用いる研究が進められている。ＧＡＮを用いることで、半導体装置の撮像画像（以下、半導体撮像画像）を推測した半導体画像を生成することができ、半導体装置を実際に製造する前に、ＣＡＤ設計図面に基づいて所望の半導体装置が製造されるか否かを評価することができる。

【0003】

半導体装置の製造には、露光装置が用いられる。露光装置では、半導体処理基板に電子線やＸ線等の荷電粒子線を照射して描画処理を行う。その際、露光量やフォーカス条件等の露光条件によって、半導体装置の出来栄えが変化する。このため、ＧＡＮを用いてＣＡＤ設計図面から半導体画像を生成する際にも、露光条件を考慮に入れなければ、信頼性の高い半導体画像を生成することができない。

【先行技術文献】

【特許文献】

【0004】

【文献】特許４５８９３１５号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明の一態様は、信頼性の高い半導体画像を生成可能な半導体画像処理装置を提供するものである。

【課題を解決するための手段】

【0006】

本実施形態によれば、第１半導体画像を入力する画像入力部と、
露光条件を入力する露光条件入力部と、
前記第１半導体画像の解像度を落としながら、前記露光条件を考慮に入れて特徴量を抽出する処理を行った後に、解像度を高くして、第２半導体画像を生成する生成器と、
入力された画像が前記第２半導体画像か、予め用意した第３半導体画像かを判別する判別器と、を備え、
前記生成器は、前記判別器が判別した結果に基づいて、前記判別器が前記第２半導体画像を誤って前記第３半導体画像と判別するように学習を行い、
前記判別器は、前記第２半導体画像を誤って前記第３半導体画像と判別しないように、かつ前記第３半導体画像を誤って前記第２半導体画像と判別しないように学習を行う、半導体画像処理装置が提供される。

【図面の簡単な説明】

【0007】

【図1】第１の実施形態による半導体画像処理装置の概略構成を示すブロック図。

【図2】生成器の処理動作を模式的に示す図。

【図3】第１の実施形態による半導体画像処理装置の学習時の処理の流れを示す図。

【図4】推論時の処理の流れを示す図。

【図5】推論処理の処理動作を示すフローチャート。

【図6】図１の半導体画像処理装置のハードウェア構成を示すブロック図。

【図7】パッチの一例を示す図。

【図8】第２の実施形態による半導体画像処理装置の概略構成を示すブロック図。

【図9】（ａ）と（ｂ）は第２半導体画像及び第３半導体画像から一部の部分画像を切り出す例を示す図。

【図10】第２の実施形態による半導体画像処理装置の学習時の処理の流れを示す図。

【図11】第２の実施形態による半導体画像処理装置の学習時の処理動作を示すフローチャート。

【図12】第１と第３半導体画像の全組合せを示す図。

【発明を実施するための形態】

【0008】

以下、図面を参照して、半導体画像処理装置の実施形態について説明する。以下では、システムの主要な構成部分を中心に説明するが、半導体画像処理装置には、図示又は説明されていない構成部分や機能が存在しうる。

【0009】

（第１の実施形態）
図１は第１の実施形態による半導体画像処理装置１の概略構成を示すブロック図である。図１の半導体画像処理装置１は、画像入力部２と、露光条件入力部３と、生成器４と、判別器５と、出力部６とを備えている。

【0010】

画像入力部２は第１半導体画像を入力する。第１半導体画像とは、例えば、処理済半導体装置を製造する元となるＣＡＤ図面である。処理済み半導体装置とは、実際に製造された半導体装置を指す。なお、第１半導体画像はＣＡＤ図面以外でもよいが、その具体例は後述する。ＣＡＤ図面は、例えばモノクロの線図情報である。ＣＡＤ図面は、処理済半導体装置の表面の線図情報でもよいし、断面の線図情報でもよい。また、処理済半導体装置が複数層からなる場合に、各層ごとの複数のＣＡＤ図面を設けてもよい。

【0011】

露光条件入力部３は露光条件を入力する。露光条件とは、処理済半導体装置を製造する際に用いられる不図示の露光機の設定パラメータである露光量やフォーカス条件である。フォーカス条件は、例えばデフォーカス量である。

【0012】

露光条件を入力するのは、以下の理由からである。半導体装置を製造する際のフォトリソグラフィの主な処理手順には、成膜、レジスト塗布、露光、現像、エッチング、アッシングがあり、これらの処理手順を何度も繰り返すことで、半導体装置の半導体回路が複数層にわたって形成される。半導体製造装置に設定すべきパラメータは数多いが、特に露光機に設定する露光条件のうち露光時の露光量とフォーカス条件が半導体回路の出来に大きく影響する。露光量は露光光を当て続ける時間を表すパラメータ、フォーカス条件は露光光が結像する焦点位置を調整するためのレンズの位置のパラメータである。

【0013】

ネガ型レジストの場合、露光量が多ければレジストが固まってエッチング時に残りやすくなるため、その後のアッシング時にレジストの下の半導体回路も残りやすくなる。少なければ十分には固まらず、レジストが残りにくく、その下の半導体回路も残らなかったり崩れたりする。

【0014】

また、フォーカスが合っていれば、半導体装置製造者の意図した箇所のみに強く露光光が当たりレジストが残りやすくなるが、ずれていればぼやけてしまい、露光光が弱くなったうえ広がるため、レジストが残りにくく、その下の半導体回路でも残らなかったり崩れたり、意図した幅より広い配線ができたりする。

【0015】

ポジ型レジストの場合は逆に露光光が十分当たった箇所ほどエッチング時に除去されやすくなるが、十分当たらなかった場合は除去されず、その下の半導体回路は繋がったままになったりする。

【0016】

このような事情から、本実施形態では、露光条件を考慮に入れて、後述する第２半導体画像を生成する。

【0017】

図１の生成器４は、第１半導体画像の二次元解像度を段階的に落としながら、露光条件を考慮に入れて特徴量を抽出する処理を行った後に、二次元解像度を段階的に高くして、第２半導体画像を生成する。第２半導体画像とは、第３半導体画像を推測するために生成器４により生成される半導体推測画像である。第３半導体画像とは、例えば処理済半導体装置を所定の露光条件で実際に製造した後、撮影した画像である。なお、第２半導体画像と第３半導体画像は、上述した画像以外でもよいが、その具体例は後述する。生成器４は、後述するように第１半導体画像、第２半導体画像、及び露光条件をセットにして判別器５と出力部６に送る。出力部６は、例えば、第１半導体画像、第２半導体画像、及び露光条件を不図示の表示装置に出力する。あるいは、出力部６は、第１半導体画像、第２半導体画像、及び露光条件をセットにして不図示の記録装置に記録する。

【0018】

判別器５は、入力された画像が第１半導体画像と第２半導体画像、又は第１半導体画像と予め用意した第３半導体画像かを判別する。すなわち、判別器５は、第２半導体画像が第３半導体画像と同じであるか否かの真偽判断を行う。

【0019】

生成器４は、判別器５が判別した結果に基づいて、判別器５が第２半導体画像を誤って第３半導体画像と判別するように学習を行う。より詳細には、生成器４は、判別器５が判別した真偽判別結果に基づいて第２半導体画像の損失を計算し、損失ができるだけ小さくなるように学習を行う。生成器４は、判別器５を騙せるように、第３半導体画像にできるだけ似せた第２半導体画像を生成する。

【0020】

より具体的には、生成器４は、ＧＡＮを構成する第１ニューラルネットワークに第１半導体画像と露光条件を入力し、判別器５による真偽判定結果に基づいて第１ニューラルネットワークの重み係数等を更新し、更新された第１ニューラルネットワークを用いて、新たな第２半導体画像を生成する。

【0021】

判別器５は、ＧＡＮを構成する第２ニューラルネットワークに、第１半導体画像と生成器４で生成された第２半導体画像、又は第１半導体画像と第３半導体画像を入力し、入力された第２半導体画像が第３半導体画像であるか否かの真偽判別を行う。判別器５は、第２半導体画像を誤って第３半導体画像と判別しないように、かつ、第３半導体画像を誤って第２半導体画像と判別しないように、学習を行い、第２ニューラルネットワークの重み係数等を更新する。

【0022】

このように、生成器４と判別器５がそれぞれ学習処理を行うことで、ＧＡＮを構成する第１ニューラルネットワークと第２ニューラルネットワークを更新して、最終的に第３半導体画像に類似する第２半導体画像を生成する。

【0023】

図１の半導体画像処理装置１は、学習データ蓄積部７を備えていてもよい。学習データ蓄積部７は、上述した第１半導体画像、第３半導体画像及び露光条件など、学習処理に使用される各種情報を記憶する。

【0024】

図１の半導体画像処理装置１は、生成器４と判別器５が競い合うことにより、第２半導体画像を第３半導体画像に近づけるものであり、上述したＧＡＮを構成する第１ニューラルネットワークと第２ニューラルネットワークを更新しながら、第２半導体画像の生成と、第２半導体画像の真偽判別を行う。この処理を本明細書では学習処理と呼ぶ。

【0025】

通常のＧＡＮでは、生成器４への入力が乱数であるため、生成器４で意図通りの画像を生成するのは困難である。そこで、本実施形態では、Conditional GANの一種のpix2pixと呼ばれる技術を利用して、ＣＡＤ図面等の第１半導体画像を生成器４に与えることで、目標とする第３半導体画像に類似した第２半導体画像を生成するようにしている。

【0026】

図２は生成器４の処理動作を模式的に示す図である。生成器４における第１ニューラルネットワークは、等価的にエンコーダ４ａとデコーダ４ｂの処理を行う。エンコーダ４ａは、ＣＡＤ図面等の第１半導体画像を条件（Condition）として入力し、エンコード後の画像を出力する。図２では、第１半導体画像を模式的に矩形形状で表している。矩形形状の縦方向は二次元方向の解像度を表し、横方向はチャネルを表している。チャネルとは、例えば光の三原色である赤緑青の各色の情報である。エンコーダ４ａは、例えば複数段階に分けて、エンコード処理を行う。エンコード処理では、まずは、入力された第１半導体画像の解像度を落とさずに畳み込み演算（Conv1）を行う（出力０）。その後は、エンコードの段階が進むに従って、解像度を１／２倍ずつ低くし、かつチャネルを２倍ずつ増やす（DnConv1～DnConv4）。チャネルを段階的に増やすことで、特徴量を段階的に抽出することができる（出力１～４）。

【0027】

エンコード処理にて特徴量が抽出されると、デコーダ４ｂは、エンコード処理で抽出された特徴量を用いて、例えば複数段階に分けて、デコード処理を行う（出力５～８）。デコード処理では、デコードの段階が進むに従って、解像度を２倍ずつ大きくし、かつチャネルを１／２倍ずつ小さくし（UpConv1～UpConv4）、元の解像度が復活できた段階で、解像度を変えずに畳み込み演算を行うことで（Conv2）、最終的に第２半導体画像を生成する。

【0028】

エンコード処理で、段階的に解像度を低くすると、位置情報が失われることになる。このままでは、デコード処理を行う際に、位置情報を正しく把握できなくなる。そこで、図２の矢印線に示すように、デコード処理の各段階では、エンコード処理の各段階での半導体画像を参照して、新たな半導体画像を生成する。これにより、位置情報を失うことなく、第２半導体画像を生成できる。

【0029】

生成器４は、エンコーダ４ａが段階的に特徴量の抽出を行うエンコード処理の最中、又はデコーダ４ｂがデコード処理を行っている最中に露光条件を入力し、露光条件を考慮に入れて特徴量の抽出を行う。すなわち、生成器４は、特徴量の抽出処理を行っている最中に露光条件を入力する。露光条件は、位置情報を含まないスカラー値である。よって、エンコード処理を行う前に、第１半導体画像とともに露光条件を入力しても、特徴量の抽出にあまり影響を与えない。また、第１半導体画像の入力直後に露光条件を入力すると、畳み込み演算時に無駄な計算が発生する。特徴量の抽出がある程度進んだ段階で露光条件を入力すると、抽出された特徴量を露光条件にて調整することができ、畳み込みの無駄な計算を減らすことができる。

【0030】

図２の例では、エンコード処理が終わった段階で露光条件を入力する例を示しているが、エンコード処理又はデコード処理のどの段階で露光条件を入力してもよい。

【0031】

図３は第１の実施形態による半導体画像処理装置１の学習時の処理の流れを示す図である。図３に示すように、生成器４には、第１半導体画像と露光条件が入力される。判別器５には、第１データセットＤ１と第２データセットＤ２のいずれかが選択されて入力される。第１データセットＤ１は、ＣＡＤ図面等の第１半導体画像と、露光条件と、生成器４で生成された第２半導体画像とを有する。第２データセットＤ２は、第１半導体画像と、露光条件と、処理済半導体装置を実際に撮影した第３半導体画像とを有する。

【0032】

判別器５には、第１データセットＤ１における第１半導体画像、露光条件及び第２半導体画像がチャネル方向に重ねられて入力される。同様に、判別器５には、第２データセットＤ２における第１半導体画像、露光条件及び第３半導体画像がチャネル方向に重ねられて入力される。そして、判別器５は、第１データセットＤ１内の第２半導体画像が第２データセットＤ２内の第３半導体画像であるか否かの真偽判断を行う。判別器５の真偽判別結果は、生成器４にフィードバックされる。生成器４は、判別器５の真偽判別結果を学習し、判別器５が第３半導体画像であると誤って判別するような第２半導体画像を生成する。すなわち、生成器４は、判別器５を騙すために、より第３半導体画像に類似した第２半導体画像を生成するべく学習を行う。判別器５は、生成器４で生成された第２半導体画像が第３半導体画像でないことを見抜くように、また、第３半導体画像が第３半導体画像であると正しく判別できるよう学習を行う。

【0033】

このように、生成器４と判別器５が対立しながら第２半導体画像の生成と、その真偽判別とを繰り返すことで、最終的に、第３半導体画像に類似した第２半導体画像を生成することができる。

【0034】

生成器４と判別器５による学習が終了した場合、生成器４が学習により生成した第１ニューラルネットワークを推論（推測）に利用することができる。図４は推論時の処理の流れを示す図である。推論時には、推論するべきＣＡＤ図面等の第４半導体画像と露光条件が生成器４に入力される。生成器４は、学習済の第１ニューラルネットワークに第４半導体画像と露光条件を入力して演算を行い、第１ニューラルネットワークから第５半導体画像を出力する。第５半導体画像は、第４半導体画像に基づいて生成された処理済半導体装置を撮影した実際の半導体画像を推測した半導体画像である。

【0035】

これにより、実際に処理済半導体装置を製造することなく、第１ニューラルネットワークを用いて、種々の露光条件での第５半導体画像を推測できる。よって、露光条件を変更した場合に処理済半導体装置の出来栄えがどうなるかを、実際に製造する前に事前に予測できる。

【0036】

図５は推論処理の処理動作を示すフローチャートである。図５のフローチャートは、生成器４と判別器５が学習処理を終了した後に実行される。まず、生成器４に、ＣＡＤ図面等の第４半導体画像と露光条件を入力する（ステップＳ１）。次に、生成器４は、学習済のＧＡＮの第１ニューラルネットワークに第４半導体画像と露光条件を入力して、第５半導体画像を生成する（ステップＳ２）。より詳しくは、生成器４は、第４半導体画像と露光条件を、学習済の第１ニューラルネットワークに入力して計算を行い、第１ニューラルネットワークから出力されたデータが第５半導体画像になる。

【0037】

図６は図１の半導体画像処理装置１のハードウェア構成を示すブロック図である。図６の半導体画像処理装置１は、ネットワークモデル記憶部１１と、学習用プロセッサ１２と、ＣＰＵ１３と、学習用画像記憶部１４と、画像入力インタフェース部１５と、ＲＡＭ１６と、ＲＯＭ１７と、表示用ＧＰＵ１８とを共通のバス１９に接続した構成であり、表示用ＧＰＵ１８には表示装置２０が接続されている。

【0038】

ネットワークモデル記憶部１１は、ＧＡＮを構成する生成器４の第１ニューラルネットワークの重み情報等と判別器５の第２ニューラルネットワークの重み情報等を記憶する。学習用プロセッサ１２は、生成器４と判別器５の学習処理を実行する。具体的には、学習用プロセッサ１２は、図１の半導体画像処理装置１の処理を行う。なお、図１の半導体画像処理装置１の一部の処理は、学習用プロセッサ１２以外のハードウェアが行ってもよい。

【0039】

ＣＰＵ１３は、ＲＯＭ１７からプログラムを読み出して実行することにより、半導体画像処理装置１の全体的な制御を行う。その際、ＣＰＵ１３はＲＡＭ１６をワークメモリとして使用する。学習用プロセッサ１２は、ＣＰＵ１３の指示の下で生成器４と判別器５の学習処理を実行する。学習用画像記憶部１４は、学習処理に用いられる第１半導体画像、第３半導体画像、及び露光条件を記憶する。画像入力インタフェース部１５は、画像入力部２と露光条件入力部３から入力された第１半導体画像、第３半導体画像及び露光条件を学習用画像記憶部１４に記憶する制御を行う。表示用ＧＰＵ１８は、ＣＰＵ１３の指示の下で、必要に応じて、第１半導体画像、第２半導体画像及び第３半導体画像を表示装置２０に表示する制御を行う。

【0040】

このように、第１の実施形態による半導体画像処理装置１は、生成器４で第１半導体画像の特徴量を抽出する処理を行っている最中に露光条件を入力するため、露光条件を考慮に入れた上で第１半導体画像の特徴量を抽出でき、生成器４で生成される第２半導体画像の品質を向上できる。すなわち、生成器４で生成される第２半導体画像は、露光機に設定される露光条件を考慮に入れたものになる。よって、露光条件によって第２半導体画像と第３半導体画像の類似度にばらつきが生じるおそれがなくなり、処理済半導体装置を実際に撮影した第３半導体画像に類似した第２半導体画像を生成できる。

【0041】

（第２の実施形態）
通常のＧＡＮの判別器では、入力画像の全体を対象として、複数段の畳み込み演算で真偽判断を行うのが一般的であるが、これでは細かい箇所の特徴を捉えられず、主に全体的な整合性に基づいて真偽判別を行うことになる。よって、細部の再現性は重視されず、ぼやけた生成結果になりがちである。

【0042】

このため、pix2pixの判別器では、PatchGANを用いることで、高精細な画像出力を可能にしている。PatchGANは、画像を複数の部分画像（パッチとも呼ぶ）に分けて、各パッチに対して複数段の畳み込み演算を行って真偽判別を行い、各パッチの真偽判別結果を平均して最終的な真偽判別を行う。これにより、細かい特徴を踏まえた真偽判別が可能になる。pix2pixの生成器は、判別器を騙すために学習を行うことで、細部まで精細な画像を生成することができる。

【0043】

図７はパッチ２１の一例を示す図である。図７のパッチ２１は矩形状であり、二次元方向に離散的に設定される。隣り合うパッチは一部が重なり合っている。pix2pixの判別器は、各パッチ２１ごとに真偽判別を行い、全パッチ２１の真偽判定結果を平均して最終的な真偽判別を行う。例えば、パッチ２１のサイズが７８×７８画素で、二次元方向に１６画素単位で複数のパッチ２１が設定される場合、画像サイズを１２６×１２６画素とすると、画像内に、４×４＝１６個のパッチ２１が存在することになる。

【0044】

上述したPatchGANでは、パッチ位置が離散的に設定されることから、処理上のムラが生じ、判別器が厳しく真偽判別を行う箇所と、緩く真偽判別を行う箇所が生じる。厳しく真偽判別を行う箇所では、生成器は処理済半導体装置の撮影画像に類似する半導体画像を生成するように学習を行うが、緩く真偽判別を行う箇所では、生成器の学習が疎かになる。このため、パッチ位置によって、生成器が生成する半導体画像にムラが生じる。画像内の各パッチ位置が固定の場合には、上述したムラにより、生成した半導体画像に格子状のノイズが生じてしまう。

【0045】

例えば、パッチ２１が１６画素単位で二次元方向に移動する場合、１６画素周期で各パッチ２１の学習結果に差異が生じ、１６画素周期でムラが生じる。これが互いに重なり合って、６４×６４画素程度のサイズのノイズとなる。この種のノイズは、入力画像が自然画像の場合は目立たないが、ＣＡＤ図面等のように同色の領域が広い入力画像の場合には、この領域内でムラが目立ってしまう。また、判別器の処理上のムラはPatchGANで顕著だが、一般的な判別器であっても発生しうる。第２の実施形態は、上述したムラによるノイズを軽減するものである。

【0046】

図８は第２の実施形態による半導体画像処理装置１ａの概略構成を示すブロック図である。図８の半導体画像処理装置１ａは、図１の半導体画像処理装置１の構成に加えて、画像切り出し部８と、切り出し位置決定部９とを備えている。

【0047】

画像切り出し部８は、第１半導体画像と第２半導体画像、または、第１半導体画像と第３半導体画像からそれぞれ一部の部分画像を切り出す。画像切り出し部８は、第２半導体画像から切り出された第１半導体部分画像と第２半導体部分画像、または、第１半導体部分画像と第３半導体画像から切り出された第３半導体部分画像と、露光条件とを判別器５に入力する。

【0048】

切り出し位置決定部９は、第１半導体画像、第２半導体画像及び第３半導体画像の切り出し位置が固定にならないように、切り出し位置を決定する。切り出し位置決定部９は、切り出し位置をランダムに設定してもよいし、生成器４及び判別器５が学習を行うたびに、ｎ画素（ｎは１以上の整数）ずつ切り出し位置をずらしてもよい。

【0049】

図９（ａ）及び図９（ｂ）は第１半導体画像、第２半導体画像及び第３半導体画像から一部の部分画像を切り出す例を示す図である。図９（ａ）の実線枠がＮ回目の学習時に画像切り出し部８で切り出される部分画像２２を示している。図９（ｂ）に示すように、（Ｎ＋１）回目の学習時には、Ｎ回目とは異なる切り出し位置で部分画像２２が切り出されるようにしている。判別器５は、切り出された部分画像２２を、図９（ａ）及び図９（ｂ）の小枠に示すように、さらに細かい複数の小部分画像２３すなわちパッチに分けて、小部分画像２３ごとに真偽判別を行う。そして、判別器５は、複数の小部分画像２３の真偽判別結果の平均を取る等して、第２半導体部分画像が第３半導体部分画像であるか否かの真偽判断を行う。第２半導体部分画像と第３半導体部分画像は、学習のたびに切り出し位置が異なるため、切り出し位置が固定のときとは異なり、判別器５の処理上のムラが、切り出し前の画像上の位置で考えれば一箇所には固定されないため、まんべんなく学習することができ、第２半導体画像に現れる格子状のノイズを抑制できる。

【0050】

本実施形態では、部分画像２２の切り出し位置が、学習を行うたびに異なるため、各部分画像２２に含まれる小部分画像２３の境界位置が各学習ごとに相違し、各小部分画像２３ごとに真偽判別を行って生成した第２半導体部分画像内に周期的なノイズが現れなくなる。

【0051】

なお、図９（ａ）と図９（ｂ）に示すように、各学習ごとに用いられる第２半導体画像と第３半導体画像は、必ずしも同じＣＡＤ図面に対応する半導体画像である必要はない。例えば、複数のＣＡＤ図面に対応する第２半導体画像や第３半導体画像を用いて、生成器４と判別器５の学習処理を行っても良い。

【0052】

図１０は第２の実施形態による半導体画像処理装置１ａの学習時の処理の流れを示す図である。生成器４は、第１半導体画像と、第２半導体画像と、露光条件とを含む第１データセットＤ１を出力する。また、第１半導体画像と、第３半導体画像と、露光条件とを含む第２データセットＤ２が予め用意される。画像切り出し部８は、第１データセットＤ１と第２データセットＤ２のいずれか一方を選択して、画像切り出しを行う。例えば、画像切り出し部８は、第１データセットＤ１と第２データセットＤ２を交互に選択して、切り出し条件決定部で決定された切り出し位置にて、部分画像２２を切り出す。

【0053】

判別器５は、第１データセットＤ１から切り出された第１半導体画像、第２半導体画像及び露光条件をチャネル方向に重ねて入力し、同様に、第２データセットＤ２から切り出された第１半導体画像、第３半導体画像及び露光条件をチャネル方向に重ねて入力する。判別器５は、第１データセットＤ１内の切り出された第２半導体部分画像が第２データセットＤ２内の切り出された第３半導体部分画像であるか否かを判別する。判別器５による判別結果は、判別器５自体と、生成器４にフィードバックされる。判別器５は正しく第１データセットＤ１か、第２データセットＤ２かを判別出来るように学習を行う。生成器４は、判別器５による真偽判別結果を考慮に入れて学習を行う。

【0054】

図１１は第２の実施形態による半導体画像処理装置１ａの学習時の処理動作を示すフローチャートである。このフローチャートは、（Ｎ－１）回分の学習を行った後（ステップＳ１１）、Ｎ回目（Ｎは２以上の整数）の学習を行う場合の処理動作を示している。

【0055】

Ｎ回目の学習を行う際に第１データセットＤ１と第２データセットＤ２のどちらかを選択する（ステップＳ１２）。第１データセットＤ１を選択した場合には、学習データ蓄積部７から第１半導体画像と露光条件を読み出して、生成器４に入力する（ステップＳ１３）。次に、生成器４は、（Ｎ－１）回目の判別器５の判別結果、第１半導体画像及び露光条件に基づいて、第２半導体画像を生成する（ステップＳ１４）。

【0056】

一方、ステップＳ１２で第２データセットＤ２を選択した場合には、学習データ蓄積部７から第１半導体画像、第３半導体画像及び露光条件を読み出す（ステップＳ１５）。

【0057】

次に、切り出し位置決定部９は、第１半導体画像と第２半導体画像、または、第１半導体画像と第３半導体画像における部分画像２２の切り出し位置を決定する（ステップＳ１６）。次に、画像切り出し部８は、決定された切り出し位置にて、第１半導体画像と第２半導体画像または第１半導体画像と第３半導体画像を切り出して、第１半導体部分画像と第２半導体部分画像、または第１半導体部分画像と第３半導体部分画像を生成する（ステップＳ１７）。

【0058】

次に、判別器５は、第１データセットＤ１から切り出された第１半導体部分画像、第２半導体部分画像及び露光条件をチャネル方向に重ねて入力するか、もしくは、第２データセットＤ２から切り出された第１半導体部分画像、第３半導体部分画像及び露光条件をチャネル方向に重ねて入力する（ステップＳ１８）。そして、判別器５は、第２半導体部分画像が第３半導体部分画像であるか否かの真偽判別を行う（ステップＳ１９）。判別器５は、真偽判別結果に基づいて学習するとともに、真偽判別の結果を生成器４にフィードバックする（ステップＳ２０）。生成器４は、判別器５による真偽判別の結果に基づいて損失を計算し、計算された損失に基づいて学習処理を行う（ステップＳ２１）。

【0059】

その後、所定の条件に到達するまで、生成器４及び判別器５による学習を繰り返す（ステップＳ２２）。ここで、所定の条件とは、繰り返しの学習回数が規定の回数に達した場合や、第２半導体画像の精度が十分なレベルに達した場合や、第２半導体画像の精度が十分なレベルに達する見込みがない場合などである。

【0060】

第２の実施形態による半導体画像処理装置１ａの推論処理は図４及び図５と同様である。また、半導体画像処理装置１ａのハードウェア構成は図６と同様である。図８の画像切り出し部８と切り出し位置決定部９の処理動作は、例えば図６の学習用プロセッサ１２にて実行することができる。

【0061】

このように、第２の実施形態では、生成器４で生成された第２半導体画像と予め用意される第３半導体画像のそれぞれについて、切り出し位置を変えながら切り出した第２半導体部分画像と第３半導体部分画像が一致するか否かの真偽判別を行って、その判別結果を生成器４にフィードバックして第２半導体画像を生成し直す学習を繰り返す。これにより、第２半導体画像内のムラを目立たなくすることができる。

【0062】

上述した説明では、第２の実施形態による半導体画像処理装置１ａにおいても、第１の実施形態と同様に露光条件を考慮に入れて特徴量を抽出する例を説明したが、第２の実施形態による半導体画像処理装置１ａでは、露光条件を考慮に入れて特徴量を抽出することは必ずしも必須ではない。

【0063】

（第３の実施形態）
上述した第１及び第２の実施形態では、第１半導体画像が例えばＣＡＤ図面、第３半導体画像が例えば処理済半導体装置を実際に撮影した画像、第２半導体画像が例えば第３半導体画像を推測した画像である例を示したが、これ以外にも考えられる。

【0064】

まず、処理済半導体装置の撮像画像には、電子顕微鏡画像、光学顕微鏡画像、及び回折像画像の３つがある。電子顕微鏡画像とは、例えばＳＥＭ（Scanning Electron Microscopy）画像、ＴＥＭ（Transmission Electron Microscopy）画像、又はＳＴＥＭ（Scanning Transmission Electron Microscope）画像などである。光学顕微鏡画像は、光学レンズで拡大した光像を撮像センサやカメラ等で撮影した画像である。使用する光の周波数帯域は、可視光、紫外線、極端紫外線（ＥＵＶ：Extreme Ultraviolet）、Ｘ線、赤外線などであり、光の周波数帯域に応じた撮像センサを用いる必要がある。

【0065】

以上から、第１半導体画像と第３半導体画像の候補には、ＣＡＤ図面、電子顕微鏡画像、光学顕微鏡画像、及び回折光画像の４つがある。第２半導体画像は、学習済の生成器４を用いて第３半導体画像を推測した画像である。

【0066】

図１２は第１と第３半導体画像の全組合せを示す図である。図１２の１）は、第１半導体画像がＣＡＤ図面で、第３半導体画像が電子顕微鏡画像であり、２）は１）の逆である。３）は第１半導体画像がＣＡＤ図面で、第３半導体画像が光学顕微鏡画像であり、４）は３）の逆である。５）は第１半導体画像がＣＡＤ図面で、第３半導体画像が回折像画像であり、６）は５）の逆である。７）は第１半導体画像が光学顕微鏡画像で、第３半導体画像が電子顕微鏡画像であり、８）は７）の逆である。９）は第１半導体画像が回折像画像で、第３半導体画像が電子顕微鏡画像であり、１０）は９）の逆である。１１）は第１半導体画像が回折像画像で、第３半導体画像が光学顕微鏡画像であり、１２）は１１）の逆である。

【0067】

このように、第１半導体画像と第３半導体画像の組合せとして、計１２種類が考えられる。本実施形態では、ＣＡＤ図面、電子顕微鏡画像、光学顕微鏡画像、及び回折光画像の中から任意に選択された二つのうち一方に基づいて、露光条件を考慮に入れて他方を推測した半導体画像を生成することができる。これにより、実際に半導体装置を製造する前に、製造済の半導体装置の撮像画像に類似する半導体画像を生成できる。

【0068】

また、第１～第３の実施形態による半導体画像処理装置１、１ａによれば、ＣＡＤ図面の一部について第３半導体画像が用意されている場合に、その第３半導体画像を利用して学習処理を行うことで、ＣＡＤ図面の他の部分についての第３半導体画像を推測した第２半導体画像を生成することができる。このように、半導体画像処理装置１、１ａは、内挿又は外挿処理により第２半導体画像を生成することができる。さらに、半導体画像処理装置１、１ａは、いくつかの露光条件について第３半導体画像が用意されている場合に、その第３半導体画像を利用して学習処理を行うことで、その他の露光条件についての第３半導体画像を推測した第２半導体画像を生成することができる。

【0069】

上述した実施形態で説明した半導体画像処理装置１、１ａの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、半導体画像処理装置１、１ａの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ１７等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。

【0070】

また、半導体画像処理装置１、１ａの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。

【0071】

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

【符号の説明】

【0072】

１ 半導体画像処理装置、２ 画像入力部、３ 露光条件入力部、４ 生成器、４ａ エンコーダ、４ｂ デコーダ、５ 判別器、６ 出力部、７ 学習データ蓄積部、８ 画像切り出し部、９ 切り出し位置決定部、１１ ネットワークモデル記憶部、１２ 学習用プロセッサ、１３ ＣＰＵ、１４ 学習用画像記憶部、１５ 画像入力インタフェース部、１６ ＲＡＭ、１７ ＲＯＭ、１８ 表示用ＧＰＵ、１９ バス、２１ パッチ、２ 半導体部分画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】