知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024131832
(43)【公開日】2024-09-30
(54)【発明の名称】半導体画像処理装置及び半導体画像処理方法
(51)【国際特許分類】
H01L 21/66 20060101AFI20240920BHJP
G06V 10/82 20220101ALI20240920BHJP
G06T 7/00 20170101ALI20240920BHJP
G06T 5/75 20240101ALI20240920BHJP
【ＦＩ】
H01L21/66 J
G06V10/82
G06T7/00 350C
G06T7/00 610
G06T5/00 715
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023042309
(22)【出願日】2023-03-16
(71)【出願人】
【識別番号】318010018
【氏名又は名称】キオクシア株式会社
(74)【代理人】
【識別番号】100120031
【弁理士】
【氏名又は名称】宮嶋 学
(74)【代理人】
【識別番号】100107582
【弁理士】
【氏名又は名称】関根 毅
(74)【代理人】
【識別番号】100118843
【弁理士】
【氏名又は名称】赤岡 明
(74)【代理人】
【識別番号】100103263
【弁理士】
【氏名又は名称】川崎 康
(72)【発明者】
【氏名】飯島 脩平
(72)【発明者】
【氏名】山根 統
(72)【発明者】
【氏名】ウン ユー ヤン
(72)【発明者】
【氏名】林 與ジェ
(72)【発明者】
【氏名】大橋 拓司
(72)【発明者】
【氏名】藤原 剛
【テーマコード（参考）】
4M106
5B057
5L096
【Ｆターム（参考）】
4M106AA01
4M106BA02
4M106CA39
4M106CA41
4M106DB05
4M106DB21
4M106DH24
4M106DH33
4M106DJ20
4M106DJ21
4M106DJ23
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CE03
5L096BA03
5L096DA01
5L096FA02
5L096FA32
5L096GA08
5L096HA11
5L096JA22
5L096KA04
5L096KA15
5L096MA07
(57)【要約】
【課題】欠陥等の特徴量を精度よく抽出する。
【解決手段】半導体画像処理装置は、入力画像に含まれる特徴量に対応するラベルを識別する識別器と、前記入力画像に含まれる前記特徴量を推論するモデルを学習するとともに、前記識別器を学習する第１学習部と、前記入力画像と学習済みの前記識別器とに基づいて、前記モデルを追加学習する第２学習部と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
入力画像に含まれる特徴量に対応するラベルを識別する識別器と、
前記入力画像に含まれる前記特徴量を推論するモデルを学習するとともに、前記識別器を学習する第１学習部と、
前記入力画像と学習済みの前記識別器とに基づいて、前記モデルを追加学習する第２学習部と、を備える、
半導体画像処理装置。
前記入力画像に含まれる前記特徴量を推論するモデルを学習するとともに、前記識別器を学習する第１学習部と、
前記入力画像と学習済みの前記識別器とに基づいて、前記モデルを追加学習する第２学習部と、を備える、
半導体画像処理装置。
【請求項2】
前記入力画像は、既知の正解ラベルを有する模擬画像とラベルが未知の実画像とを含み、
前記第１学習部は、前記模擬画像を前記モデルに入力して推論された推論画像と前記正解ラベルとに基づいて前記モデルを学習するとともに、前記推論画像を前記識別器に入力して識別された前記ラベルを前記正解ラベルと比較した結果に基づいて前記識別器を学習する、
請求項１に記載の半導体画像処理装置。
前記第１学習部は、前記模擬画像を前記モデルに入力して推論された推論画像と前記正解ラベルとに基づいて前記モデルを学習するとともに、前記推論画像を前記識別器に入力して識別された前記ラベルを前記正解ラベルと比較した結果に基づいて前記識別器を学習する、
請求項１に記載の半導体画像処理装置。
【請求項3】
前記モデルは、前記入力画像を、前記特徴量を含む領域ごとに分類するとともに、前記特徴量の種類ごとに異なる前記ラベルを付与する、
請求項２に記載の半導体画像処理装置。
請求項２に記載の半導体画像処理装置。
【請求項4】
前記第２学習部は、
前記模擬画像を前記モデルに入力して推論された第１推論画像に対応するラベルと、前記模擬画像の前記正解ラベルとに基づいて第１損失関数値を計算する第１損失関数計算部と、
前記実画像を前記モデルに入力して推論された第２推論画像を前記識別器に入力して予測された前記ラベルに基づいて第２損失関数値を計算する第２損失関数計算部と、
前記第１損失関数値及び前記第２損失関数値を合算した第３損失関数値に基づいて前記モデルのパラメータを更新する更新部と、を有する、
請求項２に記載の半導体画像処理装置。
前記模擬画像を前記モデルに入力して推論された第１推論画像に対応するラベルと、前記模擬画像の前記正解ラベルとに基づいて第１損失関数値を計算する第１損失関数計算部と、
前記実画像を前記モデルに入力して推論された第２推論画像を前記識別器に入力して予測された前記ラベルに基づいて第２損失関数値を計算する第２損失関数計算部と、
前記第１損失関数値及び前記第２損失関数値を合算した第３損失関数値に基づいて前記モデルのパラメータを更新する更新部と、を有する、
請求項２に記載の半導体画像処理装置。
【請求項5】
前記第２学習部で追加学習された前記モデルに基づいて、前記実画像に含まれる前記特徴量を含む領域を抽出し、抽出された領域に応じた画像処理を行って特徴強調処理画像を生成する領域強調処理部をさらに備える、
請求項２に記載の半導体画像処理装置。
請求項２に記載の半導体画像処理装置。
【請求項6】
前記実画像から背景模様を除去した背景差分画像を生成する特徴強調処理部をさらに備える、
請求項２に記載の半導体画像処理装置。
請求項２に記載の半導体画像処理装置。
【請求項7】
前記特徴強調処理部は、
実画像の第１方向における第１画素領域ごとの平均画素値を算出する平均画素算出部と、
前記実画像の前記第１方向における前記第１画素領域ごとの平均画素値に基づいて、第１模擬背景画像を生成する第１生成部と、
前記実画像の前記第１方向における前記第１画素領域ごとの平均画素値と、前記実画像の前記第１方向に交差する第２方向における第２画素領域ごとの平均画素値とを画素ごとに合算した画素値から、前記実画像の平均画素値を画素ごとに減じた画素値に基づいて、第２模擬背景画像を生成する第２生成部と、
前記実画像と前記第１模擬背景画像との差分、又は前記実画像と前記第２模擬背景画像との差分により、前記背景差分画像を生成する第３生成部と、を有する、
請求項６に記載の半導体画像処理装置。
実画像の第１方向における第１画素領域ごとの平均画素値を算出する平均画素算出部と、
前記実画像の前記第１方向における前記第１画素領域ごとの平均画素値に基づいて、第１模擬背景画像を生成する第１生成部と、
前記実画像の前記第１方向における前記第１画素領域ごとの平均画素値と、前記実画像の前記第１方向に交差する第２方向における第２画素領域ごとの平均画素値とを画素ごとに合算した画素値から、前記実画像の平均画素値を画素ごとに減じた画素値に基づいて、第２模擬背景画像を生成する第２生成部と、
前記実画像と前記第１模擬背景画像との差分、又は前記実画像と前記第２模擬背景画像との差分により、前記背景差分画像を生成する第３生成部と、を有する、
請求項６に記載の半導体画像処理装置。
【請求項8】
前記入力画像は、半導体デバイスが形成されたウエハの表面の画像であり、
前記特徴量は、前記半導体デバイスの欠陥を含む、
請求項２に記載の半導体画像処理装置。
前記特徴量は、前記半導体デバイスの欠陥を含む、
請求項２に記載の半導体画像処理装置。
【請求項9】
前記欠陥の模様を特定するとともに、前記欠陥の長さ、色、及び位置のそれぞれをランダムに選択して、欠陥パターン画像を生成し、背景パターン画像と生成した前記欠陥パターン画像とを合成して前記模擬画像を生成する模擬画像生成部をさらに備える、
請求項８に記載の半導体画像処理装置。
請求項８に記載の半導体画像処理装置。
【請求項10】
前記入力画像から背景模様を除去した背景差分画像を生成する特徴強調処理部と、
追加学習された前記モデルで抽出された特徴量を含む領域と、前記背景差分画像に含まれる特徴量を含む領域とに応じた画像処理を行って生成される特徴強調処理画像から前記特徴量を抽出する特徴量抽出部と、
前記特徴強調処理画像に含まれる特徴量に基づいて、前記入力画像のクラスタリングを行う画像分類部と、を備える、
請求項１に記載の半導体画像処理装置。
追加学習された前記モデルで抽出された特徴量を含む領域と、前記背景差分画像に含まれる特徴量を含む領域とに応じた画像処理を行って生成される特徴強調処理画像から前記特徴量を抽出する特徴量抽出部と、
前記特徴強調処理画像に含まれる特徴量に基づいて、前記入力画像のクラスタリングを行う画像分類部と、を備える、
請求項１に記載の半導体画像処理装置。
【請求項11】
前記特徴量抽出部は、前記入力画像に含まれる特徴量と、前記特徴量抽出部で抽出された特徴量とを合成する特徴量合成部を有し、
前記画像分類部は、前記特徴量合成部で合成された特徴量に基づいて、前記入力画像のクラスタリングを行う、
請求項１０に記載の半導体画像処理装置。
前記画像分類部は、前記特徴量合成部で合成された特徴量に基づいて、前記入力画像のクラスタリングを行う、
請求項１０に記載の半導体画像処理装置。
【請求項12】
前記特徴強調処理部は、
入力画像の第１方向における第１画素領域ごとの平均画素値を算出する平均画素算出部と、
前記入力画像の前記第１方向における前記第１画素領域ごとの平均画素値に基づいて、第１模擬背景画像を生成する第１生成部と、
前記入力画像の前記第１方向における前記第１画素領域ごとの平均画素値と、前記入力画像の前記第１方向に交差する第２方向における第２画素領域ごとの平均画素値とを画素ごとに合算した画素値から、前記入力画像の平均画素値を画素ごとに減じた画素値に基づいて、第２模擬背景画像を生成する第２生成部と、
前記入力画像と前記第１模擬背景画像との差分、又は前記入力画像と前記第２模擬背景画像との差分により、前記入力画像の背景差分画像を生成する第３生成部と、備え、
前記特徴強調処理部は、前記背景差分画像に含まれる前記特徴量に基づいて前記特徴強調処理画像を生成する、
請求項１０に記載の半導体画像処理装置。
入力画像の第１方向における第１画素領域ごとの平均画素値を算出する平均画素算出部と、
前記入力画像の前記第１方向における前記第１画素領域ごとの平均画素値に基づいて、第１模擬背景画像を生成する第１生成部と、
前記入力画像の前記第１方向における前記第１画素領域ごとの平均画素値と、前記入力画像の前記第１方向に交差する第２方向における第２画素領域ごとの平均画素値とを画素ごとに合算した画素値から、前記入力画像の平均画素値を画素ごとに減じた画素値に基づいて、第２模擬背景画像を生成する第２生成部と、
前記入力画像と前記第１模擬背景画像との差分、又は前記入力画像と前記第２模擬背景画像との差分により、前記入力画像の背景差分画像を生成する第３生成部と、備え、
前記特徴強調処理部は、前記背景差分画像に含まれる前記特徴量に基づいて前記特徴強調処理画像を生成する、
請求項１０に記載の半導体画像処理装置。
【請求項13】
入力画像に含まれる特徴量に対応するラベルを識別器にて識別し、
前記入力画像に含まれる前記特徴量を推論するモデルを学習するとともに、前記識別器を学習し、
前記入力画像と学習済みの前記識別器とに基づいて、前記モデルを追加学習する、
半導体画像処理方法。
前記入力画像に含まれる前記特徴量を推論するモデルを学習するとともに、前記識別器を学習し、
前記入力画像と学習済みの前記識別器とに基づいて、前記モデルを追加学習する、
半導体画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明の一実施形態は、半導体画像処理装置及び半導体画像処理方法に関する。
【背景技術】
【0002】
最近の半導体デバイスは微細化が進んでおり、ウエハ上に形成された個々の半導体デバイスの欠陥等を精度よく抽出するのは容易ではない。特に、ウエハの表面を撮像した画像には、ウエハの周期構造に起因する回折パターンが写りこむことがあり、回折パターンと線状の欠陥とを識別するのは容易ではない。
【0003】
最近の半導体デバイスは、多数の製造工程を経て形成される。このため、欠陥の種類は多岐にわたり、ウエハの表面を撮像した画像において、欠陥の種類ごとに形状、サイズ、数、色、又は輝度などが異なる。画像からこれらの欠陥を精度よく抽出することは、半導体デバイスの歩留まりを向上させるためにも不可欠である。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第５４４４０９２号公報
【発明の概要】
【発明が解決しようとする課題】
【0005】
そこで、本発明の一実施形態では、画像から欠陥を精度よく抽出できる半導体画像処理装置及び半導体画像処理方法を提供するものである。
【課題を解決するための手段】
【0006】
上記の課題を解決するために、本発明の一実施形態によれば、入力画像に含まれる特徴量に対応するラベルを識別する識別器と、
前記入力画像に含まれる前記特徴量を推論するモデルを学習するとともに、前記識別器を学習する第１学習部と、
前記入力画像と学習済みの前記識別器とに基づいて、前記モデルを追加学習する第２学習部と、を備える、
半導体画像処理装置が提供される。
前記入力画像に含まれる前記特徴量を推論するモデルを学習するとともに、前記識別器を学習する第１学習部と、
前記入力画像と学習済みの前記識別器とに基づいて、前記モデルを追加学習する第２学習部と、を備える、
半導体画像処理装置が提供される。
【図面の簡単な説明】
【0007】
【図1】第１の実施形態に係る半導体画像処理装置の概略構成を示すブロック図。
【図2】第１の実施形態に係る半導体画像処理装置のハードウェア構成を示すブロック図。
【図3】第１の実施形態に係る半導体画像処理装置の各部の処理の流れを示すシーケンス図。
【図4】模擬画像生成部の処理を説明する図。
【図5】欠陥パターンの特徴をまとめた図。
【図6】正解ラベルの具体例を示す図。
【図7】自己学習部と自己フィードバック部の処理を説明する図。
【図8】自己学習部による画像セグメンテーションモデルの学習処理を詳細に説明する図。
【図9】自己学習部による識別器の学習処理を詳細に説明する図。
【図10】画像セグメンテーションモデルのニューラルネットワークと、識別器のニューラルネットワークの一例を示す図。
【図11】自己フィードバック部の処理を説明する図。
【図12】自己フィードバック部による実画像を用いた処理を詳細に説明する図。
【図13】特徴強調処理部と領域強調処理部の詳細なブロック図。
【図14】特徴強調処理部の処理動作を示すフローチャート。
【図15】特徴強調処理部が処理を行っている最中に生成される画像の一例を示す図。
【図16】第２の実施形態に係る半導体画像処理装置の概略構成を示すブロック図。
【発明を実施するための形態】
【0008】
以下、図面を参照して、半導体画像処理装置及び半導体画像処理方法の実施形態について説明する。以下では、半導体画像処理装置の主要な構成部分を中心に説明するが、半導体画像処理装置及び半導体画像処理方法には、図示又は説明されていない構成部分や機能が存在しうる。以下の説明は、図示又は説明されていない構成部分や機能を除外するものではない。
【0009】
（第１の実施形態）
図１は第１の実施形態に係る半導体画像処理装置１の概略構成を示すブロック図である。第１の実施形態に係る半導体画像処理装置１は、識別器生成部２と、自己学習部３と、自己フィードバック部４と、模擬画像生成部５と、モデル記憶部６と、特徴強調処理部７と、領域強調処理部８とを備える。図１のうち、識別器生成部２で生成される識別器１０、自己学習部３、自己フィードバック部４、及びモデル記憶部６に記憶されるモデル９は、第１の実施形態に係る半導体画像処理装置１の必須の構成部であり、それ以外は必要に応じて追加可能な任意の構成部である。
図１は第１の実施形態に係る半導体画像処理装置１の概略構成を示すブロック図である。第１の実施形態に係る半導体画像処理装置１は、識別器生成部２と、自己学習部３と、自己フィードバック部４と、模擬画像生成部５と、モデル記憶部６と、特徴強調処理部７と、領域強調処理部８とを備える。図１のうち、識別器生成部２で生成される識別器１０、自己学習部３、自己フィードバック部４、及びモデル記憶部６に記憶されるモデル９は、第１の実施形態に係る半導体画像処理装置１の必須の構成部であり、それ以外は必要に応じて追加可能な任意の構成部である。
【0010】
識別器生成部２は、識別器１０を生成する。識別器１０は、入力画像に含まれる特徴量に対応するラベルを識別する。入力画像は、例えば、模擬画像生成部５で生成される模擬画像と、実際に撮影された実画像とを含む。入力画像は、任意の対象物の模擬画像又は実画像であり、対象物は特定の物には限定されない。以下では、対象物が半導体ウエハであり、入力画像が半導体ウエハ表面の模擬欠陥画像又は実画像である例を主に説明する。
【0011】
特徴量とは、入力画像に含まれる特徴的な形態を指し、具体的な一例としては、入力画像である模擬欠陥画像又は実画像に含まれる欠陥である。後述するように、欠陥には、形状、サイズ、数、色、又は輝度などの少なくとも一つが相違する複数の種類が存在する。
【0012】
ラベルとは、模擬欠陥画像又は実画像中の特徴量を含む部分画像である。本明細書では、特徴量の種類ごとに別個のラベルを割り振る。本明細書では、入力画像の特定の特徴量に予め割り振られたラベルを正解ラベルと呼ぶ。
【0013】
識別器１０は、例えば、機械学習が可能なニューラルネットワークを有し、このニューラルネットワークに入力画像を入力すると、このニューラルネットワークから、入力画像に対応するラベルが出力される。このように、識別器１０は、入力画像に含まれるラベルを識別して出力する。
【0014】
自己学習部３は、入力画像に含まれる特徴量を推論するモデル９を学習するとともに、識別器１０を学習する。より具体的には、自己学習部３は、既知の正解ラベルを有する模擬欠陥画像をモデル９に入力して、モデル９が正解ラベルの推論画像を出力するようにモデル９を学習する。また自己学習部３は、モデル９から出力された推論画像を識別器１０に入力して、識別器１０が正解ラベルを出力するように識別器１０を学習する。
【0015】
モデル９は、入力画像に含まれる特徴量に応じて入力画像を分類するセグメンテーションを行うとともに、特徴量の種類ごとに異なる推論画像を出力する。本明細書では、モデル９を画像セグメンテーションモデル９と呼ぶことがある。画像セグメンテーションモデル９は、例えば、機械学習が可能なニューラルネットワークを有し、このニューラルネットワークに入力画像を入力することで、入力画像に含まれる特徴量に対応する推論画像が出力される。本明細書では、自己学習部３を第１学習部と呼ぶことがある。上述したように、自己学習部３による画像セグメンテーションモデル９の学習時には、既知の正解ラベルを有する模擬欠陥画像が画像セグメンテーションモデル９に入力される。
【0016】
自己フィードバック部４は、入力画像と学習済みの識別器１０とに基づいて、画像セグメンテーションモデル９を追加学習する。自己フィードバック部４は、模擬欠陥画像と実画像の両方を画像セグメンテーションモデル９への入力画像として用いる。本明細書では、自己フィードバック部４を第２学習部と呼ぶことがある。
【0017】
自己フィードバック部４は、第１損失関数計算部４ａと、第２損失関数計算部４ｂと、更新部４ｃを有する。第１損失関数計算部４ａは、模擬画像をモデル９に入力して推論された第１推論画像に対応するラベルと、模擬画像の正解ラベルとに基づいて第１損失関数値を計算する。第２損失関数計算部４ｂは、実画像をモデル９に入力して推論された第２推論画像を識別器１０に入力して予測されたラベルに基づいて第２損失関数値を計算する。更新部４ｃは、第１損失関数値及び第２損失関数値を合算した第３損失関数値に基づいてモデル９のパラメータを更新する。自己フィードバック部４の処理の詳細は後述する。
【0018】
模擬画像生成部５は、模擬画像を生成する。本明細書では、模擬画像生成部５が疑似的な欠陥を含む模擬欠陥画像を生成する例を主に説明する。後述するように、模擬画像生成部５は、背景パターン画像と欠陥パターン画像を合成して模擬欠陥画像を生成する。
モデル記憶部６は、学習中及び学習済みの画像セグメンテーションモデル９を記憶する。
モデル記憶部６は、学習中及び学習済みの画像セグメンテーションモデル９を記憶する。
【0019】
特徴強調処理部７は、実画像から背景模様を除去した背景差分画像を生成する。領域強調処理部８は、実画像に含まれる特徴量を含む領域を抽出し、背景差分画像に対して各領域に応じた画像処理を行って特徴強調処理画像を生成する。例えば、特徴強調処理画像は、欠陥の種類ごとに、対応する画素領域の色又は輝度の少なくとも一方を強調させた画像である。
【0020】
図２は第１の実施形態に係る半導体画像処理装置１のハードウェア構成を示すブロック図である。図２の半導体画像処理装置１は、ＣＰＵ１１と、モデル記憶部６と、学習用プロセッサ１３と、模擬欠陥画像記憶部１４と、実画像記憶部１５と、処理結果画像記憶部１６と、画像入力インタフェース部１７と、ＲＡＭ１８と、ＲＯＭ１９と、表示用ＧＰＵ２０とが、共通のバス２１に接続された構成であり、表示用ＧＰＵ２０には表示装置２２が接続されている。
【0021】
ＣＰＵ１１は、ＲＯＭ１９からプログラムを読み出して実行することにより、半導体画像処理装置１の全体的な制御を行う。その際、ＣＰＵ１１はＲＡＭ１８をワークメモリとして使用する。学習用プロセッサ１３は、ＣＰＵ１１の指示の下で、識別器生成部２、自己学習部３、及び自己フィードバック部４の処理を主に実行する。なお、学習用プロセッサ１３を省略して、ＣＰＵ１１が識別器生成部２、自己学習部３、及び自己フィードバック部４の処理を実行してもよい。
【0022】
モデル記憶部６は、自己学習部３が学習し、かつ自己フィードバック部４が追加学習する画像セグメンテーションモデル９のパラメータなどを記憶する。パラメータとは、画像セグメンテーションモデル９を構成するニューラルネットワークの層構成、及び各層のノード間の重み情報などである。モデル記憶部６は、ＲＡＭ１８の一部の記憶領域であってもよい。
【0023】
模擬欠陥画像記憶部１４は、図１の模擬画像生成部５で生成された模擬欠陥画像を記憶する。実画像記憶部１５は、画像入力インタフェース部１７を介して入力された実画像を記憶する。処理結果画像記憶部１６は、特徴強調処理画像を記憶する。表示用ＧＰＵ２０は、ＣＰＵ１１の指示の下で、必要に応じて、模擬欠陥画像、実画像、ラベル、及び特徴強調処理画像などを表示装置２２に表示させる制御を行う。
【0024】
図３は、第１の実施形態に係る半導体画像処理装置１の各部の処理の流れを示すシーケンス図である。
【0025】
模擬画像生成部５は、背景パターン画像のテンプレートを生成するとともに（Ｓ１）、欠陥パターン画像のテンプレートを生成する（Ｓ２）。なお、これらテンプレートを予め生成して模擬欠陥画像記憶部１４に記憶しておき、模擬画像生成部５は、模擬欠陥画像記憶部１４から任意の背景パターン画像と欠陥パターン画像を取得してもよい。
【0026】
次に、模擬画像生成部５は、背景パターン画像と欠陥パターン画像とを任意に組み合わせた模擬欠陥画像と、対応する正解ラベルとを組にした訓練データを生成する（Ｓ３）。
【0027】
次に、自己学習部３は、画像セグメンテーションモデル９の学習を行うとともに（Ｓ４）、識別器１０の学習を行う（Ｓ５）。上述したように、自己学習部３は、まずは画像セグメンテーションモデル９の学習を行い、画像セグメンテーションモデル９の学習が済んだ後に識別器１０の学習を行う。あるいは、自己学習部３は、画像セグメンテーションモデル９の学習と識別器１０の学習を並行して行ってもよい。
【0028】
次に、自己フィードバック部４は、画像セグメンテーションモデル９及び学習済みの識別器１０と、模擬欠陥画像及び実画像とを用いて、画像セグメンテーションモデル９の追加学習を行う（Ｓ６）。
【0029】
次に、領域強調処理部８は、学習済みの画像セグメンテーションモデル９に実画像を入力して、画像セグメンテーションモデル９から出力されたラベルに基づいて、実画像に含まれる特徴量に応じたクラスごとの領域を抽出し（Ｓ７）、領域に応じた画像処理を行って（Ｓ８）、特徴強調処理画像を生成する（Ｓ９）。クラスとは、個々の特徴量で分類される識別情報である。
【0030】
次に、図１に示した各部の処理動作を順に詳細に説明する。
【0031】
図４、図５、及び図６は模擬画像生成部５の処理を説明する図である。図４に示すように、模擬画像生成部５は、背景パターン画像のいずれかと欠陥パターン画像のいずれかを任意に選択して合成することにより模擬欠陥画像を生成するとともに、模擬欠陥画像に含まれる正解ラベルを生成する。図４に示した背景パターン画像と欠陥パターン画像は具体例にすぎず、これらに限定されるものではない。
【0032】
図５は欠陥パターン画像の特徴をまとめた図である。図５に示すように、欠陥パターン画像は、欠陥パターンの模様、長さ、色、及び位置に基づいて生成される。このうち、模様は、複数の選択肢の中から一つを選択することで特定される。一方、長さ、色、及び位置のそれぞれは、複数の選択肢の中から一つをランダムに選択することで特定される。このように、模擬画像生成部５は、欠陥パターンの模様を特定するとともに、欠陥パターンの長さ、色、及び位置のそれぞれをランダムに選択して、欠陥パターン画像を生成する。このため、それぞれ形状の異なる多種類の欠陥パターン画像をランダムに生成することができる。
【0033】
図５は、２つの異なる欠陥パターン画像Ｄａ、Ｄｂを生成する例を示す。欠陥パターン画像Ｄａ、Ｄｂに含まれる欠陥パターンは、互いに模様が異なっており、また、長さ、色、及び位置も互いに異なっている。このように、欠陥パターンの長さ、色、及び位置をランダムに選択することで、多種類の模擬欠陥画像を生成できる。
【0034】
図６は、実画像に含まれる欠陥部分の原画像Ｏａ、Ｏｂと、原画像Ｏａ、Ｏｂに含まれる欠陥に対応する正解ラベルの具体例を示す図である。実画像には、種々の形状、サイズ、色、及び輝度の欠陥が含まれる。また、複数の種類の欠陥が重なり合うこともある。図６の原画像Ｏａは、円状欠陥とホールの欠陥を含む例を示す。また、原画像Ｏｂは、線状欠陥と配線の欠陥を含む例を示す。
【0035】
模擬画像生成部５は、原画像に含まれる欠陥を分類して、モノクロの画像で正解ラベルを生成する。図６は、正解ラベルが円状欠陥、線状欠陥、配線の欠陥、及びホールの欠陥を含む例を示すが、これは一例にすぎない。
【0036】
図７は自己学習部３と自己フィードバック部４の処理を説明する図である。図７に示すように、自己学習部３は、模擬欠陥画像と正解ラベルとを用いて画像セグメンテーションモデル９と識別器１０の学習を行う。一方、自己フィードバック部４は、模擬欠陥画像と実画像を用いて、画像セグメンテーションモデル９の追加学習を行う。
【0037】
図８は自己学習部３による画像セグメンテーションモデル９の学習処理を詳細に説明する図である。自己学習部３には、模擬画像生成部５で生成された模擬欠陥画像と正解ラベルが入力される。自己学習部３は、模擬欠陥画像を画像セグメンテーションモデル９に入力する。画像セグメンテーションモデル９は、入力された模擬欠陥画像に含まれる欠陥を推論し、欠陥を含む推論画像を出力する。図８は、推論画像に、例えば、円状欠陥、線状欠陥、配線欠陥、又はホールの欠陥の少なくとも一つが含まれる例を示す。
【0038】
自己学習部３は、画像セグメンテーションモデル９から出力された推論画像を正解ラベルと画素ごとに比較して、推論画像と正解ラベルの画素ごとの比較結果を損失関数値として画像セグメンテーションモデル９に入力する。自己学習部３は、損失関数値に基づいて画像セグメンテーションモデル９のパラメータを更新する。
【0039】
図９は自己学習部３による識別器１０の学習処理を詳細に説明する図である。自己学習部３は、画像セグメンテーションモデル９の学習が一通り終わった後に、画像セグメンテーションモデル９から出力された推論画像を識別器１０に入力し、推論画像が正解ラベルであることを正しく識別できるように識別器１０の学習を行う。より具体的には、図９に示すように、識別器１０は、入力された推論画像が正解ラベルか否かの識別情報を出力する処理を繰り返し行い、正しく識別できた数が損失関数値として識別器１０に入力されて学習される。識別器１０は、推論画像を画素ごとではなく、推論画像の全体から、推論画像が正解ラベルであるか否かを正しく識別できるように学習される。
【0040】
画像セグメンテーションモデル９と識別器１０は、それぞれニューラルネットワークを用いて学習を行う。図１０は、画像セグメンテーションモデル９のニューラルネットワークＮ１と、識別器１０のニューラルネットワークＮ２の一例を示す図である。なお、画像セグメンテーションモデル９と識別器１０のニューラルネットワークＮ１、Ｎ２の構成は任意であり、図１０に示すネットワーク構成に限定されない。
【0041】
図１０に示す画像セグメンテーションモデル９のニューラルネットワークＮ１は、エンコーダ２３とデコーダ２４を有する。エンコーダ２３は例えば第１層～第５層の処理階層を有し、各層を通過するごとに次元が圧縮されるとともに、チャネルが段階的に増やされる。チャネルとは、異なる特徴量を表現する単位である。例えば光の三原色を特徴量の基準とした場合、光の三原色である赤緑青の各色がチャネルに対応する。エンコーダ２３の第１層には模擬欠陥画像が入力され、エンコーダ２３の第５層の出力は、デコーダ２４の第１層に入力される。デコーダ２４は例えば第１層～第５層の処理階層を有し、各層を通過するごとに次元が拡張される。エンコーダ２３の各処理層とデコーダ２４の各処理層は対応づけられており、同じ段階の処理層では、同一の次元圧縮率及びチャネルを有する。デコーダ２４の第５層から推論画像が出力される。
【0042】
図１０に示す識別器１０のニューラルネットワークＮ２は、例えば、画像セグメンテーションモデル９のエンコーダ２３の破線枠で示す第２層～第５層と同じ構成の処理階層（第１層～第４層）を有する。識別器１０のニューラルネットワークの第１層には、画像セグメンテーションモデル９から出力された推論画像が入力され、各層を通過するたびに次元が圧縮されて、最終的に推論画像か正解ラベルかを示す情報を出力する。
【0043】
図１１及び図１２は自己フィードバック部４の処理を説明する図である。自己フィードバック部４は、自己学習部３で学習済みの画像セグメンテーションモデル９を追加学習する。画像セグメンテーションモデル９の追加学習には、既知の正解ラベルを有する模擬欠陥画像と、正解ラベルが未知の実画像が用いられる。実画像は、例えば半導体ウエハの表面をカメラで撮影した画像である。模擬欠陥画像は、自己学習部３での学習に用いられた模擬欠陥画像と同じでもよいし、異なっていてもよい。より具体的には、自己学習部３による学習と自己フィードバック部４による追加学習には、複数枚の模擬欠陥画像からなる画像セットが用いられる。自己学習部３による学習に用いられる画像セットと、自己フィードバック部４による追加学習に用いられる画像セットとは同じであるのが望ましい。この場合、同じ画像セットの中の少なくとも一部が互いに異なる模擬欠陥画像を自己学習部３と自己フィードバック部４で用いてもよい。
【0044】
図１１に示すように、模擬欠陥画像が画像セグメンテーションモデル９に入力されると、画像セグメンテーションモデル９は模擬欠陥画像に含まれる欠陥の推論画像を出力する。この推論画像が正解ラベルと一致するか否かを画素ごとに比較して、その比較結果が第１損失関数値として算出される。
【0045】
また、図１１に示すように、実画像が画像セグメンテーションモデル９に入力されると、画像セグメンテーションモデル９は実画像に含まれる欠陥の推論画像を出力する。この推論画像は、識別器１０に入力される。
【0046】
図１２は自己フィードバック部４による実画像を用いた処理を詳細に説明する図である。図１２は、推論画像が、例えば円状欠陥、配線の欠陥、及びホールの欠陥を含む例を示す。識別器１０は、推論画像の全体が正解ラベルであるか否かを識別し、識別器１０が正解ラベルを正しく識別した回数に基づいて第２損失関数値を算出する。この場合の第２損失関数値Lossは、例えば、以下の式（１）で表される。Ｄは識別器１０、ｔは推論画像、softmaxはソフトマックス関数、Averageは平均値を求める関数である。
Loss＝Average (softmax (D(t))) …（１）
Loss＝Average (softmax (D(t))) …（１）
【0047】
【0048】
図１３は特徴強調処理部７と領域強調処理部８の詳細なブロック図である。
【0049】
特徴強調処理部７は、背景差分画像を生成する。背景差分画像とは、実画像に含まれる背景画像から、背景模様を除去した画像である。
【0050】
特徴強調処理部７は、平均画素算出部３１と、第１生成部３２と、第２生成部３３と、第３生成部３４とを有する。
【0051】
平均画素算出部３１は、入力画像の第１方向における第１画素領域ごとの平均画素値を算出する。
【0052】
第１生成部３２は、入力画像の第１方向における第１画素領域ごとの平均画素値に基づいて、第１模擬背景画像を生成する。入力画像は実画像であり、自己フィードバック部４に入力される実画像と同じである。
【0053】
第２生成部３３は、入力画像の第１方向における第１画素領域ごとの平均画素値と、入力画像の第１方向に交差する第２方向における第２画素領域ごとの平均画素値とを画素ごとに合算した画素値から、入力画像の平均画素値を画素ごとに減じた画素値に基づいて第２模擬背景画像を生成する。
【0054】
第３生成部３４は、入力画像と第１模擬背景画像との差分、又は入力画像と第２模擬背景画像との差分により、入力画像の背景差分画像を生成する。第３生成部３４は、１枚の入力画像から、背景差分画像を生成できる。
【0055】
領域強調処理部８は、実画像に含まれる特徴量を含む領域を抽出し、抽出された領域に応じた画像処理を行って特徴強調処理画像を生成する。
【0056】
領域強調処理部８は、領域抽出部３５と、領域別画像処理部３６を有する。
【0057】
領域抽出部３５は、実画像を画像セグメンテーションモデル９に入力して、実画像に含まれる欠陥の種類ごとにクラス分類した結果に基づいて、クラス別に領域を抽出する。
【0058】
領域別画像処理部３６は、特徴強調処理部７で生成された背景差分画像に適した画像処理を行って、又は領域抽出部３５で抽出された各領域に適した画像処理を行って、特徴強調処理画像を生成する。
【0059】
【0060】
特徴強調処理部７の平均画素算出部３１は、実画像の第１方向（例えば行方向）における第１画素領域（例えば画素行）ごとの平均画素値を算出する（Ｓ１１）。
【0061】
次に、第１生成部３２は、第１画素領域（例えば画素行）ごとの平均画素値に基づいて、実画像のすべての第１画素領域（例えば画素行）についての第１模擬背景画像を生成する（Ｓ１２）。図１５に示すように、第１模擬背景画像ＩＭ１は、例えば画素行ごとに異なる平均画素値を有し、同一の画素行では同じ平均画素値を有する。
【0062】
次に、第２生成部３３は、第１生成部３２がＳ１２の処理を行う前後に、実画像の第２方向（例えば列方向）における第２画素領域（例えば画素列）ごとの平均画素値を算出する（Ｓ１３）。続いて、第２生成部３３は、入力画像のすべての第２画素領域（例えば画素列）についての平均画素値と、入力画像の平均画素値との差分画素値を算出する（Ｓ１４）。Ｓ１４では、例えば図１５に示すように、入力画像の画素列ごとの平均画素値を含む画像ＩＭ２と、入力画像の平均画素値を含む画像ＩＭ３との差分画素値を含む画像ＩＭ４を生成する。
【0063】
続いて、第２生成部３３は、入力画像の第１方向（例えば行方向）の第１画素領域ごとの平均画素値とＳ１４で算出された差分画素値を合算して、第２模擬背景画像を生成する（Ｓ１５）。図１５に示すように、第２模擬背景画像ＩＭ５は、第１模擬背景画像ＩＭ１と、差分画素値を含む画像ＩＭ４との加算により得られる。
【0064】
次に、第３生成部３４は、実画像と第１模擬背景画像との差分、又は実画像と第２模擬背景画像との差分により、背景差分画像を生成する（Ｓ１６）。
【0065】
なお、背景差分画像を生成する際、実画像から第１又は第２模擬背景画像を減じるか、あるいは、第１又は第２模擬背景画像から実画像を減じるかによって、白色系統の欠陥を目立たせる白残し画像を生成するか、黒色系統の欠陥を目立たせる黒残し画像を生成するかを選択できる。第３生成部３４は、白残し画像と黒残し画像の少なくとも一方を生成できる。これにより、白色系統の欠陥と黒色系統の欠陥のいずれも抽出できる。
【0066】
このように、第１の実施形態では、既知の正解ラベルを有する模擬欠陥画像を画像セグメンテーションモデル９と識別器１０に入力することで、画像セグメンテーションモデル９と識別器１０を学習する。その後、正解ラベルが未知の実画像と既知の正解ラベルを有する模擬欠陥画像を用いて、画像セグメンテーションモデル９を追加学習する。これにより、実画像に含まれる種々の欠陥を精度よく区別して抽出でき、欠陥の種類ごとに表示形態を変えた特徴強調処理画像を生成できる。
【0067】
（第２の実施形態）
第２の実施形態は、実画像に含まれる特徴量により、実画像を分類するものである。
第２の実施形態は、実画像に含まれる特徴量により、実画像を分類するものである。
【0068】
図１６は第２の実施形態に係る半導体画像処理装置１ａの概略構成を示すブロック図である。図１６の半導体画像処理装置１ａは、自己学習部３と、自己フィードバック部４と、特徴強調処理部７と、特徴量抽出部３７と、画像分類部３８とを備える。
【0069】
第２の実施形態における自己学習部３及び自己フィードバック部４は、第１の実施形態における自己学習部３及び自己フィードバック部４と同様の処理を行う。第１の実施形態では、実画像に含まれる欠陥を抽出する例を示したが、第２の実施形態における特徴量は、必ずしも欠陥に限定されない。
【0070】
また、第２の実施形態に係る特徴強調処理部７は、第１の実施形態に係る特徴強調処理部７と同様に、平均画素算出部３１と、第１生成部３２と、第２生成部３３と、第３生成部３４とを有する。特徴強調処理部７は、１枚の入力画像から、背景差分画像を生成する。特徴強調処理部７は、白系統の特徴量を強調させる第１背景差分画像と、黒系統の特徴量を強調させる第２背景差分画像とを含む背景差分画像を生成することができる。
【0071】
特徴量抽出部３７は、追加学習されたモデル９で抽出された特徴量を含む領域と、背景差分画像に含まれる特徴量を含む領域とに応じた画像処理を行って生成される特徴強調処理画像から特徴量を抽出する。
【0072】
特徴量抽出部３７は、入力画像に含まれる特徴量と、特徴量抽出部３７で抽出された特徴量とを合成する特徴量合成部３９を有する。
【0073】
画像分類部３８は、特徴量合成部３９で合成された特徴量に基づいて、実画像のクラスタリングを行う。
【0074】
このように、第２の実施形態では、第１の実施形態と同様の画像セグメンテーションモデル９と識別器１０を用いて、実画像に含まれる特徴量を特徴量の種類別に強調させた特徴強調処理画像を生成し、特徴強調処理画像から抽出された特徴量と実画像から抽出された特徴量とを合成し、合成された特徴量に基づいて実画像のクラスタリングを行うことができる。これにより、種々の特徴量を考慮に入れて、実画像を分類することができる。
【0075】
上述した実施形態で説明した半導体画像処理装置１、１ａの少なくとも一部は、ハードウェアで構成してもよいし、ソフトウェアで構成してもよい。ソフトウェアで構成する場合には、半導体画像処理装置１ａの少なくとも一部の機能を実現するプログラムをフレキシブルディスクやＣＤ－ＲＯＭ１９等の記録媒体に収納し、コンピュータに読み込ませて実行させてもよい。記録媒体は、磁気ディスクや光ディスク等の着脱可能なものに限定されず、ハードディスク装置やメモリなどの固定型の記録媒体でもよい。
【0076】
また、半導体画像処理装置１、１ａの少なくとも一部の機能を実現するプログラムを、インターネット等の通信回線（無線通信も含む）を介して頒布してもよい。さらに、同プログラムを暗号化したり、変調をかけたり、圧縮した状態で、インターネット等の有線回線や無線回線を介して、あるいは記録媒体に収納して頒布してもよい。
【0077】
［付記］
入力画像に含まれる特徴量に対応するラベルを識別する識別器と、
前記入力画像に含まれる前記特徴量を推論するモデルを学習するとともに、前記識別器を学習する第１学習部と、
前記入力画像と学習済みの前記識別器とに基づいて、前記モデルを追加学習する第２学習部と、を備える、
半導体画像処理装置。
［項目２］
前記入力画像は、既知の正解ラベルを有する模擬画像とラベルが未知の実画像とを含み、
前記第１学習部は、前記模擬画像を前記モデルに入力して推論された推論画像と前記正解ラベルとに基づいて前記モデルを学習するとともに、前記推論画像を前記識別器に入力して識別された前記ラベルを前記正解ラベルと比較した結果に基づいて前記識別器を学習する、
項目１に記載の半導体画像処理装置。
［項目３］
前記第１学習部は、前記モデルの学習が終わった後に前記識別器の学習を行う、
項目２に記載の半導体画像処理装置。
［項目４］
前記第１学習部は、前記モデルの学習を行っている最中に、前記識別器の学習を開始する、
項目２に記載の半導体画像処理装置。
［項目５］
前記モデルは、前記入力画像を、前記特徴量を含む領域ごとに分類するとともに、前記特徴量の種類ごとに異なる前記ラベルを付与する、
項目２乃至４のいずれか一項に記載の半導体画像処理装置。
［項目６］
前記第２学習部は、
前記模擬画像を前記モデルに入力して推論された第１推論画像に対応するラベルと、前記模擬画像の前記正解ラベルとに基づいて第１損失関数値を計算する第１損失関数計算部と、
前記実画像を前記モデルに入力して推論された第２推論画像を前記識別器に入力して予測された前記ラベルに基づいて第２損失関数値を計算する第２損失関数計算部と、
前記第１損失関数値及び前記第２損失関数値を合算した第３損失関数値に基づいて前記モデルのパラメータを更新する更新部と、を有する、
項目２乃至５のいずれか一項に記載の半導体画像処理装置。
［項目７］
前記第１損失関数計算部は、前記第１推論画像を画素ごとに前記正解ラベルの画像の画素と比較した結果に基づいて、前記第１損失関数値を計算し、
前記第２損失関数計算部は、前記第２推論画像の全体が前記正解ラベルの画像に一致するか否かの判定結果に基づいて前記第２損失関数値を計算する、
項目６に記載の半導体画像処理装置。
［項目８］
前記第２学習部で追加学習された前記モデルに基づいて、前記実画像に含まれる前記特徴量を含む領域を抽出し、抽出された領域に応じた画像処理を行って特徴強調処理画像を生成する領域強調処理部をさらに備える、
項目２乃至７のいずれか一項に記載の半導体画像処理装置。
［項目９］
前記実画像から背景模様を除去した背景差分画像を生成する特徴強調処理部をさらに備える、
項目２に記載の半導体画像処理装置。
［項目１０］
前記特徴強調処理部は、
実画像の第１方向における第１画素領域ごとの平均画素値を算出する平均画素算出部と、
前記実画像の前記第１方向における前記第１画素領域ごとの平均画素値に基づいて、第１模擬背景画像を生成する第１生成部と、
前記実画像の前記第１方向における前記第１画素領域ごとの平均画素値と、前記実画像の前記第１方向に交差する第２方向における第２画素領域ごとの平均画素値とを画素ごとに合算した画素値から、前記実画像の平均画素値を画素ごとに減じた画素値に基づいて、第２模擬背景画像を生成する第２生成部と、
前記実画像と前記第１模擬背景画像との差分、又は前記実画像と前記第２模擬背景画像との差分により、前記背景差分画像を生成する第３生成部と、を有する、
項目９に記載の半導体画像処理装置。
［項目１１］
前記入力画像は、半導体デバイスが形成されたウエハの表面の画像であり、
前記特徴量は、前記半導体デバイスの欠陥を含む、
項目２乃至１０のいずれか一項に記載の半導体画像処理装置。
［項目１２］
前記半導体デバイスの欠陥は、円状、線状、配線、又はホールの少なくとも一つの欠陥を含む、
項目１１に記載の半導体画像処理装置。
［項目１３］
前記欠陥の模様を特定するとともに、前記欠陥の長さ、色、及び位置のそれぞれをランダムに選択して、欠陥パターン画像を生成し、背景パターン画像と生成した前記欠陥パターン画像とを合成して前記模擬画像を生成する模擬画像生成部をさらに備える、
項目１１に記載の半導体画像処理装置。
［項目１４］
前記入力画像から背景模様を除去した背景差分画像を生成する特徴強調処理部と、
追加学習された前記モデルで抽出された特徴量を含む領域と、前記背景差分画像に含まれる特徴量を含む領域とに応じた画像処理を行って生成される特徴強調処理画像から前記特徴量を抽出する特徴量抽出部と、
前記特徴強調処理画像に含まれる特徴量に基づいて、前記入力画像のクラスタリングを行う画像分類部と、を備える、
項目１に記載の半導体画像処理装置。
［項目１５］
前記特徴量抽出部は、前記入力画像に含まれる特徴量と、前記特徴量抽出部で抽出された特徴量とを合成する特徴量合成部を有し、
前記画像分類部は、前記特徴量合成部で合成された特徴量に基づいて、前記入力画像のクラスタリングを行う、
項目１４に記載の半導体画像処理装置。
［項目１６］
前記特徴強調処理部は、
入力画像の第１方向における第１画素領域ごとの平均画素値を算出する平均画素算出部と、
前記入力画像の前記第１方向における前記第１画素領域ごとの平均画素値に基づいて、第１模擬背景画像を生成する第１生成部と、
前記入力画像の前記第１方向における前記第１画素領域ごとの平均画素値と、前記入力画像の前記第１方向に交差する第２方向における第２画素領域ごとの平均画素値とを画素ごとに合算した画素値から、前記入力画像の平均画素値を画素ごとに減じた画素値に基づいて、第２模擬背景画像を生成する第２生成部と、
前記入力画像と前記第１模擬背景画像との差分、又は前記入力画像と前記第２模擬背景画像との差分により、前記入力画像の背景差分画像を生成する第３生成部と、備え、
前記特徴強調処理部は、前記背景差分画像に含まれる前記特徴量に基づいて前記特徴強調処理画像を生成する、
項目１４又は１５に記載の半導体画像処理装置。
［項目１７］
前記第３生成部は、１枚の前記入力画像から、前記背景差分画像を生成する、
項目１６に記載の半導体画像処理装置。
［項目１８］
前記第３生成部は、白系統の前記特徴量を強調させる第１背景差分画像、又は黒系統の前記特徴量を強調させる第２背景差分画像の何れかを含む前記背景差分画像を生成する、
項目１６又は１７に記載の半導体画像処理装置。
［項目１９］
入力画像に含まれる特徴量に対応するラベルを識別器にて識別し、
前記入力画像に含まれる前記特徴量を推論するモデルを学習するとともに、前記識別器を学習し、
前記入力画像と学習済みの前記識別器とに基づいて、前記モデルを追加学習する、
半導体画像処理方法。
入力画像に含まれる特徴量に対応するラベルを識別する識別器と、
前記入力画像に含まれる前記特徴量を推論するモデルを学習するとともに、前記識別器を学習する第１学習部と、
前記入力画像と学習済みの前記識別器とに基づいて、前記モデルを追加学習する第２学習部と、を備える、
半導体画像処理装置。
［項目２］
前記入力画像は、既知の正解ラベルを有する模擬画像とラベルが未知の実画像とを含み、
前記第１学習部は、前記模擬画像を前記モデルに入力して推論された推論画像と前記正解ラベルとに基づいて前記モデルを学習するとともに、前記推論画像を前記識別器に入力して識別された前記ラベルを前記正解ラベルと比較した結果に基づいて前記識別器を学習する、
項目１に記載の半導体画像処理装置。
［項目３］
前記第１学習部は、前記モデルの学習が終わった後に前記識別器の学習を行う、
項目２に記載の半導体画像処理装置。
［項目４］
前記第１学習部は、前記モデルの学習を行っている最中に、前記識別器の学習を開始する、
項目２に記載の半導体画像処理装置。
［項目５］
前記モデルは、前記入力画像を、前記特徴量を含む領域ごとに分類するとともに、前記特徴量の種類ごとに異なる前記ラベルを付与する、
項目２乃至４のいずれか一項に記載の半導体画像処理装置。
［項目６］
前記第２学習部は、
前記模擬画像を前記モデルに入力して推論された第１推論画像に対応するラベルと、前記模擬画像の前記正解ラベルとに基づいて第１損失関数値を計算する第１損失関数計算部と、
前記実画像を前記モデルに入力して推論された第２推論画像を前記識別器に入力して予測された前記ラベルに基づいて第２損失関数値を計算する第２損失関数計算部と、
前記第１損失関数値及び前記第２損失関数値を合算した第３損失関数値に基づいて前記モデルのパラメータを更新する更新部と、を有する、
項目２乃至５のいずれか一項に記載の半導体画像処理装置。
［項目７］
前記第１損失関数計算部は、前記第１推論画像を画素ごとに前記正解ラベルの画像の画素と比較した結果に基づいて、前記第１損失関数値を計算し、
前記第２損失関数計算部は、前記第２推論画像の全体が前記正解ラベルの画像に一致するか否かの判定結果に基づいて前記第２損失関数値を計算する、
項目６に記載の半導体画像処理装置。
［項目８］
前記第２学習部で追加学習された前記モデルに基づいて、前記実画像に含まれる前記特徴量を含む領域を抽出し、抽出された領域に応じた画像処理を行って特徴強調処理画像を生成する領域強調処理部をさらに備える、
項目２乃至７のいずれか一項に記載の半導体画像処理装置。
［項目９］
前記実画像から背景模様を除去した背景差分画像を生成する特徴強調処理部をさらに備える、
項目２に記載の半導体画像処理装置。
［項目１０］
前記特徴強調処理部は、
実画像の第１方向における第１画素領域ごとの平均画素値を算出する平均画素算出部と、
前記実画像の前記第１方向における前記第１画素領域ごとの平均画素値に基づいて、第１模擬背景画像を生成する第１生成部と、
前記実画像の前記第１方向における前記第１画素領域ごとの平均画素値と、前記実画像の前記第１方向に交差する第２方向における第２画素領域ごとの平均画素値とを画素ごとに合算した画素値から、前記実画像の平均画素値を画素ごとに減じた画素値に基づいて、第２模擬背景画像を生成する第２生成部と、
前記実画像と前記第１模擬背景画像との差分、又は前記実画像と前記第２模擬背景画像との差分により、前記背景差分画像を生成する第３生成部と、を有する、
項目９に記載の半導体画像処理装置。
［項目１１］
前記入力画像は、半導体デバイスが形成されたウエハの表面の画像であり、
前記特徴量は、前記半導体デバイスの欠陥を含む、
項目２乃至１０のいずれか一項に記載の半導体画像処理装置。
［項目１２］
前記半導体デバイスの欠陥は、円状、線状、配線、又はホールの少なくとも一つの欠陥を含む、
項目１１に記載の半導体画像処理装置。
［項目１３］
前記欠陥の模様を特定するとともに、前記欠陥の長さ、色、及び位置のそれぞれをランダムに選択して、欠陥パターン画像を生成し、背景パターン画像と生成した前記欠陥パターン画像とを合成して前記模擬画像を生成する模擬画像生成部をさらに備える、
項目１１に記載の半導体画像処理装置。
［項目１４］
前記入力画像から背景模様を除去した背景差分画像を生成する特徴強調処理部と、
追加学習された前記モデルで抽出された特徴量を含む領域と、前記背景差分画像に含まれる特徴量を含む領域とに応じた画像処理を行って生成される特徴強調処理画像から前記特徴量を抽出する特徴量抽出部と、
前記特徴強調処理画像に含まれる特徴量に基づいて、前記入力画像のクラスタリングを行う画像分類部と、を備える、
項目１に記載の半導体画像処理装置。
［項目１５］
前記特徴量抽出部は、前記入力画像に含まれる特徴量と、前記特徴量抽出部で抽出された特徴量とを合成する特徴量合成部を有し、
前記画像分類部は、前記特徴量合成部で合成された特徴量に基づいて、前記入力画像のクラスタリングを行う、
項目１４に記載の半導体画像処理装置。
［項目１６］
前記特徴強調処理部は、
入力画像の第１方向における第１画素領域ごとの平均画素値を算出する平均画素算出部と、
前記入力画像の前記第１方向における前記第１画素領域ごとの平均画素値に基づいて、第１模擬背景画像を生成する第１生成部と、
前記入力画像の前記第１方向における前記第１画素領域ごとの平均画素値と、前記入力画像の前記第１方向に交差する第２方向における第２画素領域ごとの平均画素値とを画素ごとに合算した画素値から、前記入力画像の平均画素値を画素ごとに減じた画素値に基づいて、第２模擬背景画像を生成する第２生成部と、
前記入力画像と前記第１模擬背景画像との差分、又は前記入力画像と前記第２模擬背景画像との差分により、前記入力画像の背景差分画像を生成する第３生成部と、備え、
前記特徴強調処理部は、前記背景差分画像に含まれる前記特徴量に基づいて前記特徴強調処理画像を生成する、
項目１４又は１５に記載の半導体画像処理装置。
［項目１７］
前記第３生成部は、１枚の前記入力画像から、前記背景差分画像を生成する、
項目１６に記載の半導体画像処理装置。
［項目１８］
前記第３生成部は、白系統の前記特徴量を強調させる第１背景差分画像、又は黒系統の前記特徴量を強調させる第２背景差分画像の何れかを含む前記背景差分画像を生成する、
項目１６又は１７に記載の半導体画像処理装置。
［項目１９］
入力画像に含まれる特徴量に対応するラベルを識別器にて識別し、
前記入力画像に含まれる前記特徴量を推論するモデルを学習するとともに、前記識別器を学習し、
前記入力画像と学習済みの前記識別器とに基づいて、前記モデルを追加学習する、
半導体画像処理方法。
【0078】
本開示の態様は、上述した個々の実施形態に限定されるものではなく、当業者が想到しうる種々の変形も含むものであり、本開示の効果も上述した内容に限定されない。すなわち、特許請求の範囲に規定された内容およびその均等物から導き出される本開示の概念的な思想と趣旨を逸脱しない範囲で種々の追加、変更および部分的削除が可能である。
【符号の説明】
【0079】
１、１ａ 半導体画像処理装置、２ 識別器生成部、３ 自己学習部、４ 自己フィードバック部、４ａ 第１損失関数計算部、４ｂ 第２損失関数計算部、４ｃ 更新部、５ 模擬画像生成部、６ モデル記憶部、７ 特徴強調処理部、８ 領域強調処理部、９ 画像セグメンテーションモデル、１０ 識別器、１３ 学習用プロセッサ、１４ 模擬欠陥画像記憶部、１５ 実画像記憶部、１６ 処理結果画像記憶部、１７ 画像入力インタフェース部、１９ ＣＤ－ＲＯＭ、２１ バス、２２ 表示装置、２３ エンコーダ、２４ デコーダ、３１ 平均画素算出部、３２ 第１生成部、３３ 第２生成部、３４ 第３生成部、３５ 領域抽出部、３６ 領域別画像処理部、３７ 特徴量抽出部、３８ 画像分類部、３９ 特徴量合成部
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
