特許 7595649 パターン検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-11-28

(45)【発行日】2024-12-06

(54)【発明の名称】パターン検査装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241129BHJP

   G06V 10/82 20220101ALI20241129BHJP

【ＦＩ】

G06T7/00 350C

G06T7/00 610Z

G06V10/82

【請求項の数】 7

(21)【出願番号】P 2022514871

(86)(22)【出願日】2021-04-09

(86)【国際出願番号】 IB2021052938

(87)【国際公開番号】W WO2021209867

(87)【国際公開日】2021-10-21

【審査請求日】2024-03-29

(31)【優先権主張番号】P 2020073779

(32)【優先日】2020-04-17

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】000153878

【氏名又は名称】株式会社半導体エネルギー研究所

(72)【発明者】

【氏名】岡野 達也

(72)【発明者】

【氏名】中里 諒

【審査官】菊池 伸郎

(56)【参考文献】

【文献】国際公開第２０１９／１８９０２６（ＷＯ，Ａ１）

【文献】特表２０１９－５３０４８８（ＪＰ，Ａ）

【文献】米国特許出願公開第２０２０／００３４６９３（ＵＳ，Ａ１）

【文献】特開２０１８－１８０６２８（ＪＰ，Ａ）

【文献】特開２０２０－３５２８２（ＪＰ，Ａ）

【文献】特開２００４－３５４２５１（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

Ｇ０６Ｖ １０／８２

Ｇ０１Ｎ ２１／８８

(57)【特許請求の範囲】

【請求項1】

撮像部と、検査装置と、分類装置と、を有するパターン検査装置であって、
前記撮像部は、検査対象を撮像する機能を有し、
前記検査装置は、前記撮像部が撮像した異なる素子の２つの画像の差分を基に不良が含まれているか否かの判断を行う機能を有し、
前記分類装置は、記憶部と、処理部と、分類器と、を有し、
前記記憶部には、不良が含まれると判断された複数の画像データと、識別モデルと、が格納され、
前記識別モデルは、複数の畳み込み層と、複数のプーリング層と、第１の全結合層と、第２の全結合層と、第３の全結合層と、第４の全結合層と、第５の全結合層と、を有し、
前記第５の全結合層は、出力層であり、
前記第４の全結合層は、前記第５の全結合層と接続しており、
前記第３の全結合層は、前記第４の全結合層と接続しており、
前記第２の全結合層は、前記第３の全結合層と接続しており、
前記第１の全結合層は、前記第２の全結合層と接続しており、
前記処理部に、前記複数の画像データのうち、第１乃至第ｎ（ｎは２以上の整数である）の画像データが供給され、
前記処理部は、前記識別モデルに基づいて、第ｋ（ｋは１以上ｎ以下の整数である）の画像データの、第ｋの特徴量を出力する機能を有し、
前記処理部から出力される特徴量は、前記第１の全結合層が有するニューロンの数値、前記第２の全結合層が有するニューロンの数値、または、前記第３の全結合層が有するニューロンの数値であり、
前記分類器に、前記処理部から出力された第１乃至第ｎの特徴量が供給され、
前記分類器は、前記第１乃至第ｎの特徴量に基づいて、前記第１乃至第ｎの画像データのクラスタリングを行う機能を有する、パターン検査装置。

【請求項2】

撮像部と、検査装置と、分類装置と、を有するパターン検査装置であって、
前記撮像部は、検査対象を撮像する機能を有し、
前記検査装置は、前記撮像部が撮像した異なる素子の２つの画像の差分を基に不良が含まれているか否かの判断を行う機能を有し、
前記分類装置は、記憶部と、処理部と、分類器と、を有し、
前記記憶部には、不良が含まれると判断された複数の画像データと、識別モデルと、が格納され、
前記識別モデルは、複数の畳み込み層と、複数のプーリング層と、全結合層と、を有し、
前記全結合層は、出力層であり、
前記処理部に、前記複数の画像データのうち、第１乃至第ｎ（ｎは２以上の整数である）の画像データが供給され、
前記処理部は、前記識別モデルに基づいて、第ｋ（ｋは１以上ｎ以下の整数である）の画像データの、第ｋの特徴量を出力する機能を有し、
前記処理部から出力される特徴量は、前記複数の畳み込み層のいずれか一が有するニューロンの数値、または、前記複数のプーリング層のいずれか一が有するニューロンの数値であり、
前記分類器に、前記処理部から出力された第１乃至第ｎの特徴量が供給され、
前記分類器は、前記第１乃至第ｎの特徴量に基づいて、前記第１乃至第ｎの画像データのクラスタリングを行う機能を有する、パターン検査装置。

【請求項3】

撮像部と、検査装置と、分類装置と、を有するパターン検査装置であって、
前記撮像部は、検査対象を撮像する機能を有し、
前記検査装置は、前記撮像部が撮像した異なる素子の２つの画像の差分を基に不良が含まれているか否かの判断を行う機能を有し、
前記分類装置は、記憶部と、処理部と、分類器と、を有し、
前記記憶部には、不良が含まれると判断された複数の画像データと、識別モデルと、が格納され、
前記識別モデルは、入力層と、中間層と、出力層と、を有し、
前記処理部に、前記複数の画像データのうち、第１乃至第ｎ（ｎは２以上の整数である）の画像データが供給され、
前記処理部は、前記識別モデルに基づいて、第ｋ（ｋは１以上ｎ以下の整数である）の画像データの、第ｋの特徴量を出力する機能を有し、
前記処理部から出力される特徴量は、前記中間層が有するニューロンの数値であり、
前記分類器に、前記処理部から出力された第１乃至第ｎの特徴量が供給され、
前記分類器は、前記第１乃至第ｎの特徴量に基づいて、前記第１乃至第ｎの画像データのクラスタリングを行う機能を有する、パターン検査装置。

【請求項4】

撮像部と、検査装置と、分類装置と、を有するパターン検査装置であって、
前記撮像部は、検査対象を撮像する機能を有し、
前記検査装置は、前記撮像部が撮像した異なる素子の２つの画像の差分を基に不良が含まれているか否かの判断を行う機能を有し、
前記分類装置は、記憶部と、加工部と、処理部と、分類器と、を有し、
前記記憶部には、不良が含まれると判断された複数の画像データと、識別モデルと、が格納され、
前記識別モデルは、入力層と、中間層と、出力層と、を有し、
前記加工部に、前記複数の画像データのうち、第１乃至第ｎ（ｎは２以上の整数である）の画像データが供給され、
前記加工部は、第ｋ（ｋは１以上ｎ以下の整数である）の画像データの一部を除去することで、第（ｎ＋ｋ）の画像データを生成する機能を有し、
前記処理部に、第（ｎ＋１）乃至第（２ｎ）の画像データが供給され、
前記処理部は、前記識別モデルに基づいて、前記第（ｎ＋ｋ）の画像データの、第ｋの特徴量を出力する機能を有し、
前記処理部から出力される特徴量は、前記中間層が有するニューロンの数値であり、
前記分類器に、前記処理部から出力された第１乃至第ｎの特徴量が供給され、
前記分類器は、前記第１乃至第ｎの特徴量に基づいて、前記第１乃至第ｎの画像データのクラスタリングを行う機能を有する、パターン検査装置。

【請求項5】

請求項１乃至請求項４のいずれか一において、
前記処理部から出力される特徴量の次元数は、３２以上２５６以下である、パターン検査装置。

【請求項6】

請求項１乃至請求項５のいずれか一において、
前記識別モデルは、不良が含まれると判別された画像データに対して、不良のタイプが推論されるように、教師あり学習が行われており、
前記クラスタリングには、階層的手法が用いられる、パターン検査装置。

【請求項7】

請求項１乃至請求項６のいずれか一において、
前記記憶部、前記処理部、および前記分類器に加えて、出力部を有し、
前記出力部は、前記分類器で行われたクラスタリングの結果を表示する機能を有する、パターン検査装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一態様は、分類装置に関する。また、本発明の一態様は、画像分類方法に関する。また、本発明の一態様は、パターン検査装置に関する。

【背景技術】

【0002】

半導体製造工程の不良検出手段として、外観検査が挙げられる。外観検査を自動で行うための装置（外観検査装置）として、例えば、パターン検査装置が挙げられる。外観検査装置を利用して取得された画像に対して、不良の検出および識別が行われる。不良の検出および識別が目視で行われる場合、不良の検出および識別の精度に個人差が生じる場合がある。また、画像データの数が多いと、不良の検出および識別に膨大な時間がかかる。

【0003】

近年、ニューラルネットワークを利用して、不良（欠陥）の識別を行う技術が報告されている。例えば、特許文献１では、欠陥に関する情報を入力して欠陥の識別結果を出力するように学習させたニューロ処理ユニットを用いて、欠陥を識別する欠陥種別判定装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開平８－２１８０３号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ニューロ処理ユニットを学習させるには、欠陥に関する情報と欠陥の種別との関連付けをあらかじめ行う必要がある。特許文献１では、欠陥に関する情報は、欠陥の面積、欠陥の形状、欠陥の位置などであり、画像処理装置を用いて取得されている。しかしながら、複数の欠陥が重なる、または同じ領域に存在する場合、欠陥に関する情報の精度が低下する恐れがある。

【0006】

不良が検知された場合、リワーク工程を行うか否かを判断する必要がある。リワーク工程を行うか否かの判断は、不良の種類だけでなく、各不良の発生頻度、ロット・基板内の不良の分布など、俯瞰して行われる必要がある。

【0007】

そこで、本発明の一態様は、新規の分類装置を提供することを課題の一つとする。また、本発明の一態様は、新規の画像分類方法を提供することを課題の一つとする。また、本発明の一態様は、新規のパターン検査装置を提供することを課題の一つとする。

【0008】

なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。

【課題を解決するための手段】

【0009】

本発明の態様は、記憶部と、処理部と、分類器と、を有する分類装置である。記憶部には、複数の画像データと、識別モデルと、が格納される。識別モデルは、複数の畳み込み層と、複数のプーリング層と、第１の全結合層と、第２の全結合層と、第３の全結合層と、第４の全結合層と、第５の全結合層と、を有する。第５の全結合層は、出力層である。第４の全結合層は、第５の全結合層と接続している。第３の全結合層は、第４の全結合層と接続している。第２の全結合層は、第３の全結合層と接続している。第１の全結合層は、第２の全結合層と接続している。処理部に、複数の画像データのうち、第１乃至第ｎ（ｎは２以上の整数である）の画像データが供給される。処理部は、識別モデルに基づいて、第ｋ（ｋは１以上ｎ以下の整数である）の画像データの、第ｋの特徴量を出力する機能を有する。処理部から出力される特徴量は、第１の全結合層が有するニューロンの数値、第２の全結合層が有するニューロンの数値、または、第３の全結合層が有するニューロンの数値である。分類器に、処理部から出力された第１乃至第ｎの特徴量が供給される。分類器は、第１乃至第ｎの特徴量に基づいて、第１乃至第ｎの画像データのクラスタリングを行う機能を有する。

【0010】

本発明の他の一態様は、記憶部と、処理部と、分類器と、を有する分類装置である。記憶部には、複数の画像データと、識別モデルと、が格納される。識別モデルは、複数の畳み込み層と、複数のプーリング層と、第１の全結合層と、第２の全結合層と、第３の全結合層と、を有する。第３の全結合層は、出力層である。第２の全結合層は、第３の全結合層と接続している。第１の全結合層は、第２の全結合層と接続している。処理部に、複数の画像データのうち、第１乃至第ｎ（ｎは２以上の整数である）の画像データが供給される。処理部は、識別モデルに基づいて、第ｋ（ｋは１以上ｎ以下の整数である）の画像データの、第ｋの特徴量を出力する機能を有する。処理部から出力される特徴量は、第１の全結合層が有するニューロンの数値、または、第２の全結合層が有するニューロンの数値である。分類器に、処理部から出力された第１乃至第ｎの特徴量が供給される。分類器は、第１乃至第ｎの特徴量に基づいて、第１乃至第ｎの画像データのクラスタリングを行う機能を有する。

【0011】

本発明の他の一態様は、記憶部と、処理部と、分類器と、を有する分類装置である。記憶部には、複数の画像データと、識別モデルと、が格納される。識別モデルは、複数の畳み込み層と、複数のプーリング層と、全結合層と、を有する。全結合層は、出力層である。処理部に、複数の画像データのうち、第１乃至第ｎ（ｎは２以上の整数である）の画像データが供給される。処理部は、識別モデルに基づいて、第ｋ（ｋは１以上ｎ以下の整数である）の画像データの、第ｋの特徴量を出力する機能を有する。処理部から出力される特徴量は、複数の畳み込み層のいずれか一が有するニューロンの数値、または、複数のプーリング層のいずれか一が有するニューロンの数値である。分類器に、処理部から出力された第１乃至第ｎの特徴量が供給される。分類器は、第１乃至第ｎの特徴量に基づいて、第１乃至第ｎの画像データのクラスタリングを行う機能を有する。

【0012】

上記分類装置において、複数の画像データのそれぞれは、不良が含まれると判別された画像データであることが好ましい。

【0013】

本発明の他の一態様は、記憶部と、処理部と、分類器と、を有する分類装置である。記憶部には、複数の画像データと、識別モデルと、が格納される。複数の画像データのそれぞれは、不良が含まれると判別された画像データである。識別モデルは、入力層と、中間層と、出力層と、を有する。処理部に、複数の画像データのうち、第１乃至第ｎ（ｎは２以上の整数である）の画像データが供給される。処理部は、識別モデルに基づいて、第ｋ（ｋは１以上ｎ以下の整数である）の画像データの、第ｋの特徴量を出力する機能を有する。処理部から出力される特徴量は、中間層が有するニューロンの数値である。分類器に、処理部から出力された第１乃至第ｎの特徴量が供給される。分類器は、第１乃至第ｎの特徴量に基づいて、第１乃至第ｎの画像データのクラスタリングを行う機能を有する。

【0014】

本発明の他の一態様は、記憶部と、加工部と、処理部と、分類器と、を有する分類装置である。記憶部には、複数の画像データと、識別モデルと、が格納される。複数の画像データのそれぞれは、不良が含まれると判別された画像データである。識別モデルは、入力層と、中間層と、出力層と、を有する。加工部に、複数の画像データのうち、第１乃至第ｎ（ｎは２以上の整数である）の画像データが供給される。加工部は、第ｋ（ｋは１以上ｎ以下の整数である）の画像データの一部を除去することで、第（ｎ＋ｋ）の画像データを生成する機能を有する。処理部に、第（ｎ＋１）乃至第（２ｎ）の画像データが供給される。処理部は、識別モデルに基づいて、第（ｎ＋ｋ）の画像データの、第ｋの特徴量を出力する機能を有する。処理部から出力される特徴量は、中間層が有するニューロンの数値である。分類器に、処理部から出力された第１乃至第ｎの特徴量が供給される。分類器は、第１乃至第ｎの特徴量に基づいて、第１乃至第ｎの画像データのクラスタリングを行う機能を有する。

【0015】

上記分類装置において、処理部から出力される特徴量の次元数は、３２以上２５６以下であることが好ましい。

【0016】

上記分類装置において、識別モデルは、不良が含まれると判別された画像データに対して、不良のタイプが推論されるように、教師あり学習が行われており、クラスタリングには、階層的手法が用いられることが好ましい。

【0017】

また、上記分類装置において、記憶部、処理部、および分類器に加えて、出力部を有し、出力部は、分類器で行われたクラスタリングの結果を表示する機能を有することが好ましい。

【0018】

また、本発明の他の一態様は、上記分類装置と、撮像部と、検査装置と、を有するパターン検査装置である。撮像部は、検査対象を撮像する機能を有する。検査装置は、撮像部が撮像することで取得される画像データ内に不良が含まれるか否かの判別を行う機能を有する。

【0019】

本発明の他の一態様は、第１のステップにおいて、第１乃至第ｎ（ｎは２以上の整数である）の画像データを処理部に供給し、第２のステップにおいて、処理部を用いて、識別モデルに基づいて、第１乃至第ｎの画像データに対する、第１乃至第ｎの特徴量を抽出し、第３のステップにおいて、第１乃至第ｎの特徴量を分類器に供給し、第４のステップにおいて、分類器を用いて、第１乃至第ｎの特徴量に基づいて、第１乃至第ｎの画像データのクラスタリングを行う、画像分類方法であって、第１乃至第ｎの画像データのそれぞれは、不良が含まれると判別された画像データであり、識別モデルは、入力層と、中間層と、出力層と、を有し、処理部から出力される特徴量は、中間層が有するニューロンの数値である、画像分類方法である。

【0020】

上記画像分類方法において、識別モデルは、不良が含まれると判別された画像データに対して、不良のタイプが推論されるように、教師あり学習が行われており、クラスタリングには、階層的手法が用いられることが好ましい。

【0021】

上記画像分類方法において、処理部から出力される特徴量の次元数は、３２以上２５６以下であることが好ましい。

【0022】

また、上記画像分類方法において、第５のステップにおいて、分類器で行われたクラスタリングの結果を出力部に供給し、第６のステップにおいて、結果を表示することが好ましい。

【発明の効果】

【0023】

本発明の一態様により、新規の分類装置を提供することができる。また、本発明の一態様により、新規の画像分類方法を提供することができる。また、本発明の一態様により、新規のパターン検査装置を提供することができる。

【0024】

なお、本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお、他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば、明細書、図面などの記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、及び／又は他の効果のうち、少なくとも一つの効果を有するものである。したがって本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。

【図面の簡単な説明】

【0025】

図１は、分類装置の一例を示すブロック図である。
図２は、画像データおよびラベルの一例を示す図である。
図３Ａ、及び図３Ｂは、ニューラルネットワークの構成例を示す模式図である。
図４Ａ、及び図４Ｂは、分類装置の一例を示すブロック図である。
図５は、画像データを分類する方法の一例を示すフローチャートである。
図６は、画像データおよび特徴量の一例を示す図である。
図７は、画像データを分類する方法の一例を示すフローチャートである。
図８は、学習済みの識別モデルを生成する方法の一例を示すフローチャートである。
図９は、分類装置のハードウェアの一例を示す図である。
図１０は、分類装置のハードウェアの一例を示す図である。
図１１は、パターン検査装置の一例を示すブロック図である。
図１２は、クラスタリングの結果を説明する図である。
図１３Ａ乃至図１３Ｄは、画像データの一例を示す図である。

【発明を実施するための形態】

【0026】

実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。したがって、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。

【0027】

なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。

【0028】

また、図面において示す各構成の、位置、大きさ、範囲などは、理解の簡単のため、実際の位置、大きさ、範囲などを表していない場合がある。このため、開示する発明は、必ずしも、図面に開示された位置、大きさ、範囲などに限定されない。

【0029】

また、本明細書にて用いる「第１」、「第２」、「第３」という序数詞は、構成要素の混同を避けるために付したものであり、数的に限定するものではないことを付記する。

【0030】

また、本明細書において、上限と下限の数値が規定されている場合は、自由に組み合わせる構成も開示されているものとする。

【0031】

本明細書では、機械学習モデルの学習および評価に用いるデータセットを、学習用データセットと表記する。機械学習モデルの学習および評価を行う際、学習用データセットは、学習データ（訓練データともいう）と、テストデータ（評価データともいう）と、に分割される。さらに、学習データは、学習データと、検証データと、に分割されることがある。なお、テストデータは、学習用データセットから予め分割されていてもよい。

【0032】

学習データとは、機械学習モデルの学習に使用するデータである。検証データとは、機械学習モデルの学習結果の評価に使用するデータである。テストデータとは、機械学習モデルの評価に使用するデータである。機械学習が教師あり学習である場合、学習データ、検証データ、およびテストデータには、ラベルが付与されている。

【0033】

本明細書などにおいて、半導体素子は、半導体特性を利用することで機能しうる素子を指す。一例としては、トランジスタ、ダイオード、発光素子、または受光素子などの半導体素子である。また別の一例の半導体素子は、容量、抵抗、インダクタなどの、導電膜、または絶縁膜などによって生成される受動素子である。また別の一例の半導体素子は、半導体素子、または受動素子を有する回路を備える半導体装置である。

【0034】

（実施の形態１）
本実施の形態では、本発明の一態様の分類装置について、図１乃至図４を用いて説明する。

【0035】

分類装置は、ユーザが利用するパーソナルコンピュータなどの情報処理装置に設けられることができる。または、分類装置をサーバに設け、クライアントＰＣからネットワークを介して利用することができる。

【0036】

分類装置は、画像データをクラスタリングする機能を有する。本実施の形態では、当該分類装置が、半導体製造工程で検出される不良をクラスタリングするものとして説明する。つまり、当該画像データは、半導体製造工程で検出される不良を含む画像データであるとする。

【0037】

半導体製造工程で検出される不良として、例えば、異物の混入、膜抜け、パターン不良、膜残り、膜浮き、断線などがある。異物の混入とは、半導体製造工程における、作業者、材料、製造装置、作業環境などを発生源とする異物が、基板（シリコンウェハなどの半導体基板、ガラス基板、プラスチック基板、金属基板、ＳＯＩ基板など）上に付着することで生じる不良を指す。また、膜抜けとは、正常なパターンが剥がれてしまったことで生じる不良を指す。また、パターン不良とは、パターンが設計通りに形成されなかったことで生じる不良を指す。

【0038】

上記画像データは、製造工程の途中である半導体素子、または製造工程が終了した半導体素子において、半導体膜、絶縁膜、配線などのパターン（以下、単にパターンと呼ぶ）が正常でない領域が撮影された画像データである。つまり、当該画像データは、不良が観察される領域が撮影された画像データと言い換えることができる。当該画像データを、単に、不良を含む画像データと呼ぶ場合がある。

【0039】

＜分類装置１００＞
本発明の一態様である分類装置の一例を、図１に示す。図１は、分類装置１００の構成を示す図である。分類装置１００は、図１に示すように、記憶部１０１、処理部１０２、分類器１０３、および出力部１０４を備える。

【0040】

［記憶部１０１］
記憶部１０１には、画像データが格納される。当該画像データは、不良を含む画像データである。

【0041】

ここで、記憶部１０１に格納される画像データについて、図２を用いて説明する。記憶部１０１には、複数の画像データ５０が格納される。図２に示すように、複数の画像データ５０は、画像データ５１＿１乃至画像データ５１＿ｓ（ｓは１以上の整数である。）、および、画像データ５２＿１乃至画像データ５２＿ｔ（ｔは１以上の整数である。）を有する。

【0042】

画像データ５１＿１乃至画像データ５１＿ｓのそれぞれには、ラベルが付与されている。図２では、画像データ５１＿１、および画像データ５１＿２には、ラベル６１Ａが付与されている。また、画像データ５１＿ｓには、ラベル６１Ｆが付与されている。本実施の形態では、画像データ５１＿１乃至画像データ５１＿ｓに付与されるラベルは、半導体製造工程で検出される不良に対応する。別言すると、ラベル６１Ａ、ラベル６１Ｆなどのそれぞれは、半導体製造工程で検出される不良のいずれか一または複数に対応する。なお、半導体製造工程で検出される不良のタイプは、数値配列として与えられる。

【0043】

画像データ５２＿１乃至画像データ５２＿ｔには、不良に対応するラベルが付与されていない。なお、図２内の“－”は、画像データにラベルが付与されていないことを表す。

【0044】

［処理部１０２］
処理部１０２は、学習済みの識別モデルによる処理を行う機能を有する。具体的には、処理部１０２は、学習済みの識別モデルを用いて、画像データから特徴量を抽出する機能を有する。処理部１０２には、画像データ５３＿１乃至画像データ５３＿ｎ（ｎは２以上の整数である。）が記憶部１０１から供給される。ここで、画像データ５３＿１乃至画像データ５３＿ｎは、記憶部１０１に格納されている複数の画像データ５０の一部または全てである。このとき、処理部１０２にて、画像データ５３＿１乃至画像データ５３＿ｎのそれぞれに対して、特徴量が抽出される。

【0045】

識別モデルには、ニューラルネットワークを用いることが好ましく、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることがより好ましい。ＣＮＮとして、例えば、ＶＧＧ１１、ＶＧＧ１６、ＧｏｏｇＬｅＮｅｔ、ＲｅｓＮｅｔなどが挙げられる。

【0046】

図３Ａは、ニューラルネットワーク３００の構成例を示す図である。ニューラルネットワーク３００は、層３０１＿１乃至層３０１＿ｋ（ｋは３以上の整数である。）を有する。

【0047】

層３０１＿１乃至層３０１＿ｋは、ニューロンを有し、各層に設けられているニューロン同士が結合されている。例えば、層３０１＿１に設けられているニューロンは、層３０１＿２に設けられているニューロンと結合されている。また、層３０１＿２に設けられているニューロンは、層３０１＿１に設けられているニューロン、及び層３０１＿３に設けられているニューロンと結合されている。なお、層３０１＿３乃至層３０１＿ｋのそれぞれに設けられているニューロンについても同様である。つまり、層３０１＿１乃至層３０１＿ｋにより、階層型のニューラルネットワークが構成されている。

【0048】

画像データは層３０１＿１に入力され、層３０１＿１は入力された画像データに対応するデータを出力する。当該データは層３０１＿２に入力され、層３０１＿２は入力されたデータに対応するデータを出力する。層３０１＿ｋには層３０１＿ｋ－１から出力されたデータが入力され、層３０１＿ｋは当該入力されたデータに対応するデータを出力する。以上より、層３０１＿１を入力層、層３０１＿２乃至層３０１＿ｋ－１を中間層、層３０１＿ｋを出力層とすることができる。なお、２層以上の中間層を有するニューラルネットワークは、深層学習（ディープラーニング）とも呼ばれる。

【0049】

ニューラルネットワーク３００は、例えば層３０１＿１乃至層３０１＿ｋから出力されるデータが、ニューラルネットワーク３００に入力された画像データの特徴に対応するものとなるようにあらかじめ学習されている。学習は、教師なし学習、教師あり学習等により行うことができる。教師なし学習、教師あり学習のどちらの方法で学習を行う場合であっても、学習アルゴリズムとして誤差逆伝播方式等を用いることができる。本実施の形態では、学習は、教師あり学習により行われることが好ましい。

【0050】

ＣＮＮの一例を、図３Ｂに示す。図３Ｂは、ＣＮＮ３１０の構成を示す図である。ＣＮＮ３１０は、図３Ｂに示すように、複数の畳み込み層（畳み込み層３１１＿１乃至畳み込み層３１１＿ｍ（ｍは１以上の整数である。））、複数のプーリング層（プーリング層３１２＿１乃至プーリング層３１２＿ｍ）、および全結合層３１３を有する。図３Ｂでは、全結合層３１３が、全結合層３１３＿１、全結合層３１３＿２、および全結合層３１３＿３の３層を有する例を示している。なお、ＣＮＮ３１０は、全結合層３１３を１層または２層だけ有してもよいし、４層以上有してもよい。

【0051】

畳み込み層は、当該畳み込み層に入力されたデータに対して畳み込みを行う機能を有する。例えば、畳み込み層３１１＿１は、入力された画像データに対して畳み込みを行う機能を有する。また、畳み込み層３１１＿２は、プーリング層３１２＿１から出力されたデータに対して畳み込みを行う機能を有する。また、畳み込み層３１１＿ｍは、プーリング層３１２＿ｍ－１から出力されたデータに対して畳み込みを行う機能を有する。

【0052】

畳み込みは、畳み込み層に入力されたデータと、重みフィルタと、の積和演算を繰り返すことにより行われる。畳み込み層における畳み込みにより、ＣＮＮ３１０に入力された画像データに対応する画像の特徴等が抽出される。

【0053】

畳み込みが施されたデータは、活性化関数によって変換された後、プーリング層に出力される。活性化関数としては、ＲｅＬＵ（Ｒｅｃｔｉｆｉｅｄ Ｌｉｎｅａｒ Ｕｎｉｔｓ）等を用いることができる。ＲｅＬＵは、入力値が負である場合は“０”を出力し、入力値が“０”以上である場合は入力値をそのまま出力する関数である。また、活性化関数として、シグモイド関数、ｔａｎｈ関数等を用いることもできる。

【0054】

プーリング層は、畳み込み層から入力されたデータに対してプーリングを行う機能を有する。プーリングは、データを複数の領域に分割し、当該領域ごとに所定のデータを抽出してマトリクス状に配置する処理である。プーリングにより、畳み込み層によって抽出された特徴を残しつつ、データ量を小さくすることができる。また、入力データの微小なずれに対するロバスト性を高めることができる。なお、プーリングとしては、最大プーリング、平均プーリング、Ｌｐプーリング等を用いることができる。

【0055】

全結合層３１３は、入力されたデータを活性化関数により変換し、変換後のデータを出力する機能を有する。具体的には、ＣＮＮ３１０が図３Ｂに示す構成である場合、全結合層３１３＿１は、プーリング層３１２＿ｍから出力されたデータを活性化関数により変換する機能を有する。また、全結合層３１３＿２は、全結合層３１３＿１から出力されたデータを活性化関数により変換する機能を有する。また、全結合層３１３＿３は、全結合層３１３＿２から出力されたデータを活性化関数により変換する機能を有する。活性化関数として、ＲｅＬＵ、シグモイド関数、ｔａｎｈ関数等を用いることができる。全結合層３１３は、ある層の全てのノードが、次の層の全てのノードと接続された構成を有する。畳み込み層又はプーリング層から出力されたデータは２次元の特徴マップであり、全結合層３１３に入力されると１次元に展開される。そして、全結合層３１３による推論によって得られたベクトルが、全結合層３１３から出力される。

【0056】

ＣＮＮ３１０において、全結合層３１３が有する層の１つを、出力層とすることができる。例えば、図３Ｂに示すＣＮＮ３１０では、全結合層３１３＿３を出力層とすることができる。ここで、図３Ｂに示すＣＮＮ３１０では、全結合層３１３＿１、および全結合層３１３＿２は中間層とすることができる。または、ＣＮＮ３１０が、全結合層３１３として全結合層３１３＿１のみを有する場合、全結合層３１３＿１を出力層とすることができる。または、ＣＮＮ３１０が、全結合層３１３＿１、および全結合層３１３＿２を有する場合、全結合層３１３＿２を出力層とし、全結合層３１３＿１を中間層とすることができる。ＣＮＮ３１０が、全結合層３１３を４層以上有する場合も同様に、１層の全結合層３１３を出力層とし、残りの全結合層３１３を中間層とすることができる。

【0057】

なお、ＣＮＮ３１０の構成は図３Ｂの構成に限定されない。例えば、複数の畳み込み層（畳み込み層３１１＿１乃至畳み込み層３１１＿ｍ）のそれぞれが、２層以上の畳み込み層を有してもよい。つまり、ＣＮＮ３１０が有する畳み込み層の数は、プーリング層の数より多くてもよい。また、抽出された特徴の位置情報を極力残したい場合は、プーリング層を設けなくてもよい。

【0058】

ＣＮＮ３１０は学習を行うことにより、重みフィルタのフィルタ値、全結合層の重み係数等を最適化することができる。

【0059】

上記識別モデルは、画像データを入力して、不良の識別結果を出力するように学習されている。つまり、ニューラルネットワークの入力層に、画像データが入力されると、ニューラルネットワークの出力層から、不良の識別結果が出力される。例えば、ニューラルネットワークが図３Ａに示す構成である場合、入力層である層３０１＿１に不良を含む画像データが入力されると、出力層である層３０１＿ｋから、不良の識別結果が出力される。また、ニューラルネットワークが図３Ｂに示す構成である場合、入力層である畳み込み層３１１＿１に不良を含む画像データが入力されると、出力層である全結合層３１３＿３から、不良の識別結果が出力される。

【0060】

処理部１０２は、識別モデルの中間層が有するニューロンの数値を出力する機能を有する。中間層が有するニューロンの数値は、識別モデルに入力された画像データの特徴に対応するデータ（特徴量ともいう。）を含む。つまり、中間層が有するニューロンの数値を出力することで、識別モデルに入力された画像データの特徴量を抽出することができる。

【0061】

抽出される特徴量の次元数は、一定以上の数を有することが好ましい。当該次元数が少ないと、クラスタリングの精度が不十分となる場合がある。一方、当該次元数が多いと、クラスタリングの演算量が大きくなり、クラスタリングに要する時間が大きくなる、または、計算機の資源が不足する場合がある。当該次元数は、例えば、出力層となる全結合層の次元数よりも大きいことが好ましい。当該次元数は、具体的には、３２以上１０２４以下が好ましく、３２以上２５６以下がより好ましい。

【0062】

ニューラルネットワークが図３Ａに示す構成である場合、例えば、層３０１＿ｋ－１が有するニューロンの数値が出力される。ここで、層３０１＿ｋ－１から出力されるニューロンの数値を特徴量３０５とする。特徴量３０５は、画像データの特徴に対応するデータを含む。なお、図３Ａでは、特徴量３０５は、層３０１＿ｋ－１から出力される構成を示しているが、これに限られない。例えば、特徴量３０５は、層３０１＿２乃至層３０１＿ｋ－２のいずれか一つから、出力されてもよい。

【0063】

また、ニューラルネットワークが図３Ｂに示す構成である場合、例えば、全結合層３１３＿２が有するニューロンの数値が出力される。ここで、全結合層３１３＿２から出力されるニューロンの数値を特徴量３１５とする。特徴量３１５は、画像データの特徴に対応するデータを含む。なお、図３Ｂでは、特徴量３１５は、全結合層３１３＿２から出力される構成を示しているが、これに限られない。例えば、特徴量３１５は、畳み込み層３１１＿１乃至畳み込み層３１１＿ｍ、プーリング層３１２＿１乃至プーリング層３１２＿ｍ、および、全結合層３１３＿１のいずれか一つから出力されてもよい。なお、畳み込み層またはプーリング層から出力される特徴量は、特徴マップと呼ぶ場合がある。

【0064】

処理部１０２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を用いて処理を行うことができる。特に、処理部１０２は、ニューラルネットワークにより構成されるため、ＧＰＵを用いると、高速で処理を行うことができるため好ましい。

【0065】

学習済みの識別モデルは、処理部１０２が有する記憶部（図１には図示せず）に格納されてもよいし、記憶部１０１に格納されてもよい。学習済みの識別モデルが記憶部１０１に格納されている場合、処理部１０２には、記憶部１０１から、学習済みの識別モデルが供給される。または、学習済みの識別モデルは、入力部、記憶媒体、通信などを介して、処理部１０２に供給されてもよい。

【0066】

［分類器１０３］
分類器１０３は、クラスタリング（クラスター分析）を行う機能を有する。具体的には、分類器１０３は、特徴量に基づいて、画像データのクラスタリングを行う機能を有する。分類器１０３には、処理部１０２にて抽出された、画像データ５３＿１乃至画像データ５３＿ｎのそれぞれの特徴量が供給される。このとき、分類器１０３にて、画像データ５３＿１乃至画像データ５３＿ｎのそれぞれの特徴量に基づいて、画像データ５３＿１乃至画像データ５３＿ｎがクラスタリングされる。

【0067】

クラスタリング（クラスター分析）の手法として、階層的手法、または非階層的手法を用いることができる。階層的手法は、類似したデータ同士をまとめていくことで、クラスターを形成する手法である。階層的手法として、例えば、最短距離法、最長距離法、群平均法、ウォード法などがある。また、非階層的手法は、類似したデータ同士が同じクラスターに属するように、データ全体を分割する手法である。非階層的手法として、例えば、ｋ－ｍｅａｎｓ法などがある。

【0068】

本実施の形態では、クラスタリング（クラスター分析）の手法として、階層的手法を用いることが好ましい。階層的手法を用いることで、これまで確認されなかった不良を含む画像データが含まれる場合、確認済みの不良に分類された集合に分類されることを抑制することができる。また、処理する画像データのデータ分布が未知である場合、階層的手法は、クラスター数の初期設定がなく好適である。階層的手法では、しきい値を設けることで、クラスター数が決定される。当該しきい値は、例えば、サンプルデータを用意して、適合率の高い値に決定するとよい。

【0069】

画像データの総数が多い場合は、クラスタリングの手法として、ｋ－ｍｅａｎｓ法を用いることが好ましい場合がある。画像データの総数が多くなる（例えば、２０００を超える）と、ｋ－ｍｅａｎｓ法は、階層的手法と比べて、少ない計算回数でクラスタリングを行うことができる場合がある。ｋ－ｍｅａｎｓ法を用いる場合、クラスター数は、ｘ－ｍｅａｎｓ法を用いて自動推定してもよいし、サンプルデータを用意してあらかじめ決定しておいてもよい。

【0070】

分類器１０３は、記憶部（図１には図示せず）を有してもよい。このとき、当該記憶部には、クラスタリングの手法に関するプログラムが格納される。または、クラスタリングの手法に関するプログラムは、記憶部１０１に格納されてもよい。当該プログラムが記憶部１０１に格納されている場合、分類器１０３には、記憶部１０１から、当該プログラムが供給される。または、クラスタリングの手法に関するプログラムは、入力部、記憶媒体、通信などを介して、分類器１０３に供給されてもよい。

【0071】

［出力部１０４］
出力部１０４は、分類器１０３で行われたクラスタリングの結果を供給する機能を有する。なお、出力部１０４は、上記結果を表示する機能を有してもよい。例えば、出力部１０４として、ディスプレイ、スピーカーなどの出力デバイスがある。

【0072】

分類装置１００は、入力部（図１には図示せず）を有してもよい。画像データは、当該入力部を介して、記憶部１０１に格納されるとよい。また、識別モデル、クラスタリングの手法に関するプログラムなども、当該入力部を介して、記憶部１０１に格納されてもよい。なお、画像データは、記憶媒体、通信などを介して、記憶部１０１に格納されてもよい。

【0073】

以上が、分類装置１００についての説明である。なお、図１では、分類装置１００は、記憶部１０１、処理部１０２、分類器１０３、および出力部１０４を有する構成を示しているが、これに限られない。分類装置１００の変形例を以下に示す。以下で説明する分類装置の変形例は、本明細書などに示す他の分類装置と適宜組み合わせることができる。

【0074】

＜分類装置１００Ａ＞
図１に示す分類装置１００の変形例である分類装置１００Ａを、図４Ａに示す。図４Ａに示すように、分類装置１００Ａは、記憶部１０１、処理部１０２、分類器１０３、および出力部１０４に加えて、加工部１０５を有する。

【0075】

加工部１０５は、画像データの加工を行う機能を有する。なお、画像データの加工の詳細については後述する。また、加工部１０５は、データ拡張を行う機能を有してもよい。

【0076】

分類装置１００Ａでは、画像データ５３＿１乃至画像データ５３＿ｎは、加工部１０５に供給される。加工部１０５を用いて、画像データ５３＿１乃至画像データ５３＿ｎが加工されることで、画像データ５３＿１乃至画像データ５３＿ｎとは異なる画像データ５３ａ＿１乃至画像データ５３ａ＿ｎが生成される。加工部１０５にて生成された画像データ５３ａ＿１乃至画像データ５３ａ＿ｎは、処理部１０２に供給される。処理部１０２を用いて、画像データ５３ａ＿１乃至画像データ５３ａ＿ｎのそれぞれの特徴量が抽出される。処理部１０２にて抽出された複数の特徴量は、分類器１０３に供給される。分類器１０３を用いて、当該複数の特徴量に基づいて、画像データ５３＿１乃至画像データ５３＿ｎがクラスタリングされる。

【0077】

加工部１０５を有することで、処理部にて抽出される特徴量に、画像データに含まれる不良の特徴をより含ませることができる。したがって、クラスタリングの精度を向上させることができる。

【0078】

以上が、分類装置１００Ａについての説明である。

【0079】

＜分類装置１００Ｂ＞
また、図４Ａに示す分類装置１００Ａの変形例である分類装置１００Ｂを、図４Ｂに示す。図４Ｂに示すように、分類装置１００Ｂは、記憶部１０１、分類器１０３、出力部１０４、加工部１０５、第１処理部１０６、および第２処理部１０７を有する。

【0080】

第２処理部１０７は、分類装置１００Ａの処理部１０２に相当する。よって、第２処理部１０７については、処理部１０２について説明した内容を参酌することができる。

【0081】

第１処理部１０６は、識別モデルの学習を行う機能を有する。第１処理部１０６を用いることで、学習済みの識別モデルを生成することができる。または、第１処理部１０６を用いることで、識別モデルの再学習を行うことができる。識別モデルの再学習は、例えば、ラベルの付与された画像データが記憶部１０１に格納された後、または、記憶部１０１に格納されている、ラベルが付与されていない画像データ（図２に示す画像データ５２＿１乃至画像データ５２＿ｔ）の一つまたは複数にラベルが付与された後などに行われるとよい。識別モデルの再学習を行うことで、識別精度が向上した識別モデルを使用することができ、クラスタリングの精度を向上させることができる。

【0082】

以上が、分類装置１００Ｂについての説明である。

【0083】

本発明の一態様の分類装置を用いて得られるクラスタリングの結果を利用することで、識別モデルによる推論の精度が不十分な画像データに対して、不良の識別を目視で行う場合でも、不良のタイプを決定するのに要する時間を短縮することができる。また、不良の識別に十分習熟していないユーザでも、不良の識別に要する時間を短縮しつつ、不良の識別を高い精度で行うことができる。

【0084】

また、本発明の一態様の分類装置を用いて不良を含む画像データをクラスタリングすることで、ユーザは、リワーク工程を行うか否かの判断を迅速かつ適切に決定することができる。特に、不良を含む画像データと当該画像データの撮影位置（ロット・基板内の位置）とが関連付けられている場合には有効である。また、これまでに確認されたことがない不良や、種類を識別できていない不良を容易に把握することができる。

【0085】

以上より、本発明の一態様である分類装置を用いることで、作業効率を向上させることができる。

【0086】

なお、本発明の一態様の分類装置がクラスタリングする画像データは、半導体製造工程で検出される不良を含む画像データに限られない。例えば、建築物の劣化や損傷を含む画像データであってもよい。建築物の劣化とは、ひび割れ、剥離、異物付着、腐食などである。建築物の劣化や損傷を含む画像データをクラスタリングすることで、建築物の補修を迅速かつ適切に行うことができる。なお、当該画像データは、定点カメラ、監視カメラなどを用いて建築物を撮影することで取得されるとよい。

【0087】

本実施の形態は、他の実施の形態、実施例などと適宜組み合わせることができる。また、本明細書において、１つの実施の形態の中に、複数の構成例が示される場合は、構成例を適宜組み合わせることが可能である。

【0088】

（実施の形態２）
本実施の形態では、画像データを分類する方法（画像分類方法）、および学習済みの識別モデルを生成する方法について、図５乃至図８を用いて説明する。なお、本実施の形態の、画像データを分類する方法は、実施の形態１で説明した分類装置を用いて行うことができる。

【0089】

＜画像データを分類する方法＞
本発明の一態様である、画像データを分類する方法について説明する。なお、本実施の形態で説明する、画像データの分類とは、画像データの集合を複数の部分集合に分割することを指す。つまり、本実施の形態における、画像データの分類は、画像データのクラスタリングと言い換えることができる。

【0090】

図５は、画像データを分類する方法の一例を示すフローチャートである。図５は、実施の形態１で説明した分類装置が実行する処理の流れを説明するフローチャートでもある。

【0091】

画像データを分類する方法は、図５に示すように、ステップＳ００１乃至ステップＳ００５を有する。

【0092】

［ステップＳ００１］
ステップＳ００１は、複数の画像データを処理部に供給する工程である。当該複数の画像データは、実施の形態１で説明した画像データ５３＿１乃至画像データ５３＿ｎに相当する。また、当該処理部は、実施の形態１で説明した処理部１０２または第２処理部１０７に相当する。

【0093】

［ステップＳ００２］
ステップＳ００２は、上記処理部にて、上記複数の画像データのそれぞれの特徴量を抽出する工程である。つまり、画像データ５３＿１乃至画像データ５３＿ｎからそれぞれ、特徴量６２＿１乃至特徴量６２＿ｎが抽出される。特徴量の抽出は、実施の形態１で説明した、学習済みの識別モデルを用いて行うことができる。つまり、当該特徴量は、実施の形態１で説明した特徴量３０５または特徴量３１５に相当する。

【0094】

各画像データの特徴量は、次元数がｕ個の数値配列で与えられる。つまり、特徴量６２＿１乃至特徴量６２＿ｎのそれぞれは、ｕ個の数値配列で与えられる。例えば、図６に示すように、画像データ５３＿１から抽出される特徴量６２＿１は、値６３＿１［１］乃至値６３＿１［ｕ］から構成される。同様に、画像データ５３＿２から抽出される特徴量６２＿２は、値６３＿２［１］乃至値６３＿２［ｕ］から構成される。また、同様に、画像データ５３＿ｎから抽出される特徴量６２＿ｎは、値６３＿ｎ［１］乃至値６３＿ｎ［ｕ］から構成される。

【0095】

［ステップＳ００３］
ステップＳ００３は、上記処理部にて抽出された特徴量（特徴量６２＿１乃至特徴量６２＿ｎ）を分類器に供給する工程である。当該分類器は、実施の形態１で説明した分類器１０３に相当する。

【0096】

［ステップＳ００４］
ステップＳ００４は、上記分類器にて、上記特徴量（特徴量６２＿１乃至特徴量６２＿ｎ）に基づいて、上記複数の画像データ（画像データ５３＿１乃至画像データ５３＿ｎ）のクラスタリングを行う工程である。画像データのクラスタリングには、例えば、実施の形態１で説明した階層的手法を用いることができる。

【0097】

［ステップＳ００５］
ステップＳ００５は、上記分類器にて行われたクラスタリングの結果を、出力部にて表示する工程である。当該出力部は、実施の形態１で説明した出力部１０４に相当する。なお、画像データのクラスタリングとして階層的手法が用いられる場合、当該クラスタリングの結果として、例えば、デンドログラムが作成される。よって、当該出力部は、例えば、デンドログラムを表示する。

【0098】

以上より、画像データを分類することができる。

【0099】

なお、画像データを分類する方法は、上述した方法に限られない。画像データを分類する方法の他の一例を以下に示す。

【0100】

図７は、画像データを分類する方法の他の一例を示すフローチャートである。図７に示すように、画像データを分類する方法は、ステップＳ０１１乃至ステップＳ０１４、およびステップＳ００３乃至ステップＳ００５を有してもよい。ステップＳ００３乃至ステップＳ００５については、上述した内容を参酌することができる。

【0101】

［ステップＳ０１１］
ステップＳ０１１は、複数の画像データを加工部に供給する工程である。当該複数の画像データは、実施の形態１で説明した画像データ５３＿１乃至画像データ５３＿ｎに相当する。また、当該加工部は、実施の形態１で説明した加工部１０５に相当する。

【0102】

［ステップＳ０１２］
ステップＳ０１２は、上記加工部にて、上記複数の画像データのそれぞれを加工する工程である。具体的には、ステップＳ０１２は、画像データ５３＿１乃至画像データ５３＿ｎを加工して、画像データ５３ａ＿１乃至画像データ５３ａ＿ｎを生成する工程である。より具体的には、画像データ５３＿１乃至画像データ５３＿ｎから不良を含む領域を切り抜くことで、画像データ５３ａ＿１乃至画像データ５３ａ＿ｎを生成する工程である。なお、画像データから不良を含む領域の切り抜きは、画像データから不良を含まない領域の少なくとも一部の除去と言い換えることができる。

【0103】

以下では、画像データ５３＿１を加工して、画像データ５３ａ＿１を生成する工程について説明する。

【0104】

画像データ５３ａ＿１の形状は、長方形であるとよい。当該長方形は、長辺の長さがａ１であり、短辺の長さがａ２である。長さａ１、および長さａ２は、画像データ５３ａ＿１が画像データ５３＿１に収まるように指定する。よって、少なくとも、長さａ１は、画像データ５３＿１の長辺の長さ以下とし、長さａ２は、画像データ５３＿１の短辺の長さ以下とする。また、長さａ１、および長さａ２は、画像データ５３ａ＿１内に不良が収まるように指定する。

【0105】

長さａ１と長さａ２の比は、画像データ５３＿１の長辺の長さと画像データ５３＿１の短辺の長さの比に等しいことが好ましい。画像データ５３＿１の長辺の長さと画像データ５３＿１の短辺の長さの比が４：３である場合、例えば、長さａ１を６４０ピクセルとし、長さａ２を４８０ピクセルとするとよい。

【0106】

なお、長さａ１と長さａ２の比は、画像データ５３＿１の長辺の長さと画像データ５３＿１の短辺の長さの比と必ずしも一致しなくてもよい。例えば、上記長方形は、長さａ１と長さａ２の比が、画像データ５３＿１の長辺の長さと画像データ５３＿１の短辺の長さの比と異なってもよい。または、画像データ５３ａ＿１の形状は、正方形であってもよい。

【0107】

または、上記長方形は、当該長方形の長辺と、画像データ５３＿１の短辺とが平行であり、当該長方形の短辺と、画像データ５３＿１の長辺とが平行であってもよい。または、上記長方形は、当該長方形の長辺と、画像データ５３＿１の長辺とが平行または垂直でなくてもよい。

【0108】

画像データ５３ａ＿１の位置は、画像データ５３ａ＿１が画像データ５３＿１に収まるように決定する。なお、画像データ５３ａ＿１の位置は、画像データ５３ａ＿１の重心を基準として決定してもよいし、画像データ５３ａ＿１の頂点の１つを基準として決定してもよい。例えば、画像データ５３ａ＿１の重心を、一様乱数で決定する。一様乱数とは、指定した区間内または範囲内で全ての実数が同じ確率で現れるような連続一様分布に従う乱数である。

【0109】

上記では、長さａ１および長さａ２を指定した後に、画像データ５３ａ＿１の位置を決定する工程を説明したが、当該工程はこれに限られない。画像データ５３ａ＿１の位置を指定した後に、画像データ５３ａ＿１が画像データ５３＿１に収まるように、長さａ１および長さａ２を決定してもよい。または、画像データ５３ａ＿１が画像データ５３＿１に収まるように、画像データ５３ａ＿１の位置、ならびに長さａ１および長さａ２を同時に決定してもよい。

【0110】

なお、画像データ５３ａ＿１の長辺の長さおよび短辺の長さは、他の画像データ５３ａ＿１の長辺の長さおよび短辺の長さとそれぞれ等しいことが好ましい。これにより、上述したように、不良の識別精度を高めることができる。

【0111】

以上が、画像データ５３＿１を加工して、画像データ５３ａ＿１を生成する工程についての説明である。なお、画像データ５３ａ＿２乃至画像データ５３ａ＿ｎは、同様の工程を行うことで生成することができる。

【0112】

ステップＳ０１２は、ユーザが行ってもよいし、分類装置を用いて自動的に行われてもよい。分類装置を用いる場合、例えば、不良を含む画像データと不良を含まない画像データとの差分を取得し、当該差分の大きい領域およびその周辺の領域を切り抜くとよい。

【0113】

以上より、画像データ５３ａ＿１乃至画像データ５３ａ＿ｎを生成することができる。画像データ５３＿１乃至画像データ５３＿ｎのそれぞれから不良を含む領域を切り抜くことで、画像データ全体の領域（面積）に対する、識別対象となる箇所の占める領域（面積）の割合を大きくすることができる。これにより、処理部にて抽出される特徴量に、画像データに含まれる不良の特徴をより含ませることができる。したがって、クラスタリングの精度を向上させることができる。なお、画像データ５３ａ＿１乃至画像データ５３ａ＿ｎには、それぞれ、画像データ５３＿１乃至画像データ５３＿ｎに付与されているラベルが付与される。

【0114】

［ステップＳ０１３］
ステップＳ０１３は、画像データ５３ａ＿１乃至画像データ５３ａ＿ｎを処理部に供給する工程である。当該処理部は、実施の形態１で説明した処理部１０２または第２処理部１０７に相当する。

【0115】

［ステップＳ０１４］
ステップＳ０１４は、上記処理部にて、画像データ５３ａ＿１乃至画像データ５３ａ＿ｎのそれぞれの特徴量を抽出する工程である。つまり、画像データ５３ａ＿１乃至画像データ５３ａ＿ｎからそれぞれ、特徴量６２＿１乃至特徴量６２＿ｎが抽出される。画像データ５３ａ＿１乃至画像データ５３ａ＿ｎは、それぞれ、画像データ５３＿１乃至画像データ５３＿ｎを加工することで作成されるため、特徴量６２＿１乃至特徴量６２＿ｎは、それぞれ、画像データ５３＿１乃至画像データ５３＿ｎの特徴量と言い換えることができる。特徴量の抽出は、実施の形態１で説明した、学習済みの識別モデルを用いて行うことができる。

【0116】

ステップＳ０１４を行った後、ステップＳ００３、ステップＳ００４、およびステップＳ００５を順に行う。以上より、画像データを分類することができる。

【0117】

以上が、画像データを分類する方法の説明である。不良を含む画像データをクラスタリングすることで、ユーザが不良を識別するのに要する時間を短縮することができる。また、不良の識別に十分習熟していないユーザでも、不良の識別を高い精度で行うことができる。また、ユーザは、リワーク工程を行うか否かの判断を迅速かつ適切に決定することができる。また、これまでに確認されたことがない不良、種類を識別できていない不良などを容易に把握することができる。

【0118】

＜学習済みの識別モデルを生成する方法＞
ここでは、本発明の一態様に係る、学習済みの識別モデルを生成する方法について説明する。なお、学習済みの識別モデルを生成する方法は、識別モデルを学習させる方法と言い換えることができる。また、学習済みの識別モデルを生成する方法は、学習済みの識別モデルを再学習させる方法と言い換えることができる。

【0119】

図８は、学習済みの識別モデルを生成する方法の一例を示すフローチャートである。図８は、実施の形態１で説明した分類装置が実行する処理の流れを説明するフロー図でもある。

【0120】

学習済みの識別モデルを生成する方法は、図８に示すように、ステップＳ０２１乃至ステップＳ０２６を有する。

【0121】

［ステップＳ０２１］
ステップＳ０２１は、複数の画像データを加工部に供給する工程である。当該複数の画像データは、学習データ、検証データ、またはテストデータとして用いることができる画像データである。また、当該加工部は、実施の形態１で説明した加工部１０５に相当する。

【0122】

上記複数の画像データのそれぞれは、不良を含む画像データである。さらに、当該不良を含む画像データには、当該画像データに含まれる不良に対応するラベルが付与されている。つまり、上記複数の画像データは、画像データ５１＿１乃至画像データ５１＿ｓの一部または全てである。ここで、上記複数の画像データを、画像データ５４＿１乃至画像データ５４＿ｐ（ｐは２以上ｓ以下の整数である。））と記載する。

【0123】

［ステップＳ０２２］
ステップＳ０２２は、上記加工部にて、上記複数の画像データを加工して、上記複数の画像データとは異なる、複数の画像データを生成する工程である。具体的には、画像データ５４＿１乃至画像データ５４＿ｐを加工して、画像データ５４ａ＿１乃至画像データ５４ａ＿ｐを生成する工程である。より具体的には、画像データ５４＿１乃至画像データ５４＿ｐから不良を含む領域を切り抜くことで、画像データ５４ａ＿１乃至画像データ５４ａ＿ｐを生成する工程である。当該工程は、ステップＳ０１２の説明を参酌することができる。

【0124】

画像データは、当該画像データ全体の領域（面積）に対する、識別対象となる箇所の占める領域（面積）の割合が大きいことが好ましい。例えば、パターン検査結果画像の場合、不良部を切り抜くことが効果的である。上記加工により、処理部にて抽出される特徴量に、画像データに含まれる不良の特徴をより含ませることができる。したがって、クラスタリングの精度を向上させることができる。なお、画像データ５４ａ＿１乃至画像データ５４ａ＿ｐには、それぞれ、画像データ５４＿１乃至画像データ５４＿ｐに付与されているラベルが付与される。

【0125】

［ステップＳ０２３］
ステップＳ０２３は、上記加工部にて、データ拡張を行う工程である。データ拡張の方法として、画像データに対する、回転、反転、ノイズ付加、ぼかし加工、ガンマ変換などがあげられる。データ拡張には、画像データ５４ａ＿１乃至画像データ５４ａ＿ｐの一部または全てを用いるとよい。データ拡張により、ｑ（ｑは１以上の整数である。）個の画像データ（画像データ５４ａ＿ｐ＋１乃至画像データ５４ａ＿ｐ＋ｑ）が生成される。

【0126】

なお、不良毎に作成される画像データの数は、ほぼ等しいことが好ましい。例えば、異物に対応するラベルが付与された画像データの数、膜抜けに対応するラベルが付与された画像データの数、パターン不良に対応するラベルが付与された画像データの数などが、ほぼ等しいことが好ましい。これにより、特定の不良に対する過剰適合（過学習）を抑制することができる。

【0127】

データ拡張の方法、データ拡張により生成される画像データの数などは、ランダムに選択されてもよいし、ユーザが指定してもよい。また、画像データ５４ａ＿１乃至画像データ５４ａ＿ｐに付与されているラベルなどをもとに、分類装置が自動で選択してもよい。

【0128】

なお、データ拡張を行わなくてもよい場合がある。例えば、高い精度で識別可能な識別モデルを生成するだけの学習データが用意できる場合である。このとき、ステップＳ０２３を省略してもよい。

【0129】

ステップＳ０２２、およびステップＳ０２３を行うことで、学習用データセットを生成することができる。学習用データセットの入力データは、ステップＳ０２２で作成したｐ個の画像データ（画像データ５４ａ＿１乃至画像データ５４ａ＿ｐ）、および、ステップＳ０２３で生成したｑ個の画像データ（画像データ５４ａ＿ｐ＋１乃至画像データ５４ａ＿ｐ＋ｑ）である。

【0130】

学習用データセットの正解ラベルは、画像データ５４ａ＿１乃至画像データ５４ａ＿ｐ＋ｑのそれぞれに付与されたラベルである。

【0131】

以上より、学習用データセットは、（ｐ＋ｑ）個の画像データおよび当該画像データに付与されたラベルで構成される。

【0132】

［ステップＳ０２４］
ステップＳ０２４は、上記加工部にて生成された学習用データセットを処理部に供給する工程である。当該学習用データセットには、画像データ５４ａ＿１乃至画像データ５４ａ＿ｐ＋ｑが含まれる。当該処理部は、実施の形態１で説明した第１処理部１０６に相当する。

【0133】

［ステップＳ０２５］
ステップＳ０２５は、上記処理部にて、上記学習用データセットを用いて、識別モデルを学習させる工程である。

【0134】

上記識別モデルを学習させる際、上記学習用データセットを、学習データと、検証データと、テストデータとに分割するとよい。例えば、当該学習データを用いて当該識別モデルを学習させ、当該検証データを用いて学習の結果を評価し、当該テストデータを用いて、学習させた識別モデルを評価する。これにより、学習させた識別モデルの精度を確かめることができる。以降では、テストデータの数に対する、識別結果が正解であった数の比を、正解率と呼ぶ場合がある。

【0135】

なお、学習データは、画像データ５４ａ＿１乃至画像データ５４ａ＿ｐ＋ｑの一部で構成される。また、検証データは、学習データに用いられない画像データの一部で構成される。また、テストデータは、学習データおよび検証データに用いられない画像データで構成される。

【0136】

学習用データセットを、学習データと、検証データと、テストデータとに分割する方法として、例えば、ホールドアウト法、クロスバリデーション法、リーブワンアウト法などがある。

【0137】

当該学習は、所定の試行回数に達した時点で終了してもよい。または、当該学習は、正解率が所定のしきい値を超えた時点で終了してもよい。または、当該学習は、正解率がある程度飽和した時点で終了してもよい。なお、当該試行回数、または、当該しきい値に対して、予め定数を用意しておくとよい。または、当該学習を試行中に、ユーザが終了するタイミングを指定してもよい。

【0138】

上記学習により、学習済みの識別モデルが生成される。

【0139】

［ステップＳ０２６］
ステップＳ０２６は、ステップＳ０２５で生成された学習済みの識別モデルを記憶部に格納する工程である。当該記憶部は、実施の形態１で説明した記憶部１０１である。なお、当該記憶部は、第１処理部１０６が有する記憶部、処理部１０２または第２処理部１０７が有する記憶部、分類装置に接続された記憶媒体などに格納されてもよい。

【0140】

以上が、学習済みの識別モデルを生成する方法の一例である。上記学習用データセットに基づいて、識別モデルを学習させることで、不良の識別精度の高い識別モデルを生成することができる。

【0141】

本発明の一態様により、画像データを分類する方法を提供することができる。

【0142】

本実施の形態は、他の実施の形態、実施例などと適宜組み合わせることができる。また、本明細書において、１つの実施の形態の中に、複数の構成例が示される場合は、構成例を適宜組み合わせることが可能である。

【0143】

（実施の形態３）
本実施の形態では、本発明の一態様の分類装置について図９及び図１０を用いて説明する。

【0144】

＜分類装置の構成例１＞
図９に、分類装置２００のブロック図を示す。なお、本明細書に添付した図面では、構成要素を機能ごとに分類し、互いに独立したブロックとしてブロック図を示しているが、実際の構成要素は機能ごとに完全に切り分けることが難しく、一つの構成要素が複数の機能に係わることもあり得る。また、一つの機能が複数の構成要素に係わることもあり得、例えば、処理部２０２で行われる処理は、処理によって異なるサーバで実行されることがある。

【0145】

図９に示す分類装置２００は、入力部２０１、処理部２０２、記憶部２０３、データベース２０４、表示部２０５、及び伝送路２０６を有する。

【0146】

［入力部２０１］
入力部２０１には、分類装置２００の外部から画像データが供給される。当該画像データは、先の実施の形態に示したラベルが付与された画像データ、ラベルが付与されていない画像データに相当する。入力部２０１に供給された画像データは、それぞれ、伝送路２０６を介して、処理部２０２、記憶部２０３、またはデータベース２０４に供給される。

【0147】

［処理部２０２］
処理部２０２は、入力部２０１、記憶部２０３、データベース２０４などから供給されたデータを用いて、処理を行う機能を有する。処理部２０２は、処理結果を、記憶部２０３、データベース２０４、表示部２０５などに供給することができる。

【0148】

処理部２０２は、先の実施の形態に示した、処理部１０２または第２処理部１０７、および分類器１０３を含む。すなわち、処理部２０２は、学習済みの識別モデルによる処理を行う機能、クラスタリングを行う機能などを有する。また、処理部２０２は、先の実施の形態に示した、加工部１０５、および第１処理部１０６を含んでもよい。このとき、処理部２０２は、画像データの加工を行う機能、データ拡張を行う機能、学習用データセットを生成する機能、識別モデルの学習を行う機能などを有する。

【0149】

処理部２０２には、チャネル形成領域に金属酸化物を有するトランジスタを用いてもよい。当該トランジスタはオフ電流が極めて小さいため、当該トランジスタを記憶素子として機能する容量素子に流入した電荷（データ）を保持するためのスイッチとして用いることで、データの保持期間を長期にわたり確保することができる。この特性を、処理部２０２が有するレジスタ及びキャッシュメモリのうち少なくとも一方に用いることで、必要なときだけ処理部２０２を動作させ、他の場合には直前の処理の情報を当該記憶素子に待避させることにより処理部２０２をオフ状態にすることができる。すなわち、ノーマリーオフコンピューティングが可能となり、分類装置の低消費電力化を図ることができる。

【0150】

なお、本明細書等において、チャネル形成領域に酸化物半導体を用いたトランジスタをＯｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒトランジスタ（ＯＳトランジスタ）と呼ぶ。ＯＳトランジスタのチャネル形成領域は、金属酸化物を有することが好ましい。

【0151】

チャネル形成領域が有する金属酸化物はインジウム（Ｉｎ）を含むことが好ましい。チャネル形成領域が有する金属酸化物がインジウムを含む金属酸化物の場合、ＯＳトランジスタのキャリア移動度（電子移動度）が高くなる。また、チャネル形成領域が有する金属酸化物は、元素Ｍを含むことが好ましい。元素Ｍは、アルミニウム（Ａｌ）、ガリウム（Ｇａ）、またはスズ（Ｓｎ）であることが好ましい。元素Ｍに適用可能な他の元素としては、ホウ素（Ｂ）、チタン（Ｔｉ）、鉄（Ｆｅ）、ニッケル（Ｎｉ）、ゲルマニウム（Ｇｅ）、イットリウム（Ｙ）、ジルコニウム（Ｚｒ）、モリブデン（Ｍｏ）、ランタン（Ｌａ）、セリウム（Ｃｅ）、ネオジム（Ｎｄ）、ハフニウム（Ｈｆ）、タンタル（Ｔａ）、タングステン（Ｗ）などがある。ただし、元素Ｍとして、前述の元素を複数組み合わせても構わない場合がある。元素Ｍは、例えば、酸素との結合エネルギーが高い元素である。元素Ｍは、例えば、酸素との結合エネルギーがインジウムよりも高い元素である。また、チャネル形成領域が有する金属酸化物は、亜鉛（Ｚｎ）を含むことが好ましい。亜鉛を含む金属酸化物は結晶化しやすくなる場合がある。

【0152】

チャネル形成領域が有する金属酸化物は、インジウムを含む金属酸化物に限定されない。チャネル形成領域が有する金属酸化物は、例えば、亜鉛スズ酸化物、ガリウムスズ酸化物などの、インジウムを含まず、亜鉛を含む金属酸化物、ガリウムを含む金属酸化物、スズを含む金属酸化物などであっても構わない。

【0153】

また、処理部２０２には、チャネル形成領域にシリコンを含むトランジスタ（Ｓｉトランジスタ）を用いてもよい。また、チャネル形成領域に、グラフェン、シリセン、カルコゲン化物（遷移金属カルコゲナイト）などのバンドギャップを有する半導体材料を含むトランジスタを用いてもよい。

【0154】

また、処理部２０２には、チャネル形成領域に酸化物半導体を含むトランジスタと、チャネル形成領域にシリコンを含むトランジスタと、を組み合わせて用いてもよい。

【0155】

処理部２０２は、例えば、演算回路または中央演算装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を有する。

【0156】

処理部２０２は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のマイクロプロセッサを有していてもよい。マイクロプロセッサは、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＦＰＡＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ａｎａｌｏｇ Ａｒｒａｙ）等のＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によって実現された構成であってもよい。処理部２０２は、プロセッサにより種々のプログラムからの命令を解釈し実行することで、各種のデータ処理及びプログラム制御を行うことができる。プロセッサにより実行しうるプログラムは、プロセッサが有するメモリ領域及び記憶部２０３のうち少なくとも一方に格納される。

【0157】

処理部２０２はメインメモリを有していてもよい。メインメモリは、ＲＡＭ等の揮発性メモリ、及びＲＯＭ等の不揮発性メモリのうち少なくとも一方を有する。

【0158】

ＲＡＭとしては、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等が用いられ、処理部２０２の作業空間として仮想的にメモリ空間が割り当てられ利用される。記憶部２０３に格納されたオペレーティングシステム、アプリケーションプログラム、プログラムモジュール、プログラムデータ、及びルックアップテーブル等は、実行のためにＲＡＭにロードされる。ＲＡＭにロードされたこれらのデータ、プログラム、及びプログラムモジュールは、それぞれ、処理部２０２に直接アクセスされ、操作される。

【0159】

ＲＯＭには、書き換えを必要としない、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）及びファームウェア等を格納することができる。ＲＯＭとしては、マスクＲＯＭ、ＯＴＰＲＯＭ（Ｏｎｅ Ｔｉｍｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等が挙げられる。ＥＰＲＯＭとしては、紫外線照射により記憶データの消去を可能とするＵＶ－ＥＰＲＯＭ（Ｕｌｔｒａ－Ｖｉｏｌｅｔ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等が挙げられる。

【0160】

なお、ニューラルネットワークにおいては、積和演算が行われる。当該積和演算をハードウェアによって行う場合、処理部２０２は、積和演算回路を有することが好ましい。当該積和演算回路としては、デジタル回路を用いてもよいし、アナログ回路を用いてもよい。積和演算回路にアナログ回路を用いる場合、積和演算回路の回路規模の縮小、または、メモリへのアクセス回数の減少による処理速度の向上および消費電力の低減を図ることができる。なお、当該積和演算は、プログラムを用いてソフトウェア上で行ってもよい。

【0161】

積和演算回路は、Ｓｉトランジスタによって構成してもよいし、ＯＳトランジスタによって構成してもよい。特に、ＯＳトランジスタはオフ電流が極めて小さいため、積和演算回路のアナログメモリを構成するトランジスタとして好適である。なお、ＳｉトランジスタとＯＳトランジスタの両方を用いて積和演算回路を構成してもよい。

【0162】

［記憶部２０３］
記憶部２０３は、処理部２０２が実行するプログラムを記憶する機能を有する。記憶部２０３は、例えば、識別モデル、クラスタリングの手法に関するプログラムなどを記憶する機能を有する。また、記憶部２０３は、入力部２０１に供給された画像データなどを記憶する機能を有していてもよい。

【0163】

記憶部２０３は、揮発性メモリ及び不揮発性メモリのうち少なくとも一方を有する。記憶部２０３は、例えば、ＤＲＡＭ、ＳＲＡＭなどの揮発性メモリを有していてもよい。記憶部２０３は、例えば、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、抵抗変化型メモリともいう）、ＰＲＡＭ（Ｐｈａｓｅ ｃｈａｎｇｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、磁気抵抗型メモリともいう）、またはフラッシュメモリなどの不揮発性メモリを有していてもよい。また、記憶部２０３は、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ：ＨＤＤ）及びソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等の記録メディアドライブを有していてもよい。

【0164】

［データベース２０４］
分類装置２００は、データベース２０４を有していてもよい。例えば、データベース２０４は、上記画像データを記憶する機能を有する。なお、処理部２０２で生成した、学習用データセットに係る画像データ、学習済みの識別モデル、およびクラスタリングの結果などを記憶してもよい。

【0165】

なお、記憶部２０３及びデータベース２０４は互いに分離されていなくてもよい。例えば、分類装置２００は、記憶部２０３及びデータベース２０４の双方の機能を有する記憶ユニットを有していてもよい。

【0166】

なお、処理部２０２、記憶部２０３、及びデータベース２０４が有するメモリは、それぞれ、非一時的コンピュータ可読記憶媒体の一例ということができる。

【0167】

［表示部２０５］
表示部２０５は、処理部２０２における処理結果を表示する機能を有する。例えば、表示部２０５は、クラスタリングの結果を表示する機能を有する。

【0168】

なお、分類装置２００は、出力部を有していてもよい。出力部は、外部にデータを供給する機能を有する。

【0169】

［伝送路２０６］
伝送路２０６は、各種データを伝達する機能を有する。入力部２０１、処理部２０２、記憶部２０３、データベース２０４、及び表示部２０５の間のデータの送受信は、伝送路２０６を介して行うことができる。例えば、画像データ、学習済みの識別モデルなどのデータが、伝送路２０６を介して、送受信される。

【0170】

＜分類装置の構成例２＞
図１０に、分類装置２１０のブロック図を示す。分類装置２１０は、サーバ２２０と、端末２３０（パーソナルコンピュータなど）と、を有する。

【0171】

サーバ２２０は、処理部２０２、伝送路２１２、記憶部２１３、及び通信部２１７ａを有する。図１０では図示しないが、サーバ２２０は、さらに、入力部、出力部などを有していてもよい。

【0172】

端末２３０は、入力部２０１、記憶部２０３、表示部２０５、伝送路２１６、通信部２１７ｂ、及び処理部２１８を有する。図１０では図示しないが、端末２３０は、さらに、データベースなどを有していてもよい。

【0173】

通信部２１７ａが受信した画像データ、識別モデルなどは、伝送路２１２を介して、記憶部２１３に保存される。または、画像データ、識別モデルなどは、通信部２１７ａから、直接、処理部２０２に供給されてもよい。

【0174】

先の実施の形態で説明した、識別モデルの学習は、高い処理能力が求められる。サーバ２２０が有する処理部２０２は、端末２３０が有する処理部２１８に比べて処理能力が高い。したがって、識別モデルの学習は、処理部２０２で行われることが好ましい。

【0175】

そして、処理部２０２により学習済みの識別モデルが作成される。学習済みの識別モデルは、処理部２０２から、伝送路２１２を介して、または直接、通信部２１７ａに供給される。学習済みの識別モデルは、サーバ２２０の通信部２１７ａから端末２３０の通信部２１７ｂに送信され、記憶部２０３に保存される。または、学習済みの識別モデルは、伝送路２１２を介して、記憶部２１３に保存されてもよい。

【0176】

［伝送路２１２及び伝送路２１６］
伝送路２１２及び伝送路２１６は、データを伝達する機能を有する。処理部２０２、記憶部２１３、及び通信部２１７ａの間のデータの送受信は、伝送路２１２を介して行うことができる。入力部２０１、記憶部２０３、表示部２０５、通信部２１７ｂ、及び処理部２１８の間のデータの送受信は、伝送路２１６を介して行うことができる。

【0177】

［処理部２０２及び処理部２１８］
処理部２０２は、記憶部２１３及び通信部２１７ａなどから供給されたデータを用いて、処理を行う機能を有する。処理部２１８は、入力部２０１、記憶部２０３、表示部２０５、及び通信部２１７ｂなどから供給されたデータを用いて、処理を行う機能を有する。処理部２０２及び処理部２１８は、処理部２０２の説明を参照できる。処理部２０２は、処理部２１８に比べて処理能力が高いことが好ましい。

【0178】

［記憶部２０３］
記憶部２０３は、処理部２１８が実行するプログラムを記憶する機能を有する。また、記憶部２０３は、処理部２０２が生成した学習済みの識別モデル、処理部２１８が生成したクラスタリングの結果、通信部２１７ｂに入力されたデータ、及び入力部２０１に入力されたデータなどを記憶する機能を有する。

【0179】

［記憶部２１３］
記憶部２１３は、処理部２０２が実行するプログラムを記憶する機能を有する。また、記憶部２１３は、識別モデル、通信部２１７ａに入力されたデータなどを記憶する機能を有する。記憶部２１３は、記憶部２０３の説明を参照できる。

【0180】

［通信部２１７ａ及び通信部２１７ｂ］
通信部２１７ａ及び通信部２１７ｂを用いて、サーバ２２０と端末２３０との間で、データの送受信を行うことができる。通信部２１７ａ及び通信部２１７ｂとしては、ハブ、ルータ、モデムなどを用いることができる。データの送受信には、有線を用いても無線（例えば、電波、赤外線など）を用いてもよい。

【0181】

なお、サーバ２２０と端末２３０との通信は、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ（ＷＷＷ）の基盤であるインターネット、イントラネット、エクストラネット、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＣＡＮ（Ｃａｍｐｕｓ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｌｏｂａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のコンピュータネットワークに接続することで行ってもよい。

【0182】

本実施の形態は、他の実施の形態、実施例などと適宜組み合わせることができる。

【0183】

（実施の形態４）
本実施の形態では、本発明の一態様のパターン検査装置について、図１１を用いて説明する。本実施の形態のパターン検査装置は、先の実施の形態で説明した分類装置を有する。

【0184】

図１１は、パターン検査装置４００の構成を示す図である。図１１に示すように、パターン検査装置４００は、撮像装置４０１、検査装置４０２、および分類装置４０３を備える。分類装置４０３は、先の実施の形態で説明した分類装置１００に相当する。

【0185】

撮像装置４０１は、製造工程の途中である１つの半導体素子、または製造工程が終了した半導体素子を撮像する機能を有する。撮像装置４０１として、例えば、カメラがある。当該半導体素子を撮像することで、不良の有無が判断されていない画像データが取得される。つまり、当該画像データは、識別またはクラスタリングの対象となりうる画像データである。

【0186】

検査装置４０２は、撮像装置４０１を用いて取得された画像データに、不良が含まれるか否かを判断する機能を有する。これにより、当該画像データに不良が含まれるか否かを判断することができる。

【0187】

不良が含まれるか否かの判断は、当該判断の対象となる画像データと、１つ前に取得された画像データとを比較することで行われる。ここで、当該判断の対象となる画像データに含まれる半導体素子と、１つ前に取得された画像データに含まれる半導体素子とは、異なる。例えば、はじめに、当該判断の対象となる画像データと、１つ前に取得された画像データとの差分を取得する。そして、当該差分を基に、不良が含まれるか否かの判断を行ってもよい。

【0188】

なお、不良が含まれるか否かの判断には、機械学習を用いてもよい。不良が含まれるか否かの判断を行う画像データの数は膨大となりやすい。そこで、機械学習を用いることで、当該判断に要する時間を低減することができる。

【0189】

不良が含まれるか否かの判断には、例えば、異常箇所の検知と類似の方法を用いることができる。異常箇所の検知には、教師なし学習が用いられることがある。そこで、当該判断には、教師なし学習を用いることが好ましい。教師なし学習を用いることで、不良が含まれる画像データの数が少なくても、不良が含まれるか否かの判断を精度良く行うことができる。

【0190】

なお、異常箇所の検知には、教師あり学習が用いられることがある。そこで、当該判断には、教師あり学習を用いてもよい。教師あり学習を用いることで、不良が含まれるか否かの判断を精度良く行うことができる。

【0191】

上記機械学習には、ニューラルネットワーク（特に、ディープラーニング）を用いることが好ましい。

【0192】

不良が含まれると判断された画像データは、識別またはクラスタリングの対象となる。つまり、当該画像データは、先の実施の形態で説明した複数の画像データ５０の一つとなりうる。当該画像データは、分類装置４０３に供給される。

【0193】

パターン検査装置４００は、撮像装置４０１、検査装置４０２、および分類装置４０３を有することで、画像データのクラスタリングおよび／または学習済みの識別モデルの生成に加えて、画像データの取得、および不良の有無の判定も行うことができる。

【0194】

なお、検査装置４０２は、分類装置４０３が備えられたサーバとは異なるサーバに備えられてもよい。または、検査装置４０２は、分類装置４０３が備えられたサーバに備えられてもよい。または、検査装置４０２の機能の一部と、分類装置４０３の機能の一部とがサーバに備えられ、当該サーバとは異なるサーバに、検査装置４０２の機能の他の一部と、分類装置４０３の機能の他の一部とが備えられてもよい。

【0195】

以上が、パターン検査装置４００の構成についての説明である。本発明の一態様であるパターン検査装置を用いることで、画像データの取得から、画像データのクラスタリングまでの一連の処理を高効率に行うことができる。また、当該一連の処理を全自動で行うことができる。

【0196】

本発明の一態様により、新規のパターン検査装置を提供することができる。

【0197】

本実施の形態は、他の実施の形態、実施例などと適宜組み合わせることができる。

【実施例】

【0198】

本実施例では、学習済みの識別モデルを用いて、不良を含む画像データのクラスタリングを行った。画像データのクラスタリングの結果について、図１２および図１３を用いて説明する。

【0199】

本実施例では、識別モデルとしてＣＮＮを用いた。当該ＣＮＮは、７つの畳み込み層、６つのプーリング層、および５つの全結合層（全結合層９１３＿１乃至９１３＿５）で構成される。全結合層９１３＿１に設けられているニューロンは、１つのプーリング層に設けられているニューロン、及び全結合層９１３＿２に設けられているニューロンと結合されている。全結合層９１３＿２に設けられているニューロンは、全結合層９１３＿１に設けられているニューロン、及び全結合層９１３＿３に設けられているニューロンと結合されている。全結合層９１３＿３に設けられているニューロンは、全結合層９１３＿２に設けられているニューロン、及び全結合層９１３＿４に設けられているニューロンと結合されている。全結合層９１３＿４に設けられているニューロンは、全結合層９１３＿３に設けられているニューロン、及び全結合層９１３＿５に設けられているニューロンと結合されている。なお、全結合層９１３＿５を出力層とした。また、全結合層９１３＿１乃至全結合層９１３＿４は、中間層に含まれる。なお、例えば、第１の全結合層に設けられているニューロンが、第２の全結合層に設けられているニューロンと結合されていることを、第１の全結合層は、第２の全結合層に接続していると言い換えることができる。

【0200】

本実施例では、全結合層９１３＿２が有するニューロンの数値を、入力層に入力された画像データの特徴量とした。なお、当該特徴量の次元数は６４とした。

【0201】

本実施例では、３４４個の不良を含む画像データのクラスタリングを行った。具体的には、上記識別モデルを用いて、３４４個の不良を含む画像データのそれぞれの特徴量を取得し、当該特徴量に基づいて、クラスター分析を行った。当該クラスター分析には、階層的手法を用いた。

【0202】

クラスタリングの結果を図１２に示す。図１２は、クラスタリングの結果を説明するデンドログラムである。縦軸は、クラスター間の距離である。なお、横軸では、画像データがクラスター毎にまとまるように、画像データを適宜並べている。

【0203】

図１２に示すデンドログラムにおいて、クラスター間の距離のしきい値を３４．１（図１２に示す破線）に設定することで、２０個のクラスターが得られた。２０個のクラスターの１つに含まれる画像データの一部を図１３Ａ乃至図１３Ｄに示す。図１３Ａ乃至図１３Ｄに示す画像データのそれぞれには、同じタイプのパターン不良が含まれることがわかる。すなわち、当該クラスターは、パターン不良の一部に関するクラスターであることがわかる。

【0204】

以上より、本実施例で示した方法を用いることで、類似した不良をクラスターとするクラスタリングを行うことができる。

【0205】

本実施例は、他の実施の形態などに記載した構成と適宜組み合わせて実施することが可能である。

【符号の説明】

【0206】

５０：画像データ、５１＿ｓ：画像データ、５１＿１：画像データ、５１＿２：画像データ、５２＿ｔ：画像データ、５２＿１：画像データ、５３＿ｎ：画像データ、５３＿１：画像データ、５３＿２：画像データ、５３ａ＿ｎ：画像データ、５３ａ＿１：画像データ、５３ａ＿２：画像データ、５４＿ｐ：画像データ、５４＿１：画像データ、５４ａ＿ｐ：画像データ、５４ａ＿１：画像データ、６１Ａ：ラベル、６１Ｆ：ラベル、６２＿ｎ：特徴量、６２＿１：特徴量、６２＿２：特徴量、６３＿ｎ：値、６３＿１：値、６３＿２：値、１００：分類装置、１００Ａ：分類装置、１００Ｂ：分類装置、１０１：記憶部、１０２：処理部、１０３：分類器、１０４：出力部、１０５：加工部、１０６：処理部、１０７：処理部、２００：分類装置、２０１：入力部、２０２：処理部、２０３：記憶部、２０４：データベース、２０５：表示部、２０６：伝送路、２１０：分類装置、２１２：伝送路、２１３：記憶部、２１６：伝送路、２１７ａ：通信部、２１７ｂ：通信部、２１８：処理部、２２０：サーバ、２３０：端末、３００：ニューラルネットワーク、３０１＿ｋ：層、３０１＿ｋ－１：層、３０１＿ｋ－２：層、３０１＿１：層、３０１＿２：層、３０１＿３：層、３０５：特徴量、３１０：ＣＮＮ、３１１＿ｍ：層、３１１＿１：層、３１１＿２：層、３１２＿ｍ：プーリング層、３１２＿ｍ－１：プーリング層、３１２＿１：プーリング層、３１３：全結合層、３１３＿１：全結合層、３１３＿２：全結合層、３１３＿３：全結合層、３１５：特徴量、４００：パターン検査装置、４０１：撮像装置、４０２：検査装置、４０３：分類装置、９１３＿１：全結合層、９１３＿２：全結合層、９１３＿３：全結合層、９１３＿４：全結合層、９１３＿５：全結合層

【図1】

【図2】

【図3A】

【図3B】

【図4A】

【図4B】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13A】

【図13B】

【図13C】

【図13D】