特開 2024-133117 学習データ生成装置及び不良識別システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024133117

(43)【公開日】2024-10-01

(54)【発明の名称】学習データ生成装置及び不良識別システム

(51)【国際特許分類】

   G06V 10/72 20220101AFI20240920BHJP

   G06T 7/00 20170101ALI20240920BHJP

   G06T 7/60 20170101ALI20240920BHJP

【ＦＩ】

G06V10/72

G06T7/00 610C

G06T7/60 110

【審査請求】有

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2024110156

(22)【出願日】2024-07-09

(62)【分割の表示】P 2021573621の分割

【原出願日】2021-01-18

(31)【優先権主張番号】P 2020015382

(32)【優先日】2020-01-31

(33)【優先権主張国・地域又は機関】JP

(71)【出願人】

【識別番号】000153878

【氏名又は名称】株式会社半導体エネルギー研究所

(72)【発明者】

【氏名】岡野 達也

(72)【発明者】

【氏名】中里 諒

(72)【発明者】

【氏名】鴇巣 敦哉

(57)【要約】

【課題】識別モデルの学習に好適な学習データを生成することが可能な学習データ生成装置を提供する。
【解決手段】学習データ生成装置は、第１の画像データの一部を第２の画像データとして切り出す機能と、第２の画像データの面積に対応した、疑似不良を表す二次元図形を生成する機能と、第２の画像データおよび二次元図形を合成して第３の画像データを生成する機能と、第３の画像データに二次元図形に対応するラベルを付与する機能と、を有する。第３の画像データを識別モデルの学習に用いることで、精度の高い識別モデルを生成することができる。
【選択図】図１

【特許請求の範囲】

【請求項1】

パターンが正常である領域のみが撮影された第１の画像データの一部を第２の画像データとして切り出す機能と、
前記第２の画像データの面積に対応した、疑似不良を表す二次元図形を生成する機能と、
前記第２の画像データと前記二次元図形とを合成して第３の画像データを生成する機能と、
前記第３の画像データに、前記二次元図形に対応するラベルを付与する機能と、
を有する、
学習データ生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一態様は、学習データを生成する方法に関する。また、本発明の一態様は、学習データ生成装置に関する。また、本発明の一態様は、不良識別システムに関する。

【背景技術】

【0002】

半導体製造工程の不良検出手段として、外観検査が挙げられる。外観検査を自動で行うための装置（外観検査装置）として、例えば、パターン検査装置が挙げられる。外観検査装置を利用して取得された画像データに対して、不良の検出および識別が行われる。不良の検出および識別が目視で行われる場合、検出および識別の精度に個人差が生じる場合がある。また、画像データの数が多いと、不良の検出および識別に膨大な時間がかかる。

【0003】

近年、ニューラルネットワークを利用して、不良の検出および識別を行う技術が報告されている。例えば、特許文献１では、学習済みの第１のニューラルネットワークに基づいて、検査対象信号を正常と正常以外とに分類し、検査対象信号が正常以外であると判定した場合に、学習済みの第２のニューラルネットワークに基づいて、欠陥の種類を分類する検査装置が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１２－０２６９８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

学習済みのニューラルネットワークに基づいて行われる、判定、分類などの精度を高めるには、適切な学習用データセットを用いてニューラルネットワークに学習させる必要がある。当該精度を高める方法の一つとして、学習用データセットに含まれる学習データの件数を増やすことが挙げられる。しかしながら、不良の件数は、一般的には、正常の件数と比べて非常に少ない。さらに、不良を識別するためには、不良の種類ごとに学習データを用意する必要がある。そのため、学習データの件数を増やすには、膨大な時間とコストがかかってしまう。

【0006】

学習用データセットに含まれる学習データの件数を増やす方法として、データ拡張（データ水増しと呼ばれる場合がある。）が挙げられる。データ拡張は、既に用意されている学習データを元に、変種の学習データを生成することで、学習データの件数を増やす（学習データの量を拡張する）技法である。具体的には、既に用意されている学習データに対して、水平方向および／または垂直方向にシフト、水平方向および／または垂直方向に反転、回転、ズームインまたはズームアウトなどの操作を一つまたは複数実行することで、変種の学習データを生成する。しかしながら、不良の識別を行う機械学習においては、当該操作のみでは、不良の識別の精度向上が不十分となる場合がある。

【0007】

そこで、本発明の一態様は、学習データを生成する方法を提供することを課題の一とする。また、本発明の一態様は、学習データ生成装置を提供することを課題の一とする。また、本発明の一態様は、不良識別システムを提供することを課題の一とする。

【0008】

なお、これらの課題の記載は、他の課題の存在を妨げるものではない。なお、本発明の一態様は、これらの課題の全てを解決する必要はないものとする。なお、これら以外の課題は、明細書、図面、請求項などの記載から、自ずと明らかとなるものであり、明細書、図面、請求項などの記載から、これら以外の課題を抽出することが可能である。

【課題を解決するための手段】

【0009】

本発明の一態様は、パターンが正常である領域のみが撮影された第１の画像データの一部を第２の画像データとして切り出す機能と、第２の画像データの面積に対応した、疑似不良を表す二次元図形を生成する機能と、第２の画像データと二次元図形とを合成して第３の画像データを生成する機能と、第３の画像データに、二次元図形に対応するラベルを付与する機能と、を有する、学習データ生成装置である。

【0010】

また、本発明の一態様は、不良を含まない領域を合成することで作成された第１の画像データの一部を第２の画像データとして切り出す機能と、第２の画像データの面積に対応した、疑似不良を表す二次元図形を生成する機能と、第２の画像データと二次元図形とを合成して第３の画像データを生成する機能と、第３の画像データに、二次元図形に対応するラベルを付与する機能と、を有する、学習データ生成装置である。

【0011】

上記学習データ生成装置において、二次元図形は、第１の二次元図形、または第２の二次元図形であり、第１の二次元図形は、形状および色を指定することで生成され、第２の二次元図形は、第２の画像データを切り出すことで生成される、ことが好ましい。

【0012】

また、上記学習データ生成装置において、第１の二次元図形は、第１の多角形、楕円、または二重楕円であり、第２の画像データと、第１の多角形または楕円と、を合成することで生成される第３の画像データには、第１のラベルが付与され、第２の画像データと、二重楕円と、を合成することで生成される第３の画像データには、第２のラベルが付与される、ことが好ましい。

【0013】

また、上記学習データ生成装置において、第１の多角形は、第１の頂点乃至第ｎ（ｎは３以上８以下の整数）の頂点を有し、第１の多角形内の点と、第１の頂点乃至第ｎの頂点のそれぞれとを結ぶ線分の長さは、正規分布に従う長さであり、正規分布は、平均が第２の画像データの長辺の、０．０５倍以上０．２５倍以下の長さであり、標準偏差が平均の０．２倍であり、第１の多角形の色は、ＲＧＢのそれぞれが、２５６階調の表現において、０以上２０以下（十進数で表記）であり、第１の多角形の色の透過率は、０％以上１０％以下である、ことが好ましい。

【0014】

また、上記学習データ生成装置において、楕円の長径は、第２の画像データの長辺の、０．０５倍以上０．２５倍以下の長さであり、楕円の短径は、長径の、０．６倍以上１．０倍以下の長さであり、楕円の色は、ＲＧＢのそれぞれが、２５６階調の表現において、０以上１０以下（十進数で表記）であり、楕円の色の透過率は、０％以上１０％以下である、ことが好ましい。

【0015】

また、上記学習データ生成装置において、二重楕円の長径は、第２の画像データの長辺の、０．０５倍以上０．２５倍以下の長さであり、二重楕円の短径は、長径の０．６倍以上１．０倍以下の長さであり、二重楕円の外径と、内径と、の差は、５ピクセル以上１５ピクセル以下であり、二重楕円の色は、２５６階調の表現において、Ｒが１５０以上１７０以下（十進数で表記）であり、Ｇが６０以上８０以下（十進数で表記）であり、Ｂが２０以上４０以下（十進数で表記）であり、二重楕円の色の透過率は、５０％以上７５％以下である、ことが好ましい。

【0016】

上記学習データ生成装置において、第２の二次元図形は、第２の多角形であり、第２の画像データと、第２の多角形と、を合成することで生成される第３の画像データには、第３のラベルが付与される、ことが好ましい。

【0017】

また、上記学習データ生成装置において、第２の多角形は、第２の画像データ内に位置する点を中心に、３０°以上１５０°以下の角度で回転させた第２の画像データから切り出された四角形であり、四角形は、重心が点であり、長辺および短辺のそれぞれが、第２の画像データの長辺の、０．１倍以上０．２５倍以下の長さである、ことが好ましい。

【0018】

また、上記学習データ生成装置において、学習データ生成装置は、第３の画像データに対して、ガンマ変換を行う機能と、第３の画像データに対して、ノイズ付加、またはぼかし加工を行う機能と、を有する、ことが好ましい。

【0019】

本発明の他の一態様は、不良を識別する不良識別システムであって、不良識別システムは、上記学習データ生成装置と、データベースと、識別装置と、を有し、データベースには、第１の画像データと、ラベルが付与された第４の画像データと、ラベルが付与されていない第５の画像データと、が格納され、識別装置は、学習済みモデルに基づいて、第５の画像データに含まれる不良を識別する機能を有する。

【0020】

上記不良識別システムにおいて、第３の画像データと、第４の画像データと、で構成された学習用データセットを基に、学習済みモデルが生成される、ことが好ましい。

【発明の効果】

【0021】

本発明の一態様により、学習データを生成する方法を提供することができる。また、本発明の一態様により、学習データ生成装置を提供することができる。また、本発明の一態様により、不良識別システムを提供することができる。

【0022】

なお、本発明の一態様の効果は、上記列挙した効果に限定されない。上記列挙した効果は、他の効果の存在を妨げるものではない。なお、他の効果は、以下の記載で述べる、本項目で言及していない効果である。本項目で言及していない効果は、当業者であれば、明細書、図面などの記載から導き出せるものであり、これらの記載から適宜抽出することができる。なお、本発明の一態様は、上記列挙した効果、及び／又は他の効果のうち、少なくとも一つの効果を有するものである。したがって本発明の一態様は、場合によっては、上記列挙した効果を有さない場合もある。

【図面の簡単な説明】

【0023】

【図1】図１は、画像データを生成する方法の一例を示すフローチャートである。

【図2】図２は、画像データを切り出す方法を説明する図である。

【図3】図３Ａ乃至図３Ｅは、二次元図形を説明する図である。

【図4】図４Ａ乃至図４Ｄは、画像データを説明する図である。

【図5】図５は、画像データを生成する方法の一例を示すフローチャートである。

【図6】図６は、学習済みの識別モデルを生成する方法の一例を示すフローチャートである。

【図7】図７は、不良を識別する方法の一例を示すフローチャートである。

【図8】図８Ａ、および図８Ｂは、不良識別システムの一例を示すブロック図である。

【図9】図９Ａ、および図９Ｂは、不良識別システムの一例を示すブロック図である。

【図10】図１０は、不良識別システムの一例を示すブロック図である。

【図11】図１１Ａ乃至図１１Ｉは、画像データの一例を説明する図である。

【図12】図１２は、識別モデルごとの正解率の推移を示す図である。

【発明を実施するための形態】

【0024】

実施の形態について、図面を用いて詳細に説明する。但し、本発明は以下の説明に限定されず、本発明の趣旨およびその範囲から逸脱することなくその形態及び詳細を様々に変更し得ることは当業者であれば容易に理解される。したがって、本発明は以下に示す実施の形態の記載内容に限定して解釈されるものではない。

【0025】

なお、以下に説明する発明の構成において、同一部分または同様な機能を有する部分には同一の符号を異なる図面間で共通して用い、その繰り返しの説明は省略する。

【0026】

また、図面において示す各構成の、位置、大きさ、範囲などは、理解の簡単のため、実際の位置、大きさ、範囲などを表していない場合がある。このため、開示する発明は、必ずしも、図面に開示された位置、大きさ、範囲などに限定されない。

【0027】

また、本明細書にて用いる「第１」、「第２」、「第３」という序数詞は、構成要素の混同を避けるために付したものであり、数的に限定するものではないことを付記する。

【0028】

また、本明細書において、上限と下限の数値が規定されている場合は、自由に組み合わせる構成も開示されているものとする。

【0029】

本明細書では、機械学習モデルの学習および評価に用いるデータセットを、学習用データセットと表記する。機械学習モデルの学習および評価を行う際、学習用データセットは、学習データ（訓練データともいう）と、テストデータ（評価データともいう）と、に分割される。さらに、学習データは、学習データと、検証データと、に分割されることがある。なお、テストデータは、学習用データセットから予め分割されていてもよい。

【0030】

学習データとは、機械学習モデルの学習に使用するデータである。検証データとは、機械学習モデルの学習結果の評価に使用するデータである。テストデータとは、機械学習モデルの評価に使用するデータである。機械学習が教師あり学習である場合、学習データ、検証データ、およびテストデータには、ラベルが付与されている。

【0031】

（実施の形態１）
本実施の形態では、学習データを生成する方法、学習済みの識別モデルを生成する方法、および不良を識別する方法について、図１乃至図７を用いて説明する。

【0032】

＜学習データを生成する方法＞
本発明の一態様である、学習データを生成する方法について説明する。

【0033】

図１は、学習データを生成する方法の一例を示すフローチャートである。図１は、学習データ生成装置が実行する処理の流れを説明するフローチャートでもある。

【0034】

本項では、ｐ（ｐは２以上の整数）個の学習データを生成する方法について説明する。なお、ｐは、予め設定しておいてもよいし、ユーザが学習データを生成する前に指定してもよい。

【0035】

なお、生成した学習データは、後述する識別モデルの学習に使用される。識別モデルは、教師あり学習のモデルの一つである。また、識別モデルに入力されるデータは、画像データである。よって、上記方法で生成される学習データは、ラベルが付与された画像データである。ここで、ｐ個の学習データを、ｐ個の画像データ１２（画像データ１２＿１乃至画像データ１２＿ｐ）と表記する。つまり、画像データ１２＿１乃至画像データ１２＿ｐのそれぞれには、不良に対応するラベルが付与される。

【0036】

学習データ（画像データ１２＿１乃至画像データ１２＿ｐ）を生成する方法は、図１に示すように、ステップＳ０１１乃至ステップＳ０１４を有する。なお、ステップＳ０１１乃至ステップＳ０１４をまとめて、ステップＳ００２と表記する場合がある。

【0037】

ステップＳ０１１を行う前に、画像データ１０を取得しておく。画像データ１０は、不良を含まない領域のみが撮影された画像データである。当該画像データを、不良を含まない画像データと呼ぶ場合がある。または、画像データ１０は、不良を含まない領域を複数合成することで作成された画像データである。

【0038】

画像データ１２＿１乃至画像データ１２＿ｐは、画像データ１２＿１から順に生成されるとよい。なお、ステップＳ０１１乃至ステップＳ０１３では、画像データ１２＿ｉ（ｉは１以上ｐ以下の整数）の生成方法について説明する。

【0039】

［ステップＳ０１１］
ステップＳ０１１は、画像データ１０から、画像データ１１＿ｉを切り出す工程である。つまり、画像データ１１＿ｉは、画像データ１０の一部である。なお、画像データ１０から画像データ１１＿ｉを切り出す工程の詳細は、後述する。

【0040】

［ステップＳ０１２］
ステップＳ０１２は、不良の特徴（形状、色など）を疑似的に表現した図形（疑似不良と呼ぶ場合がある）を生成する工程である。本実施の形態では、疑似不良を、二次元図形で表現する。当該二次元図形の詳細は、後述する。なお、ステップＳ０１２で生成された疑似不良を、二次元図形３１＿ｉと表記する。

【0041】

［ステップＳ０１３］
ステップＳ０１３は、画像データ１１＿ｉおよび二次元図形３１＿ｉを合成して、画像データ１２＿ｉを生成する工程である。画像データ１１＿ｉおよび二次元図形３１＿ｉを合成する操作とは、画像データ１１＿ｉ上に二次元図形３１＿ｉを重ね合わせる操作である。

【0042】

なお、二次元図形３１＿ｉは、不良の特徴を考慮して生成される。よって、画像データ１２＿ｉに、二次元図形３１＿ｉを生成する際に考慮した不良に対応するラベルを付与することができる。

【0043】

［ステップＳ０１４］
ステップＳ０１４は、ｐ個の画像データ１２が生成されているかを判断する工程である。生成された画像データ１２の数がｐ個である場合（ＹＥＳ）、画像データ１２の生成を終了する。一方、生成された画像データ１２の数がｐ個未満である場合（ＮＯ）、ステップＳ０１１に進む。

【0044】

なお、ステップＳ０１１に進む場合、画像データ１０から切り出される画像データ１１＿ｉ＋１は、画像データ１１＿ｉと位置が異なることが好ましい。不良が発生する箇所は、同一であるとは限らない。そこで、切り出される領域が異なる画像データ１１を用意することで、不良の識別精度を高めることができる。なお、画像データ１１＿ｉ＋１は、画像データ１１＿ｉ以外の画像データ１１の位置と一致する場合がある。

【0045】

以上より、画像データ１２＿１乃至画像データ１２＿ｐを生成することができる。画像データ１２＿１乃至画像データ１２＿ｐのそれぞれには、不良に対応するラベルが付与されているため、画像データ１２＿１乃至画像データ１２＿ｐを、学習データとして利用することができる。

【0046】

＜学習データを生成する方法の詳細＞
本項では、上述した学習データを生成する方法の詳細について説明する。なお、本項で説明する学習データは、例えば、半導体製造工程で検出された不良を識別するための識別モデルの学習に用いられる。

【0047】

画像データ１０は、製造工程の途中である半導体素子、または製造工程が終了した半導体素子において、半導体膜、絶縁膜、または配線のパターン（以下、単にパターンと呼ぶ）が正常である領域のみが撮影された画像データである。当該画像データを、正常なパターンの画像データと呼ぶ場合がある。または、画像データ１０は、パターンが正常である領域を複数合成することで作成された画像データである。

【0048】

画像データ１０から、画像データ１１＿ｉを切り出す方法を、図２を用いて説明する。

【0049】

図２は、画像データ１０から画像データ１１＿ｉを切り出す方法を説明する図である。なお、図２では、画像データ１１＿ｉを画像データ１１と表記する。また、図２に示す画像データ１０に含まれるパターンは模式的なパターンであって、撮影された半導体素子のパターンが、図２のように設計されていることを示すわけではない。

【0050】

図２に示すように、画像データ１１の形状は、長方形であるとよい。当該長方形は、長辺の長さがａ１であり、短辺の長さがａ２である。長さａ１、および長さａ２は、画像データ１１が画像データ１０に収まるように指定する。よって、少なくとも、長さａ１は、画像データ１０の長辺の長さ以下とし、長さａ２は、画像データ１０の短辺の長さ以下とする。また、長さａ１、および長さａ２は、画像データ１１内に不良が収まるように指定する。

【0051】

長さａ１と長さａ２の比は、画像データ１０の長辺の長さと画像データ１０の短辺の長さの比に等しいことが好ましい。画像データ１０の長辺の長さと画像データ１０の短辺の長さの比が４：３である場合、例えば、長さａ１を６４０ピクセルとし、長さａ２を４８０ピクセルとするとよい。

【0052】

なお、長さａ１と長さａ２の比は、画像データ１０の長辺の長さと画像データ１０の短辺の長さの比と必ずしも一致しなくてもよい。例えば、上記長方形は、長さａ１と長さａ２の比が、画像データ１０の長辺の長さと画像データ１０の短辺の長さの比と異なってもよい。または、画像データ１１の形状は、正方形であってもよい。

【0053】

または、上記長方形は、当該長方形の長辺と、画像データ１０の短辺とが平行であり、当該長方形の短辺と、画像データ１０の長辺とが平行であってもよい。または、上記長方形は、当該長方形の長辺と、画像データ１０の長辺とが平行または垂直でなくてもよい。

【0054】

画像データ１１の位置は、画像データ１１が画像データ１０に収まるように決定する。なお、画像データ１１の位置は、画像データ１１の重心を基準として決定してもよいし、画像データ１１の頂点の１つを基準として決定してもよい。例えば、画像データ１１の重心を、図２に点線で示す範囲１０ｓ内での一様乱数で決定する。ここで、範囲１０ｓは、範囲１０ｓの長辺が、画像データ１０の長辺からａ２／２だけ内側に位置し、範囲１０ｓの短辺が、画像データ１０の短辺からａ１／２だけ内側に位置する範囲である。また、一様乱数とは、指定した区間内または範囲内で全ての実数が同じ確率で現れるような連続一様分布に従う乱数である。

【0055】

上記では、長さａ１および長さａ２を指定した後に、画像データ１１の位置を決定する工程を説明したが、当該工程はこれに限られない。画像データ１１の位置を指定した後に、画像データ１１が画像データ１０に収まるように、長さａ１および長さａ２を決定してもよい。または、画像データ１１が画像データ１０に収まるように、画像データ１１の位置、ならびに長さａ１および長さａ２を同時に決定してもよい。

【0056】

なお、画像データ１１＿ｉの長辺の長さおよび短辺の長さは、他の画像データ１１（画像データ１１＿１乃至画像データ１１＿ｐ、ただし、画像データ１１＿ｉを除く。）の長辺の長さおよび短辺の長さとそれぞれ等しいことが好ましい。また、画像データ１１＿ｉの位置は、他の画像データ１１（画像データ１１＿１乃至画像データ１１＿ｐ、ただし、画像データ１１＿ｉを除く。）の少なくとも一部と異ならせることが好ましい。これにより、上述したように、不良の識別精度を高めることができる。

【0057】

次に、二次元図形３１＿ｉの詳細について説明する。

【0058】

半導体製造工程で検出される不良として、例えば、異物の混入、膜抜け、パターン不良、膜残り、膜浮き、断線などがある。これらの不良は、形状、色などの特徴が異なる。よって、上記二次元図形の、形状および色の特徴は、不良毎に異ならせる必要がある。

【0059】

本実施の形態では、不良として代表的な、異物の混入、膜抜け、およびパターン不良を識別する例を説明する。なお、異物の混入とは、半導体製造工程における、作業者、材料、製造装置、作業環境などを発生源とする異物が、基板（シリコンウェハなどの半導体基板、ガラス基板、プラスチック基板、金属基板、ＳＯＩ基板など）上に付着することで生じる不良を指す。また、膜抜けとは、正常なパターンが剥がれてしまったことで生じる不良を指す。また、パターン不良とは、パターンが設計通りに形成されなかったことで生じる不良を指す。

【0060】

上述の通り、パターン不良は、パターンが設計通りに形成されなかった不良である。よって、パターン不良を表現する二次元図形は、画像データ１０を切り出すことで生成されるとよい。一方、異物は意図せず混入する不良である。また、膜抜けは、正常なパターンが剥がれてしまった不良である。そのため、異物および膜抜けは、パターンとは無関係の形状および色を有する。よって、異物および膜抜けを表現する二次元図形は、形状と色を指定することで生成されるとよい。

【0061】

そこで、異物、膜抜け、およびパターン不良それぞれの、形状、色などの特徴を鑑み、異物を表現する二次元図形を、楕円または第１の多角形とする。また、膜抜けを表現する二次元図形を、二重楕円とする。また、パターン不良を表現する二次元図形を、第２の多角形とする。

【0062】

以下では、ステップＳ０１２で生成する二次元図形３１＿ｉ（楕円、第１の多角形、二重楕円、または第２の多角形）の詳細について、図３Ａ乃至図３Ｅを用いて説明する。

【0063】

＜＜楕円＞＞
異物を表現する楕円の、形状、色、および配置の一例について、図３Ａを用いて説明する。

【0064】

異物を表現する楕円３１Ａ１を図３Ａに示す。楕円３１Ａ１は、長軸の長さ（長径）がｂ１であり、短軸の長さ（短径）がｂ２である。

【0065】

楕円３１Ａ１の長径ｂ１は、画像データ１１の長辺の長さａ１の、０．０２５倍以上０．４倍以下、好ましくは０．０５倍以上０．２５倍以下である。具体的には、長径ｂ１は、０．０５ａ１以上０．２５ａ１以下の区間内での一様乱数で決定された値とするとよい。

【0066】

楕円３１Ａ１の短径ｂ２は、楕円３１Ａ１の長径ｂ１の、０．５倍以上１．０倍以下、好ましくは０．６倍以上１．０倍以下である。具体的には、短径ｂ２は、０．６ｂ１以上１．０ｂ１以下の区間内での一様乱数で決定された値とするとよい。

【0067】

なお、長径ｂ１と短径ｂ２とが等しい場合、楕円３１Ａ１は円（正円）となる。よって、楕円３１Ａ１の形状として、円（正円）も含まれる。

【0068】

画像データ１１の長辺に平行な線と、楕円３１Ａ１の長軸とのなす角の角度を、楕円３１Ａ１の回転角ｃ１とする。回転角ｃ１は、例えば、０°以上３６０°未満の区間内での一様乱数で決定された値とするとよい。

【0069】

楕円３１Ａ１の色は、検出される異物の色に近いことが好ましい。例えば、楕円３１Ａ１の色は、黒または黒に近い色であることが好ましい。具体的には、色を、２５６階調（８ビット）で表現される、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の混色によって表現する場合、楕円３１Ａ１の色は、Ｒ、Ｇ、Ｂのそれぞれが、０以上４０以下（十進数で表記）、好ましくは０以上２０以下（十進数で表記）である。

【0070】

検出される異物は、透光性が低いことが多い。そこで、楕円３１Ａ１の色の透過率は、低いことが好ましい。例えば、楕円３１Ａ１の色の透過率は、０％以上２０％以下、好ましくは０％以上１０％以下である。

【0071】

上記を満たすように、楕円３１Ａ１を生成するとよい。

【0072】

なお、楕円３１Ａ１は上記形状に限られず、卵形、または長円形などでもよい。楕円３１Ａ１の形状が、卵形、または長円形などである場合、上述の形状に類似した形状を有するとよい。

【0073】

楕円３１Ａ１の配置は、楕円３１Ａ１の全体が画像データ１１の範囲に収まるように、一様乱数で決定されるとよい。

【0074】

＜＜第１の多角形＞＞
異物を表現する第１の多角形の、形状、色、および配置の一例について、図３Ｂを用いて説明する。

【0075】

異物を表現する第１の多角形３１Ａ２を図３Ｂに示す。

【0076】

第１の多角形３１Ａ２の辺の数は、３以上８以下の整数からランダムに決定される。ここでは、第１の多角形３１Ａ２の辺の数を、ｎ（ｎは３以上８以下の整数）とする。なお、本明細書においては、第１の多角形３１Ａ２の辺の数は、第１の多角形３１Ａ２の頂点の数に等しいものとする。つまり、第１の多角形３１Ａ２は、ｎ個の頂点を有する多角形であり、ｎ角形である。なお、図３Ｂでは、第１の多角形３１Ａ２を、５角形として図示している。

【0077】

第１の多角形３１Ａ２の頂点を、第１の頂点乃至第ｎの頂点と表記する。また、第１の多角形３１Ａ２内の点と、第ｋ（ｋは１以上ｎ以下の整数）の頂点とを結ぶ線を第ｋの線分と表記する。ここで、隣り合う線分同士のなす角（第ｋの線分と第（ｋ＋１）の線分とのなす角、ただし、ｋがｎの場合は、第ｎの線分と第１の線分とのなす角。）の角度は、３６０／ｎ［°］とする。なお、隣り合う線分同士のなす角の角度はこれに限られない。例えば、正規乱数によって決定してもよい。当該正規乱数が従う正規分布の平均は、例えば、３６０／ｎ［°］とする。また、当該正規乱数が従う正規分布の標準偏差は、例えば、当該平均の０．１倍以上０．３倍以下、好ましくは当該平均の０．２倍である。

【0078】

また、第ｋの線分の長さをｄ＿ｋとする。長さｄ＿１乃至長さｄ＿ｎのそれぞれは、正規分布に従う乱数（正規乱数ともいう）によって決定される。当該正規分布の平均は、例えば、画像データ１１の長辺の長さａ１の、０．０２５倍以上０．４倍以下、好ましくは０．０５倍以上０．２５倍以下である。具体的には、当該平均は、０．０５ａ１以上０．２５ａ１以下の区間内での一様乱数で決定された値とする。また、当該正規分布の標準偏差は、例えば、当該平均の０．１倍以上０．３倍以下、好ましくは当該平均の０．２倍である。

【0079】

画像データ１１の長辺に平行な線と、上記点および第１の頂点を結ぶ線分（第１の線分）と、のなす角の角度を、第１の多角形３１Ａ２の回転角ｃ２とする。なお、回転角ｃ２は、画像データ１１の長辺に平行な線と、上記点および第２の頂点乃至第ｎの頂点のいずれか一つを結ぶ線分（第２の線分乃至第ｎの線分のいずれか一つ）と、のなす角の角度としてもよい。回転角ｃ２は、例えば、０°以上３６０°未満の区間内での一様乱数で決定された値とする。

【0080】

第１の多角形３１Ａ２の色は、検出される異物の色に近いことが好ましい。例えば、第１の多角形３１Ａ２の色は、黒または黒に近い色であることが好ましい。具体的には、色を、２５６階調で表現される、Ｒ、Ｇ、およびＢの混色によって表現する場合、第１の多角形３１Ａ２の色は、Ｒ、Ｇ、Ｂのそれぞれが、０以上４０以下（十進数で表記）、好ましくは０以上２０以下（十進数で表記）であるとよい。

【0081】

検出される異物は、透光性が低いことが多い。そこで、第１の多角形３１Ａ２の色の透過率は、低いことが好ましい。例えば、第１の多角形３１Ａ２の色の透過率は、０％以上２０％以下、好ましくは０％以上１０％以下である。

【0082】

上記を満たすように、第１の多角形３１Ａ２を生成するとよい。

【0083】

第１の多角形３１Ａ２の配置は、第１の多角形３１Ａ２の全体が画像データ１１の範囲に収まるように、一様乱数で決定されるとよい。

【0084】

＜＜二重楕円＞＞
膜抜けを表現する二重楕円の、形状、色、および配置の一例について、図３Ｃを用いて説明する。

【0085】

膜抜けを表現する二重楕円３１Ｂを図３Ｃに示す。図３Ｃに点線で示す楕円は、二重楕円３１Ｂの外側の楕円までの距離と、二重楕円３１Ｂの内側の楕円までとの距離とが等しい点を結んで描かれる曲線である。図３Ｃに点線で示す楕円は、長径がｂ３であり、短径がｂ４である。ここで、二重楕円３１Ｂの長径をｂ３で表し、短径をｂ４で表し、二重楕円３１Ｂの幅（外側の楕円と内側の楕円との間隔）をｅ１で表す。

【0086】

二重楕円３１Ｂの長径ｂ３は、画像データ１１の長辺の長さａ１の、０．０２５倍以上０．４倍以下、好ましくは０．０５倍以上０．２５倍以下である。具体的には、長径ｂ３は、０．０５ａ１以上０．２５ａ１以下の区間内での一様乱数で決定された値とする。

【0087】

二重楕円３１Ｂの短径ｂ４は、二重楕円３１Ｂの長径ｂ３の、０．５倍以上１．０倍以下、好ましくは０．６倍以上１．０倍以下である。具体的には、二重楕円３１Ｂの短径ｂ４は、０．６ｂ３以上１．０ｂ３以下の区間内での一様乱数で決定された値とする。

【0088】

なお、長径ｂ３と短径ｂ４とが等しい場合、二重楕円３１Ｂは二重円（二重正円）となる。よって、二重楕円３１Ｂの形状として、二重円（二重正円）も含まれる。

【0089】

画像データ１１の長辺に平行な線と、二重楕円３１Ｂの長軸とのなす角の角度を、二重楕円３１Ｂの回転角ｃ３とする。回転角ｃ３は、例えば、０°以上３６０°未満の区間内での一様乱数で決定された値とするとよい。

【0090】

二重楕円３１Ｂの幅ｅ１は、３ピクセル以上２５ピクセル以下、好ましくは５ピクセル以上１５ピクセル以下である。

【0091】

二重楕円３１Ｂの色は、検出される膜抜けの色に近いことが好ましい。具体的には、色を、２５６階調で表現される、Ｒ、Ｇ、およびＢの混色によって表現する場合、二重楕円３１Ｂの色は、Ｒが１４０以上１８０以下（十進数で表記）、好ましくは１５０以上１７０以下（十進数で表記）である。また、Ｇが５０以上９０以下（十進数で表記）、好ましくは６０以上８０以下（十進数で表記）である。また、Ｂが１０以上３０以下（十進数で表記）、好ましくは２０以上４０以下（十進数で表記）である。

【0092】

検出される膜抜けは、透光性を有することが多い。そこで、二重楕円３１Ｂの色の透過率は、中程度であることが好ましい。例えば、二重楕円３１Ｂの色の透過率は、４０％以上８５％以下、好ましくは５０％以上７５％以下である。

【0093】

上記を満たすように、二重楕円３１Ｂを生成するとよい。

【0094】

なお、二重楕円３１Ｂは上記形状に限られず、２つの卵形で囲まれた領域でもよいし、２つの長円形で囲まれた領域でもよい。または、形状が異なる２つの図形に囲まれた領域でもよい。例えば、楕円、卵型、または長円形などから選ばれた２つの図形で囲まれた領域でもよい。二重楕円３１Ｂの形状が当該領域である場合、上述の形状に類似した形状を有するとよい。

【0095】

二重楕円３１Ｂの配置は、二重楕円３１Ｂの全体が画像データ１１の範囲に収まるように、一様乱数で決定されるとよい。

【0096】

＜＜第２の多角形＞＞
パターン不良を表現する第２の多角形の生成方法および配置の一例について、図３Ｄおよび図３Ｅを用いて説明する。

【0097】

まず、パターン不良を表現する第２の多角形３１Ｃの生成方法について説明する。

【0098】

はじめに、座標Ｐを決定する。座標Ｐは、図３Ｄに示す範囲１１ｓ内での一様乱数で決定される。ここで、範囲１１ｓは、端部から一定の幅を除く、画像データ１１の範囲である。ここで、一定の幅をｅ２とすると、ｅ２は、８ピクセル以上１２ピクセル以下であることが好ましく、１０ピクセルがより好ましい。

【0099】

図３Ｄでは、画像データ１１の短辺の一方から座標Ｐまでの最短の長さをｆ１とし、画像データ１１の長辺の一方から座標Ｐまでの最短の長さをｆ２とする。

【0100】

次に、画像データ１１を、座標Ｐを中心に角度ｇだけ回転させる。角度ｇの基準は、画像データ１１の長辺に平行な線とするとよい。角度ｇは、３０°以上１５０°以下の範囲内での一様乱数で決定される。なお、図３Ｄでは、角度ｇを反時計回りに図示しているが、時計回りでもよい。角度ｇだけ回転させた画像データ１１を画像データ１１ｔとする。

【0101】

画像データ１１ｔから、重心の位置が座標Ｐである四角形を切り出す。切り出された当該四角形を、第２の多角形３１Ｃとする（図３Ｅ参照）。第２の多角形３１Ｃは、長辺の長さがｈ１であり、短辺の長さがｈ２である。

【0102】

第２の多角形３１Ｃの長辺の長さｈ１は、画像データ１１の長辺の長さａ１の、０．０２５倍以上０．４倍以下、好ましくは０．１倍以上０．２５倍以下である。具体的には、長さｈ１は、０．１ａ１以上０．２５ａ１以下の区間内での一様乱数で決定された値とする。

【0103】

第２の多角形３１Ｃの短辺の長さｈ２は、画像データ１１の長辺の長さａ１の、０．０２５倍以上０．４倍以下、好ましくは０．１倍以上０．２５倍以下である。具体的には、長さｈ２は、０．１ａ１以上０．２５ａ１以下の区間内での一様乱数で決定された値とする。

【0104】

検出されるパターン不良は、検出される異物よりも大きい傾向がある。そこで、長さｈ１および長さｈ２を上記のように指定することで、検出されるパターン不良に近い第２の多角形３１Ｃを生成することができる。

【0105】

長さｆ１、長さｆ２、長さｈ１、および長さｈ２は、第２の多角形３１Ｃが画像データ１１ｔからはみ出さないように決定されるとよい。よって、決定された長さｆ１、長さｆ２、長さｈ１、および長さｈ２において、第２の多角形３１Ｃが画像データ１１ｔからはみ出す場合、長さｆ１、長さｆ２、長さｈ１、および長さｈ２の、一様乱数による決定を、第２の多角形３１Ｃが画像データ１１ｔからはみ出さなくなるまで繰り返し実施するとよい。

【0106】

以上より、第２の多角形３１Ｃを生成することができる。

【0107】

上記では、第２の多角形３１Ｃの長辺と画像データ１１の長辺とが平行となるように上記四角形を切り出しているが、これに限られない。第２の多角形３１Ｃの長辺と画像データ１１の長辺とが平行でなくてもよい。

【0108】

また、上記では、第２の多角形３１Ｃの例として四角形について説明したが、これに限られない。例えば、三角形、五角形以上の多角形、または楕円でもよい。第２の多角形３１Ｃの形状が、三角形、五角形以上の多角形、または楕円である場合、上述の形状に類似した形状を有するとよい。

【0109】

第２の多角形３１Ｃは、第２の多角形３１Ｃの重心と座標Ｐとが一致するように配置する。ただし、第２の多角形３１Ｃの配置はこれに限られず、第２の多角形３１Ｃの全体が画像データ１１の範囲に収まるように、一様乱数で決定されてもよい。

【0110】

以上により、二次元図形３１＿ｉを生成することができる。二次元図形３１＿ｉは、不良の特徴を鑑みて生成されるため、二次元図形３１＿ｉを用いることで、好適なデータ拡張を行うことができる。

【0111】

上述したように、二次元図形３１＿ｉの大きさ（面積）に関連するパラメータ（楕円３１Ａ１の長径ｂ１、第１の多角形３１Ａ２の第ｋの線分の長さｄ＿ｋ、二重楕円３１Ｂの長径ｂ３、第２の多角形３１Ｃの長辺の長さｈ１など）は、画像データ１１の長辺の長さおよび／または画像データ１１の短辺の長さを基準に決定される。つまり、二次元図形３１＿ｉの大きさ（面積）は、画像データ１１の大きさ（面積）に対応する。

【0112】

なお、半導体製造工程で検出される不良は、上記不良（異物の混入、膜抜け、およびパターン不良）以外にも、膜残り、膜浮き、断線などの不良がある。これらの不良を識別の対象とする場合、それらに適した二次元図形を生成するとよい。

【0113】

次に、画像データ１２（画像データ１２＿１乃至画像データ１２＿ｐのいずれか）について説明する。

【0114】

図４Ａ乃至図４Ｄは、画像データ１２を説明する図である。図４Ａは、画像データ１１および楕円３１Ａ１を合成して生成される画像データ１２Ａ１である。図４Ｂは、画像データ１１および第１の多角形３１Ａ２を合成して生成される画像データ１２Ａ２である。図４Ｃは、画像データ１１および二重楕円３１Ｂを合成して生成される画像データ１２Ｂである。図４Ｄは、画像データ１１および第２の多角形３１Ｃを合成して生成される画像データ１２Ｃである。

【0115】

上述したように、画像データ１２＿ｉには、二次元図形３１＿ｉに対応するラベルが付与されている。例えば、二次元図形３１＿ｉが楕円３１Ａ１または第１の多角形３１Ａ２である場合、画像データ１２＿ｉには、異物に対応するラベルが付与される。または、二次元図形３１＿ｉが二重楕円３１Ｂである場合、画像データ１２＿ｉには、膜抜けに対応するラベルが付与される。または、二次元図形３１＿ｉが第２の多角形３１Ｃである場合、画像データ１２＿ｉには、パターン不良に対応するラベルが付与される。

【0116】

具体的には、図４Ａに示す画像データ１２Ａ１、および図４Ｂに示す画像データ１２Ａ２には、異物に対応するラベルが付与される。また、図４Ｃに示す画像データ１２Ｂには、膜抜けに対応するラベルが付与される。また、図４Ｄに示す画像データ１２Ｃには、パターン不良に対応するラベルが付与される。

【0117】

以上が、学習データを生成する方法の詳細な説明である。

【0118】

＜学習データを生成する方法の他の一例＞
学習データを生成する方法は、上述した方法に限られない。例えば、学習データを生成する方法は、図５に示すように、図１に示すステップＳ０１３とステップＳ０１４との間に、ステップＳ０１５およびステップＳ０１６を有してもよい。

【0119】

［ステップＳ０１５］
ステップＳ０１５は、画像データ１２＿ｉに対して、ガンマ変換を行うか否かを判断する工程である。ガンマ変換とは、画像の明るさを調整する操作であり、画像データの各画素の輝度値を指数関数で変換する操作である。

【0120】

ガンマ変換を行うと判断された場合（ステップＳ０１５：ＹＥＳ）、画像データ１２＿ｉに対して、ガンマ変換を行う。一方、ガンマ変換を行わないと判断された場合（ステップＳ０１５：ＮＯ）、画像データ１２＿ｉに対して、ガンマ変換を行わない。

【0121】

なお、ガンマ変換の代わりに、コントラスト調整を行ってもよい。または、画像データ１２＿１乃至画像データ１２＿ｐのそれぞれで、ガンマ変換、およびコントラスト調整をランダムに選択してもよい。

【0122】

［ステップＳ０１６］
ステップＳ０１６は、画像データ１２＿ｉに対して、ノイズ付加、またはぼかし加工を行うか否かを判断する工程である。

【0123】

ノイズ付加とは、ランダムに出現する変動成分（ノイズ）を画像データに付加する操作である。付加するノイズとして、例えば、ガウス分布に基づくノイズ（ガウシアンノイズともいう）、位置に依存せず、ある頻度を有してランダムに現れるノイズ（インパルスノイズともいう）などがある。

【0124】

ぼかし加工とは、フィルタリング処理を行い、輪郭または色の境界をぼかす操作である。ぼかし加工に使用されるフィルタとして、例えば、平均化フィルタ、ガウシアンフィルタなどがある。ぼかし加工を行う範囲は、画像データ１２＿ｉの全体でもよいし、画像データ１２＿ｉの一部でもよい。

【0125】

ノイズ付加を行うと判断された場合、画像データ１２＿ｉに対して、ノイズ付加を行う。または、ぼかし加工を行うと判断された場合、画像データ１２＿ｉに対して、ぼかし加工を行う。または、ノイズ付加およびぼかし加工のいずれも行わないと判断された場合（ステップＳ０１６：ＮＯ）、画像データ１２＿ｉに対して、ノイズ付加およびぼかし加工を行わない。

【0126】

以上が、学習データを生成する方法の説明である。これにより、不良の特徴を鑑みた、データ拡張を行うことができる。識別モデルを学習させるための、学習用データセットに、当該方法で生成した学習データを追加する。これにより、不良の識別精度が高い識別モデルを提供することができる。

【0127】

＜学習済みの識別モデルを生成する方法＞
本発明の一態様に係る、学習済みの識別モデルを生成する方法について説明する。

【0128】

図６は、学習済みの識別モデルを生成する方法の一例を示すフローチャートである。図６は、学習データ生成装置が実行する処理の流れを説明するフロー図でもある。なお、図６に示すフローチャートには、上述した学習データを生成する方法が含まれる。

【0129】

学習済みの識別モデルを生成する方法は、図６に示すように、ステップＳ００１乃至ステップＳ００６を有する。

【0130】

［ステップＳ００１］
ステップＳ００１は、画像データ１０および複数の画像データ２０を取得する工程である。

【0131】

上述したように、画像データ１０は、不良を含まない画像データ、または、不良を含まない領域を複数合成することで作成された画像データである。また、画像データ１０は、正常なパターンの画像データ、または、パターンが正常である領域を複数合成することで作成された画像データである。

【0132】

複数の画像データ２０（画像データ２０＿１乃至画像データ２０＿ｑ（ｑは２以上の整数））はそれぞれ、不良を含む画像データである。なお、画像データ２０＿ｊ（ｊは１以上ｑ以下の整数）には、画像データ２０＿ｊに含まれる不良に対応するラベルが付与されている。つまり、複数の画像データ２０は、学習データ、検証データ、またはテストデータとして用いることができる画像データである。

【0133】

［ステップＳ００２］
ステップＳ００２は、ｐ個の画像データ１２（画像データ１２＿１乃至画像データ１２＿ｐ）を生成する工程である。ステップＳ００２は、図１に示すステップＳ０１１乃至ステップＳ０１４を有する。ステップＳ０１１乃至ステップＳ０１４については、＜学習データを生成する方法＞で説明した内容を参酌することができる。

【0134】

なお、不良毎に作成される画像データ１２の数は、ほぼ等しいであることが好ましい。例えば、異物に対応するラベルが付与された画像データ１２の数、膜抜けに対応するラベルが付与された画像データ１２の数、および、パターン不良に対応するラベルが付与された画像データ１２の数が、ほぼ等しいことが好ましい。これにより、特定の不良に対する過剰適合（過学習）を抑制することができる。

【0135】

具体的には、二次元図形３１＿１乃至二次元図形３１＿ｐのそれぞれは、一様乱数によって、楕円３１Ａ１、第１の多角形３１Ａ２、二重楕円３１Ｂ、および第２の多角形３１Ｃのいずれかに決定されるとよい。

【0136】

または、二次元図形３１＿１乃至二次元図形３１＿ｐは、楕円３１Ａ１の生成数と第１の多角形３１Ａ２の生成数との和、二重楕円３１Ｂの生成数、および第２の多角形３１Ｃの生成数が均等となるように、生成されてもよい。

【0137】

［ステップＳ００３］
ステップＳ００３は、学習用データセットを生成する工程である。

【0138】

学習用データセットの入力データは、複数の画像データ２０、および、ステップＳ００２で生成したｐ個の画像データ１２である。つまり、当該入力データは、画像データ２０＿１乃至画像データ２０＿ｑ、ならびに、画像データ１２＿１乃至画像データ１２＿ｐである。

【0139】

学習用データセットの正解ラベルは、画像データ２０＿１乃至画像データ２０＿ｑのそれぞれに付与されたラベル、ならびに、画像データ１２＿１乃至画像データ１２＿ｐのそれぞれに付与されたラベルである。

【0140】

以上より、学習用データセットは、（ｑ＋ｐ）個の画像データで構成される。

【0141】

［ステップＳ００４］
ステップＳ００４は、ステップＳ００３で生成した学習用データセットを用いて、識別モデルを学習させる工程である。

【0142】

識別モデルは、畳み込みニューラルネットワーク（ＣＮＮ：Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）を用いることが好ましい。ＣＮＮとして、例えば、ＶＧＧ１６、ＧｏｏｇＬｅＮｅｔ、ＲｅｓＮｅｔなどが挙げられる。

【0143】

上記識別モデルを学習させる際、上記学習用データセットを、学習データと、検証データと、テストデータとに分割するとよい。例えば、当該学習データを用いて当該識別モデルを学習させ、当該検証データを用いて学習の結果を評価し、当該テストデータを用いて、学習させた識別モデルを評価する。これにより、学習させた識別モデルの精度を確かめることができる。以降では、テストデータの数に対する、識別結果が正解であった数の比を、正解率と呼ぶ場合がある。

【0144】

なお、テストデータは、画像データ２０＿１乃至画像データ２０＿ｑの一部で構成される。また、検証データは、テストデータに用いられない画像データ２０の一部で構成される。また、学習データは、画像データ１２＿１乃至画像データ１２＿ｐ、および、テストデータおよび検証データに用いられない画像データ２０で構成される。テストデータを、不良を含む画像データのみで構成することで、ラベルが付与されていない画像データに含まれる不良の識別精度を評価することができる。

【0145】

学習用データセットを、学習データと、検証データと、テストデータとに分割する方法として、例えば、ホールドアウト法、クロスバリデーション法、リーブワンアウト法などがある。

【0146】

［ステップＳ００５］
ステップＳ００５は、識別モデルの学習を終了するかを判断する工程である。

【0147】

当該学習は、所定の試行回数に達した時点で終了してもよい。または、当該学習は、正解率が所定のしきい値を超えた時点で終了してもよい。または、当該学習は、正解率がある程度飽和した時点で終了してもよい。なお、当該試行回数、または、当該しきい値に対して、予め定数を用意しておくとよい。または、当該学習を試行中に、ユーザが終了するタイミングを指定してもよい。

【0148】

学習を終了すると判断された場合（ＹＥＳ）、ステップＳ００６へ進む。

【0149】

学習を終了しないと判断された場合（ＮＯ）、ステップＳ００２へ進む。つまり、学習用データセットに含まれる画像データ１２＿１乃至画像データ１２＿ｐは学習ごとに生成される。これにより、学習にかかる時間の短縮、正解率の向上などを図ることができる。

【0150】

上記学習により、学習済みの識別モデルが生成される。

【0151】

［ステップＳ００６］
ステップＳ００６は、ステップＳ００４で生成された学習済みの識別モデルを出力する工程である。

【0152】

以上が、学習済みの識別モデルを生成する方法の一例である。本発明の一態様の、学習データを生成する方法を用いて、学習データを生成し、当該学習データを含む学習用データセットを生成する。当該学習用データセットに基づいて、識別モデルを学習させることで、不良の識別精度の高い識別モデルを生成することができる。

【0153】

＜不良を識別する方法＞
本発明の一態様に係る、不良を識別する方法について説明する。

【0154】

図７は、画像データに含まれる不良を識別する方法の一例を示すフローチャートである。図７は、識別装置が実行する処理の流れを説明するフローチャートでもある。

【0155】

画像データに含まれる不良を識別する方法は、図７に示すように、ステップＳ０２１およびステップＳ０２２を有する。

【0156】

［ステップＳ０２１］
ステップＳ０２１は、画像データ２１を取得する工程である。なお、画像データ２１の数は１つに限られず、複数であってもよい。

【0157】

画像データ２１は、不良を含む画像データである。なお、画像データ２１に含まれる不良は識別されていない。つまり、画像データ２１にはラベルが付与されていない。よって、画像データ２１は、識別の対象となる画像データである。

【0158】

［ステップＳ０２２］
ステップＳ０２２は、画像データ２１を評価する工程である。つまり、ステップＳ０２２は、画像データ２１に含まれる不良の識別を行う工程である。当該識別には、ステップＳ００６で出力された学習済みの識別モデルを使用するとよい。

【0159】

なお、画像データ２１が上記識別モデルに入力されると、出力値が得られる。当該出力値は、事後確率であり、不良の識別に用いられる。当該出力値を基に、不良の識別が行われる。

【0160】

以上が、画像データに含まれる不良を識別する方法の一例である。ステップＳ００６で生成された、学習済みの識別モデルを用いることで、不良の識別を精度高く行うことができる。

【0161】

本発明の一態様により、学習データを生成する方法を提供することができる。また、本発明の一態様により、学習済みの識別モデルを生成する方法を提供することができる。また、本発明の一態様により、不良を識別する方法を提供することができる。

【0162】

本実施の形態は、他の実施の形態、実施例などと適宜組み合わせることができる。また、本明細書において、１つの実施の形態の中に、複数の構成例が示される場合は、構成例を適宜組み合わせることが可能である。

【0163】

（実施の形態２）
本実施の形態では、本発明の一態様の不良識別システムについて、図８Ａ、図８Ｂ、図９Ａ、図９Ｂ、および図１０を用いて説明する。

【0164】

本実施の形態の不良識別システムは、実施の形態１で説明した、学習データを生成する方法を用いて、好適な学習データを生成することができる。また、本実施の形態の不良識別システムは、実施の形態１で説明した、学習済みの識別モデルを生成する方法を用いて、学習済みの識別モデルを生成することができる。また、本実施の形態の不良識別システムは、実施の形態１で説明した、不良を識別する方法を用いて、不良を識別することができる。

【0165】

＜不良識別システム＞
本発明の一態様である、不良識別システムについて説明する。

【0166】

不良識別システムは、ユーザが利用するパーソナルコンピュータなどの情報処理装置に設けることができる。または、当該不良識別システムをサーバに設け、クライアントＰＣからネットワークを介して利用することができる。

【0167】

本発明の一態様である不良識別システムの一例を、図８Ａに示す。図８Ａは、不良識別システム１００の構成を示す図である。不良識別システム１００は、図８Ａに示すように、学習データ生成装置１０１、および識別装置１０２を備える。

【0168】

学習データ生成装置１０１は、学習データを生成する機能を有する。なお、学習データを生成する方法については、＜学習データを生成する方法＞などで説明した内容を参酌することができる。

【0169】

また、学習データ生成装置１０１は、学習済みの識別モデルを生成する機能を有する。なお、学習済みの識別モデルを生成する方法については、＜学習済みの識別モデルを生成する方法＞などで説明した内容を参酌することができる。

【0170】

学習データ生成装置１０１は、記憶部（図８Ａには図示せず）を有する。当該記憶部には、画像データ１０、および複数の画像データ２０が格納される。なお、当該記憶部に、学習データ生成装置１０１にて生成された学習データが格納されてもよい。

【0171】

学習データ生成装置１０１は、処理部（図８Ａには図示せず）を有する。当該処理部にて、学習データが生成される。また、学習済みの識別モデルが生成される。

【0172】

学習データ生成装置１０１は、入力部（図８Ａには図示せず）を有してもよい。画像データ１０、および複数の画像データ２０は、当該入力部を介して、上記記憶部に格納される。なお、画像データ１０、および複数の画像データ２０は、記憶媒体、通信などを介して、上記記憶部に格納されてもよい。

【0173】

学習データ生成装置１０１は、出力部（図８Ａには図示せず）を有してもよい。当該出力部にて、学習済みの識別モデルが識別装置１０２に供給される。なお、学習済みの識別モデルは、記憶媒体、通信などを介して、識別装置１０２に供給されてもよい。

【0174】

識別装置１０２は、不良を識別する機能を有する。なお、当該不良を識別する方法については、＜不良を識別する方法＞などで説明した内容を参酌することができる。なお、識別装置１０２は、不良の位置を評価する機能を有してもよい。

【0175】

識別装置１０２は、記憶部（図８Ａには図示せず）を有する。当該記憶部には、１つ以上の画像データ２１、および学習済みの識別モデルが格納される。

【0176】

識別装置１０２は、処理部（図８Ａには図示せず）を有する。当該処理部にて、画像データに含まれる不良が識別される。また、画像データに含まれる不良の位置が評価される。

【0177】

識別装置１０２は、入力部（図８Ａには図示せず）を有してもよい。１つ以上の画像データ２１、および学習済みの識別モデルは、当該入力部を介して、上記記憶部に格納される。または、１つ以上の画像データ２１、および学習済みの識別モデルは、記憶媒体、通信などを介して、上記記憶部に格納されてもよい。

【0178】

識別装置１０２は、出力部（図８Ａには図示せず）を有してもよい。当該出力部は、情報を供給する機能を有する。当該情報とは、上記処理部にて得られた結果である。例えば、当該情報は、不良に対応する出力値（事後確率など）、識別された不良の名称、位置などである。当該情報は、例えば、文字列、数値、グラフなどの視覚情報、音声情報などとして供給される。

【0179】

識別装置１０２は、表示部（図８Ａには図示せず）を有してもよい。当該表示部は、上記情報を供給する機能を有する。当該表示部として、ディスプレイ、プリンタなどの出力デバイスがある。

【0180】

不良識別システム１００は、例えば、学習データ生成装置１０１がサーバに備えられ、識別装置１０２が端末に備えられてもよい。または、学習データ生成装置１０１、および識別装置１０２が、単一の、端末またはサーバに備えられてもよい。

【0181】

学習データ生成装置１０１がサーバに備えられ、識別装置１０２が端末に備えられた不良識別システム１００を、図８Ｂを用いて説明する。

【0182】

図８Ｂは、不良識別システム１００のブロック図である。なお、本明細書に添付した図面では、構成要素を機能ごとに分類し、互いに独立したブロックとしてブロック図を示しているが、実際の構成要素は機能ごとに完全に切り分けることが難しく、一つの構成要素が複数の機能に係わることもあり得る。また、一つの機能が複数の構成要素に係わることもあり得、例えば、処理部２０２で行われる処理は、処理によって異なるサーバで実行されることがある。

【0183】

不良識別システム１００は、サーバ２２０と、端末２３０と、を有する。端末２３０として、例えば、パーソナルコンピュータなどである。

【0184】

サーバ２２０は、処理部２０２、伝送路２１２、記憶部２１３、及び通信部２１７ａを有する。図８Ｂでは図示しないが、サーバ２２０は、さらに、入力部、出力部などを有していてもよい。

【0185】

端末２３０は、入力部２０１、記憶部２０３、表示部２０５、伝送路２１６、通信部２１７ｂ、及び処理部２１８を有する。図８Ｂでは図示しないが、端末２３０は、さらに、出力部、データベースなどを有していてもよい。

【0186】

通信部２１７ａが受信した画像データは、伝送路２１２を介して、記憶部２１３に保存される。または、当該画像データは、通信部２１７ａから、直接、処理部２０２に供給されてもよい。

【0187】

先の実施の形態などで説明した、学習データの生成、および学習済みの識別モデルの生成は、高い処理能力が求められる。サーバ２２０が有する処理部２０２は、端末２３０が有する処理部２１８に比べて処理能力が高い。したがって、学習データの生成、および学習済みの識別モデルの生成は、処理部２０２で行われることが好ましい。

【0188】

そして、処理部２０２により学習済みの識別モデルが生成される。学習済みの識別モデルは、処理部２０２から、伝送路２１２を介して、または直接、通信部２１７ａに供給される。学習済みの識別モデルは、サーバ２２０の通信部２１７ａから端末２３０の通信部２１７ｂに送信され、記憶部２０３に保存される。または、学習済みの識別モデルは、伝送路２１２を介して、記憶部２１３に保存されてもよい。

【0189】

［伝送路２１２及び伝送路２１６］
伝送路２１２及び伝送路２１６は、データを伝達する機能を有する。処理部２０２、記憶部２１３、及び通信部２１７ａの間のデータの送受信は、伝送路２１２を介して行うことができる。入力部２０１、記憶部２０３、表示部２０５、通信部２１７ｂ、及び処理部２１８の間のデータの送受信は、伝送路２１６を介して行うことができる。

【0190】

［処理部２０２及び処理部２１８］
処理部２０２は、記憶部２１３及び通信部２１７ａなどから供給されたデータを用いて、処理を行う機能を有する。処理部２１８は、入力部２０１、記憶部２０３、及び通信部２１７ｂなどから供給されたデータを用いて、処理を行う機能を有する。処理部２０２は、処理部２１８に比べて処理能力が高いことが好ましい。

【0191】

処理部２０２及び処理部２１８には、チャネル形成領域に金属酸化物を有するトランジスタを用いてもよい。当該トランジスタはオフ電流が極めて小さいため、当該トランジスタを記憶素子として機能する容量素子に流入した電荷（データ）を保持するためのスイッチとして用いることで、データの保持期間を長期にわたり確保することができる。この特性を、処理部２０２及び処理部２１８が有するレジスタ及びキャッシュメモリのうち少なくとも一方に用いることで、必要なときだけ処理部２０２及び処理部２１８を動作させ、他の場合には直前の処理の情報を当該記憶素子に待避させることにより処理部２０２及び処理部２１８をオフ状態にすることができる。すなわち、ノーマリーオフコンピューティングが可能となり、不良識別システム１００の低消費電力化を図ることができる。

【0192】

なお、本明細書等において、チャネル形成領域に酸化物半導体を用いたトランジスタをＯｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒトランジスタ（ＯＳトランジスタ）と呼ぶ。ＯＳトランジスタのチャネル形成領域は、金属酸化物を有することが好ましい。

【0193】

チャネル形成領域が有する金属酸化物はインジウム（Ｉｎ）を含むことが好ましい。チャネル形成領域が有する金属酸化物がインジウムを含む金属酸化物の場合、ＯＳトランジスタのキャリア移動度（電子移動度）が高くなる。また、チャネル形成領域が有する金属酸化物は、元素Ｍを含むことが好ましい。元素Ｍは、アルミニウム（Ａｌ）、ガリウム（Ｇａ）、またはスズ（Ｓｎ）であることが好ましい。元素Ｍに適用可能な他の元素としては、ホウ素（Ｂ）、チタン（Ｔｉ）、鉄（Ｆｅ）、ニッケル（Ｎｉ）、ゲルマニウム（Ｇｅ）、イットリウム（Ｙ）、ジルコニウム（Ｚｒ）、モリブデン（Ｍｏ）、ランタン（Ｌａ）、セリウム（Ｃｅ）、ネオジム（Ｎｄ）、ハフニウム（Ｈｆ）、タンタル（Ｔａ）、タングステン（Ｗ）などがある。ただし、元素Ｍとして、前述の元素を複数組み合わせても構わない場合がある。元素Ｍは、例えば、酸素との結合エネルギーが高い元素である。例えば、元素Ｍは、酸素との結合エネルギーがインジウムよりも高い元素である。また、チャネル形成領域が有する金属酸化物は、亜鉛（Ｚｎ）を含むことが好ましい。亜鉛を含む金属酸化物は結晶化しやすくなる場合がある。

【0194】

チャネル形成領域が有する金属酸化物は、インジウムを含む金属酸化物に限定されない。チャネル形成領域が有する金属酸化物は、例えば、亜鉛スズ酸化物、ガリウムスズ酸化物などの、インジウムを含まず、亜鉛を含む金属酸化物、ガリウムを含む金属酸化物、スズを含む金属酸化物などであっても構わない。

【0195】

また、処理部２０２及び処理部２１８には、チャネル形成領域にシリコンを含むトランジスタ（Ｓｉトランジスタ）を用いてもよい。また、チャネル形成領域に、グラフェン、シリセン、カルコゲン化物（遷移金属カルコゲナイト）などのバンドギャップを有する半導体材料を含むトランジスタを用いてもよい。

【0196】

また、処理部２０２及び処理部２１８には、チャネル形成領域に酸化物半導体を含むトランジスタと、チャネル形成領域にシリコンを含むトランジスタと、を組み合わせて用いてもよい。

【0197】

処理部２０２及び処理部２１８は、例えば、演算回路または中央演算装置（ＣＰＵ：Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を有する。

【0198】

処理部２０２及び処理部２１８は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等のマイクロプロセッサを有していてもよい。マイクロプロセッサは、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＦＰＡＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ａｎａｌｏｇ Ａｒｒａｙ）等のＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）によって実現された構成であってもよい。処理部２０２及び処理部２１８は、プロセッサにより種々のプログラムからの命令を解釈し実行することで、各種のデータ処理及びプログラム制御を行うことができる。プロセッサにより実行しうるプログラムは、プロセッサが有するメモリ領域及び記憶部２０３のうち少なくとも一方に格納される。

【0199】

処理部２０２及び処理部２１８はメインメモリを有していてもよい。メインメモリは、ＲＡＭ等の揮発性メモリ、及びＲＯＭ等の不揮発性メモリのうち少なくとも一方を有する。

【0200】

ＲＡＭとしては、例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等が用いられ、処理部２０２及び処理部２１８の作業空間として仮想的にメモリ空間が割り当てられ利用される。記憶部２０３に格納されたオペレーティングシステム、アプリケーションプログラム、プログラムモジュール、プログラムデータ、及びルックアップテーブル等は、実行のためにＲＡＭにロードされる。ＲＡＭにロードされたこれらのデータ、プログラム、及びプログラムモジュールは、それぞれ、処理部２０２及び処理部２１８に直接アクセスされ、操作される。

【0201】

ＲＯＭには、書き換えを必要としない、ＢＩＯＳ（Ｂａｓｉｃ Ｉｎｐｕｔ／Ｏｕｔｐｕｔ Ｓｙｓｔｅｍ）及びファームウェア等を格納することができる。ＲＯＭとしては、マスクＲＯＭ、ＯＴＰＲＯＭ（Ｏｎｅ Ｔｉｍｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等が挙げられる。ＥＰＲＯＭとしては、紫外線照射により記憶データの消去を可能とするＵＶ－ＥＰＲＯＭ（Ｕｌｔｒａ－Ｖｉｏｌｅｔ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、フラッシュメモリ等が挙げられる。

【0202】

なお、ニューラルネットワークにおいては、積和演算が行われる。当該積和演算をハードウェアによって行う場合、処理部２０２及び処理部２１８は、積和演算回路を有することが好ましい。当該積和演算回路としては、デジタル回路を用いてもよいし、アナログ回路を用いてもよい。積和演算回路にアナログ回路を用いる場合、積和演算回路の回路規模の縮小、または、メモリへのアクセス回数の減少による処理速度の向上および消費電力の低減を図ることができる。なお、当該積和演算は、プログラムを用いてソフトウェア上で行ってもよい。

【0203】

積和演算回路は、Ｓｉトランジスタによって構成してもよいし、ＯＳトランジスタによって構成してもよい。特に、ＯＳトランジスタはオフ電流が極めて小さいため、積和演算回路のアナログメモリを構成するトランジスタとして好適である。なお、ＳｉトランジスタとＯＳトランジスタの両方を用いて積和演算回路を構成してもよい。

【0204】

［記憶部２０３］
記憶部２０３は、処理部２１８が実行するプログラムを記憶する機能を有する。また、記憶部２０３は、処理部２０２が生成した学習済みの識別モデル、処理部２１８が生成した演算結果、通信部２１７ｂに入力されたデータ、及び入力部２０１に入力されたデータなどを記憶する機能を有する。

【0205】

記憶部２０３は、揮発性メモリ及び不揮発性メモリのうち少なくとも一方を有する。記憶部２０３は、例えば、ＤＲＡＭ、ＳＲＡＭなどの揮発性メモリを有していてもよい。記憶部２０３は、例えば、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、抵抗変化型メモリともいう）、ＰＲＡＭ（Ｐｈａｓｅ ｃｈａｎｇｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＭＲＡＭ（Ｍａｇｎｅｔｏｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ、磁気抵抗型メモリともいう）、またはフラッシュメモリなどの不揮発性メモリを有していてもよい。また、記憶部２０３は、ハードディスクドライブ（Ｈａｒｄ Ｄｉｓｃ Ｄｒｉｖｅ：ＨＤＤ）及びソリッドステートドライブ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ：ＳＳＤ）等の記録メディアドライブを有していてもよい。

【0206】

［記憶部２１３］
記憶部２１３は、処理部２０２が実行するプログラムを記憶する機能を有する。また、記憶部２１３は、識別モデル、通信部２１７ａに入力されたデータなどを記憶する機能を有する。記憶部２１３は、記憶部２０３の説明を参照できる。

【0207】

［通信部２１７ａ及び通信部２１７ｂ］
通信部２１７ａ及び通信部２１７ｂを用いて、サーバ２２０と端末２３０との間で、データの送受信を行うことができる。通信部２１７ａ及び通信部２１７ｂとしては、ハブ、ルータ、モデムなどを用いることができる。データの送受信には、有線を用いても無線（例えば、電波、赤外線など）を用いてもよい。

【0208】

なお、サーバ２２０と端末２３０との通信は、Ｗｏｒｌｄ Ｗｉｄｅ Ｗｅｂ（ＷＷＷ）の基盤であるインターネット、イントラネット、エクストラネット、ＰＡＮ（Ｐｅｒｓｏｎａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＣＡＮ（Ｃａｍｐｕｓ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＭＡＮ（Ｍｅｔｒｏｐｏｌｉｔａｎ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＷＡＮ（Ｗｉｄｅ Ａｒｅａ Ｎｅｔｗｏｒｋ）、ＧＡＮ（Ｇｌｏｂａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のコンピュータネットワークに接続することで行ってもよい。

【0209】

なお、不良識別システム１００の構成は上記に限られない。サーバ２２０が識別装置１０２の機能の一部を備え、端末２３０が学習データ生成装置１０１の機能の一部を備えてもよい。例えば、識別装置１０２が有する、不良を識別する機能を、サーバ２２０が備えてもよい。

【0210】

以上が、不良識別システム１００についての説明である。なお、図８Ａでは、不良識別システム１００は、学習データ生成装置１０１、および識別装置１０２を有する構成を示しているが、これに限られない。不良識別システム１００の変形例を以下に示す。以下で説明する不良識別システムの変形例は、本明細書などに示す他の不良識別システムと適宜組み合わせることができる。

【0211】

図８Ａに示す不良識別システム１００の変形例である不良識別システム１００Ａを、図９Ａに示す。図９Ａに示すように、不良識別システム１００Ａは、学習データ生成装置１０１、および識別装置１０２に加えて、データベース１０３を有してもよい。

【0212】

データベース１０３は、伝送路を介して、学習データ生成装置１０１、および識別装置１０２と接続されている。

【0213】

上記伝送路には、ローカルエリアネットワーク（ＬＡＮ）、および、インターネットなどのネットワークが含まれる。また、当該ネットワークは、有線、および無線のいずれか一方、または両方による通信を用いることができる。

【0214】

データベース１０３は、画像データを格納する。当該画像データは、学習データとして用いられる画像データ（例えば、先の実施の形態で説明した画像データ２０）、識別の対象となる画像データ（例えば、先の実施の形態で説明した画像データ２１）、学習データを生成する際に利用される画像データ（例えば、先の実施の形態で説明した画像データ１０）などである。当該画像データは、学習データ生成装置１０１が有する入力部、識別装置１０２が有する入力部、記憶媒体、通信などを介して、データベース１０３に格納される。このとき、当該画像データは、学習データ生成装置１０１が有する記憶部、または、識別装置１０２が有する記憶部に格納されなくてもよい。

【0215】

不良識別システム１００Ａは、例えば、学習データ生成装置１０１およびデータベース１０３がサーバに備えられ、識別装置１０２が端末に備えられてもよい。または、学習データ生成装置１０１、識別装置１０２、およびデータベース１０３が、単一の、端末またはサーバに備えられてもよい。または、データベース１０３は、学習データ生成装置１０１が備えられる端末またはサーバ、および、識別装置１０２が備えられる端末またはサーバとは異なる端末またはサーバに備えられてもよい。

【0216】

学習データ生成装置１０１、識別装置１０２、およびデータベース１０３が、単一の、端末またはサーバに備えられた不良識別システム１００Ａを、図９Ｂを用いて説明する。

【0217】

図９Ｂは、不良識別システム１００Ａのブロック図である。

【0218】

図９Ｂに示す不良識別システム１００Ａは、入力部２０１、処理部２０２、記憶部２０３、データベース２０４、表示部２０５、および伝送路２０６を有する。

【0219】

［入力部２０１］
入力部２０１には、不良識別システム１００Ａの外部から画像データが供給される。当該画像データは、ラベルが付与された画像データ、ラベルが付与されていない画像データ、学習データを生成する際に利用される画像データなどである。つまり、当該画像データは、学習データとして用いられる画像データ（例えば、先の実施の形態で説明した画像データ２０）、識別の対象となる画像データ（例えば、先の実施の形態で説明した画像データ２１）、学習データを生成する際に利用される画像データ（例えば、先の実施の形態で説明した画像データ１０）などである。入力部２０１に供給された画像データは、それぞれ、伝送路２０６を介して、処理部２０２、記憶部２０３、またはデータベース２０４に供給される。

【0220】

［処理部２０２］
処理部２０２は、入力部２０１、記憶部２０３、データベース２０４などから供給されたデータを用いて、処理を行う機能を有する。処理部２０２は、処理結果を、記憶部２０３、データベース２０４、表示部２０５などに供給することができる。

【0221】

処理部２０２は、学習データを生成する機能、学習済みの識別モデルを生成する機能、および不良を識別する機能を有する。

【0222】

［記憶部２０３］
記憶部２０３は、処理部２０２が実行するプログラムを記憶する機能を有する。また、記憶部２０３は、例えば、学習済みの識別モデル、処理部２０２が生成した処理結果、入力部２０１に入力されたデータなどを記憶する機能を有していてもよい。具体的には、記憶部２０３は、処理部２０２で生成した、学習データ、学習用データセット、および学習済みの識別モデル、ならびに、不良の識別結果などを記憶する機能を有することが好ましい。

【0223】

［データベース２０４］
不良識別システム１００Ａは、データベース２０４を有する。例えば、データベース２０４は、上記画像データを記憶する機能を有する。なお、処理部２０２で生成した、学習データ、学習用データセット、および学習済みの識別モデル、ならびに、不良の識別結果などを記憶してもよい。このとき、これらのデータは、記憶部２０３に記憶されなくてもよい。

【0224】

なお、記憶部２０３及びデータベース２０４は互いに分離されていなくてもよい。例えば、不良識別システム１００Ａは、記憶部２０３及びデータベース２０４の双方の機能を有する記憶ユニットを有していてもよい。

【0225】

なお、処理部２０２、記憶部２０３、及びデータベース２０４が有するメモリは、それぞれ、非一時的コンピュータ可読記憶媒体の一例ということができる。

【0226】

［表示部２０５］
表示部２０５は、処理部２０２における処理結果を表示する機能を有する。また、表示部２０５は、不良の識別結果を表示する機能を有する。

【0227】

［伝送路２０６］
伝送路２０６は、各種データを伝達する機能を有する。入力部２０１、処理部２０２、記憶部２０３、データベース２０４、及び表示部２０５の間のデータの送受信は、伝送路２０６を介して行うことができる。例えば、画像データ、学習済みの識別モデルなどのデータが、伝送路２０６を介して、送受信される。

【0228】

なお、不良識別システム１００Ａは、出力部を有していてもよい。出力部は、外部にデータを供給する機能を有する。

【0229】

以上が、不良識別システム１００Ａについての説明である。

【0230】

また、図８Ａに示す不良識別システム１００の変形例である不良識別システム１００Ｂを、図１０に示す。図１０に示すように、不良識別システム１００Ｂは、学習データ生成装置１０１、および識別装置１０２に加えて、撮像装置１０４、および検査装置１０５を有してもよい。

【0231】

撮像装置１０４は、製造工程の途中である半導体素子、または製造工程が終了した半導体素子を撮像する機能を有する。撮像装置１０４として、例えば、カメラがある。当該半導体素子を撮像することで、不良の有無が判断されていない画像データが取得される。つまり、当該画像データは、識別の対象となりうる画像データである。または、当該画像データは、学習データを生成する際に利用されうる画像データである。

【0232】

検査装置１０５は、撮像装置１０４を用いて取得された画像データに、不良が含まれるか否かを判断する機能を有する。これにより、当該画像データに不良が含まれるか否かを判断することができる。

【0233】

不良が含まれるか否かの判断は、当該判断の対象となる画像データと、１つ前に取得された画像データとを比較することで行われる。例えば、はじめに、当該判断の対象となる画像データと、１つ前に取得された画像データとの差分を取得する。そして、当該差分を基に、不良が含まれるか否かの判断を行ってもよい。

【0234】

なお、不良が含まれるか否かの判断には、機械学習を用いてもよい。不良が含まれるか否かの判断を行う画像データの数は膨大となりやすい。そこで、機械学習を用いることで、当該判断に要する時間を低減することができる。

【0235】

不良が含まれるか否かの判断には、例えば、異常箇所の検知と類似の方法を用いることができる。異常箇所の検知には、教師なし学習を用いられることがある。そこで、当該判断には、教師なし学習を用いることが好ましい。教師なし学習を用いることで、不良が含まれる画像データの数が少なくても、不良が含まれるか否かの判断を精度良く行うことができる。

【0236】

なお、異常箇所の検知には、教師あり学習を用いられることがある。そこで、当該判断には、教師あり学習を用いてもよい。教師あり学習を用いることで、不良が含まれるか否かの判断を精度良く行うことができる。

【0237】

上記機械学習には、ニューラルネットワーク（特に、ディープラーニング）を用いることが好ましい。

【0238】

不良が含まれると判断された画像データは、識別の対象となる。つまり、当該画像データは、実施の形態１で説明した画像データ２１に相当する。よって、当該画像データは、識別装置１０２に供給される。

【0239】

不良が含まれないと判断された画像データは、学習データを生成する際に利用してもよい。つまり、当該画像データは、実施の形態１で説明した画像データ１０として利用することができる。また、不良が含まれるか否かを判断する機能として、ニューラルネットワークが用いられる場合、当該画像データは、当該ニューラルネットワークの学習データとして利用してもよい。

【0240】

不良識別システム１００Ｂは、撮像装置１０４、および検査装置１０５を有することで、学習データの生成、学習済みの識別モデルの生成、および不良の識別に加えて、画像データの取得、および不良の有無の判定も行うことができる。

【0241】

以上が、不良識別システム１００の構成についての説明である。本発明の一態様である不良識別システムを用いることで、不良を精度高く識別することができる。

【0242】

本発明の一態様により、学習データ生成装置を提供することができる。また、本発明の一態様により、不良識別システムを提供することができる。

【0243】

本実施の形態は、他の実施の形態、実施例などと適宜組み合わせることができる。また、本明細書において、１つの実施の形態の中に、複数の構成例が示される場合は、構成例を適宜組み合わせることが可能である。

【実施例0244】

本実施例では、識別モデルを用いて得られた不良識別の結果について、図１１および図１２を用いて説明する。具体的には、学習用データセットを用意し、当該学習用データセットを基に学習済みの識別モデルを生成し、当該識別モデルを用いて不良の識別を行うことで、不良識別の正解率を算出した。

【0245】

はじめに、３つの学習用データセット（学習用データセット１Ａ、学習用データセット２Ａ、および学習用データセット３Ａ）を作成した。

【0246】

学習用データセット１Ａは、不良を含む画像データのみで構成されている。つまり、学習用データセット１Ａは、複数の画像データ２０のみで構成されている。

【0247】

図１１Ａ乃至図１１Ｃに、複数の画像データ２０の一例を示す。図１１Ａは、異物４１Ａ＿１の混入が確認された画像データ２０＿１である。図１１Ｂは、膜抜け４１Ｂ＿１が確認された画像データ２０＿２である。図１１Ｃは、パターン不良４１Ｃ＿１が確認された画像データ２０＿３である。

【0248】

画像データ２０＿１には、異物に対応するラベルが付与されている。画像データ２０＿２には、膜抜けに対応するラベルが付与されている。画像データ２０＿３には、パターン不良に対応するラベルが付与されている。

【0249】

学習用データセット１Ａには、６００個の画像データ２０を用意した。なお、学習用データセット１Ａを、３００個の学習データと、３００個の検証データとに分割した。

【0250】

学習用データセット２Ａは、不良を含む画像データと、本発明の一態様の、学習データを生成する方法を用いて生成された、疑似不良を含む画像データと、で構成されている。つまり、学習用データセット２Ａは、複数の画像データ２０と、複数の画像データ１２と、で構成されている。

【0251】

図１１Ｄ乃至図１１Ｆに、複数の画像データ１２の一例を示す。図１１Ｄは、疑似不良である楕円３１Ａ１＿１が合成された画像データ１２＿１である。図１１Ｅは、疑似不良である二重楕円３１Ｂ＿１が合成された画像データ１２＿２である。図１１Ｆは、疑似不良である第２の多角形３１Ｃ＿１が合成された画像データ１２＿３である。

【0252】

画像データ１２＿１には、異物に対応するラベルが付与されている。画像データ１２＿２には、膜抜けに対応するラベルが付与されている。画像データ１２＿３には、パターン不良に対応するラベルが付与されている。

【0253】

学習用データセット２Ａには、６００個の画像データ２０と、１００００個の画像データ１２と、を用意した。なお、学習用データセット２Ａを、学習データと、検証データとに分割した。当該学習データは、３００個の画像データ２０と、１００００個の画像データ１２とで構成される。当該検証データは、当該学習データとして使用されなかった、３００個の画像データ２０で構成される。

【0254】

比較例である、学習用データセット３Ａは、不良を含む画像データと、本発明の一態様の、学習データを生成する方法を用いずに作成した、疑似不良を含む画像データと、で構成されている。つまり、学習用データセット３Ａは、複数の画像データ２０と、複数の画像データ１３と、で構成されている。

【0255】

画像データ１３は、二次元図形４２を含む画像データである。なお、二次元図形４２は、本発明の一態様の、学習データを生成する方法を用いずに生成した二次元図形である。つまり、二次元図形４２は、本発明の一態様の、学習データを生成する方法では生成し得ない二次元図形である。別言すると、二次元図形４２の形状および／または色は、本発明の一態様の、学習データを生成する方法を用いて生成しうる二次元図形（先の実施の形態で説明したステップＳ０１２で生成しうる二次元図形）の形状および／または色と異なる。

【0256】

図１１Ｇ乃至図１１Ｉに、複数の画像データ１３の一例を示す。図１１Ｇは、疑似不良である二次元図形４２＿１が合成された画像データ１３＿１である。図１１Ｈは、疑似不良である二次元図形４２＿２が合成された画像データ１３＿２である。図１１Ｉは、疑似不良である二次元図形４２＿３が合成された画像データ１３＿３である。

【0257】

画像データ１３＿１には、異物に対応するラベルが付与されている。画像データ１３＿２には、膜抜けに対応するラベルが付与されている。画像データ１３＿３には、パターン不良に対応するラベルが付与されている。

【0258】

二次元図形４２＿１は、本発明の一態様の、学習データを生成する方法で生成しうる、異物を表現する二次元図形とは異なる。例えば、二次元図形４２＿１の色は、第１の多角形３１Ａ２が有しうる色と異なる。具体的には、二次元図形４２＿１の階調値は、Ｒが２５５であり、Ｇ、およびＢが０である。

【0259】

二次元図形４２＿２は、本発明の一態様の、学習データを生成する方法で生成しうる、膜抜けを表現する二次元図形とは異なる。例えば、二次元図形４２＿２の形状および色は、二重楕円３１Ｂが有しうる形状および色と異なる。具体的には、二次元図形４２＿２の形状は、四角形である。また、二次元図形４２＿２の階調値は、Ｒ、およびＧが０であり、Ｂが２５５である。

【0260】

二次元図形４２＿３は、本発明の一態様の、学習データを生成する方法で生成しうる、パターン不良を表現する二次元図形とは異なる。例えば、二次元図形４２＿３の形状および色は、第２の多角形３１Ｃが有しうる形状および色と異なる。具体的には、二次元図形４２＿３の形状は、楕円である。また、二次元図形４２＿３の階調値は、Ｒ、Ｇ、およびＢのそれぞれが、０である。

【0261】

学習用データセット３Ａには、６００個の画像データ２０と、１００００個の画像データ１３と、を用意した。なお、学習用データセット３Ａを、学習データと、検証データとに分割した。当該学習データは、３００個の画像データ２０と、１００００個の画像データ１２とで構成される。当該検証データは、当該学習データとして使用されなかった、３００個の画像データ２０で構成される。

【0262】

学習用データセット１Ａに基づいて、識別モデルを学習させた。当該識別モデルを識別モデル１Ｂとする。また、学習用データセット２Ａに基づいて、識別モデルを学習させた。当該識別モデルを識別モデル２Ｂとする。また、学習用データセット３Ａに基づいて、識別モデルを学習させた。当該識別モデルを識別モデル３Ｂとする。

【0263】

次に、識別モデル１Ｂ、識別モデル２Ｂ、識別モデル３Ｂを用いて、テストデータを用いて、不良識別を行った。なお、当該テストデータとして、３００個の画像データ２０を用意した。

【0264】

図１２は、不良識別の正解率の推移を示す図である。図１２に示す点線は、識別モデル１Ｂを用いた場合の、学習回数に対する不良識別の正解率である。図１２に示す実線は、識別モデル２Ｂを用いた場合の、学習回数に対する不良識別の正解率である。図１２に示す破線は、識別モデル３Ｂを用いた場合の、学習回数に対する不良識別の正解率である。

【0265】

図１２より、正解率がある程度飽和した学習回数（具体的には１００回目以降）において、識別モデル２Ｂの正解率は、識別モデル１Ｂの正解率よりも高い結果が得られた。よって、識別モデル２Ｂを学習させるのに用いた学習用データセット２Ａは、適切なデータ拡張が行われた学習用データセットであることが分かる。以上より、学習用データセット２Ａに含まれる画像データ１２を利用することで、不良の識別を精度高く行うことができる。

【0266】

図１２より、正解率がある程度飽和した学習回数（具体的には２００回目以降）において、識別モデル３Ｂの正解率は、識別モデル１Ｂの正解率とほぼ同じであった。よって、識別モデル３Ｂを学習させるのに用いた学習用データセット３Ａは、適切なデータ拡張が行われていない学習用データセットであることが分かる。

【0267】

以上より、本発明の一態様の、学習データを生成する方法を用いて生成された学習データを用いることで、不良の識別を精度高く行うことができる。

【0268】

本実施例は、他の実施の形態などに記載した構成と適宜組み合わせて実施することが可能である。

【符号の説明】

【0269】

１０：画像データ、１０ｓ：範囲、１１：画像データ、１１＿ｉ：画像データ、１１＿ｐ：画像データ、１１＿１：画像データ、１１ｓ：範囲、１１ｔ：画像データ、１２：画像データ、１２＿ｉ：画像データ、１２＿ｐ：画像データ、１２＿１：画像データ、１２＿２：画像データ、１２＿３：画像データ、１２Ａ１：画像データ、１２Ａ２：画像データ、１２Ｂ：画像データ、１２Ｃ：画像データ、１３：画像データ、１３＿１：画像データ、１３＿２：画像データ、１３＿３：画像データ、２０：画像データ、２０＿ｊ：画像データ、２０＿ｑ：画像データ、２０＿１：画像データ、２０＿２：画像データ、２０＿３：画像データ、２１：画像データ、３１＿ｉ：二次元図形、３１＿ｐ：二次元図形、３１＿１：二次元図形、３１Ａ１＿１：楕円、３１Ａ１：楕円、３１Ａ２：第１の多角形、３１Ｂ：二重楕円、３１Ｂ＿１：二重楕円、３１Ｃ：第２の多角形、３１Ｃ＿１：第２の多角形、４１Ａ＿１：異物、４１Ｂ＿１：膜抜け、４１Ｃ＿１：パターン不良、４２：二次元図形、４２＿１：二次元図形、４２＿２：二次元図形、４２＿３：二次元図形、１００：不良識別システム、１００Ａ：不良識別システム、１００Ｂ：不良識別システム、１０１：学習データ生成装置、１０２：識別装置、１０３：データベース、１０４：撮像装置、１０５：検査装置、２０１：入力部、２０２：処理部、２０３：記憶部、２０４：データベース、２０５：表示部、２０６：伝送路、２１２：伝送路、２１３：記憶部、２１６：伝送路、２１７ａ：通信部、２１７ｂ：通信部、２１８：処理部、２２０：サーバ、２３０：端末

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【手続補正書】

【提出日】2024-07-29

【手続補正2】

【補正対象書類名】特許請求の範囲

【補正対象項目名】全文

【補正方法】変更

【補正の内容】

【請求項1】

処理部を有する学習データ生成装置であって、
前記処理部は、チャネル形成領域に酸化物半導体を用いたトランジスタを有し、
前記酸化物半導体は、インジウムを有し、
パターンが正常である領域のみが撮影された第１の画像データの一部を第２の画像データとして切り出す機能と、
前記第２の画像データの面積に対応した、疑似不良を表す二次元図形を生成する機能と、
前記第２の画像データと前記二次元図形とを合成して第３の画像データを生成する機能と、
前記第３の画像データに、前記二次元図形に対応するラベルを付与する機能と、
を有し、
前記二次元図形は、第１の二次元図形、または第２の二次元図形であり、
前記第１の二次元図形は、形状および色を指定することで生成され、
前記第２の二次元図形は、前記第２の画像データを切り出すことで生成され、
前記第２の二次元図形は、第２の多角形であり、
前記第２の画像データと、前記第２の多角形と、を合成することで生成される前記第３の画像データには、第３のラベルが付与される、
学習データ生成装置。

【請求項2】

処理部を有する学習データ生成装置であって、
前記処理部は、チャネル形成領域に酸化物半導体を用いたトランジスタを有し、
パターンが正常である領域のみが撮影された第１の画像データの一部を第２の画像データとして切り出す機能と、
前記第２の画像データの面積に対応した、疑似不良を表す二次元図形を生成する機能と、
前記第２の画像データと前記二次元図形とを合成して第３の画像データを生成する機能と、
前記第３の画像データに、前記二次元図形に対応するラベルを付与する機能と、
を有し、
前記二次元図形は、第１の二次元図形、または第２の二次元図形であり、
前記第１の二次元図形は、形状および色を指定することで生成され、
前記第２の二次元図形は、前記第２の画像データを切り出すことで生成され、
前記第２の二次元図形は、第２の多角形であり、
前記第２の画像データと、前記第２の多角形と、を合成することで生成される前記第３の画像データには、第３のラベルが付与される、
学習データ生成装置。

【請求項3】

請求項１又は請求項２において、
前記第１の二次元図形は、第１の多角形、楕円、または二重楕円であり、
前記第２の画像データと、前記第１の多角形または前記楕円と、を合成することで生成される前記第３の画像データには、第１のラベルが付与され、
前記第２の画像データと、前記二重楕円と、を合成することで生成される前記第３の画像データには、第２のラベルが付与される、
学習データ生成装置。

【請求項4】

請求項３において、
前記第１の多角形は、第１の頂点乃至第ｎ（ｎは３以上８以下の整数）の頂点を有し、
前記第１の多角形内の点と、前記第１の頂点乃至前記第ｎの頂点のそれぞれとを結ぶ線分の長さは、正規分布に従う長さであり、
前記正規分布は、平均が前記第２の画像データの長辺の、０．０５倍以上０．２５倍以下の長さであり、標準偏差が前記平均の０．２倍であり、
前記第１の多角形の色は、ＲＧＢのそれぞれが、２５６階調の表現において、０以上２０以下（十進数で表記）であり、
前記第１の多角形の色の透過率は、０％以上１０％以下である、
学習データ生成装置。

【請求項5】

請求項３又は請求項４において、
前記楕円の長径は、前記第２の画像データの長辺の、０．０５倍以上０．２５倍以下の長さであり、
前記楕円の短径は、前記楕円の長径の、０．６倍以上１．０倍以下の長さであり、
前記楕円の色は、ＲＧＢのそれぞれが、２５６階調の表現において、０以上１０以下（十進数で表記）であり、
前記楕円の色の透過率は、０％以上１０％以下である、
学習データ生成装置。

【請求項6】

請求項３乃至請求項５のいずれか一において、
前記二重楕円の長径は、前記第２の画像データの長辺の、０．０５倍以上０．２５倍以下の長さであり、
前記二重楕円の短径は、前記二重楕円の長径の０．６倍以上１．０倍以下の長さであり、
前記二重楕円の外径と、内径と、の差は、５ピクセル以上１５ピクセル以下であり、
前記二重楕円の色は、２５６階調の表現において、Ｒが１５０以上１７０以下（十進数で表記）であり、Ｇが６０以上８０以下（十進数で表記）であり、Ｂが２０以上４０以下（十進数で表記）であり、
前記二重楕円の色の透過率は、５０％以上７５％以下である、
学習データ生成装置。

【請求項7】

請求項１乃至請求項６のいずれか一において、
前記第２の多角形は、前記第２の画像データ内に位置する点を中心に、３０°以上１５０°以下の角度で回転させた前記第２の画像データから切り出された四角形であり、
前記四角形は、重心が前記第２の画像データ内に位置する前記点であり、長辺および短辺のそれぞれが、前記第２の画像データの長辺の、０．１倍以上０．２５倍以下の長さである、
学習データ生成装置。

【請求項8】

請求項１乃至請求項７のいずれか一において、
前記学習データ生成装置は、
前記第３の画像データに対して、ガンマ変換を行う機能と、
前記第３の画像データに対して、ノイズ付加、またはぼかし加工を行う機能と、
を有する、
学習データ生成装置。

【請求項9】

請求項１乃至請求項８のいずれか一において、
前記酸化物半導体は、亜鉛を有する、
学習データ生成装置。

【請求項10】

不良を識別する不良識別システムであって、
前記不良識別システムは、請求項１乃至請求項９のいずれか一に記載の学習データ生成装置と、データベースと、識別装置と、を有し、
前記データベースには、前記第１の画像データと、ラベルが付与された第４の画像データと、ラベルが付与されていない第５の画像データと、が格納され、
前記識別装置は、学習済みモデルに基づいて、前記第５の画像データに含まれる不良を識別する機能を有する、
不良識別システム。

【請求項11】

請求項１０において、
前記第３の画像データと、前記第４の画像データと、で構成された学習用データセットを基に、前記学習済みモデルが生成される、
不良識別システム。