ホーム > 特許ランキング > 国立大学法人 筑波大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024178837
(43)【公開日】2024-12-25
(54)【発明の名称】判定装置、学習装置及び教師データ作成装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20241218BHJP
G06V 10/62 20220101ALI20241218BHJP
【ＦＩ】
G06T7/00 300F
G06T7/00 350B
G06V10/62
【審査請求】未請求
【請求項の数】17
【出願形態】ＯＬ
(21)【出願番号】P 2023097287
(22)【出願日】2023-06-13
(71)【出願人】
【識別番号】504171134
【氏名又は名称】国立大学法人 筑波大学
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100188558
【弁理士】
【氏名又は名称】飯田 雅人
(74)【代理人】
【識別番号】100175824
【弁理士】
【氏名又は名称】小林 淳一
(74)【代理人】
【識別番号】100152272
【弁理士】
【氏名又は名称】川越 雄一郎
(74)【代理人】
【識別番号】100181722
【弁理士】
【氏名又は名称】春田 洋孝
(72)【発明者】
【氏名】有馬 澄佳
(72)【発明者】
【氏名】伊東 寛紀
(72)【発明者】
【氏名】渡邉 響
(72)【発明者】
【氏名】高田 大右
(72)【発明者】
【氏名】前田 拓海
(72)【発明者】
【氏名】星野 紗来
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA03
5L096FA74
5L096JA11
5L096KA04
5L096KA15
5L096MA07
(57)【要約】
【課題】精度よくクラス分類を行うと共に、各特徴量の影響度を導出する。
【解決手段】判定装置は、判定対象である物体についての二次元情報及び当該二次元情報に付帯する付帯情報を取得する二次元情報取得部と、前記二次元情報取得部により取得された前記二次元情報から第１特徴量を抽出する抽出部と、前記物体に関する特徴量であって、前記第１特徴量とは異なる第２特徴量を取得する第２特徴量取得部と、前記第１特徴量及び前記第２特徴量とは異なる第３特徴量を取得する第３特徴量取得部と、前記抽出部により抽出された前記第１特徴量と、前記第２特徴量取得部により取得された前記第２特徴量又は前記第３特徴量取得部により取得された前記第３特徴量の少なくともいずれかとを入力情報として、前記物体のクラス分類に関する演算を行う演算部と、前記演算部により行われた演算の結果を出力する出力部とを備える。
【選択図】図２
【解決手段】判定装置は、判定対象である物体についての二次元情報及び当該二次元情報に付帯する付帯情報を取得する二次元情報取得部と、前記二次元情報取得部により取得された前記二次元情報から第１特徴量を抽出する抽出部と、前記物体に関する特徴量であって、前記第１特徴量とは異なる第２特徴量を取得する第２特徴量取得部と、前記第１特徴量及び前記第２特徴量とは異なる第３特徴量を取得する第３特徴量取得部と、前記抽出部により抽出された前記第１特徴量と、前記第２特徴量取得部により取得された前記第２特徴量又は前記第３特徴量取得部により取得された前記第３特徴量の少なくともいずれかとを入力情報として、前記物体のクラス分類に関する演算を行う演算部と、前記演算部により行われた演算の結果を出力する出力部とを備える。
【選択図】図２
【特許請求の範囲】
【請求項1】
判定対象である物体についての二次元情報及び当該二次元情報に付帯する付帯情報を取得する二次元情報取得部と、
前記二次元情報取得部により取得された前記二次元情報から第１特徴量を抽出する抽出部と、
前記物体に関する特徴量であって、前記第１特徴量とは異なる第２特徴量を取得する第２特徴量取得部と、
前記第１特徴量及び前記第２特徴量とは異なる第３特徴量を取得する第３特徴量取得部と、
前記抽出部により抽出された前記第１特徴量と、前記第２特徴量取得部により取得された前記第２特徴量又は前記第３特徴量取得部により取得された前記第３特徴量の少なくともいずれかとを入力情報として、前記物体のクラス分類に関する演算を行う演算部と、
前記演算部により行われた演算の結果を出力する出力部と
を備える判定装置。
前記二次元情報取得部により取得された前記二次元情報から第１特徴量を抽出する抽出部と、
前記物体に関する特徴量であって、前記第１特徴量とは異なる第２特徴量を取得する第２特徴量取得部と、
前記第１特徴量及び前記第２特徴量とは異なる第３特徴量を取得する第３特徴量取得部と、
前記抽出部により抽出された前記第１特徴量と、前記第２特徴量取得部により取得された前記第２特徴量又は前記第３特徴量取得部により取得された前記第３特徴量の少なくともいずれかとを入力情報として、前記物体のクラス分類に関する演算を行う演算部と、
前記演算部により行われた演算の結果を出力する出力部と
を備える判定装置。
【請求項2】
前記物体に対する所定の工程が行われ、
前記第１特徴量は、前記工程が行われた後に取得された前記物体に関する情報であり、
前記第２特徴量は、前記工程が行われている間又は前記工程が行われる前における情報であり、
前記第３特徴量は、前記工程が行われた後、前記工程が行われている間又は前記工程が行われる前における情報である
請求項１に記載の判定装置。
前記第１特徴量は、前記工程が行われた後に取得された前記物体に関する情報であり、
前記第２特徴量は、前記工程が行われている間又は前記工程が行われる前における情報であり、
前記第３特徴量は、前記工程が行われた後、前記工程が行われている間又は前記工程が行われる前における情報である
請求項１に記載の判定装置。
【請求項3】
前記物体に対する所定の工程が行われ、
前記第２特徴量は、前記工程において制御される値である
請求項１又は請求項２に記載の判定装置。
前記第２特徴量は、前記工程において制御される値である
請求項１又は請求項２に記載の判定装置。
【請求項4】
前記物体に対する所定の工程が行われ、
前記第２特徴量は、前記工程に影響を及ぼす値である
請求項１又は請求項２に記載の判定装置。
前記第２特徴量は、前記工程に影響を及ぼす値である
請求項１又は請求項２に記載の判定装置。
【請求項5】
前記二次元情報取得部は、前記物体が判定対象であるか否かの判定があらかじめ行われた結果として、判定対象であると判定された前記物体についての前記二次元情報を取得する
請求項１又は請求項２に記載の判定装置。
請求項１又は請求項２に記載の判定装置。
【請求項6】
前記二次元情報とは、前記物体を撮像した画像である
請求項１又は請求項２に記載の判定装置。
請求項１又は請求項２に記載の判定装置。
【請求項7】
前記抽出部は、画像である前記二次元情報を入力情報として、畳み込みニューラルネットワーク、Ｔｒａｎｓｆｏｒｍｅｒ、決定木、及び集団学習の少なくともいずれかを用いて前記第１特徴量を抽出する
請求項６に記載の判定装置。
請求項６に記載の判定装置。
【請求項8】
前記演算部は、前記第２特徴量と前記第３特徴量の組合せごとに、前記物体のクラスごとの尤度を演算する
請求項６に記載の判定装置。
請求項６に記載の判定装置。
【請求項9】
前記物体とは、印刷されたラベルであり、
前記物体のクラスとは、前記ラベルの印刷時における不良の種類を分類したものである
請求項６に記載の判定装置。
前記物体のクラスとは、前記ラベルの印刷時における不良の種類を分類したものである
請求項６に記載の判定装置。
【請求項10】
前記二次元情報とは、前記物体のうち不良を有する箇所と、不良を有しない箇所とを、二次元座標上に二値以上により表した情報である
請求項１又は請求項２に記載の判定装置。
請求項１又は請求項２に記載の判定装置。
【請求項11】
前記演算部は、前記物体のクラスごとの尤度を判定する
請求項１０に記載の判定装置。
請求項１０に記載の判定装置。
【請求項12】
前記演算部は、抽出された前記第１特徴量と、取得された前記第２特徴量又は前記第３特徴量の少なくともいずれかとを入力情報として、前記物体のクラスごとの尤度又は最大尤度に該当するクラスを出力する出力層を有する
請求項１１に記載の判定装置。
請求項１１に記載の判定装置。
【請求項13】
前記物体とは、半導体製造用のウェハであり、
前記物体のクラスとは、前記ウェハごとの不良の種類を分類したものである
請求項１０に記載の判定装置。
前記物体のクラスとは、前記ウェハごとの不良の種類を分類したものである
請求項１０に記載の判定装置。
【請求項14】
判定対象である物体についての二次元情報及び当該二次元情報に付帯するその付帯情報を取得する二次元情報取得部と、
前記物体を所定の判定基準に基づいて分類したクラスに関する情報を取得するクラス情報取得部と、
前記物体に関する特徴量であって、前記二次元情報から抽出される第１特徴量とは異なる第２特徴量を取得する第２特徴量取得部と、
前記第１特徴量及び前記第２特徴量とは異なる第３特徴量を取得する第３特徴量取得部と、
前記二次元情報取得部により取得された前記二次元情報に基づき抽出された前記第１特徴量と、前記第２特徴量取得部により取得された前記第２特徴量又は前記第３特徴量取得部により取得された前記第３特徴量の少なくともいずれかとに基づき、前記クラスを推定するよう機械学習モデルを学習させる学習部と
を備える学習装置。
前記物体を所定の判定基準に基づいて分類したクラスに関する情報を取得するクラス情報取得部と、
前記物体に関する特徴量であって、前記二次元情報から抽出される第１特徴量とは異なる第２特徴量を取得する第２特徴量取得部と、
前記第１特徴量及び前記第２特徴量とは異なる第３特徴量を取得する第３特徴量取得部と、
前記二次元情報取得部により取得された前記二次元情報に基づき抽出された前記第１特徴量と、前記第２特徴量取得部により取得された前記第２特徴量又は前記第３特徴量取得部により取得された前記第３特徴量の少なくともいずれかとに基づき、前記クラスを推定するよう機械学習モデルを学習させる学習部と
を備える学習装置。
【請求項15】
取得した前記二次元情報に基づき、複数の拡張二次元情報を生成する拡張部をさらに備え、
前記学習部は、生成された前記拡張二次元情報に基づき抽出された前記第１特徴量と、前記第２特徴量取得部により取得された前記第２特徴量とに基づき、前記クラスを推定するよう機械学習モデルを学習させる
請求項１４に記載の学習装置。
前記学習部は、生成された前記拡張二次元情報に基づき抽出された前記第１特徴量と、前記第２特徴量取得部により取得された前記第２特徴量とに基づき、前記クラスを推定するよう機械学習モデルを学習させる
請求項１４に記載の学習装置。
【請求項16】
判定対象である物体についての二次元情報及び当該二次元情報に付帯するその付帯情報を複数取得する二次元情報取得部と、
取得された複数の前記二次元情報のうち、所定の選択アルゴリズムに基づき２以上の前記二次元情報を選択する選択部と、
選択された２以上の前記二次元情報を重ね合わせることにより、機械学習モデルの学習又はテストに用いられる教師データを作成する重ね合わせ部と
前記物体に関する特徴量であって、前記二次元情報から抽出される第１特徴量とは異なる第２特徴量を取得する第２特徴量取得部と、
前記第１特徴量及び前記第２特徴量とは異なる第３特徴量を取得する第３特徴量取得部と、
重ね合わせられたサンプルに該当する前記第２特徴量を結合する第２特徴量結合部又は重ね合わせられたサンプルに該当する第３特徴量を結合する第３特徴量結合部との少なくともいずれかと、
結合した前記第２特徴量又は取得した前記第３特徴量の少なくともいずれかを、前記教師データに統合する統合部と
を備える教師データ作成装置。
取得された複数の前記二次元情報のうち、所定の選択アルゴリズムに基づき２以上の前記二次元情報を選択する選択部と、
選択された２以上の前記二次元情報を重ね合わせることにより、機械学習モデルの学習又はテストに用いられる教師データを作成する重ね合わせ部と
前記物体に関する特徴量であって、前記二次元情報から抽出される第１特徴量とは異なる第２特徴量を取得する第２特徴量取得部と、
前記第１特徴量及び前記第２特徴量とは異なる第３特徴量を取得する第３特徴量取得部と、
重ね合わせられたサンプルに該当する前記第２特徴量を結合する第２特徴量結合部又は重ね合わせられたサンプルに該当する第３特徴量を結合する第３特徴量結合部との少なくともいずれかと、
結合した前記第２特徴量又は取得した前記第３特徴量の少なくともいずれかを、前記教師データに統合する統合部と
を備える教師データ作成装置。
【請求項17】
所定の確率分布又は乱数に基づき、前記教師データの各座標又は特徴量に対して、欠損が有することを示す情報を付与する欠損付与部を更に備える
請求項１６に記載の教師データ作成装置。
請求項１６に記載の教師データ作成装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、判定装置、学習装置及び教師データ作成装置に関する。
【背景技術】
【0002】
従来、複数の製造工程を経て製造される製品の歩留まり要因を解析する方法が提案されている（例えば、特許文献１を参照）。このような技術は、例えば、半導体製造工程等に用いられる。半導体製造工程等の現場では、製造ロット毎に、歩留まりが高い正常ロット群であるか、歩留まりが低い異常ロット群であるかが解析される。さらに、解析結果に基づき、各工程における処理装置の差に着目し、工程ごと、又は装置ごとに歩留まり低下への影響度を抽出することが行われている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２００５－０１２０９５号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
上述したような従来技術では、深層学習等の機械学習が用いられ、ウェハマップの不良パターン（ウェハ上の不良チップの出現パターン）のクラス分類が行われる。しかしながら、ウェハマップに基づく不良パターンのクラス分類は精度が十分でなく、特に複数の不良パターンが重ね合わされているような場合、著しく精度が低下する問題があった。すなわち、従来技術による解析方法では、クラス分類精度が十分でないといった問題があった。
【0005】
そこで本発明は、このような状況に鑑みてなされたものであり、精度よくクラス分類を行うことできると共に、各特徴量の影響度を導出することが可能な判定装置、学習装置及び教師データ作成装置の提供を目的とする。
【課題を解決するための手段】
【0006】
（１）本発明の一態様は、判定対象である物体についての二次元情報及び当該二次元情報に付帯する付帯情報を取得する二次元情報取得部と、前記二次元情報取得部により取得された前記二次元情報から第１特徴量を抽出する抽出部と、前記物体に関する特徴量であって、前記第１特徴量とは異なる第２特徴量を取得する第２特徴量取得部と、前記第１特徴量及び前記第２特徴量とは異なる第３特徴量を取得する第３特徴量取得部と、前記抽出部により抽出された前記第１特徴量と、前記第２特徴量取得部により取得された前記第２特徴量又は前記第３特徴量取得部により取得された前記第３特徴量の少なくともいずれかとを入力情報として、前記物体のクラス分類に関する演算を行う演算部と、前記演算部により行われた演算の結果を出力する出力部とを備える判定装置である。
【0007】
（２）本発明の一態様は、上述した判定装置において、前記物体に対する所定の工程が行われ、前記第１特徴量は、前記工程が行われた後に取得された前記物体に関する情報であり、前記第２特徴量は、前記工程が行われている間又は前記工程が行われる前における情報であり、前記第３特徴量は、前記工程が行われた後、前記工程が行われている間又は前記工程が行われる前における情報である。
【0008】
（３）本発明の一態様は、上述した判定装置において、前記物体に対する所定の工程が行われ、前記第２特徴量は、前記工程において制御される値である。
【0009】
（４）本発明の一態様は、上述した判定装置において、前記物体に対する所定の工程が行われ、前記第２特徴量は、前記工程に影響を及ぼす値である。
【0010】
（５）本発明の一態様は、上述した判定装置において、前記二次元情報取得部は、前記物体が判定対象であるか否かの判定があらかじめ行われた結果として、判定対象であると判定された前記物体についての前記二次元情報を取得するものである。
【0011】
（６）本発明の一態様は、上述した判定装置において、前記二次元情報とは、前記物体を撮像した画像である。
【0012】
（７）本発明の一態様は、上述した判定装置において、前記抽出部は、画像である前記二次元情報を入力情報として、畳み込みニューラルネットワーク、Ｔｒａｎｓｆｏｒｍｅｒ、決定木、及び集団学習の少なくともいずれかを用いて前記第１特徴量を抽出するものである。
【0013】
（８）本発明の一態様は、上述した判定装置において、前記演算部は、前記第２特徴量と前記第３特徴量の組み合せごとに、前記物体のクラスごとの尤度を演算するものである。
【0014】
（９）本発明の一態様は、上述した判定装置において、前記物体とは、印刷されたラベルであり、前記物体のクラスとは、前記ラベルの印刷時における不良の種類を分類したものである。
【0015】
（１０）本発明の一態様は、上述した判定装置において、前記二次元情報とは、前記物体のうち不良を有する箇所と、不良を有しない箇所とを、二次元座標上に二値以上により表した情報である。
【0016】
（１１）本発明の一態様は、上述した判定装置において、前記演算部は、前記物体のクラスごとの尤度を判定するものである。
【0017】
（１２）本発明の一態様は、上述した判定装置において、前記演算部は、抽出された前記第１特徴量と、取得された前記第２特徴量又は前記第３特徴量の少なくともいずれかとを入力情報として、前記物体のクラスごとの尤度又は最大尤度に該当するクラスを出力する出力層を有する。
【0018】
（１３）本発明の一態様は、上述した判定装置において、前記物体とは、半導体製造用のウェハであり、前記物体のクラスとは、前記ウェハごとの不良を分類したものである。
【0019】
（１４）本発明の一態様は、判定対象である物体についての二次元情報及び当該二次元情報に付帯するその付帯情報を取得する二次元情報取得部と、前記物体を所定の判定基準に基づいて分類したクラスに関する情報を取得するクラス情報取得部と、前記物体に関する特徴量であって、前記二次元情報から抽出される第１特徴量とは異なる第２特徴量を取得する第２特徴量取得部と、前記第１特徴量及び前記第２特徴量とは異なる第３特徴量を取得する第３特徴量取得部と、前記二次元情報取得部により取得された前記二次元情報に基づき抽出された前記第１特徴量と、前記第２特徴量取得部により取得された前記第２特徴量又は前記第３特徴量取得部により取得された前記第３特徴量の少なくともいずれかとに基づき、前記クラスを推定するよう機械学習モデルを学習させる学習部とを備える学習装置である。
【0020】
（１５）本発明の一態様は、上述した学習装置において、取得した前記二次元情報に基づき、複数の拡張二次元情報を生成する拡張部をさらに備え、前記学習部は、生成された前記拡張二次元情報に基づき抽出された前記第１特徴量と、前記第２特徴量取得部により取得された前記第２特徴量とに基づき、前記クラスを推定するよう機械学習モデルを学習させるものである。
【0021】
（１６）本発明の一態様は、判定対象である物体についての二次元情報及び当該二次元情報に付帯するその付帯情報を複数取得する二次元情報取得部と、取得された複数の前記二次元情報のうち、所定の選択アルゴリズムに基づき２以上の前記二次元情報を選択する選択部と、選択された２以上の前記二次元情報を重ね合わせることにより、機械学習モデルの学習又はテストに用いられる教師データを作成する重ね合わせ部と前記物体に関する特徴量であって、前記二次元情報から抽出される第１特徴量とは異なる第２特徴量を取得する第２特徴量取得部と、前記第１特徴量及び前記第２特徴量とは異なる第３特徴量を取得する第３特徴量取得部と、重ね合わせられたサンプルに該当する前記第２特徴量を結合する第２特徴量結合部又は重ね合わせられたサンプルに該当する第３特徴量を結合する第３特徴量結合部との少なくともいずれとかを備え、結合した前記第２特徴量又は取得した前記第３特徴量の少なくともいずれかを、前記教師データに統合する統合部とを備える教師データ作成装置である。
【0022】
（１７）本発明の一態様は、上述した教師データ作成装置は、所定の確立分布又は乱数に基づき、前記教師データの各座標又は特徴量に対して、欠損が有することを示す情報を付与する欠損付与部を更に備えるものである。
【発明の効果】
【0023】
本発明によれば、精度よくクラス分類を行うことができると共に、各特徴量の影響度を導出することができる。
【図面の簡単な説明】
【0024】
【図1】実施形態１に係るシステムの概要について説明するための図である。
【図2】実施形態１に係る判定装置の機能構成の一例を示す機能構成図である。
【図3】実施形態１に係るシステムが行う前処理について説明するための図である。
【図4】実施形態２に係る判定方法の概要について説明するための図である。
【図5】実施形態２に係る欠陥画像データの具体的な一例を示す図である。
【図6】実施形態２に係るログ特徴量の具体的な一例を示す図である。
【図7】実施形態２に係る環境変数特徴量の具体的な一例を示す図である。
【図8】実施形態２に係る演算結果の具体的な一例を示す図である。
【図9】実施形態３に係る判定方法の概要について説明するための図である。
【図10】実施形態３に係る二次元情報の一例について示す図である。
【図11】実施形態３に係る特徴量の抽出について説明するための図である。
【図12】実施形態３に係るラドン特徴量の一例について説明するための図である。
【図13】実施形態４に係る学習装置の機能構成の一例を示す機能構成図である。
【図14】実施形態４に係るデータ拡張の主要な種類について説明するための図である。
【図15】実施形態５に係る教師データ作成装置の機能構成の一例を示す機能構成図である。
【図16】実施形態６に係る重ね合わせを行った二次元情報の第１の例である。
【図17】実施形態６に係る重ね合わせを行った二次元情報の第２の例である。
【図18】実施形態６に係る重ね合わせ部が行う演算の詳細について説明するための図である。
【図19】実施形態６に係る第３特徴量の元情報を示す図である。
【図20】実施形態６に係る重ね合わせ情報の分類結果の一例を示す図である。
【図21】実施形態６に係る重ね合わせ分類問題の事例を示す図である。
【図22】実施形態６に係る重ね合わせ情報の分類結果の一例を示す図である。
【図23】実施形態６に係る重ね合わせ分類問題の事例を示す図である。
【発明を実施するための形態】
【0025】
［実施形態］
以下、本発明の実施形態に係るシステム１について、好適な実施の形態を掲げ、添付の図面を参照しながら詳細に説明する。なお、本発明の態様は、これらの実施の形態に限定されるものではなく、多様な変更または改良を加えたものも含まれる。つまり、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれ、以下に記載した構成要素は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成要素の種々の省略、置換または変更を行うことができる。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。
以下、本発明の実施形態に係るシステム１について、好適な実施の形態を掲げ、添付の図面を参照しながら詳細に説明する。なお、本発明の態様は、これらの実施の形態に限定されるものではなく、多様な変更または改良を加えたものも含まれる。つまり、以下に記載した構成要素には、当業者が容易に想定できるもの、実質的に同一のものが含まれ、以下に記載した構成要素は適宜組み合わせることが可能である。また、本発明の要旨を逸脱しない範囲で構成要素の種々の省略、置換または変更を行うことができる。また、以下の図面においては、各構成をわかりやすくするために、各構造における縮尺および数等を、実際の構造における縮尺および数等と異ならせる場合がある。
【0026】
まず、以下に説明する実施形態の前提となる事項について説明する。本実施形態に係るシステム１は、所定の工程を経た結果に対して適用される。本実施形態に係るシステム１が対象とする所定の工程とは、製品の製造や、製造された製品等の検査等の処理が広く含まれる。所定の工程を経た結果とは、最終的に得られる結果であってもよいし、中間処理として得られる結果であってもよい。所定の工程とは、時間的な概念に基づくものであり、所定の期間（いかなる短期間であってもよいし、長期間であってもよい）経過後の変化が伴うものである。当該変化は、所定の工程の前後において変化しないことを含む。
【0027】
本実施形態に係るシステム１は、例えば、所定の工程を経た結果として得られる物体について判定を行う。当該判定とは、品質等に関する高精度判別や、不良原因特定等が広く含まれる。不良原因には、不良を有しない（すなわち良品である）ことも含まれ得る。不良原因には、複数の不良原因が重ね合わされた重ね合わせ問題が含まれていてもよい。本実施形態に係るシステム１は、これら一連の解析手続きを、一式の（同一の）解析構図により実現するものである。また、本実施形態に係るシステム１は、現実的なデータの規模と、複雑性とに対応することが可能である。
【0028】
【0029】
図１は、実施形態１に係るシステムの概要について説明するための図である。まず、同図を参照しながら、本実施形態に係るシステム１の概要について説明する。システム１は、処理装置１０と、二次元情報取得装置２０と、特徴量取得装置３０と、判定装置５０とを含んで構成される。システム１に含まれる各装置が備える各機能は、いかなる態様において提供されてもよい。また、システム１に含まれる各装置は、それぞれ独立した装置であってもよいし、単独又は複数の装置により各装置の機能が提供されてもよい。
【0030】
システム１は、所定の工程を行う。当該工程は、例えば処理装置１０により行われる所定の処理である。処理装置１０により処理が行われた結果として、物体Ｓが得られる。ここで、物体Ｓとは、処理装置１０により所定の処理が行われた結果として得られるものであることに限定されない。例えば、処理装置１０は、予め存在する物体Ｓに対して所定の処理を行ってもよい。すなわち、物体Ｓとは、処理装置１０により所定の処理が行われた後において存在する物体Ｓであるということもできる。より具体的には、処理装置１０により行われる処理とは、物体Ｓの製造についての処理であったり、物体Ｓに対する検査についての処理であったりしてもよい。なお、以下の説明においては、物体Ｓが有体物である場合について説明する。しかしながら本実施形態はこの一例に限定されず、物体Ｓは無体物であってもよい。
【0031】
二次元情報取得装置２０は、処理装置１０による所定の処理が行われた後、物体Ｓについての情報を取得する。二次元情報取得装置２０は、例えば、物体Ｓについての二次元的な情報を取得する。以下、二次元情報取得装置２０により取得される物体Ｓについての情報を、二次元情報と記載する。なお、本実施形態に係る二次元情報とは、情報が二次元的に表現されていること（例えば平面的な情報であること）を限定するものではない。本実施形態に係る二次元情報は、少なくとも二次元的に表現されていればよく、例えば、時間の要素や空間的な要素を含む三次元以上の情報が広く含まれ得る。二次元情報取得装置２０は、例えば撮像等を行うことにより、物体Ｓの外観的な特徴を二次元情報として直接的に取得してもよい。また、二次元情報取得装置２０は、物体Ｓに対して所定の測定を行った結果を、二次元的な情報として取得してもよい。当該測定とは、外観的な特徴の測定であってもよいし、物体Ｓの機能に関する測定であってもよい。当該測定が行われた結果は、例えば物体Ｓの外観を示す二次元座標ごとに数値化され、二次元情報が生成されてもよい。より具体的には、二次元情報とは、ｘ－ｙ平面座標に対応する画素情報や、不良の有無や程度等が示された情報であってもよい。
【0032】
特徴量取得装置３０は、特徴量を取得する。特徴量取得装置３０により取得される特徴量とは、いかなる特徴量であってもよい。好適には、特徴量取得装置３０により取得される特徴量とは、処理装置１０に関するものであってもよい。処理装置１０に関する特徴量とは、処理装置１０により行われる処理の結果として得られる物体Ｓに影響を与えるものであることが好適である。しかしながら本実施形態はこの一例に限定されず、処理装置１０に関しない特徴量が取得されてもよい。また、特徴量取得装置３０は、複数種類の特徴量を取得してもよい。この場合、複数種類の特徴量の少なくとも１つは、好適には、処理装置１０に関するものであってもよい。また、複数種類の特徴量は、その他、物体Ｓに関しない情報等が広く含まれていてもよい。
【0033】
判定装置５０は、二次元情報取得装置２０により得られた二次元情報と、特徴量取得装置３０により得られた特徴量とに基づき、判定を行う。判定装置５０により行われる判定とは、例えば物体Ｓのクラス分類に関するものであってもよい。クラス分類とは、物体Ｓを、予め定められたいずれかのクラスに分類することであってもよいし、クラス毎の尤度を出力するものであってもよい。なお、本実施形態はこの一例に限定されず、判定装置５０は、様々な演算に基づく判定を行うことができる。すなわち、判定装置５０により行われる判定とは、様々な演算が行われた結果として得られた演算結果を出力することであってもよい。
【0034】
図２は、実施形態１に係る判定装置の機能構成の一例を示す機能構成図である。図２を参照しながら、判定装置５０の機能構成の一例について説明する。判定装置５０は、二次元情報取得部５１と、第２特徴量取得部５２と、抽出部５３と、演算部５４と、出力部５５と、第３特徴量取得部５６と、クラス情報取得部５７とを備える。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を有するコンピュータおよびソフトウェアによって実現するようにしてもよい。また、各機能部の全てまたは一部は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）又はＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを用いて実現されてもよい。また、各機能部の全部または一部は、ソフトウェアとハードウェアとの組み合わせにより実現されてもよい。また、判定装置５０の機能の全部または一部は、クラウドサーバ等の外部機器に設けられたハードウェア等を用いて実現されてもよい。また、判定装置５０は、複数の装置で構成され、各機能ブロックが複数の装置に分散されていてもよい。
【0035】
二次元情報取得部５１は、二次元情報取得装置２０から、二次元情報を取得する。二次元情報取得部５１は、判定装置５０の判定対象である物体Ｓについての二次元情報を取得する。二次元情報取得部５１は、取得した二次元情報を、二次元情報ＤＩとして抽出部５３に出力する。二次元情報取得部５１は、二次元情報ＤＩの取得と併せて、二次元情報ＤＩに付帯する付帯情報を取得する。付帯情報とは、二次元情報ＤＩの属性等を示す情報であってもよい。付帯情報とは、例えば、二次元情報ＤＩの画素数等であってもよい。
【0036】
抽出部５３は、二次元情報取得部５１から二次元情報ＤＩを取得する。抽出部５３は、取得した情報に基づき、第１特徴量を抽出する。すなわち、第１特徴量とは、物体Ｓの二次元情報に基づく特徴量である。第１特徴量は、物体Ｓの二次元情報から抽出されるものであればよく、いかなる特徴量であってもよい。例えば、第１特徴量とは、人間が認知可能な特徴量であってもよく、人間が認知可能でない特徴量であってもよい。抽出部５３は、例えば機械学習アルゴリズムを用いた推論を行うことにより第１特徴量を抽出してもよいし、その他、数式等を用いた演算を行うことにより第１特徴量を抽出してもよい。抽出部５３は、抽出した特徴量を、第１特徴量Ｃ１として演算部５４に出力する。
【0037】
第２特徴量取得部５２は、特徴量取得装置３０から、特徴量を取得する。第２特徴量取得部５２により取得される特徴量を第２特徴量とも記載する。第２特徴量には、様々な特徴量が含まれていてもよい。すなわち、第２特徴量取得部５２は、複数種類の第２特徴量Ｃ２を取得してもよい。一例として、第２特徴量とは、処理装置１０により行われる工程において制御される値であることが好適である。また、第２特徴量とは、処理装置１０により行われる工程に対して（又は当該工程において物体Ｓに対して）、影響を及ぼす値が含まれていることが好適である。第２特徴量取得部５２は、取得した特徴量を、第２特徴量Ｃ２として演算部５４に出力する。ここで、第２特徴量Ｃ２とは、物体Ｓに関する特徴量であるが、第１特徴量Ｃ１と異なる特徴量である。なお、第２特徴量とは、不図示の第２特徴量抽出部により抽出されたものであってもよい。
【0038】
なお、第２特徴量の抽出には、交互作用モデリングの代表格であるＳｕｒｅ Ｉｎｄｅｐｅｎｄｅｎｃｅ Ｓｃｒｅｅｎｉｎｇ（ＳＩＳ）等のスクリーニングや特徴量選択付きの因子分解機（Ｓｐaｒｓe Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍａｃｈｉｎｅｓ,ＳＦＭ）に基づく装置（方法）を用いてもよい。ＳＦＭのうち、特に、Ｌ１ノルム正則化を用いて特徴量の単独の効果を推定する単独特徴量抽出部（ステップ）と、複数の特徴量の組合せである組合せ特徴量をＬ２ノルム正則化を用いて推定する組合せ特徴量抽出部（ステップ）と、さらに、上界を導入した正則化項を用いてすべての特徴量を推定する特徴量全体抽出部（ステップ）、を含むこと特徴とする交互作用モデリング装置（方法）を用いてもよい。なお、上界として、Ｃａｕｃｈｙ―Ｓｃｈｗａｒｚ（ＣＳ）不等式や三角不等式（Ｔｒｉａｎｇｌｅ―Ｉｎｅｑｕａｌｉｔｙ ， ＴＩ）上界の適用について先行研究（Ｋ． Ａｔａｒａｓｈｉら，２０２１）で有効性が確認されている。このうち、ＴＩ上界を用いたＳＦＭ（ＴＩ―ＳＦＭ（Ｌ１）と呼ぶ）は、本発明で提案する新たな形態であり、好適な一つである。ただし、先行研究では、特徴量の単独の効果推定にＬ２ノルムを用いる形態もあり、単独特徴量抽出部（ステップ）にＬ２ノルム正則化を含む装置（方法）を用いてもよい。また、特徴量全体抽出部（ステップ）としてＣＳ上界ほかの上界を用いてもよい。
【0039】
ここで、第１特徴量Ｃ１と第２特徴量Ｃ２との相違点について記載する。まず、第１特徴量Ｃ１と第２特徴量Ｃ２とは、取得経路が互いに異なるものである。すなわち、第１特徴量Ｃ１は、二次元情報ＤＩから抽出される特徴量である（すなわち、二次元情報ＤＩを介して間接的に得られる特徴量であるということもできる）のに対し、第２特徴量Ｃ２は、何らかの装置又は環境等から直接的に得られる特徴量である点において、両者は異なるものである。第１特徴量Ｃ１と、第２特徴量Ｃ２とは、互いに独立した特徴量であってもよいし、互いに関連し合う特徴量であってもよい。
【0040】
また、特徴量の取得時点に関して、第１特徴量Ｃ１と第２特徴量Ｃ２とは、互いに異なるものである。第１特徴量Ｃ１は、処理装置１０により行われる所定の工程が行われた後における物体Ｓを観察することにより得られた二次元情報ＤＩから抽出された情報である。物体Ｓの観察には、撮像や、測定、検査等が広く含まれる。すなわち、第１特徴量Ｃ１は、当該工程が行われた後に取得されるものである。一方、第２特徴量Ｃ２は、当該工程が行われた後に取得されることに限定されない。例えば、第２特徴量Ｃ２は、当該工程が行われている間に取得されてもよいし、当該工程が行われる前に取得されてもよい。なお、第２特徴量Ｃ２は、第１特徴量Ｃ１と同様に、当該工程が行われた後に取得されるものであることを妨げない。
【0041】
なお、判定装置５０は、更に第３特徴量取得部５６を備えることにより、第３特徴量を取得してもよい。この場合、第３特徴量取得部５６は、特徴量取得装置３０又はその他の記憶装置等から、第３特徴量を取得する。第３特徴量とは、第１特徴量及び第２特徴量のいずれとも異なる特徴量である。第３特徴量は、処理装置１０により行われる所定の工程が行われた後、当該工程が行われている間又は当該工程が行われる前における情報であってもよい。第３特徴量とは、例えば二次元情報の付帯情報であってもよいし、第１特徴量とは、異なる方法で二次元情報ＤＩから生成された特徴量であってもよいし、二次元情報ＤＩの付帯情報又は二次元情報ＤＩから生成された特徴量から生成された特徴量であってもよい。第３特徴量取得部５６は、取得した特徴量を、第３特徴量Ｃ３として演算部５４に出力する。
【0042】
クラス情報取得部５７は、物体Ｓのクラスに関する情報を取得する。クラス情報取得部５７は、物体Ｓのクラスに関する情報をクラス情報ＣＬとして演算部５４に出力する。
【0043】
演算部５４は、抽出部５３により抽出された第１特徴量Ｃ１を取得し、第２特徴量取得部５２により取得された第２特徴量Ｃ２を取得する。また、演算部５４は、第３特徴量取得部５６から第３特徴量Ｃ３を取得し、クラス情報取得部５７からクラス情報ＣＬを取得してもよい。演算部５４は、取得したこれらの情報を入力情報として、物体Ｓのクラス分類に関する演算を行う。なお、演算部５４により行われる演算は、機械学習アルゴリズムを用いた推論を行うことにより行われるものであってもよいし、その他、数式等を用いた演算を行うことにより行われるものであってもよい。演算部５４は、演算が行われた結果として得られる情報を、結果情報ＲＩとして、出力部５５に出力する。
【0044】
出力部５５は、演算部５４により行われた演算の結果を出力する。出力部５５は、例えば、液晶ディスプレイや有機ＥＬ（Ｅｌｅｃｔｒｏｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等の表示装置に対して演算の結果を出力することにより、ユーザに判定結果を視覚的に提示してもよい。また、出力部５５は、その他の方法によりユーザに判定結果を提示してもよい。また、出力部５５は、演算の結果を不図示の記憶装置に出力することにより情報を蓄積してもよい。
【0045】
図３は、実施形態１に係るシステムが行う前処理について説明するための図である。同図を参照しながら、判定装置５０により行われる前処理の一例について説明する。当該前処理では、処理装置１０により処理が行われた物体Ｓに対して、判定装置５０の判定対象であるか否かの予備判定が行われる。なお、同図を参照しながら行う前処理は、本実施形態において必ずしも行われることを要しない。例えば、判定装置５０は、前処理による予備判定を行わず、処理装置１０により処理が行われた全ての物体Ｓに対して判定を行ってもよい。
【0046】
図示するように、前処理による予備判定は、予備判定装置６０により行われる。前処理が行われる場合、システム１は、予備判定装置６０を更に備えることにより、前処理を行う。予備判定装置６０は、処理装置１０により処理が行われた物体Ｓの観察を行う。予備判定装置６０は、観察を行った結果として、判定対象であるか否かについての予備判定を行う。判定対象であるか否かの予備判定は、例えば、物体Ｓが良品であるか否かの判定に基づいて行われてもよい。より具体的には、予備判定装置６０により行われた予備判定の結果、不良品であると判定された物体Ｓを判定装置５０による判定対象であるとし、良品であると判定された物体Ｓを判定装置５０による判定対象でないとしてもよい。すなわち、このような構成によれば、システム１は、予備判定装置６０により不良品であるか否かの一次判定を行い、判定装置５０により不良原因のクラス分類を行うものであるということもできる。
【0047】
［実施形態１のまとめ］
以上説明した実施形態によれば、判定装置５０は、二次元情報取得部５１を備えることにより、判定対象である物体Ｓについての二次元情報ＤＩを取得し、抽出部５３を備えることにより、二次元情報取得部５１により取得された二次元情報ＤＩから第１特徴量Ｃ１を抽出し、第２特徴量取得部５２を備えることにより、物体Ｄに関する特徴量であって、第１特徴量Ｃ１とは異なる特徴量である第２特徴量Ｃ２を取得し、演算部５４を備えることにより、抽出部５３により抽出された第１特徴量Ｃ１と第２特徴量取得部５２により取得された第２特徴量Ｃ２とを入力情報として、物体Ｓのクラス分類に関する演算を行い、出力部５５を備えることにより、演算部５４により行われた演算の結果を出力する。すなわち、判定装置５０は、物体Ｓについての二次元情報ＤＩから抽出された第１特徴量Ｃ１に加え、物体Ｓに関する第２特徴量Ｃ２に基づくことにより、物体Ｓのクラス分類に関する演算を行う。したがって、本実施形態によれば、従来技術のように二次元情報のみに基づいた判定を行うことなく、様々な特徴量に基づいたマルチモーダル処理を行うことにより、より精度の良い判定を行うことができる。よって、本実施形態によれば、精度よくクラス分類を行うことができると共に、演算部５４や出力部５５により第2特徴量C２の影響度も特定できる。
以上説明した実施形態によれば、判定装置５０は、二次元情報取得部５１を備えることにより、判定対象である物体Ｓについての二次元情報ＤＩを取得し、抽出部５３を備えることにより、二次元情報取得部５１により取得された二次元情報ＤＩから第１特徴量Ｃ１を抽出し、第２特徴量取得部５２を備えることにより、物体Ｄに関する特徴量であって、第１特徴量Ｃ１とは異なる特徴量である第２特徴量Ｃ２を取得し、演算部５４を備えることにより、抽出部５３により抽出された第１特徴量Ｃ１と第２特徴量取得部５２により取得された第２特徴量Ｃ２とを入力情報として、物体Ｓのクラス分類に関する演算を行い、出力部５５を備えることにより、演算部５４により行われた演算の結果を出力する。すなわち、判定装置５０は、物体Ｓについての二次元情報ＤＩから抽出された第１特徴量Ｃ１に加え、物体Ｓに関する第２特徴量Ｃ２に基づくことにより、物体Ｓのクラス分類に関する演算を行う。したがって、本実施形態によれば、従来技術のように二次元情報のみに基づいた判定を行うことなく、様々な特徴量に基づいたマルチモーダル処理を行うことにより、より精度の良い判定を行うことができる。よって、本実施形態によれば、精度よくクラス分類を行うことができると共に、演算部５４や出力部５５により第2特徴量C２の影響度も特定できる。
【0048】
また、上述した実施形態によれば、システム１が予備判定を行う場合、システム１は、予備判定装置６０を更に備える。二次元情報取得部５１は、物体Ｓが判定対象であるか否かの判定があらかじめ行われた結果として、判定対象であると判定された物体Ｓについての二次元情報を取得する。すなわち、上述した実施形態によれば、予め判定対象であるか否かの一次判定が行われた対象についてのみ、二次判定として物体Ｓのクラス分類に関する演算を行う。したがって、本実施形態によれば、効率よく、高精度なクラス分類を行うことができる。
【0049】
【0050】
図４は、実施形態２に係る判定方法の概要について説明するための図である。同図を参照しながら本実施形態において用いられる判定モデルの概要について説明する。本実施形態において、判定装置５０の判定対象となる物体Ｓとは、印刷されたラベルである。物体Ｓに対する印刷工程は、例えば処理装置１０により行われる。本実施形態において、処理装置１０とは、具体的には、所定のスピード（例えば、毎分数百メートル）で４色刷りを行うペットボトルフィルム等の産業用印刷ラインであってもよい。また、本実施形態において、判定装置５０の判定対象となる物体のクラスとは、ラベルの印刷時における不良の種類を分類したものであってもよい。
【0051】
図示するように、抽出部５３には、二次元情報ＤＩが入力される。図示する一例において、二次元情報ＤＩとは、予め予備判定装置６０により予備判定が行われた結果、不良と判定された物体Ｓを撮像した欠陥画像の画像情報である。当該画像情報とは、具体的には、処理装置１０により印刷工程が行われた印刷物である。システム１は、不図示の撮像装置が当該印刷物を撮像することにより、二次元情報ＤＩを得ることができる。
【0052】
図５は、実施形態２に係る欠陥画像データの具体的な一例を示す図である。同図を参照しながら、判定装置５０の判定対象となる欠陥画像データの具体的な一例について説明する。図５（Ａ）は、物体Ｓとしての印刷ラベルが、「かぶり」の欠陥を有する場合の一例を示す図である。図５（Ｂ）は、物体Ｓとしての印刷ラベルが、「ツーツー汚れ」の欠陥を有する場合の一例を示す図である。図５（Ｃ）は、物体Ｓとしての印刷ラベルが、「フィッシュアイ」の欠陥を有する場合の一例を示す図である。図５（Ｄ）は、物体Ｓとしての印刷ラベルが、「ドクター線」の欠陥を有する場合の一例を示す図である。図５（Ｅ）は、物体Ｓとしての印刷ラベルが、「インキはね」の欠陥を有する場合の一例を示す図である。図５（Ｆ）は、物体Ｓとしての印刷ラベルが、「およぎ」の欠陥を有する場合の一例を示す図である。なお、判定装置５０の判定対象となる欠陥画像データは、この一例に限定されない。判定装置５０は、図示しないその他の欠陥について判定してもよい。また、判定装置５０による判定は、欠陥を有していないことが含まれていてもよい。また、判定装置５０は、これらの欠陥のうち、複数の欠陥を併せ持つ場合について、判定してもよい。
【0053】
図４に戻り、欠陥画像である二次元情報ＤＩは、抽出部５３に入力される。抽出部５３は、予め大量の画像データセットを用いて学習された畳み込みニューラルネットワークを備えていてもよい。図示する一例において、抽出部５３は、ＶＧＧ－１６を備える。抽出部５３は、二次元情報ＤＩに基づき、例えば畳み込み演算を行うことにより、特徴量を抽出する。図示する一例において、抽出部５３は、複数回の畳み込み演算を繰り返した結果、５１２個の特徴量を抽出している。抽出部５３により抽出された特徴量を、第１特徴量Ｃ１として図示する。すなわち、抽出部５３は、画像である二次元情報ＤＩを入力情報として、畳み込みニューラルネットワークを用いて第１特徴量Ｃ１を抽出する。なお、抽出部５３による抽出は、畳み込みニューラルネットワークが用いられる場合の一例に限定されず、Ｔｒａｎｓｆｏｒｍｅｒ、決定木、又は集団学習等の公知の手法が用いられてもよい。集団学習とは、例えばブースティング、バギング、スタッキング等であってもよい。
【0054】
また、本実施形態に係る判定には、第１特徴量Ｃ１とは異なる第２特徴量Ｃ２や第３特徴量Ｃ３が用いられる。図示する一例において、第２特徴量Ｃ２には、環境変数特徴量が含まれる。また、第３特徴量Ｃ３には、ログ特徴量が含まれる。なお、本実施形態において、第２特徴量Ｃ２の環境変数特徴量及び第特徴３量Ｃ３のログ特徴量のいずれもが含まれる一例に限定されず、ログ特徴量又は環境変数特徴量のいずれか一方が含まれていればよい。また、第２特徴量Ｃ２と第３特徴量Ｃ３には、環境変数特徴量とログ特徴量以外の特徴量が含まれていてもよい。
【0055】
図６は、実施形態２に係るログ特徴量の具体的な一例を示す図である。同図を参照しながら、第３特徴量Ｃ３の１つであるログ特徴量の具体的な一例について説明する。ログ特徴量とは、所定の検査が行われた結果として得られた検査ログに基づく特徴量である。ログ特徴量には、例えば、製品上において欠陥であると推定される候補が存在する位置、当該候補についての大まかなサイズ、及び当該候補についておおまかに分類された異常の程度等が含まれる。図示する一例においては、製品上において欠陥であると推定される候補が存在する位置が、Ｘ－Ｙ相対座標で示されている。Ｘ座標とは、産業用印刷ラインにより印刷されたペットボトルフィルム等の横方向（搬送方向に垂直に交わる方向）における位置を特定するものであり、［ｍｍ（ミリメートル）］で特定される情報であってもよい。Ｙ座標とは、搬送方向における位置を特定するものであり、［ｍ（メートル）］で特定される情報であってもよい。なお、産業用印刷ラインにおける印刷製品寸法は、例えば、１ロールを基準単位として、幅１４０［ｃｍ（センチメートル）］、長さ４０００［ｍ］のものが用いられる。Ｘ－Ｙ座標は、測定された位置データを標準化したデータ（ロールサイズに依存しない値）に変換されていてもよい。また、当該候補のサイズが［ｍｍｓｑ.（平方ミリメートル）］で示されている。また、異常の程度が、“重”、“中”又は“軽”等により示されている。
【0056】
図示する一例においては、５個の第３特徴量Ｃ３が示されている。それぞれの第３特徴量Ｃ３は、それぞれ異なる二次元情報ＤＩに対応するものである。それぞれの第３特徴量Ｃ３には、１乃至５の通し番号（Ｎｏ．）が振られている。通し番号が“１”である第２特徴量Ｃ２に存在する欠点数は“３”であり、製品上において欠陥であると推定される候補が存在する位置のＸ座標は“５８５．３［ｍｍ］”であり、Ｙ座標は“０［ｍ］”であり、サイズは“０．９［ｍｍｓｑ.］”であり、異常の程度は“軽欠点（軽）”である。また、通し番号が“２”である第２特徴量Ｃ２に存在する欠点数は“５”であり、製品上において欠陥であると推定される候補が存在する位置のＸ座標は“３１４．６［ｍｍ］”であり、Ｙ座標は“０．３［ｍ］”であり、サイズは“３．５［ｍｍｓｑ.］”であり、異常の程度は“重欠点（重／中／軽／スジ）”である。また、通し番号が“３”である第２特徴量Ｃ２に存在する欠点数は“５”であり、製品上において欠陥であると推定される候補が存在する位置のＸ座標は“３１４．６［ｍｍ］”であり、Ｙ座標は“０．８［ｍ］”であり、サイズは“４．１［ｍｍｓｑ.］”であり、異常の程度は“重欠点（重／中／軽／スジ）”である。また、通し番号が“４”である第２特徴量Ｃ２に存在する欠点数は“３”であり、製品上において欠陥であると推定される候補が存在する位置のＸ座標は“３３３．２［ｍｍ］”であり、Ｙ座標は“３．２［ｍ］”であり、サイズは“１．８［ｍｍｓｑ.］”であり、異常の程度は“重欠点（重／中／軽）”である。また、通し番号が“５”である第２特徴量Ｃ２に存在する欠点数は“５”であり、製品上において欠陥であると推定される候補が存在する位置のＸ座標は“２６７．９［ｍｍ］”であり、Ｙ座標は“３．３［ｍ］”であり、サイズは“２．１［ｍｍｓｑ.］”であり、異常の程度は“重欠点（重／中／軽）”である。
【0057】
図７は、実施形態２に係る環境変数特徴量の具体的な一例を示す図である。同図を参照しながら、第２特徴量Ｃ２の１つである環境変数特徴量の具体的な一例について説明する。環境変数特徴量とは、物体Ｓに対する処理において用いられたパラメータまたは測定結果等である。環境変数特徴量とは、具体的には、ライン上において計測された、印刷スピード、インキをかきとるブレードの摩耗有無、材料状態（例えば印刷インキ粘度等）の計測結果であり、印刷欠陥の原因系の一部である。
【0058】
図示する一例においては、６個の第２特徴量Ｃ２が示されている。それぞれの第３特徴量Ｃ３には、ＩＭＧ０１乃至ＩＭＧ０６の通し番号が降られている。当該通し番号は、それぞれ異なる二次元情報ＤＩに対応するものである。また、同図において“ｒｏｌｌ”とは、産業用印刷ラインにおいて印刷されるロールを特定する番号である。また、同図において、“ブレード摩耗”、“低スピード”、“インキ低粘度”、“インキ高粘度”、“インキ最高粘度”が、それぞれ０又は１のダミー変数により示されている。“ブレード摩耗”は、ブレードの摩耗の有無を示し、“１”が摩耗有り、“０”が摩耗無しである。また、“低スピード”は、印刷スピードが通常時よりも低いか否かを示し、“１”が通常よりも低い、“０”が通常通りである。インキ粘度は、通常時と比較した３段階において判定さる。通常時と異なる場合、“インキ低粘度”、“インキ高粘度”、“インキ最高粘度”のいずれかが“１”となり、その他は“０”となる。
【0059】
“ＩＭＧ０１”に対応する第２特徴量Ｃ２は、ロール“Ｒ４”に対応し、ブレード摩耗は“０”であり、低スピードは“０”であり、インキ低粘度は“１”であり、インキ高粘度は“０”であり、インキ最高粘度は“０”である。“ＩＭＧ０２”に対応する第２特徴量Ｃ２は、ロール“Ｒ６”に対応し、ブレード摩耗は“０”であり、低スピードは“０”であり、インキ低粘度は“０”であり、インキ高粘度は“０”であり、インキ最高粘度は“１”である。“ＩＭＧ０３”に対応する第２特徴量Ｃ２は、ロール“Ｒ６”に対応し、ブレード摩耗は“０”であり、低スピードは“０”であり、インキ低粘度は“０”であり、インキ高粘度は“０”であり、インキ最高粘度は“１”である。“ＩＭＧ０４”に対応する第２特徴量Ｃ２は、ロール“Ｒ２”に対応し、ブレード摩耗は“１”であり、低スピードは“１”であり、インキ低粘度は“１”であり、インキ高粘度は“０”であり、インキ最高粘度は“０”である。“ＩＭＧ０５”に対応する第２特徴量Ｃ２は、ロール“Ｒ６”に対応し、ブレード摩耗は“０”であり、低スピードは“０”であり、インキ低粘度は“０”であり、インキ高粘度は“０”であり、インキ最高粘度は“１”である。“ＩＭＧ０６”に対応する第２特徴量Ｃ２は、ロール“Ｒ６”に対応し、ブレード摩耗は“０”であり、低スピードは“０”であり、インキ低粘度は“０”であり、インキ高粘度は“０”であり、インキ最高粘度は“１”である。
【0060】
図８は、実施形態２に係る演算結果の具体的な一例を示す図である。同図は、演算部５４により演算された結果を示す。同図に示された数値は、係数ベクトルであり、各特徴量が推論結果に与える相対的な影響の大きさ（すなわち各特徴量の重要度）を表している。当該演算結果は、第２特徴量Ｃ２（ログ特徴量）及び第３特徴量Ｃ３（環境変数特徴量）と、欠陥の分類との関係を示すものである。なお、同図では、相対的に係数値の大きい部分（具体的には０．２以上）を強調している。本実施形態によれば、これらの演算結果から、分類時に必要な変数を特定することができる。なお、演算部５４は、第２特徴量Ｃ２や第３特徴量Ｃ３の組合せごとに、物体のクラスごとの尤度を演算してもよい。
【0061】
［実施形態２のまとめ］
以上説明した実施形態によれば、二次元情報ＤＩとは、物体を撮像した画像である。抽出部５３は、画像である二次元情報ＤＩを入力情報として、畳み込みニューラルネットワーク、Ｔｒａｎｓｆｏｒｍｅｒ、及び決定木の少なくともいずれかを用いて第１特徴量Ｃ１を抽出する。また、演算部５４は、画像から抽出された第１特徴量Ｃ１に加え、第１特徴量Ｃ１とは異なる特徴量である第２特徴量Ｃ２または前記第１特徴量や前記第２特徴量とは異なる特徴量を取得する第３特徴量の少なくともいずれかに基づいてクラス分類を行う。したがって、本実施形態によれば、画像のみに基づいてクラス分類を行う場合と比べて、精度よくクラス分類を行うことができる。さらに、前記クラス分類と第２特徴量Ｃ２や第３特徴量Ｃ３の関係から、各特徴量やその組み合わせの重要度や、必要な特徴量の特定を行うことができる。
以上説明した実施形態によれば、二次元情報ＤＩとは、物体を撮像した画像である。抽出部５３は、画像である二次元情報ＤＩを入力情報として、畳み込みニューラルネットワーク、Ｔｒａｎｓｆｏｒｍｅｒ、及び決定木の少なくともいずれかを用いて第１特徴量Ｃ１を抽出する。また、演算部５４は、画像から抽出された第１特徴量Ｃ１に加え、第１特徴量Ｃ１とは異なる特徴量である第２特徴量Ｃ２または前記第１特徴量や前記第２特徴量とは異なる特徴量を取得する第３特徴量の少なくともいずれかに基づいてクラス分類を行う。したがって、本実施形態によれば、画像のみに基づいてクラス分類を行う場合と比べて、精度よくクラス分類を行うことができる。さらに、前記クラス分類と第２特徴量Ｃ２や第３特徴量Ｃ３の関係から、各特徴量やその組み合わせの重要度や、必要な特徴量の特定を行うことができる。
【0062】
【0063】
図９は、実施形態３に係る判定方法の概要について説明するための図である。同図を参照しながら本実施形態において用いられる判定モデルの概要について説明する。本実施形態において、判定装置５０の判定対象となる物体Ｓとは、半導体製造用のウェハである。半導体製造用のウェハである物体Ｓに対する処理工程は、処理装置１０により行われる。処理装置１０により行われる処理工程とは、ウェハの製造工程におけるいかなる処理であってもよい。処理工程の具体例としては、露光工程であってもよいし、エッチング工程であってもよいし、ウェハ検査工程等であってもよい。
【0064】
（ステップＳ１１）まず、判定装置５０は、二次元情報ＤＩとしてウェハマップ（Ｗａｆｅｒ Ｍａｐ Ｄａｔａ）を取得する。ウェハマップは、処理装置１０により取得されてもよいし、処理装置１０により処理が行われた後、不図示の検査装置により取得されてもよい。ウェハマップとは、不良を有する箇所と、不良を有しない箇所とが、二次元座標上に二値以上により表された情報である。
【0065】
（ステップＳ１２）次に、二次元情報ＤＩに基づく第１の判定が行われる。第１の判定では、ウェハマップが不良を表す不良クラスのいずれかに属するか否かの大まかな分類が行われる。第１の判定とは、すなわち、不良クラスか不良クラスでないかの、２クラス分類であるということもできる。第１の判定により不良を有していないと判定された場合、当該ウェハについては処理を終了する。第１の判定により、不良を有していると判定された場合、処理がステップＳ１３に進められる。
【0066】
（ステップＳ１３）次に、第２の判定が行われる。第２の判定では、ウェハマップの不良の種類について判定される。第２の判定は、判定装置５０により行われる。すなわち、本実施形態に係る判定装置５０により判定される物体のクラスとは、ウェハごとの不良を分類したものである。判定装置５０は、物体のクラスごとの尤度を判定してもよい。クラスは、例えば、ウェハ上のどの部分に不良が発生しているかに基づいて分類され、“Ｌｏｃ”、“Ｅｄｇｅ－Ｌｏｃ”、及び“Ｃｅｎｔｅｒ”等により表され、例えば７～１００種類程度に分類されていてもよい。
【0067】
ここで、第１の判定と第２の判定の相違点について説明する。第１の判定とは、二次元情報ＤＩのみに基づく、大まかな判定である。第２の判定とは、二次元情報ＤＩに加え、更なる特徴量に基づく詳細な判定である。すなわち、第１の判定と第２の判定とは、判定に用いる入力情報は同じでなくてもよいということもできる。また、第１の判定では、不良を表す不良クラスのいずれかに属するか否かの大まかな２クラス分類が行われるのに対し、第２の判定では、不良の種類を分類する詳細なクラス分類が行われる点において両者は相違する。なお、第２の判定は、二次元情報ＤＩに加えて更なる特徴量に基づく場合の一例に限定されず、二次元情報ＤＩのみに基づくものであってもよい。また、第１の判定に対する入力情報と、第２の判定に対する入力情報とは、同一のものであってもよい。この場合、第１の判定に用いられる分類器と第２の判定に用いる分類器は同じであり、判定すべきクラス数が異なるよう構成されていてもよい。この場合、第１の判定において不良クラスに対しては、不良の種類によらず「不良クラス」（良品クラス＝ｎｏｎｅではない）のラベルが付されてもよい。
【0068】
図１０は、実施形態３に係る二次元情報の一例について示す図である。同図を参照しながら、実施形態３に係る二次元情報ＤＩの一例について説明する。同図は、二次元情報ＤＩとしてのウェハマップに発生する不良のクラス分類が示されている。図１０（Ａ）乃至図１１（Ｈ）は、それぞれ異なる不良の分類を有するものである。図１０（Ａ）乃至図１１（Ｈ）の各図に示された円形は、ウェハの外円を示している。ウェハの内側において、色の薄い箇所が不良発生箇所を示している。また、ウェハの内側において、色の濃い箇所が不良を有していない箇所を示している。
【0069】
図１０（Ａ）は、“ｎｏｎｅ”（即ち、不良クラスでない）に分類されるものであり、不良の数が所定値以下であることを示す。図１０（Ｂ）は、“Ｌｏｃ”に分類されるものであり、ウェハの外円部または中心部以外のいずれかの箇所に集中して不良が発生していることを示す。図１０（Ｃ）は、“Ｅｄｇｅ－Ｌｏｃ”に分類されるものであり、ウェハ上のいずれかの箇所であって、ウェハのエッジ付近（外円付近）に集中して不良が発生していることを示す。図１０（Ｄ）は、“Ｃｅｎｔｅｒ”に分類されるものであり、ウェハの中心部分に不良が発生していることを示す。図１０（Ｅ）は、“Ｅｄｇｅ－Ｒｉｎｇ”に分類されるものであり、ウェハの外円に沿った部分に不良が発生していることを示す。図１０（Ｆ）は、“Ｓｃｒａｔｃｈ”に分類されるものであり、ウェハのいずれかの場所に傷のような線が入っていることを示す。図１０（Ｇ）は、“Ｒａｎｄｏｍ”に分類されるものであり、不良の数が所定値以上であるが、不良箇所がウエハ全面にランダムに発生していることを示す。図１０（Ｈ）は、“Ｄｏｎｕｔ”に分類されるものであり、不良箇所がウェハの中心部分を中心としたドーナッツ状に発生していることを示す。
【0070】
図１１は、実施形態３に係る特徴量の抽出について説明するための図である。図示するように、抽出部５３には、二次元情報ＤＩが入力される。二次元情報ＤＩとは、具体的には、上述したようなウェハマップである。抽出部５３には、図９を参照しながら説明したステップＳ１１における第１の判定により、不良を有していると判定された二次元情報ＤＩのみが入力されてもよい。本実施形態において、抽出部５３は、畳み込みニューラルネットワークにより第１特徴量Ｃ１を抽出する。抽出部５３には、複数の畳み込み演算層と、複数のプーリング層とが含まれる。抽出部５３により、複数回の畳み込み演算と、プーリング演算が行われた結果、第１特徴量Ｃ１を得ることができる。また、二次元情報ＤＩをラドン変換した特徴量Ｃ３を得る。さらに、本実施形態によれば、抽出された第１特徴量Ｃ１と、第２特徴量Ｃ２と、第３特徴量Ｃ３とに基づき判定が行われる。第１特徴量Ｃ１と第２特徴量Ｃ２と第３特徴量Ｃ３とは、互いに異なる特徴量である。第２特徴量Ｃ２の一例としては、半導体の製造プロセスにおける様々な製造パラメータや、環境情報等を用いることができる。また、第３特徴量Ｃ３の一例としては、ラドン特徴量を用いることができる。ラドン特徴量とは、二次元情報ＤＩからランド変換されたものであってもよい。第１特徴量Ｃ１及び第２特徴量Ｃ２は、演算部５４に含まれる全結合層または出力層に入力される。当該全結合層は、抽出部５３により抽出された第１特徴量Ｃ１と、取得された第２特徴量Ｃ２とを入力情報として、所定の次元に変換した出力情報を生成する。また、当該出力層は、前記出力情報、または抽出部５３により抽出された第１特徴量Ｃ１と取得された第２特徴量Ｃ２、を入力情報として、物体のクラスに関する判定を行う。当該出力層は、例えば物体のクラスごとの尤度を判定してもよい。
【0071】
図１２は、実施形態３に係るラドン特徴量の一例について説明するための図である。本実施形態によれば、分類精度をさらに向上させるため、ラドン特徴量を付与した全結合層や出力層での演算が行われてもよい。図１２（Ａ）乃至図１２（Ｈ）は、それぞれ図１０（Ａ）乃至図１０（Ｈ）に示したウェハマップをラドン変換した結果として得られたものである。また、ラドン特徴量に限らず、Ｔｅｎｓｏｒ ｖoｔiｎｇ等の手法を用いて導いた特徴量を用いてもよい。判定装置５０は、このように二次元情報ＤＩやその付帯情報から得られた特徴量に基づき、クラス分類を行ってもよい。クラス分類とは、いずれかのクラスに分類することであってもよいし、クラスごとの尤度を判定することであってもよい。
【0072】
［実施形態３のまとめ］
以上説明した実施形態によれば、二次元情報ＤＩとは、物体Ｓのうち不良を有する箇所と、不良を有しない箇所とを、二次元座標上に二値以上により表した情報である。二次元情報ＤＩとは、具体的には、ウェハマップであってもよい。抽出部５３は、当該ウェハマップを入力情報として、畳み込みニューラルネットワーク、Ｔｒａｎｓｆｏｒｍｅｒ、決定木、及び集団学習の少なくともいずれかを用いて第１特徴量Ｃ１を抽出する。また、演算部５４は、ウェハマップから抽出された第１特徴量Ｃ１に加え、第１特徴量Ｃ１とは異なる特徴量である第２特徴量Ｃ２や第3特徴量Ｃ３に基づいてクラス分類を行う。したがって、本実施形態によれば、ウェハマップのみに基づいてクラス分類を行う場合と比べて、精度よくクラス分類を行うことができる。
以上説明した実施形態によれば、二次元情報ＤＩとは、物体Ｓのうち不良を有する箇所と、不良を有しない箇所とを、二次元座標上に二値以上により表した情報である。二次元情報ＤＩとは、具体的には、ウェハマップであってもよい。抽出部５３は、当該ウェハマップを入力情報として、畳み込みニューラルネットワーク、Ｔｒａｎｓｆｏｒｍｅｒ、決定木、及び集団学習の少なくともいずれかを用いて第１特徴量Ｃ１を抽出する。また、演算部５４は、ウェハマップから抽出された第１特徴量Ｃ１に加え、第１特徴量Ｃ１とは異なる特徴量である第２特徴量Ｃ２や第3特徴量Ｃ３に基づいてクラス分類を行う。したがって、本実施形態によれば、ウェハマップのみに基づいてクラス分類を行う場合と比べて、精度よくクラス分類を行うことができる。
【0073】
［実施形態４］
次に、図１３及び図１４を参照しながら、実施形態４について説明する。実施形態４は、演算部５４の学習段階についての具体例である。本実施形態に係る判定装置５０が、実施形態２に示したような産業用印刷工程に適用されたり、実施形態３に示したような半導体の製造工程に適用されたりする場合、学習用のデータとなり得るサンプル数がごく僅かであり、かつ欠陥特徴が少ない場合がある。欠陥特徴が少ない場合とは、例えば、欠陥部分が微小であり、色差が小さい場合等がある。また、欠陥が起こる頻度が稀である種類の欠陥については、サンプルを取得すること自体が困難である。そこで、本実施形態においては、少ないサンプルから学習が可能な手法について説明する。演算部５４の学習は、例えば学習装置７０により行われる。
次に、図１３及び図１４を参照しながら、実施形態４について説明する。実施形態４は、演算部５４の学習段階についての具体例である。本実施形態に係る判定装置５０が、実施形態２に示したような産業用印刷工程に適用されたり、実施形態３に示したような半導体の製造工程に適用されたりする場合、学習用のデータとなり得るサンプル数がごく僅かであり、かつ欠陥特徴が少ない場合がある。欠陥特徴が少ない場合とは、例えば、欠陥部分が微小であり、色差が小さい場合等がある。また、欠陥が起こる頻度が稀である種類の欠陥については、サンプルを取得すること自体が困難である。そこで、本実施形態においては、少ないサンプルから学習が可能な手法について説明する。演算部５４の学習は、例えば学習装置７０により行われる。
【0074】
図１３は、実施形態４に係る学習装置の機能構成の一例を示す機能構成図である。同図を参照しながら、本実施形態に係る学習装置７０の機能構成の一例について説明する。学習装置７０は、二次元情報取得部７１と、第２特徴量取得部７２と、拡張部７３と、抽出部７４と、クラス情報取得部７５と、学習部７６と、第３特徴量取得部７７とを備える。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、ＣＰＵを有するコンピュータおよびソフトウェアによって実現するようにしてもよい。また、各機能部の全てまたは一部は、ＡＳＩＣ、ＰＬＤ又はＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、各機能部の全部または一部は、ソフトウェアとハードウェアとの組み合わせにより実現されてもよい。また、学習装置７０の機能の全部または一部は、クラウドサーバ等の外部機器に設けられたハードウェア等を用いて実現されてもよい。また、学習装置７０は、複数の装置で構成され、各機能ブロックが複数の装置に分散されていてもよい。
【0075】
二次元情報取得部７１は、二次元情報取得装置２０から、二次元情報を取得する。二次元情報取得部７１は、学習対象である物体Ｓについての二次元情報を取得する。例えば、実施形態２に示したような産業用印刷工程に適用される場合、二次元情報とは、ラベルを撮像した画像であってもよい。また、実施形態３に示したような半導体の製造工程に適用されたりする場合、二次元情報とは、ウェハマップであってもよい。二次元情報取得部７１は、取得した二次元情報を、二次元情報ＤＩとして拡張部７３に出力する。
【0076】
第２特徴量取得部７２は、特徴量取得装置３０から、特徴量を取得する。第２特徴量取得部７２により取得される特徴量を第２特徴量とも記載する。第２特徴量取得部７２は、取得した特徴量を、第２特徴量Ｃ２－１として拡張部７３に出力する。第２特徴量Ｃ２－１は、二次元情報取得部７１により取得される二次元情報ＤＩに対応するものである。
【0077】
第３特徴量取得部７７は、第３特徴量を取得する。第３特徴量とは、例えば、二次元情報ＤＩをラドン変換することにより取得された特徴量である。第３特徴量取得部７７は、取得した特徴量を、第３特徴量Ｃ３－１として拡張部７３に出力する。第３特徴量Ｃ３－１は、二次元情報取得部７１により取得される二次元情報ＤＩに対応するものである。
【0078】
拡張部７３は、取得した二次元情報ＤＩに基づき、複数の拡張二次元情報を生成する。拡張二次元情報の生成は、例えば、元の二次元情報ＤＩを増幅することにより行われてもよい。拡張部７３は、拡張二次元情報を生成することにより、学習用データセットのサイズと品質を向上させることができる。
【0079】
図１４は、実施形態４に係る二次元情報のデータ拡張の主要な種類について説明するための図である。同図を参照しながら、拡張二次元情報の生成の具体的な一例について説明する。
第１に、二次元情報ＤＩの“水平反転”を例示することができる。これは、二次元情報ＤＩを水平方向に反転することにより、元の二次元情報ＤＩとは異なるデータを作成することである。
第２に、二次元情報ＤＩの“クロップ”を例示することができる。これは、二次元情報ＤＩを上下左右４［ｐｘ（ピクセル）］の小領域をクロップすることにより、元の二次元情報ＤＩから複数のデータを作成することである。
第３に、二次元情報ＤＩの“回転”を例示することができる。これは、二次元情報ＤＩをＣＷ方向又はＣＣＷ方向に１０［°（度）］回転させることにより、元の二次元情報ＤＩとは異なるデータを作成することである。
第４に、二次元情報ＤＩの“ランダムズーム”を例示することができる。これは、例えば７５［％］から１２５［％］程度の範囲で、二次元情報ＤＩを拡大又は縮小することにより、元の二次元情報ＤＩとは異なるデータを作成することである。
第５に、二次元情報ＤＩの“カラーシフト”を例示することができる。これは、元の二次元情報ＤＩの画素値をプラスマイナス５０の範囲で異ならせることにより、元の二次元情報ＤＩとは異なる画素値を有するデータを作成することである。
第６に、二次元情報ＤＩの“ランダム消去”を例示することができる。これは、元の二次元情報ＤＩから、４［ｐｘ］×１２［ｐｘ］の矩形を、例えば５０［％］の確率で消去することにより、元の二次元情報ＤＩの画素情報が欠落したデータを作成することである。
第７に、二次元情報ＤＩの“ミックスアップ”を例示することができる。これは、２つ以上の二次元情報ＤＩを元データとし、合成することにより新たなデータを生成することである。二次元情報ＤＩの合成は、例えばパラメータを０．５とし、ベータ分布に沿って行われてもよい。
第８に、二次元情報ＤＩの“オートコントラスト”を例示することができる。これは、確率を例えば５０［％］とし、オートコントラストを行うことにより、元の二次元情報ＤＩとは異なるデータを作成することである。
第１に、二次元情報ＤＩの“水平反転”を例示することができる。これは、二次元情報ＤＩを水平方向に反転することにより、元の二次元情報ＤＩとは異なるデータを作成することである。
第２に、二次元情報ＤＩの“クロップ”を例示することができる。これは、二次元情報ＤＩを上下左右４［ｐｘ（ピクセル）］の小領域をクロップすることにより、元の二次元情報ＤＩから複数のデータを作成することである。
第３に、二次元情報ＤＩの“回転”を例示することができる。これは、二次元情報ＤＩをＣＷ方向又はＣＣＷ方向に１０［°（度）］回転させることにより、元の二次元情報ＤＩとは異なるデータを作成することである。
第４に、二次元情報ＤＩの“ランダムズーム”を例示することができる。これは、例えば７５［％］から１２５［％］程度の範囲で、二次元情報ＤＩを拡大又は縮小することにより、元の二次元情報ＤＩとは異なるデータを作成することである。
第５に、二次元情報ＤＩの“カラーシフト”を例示することができる。これは、元の二次元情報ＤＩの画素値をプラスマイナス５０の範囲で異ならせることにより、元の二次元情報ＤＩとは異なる画素値を有するデータを作成することである。
第６に、二次元情報ＤＩの“ランダム消去”を例示することができる。これは、元の二次元情報ＤＩから、４［ｐｘ］×１２［ｐｘ］の矩形を、例えば５０［％］の確率で消去することにより、元の二次元情報ＤＩの画素情報が欠落したデータを作成することである。
第７に、二次元情報ＤＩの“ミックスアップ”を例示することができる。これは、２つ以上の二次元情報ＤＩを元データとし、合成することにより新たなデータを生成することである。二次元情報ＤＩの合成は、例えばパラメータを０．５とし、ベータ分布に沿って行われてもよい。
第８に、二次元情報ＤＩの“オートコントラスト”を例示することができる。これは、確率を例えば５０［％］とし、オートコントラストを行うことにより、元の二次元情報ＤＩとは異なるデータを作成することである。
【0080】
なお、拡張部７３は、上述したような手法以外の手法により、元の二次元情報ＤＩから１以上の新たなデータを作成してもよい。また、拡張部７３は、上述したような手法を複数組み合わせることにより、元の二次元情報ＤＩから１以上の新たなデータを作成してもよい。
【0081】
図１３に戻り、拡張部７３は、元の二次元情報ＤＩと、当該二次元情報ＤＩから拡張したデータを、拡張二次元情報ＥＤＩとして抽出部７４に出力する。また、拡張部７３は、拡張二次元情報ＥＤＩに対応する第２特徴量Ｃ２を、第２特徴量Ｃ２－２として学習部７６に出力する。第２特徴量Ｃ２－２は、具体的には、元の二次元情報ＤＩに対応する第２特徴量Ｃ２であってもよい。また、拡張部７３は、拡張二次元情報ＥＤＩに対応する第３特徴量Ｃ３を、第３特徴量Ｃ３－２として学習部７６に出力する。第３特徴量Ｃ３－２は、具体的には、元の二次元情報ＤＩに対応する第３特徴量Ｃ３であってもよい。
【0082】
なお、第２特徴量が存在しないサンプルに対しては、人工データを生成して用いることもできる。（この人工データは、精度改善のためにも用いることもできる）。人工データの生成について説明する。まず、二次元情報ＤＩと、当該二次元情報ＤＩに対応するクラス情報とから、クラスのそれぞれに対し、二次元情報ＤＩのなかで特定の値に一致する要素の密度（例えば、不良率／Ｄｅｆｅｃｔ Ｒａｔｅ＝該当要素数／全要素）を計算する。次に、計算された密度を含む二次元情報ＤＩの属性値を複数のサンプルについて集約した分布に基づき、新たな属性（新属性）を導出する。更に、新属性追加部により、導出された新属性をサンプルの新属性として追加する。新属性は連続値から区間変量など離散値に集約してもよい（例えばＤｅｆｅｃｔ ｒａｔｅのＧＭＭクラスタリング結果のクラスター等）。クラスと新属性の対に対して、クラス内で共通な特徴量（共通特徴量）と新属性に固有の特徴量（固有特徴量）を定め、クラス・新属性の水準ごとに共通特徴量と固有特徴量を対応付けておく。対応付けられた特徴量を、クラス・新属性別特徴量と記載する。あるサンプルの所属するクラスと二次元情報から導いた新属性の水準に対応する、クラス・新属性別特徴量を対応付け、第２特徴量Ｃ２－２としてもよい。
【0083】
抽出部７４は、取得した拡張二次元情報ＥＤＩそれぞれから、特徴量を抽出する。特徴量の抽出には、畳み込みニューラルネットワーク等が用いられてもよい。また、拡張二次元情報ＥＤＩそれぞれから、別途、ラドン特徴量等を抽出してもよい。抽出部７４は、拡張二次元情報ＥＤＩから抽出された特徴量を第１特徴量Ｃ１として学習部７６に出力する。
【0084】
クラス情報取得部７５は、物体Ｓを所定の判定基準に基づいて分類したクラスに関する情報を取得する。学習用のデータセットとしてのクラス分類は、例えば人間により行われてもよいし、所定の判定基準に基づいて機械的に行われてもよい。クラス情報取得部７５は、分類したクラスに関する情報をクラス情報ＣＬとして拡張部７３及び学習部７６に出力する。
【0085】
学習部７６は、拡張二次元情報ＥＤＩに基づき抽出された第１特徴量Ｃ１と、第２特徴量Ｃ２－２とに基づき、クラス情報ＣＬに示されるクラスを推定するよう機械学習モデルを学習させる。当該機械学習モデルとは、推論時において演算部５４に含まれるものであってもよい。
【0086】
なお、本実施形態において、学習装置７０は、必ずしも拡張部７３を備えていなくてもよい。例えば、学習用のデータセットが十分である場合、拡張部７３を備えることによるデータセットの拡張を行わず、取得されたデータセットに基づいて学習が行われてもよい。
【0087】
［実施形態４のまとめ］
以上説明した実施形態によれば、学習装置７０は、二次元情報取得部７１を備えることにより、判定対象である物体Ｓについての二次元情報ＤＩを取得し、クラス情報取得部７５を備えることにより、物体Ｓを所定の判定基準に基づいて分類したクラスに関する情報を取得し、第２特徴量取得部７２を備えることにより、物体Ｓに関する特徴量であって、二次元情報ＤＩから抽出される第１特徴量Ｃ１とは異なる第２特徴量Ｃ２を取得し、学習部７６を備えることにより、二次元情報取得部７１により取得された二次元情報ＤＩに基づき抽出された第１特徴量Ｃ１と、第２特徴量取得部７２により取得された第２特徴量Ｃ２と、に基づき、クラスを推定するよう機械学習モデルを学習させる。すなわち、本実施形態によれば、二次元情報ＤＩのみならず、二次元情報ＤＩに対応する第２特徴量Ｃ２にも基づいて、クラスを推定するよう機械学習モデルを学習させる。本実施形態に係る学習装置７０により学習された機械学習モデルは、二次元情報ＤＩのみに基づいて学習された場合と比較して、精度よくクラス分類の推定を行うことができる。また、実施形態２と同様に、第2特徴量Ｃ２の影響度を特定することもできる。
以上説明した実施形態によれば、学習装置７０は、二次元情報取得部７１を備えることにより、判定対象である物体Ｓについての二次元情報ＤＩを取得し、クラス情報取得部７５を備えることにより、物体Ｓを所定の判定基準に基づいて分類したクラスに関する情報を取得し、第２特徴量取得部７２を備えることにより、物体Ｓに関する特徴量であって、二次元情報ＤＩから抽出される第１特徴量Ｃ１とは異なる第２特徴量Ｃ２を取得し、学習部７６を備えることにより、二次元情報取得部７１により取得された二次元情報ＤＩに基づき抽出された第１特徴量Ｃ１と、第２特徴量取得部７２により取得された第２特徴量Ｃ２と、に基づき、クラスを推定するよう機械学習モデルを学習させる。すなわち、本実施形態によれば、二次元情報ＤＩのみならず、二次元情報ＤＩに対応する第２特徴量Ｃ２にも基づいて、クラスを推定するよう機械学習モデルを学習させる。本実施形態に係る学習装置７０により学習された機械学習モデルは、二次元情報ＤＩのみに基づいて学習された場合と比較して、精度よくクラス分類の推定を行うことができる。また、実施形態２と同様に、第2特徴量Ｃ２の影響度を特定することもできる。
【0088】
また、上述した実施形態によれば、拡張部７３を更に備えることにより、取得した二次元情報ＤＩに基づき、複数の拡張二次元情報ＥＤＩを生成する。学習部７６は、生成された拡張二次元情報ＥＤＩに基づき抽出された第１特徴量Ｃ１と、第２特徴量取得部７２により取得された第２特徴量Ｃ２とに基づき、クラスを推定するよう機械学習モデルを学習させる。したがって、本実施形態によれば、少ないサンプルからデータを拡張することができる。学習装置７０は、拡張されたデータに基づいて学習を行う。したがって、本実施形態によれば、少ないサンプルからも、機械学習モデルを学習させることができる。
【0089】
［実施形態５］
次に、図１５を参照しながら、実施形態５について説明する。実施形態５は、学習装置７０による学習を行う際の教師データの作成段階についての具体例である。本実施形態に係る学習装置７０が学習のために用いるデータセットによっては、欠陥が起こる頻度が稀であり、サンプルを取得することが困難である場合がある。また、それらの欠陥が組み合わされている場合も存在し、そのようなデータセットを取得することは、確率的に非常に困難である。そこで、本実施形態においては、希少な欠陥を有するデータセットを作成可能な手法について説明する。教師データの作成は、例えば教師データ作成装置８０により行われる。
次に、図１５を参照しながら、実施形態５について説明する。実施形態５は、学習装置７０による学習を行う際の教師データの作成段階についての具体例である。本実施形態に係る学習装置７０が学習のために用いるデータセットによっては、欠陥が起こる頻度が稀であり、サンプルを取得することが困難である場合がある。また、それらの欠陥が組み合わされている場合も存在し、そのようなデータセットを取得することは、確率的に非常に困難である。そこで、本実施形態においては、希少な欠陥を有するデータセットを作成可能な手法について説明する。教師データの作成は、例えば教師データ作成装置８０により行われる。
【0090】
図１５は、実施形態５に係る教師データ作成装置の機能構成の一例を示す機能構成図である。同図を参照しながら、本実施形態に係る教師データ作成装置８０の機能構成の一例について説明する。教師データ作成装置８０は、二次元情報取得部８１と、第２特徴量取得部８２と、選択部８３１と、重ね合わせ部８３２と、統合部８４と、欠損付与部８５と、出力部８６と、クラス情報取得部８７と、第３特徴量取得部８８１と、第３特徴量結合部８８２とを備える。これらの各機能部は、例えば、電子回路を用いて実現される。また、各機能部は、必要に応じて、半導体メモリや磁気ハードディスク装置などといった記憶手段を内部に備えてよい。また、各機能を、ＣＰＵを有するコンピュータおよびソフトウェアによって実現するようにしてもよい。また、各機能部の全てまたは一部は、ＡＳＩＣ、ＰＬＤ又はＦＰＧＡ等のハードウェアを用いて実現されてもよい。また、各機能部の全部または一部は、ソフトウェアとハードウェアとの組み合わせにより実現されてもよい。また、教師データ作成装置８０の機能の全部または一部は、クラウドサーバ等の外部機器に設けられたハードウェア等を用いて実現されてもよい。また、教師データ作成装置８０は、複数の装置で構成され、各機能ブロックが複数の装置に分散されていてもよい。
【0091】
なお、本実施形態において、教師データとは、機械学習モデルの学習用に用いられるデータセットを広く意味する。教師データの使用用途は、学習時に限定されず、学習済みモデルの検証用に用いられるものであってもよい。
【0092】
二次元情報取得部８１は、二次元情報取得装置２０から、複数の二次元情報を取得する。二次元情報取得部８１は、教師データの作成対象である物体Ｓについての二次元情報を取得する。例えば、実施形態２に示したような産業用印刷工程に適用される場合、二次元情報とは、ラベルを撮像した画像であってもよい。また、実施形態３に示したような半導体の製造工程に適用されたりする場合、二次元情報とは、ウェハマップであってもよい。二次元情報取得部８１は、取得した複数の二次元情報を、二次元情報ＤＩとして選択部８３１に出力する。
【0093】
クラス情報取得部８７は、物体Ｓのクラスに関する情報を取得する。クラス情報取得部８７は、物体Ｓのクラスに関する情報をクラス情報ＣＬとして、選択部８３１、重ね合わせ部８３２、第２特徴量結合部８２１、第３特徴量取得部８８１、第３特徴量結合部８８２、及び統合部８４に出力する。
【0094】
選択部８３１は、取得された複数の二次元情報ＤＩのうち、所定の選択アルゴリズムに基づき、２以上の二次元情報ＤＩを選択する。選択部８３１により選択される複数の二次元情報ＤＩとは、重ね合わせの対象となる二次元情報ＤＩである。選択部８３１は、選択した２以上の二次元情報ＤＩを選択二次元情報ＳＤＩとして重ね合わせ部８３２に出力する。
【0095】
重ね合わせ部８３２は、選択部８３１により選択された２以上の二次元情報ＤＩを重ね合わせることにより、重ね合わせ二次元情報ＯＬＤＩを作成する。重ね合わせ二次元情報ＯＬＤＩは、重ね合わせの元となった複数の二次元情報ＤＩそれぞれが有する特徴が重ねあわされたものである。なお、重ね合わせ二次元情報ＯＬＤＩは、そのまま機械学習モデルの学習又はテストに用いられる教師データとなってもよい。
【0096】
第２特徴量取得部８２は、特徴量取得装置３０から、特徴量を取得する。第２特徴量取得部８２により取得される特徴量を第２特徴量とも記載する。第２特徴量取得部８２は、取得した特徴量を、統合部８４に出力する。第２特徴量Ｃ２は、二次元情報取得部８１により取得される二次元情報ＤＩに対応するものである。
【0097】
第２特徴量結合部８２１は、重ね合わせられた二次元情報ＯＬＤＩに対応する結合第２特徴量ＯＬＣ２を作成する。作成された結合第２特徴量ＯＬＣ２は、統合部８４に出力される。
【0098】
第３特徴量取得部８８１は、第３特徴量を取得する。第３特徴量取得部８８１は、取得した特徴量を、統合部８４に出力する。第３特徴量Ｃ３は、二次元情報取得部８１により取得される二次元情報ＤＩに対応するものである。
【0099】
また、第３特徴量結合部８８２は、重ね合わせられた二次元情報ＯＬＤＩに対応する結合第３特徴量ＯＬＣ３を作成する。作成された結合第３特徴量ＯＬＣ３は、統合部８４に出力される。
【0100】
統合部８４は、重ね合わせ部８３２から重ね合わせ二次元情報ＯＬＤＩを取得し、第２特徴量結合部８２１から結合第２特徴量ＯＬＣ２を取得し、第３特徴量結合部８８２から結合第３特徴量ＯＬＣ３を取得する。統合部８４は、取得した結合第２特徴量ＯＬＣ２及びを結合第３特徴量ＯＬＣ３を、重ね合わせ二次元情報ＯＬＤＩに統合する。統合部８４は、統合した情報を統合情報ＣＩとして欠損付与部８５に出力する。
【0101】
欠損付与部８５は、統合部８４から統合情報ＣＩを取得し、取得した情報に欠損を付与する。欠損の付与とは、例えば特徴量や画素の値を変更することであってもよい。欠損付与部８５は、所定の確率分布又は乱数に基づき、教師データの特徴量や画素のそれぞれに対して、欠損を有することを示す情報を付与してもよい。また、欠損付与部８５は、教師データに対して付与する欠損の種類に応じて、好適な範囲に対して、特徴量や画素の値を変更してもよい。なお、欠損付与部８５による処理は、必ずしも実行されることを要しない。
【0102】
出力部８６は、欠損付与部８５により欠損が付与された後の情報を教師データＴＤとして出力する。出力部８６により出力された教師データＴＤは、所定の記憶装置（不図示）に記憶されてもよい。記憶装置に記憶された教師データＴＤは、学習装置７０により学習のために用いられてもよいし、判定装置５０の検証のために用いられてもよい。
【0103】
［実施形態５のまとめ］
以上説明した実施形態によれば、教師データ作成装置８０は、二次元情報取得部８１を備えることにより、判定対象である物体Ｓについての二次元情報を複数取得し、選択部８３１を備えることにより、取得された複数の二次元情報のうち、所定の選択アルゴリズムに基づき２以上の二次元情報を選択し、重ね合わせ部８３２を備えることにより、選択された２以上の二次元情報を重ね合わせ、重ね合わせ二次元情報ＯＬＤＩを作成する。第２特徴量取得部８２を備えることにより、物体Ｓに関する特徴量であって、二次元情報から抽出される第１特徴量Ｃ１とは異なる第２特徴量Ｃ２を取得し、第２特徴量結合部８２１を備えることにより、教師データに対応する結合第2特徴量ＯＬＣ２を作成し、統合部８４を備えることにより、第２特徴量Ｃ２を教師データＴＤに統合し、機械学習モデルの学習又はテストに用いられる教師データを作成する。すなわち、本実施形態によれば、複数の分類が有する特徴を併せ持つ教師データを作成することができる。さらに本実施形態において作成された教師データには、第２特徴量Ｃ２が統合されていることから、二次元情報ＤＩと第２特徴量Ｃ２に基づいた学習をするための教師データを作成することができる。
以上説明した実施形態によれば、教師データ作成装置８０は、二次元情報取得部８１を備えることにより、判定対象である物体Ｓについての二次元情報を複数取得し、選択部８３１を備えることにより、取得された複数の二次元情報のうち、所定の選択アルゴリズムに基づき２以上の二次元情報を選択し、重ね合わせ部８３２を備えることにより、選択された２以上の二次元情報を重ね合わせ、重ね合わせ二次元情報ＯＬＤＩを作成する。第２特徴量取得部８２を備えることにより、物体Ｓに関する特徴量であって、二次元情報から抽出される第１特徴量Ｃ１とは異なる第２特徴量Ｃ２を取得し、第２特徴量結合部８２１を備えることにより、教師データに対応する結合第2特徴量ＯＬＣ２を作成し、統合部８４を備えることにより、第２特徴量Ｃ２を教師データＴＤに統合し、機械学習モデルの学習又はテストに用いられる教師データを作成する。すなわち、本実施形態によれば、複数の分類が有する特徴を併せ持つ教師データを作成することができる。さらに本実施形態において作成された教師データには、第２特徴量Ｃ２が統合されていることから、二次元情報ＤＩと第２特徴量Ｃ２に基づいた学習をするための教師データを作成することができる。
【0104】
【0105】
図１６は、重ね合わせを行った二次元情報の一例である。同図には、具体的には、図１０（Ｄ）に示した“Ｃｅｎｔｅｒ”の欠陥と、図１０（Ｆ）に示した“Ｓｃｒａｔｃｈ”の欠陥とを組み合わせた場合の一例が示されている。
【0106】
本実施形態においては、オープンなデータセットであるＷＭ－８１１Ｋを使用する。このデータセットは、実際の大量生産で最終製品テストに記録されるものである。１枚のウェハには、数百個から数万個の小さな直方体(いわゆるダイ)のチップが搭載され、各ダイのオリジナルのラベルは１(良)、２(不良)、または０(製品の外部)である。さらに、クラスラベルは、ドメインに関する知識を持つエンジニアによって、合計１７２９５０枚のサンプルに貼付されている。このデータは、欠陥パターンの分類問題の研究に広く利用されている。製品の組み合わせや技術の組み合わせによる製品の分解、クラス間のデータの不均衡、特定の欠陥クラスのウェハであっても、全てのサンプルにランダム原因の欠陥が現れるなど、多くの異なる解決方法が困難である。さらに、２つ以上のクラスの上位部分が、共通または異なる原因に対応している。クラスラベルを持つ二次元情報のデータの他に、カラム数や行数、ダイサイズ、欠陥率などのウェハ属性もテストログに記録される。ただし、ＷＭ－８１１Ｋに付加された厳密な重ね合わせクラスラベルは存在しない。したがって、本実施形態においては、図示するような、合成データセットが生成される。
【0107】
図１７は、重ね合わせを行った二次元情報の一例である。同図には、不良７クラス全ての重ね合わせ事例である。重ね合わせ部８３２は、重ね合わせ対象となる所定クラスのサンプルを、所定数（例えば一つずつ）ランダムにサンプリングし、それらのウェハマップの各ダイ（画素）について、論理和演算する。ただし、ウェハ外のダイはウェハ外のラベルのままとする。重ね合わせ部８３２は、このような演算により、図示するようなデータセットを生成する。なお、論理和演算の前に、予め各ダイのラベルを、不良の場合０、良品の場合１，ウエハ領域外はそれ以外の数値（ー１など）に変換する前処理を施しておく。
【0108】
図１８は、重ね合わせ部８３２が行う演算の詳細について説明するための図である。重ね合わせ部８３２は、重ね合わせ対象となる所定クラスのサンプルに付帯している特徴量について、ａ）０―１変数は、論理和演算または多数決演算し、ｂ）数値変量は、基本統計量等の値とする。
【0109】
表内のＸ１～Ｘ１１６の特徴量は、０－１変数とする。Ｘ１～Ｘ１１６の特徴量のうち、Ｘ１～Ｘ５は、全クラスに共通の特徴量（＝不良に関係ない不正解なランダム特徴量）であり、Ｘ４２～Ｘ４７はＣｅｎｔｅｒクラスに係る特徴量であり、Ｘ９３～Ｘ１０１はＳｃｒａｔｃｈクラスに係る特徴量である。具体的に、重ね合わせクラスの特徴量は、図１８の最も下に示す表のようになる。
【0110】
なお、ここでは、各行は、各クラスとクラスター（ｆａｉｌｕｒｅ Ｃｌａｓｓ， Ｃｌｕｓｔｅｒ）の対に対する特徴量の対応を表している。ここでのクラスターは、各クラスのサンプルの二次元情報の付帯情報であるＤｅｆｅｃｔＲａｔｅ（不良画素率）を用いて混合ガウス分布に基づくクラスタリングを実行し、ＡＩＣ（赤池情報量規準）またはＢＩＣ（ベイズ情報量規準）に基づき最適なクラスター数を規定した上で編成したクラスターである。また、元クラスのそれぞれについて、各クラスターに該当するＤｅｆｅｃｔＲａｔｅの区間が対応づいている。各学習サンプルでは、元クラスおよびＤｅｆｅｃｔＲａｔｅから特定できるクラスターから、対応する特徴量を対応付けられる（これは一例である）。なお、重ね合わせ不良サンプルに対して特徴量データが得られる場合は、単にそれを合わせて使えばよい。そこで好適な特徴量編成ができていれば、前述に類似する重ね合わせ不良サンプルに対する特徴量データを取得できる。
【0111】
第３特徴量は、例えば、検査ログなどに該当する。これは、上述した実施形態２及び実施形態３のいずれについても共通である。以下、第３特徴量の結合について、実施形態３における半導体ウェハの事例を用いて、具体的に説明する。
【0112】
第３特徴量の元情報は、例えば図１９の通りである。
【0113】
ある重ね合わせＳＰの対象となる所定クラス（ｃ∈Ｃ（ＳＰ））の選択されたサンプルに付帯している特徴量の重ね合わせ処理は、以下の（１）から（３）のようになる。なお、特徴量の違いにより、何種かのバリエーションがある。
【0114】
（１）半導体ウェハマップの画素の数に関する、ＣｏｕｎｔＰｉｘｃｅｌ（ダイ総数）やＣｏｕｎｔＲｏｗ（行数）、ＲｏｕｎｔＣｏｌｕｍｎ（列数）については、重ね合わせるウェハマップＷＭのすべての画素数をリサイズ処理によりに統一する。例えば、Ｓ１行Ｓ２列、画素数Ｓ１ｘＳ２、に統一する。
【0115】
（２）半導体ウェハマップ上の不良ダイ比率を示すＤｅｆｅｃｔＲａｔｅについては、リサイズ後のピクセル毎に、その要素値（例：良品ダイ：０、不良ダイ: 非ゼロ値→１に変換等）の論理和ｖ（ｉ，ｊ）や表色系の何らかの演算をした上で、重ね合わせＳＰのウェハに対する次の式（１）を、各重ね合わせサンプルについて導出する。
【0116】
【数1】
【0117】
なお、論理和は、例えば、次の式（２）により導出される。
【0118】
【数2】
【0119】
印刷のログ特徴量のサイズについても、重な合わせ結果として、前述同様のピクセル毎の導出結果に基づき導出できる。その処理結果と所定基準によりランクを導出することができる。
【0120】
（３）印刷のログ特徴量の欠点数は、元サンプルの欠点数の加算値とする。また、最大値などの基本統計量を用いてもよい。
【0121】
次に、重ね合わせデータの学習結果について説明する。
【0122】
２クラス重ね合わせ（２―ｃｌａｓｓ ＳＰ、図２３のＣｌａｓｓＮｏ．８～２８の２１クラス）は、組合せが多く、また、不良ダイの密度が低いため、重ね合わせクラスの互いの識別や１クラスとの識別が難しい問題である。現に、数値検証結果（図２０）から、特徴量なしの場合（欠損率１００％）は、分類精度は７０％未満と低い。（同表の最下行の最左、０．６９３９）他方、特徴量を追加した場合は、特徴量の欠損率が８０％と非常に高い場合であっても、分類精度９０％以上を達成している。
さらに、欠損率が４０％以下の場合には、９９．６％以上と１００％に近い分類精度を達成できている。（表の最下行で、３列目以降:”Ｔｈｅ ｒａｔｅ ｏｆ ｍｉｓｓｉｎｇ ｖａｌｕｅ ｏｎ ｔｈｅ ｃａｕｓａｌ ｖａｒｉａｂｌｅｓ“が０．８， ０．６， ０．４， ０．２， ０．０の列）
さらに、欠損率が４０％以下の場合には、９９．６％以上と１００％に近い分類精度を達成できている。（表の最下行で、３列目以降:”Ｔｈｅ ｒａｔｅ ｏｆ ｍｉｓｓｉｎｇ ｖａｌｕｅ ｏｎ ｔｈｅ ｃａｕｓａｌ ｖａｒｉａｂｌｅｓ“が０．８， ０．６， ０．４， ０．２， ０．０の列）
【0123】
図２１は、６クラス重ね合わせと７クラス重ね合わせを合わせた分類問題のクラス定義を示す図である。同図には、６クラス重ね合わせ（６―ｃｌａｓｓ ＳＰ）は、7クラス重ね合わせ(Ａｌｌ)から除いたクラスを“－ＸＸＸ”と記している。
例えば、”Ｌｏｃ”以外の６クラスすべてを重ね合わせた場合のクラスＣｌａｓｓＮｏ．＝１０１は、重ね合わせクラス定義を示す列ＳＰ Ｄｅｆｉｎｉｔｉｏｎ＝“Ａｌｌ － Ｌｏｃ”と表記している。
例えば、”Ｌｏｃ”以外の６クラスすべてを重ね合わせた場合のクラスＣｌａｓｓＮｏ．＝１０１は、重ね合わせクラス定義を示す列ＳＰ Ｄｅｆｉｎｉｔｉｏｎ＝“Ａｌｌ － Ｌｏｃ”と表記している。
【0124】
図２２は、重ね合わせ情報の分類結果例を示している、同図には、不良７クラスと６クラスの全ての重ね合わせの組合せのクラスが示されている。６クラスと７クラスを合わせた分類問題は、不良密度が高く識別の難易度が高い問題となる。その場合でも、第２特徴量を用いた場合、各特徴量の欠損率が６０％以下で分類精度が約８７％以上、欠損率４０％以下では９５％以上の高精度な分類を達成している。他方、特徴量なし（欠損率１００％）の場合は、４０．５％と精度が低い。
【0125】
前記集合値は、例えば、あるクラスに該当するサンプルの不良率（二次元情報上の不良画素率）の分布に対して、混合ガウスモデルに基づくクラスタリングを実行し、また、赤池情報量規準やベイズ情報量規準に基づいてクラスター数を最適化し、当該クラスの最適クラスター数の条件下で導いたクラスターの識別子と識別条件（例：各クラスターに該当する不良率の範囲）を指す。これは、単純に各サンプル（ＩＤ）に紐づいた二次元情報と第２特徴量を追加している形態とは異なる。
【0126】
二次元情報は、不良の位置や形状を表すのに対して、集合値は不良の密度や寸法に係るサンプル集合に対する相対的情報を提供する。この２者を用いることで、クラスの判別精度を高め、不良原因の特定を可能にする。
【0127】
少し具体的に説明する。一般に、不良クラスとそれを発生させる原因系の工程は対応づいていることが多く、従って、クラスの特定により不良原因となった工程の候補を絞ることは可能である（１：ｍなど）。ただし、不良の直接の原因となった「工程変量」（工程の材料・方法・処理装置・情報等）との対応関係を得るためには、クラスの階層では不十分である。ここで、クラスの下位に位置するクラスター（あるいは不良率その他の付帯情報の分布から得た特徴量）は、不良の直接原因を表す工程変量の特定の水準や複数変量の特定水準の組合せによる影響とよく対応する。このことは、仮想計測（ソフトセンサー）等の研究で明らかになっている。つまり、クラス（不良の位置、形状による分類識別子）とクラスター（不良の密度や寸法、重篤度等を表す）の両方によってはじめて、直接の不良原因である工程変量と対応づけられるようになる。
【0128】
また、重ね合わせクラス分類では、多様なクラスと不良率の混合した重ね合わせ結果のみが二次元情報に現れる。この二次元情報のみ（から導いた第1特徴量）からは、重ね合わせ元クラスを特定することはできない。また、第2特徴量の単なる追加では、前述の通り、クラスと工程変量を関係づけるクラスター等が不在で、従って、第２特徴量追加による精度改善効果は限定的となる。
【0129】
（第２特徴量と第３特徴量の定義について）
第２特徴量は、二次元情報とは独立に収集される原因系特徴量などの外部特徴量なのに対し、第３特徴量は、二次元情報やその付帯情報から導く、二次元情報と関連した内部特徴量、の位置づけを有する。これは、半導体ケースでも、印刷ケースでも同じである。
第２特徴量は、二次元情報とは独立に収集される原因系特徴量などの外部特徴量なのに対し、第３特徴量は、二次元情報やその付帯情報から導く、二次元情報と関連した内部特徴量、の位置づけを有する。これは、半導体ケースでも、印刷ケースでも同じである。
【0130】
［実施形態７］
第２特徴量は、不図示の第２特徴量取得部や第2特徴量抽出部において抽出されたものであってもよい。第２特徴量抽出には、交互作用モデリングの代表格であるＳｕｒｅ Ｉｎｄｅｐｅｎｄｅｎｃｅ Ｓｃｒｅｅｎｉｎｇ（ＳＩＳ）等のスクリーニング手法に基づく装置（方法）や、特徴量選択付きの因子分解機（Ｓｐａｒｓｅ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍａｃｈｉｎｅｓ,ＳＦＭ）を用いてもよい。ＳＦＭのうち、特に、Ｌ１ノルム正則化を用いて特徴量の単独の効果を推定する単独特徴量抽出部（ステップ）と、複数の特徴量の組合せである組合せ特徴量をＬ２ノルム正則化を用いて推定する組合せ特徴量抽出部（ステップ）と、さらに、上界を導入した正則化項を用いてすべての特徴量を推定する特徴量全体抽出部（ステップ）、を含むこと特徴とする交互作用モデリング装置（方法）を用いてもよい。このうち、ＴＩ上界を用いたＳＦＭ（ＴＩ―ＳＦＭ（Ｌ１）と呼ぶ）は、本発明で提案する新たな形態であり、好適な一つである。
第２特徴量は、不図示の第２特徴量取得部や第2特徴量抽出部において抽出されたものであってもよい。第２特徴量抽出には、交互作用モデリングの代表格であるＳｕｒｅ Ｉｎｄｅｐｅｎｄｅｎｃｅ Ｓｃｒｅｅｎｉｎｇ（ＳＩＳ）等のスクリーニング手法に基づく装置（方法）や、特徴量選択付きの因子分解機（Ｓｐａｒｓｅ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍａｃｈｉｎｅｓ,ＳＦＭ）を用いてもよい。ＳＦＭのうち、特に、Ｌ１ノルム正則化を用いて特徴量の単独の効果を推定する単独特徴量抽出部（ステップ）と、複数の特徴量の組合せである組合せ特徴量をＬ２ノルム正則化を用いて推定する組合せ特徴量抽出部（ステップ）と、さらに、上界を導入した正則化項を用いてすべての特徴量を推定する特徴量全体抽出部（ステップ）、を含むこと特徴とする交互作用モデリング装置（方法）を用いてもよい。このうち、ＴＩ上界を用いたＳＦＭ（ＴＩ―ＳＦＭ（Ｌ１）と呼ぶ）は、本発明で提案する新たな形態であり、好適な一つである。
【0131】
各部を数式に対応させると、次の式（３）の通りとなる。
【0132】
【数3】
【0133】
右辺第２項＝単独特徴量抽出部、右辺第３項＝組合せ特徴量抽出部、右辺第４項：特徴量全体抽出部。ここで、ΩTI（Ｐ）が三角不等式 （Ｔｒｉａｎｇｌｅ－Ｉｎｅｑｕａｌｉｔｙ，ＴＩ）上界を表している。
ただし、先行研究では、特徴量の単独の効果推定にＬ２ノルムを用いる形態もあり、単独特徴量抽出部（ステップ）にＬ２ノルム正則化を含む装置（方法）を用いてもよい。また、特徴量全体抽出部（ステップ）としてＣＳ上界ほかの上界を用いてもよい。
ただし、先行研究では、特徴量の単独の効果推定にＬ２ノルムを用いる形態もあり、単独特徴量抽出部（ステップ）にＬ２ノルム正則化を含む装置（方法）を用いてもよい。また、特徴量全体抽出部（ステップ）としてＣＳ上界ほかの上界を用いてもよい。
【0134】
なお、上述した実施形態におけるシステム１が備える各部の機能全体あるいはその一部は、これらの機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現しても良い。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。
【0135】
また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶部のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでも良い。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであっても良い。
【0136】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何ら限定されるものではなく、本発明の趣旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【0137】
なお、以上の実施形態において説明された発明を整理して、付記として開示する。
【0138】
（付記１）
判定対象である物体についての二次元情報やその付帯情報を取得する二次元情報取得部と、
前記二次元情報取得部により取得された前記二次元情報から第１特徴量を抽出する抽出部と、
前記物体に関する特徴量であって、前記第１特徴量とは異なる第２特徴量を取得する第２特徴量取得部と、複数のサンプルについての前記二次元情報や前記付帯情報から導いた集合値（例えば、サンプル集合の識別子と識別条件）と各サンプルの情報とを対応付けて各サンプルに（相対的な）集合値に係る情報を付与する第３特徴量生成部と、前記第3特徴量生成部により生成された集合値に係る情報である第3特徴量にもとづき前記第2特徴量のうち重要な第2特徴量を抽出する第2特徴量抽出部と、
前記抽出部により抽出された前記第１特徴量と、前記第２特徴量抽出部により抽出された第２特徴量を入力情報として、前記物体のクラス分類に関する演算を行う演算部と、
前記演算部により行われた演算の結果を出力する出力部と
を備える判定装置。
判定対象である物体についての二次元情報やその付帯情報を取得する二次元情報取得部と、
前記二次元情報取得部により取得された前記二次元情報から第１特徴量を抽出する抽出部と、
前記物体に関する特徴量であって、前記第１特徴量とは異なる第２特徴量を取得する第２特徴量取得部と、複数のサンプルについての前記二次元情報や前記付帯情報から導いた集合値（例えば、サンプル集合の識別子と識別条件）と各サンプルの情報とを対応付けて各サンプルに（相対的な）集合値に係る情報を付与する第３特徴量生成部と、前記第3特徴量生成部により生成された集合値に係る情報である第3特徴量にもとづき前記第2特徴量のうち重要な第2特徴量を抽出する第2特徴量抽出部と、
前記抽出部により抽出された前記第１特徴量と、前記第２特徴量抽出部により抽出された第２特徴量を入力情報として、前記物体のクラス分類に関する演算を行う演算部と、
前記演算部により行われた演算の結果を出力する出力部と
を備える判定装置。
【0139】
（付記２）
付記１に記載した発明において、
前記集合値は、例えば、あるクラスに該当するサンプルの不良率（二次元情報上の不良画素率）の分布に対して、混合ガウスモデルに基づくクラスタリングを実行し、また、赤池情報量規準やベイズ情報量規準に基づいてクラスター数を最適化し、当該クラスの最適クラスター数の条件下で導いたクラスターの識別子と識別条件（例：各クラスターに該当する不良率の範囲）を指す。
先行特許のような、単純に各サンプル（ＩＤ）に紐づいた二次元情報と第2特徴量を追加している形態とは異なる。
二次元情報は、不良の位置や形状を表すのに対して、集合値は不良の密度や寸法に係るサンプル集合に対する相対的情報を提供する。この2者を用いることで、クラスの判別精度を高め、不良原因の特定を可能にする。
付記１に記載した発明において、
前記集合値は、例えば、あるクラスに該当するサンプルの不良率（二次元情報上の不良画素率）の分布に対して、混合ガウスモデルに基づくクラスタリングを実行し、また、赤池情報量規準やベイズ情報量規準に基づいてクラスター数を最適化し、当該クラスの最適クラスター数の条件下で導いたクラスターの識別子と識別条件（例：各クラスターに該当する不良率の範囲）を指す。
先行特許のような、単純に各サンプル（ＩＤ）に紐づいた二次元情報と第2特徴量を追加している形態とは異なる。
二次元情報は、不良の位置や形状を表すのに対して、集合値は不良の密度や寸法に係るサンプル集合に対する相対的情報を提供する。この2者を用いることで、クラスの判別精度を高め、不良原因の特定を可能にする。
【0140】
一般に、不良クラスとそれを発生させる原因系の工程は対応づいていることが多く、従って、クラスの特定により不良原因となった工程の候補を絞ることは可能である（一般に、一対多の関係）。ただし、不良の直接の原因となった「工程変量」（工程の材料・方法・処理装置・情報等）との対応関係を得るためには、クラスの階層では不十分である。ここで、クラスの下位に位置するクラスター（あるいは不良率その他の付帯情報の分布から得た特徴量）は、不良の直接原因を表す工程変量の特定の水準や複数変量の特定水準の組合せによる影響とよく対応する。このことは、データ駆動で計測値等を推定・予測し物理的計測を代替する仮想計測（ソフトセンサー）等の研究で明らかになっている。つまり、クラス（不良の位置、形状による分類識別子）とクラスター（不良の密度や寸法、重篤度等を表す）の両方によってはじめて、直接の不良原因である工程変量と対応づけられるようになる。
また、重ね合わせクラス分類では、多様なクラスと不良率の混合した重ね合わせ結果のみが二次元情報に現れる。この二次元情報のみ（から導いた第1特徴量）からは、重ね合わせ元クラスを特定することはできない。また、第2特徴量の単なる追加では、前述の通り、クラスと工程変量を関係づけるクラスター等が不在で、従って、第2特徴量追加による精度改善効果は限定的となる。
また、重ね合わせクラス分類では、多様なクラスと不良率の混合した重ね合わせ結果のみが二次元情報に現れる。この二次元情報のみ（から導いた第1特徴量）からは、重ね合わせ元クラスを特定することはできない。また、第2特徴量の単なる追加では、前述の通り、クラスと工程変量を関係づけるクラスター等が不在で、従って、第2特徴量追加による精度改善効果は限定的となる。
【0141】
付記１に記載した発明は、以下の効果を奏することが期待される。
（１）単一クラスまたは重ね合わせクラスの分類を同一の学習機で実現することが可能。
（２）クラス分類の高精度化（単一クラス、重ね合わせクラス共）を図ることが可能。
（３）原因系特徴量の特定、特徴量の影響度（重要度）を抽出することが可能。（出力層で第２特徴量を結合する場合）
（１）単一クラスまたは重ね合わせクラスの分類を同一の学習機で実現することが可能。
（２）クラス分類の高精度化（単一クラス、重ね合わせクラス共）を図ることが可能。
（３）原因系特徴量の特定、特徴量の影響度（重要度）を抽出することが可能。（出力層で第２特徴量を結合する場合）
【0142】
第2特徴量と第3特徴量は、以下の点で相違する。
第2特徴量は、二次元情報とは独立に収集される原因系特徴量などの外部特徴量なのに対し、第3特徴量は、二次元情報やその付帯情報から導く、二次元情報と関連した内部特徴量である点で相違する。これは、半導体及び印刷の実施例においても同様である。
第2特徴量は、二次元情報とは独立に収集される原因系特徴量などの外部特徴量なのに対し、第3特徴量は、二次元情報やその付帯情報から導く、二次元情報と関連した内部特徴量である点で相違する。これは、半導体及び印刷の実施例においても同様である。
【0143】
第２特徴量は、前記工程の識別子や、工程の状態やイベントを表す各種変量（工程の各点における温度、湿度、圧力、電圧、材料投入量、動作速度、冷却又は加熱の程度、処理時間、保全後か否か、故障後か否か、稼働可能か否か、等）、あるいは、処理媒体の識別子や処理対象の識別子、等の情報である。
【0144】
第３特徴量は、二次元情報または二次元情報に付帯する付帯情報（例えば、不良率）の単一または多変量の分布（例えば、クラス別の不良率の分布）から導かれる特徴量（例えば、クラス別の不良率の分布（多峰分布含む）を混合ガウス分布モデルに基づきクラスタリングを実行した結果のクラスター、そのクラスターの識別条件と識別子、など）である。
【0145】
（付記3）
第２特徴量は、第２特徴量取得部や第２特徴量抽出部において、交互作用モデリングの代表格であるＳｕｒｅ Ｉｎｄｅｐｅｎｄｅｎｃｅ Ｓｃｒｅｅｎｉｎｇ（ＳＩＳ）等のスクリーニングや、特徴量選択付きの因子分解機（Ｓｐａｒｓｅ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍａｃｈｉｎｅｓ,ＳＦＭ）に基づく装置（方法）を用いてもよい。
ＳＦＭのうち、特に、以下の装置（方法）は、本発明により提案する好適な一つである。
Ｌ１ノルム正則化を用いて特徴量の単独の効果を推定する単独特徴量抽出部（ステップ）と、複数の特徴量の組合せである組合せ特徴量をＬ２ノルム正則化を用いて推定する組合せ特徴量抽出部（ステップ）と、さらに、上界を導入した正則化項を用いてすべての特徴量を推定する特徴量全体抽出部（ステップ）、
を含むこと特徴とする特徴量選択付きの因子分解機を備える交互作用モデリング装置（方法）
第２特徴量は、第２特徴量取得部や第２特徴量抽出部において、交互作用モデリングの代表格であるＳｕｒｅ Ｉｎｄｅｐｅｎｄｅｎｃｅ Ｓｃｒｅｅｎｉｎｇ（ＳＩＳ）等のスクリーニングや、特徴量選択付きの因子分解機（Ｓｐａｒｓｅ Ｆａｃｔｏｒｉｚａｔｉｏｎ Ｍａｃｈｉｎｅｓ,ＳＦＭ）に基づく装置（方法）を用いてもよい。
ＳＦＭのうち、特に、以下の装置（方法）は、本発明により提案する好適な一つである。
Ｌ１ノルム正則化を用いて特徴量の単独の効果を推定する単独特徴量抽出部（ステップ）と、複数の特徴量の組合せである組合せ特徴量をＬ２ノルム正則化を用いて推定する組合せ特徴量抽出部（ステップ）と、さらに、上界を導入した正則化項を用いてすべての特徴量を推定する特徴量全体抽出部（ステップ）、
を含むこと特徴とする特徴量選択付きの因子分解機を備える交互作用モデリング装置（方法）
【0146】
（付記４）
付記１乃至付記３に記載した発明に、特許請求の範囲に記載された各発明を従属させた発明についても変形例としてもよい。
付記１乃至付記３に記載した発明に、特許請求の範囲に記載された各発明を従属させた発明についても変形例としてもよい。
【符号の説明】
【0147】
１…システム、１０…処理装置、２０…二次元情報取得装置、３０…特徴量取得装置、５０…判定装置、５１…二次元情報取得部、５２…第２特徴量取得部、５３…抽出部、５４…演算部、５５…出力部、５６…第３特徴量取得部、５７…クラス情報取得部、６０…予備判定装置、７０…学習装置、７１…二次元情報取得部、７２…第２特徴量取得部、７３…拡張部、７４…抽出部、７５…クラス情報取得部、７６…学習部、７７…第３特徴量取得部、８０…教師データ作成装置、８１…二次元情報取得部、８２…第２特徴量取得部、８３１…選択部、８３２…重ね合わせ部、８４…統合部、８５…欠損付与部、８６…出力部、８７…クラス情報取得部、８８１…第３特徴量取得部、８８２…第３特徴量結合部、８２１…第２特徴量結合部、Ｃ１…第１特徴量、Ｃ２…第２特徴量、Ｃ３…第３特徴量、Ｓ…物体、ＤＩ…二次元情報、ＥＤＩ…拡張二次元情報、ＣＬ…クラス情報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】