知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023056522
(43)【公開日】2023-04-19
(54)【発明の名称】分類システム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230412BHJP
G05B 19/418 20060101ALI20230412BHJP
【ＦＩ】
G06T7/00 610A
G05B19/418 Z
【審査請求】有
【請求項の数】2
【出願形態】ＯＬ
(21)【出願番号】P 2023004253
(22)【出願日】2023-01-16
(62)【分割の表示】P 2021569800の分割
【原出願日】2020-12-17
(31)【優先権主張番号】P 2020001729
(32)【優先日】2020-01-08
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックＩＰマネジメント株式会社
(74)【代理人】
【識別番号】100106116
【弁理士】
【氏名又は名称】鎌田 健司
(74)【代理人】
【識別番号】100131495
【弁理士】
【氏名又は名称】前田 健児
(72)【発明者】
【氏名】村田 久治
(72)【発明者】
【氏名】本村 秀人
(72)【発明者】
【氏名】フェルナンド ジェッフリー
(72)【発明者】
【氏名】菅澤 裕也
(57)【要約】
【課題】対象物のクラス判定に関する信頼性の向上を図る。
【解決手段】分類システムは、入力部と、判定部と、出力部と、を備える。入力部は、対象物の画像データと、対象物の製造条件に関する製造データとを、入力する。判定部は、画像データと対象物の製造条件に関する製造データに基づいて対象物のクラスを判定する。出力部は、対象物がどのクラスかを示す判定結果を出力する。また、対象物の製造条件に関する製造データは、対象物の製造条件に関する特徴量であり、特徴量は、電流（値）、電圧（値）、振動、回転数、圧力、湿度、時間、流量、及び温度のいずれかを含むことが好ましい。
【選択図】図１
【解決手段】分類システムは、入力部と、判定部と、出力部と、を備える。入力部は、対象物の画像データと、対象物の製造条件に関する製造データとを、入力する。判定部は、画像データと対象物の製造条件に関する製造データに基づいて対象物のクラスを判定する。出力部は、対象物がどのクラスかを示す判定結果を出力する。また、対象物の製造条件に関する製造データは、対象物の製造条件に関する特徴量であり、特徴量は、電流（値）、電圧（値）、振動、回転数、圧力、湿度、時間、流量、及び温度のいずれかを含むことが好ましい。
【選択図】図１
【特許請求の範囲】
【請求項1】
対象物の画像データと、前記対象物の製造条件に関する製造データとを、入力する入力部と、
前記画像データと前記対象物の製造条件に関する製造データに基づいて前記対象物のクラスを判定する判定部と、
前記対象物がどの前記クラスかを示す判定結果を出力する出力部と、
を備える分類システム。
前記画像データと前記対象物の製造条件に関する製造データに基づいて前記対象物のクラスを判定する判定部と、
前記対象物がどの前記クラスかを示す判定結果を出力する出力部と、
を備える分類システム。
【請求項2】
前記対象物の製造条件に関する製造データは、前記対象物の製造条件に関する特徴量であり、
前記特徴量は、電流（値）、電圧（値）、振動、回転数、圧力、湿度、時間、流量、及び温度のいずれかを含む、
請求項１に記載の分類システム。
前記特徴量は、電流（値）、電圧（値）、振動、回転数、圧力、湿度、時間、流量、及び温度のいずれかを含む、
請求項１に記載の分類システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、一般に、分類システム、分類方法、及びプログラムに関する。より詳細には、対象物のクラスを判定する分類システム、分類方法、及びプログラムに関する。
【背景技術】
【0002】
特許文献１には、製品の品質異常の要因となる異常工程を精度よく推定するための異常工程推定方法が開示されている。この異常工程推定方法では、複数の工程からなる製造ラインにおけるセンサからのセンサデータを収集する。そして、正常な品質にかかる製品のセンサデータに基づき、工程間の経過時間が特徴ベクトルに含まれるように機械学習を実行することで、工程それぞれに対応するセンサ間の相関モデルを複数生成する。そして、相関モデルの出力値に基づいて、工程ごとにおける正常状態からの乖離度を評価して、その乖離度に基づいて、複数の工程のうちから製品の品質異常の要因となる異常工程を判定する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－４９９４０号公報
【発明の概要】
【0004】
ところで、製品（対象物）のクラス（例えば異常又は欠陥等の種別）をより正確に判定することが望まれる場合がある。
【0005】
本開示は上記事由に鑑みてなされ、対象物のクラス判定に関する信頼性の向上を図ることができる、分類システムを提供することを目的とする。
【0006】
本開示の一態様の分類システムは、入力部と、判定部と、出力部と、を備える。入力部は、対象物の画像データと、対象物の製造条件に関する製造データとを、入力する。判定部は、画像データと対象物の製造条件に関する製造データに基づいて対象物のクラスを判定する。出力部は、対象物がどのクラスかを示す判定結果を出力する。
【0007】
本開示によれば、対象物のクラス判定に関する信頼性の向上を図ることができる、という利点がある。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
（１）概要
以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。
以下の実施形態において説明する各図は、模式的な図であり、各図中の各構成要素の大きさ及び厚さそれぞれの比が、必ずしも実際の寸法比を反映しているとは限らない。
【0010】
図１は、一実施形態に係る分類システム１の概略構成図である。図２Ａは、分類システム１における対象物２（電池缶Ｈ１）及び撮像装置３の斜視図であり、対象物の画像データを説明するための概念図である。本実施形態に係る分類システム１は、図１に示すように、第１分類部１１と、第２分類部１２と、判定部１３と、を備えている。
【0011】
第１分類部１１は、第１対象データを、複数の第１クラスＣ１（図７Ａ～図７Ｃ参照）の中の少なくとも１つの第１クラスＣ１に分類する。第１対象データは、対象物２の画像データである。ここでは一例として、第１分類部１１は、（複数の）画像データから複数の第１クラスＣ１を学習した学習済みモデル（以下、「第１モデル」と呼ぶことがある）であり、第１モデル格納部Ｐ１に格納されている。つまり、第１モデルは、機械学習により生成されたモデルである。以下では、図２Ａに示すように、一例として、対象物２を、アルカリ電池又はリチウムイオン電池等の電池缶Ｈ１（金属製の円筒の電池ケース）であることを想定する。
【0012】
第２分類部１２は、第２対象データを、複数の第２クラスＣ２（図７Ｃ参照）の中から少なくとも１つの第２クラスＣ２に分類する。第２対象データは、対象物２の製造条件に関する製造データである。ここでは一例として、第２分類部１２は、複数の第２クラスＣ２の各々と、製造条件に関する特徴量のデータ分布とが対応付けされたモデル（以下、「第２モデル」と呼ぶことがある）である。第２モデルは、一例として、学習済みモデルではない。
【0013】
判定部１３は、第１分類部１１による分類結果である第１分類結果、及び第２分類部１２による分類結果である第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物２のクラスを判定する。ここでいう「対象物のクラス」は、例えば、（製造後の）電池缶Ｈ１に発生している１又は複数の事象の種別であり、ここでは「欠陥種別」とリンクされていることを想定する。したがって、ここでは一例として、複数の第１クラスＣ１及び複数の第２クラスＣ２は、対象物２の欠陥によって規定される。
【0014】
この構成によれば、判定部１３は、第１分類結果、及び第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物２のクラス（ここでは欠陥種別）を判定する。そのため、画像データだけを頼りに、又は製造データだけを頼りに、対象物２のクラスを判定する場合と比べて、対象物２のクラス判定に関する信頼性の向上を図ることができる。
【0015】
【0016】
（２．１）全体構成
本実施形態に係る分類システム１は、上述した通り、第１分類部１１と、第２分類部１２とを備えている。また分類システム１は、図１に示すように、処理部１００と、第１入力部３１と、第２入力部３２と、出力部３３と、第１モデルが格納される第１モデル格納部Ｐ１と、第２モデルが格納される第２モデル格納部Ｐ２とを更に備えている。上述した判定部１３は、処理部１００に設けられている。
本実施形態に係る分類システム１は、上述した通り、第１分類部１１と、第２分類部１２とを備えている。また分類システム１は、図１に示すように、処理部１００と、第１入力部３１と、第２入力部３２と、出力部３３と、第１モデルが格納される第１モデル格納部Ｐ１と、第２モデルが格納される第２モデル格納部Ｐ２とを更に備えている。上述した判定部１３は、処理部１００に設けられている。
【0017】
上述した通り、分類システム１がクラス判定を行う対象物２は、図２Ａに示すように、アルカリ電池又はリチウムイオン電池等の電池缶Ｈ１である。電池缶Ｈ１は、金属製の円筒の電池ケースであり、その一端面（図２Ａでは上端面）が開放された有底円筒状となっている。
【0018】
また上述した通り、第１分類部１１は、対象物２の画像データである第１対象データを、複数の第１クラスＣ１の中の「少なくとも１つの第１クラスＣ１」に分類する。つまり、１つの画像データが２つ以上の第１クラスＣ１に分類される場合もある。
【0019】
対象物２（電池缶Ｈ１）の画像データは、画像Ｍ１（図２Ｂ及び２Ｃ参照）を表すデータである。画像Ｍ１は、対象物２の画像である。画像Ｍ１は、開放された一端面を上に向けて電池缶Ｈ１を水平な設置面上に立てた状態で、上方から撮像装置３（カメラ）で撮像されたものである。電池缶Ｈ１は、製造後の缶であり、中空である。したがって、画像Ｍ１には、電池缶Ｈ１の縁部２０、内周面２１、及び底面２２が写っている。
【0020】
【0021】
図２Ｂの画像Ｍ１では、対象物２の縁部２０において、内側に向かって凹んだフラット状の凹み５１がある。言い換えると、図２Ｂの対象物２に発生している事象は、欠陥５であり、具体的にはフラット状の凹み５１である。以下、フラット状の凹み５１が分類される種別（クラス）を、欠陥種別「Ａ」と呼ぶことがある。
【0022】
また図２Ｃの画像Ｍ１では、対象物２の縁部２０において、内側に向かって凹んだカーブ状の凹み５２がある。言い換えると、図２Ｃの対象物２に発生している事象は、欠陥５であり、具体的にはカーブ状の凹み５２である。以下、カーブ状の凹み５２が分類される種別（クラス）を、欠陥種別「Ｂ」と呼ぶことがある。
【0023】
また対象物２に発生する事象は、対象物２の内周面２１又は底面２２に発生する線傷５３（図７Ｂ参照）もある。以下、線傷５３が分類される種別（クラス）を、欠陥種別「Ｃ」と呼ぶことがある。
【0024】
電池缶Ｈ１に生じ得る欠陥５としては、フラット状の凹み５１、カーブ状の凹み５２、及び線傷５３に限定されない。電池缶Ｈ１に生じ得る欠陥５としては、その他にも、点打痕、円擦り傷、汚れ、及び液付着等が挙げられるが、ここでは説明の便宜上、上記の３つ欠陥種別「Ａ」～「Ｃ」のみについて説明する。
【0025】
本実施形態に係る分類システム１では、着目した対象物２において、どのような種別の欠陥５が、何箇所発生しているかについて、より正確に判定される（対象物２のクラス判定）。本実施形態の分類システム１では、対象データ（第１対象データである画像データ）の入力に対する最終的な出力は、対象物２が、欠陥のない正常な状態であるか、欠陥のある異常な状態であるか、異常な状態ならどのクラス（欠陥種別）かを示す「判定結果」となる。したがって、分類システム１は、例えば対象物２の検査に利用可能である。以下では、対象物２の判定結果が、欠陥のない正常な状態を示す場合、「ＯＫ判定」と呼ぶことがある。一方、対象物２の判定結果が、欠陥のある異常な状態を示す場合、「ＮＧ判定」と呼ぶことがある。
【0026】
特に、詳細は後述するが、欠陥５のサイズが比較的に小さい場合、フラット状の凹み５１ともカーブ状の凹み５２とも判断し得る可能性がある。例えば、図３は、合計９つの対象物２に関する欠陥５の模式的な図であり、上段（一点鎖線の枠Ｆ１参照）にある４つの対象物２は、いずれも欠陥種別「Ａ」に該当するが、左側から右側に向かうほどフラット状の凹み５１のサイズが小さくなっている場合を示す。また下段（二点鎖線の枠Ｆ２参照）にある４つの対象物２は、いずれも欠陥種別「Ｂ」に該当するが、左側から右側に向かうほどカーブ状の凹み５２のサイズが小さくなっている場合を示す。
【0027】
ここで、枠Ｆ１と枠Ｆ２の両方に含まれている右端にある対象物２は、その欠陥５のサイズが、他の欠陥５に比べて小さい。そのため、画像データだけによるクラス判定では、欠陥種別「Ａ」及び欠陥種別「Ｂ」のいずれであるかについて判定しにくい場合がある。
【0028】
これに対して、本実施形態の分類システム１は、補助的に、第２対象データである製造データも活用することで、より精度の高いクラス判定を実現し得るものである。特に、対象物２に対して何かしらの欠陥（不良）が発生している場合、製造ラインの複数の工程のどこかに、その要因が潜んでいる可能性が高い（例えば生産設備における各種パラメータの設定誤り、又は設備機器の不具合の発生等）。したがって、各工程における製造データにも、異常な数値として発現している可能性が高い。そこで、製造データも活用することで、より精度の高いクラス判定を実現できる。
【0029】
（２．２）２つの入力部、及び出力部
第１入力部３１及び第２入力部３２の各々は、分類システム１にデータを入力するために用いられる。
第１入力部３１及び第２入力部３２の各々は、分類システム１にデータを入力するために用いられる。
【0030】
第１入力部３１及び第２入力部３２の各々によって分類システム１に入力するデータの例としては、機械学習の実行のための情報、判定処理の実行のための情報、及び、分類システム１の操作のための情報を含み得る。
【0031】
ここでは第１入力部３１によって入力するデータは、主に、画像データ（第１対象データ）を含む。つまり、第１入力部３１への入力データは、主に、撮像装置３で撮像された、検査対象となる画像データ（検査画像）を含む。
【0032】
一方、第２入力部３２によって入力するデータは、主に、対象物２の製造条件に関する製造データ（第２対象データ）を含む。ここでは一例として、製造データとは、製造ラインに設置された（後述する）各種センサから直接的に検知されたセンサデータ、又はセンサデータに基づき推定された推定データ等である。つまり、第２入力部３２への入力データは、主に、対象物２の製造ラインの１又は複数の製造工程において適用された電流（値）、電圧（値）、温度、湿度、時間、又は流量等に関するデータ（実績データ）を含む。
【0033】
第１入力部３１及び第２入力部３２の各々は、データの入力のための１以上のインタフェースを含む。１以上のインタフェースは、データの入力のためのポート、及び分類システム１を操作するための入力装置を含む。入力装置は、例えば、キーボード、マウス、トラックボール、タッチパッド等を含み得る。
【0034】
第１入力部３１及び第２入力部３２の各々（入力ポート）は、処理部１００と電気的に接続されていて、上述した入力データを、処理部１００に送る。
【0035】
各画像データは、その対象物２の製造条件に関する製造データと対応付けされている。具体的には、製造された各々の対象物２には、その識別番号として「セルＩＤ」（図５参照）が付与されていて、各セルＩＤは、製造データ、及び画像（データ）と対応付けされている。言い換えると、第１入力部３１によって入力するデータは、画像データ、及び当該画像データと対応付けされたセルＩＤを含む。同様に、第２入力部３２によって入力するデータは、製造データ、及び当該製造データと対応付けされたセルＩＤを含む。したがって、処理部１００は、各入力部を通じて、画像データと製造データとを例えば別々のタイミングで取得しても、セルＩＤに基づき、画像データに対応する製造データを（又は製造データに対応する画像データを）特定可能である。
【0036】
出力部３３は、分類システム１からデータを出力するために用いられる。出力部３３により分類システム１から出力するデータの例としては、機械学習の実行のための情報、判定処理の実行のための情報、及び、分類システム１の操作のための情報を含み得る。特に出力部３３により出力するデータの例として、上述した「判定結果」の情報を含む。
【0037】
出力部３３は、データの出力のための１以上のインタフェースを含む。１以上のインタフェースは、データの出力のためのポート、データを表示するための画像表示装置、及び音声メッセージ及び報知音（警報音）を出力するスピーカ等を含む。画像表示装置は、液晶ディスプレイ又は有機ＥＬ（Electro Luminescence）ディスプレイ等の薄型のディスプレイ装置を含み得る。
【0038】
分類システム１を利用するユーザは、出力部３３の画像表示装置を通じて、例えば、複数の対象物２に対する判定結果に関するリストを閲覧できる。特に後述する報知部１４の報知内容は、例えば、出力部３３によって、ユーザに報知され得る。
【0039】
（２．３）第１モデル、及び第１モデル格納部
第１モデル（第１分類部１１）は、第１入力部３１から入力される画像データ（第１対象データ）の判定に使用される。第１モデルは、画像データと判定の結果との関係を学習した学習済みモデルである。言い換えると、第１分類部１１は、対象物２の画像データから複数の第１クラスＣ１（図７Ａ～図７Ｃ参照）を学習した学習済みモデルである。したがって、本実施形態では、第１分類部１１による分類結果である「第１分類結果」とは、学習済みモデルによる「結果」である。
第１モデル（第１分類部１１）は、第１入力部３１から入力される画像データ（第１対象データ）の判定に使用される。第１モデルは、画像データと判定の結果との関係を学習した学習済みモデルである。言い換えると、第１分類部１１は、対象物２の画像データから複数の第１クラスＣ１（図７Ａ～図７Ｃ参照）を学習した学習済みモデルである。したがって、本実施形態では、第１分類部１１による分類結果である「第１分類結果」とは、学習済みモデルによる「結果」である。
【0040】
第１分類部１１（第１モデル）は、対象物２の画像データを、複数の第１クラスＣ１の中の少なくとも１つの第１クラスＣ１に分類する。ここでは、複数の第１クラスＣ１は、分類カテゴリーとして、「クラス１」、「クラス２」及び「クラス３」（図７Ａ～図７Ｃ参照）を含み得る。また第１分類部１１は、対象物２の画像データを、画像データ内の、対象物２に発生している１又は複数の事象（ここでは欠陥５）の種別に基づいて分類する。そして、「クラス１」、「クラス２」及び「クラス３」は、欠陥種別「Ａ」、欠陥種別「Ｂ」、及び欠陥種別「Ｃ」と、一対一でそれぞれリンクしている。
【0041】
処理部１００の（後述する）学習部１０は、例えば学習用データセットを利用した教師あり学習により、学習済みモデル（第１モデル）を生成する。具体的には、例えば、設定者（人）が、目視によって「ＮＧ判定」された欠陥のある複数の画像データを、教師データとして、欠陥種別「Ａ」、欠陥種別「Ｂ」、及び欠陥種別「Ｃ」のいずれか１つ（又は複数）にラベリングする。そして、設定者は、そのラベリングしたデータを、例えば第１入力部３１から入力する。そして、学習部１０は、ラベリングされたデータ（画像データと欠陥種別）を用いて、機械学習により、第１モデル（画像分類モデル）を作成する。
【0042】
例えば、図５（データ群Ｄ１）を参照しながら説明すると、設定者の目視によって「ＮＧ判定」された「ファイル（File）１０」及び「ファイル４５」・・・の画像データは、それぞれ欠陥種別「Ａ」とラベリングされる。また設定者の目視によって「ＮＧ判定」された「ファイル６８」・・・の画像データは、それぞれ欠陥種別「Ｂ」とラベリングされる。また設定者の目視によって「ＮＧ判定」された「ファイル９０」・・・の画像データは、それぞれ欠陥種別「Ｃ」とラベリングされる。
【0043】
第１モデル格納部Ｐ１は、第１モデルを格納する。第１モデル格納部Ｐ１は、１以上の記憶装置を含む。記憶装置は、例えば、ＲＡＭ（Random Access Memory）、又はＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）である。
【0044】
（２．４）第２モデル、及び第２モデル格納部
第２モデル（第２分類部１２）は、第２入力部３２から入力される製造データ（第２対象データ）の判定に使用される。第２モデルは、学習済みモデルではなく、設定者（人）によって作成されたモデルである。第２分類部１２は、複数の第２クラスＣ２（図７Ｃ参照）の各々と、製造条件に関する特徴量（図５では、適用された電流（値）、電圧（値）、振動、回転数、圧力、湿度、時間、流量、又は温度）のデータ分布とが対応付けされたモデルである。したがって、本実施形態では、第２分類部１２による分類結果である「第２分類結果」とは、上記第２モデルによる「結果」である。
第２モデル（第２分類部１２）は、第２入力部３２から入力される製造データ（第２対象データ）の判定に使用される。第２モデルは、学習済みモデルではなく、設定者（人）によって作成されたモデルである。第２分類部１２は、複数の第２クラスＣ２（図７Ｃ参照）の各々と、製造条件に関する特徴量（図５では、適用された電流（値）、電圧（値）、振動、回転数、圧力、湿度、時間、流量、又は温度）のデータ分布とが対応付けされたモデルである。したがって、本実施形態では、第２分類部１２による分類結果である「第２分類結果」とは、上記第２モデルによる「結果」である。
【0045】
第２分類部１２（第２モデル）は、対象物２の製造データ（電流等の特徴量に関する数値）を、複数の第２クラスＣ２の中の少なくとも１つの第２クラスＣ２に分類する。複数の第２クラスＣ２は、分類カテゴリーとして、「クラス１」、「クラス２」及び「クラス３」を含み得る。「クラス１」、「クラス２」及び「クラス３」は、欠陥種別「Ａ」、欠陥種別「Ｂ」、及び欠陥種別「Ｃ」と、一対一でそれぞれリンクしている。つまり、ここでは、複数の第１クラスＣ１と複数の第２クラスＣ２とは、互いに一致する。
【0046】
ここでいう「一致」とは、第１クラスＣ１の数が、第２クラスＣ２の数と同じで、さらに第１クラスＣ１の「クラス１」～「クラス３」にリンクする欠陥種別も、第２クラスＣ２の「クラス１」～「クラス３」にリンクする欠陥種別と、同じであることを意味する。例えば、複数の第１クラスＣ１と複数の第２クラスＣ２とは、互いに不一致でもよい。例えば、第２クラスＣ２の数が、第１クラスＣ１の数より少なくてもよい。ただし、複数の第１クラスＣ１と複数の第２クラスＣ２とは、少なくとも１つ以上の欠陥種別について互いに同じであることが望ましい。
【0047】
ここでは一例として、対象物２は、図５に示すように、３つの工程（工程Ｘ、工程Ｙ、及び工程Ｚ）を経て製造されているものとする。言い換えると、対象物２の製造ラインは、工程Ｘ、工程Ｙ、及び工程Ｚを含む。図５では、左から順に工程Ｘ、工程Ｙ、及び工程Ｚと並んで図示されているが、実際の工程の順番を示すものではない。また工程の数も３つに限定されるものではない。
【0048】
図５のデータ群Ｄ１では、工程Ｘは、製造条件に関する特徴量の一例として、電流（値）、電圧（値）、及び振動に関する特徴量を含む。これらの特徴量は、工程Ｘの１又は複数のセンサで検知されたセンサデータである。工程Ｘにおける１又は複数のセンサは、例えば、工程Ｘで使用される生産設備（例えば加工機のアクチュエータ）の電流及び電圧を監視する電流センサ及び電圧センサを含み得る。また１又は複数のセンサは、工程Ｘにおける生産設備又は周囲環境で発生している振動を検知する振動センサを含み得る。特徴量は、各センサで直接的に検知されたセンサデータに限定されない。例えば、「振動」は、振動センサを用いる代わりに、工程Ｘで使用される生産設備（例えば交流モータ）の交流電流の波形における高調波成分に基づいて、推定されてもよい。
【0049】
図５のデータ群Ｄ１では、工程Ｙは、製造条件に関する特徴量の一例として、回転数、圧力、及び湿度に関する特徴量を含む。これらの特徴量は、工程Ｙの１又は複数のセンサで検知されたセンサデータである。工程Ｙにおける１又は複数のセンサは、例えば、工程Ｙで使用される生産設備（例えばモータ）の回転数を監視する角速度センサ、生産設備（例えばプレス機）の圧力を監視する圧力センサ、及び生産設備内の湿度又は周囲湿度を監視する湿度センサ等を含み得る。
【0050】
図５のデータ群Ｄ１では、工程Ｚは、製造条件に関する特徴量の一例として、時間、流量、及び温度に関する特徴量を含む。これらの特徴量は、工程Ｚの１又は複数のセンサで検知されたセンサデータである。工程Ｚにおける１又は複数のセンサは、例えば、工程Ｚの生産設備で使用される液剤の適用時間を監視する計時センサ、液剤の流量を監視する流量センサ、液剤の温度を監視する温度センサ等を含み得る。
【0051】
図５の例では、各工程の特徴量は３種類であるが、種類の数は特に限定されず、１種類又は２種類でもよいし、４種類以上でもよい。また工程間で種類の数が異なってもよい。
【0052】
各セルＩＤは、上述した工程Ｘ～Ｚにおける製造条件に関する特徴量に関して、実際にそのセルＩＤに対応する対象物２の製造時に適用されていた特徴量（数値）と対応付けされている。具体的には、セルＩＤ「１０２３２」に対応する対象物２は、「電流：２．３、電圧：１．２、振動：１．０」という特徴量の製造条件による工程Ｘを経て、製造されたことになる。そしてセルＩＤ「１０２３２」は、工程Ｘのセンサデータとして「電流：２．３、電圧：１．２、振動：１．０」と対応付けて管理されている。同様に各セルＩＤは、工程Ｙ、及び工程Ｚで適用されていた特徴量（数値）とも対応付けされている。
【0053】
このようなデータ群Ｄ１の管理は、外部の管理サーバで行われてもよいし、分類システム１（処理部１００）で行われてもよい。管理サーバ（又は処理部１００）は、各工程の１又は複数のセンサから、センサデータとして検知値（電気信号）を受信し、セルＩＤと対応付けて管理する。データ群Ｄ１は、液晶ディスプレイ又は有機ＥＬディスプレイ等の薄型のディスプレイ装置といった表示装置の表示画面（スマートフォン又はタブレット端末等の表示画面でもよい）上に表示されて、設定者（人）が閲覧できることが望ましい。
【0054】
また管理サーバ（又は処理部１００）は、撮像装置３で撮像された画像データ（検査画像）及びそのファイル（File）番号を受信し、セルＩＤと対応付けて、データ群Ｄ１の一部として管理する。上述した、設定者の目視で、欠陥のある複数の画像データを欠陥種別「Ａ」、欠陥種別「Ｂ」、及び欠陥種別「Ｃ」のいずれか１つ（又は複数）にラベリングする作業は、表示装置上のデータ群Ｄ１を見ながら、マウス操作等を通じて行えることが望ましい。
【0055】
図５では各特徴量（数値）の単位については、実際に使用される生産設備の種類によって異なり得るため、ここでは省略している。
【0056】
そして、設定者（人）は、目視によって、データ群Ｄ１を参照しながら、第２モデルを作成する。設定者は、データ群Ｄ１において、画像データが欠陥種別「Ａ」と判断されている全てのセルＩＤに関する各特徴量（全部で９種類の特徴量の各々）の数値の集まり（クラスタ）のデータ分布を、欠陥種別「Ａ」と対応付ける。つまり、各特徴量の数値のクラスタは、製造条件に関する特徴量空間ＳＰ１（図６参照）において、規定領域Ｒ０として規定される。言い換えると、第２分類結果は、製造条件に関する特徴量空間ＳＰ１において、複数の第２クラスＣ２にそれぞれ対応する複数の規定領域Ｒ０を含む。
【0057】
図６では、説明の便宜上、特徴量空間ＳＰ１を、より理解し易くするために、二次元（横軸及び縦軸）のグラフで表現している。例えば、図６では、Ｘ軸（横軸）には、９種類の特徴量（電流、電圧、振動・・・）の中のいずれか１つ（例えば「電流」）が適用され、Ｙ軸（縦軸）には、他のずれか１つ（例えば「電圧」）が適用されている。しかし、実際には９種類の特徴量（電流、電圧、振動・・・）の全てについて考慮すると、特徴量空間ＳＰ１の次元数は「９」となる。つまり、第２モデルは、９次元の特徴量空間ＳＰ１として作成され、特徴量空間ＳＰ１の中には、複数の第２クラスＣ２にそれぞれ対応する複数の規定領域Ｒ０が規定される。第２モデルに関するデータは、例えば第２入力部３２から入力される。
【0058】
例えば画像データが欠陥種別「Ａ」に該当するセルＩＤ「１０２３２」、「１０５０８」・・・の工程Ｘの「電流」の数値「２．３」、「４．２」・・・に対する同工程Ｘの「電圧」の数値「１．２」、「０．９」・・・のデータを特徴量空間ＳＰ１に反映させる。その結果、データ分布が、ある程度に１つのクラスタ領域を形成する。この領域を「クラス１」にリンクする欠陥種別「Ａ」に対応する第一規定領域Ｒ１として規定する。言い換えると、欠陥種別「Ａ」に該当する対象物２の「電流」対「電圧」に関する多数のデータを点（プロット）で示した場合に、１つのクラスタ領域として形成されたものを、第一規定領域Ｒ１とする。図６の例では、第一規定領域Ｒ１は、Ｙ軸に沿って長い楕円形状の領域である。ここで、設定者は、第一規定領域Ｒ１の中心Ａ１（重心でもよい）の位置（Ｘ－Ｙ座標）を決定する。
【0059】
詳細な説明は省略するが、同様に、欠陥種別「Ｂ」に該当する対象物２の「電流」対「電圧」に関する多数のデータをプロットで示した場合に、１つのクラスタ領域として形成されたものを、Ｘ軸に沿って長い楕円形状の第二規定領域Ｒ２とする（図６参照）。また欠陥種別「Ｃ」に該当する対象物２の「電流」対「電圧」に関する多数のデータをプロットで示した場合に、１つのクラスタ領域として形成されたものを、やや小さい楕円形状の第三規定領域Ｒ３とする（図６参照）。設定者は、第二規定領域Ｒ２の中心Ａ２の位置、及び第三規定領域Ｒ３の中心Ａ３の位置も決定する。
【0060】
図６の例では、特徴量空間ＳＰ１の次元数が「２」であるが、実際の「９」に増えても、規定領域Ｒ０の数は、第２クラスＣ２の数（欠陥種別の数）と同じで、３つである。ただし、例えば工程別に規定領域Ｒ０を分けてもよい。工程Ｘ（３種類の特徴量）で、欠陥種別「Ａ」～「Ｃ」にそれぞれ対応する３つの規定領域Ｒ０を設定し、同様に工程Ｙ、及び工程Ｚの各々でも、３つの規定領域Ｒ０を設定してもよい（つまり、規定領域Ｒ０の数は９つ）。
【0061】
第２モデル格納部Ｐ２は、第２モデルを格納する。第２モデル格納部Ｐ２は、１以上の記憶装置を含む。記憶装置は、例えば、ＲＡＭ、又はＥＥＰＲＯＭである。第２モデル格納部Ｐ２は、処理部１００の外部に設けられているが、処理部１００が内蔵するメモリに相当してもよい。また第２モデル格納部Ｐ２と第１モデル格納部Ｐ１とは別々に設けられているが、１つの格納部によって兼用されてもよい。
【0062】
（２．５）処理部
以下、処理部１００について説明する。
以下、処理部１００について説明する。
【0063】
処理部１００は、分類システム１の全体的な制御、すなわち、第１入力部３１、第２入力部３２、出力部３３、第１モデル格納部Ｐ１、及び第２モデル格納部Ｐ２を制御するように構成される。処理部１００は、例えば、１以上のプロセッサ（マイクロプロセッサ）と１以上のメモリとを含むコンピュータシステムにより実現され得る。つまり、１以上のプロセッサが１以上のメモリに記憶された１以上のプログラム（アプリケーション）を実行することで、処理部１００として機能する。プログラムは、ここでは処理部１００のメモリに予め記録されているが、インターネット等の電気通信回線を通じて、又はメモリカード等の非一時的な記録媒体に記録されて提供されてもよい。
【0064】
処理部１００は、図１に示すように、学習部１０、判定部１３、及び報知部１４を有している。言い換えると、処理部１００は、学習部１０としての機能、判定部１３としての機能、及び報知部１４としての機能を有している。
【0065】
学習部１０は、画像データの判定を行う学習済みモデル（第１分類部１１である第１モデル）を生成するための学習方法を実行する。つまり、学習部１０は、主に学習フェーズに関する処理を担う。学習方法では、複数の画像データが用いられる。学習部１０は、上述の通り、教師あり学習により、第１モデルを生成する。すなわち、学習部１０は、設定者が予め「ＮＧ判定」された複数の画像データを欠陥種別「Ａ」～「Ｃ」のいずれか１つ（又は複数）にラベリングしたデータを用いて、機械学習により、第１モデルを作成する。つまり、対象物２の画像Ｍ１が学習画像として利用される。学習画像には、図２Ａ～図２Ｃに示すような「ＮＧ判定」された欠陥のある対象物２の画像Ｍ１だけでなく、「ＯＫ判定」された欠陥のない対象物２の画像も、「基準画像」データとして含まれ得る。
【0066】
判定部１３は、主に、学習済みモデル（第１モデル）等を用いた、適用フェーズに関する処理を行う。判定部１３は、第１分類部１１による第１分類結果、及び第２分類部１２による第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定するように構成される。そして、判定部１３は、決定した一方、又は両方の分類結果に基づいて、対象物２のクラスを判定するように構成される。
【0067】
ここでは一例として、判定部１３は、第１分類結果を用いることを必須とする。つまり、判定部１３は、クラス判定の対象となる対象物２（着目する対象物２）の画像データを、クラス判定のための主たる材料とし、その対象物２の製造データを、クラス判定のための補助的な材料として用いる。したがって、判定部１３は、第１分類結果に基づいて、対象物２のクラスを判定する第１判定処理と、第１分類結果だけでは判定しにくい場合に、追加的に第２分類結果も考慮して、対象物２のクラスを判定する第２判定処理とを実行する。
【0068】
報知部１４は、判定部１３における判定結果に応じて、所定の処理を実行する機能部６に相当する。言い換えると、分類システム１（処理部１００）は、機能部６を更に備えている。ここでは一例として、機能部６の所定の処理は、報知処理を含む。機能部６（報知部１４）は、例えば、出力部３３における画像表示装置への画面表示、又はスピーカからの音声メッセージや報知音（警報音等も含む）、又は画面表示とスピーカ出力の両方を通じて、判定結果をユーザ（例えば対象物２の検査者）に報知する。
【0069】
機能部６の所定の処理は、報知処理のみに限定されない。ここでは学習部１０も、機能部６に相当する。機能部６（学習部１０）の所定の処理は、判定部１３の判定結果を、第１モデル及び第２モデルの少なくとも一方に反映させる処理を更に含む。ここでは一例として、学習部１０は、判定部１３の判定結果を用いて、第１モデルの再学習を実行する。
【0070】
なお、機能部６の所定の処理は、外部へ情報提供するための処理を含んでもよい。さらに例えば、機能部６の所定の処理は、判定部１３の判定結果に基づき、製造ラインの生産設備における制御系に対して制御信号を送信するようなフィードバック制御の処理を含んでもよい。
【0071】
［判定処理］
本実施形態では、画像データを、製造データよりも信頼性が高いものとし、基本的には、画像データによる判定結果を優先する。したがって、判定部１３は、先に第１モデル格納部Ｐ１内の第１モデル（第１分類部１１）を参照して、クラス判定の対象となる画像データから、その対象物２がどのクラスに該当するかを判定する。つまり、判定部１３は、先に第１分類結果を用いて、対象物２のクラスを判定する。ただし、判定部１３は、第１分類結果において、対象物２のクラス判定に関する不確定要素が存在する場合、第２分類結果を用いて、対象物２のクラスを判定する。
本実施形態では、画像データを、製造データよりも信頼性が高いものとし、基本的には、画像データによる判定結果を優先する。したがって、判定部１３は、先に第１モデル格納部Ｐ１内の第１モデル（第１分類部１１）を参照して、クラス判定の対象となる画像データから、その対象物２がどのクラスに該当するかを判定する。つまり、判定部１３は、先に第１分類結果を用いて、対象物２のクラスを判定する。ただし、判定部１３は、第１分類結果において、対象物２のクラス判定に関する不確定要素が存在する場合、第２分類結果を用いて、対象物２のクラスを判定する。
【0072】
先ず図７Ａを参照して説明する。図７Ａの「画像１」の対象物２には、比較的大きなサイズの欠陥５（カーブ状の凹み５２）が「１つ」発生している。判定部１３は、第１モデルを用いて、その欠陥５が、欠陥種別「Ａ」及び欠陥種別「Ｃ」とは不一致で、欠陥種別「Ｂ」に一致すると判定する。図７Ａ～図７Ｃにおいて、印「〇」は、「一致」を意味し、印「×」は「不一致」を意味する。
【0073】
ここで欠陥５の発生位置（空間位置）に関する判定について説明する。判定部１３は、例えば、Ｇｒａｄ－ＣＡＭの技術を利用したヒートマップにより、欠陥５の空間位置を認識している。図４Ａは、欠陥５がある対象物２の画像Ｍ１を示し、図４Ｂは、図４Ａにおける対象物２のヒートマップである画像Ｍ２を示す。画像Ｍ２では、判定部１３が注視している欠陥５の範囲Ｇ１が、カラーマップ（図４Ｂではグレイスケールで図示）で表示される。判定部１３は、欠陥５の空間位置及び数を、ヒートマップ上における座標で認識している。
【0074】
したがって、図７Ａの「画像１」の場合では、判定部１３は、ヒートマップによって、欠陥５の空間位置（縁部２０の右上）、及び欠陥５の数（１つ）を認識している。
【0075】
判定部１３は、第１判定処理において、欠陥５の数が１つである場合、第２判定処理を実行しない。要するに、この時点で、対象物２のクラスが、欠陥種別「Ｂ」がリンクしている分類カテゴリーとして「クラス２」に確定される。処理部１００は、出力部３３より、「画像１」の対象物２が「クラス２」であることを出力する。
【0076】
次に図７Ｂを参照して説明する。図７Ｂの「画像２」の対象物２には、欠陥５が「２つ」発生している。２つの欠陥５は、それぞれ、カーブ状の凹み５２と、線傷５３とである。判定部１３は、第１モデルを用いて、その２つの欠陥５が、それぞれ、欠陥種別「Ｂ」と欠陥種別「Ｃ」とに一致し、いずれの欠陥５も欠陥種別「Ａ」とは不一致であると判定する。特に上述の通り、判定部１３は、ヒートマップによって、カーブ状の凹み５２の空間位置（縁部２０の右上）、線傷５３の空間位置（底面２２の左下）、及び欠陥５の数（２つ）を認識している。つまり、判定部１３は、２つの欠陥５の空間位置が、互いに異なることを認識している。
【0077】
判定部１３は、第１判定処理において、欠陥５の数が複数であり、ただし、それらの空間位置が互いに異なる場合、第２判定処理を実行しない。要するに、この時点で、対象物２のクラスが、欠陥種別「Ｂ」と欠陥種別「Ｃ」とがそれぞれリンクしている分類カテゴリーとして「クラス２」及び「クラス３」に確定される。処理部１００は、出力部３３より、「画像２」の対象物２が「クラス２」及び「クラス３」であることを出力する。
【0078】
要するに、本実施形態の判定部１３は、第１分類結果が所定の確定条件を満たす場合、第２分類結果を用いずに、対象物２のクラスを判定する。ここでいう「所定の確定条件」とは、例えば、「欠陥５の数が１つであること」、又は「欠陥５の数が複数の場合に、同一の空間位置に存在しないこと」である。また上述の通り、本実施形態では、判定部１３は、画像データ内における１又は複数の事象（ここでは欠陥５）の（空間）位置に関する情報を更に用いて、対象物２のクラスを判定する。
【0079】
更に図７Ｃを参照して説明する。図７Ｃの「画像３」の対象物２には、一見すると小さい１つの欠陥５が発生している。この「画像３」は、図３を参照して説明したように、欠陥５のサイズが比較的に小さい対象物２の画像である。そのため、判定部１３は、図７Ｃの例において、画像データだけによるクラス判定では、その欠陥５の数を２つ（フラット状の凹み５１及びカーブ状の凹み５２）と判定している。結果的に、判定部１３は、１つの欠陥５を、欠陥種別「Ａ」及び欠陥種別「Ｂ」に一致すると判定している。しかし、判定部１３は、ヒートマップによって、フラット状の凹み５１とカーブ状の凹み５２の空間位置が互いに同じであることも認識している。
【0080】
図７Ｃの「画像３」では、上述した「所定の確定条件」が満たされておらず、判定部１３は、第２判定処理を実行する。言い換えると、「所定の確定条件が満たされないこと」が、「不確定要素」の１つといえる。不確定要素がある場合に第２判定処理を実行することで、第１分類結果における分類誤り等を見つける可能性を高めることができる。
【0081】
判定部１３は、第２判定処理において、第２モデル格納部Ｐ２内の第２モデルを参照して、欠陥５が、欠陥種別「Ａ」及び欠陥種別「Ｂ」のうちどちらであるかを判定する。つまり、判定部１３は、第２判定処理では、３つの第２クラスＣ２（「クラス１」～「クラス３」）から１つの第２クラスを決定するのではない。判定部１３は、第１判定処理による判定結果を考慮して、２つの第２クラスＣ２（「クラス１」及び「クラス２」）に絞り込んだ上でどちらかを決定する。ここでは、図７Ｃに示すように、２つの第２クラスＣ２（「クラス１」及び「クラス２」）は、２つの第１クラスＣ１（「クラス１」及び「クラス２」）と一致する。
【0082】
具体的には、判定部１３は、第２分類結果を用いる場合、特徴量空間ＳＰ１における第２対象データの特徴量から複数の規定領域Ｒ０の各々までの距離Ｌ０（図６参照）に基づき、対象物２のクラスを判定する。ただし、上述の通り、判定部１３は、既に第２クラスＣ２を２つに絞り込んでいる。そのため、判定部１３は、３つの規定領域Ｒ０のうち、「クラス１」及び「クラス２」、すなわち、欠陥種別「Ａ」及び欠陥種別「Ｂ」にそれぞれ対応する第一規定領域Ｒ１及び第二規定領域Ｒ２に着目する。判定部１３は、クラス判定の対象となる対象物２の製造データＫ１から、第一規定領域Ｒ１及び第二規定領域Ｒ２の中心Ａ１、Ａ２の各々までの距離Ｌ０を演算する。図６の例では、上述の通り、特徴量空間ＳＰ１を２次元で説明しているため、製造データＫ１は、電流値Ｉ１と電圧値Ｖ１の２つの特徴量に関するデータである。そして、判定部１３は、２つの距離Ｌ０を互いに比較し、距離Ｌ０が短い方の規定領域Ｒ０に対応する欠陥種別が、その着目する対象物２の欠陥種別であると判定する。このように距離Ｌ０に基づく判定を行うことで、対象物２のクラス判定に関する信頼性を更に向上できる。
【0083】
図６及び図７Ｃの例では、製造データＫ１から第一規定領域Ｒ１の中心Ａ１までの距離の方が、製造データＫ１から第二規定領域Ｒ２の中心Ａ２までの距離よりも短い。そのため、判定部１３は、第一規定領域Ｒ１に対応する欠陥種別「Ａ」が、「画像３」の対象物２の欠陥種別であると判定する。つまり、対象物２のクラスは、製造データ（センサデータ）による判定を経て、欠陥種別「Ａ」とリンクしている「クラス１」に確定される。処理部１００は、出力部３３より、「画像３」の対象物２が「クラス１」であることを出力する。
【0084】
特にこの場合、第１モデルの学習不足の可能性がある。学習部１０は、第１判定処理で欠陥種別「Ａ」及び欠陥種別「Ｂ」と判定されたこの画像データを、第２判定処理の判定結果である欠陥種別「Ａ」と紐づけして、教師データとして追加する。つまり、学習部１０は、判定部１３の判定結果を用いて、第１モデルの再学習を実行する。
【0085】
［動作説明］
上述した判定部１３の判定処理の動作を、図８に示すフローチャートを参照しながら簡単に説明すると以下の通りである。なお、ここでは説明を省略するが、第１判定処理において、欠陥５の数がゼロ（０）の場合については、処理部１００は、出力部３３より、着目する対象物２が正常である判定結果を出力する。
上述した判定部１３の判定処理の動作を、図８に示すフローチャートを参照しながら簡単に説明すると以下の通りである。なお、ここでは説明を省略するが、第１判定処理において、欠陥５の数がゼロ（０）の場合については、処理部１００は、出力部３３より、着目する対象物２が正常である判定結果を出力する。
【0086】
判定部１３は、着目する対象物２の画像データについて、欠陥種別の数（欠陥数）が２つ以上か否かを判定する（ステップＳ１）。欠陥種別の数が１つであれば（ステップＳ１：Ｎｏ）、出力部３３は、第１判定処理で確定されたクラスを、判定結果として出力する（ステップＳ４）。
【0087】
一方、欠陥種別の数が２つ以上であれば（ステップＳ１：Ｙｅｓ）、判定部１３は、判定根拠（２つ以上の欠陥種別）が同一空間位置であるか否かを判定する（ステップＳ２）。判定根拠が異なる空間位置であれば（ステップＳ２：Ｎｏ）、出力部３３は、第１判定処理で確定されたクラスを、判定結果として出力する（ステップＳ４）。
【0088】
判定根拠が同一空間位置であれば（ステップＳ２：Ｙｅｓ）、判定部１３は、第２判定処理を実行して、特徴量空間ＳＰ１内における距離Ｌ０に基づき、着目する対象物２のクラスを判定する（ステップＳ３）。そして、出力部３３は、第２判定処理で確定されたクラスを、判定結果として出力する（ステップＳ４）。
【0089】
このように、第１分類結果が２つ以上の第１クラスＣ１に分類した結果を示す場合において、判定部１３は、２つ以上の第１クラスＣ１に対応する２つ以上の事象（欠陥５）の位置が、同じ位置であれば、第２分類結果を用いて、対象物２のクラスを判定する。また判定部１３は、２つ以上の第１クラスＣ１に対応する２つ以上の事象（欠陥５）の位置が、異なる位置であれば、第２分類結果を用いずに、対象物２のクラスを判定する。
【0090】
［利点］
以上の通り、本実施形態に係る分類システム１では、判定部１３は、第１分類結果、及び第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方の分類結果に基づいて、対象物２のクラスを判定する。つまり、必要に応じて、第１分類結果及び第２分類結果の両方に基づいて、対象物２のクラス判定を実施する場合もある。そのため、画像データだけを頼りに、又は製造データだけを頼りに、対象物２のクラスを判定する場合と比べて、対象物２のクラス判定に関する信頼性の向上を図ることができる。
以上の通り、本実施形態に係る分類システム１では、判定部１３は、第１分類結果、及び第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方の分類結果に基づいて、対象物２のクラスを判定する。つまり、必要に応じて、第１分類結果及び第２分類結果の両方に基づいて、対象物２のクラス判定を実施する場合もある。そのため、画像データだけを頼りに、又は製造データだけを頼りに、対象物２のクラスを判定する場合と比べて、対象物２のクラス判定に関する信頼性の向上を図ることができる。
【0091】
また複数の第１クラスＣ１と複数の第２クラスＣ２とが互いに一致するように設定されているため、複数の第１クラスＣ１と複数の第２クラスＣ２とで、異なるクラスが混じる場合に比べて、対象物２のクラス判定に関する信頼性を更に向上できる。
【0092】
また判定部１３は、第１分類結果が所定の確定条件を満たす場合、第２分類結果を用いずに、対象物２のクラスを判定する。つまり、判定部１３は、第２判定処理を実行しない場合がある。そのため、クラス判定に関する処理負荷を軽減できる。また例えば対象物２の検査時間の短縮につながる。
【0093】
さらに判定部１３は、画像データ内における欠陥５の位置に関する情報を更に用いて、対象物２のクラスを判定している。結果的に、対象物２のクラス判定に関する信頼性を更に向上できる。特に、２つ以上の欠陥５の位置が同じ位置であれば、第２分類結果を用いて、対象物２のクラスを判定し、２つ以上の欠陥５の位置が異なる位置であれば、第２分類結果を用いずに、対象物２のクラスを判定する。したがって、対象物２のクラス判定に関する信頼性を更に向上でき、また２つ以上の事象の位置が異なる位置である場合、クラス判定に関する処理負荷を軽減できる。
【0094】
（３）変形例
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係る分類システム１と同様の機能は、分類方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。
上記実施形態は、本開示の様々な実施形態の一つに過ぎない。上記実施形態は、本開示の目的を達成できれば、設計等に応じて種々の変更が可能である。また、上記実施形態に係る分類システム１と同様の機能は、分類方法、コンピュータプログラム、又はコンピュータプログラムを記録した非一時的記録媒体等で具現化されてもよい。
【0095】
具体的には、一の態様に係る分類方法は、第１分類ステップと第２分類ステップと判定ステップとを備えている。第１分類ステップにて、第１対象データを、複数の第１クラスＣ１の中の少なくとも１つの第１クラスＣ１に分類する。第２分類ステップにて、第２対象データを、複数の第２クラスＣ２の中の少なくとも１つの第２クラスＣ２に分類する。判定ステップにて、第１分類ステップによる分類結果である第１分類結果、及び第２分類ステップによる分類結果である第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物のクラスを判定する。第１対象データは、対象物２の画像データである。第２対象データは、対象物２の製造条件に関する製造データである。
【0096】
以下、上記実施形態の変形例を列挙する。以下に説明する変形例は、適宜組み合わせて適用可能である。以下では、上記実施形態を「基本例」と呼ぶこともある。
【0097】
本開示における分類システム１は、コンピュータシステムを含んでいる。コンピュータシステムは、ハードウェアとしてのプロセッサ及びメモリを主構成とする。コンピュータシステムのメモリに記録されたプログラムをプロセッサが実行することによって、本開示における分類システム１としての機能が実現される。プログラムは、コンピュータシステムのメモリに予め記録されてもよく、電気通信回線を通じて提供されてもよく、コンピュータシステムで読み取り可能なメモリカード、光学ディスク、ハードディスクドライブ等の非一時的記録媒体に記録されて提供されてもよい。コンピュータシステムのプロセッサは、半導体集積回路（ＩＣ）又は大規模集積回路（ＬＳＩ）を含む１または複数の電子回路で構成される。ここでいうＩＣ又はＬＳＩ等の集積回路は、集積の度合いによって呼び方が異なっており、システムＬＳＩ、ＶＬＳＩ（Very Large Scale Integration）、又はＵＬＳＩ（Ultra Large Scale Integration）と呼ばれる集積回路を含む。さらに、ＬＳＩの製造後にプログラムされる、ＦＰＧＡ（Field-Programmable Gate Array）、又はＬＳＩ内部の接合関係の再構成若しくはＬＳＩ内部の回路区画の再構成が可能な論理デバイスについても、プロセッサとして採用することができる。複数の電子回路は、１つのチップに集約されていてもよいし、複数のチップに分散して設けられていてもよい。複数のチップは、１つの装置に集約されていてもよいし、複数の装置に分散して設けられていてもよい。ここでいうコンピュータシステムは、１以上のプロセッサ及び１以上のメモリを有するマイクロコントローラを含む。したがって、マイクロコントローラについても、半導体集積回路又は大規模集積回路を含む１または複数の電子回路で構成される。
【0098】
また、分類システム１における複数の機能が、１つのハウジング内に集約されていることは必須の構成ではない。例えば、分類システム１の構成要素は、複数のハウジングに分散して設けられていてもよい。反対に、分類システム１における複数の機能が、１つのハウジング内に集約されてもよい。さらに、分類システム１の少なくとも一部の機能、例えば、分類システム１の一部の機能がクラウド（クラウドコンピューティング）等によって実現されてもよい。
【0099】
（３．１）第一変形例
以下、分類システム１の変形例（第一変形例）について、図９～図１１を参照しながら説明する。以下の本変形例において、基本例の分類システム１と実質的に共通する構成要素については、同じ参照符号を付与して適宜にその説明を省略する場合がある。
以下、分類システム１の変形例（第一変形例）について、図９～図１１を参照しながら説明する。以下の本変形例において、基本例の分類システム１と実質的に共通する構成要素については、同じ参照符号を付与して適宜にその説明を省略する場合がある。
【0100】
図９は、分類システム１の第一変形例における、新しい欠陥の画像データに関する説明図である。図１０は、分類システム１の第一変形例の動作を説明するための図であり、第２モデルに関する概念図である。図１１は、分類システム１の第一変形例における動作に関するフローチャートである。判定部１３が、第１モデルを用いた適用フェーズに関する処理（第１判定処理）を行っている中で、第１モデルでは学習されていない新たな（未知の）欠陥が見つかる場合がある。例えば、図９に示す「画像４」の対象物２には、全体的に楕円状に歪んだ欠陥５が発生している。このような欠陥５が過去に一度も発生したことが無かった場合、教師データとして、対応する欠陥種別が設定されていない可能性がある。
【0101】
そこで本変形例では、図９に示すように、複数の第１クラスＣ１は、欠陥種別「不明」とリンクした分類カテゴリーとして「その他」を更に含む。
【0102】
本変形例の判定部１３は、第１判定処理において、少なくとも画像データ内に欠陥５が存在することを判定した一方で、その欠陥５が欠陥種別「Ａ」～「Ｃ」のいずれにも該当しないと判定した場合、その欠陥５を、欠陥種別「不明」と判定する。
【0103】
ここで基本例の判定部１３は、第１分類結果が「所定の確定条件」（欠陥５の数が１つであること、又は欠陥５の数が複数の場合に同一の空間位置に存在しないこと）が満たされた場合に、第２分類結果を用いずに、クラス判定を行っていた。しかし、本変形例の判定部１３は、欠陥種別「不明」の欠陥５が存在する場合、例外的に、欠陥５の数及び空間位置を問わずに、第２判定処理を実行する。つまり、欠陥種別「不明」の欠陥５は「不確定要素」の１つといえる。
【0104】
具体的には、例えば、欠陥５の数が、１つ（欠陥種別「不明」の欠陥５）のみであっても、本変形例の判定部１３は、第２判定処理を実行する。また欠陥種別「不明」の欠陥５の他にも、例えば欠陥種別「Ａ」の欠陥５が存在し、かつこれらが異なる空間位置に存在しても、本変形例の判定部１３は、第２判定処理を実行する。
【0105】
欠陥種別「不明」の欠陥５が存在する場合に欠陥５の数及び空間位置を問わずに第２判定処理を実行する理由として、以下の２つが挙げられる。
【0106】
第１の理由として、欠陥種別「不明」の欠陥５が、上述の通り、実際に新しい欠陥５である可能性がある。第２の理由として、実際には、欠陥種別「Ａ」～「Ｃ」のいずれかに該当するべきものが、第１モデルの学習不足によって、誤って欠陥種別「不明」と判定されている可能性がある。
【0107】
本変形例の判定部１３は、第２判定処理において、３つの規定領域Ｒ０（図１０参照）全てに着目する。本変形例の判定部１３は、図１０に示すように、クラス判定の対象となる対象物２の製造データＫ２から、３つの規定領域Ｒ０の各々の中心までの距離Ｌ０を演算する。図１０の例でも図６と同様に、説明の便宜上、特徴量空間ＳＰ１を２次元のグラフで表現していて、製造データＫ２は、一例として、電流値Ｉ２と電圧値Ｖ２の２つの特徴量に関するデータである。
【0108】
ここで本変形例の判定部１３は、３つの規定領域Ｒ０の中心Ａ１～Ａ３までの３つの距離Ｌ０の中で最も短い距離Ｌ０（以下、「対象距離Ｌ０」と呼ぶ）が、閾値以上か閾値未満かを判定する。対象距離Ｌ０が閾値以上であれば、つまり製造データＫ２がどの規定領域Ｒ０の中心からも比較的離れていれば、判定部１３は、第１判定処理で判定された欠陥種別「不明」の欠陥５が、「新しい欠陥」であると決定する。この場合、本変形例の判定部１３は、「クラス１」～「クラス３」のいずれにも該当しないため、出力部３３からクラスの判定結果として出力しない。その代わりに、本変形例の報知部１４は、例えば、出力部３３における画像表示装置への画面表示、又はスピーカからの音声メッセージや警報音の出力、又は画面表示とスピーカ出力の両方を通じて、新しい欠陥の発生をユーザ（例えば対象物２の検査者）に警告する。
【0109】
また本変形例の判定部１３は、対象距離Ｌ０が閾値未満であり、かつその対象距離Ｌ０と他の距離Ｌ０との差が所定値以上である場合、対象距離Ｌ０の規定領域Ｒ０に対応する欠陥種別がその対象物２の欠陥種別であると判定する。つまり、判定部１３は、第１判定処理では、欠陥種別「不明」と判定されていたが、第２判定処理では、製造データＫ２が、欠陥種別「Ａ」～「Ｃ」のうちある１つの欠陥種別に対応する規定領域Ｒ０に、とりわけ近いと判定すると、その欠陥種別に決定する。したがって、対象物２のクラスは、製造データによる判定を経て、その欠陥種別（例えば欠陥種別「Ａ」）とリンクしているクラス（例えば「クラス１」）に確定される。処理部１００は、出力部３３より、対象物２が「クラス１」であることを出力する。
【0110】
特にこの場合、第２の理由で述べた通り、第１モデルの学習不足の可能性がある。そこで、学習部１０は、第１判定処理で欠陥種別「不明」と判定されたこの画像データを、第２判定処理の判定結果である欠陥種別「Ａ」と紐づけして、教師データとして追加する。つまり、学習部１０は、判定部１３の判定結果を用いて、第１モデルの再学習を実行する。
【0111】
ところで、製造データＫ２が、欠陥種別「Ａ」～「Ｃ」のうち２つ以上の欠陥種別に対応する規定領域Ｒ０に近い場合もあり得る。本変形例の判定部１３は、対象距離Ｌ０が上記の閾値未満であり、かつその対象距離Ｌ０と他の距離Ｌ０との差が所定値未満である場合、これらの距離Ｌ０の規定領域Ｒ０に対応する２つ以上の欠陥種別に決定する。この場合、判定部１３は、２つ以上のクラスが存在することになり、整合性が取りにくくなるため、出力部３３からクラスの判定結果として出力しない。その代わりに、報知部１４は、出力部３３における画像表示装置への画面表示、又はスピーカからの音声メッセージや警報音の出力、又は画面表示とスピーカ出力の両方を通じて、新しい欠陥が発生している可能性が高い旨をユーザに警告する。
【0112】
［動作説明］
上述した本変形例の判定部１３の判定処理の動作を、図１１に示すフローチャートを参照しながら簡単に説明すると以下の通りである。
上述した本変形例の判定部１３の判定処理の動作を、図１１に示すフローチャートを参照しながら簡単に説明すると以下の通りである。
【0113】
判定部１３は、着目する対象物２の画像データについて、欠陥種別「不明」が存在するか否かを判定する（ステップＳ１１）。欠陥種別「不明」が存在しなければ（ステップＳ１１：Ｎｏ）、基本例と同様に、判定した欠陥種別に基づき、そのまま判定結果として出力するか、或いは第２判定処理を実行するかを決定する（ステップＳ１２：図８のステップＳ１へ）。
【0114】
一方、欠陥種別「不明」が存在すれば（ステップＳ１１：Ｙｅｓ）、判定部１３は、対象距離Ｌ０に基づき、閾値との比較判定を行う（ステップＳ１３）。対象距離Ｌ０が閾値以上であれば（ステップＳ１３：Ｙｅｓ）、報知部１４は、新しい欠陥の発生をユーザに警告する（ステップＳ１４）。
【0115】
また対象距離Ｌ０が閾値未満であれば（ステップＳ１３：Ｎｏ）、判定部１３は、対象距離Ｌ０と他の距離Ｌ０との差と、所定値との比較判定を行う（ステップＳ１５）。この差が所定値以上であれば（ステップＳ１５：Ｙｅｓ）、判定部１３は、対象距離Ｌ０に対応する欠陥種別に決定し、判定結果を出力し（ステップＳ１６）、さらに学習部１０は、第１モデルの再学習を実行する（ステップＳ１７）。上記の差が所定値未満であれば（ステップＳ１５：Ｎｏ）、判定部１３は、新しい欠陥の発生をユーザに警告する（ステップＳ１４）。
【0116】
この構成によれば、新しい欠陥５が発生した場合にも、対象物２のクラス判定に関する信頼性の向上を図ることができる。また第１モデルの学習不足も改善され得る。特に新しい欠陥５が発生した場合に、ユーザに報知するため、新しい欠陥５の発生が見過されてしまう可能性を低減できる。
【0117】
（３．２）第二変形例
以下、分類システム１の変形例（第二変形例）について、図１２を参照しながら説明する。以下の本変形例において、基本例の分類システム１と実質的に共通する構成要素については、同じ参照符号を付与して適宜にその説明を省略する場合がある。
以下、分類システム１の変形例（第二変形例）について、図１２を参照しながら説明する。以下の本変形例において、基本例の分類システム１と実質的に共通する構成要素については、同じ参照符号を付与して適宜にその説明を省略する場合がある。
【0118】
第一変形例では、判定部１３が、第１判定処理で、欠陥種別「不明」の欠陥５の存在を認識した上で、第２判定処理で、その欠陥５が新しいものかどうかを判定可能となっている。本変形例の判定部１３は、第１判定処理では、欠陥種別「不明」の存在を認識していなくても、第２判定処理でその存在を認識するように構成される。
【0119】
以下では、本変形例の判定部１３が、第１判定処理で、２つ以上の欠陥種別（例えば「Ａ」と「Ｂ」の２つ）の空間位置が同じであると判定して、第２判定処理を実行する場合について説明する。
【0120】
ここで、基本例の判定部１３は、第１判定処理で判定した欠陥種別「Ａ」及び「Ｂ」に対応する第一規定領域Ｒ１及び第二規定領域Ｒ２のみに絞って、２つの距離Ｌ０同士の比較を行っていた。しかし、本変形例の判定部１３は、全ての規定領域Ｒ０の中から、最も短い対象距離Ｌ０を決定する点で、基本例と異なる。
【0121】
本変形例の判定部１３は、欠陥種別「Ａ」及び「Ｂ」の空間位置が同じである場合、先ず対象距離Ｌ０に基づき、閾値との比較判定を行う。対象距離Ｌ０が閾値以上であれば、判定部１３は、欠陥種別「不明」と判定する。ただし、第一変形例とは異なり、判定部１３は、「新たな欠陥」とは判定せずに、第１判定処理によって判定された欠陥種別「Ａ」及び「Ｂ」を信頼する。判定部１３は、欠陥種別「Ａ」及び「Ｂ」のうち、距離Ｌ０が短い方の規定領域Ｒ０に対応する欠陥種別に決定して、判定結果を出力する。
【0122】
一方、本変形例の判定部１３は、対象距離Ｌ０が閾値未満であれば、次に、対象距離Ｌ０と他の距離Ｌ０との差と、所定値との比較判定を行う。その対象距離Ｌ０と他の距離Ｌ０との差が所定値以上であれば、対象距離Ｌ０に対応する（１つの）欠陥種別に決定して、判定結果を出力する。さらに第１モデルの学習不足に起因して、画像データによる判定が誤った可能性があるため、学習部１０は、判定部１３の判定結果を用いて、第１モデルの再学習を実行する。
【0123】
上記の差が所定値未満であれば、判定部１３は、これらの距離Ｌ０の規定領域Ｒ０に対応する２つ以上の欠陥種別に決定する。さらに判定部１３は、この製造データ（センサデータ）によって判定された２つ以上の欠陥種別が、画像データによって判定された欠陥種別「Ａ」及び「Ｂ」と、全て一致するかどうか比較する。全て一致すれば、判定部１３は、そのまま判定結果を出力する。しかし、部分的に不一致であれば、例えば、製造データによる判定が、欠陥種別「Ａ」及び「Ｃ」であり、画像データによる判定が、欠陥種別「Ａ」及び「Ｂ」であれば、判定部１３は、一致している欠陥種別「Ａ」に決定して、判定結果を出力する。なお、完全不一致であれば、判定部１３は、第１判定処理によって判定された欠陥種別「Ａ」及び「Ｂ」を信頼して、判定結果を出力する。
【0124】
［動作説明］
図１２は、分類システム１の第二変形例における動作に関するフローチャートである。
図１２は、分類システム１の第二変形例における動作に関するフローチャートである。
【0125】
上述した本変形例の判定部１３の判定処理の動作を、図１２に示すフローチャート図を参照しながら簡単に説明すると以下の通りである。
【0126】
判定部１３は、着目する対象物２の画像データについて、判定根拠（２つ以上の欠陥種別）が同一空間位置であるか否かを判定する（ステップＳ２１：基本例でいえば図８のステップＳ２「Ｙｅｓ」に相当）。
【0127】
判定根拠が同一空間位置であれば（ステップＳ２１：Ｙｅｓ）、判定部１３は、第２判定処理を実行して、対象距離Ｌ０に基づき、閾値との比較判定を行う（ステップＳ２２）。判定根拠が同一空間位置でなければ（ステップＳ２１：Ｎｏ）、そのまま判定結果を出力する（ステップＳ２４）。
【0128】
対象距離Ｌ０が閾値以上であれば（ステップＳ２２：Ｙｅｓ）、報知部１４は、第１判定処理（画像データ）によって判定された２つ以上の欠陥種別を優先する（ステップＳ２３）。判定部１３は、例えばその中からいずれか１つの欠陥種別に決定し、判定結果を出力する（ステップＳ２４）。
【0129】
対象距離Ｌ０が閾値未満であれば（ステップＳ２２：Ｎｏ）、判定部１３は、対象距離Ｌ０と他の距離Ｌ０との差と、所定値との比較判定を行う（ステップＳ２５）。この差が所定値以上であれば（ステップＳ２５：Ｙｅｓ）、判定部１３は、対象距離Ｌ０に対応する欠陥種別に決定し、判定結果を出力し（ステップＳ２６）、さらに学習部１０は、第１モデルの再学習を実行する（ステップＳ２７）。
【0130】
上記の差が所定値未満であれば（ステップＳ２５：Ｎｏ）、判定部１３は、製造データによる２つ以上の欠陥種別と、画像データによる２つ以上の欠陥種別とで、一致する欠陥種別が少なくとも１つ存在するか否か比較する（ステップＳ２８）。一致する欠陥種別が少なくとも１つ存在すれば（ステップＳ２８：Ｙｅｓ）、判定部１３は、一致する欠陥種別のクラスに決定して、判定結果を出力する（ステップＳ２４）。完全不一致であれば（ステップＳ２８：Ｎｏ）、判定部１３は、画像データの判定を優先させて（ステップＳ２３）、判定結果を出力する（ステップＳ２４）。
【0131】
この構成によれば、対象物２のクラス判定に関する信頼性を更に向上できる。また第１モデルの学習不足も改善され得る。
【0132】
（３．３）その他の変形例
基本例では、判定のクラスが、一例として対象物２に発生し得る「欠陥（不良）」によって規定されている。しかし、判定のクラスは、「欠陥」に限定されず、例えば対象物２の品質性の度合い（優良、良、及び普通等）によって規定されてもよい。
基本例では、判定のクラスが、一例として対象物２に発生し得る「欠陥（不良）」によって規定されている。しかし、判定のクラスは、「欠陥」に限定されず、例えば対象物２の品質性の度合い（優良、良、及び普通等）によって規定されてもよい。
【0133】
基本例では、第１モデルは、学習済みモデルであるが、学習済みモデルでなくてもよい。また基本例では、第２モデルは、学習済みモデルではないが、学習済みモデルでもよい。
【0134】
基本例では、画像データによる判定（第１判定処理）を、製造データによる判定（第２判定処理）よりも先に行っているが、逆に製造データによる判定を先に行ってもよい。
【0135】
基本例では、判定部１３は、画像データによる判定（第１判定処理）で、欠陥数がゼロ（０）なら、製造データによる判定（第２判定処理）を実行せずに、そのまま正常である判定結果を出力している。しかし、判定部１３は、画像データによる判定（第１判定処理）で、欠陥数がゼロ（０）であっても、第２判定処理を実行してもよい。また、正常である場合、判定結果は出力されなくてもよい。
【0136】
第一変形例及び第二変形例では、閾値が１つのみであるが、閾値は複数段階で設定されていてもよい。
【0137】
（４）まとめ
以上説明したように、第１の態様に係る分類システム（１）は、第１分類部（１１）と、第２分類部（１２）と、判定部（１３）と、を備える。第１分類部（１１）は、第１対象データを、複数の第１クラス（Ｃ１）の中の少なくとも１つの第１クラス（Ｃ１）に分類する。第２分類部（１２）は、第２対象データを、複数の第２クラス（Ｃ２）の中の少なくとも１つの第２クラス（Ｃ２）に分類する。判定部（１３）は、第１分類部（１１）による分類結果である第１分類結果、及び第２分類部（１２）による分類結果である第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物（２）のクラスを判定する。第１対象データは、対象物（２）の画像データである。第２対象データは、対象物（２）の製造条件に関する製造データである。第１の態様によれば、対象物（２）のクラス判定に関する信頼性の向上を図ることができる。
以上説明したように、第１の態様に係る分類システム（１）は、第１分類部（１１）と、第２分類部（１２）と、判定部（１３）と、を備える。第１分類部（１１）は、第１対象データを、複数の第１クラス（Ｃ１）の中の少なくとも１つの第１クラス（Ｃ１）に分類する。第２分類部（１２）は、第２対象データを、複数の第２クラス（Ｃ２）の中の少なくとも１つの第２クラス（Ｃ２）に分類する。判定部（１３）は、第１分類部（１１）による分類結果である第１分類結果、及び第２分類部（１２）による分類結果である第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物（２）のクラスを判定する。第１対象データは、対象物（２）の画像データである。第２対象データは、対象物（２）の製造条件に関する製造データである。第１の態様によれば、対象物（２）のクラス判定に関する信頼性の向上を図ることができる。
【0138】
第２の態様に係る分類システム（１）は、第１の態様において、複数の第１クラス（Ｃ１）と複数の第２クラス（Ｃ２）とは、互いに一致する。第２の態様によれば、複数の第１クラス（Ｃ１）と複数の第２クラス（Ｃ２）とで、異なるクラスが混じる場合に比べて、対象物（２）のクラス判定に関する信頼性を更に向上できる。
【0139】
第３の態様に係る分類システム（１）として、第１の態様又は第２の態様において、判定部（１３）は、第１分類結果が所定の確定条件を満たす場合、第２分類結果を用いずに、対象物（２）のクラスを判定する。第３の態様によれば、クラス判定に関する処理負荷を軽減できる。
【0140】
第４の態様に係る分類システム（１）として、第１の態様～第３の態様のいずれか１つにおいて、第１分類部（１１）は、画像データ内の、対象物（２）に発生している１又は複数の事象の種別に基づいて分類する。判定部（１３）は、画像データ内における１又は複数の事象の位置に関する情報を更に用いて、対象物（２）のクラスを判定する。第４の態様によれば、対象物（２）のクラス判定に関する信頼性を更に向上できる。
【0141】
第５の態様に係る分類システム（１）として、第４の態様において、第１分類結果が、２つ以上の第１クラス（Ｃ１）に分類した結果を示す場合において、判定部（１３）は、以下の通りに判定する。すなわち、判定部（１３）は、２つ以上の第１クラス（Ｃ１）に対応する２つ以上の事象の位置が、同じ位置であれば、第２分類結果を用いて、対象物（２）のクラスを判定する。また判定部（１３）は、２つ以上の第１クラス（Ｃ１）に対応する２つ以上の事象の位置が、異なる位置であれば、第２分類結果を用いずに、対象物（２）のクラスを判定する。第５の態様によれば、２つ以上の事象の位置が同じ位置である場合、対象物（２）のクラス判定に関する信頼性を更に向上できる。また２つ以上の事象の位置が異なる位置である場合、クラス判定に関する処理負荷を軽減できる。
【0142】
第６の態様に係る分類システム（１）として、第１の態様～第５の態様のいずれか１つにおいて、第２分類結果は、製造条件に関する特徴量空間（ＳＰ１）において、複数の第２クラス（Ｃ２）にそれぞれ対応する複数の規定領域（Ｒ０）を含む。判定部（１３）は、第２分類結果を用いる場合、特徴量空間（ＳＰ１）における第２対象データの特徴量から複数の規定領域（Ｒ０）の各々までの距離（Ｌ０）に基づき、対象物（２）のクラスを判定する。第６の態様によれば、対象物（２）のクラス判定に関する信頼性を更に向上できる。
【0143】
第７の態様に係る分類システム（１）として、第１の態様～第６の態様のいずれか１つにおいて、判定部（１３）は、先に第１分類結果を用いて、対象物（２）のクラスを判定する。判定部（１３）は、第１分類結果において、対象物（２）のクラス判定に関する不確定要素が存在する場合、第２分類結果を用いて、対象物（２）のクラスを判定する。第７の態様によれば、例えば、第１分類結果における分類誤りを見つける可能性を高めることができる。また新しいクラス（例えば新しい欠陥等）を見つける可能性を高めることができる。
【0144】
第８の態様に係る分類システム（１）は、第７の態様において、第２分類結果を用いた判定部（１３）における判定結果に応じて、所定の処理を実行する機能部（６）を更に備える。第８の態様によれば、判定部（１３）における判定結果に関する応用性を高めることができる。例えば、所定の処理が報知処理を含めば、判定結果を人に伝えることができる。
【0145】
第９の態様に係る分類システム（１）として、第１の態様～第８の態様のいずれか１つにおいて、複数の第１クラス（Ｃ１）及び複数の第２クラス（Ｃ２）は、対象物（２）の欠陥によって規定される。第９の態様によれば、対象物（２）の欠陥判定に関する信頼性を向上できる。
【0146】
第１０の態様に係る分類システム（１）として、第１の態様～第９の態様のいずれか１つにおいて、第１分類部（１１）は、画像データから複数の第１クラス（Ｃ１）を学習した学習済みモデルである。第１０の態様によれば、第１分類部（１１）における分類に関する信頼性が向上され、結果的に、対象物（２）のクラス判定に関する信頼性を更に向上できる。
【0147】
第１１の態様に係る分類システム（１）として、第１の態様～第１０の態様のいずれか１つにおいて、第２分類部（１２）は、複数の第２クラス（Ｃ２）の各々と、製造条件に関する特徴量のデータ分布とが対応付けされたモデルである。第１１の態様によれば、第２分類部（１２）における分類に関する信頼性が向上され、結果的に、対象物（２）のクラス判定に関する信頼性を更に向上できる。
【0148】
第１２の態様に係る分類方法は、第１分類ステップと、第２分類ステップと、判定ステップと、を含む。第１分類ステップにて、第１対象データを、複数の第１クラス（Ｃ１）の中の少なくとも１つの第１クラス（Ｃ１）に分類する。第２分類ステップにて、第２対象データを、複数の第２クラス（Ｃ２）の中の少なくとも１つの第２クラス（Ｃ２）に分類する。判定ステップにて、第１分類ステップによる分類結果である第１分類結果、及び第２分類ステップによる分類結果である第２分類結果のうちの一方を用いるか、又はその両方を用いるかを決定して、その一方又は両方に基づいて、対象物のクラスを判定する。第１対象データは、対象物（２）の画像データである。第２対象データは、対象物（２）の製造条件に関する製造データである。第１２の態様によれば、対象物（２）のクラス判定に関する信頼性の向上を図ることが可能な分類方法を提供できる。
【0149】
第１３の態様に係るプログラムは、１以上のプロセッサに第１２の態様における分類方法を実行させるためのプログラムである。第１３の態様によれば、対象物（２）のクラス判定に関する信頼性の向上を図ることが可能な機能を提供できる。
【0150】
第２～１１の態様に係る構成については、分類システム（１）に必須の構成ではなく、適宜省略可能である。
【産業上の利用可能性】
【0151】
本開示の分類システム、分類方法、及びプログラムによれば、対象物のクラス判定に関する信頼性の向上を図ることができる、という利点がある。そのため、本開示に係る発明は、デバイス等の信頼性向上に寄与し、産業上有用である。
【符号の説明】
【0152】
１ 分類システム
１１ 第１分類部
１２ 第２分類部
１３ 判定部
２ 対象物
６ 機能部
Ｃ１ 第１クラス
Ｃ２ 第２クラス
Ｌ０ 距離
Ｒ０ 規定領域
ＳＰ１ 特徴量空間
１１ 第１分類部
１２ 第２分類部
１３ 判定部
２ 対象物
６ 機能部
Ｃ１ 第１クラス
Ｃ２ 第２クラス
Ｌ０ 距離
Ｒ０ 規定領域
ＳＰ１ 特徴量空間
【図1】
【図2A】
【図2B】
【図2C】
【図3】
【図4A】
【図4B】
【図5】
【図6】
【図7A】
【図7B】
【図7C】
【図8】
【図9】
【図10】
【図11】
【図12】