ホーム > 特許ランキング > 株式会社ジェイテクト
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024008670
(43)【公開日】2024-01-19
(54)【発明の名称】機械学習装置
(51)【国際特許分類】
G06T 7/00 20170101AFI20240112BHJP
G06V 10/776 20220101ALI20240112BHJP
【ＦＩ】
G06T7/00 350B
G06T7/00 610B
G06V10/776
【審査請求】未請求
【請求項の数】18
【出願形態】ＯＬ
(21)【出願番号】P 2022110721
(22)【出願日】2022-07-08
(71)【出願人】
【識別番号】000001247
【氏名又は名称】株式会社ジェイテクト
(74)【代理人】
【識別番号】110000648
【氏名又は名称】弁理士法人あいち国際特許事務所
(72)【発明者】
【氏名】熊野 希一
(72)【発明者】
【氏名】小島 聖司
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA03
5L096DA04
5L096EA35
5L096EA37
5L096FA52
5L096FA59
5L096GA19
5L096HA07
5L096KA04
(57)【要約】
【課題】学習済みモデルを構築するための労力を省力化できる機械学習装置を提供する。
【解決手段】演算処理装置２および記憶装置３を備えた機械学習装置１である。前記記憶装置３は、訓練画像データＰ１，Ｐ２およびテスト画像データＰ５，Ｐ６を格納する画像データ格納部２０と、学習済みモデルＭを格納するモデル格納部２１と、不良品とラベルされた不良品訓練画像データＰ２に、不良要因３０の位置を含む不良要因情報をアノテーションとして紐づけられた不良要因訓練画像データＰ３を格納する不良要因訓練画像データ格納部２２と、を備え、前記演算処理装置２は、モデル生成部１１と、前記テスト画像データＰ５，Ｐ６が良品または不良品であるかを判定する良否判定部１２と、不良品における真不良部位を誤判定した場合に、前記不良要因情報に基づいて誤判定要因を分析し、前記誤判定要因に応じた解決策を教示する分析教示部１３と、を備える。
【選択図】図１
【解決手段】演算処理装置２および記憶装置３を備えた機械学習装置１である。前記記憶装置３は、訓練画像データＰ１，Ｐ２およびテスト画像データＰ５，Ｐ６を格納する画像データ格納部２０と、学習済みモデルＭを格納するモデル格納部２１と、不良品とラベルされた不良品訓練画像データＰ２に、不良要因３０の位置を含む不良要因情報をアノテーションとして紐づけられた不良要因訓練画像データＰ３を格納する不良要因訓練画像データ格納部２２と、を備え、前記演算処理装置２は、モデル生成部１１と、前記テスト画像データＰ５，Ｐ６が良品または不良品であるかを判定する良否判定部１２と、不良品における真不良部位を誤判定した場合に、前記不良要因情報に基づいて誤判定要因を分析し、前記誤判定要因に応じた解決策を教示する分析教示部１３と、を備える。
【選択図】図１
【特許請求の範囲】
【請求項1】
演算処理装置および記憶装置を備えた機械学習装置であって、
前記記憶装置は、
学習用の訓練画像データおよび評価用のテスト画像データを格納する画像データ格納部と、
前記訓練画像データおよび前記テスト画像データを用いて機械学習を行うことにより生成された学習済みモデルを格納するモデル格納部と、
前記訓練画像データのうち不良品とラベルされた不良品訓練画像データに、不良要因の位置を含む不良要因情報をアノテーションとして紐づけられた不良要因訓練画像データを格納する不良要因訓練画像データ格納部と、
を備え、
前記演算処理装置は、
前記訓練画像データおよび前記テスト画像データを用いて前記機械学習を行うことにより前記学習済みモデルを生成するモデル生成部と、
前記学習済みモデルを用いて、良品または不良品とラベルされた前記テスト画像データが、良品または不良品であるかを判定する良否判定部と、
前記良否判定部の判定結果に基づいて、不良品における真不良部位を誤判定した場合に、前記不良要因情報に基づいて誤判定要因を分析し、前記誤判定要因に応じた解決策を教示する分析教示部と、
を備える、機械学習装置。
前記記憶装置は、
学習用の訓練画像データおよび評価用のテスト画像データを格納する画像データ格納部と、
前記訓練画像データおよび前記テスト画像データを用いて機械学習を行うことにより生成された学習済みモデルを格納するモデル格納部と、
前記訓練画像データのうち不良品とラベルされた不良品訓練画像データに、不良要因の位置を含む不良要因情報をアノテーションとして紐づけられた不良要因訓練画像データを格納する不良要因訓練画像データ格納部と、
を備え、
前記演算処理装置は、
前記訓練画像データおよび前記テスト画像データを用いて前記機械学習を行うことにより前記学習済みモデルを生成するモデル生成部と、
前記学習済みモデルを用いて、良品または不良品とラベルされた前記テスト画像データが、良品または不良品であるかを判定する良否判定部と、
前記良否判定部の判定結果に基づいて、不良品における真不良部位を誤判定した場合に、前記不良要因情報に基づいて誤判定要因を分析し、前記誤判定要因に応じた解決策を教示する分析教示部と、
を備える、機械学習装置。
【請求項2】
前記不良品における真不良部位を誤判定した場合とは、
前記良否判定部が真不良部位を含む不良品を良品と誤判定した場合、
前記良否判定部が不良品を不良品と正判定したが真不良部位ではなく偽不良部位に基づいて不良品と正判定した場合、
のいずれかを含む、請求項１に記載の機械学習装置。
前記良否判定部が真不良部位を含む不良品を良品と誤判定した場合、
前記良否判定部が不良品を不良品と正判定したが真不良部位ではなく偽不良部位に基づいて不良品と正判定した場合、
のいずれかを含む、請求項１に記載の機械学習装置。
【請求項3】
前記分析教示部は、複数の解決策を教示するとともに、前記複数の解決策の有効度を教示する、請求項１に記載の機械学習装置。
【請求項4】
前記分析教示部は、前記訓練画像データのうちの不良品訓練画像データの数量不足が前記誤判定要因であると分析する、請求項１～３のいずれか１項に記載の機械学習装置。
【請求項5】
前記分析教示部は、前記訓練画像データのうち、誤判定された前記真不良部位を含む前記不良品訓練画像データの数量不足が前記誤判定要因であると分析する、請求項４に記載の機械学習装置。
【請求項6】
前記良否判定部は、良品または不良品であるかを判定するとともに、画素ごとの着目度数を生成し、
前記分析教示部は、
前記良否判定部により誤判定された前記テスト画像データである誤判定テスト画像データにおける最大着目度数Ｎｍａｘを取得し、
前記誤判定テスト画像データにおいて誤判定された前記真不良部位における前記着目度数Ｎを取得し、
前記最大着目度数Ｎｍａｘと前記真不良部位における前記着目度数Ｎとの差である不足着目度数ΔＮに基づいて、前記不良品訓練画像データの数量不足が前記誤判定要因であると分析し、
前記不足着目度数ΔＮ、および、前記不足着目度数ΔＮに基づき得られた前記真不良部位における最適着目度数Ｎｂｅｓｔの少なくとも１つを前記解決策のための情報として教示する、請求項４に記載の機械学習装置。
前記分析教示部は、
前記良否判定部により誤判定された前記テスト画像データである誤判定テスト画像データにおける最大着目度数Ｎｍａｘを取得し、
前記誤判定テスト画像データにおいて誤判定された前記真不良部位における前記着目度数Ｎを取得し、
前記最大着目度数Ｎｍａｘと前記真不良部位における前記着目度数Ｎとの差である不足着目度数ΔＮに基づいて、前記不良品訓練画像データの数量不足が前記誤判定要因であると分析し、
前記不足着目度数ΔＮ、および、前記不足着目度数ΔＮに基づき得られた前記真不良部位における最適着目度数Ｎｂｅｓｔの少なくとも１つを前記解決策のための情報として教示する、請求項４に記載の機械学習装置。
【請求項7】
前記分析教示部は、
前記誤判定テスト画像データおよび前記不良要因情報に基づいて前記誤判定テスト画像データにおける前記真不良部位を取得し、
前記誤判定テスト画像データにおいて誤判定された前記真不良部位における前記着目度数Ｎを取得する、請求項６に記載の機械学習装置。
前記誤判定テスト画像データおよび前記不良要因情報に基づいて前記誤判定テスト画像データにおける前記真不良部位を取得し、
前記誤判定テスト画像データにおいて誤判定された前記真不良部位における前記着目度数Ｎを取得する、請求項６に記載の機械学習装置。
【請求項8】
前記演算処理装置は、前記分析教示部の分析結果に基づいて、誤判定された前記真不良部位を含む前記不良品訓練画像データの水増し処理を行う水増し処理部をさらに備える、請求項４に記載の機械学習装置。
【請求項9】
前記分析教示部は、前記テスト画像データの全画像サイズに対する、誤判定された前記真不良部位の局所画像サイズの割合が不適であることが前記誤判定要因であると分析する、請求項１～３のいずれか１項に記載の機械学習装置。
【請求項10】
前記記憶装置は、前記真不良部位が正しく判定されたときの前記真不良部位を含む正判定トリミング画像データを格納する正判定トリミング画像データ格納部をさらに備え、
前記分析教示部は、前記正判定トリミング画像データに基づいて、前記テスト画像データにおける全画像サイズに対する局所画像サイズの割合が不適であることが前記誤判定要因であると分析する、請求項９に記載の機械学習装置。
前記分析教示部は、前記正判定トリミング画像データに基づいて、前記テスト画像データにおける全画像サイズに対する局所画像サイズの割合が不適であることが前記誤判定要因であると分析する、請求項９に記載の機械学習装置。
【請求項11】
前記演算処理装置は、複数の前記不良要因訓練画像データを統合した不良要因統合画像データを生成する不良要因統合画像データ生成部をさらに備え、
前記分析教示部は、
前記正判定トリミング画像データの全画像サイズに対する、前記正判定トリミング画像データにおける前記真不良部位の局所画像サイズの割合と、
前記不良要因統合画像データの全画像サイズに対する、前記不良要因統合画像データにおける前記不良要因を含む局所画像サイズの割合と、に基づいて、
前記テスト画像データにおける全画像サイズに対する局所画像サイズの割合が不適であることが前記誤判定要因であると分析する、請求項１０に記載の機械学習装置。
前記分析教示部は、
前記正判定トリミング画像データの全画像サイズに対する、前記正判定トリミング画像データにおける前記真不良部位の局所画像サイズの割合と、
前記不良要因統合画像データの全画像サイズに対する、前記不良要因統合画像データにおける前記不良要因を含む局所画像サイズの割合と、に基づいて、
前記テスト画像データにおける全画像サイズに対する局所画像サイズの割合が不適であることが前記誤判定要因であると分析する、請求項１０に記載の機械学習装置。
【請求項12】
前記不良要因統合画像データにおいて、連続または近接して配置される複数の前記不良要因によるまとまりを不良要因群とし、
前記不良要因統合画像データは、複数の前記不良要因群を有しており、
前記不良要因統合画像データにおける前記不良要因を含む局所画像サイズは、前記テスト画像データにおいて誤判定された前記真不良部位に対応する位置を含む１つの前記不良要因群の画像サイズである、請求項１１に記載の機械学習装置。
前記不良要因統合画像データは、複数の前記不良要因群を有しており、
前記不良要因統合画像データにおける前記不良要因を含む局所画像サイズは、前記テスト画像データにおいて誤判定された前記真不良部位に対応する位置を含む１つの前記不良要因群の画像サイズである、請求項１１に記載の機械学習装置。
【請求項13】
前記分析教示部は、前記機械学習に用いる前記訓練画像データの適切全画像サイズを前記解決策のための情報として教示する、請求項９に記載の機械学習装置。
【請求項14】
前記演算処理装置は、前記分析教示部の分析結果に基づいて前記訓練画像データを分割し、分割された画像データを前記モデル生成部への入力画像データとする画像分割処理部をさらに備える、請求項９に記載の機械学習装置。
【請求項15】
前記分析教示部は、前記良否判定部により誤判定された前記テスト画像データである誤判定テスト画像データにおいて、着目すべきでない部位が含まれることが前記誤判定要因であると分析する、請求項１～３のいずれか１項に記載の機械学習装置。
【請求項16】
前記分析教示部は、前記訓練画像データに対するマスキング領域を前記解決策の情報として教示する、請求項１５に記載の機械学習装置。
【請求項17】
前記演算処理装置は、複数の前記不良要因訓練画像データを統合した不良要因統合画像データを生成する不良要因統合画像データ生成部をさらに備え、
前記分析教示部は、
前記不良要因統合画像データにおいて複数の不良要因を含む不良要因領域を取得し、
前記不良要因領域を除く領域を前記マスキング領域と指定し、
前記訓練画像データに対する前記マスキング領域を前記解決策の情報として教示する、請求項１６に記載の機械学習装置。
前記分析教示部は、
前記不良要因統合画像データにおいて複数の不良要因を含む不良要因領域を取得し、
前記不良要因領域を除く領域を前記マスキング領域と指定し、
前記訓練画像データに対する前記マスキング領域を前記解決策の情報として教示する、請求項１６に記載の機械学習装置。
【請求項18】
前記演算処理装置は、複数の前記不良要因訓練画像データを統合した不良要因統合画像データを生成する不良要因統合画像データ生成部をさらに備え、
前記分析教示部は、
前記不良要因統合画像データにおいて複数の不良要因を含む不良要因領域を取得し、
前記良否判定部により誤判定された前記テスト画像データである誤判定テスト画像データにおける着目度数のうち所定度数以下である低着目度数領域を取得し、
前記不良要因領域および前記低着目度数領域を除く領域を前記マスキング領域と指定し、
前記訓練画像データに対する前記マスキング領域を前記解決策の情報として教示する、請求項１６に記載の機械学習装置。
前記分析教示部は、
前記不良要因統合画像データにおいて複数の不良要因を含む不良要因領域を取得し、
前記良否判定部により誤判定された前記テスト画像データである誤判定テスト画像データにおける着目度数のうち所定度数以下である低着目度数領域を取得し、
前記不良要因領域および前記低着目度数領域を除く領域を前記マスキング領域と指定し、
前記訓練画像データに対する前記マスキング領域を前記解決策の情報として教示する、請求項１６に記載の機械学習装置。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習装置に関する。
【背景技術】
【0002】
従来、特許文献１（特開２０２１－１７４４１７号公報）に記載されているように、学習用の訓練画像データを機械学習させることによって生成された学習済みモデルにより、検査対象の画像データが良品または不良品であるかを推定して評価する検査システムが知られている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２１－１７４４１７号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
学習済みモデルの精度を評価するために、評価用のテスト画像データを用い、テスト画像データが良品または不良品であるかを推定する。このとき、学習済みモデルの判定精度が十分でない場合には、不良品が良品であると誤判定される場合がある。学習済みモデルの判定精度を高めるためには、誤判定された原因を分析し、訓練画像データの追加、再収集等の適切な対策を実施することが求められる。
【0005】
しかし、従来技術によれば、テスト画像データが良品であるか、または不良品であるかが出力されるのみであった。このため、不良品が良品と誤判定された原因を分析することが困難な場合があった。さらに、原因が判明しても、具体的にどのような対策を講じれば判定精度を高めることができるかを検討する必要があるため、学習済みモデルを構築するための労力が増大するという問題があった。
【0006】
本発明は、かかる課題に鑑みてなされたものであり、学習済みモデルを構築するための労力を省力化できる機械学習装置を提供しようとするものである。
【課題を解決するための手段】
【0007】
本発明の一態様は、
演算処理装置および記憶装置を備えた機械学習装置であって、
前記記憶装置は、
学習用の訓練画像データおよび評価用のテスト画像データを格納する画像データ格納部と、
前記訓練画像データおよび前記テスト画像データを用いて機械学習を行うことにより生成された学習済みモデルを格納するモデル格納部と、
前記訓練画像データのうち不良品とラベルされた不良品訓練画像データに、不良要因の位置を含む不良要因情報をアノテーションとして紐づけられた不良要因訓練画像データを格納する不良要因訓練画像データ格納部と、
を備え、
前記演算処理装置は、
前記訓練画像データおよび前記テスト画像データを用いて前記機械学習を行うことにより前記学習済みモデルを生成するモデル生成部と、
前記学習済みモデルを用いて、良品または不良品とラベルされた前記テスト画像データが、良品または不良品であるかを判定する良否判定部と、
前記良否判定部の判定結果に基づいて、不良品における真不良部位を誤判定した場合に、前記不良要因情報に基づいて誤判定要因を分析し、前記誤判定要因に応じた解決策を教示する分析教示部と、
を備える、機械学習装置にある。
演算処理装置および記憶装置を備えた機械学習装置であって、
前記記憶装置は、
学習用の訓練画像データおよび評価用のテスト画像データを格納する画像データ格納部と、
前記訓練画像データおよび前記テスト画像データを用いて機械学習を行うことにより生成された学習済みモデルを格納するモデル格納部と、
前記訓練画像データのうち不良品とラベルされた不良品訓練画像データに、不良要因の位置を含む不良要因情報をアノテーションとして紐づけられた不良要因訓練画像データを格納する不良要因訓練画像データ格納部と、
を備え、
前記演算処理装置は、
前記訓練画像データおよび前記テスト画像データを用いて前記機械学習を行うことにより前記学習済みモデルを生成するモデル生成部と、
前記学習済みモデルを用いて、良品または不良品とラベルされた前記テスト画像データが、良品または不良品であるかを判定する良否判定部と、
前記良否判定部の判定結果に基づいて、不良品における真不良部位を誤判定した場合に、前記不良要因情報に基づいて誤判定要因を分析し、前記誤判定要因に応じた解決策を教示する分析教示部と、
を備える、機械学習装置にある。
【発明の効果】
【0008】
本発明の一態様によれば、訓練画像データにどのような対策を施せば、誤判定されたテスト画像データが正しく判定されるようにするかについて知ることができる。これにより、誤判定されたテスト画像データについて、誤判定の原因を推定し、推定された原因から対策を考案するための労力を削減することができる。この結果、全体として、学習済みモデルを構築するための労力を削減することができる。
【0009】
以上のごとく、上記態様によれば、機械学習装置において、学習済みモデルを構築するための労力を省力化できる。
【図面の簡単な説明】
【0010】
【図1】実施形態１の機械学習装置の構成を示す図である。
【図2】実施形態１の機械学習装置の全体的な動作を示すフローチャートである。
【図5】真不良部位が誤判定された場合の説明をするための図である。
【図6】解決策１について、教示される内容を説明するための図である。
【図7】解決策１が選択されたときに実行される水増し処理について説明するための図である。
【図8】解決策２について、教示される内容を説明するための図である。
【図9】解決策２が選択されたときに実行される画面分割処理について説明するための図である。
【図11】解決策３について、教示される内容を説明するための図である。
【図12】解決策３が選択されたときに実行されるマスキング処理について説明するための図である。
【図13】実施形態２の機械学習装置において、解決策４について、教示される内容について説明するための図である。
【図14】実施形態３の機械学習装置の全体的な動作を示すフローチャートである。
【発明を実施するための形態】
【0011】
（実施形態１）
１．機械学習装置の概略
本発明に係る機械学習装置は、工作物の良否を検査する検査装置に適用される。検査装置としては、例えば、自動車に用いられるダイキャスト部品等を検査するための検査装置に適用できる。検査装置は、検査対象を撮像した検査画像データの良否判定を行う。例えば、外観検査を行う検査対象において、外観異常の判定を行うことができる。また、例えば、工作物の表面に生成したキズの有無を判定したり、工作物の形状誤差の程度を判定したりすることができる。
１．機械学習装置の概略
本発明に係る機械学習装置は、工作物の良否を検査する検査装置に適用される。検査装置としては、例えば、自動車に用いられるダイキャスト部品等を検査するための検査装置に適用できる。検査装置は、検査対象を撮像した検査画像データの良否判定を行う。例えば、外観検査を行う検査対象において、外観異常の判定を行うことができる。また、例えば、工作物の表面に生成したキズの有無を判定したり、工作物の形状誤差の程度を判定したりすることができる。
【0012】
本発明の実施形態１に係る機械学習装置１の概略について図１、図３および図４を参照して説明する。図１に示すように本形態に係る機械学習装置１は、演算処理装置２と、記憶装置３と、を備える。機械学習装置１は、入力装置４と、表示装置５と、に接続されている。
【0013】
入力装置４は、後述する種々の画像データを、後述する画像データ取得部１０に伝達するための入力インターフェースである。入力インターフェースとしては、例えば、カメラ、スキャナ等を採用することができる。また、入力インターフェースとしては、ＣＤ、ＤＶＤ等の外部記憶装置に記憶された画像を読み取るための読み取り装置も例示される。
【0014】
表示装置５は、後述する分析教示部１３がユーザに教示する内容を表示する。表示装置５としては、例えば、モニタ、印刷装置等を採用することができる。
【0015】
演算処理装置２は、画像データ取得部１０と、モデル生成部１１と、良否判定部１２と、分析教示部１３と、不良要因統合画像データ生成部１４と、再学習用訓練画像データ生成部１５と、を備える。
【0016】
画像データ取得部１０は、入力装置４と接続されており、入力装置４から、学習用の訓練画像データＰ１，Ｐ２、評価用のテスト画像データＰ５，Ｐ６、および不良要因訓練画像データＰ３を受け取る（図３および図４参照）。
【0017】
図３に示すように、訓練画像データＰ１，Ｐ２は、良品とラベルされた良品訓練画像データＰ１、および不良品とラベルされた不良品訓練画像データＰ２を含む。図４に示すように、テスト画像データＰ５，Ｐ６は、良品とラベルされた良品テスト画像データＰ５、および不良品とラベルされた不良品テスト画像データＰ６を含む。
【0018】
図３に示すように、不良要因訓練画像データＰ３は、不良品訓練画像データＰ２および不良品テスト画像データＰ６に、不良要因３０の位置を含む不良要因情報がアノテーションとして紐づけられたものである。不良要因訓練画像データＰ３は、不良品と判断された原因である真不良部位を有する。不良要因３０としては、傷、凹凸、寸法不良、歪みが例示される。不良要因訓練画像データＰ３には、不良要因３０の位置、大きさ、形等が画素レベルで紐づけられている。
【0019】
図１に示すように、画像データ取得部１０は、訓練画像データＰ１，Ｐ２、テスト画像データＰ５，Ｐ６、および不良要因訓練画像データＰ３を、記憶装置３に送信する。また、画像データ取得部１０は、訓練画像データＰ１，Ｐ２およびテスト画像データＰ５，Ｐ６を、モデル生成部１１、分析教示部１３、および再学習用訓練画像データ生成部１５に送信する。また、画像データ取得部１０は、不良要因訓練画像データＰ３を、不良要因統合画像データ生成部１４に送信する。
【0020】
モデル生成部１１は、訓練画像データＰ１，Ｐ２およびテスト画像データＰ５，Ｐ６を用いて機械学習を行うことにより、公知の方法により学習済みモデルＭを生成する（図３参照）。図１に示すように、モデル生成部１１は、生成した学習済みモデルＭを記憶装置３、および良否判定部１２に送信する。
【0021】
良否判定部１２は、学習済みモデルＭを用いて、良品テスト画像データＰ５および不良品テスト画像データＰ６が、良品または不良品であるかを判定する。良否判定部１２は、良品テスト画像データＰ５および不良品テスト画像データＰ６についての判定結果を、分析教示部１３に送信する。
【0022】
分析教示部１３は、良否判定部１２の判定結果に基づいて、不良品における真不良部位を誤判定した場合に、不良要因情報に基づいて誤判定要因を分析し、誤判定要因に応じた解決策を教示する。分析教示部１３は、少なくとも１つの解決策を教示する。分析教示部１３は、解決策を表示装置５に表示させることにより、ユーザに解決策を教示する。分析教示部１３は、解決策を再学習用訓練画像データ生成部１５に送信する。
【0023】
不良要因統合画像データ生成部１４は、複数の不良要因訓練画像データＰ３を統合した不良要因統合画像データＰ４を生成する（図３参照）。不良要因統合画像データＰ４は、複数の不良要因訓練画像データＰ３が集積された１枚の画像データである。不良要因統合画像データＰ４には、１枚の画像データに含まれる画素ごとに、不良要因訓練画像データＰ３の個数に対する、不良要因訓練画像データＰ３の不良要因３０の発生確率が記録されている。不良要因３０の発生確率とは、不良要因３０の位置に対応する画素の個数を、全ての画素数で割った値である。
【0024】
また、不良要因統合画像データＰ４は、不良要因３０の発生確率を、画素レベルでカウントできる。すなわち、不良要因統合画像データＰ４は、１枚の画像データとして、画素ごとに、不良要因３０の位置が存在した不良要因訓練画像データＰ３の個数が記録されている。端的には、不良要因統合画像データＰ４には、画像を形成する画素ごとに、不良要因訓練画像データＰ３において不良要因３０が存在したか否かの情報が記録されている。
【0025】
図１に示すように、不良要因統合画像データ生成部１４は、生成した不良要因統合画像データＰ４を、記憶装置３、分析教示部１３、および再学習用訓練画像データ生成部１５に送信する。
【0026】
再学習用訓練画像データ生成部１５は、水増し処理部１６と、画像分割処理部１７と、マスキング処理部１８と、を備える。
【0027】
水増し処理部１６は、分析教示部１３の分析結果に基づいて、誤判定された真不良部位を含む不良品訓練画像データＰ２の水増し処理を行い、水増し処理された画像データをモデル生成部１１への入力画像データとする。真不良部位とは、不良品テスト画像データＰ６に含まれる不良要因３０を意味する。誤判定された真不良部位とは、良否判定部１２が真不良部位を含む不良品を良品と判断した場合における、真不良部位を意味する。
【0028】
画像分割処理部１７は、分析教示部１３の分析結果に基づいて訓練画像データＰ１，Ｐ２を分割し、分割された画像データをモデル生成部１１への入力画像データとする。
【0029】
マスキング処理部１８は、訓練画像データＰ１，Ｐ２に対して所定の領域をマスキング処理し、マスキング処理された画像データをモデル生成部１１への入力画像データとする。
【0030】
記憶装置３は、画像データ格納部２０と、モデル格納部２１と、不良要因訓練画像データ格納部２２と、正判定トリミング画像データ格納部２３と、不良要因統合画像データ格納部２４と、を備える。
【0031】
画像データ格納部２０は、画像データ取得部１０から受信した、訓練画像データＰ１，Ｐ２およびテスト画像データＰ５，Ｐ６を格納する。画像データ格納部２０は、訓練画像データＰ１，Ｐ２をモデル生成部１１に送信する。また、画像データ格納部２０は、テスト画像データＰ５，Ｐ６を、良否判定部１２および分析教示部１３に送信する。また、画像データ格納部２０は、訓練画像データＰ１，Ｐ２およびテスト画像データＰ５，Ｐ６を、再学習用訓練画像データ生成部１５に送信する。
【0032】
モデル格納部２１は、モデル生成部１１から送信された学習済みモデルＭを格納する。モデル格納部２１は、学習済みモデルＭを良否判定部１２に送信する。
【0033】
不良要因訓練画像データ格納部２２は、画像データ取得部１０から、不良品訓練画像データＰ２を受信し、格納する。不良要因訓練画像データ格納部２２は、不良品訓練画像データＰ２を、不良要因統合画像データ生成部１４に送信する。
【0034】
正判定トリミング画像データ格納部２３は、真不良部位が正しく判定されたときの真不良部位を含む正判定トリミング画像データ（図示せず）を格納する。正判定トリミング画像データは、過去に検査装置において画像データに対して良品または不良品の判定が行われた際に、真不良部位が正しく判定されたときの画像データである。
【0035】
正判定トリミング画像データには、過去の検査における真不良部位の位置、大きさ、および形が紐づけられて記録されている。また、正判定トリミング画像データ格納部２３に格納された正判定トリミング画像データは、真不良部位が正しく判定されたものであるので、当該正判定トリミング画像データの画像サイズは、当該真不良部位を正しく判定することのできる適切な画像サイズであるといえる。
【0036】
不良要因統合画像データ格納部２４は、不良要因統合画像データ生成部１４から送信された不良要因統合画像データＰ４を格納する。不良要因統合画像データ格納部２４は、不良要因統合画像データＰ４を、分析教示部１３、および再学習用訓練画像データ生成部１５に送信する。
【0037】
２．機械学習装置１の全体的な動作
続いて、本形態に係る機械学習装置１の全体的な動作について図２を参照して説明する。本形態の機械学習装置１の処理が開始されると、Ｓ１にて、入力装置４は訓練画像データＰ１，Ｐ２、テスト画像データＰ５，Ｐ６、および不良要因訓練画像データＰ３を取得する。入力装置４は、訓練画像データＰ１，Ｐ２、テスト画像データＰ５，Ｐ６、および不良要因訓練画像データＰ３を画像データ取得部１０に送信する。画像データ取得部１０は、訓練画像データＰ１，Ｐ２およびテスト画像データＰ５，Ｐ６を画像データ格納部２０に送信する。画像データ格納部２０は訓練画像データＰ１，Ｐ２およびテスト画像データＰ５，Ｐ６を格納する。画像データ取得部１０は、訓練画像データＰ１，Ｐ２をモデル生成部１１に送信する。また、画像データ取得部１０は、不良要因訓練画像データＰ３を不良要因訓練画像データ格納部２２に送信する。不良要因訓練画像データ格納部２２は、不良要因訓練画像データＰ３を格納する。
続いて、本形態に係る機械学習装置１の全体的な動作について図２を参照して説明する。本形態の機械学習装置１の処理が開始されると、Ｓ１にて、入力装置４は訓練画像データＰ１，Ｐ２、テスト画像データＰ５，Ｐ６、および不良要因訓練画像データＰ３を取得する。入力装置４は、訓練画像データＰ１，Ｐ２、テスト画像データＰ５，Ｐ６、および不良要因訓練画像データＰ３を画像データ取得部１０に送信する。画像データ取得部１０は、訓練画像データＰ１，Ｐ２およびテスト画像データＰ５，Ｐ６を画像データ格納部２０に送信する。画像データ格納部２０は訓練画像データＰ１，Ｐ２およびテスト画像データＰ５，Ｐ６を格納する。画像データ取得部１０は、訓練画像データＰ１，Ｐ２をモデル生成部１１に送信する。また、画像データ取得部１０は、不良要因訓練画像データＰ３を不良要因訓練画像データ格納部２２に送信する。不良要因訓練画像データ格納部２２は、不良要因訓練画像データＰ３を格納する。
【0038】
Ｓ２にて、モデル生成部１１は、訓練画像データＰ１，Ｐ２を用いて機械学習を行うことにより学習済みモデルＭを生成する。モデル生成部１１は、学習済みモデルＭをモデル格納部２１に送信する。モデル格納部２１は学習済みモデルＭを格納する。
【0039】
Ｓ３にて、不良要因統合画像データ生成部１４は、不良要因訓練画像データ格納部２２から不良要因訓練画像データＰ３を取得し、不良要因訓練画像データＰ３から不良要因統合画像データＰ４を生成する。不良要因統合画像データ生成部１４は、不良要因統合画像データＰ４を不良要因統合画像データ格納部２４に送信する。不良要因統合画像データ格納部２４は、不良要因統合画像データＰ４を格納する。
【0040】
Ｓ３にて、良否判定部１２は、モデル格納部２１から学習済みモデルＭを取得する。
【0041】
Ｓ４にて、良否判定部１２は、画像データ格納部２０からテスト画像データＰ５，Ｐ６を取得する。
【0042】
Ｓ５にて、良否判定部１２は、学習済みモデルＭを用いて、良品または不良品とラベルされたテスト画像データＰ５，Ｐ６が、良品または不良品であるかを判定する。良否判定部１２は、判定結果を分析教示部１３に送信する。
【0043】
Ｓ６にて、分析教示部１３は、良否判定部１２から判定結果を取得する。分析教示部１３は、不良要因訓練画像データＰ３から不良要因訓練画像データＰ３を取得する。また、分析教示部１３は、正判定トリミング画像データ格納部２３から、正判定トリミング画像データを取得する。また、分析教示部１３は、不良要因統合画像データ格納部２４から不良要因統合画像データＰ４を取得する。
【0044】
分析教示部１３は、良否判定部１２の判定結果に基づいて、不良品における真不良部位を誤判定した場合に、不良要因情報に基づいて誤判定要因を分析し、誤判定要因に応じた解決策を導出する。
【0045】
分析教示部１３は、導出された解決策を、表示装置５に表示させる。
【0046】
表示装置５に表示された解決策がユーザによって見られた後、ユーザによって、解決策が採用されるか否かが判断される。これにより、いずれかの解決策が、ユーザによって選択される。
【0047】
Ｓ７にて、再学習用訓練画像データ生成部１５は、画像データ格納部２０から訓練画像データＰ１，Ｐ２を取得する。次に、再学習用訓練画像データ生成部１５は、選択された解決策に応じて、不良要因訓練画像データ格納部２２から不良要因訓練画像データＰ３を取得したり、正判定トリミング画像データ格納部２３から正判定トリミング画像データを取得したり、または、不良要因統合画像データ格納部２４から不良要因統合画像データＰ４を取得したりする。
【0048】
再学習用訓練画像データ生成部１５は、選択された解決策に基づいて、再学習用の訓練画像データＰ１，Ｐ２を生成する。
【0049】
以上により、機械学習装置１の全体的な動作が終了する。
【0050】
３．機械学習装置１の具体的な動作
続いて、本形態に係る機械学習装置１の具体的な動作について説明する。まず、上記のＳ１～Ｓ３における動作について、図３を参照して説明する。図３に示すように、良品とラベルされた複数の良品訓練画像データＰ１と、不良品とラベルされた複数の不良品訓練画像データＰ２から、１つの学習済みモデルＭが生成される。また、複数の不良要因訓練画像データＰ３から１つの不良要因統合画像データＰ４が生成される。
続いて、本形態に係る機械学習装置１の具体的な動作について説明する。まず、上記のＳ１～Ｓ３における動作について、図３を参照して説明する。図３に示すように、良品とラベルされた複数の良品訓練画像データＰ１と、不良品とラベルされた複数の不良品訓練画像データＰ２から、１つの学習済みモデルＭが生成される。また、複数の不良要因訓練画像データＰ３から１つの不良要因統合画像データＰ４が生成される。
【0051】
次に上記のＳ４～S５における動作について図４～図６を参照して説明する。図４に示すように、良否判定部１２は、良品とラベルされた良品テスト画像データＰ５と、不良品とラベルされた不良品テスト画像データＰ６とを取得する。良否判定部１２は、生成された学習済みモデルＭに基づいて、良品テスト画像データＰ５および不良品テスト画像データＰ６について、良品であるかまたは不良品であるかを判定する。
【0052】
良否判定部１２が、良品テスト画像データＰ５および不良品テスト画像データＰ６に対してなす判定は下記のとおりである。
・判定Ａ（真陰性）：良品テスト画像データＰ５が良品であると判定される。この判定は正しいので正判定である。良品が、良品と正しく判定されているので問題はない。
・判定Ｂ（偽陽性）：良品テスト画像データＰ５が、偽不良部位に基づいて不良品であると判定される。この判定は誤っているので誤判定である。しかし、製造の観点から見ると、単に歩留まりが低下するだけであり、真正の不良品が市場に流通する事態を招くわけではない。したがって、本形態においては問題視しない。
・判定Ｃ（第１真陽性）：不良品テスト画像データＰ６について、真不良部位が正しく認識されて不良品であると判定される。この判定は正しいので正判定である。不良品が、不良品と正しく判定されているので問題はない。
・判定Ｄ（第２真陽性）：図５に示すように、不良品テスト画像データＰ６について、真不良部位ではなく偽不良部位に基づいて、不良品であると判定される。不良品を不良品であると判定しており、判定自体は正しいので正判定である。しかし、このような判定を行った学習済みモデルＭを使用していると、真不良部位が看過された不良品が市場に流通する可能性が生じる。したがって、本形態では、当該判定を、真不良部位を誤判定した場合として、対策が必要な場合として取り上げる。
・判定Ｅ（偽陽性）：図５に示すように、不良品テスト画像データＰ６について、真不良部位を認識せず、良品であると判定される。この判定は誤っているので誤判定である。また、上記の判定Ｄと同様に、真不良部位が看過された不良品が市場に流通する可能性が生じる。したがって、本形態では、当該判定を、真不良部位を誤判定した場合として、対策が必要な場合として取り上げる。
・判定Ａ（真陰性）：良品テスト画像データＰ５が良品であると判定される。この判定は正しいので正判定である。良品が、良品と正しく判定されているので問題はない。
・判定Ｂ（偽陽性）：良品テスト画像データＰ５が、偽不良部位に基づいて不良品であると判定される。この判定は誤っているので誤判定である。しかし、製造の観点から見ると、単に歩留まりが低下するだけであり、真正の不良品が市場に流通する事態を招くわけではない。したがって、本形態においては問題視しない。
・判定Ｃ（第１真陽性）：不良品テスト画像データＰ６について、真不良部位が正しく認識されて不良品であると判定される。この判定は正しいので正判定である。不良品が、不良品と正しく判定されているので問題はない。
・判定Ｄ（第２真陽性）：図５に示すように、不良品テスト画像データＰ６について、真不良部位ではなく偽不良部位に基づいて、不良品であると判定される。不良品を不良品であると判定しており、判定自体は正しいので正判定である。しかし、このような判定を行った学習済みモデルＭを使用していると、真不良部位が看過された不良品が市場に流通する可能性が生じる。したがって、本形態では、当該判定を、真不良部位を誤判定した場合として、対策が必要な場合として取り上げる。
・判定Ｅ（偽陽性）：図５に示すように、不良品テスト画像データＰ６について、真不良部位を認識せず、良品であると判定される。この判定は誤っているので誤判定である。また、上記の判定Ｄと同様に、真不良部位が看過された不良品が市場に流通する可能性が生じる。したがって、本形態では、当該判定を、真不良部位を誤判定した場合として、対策が必要な場合として取り上げる。
【0053】
ただし、図５に示した不良品テスト画像データＰ６の例は、判定Ｄおよび判定Ｅの説明の便宜のために用いたものであり、以降の説明内容を限定するものではない。
【0054】
上記のように、製造現場において最も懸念されるのは、工作物Ｗに生じた真不良部位が認識されないことである。このため、図４に示すように、本形態では、上記の判定ＤおよびＥがなされた不良品テスト画像データＰ６が、真不良部位が誤判定された場合として抽出される。ただし、判定Ｂのように、良品テスト画像データＰ５が、偽不良部位に基づいて不良品であると判定された場合が抽出される構成としてもよい。
【0055】
良否判定部１２は、抽出された不良品テスト画像データＰ６について、判定の根拠となる部位が着目された頻度を示すクラスアクティベーションマップＰ８（或いは、ヒートマップ、ローカリゼーションマップ）を作成する（図６参照）。クラスアクティベーションマップＰ８においては、画素ごとに、良否判定部１２が着目した着目度数が記憶されている。クラスアクティベーションマップＰ８においては、着目度数がトーンの濃淡として表現されている。作成されたクラスアクティベーションマップＰ８に対して、真不良部位がラベリングされる。
【0056】
分析教示部１３は、不良品における真不良部位を誤判定した場合に、不良要因情報に基づいて、真不良部位を誤判定した誤判定要因を分析し、誤判定要因に応じた解決策を教示する。解決策は一つでもよいし、２つ以上の複数でもよい。本形態では、３つの解決策１～３が教示される例について説明する。
【0057】
４．解決策１
解決策１について図６～図７を参照して説明する。分析教示部１３は、良否判定部１２から、クラスアクティベーションマップＰ８を取得する。また、分析教示部１３は、良否判定部１２により誤判定されたテスト画像データＰ５，Ｐ６である誤判定テスト画像データＰ７における最大着目度数Ｎｍａｘと、誤判定テスト画像データＰ７において誤判定された真不良部位における着目度数Ｎと、を取得する（図６参照）。
解決策１について図６～図７を参照して説明する。分析教示部１３は、良否判定部１２から、クラスアクティベーションマップＰ８を取得する。また、分析教示部１３は、良否判定部１２により誤判定されたテスト画像データＰ５，Ｐ６である誤判定テスト画像データＰ７における最大着目度数Ｎｍａｘと、誤判定テスト画像データＰ７において誤判定された真不良部位における着目度数Ｎと、を取得する（図６参照）。
【0058】
着目度数Ｎについて詳細に説明する。分析教示部１３は、誤判定テスト画像データＰ７と、不良要因訓練画像データＰ４に紐づけられた不良要因情報と、に基づいて、誤判定テスト画像データＰ７における真不良部位を取得する。次に、分析教示部１３は、誤判定テスト画像データＰ７において誤判定された真不良部位における着目度数Ｎを取得する。
【0059】
図６（ａ）には、真不良部位が誤判定された不良品テスト画像データＰ６から作成されたクラスアクティベーションマップＰ８が示されている。
【0060】
クラスアクティベーションマップＰ８には、真不良部位（Ｎ＝５）とラベルされた四角形（以下、Ｎ５領域という）と、真不良部位（Ｎ＝１０）とラベルされた四角形（以下、Ｎ１０領域という）と、偽不良部位（Ｎｍａｘ＝５０）とラベルされた多角形（以下、Ｎ５０領域）が記載されている。
【0061】
上記したＮ＝５、およびＮ＝１０は、上記した着目度数Ｎが、それぞれ５、および１０であることを示す。また、Ｎｍａｘ＝５０は、上記した最大着目度数Ｎｍａｘが５０であることを示す。ただし、Ｎ、およびＮｍａｘの数字については、上記の数字に限定されない。
【0062】
Ｎ５領域内には、不良要因３０として傷が存在している。この傷は真不良部位である。しかし、本形態においては、Ｎ５領域内の傷について、良否判定部１２は認識していなかった。すなわち、Ｎ５領域内の傷については、真不良部位が誤判定されている。
【0063】
Ｎ１０領域内には不良要因３０である傷が存在している。この傷は真不良部位である。本形態においてはＮ１０領域内の傷について、良否判定部１２は認識していた。すなわち、Ｎ１０領域の傷については、真不良部位が真不良部位であると正しく判定されている。
【0064】
Ｎ５０領域内には傷が存在しない。本形態においては、良否判定部１２は、Ｎ５０領域に傷があると認識し、不良品であると判定していた。すなわち、Ｎ５０領域の傷については、偽不良部位に基づいて不良品と判定されているので、真不良部位が誤判定されている。
【0065】
図６（ｂ）に示すように、分析教示部１３は、最大着目度数Ｎｍａｘ＝５０と、真不良部位における着目度数Ｎ＝５，１０との差である不足着目度数ΔＮを算出する。Ｎ５領域については、ΔＮは４５であり、Ｎ１０領域については、ΔＮは４０である。なお念のため、Ｎ５０領域については、Ｎｍａｘ＝５０との差になるので、ΔＮは０となる。
【0066】
分析教示部１３は、算出されたΔＮに基づいて、訓練画像データＰ１，Ｐ２のうちの不良品訓練画像データＰ２の数量不足が、真不良部位を誤判定した誤判定要因であると分析する。詳細には、分析教示部１３は、算出されたΔＮに基づいて、訓練画像データＰ１，Ｐ２のうち、誤判定された真不良部位を含む不良品訓練画像データＰ２の数量不足が、真不良部位を誤判定した誤判定要因であると分析する。
【0067】
図６（ｃ）に示すように、分析教示部１３は、不足着目度数ΔＮに基づき得られた真不良部位における最適着目度数Ｎｂｅｓｔを算出する。本形態においては、Ｎ５領域のＮｂｅｓｔは５０であり、Ｎ１０領域のＮｂｅｓｔは５０である。なお念のため、Ｎ５０領域におけるＮｂｅｓｔは５０である。
【0068】
分析教示部１３は、不足着目度数ΔＮ、および、Ｎｂｅｓｔの少なくとも一つを解決策のための情報として、表示装置５に表示させ、ユーザに教示する。
【0069】
解決策１がユーザによって選択された場合、水増し処理部１６は、誤判定された真不良部位を含む訓練画像データＰ１，Ｐ２を水増し処理する。訓練画像データＰ１，Ｐ２を水増しする個数は、不足着目度数ΔＮに基づいてユーザが決定した任意の個数でもよいし、Ｎｂｅｓｔとして教示された個数でもよい。
【0070】
図７（ａ）に示すように、水増し処理部１６は、不良品訓練画像データＰ２、および良品訓練画像データＰ１を画像データ格納部２０から取得する。
【0071】
図７（ｂ）に示すように、水増し処理部１６は、分析教示部１３の分析結果に基づいて、不良品訓練画像データＰ２から、真不良部位に対応する位置に形成されている真不良部位を含む領域を切り出す。切り出される範囲は、真不良部位を含んで、真不良部位よりも広い領域である。
【0072】
図７（ｂ）に示すように、水増し処理部１６は、切り出された領域を、良品訓練画像データＰ１に貼り付ける。良品訓練画像データＰ１のうち、切り出された領域が貼り付けられる位置は特に限定されない。例えば、切り出された領域は、不良品訓練画像データＰ２または不良品テスト画像データＰ６に真不良部位が生じていた位置またはその位置の近傍に貼り付けてもよいし、不良要因統合画像データＰ４において不良要因３０の発生確率が比較的に高い位置に貼り付けてもよいし、クラスアクティベーションマップＰ８において着目度数Ｎが比較的に小さな位置に貼り付けてもよい。
【0073】
図７（ｃ）に示すように、水増し処理部１６は、切り出された領域が貼り付けられた良品訓練画像データＰ１を水増し処理する。具体的には、切り出された領域の真不良部位を、任意の角度で回転させたり、任意の位置にシフトさせたり、任意の倍率で拡大または縮小させたりする。これにより、複数の、新たな不良品訓練画像データＰ２が作成される。ただし、水増し処理において、真不良部位を変形させたりしてもよい。
【0074】
５．解決策２
解決策２について図８～図１０を参照して説明する。図８に示すように、分析教示部１３は、画像データ格納部２０から、真不良部位を誤判定された誤判定テスト画像データＰ７を取得する。また、分析教示部１３は、不良要因統合画像データ格納部２４から、不良要因統合画像データＰ４を取得する。
解決策２について図８～図１０を参照して説明する。図８に示すように、分析教示部１３は、画像データ格納部２０から、真不良部位を誤判定された誤判定テスト画像データＰ７を取得する。また、分析教示部１３は、不良要因統合画像データ格納部２４から、不良要因統合画像データＰ４を取得する。
【0075】
分析教示部１３は、誤判定テスト画像データＰ７のうち、誤判定された真不良部位の位置を取得する。分析教示部１３は、不良要因統合画像データＰ４のうち、誤判定テスト画像データＰ７において誤判定された真不良部位に対応する位置を特定する。
【0076】
分析教示部１３は、不良要因統合画像データＰ４のうち、誤判定テスト画像データＰ７において誤判定された真不良部位に対応する位置に生成された、不良要因群３１を含む領域を切り出す。本形態では、分析教示部１３は、３種類の、大きさの異なる領域を切り出している。ただし、切り出される領域の個数は、１つ、または２つでもよく、４つ以上でもよい。
【0077】
上記の不良要因群３１とは、不良要因統合画像データＰ４において、連続または近接して配置される複数の不良要因３０による、まとまりをいう。換言すると、不良要因群３１は、不良品訓練画像データＰ２の生成に供された複数の不良要因訓練画像データＰ３に含まれる不良要因３０が累積されたものである。
【0078】
分析教示部１３は、不良要因統合画像データＰ４の全画像サイズに対する、不良要因統合画像データＰ４における不良要因３０を含む局所画像サイズの割合を算出する。なお、上記の局所画像サイズは、不良品テスト画像データＰ６において誤判定された真不良部位に対応する位置を含む１つの不良要因群３１の画像サイズである。
【0079】
分析教示部１３は、正判定トリミング画像データ格納部２３から、誤判定テスト画像データＰ７において誤判定された真不良部位に対応する位置に不良要因３０が記録された正判定トリミング画像データを取得する。分析教示部１３は、当該正判定トリミング画像データから、正判定トリミング画像データの全画像サイズに対する、正判定トリミング画像データにおける真不良部位の局所画像サイズの割合を算出する。
【0080】
分析教示部１３は、正判定トリミング画像データの全画像サイズに対する、正判定トリミング画像データにおける真不良部位の局所画像サイズの割合と、不良要因統合画像データＰ４の全画像サイズに対する、不良要因統合画像データＰ４における不良要因３０を含む局所画像サイズの割合と、に基づいて、不良品テスト画像データＰ６の全画像サイズに対する、誤判定された真不良部位の局所画像サイズの割合が不適であることが、真不良部位が誤判定された誤判定要因であると分析する。
【0081】
換言すると、分析教示部１３は、正判定トリミング画像データに基づいて、不良品テスト画像データＰ６における全画像サイズに対する局所画像サイズの割合が不適であることが、真不良部位が誤判定された誤判定要因であると分析する。
【0082】
分析教示部１３は、正判定トリミング画像データの全画像サイズに対する、正判定トリミング画像データにおける真不良部位の局所画像サイズの割合に基づいて、良否判定部１２が真不良部位を適切に認識できる全画像サイズを決定する。分析教示部１３は、決定された全画像サイズに基づいて、機械学習に用いる訓練画像データＰ１，Ｐ２の適切全画像サイズを、表示装置５に表示させることにより、ユーザに教示する。
【0083】
解決策２がユーザによって選択された場合、図９に示すように、画像分割処理部１７は、分析教示部１３の分析結果に基づいて、１つ、または複数の訓練画像データＰ１，Ｐ２を分割する。図９では、不良品訓練画像データＰ２が画像分割処理される例を示す。なお、良品訓練画像データＰ１が画像分割処理されてもよい。画像分割処理部１７は、分割された不良品訓練画像データＰ２を、適切全画像サイズに拡大または縮小させる。本形態では、分割された不良品訓練画像データＰ２の例として、モデルα、モデルβ、モデルγを例示した。ただし、分割される画像の領域は、上記のモデルα～γに限定されない。
【0084】
画像分割処理部１７は、適切全画像サイズに拡大または縮小された画像データを、水増しする。図１０に、モデルαを例にして、水増し処理について説明する。
【0085】
図１０に示すように、不良品訓練画像データＰ２から、適切全画像サイズに拡大または縮小された画像データが切り出される。画像分割処理部１７は、当該画像データの真不良部位を、任意の角度で回転させたり、任意の位置にシフトさせたり、任意の形状に変形させたり、任意の倍率で拡大または縮小させたりする。これにより、複数の、新たな不良品訓練画像データＰ２が作成される。
【0086】
画像分割処理部１７は、モデルαに基づいて水増しされた一組の画像データを、モデル生成部１１に送信する。モデル生成部１１は、モデルαに基づいて機械学習を行うことにより、一つの学習済みモデルＭを生成する。同様にして、モデルβに基づいて１つの学習済みモデルＭが生成され、モデルγに基づいて１つの学習済みモデルＭが生成される。つまり、モデル生成部１１は、画像分割処理部１７により分割された各モデルに対応して、学習済みモデルＭを生成する。
【0087】
６．解決策３
解決策３について図１１～図１２を参照して説明する。図１１に示すように、分析教示部１３は、不良要因統合画像データ格納部２４から、不良要因統合画像データＰ４を取得する。分析教示部１３は、不良要因統合画像データＰ４において複数の不良要因３０を含む不良要因領域３２を取得する。図１１において、不良要因領域３２は、不良要因統合画像データＰ４中に３つの四角形で示されている。
解決策３について図１１～図１２を参照して説明する。図１１に示すように、分析教示部１３は、不良要因統合画像データ格納部２４から、不良要因統合画像データＰ４を取得する。分析教示部１３は、不良要因統合画像データＰ４において複数の不良要因３０を含む不良要因領域３２を取得する。図１１において、不良要因領域３２は、不良要因統合画像データＰ４中に３つの四角形で示されている。
【0088】
不良要因領域３２は、ユーザにより指定される。不良要因領域３２の位置、大きさ、形状は、不良要因３０の位置、形状、大きさに基づいて任意に設定される。本形態では、不良要因領域３２は四角形で指定されたが、三角形、五角形等の多角形でもよいし、円形状、長円形状、トラック形状等でもよく、任意の形状を採用できる。不良要因領域３２の個数は、１つ、２つ、または４つ以上でもよい。
【0089】
分析教示部１３は、良否判定部１２により真不良部位が誤判定された誤判定テスト画像データＰ７を取得する。分析教示部１３は、不良要因領域３２がラベルされた不良要因統合画像データＰ４と、誤判定テスト画像データＰ７と、に基づいて、誤判定テスト画像データＰ７において着目すべきでない部位が含まれることが、真不良部位が誤判定された誤判定要因であると分析する。
【0090】
分析教示部１３は、不良要因領域３２を除く領域をマスキング領域４０と指定する。分析教示部１３は、誤判定テスト画像データＰ７に対してマスキング領域４０をマスキング処理した、マスキング済み画像データＰ９を生成する。分析教示部１３は、マスキング済み画像データＰ９を、表示装置５に表示させることにより、ユーザに教示する。これにより、分析教示部１３は、訓練画像データＰ１，Ｐ２に対するマスキング領域４０を解決策の情報としてユーザに教示する。
【0091】
解決策３がユーザによって選択された場合、図１２に示すように、マスキング処理部１８は、不良要因統合画像データ格納部２４から、不良要因統合画像データＰ４を取得する。マスキング処理部１８は、不良要因統合画像データＰ４において複数の不良要因３０を含む不良要因領域３２を取得する。
【0092】
マスキング処理部１８は、画像データ格納部２０から、良品訓練画像データＰ１および不良品訓練画像データＰ２を取得する。マスキング処理部１８は、良品訓練画像データＰ１および不良品訓練画像データＰ２に対して、不良要因領域３２を除く領域をマスキング処理する。これにより、マスキング処理部１８は、良品訓練画像データＰ１および不良品訓練画像データＰ２にマスキング処理が施された、マスキング済み画像データＰ９を生成する。良品訓練画像データＰ１から生成されたマスキング済み画像データＰ９、および不良品訓練画像データＰ２から生成されたマスキング済み画像データＰ９は、それぞれ、新たな訓練画像データＰ１，Ｐ２として、モデル生成部１１への入力画像データとされる。
【0093】
７．本形態の作用効果
本形態によれば、分析教示部１３が誤判定要因に応じた解決策を教示するので、ユーザは、誤判定テスト画像データＰ７が正しく判定されるようなるための解決策について知ることができる。これにより、誤判定テスト画像データＰ７について、誤判定の原因を推定し、推定された原因から対策を考案するための労力を削減することができる。この結果、全体として、学習済みモデルＭを構築するための労力を削減することができる。
本形態によれば、分析教示部１３が誤判定要因に応じた解決策を教示するので、ユーザは、誤判定テスト画像データＰ７が正しく判定されるようなるための解決策について知ることができる。これにより、誤判定テスト画像データＰ７について、誤判定の原因を推定し、推定された原因から対策を考案するための労力を削減することができる。この結果、全体として、学習済みモデルＭを構築するための労力を削減することができる。
【0094】
本形態によれば、複数の解決策が教示されるので、ユーザは、教示された複数の解決策のいずれかを選択すればよい。これにより、学習済みモデルＭを構築するための労力をより削減できる。
【0095】
不良要因統合画像データＰ４には、１枚の画像データに、不良要因３０の分布状態が視覚化されている。これにより、学習済みモデルＭを改善するための解決策を案出する際に不良要因３０の分布状態を考慮する場合において、効率よく解決策を案出することができる。
【0096】
（実施形態２）
続いて、実施形態２の機械学習装置１について図１３を参照して説明する。本形態においては、解決策３に代えて解決策４が教示される以外は実施形態１と略同様なので、同一の構成要素については同一符号を付し、重複する説明を省略する。
続いて、実施形態２の機械学習装置１について図１３を参照して説明する。本形態においては、解決策３に代えて解決策４が教示される以外は実施形態１と略同様なので、同一の構成要素については同一符号を付し、重複する説明を省略する。
【0097】
解決策４について図１３を参照して説明する。図１３に示すように、分析教示部１３は、不良要因統合画像データ格納部２４から、不良要因統合画像データＰ４を取得する。分析教示部１３は、不良要因統合画像データＰ４において複数の不良要因３０を含む不良要因領域３２を取得する。図１３において、不良要因領域３２は、不良要因統合画像データＰ４中に３つの四角形で示されている。
【0098】
分析教示部１３は、真不良部位が誤判定された誤判定テスト画像データＰ７と、当該誤判定テスト画像データＰ７に基づいて生成されたクラスアクティベーションマップＰ８と、を取得する。分析教示部１３は、誤判定テスト画像データＰ７に基づくクラスアクティベーションマップＰ８において、上記した着目度数Ｎが所定度数以下である低着目度数領域４１を取得する。本形態では、所定度数は１０とされる。図１３に記載されたクラスアクティベーションマップＰ８において、Ｎ＝１０の境界が黒い曲線で示されている。Ｎ＝１０の境界よりもトーンが暗い部分が、着目度数Ｎが１０以下の低着目度数領域４１である。低着目度数領域４１の境界を定義する所定度数は、１０に限られず、２０，３０等、任意の値を設定できる。
【0099】
分析教示部１３は、不良要因領域３２および低着目度数領域４１を除く領域をマスキング領域４０と指定する。分析教示部１３は、誤判定テスト画像データＰ７に対してマスキング領域４０をマスキング処理した、マスキング済み画像データＰ９を生成する。分析教示部１３は、マスキング済み画像データＰ９を、表示装置５に表示させることにより、ユーザに教示する。これにより、分析教示部１３は、訓練画像データＰ１，Ｐ２に対するマスキング領域４０を解決策の情報としてユーザに教示する。
【0100】
本形態によれば、着目度数が所定度数以下である低着目度数領域４１を除く領域をマスキング領域４０と指定する。これにより、訓練データから、着目すべきでない部位を効果的に除くことができる。この結果、学習済みモデルＭの精度を向上させることができる。
【0101】
（実施形態３）
続いて、実施形態３の機械学習装置１について図１４を参照して説明する。本形態に係る機械学習装置１の全体的な動作について図１４を参照して説明する。Ｓ１～Ｓ５については、実施形態１と同様なので、重複する説明を省略する。
続いて、実施形態３の機械学習装置１について図１４を参照して説明する。本形態に係る機械学習装置１の全体的な動作について図１４を参照して説明する。Ｓ１～Ｓ５については、実施形態１と同様なので、重複する説明を省略する。
【0102】
Ｓ１０にて、分析教示部１３は、良否判定部１２から判定結果を取得する。分析教示部１３は、不良要因訓練画像データＰ３から不良要因訓練画像データＰ３を取得する。また、分析教示部１３は、正判定トリミング画像データ格納部２３から、正判定トリミング画像データを取得する。また、分析教示部１３は、不良要因統合画像データ格納部２４から不良要因統合画像データＰ４を取得する。
【0103】
分析教示部１３は、良否判定部１２の判定結果に基づいて、不良品における真不良部位を誤判定した場合に、不良要因情報に基づいて誤判定要因を分析し、誤判定要因に応じた解決策を導出する。
【0104】
分析教示部１３は、導出された解決策を再学習用訓練画像データ生成部１５に送信する。再学習用訓練画像データ生成部１５は、画像データ格納部２０から訓練画像データＰ１，Ｐ２を取得する。次に、再学習用訓練画像データ生成部１５は、分析教示部１３から送信された解決策に応じて、不良要因訓練画像データ格納部２２から不良要因訓練画像データＰ３を取得し、正判定トリミング画像データ格納部２３から正判定トリミング画像データを取得し、不良要因統合画像データ格納部２４から不良要因統合画像データＰ４を取得する。
【0105】
再学習用訓練画像データ生成部１５は、分析教示部１３から送信された解決策に基づいて、再学習用の訓練画像データＰ１，Ｐ２を生成する。再学習用訓練画像データ生成部１５は、生成された再学習用の訓練画像データＰ１，Ｐ２をモデル生成部１１に送信する。
【0106】
Ｓ１１にて、モデル生成部１１は、取得した、再学習用の訓練画像データＰ１，Ｐ２を用いて機械学習を行うことにより、Ｓ２で生成された学習済みモデルＭとは異なる、新学習済みモデルを生成する。モデル生成部１１は、生成された新学習済みモデルを良否判定部１２に送信する。
【0107】
Ｓ１２にて、良否判定部１２は、モデル生成部１１から新学習済みモデルを取得する。また、良否判定部１２は、画像データ格納部２０からテスト画像データＰ５，Ｐ６を取得する。
【0108】
良否判定部１２は、新学習済みモデルを用いて、Ｓ４にて取得されたテスト画像データＰ５，Ｐ６が、良品または不良品であるかを判定する。良否判定部１２は、新学習済みモデルの判定結果を分析教示部１３に送信する。
【0109】
Ｓ１３にて、分析教示部１３は、Ｓ１０にて導出された解決策を、表示装置５に表示させることにより、ユーザに解決策を教示する。
【0110】
Ｓ１４にて、分析教示部１３は、Ｓ１０にて導出された解決策の有効度を表示装置５に表示させることにより、ユーザに教示する。
【0111】
解決策の有効度は、特に限定されない。解決策の有効度として、例えば、Ｓ５における学習済みモデル評価において真不良部位が誤判定された誤判定テスト画像データＰ７の個数と、Ｓ１２における学習済みモデル評価において真不良部位が誤判定された誤判定テスト画像データＰ７の個数と、を比較して、誤判定テスト画像データＰ７の個数が少ない解決策ほど有効であるとしてもよい。
【0112】
また、例えば、Ｓ５における学習済みモデル評価において真不良部位が誤判定された誤判定テスト画像データＰ７のうち、Ｓ１２における学習済みモデル評価において真不良部位が正判定されたテスト画像データＰ５，Ｐ６の個数が多い解決策ほど有効であるとしてもよい。
【0113】
以上により、機械学習装置１の全体的な動作が終了する。
【0114】
上記以外の構成については、実施形態１と略同様なので、同一部材については同一符号を付し、重複する説明を省略する。
【0115】
本形態によれば、提案された複数の解決策について、どの解決策が有効であるかを、複数の解決策を検討する前に知ることができる。これにより、学習済みモデルＭを構築するための労力を一層省力化できる。
【0116】
本発明は上記各実施形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の実施形態に適用することが可能である。
【符号の説明】
【0117】
１…機械学習装置、２…演算処理装置、３…記憶装置、１１ モデル生成部、１２ 良否判定部、１３ 分析教示部、１４ 不良要因統合画像データ生成部、１６…水増し処理部、１７ 画像分割処理部、２０…画像データ格納部、２１…モデル格納部、２２…不良要因訓練画像データ格納部、２３…正判定トリミング画像データ格納部、３０…不良要因、３１…不良要因群、３２…不良要因領域、４０…マスキング領域、４１…低着目度数領域、Ｎ…着目度数、Ｎｂｅｓｔ…最適着目度数、Ｎｍａｘ…最大着目度数、Ｍ…学習済みモデル、ΔＮ…不足着目度数、Ｐ１…良品訓練画像データ（訓練画像データ）、Ｐ２…不良品訓練画像データ（訓練画像データ）、Ｐ３…不良要因訓練画像データ、Ｐ４…不良要因統合画像データ、Ｐ５…良品テスト画像データ（テスト画像データ）、Ｐ６…不良品テスト画像データ（テスト画像データ）、Ｐ７…誤判定テスト画像データ、Ｐ８…クラスアクティベーションマップ、Ｐ９…マスキング済み画像データ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】