知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126356
(43)【公開日】2024-09-20
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
G06T 7/00 20170101AFI20240912BHJP
G06V 10/776 20220101ALI20240912BHJP
G06N 20/00 20190101ALI20240912BHJP
G01N 21/88 20060101ALI20240912BHJP
【ＦＩ】
G06T7/00 350B
G06T7/00 610
G06V10/776
G06N20/00 130
G01N21/88 J
【審査請求】未請求
【請求項の数】13
【出願形態】ＯＬ
(21)【出願番号】P 2023034675
(22)【出願日】2023-03-07
(71)【出願人】
【識別番号】000129253
【氏名又は名称】株式会社キーエンス
(74)【代理人】
【識別番号】110001427
【氏名又は名称】弁理士法人前田特許事務所
(72)【発明者】
【氏名】生嶋 靖久
【テーマコード（参考）】
2G051
5L096
【Ｆターム（参考）】
2G051AC04
2G051CA04
2G051EB10
2G051FA01
5L096BA03
5L096JA11
5L096KA04
(57)【要約】
【課題】ユーザの負担を軽減しながら、機械学習モデルの分類処理の精度を十分に高める。
【解決手段】プロセッサは、第１クラスに属する画像により学習させた機械学習モデルに複数の検証用画像を入力して判定処理を実行し、複数の検証用画像の判定処理の精度を評価した結果に基づいて、機械学習モデルの再学習が必要であるか否か評価し、機械学習モデルの再学習が必要であると評価した場合は、第２クラスに属する画像を機械学習モデルに入力して再学習させる。機械学習モデルの再学習が不要であると評価した場合は、機械学習モデルの学習処理を完了する。
【選択図】図８
【解決手段】プロセッサは、第１クラスに属する画像により学習させた機械学習モデルに複数の検証用画像を入力して判定処理を実行し、複数の検証用画像の判定処理の精度を評価した結果に基づいて、機械学習モデルの再学習が必要であるか否か評価し、機械学習モデルの再学習が必要であると評価した場合は、第２クラスに属する画像を機械学習モデルに入力して再学習させる。機械学習モデルの再学習が不要であると評価した場合は、機械学習モデルの学習処理を完了する。
【選択図】図８
【特許請求の範囲】
【請求項1】
機械学習モデルに画像を入力し、当該画像を第１クラスと第２クラスのいずれのクラスに属するかを判定する判定処理を実行するプロセッサを備える画像処理装置であって、
前記プロセッサは、
（１）前記第１クラスに属する画像を前記機械学習モデルに学習させて、当該第１クラスに属する画像とは異なる特徴を有する画像を前記第２クラスに属する画像として判定する機械学習モデルを生成し、
（２）前記第１クラスに属する画像により学習させた前記機械学習モデルに複数の検証用画像を入力して、当該複数の検証用画像を前記第１クラスと前記第２クラスのいずれのクラスに属するかを判定する判定処理を実行し、
（３）前記複数の検証用画像の判定処理の精度を評価し、
（４）前記複数の検証用画像の判定処理の精度を評価した結果に基づいて、前記機械学習モデルの再学習が必要であるか否か評価し、前記機械学習モデルの再学習が必要であると評価した場合は、前記第２クラスに属する画像を前記機械学習モデルに入力して再学習させて、当該第２クラスに属する画像と類似する特徴を有する画像を当該第２クラスに属する画像として判定するように前記機械学習モデルを生成し、前記機械学習モデルの再学習が不要であると評価した場合は、前記機械学習モデルの学習処理を完了する、
画像処理装置。
前記プロセッサは、
（１）前記第１クラスに属する画像を前記機械学習モデルに学習させて、当該第１クラスに属する画像とは異なる特徴を有する画像を前記第２クラスに属する画像として判定する機械学習モデルを生成し、
（２）前記第１クラスに属する画像により学習させた前記機械学習モデルに複数の検証用画像を入力して、当該複数の検証用画像を前記第１クラスと前記第２クラスのいずれのクラスに属するかを判定する判定処理を実行し、
（３）前記複数の検証用画像の判定処理の精度を評価し、
（４）前記複数の検証用画像の判定処理の精度を評価した結果に基づいて、前記機械学習モデルの再学習が必要であるか否か評価し、前記機械学習モデルの再学習が必要であると評価した場合は、前記第２クラスに属する画像を前記機械学習モデルに入力して再学習させて、当該第２クラスに属する画像と類似する特徴を有する画像を当該第２クラスに属する画像として判定するように前記機械学習モデルを生成し、前記機械学習モデルの再学習が不要であると評価した場合は、前記機械学習モデルの学習処理を完了する、
画像処理装置。
【請求項2】
請求項１に記載の画像処理装置において、
前記第１クラスに属する画像は、良品を撮像した良品画像であり、
前記第２クラスに属する画像は、不良品を撮像した不良品画像であり、
前記プロセッサは、
前記複数の検証用画像の中から、前記機械学習モデルに再学習させる画像として前記不良品画像を抽出した後、ユーザから当該不良品画像中の不良箇所の指定を受け付けるための表示画面を生成して表示部に表示させ、
前記表示画面を介して前記不良箇所が特定された前記不良品画像を前記機械学習モデルに再学習させて、当該不良箇所と類似する特徴を有する画像を前記第２クラスに属する画像として判定するように前記機械学習モデルを生成する、
画像処理装置。
前記第１クラスに属する画像は、良品を撮像した良品画像であり、
前記第２クラスに属する画像は、不良品を撮像した不良品画像であり、
前記プロセッサは、
前記複数の検証用画像の中から、前記機械学習モデルに再学習させる画像として前記不良品画像を抽出した後、ユーザから当該不良品画像中の不良箇所の指定を受け付けるための表示画面を生成して表示部に表示させ、
前記表示画面を介して前記不良箇所が特定された前記不良品画像を前記機械学習モデルに再学習させて、当該不良箇所と類似する特徴を有する画像を前記第２クラスに属する画像として判定するように前記機械学習モデルを生成する、
画像処理装置。
【請求項3】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記複数の検証用画像の中から、前記機械学習モデルに再学習させるために抽出した不良品画像に対して、前記学習させた良品画像と異なる特徴部分を特定し、
前記抽出した不良品画像における当該特定した異なる特徴部分を強調した画像を含む表示画面を生成して前記表示部に表示させる、
画像処理装置。
前記プロセッサは、
前記複数の検証用画像の中から、前記機械学習モデルに再学習させるために抽出した不良品画像に対して、前記学習させた良品画像と異なる特徴部分を特定し、
前記抽出した不良品画像における当該特定した異なる特徴部分を強調した画像を含む表示画面を生成して前記表示部に表示させる、
画像処理装置。
【請求項4】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記機械学習モデルの再学習が必要であると評価した場合は、前記複数の検証用画像の中から、判定結果が誤っている可能性が相対的に高い不良品画像を自動的に抽出し、前記機械学習モデルに自動的に再学習させる、
画像処理装置。
前記プロセッサは、
前記機械学習モデルの再学習が必要であると評価した場合は、前記複数の検証用画像の中から、判定結果が誤っている可能性が相対的に高い不良品画像を自動的に抽出し、前記機械学習モデルに自動的に再学習させる、
画像処理装置。
【請求項5】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記機械学習モデルの再学習が必要であると評価した場合は、前記判定処理の精度の評価結果に基づいて、再学習に用いる不良品画像の枚数を自動的に算出し、
前記複数の検証用画像の中から、判定結果が誤っている可能性が相対的に高い不良品画像を前記枚数だけ抽出し、当該枚数の不良品画像を前記機械学習モデルに自動的に再学習させる、
画像処理装置。
前記プロセッサは、
前記機械学習モデルの再学習が必要であると評価した場合は、前記判定処理の精度の評価結果に基づいて、再学習に用いる不良品画像の枚数を自動的に算出し、
前記複数の検証用画像の中から、判定結果が誤っている可能性が相対的に高い不良品画像を前記枚数だけ抽出し、当該枚数の不良品画像を前記機械学習モデルに自動的に再学習させる、
画像処理装置。
【請求項6】
請求項５に記載の画像処理装置において、
前記プロセッサは、
前記機械学習モデルの再学習が必要であると評価した場合は、前記複数の検証用画像の中から、判定結果が誤っている可能性が相対的に高い順に前記算出した枚数の不良品画像を抽出し、当該枚数の不良品画像を前記機械学習モデルに自動的に再学習させる、
画像処理装置。
前記プロセッサは、
前記機械学習モデルの再学習が必要であると評価した場合は、前記複数の検証用画像の中から、判定結果が誤っている可能性が相対的に高い順に前記算出した枚数の不良品画像を抽出し、当該枚数の不良品画像を前記機械学習モデルに自動的に再学習させる、
画像処理装置。
【請求項7】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記機械学習モデルの再学習が必要であると評価した場合は、前記機械学習モデルに不良品画像だけでなく、良品画像も併せて再学習させて、当該不良品画像と類似する特徴および当該良品画像と異なる特徴を不良箇所として判定するように前記機械学習モデルを生成する、
画像処理装置。
前記プロセッサは、
前記機械学習モデルの再学習が必要であると評価した場合は、前記機械学習モデルに不良品画像だけでなく、良品画像も併せて再学習させて、当該不良品画像と類似する特徴および当該良品画像と異なる特徴を不良箇所として判定するように前記機械学習モデルを生成する、
画像処理装置。
【請求項8】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記複数の検証用画像の良品画像に対する誤判定率及び不良品画像に対する誤判定率を算出し、算出した良品画像に対する誤判定率及び不良品画像に対する誤判定率に基づいて、前記機械学習モデルの再学習に用いる良品画像及び不良品画像の各枚数を決定する、
画像処理装置。
前記プロセッサは、
前記複数の検証用画像の良品画像に対する誤判定率及び不良品画像に対する誤判定率を算出し、算出した良品画像に対する誤判定率及び不良品画像に対する誤判定率に基づいて、前記機械学習モデルの再学習に用いる良品画像及び不良品画像の各枚数を決定する、
画像処理装置。
【請求項9】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記判定処理において、前記複数の検証用画像のそれぞれに対して不良品度合いを示す評価値を算出し、
前記機械学習モデルの再学習が必要であると評価した場合は、前記良品画像の前記評価値と、前記不良品画像の前記評価値とを比較することで、前記機械学習モデルに良否画像と不良品画像のどちらを学習させるかを自動的に判断する、
画像処理装置。
前記プロセッサは、
前記判定処理において、前記複数の検証用画像のそれぞれに対して不良品度合いを示す評価値を算出し、
前記機械学習モデルの再学習が必要であると評価した場合は、前記良品画像の前記評価値と、前記不良品画像の前記評価値とを比較することで、前記機械学習モデルに良否画像と不良品画像のどちらを学習させるかを自動的に判断する、
画像処理装置。
【請求項10】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記機械学習モデルの判定処理の精度が所定の精度を獲得していると評価された場合に、前記機械学習モデルの学習処理を終了するとの判断を自動的に行う、
画像処理装置。
前記プロセッサは、
前記機械学習モデルの判定処理の精度が所定の精度を獲得していると評価された場合に、前記機械学習モデルの学習処理を終了するとの判断を自動的に行う、
画像処理装置。
【請求項11】
請求項２に記載の画像処理装置において、
前記プロセッサは、
前記機械学習モデルの判定処理の精度を示す数値または前記機械学習モデルの判定処理の精度を示すグラフを表示するための表示画面を自動的に生成して前記表示部に表示させる、
画像処理装置。
前記プロセッサは、
前記機械学習モデルの判定処理の精度を示す数値または前記機械学習モデルの判定処理の精度を示すグラフを表示するための表示画面を自動的に生成して前記表示部に表示させる、
画像処理装置。
【請求項12】
請求項１１に記載の画像処理装置において、
前記機械学習モデルの判定処理の精度を示す数値または前記機械学習モデルの判定処理の精度を示すグラフを表示するための前記表示画面には、当該機械学習モデルに学習させた良品画像の枚数および不良品画像の枚数、ならびに、前記複数の検証用画像に対して誤判定した枚数が含まれている、
画像処理装置。
前記機械学習モデルの判定処理の精度を示す数値または前記機械学習モデルの判定処理の精度を示すグラフを表示するための前記表示画面には、当該機械学習モデルに学習させた良品画像の枚数および不良品画像の枚数、ならびに、前記複数の検証用画像に対して誤判定した枚数が含まれている、
画像処理装置。
【請求項13】
機械学習モデルに画像を入力し、当該画像を第１クラスと第２クラスのいずれのクラスに属するかを判定する判定処理を実行する画像処理方法であって、
（１）前記第１クラスに属する画像を前記機械学習モデルに学習させて、当該第１クラスに属する画像とは異なる特徴を有する画像を前記第２クラスに属する画像として判定する機械学習モデルを生成するステップと、
（２）前記第１クラスに属する画像により学習させた前記機械学習モデルに複数の検証用画像を入力して、当該複数の検証用画像を前記第１クラスと前記第２クラスのいずれのクラスに属するかを判定する判定処理を実行するステップと、
（３）前記複数の検証用画像の判定処理の精度を評価するステップと、
（４）前記複数の検証用画像の判定処理の精度を評価した結果に基づいて、前記機械学習モデルの再学習が必要であるか否か評価し、前記機械学習モデルの再学習が必要であると評価した場合は、前記第２クラスに属する画像を前記機械学習モデルに入力して再学習させて、当該第２クラスに属する画像と類似する特徴を有する画像を当該第２クラスに属する画像として判定するように前記機械学習モデルを生成し、前記機械学習モデルの再学習が不要であると評価した場合は、前記機械学習モデルの学習処理を完了するステップと、
を備えている画像処理方法。
（１）前記第１クラスに属する画像を前記機械学習モデルに学習させて、当該第１クラスに属する画像とは異なる特徴を有する画像を前記第２クラスに属する画像として判定する機械学習モデルを生成するステップと、
（２）前記第１クラスに属する画像により学習させた前記機械学習モデルに複数の検証用画像を入力して、当該複数の検証用画像を前記第１クラスと前記第２クラスのいずれのクラスに属するかを判定する判定処理を実行するステップと、
（３）前記複数の検証用画像の判定処理の精度を評価するステップと、
（４）前記複数の検証用画像の判定処理の精度を評価した結果に基づいて、前記機械学習モデルの再学習が必要であるか否か評価し、前記機械学習モデルの再学習が必要であると評価した場合は、前記第２クラスに属する画像を前記機械学習モデルに入力して再学習させて、当該第２クラスに属する画像と類似する特徴を有する画像を当該第２クラスに属する画像として判定するように前記機械学習モデルを生成し、前記機械学習モデルの再学習が不要であると評価した場合は、前記機械学習モデルの学習処理を完了するステップと、
を備えている画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、機械学習モデルによる画像処理を実行するプロセッサを備えた画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
例えば工業製品の外観検査を行う際に、機械学習モデルを用いて良品と不良品のいずれのグループに属するかを判定する分類処理を実行するように構成された装置が知られている（例えば特許文献１参照）。特許文献１の処理装置では、良品学習モデルと不良品学習モデルを別々に生成し、撮像部によって取得された製品データを良品学習モデルに入力して得られた結果と、当該製品データを不良品学習モデルに入力して得られた結果とに基づいて良否判定を実行している。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０１９－２０４３２１号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、機械学習モデルの学習方法として、良品画像だけを機械学習モデルに学習させる良品学習（教師無し学習）と、良品画像だけでなく、不良品画像も機械学習モデルに学習させる不良品学習（教師有り学習）とに大別される。
【0005】
良品学習は、不良品学習と比較すると、学習データの収集が比較的容易であるものの、判定精度は低くなりやすい傾向にある。一方、不良品学習は、良品学習と比較すると、判定精度は高くなりやすいものの、十分な数の不良品画像を収集するのが困難であるとともに、未知欠陥への対応力が低いという問題もある。
【0006】
この点、特許文献１では、製品データを良品学習モデルに入力して得られた結果と、不良品学習モデルに入力して得られた結果とに基づいて良否判定を実行しているが、良品学習モデルと不良品学習モデルの２つのモデルのそれぞれで学習が必要になるため、ユーザの負担が大きい。
【0007】
本開示は、かかる点に鑑みたものであり、その目的とするところは、ユーザの負担を軽減しながら、機械学習モデルの分類処理の精度を十分に高めることにある。
【課題を解決するための手段】
【0008】
上記目的を達成するために、本態様では、機械学習モデルに画像を入力し、当該画像を第１クラスと第２クラスのいずれのクラスに属するかを判定する判定処理を実行するプロセッサを備える画像処理装置を前提とすることができる。前記プロセッサは、前記第１クラスに属する画像を前記機械学習モデルに学習させて、当該第１クラスに属する画像とは異なる特徴を有する画像を前記第２クラスに属する画像として判定する機械学習モデルを生成し、前記第１クラスに属する画像により学習させた前記機械学習モデルに複数の検証用画像を入力して、当該複数の検証用画像を前記第１クラスと前記第２クラスのいずれのクラスに属するかを判定する判定処理を実行する。前記プロセッサは、前記複数の検証用画像の判定処理の精度を評価し、前記複数の検証用画像の判定処理の精度を評価した結果に基づいて、前記機械学習モデルの再学習が必要であるか否か評価し、前記機械学習モデルの再学習が必要であると評価した場合は、前記第２クラスに属する画像を前記機械学習モデルに入力して再学習させて、当該第２クラスに属する画像と類似する特徴を有する画像を当該第２クラスに属する画像として判定するように前記機械学習モデルを生成し、前記機械学習モデルの再学習が不要であると評価した場合は、前記機械学習モデルの学習処理を完了する。
【0009】
この構成によれば、第１クラスに属する画像により機械学習モデルを学習させた後に、機械学習モデルに複数の検証用画像を入力して第１クラスと第２クラスのいずれのクラスに属するかを判定する判定処理を実行することで、機械学習モデルの検証を行うことができる。検証によって得られた判定処理の精度が不十分である場合には、第２クラスに属する画像を機械学習モデルに入力して再学習させる。一方、検証によって得られた判定処理の精度が十分であり、機械学習モデルの再学習が不要である場合には、機械学習モデルの学習処理を完了する。要するに、本構成によれば、第１クラスに属する画像のみの学習で機械学習モデルが所望の精度を獲得できていれば、第１クラスに属する画像のみで学習した機械学習モデルを運用し、また、第１クラスに属する画像のみの学習で所望の精度が獲得できていなければ、第２クラスに属する画像を用いて再学習させることで、所望の精度を獲得させることができる。機械学習モデルの再学習が必要であるか否かの評価、第２クラスに属する画像を用いて再学習させるか否かの判断を画像処理装置が実行するので、ユーザの負担が軽減される。
【0010】
また、前記第１クラスに属する画像が良品を撮像した良品画像であり、前記第２クラスに属する画像が不良品を撮像した不良品画像であってもよい。この場合、前記プロセッサは、再学習させる画像として前記不良品画像を抽出した後、ユーザから当該不良品画像中の不良箇所の指定を受け付けるための表示画面を生成して表示部に表示させ、前記表示画面を介して前記不良箇所が特定された前記不良品画像を前記機械学習モデルに再学習させて、当該不良箇所と類似する特徴を有する画像を前記第２クラスに属する画像として判定するように前記機械学習モデルを生成することができる。
【0011】
この構成によれば、不良箇所を特定した不良品画像、即ちアノテーションした不良品画像を機械学習モデルに再学習させる場合に、学習効果の相対的に高い不良品画像を抽出し、当該画像に対してアノテーションを受け付ける表示画面をプロセッサが自動で生成するため、ユーザは提示された不良品画像に対してアノテーションするだけで良く、ユーザの負担をより一層軽減させることができる。
【0012】
また、前記プロセッサは、前記機械学習モデルに再学習させるために抽出した不良品画像に対して、前記学習させた良品画像と異なる特徴部分を特定し、当該特定した部分を強調した画像を含む表示画面を前記表示部に表示させることもできる。すなわち、機械学習モデルが不良箇所と判定すべき部分なのに、不良箇所と判定しなかった部分を不良箇所として判定できるように機械学習モデルに学習させることで、判定処理の精度が向上する。強調表示する方法としては、例えばヒートマップ表示を挙げることができ、ヒートマップ表示によりアノテーションを補助することで、ユーザの負担をさらに軽減させることができる。
【0013】
また、前記プロセッサは、前記機械学習モデルの再学習が必要であると評価した場合は、前記複数の検証用画像の中から、判定結果が誤っている可能性が相対的に高い不良品画像を自動的に抽出し、前記機械学習モデルに自動的に再学習させることもできる。判定結果が誤っている可能性が相対的に高い不良品画像は、不良品度合の低い不良品画像であり、このような不良品画像を用いることで、効率の良い学習が行える。
【0014】
また、前記プロセッサは、前記機械学習モデルの再学習が必要であると評価した場合は、前記判定処理の精度の評価結果に基づいて、再学習に用いる不良品画像の枚数を自動的に算出し、前記複数の検証用画像の中から、判定結果が誤っている可能性が相対的に高い不良品画像を前記枚数だけ抽出し、当該枚数の不良品画像を前記機械学習モデルに自動的に再学習させることもできる。すなわち、判定結果の精度に応じて、再学習させる際に追加すべき枚数も画像処理装置が自動的に決定するため、ユーザの作業負担を減らすことができる。
【0015】
また、前記プロセッサは、判定結果が誤っている可能性が相対的に高い順に前記算出した枚数の不良品画像を抽出して機械学習モデルに自動的に再学習させてもよい。すなわち、再学習に用いる不良品画像の枚数を自動的に算出するだけでなく、算出した枚数の不良品画像をどのような基準で選択するかも画像処理装置に任せることができるので、ユーザの作業負担を減らすことができる。
【0016】
また、前記プロセッサは、前記機械学習モデルの再学習が必要であると評価した場合は、前記機械学習モデルに不良品画像と良品画像を再学習させて、当該不良品画像と類似する特徴および当該良品画像と異なる特徴を不良箇所として判定するように前記機械学習モデルを生成することもできる。これにより、不良品画像の学習により不良部分の特徴を学習させつつ、良品画像の学習により良品と判定する際の境界の精度も向上させることができる。
【0017】
また、前記プロセッサは、良品画像に対する誤判定率及び不良品画像に対する誤判定率に基づいて、前記機械学習モデルの再学習に用いる良品画像及び不良品画像の各枚数を決定することもできる。これにより、良品画像と不良品画像とで、それぞれ何枚ずつ学習すべきかを画像処理装置が自動的に判断するため、ユーザの負担をより一層軽減できる。
【0018】
また、前記プロセッサは、前記複数の検証用画像のそれぞれに対して不良品度合いを示す評価値を算出することもできる。この場合、前記機械学習モデルの再学習が必要であると評価した場合は、前記良品画像の前記評価値と、前記不良品画像の前記評価値とを比較することで、前記機械学習モデルに良否画像と不良品画像のどちらを学習させるかを自動的に判断できる。
【0019】
また、前記プロセッサは、前記機械学習モデルの判定処理の精度が所定の精度を獲得していると評価された場合に、前記機械学習モデルの学習処理を終了するとの判断を自動的に行うこともできるので、ユーザが学習処理の終了を判断せずに済む。
【0020】
また、前記プロセッサは、前記機械学習モデルの判定処理の精度を示す数値または前記機械学習モデルの判定処理の精度を示すグラフを表示するための表示画面を自動的に生成して前記表示部に表示させることができる。これにより、学習処理によって獲得した判定処理の精度をユーザに提示できる。
【0021】
また、前記表示画面には、当該機械学習モデルに学習させた良品画像の枚数および不良品画像の枚数、ならびに、前記複数の検証用画像に対して誤判定した枚数が含まれていてもよい。
【発明の効果】
【0022】
以上説明したように、第１クラスに属する画像で学習した機械学習モデルの再学習が必要であるか否かを評価し、再学習が必要な場合には、第２クラスに属する画像で機械学習モデルを再学習させることができる。これにより、ユーザの負担を軽減しながら、機械学習モデルの分類処理の精度を十分に高めることができる。
【図面の簡単な説明】
【0023】
【図1】本発明の実施形態に係る画像処理装置の構成を示す模式図である。
【図2】画像処理装置のハードウエア構成を示すブロック図である。
【図3】ワーク画像を機械学習モデルで処理する例を説明する図である。
【図4】自動学習処理のステップ１の第１の例を示すフローチャートである。
【図5】画像表示用ユーザインターフェース画面の例を示す図である。
【図6】１回目の学習が終了した学習結果表示用ユーザインターフェース画面の例を示す図である。
【図9】自動学習処理のステップ２の第１の例を示すフローチャートである。
【図10】自動学習処理のステップ１の第２の例を示すフローチャートである。
【図11】自動学習処理のステップ２の第２の例を示すフローチャートである。
【図12】不良品学習の一例を示すフローチャートである。
【図13】アノテーション画面の例を示す図である。
【図14】学習推移表示画面の例を示す図である。
【図15】３クラス分類の場合の学習結果表示領域の例を示す図である。
【図16】３クラス分類の場合の自動学習の例を示すフローチャートである。
【発明を実施するための形態】
【0024】
以下、本発明の実施形態を図面に基づいて詳細に説明する。尚、以下の好ましい実施形態の説明は、本質的に例示に過ぎず、本発明、その適用物或いはその用途を制限することを意図するものではない。
【0025】
図１は、本発明の実施形態に係る画像処理装置１の構成を示す模式図である。画像処理装置１は、例えば各種部品や製品等のような検査対象であるワークを撮像して取得されたワーク画像の良否判定を行うための装置であり、工場等の生産現場等で使用することができる。具体的には、画像処理装置１の内部には機械学習モデルが構築されており、この機械学習モデルは、複数の学習用画像を学習させることにより生成されている。
【0026】
図２にも示すように、画像処理装置１は、装置本体となる制御ユニット２と、撮像ユニット３と、表示装置（表示部）４と、パーソナルコンピュータ５とを備えている。パーソナルコンピュータ５は、必須なものではなく、省略することもできる。表示装置４の代わりにパーソナルコンピュータ５を使用して各種情報や画像を表示させることもできるし、パーソナルコンピュータ５の機能を制御ユニット２に組み込むことや、表示装置４に組み込むことができる。
【0027】
図１では、画像処理装置１の構成例の一例として、制御ユニット２、撮像ユニット３、表示装置４及びパーソナルコンピュータ５を記載しているが、これらのうち、任意の複数を組み合わせて一体化することもできる。例えば、制御ユニット２と撮像ユニット３を一体化することや、制御ユニット２と表示装置４を一体化することもできる。また、制御ユニット２を複数のユニットに分割して一部を撮像ユニット３や表示装置４に組み込むことや、撮像ユニット３を複数のユニットに分割して一部を他のユニットに組み込むこともできる。画像処理装置１を用いることにより、本発明に係る画像処理方法の全てのステップを実行できる。
【0028】
（撮像ユニット３の構成）
図２に示すように、撮像ユニット３は、カメラモジュール（撮像部）１４と、照明モジュール（照明部）１５とを備えており、ワーク画像の取得を実行するユニットである。カメラモジュール１４は、撮像光学系を駆動するＡＦ用モータ１４ａと、撮像基板１４ｂとを備えている。ＡＦ用モータ１４ａは、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する部分であり、従来から周知のコントラストオートフォーカス等の手法によってピント調整を行うことができる。撮像基板１４ｂは、撮像光学系から入射した光を受光する受光素子としてＣＭＯＳセンサ１４ｃを備えている。ＣＭＯＳセンサ１４ｃは、カラー画像を取得することができるように構成された撮像センサである。ＣＭＯＳセンサ１４ｃの代わりに、例えばＣＣＤセンサ等の受光素子を用いることもできる。
図２に示すように、撮像ユニット３は、カメラモジュール（撮像部）１４と、照明モジュール（照明部）１５とを備えており、ワーク画像の取得を実行するユニットである。カメラモジュール１４は、撮像光学系を駆動するＡＦ用モータ１４ａと、撮像基板１４ｂとを備えている。ＡＦ用モータ１４ａは、撮像光学系のレンズを駆動することにより、自動でピント調整を実行する部分であり、従来から周知のコントラストオートフォーカス等の手法によってピント調整を行うことができる。撮像基板１４ｂは、撮像光学系から入射した光を受光する受光素子としてＣＭＯＳセンサ１４ｃを備えている。ＣＭＯＳセンサ１４ｃは、カラー画像を取得することができるように構成された撮像センサである。ＣＭＯＳセンサ１４ｃの代わりに、例えばＣＣＤセンサ等の受光素子を用いることもできる。
【0029】
照明モジュール１５は、ワークを含む撮像領域を照明する発光体としてのＬＥＤ（発光ダイオード）１５ａと、ＬＥＤ１５ａを制御するＬＥＤドライバ１５ｂとを備えている。ＬＥＤ１５ａによる発光タイミング、発光時間、発光量は、ＬＥＤドライバ１５ｂによって任意に制御することができる。ＬＥＤ１５ａは、撮像ユニット３に一体に設けてもよいし、撮像ユニット３とは別体として外部照明ユニットとして設けてもよい。
【0030】
（表示装置４の構成）
表示装置４は、例えば液晶パネルや有機ＥＬパネル等からなる表示パネルを有しており、後述する制御ユニット２のプロセッサ１３ｃによって制御される。制御ユニット２から出力されたワーク画像やユーザインターフェース画像等は表示装置４に表示される。また、パーソナルコンピュータ５が表示パネルを有している場合、パーソナルコンピュータ５の表示パネルを表示装置４の代わりとして利用することができる。
表示装置４は、例えば液晶パネルや有機ＥＬパネル等からなる表示パネルを有しており、後述する制御ユニット２のプロセッサ１３ｃによって制御される。制御ユニット２から出力されたワーク画像やユーザインターフェース画像等は表示装置４に表示される。また、パーソナルコンピュータ５が表示パネルを有している場合、パーソナルコンピュータ５の表示パネルを表示装置４の代わりとして利用することができる。
【0031】
（操作機器）
画像処理装置１をユーザが操作するための操作機器としては、例えば、パーソナルコンピュータ５が有するキーボード５１やマウス５２等を挙げることができるが、これらに限られるものではなく、ユーザによる各種操作を受付可能に構成された機器であればよい。例えば、表示装置４が有するタッチパネル４１のようなポインティングデバイスも操作機器に含まれる。
画像処理装置１をユーザが操作するための操作機器としては、例えば、パーソナルコンピュータ５が有するキーボード５１やマウス５２等を挙げることができるが、これらに限られるものではなく、ユーザによる各種操作を受付可能に構成された機器であればよい。例えば、表示装置４が有するタッチパネル４１のようなポインティングデバイスも操作機器に含まれる。
【0032】
キーボード５１やマウス５２のユーザによる操作は制御ユニット２で検出可能になっている。また、タッチパネル４１は、例えば感圧センサを搭載した従来から周知のタッチ式操作パネルであり、ユーザのタッチ操作は制御ユニット２で検出可能になっている。他のポインティングデバイスを用いた場合も同様である。
【0033】
（制御ユニット２の構成）
制御ユニット２は、メイン基板１３と、コネクタ基板１６と、通信基板１７と、電源基板１８とを備えている。メイン基板１３には、表示制御部１３ａと、入力部１３ｂと、プロセッサ１３ｃとが設けられている。表示制御部１３ａ及び入力部１３ｂは、例えば、メイン基板１３に実装された演算処理装置によって構成することができる。また、１つの演算処理装置によって表示制御部１３ａ、入力部１３ｂ及びプロセッサ１３ｃが構成されていてもよいし、別々の演算処理装置によって表示制御部１３ａ、入力部１３ｂ及びプロセッサ１３ｃが構成されていてもよい。
制御ユニット２は、メイン基板１３と、コネクタ基板１６と、通信基板１７と、電源基板１８とを備えている。メイン基板１３には、表示制御部１３ａと、入力部１３ｂと、プロセッサ１３ｃとが設けられている。表示制御部１３ａ及び入力部１３ｂは、例えば、メイン基板１３に実装された演算処理装置によって構成することができる。また、１つの演算処理装置によって表示制御部１３ａ、入力部１３ｂ及びプロセッサ１３ｃが構成されていてもよいし、別々の演算処理装置によって表示制御部１３ａ、入力部１３ｂ及びプロセッサ１３ｃが構成されていてもよい。
【0034】
表示制御部１３ａ、入力部１３ｂ及びプロセッサ１３ｃは、接続されている各基板及びモジュールの動作を制御する。例えば、プロセッサ１３ｃは、照明モジュール１５のＬＥＤドライバ１５ｂに対してＬＥＤ１５ａの点灯／消灯を制御する照明制御信号を出力する。ＬＥＤドライバ１５ｂは、プロセッサ１３ｃからの照明制御信号に応じて、ＬＥＤ１５ａの点灯／消灯の切替及び点灯時間の調整を行うとともに、ＬＥＤ１５ａの光量等を調整する。
【0035】
また、プロセッサ１３ｃは、カメラモジュール１４の撮像基板１４ｂに、ＣＭＯＳセンサ１４ｃを制御する撮像制御信号を出力する。ＣＭＯＳセンサ１４ｃは、プロセッサ１３ｃからの撮像制御信号に応じて、撮像を開始するとともに、露光時間を任意の時間に調整して撮像を行う。すなわち、撮像ユニット３は、プロセッサ１３ｃから出力される撮像制御信号に応じてＣＭＯＳセンサ１４ｃの視野範囲内を撮像し、視野範囲内にワークがあれば、ワークを撮像することになるが、ワーク以外の物が視野範囲内にあれば、それも撮像することができる。例えば、画像処理装置１は、機械学習モデルの学習用画像として、撮像ユニット３により、良品に対応する良品画像と不良品に対応する不良品画像とを撮像することができる。学習用画像は、撮像ユニット３で撮像された画像でなくてもよく、他のカメラ等で撮像された画像であってもよい。
【0036】
一方、画像処理装置１の運用時には、撮像ユニット３により、ワークを撮像することができる。また、ＣＭＯＳセンサ１４ｃは、ライブ画像、即ち現在の撮像された画像を短いフレームレートで随時出力することができるように構成されている。
【0037】
ＣＭＯＳセンサ１４ｃによる撮像が終わると、撮像ユニット３から出力された画像信号は、メイン基板１３のプロセッサ１３ｃに入力されて処理されるとともに、メイン基板１３のメモリ１３ｄに記憶されるようになっている。メイン基板１３のプロセッサ１３ｃによる具体的な処理内容の詳細については後述する。尚、メイン基板１３には、ＦＰＧＡやＤＳＰ等の処理装置が設けられていてもよい。また、ＦＰＧＡやＤＳＰ等の処理装置が統合されたプロセッサ１３ｃであってもよい。
【0038】
コネクタ基板１６は、電源インターフェース１６１に設けてある電源コネクタ（図示せず）を介して外部から電力の供給を受ける部分である。電源基板１８は、コネクタ基板１６で受けた電力を各基板及びモジュール等に分配する部分であり、具体的には、照明モジュール１５、カメラモジュール１４、メイン基板１３、及び通信基板１７に電力を分配する。電源基板１８は、ＡＦ用モータドライバ１８１を備えている。ＡＦ用モータドライバ１８１は、カメラモジュール１４のＡＦ用モータ１４ａに駆動電力を供給し、オートフォーカスを実現している。ＡＦ用モータドライバ１８１は、メイン基板１３のプロセッサ１３ｃからのＡＦ制御信号に応じて、ＡＦ用モータ１４ａに供給する電力を調整する。
【0039】
通信基板１７は、メイン基板１３と表示装置４及びパーソナルコンピュータ５との通信、メイン基板１３と外部制御機器（図示せず）との通信等を実行する部分である。外部制御機器は、例えばプログラマブルロジックコントローラ等を挙げることができる。通信は、有線であってもよいし、無線であってもよく、いずれの通信形態も、従来から周知の通信モジュールによって実現することができる。
【0040】
制御ユニット２には、例えばソリッドステートドライブ、ハードディスクドライブ等からなる記憶装置（記憶部）１９が設けられている。記憶装置１９には、後述する各制御及び処理を上記ハードウエアによって実行可能にするためのプログラムファイル８０や設定ファイル等（ソフトウエア）が記憶されている。プログラムファイル８０や設定ファイルは、例えば光ディスク等の記憶媒体９０に格納しておき、この記憶媒体９０に格納されたプログラムファイル８０や設定ファイルを制御ユニット２にインストールすることができる。プログラムファイル８０は、外部サーバから通信回線を利用してダウンロードされるものであってもよい。また、記憶装置１９には、例えば、上記画像データや、画像処理装置１の機械学習モデルを構築するためのパラメータ等を記憶させておくこともできる。
【0041】
（画像処理装置１の運用時）
画像処理装置１の運用時には、記憶装置１９に記憶しているパラメータをプロセッサ１３ｃが読み込んで、学習済みの機械学習モデルをプロセッサ１３ｃが構築する。図３に示すように、機械学習モデルには、ニューラルネットワーク、オートエンコーダ、ＳＶＭ（サポートベクターマシン）等が含まれている。プロセッサ１３ｃは、上述のようにして構築されたニューラルネットワークに、検査対象のワークを撮像したワーク画像を入力する。これが前段処理であり、ワーク画像をニューラルネットワークに入力すると、ニューラルネットワークが特徴抽出を行い、抽出された特徴量は、後段処理を実行するオートエンコーダ及び／またはサポートベクターマシンに入力される。前段処理で特徴抽出を行うニューラルネットワークは、事前学習済みの畳み込みニューラルネットワークであっても良いし、後述する自動学習を用いて追加で学習できるように構成された畳み込みニューラルネットワークであっても良い。また、図３に示す機械学習モデルにおいて、畳み込みニューラルネットワークの複数の階層からスケールの異なる複数の特徴量（特徴マップ）が抽出され、当該複数の特徴量がそれぞれ、オートエンコーダ及び／またはサポートベクターマシンに入力されるように構成しても良い。
画像処理装置１の運用時には、記憶装置１９に記憶しているパラメータをプロセッサ１３ｃが読み込んで、学習済みの機械学習モデルをプロセッサ１３ｃが構築する。図３に示すように、機械学習モデルには、ニューラルネットワーク、オートエンコーダ、ＳＶＭ（サポートベクターマシン）等が含まれている。プロセッサ１３ｃは、上述のようにして構築されたニューラルネットワークに、検査対象のワークを撮像したワーク画像を入力する。これが前段処理であり、ワーク画像をニューラルネットワークに入力すると、ニューラルネットワークが特徴抽出を行い、抽出された特徴量は、後段処理を実行するオートエンコーダ及び／またはサポートベクターマシンに入力される。前段処理で特徴抽出を行うニューラルネットワークは、事前学習済みの畳み込みニューラルネットワークであっても良いし、後述する自動学習を用いて追加で学習できるように構成された畳み込みニューラルネットワークであっても良い。また、図３に示す機械学習モデルにおいて、畳み込みニューラルネットワークの複数の階層からスケールの異なる複数の特徴量（特徴マップ）が抽出され、当該複数の特徴量がそれぞれ、オートエンコーダ及び／またはサポートベクターマシンに入力されるように構成しても良い。
【0042】
オートエンコーダでは、入力された特徴量に基づいて異常度マップ（ヒートマップ）を生成して出力する。プロセッサ１３ｃは、オートエンコーダから出力された異常度マップに基づいて、ワーク画像を第１クラスと第２クラスのいずれのクラスに属するかを判定する判定処理を実行する。例えば、第１クラスを良品クラスとし、第１クラスに属する画像は、良品を撮像した良品画像とすることができ、また、第２クラスを不良品クラスとし、第２クラスに属する画像は、不良品を撮像した不良品画像とすることができる。
【0043】
一方、サポートベクターマシンでは、入力された特徴量に基づいて、ワーク画像を複数のクラスに分類する分類処理を実行する。複数のクラスには、前記第１クラスと前記第２クラスとが含まれており、これにより、プロセッサ１３ｃは、ワーク画像を良品クラスと不良品クラスに分類することができる。複数のクラスには、第３クラスや第４クラス等が含まれていてもよく、クラスの数は特に限定されない。
【0044】
本実施形態に係る機械学習モデルは、オートエンコーダやＳＶＭに限定されるものではなく、他の機械学習モデルを用いても良い。
【0045】
画像処理装置１のプロセッサ１３ｃが上記判定処理や上記分類処理を実行することで、ワークが良品であるか不良品であるかを判断できる。このような機能を有する画像処理装置１は、ワークの外観を検査することができるので、外観検査装置等と呼ぶこともできる。画像処理装置１が検査対象とするワークは、それ全体が検査対象であってもよいし、ワークの一部のみが検査対象であってもよい。また、１つのワークに複数の検査対象が含まれていてもよい。また、ワーク画像には、複数のワークが含まれていてもよい。
【0046】
（自動学習）
機械学習モデルを学習させるためには、複数の学習用画像を機械学習モデルに入力する。学習用画像をユーザが用意することはできるものの、どの画像を機械学習モデルに入力して学習させればよいのかをユーザが的確に判断することは難しく、試行錯誤になってしまう場合が多い。また、良品と不良品を分類する機械学習モデルを生成するために使用する学習用画像は、枚数が多すぎても学習時間の長時間化及び過学習の観点から好ましくない一方で、枚数が少なすぎても汎化性能が低下してしまうため、適切な枚数の判断が難しい。さらに、良品と不良品を分類するだけではなく、良品と判定する場合の評価値と、不良品と判定する場合の評価値との差が大きいことが望まれる。要するに、学習用画像の選定に当たっては、様々な要件を満たす必要があり、これまでは豊富なノウハウを持ったエキスパートがそのノウハウに基づいて学習用画像を選定し、あるいは、ノウハウが無い場合は、過学習のリスクがあるものの、大量の画像を学習に使用することで性能を上げるようにしていた。このため、経験の少ない者が分類処理の精度、判定処理の精度の高い機械学習モデルを生成するのは困難であった。またこれまでは、機械学習モデルを生成する人が学習画像を選択していたため、学習画像を選択する人によって、生成した機械学習モデルの精度が異なってしまうという課題もあった。このため、経験の少ない者が分類処理の精度、判定処理の精度の高い機械学習モデルを生成するのは困難であった。またこれまでは、機械学習モデルを生成する人が学習画像を選択していたため、学習画像を選択する人によって、生成した機械学習モデルの精度が異なってしまうという課題もあった。本実施形態の画像処理装置１は、経験の少ない者であっても、負担を軽減しながら、エキスパートと同様に分類処理の精度、判定処理の精度の高い機械学習モデルを自動的に生成可能にする、自動学習処理を実行することができる。以下、自動学習処理の例について説明する。
機械学習モデルを学習させるためには、複数の学習用画像を機械学習モデルに入力する。学習用画像をユーザが用意することはできるものの、どの画像を機械学習モデルに入力して学習させればよいのかをユーザが的確に判断することは難しく、試行錯誤になってしまう場合が多い。また、良品と不良品を分類する機械学習モデルを生成するために使用する学習用画像は、枚数が多すぎても学習時間の長時間化及び過学習の観点から好ましくない一方で、枚数が少なすぎても汎化性能が低下してしまうため、適切な枚数の判断が難しい。さらに、良品と不良品を分類するだけではなく、良品と判定する場合の評価値と、不良品と判定する場合の評価値との差が大きいことが望まれる。要するに、学習用画像の選定に当たっては、様々な要件を満たす必要があり、これまでは豊富なノウハウを持ったエキスパートがそのノウハウに基づいて学習用画像を選定し、あるいは、ノウハウが無い場合は、過学習のリスクがあるものの、大量の画像を学習に使用することで性能を上げるようにしていた。このため、経験の少ない者が分類処理の精度、判定処理の精度の高い機械学習モデルを生成するのは困難であった。またこれまでは、機械学習モデルを生成する人が学習画像を選択していたため、学習画像を選択する人によって、生成した機械学習モデルの精度が異なってしまうという課題もあった。このため、経験の少ない者が分類処理の精度、判定処理の精度の高い機械学習モデルを生成するのは困難であった。またこれまでは、機械学習モデルを生成する人が学習画像を選択していたため、学習画像を選択する人によって、生成した機械学習モデルの精度が異なってしまうという課題もあった。本実施形態の画像処理装置１は、経験の少ない者であっても、負担を軽減しながら、エキスパートと同様に分類処理の精度、判定処理の精度の高い機械学習モデルを自動的に生成可能にする、自動学習処理を実行することができる。以下、自動学習処理の例について説明する。
【0047】
自動学習処理は、大きく２つのステップに分けることができ、ステップ１とステップ２で構成されている。ステップ１は、良品学習のみで、良品と不良品を分類する、または良品クラスと不良品クラスのいずれのクラスに属するかを判定する機械学習モデルを生成する。本明細書において、入力画像の良品クラスまたは不良品クラスへの分類は、良否判定ともいえる。ステップ２は、ステップ１で良品と不良品を分類できた場合や判定できた場合に、不良品学習により、良品と判定する場合の評価値と、不良品と判定する場合の評価値との差を拡大する。また、ステップ２は、ステップ１で良品と不良品を分類できなかった場合や判定できなかった場合に、不良品学習により、良品と不良品を分類する、または判定する機械学習モデルを生成し、さらに良品と判定する場合の評価値と、不良品と判定する場合の評価値との差を拡大する。尚、教師有り学習の場合はステップ１を省略してステップ２のみ実行する。
【0048】
（ステップ１の第１の例）
図４は、自動学習処理のステップ１の例を示すフローチャートである。自動学習処理を開始する前に、ユーザは学習用画像を複数枚準備しておく。学習用画像には、良品であることが特定できている良品画像と、不良品であることが特定できている不良品画像とが含まれている。第１クラスが良品クラスであり、第２クラスが不良品クラスであるため、良品画像は、第１クラスを示すラベルが付与された第１クラス画像と呼ぶことができ、また、不良品画像は、第２クラスを示すラベルが付与された第２クラス画像と呼ぶことができる。
図４は、自動学習処理のステップ１の例を示すフローチャートである。自動学習処理を開始する前に、ユーザは学習用画像を複数枚準備しておく。学習用画像には、良品であることが特定できている良品画像と、不良品であることが特定できている不良品画像とが含まれている。第１クラスが良品クラスであり、第２クラスが不良品クラスであるため、良品画像は、第１クラスを示すラベルが付与された第１クラス画像と呼ぶことができ、また、不良品画像は、第２クラスを示すラベルが付与された第２クラス画像と呼ぶことができる。
【0049】
良品画像と不良品画像の両方を複数枚準備しておく。学習用画像は良品画像だけでもよいが、機械学習モデルの精度を検証するための検証用画像として、良品画像と不良品画像の両方が必須であるため、ユーザは両方の画像を準備しておく必要がある。また、自動学習処理で生成した機械学習モデルの汎化性能を評価するため、学習用画像及び検証用画像とは異なる複数の評価用画像を準備しておいてもよい。評価用画像とは、学習用画像と検証用画像を用いて生成した機械学習モデルが、未知の画像である評価用画像に対しても、正しく分類処理を実行できるか否かをテストするための画像である。機械学習モデルが評価用画像の分類処理を誤った場合、ユーザは当該機械学習モデルの信頼度が低いと判断することができる。
【0050】
良品画像には、良品ラベルが付与されており、また、不良品画像には、不良品ラベルが付与されている。良品ラベル及び不良品ラベルは、ユーザが各画像に対して付与する。学習用画像、検証用画像及び評価用画像は、ユーザが所定のフォルダに保存しておく。検証用画像には、学習用画像を含めてもよいし、含めなくてもよい。
【0051】
ステップＳＡ１では、機械学習モデルに学習させるための学習用画像として良品画像を登録する。登録する学習用画像の枚数は１枚であってもよいし、複数枚であってもよい。ステップＳＡ１では、プロセッサ１３ｃが、図５に示す画像表示用ユーザインターフェース画面１００を生成して表示装置４に表示させる。画像表示用ユーザインターフェース画面１００には、画像追加ボタン１０１と、学習用画像がサムネイル形式で表示される学習用画像表示領域１０２と、検証用画像がサムネイル形式で表示される検証用画像表示領域１０３とが設けられている。ユーザがマウス５２を操作して画像追加ボタン１０１を押すと、プロセッサ１３ｃはフォルダ選択ウインドウ（図示せず）を生成して表示装置４に表示させる。フォルダ選択ウインドウ内で、ユーザが上記所定のフォルダを選択すると、当該フォルダ内の学習用画像が全て学習用画像として読み込まれて学習用画像表示領域１０２に表示される。読み込まれた学習用画像に、良品クラスに属する良品画像と、不良品クラスに属する不良品画像とが含まれている場合には、ステップＳＡ１で良品画像のみが学習に使用される画像として選択する。この選択操作は、例えばユーザがマウス５２を操作して行うことができ、選択された学習用画像が機械学習モデルに入力される画像として登録される。学習用画像を複数枚登録する場合には、互いの類似性の低い画像を選択するのが好ましい。学習用画像の登録は、上述したようにユーザが実行してもよいし、プロセッサ１３ｃが自動で登録してもよい。例えば、プロセッサ１３ｃが、ファイルの最初に表示される画像を自動的に選択して登録してもよいし、更新日によって自動的に選択して登録してもよい。尚、ステップＳＡ１で不良品画像を学習用画像として登録することもできる。この場合、後述するステップ２の自動学習に移行する。
【0052】
学習用画像の登録後、ステップＳＡ２に進む。画像表示用ユーザインターフェース画面１００には、自動学習を開始するための自動学習ボタン１１３が設けられており、ユーザがマウス５２を操作して自動学習ボタン１１３を押すと、プロセッサ１３ｃは自動学習を開始する。具体的には、プロセッサ１３ｃが、ステップＳＡ１で登録された学習用画像を機械学習モデルに入力して学習を実行する。これが機械学習モデルに学習用画像を学習させる学習ステップである。良品画像を用いた学習ステップを行うことにより、良品クラスに属する良品画像とは異なる特徴を有する画像を不良品クラスに属する不良品画像として判定する機械学習モデルが生成される。
【0053】
学習ステップの後、プロセッサ１３ｃは、学習ステップで学習させた機械学習モデルに複数の検証用画像を入力して、当該複数の検証用画像を良品クラスと不良品クラスに分類する分類処理を実行する。このとき、プロセッサ１３ｃは、学習ステップで学習させた機械学習モデルに複数の検証用画像を入力して、当該複数の検証用画像を良品クラスと不良品クラスのいずれに属するかを判定する判定処理も実行する。これが検証ステップである。検証ステップでは、プロセッサ１３ｃが、複数の検証用画像の分類処理により良品クラスと不良品クラスの分離度を得ることができる。
【0054】
検証ステップでは、プロセッサ１３ｃが、図６に示すような学習結果表示用ユーザインターフェース画面１５０を生成して表示装置４に表示させる。学習結果表示用ユーザインターフェース画面１５０には、１回目の検証ステップで得られた機械学習モデルの学習結果を表示する第１学習結果表示領域１５１と、検証中であることを、学習開始からの経過時間と共に示す検証中表示領域１５２とが設けられている。また、学習結果表示用ユーザインターフェース画面１５０には、学習停止ボタン１５３も設けられており、ユーザが学習停止ボタン１５３を操作すると、プロセッサ１３ｃは、機械学習モデルの学習が途中であっても強制的に終了する。さらに、学習結果表示用ユーザインターフェース画面１５０には、２回目の検証ステップで得られた機械学習モデルの学習結果を表示するための領域１５４Ａと、３回目の検証ステップで得られた機械学習モデルの学習結果を表示するための領域１５４Ｂとが示されている。
【0055】
第１学習結果表示領域１５１には、１回目の学習に使用された学習用画像の数及び検証ステップで使用された検証用画像の数が表示される画像枚数表示領域１５１ａと、パレート図表示領域１５１ｂと、推論結果表示領域１５１ｃとが設けられている。
【0056】
パレート図表示領域１５１ｂには、プロセッサ１３ｃが生成したパレート図が表示される。パレート図は、良品クラスと不良品クラスの分離度を示した分離グラフであり、機械学習モデルの判定処理の精度を示すグラフでもある。このグラフの横軸はスコア（第１評価軸）、縦軸は画像枚数の累積である。スコアが大きければ大きいほど不良品クラスに属する度合いが高く、反対に、小さければ小さいほど良品クラスに属する度合いが高くなる。スコアは、良品クラスに属する度合いを示す第１評価値と呼ぶこともできる。すなわち、プロセッサ１３ｃは、複数の検証用画像を良品クラスと不良品クラスに分類する分類処理において、複数の検証用画像のそれぞれに対して良品クラスに属する度合いを示す第１評価値を算出する。また、上述したようにスコアは不良の度合いを示す評価値でもあることから、プロセッサ１３ｃは、複数の検証用画像のそれぞれに対して不良の度合いを示す評価値を算出することもでき、この評価値は、不良品クラスに属する度合いを示す第２評価値と呼ぶこともできる。
【0057】
推論結果表示領域１５１ｃには、検証ステップで検証した機械学習モデルによる推論結果が表形式で表示される。推論結果表示領域１５１ｃに表示される表は、コンフュージョンマトリクスとも呼ばれており、検証用画像の良品画像の枚数及び不良品画像の枚数が表示されるとともに、機械学習モデルによって推論された良品画像の枚数及び不良品画像の枚数が表示される。プロセッサ１３ｃは、良品画像を不良品画像として検出した割合を示す誤判定率と、不良品画像を良品画像として判定した割合を示す見逃し率を算出し、推論結果表示領域１５１ｃに表示させる。また、プロセッサ１３ｃは、良品と不良品のスコアの差も算出して推論結果表示領域１５１ｃに表示させる。なお、図６～図８に示す例では、各回の検証用画像には、機械学習モデルの学習に使用した学習用画像も含まれている。
【0058】
次に、図４に示すフローチャートのステップＳＡ３に進む。ステップＳＡ３では、ステップＳＡ２の検証ステップで、良品画像と不良品画像とが分離できたか否かを所定の基準に従って判定するステップであり、検証用画像の分類処理の精度を評価すること、及び検証用画像の判定処理の精度を評価する。すなわち、ステップＳＡ２で算出したスコアは、検証用画像中の不良度合いとして、例えば欠陥の大きさなどを示す数値である。ステップＳＡ３では、プロセッサ１３ｃが、良品と判定した場合の最大スコア（不良度：高）と、不良品と判定した場合の最小スコア（不良度：低）との差分を求め、この差分が所定の数値以上であるか否かを判定する。差分が所定の数値以上であれば、良品画像と不良品画像とが分離できたと判定し、一方、差分が所定の数値未満であれば、良品画像と不良品画像とが分離できていないと判定する。
【0059】
ステップＳＡ３で良品画像と不良品画像とが分離できていると判定された場合には、ステップＳＡ７に進み、上記ステップ１のみを実行する設定となっているか否かを判定する。すなわち、ユーザは、上記ステップ１のみで自動学習を終了する第１のモードと、上記ステップ１と上記ステップ２を実行する第２のモードとのいずれで自動学習するか設定することができる。このユーザの設定は、入力部１３ｂによって受け付けられる。上記ステップ１のみを実行する設定となっている場合には、自動学習を終了する。一方、上記ステップ１及び上記ステップ２を実行する設定となっている場合には、図９に示すステップ２のフローチャートに進む。
【0060】
ステップＳＡ３で良品画像と不良品画像とが分離できていないと判定された場合にはステップＳＡ４に進む。ステップＳＡ４では、プロセッサ１３ｃが、検証用画像に良品画像が１枚以上残っているか否かを判定する。検証用画像に良品画像が１枚以上残っている場合にはステップＳＡ５に進む。ステップＳＡ５では、検証用画像の中に誤検出している良品画像があるか否かを判定する。
【0061】
ステップＳＡ５で検証用画像の中に誤検出している良品画像がない場合にはステップＳＡ６に進む。ステップＳＡ６では、プロセッサ１３ｃが、検証用画像の中に、誤判定している不良品画像よりもスコアの高い良品画像があるか否かを判定する。ステップＳＡ６で誤判定している不良品画像よりもスコアの高い良品画像がない場合にはステップＳＡ７に進む。
【0062】
ステップＳＡ５で検証用画像の中に誤検出している良品画像がある場合にはステップＳＡ８に進む。ステップＳＡ８では、プロセッサ１３ｃが、検証用画像の中から誤検出している良品画像をスコアの高い方から順にｎ枚抽出する。ｎは、１以上の整数であり、よって、ステップＳＡ８で抽出する良品画像は１枚であってもよいし、２枚以上であってもよい。また、ステップＳＡ８で抽出する枚数は、後述する第２の例で説明する枚数とすることができる。
【0063】
ステップＳＡ８で良品画像をスコアの高い方から順にｎ枚抽出した後、ステップＳＡ２に進み、ステップＳＡ８で抽出したｎ枚の良品画像を機械学習モデルに入力して自動的に再学習させる。このとき、画像を回転させたり、画像の明るさを変化させる、いわゆるデータ拡張（オーギュメンテーション）をプロセッサ１３ｃが実行してもよい。例えば、ステップＳＡ８で抽出した画像に対して明るさを５％変化させた画像をプロセッサ１３ｃが自動生成して機械学習モデルに入力して学習させる。学習効果が低ければ、段階的に、または動的に明るさを１０％変化させた画像もプロセッサ１３ｃが生成して機械学習モデルに入力して学習させる。
【0064】
ステップＳＡ６で誤判定している不良品画像よりもスコアの高い良品画像がある場合にはステップＳＡ９に進む。ステップＳＡ９では、誤判定している不良品画像よりもスコアの高い良品画像をスコアの低い方から順にｎ枚抽出する。ｎは、１以上の整数であり、よって、ステップＳＡ９で抽出する良品画像は１枚であってもよいし、２枚以上であってもよい。このように、プロセッサ１３ｃは、複数の検証用画像の良品画像の評価値であるスコアと、不良品画像の評価値であるスコアとを比較し、比較した結果に基づいて、機械学習モデルに再学習させる画像として、評価値が相対的に高い良品画像、又は評価値が相対的に低い不良品画像のどちらを抽出するかを自動的に決定する。
【0065】
尚、誤判定している不良品画像のうち、スコアの低い不良品画像を抽出する考え方もあるが、良品以外を検出することが画像検査の目的であるため、良品の範囲を明確にするため、できるだけ良品学習を継続する。仮に不良品学習を行う場合には、良品と不良品の境界を明確にするために不良品画像が大量に必要になるが、そもそも不良品自体が少ないので、不良品画像を大量に準備するのは困難であるという問題もある。
【0066】
ステップＳＡ９で良品画像をスコアの低い方から順にｎ枚抽出した後、ステップＳＡ２に進み、ステップＳＡ９で抽出したｎ枚の良品画像を機械学習モデルに入力して自動的に再学習させる。このとき、画像を回転させたり、画像の明るさを変化させる、いわゆるデータ拡張（オーギュメンテーション）をプロセッサ１３ｃが実行してもよい。
【0067】
ステップＳＡ２では、再学習後の機械学習モデルに複数の検証用画像を入力して、複数の検証用画像を前記複数のクラスに分類する分類処理を実行する。その後、ステップＳＡ３～ＳＡ７、必要に応じてステップＳＡ８、ＳＡ９を実行する。
【0068】
図７は、２回目の学習（１回目の再学習）が終了した後、２回目の検証ステップで得られた機械学習モデルの学習結果を表示する第２学習結果表示領域１５４が表示された学習結果表示用ユーザインターフェース画面１５０を示している。第２学習結果表示領域１５４は、第１学習結果表示領域１５１と同様にプロセッサ１３ｃが生成して表示させる。第２学習結果表示領域１５４には、２回目の学習に使用された学習用画像の数及び検証ステップで使用された検証用画像の数が表示される画像枚数表示領域１５４ａと、２回目の検証ステップで得られた分離度を示すパレート図表示領域１５４ｂと、２回目の検証ステップで得られた推論結果表示領域１５４ｃとが設けられている。図７に示すように、３回目の検証ステップで得られた機械学習モデルの学習結果を表示するための領域１５４Ｂが示されている。
【0069】
図８は、３回目の学習（２回目の再学習）が終了した後、３回目の検証ステップで得られた機械学習モデルの学習結果を表示する第３学習結果表示領域１５５が表示された学習結果表示用ユーザインターフェース画面１５０を示している。第３学習結果表示領域１５５は、第１学習結果表示領域１５１と同様にプロセッサ１３ｃが生成して表示させる。第３学習結果表示領域１５５には、３回目の学習に使用された学習用画像の数及び検証ステップで使用された検証用画像の数が表示される画像枚数表示領域１５５ａと、３回目の検証ステップで得られた分離度を示すパレート図表示領域１５５ｂと、３回目の検証ステップで得られた推論結果表示領域１５５ｃとが設けられている。プロセッサ１３ｃは、機械学習モデルの再学習を繰り返し実行するたびに、パレート図として示す分離グラフを、再学習後の機械学習モデルで得られた分離グラフに更新する。図７及び図８に示すように、プロセッサ１３ｃは、更新により得られた最新の分離グラフを過去の分離グラフと比較可能に表示する表示画面として学習結果表示用ユーザインターフェース画面１５０を生成して表示装置４に表示させることができる。
【0070】
各回で学習用画像は重複している。例えば、２回目の学習用画像の枚数が４枚であった場合、その４枚の学習用画像は３回目の学習用画像の５枚に包含される。つまり、学習の回数が増えるごとに学習用画像が追加されていく。
【0071】
図８に示すように、学習回数が増加するにつれて良品と不良品のスコアを差が大きくなっていき、良品画像と不良品画像との分離が明確になっている。３回目の学習が完了した機械学習モデルでは、良品画像と不良品画像の分離、及び、良品クラスと不良品クラスのいずれに属するかの判定が明確に行えるようになっているので、３回目の学習が完了した時点で自動学習を終了している。このように、プロセッサ１３ｃは、機械学習モデルの再学習が不要であると評価するまで、学習した機械学習モデルによって複数の検証用画像を分類する分類処理と、分類処理の精度の評価と、機械学習モデルの再学習が必要であるか否かの評価と、機械学習モデルの再学習が必要であると評価した場合に複数の検証用画像の中から、分類結果が誤っている可能性が相対的に高い検証用画像を抽出して機械学習モデルに自動的に再学習させる処理とを自動的に繰り返し実行する。これにより、機械学習モデルの精度が向上していき、その進捗状況が図８に示すようにユーザに提示される。
【0072】
また、ステップＳＡ２の検証ステップにより良品クラスと不良品クラスの分離度を得た後、ステップＳＡ３～ＳＡ６を経ることで、プロセッサ１３ｃは、ステップＳＡ２で得られた良品クラスと不良品クラスの分離度に基づいて、複数の検証用画像の分類処理の精度を評価し、さらに、複数の検証用画像の分類処理の精度の評価結果に基づいて、機械学習モデルの再学習が必要であるか否か評価する。プロセッサ１３ｃは、機械学習モデルの再学習が必要であると評価した場合は、複数の検証用画像の中から、分類結果が誤っている可能性が相対的に高い検証用画像を抽出して機械学習モデルに自動的に再学習させ、一方、機械学習モデルの再学習が不要であると評価した場合は、機械学習モデルの学習処理を完了する。
【0073】
プロセッサ１３ｃは、機械学習モデルの再学習が必要であると評価した場合は、第１評価値が相対的に高い不良品画像、又は第１評価値が相対的に低い良品画像を抽出して機械学習モデルに自動的に再学習させる。また、プロセッサ１３ｃは、不良の度合いを示す評価値が相対的に高い良品画像、又は不良の度合いを示す評価値が相対的に低い不良品画像を抽出し、機械学習モデルに自動的に再学習させる。そして、プロセッサ１３ｃは、図８に示すように、パレート図の横軸（第１評価値）上における良品画像と不良品画像の分布の分離度を求める。プロセッサ１３ｃは、求めた分離度に基づいて機械学習モデルの再学習が不要であると評価するまで、学習した機械学習モデルによって複数の検証用画像を分類する分類処理と、分類処理の精度の評価と、機械学習モデルの再学習が必要であるか否かの評価と、機械学習モデルの再学習が必要であると評価した場合に複数の検証用画像の中から、分類結果が誤っている可能性が相対的に高い検証用画像を抽出して機械学習モデルに自動的に再学習させる処理とを自動的に繰り返し実行する。この繰り返しの処理は、プロセッサ１３ｃが、パレート図の横軸上における良品画像と不良品画像の分布の分離度が所定値以上となるまでプロセッサ１３ｃが実行する。なお、機械学習モデルの再学習が不要であると評価する基準は、前述した分離度により決定される仕様に限らない。つまり、分離度が所定値以上とならない場合も想定して、上記処理を繰り返し実行する回数または所要時間が、ユーザにより予め指定された回数または時間、あるいは装置側で予め規定された回数または時間に到達した場合に、機械学習モデルの再学習が不要であると評価してもよい。前述した分離度と、回数または時間を適宜組み合わせた基準により、再学習が不要であるか否か評価してもよい。
【0074】
また、複数の評価用画像を準備している場合、プロセッサ１３ｃは、機械学習モデルの再学習が不要であると評価し、機械学習モデルの学習処理を完了した後、複数の学習用画像及び複数の検証用画像とは異なる複数の評価用画像を機械学習モデルに入力して、複数の評価用画像を複数のクラス（良品クラスまたは不良品クラス）に分類する分類処理を実行し、分類処理の精度を評価してもよい。プロセッサ１３ｃは、複数の評価用画像の分類処理の精度として、正解率を表示装置４に表示しても良い。
【0075】
また、複数の検証用画像のそれぞれに対して不良品クラスに属する度合いを示す第２評価値を算出した場合、プロセッサ１３ｃが、機械学習モデルの再学習が必要であると評価した際に、第２評価値が相対的に高い良品画像、又は第２評価値が相対的に低い不良品画像を抽出して機械学習モデルに自動的に再学習させる。そして、プロセッサ１３ｃは、第２評価値軸上における良品画像と不良品画像の分布の分離度を求め、当該分離度に基づいて機械学習モデルの再学習が不要であると評価するまで、学習した機械学習モデルによって複数の検証用画像を分類する分類処理と、分類処理の精度の評価と、機械学習モデルの再学習が必要であるか否かの評価と、機械学習モデルの再学習が必要であると評価した場合に複数の検証用画像の中から、分類結果が誤っている可能性が相対的に高い検証用画像を抽出して機械学習モデルに自動的に再学習させる処理とを自動的に繰り返し実行する。
【0076】
（ステップ２の第１の例）
次に、上記ステップ２の処理について図９に示すフローチャートに基づいて説明する。ステップＳＢ１では、パレート図で良品クラスと不良品クラスを比較し、勾配がなだらかな方の画像を追加する。プロセッサ１３ｃは、例えば、良品クラスに分類された画像のうち、スコアの一番高い画像と、２番目に高い画像のスコアの差を算出するとともに、不良品クラスに分類された画像のうち、スコアの一番低い画像と、２番目に低い画像のスコアの差を算出する。これら２つのスコアの差が同じであった場合には、良品クラスに分類された画像のうち、スコアの一番高い画像と、３番目に高い画像のスコアの差を算出するとともに、不良品クラスに分類された画像のうち、スコアの一番低い画像と、３番目に低い画像のスコアの差を算出する。
次に、上記ステップ２の処理について図９に示すフローチャートに基づいて説明する。ステップＳＢ１では、パレート図で良品クラスと不良品クラスを比較し、勾配がなだらかな方の画像を追加する。プロセッサ１３ｃは、例えば、良品クラスに分類された画像のうち、スコアの一番高い画像と、２番目に高い画像のスコアの差を算出するとともに、不良品クラスに分類された画像のうち、スコアの一番低い画像と、２番目に低い画像のスコアの差を算出する。これら２つのスコアの差が同じであった場合には、良品クラスに分類された画像のうち、スコアの一番高い画像と、３番目に高い画像のスコアの差を算出するとともに、不良品クラスに分類された画像のうち、スコアの一番低い画像と、３番目に低い画像のスコアの差を算出する。
【0077】
ステップＳＢ２では、プロセッサ１３ｃが、ステップＳＢ１で算出した２つのスコアの差のうち、どちらのスコアの差が大きいか判定する。良品クラスに分類された画像のスコアの差の方が大きければ、ステップＳＢ３に進む一方、不良品クラスに分類された画像のスコアの差の方が大きければ、ステップＳＢ４に進む。
【0078】
ステップＳＢ３では、プロセッサ１３ｃが、検証用画像のうちの良品画像の中でスコアが一番高い画像から順にｎ枚までの良品画像を追加する。ステップＳＢ４では、プロセッサ１３ｃが、検証用画像のうちの不良品画像の中でスコアが一番低い画像から順にｎ枚までの不良品画像を追加する。ステップＳＢ３及びステップＳＢ４の後、ステップＳＢ５に進む。
【0079】
ステップＳＢ５では、ステップＳＢ３またはステップＳＢ４で追加した枚数が０よりも多いか否かをプロセッサ１３ｃが判定する。ステップＳＢ５でＹＥＳと判定された場合には、ステップＳＢ６に進み、プロセッサ１３ｃが、図４に示すフローチャートのステップＳＡ２と同様に再学習を実行し、検証用画像による検証を行い、パレート図を生成する。なお、ステップＳＢ４を経てステップＳＢ６に進んだ場合、プロセッサ１３ｃは、不良品クラスに属する画像を機械学習モデルに入力して再学習させて、当該不良品クラスに属する画像と類似する特徴を有する画像を当該不良品クラスに属する画像として判定するように機械学習モデルを生成する。その後、ステップＳＢ７に進み、終了条件を満たしているか否かを判定する。終了条件については、後述するステップ２の第２の例で説明する。
【0080】
（ステップ１の第２の例）
図１０は、自動学習処理のステップ１の第２の例を示すフローチャートである。ステップＳＣ１では、プロセッサ１３ｃがカウント数を０にする。ステップＳＣ２では、追加学習がＯＮになっているかをプロセッサ１３ｃが判定する。例えば画像処理装置１の運用が始まってワークを撮像すると、新たなワーク画像を収集することができる。新たなワーク画像を収集した場合に、運用中の機械学習モデルの学習に用いた既存の学習用画像及び検証用画像の分類に関する各ラベルを保持しておき、運用開始後に取得された新たな画像を既存の学習用画像に加えることによって学習用画像を追加していく処理（追加学習処理）と、運用中の機械学習モデルの学習に用いた既存の学習用画像及び検証用画像の分類に関する各ラベルを初期化して、運用開始後に取得された新たな画像を含めた全画像で機械学習モデルを学習させる処理（全画像学習処理）との選択が可能に構成されている。ラベルは、良品画像に付与されている良品ラベルと、不良品画像に付与されている不良品ラベルとがある。運用中の機械学習モデルの精度が高ければ初期化せずにワーク画像を追加していき、精度が低ければ初期化して一から学習させた方が高い精度を得ることができる場合があり、状況によって使い分けることができるようになっている。
図１０は、自動学習処理のステップ１の第２の例を示すフローチャートである。ステップＳＣ１では、プロセッサ１３ｃがカウント数を０にする。ステップＳＣ２では、追加学習がＯＮになっているかをプロセッサ１３ｃが判定する。例えば画像処理装置１の運用が始まってワークを撮像すると、新たなワーク画像を収集することができる。新たなワーク画像を収集した場合に、運用中の機械学習モデルの学習に用いた既存の学習用画像及び検証用画像の分類に関する各ラベルを保持しておき、運用開始後に取得された新たな画像を既存の学習用画像に加えることによって学習用画像を追加していく処理（追加学習処理）と、運用中の機械学習モデルの学習に用いた既存の学習用画像及び検証用画像の分類に関する各ラベルを初期化して、運用開始後に取得された新たな画像を含めた全画像で機械学習モデルを学習させる処理（全画像学習処理）との選択が可能に構成されている。ラベルは、良品画像に付与されている良品ラベルと、不良品画像に付与されている不良品ラベルとがある。運用中の機械学習モデルの精度が高ければ初期化せずにワーク画像を追加していき、精度が低ければ初期化して一から学習させた方が高い精度を得ることができる場合があり、状況によって使い分けることができるようになっている。
【0081】
図５に示す画像表示用ユーザインターフェース画面１００には、追加学習処理を有効にするか否かを選択する選択領域１０４が設けられている。ユーザがマウス５２を操作して選択領域１０４にチェックを入れると、プロセッサ１３ｃは追加学習処理を実行する。一方、選択領域１０４にチェックが入っていないと、プロセッサ１３ｃは全画像学習処理を実行する。追加学習処理を選択するか、全画像学習処理を選択するかは、ユーザによるマウス５２の操作を入力部１３ｂが受け付けることでプロセッサ１３ｃが判定する。つまり、画像処理装置１は、追加学習処理のユーザによる選択または全画像学習処理のユーザによる選択を受付可能に構成されている。
【0082】
ステップＳＣ２でＮＯと判定されて追加学習処理が選択されていない場合には、ステップＳＣ３に進む。ステップＳＣ３では、プロセッサ１３ｃが、既存の学習用画像及び検証用画像の分類に関する各ラベルを初期化する。ステップＳＣ４では、プロセッサ１３ｃが、良品画像を１枚だけ学習用画像として登録する。このとき、先頭に位置する良品画像を選択して登録してもよいし、別の良品画像を登録してもよい。
【0083】
ステップＳＣ５及びステップＳＣ６では、それぞれ、図４に示すフローチャートのステップＳＡ２及びステップＳＡ３の処理を実行する。ステップＳＣ６で良品画像と不良品画像とが分離できていると判定された場合には判定処理の精度が十分に高く、所定の精度を獲得しているということであり、この場合には、このフローを終了する。すなわち、プロセッサ１３ｃは、機械学習モデルの判定処理の精度が所定の精度を獲得していると評価された場合に、機械学習モデルの学習処理を終了するとの判断を自動的に行う。
【0084】
プロセッサ１３ｃは、機械学習モデルの学習処理を終了すると判断した場合に、図６～図８に示す学習結果表示用ユーザインターフェース画面１５０におけるパレート図のグラフを自動的に生成して表示装置４に表示させる。また、プロセッサ１３ｃは、機械学習モデルの学習処理を終了すると判断した場合に、機械学習モデルの判定処理の精度を示す数値、例えば、良品と不良品のスコアの差を自動的に生成して表示装置４に表示させる。これにより、学習処理を終了する際に獲得している判定処理の精度をユーザに提示できる。
【0085】
また、図６～図８に示すように、学習結果表示用ユーザインターフェース画面１５０には、機械学習モデルに学習させた良品画像の枚数および不良品画像の枚数を表示する画像枚数表示領域１５１ａ、１５４ａ、１５５ａが含まれているとともに、複数の検証用画像に対して誤判定した枚数を表示する推論結果表示領域１５１ｃ、１５４ｃ、１５５ｃが含まれている。これにより、ユーザに対して学習枚数の提示と、誤判定した枚数の提示が可能になる。
【0086】
ステップＳＣ６で良品画像と不良品画像とが分離できていないと判定された場合にはステップＳＣ７に進む。ステップＳＣ７では、プロセッサ１３ｃが、検証用画像の中で最もスコアの高い良品画像を学習用画像として登録する。その後、ステップＳＣ８に進み、ステップＳＣ５と同様な処理を実行する。
【0087】
ステップＳＣ９では、プロセッサ１３ｃが、全良品画像の枚数が所定数（例えば２０枚）以下であるか、または上記ステップ１のみを実行する設定となっているか否かを判定する。全良品画像の枚数が所定数を超えていればステップＳＣ１０に進み、また、上記ステップ１及び上記ステップ２を実行する設定となっている場合には、ステップＳＣ１０に進む。一方、全良品画像の枚数が所定数以下であればステップＳＣ１１に進み、また、上記ステップ１のみを実行する設定となっている場合には、ステップＳＣ１１に進む。
【0088】
ステップＳＣ１０では、プロセッサ１３ｃが、学習用画像の合計枚数が良品画像の半分以上であるか否かを判定する。学習用画像の合計枚数が良品画像の半分以上である場合にはステップＳＣ１２に進む。ステップＳＣ１２では、図４に示すフローチャートのステップＳＡ７と同様に、上記ステップ１のみを実行する設定となっているか否かを判定する。上記ステップ１のみを実行する設定となっている場合には、自動学習を終了する。一方、上記ステップ１及び上記ステップ２を実行する設定となっている場合には、図１１に示すステップ２のフローチャートに進む。
【0089】
ステップＳＣ１０で学習用画像の合計枚数が良品画像の半分未満であると判定された場合には、ステップＳＣ１１に進む。ステップＳＣ１１では、図４に示すフローチャートのステップＳＡ３と同様に良品画像と不良品画像とが分離できたか否かを所定の基準に従って判定する。ステップＳＡ３で良品画像と不良品画像とが分離できていると判定された場合には、自動学習を自動的に終了する。
【0090】
ステップＳＣ１１で良品画像と不良品画像とが分離できていないと判定された場合にはステップＳＣ１３に進む。ステップＳＣ１３では、プロセッサ１３ｃが、カウント数が所定値（例えば５）よりも小さいか否かを判定する。カウント数が所定値以上の場合には、ステップＳＣ１２に進む一方、カウント数が所定値よりも小さい場合にはステップＳＣ１４に進む。
【0091】
ステップＳＣ１４及びステップＳＣ１５では、図４に示すフローチャートのステップＳＡ４及びステップＳＡ５と同様に判定を行う。ステップＳＣ１４でＮＯと判定された場合にはステップＳＣ１２に進む。また、ステップＳＣ１５でＮＯと判定された場合にはステップＳＣ１６に進む。ステップＳＣ１５でＹＥＳと判定されて検証用画像の中に誤検出している良品画像がある場合にはステップＳＣ１７に進む。ステップＳＣ１７では、誤判定率を算出する。誤判定率は、複数の検証用画像の良品画像に対する誤判定率であり、以下の式で計算することができる。
【0092】
誤判定率＝（検証用画像と学習用画像の中で不良品画像と判定された良品画像の枚数／良品画像の全枚数）×１００
【0093】
ステップＳＣ１７で誤判定率を算出した後、ステップＳＣ１８に進む。ステップＳＣ１８では、図４に示すフローチャートのステップＳＡ８と同様に検証用画像の中から誤検出している良品画像をスコアの高い方から順にｎ枚抽出する。抽出する枚数は、誤判定率に応じて変えてもよい。例えば、誤判定率が大きくなればなるほど、ステップＳＣ１８で抽出する枚数が増えるように設定することができる。ステップＳＣ１８で抽出する枚数は、例えば全良品画像に対して例えば５％、１０％、１５％に相当する枚数のように、割合によって決定することもできる。このように、プロセッサ１３ｃは、複数の検証用画像の良品画像に対する誤判定率に基づいて、機械学習モデルの再学習に用いる良品画像枚数を決定する。
【0094】
ステップＳＣ１８で良品画像をスコアの高い方から順にｎ枚抽出した後、ステップＳＣ８に進み、ステップＳＣ１８で抽出したｎ枚の良品画像を機械学習モデルに入力して自動的に再学習させる。
【0095】
ステップＳＣ１６でＹＥＳと判定されて進んだステップＳＣ１９では、見逃し率を算出する。見逃し率は、複数の検証用画像の不良品画像に対する誤判定率であり、以下の式で計算することができる。
【0096】
見逃し率＝（検証用画像と学習用画像の中で良品画像と判定された不良品画像の枚数／不良品画像の全枚数）×１００
【0097】
ステップＳＣ１９で見逃し率を算出した後、ステップＳＣ２０に進む。ステップＳＣ２０では、図４に示すフローチャートのステップＳＡ９と同様に誤判定している不良品画像よりもスコアの高い良品画像をスコアの低い方から順にｎ枚抽出する。抽出する枚数は、見逃し率に応じて変えてもよい。例えば、見逃し率が大きくなればなるほど、ステップＳＣ２０で抽出する枚数が増えるように設定することができる。ステップＳＣ２０で抽出する枚数は、例えば全良品画像に対して例えば５％、１０％、１５％に相当する枚数のように、割合によって決定することもできる。このように、プロセッサ１３ｃは、複数の検証用画像の不良品画像に対する誤判定率である見逃し率に基づいて、機械学習モデルの再学習に用いる不良品画像の枚数を決定する。尚、ステップＳＣ１８で抽出する枚数よりもステップＳＣ２０で抽出する枚数の方が多くなるように設定してもよい。
【0098】
ステップＳＣ２０の後、ステップＳＣ２１に進み、プロセッサ１３ｃが、カウント数に１を加える処理を行う。このカウント数は、次のステップＳＣ１３の判定で用いられる。ステップＳＣ１６～ＳＣ２０を複数回経ることで再学習が複数回行われると、ステップＳＣ１３でＮＯと判定されてステップＳＣ１２に進み、上記ステップ２が開始される。つまり、良品画像による再学習を複数回繰り返した後、機械学習モデルの再学習がさらに必要であるとプロセッサ１３ｃが評価した場合には、上記ステップ２が自動的に実行される。尚、プロセッサ１３ｃがステップ１のみで学習を終了してもよいし、ユーザが任意のタイミングで上記ステップ２に移行可能にしてもよい。
【0099】
ステップＳＣ２１の後、ステップＳＣ８に進み、ステップＳＣ２０で抽出したｎ枚の不良品画像を機械学習モデルに入力して自動的に再学習させる。
【0100】
このように、プロセッサ１３ｃは、ステップＳＣ１５で機械学習モデルの再学習が必要であると評価した場合は、ステップＳＣ１８及びステップＳＣ２０において、分類処理の精度の評価結果に基づいて、再学習に用いる検証用画像の枚数を自動的に算出するとともに、複数の検証用画像の中から、分類結果が誤っている可能性が相対的に高い検証用画像を前記算出した枚数だけ抽出する。プロセッサ１３ｃは、分類結果が誤っている可能性が相対的に高い検証用画像を抽出した後、その枚数の検証用画像を機械学習モデルに自動的に再学習させることができる。よって、ユーザの負担を軽減できる。
【0101】
（ステップ２の第２の例）
図１１は、自動学習処理のステップ２の第２の例を示すフローチャートである。ステップＳＤ１及びＳＤ２では、図９に示すフローチャートのステップＳＢ１及びＳＢ２と同様な処理を実行する。良品クラスに分類された画像のスコアの差の方が大きければ、ステップＳＤ３に進む。ステップＳＤ３では、所定の基準に従って良品画像を抽出する。具体的には、プロセッサ１３ｃが、まず、検証用画像のうちの良品画像の中でスコアが一番高い画像を特定する。次いで、プロセッサ１３ｃが、特定した画像のスコアから当該スコアの１０％を引いたスコアを算出する。しかる後、プロセッサ１３ｃが、算出したスコア以上のスコアを有する良品画像を最大追加可能枚数（例えば５枚）まで追加する。
図１１は、自動学習処理のステップ２の第２の例を示すフローチャートである。ステップＳＤ１及びＳＤ２では、図９に示すフローチャートのステップＳＢ１及びＳＢ２と同様な処理を実行する。良品クラスに分類された画像のスコアの差の方が大きければ、ステップＳＤ３に進む。ステップＳＤ３では、所定の基準に従って良品画像を抽出する。具体的には、プロセッサ１３ｃが、まず、検証用画像のうちの良品画像の中でスコアが一番高い画像を特定する。次いで、プロセッサ１３ｃが、特定した画像のスコアから当該スコアの１０％を引いたスコアを算出する。しかる後、プロセッサ１３ｃが、算出したスコア以上のスコアを有する良品画像を最大追加可能枚数（例えば５枚）まで追加する。
【0102】
ステップＳＤ４では、プロセッサ１３ｃが、ステップＳＤ３で追加した良品画像の枚数が１枚以上あるか否かを判定する。ステップＳＤ３で追加した良品画像の枚数が１枚以上ある場合にはステップＳＤ５に進み、プロセッサ１３ｃが、図９に示すフローチャートのステップＳＢ６と同様に再学習を実行し、検証用画像による検証を行い、パレート図を生成する。一方、ステップＳＤ３で追加した良品画像の枚数が０である場合には、再学習が行えないので、ステップＳＤ５を経ることなく、ステップＳＤ６に進む。
【0103】
ステップＳＤ６では、プロセッサ１３ｃが、検証用画像の不良品画像の枚数が１であるか否か、または検証用画像の良品画像の枚数が０であるか否かを判定する。ステップＳＤ６の判定の結果、検証用画像の不良品画像の枚数が１であれば学習を自動的に終了し、また、検証用画像の良品画像の枚数が０であれば学習を自動的に終了する。一方、ステップＳＤ６の判定の結果、検証用画像の不良品画像の枚数が１以外の枚数である場合にはステップＳＤ７に進み、また、検証用画像の良品画像の枚数が１枚以上ある場合にはステップＳＤ７に進む。
【0104】
ステップＳＤ７では、図４に示すフローチャートのステップＳＡ３の処理を実行する。ステップＳＤ７で良品画像と不良品画像とが分離できていると判定された場合には、学習を自動的に終了する。ステップＳＤ７で良品画像と不良品画像とが分離できていないと判定された場合にはステップＳＤ８に進む。ステップＳＤ８では、プロセッサ１３ｃが、検証用画像の不良品画像の中でスコアが一番低い画像を１枚抽出する。
【0105】
ステップＳＤ９では、ステップＳＤ８で追加した不良品画像の枚数が１枚以上あるか否かを判定する。ステップＳＤ８で追加した不良品画像の枚数が１枚以上ある場合にはステップＳＤ１０に進み、後述する不良品学習を実行する。
【0106】
ステップＳＤ８で追加した不良品画像の枚数が０である場合には、ステップＳＤ１１に進み、ステップＳＤ６と同様な判定を行う。ステップＳＤ１１の判定の結果、検証用画像の不良品画像の枚数が１であれば学習を自動的に終了し、また、検証用画像の良品画像の枚数が０であれば学習を自動的に終了する。一方、ステップＳＤ１１の判定の結果、検証用画像の不良品画像の枚数が１以外の枚数である場合にはステップＳＤ１２に進み、また、検証用画像の良品画像の枚数が１枚以上ある場合にはステップＳＤ１２に進む。ステップＳＤ１２では、ステップＳＤ７と同様な処理を実行する。
【0107】
ステップＳＤ２の判定の結果、不良品クラスに分類された画像のスコアの差の方が大きければ、ステップＳＤ１３に進む。ステップＳＤ１３では、所定の基準に従って不良品画像を抽出する。具体的には、プロセッサ１３ｃが、まず、検証用画像のうちの不良品画像の中でスコアが一番低い画像を特定する。次いで、プロセッサ１３ｃが、特定した画像のスコアに当該スコアの１０％を加えたスコアを算出する。しかる後、プロセッサ１３ｃが、算出したスコア以下のスコアを有する不良品画像を最大追加可能枚数（例えば５枚）まで抽出する。ただし、検証用画像の不良品画像が５枚以下の場合には、全てを不良品学習に使用することなく、１枚だけ残しておく。
【0108】
ステップＳＤ１４では、プロセッサ１３ｃが、ステップＳＤ１３で抽出した不良品画像の枚数が１枚以上あるか否かを判定する。ステップＳＤ１３で抽出した不良品画像の枚数が１枚以上ある場合にはステップＳＤ１５に進んで後述する不良品学習を実行する。一方、ステップＳＤ１３で抽出した不良品画像の枚数が０である場合には、ステップＳＤ１５を経ることなく、ステップＳＤ１６に進む。
【0109】
ステップＳＤ１６及びＳＤ１７では、それぞれステップＳＤ６及びＳＤ７と同様な判定を行う。その後のステップＳＤ１８では、プロセッサ１３ｃが、検証用画像の良品画像の中でスコアが一番高い画像を１枚追加する。
【0110】
ステップＳＤ１９では、ステップＳＤ１８で追加した良品画像の枚数が１枚以上あるか否かを判定する。ステップＳＤ１８で追加した良品画像の枚数が１枚以上ある場合にはステップＳＤ２０に進み、ステップＳＤ５と同様な処理を実行する。
【0111】
ステップＳＤ１８で追加した良品画像の枚数が０である場合には、ステップＳＤ２０に進み、ステップＳＤ５と同様な処理を実行する。その後、ステップＳＤ１１、ＳＤ１２に進む。
【0112】
図１１に示すフローチャートに従うことで、プロセッサ１３ｃは、機械学習モデルの再学習が必要であると評価した場合は、ステップＳＤ１０、ＳＤ１５で機械学習モデルに不良品画像を学習させるだけでなく、ステップＳＤ５、ＳＤ２０で良品画像も併せて再学習させる。これにより、ステップＳＤ１０、ＳＤ１５で機械学習モデルに学習させた不良品画像と類似する特徴、及びステップＳＤ５、ＳＤ２０で学習させた良品画像と異なる特徴を不良箇所として判定するように機械学習モデルを生成することができる。
【0113】
また、図１１に示すフローチャートに従うことで、プロセッサ１３ｃは、いずれにクラスに属するか判定する判定処理において、機械学習モデルの再学習が必要であると評価した場合は、良品画像の評価値と、不良品画像の評価値とを比較することで、機械学習モデルに良否画像と不良品画像のどちらを学習させるかを自動的に判断し、学習効果の高い方の画像を機械学習モデルに学習させることができる。
【0114】
（不良品学習）
図１２は、不良品学習の一例を示すフローチャートである。このフローは、図１１に示すフローチャートのステップＳＤ１０、ＳＤ１５で実行され、ステップＳＥ１～ＳＥ３は、抽出された不良品画像の枚数分だけ繰り返される。
図１２は、不良品学習の一例を示すフローチャートである。このフローは、図１１に示すフローチャートのステップＳＤ１０、ＳＤ１５で実行され、ステップＳＥ１～ＳＥ３は、抽出された不良品画像の枚数分だけ繰り返される。
【0115】
ステップＳＥ１では、上記ステップ２でユーザが不良品画像に領域指定を選択しているか否か、即ち、ユーザが不良品画像に対して不良箇所の指定を行うか否か（アノテーションするか否か）を判定する。ユーザが領域指定を選択している場合にはステップＳＥ２に進んでユーザによるアノテーションの操作を入力部１３ｂが受け付ける。
【0116】
具体的には、プロセッサ１３ｃは、複数の検証用画像の中から、機械学習モデルに再学習させる画像として不良品画像を抽出した後、ユーザから当該不良品画像中の不良箇所の指定を受け付けるための表示画面として図１３に示すアノテーション画面２００を生成して表示装置４に表示させる。アノテーション画面２００の表示は、ステップＳＥ２に進むと自動的に実行される。
【0117】
アノテーション画面２００には、機械学習モデルに入力された入力画像が表示される入力画像表示領域２０１と、機械学習モデルから出力されたヒートマップが表示されるヒートマップ表示領域２０２と、領域指定部２０３とが設けられている。入力画像表示領域２０１に表示される入力画像と、ヒートマップ表示領域２０２に表示されるヒートマップとは対応しており、入力画像とヒートマップのスケールが同一、かつ、同一領域が表示されるようになっている。図示しているように、入力画像とヒートマップとを並べて表示可能なユーザインターフェースとすることで、両者の対応する部分を把握し易くなる。尚、ヒートマップ表示領域２０２は必要に応じて表示させればよく、省略してもよい。
【0118】
ヒートマップは、良品画像と異なる特徴部分を、色彩や明るさの相違によって他の部分よりも強調した画像である。すなわち、プロセッサ１３ｃは、複数の検証用画像の中から、機械学習モデルに再学習させるために抽出した不良品画像に対して、既に学習させた良品画像と異なる特徴部分を特定した後、抽出した不良品画像における当該特定した異なる特徴部分を強調した画像としてヒートマップを含むアノテーション画面２００を生成して表示装置４に表示させることができる。
【0119】
入力画像表示領域２０１に表示される入力画像は、複数の検証用画像の中から、機械学習モデルに再学習させるために抽出した不良品画像である。ところが、入力画像表示領域２０１に表示される入力画像のみでは、機械学習モデルがどの領域に対して反応しているのか把握できない場合がある。本例では、特定した異なる特徴部分を強調したヒートマップも同時に表示しているので、ユーザはヒートマップを見ることで、機械学習モデルが不良箇所であると反応している領域、及びその反応の強さを把握できる。
【0120】
領域指定部２０３では、複数の領域として例えば「領域０」、「領域１」、「領域２」、「領域３」等の指定が可能になっている。「領域０」としてマスク領域を指定する場合、指定する領域の形状を選択が可能になっている。その形状としては、例えば矩形、円、多角形等があり、ユーザがマウス５２等を操作することで選択できる。選択された形状は、入力部１３ｂで受け付けられ、プロセッサ１３ｃが選択された形状と同じ形状の枠２０４を入力画像上及びヒートマップ上にそれぞれ重畳表示させる。
【0121】
枠２０４は、不良箇所の指定を行うためのものである。枠２０４の位置、大きさ、角度、縦横比等はユーザがマウス５２等を操作することで変更可能になっている。ユーザが不良箇所を囲むように枠２０４を移動させたり、枠２０４の大きさを変えたりすることで、枠２０４で囲まれた領域を不良箇所として指定できる。入力画像上の枠２０４と、ヒートマップ上の枠２０４のいずれも操作可能になっており、入力画像上の枠２０４を操作するとその操作がヒートマップ上の枠２０４にも反映させて２つの枠２０４が同じ大きさになるとともに、位置に配置される。ヒートマップ上の枠２０４を操作した場合には、その操作が入力画像上の枠２０４に反映される。
【0122】
良品と不良品のスコアの差を大きくするために、複数枚の不良品画像が必要な場合がある。複数枚の不良品画像が必要な場合であれば、それら不良品画像を順番に表示し、各不良品画像に対して順次アノテーションすることができる。例えば１番目の不良品画像が表示された状態でアノテーションを実行し、終了すると、２番目の不良品画像が自動的に表示され、アノテーションの受け付けが可能な状態になる。
【0123】
不良箇所の指定は入力部１３ｂで受け付けられる。不良箇所の指定が入力部１３ｂで受け付けられると、プロセッサ１３ｃは枠２０４で囲まれた領域が不良箇所であると特定し、例えば記憶装置１９等に保存する。ステップＳＥ３では、プロセッサ１３ｃは、アノテーション画面２００を介して不良箇所が特定された不良品画像を学習用画像に追加する。ステップＳＥ４では、機械学習モデルに再学習させて、当該不良箇所と類似する特徴を有する画像を不良品クラスに属する画像として判定するように機械学習モデルを生成する。
【0124】
プロセッサ１３ｃは、機械学習モデルの学習処理を完了した後も、ユーザ指示により当該機械学習モデルの再学習を再開可能に構成されている。例えば、図５に示す学習結果表示用ユーザインターフェース画面１５０には、学習実行ボタン１０５が設けられている。ユーザによる学習実行ボタン１０５の操作は、機械学習モデルの再学習を再開するユーザ指示であり、このユーザ指示をプロセッサ１３ｃが受け付ける。
【0125】
プロセッサ１３ｃは、機械学習モデルの再学習の指示を受け付けると、既存の検証用画像とは異なる、新たな検証用画像を機械学習モデルに入力して、当該新たな検証用画像を複数のクラスに分類する処理を実行する。例えば、画像処理装置１の運用を開始した後、複数のワーク画像を取得することができ、これらワーク画像は新たな検証用画像となり得る。プロセッサ１３ｃは、新たな検証用画像に対する分類処理により得られた複数のクラスの分離度に基づいて、分類処理の精度を評価し、分類処理の精度の評価結果に基づいて、機械学習モデルの再学習が必要であると評価した場合は、新たな検証用画像の中から、分類結果が誤っている可能性が高い検証用画像を抽出して機械学習モデルに自動的に再学習させ、一方、機械学習モデルの再学習が不要であると評価した場合は、機械学習モデルの学習処理を完了する。これにより、学習処理を一旦、完了した後に新たな画像を取得した場合でも、ユーザ指示により既存の機械学習モデルを再学習させることができるので、機械学習モデルの継続的な精度向上を図ることができる。
【0126】
（学習モデルの選択機能）
機械学習モデルの再学習を繰り返し実行することにより、機械学習モデルの精度は変化する。図６では１回目の学習が終了した機械学習モデルの精度を示しており、学習回数が２回目、３回目と増えるに従って、図８に示すように機械学習モデルの精度が向上している。３回目の学習を終えた時点を基準にすると、３回目の学習が直近の再学習であり、直近の再学習で得られた分離ブラフは、図８のパレート図表示領域１５５ｂに表示される。直近の分離グラフが得られた学習段階よりも前の学習段階は、１回目の学習段階及び２回目の学習段階であり、１回目の学習段階で得られた分離グラフ及び２回目の学習段階で得られた分離グラフは、３回目の学習で得られた分離グラフを基準とすると、過去の分離グラフとなる。すなわち、プロセッサ１３ｃは、機械学習モデルの再学習を繰り返し実行することにより得られた直近の分離グラフと、当該直近の分離グラフが得られた学習段階よりも前の学習段階で得られた過去の分離グラフとを比較可能に表示した表示画面として、図７や図８に示す学習結果表示用ユーザインターフェース画面１５０を生成して表示装置４に表示させる。尚、図８では３回目の学習までしか示していないが、学習回数は特に制限されるものではなく、所望の精度が得られるまで学習を繰り返し行えばよい。
機械学習モデルの再学習を繰り返し実行することにより、機械学習モデルの精度は変化する。図６では１回目の学習が終了した機械学習モデルの精度を示しており、学習回数が２回目、３回目と増えるに従って、図８に示すように機械学習モデルの精度が向上している。３回目の学習を終えた時点を基準にすると、３回目の学習が直近の再学習であり、直近の再学習で得られた分離ブラフは、図８のパレート図表示領域１５５ｂに表示される。直近の分離グラフが得られた学習段階よりも前の学習段階は、１回目の学習段階及び２回目の学習段階であり、１回目の学習段階で得られた分離グラフ及び２回目の学習段階で得られた分離グラフは、３回目の学習で得られた分離グラフを基準とすると、過去の分離グラフとなる。すなわち、プロセッサ１３ｃは、機械学習モデルの再学習を繰り返し実行することにより得られた直近の分離グラフと、当該直近の分離グラフが得られた学習段階よりも前の学習段階で得られた過去の分離グラフとを比較可能に表示した表示画面として、図７や図８に示す学習結果表示用ユーザインターフェース画面１５０を生成して表示装置４に表示させる。尚、図８では３回目の学習までしか示していないが、学習回数は特に制限されるものではなく、所望の精度が得られるまで学習を繰り返し行えばよい。
【0127】
図１４は、機械学習モデルの精度の推移を提示するための学習推移表示画面２５０の例を示している。学習推移表示画面２５０は、図６～図８に示す学習結果表示用ユーザインターフェース画面１５０に組み込んでパレート図等と一緒に表示させることもできる。学習推移グラフには機械学習モデルの学習の進み具合が示されるので、ユーザが学習推移グラフを見ることで、何回目の学習で所望の精度を持った機械学習モデルが得られるかの予測を立てることもできる。
【0128】
学習推移表示画面２５０には、学習推移グラフが表示されるグラフ表示領域２５１が設けられている。学習推移グラフの横軸は学習回数であり、この例では学習回数を１５回まで示している。左側の縦軸は学習した画像の枚数であり、右側の縦軸は機械学習モデルが誤判定した画像の枚数である。学習推移グラフに示すように、１回目～４回目の学習までは機械学習モデルの精度向上が著しいが、５回目以降は精度向上の程度が低くなり、１２回目の機械学習モデルは１１回目及び１３回目に比べて誤判定の数が突出して多くなっている。このように、学習回数を増やせば精度が必ず向上するというものではなく、学習に用いた画像によっては、突然、精度の低下を招く場合がある。学習推移グラフを表示することで、突然の精度の低下をユーザが把握することができ、その回の機械学習モデルを避けて、他の回の精度が高い機械学習モデルを選択して運用時に使用することができる。この機能を、学習モデルの選択機能と呼ぶ。
【0129】
具体的に説明すると、プロセッサ１３ｃは、運用時に用いる機械学習モデルとして、直近の分離グラフに対応する直近の機械学習モデルの他に、過去の分離グラフに対応する過去の機械学習モデルの選択をユーザから受け付け可能に構成されている。例えば、図１４に示す学習推移グラフの横軸上の数値（学習回数）をマウス５２等で指定すると、指定した学習回数の分離グラフに対応する機械学習モデルの選択がプロセッサ１３ｃで受け付けられる。「指定した学習回数の分離グラフに対応する機械学習モデル」とは、指定した学習回数の分離グラフを得た時の機械学習モデルのことである。
【0130】
プロセッサ１３ｃは、過去の機械学習モデルの選択を受け付けると、当該選択された過去の機械学習モデルに学習させた全ての学習用画像を特定する。過去の機械学習モデルにどの学習用画像を学習させたかについては、学習情報として記憶装置１９等に記憶させておくことができ、学習情報を読み込むことで、プロセッサ１３ｃは、どの回にどの学習用画像を機械学習モデルに学習させたかを取得できる。
【0131】
プロセッサ１３ｃは、選択された過去の機械学習モデルに学習させた全ての学習用画像を特定した後、学習開始前の初期状態の機械学習モデルに当該特定した全ての学習用画像を学習させることで、当該選択された過去の機械学習モデルを再現する。これにより、再学習を繰り返し実行した直近の機械学習モデルよりも前の学習段階にある過去の機械学習モデルの方が分類処理の精度が高い場合に、過去の機械学習モデルを簡単に再現して運用に用いることができる。
【0132】
過去の機械学習モデルを再現する場合には、これまで学習した機械学習モデルを引き継がない方法と、これまで学習した機械学習モデルを引き継ぐ方法とがあり、いずれの方法であってもよい。これまで学習した機械学習モデルを引き継がない場合、特定した全ての学習用画像を初期状態の機械学習モデルに学習させる。例えば、図８に示す３回目の機械学習モデルを再現したい場合、２回目の学習で得られた機械学習モデルは引き継がず、累積５枚の学習用画像を初期状態の機械学習モデルに入力して学習させる。
【0133】
一方、これまで学習した機械学習モデルを引き継ぐ場合、前回の学習で得られたモデルに、前回から新たに追加された画像だけを学習させる。例えば、図８に示す３回目の機械学習モデルを再現したい場合、２回目の学習で得られた機械学習モデルに対して、２回目から３回目にかけて追加された学習画像１枚のみを学習させる。これまで学習した機械学習モデルを引き継ぐ場合、初期状態から学習しないので、自動学習完了までの合計学習時間を短くすることができる。
【0134】
（３クラス分類）
図１５は、機械学習モデルにより、３クラス分類を行う場合の学習結果表示領域の例を示す図である。画像枚数表示領域１５１ａには、ラベル１が付与された画像の枚数、ラベル２が付与された画像の枚数、ラベル３が付与された画像の枚数がそれぞれ表示される。推論結果表示領域１５１ｃには、実際と予測のそれぞれについてラベル１、ラベル２、ラベル３の欄が設けられている。これにより、３クラス分類を行う場合の学習結果もユーザに提示できる。
図１５は、機械学習モデルにより、３クラス分類を行う場合の学習結果表示領域の例を示す図である。画像枚数表示領域１５１ａには、ラベル１が付与された画像の枚数、ラベル２が付与された画像の枚数、ラベル３が付与された画像の枚数がそれぞれ表示される。推論結果表示領域１５１ｃには、実際と予測のそれぞれについてラベル１、ラベル２、ラベル３の欄が設けられている。これにより、３クラス分類を行う場合の学習結果もユーザに提示できる。
【0135】
具体的には、図１６のフローチャートに示している。ステップＳＦ１では、各クラスの先頭の１枚（ファイル名順）の画像を、それぞれ学習用画像に追加する。クラスの数だけ繰り返した後、ステップＳＦ２では、追加した画像を機械学習モデルに入力して学習させてから検証する。検証の結果、分離できている場合にはステップＳＦ３でＹＥＳと判定されて終了する。分離できていない場合にはステップＳＦ３でＮＯと判定されてステップＳＦ４に進む。ステップＳＦ４では検証用画像が１枚以上残っているか否かを判定する。検証用画像が１枚以上残っていない場合には終了し、検証用画像が１枚以上残っている場合にはステップＳＦ５に進む。ステップＳＦ５では、誤判定されている画像があるか否かを全てのクラスについて判定する。誤判定されていたクラスがあれば、そのクラスにおいて、最もスコアの高い画像を１枚だけ学習用画像に追加する。誤判定されていたクラスが複数あれば、各クラスで、最もスコアの高い画像を１枚だけ学習用画像に追加する（ステップＳＦ６）。誤判定されていないクラスについては追加しない。その後、ステップＳＦ２に進み、追加した画像を機械学習モデルに入力して学習させてから検証する。
【0136】
上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
【産業上の利用可能性】
【0137】
以上説明したように、本開示に係る画像処理装置及び画像処理方法は、例えば工業製品の外観検査を行う場合に利用できる。
【符号の説明】
【0138】
１ 画像処理装置
２ 制御ユニット
３ 撮像ユニット
４ 表示装置（表示部）
１３ｃ プロセッサ
２ 制御ユニット
３ 撮像ユニット
４ 表示装置（表示部）
１３ｃ プロセッサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
