知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-28
(45)【発行日】2023-12-06
(54)【発明の名称】学習装置、学習方法およびプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20231129BHJP
G06N 20/00 20190101ALI20231129BHJP
【ＦＩ】
G06T7/00 350B
G06N20/00
【請求項の数】
11
(21)【出願番号】P 2019214617
(22)【出願日】2019-11-27
(65)【公開番号】P2021086381
(43)【公開日】2021-06-03
【審査請求日】2022-09-07
(73)【特許権者】
【識別番号】000002945
【氏名又は名称】オムロン株式会社
(74)【代理人】
【識別番号】110001195
【氏名又は名称】弁理士法人深見特許事務所
(72)【発明者】
【氏名】池田 泰之
(72)【発明者】
【氏名】枦山 博幸
(72)【発明者】
【氏名】松田 健利
【審査官】伊知地 和之
(56)【参考文献】
【文献】特開２０１９－１０６１１９（ＪＰ，Ａ）
【文献】特開２０１６－１７３６１５（ＪＰ，Ａ）
【文献】特開２０１７－２２８０６８（ＪＰ，Ａ）
【文献】特開２００６－２５８５３５（ＪＰ，Ａ）
【文献】特開２０１８－１５１９９０（ＪＰ，Ａ）
【文献】岡田彩加他，自己想起回路を用いた果実の良否判定，ＳＳＩＩ２０１４ 第２０回画像センシングシンポジウム 講演論文集 ［ＣＤ－ＲＯＭ］，日本，画像センシング技術研究会，2014年06月12日，pp.IS1-26-1～IS1-26-6
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０６Ｎ ３／００ － ３／１２
Ｇ０６Ｎ ７／０８ － ９９／００
Ｇ０６Ｔ ７／００ － ７／９０
Ｇ０６Ｖ １０／００ － ２０／９０
Ｇ０６Ｖ ３０／４１８
Ｇ０６Ｖ ４０／１６
Ｇ０６Ｖ ４０／２０
ＣＳＤＢ（日本国特許庁）
ＩＥＥＥ Ｘｐｌｏｒｅ
(57)【特許請求の範囲】
【請求項1】
学習装置であって、対象物の写る１以上の学習用画像を含む学習用画像グループを用いた機械学習を行なうことにより、前記対象物の属性を判定するために利用される学習モデルを生成する学習部と、
評価用画像グループに含まれる１以上の評価用画像を前記学習モデルに入力することにより、前記学習モデルの性能の評価を行なう評価部と、
前記学習用画像グループを更新する第１操作を受け付ける受付部と、
前記第１操作ごとに、前記第１操作の内容と、更新後の前記学習用画像グループを用いて生成された前記学習モデルに対する前記評価の結果とを対応付けて記録する記録部と、
前記記録部によって記録された履歴情報を出力する出力部とを備え、
前記第１操作は、前記学習用画像グループに学習用画像を追加する追加操作を含み、
前記第１操作の内容は、前記追加操作について、追加された学習用画像を識別する識別情報を含む、学習装置。
【請求項2】
前記学習モデルは、前記対象物の写る画像が入力され、前記対象物の良否を判定するための出力情報を出力し、前記評価用画像グループは、良品である前記対象物の写る１以上の第１評価用画像と、不良品である前記対象物の写る１以上の第２評価用画像とを含み、
前記評価部は、前記評価の結果として、
前記１以上の第１評価用画像のうち、前記学習モデルに入力することにより得られる前記出力情報に基づいて前記対象物が不良品と判定された第１評価用画像の第１割合に応じた値と、
前記１以上の第２評価用画像のうち、前記学習モデルに入力することにより得られる前記出力情報に基づいて前記対象物が良品と判定された第２評価用画像の第２割合に応じた値とを算出する、請求項１に記載の学習装置。
【請求項3】
前記出力情報を用いた前記対象物の良否の判定は、前記出力情報が判定条件を満たすか否かに応じて実施され、前記評価部は、前記第２割合が予め定められた閾値以下となるように前記判定条件を決定する、請求項２に記載の学習装置。
【請求項4】
前記対象物の属性を判定する判定装置に前記学習モデルを設定する設定部をさらに備え、前記記録部は、前記第１操作ごとに、更新後の前記学習用画像グループをさらに記録し、
前記設定部は、前記履歴情報の中から指定された第１操作に対応して記録された前記学習用画像グループを用いて生成された前記学習モデルを前記判定装置に設定する、請求項１から３のいずれか１項に記載の学習装置。
【請求項5】
前記対象物の属性を判定する判定装置に前記学習モデルを設定する設定部をさらに備え、前記記録部は、前記第１操作ごとに、更新後の前記学習用画像グループを用いて生成された前記学習モデルをさらに記録し、
前記設定部は、前記履歴情報の中から指定された第１操作に対応して記録された前記学習モデルを前記判定装置に設定する、請求項１から３のいずれか１項に記載の学習装置。
【請求項6】
前記受付部は、前記評価用画像グループを更新する第２操作をさらに受け付け、前記記録部は、さらに、前記第２操作ごとに、前記第２操作の内容と、更新後の前記評価用画像グループを用いた前記評価の結果とを対応付けて記録する、請求項１から５のいずれか１項に記載の学習装置。
【請求項7】
前記学習部は、モデル生成用パラメータを用いて前記学習モデルを生成し、前記受付部は、前記モデル生成用パラメータを更新する第３操作をさらに受け付け、
前記記録部は、さらに、前記第３操作ごとに、前記第３操作の内容と、更新後の前記モデル生成用パラメータを用いて生成された前記学習モデルに対する前記評価の結果とを対応付けて記録する、請求項１から６のいずれか１項に記載の学習装置。
【請求項8】
前記出力部は、前記第１操作ごとの前記第１操作の内容と前記評価の結果との一覧表を表示装置に表示させる、請求項１に記載の学習装置。
【請求項9】
前記評価部は、前記学習モデルの性能を示す評価値を前記評価の結果として算出し、前記出力部は、前記第１操作ごとの前記評価値の推移を示すグラフを表示装置に表示させる、請求項１に記載の学習装置。
【請求項10】
対象物の写る１以上の学習用画像を含む学習用画像グループを用いた機械学習を行なうことにより、前記対象物の属性を判定するために利用される学習モデルを生成するステップと、評価用画像グループに含まれる１以上の評価用画像を前記学習モデルに入力することにより、前記学習モデルの性能の評価を行なうステップと、
前記学習用画像グループを更新する操作を受け付けるステップと、
前記操作ごとに、前記操作の内容と、更新後の前記学習用画像グループを用いて生成された前記学習モデルに対する前記評価の結果とを対応付けて記録するステップと、
記録された履歴情報を出力するステップとを備え、
前記操作は、前記学習用画像グループに学習用画像を追加する追加操作を含み、
前記操作の内容は、前記追加操作について、追加された学習用画像を識別する識別情報を含む、学習方法。
【請求項11】
請求項１０に記載の学習方法をコンピュータに実行させるプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、学習装置、学習方法およびプログラムに関する。
【背景技術】
【0002】
近年、製造ラインでは、製造される製品を撮影装置により撮影し、得られた観測画像に基づいて製品の良否を自動的に検査する技術の開発が進んでいる。良品および不良品の両方のサンプルが複数存在する場合、良品画像および不良品画像を用いた機械学習を行なうことにより得られた識別器によって、製品の良否を判定できる。しかしながら、通常、良品に比べ不良品を多く集めることが困難である。そのため、複数の良品画像を用いた機械学習により得られた学習モデルによって良否を判定する技術が開発されている（非特許文献１～３）。非特許文献１～３では、複数の良品画像の特徴を抽出する学習モデル（学習済モデル）が生成される。検査時には、学習モデルを用いて、観測画像から欠陥以外の特徴が抽出され、欠陥のない画像が復元される。復元された画像と観測画像とが比較されることにより、欠陥検査が実施される。なお、画像を出力するタイプの機械学習モデルは一般に生成モデルと呼ばれるが、本明細書では、単に学習モデルと記載する。
【先行技術文献】
【非特許文献】
【0003】
【文献】Bergmann、他４名、“Improving Unsupervised Defect Segmentation by Applying Structural Similarity To Autoencoders”、arXiv:1807.02011v3、2019年2月1日
【文献】Schlegl、他４名、“Unsupervised Anomaly Detection with Generative Adversarial Networks to Guide Marker Discovery”、arXiv:1703.05921v1、2017年3月17日
【文献】豊田健太、堀田一弘、「部分空間法とロバスト統計を用いた不良箇所の自動特定」、SSII2016、IS3-22、2016年6月10日
【発明の概要】
【発明が解決しようとする課題】
【0004】
学習モデルの性能を高めるために、学習操作が繰り返し実施される。しかしながら、学習操作を増やしても必ずしも性能が向上するわけではなく、最新の学習モデルが最適であえるとは限らない。そのため、学習モデルの調整に手間がかかる。
【0005】
本開示は、上記の問題に鑑みてなされたものであり、その目的は、学習モデルの調整の手間を削減可能な学習装置、学習方法およびプログラムを提供することである。
【課題を解決するための手段】
【0006】
本開示の一例によれば、学習装置が、学習部と、評価部と、受付部と、記録部と、出力部とを備える。学習部は、対象物の写る１以上の学習用画像を含む学習用画像グループを用いた機械学習を行なうことにより、対象物の属性を判定するために利用される学習モデルを生成する。評価部は、評価用画像グループに含まれる１以上の評価用画像を学習モデルに入力することにより、学習モデルの性能の評価を行なう。受付部は、学習用画像グループを更新する第１操作を受け付ける。記録部は、第１操作ごとに、第１操作の内容と、更新後の学習用画像グループを用いて生成された学習モデルに対する評価の結果とを対応付けて記録する。出力部は、記録部によって記録された履歴情報を出力する。
【0007】
この開示によれば、ユーザは、記録部によって記録された履歴情報を確認することにより、過去に実施された複数の第１操作それぞれに対応する学習モデルのうち、どのタイミングの学習モデルの性能が最も高いか容易に把握できる。これにより、ユーザは、第１操作ごとの学習モデルの性能を確認しながら、学習モデルを適宜調整できる。その結果、学習モデルの調整の手間を削減できる。
【0008】
上述の開示において、学習モデルは、対象物の写る画像が入力され、対象物の良否を判定するための出力情報を出力する。評価用画像グループは、良品である対象物の写る１以上の第１評価用画像と、不良品である対象物の写る１以上の第２評価用画像とを含む。評価部は、評価の結果として、（ａ）１以上の第１評価用画像のうち、学習モデルに入力することにより得られる出力情報に基づいて対象物が不良品と判定された第１評価用画像の第１割合に応じた値と、（ｂ）１以上の第２評価用画像のうち、学習モデルに入力することにより得られる出力情報に基づいて対象物が良品と判定された第２評価用画像の第２割合に応じた値とを算出する。
【0009】
上記の開示によれば、ユーザは、第１割合に応じた値を確認することにより第１割合を把握でき、第２割合に応じた値を確認することにより第２割合を把握できる。第１割合は、良品が不良品として判定される割合である。第２割合は、不良品が良品として判定される割合である。これにより、ユーザは、第１割合および第２割合が所望の範囲内になるように、学習モデルを調整できる。
【0010】
上述の開示において、出力情報を用いた対象物の良否の判定は、出力情報が判定条件を満たすか否かに応じて実施される。評価部は、第２割合が予め定められた閾値以下となるように判定条件を決定する。
【0011】
製造ラインでは、不良品が良品として出荷されることをなるべく回避する必要がある。第２割合は、不良品が良品と判定される割合に対応する。上記の開示によれば、第２割合が予め定められた閾値以下となるような判定条件の下で実施された良否の判定結果に基づいて、学習モデルの性能の評価が行なわれる。これにより、第２割合が閾値以下となる判定条件下において、ユーザは、性能の高い学習モデルに調整できる。
【0012】
上述の開示において、対象物の属性を判定する判定装置に学習モデルを設定する設定部をさらに備える。記録部は、第１操作ごとに、更新後の学習用画像グループをさらに記録する。設定部は、履歴情報の中から指定された第１操作に対応して記録された学習用画像グループを用いて生成された学習モデルを判定装置に設定する。
【0013】
あるいは、記録部は、第１操作ごとに、更新後の学習用画像グループを用いて生成された学習モデルをさらに記録する。設定部は、履歴情報の中から指定された第１操作に対応して記録された学習モデルを判定装置に設定する。
【0014】
上記の開示によれば、ユーザは、履歴情報を見ながら、性能の高い学習モデルを判定装置に容易に設定できる。
【0015】
上述の開示において、受付部は、評価用画像グループを更新する第２操作をさらに受け付ける。記録部は、さらに、第２操作ごとに、第２操作の内容と、更新後の評価用画像グループを用いた評価の結果とを対応付けて記録する。
【0016】
上記の開示によれば、ユーザは、評価用画像グループを更新したときの学習モデルの性能の評価結果の変化を確認できる。その結果、ユーザは、評価結果を確認することで評価用画像グループの最適化を行なうことができる。
【0017】
上述の開示において、学習部は、モデル生成用パラメータを用いて学習モデルを生成する。受付部は、モデル生成用パラメータを更新する第３操作をさらに受け付ける。記録部は、さらに、第３操作ごとに、第３操作の内容と、更新後のモデル生成用パラメータを用いて生成された学習モデルに対する評価の結果とを対応付けて記録する。
【0018】
上記の開示によれば、ユーザは、モデル生成用パラメータを更新したときの学習モデルの性能の評価結果の変化を確認できる。その結果、ユーザは、評価結果を確認することでモデル生成用パラメータの最適化を行なうことができる。
【0019】
上述の開示において、出力部は、第１操作ごとの第１操作の内容と評価の結果との一覧表を表示装置に表示させる。
【0020】
上記の開示によれば、ユーザは、一覧表を見ることにより、操作に応じた学習モデルの性能の変化を確認できる。
【0021】
上述の開示において、評価部は、学習モデルの性能を示す評価値を評価の結果として算出する。出力部は、第１操作ごとの評価値の推移を示すグラフを表示装置に表示させる。
【0022】
上記の開示によれば、ユーザは、グラフを見ることにより、操作に応じた学習モデルの性能の変化を確認しやすくなる。
【0023】
本開示の一例によれば、学習方法は、対象物の写る１以上の学習用画像を含む学習用画像グループを用いた機械学習を行なうことにより、対象物の属性を判定するために利用される学習モデルを生成するステップと、評価用画像グループに含まれる１以上の評価用画像を学習モデルに入力することにより、学習モデルの性能の評価を行なうステップと、学習用画像グループを更新する操作を受け付けるステップと、操作ごとに、操作の内容と、更新後の学習用画像グループを用いて生成された学習モデルに対する評価の結果とを対応付けて記録するステップと、記録された履歴情報を出力するステップとを備える。
【0024】
本開示の一例によれば、プログラムは、上記の設定方法をコンピュータに実行させる。これらの開示によっても、学習モデルの調整の手間を削減できる。
【発明の効果】
【0025】
本開示によれば、学習モデルの調整の手間を削減できる。
【図面の簡単な説明】
【0026】
【図1】実施の形態に係るシステムの全体構成を示す概略図である。
【図4】学習装置のソフトウェア構成の一例を模式的に例示する図である。
【図5】ニューラルネットワークにより構成される学習モデルの一例を模式的に示す図である。
【図6】評価部による学習モデルの性能の評価方法の一例を説明する図である。
【図7】判定パラメータの一例を示す図である。
【図8】学習効果の評価方法を説明する図である。
【図9】第１操作を受け付けるための画面の一例を示す図である。
【図10】第２操作を受け付けるための画面の一例を示す図である。
【図11】記録部によって生成される履歴情報の一例を示す図である。
【図12】記録部によって生成される履歴情報の別の例を示す図である。
【図13】履歴情報を示す画面の一例を示す図である。
【図14】履歴情報を示す画面の別の例を示す図である。
【図15】判定装置のソフトウェア構成の一例を模式的に例示する図である。
【図16】学習装置の処理の流れの一例を示すフローチャートである。
【図17】実験例により機械学習の処理を繰り返す過程で構築された学習モデルの性能の評価結果を示す図である。
【発明を実施するための形態】
【0027】
本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中の同一または相当部分については、同一符号を付してその説明は繰返さない。
【0028】
§１ 適用例
図１を参照して、本発明が適用される場面の一例について説明する。図１は、実施の形態に係るシステムの全体構成を示す概略図である。図１に例示されるシステムＳＹＳは、製造ラインなどに組み込まれ、製品であるワークＷの写る画像を利用して、ワークＷの属性を判定する。ワークＷの属性には、例えば、欠陥の有無、種別などが含まれる。図１に示されるように、システムＳＹＳは、学習装置１と判定装置２とを備えている。
図１を参照して、本発明が適用される場面の一例について説明する。図１は、実施の形態に係るシステムの全体構成を示す概略図である。図１に例示されるシステムＳＹＳは、製造ラインなどに組み込まれ、製品であるワークＷの写る画像を利用して、ワークＷの属性を判定する。ワークＷの属性には、例えば、欠陥の有無、種別などが含まれる。図１に示されるように、システムＳＹＳは、学習装置１と判定装置２とを備えている。
【0029】
学習装置１は、ワークＷの写る１以上の学習用画像１０１を含む学習用画像グループ１１を用いた機械学習を行なうことにより学習モデル５を生成するように構成されたコンピュータである。学習モデル５は、ワークＷの写る画像の入力を受け、当該ワークＷの属性を判定するための出力情報を出力する。
【0030】
学習装置１には、表示装置６および入力装置７が接続されている。表示装置６は、典型的には液晶ディスプレイからなり、各種画面を表示する。入力装置７は、例えばキーボードおよびマウスを含む。なお、表示装置６および入力装置７は、タッチパネルとして一体化されてもよい。
【0031】
判定装置２は、学習装置１から転送された学習モデル５を用いて、ワークＷの属性を判定するように構成されたコンピュータである。判定装置２にはカメラ３が接続されている。カメラ３は、ワークＷが視野に含まれるように設置される。これにより、判定装置２は、ワークＷの写る観測画像をカメラ３から取得する。判定装置２は、取得した観測画像を入力したときの学習モデル５の出力情報を用いて、ワークＷの属性を判定する。
【0032】
例えば、判定装置２は、ワークＷに欠陥が含まれるか否かを判定する。欠陥は、例えば、傷、汚れ、クラック、打痕、バリ、色ムラ、異物混入等であってよい。
【0033】
図１に例示される学習装置１および判定装置２は、ネットワークを介して互いに接続されている。ネットワークの種類は、例えば、インターネット、無線通信網、移動通信網、電話網、専用網等から適宜選択されてよい。
【0034】
学習装置１および判定装置２の間でデータをやりとりする方法は、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、学習装置１および判定装置２の間では、記憶媒体を利用して、データがやりとりされてよい。また、本実施形態では、学習装置１および判定装置２は互いに別個のコンピュータである。しかしながら、システムＳＹＳの構成は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、学習装置１および判定装置２は一体のコンピュータであってもよい。また、例えば、学習装置１および判定装置２の少なくとも一方は、複数台のコンピュータにより構成されてよい。
【0035】
図１に示されるように、学習装置１は、学習部１３を備える。学習部１３は、学習用画像グループ１１を用いた機械学習を行なうことにより、ワークＷの属性を判定するために利用される学習モデル５を生成する。学習用画像グループ１１は、良品のワークＷの写る１以上の学習用画像１０１を含む。
【0036】
システムＳＹＳの立ち上げ段階では、学習用画像グループ１１は、予め準備された１以上の学習用画像１０１のみを含む。通常、予め準備される学習用画像１０１の数が不十分であり、立ち上げ段階における学習モデル５の性能は十分ではない。そのため、追加学習に関する操作が繰り返し行なわれ、学習モデル５の性能向上が図られる。ただし、上述したように、追加学習に関する操作を増やしても、必ずしも学習モデル５の性能が向上するわけではない。そのため、ユーザは、過去に実施された複数の操作それぞれに対応する学習モデル５のうち、どのタイミングの学習モデル５の性能が最も高いか容易に把握できない。その結果、学習モデル５の調整に手間がかかるという問題が生じる。
【0037】
本実施の形態に係るシステムＳＹＳの学習装置１は、このような問題を解決するために、評価部１４と、受付部１５と、記録部１６と、出力部１７とをさらに備える。
【0038】
評価部１４は、評価用画像グループ１２に含まれる１以上の評価用画像１０２を学習モデル５に入力することにより、学習モデル５の性能の評価を行なう。各評価用画像１０２には、良品または不良品のワークＷが写る。評価部１４は、学習部１３が学習モデル５を生成するたびに、生成された学習モデル５の性能を評価する。
【0039】
受付部１５は、学習用画像グループ１１を更新する第１操作を受け付ける。第１操作は、例えば、判定装置２がカメラ３から取得した観測画像を学習用画像１０１として学習用画像グループ１１に追加する操作である。受付部１５は、第１操作に応じて、学習用画像グループ１１を更新する。
【0040】
受付部１５によって学習用画像グループ１１が更新されると、学習部１３は、更新後の学習用画像グループ１１を用いて学習モデル５を生成する。さらに、評価部１４は、生成された学習モデル５の性能を評価する。
【0041】
記録部１６は、第１操作ごとに、第１操作の内容と、更新後の学習用画像グループ１１を用いて生成された学習モデル５に対する評価の結果とを対応づけて記録する。
【0042】
出力部１７は、記録部１６によって記録された履歴情報を出力する。例えば、出力部１７は、履歴情報を表示装置６に表示する。
【0043】
ユーザは、記録部１６によって記録された履歴情報を確認することにより、過去に実施された複数の第１操作それぞれに対応する学習モデル５のうち、どのタイミングの学習モデル５の性能が最も高いか容易に把握できる。これにより、ユーザは、第１操作ごとの学習モデル５の性能を確認しながら、学習モデル５を適宜調整すればよい。典型的には、ユーザは、性能の最も高い学習モデル５を判定装置２に設定する。このように、本実施の形態によれば、学習モデル５の調整の手間を削減できる。
【0044】
§２ 具体例
＜Ａ．学習装置のハードウェア構成例＞
学習装置１は、典型的には、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラム（命令コード）を実行することで、本実施の形態に係る各種処理を実行する。このようなプログラムは、典型的には、各種記録媒体などに格納された状態で流通し、あるいは、ネットワークなどを介して学習装置１にインストールされる。
＜Ａ．学習装置のハードウェア構成例＞
学習装置１は、典型的には、汎用的なアーキテクチャを有しているコンピュータであり、予めインストールされたプログラム（命令コード）を実行することで、本実施の形態に係る各種処理を実行する。このようなプログラムは、典型的には、各種記録媒体などに格納された状態で流通し、あるいは、ネットワークなどを介して学習装置１にインストールされる。
【0045】
このような汎用的なコンピュータを利用する場合には、本実施の形態に係る各種処理を実行するためのアプリケーションに加えて、コンピュータの基本的な処理を実行するためのＯＳ（Operating System）がインストールされていてもよい。この場合には、本実施の形態に係るプログラムは、ＯＳの一部として提供されるプログラムモジュールのうち、必要なモジュールを所定の配列で所定のタイミングで呼出して処理を実行させるものであってもよい。すなわち、本実施の形態に係るプログラム自体は、上記のようなモジュールを含んでおらず、ＯＳと協働して処理が実行されてもよい。本実施の形態に係るプログラムとしては、このような一部のモジュールを含まない形態であってもよい。
【0046】
さらに、本実施の形態に係るプログラムは、他のプログラムの一部に組込まれて提供されるものであってもよい。その場合にも、プログラム自体には、上記のような組合せられる他のプログラムに含まれるモジュールを含んでおらず、当該他のプログラムと協働して処理が実行される。すなわち、本実施の形態に係るプログラムとしては、このような他のプログラムに組込まれた形態であってもよい。なお、プログラムの実行により提供される機能の一部もしくは全部を専用のハードウェア回路として実装してもよい。
【0047】
図２は、図１に示す学習装置のハードウェア構成の一例を示す概略図である。図２に示されるように、学習装置１は、ＣＰＵ（Central Processing Unit）１１０と、ＲＡＭ（Random Access Memory）１１１と、ＲＯＭ（Read Only Memory）１１２と、通信インターフェース１１３と、入力インターフェース１１４と、表示コントローラ１１５と、ドライブ１１６と、記憶部１２０とを含む。これらの各部は、バスを介して、互いにデータ通信可能に接続される。
【0048】
ＣＰＵ１１０は、記憶部１２０にインストールされたプログラム（コード）をＲＡＭ１１１に展開して、これらを所定順序で実行することで、各種の演算を実施する。ＲＡＭ１１１は、典型的には、ＤＲＡＭ（Dynamic Random Access Memory）などの揮発性の記憶装置である。
【0049】
通信インターフェース１１３は、例えば、有線ＬＡＮ（Local Area Network）モジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインターフェースである。学習装置１は、この通信インターフェース１１３を利用することで、他の情報処理装置（例えば、判定装置２）とデータ通信を行なうことができる。
【0050】
入力インターフェース１１４は、ＣＰＵ１１０と入力装置７との間のデータ伝送を仲介する。すなわち、入力インターフェース１１４は、ユーザが入力装置７に入力した入力情報を受け付ける。
【0051】
表示コントローラ１１５は、表示装置６と接続され、ＣＰＵ１１０における処理結果などをユーザに通知するように表示装置６の画面を制御する。
【0052】
記憶部１２０は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部１２０は、学習プログラム１２２および評価プログラム１２４を記憶する。学習プログラム１２２は、学習モデル５を生成するための機械学習の処理を学習装置１に実行させるためのプログラムである。評価プログラム１２４は、学習モデル５の性能の評価および評価結果の記録を学習装置１に実行させるためのプログラムである。学習プログラム１２２および評価プログラム１２４の各々は、情報処理の一連の命令を含む。
【0053】
記憶部１２０は、１以上の学習用画像１０１と、１以上の評価用画像１０２とを記憶する。図２に例示される記憶部１２０は、複数の学習用画像１０１と、複数の評価用画像１０２とを記憶する。学習用画像１０１は、学習モデル５を生成する機械学習に使用される。評価用画像１０２は、学習モデル５の性能の評価に使用される。
【0054】
記憶部１２０には、学習プログラム１２２の実行によって生成された学習モデルを定義付けるモデルデータ１２３が保存される。さらに、記憶部１２０には、評価プログラム１２４の実行によって生成された評価結果の履歴を示す履歴情報１２５が保存される。
【0055】
ドライブ１１６は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体１３０に記憶されたプログラムを読み込むためのドライブ装置である。ドライブ１１６の種類は、記憶媒体１３０の種類に応じて適宜選択されてよい。学習プログラム１２２および評価プログラム１２４の少なくとも１つは、この記憶媒体１３０に記憶されていてもよい。
【0056】
記憶媒体１３０は、コンピュータその他装置、機械等が記録されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。学習装置１は、この記憶媒体１３０から、学習プログラム１２２および評価プログラム１２４の少なくとも１つを取得してもよい。
【0057】
ここで、図２では、記憶媒体１３０の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体１３０の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。
【0058】
なお、学習装置１の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、学習装置１は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ（field-programmable gate array）、ＤＳＰ（digital signal processor）等で構成されてよい。通信インターフェース１１３及びドライブ１１６の少なくとも一方は省略されてもよい。学習装置１は、例えば、スピーカ等の表示装置６以外の出力装置に接続され、出力装置を制御するコントローラを備えてもよい。学習装置１は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、学習装置１は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ（Personal Computer）等であってもよい。
【0059】
【0060】
図３に示されるとおり、判定装置２は、ＣＰＵ２１０と、ＲＡＭ２１１と、ＲＯＭ２１２と、通信インターフェース２１３と、外部インターフェース２１４と、入力インターフェース２１５と、表示コントローラ２１６と、ドライブ２１７と、記憶部２２０とを含む。これらの各部は、バスを介して互いにデータ通信可能に接続される。
【0061】
ＣＰＵ２１０は、記憶部２２０にインストールされたプログラム（コード）をＲＡＭ２１１に展開して、これらを所定順序で実行することで、各種の演算を実施する。ＲＡＭ２１１は、典型的には、ＤＲＡＭなどの揮発性の記憶装置である。
【0062】
通信インターフェース２１３は、例えば、有線ＬＡＮモジュール、無線ＬＡＮモジュール等であり、ネットワークを介した有線又は無線通信を行うためのインターフェースである。判定装置２は、通信インターフェース２１３を利用することで、他の情報処理装置（例えば、学習装置１）とデータ通信を行なうことができる。
【0063】
外部インターフェース２１４は、例えば、ＵＳＢ（Universal Serial Bus）ポート、専用ポート等であり、外部装置と接続するためのインターフェースである。外部インターフェース２１４の種類及び数は、接続される外部装置の種類及び数に応じて適宜選択されてよい。本実施形態では、判定装置２は、外部インターフェース２１４を介して、カメラ３に接続される。
【0064】
カメラ３は、外観検査の対象となるワークＷを写した観測画像２０１を取得するのに利用される。カメラ３の種類及び配置場所は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。カメラ３には、例えば、一般的なデジタルカメラ、深度カメラ、赤外線カメラ等が用いられてよい。また、カメラ３は、製造ラインにより搬送されるワークＷを観測可能なように適宜配置されてよい。カメラ３は、例えば、ワークＷを搬送する製造ラインの近傍に配置されてよい。なお、カメラ３が通信インターフェースを備える場合、判定装置２は、外部インターフェース２１４ではなく、通信インターフェース２１３を介して、カメラ３に接続されてもよい。
【0065】
入力インターフェース２１５は、ＣＰＵ２１０と入力装置８との間のデータ伝送を仲介する。すなわち、入力インターフェース２１５は、ユーザが入力装置８に入力した入力情報を受け付ける。
【0066】
表示コントローラ２１６は、表示装置９と接続され、ＣＰＵ２１０における処理結果などをユーザに通知するように表示装置９の画面を制御する。
【0067】
入力装置８は、例えば、マウス、キーボード等の入力を行うための装置である。表示装置９は、出力装置の一例であり、例えば、ディスプレイである。オペレータは、入力装置８及び表示装置９を介して、判定装置２を操作することができる。入力装置８及び表示装置９はタッチパネルディスプレイに置き換えられてもよい。
【0068】
記憶部２２０は、例えば、ハードディスクドライブ、ソリッドステートドライブ等で構成される。記憶部２２０は、判定プログラム２２１、モデルデータ１２３等の各種情報を記憶する。
【0069】
判定プログラム２２１は、学習装置１により訓練された学習モデル５を利用して、観測画像２０１に写るワークＷの属性を判定する情報処理を判定装置２に実行させるためのプログラムである。本実施の形態では、ワークＷの属性を判定する情報処理は、ワークＷの良否を判定する情報処理である。判定プログラム２２１は、当該情報処理の一連の命令を含む。
【0070】
ドライブ２１７は、例えば、ＣＤドライブ、ＤＶＤドライブ等であり、記憶媒体２３０に記憶されたプログラムを読み込むためのドライブ装置である。判定プログラム２２１およびモデルデータ１２３のうちの少なくともいずれかは、記憶媒体２３０に記憶されていてもよい。また、判定装置２は、記憶媒体２３０から、判定プログラム２２１およびモデルデータ１２３のうちの少なくともいずれかを取得してもよい。記憶媒体２３０の種類は、ディスク型であってもよいし、ディスク型以外であってもよい。
【0071】
なお、判定装置２の具体的なハードウェア構成に関して、実施形態に応じて、適宜、構成要素の省略、置換及び追加が可能である。例えば、判定装置２は、複数のハードウェアプロセッサを含んでもよい。ハードウェアプロセッサは、マイクロプロセッサ、ＦＰＧＡ、ＤＳＰ等で構成されてよい。記憶部２２０は、ＲＡＭ２１１およびＲＯＭ２１２により構成されてもよい。通信インターフェース２１３、入力インターフェース２１５、表示コントローラ２１６、ドライブ２１７および外部インターフェース２１４の少なくともいずれかは省略されてもよい。判定装置２は、例えば、スピーカ等の表示装置９以外の出力装置を備えてもよい。判定装置２は、複数台のコンピュータで構成されてもよい。この場合、各コンピュータのハードウェア構成は、一致していてもよいし、一致していなくてもよい。また、判定装置２は、提供されるサービス専用に設計された情報処理装置の他、汎用のサーバ装置、汎用のＰＣ等であってもよい。
【0072】
【0073】
図４に示されるように、学習装置１は、学習部１３と、評価部１４と、受付部１５と、記録部１６と、出力部１７と、設定部１８とをソフトウェアモジュールとして備える。学習部１３は、ＣＰＵ１１０が学習プログラム１２２に含まれる命令を解釈および実行することにより実現される。評価部１４、受付部１５、記録部１６、出力部１７および設定部１８は、ＣＰＵ１１０が評価プログラム１２４に含まれる命令を解釈および実行することにより実現される。以下、各ソフトウェアモジュールの具体的な処理について説明する。
【0074】
（Ｃ－１．学習部）
学習部１３は、学習用画像グループ１１に含まれる１つ以上の学習用画像１０１を用いた機械学習を行なうことにより学習モデル５を生成する。各学習用画像１０１には良品のワークＷが写る。本実施の形態において例示される学習モデル５は、画像が入力されると、入力された画像（以下、「入力画像」と称する。）を特徴量に変換し、変換により得られた特徴量から、入力画像を復元した画像（以下、「復元画像」と称する。）を生成するように構成される生成モデルである。学習部１３は、機械学習により、１つ以上の学習用画像１０１が入力されると、入力された１つ以上の学習用画像１０１の各々に適合する復元画像を生成するように学習モデル５を訓練する。
学習部１３は、学習用画像グループ１１に含まれる１つ以上の学習用画像１０１を用いた機械学習を行なうことにより学習モデル５を生成する。各学習用画像１０１には良品のワークＷが写る。本実施の形態において例示される学習モデル５は、画像が入力されると、入力された画像（以下、「入力画像」と称する。）を特徴量に変換し、変換により得られた特徴量から、入力画像を復元した画像（以下、「復元画像」と称する。）を生成するように構成される生成モデルである。学習部１３は、機械学習により、１つ以上の学習用画像１０１が入力されると、入力された１つ以上の学習用画像１０１の各々に適合する復元画像を生成するように学習モデル５を訓練する。
【0075】
具体的には、学習モデル５は、入力画像を特徴量に変換し、変換により得られた特徴量から復元画像を生成する演算処理に使用される演算パラメータを備えるモジュールにより構成される。機械学習では、学習用画像１０１が与えられると、学習用画像１０１に適合する復元画像を生成するように、演算パラメータの値が調整される。
【0076】
学習部１３は、予め設定されたパラメータ（以下、「モデル生成用パラメータ」と称する。）を用いて学習モデル５を生成する。モデル生成用パラメータは、学習モデル５の構造に応じて適宜設定される。
【0077】
学習モデル５の構成は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。例えば、学習モデル５は、ニューラルネットワーク、主成分分析により導出される固有ベクトル等によって構成される。ニューラルネットワークとして、例えば、非特許文献１に開示されるオートエンコーダ、非特許文献２に開示されるＧＡＮ（Generative Adversarial Networks）等が挙げられる。固有ベクトルとして、例えば、非特許文献３に開示される部分空間の固有ベクトル等が挙げられる。
【0078】
図５は、ニューラルネットワークにより構成される学習モデルの一例を模式的に示す図である。ニューラルネットワークの代表例としてオートエンコーダが挙げられる。オートエンコーダは、次元圧縮を目的としたニューラルネットワークである。図５には、オートエンコーダにより構成される学習モデル５が示される。
【0079】
図５に例示される学習モデル５を構成するニューラルネットワークは、入力層５１、中間（隠れ）層５２、出力層５３を備えている。ただし、ニューラルネットワークの構造は、このような例に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、中間層の数は、１つに限定されなくてもよく、２つ以上であってもよい。
【0080】
入力層５１に含まれるニューロン（ノード）の数は、入力画像の画素数に対応する。中間層５２に含まれるニューロンの数は、特徴量の次元数に対応する。出力層５３に含まれるニューロンの数は、復元画像の画素数に対応する。中間層５２に含まれるニューロンの数は、入力層５１及び出力層５３それぞれに含まれるニューロンの数よりも少なく設定される。これに応じて、特徴量の次元数が、入力画像及び復元画像の次元数よりも小さく設定される。
【0081】
ニューラルネットワークでは、隣接する層のニューロン同士は適宜結合され、各結合には重み（結合荷重）が設定される。図５に例示される学習モデル５では、各ニューロンは、隣接する層の全てのニューロンと結合されている。しかしながら、ニューロンの結合は、このような例に限定されなくてもよく、実施の形態に応じて適宜設定されてよい。各ニューロンには閾値が設定されており、基本的には、各入力と各重みとの積の和が閾値を超えているか否かによって各ニューロンの出力が決定される。各層５１～５３に含まれる各ニューロン間の結合の重み及び各ニューロンの閾値は、学習モデルの演算パラメータの一例である。
【0082】
学習部１３は、学習モデル５を構成するニューラルネットワークを用意する。ニューラルネットワークによって構成される学習モデル５を生成する場合、モデル作成パラメータとして、層の数、各層に含まれるニューロンの数、隣接する層のニューロン同士の結合関係、各ニューロン間の結合の重みの初期値、各ニューロンの閾値の初期値などが設定される。モデル作成パラメータは、テンプレートにより与えられてもよいし、ユーザの入力により与えられてもよい。
【0083】
学習部１３は、各学習用画像１０１を用いて、各ニューラルネットワークの学習処理を実行する。この学習処理には、バッチ勾配降下法、確率的勾配降下法、ミニバッチ勾配降下法等が用いられてよい。例えば、第１のステップでは、学習部１３は、各ニューラルネットワークの入力層５１に各学習用画像１０１を入力し、各ニューラルネットワークの演算処理を実行する。すなわち、学習部１３は、各ニューラルネットワークの入力層５１に各学習用画像１０１を入力し、入力側から順に各層５１～５３に含まれる各ニューロンの発火判定を行う。この演算処理により、学習部１３は、各学習用画像１０１を特徴量に変換し、変換により得られた特徴量から各学習用画像１０１を復元した画像を生成した結果に対応する出力値を出力層５３から取得する。この演算処理の過程で、中間層５２から得られる出力は、入力画像を特徴量に変換した結果に対応する。
【0084】
第２のステップでは、学習部１３は、出力層５３から得られた出力値と各学習用画像１０１との誤差を損失関数に基づいて算出する。損失関数の種類は、特に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。損失関数には、公知のものが採用されてよい。
【0085】
第３のステップでは、学習部１３は、誤差逆伝播（Back propagation）法により、算出された出力値の誤差を用いて、各ニューラルネットワークの演算パラメータ、すなわち、各層５１～５３における各ニューロン間の結合の重みおよび各ニューロンの閾値それぞれの誤差を算出する。
【0086】
第４のステップでは、学習部１３は、算出された各誤差に基づいて、各層５１～５３における各ニューロン間の結合の重み及び各ニューロンの閾値それぞれの値を更新する。
【0087】
学習部１３は、上記の第１～第４のステップを繰り返すことで、出力層５３から出力される出力値（復元画像）と各学習用画像１０１との誤差の和が小さくなるように、演算パラメータの値を調整する。例えば、学習部１３は、出力層５３から出力される出力値と各学習用画像１０１との誤差の和が閾値以下になるまで、上記の第１～第４のステップによる演算パラメータの調整を繰り返してもよい。閾値は、実施の形態に応じて適宜設定されてよい。
【0088】
これにより、学習部１３は、各学習用画像１０１を入力層５１に入力すると、各学習用画像１０１に適合する復元画像を出力層５３から出力するように訓練されたニューラルネットワークを学習モデル５として構築できる。ニューラルネットワークにおいて、入力された各学習用画像１０１は、入力層５１から中間層５２までの演算の過程で特徴量に変換される。そして、中間層５２から出力層５３までの演算の過程により、得られた特徴量から復元画像が生成される。
【0089】
各学習用画像１０１には良品のワークＷが写る。そのため、学習モデル５は、学習用画像１０１に写る特徴については再現性が高く、学習用画像１０１に写る可能性の低い（例えば、可能性のない）欠陥については再現性の低い復元画像を生成する能力を獲得している。
【0090】
学習部１３は、最終的に構築された学習済みのニューラルネットワーク（学習モデル５）における演算パラメータの値を再現可能な情報をモデルデータ１２３として生成し、記憶部１２０に保存する。学習部１３は、モデルデータ１２３を判定装置２に転送する。判定装置２は、この転送を受け付けることで、モデルデータ１２３を取得する。あるいは、判定装置２は、通信インターフェース２１３を利用して、学習装置１又はデータサーバにネットワークを介してアクセスすることで、モデルデータ１２３を取得してもよい。また、例えば、判定装置２は、記憶媒体２３０を介して、モデルデータ１２３を取得してもよい。
【0091】
なお、学習モデル５を構成するニューラルネットワークの種類は、このような多層構造の全結合型ニューラルネットワークに限定されなくてもよい。学習モデル５には、畳み込み層及びプーリング層を備える畳み込みニューラルネットワークが用いられてもよい。
【0092】
（Ｃ－２．評価部）
評価部１４は、評価用画像グループ１２に含まれる１以上の評価用画像１０２を学習モデル５に入力することにより、学習モデル５の性能の評価を行なう。以下、図６および図７を参照して、評価部１４の具体的な処理の例について説明する。
評価部１４は、評価用画像グループ１２に含まれる１以上の評価用画像１０２を学習モデル５に入力することにより、学習モデル５の性能の評価を行なう。以下、図６および図７を参照して、評価部１４の具体的な処理の例について説明する。
【0093】
図６は、評価部による学習モデルの性能の評価方法の一例を説明する図である。評価用画像グループ１２は、１以上の第１評価用画像１０３と１以上の第２評価用画像１０４とを含む。図６に例示される評価用画像グループ１２は、複数の第１評価用画像１０３と、複数の第２評価用画像１０４とを含む。各第１評価用画像１０３には、良品であるワークＷが写る。各第２評価用画像１０４には、不良品であるワークＷが写る。例えば、第２評価用画像１０４には、欠陥Ｌを含むワークＷが写る。
【0094】
評価部１４は、複数の第１評価用画像１０３を学習モデル５に入力することにより、複数の第１評価用画像１０３をそれぞれ復元した複数の第１復元画像１０５を取得する。第１復元画像１０５は、学習モデル５の出力情報である。評価部１４は、各第１復元画像１０５が判定条件を満たすか否かに応じて、対応する第１評価用画像１０３に写るワークＷの良否を判定する。
【0095】
具体的には、評価部１４は、各第１評価用画像１０３と各第１復元画像１０５との差分を示す差分画像１０７を生成し、差分画像１０７と判定パラメータ５６とを用いて、各第１評価用画像１０３に欠陥Ｌが写っているか否かを判定する。判定パラメータ５６は、判定条件を定義付ける。欠陥Ｌが第１評価用画像１０３に写っている場合、評価部１４は、第１評価用画像１０３に写るワークＷが不良品であると判定する。
【0096】
同様に、評価部１４は、複数の第２評価用画像１０４を学習モデル５に入力することにより、複数の第２評価用画像１０４をそれぞれ復元した複数の第２復元画像１０６を取得する。第２復元画像１０６は、学習モデル５の出力情報である。評価部１４は、各第２復元画像１０６が判定条件を満たすか否かに応じて、対応する第２評価用画像１０４に写るワークＷの良否を判定する。
【0097】
具体的には、評価部１４は、各第２評価用画像１０４と各第２復元画像１０６との差分を示す差分画像１０８を生成し、差分画像１０８と判定条件を定義付ける判定パラメータ５６とを用いて、各第２評価用画像１０４に欠陥Ｌが写っているか否かを判定する。欠陥Ｌが第２評価用画像１０４に写っている場合、評価部１４は、第２評価用画像１０４に写るワークＷが不良品であると判定する。
【0098】
上述したように、評価部１４には、各画像（１０３、１０４）に欠陥Ｌが写っているか否かを判定するための判定条件を定義付ける判定パラメータ５６が与えられる。例えば、判定パラメータ５６の値は、オペレータの入力により指定されてもよいし、プログラム内の設定値として与えられてよい。本実施形態では、複数の判定パラメータ候補５５が与えられ、複数の判定パラメータ候補５５のうちの１つが判定パラメータ５６として決定される。各判定パラメータ候補５５は、判定パラメータの候補の値を示す。各判定パラメータ候補５５の値は適宜与えられてよい。
【0099】
評価部１４は、各判定パラメータ候補５５を利用して、各第１評価用画像１０３に欠陥Ｌが写っているか否かの判定、および各第２評価用画像１０４に欠陥Ｌが写っているか否かの判定を実行する。
【0100】
評価部１４は、各判定の結果に基づいて、複数の第１評価用画像１０３のうち、ワークＷが不良品と判定された第１評価用画像１０３（すなわち、欠陥Ｌが写っていると判定された第１評価用画像１０３）の第１割合に応じた第１評価値を算出する。第１評価値は、例えば第１割合を百分率で表した値（以下、「見過ぎ率」と称する。）である。なお、第１評価値は、見過ぎ率に限定されず、１００から見過ぎ率を差し引いた値であってもよい。
【0101】
さらに、評価部１４は、各判定の結果に基づいて、複数の第２評価用画像１０４のうち、ワークＷが良品と判定された第２評価用画像１０４（すなわち、欠陥Ｌが写っていないと判定された第２評価用画像１０４）の第２割合に応じた第２評価値を算出する。第２評価値は、例えば第２割合を百分率で表した値（以下、「見逃し率」と称する。）である。なお、第２評価値は、見逃し率に限定されず、１００から見逃し率を差し引いた値であってもよい。
【0102】
製造ラインにおいて、不良品が良品として出荷されることは、できるだけ回避されるべきである。そのため、評価部１４は、複数の判定パラメータ候補５５のうち、第２割合が予め定められた閾値（以下、「許容見逃し率」と称する。）以下となる１つの判定パラメータ候補を判定パラメータ５６として決定する。許容見逃し率は、例えばユーザ入力等によって予め設定されている。許容見逃し率は、例えば０である。第２割合が許容見逃し率以下となる２以上の判定パラメータ候補が存在する場合、評価部１４は、当該２以上の判定パラメータ候補のうち第１割合が最も小さい１つの判定パラメータ候補を判定パラメータ５６として決定する。第２割合が許容見逃し率以下となる判定パラメータ候補が存在しない場合、評価部１４は、複数の判定パラメータ候補５５のうち第２割合が最も小さい１つの判定パラメータ候補を判定パラメータ５６として決定する。これにより、評価部１４は、ワークＷの良否を判定するための判定条件を自動的に最適化する。
【0103】
評価部１４は、決定した判定パラメータ５６を利用した判定において算出された第１評価値および第２評価値を、学習モデル５の性能の評価結果として出力する。
【0104】
図７は、判定パラメータの一例を示す図である。図７において、画像Ｉ１０は、図７に示す第１評価用画像１０３および第２評価用画像１０４の各々に対応する。復元画像Ｉ１１は、図７に示す第１復元画像１０５および第２復元画像１０６の各々に対応する。
【0105】
評価部１４は、画像Ｉ１０と復元画像Ｉ１１との差分を算出することで、差分画像Ｉ１２を生成する。差分画像Ｉ１２は、図７に示す差分画像１０７，１０８の各々に対応する。画像Ｉ１０と復元画像Ｉ１１との間で差異が生じている画素ほど差分画像Ｉ１２においてその画素値が大きくなる。一方、画像Ｉ１０と復元画像Ｉ１１との間で差異のない画素ほど差分画像Ｉ１２における画素値は小さくなる。本実施形態では、説明の便宜のため、画像Ｉ１０と復元画像Ｉ１１との間の差異が大きい画素ほど差分画像Ｉ１２内の対応画素の実際の画素値も大きくなり、差異が小さい画素ほど差分画像Ｉ１２内の対応画素の実際の画素値も小さくなると仮定する。ただし、この「画素値が大きい」及び「画素値が小さい」はそれぞれ、画像Ｉ１０と復元画像Ｉ１１との間の差異との関係を示しており、差分画像Ｉ１２内の画素の実際の画素値と対応していなくてもよい。例えば、差分画像Ｉ１２は、差異の大きい画素ほど対応する画素の実際の画素値が小さくなり、差異の小さい画素ほど対応する画素の実際の画素値が大きくなるように算出されてよい。
【0106】
図７の例では、画像Ｉ１０と復元画像Ｉ１１との間で差異が生じている画素ほど差分画像Ｉ１２において白色になっており、そうではない画素ほど黒色になっている。例えば、各画素の値が２５６階調で表現される場合、差分画像Ｉ１２の画素の画素値の最大値が「２５５」であってよく、最小値が「０」であってよい。この場合、差分画像Ｉ１２の画素の画素値が大きいほど、画像Ｉ１０と復元画像Ｉ１１との間で差異が生じていることを示し、差分画像Ｉ１２の画素の画素値が小さいほど、画像Ｉ１０と復元画像Ｉ１１との間で差異が生じていないことを示す。ただし、画像Ｉ１０と復元画像Ｉ１１との間で生じる差異と差分画像Ｉ１２の画素値との間の関係は、このような例に限定されなくてよい。例えば、画像Ｉ１０及び復元画像Ｉ１１の間の差異の程度と差分画像Ｉ１２の画素値との関係は、この反対であってもよい。
【0107】
学習モデル５の機械学習に使用された学習用画像１０１に写っていない又は写る可能性の低い特徴（欠陥Ｌなど）が画像Ｉ１０に写っている場合、復元画像Ｉ１１においてその特徴の再現性が低い。そのため、画像Ｉ１０と復元画像Ｉ１１との間で比較的に大きな差異が生じ得る。ただし、画像Ｉ１０と復元画像Ｉ１１との間に生じる差異の原因は、このような欠陥Ｌが画像Ｉ１０に写っていることに限られない。画像Ｉ１０と復元画像Ｉ１１との間で比較的に大きな差異を生じさせるその他の原因として、例えば、入力画像に写るワークＷの様子が、機械学習に使用した学習用画像１０１に写るワークＷの様子と異なっていることが挙げられる。この場合、画像Ｉ１０に写るワークＷの様子が復元画像Ｉ１１では完全には再現されず、画像Ｉ１０と復元画像Ｉ１１との間で比較的に大きな差異を生じさせる可能性がある。
【0108】
また、例えば、学習モデル５は、入力画像を低次元の特徴量に圧縮する。このときに、入力画像の情報が部分的に損失し得る。そのため、入力画像と復元画像との間で多少の誤差が生じ得る。この復元のノイズが、画像Ｉ１０と復元画像Ｉ１１との間に生じる差異の原因の一例となり得る。したがって、差分画像Ｉ１２には、欠陥Ｌに起因する差異以外に、複数の要因に基づく差異が現れ得る。しかしながら、このノイズに起因する差異は、上記２つの要因に基づく差異よりも程度が低い。そのため、差分画像Ｉ１２の画素値に基づいて、これらの差異を区別することができる。
【0109】
評価部１４は、閾値５７を利用して、差分画像Ｉ１２の各画素を二値化する。例えば、評価部１４は、画素値が閾値５７以上である画素の画素値を「２５５」に変換し、画素値が閾値５７未満である画素の画素値を「０」に変換する。「以上」は、「超える」に置き換えられ、「未満」は、「以下」に置き換えられてよい。以下の説明においても同様である。これにより、評価部１４は、二値化画像Ｉ１３を生成することができる。閾値５７を適切に設定することで、上記ノイズに起因する差異等の比較的に程度の低い差異が元の差分画像Ｉ１２から除外された二値化画像Ｉ１３を得ることができる。
【0110】
二値化画像Ｉ１３には、主に、欠陥Ｌに起因する差異、及び学習不足に起因する差異が現れ得る。これらの差異を生じさせる原因のうち、欠陥Ｌは、面積、幅、高さ、周囲の長さ、縦横比、円形度等の形状に関する属性を有し得る。つまり、画像Ｉ１０に写るワークＷに欠陥Ｌが存在する場合、二値化画像Ｉ１３の対応する位置に、白色「２５５」の画素（以下、白色画素とも称する）の集まった領域であって、欠陥Ｌと同等の形状に関する属性を有する領域が現れる。そこで、形状に関する属性に対して閾値５８を設定することで、二値化画像Ｉ１３内に欠陥Ｌが写っているか否かを判定することができる。
【0111】
処理の一例として、評価部１４は、二値化画像Ｉ１３内の連続する白色画素の領域を一つの領域と認定し、白色画素の各領域が閾値５８を満たしているか否かを判定する。そして、評価部１４は、閾値５８を満たしている領域をそのままにし、閾値５８を満たしていない領域内の画素の画素値を「０」に変換する。例えば、閾値５８が面積に対して設定される場合、評価部１４は、白色画素の各領域の面積が閾値５８以上であるか否かを判定する。そして、評価部１４は、面積が閾値５８未満である領域内の画素の画素値を「０」に変換する。これにより、評価部１４は、検出画像Ｉ１４を生成することができる。閾値５８を適切に設定することで、欠陥Ｌの属性を満たさない白色領域が二値化画像Ｉ１３から除外された検出画像Ｉ１４を得ることができる。
【0112】
評価部１４は、検出画像Ｉ１４に白色画素の領域が存在するか否かに応じて、画像Ｉ１０に欠陥Ｌが写っているか否かを判定する。具体的に、検出画像Ｉ１４において白色画素の領域が存在する場合、評価部１４は、画像Ｉ１０の対応する領域に欠陥Ｌが写っていると判定する。一方、検出画像Ｉ１４において白色画素の領域が存在しない場合、評価部１４は、画像Ｉ１０に欠陥Ｌが写っていないと判定する。
【0113】
以上の欠陥Ｌの検出に関する処理手順において、閾値５７，５８が、判定パラメータの一例である。すなわち、本実施形態では、各判定パラメータ候補５５は、閾値５７，５８の組み合わせにより構成される。ただし、欠陥Ｌを検出する方法及び判定パラメータはそれぞれ、このような例に限定されなくてもよく、実施の形態に応じて適宜選択されてよい。
【0114】
（Ｃ－３．受付部）
上述したように、システムＳＹＳの立ち上げ段階では、学習用画像グループ１１に含まれる学習用画像１０１の個数は不十分であり、立ち上げ段階における学習モデル５の性能は十分ではない。
上述したように、システムＳＹＳの立ち上げ段階では、学習用画像グループ１１に含まれる学習用画像１０１の個数は不十分であり、立ち上げ段階における学習モデル５の性能は十分ではない。
【0115】
例えば、ワークＷには個体差が生じ得る。また、例えば、撮影のタイミング等の撮影条件が変動し得る（一例として、ワークＷの位置がずれたり、傾いたりすることがある）。これらの要因により、得られる画像内に表れるワークＷの様子は異なり得る。システムＳＹＳの立ち上げ段階では、学習モデル５が、学習用画像グループ１１に含まれる学習用画像１０１に表れる範囲以外の範囲について、ワークＷの写る画像を復元する能力を獲得しているか否かは不明である。
【0116】
そのため、システムＳＹＳでは、追加学習に関する操作が繰り返し行なわれ、学習モデル５の性能向上が図られる。
【0117】
受付部１５は、追加学習に関する操作を受け付ける。図６に例示される受付部１５は、学習用画像グループ１１を更新する第１操作と、評価用画像グループ１２を更新する第２操作とを受け付ける。受付部１５は、受け付けた第１操作に応じて、学習用画像グループ１１を更新する。受付部１５は、受け付けた第２操作に応じて、評価用画像グループ１２を更新する。
【0118】
受付部１５は、学習用画像グループ１１または評価用画像グループ１２に追加する画像を記憶媒体１３０から読み込んでもよい。あるいは、受付部１５は、学習用画像グループ１１または評価用画像グループ１２に追加する画像を外部の情報処理装置から取得してもよい。あるいは、受付部１５は、判定装置２から複数の観測画像２０１を取得し、当該複数の観測画像２０１の一部を、学習用画像グループ１１または評価用画像グループ１２に追加する画像として取得してもよい。以下、観測画像２０１の一部を学習用画像グループ１１または評価用画像グループ１２に追加する例について説明する。
【0119】
判定装置２から取得した複数の観測画像２０１には、学習効果の高い画像とそうでない画像とが含まれる。学習用画像グループ１１には学習効果の高い画像を学習用画像１０１として追加することが好ましい。そのため、受付部１５は、第１操作を支援するために、複数の観測画像２０１の各々について、学習効果を評価し、その評価結果をユーザに通知する。
【0120】
図８は、学習効果の評価方法を説明する図である。受付部１５は、取得された複数の観測画像２０１それぞれを学習モデル５に与えることで、複数の観測画像２０１それぞれを復元した複数の復元観測画像２０３を取得する。そして、受付部１５は、各観測画像２０１と各復元観測画像２０３との間の差分に応じて、学習効果を評価する。具体的には、受付部１５は、各復元観測画像２０３における各観測画像２０１の復元の程度に対する評価値（以下、「学習効果評価値」と称する。）を算出する。
【0121】
学習効果評価値は、例えば、以下のようにして算出される。受付部１５は、各観測画像２０１と各復元観測画像２０３との間の差分画像を生成する。差分画像内の画素値の大きい画素は、各観測画像２０１と各復元観測画像２０３との間で差異の大きい画素に対応する。差分画像内の画素値の小さい画素は、各観測画像２０１と各復元観測画像２０３との間で差異の小さい画素に対応する。受付部１５は、差分画像における各画素の画素値に従って、画素値ごとの度数を算出する。「度数」は、同一の画素値の画素数を示す。続いて、受付部１５は、差分画像において、画素値に従って降順に整列したときの最上位から所定の順位までの画素を抽出する。所定の順位は、オペレータの入力、プログラム内の設定値等により指定されてよい。そして、受付部１５は、抽出された画素の画素値の平均値又は合計値を学習効果評価値として算出する。これにより、算出された学習効果評価値が大きいほど、観測画像２０１と復元観測画像２０３との間の差分が大きい、換言すると、復元観測画像２０３における観測画像２０１の復元の程度が低いことを示す。
【0122】
ただし、学習効果評価値の算出方法は、このような例に限定されない。観測画像２０１と復元観測画像２０３との差分と学習効果評価値との間の関係は、学習効果評価値が、当該差分が大きいことに応じて復元の程度が低いことを示し、かつ当該差分が小さいことに応じて復元の程度が高いことを示すように、適宜決定されてよい。例えば、上記算出方法とは反対に、学習効果評価値は、復元の程度が低いほど小さく、復元の程度が高いほど大きくなるように算出されてよい。当該算出方法の一例として、受付部１５は、上記の処理により抽出された画素の画素値の平均値又は合計値の逆数を学習効果評価値として算出してもよい。
【0123】
観測画像２０１と復元観測画像２０３との間の差分が大きいほど、復元観測画像２０３における観測画像２０１の復元の程度が低い。観測画像２０１に写るワークＷが良品である場合、この観測画像２０１に表れるワークＷの様子を再現する学習モデル５の能力が不十分であることを示す。そのため、復元観測画像２０３との差分が大きい、換言すると、復元の程度の低い観測画像２０１は、ワークＷの写る画像を再現する学習モデル５の能力の適切な向上に貢献する可能性が高い。
【0124】
反対に、復元の程度が高い観測画像２０１は、学習モデル５の能力の適切な向上に貢献する可能性が低い。加えて、復元の程度が高い観測画像２０１を学習用画像１０１として学習用画像グループ１１に追加することによって、ワークＷ以外のパターンを復元する能力を向上させてしまう可能性がある。その結果、あらゆるパターンを忠実に再現する能力を学習モデル５に獲得させてしまう可能性がある。
【0125】
これらの点を考慮して、受付部１５は、複数の観測画像２０１の中から学習用画像１０１として学習用画像グループ１１に追加する画像を選択するための指標として、学習効果評価値をユーザに通知する。
【0126】
また、複数の観測画像２０１には、不良品のワークＷが写っている可能性がある。不良品のワークＷの写る観測画像２０１を学習用画像１０１として学習用画像グループ１１に追加してしまうと、学習モデル５の出力情報を用いてワークＷの良否を精度良く判定できなくなる。そのため、受付部１５は、複数の観測画像２０１の各々を表示装置６に表示させ、良品のワークＷの写る観測画像２０１を学習用画像１０１としてユーザに選択させる。
【0127】
【0128】
画面６０は、候補リスト６１と、学習画像リスト６２と、領域６３と、追加ボタン６４と、削除ボタン６５と、学習実行ボタン６６とを含む。
【0129】
候補リスト６１は、判定装置２から取得した複数の観測画像２０１のリストである。候補リスト６１は、各観測画像２０１について、ファイル名と対応する学習効果評価値とを示す。
【0130】
学習画像リスト６２は、学習用画像グループ１１に含まれる学習用画像１０１のリストである。学習画像リスト６２は、各学習用画像１０１のファイル名を示す。
【0131】
領域６３には、候補リスト６１および学習画像リスト６２の中から選択された１つの画像が表示される。
【0132】
ユーザは、候補リスト６１の学習効果評価値を確認し、学習効果が高いと評価される観測画像２０１を選択する。ユーザは、領域６３に表示される観測画像２０１を見て、観測画像２０１に写るワークＷが良品か否かを確認する。これにより、ユーザは、良品のワークＷが写り、かつ、学習効果の高い観測画像２０１を学習用画像１０１として選択できる。
【0133】
追加ボタン６４は、候補リスト６１の中から選択された観測画像２０１を学習用画像１０１として学習用画像グループに追加する操作（第１操作の１つ）を受け付けるためのボタンである。追加ボタン６４が操作されると、受付部１５は、候補リスト６１の中から選択された観測画像２０１を学習用画像１０１として学習用画像グループに追加する。これにより、学習画像リスト６２も更新される。
【0134】
削除ボタン６５は、学習画像リスト６２の中から選択された学習用画像１０１を学習用画像グループ１１から削除する操作（第１操作の１つ）を受け付けるためのボタンである。例えば、ユーザは、領域６３を見ながら、不要な学習用画像１０１を学習画像リスト６２の中から選択し、削除ボタン６５を操作する。削除ボタン６５が操作されると、受付部１５は、学習画像リスト６２の中から選択された学習用画像１０１を学習用画像グループ１１から削除する。これにより、学習画像リスト６２も更新される。
【0135】
学習実行ボタン６６は、更新された学習用画像グループ１１を用いた機械学習の実行を指示するためのボタンである。学習実行ボタン６６が操作されると、学習部１３は、更新された学習用画像グループ１１を用いた機械学習を行なうことにより、学習モデル５を生成する。さらに、評価部１４は、生成された学習モデル５の性能を評価する。生成された学習モデル５を示すモデルデータ１２３は判定装置２に転送される。さらに、評価部１４によって決定された判定パラメータ５６も判定装置２に転送される。
【0136】
【0137】
画面７０は、候補リスト７１と、良品画像リスト７２と、不良品画像リスト７３と、領域７４と、追加ボタン７５ａ，７５ｂと、移動ボタン７６と、削除ボタン７７ａ，７７ｂと、評価実行ボタン７８とを含む。
【0138】
候補リスト７１は、図９に示す候補リスト６１と同様に、判定装置２から取得した複数の観測画像２０１のリストである。良品画像リスト７２は、評価用画像グループ１２に含まれる第１評価用画像１０３のリストである。良品画像リスト７２は、各第１評価用画像１０３のファイル名を示す。不良品画像リスト７３は、評価用画像グループ１２に含まれる第２評価用画像１０４のリストである。不良品画像リスト７３は、各第２評価用画像１０４のファイル名を示す。領域７４には、候補リスト７１、良品画像リスト７２および不良品画像リスト７３の中から選択された１つの画像が表示される。
【0139】
追加ボタン７５ａは、候補リスト７１の中から選択された観測画像２０１を第１評価用画像１０３として評価用画像グループ１２に追加する操作（第２操作の１つ）を受け付けるためのボタンである。ユーザは、領域７４を見ながら、良品のワークＷの写る観測画像２０１を候補リスト７１の中から選択し、追加ボタン７５ａを操作する。追加ボタン７５ａが操作されると、受付部１５は、候補リスト７１の中から選択された観測画像２０１を第１評価用画像１０３として評価用画像グループ１２に追加する。これにより、良品画像リスト７２も更新される。
【0140】
追加ボタン７５ｂは、候補リスト７１の中から選択された観測画像２０１を第２評価用画像１０４として評価用画像グループ１２に追加する操作（第２操作の１つ）を受け付けるためのボタンである。ユーザは、領域７４を見ながら、不良品のワークＷの写る観測画像２０１を候補リスト７１の中から選択し、追加ボタン７５ｂを操作する。追加ボタン７５ｂが操作されると、受付部１５は、候補リスト７１の中から選択された観測画像２０１を第２評価用画像１０４として評価用画像グループ１２に追加する。これにより、不良品画像リスト７３も更新される。
【0141】
移動ボタン７６は、良品画像リスト７２および不良品画像リスト７３の一方の中から選択された１つの画像を他方に移動する操作（第２操作の１つ）を受け付けるためのボタンである。例えば、ユーザは、領域７４を見ながら、良品画像リスト７２に含まれる第１評価用画像１０３に不良品のワークＷが写っていることを確認すると、不良品のワークＷの写る第１評価用画像１０３を選択し、移動ボタン７６を操作する。あるいは、ユーザは、領域７４を見ながら、不良品画像リスト７３に含まれる第２評価用画像１０４に良品のワークＷが写っていることを確認すると、良品のワークＷの写る第２評価用画像１０４を選択し、移動ボタン７６を操作する。
【0142】
良品画像リスト７２の中の１つの第１評価用画像１０３が選択された状態で移動ボタン７６が操作されると、受付部１５は、選択された第１評価用画像１０３を第２評価用画像１０４に変更する。不良品画像リスト７３の中の１つの第２評価用画像１０４が選択された状態で移動ボタン７６が操作されると、受付部１５は、選択された第２評価用画像１０４を第１評価用画像１０３に変更する。これにより、良品画像リスト７２および不良品画像リスト７３も更新される。
【0143】
削除ボタン７７ａは、良品画像リスト７２の中から選択された第１評価用画像１０３を評価用画像グループ１２から削除する操作（第２操作の１つ）を受け付けるためのボタンである。削除ボタン７７ａが操作されると、受付部１５は、良品画像リスト７２の中から選択された第１評価用画像１０３を評価用画像グループ１２から削除する。これにより、良品画像リスト７２も更新される。
【0144】
削除ボタン７７ｂは、不良品画像リスト７３の中から選択された第２評価用画像１０４を評価用画像グループ１２から削除する操作（第２操作の１つ）を受け付けるためのボタンである。削除ボタン７７ｂが操作されると、受付部１５は、不良品画像リスト７３の中から選択された第２評価用画像１０４を評価用画像グループ１２から削除する。これにより、不良品画像リスト７３も更新される。
【0145】
評価実行ボタン７８は、更新された評価用画像グループ１２を用いた評価の実行を指示するためのボタンである。評価実行ボタン７８が押下されると、評価部１４は、更新後の評価用画像グループを用いて学習モデル５の性能を再評価する。このとき評価部１４によって決定された判定パラメータは、判定装置２に転送される。
【0146】
（Ｃ－４．記録部）
記録部１６は、受付部１５が機械学習に関する操作（第１操作および第２操作）を受け付けるたびに、受け付けた操作の内容と、学習モデル５の性能の評価の結果とを対応付けて記録する。記録部１６は、記憶部１２０に格納された履歴情報１２５に記録結果を追加する。
記録部１６は、受付部１５が機械学習に関する操作（第１操作および第２操作）を受け付けるたびに、受け付けた操作の内容と、学習モデル５の性能の評価の結果とを対応付けて記録する。記録部１６は、記憶部１２０に格納された履歴情報１２５に記録結果を追加する。
【0147】
図１１は、記録部によって生成される履歴情報の一例を示す図である。図１１に示されるように、履歴情報１２５は、操作ごとに、操作内容と、学習モデル５の性能の評価結果と、学習モデル５を示すモデルデータ１２３と、学習用画像１０１の枚数と、評価部１４によって決定された判定パラメータ５６とを対応付けたテーブルである。図１１に例示される履歴情報１２５では、評価結果として「見逃し率」および「見過ぎ率」が記録されている。また、判定パラメータとして、図７に示す閾値５７，５８の値が記録されている。なお、履歴情報１２５には、操作を受け付けた日時が含まれてもよい。
【0148】
例えば受付部１５が第１操作を受け付けると、記録部１６は、学習用画像グループ１１の更新内容と、更新後の学習用画像グループ１１を用いて生成された学習モデル５の性能の評価結果と、当該学習モデル５を定義付けるモデルデータ１２３と、更新後の学習用画像グループ１１に含まれる学習用画像１０１の枚数と、評価部１４によって決定された判定パラメータ５６とを対応付けたレコードを作成する。記録部１６は、作成したレコードを履歴情報１２５の末尾に追加する。
【0149】
受付部１５が第２操作を受け付けると、記録部１６は、評価用画像グループ１２の更新内容と、現状の学習モデル５に対する、更新後の評価用画像グループ１２を用いた性能の評価結果と、現状の学習モデル５を定義付けるモデルデータ１２３と、現状の学習用画像グループ１１に含まれる学習用画像１０１の枚数と、評価部１４によって決定された判定パラメータ５６とを対応付けたレコードを作成する。記録部１６は、作成したレコードを履歴情報１２５の末尾に追加する。
【0150】
図１２は、記録部によって生成される履歴情報の別の例を示す図である。図１２に示されるように、履歴情報１２５は、操作ごとに、操作内容と、学習モデル５の性能の評価結果と、学習用画像グループ１１に含まれる学習用画像１０１の一覧と、評価用画像グループ１２に含まれる第１評価用画像１０３および第２評価用画像１０４それぞれの一覧と、評価部１４によって決定された判定パラメータ５６とを対応付けたテーブルである。なお、履歴情報１２５には、操作を受け付けた日時が含まれてもよい。
【0151】
例えば受付部１５が第１操作を受け付けると、記録部１６は、学習用画像グループ１１の更新内容と、更新後の学習用画像グループ１１を用いて生成された学習モデル５の性能の評価結果と、更新後の学習用画像グループ１１に含まれる学習用画像１０１の一覧と、現状の評価用画像グループ１２に含まれる第１評価用画像１０３および第２評価用画像１０４それぞれの一覧と、評価部１４によって決定された判定パラメータ５６とを対応付けたレコードを作成する。記録部１６は、作成したレコードを履歴情報１２５の末尾に追加する。
【0152】
受付部１５が第２操作を受け付けると、記録部１６は、評価用画像グループ１２の更新内容と、現状の学習モデル５に対する、更新後の評価用画像グループ１２を用いた性能の評価結果と、現状の学習用画像グループ１１に含まれる学習用画像１０１の一覧と、更新後の評価用画像グループ１２に含まれる第１評価用画像１０３および第２評価用画像１０４それぞれの一覧と、評価部１４によって決定された判定パラメータ５６とを対応付けたレコードを作成する。記録部１６は、作成したレコードを履歴情報１２５の末尾に追加する。
【0153】
このようにして、受付部１５が受け付けた操作に関する履歴が履歴情報１２５に蓄積される。
【0154】
（Ｃ－５．出力部）
出力部１７は、ユーザ入力に応じて、記録部１６によって記録された履歴情報１２５を出力する。具体的には、出力部１７は、入力装置７に履歴情報１２５の出力指示が入力されると、履歴情報１２５を示す画面を表示装置６に表示させる。
出力部１７は、ユーザ入力に応じて、記録部１６によって記録された履歴情報１２５を出力する。具体的には、出力部１７は、入力装置７に履歴情報１２５の出力指示が入力されると、履歴情報１２５を示す画面を表示装置６に表示させる。
【0155】
【0156】
画面８０は、操作履歴テーブル８１と、学習画像リスト８３と、不良品画像リスト８４と、良品画像リスト８５と、領域８６と、表示欄８７とを含む。
【0157】
操作履歴テーブル８１は、操作ごとに、操作内容と、学習モデル５の性能の評価結果と、評価部１４によって決定された判定パラメータ５６とを示すテーブルである。操作履歴テーブル８１は、例えば図１２に示す履歴情報１２５を用いて作成される。
【0158】
表示欄８７には、判定パラメータ５６を決定するために設定された許容見逃し率が表示される。
【0159】
図１３に例示される画面８０では、学習モデル５の性能の評価結果として、「見逃し率」および「見過ぎ率」が表示されている。出力部１７は、操作履歴テーブル８１において、「見逃し率」が許容見逃し率を超えているレコードの表示形式を他のレコードと異ならせることが好ましい。これにより、ユーザに対して注意を促すことができる。
【0160】
操作履歴テーブル８１には、１つの操作（以下、「対象操作」と称する。）を選択するためのカーソル８２が表示される。カーソル８２は、入力装置７への入力に応じて移動する。
【0161】
学習画像リスト８３は、カーソル８２によって選択されている対象操作が実行された直後の学習用画像グループ１１に含まれる学習用画像１０１の一覧を示す。学習画像リスト８３は、図１２に示す履歴情報１２５における、対象操作に対応するレコードの「学習用画像グループ」のフィールドに基づいて作成される。
【0162】
不良品画像リスト８４は、カーソル８２によって選択されている対象操作が実行された直後の評価用画像グループ１２に含まれる第２評価用画像１０４の一覧を示す。不良品画像リスト８４は、図１２に示す履歴情報１２５における、対象操作に対応するレコードの「第２評価用画像」のフィールドに基づいて作成される。
【0163】
良品画像リスト８５は、カーソル８２によって選択されている対象操作が実行された直後の評価用画像グループ１２に含まれる第１評価用画像１０３の一覧を示す。良品画像リスト８５は、図１２に示す履歴情報１２５における、対象操作に対応するレコードの「第１評価用画像」のフィールドに基づいて作成される。
【0164】
不良品画像リスト８４および良品画像リスト８５には、各画像について、当該画像に写るワークＷの良否の判定結果が表示される。なお、不良品画像リスト８４において、「ＯＫ」は、ワークＷが不良品であると判定されたことを示し、「見逃し」は、ワークＷが良品であると判定されたことを示す。良品画像リスト８５において、「ＯＫ」は、ワークＷが良品であると判定されたことを示し、「見過ぎ」は、ワークＷが不良品であると判定されたことを示す。
【0165】
領域８６には、学習画像リスト８３、不良品画像リスト８４および良品画像リスト８５から選択された１つの画像が表示される。
【0166】
図１４は、履歴情報を示す画面の別の例を示す図である。図１４に例示される画面９０は、例えば図１１または図１２に示す履歴情報１２５に基づいて作成される。画面９０は、出力部１７によって表示装置６に表示される。なお、入力装置７への入力に応じて、図１３に示す画面８０と図１４に示す画面９０とが切り替えられてもよい。
【0167】
画面９０は、操作履歴グラフ９１と、表示欄９３～９５とを含む。操作履歴グラフ９１は、学習モデル５の性能の評価結果と学習用画像グループ１１に含まれる学習用画像１０１の枚数との変化を示すグラフである。
【0168】
操作履歴グラフ９１には、１つの操作（以下、「対象操作」と称する。）を選択するためのカーソル９２が表示される。カーソル９２は、入力装置７への入力に応じて移動する。
【0169】
表示欄９３には、カーソル９２によって選択されている対象操作の内容が表示される。表示欄９３に表示される内容は、図１２または図１３に示す履歴情報１２５における、対象操作に対応するレコードの「操作内容」のフィールドに対応する。
【0170】
表示欄９４には、カーソル９２によって選択されている対象操作が実行された直後における、学習モデル５の性能の評価結果と学習用画像グループ１１に含まれる学習用画像１０１の枚数とが表示される。表示欄９４に表示される評価結果は、図１２または図１３に示す履歴情報１２５における、対象操作に対応するレコードの「性能の評価結果」のフィールドに対応する。表示欄９４に表示される学習用画像１０１の枚数は、図１２に示す履歴情報１２５における、対象操作に対応するレコードの「学習枚数」のフィールドに対応する。あるいは、表示欄９４に表示される学習用画像１０１の枚数は、図１３に示す履歴情報１２５における、対象操作に対応するレコードの「学習用画像グループ」フィールドに基づいて算出される。
【0171】
表示欄９５には、判定パラメータ５６を決定するために設定される許容見逃し率が表示される。
【0172】
【0173】
【0174】
（Ｃ－６．設定部）
設定部１８は、ユーザからの指示に応じて、指定された学習モデル５を判定装置２に設定する。
設定部１８は、ユーザからの指示に応じて、指定された学習モデル５を判定装置２に設定する。
【0175】
設定部１８は、例えば図１３に示す画面８０または図１４に示す画面９０に含まれるロールバック実行ボタン８８が押下されたことに応じて、指定された学習モデル５を示すモデルデータ１２３を判定装置２に転送する。具体的には、図１３に示す画面８０に含まれるロールバック実行ボタン８８が押下された場合、設定部１８は、カーソル８２によって選択された対象操作が実行された直後の学習モデル５に対応するモデルデータ１２３を判定装置２に転送する。同様に、図１４に示す画面９０に含まれるロールバック実行ボタン８８が押下された場合、設定部１８は、カーソル９２によって選択された対象操作が実行された直後の学習モデル５を定義付けるモデルデータ１２３を判定装置２に転送する。
【0176】
記憶部１２０が図１１に示す履歴情報１２５を記憶している場合、設定部１８は、履歴情報１２５における、対象操作に対応するレコードの「学習モデル」フィールドに示されるモデルデータ１２３を判定装置２に転送すればよい。
【0177】
記憶部１２０が図１２に示す履歴情報１２５を記憶している場合、設定部１８は、履歴情報１２５における、対象操作に対応するレコードの「学習用画像グループ」フィールドに示される学習用画像１０１を用いた機械学習を学習部１３に指示する。設定部１８は、学習部１３によって生成された学習モデル５を定義付けるモデルデータ１２３を判定装置２に転送すればよい。
【0178】
【0179】
【0180】
図１５に示されるように、判定装置２は、取得部２１と、生成部２２と、判定部２３と、出力部２４とをソフトウェアモジュールとして備える。各ソフトウェアモジュールは、ＣＰＵ２１０が判定プログラム２２１に含まれる命令を解釈および実行することにより実現される。
【0181】
取得部２１は、ワークＷを観測することで得られた観測画像２０１を取得する。観測画像２０１にはワークＷが写る。
【0182】
生成部２２は、学習装置１から転送されたモデルデータ１２３を参照して、学習モデル５の設定を行う。上述したように、学習モデル５は、画像が入力されると、入力された画像を特徴量に変換し、変換により得られた特徴量から入力された画像を復元した画像を生成するように構成されている。生成部２２は、取得された観測画像２０１を学習モデル５に入力することで、観測画像２０１を復元した復元観測画像２０３を生成する。
【0183】
判定部２３は、観測画像２０１と復元観測画像２０３との間の差分に基づいて、観測画像２０１に写るワークＷが良品か否かを判定する。本実施形態では、判定部２３は、評価部１４と同様の方法に従って、ワークＷの良否判定を行なう。すなわち、判定部２３は、観測画像２０１と復元観測画像２０３との差分を算出することで、観測画像２０１と復元観測画像２０３との間の差分を示す差分画像２０５を生成する。判定部２３は、差分画像２０５に対して学習装置１から転送された判定パラメータ５６（閾値５７，５８）を適用することにより、検出画像Ｉ１４を生成する（図７参照）。そして、判定部２３は、検出画像Ｉ１４に白色画素の領域が存在するか否かに応じて、観測画像２０１に写るワークＷに欠陥が存在するか否かを判定する。判定部２３は、ワークＷに欠陥が存在する場合にワークＷを不良品と判定し、ワークＷに欠陥が存在しない場合にワークＷを良品と判定する。
【0184】
出力部２４は、判定部２３の判定結果、すなわち、ワークＷの良否を判定した結果に関する情報を出力する。
【0185】
【0186】
まず、学習装置１のＣＰＵ１１０は、機械学習に関する操作を受け付けたか否かを判定する（ステップＳ１）。操作を受け付けていない場合（ステップＳ１でＮＯ）、処理はステップＳ１に戻る。
【0187】
操作を受け付けた場合（ステップＳ１でＹＥＳ）、ＣＰＵ１１０は、受け付けた操作に応じてデータの更新を行なう（ステップＳ２）。例えば、第１操作を受け付けた場合、ＣＰＵ１１０は、学習用画像グループ１１を更新する。第２操作を受け付けた場合、ＣＰＵ１１０は、評価用画像グループ１２を更新する。
【0188】
次に、ＣＰＵ１１０は、学習用画像グループ１１を用いた機械学習を行なうことにより、学習モデル５を生成する（ステップＳ３）。続けて、ＣＰＵ１１０は、生成された学習モデル５の性能を評価する（ステップＳ４）。ＣＰＵ１１０は、受け付けた操作の内容と、学習モデル５の性能の評価結果とを対応付けて記録する（ステップＳ５）。
【0189】
次に、ＣＰＵ１１０は、記録部１６によって記録された履歴情報１２５の出力指示を受けたか否かを判定する（ステップＳ６）。出力指示を受けていない場合（ステップＳ６でＮＯ）、処理はステップＳ１に戻る。
【0190】
出力指示を受けた場合（ステップＳ６でＹＥＳ）、ＣＰＵ１１０は、履歴情報１２５を出力する（ステップＳ７）。具体的には、ＣＰＵ１１０は、履歴情報１２５を示す画面を表示装置６に表示させる。
【0191】
次に、ＣＰＵ１１０は、画面表示の終了指示を受けたか否かを判定する（ステップＳ８）。終了指示を受けた場合（ステップＳ８でＹＥＳ）、処理はステップＳ１に戻る。
【0192】
終了指示を受けていない場合（ステップＳ８でＮＯ）、ＣＰＵ１１０は、ロールバック実行の指示を受けたか否かを判定する（ステップＳ９）。ロールバック実行の指示を受けていない場合（ステップＳ９でＮＯ）、処理はステップＳ８に戻る。
【0193】
ロールバック実行の指示を受けた場合（ステップＳ９でＹＥＳ）、ＣＰＵ１１０は、指定された対象操作が実行された直後の学習モデル５を判定装置２に設定する（ステップＳ１０）。具体的には、ＣＰＵ１１０は、学習モデル５に対応するモデルデータ１２３を判定装置２に転送する。ステップ１０の後、処理はステップＳ１に戻る。
【0194】
＜Ｆ．実験例＞
次に、本開示の実験例について説明する。汎用のコンピュータを利用して、以下の実験条件に従って、学習モデルを構築する実験を行った。
次に、本開示の実験例について説明する。汎用のコンピュータを利用して、以下の実験条件に従って、学習モデルを構築する実験を行った。
【0195】
（実験条件）
・立ち上げ段階において学習用画像グループに含まれる学習用画像の数：１０
・追加学習の回数：７回
・第１評価用画像の数：４２
・第２評価用画像の数：３４４５
・各画像のサイズ：３５０×３５０
・各画像の画素値：２５６階調
・差分画像の画素値の範囲：０～２５５
・二値化の閾値（閾値５７）の値：１０～７０
・面積に対する閾値（閾値５８）の値（画素数）：１０～１０００
・許容見逃し率：０％。
・立ち上げ段階において学習用画像グループに含まれる学習用画像の数：１０
・追加学習の回数：７回
・第１評価用画像の数：４２
・第２評価用画像の数：３４４５
・各画像のサイズ：３５０×３５０
・各画像の画素値：２５６階調
・差分画像の画素値の範囲：０～２５５
・二値化の閾値（閾値５７）の値：１０～７０
・面積に対する閾値（閾値５８）の値（画素数）：１０～１０００
・許容見逃し率：０％。
【0196】
図１７は、実験例により機械学習の処理を繰り返す過程で構築された学習モデルの性能の評価結果を示す図である。「追加学習した画像の学習効果評価値」のフィールドは、学習用画像グループに追加された学習用画像に対する学習効果評価値を示す。「性能評価値」のフィールドは、学習モデルの性能の評価結果である「見逃し率」および「見過ぎ率」を示す。「判定パラメータ」のフィールドは、評価部１４によって決定された判定パラメータ（閾値５７，５８）の最適な値を示す。
【0197】
図１７に示されるとおり、第１回目から第５回目までは、学習用画像を追加することにより、学習モデルの性能が向上している。しかしながら、第６回目以降では、学習用画像を追加しても、必ずしも性能が向上するわけではない。そのため、複数回繰り返し機械学習を実行し、最も性能の高い学習モデルを採用することが好ましい。
【0198】
本開示によれば、操作ごとに学習モデルの性能の評価結果が記録され、記録された履歴情報が出力される。これにより、ユーザは、どの操作のタイミングにおいて学習モデルが最適になったかを容易に把握できる。その結果、判定装置に設定すべき学習モデルを容易に調整することができる。
【0199】
＜Ｇ．作用・効果＞
以上のように、本実施の形態の学習装置１は、学習部１３と、評価部１４と、受付部１５と、記録部１６と、出力部１７とを備える。学習部１３は、ワークＷの写る１以上の学習用画像１０１を含む学習用画像グループ１１を用いた機械学習を行なうことにより、ワークＷの属性を判定するために利用される学習モデル５を生成する。評価部１４は、評価用画像グループ１２に含まれる１以上の評価用画像１０２を学習モデル５に入力することにより、学習モデル５の性能の評価を行なう。受付部１５は、学習用画像グループ１１を更新する第１操作を受け付ける。記録部１６は、第１操作ごとに、第１操作の内容と、更新後の学習用画像グループ１１を用いて生成された学習モデル５に対する評価結果とを対応付けて記録する。出力部１７は、記録部１６によって記録された履歴情報１２５を出力する。
以上のように、本実施の形態の学習装置１は、学習部１３と、評価部１４と、受付部１５と、記録部１６と、出力部１７とを備える。学習部１３は、ワークＷの写る１以上の学習用画像１０１を含む学習用画像グループ１１を用いた機械学習を行なうことにより、ワークＷの属性を判定するために利用される学習モデル５を生成する。評価部１４は、評価用画像グループ１２に含まれる１以上の評価用画像１０２を学習モデル５に入力することにより、学習モデル５の性能の評価を行なう。受付部１５は、学習用画像グループ１１を更新する第１操作を受け付ける。記録部１６は、第１操作ごとに、第１操作の内容と、更新後の学習用画像グループ１１を用いて生成された学習モデル５に対する評価結果とを対応付けて記録する。出力部１７は、記録部１６によって記録された履歴情報１２５を出力する。
【0200】
上記の構成によれば、ユーザは、記録部１６によって記録された履歴情報１２５を確認することにより、過去に実施された複数の第１操作それぞれに対応する学習モデル５のうち、どのタイミングの学習モデル５の性能が最も高いか容易に把握できる。これにより、ユーザは、第１操作ごとの学習モデル５の性能を確認しながら、学習モデル５を適宜調整できる。
【0201】
学習モデル５は、ワークＷの写る画像が入力され、ワークＷの良否を判定するための出力情報を出力する。評価用画像グループ１２は、良品であるワークＷの写る１以上の第１評価用画像１０３と、不良品であるワークＷの写る１以上の第２評価用画像１０４とを含む。評価部１４は、評価結果として、第１評価値と第２評価値とを算出する。第１評価値は、１以上の第１評価用画像１０３のうち、学習モデル５に入力することにより得られる出力情報に基づいてワークＷが不良品と判定された第１評価用画像１０３の第１割合に応じた値である。第２評価値は、１以上の第２評価用画像１０４のうち、学習モデル５に入力することにより得られる出力情報に基づいてワークＷが良品と判定された第２評価用画像の第２割合に応じた値である。
【0202】
上記の構成によれば、ユーザは、第１評価値を確認することにより第１割合を把握でき、第２評価値を確認することにより第２割合を把握できる。これにより、ユーザは、第１割合および第２割合が所望の範囲内になるように、学習モデル５を調整できる。
【0203】
出力情報を用いたワークＷの良否の判定は、出力情報が判定条件を満たすか否かに応じて実施される。評価部１４は、第２割合が予め定められた許容見逃し率以下となるように判定条件を決定する。
【0204】
製造ラインでは、不良品が良品として出荷されることをなるべく回避する必要がある。上記の構成によれば、第２割合が予め定められた許容見逃し率以下となるような判定条件の下で実施された良否の判定結果に基づいて、学習モデル５の性能の評価が行なわれる。これにより、第２割合が許容見逃し率以下となる判定条件下において、ユーザは、性能の高い学習モデル５に調整できる。
【0205】
学習装置１は、ワークＷの属性を判定する判定装置２に学習モデル５を設定する設定部１８をさらに備える。記録部１６は、第１操作ごとに、更新後の学習用画像グループ１１をさらに記録する。設定部１８は、履歴情報１２５の中から指定された第１操作に対応して記録された学習用画像グループ１１を用いて生成された学習モデル５を、判定装置２に設定する。
【0206】
あるいは、記録部１６は、第１操作ごとに、更新後の学習用画像グループ１１を用いて生成された学習モデル５をさらに記録する。設定部１８は、履歴情報１２５の中から指定された第１操作に対応して記録された学習モデル５を判定装置２に設定する。
【0207】
上記の構成によれば、ユーザは、履歴情報を見ながら、性能の高い学習モデル５を判定装置２に容易に設定できる。
【0208】
受付部１５は、評価用画像グループ１２を更新する第２操作をさらに受け付ける。記録部１６は、さらに、第２操作ごとに、第２操作の内容と、更新後の評価用画像グループ１２を用いた評価の結果とを対応付けて記録する。
【0209】
上記の構成によれば、ユーザは、評価用画像グループ１２を更新したときの学習モデル５の性能の評価結果の変化を確認できる。その結果、ユーザは、評価結果を確認することで評価用画像グループ１２の最適化を行なうことができる。
【0210】
出力部１７は、第１操作ごとの第１操作の内容と評価結果との一覧表を表示装置６に表示させる。これにより、ユーザは、一覧表を見ることにより、操作に応じた学習モデル５の性能の変化を確認できる。
【0211】
あるいは、評価部１４は、学習モデル５の性能を示す評価値（例えば、第１評価値および第２評価値）を評価結果として算出する。出力部１７は、第１操作ごとの評価値の推移を示すグラフを表示装置６に表示させる。これにより、ユーザは、グラフを見ることにより、操作に応じた学習モデル５の性能の変化を確認しやすくなる。
【0212】
＜Ｈ．変形例＞
（Ｈ－１．変形例１）
上記の説明では、受付部１５は、第１操作および第２操作を受け付ける。受付部１５は、さらに、学習モデル５を生成するために用いられるモデル生成用パラメータを更新する第３操作を受け付けてもよい。
（Ｈ－１．変形例１）
上記の説明では、受付部１５は、第１操作および第２操作を受け付ける。受付部１５は、さらに、学習モデル５を生成するために用いられるモデル生成用パラメータを更新する第３操作を受け付けてもよい。
【0213】
受付部１５が第３操作を受け付けると、記録部１６は、モデル生成用パラメータの更新内容と、更新後のモデル生成用パラメータを用いて生成された学習モデル５の性能の評価結果と、当該学習モデル５を定義付けるモデルデータ１２３と、現状の学習用画像グループ１１に含まれる学習用画像１０１の枚数と、評価部１４によって決定された判定パラメータ５６とを対応付けたレコードを作成する。
【0214】
あるいは、記録部１６は、モデル生成用パラメータの更新内容と、更新後のモデル生成用パラメータのセットと、更新後のモデル生成用パラメータを用いて生成された学習モデル５の性能の評価結果と、現状の学習用画像グループ１１に含まれる学習用画像１０１の一覧と、現状の評価用画像グループ１２に含まれる第１評価用画像１０３および第２評価用画像１０４それぞれの一覧と、評価部１４によって決定された判定パラメータ５６とを対応付けたレコードを作成してもよい。
【0215】
変形例１によれば、ユーザは、モデル生成用パラメータを更新したときの学習モデル５の性能の評価結果の変化を確認できる。その結果、ユーザは、評価結果を確認することでモデル生成用パラメータの最適化を行なうことができる。
【0216】
（Ｈ－２．変形例２）
学習部１３は、各学習用画像１０１を複数のパッチ画像に分割してもよい。分割方法及びパッチ画像の個数は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、学習部１３は、縦方向及び横方向それぞれに指定された数で等分に学習用画像１０１を分割してもよい。
学習部１３は、各学習用画像１０１を複数のパッチ画像に分割してもよい。分割方法及びパッチ画像の個数は、特に限定されなくてもよく、実施の形態に応じて適宜決定されてよい。例えば、学習部１３は、縦方向及び横方向それぞれに指定された数で等分に学習用画像１０１を分割してもよい。
【0217】
学習部１３は、上記機械学習の処理により、パッチ画像ごとに学習モデル５を生成してもよい。すなわち、学習部１３は、パッチ画像を特徴量に変換し、変換により得られた特徴量から対応するパッチ画像に適合する画像を復元するように訓練された学習モデル５を構築する。これにより、学習モデル５が、パッチ画像ごとに生成される。
【0218】
パッチ画像ごとの学習モデル５が生成された場合、評価部１４は、各評価用画像１０２を複数のパッチ画像に分割する。評価部１４は、パッチ画像ごとに、対応する学習モデル５を利用して、パッチ画像に対応する復元画像を生成する。評価部１４は、各評価用画像１０２について、複数のパッチ画像の各々と対応する復元画像との差分の程度に基づいて、当該評価用画像に写っているワークＷの良否を判定する。評価部１４は、判定結果に基づいて学習モデル５の性能の評価を行なう。
【0219】
§３ 付記
以上のように、本実施の形態は以下のような開示を含む。
以上のように、本実施の形態は以下のような開示を含む。
【0220】
（構成１）
学習装置（１）であって、
対象物（Ｗ）の写る１以上の学習用画像（１０１）を含む学習用画像グループ（１１）を用いた機械学習を行なうことにより、前記対象物（Ｗ）の属性を判定するために利用される学習モデル（５）を生成する学習部（１３）と、
評価用画像グループ（１２）に含まれる１以上の評価用画像（１０２，１０３，１０４）を前記学習モデル（５）に入力することにより、前記学習モデル（５）の性能の評価を行なう評価部（１４）と、
前記学習用画像グループ（１１）を更新する第１操作を受け付ける受付部（１５）と、
前記第１操作ごとに、前記第１操作の内容と、更新後の前記学習用画像グループ（１１）を用いて生成された前記学習モデル（５）に対する前記評価の結果とを対応付けて記録する記録部（１６）と、
前記記録部（１６）によって記録された履歴情報（１２５）を出力する出力部（１７）とを備える、学習装置（１）。
学習装置（１）であって、
対象物（Ｗ）の写る１以上の学習用画像（１０１）を含む学習用画像グループ（１１）を用いた機械学習を行なうことにより、前記対象物（Ｗ）の属性を判定するために利用される学習モデル（５）を生成する学習部（１３）と、
評価用画像グループ（１２）に含まれる１以上の評価用画像（１０２，１０３，１０４）を前記学習モデル（５）に入力することにより、前記学習モデル（５）の性能の評価を行なう評価部（１４）と、
前記学習用画像グループ（１１）を更新する第１操作を受け付ける受付部（１５）と、
前記第１操作ごとに、前記第１操作の内容と、更新後の前記学習用画像グループ（１１）を用いて生成された前記学習モデル（５）に対する前記評価の結果とを対応付けて記録する記録部（１６）と、
前記記録部（１６）によって記録された履歴情報（１２５）を出力する出力部（１７）とを備える、学習装置（１）。
【0221】
（構成２）
前記学習モデル（５）は、前記対象物（Ｗ）の写る画像が入力され、前記対象物（Ｗ）の良否を判定するための出力情報を出力し、
前記評価用画像グループ（１２）は、良品である前記対象物（Ｗ）の写る１以上の第１評価用画像（１０３）と、不良品である前記対象物（Ｗ）の写る１以上の第２評価用画像（１０４）とを含み、
前記評価部（１４）は、前記評価の結果として、
前記１以上の第１評価用画像（１０３）のうち、前記学習モデル（５）に入力することにより得られる前記出力情報に基づいて前記対象物（Ｗ）が不良品と判定された第１評価用画像（１０３）の第１割合に応じた値と、
前記１以上の第２評価用画像（１０４）のうち、前記学習モデル（５）に入力することにより得られる前記出力情報に基づいて前記対象物（Ｗ）が良品と判定された第２評価用画像（１０４）の第２割合に応じた値とを算出する、構成１に記載の学習装置（１）。
前記学習モデル（５）は、前記対象物（Ｗ）の写る画像が入力され、前記対象物（Ｗ）の良否を判定するための出力情報を出力し、
前記評価用画像グループ（１２）は、良品である前記対象物（Ｗ）の写る１以上の第１評価用画像（１０３）と、不良品である前記対象物（Ｗ）の写る１以上の第２評価用画像（１０４）とを含み、
前記評価部（１４）は、前記評価の結果として、
前記１以上の第１評価用画像（１０３）のうち、前記学習モデル（５）に入力することにより得られる前記出力情報に基づいて前記対象物（Ｗ）が不良品と判定された第１評価用画像（１０３）の第１割合に応じた値と、
前記１以上の第２評価用画像（１０４）のうち、前記学習モデル（５）に入力することにより得られる前記出力情報に基づいて前記対象物（Ｗ）が良品と判定された第２評価用画像（１０４）の第２割合に応じた値とを算出する、構成１に記載の学習装置（１）。
【0222】
（構成３）
前記出力情報を用いた前記対象物（Ｗ）の良否の判定は、前記出力情報が判定条件を満たすか否かに応じて実施され、
前記評価部（１４）は、前記第２割合が予め定められた閾値以下となるように前記判定条件を決定する、構成２に記載の学習装置（１）。
前記出力情報を用いた前記対象物（Ｗ）の良否の判定は、前記出力情報が判定条件を満たすか否かに応じて実施され、
前記評価部（１４）は、前記第２割合が予め定められた閾値以下となるように前記判定条件を決定する、構成２に記載の学習装置（１）。
【0223】
（構成４）
前記対象物（Ｗ）の属性を判定する判定装置（２）に前記学習モデル（５）を設定する設定部（１８）をさらに備え、
前記記録部（１６）は、前記第１操作ごとに、更新後の前記学習用画像グループ（１１）をさらに記録し、
前記設定部（１８）は、前記履歴情報（１２５）の中から指定された第１操作に対応して記録された前記学習用画像グループ（１１）を用いて生成された前記学習モデル（５）を前記判定装置（２）に設定する、構成１から３のいずれかに学習装置（１）。
前記対象物（Ｗ）の属性を判定する判定装置（２）に前記学習モデル（５）を設定する設定部（１８）をさらに備え、
前記記録部（１６）は、前記第１操作ごとに、更新後の前記学習用画像グループ（１１）をさらに記録し、
前記設定部（１８）は、前記履歴情報（１２５）の中から指定された第１操作に対応して記録された前記学習用画像グループ（１１）を用いて生成された前記学習モデル（５）を前記判定装置（２）に設定する、構成１から３のいずれかに学習装置（１）。
【0224】
（構成５）
前記対象物（Ｗ）の属性を判定する判定装置（２）に前記学習モデル（５）を設定する設定部（１８）をさらに備え、
前記記録部（１６）は、前記第１操作ごとに、更新後の前記学習用画像グループ（１１）を用いて生成された前記学習モデル（５）をさらに記録し、
前記設定部（１８）は、前記履歴情報（１２５）の中から指定された第１操作に対応して記録された前記学習モデル（５）を前記判定装置（２）に設定する、構成１から３のいずれかに記載の学習装置（１）。
前記対象物（Ｗ）の属性を判定する判定装置（２）に前記学習モデル（５）を設定する設定部（１８）をさらに備え、
前記記録部（１６）は、前記第１操作ごとに、更新後の前記学習用画像グループ（１１）を用いて生成された前記学習モデル（５）をさらに記録し、
前記設定部（１８）は、前記履歴情報（１２５）の中から指定された第１操作に対応して記録された前記学習モデル（５）を前記判定装置（２）に設定する、構成１から３のいずれかに記載の学習装置（１）。
【0225】
（構成６）
前記受付部（１５）は、前記評価用画像グループ（１２）を更新する第２操作をさらに受け付け、
前記記録部（１６）は、さらに、前記第２操作ごとに、前記第２操作の内容と、更新後の前記評価用画像グループ（１２）を用いた前記評価の結果とを対応付けて記録する、構成１から５のいずれかに記載の学習装置（１）。
前記受付部（１５）は、前記評価用画像グループ（１２）を更新する第２操作をさらに受け付け、
前記記録部（１６）は、さらに、前記第２操作ごとに、前記第２操作の内容と、更新後の前記評価用画像グループ（１２）を用いた前記評価の結果とを対応付けて記録する、構成１から５のいずれかに記載の学習装置（１）。
【0226】
（構成７）
前記学習部（１３）は、モデル生成用パラメータを用いて前記学習モデル（５）を生成し、
前記受付部（１５）は、前記モデル生成用パラメータを更新する第３操作をさらに受け付け、
前記記録部（１６）は、さらに、前記第３操作ごとに、前記第３操作の内容と、更新後の前記モデル生成用パラメータを用いて生成された前記学習モデル（５）に対する前記評価の結果とを対応付けて記録する、構成１から６のいずれかに記載の学習装置（１）。
前記学習部（１３）は、モデル生成用パラメータを用いて前記学習モデル（５）を生成し、
前記受付部（１５）は、前記モデル生成用パラメータを更新する第３操作をさらに受け付け、
前記記録部（１６）は、さらに、前記第３操作ごとに、前記第３操作の内容と、更新後の前記モデル生成用パラメータを用いて生成された前記学習モデル（５）に対する前記評価の結果とを対応付けて記録する、構成１から６のいずれかに記載の学習装置（１）。
【0227】
（構成８）
前記出力部（１７）は、前記第１操作ごとの前記第１操作の内容と前記評価の結果との一覧表を表示装置（６）に表示させる、構成１に記載の学習装置（１）。
前記出力部（１７）は、前記第１操作ごとの前記第１操作の内容と前記評価の結果との一覧表を表示装置（６）に表示させる、構成１に記載の学習装置（１）。
【0228】
（構成９）
前記評価部（１４）は、前記学習モデル（５）の性能を示す評価値を前記評価の結果として算出し、
前記出力部（１７）は、前記第１操作ごとの前記評価値の推移を示すグラフを表示装置（６）に表示させる、構成１に記載の学習装置。
前記評価部（１４）は、前記学習モデル（５）の性能を示す評価値を前記評価の結果として算出し、
前記出力部（１７）は、前記第１操作ごとの前記評価値の推移を示すグラフを表示装置（６）に表示させる、構成１に記載の学習装置。
【0229】
（構成１０）
対象物（Ｗ）の写る１以上の学習用画像（１０１）を含む学習用画像グループ（１１）を用いた機械学習を行なうことにより、前記対象物（Ｗ）の属性を判定するために利用される学習モデル（５）を生成するステップと、
評価用画像グループ（１２）に含まれる１以上の評価用画像（１０２）を前記学習モデル（５）に入力することにより、前記学習モデル（５）の性能の評価を行なうステップと、
前記学習用画像グループ（１１）を更新する操作を受け付けるステップと、
前記操作ごとに、前記操作の内容と、更新後の前記学習用画像グループ（１１）を用いて生成された前記学習モデル（５）に対する前記評価の結果とを対応付けて記録するステップと、
記録された履歴情報（１２５）を出力するステップとを備える、学習方法。
対象物（Ｗ）の写る１以上の学習用画像（１０１）を含む学習用画像グループ（１１）を用いた機械学習を行なうことにより、前記対象物（Ｗ）の属性を判定するために利用される学習モデル（５）を生成するステップと、
評価用画像グループ（１２）に含まれる１以上の評価用画像（１０２）を前記学習モデル（５）に入力することにより、前記学習モデル（５）の性能の評価を行なうステップと、
前記学習用画像グループ（１１）を更新する操作を受け付けるステップと、
前記操作ごとに、前記操作の内容と、更新後の前記学習用画像グループ（１１）を用いて生成された前記学習モデル（５）に対する前記評価の結果とを対応付けて記録するステップと、
記録された履歴情報（１２５）を出力するステップとを備える、学習方法。
【0230】
（構成１１）
構成１０に記載の学習方法をコンピュータに実行させるプログラム。
構成１０に記載の学習方法をコンピュータに実行させるプログラム。
【0231】
本発明の実施の形態について説明したが、今回開示された実施の形態はすべての点で例示であって制限的なものではないと考えられるべきである。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。
【符号の説明】
【0232】
１ 学習装置、２ 判定装置、３ カメラ、５ 学習モデル、６，９ 表示装置、７，８ 入力装置、１１ 学習用画像グループ、１２ 評価用画像グループ、１３ 学習部、１４ 評価部、１５ 受付部、１６ 記録部、１７ 出力部、１８ 設定部、２１ 取得部、２２ 生成部、２３ 判定部、２４ 出力部、５１ 入力層、５２ 中間層、５３ 出力層、５５ 判定パラメータ候補、５６ 判定パラメータ、５７，５８ 閾値、６０，７０，８０，９０ 画面、６１，７１ 候補リスト、６２，８３ 学習画像リスト、６３，７４，８６ 領域、６４，７５ａ，７５ｂ 追加ボタン、６５，７７ａ，７７ｂ 削除ボタン、６６ 学習実行ボタン、７２，８５ 良品画像リスト、７３，８４ 不良品画像リスト、７６ 移動ボタン、７８ 評価実行ボタン、８１ 操作履歴テーブル、８２，９２ カーソル、８７，９３～９５ 表示欄、８８ ロールバック実行ボタン、８９ ボタン、９１ 操作履歴グラフ、１０１ 学習用画像、１０２ 評価用画像、１０３ 第１評価用画像、１０４ 第２評価用画像、１０５ 第１復元画像、１０６ 第２復元画像、１０７，１０８，２０５，Ｉ１２ 差分画像、１１０，２１０ ＣＰＵ、１１１，２１１ ＲＡＭ、１１２，２１２ ＲＯＭ、１１３，２１３ 通信インターフェース、１１４，２１５ 入力インターフェース、１１５，２１６ 表示コントローラ、１１６，２１７ ドライブ、１２０，２２０ 記憶部、１２２ 学習プログラム、１２３ モデルデータ、１２４ 評価プログラム、１２５ 履歴情報、１３０，２３０ 記憶媒体、２０１ 観測画像、２０３ 復元観測画像、２１４ 外部インターフェース、２２１ 判定プログラム、Ｉ１０ 画像、Ｉ１１ 復元画像、Ｉ１３ 二値化画像、Ｉ１４ 検出画像、Ｌ 欠陥、ＳＹＳ システム、Ｗ ワーク。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】