▶ 株式会社Ａｎａｍｏｒｐｈｏｓｉｓ Ｎｅｔｗｏｒｋｓの特許一覧
特開2023-60798欠陥検出方法、欠陥検出システム、及び、欠陥検出プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023060798
(43)【公開日】2023-04-28
(54)【発明の名称】欠陥検出方法、欠陥検出システム、及び、欠陥検出プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230421BHJP
G01N 21/88 20060101ALI20230421BHJP
G06T 1/00 20060101ALI20230421BHJP
【ＦＩ】
G06T7/00 610C
G01N21/88 J
G06T7/00 350C
G06T1/00 300
【審査請求】有
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2022004220
(22)【出願日】2022-01-14
(11)【特許番号】
(45)【特許公報発行日】2022-03-15
(31)【優先権主張番号】P 2021170158
(32)【優先日】2021-10-18
(33)【優先権主張国・地域又は機関】JP
(71)【出願人】
【識別番号】519449275
【氏名又は名称】株式会社Ａｎａｍｏｒｐｈｏｓｉｓ Ｎｅｔｗｏｒｋｓ
(74)【代理人】
【識別番号】100145403
【弁理士】
【氏名又は名称】山尾 憲人
(74)【代理人】
【識別番号】100135703
【弁理士】
【氏名又は名称】岡部 英隆
(74)【代理人】
【識別番号】100189544
【弁理士】
【氏名又は名称】柏原 啓伸
(72)【発明者】
【氏名】辻本 翔悟
【テーマコード（参考）】
2G051
5B057
5L096
【Ｆターム（参考）】
2G051AA90
2G051AB01
2G051AB03
2G051AB07
2G051EB05
2G051EC01
5B057AA01
5B057BA02
5B057CA01
5B057CA08
5B057CA12
5B057CA16
5B057CB01
5B057CB08
5B057CB12
5B057CB16
5B057CC01
5B057CE09
5B057CE10
5B057DA03
5B057DB02
5B057DB06
5B057DB09
5B057DC16
5B057DC32
5B057DC40
5L096AA02
5L096AA06
5L096BA03
5L096CA02
5L096CA24
5L096DA01
5L096FA06
5L096FA32
5L096FA33
5L096FA77
5L096GA19
5L096GA40
5L096GA41
5L096GA51
5L096HA09
5L096HA11
5L096KA04
(57)【要約】
【課題】様々な製品に関して、良品、既知の不良を含む不良品、及び、未知の不良を含む不良品を、検出して分類することができる。
【解決手段】欠陥学習方法は、処理回路により、検査対象物を撮像した欠陥のある元画像データと、所定の色を塗るステップにおいて元画像データに対して欠陥の種類毎に所定の色でラベルが付されたマーキング済み画像データとを、第１の教師データとして、一組以上の第１の教師データを用意するステップと、処理回路により、検査対象物を撮像した欠陥の無い元画像データと、当該元画像データとの差異が無い恒等写像データとを、第２の教師データとして、一組以上の第２の教師データを用意するステップと、処理回路により、第１及び第２の教師データを用いて学習を行うことで学習済みの機械学習モデルを用意するステップと、を含む。
【選択図】図１
【解決手段】欠陥学習方法は、処理回路により、検査対象物を撮像した欠陥のある元画像データと、所定の色を塗るステップにおいて元画像データに対して欠陥の種類毎に所定の色でラベルが付されたマーキング済み画像データとを、第１の教師データとして、一組以上の第１の教師データを用意するステップと、処理回路により、検査対象物を撮像した欠陥の無い元画像データと、当該元画像データとの差異が無い恒等写像データとを、第２の教師データとして、一組以上の第２の教師データを用意するステップと、処理回路により、第１及び第２の教師データを用いて学習を行うことで学習済みの機械学習モデルを用意するステップと、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
処理回路により、検査対象物を撮像した元画像における当該検査対象物に存在し得る輪郭状の欠陥部分及び領域状の欠陥部分に画像上、欠陥の種類毎に所定の色を塗るステップと、
前記処理回路により、前記検査対象物を撮像した欠陥のある元画像データと、前記所定の色を塗るステップにおいて前記元画像データに対して欠陥の種類毎に所定の色でラベルが付されたマーキング済み画像データとを、第１の教師データとして、一組以上の第１の教師データを用意するステップと、
前記処理回路により、前記検査対象物を撮像した欠陥の無い元画像データと、当該元画像データとの差異が無い恒等写像データとを、第２の教師データとして、一組以上の第２の教師データを用意するステップと、
前記処理回路により、前記第１の教師データ及び前記第２の教師データを用いて学習を行うことで学習済みの機械学習モデルを用意するステップと
を含む、欠陥検出方法であって、
前記学習済みの機械学習モデルを用意するステップにおいては、
前記第１の教師データにおける、元画像データとマーキング済み画像データとをタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データとマーキング済み画像データの対応関係の学習を行い、並びに、
前記第２の教師データにおける、元画像データと恒等写像データとを、同様にタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データと恒等写像データの対応関係の学習を行い、
両方のタイリング処理では、タイリング後に隣接する切り分け画像の両方の縁部がオーバーラップするように切り分け画像が作成され、
更に、
前記第１の教師データにおける、切り分け画像とされたマーキング済み画像データがマーキングの部分を含まない場合、切り分け画像である元画像データと当該元画像データの恒等写像データの対応関係の学習を行う、
欠陥検出方法。
前記処理回路により、前記検査対象物を撮像した欠陥のある元画像データと、前記所定の色を塗るステップにおいて前記元画像データに対して欠陥の種類毎に所定の色でラベルが付されたマーキング済み画像データとを、第１の教師データとして、一組以上の第１の教師データを用意するステップと、
前記処理回路により、前記検査対象物を撮像した欠陥の無い元画像データと、当該元画像データとの差異が無い恒等写像データとを、第２の教師データとして、一組以上の第２の教師データを用意するステップと、
前記処理回路により、前記第１の教師データ及び前記第２の教師データを用いて学習を行うことで学習済みの機械学習モデルを用意するステップと
を含む、欠陥検出方法であって、
前記学習済みの機械学習モデルを用意するステップにおいては、
前記第１の教師データにおける、元画像データとマーキング済み画像データとをタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データとマーキング済み画像データの対応関係の学習を行い、並びに、
前記第２の教師データにおける、元画像データと恒等写像データとを、同様にタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データと恒等写像データの対応関係の学習を行い、
両方のタイリング処理では、タイリング後に隣接する切り分け画像の両方の縁部がオーバーラップするように切り分け画像が作成され、
更に、
前記第１の教師データにおける、切り分け画像とされたマーキング済み画像データがマーキングの部分を含まない場合、切り分け画像である元画像データと当該元画像データの恒等写像データの対応関係の学習を行う、
欠陥検出方法。
【請求項2】
前記機械学習モデルが、畳み込みニューラルネットワーク（ＣＮＮ）若しくは完全畳み込みニューラルネットワーク（ＦＣＮＮ）により構成される、
請求項１に記載の欠陥検出方法。
請求項１に記載の欠陥検出方法。
【請求項3】
前記処理回路により、請求項１又は２に記載の欠陥検出方法にて用意される学習済みの機械学習モデルに検査対象物の画像データを入力して、該機械学習モデルが出力する検査対象物の画像データを取得するステップであって、前記入力される画像データは前記タイリング処理されたものである、取得するステップと、
前記処理回路により、出力された画像データから、入力された画像データを差し引いて、予測画像データを取得するステップと、
前記処理回路により、予測画像データについて逆タイリング処理を行うステップであって、逆タイリング処理では、組み合わせ前の予測画像データの各々において、重複する縁部の外側に当たる１／２の部分が無視された上で組み合わされる、逆タイリング処理を行うステップと
を含む、欠陥検出方法。
前記処理回路により、出力された画像データから、入力された画像データを差し引いて、予測画像データを取得するステップと、
前記処理回路により、予測画像データについて逆タイリング処理を行うステップであって、逆タイリング処理では、組み合わせ前の予測画像データの各々において、重複する縁部の外側に当たる１／２の部分が無視された上で組み合わされる、逆タイリング処理を行うステップと
を含む、欠陥検出方法。
【請求項4】
前記逆タイリング処理を行うステップにおいて、組み合わせ前の複数の予測画像データの間で欠陥の種類毎に所定の色に基づき色相、彩度、及び、明度が調整される、
請求項３に記載の欠陥検出方法。
請求項３に記載の欠陥検出方法。
【請求項5】
更に、
前記処理回路が、前記予測画像データに含まれる前記所定の色の部分の、前記予測画像データの平均画素からの乖離状況により、前記検査対象物の画像データにおける欠陥を検出して分類するステップを含む、
請求項４に記載の欠陥検出方法。
前記処理回路が、前記予測画像データに含まれる前記所定の色の部分の、前記予測画像データの平均画素からの乖離状況により、前記検査対象物の画像データにおける欠陥を検出して分類するステップを含む、
請求項４に記載の欠陥検出方法。
【請求項6】
更に、
前記予測画像データが前記所定の色の何れでもない例外色の部分を含む場合、前記処理回路が、当該例外色の部分について、画素値の累積状況により、前記欠陥の種類の何れでもない欠陥を検出して分類するステップを含む、
請求項４に記載の欠陥検出方法。
前記予測画像データが前記所定の色の何れでもない例外色の部分を含む場合、前記処理回路が、当該例外色の部分について、画素値の累積状況により、前記欠陥の種類の何れでもない欠陥を検出して分類するステップを含む、
請求項４に記載の欠陥検出方法。
【請求項7】
前記処理回路に、請求項１～６のうちのいずれか一に記載の欠陥検出方法を実行させるコンピュータプログラム。
【請求項8】
コンピュータ装置及び記憶装置を備える欠陥検出システムであって、
前記コンピュータ装置が、請求項１～６のうちのいずれか一に記載の欠陥検出方法を実行する、欠陥検出システム。
前記コンピュータ装置が、請求項１～６のうちのいずれか一に記載の欠陥検出方法を実行する、欠陥検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、欠陥検出方法、欠陥検出システム、及び、欠陥検出プログラムに関し、特に、様々な製品に現れる欠陥を検出するための方法、システム、及びコンピュータプログラムに関する。
【背景技術】
【0002】
従来、様々な工業製品の製造工程における品質管理のために外観の目視検査が行われている。ところが、目視検査では検査者に熟練した技能が求められ、効率化や大量化を図ることは困難である。
【0003】
工業製品の外観に現れる欠陥を、撮像装置による撮像データを適宜解析する画像処理技術により、精確に且つ効率的に検出することが求められている。
【0004】
特許文献１は、ニューラルネットワークを用いて高速かつ精度よく外観検査を実行する外観検査装置を開示する。当該外観検査システムにおいて、識別器は、検査対象を撮影し、検査画像に欠陥が写っている場合にはＣＮＮを用いて欠陥サイズを判定する。当該ＣＮＮは、検査画像を入力としてセマンティックセグメンテーションを行うことはなく、画像に写っている欠陥のサイズがどのクラスに属するかの確率を出力し、これにより計算量が抑制される。欠陥サイズが閾値よりも大きい場合には、修正が必要と記録される。このように、特許文献１の外観検査装置は、欠陥のサイズを判定するに過ぎない。
【0005】
特許文献２は、２次元画像情報を基に対象車両を２次元的および３次元的に検出し、対象車両の幅および奥行きを把握する対象物検出装置を開示する。対象物である車両の検出に当たって、対象物検出装置は車両の幅及び奥行きという３次元のサイズを把握するに過ぎず、例えば、外観上の様々な欠陥を検出することは行わない。
【0006】
特許文献３は、対象物の外観を撮像する撮像部と、撮像部の撮像画像に基づいて、対象物の欠陥を、予め設定済の欠陥に分類する複数の分類部とを有する、外観検査システムを開示する。この分類部では学習済みモデルが用いられているが、特許文献３は、この学習済みモデルを実効的に学習させる方法や装置については開示していない。
【0007】
特許文献４は、処理対象とする利用者画像データの特定の領域を特定して利用者にとって好ましい画像処理を施す画像処理装置を開示する。当該画像処理装置は、利用者の顔の所定部位の輪郭領域を抽出するものである。
【0008】
特許文献５は、学習データの真値作成作業の手間を省き、学習データの少量化を図ることで、学習時間の短期間化を可能とするパターン検査システムを提供する。特にパターン検査システムは、複数のパターン画像から機械学習に用いる学習用パターン画像を選択する画像選択部を備えることを特徴とするものである。
【先行技術文献】
【特許文献】
【0009】
【特許文献1】特開２０２１－９２８８７号公報
【特許文献2】特開２０２１－８６５２０号公報
【特許文献3】特開２０２１－６７５０８号公報
【特許文献4】特開２０２１－４３７９７号公報
【特許文献5】特開２０２０－３５２８２号公報
【発明の概要】
【発明が解決しようとする課題】
【0010】
本開示は、様々な製品における様々な欠陥を、精確に且つ隈なく、自動的に且つ効率的に検出することを目的とする。
【課題を解決するための手段】
【0011】
本開示の欠陥検出方法は、処理回路により、検査対象物を撮像した元画像における当該検査対象物に存在し得る輪郭状の欠陥部分及び領域状の欠陥部分に画像上、欠陥の種類毎に所定の色を塗るステップと、
処理回路により、検査対象物を撮像した欠陥のある元画像データと、所定の色を塗るステップにおいて元画像データに対して欠陥の種類毎に所定の色でラベルが付されたマーキング済み画像データとを、第１の教師データとして、一組以上の第１の教師データを用意するステップと、
処理回路により、検査対象物を撮像した欠陥の無い元画像データと、当該元画像データとの差異が無い恒等写像データとを、第２の教師データとして、一組以上の第２の教師データを用意するステップと、
処理回路により、第１の教師データ及び第２の教師データを用いて学習を行うことで学習済みの機械学習モデルを用意するステップと
を含む。
学習済みの機械学習モデルを用意するステップにおいては、
第１の教師データにおける、元画像データとマーキング済み画像データとをタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データとマーキング済み画像データの対応関係の学習を行い、並びに、
第２の教師データにおける、元画像データと恒等写像データとを、同様にタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データと恒等写像データの対応関係の学習を行い、
両方のタイリング処理では、タイリング後に隣接する切り分け画像の両方の縁部がオーバーラップするように切り分け画像が作成され、
更に、
第１の教師データにおける、切り分け画像とされたマーキング済み画像データがマーキングの部分を含まない場合、切り分け画像である元画像データと当該元画像データの恒等写像データの対応関係の学習を行う。
本開示の欠陥検出方法は、更に、
処理回路により、前記学習済みの機械学習モデルに検査対象物の画像データを入力して、該機械学習モデルが出力する検査対象物の画像データを取得するステップであって、入力される画像データはタイリング処理されたものである、取得するステップと、
処理回路により、出力された画像データから、入力された画像データを差し引いて、予測画像データを取得するステップと、
処理回路により、予測画像データについて逆タイリング処理を行うステップであって、逆タイリング処理では、組み合わせ前の予測画像データの各々において、重複する縁部の外側に当たる１／２の部分が無視された上で組み合わされる、逆タイリング処理を行うステップと
を含む。
処理回路により、検査対象物を撮像した欠陥のある元画像データと、所定の色を塗るステップにおいて元画像データに対して欠陥の種類毎に所定の色でラベルが付されたマーキング済み画像データとを、第１の教師データとして、一組以上の第１の教師データを用意するステップと、
処理回路により、検査対象物を撮像した欠陥の無い元画像データと、当該元画像データとの差異が無い恒等写像データとを、第２の教師データとして、一組以上の第２の教師データを用意するステップと、
処理回路により、第１の教師データ及び第２の教師データを用いて学習を行うことで学習済みの機械学習モデルを用意するステップと
を含む。
学習済みの機械学習モデルを用意するステップにおいては、
第１の教師データにおける、元画像データとマーキング済み画像データとをタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データとマーキング済み画像データの対応関係の学習を行い、並びに、
第２の教師データにおける、元画像データと恒等写像データとを、同様にタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データと恒等写像データの対応関係の学習を行い、
両方のタイリング処理では、タイリング後に隣接する切り分け画像の両方の縁部がオーバーラップするように切り分け画像が作成され、
更に、
第１の教師データにおける、切り分け画像とされたマーキング済み画像データがマーキングの部分を含まない場合、切り分け画像である元画像データと当該元画像データの恒等写像データの対応関係の学習を行う。
本開示の欠陥検出方法は、更に、
処理回路により、前記学習済みの機械学習モデルに検査対象物の画像データを入力して、該機械学習モデルが出力する検査対象物の画像データを取得するステップであって、入力される画像データはタイリング処理されたものである、取得するステップと、
処理回路により、出力された画像データから、入力された画像データを差し引いて、予測画像データを取得するステップと、
処理回路により、予測画像データについて逆タイリング処理を行うステップであって、逆タイリング処理では、組み合わせ前の予測画像データの各々において、重複する縁部の外側に当たる１／２の部分が無視された上で組み合わされる、逆タイリング処理を行うステップと
を含む。
【発明の効果】
【0012】
本開示の欠陥検出方法及び欠陥検出システムは、様々な製品における様々な欠陥を、精確に隈なく効率的に検出することができる。特に、本開示の欠陥検出方法及び欠陥検出システムは、良品、既知の不良を含む不良品、及び、未知の不良を含む不良品を、検出して分類することができる。
【図面の簡単な説明】
【0013】
【図7B】図７Ｂは、（１）元画像、（２）入力画像、（３）出力画像、（４）予測画像、（５）トリミングされた答え画像、及び、（５）答え画像についての、一連の例における、不良部分を含まない下半分を特に示す図である。
【図7C】図７Ｃは、（１）元画像、（２）入力画像、（３）出力画像、（４）予測画像、（５）トリミングされた答え画像、及び、（５）答え画像についての、一連の例における、不良部分を含む上半分を示す図である。
【発明を実施するための形態】
【0014】
以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。
【0015】
なお、発明者は、当業者が本開示を十分に理解するために添付図面および以下の説明を提供するのであって、これらによって特許請求の範囲に記載の主題を限定することを意図するものではない。
【0016】
１．［本開示に至る経緯］
従来、様々な製品の製造工程における品質管理のために、外観の目視検査が行われている。目視検査は、検査者に熟練した技能が求められるので、効率化を図ることが困難である。このため、製品の外観に現れる欠陥を、画像処理技術により自動的に且つ精確に検出することが求められている。
従来、様々な製品の製造工程における品質管理のために、外観の目視検査が行われている。目視検査は、検査者に熟練した技能が求められるので、効率化を図ることが困難である。このため、製品の外観に現れる欠陥を、画像処理技術により自動的に且つ精確に検出することが求められている。
【0017】
ここでの画像処理技術とは、例えば、製品の製造ラインの上方部から当該製造ラインを移動する製造中の製品を撮像する、撮像装置（例えば、カメラ）を設置し、当該撮像装置が撮像する製品の画像データから自動的に製品の欠陥部分を検出する、というものである。なお、例えば、Ｘ線撮像装置により得られる画像データを用いれば、製品の外観上だけでなく製品の内部の欠陥部分も自動的に検出できることになる。製品の画像データから自動的に欠陥部分を検出するために、例えば、ルールベースのアルゴリズムなど、画像データを処理する様々なソフトウエアが用いられ得る。なお、本開示においては、製品として、金属加工製品、金属（例えば、アルミニウム）インゴット、樹脂による成形製品、壁材等を想定している。
【0018】
しかしながら、製品の欠陥は、「ヨゴレ（汚れ）」、「キズ（疵）」、「クラック」、「変色不良」、「凹凸」等、様々である。それに加えて、製品毎に欠陥は異なり、画像上の現れ方も異なる。個々の製品について、精確に且つ隈なく自動的に欠陥を検出することは容易でない。
【0019】
本開示は上述の問題意識の下でなされたものである。つまり、本開示の欠陥検出システムは、被検査物の元画像データと、当該被検査物に存在し得る輪郭状の欠陥部分及び領域状の欠陥部分に画像上、欠陥の種類毎に所定の色でラベルが付されたマーキング済み画像データとを、教師データとして、学習させた学習済みの機械学習モデルを用意する。更に、本開示の欠陥検出システムは、当該学習済みの機械学習モデルに、被検査物たる検査対象製品の画像データを入力して、当該製品の欠陥を予測して検出する。このようにすることにより、本開示の欠陥検出システムは、様々な製品における様々な欠陥を、精確に隈なく効率的に検出することができる。
【0020】
更に、本開示では、未知の不良（欠陥）も検出することも意図している。ここで未知の不良（欠陥）とは、良品にも、上述のように教師データとして定義される不良品パターンにも該当しない不良（欠陥）である。未知の不良の検出を実現するために、本開示では、良品学習と不良品学習とのハイブリット型の学習方法の実現を意図している。これに基づいて、良品の分類、教師データとして定義した不良品のパターン（ヨゴレ（汚れ）、キズ（疵）、クラック、変色不良、凹凸、等）の分類、及び、未知の不良の分類を行う。この学習方法では、良品に関しては入力画像と同じ画像を出力するように機械学習モデルを学習させ、不良品に関しては教師データとして定義した不良の類似パターンを出力するように機械学習モデルを学習させる。入力画像と同じ画像を出力させるように機械学習モデルを学習させることを、一般に、恒等写像を学習させると言う。このように学習する本開示の欠陥検出システムは、予測フェーズにおいて、恒等写像を実現せず、且つ、定義した不良の類似パターンも出力しない場合には、出力画像は未知の不良を含むものである、と予測する。
【0021】
なお、本開示に係る画像処理技術で取り扱う画像データは、基本的にはカラー画像データである。一つの（カラー）画像データはＲＧＢの３層により構成されているため、一つの画像データにおけるＲＧＢの３層の各々に対する処理は分かれたものとなるが、以下では特に断らない限り、分けることなく一つの処理として記載する。また、例えば、Ｘ線撮像装置により得られる画像データを用いれば、当然ながら製品の外観上だけでなく製品の内部の欠陥部分も自動的に検出できることになる。
【0022】
２．［実施の形態］
以下、添付の図面を参照して、本開示の好ましい実施の形態を説明する。
以下、添付の図面を参照して、本開示の好ましい実施の形態を説明する。
【0023】
２．１．［システム構成］
実施の形態に係る欠陥検出システム及び欠陥検出方法は、何らかの欠陥が現れている工業製品の画像データから、欠陥部分を自動的に検出するシステム及び方法である。図１は、本実施の形態に係る欠陥検出システム２のシステム構成図である。
実施の形態に係る欠陥検出システム及び欠陥検出方法は、何らかの欠陥が現れている工業製品の画像データから、欠陥部分を自動的に検出するシステム及び方法である。図１は、本実施の形態に係る欠陥検出システム２のシステム構成図である。
【0024】
欠陥検出システム２は、コンピュータ装置４及び記憶装置１２を有する。コンピュータ装置４及び記憶装置１２は有線または無線の通信回線で接続されており、互いにデータを送受信可能である。欠陥検出システム２は更に外部ネットワーク１８に接続されており、外部ネットワーク１８に接続された他のコンピュータシステムとの間でデータを授受する。欠陥検出システム２は、特に、一つ以上の撮像装置１６と接続する。更に、欠陥検出システム２は、学習サーバ１４と接続するのが望ましい。
【0025】
コンピュータ装置４は、一つ以上のプロセッサを搭載するサーバ機、若しくはワークステーションコンピュータ等である。
【0026】
記憶装置１２は、ディスクドライブやフラッシュメモリ等の、コンピュータ装置４の外部に設けられる記憶装置であり、コンピュータ装置４で用いられる各種データベース、各種データセット、及び、各種コンピュータプログラムを記憶する。記憶装置１２には、例えば、後で説明する、撮像装置１６から、或いは、外部から、送信される画像データが記録される。
【0027】
撮像装置１６は、例えば、光学カメラであり、例えば、ＣＭＯＳやＣＣＤ等の撮像素子と、撮像素子を制御する撮像制御手段を含む。撮像装置１６は、前述のように、例えばＸ線撮像装置であってもよい。また、撮像装置１６は、別途レンズ等の光学系を備えるのが好ましい。撮像装置１６は画像データをコンピュータ装置４等と送受信する。
【0028】
学習サーバ１４は、記憶装置１２に記録される画像データ等を用いて、後で説明する機械学習モデルの学習を行う。
【0029】
外部ネットワーク１８は、例えば、インターネットであり、ネットワーク端子等のインタフェース装置６を介して、コンピュータ装置４と接続する。
【0030】
更にコンピュータ装置４は、インタフェース装置６、処理回路８、及びメモリ１０を含む。
【0031】
インタフェース装置６は、ネットワーク端子、映像入力端子、ＵＳＢ端子、キーボード、マウス等を含む、外部からデータを取得可能なインタフェースユニットである。外部から、インタフェース装置６を介して、種々のデータが取得される。データは、例えば、後で説明する、検査対象の製品の画像データ、及び、画像上、欠陥部分に色塗りがデータとして施された製品の画像データである。取得後、これらのデータは、記憶装置１２に記録され得る。記憶装置１２に記録されるデータは適宜、インタフェース装置６を介して、コンピュータ装置４内に取得され得る。
【0032】
更に、欠陥検出システム２により生成される各種データは、記憶装置１２に適宜記録される。各種データは、例えば、後で説明する、学習済み機械学習モデルから出力される予測画像データである。このような欠陥検出システム２により生成され記憶装置１２に適宜記録される各種データは、インタフェース装置６を介して、コンピュータ装置４内に再び取得され得る。
【0033】
処理回路８は、プロセッサにより構成される。ここでのプロセッサは、ＣＰＵ(Central Processing Unit;中央処理ユニット)やＧＰＵ(Graphics Processing Unit；画像処理ユニット)を包括するものである。本実施の形態に係る欠陥検出システム２の各種処理は、各種プログラムを処理回路８が実行することによって実現される。なお、当該各種処理は、ＡＳＩＣ（Application Specific Integrated Circuit）などによって実現されてもよいし、これらの組合せによって実現されてもよい。
【0034】
本開示における処理回路８は、複数台の信号処理回路から構成されてもよい。各信号処理回路は、例えばＣＰＵ（Central Processing Unit）またはＧＰＵ（Graphics Processing Unit）であり、「プロセッサ」と呼ばれ得る。本実施の形態に係る欠陥検出システム２における様々な処理の一部を、あるプロセッサ（例えば、或るＧＰＵ）が実行し、他の一部の処理を、他のプロセッサ（例えば、或るＣＰＵ）が実行してもよい。
【0035】
メモリ１０は、コンピュータ装置４内部のデータ書き換えが可能な記憶部であり、例えば、多数の半導体記憶素子を含むＲＡＭ（Random Access Memory）により構成される。メモリ１０は、処理回路８が様々な処理を実行する際の、具体的なコンピュータプログラムや、変数値や、パラメータ値等を一時的に格納する。なおメモリ１０は、いわゆるＲＯＭ（Read Only Memory）を含んでもよい。ＲＯＭには、以下で説明する欠陥検出システム２の処理を実現するコンピュータプログラムが予め格納されている。処理回路８がＲＯＭからコンピュータプログラムを読み出し、ＲＡＭに展開することにより、処理回路８が当該コンピュータプログラムを実行可能になる。
【0036】
本実施の形態に係る欠陥検出システム２は、Ｐｙｔｈｏｎ等のコンピュータ言語を用いて構築されている。本開示に係る欠陥検出システム２の構築のために用いられ得るコンピュータ言語はこれらに限定されるものでは無く、勿論、他のコンピュータ言語が用いられてもよい。
【0037】
更に、本実施の形態に係る欠陥検出システム２においては、学習済みの機械学習モデルが構築されている。本実施の形態に係る機械学習モデルは、後でも説明するように、例えば、Ｕ－ＮｅｔやＲｅｓ－ｎｅｔ等のネットワーク構造を用いて構築される。
【0038】
２．２．［システムの動作］
本実施の形態に係る欠陥検出方法は、概略、以下の４つのフェーズにより構成される。
（１）色塗りによる教師データ作りフェーズ
（２）前処理及び学習フェーズ
（３）予測フェーズ
（４）後処理及び検出フェーズ
本実施の形態に係る欠陥検出システムは、上述の４つのフェーズを含む欠陥検出方法を実行する。夫々のフェーズについて、以下にて説明する。
本実施の形態に係る欠陥検出方法は、概略、以下の４つのフェーズにより構成される。
（１）色塗りによる教師データ作りフェーズ
（２）前処理及び学習フェーズ
（３）予測フェーズ
（４）後処理及び検出フェーズ
本実施の形態に係る欠陥検出システムは、上述の４つのフェーズを含む欠陥検出方法を実行する。夫々のフェーズについて、以下にて説明する。
【0039】
２．２．１．［色塗りによる教師データ作りフェーズ］
本実施の形態に係る欠陥検出システムでは、適宜の色塗りツールを用いて、欠陥を含む元画像データに対して、欠陥部分にラベルとして色が付される（塗られる）。ここでの適宜の色塗りツールとは、例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）社によるＷｉｎｄｏｗｓ（登録商標）の「ペイント」である。
本実施の形態に係る欠陥検出システムでは、適宜の色塗りツールを用いて、欠陥を含む元画像データに対して、欠陥部分にラベルとして色が付される（塗られる）。ここでの適宜の色塗りツールとは、例えば、Ｍｉｃｒｏｓｏｆｔ（登録商標）社によるＷｉｎｄｏｗｓ（登録商標）の「ペイント」である。
【0040】
図２は、色塗り時、即ち、ラベリング時の、色の内容を記録したテーブルである。図２は、検査対象物たる製品の、例えば、外観上に欠陥を含む元画像データにおける不良（即ち、欠陥）部分の種類に応じて、システム操作者により塗られる色が変えられることを示している。例えば、「キズ」部分には、「赤」が塗られる。更に、その「赤」の具体的なＲ（赤）Ｇ（緑）Ｂ（青）の成分情報がテーブルに記録される。ここでの「赤」のＲ（赤）Ｇ（緑）Ｂ（青）の成分情報は、「２３７」、「２８」、「３６」である。
【0041】
このテーブルへの記録の編集はシステム操作者により行われる。つまり、具体的な「色名」は、システム操作者により決定されてテーブルに記録される。更に、夫々の色の、具体的なＲ（赤）Ｇ（緑）Ｂ（青）の成分情報も、システム操作者により決定されてテーブルに記録される。
このテーブルは、例えば、一つのファイルとして、メモリ１０及び記憶装置１２に記憶される。
このテーブルは、例えば、一つのファイルとして、メモリ１０及び記憶装置１２に記憶される。
【0042】
また、「ヨゴレ」部分には、「黄色」が塗られるが、この「黄色」の具体的なＲ（赤）Ｇ（緑）Ｂ（青）の成分情報もテーブルに記録される。ここでの「黄色」のＲ（赤）Ｇ（緑）Ｂ（青）の成分情報は、「２５５」、「２４２」、「３６」である。
更に、「クラック」部分には、「オレンジ」が塗られるが、この「オレンジ」の具体的なＲ（赤）Ｇ（緑）Ｂ（青）の成分情報もテーブルに記録される。ここでの「オレンジ」のＲ（赤）Ｇ（緑）Ｂ（青）の成分情報は、「２５５」、「１２７」、「３９」である。
更に、「クラック」部分には、「オレンジ」が塗られるが、この「オレンジ」の具体的なＲ（赤）Ｇ（緑）Ｂ（青）の成分情報もテーブルに記録される。ここでの「オレンジ」のＲ（赤）Ｇ（緑）Ｂ（青）の成分情報は、「２５５」、「１２７」、「３９」である。
【0043】
製品の欠陥（不良）の種類としては、「ヨゴレ（汚れ）」、「キズ（疵）」、「クラック」の他に、「変色不良」や「凹凸」や「ムラ」等が想定される。勿論、他の欠陥（不良）が含まれてもよい。これらの欠陥についても、欠陥の種類毎に所定の色でラベルが付される、即ち、欠陥の種類毎に所定の色が塗り分けられることになる。例えば、「変色不良」部分には「緑色」が塗られ、「凹凸」部分には「青色」が塗られ、「ムラ」部分には「紫色」が塗られる、等である。夫々の色についてもＲ（赤）Ｇ（緑）Ｂ（青）の成分情報が決定されて図２に示すテーブルに記録される。欠陥の種類と所定の色の対応関係をテーブルにより保持することで、入力画像データに示される欠陥を分類することに繋げられる。
【0044】
図３Ａは、色塗りによる教師データ作りフェーズにおける画像データに対する色塗り使用例である。具体的には、図３Ａ（Ａ１）は、「ペイント」の「ブラシ」の使用例である。「ブラシ」は、線状の欠陥部分３２に色を付すときや、細かい欠陥部分３４に色を付すときに用いられる。「ブラシ」の使用例は、後で説明する「輪郭ラベリング」に繋がりやすい。
【0045】
図３Ａ（Ａ２）は、「ペイント」の「多角形描画」の使用例である。「多角形描画」は、或る程度の面積を有する範囲の欠陥部分３６に色を付すときに用いられる。「多角形描画」の使用例は、後で説明する「領域ラベリング」に繋がりやすい。
【0046】
２．２．２．［前処理及び学習フェーズ］
本実施の形態に係る欠陥検出システム及び欠陥検出方法では、［色塗りによる教師データ作りフェーズ］にて色が付された教師データ、即ち、マーキング済み学習データを、輪郭ラベリングデータと領域ラベリングデータとに分ける。
本実施の形態に係る欠陥検出システム及び欠陥検出方法では、［色塗りによる教師データ作りフェーズ］にて色が付された教師データ、即ち、マーキング済み学習データを、輪郭ラベリングデータと領域ラベリングデータとに分ける。
【0047】
図３Ｂ（Ｂ１）は、輪郭ラベリングデータ３７の例であり、図３Ｂ（Ｂ２）は、領域ラベリングデータ３９の例である。輪郭ラベリングとは、画像データの輪郭に対してラベリングを付すことである。つまり、輪郭ラベリングとは、検査対象物に存在し得る輪郭状の欠陥部分に画像上、所定の色であるラベルを付してマーキング済み画像データとすることあり、細い若しくは小さい欠陥（不良）についての教師データの作成に有効である。検査対象の製品に対して斜めから照明を当てる、コントラスト強調パターンを作成しようとする撮像方法と相性が良いラベリングである。領域ラベリングとは、画像データの領域に対してラベリングを付すことである。つまり、領域ラベリングとは、検査対象物に存在し得る領域状の欠陥部分に画像上、所定の色であるラベルを付してマーキング済み画像データとすることあり、大きい範囲を持つ欠陥（不良）についての教師データの作成に有効である。検査対象の製品に対して垂直方向から照明を当てる、色味強調パターンを作成しようとする撮像方法と相性が良いラベリングである。
【0048】
輪郭ラベリングデータと、領域ラベリングデータとに対応して、二つの機械学習モデルが用意されてもよい。つまり、輪郭ラベリングデータのみを正解データ（教師データ）として学習して、輪郭状の欠陥を検出する機械学習モデルと、領域ラベリングデータのみを正解データ（教師データ）として学習して、領域状の欠陥を検出する機械学習モデルとが、用意されてもよい。本発明者は、輪郭ラベリングデータと、領域ラベリングデータとに対応して、二つの機械学習モデルを用意することが、欠陥の予測・検出の精度が向上する傾向にあることを把握している。
【0049】
一方で、一つの機械学習モデルが、輪郭ラベリングデータと領域ラベリングデータとを正解データ（教師データ）として学習して、輪郭状の欠陥と領域状の欠陥とを検出する、というように、機械学習モデルが構成されてもよい。
【0050】
続いて、タイリング処理について説明する。機械学習モデルの学習時にて、元画像データ及びマーキング済み画像データの画素数が相応に多い場合に、元画像データ及びマーキング済み画像データに対して画像圧縮等を行うと、解像度落ちが生じる。解像度落ちが生じた教師データ、即ち、画素落ちが生じている、元画像データ及びマーキング済み画像データ、により、機械学習モデルの学習を行うと、欠陥を見逃す、特に小さい欠陥を見逃す、学習済みの機械学習モデルとなってしまうことが想定され得る。
【0051】
そこで、本実施の形態に係る欠陥検出システム及び欠陥検出方法では、機械学習モデルが処理する画像データを、例えば、２５６（画素）×２５６（画素）の、比較的小さいデータとする。なお、この機械学習モデルが処理する画像データは、別のサイズ、例えば、１２８（画素）×１２８（画素）のデータであってもよい。この、例えば、２５６（画素）×２５６（画素）のサイズに合うように、機械学習モデルが処理する画像データ（例えば、元画像データ及びマーキング済み画像データ）について、切り分けを行う。即ち、機械学習モデルが処理する画像データについて「タイリング処理」を行う。
【0052】
図４Ａは、本実施の形態に係る欠陥検出システムにおける、タイリング処理、及び、欠陥検出のための機械学習モデルの適用処理を、模式的に示す図である。例えば、１３００画素×１３００画素の画像データ４０について、タイリング処理（ｔ）を行い、切り分け画像データ４２とする。学習時には、元画像データ及びマーキング済み画像データについてタイリング処理（ｔ）を行う。切り分けられた教師データ（切り分け画像データ４２）により、機械学習モデル４４について学習を行う。即ち、タイリングした切り分け画像毎に元画像データとマーキング済み画像データの対応関係の学習を行う。
【0053】
更に、学習時に合わせて、後で説明するように、予測時において、予測対象の画像データについても、タイリング処理を行う。
【0054】
図４Ｂは、本実施の形態に係る欠陥検出システムの、タイリング処理における画像データの切り分け処理を示すフローチャートである。ここでは、機械学習モデルが処理する画像データは、２５６（画素）×２５６（画素）の画像データである、とされている。
【0055】
図４Ｂに示す切り分け処理では、先ず、画像データの縦が２５６画素より大きいか否かチェックされる（ステップＳ０４）。画像データの縦が２５６画素以下であれば、次（ステップＳ０８以下）に移行する。
【0056】
画像データの縦が２５６画素より大きければ、オーバーラップのマージンを、例えば、６０画素より大きくして、画像データの縦について切り分ける（ステップＳ０６）。「オーバーラップのマージン」については、図５及び図８Ａを用いて、後にて説明する。
【0057】
次に、画像データの横が２５６画素より大きいか否かチェックされる（ステップＳ０８）。画像データの縦が２５６画素以下であれば、終了（ステップＳ１２）に移行する。
【0058】
画像データの横が２５６画素より大きければ、オーバーラップのマージンを、例えば、６０画素より大きくして、画像データの横について切り分ける（ステップＳ０６）。
【0059】
縦及び横の切り分けにより、生成された画像データを切り分け画像データとして、機械学習モデルの処理に向ける。
【0060】
２．２．２．１．タイリングにおけるオーバーラップについて
後でも説明するように、本実施の形態に係る欠陥検出システムでは機械学習モデルとして、完全畳み込みニューラルネットワーク（Ｆｕｌｌｙ ｃｏｎｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の構成のものを利用している。このような本実施の形態に係る欠陥検出システムでは、学習済みの機械学習モデルが、予測時（即ち、検出時）にて、特に、切り分け画像データの縁の部分にて、欠陥の過検出を含む誤検出を生じさせる傾向があることを、本発明者は把握している。これは、学習済みの機械学習モデルが、画像データの縁の部分そのものを、何らかの輪郭又は領域により表される欠陥であると捉え得るからであると、本発明者は想定している。
後でも説明するように、本実施の形態に係る欠陥検出システムでは機械学習モデルとして、完全畳み込みニューラルネットワーク（Ｆｕｌｌｙ ｃｏｎｎｖｏｌｕｔｉｏｎａｌ ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）の構成のものを利用している。このような本実施の形態に係る欠陥検出システムでは、学習済みの機械学習モデルが、予測時（即ち、検出時）にて、特に、切り分け画像データの縁の部分にて、欠陥の過検出を含む誤検出を生じさせる傾向があることを、本発明者は把握している。これは、学習済みの機械学習モデルが、画像データの縁の部分そのものを、何らかの輪郭又は領域により表される欠陥であると捉え得るからであると、本発明者は想定している。
【0061】
このような誤検出を抑えるため、本実施の形態では、タイリング処理にて、以下のようにオーバーラップを採る。
（ａ）先ず、仮に切り分けた範囲を作成する。
（ｂ）仮に切り分けた範囲よりも少し大きい範囲での本切り分けを実施する。
ここで、「少し大きい範囲での本切り分け」は、仮の切り分けのラインを挟む、隣接し合う切り分け範囲（画像）の両方に関して行うから、隣接する切り分け画像の両方の縁部において、重複するオーバーラップのマージンが生じることになる。
（ａ）先ず、仮に切り分けた範囲を作成する。
（ｂ）仮に切り分けた範囲よりも少し大きい範囲での本切り分けを実施する。
ここで、「少し大きい範囲での本切り分け」は、仮の切り分けのラインを挟む、隣接し合う切り分け範囲（画像）の両方に関して行うから、隣接する切り分け画像の両方の縁部において、重複するオーバーラップのマージンが生じることになる。
【0062】
図５は、オーバーラップのマージンの発生を含むタイリング処理を模式的に示す図である。図５（１）において、点線は仮の切り分けのラインを示す。仮に切り分けた範囲よりも少し大きい範囲での本切り分けを実施すると、図５（２）に示す、切り分け画像データが生成される。図５（２）に示す切り分け画像データにおける縁の部分が、隣接の切り分け画像データとオーバーラップするマージン部分である。
【0063】
学習時には、画像データは、図５（２）に示すような部分に切り分けられて、教師データとされる。
予測時（検出時）には、画像データは、図５（２）に示すような部分に切り分けられて、学習済みの機械学習モデルに入力される。更に、学習済みの機械学習モデルから出力される予測データ（検出データ）は、図８Ａ（Ａ１）（Ａ２）に示すように、逆タイリング処理されて、組み合わされる。この際、オーバーラップするマージン部分の、より縁側（即ち、外側）に当たる、１／２の部分が、無視される。この、オーバーラップするマージン部分の、外側に当たる１／２の部分が、無視されることにより、上述の誤検出が抑制される。
予測時（検出時）には、画像データは、図５（２）に示すような部分に切り分けられて、学習済みの機械学習モデルに入力される。更に、学習済みの機械学習モデルから出力される予測データ（検出データ）は、図８Ａ（Ａ１）（Ａ２）に示すように、逆タイリング処理されて、組み合わされる。この際、オーバーラップするマージン部分の、より縁側（即ち、外側）に当たる、１／２の部分が、無視される。この、オーバーラップするマージン部分の、外側に当たる１／２の部分が、無視されることにより、上述の誤検出が抑制される。
【0064】
本実施の形態では、図５（２）及び図８Ａ（Ａ１）に示す切り分け画像データが、例えば、２５６画素×２５６画素となるように、且つ、切り分け画像データにおけるオーバーラップのマージン部分が、少なくとも６０画素～８０画素程度となるように、欠陥検出システムにおけるタイリング処理及び逆タイリング処理が、制御される。
【0065】
図６Ａは、（１）元画像データと、（２）ラベル付き画像データ（即ち、マーキング済み画像データ）との対応関係をネットワーク構造にて学習させる様子を模式的に示す図である。タイリングした夫々の部分画像に対して、色塗り箇所とそうで無い箇所との対応関係を、機械学習モデルに係るネットワーク構造で学習させる。即ち、タイリングした切り分け画像毎に元画像データとマーキング済み画像データの対応関係の学習を行わせる。
【0066】
本実施の形態に係る欠陥検出システムにて構成される、機械学習モデルに係るネットワーク構造について説明する。本実施の形態の機械学習モデルに係るネットワークは、例えば、Ｕ－ｎｅｔ、Ｒｅｓ－ｎｅｔ、ｓｋｉｐｐｅｄ ｃｏｎｎｅｃｔｉｏｎ、ｂａｔｃｈ ｎｏｒｍａｌｉｚａｔｉｏｎ、及び、Ｍａｘ ｐｏｏｌｉｎｇを全て含む、完全畳み込みニューラルネットワーク（Ｆｕｌｌｙ Ｃｏｎｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ；ＦＣＮＮ）の構造で実現され得る。
【0067】
ネットワーク構造は、上述のものに限定されない。画像データをインプットとし、画像データをアウトプットとする、畳み込みニューラルネットワーク（ＣＮＮ）であることは必須であると想定されるが、この例としては、オートエンコーダが挙げられる。
【0068】
また、通常ＣＮＮではインプット画像のサイズが固定されるが、ＦＣＮＮではインプット画像サイズに制約は無い。インプット画像のサイズをリサイズする構成を設けるのであれば、本実施の形態の機械学習モデルに係るネットワークは、ＣＮＮで実現され得ることになる。
【0069】
２．２．２．２．学習フェーズにおける、良品学習と不良品学習とのハイブリット型の学習について
本実施の形態に係る欠陥検出システムの学習フェーズでは、良品学習と不良品学習とのハイブリット型の学習を意図している。
本実施の形態に係る欠陥検出システムの学習フェーズでは、良品学習と不良品学習とのハイブリット型の学習を意図している。
【0070】
まず、図６Ｂは、（１）元画像データと、（２）答え画像（教師画像）データとの対応関係をネットワーク構造にて学習させる様子を模式的に示す図であり、特に、不良品画像の学習に関する模式図である。タイリングされた元画像である夫々の領域に関して（３）欠陥を含むものと、（５）不良（欠陥）として色を塗り分けられたものとの対応関係を、上述のネットワーク構造で学習させる。
【0071】
更に、タイリングされた元画像である夫々の領域に関して（３）欠陥のないものと、（５）良品として色塗りされないものとの対応関係を、同じく上述のネットワーク構造で学習させる。
【0072】
つまり、不良（欠陥）を含む元画像における、個々のタイリングの領域に関して、不良箇所を含まない領域は、良品の教師データとしてネットワーク構造を学習させる。このとき元画像の領域と教師画像（答え画像）の領域とは、差がゼロになるように（即ち、同じ画像領域となるように）学習させる。つまり、個々のタイリングの領域に関して不良箇所を含まない領域に対しては、恒等写像を学習させる。
【0073】
次に、図６Ｃは、（１）元画像データと、（２）答え画像（教師画像）データとの対応関係をネットワーク構造にて学習させる様子を模式的に示す図であり、特に、良品画像の学習に関する模式図である。タイリングされた元画像である夫々の領域に関して（３）欠陥のないものと、（５）良品として色塗りされないものとの対応関係を、上述のニューラルネットワーク構造で学習させる。このとき元画像は不良（欠陥）を含まないから、個々のタイリングの領域の全てに関して、良品の教師データとしてネットワーク構造を学習させる。このときも元画像の領域と教師画像（答え画像）の領域とは、差がゼロになるように（即ち、同じ画像領域となるように）学習させる。つまり、タイリングの領域の全ては不良箇所を含まないから、タイリングの領域の全てに対して恒等写像を学習させる。
【0074】
上述の、図６Ｂ及び図６Ｃに関する説明で述べるように、本実施の形態に係る欠陥検出システムでは、良品学習と不良品学習とのハイブリット型の学習を意図している。図６Ｄは、良品、定義した不良、及び未知の不良の、夫々の画像データに対する、学習済みモデルの出力例である。元画像が（１）良品のものである場合、恒等写像による良品学習が行われる。良品学習により、良品画像である入力画像に対する（２）出力画像は、図６Ｄ右部上段に示すように、入力画像と略、差異の無いものとなる。
【0075】
元画像が（１）色塗りにより定義された不良（欠陥）を含むものである場合、所定の欠陥（不良）に対して所定の色を塗られた教師データによる学習、即ち、不良品学習を行う。不良品学習により、不良品画像である入力画像に対する（２）出力画像は、図６Ｄ右部中段に示すように、定義された色のラベリングが付されたものとなる。図６Ｄ右部中段の出力画像では、白色のラベリングが付されている。
【0076】
このような、良品学習と不良品学習とのハイブリット型の学習をネットワーク構造に対して行うと、色塗りにより定義された不良以外の、未知の不良（欠陥）を含む入力画像に対する（２）出力画像は、図６Ｄ右部下段に示すように、恒等写像によるものでも、定義された色のラベリングが付されたものでも、無い、例外色で表される画像となる。この画像は、全体的にぼやけた画像となっている。
【0077】
２．２．３．［予測フェーズ］
まず、図７Ａは、本実施の形態の機械学習モデルにおける（１）元画像データ、（２）入力画像データ、（３）出力画像データ、（４）予測画像データ、及び、（５）答え画像（教師画像）データの、一連の例を示す図である。これらの画像データは、全てタイリング処理された切り分け画像データであり、例えば、２５６画素×２５６画素のものである。
まず、図７Ａは、本実施の形態の機械学習モデルにおける（１）元画像データ、（２）入力画像データ、（３）出力画像データ、（４）予測画像データ、及び、（５）答え画像（教師画像）データの、一連の例を示す図である。これらの画像データは、全てタイリング処理された切り分け画像データであり、例えば、２５６画素×２５６画素のものである。
【0078】
図７Ａ（１）の元画像データに示すように、これらの画像データは、例えば、製造ライン７０上のアルミニウムインゴット７４を上方から撮像して得られたものである。アルミニウムインゴット７４は、製造ライン７０上面に設けられたチェーン７２により左右に移動する。
【0079】
図７Ａに示すように、図７Ａ（１）が元画像データである場合、それに対応する教師画像（答え画像）は図７Ａ（５）に示されるものである。つまり、図７Ａ（１）及び図７Ａ（５）は、機械学習モデルに対する教師データの一例である。図７Ａ（５）の答え画像データにて、欠陥部分にマーキング７６ａが付されている。
【0080】
図７Ａ（２）は、学習済みの機械学習モデルに対する入力画像データであり、図７Ａ（３）は、図７Ａ（２）の入力画像データが入力された際の、学習済みの機械学習モデルの出力画像データである。図７Ａ（３）の出力画像データにて、欠陥部分にラベリング７６ｂが付されている。
【0081】
図７Ａ（４）は、欠陥の予測画像データである。この予測画像データは、概略、以下の式により求められる。
［（４）予測画像データ］＝［（３）出力画像データ］－［（２）入力画像データ］
図７Ａ（４）の予測画像データでは、欠陥を示す色、即ち、ラベリング７６ｂのみが示されている。
［（４）予測画像データ］＝［（３）出力画像データ］－［（２）入力画像データ］
図７Ａ（４）の予測画像データでは、欠陥を示す色、即ち、ラベリング７６ｂのみが示されている。
【0082】
次に、図７Ｂは、本実施の形態の機械学習モデルにおける（１）元画像データ、（２）入力画像データ、（３）出力画像データ、（４）予測画像データ、（５）トリミングされた答え画像（教師画像）データ、及び、（５）答え画像（教師画像）データについての、一連の例における、不良部分を含まない下半分を特に示す図である。図７Ｂ（１）の元画像データに示すように、これらの画像データも、例えば、製造ライン７０上のアルミニウムインゴット７４を上方から撮像して得られたものである。アルミニウムインゴット７４は、製造ライン７０上面に設けられたチェーン７２により左右に移動する。
【0083】
図７Ｂに示すように、図７Ｂ（１）が元画像データである場合、それに対応する教師画像（答え画像）は図７Ｂ（６）に示されるものであり、同じくそれに対応する（下半分にトリミングされた）教師画像（答え画像）は図７Ｂ（５）に示されるものである。つまり、図７Ｂ（１）、並びに、図７Ｂ（５）及び図７Ｂ（６）は、機械学習モデルに対する教師データの一例である。図７Ｂ（６）の答え画像データでは、欠陥部分にマーキング７６ａが付されている。一方、図７Ｂ（５）のトリミングされた答え画像データとして、学習時には、恒等写像データが用いられる。
【0084】
図７Ｂ（２）は、学習済みの機械学習モデルに対する入力画像データであり、下半分のみの画像データである。図７Ｂ（３）は、図７Ｂ（２）の入力画像データが入力された際の、学習済みの機械学習モデルの出力画像データである。図７Ｂ（３）の出力画像データは、欠陥部分を示すラベリング７６ｂを含まない。
【0085】
図７Ｂ（４）は、欠陥の予測画像データである。この予測画像データも、以下の式により求められる。
［（４）予測画像データ］＝［（３）出力画像データ］－［（２）入力画像データ］
図７Ｂ（４）の予測画像データでは、何も示されていない。
［（４）予測画像データ］＝［（３）出力画像データ］－［（２）入力画像データ］
図７Ｂ（４）の予測画像データでは、何も示されていない。
【0086】
更に、図７Ｃは、本実施の形態の機械学習モデルにおける（１）元画像データ、（２）入力画像データ、（３）出力画像データ、（４）予測画像データ、（５）トリミングされた答え画像（教師画像）データ、及び、（５）答え画像（教師画像）データについての、一連の例における、不良部分を含む上半分を特に示す図である。図７Ｃ（１）の元画像データに示すように、これらの画像データも、製造ライン７０上のアルミニウムインゴット７４を上方から撮像して得られたものである。
【0087】
図７Ｃに示すように、図７Ｃ（１）が元画像データである場合、それに対応する教師画像（答え画像）は図７Ｃ（６）に示されるものであり、同じくそれに対応する（上半分にトリミングされた）教師画像（答え画像）は図７Ｃ（５）に示されるものである。つまり、図７Ｃ（１）、並びに、図７Ｃ（５）及び図７Ｃ（６）は、機械学習モデルに対する教師データの一例である。図７Ｃ（６）の答え画像データにて、欠陥部分にマーキング７６ａが付されている。同じく図７Ｃ（５）のトリミングされた答え画像データでも、欠陥部分にマーキング７６ａが付されている。
【0088】
図７Ｃ（２）は、学習済みの機械学習モデルに対する入力画像データであり、上半分のみの画像データである。図７Ｃ（３）は、図７Ｃ（２）の入力画像データが入力された際の、学習済みの機械学習モデルの出力画像データである。図７Ｃ（３）の出力画像データにて、欠陥部分にラベリング７６ｂが付されている。
【0089】
図７Ｃ（４）は、欠陥の予測画像データである。この予測画像データも、以下の式により求められる。
［（４）予測画像データ］＝［（３）出力画像データ］－［（２）入力画像データ］
図７Ｃ（４）の予測画像データでは、欠陥を示す色、即ち、ラベリング７６ｂのみが示されている。
［（４）予測画像データ］＝［（３）出力画像データ］－［（２）入力画像データ］
図７Ｃ（４）の予測画像データでは、欠陥を示す色、即ち、ラベリング７６ｂのみが示されている。
【0090】
２．２．４．［後処理及び検出フェーズ］
図８Ａは、逆タイリング処理を模式的に示す図である。切り分けされている画像データである、予測画像データ（図７（４）参照）は、逆タイリング処理が施され、当初の画像データのサイズにまで組み合わせられる。
図８Ａは、逆タイリング処理を模式的に示す図である。切り分けされている画像データである、予測画像データ（図７（４）参照）は、逆タイリング処理が施され、当初の画像データのサイズにまで組み合わせられる。
【0091】
前でも説明したように、逆タイリング処理では、予測画像データは、図８Ａ（Ａ１）（Ａ２）に示すように組み合わされる。切り分け画像データの各々においては、隣接する切り分け画像データとオーバーラップするマージンが存在する。
【0092】
図８Ｂは、逆タイリング処理の内容を示すフローチャートである。切り分け画像データの各々において、オーバーラップするマージン部分の、外側に当たる１／２の部分が、無視される（ステップＳ２４）。その上で、切り分け画像データが組み合わされる（ステップＳ２６）。このように、オーバーラップするマージン部分の、外側に当たる１／２の部分が無視されることは、欠陥の誤検出の抑制に繋がることである。
【0093】
次に、図９において、図９（１）は、逆タイリング処理により元のサイズに戻された、予測画像データの例である。図９（２）は、図９（１）に示す元のサイズに戻された予測画像データにおける個々の元のタイル間にて、色相・彩度・明度（ＨＳＶ）が調整されて生成された検出画像データの例である。
【0094】
図９（１）に示すように、逆タイリング処理により元のサイズに戻された予測画像データでは、個々の切り分け画像データ間で、色相・彩度・明度（ＨＳＶ）が僅かながらずれていることが生じ得る。そこで個々の（元の）タイル間で色相・彩度・明度（ＨＳＶ）が調整されるのが望ましい。ここで、欠陥の種類毎に所定の色に基づき色相・彩度・明度（ＨＳＶ）が調整されるのが望ましい。
【0095】
図９（１）に示す予測画像データは、幾つかの「キズ」部分を含むものであるとする。予測画像データにおいては、前述のように、「キズ」部分にはラベルとして、例えば、所定の色である「赤」が付されている。従って、欠陥の種類の一つである「キズ」を表す「赤」の色に基づいて色相、彩度、及び明度が調整される。図９（２）は、調整後の検出画像データの例である。図９（１）に示す予測画像データに他の欠陥の部分が含まれるのであれば、その欠陥の種類に対応する所定の色、例えば、「黄色」、「オレンジ」、「緑色」、「青色」、「紫色」等に基づいて、更に色相、彩度、及び明度が調整され、更なる調整後の検出画像データが作成されることになる。
【0096】
図９（２）に示すように、検出画像は、概略、黒色を基調とした、欠陥がラベリングにより浮かび上がっている、画像となる。そこで、本実施の形態に係る欠陥検出システムの処理回路８は、検出画像における平均画素から乖離する画素を、欠陥として検出する。即ち、例えば、処理回路８は、検出画像の全画素に関して、平均値及び標準偏差を求め、更に、平均値から標準偏差以上離れている画素を求め、それら画素により構成される部分を欠陥として検出する。
【0097】
本実施の形態では、図２のテーブルに示すように、入力画像データにおける欠陥部分の欠陥の種類に応じて、出力画像データの欠陥部分に塗られる色（即ち、ラベリングの色）が変えられる。従って、検出される欠陥のラベリングの、色味、面積、座標により、製品における、欠陥の種類、欠陥のサイズ、欠陥の位置が、把握され得ることとなる。特に、図２に示すテーブルにより欠陥の種類と所定の色の対応関係が保持されているので、欠陥は明確且つ容易に分類される。
【0098】
次に、図１０は、良品を検出するための処理の内容と、未知の不良（欠陥）品を検出するための処理の内容とを示す図である。（１）良品の場合、（１－１）入力画像と（１－２）出力画像との差が略ゼロである。つまり（１－３）差異画像（予測画像）には何も現れない。
【0099】
一方、（２）未知の不良品の場合、（２－１）入力画像と（２－２）出力画像との差異である、（２－３）差異画像（予測画像）における各画素間の累積差異が大きくなる。そこで、例外色の部分を含む予測画像（差異画像）において、画素間における累積差異が所与の閾値より大きい部位を、未知の不良（欠陥）の部位として検出する。
【0100】
本実施の形態に係る欠陥検出システムにおける、良品の検出、定義した不良品の検出、及び、未知の不良の検出を纏めると、前に説明した図６Ｄのようになる。つまり、良品に関しては、画素間の累積差異が略ゼロであることに基づいて判定される。教師画像として定義された不良（欠陥）に関しては、定義された不良（欠陥）と、ラベリングである色との関係に基づいて、判定される。定義された不良以外の、例外色の部分を含む、未知の不良に関しては、画素間における累積差異が所与の閾値を超えることに基づいて判定される。更に、検出の優先順位は、［１］良品→［２］定義された不良→［３］未知の不良、となる。
【0101】
２．３．［実施の形態のまとめ］
本実施の形態に係る欠陥検出方法は、処理回路８により、検査対象物を撮像した元画像における当該検査対象物に存在し得る輪郭状の欠陥部分及び領域状の欠陥部分に画像上、欠陥の種類毎に所定の色を塗るステップと、処理回路８により、検査対象物を撮像した欠陥のある元画像データと、所定の色を塗るステップにおいて元画像データに対して欠陥の種類毎に所定の色でラベルが付されたマーキング済み画像データとを、第１の教師データとして、一組以上の第１の教師データを用意するステップと、処理回路８により、検査対象物を撮像した欠陥の無い元画像データと、当該元画像データとの差異が無い恒等写像データとを、第２の教師データとして、一組以上の第２の教師データを用意するステップと、処理回路８により、第１の教師データ及び第２の教師データを用いて学習を行うことで学習済みの機械学習モデルを用意するステップと、を含む。学習済みの機械学習モデルを用意するステップにおいては、第１の教師データにおける、元画像データとマーキング済み画像データとをタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データとマーキング済み画像データの対応関係の学習を行い、並びに、第２の教師データにおける、元画像データと恒等写像データとを、同様にタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データと恒等写像データの対応関係の学習を行い、両方のタイリング処理では、タイリング後に隣接する切り分け画像の両方の縁部がオーバーラップするように切り分け画像が作成され、更に、第１の教師データにおける、切り分け画像とされたマーキング済み画像データがマーキングの部分を含まない場合、切り分け画像である元画像データと当該元画像データの恒等写像データの対応関係の学習を行う。欠陥検出方法は、更に、処理回路８により、上述の用意される学習済みの機械学習モデルに検査対象物の画像データを入力して、該機械学習モデルが出力する検査対象物の画像データを取得するステップであって、入力される画像データはタイリング処理されたものである、取得するステップと、処理回路８により、出力された画像データから、入力された画像データを差し引いて、予測画像データを取得するステップと、処理回路８により、予測画像データについて逆タイリング処理を行うステップであって、逆タイリング処理では、組み合わせ前の予測画像データの各々において、重複する縁部の外側に当たる１／２の部分が無視された上で組み合わされる、逆タイリング処理を行うステップと、を含む。
本実施の形態に係る欠陥検出方法は、処理回路８により、検査対象物を撮像した元画像における当該検査対象物に存在し得る輪郭状の欠陥部分及び領域状の欠陥部分に画像上、欠陥の種類毎に所定の色を塗るステップと、処理回路８により、検査対象物を撮像した欠陥のある元画像データと、所定の色を塗るステップにおいて元画像データに対して欠陥の種類毎に所定の色でラベルが付されたマーキング済み画像データとを、第１の教師データとして、一組以上の第１の教師データを用意するステップと、処理回路８により、検査対象物を撮像した欠陥の無い元画像データと、当該元画像データとの差異が無い恒等写像データとを、第２の教師データとして、一組以上の第２の教師データを用意するステップと、処理回路８により、第１の教師データ及び第２の教師データを用いて学習を行うことで学習済みの機械学習モデルを用意するステップと、を含む。学習済みの機械学習モデルを用意するステップにおいては、第１の教師データにおける、元画像データとマーキング済み画像データとをタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データとマーキング済み画像データの対応関係の学習を行い、並びに、第２の教師データにおける、元画像データと恒等写像データとを、同様にタイリング処理して切り分け画像とした上で、タイリングした切り分け画像毎に元画像データと恒等写像データの対応関係の学習を行い、両方のタイリング処理では、タイリング後に隣接する切り分け画像の両方の縁部がオーバーラップするように切り分け画像が作成され、更に、第１の教師データにおける、切り分け画像とされたマーキング済み画像データがマーキングの部分を含まない場合、切り分け画像である元画像データと当該元画像データの恒等写像データの対応関係の学習を行う。欠陥検出方法は、更に、処理回路８により、上述の用意される学習済みの機械学習モデルに検査対象物の画像データを入力して、該機械学習モデルが出力する検査対象物の画像データを取得するステップであって、入力される画像データはタイリング処理されたものである、取得するステップと、処理回路８により、出力された画像データから、入力された画像データを差し引いて、予測画像データを取得するステップと、処理回路８により、予測画像データについて逆タイリング処理を行うステップであって、逆タイリング処理では、組み合わせ前の予測画像データの各々において、重複する縁部の外側に当たる１／２の部分が無視された上で組み合わされる、逆タイリング処理を行うステップと、を含む。
【0102】
本実施の形態に係る欠陥検出方法では、様々な製品における様々な欠陥を、精確に隈なく効率的に検出することができる。特に、本実施の形態に係る欠陥検出方法は、良品、既知の不良を含む不良品、及び、未知の不良を含む不良品を、検出して分類することができる。
【0103】
３．［他の実施の形態］
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
以上のように、本出願において開示する技術の例示として、実施の形態を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。
【0104】
上述の実施の形態では、撮像装置として、製品の製造ラインの上方部から当該製造ラインを移動する製造中の製品を撮像する撮像装置（例えば、光学カメラ）と、X線撮像装置とを採り上げている。撮像装置はこれらのものに限定されることは無く、本開示の欠陥検出方法及び欠陥検出システムは、スキャナーカメラやラインセンサーカメラを使った撮像装置、レーザーセンサーを使った撮像装置、及び／又は、回転台を活用した撮像装置などを含む、任意の撮影装置により実現され得る。
【0105】
また、例えば、上述の実施の形態における後処理及び検出フェーズでは、処理回路８は、検出画像の全画素に関して、平均値及び標準偏差を求め、更に、平均値から標準偏差以上離れている画素を求め、それら画素により構成される部分を欠陥として検出しているが、平均値から標準偏差の１/２の値以上離れている画素を求め、それら画素により構成される部分を欠陥として検出してもよいし、平均値から標準偏差の１．５倍の値以上離れている画素を求め、それら画素により構成される部分を欠陥として検出してもよい。
【0106】
また、ある種の未知の不良の検出が複数回行われた場合、当該未知の不良を既知の不良（例えば、ハクリ（剥離）欠陥など）と定義することができる。そのように新たに定義される、既知の不良（欠陥）の元画像データと、当該元画像における、新たに定義される不良（欠陥）部分に新たな色を付した（色を塗った）新たなマーキング済み画像データとを、追加の教師データとして、機械学習モデルの再学習を行うことができる。このように再学習を行うことにより、機械学習モデルは、当該ある種の未知の不良を、既知の不良として検出して分類することが可能となる。
【0107】
また、実施の形態を説明するために、添付図面および詳細な説明を提供した。したがって、添付図面および詳細な説明に記載された構成要素の中には、課題解決のために必須な構成要素だけでなく、上記技術を例示するために、課題解決のためには必須でない構成要素も含まれ得る。そのため、それらの必須ではない構成要素が添付図面や詳細な説明に記載されていることをもって、直ちに、それらの必須ではない構成要素が必須であるとの認定をするべきではない。
【0108】
また、上述の実施の形態は、本開示における技術を例示するためのものであるから、特許請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。
【符号の説明】
【0109】
２・・・欠陥検出システム、４・・・コンピュータ装置、６・・・インタフェース装置、８・・・処理回路、１０・・・メモリ、１２・・・記憶装置、１４・・・学習サーバ、１６・・・撮像装置、１８・・・外部ネットワーク、３２・・・線状の欠陥部分、３４・・・細かい欠陥部分、３６・・・或る程度の面積を有する範囲の欠陥部分、３７・・・輪郭ラベリングデータ、３９・・・領域ラベリングデータ、４０・・・１３００画素×１３００画素の画像データ、４２・・・切り分け画像データ、４４・・・機械学習モデル、７０・・・製造ライン、７２・・・チェーン、７４・・・アルミニウムインゴット、７６ａ・・・マーキング、７６ｂ・・・ラベリング。
【図1】
【図2】
【図3A】
【図3B】
【図4A】
【図4B】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図7A】
【図7B】
【図7C】
【図8A】
【図8B】
【図9】
【図10】
