特開 2022-186027 欠陥検査システムおよび欠陥検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022186027

(43)【公開日】2022-12-15

(54)【発明の名称】欠陥検査システムおよび欠陥検査方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20221208BHJP

   G06T 7/00 20170101ALI20221208BHJP

   G06N 20/00 20190101ALI20221208BHJP

   G06N 3/02 20060101ALI20221208BHJP

【ＦＩ】

G01N21/88 J

G06T7/00 350C

G06T7/00 610

G06N20/00

G06N3/02

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2021094038

(22)【出願日】2021-06-04

(71)【出願人】

【識別番号】000190116

【氏名又は名称】信越ポリマー株式会社

(74)【代理人】

【識別番号】110002697

【氏名又は名称】めぶき国際特許業務法人

(74)【代理人】

【識別番号】100110973

【弁理士】

【氏名又は名称】長谷川 洋

(72)【発明者】

【氏名】渡邊 公彦

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA90

2G051AB02

2G051CA04

2G051EA14

2G051EC02

2G051ED21

5L096AA06

5L096BA03

5L096CA02

5L096CA17

5L096CA22

5L096DA02

5L096FA02

5L096GA51

5L096HA11

5L096JA11

5L096JA24

5L096KA04

5L096KA15

(57)【要約】

【課題】
良品の過検出を低減し不良品の流出を抑制する欠陥検査システム及び欠陥検査方法を提供する。
【解決手段】
本発明は、検査対象画像データ７５に基づき検査対象物１の良否判定する欠陥検査システム１００であって、複数の良品画像データ４０及び複数の不良品画像データ３０により構築された学習済みモデルを用いて、検査対象画像データ７５のスコア値を出力し良否判定する検査処理部１４６と、スコア値が第３閾値８５と第１閾値８３との範囲８６内か判定する第１判定部１４７と、スコア値が範囲８６内の場合に判定感度を乗じてスコア値を補正する判定感度導入部１４８と、補正スコア値が第１閾値８３以上か判定する第２判定部１４９と、を備え、検査処理部１４６は、補正スコア値が第１閾値８３以上の場合に不良品判定し、補正スコア値が第１閾値８３未満の場合に判定不定とする欠陥検査システム１００及び欠陥検査方法に関する。
【選択図】図１０

【特許請求の範囲】

【請求項1】

検査対象物を撮像して取得された検査対象画像データに基づいて当該検査対象物が欠陥を有するか否かの良否判定を行う欠陥検査システムであって、
良品属性が付与された複数の良品画像データおよび不良品属性が付与された複数の不良品画像データにより構築された学習済みモデルを用いて、新たに入力された前記検査対象画像データに対応する前記検査対象物の良否を判定するためのスコア値を出力し、当該スコア値に基づいて前記良否判定を行う検査処理部と、
前記検査処理部により出力された前記スコア値が、不良品判定を確定させる最小スコア値である第１閾値より小さくかつ良品判定を確定させる最大スコア値である第２閾値より大きい第３閾値と、当該第１閾値との範囲内にあるか否かを判定する第１判定部と、
前記スコア値が前記第３閾値と前記第１閾値との範囲内にある場合、前記スコア値を補正する１より大きい係数である判定感度を前記スコア値に乗じて前記スコア値を補正する判定感度導入部と、
前記判定感度を乗じて補正された前記スコア値である補正スコア値が前記第１閾値以上であるか否かを判定する第２判定部と、
を備え、
前記検査処理部は、前記補正スコア値が前記第１閾値以上である場合に当該補正スコア値に対応する前記検査対象物を不良品と判定し、前記補正スコア値が前記第１閾値より小さい場合に当該補正スコア値に対応する前記検査対象物を前記良否判定が不定と判定することを特徴とする欠陥検査システム。

【請求項2】

前記検査処理部は、出力された前記スコア値が前記第１閾値以上である場合に当該スコア値に対応する前記検査対象物を不良品と判定し、出力された前記スコア値が第３閾値より小さい場合に当該スコア値に対応する前記検査対象物を良品と判定することを特徴とする請求項１に記載の欠陥検査システム。

【請求項3】

前記判定感度は、前記第１閾値に対する前記第３閾値と前記第１閾値との差分の割合に１を加えた値であることを特徴とする請求項１または２に記載の欠陥検査システム。

【請求項4】

前記第３閾値は、前記第１閾値から前記第２閾値までの間の４０～６０％の位置にあることを特徴とする請求項１から３のいずれか１項に記載の欠陥検査システム。

【請求項5】

前記良品属性が付与された前記良品画像データおよび前記不良品属性が付与された前記不良品画像データからなる学習用データセットを複数組記憶する学習用データセット記憶部と、
前記学習用データセットを複数組入力することにより、新たに入力された画像データから、前記良品属性または前記不良品属性のうち当該画像データに付与すべき属性を推論するために、学習モデルを学習する学習部と、
前記学習部によって学習された前記学習済みモデルを記憶する学習済みモデル記憶部と、
を備える機械学習装置をさらに備えることを特徴とする請求項１から４のいずれか１項に記載の欠陥検査システム。

【請求項6】

前記検査対象物を支持する支持台と、
前記支持台に支持された前記検査対象物の被検査部位を撮像する撮像部と、
前記撮像部により撮像される前記被検査部位を照射する照明部と、
を備える欠陥検出装置を備え、
前記検査処理部は、前記撮像部により撮像された前記検査対象物の前記被検査部位の画像データを前記検査対象画像データとして、当該検査対象画像データの前記スコア値を出力することを特徴とする請求項１から５のいずれか１項に記載の欠陥検査システム。

【請求項7】

前記検査対象物は、
ワイパーアームに固定されるワイパーフレームが取り付けられる基体部と、
ウインドーガラスに付着した被払拭体を払拭するリップ部と、
前記基体部と前記リップ部とを接続する薄肉のネック部と、
を備えるワイパーラバーであって、
前記基体部は、その側面において前記ワイパーフレームと係合可能なストッパー部を備え、
前記欠陥検出装置は、前記リップ部、前記ネック部、および前記ストッパー部の少なくとも１つに対して物理的な負荷を加える負荷部を備え、
前記撮像部は、前記負荷部により物理的な負荷が加えられた状態の前記リップ部、前記ネック部、および前記ストッパー部の少なくとも１つを前記被検査部位として撮像することを特徴とする請求項６に記載の欠陥検査システム。

【請求項8】

検査対象物を撮像して取得された検査対象画像データに基づいて当該検査対象物が欠陥を有するか否かの良否判定を行う欠陥検査方法であって、
良品属性が付与された複数の良品画像データおよび不良品属性が付与された複数の不良品画像データにより構築された学習済みモデルを用いて、新たに入力された前記検査対象画像データに対応する前記検査対象物の良否を判定するためのスコア値を出力し、当該スコア値に基づいて前記良否判定を行う検査処理ステップと、
前記検査処理ステップにより出力された前記スコア値が、不良品判定を確定させる最小スコア値である第１閾値より小さくかつ良品判定を確定させる最大スコア値である第２閾値より大きい第３閾値と、当該第１閾値との範囲内にあるか否かを判定する第１判定ステップと、
前記スコア値が前記第３閾値と前記第１閾値との範囲内にある場合、前記スコア値を補正する１より大きい係数である判定感度を前記スコア値に乗じて前記スコア値を補正する判定感度導入ステップと、
前記判定感度を乗じて補正された前記スコア値である補正スコア値が前記第１閾値以上であるか否かを判定する第２判定ステップと、
を含み、
前記検査処理ステップは、前記補正スコア値が前記第１閾値以上である場合に当該補正スコア値に対応する前記検査対象物を不良品と判定し、前記補正スコア値が前記第１閾値より小さい場合に当該補正スコア値に対応する前記検査対象物を前記良否判定が不定と判定することを特徴とする欠陥検査方法。

【請求項9】

前記良品属性が付与された前記良品画像データおよび前記不良品属性が付与された前記不良品画像データからなる学習用データセットを学習用データセット記憶部に複数組記憶させる学習用データセット記憶ステップと、
前記学習用データセットを複数組入力することにより、新たに入力された画像データから、前記良品属性または前記不良品属性のうち当該画像データに付与すべき属性を推論するために、学習モデルを学習する学習ステップと、
前記学習部によって学習された前記学習済みモデルを学習済みモデル記憶部に記憶させる学習済みモデル記憶ステップと、
をさらに含み、
前記検査処理ステップは、前記学習済みモデル記憶部に記憶された前記学習済みモデルを用いて、新たに入力された前記検査対象画像データに対応する前記スコア値を出力することを特徴とする請求項８に記載の欠陥検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、欠陥検査システムおよび欠陥検査方法に関する。

【背景技術】

【0002】

従来、工場において製造された製品の外観を撮像手段で撮像し、撮像した画像に基づいて良品（正常品）と傷や欠け等の欠陥を有する不良品（欠陥品）との分類を行う欠陥検査等が行われている（例えば、特許文献１を参照）。このような検査では、例えば、予め用意した基準画像から特徴点を抽出しておき、製品を撮像した画像から抽出された特徴点と比較した結果に基づいて製品の良否判定を行う。

【0003】

また、最近では、良品が撮像された良品画像の特徴と不良品が撮像された不良品画像の特徴とをそれぞれニューラルネットワーク等の公知の機械学習器に学習させ、新たに入力された検査対象物（製品）の画像が良品であるか不良品であるかを機械学習器によって識別する技術が注目されており、開発が進んでいる（例えば、特許文献２を参照）。

【0004】

図１６は、従来の欠陥検査方法を説明するための図を示す。

【0005】

機械学習器を用いた欠陥検査方法としては、例えば、図１６に示すように、良品属性が付与された複数の良品画像データおよび不良品属性が付与された複数の不良品画像データにより構築された学習済みモデルを用いて、新たに入力された画像データに対応する検査対象物の良否を判定するためのスコア値を出力し、当該スコア値に基づいて良否判定を行う方法が知られている。図１６に示すグラフ５００は、機械学習により構築された学習済みモデルのイメージである。この学習済みモデルでは、不良品画像データのスコア値の方が良品画像データのスコア値に比べて大きな値が算出される。このような方法では、不良品判定を確定させるスコア領域５０１の最小スコア値である不良品最小閾値５０３或いは良品判定を確定させるスコア領域５０２の最大スコア値である良品最大閾値５０４を用いて良否判定が行われる。不良品最小閾値５０３を用いた良否判定は、例えば、出力されたスコア値が不良品最小閾値５０３以上の場合は当該スコア値に対応する検査対象物を不良品と判定し、出力されたスコア値が不良品最小閾値５０３より小さい場合は当該スコア値に対応する検査対象物を良品と判定する（図１６Ａを参照）。また、良品最大閾値５０４を用いた良否判定は、例えば、出力されたスコア値が良品最大閾値５０４以下の場合は当該スコア値に対応する検査対象物を良品と判定し、出力されたスコア値が良品最大閾値５０４より大きい場合は当該スコア値に対応する検査対象物を不良品と判定する（図１６Ｂを参照）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１３－１４００９０号公報

【特許文献2】特開２０１８－００５６４０号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

通常、上記のような画像に写る対象物を分類するニューラルネットワークの学習には膨大な量の画像と、それらすべてにアノテーションする工数が必要になる。さらに、当然ながら、学習データに存在しない分類の画像は正しく推定されない。そのため、ニューラルネットワークを用いた画像の分類を製造現場での欠陥検査に適用した場合、例えば、実際には良品であるにも関わらず良品最大閾値５０４より大きいスコア値が出力されたために不良品と判定される事態や、実際には不良品であるにも関わらず不良品最小閾値５０３より小さいスコア値が出力されたために良品と判定される事態が生じる虞がある。その結果、良品の過検出や不良品の見逃し（流出）が多くなり、欠陥検査における検査対象物の良否判定精度が低下するという問題があった。

【0008】

本発明は、上記のような課題に鑑みてなされたものであり、良品の過検出を低減し、かつ不良品の流出を抑制する欠陥検査システムおよび欠陥検査方法を提供することを目的とする。

【課題を解決するための手段】

【0009】

（１）上記目的を達成するための一実施形態に係る欠陥検査システムは、検査対象物を撮像して取得された検査対象画像データに基づいて当該検査対象物が欠陥を有するか否かの良否判定を行う欠陥検査システムであって、良品属性が付与された複数の良品画像データおよび不良品属性が付与された複数の不良品画像データにより構築された学習済みモデルを用いて、新たに入力された前記検査対象画像データに対応する前記検査対象物の良否を判定するためのスコア値を出力し、当該スコア値に基づいて前記良否判定を行う検査処理部と、前記検査処理部により出力された前記スコア値が、不良品判定を確定させる最小スコア値である第１閾値より小さくかつ良品判定を確定させる最大スコア値である第２閾値より大きい第３閾値と、当該第１閾値との範囲内にあるか否かを判定する第１判定部と、前記スコア値が前記第３閾値と前記第１閾値との範囲内にある場合、前記スコア値を補正する１より大きい係数である判定感度を前記スコア値に乗じて前記スコア値を補正する判定感度導入部と、前記判定感度を乗じて補正された前記スコア値である補正スコア値が前記第１閾値以上であるか否かを判定する第２判定部と、を備え、前記検査処理部は、前記補正スコア値が前記第１閾値以上である場合に当該補正スコア値に対応する前記検査対象物を不良品と判定し、前記補正スコア値が前記第１閾値より小さい場合に当該補正スコア値に対応する前記検査対象物を前記良否判定が不定と判定する。
（２）別の実施形態に係る欠陥検査システムにおいて、好ましくは、前記検査処理部は、出力された前記スコア値が前記第１閾値以上である場合に当該スコア値に対応する前記検査対象物を不良品と判定し、出力された前記スコア値が第３閾値より小さい場合に当該スコア値に対応する前記検査対象物を良品と判定しても良い。
（３）別の実施形態に係る欠陥検査システムにおいて、好ましくは、前記判定感度は、前記第１閾値に対する前記第３閾値と前記第１閾値との差分の割合に１を加えた値であっても良い。
（４）別の実施形態に係る欠陥検査システムにおいて、好ましくは、前記第３閾値は、前記第１閾値から前記第２閾値までの間の４０％～６０％の位置にある値でも良い。
（５）別の実施形態に係る欠陥検査システムにおいて、好ましくは、前記良品属性が付与された前記良品画像データおよび前記不良品属性が付与された前記不良品画像データからなる学習用データセットを複数組記憶する学習用データセット記憶部と、前記学習用データセットを複数組入力することにより、新たに入力された画像データから、前記良品属性または前記不良品属性のうち当該画像データに付与すべき属性を推論するために、学習モデルを学習する学習部と、前記学習部によって学習された前記学習済みモデルを記憶する学習済みモデル記憶部と、を備える機械学習装置をさらに備えても良い。
（６）別の実施形態に係る欠陥検査システムにおいて、好ましくは、前記検査対象物を支持する支持台と、前記支持台に支持された前記検査対象物の被検査部位を撮像する撮像部と、前記撮像部により撮像される前記被検査部位を照射する照明部と、を備える欠陥検出装置を備え、前記検査処理部は、前記撮像部により撮像された前記検査対象物の前記被検査部位の画像データを前記検査対象画像データとして、当該検査対象画像データの前記スコア値を出力しても良い。
（７）別の実施形態に係る欠陥検査システムにおいて、好ましくは、前記検査対象物は、ワイパーアームに固定されるワイパーフレームが取り付けられる基体部と、ウインドーガラスに付着した被払拭体を払拭するリップ部と、前記基体部と前記リップ部とを接続する薄肉のネック部と、を備えるワイパーラバーであって、前記基体部は、その側面において前記ワイパーフレームと係合可能なストッパー部を備え、前記欠陥検出装置は、前記リップ部、前記ネック部、および前記ストッパー部の少なくとも１つに対して物理的な負荷を加える負荷部を備え、前記撮像部は、前記負荷部により物理的な負荷が加えられた状態の前記リップ部、前記ネック部、および前記ストッパー部の少なくとも１つを前記被検査部位として撮像しても良い。
（８）一実施形態に係る欠陥検査方法は、検査対象物を撮像して取得された検査対象画像データに基づいて当該検査対象物が欠陥を有するか否かの良否判定を行う欠陥検査方法であって、良品属性が付与された複数の良品画像データおよび不良品属性が付与された複数の不良品画像データにより構築された学習済みモデルを用いて、新たに入力された前記検査対象画像データに対応する前記検査対象物の良否を判定するためのスコア値を出力し、当該スコア値に基づいて前記良否判定を行う検査処理ステップと、前記検査処理ステップにより出力された前記スコア値が、不良品判定を確定させる最小スコア値である第１閾値より小さくかつ良品判定を確定させる最大スコア値である第２閾値より大きい第３閾値と、当該第１閾値との範囲内にあるか否かを判定する第１判定ステップと、前記スコア値が前記第３閾値と前記第１閾値との範囲内にある場合、前記スコア値を補正する１より大きい係数である判定感度を前記スコア値に乗じて前記スコア値を補正する判定感度導入ステップと、前記判定感度を乗じて補正された前記スコア値である補正スコア値が前記第１閾値以上であるか否かを判定する第２判定ステップと、を含み、前記検査処理ステップは、前記補正スコア値が前記第１閾値以上である場合に当該補正スコア値に対応する前記検査対象物を不良品と判定し、前記補正スコア値が前記第１閾値より小さい場合に当該補正スコア値に対応する前記検査対象物を前記良否判定が不定と判定する。
（９）別の実施形態に係る欠陥検査方法において、好ましくは、前記良品属性が付与された前記良品画像データおよび前記不良品属性が付与された前記不良品画像データからなる学習用データセットを学習用データセット記憶部に複数組記憶させる学習用データセット記憶ステップと、前記学習用データセットを複数組入力することにより、新たに入力された画像データから、前記良品属性または前記不良品属性のうち当該画像データに付与すべき属性を推論するために、学習モデルを学習する学習ステップと、前記学習部によって学習された前記学習済みモデルを学習済みモデル記憶部に記憶させる学習済みモデル記憶ステップと、をさらに含み、前記検査処理ステップは、前記学習済みモデル記憶部に記憶された前記学習済みモデルを用いて、新たに入力された前記検査対象画像データに対応する前記スコア値を出力しても良い。

【発明の効果】

【0010】

本発明によれば、良品の過検出を低減し、かつ不良品の流出を抑制する欠陥検査方法および欠陥検査システムを提供できる。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の実施形態に係る欠陥検査システムの検査対象物の一例である結合成形品の斜視図（１Ａ）、平面図および当該平面図におけるＡ－Ａ線断面図（１Ｂ）、および当該Ａ－Ａ線断面図の拡大図をそれぞれ示す。

【図2】図２は、図１Ａの結合成形品の一部拡大図およびその一部Ｆの拡大図を示す。

【図3】図３は、本発明の実施形態に係る欠陥検査システムが備える欠陥検出装置の斜視図を示す。

【図4】図４は、図３の欠陥検出装置の一部拡大図（４Ａ）および回転ユニットの拡大斜視図（４Ｂ）をそれぞれ示す。

【図5】図５は、図３の欠陥検出装置を用いたストッパー部の欠陥検出処理を説明するための写真（５Ａ）および当該欠陥検出処理を施したストッパー部の欠陥箇所の具体例を表す写真（５Ｂ）をそれぞれ示す。

【図6】図６は、図３の欠陥検出装置を用いたネック部の欠陥検出処理を説明するための写真（６Ａ）および当該欠陥検出処理を施したネック部の欠陥箇所の具体例を表す写真（６Ｂ）をそれぞれ示す。

【図7】図７は、図３の欠陥検出装置を用いたリップ部の欠陥検出処理を説明するための写真を示す。

【図8】図８は、図７の欠陥検出処理を施したリップ部の欠陥箇所の具体例を表す写真を示す。

【図9】図９は、本発明の実施形態に係る欠陥検査システムの概略的なハードウェア構成図を示す。

【図10】図１０は、本発明の実施形態に係る欠陥検査システムの概略的な機能ブロック図を示す。

【図11】図１１は、本発明の実施形態に係る欠陥検査システムにおいて実施される機械学習を説明するための図を示す。

【図12】図１２は、本発明の実施形態に係る欠陥検査システムにおいて実施される欠陥検査方法を説明するための図を示す。

【図13】図１３は、本発明の実施形態に係る欠陥検査システムにおいて実施される欠陥検査方法を説明するための図を示す。

【図14】図１４は、本発明の実施形態に係る欠陥検査システムにおける機械学習処理のフローチャート（１４Ａ）および欠陥検査処理のフローチャート（１４Ｂ）をそれぞれ示す。

【図15】図１５は、本発明の実施形態に係る欠陥検査システムにおいて実施される欠陥検査方法の具体例を説明するための図を示す。

【図16】図１６は、従来の欠陥検査方法を説明するための図を示す。

【発明を実施するための形態】

【0012】

次に、本発明の各実施形態について、図面を参照して説明する。なお、以下に説明する各実施形態は、特許請求の範囲に係る発明を限定するものではなく、また、各実施形態の中で説明されている諸要素及びその組み合わせの全てが本発明の解決手段に必須であるとは限らない。

【0013】

１．欠陥検査システム
本発明の実施形態に係る欠陥検査システムは、検査対象物を撮像して取得された検査対象画像データに基づいて当該検査対象物が欠陥を有するか否かの良否判定を行うシステムである。この実施形態において、欠陥検査システムは、検査対象物の一例である結合成形品１（図１を参照）の被検査部位を欠陥検出装置１０（図３を参照）にて撮像し、撮像された当該被検査部位の画像データを検査対象画像データとして、機械学習を用いて当該検査対象画像データに対応する検査対象物の良否を判定するシステムである。

【0014】

（１）結合成形品
まず、検査対象物の一例である結合成形品について説明する。

【0015】

図１は、本発明の実施形態に係る欠陥検査システムの検査対象物の一例である結合成形品の斜視図（１Ａ）、平面図および当該平面図におけるＡ－Ａ線断面図（１Ｂ）、および当該Ａ－Ａ線断面図の拡大図をそれぞれ示す。図２は、図１Ａの結合成形品の一部拡大図およびその一部Ｆの拡大図を示す。

【0016】

この実施形態において、結合成形品１は、２つのワイパーラバー１ａ，１ｂがリップ部Ｌ（図２の一部Ｆの拡大図を参照）の先端面同士で突き合わされて一体に成形された成形品である。すなわち、結合成形品１は、２つのワイパーラバー１ａ，１ｂが対向するようにリップ部Ｌの先端面で接続されている。結合成形品１は、リップ部Ｌの先端面の位置の中央線Ｃ（図１を参照）で切断されることにより、２つのワイパーラバー１ａ，１ｂが形成される。

【0017】

ワイパーラバー１ａ，１ｂは、自動車、電車等の車両、船舶、航空機等の輸送機器に備えられ、窓に付着した雨滴等を払拭するワイパー装置の一部である。ワイパー装置は、駆動手段に接続されたワイパーアーム（不図示）と、ワイパーアームに取り付けられたワイパーブレードとを備える。ワイパーブレードは、窓に接触するワイパーラバー１ａ，１ｂと、ワイパーラバー１ａ，１ｂを固定するとともにワイパーアームに取り付けられる金属製または樹脂製のワイパーフレーム（不図示）とを備える。ワイパーラバー１ａ，１ｂは、好ましくは、ワイパーアーム（不図示）に固定されるワイパーフレーム（不図示）が取り付けられる基体部Ｂと、ウインドーガラスに付着した被払拭体を払拭するリップ部Ｌと、基体部Ｂとリップ部Ｌとを接続する薄肉のネック部Ｎと、を備える（図２の一部Ｆの拡大図を参照）。基体部Ｂは、好ましくは、その側面においてワイパーフレーム（不図示）と係合可能なストッパー部Ｓを備える。ストッパー部Ｓは、好ましくは、基体部Ｂの側面視（結合成形品１の平面視）において略Ｈ字形状に窪む部位である（図２を参照）。ワイパーラバー１ａ，１ｂは、ストッパー部Ｓとワイパーフレームとが嵌合することにより、ワイパーフレームに保持される。ネック部Ｎは、基体部Ｂから突設された板状の部材である。リップ部Ｌは、ネック部Ｎの先端に設けられ、ネック部Ｎより幅広の板状部材Ｌ１と、板状部材Ｌ１から離れるに従い縮幅する基台Ｌ２と、基台Ｌ２の先端から突設する先端部Ｌ３と、を備える（図２の一部Ｆの拡大図を参照）。

【0018】

基体部Ｂ、ネック部Ｎおよびリップ部Ｌは、好ましくは、一体に成形されている。基体部Ｂ、ネック部Ｎおよびリップ部Ｌの材質としては、従来からワイパーラバーに用いられるものであれば特に制約されず、例えば、シリコーンゴム、天然ゴム、クロロプレンゴム、エチレン・プロピレン・共役ジエン共重合体ゴム等のゴム基材を主成分として含むゴム材料が挙げられる。その中でも、耐候性や化学的安定性に優れており、変色や破損（ひび割れ等）を生じにくい点から、エチレン・プロピレン・共役ジエン共重合体ゴム、シリコーンゴムが好ましく、払拭性により優れる点でシリコーンゴムがより好ましい。これらのゴム材料は１種単独で用いられても良いし、２種以上が組み合わせて用いられても良い。また、これらのゴム材料は、例えば、白金触媒、加硫剤、有機顔料、無機顔料、着色剤、充填剤等の各種添加剤を含有していても良い。ただし、ゴム材料の硬度は、ゴム材料の種類、加硫剤の種類や量、添加剤の種類や量等により適宜調節されることが好ましい。

【0019】

結合成形品１は、好ましくは、先述のゴム材料を加熱圧縮成形等により成形される。このように成形された結合成形品１は、金型が開く際および金型から離型させる際に、金型に引っ張られることによりストレスが加わり、その一部分に微小な亀裂等の欠陥が発生する虞がある。結合成形品１は、特に、ストッパー部Ｓ、ネック部Ｎおよびリップ部Ｌに亀裂等の欠陥が発生しやすい。そのため、結合成形品１は、出荷前に欠陥の有無を検査する必要がある。例えば、作業員が結合成形品１を１つずつ指で広げて欠陥の有無を検査する場合、工数がかかり生産性が低下する。また、指で広げる等の負荷を加えずに欠陥の有無を検査する場合、微小な亀裂のために欠陥の検出が困難である。そこで、結合成形品１は、結合成形品１に負荷を加えて欠陥の有無を検査可能な欠陥検出装置１０を用いて検査されることが好ましい。

【0020】

（２）欠陥検出装置
図３は、本発明の実施形態に係る欠陥検査システムが備える欠陥検出装置の斜視図を示す。図４は、図３の欠陥検出装置の一部拡大図（４Ａ）および回転ユニットの拡大斜視図（４Ｂ）をそれぞれ示す。

【0021】

欠陥検出装置１０は、好ましくは、検査対象物である結合成形品１を支持する支持台１４，１５と、支持台１４，１５に支持された結合成形品１の被検査部位を撮像する撮像部１１と、撮像部１１により撮像される被検査部位を照射する照明部１３と、を備える。欠陥検出装置１０は、好ましくは、撮像部１１と被検査部位との間に配置されるレンズ１２と、少なくともネック部Ｎおよびストッパー部Ｓに対して物理的な負荷を加える負荷ユニット１６（本発明の負荷部の一例）と、を備える。また、欠陥検出装置１０は、好ましくは、負荷ユニット１６に代えて、少なくともリップ部Ｌに対して物理的な負荷を加える回転ユニット１９（本発明の負荷部の一例）を装着可能に構成される。

【0022】

撮像部１１は、負荷ユニット１６または回転ユニット１９により物理的な負荷が加えられた状態のストッパー部Ｓ、ネック部Ｎおよびリップ部Ｌの少なくとも１つを被検査部位として撮像するカメラである。撮像部１１は、レンズ１２を介して、照明部１３に照射された被検査部位を撮像する。撮像部１１は、レンズ１２を介して物理的な負荷が加えられた状態の被検査部位を撮像可能なカメラであれば特に制約されないが、エリアスキャンカメラが好ましい。ただし、撮像部１１は、ラインスキャンカメラであっても良い。照明部１３は、負荷ユニット１６または回転ユニット１９により物理的な負荷が加えられた状態の被検査部位を照射可能な照明であれば特に制約されないが、例えば、同軸照明やドーム照明が好ましい。この実施形態において、照明部１３は、同軸照明である。支持台１４，１５は、好ましくは、照明部１３の下方に配置され、結合成形品１の長手方向の少なくとも一端を支持する支持台１５と、支持台１５と所定距離離間して配置され、結合成形品１の長手方向の少なくとも他端を支持する支持台１４と、から構成される。欠陥検出装置１０において、結合成形品１は、支持台１４と支持台１５とを橋渡しするように載置される。支持台１４，１５は、少なくとも検査対象物の一例である結合成形品１を支持可能な形態であれば特に制約されず、例えば、支持台１４と支持台１５とが離間せずに連接していても良いし、１つの部材から構成されていても良い。

【0023】

負荷ユニット１６は、好ましくは、結合成形品１のうち支持台１５に載置されている一端部を挟持する一対の挟持部１７，１７と、結合成形品１を引張り可能な一対の引張り部１８，１８と、を備える（図４Ａを参照）。挟持部１７，１７は、好ましくは、結合成形品１の基体部Ｂをそれぞれ挟持する。また、挟持部１７，１７は、好ましくは、上下方向に摺動可能な部材である。引張り部１８，１８は、好ましくは、挟持部１７，１７を引張り部１８，１８に近接させる方向（図４Ａの矢印Ｐ方向）へ摺動可能な部材である。回転ユニット１９は、好ましくは、結合成形品１の基体部Ｂを挟持して回転可能な一対の回転部２１，２１と、回転部２１，２１を支持する支持部２０と、を備える（図４Ｂを参照）。回転部２１，２１は、好ましくは、その長手方向に沿って並んで配置され、互いに近接する一端部同士が支持部２０に支持されている。回転部２１，２１は、好ましくは、支持部２０に支持された一端部を支点として、それぞれ矢印Ｒ方向（図４Ｂを参照）に回動する。

【0024】

負荷ユニット１６および回転ユニット１９によるストッパー部Ｓ、ネック部Ｎ、およびリップ部Ｌの欠陥検出処理について説明する。まず、ストッパー部Ｓの欠陥検出処理について説明する。

【0025】

図５は、図３の欠陥検出装置を用いたストッパー部の欠陥検出処理を説明するための写真（５Ａ）および当該欠陥検出処理を施したストッパー部の欠陥箇所の具体例を表す写真（５Ｂ）をそれぞれ示す。

【0026】

ストッパー部Ｓの欠陥検出処理は、結合成形品１の支持台１５に載置されている一端部が挟持部１７，１７に挟持された状態で、挟持部１７，１７が下方（矢印Ｄ方向）に摺動することにより、ストッパー部Ｓを折り曲げる（図５Ａを参照）。撮像部１１は、このストッパー部Ｓが折り曲げられた状態（図５Ａの右図を参照）において、当該ストッパー部Ｓを少なくとも含む領域を撮像する。そして、撮像部１１による撮像後に、挟持部１７，１７が上方（矢印Ｄの反対方向）に摺動することにより、ストッパー部Ｓが折り曲げられていない状態に戻る（図５Ａの左図を参照）。このような欠陥検出処理により、ストッパー部Ｓに発生していた亀裂等の欠陥は、折り曲げ動作により大きくなるため、欠陥の検出が容易となる（図５Ｂを参照）。

【0027】

次に、ネック部Ｎの欠陥検出処理について説明する。

【0028】

図６は、図３の欠陥検出装置を用いたネック部の欠陥検出処理を説明するための写真（６Ａ）および当該欠陥検出処理を施したネック部の欠陥箇所の具体例を表す写真（６Ｂ）をそれぞれ示す。

【0029】

ネック部Ｎの欠陥検出処理は、結合成形品１の支持台１５に載置されている一端側の基体部Ｂが挟持部１７，１７にそれぞれ挟持された状態で、引張り部１８により挟持部１７，１７を引張り部１８，１８に近接させる方向（矢印Ｐ方向）へ摺動させることにより、ネック部Ｎを引っ張る（図６Ａを参照）。撮像部１１は、このネック部Ｎが引っ張られた状態（図６Ａを参照）において、当該ネック部Ｎを少なくとも含む領域を撮像する。そして、撮像部１１による撮像後に、引張り部１８により挟持部１７，１７を引張り部１８，１８から離間させる方向（矢印Ｐの反対方向）に摺動することにより、ネック部Ｎが引っ張られていない状態に戻る。このような欠陥検出処理により、ネック部Ｎに発生していた亀裂等の欠陥は、引っ張り動作により大きくなるため、欠陥の検出が容易となる（図６Ｂを参照）。

【0030】

次に、リップ部Ｌの欠陥検出処理について説明する。

【0031】

図７は、図３の欠陥検出装置を用いたリップ部の欠陥検出処理を説明するための写真を示す。図８は、図７の欠陥検出処理を施したリップ部の欠陥箇所の具体例を表す写真を示す。

【0032】

リップ部Ｌの欠陥検出処理は、まず、欠陥検出装置１０の負荷ユニット１６を回転ユニットに取り換える。そして、結合成形品１の支持台１５に載置されている一端側の基体部Ｂが回転部２１，２１にそれぞれ挟持された状態（図７のａを参照）で、回転部２１，２１をそれぞれ矢印Ｒ方向に回動する（図７のｂを参照）。これにより、結合成形品１は、２つの基体部Ｂが互いに離間するように回転して曲げられ、その結果、リップ部Ｌが引き延ばされる。撮像部１１は、このリップ部Ｌが引き延ばされた状態（図７のｃを参照）において、当該リップ部Ｌを少なくとも含む領域を撮像する。そして、撮像部１１による撮像後に、回転部２１，２１をそれぞれ矢印Ｒと反対方向に回動することにより、基体部Ｂが回転かつ曲げられていない状態、すなわち、リップ部Ｌが引き延ばされていない状態に戻る（図７のａを参照）。このような欠陥検出処理により、リップ部Ｌに発生していた亀裂等の欠陥は、回転曲げ動作により大きくなるため、欠陥の検出が容易となる（図８を参照）。

【0033】

（３）欠陥検査システムのハードウェア構成
図９は、本発明の実施形態に係る欠陥検査システムの概略的なハードウェア構成図を示す。

【0034】

本発明の実施形態に係る欠陥検査システム１００は、好ましくは、欠陥検査装置１１０と、撮像部（ＣＡＭＥＲＡ）１１と、入力装置１０１と、表示装置１３０と、を備える。欠陥検査装置１１０の好適な例は、下記の各種プログラムをインストールしたコンピュータである。欠陥検査装置１１０は、好ましくは、ＣＰＵ１１２と、ＲＯＭ１１３と、ＲＡＭ１１４と、不揮発性メモリ１１５と、グラフィック制御回路１１６と、インターフェース１１１，１１８と、を備える。これらの構成要素は、バス１１７を介して互いに通信可能に構成されている。インターフェース１１１は、撮像部１１、およびキーボードやマウス等の入力装置１０１との通信を行うインターフェースである。ＣＰＵ１１２は、欠陥検査装置１１０を全体的に制御するプロセッサである。ＣＰＵ１１２は、ＲＯＭ１１３に格納されたシステムプログラムをバス１１７経由で読み出し、当該システムプログラムに従って欠陥検査装置１１０全体を制御する。ＣＰＵ１１２に代えて、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いても良い。ＲＯＭ１１３は、当該システムプログラムおよび後述の機械学習装置１２０とのやりとりを制御するためのシステムプログラムを含む各種プログラムを記憶する読み出し専用の記憶装置である。当該各種プログラムは、欠陥検査装置１１０の動作を制御するためのものである。ＲＡＭ１１４は、一時的な計算データや表示データ等の各種データを一時的に記憶する読み書き可能な記憶装置である。

【0035】

不揮発性メモリ１１５は、例えばバッテリ（不図示）でバックアップされる等して、欠陥検査装置１１０の電源がオフされても記憶状態が保持される記憶装置である。不揮発性メモリ１１５には、インターフェース１１１を介して入力装置１０１から入力されたデータ、インターフェース１１を介して撮像部１１から入力された被検査部位の画像データ、図示しない外部メモリやネットワーク等を介して取得された各種データ等が記憶されている。不揮発性メモリ１１５に記憶されたプログラムや各種データは、実行時／利用時にはＲＡＭ１１４に展開されても良い。グラフィック制御回路１１６は、数値データおよび図形データ等のデジタル信号を表示用のラスタ信号に変換し、表示装置１３０に送信する制御回路である。表示装置１３０は、例えば、液晶ディスプレイ（ＬＣＤ）等の、グラフィック制御回路１１６から受信した数値および図形を表示する装置である。インターフェース１１８は、欠陥検査装置１１０と機械学習装置１２０とを接続するためのインターフェースである。なお、インターフェース１１１，１１８は、その通信形態は特に制約されず、例えば、インターネット、イントラネット、ＬＡＮ、ＵＳＢ、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）等を介して通信を行うインターフェースであっても良い。

【0036】

機械学習装置１２０は、好ましくは、ＣＰＵ１２２と、ＲＯＭ１２３と、ＲＡＭ１２４と、不揮発性メモリ１２５と、を備える。これらの構成要素は、バス１２７を介して互いに通信可能に構成されている。ＣＰＵ１２２は、機械学習装置１２０全体を制御するプロセッサである。ＣＰＵ１２２に代えて、ＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いても良い。ＲＯＭ１２３は、システムプログラムを含む各種プログラムを記憶する読み出し専用の記憶装置である。当該各種プログラムは、、機械学習装置１２０の動作を制御するためのものである。ＲＡＭ１２４は、機械学習に係る各処理における一時的な記憶を行うための読み書き可能な記憶装置である。不揮発性メモリ１２５は、学習モデル、学習済みモデル等を記憶する記憶装置である。ここで、「学習モデル」は、学習前のモデル（または学習用モデルともいう）を意味し、「学習済みモデル」は、学習を済ませたモデルを意味する。機械学習装置１２０は、好ましくは、インターフェース１１８を介して欠陥検査装置１１０にて取得可能な各種データ（被検査部位の画像データ等）を観測することができる。また、欠陥検査装置１１０は、機械学習装置１２０から出力されるスコア値等の検査対象物の良否判定結果に係る情報を表示装置１３０等に表示する。なお、欠陥検査装置１１０は、機械学習装置１２０から出力される当該検査対象物の良否判定結果に係る情報を表示装置１３０とは異なる表示装置（不図示）に表示しても良い。

【0037】

（４）欠陥検査システムの機能的構成
図１０は、本発明の実施形態に係る欠陥検査システムの概略的な機能ブロック図を示す。図１１は、本発明の実施形態に係る欠陥検査システムにおいて実施される機械学習を説明するための図を示す。図１２および図１３は、本発明の実施形態に係る欠陥検査システムにおいて実施される欠陥検査方法を説明するための図を示す。図１０に示す各機能ブロックは、図９に示す欠陥検査装置１１０のＣＰＵ１１２および機械学習装置１２０のＣＰＵ１２２が、それぞれシステムプログラムを実行し、欠陥検査装置１１０および機械学習装置１２０の各部の動作を制御することにより実現される機能の観点で表したものである。

【0038】

本発明の実施形態に係る欠陥検査システム１００において、欠陥検査装置１１０は、好ましくは、機械学習装置１２０と、入力受付部１４５と、検査処理部１４６と、第１判定部１４７と、判定感度導入部１４８と、第２判定部１４９と、を備える。機械学習装置１２０は、好ましくは、学習用データセット記憶部１４１と、学習部１４２と、プログラム・パラメータ記憶部１４３と、学習済みモデル記憶部１４４と、を備える。

【0039】

学習用データセット記憶部１４１は、良品属性が付与された良品画像データ４０および不良品属性が付与された不良品画像データ３０からなる学習用データセットを複数組記憶するための記憶領域である。この実施形態において、良品画像データ４０および不良品画像データ３０は、予め準備された被検査部位を含むテスト画像データに良品属性または不良品属性が付与されて作成された画像データである。このテスト画像データは、例えば、撮像部１１により事前に撮像された被検査部位を含む画像データ、外部メモリ（不図示）から読み込まれた被検査部位を含む画像データ、ネットワーク（不図示）を介して取得された被検査部位を含む画像データ等であることが好ましい。また、後述の欠陥検査処理が実行された欠陥検査済みの検査対象画像データを新たにテスト画像データとして記憶しても良い。テスト画像データへの良品属性または不良品属性の付与方法は、特に制約されないが、例えば、作業者がテスト画像データを目視することにより入力装置１０１等を介して良品属性または不良品属性を入力する方法や、コンピュータ等がテスト画像データを解析して良品属性または不良品属性を付与する方法等であっても良い。学習用データセット記憶部１４１は、好ましくは、ストッパー部Ｓ、ネック部Ｎ、およびリップ部Ｌの被検査部位ごとに作成された学習用データセットを複数組記憶する。学習用データセット記憶部１４１に記憶される学習用データセットの数は、特に制約されないが、例えば、ストッパー部Ｓ、ネック部Ｎ、およびリップ部Ｌそれぞれについて、５０枚の良品画像データ４０と５０枚の不良品画像データ３０とからなる学習用データセットが記憶されていることが好ましい。学習用データセット記憶部１４１は、好ましくは、不揮発性メモリ１２５に確保された記憶領域である。ただし、学習用データセット記憶部１４１は、ＲＡＭ１２４等の他の記憶装置に確保された記憶領域であっても良い。

【0040】

学習部１４２は、好ましくは、学習用データセットを複数組入力することにより学習済みモデルを構築する構成部である。学習部１４２は、新たに入力された画像データから、良品属性または不良品属性のうち当該画像データに付与すべき属性を推論する学習済みモデルを構築する。学習部１４２は、好ましくは、学習用データセット記憶部１４１に記憶された複数組のデータセットを用いて機械学習を実行する構成部である。プログラム・パラメータ記憶部１４３は、好ましくは、学習モデルを含む各種プログラムおよび当該プログラム中の初期パラメータ（重み等を含む）、および学習部１４２が学習を通じて算出したパラメータを記憶するための記憶領域である。学習済みモデル記憶部１４４は、好ましくは、学習部１４２において学習モデルの学習により生成された学習済みモデルを記憶するための記憶領域である。プログラム・パラメータ記憶部１４３および学習済みモデル記憶部１４４は、好ましくは、不揮発性メモリ１２５に確保された記憶領域である。ただし、プログラム・パラメータ記憶部１４３および学習済みモデル記憶部１４４は、ＲＡＭ１２４等の他の記憶装置に確保された記憶領域であっても良い。この実施形態では、機械学習装置１２０において使用される学習済みモデル構築用のディープラーニングプログラムとして、Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ社の「Ｖｉｓｕａｌ Ｉｎｓｐｅｃｔｉｏｎ」という教師なし学習プログラムを好適に用いることができる。このプログラムでは、欠陥の箇所を明示せずに、単に、良品フォルダに良品画像を、不良品フォルダに不良品画像を、それぞれ複数読み込ませることによって、学習済みモデルを構築できる。欠陥箇所を明示しないで学習させるという意味で、このプログラムは、教師なし学習用プログラムの範疇に入る。学習部１４２で実行される機械学習について、以下に説明する。

【0041】

学習部１４２は、好ましくは、機械学習と総称される任意の学習アルゴリズムに従い、良品画像データ４０および不良品画像データ３０と良品属性および不良品属性との相関性を暗示する特徴量を抽出する。この結果、新たに入力された画像データ７５（検査対象画像データ７５）（図１２を参照）が学習済みモデルに入力された際に、良品か不良品かの属性の推定が可能となる。学習部１４２は、当該学習モデルの学習を反復実行することができる。このような学習サイクルを繰り返すことにより、学習済みモデルをより精度の高いものとすることができる。

【0042】

機械学習装置１２０において、上述のような教師なし学習を進める際には、ニューラルネットワークを用いることができる。ニューラルネットワークは、例えば、ニューロンのモデルを模した演算装置や記憶装置等によって構成できる。図１１のｂに示すニューラルネットワーク４５は、学習前のモデルであって、入力層の複数個のニューロン５０と、第１中間層の複数個のニューロン５１と、第ｍ中間層の複数のニューロン５５と、第ｎ中間層の複数のニューロン６０と、出力層の複数のニューロン６１と、から構成されている。ただし、ｍは１≦ｍ≦ｎの自然数とする。中間層は、隠れ層とも呼ばれており、その数は１以上であれば特に制約されない。この実施形態では、ｎ個の中間層を有する。また、入力層または出力層と中間層との間には、層間のニューロンを接続するエッジ７０が張られており、それぞれのエッジ７０には、重みＷ_ｉ（Ｗ_１～Ｗ_ｎ）が対応付けられている。

【0043】

この実施形態におけるニューラルネットワーク４５は、学習用データセット記憶部１４１に記憶された複数組の学習用データセットを用いて、良品画像データ４０および不良品画像データ３０と良品属性および不良品属性との相関関係を学習する。具体的には、状態変数としての良品画像データ４０および不良品画像データ３０をそれぞれ入力層のニューロンに対応付け、一般的なニューラルネットワークの出力値の算出方法、すなわち、出力側のニューロンの値を、当該ニューロンに接続される入力側のニューロンの値と、出力側のニューロンと入力側のニューロンとを接続するエッジ７０に対応付けられた重みＷ_ｉとの乗算値の数列の和として算出することを、入力層にあるニューロン以外のすべてのニューロンに対して行う方法が用いられる。なお、状態変数を入力層のニューロンに対応付けるに際し、状態変数として取得した情報をどのような形式として対応付けるかは、生成される学習済みモデルの精度等を考慮して適宜設定することができる。例えば、入力データそれぞれに対応させるニューロンの数を調整するため、或いはニューロンに対応可能な値に調整するために、特定の入力データに対して前処理を実行しても良い。

【0044】

学習部１４２では、特徴量の設定および重みＷｉの調整が行われ、学習済みモデルが生成される。この実施形態において、良品属性や不良品属性を区別する指標はスコア値である。より具体的には、この実施形態において、スコア値は、検査対象物に欠陥が含まれているか否かを峻別可能な値であって、欠陥が含まれている検査対象物のスコア値の方が、欠陥が含まれていない検査対象物のスコア値に比べて大きい。

【0045】

この実施形態において、学習部１４２は、好ましくは、入力された複数の画像データを学習用データとテスト用データとに分割し、学習用データから典型的な特徴を抽出して推論モデルを出力する。そして、学習部１４２は、好ましくは、テスト用データを推論モデルと照合し、期待結果の違いを誤差として計算する。例えば、テスト用データと推論モデルとの誤差が大きい場合、不良品判定を確定させるスコア領域８１の一部と良品判定を確定させるスコア領域８２の一部とが重なり、欠陥が含まれている検査対象物のスコア値の方が、欠陥が含まれていない検査対象物のスコア値に比べて小さくなる事態が生じる。このような場合であっても、学習部１４２は、計算された誤差を用いて重みＷｉを調整してニューラルネットワークモデルを更新し、推論モデルの出力およびテスト用データと推論モデルの照合等を誤差が小さくなるまで反復実行して最適な推論モデルである学習済みモデルを出力することができる。

【0046】

学習が終了すると、ニューラルネットワークモデルのノードのそれぞれに対応付けられた全ての重みＷ_ｉを調整した学習済みモデルが学習済みモデル記憶部１４４に記憶される。図１２に示すグラフ８０は、このようにして作成された学習済みモデルのイメージである。この実施形態において、学習済みモデルでは、不良品画像データ３０のスコア値の方が良品画像データ４０のスコア値に比べて大きな値である。また、不良品判定を確定させるスコア領域８１の最小スコア値である第１閾値８３は、良品判定を確定させるスコア領域８２の最大スコア値である第２閾値８４より大きな値である（図１２のグラフ８０を参照）。欠陥検査システム１００に対する学習済みモデルの具体的な適用態様については、後述する。なお、学習済みモデルは、良品属性が付与された複数の良品画像データのスコア値の集合と、不良品属性が付与された複数の不良品画像データのスコア値の集合とが分離されたモデルであれば良く、ディープラーニングによって構築されたか、あるいは教師なし機械学習若しくは教師あり機械学習によって構築されたかは問わない。

【0047】

入力受付部１４５は、好ましくは、作業者から入力装置１０１を介して、例えば、スコア値を補正する係数である判定感度等の各種設定値の入力を受け付ける。判定感度は、スコア値を第１閾値８３に近づく方向に補正する必要から、１より大きな係数である。検査処理部１４６は、学習済みモデル記憶部１４４に記憶された学習済みモデルを用いて、新たに入力された検査対象画像データ７５に対応する検査対象物の良否を判定するためのスコア値を出力し、当該スコア値に基づいて良否判定を行う。第１判定部１４７は、検査処理部１４６により出力されたスコア値が、第１閾値８３より小さくかつ第２閾値８４より大きい第３閾値８５（図１３を参照）と、第１閾値８３との範囲８６（図１３のｃを参照）内にあるか否かを判定する。第３閾値８５は、第１閾値８３より小さくかつ第２閾値８４より大きい値であれば特に制約はなく、機械学習の精度等を考慮して適宜設定可能である。第３閾値８５は、好ましくは、第１閾値８３から第２閾値８４までの間の４０～６０％の位置にある。この結果、良品の過検出の低減および不良品流出の低減を、より高精度に実行することができる。この実施形態において、第３閾値８５は、第１閾値８３と第２閾値８４とのおおよそ中間値（約５０％）に設定されている（図１３のｂを参照）。

【0048】

判定感度導入部１４８は、スコア値が第３閾値８５と第１閾値８３との範囲８６内にある場合に、スコア値を補正する係数である判定感度をスコア値に乗じて当該スコア値を補正する。判定感度は、好ましくは、第１閾値８３に対する第３閾値８５と第１閾値８３との差分の割合に１を加えた値である。ただし、判定感度は、１より大きければ、第３閾値８５と無関係に設定されても良い。以後、判定感度導入部１４８において判定感度を用いて補正されたスコア値を、「補正スコア値」とも称する。判定感度によるスコア値の補正方法については、その詳細を後述する。第２判定部１４９は、補正スコア値が第１閾値８３以上であるか否かを判定する。

【0049】

検査処理部１４６は、補正スコア値が第１閾値８３以上である場合に補正スコア値に対応する検査対象物を不良品と判定し、補正スコア値が第１閾値８３より小さい場合に補正スコア値に対応する検査対象物を良否判定が不定と判定する。また、検査処理部１４６は、好ましくは、出力されたスコア値が第１閾値８３以上である場合にスコア値に対応する検査対象物を不良品と判定し、出力されたスコア値が第３閾値８５より小さい場合にスコア値に対応する検査対象物を良品と判定する。

【0050】

２．欠陥検査方法
次に、本発明の実施形態に係る欠陥検査方法について説明する。

【0051】

図１４は、本発明の実施形態に係る欠陥検査システムにおける機械学習処理のフローチャート（１４Ａ）および欠陥検査処理のフローチャート（１４Ｂ）をそれぞれ示す。

【0052】

この実施形態に係る欠陥検査方法は、好ましくは、欠陥検査システム１００において実行される機械学習処理（図１４Ａを参照）および欠陥検査処理（図１４Ｂを参照）を含む。また、この実施形態に係る欠陥検査方法は、欠陥検査装置１１０のＣＰＵ１１２および機械学習装置１２０のＣＰＵ１２２がそれぞれシステムプログラムを実行することにより、機械学習処理および欠陥検査処理が実行される。なお、以下の説明において、欠陥検査装置１１０のＣＰＵ１１２が実行する処理は、ＣＰＵ１１２に代えて機械学習装置１２０のＣＰＵ１２２が実行しても良い。また、ＣＰＵ１２２が実行する処理は、ＣＰＵ１２２に代えてＣＰＵ１１２が実行しても良い。

【0053】

（１）機械学習処理
まず、機械学習処理について説明する。この実施形態において、入力装置１０１等から学習用データセットを作成するための撮像指示を受信すると、システムプログラムに従って図１４Ａに示す機械学習処理が開始される。

【0054】

まず、ステップＳ２００（以下、ステップを省略）において、ＣＰＵ１１２は、学習用データセットを作成するための被検査部位の画像を撮像する。より具体的には、ＣＰＵ１１２は、欠陥検出装置１０を用いて、検査対象物の一例である結合成形品１のストッパー部Ｓ、ネック部Ｎ、およびリップ部Ｌの少なくとも１つを被検査部位として撮像部１１に撮像させる。欠陥検出装置１０において、撮像部１１は、好ましくは、負荷ユニット１６または回転ユニット１９により物理的な負荷が加えられた状態のストッパー部Ｓ、ネック部Ｎ、およびリップ部Ｌの少なくとも一部を被検査部位として撮像する。Ｓ２００において、好ましくは、被検査部位に亀裂等の欠陥を有さない結合成形品１の当該被検査部位の画像を撮像し、不良品画像データ３０と良品画像データ４０とを作成する。Ｓ２００において、ＣＰＵ１１２は、少なくとも学習用データセットを作成するために必要なテスト画像データ数の被検査部位の画像を撮像することが好ましい。

【0055】

Ｓ２１０において、画像データに良品属性または不良品属性のいずれかが付与される。この実施形態では、作業者が、良品画像データ４０のみを格納するフォルダ内に当該画像データ４０を入れることによって、当該画像データ４０に良品という属性が付与される。同様に、作業者が、不良画像データ３０のみを格納するフォルダ内に当該画像データ３０を入れることによって、当該画像データ３０に不良品という属性が付与される。ただし、良品属性や不良品属性の付与は、上記手法に限定されない。例えば、作業者が入力装置１０１等を介して良品属性または不良品属性を入力しても良いし、ＣＰＵ１１２等がテスト画像データを解析して良品属性または不良品属性を付与しても良い。Ｓ２１０では、ＣＰＵ１１２は、Ｓ２００により作成された複数の良品画像データ４０および複数の不良品画像データ３０を学習用データセットして学習用データセット記憶部１４１に記憶させる。Ｓ２１０は、本発明の学習用データセット記憶ステップの一例である。学習用データセットは、少なくとも良品画像データ４０および不良品画像データ３０を含むものであれば、その構成は特に制約されず、機械学習に用いる学習アルゴリズムに応じて適宜作成されることが好ましい。そして、ＣＰＵ１２２は、学習用データセット記憶部１４１に記憶されている学習用データセットを複数組入力することにより、新たに入力された画像データから、良品属性または不良品属性のうち当該画像データに付与すべき属性を推論するための学習済みモデルを構築するべく、学習前のモデル（ニューラルネットワークモデル４５）を学習する（Ｓ２２０）。この学習前のモデルは、任意の初期値の重みを備えている。特徴量は、好ましくは、学習部１４２として機能するＣＰＵ１２２によって画像データから抽出される。学習部１４２は、画像データから特徴量を抽出し、かつ重みの調整を行いながら、学習済みモデルを作成する。重みの調整は、例えば、不良品画像データ３０のスコア値の集合と、良品画像データ４０のスコア値の集合とが明確に分離できるように行われる。Ｓ２２０において、ＣＰＵ１２２は、例えば、Ｓ２１０により学習用データセット記憶部１４１に学習用データセットが記憶されたことを契機として機械学習を実施しても良いし、Ｓ２１０の処理が実行された後にＣＰＵ１１２により機械学習の指示を受信したことを契機として機械学習を実施しても良い。後者の場合、ＣＰＵ１１２は、入力装置１０１等を介して機械学習の指示を受け付けても良い。そして、ＣＰＵ１２２は、Ｓ２２０における機械学習により構築された学習済みモデルを学習済みモデル記憶部１４４に記憶させ（Ｓ２３０）、本機械学習処理を終了する。Ｓ２３０は、本発明の学習済みモデル記憶ステップの一例である。なお、機械学習処理において、例えば、学習用データセットに用いる良品画像データ４０および不良品画像データ３０が外部メモリ等に予め格納されている場合には、Ｓ２００において、撮像部１１による被検査部位の撮像を行う代わりに、当該外部メモリ等に格納されている良品画像データ４０および不良品画像データ３０を取得しても良い。

【0056】

（２）欠陥検査処理
次に、欠陥検査処理について説明する。この実施形態において、入力装置１０１等から欠陥検査処理を開始させる指示を受信すると、システムプログラムに従って図１４Ｂに示す欠陥検査処理が開始される。

【0057】

まず、Ｓ３００において、ＣＰＵ１１２は、検査対象物の被検査部位の画像を撮像する。より具体的には、ＣＰＵ１１２は、欠陥検出装置１０を用いて、検査対象物の一例である結合成形品１のストッパー部Ｓ、ネック部Ｎ、およびリップ部Ｌの少なくとも１つを被検査部位として撮像部１１に撮像させる。そして、ＣＰＵ１２２は、学習済みモデル記憶部１４４に記憶されている学習済みモデルを用いて、Ｓ３００において撮像部１１の撮像により生成された検査対象画像データ７５に対応する検査対象物の良否を判定するためのスコア値を出力する（Ｓ３１０；図１２を参照）。Ｓ３１０は、本発明の検査処理ステップの一例である。Ｓ３１０において、ＣＰＵ１２２は、例えば、Ｓ３００により新たな検査対象画像データが生成されたことを契機として機械学習を実施しても良いし、Ｓ３００の処理が実行された後にＣＰＵ１１２により機械学習の指示を受信したことを契機として機械学習を実施しても良い。後者の場合、ＣＰＵ１１２は、入力装置１０１等を介して機械学習の指示を受け付けても良い。

【0058】

Ｓ３２０において、ＣＰＵ１１２は、入力装置１０１等を介して判定感度の入力を受け付ける。判定感度は、Ｓ３１０により出力されたスコア値を補正する補正係数である。判定感度は、好ましくは、第１閾値８３に対する第３閾値８５と第１閾値８３との差分の割合である（図１３を参照）。この実施形態において、例えば、図１３に示すように、第１閾値８３のスコア値が５３．７７、第３閾値８５のスコア値が３４．４である場合、判定感度は、（５３．７７－３４．４）／５３．７７＝０．３６の計算と、０．３６に１を加える計算により、１３６％（１．３６）となる。Ｓ３２０において、入力装置１０１等を介して入力される判定感度の形態は特に制約されず、例えば、１．３６等の数値であっても良いし、１３６％等の％値であっても良い。また、欠陥検査処理において、Ｓ３２０は、少なくともＳ３３０の処理より前に実行されていれば良く、例えば、Ｓ３００の処理よりも前に実行されても良いし、Ｓ３００の処理とＳ３１０の処理との間に実行されても良い。

【0059】

Ｓ３３０において、ＣＰＵ１１２は、Ｓ３１０により出力されたスコア値が判定感度の範囲８６内か否かを判断する。より具体的には、ＣＰＵ１１２は、Ｓ３１０により出力されたスコア値が第３閾値８５と第１閾値８３との範囲８６内であるか否かを判定する。Ｓ３１０は、本発明の第１判定ステップの一例である。例えば、図１３に示すように、第１閾値８３のスコア値が５３．７７、第３閾値８５のスコア値が３４．４である場合、Ｓ３２０において、Ｓ３１０により出力されたスコア値が、３４．４以上５３．７７未満であるか否か判定される。この実施形態において、第３閾値８５は、先述の通り、好ましくは、第１閾値８３と第２閾値８４との中間値に設定されている。図１３に示すように、第１閾値８３のスコア値が５３．７７および第２閾値８４のスコア値が１５．０９である場合、第３閾値８５のスコア値は、５３．７７－（５３．７７－１５．０９）／２＝３４．４の計算により３４．４と算出される。

【0060】

Ｓ３１０により出力されたスコア値が判定感度の範囲８６内にない場合（Ｓ３３０：ＮＯ）、ＣＰＵ１１２は、Ｓ３１０により出力されたスコア値が第３閾値８５を下回っているか否かを判定する（Ｓ３４０）。そして、Ｓ３１０により出力されたスコア値が第３閾値８５を下回っている場合（Ｓ３４０：ＹＥＳ）、ＣＰＵ１１２は、Ｓ３００にて撮像された被検査部位において検査対象物を良品（合格）と判定し（Ｓ３５０）、本欠陥検査処理を終了する。一方、Ｓ３１０により出力されたスコア値が第３閾値８５を下回っていない場合（Ｓ３４０：ＮＯ）、ＣＰＵ１１２は、Ｓ３００にて撮像された被検査部位において検査対象物を不良品（不合格）と判定し（Ｓ３６０）、本欠陥検査処理を終了する。Ｓ３５０およびＳ３６０は、本発明の検査処理ステップの一例である。

【0061】

Ｓ３１０により出力されたスコア値が判定感度の範囲８６内である場合（Ｓ３３０：ＹＥＳ）、ＣＰＵ１１２は、判定感度を用いて、Ｓ３１０により出力されたスコア値を補正する（Ｓ３７０）。より具体的には、ＣＰＵ１１２は、Ｓ３１０により出力されたスコア値に判定感度を乗じることによりスコア値を補正する。例えば、Ｓ３１０により出力されたスコア値が４０．０および判定感度１３６％とする場合、スコア値４０．０に判定感度として１．３６を乗じた値（４０．０×１．３６＝５４．４）を補正スコア値とする（図１５Ｂを参照）。なお、Ｓ３７０におけるスコア値の補正方法は、判定感度を用いて補正する方法であれば特に制約されず、適宜、検査対象物、学習アルゴリズム、判定感度等に応じた補正方法を採用することが好ましい。Ｓ３７０は、本発明の判定感度導入ステップの一例である。

【0062】

Ｓ３８０において、ＣＰＵ１１２は、Ｓ３７０において判定感度を用いて補正された補正スコア値が第１閾値８３以上であるか否かを判定する。Ｓ３８０は、本発明の第２判定ステップの一例である。補正スコア値が第１閾値８３以上の場合、すなわち、補正スコア値が判定感度の範囲８６内（図１３を参照）でない場合（Ｓ３８０：ＹＥＳ）、ＣＰＵ１１２は、Ｓ３００にて撮像された被検査部位において検査対象物を不良品（不合格）と判定し（Ｓ３６０）、本欠陥検査処理を終了する。一方、補正スコア値が第１閾値８３を下回る場合、すなわち、補正スコア値が判定感度の範囲８６内（図１３を参照）である場合（Ｓ３８０：ＮＯ）、ＣＰＵ１１２は、Ｓ３００にて撮像された被検査部位において検査対象物を良否判定が不定（再検査）であると判定し（Ｓ３９０）、再度Ｓ３１０からの処理を繰り返す。Ｓ３９０は、本発明の検査処理ステップの一例である。なお、欠陥検査処理は、Ｓ３９０の処理後に再度Ｓ３１０からの処理を繰り返さずに終了しても良いし、Ｓ３９０の処理後に再度Ｓ３１０からの処理を所定回数繰り返した場合は、それ以上処理を繰り返さずに終了しても良い。

【0063】

図１５は、本発明の実施形態に係る欠陥検査システムにおいて実施される欠陥検査方法の具体例を説明するための図を示す。図１５に示す各具体例は、いずれも、第１閾値８３を５３．７７、第３閾値８５を３４．４、および判定感度を１３６％とした場合における具体例である。

【0064】

図１５Ａに示す例は、Ｓ３１０（図１４Ｂを参照）において検査対象物のスコア値（Ｓｃｒ値）として３０．０が出力された場合における欠陥検査方法の例である。この場合、検査対象物のスコア値は、判定感度の範囲８６（スコア値が３４．４以上５３．７７未満の範囲）内でなく（Ｓ３３０：ＮＯ）、第３閾値８５を下回っている（Ｓ３４０：ＹＥＳ）。このため、図１５Ａに示す例では、検査対象物のスコア値が判定感度を適用して補正されることなく、検査対象物は良品（合格）と判定される（Ｓ３５０）。

【0065】

図１５Ｂに示す例は、Ｓ３１０（図１４Ｂを参照）において検査対象物のスコア値（Ｓｃｒ値）として４０．０が出力された場合における欠陥検査方法の例である。この場合、検査対象物のスコア値は、判定感度の範囲８６内であるため（Ｓ３３０：ＹＥＳ）、検査対象物のスコア値が判定感度を適用して補正される（Ｓ３７０）。この例では、補正スコア値（Ｓｃｒ’値）は、スコア値としての４０．０に判定感度として１．３６を乗じた値（４０．０×１．３６）である５４．４となる。算出された補正スコア値は第１閾値８３以上のため（Ｓ３８０：ＹＥＳ）、検査対象物は不良品（不合格）と判定される（Ｓ３６０）。

【0066】

図１５Ｃに示す例は、Ｓ３１０（図１４Ｂを参照）において検査対象物のスコア値（Ｓｃｒ値）として３５．０が出力された場合における欠陥検査方法の例である。この場合、検査対象物のスコア値は、判定感度の範囲８６内であるため（Ｓ３３０：ＹＥＳ）、検査対象物のスコア値が判定感度を適用して補正される（Ｓ３７０）。この例では、補正スコア値（Ｓｃｒ’値）は、スコア値としての３５．０に判定感度として１．３６を乗じた値（３５．０×１．３６）である４７．６となる。算出された補正スコア値は第１閾値８３を下回るため（Ｓ３８０：ＮＯ）、検査対象物は良否判定が不定（再検査）であると判定される（Ｓ３９０）。

【0067】

このような欠陥検査システム１００および欠陥検査方法によれば、出力されたスコア値が判定感度の範囲（第３閾値８５と第１閾値８３との範囲）８６内である場合（Ｓ３３０：ＹＥＳ）には、当該スコア値が不良品判定を確定させる最小スコア値である第１閾値８３を下回っていても良品と判定せず、判定感度を適用して補正した補正スコア値に基づき再度良否判定を行う（Ｓ３７０，Ｓ３８０）。そして、補正スコア値が第１閾値８３以上の場合（Ｓ３８０：ＹＥＳ）に不良品と判定し、補正スコア値が判定感度の範囲８６内の場合（Ｓ３８０：ＮＯ）に良否判定が不定と判定して再検査を行う。このため、良品の過検出や不良品の見逃し（流出）を低減することができ、欠陥検査における検査対象物の良否判定精度を向上させることができる。

【0068】

３．その他実施形態
上述のように、本発明の好適な各実施形態について説明したが、本発明は、これらに限定されることなく、種々変形して実施可能である。

【0069】

例えば、上述の実施形態において、欠陥検査処理（図１４Ｂを参照）は、判定感度が入力装置１０１等を介して入力されていたが（図１４のＳ３２０）、本発明はこれに限定されず、例えば、ＣＰＵ１１２が所定の公式や法則に基づいて第１閾値８３および／または第２閾値８４から判定感度を算出しても良い。

【0070】

また、機械学習処理（図１４Ａを参照）は、欠陥検査処理（図１４Ｂを参照）により判定された検査対象画像データ７５とその良否判定結果（良品または不良品）とを、学習用データセット記憶部１４１に追加して再度機械学習を行い（図１４のＳ２２０）、学習済みモデルを適宜更新しても良い。

【0071】

また、欠陥検出装置１０は、検査対象物の被検査部位を撮像して検査対象画像データを生成可能な装置であれば、特に制約されない。例えば、検査対象物が負荷を加えずに欠陥の有無を検査可能なものである場合、欠陥検出装置１０は、負荷ユニット１６および回転ユニット１９等の検査対象物に負荷を加える構成を備えていなくても良い。

【0072】

また、検査対象物は、結合成形品１のみならず、例えば、ワイパーラバー１ａ，１ｂ単体であっても良いし、工場等で製造されたその他自動車用部品、電子部品等であっても良い。

【産業上の利用可能性】

【0073】

本発明は、検査対象物を撮像して取得された検査対象画像データに基づいて当該検査対象物が欠陥を有するか否かの良否判定を行う分野にて利用可能である。

【符号の説明】

【0074】

１・・・結合成形品（検査対象物の一例）、１ａ，１ｂ・・・ワイパーラバー、１０・・・欠陥検出装置、１１・・・撮像部、１３・・・照明部、１４，１５・・・支持台、１６・・・負荷ユニット（負荷部の一例）、１７・・・回転ユニット（負荷部の一例）、３０・・・不良品画像データ、４０・・・良品画像データ、８３・・・第１閾値、８４・・・第２閾値、８５・・・第３閾値、８６・・・第３閾値と第１閾値との範囲（判定感度の範囲）、１００・・・欠陥検査システム、１１０・・・欠陥検査装置、１２０・・・機械学習装置、１４１・・・学習用データセット記憶部、１４２・・・学習部、１４４・・・学習済みモデル記憶部、１４６・・・検査処理部、１４７・・・第１判定部、１４８・・・判定感度導入部、１４９・・・第２判定部、Ｌ・・・リップ部、Ｎ・・・ネック部、Ｓ・・・ストッパー部。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】