特開 2023-104292 検査システム、管理装置、検査装置及び検査方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023104292

(43)【公開日】2023-07-28

(54)【発明の名称】検査システム、管理装置、検査装置及び検査方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20230721BHJP

   G01N 21/88 20060101ALI20230721BHJP

【ＦＩ】

G06T7/00 610C

G01N21/88 J

G06T7/00 350C

【審査請求】未請求

【請求項の数】10

【出願形態】ＯＬ

(21)【出願番号】P 2022005187

(22)【出願日】2022-01-17

(71)【出願人】

【識別番号】515086908

【氏名又は名称】株式会社トヨタプロダクションエンジニアリング

(74)【代理人】

【識別番号】100114306

【弁理士】

【氏名又は名称】中辻 史郎

(74)【代理人】

【識別番号】100148655

【弁理士】

【氏名又は名称】諏訪 淳一

(72)【発明者】

【氏名】鹿江 央聖

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA07

2G051AB03

2G051CA04

2G051EB05

2G051ED21

5L096BA03

5L096DA02

5L096FA06

5L096HA11

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

【課題】検査対象物の表面に顕在化した異常を効率良く検査することを課題とする。
【解決手段】管理装置３０は、深層距離学習により学習済モデルを生成し、学習用画像を学習済モデルに入力し、学習済モデルから出力される学習用画像の特徴量を次元圧縮した２次元特徴量に基づいて、２次元平面上の境界データを特定し、学習済データ及び境界データを含む判定条件データを検査装置１０及び検査装置２０に送信する。検査装置１０は、カメラ１１で検査対象となるパネルＰを撮像した入力画像を学習済モデルに入力し、学習済モデルから入力画像の特徴量が出力されたならば、この特徴量を次元圧縮した２次元特徴量と２次元平面上の境界データとに基づいて、検査対象物であるパネルＰがワレ品であるか否かを検査する。
【選択図】図１

【特許請求の範囲】

【請求項1】

学習用画像を用いて学習済モデルを生成する管理装置と、検査対象物の表面を撮像した入力画像を前記学習済モデルに入力し、該学習済モデルから出力される情報に基づいて前記検査対象物の異常を検査する検査装置とを有する検査システムであって、
前記管理装置は、
学習用画像を用いた教師無し学習による深層距離学習により学習済モデルを生成する学習済モデル生成手段と、
前記学習済モデルから出力される学習用画像の特徴量を次元圧縮した次元圧縮後特徴量に基づいて、境界を特定する境界特定手段と
を備え、
前記検査装置は、
前記学習済モデルから出力される前記入力画像の特徴量を次元圧縮した次元圧縮後特徴量と前記境界に係る情報とに基づいて、前記検査対象物の表面に顕在化した異常を検査する検査手段
を備えたことを特徴とする検査システム。

【請求項2】

前記検査装置は、
前記検査手段による検査結果を報知する報知手段をさらに備えたことを特徴とする請求項１に記載の検査システム。

【請求項3】

前記学習済モデル生成手段は、
前記学習用画像の特徴量を出力する所定のベースネットワークと、
表面に異常が顕在化しない対象物を撮像した複数の第１画像と、前記対象物とは異なる物体を撮像した複数の第２画像とを前記ベースネットワークに入力し、前記第１画像の特徴量と前記第２画像の特徴量との距離が離れるように深層距離学習を行って前記学習済モデルを生成する生成手段と
を備えたことを特徴とする請求項１又は２に記載の検査システム。

【請求項4】

前記境界特定手段は、
表面に異常が顕在化しない対象物を撮像した複数の第１画像及び前記表面に異常が顕在化した対象物を撮像した複数の第３画像を前記学習済モデルに入力し、該学習済モデルから出力された複数の特徴量を取得する第１の特徴量取得手段と、
前記学習済モデルにから出力された複数の特徴量をそれぞれ２次元特徴量に次元圧縮する第１の次元圧縮手段と、
前記複数の第１画像の２次元特徴量と前記複数の第３画像の２次元特徴量とに基づいて、境界を抽出する境界抽出手段と
を備えたことを特徴とする請求項１乃至３のいずれか一つに記載の検査システム。

【請求項5】

前記境界抽出手段は、
前記複数の第１画像の２次元特徴量の全て含み、前記複数の第２画像の２次元特徴量を全て含まない領域を抽出することを特徴とする請求項４に記載の検査システム。

【請求項6】

前記検査手段は、
前記検査対象物を撮像した第４画像を前記学習済モデルに入力し、該学習済モデルから出力された特徴量を取得する第２の特徴量取得手段と、
前記学習済モデルにから出力された特徴量を２次元特徴量に次元圧縮する第２の次元圧縮手段と、
前記検査対象物の２次元特徴量と前記２次元平面上の境界に係る情報とに基づいて、前記検査対象物の表面に顕在化した異常の有無を判定する判定手段と
を備えたことを特徴とする請求項１～５のいずれか一つに記載の検査システム。

【請求項7】

学習用画像を用いた教師無し学習により学習済モデルを生成する管理装置であって、
前記学習用画像の特徴量を出力する所定のベースネットワークと、
表面に異常が顕在化しない対象物を撮像した複数の第１画像と、前記対象物とは異なる物体を撮像した複数の第２画像とを前記ベースネットワークに入力し、前記第１画像の特徴量と前記第２画像の特徴量との距離が離れるように深層距離学習を行って前記学習済モデルを生成する生成手段と
を備えたことを特徴とする管理装置。

【請求項8】

表面に異常が顕在化しない対象物を撮像した複数の第１画像及び前記表面に異常が顕在化した対象物を撮像した複数の第３画像を前記学習済モデルに入力し、該学習済モデルから出力された複数の特徴量を取得する特徴量取得手段と、
前記学習済モデルから出力された複数の特徴量をそれぞれ２次元特徴量に次元圧縮する次元圧縮手段と、
前記複数の第１画像の２次元特徴量と前記複数の第３画像の２次元特徴量とに基づいて、境界を抽出する境界抽出手段と
を備えたことを特徴とする請求項７に記載の管理装置。

【請求項9】

検査対象物の表面を撮像した入力画像を学習済モデルに入力し、該学習済モデルから出力される情報に基づいて前記検査対象物の異常を検査する検査装置であって、
前記学習済モデルから出力される前記入力画像の特徴量を次元圧縮した２次元特徴量と前記２次元平面上の境界に係る情報とに基づいて、前記検査対象物の表面に顕在化した異常を検査する検査手段と、
前記検査手段による検査結果を報知する報知手段と
を備えたことを特徴とする検査装置。

【請求項10】

学習用画像を用いて学習済モデルを生成する管理装置と、検査対象物の表面を撮像した入力画像を前記学習済モデルに入力し、該学習済モデルから出力される情報に基づいて前記検査対象物の異常を検査する検査装置とを有する検査システムにおける検査方法であって、
前記管理装置が、学習用画像を用いた教師無し学習による深層距離学習により学習済モデルを生成する学習済モデル生成工程と、
前記管理装置が、前記学習済モデルから出力される学習用画像の特徴量を次元圧縮した次元圧縮後特徴量に基づいて、境界を特定する境界特定工程と、
前記検査装置が、前記学習済モデルから出力される前記入力画像の特徴量を次元圧縮した次元圧縮後特徴量と前記境界に係る情報とに基づいて、前記検査対象物の表面に顕在化した異常を検査する検査工程と
を含むことを特徴とする検査方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査対象物の表面に顕在化した異常を効率良く検査することができる検査システム、管理装置、検査装置及び検査方法に関する。

【背景技術】

【0002】

従来、例えばプレス生産ラインにてパネルの生産を行う場合に、パネルにワレが発生する場合がある。このため、プレス生産ラインに所在する検査員が、目視によりパネルのワレを検出し、ワレが存在するパネルを取り除く作業を行ってきた。

【0003】

このように、検査員による目視検査を行う場合には、ワレが存在するパネルを見逃してしまう可能性がある。このため、深層学習を用いて対象物の外観に生じた欠陥を検出する従来技術が知られている。例えば、特許文献１には、照明条件を変えながら被検査物を撮像して複数の画像を取得し、複数の画像を学習済モデルに入力することにより、被検査物の外観に生じた輝度異常部を抽出し、輝度異常部の形状に基づいて形状特徴量を取得し、形状特徴量を評価して輝度異常部が欠陥か否かを判定する技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０２１－０１８０６４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、かかる特許文献１のものは、深層学習により生成した学習済モデルにより被検査物の外観に生じた異常を抽出する必要がある。深層学習において精度を求めれば求めるほど、膨大な数の教師データ（画像と正解データ）を用いて教師有り学習を行わねばならず、効率的ではない。

【0006】

このため、パネルにワレが生じているか否かをいかに効率良く検査するかが重要な課題となっている。かかる課題は、パネルに生じたワレだけではなく、検査対象物に生じた異常を検査する場合にも同様に生ずる課題である。

【0007】

本発明は、上記従来技術の課題を解決するためになされたものであって、検査対象物の表面に顕在化した異常を効率良く検査することができる検査システム、管理装置、検査装置及び検査方法を提供することを目的とする。

【課題を解決するための手段】

【0008】

上述した課題を解決し、目的を達成するため、本発明は、学習用画像を用いて学習済モデルを生成する管理装置と、検査対象物の表面を撮像した入力画像を前記学習済モデルに入力し、該学習済モデルから出力される情報に基づいて前記検査対象物の異常を検査する検査装置とを有する検査システムであって、前記管理装置は、学習用画像を用いた教師無し学習による深層距離学習により学習済モデルを生成する学習済モデル生成手段と、前記学習済モデルから出力される学習用画像の特徴量を次元圧縮した次元圧縮後特徴量に基づいて、境界を特定する境界特定手段とを備え、前記検査装置は、前記学習済モデルから出力される前記入力画像の特徴量を次元圧縮した次元圧縮後特徴量と前記境界に係る情報とに基づいて、前記検査対象物の表面に顕在化した異常を検査する検査手段を備えたことを特徴とする。

【0009】

また、本発明は、上記発明において、前記検査装置は、前記検査手段による検査結果を報知する報知手段をさらに備えたことを特徴とする。

【0010】

また、本発明は、上記発明において、前記学習済モデル生成手段は、前記学習用画像の特徴量を出力する所定のベースネットワークと、表面に異常が顕在化しない対象物を撮像した複数の第１画像と、前記対象物とは異なる物体を撮像した複数の第２画像とを前記ベースネットワークに入力し、前記第１画像の特徴量と前記第２画像の特徴量との距離が離れるように深層距離学習を行って前記学習済モデルを生成する生成手段とを備えたことを特徴とする。

【0011】

また、本発明は、上記発明において、前記境界特定手段は、表面に異常が顕在化しない対象物を撮像した複数の第１画像及び前記表面に異常が顕在化した対象物を撮像した複数の第３画像を前記学習済モデルに入力し、該学習済モデルから出力された複数の特徴量を取得する第１の特徴量取得手段と、前記学習済モデルにから出力された複数の特徴量をそれぞれ２次元特徴量に次元圧縮する第１の次元圧縮手段と、前記複数の第１画像の２次元特徴量と前記複数の第３画像の２次元特徴量とに基づいて、境界を抽出する境界抽出手段とを備えたことを特徴とする。

【0012】

また、本発明は、上記発明において、前記境界抽出手段は、前記複数の第１画像の２次元特徴量の全て含み、前記複数の第２画像の２次元特徴量を全て含まない領域を抽出することを特徴とする。

【0013】

また、本発明は、上記発明において、前記検査手段は、前記検査対象物を撮像した第４画像を前記学習済モデルに入力し、該学習済モデルから出力された特徴量を取得する第２の特徴量取得手段と、前記学習済モデルにから出力された特徴量を２次元特徴量に次元圧縮する第２の次元圧縮手段と、前記検査対象物の２次元特徴量と前記２次元平面上の境界に係る情報とに基づいて、前記検査対象物の表面に顕在化した異常の有無を判定する判定手段とを備えたことを特徴とする。

【0014】

また、本発明は、学習用画像を用いた教師無し学習により学習済モデルを生成する管理装置であって、前記学習用画像の特徴量を出力する所定のベースネットワークと、表面に異常が顕在化しない対象物を撮像した複数の第１画像と、前記対象物とは異なる物体を撮像した複数の第２画像とを前記ベースネットワークに入力し、前記第１画像の特徴量と前記第２画像の特徴量との距離が離れるように深層距離学習を行って前記学習済モデルを生成する生成手段とを備えたことを特徴とする。

【0015】

また、本発明は、上記発明において、表面に異常が顕在化しない対象物を撮像した複数の第１画像及び前記表面に異常が顕在化した対象物を撮像した複数の第３画像を前記学習済モデルに入力し、該学習済モデルから出力された複数の特徴量を取得する特徴量取得手段と、前記学習済モデルから出力された複数の特徴量をそれぞれ２次元特徴量に次元圧縮する次元圧縮手段と、前記複数の第１画像の２次元特徴量と前記複数の第３画像の２次元特徴量とに基づいて、境界を抽出する境界抽出手段とを備えたことを特徴とする。

【0016】

また、本発明は、検査対象物の表面を撮像した入力画像を学習済モデルに入力し、該学習済モデルから出力される情報に基づいて前記検査対象物の異常を検査する検査装置であって、前記学習済モデルから出力される前記入力画像の特徴量を次元圧縮した２次元特徴量と前記２次元平面上の境界に係る情報とに基づいて、前記検査対象物の表面に顕在化した異常を検査する検査手段と、前記検査手段による検査結果を報知する報知手段とを備えたことを特徴とする。

【0017】

また、本発明は、学習用画像を用いて学習済モデルを生成する管理装置と、検査対象物の表面を撮像した入力画像を前記学習済モデルに入力し、該学習済モデルから出力される情報に基づいて前記検査対象物の異常を検査する検査装置とを有する検査システムにおける検査方法であって、前記管理装置が、学習用画像を用いた教師無し学習による深層距離学習により学習済モデルを生成する学習済モデル生成工程と、前記管理装置が、前記学習済モデルから出力される学習用画像の特徴量を次元圧縮した次元圧縮後特徴量に基づいて、境界を特定する境界特定工程と、前記検査装置が、前記学習済モデルから出力される前記入力画像の特徴量を次元圧縮した次元圧縮後特徴量と前記境界に係る情報とに基づいて、前記検査対象物の表面に顕在化した異常を検査する検査工程とを含むことを特徴とする。

【発明の効果】

【0018】

本発明によれば、検査対象物の表面に顕在化した異常を効率良く検査することができる。

【図面の簡単な説明】

【0019】

【図1】図１は、本実施形態に係る検査システムのシステム構成を示す図である。

【図2】図２は、図１に示した管理装置の構成を示す機能ブロック図である。

【図3】図３は、図２に示した管理装置による学習済モデルの生成の概要を説明するための説明図である。

【図4】図４は、図２に示した管理装置による境界データ抽出の概要を説明するための説明図である。

【図5】図５は、２次元平面上の良品パネル画像の特徴量、ワレ品パネル画像の特徴量及び境界の一例を示す図である。

【図6】図６は、図１に示した検査装置の構成を示す機能ブロック図である。

【図7】図７は、図６に示した制御部による制御の概要を説明するための説明図である。

【図8】図８は、２次元平面を用いた良品判定、ワレ品判定の一例を示す図である。

【図9】図９は、図２に示した管理装置による学習済モデルの生成手順を示すフローチャートである。

【図10】図１０は、図２に示した管理装置による境界データの抽出手順を示すフローチャートである。

【図11】図１１は、図６に示した検査装置による判定手順を示すフローチャートである。

【発明を実施するための形態】

【0020】

以下、添付図面を参照して、本実施形態に係る検査システム、管理装置、検査装置及び検査方法の実施形態を説明する。本実施形態では、管理装置３０が学習済モデル及び境界情報を生成してこれらの情報を含む判定条件情報を検査装置１０，２０に送信し、検査装置１０，２０がプレス生産ラインＬを通過するパネルＰが良品であるかワレ品であるかを判定する場合について説明することとする。なお、以下に示す実施形態では、説明の便宜上、画像データを単に「画像」と記載することとする。

【0021】

＜検査システムのシステム構成＞
本実施形態に係る検査システムのシステム構成について説明する。図１は、本実施形態に係る検査システムのシステム構成を示す図である。同図に示すように、この検査システムは、プレス生産ラインＬ上を搬送されるパネルＰのワレを検査するシステムである。本実施形態に記載するパネルＰの「ワレ」とは、例えば車体の一部に用いるパネルの表面に顕在化する亀裂を意味する。パネルＰは、図１の左上部から右下部に向けて搬送される状況を示している。

【0022】

本実施形態に係る検査システムは、管理装置３０と、検査装置１０及び検査装置２０を有する。管理装置３０は、バックヤードに配設された一種のサーバ装置であり、検査装置１０及び検査装置２０を管理する。具体的には、管理装置３０は、良品である良品パネル画像とファッション商品画像とを含む学習用画像をベースネットワークに入力して教師無し学習による深層距離学習（Deep Metric Learning）を行って学習済モデルを生成する（Ｓ１）。この深層距離学習自体は公知技術であるため、ここではその詳細な説明を省略する。なお、かかる深層距離学習を行う場合に、ファッション商品画像である必要はなく、良品パネルと異なる物品で特徴量に違いが生ずる物品の画像を学習用画像とすることもできる。

【0023】

その後、例えば３０００枚の良品パネル画像と、３０００枚のワレ品パネル画像とを学習済モデルに入力して、それぞれの特徴量（３次元以上）を取得し、この特徴量を次元圧縮して２次元特徴量を算定する。良品パネル画像の２次元特徴量とワレ品パネル画像の２次元特徴量を２次元平面上にプロットし、良品パネル画像の特徴量とワレ品パネル画像の特徴量との境界データを抽出する（Ｓ２）。そして、学習済モデル及び境界データを含む判定条件データを検査装置１０及び検査装置２０に送信する（Ｓ３）。

【0024】

検査装置１０は、プレス生産ラインＬ上を搬送されるパネルＰにワレが生じているか否かを検査する装置である。具体的には、管理装置３０から送信された判定条件データを受信したならば、この判定条件データに含まれる学習済モデル及び境界データを記憶部に記憶する（Ｓ４）。

【0025】

そして、カメラ１１によりプレス生産ラインＬ上を搬送されるパネルＰの入力画像を撮像し（Ｓ５）、この入力画像を学習済モデルに投入して特徴量を抽出し、この特徴量（３次元以上）を次元圧縮した２次元の特徴量と境界データを用いて良品判定を行い（Ｓ６）、パネルＰがワレ品であると判定された場合には、光、合成音又はコマンド送信で係員に報知する（Ｓ７）。良品判定の詳細な説明は後述する。

【0026】

なお、検査装置２０についても、検査装置１０と同様の処理を行う。具体的には、カメラ２１によりプレス生産ラインＬ上を搬送されるパネルＰの入力画像を撮像し、この入力画像を学習済モデルに投入して特徴量を抽出し、この特徴量（３次元以上）を次元圧縮した２次元の特徴量と境界データを用いて良品判定を行い、パネルＰがワレ品であると判定された場合には、光又は合成音で報知する。

【0027】

このように、本実施形態に係る検査システムは、学習用画像を用いて学習済モデルを生成する管理装置３０と、パネルＰの表面を撮像した入力画像を学習済モデルに入力し、該学習済モデルから出力される情報に基づいてパネルＰがワレ品であるか否かを検査する検査装置とを有する検査システムである。管理装置３０は、所定の深層距離学習（教師無し学習）により学習済モデルを生成するとともに、学習用画像（良品パネル画像、ファッション商品画像）を学習済モデルに入力し、学習済モデルから出力される学習用画像の特徴量を次元圧縮した２次元特徴量に基づいて、２次元平面上の境界データを特定する。そして、学習済データ及び境界データを含む判定条件データを検査装置１０及び検査装置２０に送信する。検査装置１０は、カメラ１１で検査対象となるパネルＰを撮像した入力画像を学習済モデルに入力し、学習済モデルから入力画像の特徴量が出力されたならば、この特徴量を次元圧縮した２次元特徴量と２次元平面上の境界データとに基づいて、検査対象物であるパネルＰがワレ品であるか否かを検査する。そして、パネルＰがワレ品であると判定された場合には、光又は合成音で報知する。これにより、検査対象物であるパネルＰの表面にワレが顕在化しているか否かを効率良く検査することができる。

【0028】

＜管理装置３０の構成＞
次に、図１に示した管理装置３０の構成を説明する。図２は、図１に示した管理装置３０の構成を示す機能ブロック図である。この管理装置３０は、学習済モデルの生成と境界データの抽出とを行い、学習済モデル及び境界データを含む判定条件データを検査装置１０及び検査装置２０に送信する装置である。

【0029】

図２に示すように、管理装置３０は、入力部３１と、表示部３２と、通信Ｉ／Ｆ部３３と、記憶部３４と、制御部３５とを有する。入力部３１は、キーボード又はマウス等の入力デバイスであり、表示部３２は、液晶パネル又はディスプレイなどからなる表示デバイスである。通信Ｉ／Ｆ部３３は、検査装置１０，２０と通信を行うためのインタフェース部である。

【0030】

記憶部３４は、ハードディスク装置又は不揮発性メモリなどからなる記憶デバイスであり、ベースネットワーク３４ａ、良品パネル画像３４ｂ、ファッション商品画像３４ｃ、学習済モデル３４ｄ、ワレ品パネル画像３４ｅ及び境界データ３４ｆを記憶する。

【0031】

ベースネットワーク３４ａは、学習済モデルを生成するための元になるニューラルネットワークである。このベースネットワーク３４ａとしては、例えばモバイルアプリケーションのように制御された環境で機能するように設計された「MobileNetV2１」等を用いることができる。なお、MobileNetV2１以外のベースネットワークを用いることもできる。

【0032】

良品パネル画像３４ｂは、あらかじめワレの無いパネルを撮像した画像であり、例えば３０００枚の良品パネル画像３４ｂが記憶部に記憶される。かかる良品パネル画像３４ｂは、図１に示したカメラ１１又はカメラ２１で良品パネルを撮像した画像を検査装置１０又は２０から受信して記憶部３４に記憶すればよい。

【0033】

ファッション商品画像３４ｃは、検査対象となるパネルと全く異質のファッション商品を撮像した画像である。このファッション商品画像３４ｃは、教師無し学習による深層距離学習を行って学習済モデル３４ｄを生成するときに用いられる。かかるファッション商品画像３４ｃは、ＷＥＢ上の任意のＨＴＴＰサーバから取得したものでよい。

【0034】

学習済モデル３４ｄは、学習用画像（良品パネル画像３４ｂ、ファッション商品画像３４ｃ）を用いた教師無し学習による深層距離学習により生成された学習済モデルである。この学習済モデル３４ｄは、何らかの画像が入力されると、この画像の特徴量（３次元以上）が出力される。

【0035】

ワレ品パネル画像３４ｅは、表面にワレがあるパネルを撮像した画像であり、例えば３０００枚のワレ品パネル画像３４ｅが記憶部に記憶される。ここで、実際のプレス生産現場では、多くのワレ品パネルが発生しないため、実際のワレ品パネルの画像ではなく、良品パネル画像のワレが生じる部位に大小のワレを付したものをワレ品パネル画像３４ｅとすることができる。

【0036】

境界データ３４ｆは、複数の良品パネル画像３４ｂの特徴量をそれぞれ次元圧縮した複数の２次元特徴量と、複数のワレ品パネル画像３４ｅの特徴量をそれぞれ次元圧縮した複数の２次元特徴量とを２次元平面上にプロットし、複数の良品パネル画像３４ｂの２次元特徴量と複数のワレ品パネル画像３４ｅの２次元特徴量との境界を示すデータである。

【0037】

かかる境界のデータを求める場合には、局所外れ値因子法（Local Outlier Factor）又はテンプレートマッチングなどの周知技術を用いることができる。局所外れ値因子法を用いる場合には、あるオブジェクトの局所密度をその近傍群の局所密度と比較することにより、密度が同程度であるような領域と、周囲と比べて密度が有意に低い点（外れ値）を特定する処理を行う。また、テンプレートマッチングを行う場合には、例えば、楕円形状を含むマスクパターンを２次元平面上で平行移動、拡大縮小、変形及び回転させ、境界をなす楕円形状を特定する。この際、楕円の長軸の長さ、短軸の長さ、頂点座標、中心座標、焦点座標が境界データとなる。ただし、境界データ３４ｆは、局所外れ値因子法又はテンプレートマッチング以外の周知技術により求めることもできる。境界をなす画素位置を特定できればよい。

【0038】

制御部３５は、管理装置３０の全体制御を行う制御部であり、学習処理部３６、境界特定部３７及び判定条件データ送信部３８を有する。実際には、学習処理部３６、境界特定部３７及び判定条件データ送信部３８に対応するプログラムを記憶部３４などに記憶しておき、これらのプログラムをメモリにロードして、ＣＰＵで実行することで、対応するプロセスを実行させることになる。

【0039】

学習処理部３６は、学習用画像とベースネットワーク３４ａを用いて教師無し学習を行うことにより、学習済モデル３４ｄを生成する処理部である。図３は、図２に示した管理装置３０による学習済モデルの生成の概要を説明するための説明図である。同図に示すように、良品パネル画像３４ｂとファッション商品画像３４ｃを学習用画像としてベースネットワーク３４ａに投入し、教師無し学習による深層距離学習を行うことにより、学習済モデル３４ｄを生成する。これにより、良品パネル画像３４ｂは特徴量の値が近づき、良品パネル画像３４ｂとファッション商品画像３４ｃの特徴量の値が離れるように重みが自動調整される。

【0040】

この深層距離学習は公知技術であり、（１）２サンプルを１組にして距離を学習するコントラスティブロス（contrastive loss）、（２）３サンプルを１組にして距離を学習するトリプレットロス（triplet loss）、（３）クラス分類にマージンの層を加えて距離を学習するクラス分類誤差などを用いることができる。

【0041】

境界特定部３７は、例えば３０００枚の良品パネル画像３４ｂの２次元特徴量と、３０００枚のワレ品パネル画像３４ｅの２次元特徴量の境界を特定する処理部である。図４は、図２に示した管理装置３０による境界データ抽出の概要を説明するための説明図であり、図５は、２次元平面上の良品パネル画像３４ｂの特徴量、ワレ品パネル画像３４ｅの特徴量及び境界の一例を示す図である。

【0042】

図４に示すように、良品パネル画像３４ｂとワレ品パネル画像３４ｅを順次学習済モデル３４ｄに入力したならば、学習済モデル３４ｄから各画像に対応する高次元（３次元以上）の特徴量が出力される。

【0043】

境界特定部３７は、各画像の特徴量（高次元）の次元圧縮処理を行って、２次元特徴量を算定する。そして、図５（ａ）に示すように、２次元特徴量を２次元平面上に画像の種別が分かるようにプロットする。その後、図５（ｂ）に示すように、各良品パネル画像３４ｂの２次元特徴量と、各ワレ品パネル画像３４ｅの２次元特徴量の境界を特定する。ここでは、楕円形状を含むマスクパターンを２次元平面上で平行移動、拡大縮小、変形及び回転させ、境界をなす楕円形状を特定する。これにより、楕円の長軸の長さ、短軸の長さ、頂点座標、中心座標、焦点座標を含む境界データを抽出することができる。

【0044】

判定条件データ送信部３８は、学習済モデル３４ｄ及び境界データを含む判定条件データを検査装置１０及び検査装置２０に送信する処理部である。

【0045】

＜検査装置１０の構成＞
次に、図１に示した検査装置１０の構成を説明する。ここでは検査装置１０の構成のみを説明するが、検査装置２０の構成も同様のものとなる。図６は、図１に示した検査装置１０の構成を示す機能ブロック図である。図６に示すように、検査装置１０は、カメラ１１と接続され、操作部１２、表示部１３、報知部１４、通信Ｉ／Ｆ部１５、記憶部１６及び制御部１７を有する。

【0046】

カメラ１１は、プレス生産ラインＬの所定の位置を通過するパネルＰの入力画像を撮像する撮像装置であり、ＣＣＤ（Charge Coupled Device）等の半導体素子からなる。ここでは、カメラ１１は、白黒濃淡画像を撮像することとするが、カラー画像であってもよい。

【0047】

操作部１２は、各種の操作ボタンからなる操作部であり、表示部１３は、液晶パネル等の表示デバイスである。報知部１４は、例えば赤色光の発光、合成音の出力又はコマンド送信により、ワレ品パネルの存在を係員に報知する報知部である。通信Ｉ／Ｆ部１５は、管理装置３０と通信を行うためのインタフェース部である。

【0048】

記憶部１６は、ハードディスク装置又は不揮発性メモリなどからなる記憶デバイスであり、学習済モデル１６ａ、境界データ１６ｂ、良品判定結果１６ｃを記憶する。学習済モデル１６ａは、管理装置３０から送信された判定条件データに含まれる学習済モデルである。

【0049】

境界データ１６ｂは、管理装置３０から送信された判定条件データに含まれる境界データである。良品判定結果１６ｃは、検査対象となるパネルＰが良品パネルと判定したか、ワレ品パネルであると判定したかの判定結果を示す履歴データである。

【0050】

制御部１７は、検査装置１０の全体制御を行う制御部であり、特徴量抽出部１７ａ、次元圧縮処理部１７ｂ、良品判定処理部１７ｃ及び報知制御部１７ｄを有する。実際には、特徴量抽出部１７ａ、次元圧縮処理部１７ｂ、良品判定処理部１７ｃ及び報知制御部１７ｄに対応するプログラムを記憶部１６などに記憶しておき、これらのプログラムをメモリにロードして、ＣＰＵで実行することで、対応するプロセスを実行させることになる。

【0051】

図７は、図６に示した制御部１７による制御の概要を説明するための説明図であり、図８は、２次元平面を用いた良品判定、ワレ品判定の一例を示す図である。図７及び図８を参照して、制御部１７の各機能部を説明する。

【0052】

特徴量抽出部１７ａは、カメラ１１によりプレス生産ラインＬ上を搬送されるパネルＰを撮像した入力画像の特徴量（３次元以上）を抽出する処理部である。具体的には、図７に示すように、入力画像を学習済モデル１６ａに入力したならば、学習済モデル１６ａから入力画像に対応する特徴量（３次元以上）が出力される。

【0053】

次元圧縮処理部１７ｂは、図７に示すように、入力画像の高次元（３次元以上）の特徴量を次元圧縮して２次元特徴量を生成する処理部である。かかる次元圧縮の手法として、例えばＵＭＡＰ（Uniform Manifold Approximation and Projection for Dimension Reduction）を用いることができる。ＵＭＡＰは公知技術であるため、ここではその詳細な説明を省略する。

【0054】

良品判定処理部１７ｃは、入力画像の２次元特徴量と境界データを用いてパネルＰが良品であるかワレ品であるかを判定する処理部である。具体的には、図８（ａ）に示すように、入力画像の２次元特徴量が境界の範囲内である場合には「良品」であると判定し、図８（ｂ）に示すように、入力画像の２次元特徴量が境界の範囲外である場合には「ワレ品」であると判定する。

【0055】

報知制御部１７ｄは、パネルＰがワレ品であると判定された場合に、光、合成音又はコマンド送信で係員に報知する処理部である。

【0056】

＜学習処理手順＞
次に、図２に示した管理装置３０による境界情報の抽出手順について説明する。図９は、図２に示した管理装置３０による学習済モデルの生成手順を示すフローチャートである。ここでは、記憶部３４内にベースネットワーク３４ａ、良品パネル画像３４ｂ及びファッション商品画像３４ｃが記憶されているものとする。記憶部３４に記憶される良品パネル画像３４ｂ及びファッション商品画像３４ｃは、例えばそれぞれ３０００枚あるものとする。また、ここでは２サンプルを１組にして距離を学習するコントラスティブロスによる深層距離学習を行う場合を示すこととする。なお、教師無し学習を行うため、正解データを入力する必要はない。

【0057】

図９に示すように、管理装置３０は、記憶部３４に記憶したベースネットワーク３４ａを読み込み（ステップＳ１０１）、深層距離学習の準備を行う。その後、記憶部３４に記憶した良品パネル画像３４ｂを読み込み（ステップＳ１０２）、記憶部３４に記憶したファッション商品画像３４ｃを読み込む（ステップＳ１０３）。

【0058】

その後、良品パネル画像３４ｂとファッション商品画像３４ｃとをベースネットワーク３４ａに入力し（ステップＳ１０４）、教師データを用いることなく距離学習（深層距離学習）を行う（ステップＳ１０５）。これにより、ベースネットワーク３４ａ内の重みが修正される。

【0059】

ここで、他の良品パネル画像３４ｂが記憶部３４に存在する場合には（ステップＳ１０６；Ｙｅｓ）、ステップＳ１０２に移行して同様の処理を繰り返し、他の良品パネル画像３４ｂが記憶部３４に存在しない場合には（ステップＳ１０６；Ｎｏ）、処理を終了する。上記一連の処理を行うことにより、学習済モデル３４ｄが生成されるため、この学習済モデル３４ｄを記憶部３４に記憶する。

【0060】

＜境界データの抽出手順＞
次に、図２に示した管理装置３０による境界データの抽出手順について説明する。図１０は、図２に示した管理装置３０による境界データの抽出手順を示すフローチャートである。ここでは、記憶部３４内に良品パネル画像３４ｂ及びワレ品パネル画像３４ｅが記憶されているものとする。記憶部３４に記憶される良品パネル画像３４ｂ及びワレ品パネル画像３４ｅは、例えば３０００枚あるものとする。また、記憶部３４から読み出された学習済モデル３４ｄが主記憶メモリ上に記憶されているものとする。

【0061】

図１０に示すように、管理装置３０は、記憶部３４に記憶された良品パネル画像３４ｂ又はワレ品パネル画像３４ｅを読み込み（ステップＳ２０１）、主記憶メモリ上の学習済モデル３４ｄに入力する（ステップＳ２０２）。これにより、学習済モデル３４ｄから高次元（３次元以上）の特徴量が出力される（ステップＳ２０３）。

【0062】

その後、ＵＭＡＰ等を用いて特徴量を２次元特徴量に次元圧縮し（ステップＳ２０４）、主記憶メモリ上の２次元平面の座標位置に２次元特徴量をプロットする（ステップＳ２０５）。そして、未処理の良品パネル画像３４ｂ又はワレ品パネル画像３４ｅが存在するならば（ステップＳ２０６；Ｙｅｓ）、ステップＳ２１０に移行して同様の処理を行う。

【0063】

これに対して、未処理の良品パネル画像３４ｂ及びワレ品パネル画像３４ｅが存在しない場合には（ステップＳ２０６；Ｎｏ）、境界抽出処理を行う（ステップＳ２０７）。具体的には、楕円形状を含むマスクパターンを２次元平面上で平行移動、拡大縮小、変形及び回転させ、境界をなす楕円形状を特定し、楕円の長軸の長さ、短軸の長さ、頂点座標、中心座標、焦点座標を含む境界データ３４ｆを記憶部３４に記憶する。

【0064】

そして、記憶部３４に記憶した学習済モデル３４ｄ及び境界データ３４ｆを含む判定条件データを検査装置１０及び検査装置２０に送信する（ステップＳ２０８）。

【0065】

＜判定手順＞
次に、図６に示した検査装置１０による判定手順について説明する。なお、ここでは説明の便宜上その説明を省略するが、検査装置２０も同様の判定手順となる。図１１は、図６に示した検査装置１０による判定手順を示すフローチャートである。ここでは、管理装置３０から送信された判定条件データに含まれる学習済モデル及び境界データが記憶部１６に記憶されているものとする。また、記憶部１６から読み出された学習済モデル１６ａ及び境界データ１６ｂが主記憶メモリ上に記憶されているものとする。

【0066】

図１１に示すように、検査装置１０は、カメラ１１によりプレス生産ラインＬの所定の位置を通過するパネルＰの入力画像を撮像したならば（ステップＳ３０１）、この入力画像を主記憶メモリ上の学習済モデル１６ａに入力する（ステップＳ３０２）。これにより、学習済モデル３４ｄから入力画像に対応する高次元の特徴量が出力される（ステップＳ３０３）。

【0067】

検査装置１０は、入力画像の特徴量（高次元）の次元圧縮処理を行って（ステップＳ３０４）、２次元特徴量を算定する。そして、主記憶メモリ上に設けた２次元平面上に入力画像の２次元特徴量をプロットする（ステップＳ３０５）。

【0068】

そして、図８（ａ）に示したように、入力画像の２次元特徴量が境界内であるならば（ステップＳ３０６；Ｙｅｓ）、パネルＰは良品であると判定する（ステップＳ３０７）。これに対して、図８（ｂ）に示したように、入力画像の２次元特徴量が境界外であるならば（ステップＳ３０６；Ｎｏ）、パネルＰはワレ品であると判定し（ステップＳ３０８）、ワレ品が発生した旨を光、合成音又は係員の携帯端末へのコマンド送信により係員に報知する（ステップＳ３０９）。そして、所定の終了操作を受け付けない場合には（ステップＳ３１０；Ｎｏ）、ステップＳ３０１に移行して同様の処理を繰り返し、所定の終了操作を受け付けたならば（ステップＳ３１０；Ｙｅｓ）、処理を終了する。

【0069】

上述してきたように、本実施形態では、管理装置３０は、学習用画像を用いた教師無し学習による深層距離学習により学習済モデル３４ｄを生成するとともに、学習済モデル３４ｄから出力される学習用画像の特徴量を次元圧縮した２次元特徴量に基づいて、２次元平面上の境界データ３４ｆを生成し、学習済モデル及び境界データを含む判定条件データを検査装置１０及び検査装置２０に通知し、検査装置１０は、学習済モデル１６ａから出力される入力画像の特徴量を次元圧縮した２次元特徴量と２次元平面上の境界データ１６ｂとに基づいて、パネルＰが良品であるかワレ品であるかを判定し、ワレ品である場合に係員に報知するよう構成したので、検査対象物であるパネルＰのワレの有無を効率良く検査することができる。

【0070】

なお、上記の実施形態では、２台の検査装置１０及び検査装置２０を用いる場合を示したが、１台の検査装置のみを用いる場合、３台以上の検査装置を用いる場合も同様に構成することができる。また、上記の実施形態では、管理装置３０において学習済モデルと境界データを生成する場合を示したが、本発明はこれに限定されるものではなく、検査装置１０において学習済モデルと境界データを生成することもできる。また、クラウド上で学習済モデルと境界データを生成することもできる。

【0071】

また、上記の実施形態では、２次元特徴量に次元圧縮する場合を示したが、本発明はこれに限定されるものではなく、３次元以上の特徴量に次元圧縮することもできる。ただし、次元数が多くなればなるほど計算量は増加する。また、１次元の特徴量に次元圧縮することもできる。

【0072】

また、上記の実施形態では、楕円形状を用いて境界を求める場合を示したが、本発明はこれに限定されるものではなく、円、四角形、六角形等の任意の形状を用いて境界を求めることができる。また、境界をなす画素位置の座標位置の集合を境界データとすることもできる。

【0073】

また、上記の実施形態では、異常を報知する場合について説明したが、本発明はこれに限定されるものではなく、異常を報知せず、検査結果を異常割合算出等の演算などに使用する場合に適用することもできる。

【0074】

また、本実施形態で図示した各構成は機能概略的なものであり、必ずしも物理的に図示の構成をされていることを要しない。すなわち、各装置の分散・統合の形態は図示のものに限られず、その全部又は一部を各種の負荷や使用状況などに応じて、任意の単位で機能的又は物理的に分散・統合して構成することができる。

【産業上の利用可能性】

【0075】

本発明の検査システム、管理装置、検査装置及び検査方法は、検査対象物の表面に顕在化した異常を効率良く検査する場合に有用である。

【符号の説明】

【0076】

Ｌ プレス生産ライン
Ｐ パネル
１０，２０ 検査装置
１１，２１ カメラ
１２ 操作部
１３ 表示部
１４ 報知部
１５ 通信Ｉ／Ｆ部
１６ 記憶部
１６ａ 学習済モデル
１６ｂ 境界データ
１６ｃ 良品判定結果
１７ 制御部
１７ａ 特徴量抽出部
１７ｂ 次元圧縮処理部
１７ｃ 良品判定処理部
１７ｄ 報知制御部
３０ 管理装置
３１ 入力部
３２ 表示部
３３ 通信Ｉ／Ｆ部
３４ 記憶部
３４ａ ベースネットワーク
３４ｂ 良品パネル画像
３４ｃ ファッション商品画像
３４ｄ 学習済モデル
３４ｅ ワレ品パネル画像
３４ｆ 境界データ
３５ 制御部
３６ 学習処理部
３７ 境界特定部
３７ａ 特徴量抽出部
３７ｂ 次元圧縮処理部
３７ｃ 境界抽出部
３８ 判定条件データ送信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】