特許 6981352 検査管理システム、検査管理装置及び検査管理方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6981352

(24)【登録日】2021年11月22日

(45)【発行日】2021年12月15日

(54)【発明の名称】検査管理システム、検査管理装置及び検査管理方法

(51)【国際特許分類】

   G01N 21/892 20060101AFI20211202BHJP

【ＦＩ】

   G01N21/892 A

【請求項の数】11

【全頁数】16

(21)【出願番号】特願2018-81064(P2018-81064)

(22)【出願日】2018年4月20日

(65)【公開番号】特開2019-190891(P2019-190891A)

(43)【公開日】2019年10月31日

【審査請求日】2020年3月5日

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100123319

【弁理士】

【氏名又は名称】関根 武彦

(74)【代理人】

【識別番号】100125357

【弁理士】

【氏名又は名称】中村 剛

(74)【代理人】

【識別番号】100123098

【弁理士】

【氏名又は名称】今堀 克彦

(74)【代理人】

【識別番号】100106622

【弁理士】

【氏名又は名称】和久田 純一

(74)【代理人】

【識別番号】100138357

【弁理士】

【氏名又は名称】矢澤 広伸

(72)【発明者】

【氏名】植田 清隆

【審査官】 赤木 貴則

(56)【参考文献】

【文献】 特開２００３−３２９５９６（ＪＰ，Ａ）

【文献】 特開２００４−２８６５３２（ＪＰ，Ａ）

【文献】 特開２０１７−２１５２７７（ＪＰ，Ａ）

【文献】 特開２０００−０５７３４９（ＪＰ，Ａ）

【文献】 米国特許第０６０６４４７８（ＵＳ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｎ ２１／８４ーＧ０１Ｎ ２１／９５８

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

シート状の被検査物の検査を管理するための検査管理システムであって、
前記被検査物の外観を、異なる方式により撮影する複数の撮影手段と、前記複数の撮影手段により撮影されたそれぞれの画像に基づいて、前記被検査物の欠陥を検出する検出手段と、を備える外観検査部と、
前記複数の異なる方式の撮影手段ごとに、前記検出手段により検出された欠陥が撮影されている欠陥画像データが記録される記憶部と、
前記記憶部に記録された前記欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する同一欠陥画像統合手段を備える、検査管理部と、
表示部と、を有しており、
前記検査管理部は、
前記同一欠陥画像セットごとに前記欠陥の種別を分類する欠陥種別分類手段であって、深層学習の手法により学習済みの推論手段を含む欠陥種別分類手段と、
前記表示部に、前記同一欠陥画像セットごとに該セットを構成する欠陥画像データを同時に表示するとともに、該表示された欠陥画像データのセットに対応する欠陥種別の登録をユーザーに求める深層学習用教師データ登録手段、をさらに備える、
検査管理システム。

【請求項2】

前記検査管理部は、
前記同一欠陥画像セットの数を計数して、所定の検査単位ごとに、欠陥数を算出する欠陥計数手段をさらに備える、
ことを特徴とする、請求項１に記載の検査管理システム。

【請求項3】

出力部をさらに有しており、
前記検査管理部は、
前記算出された欠陥数が所定の値を超えた場合に、その旨を前記出力部を介して通知する欠陥数警告手段をさらに備える、
ことを特徴とする、請求項２に記載の検査管理システム。

【請求項4】

前記検査管理部は、
前記欠陥種別分類手段によって分類された欠陥種別ごとに前記同一欠陥画像セットの数を計数し、所定の検査単位ごとに、欠陥種別ごとの欠陥数を算出する、欠陥種別計数手段をさらに備える、
ことを特徴とする、請求項１から３のいずれか一項に記載の検査管理システム。

【請求項5】

出力部を有しており、
前記検査管理部は、前記算出された欠陥種別ごとの欠陥数が、該欠陥種別ごとに定められた所定の値を超えた場合に、その旨を前記出力部を介して通知する欠陥種別欠陥数警告手段をさらに備える、
ことを特徴とする、請求項４に記載の検査管理システム。

【請求項6】

前記欠陥種別分類手段は、
前記同一欠陥画像セットの欠陥種別の分類を、所定の確度以上の正確さで行えない場合には、該同一欠陥画像セットについての欠陥種別を不明として分類する、
ことを特徴とする、請求項１から５のいずれか１項に記載の検査管理システム。

【請求項7】

前記欠陥種別分類手段は、
欠陥種別を不明として分類した前記同一欠陥画像セットについて、ユーザーによる欠陥種別の分類を求める、
ことを特徴とする、請求項６に記載の検査管理システム。

【請求項8】

前記被検査物の外観を異なる方式により撮影する２つ以上の撮影手段は、
前記被検査物の第１の面で反射した反射光による画像を撮影する表面撮影手段、前記被検査物の第１の面と反対側の第２の面で反射した反射光による画像を撮影する裏面撮影手段、及び、前記被検査物を透過した透過光による画像を撮影する透過光撮影手段のうち、いずれか２つ以上を含む、
ことを特徴とする、請求項１から７のいずれか１項に記載の検査管理システム。

【請求項9】

前記被検査物の外観を異なる方式により撮影する２つ以上の撮影手段は、
第１の波長の光によって前記被検査物を撮影する第１波長撮影手段と、前記第１の波長とは異なる波長の光によって前記被検査物を撮影する第２波長撮影手段、とを含む、
ことを特徴とする請求項１から８のいずれか１項に記載の検査管理システム。

【請求項10】

前記同一欠陥画像統合手段は、
前記被検査物における前記欠陥の位置が同一である複数の異なる欠陥画像データを、１つの同一欠陥画像セットとして統合する、
ことを特徴とする、請求項１から９のいずれか１項に記載の検査管理システム。

【請求項11】

シート状の被検査物の外観を異なる複数の撮影方式により撮影して取得した欠陥画像データを処理する検査管理装置であって、
前記異なる複数の撮影方式により撮影されたそれぞれの画像に基づいて、前記被検査物の欠陥を検出する検出手段を備える外観検査部と、
前記異なる複数の撮影方式ごとに、前記検出手段により検出された欠陥が撮影されている欠陥画像データが記録される記憶部と、
前記記憶部に記憶された前記欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する同一欠陥画像統合手段を備える、検査管理部と、
表示部と、を有しており、
前記検査管理部は、
前記同一欠陥画像セットごとに前記欠陥の種別を分類する欠陥種別分類手段であって、
深層学習の手法により学習済みの推論手段を含む欠陥種別分類手段と、
前記表示部に、前記同一欠陥画像セットごとに該セットを構成する欠陥画像データを同時に表示するとともに、該表示された欠陥画像データのセットに対応する欠陥種別の登録をユーザーに求める深層学習用教師データ登録手段、をさらに備える、
検査管理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、シート状の被検査物の異常箇所を検出する技術、特に、検出された異常を分析するための技術に関する。

【背景技術】

【0002】

シート状物品を製造又は加工するための生産ラインでは、可視光や紫外光をシートに照射しその透過光又は反射光をカメラで撮影することにより得られる画像を用いて、シートにおける異常（異物混入、汚れ、シワなど。以下、欠陥ともいう。）を検出する検査装置が利用されている（例えば、特許文献１、特許文献２など）。

【0003】

このような装置には、表面反射像、裏面反射像、透過画像、可視光画像、赤外光画像、などのように、異なる複数の撮影方法により被検査物を撮影して各画像で欠陥検出（良否判定）を行うものがあり、これによって、検査の精度を向上する（欠陥の見逃しを低減する）ことが図られている。

【0004】

そして、上記のような装置を用いて、製品の欠陥を検出して不良品を除去するだけでなく、その検出された欠陥を発生要因（以下、種別ともいう）ごとに分類し、各欠陥の発生頻度をデータ化して、分析することで、製造商品の品質の状況把握や、製造工程の異常箇所の早期発見、予兆保全などに利用することも期待されている。

【0005】

このように、欠陥種別で分類されたデータを有効活用するにあたっては、その発生数、分類などについて、正確であることが重要であるが、上記のように異なる複数の撮影方法（以下、検査方式ともいう）を用いる場合には、得られるデータの正確性を損ねる弊害が生じることもある。

【0006】

例えば、欠陥種別ごとの正確な欠陥数を求めようとしても、複数の検査方式を用いる場合には、一つの欠陥に対して複数の検査方式のそれぞれにおいて欠陥を検出することもあるため、各検査方式で得られる欠陥数を単純に合計した場合、その数が製品上の本来の欠陥数と合致しないといった問題が生じる。

【0007】

これに対し、特許文献２では、異なるカメラ装置で撮像された同一の欠陥についての欠陥情報を比較し、決定ルールに従って決定された異なるカメラ装置のうちの１つのカメラ装置で撮像された画像データに基づき抽出した欠陥情報を代表欠陥情報として決定し、表示する機能を備えた検査システムが提案されている。しかしながら、このような方法では、せっかく複数のカメラによって取得された、代表欠陥情報以外の欠陥画像データが間引かれ、有効に活用されないことになってしまう。

【0008】

また、欠陥の種別を分類するにあたって、欠陥画像を教師データとして深層学習させたＡＩを用いることも行われるが、教師データを登録する際に、欠陥種別の識別が困難である欠陥画像について、実際の欠陥種別とは異なる欠陥の種別と紐付けて登録を行ってしまうという人為的ミスも生じうる。さらに、この際には、本来は同一の欠陥を示しているはずの複数の欠陥画像データについて、検査方式ごとに別々の欠陥種別を登録してしまうといったことも生じるおそれもある。そして、このようにして登録された誤った教師データを用いて学習したＡＩによって分類されたデータは、正確性に疑義が生じることになる。

【0009】

また、複数の検査方式ごとに欠陥画像を取得し、これらを個別に欠陥種別と紐付けて登録を行うことは、検査方式の種類が多ければ、単純にその分だけ教師データ登録の手間が
増えることになり、非効率的でもあった。

【先行技術文献】

【特許文献】

【0010】

【特許文献1】特開２０１５−１７２５１９号公報

【特許文献2】特許第５３０５００２号公報

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明は、上記のような実情に鑑みてなされたものであり、その目的とするところは、複数の異なる方式によって被検査物を撮影し、それぞれの撮影方式ごとに欠陥を検出するシート状物品の外観検査において、同一の欠陥を示す複数の欠陥画像データを個別に管理することによる弊害を低減することができる手段を提供することにある。

【課題を解決するための手段】

【0012】

上記の課題を解決するため、本発明に係る検査管理システムは、シート状の被検査物を検査するための検査管理システムであって、前記被検査物の外観を、異なる方式により撮影する２つ以上の撮影手段と、前記複数の撮影手段により撮影されたそれぞれの画像に基づいて、前記被検査物の欠陥を検出する検出手段と、を備える外観検査部と、前記複数の異なる方式の撮影手段ごとに、前記検出手段により検出された欠陥が撮影されている欠陥画像データが記録される記憶部と、前記記憶部に記録された前記欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する同一欠陥画像統合手段を備える、検査管理部と、を有する。

【0013】

ここで、「異なる方式により撮影」とは、例えば、撮影する被検査物の面が異なるものであってもよいし、検出する光の波長が異なるものであってもよいし、反射光を撮影するものと透過光を撮影するものとの違いであってもよい。また、「前記被検査物における同一の欠陥が撮影されている」ことについては、後述のように、被検査物における欠陥の位置が同一である場合にそのように認定すればよい。なお、システムを構成する各要素は、別体である必要は無く、全てが一体化された筐体に収まっていてもよいし、一部が一体となっていてもよい。

【0014】

上記のような構成によると、複数の方式によって被検査物を撮影し、被検査物における一つの欠陥について撮影方式の異なる複数の欠陥画像データが記録された場合であっても、同一の欠陥を示す複数のデータを１セットとして管理できる。これによって、同一の欠陥を示す複数の欠陥画像データを個別に管理することによる弊害を低減することができる。

【0015】

また、前記検査管理部は、前記同一欠陥画像セットの数を計数して、所定の検査単位ごとに、欠陥数を算出する欠陥計数手段をさらに備えていてもよい。ここで、「所定の検査単位」は、ユーザーが任意のタイミングで設定・変更することもできる。このような構成であると、同一の欠陥について撮影された複数の欠陥画像を個別に計数するのではなく、被検査物における欠陥ごとに欠陥数を計数することになるため、正確な欠陥数を算出することができる。

【0016】

さらに、前記検査管理システムは、出力部をさらに有しており、前記検査管理部は、前記算出された欠陥数が所定の値を超えた場合に、その旨を前記出力部を介して通知する欠陥数警告手段をさらに備えていてもよい。このような構成を取ることによって、欠陥数が所定の値を超えた場合に、ユーザーはそのことを容易に知ることができるため、効率的に
検査管理を行うことが可能になる。

【0017】

なお、出力部はユーザーが知覚可能な方法で通知を行うものであればよく、例えば、液晶ディスプレイなどの表示装置であってもよいし、スピーカーなどの音声出力装置であってもよいし、印刷装置であってもよい。また、これらを併用して通知を行うものであってもよい。

【0018】

また、前記検査管理部は、前記同一欠陥画像セットごとに、前記欠陥の種別を分類する、欠陥種別分類手段をさらに備えていてもよい。このような構成であると、本来は同一の欠陥を示しているはずの複数の欠陥画像データについて、複数の異なる撮影手段ごとに別々の欠陥種別に分類してしまうといったことを防止することができる。

【0019】

また、前記検査管理部は、前記欠陥種別分類手段によって分類された欠陥種別ごとに前記同一欠陥画像セットの数を計数し、所定の検査単位ごとに、欠陥種別ごとの欠陥数を算出する、欠陥種別計数手段をさらに備えていてもよい。このような構成であると、欠陥種別ごとに、正確な欠陥数を求めることができる。

【0020】

また、前記検査管理システムは、出力部を有しており、前記検査管理部は、前記算出された欠陥種別ごとの欠陥数が、該欠陥種別ごとに定められた所定の値を超えた場合に、その旨を前記出力部を介して通知する欠陥種別欠陥数警告手段をさらに備えていてもよい。なお、欠陥種別欠陥数警告手段は、所定の値を超えた欠陥の種別についても併せて通知するものであってもよい。このような構成であると、ユーザーは欠陥種別ごとに、欠陥数が所定の値を超えた場合にそのことを知ることができ、より詳細な検査管理を行うことが可能になる。

【0021】

なお、検査システムが前記欠陥数警告手段も備える構成である場合には、出力部は前記欠陥数警告手段と共通の構成であってもよい。

【0022】

また、前記欠陥種別分類手段は、深層学習の手法により学習済みの推論手段を含んでいてもよい。近年、深層学習の手法を用いた人工知能による画像認識技術が高い成果を上げており、このような技術を用いることで、欠陥種別の分類を、効率よく自動で行うことができる。

【0023】

また、前記検査管理システムは、表示部をさらに有しており、前記検査管理部は、前記表示部に、前記同一欠陥画像セットごとに該セットを構成する欠陥画像データを同時に表示し、該表示された欠陥画像データのセットに対応する欠陥種別の登録をユーザーに求める、深層学習用教師データ登録手段をさらに備えていてもよい。

【0024】

ここで、表示部とは、一般的には液晶ディスプレイなどのディスプレイ装置であるが、プロジェクタによる表示など、他の表示手段を用いるものであっても構わない。上記のような構成によると、同一の欠陥を示す欠陥画像データについては一括で登録を行うことができ、効率的に教師データの登録を行うことができる。また、ユーザーは同一欠陥画像セットに含まれる複数の検査方式による欠陥画像を見比べて欠陥種別を決定、登録する事ができるため、個別の欠陥画像データのみを対象として欠陥種別の登録を行うのに比べ、欠陥種別の選択を誤ったり、判断に時間を要したりすることを低減することができる。

【0025】

また、前記欠陥種別分類手段は、前記同一欠陥画像セットの欠陥種別の分類を、所定の確度以上の正確さで行えない場合には、該同一欠陥画像セットについての欠陥種別を不明として分類してもよい。このような構成によると、確度の高くない欠陥種別の分類を無理に行うことで、結果的に得られるデータの信頼度を下げることを防止することができる。

【0026】

また、前記欠陥種別分類手段は、欠陥種別を不明として分類した前記同一欠陥画像セットについて、ユーザーによる欠陥種別の分類を求めるものであってもよい。このような構成によると、欠陥種別が不明として分類された同一欠陥画像セットがそのまま分類不明なデータとして残ることを防止することができる。

【0027】

また、前記被検査物の外観を異なる方式により撮影する２つ以上の撮影手段は、前記被検査物の第１の面で反射した反射光による画像を撮影する表面撮影手段、前記被検査物の第１の面と反対側の第２の面で反射した反射光による画像を撮影する裏面撮影手段、及び、前記被検査物を透過した透過光による画像を撮影する透過光撮影手段のうち、いずれか２つ以上を含むものであってもよい。このような構成によると、多様な欠陥の種類に対応して、欠陥の検出及び／又は分類を行うことができる。

【0028】

また、前記被検査物の外観を異なる方式により撮影する２つ以上の撮影手段は、第１の波長の光によって前記被検査物を撮影する第１波長撮影手段と、前記第１の波長とは異なる波長の光によって前記被検査物を撮影する第２波長撮影手段、とを含むものであってもよい。このような構成によると、多様な欠陥の種類に対応して、欠陥の検出及び／又は分類を行うことができる。

【0029】

また、前記同一欠陥画像統合手段は、前記被検査物における前記欠陥の位置が同一の範囲内である複数の異なる欠陥画像データを、１つの同一欠陥画像セットとして統合してもよい。

【0030】

ここで、「位置が同一の範囲内」とは、完全に位置が一致するものに限らず、所定の許容範囲内にあるものを含む意味である。複数の欠陥画像データにおいて、撮影されている欠陥が同一のものであるか否かを識別する方法として、製品における欠陥の位置が同じであるものは、同一の欠陥が撮影された画像データであると認定する方法を採用することができる。被検査物における欠陥の位置を特定するには、例えば、予め定まっている、各撮影手段の配置場所、撮影範囲、被検査物の搬送速度、などに基づいて、欠陥の位置を算出すればよい。

【0031】

また、上記の課題を解決するため、本発明に係る検査管理装置は、シート状の被検査物の外観を異なる複数の撮影方式により撮影して取得した欠陥画像データを処理する検査管理装置であって、前記欠陥画像データの集合から、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する、同一欠陥画像統合手段を備える。

【0032】

また、上記の課題を解決するため、本発明に係る検査管理方法はシート状の被検査物の外観検査を管理する方法であって、前記被検査物を２つ以上の異なる方式により撮影する第１ステップと、前記第１ステップで撮影された複数の異なる撮影方式による被検査物の画像に基づいて、前記被検査物の欠陥を検出する第２ステップと、前記第２ステップで検出された欠陥が撮影されている欠陥画像データを記録する第３ステップと、前記第３ステップで記録された欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして統合する第４ステップと、所定の検査単位ごとに、前記第４ステップで統合された同一欠陥画像セットの数を計数して、欠陥数を算出する第５のステップと、を有する。

【0033】

また、前記検査管理方法は、前記第５のステップで算出された欠陥数が所定の値を超えた場合に、その旨を通知する第６のステップをさらに有していてもよい。

【0034】

なお、上記処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

【発明の効果】

【0035】

本発明によれば、複数の異なる方式によって被検査物を撮影し、それぞれの撮影方式ごとに欠陥を検出するシート状物品の外観検査において、同一の欠陥を示す複数の欠陥画像データを個別に管理することによる弊害を低減することができる。

【図面の簡単な説明】

【0036】

【図1】図１は、適用例に係る検査管理システムの構成例を模式的に示す図である。

【図2】図２は、適用例に係る検査管理システムにおいて行われる処理の流れを示すフローチャートである。

【図3】図３は、実施例に係る検査管理システムの構成例を模式的に示す図である。

【図4】図４は、実施例における欠陥種別分類の処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0037】

以下、図面を参照して、本発明の実施形態の一例について説明する。

【0038】

＜適用例＞
本発明は例えば、図１に示すような検査管理システム９として適用することができる。図１は本適用例に係る検査管理システム９の構成例を模式的に示す図である。検査管理システム９は、シート状の物品の欠陥の検出、及び、検査に係る情報の管理を行うシステムであり、主要な構成要素として、照明系の表面反射光源９１１、裏面反射光源９１２、透過光源９１３と、測定系としての表面撮影カメラ９２１、裏面撮影カメラ９２２と、制御端末９３と、搬送機構（図示しない）、とを備えている。

【0039】

図１に示すように、被検査物Ｔは、図示しない搬送機構によって、水平方向（矢印方向）に搬送され、その搬送中に測定系によって被検査物Ｔの外観画像が連続的に取得され、これに基づいて検査が実施される。被検査物Ｔは、シート状に形成されており、例えば、紙、布、フィルム、樹脂、セルロースなどが例示できる。また、単一素材に限られず、フィルムと不織布を貼り合わせた包装紙などのように、複数の層を有するようなシート体であってもよい。さらに、乾燥海苔などの食品であってもよい。

【0040】

照明系の表面反射光源９１１は可視光（例えば白色光）を被検査物Ｔの表面（第１の面）に対して照射するように配置され、裏面反射光源９１２は同じく可視光を被検査物Ｔの裏面（第２の面）に対して照射するように配置される。また、透過光源９１３は赤外線を、被検査物Ｔの裏面（第２の面）に対して照射するように配置されている。

【0041】

測定系の表面撮影カメラ９２１は、図示しないが、信号出力部、可視光受光センサ、赤外線受光センサ、分光プリズム、レンズを備えており、被検査物Ｔの表面を撮像するように配置される。具体的には、表面反射光源９１１から照射され被検査物Ｔの表面で反射した光（以下、表面反射光という）、透過光源９１３から照射され、被検査物Ｔを透過した赤外線（以下、透過光という）、によって被検査物Ｔを撮影する。分光プリズムはカメラに入光した光を、少なくとも可視光領域の波長の光と、赤外線に分光し、対応する各センサに受光させる。センサには、例えばＣＣＤ又はＣＭＯＳセンサを用いる事ができる。

【0042】

また、裏面撮影カメラ９２２は、図示しないが、信号出力部、可視光領域の光を検知可能な受光センサ、レンズを備えており、被検査物Ｔの裏面を撮像するように配置される。具体的には、裏面反射光源９１２から照射され被検査物Ｔの裏面で反射した光（以下、裏
面反射光という）により被検査物Ｔを撮影する。受光センサには、例えばＣＣＤ又はＣＭＯＳセンサを用いる事ができる。

【0043】

制御端末９３は、照明系、測定系、搬送機構の制御を行うとともに、検査に係る各種情報の処理を行う。ハードウェア構成としては、各種入出力装置、プロセッサ、記憶装置、などを備えており、機能モジュールとして、欠陥検出部９３１、欠陥位置特定部９３２、欠陥画像記憶部９３３、同一欠陥画像統合部９３４、欠陥計数部９３５、欠陥数警告部９３６、欠陥種別分類部９３７を備えている。

【0044】

欠陥検出部９３１は、測定系の各カメラから入力された画像信号に基づいて、被検査物Ｔに含まれる欠陥の検出を行う。欠陥の検出は、例えば撮影された画像から得られる特徴量が所定の閾値から逸脱していないかを判定することによって行われる。特徴量には、例えば、輝度などを用いる事ができ、明度、彩度、色相などを用いてもよい。

【0045】

本適用例においては、表面撮影カメラ９２１が撮影する、表面反射光による画像（以下、表面反射画像という）、及び透過光による画像（以下、透過画像という）と、裏面撮影カメラ９２２が撮影する、裏面反射光による画像（以下、裏面反射画像という）のそれぞれに対して、特徴量の判定が行われる。

【0046】

欠陥位置特定部９３２は、欠陥が検出された場合に、当該欠陥が被検査物Ｔのどの箇所に位置するのかを特定する。位置の特定は例えば、予め定まっている被検査物Ｔの搬送速度、カメラの設置位置、被検査物Ｔの大きさ、及び、検査開始からの経過時間、に基づいて行うことができる。

【0047】

欠陥画像記憶部９３３は、欠陥が検出された場合に、各カメラによって撮影された当該欠陥の画像（以下、欠陥画像という）を、欠陥位置特定部９３２が特定した当該欠陥の位置の情報と関連づけて記憶装置に記録する。また、欠陥が検出された撮影方式の画像だけで無く、他の撮影方式の対応する箇所の画像も記憶装置に記録する。

【0048】

同一欠陥画像統合部９３４は、欠陥位置特定部９３２が特定した欠陥の位置が同じである複数の異なる欠陥画像が記憶装置に記録された場合に、当該欠陥の位置が同じである複数の画像を、一組の同一欠陥画像セットとして紐付ける。このようにしてセットにされた複数の欠陥画像は、以後、表示装置への表示、各種データ分析などの際に、一体的に処理される。また、当該同一欠陥画像セットを、セットとして改めて記憶装置に記録するようにしてもよい。

【0049】

欠陥計数部９３５は、所定の検査単位ごとに、同一欠陥画像セットの数を計数し、当該検査単位あたりの欠陥数を算出する。ここで、所定の検査単位とは、所定数（例えば、１ロール、１ロット、数ロット）であってもよいし、所定時間（例えば、１日、１週間、１ヶ月）であってもよい。このようにして欠陥数を算出するため、被検査物Ｔにおける同一の欠陥を示す複数の欠陥画像データを重複してカウントしてしまうことがなく、所定の検査単位ごとの正確な欠陥数を得る事ができる。

【0050】

欠陥数警告部９３６は、欠陥計数部９３５が算出する欠陥数が所定の値を超えるか否かを判定し、欠陥数が当該所定の値を超えると判定した場合には、その旨を図示しない出力装置（例えば、液晶ディスプレイ、スピーカーなど）から出力することによってユーザーに通知する。

【0051】

欠陥種別分類部９３７は、同一欠陥画像セットとして統合された欠陥画像データを、欠陥の種類別に分類し、当該分類後の種別と欠陥画像データを紐付けて記録する。分類され
る欠陥の種別はユーザーにおいて任意に設定することができ、例えば、異物混入、汚れ、シワ、穴、といった種別を設けてもよいし、さらに細かい種別（例えば、虫、木片、金属異物、油汚れ、水汚れ、大穴、小穴、など）に分類するのであってもよい。

【0052】

欠陥種別を分類する方法としては、表面反射画像、裏面反射画像、透過画像、のいずれかの画像に対する特徴量に基づいて行ってもよいし、各画像の欠陥箇所の特徴量の対比によって行ってもよいし、また、それぞれの検査方式で欠陥が検出されたか否か、及びその組み合わせ、などによって行ってもよい。また、これらの手法を複合的に用いて分類することもできる。このようにして、同一の欠陥を示す複数の欠陥画像データをセットにして欠陥種別の分類を行うことにより、欠陥が検出された単一の画像に基づいて欠陥種別の分類を行うのに比べて、正確に欠陥種別の分類を行うことができる。

【0053】

図２は、本適用例に係る検査管理システム９において行われる処理の流れを示すフローチャートである。検査管理システム９は、まず、測定系によって表面反射画像、裏面反射画像、透過画像を取得し（ステップＳ１０１）、当該画像に基づいて、欠陥検出部９３１による欠陥の検出を行う（ステップＳ１０２）。次に、欠陥画像記憶部９３３が、欠陥画像を記憶装置に記録する（ステップＳ１０３）。続けて、同一欠陥画像統合部９３４が、記録された欠陥画像から、被検査物における欠陥の位置が同じである複数の画像を、一組の同一欠陥画像セットとして統合する（ステップＳ１０４）。次に、欠陥計数部９３５は、所定の検査単位ごとに、同一欠陥画像セットの組数を計数し、当該検査単位あたりの欠陥数を算出する（ステップＳ１０５）。ここで、欠陥数警告部９３６は、ステップＳ１０５で算出された欠陥数が所定の値（閾値）を超えるか否かを判定し（ステップＳ１０６）、超えると判定した場合には、その旨を通知し（ステップＳ１０７）、ステップＳ１０８に進む。一方、欠陥数が所定の値を超えないと判定した場合には、そのままステップＳ１０８に進む。そして、ステップＳ１０８において、欠陥種別分類部９３７が、同一欠陥画像セットとして統合された欠陥画像データの欠陥種別を分類、記録して、一連の処理を終了する。なお、欠陥数の計測から欠陥数が所定値を超えた場合の通知（ステップＳ１０５からステップＳ１０７）までの処理と、ステップＳ１０８の処理は順序が入れ替わっても構わない。

【0054】

以上のような本適用例に係る検査管理システム９の構成により、同一の欠陥を示す複数の欠陥画像データをセットにして、計数、欠陥種別分類ができるので、同一の欠陥を示す複数の欠陥画像データを個別に管理することによる弊害（例えば、同一の欠陥を重複して計数する、確度の低い欠陥種別の分類を行う、など）を低減することができる。

【0055】

＜実施例＞
以下に、この発明を実施するための形態の一例を、さらに詳しく説明する。ただし、この実施例に記載されている構成部品の寸法、材質、形状、その相対配置などは、特に記載がない限りは、この発明の範囲をそれらのみに限定する趣旨のものではない。

【0056】

（システム構成）
図３は、本実施例に係る検査管理システム１の構成例を模式的に示す図である。図３に示すように、本実施例に係る検査管理システム１は、主たる構成として、外観検査装置２及び検査管理装置３を有している。

【0057】

（外観検査装置）
外観検査装置２は、シート状の物品の外観画像を取得し、当該画像に基づいて、欠陥の検出を行うための装置であり、主たる構成として、照明系、測定系、搬送機構（図示しない）、制御端末２３を備えている。

【0058】

被検査物Ｔは、図示しない搬送機構によって、水平方向（矢印方向）に搬送され、その搬送中に測定系によって被検査物Ｔの外観画像が連続的に取得され、これに基づいて検査が実施される。被検査物Ｔは、シート状に形成されており、例えば、紙、布、フィルムなどが例示できる。また、単一素材に限られず、フィルムと不織布を貼り合わせた包装紙などのように、複数の層を有するようなシート体であってもよい。また、乾燥海苔などの食品であってもよい。

【0059】

照明系は、被検査物Ｔの表面に可視光（例えば白色光）を照射する表面反射光源２１１、被検査物Ｔの表面に可視光を照射する裏面反射光源２１２、被検査物Ｔの裏面に可視光を照射する透過光源２１３を備えている。これらの各光源には、例えばＬＥＤ照明などを用いてもよい。

【0060】

測定系は、表面反射光源２１１から照射され被検査物Ｔの表面で反射した光（以下、表面反射光という）を撮影する表面反射光カメラ２２１と、裏面反射光源２１２から照射され被検査物Ｔの表面で反射した光（以下、表面反射光という）を撮影する裏面反射光カメラ２２２と、透過光源２１３から照射され、被検査物Ｔを透過した光を撮影する透過光カメラ２２３と、を備えている。なお、測定系を構成する各カメラが、本発明における撮影手段に該当する。

【0061】

各カメラは、それぞれが撮影する光を検知可能な受光センサと、レンズと、信号出力部と、を備えており、レンズを介して受光センサで検知した光を電気信号として出力する。センサとしては、例えばＣＣＤ又はＣＭＯＳセンサを用いる事ができる。

【0062】

制御端末２３は、照明系、測定系、搬送機構を制御するとともに、各種情報の処理を行う。ハードウェア構成としては、入出力装置、プロセッサ、記憶装置、などを備えており、機能モジュールとして、欠陥検出部２３１、欠陥位置特定部２３２、欠陥画像記憶部２３３を備えている。

【0063】

欠陥検出部２３１は、測定系の各カメラから入力された画像信号に基づいて、被検査物Ｔに含まれる欠陥の検出を行う。欠陥の検出は、例えば撮影された画像から得られる特徴量が所定の閾値から逸脱していないかを判定することによって行われる。特徴量には、例えば、輝度などを用いる事ができ、明度、彩度、色相などを用いてもよい。

【0064】

本実施用例においては、表面反射光カメラ２２１が撮影する画像（以下、表面反射画像という）、裏面反射光カメラ２２２が撮影する画像（以下、裏面反射画像という）及び透過光カメラ２２３が撮影する画像（以下、透過画像という）のそれぞれに対して、特徴量の判定が行われる。

【0065】

欠陥位置特定部２３２は、被検査物Ｔから欠陥が検出された場合に、当該欠陥が被検査物Ｔのどの箇所に位置するのかを特定する。位置の特定は例えば、予め定まっている被検査物Ｔの搬送速度、カメラの設置位置、被検査物Ｔの大きさ、及び、検査開始からの経過時間、に基づいて行うことができる。

【0066】

欠陥画像記憶部２３３は、欠陥が検出された場合に、各カメラによって撮影された当該欠陥の画像（以下、欠陥画像という）を、欠陥位置特定部２３２が特定した当該欠陥の位置の情報と関連づけて記憶装置に記録する（以下、記録されたデータを欠陥画像データという）。また、欠陥が検出された撮影方式の画像だけで無く、他の撮影方式の対応する箇所の画像も記憶装置に記録するようにしてもよい。

【0067】

（検査管理装置）
上述した外観検査装置２は、ネットワーク（ＬＡＮ）を介して検査管理装置３に接続されている。検査管理装置３は、外観検査装置２から検査に係る情報を取得し、当該情報の処理を行うものであり、ＣＰＵ（プロセッサ）、主記憶装置（メモリ）、補助記憶装置（ハードディスクなど）、入力装置（キーボード、マウス、コントローラ、タッチパネルなど）、出力装置（液晶ディスプレイ、スピーカー、プリンタなど）などを具備する汎用的なコンピュータシステムにより構成される。

【0068】

なお、検査管理装置３は、１台のコンピュータにより構成してもよいし、複数のコンピュータにより構成してもよい。あるいは、外観検査装置２の制御端末２３に、検査管理装置３の機能の全部又は一部を実装することも可能である。あるいは、検査管理装置３の機能の一部をネットワーク上のサーバ（クラウドサーバなど）により実現してもよい。

【0069】

本実施例の検査管理装置３のＣＰＵは、機能モジュールとして、同一欠陥画像統合部３１と、欠陥種別分類部３２と、教師データ登録部３３と、欠陥種別計数部３４と、欠陥種別欠陥数警告部３５と、を備えている。

【0070】

同一欠陥画像統合部３１は、外観検査装置２から欠陥画像データを取得し、被検査物Ｔにおける欠陥の位置が同一の複数の欠陥画像を、一組の同一欠陥画像セットとして統合する。このようにしてセットにされた複数の欠陥画像は、１セットとして記憶装置に記録され、表示装置への表示、各種データ分析などの際に、一体的に処理される。

【0071】

欠陥種別分類部３２は、同一欠陥画像セットとして統合された欠陥画像データを、欠陥種別に分類する。分類される欠陥の種別はユーザーにおいて任意に設定することができ、例えば、異物混入、汚れ、シワ、穴、といった種別を設けてもよいし、さらに細かい種別（例えば、虫、木片、金属異物、油汚れ、水汚れ、大穴、小穴、など）に分類するのであってもよい。

【0072】

欠陥種別を分類する方法としては、表面反射画像、裏面反射画像、透過画像、のいずれかの画像に対する特徴量に基づいて行ってもよいし、各画像の欠陥箇所の特徴量の対比によって行ってもよいし、また、それぞれの検査方式で欠陥が検出されたか否か、検出のされ方の組み合わせ、などによって行ってもよい。また、これらの手法を組み合わせて、分類することもできる。

【0073】

本実施例においては、欠陥種別分類部３２は、深層学習の手法で生成した学習済みモデルを利用する推論処理を組み合わせて欠陥種別の分類を行う。なお、欠陥種別分類処理の流れについては後述する。

【0074】

教師データ登録部３３は、欠陥種別分類部３２の人工知能に深層学習を行わせるための教師データの登録を受け付ける機能を有しており、表示装置に同一欠陥画像セットを構成する複数の欠陥画像を表示したうえで、当該同一欠陥画像セットに対応する欠陥種別の入力をユーザーに求める。

【0075】

欠陥種別計数部３４は、欠陥種別分類後の同一欠陥画像セットの数を種別ごとに計数し、所定の検査単位あたりの欠陥種別ごとの欠陥数を算出する。ここで、所定の検査単位とは、所定数（例えば、１ロール、１ロット、数ロット）であってもよいし、所定時間（例えば、１日、１週間、１ヶ月）であってもよい。

【0076】

欠陥種別欠陥数警告部３５は、欠陥種別計数部が算出する欠陥種別ごとの欠陥数が、該欠陥種別ごとに定められた所定の値を超えるか否かを判定し、当該所定の値を超えて欠陥数が算出された欠陥種別があると判定した場合には、その旨を出力装置から出力すること
によってユーザーに通知する。ここで、出力装置による出力とは、例えば、表示装置によって表示するものであってもよく、スピーカーから警報音を発するものであってもよく、プリンタによって印刷されるものであってもよい。また、これらを併用して通知を行ってもよい。さらに、欠陥種別欠陥数警告部３５は、所定の値を超えた欠陥の種別についても併せて通知するようにしてもよい。

【0077】

（欠陥種別分類の処理の流れ）
次に、欠陥種別分類部３２が、欠陥種別を分類する際の処理の流れを、図４に基づいて説明する。図４は本実施例における欠陥種別分類の処理の流れを示すフローチャートである。

【0078】

欠陥種別分類部３２は、まず、対象となる同一欠陥画像セットにおける、表面反射画像、裏面反射画像、透過画像、の欠陥検出有無の組み合わせによって欠陥種別を分類する（ステップＳ２０１）。欠陥種別によっては、必ず特定の検査方式で検出される、又は、特定の検出方式では検出されない、という場合が存在するため、セットに含まれる各検査方式の画像の有無（即ち検査時に欠陥検出されたか否か）の組み合わせ条件で、欠陥種別の判別を行う事ができる。なお、欠陥画像データの記録時に、欠陥が検出された撮影方式の画像だけで無く、他の撮影方式の対応する箇所の画像も記憶装置に記録するようにする場合には、各画像に欠陥検出有無の識別情報を付与するようにすれば、当該識別情報の組み合わせで同様の処理を行うことができる。ステップＳ２０１で欠陥種別の分類ができた場合には処理を終了し、分類ができなかった場合には、ステップＳ２０３に進む（ステップＳ２０２）。

【0079】

ステップＳ２０３では、欠陥種別分類部３２は所定の特徴量による欠陥種別分類を行う。具体的には、同一欠陥画像セットに含まれる欠陥画像のうち、一つでも当該特徴量判定の条件に合う画像が存在した場合、同一欠陥画像セットは当該欠陥種別に該当すると分類する。例えば、透過画像について、輝度のピークレベルが１００以上であって（最高値は２５５）、当該欠陥を示す面積が１ｍｍ^２以上である場合には、同一欠陥画像セットの欠陥種別は穴であると分類する。ステップＳ２０３で欠陥種別の分類ができた場合には処理を終了し、分類ができなかった場合には、ステップＳ２０５に進む（ステップＳ２０４）。

【0080】

ステップＳ２０５では、欠陥種別分類部３２は、同一欠陥画像セットに対し、事前に検査方式ごとに深層学習の手法で生成した学習済み推論モデルによる欠陥種別分類を行う。具体的には、表面反射画像、裏面反射画像、透過画像の各画像に対応する検査方式の学習済みモデルを利用して推論を行い、各欠陥種別の判定確率（即ち、所定の欠陥種別である確率）を算出する。そして、セットに含まれる全ての画像の各欠陥種別の判定確率の中で、最も値が大きい欠陥種別を、当該同一欠陥画像セットの欠陥種別であると分類する。なお、セットに含まれる画像に、所定の判定確率（例えば５０％）を超える欠陥種別が無い場合には、欠陥種別を「不明」として分類する。ステップＳ２０５で欠陥種別が「不明」として分類された場合には、ステップＳ２０７に進み、それ以外の欠陥種別に分類された場合には、処理を終了する（ステップＳ２０６）。

【0081】

ステップＳ２０７では、欠陥種別が不明と分類された同一欠陥画像セットの画像を表示装置に表示した上で、ユーザーに確認を促す警告を行い、分類処理を終了する。以上のような構成により、ユーザーは大量にある画像の中から優先的に確認すべき画像を判断できる。

【0082】

また、上記の分類の結果は、さらに推論モデルの教師データとして活用することもできる。最終的に種別が「不明」として分類された同一欠陥画像セットであっても教師データ
として、活用することができる。具体的には、上記のステップＳ２０７の警告の後、ユーザーが当該セットを確認し、最も判定確率の高かった欠陥種別が実際の欠陥と一致していれば、当該欠陥の教師データとして同一欠陥画像セットに含まれる画像を追加する。一方、最も判定確率の高かった欠陥種別と異なる欠陥種別が実際の欠陥であった場合には、当該他の欠陥の教師データとして同一欠陥画像セットに含まれる画像を登録する。このようにすることで、より正しい教師データを蓄積することができる。

【0083】

また、教師データ登録部３３の機能により、教師データ登録時には、同一の欠陥を示す複数の検査方式による画像を一度に、並列して表示し、一括で欠陥種別の入力を受け付けるため、正確かつ効率よく欠陥画像データを教師データとして登録することができる。このようにして登録された、正しい教師データに基づいて学習させることで、より判定精度の高い学習済みモデルを作成することができる。

【0084】

＜変形例＞
なお、上記実施例の欠陥種別分類の処理では、特徴量による欠陥種別分類を行ってから（ステップＳ２０３）、学習済み推論モデルによる欠陥種別分類を行っていたが（ステップＳ２０５）、これらの処理の順序が入れ替わっても構わない。

【0085】

また、上記実施例では、深層学習の手法で生成した推論モデルを用いていたが、他の機械学習の手法によって生成されたモデルを用いてもよい。さらに、複数の機械学習の手法によって生成されたモデルを組み合わせて分類処理をおこなってもよい。

【0086】

また、上記の実施例では、検査管理装置３は欠陥種別分類後の同一欠陥画像セットの数を計数する欠陥種別計数部３４を有する構成であったが、これに加えて、欠陥種別分類前の同一欠陥画像セットを計数する欠陥数計測部を備えていてもよい。また、この場合には、当該欠陥数計測部が算出した欠陥数が所定の値を超えているか否かを判定し、超えている場合には、出力装置を介してその旨をユーザーに通知する欠陥数警告部をさらに備えていてもよい。

【0087】

また、上記の実施例では、照明系の光源は全て可視光を照射するものであり、測定系は光源の数と同じ数のカメラを備えるものであったが、照明系、測定系の構成は必ずしもこれに限られない。例えば、光源の一部又は全部を赤外線にしてもよいし、測定系のカメラに分光プリズムを設け、複数の異なる波長の光を一台のカメラで検出可能な構成としてもよい。また、表面反射画像、裏面反射画像、透過画像のいずれかを取得しない構成としてもよい。

【0088】

＜その他＞
上記の実施例の説明は、本発明を例示的に説明するものに過ぎず、本発明は上記の具体的な形態には限定されない。本発明は、その技術的思想の範囲内で種々の変形が可能である。例えば上記の各例では、照明系及び測定系を固定し、被検査物Ｔを移動させていたが、これに代えて、被検査物Ｔを固定し、照明系及び測定系を移動させてもよい。

【0089】

本発明の一の態様は、シート状の被検査物を検査するための検査管理システム（１）であって、前記被検査物（Ｔ）の外観を、異なる方式により撮影する複数の撮影手段（２２１；２２２；２２３）と、前記複数の撮影手段により撮影されたそれぞれの画像に基づいて、前記被検査物の欠陥を検出する検出手段（２３１）と、を備える外観検査部（２）と、前記複数の異なる方式の撮影手段ごとに、前記検出手段により検出された欠陥が撮影されている欠陥画像データが記録される記憶部と、前記記憶部に記録された前記欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして処理する同一欠陥画像統合手段（３１）を備え
る、検査管理部（３）と、を有する、検査管理システムである。

【0090】

また、本発明の他の一の態様は、シート状の被検査物の外観検査を管理する方法であって、前記被検査物を２つ以上の異なる方式により撮影する第１ステップ（Ｓ１０１）と、前記第１ステップで撮影された複数の異なる撮影方式による被検査物の画像に基づいて、前記被検査物の欠陥を検出する第２ステップ（Ｓ１０２）と、前記第２ステップで検出された欠陥が撮影されている欠陥画像データを記録する第３ステップ（Ｓ１０３）と、前記第３ステップで記録された欠陥画像データの集合のうち、前記被検査物における同一の欠陥が撮影されている複数の欠陥画像データを、１つの同一欠陥画像セットとして統合する第４ステップ（Ｓ１０４）と、所定の検査単位ごとに、前記第４ステップで統合された同一欠陥画像セットの数を計数して、欠陥数を算出する第５のステップ（Ｓ１０５）と、を有する検査管理方法である。

【符号の説明】

【0091】

１、９・・・検査管理システム
２・・・外観検査装置
２１１、９１１・・・表面反射光源
２１２、９１２・・・裏面反射光源
２１３、９１３・・・透過光源
２２１・・・表面反射光カメラ
２２２・・・表面反射光カメラ
２２３・・・透過光カメラ
２３、９３・・・制御端末
３・・・検査管理装置
９２１・・・表面撮影カメラ
Ｔ・・・被検査物

【図1】

【図2】

【図3】

【図4】