特許 7252991 不良品判定システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-03-28

(45)【発行日】2023-04-05

(54)【発明の名称】不良品判定システム

(51)【国際特許分類】

   G01N 21/88 20060101AFI20230329BHJP

【ＦＩ】

G01N21/88 Z

【請求項の数】 2

(21)【出願番号】P 2021014710

(22)【出願日】2021-02-02

(65)【公開番号】P2022118292

(43)【公開日】2022-08-15

【審査請求日】2021-02-02

(73)【特許権者】

【識別番号】597132849

【氏名又は名称】株式会社日立ソリューションズ・クリエイト

(73)【特許権者】

【識別番号】000233055

【氏名又は名称】株式会社日立ソリューションズ

(73)【特許権者】

【識別番号】000110804

【氏名又は名称】ニチアス株式会社

(74)【代理人】

【識別番号】110000279

【氏名又は名称】弁理士法人ウィルフォート国際特許事務所

(72)【発明者】

【氏名】松崎 由紀子

(72)【発明者】

【氏名】米野 恭章

(72)【発明者】

【氏名】鈴鹿 千鶴子

(72)【発明者】

【氏名】長谷川 慶滋

(72)【発明者】

【氏名】佐野 茂

(72)【発明者】

【氏名】熊谷 美野

(72)【発明者】

【氏名】谷中 郁哉

(72)【発明者】

【氏名】植本 浩司

(72)【発明者】

【氏名】西野 秀

(72)【発明者】

【氏名】金子 佳市

(72)【発明者】

【氏名】清水 貴良

(72)【発明者】

【氏名】上野 雄介

(72)【発明者】

【氏名】錦戸 拓哉

(72)【発明者】

【氏名】平松 謙吾

(72)【発明者】

【氏名】櫻井 翔也

【審査官】田中 洋介

(56)【参考文献】

【文献】特開２０１４－０１００８２（ＪＰ，Ａ）

【文献】特開２０２０－０７９７１５（ＪＰ，Ａ）

【文献】特開２０２０－０４１８８９（ＪＰ，Ａ）

【文献】特開２００９－０６３４０９（ＪＰ，Ａ）

【文献】特開２０００－２３０９０９（ＪＰ，Ａ）

【文献】特開２０２０－１９０４８５（ＪＰ，Ａ）

【文献】特開２０２０－１１２４８３（ＪＰ，Ａ）

【文献】特開２０１９－０２３５９２（ＪＰ，Ａ）

【文献】特開２０１７－１９４４０５（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／８４－２１／９５８

(57)【特許請求の範囲】

【請求項1】

検査品の表面を撮像して撮像画像を出力する撮像部と、
前記検査品の表面に現れる不良パターンを教師データとして学習した学習モデルに基づいて、前記撮像画像から前記検査品が不良品であるか否かを判定する不良品判定部と
前記検査品を一定方向に搬送する複数のレーンと
を有し、
前記撮像部は、
複数の前記レーンに設けられ、複数の前記レーン上の前記検査品の位置を撮像する全体カメラと、
複数の前記レーン各々に設けられ、前記全体カメラの位置撮像画像に基づいて、各レーン上を搬送される前記検査品が撮像位置に到達したと判定した場合、前記検査品を撮像する詳細カメラと、
を有し、
前記検査品は平板状の断熱材であり、
前記詳細カメラは前記断熱材の上面を撮像すると共に、前記断熱材の厚さに応じて、前記断熱材の単一の側面を撮像するか複数の前記側面を撮像するかを選択することを特徴とする不良品判定システム。

【請求項2】

検査品の位置を検出する検査品位置検出プログラムに基づいて、前記検査品が撮像位置に到達したと判定した場合、前記検査品の表面を撮像して撮像画像を出力する撮像部と、
前記検査品の表面に現れる不良パターンを教師データとして学習した学習モデルに基づいて、前記撮像画像から前記検査品が不良品であるか否かを判定する不良品判定部と
を有し、
前記検査品は平板状の断熱材であり、
前記撮像部は前記断熱材の上面を撮像すると共に、前記断熱材の厚さに応じて、前記断熱材の単一の側面を撮像するか複数の前記側面を撮像するかを選択することを特徴とする不良品判定システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、不良品判定システム、不良品判定システムによる不良品判定方法及びプログラムに関する。

【背景技術】

【0002】

検査品の表面を撮影してこの撮影画像に基づいて検査品の不良箇所を判定する技術は周知である（例えば特許文献１）。特許文献１に開示された検査装置は、複数の半田接合部を含む画像から、半田接合部を含む部分画像を複数抽出する抽出部と、抽出部により抽出された複数の部分画像を用いて、半田接合部の実装の良否を判定する基準となる基準画像を作成する作成部と、作成部により作成された基準画像と各部分画像とを比較する比較部と、比較部による比較結果に基づき、各半田接合部の実装の良否を判定する判定部と、を備える。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０１３－６５８０９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に開示された検査装置では、抽出部により抽出された複数の部分画像を用いて半田接合部の実装の良否を判定する基準となる基準画像を作成している。しかしながら、検査品の種類によっては、不良品判定の基準となる不良パターンが多種類あり、しかも、この不良パターンが不定なものがある。このような検査品として、板状に成形された断熱材が挙げられる。

【0005】

断熱材のような検査品に対しては一意に基準画像を決定することが難しく、このため、周知の不良品判定技術を用いたのでは確実な判定を行うことが困難であった。

【0006】

本発明は上記の課題に鑑みてなされたもので、多種多様な不良パターンを有する検査品に対して確実な不良品判定を行うことが可能な不良品判定システム、不良品判定システムによる不良品判定方法及びプログラムを提供することにある。

【課題を解決するための手段】

【0007】

上記課題を解決すべく、本発明の一つの観点に従う不良品判定システムは、検査品の表面を撮像して撮像画像を出力する撮像部と、検査品の表面に現れる不良パターンを教師データとして学習した学習モデルに基づいて、撮像画像から検査品が不良品であるか否かを判定する不良品判定部とを有する。

【発明の効果】

【0008】

本発明によれば、多種多様な不良パターンを有する検査品に対して確実な不良品判定を行うことが可能な不良品判定システム、不良品判定システムによる不良品判定方法及びプログラムを実現することができる。

【図面の簡単な説明】

【0009】

【図1】実施例に係る不良品判定システムの全体構成を示す図である。

【図2】実施例に係る不良品判定システムの側面用詳細カメラを示す図である。

【図3】実施例に係る不良品判定システムの機能構成を示す図である。

【図4】実施例に係る不良品判定システムの動作を説明するためのフローチャートである。

【図5】実施例に係る不良品判定システムにおける撮像位置を説明するための図である。

【図6】実施例に係る不良品判定システムにおける台形補正の手法を説明するための図である。

【図7】実施例に係る不良品判定システムにおける全排出モードを説明するための図である。

【発明を実施するための形態】

【0010】

以下、図面を参照して本発明の実施形態を説明する。以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされている。本発明は、他の種々の形態でも実施する事が可能である。特に限定しない限り、各構成要素は単数でも複数でも構わない。

【0011】

なお、実施例を説明する図において、同一の機能を有する箇所には同一の符号を付し、その繰り返しの説明は省略する。

【0012】

図面において示す各構成要素の位置、大きさ、形状、範囲などは、発明の理解を容易にするため、実際の位置、大きさ、形状、範囲などを表していない場合がある。このため、本発明は、必ずしも、図面に開示された位置、大きさ、形状、範囲などに限定されない。

【0013】

同一あるいは同様な機能を有する構成要素が複数ある場合には、同一の符号に異なる添字を付して説明する場合がある。ただし、これらの複数の構成要素を区別する必要がない場合には、添字を省略して説明する場合がある。

【実施例1】

【0014】

以下、図面を参照して、実施例を説明する。

【0015】

図１は、実施例に係る不良品判定システムの全体構成を示す図である。

【0016】

本実施例の不良品判定システムは、外径が略矩形板状の断熱材１の不良品を検査する。断熱材１は、ベルトコンベア２等の搬送機構により一方向（図中左から右方向）に搬送される。本実施例の不良品判定システムにおいて、ベルトコンベア２はその搬送方向が平行になるように複数基（図示例では３台）設けられている。以下、搬送機構を含めて「レーン」と称する。

【0017】

本実施例の不良品判定システムＳは、カメラ１０、判定装置１１及び排出装置１２を有する。

【0018】

カメラ１０は、全体カメラ２０、上面用詳細カメラ２１、及び側面用詳細カメラ２２を有する。全体カメラ２０は、レーン２の上方に設けられ、３本のレーン２を視野に入れてこれら３本のレーン２の上面を撮像する。上面用詳細カメラ２１は、各々のレーン２の上方に設けられ、１本のレーン２を視野に入れてこのレーン２上を搬送される断熱材１の上面を撮像する。側面用詳細カメラ２２は、各々のレーン２の斜め上方に設けられ、１本のレーン２を視野に入れてこのレーン２上を搬送される断熱材１の側面を撮像する。これらカメラ１０により撮像された撮像画像は、ハブ１３を介して判定装置１１に入力される。

【0019】

ここで、レーン２により搬送される断熱材１には複数の厚みがあり、薄い場合と厚い場合とでは、断熱材１の側面に現れる不良パターンも異なる。そこで、所定値以上の厚みを有する断熱材１を搬送するレーン２を限定し、このレーン２については、図２（ａ）に示すように４台の側面用詳細カメラ２２を設置し、断熱材１の４つの側面のそれぞれをこの４台の側面用詳細カメラ２２により撮像する。それ以外のレーン２については、図２（ｂ）に示すように１台の側面用詳細カメラ２２を設置し、断熱材１の１つの側面のみを撮像する。

【0020】

排出装置１２は、レーン２の途中に設けられ、このレーン２により搬送される断熱材１をレーン２の下方または側方に移動させて搬送を停止させるフラップ３０と、判定装置１１からの指示に基づいてこのフラップ３０の動作を制御する動作制御部３１とを有する。

【0021】

図３は、実施例に係る不良品判定システムＳの機能構成を示す図である。

【0022】

判定装置１１は、各種情報処理が可能な装置である。判定装置１１は、カメラ１０（全体カメラ２０、上面用詳細カメラ２１、側面用詳細カメラ２２）からの撮像画像を受け入れる入力インタフェース（Ｉ／Ｏ）１００、判定装置１１全体の動作制御を行う制御部１１０、制御部１１０により実行されるプログラムや制御部１１０の実行時に使用されるデータが格納される記憶部１２０、及び排出装置１２に制御信号を出力する出力インタフェース（Ｉ／Ｏ）１３０を有する。

【0023】

制御部１１０は、例えばＣＰＵ（Central Processing Unit）、ＦＰＧＡ（Field-Programmable Gate Array）等である。記憶部１３０は、例えばＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、ＳＳＤ（Solid State Drive）などの半導体記憶媒体等である。

【0024】

記憶部１２０には、ファームウェアなどのプログラムが格納されている。判定装置１１の動作開始時（例えば電源投入時）にファームウェア等のプログラムをこの記憶部１２０から読み出して実行し、判定装置１１の全体制御を行う。また、記憶部１２０には、プログラム以外にも、判定装置１１の各処理に必要なデータ等が格納されている。

【0025】

記憶部１２０には、断熱材位置検出プログラム１２１、カメラ撮像制御プログラム１２２、不良品判定プログラム１２３、学習モデル１２４及び排出装置制御プログラム１２５が格納されている。

【0026】

断熱材位置検出プログラム１２１は、カメラ１０の撮像画像に基づいてレーン２上の断熱材１の位置を検出するプログラムである。カメラ撮像制御プログラム１２２は、カメラ１０によるレーン２及び断熱材１の撮像動作を制御するプログラムである。

【0027】

不良品判定プログラム１２３は、学習モデル１２４を用いて、断熱材１の表面を撮像した画像に基づいてこの断熱材１が不良品であるか否かを判定するプログラムである。

【0028】

学習モデル１２４は、断熱材１の不良パターンを撮像した多数の画像を教師データセットとして、断熱材１の表面を撮像した画像を入力データとして、この画像に不良パターンが含まれているかどうかの確度を出力する。学習モデル１２４を作成する際、断熱材１の表面に反射している部分があるなど、断熱材１の表面全体を教師データセットとすることが不適切なことがあるので、不良パターンのみをトリミングして取り込み、学習モデル１２４を作成することが好ましい。このトリミング動作についても、既に作成した学習モデル１２４に基づいて自動的に行ってもよい。なお、学習モデル１２４は、上面用詳細カメラ２１及び側面用詳細カメラ２２のそれぞれに個別に設けられる。

【0029】

排出装置制御プログラム１２５は、不良品判定プログラム１２３の判定結果に基づいて排出装置１２の動作を制御するプログラムである。

【0030】

図４は実施例に係る不良品判定システムＳの動作を説明するためのフローチャートである。

【0031】

全体カメラ２０はレーン２上の断熱材１を撮像する（ステップＳ１００）。全体カメラ２０の撮像画像は判定装置１１に入力される。断熱材位置検出プログラム１２１は、全体カメラ２０からの撮像画像を解析し、各々のレーン２において断熱材１が撮像位置に来たら（ステップＳ１０１においてＹＥＳ）処理はステップＳ１０２に進む。

【0032】

ステップＳ１０１における断熱材位置検出プログラム１２１の判定にの詳細について図５を参照して説明する。図５（ａ）に示すように、３つのレーン２において搬送される断熱材１が全体カメラ２０により撮像されている。なお、図５において断熱材１は図中下方から上方に搬送されているものとする。

【0033】

この状態で、図５（ｂ）に示すように、レーン２の断熱材１の搬送方向先端（図中上端）が撮像位置に到達したと断熱材位置検出プログラム１２１が判定したら、後述するように、このレーン２を担当する上面用詳細カメラ２１及び側面用詳細カメラ２２に、撮像位置に到達した断熱材１の撮像を指示する。

【0034】

続いて、図５（ｃ）に示すように、レーン２、３の断熱材１の搬送方向先端が撮像位置に到達したと断熱材位置検出プログラム１２１が判定したら、このレーン２、３を担当するそれぞれの上面用詳細カメラ２１及び側面用詳細カメラ２２に、撮像位置に到達した断熱材１の撮像を指示する。

【0035】

ステップＳ１０２では、カメラ撮像制御プログラム１２２が、断熱材１が撮像位置に到達したレーン２の上面用詳細カメラ２１及び側面用詳細カメラ２２に、撮像位置に到達した断熱材１の上面及び側面の撮像を指示する。上面用詳細カメラ２１及び側面用詳細カメラ２２は、カメラ撮像制御プログラム１２２からの指示に基づいて断熱材１の上面及び側面をそれぞれ撮像する（ステップＳ１０３）。これら詳細カメラ２１、２２の撮像画像は判定装置１１に入力される。

【0036】

次いで、不良品判定プログラム１２３は、上面用詳細カメラ２１及び側面用詳細カメラ２２が出力した撮像画像に基づいて、学習モデル１２４を用いて、カメラ２１、２２により撮像された断熱材１の表面に不良パターンが存在し、従ってこの断熱材１が不良品であるか否かを判定する（ステップＳ１０４）。

【0037】

そして、不良品であると判定したら（ステップＳ１０５においてＹＥＳ）、排出装置制御プログラム１２５はレーン２上の断熱材１を排出装置１２により排出するようにこの排出装置１２に指示する（ステップＳ１０６）。

【0038】

このように構成される本実施例によれば、不良品判定システムＳは、断熱材１の表面を撮像して撮像画像を出力するカメラ１０と、断熱材１の表面に現れる不良パターンを教師データとして学習した学習モデル１２４に基づいて、撮像画像から検査品が不良品であるか否かを判定する制御部１１０とを有する。

【0039】

従って、本実施例によれば、多種多様な不良パターンを有する検査品に対して確実な不良品判定を行うことが可能となる。

【0040】

なお、上記した実施例は本発明を分かりやすく説明するために構成を詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、各実施例の構成の一部について、他の構成に追加、削除、置換することが可能である。

【0041】

一例として、上述した実施例においては、各々の側面用詳細カメラ２２は断熱材１の１つの側面のみを撮像していたが、単一の側面用詳細カメラ２２により断熱材１の複数の側面を撮像してもよい。例えば、図６（ａ）に示すように、単一の側面用詳細カメラ２２により断熱材１の２つの側面を同時に撮像してもよい。

【0042】

但し、断熱材１に不良パターンが存在するかどうか、すなわち、断熱材１が不良品であるかどうかの判定は、不良パターンの大きさにも依存する。そこで、図６（ａ）に示す側面用詳細カメラ２２により撮像された撮像画像は図６（ｂ）のように歪みが生じているので、これを図６（ｃ）に示すように台形補正して、撮像画像に含まれる不良パターンの大きさを一定に揃えることが好ましい。

【0043】

また、上述した実施例におけるレーン２の数やカメラ１０の台数等はあくまでも例示であり、実施例以外の構成を排除するものではない。

【0044】

加えて、製造工程の切替時などにおいて、レーン２に流れる断熱材１がほぼ不良品であることがある。図７は、横軸を不良率の測定周期とした際の断熱材１の不良率の一例を示した図である。図に示すように、不良率が高率になる時間が一定時間継続する場合がある。

【0045】

この場合、システムのオペレータが目視で断熱材１の不良を判定し、レーン２に流れている断熱材１を全て排出装置１２により排出する全排出モードを設定してもよい。そして、不良品の数が減ったとオペレータが判断したら、判定装置１１により断熱材１の不良品判定を行う通常モードに移行してもよい。また、通常モードから全排出モードへの移行は判定装置１１による判定に基づいてもよい。

【0046】

さらに、判定装置１１が表示装置を有し、不良品判定を行った断熱材１の表面に不良パターンが存在するかどうか、存在している場合はどの箇所に不良パターンが存在すると判定したかを表示してもよい。加えて、不良パターンに種類があればその種類も表示してもよい。

【0047】

また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、本発明は、実施例の機能を実現するソフトウェアのプログラムコードによっても実現できる。この場合、プログラムコードを記録した記憶媒体をコンピュータに提供し、そのコンピュータが備えるプロセッサが記憶媒体に格納されたプログラムコードを読み出す。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそれを記憶した記憶媒体は本発明を構成することになる。このようなプログラムコードを供給するための記憶媒体としては、例えば、フレキシブルディスク、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ハードディスク、ＳＳＤ（Solid State Drive）、光ディスク、光磁気ディスク、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード、ＲＯＭなどが用いられる。

【0048】

上述の実施例において、制御線や情報線は、説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。全ての構成が相互に接続されていてもよい。

【符号の説明】

【0049】

Ｓ…不良品判定システム、１…断熱材、２…レーン、１０…カメラ、１１…判定装置、１２…排出装置、２０…全体カメラ、２１…上面用詳細カメラ、２２…側面用詳細カメラ、１１０…制御部、１２０…記憶部、１２１…断熱材位置検出プログラム、１２２…カメラ撮像制御プログラム、１２３…不良品判定プログラム、１２４…学習モデル、１２５…排出装置制御プログラム、１３０…記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】