特許7571504情報処理装置、外観検査装置、プリント基板製造システムおよびプログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2024-10-15
(45)【発行日】2024-10-23
(54)【発明の名称】情報処理装置、外観検査装置、プリント基板製造システムおよびプログラム
(51)【国際特許分類】
G01N 21/956 20060101AFI20241016BHJP
G06T 1/00 20060101ALI20241016BHJP
【ＦＩ】
G01N21/956 B
G06T1/00 305A
【請求項の数】
8
(21)【出願番号】P 2020198006
(22)【出願日】2020-11-30
(65)【公開番号】P2022086149
(43)【公開日】2022-06-09
【審査請求日】2023-09-13
(73)【特許権者】
【識別番号】000006747
【氏名又は名称】株式会社リコー
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】高木 智史
(72)【発明者】
【氏名】村沢 義寛
【審査官】比嘉 翔一
(56)【参考文献】
【文献】特開２０１０－１４１２０９（ＪＰ，Ａ）
【文献】特開２００６－２９３８２０（ＪＰ，Ａ）
【文献】特開２０２０－１４０６４４（ＪＰ，Ａ）
【文献】特開平０８－１１０２１６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０１Ｎ２１／００－Ｇ０１Ｎ２１／９５８
Ｇ０１Ｎ２３／００－Ｇ０１Ｎ２３／２２７６
Ｇ０１Ｂ ９／００－Ｇ０１Ｂ１１／３０
Ｈ０１Ｌ２１／６４－Ｈ０１Ｌ２１／６６
Ｇ０６Ｔ １／００－Ｇ０６Ｔ １／４０
Ｇ０６Ｔ ３／００－Ｇ０６Ｔ ７／９０
Ｇ０６Ｖ１０／００－Ｇ０６Ｖ２０／９０
Ｇ０６Ｖ３０／４１８
Ｇ０６Ｖ４０／１６
Ｇ０６Ｖ４０／２０
ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍ３）
(57)【特許請求の範囲】
【請求項1】
プリント基板の外観の撮像画像から機械学習を用いて画像特徴量の抽出を行う特徴抽出部と、前記特徴抽出部で抽出した画像特徴量に基づき、良品／不良品を判定する判定部と、
経時での良品画像の画像特徴量の変化を検知する変化検知部と、
前記変化検知部での検知結果に基づき、不良品画像および特徴量の変化が発生した時の良品画像を用いて、良品／不良品が分離できるように前記判定部の判定条件を修正する再学習部と、
を備え、
前記再学習部は、前記特徴抽出部の抽出条件を修正する、
ことを特徴とする情報処理装置。
【請求項2】
前記再学習部は、外観検査の誤判定数または誤判定率に基づいて、前記判定部の判定条件を修正する、ことを特徴とする請求項１に記載の情報処理装置。
【請求項3】
前記再学習部は、外観検査の誤判定数または誤判定率に基づいて、前記特徴抽出部の抽出条件を修正する、ことを特徴とする請求項１に記載の情報処理装置。
【請求項4】
前記プリント基板の外観の撮像画像から、外観検査においてノイズとなる情報を除去する処理を実行するノイズ除去部を備える、ことを特徴とする請求項１ないし３の何れか一項に記載の情報処理装置。
【請求項5】
前記判定部は、前記撮像画像と、当該判定部における良品／不良品の判定結果と、検査員の目視による良品／不良品の判定結果とを機械学習にて分類付けする、ことを特徴とする請求項１ないし４の何れか一項に記載の情報処理装置。
【請求項6】
撮像装置により得たプリント基板の外観の撮像画像に基づき、良品／不良品を判定する外観検査装置であって、前記プリント基板の外観の撮像画像から機械学習を用いて画像特徴量の抽出を行う特徴抽出部と、
前記特徴抽出部で抽出した画像特徴量に基づき、良品／不良品を判定する判定部と、
経時での良品画像の画像特徴量の変化を検知する変化検知部と、
前記変化検知部での検知結果に基づき、不良品画像および特徴量の変化が発生した時の良品画像を用いて、良品／不良品が分離できるように前記判定部の判定条件を修正する再学習部と、
を備え、
前記再学習部は、前記特徴抽出部の抽出条件を修正する、
ことを特徴とする外観検査装置。
【請求項7】
プリント基板の外観の撮像画像を得る撮像装置と、前記撮像装置により得たプリント基板の外観の撮像画像に基づき、良品／不良品を判定する外観検査装置と、
前記外観検査装置で不良品と判定された前記プリント基板の外観の撮像画像について、良品／不良品を判定する請求項１ないし４の何れか一項に記載の情報処理装置と、
を備えることを特徴とするプリント基板製造システム。
【請求項8】
コンピュータを、プリント基板の外観の撮像画像から機械学習を用いて画像特徴量の抽出を行う特徴抽出部と、
前記特徴抽出部で抽出した画像特徴量に基づき、良品／不良品を判定する判定部と、
経時での良品画像の画像特徴量の変化を検知する変化検知部と、
前記変化検知部での検知結果に基づき、不良品画像および特徴量の変化が発生した時の良品画像を用いて、良品／不良品が分離できるように前記判定部の判定条件を修正する再学習部と、
として機能させ、
前記再学習部は、前記特徴抽出部の抽出条件を修正する、
ことを特徴とするプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、外観検査装置、プリント基板製造システムおよびプログラムに関する。
【背景技術】
【0002】
従来、多数の実装部品が実装されるプリント基板製造において、実装部品の実装品質を検査する外観検査システムが提案されている。このような外観検査システムによれば、実装部品の電極部とプリント基板上のランド部とのはんだ付けが適切に行われているかを判断するために、はんだ接合部の形状を正確に捉える必要がある。そこで、鏡面反射をもつはんだ接合部の形状を取得する方法として、３色の光源を異なる入射角度で照射し、その反射光を撮像することで形状を色情報として取得する方法が知られている。そして、従来の外観検査システムは、このように色情報として取得したはんだ接合部の形状に対して、特定の色の領域の面積や長さなどのパラメータを用いて、品質を判定するようにしている。
【0003】
特許文献１には、判定ロジックのパラメータを自動生成する目的で、良品画像および不良品画像を用いて、それぞれの画像特徴量から良品／不良品を分離するための特徴量の閾値や検査領域および色範囲を用いてロジックのパラメータを設定する技術が開示されている。
【発明の概要】
【発明が解決しようとする課題】
【0004】
しかしながら、従来の外観検査システムによれば、生産設備の経時変化や実装条件変更によってはんだ表面状態が変化することで撮像される画像の写りにばらつきが生じ、同じロジックを使った画像検査では経時で判定精度が低下するという問題がある。
【0005】
本発明は、上記に鑑みてなされたものであって、生産設備の経時変化や実装条件変更による画像検査の判定精度低下を抑制することを目的とする。
【課題を解決するための手段】
【0006】
上述した課題を解決し、目的を達成するために、本発明は、プリント基板の外観の撮像画像から機械学習を用いて画像特徴量の抽出を行う特徴抽出部と、前記特徴抽出部で抽出した画像特徴量に基づき、良品／不良品を判定する判定部と、経時での良品画像の画像特徴量の変化を検知する変化検知部と、前記変化検知部での検知結果に基づき、不良品画像および特徴量の変化が発生した時の良品画像を用いて、良品／不良品が分離できるように前記判定部の判定条件を修正する再学習部と、を備え、前記再学習部は、前記特徴抽出部の抽出条件を修正する、ことを特徴とする。
【発明の効果】
【0007】
本発明によれば、生産設備の経時変化や実装条件変更による判定精度の低下を抑制することができるという効果を奏する。
【図面の簡単な説明】
【0008】
【発明を実施するための形態】
【0009】
以下に添付図面を参照して、情報処理装置、外観検査装置、プリント基板製造システムおよびプログラムの実施の形態を詳細に説明する。以下においては、本発明を、プリント基板上に装着されたコンデンサチップ、ＩＣなどの素子であるＳＭＤ（Surface Mount Device）のはんだ付けの良否を光学的に判定する外観検査装置を含むプリント基板製造システムに適用した実施形態について説明する。
【0010】
（第１の実施の形態）
図１は、第１の実施の形態にかかるプリント基板製造システム１００の主要な装置を示す概略構成図である。図１に示すように、プリント基板製造システム１００は、はんだ印刷機２０、素子マウンタ３０、リフロー炉４０及び外観検査装置５０を備える。
図１は、第１の実施の形態にかかるプリント基板製造システム１００の主要な装置を示す概略構成図である。図１に示すように、プリント基板製造システム１００は、はんだ印刷機２０、素子マウンタ３０、リフロー炉４０及び外観検査装置５０を備える。
【0011】
プリント基板製造システム１００は、部品が実装されていない状態のプリント基板をはんだ印刷機２０内に搬送する。はんだ印刷機２０は、部品が実装されていない状態のプリント基板上の所定位置に、はんだを印刷する。このようにしてはんだが印刷されたプリント基板は、素子マウンタ３０に搬送される。素子マウンタ３０は、いわゆるチップマウンタ及びＱＦＰ（Quad Fiat Package）マウンタである。素子マウンタ３０は、コンデンサやＩＣ等のＳＭＤである実装部品をプリント基板上に載置する。その後、コンデンサやＩＣ等の実装部品が載置されたプリント基板は、リフロー炉４０内に搬送される。リフロー炉４０は、コンデンサやＩＣ等の実装部品が載置されたプリント基板を加熱処理し、はんだ印刷機２０によって印刷されたプリント基板上のはんだを溶解する。溶解したプリント基板上のはんだは、冷却されることで実装部品をプリント基板上に固定する。
【0012】
以上のようにして実装部品が固定されて実装されたプリント基板は、その後、ベルトコンベア等の搬送手段によって、又はオペレータによる手作業によって、外観検査装置５０内に搬入される。外観検査装置５０は、後述する方法によってはんだ付けの良否を光学的に判定する、自動光学検査（Automated Optical Inspection；ＡＯＩ）を実行する。そして、外観検査装置５０で良品と判定されたプリント基板は、図示しない後段の処理工程に移送される。
【0013】
後段の処理工程を実施する装置としては、例えば、プリント基板上に更に部品をマウントする部品マウンタや、プリント基板を包装する包装装置などが挙げられる。また、後段の処理工程を実施する装置は、例えば、外観検査装置５０による良否判定の結果に応じて、良品と不良品を分別する分別装置であってもよい。なお、プリント基板製造システム１００では、外観検査装置５０による良否判定後に処理工程を実施する装置が設置されているが、この装置は必ずしも必要であるわけではない。
【0014】
また、本実施形態では、外観検査装置５０に、情報処理装置である修正端末６０が接続されている。修正端末６０は、その内部に、外観検査装置５０から出力される判定結果データを書き込み及びその書き込まれたデータを読み出すデータ入出力手段を備えている。
【0015】
修正端末６０は、外観検査装置５０による良否判定結果が正しいか否かをオペレータが目視で再検査し、検査結果に誤りがあったときに検査結果データを修正するためのものである。本実施形態では、プリント基板上の個別のバーコードが形成されており、そのバーコード情報をバーコード自動読取装置で読み取る。このバーコード自動読取装置で読み取ったバーコード情報及び外観検査装置５０の判定結果データは、シリアル通信ケーブルを通して修正端末６０に送信され、保存される。
【0016】
詳細は後述するが、修正端末６０は、外観検査装置５０で不良品と判定された画像に対して、画像検査アルゴリズムを導入して良品／不良品の判定を実施し、目視検査工数を削減する。したがって、修正端末６０は、保存された判定結果データについて、良品／不良品の判定をさらに実施した後、表示手段であるディスプレイ６０ａに不良と判定した判定結果を映し出す。そして、オペレータは、不良と判定された判定結果がディスプレイ６０ａに映し出されたら、実際のプリント基板を目視で確認し、本当に不良品であるかを確認する。その結果、不良品でないと判断したら、オペレータは、修正端末６０の図示しないキーボード等のデータ修正入力手段によって修正入力を行う。
【0017】
なお、本実施形態の修正端末６０は、外観検査装置５０に接続されたスタンドアローン型のコンピュータで構成されているが、外観検査装置５０に対してＬＡＮ等のネットワークで接続したものであってもよい。また、本実施形態の修正端末６０は、外観検査装置５０に一体的に備えられるものであってもよい。
【0018】
次に、外観検査装置５０について説明する。
【0019】
図２は、外観検査装置５０の概略構成図である。図２に示すように、外観検査装置５０は、ＳＭＤを装着したプリント基板であるＰＣＢ４に光を照射する３つの光源１Ｒ，１Ｇ，１Ｂそれぞれの円環状の光源を備えている。よって、外観検査装置５０では、合計６つの光源を備えている。なお、各光源１Ｒ，１Ｇ，１Ｂには、カラーフィルタを張り付けたインバータ制御のリング状の蛍光灯や、各色の光を発する発光ダイオード（ＬＥＤ）などを利用することができる。
【0020】
また、外観検査装置５０は、これらの光源１Ｒ，１Ｇ，１Ｂから照射された光を受光して撮像する撮像装置としての高速カメラ２を備えている。高速カメラ２は、１０万分の１秒程度の高速シャッタで撮像可能なものである。高速カメラ２は、例えばＣＣＤなどの撮像素子で構成されたものを用いることができる。本実施形態では、高速カメラ２として、分解能が１３μｍ、１５μｍ、２０μｍ、２５μｍ、３０μｍ、３５μｍ、５０μｍ、７０μｍの間で変更可能なＣＣＤカメラを使用する。高速カメラ２は、図２に示すように、検査領域の真上に配置される。
【0021】
外観検査装置５０は、高速カメラ２に対して相対移動するように載置台に載置したＰＣＢ４を水平方向に２次元的に移動させる駆動手段としてのＸＹステージ３、制御手段としての制御部１０なども備えている。ＸＹステージ３は、ＰＣＢ４を水平に支持している。
【0022】
制御部１０は、ＣＰＵ（Central Processing Unit）、記憶部、インターフェース部などを備える。制御部１０は、高速カメラ２のシャッタを制御したり、ステージ駆動部３ａを介してＸＹステージ３を駆動制御したり、良否判断処理を行ったりする。
【0023】
次に、良否判断処理の前提となる画像撮像処理について説明する。
【0024】
図３は、良否判断処理の前提となる画像撮像処理を説明する図である。図３に示す図は、ＳＭＤの一例であるコンデンサ５の電極５ａをＰＣＢ４上のパッド４ａに接続するはんだ接合部であるはんだフィレット６に光を照射した様子を示す図である。図３に示すように、光源１Ｒは、鉛直方向に対して一番小さな照射角度で光（赤色光Ｒ）を照射する赤色光源である。光源１Ｂは、一番大きな照射角度で光（青色光Ｂ）を照射する青色光源である。光源１Ｇは、光源１Ｒと光源１Ｂとの中間の照射角度で光（緑色光Ｇ）を照射する緑色光源である。
【0025】
図３に示すように、高速カメラ２は、光源１Ｒ、１Ｇ、１Ｂからの赤色光Ｒ、緑色光Ｇ、青色光Ｂが照射されたＰＣＢ４を撮像する。この場合、高速カメラ２は、Ｒ、Ｇ、Ｂの３色に色分けされた検査対象画像を撮像する。この３色の色分布により、はんだ付け状態、すなわちはんだフィレット６の外形を観察することができる。
【0026】
高速カメラ２の撮像領域（検査領域）は、ＰＣＢ４に比べて狭い。そのため、高速カメラ２によってＰＣＢ４を撮像する際には、ＸＹステージ３上のＰＣＢ４は、水平方向に滑らかに連続して移動する。具体的には、高速カメラ２は、撮像領域内に収まる１又は２以上のＳＭＤごとに、順次、ＰＣＢ４を撮像する。こうすることにより、各ＳＭＤの一例であるコンデンサ５の電極５ａに対するはんだフィレット６の外形を把握することができる。
【0027】
【0028】
次に、外観検査装置５０の制御部１０における良否判断処理について説明する。
【0029】
図５は、良否判断方法の流れの一例を示すフローチャートである。図５に示すように、外観検査装置５０の制御部１０は、まず、ＸＹテーブル３を駆動制御して、高速カメラ２の撮像領域内にＰＣＢ４上のコンデンサ５を移動させる（ステップＳ１）。
【0030】
次に、制御部１０は、光源１Ｒ、１Ｇ、１ＢからＰＣＢ４に対して照射される各色の光の反射光を高速カメラ２によって撮像する（ステップＳ２）。これにより、その撮像データに基づいて、図４に示したような画像を得ることができる。このとき、パッド４ａに対して正常にはんだフィレット６が形成されていれば、図４に示したように、そのはんだフィレット６の領域（位置、大きさ）は青色で示されることになる。正常にはんだフィレット６が形成されていれば、図４に示したように、はんだフィレット６では青色の色相の領域が大きくなる。これに対し、不良品のはんだフィレット６では青色以外の色相の領域が大きくなる。
【0031】
次に、制御部１０は、高速カメラ２によって撮像した撮像データから、単一のコンデンサ５の電極５ａの両側に存在する青色領域の画素数の和Ｓｌを算出する（ステップＳ３）。そして、制御部１０は、算出した画素数の和Ｓｌが所定画素数（例えば、８画素）よりも大きいか否かを判断する（ステップＳ４）。この判断の結果、制御部１０は、和Ｓｌが８画素よりも大きい場合には、そのコンデンサ５は良品であると判定し（ステップＳ５）、和Ｓｌが８画素以下である場合には、そのコンデンサ５は不良品であると判定する（ステップＳ６）。これにより、コンデンサ５ごとに、はんだ付けの良否を判定することができる。
【0032】
ところで、外観検査装置５０における検査対象画像の検査においては、上述のように、検査対象画像の色特徴に対してルールベースの検査を実施している。しかしながら、検査対象画像のような生産系データの場合、経時で生産条件がわずかに変わることで、取得できるデータの傾向も変化するため、一度決めた判定基準で継続的に検査できない。そのため、外観検査装置５０で良品を不良品と判定する虚報（過検出）が多くなる。図６は、従来の外観検査を示す図である。図６に示すように、従来においては、外観検査装置５０と目視検査との２段階で検査を実施する。そのため、外観検査装置５０で良品を不良品と判定する虚報（過検出）が多くなると、目視検査に工数がかかってしまう、という問題がある。
【0033】
図７は、本実施形態の外観検査を示す図である。図７に示すように、本実施形態の修正端末６０においては、詳細は後述するが、外観検査装置５０で不良品と判定された画像に対して、画像検査アルゴリズムを導入して良品／不良品の判定を実施し、目視検査工数を削減するようにしたものである。画像検査アルゴリズムは、運用の中で、データを蓄積して追加学習しながら検査対象画像の検査を行う追加学習型画像検査アルゴリズムであり、機械学習を用いる。画像検査アルゴリズムによれば、判定結果を利用し、事前構築した判定器の精度を向上させることができる。
【0034】
ここで、図８は修正端末６０のハードウェア構成を示すブロック図である。図８に示すように、修正端末６０は、コンピュータによって構築されている。図８に示されているように、修正端末６０は、ＣＰＵ６０１、ＲＯＭ６０２、ＲＡＭ６０３、ＨＤ６０４、ＨＤＤ（Hard Disk Drive）コントローラ６０５、ディスプレイ６０６、外部機器接続Ｉ／Ｆ（Interface）６０８、ネットワークＩ／Ｆ６０９、データバス６１０、キーボード６１１、ポインティングデバイス６１２、ＤＶＤ－ＲＷ（Digital Versatile Disc Rewritable）ドライブ６１４、メディアＩ／Ｆ６１６を備えている。
【0035】
これらのうち、ＣＰＵ６０１は、修正端末６０全体の動作を制御する。ＲＯＭ６０２は、ＩＰＬ等のＣＰＵ６０１の駆動に用いられるプログラムを記憶する。ＲＡＭ６０３は、ＣＰＵ６０１のワークエリアとして使用される。ＨＤ６０４は、プログラム等の各種データを記憶する。ＨＤＤコントローラ６０５は、ＣＰＵ６０１の制御にしたがってＨＤ６０４に対する各種データの読み出し又は書き込みを制御する。ディスプレイ６０６は、カーソル、メニュー、ウィンドウ、文字、又は画像などの各種情報を表示する。外部機器接続Ｉ／Ｆ６０８は、各種の外部機器を接続するためのインターフェースである。この場合の外部機器は、例えば、外観検査装置５０、ＵＳＢ（Universal Serial Bus）メモリやプリンタ等である。外部機器接続Ｉ／Ｆ６０８は、受信部６１および出力部６２（図９参照）として機能する。ネットワークＩ／Ｆ６０９は、通信ネットワークを利用してデータ通信をするためのインターフェースである。バスライン６１０は、図８に示されているＣＰＵ６０１等の各構成要素を電気的に接続するためのアドレスバスやデータバス等である。
【0036】
また、キーボード６１１は、文字、数値、各種指示などの入力のための複数のキーを備えた入力手段の一種である。ポインティングデバイス６１２は、各種指示の選択や実行、処理対象の選択、カーソルの移動などを行う入力手段の一種である。ＤＶＤ－ＲＷドライブ６１４は、着脱可能な記録媒体の一例としてのＤＶＤ－ＲＷ６１３に対する各種データの読み出し又は書き込みを制御する。なお、ＤＶＤ－ＲＷに限らず、ＤＶＤ－Ｒ等であってもよい。メディアＩ／Ｆ６１６は、フラッシュメモリ等の記録メディア６１５に対するデータの読み出し又は書き込み（記憶）を制御する。
【0037】
本実施形態の修正端末６０で実行されるプログラムは、インストール可能な形式又は実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ（Digital Versatile Disc）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。
【0038】
また、本実施形態の修正端末６０で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、本実施形態の修正端末６０で実行されるプログラムをインターネット等のネットワーク経由で提供または配布するように構成しても良い。また、本実施形態の修正端末６０で実行されるプログラムを、ＲＯＭ等に予め組み込んで提供するように構成してもよい。
【0039】
次に、外観検査処理にかかる機能について説明する。
【0040】
図９は、外観検査処理にかかる機能を示す機能ブロック図である。図９に示すように、修正端末６０は、受信部６１、前処理部６３、特徴抽出部６４、判定部６５、変化検知部６６、再学習部６７、出力部６２を備える。受信部６１および出力部６２は、上述したように、外部機器接続Ｉ／Ｆ６０８である。また、本実施の形態の修正端末６０で実行されるプログラムは、各部（前処理部６３、特徴抽出部６４、判定部６５、変化検知部６６、再学習部６７）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が上記記憶媒体からプログラムを読み出して実行することにより上記各部が主記憶装置上にロードされ、前処理部６３、特徴抽出部６４、判定部６５、変化検知部６６、再学習部６７が主記憶装置上に生成されるようになっている。
【0041】
受信部６１は、外観検査装置５０において不良と判定された画像、すなわち高速カメラ２にて撮像されたプリント基板の外観情報を外観検査装置５０から受信する。
【0042】
前処理部６３は、受信部６１で受信した画像に対し、検査内容によって適した前処理を実行する。具体的には、前処理部６３は、指定色の抽出（例えば、Ｂのみなど）を行い、画像から判定に必要な領域のみを抽出する抽出処理を実行する。
【0043】
また、前処理部６３は、ルールベースの画像処理に基づき、はんだ接合部の品質検査においてノイズとなる情報を除去する処理を実行するノイズ除去部として機能する。品質検査においてノイズとなる情報としては、位置ばらつき、電極部の反射光の映り込み、などが挙げられる。
【0044】
【0045】
図１１は、電極部の反射光の映り込みの除去の一例を示す図である。図１１に示すように、電極部の反射光の映り込みの除去は、元画像に対してマスキングを施して、不良箇所の近傍をトリミングすることで、はんだ接合部を検出する。
【0046】
特徴抽出部６４は、機械学習を用いて画像特徴量の抽出を行う。
【0047】
判定部６５は、特徴抽出部６４で抽出した画像特徴量を、良品／不良品を示す指標値に変換する。そして、判定部６５は、良品／不良品を示す指標値に基づき、閾値により良品／不良品を判定する。
【0048】
出力部６２は、判定部６５における判定結果を出力する。
【0049】
変化検知部６６は、特徴抽出部６４あるいは判定部６５の出力を用いて、良品画像の特徴量の変化を検知する。以下において、変化検知部６６で用いる変化検知ロジックについて説明する。
【0050】
ここで、図１２は変化検知部６６で用いる変化検知ロジック（散布図）の説明図である。図１２は、画像特徴量の分布に基づいた画像特徴量の変動検知方法を示している。変化検知部６６は、取得済みの良品画像の画像特徴量の分布９ａに対して、特徴抽出部６４および判定部６５から出力されたロット変更等の製造条件変更後や所定の生産数または経過期間後の良品画像の画像特徴量の分布１０ａを比較する。なお、図１２において、符号９ｂまたは１０ｂは、画像１枚の画像特徴量を示している。変化検知部６６は、各画像特徴量群の平均や分散などの統計量を用いて、比較を行う。
【0051】
なお、図１２では２次元の画像特徴量空間を示しているが、変化検知部６６は、より高次または低次の画像特徴量空間で評価してもよい。また、変化検知部６６は、画像特徴量ではなく、判定部６５で用いる良品／不良品を示す指標値を用いて変化検知を実施してもよい。
【0052】
ここで、図１３は変化検知部６６で用いる変化検知ロジック（時間変化）の説明図である。図１３は、画像特徴量の時系列変化に基づいた画像特徴量の変動検知方法を示すものである。図１３は、良品画像の画像特徴量の分布を時系列データとして表現している。変化検知部６６は、取得済みの良品画像の画像特徴量の分布９ｃに対する、特徴抽出部６４および判定部６５から出力されたロット変更等の製造条件変更後や所定の生産数または経過期間後の良品画像の画像特徴量の分布１０ｃの変化を、時系列データの異常検知手法を用いて実施する。すなわち、変化検知部６６は、ロット変更等の製造条件変更後や所定数の生産または所定期間後のデータ間を比較することで、画像の変化の有無を調べる。なお、図１３においては、時系列での画像特徴量の変化を示したが、これに限るものではなく、生産数の変化に応じた画像特徴量の変化であってもよい。
【0053】
変化検知部６６は、変化を検知した場合、特徴抽出部６４および判定部６５のロジックを修正する。変化検知部６６は、不良品画像および変動発生時の良品画像を用いて、良品／不良品が最も分離できるように特徴抽出部６４の抽出条件および判定部６５の判定条件を修正する。
【0054】
再学習部６７は、変化検知部６６での検知結果により、特徴抽出部６４の抽出条件および判定部６５の判定条件の再学習を行う。再学習部６７は、再学習結果を特徴抽出部６４および判定部６５に送り、ロジックを修正する。なお、変化検知部６６および再学習部６７は、変化を検知した場合、判定部６５のみのロジックを修正するようにしてもよい。
【0055】
次に、修正端末６０の学習処理について説明する。
【0056】
ここで、図１４は修正端末６０の学習処理の流れを示すフローチャートである。図１４に示すように、特徴抽出部６４は、前回学習後から所定の生産数または所定の期間経過したと判定すると、変化検知の実施要と判定し（ステップＳ１１のＹｅｓ）、ステップＳ１２に進む。
【0057】
特徴抽出部６４は、学習済み画像の画像特徴量の抽出を行う（ステップＳ１２）。更に、特徴抽出部６４は、所定生産数または所定期間後の画像の画像特徴量の抽出を行う（ステップＳ１３）。
【0058】
【0059】
変化検知部６６において変化量が閾値以上であるとして、変化が認められた場合（ステップＳ１５のＹｅｓ）、再学習部６７は、変化後の画像を用いて、特徴抽出部６４の抽出条件を更新し（ステップＳ１６）、判定部６５の判定条件を更新することで（ステップＳ１７）、再学習する。
【0060】
一方、変化検知部６６において変化量が閾値以上でなく、変化が認められなかった場合（ステップＳ１５のＮｏ）、再学習部６７は、そのまま処理を終了する。
【0061】
このように本実施形態によれば、経時での良品画像の画像特徴量を分析し、画像特徴量の変化を検知したとき、変化後の良品画像の画像特徴量を再学習し、良品／不良品を分離できるようにロジックを修正するので、生産設備の経時変化や実装条件変更によるロジックの判定精度の低下を抑制することができ、安定した画像検査を実施することができる。
【0062】
なお、判定部６５は、受信部６１で受信した画像と、当該判定部６５における判定結果と、検査員の目視による良品／不良品の判定結果とを、機械学習にて分類付けするようにしてもよい。このようにすることで、検査員の判定結果に近い検査を実現することができる。すなわち、検査員の目視判定を初期のみの実行とし、精度向上が図られた後は、検査員による目視判定の工程をカットすることができるようになる。
【0063】
なお、本実施形態においては、再学習部６７は、変化検知部６６において変化量が閾値以上であって、変化が認められた場合に（ステップＳ１５のＹｅｓ）、再学習するようにしたが、これに限るものではない。
【0064】
ここで、図１５は、修正端末６０の学習処理の流れの変形例を示すフローチャートである。図１５に示すように、再学習部６７は、外観検査の誤判定数または誤判定率が閾値以上である場合に（ステップＳ２１のＹｅｓ）、変化後の画像を用いて、特徴抽出部６４の抽出条件を修正し（ステップＳ２２）、判定部６５の判定条件を修正することで（ステップＳ２３）、再学習するようにしてもよい。誤判定率の閾値としては、例えば、１０～２０％である。
【0065】
なお、機械学習とは、コンピュータに人のような学習能力を獲得させるための技術であり、コンピュータが、データ識別等の判断に必要なアルゴリズムを、事前に取り込まれる学習データから自律的に生成し、新たなデータについてこれを適用して予測を行う技術のことをいう。機械学習のための学習方法は、教師あり学習、教師なし学習、半教師学習、強化学習、深層学習のいずれかの方法でもよく、さらに、これらの学習方法を組み合わせた学習方法でもよく、機械学習のための学習方法は問わない。
【符号の説明】
【0066】
２ 撮像装置
４ プリント基板
５０ 外観検査装置
６０ 情報処理装置
６３ ノイズ除去部
６４ 特徴抽出部
６５ 判定部
６６ 変化検知部
６７ 再学習部
１００ プリント基板製造システム
４ プリント基板
５０ 外観検査装置
６０ 情報処理装置
６３ ノイズ除去部
６４ 特徴抽出部
６５ 判定部
６６ 変化検知部
６７ 再学習部
１００ プリント基板製造システム
【先行技術文献】
【特許文献】
【0067】
【文献】特許第４４９２３５６号公報
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】