特許 7563665 検査システム、検査方法及び検査プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-30

(45)【発行日】2024-10-08

(54)【発明の名称】検査システム、検査方法及び検査プログラム

(51)【国際特許分類】

   G01N 21/956 20060101AFI20241001BHJP

   G01N 21/88 20060101ALI20241001BHJP

   G06T 7/00 20170101ALI20241001BHJP

【ＦＩ】

G01N21/956 B

G01N21/88 J

G06T7/00 350B

【請求項の数】 6

(21)【出願番号】P 2021010592

(22)【出願日】2021-01-26

(65)【公開番号】P2022114331

(43)【公開日】2022-08-05

【審査請求日】2023-12-15

(73)【特許権者】

【識別番号】000003964

【氏名又は名称】日東電工株式会社

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】木川 洋一

(72)【発明者】

【氏名】陳 日飛

【審査官】井上 徹

(56)【参考文献】

【文献】米国特許出願公開第２０２１／０００４９４５（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０２３２９３４（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１０／０２２５６６６（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０２０／０００５４４８（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｎ ２１／００－２１／０１

Ｇ０１Ｎ ２１／１７－２１／６１

Ｇ０１Ｎ ２１／８４－２１／９５８

Ｇ０１Ｂ １１／００－１１／３０

Ｇ０６Ｔ ７／００－ ７／９０

Ｈ０５Ｋ ３／００－１３／０８

ＪＳＴＰｌｕｓ／ＪＭＥＤＰｌｕｓ／ＪＳＴ７５８０（ＪＤｒｅａｍＩＩＩ）

(57)【特許請求の範囲】

【請求項1】

検査対象物を撮影した画像のうち、欠陥が含まれていないと判断された第１画像の一部をマスクすることで生成された第１マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像から、マスク前の第１画像が再現されるように学習された画像再現部と、
新たな検査対象物を撮影した第２画像の一部をマスクすることで生成された第２マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像を、前記画像再現部に入力することで再現された再現画像と、前記第２画像とに基づいて、前記第２画像に欠陥が含まれるか否かを判定する判定部と
を有する検査システム。

【請求項2】

前記判定部は、
前記再現画像と、前記第２画像との各画素の画素値の誤差に基づいて算出される値が、所定の閾値以下である場合、前記第２画像に欠陥が含まれないと判定し、
前記再現画像と、前記第２画像との各画素の画素値の誤差に基づいて算出される値が、所定の閾値を超えている場合、前記第２画像に欠陥が含まれると判定する、請求項１に記載の検査システム。

【請求項3】

前記判定部により、前記第２画像に欠陥が含まれると判定された場合に、前記第２画像について目視検査を行うよう前記第２画像を出力する出力部を更に有する、請求項２に記載の検査システム。

【請求項4】

検査対象物を撮影した画像のうち、欠陥が含まれていないと判断された第１画像の一部をマスクすることで生成された第１マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像から、マスク前の第１画像が再現されるよう、画像再現部に対して学習処理を行う学習部を更に有する、請求項１に記載の検査システム。

【請求項5】

検査対象物を撮影した画像のうち、欠陥が含まれていないと判断された第１画像の一部をマスクすることで生成された第１マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像から、マスク前の第１画像が再現されるように学習された画像再現部に、新たな検査対象物を撮影した第２画像の一部をマスクすることで生成された第２マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像を入力することで再現された再現画像と、前記第２画像とに基づいて、前記第２画像に欠陥が含まれるか否かを判定する判定工程、
を有する検査方法。

【請求項6】

検査対象物を撮影した画像のうち、欠陥が含まれていないと判断された第１画像の一部をマスクすることで生成された第１マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像から、マスク前の第１画像が再現されるように学習された画像再現部に、新たな検査対象物を撮影した第２画像の一部をマスクすることで生成された第２マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像を入力することで再現された再現画像と、前記第２画像とに基づいて、前記第２画像に欠陥が含まれるか否かを判定する判定工程、
をコンピュータに実行させるための検査プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、検査システム、検査方法及び検査プログラムに関する。

【背景技術】

【0002】

従来より、プリント基板等の検査対象物を撮影し、基準画像と比較することで、検査対象物が良品であるか不良品であるかを検査する検査システムが知られている。

【0003】

当該検査システムでは、例えば、不良品を良品としてしまうことがないように、欠陥候補を過剰に検出しておき、検出した欠陥候補の画像を、最終的に検査員が目視検査することで、欠陥の見逃し防止を実現している。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１３－０９８２６７号公報

【文献】特開２０２０－０５２４７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、上記検査システムの場合、良品の範囲内での製造ばらつき等も、欠陥候補として検出されるため、検査員が目視検査すべき欠陥候補の画像が多くなり、検査員の作業負荷が高いという問題がある。

【0006】

一つの側面では、検査システムにおける検査員の作業負荷を低減させることを目的としている。

【課題を解決するための手段】

【0007】

一態様によれば、検査システムは、
検査対象物を撮影した画像のうち、欠陥が含まれていないと判断された第１画像の一部をマスクすることで生成された第１マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像から、マスク前の第１画像が再現されるように学習された画像再現部と、
新たな検査対象物を撮影した第２画像の一部をマスクすることで生成された第２マスク画像のマスク領域に、対応するＣＡＤデータを重畳した重畳画像を、前記画像再現部に入力することで再現された再現画像と、前記第２画像とに基づいて、前記第２画像に欠陥が含まれるか否かを判定する判定部とを有する。

【発明の効果】

【0008】

検査システムにおける検査員の作業負荷を低減させることができる。

【図面の簡単な説明】

【0009】

【図1】学習フェーズにおける検査システムのシステム構成の一例を示す図である。

【図2】学習装置のハードウェア構成の一例を示す図である。

【図3】学習装置の学習用データセット生成部による処理の具体例を示す図である。

【図4】学習装置の学習部による処理の具体例を示す第１の図である。

【図5】検査フェーズにおける検査システムのシステム構成の一例を示す図である。

【図6】推論装置のハードウェア構成の一例を示す図である。

【図7】推論装置の推論部による処理の具体例を示す第１の図である。

【図8】検査システムにおける学習処理の流れを示す第１のフローチャートである。

【図9】検査システムにおける検査処理の流れを示す第１のフローチャートである。

【図10】学習装置の学習部による処理の具体例を示す第２の図である。

【図11】推論装置の推論部による処理の具体例を示す第２の図である。

【図12】検査システムにおける学習処理の流れを示す第２のフローチャートである。

【図13】検査システムにおける検査処理の流れを示す第２のフローチャートである。

【発明を実施するための形態】

【0010】

以下、各実施形態について添付の図面を参照しながら説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複した説明を省略する。

【0011】

［第１の実施形態］
＜学習フェーズにおける検査システムのシステム構成＞
はじめに、第１の実施形態に係る検査システムの、学習フェーズにおけるシステム構成について説明する。図１は、学習フェーズにおける検査システムのシステム構成の一例を示す図である。

【0012】

図１に示すように、学習フェーズにおける検査システム１００は、自動光学検査（ＡＯＩ：Automated Optical Inspection）装置１１０と、学習装置１２０とを有する。

【0013】

ＡＯＩ装置１１０は、プリント基板１３０の自動外観検査を行う。ＡＯＩ装置１１０は、プリント基板１３０をカメラでスキャンし、種々の検査項目を検査することで、欠陥候補を検出する。ＡＯＩ装置１１０が検査する検査項目には、例えば、回路幅、回路間隔、ミッシングパッド／パッドなし、回路ショート等が含まれる。

【0014】

ＡＯＩ装置１１０により検出された欠陥候補を含む各領域の画像１４０は、学習装置１２０に送信されるとともに、検査ラインに送信される。検査ラインでは、検査員等の検査員１１１が、欠陥候補を含む各領域の画像１４０を目視検査する。なお、ＡＯＩ装置１１０は、不良品を良品とすることがないように、欠陥候補を含む各領域の画像が過剰に検出されるように設定されているものとする。

【0015】

検査員１１１は、各領域の画像１４０に欠陥が含まれているか否かを目視検査し、最終的に、プリント基板１３０が良品であるか不良品であるかを判断する。具体的には、欠陥候補を含む各領域の画像１４０のいずれにも欠陥が含まれていない場合には、プリント基板１３０は良品であると判断される。また、欠陥候補を含む各領域の画像１４０のいずれかに欠陥が含まれている場合には、プリント基板１３０は不良品であると判断される。

【0016】

なお、検査員１１１は、目視検査の結果（各領域の画像１４０に欠陥が含まれているか否かを判断した結果）を、学習装置１２０に通知する。図１の例において、「目視検査結果：ＯＫ」とは、欠陥候補を含む領域の画像に欠陥が含まれていないと判断されたことを示し、「目視検査結果：ＮＧ」とは、欠陥候補を含む領域の画像に欠陥が含まれていると判断されたことを示している。

【0017】

学習装置１２０には、学習プログラムがインストールされており、学習装置１２０は、当該プログラムを実行することで、学習用データセット生成部１２１、学習部１２２として機能する。

【0018】

学習用データセット生成部１２１は、ＡＯＩ装置１１０から送信された、欠陥候補を含む各領域の画像１４０の中から、検査員１１１による目視検査の結果、欠陥が含まれていないと判断された画像を抽出する。また、学習用データセット生成部１２１は、抽出した各領域の画像を、目視検査の結果と対応付けて、学習用データセットとして学習用データセット格納部１２３に格納する。

【0019】

学習部１２２は、学習用データセット格納部１２３に格納された学習用データセットに含まれる各領域の画像を読み出す。また、学習部１２２は、各領域の画像の一部をマスクすることでマスク画像を生成し、生成したマスク画像から、マスク前の画像が再現されるようにモデルに対して学習処理を行う。

【0020】

なお、学習部１２２によって学習処理が行われるモデルには、例えば、画像の白抜き領域を補完するモデル等が用いられる。当該モデルでは、一部の領域が白抜きされた画像が入力された場合に、白抜きされた領域の周辺領域に基づき白抜きされた領域を補完し、白抜きされる前の元の画像を再現する。以下、当該モデルを、「画像再現部」と称す。

【0021】

＜学習装置のハードウェア構成＞
次に、学習装置１２０のハードウェア構成について説明する。図２は、学習装置のハードウェア構成の一例を示す図である。図２に示すように、学習装置１２０は、プロセッサ２０１、メモリ２０２、補助記憶装置２０３、Ｉ／Ｆ（Interface）装置２０４、通信装置２０５、ドライブ装置２０６を有する。なお、学習装置１２０の各ハードウェアは、バス２０７を介して相互に接続されている。

【0022】

プロセッサ２０１は、ＣＰＵ（Central Processing Unit）、ＧＰＵ（Graphics Processing Unit）等の各種演算デバイスを有する。プロセッサ２０１は、各種プログラム（例えば、学習プログラム等）をメモリ２０２上に読み出して実行する。

【0023】

メモリ２０２は、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等の主記憶デバイスを有する。プロセッサ２０１とメモリ２０２とは、いわゆるコンピュータを形成し、プロセッサ２０１が、メモリ２０２上に読み出した各種プログラムを実行することで、当該コンピュータは、例えば上記各機能（学習用データセット生成部１２１、学習部１２２）を実現する。

【0024】

補助記憶装置２０３は、各種プログラムや、各種プログラムがプロセッサ２０１によって実行される際に用いられる各種データを格納する。例えば、学習用データセット格納部１２３は、補助記憶装置２０３において実現される。

【0025】

Ｉ／Ｆ装置２０４は、外部装置の一例である操作装置２１０、表示装置２１１と、学習装置１２０とを接続する接続デバイスである。Ｉ／Ｆ装置２０４は、学習装置１２０に対する操作（例えば、検査員１１１による目視検査の結果を入力する操作、あるいは、学習装置１２０の管理者（不図示）が学習処理の指示を入力する操作等）を、操作装置２１０を介して受け付ける。また、Ｉ／Ｆ装置２０４は、学習装置１２０による学習処理の結果等を出力し、表示装置２１１を介して、学習装置１２０の管理者に表示する。

【0026】

通信装置２０５は、他の装置（本実施形態では、ＡＯＩ装置１１０）と通信するための通信デバイスである。

【0027】

ドライブ装置２０６は記録媒体２１２をセットするためのデバイスである。ここでいう記録媒体２１２には、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等のように情報を光学的、電気的あるいは磁気的に記録する媒体が含まれる。また、記録媒体２１２には、ＲＯＭ、フラッシュメモリ等のように情報を電気的に記録する半導体メモリ等が含まれていてもよい。

【0028】

なお、補助記憶装置２０３にインストールされる各種プログラムは、例えば、配布された記録媒体２１２がドライブ装置２０６にセットされ、該記録媒体２１２に記録された各種プログラムがドライブ装置２０６により読み出されることでインストールされる。あるいは、補助記憶装置２０３にインストールされる各種プログラムは、通信装置２０５を介してネットワークからダウンロードされることで、インストールされてもよい。

【0029】

＜学習装置の各部の詳細＞
次に、学習装置１２０の各部（ここでは、学習用データセット生成部１２１、学習部１２２）の詳細について説明する。

【0030】

（１）学習用データセット生成部による処理の具体例
図３は、学習装置の学習用データセット生成部による処理の具体例を示す図である。図３に示すように、ＡＯＩ装置１１０から、例えば、欠陥候補を含む各領域の画像３０１～３０６が送信されると、学習用データセット生成部１２１では、「目視検査結果：ＯＫ」の画像を抽出する。

【0031】

図３の例は、各領域の画像３０１～３０６のうち、画像３０１、３０２、３０４、３０５は、「目視検査結果：ＮＧ」の画像であることを示している。このため、学習用データセット生成部１２１では、各領域の画像３０３、３０６（「目視検査結果：ＯＫ」の画像）を抽出して、学習用データセット３１０を生成する。

【0032】

図３に示すように、学習用データセット３１０は、情報の項目として、"ＩＤ"、"画像"、"目視検査結果"とを有する。

【0033】

"ＩＤ"には、各領域の画像を識別する識別子が格納される。"画像"には、各領域の画像が格納される。"目視検査結果"には、各領域の画像の目視検査の結果が格納される。なお、学習用データセット３１０には、「目視検査結果：ＯＫ」の画像のみが格納されるため、"目視検査結果"には、「ＯＫ」のみが格納される。

【0034】

このように、学習用データセット生成部１２１は、
・ＡＯＩ装置１１０により検出された欠陥候補を含む各領域の画像、かつ、
・検査員１１１により、欠陥が含まれていないと判断された画像（「目視検査結果：ＯＫ」の画像）、
を用いて、学習用データセット３１０を生成する。

【0035】

（２）学習部による処理の具体例
図４は、学習装置の学習部による処理の具体例を示す第１の図である。図４に示すように、学習部１２２は、マスク部４１０、画像再現部４２０、比較／変更部４３０を有する。

【0036】

マスク部４１０は、学習用データセット格納部１２３に格納された学習用データセット３１０の"画像"に格納された各領域の画像（第１画像の一例。例えば、画像４４０）を読み出す。また、マスク部４１０は、読み出した画像４４０の一部をマスクすることで、マスク画像（第１マスク画像の一例。例えば、マスク画像４４０＿１～４４０＿ｎ）を生成する。また、マスク部４１０は、生成したマスク画像４４０＿１～４４０＿ｎを画像再現部４２０に入力する。なお、マスク部４１０が、読み出した画像４４０に対してマスクする際のマスク位置はランダムであり、例えば、マスク部４１０は、９～１６箇所程度の位置にマスクする。

【0037】

画像再現部４２０は、マスク画像４４０＿１～４４０＿ｎに基づいて、マスク前の画像４４１＿１～４４１＿ｎを再現し、比較／変更部４３０に出力する。

【0038】

比較／変更部４３０は、画像再現部４２０により再現された画像４４１＿１～４４１＿ｎと、マスク部４１０により読み出されたマスク前の画像４４０とを比較し、両者が一致するように、画像再現部４２０のモデルパラメータを更新する。

【0039】

これにより、画像再現部４２０は、マスク部４１０により生成されたマスク画像４４０＿１～４４０＿ｎから、マスク前の画像４４０が再現されるように学習処理が行われることになる。このように、画像再現部４２０を用いる構成とすることで、学習装置１２０によれば、教師なしの学習処理を行うことができる。また、欠陥が含まれていない各領域の画像（「目視検査結果：ＯＫ」の画像）のみを用いて学習処理を行うことができる。これにより、様々な種類の欠陥が含まれている各領域の画像（「目視検査結果：ＮＧ」の画像）を収集して学習処理を行う場合と比較して、学習コストを低減させることができる。

【0040】

なお、マスク前の画像が再現されるように学習処理が行われた学習済み画像再現部は、後述する検査フェーズにおいて用いられる。

【0041】

＜検査フェーズにおける検査システムのシステム構成＞
次に、第１の実施形態に係る検査システムの、検査フェーズにおけるシステム構成について説明する。図５は、検査フェーズにおける検査システムのシステム構成の一例を示す図である。

【0042】

図５に示すように、検査フェーズにおける検査システム５００は、ＡＯＩ装置１１０と、推論装置５１０とを有する。

【0043】

このうち、ＡＯＩ装置１１０は、学習フェーズにおける検査システム１００のＡＯＩ装置１１０と同じであるため、ここでは説明を省略する。

【0044】

推論装置５１０には、検査プログラムがインストールされており、当該プログラムが実行されることで、推論装置５１０は、推論部５１１、出力部５１２として機能する。

【0045】

推論部５１１は、学習フェーズにおいて生成された学習済み画像再現部を有する。推論部５１１は、検査対象物であるプリント基板５３０に対して自動外観検査が行われることでＡＯＩ装置１１０から送信された各領域の画像５４０を取得する。また、推論部５１１は、取得した各領域の画像５４０の一部をマスクすることで、マスク画像を生成したのち、学習済み画像再現部に入力する。また、推論部５１１は、学習済み画像再現部により再現された画像と、マスク前の画像５４０とを比較することで、各領域の画像５４０に欠陥が含まれるか否かを判定する。更に、推論部５１１は、判定結果を出力部５１２に通知する。

【0046】

出力部５１２は、推論部５１１より通知された判定結果を、検査ラインに出力する。検査ラインでは、検査員１１１が、欠陥候補を含む各領域の画像を目視検査する。ただし、検査フェーズにおいて、検査ラインでは、出力部５１２により出力された判定結果を参照し、欠陥候補を含む各領域の画像５４０のうち、推論装置５１０により欠陥が含まれないと判定された画像を除外する。そして、検査ラインでは、欠陥候補を含む各領域の画像５４０のうち、推論装置５１０により欠陥が含まれると判定された画像５５０を目視検査に割り当てる。つまり、出力部５１２では、欠陥が含まれると判定された画像５５０について目視検査を行うよう画像５５０を出力する。

【0047】

このように、ＡＯＩ装置１１０においてプリント基板５３０に対して自動外観検査が行われ、欠陥候補を含む各領域の画像が検出された場合、検査ラインでは、推論装置５１０によって、欠陥が含まれると判定された画像を、目視検査に割り当てる。この結果、検査システム５００によれば、目視検査に割り当てる画像の数を減らすことが可能となり、検査員１１１による目視検査の作業負荷を低減させることができる。

【0048】

＜推論装置のハードウェア構成＞
次に、推論装置５１０のハードウェア構成について説明する。図６は、推論装置のハードウェア構成の一例を示す図である。なお、図６に示すように、推論装置５１０のハードウェア構成は、学習装置１２０のハードウェア構成と概ね同じであることから、ここでは、学習装置１２０のハードウェア構成との相違点を中心に説明する。

【0049】

プロセッサ６０１は、各種プログラム（例えば、検査プログラム等）をメモリ６０２上に読み出して実行する。プロセッサ６０１が、メモリ６０２上に読み出した各種プログラムを実行することで、プロセッサ６０１とメモリ６０２とにより形成されるコンピュータは、例えば上記各機能（推論部５１１、出力部５１２）を実現する。

【0050】

＜推論装置の各部の詳細＞
次に、推論装置５１０の各部（ここでは、推論部５１１）の詳細について説明する。図７は、推論装置の推論部による処理の具体例を示す第１の図である。図７に示すように、推論部５１１は、マスク部７１０、学習済み画像再現部７２０、判定部７３０を有する。

【0051】

マスク部７１０は、ＡＯＩ装置１１０から送信された欠陥候補を含む各領域の画像（第２画像の一例。例えば、画像７４１）を取得し、取得した画像の一部をマスクすることで、マスク画像（第２マスク画像の一例。例えば、マスク画像７４１＿１～７４１＿ｎ）を生成する。また、マスク部７１０は、生成したマスク画像７４１＿１～７４１＿ｎを学習済み画像再現部７２０に入力する。

【0052】

学習済み画像再現部７２０は、学習フェーズにおいて画像再現部４２０に対して学習処理が行われることで生成された学習済みモデルである。学習済み画像再現部７２０は、マスク画像７４１＿１～７４１＿ｎに基づいて、マスク前の画像（第２再現画像の一例。例えば、画像７５１＿１～７５１＿ｎ）を再現する。

【0053】

判定部７３０は、学習済み画像再現部７２０により再現された画像７５１＿１～７５１＿ｎと、マスク部７１０により取得されたマスク前の画像７４１とを比較して、欠陥が含まれるか否かを判定する。

【0054】

具体的には、判定部７３０は、まず、再現された画像７５１＿１とマスク前の画像７４１の各画素の画素値の平均２乗誤差（ＭＳＥ：Mean Square Error）を算出する。続いて、判定部７３０は、再現された画像７５１＿２とマスク前の画像７４１の各画素の画素値の平均２乗誤差（ＭＳＥ）を算出する。以下、同様に、再現された画像７５１＿３とマスク前の画像７４１の各画素の画素値の平均２乗誤差（ＭＳＥ）～再現された画像７５１＿ｎとマスク前の画像７４１の各画素の画素値の平均２乗誤差（ＭＳＥ）を算出する。

【0055】

続いて、判定部７３０は、算出した各ＭＳＥがいずれも、所定の閾値（Ｔｈ）以下であるか否かを判定する。算出した各ＭＳＥがいずれも、所定の閾値以下であると判定した場合、画像７４１には欠陥が含まれないと判定する（「判定結果：ＯＫ」）。一方、算出した各ＭＳＥのうち、いずれかのＭＳＥが所定の閾値を超えていると判定した場合、画像７４１には欠陥が含まれると判定する（「判定結果：ＮＧ」）。

【0056】

このように、推論部５１１では、再現された画像と、マスク前の画像とを比較して、欠陥が含まれるか否かを判定する。これにより、例えば、マスク前の画像と基準画像とを比較して欠陥が含まれるか否かを判定する場合と比べて、良品の範囲内での製造ばらつき等に対応した判定結果を出力することが可能となる。

【0057】

つまり、検査システム５００によれば、欠陥の見逃し防止を実現するように検出された欠陥候補を含む各領域の画像に対して、「目視検査結果：ＯＫ」となるであろう画像（「判定結果：ＯＫ」の画像）を、目視検査の割り当てから適切に除外することができる。この結果、検査システム５００によれば、目視検査に割り当てる画像の数を減らすことが可能となり、検査員の作業負荷を低減させることができる。

【0058】

＜学習処理の流れ＞
次に、検査システム１００における学習処理の流れについて説明する。図８は、検査システムにおける学習処理の流れを示す第１のフローチャートである。

【0059】

ステップＳ８０１において、学習装置１２０の学習用データセット生成部１２１は、ＡＯＩ装置１１０より、欠陥候補を含む各領域の画像を取得する。

【0060】

ステップＳ８０２において、学習装置１２０の学習用データセット生成部１２１は、取得した各領域の画像から、「目視検査結果：ＯＫ」の画像を抽出し、学習用データセットを生成する。

【0061】

ステップＳ８０３において、学習装置１２０の学習部１２２は、学習用データセットに含まれる各領域の画像の一部をマスクすることでマスク画像を生成し、生成したマスク画像から、マスク前の画像が再現されるように、画像再現部に対して学習処理を行う。

【0062】

ステップＳ８０４において、学習装置１２０の学習部１２２は、学習処理を終了するか否かを判定する。ステップＳ８０４において、学習処理を継続すると判定した場合には（ステップＳ８０４においてＮｏの場合には）、ステップＳ８０１に戻る。

【0063】

一方、ステップＳ８０４において、学習処理を終了すると判定した場合には（ステップＳ８０４においてＹｅｓの場合には）、ステップＳ８０５に進む。

【0064】

ステップＳ８０５において、学習装置１２０の学習部１２２は、学習済み画像再現部を出力して、学習処理を終了する。

【0065】

＜検査処理の流れ＞
次に、検査システム５００における検査処理の流れについて説明する。図９は、検査システムにおける検査処理の流れを示す第１のフローチャートである。

【0066】

ステップＳ９０１において、推論装置５１０の推論部５１１は、ＡＯＩ装置１１０より、欠陥候補を含む各領域の画像を取得する。

【0067】

ステップＳ９０２において、推論装置５１０の推論部５１１は、取得した各領域の画像の一部をマスクすることでマスク画像を生成し、生成したマスク画像を、学習済み画像再現部に入力することで、マスク前の画像を再現する。

【0068】

ステップＳ９０３において、推論装置５１０の推論部５１１は、再現した画像と、マスク前の画像とを比較し、ＭＳＥを算出することで、マスク前の画像に欠陥が含まれるか否かを判定する。

【0069】

具体的には、推論装置５１０の推論部５１１では、例えば、取得した画像を縦方向に３分割、横方向に３分割の計９分割にする。続いて、推論装置５１０の推論部５１１では、いずれかの１つの分割領域をマスクすることで生成したマスク画像についてＭＳＥを算出する処理を、マスクする分割領域を順次変えながら９回行う。そして、いずれか１つのマスク画像についてＭＳＥが閾値を超えた場合、推論装置５１０の推論部５１１では、当該取得した画像には、欠陥が含まれると判定する（「判定結果：ＮＧ」）。

【0070】

ステップＳ９０４において、推論装置５１０の出力部５１２は、判定結果を報知する。これにより、自動外観検査が行われることでＡＯＩ装置１１０にて検出された欠陥候補を含む各領域の画像が、欠陥が含まれないと判定された画像（「判定結果：ＯＫ」の画像）と、欠陥が含まれると判定された画像（「判定結果：ＮＧ」の画像）とに分類される。この結果、欠陥が含まれると判定された画像（「判定結果：ＮＧ」の画像）のみを目視検査に割り当てることが可能となる。

【0071】

ステップＳ９０５において、推論装置５１０の推論部５１１は、検査処理を終了するか否かを判定する。ステップＳ９０５において、検査処理を継続すると判定した場合には（ステップＳ９０５においてＮｏの場合には）、ステップＳ９０１に戻る。

【0072】

一方、ステップＳ９０５において、検査処理を終了すると判定した場合には（ステップＳ９０５においてＹｅｓの場合には）、検査処理を終了する。

【0073】

＜まとめ＞
以上の説明から明らかなように、第１の実施形態に係る検査システムは、
・プリント基板を撮影した画像のうち、欠陥が含まれていないと判断された画像の一部をマスクすることでマスク画像を生成する。また、生成したマスク画像から、マスク前の画像が再現されるように、画像再現部に対して学習処理を行う。
・新たなプリント基板を撮影した画像の一部をマスクすることでマスク画像を生成する。また、生成したマスク画像を学習済み画像再現部に入力することでマスク前の画像を再現し、再現した画像と、マスク前の画像とを比較することで、マスク前の画像に欠陥が含まれるか否かを判定する。

【0074】

このように、再現した画像とマスク前の画像とを比較して欠陥が含まれるか否かを判定することで、良品の範囲内での製造ばらつき等に対応した判定結果を出力することが可能となる。

【0075】

つまり、第１の実施形態によれば、欠陥の見逃し防止を実現するように検出された欠陥候補を含む各領域の画像に対して、「目視検査結果：ＯＫ」となるであろう画像（「判定結果：ＯＫ」の画像）を、目視検査の割り当てから適切に除外することができる。この結果、第１の実施形態によれば、目視検査に割り当てる画像の数を減らすことが可能となり、検査員の作業負荷を低減させることができる。

【0076】

［第２の実施形態］
上記第１の実施形態では、各領域の画像の一部をマスクすることで生成したマスク画像を、画像再現部に入力するものとして説明した。これに対して、第２の実施形態では、各領域の画像の一部をマスクすることで生成したマスク画像に、ＣＡＤ（Computer-aided design）データを重畳したうえで、画像再現部に入力する場合について説明する。以下、第２の実施形態について、上記第１の実施形態との相違点を中心に説明する。

【0077】

＜学習部による処理の具体例＞
はじめに、第２の実施形態に係る学習装置１２０の各部のうち、学習部１２２による処理の具体例について説明する。図１０は、学習装置の学習部による処理の具体例を示す第２の図である。

【0078】

図１０に示すように、第２の実施形態において、学習部１２２が処理を行うにあたり、学習用データセット格納部１２３には、学習用データセット１０１０が格納されているものとする。

【0079】

学習用データセット１０１０には、情報の項目として、学習用データセット３１０の情報の項目に加えて、"ＣＡＤデータ"が含まれる。"ＣＡＤデータ"には、"画像"に格納された各領域の画像に対応する領域のＣＡＤデータが格納される。図１０の例は、画像１０１２に対応する領域のＣＡＤデータ１０１１が格納されている様子を示している。

【0080】

また、図１０に示すように、学習部１２２は、マスク部４１０、重畳部１０２０、画像再現部１０３０、比較／変更部１０４０を有する。

【0081】

マスク部４１０は、図４で説明したマスク部４１０と同様であり、図１０の例は、学習用データセット１０１０の"画像"に格納された画像１０１２を読み出し、一部をマスクすることで、マスク画像１０３１を生成した様子を示している。

【0082】

重畳部１０２０は、マスク部４１０により生成されたマスク画像のうち、マスクされた領域に、ＣＡＤデータの対応する領域を重畳し、重畳画像を生成する。図１１の例は、マスク画像１１４１のうち、マスクされた領域に、ＣＡＤデータ１０１１の対応する領域を重畳し、重畳画像１０３２を生成した様子を示している。

【0083】

画像再現部１０３０は、重畳部１０２０にて生成された重畳画像に基づいて、マスク前の画像を再現し、比較／変更部１０４０に出力する。図１０の例は、重畳部１０２０にて生成された重畳画像１０３２に基づいてマスク前の画像１０３３を再現し、比較／変更部１０４０に出力した様子を示している。

【0084】

比較／変更部１０４０は、画像再現部１０３０により再現された画像１０３３と、マスク部４１０によって読み出されたマスク前の画像１０１２とを比較し、両者が一致するように、画像再現部１０３０のモデルパラメータを更新する。

【0085】

これにより、画像再現部１０３０は、重畳部１０２０により生成された重畳画像１０３２から、マスク前の画像１０１２が再現されるように学習処理が行われることになる。なお、マスク前の画像が再現されるように学習処理が行われた学習済み画像再現部は、後述する検査フェーズにおいて用いられる。

【0086】

＜推論装置の各部の処理の具体例＞
次に、推論装置５１０の推論部５１１による処理の具体例について説明する。図１１は、推論装置の推論部による処理の具体例を示す第２の図である。図１１に示すように、推論部５１１は、マスク部７１０、重畳部１１１０、学習済み画像再現部１１２０、判定部１１３０を有する。

【0087】

マスク部７１０は、図７のマスク部７１０と同様であり、図１１の例は、ＡＯＩ装置１１０から送信された画像１１０１の一部をマスクすることで、マスク画像１１４１を生成した様子を示している。なお、画像１１０１は、回路ショート等の欠陥が含まれている画像である。

【0088】

重畳部１１１０は、マスク部７１０により生成されたマスク画像のうち、マスクされた領域に、ＣＡＤデータの対応する領域を重畳し、重畳画像を生成する。図１１の例は、マスク画像１１４１のうち、マスクされた領域に、ＣＡＤデータ１１０２の対応する領域を重畳し、重畳画像１１４２を生成した様子を示している。

【0089】

学習済み画像再現部１１２０は、学習フェーズにおいて画像再現部１０３０に対して学習処理が行われることで生成された学習済みモデルである。学習済み画像再現部１１２０は、重畳部１１１０より通知された重畳画像に基づいて、マスク前の画像を再現する。図１１の例は、重畳部１１１０より通知された重畳画像１１４２に基づいて、マスク前の画像１１４３が再現された様子を示している。

【0090】

判定部１１３０は、学習済み画像再現部１１２０により再現された画像１１４３と、マスク部７１０により取得されたマスク前の画像１１０１とを比較して、欠陥が含まれるか否かを判定する。図１１の例は、学習済み画像再現部１１２０により再現された画像１１４３と、マスク部７１０により取得されたマスク前の画像１１０１とを比較した結果、ＭＳＥが所定の閾値を超えており、欠陥が含まれると判定された様子（「判定結果：ＮＧ」）を示している。

【0091】

このように、回路ショート等の欠陥が含まれる画像１１０１の場合、上記第１の実施形態で説明したマスク画像だけでは、「目視検査結果：ＯＫ」の画像を再現するように動作させることは困難である。回路ショート等の欠陥の場合、マスクした領域の周辺に、マスクした領域を補完するのに必要な情報が含まれていないからである。

【0092】

これに対して、上記のように、マスクされた領域にＣＡＤデータの対応する領域を重畳することで、「目視検査結果：ＯＫ」の画像を再現するように動作させることが可能になる。この結果、再現された画像とマスク前の画像との誤差が大きくなり、回路ショート等の欠陥が含まれることを精度よく判定することが可能となる。

【0093】

＜学習処理の流れ＞
次に、第２の実施形態に係る検査システム１００における学習処理の流れについて説明する。図１２は、検査システムにおける学習処理の流れを示す第２のフローチャートである。図８に示した第１のフローチャートとの相違点は、ステップＳ１２０１～Ｓ１２０３である。

【0094】

ステップＳ１２０１において、学習装置１２０の学習用データセット生成部１２１は、ステップＳ８０１において取得された各領域の画像に対応するＣＡＤデータを取得する。

【0095】

ステップＳ１２０２において、学習装置１２０の学習用データセット生成部１２１は、取得した各領域の画像から、「目視検査結果：ＯＫ」の画像を抽出する。また、学習装置１２０の学習用データセット生成部１２１は、抽出した各領域の画像を、対応する領域のＣＡＤデータと対応付けて学習用データセットを生成する。

【0096】

ステップＳ１２０３において、学習装置１２０の学習部１２２は、学習用データセットに含まれる各領域の画像の一部をマスクすることでマスク画像を生成したのち、ＣＡＤデータの対応する領域を重畳することで重畳画像を生成する。

【0097】

以下、ステップＳ８０３～Ｓ８０５は、図８を用いて説明済みであるため、ここでは説明を省略する。

【0098】

＜検査処理の流れ＞
次に、第２の実施形態に係る検査システム５００における検査処理の流れについて説明する。図１３は、検査システムにおける検査処理の流れを示す第２のフローチャートである。図９に示した第１のフローチャートとの相違点は、ステップＳ１３０１～Ｓ１３０２である。

【0099】

ステップＳ１３０１において、推論装置５１０の推論部５１１は、ステップＳ９０１において取得された各領域の画像に対応する領域のＣＡＤデータを取得する。

【0100】

ステップＳ１３０２において、推論装置５１０の推論部５１１は、取得した各領域の画像の一部をマスクすることでマスク画像を生成したうえで、ＣＡＤデータの対応する領域を重畳し、重畳画像を生成する。

【0101】

以下、ステップＳ９０２～Ｓ９０５は、図９を用いて説明済みであるため、ここでは説明を省略する。

【0102】

＜まとめ＞
以上の説明から明らかなように、第２の実施形態に係る検査システムは、
・プリント基板を撮影した画像のうち、欠陥が含まれていないと判断された画像の一部をマスクすることでマスク画像を生成したうえで、ＣＡＤデータの対応する領域を重畳し、重畳画像を生成する。また、生成した重畳画像から、マスク前の画像が再現されるように、画像再現部に対して学習処理を行う。
・新たなプリント基板を撮影した画像の一部をマスクすることでマスク画像を生成したうえで、ＣＡＤデータの対応する領域を重畳し、重畳画像を生成する。また、生成した重畳画像を学習済みの画像再現部に入力することでマスク前の画像を再現し、再現した画像と、マスク前の画像とを比較することで、マスク前の画像に欠陥が含まれるか否かを判定する。

【0103】

このように、重畳画像から「目視検査結果：ＯＫ」の画像が再現できるように学習処理を行う構成とすることで、回路ショート等の欠陥が含まれることを精度よく判定することが可能となる。この結果、第２の実施形態によれば、上記第１の実施形態と同様の効果を享受しつつ、誤判定を回避することが可能になる。

【0104】

［第３の実施形態］
上記第１の実施形態では、学習フェーズにおいてマスク部４１０が、１個の画像（例えば、画像４４０）に対して複数個のマスク画像（例えば、マスク画像４４０＿１～４４０＿ｎ）を生成するものとして説明した。しかしながら、１個の画像から生成するマスク画像は複数個に限定されず、例えば、１個の画像から１個のマスク画像のみを生成するように構成してもよい。

【0105】

また、上記第１の実施形態では、学習部１２２による学習処理の具体的な回数について言及しなかったが、例えば、１個の画像から１個のマスク画像を生成する場合にあっては、
・学習用データセット３１０として、１００００個の画像を用意し、
・その中の２０個の画像を選択して、それぞれの画像に対して、ランダムな位置及びランダムなサイズで、１箇所ずつマスクし、
・当該２０個のマスク画像を用いて、画像再現部４２０のモデルパラメータを更新する処理を、５００回（＝１００００個／２０個）行い、
・これらの処理を１セットとして、誤差が収束するまで１００００セット程度繰り返す。

【0106】

これにより、推論部５１１では、精度の高い判定結果を出力することができる。

【0107】

上記第２の実施形態では、マスク画像にＣＡＤデータを重畳するものとして説明したが、マスク画像に重畳するデータは、ＣＡＤデータに限定されない。例えば、検査フェーズにおいては、マスク画像に、「目視検査結果：ＯＫ」の画像の対応する領域を重畳するように構成してもよい。

【0108】

また、上記第１及び第２の実施形態では、検査対象物がプリント基板である場合について説明したが、検査対象物はプリント基板に限定されない。

【0109】

また、上記第１及び第２の実施形態では、判定結果に基づいて、目視検査に割り当てる画像を決定するものとして説明した。しかしながら、判定結果の利用方法はこれに限定されず、例えば、判定結果を検査員１１１に表示し、目視検査を支援するように構成してもよい。

【0110】

また、上記第１及び第２の実施形態では、学習装置１２０と推論装置５１０とを別体として構成したが、学習装置１２０と推論装置５１０とは一体として構成してもよい。

【0111】

なお、上記実施形態に挙げた構成等に、その他の要素との組み合わせ等、ここで示した構成に本発明が限定されるものではない。これらの点に関しては、本発明の趣旨を逸脱しない範囲で変更することが可能であり、その応用形態に応じて適切に定めることができる。

【符号の説明】

【0112】

１００ ：検査システム
１１０ ：ＡＯＩ装置
１２０ ：学習装置
１２１ ：学習用データセット生成部
１２２ ：学習部
３１０ ：学習用データセット
４１０ ：マスク部
４２０ ：画像再現部
５００ ：検査システム
５１０ ：推論装置
５１１ ：推論部
５１２ ：出力部
７１０ ：マスク部
７２０ ：学習済み画像再現部
７３０ ：判定部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】