特開 2024-81980 外観検査用画像変換装置および外観検査用画像変換方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024081980

(43)【公開日】2024-06-19

(54)【発明の名称】外観検査用画像変換装置および外観検査用画像変換方法

(51)【国際特許分類】

   G01N 21/88 20060101AFI20240612BHJP

【ＦＩ】

G01N21/88 J

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022195626

(22)【出願日】2022-12-07

(71)【出願人】

【識別番号】595039014

【氏名又は名称】株式会社サキコーポレーション

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】篠田 浩司

(72)【発明者】

【氏名】山本 洋介

(72)【発明者】

【氏名】伊藤 聡美

(72)【発明者】

【氏名】大沢 雅之

(72)【発明者】

【氏名】平泉 啓

【テーマコード（参考）】

2G051

【Ｆターム（参考）】

2G051AA61

2G051AB14

2G051BA01

2G051BB03

2G051CA03

2G051CA04

2G051EB05

(57)【要約】      （修正有）

【課題】ある外観検査装置で撮像した被検査体の画像を、別の外観検査装置でも外観検査用画像として使えるようにする。
【解決手段】外観検査の対象となる被検査体を垂直方向から撮像する主撮像部と、主撮像部と被検査体との間に設置された複数の光源と、を備えた２つの外観検査装置で撮像された画像を変換する外観検査用画像変換装置は、第１の外観検査装置で撮像された被検査体の第１の画像群と、第１の外観検査装置と異なる構成の主撮像部および光源を備えた第２の外観検査装置で撮像された同じ被検査体の第２の画像群の、第１の画像群内の画像および第２の画像群内の対応する画像のペアを学習用データセットとして機械学習を行い、第１の画像群内の画像を第２の画像群内の対応する画像に変換する画像変換モデルを作成し、第１の外観検査装置で撮像した画像から第２の外観検査装置で使用するための変換画像を作成する。
【選択図】図１

【特許請求の範囲】

【請求項1】

外観検査の対象となる被検査体を垂直方向から撮像する主撮像部と、前記主撮像部と前記被検査体との間に設置された複数の光源と、を備えた２つの外観検査装置で撮像された画像を変換する外観検査用画像変換装置であって、
主撮像部および光源を備えた第１の外観検査装置で撮像された被検査体の第１の画像群と、前記第１の外観検査装置と異なる構成の主撮像部および光源を備えた第２の外観検査装置で撮像された同じ被検査体の第２の画像群と、を保存する画像保存部と、
前記第１の画像群内の画像および前記第２の画像群内の対応する画像のペアを学習用データセットとして作成する学習用データセット作成部と、
前記学習用データセットを用いて機械学習を行い、前記第１の画像群内の画像を前記第２の画像群内の対応する画像に変換する画像変換モデルを作成する画像変換モデル学習部と、
作成された画像変換モデルを用いて、前記第１の外観検査装置で撮像した画像から前記第２の外観検査装置で使用するための変換画像を作成する画像変換部と、を含む外観検査用画像変換装置。

【請求項2】

前記画像保存部に保存された前記第１および前記第２の画像群内に含まれる対応する画像同士の向きおよび大きさが一致するように、前記第１または前記第２の画像群内の画像を変形処理する変形処理部をさらに含むことを特徴とする請求項１に記載の外観検査用画像変換装置。

【請求項3】

前記変換画像は、前記第２の外観検査装置の検査データ作成時の入力データまたは検証データとして使用されることを特徴とする請求項１または２に記載の外観検査用画像変換装置。

【請求項4】

前記第１の外観検査装置の光源および前記第２の外観検査装置の光源は、それぞれ、リング型発光領域、ドーム型発光領域、バー型発光領域、点型発光領域または面型発光領域のいずれかを有することを特徴とする請求項１または２に記載の外観検査用画像変換装置。

【請求項5】

前記第１の外観検査装置の光源および前記第２の外観検査装置の光源は、任意の波長を有することを特徴とする請求項１または２に記載の外観検査用画像変換装置。

【請求項6】

前記第１の画像群の画像と前記第２の画像群の対応する画像との差分および
前記変換画像と前記第２の画像群の対応する画像との差分を比較する画像比較部を含むことを特徴とする請求項１または２に記載の外観検査用画像変換装置。

【請求項7】

前記画像比較部は、同一座標のピクセルごとの輝度値の違いを用いて、画像の違いを定量化することを特徴とする請求項６に記載の外観検査用画像変換装置。

【請求項8】

前記第２の外観検査装置は、被検査体の画像を学習データとして機械学習を行うことにより生成した良否判定モデルを用いて外観検査を行い、
前記良否判定モデルは、前記第２の画像群のみを用いて、前記変換画像のみを用いて、または前記第２の画像群と前記変換画像との組み合わせを用いて学習し、
前記第２の画像群に対して行った外観検査の判定結果または当該外観検査に基づくヒートマップと、前記変換画像に対して行った外観検査の判定結果または当該外観検査に基づくヒートマップと、を表示する検査結果表示部をさらに含むことを特徴とする請求項１または２に記載の外観検査用画像変換装置。

【請求項9】

前記第２の外観検査装置は、被検査体の画像を学習データとして機械学習を行うことにより生成した良否判定モデルを用いて外観検査を行い、
前記変換画像を、前記第２の外観検査装置の外観検査のための良否判定モデルの生成に使われる機械学習用データセットと、前記第２の外観検査装置の性能評価に使われる性能評価用データセットと、に振り分けるデータ振り分け部と、
前記性能評価用データセットを用いて行った性能評価結果と、前記第２の外観検査装置が良否判定モデルを用いて行った検査結果とを比較する検査性能検証部と、を含むことを特徴とする請求項１または２に記載の外観検査用画像変換装置。

【請求項10】

外観検査の対象となる被検査体を垂直方向から撮像する主撮像部と、前記主撮像部と前記被検査体との間に設置された複数の光源と、を備えた２つの外観検査装置で撮像された画像を変換する外観検査用画像変換方法であって、
主撮像部および光源を備えた第１の外観検査装置で撮像された被検査体の第１の画像群と、前記第１の外観検査装置と異なる構成の主撮像部および光源を備えた第２の外観検査装置で撮像された同じ被検査体の第２の画像群と、を保存する画像保存ステップと、
前記第１の画像群内の画像および前記第２の画像群内の対応する画像のペアを学習用データセットとして作成する学習用データセット作成ステップと、
前記学習用データセットを用いて機械学習を行い、前記第１の画像群内の画像を前記第２の画像群内の対応する画像に変換する画像変換モデルを作成する画像変換モデル学習ステップと、
作成された画像変換モデルを用いて、前記第１の外観検査装置で撮像した画像から前記第２の外観検査装置で使用するための変換画像を作成する画像変換ステップと、を含む外観検査用画像変換方法。

【請求項11】

前記画像保存ステップで保存された前記第１および前記第２の画像群内に含まれる対応する画像同士の向きおよび大きさが一致するように、前記第１または前記第２の画像群内の画像を変形処理する変形処理ステップをさらに含むことを特徴とする請求項１０に記載の外観検査用画像変換方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、外観検査用画像変換装置および外観検査用画像変換方法に関する。

【背景技術】

【0002】

外観検査装置は、電子部品や電子回路基板などの被検査体を撮像した画像から、当該被検査体が良品か不良品かを判断する。特に近年は、被検査体の画像を学習データとして機械学習を行うことにより生成した良否判定モデルを用いて外観検査を実行する外観検査技術が開発されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０２２－４６８９５号公報

【非特許文献】

【0004】

【非特許文献1】P.F. Alcantarilla, J.Nuevo and A.Bartoli,“Fast Explicit Diffusion for Accelerated Features in Nonlinear Scale Spaces”, In Proc. BMVC2013, pp.13.1-13.11 (2013)

【発明の概要】

【発明が解決しようとする課題】

【0005】

外観検査装置が被検査体の良否を判定するためには検査プログラムが適用される。この検査プログラムは外観検査装置による撮像画像に基づいて生成される。従って、良品および不良品の画像は多い方が検査プログラムの精度や性能に貢献する。一方、ここに複数の異なる構成の概観検査装置があったとすると、ある外観検査装置で撮像した画像と、別の外観検査装置で撮像した画像とでは被写体に投射される光源の角度や光量、色が異なるため、色合いやテクスチャが異なる。また、カメラやレンズの構成も異なるため、解像度が異なる。こうしたことから、ある外観検査装置で撮像した画像は、そのままでは別の外観検査装置に使うことはできない。

【0006】

特許文献１には、旧装置で使われていたデータを新装置でも使えるように、部品実装動作制御パラメータを変換する技術が開示されている。しかしこの技術は、部品実装装置において装置ごとに調整しなければならない生産設備情報を更新するためのものである。特許文献１は画像の変換についても言及しているが、それは生産設備情報の一部に過ぎず、被検査体の画像を異なる外観検査装置間で使えるようにすることは対象としていない。

【0007】

本発明はこうした状況に鑑みてなされたものであり、その目的の１つは、ある外観検査装置で撮像した被検査体の画像を、別の外観検査装置でも外観検査用画像として使えるようにすることにある。

【課題を解決するための手段】

【0008】

上記課題を解決するために、本発明のある態様の外観検査用画像変換装置は、外観検査の対象となる被検査体を垂直方向から撮像する主撮像部と、主撮像部と被検査体との間に設置された複数の光源と、を備えた２つの外観検査装置で撮像された画像を変換する外観検査用画像変換装置であって、主撮像部および光源を備えた第１の外観検査装置で撮像された被検査体の第１の画像群と、第１の外観検査装置と異なる構成の主撮像部および光源を備えた第２の外観検査装置で撮像された同じ被検査体の第２の画像群と、を保存する画像保存部と、第１の画像群内の画像および第２の画像群内の対応する画像のペアを学習用データセットとして作成する学習用データセット作成部と、学習用データセットを用いて機械学習を行い、第１の画像群内の画像を第２の画像群内の対応する画像に変換する画像変換モデルを作成する画像変換モデル学習部と、作成された画像変換モデルを用いて、第１の外観検査装置で撮像した画像から第２の外観検査装置で使用するための変換画像を作成する画像変換部と、を含む。

【0009】

ある実施の形態では、外観検査用画像変換装置は、画像保存部に保存された第１および第２の画像群内に含まれる対応する画像同士の向きおよび大きさが一致するように、第１または第２の画像群内の画像を変形処理する変形処理部をさらに含んでもよい。

【0010】

ある実施の形態では、変換画像は、第２の外観検査装置の検査データ作成時の入力データまたは検証データとして使用されてもよい。

【0011】

ある実施の形態では、第１の外観検査装置の光源および第２の外観検査装置の光源は、それぞれ、リング型発光領域、ドーム型発光領域、バー型発光領域、点型発光領域または面型発光領域のいずれかを有してもよい。

【0012】

ある実施の形態では、第１の外観検査装置の光源および第２の外観検査装置の光源は、任意の波長を有してもよい。

【0013】

ある実施の形態では、外観検査用画像変換装置は、第１の画像群の画像と第２の画像群の対応する画像との差分および変換画像と第２の画像群の対応する画像との差分を比較する画像比較部を備えてもよい。

【0014】

ある実施の形態では、画像比較部は、同一座標のピクセルごとの輝度値の違いを用いて、画像の違いを定量化してもよい。

【0015】

ある実施の形態では、第２の外観検査装置は、被検査体の画像を学習データとして機械学習を行うことにより生成した良否判定モデルを用いて外観検査を行い、良否判定モデルは、第２の画像群のみを用いて、変換画像のみを用いて、または第２の画像群と変換画像との組み合わせを用いて学習し、第２の画像群に対して行った外観検査の判定結果または当該外観検査に基づくヒートマップと、変換画像に対して行った外観検査の判定結果または当該外観検査に基づくヒートマップと、を表示する検査結果表示部をさらに含んでもよい。

【0016】

ある実施の形態では、第２の外観検査装置は、被検査体の画像を学習データとして機械学習を行うことにより生成した良否判定モデルを用いて外観検査を行い、変換画像を、第２の外観検査装置の外観検査のための良否判定モデルの生成に使われる機械学習用データセットと、第２の外観検査装置の性能評価に使われる性能評価用データセットと、に振り分けるデータ振り分け部と、性能評価用データセットを用いて行った性能評価結果と、第２の外観検査装置が良否判定モデルを用いて行った検査結果とを比較する検査性能検証部と、を含んでもよい。

【0017】

本発明の別の態様は、外観検査用画像変換方法である。この方法は、外観検査の対象となる被検査体を垂直方向から撮像する主撮像部と、主撮像部と被検査体との間に設置された複数の光源と、を備えた２つの外観検査装置で撮像された画像を変換する外観検査用画像変換方法であって、主撮像部および光源を備えた第１の外観検査装置で撮像された被検査体の第１の画像群と、第１の外観検査装置と異なる構成の主撮像部および光源を備えた第２の外観検査装置で撮像された同じ被検査体の第２の画像群と、を保存する画像保存ステップと、第１の画像群内の画像および第２の画像群内の対応する画像のペアを学習用データセットとして作成する学習用データセット作成ステップと、学習用データセットを用いて機械学習を行い、第１の画像群内の画像を第２の画像群内の対応する画像に変換する画像変換モデルを作成する画像変換モデル学習ステップと、作成された画像変換モデルを用いて、第１の外観検査装置で撮像した画像から第２の外観検査装置で使用するための変換画像を作成する画像変換ステップと、を含む。

【0018】

ある実施の形態では、外観検査用画像変換方法は、画像保存ステップで保存された第１および第２の画像群内に含まれる対応する画像同士の向きおよび大きさが一致するように、第１または第２の画像群内の画像を変形処理する変形処理ステップをさらに含んでもよい。

【0019】

なお、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体等の間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0020】

本発明によれば、ある外観検査装置で撮像した被検査体の画像を、別の外観検査装置でも外観検査用画像として使うことができる。

【図面の簡単な説明】

【0021】

【図1】第１の実施の形態に係る外観検査用画像変換装置の機能ブロック図である。

【図2】第１の外観検査装置の模式図である。

【図3】第２の外観検査装置の模式図である。

【図4】第１の外観検査装置で撮影した第１の画像群の写真である。

【図5】第２の外観検査装置で撮影した第１の画像群の写真である。

【図6】第１の外観検査用画像変換装置を用いて、図４の画像を変換した画像である。

【図7】第２の実施の形態に係る外観検査用画像変換装置の機能ブロック図である。

【図8】変形処理部によりキーポイントマッチングを実行する様子を示す図である。

【図9】第３の実施の形態に係る外観検査用画像変換装置の機能ブロック図である。

【図10】第４の実施の形態に係る外観検査用画像変換装置の機能ブロック図である。

【図11】不良品の画像に対し、第２の画像群と変換画像を用いて行った外観検査試験の判定結果とヒートマップを示す図である。

【図12】良品の画像に対し、第２の画像群と変換画像を用いて行った外観検査試験の判定結果とヒートマップを示す図である。

【図13】第５の実施の形態に係る外観検査用画像変換装置の機能ブロック図である。

【図14】第６の実施の形態に係る外観検査用画像変換方法の処理を示すフローチャートである。

【図15】第７の実施の形態に係る外観検査用画像変換方法の処理を示すフローチャートである。

【発明を実施するための形態】

【0022】

［第１の実施の形態］
図１は、第１の実施の形態に係る外観検査用画像変換装置１の機能ブロック図である。外観検査用画像変換装置１は、外観検査の対象となる被検査体を垂直方向から撮像する主撮像部と、主撮像部と被検査体との間に設置された複数の光源と、を備えた２つの外観検査装置で撮像された画像を変換することを目的とした装置である。外観検査用画像変換装置１は、画像保存部１０と、学習用データセット作成部２０と、画像変換モデル学習部３０と、画像変換部４０と、を含む。

【0023】

画像保存部１０は、第１の画像群と、第２の画像群と、を保存する。ここで第１の画像群は、主撮像部１１１および光源１１２を備えた第１の外観検査装置１１０で撮像された被検査体９の画像群である。第２の画像群は、第１の外観検査装置１１０と異なる構成の主撮像部１２１および光源１２２を備えた第２の外観検査装置１２０で撮像された同じ被検査体９の画像群である。

【0024】

学習用データセット作成部２０は、第１の画像群内の画像および第２の画像群内の対応する画像のペアを学習用データセットとして作成する。

【0025】

画像変換モデル学習部３０は、学習用データセット作成部２０が作成した学習用データセットを用いて機械学習を行い、第１の画像群内の画像を第２の画像群内の対応する画像に変換する画像変換モデルを作成する。

【0026】

画像変換部４０は、画像変換モデル学習部３０で作成された画像変換モデルを用いて、第１の外観検査装置１１０で撮像した画像から第２の外観検査装置１２０で使用するための変換画像を作成する。

【0027】

図２は、第１の外観検査装置１１０の模式図である。図３は、第２の外観検査装置１２０の模式図である。第１の外観検査装置１１０は、外観検査の対象となる被検査体９を垂直方向から撮像する主撮像部１１１と、主撮像部１１１と被検査体９との間に設置された複数の光源１１２と、を含む。第２の外観検査装置１２０は、外観検査の対象となる被検査体９を垂直方向から撮像する主撮像部１２１と、主撮像部１２１と被検査体９との間に設置された複数の光源１２２と、を含む。主撮像部１１１および光源１１２と、主撮像部１２１および光源１２２とは、それぞれ異なる構成を取る。図２および図３では参考のため、光源から被検査体に照射される光束、および被検査体から主撮像部に入射する光束を破線の矢印で示している。

【0028】

第１の外観検査装置１１０および第２の外観検査装置１２０は、被検査体９を撮像して得られる被検査体画像を利用して被検査体９を検査する。被検査体９は例えば、多数の電子部品が実装されている電子回路基板である。第１の外観検査装置１１０および第２の外観検査装置１２０は、電子部品の実装状態の良否を被検査体画像に基づいて判定する。この検査は通常、各部品に対し複数の検査項目について行われる。検査項目とはすなわち良否判定を要する項目である。検査項目には例えば、部品そのものの欠品や位置ずれ、極性反転などの部品配置についての検査項目と、ハンダ付け状態や部品のリードピンの浮きといった部品－基板間の接続部についての検査項目などが含まれる。

【0029】

主撮像部１１１および主撮像部１２１は、対象物の２次元画像を生成する撮像素子と、その撮像素子に画像を結像させるための光学系（例えばレンズ）と、を含む。主撮像部１１１および主撮像部１２１は、例えばＣＣＤカメラである。

【0030】

光源１１２および光源１２２は、それぞれ、主撮像部１１１および主撮像部１２１による撮像のための照明光を被検査体９の表面に照射するよう構成されている。光源１１２および光源１２２は、主撮像部１１１および主撮像部１２１の撮像素子により検出可能である波長域から選択された波長または波長域の光を発する発光源を含む。

【0031】

一例として光源１１２および光源１２２は、それぞれ、リング型発光領域、ドーム型発光領域、バー型発光領域、点型発光領域または面型発光領域のいずれかを有する光源であってもよい。

【0032】

第１の外観検査装置１１０の光源１１２および第２の外観検査装置１２０の光源１２２は、任意の波長を有してもよい。例えば、光源１１２および光源１２２が放射する照明光は可視光には限られず、紫外光やＸ線等を用いてもよい。発光源が複数設けられている場合には、各発光源は異なる波長の光（例えば、赤色、青色、及び緑色）を異なる投光角度で被検査体９の表面に照射投光するよう構成されてもよい。

【0033】

以下、図１から図３を参照して外観検査用画像変換装置１の動作を説明する。先ず画像保存部１０に、第１の外観検査装置１１０および第２の外観検査装置１２０によってそれぞれ撮像された第１の画像群および第２の画像群が入力する。第１の外観検査装置１１０と第２の外観検査装置１２０とでは主撮像部および光源の構成が異なるため、それぞれの外観検査装置で撮像された画像は、同じ被検査体の画像であっても色合いやテクスチャが異なる。こうした画像の違いは、特に光源の違いによる照明条件の違いで顕著となる。このように画像の色合いやテクスチャが異なるので、第１の外観検査装置１１０で撮像した画像は第２の外観検査装置１２０では使うことができず、逆に第２の外観検査装置１２０で撮像した画像は第１の外観検査装置１１０では使うことができない。画像保存部１０は、後に説明する機械学習を用いて２つの外観検査装置で撮像されたこれらの画像を変換するために、第１の画像群と第２の画像群とを保存する。

【0034】

学習用データセット作成部２０は、画像保存部１０が保存した第１の画像群内の画像および第２の画像群内の対応する画像のペアを、学習用のデータセットとして作成する。学習用データセット作成部２０は、こうした画像のペア（学習用データセット）を、例えば１０００枚といった単位で作成してもよい。

【0035】

画像変換モデル学習部３０は、学習用データセット作成部２０が作成した学習用データセットを用いて機械学習を行い、第１の画像群内の画像を第２の画像群内の対応する画像に変換する画像変換モデルを作成する。すなわち画像変換モデル学習部３０は、同じ被検査体９に対して第１の外観検査装置１１０が撮像した画像と、第２の外観検査装置１２０が撮像した画像と、を学習用データとして機械学習を行い、第１の外観検査装置１１０が撮像した被検査体９の画像が入力されると、当該被検査体９をあたかも第２の外観検査装置１２０で撮像したかのような画像に変換して出力する画像変換モデルを作成する。

【0036】

機械学習は、既知のＡＩを利用して行ってもよい。こうしたＡＩの具体的な手法は特に限定されないが、例えば畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）などのニューラルネットワークを用いてもよく、この場合入力層を共通にした上で計算モデルごとに異なるニューラルネットワークを混在させてもよい。具体的にはＵ－ｎｅｔやＰｉｘ２Ｐｉｘなどの、画像変換ができる機械学習モデルを用いてもよい。

【0037】

画像変換部４０は、画像変換モデル学習部３０が作成した画像変換モデルを用いて、第１の外観検査装置１１０で撮像した画像から、第２の外観検査装置１２０で使用するための変換画像を作成する。すなわち画像変換部４０は、上記の画像変換モデルを用いて、第１の外観検査装置１１０が撮像した被検査体９の画像から、当該被検査体９をあたかも第２の外観検査装置１２０で撮像したかのような画像に変換する。

【0038】

画像変換部４０が変換した変換画像は、第２の外観検査装置１２０の検査データ作成時の入力データまたは検証データとして使用されてもよい。このように外観検査用画像変換装置１により作成された第１の画像群から第２の画像群への変換画像は、第２の外観検査装置１２０の外観検査における入力データ（訓練データ）と検証データの両方に使うことができる。

【0039】

このように本実施の形態によれば、第１の外観検査装置１１０で撮像した被検査体９の画像を、あたかも第２の外観検査装置１２０で撮像したかのような画像に変換できるので、第１の外観検査装置１１０で撮りためた被検査体９の画像を第２の外観検査装置１２０でも使うことができる。

【0040】

図４は、第１の外観検査装置１１０で撮影した第１の画像群の写真である。図５は、第２の外観検査装置１２０で撮影した第１の画像群の写真である。図６は、外観検査用画像変換装置１を用いて、図４の画像を変換した画像である。図４と図５とでは、同じ被検査体の画像であっても、色合いやテクスチャが大きく異なっている。一方図５と図６とでは、肉眼ではほとんど見分けがつかないほど類似した画像となっている。従って図６の変換画像は、第２の外観検査装置１２０で使えるものと考えられる。

【0041】

なお上記では第１の画像群内の画像を第２の画像群内の対応する画像に変換する例を説明した。しかし上記と同じ手法を用いて、逆に、第２の画像群内の画像を第１の画像群内の対応する画像に変換できることは言うまでもない。

【0042】

［第２の実施の形態］
図７は、第２の実施の形態に係る外観検査用画像変換装置２の機能ブロック図である。外観検査用画像変換装置２は、画像保存部１０と、変形処理部５０と、学習用データセット作成部２０と、画像変換モデル学習部３０と、画像変換部４０と、を含む。すなわち外観検査用画像変換装置２は、図１の外観検査用画像変換装置１に対して、変形処理部５０を追加的に含む。外観検査用画像変換装置２のその他の構成は、外観検査用画像変換装置１の構成と同様である。

【0043】

変形処理部５０は、画像保存部１０が保存した第１および第２の画像群内に含まれる対応する画像同士の向きおよび大きさが一致するように、第１または第２の画像群内の画像を変形処理する。

【0044】

変形処理部５０による変形処理は、第１および第２の画像群内に含まれる対応する画像の両方で局所特徴量を検出することにより実行してもよい。この場合、例えばＡＫＡＺＥ（例えば、非特許文献１参照）を用いて、画像に特徴的な角やエッジなどの点（キーポイント）を検出し、両画像間で対応するキーポイントをマッチングを行ってもよい。このようにして変形処理部５０は、マッチングしたキーポイントが一致するように、第１の外観検査装置１１０の画像に対し、拡大・縮小、回転、平行移動、台形補正等の変形処理をする。

【0045】

図８に、変形処理部５０によりキーポイントマッチングを実行する様子を示す。

【0046】

本実施の形態によれば、学習用データセットを作成する前に、第１および第２の画像群内に含まれる対応する画像同士の向きおよび大きさを一致させるので、より精度の高い学習用データセットを作成できる。

【0047】

［第３の実施の形態］
図９は、第３の実施の形態に係る外観検査用画像変換装置３の機能ブロック図である。外観検査用画像変換装置３は、画像保存部１０と、学習用データセット作成部２０と、画像変換モデル学習部３０と、画像変換部４０と、画像比較部６０と、を含む。すなわち外観検査用画像変換装置３は、図１の外観検査用画像変換装置１に対して、画像比較部６０を追加的に含む。外観検査用画像変換装置３のその他の構成は、外観検査用画像変換装置１の構成と同様である。

【0048】

画像比較部６０は、第１の画像群の画像と第２の画像群の対応する画像との差分および変換画像と第２の画像群の対応する画像との差分を比較する。前述のように、第１の外観検査装置１１０と第２の外観検査装置１２０の主撮像部および光源の違いにより、第１の画像群の画像と第２の画像群の対応する画像との間には大きな差分がある。一方、変換画像は、あたかも第２の外観検査装置１２０で撮像したかのような画像に変換したものなので、変換画像と第２の画像群の対応する画像との差分は小さい。従って、第１の画像群の画像と第２の画像群の対応する画像との差分および変換画像と第２の画像群の対応する画像との差分を比較した結果、差分同士の違いが大きければ大きいほど、変換画像と第２の画像群の対応する画像とが近い、言い換えれば作成した変換画像の品質が高いことが分かる。このように、画像比較部６０により、第１の画像群の画像と第２の画像群の対応する画像との差分および変換画像と第２の画像群の対応する画像との差分を比較することで、作成した変換画像の品質を評価することができる。

【0049】

ある実施の形態では、画像比較部６０は、同一座標のピクセルごとの輝度値の違いを用いて、画像の違いを定量化してもよい。

【0050】

例えば画像Ａと画像Ｂとの間の差分画像平均輝度値は、以下の（１）式で定義することができる。

【数1】

ただし画像Ａおよび画像Ｂは、いずれもＮ個のピクセルから形成されているものとする。ＰＡ_ｉは画像Ａのｉ番目の座標のピクセルの輝度値、ＰＢ_ｉは画像Ｂのｉ番目の座標のピクセルの輝度値を表す。

【0051】

例えば、第１の画像群の画像と第２の画像群の対応する画像との差分画像平均輝度値が２０で、変換画像と第２の画像群の対応する画像との差分画像平均輝度値が１０だったとする。この場合、本実施の形態の機械学習モデルによる画像変換により、差分画像平均輝度の値１０だけ、第１の画像群の画像が第２の画像群の画像に近づいたと考えることができる。

【0052】

本実施の形態によれば、作成した変換画像の品質を定量的に評価することができる。

【0053】

［第４の実施の形態］
図１０は、第４の実施の形態に係る外観検査用画像変換装置４の機能ブロック図である。外観検査用画像変換装置４は、画像保存部１０と、学習用データセット作成部２０と、画像変換モデル学習部３０と、画像変換部４０と、検査結果表示部７０と、を含む。すなわち外観検査用画像変換装置４は、図１の外観検査用画像変換装置１に対して、検査結果表示部７０を追加的に含む。外観検査用画像変換装置４のその他の構成は、外観検査用画像変換装置１の構成と同様である。

【0054】

本実施の形態では、第１の外観検査装置１１０および第２の外観検査装置１２０は、被検査体の画像を学習データとして機械学習を行うことにより生成した良否判定モデルを用いて外観検査を行う。良否判定モデルは、第２の画像群のみを用いて、変換画像のみを用いて、または第２の画像群と変換画像との組み合わせを用いて学習する。検査結果表示部７０は、第２の画像群に対して行った外観検査の判定結果または当該外観検査に基づくヒートマップと、前記変換画像に対して行った外観検査の判定結果または当該外観検査に基づくヒートマップと、を表示する。

【0055】

図１１に、不良品の画像に対し、第２の画像群と変換画像を用いて行った外観検査試験の判定結果とヒートマップを示す。

【0056】

図１２に、良品の画像に対し、第２の画像群と変換画像を用いて行った外観検査試験の判定結果とヒートマップを示す。

【0057】

図１１および１２に示されるように、不良品および良品のいずれにおいても、第２の画像群と変換画像との間で、ヒートマップ、判定結果および異常度についてほぼ同様の結果が得られている。すなわち上の例では、第１の画像群、変換画像、第２の画像群を、外観検査用ＡＩ（良品か不良品かを判定する）に入力し、それぞれのヒートマップ、判定結果および異常度を出力している。このように、変換画像と第２の画像群とで判定結果が同じであることや、ヒートマップの出方が似ていることを確認することによって、変換画像が外観検査用ＡＩの学習でも使用できることが確認できる。

【0058】

ヒートマップの出方がどの程度似ているかを判定するのに、ヒートマップを用いた差分画像平均輝度値で評価してもよい。

【0059】

［第５の実施の形態］
図１３は、第５の実施の形態に係る外観検査用画像変換装置５の機能ブロック図である。外観検査用画像変換装置４は、画像保存部１０と、学習用データセット作成部２０と、画像変換モデル学習部３０と、画像変換部４０と、データ振り分け部８０と、検査性能検証部９０と、を含む。すなわち外観検査用画像変換装置４は、図１の外観検査用画像変換装置１に対して、データ振り分け部８０と、検査性能検証部９０と、を追加的に含む。外観検査用画像変換装置４のその他の構成は、外観検査用画像変換装置１の構成と同様である。

【0060】

本実施の形態では、第２の外観検査装置１２０は、被検査体の画像を学習データとして機械学習を行うことにより生成した良否判定モデルを用いて外観検査を行う。データ振り分け部８０は、変換画像を、第２の外観検査装置１２０の外観検査のための良否判定モデルの生成に使われる機械学習用データセットと、に振り分ける。検査性能検証部９０は、性能評価用データセットを用いて行った性能評価結果と、第２の外観検査装置１２０が良否判定モデルを用いて行った検査結果とを比較する。すなわち本実施の形態では、変換画像の一部は第２の外観検査装置１２０の外観検査の良否判定モデル生成のための機械学習に使われ（学習用データセット）、変換画像の残りは第２の外観検査装置１２０の性能評価に使われる（性能評価用データセット）。

【0061】

例えば第２の外観検査装置１２０を新たに導入する外観検査装置であるとする。この場合、性能評価用データセットは、この新たに導入する外観検査装置の検査用ＡＩの性能検証に使うことができる。性能検証には、例えば良品・不良品の判定結果の正答率や異常度分布のヒストグラムまたはｔ－ＳＮＥマップなどを使ってもよい。あるいは性能評価用データセットは、ロジック検査の性能検証に使うこともできる。この場合性能検証には、例えば良品・不良品の判定結果の正答率などを使ってもよい。

【0062】

本実施の形態によれば、第１の外観検査装置１１０で撮りためた複数の不良品画像を、第２の外観検査装置１２０で撮った画像に変換して第２の外観検査装置１２０の検査ライブラリを検証することができるので、新しく導入する外観検査装置（第２の外観検査装置１２０）の検査の信頼性を向上させることができる。

【0063】

［第６の実施の形態］
図１４は、第６の実施の形態に係る外観検査用画像変換方法の処理を示すフローチャートである。この方法は、外観検査の対象となる被検査体を垂直方向から撮像する主撮像部と、主撮像部と被検査体との間に設置された複数の光源と、を備えた２つの外観検査装置で撮像された画像を変換する外観検査用画像変換方法である。この方法は、主撮影部および光源を備えた第１の外観検査装置で撮影された被検査体の第１の画像群と、第１の外観検査装置と異なる構成の主撮影部および光源を備えた第２の外観検査装置で撮影された同じ被検査体の第２の画像群と、を保存する画像保存ステップＳ１と、第１の画像群内の画像および第２の画像群内の対応する画像のペアを学習用データセットとして作成する学習用データセット作成部ステップＳ２と、学習用データセットを用いて機械学習を行い、第１の画像群内の画像を第２の画像群内の対応する画像に変換する画像変換モデルを作成する画像変換モデル学習ステップＳ３と、作成された画像変換モデルを用いて、第１の外観検査装置で撮像した画像から第２の外観検査装置で使用するための変換画像を作成する画像変換ステップＳ４と、を含む。

【0064】

本実施の形態によれば、ある外観検査装置で撮像した被検査体の画像を、別の外観検査装置でも外観検査用画像として使えるようにする処理をコンピュータ等を用いて実行することができる。

【0065】

［第７の実施の形態］
図１５は、第７の実施の形態に係る外観検査用画像変換方法の処理を示すフローチャートである。この方法は、外観検査の対象となる被検査体を垂直方向から撮像する主撮像部と、主撮像部と被検査体との間に設置された複数の光源と、を備えた２つの外観検査装置で
主撮影部および光源を備えた第１の外観検査装置で撮影された被検査体の第１の画像群と、第１の外観検査装置と異なる構成の主撮影部および光源を備えた第２の外観検査装置で撮影された同じ被検査体の第２の画像群と、を保存する画像保存ステップＳ１と、画像保存ステップで保存された第１および第２の画像群内に含まれる対応する画像同士の向きおよび大きさが一致するように、第１または第２の画像群内の画像を変形処理する変形処理ステップＳ５と、第１の画像群内の画像および第２の画像群内の対応する画像のペアを学習用データセットとして作成する学習用データセット作成部ステップＳ２と、学習用データセットを用いて機械学習を行い、第１の画像群内の画像を第２の画像群内の対応する画像に変換する画像変換モデルを作成する画像変換モデル学習ステップＳ３と、作成された画像変換モデルを用いて、第１の外観検査装置で撮像した画像から第２の外観検査装置で使用するための変換画像を作成する画像変換ステップＳ４と、を含む。すなわちこの方法は、図７の方法に対して、画像保存ステップＳ１の後に変形処理ステップＳ５を追加的に含む。この方法のその他の処理は、図６の方法の処理と同様である。

【0066】

本実施の形態によれば、学習用データセットを作成ステップの前に、第１および第２の画像群内に含まれる対応する画像同士の向きおよび大きさを一致させる変形処理ステップを実行するので、より精度の高い学習用データセットを作成できる。

【0067】

以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本開示の特許請求の範囲内で可能なこと、またそうした変形例および変更も本開示の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。

【0068】

上述した各実施の形態と変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる各実施の形態および変形例それぞれの効果をあわせもつ。

【0069】

実施の形態および変形例を抽象化した技術的思想を理解するにあたり、その技術的思想は実施の形態および変形例の内容に限定的に解釈されるべきではない。前述した実施の形態および変形例は、いずれも具体例を示したものにすぎず、構成要素の変更、追加、削除等の多くの設計変更が可能である。実施の形態では、このような設計変更が可能な内容に関して、「実施の形態」との表記を付して強調している。しかしながら、そのような表記のない内容でも設計変更が許容されることは言うまでもない。

【産業上の利用可能性】

【0070】

本発明の外観検査用画像変換装置および外観検査用画像変換方法は、電子部品や電子回路基板などの外観検査に利用することができる。

【符号の説明】

【0071】

１・・外観検査用画像変換装置、
９・・被検査体、
１０・・画像保存部、
２０・・学習用データセット作成部、
３０・・画像変換モデル学習部、
４０・・画像変換部、
５０・・変形処理部、
６０・・画像比較部、
７０・・検査結果表示部、
８０・・データ振り分け部、
９０・・検査性能検証部、
１１０・・第１の外観検査装置、
１１１・・主撮像部、
１１２・・光源、
１２０・・第１の外観検査装置、
１２１・・主撮像部、
１２２・・光源、
Ｓ１・・画像保存ステップ、
Ｓ２・・学習用データセット作成ステップ、
Ｓ３・・画像変換モデル学習ステップ、
Ｓ４・・画像変換ステップ、
Ｓ５・・変形処理ステップ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】