特開 2024-81979 撮像画像振り分け装置、撮像画像振り分け方法、データセットおよび学習システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024081979

(43)【公開日】2024-06-19

(54)【発明の名称】撮像画像振り分け装置、撮像画像振り分け方法、データセットおよび学習システム

(51)【国際特許分類】

   G06V 10/72 20220101AFI20240612BHJP

   G06T 7/00 20170101ALI20240612BHJP

   G06N 20/00 20190101ALI20240612BHJP

【ＦＩ】

G06V10/72

G06T7/00 610Z

G06N20/00

【審査請求】未請求

【請求項の数】13

【出願形態】ＯＬ

(21)【出願番号】P 2022195625

(22)【出願日】2022-12-07

(71)【出願人】

【識別番号】595039014

【氏名又は名称】株式会社サキコーポレーション

(74)【代理人】

【識別番号】100105924

【弁理士】

【氏名又は名称】森下 賢樹

(74)【代理人】

【識別番号】100134256

【弁理士】

【氏名又は名称】青木 武司

(72)【発明者】

【氏名】篠田 浩司

(72)【発明者】

【氏名】山本 洋介

(72)【発明者】

【氏名】伊藤 聡美

(72)【発明者】

【氏名】大沢 雅之

(72)【発明者】

【氏名】平泉 啓

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA03

5L096GA51

5L096JA03

5L096KA04

(57)【要約】

【課題】外観検査装置の機械学習において、学習用データセットとテスト用データセットとの間で、画像パターンが偏らないように画像を振り分ける。
【解決手段】外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け装置１は、被検査体の撮像画像データを保存する検査用画像保存部１０と、検査用画像保存部に保存された振り分け対象の画像を、機械学習の学習用データセットまたはテスト用データセットのいずれかに振り分ける画像振り分け部２０と、学習用データセットの画像を保存する学習用データセット保存部３０と、テスト用データセットの画像を保存するテスト用データセット保存部４０と、を含む。記画像振り分け部２０は、振り分け対象の画像と、学習用データセット保存部３０に保存された画像およびテスト用データセット保存部４０に保存された画像と、の類似度に応じて、振り分け対象の画像の振り分け方を決定する。
【選択図】図１

【特許請求の範囲】

【請求項1】

外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け装置であって、
被検査体の撮像画像データを保存する検査用画像保存部と、
前記検査用画像保存部に保存された振り分け対象の画像を、機械学習の学習用データセットまたはテスト用データセットのいずれかに振り分ける画像振り分け部と、
学習用データセットの画像を保存する学習用データセット保存部と、
テスト用データセットの画像を保存するテスト用データセット保存部と、を含み、
前記画像振り分け部は、前記振り分け対象の画像と、前記学習用データセット保存部に保存された画像および前記テスト用データセット保存部に保存された画像と、の類似度に応じて、前記振り分け対象の画像の振り分け方を決定することを特徴とする撮像画像振り分け装置。

【請求項2】

前記画像振り分け部は、前記振り分け対象の画像と、前記学習用データセット保存部に保存された画像および前記テスト用データセット保存部に保存された画像と、を比較し、その比較結果から前記類似度を決定することを特徴とする請求項１に記載の撮像画像振り分け装置。

【請求項3】

前記画像振り分け部は、前記振り分け対象の画像と、前記検査用画像保存部に保存された他の画像、前記学習用データセット保存部に保存された画像および前記テスト用データセット保存部に保存された画像と、を比較し、その比較結果から前記類似度を決定することを特徴とする請求項１に記載の撮像画像振り分け装置。

【請求項4】

前記画像振り分け部は、前記検査用画像保存部に保存された画像のうち、前記振り分け対象の画像を前記学習用データセットにも前記テスト用データセットにも振り分けられなかった画像を前記検査用画像保存部から削除することを特徴とする請求項１から３のいずれかに記載の撮像画像振り分け装置。

【請求項5】

前記画像振り分け部は、
前記振り分け対象の画像に類似する画像が、前記学習用データセット保存部にも前記テスト用データセット保存部にも存在しない場合、前記振り分け対象の画像を前記学習用データセットに振り分け、
前記振り分け対象の画像に類似する画像が、前記学習用データセット保存部には存在するが、前記テスト用データセット保存部には存在しない場合、前記振り分け対象の画像を前記テスト用データセットに振り分け、
前記振り分け対象の画像に類似する画像が、前記学習用データセット保存部にも前記テスト用データセット保存部にも存在する場合、前記振り分け対象の画像を前記学習用データセットにも前記テスト用データセットにも振り分けないことを特徴とする請求項１に記載の撮像画像振り分け装置。

【請求項6】

前記画像振り分け部は、
画像同士が類似するかを判定する閾値を設定でき、画像間の類似度が当該閾値以上であれば当該画像同士は類似すると判定され、当該閾値より小さければ当両画像同士は類似しないと判定されるような前記閾値に基づいて画像同士の類否を判定し、
前記振り分け対象の画像が画像枚数が多い画像群の画像である場合は、前記閾値を小さく設定し、
前記振り分け対象の画像が画像枚数が少ない画像群の画像である場合は、前記閾値を大きく設定することを特徴とする請求項５に記載の撮像画像振り分け装置。

【請求項7】

前記撮像画像データは、良品画像データと不良品画像データとを含み、
良品画像用閾値および不良品画像用閾値を決定するための閾値決定部をさらに含み、
前記閾値決定部は、
ユーザにより設定可能な目標良品学習用画像数、目標良品テスト用画像数、目標不良品学習用画像数および目標不良品テスト用画像数を記憶し、
前記検査用画像保存部に保存された良品の撮像画像に対して、閾値を変えながら所定の回数、前記学習用データセット保存部および前記テスト用データセット保存部への振り分けを行い、前記学習用データセットに振り分けられた画像数が目標良品学習用画像数に最も近く、前記テスト用データセットに振り分けられた画像数が前記目標良品テスト用画像数に最も近かったときの閾値を前記良品画像用閾値として決定し、
前記検査用画像保存部に保存された不良品の撮像画像に対して、閾値を変えながら所定の回数、前記学習用データセット保存部および前記テスト用データセットへの振り分けを行い、前記学習用データセットに振り分けられた画像数が目標不良品学習用画像数に最も近く、前記テスト用データセットに振り分けられた画像数が前記目標不良品テスト用画像数に最も近かったときの閾値を前記不良品画像用閾値として決定することを特徴とする請求項６に記載の撮像画像振り分け装置。

【請求項8】

被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置に内蔵されることを特徴とする請求項１から３のいずれかに記載の撮像画像振り分け装置。

【請求項9】

被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置と別体であることを特徴とする請求項１から３のいずれかに記載の撮像画像振り分け装置。

【請求項10】

良品と不良品とを含む外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け方法であって、
被検査体の撮像画像データを保存する検査用画像保存ステップと、
学習用データセットの画像を保存する学習用データセット保存ステップと、
テスト用データセットの画像を保存するテスト用データセット保存ステップと、
を含み、
前記画像振り分けステップは、前記振り分け対象の画像と、前記学習用データセット保存ステップで保存された学習用画像および前記テスト用データセット保存ステップで保存されたテスト用画像と、の類似度に応じて、前記振り分け対象の画像の振り分け方を決定することを特徴とする撮像画像振り分け方法。

【請求項11】

前記振り分けステップは、
前記振り分け対象の画像に類似する画像が、前記学習用データセットにも前記テスト用データセットにも存在しない場合、前記振り分け対象の画像を前記学習用データセットに振り分け、
前記振り分け対象の画像に類似する画像が、前記学習用データセットには存在するが、前記テスト用データセットには存在しない場合、前記振り分け対象の画像を前記テスト用データセットに振り分け、
前記振り分け対象の画像に類似する画像が、前記学習用データセットにも前記テスト用データセットにも存在する場合、前記振り分け対象の画像を前記学習用データセットにも前記テスト用データセットにも振り分けないことを特徴とする請求項１０に記載の撮像画像振り分け方法。

【請求項12】

請求項１から３のいずれかに記載の撮像画像振り分け装置または請求項１０もしくは１１に記載の撮像画像振り分け方法によって振り分けられたデータセット。

【請求項13】

請求項１から３のいずれかに記載の撮像画像振り分け装置と、
被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置と、を含む学習システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、撮像画像振り分け装置、撮像画像振り分け方法、データセットおよび学習システムに関する。

【背景技術】

【0002】

外観検査装置は、電子部品や電子回路基板などの被検査体を撮像した画像から、当該被検査体が良品か不良品かを判断する。特に近年は、被検査体の画像を学習データとした機械学習を行うことにより生成した良否判定モデルを用いて外観検査を実行する外観検査技術が開発されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２００６－２８５５７０号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

機械学習を利用した外観検査装置では、良品および不良品の画像を収集し、これらを学習用データセットとテスト用データセットとに振り分ける。機械学習では、学習用データセットを使って外観検査の良否判定モデルを学習し、テスト用データセットを使ってモデルの精度を検証する。このとき、学習用データセットとテスト用データセットとの間に、画像パターンに大きな偏りがないことが望ましい。例えば、学習用データセットには特定の類似したパターンの画像が多く含まれるが、テスト用データセットには当該パターンの画像がわずかにしか含まれない場合、学習の精度が低下するといった問題がある。すなわち、学習用データセットとテスト用データセットとの間で、なるべく画像パターンが偏らないように画像を振り分ける必要がある。

【0005】

特許文献１には、基準画像の特徴を反映した第１の基底と、検索対象画像の特徴を反映した第２の基底とを比較することにより、検索対象画像の類似度を算出する技術が開示されている。しかしながら、この技術は一般的な画像検索における類似度の算出方法であるに過ぎず、外観検査における学習用データセットとテスト用データセットとの振り分けは対象としていない。

【0006】

本発明はこうした状況に鑑みてなされたものであり、その目的の１つは、外観検査装置の機械学習において、学習用データセットとテスト用データセットとの間で、画像パターンが偏らないように画像を振り分けることにある。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明のある態様の撮像画像振り分け装置は、外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け装置であって、被検査体の撮像画像データを保存する検査用画像保存部と、検査用画像保存部に保存された振り分け対象の画像を、機械学習の学習用データセットまたはテスト用データセットのいずれかに振り分ける画像振り分け部と、学習用データセットの画像を保存する学習用データセット保存部と、テスト用データセットの画像を保存するテスト用データセット保存部と、を含む。画像振り分け部は、振り分け対象の画像と、学習用データセット保存部に保存された画像およびテスト用データセット保存部に保存された画像と、の類似度に応じて、振り分け対象の画像の振り分け方を決定する。

【0008】

ある実施の形態では、画像振り分け部は、振り分け対象の画像と、学習用データセット保存部に保存された画像およびテスト用データセット保存部に保存された画像と、を比較し、その比較結果から類似度を決定してもよい。

【0009】

ある実施の形態では、画像振り分け部は、振り分け対象の画像と、検査用画像保存部に保存された他の画像、学習用データセット保存部に保存された画像およびテスト用データセット保存部に保存された画像と、を比較し、その比較結果から類似度を決定してもよい。

【0010】

ある実施の形態では、画像振り分け部は、検査用画像保存部に保存された画像のうち、振り分け対象の画像を学習用データセットにもテスト用データセットにも振り分けられなかった画像を検査用画像保存部から削除してもよい。

【0011】

ある実施の形態では、画像振り分け部は、振り分け対象の画像に類似する画像が、学習用データセット保存部にもテスト用データセット保存部にも存在しない場合、振り分け対象の画像を学習用データセットに振り分け、振り分け対象の画像に類似する画像が、学習用データセット保存部には存在するが、テスト用データセット保存部には存在しない場合、振り分け対象の画像をテスト用データセットに振り分け、振り分け対象の画像に類似する画像が、学習用データセット保存部にもテスト用データセット保存部にも存在する場合、振り分け対象の画像を学習用データセットにもテスト用データセットにも振り分けなくてもよい。

【0012】

ある実施の形態では、画像振り分け部は、画像同士が類似するかを判定する閾値を設定でき、画像間の類似度が当該閾値以上であれば当該画像同士は類似すると判定され、当該閾値より小さければ当両画像同士は類似しないと判定されるような閾値に基づいて画像同士の類否を判定し、振り分け対象の画像が画像枚数が多い画像群の画像である場合は、閾値を小さく設定し、振り分け対象の画像が画像枚数が少ない画像群の画像である場合は、閾値を大きく設定してもよい。

【0013】

ある実施の形態では、撮像画像データは、良品画像データと不良品画像データとを含んでもよい。撮像画像振り分け装置は、良品画像用閾値および不良品画像用閾値を決定するための閾値決定部をさらに含んでもよい。閾値決定部は、ユーザにより設定可能な目標良品学習用画像数、目標良品テスト用画像数、目標不良品学習用画像数および目標不良品テスト用画像数を記憶し、検査用画像保存部に保存された良品の撮像画像に対して、閾値を変えながら所定の回数、学習用データセット保存部およびテスト用データセット保存部への振り分けを行い、学習用データセットに振り分けられた画像数が目標良品学習用画像数に最も近く、テスト用データセットに振り分けられた画像数が目標良品テスト用画像数に最も近かったときの閾値を良品画像用閾値として決定し、検査用画像保存部に保存された不良品の撮像画像に対して、閾値を変えながら所定の回数、学習用データセット保存部およびテスト用データセットへの振り分けを行い、学習用データセットに振り分けられた画像数が目標不良品学習用画像数に最も近く、テスト用データセットに振り分けられた画像数が目標不良品テスト用画像数に最も近かったときの閾値を不良品画像用閾値として決定してもよい。

【0014】

ある実施の形態では、撮像画像振り分け装置は、被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置に内蔵されてもよい。

【0015】

ある実施の形態では、撮像画像振り分け装置は、被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置と別体であってもよい。

【0016】

本発明の別の態様は、撮像画像振り分け方法である。この方法は、良品と不良品とを含む外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け方法であって、被検査体の撮像画像データを保存する検査用画像保存ステップと、検査用画像保存ステップで保存された振り分け対象の画像を、機械学習の学習用データセットまたはテスト用データセットのいずれかに振り分ける画像振り分けステップと、学習用データセットの画像を保存する学習用データセット保存ステップと、テスト用データセットの画像を保存するテスト用データセット保存ステップと、を含む。画像振り分けステップは、振り分け対象の画像と、学習用データセット保存ステップで保存された学習用画像およびテスト用データセット保存ステップで保存されたテスト用画像と、の類似度に応じて、振り分け対象の画像の振り分け方を決定する。

【0017】

ある実施の形態では、振り分けステップは、振り分け対象の画像に類似する画像が、学習用データセットにもテスト用データセットにも存在しない場合、振り分け対象の画像を学習用データセットに振り分け、振り分け対象の画像に類似する画像が、学習用データセットには存在するが、テスト用データセットには存在しない場合、振り分け対象の画像をテスト用データセットに振り分け、振り分け対象の画像に類似する画像が、学習用データセットにもテスト用データセットにも存在する場合、振り分け対象の画像を学習用データセットにもテスト用データセットにも振り分けなくてもよい。

【0018】

本発明のさらに別の態様は、データセットである。このデータセットは、上記の撮像画像振り分け装置または撮像画像振り分け方法によって振り分けられたものである。

【0019】

本発明のさらに別の態様は、学習システムである。この学習システムは、上記の撮像画像振り分け装置と、被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置と、を含む。

【0020】

なお、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体等の間で変換したものもまた、本発明の態様として有効である。

【発明の効果】

【0021】

本発明によれば、外観検査装置の機械学習において、学習用データセットとテスト用データセットとの間で、画像パターンが偏らないように画像を振り分けることができる。

【図面の簡単な説明】

【0022】

【図1】第１の実施の形態に係る撮像画像振り分け装置の機能ブロック図である。

【図2】ケース１の場合の画像の振り分けの様子を示す模式図である。

【図3】ケース２の場合の画像の振り分けの様子を示す模式図である。

【図4】ケース３の場合の画像の振り分けの様子を示す模式図である。

【図5】類似度に関する閾値を設けたときの類似および非類似画像の様子を示す模式図である。

【図6】第３の実施の形態に係る撮像画像振り分け装置の機能ブロック図である。

【図7】ケースＡの場合の画像の振り分けの様子を示す模式図である。

【図8】ケースＢの場合の画像の振り分けの様子を示す模式図である。

【図9】第３の実施の形態に係る撮像画像振り分け装置のユーザインターフェースの模式図である。

【図10】第４の実施の形態に係る撮像画像振り分け方法の処理を示すフローチャートである。

【発明を実施するための形態】

【0023】

［第１の実施の形態］
図１は、第１の実施の形態に係る撮像画像振り分け装置１の機能ブロック図である。撮像画像振り分け装置１は、外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け装置である。撮像画像振り分け装置１は、検査用画像保存部１０と、画像振り分け部２０と、学習用データセット保存部３０と、テスト用データセット保存部４０と、を含む。

【0024】

検査用画像保存部１０は、被検査体の撮像画像データを保存する。被検査体は、例えば多数の電子部品が実装されている電子回路基板である。被検査体に対する外観検査は、通常、各部品に関する複数の検査項目について行われる。検査項目とはすなわち良否判定を要する項目である。検査項目には、例えば、部品そのものの欠品や位置ずれ、極性反転などの部品配置についての検査項目、ハンダ付け状態や部品のリードピンの浮きといった部品－基板間の接続部についての検査項目などが含まれる。

【0025】

画像振り分け部２０は、検査用画像保存部１０に保存された振り分け対象の画像を、機械学習の学習用データセットまたはテスト用データセットのいずれかに振り分ける。振り分け対象の画像は、検査用画像保存部１０に保存されたすべての画像であってもよいし、検査用画像保存部１０に保存された画像のうちの一部の画像であってもよい。

【0026】

学習用データセット保存部３０は、学習用データセットの画像を保存する。学習用データセットの画像は、外観検査用の良否判定モデルを機械学習（訓練）するのに使われる。

【0027】

テスト用データセット保存部４０は、テスト用データセットの画像を保存する。テスト用データセットの画像は、生成された良否判定モデルの精度を検証するのに使われる。

【0028】

良否判定モデルを生成するための機械学習は、既知のＡＩを利用して行ってもよい。こうしたＡＩの具体的な手法は特に限定されないが、例えば畳み込みニューラルネットワーク（Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ：ＣＮＮ）などのニューラルネットワークを用いてもよく、この場合入力層を共通にした上で計算モデルごとに異なるニューラルネットワークを混在させてもよい。

【0029】

画像振り分け部２０は、振り分け対象の画像と、学習用データセット保存部３０に保存された画像およびテスト用データセット保存部４０に保存された画像と、の類似度に応じて、振り分け対象の画像の振り分け方を決定する。すなわち画像の振り分けは、学習用データセットとテスト用データセットとの間での画像パターンの偏りをなくすために、両データセット間で類似した画像がバランスよく含まれるように（言い換えれば、様々な画像データのパターンがなるべく網羅的に含まれるように）行われる。

【0030】

本実施の形態によれば、外観検査装置の機械学習において、学習用データセットとテスト用データセットとの間で、画像パターンが偏らないように画像の振り分けを行う装置を提供することができる。

【0031】

例えば画像振り分け部２０は、振り分け対象の画像と、学習用データセット保存部３０に保存された画像およびテスト用データセット保存部４０に保存された画像と、を比較し、その比較結果から類似度を決定してもよい。

【0032】

あるいは画像振り分け部２０は、振り分け対象の画像と、検査用画像保存部１０に保存された他の画像（すなわち、振り分け対象でない画像）、学習用データセット保存部３０に保存された画像およびテスト用データセット保存部４０に保存された画像と、を比較し、その比較結果から類似度を決定してもよい。

【0033】

画像の類似度の指標としては、例えばＬＰＩＰＳ（Ｌｅａｒｎｅｄ Ｐｅｒｃｅｐｔｕａｌ Ｉｍａｇｅ Ｐａｔｃｈ Ｓｉｍｉｌａｒｉｔｙ）やＰｅｒｃｅｐｔｕａｌ Ｈａｓｈを用いてもよい。あるいは、良品／不良品判定用の機械学習モデルから抽出される特徴量ベクトル空間上の距離（ユークリッド距離、マハラノビス距離など）の逆数を用いてもよい。

【0034】

上記の実施の形態において、画像振り分け部２０が振り分け対象画像の振り分けを行った結果、一部の画像が学習用データセットにもテスト用データセットにも振り分けられずに検査用画像保存部１０に残る場合もある。この場合、画像振り分け部２０は、振り分けられなかった画像を検査用画像保存部１０から削除してもよい。

【0035】

この実施の形態によれば、検査用画像保存部１０のメモリ資源を浪費せずに節約することができる。

【0036】

［画像振り分けの具体例］
一例として、画像振り分け部２０は、以下の規則に従って振り分け対象の画像を振り分けてもよい。
（ケース１）振り分け対象の画像に類似する画像が、学習用データセット保存部３０にもテスト用データセット保存部４０にも存在しない場合。この場合、画像振り分け部２０は、振り分け対象の画像を学習用データセットに振り分ける。
（ケース２）振り分け対象の画像に類似する画像が、学習用データセット保存部３０には存在するが、テスト用データセット保存部４０には存在しない場合。この場合、画像振り分け部２０は、振り分け対象の画像をテスト用データセットに振り分ける。
（ケース３）振り分け対象の画像に類似する画像が、学習用データセット保存部３０にもテスト用データセット保存部４０にも存在する場合。この場合、画像振り分け部２０は、振り分け対象の画像を学習用データセットにもテスト用データセットにも振り分けない。

【0037】

図２に、ケース１の場合の画像の振り分けの様子を模式的に示す。図３に、ケース２の場合の画像の振り分けの様子を模式的に示す。図４に、ケース３の場合の画像の振り分けの様子を模式的に示す。

【0038】

この実施の形態によれば、類似する画像が存在しない画像は学習用データセットやテスト用データセットに振り分け、逆に類似する画像がすでに存在する画像は学習用データセットやテスト用データセットに振り分けない。これにより、学習用データセットとテスト用データセットとの間で画像パターンの偏りが生じないような画像の振り分けを実現することができる。

【0039】

［第２の実施の形態］
第２の実施の形態の撮像画像振り分け装置の画像振り分け部は、画像同士が類似するか否かを判定する閾値を設定することができる。その結果、画像間の類似度が当該閾値以上であれば当該画像同士は類似すると判定される。逆に、画像間の類似度が当該閾値より小さければ当両画像同士は類似しないと判定される。画像振り分け部は、このような閾値に基づいて画像同士の類否を判定する。このとき、振り分け対象の画像が画像枚数が多い画像群の画像である場合は、閾値を小さく設定し、逆に振り分け対象の画像が画像枚数が少ない画像群の画像である場合は、閾値を大きく設定してもよい。

【0040】

このように画像類似度の指標に関する閾値を設けることにより、当該閾値以上の画像を類似画像とみなせる。このとき、振り分け対象の画像が画像枚数が多い画像群の画像である場合は閾値を小さく設定し、逆に振り分け対象の画像が画像枚数が少ない画像群の画像である場合は閾値を大きく設定することで、より正確かつ効率的に振り分けを実現することができる。

【0041】

図５に、上記の類似度に関する閾値を設けたときの類似および非類似画像の様子を模式的に示す。

【0042】

［第３の実施の形態]
上記で説明した実施の形態では、学習用データセットとテスト用データセットとの間に画像パターンの偏りが生じないようにする、という課題を解決するものであった。しかしこれとは別に、外観検査装置の機械学習用の画像データには以下のような課題もある。

【0043】

一般に被検査体の良品画像データと不良品画像データとを比べると、良品画像データは大量に集まるのに対し、不良品画像データは少ししか集まらないことが多い。このように良品画像データ量と不良品画像データ量との間に偏りがある状態で機械学習を行うと、機械学習が良品画像データの方に過剰に適合してしまう可能性がある。従って、機械学習用のデータには、良品画像データと不良品画像データとがなるべくバランスよく含まれていることが望ましい。以下の実施の形態は、前述の画像パターンの偏りに関する課題（言い換えれば、画像の質に関する課題）に加えて、良品データおよび不良品データのデータ数の偏りに関する課題（言い換えれば、画像の量に関する課題）を解決するためのものである。

【0044】

図６は、第３の実施の形態に係る撮像画像振り分け装置２の機能ブロック図である。撮像画像振り分け装置２は、検査用画像保存部１０と、画像振り分け部２０と、学習用データセット保存部３０と、テスト用データセット保存部４０と、閾値決定部５０と、を含む。すなわち撮像画像振り分け装置２は、図１の撮像画像振り分け装置１に対して、閾値決定部５０を追加的に含む。撮像画像振り分け装置２のその他の構成は、撮像画像振り分け装置１の構成と同様である。このとき、撮像画像データは、良品画像データと不良品画像データとを含んでいる。

【0045】

閾値決定部５０は、良品画像用閾値および不良品画像用閾値を決定する。撮像画像振り分け装置２の動作は以下の通りである。先ず閾値決定部５０は、ユーザにより設定可能な目標良品学習用画像数、目標良品テスト用画像数、目標不良品学習用画像数および目標不良品テスト用画像数を記憶する。次に画像振り分け部２０は、検査用画像保存部１０に保存された良品の撮像画像に対して、閾値を変えながら所定の回数、学習用データセット保存部３０およびテスト用データセット保存部４０への振り分けを行う。このとき閾値決定部５０は、学習用データセットに振り分けられた画像数が目標良品学習用画像数に最も近く、テスト用データセットに振り分けられた画像数が目標良品テスト用画像数に最も近かったときの閾値を良品画像用閾値として決定する。さらに画像振り分け部２０は、検査用画像保存部に保存された不良品の撮像画像に対して、閾値を変えながら所定の回数、学習用データセット保存部およびテスト用データセットへの振り分けを行う。このとき閾値決定部５０は、学習用データセットに振り分けられた画像数が目標不良品学習用画像数に最も近く、テスト用データセットに振り分けられた画像数が目標不良品テスト用画像数に最も近かったときの閾値を不良品画像用閾値として決定する。

【0046】

例えば良品データセット（ケースＡとする）に対しては、撮像画像振り分け装置２は以下のように動作させることができる。良品データセットでは元々のデータ量が多いため、類似度の閾値を小さく設定しておく。すると、ほとんどの画像データは類似画像とみなされる。その結果、ほとんどの画像データは、機械学習用のデータセットに振り分けられない。従って、機械学習用のデータセットに大量の良品データが集中するのを防ぐことができる。

【0047】

次に不良品データセット（ケースＢとする）に対しては、撮像画像振り分け装置２は以下のように動作させることができる。不良品データセットでは元々のデータ量が少ないため、類似度の閾値を大きく設定しておく。すると、ほとんどの画像データは類似画像とみなされない。その結果、ほとんどの画像データは、機械学習用のデータセットに振り分けられる。従って、機械学習用のデータセットに不良品データがわずかしか含まれないことを防ぐことができる。

【0048】

図７に、ケースＡの場合の画像の振り分けの様子を模式的に示す。図８に、ケースＢの場合の画像の振り分けの様子を模式的に示す。

【0049】

図９に、撮像画像振り分け装置２のユーザインターフェースの一例を模式的に示す。ユーザは、このユーザインタフェースを用いて、良品データセットと不良品データセットのそれぞれに関し、目標学習用画像数、目標テスト用画像数、初期閾値および試行回数を設定することができる。図９の例では、目標良品学習用画像数：１０００枚、目標良品テスト用画像数：１００枚、良品初期閾値：１０、良品試行回数：３回、目標不良品学習用画像数：１０００枚、目標不良品テスト用画像数：１００枚、不良品初期閾値：２０、不良品試行回数：３回と設定されている。

【0050】

最初に、良品データセットに対して、初期閾値１０で良品画像の１回目の振り分け（試行）を行う。その結果、学習用画像が２０００枚、テスト用画像が２００枚になったとする。この場合、２回目の試行では閾値を例えば５に設定する。これにより、学習用画像が５００枚、テスト用画像が５０枚になったとする。この場合、３回目の試行では閾値を例えば８に設定する。これにより、学習用画像が１１００枚、テスト用画像が１１０枚になったとする。ここで、設定された試行回数の３回が終了したので、これまでに最も設定された目標枚数に近かったときの閾値を採用して（この例では、３回目の試行が最も近かったので、閾値＝８が採用される）、再度振り分けを行う。

【0051】

同様に不良品データセットに対しても、初期閾値２０で不良品画像の振り分けを３回行って、最も設定された目標枚数に近かった閾値を採用して、振り分けを行う。

【0052】

本実施の形態によれば、良品データおよび不良品データのデータ数の偏りを軽減することができる。

【0053】

ある実施の形態では、撮像画像振り分け装置１または２は、被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置に内蔵されてもよい。

【0054】

この実施の形態によれば、画像振り分け装置と学習装置が一体となった製品を提供することができる。

【0055】

ある実施の形態では、撮像画像振り分け装置１または２は、被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置と別体であってもよい。

【0056】

この実施の形態によれば、外部の学習装置に外付け可能な独立した製品として、撮像画像振り分け装置１または２を提供することができる。

【0057】

［第４の実施の形態］
図１０は、第４の実施の形態に係る撮像画像振り分け方法の処理を示すフローチャートである。この方法は、良品と不良品とを含む外観検査の対象となる被検査体の撮像画像を機械学習の学習用データセットとテスト用データセットとに振り分ける撮像画像振り分け方法である。この方法は、被検査体の撮像画像データを保存する検査用画像保存ステップＳ１と、検査用画像保存ステップＳ１で保存された振り分け対象の画像を、機械学習の学習用データセットまたはテスト用データセットのいずれかに振り分ける画像振り分けステップＳ２と、学習用データセットの画像を保存する学習用データセット保存ステップＳ３と、テスト用データセットの画像を保存するテスト用データセット保存ステップＳ４と、を含む。画像振り分けステップＳ２は、振り分け対象の画像と、学習用データセット保存ステップＳ３で保存された学習用画像およびテスト用データセット保存ステップＳ４で保存されたテスト用画像と、の類似度に応じて、振り分け対象の画像の振り分け方を決定する。

【0058】

本実施の形態によれば、外観検査装置の機械学習において、学習用データセットとテスト用データセットとの間で、画像パターンが偏らないように画像を振り分ける処理をコンピュータ等を用いて実行することができる。

【0059】

［画像振り分けの具体例］
一例として、画像振り分けステップＳ２は、以下の規則に従って振り分け対象の画像を振り分けてもよい。
（ケース１）振り分け対象の画像に類似する画像が、学習用データセットにもテスト用データセットにも存在しない場合。この場合、画像振り分けステップＳ２は、振り分け対象の画像を学習用データセットに振り分ける。
（ケース２）振り分け対象の画像に類似する画像が、学習用データセットには存在するが、テスト用データセットには存在しない場合。この場合、画像振り分けステップＳ２は、振り分け対象の画像をテスト用データセットに振り分ける。
（ケース３）振り分け対象の画像に類似する画像が、学習用データセットにもテスト用データセットにも存在する場合。この場合、画像振り分けステップＳ２は、振り分け対象の画像を学習用データセットにもテスト用データセットにも振り分けない。

【0060】

この実施の形態によれば、類似する画像が存在しない画像は学習用データセットやテスト用データセットに振り分け、逆に類似する画像がすでに存在する画像は学習用データセットやテスト用データセットに振り分けない。これにより、学習用データセットとテスト用データセットとの間で画像パターンの偏りが生じないような画像を振り分ける処理をコンピュータ等を用いて実現することができる。

【0061】

［第５の実施の形態］
第５の実施の形態は、データセットである。このデータセットは、上記の撮像画像振り分け装置または撮像画像振り分け方法によって振り分けられたデータセットである。

【0062】

本実施の形態によれば、画像パターンが偏らないように振り分けられた外観検査装置の機械学習用の学習用データセットとテスト用データセットを提供することができる。

【0063】

［第６の実施の形態］
第６の実施の形態は、学習システムである。この学習システムは、上記の撮像画像振り分け装置と、被検査体の撮像画像データを基に当該製品が良品であるか不良品であるかを機械学習する学習装置と、を含む学習システムである。

【0064】

この実施の形態によれば、画像パターンが偏らないように振り分けられた学習用データセットとテスト用データセットを用いた機械学習により生成した良否判定モデルを利用して、外観検査を実行することができる。

【0065】

以上、本発明をいくつかの実施の形態をもとに説明した。これらの実施の形態は例示であり、いろいろな変形および変更が本開示の特許請求の範囲内で可能なこと、またそうした変形例および変更も本開示の特許請求の範囲にあることは当業者に理解されるところである。従って、本明細書での記述および図面は限定的ではなく例証的に扱われるべきものである。

【0066】

上述した各実施の形態と変形例の任意の組み合わせもまた本開示の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる各実施の形態および変形例それぞれの効果をあわせもつ。

【0067】

実施の形態および変形例を抽象化した技術的思想を理解するにあたり、その技術的思想は実施の形態および変形例の内容に限定的に解釈されるべきではない。前述した実施の形態および変形例は、いずれも具体例を示したものにすぎず、構成要素の変更、追加、削除等の多くの設計変更が可能である。実施の形態では、このような設計変更が可能な内容に関して、「実施の形態」との表記を付して強調している。しかしながら、そのような表記のない内容でも設計変更が許容されることは言うまでもない。

【産業上の利用可能性】

【0068】

本発明の撮像画像振り分け装置および撮像画像振り分け方法は、電子部品や電子回路基板などの外観検査に利用することができる。

【符号の説明】

【0069】

１・・撮像画像振り分け装置、
２・・撮像画像振り分け装置、
１０・・検査用画像保存部、
２０・・画像振り分け部、
３０・・学習用データセット保存部、
４０・・テスト用データセット保存部、
５０・・閾値決定部、
Ｓ１・・検査用画像保存ステップ、
Ｓ２・・画像振り分けステップ、
Ｓ３・・学習用データセット保存ステップ、
Ｓ４・・テスト用データセット保存ステップ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】