特開 2024-284 学習用データ生成装置、学習用データ生成方法、および、プログラム、並びに、検査装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024000284

(43)【公開日】2024-01-05

(54)【発明の名称】学習用データ生成装置、学習用データ生成方法、および、プログラム、並びに、検査装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231225BHJP

   G06V 10/774 20220101ALI20231225BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610Z

G06V10/774

【審査請求】未請求

【請求項の数】18

【出願形態】ＯＬ

(21)【出願番号】P 2022098997

(22)【出願日】2022-06-20

(71)【出願人】

【識別番号】522246991

【氏名又は名称】株式会社ＪＴＧ

(74)【代理人】

【識別番号】100131406

【弁理士】

【氏名又は名称】福山 正寿

(72)【発明者】

【氏名】星野 仁

(72)【発明者】

【氏名】清水 康孝

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096CA04

5L096CA17

5L096CA21

5L096DA01

5L096FA67

5L096FA77

5L096GA34

5L096HA11

5L096JA11

5L096KA04

(57)【要約】

【課題】複数の検査対象の中から不良品を検出可能な検査装置に適用するための学習用データの生成において、正確なアノテーションを簡易に実現すること。
【解決手段】背景ｂｇのみを抽出した背景画像Ｉｂｇ、複数の良品Ｐｇの画像のみを抽出した良品抽出画像Ｉｇｅ、および、不良品Ｐｄの画像のみを抽出した不良品抽出画像Ｉｄｅを生成し、これらを合成することで学習用画像ＩＬを生成する（ステップＳ１０～Ｓ１６）。これにより、学習用画像ＩＬにおける不良品抽出画像Ｉｄｅの配置を容易に特定することができる。そして、特定された不良品抽出画像Ｉｄｅの配置に基づいてアノテーションを自動で付与する。これにより、複数の検査対象９０の中から不良品Ｐｄを検出可能な検査装置１に適用するための学習用データの生成において、正確なアノテーションを簡易に実現することができる。
【選択図】図１３

【特許請求の範囲】

【請求項1】

複数の検査対象の中から不良品を検出可能な検査装置に適用するための学習用データを生成可能な学習用データ生成装置であって、
背景を含む複数の良品のみの画像である良品画像、および、前記背景を含む少なくとも一つの前記不良品のみの画像である不良品画像を取得可能な画像取得部と、
前記不良品画像から前記背景を除く前記不良品の画像のみを抽出した画像である不良品抽出画像を生成する不良品抽出画像生成部と、
前記良品画像および前記不良品抽出画像を合成することによって、学習用画像を生成する学習用画像生成部と、
前記学習用画像における前記不良品抽出画像の配置に基づき前記学習用画像にアノテーションを付与するアノテーション付与部と、
を備える学習用データ生成装置。

【請求項2】

前記良品画像から前記背景を除く複数の前記良品の画像のみを抽出した画像である良品抽出画像を生成する良品抽出画像生成部をさらに備え、
前記画像取得部は、前記背景のみの画像である背景画像を取得可能であり、
前記学習用画像生成部は、前記背景画像、前記良品抽出画像、および、前記不良品抽出画像を合成することによって、前記学習用画像を生成すると共に、該学習用画像を生成する際、前記良品抽出画像と前記不良品抽出画像との重ね合わせの順序を変更可能である
請求項１に記載の学習用データ生成装置。

【請求項3】

前記良品画像から前記背景を除く複数の前記良品の画像のみを抽出した画像である良品抽出画像を生成する良品抽出画像生成部をさらに備え、
前記画像取得部は、前記背景のみの画像である背景画像を取得可能であり、
前記学習用画像生成部は、前記背景画像、前記良品抽出画像、および、前記不良品抽出画像を合成することによって、前記学習用画像を生成すると共に、該学習用画像を生成する際、前記良品抽出画像と前記不良品抽出画像との重ね合わせの度合いを変更可能である
請求項１に記載の学習用データ生成装置。

【請求項4】

前記学習用画像生成部は、前記学習用画像を生成する際、前記良品抽出画像と前記不良品抽出画像との重ね合わせの度合いを変更可能である
請求項２に記載の学習用データ生成装置。

【請求項5】

前記良品画像から前記背景を除く複数の前記良品の画像のみを抽出した画像である良品抽出画像を生成する良品抽出画像生成部をさらに備え、
前記画像取得部は、前記背景のみの画像である背景画像を取得可能であり、
前記学習用画像生成部は、前記背景画像、前記良品抽出画像、および、前記不良品抽出画像を合成することによって、前記学習用画像を生成すると共に、該学習用画像を生成する際、前記良品抽出画像に対して前記不良品抽出画像を任意の位置に配置可能である
請求項１に記載の学習用データ生成装置。

【請求項6】

前記学習用画像生成部は、前記学習用画像を生成する際、前記良品抽出画像に対して前記不良品抽出画像を任意の位置に配置可能である
請求項２ないし４のいずれか１項に記載の学習用データ生成装置。

【請求項7】

少なくとも前記不良品画像を撮像する際の撮像タイミングを判定可能なタイミング判定部をさらに備え、
該タイミング判定部は、少なくとも前記不良品画像を撮像する際、撮像領域と前記背景画像とを比較して、前記撮像領域の少なくとも外周部分において、前記背景画像と差がない場合に、前記撮像タイミングであると判定する
請求項２ないし５のいずれか１項に記載の学習用データ生成装置。

【請求項8】

前記タイミング判定部は、前記撮像領域の少なくとも前記外周部分において、前記背景画像と差がある場合には、該差が所定時間の間で変化するか否かを判定し、変化しない場合には、前記撮像タイミングであると判定し、変化する場合には、前記撮像タイミングでないと判定する
請求項７に記載の学習用データ生成装置。

【請求項9】

前記画像取得部は、異なる姿勢で撮像された前記不良品の画像である変更姿勢不良品画像を取得可能であり、
前記不良品抽出画像生成部は、前記変更姿勢不良品画像から前記背景を除く前記不良品の画像のみを抽出した画像である変更姿勢不良品抽出画像を生成可能であり
前記学習用画像生成部は、前記背景画像、前記良品抽出画像、および、前記変更姿勢不良品抽出画像を合成することによって学習用画像を生成可能である
請求項２ないし５のいずれか１項に記載の学習用データ生成装置。

【請求項10】

前記画像取得部は、異なる撮像態様で撮像された前記背景，前記良品および前記不良品の画像である撮像態様変更背景画像，撮像態様変更良品画像および撮像態様変更不良品画像を取得可能であり、
前記不良品抽出画像生成部は、前記撮像態様変更不良品画像から前記撮像態様変更背景画像を除く前記不良品の画像のみを抽出した画像である撮像態様変更不良品抽出画像を生成可能であり、
前記良品抽出画像生成部は、前記撮像態様変更良品画像から前記撮像態様変更背景画像を除く前記良品の画像のみを抽出した画像である撮像態様変更良品抽出画像を生成可能であり、
前記学習用画像生成部は、前記撮像態様変更背景画像，前記撮像態様変更良品抽出画像および前記撮像態様変更不良品抽出画像を合成することによって学習用画像を生成可能である
請求項２ないし５のいずれか１項に記載の学習用データ生成装置。

【請求項11】

複数の検査対象の中から不良品を検出可能な検査装置であって、
前記複数の検査対象の画像である検査用画像を撮像可能な撮像部と、
請求項１ないし５のいずれか１項に記載の前記学習用データ生成装置により生成された学習用データを用いて予め学習を行った学習済モデルと、
該学習済モデルを用いて前記検査用画像から特徴量を抽出する特徴量抽出器と、
前記特徴量に基づいて前記複数の検査対象の中に前記不良品があるか否かを判定する判定器と、
を備える検査装置。

【請求項12】

少なくとも前記不良品を撮像領域まで搬送可能な搬送部と、該搬送部を介して少なくとも前記撮像領域における前記不良品に振動を付与可能な振動部と、をさらに備え、
前記撮像部は、前記振動部による振動によって姿勢が変更された前記不良品を撮像可能であり、
前記画像取得部は、異なる姿勢で撮像された前記不良品の画像である変更姿勢不良品画像を取得可能であり、
前記不良品抽出画像生成部は、前記変更姿勢不良品画像から前記背景を除く前記不良品の画像のみを抽出した画像である変更姿勢不良品抽出画像を生成可能であり
前記学習用画像生成部は、前記背景画像、前記良品抽出画像、および、前記変更姿勢不良品抽出画像を合成することによって学習用画像を生成可能である
請求項２に従属する請求項１１に記載の検査装置。

【請求項13】

少なくとも前記不良品を撮像領域まで搬送可能な搬送部と、該搬送部を介して少なくとも前記撮像領域における前記不良品に振動を付与可能な振動部と、をさらに備え、
前記撮像部は、前記振動部による振動によって姿勢が変更された前記不良品を撮像可能であり、
前記画像取得部は、異なる姿勢で撮像された前記不良品の画像である変更姿勢不良品画像を取得可能であり、
前記不良品抽出画像生成部は、前記変更姿勢不良品画像から前記背景を除く前記不良品の画像のみを抽出した画像である変更姿勢不良品抽出画像を生成可能であり
前記学習用画像生成部は、前記背景画像、前記良品抽出画像、および、前記変更姿勢不良品抽出画像を合成することによって学習用画像を生成可能である
請求項３に従属する請求項１１に記載の検査装置。

【請求項14】

前記撮像部は、前記背景、前記良品、および、前記不良品を異なる撮像態様で撮像可能であり、
前記画像取得部は、異なる撮像態様で撮像された前記背景，前記良品および前記不良品それぞれの画像である撮像態様変更背景画像，撮像態様変更良品画像および撮像態様変更不良品画像を取得可能であり、
前記不良品抽出画像生成部は、前記撮像態様変更不良品画像から前記撮像態様変更背景画像を除く前記不良品の画像のみを抽出した画像である撮像態様変更不良品抽出画像を生成可能であり、
前記良品抽出画像生成部は、前記撮像態様変更良品画像から前記撮像態様変更背景画像を除く前記良品の画像のみを抽出した画像である撮像態様変更良品抽出画像を生成可能であり、
前記学習用画像生成部は、前記撮像態様変更背景画像，前記撮像態様変更良品抽出画像および前記撮像態様変更不良品抽出画像を合成することによって学習用画像を生成可能である
請求項１２または１３に記載の検査装置。

【請求項15】

複数の検査対象の中から不良品を検出可能な検査装置に適用するための学習用データを生成可能な学習用データ生成方法であって、
（ａ）背景を含む複数の良品のみの画像である良品画像、および、前記背景を含む少なくとも一つの前記不良品のみの画像である不良品画像を取得し、
（ｂ）取得した前記不良品画像から前記背景を除く前記不良品の画像のみを抽出した画像である不良品抽出画像を生成し、
（ｃ）前記良品画像と前記不良品抽出画像とを合成することによって、学習用画像を生成し、
（ｄ）生成した前記学習用画像にアノテーションを付与することによって、前記学習用データを生成する
学習用データ生成方法。

【請求項16】

前記良品画像から前記背景を除く複数の前記良品の画像のみを抽出した画像である良品抽出画像を生成するステップをさらに備え、
前記ステップ（ａ）は、前記背景のみの画像である背景画像を取得するステップを含み、
前記ステップ（ｃ）は、前記背景画像、前記良品抽出画像、および、前記不良品抽出画像を合成することによって、前記学習用画像を生成すると共に、該学習用画像を生成するに際し、前記良品抽出画像と前記不良品抽出画像との重ね合わせの順序を変更するステップを含む
請求項１５に記載の学習用データ生成方法。

【請求項17】

前記良品画像から前記背景を除く複数の前記良品の画像のみを抽出した画像である良品抽出画像を生成するステップをさらに備え、
前記ステップ（ａ）は、前記背景のみの画像である背景画像を取得するステップを含み、
前記ステップ（ｃ）は、前記背景画像、前記良品抽出画像、および、前記不良品抽出画像を合成することによって、前記学習用画像を生成すると共に、該学習用画像を生成するに際し、前記良品抽出画像と前記不良品抽出画像との重ね合わせの度合いを変更するステップを含む
請求項１５に記載の学習用データ生成方法。

【請求項18】

複数の検査対象の中から不良品を検出可能な検査装置に適用するための学習用データを生成するためのプログラムであって、
請求項１５ないし１７のいずれか１項に記載の学習用データ生成方法の各ステップを１又は複数のコンピュータに実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、複数の検査対象の中から不良品を検出可能な検査装置に適用するための学習用データを生成可能な学習用データ生成装置および学習用データ生成方法、これに用いるプログラム、並びに、学習用データ生成装置により生成された学習用データを用いて学習を行った学習モデルを備える検査装置に関するものである。

【背景技術】

【0002】

特開２０１９－２１１２８８号公報（特許文献１）には、複数の検査対象を一列に配列して搬送しながらカメラによって一つずつ撮像を行うと共に、撮像した画像一枚ずつについて、畳み込みニューラルネットワークにより生成した学習済の学習器を用いて特徴量を抽出し、抽出した当該特徴量に基づいて、搬送されてくる検査対象が良品であるか否かの判定を行う検査装置が記載されている。当該検査装置は、検査対象の良否判定をリアルタイムで自動的に行うことができる。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１９－２１１２８８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

ところで、学習器は、良品であるか不良品であるかの教師信号が付与された複数の画像に基づいて予め学習が行われるが、良品および不良品の判定精度の向上を図るためには、当該画像に正確なアノテーションを付与することが重要となる。ここで、上述した公報に記載の検査装置のように、一つずつ搬送されてくる検査対象が良品であるのか不良品であるのかを判定する構成の場合、判定の結果が不良品である場合に、当該不良品と判定された検査対象の画像において、欠陥部等の位置を特定してアノテーションを付与することになる。この場合、当該検査対象が不良品であることが分かっているため、当該検査対象の画像において欠陥部等の位置を特定すれば良い。したがって、比較的容易にアノテーションを付与することができる。

【0005】

これに対して、同時に搬送されてくる複数の検査対象の中から不良品を検出する構成の場合、検査対象同士が重なり合っている場合があるなど、撮像された画像の中から不良品の位置等を特定する必要が困難となる場合がある。これにより、アノテーションに要する工数負荷が高くなるばかりでなく、誤ったアノテーションを付与する確率も高くなってしまう。

【0006】

本発明は、上記に鑑みてなされたものであり、複数の検査対象の中から不良品を検出可能な検査装置に適用するための学習用データの生成において、正確なアノテーションを簡易に実現可能な技術を提供することを目的の一つとする。また、本発明は、複数の検査対象の中から不良品を検出可能な検査装置において、学習の効率化や検査精度の向上に資する技術を提供することを目的の一つとする。

【課題を解決するための手段】

【0007】

本発明に係る学習用データ生成装置の好ましい形態によれば、複数の検査対象の中から不良品を検出可能な検査装置に適用するための学習用データを生成可能な学習用データ生成装置が構成される。当該学習用データ生成装置は、画像取得部と、不良品抽出画像生成部と、学習用画像生成部と、アノテーション付与部と、を備えている。画像取得部は、背景を含む複数の良品のみの画像である良品画像、および、背景を含む少なくとも一つの不良品のみの画像である不良品画像を取得可能である。不良品抽出画像生成部は、不良品画像から背景を除く不良品の画像のみを抽出した画像である不良品抽出画像を生成する。学習用画像生成部は、良品画像および不良品抽出画像を合成することによって、学習用画像を生成する。そして、アノテーション付与部は、学習用画像における不良品抽出画像の配置に基づき当該学習用画像にアノテーションを付与する。ここで、本発明における「正常品」は、典型的には欠陥を有さない（所望の品質を有する）ものがこれに該当し、「不良品」は、欠陥を有する（所望の品質を有さない）ものがこれに該当するが、異なる品種・仕様を含む複数の検査対象から所望の品種・仕様以外のものを検出する態様の場合には、「正常品」は、所望の品種・仕様のものがこれに該当し、「不良品」は、所望の品種・仕様でないものがこれに該当する。

【0008】

本発明によれば、背景を含む複数の良品画像および不良品の画像のみを抽出した不良品抽出画像を合成することで学習用画像を生成するため、当該学習用画像における不良品抽出画像の配置を容易に特定することができる。そして、特定された不良品抽出画像の配置に基づいてアノテーションを自動で付与するため、複数の検査対象の中から不良品を検出可能な検査装置に適用するための学習用データの生成において、正確なアノテーションを簡易に付与することができる。この結果、複数の検査対象の中から不良品を検出可能な検査装置において、学習の効率化や検査精度の向上を図ることができる。

【0009】

本発明に係る学習用データ生成装置の更なる形態によれば、良品画像から背景を除く複数の良品の画像のみを抽出した画像である良品抽出画像を生成する良品抽出画像生成部をさらに備えている。画像取得部は、背景のみの画像である背景画像を取得可能である。そして、学習用画像生成部は、背景画像、良品抽出画像、および、不良品抽出画像を合成することによって、学習用画像を生成すると共に、当該学習用画像を生成する際、良品抽出画像と不良品抽出画像との重ね合わせの順序を変更可能である。

【0010】

本形態によれば、良品抽出画像と不良品抽出画像との重ね合わせの順序を変更した複数の学習用画像を生成することができる。これにより、複数の検査対象の中から不良品を検出可能な検査装置において、学習をより効率化できると共に検査精度をより向上することができる。

【0011】

本発明に係る学習用データ生成装置の更なる形態によれば、良品画像から背景を除く複数の良品の画像のみを抽出した画像である良品抽出画像を生成する良品抽出画像生成部をさらに備えている。画像取得部は、背景のみの画像である背景画像を取得可能である。そして、学習用画像生成部は、背景画像、良品抽出画像、および、不良品抽出画像を合成することによって、学習用画像を生成すると共に、当該学習用画像を生成際、良品抽出画像と不良品抽出画像との重ね合わせの度合いを変更可能である。

【0012】

本形態によれば、良品抽出画像と不良品抽出画像との重ね合わせの度合いを変更した複数の学習用画像を生成することができる。これにより、複数の検査対象の中から不良品を検出可能な検査装置において、学習をより効率化できると共に検査精度をより向上することができる。

【0013】

本発明に係る学習用データ生成装置の更なる形態によれば、良品画像から背景を除く複数の良品の画像のみを抽出した画像である良品抽出画像を生成する良品抽出画像生成部をさらに備えている。画像取得部は、背景のみの画像である背景画像を取得可能である。そして、学習用画像生成部は、背景画像、良品抽出画像、および、不良品抽出画像を合成することによって、学習用画像を生成すると共に、当該学習用画像を生成する際、良品抽出画像に対して不良品抽出画像を任意の位置に配置可能である。

【0014】

本形態によれば、良品抽出画像に対する不良品抽出画像の位置を変更した複数の学習用画像を生成することができる。これにより、複数の検査対象の中から不良品を検出可能な検査装置において、学習をより効率化できると共に検査精度をより向上することができる。

【0015】

本発明に係る学習用データ生成装置の更なる形態によれば、少なくとも不良品画像を撮像する際の撮像タイミングを判定可能なタイミング判定部をさらに備えている。当該タイミング判定部は、少なくとも不良品画像を撮像する際、撮像領域と背景画像とを比較して、撮像領域の少なくとも外周部分において、背景画像と差がない場合に、撮像タイミングであると判定する。

【0016】

本形態によれば、作業者の手など不要なものが撮像領域に映り込んだ状態で、不良品を撮像することを防止できる。これにより、適切な学習用画像の生成を実現できる。

【0017】

タイミング判定部を備える態様の本発明に係る学習用データ生成装置の更なる形態によれば、タイミング判定部は、撮像領域の少なくとも外周部分において、背景画像と差がある場合には、当該差が所定時間の間で変化するか否かを判定する。そして、タイミング判定部は、当該差が所定時間の間で変化しない場合には、撮像タイミングであると判定し、当該差が所定時間の間で変化する場合には、撮像タイミングでないと判定する。

【0018】

本形態によれば、撮像領域の少なくとも外周部分において、背景画像と差がある場合に、当該差が、作業者の手などの不要なものが撮像領域に映り込んだことに起因するものか否かを正確に判定することができる。これにより、より適切な学習用画像を生成することができる。

【0019】

本発明に係る学習用データ生成装置の更なる形態によれば、画像取得部は、異なる姿勢で撮像された不良品の画像である変更姿勢不良品画像を取得可能である。不良品抽出画像生成部は、変更姿勢不良品画像から背景を除く不良品の画像のみを抽出した画像である変更姿勢不良品抽出画像を生成可能である。そして、学習用画像生成部は、背景画像、良品抽出画像、および、変更姿勢不良品抽出画像を合成することによって学習用画像を生成可能である。

【0020】

本形態によれば、不良品の姿勢を変更した複数の学習用画像を生成することができる。これにより、複数の検査対象の中から不良品を検出可能な検査装置において、学習をより効率化できると共に検査精度をより向上することができる。

【0021】

本発明に係る学習用データ生成装置の更なる形態によれば、画像取得部は、異なる撮像態様で撮像された背景，良品および不良品の画像である撮像態様変更背景画像，撮像態様変更良品画像および撮像態様変更不良品画像を取得可能ある。不良品抽出画像生成部は、撮像態様変更不良品画像から撮像態様変更背景画像を除く不良品の画像のみを抽出した画像である撮像態様変更不良品抽出画像を生成可能である。また、良品抽出画像生成部は、撮像態様変更良品画像から撮像態様変更背景画像を除く良品の画像のみを抽出した画像である撮像態様変更良品抽出画像を生成可能である。そして、学習用画像生成部は、像態様変更背景画像，撮像態様変更良品抽出画像および撮像態様変更不良品抽出画像を合成することによって学習用画像を生成可能である。ここで、本発明における「異なる撮像態様」とは、異なる波長の光で撮像可能な各種カメラと、異なる波長の光を照射可能な照明と、の組み合わせで撮像する態様（例えば、マルチスペクトル画像）や、異なるカメラの位置や異なる照明の位置で撮像する態様、カメラの露光時間や光の照射時間を変えた異なる撮像モードで撮像する態様、異なるパターンの光を検査対象に照射して撮像する態様、光や音波などの反射時間を計測して検査対象の物体形状を画像化する態様などがこれに該当する。

【0022】

本形態によれば、撮像態様を変更して撮像した背景，良品および不良品の複数の画像を用いて複数の学習用画像を生成することができる。即ち、複数の不良品を準備しなくても複数の学習用画像を生成することができる。これにより、複数の検査対象の中から不良品を検出可能な検査装置において、学習をより効率化できると共に検査精度をより向上することができる。

【0023】

本発明に係る検査装置の好ましい形態によれば、複数の検査対象の中から不良品を検出可能な検査装置が構成される。当該検査装置は、撮像部と、学習済モデルと、特徴量抽出器と、判定器と、を備えている。撮像部は、複数の検査対象の画像である検査用画像を撮像可能である。学習済モデルは、上述したいずれかの態様の本発明に係る学習用データ生成装置により生成された学習用データを用いて予め学習が行われる。特徴量抽出器は、学習済モデルを用いて検査用画像から特徴量を抽出する。判定器は、特徴量抽出器によって抽出された特徴量に基づいて、複数の検査対象の中に不良品があるか否かを判定する。

【0024】

本発明によれば、上述したいずれかの態様の本発明に係る学習用データ生成装置を備えるため、本発明の学習用データ生成装置が奏する効果と同様の作用効果、例えば、正確なアノテーションを簡易に付与することができるといった効果を奏することができる。この結果、学習の効率化や検査精度の向上を図ることができる。

【0025】

本発明に係る検査装置の更なる形態によれば、少なくとも不良品を撮像領域まで搬送可能な搬送部と、当該搬送部を介して少なくとも撮像領域における不良品に振動を付与可能な振動部と、をさらに備えている。撮像部は、振動部による振動によって姿勢が変更された不良品を撮像可能である。画像取得部は、異なる姿勢で撮像された不良品の画像である変更姿勢不良品画像を取得可能である。不良品抽出画像生成部は、変更姿勢不良品画像から背景を除く不良品の画像のみを抽出した画像である変更姿勢不良品抽出画像を生成可能である。そして、学習用画像生成部は、背景画像、良品抽出画像、および、変更姿勢不良品抽出画像を合成することによって学習用画像を生成可能である。

【0026】

本形態によれば、振動部によって搬送部を振動させるのみであるため、不良品の姿勢を容易に変更することができる。また、不良品の姿勢を変更した複数の学習用画像を生成することができる。これにより、複数の検査対象の中から不良品を検出可能な検査装置において、学習をより効率化できると共に検査精度をより向上することができる。

【0027】

本発明に係る検査装置の更なる形態によれば、撮像部は、背景，良品および不良品を異なる撮像態様で撮像可能である。また、画像取得部は、異なる撮像態様で撮像された背景，良品および不良品それぞれの画像である撮像態様変更背景画像，撮像態様変更良品画像および撮像態様変更不良品画像を取得可能である。不良品抽出画像生成部は、撮像態様変更不良品画像から撮像態様変更背景画像を除く不良品の画像のみを抽出した画像である撮像態様変更不良品抽出画像を生成可能である。良品抽出画像生成部は、撮像態様変更良品画像から撮像態様変更背景画像を除く良品の画像のみを抽出した画像である撮像態様変更良品抽出画像を生成可能である。そして、学習用画像生成部は、撮像態様変更背景画像，前記撮像態様変更良品抽出画像および撮像態様変更不良品抽出画像を合成することによって学習用画像を生成可能である。ここで、本発明における「異なる撮像態様」とは、異なる波長の光で撮像可能な各種カメラと、異なる波長の光を照射可能な照明と、の組み合わせで撮像する態様（例えば、マルチスペクトル画像）や、異なるカメラの位置や異なる照明の位置で撮像する態様、カメラの露光時間や光の照射時間を変えた異なる撮像モードで撮像する態様、異なるパターンの光を検査対象に照射して撮像する態様、光や音波などの反射時間を計測して検査対象の物体形状を画像化する態様などがこれに該当する。

【0028】

本形態によれば、撮像態様を変更して撮像した背景，良品および不良品の複数の画像を用いて複数の学習用画像を生成することができる。即ち、複数の不良品を準備しなくても複数の学習用画像を生成することができる。これにより、複数の検査対象の中から不良品を検出可能な検査装置において、学習をより効率化できると共に検査精度をより向上することができる。

【0029】

本発明に係る検査方法の好ましい形態によれば、複数の検査対象の中から不良品を検出可能な検査装置に適用するための学習用データを生成可能な学習用データ生成方法が構成される。当該学習用データ生成方法は、（ａ）背景を含む複数の良品のみの画像である良品画像、および、背景を含む少なくとも一つの不良品のみの画像である不良品画像を取得し、（ｂ）取得した不良品画像から背景を除く不良品の画像のみを抽出した画像である不良品抽出画像を生成し、（ｃ）良品画像と不良品抽出画像とを合成することによって、学習用画像を生成し、（ｄ）生成した学習用画像にアノテーションを付与することによって、学習用データを生成する。

【0030】

本発明によれば、背景のみを抽出した背景画像、複数の良品の画像のみを抽出した良品抽出画像、および、不良品の画像のみを抽出した不良品抽出画像を合成することで学習用画像を生成するため、当該学習用画像における不良品抽出画像の配置を容易に特定することができる。そして、特定された不良品抽出画像の配置に基づいてアノテーションを自動で付与するため、複数の検査対象の中から不良品を検出可能な検査装置に適用するための学習用データの生成において、正確なアノテーションを簡易に付与することができる。この結果、複数の検査対象の中から不良品を検出可能な検査装置において、学習の効率化と検査精度の向上を図ることができる。

【0031】

本発明に係る検査方法の更なる形態によれば、良品画像から背景を除く複数の良品の画像のみを抽出した画像である良品抽出画像を生成するステップをさらに備えている。また、ステップ（ａ）は、背景のみの画像である背景画像を取得するステップを含んでいる。そして、ステップ（ｃ）は、背景画像、良品抽出画像、および、不良品抽出画像を合成することによって、学習用画像を生成すると共に、当該学習用画像を生成するに際し、良品抽出画像と不良品抽出画像との重ね合わせの順序を変更するステップを含んでいる。

【0032】

本形態によれば、良品抽出画像と不良品抽出画像との重ね合わせの順序を変更した複数の学習用画像を生成することができる。これにより、複数の検査対象の中から不良品を検出可能な検査装置において、学習をより効率化できると共に検査精度をより向上することができる。

【0033】

本発明に係る検査方法の更なる形態によれば、良品画像から背景を除く複数の良品の画像のみを抽出した画像である良品抽出画像を生成するステップをさらに備えている。また、ステップ（ａ）は、背景のみの画像である背景画像を取得するステップを含んでいる。そして、ステップ（ｃ）は、背景画像、良品抽出画像、および、不良品抽出画像を合成することによって、学習用画像を生成すると共に、当該学習用画像を生成するに際し、良品抽出画像と不良品抽出画像との重ね合わせの度合いを変更するステップを含んでいる。

【0034】

本形態によれば、良品抽出画像と不良品抽出画像との重ね合わせの度合いを変更した複数の学習用画像を生成することができる。これにより、複数の検査対象の中から不良品を検出可能な検査装置において、学習をより効率化できると共に検査精度をより向上することができる。

【0035】

本発明に係るプログラムの好ましい形態によれば、複数の検査対象の中から不良品を検出可能な検査装置に適用するための学習用データを生成するためのプログラムが構成される。当該プログラムは、上述したいずれかの態様の本発明に係る学習用データ生成方法の各ステップを１又は複数のコンピュータに実行させるためのものである。当該プログラムは、コンピュータが読み取り可能な記録媒体、例えば、ハードディスクやＲＯＭ、ＳＳＤ、フラッシュメモリ（ＵＳＢメモリ、ＳＤカードなど）、フロッピーディスク、ＣＤ、ＤＶＤなどに記録されていても良いし、伝送媒体、例えば、インターネットやＬＡＮなどの通信網を介してあるコンピュータから別のコンピュータへ配信されても良いし、あるいは、その他如何なる態様で授受されても良い。

【0036】

本形態によれば、プログラムを一つのコンピュータに実行させるか又は複数のコンピュータに各ステップを分担して実行させることによって、上述したいずれかの態様の本発明に係る学習用データ生成方法の各ステップが実行されるため、上述した本発明に係る学習用データ生成方法と同様の作用効果、例えば、正確なアノテーションを簡易に付与することができるといった効果や、複数の検査対象の中から不良品を検出可能な検査装置において、学習の効率化や検査精度の向上を図ることができるという効果などを得ることができる。

【発明の効果】

【0037】

本発明によれば、複数の検査対象の中から不良品を検出可能な検査装置に適用するための学習用データの生成において、正確なアノテーションを簡易に実現することができる。また、本発明によれば、複数の検査対象の中から不良品を検出可能な検査装置において、学習の効率化や検査精度の向上を図ることができる。

【図面の簡単な説明】

【0038】

【図1】本発明の実施の形態に係る検査装置１の構成の概略を示す構成図である。

【図2】本発明の実施の形態に係る学習用データ生成装置として機能するコンピュータ１０の機能構成を示す機能ブロック図である。

【図3】背景画像Ｉｂｇの一例を示す説明図である。

【図4】良品画像Ｉｇｐの一例を示す説明図である。

【図5】不良品画像Ｉｄｐの一例を示す説明図である。

【図6】良品抽出画像Ｉｇｅの一例を示す説明図である。

【図7】不良品抽出画像Ｉｄｅの一例を示す説明図である。

【図8】学習用画像ＩＬの一例を示す説明図である。

【図9】良品Ｐｇと不良品Ｐｄとの重ね合わせの順序の様子を示す説明図である。

【図10】良品Ｐｇと不良品Ｐｄとの重ね合わせの度合いの様子を示す説明図である。

【図11】学習用画像ＩＬにおいて不良品抽出画像Ｉｄｅを任意に配置する様子を示す説明図である。

【図12】ユーザ（作業者）によって、不良品Ｐｄが撮像領域Ｉｃａに置かれる様子を示す説明図である。

【図13】学習用データ生成処理の一例を示すフローチャートである。

【図14】撮像処理の一例を示すフローチャートである。

【図15】不良品検出処理の一例を示すフローチャートである。

【図16】検査用画像Ｉｉの一例を示す説明図である。

【図17】変形例の検査装置１００の構成の概略を示す構成図である。

【図18】複数の不良品Ｐｄが撮像された不良品画像Ｉｄｐの一例を示す説明図である。

【図19】複数の不良品Ｐｄが配置された学習用画像ＩＬの一例を示す説明図である。

【図20】複数の不良品Ｐｄが撮像された不良品画像Ｉｄｐの一例を示す説明図である。

【図21】不良品抽出画像Ｉｄｅを任意の配置で合成することで生成された学習用画像ＩＬの一例を示す説明図である。

【発明を実施するための形態】

【0039】

次に、本発明を実施するための最良の形態を実施例を用いて説明する。

【実施例0040】

本実施の形態に係る検査装置１は、図１に示すように、複数の検査対象９０を搬送可能なベルトコンベアＢＣと、当該ベルトコンベアＢＣによって搬送されてくる複数の検査対象９０を撮像可能なカメラ７０と、当該カメラ７０の撮像領域Ｉｃａに所定の光（例えば、白色光）を所定方向から照射する照明７２と、コンピュータ１０と、を備えている。検査装置１は、ベルトコンベアＢＣによって搬送されてくる複数の検査対象９０を、照明７２からの光を照射した状態でカメラ７０によって撮像し、当該複数の検査対象９０が撮像された画像を用いて当該複数の検査対象９０の中から不良品Ｐｄを検出する。ここで、ベルトコンベアＢＣは、本発明における「搬送部」に対応し、カメラ７０および照明７２は、本発明における「撮像部」に対応する実施構成の一例である。また、コンピュータ１０は、本発明における「学習用データ生成装置」に対応する実施構成の一例である。

【0041】

コンピュータ１０は、図１に示すように、ＣＰＵ２を中心とするマイクロプロセッサや、処理プログラムを記憶するＲＯＭ４、データを一時的に記憶するＲＡＭ６、画像処理を行う際に必要な計算処理や行列演算処理を行うＧＰＵ７、各種アプリケーションプログラム（単にプログラムと称する）や画像を含む各種データを記憶する大容量メモリであるハードディスク（ＨＤＤ）８、カメラ７０などの外部機器とのデータの入出力を行う入出力インターフェイス（Ｉ／Ｆ）９などを備えている。

【0042】

コンピュータ１０は、ユーザが各種指令を入力するキーボードおよびマウス等の入力装置１４や、各種情報を表示するディスプレイ６０などを備えている。ＣＰＵ２やＲＯＭ４、ＲＡＭ６、ＧＰＵ７、ＨＤＤ８、Ｉ／Ｆ９などは、バス８０によって電気的に接続され、互いに各種制御信号やデータのやり取りができるように構成されている。

【0043】

当該コンピュータ１０は、ディスプレイ６０に表示されたカーソル等をユーザが入力装置１４を介して入力操作すると、その入力操作に応じた動作を実行する機能を有している。また、当該コンピュータ１０は、ＨＤＤ８に格納されたプログラム、具体的には、学習済モデルの学習に用いる学習用データを生成するための学習用データ生成処理を実行する学習用データ生成プログラムや、複数の検査対象９０の中から不良品Ｐｄを検出する不良品検出処理を実行する不良品検出プログラムなどによって各種処理が実行されることで、本実施の形態に係る検査装置１を機能させたり、学習用データ生成装置として機能したりする。なお、本実施の形態では、検査装置１あるいは学習用データ生成装置をコンピュータ１０によって実現可能な構成としたが、専用装置として実現しても良い。

【0044】

また、コンピュータ１０には、図２に示すように、ＣＰＵ２や、ＲＯＭ４、ＲＡＭ６、ＧＰＵ７、ＨＤＤ８、Ｉ／Ｆ９、入力装置１４、ディスプレイ６０、カメラ７０、照明７２、ベルトコンベアＢＣなど（図１参照）の前述したハードウェア資源と、本実施の形態に係る学習用データ生成プログラムや不良品検出プログラムなどのソフトウェアと、の一方または双方の協働により、画像取得部２０や、画像表示制御部２２、抽出画像生成部２４、学習用画像生成部２６、アノテーション付与部２８、タイミング判定部３０、特徴量抽出器３２、判定器３４、記憶部３６等が機能ブロックとして構成されている。換言すれば、これらの各部（画像取得部２０や、画像表示制御部２２、抽出画像生成部２４、学習用画像生成部２６、アノテーション付与部２８、タイミング判定部３０、特徴量抽出器３２、判定器３４、記憶部３６等）は、ＨＤＤ８からＲＡＭ６上に展開されたプログラムを実行するＣＰＵ２からの命令によって、図１に示す各構成要素（ＣＰＵ２やＲＯＭ４、ＲＡＭ６、ＧＰＵ７、ＨＤＤ８、Ｉ／Ｆ９、入力装置１４、ディスプレイ６０、カメラ７０、照明７２、ベルトコンベアＢＣなど）が単独あるいは協働して動作することにより実現される機能であると言うことができる。なお、画像取得部２０や、画像表示制御部２２、抽出画像生成部２４、学習用画像生成部２６、アノテーション付与部２８、タイミング判定部３０、特徴量抽出器３２、判定器３４、記憶部３６等は、アドレスバスやデータバスなどのバスライン８２によって電気的に接続されている。

【0045】

画像取得部２０は、背景ｂｇのみの画像である背景画像Ｉｂｇ（検査対象９０が存在しない状態の背景のみの画像、図３参照）や、背景ｂｇを含む複数の良品Ｐｇのみの画像である良品画像Ｉｇｐ（図４参照）、および、背景ｂｇを含む少なくとも１つの不良品Ｐｄのみの画像である不良品画像Ｉｄｐ（図５参照）を撮像するように、カメラ７０や照明７２に撮像指示信号を出力すると共に、カメラ７０によって撮像されたこれら画像（背景画像Ｉｂｇ、良品画像Ｉｇｐ、不良品画像Ｉｄｐ）を取得し、取得したこれら画像（背景画像Ｉｂｇ、良品画像Ｉｇｐ、不良品画像Ｉｄｐ）を、抽出画像生成部２４や記憶部３６に供給する。また、画像取得部２０は、抽出画像生成部２４によって生成された良品抽出画像Ｉｇｅ（図６）や不良品抽出画像Ｉｄｅ（図７）を取得して、学習用画像生成部２６や記憶部３６に供給する。さらに、画像取得部２０は、学習用画像生成部２６によって生成された学習用画像ＩＬ（図８）を取得して、アノテーション付与部２８や、特徴量抽出器３２、判定器３４、記憶部３６に供給する。また、画像取得部２０は、複数の検査対象９０の中から不良品Ｐｄを検出するための画像である検査用画像Ｉｉを取得して、特徴量抽出器３２や判定器３４、記憶部３６に供給する。なお、画像取得部２０は、必要に応じて、背景画像Ｉｂｇ、良品画像Ｉｇｐ、不良品画像Ｉｄｐ、良品抽出画像Ｉｇｅ、不良品抽出画像Ｉｄｅ、学習用画像ＩＬ、検査用画像Ｉｉを記憶部３６から取得する。

【0046】

画像表示制御部２２は、判定器による判定結果をディスプレイ６０に表示したり、ユーザの操作に応じて、各種画像（背景画像Ｉｂｇ、良品画像Ｉｇｐ、不良品画像Ｉｄｐ、良品抽出画像Ｉｇｅ、不良品抽出画像Ｉｄｅ、学習用画像ＩＬ、検査用画像Ｉｉ）をディスプレイ６０に表示したりする。なお、画像表示制御部２２は、学習用画像ＩＬをディスプレイ６０に表示する際に、アノテーション付与部２８によって付与されたアノテーションも同時にディスプレイ６０に表示することができる。

【0047】

抽出画像生成部２４は、画像取得部２０が取得した良品画像Ｉｇｐおよび不良品画像Ｉｄｐを画像処理することで、良品画像Ｉｇｐおよび不良品画像Ｉｄｐから背景を除いた画像である良品Ｐｇのみの画像および不良品Ｐｄのみの画像を抽出した画像である良品抽出画像Ｉｇｅおよび不良品抽出画像Ｉｄｅを生成すると共に記憶部３６に供給する。

【0048】

学習用画像生成部２６は、背景画像Ｉｂｇと、抽出画像生成部２４が生成した良品抽出画像Ｉｇｅおよび不良品抽出画像Ｉｄｅと、を合成した学習用画像ＩＬを生成すると共に記憶部３６に供給する。ここで、学習用画像生成部２６は、学習用画像ＩＬを生成する際、図９に示すように、良品抽出画像Ｉｇｅと不良品抽出画像Ｉｄｅの重ね合わせの順序を変更したり（図９（ａ）は、良品抽出画像Ｉｇｅが不良品抽出画像Ｉｄｅの上側となるように配置した図であり、図９（ｂ）は、良品抽出画像Ｉｇｅを不良品抽出画像Ｉｄｅの下側となるように配置した図である）、図１０に示すように、良品抽出画像Ｉｇｅと不良品抽出画像Ｉｄｅとの重ね合わせの度合いを変更したり（図１０（ａ）は、良品抽出画像Ｉｇｅと不良品抽出画像Ｉｄｅとの重ね合わせの度合を大きくした状態を示した図であり、図１０（ｂ）は、良品抽出画像Ｉｇｅと不良品抽出画像Ｉｄｅとの重ね合わせの度合いを小さくした状態を示した図である）、あるいは、図１１に示すように、学習用画像ＩＬにおける不良品抽出画像Ｉｄｅの配置を変更したりすることができる（図１１（ａ）は、学習用画像ＩＬにおいて不良品抽出画像Ｉｄｅを左寄りに配置した様子を示す図であり、図１１（ｂ）は、学習用画像ＩＬにおいて不良品抽出画像Ｉｄｅを右寄りに配置した様子を示す図である）。なお、良品抽出画像Ｉｇｅと不良品抽出画像Ｉｄｅとの重ね合わせの度合いおよび重なり順序は、乱数により自動で選択することもできる。

【0049】

アノテーション付与部２８は、学習用画像生成部２６によって生成された学習用画像ＩＬにアノテーションを付与する。具体的には、アノテーション付与部２８は、背景画像Ｉｂｇ、良品抽出画像Ｉｇｅ、および、不良品抽出画像Ｉｄｅから学習用画像ＩＬを合成する際、不良品抽出画像Ｉｄｅの背景画像Ｉｂｇおよび良品抽出画像Ｉｇｅにおける配置位置に基づき、アノテーションを自動的に付与する。より具体的には、アノテーション付与部２８によるアノテーション付与は、学習用画像ＩＬの中から不良品抽出画像Ｉｄｅの配置位置を自動的に特定すると共に不良品Ｐｄである旨（例えば、「印」）を当該学習用画像ＩＬに自動的に入力することにより行う。なお、アノテーション付与部２８によって付与されたアノテーションは、学習用画像ＩＬと一体に記憶部３６に記憶される。

【0050】

タイミング判定部３０は、カメラ７０によって不良品Ｐｄを撮像する際に、撮像タイミングであるか否かの判定を行い、撮像タイミングであると判定した際に、カメラ７０に撮像指示信号を出力する。ここで、撮像タイミングであるか否かの判定は、本実施の形態では、図３および図１２に示すように、カメラ７０の撮像領域Ｉｃａと、背景画像Ｉｂｇと、を比較して、少なくとも外周部Ｐｅにおいて差があるか否かを判定することにより行う構成とした。より具体的には、タイミング判定部は、撮像領域Ｉｃａの少なくとも外周部Ｐｅと背景画像Ｉｂｇの少なくとも外周部Ｐｅとの間に差がない場合には、撮像タイミングであると判定する。一方、タイミング判定部は、撮像領域Ｉｃａの少なくとも外周部Ｐｅと背景画像Ｉｂｇの少なくとも外周部Ｐｅとの間に差がある場合には、当該差のある状態が所定時間の間変化するか否かを判定する。そして、当該差のある状態が所定時間の間、変化しない場合には、撮像タイミングであると判定し、当該差のある状態が所定時間の間で変化した場合には、作業者の手など不要なものが映り込んでいるものとして、撮像タイミングでないと判定する。タイミング判定部３０は、撮像タイミングであると判定したときには、撮像指示信号をカメラ７０に出力する。ここで、所定時間は、本実施の形態では、作業者が不良品Ｐｄを配置する作業に必要な時間以上に設定する構成とした。

【0051】

特徴量抽出器３２は、学習用画像ＩＬや検査用画像Ｉｉについて特徴量を抽出する。本実施の形態では、複数の検査対象９０の中から不良品Ｐｄを精度よく検出することが可能な特徴量を抽出することができるように、機械学習、より具体的には、ディープメトリックラーニングを用いて演算パラメータを修正して学習を行う構成とした。即ち、特徴量抽出器３２は、抽出した特徴量間の距離を算定して、算定した当該距離に基づき誤差逆伝搬法および勾配降下法によりパラメータの修正を行う一連の処理にディープメトリックラーニングを適用した。なお、特徴量抽出器３２は、アノテーションが付与された（教師信号付きの）複数の学習用画像ＩＬを用いて予め学習を行って、１つの学習済モデルＭＬとして記憶部３６に記憶される。

【0052】

判定器３４は、特徴量抽出器３２によって抽出された特徴量に基づいて、複数の検査対象９０の中に不良品Ｐｄがあるか否かの判定を行う。なお、当該判定結果は、ディスプレイ６０に表示される。判定器３４には、例えば、勾配ブースティングや、サポートベクターマシーン、ランダムフォレスト、ニューラルネットワーク、ガウス正規化、アンサンブル検査など、深層学習を含むニューラルネットワークを用いた機械学習以外の機械学習である所謂統計的機械学習を用いることができる。

【0053】

記憶部３６は、ＲＡＭ６およびＨＤＤ８の少なくとも一方に確保され、カメラ７０によって撮像された背景画像Ｉｂｇ，良品画像Ｉｇｐ，不良品画像Ｉｄｐ，検査用画像Ｉｉや、抽出画像生成部２４によって生成された良品抽出画像Ｉｇｅ，不良品抽出画像Ｉｄｅ、学習用画像生成部２６によって生成された学習用画像ＩＬ、学習済モデルＭＬを記憶する。学習用画像ＩＬは、アノテーション付与部によって付与されたアノテーションと共に記憶される。

【0054】

次に、学習用データ生成プログラムが起動されたときに本実施の形態に係る学習用データ生成装置としてのコンピュータ１０において実施される学習用データ生成処理について説明する。図１３は、学習用データ生成処理の一例を示すフローチャートである。学習用データ生成処理は、例えば、ユーザがディスプレイ６０上に表示される各種コマンドボタンの中から「学習用データ生成」ボタンを押したときに実行される。学習用データ生成処理は、主にコンピュータ１０の画像取得部２０、画像表示制御部２２、抽出画像生成部２４，学習用画像生成部２６，アノテーション付与部２８、タイミング判定部３０、および、記憶部３６により実行される。なお、本実施の形態では、複数の検査対象９０の中から所望品でないもの（異物）を検出する場合を例に説明する。したがって、以下では、「良品」とは、所望品を指し、「不良品」とは、所望品でないもの（異物）を指す。

【0055】

学習用データ生成処理が実行されると、図１３に示すように、まず、画像取得部２０は、背景ｂｇ、良品Ｐｇ、および、不良品Ｐｄを撮像する処理を実行する（ステップＳ１０）。当該撮像は、図１４に示す撮像処理に基づいて実行される。この処理が実行されると、画像取得部２０は、まず、撮像対象が背景ｂｇであるのか、良品Ｐｇであるのか、あるいは、不良品Ｐｄであるのかの判定を行う処理を実行する（ステップＳ２０）。撮像対象の判定は、例えば、ユーザ（作業者）が各種コマンドボタンの中から「背景の撮像」や、「良品の撮像」、あるいは、「不良品の撮像」のいずれを選択したかに基づき判定することができる。

【0056】

即ち、ユーザ（作業者）が各種コマンドボタンの中から「背景の撮像」を選択した場合には、画像取得部２０は、撮像対象が背景ｂｇであると判定し、ユーザ（作業者）が各種コマンドボタンの中から「良品の撮像」を選択した場合には、撮像対象が良品Ｐｇであると判定し、ユーザが各種コマンドボタンの中から「不良品の画像」を選択した場合には、撮像対象が不良品Ｐｄであると判定するのである。なお、本実施の形態では、「良品の撮像」の場合、複数の検査対象９０の中から予め抽出された複数の良品Ｐｇが、撮像領域Ｉｃａよりも搬送方向の上流側において、ベルトコンベアＢＣ上に載せられ、当該ベルトコンベアＢＣによって撮像領域Ｉｃａまで搬送される構成とし、「不良品の撮像」の場合、複数の検査対象９０の中から予め抽出された不良品Ｐｄが、ユーザによって、撮像毎に一つずつベルトコンベアＢＣの撮像領域Ｉｃａに載せられる構成とした。

【0057】

ステップＳ２０において、撮像対象が背景ｂｇまたは良品Ｐｇであると判定した場合には、背景ｂｇまたは良品Ｐｇを撮像するように、カメラ７０へ撮像指示信号を出力すると共に、撮像された背景画像Ｉｂｇ（図３）または良品画像Ｉｇｐ（図４）を記憶して（ステップＳ２２）、本処理を終了する。ここで、本実施の形態では、背景ｂｇの撮像は、ユーザ（作業者）からの「背景の撮像」ボタンの入力があった後、直ちに実行される構成とした。また、良品Ｐｇの撮像は、ユーザ（作業者）からの「良品の撮像」ボタンの入力があった後、当該良品Ｐｇが撮像領域Ｉｃａに搬送されたタイミングで実行される構成とした。

【0058】

一方、ステップＳ２０において、撮像対象が不良品Ｐｄであると判定した場合には、撮像タイミングであるか否かの判定を行う処理を実行する（ステップＳ２４）。撮像タイミングであるか否かの判定は、タイミング判定部３０からの出力の有無に基づいて行うことができる。このように、タイミング判定部３０によって撮像タイミングか否かを判定し、撮像タイミングであると判定したときのみ撮像する構成とすることで、ユーザ（作業者）が不良品ＰｄをベルトコンベアＢＣに載置する際の手などが映り込むことを良好に防止することができる。これにより、適切な不良品画像Ｉｄｐの撮像を実現することができる。

【0059】

そして、ステップＳ２４において、撮像タイミングであると判定した場合に、不良品Ｐｄを撮像するように、カメラ７０へ撮像指示信号を出力すると共に、撮像された不良品画像Ｉｄｐ（図５）を記憶して（ステップＳ２２）、本処理を終了する。なお、ステップＳ２４において、撮像タイミングでないと判定した場合は、撮像タイミングとなるまでステップＳ２４の判定を繰り返し実行する。

【0060】

こうして撮像処理が終了すると、画像取得部２０は、当該撮像処理によって撮像された背景画像Ｉｂｇや良品画像Ｉｇｐ、不良品画像Ｉｄｐを読み込む処理を実行する（ステップＳ１２）。続いて、抽出画像生成部２４が、画像処理によって、読み込まれた良品画像Ｉｇｐ（図４）および不良品画像Ｉｄｐ（図５）から良品抽出画像Ｉｇｅ（図６）および不良品抽出画像Ｉｄｅ（図７）を生成する処理を実行する（ステップＳ１４）。

【0061】

そして、学習用画像生成部２６が、読み込まれた背景画像Ｉｂｇ（図３）と、抽出画像生成部２４によって生成された良品抽出画像Ｉｇｅ（図６）および不良品抽出画像Ｉｄｅ（図７）と、を合成することによって、学習用画像ＩＬ（図８）を生成する処理を実行すると共に（ステップＳ１６）、アノテーション付与部２８が、当該学習用画像ＩＬにアノテーションを付与して（ステップＳ１８）、本処理を終了する。

【0062】

このように、本実施の形態に係る学習データ生成装置によれば、背景画像Ｉｂｇ、良品抽出画像Ｉｇｅ、および、不良品抽出画像Ｉｄｅを合成することで学習用画像ＩＬを生成する構成であるため、当該学習用画像ＩＬにおける不良品抽出画像Ｉｄｅの配置を容易に特定することができる。そして、特定された不良品抽出画像Ｉｄｅの配置に基づいてアノテーションを自動で付与するため、複数の検査対象９０の中から不良品Ｐｄを検出可能な検査装置に適用するための学習用データの生成において、正確なアノテーションを簡易に実現することができる。

【0063】

こうして正確なアノテーションが付された学習用画像ＩＬを用いて、特徴量抽出器３２を学習することができるため、複数の検査対象９０の中から不良品Ｐｄを正確に検出可能な学習済モデルＭＬを構築することができる（学習の効率化を図ることができる）。

【0064】

次に、本実施の形態に係る検査装置１の動作、特に、学習済モデルＭＬを用いて、複数の検査対象９０の中から不良品Ｐｄを検出する際の動作について説明する。図１５は、不良品検出処理の一例を示すメインフローチャートである。不良品検出処理は、不良品検出プログラムが起動されたときに実施され、主にコンピュータ１０の画像取得部２０、画像表示制御部２２、特徴量抽出器３２、判定器３４、および、記憶部３６により実行される。

【0065】

不良品検出処理が実行されると、図１５に示すように、まず、画像取得部２０は、複数の検査対象９０を撮像するように、カメラ７０へ撮像指示信号を出力すると共に（ステップＳ３０）、撮像された検査用画像Ｉｉを読み込む処理を実行する（ステップＳ３２）。ここで、検査用画像Ｉｉは、図１６に示すように、背景ｂｇと、複数の良品Ｐｇや不良品Ｐｄ（不良品Ｐｄは含まれない場合もある）を含む複数の検査対象９０と、を撮像した画像である。

【0066】

検査用画像Ｉｉが読み込まれると、特徴量抽出器３２が、学習済モデルＭＬを用いて当該検査用画像Ｉｉについて特徴量を抽出する処理を実行する（ステップＳ３４）。続いて、判定器３４が、抽出された特徴量に基づき、複数の検査対象９０の中に不良品Ｐｄが存在するか否かの判定を行うと共に（ステップＳ３６）、画像表示制御部２２が、当該判定結果を出力する処理を実行して（ステップＳ３８）、本処理を終了する。

【0067】

このように、本実施の形態に係る検査装置１によれば、正確なアノテーションが付された学習用データにより適切に学習された学習済モデルＭＬを用いて、検査用画像Ｉｉの特徴量を抽出すると共に、当該抽出した特徴量に基づき判定するため、複数の検査対象９０の中に不良品Ｐｄが有るか否かを精度良く検出することができる。

【0068】

本実施の形態では、学習用画像ＩＬを生成する際に、不良品Ｐｄの撮像は、当該不良品Ｐｄの姿勢が一定（姿勢を変更させない状況）の下で一回のみ行う構成としたが、これに限らない。例えば、不良品Ｐｄの撮像は、当該不良品Ｐｄの姿勢を変更させながら複数回行う構成としても良い。この場合、図１７の変形例の検査装置１００に示すように、ベルトコンベアＢＣに振動モータなどの振動装置９２を機械的に接続し、当該振動装置９２によってベルトコンベアＢＣ上の不良品Ｐｄに振動を与える構成とすることができる。当該構成によれば、同一の不良品Ｐｄについて、姿勢が異なる複数の不良品画像Ｉｄｐを生成することができるため、アノテーションが付与された（教師信号付き）複数の学習用画像ＩＬを容易に確保することができる。これにより、学習済モデルＭＬの学習時の検出精度の向上を効率良く図ることができる。なお、不良品Ｐｄの姿勢は、少なくとも撮像領域Ｉｃａにおいて変更されれば良く、例えば、不良品Ｐｄが撮像領域Ｉｃａに到達したときのみ、振動装置９２によってベルトコンベアＢＣ上の不良品Ｐｄに振動を与える構成としても良い。また、不良品Ｐｄの撮像のみならず良品Ｐｇの撮像においても、良品Ｐｇの姿勢を変更させながら複数回行う構成としても良い。ここで、姿勢が異なる複数の不良品画像Ｉｄｐは、本発明における「変更姿勢不良品画像」に対応し、当該不良品画像Ｉｄｐから背景ｂｇを除いた不良品Ｐｄのみの画像（不良品抽出画像Ｉｄｅ）は、本発明における「変更姿勢不良品抽出画像」に対応する実施構成の一例である。

【0069】

本実施の形態および上述した変形例では、学習用画像ＩＬを生成する際に、一つの不良品Ｐｄのみが撮像された不良品画像Ｉｄｐを用いる構成としたが、これに限らない。例えば、図１８に示すように、複数の不良品Ｐｄが撮像された不良品画像Ｉｄｐを用いる構成としても良い。この場合、図１９に示すように、複数の不良品Ｐｄが配置された学習用画像ＩＬが生成されると共に、当該不良品Ｐｄの配置箇所にアノテーションが付与される。なお、複数の不良品Ｐｄが撮像された不良品画像Ｉｄｐからは、図２０に示すように、複数の不良品抽出画像Ｉｄｅが生成されるが、学習用画像ＩＬを生成する場合に、当該複数の不良品抽出画像Ｉｄｅは、不良品画像Ｉｄｐにおける配置のまま合成する構成としても良いし（図１９参照）、図２１に示すように、任意の配置で合成する構成としても良い。

【0070】

本実施の形態では、所定の撮像態様、即ち、所定の位置に固定された照明７２によって、所定の光（例えば、白色光）が所定方向から照射された撮像領域Ｉｃａを、所定の位置に固定されたカメラ７０によって、所定の撮像モードで撮像する構成としたが、撮像態様を異ならせると共に当該撮像態様を異ならせる毎に撮像する構成としても良い。異なる撮像態様としては、例えば、照明７２によって複数のパターン光（例えば、複数の角度からの照射や、複数の格子状や縞状の光）を順次切替え照射し、パターン光が切替えられる毎にカメラ７０によって撮像する構成や、照明７２によって異なる波長の光を順次切替え照射し、波長が切替えられる毎にカメラ７０によって撮像する構成、照明７２による光の照射方向を異ならせ、照射方向を異ならせる毎にカメラ７０によって撮像する構成、カメラ７０の撮像方向を異ならせ、撮像方向を異ならせる毎にカメラ７０によって撮像する構成、カメラ７０の撮像モード（例えば、露光時間）を変更させ、当該撮像モードを変更する毎にカメラ７０によって撮像する構成が考えられる。なお、照射方向を異ならせる態様としては、照明７２の角度を変更する構成の他、照明７２自体の配置を変更する構成や、複数の照明７２を用いる構成が考えられる。また、撮像方向を異ならせる態様としては、カメラ７０の角度を変更する構成の他、カメラ７０自体の配置を変更する構成、複数のカメラ７０を用いる構成が考えられる。なお、この場合、学習用画像ＩＬを生成する際には、同じ撮像態様で撮像した背景画像Ｉｂｇ，良品画像Ｉｇｐおよび不良品画像を合成する必要があることは勿論のことである。当該構成によれば、複数の不良品を準備しなくても複数の学習用画像を生成することができるため、学習の効率化を図ることができる。また、複数の不良品を準備して撮像する場合に比べて、撮像に要する作業工数や作業時間を短縮することができるため、コスト低減を図ることができる。なお、異なる撮像態様毎に生成した学習用画像を用いた学習結果を比較することで、検査精度の向上に資する撮像態様を容易に知ることができる。これにより、検査精度の向上に資する撮像態様を選択して学習用画像を生成することができるため、学習をより効率化できると共に検査精度をより向上することができる。ここで、異なる撮像態様で撮像された背景画像Ｉｂｇ，良品画像Ｉｇｐおよび不良品画像Ｉｄｐは、それぞれ本発明における「撮像態様変更背景画像」，「撮像態様変更良品画像」および、撮像態様変更不良品画像」に対応し、異なる撮像態様で撮像された良品画像Ｉｇｐから背景ｂｇを除いた良品Ｐｇのみの画像（良品抽出画像Ｉｇｅ）、および、異なる撮像態様で撮像された不良品画像Ｉｄｐから背景ｂｇを除いた不良品Ｐｄのみの画像（不良品抽出画像Ｉｄｅ）は、それぞれ本発明における「撮像態様変更良品抽出画像」および「撮像態様変更不良品抽出画像」に対応する実施構成の一例である。

【0071】

本実施の形態では、複数の検査対象９０の中から所望品でないもの（異物）を検出する場合に適用したが、これに限らない。例えば、複数の検査対象９０の中から欠陥品を検出する場合などに適用することができる。

【0072】

本実施の形態では、不良品検出プログラムや学習用データ生成プログラムを含む各種プログラムをＨＤＤ８に記憶する構成としたが、これに限らない。例えば、不良品検出プログラムや学習用データ生成プログラムを含む各種プログラムは、伝送媒体、例えば、インターネットやＬＡＮなどの通信網を介して他コンピュータから本実施の形態に係る検査装置としてのコンピュータ１０へ配信される構成としても良い。

【0073】

本実施形態は、本発明を実施するための形態の一例を示すものである。したがって、本発明は、本実施形態の構成に限定されるものではない。

【符号の説明】

【0074】

１ 検査装置（検査装置）
２ ＣＰＵ
４ ＲＯＭ
６ ＲＡＭ
７ ＧＰＵ
８ ＨＤＤ
９ 入出力インターフェイス
１０ コンピュータ（学習用データ生成装置）
１４ 入力装置
２０ 画像取得部（画像取得部）
２２ 画像表示制御部
２４ 抽出画像生成部（良品抽出画像生成部、不良品抽出画像生成部）
２６ 学習用画像生成部（学習用画像生成部）
２８ アノテーション付与部（アノテーション付与部）
３０ タイミング判定部（タイミング判定部）
３２ 特徴量抽出器（特徴量抽出器）
３４ 判定器（判定器）
３６ 記憶部
６０ ディスプレイ
７０ カメラ（撮像部）
７２ 照明（撮像部）
８０ バス
８２ バスライン
９０ 検査対象（検査対象）
９２ 振動装置
１００ 検査装置（検査装置）
ＢＣ ベルトコンベア
ＭＬ 学習済モデル（学習済モデル）
ｂｇ 背景（背景）
Ｐｇ 良品（良品）
Ｐｄ 不良品（不良品）
Ｉｂｇ 背景画像（背景画像）
Ｉｇｐ 良品画像（良品画像）
Ｉｄｐ 不良品画像（不良品画像）
ＩＬ 学習用画像（学習用画像）
Ｉｇｅ 良品抽出画像（良品抽出画像）
Ｉｄｅ 不良品抽出画像（不良品抽出画像）
Ｉｉ 検査用画像（検査用画像）
Ｉｃａ 撮像領域（撮像領域）
Ｐｅ 外周部（外周部）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】