知財求人 - 知財ポータルサイト「IP Force」
特開2022-142555判定システム、画像生成装置、画像生成方法、および画像生成プログラム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022142555
(43)【公開日】2022-09-30
(54)【発明の名称】判定システム、画像生成装置、画像生成方法、および画像生成プログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20220922BHJP
G06N 20/00 20190101ALI20220922BHJP
【ＦＩ】
G06T7/00 350B
G06T7/00 610B
G06N20/00 130
【審査請求】未請求
【請求項の数】8
【出願形態】ＯＬ
(21)【出願番号】P 2021042764
(22)【出願日】2021-03-16
(71)【出願人】
【識別番号】000005119
【氏名又は名称】日立造船株式会社
(74)【代理人】
【識別番号】110000338
【氏名又は名称】特許業務法人ＨＡＲＡＫＥＮＺＯ ＷＯＲＬＤ ＰＡＴＥＮＴ ＆ ＴＲＡＤＥＭＡＲＫ
(72)【発明者】
【氏名】森本 晃章
(72)【発明者】
【氏名】前田 誠一
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096AA02
5L096AA06
5L096BA03
5L096CA24
5L096DA01
5L096DA02
5L096EA06
5L096EA14
5L096EA16
5L096EA35
5L096EA43
5L096FA06
5L096FA17
5L096FA25
5L096FA66
5L096FA67
5L096FA69
5L096GA07
5L096GA10
5L096GA40
5L096GA51
5L096HA11
5L096JA09
5L096KA04
5L096KA13
(57)【要約】
【課題】判定モデルの学習効率化。
【解決手段】判定システム（１００）は、判定モデル（１５）を用いて対象物の良否判定を行う判定装置（１）と、判定装置（１）が良品と誤判定した場合の画像を取得するデータ収集装置（３）と、前記画像に写る不良部分を元に学習用画像を複数生成する画像生成装置（４）と、複数の前記学習用画像を教師データとして判定モデル（１５）の再学習を行う学習装置（５）と、を含む。
【選択図】図１
【解決手段】判定システム（１００）は、判定モデル（１５）を用いて対象物の良否判定を行う判定装置（１）と、判定装置（１）が良品と誤判定した場合の画像を取得するデータ収集装置（３）と、前記画像に写る不良部分を元に学習用画像を複数生成する画像生成装置（４）と、複数の前記学習用画像を教師データとして判定モデル（１５）の再学習を行う学習装置（５）と、を含む。
【選択図】図１
【特許請求の範囲】
【請求項1】
良否が既知の対象物の画像を教師データとした機械学習により構築された判定モデルを用いて、良否不明の対象物を撮影した画像から当該対象物の良否判定を行う判定装置と、
前記判定装置が実際には不良である対象物を良品と誤判定した場合の前記画像を取得するデータ収集装置と、
前記データ収集装置が取得した前記画像に写る不良部分を元に、前記判定モデルの再学習に用いる教師データとして用いられる学習用画像を複数生成する画像生成装置と、
前記画像生成装置が生成した複数の前記学習用画像を教師データとして前記判定モデルの再学習を行う学習装置と、を含む判定システム。
前記判定装置が実際には不良である対象物を良品と誤判定した場合の前記画像を取得するデータ収集装置と、
前記データ収集装置が取得した前記画像に写る不良部分を元に、前記判定モデルの再学習に用いる教師データとして用いられる学習用画像を複数生成する画像生成装置と、
前記画像生成装置が生成した複数の前記学習用画像を教師データとして前記判定モデルの再学習を行う学習装置と、を含む判定システム。
【請求項2】
前記判定装置は、前記良否判定の結果と共に当該結果の確からしさを示す指標値を出力し、
前記データ収集装置は、前記判定装置が誤判定した前記画像に加えて、前記判定装置の判定結果が正しかった前記画像のうち、（１）前記指標値が示す確からしさが所定の閾値未満であった前記画像、および（２）前記指標値が示す確からしさが、前記判定装置が複数の対象物のそれぞれについて出力した各指標値の中で相対的に低かった前記画像、の少なくとも何れかを取得する、請求項１に記載の判定システム。
前記データ収集装置は、前記判定装置が誤判定した前記画像に加えて、前記判定装置の判定結果が正しかった前記画像のうち、（１）前記指標値が示す確からしさが所定の閾値未満であった前記画像、および（２）前記指標値が示す確からしさが、前記判定装置が複数の対象物のそれぞれについて出力した各指標値の中で相対的に低かった前記画像、の少なくとも何れかを取得する、請求項１に記載の判定システム。
【請求項3】
良否不明の複数の対象物のそれぞれを撮影した画像のうち、良否が既知の対象物の画像を教師データとした機械学習により構築された判定モデルを用いた良否判定において、実際には不良である対象物が良品と誤判定された場合の前記画像を取得するデータ取得部と、
前記データ取得部が取得した前記画像に写る不良部分を元に、前記判定モデルの再学習に用いる教師データとして用いられる学習用画像を複数生成する画像生成部と、を備える画像生成装置。
前記データ取得部が取得した前記画像に写る不良部分を元に、前記判定モデルの再学習に用いる教師データとして用いられる学習用画像を複数生成する画像生成部と、を備える画像生成装置。
【請求項4】
良品の前記対象物が写る良品画像から、前記不良が発生し得る部分が写る所定の色範囲の領域を抽出する領域抽出部と、
前記データ取得部が取得した前記画像から前記不良部分を切り出して、前記領域に合成する合成用画像を生成する合成用画像生成部と、を備え、
前記画像生成部は、前記領域に前記合成用画像を合成して前記学習用画像を生成する、請求項３に記載の画像生成装置。
前記データ取得部が取得した前記画像から前記不良部分を切り出して、前記領域に合成する合成用画像を生成する合成用画像生成部と、を備え、
前記画像生成部は、前記領域に前記合成用画像を合成して前記学習用画像を生成する、請求項３に記載の画像生成装置。
【請求項5】
（１）前記領域内に前記合成用画像を合成する候補位置を設定し、（２）当該候補位置に合成した前記合成用画像の全体が前記領域内に収まるか判定し、（３）収まらなければ候補位置を変更する、という一連の処理を、前記合成用画像の全体が収まると判定されるまで繰り返すことにより、前記合成用画像の合成位置を決定する合成位置決定部を備える、請求項４に記載の画像生成装置。
【請求項6】
前記画像から、当該画像に写る不良部分と、当該不良が発生し得るが発生していない正常部分との色の差を示す色情報を生成する色情報生成部と、
良品の前記対象物が写る良品画像から、前記不良が発生し得る部分が写る所定の色範囲の領域を抽出する領域抽出部と、を備え、
前記画像生成部は、前記領域抽出部が抽出した領域の一部または全部における色を、前記色情報に基づいて変更することにより前記学習用画像を生成する、請求項３に記載の画像生成装置。
良品の前記対象物が写る良品画像から、前記不良が発生し得る部分が写る所定の色範囲の領域を抽出する領域抽出部と、を備え、
前記画像生成部は、前記領域抽出部が抽出した領域の一部または全部における色を、前記色情報に基づいて変更することにより前記学習用画像を生成する、請求項３に記載の画像生成装置。
【請求項7】
画像生成装置が実行する画像生成方法であって、
良否不明の複数の対象物のそれぞれを撮影した画像のうち、良否が既知の対象物の画像を教師データとした機械学習により構築された判定モデルを用いた良否判定において、実際には不良である対象物が良品と誤判定された場合の前記画像を取得するステップと、
前記ステップで取得した前記画像に写る不良部分を元に、前記判定モデルの再学習に用いる教師データとして用いられる学習用画像を複数生成するステップと、を含む画像生成方法。
良否不明の複数の対象物のそれぞれを撮影した画像のうち、良否が既知の対象物の画像を教師データとした機械学習により構築された判定モデルを用いた良否判定において、実際には不良である対象物が良品と誤判定された場合の前記画像を取得するステップと、
前記ステップで取得した前記画像に写る不良部分を元に、前記判定モデルの再学習に用いる教師データとして用いられる学習用画像を複数生成するステップと、を含む画像生成方法。
【請求項8】
請求項３に記載の画像生成装置としてコンピュータを機能させるための画像生成プログラムであって、前記データ取得部および前記画像生成部としてコンピュータを機能させるための画像生成プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、機械学習により構築された判定モデルを用いて良否判定を行う判定システム等に関する。
【背景技術】
【0002】
従来から、機械学習により構築された判定モデルを用いて良否判定を行う対象物の良否判定を行う判定システムが知られている。このような判定システムにおいては、判定モデルの判定精度を担保し、また向上させるために、不良と判定すべき対象物の画像（以下、不良品画像と呼ぶ）が多数必要になるが、多数の不良品画像の収集は時間的・人的コストが高いという問題がある。
【0003】
上記の問題を解決するための技術として、不良品画像を画像合成により生成するという技術が知られている。例えば、下記の特許文献１には、様々なキズや欠陥の代表的なシルエット形状を示す画像を用いて、複数のキズ・欠陥画像を生成することが記載されている。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２０１８-２０５１２３号
【発明の概要】
【発明が解決しようとする課題】
【0005】
特許文献１の技術では、様々なキズや欠陥の代表的なシルエット形状を示す画像を予め収集しておく必要があるが、このような作業には時間的・人的コストがかかる。また、収集時に想定していなかったような形状のキズや欠陥が発生したときには、それを検出することができない。
【0006】
そして、そのようなキズや欠陥を検出することができるようにするためには判定モデルの再学習が必要になる。再学習の際には、まず、そのキズや欠陥が写る画像を探し出す必要がある。そして、その形状のシルエットを作成した上で、複数のキズ・欠陥画像を生成し、それらを用いて生成した教師データで再学習を行う必要がある。このように、特許文献１の技術は、判定モデルの学習を効率化するものであるが、更に効率化する余地がある。
【0007】
本発明の一態様は、上記の問題点に鑑みてなされたものであり、その目的は、対象物の良否判定に用いられる判定モデルの学習を効率化することができる判定システム等を提供することにある。
【課題を解決するための手段】
【0008】
上記の課題を解決するために、本発明の一態様に係る判定システムは、良否が既知の対象物の画像を教師データとした機械学習により構築された判定モデルを用いて、良否不明の対象物を撮影した画像から当該対象物の良否判定を行う判定装置と、前記判定装置が実際には不良である対象物を良品と誤判定した場合の前記画像を取得するデータ収集装置と、前記データ収集装置が取得した前記画像に写る不良部分を元に、前記判定モデルの再学習に用いる教師データとして用いられる学習用画像を複数生成する画像生成装置と、前記画像生成装置が生成した複数の前記学習用画像を教師データとして前記判定モデルの再学習を行う学習装置と、を含む。
【0009】
上記の課題を解決するために、本発明の一態様に係る画像生成装置は、良否不明の複数の対象物のそれぞれを撮影した画像のうち、良否が既知の対象物の画像を教師データとした機械学習により構築された判定モデルを用いた良否判定において、実際には不良である対象物が良品と誤判定された場合の前記画像を取得するデータ取得部と、前記データ取得部が取得した前記画像に写る不良部分を元に、前記判定モデルの再学習に用いる教師データとして用いられる学習用画像を複数生成する画像生成部と、を備える。
【0010】
上記の課題を解決するために、本発明の一態様に係る画像生成方法は、画像生成装置が実行する画像生成方法であって、良否不明の複数の対象物のそれぞれを撮影した画像のうち、良否が既知の対象物の画像を教師データとした機械学習により構築された判定モデルを用いた良否判定において、実際には不良である対象物が良品と誤判定された場合の前記画像を取得するステップと、前記ステップで取得した前記画像に写る不良部分を元に、前記判定モデルの再学習に用いる教師データとして用いられる学習用画像を複数生成するステップと、を含む。
【発明の効果】
【0011】
本発明の一態様によれば、対象物の良否判定に用いられる判定モデルの学習を効率化することができる。
【図面の簡単な説明】
【0012】
【図1】本発明の実施形態１に係る判定システムの構成例を示す図である。
【図2】上記判定システムにおける学習用画像の生成例を示す図である。
【図3】本発明の実施形態２に係る画像生成装置の要部構成の一例を示すブロック図である。
【図4】上記画像生成装置が実行する処理を説明する図である。
【図5】上記画像生成装置が実行する合成位置決定処理を説明する図である。
【図6】上記画像生成装置が実行する合成処理の流れを示すフローチャートである。
【図7】本発明の実施形態３に係る画像生成装置の要部構成の一例を示すブロック図である。
【図8】上記画像生成装置が実行する差分色情報の生成処理を説明する図である。
【図9】上記画像生成装置が実行する実行する処理の全体を説明する図である。
【図10】上記画像生成装置が実行する色変換対象領域の設定処理を説明する図である。
【図11】上記画像生成装置が実行する学習用画像生成処理の流れを示すフローチャートである。
【発明を実施するための形態】
【0013】
〔実施形態１〕
（システム構成）
図１は、本発明の一実施形態に係る判定システム１００の構成例を示す図である。判定システム１００は、所定の対象物を撮影した画像を用いて、その対象物が良品であるか不良品であるかを判定するシステムである。
（システム構成）
図１は、本発明の一実施形態に係る判定システム１００の構成例を示す図である。判定システム１００は、所定の対象物を撮影した画像を用いて、その対象物が良品であるか不良品であるかを判定するシステムである。
【0014】
なお、対象物は、その外観に基づいて良品であるか不良品であるかを判定可能なものであればよい。上記対象物の具体例としては、各種工業製品（完成品であってもよいし、部品や中間生成品であってもよい）や食品などが挙げられる。また、不良品とは、対象品に求められる要件を満たしていない対象物であり、例えば、表面にキズ、汚れ、変色等がある、異物が付着している、良品と形状、印字、刻印などが異なるものなどが不良品とされる。
【0015】
図示のように、判定システム１００には、判定装置１、記憶装置２、データ収集装置３、画像生成装置４、および学習装置５が含まれている。
【0016】
判定装置１は、良否が既知の対象物の画像を教師データとした機械学習により構築された判定モデル１５を用いて、良否不明の対象物を撮影した画像から当該対象物の良否判定を行う装置である。判定装置１は、画像取得部１１、判定部１２、判定結果出力部１３、および更新部１４を備えている。
【0017】
画像取得部１１は、良否不明の対象物を撮影した画像を取得する。図１の例では、画像取得部１１は、良否不明の対象物Ａを撮影した画像Ｂを取得している。画像Ｂには、対象物Ａの像ａが写っている。
【0018】
判定部１２は、判定モデル１５を用いて、画像取得部１１が取得した画像から当該画像に写る対象物の良否判定を行う。図１の例では、判定部１２は、画像Ｂを判定モデル１５に入力して得られる出力値から対象物Ａが良品であるか不良品であるかを判定する。また、判定部１２は、判定結果と共に、その判定結果の確からしさを示す指標値を出力する。以下では、この指標値を確信度と呼ぶ。確信度は０～１００％の範囲の数値であり、１００％に近いほど判定結果が確からしいことを示す。
【0019】
判定モデル１５は、良否が既知の対象物の画像を教師データとした機械学習により構築されたモデルである。また、判定モデル１５は、上述のように判定結果と共に確信度を出力する。機械学習のアルゴリズムは、画像を良・否に２分類することが可能な判定モデル１５を生成できるものであればよい。機械学習のアルゴリズムとしては、例えば、画像の分類精度の高い畳み込みニューラルネットワーク等が好適であるが、この例に限られない。なお、判定モデル１５は、不良の種類についても判定できるものとしてもよい。この場合、各種類の不良部分を含む画像を用いて機械学習を行えばよい。
【0020】
判定結果出力部１３は、判定部１２の判定結果を出力する。この判定結果は、記憶装置２の判定結果格納部２２に記録される。また、この判定に用いられた画像は、記憶装置２の画像格納部２１に格納される。
【0021】
更新部１４は、判定モデル１５を更新する。詳細は後述するが、学習装置５は判定モデル１５の再学習を行い、判定モデル１５の各種パラメータを更新して、更新後の各種パラメータを判定装置１に通知する。このため、更新部１４は、学習装置５からの上記通知に従って判定モデル１５を更新する。これにより、学習装置５による再学習の結果が、次回以降の判定部１２の判定に反映される。
【0022】
記憶装置２は、判定システム１００で使用される各種データを格納する装置である。記憶装置２には、良否判定に用いられた画像を格納する画像格納部２１と、良否判定の結果を格納する判定結果格納部２２が含まれている。
【0023】
データ収集装置３は、判定装置１が良否判定に用いた画像のうち、目視による再判定が必要な画像を取得する。そして、データ収集装置３は、取得した画像の中から、判定装置１が実際には不良である対象物を良品と誤判定した場合の、当該対象物の画像を取得する。データ収集装置３は、候補抽出部３１、目視判定部３２、およびデータ送信部３３を備えている。
【0024】
候補抽出部３１は、判定結果格納部２２に格納されている判定結果を参照し、目視による再判定が必要なものを抽出する。具体的には、候補抽出部３１は、確信度が所定の閾値未満であった判定結果を抽出する。例えば、候補抽出部３１は、確信度が８０％未満の判定結果を抽出してもよい。
【0025】
また、候補抽出部３１は、確信度が相対的に低かった判定結果を抽出してもよい。例えば、候補抽出部３１は、全判定結果のうち確信度が下位所定％の判定結果を抽出してもよいし、確信度が所定範囲の判定結果のうち確信度が下位所定％の判定結果を抽出してもよい。
【0026】
目視判定部３２は、候補抽出部３１が抽出した判定結果に対応する画像の目視判定を行う。具体的には、目視判定部３２は、候補抽出部３１が抽出した判定結果に対応する画像を画像格納部２１から取得し、表示装置（データ収集装置３が備えていてもよいし、データ収集装置３に接続されたものであってもよい）に表示させる。目視検査員は、表示された画像について目視で良否確認を行い、確認結果をデータ収集装置３に入力する。入力する内容は、対象物の良否である。また、否である場合には不良部分の位置および範囲を示す不良領域情報についても入力する。また、不良の種類についても学習させる場合には不良の種類についても入力する。そして、目視判定部３２は、これらの入力内容を目視判定の結果として記録する。
【0027】
データ送信部３３は、目視判定結果に基づき、不良品である対象物が良品と誤判定された場合の画像を特定し、特定した画像を画像生成装置４に送信する。この画像は、不良品である対象物が写る不良品画像であり、かつ、誤判定されたものであるから、以下ではこの画像を誤判定不良品画像と呼ぶ。
【0028】
具体的には、データ送信部３３は、まず、判定結果格納部２２に格納されている判定結果のうち、判定装置１の判定結果が良品であり、かつ目視判定結果が不良品である判定結果を特定する。次に、データ送信部３３は、画像格納部２１に格納されている画像のうち、特定した上記判定結果に対応する画像を誤判定不良品画像として取得する。そして、データ送信部３３は、誤判定不良品画像を、その判定結果（判定装置１および目視判定の判定結果）と共に画像生成装置４に送信する。これらのデータの送信には、例えば大容量ファイル転送サービス等を利用してもよい。
【0029】
画像生成装置４は、データ収集装置３が取得した誤判定不良品画像に写る不良部分を元に、判定モデル１５の再学習用の教師データとして用いられる学習用画像を複数生成する。画像生成装置４は、データ取得部４１と画像生成部４２を備えている。
【0030】
データ取得部４１は、良否不明の複数の対象物のそれぞれを撮影した画像のうち、判定モデル１５を用いた良否判定において、実際には不良である対象物が良品と誤判定された場合の画像、すなわち誤判定不良品画像を取得する。上述のように、誤判定不良品画像はデータ送信部３３から送信される。
【0031】
画像生成部４２は、データ取得部４１が取得した誤判定不良品画像に写る不良部分を元に、判定モデル１５の再学習に用いる教師データとして用いられる学習用画像を複数生成する。
【0032】
学習装置５は、画像生成装置４が生成した複数の学習用画像を教師データとして判定モデル１５の再学習を行う。学習装置５は、学習用画像取得部５１、教師データ生成部５２、学習部５３、および更新通知部５４を備えている。
【0033】
学習用画像取得部５１は、画像生成装置４（より詳細には画像生成部４２）が生成した複数の学習用画像を取得する。教師データ生成部５２は、学習用画像取得部５１が取得した学習用画像に、その学習用画像における不良部分の位置および範囲を示す正解データを対応付けて、判定モデル１５の再学習用の教師データを生成する。なお、正解データには不良の種類を示す情報を含めてもよい。
【0034】
ここで、上述のように、教師データの生成に用いる学習用画像は、画像生成部４２が生成する。このため、画像生成部４２は、生成した学習用画像における不良部分の位置および範囲を示す情報を出力することが可能である。教師データ生成部５２は、このような情報を正解データとして教師データを生成してもよい。この場合、学習装置５のユーザは、妥当な正解データとなっているかを目視確認する作業を行うだけでよい。
【0035】
また、教師データ生成部５２は、不良品画像から教師データを生成することもできる。この場合、教師データ生成部５２は、例えばテンプレートマッチング等により不良部分の位置および範囲を予測してもよい。そして、教師データ生成部５２は、予測結果を任意の表示装置に表示させて、妥当な位置および範囲となっているかを学習装置５のユーザに目視確認させてもよい。この場合、表示された位置および範囲が妥当でなければ、学習装置５のユーザが手動で修正すればよい。
【0036】
学習部５３は、教師データ生成部５２が生成した教師データを用いて判定モデル１５の再学習を行う。更新通知部５４は、学習部５３の再学習により更新された判定モデル１５の各種パラメータ（例えばニューラルネットワークモデルの重みパラメータ等）を判定装置１に通知する。各種パラメータは、例えば大容量ファイル転送サービス等を利用して送信してもよい。この後、上述のように判定装置１の更新部１４が判定モデル１５を更新する。
【0037】
以上のように、判定システム１００は、良否が既知の対象物の画像を教師データとした機械学習により構築された判定モデル１５を用いて、良否不明の対象物を撮影した画像から当該対象物の良否判定を行う判定装置１と、誤判定不良品画像（判定装置１が実際には不良である対象物を良品と誤判定した場合の、当該対象物の画像）を取得するデータ収集装置３と、データ収集装置３が取得した誤判定不良品画像に写る不良部分を元に、判定モデル１５の再学習に用いる教師データとして用いられる学習用画像を複数生成する画像生成装置４と、画像生成装置４が生成した複数の学習用画像を教師データとして判定モデル１５の再学習を行う学習装置５と、を含む。
【0038】
上記の構成によれば、判定装置１が誤判定した誤判定不良品画像をデータ収集装置３が収集するので、教師データ用の画像を選別したり、収集したりする人的コストを低減することができる。また、上記の構成によれば、収集した誤判定不良品画像から複数の学習用画像を生成してそれらを教師データとするので、収集された誤判定不良品画像の数が十分でなくても十分な学習効果が期待できる。例えば、判定モデル１５の構築時には想定していなかった新種の不良が発生した場合であっても、再学習後はその新種の不良の対象物を不良と判定することが可能になる。このように、上記の構成によれば、対象物の良否判定に用いられる判定モデル１５の学習を効率化することができる。
【0039】
（学習用画像の生成）
判定システム１００における学習用画像の生成について図２に基づいて説明する。図２は、学習用画像の生成例を示す図である。学習用画像は、誤判定不良品画像と、判定モデル１５を用いた良否判定において良品と正しく判定された画像または目視判定において良品と判定された画像（以下、良品画像と呼ぶ）を用いて生成することができる。
判定システム１００における学習用画像の生成について図２に基づいて説明する。図２は、学習用画像の生成例を示す図である。学習用画像は、誤判定不良品画像と、判定モデル１５を用いた良否判定において良品と正しく判定された画像または目視判定において良品と判定された画像（以下、良品画像と呼ぶ）を用いて生成することができる。
【0040】
図２に示す画像Ｃは、不良品である対象物Ａ１を撮影した画像である。画像Ｃに写る対象物の像ａ１には、変色部ａ１１が含まれており、変色部ａ１１が含まれているために対象物Ａ１は不良品である。対象物Ａ１については、判定装置１による自動判定とデータ収集装置３による目視判定が行われており、それらの判定結果を図２には判定結果ＲＣとして示している。
【0041】
判定結果ＲＣには、対象物ＩＤと、判定装置１による自動判定結果と、データ収集装置３による目視判定結果とが含まれている。なお、対象物ＩＤは、判定システム１００において対象物を一意に識別するために付与された識別情報である。判定結果ＲＣにおける自動判定結果は良品（７２％）となっている。「７２％」は確信度である。
【0042】
上述のように、候補抽出部３１は、記憶装置２の画像格納部２１に格納されている画像の中から、確信度が所定の閾値未満であったものを抽出する。例えば、候補抽出部３１が確信度８０％未満の画像を抽出する場合、確信度が７２％の画像Ｃは抽出される。
【0043】
なお、再学習を繰り返すことにより判定精度は向上し、それに伴って最適な閾値も変化する。このため、候補抽出部３１は、閾値を自動で更新してもよい。例えば、候補抽出部３１は、判定装置１の判定結果のうち、確信度が閾値以上となるものと、閾値未満となるものとの比が一定になるように閾値を設定してもよい。
【0044】
候補抽出部３１が抽出した画像Ｃは、目視判定部３２により目視判定に供される。画像Ｃには変色部ａ１１が含まれているため、目視判定では不良品と判定され、その判定結果が判定結果ＲＣとして記録される。判定結果ＲＣには、目視判定の結果として、不良品であることが記録されていると共に、不良部分の位置および範囲を示す不良領域情報が記録されている。ｘ、ｙは不良部分の位置を示す座標であり、ｗ、ｈは不良部分の幅と高さをそれぞれ示している。なお、判定部１２が不良部分の位置および範囲を考慮せずに良否判定を行う場合（判定モデル１５の構築に用いた教師データにおける正解データに不良部分の位置および範囲が含まれていない場合）には、不良領域情報を記録する必要はない。
【0045】
一方、図２に示すＤ１～Ｄｎは、良品である対象物Ａ２－１～Ａ２－ｎを撮影した画像である（ｎは自然数）。対象物Ａ２－１は良品であり、Ｄ１は良品画像である。このため、良品画像Ｄ１に写る対象物の像ａ２－１には変色、キズ、汚れ等の不良部分はない。対象物Ａ２－１については、判定装置１による良否判定が行われており、それらの判定結果を図２には判定結果ＲＤとして示している。
【0046】
判定結果ＲＤには、対象物Ａ２－１の対象物ＩＤと、判定装置１による自動判定結果が含まれている。判定結果ＲＤにおける自動判定結果は良品（９５％）となっており、この判定結果に確信が持てることを意味している。このような判定結果は、候補抽出部３１により抽出されず、それゆえ、データ収集装置３による目視判定も行われない。このため、判定結果ＲＤには目視判定結果は含まれていない。これは、対象物Ａ２－２～Ａ２－ｎについても同様である。
【0047】
データ送信部３３は、判定結果ＲＣに基づいて画像Ｃを誤判定不良品画像であると特定し、画像Ｃを判定結果ＲＣと共に画像生成装置４に送信する。そして、画像生成装置４のデータ取得部４１が、送信された画像Ｃと判定結果ＲＣを取得する。
【0048】
次に、画像生成部４２は、画像Ｃから判定結果ＲＣに示される不良部分を切り出して不良品部分画像Ｃ１を生成する。また、画像生成部４２は、不良品部分画像Ｃ１のマスク画像Ｃ２についてもあわせて生成する。マスク画像Ｃ２は、不良品部分画像Ｃ１を良品画像に合成する際に使用する画像であり、不良品部分画像Ｃ１における不良部分の背景領域をマスクするためのものである。
【0049】
マスク画像Ｃ２は、例えば以下のような手順で生成することができる。まず、画像生成部４２は、不良品部分画像Ｃ１（不良品画像Ｃであってもよい）を任意の表示装置に表示させる。ここで画像生成装置４のオペレータは、表示された画像における不良部分をマウス等の任意のポインティングデバイスで指定する。そして、画像生成部４２は、指定された不良部分の画素と、その画素の色情報を取得する。色情報は、不良部分と正常部分の境界を識別できるようなものであればよく、例えばＲＧＢ値（Ｒ：赤、Ｇ：緑、Ｂ：青）であってもよいし、ＨＳＶ値（Ｈ：色相、Ｓ：彩度、Ｖ：明度）であってもよい。
【0050】
次に、画像生成部４２は、指定された位置の画素を含み、当該画素との色情報の差が所定の範囲内の画素からなる連続領域を特定する。具体的には、画像生成部４２は、指定された位置の画素と、その画素に隣接する画素との色情報の差が所定の範囲内であるか否かを判定し、範囲内であればさらに隣の画素について同じ判定を行う。この判定を、色情報の差が所定の範囲外となるまで繰り返すことにより、上記連続領域を特定することができる。
【0051】
最後に、画像生成部４２は、不良品部分画像Ｃ１における上記連続領域内の画素を白（例えば２５６階調であればＲＧＢの各値を２５５）とし、背景を黒（画素値＝０）とする。これにより、マスク画像Ｃ２が完成する。なお、合成時に背景と不良部分との境界が滑らかになるように、画像生成部４２はマスク画像Ｃ２を平滑化してもよい。
【0052】
なお、図２には、誤判定不良品画像として画像Ｃのみを示しているが、誤判定不良品画像が画像Ｃ以外にも存在するときには、それらの誤判定不良品画像についても不良品部分画像とマスク画像が生成される。
【0053】
そして、画像生成部４２は、以上のようにして生成した不良品部分画像Ｃ１とマスク画像Ｃ２に変換処理を施して合成用画像を生成し、生成した合成用画像を良品画像Ｄ１～Ｄｎのそれぞれに合成して、学習用画像Ｅ１～Ｅｎを生成する。変換処理としては、回転変換、形状変換、色変換等様々なものが適用できる。図２に示す合成用画像は、不良品部分画像Ｃ１とマスク画像Ｃ２を回転変換した不良品部分画像Ｃ１’とマスク画像Ｃ２’である。
【0054】
学習用画像Ｅ１～Ｅｎのバリエーションを増やすため、合成の際には、良品画像Ｄ１～Ｄｎのそれぞれについて合成位置を異ならせることが好ましい。また、良品画像Ｄ１～Ｄｎごとにマスク画像Ｃ２の透過度を変更してもよい。また、不良品部分画像が複数存在する場合には、良品画像Ｄ１～Ｄｎごとに合成する不良品部分画像をランダムに選択するようにしてもよい。なお、マスク画像を用いた合成処理の詳細については実施形態２で説明する。
【0055】
図２に示す学習用画像Ｅ１に写る対象物の像は、良品画像Ｄ１と同じくａ２－１であるが、この像ａ２－１には、不良品部分画像Ｃ１に写る不良部分が回転された上で合成された不良部分ａ３１が含まれている。よって、学習用画像Ｅ１は、不良部分ａ３１を学習するための教師データとして用いることができる。
【0056】
（教師データの生成方法の他の例）
確信度が所定の閾値未満であったということは、判定結果の信頼性が低いということを示している。判定モデル１５の精度向上という観点から、確信度が所定の閾値未満となった画像を教師データとして再学習し、そのような画像についても信頼性の高い判定が行えるようにすることが好ましい。
確信度が所定の閾値未満であったということは、判定結果の信頼性が低いということを示している。判定モデル１５の精度向上という観点から、確信度が所定の閾値未満となった画像を教師データとして再学習し、そのような画像についても信頼性の高い判定が行えるようにすることが好ましい。
【0057】
このため、データ収集装置３のデータ送信部３３は、判定装置１が誤判定した画像に加えて、判定装置１の判定結果が正しかった画像のうち、確信度が所定の閾値未満であった画像を取得してもよい。なお、確信度が所定の閾値未満の上記画像には、不良品であるという判定結果は正しかったがその確信度が所定の閾値未満であった画像と、良品であるという判定結果は正しかったがその確信度が所定の閾値未満であった画像が含まれる。
【0058】
上記の構成によれば、このような教師データとして用いることが好ましい画像を収集し、それら画像に基づいて生成された教師データを用いて再学習を行うので、判定モデルの判定精度を高めることができる。
【0059】
具体的には、データ送信部３３は、不良品であるという判定結果は正しかったがその確信度が所定の閾値未満であった画像については、画像生成装置４に送信して学習用画像を生成させることができる。また、データ送信部３３は、そのような画像を不良品画像として学習装置５に送信して、不良品画像の教師データにさせてもよい。
【0060】
また、データ送信部３３は、良品であるという判定結果は正しかったがその確信度が所定の閾値未満であった画像については、良品画像として学習装置５に送信して、良品画像の教師データにさせればよい。
【0061】
また、データ送信部３３は、確信度が所定の閾値未満であった画像に加えて、または、確信度が所定の閾値未満であった画像の代わりに、判定装置１の判定結果が正しかった画像のうち、確信度が、判定装置１が複数の対象物のそれぞれについて出力した確信度の中で相対的に低かった画像を取得してもよい。
【0062】
〔実施形態２〕
本発明の実施形態２について図３～図６に基づいて説明する。なお、本実施形態に係る判定システムは、実施形態１の判定システム１００と同様の構成であるが、画像生成装置４の代わりに画像生成装置６を含む点で相違している。このため、以下では画像生成装置６について説明を行い、判定システムの他の構成要素の説明は繰り返さない。
本発明の実施形態２について図３～図６に基づいて説明する。なお、本実施形態に係る判定システムは、実施形態１の判定システム１００と同様の構成であるが、画像生成装置４の代わりに画像生成装置６を含む点で相違している。このため、以下では画像生成装置６について説明を行い、判定システムの他の構成要素の説明は繰り返さない。
【0063】
（画像生成装置６の構成）
図３は、本実施形態に係る画像生成装置６の要部構成の一例を示すブロック図である。図示のように、画像生成装置６は、画像生成装置６の各部を統括して制御する制御部６０と、画像生成装置６が使用する各種データを記憶する記憶部６１を備えている。また、画像生成装置６は、画像生成装置６が他の装置と通信するための通信部６２、画像生成装置６に対するデータの入力を受け付ける入力部６３、画像生成装置６がデータを出力するための出力部６４を備えている。
図３は、本実施形態に係る画像生成装置６の要部構成の一例を示すブロック図である。図示のように、画像生成装置６は、画像生成装置６の各部を統括して制御する制御部６０と、画像生成装置６が使用する各種データを記憶する記憶部６１を備えている。また、画像生成装置６は、画像生成装置６が他の装置と通信するための通信部６２、画像生成装置６に対するデータの入力を受け付ける入力部６３、画像生成装置６がデータを出力するための出力部６４を備えている。
【0064】
また、制御部６０には、データ取得部６０１、物体検出部６０２、領域抽出部６０３、合成用画像生成部６０４、合成位置決定部６０５、および画像生成部６０６が含まれている。また、記憶部６１には学習用画像６１１が記憶されている。
【0065】
データ取得部６０１は、実施形態１の画像生成装置４が備えるデータ取得部４１と同様に、良否不明の複数の対象物のそれぞれを撮影した画像のうち、判定モデル１５を用いた良否判定において、実際には不良である対象物が良品と誤判定された場合の画像、すなわち誤判定不良品画像を取得する。
【0066】
物体検出部６０２は、データ取得部６０１が取得した誤判定不良品画像から対象物を検出し、その部分を切り出して部分画像を生成する。対象物の検出方法は特に限定されず、例えばテンプレートマッチングにより対象物を検出してもよいし、対象物を検出するように予め機械学習された検出モデルを用いて対象物を検出してもよい。例えば、YOLO（you look only once）等を利用して対象物を検出することもできる。物体検出部６０２は、必須の構成ではないが、物体検出部６０２を設けることにより、後述する合成位置の決定において、対象物以外の背景領域が合成位置の候補となる確率を減らして、効率のよい合成画像の生成が可能になる。
【0067】
領域抽出部６０３は、良品の対象物が写る良品画像から、不良が発生し得る部分が写る所定の色範囲の領域を抽出する。以下、この領域を不良候補領域と呼ぶ。不良候補領域の色範囲は予め定めておく。例えば、領域抽出部６０３は、良品画像を任意の表示装置に表示させて、不良が発生し得る部分を画像生成装置６のオペレータに指定させてもよい。そして、領域抽出部６０３は、指定された部分の色情報を抽出し、その色情報を基準として不良候補領域を抽出してもよい。
【0068】
合成用画像生成部６０４は、データ取得部６０１が取得した誤判定不良品画像から不良部分を切り出して、不良候補領域に合成する合成用画像を生成する。本実施形態の合成用画像生成部６０４は、不良品画像から不良部分を切り出した不良品部分画像を生成すると共に、マスク画像を生成する。そして、合成用画像生成部６０４は、生成した不良品部分画像とマスク画像に変換処理を施して合成用画像を生成する。
【0069】
合成位置決定部６０５は、合成用画像生成部６０４が生成する合成用画像の合成位置を決定する。詳細は後述するが、合成位置決定部６０５は、（１）不良候補領域内に合成用画像を合成する候補位置を設定し、（２）当該候補位置に合成した合成用画像の全体が領域内に収まるか判定し、（３）収まらなければ候補位置を変更する、という一連の処理を、合成用画像の全体が収まると判定されるまで繰り返すことにより合成位置を決定する。
【0070】
画像生成部６０６は、実施形態１の画像生成装置４が備える画像生成部４２と同様に、データ取得部６０１が取得した画像に写る不良部分を元に、判定モデル１５の再学習に用いる教師データとして用いられる学習用画像を複数生成する。より詳細には、画像生成部６０６は、領域抽出部６０３が抽出した不良候補領域の中の合成位置決定部６０５が決定した合成位置に、合成用画像生成部６０４が生成した合成用画像を合成して学習用画像６１１を生成する。
【0071】
学習用画像６１１は、判定モデル１５の再学習用の教師データとして用いられる画像である。上述のように、学習用画像６１１は、画像生成部６０６により生成される。
【0072】
以上のように、画像生成装置６は、誤判定不良品画像を取得するデータ取得部６０１と、データ取得部６０１が取得した誤判定不良品画像に写る不良部分を元に、判定モデル１５の再学習に用いる教師データとして用いられる学習用画像６１１を複数生成する画像生成部６０６と、を備える。
【0073】
上記の構成によれば、誤判定不良品画像を取得する。判定モデル１５が誤判定したこのような画像は教師データとして有用な画像である。そして、上記の構成によれば、収集した誤判定不良品画像に写る不良部分を元に、判定モデル１５の再学習に用いる教師データとして用いられる学習用画像６１１を複数生成するので、収集された誤判定不良品画像の数が十分でなくても十分な学習が可能になる。したがって、画像生成装置６によれば、対象物の良否判定に用いられる判定モデル１５の学習を効率化することができる。
【0074】
また、画像生成装置６は、以上のように、良品の前記対象物が写る良品画像から、不良が発生し得る部分が写る所定の色範囲の不良候補領域を抽出する領域抽出部６０３と、データ取得部６０１が取得した誤判定不良画像から不良部分を切り出して、不良候補領域に合成する合成用画像を生成する合成用画像生成部６０４と、を備え、画像生成部６０６は、不良候補領域に合成用画像を合成して学習用画像を生成する。
【0075】
上記の構成によれば、不良が発生し得る部分が写る所定の色範囲の不良候補領域を抽出して、その不良候補領域に合成用画像を合成することにより学習用画像を生成する。よって、不良が発生し得ない領域に不良部分が合成された不自然な学習用画像を生成することがなく、妥当な学習用画像を生成することができる。
【0076】
（処理の流れ：全体）
図４に基づいて画像生成装置６が実行する処理（画像生成方法）の流れを説明する。図４は、画像生成装置６が実行する処理を説明する図である。なお、図４には、画像生成装置６が実行する処理の流れを示すフローチャートと共に、良品である対象物Ｆとそれを撮影した良品画像Ｇ、良品画像Ｇから対象物Ｆが写る部分を切り出した良品部分画像Ｇ１、および良品部分画像Ｇ１から生成した二値化画像Ｇ２の例を示している。
図４に基づいて画像生成装置６が実行する処理（画像生成方法）の流れを説明する。図４は、画像生成装置６が実行する処理を説明する図である。なお、図４には、画像生成装置６が実行する処理の流れを示すフローチャートと共に、良品である対象物Ｆとそれを撮影した良品画像Ｇ、良品画像Ｇから対象物Ｆが写る部分を切り出した良品部分画像Ｇ１、および良品部分画像Ｇ１から生成した二値化画像Ｇ２の例を示している。
【0077】
対象物Ｆは、図１に示した対象物Ａと同様に平板状の物体であるが、上面の中央部に凹部Ｆ２が形成されており、上面頂部Ｆ１が凹部Ｆ２により二分されている点で対象物Ａと異なっている。対象物Ｆを真上から撮影した画像がＧである。良品画像Ｇには、対象物Ｆの像ｆ１が写っており、像ｆ１には上面頂部Ｆ１の像ｆ１１と凹部Ｆ２の像ｆ１２が含まれている。
【0078】
Ｓ１１では、データ取得部６０１が、判定モデル１５を用いた良否判定において、実際には不良である対象物が良品と誤判定された場合の画像である誤判定不良品画像を取得する。実施形態１で説明したように、データ収集装置３がこのような誤判定不良品画像を収集して画像生成装置４に送信するので、データ取得部６０１はデータ収集装置３が送信する誤判定不良品画像を取得すればよい。
【0079】
Ｓ１２では、合成用画像生成部６０４が、Ｓ１１で取得された誤判定不良品画像から、不良部分を切り出した部分画像すなわち不良品部分画像を生成すると共に、その不良品部分画像に対応するマスク画像を生成する。不良品部分画像とマスク画像の生成方法は実施形態１で説明した通りである。
【0080】
Ｓ１３～Ｓ１７の処理は、学習用画像の元になる複数の良品画像のそれぞれについて行われ、全ての良品画像から学習用画像が生成されると終了する。
【0081】
Ｓ１３では、データ取得部６０１が、良品画像を取得する。具体的には、まず、データ取得部６０１は、記憶装置２の判定結果格納部２２（図１参照）に格納されている判定結果のうち、判定結果が良品であり、かつ、確信度が閾値以上の判定結果を抽出する。そして、データ取得部６０１は、抽出した上記判定結果に対応する画像を画像格納部２１（図１参照）から取得する。この画像が良品画像である。
【0082】
Ｓ１４では、物体検出部６０２が、Ｓ１２で取得された良品画像から対象物を検出し、検出した対象物の部分を切り出して良品部分画像を生成する。例えば、Ｓ１３で良品画像Ｇが取得されていた場合、物体検出部６０２は、対象物Ｆの像ｆ１が写る部分を良品画像Ｇから切り出して良品部分画像Ｇ１を生成する。
【0083】
Ｓ１５では、領域抽出部６０３が、Ｓ１４で生成された良品部分画像から、不良が発生し得る部分が写る所定の色範囲の不良候補領域を抽出する。例えば、不良が発生し得る部分の基準色が設定されている場合、領域抽出部６０３は、良品部分画像の各画素について上記基準色との色差を算出し、算出した色差が閾値以下の連続領域を不良候補領域として抽出してもよい。また、不良候補領域の抽出後、領域抽出部６０３は、不良候補領域を他の領域と識別できるようにするため、二値化画像を生成してもよい。
【0084】
Ｓ１５の処理について、例えば、対象物Ｆにおいて、上面頂部Ｆ１には所定の不良が発生し得るが、凹部Ｆ２には当該不良が発生しないとする。この場合、領域抽出部６０３は、上面頂部Ｆ１の色を基準に設定された所定の色範囲の領域を抽出して不良候補領域とする。そして、領域抽出部６０３は、不良候補領域を白、他の領域を黒に二値化することにより、二値化画像Ｇ２を生成する。二値化画像Ｇ２の画像領域のうち、ｆ２１が不良候補領域であり、ｆ２２が他の領域である。
【0085】
Ｓ１６では、合成用画像生成部６０４が、Ｓ１２で生成された不良品部分画像とマスク画像から合成用画像を生成する。例えば、Ｓ１１では複数の誤判定不良品画像が取得され、Ｓ１２では各誤判定不良品画像から不良品部分画像とマスク画像がそれぞれ生成されていた場合、合成用画像生成部６０４は、それらの中から使用する不良品部分画像とマスク画像を選択する。この選択は所定の規則に従って行ってもよいし、ランダムに行ってもよい。
【0086】
そして、合成用画像生成部６０４は、不良品部分画像とマスク画像から合成用画像を生成する。具体的には、合成用画像生成部６０４は、不良品部分画像とマスク画像に変換処理を施して合成用画像を生成する。変換処理の内容は特に限定されず、例えば、不良品部分画像とマスク画像に回転変換を施してもよく、この場合の回転角は所定の規則に従って設定してもよいし、ランダムに設定してもよい。また、不良品部分画像をアフィン変換等の任意の変形手法により変形させてもよい。この場合、変形後の不良品部分画像に合うようにマスク画像も更新する。なお、上述の各変換処理は、単体で適用してもよいし、組み合わせて適用してもよい。また、合成用画像生成部６０４は、不良品部分画像とマスク画像をそのまま合成用画像としてもよい。
【0087】
Ｓ１７では、合成位置決定部６０５が、Ｓ１５で抽出された不良候補領域の中で合成位置を決定し、決定された合成位置に画像生成部６０６が合成用画像を合成して学習用画像６１１を生成する。なお、上述のように、Ｓ１３～Ｓ１７の処理は、学習用画像の元になる複数の良品画像のそれぞれについて行われるから、Ｓ１１で取得された誤判定不良品画像が１つであっても、その誤判定不良品画像と同様の不良を有する学習用画像６１１が複数生成される。
【0088】
以上のように、画像生成装置６が実行する画像生成方法は、誤判定不良品画像を取得するステップ（Ｓ１１）と、前記ステップで取得した誤判定不良品画像に写る不良部分を元に、判定モデル１５の再学習に用いる教師データとして用いられる学習用画像６１１を生成するステップ（Ｓ１７）と、を含む。この画像生成方法によれば、１つの誤判定不良品画像から複数の学習用画像６１１を生成することができるので、データ収集装置３が収集した誤判定不良品画像の数が十分でなくても、判定モデル１５の十分な再学習が可能になる。したがって、この画像生成方法によれば判定モデル１５の学習を効率化することができる。
【0089】
（処理の流れ：合成位置決定）
図４のＳ１７で行われる学習用画像生成処理の流れを図５に基づいて説明する。図５は、合成位置決定処理を説明する図である。なお、図５には、合成位置決定処理の流れを示すフローチャートと共に、二値化画像Ｇ２における合成例を示している。
図４のＳ１７で行われる学習用画像生成処理の流れを図５に基づいて説明する。図５は、合成位置決定処理を説明する図である。なお、図５には、合成位置決定処理の流れを示すフローチャートと共に、二値化画像Ｇ２における合成例を示している。
【0090】
【0091】
Ｓ１７１では、合成位置決定部６０５は、二値化画像Ｇ２中に候補位置を設定する。候補位置は乱数を用いる等してランダムに決定すればよい。そして、Ｓ１７２では、合成位置決定部６０５は、Ｓ１７１で決定した候補位置が、図４のＳ１５で抽出された不良候補領域内であるか否かを判定する。ここで、不良候補領域内であると判定された場合（Ｓ１７２でＹＥＳ）にはＳ１７３に進む。一方、不良候補領域外であると判定された場合（Ｓ１７２でＮＯ）にはＳ１７１に戻る。この場合、合成位置決定部６０５は、Ｓ１７１で候補位置を再設定する。
【0092】
Ｓ１７３では、合成位置決定部６０５は、Ｓ１７１で設定した候補位置の周囲に不良候補領域外の部分がないか探索する。例えば、合成位置決定部６０５は、まず、候補位置から左方向に探索を行ってもよい。この探索は、不良候補領域の外縁に到達するか、探索距離がマスク画像の幅に達するまで行う。ここで、左方向への探索距離がマスク画像の幅に達する前に外縁に到達した場合、合成位置決定部６０５は、候補位置から右方向に探索を行う。そして、候補位置から左方向への探索距離と、右方向への探索距離の合計が、マスク画像の幅に達していなければ探索を終了する。一方、候補位置から左方向への探索距離と、右方向への探索距離の合計がマスク画像の幅に達している場合、合成位置決定部６０５は、左右方向の探索範囲の中央を上下方向に探索する。上下方向の探索は、上下方向の探索距離がマスク画像の高さに到達するか、または当該高さに到達するまでに不良候補領域の外縁に到達したときに終了する。
【0093】
Ｓ１７４では、合成位置決定部６０５は、Ｓ１７３の探索の結果に基づき、Ｓ１７１で設定した候補位置を合成位置と決定するか否かを判定する。具体的には、合成位置決定部６０５は、（１）左右方向の探索距離がマスク画像の幅に到達し、かつ、（２）上下方向の探索距離がマスク画像の高さに到達していれば、候補位置を合成位置と決定する（Ｓ１７４でＹＥＳ）。言い換えれば、Ｓ１７４では、合成用画像の全体が不良候補領域に収まるか否かが判定される。二値化画像における合成位置が決まれば、二値化画像の元になった良品画像における合成位置も決まり、この合成位置とマスク画像の幅および高さから、良品画像において合成用画像が合成される領域（以下、合成領域と呼ぶ）も決まる。
【0094】
一方、合成位置決定部６０５は、上記（１）（２）の何れかの条件が満たされていない場合、合成位置を決定せず（Ｓ１７４でＮＯ）、Ｓ１７１に戻って新たな候補位置を設定する。
【0095】
Ｓ１７５では、画像生成部６０６が、合成位置決定部６０５が上述のようにして決定した合成位置に、合成用画像生成部６０４が生成した合成用画像を合成し、学習用画像を生成する。なお、詳細は後述するが、Ｓ１７５では合成に失敗する場合があり、その場合、Ｓ１７１に戻って新たな候補位置が設定される。
【0096】
Ｓ１７１～Ｓ１７４の処理について、例えば、図５の二値化画像Ｇ２において、他の領域ｆ２２を挟む２つの不良候補領域のうち上側の方の左下隅に候補位置を設定したとする。この場合、左方向の探索では、同図に横向きの双方向矢印で示すマスク画像の幅に到達するまでに、不良候補領域の左端に到達する。このため、候補位置から右方向への探索が行われ、これにより、左右方向については探索距離の合計がマスク画像の幅に到達している。
【0097】
このため、左右方向の上記探索に続いて、上下方向の探索が行われる。上下方向の探索は、左右方向の探索範囲の中央から行われる。図５の例では、上下方向の探索距離が、同図に縦向きの双方向矢印で示すマスク画像の高さに到達するまでに、不良候補領域の下端に到達する。このため、Ｓ１７４ではＮＯと判定されて候補位置が再設定される。
【0098】
ここで、図５に示すように、他の領域ｆ２２を挟む２つの不良候補領域のうち下側の方の左隅に候補位置を設定したとする。この場合、左方向の探索で探索距離がマスク画像の幅に到達し、かつ、上下方向の探索で探索距離がマスク画像の高さに到達するから、この候補位置が合成位置と決定される。これにより、例えば、図５に示すような学習用画像Ｈが生成される。学習用画像Ｈは、上述のようにして決定された合成位置に合成用画像が合成されたものであり、不良部分ｈを含んでいる。
【0099】
以上のように、合成位置決定部６０５は、不良候補領域内に合成用画像を合成する候補位置を設定し（Ｓ１７１）、当該候補位置に合成した合成用画像の全体が領域内に収まるか判定し（Ｓ１７４）、収まらなければ候補位置を変更する（Ｓ１７４でＮＯの後のＳ１７１）、という一連の処理を、合成用画像の全体が収まると判定されるまで（Ｓ１７４でＹＥＳと判定されるまで）繰り返すことにより、合成用画像の合成位置を決定する。
【0100】
上記の構成によれば、合成用画像の全体が収まる合成位置を自動で決定し、その合成位置に合成用画像が合成された学習用画像を生成することができる。これにより、学習用画像の一部が前記領域からはみ出した不自然な学習用画像を生成することがなく、妥当な学習用画像を生成することができる。
【0101】
なお、上述の処理では、左右方向の探索範囲の中央を上下方向に探索している。このため、不良候補領域の形状によっては、マスク画像を上述のようにして決定された合成位置に配置したときに、その一部が不良候補領域外となることがあり得る。この場合、Ｓ１７５で合成失敗となり（後述する図６のＳ１７５１でＮＯの分岐）、再度Ｓ１７１で候補位置が設定される。無論、Ｓ１７３において、左右方向の探索範囲全体について上下方向への探索を行ってもよく、これにより上述した合成失敗を回避することができる。
【0102】
（処理の流れ：合成処理）
図５のＳ１７５で行われる合成処理の流れを図６に基づいて説明する。図６は、合成処理の流れを示すフローチャートである。Ｓ１７５１～Ｓ１７５２の処理は、学習用画像の元になる良品画像における合成領域内の各画素について行われ、全ての画素について処理が終了したときに、図６に示す合成処理は終了する。
図５のＳ１７５で行われる合成処理の流れを図６に基づいて説明する。図６は、合成処理の流れを示すフローチャートである。Ｓ１７５１～Ｓ１７５２の処理は、学習用画像の元になる良品画像における合成領域内の各画素について行われ、全ての画素について処理が終了したときに、図６に示す合成処理は終了する。
【0103】
Ｓ１７５１では、画像生成部６０６は、合成領域内の画素のうち、これまでに未選択のものを１つ選択し、その画素が不良候補領域内の画素であるか否かを判定する。選択した画素が不良候補領域内の画素であれば（Ｓ１７５１でＹＥＳ）、Ｓ１７５２に進む。一方、選択した画素が不良候補領域内の画素でなければ（Ｓ１７５１でＮＯ）、合成処理を終了する。この場合、合成失敗となり、図５のＳ１７１における候補位置の設定からやり直しとなる。
【0104】
Ｓ１７５２では、画像生成部６０６は、Ｓ１７５１で選択した画素における合成を行う。例えば、画像生成部６０６は、下記の数式により、学習用画像におけるＲ、Ｇ、Ｂの値を算出してもよい。なお、Ｒ、Ｇ、Ｂの値は何れも０～２５５の範囲とする。
【0105】
（学習用画像のＲ値）＝｛Ｓｒ×（２５５－Ｍ）／２５５}＋Ｎｒ×Ｍ／２５５
（学習用画像のＧ値）＝｛Ｓｇ×（２５５－Ｍ）／２５５}＋Ｎｇ×Ｍ／２５５
（学習用画像のＢ値）＝｛Ｓｂ×（２５５－Ｍ）／２５５}＋Ｎｂ×Ｍ／２５５
上記数式において、Ｓｒ、Ｓｇ、Ｓｂは、学習用画像の元になる良品画像のＲ、Ｇ、Ｂの値であり、Ｎｒ、Ｎｇ、Ｎｂは、合成画像（不良品部分画像）のＲ、Ｇ、Ｂの値であり、Ｍはマスク画像のＲ、Ｇ、Ｂの値である。上記の数式で合成を行う場合、良品画像における、マスク画像の白部分（Ｒ、Ｇ、Ｂの何れの値も２５５）に対応する領域は、不良品部分画像のＲ、Ｇ、Ｂの値と同じ値となる。一方、良品画像における、マスク画像の黒部分（Ｒ、Ｇ、Ｂの何れの値も０）に対応する領域は画素値が変わらない。つまり、上記数式による合成は、マスク画像の白部分は透過度１００％、黒部分は透過度０％とした合成である。マスク画像の透過度は適宜設定することができ、また、マスク画像の透過度を変更することにより、異なる外観の学習用画像を生成することもできる。また、マスク画像を平滑化（境界部分の透過度を０％と１００％以外に）することにより、合成画像における境界部分を滑らかにすることもできる。
（学習用画像のＧ値）＝｛Ｓｇ×（２５５－Ｍ）／２５５}＋Ｎｇ×Ｍ／２５５
（学習用画像のＢ値）＝｛Ｓｂ×（２５５－Ｍ）／２５５}＋Ｎｂ×Ｍ／２５５
上記数式において、Ｓｒ、Ｓｇ、Ｓｂは、学習用画像の元になる良品画像のＲ、Ｇ、Ｂの値であり、Ｎｒ、Ｎｇ、Ｎｂは、合成画像（不良品部分画像）のＲ、Ｇ、Ｂの値であり、Ｍはマスク画像のＲ、Ｇ、Ｂの値である。上記の数式で合成を行う場合、良品画像における、マスク画像の白部分（Ｒ、Ｇ、Ｂの何れの値も２５５）に対応する領域は、不良品部分画像のＲ、Ｇ、Ｂの値と同じ値となる。一方、良品画像における、マスク画像の黒部分（Ｒ、Ｇ、Ｂの何れの値も０）に対応する領域は画素値が変わらない。つまり、上記数式による合成は、マスク画像の白部分は透過度１００％、黒部分は透過度０％とした合成である。マスク画像の透過度は適宜設定することができ、また、マスク画像の透過度を変更することにより、異なる外観の学習用画像を生成することもできる。また、マスク画像を平滑化（境界部分の透過度を０％と１００％以外に）することにより、合成画像における境界部分を滑らかにすることもできる。
【0106】
〔実施形態３〕
本発明の実施形態３について図７～図１１に基づいて説明する。なお、本実施形態に係る判定システムは、画像生成装置４の代わりに画像生成装置７を含む点で実施形態１の判定システム１００と相違している。画像生成装置７は、学習用画像の生成方法が実施形態２の画像生成装置６と相違している。なお、画像生成装置６が備える構成と同様の構成には同じ参照番号を付し、その説明を省略する。
本発明の実施形態３について図７～図１１に基づいて説明する。なお、本実施形態に係る判定システムは、画像生成装置４の代わりに画像生成装置７を含む点で実施形態１の判定システム１００と相違している。画像生成装置７は、学習用画像の生成方法が実施形態２の画像生成装置６と相違している。なお、画像生成装置６が備える構成と同様の構成には同じ参照番号を付し、その説明を省略する。
【0107】
（画像生成装置７の構成）
図７は、本実施形態に係る画像生成装置７の要部構成の一例を示すブロック図である。図示のように、画像生成装置７は、画像生成装置７の各部を統括して制御する制御部７０と、画像生成装置７が使用する各種データを記憶する記憶部７１を備えている。制御部７０には、データ取得部６０１、物体検出部６０２、領域抽出部６０３、色情報生成部７０４、対象領域設定部７０５、および画像生成部７０６が含まれている。また、記憶部７１には基準形状７１１と学習用画像７１２が記憶されている。
図７は、本実施形態に係る画像生成装置７の要部構成の一例を示すブロック図である。図示のように、画像生成装置７は、画像生成装置７の各部を統括して制御する制御部７０と、画像生成装置７が使用する各種データを記憶する記憶部７１を備えている。制御部７０には、データ取得部６０１、物体検出部６０２、領域抽出部６０３、色情報生成部７０４、対象領域設定部７０５、および画像生成部７０６が含まれている。また、記憶部７１には基準形状７１１と学習用画像７１２が記憶されている。
【0108】
色情報生成部７０４は、データ取得部６０１が取得する誤判定不良品画像から、当該誤判定不良品画像に写る不良部分と、当該不良が発生し得るが発生していない正常部分との色の差を示す色情報を生成する。以下、この色情報を差分色情報と呼ぶ。
【0109】
対象領域設定部７０５は、データ取得部６０１が取得する良品画像において、領域抽出部６０３が抽出した不良候補領域の一部または全部を、色を変更する対象とする領域である色変換対象領域に設定する。色変換対象領域の設定方法については後述する。
【0110】
画像生成部７０６は、画像生成部４２、６０６と同様に、データ取得部６０１が取得した誤判定不良品画像に写る不良部分を元に、判定モデル１５の再学習に用いる教師データとして用いられる学習用画像を複数生成する。より詳細には、画像生成部７０６は、対象領域設定部７０５が設定した色変換対象領域における色を、色情報生成部７０４が生成した差分色情報に基づいて変更することにより学習用画像７１２を生成する。
【0111】
基準形状７１１は、対象領域設定部７０５が色変換対象領域の形状を決定する際の基準となる形状である。基準形状７１１は、１つのみ記憶されていてもよいし、複数記憶されていてもよい。基準形状７１１は任意の形状とすることができ、例えば、円、楕円、矩形、多角形、それらを変形したもの、その組み合わせ等を基準形状７１１とすることができる。
【0112】
学習用画像７１２は、判定モデル１５の再学習用の教師データとして用いられる画像であり、画像生成部７０６により生成される。学習用画像７１２の生成方法については後述する。
【0113】
以上のように、画像生成装置７は、データ取得部６０１が取得する誤判定不良品画像から、当該誤判定画像に写る不良部分と、当該不良が発生し得るが発生していない正常部分との色の差を示す差分色情報を生成する色情報生成部７０４と、良品の対象物が写る良品画像から不良候補領域を抽出する領域抽出部６０３と、を備え、画像生成部７０６は、領域抽出部６０３が抽出した不良候補領域の一部または全部における色を、差分色情報に基づいて変更することにより学習用画像７１２を生成する。
【0114】
上記の構成によれば、不良が発生し得る部分が写る所定の色範囲の領域を抽出して、その領域の一部または全部の色を、不良部分と正常部分との色の差を示す差分色情報に基づいて変更することにより学習用画像７１２を生成する。よって、データ取得部６０１が取得した誤判定不良品画像における不良部分と同様の不良を色の差により再現した妥当な学習用画像７１２を生成することができる。
【0115】
（処理の流れ：色情報生成）
図８に基づいて色情報の生成処理（画像生成方法の前半部）について説明する。図８は、差分色情報の生成処理を説明する図である。なお、図８には、差分色情報の生成処理の流れを示すフローチャートと共に、不良品画像Ｋにおける不良部分と正常部分の選択例を示している。
図８に基づいて色情報の生成処理（画像生成方法の前半部）について説明する。図８は、差分色情報の生成処理を説明する図である。なお、図８には、差分色情報の生成処理の流れを示すフローチャートと共に、不良品画像Ｋにおける不良部分と正常部分の選択例を示している。
【0116】
Ｓ２１では、データ取得部６０１が、判定装置１が良品と誤判定した画像、すなわち不良品画像を取得する。ここでは、例えば図８に示す不良品画像Ｋが取得されたとする。不良品画像Ｋは、図４に示した対象物Ｆと同様の形状で不良品である対象物を撮影した画像である。不良品画像Ｋには、対象物の上面頂部の像ｋ１と、対象物の凹部の像ｋ２が写っている。また、不良品画像Ｋには不良部分ｋ３が写っている。
【0117】
Ｓ２２では、色情報生成部７０４が、Ｓ２１で取得された不良品画像Ｋを任意の表示装置に表示させる。例えば、出力部６４が表示装置である場合、色情報生成部７０４は、出力部に不良品画像Ｋを表示出力させればよい。これにより、画像生成装置７のオペレータは、不良品画像Ｋとこれに写る不良部分ｋ３を認識することができる。
【0118】
Ｓ２３では、色情報生成部７０４は、Ｓ２２で表示させた不良品画像Ｋにおける不良部分ｋ３の選択を受け付ける。不良部分ｋ３の選択は、例えば表示させた不良品画像Ｋにおける不良部分ｋ３を、入力部６３を介した入力操作により指定させることで行えばよい。例えば、図８に示すようなカーソルｋ４で不良部分ｋ３を選択してもよい。
【0119】
Ｓ２４では、色情報生成部７０４は、Ｓ２３で選択された不良部分ｋ３の色情報を取得する。なお、以下では、不良部分ｋ３の色情報を不良部色情報と呼ぶ。不良部色情報は、不良部分ｋ３のＲＧＢ値であってもよいし、ＲＧＢ値を変換したものであってもよい。例えば、色情報生成部７０４は、不良部分ｋ３のＲＧＢ値をＨＳＶ値に変換して不良部色情報としてもよい。
【0120】
Ｓ２５では、色情報生成部７０４は、Ｓ２２で表示させた不良品画像Ｋにおける正常部分（不良が発生し得るが発生していない部分）の選択を受け付ける。正常部分の選択は、不良部分ｋ３の選択と同様に行えばよい。
【0121】
Ｓ２６では、色情報生成部７０４は、Ｓ２５で選択された正常部分の色情報を取得する。なお、以下では、正常部分の色情報を正常部色情報と呼ぶ。正常部色情報は、不良部分色情報と同様の情報であればよく、ＲＧＢ値であってもよいし、ＲＧＢ値を変換したものであってもよい。例えば、不良部色情報が不良部分ｋ３のＨＳＶ値を示すものである場合、正常部色情報についても正常部分のＨＳＶ値を示すものとする。なお、Ｓ２５およびＳ２６の処理は、Ｓ２３およびＳ２４の処理よりも先に行ってもよい。
【0122】
Ｓ２７では、色情報生成部７０４は、不良部分と正常部分の色差を示す差分色情報を生成する。具体的には、色情報生成部７０４は、Ｓ２４で取得した不良部色情報と、Ｓ２６で取得した正常部色情報の差分を差分色情報としてもよい。差分色情報を（Ｔｈ，Ｔｓ，Ｔｖ）の形式で表す場合、Ｔｈ、Ｔｓ、Ｔｖは、それぞれ下記の数式で表される。
Ｔｈ＝Ｏｈ－Ｎｈ
Ｔｓ＝Ｏｓ－Ｎｓ
Ｔｖ＝Ｏｖ－Ｎｖ
なお、Ｔｈ、Ｔｓ、Ｔｖは、それぞれ差分色情報におけるＨ（色相）値、Ｓ（彩度）値、Ｖ（明度）値である。また、Ｏｈ、Ｏｓ、Ｏｖは、それぞれ正常部情報におけるＨ値、Ｓ値、Ｖ値であり、Ｎｈ、Ｎｓ、Ｎｖは、それぞれ不良部色情報におけるＨ値、Ｓ値、Ｖ値である。
Ｔｈ＝Ｏｈ－Ｎｈ
Ｔｓ＝Ｏｓ－Ｎｓ
Ｔｖ＝Ｏｖ－Ｎｖ
なお、Ｔｈ、Ｔｓ、Ｔｖは、それぞれ差分色情報におけるＨ（色相）値、Ｓ（彩度）値、Ｖ（明度）値である。また、Ｏｈ、Ｏｓ、Ｏｖは、それぞれ正常部情報におけるＨ値、Ｓ値、Ｖ値であり、Ｎｈ、Ｎｓ、Ｎｖは、それぞれ不良部色情報におけるＨ値、Ｓ値、Ｖ値である。
【0123】
例えば、正常部色情報が（Ｈ：５３，Ｓ：２８，Ｖ：６８）であり、不良部色情報が（Ｈ：４３，Ｓ：５６，Ｖ：６３）であったとする。この場合、差分色情報は、（Ｈ：１０，Ｓ：－２８，Ｖ：５）となる。この例では、不良部分において、Ｈ（色相）が正常部分よりも小さい値（赤みかかった色）になっており、かつ、Ｓ（彩度）が正常部分よりも大きい値（濃い色）になっている。差分色情報の生成により図８の処理は終了する。
【0124】
なお、不良の種類に応じて正常部との色の差異の現れ方は異なっている。このため、色情報生成部７０４は、検出したい不良の種類に応じて、正常部との色の差異を識別しやすい差分色情報を生成することが好ましい。
【0125】
（処理の流れ：全体）
図９に基づいて画像生成装置７が実行する処理（画像生成方法の後半部）の流れを説明する。図９は、画像生成装置７が実行する処理を説明する図である。なお、図９には、画像生成装置７が実行する処理の流れを示すフローチャートと共に、良品画像から対象物が写る部分を切り出した良品部分画像Ｍ、良品部分画像Ｍから生成した二値化画像Ｍ１、および良品部分画像Ｍから生成した学習用画像Ｎの例を示している。
図９に基づいて画像生成装置７が実行する処理（画像生成方法の後半部）の流れを説明する。図９は、画像生成装置７が実行する処理を説明する図である。なお、図９には、画像生成装置７が実行する処理の流れを示すフローチャートと共に、良品画像から対象物が写る部分を切り出した良品部分画像Ｍ、良品部分画像Ｍから生成した二値化画像Ｍ１、および良品部分画像Ｍから生成した学習用画像Ｎの例を示している。
【0126】
Ｓ３１～Ｓ３５の処理は、学習用画像の元になる複数の良品画像のそれぞれについて行われ、全ての良品画像から学習用画像が生成されると終了する。なお、Ｓ３１～Ｓ３３は、図４のＳ１３～Ｓ１５とそれぞれ同様であるからここでは説明を繰り返さない。
【0127】
Ｓ３４では、対象領域設定部７０５が、色を変更する対象とする色変換対象領域を設定する。例えば、図９に示す二値化画像Ｍ１では、破線枠で示す色変換対象領域ｍ１３が設定されている。この色変換対象領域ｍ１３は、Ｓ３３で抽出された、不良が発生し得る領域すなわち不良候補領域ｍ１１と他の領域ｍ１２の両方にまたがっている。このように、色変換対象領域ｍ１３は、その少なくとも一部が不良候補領域ｍ１１に含まれていればよく、必ずしも色変換対象領域ｍ１３の全体が不良候補領域ｍ１１に含まれている必要はない。
【0128】
Ｓ３５では、画像生成部７０６が、Ｓ３３で抽出された不良候補領域の一部または全部における色を、図８のＳ２７で色情報生成部７０４が生成した差分色情報に基づいて変更することにより学習用画像７１２を生成する。
【0129】
例えば、図９に示すように、二値化画像Ｍ１に色変換対象領域ｍ１３を設定した場合、色変換対象領域ｍ１３内の各画素の色が変更された学習用画像Ｎが生成される。学習用画像Ｎには、対象物の上面頂部の像ｎ１と対象物の凹部の像ｎ２が写っており、このうち像ｎ１上には、Ｓ３５における変色処理により生じた不良部分ｎ３が含まれている。
【0130】
（処理の流れ：色変換対象領域の設定）
図９のＳ３４で行われる色変換対象領域の設定処理の流れを図１０に基づいて説明する。図１０は、色変換対象領域の設定処理を説明する図である。なお、図１０には、色変換対象領域の設定処理の流れを示すフローチャートと共に、二値化画像Ｐにおける色変換対象領域の設定例を示している。
図９のＳ３４で行われる色変換対象領域の設定処理の流れを図１０に基づいて説明する。図１０は、色変換対象領域の設定処理を説明する図である。なお、図１０には、色変換対象領域の設定処理の流れを示すフローチャートと共に、二値化画像Ｐにおける色変換対象領域の設定例を示している。
【0131】
Ｓ３４１では、対象領域設定部７０５は、基準位置を設定する。基準位置は、図９のＳ３３で抽出された不良候補領域内に設定してもよい。基準位置の設定方法は任意であり、例えば、対象領域設定部７０５は、乱数を用いて基準位置を設定してもよい。図１０に示す二値化画像Ｐにおいては、上下２つの不良候補領域ｐ１とそれらに挟まれる他の領域ｐ２のうち、下側の不良候補領域ｐ１に基準位置ｐ３が設定されている。
【0132】
Ｓ３４２では、対象領域設定部７０５は、記憶部７１に記憶されている基準形状７１１の中から色変換対象領域の設定に使用するものを選択する。ここでは、生成したい学習用画像に応じた基準形状７１１を選択すればよく、その選択方法は特に限定されない。例えば、任意の形状の不良部分を含む学習用画像を生成する場合には、対象領域設定部７０５は、記憶部７１に記憶されている基準形状７１１の中から使用するものをランダムに選択する構成とすればよい。また、所定の形状の不良部分を含む学習用画像を生成する場合には、対象領域設定部７０５は、記憶部７１に記憶されている基準形状７１１の中から所定の形状のもの、あるいは所定の形状に近い形状のものを選択する構成とすればよい。
【0133】
Ｓ３４３では、対象領域設定部７０５は、Ｓ３４２で選択した基準形状７１１の形状変換を行う。変換後の形状が色変換対象領域の形状となる。色変換対象領域の位置はＳ３４１で設定されているから、Ｓ３４３の処理により色変換対象領域の形状が決定されることにより、色変換対象領域の位置と形状が確定する。なお、基準形状７１１が１つのみであればＳ３４２の処理は不要である。また、基準形状７１１の形状変換が不要であればＳ３４３の処理は不要である。
【0134】
Ｓ３４２とＳ３４３の処理に関して、図１０には、基準形状７１１の例として、四隅が丸い四角形状の基準形状Ｑ１と、円形の基準形状Ｑ２を示している。このような基準形状７１１が選択可能である場合に、Ｓ３４２において基準形状Ｑ１が選択されたとする。この場合、Ｓ３４３では、基準形状Ｑ１の形状変換が行われる。
【0135】
形状変換の方法は特に限定されない。例えば、基準形状Ｑ１の頂点の位置を所定の規則に従ってあるいはランダムにずらしてもよい。また、例えば、基準形状Ｑ１に回転変換を施してもよく、この場合の回転角は所定の規則に従って設定してもよいし、ランダムに設定してもよい。また、基準形状Ｑ１をアフィン変換等の任意の変形手法により変形させてもよい。なお、上述の各手法は、単体で適用してもよいし、組み合わせて適用してもよい。
【0136】
図１０に示す変換後の基準形状Ｑ１１は、基準形状Ｑ１の４頂点の位置をランダムで変更した上で、ランダムに選択した回転角度で回転し、さらにアフィン変換により変形させたものである。この変換後の基準形状Ｑ１１の領域が基準位置ｐ３の位置に配置されると、図１０に示すような色変換対象領域ｐ４が確定する。このように、本実施形態の画像生成方法によれば、任意の形状の不良品部分を含む学習用画像を生成することができる。このため、本実施形態の画像生成方法は、形状や範囲が不定の不良（例えば変色や汚れ等）に有効である。
【0137】
（処理の流れ：学習用画像生成）
図９のＳ３５で行われる学習用画像生成処理の流れを図１１に基づいて説明する。図１１は、学習用画像生成処理の流れを示すフローチャートである。Ｓ３５１～Ｓ３５４の処理は、学習用画像の元になる良品画像における色変換対象領域内の各画素について行われ、全ての画素について処理が終了したときに、図１１に示す学習用画像生成処理は終了する。なお、図１１に示す学習用画像生成処理は、差分色情報がＨＳＶ値で表されている場合の処理である。差分色情報がＲＧＢ値で表されている場合、Ｓ３５２とＳ３５４の処理は不要である。
図９のＳ３５で行われる学習用画像生成処理の流れを図１１に基づいて説明する。図１１は、学習用画像生成処理の流れを示すフローチャートである。Ｓ３５１～Ｓ３５４の処理は、学習用画像の元になる良品画像における色変換対象領域内の各画素について行われ、全ての画素について処理が終了したときに、図１１に示す学習用画像生成処理は終了する。なお、図１１に示す学習用画像生成処理は、差分色情報がＨＳＶ値で表されている場合の処理である。差分色情報がＲＧＢ値で表されている場合、Ｓ３５２とＳ３５４の処理は不要である。
【0138】
Ｓ３５１では、画像生成部７０６は、色変換対象領域内の画素のうち、これまでに未選択のものを１つ選択し、その画素が不良候補領域内の画素であるか否かを判定する。選択した画素が不良候補領域内の画素であれば（Ｓ３５１でＹＥＳ）、Ｓ３５２に進む。一方、画像生成部７０６は、選択した画素が不良候補領域内の画素でなければ（Ｓ３５１でＮＯ）、これまでに未選択の画素を選択する処理からやり直す。
【0139】
Ｓ３５２では、画像生成部７０６は、Ｓ３５１で選択した画素のＲＧＢ値をＨＳＶ値に変換する。続いて、Ｓ３５３では、画像生成部７０６は、Ｓ３５２の変換により得たＨＳＶ値を、図８のＳ２７で生成された差分色情報に基づいて変換する。そして、Ｓ３５４では、画像生成部７０６は、Ｓ３５３の変換により得たＨＳＶ値をＲＧＢ値に戻す変換を行う。
【0140】
Ｓ３５３における変換は、例えば下記の式によって行ってもよい。
Ｄｈ＝Ｓｈ－Ｔｈ＋Ｒｈ
Ｄｓ＝Ｓｓ－Ｔｓ＋Ｒｓ
Ｄｖ＝Ｓｖ－Ｔｖ＋Ｒｖ
なお、Ｄｈ、Ｄｓ、Ｄｖは、それぞれ変換後の画素におけるＨ（色相）値、Ｓ（彩度）値、Ｖ（明度）値である。また、Ｓｈ、Ｓｓ、Ｓｖは、変換前の良品画像のＨ値、Ｓ値、Ｖ値であり、Ｔｈ、Ｔｓ、Ｔｖは、差分色情報のＨ値、Ｓ値、Ｖ値である。そして、Ｒｈ、Ｒｓ、Ｒｖは、乱数を用いて決定した値であり、学習用画像に変化をつけるために加算している。例えば、画像生成部７０６は、図１１のループ開始前に乱数により、Ｒｈ、Ｒｓ、Ｒｖの各値を決定してもよい。なお、Ｒｈ、Ｒｓ、Ｒｖの各値は、生成される学習用画像が、その元になった不良品画像とかけ離れたものとならない程度の値にしておく。例えば、－５～＋５の範囲で乱数によりＲｈ、Ｒｓ、Ｒｖの各値を設定してもよい。この範囲は、設定で変更できるようにしてもよい。無論、Ｒｈ、Ｒｓ、Ｒｖを加算せずに学習用画像の画素値を算出してもよい。
Ｄｈ＝Ｓｈ－Ｔｈ＋Ｒｈ
Ｄｓ＝Ｓｓ－Ｔｓ＋Ｒｓ
Ｄｖ＝Ｓｖ－Ｔｖ＋Ｒｖ
なお、Ｄｈ、Ｄｓ、Ｄｖは、それぞれ変換後の画素におけるＨ（色相）値、Ｓ（彩度）値、Ｖ（明度）値である。また、Ｓｈ、Ｓｓ、Ｓｖは、変換前の良品画像のＨ値、Ｓ値、Ｖ値であり、Ｔｈ、Ｔｓ、Ｔｖは、差分色情報のＨ値、Ｓ値、Ｖ値である。そして、Ｒｈ、Ｒｓ、Ｒｖは、乱数を用いて決定した値であり、学習用画像に変化をつけるために加算している。例えば、画像生成部７０６は、図１１のループ開始前に乱数により、Ｒｈ、Ｒｓ、Ｒｖの各値を決定してもよい。なお、Ｒｈ、Ｒｓ、Ｒｖの各値は、生成される学習用画像が、その元になった不良品画像とかけ離れたものとならない程度の値にしておく。例えば、－５～＋５の範囲で乱数によりＲｈ、Ｒｓ、Ｒｖの各値を設定してもよい。この範囲は、設定で変更できるようにしてもよい。無論、Ｒｈ、Ｒｓ、Ｒｖを加算せずに学習用画像の画素値を算出してもよい。
【0141】
（学習用画像７１２の生成方法の他の例）
基準形状７１１を用いずに学習用画像７１２を生成することもできる。この場合、対象領域設定部７０５は、不良候補領域内における所定の色範囲の画素からなる連続領域を色変換対象領域に設定してもよい。
基準形状７１１を用いずに学習用画像７１２を生成することもできる。この場合、対象領域設定部７０５は、不良候補領域内における所定の色範囲の画素からなる連続領域を色変換対象領域に設定してもよい。
【0142】
具体的には、対象領域設定部７０５は、まず、良品画像を二値化した二値化画像において、不良候補領域内の画素を選択してもよい。以下ではこの画素を第１画素と呼ぶ。例えば、図１０の例における二値化画像Ｐを用いて学習用画像７１２を生成する場合、画像生成部７０６は、不良候補領域ｐ１内で第１画素を選択する。第１画素はランダムに選択してもよい。このとき、色情報生成部７０４は、予め取得された不良部分の色情報と、第１画素の色情報から、差分色情報を生成してもよい。
【0143】
次に、対象領域設定部７０５は、第１画素と、第１に隣接する第２画素との色情報の差が所定の範囲内であるか否かを判定し、範囲内であればさらに隣の第３画素について同じ判定を行う。この判定を、色情報の差が所定の範囲外となるまで繰り返すことにより、色変換対象領域を設定することができる。なお、設定する色変換対象領域の幅および高さの上限は予め定めておけばよい。
【0144】
色変換対象領域が設定された後は、画像生成部７０６が、色変換対象領域内の各画素の色を変更して学習用画像７１２を生成する。例えば、画像生成部７０６は、まず、予め取得された不良部分の色情報と、第１画素の色情報から生成された差分色情報を用いて、第１画素の色を変更してもよい。そして、画像生成部７０６は、その周りの色変換対象領域の各画素については、上記不良部分の色情報を基準として、第１画素の色情報との差分値（相対値）を用いて色を変更してもよい。
【0145】
なお、色を変更する部分と変更しない部分との境界は平滑化することが好ましい。これにより、色を変更する部分と変更しない部分との境界が滑らかにつながった自然な学習用画像７１２を生成することができる。
【0146】
〔変形例〕
（システム構成について）
上述の各実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、上述の各実施形態で説明した各処理を実行可能であれば、判定システムを構成する装置は適宜変更することができる。
（システム構成について）
上述の各実施形態で説明した各処理の実行主体は任意であり、上述の例に限られない。つまり、上述の各実施形態で説明した各処理を実行可能であれば、判定システムを構成する装置は適宜変更することができる。
【0147】
例えば、図１の判定システム１００では、判定装置１と記憶装置２とデータ収集装置３とをそれぞれ別の装置としているが、これらを１つの判定装置として構成してもよい。同様に、画像生成装置４と学習装置５を１つの学習装置として構成してもよい。この場合、判定装置は対象物の複数の生産工場のそれぞれに配置し、学習装置はそれらの生産工場の管理施設に配置してもよい。これにより、１つの管理施設により、複数の生産工場における対象物の判定精度を維持または向上させることができる。
【0148】
また、上述の各実施形態では、１つの判定モデルで複数の不良の種類を判定する例を記載したが、不良の種類ごとに判定モデルを構築しておき、各種類の不良を、その不良の検出用の判定モデルにより検出するようにしてもよい。
【0149】
また、上述の各実施形態において、再学習を行うタイミングは任意である。例えば、判定モデルが出力する確信度を自動監視し、確信度が低下したタイミングで判定システム１００のオペレータにその旨を通知して再学習を促すようにしてもよい。また、例えば、判定システム１００のオペレータが、対象物が追加や変更されたとき、新しい種類の不良が見つかったとき等に再学習を行わせるようにしてもよい。
【0150】
（合成用画像について）
上述の各実施形態では、不良品部分画像とマスク画像をそのまま、あるいはこれらに変換処理を施したものを合成用画像とする例を説明したが、マスク画像を用いることは必須ではない。例えば、不良品画像に写る不良品部分をトリミングして合成用画像としてもよい。無論、この場合も、不良品部分に変換処理を施してもよい。
上述の各実施形態では、不良品部分画像とマスク画像をそのまま、あるいはこれらに変換処理を施したものを合成用画像とする例を説明したが、マスク画像を用いることは必須ではない。例えば、不良品画像に写る不良品部分をトリミングして合成用画像としてもよい。無論、この場合も、不良品部分に変換処理を施してもよい。
【0151】
〔ソフトウェアによる実現例〕
判定装置１、データ収集装置３、学習装置５、および画像生成装置４、６、７、（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に図１に示される各部、図３の制御部６０に含まれる各部、および図７の制御部７０に含まれる各部）としてコンピュータを機能させるためのプログラム（画像生成プログラム）により実現することができる。
判定装置１、データ収集装置３、学習装置５、および画像生成装置４、６、７、（以下、「装置」と呼ぶ）の機能は、当該装置としてコンピュータを機能させるためのプログラムであって、当該装置の各制御ブロック（特に図１に示される各部、図３の制御部６０に含まれる各部、および図７の制御部７０に含まれる各部）としてコンピュータを機能させるためのプログラム（画像生成プログラム）により実現することができる。
【0152】
この場合、上記装置は、上記プログラムを実行するためのハードウェアとして、少なくとも１つの制御装置（例えばプロセッサ）と少なくとも１つの記憶装置（例えばメモリ）を有するコンピュータを備えている。この制御装置と記憶装置により上記プログラムを実行することにより、上記各実施形態で説明した各機能が実現される。
【0153】
上記プログラムは、一時的ではなく、コンピュータ読み取り可能な、１または複数の記録媒体に記録されていてもよい。この記録媒体は、上記装置が備えていてもよいし、備えていなくてもよい。後者の場合、上記プログラムは、有線または無線の任意の伝送媒体を介して上記装置に供給されてもよい。
【0154】
また、上記各制御ブロックの機能の一部または全部は、論理回路により実現することも可能である。例えば、上記各制御ブロックとして機能する論理回路が形成された集積回路も本発明の範疇に含まれる。この他にも、例えば量子コンピュータにより上記各制御ブロックの機能を実現することも可能である。
【0155】
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【符号の説明】
【0156】
１００ 判定システム
１ 判定装置
１５ 判定モデル
３ データ収集装置
４ 画像生成装置
４１ データ取得部
４２ 画像生成部
５ 学習装置
６ 画像生成装置
６０１ データ取得部
６０３ 領域抽出部
６０４ 合成用画像生成部
６０５ 合成位置決定部
６０６ 画像生成部
６１１ 学習用画像
７ 画像生成装置
７０４ 色情報生成部
７０６ 画像生成部
７１２ 学習用画像
１ 判定装置
１５ 判定モデル
３ データ収集装置
４ 画像生成装置
４１ データ取得部
４２ 画像生成部
５ 学習装置
６ 画像生成装置
６０１ データ取得部
６０３ 領域抽出部
６０４ 合成用画像生成部
６０５ 合成位置決定部
６０６ 画像生成部
６１１ 学習用画像
７ 画像生成装置
７０４ 色情報生成部
７０６ 画像生成部
７１２ 学習用画像
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】