特許 6544716 データ生成装置、データ生成方法及びデータ生成プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6544716

(24)【登録日】2019年6月28日

(45)【発行日】2019年7月17日

(54)【発明の名称】データ生成装置、データ生成方法及びデータ生成プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20190705BHJP

【ＦＩ】

   G06T7/00 350B

【請求項の数】13

【全頁数】33

(21)【出願番号】特願2017-240507(P2017-240507)

(22)【出願日】2017年12月15日

(65)【公開番号】特開2019-109577(P2019-109577A)

(43)【公開日】2019年7月4日

【審査請求日】2019年4月1日

【早期審査対象出願】

(73)【特許権者】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(74)【代理人】

【識別番号】100139066

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】半澤 雄希

(72)【発明者】

【氏名】栗田 真嗣

【審査官】 村松 貴士

(56)【参考文献】

【文献】 特開２０１４−１７８９５７（ＪＰ，Ａ）

【文献】 特開２０１６−１０９４９５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

検査対象物の画像と前記検査対象物に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器によって、前記検査対象物の複数の画像に基づいて前記検査対象物に検出対象部位が含まれているか否かを判定する判定部と、
２以上の異なる撮像条件で前記検査対象物を撮像した前記複数の画像を取得する取得部と、
前記判定部によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成する生成部と、
を備えるデータ生成装置。

【請求項2】

前記判定部は、前記複数の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定する場合に、前記検出対象部位の種類を判定し、
前記生成部は、前記判定部によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定され、前記検出対象部位の種類が判定された場合に、前記検出対象部位の種類に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項１に記載のデータ生成装置。

【請求項3】

前記判定部は、前記複数の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定する場合に、前記検出対象部位の位置を判定し、
前記生成部は、前記判定部によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定され、前記検出対象部位の位置が判定された場合に、前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項１又は２に記載のデータ生成装置。

【請求項4】

前記撮像条件は、前記検査対象物を照らす照明条件を含み、
前記生成部は、前記判定部によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記複数の画像に含まれる他の画像の前記照明条件を、前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項１から３のいずれか一項に記載のデータ生成装置。

【請求項5】

前記撮像条件は、前記検査対象物と撮像装置との相対的な配置条件を含み、
前記複数の画像の前記配置条件に基づいて、前記複数の画像のうち一枚の画像における前記検出対象部位の位置を、前記複数の画像に含まれる他の画像における前記検出対象部位の位置に変換する変換部をさらに備え、
前記生成部は、前記判定部によって前記一枚の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記変換部により変換された前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項３に記載のデータ生成装置。

【請求項6】

前記複数の画像の対応関係に基づいて、前記複数の画像のうち一枚の画像における前記検出対象部位の位置を、前記複数の画像に含まれる他の画像における前記検出対象部位の位置に変換する変換部をさらに備え、
前記生成部は、前記判定部によって前記一枚の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記変換部により変換された前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項３に記載のデータ生成装置。

【請求項7】

前記生成部は、前記検査対象物の３次元モデルに基づいて、前記複数の画像において前記検出対象部位が隠れず撮像できるか否かを判定し、前記検出対象部位が隠れず撮像できると判定された場合に、前記変換部により変換された前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項５又は６に記載のデータ生成装置。

【請求項8】

前記判定部によって前記複数の画像のうちいずれか一枚の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記一枚の画像と前記複数の画像の前記撮像条件の差が閾値以下であるか否かを評価する評価部をさらに備え、
前記生成部は、前記複数の画像のうち、前記評価部により前記撮像条件の差が閾値以下であると評価された画像に前記検出対象部位に関する情報を関連付けて、前記新たな学習用データを生成する、
請求項１から７のいずれか一項に記載のデータ生成装置。

【請求項9】

前記判定部により、前記複数の画像のうち２以上の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記２以上の画像についての前記判定部による判定結果の信頼度に応じて、前記２以上の画像からいずれか一枚を選択し、選択した一枚の画像から得られる前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項１から８のいずれか一項に記載のデータ生成装置。

【請求項10】

前記判定部により、前記複数の画像のうち２以上の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記２以上の画像について前記判定部により前記検出対象部位が含まれると判定された領域の面積に応じて、前記２以上の画像からいずれか一枚を選択し、選択した一枚の画像から得られる前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
請求項１から８のいずれか一項に記載のデータ生成装置。

【請求項11】

前記検出対象部位は、前記検査対象物に含まれる欠陥の部位であり、
前記生成部により前記複数の画像に含まれる他の画像に関連付けられた前記欠陥に関する情報について、修正操作を受け付ける入力部をさらに備え、
前記生成部は、前記修正操作に基づいて、前記複数の画像に含まれる他の画像に関連付ける前記欠陥に関する情報を修正して、前記新たな学習用データを生成する、
請求項１から１０のいずれか一項に記載のデータ生成装置。

【請求項12】

検査対象物の画像と前記検査対象物画像に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器によって、前記検査対象物の複数の画像に基づいて前記検査対象物に検出対象部位が含まれているか否かを判定することと、
２以上の異なる撮像条件で前記検査対象物を撮像した前記複数の画像を取得することと、
前記判定することによって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成することと、
を含むデータ生成方法。

【請求項13】

データ生成装置に備えられた演算装置を、
検査対象物の画像と前記検査対象物画像に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器によって、前記検査対象物の複数の画像に基づいて前記検査対象物に検出対象部位が含まれているか否かを判定する判定部、
２以上の異なる撮像条件で前記検査対象物を撮像した前記複数の画像を取得する取得部、及び
前記判定部によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成する生成部、
として動作させるデータ生成プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

データ生成装置、データ生成方法及びデータ生成プログラムに関する。

【背景技術】

【0002】

近年、ニューラルネットワーク等の識別器を用いて画像の識別を行う技術が研究されている。識別器は、画像と、その画像のラベルとを含むデータ（教師データ）を用いて学習されることがある。

【0003】

画像の識別を行う識別器に関して、下記特許文献１には、外観の良否が既知の対象物に対して、少なくとも２つの異なる撮影条件で撮影された画像に基づく少なくとも２つの画像のそれぞれから当該画像の特徴量を抽出し、抽出された特徴量を跨る特徴量から、対象物の良否を判定するための特徴量を選択し、選択された特徴量に基づいて、対象物の良否を判定する識別器を生成する識別器生成装置が記載されている。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１７−４９９７４号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

学習用データを用いて生成された識別器によって検査対象物に含まれる欠陥等の検出対象部位の識別を行う場合、検査対象物の画像を撮像して、画像に基づいて検査対象物に検出対象部位が含まれているか否かを識別器によって識別することがある。検査対象物の画像は、様々な撮像条件で撮像されることがあり、撮像条件に応じて検出対象部位の識別し易さが変化することがある。そのため、同じ検査対象物を撮像した画像であっても、撮像条件が異なると、ある画像については識別器によって正しく検出対象部位を識別できるが、他の画像については識別器によって検出対象部位を識別できず、検出対象部位を見逃してしまう誤判定が生じることがある。

【0006】

そこで、本発明は、撮像条件が異なっても検出対象部位を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に生成するデータ生成装置、データ生成方法及びデータ生成プログラムを提供する。

【課題を解決するための手段】

【0007】

本開示の一態様に係るデータ生成装置は、検査対象物の画像と検査対象物に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器によって、検査対象物の複数の画像に基づいて検査対象物に検出対象部位が含まれているか否かを判定する判定部と、２以上の異なる撮像条件で検査対象物を撮像した複数の画像を取得する取得部と、判定部によって複数の画像のうちいずれかに基づいて検査対象物に検出対象部位が含まれていると判定された場合に、検出対象部位に関する情報を複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成する生成部と、を備える。ここで、撮像条件は、検査対象物をどのような方向から、どのような距離で撮像したかを特定する条件であったり、照明器具によりどのような明るさで検査対象物を照らしたかを特定する条件であったりしてよい。また、学習用データは、識別器に入力される画像データと、少なくとも当該画像データに関する正しい判定結果を示し、識別器の出力と比較可能なデータと、を含む。また、検出対象部位は、検査対象物に含まれる任意の部位であってよく、例えば、検査対象物に含まれる欠陥の部位であってよい。

【0008】

この態様によれば、判定部によって、ある撮像条件で検査対象物を撮像した画像に基づいて検査対象物に検出対象部位が含まれていると判定された場合に、当該画像のみならず、他の撮像条件で検査対象物を撮像した画像に対しても検出対象部位に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な撮像条件で検査対象物を撮像した画像に対して検出対象部位に関する情報を関連付けて複数の学習用データを生成することができ、撮像条件が異なっても検出対象部位を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0009】

上記態様において、判定部は、複数の画像に基づいて検査対象物に検出対象部位が含まれていると判定する場合に、検出対象部位の種類を判定し、生成部は、判定部によって複数の画像のうちいずれかに基づいて検査対象物に検出対象部位が含まれていると判定され、検出対象部位の種類が判定された場合に、検出対象部位の種類に関する情報を複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成してもよい。ここで、検出対象部位の種類に関する情報は、例えば検出対象部位が欠陥の場合、検査対象物に含まれる欠陥が、キズ、色等のムラ、汚れ、欠け、バリ、異物、印字のかすれ、印字等の位置ずれ等のいずれであるかを特定する情報であってよい。

【0010】

この態様によれば、判定部によって、ある撮像条件で検査対象物を撮像した画像に基づいて検査対象物に含まれている検出対象部位の種類が判定された場合に、当該画像のみならず、他の撮像条件で検査対象物を撮像した画像に対しても検出対象部位の種類に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な撮像条件で検査対象物を撮像した画像に対して検出対象部位の種類に関する情報を関連付けて複数の学習用データを生成することができ、撮像条件が異なっても検出対象部位の種類を誤判定しづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0011】

上記態様において、判定部は、複数の画像に基づいて検査対象物に検出対象部位が含まれていると判定する場合に、検出対象部位の位置を判定し、生成部は、判定部によって複数の画像のうちいずれかに基づいて検査対象物に検出対象部位が含まれていると判定され、検出対象部位の位置が判定された場合に、検出対象部位の位置に関する情報を複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成してもよい。ここで、検出対象部位の位置に関する情報は、画像上での検出対象部位に相当する領域を示す枠形状であってよい。

【0012】

この態様によれば、判定部によって、ある撮像条件で検査対象物を撮像した画像に基づいて検査対象物に含まれている検出対象部位の位置が判定された場合に、当該画像のみならず、他の撮像条件で検査対象物を撮像した画像に対しても検出対象部位の位置に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な撮像条件で検査対象物を撮像した画像に対して検出対象部位の位置に関する情報を関連付けて複数の学習用データを生成することができ、撮像条件が異なっても検出対象部位の位置を誤判定しづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0013】

上記態様において、撮像条件は、検査対象物を照らす照明条件を含み、生成部は、判定部によって複数の画像のうちいずれかに基づいて検査対象物に検出対象部位が含まれていると判定された場合に、複数の画像に含まれる他の画像の照明条件を、複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成してもよい。ここで、照明条件は、照明器具の種類や、全点灯や半分点灯等の照明器具の使用方法に関する条件であってよい。

【0014】

この態様によれば、判定部によって、ある照明条件で検査対象物を撮像した画像に基づいて検査対象物に検出対象部位が含まれていると判定された場合に、当該画像のみならず、他の照明条件で検査対象物を撮像した画像に対しても検出対象部位に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な照明条件で検査対象物を撮像した画像に対して検出対象部位に関する情報を関連付けて複数の学習用データを生成することができ、照明条件が異なっても検出対象部位を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0015】

上記態様において、撮像条件は、検査対象物と撮像装置との相対的な配置条件を含み、複数の画像の配置条件に基づいて、複数の画像のうち一枚の画像における検出対象部位の位置を、複数の画像それぞれにおける検出対象部位の位置に変換する変換部をさらに備え、生成部は、判定部によって一枚の画像に基づいて検査対象物に検出対象部位が含まれていると判定された場合に、変換部により変換された検出対象部位の位置に関する情報を複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成してもよい。ここで、配置条件は、検査対象物と撮像装置との相対的な方向及び距離を特定する条件であってよい。また、検出対象部位の位置の変換は、一枚の画像における検査対象物と撮像装置の相対的な位置関係を、他の画像における検査対象物と撮像装置の相対的な位置関係に変換する座標変換のパラメータを算出して、算出したパラメータに従って、一枚の画像における検出対象部位の位置を、複数の画像それぞれにおける検出対象部位の位置に変換することにより行ってよい。

【0016】

この態様によれば、判定部によって、ある方向から検査対象物を撮像した画像に基づいて検査対象物に含まれている検出対象部位の位置が判定された場合に、当該画像のみならず、他の方向から検査対象物を撮像した画像に対しても検出対象部位の位置に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な方向から検査対象物を撮像した画像に対して検出対象部位の位置に関する情報を関連付けて複数の学習用データを生成することができ、撮像する方向が異なっても検出対象部位の位置を誤判定しづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0017】

上記態様において、複数の画像の対応関係に基づいて、複数の画像のうち一枚の画像における検出対象部位の位置を、複数の画像に含まれる他の画像における検出対象部位の位置に変換する変換部をさらに備え、生成部は、判定部によって一枚の画像に基づいて検査対象物に検出対象部位が含まれていると判定された場合に、変換部により変換された検出対象部位の位置に関する情報を複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成してもよい。ここで、複数の画像の対応関係は、複数の画像についてエッジの検出を行ったり、特徴点の検出を行ったりして、エッジの対応や、特徴点の対応を探索することで特定されてよい。

【0018】

この態様によれば、撮像装置と検査対象物の相対的な配置条件が予め分からない場合であっても、判定部によって、ある方向から検査対象物を撮像した画像に基づいて検査対象物に含まれている検出対象部位の位置が判定された場合に、当該画像のみならず、他の方向から検査対象物を撮像した画像に対しても検出対象部位の位置に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な方向から検査対象物を撮像した画像に対して検出対象部位の位置に関する情報を関連付けて複数の学習用データを生成することができ、撮像する方向が異なっても検出対象部位の位置を誤判定しづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0019】

上記態様において、生成部は、検査対象物の３次元モデルに基づいて、複数の画像において検出対象部位が隠れず撮像できるか否かを判定し、検出対象部位が隠れず撮像できると判定された場合に、変換部により変換された検出対象部位の位置に関する情報を複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成してもよい。ここで、３次元モデルは、例えば３次元ＣＡＤデータであってよい。また、検出対象部位が隠れず撮像できるか否かは、３次元モデルに基づいて、所定の撮像方向及び撮像距離において、検出対象部位が隠れず撮像されるか否かによって判定されてよい。

【0020】

この態様によれば、判定部によって、ある方向から検査対象物を撮像した画像に基づいて検査対象物に含まれている検出対象部位の位置が判定された場合に、検査対象物の検出対象部位が撮像できる方向から撮像された画像に対しても検出対象部位の位置に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、検出対象部位が隠れて撮像できない場合を除いて、様々な方向から検査対象物を撮像した画像に対して検出対象部位の位置に関する情報を関連付けて複数の学習用データを生成することができ、撮像する方向が異なっても検出対象部位の位置を誤判定しづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0021】

上記態様において、判定部によって複数の画像のうちいずれか一枚の画像に基づいて検査対象物に検出対象部位が含まれていると判定された場合に、一枚の画像と複数の画像の撮像条件の差が閾値以下であるか否かを評価する評価部をさらに備え、生成部は、複数の画像のうち、評価部により撮像条件の差が閾値以下であると評価された画像に検出対象部位に関する情報を関連付けて、新たな学習用データを生成してもよい。ここで、撮影条件の差は、配置条件の座標変換に関する変換パラメータの大きさによって測定されたり、照明の明るさの差で測定されたりしてよい。

【0022】

この態様によれば、判定部によって、ある撮像条件で検査対象物を撮像した画像に基づいて検査対象物に検出対象部位が含まれていると判定された場合に、撮像条件の差が閾値以下である検査対象物の他の画像に対しても検出対象部位に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、撮像条件の差が閾値より大きい検査対象物の画像を除いて、検査対象物を撮像した画像に対して検出対象部位に関する情報を関連付けて複数の学習用データを生成することができ、安定的に識別器を学習させることのできる学習用データを効率的に生成することができる。

【0023】

上記態様において、判定部により、複数の画像のうち２以上の画像に基づいて検査対象物に検出対象部位が含まれていると判定された場合に、２以上の画像についての判定部による判定結果の信頼度に応じて、２以上の画像からいずれか一枚を選択し、選択した一枚の画像から得られる検出対象部位に関する情報を複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成してもよい。ここで、判定結果の信頼度は、識別器による出力の確かさを示す数値であってよい。

【0024】

この態様によれば、判定部によって、複数の撮像条件で検査対象物を撮像した２以上の画像に基づいて検査対象物に検出対象部位が含まれていると判定された場合に、判定結果の信頼度に応じて基準とする画像が選択され、当該画像のみならず、他の撮像条件で検査対象物を撮像した画像に対しても検出対象部位に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な撮像条件で検査対象物を撮像した画像に対して検出対象部位に関する情報を関連付けて複数の学習用データを生成することができ、撮像条件が異なっても検出対象部位を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0025】

上記態様において、判定部により、複数の画像のうち２以上の画像に基づいて検査対象物に検出対象部位が含まれていると判定された場合に、２以上の画像について判定部により検出対象部位が含まれると判定された領域の面積に応じて、２以上の画像からいずれか一枚を選択し、選択した一枚の画像から得られる検出対象部位に関する情報を複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成してもよい。なお、領域の面積は、領域に含まれる画素の数によって測定されてよい。

【0026】

この態様によれば、判定部によって、複数の撮像条件で検査対象物を撮像した２以上の画像に基づいて検査対象物に検出対象部位が含まれていると判定された場合に、検出対象部位が含まれると判定された領域の面積に応じて基準とする画像が選択され、当該画像のみならず、他の撮像条件で検査対象物を撮像した画像に対しても検出対象部位に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な撮像条件で検査対象物を撮像した画像に対して検出対象部位に関する情報を関連付けて複数の学習用データを生成することができ、撮像条件が異なっても検出対象部位を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0027】

上記態様において、検出対象部位は、検査対象物に含まれる欠陥の部位であり、生成部により複数の画像に含まれる他の画像に関連付けられた欠陥に関する情報について、修正操作を受け付ける入力部をさらに備え、生成部は、修正操作に基づいて、複数の画像に含まれる他の画像に関連付ける欠陥に関する情報を修正して、新たな学習用データを生成してもよい。

【0028】

この態様によれば、様々な撮像条件で検査対象物を撮像した画像に対して関連付けられる欠陥に関する情報を修正して、学習用データを生成することができ、撮像条件が異なっても欠陥を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に修正することができる。

【0029】

本開示の他の態様に係るデータ生成方法は、検査対象物の画像と検査対象物画像に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器によって、検査対象物の複数の画像に基づいて検査対象物に検出対象部位が含まれているか否かを判定することと、２以上の異なる撮像条件で検査対象物を撮像した複数の画像を取得することと、判定することによって複数の画像のうちいずれかに基づいて検査対象物に検出対象部位が含まれていると判定された場合に、検出対象部位に関する情報を複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成することと、を含む。

【0030】

この態様によれば、判定部によって、ある撮像条件で検査対象物を撮像した画像に基づいて検査対象物に検出対象部位が含まれていると判定された場合に、当該画像のみならず、他の撮像条件で検査対象物を撮像した画像に対しても検出対象部位に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な撮像条件で検査対象物を撮像した画像に対して検出対象部位に関する情報を関連付けて複数の学習用データを生成することができ、撮像条件が異なっても検出対象部位を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0031】

本開示の他の態様に係るデータ生成プログラムは、データ生成装置に備えられた演算装置を、検査対象物の画像と検査対象物画像に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器によって、検査対象物の複数の画像に基づいて検査対象物に検出対象部位が含まれているか否かを判定する判定部、２以上の異なる撮像条件で検査対象物を撮像した複数の画像を取得する取得部、及び判定部によって複数の画像のうちいずれかに基づいて検査対象物に検出対象部位が含まれていると判定された場合に、検出対象部位に関する情報を複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成する生成部、として動作させる。

【0032】

この態様によれば、判定部によって、ある撮像条件で検査対象物を撮像した画像に基づいて検査対象物に検出対象部位が含まれていると判定された場合に、当該画像のみならず、他の撮像条件で検査対象物を撮像した画像に対しても検出対象部位に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な撮像条件で検査対象物を撮像した画像に対して検出対象部位に関する情報を関連付けて複数の学習用データを生成することができ、撮像条件が異なっても検出対象部位を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【発明の効果】

【0033】

データ生成装置、撮像条件が異なっても検出対象部位を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に生成するデータ生成装置、データ生成方法及びデータ生成プログラムを提供する。

【図面の簡単な説明】

【0034】

【図1】本発明の実施形態に係るデータ生成装置の機能ブロック図である。

【図2】本実施形態に係るデータ生成装置の第１学習部及び第２学習部における処理の内容を示す概念図である。

【図3】本実施形態に係るデータ生成装置の計測部における処理の内容を示す概念図である。

【図4】本実施形態に係るデータ生成装置のハードウェア構成を示すブロック図である。

【図5】本実施形態に係るデータ生成装置により実行される第１処理の内容を示すフローチャートである。

【図6】本実施形態に係るデータ生成装置により実行される欠陥の位置に関する情報を算出する処理の内容を示すフローチャートである。

【図7】平面的な検査対象物の画像について、欠陥に関する情報の転記を行う場合の例を示す図である。

【図8】立体的な検査対象物の画像について、欠陥の位置に関する情報を変換して転記する場合の例を示す図である。

【図9】本実施形態に係るデータ生成装置により実行される第２処理の内容を示すフローチャートである。

【発明を実施するための形態】

【0035】

以下、本発明の一側面に係る実施の形態（以下、「本実施形態」と表記する。）を、図面に基づいて説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0036】

§１ 適用例
まず、図１を用いて、本発明が適用される場面の一例について説明する。図１は、本実施形態に係るデータ生成装置１００の適用場面の一例を模式的に例示した機能ブロック図である。本実施形態に係るデータ生成装置１００は、撮像装置１５３によって様々な撮像条件で撮像された検査対象物の画像に基づいて、検査対象物に検出対象部位が含まれているか否かを、第１学習部１３０や第２学習部１４０によって学習された識別器（ａ、ｂ、ｃ、Ａ、Ｂ、…）によって判定し、ある撮像条件で撮像された画像に基づいて検査対象物に検出対象部位が含まれていると判定された場合に、他の撮像条件で撮像された検査対象物の画像に検出対象部位に関する情報を転記して、複数の新たな学習用データを生成する装置である。

【0037】

図１に示すように、データ生成装置１００は、２以上の異なる撮像条件で検査対象物を撮像した複数の画像を取得する撮像装置１５３と、学習用データを用いて学習された識別器（ａ、ｂ、ｃ、Ａ、Ｂ、…）であって、画像データを入力とする識別器を有し、画像に基づいて、検査対象物に検出対象部位が含まれているか否かを判定し、検査対象物に含まれる検出対象部位の有無に関する情報を含む判定結果を出力する判定部１５２と、判定部１５２によって複数の画像のうちいずれかに基づいて検査対象物に検出対象部位が含まれていると判定された場合に、検出対象部位に関する情報を複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成する生成部１２１と、を備える。ここで、撮像装置１５３は、本発明の「取得部」の一例である。本明細書では、撮像装置１５３により新たに撮像される検査対象物の画像を「計測画像」と呼び、識別器（ａ、ｂ、ｃ、Ａ、Ｂ、…）を学習するため予め収集される検査対象物の画像を「サンプル画像」と呼ぶ。なお、データ生成装置１００は、必ずしも撮像装置１５３を備えていなくてもよく、別体で設けられた撮像装置から計測画像を取得するものであってもよい。本実施形態では、検出対象部位が、検査対象物に含まれる欠陥の部位である場合について説明する。しかしながら、検出対象部位は、検査対象物に含まれる欠陥の部位に限られず、検査対象物に含まれる任意の部位であってよい。

【0038】

判定部１５２は、例えばコンボリューショナルニューラルネットワーク（Convolutional Neural Network、以下、「ＣＮＮ」と称す。）等のニューラルネットワークを用いた識別器によって、異なる撮像条件で検査対象物を撮像した複数の計測画像に基づいて、検査対象物に欠陥が含まれているか否かを判定し、検査対象物に含まれる欠陥の有無に関する情報を含む判定結果を出力する。判定部１５２は、検査対象物に欠陥が含まれると判定される場合、欠陥の種類に関する情報や、欠陥の位置に関する情報等の欠陥に関する情報を含む属性情報を出力してよい。判定部１５２によって複数の計測画像のうちいずれかに基づいて検査対象物に欠陥が含まれていると判定された場合、当該判定結果及び属性情報に含まれる欠陥に関する情報を複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成する。生成された新たな学習用データは、修正画像ＤＢ１２２に記憶され、第１学習部１３０や第２学習部１４０によって識別器（ａ、ｂ、ｃ、Ａ、Ｂ、…）を学習するために用いられる。

【0039】

検査対象物は、異なる照明条件の下で撮像されたり、異なる方向や異なる距離から撮像されたりすることがある。照明条件、撮像方向、撮像距離等の撮像条件が異なると、同じ検査対象物を撮像した場合であっても、撮像条件が異なる画像毎に、検査対象物に欠陥が含まれているか否かを識別器によって識別させた場合の判定結果が一致しないことがあり、識別器による欠陥の識別が比較的容易な撮像条件と、欠陥の識別が比較的困難な撮像条件とが生じ得る。本実施形態に係るデータ生成装置１０は、識別器による欠陥の識別が比較的容易な撮像条件で撮像された計測画像に基づいて得られた欠陥に関する情報を、識別器による欠陥の識別が比較的困難な撮像条件で撮像された計測画像に転記して、新たな学習用データを生成することができる。

【0040】

なお、判定部１５２は、撮像した複数の画像を個別に識別器に入力して、複数の画像それぞれについて判定結果を出力してもよく、複数の画像を識別器に入力して得られた結果（識別結果）を統合して判定結果を出力するようにしてもよい。また、欠陥に関する情報を関連付ける対象となる他の画像は、判定部１５２が検査対象物に欠陥が含まれない旨の判定をした画像であることが好ましい。これによれば、欠陥が含まれているにもかかわらず欠陥が含まれていない旨の誤判定がされた画像を、新たな学習用データとすることができ、撮像条件が異なっても欠陥を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。なお、欠陥に関する情報を関連付ける対象となる他の画像は、ユーザインタフェース１７０、１８０を介してユーザが任意に選択してもよいし、各画像についての撮像条件の差、各画像についての欠陥の有無に関する判定結果の信頼度に応じて、自動的に選択されてもよい。各画像についての欠陥の有無に関する判定結果の信頼度に応じて画像を選択する場合には、生成部１２１は、欠陥が含まれる旨の出力の確かさを示す指標として判定部が出力する信頼度が所定値以上であり、かつ、最終的な判定結果として欠陥が含まれない旨が出力された画像を自動的に選択してよい。

【0041】

これにより、判定部１５２によって、ある撮像条件で検査対象物を撮像した画像に基づいて検査対象物に欠陥が含まれていると判定された場合に、当該画像のみならず、他の撮像条件で検査対象物を撮像した画像に対しても欠陥に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な撮像条件で検査対象物を撮像した画像に対して欠陥に関する情報を関連付けて複数の学習用データを生成することができ、撮像条件が異なっても欠陥を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。また、画像の撮像条件のバリエーションを増やすことができるため、特定の撮像条件で撮像された画像のみを学習用データとして用いるよりも、識別器の学習処理において過学習が発生することを抑制することができる。さらに、様々な撮像条件で検査対象物を撮像した画像のそれぞれに対して、一括して欠陥に関する情報を関連付けてもよい。

【0042】

§２ 構成例
［機能構成］
次に、図１を用いて、本実施形態に係るデータ生成装置１００の機能構成の一例を説明する。データ生成装置１００は、学習用データを用いて、検査対象物の欠陥の有無と、検査対象物に欠陥が含まれる場合には、その欠陥の位置と、その欠陥の種類と、を含む属性情報（ラベル）を出力する識別器を生成する機能を備える。ここで、検査対象物に複数の欠陥が含まれる場合には、属性情報は、欠陥の有無と、複数の欠陥の位置と、それらの欠陥の種類と、を含んでよい。また、データ生成装置１００は、検査対象物を計測した計測画像を取得し、生成された識別器を用いて、検査対象物の属性情報を出力する機能を備える。したがって、データ生成装置１００は、検査対象物の計測画像を取得し、計測画像に基づいて検査対象物の欠陥の有無に関する情報を含む計測結果を出力する検査システムとして機能する。

【0043】

図１に示すように、データ生成装置１００は、学習用データを生成及び格納する画像収集部１１０と、識別器により出力された属性情報の正誤に関する情報に基づいて、計測した画像（計測画像）の修正を行う画像修正部１２０と、画像収集部１１０及び画像修正部１２０の少なくともいずれかにより生成された学習用データを用い、検査対象物の欠陥の有無と、検査対象物に欠陥が含まれる場合には、その欠陥の位置と、その欠陥の種類と、を含む属性情報を出力する識別器を生成する、第１学習部１３０及び第２学習部１４０と、検査対象物を計測した計測画像を取得し、第１学習部１３０及び第２学習部１４０の少なくともいずれかにより生成された識別器を用いて、検査対象物の属性情報を出力する計測部１５０と、計測画像とその属性情報とを関連付けて、計測結果として記憶する計測結果管理部１６０と、を備える。ここで、計測結果は、計測画像と、識別器により出力された検査対象物の属性情報と、判定部１５２による判定結果とを含む。なお、学習用データとは、単一の学習用データのみならず、複数の学習用データを含むデータセットであってよい。

【0044】

ここで、欠陥とは、検査対象物が有する異常であって、例えば、キズ、色等のムラ、汚れ、欠け、バリ、異物、印字のかすれ、印字等の位置ずれ等を含む。

【0045】

また、属性情報とは、検査対象物に含まれる欠陥の有無に関する情報、検査対象物に欠陥が含まれる場合には、当該欠陥の位置に関する情報及び当該欠陥の種類に関する情報を少なくとも含むものである。なお、属性情報は、欠陥の有無、欠陥の位置に関する情報及び欠陥の種類に関する情報に限られず、例えば、識別器により出力される欠陥の有無、欠陥の位置に関する情報及び欠陥の種類に関する情報の信頼度に関する情報を含んでいてもよい。

【0046】

データ生成装置１００は、ソフトウェアプログラム及び当該ソフトウェアプログラムの実行に用いられるデータを記憶する記憶部（例えば、図４に示す補助記憶部１０２、１０３）と、ソフトウェアプログラムを呼び出し、実行する演算部（例えば、図４に示すプロセッサ１０４）と、を有する１又は複数の情報処理装置により構成される。すなわち、画像収集部１１０、画像修正部１２０、第１学習部１３０、第２学習部１４０、計測部１５０及び計測結果管理部１６０の各機能ブロックのそれぞれは、補助記憶部１０２、１０３等の記憶部に記憶された所定のソフトウェアプログラムがプロセッサ１０４等のハードウェアプロセッサによって実行されることで実現される。すなわち、画像収集部１１０、画像修正部１２０、第１学習部１３０、第２学習部１４０、計測部１５０及び計測結果管理部１６０の各機能のそれぞれは、ソフトウェアプログラムがハードウェアプロセッサによって実行されることにより実現される所定の処理を示す。また、画像収集部１１０、画像修正部１２０、第１学習部１３０、第２学習部１４０、計測部１５０及び計測結果管理部１６０のそれぞれは、単独で、又は、複数が組み合わされて、情報処理装置として構成される。なお、データ生成装置１００を、単一の情報処理装置により構成してもよい。本実施形態における情報処理装置のハードウェア構成については後述する。

【0047】

＜画像収集部の構成＞
画像収集部１１０は、学習用データを生成するためのサンプル画像を取得する。サンプル画像は、検査対象物を撮像した画像でもよく、また、公知の画像合成技術により生成されたＣＧ画像であってもよい。画像収集部１１０が取得したサンプル画像は、属性付与部１１１にて、各画像に対して、又は、複数の画像に対して、属性情報の付与が行われる。すなわち、属性付与部１１１は、サンプル画像に対して属性情報を付与することで、サンプル画像を学習用データにする。

【0048】

本実施形態において、属性情報の付与（ラベル付け）は、任意のユーザインタフェース１８０を介して、第１作業者により行われる。例えば、サンプル画像に欠陥が含まれる場合には、第１作業者は、ユーザインタフェース１８０としての、表示装置（液晶表示装置等）及び入力装置（タッチパネル、キーボード、マウス等）とを用いて、所定の形状の枠により当該欠陥を囲うことで、欠陥の有無及び欠陥の位置を含む属性情報を付与することができる。また、ユーザインタフェース１８０を用いて、当該欠陥の種類を含む属性情報をサンプル画像に付与することもできる。なお、属性情報の付与の方法は、特に限定されない。例えば、画像と、その画像に付与すべき属性情報との関係性を学習済みの識別器を用いて、画像に対して属性情報を自動的に付与するようにしてもよいし、公知の統計的手法により、複数の画像をクラスタリングして、クラスタに対して属性情報の付与を行うこととしてもよい。

【0049】

属性付与部１１１において属性情報が付与された画像（学習用データ）は、画像データベース（以下、「画像ＤＢ」と称す。）１１２に格納され、記憶される。

【0050】

画像収集部１１０は、例えば、取得するサンプル画像の多少や、画像ＤＢ１１２に格納されている学習用データの多少に応じて、学習用データの拡張を行う画像補正部１１３を備えている。画像補正部１１３は、ユーザインタフェース１８０を介して行われる第１作業者の補正操作に基づいて、サンプル画像の拡張を行ってよい。なお、画像補正部１１３は、画像収集部１１０に必ずしも必須の要素ではない。また、学習用データの拡張とは、学習に用いるデータセットを増やすオーグメンテーション（Augmentation）のことをいう。

【0051】

学習用データのオーグメンテーションは、例えば、サンプル画像を平行移動させたり、回転させたり、色を変えたり、拡大させたり、縮小させたりすることで行ってよい。なお、画像補正部１１３は、画像収集部１１０に必須の構成要素ではなく、データ生成装置１００を用いて実現する画像計測処理に必要な学習用データの必要量に応じて、適宜設けてよい。

【0052】

画像ＤＢ１１２は、属性付与部１１１及び画像補正部１１３から、学習用データを取得する。画像ＤＢ１１２は、学習用データを、付与された属性情報に基づいて分類した状態で記憶してよい。また、画像ＤＢ１１２は、画像収集部１１０が取得したサンプル画像にすでに属性情報が付与されている場合には、当該サンプル画像を、属性付与部１１１及び画像補正部１１３を介さずに取得して、記憶してよい。なお、画像ＤＢ１１２は、学習用データを、後述する識別器を生成するための学習処理に使用する学習処理用の学習用データと、生成された識別器が、所望の属性情報を出力するか否かを評価するための評価処理用のテスト用データと、に区別して記憶してもよい。もっとも、学習用データとテスト用データを区別せずに画像ＤＢ１１２に記憶しておき、学習処理を行う際に、画像ＤＢ１１２に記憶されたデータセットを任意の手法で学習用とテスト用等に分けることとしてもよい。

【0053】

＜第１学習部の構成＞
図２は、本実施形態に係るデータ生成装置の第１学習部１３０及び第２学習部１４０における処理の内容を示す概念図である。第１学習部１３０は、画像収集部１１０から、学習用データを取得する。なお、第１学習部１３０は、後述する画像修正部１２０から、学習用データを取得してもよい。第１学習部１３０は、取得した学習用データを用いた機械学習を実行し、識別器（ａ、ｂ、ｃ、・・・）を生成する第１学習処理部１３１を有する。識別器（ａ、ｂ、ｃ、・・・）は、画像データを入力とし、当該画像に含まれる欠陥の有無と、１又は複数の欠陥が含まれる場合にはその位置及びその種類と、を含む属性情報を出力するものである。識別器（ａ、ｂ、ｃ、・・・）には、画像データ以外のデータが入力されてもよい。例えば、識別器（ａ、ｂ、ｃ、・・・）には、検査対象物の画像を撮像した撮像条件が入力されたり、検査対象物の識別情報が入力されたりしてもよい。ここで、撮像条件は、検査対象物と撮像装置１５３との相対的な配置条件及び検査対象物を照らす照明条件を含んでよい。検査対象物と撮像装置１５３との相対的な配置条件は、検査対象物をどのような方向から、どのような距離で撮像したかを特定する条件であってよい。また、照明条件は、検査対象物を照らす照明器具をどのように用いたかを特定する条件であってよく、例えば照明器具の明るさを段階的に変えられる場合、どのような明るさで検査対象物を照らしたかを特定する条件であってよい。なお、撮像条件として、撮像装置１５３が備えるレンズ等の光学系や受光素子等に関する条件を含んでもよい。

【0054】

識別器（ａ、ｂ、ｃ、・・・）は、任意の機械学習モデルに対して学習処理と評価処理とを行うことにより生成される。機械学習モデルは、所定のモデル構造と、学習処理によって変動する処理パラメータと、を有し、学習用データから得られる経験に基づいてその処理パラメータが最適化されることで、識別精度が向上するモデルである。すなわち、機械学習モデルは、学習処理によって、最適な処理パラメータを学習するモデルである。機械学習モデルのアルゴリズムは、例えば、サポートベクターマシン、ロジスティック回帰、ニューラルネットワーク等を用いることができるが、その種類は特に限定されない。本実施形態では、ニューラルネットワークであって、特に階層が３層以上であるディープニューラルネットワーク（以下、「ＤＮＮ」と称する。）のうち、画像認識に適したコンボリューショナルニューラルネットワーク（Convolutional Neural Network）を用いた例について説明する。なお、第１学習部１３０は、機械学習モデルを生成するためのモデル生成部（図示せず）を備えていてもよい。また、第１学習部１３０は、予め生成された機械学習モデルを、外部から取得してもよい。

【0055】

第１学習処理部１３１は、学習用データを用いて、画像のデータを入力すると、属性情報で表現される計測画像の属性に対応する出力値を出力するように、機械学習モデルを学習させる学習処理を行う。第１学習処理部１３１は、さらに、学習処理によって生成された識別器（ａ、ｂ、ｃ、・・・）に対し、テスト用データを用いて、識別器（ａ、ｂ、ｃ、・・・）の出力と、テスト用データに対して付与された属性情報とを比較する評価処理を行う。識別器（ａ、ｂ、ｃ、・・・）の出力と、テスト用データに付与された属性情報とが一致している場合には、識別器（ａ、ｂ、ｃ、・・・）の生成条件を満たしたと判断し、識別器（ａ、ｂ、ｃ、・・・）の生成処理を完了させる。

【0056】

第１学習部１３０は、生成した識別器（ａ、ｂ、ｃ、・・・）のモデル構造及び処理パラメータを含む情報を、学習結果データとして、後述する計測部１５０及び第２学習部１４０に出力する。

【0057】

＜第２学習部の構成＞
引き続き、図２を用いて、第２学習部１４０における処理の内容を説明する。第２学習部１４０は、所定の生成処理によって生成された識別器に対する追加学習（再学習）を行う。なお、第２学習部１４０について、第１学習部１３０と共通する要素については、その記載を省略する。

【0058】

第２学習部１４０は、第１学習部１３０で生成された学習済みの識別器（ａ、ｂ、ｃ、・・・）の学習結果データを取得する。なお、第２学習部１４０は、所定の生成処理によって生成された識別器に関する学習結果データを、外部から取得してもよい。第２学習部１４０は、画像収集部１１０から、学習用データを取得する。なお、第２学習部１４０は、後述する画像修正部１２０から、学習用データを取得してもよい。

【0059】

第２学習部１４０は、学習用データを用いた機械学習による追加学習（再学習）を実行し、識別器（Ａ、Ｂ、Ｃ、・・・）を生成する第２学習処理部１４１を有する。識別器（Ａ、Ｂ、Ｃ、・・・）は、所定の学習処理により生成された識別器（ａ、ｂ、ｃ、・・・）に対して学習処理と評価処理とを行うことにより生成される。換言すれば、第２学習処理部１４１は、学習用データを用いて、識別器（ａ、ｂ、ｃ、・・・）のモデル構造及び処理パラメータを含む学習結果データに対する学習処理と評価処理とを実行することで、識別器（Ａ、Ｂ、Ｃ、・・・）を生成する。識別器（Ａ、Ｂ、Ｃ、・・・）は、画像データを入力とし、当該画像に含まれる欠陥の有無と、１又は複数の欠陥が含まれる場合には、その位置及びその種類と、を含む属性情報を出力するものである。識別器（Ａ、Ｂ、Ｃ、・・・）は、画像データの他に撮像条件を入力として受け付けてもよい。

【0060】

第２学習処理部１４１は、学習用データを用いて、画像のデータを入力すると、属性情報で表現される計測画像の属性に対応する出力値を出力するように、識別器（ａ、ｂ、ｃ、・・・）の学習結果データによって表現される機械学習モデルを学習させる学習処理（追加学習の学習処理）を行う。ここで、第２学習処理部１４１が行う追加学習の学習処理は、後述する画像修正部１２０から取得した学習用データを用いて行われてよい。これにより、検査対象物を撮像した画像に基づいて新たに生成された学習用データを用いることができ、識別器の識別精度を向上させることができるからである。

【0061】

第２学習処理部１４１は、さらに、学習処理によって生成された識別器（Ａ、Ｂ、Ｃ、・・・）に対し、テスト用データを用いて、識別器（Ａ、Ｂ、Ｃ、・・・）の出力と、テスト用データに対して付与された属性情報とを比較する評価処理を行う。識別器（Ａ、Ｂ、Ｃ、・・・）の出力と、テスト用データに付与された属性情報とが一致している場合には、識別器（Ａ、Ｂ、Ｃ、・・・）の生成条件を満たしたと判断し、識別器（Ａ、Ｂ、Ｃ、・・・）の生成処理を完了させる。ここで、第２学習処理部１４１が行う評価処理は、後述する画像修正部１２０から取得したテスト用データを用いて行われてよい。これにより、検査対象物を撮像した画像に基づいて新たに生成された学習用データを用いて評価を行うことができ、識別器の認識精度を向上させることができるからである。

【0062】

第２学習部１４０は、生成した識別器（Ａ、Ｂ、Ｃ、・・・）のモデル構造及び処理パラメータを含む情報を、学習結果データとして、後述する計測部１５０に出力する。

【0063】

なお、第１学習部１３０と第２学習部１４０とを一体に構成し、第１学習処理部１３１が、追加学習の学習処理と評価処理とを実行するようにしてもよい。

【0064】

＜計測部の構成＞
図３は、本実施形態に係るデータ生成装置１００の計測部１５０における処理の内容を示す概念図である。計測部１５０は、学習用データを用いた学習処理及び評価処理によって生成された識別器を用いて、撮像装置１５３により撮像された検査対象物の計測画像の属性情報を出力させ、判定部１５２により検査対象物に欠陥が含まれているか否かを判定して、欠陥の有無に関する情報（判定結果）を含む属性情報及び計測画像を含む計測結果を出力する。属性情報は、欠陥の有無に関する情報（判定結果）、１又は複数の欠陥が含まれる場合にはその欠陥の位置及び種類、を含む。また、計測結果は、撮像装置１５３による撮像条件を含んでもよい。

【0065】

計測部１５０は、第１学習部１３０及び第２学習部１４０から、識別器のモデル構造及び処理パラメータを含む情報を、学習結果データとして取得する。計測部１５０は、取得した学習結果データを格納する学習結果ＤＢ１５１を有する。また、計測部１５０は、検査対象物を撮像する撮像装置１５３を有する。撮像装置１５３は、例えば、工場の製造ラインを撮像するように設置され、製造ラインの一部を構成する。撮像装置１５３は、製造ラインを流れる検査対象物としての部品及び製品（以下、部品と製品とを合わせて「ワーク」と称することがある。）の画像を計測画像として撮像する。撮像装置１５３によるワークの撮像は、必ずしも一定の撮像条件の下で行われなくてもよく、計測画像は、２以上の異なる撮像条件で検査対象物を撮像した画像であってよい。

【0066】

計測部１５０は、学習結果ＤＢ１５１に格納された学習結果データに基づき構成される識別器を用いて、計測画像の属性情報を出力する判定部１５２を有する。判定部１５２は、計測画像に基づいて検査対象物に１又は複数の欠陥が含まれているか否かを判定し、欠陥が含まれている場合には、計測画像上での欠陥の位置に関する情報及び欠陥の種類に関する情報を含む属性情報を出力してよい。ここで、計測画像上での欠陥の位置に関する情報としては、計測画像上での欠陥に相当する領域を示す枠形状が挙げられる。当該枠形状は、欠陥の有無に関する情報と、その欠陥の位置の情報とを示す。

【0067】

計測部１５０は、計測画像と、判定部１５２が識別器を用いて出力する計測画像の判定結果を少なくとも含む、計測画像の属性情報と、を含む計測結果を、計測結果管理部１６０に出力する。なお、計測部１５０は、個々の検査対象物を識別するための識別情報を、計測結果とともに、計測結果管理部１６０に出力してもよい。このとき、検査対象物の識別情報は、計測画像から取得してもよく、所定のインタフェースを介して外部より取得してもよい。識別情報としては、例えば、製造番号や、製造番号を符号化した図形を用いることができる。よって、識別情報とは、検査対象物の個体を識別することができる情報であることが好ましい。なお、計測部１５０は、計測対象物の計測結果を、計測結果管理部１６０以外に出力してもよい。例えば、後述するユーザインタフェース１７０に対し、計測結果及び識別情報を出力するようにしてもよい。また、例えば、計測結果を仕分け装置（図示せず）に対して直接的または間接的に出力してもよい。仕分け装置は、取得した計測結果に基づいて、検査対象物の仕分けを行う。

【0068】

＜計測結果管理部の構成＞
計測結果管理部１６０は、計測結果に含まれる計測画像と、判定部１５２が識別器を用いて出力する計測画像の判定結果を少なくとも含む、計測画像の属性情報とを関連付けて記憶する計測結果ＤＢ１６１を有する。なお、計測結果管理部１６０は、検査対象物を識別するための識別情報を、計測結果とともに取得してもよいし、撮像装置１５３による検査対象物の撮像条件を、計測結果とともに取得してもよい。このとき、検査対象物の識別情報及び撮像条件は、計測部１５０から取得してもよく、所定のインタフェースを介して外部より取得してもよい。また、計測結果ＤＢ１６１は、属性情報に含まれる属性の種別に応じて、例えば、欠陥の種類の属性に関連付けて、計測画像を分類して記憶してもよい。

【0069】

計測結果管理部１６０は、計測結果を、ユーザインタフェース１７０に対して出力する。このとき、計測結果管理部１６０は、あわせて、検査対象物の識別情報及び撮像条件をユーザインタフェース１７０に対して出力してよい。また、計測結果管理部１６０は、計測結果を、後述する画像修正部１２０に対して出力する。このとき、計測結果管理部１６０は、あわせて検査対象物の識別情報及び撮像条件を、画像修正部１２０に対して出力してもよい。

【0070】

＜ユーザインタフェース＞
本実施形態において、ユーザインタフェース１７０は、第２作業者が、判定部１５２による判定結果や計測画像の属性情報を確認するために用いられたり、計測画像に関連付けられた欠陥に関する情報を修正する操作（修正操作）を実行するために用いられたりする。ユーザインタフェース１７０は、少なくとも計測画像及び計測部１５０による計測結果を表示するための表示部（液晶表示装置等）、及び、第２作業者による修正操作を行うための入力部（タッチパネル、キーボード、マウス等）を有する。ユーザインタフェース１７０の表示部には、複数の計測画像とともに、当該複数の計測画像それぞれに関連付けられた欠陥に関する情報が表示されてもよい。第２作業者は、表示部に表示された計測画像及び欠陥に関する情報に基づいて、関連付けられた欠陥に関する情報の正誤を判断し、入力部を用いてその正誤に関する情報を入力することができる。計測画像に関連付けられた欠陥に関する情報が正しくないと判断される場合、入力部によって、欠陥に関する正しい情報を入力することができる。

【0071】

ここで、計測画像に関連付けられた欠陥に関する情報は、判定部１５２による判定結果や属性情報の一部または全部に対応する情報であってよい。したがって、欠陥に関する情報は、欠陥の有無や検査対象物の良不良、欠陥が有りの場合には欠陥の位置に関する情報及び欠陥の種類に関する情報を含んでよい。また、第２作業者による修正操作は、欠陥の位置を規定する枠形状を修正する操作であったり、欠陥の種類を記載した文字情報を修正する操作であったりしてよい。このような修正操作に基づいて、生成部１２１は、複数の画像それぞれに関連付ける欠陥に関する情報を修正して、複数の新たな学習用データを生成する。これにより、様々な撮像条件で検査対象物を撮像した複数の画像それぞれに関連付けられた欠陥に関する情報を一括して修正して、複数の学習用データを生成することができ、撮像条件が異なっても欠陥を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に修正することができる。

【0072】

なお、表示部に表示される情報は、検査対象物の識別情報、撮像装置１５３による撮像条件、計測画像上での欠陥の位置に関する情報及び欠陥の種類に関する情報を含んでもよい。

【0073】

＜画像修正部の構成＞
画像修正部１２０は、２以上の異なる撮像条件で検査対象物を撮像した複数の画像のうちいずれかに基づいて、判定部１５２により検査対象物に欠陥が含まれていると判定された場合に、欠陥に関する情報を複数の画像それぞれに関連付けて、複数の学習用データの生成を行う。画像修正部１２０は、生成部１２１、修正画像データベース（以下、「修正画像ＤＢ」と称す。）１２２、変換部１２３及び評価部１２４を有する。

【0074】

生成部１２１は、判定部１５２によって複数の画像のうちいずれかに基づいて検査対象物に欠陥が含まれていると判定された場合に、欠陥に関する情報を複数の画像それぞれに関連付けて、複数の新たな学習用データを生成する。例えば、第１撮像条件で検査対象物を撮像した第１計測画像に基づいて、判定部１５２によって検査対象物に欠陥が含まれていると判定され、欠陥の種類に関する情報及び欠陥の位置に関する情報が判定されて、第２撮像条件で同じ検査対象物を撮像した第２計測画像に基づいて、判定部１５２によって検査対象物に欠陥が含まれていないと判定された場合、生成部１２１は、第１計測画像について得られた欠陥の種類に関する情報及び欠陥の位置に関する情報を、第１計測画像に関連付けるとともに、第２計測画像にも関連付けて、２つの新しい学習用データを生成してよい。なお、生成部１２１は、判定部１５２によって複数の画像のうちいずれかに基づいて検査対象物に欠陥が含まれていると判定された場合に、欠陥に関する情報を、判定部１５２によって検査対象物に欠陥が含まれていないと判定された少なくとも１つの画像に関連付けて、少なくとも１つの新たな学習用データを生成してもよい。ここで、欠陥に関する情報とは、欠陥の種類に関する情報や欠陥の位置に関する情報であってよい。

【0075】

より具体的には、例えば、欠陥を含む検査対象物について、異なる撮像条件で１０枚の計測画像を撮像し、判定部１５２による判定を行った場合に、検査対象物に欠陥が含まれていると判定された計測画像が３枚あり、判定部１５２により検査対象物に欠陥が含まれていないと判定されたが、作業者によって欠陥の痕跡が確認できる計測画像が３枚あり、判定部１５２により検査対象物に欠陥が含まれていないと判定され、白とび等で作業者によっても欠陥の痕跡が確認できない計測画像が４枚あったとする。ここで、判定部１５２により検査対象物に欠陥が含まれていると判定された３枚の計測画像を第１画像群と呼び、判定部１５２により検査対象物に欠陥が含まれていないと判定されたが、作業者によって欠陥の痕跡が確認できる３枚の計測画像を第２画像群と呼び、判定部１５２により検査対象物に欠陥が含まれていないと判定され、作業者によっても欠陥の痕跡が確認できない４枚の計測画像を第３画像群と呼ぶこととする。なお、第２画像群及び第３画像群は、ユーザインタフェース１７０、１８０からの入力に基づいて選択されてもよい。その場合、作業者は、判定部１５２により検査対象物に欠陥が含まれていないと判定された計測画像について、作業者によって欠陥の痕跡が確認できるか否かを示す入力を行うこととしてよい。また、第２画像群及び第３画像群は、データ生成装置１００によって自動的に分類されてもよい。その場合、データ生成装置１００は、判定部１５２により検査対象物に欠陥が含まれていないと判定された計測画像について、判定部１５２の判定の信頼度に基づいて、計測画像を第２画像群又は第３画像群に分類してよい。データ生成装置１００は、例えば、判定部１５２により検査対象物に欠陥が含まれていないと判定された計測画像について、判定部１５２の判定の信頼度が閾値以上である場合に、計測画像を第２画像群に分類し、判定部１５２の判定の信頼度が閾値より小さい場合に、計測画像を第３画像群に分類することとしてもよい。

【0076】

異なる撮像条件で撮像された１０枚の計測画像を第１画像群、第２画像群及び第３画像群に分類した場合、生成部１２１は、第１画像群の中から一枚の計測画像を選択し、選択した一枚の計測画像に関する判定結果（欠陥が含まれていることを示す情報）、欠陥の種類に関する情報及び欠陥の位置に関する情報等を含む属性情報を、第２画像群の３枚の計測画像に関連付けて、６つの新しい学習用データを生成してよい。また、生成部１２１は、第３画像群の４枚の計測画像に対しては、選択した一枚の計測画像に関する属性情報を関連付けず、第３画像群を学習用データに含めなくてよい。このように、欠陥の痕跡が確認できない第３画像群を学習用データに含めないことで、識別器の識別性能をかえって低下させると思われる画像を学習用データに含めないようにすることができ、撮像条件が異なっても欠陥を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0077】

生成部１２１は、判定部１５２によって複数の画像のうちいずれかに基づいて検査対象物に欠陥が含まれていると判定され、欠陥の種類が判定された場合に、欠陥の種類に関する情報を複数の画像それぞれに関連付けて、複数の新たな学習用データを生成してもよい。ここで、欠陥の種類に関する情報は、例えば、欠陥が、キズ、色等のムラ、汚れ、欠け、バリ、異物、印字のかすれ、印字等の位置ずれ等のいずれに該当するかを示す情報であってよい。これにより、判定部１５２によって、ある撮像条件で検査対象物を撮像した画像に基づいて検査対象物に含まれている欠陥の種類が判定された場合に、当該画像のみならず、他の撮像条件で検査対象物を撮像した画像に対しても欠陥の種類に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な撮像条件で検査対象物を撮像した複数の画像に対して一括して欠陥の種類に関する情報を関連付けて複数の学習用データを生成することができ、撮像条件が異なっても欠陥の種類を誤判定しづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0078】

生成部１２１は、判定部１５２によって複数の画像のうちいずれかに基づいて検査対象物に欠陥が含まれていると判定され、欠陥の位置が判定された場合に、欠陥の位置に関する情報を複数の画像それぞれに関連付けて、複数の新たな学習用データを生成してもよい。ここで、欠陥の位置に関する情報は、画像上における欠陥を含む領域を示す情報であってよい。これにより、判定部１５２によって、ある撮像条件で検査対象物を撮像した画像に基づいて検査対象物に含まれている欠陥の位置が判定された場合に、当該画像のみならず、他の撮像条件で検査対象物を撮像した画像に対しても欠陥の位置に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な撮像条件で検査対象物を撮像した複数の画像に対して一括して欠陥の位置に関する情報を関連付けて複数の学習用データを生成することができ、撮像条件が異なっても欠陥の位置を誤判定しづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0079】

修正画像ＤＢ１２２は、生成部１２１により生成された複数の新たな学習用データを格納し、記憶する。修正画像ＤＢ１２２は、複数の新たな学習用データについて、複数の計測画像の撮像条件を併せて記憶してもよい。

【0080】

変換部１２３は、複数の画像の配置条件に基づいて、複数の画像のうち一枚の画像における欠陥の位置を、複数の画像それぞれにおける欠陥の位置に変換してよい。ここで、配置条件は、撮像条件に含まれ、検査対象物と撮像装置１５３との相対的な配置条件である。配置条件は、検査対象物をどのような方向から、どのような距離で撮像したかを特定する条件であってよく、変換部１２３は、複数の画像毎に記録された配置条件に基づいて、ある画像における検査対象物と撮像装置１５３の相対的な位置関係を、他の画像における検査対象物と撮像装置１５３の相対的な位置関係に変換する座標変換のパラメータを算出して、算出したパラメータに従って、複数の画像のうち一枚の画像における欠陥の位置を、複数の画像それぞれにおける欠陥の位置に変換してよい。座標変換のパラメータは、射影変換のパラメータであってよい。

【0081】

この場合、生成部１２１は、判定部１５２によって一枚の画像に基づいて検査対象物に欠陥が含まれていると判定された場合に、変換部１２３により変換された欠陥の位置に関する情報を複数の画像それぞれに関連付けて、複数の新たな学習用データを生成してよい。例えば、第１配置条件で検査対象物を撮像した第１計測画像に基づいて、判定部１５２によって検査対象物に欠陥が含まれていると判定され、欠陥の種類に関する情報及び欠陥の位置に関する情報が判定されて、第２配置条件で同じ検査対象物を撮像した第２計測画像に基づいて、判定部１５２によって検査対象物に欠陥が含まれていないと判定された場合、変換部１２３は、第１配置条件を第２配置条件に変換する変換パラメータを算出し、第１計測画像について得られた欠陥の位置に関する情報を、第２計測画像における欠陥の位置に関する情報に変換する。そして、生成部１２１は、第１計測画像について得られた欠陥の種類に関する情報及び欠陥の位置に関する情報を第１計測画像に関連付け、第１計測画像について得られた欠陥の種類に関する情報及び変換部１２３により変換された欠陥の位置に関する情報を、第２計測画像に関連付けて、２つの新たな学習用データを生成する。これにより、判定部１５２によって、ある方向から検査対象物を撮像した画像に基づいて検査対象物に含まれている欠陥の位置が判定された場合に、当該画像のみならず、他の方向から検査対象物を撮像した画像に対しても欠陥の位置に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な方向から検査対象物を撮像した複数の画像に対して一括して欠陥の位置に関する情報を関連付けて複数の学習用データを生成することができ、撮像する方向が異なっても欠陥の位置を誤判定しづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0082】

変換部１２３は、複数の画像の対応関係に基づいて、複数の画像のうち一枚の画像における欠陥の位置を、複数の画像それぞれにおける欠陥の位置に変換してもよい。ここで、複数の画像の対応関係は、複数の画像についてエッジの検出を行ったり、特徴点の検出を行ったりして、エッジの対応や、特徴点の対応を探索することで特定されてよい。変換部１２３は、特定した対応関係に基づいて、ある画像における検査対象物と撮像装置１５３の相対的な位置関係を、他の画像における検査対象物と撮像装置１５３の相対的な位置関係に変換する座標変換のパラメータを算出して、算出したパラメータに従って、複数の画像のうち一枚の画像における欠陥の位置を、複数の画像それぞれにおける欠陥の位置に変換してよい。座標変換のパラメータは、射影変換のパラメータであってよい。

【0083】

この場合、生成部１２１は、判定部１５２によって一枚の画像に基づいて検査対象物に欠陥が含まれていると判定された場合に、変換部１２３により変換された欠陥の位置に関する情報を複数の画像それぞれに関連付けて、複数の新たな学習用データを生成してよい。例えば、第１配置条件で検査対象物を撮像した第１計測画像に基づいて、判定部１５２によって検査対象物に欠陥が含まれていると判定され、欠陥の種類に関する情報及び欠陥の位置に関する情報が判定されて、第２配置条件で同じ検査対象物を撮像した第２計測画像に基づいて、判定部１５２によって検査対象物に欠陥が含まれていないと判定された場合であって、配置条件が不明である場合、変換部１２３は、第１計測画像及び第２計測画像に含まれるエッジや特徴点を検出し、第１計測画像と第２計測画像との対応関係を特定する。そして、変換部１２３は、第１配置条件を第２配置条件に変換する変換パラメータを算出し、第１計測画像について得られた欠陥の位置に関する情報を、第２計測画像における欠陥の位置に関する情報に変換する。生成部１２１は、第１計測画像について得られた欠陥の種類に関する情報及び欠陥の位置に関する情報を第１計測画像に関連付け、第１計測画像について得られた欠陥の種類に関する情報及び変換部１２３により変換された欠陥の位置に関する情報を、第２計測画像に関連付けて、２つの新たな学習用データを生成する。これにより、撮像装置１５３と検査対象物の相対的な配置条件が予め分からない場合であっても、判定部１５２によって、ある方向から検査対象物を撮像した画像に基づいて検査対象物に含まれている欠陥の位置が判定された場合に、当該画像のみならず、他の方向から検査対象物を撮像した画像に対しても欠陥の位置に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な方向から検査対象物を撮像した複数の画像に対して一括して欠陥の位置に関する情報を関連付けて複数の学習用データを生成することができ、撮像する方向が異なっても欠陥の位置を誤判定しづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0084】

生成部１２１は、判定部１５２によって複数の画像のうちいずれかに基づいて検査対象物に欠陥が含まれていると判定された場合に、複数の画像の照明条件を、複数の画像に関連付けて、複数の新たな学習用データを生成してもよい。ここで、照明条件は、撮像条件に含まれ、検査対象物を照らす照明条件である。照明条件は、検査対象物を照らす照明器具をどのように用いたかを特定する条件であってよい。例えば、第１照明条件で検査対象物を撮像した第１計測画像に基づいて、判定部１５２によって検査対象物に欠陥が含まれていると判定され、欠陥の種類に関する情報及び欠陥の位置に関する情報が判定されて、第２照明条件で同じ検査対象物を撮像した第２計測画像に基づいて、判定部１５２によって検査対象物に欠陥が含まれていないと判定された場合、生成部１２１は、第１計測画像について得られた欠陥の種類に関する情報及び欠陥の位置に関する情報を、第１計測画像に関連付けるとともに、第２計測画像にも関連付けて、２つの新たな学習用データを生成する。これにより、判定部１５２によって、ある照明条件で検査対象物を撮像した画像に基づいて検査対象物に欠陥が含まれていると判定された場合に、当該画像のみならず、他の照明条件で検査対象物を撮像した画像に対しても欠陥に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な照明条件で検査対象物を撮像した複数の画像に対して一括して欠陥に関する情報を関連付けて複数の学習用データを生成することができ、照明条件が異なっても欠陥を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0085】

評価部１２４は、判定部１５２によって複数の画像のうちいずれか一枚の画像に基づいて検査対象物に欠陥が含まれていると判定された場合に、当該一枚の画像と複数の画像の撮像条件の差が閾値以下であるか否かを評価する。ここで、撮影条件の差は、検査対象物と撮像装置１５３との相対的な配置条件の差と、照明条件の差と、によって測定されてよい。検査対象物と撮像装置１５３との相対的な配置条件の差は、配置条件の変換パラメータの大きさによって測定されてよく、照明条件の差は、照明の明るさの差や、照明の色の差で測定されてよい。この場合、生成部１２１は、複数の画像のうち、評価部１２４により撮像条件の差が閾値以下であると評価された画像に欠陥に関する情報を関連付けて、新たな学習用データを生成してよい。これにより、判定部１５２によって、ある撮像条件で検査対象物を撮像した画像に基づいて検査対象物に欠陥が含まれていると判定された場合に、撮像条件の差が閾値以下である検査対象物の他の画像に対しても欠陥に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、撮像条件の差が閾値より大きい検査対象物の画像を除いて、検査対象物を撮像した複数の画像に対して一括して欠陥に関する情報を関連付けて複数の学習用データを生成することができ、安定的に識別器を学習させることのできる学習用データを効率的に生成することができる。

【0086】

［ハードウェア構成］
次に、図４を用いて、本実施形態に係るデータ生成装置１００のハードウェア構成の一例を説明する。本実施形態に係るデータ生成装置１００は、演算装置１０１、出力装置１９１、入力装置１９２及び撮像装置１５３を備える情報処理装置であってよい。ここで、出力装置１９１及び入力装置１９２は、ユーザインタフェース１７０及びユーザインタフェース１８０を構成する。

【0087】

演算装置１０１は、補助記憶部１０２、１０３、プロセッサ１０４、主記憶部１０５及び外部インタフェース（以下、「外部Ｉ／Ｆ」と称す。）を含むものであってよい。

【0088】

演算装置１０１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）等を含み、情報処理に応じて各構成要素の制御を行う。プロセッサ１０４は、ＣＰＵを含んでよく、補助記憶部１０２、１０３及び主記憶部１０５は、ＲＡＭ及びＲＯＭを含んでよい。補助記憶部１０２は、例えば、ハードディスクドライブ、ソリッドステートドライブ等であってもよく、プロセッサ１０４で実行されるデータ生成プログラム１０２ａ、撮像装置１５３により撮像された計測画像１０２ｂ及び学習用データ１０２ｃ等を記憶してよい。補助記憶部１０３及び主記憶部１０５は、補助記憶部１０２と同様に、例えば、ハードディスクドライブやソリッドステートドライブ等であってもよい。データ生成プログラム１０２ａは、前述の、画像収集部１１０、画像修正部１２０、第１学習部１３０、第２学習部１４０、計測部１５０及び計測結果管理部１６０の機能を実現するための処理を行うためのプログラムであり、当該プログラムがプロセッサ１０４によって実行されることにより、各機能が実現される。なお、データ生成プログラム１０２ａは、画像収集部１１０、画像修正部１２０、第１学習部１３０、第２学習部１４０、計測部１５０及び計測結果管理部１６０のうち一部の機能を実現するための処理を行うためのプログラムであってもよいし、これら以外の機能を実現するための処理を行うためのプログラムを含んでもよい。したがって、画像収集部１１０、画像修正部１２０、第１学習部１３０、第２学習部１４０、計測部１５０及び計測結果管理部１６０、のいずれか１つ、または、複数の処理を実現する複数の演算装置１０１が構成されてよい。また、画像収集部１１０、画像修正部１２０、第１学習部１３０、第２学習部１４０、計測部１５０及び計測結果管理部１６０の処理の全てを実現する１つの演算装置１０１が構成されてよい。

【0089】

外部Ｉ／Ｆ１０６は、ＵＳＢ（Universal Serial Bus）ポート等であり、出力装置１９１、入力装置１９２及び撮像装置１５３等の外部装置と接続するためのインタフェースである。なお、データ生成装置は、有線ＬＡＮ（Local Area Network）モジュールや無線ＬＡＮモジュール等、ネットワークを介した有線又は無線通信を行うためのインタフェースを備えてもよい。

【0090】

記憶媒体は、コンピュータ等の装置によって、記憶されたプログラム等の情報を読み取り可能なように、当該プログラム等の情報を、電気的、磁気的、光学的、機械的又は化学的作用によって蓄積する媒体である。記憶媒体は、例えば、ＣＤ（Compact Disk）やＤＶＤ（Digital Versatile Disk）等であり、データ生成プログラム１０２ａを記憶したものであってよい。記憶媒体に記憶されたデータ生成プログラム１０２ａは、補助記憶部１０３にコピーされ、補助記憶部１０２や主記憶部１０５にコピーされてよい。図４では、記憶媒体の一例として、ＣＤ、ＤＶＤ等のディスク型の記憶媒体を例示している。しかしながら、記憶媒体の種類は、ディスク型に限定される訳ではなく、ディスク型以外であってもよい。ディスク型以外の記憶媒体として、例えば、フラッシュメモリ等の半導体メモリを挙げることができる。また、データ生成装置１００は、データ生成プログラム１０２ａ等のデータを、有線又は無線通信によってネットワークを介して取得してもよい。

【0091】

なお、データ生成装置１００の具体的なハードウェア構成は、実施形態に応じて、適宜、構成要素を省略、置換及び追加されてもよい。例えば、演算装置１０１は、複数のプロセッサを含んでもよいし、ＧＰＵ（Graphical Processing Unit）やＦＰＧＡ（Field Programmable Gate Array）を含んでもよい。また、データ生成装置１００は、複数台の情報処理装置で構成されてもよい。データ生成装置１００は、提供されるサービス専用に設計された情報処理装置の他、汎用のデスクトップＰＣ（Personal Computer）、タブレットＰＣ等で構成されてもよい。

【0092】

§３ 動作例
図５は、本実施形態に係るデータ生成装置１００により実行される第１処理の内容を示すフローチャートである。第１処理は、学習済みの識別器によって、異なる撮像条件で撮像された複数の計測画像に基づいて、検査対象物に欠陥が含まれているか否かを判定し、複数の画像のうちいずれかに基づいて検査対象物に欠陥が含まれていると判定された場合に、欠陥に関する情報を複数の画像それぞれに関連付けて、複数の新たな学習用データを生成する処理である。

【0093】

はじめに、撮像装置１５３によって、２以上の異なる撮像条件で撮像された検査対象物の複数の画像を取得する（Ｓ１０）。そして、学習済みの識別器によって、複数の計測画像に基づいて、検査対象物に欠陥が含まれているか否かを判定する（Ｓ１１）。判定結果について、少なくとも一枚について判定結果が正しいか否かを判定する（Ｓ１２）。ここで、全ての画像について判定結果が誤りであった場合（Ｓ１２：ＮＯ）、第１処理は終了する。なお、全ての画像について判定結果が誤りであった場合（Ｓ１２：ＮＯ）であっても、ユーザインタフェース１７０によって判定結果の修正操作を受け付けて、修正された欠陥に関する情報に基づいて、以降の処理を行うこととしてもよい。

【0094】

少なくとも一枚の画像について判定結果が正しかった場合（Ｓ１２：ＹＥＳ）、欠陥に関する情報を転記するための転記元とする基準画像の選択を受け付ける（Ｓ１３）。なお、基準画像の選択は、二枚以上の画像について判定結果が正しかった場合に受け付けることとしてよく、一枚のみについて判定結果が正しかった場合には、当該一枚の画像を基準画像として、基準画像の選択の受け付けを省略してよい。

【0095】

画像修正部１２０は、計測部１５０より、複数の画像の照明条件を取得する（Ｓ１４）。なお、照明条件が不明である場合、照明条件の取得は必ずしも行われなくてもよい。そして、画像修正部１２０は、複数の画像それぞれについて、欠陥の位置に関する情報を算出する（Ｓ１５）。欠陥の位置に関する情報を算出する処理については、次図を用いて詳細に説明する。なお、検査対象物が平面形状であったり、例えば、検査対象物を撮像する視覚センサに対して検査対象物が位置決めされた状態で撮像できたりする場合等、検査対象物毎の配置条件が同一とみなせる場合であって、欠陥の位置に関する情報を他の画像に転記する際に、後述する欠陥の位置の変換パラメータを導出する処理が不要な場合には、複数の画像それぞれについて、欠陥の位置に関する情報を算出する処理（Ｓ１５）を行わなくてもよい。

【0096】

画像修正部１２０は、基準画像の撮像条件と、他の画像の撮像条件とを比較して、撮像条件の差が閾値以下であるか否かを判定する（Ｓ１６）。撮像条件の差が閾値以下でない画像の場合（Ｓ１６：ＮＯ）、画像修正部１２０は、当該画像を学習用データから除外する（Ｓ１７）。言い換えると、基準画像との撮像条件の差が閾値より大きい画像については、学習用データとして登録しない。

【0097】

一方、撮像条件の差が閾値以下である画像の場合（Ｓ１６：ＮＯ）、画像修正部１２０は、基準画像に基づいて判定された欠陥の種類に関する情報及び欠陥の位置に関する情報を、当該画像に転記する（Ｓ１８）。

【0098】

ユーザインタフェース１７０により、基準画像及び基準画像に基づいて判定された欠陥の種類に関する情報及び欠陥の位置に関する情報を表示するとともに、他の画像及び他の画像に転記された欠陥の種類に関する情報及び欠陥の位置に関する情報を表示して、転記された情報が正しいか否かに関する判断を受け付ける（Ｓ１９）。転記された欠陥の種類に関する情報及び欠陥の位置に関する情報が正しくない場合（Ｓ１９：ＮＯ）、ユーザインタフェース１７０により修正操作を受け付けて、転記された欠陥の種類に関する情報及び欠陥の位置に関する情報の修正を受け付ける（Ｓ２０）。

【0099】

転記された情報が正しい場合（Ｓ１９：ＹＥＳ）と、転記された情報の修正が完了した場合、登録を除外されていない複数の画像に、それぞれの照明条件、判定又は転記された欠陥の種類及び欠陥の位置に関する情報を関連付けて、新たな学習用データを生成し、修正画像ＤＢ１２２に格納する（Ｓ２１）。なお、照明条件の関連付けは省略されてもよい。以上により第１処理が終了する。

【0100】

図６は、本実施形態に係るデータ生成装置１００により実行される欠陥の位置に関する情報を算出する処理の内容を示すフローチャートである。同図では、図５に示す欠陥の位置に関する情報を算出する処理（Ｓ１５）の内容を示している。

【0101】

変換部１２３は、複数の画像それぞれについて、計測部１５０から配置条件が取得できるか否かを判定する（Ｓ１５１）。配置条件が取得できる場合（Ｓ１５１：ＹＥＳ）、配置条件に基づいて、基準画像における欠陥の位置を、他の画像における欠陥の位置に変換する座標変換の変換パラメータを算出する（Ｓ１５２）。一方、配置条件が取得できない場合（Ｓ１５１：ＮＯ）、基準画像及び他の画像について、エッジや特徴点等を検出して、基準画像と他の画像との対応点を探索する（Ｓ１５３）。そして、探索された対応点に基づいて、基準画像における欠陥の位置を、他の画像における欠陥の位置に変換する座標変換の変換パラメータを算出する（Ｓ１５４）。

【0102】

生成部１２１は、複数の画像に検査対象物の３次元形状が含まれるか否かを判定する（Ｓ１５５）。複数の画像に検査対象物の３次元形状が含まれる場合（Ｓ１５５：ＹＥＳ）、生成部１２１は、検査対象物の画像と、検査対象物の３次元モデルとの対応点を探索する（Ｓ１５６）。ここで、３次元モデルは、例えば３次元ＣＡＤデータであってよい。生成部１２１は、検査対象物の３次元モデルに基づいて、複数の画像において欠陥が隠れず目視できるか否かを判定する（Ｓ１５７）。基準画像以外の全ての画像において、欠陥が隠れず目視できない場合（Ｓ１５７：ＮＯ）、処理は終了する。一方、基準画像以外の少なくとも一枚の画像において、検査対処部物を撮像する視覚センサによって欠陥が隠れずに撮像できる場合（Ｓ１５７：ＹＥＳ）、変換部１２３は、基準画像における欠陥の位置を、他の画像における欠陥の位置に変換する（Ｓ１５８）。なお、変換部１２３による欠陥の位置の変換は、複数の画像において欠陥が隠れず撮像できるか否かに関わらず実行し、欠陥が隠れて撮像できない場合には、欠陥に関する情報を関連付けず、欠陥が移されていない検査対象物の画像として学習用データに追加したり、学習用データから除外したりすることとしてもよい。以上により、欠陥の位置に関する情報を算出する処理が終了する。

【0103】

図７は、平面的な検査対象物の画像について、欠陥に関する情報の転記を行う場合の例を示す図である。同図では、基準画像とする第１画像Ｐ１ａと、基準画像ではない第２画像Ｐ２ａと、第１画像Ｐ１ａに欠陥に関する情報が関連付けられた第１学習用データＰ１ｂと、第２画像Ｐ２ａに欠陥に関する情報が関連付けられた第２学習用データＰ２ｂと、を示している。

【0104】

第１画像Ｐ１ａと第２画像Ｐ２ａとは、同じ方向、同じ距離から、異なる照明条件で同一の検査対象物を撮像した画像である。すなわち、第１画像Ｐ１ａと第２画像Ｐ２ａとは、撮像条件のうち配置条件が同一であるが、照明条件が異なる画像である。同図では、識別器により第１画像Ｐ１ａに欠陥が含まれているか否かを判定した場合に、「ｓｃｒａｔｃｈ（すり傷）」という種類の欠陥が、第１枠形状Ｒ１で示された画像の中央の位置に存在していることが判定された例を示している。また、本例では、識別器により第２画像Ｐ２ａに欠陥が含まれているか否かを判定した場合に、欠陥が含まれていないと判定されている。

【0105】

このような場合に、第１画像Ｐ１ａを基準画像として、生成部１２１は、第１画像Ｐ１ａについて判定された欠陥の種類に関する情報及び欠陥の位置に関する情報を、第２画像Ｐ２ａに転記する。本例の場合、第１画像Ｐ１ａと第２画像Ｐ２ａとは、配置条件が同一であるから、生成部１２１は、第１画像Ｐ１ａについて判定された欠陥の位置を示す第１枠形状Ｒ１を、位置及び大きさを変えずに第２画像Ｐ２ａに転記して第２枠形状Ｒ２を関連付け、第２学習用データＰ２ｂを生成してよい。なお、第１画像Ｐ１ａ及び第２画像Ｐ２ａの配置条件が異なる場合、第１画像Ｐ１ａにおける欠陥の位置を、変換部１２３によって第２画像Ｐ２ａにおける欠陥の位置に変換した後、生成部１２１は、変換された欠陥の位置に関する情報を第２画像Ｐ２ａに関連付けて、第２学習用データＰ２ｂを生成してよい。この場合、欠陥の位置を示す枠形状は、位置、大きさ及び形状が、配置条件の違いに応じて変換される。

【0106】

図８は、立体的な検査対象物の画像について、欠陥の位置に関する情報を変換して転記する場合の例を示す図である。同図では、基準画像とする第３画像Ｐ３ａと、基準画像ではない第４画像Ｐ４ａと、第３画像Ｐ３ａに欠陥に関する情報が関連付けられた第３学習用データＰ３ｂと、第４画像Ｐ４ａに欠陥に関する情報が関連付けられた第４学習用データＰ４ｂと、を示している。

【0107】

第１画像Ｐ１ａと第２画像Ｐ２ａとは、異なる方向、異なる距離から、同一の照明条件で同一の検査対象物を撮像した画像である。すなわち、第３画像Ｐ３ａと第４画像Ｐ４ａとは、撮像条件のうち配置条件が異なるが、照明条件が同一である画像である。同図では、識別器により第３画像Ｐ３ａに欠陥が含まれているか否かを判定した場合に、「ｓｃｒａｔｃｈ（すり傷）」という種類の欠陥が、第３枠形状Ｒ３で示された位置に存在していることが判定された例を示している。

【0108】

このような場合に、第３画像Ｐ３ａを基準画像として、生成部１２１は、第３画像Ｐ３ａについて判定された欠陥の種類に関する情報を、第４画像Ｐ４ａに転記する。また、変換部１２３は、第３画像Ｐ３ａにおける欠陥の位置を、第４画像Ｐ４ａにおける欠陥の位置に変換する。より具体的には、変換部１２３は、検査対象物の３次元モデルを参照して、第３画像Ｐ３ａと、３次元モデルの対応点を探索して、第３画像Ｐ３ａと同じ方向、同じ距離から検査対象物を撮像した場合に相当する第１モデルＭ１を特定する。また、変換部１２３は、検査対象物の３次元モデルを参照して、第４画像Ｐ４ａと、３次元モデルの対応点を探索して、第４画像Ｐ４ａと同じ方向、同じ距離から検査対象物を撮像した場合に相当する第２モデルＭ２を特定する。次に、変換部１２３は、第１モデルＭ１を参照して、第２モデルＭ２を第３モデルＭ３に変換する座標変換の変換パラメータを算出する。ここで、変換部１２３は、第３モデルＭ３が、第１モデルＭ１と一致するように変換パラメータを算出する。

【0109】

生成部１２１は、検査対象物の３次元モデルに基づいて、複数の画像において欠陥が隠れず撮像できるか否かを判定し、欠陥が隠れず撮像できると判定された場合に、変換部１２３により変換された欠陥の位置に関する情報を複数の画像それぞれに関連付けて、複数の新たな学習用データを生成する。本例の場合、生成部１２１は、第２モデルＭ２を第３モデルＭ３に変換する変換パラメータに基づいて、第３枠形状Ｒ３で示された欠陥が、第４画像Ｐ４ａにおいて目視できるか否かを判定する。本例では、第３枠形状Ｒ３で示された欠陥が、第４画像Ｐ４ａにおいて目視できるため、生成部１２１は、第２モデルＭ２を第３モデルＭ３に変換する変換パラメータに基づいて、第３枠形状Ｒ３を変換して第４枠形状Ｒ４を算出し、第４画像Ｐ４ａに第４枠形状Ｒ４及び欠陥の種類を表す「ｓｃｒａｔｃｈ」の表示を関連付けて、第４学習用データＰ４ｂを生成する。

【0110】

このように、判定部１５２によって、ある方向から検査対象物を撮像した画像に基づいて検査対象物に含まれている欠陥の位置が判定された場合に、検査対象物の欠陥が撮像できる方向から撮像された画像に対しても欠陥の位置に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、欠陥が隠れて撮像できない場合を除いて、様々な方向から検査対象物を撮像した複数の画像に対して一括して欠陥の位置に関する情報を関連付けて複数の学習用データを生成することができ、撮像する方向が異なっても欠陥の位置を誤判定しづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0111】

§４ 変形例
＜４．１＞
図９は、本実施形態の第１変形例に係るデータ生成装置１００により実行される第２処理の内容を示すフローチャートである。第１処理では、基準画像の選択を受け付けたのに対し、第２処理は、判定部１５２により、複数の画像のうち２以上の画像に基づいて検査対象物に欠陥が含まれていると判定された場合に、２以上の画像についての判定部１５２による判定結果の信頼度に応じて、２以上の画像からいずれか一枚を選択し、選択した一枚の画像から得られる欠陥に関する情報を複数の画像それぞれに関連付けて、複数の新たな学習用データを生成する処理である。第１変形例に係るデータ生成装置１００による新たな学習用データの生成処理は、判定部１５２による判定結果の信頼度に応じて画像を選択する点で、先に説明した実施形態に係るデータ生成装置により実行される生成処理と相違する。その他の処理については、第１変形例に係るデータ生成装置１００により実行される処理と、実施形態に係るデータ生成装置により実行される処理は同じであってよい。

【0112】

はじめに、撮像装置１５３によって、２以上の異なる撮像条件で撮像された検査対象物の複数の画像を取得する（Ｓ３０）。そして、学習済みの識別器によって、複数の計測画像に基づいて、検査対象物に欠陥が含まれているか否かを判定する（Ｓ３１）。判定結果について、少なくとも一枚について判定結果が正しいか否かを判定する（Ｓ３２）。ここで、全ての画像について判定結果が誤りであった場合（Ｓ３２：ＮＯ）、第２処理は終了する。なお、全ての画像について判定結果が誤りであった場合（Ｓ３２：ＮＯ）であっても、ユーザインタフェース１７０によって判定結果の修正操作を受け付けて、修正された欠陥に関する情報に基づいて、以降の処理を行うこととしてもよい。

【0113】

少なくとも一枚の画像について判定結果が正しかった場合（Ｓ３２：ＹＥＳ）、画像修正部１２０は、判定結果の信頼度に応じて、基準画像を選択する（Ｓ３３）。画像修正部１２０は、判定結果の信頼度が最も高い画像を基準画像として選択してよい。また、画像修正部１２０は、判定部１５２が識別器によって得た欠陥の位置に関する情報及び欠陥の種類に関する情報の信頼度に応じて、基準画像を選択してもよい。

【0114】

画像修正部１２０は、計測部１５０より、複数の画像の照明条件を取得する（Ｓ３４）。なお、照明条件が不明である場合、照明条件の取得は必ずしも行われなくてもよい。そして、画像修正部１２０は、複数の画像それぞれについて、欠陥の位置に関する情報を算出する（Ｓ３５）。欠陥の位置に関する情報を算出する処理は、図６を用いて説明した処理であってよい。

【0115】

画像修正部１２０は、基準画像の撮像条件と、他の画像の撮像条件とを比較して、撮像条件の差が閾値以下であるか否かを判定する（Ｓ３６）。撮像条件の差が閾値以下でない画像の場合（Ｓ３６：ＮＯ）、画像修正部１２０は、当該画像を学習用データから除外する（Ｓ３７）。言い換えると、基準画像との撮像条件の差が閾値より大きい画像については、学習用データとして登録しない。

【0116】

一方、撮像条件の差が閾値以下である画像の場合（Ｓ３６：ＮＯ）、画像修正部１２０は、基準画像に基づいて判定された欠陥の種類に関する情報及び欠陥の位置に関する情報を、当該画像に転記する（Ｓ３８）。

【0117】

ユーザインタフェース１７０により、基準画像及び基準画像に基づいて判定された欠陥の種類に関する情報及び欠陥の位置に関する情報を表示するとともに、他の画像及び他の画像に転記された欠陥の種類に関する情報及び欠陥の位置に関する情報を表示して、転記された情報が正しいか否かに関する判断を受け付ける（Ｓ３９）。転記された欠陥の種類に関する情報及び欠陥の位置に関する情報が正しくない場合（Ｓ３９：ＮＯ）、ユーザインタフェース１７０により修正操作を受け付けて、転記された欠陥の種類に関する情報及び欠陥の位置に関する情報の修正を受け付ける（Ｓ４０）。

【0118】

転記された情報が正しい場合（Ｓ３９：ＹＥＳ）と、転記された情報の修正が完了した場合、登録を除外されていない複数の画像に、それぞれの照明条件、判定又は転記された欠陥の種類及び欠陥の位置に関する情報を関連付けて、新たな学習用データを生成し、修正画像ＤＢ１２２に格納する（Ｓ４１）。なお、照明条件の関連付けは省略されてもよい。以上により第２処理が終了する。

【0119】

第１変形例に係るデータ生成装置１００によれば、判定部１５２によって、複数の撮像条件で検査対象物を撮像した２以上の画像に基づいて検査対象物に欠陥が含まれていると判定された場合に、判定結果の信頼度に応じて基準とする画像が選択され、当該画像のみならず、他の撮像条件で検査対象物を撮像した画像に対しても欠陥に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な撮像条件で検査対象物を撮像した複数の画像に対して一括して欠陥に関する情報を関連付けて複数の学習用データを生成することができ、撮像条件が異なっても欠陥を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0120】

＜４．２＞
本実施形態の第２変形例に係るデータ生成装置１００は、判定部１５２により、複数の画像のうち２以上の画像に基づいて検査対象物に欠陥が含まれていると判定された場合に、２以上の画像についての判定部１５２により欠陥が含まれると判定された領域の面積に応じて、２以上の画像からいずれか一枚を選択し、選択した一枚の画像から得られる欠陥に関する情報を複数の画像それぞれに関連付けて、複数の新たな学習用データを生成する。第２変形例に係るデータ生成装置１００による新たな学習用データの生成処理は、判定部１５２による判定結果の信頼度ではなく、欠陥が含まれると判定された領域の面積に応じて画像を選択する点で、第１変形例における生成処理と相違する。その他の処理については、第２変形例に係るデータ生成装置１００により実行される処理と、第１変形例に係るデータ生成装置により実行される処理は同じであってよい。

【0121】

本変形例に係るデータ生成装置１００は、判定部１５２により、複数の画像のうち２以上の画像に基づいて検査対象物に欠陥が含まれていると判定された場合に、２以上の画像について判定部１５２により欠陥が含まれると判定された領域の面積が最も大きい画像を選択し、選択した一枚の画像から得られる欠陥に関する情報を複数の画像それぞれに関連付けて、複数の新たな学習用データを生成してよい。

【0122】

本変形例に係るデータ生成装置１００によれば、判定部１５２によって、複数の撮像条件で検査対象物を撮像した２以上の画像に基づいて検査対象物に欠陥が含まれていると判定された場合に、欠陥が含まれると判定された領域の面積に応じて基準とする画像が選択され、当該画像のみならず、他の撮像条件で検査対象物を撮像した画像に対しても欠陥に関する情報が関連付けられ、新たな学習用データとして追加される。そのため、様々な撮像条件で検査対象物を撮像した複数の画像に対して一括して欠陥に関する情報を関連付けて複数の学習用データを生成することができ、撮像条件が異なっても欠陥を見逃す誤判定が生じづらくなるように識別器を学習させることのできる学習用データを効率的に生成することができる。

【0123】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、材料、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【0124】

［付記１］
検査対象物の画像と前記検査対象物画像に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器（ａ、ｂ、ｃ、Ａ、Ｂ、…）によって、前記検査対象物の複数の画像に基づいて前記検査対象物に検出対象部位が含まれているか否かを判定する判定部（１５２）と、
２以上の異なる撮像条件で前記検査対象物を撮像した前記複数の画像を取得する取得部（１５３）と、
前記判定部（１５２）によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成する生成部（１２１）と、
を備えるデータ生成装置。

【0125】

［付記２］
前記判定部（１５２）は、前記複数の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定する場合に、前記検出対象部位の種類を判定し、
前記生成部（１２１）は、前記判定部（１５２）によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定され、前記検出対象部位の種類が判定された場合に、前記検出対象部位の種類に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記１に記載のデータ生成装置。

【0126】

［付記３］
前記判定部（１５２）は、前記複数の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定する場合に、前記検出対象部位の位置を判定し、
前記生成部（１２１）は、前記判定部（１５２）によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定され、前記検出対象部位の位置が判定された場合に、前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記１又は２に記載のデータ生成装置。

【0127】

［付記４］
前記撮像条件は、前記検査対象物を照らす照明条件を含み、
前記生成部（１２１）は、前記判定部（１５２）によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記複数の画像に含まれる他の画像の前記照明条件を、前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記１から３のいずれか一項に記載のデータ生成装置。

【0128】

［付記５］
前記撮像条件は、前記検査対象物と撮像装置との相対的な配置条件を含み、
前記複数の画像の前記配置条件に基づいて、前記複数の画像のうち一枚の画像における前記検出対象部位の位置を、前記複数の画像に含まれる他の画像における前記検出対象部位の位置に変換する変換部（１２３）をさらに備え、
前記生成部（１２１）は、前記判定部（１５２）によって前記一枚の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記変換部（１２３）により変換された前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記３に記載のデータ生成装置。

【0129】

［付記６］
前記複数の画像の対応関係に基づいて、前記複数の画像のうち一枚の画像における前記検出対象部位の位置を、前記複数の画像に含まれる他の画像における前記検出対象部位の位置に変換する変換部（１２３）をさらに備え、
前記生成部（１２１）は、前記判定部（１５２）によって前記一枚の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記変換部（１２３）により変換された前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記３に記載のデータ生成装置。

【0130】

［付記７］
前記生成部（１２１）は、前記検査対象物の３次元モデルに基づいて、前記複数の画像において前記検出対象部位が隠れず撮像できるか否かを判定し、前記検出対象部位が隠れず撮像できると判定された場合に、前記変換部（１２３）により変換された前記検出対象部位の位置に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記５又は６に記載のデータ生成装置。

【0131】

［付記８］
前記判定部（１５２）によって前記複数の画像のうちいずれか一枚の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記一枚の画像と前記複数の画像の前記撮像条件の差が閾値以下であるか否かを評価する評価部（１２４）をさらに備え、
前記生成部（１２１）は、前記複数の画像のうち、前記評価部により前記撮像条件の差が閾値以下であると評価された画像に前記検出対象部位に関する情報を関連付けて、前記新たな学習用データを生成する、
付記１から７のいずれか一項に記載のデータ生成装置。

【0132】

［付記９］
前記判定部（１５２）により、前記複数の画像のうち２以上の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記２以上の画像についての前記判定部（１５２）による判定結果の信頼度に応じて、前記２以上の画像からいずれか一枚を選択し、選択した一枚の画像から得られる前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記１から８のいずれか一項に記載のデータ生成装置。

【0133】

［付記１０］
前記判定部（１５２）により、前記複数の画像のうち２以上の画像に基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記２以上の画像について前記判定部（１５２）により前記検出対象部位が含まれると判定された領域の面積に応じて、前記２以上の画像からいずれか一枚を選択し、選択した一枚の画像から得られる前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、前記新たな学習用データを生成する、
付記１から８のいずれか一項に記載のデータ生成装置。

【0134】

［付記１１］
前記検出対象部位は、前記検査対象物に含まれる欠陥の部位であり、
前記生成部（１２１）により前記複数の画像に含まれる他の画像に関連付けられた前記欠陥に関する情報について、修正操作を受け付ける入力部（１７０）をさらに備え、
前記生成部（１２１）は、前記修正操作に基づいて、前記複数の画像それぞれに関連付ける前記欠陥に関する情報を修正して、前記新たな学習用データを生成する、
付記１から１０のいずれか一項に記載のデータ生成装置。

【0135】

［付記１２］
検査対象物の画像と前記検査対象物画像に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器（ａ、ｂ、ｃ、Ａ、Ｂ、…）によって、前記検査対象物の複数の画像に基づいて前記検査対象物に検出対象部位が含まれているか否かを判定することと、
２以上の異なる撮像条件で前記検査対象物を撮像した前記複数の画像を取得することと、
前記判定することによって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成することと、
を含むデータ生成方法。

【0136】

［付記１３］
データ生成装置に備えられた演算装置を、
検査対象物の画像と前記検査対象物画像に含まれる検出対象部位に関する情報とを含む学習用データを用いて学習された識別器（ａ、ｂ、ｃ、Ａ、Ｂ、…）によって、前記検査対象物の複数の画像に基づいて前記検査対象物に検出対象部位が含まれているか否かを判定する判定部（１５２）、
２以上の異なる撮像条件で前記検査対象物を撮像した前記複数の画像を取得する取得部（１５３）、及び
前記判定部（１５２）によって前記複数の画像のうちいずれかに基づいて前記検査対象物に検出対象部位が含まれていると判定された場合に、前記検出対象部位に関する情報を前記複数の画像に含まれる他の画像に関連付けて、新たな学習用データを生成する生成部（１２１）、
として動作させるデータ生成プログラム。

【符号の説明】

【0137】

１００…データ生成装置、１０１…演算装置、１０２…補助記憶部、１０２ａ…データ生成プログラム、１０２ｂ…計測画像、１０２ｃ…学習用データ、１０３…補助記憶部、１０４…プロセッサ、１０５…主記憶部、１０６…外部Ｉ／Ｆ、１１０…画像収集部、１１１…属性付与部、１１２…画像ＤＢ、１１３…画像補正部、１２０…画像修正部、１２１…生成部、１２２…修正画像ＤＢ、１２３…変換部、１２４…評価部、１３０…第１学習部、１３１…第１学習処理部、１４０…第２学習部、１４１…第２学習処理部、１５０…計測部、１５１…学習結果ＤＢ、１５２…判定部、１５３…撮像装置、１６０…計測結果管理部、１６１…計測結果ＤＢ、１７０…ユーザインタフェース、１８０…ユーザインタフェース、１９１…出力装置、１９２…入力装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】