特開 2021-135903 不良品画像生成プログラムおよび良否判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2021-135903(P2021-135903A)

(43)【公開日】2021年9月13日

(54)【発明の名称】不良品画像生成プログラムおよび良否判定装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20210816BHJP

   G01N 21/88 20060101ALI20210816BHJP

【ＦＩ】

   G06T7/00 350C

   G06T7/00 610B

   G01N21/88 Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

【全頁数】17

(21)【出願番号】特願2020-33423(P2020-33423)

(22)【出願日】2020年2月28日

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１）刊行物名：令和元年度卒業研究発表会概要集、発行者名：国立大学法人豊橋技術科学大学、発行年月日：令和１年１２月１９日

(71)【出願人】

【識別番号】000238360

【氏名又は名称】武蔵精密工業株式会社

(71)【出願人】

【識別番号】304027349

【氏名又は名称】国立大学法人豊橋技術科学大学

(74)【代理人】

【識別番号】110001911

【氏名又は名称】特許業務法人アルファ国際特許事務所

(72)【発明者】

【氏名】福井 清悟

(72)【発明者】

【氏名】村田 宗太

(72)【発明者】

【氏名】藤田 圭佑

(72)【発明者】

【氏名】神谷 文久

(72)【発明者】

【氏名】山口 裕希

(72)【発明者】

【氏名】青野 雅樹

【テーマコード（参考）】

2G051

5L096

【Ｆターム（参考）】

2G051AA07

2G051AB07

2G051CA04

2G051CB01

2G051CB05

2G051DA03

2G051DA08

2G051EA12

2G051ED04

5L096BA03

5L096FA06

5L096GA41

5L096GA55

5L096GA59

5L096HA11

5L096KA15

5L096MA03

(57)【要約】

【課題】良品画像と不良箇所を含む部分画像とから、より本物に近い不良品画像を生成する。
【解決手段】不良品画像生成プログラムは、コンピュータに、工業製品の良品画像と、不良箇所を含む部分画像を良品画像に合成した合成画像と、を取得する第１の取得処理と、入力画像と良品画像と合成画像とに基づき、画像更新モデルを繰り返し実行して不良品画像を生成する第１の画像生成処理と、を実行させる。画像更新モデルは、入力画像（ただし、初回は合成画像、２回目以降は画像更新モデルから前回出力された出力画像）と、良品画像と、を事前学習済みの畳み込みニューラルネットワークに入力し、入力画像と、合成画像と、をエッジ抽出用フィルタに入力し、畳み込みニューラルネットワークにより得られる第１の損失関数と、エッジ抽出用フィルタにより得られる第２の損失関数と、を合算した合算損失が最小になるように入力画像を更新して出力するモデルである。
【選択図】図７

【特許請求の範囲】

【請求項1】

不良箇所の存在により不良品であると判定される工業製品の不良品画像を生成する不良品画像生成プログラムであって、
コンピュータに、
前記工業製品の良品画像と、前記不良箇所を含む部分画像を前記良品画像に合成した合成画像と、を取得する第１の取得処理と、
入力画像と前記良品画像と前記合成画像とに基づき、画像更新モデルを繰り返し実行して前記不良品画像を生成する第１の画像生成処理と、を実行させ、
前記画像更新モデルは、
前記入力画像（ただし、初回は前記合成画像、２回目以降は前記画像更新モデルから前回出力された出力画像）と、前記良品画像と、を事前学習済みの畳み込みニューラルネットワークに入力し、
前記入力画像と、前記合成画像と、をエッジ抽出用フィルタに入力し、
前記畳み込みニューラルネットワークにより得られる第１の損失関数と、前記エッジ抽出用フィルタにより得られる第２の損失関数と、を合算した合算損失が最小になるように前記入力画像を更新して出力するモデルである、
不良品画像生成プログラム。

【請求項2】

請求項１に記載の不良品画像生成プログラムであって、
前記画像更新モデルは、
さらに、前記入力画像を、画像中における不良箇所の有無を判定する不良判定モデルに入力し、
前記第１の損失関数および前記第２の損失関数に、さらに、前記不良判定モデルにより得られる第３の損失関数を合算して前記合算損失とする、
不良品画像生成プログラム。

【請求項3】

請求項１または請求項２に記載の不良品画像生成プログラムであって、
前記コンピュータに、
前記工業製品の良品画像と、前記工業製品における前記不良箇所を含む部分画像と、を取得する第２の取得処理と、
前記工業製品の良品画像の一部である第１の画像領域を指定する指定処理と、
前記良品画像のうち、前記第１の画像領域を対象とし、前記第１の画像領域中の任意の位置に、前記部分画像を合成して前記合成画像を生成する第２の画像生成処理と、
を実行させる、不良品画像生成プログラム。

【請求項4】

請求項３に記載の不良品画像生成プログラムであって、
前記工業製品は歯車であり、
前記第１の画像領域は、前記歯車における歯のエッジ部と前記エッジ部の周辺部である、
不良品画像生成プログラム。

【請求項5】

請求項３または請求項４に記載の不良品画像生成プログラムであって、
前記工業製品は歯車であり、
前記第１の画像領域は、前記歯車における歯底とは異なる領域である、
不良品画像生成プログラム。

【請求項6】

請求項４または請求項５に記載の不良品画像生成プログラムであって、
前記指定処理では、前記良品画像に対するエッジ抽出処理により抽出されたエッジ部の位置に基づき前記第１の画像領域を指定する、
不良品画像生成プログラム。

【請求項7】

請求項３から請求項６までのいずれか一項に記載の不良品画像生成プログラムであって、
前記第２の画像生成処理では、前記良品画像に前記部分画像を合成した画像の彩度を、前記部分画像を合成する前の前記良品画像の彩度に基づき補正して前記合成画像を生成する、
不良品画像生成プログラム。

【請求項8】

判定対象製品の撮像画像における不良箇所の有無に基づき前記判定対象製品の良否を判定する良否判定装置であって、
請求項１から請求項７までのいずれか一項に記載の不良品画像生成プログラムにより生成された前記不良品画像を教師データとして用いて学習させた画像認識モデルに前記判定対象製品の撮像画像を入力して前記判定対象製品の良否を判定する、
良否判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、工業製品の不良品画像生成プログラムおよび良否判定装置に関する。

【背景技術】

【0002】

ディープラーニング等の機械学習により画像を認識する画像認識モデルを用いて、工業製品の撮像画像における不良箇所の有無に基づき工業製品の良否を判定する良否判定技術が知られている。このような画像認識モデルを用いる良否判定技術において、工業製品の良否の判定精度を向上させるためには、画像認識モデルに工業製品の良品画像および不良品画像を大量に入力して学習させることが必要である。しかし、工業製品の製造過程において、不良品の発生確率は、良品の発生確率に比べて極めて低いため、工業製品の不良品画像を機械学習に十分な量だけ収集することが事実上困難である。

【0003】

そこで、従来、工業製品の一のサンプル画像を人為的に編集して複数の不良品画像を生成する技術が知られている（例えば、特許文献１参照）。具体的には、不良箇所を含む不良パターン画像が複数パターン、予め取得されており、人による入力装置の操作により、サンプル画像に任意の不良パターン画像を合成する編集処理が行われる。なお、人による入力装置の操作により、サンプル画像における不良パターン画像の位置や回転角等を編集することも可能である。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開平５−１４９７２８号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述した人為的な編集により不良品画像を生成する従来の技術では、人為的に編集して不良品画像を生成するため、不自然な不良品画像が生成されたりする、という課題がある。

【0006】

本発明は、上述した課題を解決することが可能な不良品画像生成プログラム、および、不良品画像生成プログラムにより生成された不良品画像を用いて良否を判定する良否判定装置を提供することを目的とする。

【課題を解決するための手段】

【0007】

上記目的を達成するために、本発明の不良品画像生成プログラムは、不良箇所の存在により不良品であると判定される工業製品の不良品画像を生成する不良品画像生成プログラムであって、コンピュータに、前記工業製品の良品画像と、前記不良箇所を含む部分画像を前記良品画像に合成した合成画像と、を取得する第１の取得処理と、入力画像と前記良品画像と前記合成画像とに基づき、画像更新モデルを繰り返し実行して前記不良品画像を生成する第１の画像生成処理と、を実行させ、前記画像更新モデルは、前記入力画像（ただし、初回は前記合成画像、２回目以降は前記画像更新モデルから前回出力された出力画像）と、前記良品画像と、を事前学習済みの畳み込みニューラルネットワークに入力し、前記入力画像と、前記合成画像と、をエッジ抽出用フィルタに入力し、前記畳み込みニューラルネットワークにより得られる第１の損失関数と、前記エッジ抽出用フィルタにより得られる第２の損失関数と、を合算した合算損失が最小になるように前記入力画像を更新して出力するモデルである。

【0008】

本不良品画像生成プログラムでは、画像更新モデルが用いられる。画像更新モデルは、第１の損失関数と第２の損失関数とを合算した合算損失が最小になるように入力画像を更新して出力するモデルである。ここで、第１の損失関数は、畳み込みニューラルネットワークにより得られる入力画像と良品画像との誤差であり、第１の損失関数が最小になるように入力画像を更新することは、良品画像の特徴に近づくように入力画像が更新されることを意味する。第２の損失関数は、エッジ抽出用フィルタにより得られる入力画像と合成画像との誤差であり、第２の損失関数が最小になるように入力画像を更新することは、合成画像の特徴（不良箇所）に近づくように入力画像が更新されることを意味する。したがって、合算損失が最小になるように入力画像を更新することは、合成画像の不良箇所の特徴を保ちつつ、良品画像の特徴に近づくように入力画像が更新されることを意味する。これにより、本不良品画像生成プログラムによれば、良品画像と部分画像とから、より本物に近い不良品画像を生成することができる。

【0009】

上記不良品画像生成プログラムにおいて、前記画像更新モデルは、さらに、前記入力画像を、画像中における不良箇所の有無を判定する不良判定モデルに入力し、前記第１の損失関数および前記第２の損失関数に、さらに、前記不良判定モデルにより得られる第３の損失関数を合算して前記合算損失とする。第３の損失関数は、不良判定モデルにより得られる不良箇所有り判定基準と判定結果との誤差であり、第３の損失関数が最小になるように入力画像を更新することは、不良判定モデルで不良箇所有りと判定される画像に近づくように入力画像が更新されることを意味する。これにより、本不良品画像生成プログラムによれば、不良判定モデルを用いない場合に比べて、より本物に近い不良品画像を生成することができる。

【0010】

上記不良品画像生成プログラムにおいて、前記コンピュータに、前記工業製品の良品画像と、前記工業製品における前記不良箇所を含む部分画像と、を取得する第２の取得処理と、前記工業製品の良品画像の一部である第１の画像領域を指定する指定処理と、前記良品画像のうち、前記第１の画像領域を対象とし、前記第１の画像領域中の任意の位置に、前記部分画像を合成して前記合成画像を生成する第２の画像生成処理と、を実行させる構成としてもよい。即ち、良品画像のうち、予め指定された第１の画像領域を対象に部分画像が合成される構成としてもよい。これにより、本不良品画像生成プログラムによれば、不良箇所が不自然な位置に配置された合成画像の生成が抑制され、より本物に近い不良品画像を生成することができる。

【0011】

上記不良品画像生成プログラムにおいて、前記工業製品は歯車であり、前記第１の画像領域は、前記歯車における歯のエッジ部と前記エッジ部の周辺部である構成としてもよい。即ち、特にエッジ部とその周辺部（以下、「エッジ部等」という）に不良箇所が存在する合成画像が生成される構成としてもよい。エッジ部等に存在する不良箇所は、特に、互いに噛み合う他の歯車との接触により異音を発する等、歯車の機能に影響しやすい。そこで、本不良品画像生成プログラムでは、第１の画像領域を歯のエッジ部等とすることにより、より有用な不良品画像を精度良く生成することができる。

【0012】

上記不良品画像生成プログラムにおいて、前記工業製品は歯車であり、前記第１の画像領域は、前記歯車における歯底とは異なる領域である構成としてもよい。即ち、不良箇所が歯底だけに存在する合成画像が生成されない構成としてもよい。歯車における歯底は、互いに噛み合う他の歯車と接触せず、仮に歯底に不良箇所が存在しても歯車の機能に影響しない可能性が高い。そこで、本不良品画像生成プログラムでは、第１の画像領域を歯車の歯底とは異なる領域とすることにより、より有用な不良品画像を精度良く生成することができる。

【0013】

上記不良品画像生成プログラムにおいて、前記指定処理では、前記良品画像に対するエッジ抽出処理により抽出されたエッジ部の位置に基づき前記第１の画像領域を指定する構成としてもよい。これにより、本不良品画像生成プログラムによれば、良品画像から抽出されるエッジ部の位置に基づき第１の画像領域を自動で指定することができる。

【0014】

上記不良品画像生成プログラムにおいて、前記第２の画像生成処理では、前記良品画像に前記部分画像を合成した画像の彩度を、前記部分画像を合成する前の前記良品画像の彩度に基づき補正して前記合成画像を生成する構成としてもよい。これにより、本不良品画像生成プログラムによれば、部分画像に対しても、良品画像の彩度が反映された合成画像が生成されるため、より本物に近い不良品画像を生成することができる。

【0015】

本発明の良否判定装置は、判定対象製品の撮像画像における不良箇所の有無に基づき前記判定対象製品の良否を判定する良否判定装置であって、上記記載の不良品画像生成プログラムにより生成された前記不良品画像を教師データとして用いて学習させた画像認識モデルに前記判定対象製品の撮像画像を入力して前記判定対象製品の良否を判定する。本良否判定装置によれば、より本物に近い不良品画像に基づき学習した画像認識モデルを用いることにより、判定対象製品が不良品であるか否かを精度よく判定することができる。

【0016】

なお、本発明の不良品画像生成プログラムは、例えば、不良品画像生成装置、不良品画像生成方法、不良品画像生成プログラムを記録した一時的でない記録媒体等の他の形態で実現することも可能である。

【図面の簡単な説明】

【0017】

【図1】本実施形態における良品検査システム１０の概略構成を示す説明図

【図2】ベースライン画像生成処理の内容を示すフローチャート

【図3】マスク画像生成処理の内容を示すフローチャート

【図4】ベースライン画像生成処理におけるベベルギヤＷの画像の変化を示す説明図

【図5】彩度調整処理の内容を示すフローチャート

【図6】画像最適化処理の内容を示すフローチャート

【図7】画像更新モデル１４１の概要を示す説明図

【図8】ＦＩＤスコアによる各画像の評価結果を示す説明図

【発明を実施するための形態】

【0018】

Ａ．実施形態：
Ａ−１．良品検査システム１０の構成：
図１は、本実施形態における良品検査システム１０の概略構成を示す説明図である。良品検査システム１０は、例えば製造ラインにおける品質検査工程において、順次作製される工業製品（工業部品でもよい）について外観検査を行うことにより、工業製品が良品であるか不良品であるかを判定するためのシステムである。以下の説明では、工業製品は、例えば差動歯車装置に用いられるベベルギヤＷであるとする。また、ベベルギヤＷの良品とは、ベベルギヤＷのうち、ベベルギヤＷの機能に影響する特定領域に不良箇所が存在しないものをいい、ベベルギヤＷの不良品とは、ベベルギヤＷのうち、該特定領域に不良箇所が存在するものをいう。特定領域は、例えば、歯のエッジ部（特に歯先稜線および歯形稜線）やその周辺部（歯先面および歯面））である。不良箇所とは、工業製品における損傷や打痕である。以下、「打痕」を例に挙げて説明する。

【0019】

図１に示すように、良品検査システム１０は、撮像部１２（例えばデジタルカメラ）と、回転ステージ１４と、搬送ロボット１６と、画像処理装置１００と、良否判定装置２００と、を備える。

【0020】

回転ステージ１４は、ベベルギヤＷが載置されるテーブルが回転可能に支持された構成を備える。撮像部１２は、回転ステージ１４のテーブル上に載置されたベベルギヤＷを例えば側方から撮像可能な位置に配置されている。搬送ロボット１６は、製造ラインで順次製造されるベベルギヤＷを１つずつ把持して回転ステージ１４のテーブル上に載置し、例えば良品と判定されたベベルギヤＷと、不良品と判定されたベベルギヤＷとを別々の場所に搬送する。なお、撮像部１２と回転ステージ１４と搬送ロボット１６とは、次述する良否判定装置２００の制御部２１０にインターフェース部２５０を介して通信可能に接続されており、撮像部１２と回転ステージ１４と搬送ロボット１６とのそれぞれの動作は制御部２１０により制御される。また、画像処理装置１００と良否判定装置２００とは、互いに通信可能に接続されている。なお、画像処理装置１００と良否判定装置２００とは、撮像部１２と回転ステージ１４と搬送ロボット１６と同一の製造ラインに設けられる必要はなく、所定のネットワーク（例えばインターネット等の公衆回線や専用回線等）を介して通信可能なクラウド環境下に設けられていてもよい。

【0021】

Ａ−１−１．画像処理装置１００の構成
画像処理装置１００は、制御部１１０と、記憶部１２０と、表示部１３０と、操作入力部１４０と、インターフェース部１５０と、を備える。これらの各部は、バス１９０を介して互いに通信可能に接続されている。

【0022】

表示部１３０は、例えば液晶ディスプレイ等により構成され、各種の画像や情報を表示する。操作入力部１４０は、例えばキーボードやマウス、ボタン、マイク等により構成され、人の操作や指示を受け付ける。なお、本実施形態では、表示部１３０がタッチパネルを備えることにより、操作入力部１４０として機能する。また、インターフェース部１５０は、例えばＬＡＮインターフェースやＵＳＢインターフェース等により構成され、有線または無線により他の装置との通信を行う。

【0023】

記憶部１２０は、例えばＲＯＭやＲＡＭ、ハードディスクドライブ（ＨＤＤ）等により構成され、各種のデータ、プログラムやモデルを記憶したり、各種のプログラムやモデルを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。

【0024】

具体的には、記憶部１２０には、打痕画像ＤＢ１２１と、良品画像ＤＢ１２２と、不良品画像ＤＢ１２３と、ベースライン画像ＤＢ１２４と、が格納されている。打痕画像ＤＢ１２１には、複数パターンの打痕画像Ｋ（図４参照）が記憶されている。打痕画像Ｋは、実際のベベルギヤＷの不良品の撮像画像のうち、打痕を含む部分画像である。本実施形態では、不良品の撮像画像のうち、ベベルギヤＷの特定領域を抽出した分割画像である。本実施形態では、複数のベベルギヤＷの不良品の撮像画像に基づき、複数パターン（例えば約３０個）の打痕画像Ｋが取得されている。なお、本実施形態では、打痕画像Ｋは、グレイスケール画像であるものとする。良品画像ＤＢ１２２には、予め撮像されたベベルギヤＷの複数パターンの良品の撮像画像（以下、「良品画像ＧＹ」という）が記憶されている。不良品画像ＤＢ１２３には、予め撮像されたベベルギヤＷの複数パターンの不良品の撮像画像や次述する不良品画像生成ＰＧＭ１３１の実行により生成されるベベルギヤＷの不良品の画像（以下、「不良品画像ＧＸ」という）が順次記憶される。打痕画像Ｋは、特許請求の範囲における部分画像の一例である。ベースライン画像ＤＢ１２４には、不良品画像生成ＰＧＭ１３１の実行過程で生成されるベースライン画像ＧＢが順次記憶される。

【0025】

また、記憶部１２０には、不良品画像生成ＰＧＭ１３１が格納されている。不良品画像生成ＰＧＭ１３１は、不良品画像ＧＸを生成するための処理を実行するためのコンピュータプログラムである。不良品画像生成ＰＧＭ１３１は、ベースライン画像生成ＰＧＭ１３３と、画像最適化ＰＧＭ１３４とを含む。ベースライン画像生成ＰＧＭ１３３は、後述のベースライン画像生成処理（図２参照）を実行するためのコンピュータプログラムであり、画像最適化ＰＧＭ１３４は、後述の画像最適化処理（図６参照）を実行するためのコンピュータプログラムである。これらのプログラムは、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータによって読み取り可能な記録媒体（不図示）に格納された状態で提供され、画像処理装置１００にインストールすることにより記憶部１２０に格納される。また、記憶部１２０には、後述の画像更新モデル１４１も格納されている。

【0026】

制御部１１０は、例えばＣＰＵ等により構成され、記憶部１２０から読み出したコンピュータプログラムを実行することにより、画像処理装置１００の動作を制御する。例えば、制御部１１０は、記憶部１２０から不良品画像生成ＰＧＭ１３１を読み出して実行することにより、後述の不良品画像ＧＸを生成するための処理（ベースライン画像生成処理、画像最適化処理）を実行する。制御部１１０は、ベースライン画像生成処理を実行する際、第２の取得部１１３と指定部１１４と第２の画像生成部１１５として機能し、画像最適化処理を実行する際、第１の取得部１１１と第１の画像生成部１１２として機能する。これら各部の機能については、後述の各種の処理の説明に合わせて説明する。

【0027】

Ａ−１−２．良否判定装置２００の構成
良否判定装置２００は、制御部２１０と、記憶部２２０と、表示部２３０と、操作入力部２４０と、インターフェース部２５０と、を備える。これらの各部は、バス２９０を介して互いに通信可能に接続されている。

【0028】

表示部２３０は、例えば液晶ディスプレイ等により構成され、各種の画像や情報を表示する。操作入力部２４０は、例えばキーボードやマウス、ボタン、マイク等により構成され、人の操作や指示を受け付ける。なお、本実施形態では、表示部２３０がタッチパネルを備えることにより、操作入力部２４０として機能する。また、インターフェース部２５０は、例えばＬＡＮインターフェースやＵＳＢインターフェース等により構成され、有線または無線により他の装置との通信を行う。

【0029】

記憶部２２０は、例えばＲＯＭやＲＡＭ、ハードディスクドライブ（ＨＤＤ）等により構成され、各種のデータ、プログラムやモデルを記憶したり、各種のプログラムやモデルを実行する際の作業領域やデータの一時的な記憶領域として利用されたりする。

【0030】

具体的には、記憶部２２０には、良否判定ＰＧＭ２３２が格納されている。良否判定ＰＧＭ２３２は、ベベルギヤＷの撮像画像における不良箇所の有無に基づきベベルギヤＷの良否を判定するためのプログラムである。このプログラムは、例えば、ＣＤ−ＲＯＭやＤＶＤ−ＲＯＭ、ＵＳＢメモリ等のコンピュータによって読み取り可能な記録媒体（不図示）に格納された状態で提供され、良否判定装置２００にインストールすることにより記憶部２２０に格納される。また、記憶部２２０には、後述の画像認識モデル２４２も格納されている。

【0031】

制御部２１０は、例えばＣＰＵ等により構成され、記憶部２２０から読み出したコンピュータプログラムを実行することにより、良否判定装置２００の動作を制御する。例えば、制御部２１０は、記憶部２２０から良否判定ＰＧＭ２３２を読み出して実行することにより、後述の良否判定処理を実行する。このとき、制御部２１０は、学習部２２６と判定部２２７として機能する。これら各部の機能については、後述の処理の説明に合わせて説明する。

【0032】

Ａ−２．不良品画像ＧＸを生成するための処理：
次に、本実施形態の画像処理装置１００により実行される不良品画像ＧＸを生成するための各種の処理について説明する。

【0033】

Ａ−２−１．ベースライン画像生成処理
図２は、ベースライン画像生成処理の内容を示すフローチャートであり、図３は、マスク画像生成処理の内容を示すフローチャートであり、図４は、ベースライン画像生成処理におけるベベルギヤＷの画像の変化を示す説明図である。図５は、彩度調整処理の内容を示すフローチャートである。ベースライン画像生成処理は、良品画像ＤＢ１２２に記憶された良品画像ＧＹに、打痕画像ＤＢ１２１に記憶された打痕画像Ｋを合成してベースライン画像ＧＢを生成する処理である。

【0034】

ベースライン画像生成処理が開始されると、図２に示すように、第２の取得部１１３は、良品画像ＤＢ１２２に記憶された複数の良品画像ＧＹの中から、一様乱数によりランダムに１枚の良品画像ＧＹ（図４（ａ）参照）を選択して取得する（Ｓ１１０）。Ｓ１１０の処理は、特許請求の範囲における第２の取得処理の一例である。なお、次のＳ１１２以降の処理を、良品画像ＧＹに対して行ってもよいし、良品画像ＧＹのうち、一部をトリミングした加工後の良品画像ＧＹに対して行ってもよい。本実施形態では、図４（ａ）に示すように、良品画像ＧＹのうち、打痕が存在し得ない周縁部分をトリミングした画像に対してＳ１１２以降の処理が行われる。以下、説明の簡略のため、トリミング後の良品画像ＧＹも、単に良品画像ＧＹと呼ぶ。また、良品画像ＧＹは、ＲＧＢ空間の画像データであるものとする。

【0035】

次に、指定部１１４は、取得された良品画像ＧＹに対してマスク画像生成処理を行う（Ｓ１１２）。マスク画像生成処理は、ベースライン画像ＧＢを生成する際、良品画像ＧＹのうち、実際に打痕が生じ得ない画像領域（以下、「マスク画像領域」という）への打痕画像Ｋの配置を回避し、実際に打痕が生じ得る特定画像領域Ｒ１に打痕が配置されるようにするための処理である。具体的には、マスク画像生成処理は、良品画像ＧＹのうち、特定画像領域Ｒ１を指定するための処理である。Ｓ１１２の処理は、特許請求の範囲における指定処理の一例であり、特定画像領域Ｒ１は、上述の特定領域に対応する領域であり、特許請求の範囲における第１の画像領域の一例である。

【0036】

マスク画像生成処理が開始されると、図３に示すように、指定部１１４は、良品画像ＧＹに対してグレイスケール変換を適用して、グレイスケール画像ＧＹ１（図４（ｂ）参照）を生成する（Ｓ２１０）。次に、指定部１１４は、グレイスケール画像ＧＹ１に対して微分フィルタ（例えば一次微分フィルタ）を適用して、ベベルギヤＷのエッジ部分（輪郭）が抽出されたエッジ画像ＧＹ２（図４（ｃ）参照）を生成する（Ｓ２１２）。次に、指定部１１４は、エッジ画像ＧＹ２に対してメディアンフィルタ（例えばウインドウ５×５）を適用して、ノイズを低減したエッジ画像ＧＹ３（図４（ｄ）参照）を生成し（Ｓ２１４）、そのエッジ画像ＧＹ３に対して二値化処理（例えば大津の二値化処理）を適用して、二値化画像ＧＹ４（図４（ｅ）参照）を生成する（Ｓ２１６）。二値化画像ＧＹ４では、主として、ベベルギヤＷにおけるエッジ部とその周辺部が白色領域となっており、また、歯底の一部も白色領域になっている。

【0037】

本実施形態では、さらに、指定部１１４は、二値化画像ＧＹ４に対して、Ｓ２１４の処理時よりも小さいウインドウ（例えば３×３）の収縮処理および平滑化フィルタ（例えばメディアンフィルタ）を、１または複数回適用して、マスク画像ＧＭ（図４（ｇ）参照）を生成する（Ｓ２１８）。メディアンフィルタの適用により、二値化画像ＧＹ４が平滑化されノイズが除去される。収縮処理の適用により、二値化画像ＧＹ４において、エッジ部から離れた孤立領域（例えばベベルギヤＷの歯底）におけるノイズが除去される。なお、図４では、二値化画像ＧＹ４に対して収縮処理およびメディアンフィルタを１回適用して二値化画像ＧＹ５（図４（ｆ）参照）を生成し、さらに、その二値化画像ＧＹ５に対して収縮処理およびメディアンフィルタを１回適用してマスク画像ＧＭ（図４（ｇ）参照）を得る例が示されている。このように、二値化画像ＧＹ４に対して収縮処理およびメディアンフィルタを複数回適用することにより、ノイズをより効果的に除去することができる。ここでいう「ノイズ」とは、特に、ベベルギヤＷの歯底に残存する白色領域である。図４（ｅ）〜（ｇ）に示すように、収縮処理およびメディアンフィルタの適用回数に応じて、ベベルギヤＷの歯底に残存する白色領域が低減していることが分かる。なお、後述するように、白色領域は、良品画像ＧＹにおける上記特定画像領域Ｒ１を指定するための領域である。

【0038】

マスク画像生成処理を終了すると、第２の画像生成部１１５は、良品画像ＧＹのうち、特定画像領域Ｒ１を対象とし、特定画像領域Ｒ１中の任意の位置に、打痕画像Ｋを合成してベースライン画像ＧＢを生成する。この処理は、特許請求の範囲における第２の画像生成処理の一例であり、ベースライン画像ＧＢは、特許請求の範囲における合成画像の一例である。

【0039】

具体的には、図２に示すように、第２の取得部１１３は、打痕画像ＤＢ１２１に記憶された複数パターンの打痕画像Ｋ（図４（ｌ）参照）の中から、一様乱数によりランダムに１または複数のパターンの打痕画像Ｋを選択して取得する（Ｓ１１４）。次に、第２の画像生成部１１５は、良品画像ＧＹの特定画像領域Ｒ１（マスク画像ＧＭの白色領域に対応する領域）に、一様乱数によりランダムに選択した位置に打痕画像Ｋを上書きして打痕付画像ＧＤ（図４（ｈ）参照）を生成する（Ｓ１１６）。

【0040】

次に、第２の画像生成部１１５は、打痕付画像ＧＤに対して彩度調整処理を実行する（Ｓ１１８）。彩度調整処理は、打痕付画像ＧＤにおける打痕画像Ｋに対して、良品画像ＧＹの彩度を反映させるための処理である。彩度調整処理が開始されると、図５に示すように、第２の画像生成部１１５は、打痕付画像ＧＤと、打痕画像Ｋが合成される前の良品画像ＧＹとのそれぞれを、ＲＧＢ空間の画像から、彩度を調整可能な色空間（例えばＨＳＶ空間、ＨＬＳ空間、Ｌ＊ａ＊ｂ空間、ＹＣｂＣｒ空間、ＹＵＶ空間など）の画像に変換する（Ｓ３１０）。次に、第２の画像生成部１１５は、色変換後の打痕付画像ＧＤの彩度を、色変換後の良品画像ＧＹの彩度に基づき補正し（Ｓ３２０）、彩度補正後の打痕付画像ＧＤを、ＲＧＢ空間の画像に変換し、ベースライン画像ＧＢを生成し（Ｓ３３０）、記憶部１２０のベースライン画像ＤＢ１２４に記憶し、本ベースライン画像生成処理を終了する。これにより、打痕付画像ＧＤのうち、打痕画像Ｋの合成部分に対しても、良品画像ＧＹの彩度が反映されたベースライン画像ＧＢ（図４（ｉ）参照）が生成される。

【0041】

Ａ−２−２．画像最適化処理
図６は、画像最適化処理の内容を示すフローチャートであり、図７は、画像更新モデル１４１の概要を示す説明図である。画像最適化処理は、ベースライン画像生成処理で生成されたベースライン画像ＧＢを、より本物に近い（より自然な）不良品画像に近づけるための処理である。

【0042】

画像最適化処理が開始されると、図６に示すように、第１の取得部１１１は、ベースライン画像ＧＢとそのベースライン画像ＧＢの元になった良品画像ＧＹとを記憶部１２０から取得する（Ｓ４１０）。Ｓ４１０の処理は、特許請求の範囲における第１の取得処理の一例である。次に、第１の画像生成部１１２は、入力画像ＧＳとベースライン画像ＧＢと良品画像ＧＹとに基づき、画像更新モデル１４１を繰り返し実行して不良品画像ＧＸを生成する（Ｓ４２０）。Ｓ４２０の処理は、特許請求の範囲における第１の画像生成処理の一例である。

【0043】

具体的には、図７に示すように、画像更新モデル１４１では、入力画像ＧＳ（ただし、初回はベースライン画像ＧＢ、２回目以降は画像更新モデル１４１から前回出力された出力画像）と、良品画像ＧＹと、を事前学習済みの畳み込みニューラルネットワークＭ１１に入力し、コンテンツ損失Ｌ１を得る（Ｓ５１０）。畳み込みニューラルネットワークＭ１１は、画像の特徴量に基づき画像を分類する学習モデルであり、例えばＶＧＧ１９モデルである。なお、畳み込みニューラルネットワークＭ１１は、これに限らず、ＩｍａｇｅＮｅｔで訓練された学習モデルであればよく、例えば、ＶＧＧ１６モデル、ＡｌｅｘＮｅｔ、ＲｅｓＮｅｔ３４、ＲｅｓＮｅｔ５０、ＩｎｃｅｐｔｉｏｎＶ３等であってもよい。
コンテンツ損失Ｌ１は、画像更新モデル１４１から出力される入力画像ＧＳと良品画像ＧＹとの特徴量の二乗誤差を損失関数としたものであり、例えば、次の式１で示される。
＜式１＞
コンテンツ損失Ｌ１＝（１／２）（Ｆ_ｉ（ＧＹ）−Ｆ_ｉ（ＧＳ））^２
Ｆ_ｉ：ＩｍａｇｅＮｅｔであり、ＶＧＧ１９モデルのｉ番目のＣｏｎｖＬａｙｅｒの出力である。
コンテンツ損失Ｌ１では、良品画像ＧＹを真値としている。このため、コンテンツ損失Ｌ１を最小化することは、良品画像ＧＹの特徴に近づくように入力画像ＧＳが更新されることを意味する。なお、「入力画像ＧＳが更新される」とは、入力画像ＧＳの画素値が更新されることを意味する（以下、同じ）。コンテンツ損失Ｌ１は、特許請求の範囲における第１の損失関数の一例である。

【0044】

また、画像更新モデルでは、入力画像ＧＳとベースライン画像ＧＢとをラプラシアンフィルタＭ１２に入力し、ラプラシアン損失Ｌ２を得る（Ｓ５２０）。ラプラシアン損失Ｌ２は、ラプラシアンフィルタＭ１２から出力される入力画像ＧＳとベースライン画像ＧＢとの二乗誤差を損失関数としたものであり、例えば、次の式２で示される。
＜式２＞
ラプラシアン損失Ｌ２＝（１／２）（Ｌ（ＧＢ）−Ｌ（ＧＳ））^２
Ｌ：ラプラシアンフィルタＭ１２の出力である。
ラプラシアンフィルタＭ１２は、画像のエッジを抽出するフィルタであり、ラプラシアン損失Ｌ２では、ベースライン画像ＧＢを真値としている。このため、ラプラシアン損失Ｌ２を最小化することは、ベースライン画像ＧＢの特徴（特に打痕画像Ｋの輪郭）に近づくように入力画像ＧＳが更新されることを意味する。ラプラシアン損失Ｌ２は、特許請求の範囲における第２の損失関数の一例である。

【0045】

さらに、画像更新モデル１４１では、入力画像ＧＳを、打痕分類モデルＭ１３に入力し、打痕判定損失Ｌ３を得る（Ｓ５３０）。打痕分類モデルＭ１３は、事前学習済みの畳み込みニューラルネットワークを分類器として利用するものであり、上述したベベルギヤＷの複数の分割画像に対して転移学習を行うことより、画像中の打痕の有無を判別するモデルであり、例えばＲｅｓＮｅｔ５０である。なお、打痕分類モデルＭ１３は、これに限らず、ＩｍａｇｅＮｅｔで訓練された学習モデルであればよく、例えば、ＶＧＧ１６モデル、ＶＧＧ１９モデル、ＡｌｅｘＮｅｔ、ＲｅｓＮｅｔ３４、ＩｎｃｅｐｔｉｏｎＶ３等であってもよい。打痕判定損失Ｌ３は、次の式３で示される。
＜式３＞
打痕判定損失Ｌ３＝（１／２）（１−ｃｎｎ（ＧＳ））^２
ｃｎｎ：打痕の有無を判定する打痕分類モデルであり、打痕無しの画像に対して「０」を出力し、打痕有りの画像に対して「１」を出力する。
打痕判定損失Ｌ３では、「１」を真値としている。このため、打痕判定損失Ｌ３を最小化することは、打痕分類モデルが打痕有りと判定する方向に入力画像ＧＳが更新されることを意味する。打痕分類モデルＭ１３は、特許請求の範囲における不良判定モデルの一例であり、打痕判定損失Ｌ３は、特許請求の範囲における第３の損失関数の一例である。

【0046】

次に、画像更新モデル１４１では、得られたコンテンツ損失Ｌ１とラプラシアン損失Ｌ２と打痕判定損失Ｌ３とを合算した合算損失（＝α・Ｌ１＋β・Ｌ２＋γ・Ｌ３）を算出し（Ｓ５４０）、合算損失が最小になるように入力画像ＧＳを更新して出力画像を出力する（Ｓ５５０）。なお、合算損失の定数項（α，β，γ）は、適宜変更可能である。

【0047】

次に、第１の画像生成部１１２は、出力画像が所定の最適条件を満たすか否かを判断する（Ｓ４３０）。最適条件は、例えば、エポック数が所定値（例えば２０）に達したことである。なお、最適条件は、これに限らず、例えば、上記合算損失が所定値以下になったことであってもよい。第１の画像生成部１１２は、出力画像が最適条件を満たさないと判断した場合（Ｓ４３０：ＮＯ）、その出力画像を入力画像ＧＳとして設定し（Ｓ４４０）、Ｓ４２０に戻って再び画像更新モデル１４１の実行を繰り返す。一方、第１の画像生成部１１２は、出力画像が最適条件を満たすと判断した場合（Ｓ４３０：ＹＥＳ）、精度の高い不良品画像ＧＸが生成されたとして、直近の出力画像を不良品画像ＧＸとして記憶部１２０の不良品画像ＤＢ１２３に記憶し（Ｓ４５０）、本画像最適化処理を終了する。

【0048】

Ａ−２−３．評価結果
本実施形態では、ベースライン画像ＧＢと不良品画像ＧＸとのそれぞれについて、ＦＩＤ（Ｆｒｅｃｈｅｔ Ｉｎｃｅｐｔｉｏｎ Ｄｉｓｔａｎｃｅ）スコアを用いて、本物の打痕画像（例えば１０００枚）との比較による評価を行った。ＦＩＤスコアは、２つの画像データセットに対して、ＩｍａｇｅＮｅｔ学習済みのＩｎｃｅｐｔｉｏｎＶ３モデルに画像を入力して得られる特徴表現の平均と分散の距離を評価する尺度である。ＦＩＤスコアは、以下に式４により定義される。
＜式４＞
ｄ^２＝｜ｍ_１−ｍ_２｜^２＋Ｔｒ（Ｃ_１＋Ｃ_２−２（Ｃ_１Ｃ_２）^１／２）
ｍ_１：画像データセット１をＩｎｃｅｐｔｉｏｎＶ３モデルに入力したときのモデルの最後の平均プーリング層の出力である。
ｍ_２：画像データセット２をＩｎｃｅｐｔｉｏｎＶ３モデルに入力したときのモデルの最後の平均プーリング層の出力である。
Ｔｒ：行列のトレースである。
Ｃ_１：画像データセット１を入力としたＩｎｃｅｐｔｉｏｎＶ３モデルの出力２０４８次元ベクトルに対する共分散行列である。
Ｃ_２：画像データセット２を入力としたＩｎｃｅｐｔｉｏｎＶ３モデルの出力２０４８次元ベクトルに対する共分散行列である。

【0049】

図８は、ＦＩＤスコアによる各画像の評価結果を示す説明図である。図８中の不良品画像ＧＸ（打痕判定モデル無し）は、上記画像最適化処理（図６）のＳ４２０において、合算損失に打痕判定損失Ｌ３を合算せず、コンテンツ損失Ｌ１とラプラシアン損失Ｌ２とのみを合算して生成された不良品画像ＧＸを意味し、不良品画像ＧＸ（打痕判定モデル有り）は、合算損失にコンテンツ損失Ｌ１とラプラシアン損失Ｌ２と打痕判定損失Ｌ３とを合算して生成された不良品画像ＧＸを意味する。図８に示すように、不良品画像ＧＸ（打痕判定モデル無し）では、ベースライン画像ＧＢに比べて、本物の打痕画像に近い評価結果となっており、不良品画像ＧＸ（打痕判定モデル有り）では、不良品画像ＧＸ（打痕判定モデル無し）に比べて、本物の打痕画像にさらに近い評価結果となった。

【0050】

Ａ−３．ベベルギヤＷの良否を判定するための処理：
次に、本実施形態の良否判定装置２００により実行されるベベルギヤＷの良否を判定するための処理について説明する。この処理は、機械学習により画像を認識する画像認識モデル２４２を用いて、ベベルギヤＷの撮像画像における不良箇所の有無に基づきベベルギヤＷの良否を判定するための処理である。

【0051】

上述した不良品画像ＧＸを生成するための処理により、機械学習に十分な量の不良品画像ＧＸが記憶部１２０の不良品画像ＤＢ１２３に記憶されると、良否判定装置２００の学習部２２６は、画像処理装置１００の良品画像ＤＢ１２２に記憶された複数パターンの良品画像ＧＹと、不良品画像ＤＢ１２３に記憶された複数パターンの不良品画像ＧＸとを、教師データとして用いて、ベベルギヤＷの良否を判定するための機械学習を行って画像認識モデル２４２を生成または更新する。画像認識モデル２４２は、予め用意したモデル式の重み係数等を制御することにより生成できるが、画像認識モデル２４２を生成するのに用いる具体的なモデル式については限定されず、任意のモデル式を適用可能である。

【0052】

良否判定処理が開始されると、判定部２２７は、回転ステージ１４のテーブルを回転させつつ、撮像部１２にテーブル上に載置されたベベルギヤＷの全周を撮像させる。これにより、１つのベベルギヤＷの互いに異なる角度が撮像された複数の撮像画像が生成される。具体的には、１つのベベルギヤＷについて例えば３６枚の撮像画像を生成し、各撮像画像を例えば８分割して、計３６×８＝２８８個の判定対象データを生成する。次に、判定部２２７は、判定対象データごとに、画像認識モデル２４２を用いて良否（不良箇所の有無）を判定する。すなわち、１つのベベルギヤＷについて、２８８種類の判定対象データに対する良否判定を行うことになる。なお、１つのベベルギヤＷ当たりの判定対象データの数は任意である。

【0053】

Ａ−４．本実施形態の効果：
以上説明したように、本実施形態の不良品画像生成ＰＧＭ１３１では、画像最適化処理において、画像更新モデル１４１が用いられる（図６のＳ４２０）。画像更新モデル１４１は、コンテンツ損失Ｌ１とラプラシアン損失Ｌ２とを合算した合算損失が最小になるように入力画像ＧＳを更新して出力するモデルである（図７参照）。ここで、コンテンツ損失Ｌ１は、畳み込みニューラルネットワークＭ１１により得られる入力画像ＧＳと良品画像ＧＹとの誤差であり、コンテンツ損失Ｌ１が最小になるように入力画像ＧＳを更新することは、良品画像ＧＹの特徴に近づくように入力画像ＧＳが更新されることを意味する。ラプラシアン損失Ｌ２は、エッジ抽出用フィルタ（ラプラシアンフィルタＭ１２）により得られる入力画像ＧＳとベースライン画像ＧＢとの誤差であり、ラプラシアン損失Ｌ２が最小になるように入力画像ＧＳを更新することは、ベースライン画像ＧＢの特徴（不良箇所）に近づくように入力画像ＧＳが更新されることを意味する。したがって、合算損失が最小になるように入力画像ＧＳを更新することは、ベースライン画像ＧＢの不良箇所の特徴を保ちつつ、良品画像ＧＹの特徴に近づくように入力画像ＧＳが更新されることを意味する。これにより、本実施形態によれば、良品画像ＧＹと打痕画像Ｋとから、より本物に近い不良品画像ＧＸを生成することができる。

【0054】

本実施形態では、画像最適化処理において、入力画像ＧＳが打痕分類モデルＭ１３に入力され、合算損失が最小になり、かつ、打痕分類モデルＭ１３にて不良箇所有りと判定されるように入力画像ＧＳが更新される（図７参照）。これにより、本実施形態によれば、打痕分類モデルＭ１３を用いない場合に比べて、より本物に近い不良品画像ＧＸを生成することができる。

【0055】

本実施形態では、ベースライン画像生成処理において、良品画像ＧＹのうち、予め指定された特定画像領域Ｒ１を対象に打痕画像Ｋが合成される（図２のＳ１１６）。これにより、不良箇所が不自然な位置に配置されたベースライン画像ＧＢの生成が抑制され、より本物に近い不良品画像ＧＸを生成することができる。ここで、ＮＳＴ（Ｎｅｕｒａｌ Ｓｔｙｌｅ Ｔｒａｎｓｆｅｒ）技術を用いて、良品画像をコンテンツ画像とし、不良箇所を含む画像をスタイル画像として画風変換を行って不良品画像を生成する方法が考えられる。しかし、このＮＳＴ技術を用いる方法では、不良箇所の位置が全体としての画風に応じて変換されるため、不良品画像における不良箇所の位置を制御することができない。その結果、例えば不良箇所が存在し得ない位置に配置されるなど、不自然な不良品画像が生成される可能性が高い。これに対して、本実施形態では、予め特定画像領域Ｒ１を指定することにより、不良品画像ＧＸにおける不良箇所の位置を制御することができる。このため、より本物に近い不良品画像ＧＸを生成することができる。

【0056】

また、本実施形態では、特にエッジ部とその周辺部（以下、「エッジ部等」という）に不良箇所が存在するベースライン画像ＧＢが生成される。エッジ部等に存在する不良箇所は、特に、互いに噛み合う他の歯車との接触により異音を発する等、歯車の機能に影響しやすい。そこで、本実施形態では、特定画像領域Ｒ１を歯のエッジ部等とすることにより、より有用な不良品画像ＧＸを精度良く生成することができる。

【0057】

また、本実施形態では、不良箇所が歯底だけに存在するベースライン画像ＧＢが生成されにくい。歯車における歯底は、互いに噛み合う他の歯車と接触せず、仮に歯底に不良箇所が存在しても歯車の機能に影響しない可能性が高い。そこで、本実施形態では、特定画像領域Ｒ１を歯車の歯底とは異なる領域とすることにより、より有用な不良品画像ＧＸを精度良く生成することができる。

【0058】

本実施形態では、マスク画像生成処理（図２および図３参照）において、良品画像ＧＹに対するエッジ抽出処理（図３のＳ２１２）により抽出されたエッジ部の位置に基づき特定画像領域Ｒ１が指定される。これにより、良品画像ＧＹから抽出されるエッジ部の位置に基づき特定画像領域Ｒ１を自動で指定することができる。

【0059】

本実施形態では、彩度調整処理（図５参照）において、良品画像ＧＹに打痕画像Ｋを合成した画像の彩度を、打痕画像Ｋを合成する前の良品画像ＧＹの彩度に基づき補正してベースライン画像ＧＢが生成される。これにより、打痕画像Ｋに対しても、良品画像ＧＹの彩度が反映されたベースライン画像ＧＢが生成されるため、より本物に近い不良品画像ＧＸを生成することができる。

【0060】

本実施形態の良否判定装置２００では、上述した不良品画像ＧＸを教師データとして用いて学習させた画像認識モデル２４２に、判定対象製品（ベベルギヤＷ）の撮像画像を入力して良否が判定される。これにより、より本物に近い不良品画像ＧＸに基づき学習した画像認識モデル２４２を用いることにより、判定対象製品が不良品であるか否かを精度よく判定することができる。

【0061】

Ｂ．変形例：
本発明は、上述の実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の形態に変形することができ、例えば次のような変形も可能である。

【0062】

上記実施形態における良品検査システム１０の構成は、あくまで一例であり、種々変形可能である。例えば画像処理装置１００の記憶部１２０の少なくとも一部および良否判定装置２００の記憶部２２０の少なくとも一部は、外部装置（例えばクラウドサーバ等）に記憶された構成であってもよい。また、撮像部１２と回転ステージ１４と搬送ロボット１６とのそれぞれの動作を、良否判定装置２００ではなく、専用の制御装置（プログラマブルロジックコントローラ等）により制御するとしてもよい。

【0063】

上記実施形態では、工業製品として、ベベルギヤＷを例示したが、他の歯車（例えばヘルカルギヤ等）でもよく、また、歯車以外の工業製品（シャフトやねじ等）でもよい。工業製品は、例えば、金型で金属材料等をプレスした鍛造物や金型に金属材料等を流し込んで成形した鋳造物等であり、形状やサイズ、材料なども任意であり、金属だけでなく、樹脂等で形成されたものでもよい。

【0064】

上記実施形態における各種の処理の内容は、あくまで一例であり、種々変形可能である。例えば、ベースライン画像生成処理において、打痕画像ＤＢ１２１に記憶された打痕画像Ｋは、良品画像ＧＹと同じ色空間（ＲＧＢ色空間）の画像データであってもよい。また、良品画像ＧＹは、ＲＧＢ空間以外の色空間の画像データであってもよい。また、ベースライン画像生成処理のＳ１１０において、予め定められた順番で選択された良品画像ＧＹが取得されるとしてもよいし、一の良品画像ＧＹを常に取得するとしてもよい。また、Ｓ１１４において、予め定められた順番で選択された打痕画像Ｋが取得されるとしてもよいし、一の打痕画像Ｋを常に取得するとしてもよい。

【0065】

ベースライン画像生成処理において、マスク画像生成処理（Ｓ１１２）と彩度調整処理（Ｓ１１８）の少なくとも１つを実行しないとしてもよいし、外部装置に実行させて結果を画像処理装置１００が受信するとしてもよい。ベースライン画像生成処理において、特定画像領域Ｒ１を人の入力操作により指定するとしてもよい。マスク画像生成処理において、Ｓ２１４からＳ２１８の処理の少なくとも１つを実行しないとしてもよい。

【0066】

画像最適化処理において、画像更新モデル１４１による実行処理の少なくとも一部を外部装置に実行させて結果を良否判定装置２００が受信するとしてもよい。

【0067】

ベベルギヤＷの良否を判定するための処理において、画像認識モデル２４２を生成または更新する処理の少なくとも一部を外部装置に実行させて結果を良否判定装置２００が受信するとしてもよい。

【0068】

上記実施形態において、ハードウェアによって実現されている構成の一部をソフトウェアに置き換えるようにしてもよく、反対に、ソフトウェアによって実現されている構成の一部をハードウェアに置き換えるようにしてもよい。

【符号の説明】

【0069】

１００：画像処理装置 １１０，２１０：制御部（コンピュータ） １１１：第１の取得部 １１２：第１の画像生成部 １１３：第２の取得部 １１４：指定部 １１５：第２の画像生成部 １３１：不良品画像生成プログラム １４１：画像更新モデル ２００：良否判定装置 ２２７：判定部 ２４２：画像認識モデル ＧＢ：ベースライン画像（合成画像） ＧＳ：入力画像 ＧＸ：不良品画像 ＧＹ：良品画像 Ｋ：打痕画像（部分画像） Ｌ１：コンテンツ損失（第１の損失関数） Ｌ２：ラプラシアン損失（第２の損失関数） Ｍ１１：畳み込みニューラルネットワーク Ｍ１２：ラプラシアンフィルタ（エッジ抽出用フィルタ） Ｍ１３：打痕分類モデル（不良判定モデル） Ｒ１：特定画像領域（第１の画像領域） Ｗ：ベベルギヤ（工業製品、判定対象製品）

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】