特開 2023-180697 疑似欠陥画像生成装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023180697

(43)【公開日】2023-12-21

(54)【発明の名称】疑似欠陥画像生成装置

(51)【国際特許分類】

   G06T 5/50 20060101AFI20231214BHJP

   G06T 1/00 20060101ALI20231214BHJP

【ＦＩ】

G06T5/50

G06T1/00 300

【審査請求】未請求

【請求項の数】7

【出願形態】ＯＬ

(21)【出願番号】P 2022094217

(22)【出願日】2022-06-10

(71)【出願人】

【識別番号】509186579

【氏名又は名称】日立Ａｓｔｅｍｏ株式会社

(74)【代理人】

【識別番号】110000350

【氏名又は名称】ポレール弁理士法人

(72)【発明者】

【氏名】細谷 直樹

(72)【発明者】

【氏名】藤岡 恭弘

【テーマコード（参考）】

5B057

【Ｆターム（参考）】

5B057AA01

5B057BA23

5B057CA01

5B057CA08

5B057CA12

5B057CA16

5B057CB01

5B057CB08

5B057CB12

5B057CB16

5B057CE08

5B057CE09

5B057CH16

5B057DA03

5B057DA16

5B057DB02

5B057DB06

5B057DB09

5B057DC03

5B057DC14

5B057DC16

5B057DC40

(57)【要約】

【課題】 加工品を対象として機械学習を用いた外観検査を行う際に、欠陥部の画像を品種間で共有し、欠陥部の画像を収集する手間を削減することのできる疑似欠陥画像生成装置を提供する。
【解決手段】 学習装置に学習させる疑似欠陥画像を生成する疑似欠陥画像生成装置であって、欠陥部分画像を格納した欠陥ライブラリと、加工項目と加工に許容される内容を対応付けた管理情報に基づいて、前記加工項目に応じた欠陥と検査領域を指定した欠陥配置ルールと、該欠陥配置ルールに基づいて、前記欠陥部分画像を正常品画像上の前記検査領域に配置して疑似欠陥画像を生成する疑似欠陥画像生成部と、を備える、疑似欠陥画像生成装置。
【選択図】 図２

【特許請求の範囲】

【請求項1】

学習装置に学習させる疑似欠陥画像を生成する疑似欠陥画像生成装置であって、
欠陥部分画像を格納した欠陥ライブラリと、
加工項目と加工に許容される内容を対応付けた管理情報に基づいて、前記加工項目に応じた欠陥と検査領域を指定した欠陥配置ルールと、
該欠陥配置ルールに基づいて、前記欠陥部分画像を正常品画像上の前記検査領域に配置して疑似欠陥画像を生成する疑似欠陥画像生成部と、
を備えることを特徴とする、疑似欠陥画像生成装置。

【請求項2】

請求項１に記載の疑似欠陥画像生成装置において、さらに、
少なくとも１仕様の加工品の欠陥品画像を格納した欠陥品画像ライブラリと、
少なくとも２仕様の加工品の正常品画像を格納した正常品画像ライブラリと、
を有しており、
前記欠陥ライブラリに格納される欠陥部分画像は、前記欠陥品画像から切り出したものであり、
前記疑似欠陥画像生成部が前記疑似欠陥画像を生成する際には、何れの仕様の加工品の疑似欠陥画像を生成する場合も、共用の欠陥部分画像を使用することを特徴とする、疑似欠陥画像生成装置。

【請求項3】

請求項１に記載の疑似欠陥画像生成装置において、
前記学習装置には、学習する画像領域サイズと、学習の処理密度とが設定されており、
前記疑似欠陥画像生成部は、前記欠陥の配置間隔を前記画像領域サイズ以上とし、且つ、前記欠陥の配置間隔が前記処理密度以下となるように疑似欠陥画像を生成することを特徴とする、疑似欠陥画像生成装置。

【請求項4】

請求項１に記載の疑似欠陥画像生成装置において、
前記疑似欠陥画像生成部は、正常品画像の階調値に応じて前記欠陥部分画像の階調値を補正することで前記疑似欠陥画像を生成することを特徴とする、疑似欠陥画像生成装置。

【請求項5】

請求項１に記載の疑似欠陥画像生成装置において、
前記疑似欠陥画像生成部は、欠陥品画像と正常品画像を比較して抽出した、欠陥部分画像を前記欠陥ライブラリに格納することを特徴とする、疑似欠陥画像生成装置。

【請求項6】

請求項１に記載の疑似欠陥画像生成装置において、
前記疑似欠陥画像生成部は、正常品画像からユーザが指定した領域の画像を欠陥部分画像として前記欠陥ライブラリに格納することを特徴とする、疑似欠陥画像生成装置。

【請求項7】

請求項１に記載の疑似欠陥画像生成装置において、
前記欠陥部分画像は、実際の欠陥を模して人工的に生成した画像であることを特徴とする、疑似欠陥画像生成装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、外観検査用の判定器を生成する学習装置に、機械学習用の疑似欠陥画像を供給する疑似欠陥画像生成装置に関する。

【背景技術】

【0002】

所定仕様の加工品の外観検査に機械学習を適用したい場合には、まず、同仕様の加工品の欠陥品画像と正常品画像を大量に機械学習させて判定器を生成する必要がある。また、この判定器の検査精度を向上させたい場合には、正常品画像の数と同程度の数の欠陥品画像を機械学習させる必要がある。しかしながら、通常は、正常品の数に比べて欠陥品の数が遥かに少ないため、正常品画像と同程度の数の欠陥品画像を用意することは困難であった。

【0003】

そこで、欠陥品画像の不足を補うための様々な手法が提案されてきた。例えば、特許文献１の要約書には、「不良部画像の画像データである不良部データを記憶する不良部データ記憶部と、良品画像の画像データである良品データを記憶する良品データ記憶部と、前記不良部データ、前記良品データ、及び生成パラメータに基づいて、前記良品画像に前記不良部画像を合成した学習画像の画像データである学習データを生成する学習データ生成部と、前記学習データを記憶する学習データ記憶部と、前記生成パラメータを設定する生成パラメータ設定部と、を備える」学習データ生成装置が開示されている。

【0004】

このように、特許文献１では、良品画像に不良部画像を合成することで欠陥品画像を生成し、欠陥品画像の不足を補っている。

【先行技術文献】

【特許文献】

【0005】

【特許文献1】特開２０２０－０２７４２４号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

しかしながら、特許文献１で生成される学習データは、同文献の段落００４７～００４８、図６等に例示されるように、不良部画像の大きさ、角度、色、輝度などを変化させて、良品画像上の同じ位置に合成することで、疑似的な欠陥品画像としたものである。従って、特許文献１で生成可能な疑似欠陥品画像は、実際に撮像された欠陥品画像と同仕様の加工品の疑似欠陥品画像に限定され、異なる仕様の加工品の疑似欠陥品画像を生成することはできなかった。また、特許文献１では、同仕様の加工品であっても、実際に撮像された欠陥品画像と異なる位置に欠陥部のある疑似欠陥品画像を生成することはできなかった。

【0007】

このため、特許文献１では、複数仕様の加工品の夫々について大量の疑似欠陥品画像を生成したい場合は、加工品の仕様毎に、或いは、不良部の位置毎に不良部画像を用意しなければならず、学習データを生成する前の準備作業に相当の労力を要していた。

【0008】

この問題を踏まえ、本発明は、仕様の異なる複数の加工品の疑似欠陥品画像を生成する際に、共通の欠陥部画像を利用することで、多様な疑似欠陥品画像を容易に生成することができる疑似欠陥画像生成装置を提供することを目的とする。

【課題を解決するための手段】

【0009】

上記課題を解決するため、本発明の疑似欠陥画像生成装置は、学習装置に学習させる疑似欠陥画像を生成する疑似欠陥画像生成装置であって、欠陥部分画像を格納した欠陥ライブラリと、加工項目と加工に許容される内容を対応付けた管理情報に基づいて、前記加工項目に応じた欠陥と検査領域を指定した欠陥配置ルールと、該欠陥配置ルールに基づいて、前記欠陥部分画像を正常品画像上の前記検査領域に配置して疑似欠陥画像を生成する疑似欠陥画像生成部と、を備えるものとした。

【発明の効果】

【0010】

本発明の疑似欠陥画像生成装置によれば、仕様の異なる複数の加工品の疑似欠陥品画像を生成する際に、共通の欠陥部画像を利用することで、多様な疑似欠陥品画像を容易に生成することができる。

【図面の簡単な説明】

【0011】

【図1】外観検査システムの概略図。

【図2】実施例１の疑似欠陥画像生成装置の概略を示す図。

【図3】疑似欠陥画像生成処理のフローチャート。

【図4A】実施例１の設定部のＧＵＩの例を示す図

【図4B】実施例１の設定部のＧＵＩの例を示す図

【図4C】実施例１の設定部のＧＵＩの例を示す図

【図4D】実施例１の設定部のＧＵＩの例を示す図

【図5】実施例２の疑似欠陥画像生成装置の概略を示す図

【図6】実施例２の欠陥の配置を示す図

【図7】実施例３の正常品画像を示す図

【図8】実施例４の疑似欠陥画像生成装置の概略を示す図

【図9】実施例５の疑似欠陥画像生成装置の概略を示す図

【図10】実施例５の正常品画像を示す図

【発明を実施するための形態】

【0012】

以下、図面を用いて、本発明の疑似欠陥画像生成装置の実施例を説明する。

【実施例0013】

まず、図１から図４Ｄを用いて、本発明の実施例１に係る疑似欠陥画像生成装置１０を説明する。

【0014】

図１は、加工品１の外観を検査する外観検査システムの概略図である。図示するように、この外観検査システムは、加工品１を撮像するカメラ２と、カメラ２が撮像した画像Ｐに基づいて加工品１を外観検査する外観検査装置３と、カメラ２の撮像範囲に加工品１を搬送する搬送装置４を備えている。なお、図１では、仕様の異なる２種類の加工品１Ａ、１Ｂを検査対象として例示しているが、検査対象の加工品１が３種類以上あっても良い。

【0015】

外観検査装置３には、学習装置２０が生成した判定器３ａが組み込まれている。学習装置２０は、実際に撮像された正常品画像や欠陥品画像に加えて、後述する疑似欠陥画像生成装置１０から供給された疑似欠陥画像を対象として、Deep Neural Network やSupport Vector Machine等の機械学習を用い、判定器３ａを生成する装置である。生成された判定器３ａは、同一の加工工程を経て製造された仕様の異なる加工品１を何れも外観検査可能なものとなり、搬送装置４で順次搬送される様々な仕様の加工品１が正常品か否かを順次判定することができる。

【0016】

例えば、判定器３ａの検査対象が、共に鋳造工程と冠面切削工程を経て製造された、異なる仕様のエンジンピストン（加工品１Ａ、１Ｂ）であり、それぞれの冠面の金属加工部Ｗ（Ｗ_Ａ、Ｗ_Ｂ）の欠陥（鋳巣、傷、打痕など）を検査対象とする場合、学習装置２０では、金属加工部Ｗの正常品画像と欠陥品画像を仕様毎に機械学習することで、何れの加工品１でも外観検査可能な判定器３ａが生成される。

【0017】

以下、学習装置２０に供給する多様な欠陥品画像を簡便に生成することができる、本実施例の疑似欠陥画像生成装置１０の詳細を説明する。

【0018】

図２は、実施例１の疑似欠陥画像生成装置１０の概略を示す図である。ここに示すように、本実施例の疑似欠陥画像生成装置１０は、欠陥品画像ライブラリ１１と、正常品画像ライブラリ１２と、欠陥ライブラリ１３と、設定ユーザインタフェース（以下、「設定ＵＩ１４」と称する）と、疑似画像生成部１５で構成され、設定ＵＩ１４からの設定入力に応じて疑似欠陥品画像を生成し、学習装置２０に出力するものである。なお、この疑似欠陥画像生成装置１０は、具体的には、ＣＰＵ等の演算装置、半導体メモリ等の主記憶装置、ハードディスク等の補助記憶装置、および、通信装置などのハードウェアを備えたコンピュータである。そして、演算装置が主記憶装置に読み込まれた所定のプログラムを実行したり、補助記憶装置が所定データを記憶したりすることで、後述する各機能を実現するが、以下では、このような周知技術を適宜省略しながら各部の詳細を順次説明する。

【0019】

欠陥品画像ライブラリ１１は、少なくとも１仕様の加工品１（例えば、加工品１Ａ）の欠陥品画像Ｐａを蓄積した記憶部である。なお、欠陥品画像Ｐａとは、後述する欠陥部ブロブｂを含む画像である。正常品画像ライブラリ１２は、少なくとも２仕様の加工品１（例えば、加工品１Ａ、１Ｂ）の正常品画像Ｐｎ（例えば、正常品画像Ｐｎ_Ａ、Ｐｎ_Ｂ）を蓄積した記憶部である。欠陥ライブラリ１３は、欠陥品画像Ｐａから抽出した、少なくとも１組の欠陥ラベルｌと欠陥パッチｐを蓄積した記憶部である。なお、欠陥ラベルｌと欠陥パッチｐの詳細は後述する。

【0020】

設定ＵＩ１４は、ユーザが欠陥ラベルｌや検査領域Ｒを設定入力したり、疑似欠陥品画像を生成させたりする際に利用するユーザインタフェースであり、具体的には、ディスプレイなどの表示装置、および、キーボード、マウス、タッチパネルなどの入力装置である。なお、設定ＵＩ１４の詳細は、図４Ａから図４Ｄを用いて後述する。

【0021】

疑似画像生成部１５は、欠陥ライブラリ生成部１５ａ、検査領域生成部１５ｂ、欠陥配置ルール生成部１５ｃ、疑似欠陥品画像生成部１５ｄで構成される。

【0022】

欠陥ライブラリ生成部１５ａは、主として、欠陥品画像Ｐａから欠陥ラベルｌと欠陥パッチｐを生成する機能部である。そのため、欠陥ライブラリ生成部１５ａは、まず、欠陥品画像ライブラリ１１から欠陥品画像Ｐａを取得し、設定ＵＩ１４のディスプレイに表示する。その後、ユーザがディスプレイに表示された欠陥品画像Ｐａ上で任意の欠陥部ブロブｂを指定すると、欠陥ライブラリ生成部１５ａは、その欠陥部ブロブｂの位置と形状を欠陥ラベルｌとして欠陥ライブラリ１３に格納する。また、欠陥ライブラリ生成部１５ａは、欠陥ラベルｌと同じ箇所を欠陥品画像Ｐａから切り出し、欠陥パッチｐとして欠陥ライブラリ１３に格納する。さらに、欠陥ライブラリ生成部１５ａは、ユーザによって登録された欠陥部ブロブｂの欠陥種等も欠陥ライブラリ１３に格納する。

【0023】

図２の例では、欠陥品画像Ｐａの欠陥部ブロブｂは鋳巣であり、欠陥ライブラリ１３には、鋳巣の位置と形状を特定する情報である欠陥ラベルｌと、鋳巣近傍の画像データである欠陥パッチｐが、一対のデータとして格納させる。通常、加工品１の加工工程が同一であれば、欠陥の外観は仕様に依存しないため、ここで生成された欠陥ライブラリは、同一の加工工程で製造された仕様の異なる加工品１（例えば、加工品１Ｂ）でも共有することができる。

【0024】

検査領域生成部１５ｂは、正常品画像Ｐｎ上に検査領域Ｒを生成する機能部である。例えば、加工品１Ａの正常品画像Ｐｎ_Ａに対応して検査領域Ｒ_Ａを生成する場合は、まず、検査領域生成部１５ｂは、正常品画像ライブラリ１２から正常品画像Ｐｎ_Ａを取得し、設定ＵＩ１４のディスプレイに表示する。ユーザが、表示された画像上で検査対象領域の外周（例えば、金属加工部Ｗ_Ａの輪郭）をマウスカーソルでなぞると、検査領域生成部１５ｂは、マウスカーソルでなぞられた輪郭線データを検査領域Ｒ_Ａとして保持する。

【0025】

検査対象の加工品１の仕様が異なると、製品の形状やサイズが異なるため、検査領域Ｒは仕様毎に生成する必要がある。従って、検査領域生成部１５ｂは、上記同様の方法で、加工品１Ｂの正常品画像Ｐｎ_Ｂに対応する検査領域Ｒ_Ｂを保持する。

【0026】

なお、検査領域Ｒは、一つの加工品１に対して複数生成しても良く、例えば、エンジンピストンの冠面の鋳肌部と金属加工部を異なる検査領域としても良いし、金属加工部の内部を重要度に応じて複数の検査領域に分割しても良い。

【0027】

欠陥配置ルール生成部１５ｃは、予め用意された管理情報ｉ等に基づいて、欠陥配置ルールｒを生成する機能部である。管理情報ｉには、検査工程毎に管理項目（検査領域Ｒ、欠陥種）と許容される内容（欠陥サイズの仕様など）が対応付けて記述されている。欠陥配置ルール生成部１５ｃは、設定ＵＩ１４上で管理情報ｉに基づいてユーザが指定した検査領域種、欠陥種、欠陥サイズ、配置方法を欠陥配置ルールｒとして保持する。

【0028】

検査領域Ｒについては、管理情報ｉに記述された検査領域Ｒに対応するものを、検査領域生成部１５ｂで生成された検査領域種から選択して指定される。欠陥種については、管理情報ｉに記述された欠陥種に対応するものを、欠陥ライブラリ１３に格納された欠陥種から選択して指定される。欠陥サイズについては、管理情報ｉに記述された欠陥サイズが指定される。配置方法については、あらかじめ用意した配置方法、例えば、ランダムでの配置、等間隔での配置、検査領域Ｒの輪郭に沿った配置などから検査領域毎に選択して指定される。通常、加工工程が同一であれば、加工領域内の欠陥の発生領域は品種には依存しないため、欠陥配置ルールは品種間で共有できる。

【0029】

疑似欠陥品画像生成部１５ｄは、欠陥配置ルールｒに基づいて疑似欠陥品画像Ｐｖを生成する機能部である。以下、図３のフローチャートを用いて、加工品１Ａの疑似欠陥品画像Ｐｖ_Ａを生成する場合を例に、疑似欠陥品画像生成処理の詳細を説明する。

【0030】

まず、ステップＳ１では、疑似欠陥品画像生成部１５ｄは、正常品画像ライブラリ１２から加工品１Ａの正常品画像Ｐｎ_Ａを取得する。

【0031】

次に、ステップＳ２では、疑似欠陥品画像生成部１５ｄは、欠陥配置ルールｒで指定された検査領域Ｒに対応する、正常品画像Ｐｎ_Ａの検査領域Ｒ_Ａのデータを、検査領域生成部１５ｂから取得する。

【0032】

ステップＳ３では、疑似欠陥品画像生成部１５ｄは、欠陥配置ルールｒで指定された欠陥種と欠陥サイズに対応する欠陥パッチｐと欠陥ラベルｌを欠陥ライブラリ１３から取得する。具体的には、欠陥配置ルールｒで指定された欠陥種と同じ欠陥種であって、欠陥配置ルールｒで指定された欠陥サイズ以上の大きさの欠陥パッチｐと欠陥ラベルｌを取得する。これは、指定サイズ以上の欠陥パッチｐのみを配置した疑似欠陥品画像Ｐｖに基づいて判定器３ａを学習させるためである。

【0033】

ステップＳ４では、疑似欠陥品画像生成部１５ｄは、欠陥パッチｐから欠陥ラベルｌに相当する箇所を切り出して、正常品画像Ｐｎ_Ａ上の検査領域Ｒ_Ａに、欠陥配置ルールｒに指定された配置方法に従って合成し、疑似欠陥品画像Ｐｖ_Ａを生成する。例えば、欠陥配置ルールｒに配置方法として検査領域Ｒの輪郭に沿った配置が指定されていた場合、図２の疑似欠陥品画像Ｐｖ_Ａに例示するように、検査領域Ｒ_Ａの輪郭に沿って欠陥パッチｐが配置される。また、図示していないが、疑似欠陥品画像Ｐｖ_Ａの欠陥パッチｐと同じ位置に欠陥ラベルを配置した疑似欠陥ラベル画像も生成する。

【0034】

一方、加工品１Ａとは金属加工部Ｗの仕様の異なる加工品１Ｂの疑似欠陥品画像Ｐｖ_Ｂを生成する場合も、図３と同様の処理により、検査領域Ｒ_Ｂの輪郭に沿って欠陥パッチｐを配置した疑似欠陥品画像Ｐｖ_Ｂを生成できるが、疑似欠陥品画像Ｐｖ_Ｂの生成時に利用する欠陥パッチｐと欠陥ラベルｌは共用のものであるため、仮に、加工品１Ｂの欠陥品画像を用意できなかった場合でも、加工品１Ａの欠陥品画像さえ用意できていれば、疑似欠陥品画像Ｐｖ_Ｂを生成することができる。

【0035】

＜設定ＵＩ１４のＧＵＩの例＞
次に、図４Ａから図４Ｄを用いて、設定ＵＩ１４のＧＵＩ（Graphical User Interface）の具体例を説明する。

【0036】

図４Ａは、欠陥ライブラリを生成する際のＧＵＩを例示している。ここに示すように、設定ＵＩ１４のディスプレイの処理メニューＭには、疑似欠陥画像生成装置１０で実行可能な処理が列挙されており、ユーザはこれらの中から所望のものを選択することができる。

【0037】

例えば、ユーザが欠陥ライブラリ生成Ｍ１を選択すると、欠陥ライブラリ生成部１５ａは、欠陥品画像ライブラリ１１から欠陥品画像Ｐａを取得し、画像表示領域Ｖに表示する。ユーザが、欠陥品画像Ｐａ内の欠陥領域をマウスカーソルＣでなぞると、なぞられた領域が欠陥部ブロブｂとして表示される。また、ユーザは、欠陥種設定領域Ｂ１に、欠陥部ブロブｂの欠陥種（例えば、鋳巣）と欠陥サイズ（例えば、０．５ｍｍ）を入力する。その後、ユーザが処理メニューＭから保存Ｍ２を選択すると、欠陥ライブラリ生成部１５ａは、欠陥部ブロブｂを欠陥ラベルｌとして欠陥ライブラリ１３に格納するとともに、欠陥ラベルｌと同じ箇所を欠陥品画像Ｐａから切り出したものを欠陥パッチｐとし、ユーザによって指定された欠陥種（例えば、鋳巣）と併せて欠陥ライブラリ１３に格納する。

【0038】

図４Ｂは、検査領域Ｒを生成する際のＧＵＩを例示している。ここに示すように、品種設定領域Ｂ２には、検査対象の品種名を入力することができる。ユーザが処理メニューＭから検査領域生成Ｍ３を選択した後、品種名を入力すると（図では加工品１Ａが入力されている）、検査領域生成部１５ｂは、正常品画像ライブラリ１２から加工品１Ａの正常品画像Ｐｎ_Ａを取得し、画像表示領域Ｖに表示する。そして、表示画像上でユーザがマウスカーソルＣでなぞった領域を検査領域Ｒとして表示する。また、検査領域種入力領域Ｂ３には、検査領域名を入力することができる。ユーザが検査領域種を入力し（図では検査領域Ｒ_Ａが入力されている）、処理メニューＭから保存Ｍ２を選択すると、検査領域生成部１５ｂは、検査領域Ｒを加工品１Ａの検査領域Ｒ_Ａとして保持する。

【0039】

図４Ｃは、欠陥配置ルールｒを生成する際のＧＵＩを例示している。配置ルール設定領域Ｂ４には、疑似欠陥品画像Ｐｖへの欠陥の配置方法を入力可能になっている。ユーザが処理メニューＭから配置ルール設定Ｍ４を選択した後、検査領域種、欠陥種、欠陥サイズ、配置方法を入力し（図では順に、検査領域Ｒ_Ａ、鋳巣、０．５ｍｍ、検査領域輪郭沿いが入力されている）、更に、処理メニューＭから保存Ｍ２が選択されたら、欠陥配置ルール生成部１５ｃは、ユーザによって指定された検査領域種、欠陥種、欠陥サイズ、配置方法をセットにして、欠陥配置ルールｒとして保持する。

【0040】

図４Ｄは、疑似欠陥品画像Ｐｖを生成する際のＧＵＩを例示している。ユーザが処理メニューＭから疑似欠陥品画像生成Ｍ５を選択し、品種、検査領域種を入力すると（図では加工品１Ａ、検査領域Ｒ_Ａ）、疑似欠陥品画像生成部１５ｄは、正常品画像ライブラリ１２から加工品１Ａの正常品画像Ｐｎ_Ａを取得し、画像表示領域Ｖに表示する。さらに検査領域生成部１５ｂから、検査領域Ｒ_Ａを取得し、画像表示領域Ｖに上書き表示する。さらに欠陥ライブラリ１３から、指定された欠陥種と欠陥サイズに対応する欠陥パッチｐと欠陥ラベルｌを取得し、指定された配置方法（図では輪郭沿い）で画像表示領域Ｖに上書き表示する。ユーザによって保存Ｍ２を選択されたら、疑似欠陥品画像生成部１５ｄは、表示されている画像を疑似欠陥品画像Ｐｖとして保持する。なお、この処理は、図３のフローチャートで説明したものと同等である。

【0041】

以上で説明した本実施例によれば、欠陥部のパッチ画像とラベルを品種間で共有でき、品種毎に欠陥部の画像を収集する手間を削減することのできる、疑似欠陥画像生成装置を提供することができる。また、検査領域に欠陥を配置する際の欠陥配置ルールを品種間で共有でき、品種毎に欠陥配置を指定する手間を削減することのできる、疑似欠陥画像生成装置を提供することができる。また、学習装置の学習・評価時の画像領域サイズと処理密度の設定に応じて欠陥サイズと欠陥間隔を決定でき、学習効率の良い欠陥配置を施した疑似欠陥画像を生成する疑似欠陥画像生成装置を提供することができる。

【実施例0042】

次に、本発明の実施例２を、図５、図６を用いて説明する。なお、上記実施例との共通点は重複説明を省略する。

【0043】

実施例１では、学習装置２０の仕様を特に考慮せずに疑似欠陥品画像Ｐｖを生成したが、本実施例の疑似欠陥画像生成装置１０では、学習装置２０の仕様を考慮して疑似欠陥品画像Ｐｖを生成する。学習装置２０での機械学習で、欠陥部の有無を判定し、さらに、欠陥の位置と合わせて出力するには、例えば、入力画像を小さな矩形領域に分割し、分割した矩形領域毎に欠陥部の有無を判定することによって、欠陥がある矩形領域に相当する位置を欠陥の位置とすることが好ましい。

【0044】

そのため、本実施例の学習装置２０には、学習・評価時の画像領域サイズと、処理密度が、仕様として設定されている。画像領域サイズは、前述の矩形領域のサイズのことである。また、処理密度は、矩形領域に分割する際のオーバラップの程度を意味する。例えば、処理密度＝１は矩形領域同士がちょうどオーバーラップが無い場合を、処理密度＝２は矩形領域同士が１／２だけオーバーラップする場合を、処理密度＝３は矩形領域同士が２／３だけオーバーラップする場合を意味する。

【0045】

本実施例でも、疑似欠陥品画像生成部１５ｄの動作は、基本的には実施例１と同様であるが、以下の点で異なっている。すなわち、本実施例の疑似欠陥品画像生成部１５ｄは、学習装置２０から取得する情報（画像領域サイズ、処理密度）も踏まえて、疑似欠陥品画像Ｐｖを生成する。

【0046】

例えば、加工品１Ａの疑似欠陥品画像Ｐｖ_Ａを生成する場合、本実施例の疑似欠陥品画像生成部１５ｄは、まず、実施例１と同等のステップＳ１、Ｓ２を実施する。

【0047】

そして、ステップＳ３では、欠陥配置ルールｒで指定された欠陥種と同じ欠陥種であって、欠陥配置ルールｒで指定された欠陥サイズ以上、かつ、学習装置２０から取得した画像領域サイズＬｓ未満の、欠陥パッチｐと欠陥ラベルｌを取得する。ここで、学習装置２０から取得した画像領域サイズＬｓ未満の欠陥パッチｐ等に限定して取得する理由は、学習装置２０の仕様である画像領域サイズＬｓより小さな欠陥パッチｐのみを疑似欠陥品画像Ｐｖ_Ａに配置することにより、学習装置２０への入力画像を小さな矩形領域に分割した際に、欠陥部しか無い矩形領域が生じてしまって学習効率が低下することを回避するためである。

【0048】

次に、ステップＳ４では、欠陥パッチｐから欠陥ラベルｌに相当する箇所を切り出して、正常品画像Ｐｎ_Ａ上の検査領域Ｒ_Ａに、欠陥配置ルールｒに指定された配置方法に従って、学習装置２０から取得した画像領域サイズＬｓと処理密度Ｌｄと欠陥ラベルサイズＤｌから、図６に示すように欠陥間隔Δｘが以下の２式を満たすように配置し、疑似欠陥品画像Ｐｖ_Ａを生成する。

【0049】

Ｌｓ＋Ｄｌ≦Δｘ
これは、矩形領域６０内に欠陥パッチｐが１個以下になるように配置することにより、画像領域内に欠陥パッチが２個以上配置されてしまって、学習効率が低下することを回避するためである。

【0050】

Δｘ＜Ｌｓ＋Ｄｌ＋Ｌｓ／Ｌｄ
これは、画像領域サイズＬｓ内に欠陥パッチが１個以上になるように配置することにより、画像領域サイズＬｓ内に欠陥パッチが１個も配置されず、学習効率が低下することを回避するためである。なお、図６では横方向の欠陥配置について示したが、縦方向の欠陥配置についても同様である。

【0051】

本実施例によれば、学習装置の学習・評価時の画像領域サイズと処理密度の設定に応じて欠陥サイズと欠陥間隔を決定でき、学習効率の良い欠陥配置を施した疑似欠陥画像を生成する疑似欠陥画像生成装置を提供することができる。