特許 7597496 方法、プログラム、情報処理装置、及び学習済みモデル

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2024-12-02

(45)【発行日】2024-12-10

(54)【発明の名称】方法、プログラム、情報処理装置、及び学習済みモデル

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241203BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610Z

【請求項の数】 11

(21)【出願番号】P 2024046547

(22)【出願日】2024-03-22

(62)【分割の表示】P 2024505446の分割

【原出願日】2023-10-03

【審査請求日】2024-04-17

【早期審査対象出願】

(73)【特許権者】

【識別番号】517051371

【氏名又は名称】株式会社Ｒｉｓｔ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】竹ノ内 勝哉

(72)【発明者】

【氏名】坂本 怜

(72)【発明者】

【氏名】鈴木 健聖

(72)【発明者】

【氏名】藤本 裕介

(72)【発明者】

【氏名】藤田 亮

【審査官】▲広▼島 明芳

(56)【参考文献】

【文献】特開２０２２－０２４５４１（ＪＰ，Ａ）

【文献】特開２０２０－１０６４６１（ＪＰ，Ａ）

【文献】特開２０２１－０４３８１６（ＪＰ，Ａ）

【文献】特開２０２３－００３２５８（ＪＰ，Ａ）

【文献】国際公開第２０２１／１３０８３９（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００ － ７／９０

(57)【特許請求の範囲】

【請求項1】

コンピュータが、
良品である製品の良品画像を取得することと、
前記良品画像における疑似異常のサイズの条件を示す情報に関連付けられた、前記疑似異常の異常種類を示す情報を含み、前記良品画像において異常が発生し得る複数の箇所のうちの１つである異常発生箇所を示す情報を取得することと、
前記良品画像と、前記異常発生箇所と、前記異常種類とに基づいて、前記良品画像の前記異常発生箇所に対応する位置に、前記サイズの条件を満たす、前記異常種類に応じた前記疑似異常を含む疑似不良品画像を生成することと、を含む、方法。

【請求項2】

請求項１に記載の方法であって、
前記サイズの条件は、前記疑似不良品画像において、前記疑似異常が占めるピクセルの範囲の条件である、方法。

【請求項3】

請求項２に記載の方法であって、
前記疑似不良品画像を生成することは、
前記サイズの条件に基づいて、前記サイズの条件を満たすように変換された前記疑似異常を含む疑似不良品画像を生成すること、をさらに含む、方法。

【請求項4】

コンピュータが、
良品である製品の良品画像を取得することと、
不良品である製品の不良品画像を取得することと、
前記良品画像において異常が発生し得る複数の箇所のうちの１つである異常発生箇所を示す情報を取得することと、
前記良品画像に基づいて、前記良品画像がセグメンテーションされた良品セグメント情報を生成することと、
前記異常発生箇所に基づいて、疑似異常がセグメンテーションされた疑似異常セグメント情報を生成することと、
前記良品セグメント情報と前記疑似異常セグメント情報とに基づいて、疑似不良品セグメント情報を生成することと、
前記不良品画像がセグメンテーションされた不良品セグメント情報を入力とし、前記不良品画像を出力するよう学習された学習済みモデルに、前記疑似不良品セグメント情報を入力し、出力として、前記良品画像の前記異常発生箇所に対応する位置に前記疑似異常を含む疑似不良品画像を生成することと、を含む、方法。

【請求項5】

コンピュータが、
良品である製品の良品画像を取得することと、
ノイズ画像を取得することと、
前記良品画像において異常が発生し得る複数の箇所のうちの１つである異常発生箇所を示す情報を取得することと、
前記良品画像に基づいて、前記良品画像がセグメンテーションされた良品セグメント情報を生成することと、
前記ノイズ画像を少なくとも１つの所定の閾値に基づいて、２以上の画素値を有する多値画像に変換し、変換された前記ノイズ画像において第１の値の画素が連続することで形成される第１領域が前記第１の値とは異なる第２の値の画素で囲まれた画像を、前記変換された前記ノイズ画像から抽出し、前記異常発生箇所に対応する位置に、前記第１領域が疑似異常を示す領域として配置されてセグメンテーションされた疑似異常セグメント情報を生成することと、
前記良品セグメント情報と前記疑似異常セグメント情報とに基づいて、疑似不良品セグメント情報を生成することと、
前記疑似不良品セグメント情報に基づいて、前記良品画像の前記異常発生箇所に対応する位置に前記疑似異常を含む、疑似不良品画像を生成することと、を含む、方法。

【請求項6】

コンピュータに、
良品である製品の良品画像を取得することと、
前記良品画像における疑似異常のサイズの条件を示す情報に関連付けられた、前記疑似異常の異常種類を示す情報を含み、前記良品画像において異常が発生し得る複数の箇所のうちの１つである異常発生箇所を示す情報を取得することと、
前記良品画像と、前記異常発生箇所と、前記異常種類とに基づいて、前記良品画像の前記異常発生箇所に対応する位置に、前記サイズの条件を満たす、前記異常種類に応じた前記疑似異常を含む疑似不良品画像を生成することと、を実行させる、プログラム。

【請求項7】

良品である製品の良品画像を取得する画像取得部と、
前記良品画像における疑似異常のサイズの条件を示す情報に関連付けられた、前記疑似異常の異常種類を示す情報を含み、前記良品画像において異常が発生し得る複数の箇所のうちの１つである異常発生箇所を示す情報を取得し、前記良品画像と、前記異常発生箇所と、前記異常種類とに基づいて、前記良品画像の前記異常発生箇所に対応する位置に、前記サイズの条件を満たす、前記異常種類に応じた前記疑似異常を含む疑似不良品画像を生成する、疑似不良品画像生成部と、を備える、情報処理装置。

【請求項8】

コンピュータに、
良品である製品の良品画像を取得することと、
不良品である製品の不良品画像を取得することと、
前記良品画像において異常が発生し得る複数の箇所のうちの１つである異常発生箇所を示す情報を取得することと、
前記良品画像に基づいて、前記良品画像がセグメンテーションされた良品セグメント情報を生成することと、
前記異常発生箇所に基づいて、疑似異常がセグメンテーションされた疑似異常セグメント情報を生成することと、
前記良品セグメント情報と前記疑似異常セグメント情報とに基づいて、疑似不良品セグメント情報を生成することと、
前記不良品画像がセグメンテーションされた不良品セグメント情報を入力とし、前記不良品画像を出力するよう学習された学習済みモデルに、前記疑似不良品セグメント情報を入力し、出力として、前記良品画像の前記異常発生箇所に対応する位置に前記疑似異常を含む、疑似不良品画像を生成することと、を実行させる、プログラム。

【請求項9】

良品である製品の良品画像を取得し、不良品である製品の不良品画像を取得する画像取得部と、
前記良品画像において異常が発生し得る複数の箇所のうちの１つである異常発生箇所を示す情報を取得し、
前記良品画像に基づいて、前記良品画像がセグメンテーションされた良品セグメント情報を生成し、
前記異常発生箇所に基づいて、疑似異常がセグメンテーションされた疑似異常セグメント情報を生成し、
前記良品セグメント情報と前記疑似異常セグメント情報とに基づいて、疑似不良品セグメント情報を生成し、
前記不良品画像がセグメンテーションされた不良品セグメント情報を入力とし、前記不良品画像を出力するよう学習された学習済みモデルに、前記疑似不良品セグメント情報を入力し、出力として、前記良品画像の前記異常発生箇所に対応する位置に前記疑似異常を含む、疑似不良品画像を生成する、
疑似不良品画像生成部と、を備える、情報処理装置。

【請求項10】

コンピュータに、
良品である製品の良品画像を取得することと、
ノイズ画像を取得することと、
前記良品画像において異常が発生し得る複数の箇所のうちの１つである異常発生箇所を示す情報を取得することと、
前記良品画像に基づいて、前記良品画像がセグメンテーションされた良品セグメント情報を生成することと、
前記ノイズ画像を少なくとも１つの所定の閾値に基づいて、２以上の画素値を有する多値画像に変換し、変換された前記ノイズ画像において第１の値の画素が連続することで形成される第１領域が前記第１の値とは異なる第２の値の画素で囲まれた画像を、前記変換された前記ノイズ画像から抽出し、前記異常発生箇所に対応する位置に、前記第１領域が疑似異常を示す領域として配置されてセグメンテーションされた疑似異常セグメント情報を生成することと、
前記良品セグメント情報と前記疑似異常セグメント情報とに基づいて、疑似不良品セグメント情報を生成することと、
前記疑似不良品セグメント情報に基づいて、前記良品画像の前記異常発生箇所に対応する位置に前記疑似異常を含む、疑似不良品画像を生成することと、を実行させる、プログラム。

【請求項11】

良品である製品の良品画像を取得する画像取得部と、
ノイズ画像を取得し、
前記良品画像において異常が発生し得る複数の箇所のうちの１つである異常発生箇所を示す情報を取得し、
前記良品画像に基づいて、前記良品画像がセグメンテーションされた良品セグメント情報を生成し、
前記ノイズ画像を少なくとも１つの所定の閾値に基づいて、２以上の画素値を有する多値画像に変換し、変換された前記ノイズ画像において第１の値の画素が連続することで形成される第１領域が前記第１の値とは異なる第２の値の画素で囲まれた画像を、前記変換された前記ノイズ画像から抽出し、前記異常発生箇所に対応する位置に、前記第１領域が疑似異常を示す領域として配置されてセグメンテーションされた疑似異常セグメント情報を生成し、
前記良品セグメント情報と前記疑似異常セグメント情報とに基づいて、疑似不良品セグメント情報を生成し、
前記疑似不良品セグメント情報に基づいて、前記良品画像の前記異常発生箇所に対応する位置に前記疑似異常を含む、疑似不良品画像を生成する、
疑似不良品画像生成部と、を備える、情報処理装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、方法、プログラム、情報処理装置、及び学習済みモデルに関する。

【背景技術】

【0002】

製品の品質を検査する方法の１つに外観検査がある。外観検査は例えば、製品を撮影した画像を学習済みモデルに入力して結果を得るなどして、コンピュータにより自動的に行われることがある。ある製品に対しては、例えば、その製造数が少ない等の理由によって、学習済みモデルを生成するための学習に必要な不良品画像が十分に用意できないことがある。不良品画像の不足を補う技術として、特許文献１には、様々な形態の不良品の画像データを生成することが可能な画像データ生成システムが記載されている。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２２－１３６５８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

学習済みモデルの生成には、例えば、不良品画像の収集及びアノテーション、学習済みモデルを生成するための学習、及び学習済みモデルの精度検証など、多くの工数が必要となる。とりわけ、不良品画像の収集及びアノテーションは多くの工数を要するので、不良品画像が十分に用意できないことの他に、工数削減の観点から不良品画像の収集やアノテーションが行われないことがある。ある製品に含まれる複数の異なる品種の製品の検査では、異なる品種のそれぞれの製品に対して学習済みモデルを生成する必要がある。よって、異なる品種それぞれに対して不良品画像の収集やアノテーションを行う必要があり、品種が多くなるにつれて工数はさらに増加する。

【0005】

また、特許文献１に記載の画像データ生成システムによって生成される不良品画像はあくまでも疑似的な不良品画像である。したがって、仮に異なる品種の製品のそれぞれに対して疑似的な不良品画像を生成する場合、生成された画像は、異なる品種の製品のそれぞれにおいて実際に生じた不良が含まれる画像とは相違する部分も含み得る。このように生成された疑似的な不良品画像を用いて学習済みモデルを生成するための学習を行った場合、実際に生じた不良が含まれる画像の検出精度が低下する可能性がある。

【0006】

そこで、本発明は、学習済みモデルを用いた複数の品種の製品に対する検査の際に疑似的に生成した不良品画像を利用する場合に、学習済みモデルの生成のための工数を少なくしつつ、判定精度を向上させることを目的とする。

【課題を解決するための手段】

【0007】

本発明の一態様に係る方法は、コンピュータが、学習済みモデルであって、不良品である第１品種の製品の第１不良品画像と、良品である第２品種の製品の第２良品画像と、第２品種の製品に生じた異常とは異なる疑似異常を示す疑似異常画像が、第２良品画像に合成された、第２品種の製品の疑似不良品画像と、を含む学習用画像セットを入力とし、学習用画像セットに含まれる第２品種の製品が良品であるか不良品であるかを示す情報を出力とする教師データを用いて学習された第１学習済みモデルに対し、検査対象である第２品種の製品の検査画像を入力することと、第１学習済みモデルから、検査対象である第２品種の製品が良品であるか不良品であるかを示す情報を出力として取得することと、を含む。

【0008】

本発明の他の態様に係るプログラムは、コンピュータに、学習済みモデルであって、不良品である第１品種の製品の第１不良品画像と、良品である第２品種の製品の第２良品画像と、第２品種の製品に生じた異常とは異なる疑似異常を示す疑似異常画像が、第２良品画像に合成された、第２品種の製品の疑似不良品画像と、を含む学習用画像セットを入力とし、学習用画像セットに含まれる第２品種の製品が良品であるか不良品であるかを示す情報を出力とする教師データを用いて学習された第１学習済みモデルに対し、検査対象である第２品種の製品の検査画像を入力することと、第１学習済みモデルから、検査対象である第２品種の製品が良品であるか不良品であるかを示す情報を出力として取得することと、を実行させる。

【0009】

本発明の他の態様に係る情報処理装置は、学習済みモデルであって、不良品である第１品種の製品の第１不良品画像と、良品である第２品種の製品の第２良品画像と、第２品種の製品に生じた異常とは異なる疑似異常を示す疑似異常画像が、第２良品画像に合成された、第２品種の製品の疑似不良品画像と、を含む学習用画像セットを入力とし、学習用画像セットに含まれる第２品種の製品が良品であるか不良品であるかを示す情報を出力とする教師データを用いて学習された第１学習済みモデルに対し、検査対象である第２品種の製品の検査画像を入力し、第１学習済みモデルから、検査対象である第２品種の製品が良品であるか不良品であるかを示す情報を出力として取得する品質判定部、を備える。

【0010】

本発明の他の態様に係る学習済みモデルは、不良品である第１品種の製品の第１不良品画像と、良品である第２品種の製品の第２良品画像と、第２品種の製品に生じた異常とは異なる疑似異常を示す疑似異常画像が、第２良品画像に合成された、第２品種の製品の疑似不良品画像と、を含む学習用画像セットを入力とし、学習用画像セットに含まれる第２品種の製品が良品であるか不良品であるかを示す情報を出力とする教師データを用いて学習され、検査対象である第２品種の製品の検査画像を入力に対し、検査対象である第２品種の製品が良品であるか不良品であるかを示す情報を出力するよう、コンピュータを機能させる。

【発明の効果】

【0011】

本発明によれば、学習済みモデルを用いた複数の品種の製品に対する検査に疑似的に生成した不良品画像を利用する場合に、学習済みモデルの生成のための工数を少なくしつつ、製品検査における判定精度を向上させることが可能となる。

【図面の簡単な説明】

【0012】

【図1】本実施形態に係る品質判定装置のブロック図である。

【図2】本実施形態に係る品質判定モデルによる処理の概念を説明する図である。

【図3】本実施形態に係る品質判定装置による処理の概略のフローチャートである。

【図4】本実施形態に係る品質判定モデル生成処理を説明するフローチャートである。

【図5】本実施形態に係る疑似異常画像生成処理を説明するフローチャートである。

【図6】本実施形態に係る異常情報を説明する図である。

【図7】本実施形態に係る疑似異常画像生成方法の一例を説明する図である。

【図8】本実施形態に係る疑似異常画像生成方法の一例を説明する図である。

【図9】本実施形態に係る疑似異常画像生成方法の一例を説明する図である。

【図10】本実施形態に係る疑似不良品画像の生成について説明する図である。

【図11】本実施形態に係る疑似不良品セグメント情報生成処理を説明するフローチャートである。

【図12】本実施形態に係る品質判定処理を説明するフローチャートである。

【図13】本実施形態に係る疑似異常画像生成方法の他の一例を説明する図である。

【図14】本実施形態に係る他の実施例としての品質判定モデルによる処理の概念を説明する図である。

【発明を実施するための形態】

【0013】

添付図面を参照して、本発明の好適な実施形態について説明する。なお、各図において、同一の符号を付したものは、同一又は同様の構成を有する。

【0014】

図１には、本実施形態に係る品質判定装置１０１のブロック図が示される。品質判定装置１０１は、表示部１０１１、記憶部１０１２、画像取得部１０１３、疑似不良品画像生成部１０１４、品質判定モデル生成部１０１５、及び品質判定部１０１６を有する。品質判定装置１０１の各部はパーソナルコンピュータ等の情報処理装置において、記憶装置に記憶されたプログラムがプロセッサによって実行されることにより実現することができる。

【0015】

品質判定装置１０１は、製品の外観検査に用いられる装置である。品質判定装置１０１が対象とする製品は、当該製品を構成する部品の素材は共通するが、部品形状や部品の配置パターンが異なるサブタイプの製品を含んでおり、これらの類似する製品は異なる「品種」の製品であるとして区別される。製品の一例は、プリント回路基板であり、プリント基板に設けられた配線が異なる製品は異なる品種として区別される。なお、品質判定装置１０１が対象とする製品及び品種はこれに限られず、例えばネジ等の機械部品を含むことができる。

【0016】

例えばある製品は、品種Ａの製品（第１品種）及び品種Ｂ（第２品種）の製品を含み得る。製品の外観検査を行うにあたっては、品種ごとに良品不良品の判定を行うことが好ましい。ここで、不良品とは異常がある製品のことであり、例えば、異物が付着している製品、欠けがある製品、疵がある製品、又は汚れやシミが付着している製品等である。品質判定装置１０１による外観検査では、学習済みモデルを用いた画像処理によって良品不良品の判定が行われる。

【0017】

このとき、品種Ａの製品については、良品画像（第１良品画像）及び不良品画像（第１不良品画像）が十分集められ、モデルの学習が可能である一方、品種Ｂの製品については、不良品画像が学習には不十分な数となる場合を想定する。この状況は、例えば、不良品画像の数がそもそも少ないことや、学習済みモデルの生成における工数の削減のために不良品画像の収集が省略されることによって生じる。品質判定装置１０１では、疑似的に生成された品種Ｂの製品の不良品画像（疑似不良品画像）を用いて、品種Ｂの不良品画像の数が補われる。品質判定装置１０１は、疑似不良品画像を含む画像セットを用いて学習された学習済みモデルを用いて、品種Ｂの製品の良品不良品の判定を行う装置である。

【0018】

表示部１０１１は、品質判定装置１０１のディスプレイである。記憶部１０１２は、品質判定装置１０１での処理に用いられる各種の情報を記憶する。記憶部１０１２には、品質判定装置１０１での処理に用いられる画像生成モデル１０１２１及び品質判定モデル１０１２２が記憶される。また、記憶部１０１２には、品質判定装置１０１によって生成されたデータが記憶される。

【0019】

画像生成モデル１０１２１（第２学習済みモデル）は、例えば、ある画像がセマンティックセグメンテーションやインスタンスセグメンテーション等のセグメンテーション手段によって領域又はピクセル単位でラベリングされたセグメント情報を入力とし、セグメント情報に基づいて、画像を生成するように学習された学習済みモデルである。画像生成モデル１０１２１としては、例えば、ｌａｂｅｌ２ｉｍａｇｅ等の画像生成モデルがベースモデルとして用いられる。画像生成モデル１０１２１は、例えば、品種Ａの製品の良品画像及び不良品画像がセグメンテーション処理されたセグメント情報を用いて学習される。

【0020】

品質判定モデル１０１２２（第１学習済みモデル）は、検査対象である品種Ｂの製品の検査画像の入力に対し、検査対象の品種Ｂの製品が良品であるか不良品であるかを示す情報を出力するように学習された学習済みモデルである。品質判定モデル１０１２２については後述する。

【0021】

画像取得部１０１３は、例えば、製品の生産ラインに設けられた撮像装置によって取得された製品の外観画像を、外部の装置から取得する。画像取得部１０１３は、例えば、撮像を行う情報処理装置と通信を行い、製品の外観画像を取得する。また、画像取得部１０１３は、外部の情報処理装置から、品種Ａの製品の不良品画像と品種Ｂの製品の良品画像（第２良品画像）とを取得し、品質判定装置１０１の記憶部１０１２に記憶する。

【0022】

疑似不良品画像生成部１０１４は、品種Ｂの製品に実際に生じた異常とは異なる疑似異常を示す疑似異常画像が、品種Ｂの製品の第２良品画像に合成された、品種Ｂの製品の疑似不良品画像を生成する。疑似不良品画像の生成については後述する。

【0023】

品質判定モデル生成部１０１５は、疑似不良品画像生成部１０１４が生成した疑似不良品画像に基づいて、品種Ｂの製品の良品不良品の判定結果を出力する品質判定モデル１０１２２を生成する。品質判定モデル生成部１０１５は、具体的には、品種Ａの製品の不良品画像、品種Ｂの製品の良品画像、及び疑似不良品画像に基づいて、品質判定モデル１０１２２を生成する。

【0024】

品質判定部１０１６は、検査対象である品種Ｂの製品の検査画像を品質判定モデル１０１２２に入力し、検査対象の品種Ｂの製品が良品であるか不良品であるかを示す情報を、品質判定モデル１０１２２から取得する。

【0025】

なお、品質判定装置１０１では、品質判定装置１０１が品質判定モデル生成部１０１５による品質判定モデル１０１２２の生成及び品質判定部１０１６による良品不良品の判定のいずれをも行うものとして説明しているが、品質判定モデル１０１２２の生成は、例えば、他の情報処理装置によって実行され、生成された品質判定モデル１０１２２が記憶部１０１２に記憶されるようにしてもよい。

【0026】

図２を参照して、品質判定装置１０１による品種Ｂの製品の良品不良品判定について説明する。図２のステップ（Ａ）において、品質判定モデル生成部１０１５は、品種Ａの製品の不良品画像Ｉ１１、品種Ｂの製品の良品画像Ｉ２０、及び品種Ｂの製品の疑似不良品画像Ｉ２１を含む学習用画像セットを用いて、学習用画像セットに含まれる品種Ｂの製品が良品であるか不良品であるかを示す情報を出力とするよう学習された品質判定モデル１０１２２を生成する。ここで、品種Ａの製品の不良品画像Ｉ１１は、実際の異物Ｏ１が含まれた画像である。品種Ｂの製品の疑似不良品画像Ｉ２１は、疑似的に生成された異物Ｏ２を含むように、後述の疑似不良品画像生成部１０１４によって生成された画像である。

【0027】

ステップ（Ｂ）において、品質判定部１０１６は、品種Ｂの製品の検査画像Ｉ２２を品質判定モデル１０１２２に入力する。ステップ（Ｃ）において、品質判定部１０１６は品質判定モデル１０１２２から、検査画像で示される品種Ｂの製品が良品であるか不良品であるかを示す判定結果を取得する。図２の例では、品種Ｂの製品の検査画像Ｉ２２には異物Ｏ３が含まれていることから、判定結果は「不良品」となる。

【0028】

また他の例として、品質判定モデル１０１２２は、どの種類の不良（異常とも称する）（例えば異物がある、欠けがある、疵がある等）に属する不良品であるかを、検査画像のピクセル単位で出力するように学習されてもよい。この場合、判定結果には、ピクセル単位の不良の位置を示す情報が含まれる。また、判定結果には、ピクセル単位の不良品の判定結果及び不良の種類が含まれてもよい。また、検査対象の品種Ｂの製品が良品であるか不良品であるかを示す情報は、検査画像における異常領域の位置を示す情報であってもよい。また、検査対象の品種Ｂの製品が良品であるか不良品であるかを示す情報は、非異常領域の位置を示す情報を含んでもよい。また、検査対象の品種Ｂの製品が良品であるか不良品であるかを示す情報は、検査画像における異常を示す異常領域と異常領域ではない非異常領域とに２値化された検査画像を含んでもよい。なお、異常領域と異常領域ではない非異常領域とに２値化された検査画像は、非連続的に変化する値であるが、異常領域と非異常領域の数値が連続的に変化する検査画像であってもよい。この場合、連続的な数値の変化により、異常領域と非異常領域の間が濃淡により描写される。また、検査対象の品種Ｂの製品が良品であるか不良品であるかを示す情報は、検査画像で示される品種Ｂの製品が良品であるか不良品であるかを示す判定結果を含んでもよい。

【0029】

品質判定モデル１０１２２は、品種Ｂの製品が良品であるか不良品であるかを示すように他の分類を行うことも可能である。例えば、品質判定モデル１０１２２は、品種Ｂの製品がどの種類の不良（例えば異物がある、欠けがある、疵がある等）に属する不良品であるかを示す情報を出力するように学習されてもよい。また、品質判定モデル１０１２２は、検査画像のどのピクセルが不良品であるかを示す情報を出力するように学習されてもよい。品質判定モデル生成部１０１５は、品質判定モデル１０１２２が出力する結果に応じて、学習用画像セットを適切にラベリングして品質判定モデル１０１２２を学習させることができる。

【0030】

図３には、品質判定装置１０１による処理のフローチャートが示される。ステップＳ３０１において、品質判定装置１０１は品質判定モデル生成処理を行う。ステップＳ３０２において、品質判定部１０１６は品質判定処理を行う。

【0031】

図４には、品質判定モデル生成処理のフローチャートが示される。

【0032】

ステップＳ４０１において、画像取得部１０１３は、品種Ｂの製品の良品画像を取得する。

【0033】

ステップＳ４０２において、疑似不良品画像生成部１０１４は、疑似異常画像生成処理を実行する。図５を参照して疑似異常画像生成処理について説明する。

【0034】

図５のステップＳ５０１において、疑似不良品画像生成部１０１４は、合成対象の疑似異常画像が示す異常種類（例えば疵、異物、汚れ等）を取得する。ここで、疑似不良品画像生成部１０１４は、例えば、品質判定装置１０１を操作するユーザからの入力によって異常種類を取得してもよく、疑似不良品画像生成部１０１４によってランダムに選択することで異常種類を取得してもよい。

【0035】

ステップＳ５０２において、疑似不良品画像生成部１０１４は、異常情報を参照し、異常種類に関連付けられた疑似異常画像生成方法を選択する。異常情報は、例えば、記憶部１０１２に記憶されている。異常情報の一例は図６に示される。

【0036】

異常情報は、「異常種類」、「疑似異常画像生成方法」、「異常発生箇所」、及び「異常条件」の項目を有する。異常情報は、例えば、不良品画像が十分集められている品種Ａの製品の不良品画像に基づいて、予め生成された情報である。「異常種類」の項目には、疑似異常が表す異常の種類を示す情報が記憶される。「疑似異常画像生成方法」の項目には、疑似異常画像を生成するための方法が記憶される。「異常発生箇所」の項目には、異常が発生し得る位置を示す情報が記憶される。「異常条件」の項目には、疑似異常画像に設定されるサイズの条件が記憶される。

【0037】

例えば、異常種類が疵の場合、疑似異常画像生成方法は、ランダムウォーク手法１又は品種Ａの不良品画像利用であり、方法はユーザからの設定に応じて疑似不良品画像生成部１０１４により選択される。また、疵の異常は、製品において金メッキの箇所に発生することが記憶されている。また、疵の異常条件は、幅が３ピクセル以下であり、長さが１０ピクセルから３０ピクセルの範囲であることが記憶されている。

【0038】

異常種類が異物の場合、疑似異常画像生成方法は、ランダムウォーク手法２又は品種Ａの不良品画像利用であり、方法はユーザからの設定に応じて疑似不良品画像生成部１０１４により選択される。また、異物の異常は、製品においてソルダリングレジストの箇所に発生することが記憶されている。また、異物の異常条件は、面積が１２００ピクセル以下の範囲であることが記憶されている。

【0039】

異常種類が汚れ又はシミの場合、疑似異常画像生成方法は、ノイズ画像利用又は品種Ａの不良品画像利用であり、方法はユーザからの設定に応じて疑似不良品画像生成部１０１４により選択される。また、汚れ又はシミの異常は、製品においてソルダリングレジストの箇所に発生することが記憶されている。また、汚れ又はシミの異常条件は、面積が３０００ピクセル以下の範囲であることが記憶されている。

【0040】

ステップＳ５０３において、疑似不良品画像生成部１０１４は、ステップＳ５０２において選択された疑似異常画像生成方法に基づいて、疑似異常画像を生成する。

【0041】

図４に戻り、ステップＳ４０３において、疑似不良品画像生成部１０１４は、疑似異常画像に基づいて、疑似異常を示す領域がセグメンテーションされた疑似異常セグメント情報を生成する。

【0042】

図７から図９を参照して、疑似異常画像生成処理および疑似異常セグメント情報の生成の一例を説明する。

【0043】

図７には、異常種類が疵であり、疑似異常画像生成方法がランダムウォーク手法１である場合の例が示される。ランダムウォーク手法１では、２次元座標上にランダムウォーク点列を配置し、各点をスプライン曲線で連続的に接続することでグラフＧ７０が生成される。その後、疑似不良品画像生成部１０１４は、（７Ａ）グラフＧ７０における点Ｐ１を含む６つの点を結ぶような曲線Ｄを含む画像Ｉ７０を生成する。疑似不良品画像生成部１０１４は、（７Ｂ）画像Ｉ７０に基づいて、疵の疑似異常を示す領域がセグメンテーションされた疑似異常セグメント画像Ｓ７０を生成する。

【0044】

図８には、異常種類が異物であり、疑似異常画像生成方法がランダムウォーク手法２である場合の例が示される。ランダムウォーク手法２では、２次元座標上にて、中心Ｃを基準とした角度及び距離がランダムに定められた点Ｐ２を含むランダムウォーク点列を配置し、（８Ａ）各点を結んで形成される閉曲線（閉直線）によって示される異物Ｏを含む画像Ｉ８１が生成される。その後、疑似不良品画像生成部１０１４は、疑似不良品画像生成部１０１４は、（８Ｂ）画像Ｉ７０に基づいて、異物の疑似異常を示す領域がセグメンテーションされた疑似異常セグメント画像Ｓ８０を生成する。

【0045】

図９には、異常種類が汚れ又はシミであり、疑似異常画像生成方法がノイズ画像利用である場合の例が示される。疑似不良品画像生成部１０１４は、例えば、パーリンノイズやｆＢＭ（ｆｒａｃｔｉｏｎａｌ Ｂｒｏｗｎｉａｎ Ｍｏｔｉｏｎ）ノイズの生成手法を用いて、ノイズ画像Ｉ９０を生成する。疑似不良品画像生成部１０１４は、（９Ａ）生成されたノイズ画像を少なくとも１つの所定の閾値に基づいて２以上の画素値を有する多値画像Ｉ９１に変換し、（９Ｂ）疑似異常に相当する画像Ｉ９２を抽出する。ここで、（９Ｂ）における画像Ｉ９２の抽出は、多値画像Ｉ９１において第１の値の画素が連続することで形成される領域Ａ１を、第１の値とは異なる第２の値の画素が、領域Ａ２に示されるように囲んで形成する画像Ｉ９２を抽出する。疑似不良品画像生成部１０１４は、（Ｃ）画像Ｉ９２に基づいて、疑似異常を示す領域がセグメンテーションされた疑似異常セグメント情報Ｓ９０を生成する。

【0046】

図９の例では多値化の一例として二値化の場合を説明したが、疑似不良品画像生成部１０１４は３つ以上の画素値を有するようにノイズ画像を変換してもよい。例えば、良品を示す画素、疵を示す画素、欠けを示す画素、及び凹みを示す画素のように、４つの画素値を有する画像に変換してもよい。これにより、不良の種類を区別しつつ疑似異常セグメント情報を生成することができる。

【0047】

図４に戻り、ステップＳ４０４において、疑似不良品画像生成部１０１４は、品種Ｂの製品の良品画像に対してセグメンテーション処理を行い、良品セグメント情報を生成する。この処理の一例は、図１０のステップ（１０Ａ）に示される。品種Ｂの製品の良品画像Ｉ２０から、良品セグメント情報Ｓ２０が生成される。良品セグメント情報Ｓ２０には、製品の材料に応じて、例えば金メッキに対応するセグメントＳ２０１及びソルダリングレジストに対応するセグメントS２０２が含まれる。

【0048】

ステップＳ４０５において、疑似不良品画像生成部１０１４は、疑似不良品セグメント情報生成処理を行う。疑似不良品セグメント情報生成処理について、図１１を参照して説明する。ステップＳ１１０１において、疑似不良品画像生成部１０１４は、生成された疑似異常画像及び疑似異常セグメントが示す異常種類を取得する。

【0049】

ステップＳ１１０１において、疑似不良品画像生成部１０１４は、異常種類に関連付けられた異常条件を満たすように、疑似異常セグメントを変換する。例えば、異常種類が疵である場合、疑似不良品画像生成部１０１４は、疑似異常セグメントの幅が３ピクセル以下、長さが１０から３０ピクセルの範囲となるように、疑似異常セグメントの大きさを修正する。例えば、異常種類が異物である場合、疑似不良品画像生成部１０１４は、疑似異常セグメントの面積が１２００ピクセル以下となるように、疑似異常セグメントの大きさを修正する。また、異常種類が汚れ又はシミである場合、疑似不良品画像生成部１０１４は、疑似異常セグメントの面積が３０００ピクセル以下となるように、疑似異常セグメントの大きさを修正する。

【0050】

ステップＳ１１０１において、疑似不良品画像生成部１０１４は、異常種類に関連付けられた異常発生箇所を取得する。例えば、異常種類が疵である場合は、異常発生箇所として「金メッキ」が取得される。また、異常箇所が異物、汚れ、又はシミである場合は、異常発生箇所として「ソルダリングレジスト」が取得される。

【0051】

ステップＳ１１０１において、疑似不良品画像生成部１０１４は、良品セグメント情報において、異常発生箇所に対応するセグメントに、疑似異常セグメントを合成し、疑似不良品セグメント情報を生成する。例えば、疑似異常セグメントが疵を示す場合、疑似不良品画像生成部１０１４は、金メッキが異常発生箇所であるので、金メッキに対応するセグメントに疑似異常セグメントを合成する。

【0052】

また、図１０のステップ（１０Ｂ）に示されるように、疑似異常セグメントが異物を示す場合、疑似不良品画像生成部１０１４は、ソルダリングレジストが異常発生箇所であるので、ソルダリングレジストに対応するセグメントＳ２０２に疑似異常セグメントを合成する。この処理によって、良品セグメント情報Ｓ２０に対して、疑似異常セグメント情報Ｓ９０が合成された疑似不良品セグメント情報Ｓ２１が生成される。

【0053】

ステップＳ４０６において、疑似不良品画像生成部１０１４は、疑似不良品セグメント情報を画像生成モデル１０１２１に入力し、品種Ｂの製品の疑似不良品画像を生成する。この処理の一例は、図１０のステップ（１０Ｃ）に示される。この処理によって、疑似不良品セグメント情報Ｓ２１から、異物Ｏ２（疑似異常画像）を含むような疑似不良品画像Ｉ２１が生成される。疑似不良品画像生成部１０１４は、疑似不良品画像の生成を繰り返すことで、複数の種類の疑似不良品画像を生成することができる。疑似不良品画像生成部１０１４では、異常種類に応じて、異常が発生する蓋然性が高い異常発生箇所に異常が含まれる疑似不良品画像を生成することができる。これにより、より実際の不良に近い不良品画像を疑似的に生成することができるようになる。

【0054】

ステップＳ４０７において、品質判定モデル生成部１０１５は、品種Ａの製品の不良品画像、品種Ｂの製品の良品画像、及び品種Ｂの製品の疑似不良品画像を含む学習用画像セットに基づいて、品質判定モデルを学習させる。

【0055】

図１２を参照して、品質判定処理について説明する。ステップＳ１２０１において、画像取得部１０１３は、品種Ｂの製品の検査画像を取得する。ステップＳ１２０２において、品質判定部１０１６は、品種Ｂの製品の検査画像を品質判定モデル１０１２２に入力する。ステップＳ１２０３において、品質判定部１０１６は判定結果を品質判定モデル１０１２２から取得する。これにより、製品の外観検査を、品質判定モデル１０１２２を用いて行うことができる。

【0056】

通常の機械学習を用いた良品不良品の判定では、品種Ｂの製品の良品画像及び品種Ｂの製品の疑似不良品画像を含む学習用画像セットを用いて学習が行われることが多い。品種Ｂの製品の疑似不良品画像は、実際の製品に生じた異常の画像ではなく、疑似的に生成された画像である。したがって、例えば、品質判定モデルが品種Ｂの製品の良品画像及び疑似不良品画像のみを用いて学習された場合、疑似不良品画像が発生させる特徴量に基づいて、不良品の判定を行うように学習される可能性がある。この結果、モデルが誤検出や過検出を行い、精度が低くなる可能性がある。

【0057】

一方、品質判定装置１０１における品質判定モデル１０１２２は、品種Ｂの製品の良品画像及び疑似不良品画像に加えて、品種Ａの製品の不良品画像を学習用画像セットに含んでいる。品質判定モデル１０１２２では、品種Ａの製品の不良品画像は、実際の製品に生じた実際の異常を示す画像である。したがって、品質判定モデル１０１２２は、実際の製品に生じる実際の異常に基づく特徴量をも用いることができるので、実際の不良品の特徴を反映させつつ、不良品の判定を行うように学習される。これにより、品質判定装置１０１では、品質判定モデル１０１２２を用いて、製品検査における判定精度を向上させることができる。

【0058】

以上説明した実施形態においては、疑似不良品画像をランダムウォーク手法やノイズ画像に基づいて生成する例について説明したが、疑似不良品画像の生成方法はこれに限られない。例えば、疑似不良品画像は、品種Ａの製品の不良品画像から異常に相当する領域である疑似異常画像を切り出し、品種Ｂの製品の良品画像に合成することによって生成されてもよい。例えば、図１３に示すように、（１３Ａ）品種Ａの製品の不良品画像から異物Ｏ１に相当する領域である疑似異常画像を切り出し、（１３Ｂ）品種Ｂの良品セグメント情報において異物が配置されるべきセグメントＳ２０２に異物Ｏ１に基づく異物Ｏ４が配置された画像Ｉ２３を生成してもよい。画像合成の際には、ポアソンブレンディング等の画像処理手法を用いることができる。また、切り出した画像が良品画像によくなじむように、不良領域の中心からの距離や色味に応じた加重平均をとるように合成を行ってもよい。また、品種Ａの製品の不良品画像がセグメンテーション処理され、不良に相当する領域が。品種Ｂの製品の良品画像がセグメンテーション処理されたセグメント情報に合成されることで、疑似不良品画像が生成されてもよい。このとき、疑似不良品画像は。合成後のセグメント情報に基づいて、画像生成モデル１０１２１によって生成される。

【0059】

本実施形態に係る品質判定装置１０１の他の実施例について説明する。図１４を参照して本実施例に係る品質判定装置１０１による品種Ｂの製品の良品不良品判定のための処理について説明する。この例は、品質判定モデル１０１２２Ａの学習に、品種Ａの製品の良品画像Ｉ１０（第１良品画像）が用いられる点で、図２で示した例と相違する。本実施例では、画像取得部１０１３は、外部の情報処理装置から、検査画像、品種Ａの製品の不良品画像、及び品種Ｂの製品の良品画像に加えて、品種Ａの製品の良品画像を取得し、品質判定装置１０１の記憶部１０１２に記憶する。

【0060】

図１４のステップ（Ａ）において、品質判定モデル生成部１０１５は、品種Ａの製品の良品画像Ｉ１０、品種Ａの製品の不良品画像Ｉ１１、品種Ｂの製品の良品画像Ｉ２０、及び品種Ｂの製品の疑似不良品画像Ｉ２１を含む学習用画像セットを用いて、学習用画像セットに含まれる品種Ｂの製品が良品であるか不良品であるかを示す情報を出力とするよう学習された品質判定モデル１０１２２を生成する。図１４のステップ（Ｃ）の処理は図２のステップ（Ｃ）と同様であるが、図１４のステップ（Ｂ）の処理については、図２のステップ（Ｂ）の処理とは異なる。具体的には、品質判定部１０１６は、品種Ｂの製品の良品画像Ｉ２０と検査画像Ｉ２２とを品質判定モデル１０１２２に対して入力する。これにより、品種Ｂの製品の品質判定を行う品質判定モデル１０１２２の学習において品種Ａの製品の画像を利用した場合であっても、製品構造の違い、つまり品種の違いによる影響を受けにくくなり、製品検査における判定精度が向上する。また、良品画像と検査画像における製品の同一部分が同一の座標となるように、良品画像と検査画像の画像座標において、位置合わせを行い、良品画像と検査画像との差分をとる等の比較処理を行うことにより、検査画像に存在する不良箇所を特定しやすくなる。なお、図１４のステップ（Ｂ）においては、図２のステップ（Ｂ）の処理とは異なり、図１４のステップ（Ｃ）の処理において、品質判定部１０１６が品質判定モデル１０１２２に対して、検査画像Ｉ２２に加えて品種Ｂの製品の良品画像Ｉ２０の入力を行っている。これは、品質判定部１０１６による品質判定モデル１０１２２への入力時における画像形式と、品質判定モデル生成部１０１５による品質判定モデル１０１２２の生成時における画像形式とが同じ画像形式であることが期待されるためである。

【0061】

以上本実施形態について説明した。品質判定装置１０１は、品質判定モデル１０１２２であって、不良品である品種Ａの製品の不良品画像Ｉ１１と、良品である品種Ｂの製品の良品画像Ｉ２０と、品種Ｂの製品に生じた異常とは異なる疑似異常を示す疑似異常画像が、良品画像Ｉ２０に合成された、品種Ｂの製品の疑似不良品画像Ｉ２１と、を含む学習用画像セットを入力とし、学習用画像セットに含まれる品種Ｂの製品が良品であるか不良品であるかを示す情報を出力とする教師データを用いて学習された品質判定モデル１０１２２に対し、検査対象である品種Ｂの製品の検査画像Ｉ２２を入力し、品質判定モデル１０１２２から、検査対象である品種Ｂの製品が良品であるか不良品であるかを示す情報を出力として取得する。

【0062】

これにより、品質判定装置１０１では、実際の製品に生じた実際の異常を示す画像である品種Ａの製品の不良品画像を含んで学習された品質判定モデル１０１２２を用いて、検査画像の判定が可能となる。品質判定装置１０１は、実際の製品に生じる実際の異常に基づく特徴量をも用いることができるので、実際の不良品の特徴を反映させつつ、不良品の判定を行うように学習されるので、疑似的な不良品画像が発生させる特徴量に基づいて不良品の判定を行う場合に比べて、製品検査における判定精度が向上する。また、疑似的な不良品画像を用いるので、不良品画像の収集等の工数が減少する。

【0063】

上記態様において、疑似不良品画像生成部１０１４は、疑似異常画像の異常種類と異常種類に関連付けられた異常発生箇所とに基づいて、異常発生箇所に対応する、第２良品画像内における位置に、疑似異常画像を合成し、疑似不良品画像を生成してもよい。これにより、疑似不良品画像生成部１０１４では、異常種類に応じて、異常が発生する蓋然性が高い異常発生箇所に異常が含まれる疑似不良品画像を生成することができ、より実際の不良に近い不良品画像を疑似的に生成することができるようになる。

【0064】

上記態様において、疑似不良品画像生成部１０１４は、疑似異常画像がセグメンテーションされた疑似異常セグメント情報を生成し、良品画像Ｉ２０がセグメンテーションされた良品セグメント情報Ｓ２０を生成し、良品セグメント情報Ｓ２０と疑似異常セグメント情報Ｓ５０とに基づいて、疑似不良品セグメント情報Ｓ２１を生成してもよい。また、疑似不良品画像生成部１０１４は、疑似不良品セグメント情報Ｓ２１に基づいて疑似不良品画像Ｉ２１を生成してもよい。

【0065】

セグメント情報を介して疑似不良品画像を生成することで、ノイズを生成し、多数の異常を再現することができるようになるので、疑似不良品画像をより効率的に生成することができる。

【0066】

上記態様において、疑似不良品画像生成部１０１４は、不良品画像がセグメンテーションされた不良品セグメント情報を入力とし、不良品画像を出力するよう学習された画像生成モデル１０１２１に、疑似不良品セグメント情報Ｓ２１を入力し、出力として疑似不良品画像Ｉ２１を生成する。

【0067】

これにより、疑似不良品画像をより効率的に生成することができる。

【0068】

上記態様において、疑似不良品画像生成部１０１４は、ノイズ画像Ｉ９０を取得し、ノイズ画像Ｉ９０を少なくとも１つの所定の閾値に基づいて２以上の画素値を有する多値画像に変換し、変換されたノイズ画像Ｉ９１において第１の値の画素が連続することで形成される領域Ａ１が第１の値とは異なる第２の値の画素で囲まれた画像Ｉ９２を、変換されたノイズ画像Ｉ９１から抽出する。疑似不良品画像生成部１０１４は、領域Ａ１が疑似異常を示す領域としてセグメンテーションされた疑似異常セグメント情報Ｓ９０を生成してもよい。

【0069】

これにより、１つのノイズ画像に複数の閉じた領域が含まれている場合に、多数のノイズ画像を抽出することができるので、より効率的に疑似不良品画像を生成することができる。

【0070】

上記態様において、画像取得部１０１３は、良品である品種Ａの製品の良品画像Ｉ１０を取得し、学習用画像セットは、前記第１品種の製品の良品画像をさらに含んでもよい。

【0071】

これにより、品種Ｂの製品の良品をより正確に判別できるようになるので、製品検査における判定精度が向上する。

【0072】

上記態様において、品質判定部１０１６は、良品である品種Ａの製品の良品画像Ｉ１０と検査画像とを品質判定モデル１０１２２に入力してもよい。

【0073】

以上説明した実施形態は、本発明の理解を容易にするためのものであり、本発明を限定して解釈するためのものではない。実施形態が備える各要素並びにその配置、条件、形状及びサイズ等は、例示したものに限定されるわけではなく適宜変更することができる。また、異なる実施形態で示した構成同士を部分的に置換し又は組み合わせることが可能である。

【符号の説明】

【0074】

１０１…品質判定装置、１０１１…表示部、１０１２…記憶部、１０１３…画像取得部、１０１４…疑似不良品画像生成部、１０１５…品質判定モデル生成部、１０１６…品質判定部、１０１２１…画像生成モデル、１０１２２，１０１２２Ａ…品質判定モデル

【要約】      （修正有）

【課題】複数の品種の製品に対する検査の際に疑似的に生成した不良品画像を利用する場合に、モデル生成の工数を少なくしつつ、製品検査における判定精度を向上させる。
【解決手段】品質判定装置１０１は、品質判定モデル１０１２２であって、不良品である品種Ａの製品の不良品画像Ｉ１１と、良品である品種Ｂの製品の良品画像Ｉ２０と、品種Ｂの製品に生じた異常とは異なる疑似異常を示す疑似異常画像が、良品画像Ｉ２０に合成された、品種Ｂの製品の疑似不良品画像Ｉ２１と、を含む学習用画像セットを入力とし、品種Ｂの製品が良品であるか不良品であるかを示す情報を出力とする教師データを用いて学習された品質判定モデル１０１２２に対し、品種Ｂの製品の検査画像Ｉ２２を入力し、品質判定モデル１０１２２から、品種Ｂの製品が良品であるか不良品であるかを示す情報を出力として取得する。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】