特開 2023-151315 品質管理システム及び品質管理プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023151315

(43)【公開日】2023-10-16

(54)【発明の名称】品質管理システム及び品質管理プログラム

(51)【国際特許分類】

   G06T 7/00 20170101AFI20231005BHJP

【ＦＩ】

G06T7/00 350B

G06T7/00 610C

G06T7/00 300E

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2022060873

(22)【出願日】2022-03-31

(71)【出願人】

【識別番号】000004640

【氏名又は名称】日本発條株式会社

(74)【代理人】

【識別番号】110000408

【氏名又は名称】弁理士法人高橋・林アンドパートナーズ

(72)【発明者】

【氏名】西形 光祐

(72)【発明者】

【氏名】石坂 昭信

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA02

5L096AA06

5L096BA03

5L096CA02

5L096DA01

5L096EA39

5L096FA02

5L096FA32

5L096FA33

5L096FA69

5L096GA08

5L096GA17

5L096GA51

5L096HA11

5L096JA11

5L096KA04

5L096KA15

(57)【要約】

【課題】被検物の特徴のばらつきを理解しやすい機械学習を用いた品質管理システムを提供する。または、被検物の特徴のばらつきを理解しやすい機械学習を用いた品質管理プログラムを提供する。
【解決手段】本発明の一実施形態に係る品質管理システムは、複数の学習用画像データと、学習用画像データから生成した復元画像データとの差を含む差分データを生成するオートエンコーダと、所定の区間毎に差分データの平均値及び分散値を算出してファイルを生成するファイル生成部と、ファイルのデータに基づいて、画像を生成する可視化処理部と、を備える。
【選択図】図１

【特許請求の範囲】

【請求項1】

複数の学習用画像データと、前記学習用画像データから生成した復元画像データとの差を含む差分データを生成するオートエンコーダと、
所定の区間毎に前記差分データの平均値及び分散値を算出してファイルを生成するファイル生成部と、
前記ファイルのデータに基づいて、画像を生成する可視化処理部と、を備える、品質管理システム。

【請求項2】

前記オートエンコーダは、複数の学習用画像データのピクセル毎に複数の学習用画像データから特徴を抽出し、抽出した前記特徴に基づいて、復元画像データを生成し、
前記ファイル生成部は、混合ガウスモデルを適用して、前記差分データの平均値及び分散値を算出する、請求項１に記載の品質管理システム。

【請求項3】

前記可視化処理部は、前記ファイルに含まれる平均値ばらつき又は分散値ばらつきに基づいて画像を生成する、請求項２に記載の品質管理システム。

【請求項4】

前記差分データにおける異常値の有無を判定する判定部、をさらに備え、
前記判定部は、被検物の第１の画像データから生成された前記差分データについて異常値の有無を判定し、
前記可視化処理部は、前記被検物の第１の画像データと、前記判定部の判定結果とに基づいて、前記異常値を含む第２の画像を生成する、請求項１乃至３の何れか１項に記載の品質管理システム。

【請求項5】

前記判定部は、前記異常値と判定された差分データを含む第１の区間の範囲に基づき、前記第１の区間とは異なる大きさを有する第２の区間を設定し、前記第２の区間毎に前記差分データの平均値及び分散値を算出する、請求項４に記載の品質管理システム。

【請求項6】

前記差分データにおける異常値の有無を判定する判定部、をさらに備え、
前記判定部は、設計データと前記差分データとを比較して、前記差分データにおける異常値の有無を判定する、請求項１乃至３の何れか１項に記載の品質管理システム。

【請求項7】

前記設計データは、部分毎に所定の許容値の範囲を有し、
前記判定部は、前記許容値の範囲と前記差分データとを比較して、前記差分データにおける異常値の有無を判定して、異常値を含む前記部分に重み付けし、
前記可視化処理部は、重み付けされた前記部分を含む前記画像を生成する、請求項６に記載の品質管理システム。

【請求項8】

複数の学習用画像データと、前記学習用画像データから生成した復元画像データとの差を含む差分データをコンピュータに生成させ、
所定の区間毎に前記差分データの平均値及び分散値を前記コンピュータに算出させてファイルを生成させ、
前記ファイルのデータに基づいて、前記コンピュータに画像を生成させること、を備える、品質管理プログラム。

【請求項9】

複数の学習用画像データから画素毎に特徴を前記コンピュータに抽出させ、抽出した前記特徴に基づいて、復元画像データを前記コンピュータに生成させ、
混合ガウスモデルを適用させて、前記差分データの平均値及び分散値を前記コンピュータに算出させる、請求項８に記載の品質管理プログラム。

【請求項10】

前記ファイルに含まれる平均値ばらつき又は分散値ばらつきに基づいて前記コンピュータに画像を生成させる、請求項９に記載の品質管理プログラム。

【請求項11】

被検物の第１の画像データから生成された前記差分データについて異常値の有無を前記コンピュータに判定させ、
前記被検物の第１の画像データと、判定結果とに基づいて、前記異常値を含む第２の画像を前記コンピュータに生成させる、請求項８乃至１０の何れか１項に記載の品質管理プログラム。

【請求項12】

前記異常値と判定された差分データを含む第１の区間の範囲に基づき、前記第１の区間とは異なる大きさを有する第２の区間を前記コンピュータに設定させ、前記第２の区間毎に前記差分データの平均値及び分散値を前記コンピュータに算出させる、請求項１１に記載の品質管理プログラム。

【請求項13】

設計データと前記差分データとを比較して、前記差分データにおける異常値の有無を前記コンピュータに判定させる、請求項８乃至１０の何れか１項に記載の品質管理プログラム。

【請求項14】

前記設計データは、部分毎に所定の許容値の範囲を有し、
前記許容値の範囲と前記差分データとを前記コンピュータに比較させて、前記差分データにおける異常値の有無を前記コンピュータに判定させて、異常値を含む前記部分に重み付けさせ、
重み付けされた前記部分を含む前記画像を前記コンピュータに生成させる、請求項１３に記載の品質管理プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、品質管理システム、特に、機械学習を用いた品質管理システムに関する。または、本発明は、機械学習を用いた品質管理プログラムに関する。

【背景技術】

【0002】

画像認識技術として、機械学習を用いた技術が数多く報告されている。例えば、特許文献１には、画像を入力する画像入力手段と、入力した画像から２つの画素の組合せを取得する画素組合せ取得手段と、取得した組合せに係る２つの画素の輝度の勾配方向の共起を取得する共起取得手段と、取得する画素の組合せを変化させながら、取得する共起の出現頻度の分布を取得する出現頻度取得手段と、取得した出現頻度の分布に対応する確率密度関数を生成する確率密度関数生成手段と、生成した確率密度関数を、当該確率密度関数を規定するパラメータによって出力する確率密度関数出力手段と、を具備したことを特徴する画像処理装置が記載されている。

【0003】

また、機械学習を用いた画像認識技術を利用して、被検体の異常の有無を判定する方法として、特許文献２には、被検体について連続的に取得された複数の画像データから被検体の特徴量を抽出する特徴抽出部と、特徴抽出部により抽出された特徴量と予め定められた閾値とに基づいて検体の異常の有無を判定する判定部とを備え、特徴抽出部が、デコーダおよび識別器と共に敵対的自己符号化器を構成するエンコーダに相当しており、エンコーダにより抽出された特徴量からデコーダにより入力画像データが復元されるようにする第１の学習と、識別器が予め定められた分布からのサンプルとエンコーダにより抽出された特徴量とを識別できるようにする第２の学習と、識別器の識別結果に基づいてエンコーダにより抽出される特徴量の分布が予め定められた分布に近づくようにする第３の学習とを順番に繰り返すことにより適合され、閾値が、適合された特徴抽出部により複数の正常な被検体から抽出された複数の特徴量をクラスタリングして定められる異常判別システムが記載されている。

【0004】

従来の機械学習を用いたシステムは、学習が完了すると、深層学習アルゴリズム（ＡｕｔｏＥｎｃｏｄｅｒ）で復元した画像と元画像との差分データを、特徴のばらつきとして保存する。特徴のばらつきは、細分化された画像区間毎の画素値の平均値、及び分散値情報としてｇｍｍ形式で出力される。

【0005】

画像区間毎に１つのｇｍｍファイルが生成されるが、ｇｍｍファイルは数値を記録したデータである。このため、数万点以上のｇｍｍファイルが生成される場合、特徴のばらつきがどのように分布しているかを解析しようとしても、人が感覚として捉えることができない。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２０１８－１２４９６３号公報

【特許文献2】特開２０２０－１７７２８２号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の一実施形態は、被検物の特徴のばらつきを理解しやすい機械学習を用いた品質管理システムを提供することを目的の一つとする。または、本発明の一実施形態は、被検物の特徴のばらつきを理解しやすい機械学習を用いた品質管理プログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0008】

本発明の一実施形態に係る品質管理システムは、複数の学習用画像データと、学習用画像データから生成した復元画像データとの差を含む差分データを生成するオートエンコーダと、所定の区間毎に差分データの平均値及び分散値を算出してファイルを生成するファイル生成部と、ファイルのデータに基づいて、画像を生成する可視化処理部と、を備える。

【0009】

オートエンコーダは、複数の学習用画像データのピクセル毎に複数の学習用画像データから特徴を抽出し、抽出した特徴に基づいて、復元画像データを生成し、ファイル生成部は、混合ガウスモデルを適用して、差分データの平均値及び分散値を算出してもよい。

【0010】

可視化処理部は、ファイルに含まれる平均値ばらつき又は分散値ばらつきに基づいて画像を生成してもよい。

【0011】

差分データにおける異常値の有無を判定する判定部、をさらに備え、判定部は、被検物の第１の画像データから生成された差分データについて異常値の有無を判定し、可視化処理部は、被検物の第１の画像データと、判定部の判定結果とに基づいて、異常値を含む第２の画像を生成してもよい。

【0012】

判定部は、異常値と判定された差分データを含む第１の区間の範囲に基づき、第１の区間とは異なる大きさを有する第２の区間を設定し、第２の区間毎に差分データの平均値及び分散値を算出してもよい。

【0013】

差分データにおける異常値の有無を判定する判定部、をさらに備え、判定部は、設計データと差分データとを比較して、差分データにおける異常値の有無を判定してもよい。

【0014】

設計データは、部分毎に所定の許容値の範囲を有し、判定部は、許容値の範囲と差分データとを比較して、差分データにおける異常値の有無を判定して、異常値を含む部分に重み付けし、可視化処理部は、重み付けされた部分を含む画像を生成してもよい。

【0015】

本発明の一実施形態に係る品質管理プログラムは、複数の学習用画像データと、学習用画像データから生成した復元画像データとの差を含む差分データをコンピュータに生成させ、所定の区間毎に差分データの平均値及び分散値を前記コンピュータに算出させてファイルを生成させ、ファイルのデータに基づいて、コンピュータに画像を生成させること、を備える。

【0016】

複数の学習用画像データから画素毎に特徴をコンピュータに抽出させ、抽出した特徴に基づいて、復元画像データをコンピュータに生成させ、混合ガウスモデルを適用させて、差分データの平均値及び分散値をコンピュータに算出させてもよい。

【0017】

ファイルに含まれる平均値ばらつき又は分散値ばらつきに基づいてコンピュータに画像を生成させてもよい。

【0018】

被検物の第１の画像データから生成された差分データについて異常値の有無をコンピュータに判定させ、被検物の第１の画像データと、判定結果とに基づいて、異常値を含む第２の画像を前記コンピュータに生成させてもよい。

【0019】

異常値と判定された差分データを含む第１の区間の範囲に基づき、第１の区間とは異なる大きさを有する第２の区間をコンピュータに設定させ、第２の区間毎に差分データの平均値及び分散値をコンピュータに算出させてもよい。

【0020】

設計データと差分データとを比較して、差分データにおける異常値の有無をコンピュータに判定させてもよい。

【0021】

設計データは、部分毎に所定の許容値の範囲を有し、許容値の範囲と差分データとをコンピュータに比較させて、差分データにおける異常値の有無をコンピュータに判定させて、異常値を含む部分に重み付けさせ、重み付けされた部分を含む画像をコンピュータに生成させてもよい。

【発明の効果】

【0022】

本発明の一実施形態は、被検物の特徴のばらつきを理解しやすい機械学習を用いた品質管理システムを提供する。または、本発明の一実施形態は、被検物の特徴のばらつきを理解しやすい機械学習を用いた品質管理プログラムを提供する。

【図面の簡単な説明】

【0023】

【図1】本発明の一実施形態に係る品質管理システム１００を示すブロック構成図である。

【図2】本発明の一実施形態に係る処理の概略を説明するフロー図である。

【図3】（Ａ）は、本発明の一実施形態に係る差分データを生成する工程Ｓ１０を説明するフロー図であり、（Ｂ）は、本発明の一実施形態に係る差分データを生成する工程Ｓ１０を説明する概念図である。

【図4】（Ａ）～（Ｄ）は、画像データについて、１ピクセル（ｐｘ）と、ファイル生成部１３０が用いる所定の区間Ａとの関係を示す図である。

【図5】本発明の一実施形態に係る差分データの平均値及び分散値を算出してファイルを生成する工程Ｓ２０を説明するフロー図である。

【図6】本発明の一実施形態に係る特徴を可視化する工程Ｓ３０を説明するフロー図である。

【図7】（Ａ）は、可視化処理部１５０が生成した画像を示す模式図であり、（Ｂ）は、その製品の上面図の模式図である。

【図8】本発明の一実施形態に係る製品の品質管理方法を示すフロー図である。

【図9】（Ａ）は、可視化処理部１５０が生成した画像を示す模式図であり、（Ｂ）は、傷を有する被検物の上面図の模式図である。

【発明を実施するための形態】

【0024】

以下、本発明の一実施形態について、図面を参照しながら説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。

【0025】

本実施形態で参照する図面において、同一部分又は同様な機能を有する部分には同一の符号又は類似の符号（数字の後にＡ、Ｂなどを付しただけの符号）を付す。また、図面の寸法比率は説明の都合上実際の比率とは異なったり、構成の一部が図面から省略されたりする場合がある。なお、本明細書等における「第１」、「第２」、「第３」などの序数は、説明を簡潔にするためだけに用いられており、限定的に解釈されるべきではない。

【0026】

［品質管理システム］
図１は、本発明の一実施形態に係る品質管理システム１００を示すブロック構成図である。品質管理システム１００は、例えば、オートエンコーダ１２０、ファイル生成部１３０、可視化処理部１５０を含む。また、一実施形態において、品質管理システム１００は、例えば、入力部１１０、判定部１４０、制御部１６０及び出力部１７０をさらに含む。一実施形態において、品質管理システム１００は、記憶部１８０及び通信部１９０をさらに含むが、これらに限定されるものではない。

【0027】

図３（Ｂ）にオートエンコーダ１２０を説明する図を示す。また、図４は、品質管理をする製品の画像データについて、１ピクセル（ｐｘ）と、ファイル生成部１３０が用いる所定の区間Ａとの関係を示す図である。図４（Ａ）～図４（Ｄ）においては、ｅ×ｆピクセルの画像データを示す。オートエンコーダ１２０は、ニューラルネットワークを使用した次元圧縮のための公知のアルゴリズムの１つであり、入力層１２１を中間層１２３に圧縮することにより特徴を抽出するエンコーダ１２７と、中間層１２３から出力層１２５に復元するデコーダ１２９を備える。一実施形態において、オートエンコーダ１２０は、記憶部１８０に格納され、制御部１６０で実行される、プログラム又はモジュールであってもよい。本実施形態において、オートエンコーダ１２０は、複数の学習用画像データ１０の入力を受けて、学習用画像データ１０の１枚毎にエンコードとデコードを実施する。オートエンコーダ１２０は、学習用画像データ１０の１ピクセル（第１の区間）のデータ毎にエンコードとデコードを実施することにより、複数の学習用画像データ１０のそれぞれに対して、復元画像データ３０を生成する。このとき、オートエンコーダ１２０は、１ピクセル毎に学習用画像データ１０に含まれる特徴を抽出し、学習用画像データ１０と復元画像データ３０との差分データを学習用画像データ１０のそれぞれに対して生成する。一実施形態において、差分データは、１ピクセル毎に整数値として生成され、０以下の値を含んでもよい。なお、オートエンコーダ１２０は、品質管理システム１００において演算処理の負荷が大きいため、品質管理システム１００の外部に配置され、通信部１９０からネットワークを介してと通信可能な演算処理装置により構成されてもよい。

【0028】

ファイル生成部１３０は、混合ガウスモデルを適用して、差分データについて、所定の区間（第２の区間）毎に平均値及び分散値を算出するプログラム又はモジュールである。一実施形態において、ファイル生成部１３０は、記憶部１８０に格納され、制御部１６０で実行される。ファイル生成部１３０は、所定の区間毎に算出した差分データの平均値及び分散値を含むファイルを生成する。本明細書において、「所定の区間」は、品質管理の対象となる製品に求められる品質や、製品に生じる欠陥等のサイズを考慮して設定することができる。なお、図４においては、一例として、３×４ピクセルを所定の区間として設定した例を示すが、これに限定されるものではない。ファイル生成部１３０により算出された分散値は、単峰又は多峰の正規分布となる。なお、オートエンコーダ１２０とファイル生成部１３０は、一連の処理を実行する１つのプログラマ又はモジュールであってもよい。

【0029】

可視化処理部１５０は、ファイル生成部１３０により生成されたファイルに含まれる平均値ばらつき又は分散値ばらつきに基づいて画像を生成するプログラム又はモジュールである。一実施形態において、ファイル生成部１３０は、記憶部１８０に格納され、制御部１６０で実行される。品質管理システム１００においては、可視化処理部１５０が、ファイル生成部１３０により生成されたファイルに含まれる平均値ばらつき又は分散値ばらつきを人が視認可能な画像に変換して出力するため、製品の品質管理において、製品の製造誤差や傷の発生を視覚的に認識することが可能となり、製造工程の見直しに重要な情報を人が容易に理解することができる。

【0030】

入力部１１０は、品質管理システム１００を操作するための入力装置であり、キーボード、マウス及びを備えた表示装置（例えば、液晶ディスプレイや有機ＥＬディスプレイ）等の公知の入力装置を用いることができる。また、入力部１１０は、オートエンコーダ１２０に提供する画像データを取得する撮像部１１１を備えることができる。撮像部１１１は、画像データを取得なカメラであり、ＣＣＤやＣＭＯＳ等の公知の撮像素子を用いることができる。

【0031】

判定部１４０は、ファイル生成部１３０により生成された差分データにおける異常値の有無を判定するプログラム又はモジュールである。一実施形態において、判定部１４０は、記憶部１８０に格納され、制御部１６０で実行される。一実施形態において、判定部１４０は、被検物の画像データから生成された差分データについて異常値の有無を判定することができる。また、利用者が異常値を認識しやすくする目的で、判定部は、予め設定された許容値の範囲から外れた異常値を検出した場合に、異常値を含む区間に重み付けした画像を生成してもよい。

【0032】

制御部１６０は、品質管理システム１００を制御するための公知の中央処理装置（ＣＰＵ）、オペレーティングシステム（ＯＳ）及び制御プログラム又はモジュールで構成される。または、制御部１６０は、ＯＳと制御プログラム又はモジュールを含む１つのプログラムとして提供されてもよい。制御部１６０を構成する制御プログラム又はモジュールは、記憶部１８０に格納されてＣＰＵで実行される。

【0033】

出力部１７０は、オートエンコーダ１２０で生成された差分データ、ファイル生成部１３０で生成されたファイル、又は可視化処理部１５０で生成された画像を出力するための公知の出力装置である。また、出力部１７０は、表示部１７１を含む。表示部１７１は、公知の表示装置（例えば、液晶ディスプレイや有機ＥＬディスプレイ）であってもよく、特には限定されない。一実施形態において、出力部１７０は、入力部１１０としても機能可能なタッチパネルを備えた表示装置であってもよい。

【0034】

記憶部１８０は、制御部１６０を構成するオペレーティングシステム（ＯＳ）及び制御プログラム又はモジュール、オートエンコーダ１２０を構成するプログラム又はモジュール、ファイル生成部１３０を構成するプログラム又はモジュール、可視化処理部１５０を構成するプログラム又はモジュール、オートエンコーダ１２０で生成された差分データ、ファイル生成部１３０で生成されたファイル、又は可視化処理部１５０で生成された画像を格納する記憶装置である。記憶部１８０は、公知の記憶装置により構成され、例えば、メモリ、ハードディスク、又はソリッドステートドライブ（ＳＳＤ）等を用いることができる。なお、記憶部１８０は、制御部１６０を有するコンピュータに内蔵されてもよく、又は、通信部１９０を介して通信可能なサーバやネットワークドラブに配置されてもよい。

【0035】

通信部１９０は、制御部１６０により制御可能な公知の有線又は無線の通信装置である。通信部１９０は、ローカルエリアネットワーク（ＬＡＮ）、ワイドエリアネットワーク（ＷＡＮ）及びインターネット等の通信ネットワークに接続することができる。通信部１９０は、例えば、Ｗｉ－Ｆｉ（登録商標）（ＩＥＥＥ ８０２．１１規格を使用する通信手段）やＢｌｕｅｔｏｏｔｈ（登録商標）等の無線通信規格に適合した通信装置であってもよい。通信部１９０は、通信部１９０を有するコンピュータの外部に配置されたサーバやネットワークドラブとのデータ通信を行ってもよい。

【0036】

［品質管理システムによる処理］
品質管理システム１００による処理について図２～図９を参照して説明する。図２は、本発明の一実施形態に係る処理の概略を説明するフロー図である。品質管理システム１００は、複数の学習用画像データと、学習用画像データから生成した復元画像データとの差を含む差分データを生成する（工程Ｓ１０）。品質管理システム１００は、所定の区間毎に差分データの平均値及び分散値を算出してファイルを生成する（工程Ｓ２０）。そして、品質管理システム１００は、生成されたファイルのデータに基づいて、画像を生成する（工程Ｓ３０）。

【0037】

図３を参照する。図３（Ａ）は、本発明の一実施形態に係る差分データを生成する工程Ｓ１０を説明するフロー図である。図３（Ｂ）は、本発明の一実施形態に係る差分データを生成する工程Ｓ１０を説明する概念図である。オートエンコーダ１２０が、複数の学習用画像データ１０を取り込む（工程Ｓ１１）。複数の学習用画像データ１０は、撮像部１１１が製品を撮像することにより取得することができる。または、予め取得され、記憶部１８０に格納された複数の学習用画像データ１０をオートエンコーダ１２０が取り込んでもよい。

【0038】

オートエンコーダ１２０は、入力層１２１に入力された学習用画像データ１０をエンコーダ１２７で圧縮し、中間層１２３を生成する。また、オートエンコーダ１２０は、デコーダ１２９で出力層１２５に復元して、復元画像データ３０を生成する（工程Ｓ１５）。オートエンコーダ１２０は、この処理により１ピクセル毎に学習用画像データ１０から特徴を抽出する（工程Ｓ１３）。

【0039】

より詳細には、例えば、ｅ×ｆピクセルの学習用画像データ１０には、ｍピクセル分のサブピクセルデータが含まれる。また、それぞれのピクセルは、赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の３つの成分（サブピクセル）の値（輝度値）を含む。オートエンコーダ１２０が学習用画像データ１０をｎ枚用いた学習を行う場合、１枚目の学習用画像データ１０～ｎ枚目の学習用画像データ１０について、色成分毎にエンコーダ１２７での圧縮及びデコーダ１２９での復元を行う。オートエンコーダ１２０は、複数の学習用画像データ１０について、復元画像データ３０との差分データを生成する。例えば、１枚目の学習用画像データの１番目のピクセルを（Ｒ_１１，Ｇ_１１，Ｂ_１１）、ｍ番目のピクセルを（Ｒ_１ｍ，Ｇ_１ｍ，Ｂ_１ｍ）とし、ｎ枚目の学習用画像データの１番目のピクセルを（Ｒ_ｎ１，Ｇ_ｎ１，Ｂ_ｎ１）、ｍ番目のピクセルを（Ｒ_ｎｍ，Ｇ_ｎｍ，Ｂ_ｎｍ）とすると、オートエンコーダ１２０が生成する差分データは、１枚目の学習用画像データの１番目のピクセルが（ΔＲ_１１，ΔＧ_１１，ΔＢ_１１）、ｍ番目のピクセルが（ΔＲ_１ｍ，ΔＧ_１ｍ，ΔＢ_１ｍ）となり、ｎ枚目の学習用画像データの１番目のピクセルが（ΔＲ_ｎ１，ΔＧ_ｎ１，ΔＢ_ｎ１）、ｍ番目の区間が（ΔＲ_ｎｍ，ΔＧ_ｎｍ，ΔＢ_ｎｍ）となる。

【0040】

本実施形態においては、複数の学習用画像データ１０を用いて、工程Ｓ１０を繰り返した機械学習を実行することにより、学習用画像データ１０と復元画像データ３０との差分データの値が０に近づく。得られたデータは、次の工程Ｓ２０で処理されてもよく、記憶部１８０に格納されてもよい。

【0041】

一実施形態において、人が画像処理ソフトウェア等を利用して、学習用画像データ１０を加工することにより、オートエンコーダ１２０が生成する差分データを修正してもよい。または、差分データが規定値以上の異常値を含む場合に、品質管理システム１００が異常値を認識して、異常であることを表示してもよい。

【0042】

図５を参照する。図５は、本発明の一実施形態に係る差分データの平均値及び分散値を算出してファイルを生成する工程Ｓ２０を説明するフロー図である。ファイル生成部１３０は、オートエンコーダ１２０が１ピクセル毎に生成した差分データについて、所定の区間毎に平均値及び分散値を算出する。ファイル生成部１３０は、１ピクセル毎の複数の差分データを基に、区間毎に混合ガウスモデルを適用したファイルを生成する。例えば、１番目の区間の差分データは、（μ_Ｒ１ μ_Ｇ１ μ_Ｂ１ σ_Ｒ１ σ_Ｇ１ σ_Ｂ１ σ_ＲＧ１ σ_ＧＢ１ σ_ＢＲ１）、２番目の区間の差分データは、（μ_Ｒ２ μ_Ｇ２ μ_Ｂ２ σ_Ｒ２ σ_Ｇ２ σ_Ｂ２ σ_ＲＧ２ σ_ＧＢ２ σ_ＢＲ２）、ｋ番目の区間の差分データは、（μ_Ｒｋ μ_Ｇｋ μ_Ｂｋ σ_Ｒｋ σ_Ｇｋ σ_Ｂｋ σ_ＲＧｋ σ_ＧＢｋ σ_ＢＲｋ）と規定される。

【0043】

例えば、ファイル生成部１３０は、区間毎の色成分について平均μを算出する。例えば、区間１／ｋの赤（Ｒ）成分の平均μ_Ｒ１は、下記式（１）により算出する。

【数1】

【0044】

また、ファイル生成部１３０は、区間毎の色成分について分散σを算出する。例えば、区間１／ｋの赤（Ｒ）成分の分散σ_Ｒ１は、下記式（２）により算出する。

【数2】

【0045】

また、ファイル生成部１３０は、区間毎の色成分について共分散σを算出する（工程Ｓ２１）。例えば、区間１／ｋの赤（Ｒ）及び緑（Ｇ）成分の共分散σ_ＲＧ１は、下記式（３）により算出する。

【数3】

【0046】

ファイル生成部１３０は、算出結果を正規分布として出力する（工程Ｓ２３）。

【0047】

得られたファイルは、次の工程Ｓ３０で処理されてもよく、記憶部１８０に格納されてもよい。

【0048】

工程Ｓ２０でファイルを生成するための所定の区間（第２の区間）の設定は、品質管理の対象となる製品に求められる品質や、製品に生じる欠陥等のサイズを考慮して人が入力部１１０を介して設定してもよい。所定の区間のサイズを小さくすると、生成されるファイルの精度は高くなるが、演算量が増加して、ファイル生成部１３０での処理時間が長くなる。一実施形態において、初期値として第２の区間を与えると、判定部１４０が、異常値と判定した差分データを含む第２の区間の範囲に基づき、第２の区間とは異なる大きさを有する第３の区間を再設定して、より適切な第３の区間毎にファイル生成部１３０が差分データを用いた演算処理を実行して、差分データの平均値及び分散値を含むファイルを生成してもよい。このような再設定処理（リファインメント）を繰り返すことにより、最適な区画を設定してもよい。

【0049】

また、（Ａ）想定する欠陥を検出できる最大区間サイズ≦（Ｘ）最適な区間サイズ≦（Ｂ）学習用画像データ１０のばらつきを吸収可能な最小区間サイズであることから、（Ａ）のサイズを製品規格から算出し、（Ａ）のサイズ以上となる区間設定（Ｘ）を、演算処理時間を考慮して仮設定する。学習用画像データ１０からファイル生成部１３０によりモデルデータを生成する。生成したモデルデータから、可視化処理部１５０により画像を生成して、解析する。モデルデータが、ばらつきが少ない分布を示す場合は、学習を完了する。一方、モデルデータが、ばらつきが多い分布を示す場合は、（Ｘ）のサイズが（Ｂ）のサイズ以上と判断し、（Ｘ）のサイズを（Ｂ）のサイズ以下となるよう、設定値を自動で数値変更して、学習用画像データ１０からファイル生成部１３０によりモデルデータを生成する。このように、品質管理システム１００は、最適な区間サイズを自動的に設定することができる。

【0050】

一実施形態において、ファイル生成部１３０は、学習用画像データ１０に対して、所定の区間毎に上記の演算を行う際に、１番目の区間に対して、２番目の区間の一部が重畳するように、学習用画像データ１０に対して所定の区間が移動するように設定されることが好ましい。例えば、図４（Ａ）において、１ピクセル目を含む区間Ａが設定される。ファイル生成部１３０は、平均値及び分散値を算出するために、区間ＡをＸ軸方向へ移動させる。例えば、ファイル生成部１３０は、図４（Ｂ）に示したように、区間Ａの右側の２ピクセルと、移動後の区間Ａ’の左側の２ピクセルが重畳するように、区間Ａ’を設定する。また、図４（Ｃ）に示したように、ファイル生成部１３０は、区間Ａの下側の２ピクセルと、Ｙ軸方向への移動後の区間Ｂの上側の２ピクセルが重畳するように、区間Ｂを設定する。さらに、図４（Ｄ）に示したように、ファイル生成部１３０は、区間Ｂの右側の２ピクセルと、移動後の区間Ｂ’の左の２ピクセルが重畳するように、区間Ｂ’を設定する。すなわち、ファイル生成部１３０は、区間Ａの右側の２ピクセル且つ下側の２ピクセルと、Ｙ軸方向への移動後の区間Ｂの左側の２ピクセル且つ上側の２ピクセルが重畳するように、区間Ｂを設定する。

【0051】

ここで、学習用画像データ１０のサイズを縦（Ｈｉｍ）×横（Ｗｉｍ）、所定の区間のサイズを縦（Ｈｓｐ）×横（Ｗｓｐ）、区間の移動量を縦（Ｈｓｄ）×横（Ｗｓｄ）とすると、
H = [(Him - Hsp) / Hsd] + 1
W = [(Wim - Wsp) / Wsd] + 1
※大括弧[ ]は、小数点以下切り捨てを示す。
となり。生成されるファイルの数は、Ｈ×Ｗとなる。このように移動前後の区間が重畳するように設定することにより、ファイル生成部１３０は、より精度の高い平均値及び分散値を生成することができ、製品の欠陥を見逃すことを防止することができる。一方、移動前後の区間が重畳させることにより、重畳させない場合よりも生成するファイルの数が多くなるため、演算処理に係る時間が長くなり、ファイル生成部１３０の負荷が大きくなる。このため、移動前後の区間を重畳させる割合、即ち、区間の移動量を、演算速度等を考慮して設定してもよい。また、ファイル生成部１３０は、品質管理システム１００の外部に配置され、通信部１９０からネットワークを介してと通信可能な演算処理装置により構成されてもよい。

【0052】

可視化処理部１５０は、ファイル生成部１３０が出力したファイルを画像として集約する。図６は、本発明の一実施形態に係る特徴を可視化する工程Ｓ３０を説明するフロー図である。可視化処理部１５０は、区間毎に得られたデータを１枚の画像として集約する（工程Ｓ３１）。ファイル生成部１３０が出力した平均値又は分散値を、可視化処理部１５０が、差分データのピクセルの位置情報に基づいて結合する。これにより、可視化処理部１５０は、色成分毎に平均値又は分散値を画像として出力する（工程Ｓ３３）。出力される平均値の画像は、色成分の枚数となり、出力される分散値の画像は、色成分の２乗の枚数となる。

【0053】

表示部１７１は、可視化処理部１５０により出力された画像を表示して、被検物の特徴のばらつきを利用者が視認可能にすることができる。または、可視化処理部１５０は、画像を記憶部１８０に格納してもよく、出力部１７０を介して、プリンタへ出力してもよい。さらに、通信部１９０が、画像をサーバやネットワークドラブに送信してもよい。

【0054】

可視化処理部１５０が集約した画像が、人の直観と異なる場合もある。一実施形態において、人が加工した画像を新たなファイルの可視化情報として上書きしてもよい。これにより、可視化情報からファイル生成部１３０が出力したファイルを理想状態へ修正して、学習用画像データ１０から生成された画像における想定外のばらつきを補正して、正しい判定をすることができる。

【0055】

［製造誤差の評価］
一実施形態において、品質管理システム１００において、学習用画像データ１０として、不良品ではない製品（良品又は合格品）を用いた機械学習を実施した場合、利用者は、製品におけるばらつきを視覚的に認識することができる。具体的には、可視化処理部１５０は、ファイルに含まれる平均値ばらつき又は分散値ばらつきに基づいて画像を生成する。図７（Ａ）は、可視化処理部１５０が生成した画像を示す模式図であり、図７（Ｂ）は、その製品の上面図の模式図である。一例として、図７（Ａ）においては、ばらつきが大きな製品の部分を濃い色で表示する。図７（Ａ）の画像から、図７（Ｂ）に示した製品において、破線で囲んだ領域では、大きなばらつき、即ち、大きな製造誤差が生じることが認識される。

【0056】

［製品の評価］
一実施形態において、上述した機械学習を実行した後に、被検物である製品を品質管理システム１００に評価させることができる。図８を参照する。図８は、本発明の一実施形態に係る製品の品質管理方法を示すフロー図である。撮像部１１１により、被検物である製品の画像を撮像し、オートエンコーダ１２０は、被検物の画像データを入力層１２１として取り込む（工程Ｓ５０）。オートエンコーダ１２０は、被検物の画像データを圧縮して、復元する。このとき、被検物が傷を有する場合にも、機械学習済みのオートエンコーダ１２０は、傷がない復元画像データ３０を生成する。ファイル生成部１３０は、オートエンコーダ１２０に入力された被検物の画像データと、復元画像データ３０を比較して、被検物の傷を示す異常値を含む差分データを生成する（工程Ｓ６０）。判定部１４０は、差分データに含まれる異常値から、被検物に傷があると判定する。判定部１４０による判定結果に基づいて、可視化処理部１５０は、被検物の画像データに傷が存在することを示す画像を生成する（工程Ｓ７０）。

【0057】

一実施形態において、品質管理システム１００は、オートエンコーダ１２０を用いずに、被検物の画像データについて、学習時に生成した復元画像データ３０と比較することにより、差分データを生成してもよい。この処理では、オートエンコーダ１２０での演算処理が省略されるため、差分データの精度は僅かに低下する可能性があるものの、全体の処理時間を低減することができる。

【0058】

本実施形態においては、オートエンコーダ１２０が、被検物の画像データと、復元画像データとの差分データを生成することにより、差分データに含まれる異常値から、被検物の傷等を判断するが、変形例として、オートエンコーダ１２０が、被検物の画像データから復元画像データを生成した際に再構成できないことにより、被検物の傷等を判断することもできる。

【0059】

図９（Ａ）は、可視化処理部１５０が生成した画像を示す模式図であり、図９（Ｂ）は、傷を有する被検物の上面図の模式図である。一例として、図９（Ａ）においては、利用者が、被検物に傷があることを視認しやすくする目的から、可視化処理部１５０は、異常値が検出された部分に色付けをして、被検物の画像データと合成した画像を生成する。図９（Ａ）の画像から、図９（Ｂ）に示した被検物において、破線で囲んだ領域に傷を有することが認識される。また、可視化処理部１５０は、異常値が検出された部分に近接する領域に線を描画して、被検物の傷を取り囲む円形や楕円形等の図を画像に表示させて、表示部１７１に表示してもよい。

【0060】

［設計データと製品の比較］
一実施形態において、製品の良品の画像データを用いて機械学習を実行した後に、製品の設計データを評価させることにより、設計データと製品との製造誤差を評価することができる。具体的には、ファイル生成部１３０は、オートエンコーダ１２０に入力された設計データと、復元画像データ３０を比較して、設計データと復元画像データ３０との差異を示す異常値を含む差分データを生成する。判定部１４０は、差分データに含まれる異常値から、製品が設計データから乖離（又は相違）していると判定する。判定部１４０による判定結果に基づいて、可視化処理部１５０は、製品が設計データから乖離していることを示す画像を生成することができる。

【0061】

上述した異常値やばらつきを、利用者が視認しやすくする目的から、判定部１４０が差分データにおける異常値を検出した場合に、異常値を含む部分に重み付けをし、可視化処理部１５０は、重み付けされた部分を含む画像を生成してもよい。即ち、可視化処理部１５０は、重み付けされた部分を強調した画像を生成することができる。

【0062】

［区間の再設定処理］
上述したように、ファイル生成部１３０が利用する区間の大きさを再設定することができる。初期値として第２の区間を与えると、判定部１４０が、異常値と判定した差分データを含む第２の区間の範囲、又はばらつきが大きいと判断した差分データを含む第２の区間の範囲に基づき、第２の区間とは異なる大きさを有する第３の区間を再設定して、より適切な第３の区間毎にファイル生成部１３０が差分データを演算処理して、差分データの平均値及び分散値を含むファイルを生成することができる。

【0063】

［品質管理プログラム］
本発明の一実施形態において、上述した各処理を実行するためのプログラムを提供することができる。または、一実施形態において、プログラムを格納した記録媒体として提供することもできる。図２～図９を参照して説明する。

【0064】

本プログラムは、品質管理システムに、複数の学習用画像データと、学習用画像データから生成した復元画像データとの差を含む差分データを生成させる（工程Ｓ１０）。本プログラムは、オートエンコーダ１２０に、複数の学習用画像データ１０を取り込ませる（工程Ｓ１１）。

【0065】

本プログラムは、オートエンコーダ１２０に、入力層１２１に入力された学習用画像データ１０をエンコーダ１２７で圧縮させ、中間層１２３を生成させる。また、本プログラムは、デコーダ１２９で出力層１２５に復元させて、復元画像データ３０を生成させる（工程Ｓ１５）。本プログラムは、オートエンコーダ１２０に、この処理により１ピクセル毎に学習用画像データ１０から特徴を抽出させる（工程Ｓ１３）。

【0066】

より詳細には、本プログラムは、上述したように、学習用画像データ１０のピクセル毎の赤（Ｒ）、緑（Ｇ）及び青（Ｂ）の３つの成分について圧縮及び復元を行い、差分データを生成する。本プログラムは、得られた差分データを、次の工程Ｓ２０で処理されるか、記憶部１８０に格納させる。

【0067】

本実施形態においては、学習用画像データを用いて、工程Ｓ１０を繰り返した機械学習を実行することにより、本プログラムは、学習用画像データと復元画像データとの差分データの値を０に近づかせることができる。

【0068】

本プログラムは、品質管理システム１００に、所定の区間毎に差分データの平均値及び分散値を算出させてファイルを生成させる（工程Ｓ２０）。本プログラムは、オートエンコーダ１２０が生成した差分データから、ファイル生成部１３０に区間毎の平均値及び分散値を算出させる。本プログラムは、上述したように、得られた差分データから、ファイル生成部１３０に、区間毎の色成分について平均μを算出させる。また、本プログラムは、ファイル生成部１３０に、区間毎の色成分について分散σを算出させる。さらに、本プログラムは、ファイル生成部１３０に、区間毎の色成分について共分散σを算出させる（工程Ｓ２１）。

【0069】

本プログラムは、ファイル生成部１３０に、算出結果を正規分布として出力させる（工程Ｓ２３）。得られたファイルは、次の工程Ｓ３０で処理されてもよく、記憶部１８０に格納されてもよい。

【0070】

本プログラムは、品質管理システム１００に、生成されたファイルのデータに基づいて、画像を生成させる（工程Ｓ３０）。所定の区間毎に差分データの平均値及び分散値を算出してファイルを生成するため、本プログラムは、精度と処理時間のバランスを考慮して区間を設定させてもよい。区間の設定は、人が入力部１１０を介して設定することもできる。または、初期値として第２の区間を与えると、本プログラムは、判定部１４０に、異常値と判定した差分データを含む第２の区間の範囲に基づき、第２の区間とは異なる大きさを有する第３の区間を再設定させて、より適切な第３の区間毎にファイル生成部１３０に差分データを用いた演算処理を実行させ、差分データの平均値及び分散値を含むファイルを生成させることができる。このような再設定処理（リファインメント）を繰り返すことにより、最適な区画を設定することができる。

【0071】

本プログラムは、可視化処理部１５０に、区間毎に得られたデータを１枚の画像として集約させる（工程Ｓ３１）。本プログラムは、ファイル生成部１３０に出力させた平均値又は分散値を、可視化処理部１５０に、差分データのピクセルの位置情報に基づいて結合させる。本プログラムは、可視化処理部１５０に、色成分毎に平均値又は分散値を画像として出力させる（工程Ｓ３３）。

【0072】

本プログラムは、表示部１７１に、可視化処理部１５０により出力された画像を表示させて、被検物の特徴のばらつきを利用者が視認可能にすることができる。または、可視化処理部１５０が、画像を記憶部１８０に格納されてもよく、出力部１７０を介して、プリンタへ出力されてもよい。さらに、本プログラムは、通信部１９０に、画像をサーバやネットワークドラブに送信させてもよい。

【0073】

［製造誤差評価プログラム］
一実施形態において、品質管理システム１００において、学習用画像データ１０として、不良品ではない製品（良品又は合格品）を用いた機械学習を実施させた場合、利用者は、製品におけるばらつきを視覚的に認識することができる。製造誤差評価プログラムは、可視化処理部１５０に、ファイルに含まれる平均値ばらつき又は分散値ばらつきに基づいて画像を生成させることができる。一例として、図７（Ａ）に示したように、製造誤差評価プログラムは、ばらつきが大きな部分を濃い色で表示させる。図７（Ａ）の画像から、図７（Ｂ）に示した製品において、破線で囲んだ領域では、大きなばらつき、即ち、大きな製造誤差が生じることが認識される。

【0074】

［製品評価プログラム］
一実施形態において、製品評価プログラムは、上述した機械学習を実行した後に、被検物である製品を品質管理システム１００に評価させる。製品評価プログラムは、撮像部１１１に、被検物である製品の画像を撮像させ、オートエンコーダ１２０に、被検物の画像データを入力層１２１として取り込ませる（工程Ｓ５０）。製品評価プログラムは、オートエンコーダ１２０に、被検物の画像データを圧縮させて、復元させる。このとき、被検物が傷を有する場合にも、機械学習済みのオートエンコーダ１２０は、傷がない復元画像データ３０を生成する。製品評価プログラムは、ファイル生成部１３０に、オートエンコーダ１２０に入力された被検物の画像データと、復元画像データ３０を比較させて、被検物の傷を示す異常値を含む差分データを生成させる（工程Ｓ６０）。製品評価プログラムは、判定部１４０に、差分データに含まれる異常値から、被検物に傷があると判定させる。判定部１４０による判定結果に基づいて、製品評価プログラムは、可視化処理部１５０に、被検物の画像データに傷が存在することを示す画像を生成させる（工程Ｓ７０）。

【0075】

一例として、図９（Ａ）においては、利用者が、被検物に傷があることを視認しやすくする目的から、製品評価プログラムは、可視化処理部１５０に、異常値が検出された部分に色付けをさせて、被検物の画像データと合成した画像を生成させる。図９（Ａ）の画像から、図９（Ｂ）に示した被検物において、破線で囲んだ領域に傷を有することが認識される。また、製品評価プログラムは、可視化処理部１５０に、異常値が検出された部分に近接する領域に線を描画させて、被検物の傷を取り囲む円形や楕円形等の図を画像に表示させて、表示部１７１に表示させることができる。

【0076】

［設計データと製品の比較プログラム］
一実施形態において、製品の良品の画像データを用いて機械学習を実行した後に、製品の設計データを評価させることにより、設計データと製品との製造誤差を評価することができる。比較プログラムは、ファイル生成部１３０に、オートエンコーダ１２０に入力された設計データと、復元画像データ３０を比較させて、設計データと復元画像データ３０との差異を示す異常値を含む差分データを生成させる。比較プログラムは、判定部１４０に、差分データに含まれる異常値から、製品が設計データから乖離（又は相違）していると判定させる。判定部１４０による判定結果に基づいて、比較プログラムは、可視化処理部１５０に、製品が設計データから乖離していることを示す画像を生成させることができる。

【0077】

上述した異常値やばらつきを、利用者が視認しやすくする目的から、一実施形態に係るプログラムは、判定部１４０が差分データにおける異常値を検出した場合に、異常値を含む部分に重み付けをさせ、可視化処理部１５０に、重み付けされた部分を含む画像を生成させることができる。即ち、比較プログラムは、可視化処理部１５０に、重み付けされた部分を強調した画像を生成させることができる。

【0078】

［区間の再設定処理プログラム］
上述したように、オートエンコーダ１２０が利用する区間の大きさを再設定することができる。初期値として第２の区間を与えると、再設定処理プログラムは、判定部１４０に、異常値と判定した差分データを含む第２の区間の範囲、又はばらつきが大きいと判断した差分データを含む第２の区間の範囲に基づき、第２の区間とは異なる大きさを有する第３の区間を再設定させて、より適切な第３の区間毎に差分データをオートエンコーダ１２０に算出させ、差分データの平均値及び分散値を含むファイルをファイル生成部１３０に生成させることができる。

【0079】

以上、本発明の一実施形態について図面を参照しながら説明したが、本発明は上記の実施形態に限られるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更することが可能である。例えば、本実施形態の品質管理システム又は品質管理プログラムを基にして、当業者が適宜構成要素の追加、削除もしくは設計変更を行ったものも、本発明の要旨を備えている限り、本発明の範囲に含まれる。さらに、上述した各実施形態は、相互に矛盾がない限り適宜組み合わせが可能であり、各実施形態に共通する技術事項については、明示の記載がなくても各実施形態に含まれる。

【0080】

上述した各実施形態の態様によりもたらされる作用効果とは異なる他の作用効果であっても、本明細書の記載から明らかなもの、又は、当業者において容易に予測し得るものについては、当然に本発明によりもたらされるものと解される。

【符号の説明】

【0081】

１００ 品質管理システム、１１０ 入力部、１２０ オートエンコーダ、１３０ ファイル生成部、１４０ 判定部、１５０ 可視化処理部、１６０ 制御部、１７０ 出力部、１８０ 記憶部、１９０ 通信部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】