特許 7521778 異常判定方法及び異常判定装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-16

(45)【発行日】2024-07-24

(54)【発明の名称】異常判定方法及び異常判定装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240717BHJP

   G01N 21/88 20060101ALI20240717BHJP

【ＦＩ】

G06T7/00 350B

G01N21/88 J

【請求項の数】 6

(21)【出願番号】P 2020080589

(22)【出願日】2020-04-30

(65)【公開番号】P2021174456

(43)【公開日】2021-11-01

【審査請求日】2023-01-06

(73)【特許権者】

【識別番号】502178001

【氏名又は名称】学校法人梅村学園

(74)【代理人】

【識別番号】110000419

【氏名又は名称】弁理士法人太田特許事務所

(72)【発明者】

【氏名】齊藤 遼

(72)【発明者】

【氏名】青木 公也

(72)【発明者】

【氏名】野路 佳佑

【審査官】山田 辰美

(56)【参考文献】

【文献】特開２０１９－０８７１８１（ＪＰ，Ａ）

【文献】特開２０１１－２３２３０２（ＪＰ，Ａ）

【文献】特開２０１０－０６７０６８（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－７／９０

Ｇ０１Ｎ ２１／８８

(57)【特許請求の範囲】

【請求項1】

複数の正常画像データ（Ｄ＿ｇ）を用いた機械学習により前記正常画像データ（Ｄ＿ｇ）の特徴量を多変量正規分布させた特徴空間（Ｚ）により構成される正常品学習モデルを生成するステップ（Ｓ１３）と、
前記正常品学習モデルを生成するために投入される前記正常画像データ（Ｄ＿ｇ）とは異なる正常画像データ（Ｄ＿ｇ）及び少なくとも一種以上の特定の異常画像データ（Ｄ＿ｎｇ）を前記学習モデルに投入したときの出力結果に基づいて正常画像データ（Ｄ＿ｇ）と異常画像データ（Ｄ＿ｎｇ）とを識別する識別情報（Ｍ＿ｔｈｒ１）であって、前記特徴空間（Ｚ）内における前記検査対象品（Ｗ）の画像データ（Ｄ）の特徴量の座標位置が前記特徴空間（Ｚ）の重心（Ｃａ）から所定の距離内にある場合に前記検査対象品（Ｗ）が正常品であると判定するための正常品判定距離閾値（Ｍ＿ｔｈｒ１）を設定するステップ（Ｓ１７）と、
検査対象品（Ｗ）の画像データ（Ｄ）を前記正常品学習モデルに投入し、前記正常品判定距離閾値（Ｍ＿ｔｈｒ１）に基づいて前記検査対象品（Ｗ）の異常判定を行うステップ（Ｓ３７）と、
を備えた異常判定方法。

【請求項2】

前記特定の異常画像データ（Ｄ＿ｎｇ２，Ｄ＿ｎｇ３）は、既知の異常種の画像データである、請求項１に記載の異常判定方法。

【請求項3】

前記特定の異常画像データ（Ｄ＿ｎｇ２，Ｄ＿ｎｇ３）は、複数の異常種の中でも外観が正常品により近い異常種の画像データである、請求項１又は２に記載の異
常判定方法。

【請求項4】

前記少なくとも一種以上の特定の異常画像データ（Ｄ＿ｎｇ１～Ｄ＿ｎｇ４）を前記正常品学習モデルに投入したときに前記特徴空間（Ｚ）内に形成される異常種ごとのデータ群（Ｄ＿ｎｇ１～Ｄ＿ｎｇ４）の特徴量の座標位置の重心（Ｃｂ～Ｃｅ）を求めるとともに、前記検査対象品（Ｗ）の画像データ（Ｄ）の特徴量の座標位置が前記異常種のデータ群（Ｄ＿ｎｇ１～Ｄ＿ｎｇ４）の特徴量の座標位置の重心（Ｃｂ～Ｃｅ）から所定の距離内にある場合に前記検査対象品（Ｗ）が当該異常種の異常品であると判定するための異常種判定距離閾値を設定するステップ（Ｓ２１）をさらに含む、請求項１～３のいずれか１項に記載の異常判定方法。

【請求項5】

前記検査対象品（Ｗ）の異常判定を行うステップ（Ｓ３７～Ｓ４５）において、
前記正常品判定距離閾値（Ｍ＿ｔｈｒ１）及び前記異常種判定距離閾値に基づいて、前記検査対象品（Ｗ）を、正常品、特定の異常種の異常品、又は未知の異常種の異常品のいずれかに分類する、請求項４に記載の異常判定方法。

【請求項6】

複数の正常画像データ（Ｄ＿ｇ）を用いた機械学習により生成された、前記正常画像データ（Ｄ＿ｇ）の特徴量を多変量正規分布させた特徴空間（Ｚ）により構成される正常品学習モデル、及び、
前記正常品学習モデルを生成するために投入される前記正常画像データ（Ｄ＿ｇ）とは異なる正常画像データ（Ｄ＿ｇ）及び少なくとも一種以上の特定の異常画像データ（Ｄ＿ｎｇ）を前記正常品学習モデルに投入したときの出力結果に基づいて設定された、正常画像データ（Ｄ＿ｇ）と異常画像データ（Ｄ＿ｎｇ）とを識別する識別情報（Ｍ＿ｔｈｒ１）であって、前記特徴空間（Ｚ）内における前記検査対象品（Ｗ）の画像データ（Ｄ）の特徴量の座標位置が前記特徴空間（Ｚ）の重心（Ｃａ）から所定の距離内にある場合に前記検査対象品（Ｗ）が正常品であると判定するための正常品判定距離閾値（Ｍ＿ｔｈｒ１）、を記憶する記憶部（２１，２３）と、
前記正常品学習モデルに投入された検査対象品（Ｗ）の画像データ（Ｄ）の前記特徴空間（Ｚ）内の座標位置、及び、前記正常品判定距離閾値（Ｍ＿ｔｈｒ１）に基づいて前記検査対象品（Ｗ）の異常判定を行う判定部（１７）と、
を備えた異常判定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、学習モデルを用いて画像データに基づき検査対象品の異常判定を行う異常判定方法及び異常判定装置に関する。

【背景技術】

【0002】

従来、製造現場では、異常品の流出防止や、異常の発生原因を解明して当該異常の発生防止のため、製品の外観検査が行われている。現状では、外観検査の多くは目視により行われているが、検査員の人材確保や再現性あるいは定量性の担保が困難なことから、外観検査の自動化が望まれている。

【0003】

近年では、ディープラーニング等のＡＩ（Artificial Intelligence）技術が発達し、判定精度の高い外観検査向けＡＩの開発が期待されている。一般的なＡＩ技術を適用した外観検査の自動化手段として、教師ありの機械学習（教師あり学習）による正常又は異常の２値分類や、正常品や異常品の種類を分類する多クラス分類、教師なしの機械学習（教師なし学習）による異常検知等の手法が考えられる。例えば、特許文献１には、教師あり学習による正常品や異常品の種類を分類する多クラス分類の手法が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－２０４３２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

ここで、教師あり学習による正常又は異常の２値分類は、正常と異常とを識別する境界を学習する。しかし、判定結果は２値であるため、異常の程度や種類は未知となる。これに対して、正常品と異常品の種類を分類する多クラス分類では、異常の種類を分別することができるが、正常品のデータのサンプルと、各異常種のデータのサンプルが同程度必要になる。製品の製造現場では、異常品の発生を予防し、歩留まりを高く維持する努力が行われており、異常品の発生頻度が極めて低いことから、各異常種のデータをそれぞれ所定数収集したり、想定外の異常種のデータを収集したりすることが困難である。

【0006】

したがって、判定精度を高くするために必要な網羅的なデータを収集することは困難であり、学習データが不均衡になるおそれがある。このような不均衡な学習データを用いる場合、過学習となって、外観検査の判定結果の精度が低下するおそれがある。一般的に、画像データを用いた機械学習時の過学習を防ぐには、画像を拡張する処理（Data Augmentation）により明度や彩度の調節、位置の変更、回転、あるいは拡大縮小を施した画像データを水増しすることにより、データ不足を補うことが多い。しかし、このような画像変換や合成処理においては、異常部位や正常品の外観の光学的な撮像条件を精緻に考慮しない限り、実画像と乖離した画像が生成されるおそれがある。

【0007】

このような教師あり学習の手法に対して、教師なし学習による異常検知は、正常クラスを学習することにより、学習した正常クラスとは異なるデータに対して異常と判定するものである。外観検査に異常検知を適用することで、収集が困難である異常種のデータ不足の解消や、想定外の異常種に対応できる。しかし、異常検知による判定結果は、正常又は異常の２値であり、上述の教師あり学習による２値分類と同様に、異常の程度や種類は未知となる。

【0008】

さらに、これらの教師あり学習による正常又は異常の２値分類や、正常品や異常品の種類を分類する多クラス分類、教師なし学習による異常検知等の手法は、外観検査の目的の１つである、異常品の流出防止には有効であるものの、外観検査の別の目的である、発生源対策を達成することは困難である。具体的に、異常品の発生源対策を施すには、判定結果を製品の製造工程にフィードバックすることが必要であるが、そのためには、異常の種類や、異常の種類の判定を決定づける定量的な評価値が必要となる。

【0009】

特許文献１には、良品データを対象とした教師あり学習により良品学習モデルを生成するとともに、不良品データを対象とした教師あり学習により不良の種別ごとの不良品学習モデルを生成し、良品学習モデルを用いて製品データについての良品の尤度を求めるとともに、不良の種別ごとの不良品学習モデルを用いて製品データについての不良品の尤度を求め、すべての不良の種別についての不良品の尤度が所定の閾値未満であり、良品の尤度が所定の閾値未満である場合に、未知の不良のデータであると判定する方法が開示されている。しかし、特許文献１に記載の方法においても、それぞれの不良の種別ごとに不良品データを良品データと同等に所定数収集する必要があることに変わりはなく、画像データの拡張処理を行わずにそのような不良品のデータを所定数収集することは困難である。また、特許文献１に記載の方法では、良品学習モデル及び複数の不良品学習モデルを用いて、複数回の判定処理を行う必要があるため、演算処理の負荷が大きくなるおそれがある。

【0010】

本発明は、上記問題に鑑みてなされたものであり、異常品のデータが少ない場合であっても、正常品のデータにより生成された一つの学習モデルを用いた検査対象製品の外観検査の信頼性を向上可能な異常判定方法及び異常判定装置を提供することを目的とする。

【課題を解決するための手段】

【0011】

上記課題を解決するために、本発明のある観点によれば、複数の正常画像データを用いた機械学習により正常画像データの特徴量を多変量正規分布させた特徴空間により構成される正常品学習モデルを生成するステップと、正常画像データ及び少なくとも一種以上の特定の異常画像データを学習モデルに投入したときの出力結果に基づいて正常画像データと異常画像データとを識別する識別情報を設定するステップと、検査対象品の画像データを正常品学習モデルに投入し、識別情報に基づいて検査対象品の異常判定を行うステップとを備えた異常判定方法が提供される。

【0012】

また、上記課題を解決するために、本発明の別の観点によれば、複数の正常画像データを用いた機械学習により生成された、正常画像データの特徴量を多変量正規分布させた特徴空間により構成される正常品学習モデル、及び、正常画像データ及び少なくとも一種以上の特定の異常画像データを正常品学習モデルに投入したときの出力結果に基づいて設定された、正常画像データと異常画像データとを識別する識別情報、を記憶する記憶部と、正常品学習モデルに投入された検査対象品の画像データの特徴空間内の座標位置、及び、識別情報に基づいて検査対象品の異常判定を行う判定部とを備えた異常判定装置が提供される。

【発明の効果】

【0013】

以上説明したように本発明によれば、異常品のデータが少ない場合であっても、正常品のデータにより生成された一つの学習モデルを用いた検査対象製品の外観検査の信頼性を向上させることができる。

【図面の簡単な説明】

【0014】

【図1】本発明の実施の形態に係る異常判定装置を含む異常判定システムの構成例を示す模式図である。

【図2】同実施形態に係る異常判定装置の機能構成を示すブロック図である。

【図3】同実施形態の画像処理部による検査用画像の抽出処理を示す説明図である。

【図4】噴射孔の正常画像データ及び異常画像データの例を示す説明図である。

【図5】ＶＡＥを用いた画像変換のネットワーク構造の模式図である。

【図6】ＶＡＥにより生成された正常品学習モデルに異常種の画像データを入力して生成される潜在空間の概念図である。

【図7】ユークリッド距離を用いてデータが属する集合を考える例を示す説明図である。

【図8】正常品判定距離閾値の設定例を示す説明図である。

【図9】同実施形態に係る異常判定装置による機械学習処理の動作を示すフローチャートである。

【図10】同実施形態に係る異常判定装置による異常判定処理の動作を示すフローチャートである。

【発明を実施するための形態】

【0015】

以下、添付図面を参照しながら本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

【0016】

＜１．異常判定システムの構成例＞
まず、本発明の一実施形態に係る異常判定装置を備えた異常判定システムの構成例を説明する。

【0017】

図１は、本実施形態に係る異常判定装置１を含む異常判定システム１００の構成例を示す模式図である。異常判定システム１００は、異常判定装置１、撮像カメラ３、入力部５及び表示部７を備える。異常判定システム１００は、検査対象品Ｗの画像データに基づき、正常品学習モデルを用いて検査対象品Ｗの異常判定を自動で行うシステムとして構築されている。本実施形態では、検査対象品Ｗが燃料噴射弁のノズルであり、異常判定装置１が、当該ノズルの先端部に形成される噴射孔の外観検査に用いられる装置である例を説明する。

【0018】

検査対象品Ｗである燃料噴射弁のノズルについて簡単に説明する。ノズルは、内燃機関に装着される燃料噴射弁の先端部に設けられる構成部品である。ノズルは、軸方向の一端側に開口する内部空間４１を有し、全体として円筒形状をなす。ノズルの開口端とは反対側の端部（先端部）は、ドーム形状に形成されている。当該ドーム形状の部分には、放射状に複数の噴射孔４５を有する。本実施形態において、ノズルには、軸回りに等間隔に８つの噴射孔４５が形成される。

【0019】

噴射孔４５に生じ得る異常種の代表例としては、「過剰加工」、「不足加工」、「位置ずれ」及び「穴なし」の四種が挙げられる。「過剰加工」及び「不足加工」は、それぞれ穿孔加工が過剰に行われた異常又は不足している異常状態である。「位置ずれ」は、噴射孔４５の形成位置がずれている異常状態である。「穴なし」は、噴射孔４５が形成されていない異常状態である。これらの異常の有無を検査する外観検査は、従来目視により行われているが、本実施形態に係る異常判定システム１００では、かかるノズルの外観検査が自動化される。

【0020】

以下、異常判定システム１００の各構成要素を説明する。
撮像カメラ３は、検査対象品Ｗを撮影した画像データを生成し、当該画像データを異常判定装置１に出力する。撮像カメラ３は、撮影対象の画像データを生成できるものであれば特に限定されるものではないが、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子を備えて構成される。本実施形態において、撮像カメラ３は、検査対象品Ｗとしてのノズルの内部空間４１を、噴射孔４５が設けられた先端部とは反対の後端部側から撮影して画像データを生成する。

【0021】

撮像カメラ３は、ノズルの内部空間４１を撮影可能にするために、ノズルの内部空間４１を照明する照明光Ｌを発射する図示しない照明装置を備えていてもよい。この場合、照明装置は、内部空間４１を均等に照射可能に構成されることが好ましい。

【0022】

撮像カメラ３がノズルの内部空間４１を適切な位置から適切な方向に向けて撮影できるように、複数の検査対象品Ｗが、自動で複数の検査対象品Ｗを逐次所定の位置へセット可能な自動搬送装置により搬送されてもよく、ユーザにより手動で所定の位置へセットされてもよい。自動搬送装置を用いる場合、撮像カメラ３は、検査対象品Ｗが所定の位置へセットされるタイミングに合わせて、所定のタクトタイムで検査対象品Ｗを撮影し、生成した画像データを異常判定装置１へ出力するように構成されていてもよい。

【0023】

入力部５は、ユーザによる操作入力を受け、異常判定装置１に対して操作信号を送信する。例えば、入力部５は、キーボードやタッチパネル、タブレットコンピュータ、スマートホン、操作ボタン、スイッチ等のうちの少なくとも一つを含んで構成される。

【0024】

表示部７は、異常判定装置１から出力される駆動信号に基づいて駆動され、所定の表示を行う。例えば、表示部７は、液晶パネル等の光学パネルを備えて構成される。なお、入力部５と表示部７とが一体化され、タッチパネルとして構成されてもよい。

【0025】

異常判定装置１は、制御部１０、メモリ２１及び記憶装置２３を備える。制御部１０の一部又は全部は、ＣＰＵ（Central Processing Unit）等のプロセッサにより構成される。特に、制御部１０は、ＣＰＵと併せてＧＰＵ（Graphic Processing Unit）を含んでもよい。この他、異常判定装置１は、撮像カメラ３、入力部５又は表示部７との間でそれぞれ信号を送受信するインタフェースを備える。

【0026】

メモリ２１は、ＲＡＭ（Random Access Memory）又はＲＯＭ（Read Only Memory）等の少なくとも一つの記憶素子により構成される。記憶装置２３は、ＨＤＤ（Hard Disk Drive）やＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＳＳＤ（Solid State Drive）、ＵＳＢ（Universal Serial Bus）フラッシュ、ストレージ装置等の少なくとも一つの記憶媒体により構成される。メモリ２１又は記憶装置２３は、記憶部として機能し、プロセッサにより実行される演算処理のプログラムや、演算処理に用いられる種々の演算パラメータ、取得したデータ、演算結果等を記憶する。また、メモリ２１又は記憶装置２３は、異常判定に用いられる正常品学習モデル及び識別情報を記憶する。

【0027】

＜２．異常判定装置の概略構成＞
ここまで、異常判定システム１００の全体構成を説明した。次に、異常判定装置１の概略構成例を具体的に説明する。

【0028】

図２は、異常判定装置１の機能構成を示すブロック図である。異常判定装置１の制御部１０は、画像処理部１１、演算部１３及び表示制御部１９を備える。演算部１３は、学習部１５及び判定部１７を含む。制御部１０が有する各機能は、具体的には、プロセッサによるプログラムの実行により実現されるソフトウェア機能であってもよく、一部がハードウェアの機能により実現されてもよい。

【0029】

（２－１．画像処理部）
画像処理部１１は、撮像カメラ３から出力された画像データを加工処理し、機械学習あるいは判定処理に用いるための検査用画像を生成する。本実施形態において、画像処理部１１は、ノズルの内部空間４１を通じて撮影した８つの噴射孔４５を含む画像データから、噴射孔４５の正しい形成位置を基準にあらかじめ設定された８つの領域の検査用画像を抽出する。

【0030】

図３は、画像処理部１１による検査用画像Ｄの抽出処理を示す説明図である。画像処理部１１は、撮像カメラ３から出力された画像データ５１から検査用画像Ｄを抽出する。本実施形態において、画像データ５１は、検査対象品Ｗであるノズルの内部空間４１を後端部側から撮影した画像データである。内部空間４１の先端部には８つの噴射孔４５が形成されている。８つの噴射孔４５は、内部空間４１の先端側の傾斜部に形成されており、画像データ５１上では楕円形に見えている。

【0031】

画像処理部１１は、画像データ５１から、噴射孔４５の正しい形成位置を基準にあらかじめ設定された８つの領域５３の画像を抽出し、それぞれ噴射孔４５が同じ姿勢となるように回転させて検査用画像Ｄ－１～Ｄ－８とする。画像処理部１１は、画像データ５１上の内部空間４１の位置がずれないように位置合わせ処理を行ってもよい。これにより、抽出する８つの領域５３を適切な位置とすることができる。検査用画像Ｄから異常種のデータを顕在化するためには、領域５３のサイズ、位置及び姿勢を適切に指定する必要がある。

【0032】

例えば、領域５３のサイズは、噴射孔４５の異常信号が顕著に顕在化され、他の信号の影響が最小限に抑制され得る範囲であることが好ましい。つまり、噴射孔４５の相対的空間分解能が高くなるように領域５３のサイズを設定することが好ましい。例えば、噴射孔４５の位置ずれが、内側（ノズルの軸心側）に向かって生じる可能性がある一方、左右方向（軸回り方向）に向かって生じる可能性がない場合、検査用画像Ｄの縦方向への位置ずれに対応するために縦方向のマージンを多くする一方、横方向のマージンを小さくすることが好ましい。

【0033】

また、８つの噴射孔４５は、軸回りに等間隔で並んでいる。このため、個々の検査用画像Ｄの噴射孔４５は姿勢が異なるだけで同形状となる。また、撮像カメラ３に設けられた照明装置により、内部空間４１が均等に照射される場合には、それぞれの噴射孔４５の配置位置での明るさのばらつきは小さい。したがって、画像処理部１１は、それぞれの領域５３の画像をアフィン変換し、幾何特徴を抑制することにより、８枚の検査用画像Ｄを抽出することが好ましい。例えば、画像処理部１１は、画像データ５１全体を４５度間隔で回転させつつ、都度同一の領域をトリミングして８枚の検査用画像Ｄを抽出してもよい。これにより、すべての検査用画像Ｄ－１～Ｄ－８において、噴射孔４５が同一の見掛けで抽出され、８枚の噴射孔４５の検査用画像Ｄ－１～Ｄ－８を１つの学習モデルに束ねることができる。

【0034】

ここで、図４は、適切に形成された噴射孔４５の検査用画像Ｄ（以下、「正常画像データＤ＿ｇ」ともいう）、及び、噴射孔４５に生じ得る異常種の代表例である、「過剰加工」、「不足加工」、「位置ずれ」及び「穴なし」の四種の異常種の検査用画像Ｄ（以下、「異常画像データＤ＿ｎｇ１～Ｄ＿ｎｇ４」ともいう）を示す。異常画像データＤ＿ｎｇ１は、「過剰加工」の異常種の画像を示し、異常画像データＤ＿ｎｇ２は、「不足加工」の異常種の画像を示す。また、異常画像データＤ＿ｎｇ３は、「位置ずれ」の異常種の画像を示し、異常画像データＤ＿ｎｇ４は、「穴なし」の異常種の画像を示す。

【0035】

図４に示したそれぞれの異常画像データＤ＿ｎｇ１～Ｄ＿ｎｇ４には、正常画像データＤ＿ｇの噴射孔４５の位置が点線で示されている。「過剰加工」の異常種では、噴射孔４５が正常画像データＤ＿ｇの噴射孔に比べて大きく視認される。「不足加工」の異常種では、噴射孔４５が正常画像データＤ＿ｇの噴射孔に比べて小さく視認される。「位置ずれ」の異常種では、噴射孔４５の位置が正常画像データＤ＿ｇの噴射孔の位置からずれて視認される。「穴なし」の異常種では、噴射孔が視認されない。

【0036】

（２－２．演算部）
演算部１３は、検査対象品Ｗの異常判定に用いる正常品学習モデルを生成するとともに識別情報を設定する学習部１５と、生成された正常品学習モデル及び識別情報を用いて検査対象品Ｗの異常判定を行う判定部１７とを備える。学習部１５及び判定部１７は、いずれも主としてＶＡＥ（Variational AutoEncoder：変分オートエンコーダ）の機能を用いて構成される。ＶＡＥは、潜在空間を、学習された平均値と標準偏差を持つ正規分布として表現するオートエンコーダに基づく生成モデルである。

【0037】

一般に、製造工程で発生する異常品の発生頻度は極めて低くなるように管理されている。このため、従来の検査員による目視検査の場合、検査員が異常品を見る機会はごくわずかであり、検査員は大量の正常品を検査していく中で異常と感じる感覚の有無を判断基準としていると考えられる。この考えに基づき、本実施形態においては、ＶＡＥを用いて、正常品の画像データの次元を圧縮することで個体差等を抑制し、個々の製品特有の特徴を抽出してＶＡＥのモデル（正常品モデル）を構築する。ＶＡＥのモデルは、正常画像データの特徴量を多変量正規分布させた特徴空間により構成される。また、正常画像データを用いて生成した正常品モデルに対して、さらに異常品画像データを投入して、判定用のモデルが生成される。

【0038】

図５は、ＶＡＥを用いた画像変換のネットワーク構造の模式図である。かかるＶＡＥは、符号化器としてのエンコーダ６１及び復号化器としてのデコーダ６３を含む。ＶＡＥでは、エンコーダ６１は、入力された検査用画像Ｄの次元を圧縮することにより特徴を抽出する。ここで抽出された特徴から潜在空間（特徴空間）Ｚが構成される。潜在空間とは、圧縮された特徴空間を意味する。また、デコーダ６３は、潜在空間Ｚに基づいて検査用画像Ｄ自身を再構成する。

【0039】

本実施形態において、検査対象品Ｗの異常種には「位置ずれ」や「穴なし」等が含まれ、噴射孔４５の位置が正常品又は異常品の判定に関係し得るため、エンコーダ６１は、畳み込み層を使用して位置情報を含む特徴を抽出するように構成されることが好ましい。また、ＶＡＥは、抽出した特徴から構成される潜在空間Ｚの次元数の高さに伴って表現力が高くなる一方、高次元になるほど圧縮効果が低下する。この点を考慮して、実験的に所望の圧縮次元数に設定することが好ましい。なお、ＶＡＥのネットワーク構造は、従来公知のネットワーク構造を適合して用いることができる。

【0040】

（２－２－１．学習部）
学習部１５は、異常判定に用いるための正常品学習モデルを生成する。具体的に、学習部１５は、あらかじめ正常品として選別された複数のノズルを用いて、画像処理部１１により生成された検査用画像Ｄ（正常画像データＤ＿ｇ）から、自らの正常画像データＤ＿ｇ´を再構築するＶＡＥの潜在空間Ｚを構成する。ここでは、正常画像データＤ＿ｇの復元を可能にする正常品学習モデルを生成するために、大量の正常画像データＤ＿ｇが用いられる。この潜在空間Ｚが、多変量正規分布としてモデル化される。

【0041】

また、学習部１５は、正常画像データＤ＿ｇ及び少なくとも一種以上の特定の異常画像データＤ＿ｎｇを正常品学習モデルに投入し、そのときの出力結果に基づいて、正常画像データＤ＿ｇと異常画像データＤ＿ｎｇとを識別する識別情報を設定する。ここで、潜在空間Ｚは、多変量正規分布を仮定することから、確率密度関数Ｎは、下記式（１）で表すことができる。

【0042】

【数1】

【0043】

上記式（１）において、各サンプルxはM次元のベクトルであり、μは平均、Σは共分散行列を表す。学習データから最尤推定を行うことで、平均と分散とを算出する、したがって、最も顕著に表れる特徴は確率密度が大きくなり、潜在空間Ｚの重心付近の座標位置に分布する。これに対して、発生頻度が低い特徴は確率密度が小さくなるため、重心から離れた座標位置に分布する。つまり、潜在空間Ｚにおいて、重心付近には正常画像データが集合し、異常画像データは重心から離れた座標位置に分布する。

【0044】

図６は、ＶＡＥにより生成された正常品学習モデルに、正常画像データＤ＿ｇと上述の四種の異常種の画像データＤ＿ｎｇ１～Ｄ＿ｎｇ４を入力した場合の潜在空間Ｚの概念図を示す。正常画像データＤ＿ｇは、潜在空間Ｚの重心Ｃａ付近に分布する。一方、各異常種の画像データＤ＿ｎｇ１～Ｄ＿ｎｇ４は、それぞれ重心Ｃａから離れた座標位置にプロットされる。したがって、重心Ｃａから各画像データＤの座標位置までの距離に基づいて、正常画像データＤ＿ｇと異常画像データＤ＿ｎｇとを分類することができる。このため、学習部１５は、正常画像データＤ＿ｇと異常画像データＤ＿ｎｇとを識別するための識別情報として、正常品判定距離閾値を設定する。潜在空間Ｚの重心Ｃａから、投入された検査用画像Ｄの特徴量の座標位置までの距離が正常品判定距離閾値以下である場合に、当該検査用画像Ｄは正常画像データに識別される。

【0045】

本実施形態において、重心Ｃａから各画像データＤまでの距離として、マハラノビス距離を用いることが好ましい。マハラノビス距離は、１点からの距離を表す値である。潜在空間Ｚは多変量正規分布を仮定し、正常画像データＤ＿ｇの分布範囲は、重心Ｃａからのベクトルによって様々である。このため、一般的に用いられる二点間の距離を表すユークリッド距離では、正常画像データＤ＿ｇと異常画像データＤ＿ｎｇとの判別が困難になるおそれがある。

【0046】

図７は、ユークリッド距離を用いてデータＤｘが属する集合を考える例を示す。
軸ｘは、各データの中心からのユークリッド距離を表している。矢印ｘ１は、複数の正常データＤｚのユークリッド距離の平均からデータＤｘまでの距離を表し、矢印ｘ２は、複数の異常種のデータＤｙのユークリッド距離の平均からデータＤｘまでの距離を表している。正常データＤｚのユークリッド距離の平均からデータＤｘまでの距離ｘ１は、異常種のデータＤｙのユークリッド距離の平均からデータＤｘまでの距離ｘ２に比べて小さいことが分かる。しかし、データＤｘの左右は異常種のデータＤｙの集合であることから、データＤｘは異常種のデータＤｙの集合に属することが妥当と考えられる。

【0047】

ユークリッド距離を用いた場合に判別が困難になる理由は、それぞれの集合の分散を考慮していないからである。つまり、分散が大きい集合は、平均との距離が必然的に大きくなり、分散の小さいデータは平均との距離が小さくなる。このことは、本実施形態における正常品学習モデルを構成する潜在空間Ｚ内においても同様である。

【0048】

すなわち、正常画像データＤ＿ｇには個体差が存在し、潜在空間Ｚにおいて、正常画像データＤ＿ｇの特徴量は必ずしも重心Ｃａに重なるようにプロットされるわけではない。ただし、異常画像データＤ＿ｎｇの特徴量は、正常画像データＤ＿ｇの個体差よりも確率密度が小さいことから、潜在空間Ｚ内では正常画像データＤ＿ｇの特徴量の座標位置よりも重心Ｃａから離れた位置にプロットされると考えられる。したがって、重心Ｃａから検査用画像Ｄの特徴量がプロットされる座標位置までの距離は、正常画像データＤ＿ｇの平均との乖離度を示すことになる。以上より、本実施形態においては、重心Ｃａから各画像データＤまでの距離としてマハラノビス距離を用いることにより、正常画像データＤ＿ｇの分散を考慮して検査用画像Ｄの特徴量と正常画像データＤ＿ｇの特徴量との乖離度を数値化することができる。

【0049】

正常品学習モデルを生成した後、このマハラノビス距離を用いて正常品判定距離閾値を設定するにあたり、学習部１５は、正常画像データＤ＿ｇ及び特定の異常画像データＤ＿ｎｇを用いる。正常品判定距離閾値の設定に用いる正常画像データＤ＿ｇは、正常品学習モデルの生成に使用した正常画像データＤ＿ｇとは異なるデータであることが好ましい。これにより、正常画像データＤ＿ｇと異常画像データＤ＿ｎｇとを精度よく分離できる特徴を抽出できているかを確認することができる。また、正常品判定距離閾値の設定に用いる正常画像データＤ＿ｇの数は、正常品学習モデルの生成に用いた正常画像データＤ＿ｇの数よりも少なくてよい。

【0050】

また、正常品判定距離閾値の設定に用いる異常画像データＤ＿ｎｇは、既知の異常種の画像データＤ＿ｎｇの中から選択される。このとき、見た目の外観が正常品により近い異常種の画像データＤ＿ｎｇを用いることが好ましい。見た目の外観が正常品とは大きく異なる異常種の画像データＤ＿ｎｇは、正常画像データＤ＿ｇから離れた位置にプロットされる確率が高い一方、正常品判定距離閾値は、正常画像データＤ＿ｇと異常画像データＤ＿ｎｇとを識別するための閾値であることから、より高精度に正常品判定距離閾値を設定することができる。また、正常品判定距離閾値の設定への寄与度が低い異常種の画像データＤ＿ｎｇを用いないことにより、正常品判定距離閾値の設定に要する時間を短縮することができる。

【0051】

例えば、本実施形態においては、既知の四種の異常種の中でも、正常画像データＤ＿ｇと比較的近い距離にプロットされると考えられる、「不足加工」の異常種の異常画像データＤ＿ｎｇ２及び「位置ずれ」の異常種の異常画像データＤ＿ｎｇ３が、正常品判定距離閾値の設定に用いられてもよい。なお、正常品判定距離閾値の設定に用いる異常画像データＤ＿ｎｇは、それぞれの異常種の異常画像データＤ＿ｎｇ１～Ｄ＿ｎｇ４を正常品学習モデルに投入して得られるマハラノビス距離に基づいて選択してもよい。

【0052】

学習部１５は、正常画像データＤ＿ｇと特定の異常種の異常画像データＤ＿ｎｇとを用いて正常品判定距離閾値を設定する際に、異常画像データＤ＿ｎｇを確実に異常画像データと識別することを優先して正常品判定距離閾値を設定することが好ましい。これにより、個体差等に起因して一部の正常画像データＤ＿ｇが異常画像データＤ＿ｎｇとして識別される可能性があるものの、異常品が見逃されることを防止する確実性を高めることができる。

【0053】

図８は、正常品判定距離閾値Ｍ＿ｔｈｒ１の設定例を示す説明図である。
図８には、５６個の正常画像データＤ＿ｇと、それぞれ７個の四種の異常種の異常画像データＤ＿ｎｇ１～Ｄ＿ｎｇ４とを正常品学習モデルに投入して求められたマハラノビス距離Ｍが示されている。四種の異常種の異常画像データＤ＿ｎｇ１～Ｄ＿ｎｇ４のうち、「不足加工」の異常種の異常画像データＤ＿ｎｇ２のマハラノビス距離Ｍが正常画像データＤ＿ｇのマハラノビス距離Ｍと比較的近い値となることが分かる。

【0054】

例えば、上述したように、正常画像データＤ＿ｇと、「不足加工」の異常種の異常画像データＤ＿ｎｇ２及び「位置ずれ」の異常種の異常画像データＤ＿ｎｇ３とを用いて正常品判定距離閾値Ｍ＿ｔｈｒ１を設定する場合、これらの異常画像データＤ＿ｎｇ２，Ｄ＿ｎｇ３が正常画像データＤ＿ｇと識別されることのないように正常品判定距離閾値Ｍ＿ｔｈｒ１を設定する。例えば、正常品判定距離閾値Ｍ＿ｔｈｒ１の設定に用いる異常画像データＤ＿ｎｇのうち、異常度、すなわちマハラノビス距離Ｍが最小であった異常画像データＤ＿ｎｇのマハラノビス距離Ｍの所定割合（例えば８０％）の値を、正常品判定距離閾値Ｍ＿ｔｈｒ１としてもよい。この場合、一部の正常画像データＤ＿ｇが異常画像データＤ＿ｎｇとして識別されることになるものの、異常品が見逃されることを防止する確実性を高めることができる。設定された正常品判定距離閾値Ｍ＿ｔｈｒ１は、正常品学習モデルとともにメモリ２１又は記憶装置２３に格納され、判定部１７による異常判定処理に用いられる。

【0055】

また、図６に示したように、正常品学習モデルを構成する潜在空間Ｚにおいて、各異常種の画像データＤ＿ｎｇ１～Ｄ＿ｎｇ４の特徴量は、異常種ごとにクラスタを形成すると考えられる。このため、学習部１５は、異常種ごとに形成されるクラスタの座標位置の重心Ｃｂ～Ｃｅを求めるとともに、検査対象品Ｗが特定の異常種の異常品であると判定するための異常種判定距離閾値を設定する。各異常種のクラスタの重心Ｃｂ～Ｃｅから、投入された検査用画像Ｄの特徴量の座標位置までの距離が、それぞれの異常種ごとに設定された異常種判定距離閾値以下である場合に、当該検査用画像Ｄは特定の異常種の異常画像データＤ＿ｎｇであるものと判定される。

【0056】

上述の正常品判定距離閾値Ｍ＿ｔｈｒ１の場合、大量の正常画像データＤ＿ｇを用意できるために潜在空間Ｚの重心から各次元のベクトル方向へのマハラノビス距離を計算することができる。一方、各異常種の異常画像データＤ＿ｎｇ１～Ｄ＿ｎｇ４の枚数はもともと少ないため、各異常種のクラスタ重心から各次元のベクトル方向へのマハラノビス距離を計算することが困難な場合がある。この場合、例えばクラスタの重心と各異常画像データＤ＿ｎｇとの間のユークリッド距離を計算し、異常種判定距離閾値を設定することが好ましい。例えば、投入した特定の異常種の異常画像データＤ＿ｎｇがすべて当該異常種の異常画像データＤ＿ｎｇに分類されるように、当該異常種のクラスタの重心と、投入した当該異常種の各異常画像データＤ＿ｎｇとの間のユークリッド距離の最大値に所定の係数（例えば１．１）を乗じた値を、当該異常種の異常種判定距離閾値に設定する。

【0057】

ただし、異常種判定距離閾値の設定方法は上記の例に限られず、要求される異常種の分類の判定精度を考慮して適宜設定されてもよい。また、異常画像データＤ＿ｎｇの枚数を十分に揃えられる場合には、異常種判定距離閾値の設定に用いる距離としてマハラノビス距離を用いてもよい。設定された異常種判定距離閾値は、メモリ２１又は記憶装置２３に格納され、判定部１７による異常判定処理に用いられる。

【0058】

（２－２－２．判定部）
判定部１７は、正常品モデルに投入された検査対象品Ｗの画像データの特徴量、及び、設定された識別情報に基づいて、検査対象品Ｗの異常判定を行う。具体的に、判定部１７は、検査対象品Ｗの画像データ５１から生成される８枚の検査用画像Ｄのすべてについて、正常品学習モデルを構成する潜在空間Ｚの重心Ｃａから検査用画像Ｄの特徴量の座標位置までの距離（マハラノビス距離）が、学習部１５により設定された正常品判定距離閾値Ｍ＿ｔｈｒ１以下の場合に、検査対象品Ｗが正常品であると判定する。

【0059】

また、判定部１７は、検査対象品Ｗの８枚の検査用画像Ｄのうちの少なくとも一つについて、正常品学習モデルを構成する潜在空間Ｚの重心Ｃａから検査用画像Ｄの特徴量の座標位置までの距離（マハラノビス距離）が正常品判定距離閾値Ｍ＿ｔｈｒ１を超える場合に、検査対象品Ｗが異常品であると判定する。この場合、本実施形態では、判定部１７は、さらに異常種判定距離閾値を用いて、異常品に分類される検査対象品Ｗが特定の異常種の異常品又は未知の異常種の異常品のいずれであるかを判別する。

【0060】

具体的に、判定部１７は、正常品学習モデルを構成する潜在空間Ｚの重心から検査用画像Ｄの特徴量の座標位置までの距離が正常品判定距離閾値を超える検査用画像Ｄについて、各異常種のクラスタの重心Ｃｂ～Ｃｅから検査用画像Ｄの特徴量の座標位置までの距離が、各異常種について設定された異常種判定距離閾値以下の場合、検査対象品Ｗが当該異常種の異常品であると判定する。また、判定部１７は、正常品学習モデルを構成する潜在空間Ｚの重心から検査用画像Ｄの特徴量の座標位置までの距離が正常品判定距離閾値を超える検査用画像Ｄについて、検査用画像Ｄがいずれの異常種にも分類されない場合に、検査対象品Ｗが未知の異常種の異常品であると判定する。

【0061】

これにより、判定部１７は、検査対象品Ｗが正常品か異常品かを判別するだけでなく、どの異常種の異常品であるか、あるいは、いずれの異常種にも分類されない未知の異常種の異常品であるかを判別することができる。

【0062】

（２－３．表示制御部）
表示制御部１９は、表示部７に表示させる画像信号を生成し、表示部７への表示を制御する。表示制御部１９は、少なくとも学習部１５及び判定部１７の処理結果を表示部７へ表示させる。例えば、表示制御部１９は、学習部１５による機械学習の実行時に、機械学習の条件の設定画面や進捗状況を表示部７へ表示させる。また、表示制御部１９は、判定部１７による異常判定処理の実行時に、判定結果を表示部７へ表示させる。ただし、表示部７への表示内容は特に制限されるものではない。

【0063】

＜３．異常判定装置の動作＞
ここまで、本実施形態に係る異常判定装置１の概略構成を説明した。以下、異常判定装置１の動作を、機械学習処理及び異常判定処理に分けて具体的に説明する。

【0064】

（３－１．機械学習処理）
まず、主として学習部１５により実行される機械学習処理の動作を説明する。図９は、機械学習処理（ＤＬ）の動作を示すフローチャートである。

【0065】

まず、異常判定装置１の画像処理部１１は、撮像カメラ３から出力される正常品のノズルを撮影した画像データ５１を取得し、正常品の画像データ５１から、噴射孔４５を含む領域５３を抽出した８枚の正常画像データＤ＿ｇを生成する（ステップＳ１１）。使用する正常品は、あらかじめユーザが目視等により選別して準備したものであってよい。画像処理部１１は、機械学習処理に必要な枚数の正常画像データＤ＿ｇがそろうまで、正常画像データＤ＿ｇの生成を行う。

【0066】

次いで、異常判定装置１の演算部１３の学習部１５は、複数の正常画像データＤ＿ｇに基づいてＶＡＥを用いた機械学習を行い、正常品学習モデルを生成する（ステップＳ１３）。具体的に、学習部１５は、画像処理部１１により生成された複数の訓練用の正常画像データＤ＿ｇと、複数の検証用の正常画像データＤ＿ｇとを用いて機械学習を行い、正常品学習モデルを生成する。例えば、訓練用の正常画像データＤ＿ｇとして４００枚、検証用の正常画像データＤ＿ｇとして８０枚の検査用画像Ｄを用いる。これにより、正常画像データＤ＿ｇの潜在空間Ｚが形成される。なお、正常画像データＤ＿ｇの使用枚数は、上記の例に限定されない。

【0067】

次いで、学習部１５は、正常品学習モデルの生成に使用していない正常画像データＤ＿ｇを用いてＶＡＥの学習を行い、正常画像データＤ＿ｇの分散を求める（ステップＳ１５）。正常画像データＤ＿ｇの分散は、潜在空間Ｚの重心Ｃａからの乖離度を示す。例えば、正常画像データＤ＿ｇの分散の計算用として、１８４枚の正常画像データＤ＿ｇを用いる。なお、正常画像データＤ＿ｇの使用枚数は、上記の例に限定されない。

【0068】

次いで、学習部１５は、正常品学習モデルの生成及び分散の計算に使用していない少量の正常画像データＤ＿ｇと、少なくとも一種の特定の異常種の異常画像データＤ＿ｎｇとを用いて、正常画像データＤ＿ｇと異常画像データＤ＿ｎｇとを識別するための正常品判定距離閾値Ｍ＿ｔｈｒ１を設定する（ステップＳ１７）。異常画像データＤ＿ｎｇについても、あらかじめユーザが目視により選別した特定の異常種の異常品を用いて、画像処理部１１により生成される。異常画像データＤ＿ｎｇとしては、例えば、潜在空間Ｚ内における正常画像データＤ＿ｇの座標位置との距離（マハラノビス距離）が近いと推定される少なくとも一つの異常種の異常画像データＤ＿ｎｇが用いられる。これにより、誤判定を生じやすい画像データを識別可能な正常品判定距離閾値Ｍ＿ｔｈｒ１を設定することができる。例えば、３２枚の正常画像データＤ＿ｇと、それぞれ１６枚ずつの「不足加工」の異常種の異常画像データＤ＿ｎｇ２及び「位置ずれ」の異常種の異常画像データＤ＿ｎｇ３とを用いて、正常品判定距離閾値Ｍ＿ｔｈｒ１を設定する。

【0069】

次いで、学習部１５は、既知の四種の異常種すべての異常画像データＤ＿ｎｇ１～Ｄ＿ｎｇ４をそれぞれ適宜の枚数分、正常品学習モデルに投入し、潜在空間Ｚ内に、各異常種の異常画像データＤ＿ｎｇ１～Ｄ＿ｎｇ４のクラスタを生成する（ステップＳ１９）。ノズルの製造工程において、異常品の発生頻度は大きくないが、ここで用いる各異常種の異常画像データＤ＿ｎｇ１～Ｄ＿ｎｇ４は、それぞれ５枚程度であってもよい。

【0070】

次いで、学習部１５は、それぞれの異常種のクラスタの重心Ｃｂ～Ｃｅを求めるとともに、異常品を各異常種に分類するための異常種判定距離閾値を算出する（ステップＳ２１）。例えば、それぞれの異常種について、少なくともクラスタの重心から、クラスタの生成に用いたすべての異常画像データＤ＿ｎｇの座標位置までの距離よりも大きい値となるように、異常種判定距離閾値を設定する。上述のとおり、各異常種の異常画像データＤ＿ｎｇ１～Ｄ＿ｎｇ４の枚数はもともと少ないため、マハラノビス距離を計算することが困難である場合がある。この場合、学習部１５は、例えばクラスタの重心と各異常画像データＤ＿ｎｇとの間のユークリッド距離を計算し、異常種判定距離閾値を設定する。異常画像データＤ＿ｎｇの枚数を十分に揃えられる場合には、異常種判定距離閾値の設定に用いる距離としてマハラノビス距離を用いてもよい。

【0071】

このようにして、ＶＡＥによる機械学習により、異常判定処理に用いる判定用のモデルが生成される。生成された正常品学習モデルや、算出された正常画像データＤ＿ｇの分散、正常品判定距離閾値、及び異常種判定距離閾値は、メモリ２１又は記憶装置２３に格納される。

【0072】

（３－２．異常判定処理）
次に、主として判定部１７により実行される検査対象品Ｗの異常判定処理の動作を説明する。図１０は、異常判定処理（ＡＪ）の動作を示すフローチャートである。

【0073】

まず、画像処理部１１は、撮像カメラ３から出力される検査対象品Ｗのノズルを撮影した画像データ５１を取得し、当該画像データ５１から、噴射孔４５を含む領域５３を抽出した８枚の検査用画像Ｄ－１～Ｄ－８を生成する（ステップＳ３１）。

【0074】

次いで、異常判定装置１の判定部１７は、生成された８枚の検査用画像Ｄ－１～Ｄ－８を正常品学習モデルに投入する（ステップＳ３３）。これにより、各検査用画像Ｄの特徴量が、潜在空間Ｚ内にプロットされる。

【0075】

次いで、判定部１７は、潜在空間Ｚ内の重心Ｃａから各検査用画像Ｄ－１～Ｄ－８の特徴量の座標位置までの距離（マハラノビス距離）Ｍを算出する（ステップＳ３５）。

【0076】

次いで、判定部１７は、各検査用画像Ｄ－１～Ｄ－８について算出した距離Ｍを正常品判定距離閾値Ｍ＿ｔｈｒ１と比較し、すべての検査用画像Ｄ－１～Ｄ－８が正常画像データＤ＿ｇであるか否かを判別する（ステップＳ３７）。具体的に、判定部１７は、すべての検査用画像Ｄ－１～Ｄ－８についての距離Ｍが正常品判定距離閾値Ｍ＿ｔｈｒ１以下であるか否かを判別する。ステップＳ３７が肯定判定の場合（Ｓ３７／Ｙｅｓ）、判定部１７は、検査対象品Ｗのノズルを正常品として分類する（ステップＳ３９）。

【0077】

一方、ステップＳ３７が否定判定の場合、すなわち、少なくとも１枚の検査用画像Ｄが異常画像データＤ＿ｎｇと判定された場合（Ｓ３７／Ｎｏ）、判定部１７は、該当する検査用画像Ｄの特徴量の座標位置が、いずれかの異常種のクラスタに属しているか否かを判別する（ステップＳ４１）。具体的には、該当する検査用画像Ｄについて、各異常種のクラスタの重心から検査用画像Ｄの特徴量の座標位置までの距離が、異常種判定距離閾値以下となる異常種が存在するか否かを判別する。

【0078】

ステップＳ４１が肯定判定の場合（Ｓ４１／Ｙｅｓ）、判定部１７は、検査対象品Ｗのノズルを、異常画像データＤ＿ｎｇとして識別された検査用画像Ｄが属する異常種の異常品として分類する（ステップＳ４３）。一方、ステップＳ４１が否定判定の場合（Ｓ４１／Ｎｏ）、検査対象品Ｗのノズルの検査用画像Ｄは異常画像データＤ＿ｎｇを含むものの、いずれの異常種のクラスタにも属していないことから、判定部１７は、検査対象品Ｗのノズルを、未知の異常種の異常品として分類する（ステップＳ４５）。

【0079】

検査対象品Ｗのノズルを、正常品、特定の異常種の異常品又は未知の異常種の異常品のいずれかに分類した後、異常判定装置１の表示制御部１９は、表示部７の駆動信号を生成し、判定結果の情報を表示部７に表示させる（ステップＳ４７）。表示される情報は、異常判定を行った検査対象品Ｗの判定結果の情報だけでなく、特定の異常種及び未知の異常種ごとの発生頻度及び発生点数の情報を含んでいてもよい。これにより、ユーザは、発生頻度が大きいか、あるいは発生点数が多い異常種に基づいて、製造工程あるいは製造装置等を改善することができる。

【0080】

また、未知の異常種の異常画像データＤ＿ｎｇが、潜在空間Ｚ内においてクラスタを形成している場合には、ユーザは当該未知の異常種の検査対象品Ｗを分析することによって、異常の発生原因をつきとめ、製造工程あるいは製造装置等を改善することができる。また、未知の異常種の異常画像データＤ＿ｎｇが、潜在空間Ｚ内においてクラスタを形成している場合には、当該異常種を新たな異常種としてクラスタの重心及び異常種判定距離閾値を設定することにより、異常種の分類の一つとして加えることができる。

【0081】

＜４．効果＞
以上説明したように、本実施形態に係る異常判定装置１は、正常画像データＤ＿ｇのみを用いてＶＡＥによる機械学習を行うことで、正常画像データＤ＿ｇの特徴量が集合を成して分布した潜在空間Ｚからなる正常品学習モデルを生成する。この正常品学習モデルに、正常画像データＤ＿ｇとは異なる特徴を有する画像データが入力された場合、その特徴が顕在化する。つまり、正常品学習モデルに異常画像データＤ＿ｎｇが入力された場合、正常画像データＤ＿ｇの集合とは離れた座標位置に分布する。このため、潜在空間Ｚの重心Ｃａから、検査対象品Ｗの検査用画像Ｄの特徴量の座標位置までの距離Ｍは、特徴の乖離度を示すこととなり、当該距離Ｍを用いて検査対象品Ｗの異常を判定することができる。

【0082】

また、本実施形態に係る異常判定装置１は、検査用画像Ｄの特徴量の座標位置の異常度（重心Ｃａからの乖離度）を示す指標として、マハラノビス距離Ｍを用いている。このため、正常画像データＤ＿ｇの分散を考慮して検査用画像Ｄの特徴量と正常画像データＤ＿ｇの特徴量との乖離度を数値化することができ、異常判定の判定結果の信頼性を高めることができる。

【0083】

また、本実施形態に係る異常判定装置１は、見た目が正常品に近く、潜在空間Ｚでの座標位置が正常画像データＤ＿ｇに近くなると考えられる少なくとも一種以上の特定の異常種の異常品を用いて、正常画像データと異常画像データとを識別するための正常品判定距離閾値を設定する。このため、製品の製造工程において異常品の発生頻度が小さい場合であっても、検査用画像Ｄが異常画像データＤ＿ｎｇである場合に、当該検査用画像Ｄを異常画像データとして識別する確実性が高められ、判定結果の信頼性を向上させることができる。したがって、異常品のデータが少ない場合であっても、正常品データにより生成された一つの学習モデルから外観検査の信頼性を向上可能な判定用のモデルが生成され、信頼性の高い外観検査の自動化に寄与することができる。

【0084】

また、正常品学習モデルが、正常画像データＤ＿ｇの特徴量を多変量正規分布させた特徴空間からなることにより、類似した特徴を有するデータ同士は近似した座標位置に分布する。このため、異常種ごとの特徴量の集合により、潜在空間Ｚには異常種ごとのデータ群を含むクラスタが生成される。したがって、特徴空間内の座標位置に基づいて、正常品又は異常品の分類だけでなく、異常度（重心Ｃａからの乖離度）の算出及び異常種の推定が可能となる。これにより、既知の異常種の異常品については、確実に異常品として判定することができる。さらに、未知の異常種が発生した場合、特徴空間内に新たなクラスタが生成されるため、想定外の異常種が発生した場合にも対応することができるようになる。さらにまた、それぞれの異常種のクラスタ内に分布するデータの個数に基づいて、それぞれの異常種の発生頻度を知ることができる。したがって、判定結果を製品の製造工程にフィードバックし、製造工程あるいは製造装置等の改善に資することができる。

【0085】

以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。

【0086】

例えば、上記実施形態では、検査対象品Ｗとして燃料噴射弁のノズルを用いた例を説明したが、本発明はかかる例に限定されない。製品の画像データから特徴量を抽出可能な検査対象品であれば、本発明に係る異常判定方法及び異常判定装置に適用することができる。

【0087】

また、上記実施形態では、異常判定装置１が学習部１５及び判定部１７を備える例を説明したが、本発明はかかる例に限定されない。例えば、学習部１５が、別の装置に備えられていてもよい。この場合、学習部１５を含む装置を用いてあらかじめ機械学習を行い、判定用の学習モデルの生成及び識別情報の設定が行われ、判定部１７を含む異常判定装置１のメモリ２１又は記憶装置２３に、学習モデル及び識別情報が記憶される。これにより、異常判定装置１は、製造工程上で検査対象品Ｗの画像データＤを正常品学習モデルに投入し、識別情報Ｍ＿ｔｈｒ１に基づいて検査対象品Ｗの異常判定を行うことができる。

【0088】

さらに、製造工程上で異常判定装置１を用いて異常判定を行うのではなく、オフラインで異常判定を行う場合には、異常判定装置１が画像処理部１１を含まずに構成されていてもよい。例えば、撮像カメラ３から出力される画像データ５１から抽出した検査用画像Ｄを記憶媒体に記憶させ、当該記憶媒体に記憶された検査用画像Ｄを異常判定装置１の判定部１７に読み込ませるようにしてもよい。このように構成した場合であっても、異常判定装置１は、正常品学習モデル及び識別情報Ｍ＿ｔｈｒ１に基づいて検査対象品Ｗの異常判定を行うことができる。

【符号の説明】

【0089】

１…異常判定装置、３…撮像カメラ、７…表示部、１０…制御部、１１…画像処理部、１３…演算部、１５…学習部、１７…判定部、１９…表示制御部、２１…メモリ、２３…記憶装置、４１…内部空間、４５…噴射孔、５１…画像データ、５３…領域、６１…エンコーダ、６３…デコーダ、Ｄ…検査用画像、Ｄ＿ｇ…正常画像データ、Ｄ＿ｎｇ…異常画像データ、Ｍ＿ｔｈｒ１…正常品判定距離閾値、Ｗ…検査対象品、

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】