特許 7608857 異常検出方法および異常検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-23

(45)【発行日】2025-01-07

(54)【発明の名称】異常検出方法および異常検出装置

(51)【国際特許分類】

   G06T 7/00 20170101AFI20241224BHJP

【ＦＩ】

G06T7/00 350B

【請求項の数】 5

(21)【出願番号】P 2021023265

(22)【出願日】2021-02-17

(65)【公開番号】P2022125593

(43)【公開日】2022-08-29

【審査請求日】2023-08-22

(73)【特許権者】

【識別番号】000003207

【氏名又は名称】トヨタ自動車株式会社

(74)【代理人】

【識別番号】110000028

【氏名又は名称】弁理士法人明成国際特許事務所

(72)【発明者】

【氏名】松田 智裕

【審査官】藤原 敬利

(56)【参考文献】

【文献】国際公開第２０１９／１４６５３８（ＷＯ，Ａ１）

【文献】特開２０１９－１７８９４１（ＪＰ，Ａ）

【文献】国際公開第２０２０／２５５２２４（ＷＯ，Ａ１）

【文献】Scanning Imaging Restoration of Moving or Dynamically Deforming Objects，IEEE Transactions on Image Processing，2020年06月12日，https://ieeexplore.ieee.org/document/9115861

【文献】異状発生直前・直後のペア画像群を用いた高リアリティ画像生成に基づくキズ検出，画像センシングシンポジウム 講演資料集，2020年06月10日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００－ ７／９０

Ｇ０６Ｖ １０／００－２０／９０

(57)【特許請求の範囲】

【請求項1】

異常検出方法であって、
検査対象を撮像した撮像画像を取得し、
正常な検査対象を撮像した正常画像を用いて学習された第一学習モデルに、前記撮像画像を入力して復元画像を生成し、
前記撮像画像と、前記復元画像との差分画像を生成し、
正常な差分画像を用いて学習された第二学習モデルに、生成された前記差分画像を入力して復元差分画像を生成し、
前記差分画像および前記復元差分画像を用いて前記検査対象の異常を検出し、
前記第一学習モデルは、敵対的生成ネットワークを用いた学習モデルであり、
前記第二学習モデルは、敵対的生成ネットワークを用いた学習モデルである、
異常検出方法。

【請求項2】

請求項１に記載の異常検出方法であって、
前記検査対象の異常の検出において、前記差分画像と、前記復元差分画像との差分を用いて異常判定用画像を生成し、前記異常判定用画像を用いて前記検査対象の異常を判定する、
異常検出方法。

【請求項3】

請求項１または請求項２に記載の異常検出方法であって、
前記第一学習モデルは、前記撮像画像における前記検査対象の位置ずれを除去して前記復元画像を生成する、
異常検出方法。

【請求項4】

請求項１から請求項３までのいずれか一項に記載の異常検出方法であって、
前記第一学習モデルと、前記第二学習モデルとは同じ種類の学習モデルが用いられる、
異常検出方法。

【請求項5】

異常検出装置であって、
検査対象を撮像した撮像画像を取得する取得部と、
正常な検査対象を撮像した正常画像を用いて学習された第一学習モデルに対して、前記撮像画像を入力して復元画像を生成する復元画像生成部と、
前記撮像画像と、前記復元画像との差分画像を生成する差分画像生成部と、
正常な差分画像を用いて学習された第二学習モデルに対して、生成された前記差分画像を入力して復元差分画像を生成する復元差分画像生成部と、
前記差分画像および前記復元差分画像を用いて前記検査対象の異常を検出する識別部と、を備え、
前記第一学習モデルは、敵対的生成ネットワークを用いた学習モデルであり、
前記第二学習モデルは、敵対的生成ネットワークを用いた学習モデルである、
異常検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、異常検出方法および異常検出装置に関する。

【背景技術】

【0002】

ニューラルネットワークにより生成される疑似画像と、検査対象の画像との差分が、予め定められた閾値以上である場合に、検出対象の画像に異常があることを検出する画像処理装置が知られている（例えば、特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２０２０－１６０９９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

検査対象の画像を用いた異常検出方法では、検査対象の異常の検出精度をさらに向上したいといった要望がある。

【課題を解決するための手段】

【0005】

本開示は、以下の形態として実現することが可能である。

【0006】

（１）本開示の一形態によれば、異常検出方法が提供される。この異常検出方法は、検査対象を撮像した撮像画像を取得し、正常な検査対象を撮像した正常画像を用いて学習された第一学習モデルに、前記撮像画像を入力して復元画像を生成し、前記撮像画像と、前記復元画像との差分画像を生成し、正常な差分画像を用いて学習された第二学習モデルに、生成された前記差分画像を入力して復元差分画像を生成し、前記差分画像および前記復元差分画像を用いて前記検査対象の異常を検出する。
この形態の異常検出方法によれば、撮像画像と、復元画像との差分画像を用いて学習された第二学習モデルにより、差分画像に含まれる過検出の要因を抽出した復元差分画像を生成することができる。したがって、異常の検出時において、差分画像に含まれる過検出の要因と、異常とを分別することができ、正常な検査対象が異常として検出される不具合を低減または抑制することができ、異常の検出精度を向上させることができる。
（２）上記形態の異常検出方法において、前記検査対象の異常の検出において、前記差分画像と、前記復元差分画像との差分を用いて異常判定用画像を生成し、前記異常判定用画像を用いて前記検査対象の異常を判定してよい。
この形態の異常検出方法によれば、差分画像に含まれる過検出の要因を除去した画像を用いて異常を検出することができる。
（３）上記形態の異常検出方法において、前記第一学習モデルは、前記撮像画像における前記検出対象の位置ずれを除去して前記復元画像を生成してよい。
この形態の異常検出方法によれば、撮像画像と復元画像との差分を第二学習モデルに入力することにより、撮像誤差を学習した復元差分画像を生成することができる。
（４）上記形態の異常検出方法において、前記第一学習モデルは、敵対的生成ネットワークを用いた学習モデルであってよい。
この形態の異常検出方法によれば、第一学習モデルによる復元画像の再現性を高くすることができ、異常の検出精度を向上させることができる。
（５）上記形態の異常検出方法において、前記第二学習モデルは、敵対的生成ネットワークを用いた学習モデルであってよい。
この形態の異常検出方法によれば、第二学習モデルによる復元差分画像の再現性を高くすることができ、異常の検出精度を向上させることができる。
（６）上記形態の異常検出方法において、前記第一学習モデルと、前記第二学習モデルとは同じ種類の学習モデルが用いられてよい。
この形態の異常検出方法によれば、異なる種類の学習モデルを有する場合に比べ、差分画像に含まれる撮像誤差と、復元差分画像に含まれる撮像誤差との傾向が一致しやすくなる。したがって、差分画像と、復元差分画像との差分によって撮像誤差をより正確に除去することができる。
本開示は、異常検出方法以外の種々の形態で実現することも可能である。例えば、異常検出装置、画像処理装置、異常検出装置の製造方法や異常検出装置の制御方法、その制御方法を実現するコンピュータプログラム、そのコンピュータプログラムを記録した一時的でない記録媒体等の形態で実現することができる。

【図面の簡単な説明】

【0007】

【図1】異常検出装置の内部機能構成を示すブロック図。

【図2】異常検出装置におけるＣＰＵの機能構成の一例を示すブロック図。

【図3】異常検出装置が実行する異常検出処理を示すフロー図。

【図4】外部装置によって撮像された検査対象の撮像画像を示す説明図。

【図5】復元画像生成部によって生成された復元画像の一例を示す説明図。

【図6】差分画像生成部によって生成された差分画像の一例を示す説明図。

【図7】復元差分画像生成部によって生成された復元差分画像の一例を示す説明図。

【図8】異常判定用画像生成部によって生成された異常判定用画像の一例を示す説明図。

【発明を実施するための形態】

【0008】

Ａ．第１実施形態：
図１は、本開示の第１実施形態としての異常検出装置１００の内部機能構成を示すブロック図である。異常検出装置１００は、外部装置と接続されるパーソナルコンピュータである。外部装置は、例えば、異常検出装置１００の検査対象の画像を撮像するカメラである。本実施形態では、異常検出装置１００が取得する画像は、Ｒ（赤）、Ｇ（緑）、Ｂ（青）で表される各画像信号成分によって構成されるＲＧＢ入力画像信号で構成されている。入力画像信号は、例えば、Ｙ（輝度信号）、Ｕ（第１色差信号）、Ｖ（第２色差信号）からなるＹＵＶ画像信号であってもよく、ＹＣｂＣｒ画像信号、或いはＹＰｂＰｒ画像信号であってもよい。画像は、カラー画像のほか、１ビットや８ビットなど任意の色深度の輝度値を有するグレースケール画像であってもよい。外部装置は、例えば、検査対象を製造するための製造装置、検査対象を検査するための検査装置であってよく、これらの装置に備えられるカメラであってよい。

【0009】

異常検出装置１００は、中央演算処理装置であるＣＰＵ１１０と、記憶部１３０と、送受信部１２０と、表示部１４０とを備えている。これらの各部は、データバス１５０を介して相互に通信可能に接続されている。ＣＰＵ１１０と、記憶部１３０と、送受信部１２０とは、互いに双方向に通信可能である。異常検出装置１００の処理の一部または全ての機能は、例えば、エッジやクラウド等で実現されてもよい。例えば、異常検出装置１００は、外部装置によって撮像された画像を、ネットワーク等を介して取得し、取得した画像をエッジやクラウド等で処理したうえで、その処理結果を、ネットワークを介して外部に出力してもよい。

【0010】

ＣＰＵ１１０は、異常検出装置１００を統括的に制御するマイクロプロセッサである。記憶部１３０は、たとえば、ＲＡＭ、ＲＯＭ、大容量記憶媒体としてのハードディスクドライブ（ＨＤＤ）である。ＨＤＤまたはＲＯＭには本実施形態において提供される機能を実現するための各種プログラムが格納されている。ＣＰＵ１１０は、記憶部１３０のＨＤＤまたはＲＯＭから読み出してＲＡＭ上に展開された各種プログラムを実行する。記憶部１３０が有する大容量記憶媒体としては、ＨＤＤに代えて、またはそれとともにソリッドステートドライブ（ＳＳＤ）が備えられてもよい。

【0011】

送受信部１２０は、外部装置との通信を行う。本実施形態では、送受信部１２０は、外部装置によって撮像された異常検出対象の画像を、無線通信を介して受信する。無線通信としては、例えば、ＩＥＥＥ８０２．１１ａの規格に準拠した２．４ＧＨｚ帯域もしくは５ＧＨｚ帯域を用いた無線ローカルネットワーク（ＬＡＮ）を通じた無線通信や、１ＧＨｚ未満の周波数帯域（９１６．５ＭＨｚから９２７．５ＭＨｚ）であるサブギガ帯域を用いた無線通信や、Ｂｌｕｅｔｏｏｔｈ（登録商標）を用いた無線通信を用いることができる。送受信部１２０は、外部装置とは、無線接続に限らず、イーサネット（登録商標）などの有線ＬＡＮにより有線接続されてもよい。

【0012】

表示部１４０は、異常検出装置１００の操作画面や、異常検出装置１００による異常検出の結果情報を表示するためのディスプレイである。表示部１４０は、例えば、検査装置など、異常検出装置１００とは異なる外部装置に備えられていてもよい。異常検出装置１００は、たとえば、キーボード、マウス、タッチパネルなどの入力装置を備えてもよい。

【0013】

図２は、異常検出装置１００におけるＣＰＵ１１０の機能構成の一例を示すブロック図である。ＣＰＵ１１０は、記憶部１３０に格納されている各種の制御プログラムを実行することによって、取得部１１１と、復元画像生成部１１３と、差分画像生成部１１５と、復元差分画像生成部１１７と、異常判定用画像生成部１１８と、識別部１１９として機能する。異常検出装置１００の機能の一部または全ての機能は、ハードウェア回路によって実現されてもよい。

【0014】

異常検出装置１００による異常検出処理の実行時における各部の機能について説明する。取得部１１１は、検査対象の異常を検出する場合には、検査対象の撮像画像を外部装置から取得する。取得部１１１は、学習用画像として取得される画像と同じサイズの画像を検出対象の撮像画像として取得する。取得部１１１は、取得した検査対象の撮像画像を、復元画像生成部１１３と、差分画像生成部１１５とに出力する。

【0015】

復元画像生成部１１３は、取得部１１１から検査対象の撮像画像を取得すると、学習されたニューラルネットワークによって、撮像画像を復元した復元画像を生成する。復元画像生成部１１３は、生成した復元画像を差分画像生成部１１５に出力する。

【0016】

差分画像生成部１１５は、取得部１１１から取得した検査対象の撮像画像と、復元画像生成部１１３から取得した復元画像との差分画像を生成する。復元画像生成部１１３は、例えば、撮像画像の画素値から復元画像の画素値を減算することによって差分画像を生成する。本実施形態では、撮像画像の画素ごとに、これに対応する位置の復元画像の画素をそれぞれ減算することによって、差分画像を生成する。これに対して、差分画像は、複数の画素を含むグループごとの差分を用いて生成されてもよい。差分画像生成部１１５は、生成した差分画像を復元差分画像生成部１１７と、異常判定用画像生成部１１８とに出力する。

【0017】

復元差分画像生成部１１７は、差分画像生成部１１５から差分画像を取得すると、学習されたニューラルネットワークによって、取得した差分画像を復元した復元差分画像を生成する。復元差分画像生成部１１７は、生成した復元差分画像を異常判定用画像生成部１１８に出力する。

【0018】

異常判定用画像生成部１１８は、差分画像生成部１１５から取得した差分画像と、復元差分画像生成部１１７から取得した復元差分画像との差分を用いて、異常判定用画像を生成する。異常判定用画像生成部１１８は、例えば、差分画像の画素値から復元差分画像の画素値を減算することによって異常判定用画像を生成する。本実施形態では、差分画像の画素ごとに、これに対応する位置の復元差分画像の画素をそれぞれ減算することによって、異常判定用画像を生成する。異常判定用画像は、複数の画素を含むグループごとの差分を用いて生成されてもよい。異常判定用画像生成部１１８は、生成した異常判定用画像を識別部１１９に出力する。

【0019】

識別部１１９は、異常判定用画像生成部１１８から取得した異常判定用画像を用いて、検出対象の異常を検出する。本実施形態では、識別部１１９は、異常判定用画像に含まれる画素値の合計値が予め定められた閾値よりも大きい場合に、検出対象に異常があると判定する。識別部１１９は、異常判定結果を表示部１４０に出力する。

【0020】

図２を用いて、異常検出装置１００が有する学習モデルの学習方法について説明する。異常検出装置１００は、異常検出処理を実行するための前準備として、復元画像生成部１１３および復元差分画像生成部１１７が有するニューラルネットワークの学習を行う。復元画像生成部１１３が備えるニューラルネットワークを「第一学習モデル」とも呼び、復元差分画像生成部１１７が備えるニューラルネットワークを「第二学習モデル」とも呼ぶ。

【0021】

取得部１１１は、学習用画像を外部装置から取得すると、復元画像生成部１１３と、復元差分画像生成部１１７とに出力する。本実施形態では、取得部１１１は、正常な検査対象を撮像した画像（以下、「正常画像」とも呼ぶ。）を学習用画像として取得する。正常な検査対象とは、異常を有しない検査対象を意味する。取得部１１１は、例えば、予め定められた数以下の少数であれば、異常を有する検査対象の撮像画像（以下、「異常画像」とも呼ぶ。）を取得してもよい。

【0022】

復元画像生成部１１３は、本実施形態では、第一学習モデルとして、敵対的生成ネットワーク（ＧＡＮ：Generative Adversarial Network）を備えている。具体的には、復元画像生成部１１３は、ＣＧＡＮ（Conditional GAN）を備えている。復元画像生成部１１３は、疑似データを生成するニューラルネットワークを有する生成部（Generator）と、疑似データの真偽の判定を行うニューラルネットワークを有する弁別部（Discriminator）とを備えている。学習用画像である正常画像が復元画像生成部１１３に入力されると、生成部は、疑似画像を生成する。復元画像生成部１１３は、正常画像と、正常画像を用いて生成部によって生成された疑似画像とを用いて、弁別器と、生成器とを学習させる。

【0023】

復元差分画像生成部１１７は、本実施形態では、復元画像生成部１１３と同じ種類の学習モデルであるＣＧＡＮを備えており、生成部と、弁別部とを備えている。学習する場合には、復元差分画像生成部１１７には、差分画像生成部１１５から学習用画像である正常な差分画像が入力される。正常な差分画像とは、正常画像と、正常画像を用いて生成される復元画像との差分画像を意味する。復元差分画像生成部１１７は、第二学習モデルの学習時には、正常な差分画像と、正常な差分画像を用いて生成部によって生成された疑似画像とを用いて、弁別器と、生成器とを学習させる。復元差分画像生成部１１７の学習に用いられる正常な差分画像は、例えば、復元画像生成部１１３の学習に用いられる正常画像とは異なる正常画像を用いて生成されてもよい。復元差分画像生成部１１７の学習には、例えば、別途に予め準備された画像を用いてもよい。

【0024】

ここで、正常画像を用いて生成される復元画像と、正常画像との差分画像には、復元前の正常画像に含まれる撮像誤差を示す画像が含まれ得る。撮像誤差とは、第一学習モデルによる復元時に正常画像から除去され得る部分であり、正常な検査対象が異常として検出される不具合の要因となり得る部分である。正常な検査対象が異常として検出される不具合を、過検出とも呼ぶ。撮像誤差としては、例えば、撮像画像中における検出対象の位置や方向のずれ・ばらつきや、例えば背景の明るさのばらつきや背景の汚れなどの撮像画像に含まれる検出対象以外の部分の検出ばらつきなどが含まれる。第二学習モデルは、撮像誤差を含む差分画像を用いて学習される。したがって、復元差分画像生成部１１７は、入力された撮像画像から第一学習モデルの復元によって除去され得る部分、すなわち撮像誤差に相当する部分を復元した画像を復元差分画像として生成する。復元差分画像生成部１１７の学習には、過検出の要因となり得る撮像誤差の数・種類が抽出された多数の差分画像が入力されることが好ましい。この形態の異常検出装置１００によれば、撮像誤差をより明確にした復元差分画像を得ることができる。したがって、過検出の要因を除去できる可能性を高くすることができ、異常検出装置１００による異常の検出精度を向上させることができる。本開示において、「過検出の要因を除去する」とは、過検出の要因を画像上から除去することを意味する。

【0025】

図３とともに適宜に図４から図８を用いて、異常検出装置１００が実行する異常検出処理について説明する。図３は、異常検出装置１００が実行する異常検出処理を示すフロー図である。本フローは、例えば、異常検出装置１００の電源がオンにされたことによって開始する。本フローは、検査対象の撮像画像が取得部１１１に入力されることによって開始してもよく、異常検出装置１００に接続される外部装置の電源がオンにされることによって開始してもよい。本フローの開始時点において、正常画像を用いた復元画像生成部１１３の第一学習モデルの学習と、正常な差分画像を用いた復元差分画像生成部１１７の第二学習モデルの学習とは、完了した状態である。

【0026】

ステップＳ１０では、取得部１１１は、外部装置によって撮像された検査対象の撮像画像を取得する。図４は、外部装置によって撮像された検査対象の撮像画像ＣＰの一例を示す説明図である。検査対象の撮像画像ＣＰは、無線通信によって外部装置から送受信部１２０を介して、取得部１１１に入力される。図４では、撮像画像ＣＰには、検査対象の一例としての製品ＰＰの画像（以下、「製品画像ＰＰ」とも呼ぶ。）が含まれている。図４では、検査対象の異常としての異物ＦＭが製品ＰＰに付着している状態の例を示している。以下、異物ＦＭの画像を「異物画像ＦＭ」とも呼ぶ。撮像画像ＣＰは、異常を有する検査対象を撮像した異常画像の一例である。検査対象の異常には、異物ＦＭの付着のほか、例えば、検査対象の汚れ、表面の凹凸、部材の欠損などの種々の異常が含まれる。図４の例では、撮像画像ＣＰには、検査対象である製品ＰＰの全体像が含まれているが、製品ＰＰの全体像には限定されず、製品ＰＰの任意の位置のみが撮像されていてもよい。取得部１１１は、取得した撮像画像ＣＰを、復元画像生成部１１３と、差分画像生成部１１５とに出力する。

【0027】

ステップＳ２０では、復元画像生成部１１３は、図４に示す撮像画像ＣＰを取得部１１１から取得すると、学習済みの第一学習モデルによって、復元画像ＲＳを生成する。図５は、復元画像生成部１１３によって生成された復元画像ＲＳの一例を示す説明図である。上述したように、復元画像生成部１１３が有する第一学習モデルは、製品画像ＰＰの正常画像を用いた学習が完了されている。そのため、図５に示すように、復元画像ＲＳは、正常画像に近い画像として復元され、異物画像ＦＭは復元されない。したがって、復元画像ＲＳに含まれる復元製品画像ＰＲＳは、異物画像ＦＭを有していない状態で生成される。このとき、復元画像ＲＳは、撮像画像ＣＰ中における製品ＰＰの位置ずれや、撮像画像ＣＰに含まれる製品ＰＰ以外の背景のばらつきといった撮像誤差を除去されたうえで復元され得る。復元画像生成部１１３は、生成した復元画像ＲＳを差分画像生成部１１５に出力する。

【0028】

ステップＳ３０では、差分画像生成部１１５は、図４に示す撮像画像ＣＰと、図５に示す復元画像ＲＳとの差分を用いて差分画像ＤＰを生成する。図６は、差分画像生成部１１５によって生成された差分画像ＤＰの一例を示す説明図である。差分画像ＤＰは、撮像画像ＣＰの画素から復元画像ＲＳの画素を減算した差分によって形成される画像である。図６に示すように、差分画像ＤＰには、差分異常画像ＰＦＭと、差分抽出画像ＰＤＰとが含まれている。差分異常画像ＰＦＭは、図４に示す異物画像ＦＭに相当する画像である。差分抽出画像ＰＤＰは、製品画像ＰＰの画素から復元製品画像ＰＲＳの画素を減算した差分に相当する画像である。換言すれば、差分抽出画像ＰＤＰは、復元画像ＲＳの生成時に復元画像生成部１１３によって除去された撮像誤差が抽出された画像であるといえる。差分画像生成部１１５は、生成した差分画像ＤＰを、復元差分画像生成部１１７と、異常判定用画像生成部１１８とに出力する。

【0029】

ステップＳ４０では、復元差分画像生成部１１７は、差分画像生成部１１５から差分画像ＤＰを取得すると、学習済みの第二学習モデルによって、差分画像ＤＰを復元して復元差分画像ＤＲＳを生成する。図７は、復元差分画像生成部１１７によって生成された復元差分画像ＤＲＳの一例を示す説明図である。上述したように、復元差分画像生成部１１７が有する第二学習モデルは、正常な差分画像による学習が完了されている。そのため、復元差分画像生成部１１７によって生成される復元差分画像ＤＲＳは、差分画像ＤＰに含まれる撮像誤差を復元した画像に相当する。そのため、図７に示すように、復元差分画像ＤＲＳは、差分異常画像ＰＦＭを含まない差分画像ＤＰに近い画像として生成される。撮像誤差抽出画像ＰＤＲは、差分画像ＤＰのうち過検出の要因となる撮像誤差が抽出された画像、すなわち差分抽出画像ＰＤＰに相当する画像である。復元差分画像生成部１１７は、生成した復元差分画像ＤＲＳを異常判定用画像生成部１１８に出力する。

【0030】

ステップＳ５０では、異常判定用画像生成部１１８は、差分画像ＤＰと、復元差分画像ＤＲＳとの差分を用いて、異常判定用画像ＦＤＰを生成する。図８は、異常判定用画像生成部１１８によって生成された異常判定用画像ＦＤＰの一例を示す説明図である。異常判定用画像生成部１１８は、図６に示す差分画像ＤＰの画素値から、図７に示す復元差分画像ＤＲＳの画素値を減算した差分を用いて、図８に示す異常判定用画像ＦＤＰを生成する。異常判定用画像ＦＤＰは、差分画像ＤＰから撮像誤差に相当する差分抽出画像ＰＤＰが除去された画像に相当する。図８に示すように、復元差分画像ＤＲＳには、復元差分異常画像ＦＦＭが含まれている。復元差分異常画像ＦＦＭは、差分画像ＤＰの差分異常画像ＰＦＭに相当する。異常判定用画像生成部１１８は、生成した異常判定用画像ＦＤＰを、識別部１１９に出力する。

【0031】

ステップＳ６０では、識別部１１９は、異常判定用画像ＦＤＰから復元差分異常画像ＦＦＭを検出することによって、異常の有無を判定する。本実施形態では、識別部１１９は、異常判定用画像ＦＤＰに含まれる画素値の合計値が予め定められた閾値よりも大きい場合に、復元差分異常画像ＦＦＭを異常として検出し、検査対象に異常ありと判定する。識別部１１９は、異常判定用画像ＦＤＰに含まれる画素値の合計値が予め定められた閾値よりも小さい場合には、検査対象に異常なしと判定する。異常判定用画像ＦＤＰを用いた異常検出方法の他の実施形態としては、例えば、ＧＭＭ（Gaussian Mixture Model）やＤＡＧＭＭ（Deep Autoencoder Gaussian Mixture Model）を用いることができる。この場合において、識別部１１９は、差分画像ＤＰと、復元差分画像ＤＲＳとの差分に加え、さらに、復元差分画像生成部１１７による画像復元時の中間値を示す潜在変数を用いてもよい。異常判定用画像ＦＤＰにおける復元差分異常画像ＦＦＭのその他の検出方法として、例えば、異常判定用画像ＦＤＰ上の復元差分異常画像ＦＦＭに対応する特徴点や特徴量の抽出によって異常が検出されてもよい。異常判定用画像生成部１１８によって生成された異常判定用画像ＦＤＰの画像データに対する作業員の目視によって復元差分異常画像ＦＦＭが検出されてもよく、この場合には、識別部１１９は省略されてもよい。また、例えば、図６に示す差分画像ＤＰの画像データと、図７に示す復元差分画像ＤＲＳとの画像データを、作業員が目視による対比を行うことによって異常が検出されてもよく、異常判定用画像ＦＤＰを生成することなく異常が検出されてもよい。この場合には、異常判定用画像生成部１１８を省略することができる。識別部１１９による検査対象の異常の有無の判定が終了すると、識別部１１９は、表示部１４０に判定結果を出力し、本フローは終了する。

【0032】

以上、説明したように、本実施形態の異常検出装置１００によれば、撮像画像ＣＰと、正常画像を用いて学習された第一学習モデルによって生成される復元画像ＲＳとの差分によって差分画像ＤＰを生成する。生成した差分画像ＤＰと、正常な差分画像を用いて学習された第二学習モデルによって生成される復元差分画像ＤＲＳとを用いて、検査対象の異常が検出される。復元差分画像ＤＲＳは、正常な差分画像を用いた学習により、過検出の要因となる撮像誤差を復元する。この復元差分画像ＤＲＳと、差分画像ＤＰとを用いることによって、差分画像ＤＰ中に含まれる検査対象の差分異常画像ＰＦＭと、過検出の要因となる撮像誤差とを分別することができる。したがって、異常の検出時において、撮像誤差を除去したうえで異常を検出することができ、過検出を低減し、異常の検出精度を向上させることができる。

【0033】

本実施形態の異常検出装置１００によれば、識別部１１９は、差分画像ＤＰと、復元差分画像ＤＲＳとの差分を用いて生成された異常判定用画像ＦＤＰを用いて検査対象の異常を判定する。したがって、差分画像ＤＰ中に含まれる過検出の要因を除去した画像を用いて異常を検出することができる。

【0034】

本実施形態の異常検出装置１００によれば、第一学習モデルは、撮像画像ＣＰにおける検出対象の位置ずれを含む撮像誤差を除去して復元画像ＲＳを生成する。したがって、第一学習モデルを用いて生成した復元画像ＲＳと、撮像画像ＣＰとの差分画像ＤＰを用いて、撮像画像ＣＰに含まれる撮像誤差を第二学習モデルに学習させることができる。

【0035】

本実施形態の異常検出装置１００によれば、第一学習モデルは、敵対的生成ネットワーク（ＧＡＮ）を用いた学習モデルである。したがって、第一学習モデルによる復元画像ＲＳの再現性を高くすることができ、異常の検出精度を向上させることができる。

【0036】

本実施形態の異常検出装置１００によれば、第二学習モデルは、敵対的生成ネットワーク（ＧＡＮ）を用いた学習モデルである。したがって、第二学習モデルによる復元差分画像ＤＲＳの再現性を高くすることができ、異常の検出精度を向上させることができる。

【0037】

本実施形態の異常検出装置１００によれば、復元画像生成部１１３の第一学習モデルと、復元差分画像生成部１１７の第二学習モデルとは同じ種類の学習モデルであるＣＧＡＮが用いられている。そのため、第一学習モデルが生成する復元画像ＲＳにより撮像画像ＣＰから除去される撮像誤差と、第二学習モデルが生成する復元差分画像ＤＲＳにより復元される撮像誤差との傾向が一致しやすくなる。その結果、異なる種類の学習モデルを有する異常検出装置に比べ、差分画像ＤＰに含まれる撮像誤差と、復元差分画像ＤＲＳに含まれる撮像誤差との傾向が一致しやすくなる。したがって、差分画像ＤＰと、復元差分画像ＤＲＳとの差分によって撮像誤差をより正確に除去することができる。

【0038】

Ｂ．他の実施形態：
（Ｂ１）上記第１実施形態では、復元画像生成部１１３の第一学習モデル、および復元差分画像生成部１１７の第二学習モデルにはＣＧＡＮが用いられている例を示した。これに対して、復元画像生成部１１３または復元差分画像生成部１１７の少なくともいずれか一方の学習モデルには、ＣＧＡＮやＧＡＮ以外の学習モデルが用いられてよく、ＡＥ（Autoencoder）、ＶＡＥ（Variational Autoencoder）、ならびにＣＶＡＥ（Conditional Variational Autoencoder）などの種々のAutoencoderが用いてよく、ＤＣＧＡＮ（Deep Convolutional GAN）、ＳＲＧＡＮ、ＣｙｃｌｅＧＡＮ、ならびにＶＡＥＧＡＮなどの種々のＧＡＮが用いられてもよい。

【0039】

本開示は、上述の実施形態に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態の技術的特徴は、上述の課題の一部又は全部を解決するために、あるいは、上述の効果の一部又は全部を達成するために、適宜、差し替えや、組み合わせを行うことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

【符号の説明】

【0040】

１００…異常検出装置、１１０…ＣＰＵ、１１１…取得部、１１３…復元画像生成部、１１５…差分画像生成部、１１７…復元差分画像生成部、１１８…異常判定用画像生成部、１１９…識別部、１２０…送受信部、１３０…記憶部、１４０…表示部、１５０…データバス、ＣＰ…撮像画像、ＤＰ…差分画像、ＤＲＳ…復元差分画像、ＦＤＰ…異常判定用画像、ＦＦＭ…復元差分異常画像、ＦＭ…異物画像、ＬＡＮ…有線、ＰＤＰ…差分抽出画像、ＰＤＲ…撮像誤差抽出画像、ＰＦＭ…差分異常画像、ＰＰ…製品画像、ＰＲＳ…復元製品画像、ＲＳ…復元画像

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】