特許 7557867 異常検知システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-09-19

(45)【発行日】2024-09-30

(54)【発明の名称】異常検知システムおよび方法

(51)【国際特許分類】

   G06T 7/00 20170101AFI20240920BHJP

【ＦＩ】

G06T7/00 350C

【請求項の数】 5

(21)【出願番号】P 2020197113

(22)【出願日】2020-11-27

(65)【公開番号】P2022085429

(43)【公開日】2022-06-08

【審査請求日】2023-11-14

(73)【特許権者】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(74)【代理人】

【識別番号】110000659

【氏名又は名称】弁理士法人広江アソシエイツ特許事務所

(72)【発明者】

【氏名】加藤 邦人

(72)【発明者】

【氏名】後藤 圭亮

(72)【発明者】

【氏名】相澤 宏旭

(72)【発明者】

【氏名】濱谷 章史

(72)【発明者】

【氏名】原田 佳周

(72)【発明者】

【氏名】西川 英雄

(72)【発明者】

【氏名】野口 稔

(72)【発明者】

【氏名】鹿志村 和典

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０２０－７１８７５（ＪＰ，Ａ）

【文献】斉藤 僚汰、前田 圭介、小川 貴弘、長谷山 美紀，地下鉄トンネルの変状画像を用いた技術者の注視領域推定のための初期検討，映像情報メディア学会技術報告 Vol.43 No.5，日本，（一社）映像情報メディア学会 ，2019年02月12日，第43巻，p.281-285

【文献】工藤 郁弥、横山 想一郎、山下 倫央、川村 秀憲，畳み込みオートエンコーダを用いた工業製品の不良検査，電子情報通信学会技術研究報告 Vol.118 No.492，日本，一般社団法人電子情報通信学会，2019年03月04日，第118巻，p.31-36

【文献】Junting Pan et al.，SalGAN: Visual Saliency Prediction with Generative Adversarial Networks，Computer Vision and Image Understanding，米国，2018年07月01日，p.1-9，https://arxiv.org/abs/1701.01081

【文献】Lukas Ruff et al.，Deep One-Class Classification，International Conference on Machine Learning，米国，2018年07月15日，https://proceedings.mlr.press/v80/ruff18a.html

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

複数の検知対象を含む広視野画像から、前記検知対象の異常を検知する異常検知方法であって、
視線検出手段を用いて検査員に前記広視野画像を観察させる工程と、
前記視線検出手段によって、前記広視野画像上の注視位置及び視線滞在時間のデータを含む視線マップを出力する工程と、
前記広視野画像の画像データと、前記視線マップとを、視線マップ推定用ニューラルネットワークに学習させる工程と、
異常検知用ニューラルネットワークを用いて異常を検知する工程と、
前記視線マップ推定用ニューラルネットワークのエンコーダによりエンコードされた特徴を、前記異常検知用ニューラルネットワークのエンコーダによりエンコードされた特徴に合わせる特徴併合工程と、を備えていることを特徴とする異常検知方法。

【請求項2】

前記特徴併合工程が、前記視線マップ推定用ニューラルネットワークのエンコーダによりエンコードされた特徴を、前記異常検知用ニューラルネットワークのエンコーダによりエンコードされた特徴に、連結、加算、乗算、積算のいずれかの処理によって特徴を合わせる工程であることを特徴とする請求項１記載の異常検知方法。

【請求項3】

前記異常検知用ニューラルネットワークが、異常を検知するための学習にＤｅｅｐ ＳＶＤＤを用いており、
Ｄｅｅｐ ＳＶＤＤが、画像特徴を抽出するエンコーダ

と、
抽出された前記画像特徴を前記視線マップ推定用ニューラルネットワークでエンコードされた特徴とあわせるための、

から構成されており、
Ｄｅｅｐ ＳＶＤＤにおける学習は、

の出力で得られる正常データの特徴ベクトル

を予め定めた超球の中心ベクトル

に近づけるよう行われ、
ここで、
cは初期化したネットワークに全正常データを入力して得られた特徴ベクトルの平均で算出され、
dは任意の潜在次元数であり、
誤差関数は下記式（１）、

【数1】

で定義され、
学習に用いられる全体の誤差は、下記式（２）、

【数2】

で定義され、
ここで、

は、視線マップの誤差であることを特徴とする請求項１または２に記載の異常検知方法。

【請求項4】

前記広視野画像の画像を再構成するための学習に、オートエンコーダを用いており、
オートエンコーダは、エンコーダ

と、
デコーダ

とを備えており、
出力画像

は下記式（３）で得られ、

【数3】

学習に下記式（４）、

【数4】

に示す二乗誤差を利用し、
全体の誤差は以下の式（５）、

【数5】

で定義されることを特徴とする請求項３に記載の異常検知方法。

【請求項5】

複数の検知対象を含む広視野画像から、前記検知対象の異常を検知する異常検知システムであって、
前記広視野画像を観察する検査員が用いることで、前記広視野画像上の注視位置及び視線滞在時間のデータを含む視線マップを出力する視線検出手段と、
エンコーダとデコーダを備えており、前記広視野画像の画像データと前記視線マップとを学習して視線マップを推定する視線マップ推定用ニューラルネットワークと、
エンコーダとデコーダを備えており、広視野画像を入力して異常を検知する異常検知用ニューラルネットワークと、
を備えており、
前記異常検知用ニューラルネットワークは、前記エンコーダによりエンコードした特徴を、前記視線マップ推定用ニューラルネットワークの前記エンコーダによりエンコードされた特徴と合わせることを特徴とする異常検知システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、コンピュータに画像を入力して機械学習を行い、画像に撮像されている検知対象の異常を検知する技術に関する。特に、検知対象と検知対象以外の多数の物品とが撮像されている広視野画像を用いて、検知対象の異常検知を精度よく行うことのできる異常検知システムと異常検知方法に関する。

【背景技術】

【0002】

近年、コンピュータに大量のデータを入力して学習させ、データに含まれる特徴を抽出し、さらに、抽出した特徴を用いて様々な識別を行う機械学習が実用化されている。コンピュータに学習させる方法としては、様々なモデルが使用される。一例を挙げると、敵対的生成ネットワーク（Ｇｅｎｅｒａｔｉｖｅ Ａｄｖｅｒｓａｒｉａｌ Ｎｅｔｗｏｒｋｓ， ＧＡＮ）と呼ばれる、生成器（ジェネレータ、ｇｅｎｅｒａｔｏｒ）と識別器（ディスクリミネータ、ｄｉｓｃｒｉｍｉｎａｔｏｒ）を備えた教師なし学習モデルが知られている。敵対的生成ネットワークでは、生成器が生成した偽のデータを識別器が真偽を判定する敵対的学習によって、判定の精度を高めている。

【0003】

また、オートエンコーダ（自己符号化器、ａｕｔｏ ｅｎｃｏｄｅｒ）と呼ばれる特徴量の抽出モデルが知られている。オートエンコーダとは、特徴を圧縮し、少ない次元に一旦落とし込みをするエンコーダと、エンコーダで圧縮した特徴を復元して出力するデコーダとを備えたニューラルネットワークであり、入力と出力とが同じになるように学習を繰り返すことで特徴量を抽出するモデルである。

【0004】

機械学習による識別は、画像を用いた異常品の検知に適用することができる。たとえば、オートエンコーダを用いる方法では、まず正常品の画像データだけをオートエンコーダで学習する学習工程を行う。次に判定工程で、検知対象の画像データをオートエンコーダに入力することで、オートエンコーダが画像データを生成する。そして、実際の検知対象の画像データと、生成器が生成した画像データの比較を行う。学習工程において、生成器は、異常品の画像データの生成を学習していていないため、実際の検知対象の画像データに異常があった場合、生成器によって生成された画像データとの間に差が生じる。この差異を検知することで、異常品を検知することができる。

【0005】

異なる検知方法として、特徴が二つの変数で表されるサポートベクターマシン（Ｏｎｅ－Ｃｌａｓｓ ＳＶＭ）を深層学習ベースに拡張したディープサポートベクターデータディスクリプション（Ｄｅｅｐ Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｄａｔａ Ｄｅｓｃｒｉｐｔｉｏｎ、以下においては、Ｄｅｅｐ ＳＶＤＤとも称する）が知られている。これは、正常データが中心に位置し、且つ異常データが中心から一定距離離れる位置に来るように、多次元空間である超球内へのマッピングを行う学習方法である。

【0006】

非特許文献１及び２は、敵対的生成ネットワークに関する技術を開示している。非特許文献３は、サポートベクターマシンに関する技術を開示している。非特許文献４は、Ｄｅｅｐ ＳＶＤＤに関する技術を開示している。

【先行技術文献】

【非特許文献】

【0007】

【文献】Ｉａｎ Ｇｏｏｄｆｅｌｌｏｗ、Ｊｅａｎ Ｐｏｕｇｅｔ－Ａｂａｄｉｅ、Ｍｅｈｄｉ Ｍｉｒｚａ、 Ｂｉｎｇ Ｘｕ、Ｄａｖｉｄ Ｗａｒｄｅ－Ｆａｒｌｅｙ、Ｓｈｅｒｊｉｌ Ｏｚａｉｒ、Ａａｒｏｎ Ｃｏｕｒｖｉｌｌｅ、Ｙｏｓｈｕａ Ｂｅｎｇｉｏ「Ｇｅｎｅｒａｔｉｖｅ ａｄｖｅｒｓａｒｉａｌ ｎｅｔｓ」ＮＩＰＳ，２６７２－２６８０ページ，２０１４年

【文献】Ｓａｍｅｔ Ａｋｃａｙ、Ａｍｉｒ Ａｔａｐｏｕｒ－Ａｂａｒｇｈｏｕｅｉ、Ｔｏｂｙ Ｐ Ｂｒｅｃｋｏｎ「Ｇａｎｏｍａｌｙ：Ｓｅｍｉ－ｓｕｐｅｒｖｉｓｅｄ ａｎｏｍａｌｙ ｄｅｔｅｃｔｉｏｎ ｖｉａ ａｄｖｅｒｓａｒｉａｌ ｔｒａｉｎｉｎｇ」ＡＣＣＶ，Ｓｐｒｉｎｇｅｒ，１６１－１６９ページ，２０１８年

【文献】Ｄａｖｉｄ Ｍ．Ｊ．Ｔａｘ、Ｒｏｂｅｒｔ Ｐ．Ｗ．Ｄｕｉｎ「Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｄａｔａ Ｄｅｓｃｒｉｐｔｉｏｎ」Ｍａｃｈｉｎｅ ｌｅａｒｎｉｎｇ、Ｖｏｌ．５４，Ｎｏ．１，４５－６６ページ，２００４年

【文献】Ｌｕｋａｓ Ｒｕｆｆ、Ｒｏｂｅｒｔ Ｖａｎｄｅｒｍｅｕｌｅｎ、Ｎｉｃｏ Ｇｏｅｒｎｉｔｚ、Ｌｕｃａｓ Ｄｅｅｃｋｅ、Ｓｈｏａｉｂ Ａｈｍｅｄ Ｓｉｄｄｉｑｕｉ、 Ａｌｅｘａｎｄｅｒ Ｂｉｎｄｅｒ、Ｅｍｍａｎｕｅｌ Ｍ¨ｕｌｌｅｒ、Ｍａｒｉｕｓ Ｋｌｏｆｔ「Ｄｅｅｐ ｏｎｅ－ｃｌａｓｓ ｃｌａｓｓｉｆｉｃａｔｉｏｎ」ＩＣＭＬ，４３９３－４４０２ページ，２０１８年

【発明の概要】

【発明が解決しようとする課題】

【0008】

敵対的生成ネットワーク、オートエンコーダ、Ｄｅｅｐ ＳＶＤＤといった機械学習のモデルでは、大量の異常データが得られない場合であっても、大量の正常データのみ、若しくは大量の正常データと少量の異常データを用いた学習によって、異常を検知することができる。しかしながら、検知に用いる画像が広視野画像であって、かつ検知対象外の複数の物体が画像内に存在すると、異常検知が困難となる場合がある。特に、検知対象ではない領域が広く、そこに種々な形状と色彩の物体や空間が撮像されている画像データでは、異常箇所が目立ちにくく、しかも正常領域のばらつきが大きくなるため、正常な検知対象の特徴を学習することが困難となる。従来、広視野画像を用いて異常検知を行うためには、検査領域を切り出すか、パッチ処理を行う必要があった。しかし、検査領域を自動的に検出することが困難な画像の場合、このような前処理にも手間がかかり、精度の高い解析が困難となっていた。

【0009】

本発明は、上記課題を解決するためになされたものであって、広視野画像から、精度高く異常箇所を特定し、異常検知を行うことにある

【課題を解決するための手段】

【0010】

本発明は、複数の検知対象を含む広視野画像から、検知対象の異常を検知する異常検知方法に関する。本発明の異常検知方法は、視線検出手段を用いて検査員に広視野画像を観察させる工程と、視線検出手段によって、広視野画像上の注視位置及び視線滞在時間のデータを含む視線マップを出力する工程と、広視野画像の画像データと、視線マップとを、視線マップ推定用ニューラルネットワークに学習させる工程と、異常検知用ニューラルネットワークを用いて異常を検知する工程と、視線マップ推定用ニューラルネットワークのエンコーダによりエンコードされた特徴を、異常検知用ニューラルネットワークのエンコーダによりエンコードされた特徴に合わせる特徴併合工程と、を備えていることを特徴とする。

【0011】

検査員は、予め異常が発生しやすい場所を学習しており、異常が起こりやすい箇所を注視し、正常と予想される領域を無視して異常検知を行う傾向がある。そこで、検査員の注視領域のデータを入力することにより、入力画像の異常箇所の抽出精度を向上させることができる。

【0012】

本発明の異常検知方法は、特徴併合工程が、視線マップ推定用ニューラルネットワークのエンコーダによりエンコードされた特徴を、異常検知用ニューラルネットワークのエンコーダによりエンコードされた特徴に、連結、加算、乗算、積算のいずれかの処理によって特徴を合わせる工程であることが好ましい。

【0013】

本発明の異常検知方法は、異常検知用ニューラルネットワークが、異常を検知するための学習にＤｅｅｐ ＳＶＤＤを用いており、Ｄｅｅｐ ＳＶＤＤが、画像特徴を抽出するエンコーダ

と、
抽出された前記画像特徴を前記視線マップ推定用ニューラルネットワークでエンコードされた特徴とあわせるための、

から構成されており、
Ｄｅｅｐ ＳＶＤＤにおける学習は、

の出力で得られる正常データの特徴ベクトル

を予め定めた超球の中心ベクトル

に近づけるよう行われ、
ここで、
cは初期化したネットワークに全正常データを入力して得られた特徴ベクトルの平均で算出され、
dは任意の潜在次元数であり、
誤差関数は下記式（１）、

【数1】

で定義され、
学習に用いられる全体の誤差は、下記式（２）、

【数2】

で定義され、
ここで、

は、視線マップの誤差であることが好ましい。

【0014】

本発明の異常検知方法は、画像を再構成するための学習に、オートエンコーダを用いており、
オートエンコーダは、エンコーダ

と、
デコーダ

とを備えており、
出力画像

は下記式（３）で得られ、

【数3】

学習には下記式（４）、

【数4】

に示す二乗誤差を利用し、
全体の誤差は以下の式（５）、

【数5】

で定義されることが好ましい。

【0015】

本発明はまた、複数の検知対象を含む広視野画像から、検知対象の異常を検知する異常検知システムを提供する。本発明の異常検知システムは、広視野画像を観察する検査員が用いることで、広視野画像上の注視位置及び視線滞在時間のデータを含む視線マップを出力する視線検出手段と、エンコーダとデコーダを備えており、広視野画像の画像データと視線マップとを学習して視線マップを推定する視線マップ推定用ニューラルネットワークと、エンコーダとデコーダを備えており、広視野画像を入力して異常を検知する異常検知用ニューラルネットワークと、を備えている。本発明の異常検知システムの異常検知用ニューラルネットワークは、エンコーダによりエンコードした特徴を、視線マップ推定用ニューラルネットワークのエンコーダによりエンコードされた特徴と合わせることを特徴とする。

【発明の効果】

【0016】

本発明の異常検知方法および異常検知システムは、検査員の視線情報を異常検知のモデルに組み込むことで、異常検知の精度を向上させることができる。

【0017】

本発明の異常検知方法および異常検知システムは、広視野で複雑な構造を持つ画像を異常検知する場合、画像全体からの正常特徴獲得が困難な場合、画像中の一部分のみに異常が存在する場合、または複数の目立たない箇所に異常が存在する場合に、特に有用である。

【図面の簡単な説明】

【0018】

【図1】図１は、本発明の異常検知システムの概念的な構成を示すブロック図である。

【図2】図２は、本発明の異常検知方法を実行する第一実施形態のニューラルネットワークの概念的な構成を示すブロック図である。

【図3】図３（ａ）は、異常検知の学習のためにニューラルネットワークに入力した正常な広視野画像の一例を示した図面代用写真であり、図３（ｂ）は、図３（ａ）の広視野画像を検査員が検査したときに、視線検知出段によって得られた画像の一例を示した図面代用写真である。

【図4】図４（ａ）は、図３の広視野画像の一部を拡大した図面代用写真であり、図４（ｂ）は、図４（ａ）に対応する位置が異常となっている一例を示す図面代用写真である。

【図5】図５は、本発明の異常検知方法を実行する第二実施形態のニューラルネットワークの概念的な構成を示すブロック図である。

【図6】図６（ａ）は実施例で用いた正常な状態の画像を示す図面代用写真の一例であり、図６（ｂ）は実施例で用いた異常な状態の画像を示す図面代用写真であり、

【図7】図７は、実施例で用いた画像に対応する視線マップである。

【図8】図８は、実施例における、正常な状態の画像を用いた学習において、入力した視線マップとニューラルネットワークによる識別結果との対比を示す図である。

【図9】図９は、実施例における、異常な状態の画像を用いた学習において、入力した視線マップとニューラルネットワークによる識別結果との対比を示す図である。

【発明を実施するための形態】

【0019】

本発明の実施形態にて用いられる広視野画像とは、複数の検知対象となる箇所が撮像されており、さらに、検知対象以外の物品が撮像されている画像のことを指す。ここで、検知対象とは、個々の物品それ自体であってもよく、また物品の中に含まれる一又は複数の部分であってもよく、さらに、複数の物品の組み合わせであってもよい。多くの場合、広視野画像には、検知対象よりも、検知対象以外の物品がより広い領域を占めて撮像されている。

【0020】

本実施形態において、ニューラルネットワークとは、人の神経細胞であるニューロンのシステムを模した数理モデルであり、これを一又は複数のコンピュータ上でネットワーク構造として具現化している。ニューラルネットワークは、入力層と、中間層と、出力層とがそれぞれ多数の層によって構成されており、それぞれの層に、複数のノードが存在する。入力層から入力されたデータは、中間層（隠れ層とも言う）を経て出力層に伝えられる間の各階層のノードの間で、線形変換と非線形変換とが繰り返されて、特徴量の抽出と識別が行われる。本実施形態においては、入力画像から特徴量の抽出を行うために、畳み込みニューラルネットワークを用いている。これは、画像から局所的な特徴抽出を行うために、局所的なノードのみ結合した畳み込み層を多層に重ね、最終的な特徴空間への写像時にのみ全ノードを結合した全結合層を持つ。畳み込みニューラルネットワークを用いることで、隣接するピクセルが重要な意味を持つという画像の特性に合った特徴抽出を行うことができる。

【0021】

本実施形態において用いられる視線検出手段とは、検査員が広視野画像を観察するときに使用することのできる装置である。視線検出手段は、検査員が注視した広視野画像上の注視位置と視線滞在時間のデータを含む情報を、視線マップとして、広視野画像と関連付けて出力する。視線検出手段には、検査員が装着する形式や、画像と検査員との間に配置する形式のアイトラッカーを適用することができる。

【0022】

以下、本発明の異常品検知方法と異常検知システムの実施形態を、図面を参照しつつさらに詳細に述べる。図１は、本発明の異常検知システムの概念的な構成を示すブロック図である。

【0023】

異常検知システムは、視線検出手段１と、視線マップ推定用ニューラルネットワーク２と、異常検知用ニューラルネットワーク３とを備えている。視線検出手段１は、検査員に広視野画像を観察させる時に検査員が使用することで、広視野画像上の注視位置及び視線滞在時間のデータを含む視線マップを出力する。視線マップ推定用ニューラルネットワーク２は、エンコーダとデコーダを備えており、視線検出手段１から、視線マップを用いた学習を行うことで、視線マップを推定し、出力する。異常検知用ニューラルネットワーク３は、エンコーダとデコーダを備えており、広視野画像を入力して異常を検知するための学習を行う。

【0024】

異常検知方法の概要は、以下の通りである。最初に、視線検出手段１を用いて検査員に広視野画像を観察させる。そして、視線検出手段１に、広視野画像上の注視位置及び視線滞在時間のデータを含む視線マップを出力させる。視線マップ推定用ニューラルネットワーク２は、広視野画像の画像データと、視線マップとを教師データとして視線推定を教師あり学習によって学習する工程を備えており、未知のデータに対しても注視すべき領域を推定して、視線マップとして出力することができる。

【0025】

一方、異常検知用ニューラルネットワーク３は、広視野画像を入力し、異常検知モデルによって異常を検知するための学習を行う。ここで、異常検知用ニューラルネットワーク３は、エンコーダによりエンコードした特徴を、視線マップ推定用ニューラルネットワーク２のエンコーダによりエンコードされた特徴と合わせる特徴併合工程を備えている。異常検知用ニューラルネットワーク３は、特徴併合工程によって、視線情報を考慮した異常検知ができるために、異常と正常を識別する検知の精度が向上する。

【0026】

視線マップ推定用ニューラルネットワーク２のエンコーダによりエンコードされた特徴を、異常検知用ニューラルネットワーク３のエンコーダによりエンコードされた特徴に合わせる特徴併合工程では、視線マップ推定用ニューラルネットワーク２によってエンコードされた特徴を、異常検知用ニューラルネットワーク３のエンコーダによりエンコードされた特徴に、連結、加算、乗算、積算のいずれかの処理によって特徴を合わせることが好ましい。

【0027】

［第一実施形態］
第一実施形態として、図２に、異常検知用ニューラルネットワーク３にＤｅｅｐ ＳＶＤＤを適用した形態を示す。図３（ａ）に、異常検知の学習のために使用した広視野画像の例を示す。図３（ａ）に撮像されている装置は、全てが正常な状態となっている。図４（ａ）は、図３の広視野画像の一部を拡大した図面代用写真であり、図４（ｂ）は、図４（ａ）に対応する位置が異常となっている例を示す図面代用写真である。図４（ｂ）では、コネクタが外れており、これが異常となっている。

【0028】

視線検出手段１による視線データの作成方法を以下に示す。視線検知には、アイトラッカーを用いた。検査員に、広視野画像を示し、アイトラッカーから単位時間毎に注視している座標を取得した。複数の検査員の注視点座標を加算し、ガウシアンフィルタによって平滑化をかけることで最終的な視線マップを得た。図３（ｂ）に、図３（ａ）の広視野画像を検査員が検査したときに、視線検出手段１によって得られた視線マップの一例を示す。

【0029】

広視野画像と視線マップを入力された視線マップ推定用ニューラルネットワーク２は、異常検知する際の人間の視線を予測する。視線マップ推定用ニューラルネットワーク２の役割は人間の視線情報から、異常が発生しうる領域を注視するような特徴マップを学習することである。視線マップ推定用ニューラルネットワーク２によって得られた視線特徴は、Ｄｅｅｐ ＳＶＤＤの中間特徴より抽出された異常検知のための特徴と、チャンネル方向に併合される。Ｄｅｅｐ ＳＶＤＤによって結合された特徴は最終的な特徴空間で超球の中心へ近づくようマッピングされ、画像特徴と視線特徴を組み合わせた正常特徴を獲得することができる。これにより図３（ａ）に示したような広視野で複雑な画像であっても異常が発生しやすい箇所を特定して異常検知を行うことができる。

【0030】

視線マップ推定用ニューラルネットワーク２の学習について説明する。視線マップ推定用ニューラルネットワーク２は、エンコーダ

と、デコーダ

を持っており、人間の視線マップ

を用いた教師あり学習により、下記の式のように入力画像

から予測した視線マップ

が、人間の視線マップ

を出力するよう学習される。ここで、式において、ＷとＨは、それぞれ画像の横幅と縦幅を表す。
視線マップ推定用ニューラルネットワーク２の誤差は下記の式のようなKL Divergenceで定義される。ここで、
ε
は、微小な定数とする。

【0031】

本実施形態の異常検知用ニューラルネットワーク３は、異常を検知するための学習にＤｅｅｐ ＳＶＤＤを用いている。
Ｄｅｅｐ ＳＶＤＤは、画像特徴を抽出するエンコーダ

と、
抽出された前記画像特徴を前記視線マップ推定用ニューラルネットワークでエンコードされた特徴とあわせるための、

から構成されており、
Ｄｅｅｐ ＳＶＤＤにおける学習は、

の出力で得られる正常データの特徴ベクトル

を予め定めた超球の中心ベクトル

に近づけるよう行われる。
ここで、
cは初期化したネットワークに全正常データを入力して得られた特徴ベクトルの平均で算出され、
dは任意の潜在次元数である。
誤差関数は下記式（１）、

【数1】

で定義される。
学習に用いられる全体の誤差は、下記式（２）、

【数2】

で定義され、
ここで、

は、視線マップの誤差であることを特徴とする。本実施形態では、異常検知モデルにＤｅｅｐ ＳＶＤＤを用いているため、正常データのみからの異常検知が可能である。

【0032】

［第二実施形態］
第二実施形態の異常検知システムを、図５に示す。第二実施形態の異常検知システムは、第一実施形態の異常検知システムに加えて、さらに、広視野画像の画像を再構成するための学習モデルとしてのオートエンコーダを備えている。オートエンコーダは、エンコーダ

と、
デコーダ

とを備えており、
出力画像

は下記式（３）で得られる。

【数3】

学習には、下記式（４）、

【数4】

に示す二乗誤差を利用する。
全体の誤差は以下の式（５）、

【数5】

で定義される。

【0033】

本実施形態では、オートエンコーダのエンコーダで圧縮された中間特徴から抽出された異常検知のための特徴が、視線マップ推定用ニューラルネットワーク２によって得られた視線特徴と、チャンネル方向に併合される。本実施形態のように、オートエンコーダを追加した場合、広視野画像の特徴が、一旦圧縮されてから再構成できるように学習される。このため、異常検知モデルの中間特徴において、より画像全体の正常特徴が保持される。

【実施例】

【0034】

広視野画像として、図６に示すような工業製品の画像を用い、第一実施形態および第二実施形態の異常検知方法と異常検知システムの性能評価を行った。学習用に図６（ａ）に示すような正常データである画像５６７枚を用いた。テスト用に正常データである画像９９枚と、図６（ｂ）に示すような異常データである画像２０枚を用いた。それぞれの解像度は、１４４×１２８である。また、視線検出手段として、アイトラッカーＴｏｂｉｉ Ｘ２－６０を用い、視線マップを作成した。図７に、視線検出手段によって得られた視線マップの例を示す。

【0035】

また、比較のために、視線マップ推定用ニューラルネットワーク２を用いない異常検知方法である、オートエンコーダ、Ｄｅｅｐ ＳＶＤＤ，およびこれらの組み合わせを用いて、同一の性能評価を行った。

【0036】

最適化手法にはＡｄａｍを用いた。学習率は１０^－４、バッチサイズは６４とした。

【0037】

図８，９に、実施形態１の異常検知システムを用いたときの、視線マップ推定用ニューラルネットワーク２が推定した視線マップの推定結果と、視線検出手段によって得られた視線マップとの対比画像を示す。また、正常データと異常データの視線推定精度を、ピアソンの相関係数と、ＫＬ Ｄｉｖｅｒｇｅｎｃｅで表した結果を表１に示す。ＣＣは値が１により近いときに、推定結果と視線検出手段によって得られた結果との一致度が高いことを示す。ＫＬＤは、値が０により近いとき、推定結果と教師の視線マップの一致度が高いことを示している。

【0038】

【表1】

【0039】

学習に用いる教師データが正常データであるため、異常データの推定結果は、正常データの推定結果よりも相対的な一致度が低くなる。しかし、異常が発生する可能性の高い領域を注目する効果が得られるため、異常検知に寄与することは明らかである。

【0040】

表２に、実施例の異常品判定方法と比較例の異常品判定方法の判定精度の比較結果を示す。

【表2】

【0041】

表１で示したＡＵＲＯＣの値は、真陽性率（Ｔｒｕｅ Ｐｏａｉｔｉｖｅ Ｒａｔｅ、異常品を正しく異常品と判定する確率）と偽陽性率（Ｆａｌｓｅ Ｐｏｓｉｔｉｖｅ Ｒａｔｅ、正常品を異常品と判定する確率）との関係を示したＲＯＣ曲線（受信者動作特性曲線）の下側の面積を示した値である。ＲＯＣ曲線は、点（０， １）に近いほど分離性能が高く、ＡＵＲＯＣの値が大きいほど、検知精度が高いことを示している。比較例の検知方法と比較して、本発明の実施形態の異常検知方法の値は有意に高く、本発明の異常検知方法と異常検知システムが、精度高く異常品を検知できることが、確認された。

【産業上の利用可能性】

【0042】

本発明の異常検知方法及び異常検知システムは、産業、医療、セキュリティ分野など多岐にわたり応用が可能である。特に、産業分野では、傷や汚れなど欠陥品を検出することで安全性と品質を保証する外観検査、品質管理に適用が可能である。

【符号の説明】

【0043】

１ 視線検出手段
２ 視線マップ推定用ニューラルネットワーク
３ 異常検知用ニューラルネットワーク

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】