知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023069705
(43)【公開日】2023-05-18
(54)【発明の名称】異常検出装置、方法及びプログラム
(51)【国際特許分類】
G06T 7/00 20170101AFI20230511BHJP
【ＦＩ】
G06T7/00 350B
【審査請求】未請求
【請求項の数】10
【出願形態】ＯＬ
(21)【出願番号】P 2021181775
(22)【出願日】2021-11-08
(71)【出願人】
【識別番号】502324066
【氏名又は名称】株式会社デンソーアイティーラボラトリ
(74)【代理人】
【識別番号】100113549
【弁理士】
【氏名又は名称】鈴木 守
(74)【代理人】
【識別番号】100115808
【弁理士】
【氏名又は名称】加藤 真司
(74)【代理人】
【識別番号】230121430
【弁護士】
【氏名又は名称】安井 友章
(72)【発明者】
【氏名】八嶋 晋吾
(72)【発明者】
【氏名】安倍 満
(72)【発明者】
【氏名】吉田 悠一
【テーマコード（参考）】
5L096
【Ｆターム（参考）】
5L096BA03
5L096BA18
5L096FA62
5L096FA66
5L096JA11
5L096KA04
5L096KA15
(57)【要約】
【課題】 異常検出における異常の取り零しを防止することが可能な異常検出装置を提供する。
【解決手段】 異常検出装置は、入力画像から特徴量を抽出する特徴量抽出部１２と、特徴量から再構成画像を構成する画像再構成部１４と、特徴量と所定の中心点との距離を示す特徴量異常スコアを算出する特徴量異常スコア計算部１６と、再構成画像と入力画像との誤差を示す再構成異常スコアを算出する再構成異常スコア計算部１８と、特徴量異常スコアと再構成異常スコアとの両方を用いて異常を判定する異常判定部２２と、を有する。
【選択図】 図１
【解決手段】 異常検出装置は、入力画像から特徴量を抽出する特徴量抽出部１２と、特徴量から再構成画像を構成する画像再構成部１４と、特徴量と所定の中心点との距離を示す特徴量異常スコアを算出する特徴量異常スコア計算部１６と、再構成画像と入力画像との誤差を示す再構成異常スコアを算出する再構成異常スコア計算部１８と、特徴量異常スコアと再構成異常スコアとの両方を用いて異常を判定する異常判定部２２と、を有する。
【選択図】 図１
【特許請求の範囲】
【請求項1】
入力画像から特徴量を抽出する特徴量抽出部と、
前記特徴量から再構成画像を構成する画像再構成部と、
前記特徴量と所定の中心点との距離を示す特徴量異常スコアを算出する特徴量異常スコア計算部と、
前記再構成画像と前記入力画像との誤差を示す再構成異常スコアを算出する再構成異常スコア計算部と、
前記特徴量異常スコアと前記再構成異常スコアとの両方を用いて異常を判定する異常判定部と、
を具備する異常検出装置。
前記特徴量から再構成画像を構成する画像再構成部と、
前記特徴量と所定の中心点との距離を示す特徴量異常スコアを算出する特徴量異常スコア計算部と、
前記再構成画像と前記入力画像との誤差を示す再構成異常スコアを算出する再構成異常スコア計算部と、
前記特徴量異常スコアと前記再構成異常スコアとの両方を用いて異常を判定する異常判定部と、
を具備する異常検出装置。
【請求項2】
前記特徴量異常スコアと前記再構成異常スコアとを相補性を維持しつつ統合して統合異常スコアを算出する異常スコア統合部をさらに具備し、
前記異常判定部は、前記統合異常スコアを用いて異常を判定する、
請求項１に記載の異常検出装置。
前記異常判定部は、前記統合異常スコアを用いて異常を判定する、
請求項１に記載の異常検出装置。
【請求項3】
請求項１又は２に記載の異常検出装置の学習を行う学習装置であって、
前記特徴量異常スコアを損失関数として前記特徴量抽出部を更新する特徴量抽出更新部と、
前記再構成異常スコアを損失関数として前記特徴量抽出部及び前記画像再構成部を更新する画像再構成更新部と、
前記画像再構成部の勾配を正則化するように前記画像再構成部を更新する勾配正則化部と、
を具備する学習装置。
前記特徴量異常スコアを損失関数として前記特徴量抽出部を更新する特徴量抽出更新部と、
前記再構成異常スコアを損失関数として前記特徴量抽出部及び前記画像再構成部を更新する画像再構成更新部と、
前記画像再構成部の勾配を正則化するように前記画像再構成部を更新する勾配正則化部と、
を具備する学習装置。
【請求項4】
前記勾配正則化部は、前記画像再構成部の前記中心点におけるヤコビアンのフロベニウスノルムを勾配正則化項として算出し、当該勾配正則化項を損失関数として前記画像再構成部を更新する、
請求項３に記載の学習装置。
請求項３に記載の学習装置。
【請求項5】
前記勾配正則化部は、前記画像再構成部の各層のパラメータを当該パラメータの最大特異値を用いて正規化することにより、前記画像再構成部の各層の勾配を正則化する、
請求項３に記載の学習装置。
請求項３に記載の学習装置。
【請求項6】
請求項３乃至５のいずれか１項に記載の学習装置によって学習を行われた請求項１又は２に記載の異常検出装置。
【請求項7】
入力画像から特徴量を抽出する特徴量抽出ステップと、
前記特徴量から再構成画像を構成する画像再構成ステップと、
前記特徴量と所定の中心点との距離を示す特徴量異常スコアを算出する特徴量異常スコア計算ステップと、
前記再構成画像と前記入力画像との誤差を示す再構成異常スコアを算出する再構成異常スコア計算ステップと、
前記特徴量異常スコアと前記再構成異常スコアとの両方を用いて異常を判定する異常判定ステップと、
を具備する異常検知方法。
前記特徴量から再構成画像を構成する画像再構成ステップと、
前記特徴量と所定の中心点との距離を示す特徴量異常スコアを算出する特徴量異常スコア計算ステップと、
前記再構成画像と前記入力画像との誤差を示す再構成異常スコアを算出する再構成異常スコア計算ステップと、
前記特徴量異常スコアと前記再構成異常スコアとの両方を用いて異常を判定する異常判定ステップと、
を具備する異常検知方法。
【請求項8】
請求項１又は２に記載の異常検知装置の学習方法であって、
前記特徴量異常スコアを損失関数として前記特徴量抽出部を更新する特徴量抽出更新ステップと、
前記再構成異常スコアを損失関数として前記特徴量抽出部及び前記画像再構成部を更新する画像再構成更新ステップと、
前記画像再構成部の勾配を正則化するように前記画像再構成部を更新する勾配正則化ステップと、
を具備する学習方法。
前記特徴量異常スコアを損失関数として前記特徴量抽出部を更新する特徴量抽出更新ステップと、
前記再構成異常スコアを損失関数として前記特徴量抽出部及び前記画像再構成部を更新する画像再構成更新ステップと、
前記画像再構成部の勾配を正則化するように前記画像再構成部を更新する勾配正則化ステップと、
を具備する学習方法。
【請求項9】
コンピュータに、
入力画像から特徴量を抽出する特徴量抽出機能と、
前記特徴量から再構成画像を構成する画像再構成機能と、
前記特徴量と所定の中心点との距離を示す特徴量異常スコアを算出する特徴量異常スコア計算機能と、
前記再構成画像と前記入力画像との誤差を示す再構成異常スコアを算出する再構成異常スコア計算機能と、
前記特徴量異常スコアと前記再構成異常スコアとの両方を用いて異常を判定する異常判定機能と、
を実現させる異常検出プログラム。
入力画像から特徴量を抽出する特徴量抽出機能と、
前記特徴量から再構成画像を構成する画像再構成機能と、
前記特徴量と所定の中心点との距離を示す特徴量異常スコアを算出する特徴量異常スコア計算機能と、
前記再構成画像と前記入力画像との誤差を示す再構成異常スコアを算出する再構成異常スコア計算機能と、
前記特徴量異常スコアと前記再構成異常スコアとの両方を用いて異常を判定する異常判定機能と、
を実現させる異常検出プログラム。
【請求項10】
請求項１又は２に記載の異常検出装置の学習を行うための学習プログラムであって、
コンピュータに、
前記特徴量異常スコアを損失関数として前記特徴量抽出部を更新する特徴量抽出更新機能と、
前記再構成異常スコアを損失関数として前記特徴量抽出部及び前記画像再構成部を更新する画像再構成更新機能と、
前記画像再構成部の勾配を正則化するように前記画像再構成部を更新する勾配正則化機能と、
を実現させる学習プログラム。
コンピュータに、
前記特徴量異常スコアを損失関数として前記特徴量抽出部を更新する特徴量抽出更新機能と、
前記再構成異常スコアを損失関数として前記特徴量抽出部及び前記画像再構成部を更新する画像再構成更新機能と、
前記画像再構成部の勾配を正則化するように前記画像再構成部を更新する勾配正則化機能と、
を実現させる学習プログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、物体の画像の外観検査により物体の異常を検出する異常検出装置、方法及びプログラムに関する。
【背景技術】
【0002】
従来、物体の画像の外観検査により、物体の異常を検出することが行われている。このような異常検出の手法として、オートエンコーダ（Autoencoder）、ワンクラス・クラスフィケーション（One-class Classification）等が用いられている。
【0003】
オートエンコーダでは、入力画像から特徴量を抽出し、当該特徴量から入力画像を再現した再構成画像を再構成して、入力画像と再構成画像との誤差に基づいて、異常を検出している（例えば、特許文献１参照）。
【0004】
ワンクラス・クラスフィケーションでは、入力画像から特徴量を抽出し、当該特徴量と学習時の正常な入力画像から抽出された特徴量の中心点との距離に基づいて、異常を検出している（例えば、非特許文献１参照）。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特許第６５９９２９４号明細書
【非特許文献】
【0006】
【非特許文献1】Ruff, L., Vandermeulen, R., Goernitz, N., Deecke, L., Siddiqui, S.A., Binder, A., Muller, E., Kloft, M., “Deep One-Class Classification”, Proceedings of the 35th International Conference on Machine Learning (2018)
【発明の概要】
【発明が解決しようとする課題】
【0007】
従来のワンクラス・クラスフィケーション、オートエンコーダ等の異常検出の手法では、物体に異常があるにもかかわらずこれを検出できない異常の取り零しが発生するおそれがある。
【0008】
本発明は上記課題に鑑みてなされたものであり、その目的は、異常検出における異常の取り零しを防止することが可能な異常検出装置、方法及びプログラムを提供することにある。
【課題を解決するための手段】
【0009】
本発明の第１実施態様は、入力画像から特徴量を抽出する特徴量抽出部と、前記特徴量から再構成画像を構成する画像再構成部と、前記特徴量と所定の中心点との距離を示す特徴量異常スコアを算出する特徴量異常スコア計算部と、前記再構成画像と前記入力画像との誤差を示す再構成異常スコアを算出する再構成異常スコア計算部と、前記特徴量異常スコアと前記再構成異常スコアとの両方を用いて異常を判定する異常判定部と、を具備する異常検出装置である。
【0010】
本実施態様では、特徴量異常スコアと再構成異常スコアとは、取り零し得る異常について互いに相補的な性質を有するところ、特徴量異常スコアと再構成異常スコアとの両方を用いて異常を判定しているため、異常検出における異常の取り零しを防止することが可能となっている。
【0011】
本発明の第２実施態様は、第１実施態様の異常検出装置の学習を行う学習装置であって、前記特徴量異常スコアを損失関数として前記特徴量抽出部を更新する特徴量抽出更新部と、前記再構成異常スコアを損失関数として前記特徴量抽出部及び前記画像再構成部を更新する画像再構成更新部と、前記画像再構成部の勾配を正則化するように前記画像再構成部を更新する勾配正則化部と、を具備する学習装置である。
【0012】
本実施態様では、異常検出装置の学習において、画像再構成部の勾配を正則化するように学習を行っているため、学習済みの異常検出装置において、異常検出における特徴量異常スコアと再構成異常スコアとの相補性を促進することができ、異常検出における異常の取り零しをさらに確実に防止することが可能となっている。
【0013】
本発明の第３実施態様は、入力画像から特徴量を抽出する特徴量抽出ステップと、前記特徴量から再構成画像を構成する画像再構成ステップと、前記特徴量と所定の中心点との距離を示す特徴量異常スコアを算出する特徴量異常スコア計算ステップと、前記再構成画像と前記入力画像との誤差を示す再構成異常スコアを算出する再構成異常スコア計算ステップと、前記特徴量異常スコアと前記再構成異常スコアとの両方を用いて異常を判定する異常判定ステップと、を具備する異常検知方法である。
本実施態様では、第１実施態様と同様の作用効果を奏する。
本実施態様では、第１実施態様と同様の作用効果を奏する。
【0014】
本発明の第４実施態様は、第１実施態様の異常検知装置の学習方法であって、前記特徴量異常スコアを損失関数として前記特徴量抽出部を更新する特徴量抽出更新ステップと、前記再構成異常スコアを損失関数として前記特徴量抽出部及び前記画像再構成部を更新する画像再構成更新ステップと、前記画像再構成部の勾配を正則化するように前記画像再構成部を更新する勾配正則化ステップと、を具備する学習方法である。
本実施態様では、第２実施態様と同様の作用効果を奏する。
本実施態様では、第２実施態様と同様の作用効果を奏する。
【0015】
本発明の第５実施態様は、コンピュータに、入力画像から特徴量を抽出する特徴量抽出機能と、前記特徴量から再構成画像を構成する画像再構成機能と、前記特徴量と所定の中心点との距離を示す特徴量異常スコアを算出する特徴量異常スコア計算機能と、前記再構成画像と前記入力画像との誤差を示す再構成異常スコアを算出する再構成異常スコア計算機能と、前記特徴量異常スコアと前記再構成異常スコアとの両方を用いて異常を判定する異常判定機能と、を実現させる異常検出プログラムである。
本実施態様では、第１実施態様と同様の作用効果を奏する。
本実施態様では、第１実施態様と同様の作用効果を奏する。
【0016】
本発明の第６実施態様は、第１実施態様の異常検出装置の学習を行うための学習プログラムであって、コンピュータに、前記特徴量異常スコアを損失関数として前記特徴量抽出部を更新する特徴量抽出更新機能と、前記再構成異常スコアを損失関数として前記特徴量抽出部及び前記画像再構成部を更新する画像再構成更新機能と、前記画像再構成部の勾配を正則化するように前記画像再構成部を更新する勾配正則化機能と、を実現させる学習プログラムである。
本実施態様では、第２実施態様と同様の作用効果を奏する。
本実施態様では、第２実施態様と同様の作用効果を奏する。
【発明の効果】
【0017】
本発明では、異常検出における異常の取り零しを防止することが可能となっている。
【図面の簡単な説明】
【0018】
【図1】本発明の一実施形態の異常検出装置を示すブロック図。
【図2】本発明の一実施形態の学習装置を示すブロック図。
【図3】本発明の一実施形態の異常検出方法を示すフロー図。
【図4】本発明の一実施形態の学習方法を示すフロー図。
【図5】本発明の一実施形態の入力画像を示す模式図。
【発明を実施するための形態】
【0019】
以下、本発明の一実施形態の概要について説明する。
物体の画像の外観検査により、物体の異常を検出する異常検出については、従来多種多様な異常検出の手法が用いられている。本願の発明者は、このような多種多様な異常検出の手法の内、オートエンコーダ（Autoencoder）とワンクラス・クラスフィケーション（One-class Classification）とは、取り零し得る異常について相補的な性質があることを初めて発見し、本実施形態に想到したものである。本実施形態の異常検出については、オートエンコーダとワンクラス・クラスフィケーションとを組み合わせ、これらの相補性を利用することにより、異常の取り零しを防止することを可能としたものである。さらに、本実施形態の異常検出については、オートエンコーダとワンクラス・クラスフィケーションとを組み合わせるのに加えて、学習時において、オートエンコーダの画像再構成部分の勾配を正則化するように学習を行うことで、学習済みの異常検出装置において、異常検出時における相補性を促進し、異常の取り零しをさらに確実に防止することを可能としたものである。
物体の画像の外観検査により、物体の異常を検出する異常検出については、従来多種多様な異常検出の手法が用いられている。本願の発明者は、このような多種多様な異常検出の手法の内、オートエンコーダ（Autoencoder）とワンクラス・クラスフィケーション（One-class Classification）とは、取り零し得る異常について相補的な性質があることを初めて発見し、本実施形態に想到したものである。本実施形態の異常検出については、オートエンコーダとワンクラス・クラスフィケーションとを組み合わせ、これらの相補性を利用することにより、異常の取り零しを防止することを可能としたものである。さらに、本実施形態の異常検出については、オートエンコーダとワンクラス・クラスフィケーションとを組み合わせるのに加えて、学習時において、オートエンコーダの画像再構成部分の勾配を正則化するように学習を行うことで、学習済みの異常検出装置において、異常検出時における相補性を促進し、異常の取り零しをさらに確実に防止することを可能としたものである。
【0020】
【0021】
異常検出装置では、特徴量抽出部１２は、次式（１）に示されるように、入力画像Xから特徴量としての特徴ベクトルZを抽出する。ここで、φは特徴量抽出部１２のパラメータを示す。
特徴量抽出部１２は、畳み込みニューラルネットワーク、多層パーセプトロン等によって形成されている。特徴量抽出部１２として、所定の学習データセットを用いて事前学習を行った初期ネットワークを用いるようにしてもよい。
【数1】
【0022】
画像再構成部１４は、次式（２）に示されるように、特徴量抽出部１２によって入力画像Xから抽出された特徴ベクトルZから、入力画像Xを再現した再構成画像X^を再構成する。ここで、ψは画像再構成部１４のパラメータを示す。
画像再構成部１４は、畳み込みニューラルネットワーク、多層パーセプトロン等によって形成されている。
【数2】
【0023】
特徴量異常スコア計算部１６は、特徴量異常スコアL1を算出する。特徴量異常スコアL1は、特徴ベクトル空間における、入力画像Xから特徴量抽出部１２によって抽出された特徴ベクトルZと、所定の中心点としての中心ベクトルCとの距離を示す。特徴量異常スコアL1としては、次式（３）に示されるように、特徴ベクトルZと中心ベクトルCとの任意のノルム等が用いられ、例えばＬ２ノルムが用いられる。
また、所定の中心ベクトルＣとしては、（ア）初期ネットワークの学習時において入力画像から抽出された特徴ベクトルの平均値、（イ）異常検知装置の学習時において入力画像から抽出された特徴ベクトルの指数移動平均値等が用いられる。
【数3】
【0024】
異常検知装置の学習時には、特徴量異常スコアL1を損失関数とし、正常な入力画像Xから抽出される特徴ベクトルZが中心ベクトルCに近づくように、特徴量抽出部１２のパラメータφの更新が行われる。このため、異常検知装置による異常検知時に、異常な入力画像Xが入力された場合には、特徴量異常スコアL1が大きくなることが期待される。
【0025】
再構成異常スコア計算部１８は、再構成異常スコアL2を算出する。再構成異常スコアL2は、画像空間における、特徴ベクトルZから画像再構成部１４によって再構成された再構成画像X^と、元の入力画像Xとの誤差を示す。再構成異常スコアL2としては、次式（４）に示されるように、再構成画像X^と入力画像Xとの任意の誤差関数distが用いられる。
誤差関数distとしては、Ｌ２ノルム等を用いてもよいし、ＳＳＩＭ（structural similarity）のような画像に特有の指標を用いるようにしてもよい。
【数4】
【0026】
異常検知装置の学習時には、再構成異常スコアL2を損失関数とし、正常な入力画像Xから構成される再構成画像X^が元の入力画像Xに近似するように、特徴量抽出部１２及び画像再構成部１４のパラメータφ及びψの更新が行われる。このため、異常検知装置による異常検知時に、異常な入力画像Xが入力された場合には、再構成異常スコアL2が大きくなることが期待される。
【0027】
異常スコア統合部２０は、統合異常スコアLを算出する。統合異常スコアLは、特徴量異常スコア計算部１６によって算出された特徴量異常スコアL1と、再構成異常スコア計算部１８によって算出された再構成異常スコアL2とを統合したものである。
【0028】
ここで、特徴量異常スコアL1と再構成異常スコアL2とは、取り零し得る異常について相補的な性質を有している。即ち、（ｉ）異常な入力画像Xが入力されたにもかかわらず、特徴量異常スコアL1が小さくなっている場合には、特徴ベクトル空間において、特徴ベクトルZは中心ベクトルCに近くなっているため、画像空間において、当該特徴ベクトルZから再構成された再構成画像X^は、正常な入力画像に近似したものとなるはずであり、元の異常な入力画像Xとの誤差は大きなものとなるから、再構成画像X^と入力画像Xとの誤差を示す再構成異常スコアL2は、大きなものとなる。一方、（ｉｉ）異常な入力画像Xが入力されたにもかかわらず、再構成異常スコアL2が小さくなっている場合には、画像空間において、再構成画像X^と元の異常な入力画像Xとの誤差は小さくなっており、特徴ベクトル空間において、異常な入力画像Xに近似した再構成画像X^を再構成した特徴ベクトルZは、中心ベクトルCから遠くなっているはずであるから、特徴ベクトルZと中心ベクトルCとの距離を示す特徴量異常スコアL1は、大きなものとなる。
【0029】
異常スコア統合部２０は、特徴量異常スコアL1と再構成異常スコアL2とを相補性を維持しつつ統合して、統合異常スコアLを算出する。統合異常スコアLとしては、次式（５）に示されるように、特徴量異常スコアL1と再構成異常スコアL2とを重み付けして合算したもの等が用いられる。
ここで、λ1及びλ2は、夫々、特徴量異常スコアL1及び再構成異常スコアL2の重みを示す。重みλ1及びλ2については、任意に設定可能であり、（ア）異常検出装置の学習時に用いた正常な入力画像Xの特徴量異常スコアL1、再構成異常スコアL2の平均値の逆数、（イ）検証画像が用意できる場合には、正常な検証画像の特徴量異常スコアL1、再構成異常スコアL2の平均値の逆数等が用いられる。
【数5】
【0030】
異常判定部２２は、互いに相補性を有する特徴量異常スコアL1と再構成異常スコアL2との両方を用いて、入力画像Xの異常を判定する。本実施形態では、異常判定部２２は、異常スコア統合部２０によって算出された統合異常スコアLを用いて、入力画像Xの異常を判定する。例えば、異常判定部２２は、統合異常スコアLが所定の閾値以上の場合に、入力画像Xに異常があると判定する。
【0031】
図２を参照し、本実施形態の学習装置について説明する。
本実施形態の学習装置については、本実施形態の異常検出装置の学習を行うものであり、正常な入力画像Xを用いて学習を行う。
本実施形態の学習装置については、本実施形態の異常検出装置の学習を行うものであり、正常な入力画像Xを用いて学習を行う。
【0032】
学習装置では、特徴量抽出更新部３２は、特徴量異常スコア計算部１６によって算出された特徴量異常スコアL1を損失関数として、特徴量抽出部１２のパラメータφを更新する。ここで、特徴量異常スコアL1は、特徴ベクトル空間における特徴ベクトルZと中心ベクトルCとの距離を示すものであり、正常な入力画像Xから抽出される特徴ベクトルZが中心ベクトルCに近づくように、特徴量抽出部１２のパラメータφの更新が行われることになる。このため、異常検知装置による異常検知時に、異常な入力画像Xが入力された場合には、特徴量異常スコアL1が大きくなることが期待される。
【0033】
画像再構成更新部３４は、再構成異常スコア計算部１８によって算出された再構成異常スコアL2を損失関数として、特徴量抽出部１２及び画像再構成部１４のパラメータφ及びψを更新する。ここで、再構成異常スコアL2は、画像空間における再構成画像X^と元の入力画像Xとの誤差を示すものであり、正常な入力画像Xから構成される再構成画像X^が元の入力画像Xに近似するように、特徴量抽出部１２及び画像再構成部１４のパラメータφ及びψの更新が行われることになる。このため、異常検知装置による異常検知時に、異常な入力画像Xが入力された場合には、再構成異常スコアL2が大きくなることが期待される。
【0034】
勾配正則化部３６は、画像再構成部１４の勾配を正則化するように、画像再構成部１４のパラメータψを更新する。
ここで、特徴量異常スコアL1と再構成異常スコアL2とは、上述したとおり、取り零し得る異常について相補的な性質を有している。特徴量異常スコアL1と再構成異常スコアL2との相補性が発揮されるためには、画像再構成部１４の勾配が一定程度には正則化され、画像再構成部１４が関数として一定程度には滑らかである必要がある。そして、画像再構成部１４の勾配の正則化が促進され、画像再構成部１４が関数として滑らかになるほど、特徴量異常スコアL1と再構成異常スコアL2との相補性が促進される。換言すれば、特徴ベクトル空間における特徴ベクトルZの変化に対して、特徴ベクトルZから再構成される再構成画像X^が、画像空間において無関係に変化する又は極度に大きく変化する場合には、上述した特徴量異常スコアL1と再構成異常スコアL2との相補性（ｉ）（ｉｉ）は成立しなくなる。一方で、特徴ベクトル空間における特徴ベクトルZの変化に対して、特徴ベクトルZから再構成される再構成画像X^の画像空間における変化が近似しているほど、上述した特徴量異常スコアL1と再構成異常スコアL2との相補性（ｉ）（ｉｉ）が促進されることになる。
ここで、特徴量異常スコアL1と再構成異常スコアL2とは、上述したとおり、取り零し得る異常について相補的な性質を有している。特徴量異常スコアL1と再構成異常スコアL2との相補性が発揮されるためには、画像再構成部１４の勾配が一定程度には正則化され、画像再構成部１４が関数として一定程度には滑らかである必要がある。そして、画像再構成部１４の勾配の正則化が促進され、画像再構成部１４が関数として滑らかになるほど、特徴量異常スコアL1と再構成異常スコアL2との相補性が促進される。換言すれば、特徴ベクトル空間における特徴ベクトルZの変化に対して、特徴ベクトルZから再構成される再構成画像X^が、画像空間において無関係に変化する又は極度に大きく変化する場合には、上述した特徴量異常スコアL1と再構成異常スコアL2との相補性（ｉ）（ｉｉ）は成立しなくなる。一方で、特徴ベクトル空間における特徴ベクトルZの変化に対して、特徴ベクトルZから再構成される再構成画像X^の画像空間における変化が近似しているほど、上述した特徴量異常スコアL1と再構成異常スコアL2との相補性（ｉ）（ｉｉ）が促進されることになる。
【0035】
本実施形態では、勾配正則化部３６は、画像再構成部１４の勾配の正則化を促進する勾配正則化項L3を損失関数として、画像再構成部１４のパラメータψを更新することにより、画像再構成部１４の勾配を正則化する。勾配正則化項L3としては、次式（６）で示されるように、画像再構成部１４の中心ベクトルCにおけるヤコビアンのフロベニウスノルム等が用いられる。
画像再構成部１４の中心ベクトルCにおけるヤコビアンのフロベニウスノルムについては、入力画像のサイズが比較的小さい場合には、上式（６）を用いて直接計算するようにしてもよく、入力画像のサイズが比較的大きく、直接計算することが困難である場合には、次式（７）に示されるように、ランダム射影による近似を用いてもよい。
【数6】
【数7】
【0036】
本実施形態の一変形例の勾配正則化部３６は、スペクトル正規化を用いて、画像再構成部１４の勾配を正則化する。即ち、次式（８）に示されるように、画像再構成部１４の各層のパラメータωを、近似的に算出した最大特異値σ（ω）により正規化することで、画像再構成部１４の各層の勾配を正則化する。
なお、スペクトル正規化については、下記の文献等に開示されている。
Miyato, T., and Kataoka, T. and Koyama, M. and Yoshida, Y., “Spectral Normalization for Generative Adversarial Networks”, Proceedings of the 6th International Conference on Learning Representations (2018)
【数8】
Miyato, T., and Kataoka, T. and Koyama, M. and Yoshida, Y., “Spectral Normalization for Generative Adversarial Networks”, Proceedings of the 6th International Conference on Learning Representations (2018)
【0037】
また、勾配正則化部３６に加えて、画像再構成部１４のモデル自体を単純化することで、画像再構成部１４の勾配を正則化し、画像再構成部１４を関数として滑らかにするようにしてもよい。画像再構成部１４のモデル自体の単純化としては、画像再構成部１４のモデルを構成する層の積層数を少なくする等が用いられる。
【0038】
【0039】
特徴ベクトル抽出ステップＳ１２
特徴ベクトル抽出ステップＳ１２では、特徴量抽出部１２によって、入力画像Xから特徴ベクトルZを抽出する。
特徴ベクトル抽出ステップＳ１２では、特徴量抽出部１２によって、入力画像Xから特徴ベクトルZを抽出する。
【0040】
画像再構成ステップＳ１４
画像再構成ステップＳ１４では、画像再構成部１４によって、特徴量抽出ステップＳ１６において入力画像Xから抽出された特徴ベクトルZから、入力画像Xを再現した再構成画像X^を再構成する。
画像再構成ステップＳ１４では、画像再構成部１４によって、特徴量抽出ステップＳ１６において入力画像Xから抽出された特徴ベクトルZから、入力画像Xを再現した再構成画像X^を再構成する。
【0041】
特徴量異常スコア計算ステップＳ１６
特徴量異常スコア計算ステップＳ１６では、特徴量異常スコア計算部１６によって、特徴量異常スコアL1を算出する。特徴量異常スコアL1は、特徴ベクトル空間における、特徴ベクトル抽出ステップＳ１２において入力画像Xから抽出された特徴ベクトルZと、所定の中心ベクトルCとの距離を示す。
特徴量異常スコア計算ステップＳ１６では、特徴量異常スコア計算部１６によって、特徴量異常スコアL1を算出する。特徴量異常スコアL1は、特徴ベクトル空間における、特徴ベクトル抽出ステップＳ１２において入力画像Xから抽出された特徴ベクトルZと、所定の中心ベクトルCとの距離を示す。
【0042】
再構成異常スコア計算ステップＳ１８
再構成異常スコア計算ステップＳ１８では、再構成異常スコア計算部１８によって、再構成異常スコアL2を算出する。再構成異常スコアL2は、画像空間における、画像再構成ステップＳ１４において再構成された再構成画像Z^と、元の入力画像Xとの誤差を示す。
再構成異常スコア計算ステップＳ１８では、再構成異常スコア計算部１８によって、再構成異常スコアL2を算出する。再構成異常スコアL2は、画像空間における、画像再構成ステップＳ１４において再構成された再構成画像Z^と、元の入力画像Xとの誤差を示す。
【0043】
異常スコア統合ステップＳ２０
異常スコア統合ステップＳ２０では、異常スコア統合部２０によって、特徴量異常スコア計算ステップＳ１６において算出された特徴量異常スコアL1と、再構成異常スコア計算ステップＳ１８において算出された再構成異常スコアL2と、を相補性を維持するように統合して、統合異常スコアLを算出する。
異常スコア統合ステップＳ２０では、異常スコア統合部２０によって、特徴量異常スコア計算ステップＳ１６において算出された特徴量異常スコアL1と、再構成異常スコア計算ステップＳ１８において算出された再構成異常スコアL2と、を相補性を維持するように統合して、統合異常スコアLを算出する。
【0044】
異常判定ステップＳ２２
異常判定ステップＳ２２では、異常判定部２２によって、互いに相補性を有する特徴量異常スコアL1と再構成異常スコアL2との両方を用いて、入力画像Xの異常を判定する。本実施形態では、異常スコア統合ステップＳ２０において算出された統合異常スコアLを用いて、入力画像Xの異常を判定する。
異常判定ステップＳ２２では、異常判定部２２によって、互いに相補性を有する特徴量異常スコアL1と再構成異常スコアL2との両方を用いて、入力画像Xの異常を判定する。本実施形態では、異常スコア統合ステップＳ２０において算出された統合異常スコアLを用いて、入力画像Xの異常を判定する。
【0045】
図４を参照して、本実施形態の学習方法について説明する。
本実施形態の学習方法については、本実施形態の異常検出装置の学習方法であり、正常な入力画像を用いて学習を行う。
図４に示されるように、本実施形態の学習方法については、以下の各ステップを有する。
本実施形態の学習方法については、本実施形態の異常検出装置の学習方法であり、正常な入力画像を用いて学習を行う。
図４に示されるように、本実施形態の学習方法については、以下の各ステップを有する。
【0046】
特徴ベクトル抽出ステップＳ３２、画像再構成ステップＳ３４、特徴量異常スコア計算ステップＳ３６、再構成異常スコア計算ステップＳ３８
異常検出方法の特徴ベクトル抽出ステップＳ１２、画像再構成ステップＳ１４、特徴量異常スコア計算ステップＳ１６、再構成異常スコア計算ステップＳ１８と同様である。
異常検出方法の特徴ベクトル抽出ステップＳ１２、画像再構成ステップＳ１４、特徴量異常スコア計算ステップＳ１６、再構成異常スコア計算ステップＳ１８と同様である。
【0047】
勾配正則化項算出ステップＳ４０
勾配正則化項算出ステップＳ４０では、勾配正則化部３６によって、画像再構成部１４の勾配の正則化を促進する勾配正則化項L3を算出する。
勾配正則化項算出ステップＳ４０では、勾配正則化部３６によって、画像再構成部１４の勾配の正則化を促進する勾配正則化項L3を算出する。
【0048】
特徴量抽出更新ステップＳ４２
特徴量抽出更新ステップＳ４２では、特徴量抽出更新部３２によって、特徴量異常スコア計算ステップＳ３６において算出された特徴量異常スコアL1を損失関数として、特徴量抽出部１２のパラメータφを更新する。
特徴量抽出更新ステップＳ４２では、特徴量抽出更新部３２によって、特徴量異常スコア計算ステップＳ３６において算出された特徴量異常スコアL1を損失関数として、特徴量抽出部１２のパラメータφを更新する。
【0049】
画像再構成更新ステップＳ４４
画像再構成更新ステップＳ４４では、画像再構成更新部３４によって、再構成異常スコア計算ステップＳ３８において算出された再構成異常スコアL2を損失関数として、特徴量抽出部１２及び画像再構成部１４のパラメータφ及びψを更新する。
画像再構成更新ステップＳ４４では、画像再構成更新部３４によって、再構成異常スコア計算ステップＳ３８において算出された再構成異常スコアL2を損失関数として、特徴量抽出部１２及び画像再構成部１４のパラメータφ及びψを更新する。
【0050】
勾配正則化ステップＳ４６
勾配正則化ステップＳ４６では、勾配正則化部３６によって、画像再構成部１４の勾配を正則化するように、画像再構成部１４を更新する。本実施形態では、勾配正則化項算出ステップＳ４０において算出された勾配正則化項L3を損失関数として、画像再構成部１４のパラメータψを更新する。
勾配正則化ステップＳ４６では、勾配正則化部３６によって、画像再構成部１４の勾配を正則化するように、画像再構成部１４を更新する。本実施形態では、勾配正則化項算出ステップＳ４０において算出された勾配正則化項L3を損失関数として、画像再構成部１４のパラメータψを更新する。
【0051】
パラメータ最適化ステップＳ４８
パラメータ最適化ステップＳ４８では、特徴量抽出部１２及び画像再構成部１４のパラメータφ及びψが最適化されるまで、上記各ステップを繰り返す。
パラメータ最適化ステップＳ４８では、特徴量抽出部１２及び画像再構成部１４のパラメータφ及びψが最適化されるまで、上記各ステップを繰り返す。
【0052】
本実施形態の一変形例では、画像再構成部１４の勾配の正則化にスペクトル正規化を用いる。即ち、上記勾配正則化項算出ステップに代えて、画像再構成部１４の各層のパラメータの最大特異値σ(ω)を近似的に算出する最大特異値算出ステップを実行する。そして、勾配正則化ステップでは、画像再構成部１４の各層のパラメータωを、最大特異値算出ステップにおいて算出した最大特異値σ(ω)により正規化することで、画像再構成部１４の各層の勾配を正則化する。
【0053】
図５を参照し、本実施形態の異常検出における相補性について説明する。
図５（ａ）は正常な入力画像を示し、図５（ｂ）は局所的な異常のある入力画像を示し、図５（ｃ）は大域的な異常のある入力画像を示す。図５（ｂ）に示されるような局所的な異常のある入力画像については、入力画像を圧縮した特徴ベクトルに基づく特徴量異常スコアによって異常を検出することは困難であるが、再構成異常スコアによる検出は容易である。一方、図５（ｃ）に示されるような大域的な異常のある入力画像については、局所的には正常であるため、再構成異常スコアによって異常を検出することは困難であるが、特徴量異常スコアによる検出は容易である。本実施形態では、特徴量異常スコアと再構成異常スコアとの両方を用いて異常検出を行うため、局所的な異常のある入力画像と大域的な異常のある入力画像との両方について、いずれも取り零すことなく異常の検出が可能である。
図５（ａ）は正常な入力画像を示し、図５（ｂ）は局所的な異常のある入力画像を示し、図５（ｃ）は大域的な異常のある入力画像を示す。図５（ｂ）に示されるような局所的な異常のある入力画像については、入力画像を圧縮した特徴ベクトルに基づく特徴量異常スコアによって異常を検出することは困難であるが、再構成異常スコアによる検出は容易である。一方、図５（ｃ）に示されるような大域的な異常のある入力画像については、局所的には正常であるため、再構成異常スコアによって異常を検出することは困難であるが、特徴量異常スコアによる検出は容易である。本実施形態では、特徴量異常スコアと再構成異常スコアとの両方を用いて異常検出を行うため、局所的な異常のある入力画像と大域的な異常のある入力画像との両方について、いずれも取り零すことなく異常の検出が可能である。
【0054】
本実施形態の異常検出装置及び方法、並びに、学習装置及び方法については、次の効果を奏する。
【0055】
本実施形態の異常検出装置及び方法では、入力画像Xから抽出された特徴ベクトルZと所定の中心点Cとの特徴ベクトル空間における距離を示す特徴量異常スコアL1と、特徴ベクトルZから再構成された再構成画像X^と元の入力画像Xとの画像空間における誤差を示す再構成異常スコアL2とは、取り零し得る異常について相補的な性質を有するところ、特徴量異常スコアL1と再構成異常スコアL2とを相補性を維持しつつ統合した統合異常スコアLを用いて異常を判定しているため、異常検出における異常の取り零しを防止することが可能となっている。
【0056】
本実施形態の学習装置及び方法では、異常検出装置の学習において、画像再構成部１４の勾配を正則化するように学習を行っているため、学習済みの異常検出装置において、異常検出における特徴量異常スコアL1と再構成異常スコアL2との相補性を促進することができ、異常検出における異常の取り零しをさらに確実に防止することが可能となっている。
【0057】
以上の各実施形態では、異常検出装置及び方法、並びに、学習装置及び方法について述べたが、コンピュータに当該装置の各機能を実現させるプログラム、又は、コンピュータに当該方法の各ステップを実行させるプログラムについても、本発明の範囲に含まれる。また、学習装置、方法及びプログラムによって学習された異常検出装置についても、本発明の範囲に含まれる。
【符号の説明】
【0058】
１２…特徴量抽出部 １４…画像再構成部 １６…特徴量異常スコア計算部
１８…再構成異常スコア計算部 ２０…異常スコア統合部 ２２…異常判定部
３２…特徴量抽出更新部 ３４…画像再構成更新部 ３６…勾配正則化部
１８…再構成異常スコア計算部 ２０…異常スコア統合部 ２２…異常判定部
３２…特徴量抽出更新部 ３４…画像再構成更新部 ３６…勾配正則化部
【図1】
【図2】
【図3】
【図4】
【図5】
