特許 7435806 異常判定プログラム、装置、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-02-13

(45)【発行日】2024-02-21

(54)【発明の名称】異常判定プログラム、装置、及び方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240214BHJP

【ＦＩ】

G06N20/00 160

【請求項の数】 7

(21)【出願番号】P 2022550312

(86)(22)【出願日】2020-09-18

(86)【国際出願番号】 JP2020035559

(87)【国際公開番号】W WO2022059194

(87)【国際公開日】2022-03-24

【審査請求日】2023-01-13

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】鎌田 裕一

(72)【発明者】

【氏名】中川 章

(72)【発明者】

【氏名】加藤 圭造

【審査官】北川 純次

(56)【参考文献】

【文献】特開２０１９－２０７５６１（ＪＰ，Ａ）

【文献】中国特許出願公開第１１２７０２３２９（ＣＮ，Ａ）

【文献】GUO Dongyan et al.，Improving auto-encoder novelty detection using channel attention and entropy minimization，arXiv [online]，v1，2020年07月03日，pp. 1-6，[検索日 2023.12.20], インターネット：<URL: https://arxiv.org/pdf/2007.01682v1.pdf>

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｎ ３／０２－ ３／１０

Ｇ０６Ｆ １８／００－１８／４０

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

入力データを符号化して得られる前記入力データよりも次元数の低い低次元特徴量を、前記入力データにおける注目データの周辺領域のデータに基づく条件を用いた条件付き確率分布として推定し、
前記低次元特徴量にノイズを加算した特徴量を復号化した出力データと、前記入力データとの誤差と、前記条件付き確率分布のエントロピーとを含むコストに基づいて、前記符号化、前記推定、及び前記復号化の各々のパラメータを調整する、
ことを含む処理をコンピュータに実行させ、
調整後の前記パラメータを用いた、判定対象の入力データが正常であるか否かの判定において、前記判定対象の入力データの周辺領域のデータに基づく前記条件付き確率分布に基づいて、前記判定が実行される
ことを特徴とする異常判定プログラム。

【請求項2】

前記条件として、前記低次元特徴量を符号化して得られる前記低次元特徴量よりも次元数の低い上位低次元特徴量を復号化した上位出力データをさらに用いて、前記条件付き確率分布を推定する請求項１に記載の異常判定プログラム。

【請求項3】

前記コストを、前記誤差と前記エントロピーとの重み付き和とし、前記コストを最小化するように、前記パラメータを調整する請求項１又は請求項２に記載の異常判定プログラム。

【請求項4】

前記ノイズを、各次元が互いに無相関、かつ平均が０である分布に基づく乱数とする請求項１～請求項３のいずれか１項に記載の異常判定プログラム。

【請求項5】

前記判定対象の入力データについての前記条件付き確率分布のエントロピーと、前記条件付き確率分布の推定時に得られるパラメータを用いて算出されるエントロピーの期待値との差分を判定基準と比較することにより、前記判定が実行される請求項１～請求項４のいずれか１項に記載の異常判定プログラム。

【請求項6】

入力データを符号化して得られる前記入力データよりも次元数の低い低次元特徴量を、前記入力データにおける注目データの周辺領域のデータに基づく条件を用いた条件付き確率分布として推定する推定部と、
前記低次元特徴量にノイズを加算した特徴量を復号化した出力データと、前記入力データとの誤差と、前記条件付き確率分布のエントロピーとを含むコストに基づいて、前記符号化、前記推定、及び前記復号化の各々のパラメータを調整する調整部と、を含み、
調整後の前記パラメータを用いた、判定対象の入力データが正常であるか否かの判定において、前記判定対象の入力データの周辺領域のデータに基づく前記条件付き確率分布に基づいて、前記判定が実行される
ことを特徴とする異常判定装置。

【請求項7】

入力データを符号化して得られる前記入力データよりも次元数の低い低次元特徴量を、前記入力データにおける注目データの周辺領域のデータに基づく条件を用いた条件付き確率分布として推定し、
前記低次元特徴量にノイズを加算した特徴量を復号化した出力データと、前記入力データとの誤差と、前記条件付き確率分布のエントロピーとを含むコストに基づいて、前記符号化、前記推定、及び前記復号化の各々のパラメータを調整する、
ことを含む処理をコンピュータが実行し、
調整後の前記パラメータを用いた、判定対象の入力データが正常であるか否かの判定において、前記判定対象の入力データの周辺領域のデータに基づく前記条件付き確率分布に基づいて、前記判定が実行される
ことを特徴とする異常判定方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、異常判定プログラム、異常判定装置、及び異常判定方法に関する。

【背景技術】

【0002】

従来、教師なし学習により正常データの確率分布を学習し、判定対象のデータの確率分布と正常データの確率分布とを比較することにより、異常データを検出することが行われている。

【0003】

例えば、潜在変数のエントロピーを最小化するＲａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ理論を応用したオートエンコーダにより、実空間での確率分布に比例した潜在空間の確率分布を獲得し、潜在空間の確率分布の相違から異常データを検出する技術が提案されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space（ICML2020）

【文献】“Fujitsu Develops World's First AI technology to Accurately Capture Characteristics of High-Dimensional Data Without Labeled Training Data”、［online］、２０２０年７月１３日、［２０２０年９月１３日検索］、インターネット＜URL：https://www.fujitsu.com/global/about/resources/news/press-releases/2020/0713-01.html＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、入力データの特徴が様々な確率分布となる場合、異常データが示す確率分布の特徴が、様々な確率分布の差に埋もれてしまい、精度良く正常又は異常を判定することができない場合がある、という問題がある。

【0006】

一つの側面として、開示の技術は、入力データの特徴が様々な確率分布となる場合でも、精度良く正常又は異常を判定することを目的とする。

【課題を解決するための手段】

【0007】

一つの態様として、開示の技術は、入力データを符号化して得られる前記入力データよりも次元数の低い低次元特徴量を、前記入力データにおける注目データの周辺領域のデータに基づく条件を用いた条件付き確率分布として推定する。また、開示の技術は、前記低次元特徴量にノイズを加算した特徴量を復号化した出力データと、前記入力データとの誤差と、前記条件付き確率分布のエントロピーとを含むコストに基づいて、前記符号化、前記推定、及び前記復号化の各々のパラメータを調整する。そして、開示の技術は、調整後の前記パラメータを用いた、判定対象の入力データが正常であるか否かの判定において、前記判定対象の入力データの周辺領域のデータに基づく前記条件付き確率分布に基づいて、前記判定が実行される。

【発明の効果】

【0008】

一つの側面として、入力データの特徴が様々な確率分布となる場合でも、精度良く正常又は異常を判定することができる、という効果を有する。

【図面の簡単な説明】

【0009】

【図1】低次元特徴量の確率分布を用いて異常判定する場合の問題点を説明するための図である。

【図2】異常判定装置の機能ブロック図である。

【図3】第１実施形態における学習時の機能について説明するための図である。

【図4】注目画素の周辺領域を説明するための図である。

【図5】注目画素の周辺領域を説明するための図である。

【図6】第１実施形態における判定時の機能について説明するための図である。

【図7】異常判定装置として機能するコンピュータの概略構成を示すブロック図である。

【図8】第１実施形態における学習処理の一例を示すフローチャートである。

【図9】第１実施形態における判定処理の一例を示すフローチャートである。

【図10】第２実施形態における学習時の機能について説明するための図である。

【図11】第２実施形態における判定時の機能について説明するための図である。

【図12】第２実施形態における学習処理の一例を示すフローチャートである。

【図13】第２実施形態における判定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。

【0011】

まず、各実施形態の詳細を説明する前に、入力データから抽出される低次元特徴を示す確率分布を用いて正常又は異常を判定する場合において、入力データの特徴が様々な確率分布となる場合における問題点について説明する。

【0012】

ここでは、入力データを人体等の臓器を撮影した医療画像とする場合を例に説明する。図１の下部に、入力データとなる医療画像の一例を概略的に示す。図１の例では、空胞が生じていない状態を正常、空胞が生じている状態を異常と判定するものとする。この場合、図１に示す「その他」の医療画像のように、空胞が生じていない医療画像から抽出される低次元特徴のエントロピーを基準として、対象の医療画像から抽出される低次元特徴のエントロピーを評価し、正常又は異常を判定する。具体的には、図１の上部に示すように、正常を示す「その他」のエントロピーと、「その他（空胞）」のエントロピーとの相違から、「その他（空胞）」の医療画像を異常であると判定することができる。

【0013】

しかし、図１の下部に示すように、医療画像には、糸球体、尿細管、血液等の組織や、背景が含まれている場合もあり、それぞれ含まれる組織や背景によって、エントロピーに高低が生じる。したがって、正常を示す「その他」のエントロピーを基準とした場合、上記のような組織等毎のエントロピーの差に、異常データのエントロピーが埋もれてしまい、精度良く正常又は異常を判定することができない。

【0014】

そこで、以下の各実施形態では、入力データから抽出される低次元特徴を示す確率分布が様々な確率分布となる場合でも、精度良く正常又は異常を判定することができるように制御する。

【0015】

＜第１実施形態＞

【0016】

第１実施形態に係る異常判定装置１０は、機能的には、図２に示すように、オートエンコーダ２０と、推定部１２と、調整部１４と、判定部１６とを含む。オートエンコーダ２０の学習時には、推定部１２及び調整部１４が機能し、オートエンコーダ２０を用いた異常の判定時には、推定部１２及び判定部１６が機能する。以下、学習時及び判定時のそれぞれについて、オートエンコーダ２０のより詳細な構成と共に、各機能部の機能について説明する。

【0017】

まず、図３を参照して、学習時に機能する機能部について 説明する。

【0018】

オートエンコーダ２０は、図３に示すように、符号化部２２と、ノイズ生成部２４と、加算部２６と、復号化部２８とを含む。

【0019】

符号化部２２は、多次元の入力データを符号化することにより、入力データよりも次元数の低い低次元特徴量である潜在変数ｙを抽出する。具体的には、符号化部２２は、パラメータθを含む符号化関数ｆ_θ（ｘ）により、入力データｘから潜在変数ｙを抽出する。例えば、符号化部２２は、符号化関数ｆ_θ（ｘ）として、ＣＮＮ（Convolutional Neural Network）のアルゴリズムを適用することができる。符号化部２２は、抽出した潜在変数ｙを加算部２６へ出力する。

【0020】

ノイズ生成部２４は、潜在変数ｙと同じ次元数で、各次元が互いに無相関、かつ平均が０、分散がσ^２であるガウス分布に基づく乱数であるノイズεを生成する。ノイズ生成部２４は、生成したノイズεを加算部２６へ出力する。

【0021】

加算部２６は、符号化部２２から入力された潜在変数ｙと、ノイズ生成部２４から入力されたノイズεとを加算した潜在変数ｙ＾（図中では「ｙ」の上に「＾（ハット）」）を生成して、復号化部２８へ出力する。

【0022】

復号化部２８は、加算部２６から入力された潜在変数ｙ＾を復号することにより、入力データｘと同じ次元数の出力データｘ＾（図中では「ｘ」の上に「＾（ハット）」）を生成する。具体的には、復号化部２８は、パラメータφを含む復号化関数ｇ_φ（ｙ＾）により、潜在変数ｙ＾から出力データｘ＾を生成する。例えば、復号化部２８は、復号化関数ｇ_φ（ｙ＾）として、ｔｒａｎｓｐｏｓｅｄ ＣＮＮのアルゴリズムを適用することができる。

【0023】

推定部１２は、符号化部２２で抽出された潜在変数ｙを取得し、潜在変数ｙを、潜在変数ｙのコンテクストの下での条件付き確率分布として推定する。本実施形態におけるコンテクストとは、注目データについての関連情報である。例えば、コンテクストは、入力データが画像データのように２次元の場合には、注目データの周辺のデータが持つ情報であり、入力データが１次元の時系列データの場合には、注目データの前後のデータが持つ情報である。

【0024】

具体的には、推定部１２は、パラメータψ２を含む抽出関数ｈ_ψ２により、潜在変数ｙからコンテクストｙ_ｃｏｎを抽出する。そして、推定部１２は、パラメータψ１を含む抽出関数ｈ_ψ１により、多次元ガウス分布で表される、コンテクストｙ_ｃｏｎの下での潜在変数ｙの条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）＝Ｎ（μ_（ｙ）， σ_（ｙ） ^２）のパラメータμ_（ｙ）及びσ_（ｙ）を推定する。抽出関数ｈ_ψ２及び推定関数ｈ_ψ１は、例えば、ｍａｓｋｅｄ ＣＮＮ等のようなＡＲ（Auto-Regressive：自己回帰）モデルを用いたアルゴリズムを適用することができる。ＡＲモデルは、その直前までのフレームから次のフレームを予測するモデルである。

【0025】

例えば、入力データを画像データとした場合において、カーネルサイズ２ｋ＋１（ｋは任意の整数）のｍａｓｋｅｄ ＣＮＮを利用する場合、推定部１２は、下記（１）式により、パラメータμ_（ｙ）及びσ_（ｙ）を推定する。

【0026】

【数1】

【0027】

例えば、ｋ＝１とした場合、推定部１２は、図４に示すように、注目画素^ｍ，ｎｙの周辺領域の画素^{ｍ－１，ｎ－１}ｙ、^{ｍ－１，ｎ}ｙ、^{ｍ－１，ｎ＋１}ｙ、及び^{ｍ，ｎ－１}ｙの情報をコンテクストとして抽出する。なお、周辺領域としては、図５に示すように、注目画素^ｍ，ｎｙの周辺領域の全てを利用してもよい。

【0028】

また、推定部１２は、推定したμ_（ｙ）及びσ_（ｙ）を用いて、条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）のエントロピーＲ＝－ｌｏｇ（Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ））を算出する。エントロピーＲの算出の別の形態として、（２）式を用いることもできる。なお、（２）式において、ｉは潜在変数ｙの持つ各次元の要素（上記画像データの例では、^ｍ，ｎｙ）を識別する変数である。

【0029】

【数2】

【0030】

調整部１４は、入力データｘと、その入力データに対応する出力データｘ＾との誤差と、推定部１２により算出されたエントロピーＲとを含む学習コストに基づいて、符号化部２２、復号化部２８、及び推定部１２の各々のパラメータθ、φ、ψ１、ψ２を調整する。例えば、調整部１４は、下記（３）式に示すような、ｘとｘ＾との誤差と、エントロピーＲとの重み付き和で表される学習コストＬ_１を最小化するように、パラメータθ、φ、ψ１、ψ２を更新しながら、入力データｘから出力データｘ＾を生成する処理を繰り返す。これにより、オートエンコーダ２０及び推定部１２のパラメータが学習される。

【0031】

【数3】

【0032】

なお、（３）式において、λは重み係数であり、Ｄはｘとｘ＾との誤差、例えば、Ｄ＝（ｘ－ｘ＾）^２である。

【0033】

次に、図６を参照して、判定時に機能する機能部について 説明する。なお、判定時における入力データは、開示の技術の「判定対象の入力データ」の一例である。

【0034】

符号化部２２は、調整部１４で調整されたパラメータθが設定された符号化関数ｆ_θ（ｘ）に基づいて入力データｘを符号化することにより、入力データｘから潜在変数ｙを抽出する。

【0035】

推定部１２は、符号化部２２で抽出された潜在変数ｙを取得し、調整部１４で調整されたパラメータψ１及びψ２が設定された抽出関数ｈ_ψ２及び推定関数ｈ_ψ１により、潜在変数ｙの条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）のパラメータμ_（ｙ）及びσ_（ｙ）を推定する。また、推定部１２は、推定したμ_（ｙ）及びσ_（ｙ）から（２）式により算出されるエントロピーＲと、推定したσ_（ｙ）から算出されるエントロピーの期待値との差分ΔＲを、下記（４）式により算出する。

【0036】

【数4】

【0037】

判定部１６は、調整後のパラメータθ、ψ１、ψ２を用いた、判定対象の入力データが正常であるか否かの判定において、条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）のエントロピーを評価する。具体的には、判定部１６は、判定対象の入力データｘについて、推定部１２により算出されたエントロピーの差分ΔＲと、予め定めた判定基準とを比較することにより、入力データｘが正常か又は異常かを判定し、判定結果を出力する。判定基準は、実験的又は経験的に決定することができる。

【0038】

異常判定装置１０は、例えば図７に示すコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力部、表示部等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。

【0039】

記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、異常判定装置１０として機能させ、後述する学習処理及び判定処理を実行するための異常判定プログラム５０が記憶される。異常判定プログラム５０は、オートエンコーダプロセス６０と、推定プロセス５２と、調整プロセス５４と、判定プロセス５６とを有する。

【0040】

ＣＰＵ４１は、異常判定プログラム５０を記憶部４３から読み出してメモリ４２に展開し、異常判定プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、オートエンコーダプロセス６０を実行することで、図２に示すオートエンコーダ２０として動作する。また、ＣＰＵ４１は、推定プロセス５２を実行することで、図２に示す推定部１２として動作する。また、ＣＰＵ４１は、調整プロセス５４を実行することで、図２に示す調整部１４として動作する。また、ＣＰＵ４１は、判定プロセス５６を実行することで、図２に示す判定部１６として動作する。これにより、異常判定プログラム５０を実行したコンピュータ４０が、異常判定装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。

【0041】

なお、異常判定プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

【0042】

次に、第１実施形態に係る異常判定装置１０の作用について説明する。オートエンコーダ２０及び推定部１２のパラメータの調整時に、異常判定装置１０に学習用の入力データｘが入力されると、異常判定装置１０において、図８に示す学習処理が実行される。また、正常又は異常の判定時に、異常判定装置１０に判定対象の入力データｘが入力されると、異常判定装置１０において、図９に示す判定処理が実行される。なお、学習処理及び判定処理は、開示の技術の異常判定方法の一例である。

【0043】

まず、図８を参照して、学習処理について詳述する。

【0044】

ステップＳ１２で、符号化部２２が、パラメータθを含む符号化関数ｆ_θ（ｘ）により、入力データｘから潜在変数ｙを抽出し、加算部２６へ出力する。

【0045】

次に、ステップＳ１４で、推定部１２が、パラメータψ２を含む抽出関数ｈ_ψ２により、潜在変数ｙから、潜在変数ｙのコンテクストｙ_ｃｏｎを抽出する。そして、推定部１２が、パラメータψ１を含む推定関数ｈ_ψ１により、コンテクストｙ_ｃｏｎの下での潜在変数ｙの条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）のパラメータμ_（ｙ）及びσ_（ｙ）を推定する。

【0046】

次に、ステップＳ１６で、推定したμ_（ｙ）及びσ_（ｙ）を用いて、（２）式により、条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）のエントロピーＲ＝－ｌｏｇ（Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ））を算出する。

【0047】

次に、ステップＳ１８で、ノイズ生成部２４が、潜在変数ｙと同じ次元数で、各次元が互いに無相関、かつ平均が０、分散がσ^２であるガウス分布に基づく乱数であるノイズεを生成し、加算部２６へ出力する。そして、加算部２６が、符号化部２２から入力された潜在変数ｙと、ノイズ生成部２４から入力されたノイズεとを加算した潜在変数ｙ＾を生成して、復号化部２８へ出力する。さらに、復号化部２８が、パラメータφを含む復号化関数ｇ_φ（ｙ＾）により、潜在変数ｙ＾を復号して、出力データｘ＾を生成する。

【0048】

次に、ステップＳ２０で、調整部１４が、入力データｘと、上記ステップＳ１８で生成された出力データｘ＾との誤差を、例えば、Ｄ＝（ｘ－ｘ＾）^２のように算出する。そして、調整部１４が、例えば（３）式に示すような、算出した誤差Ｄと、上記ステップＳ１６で推定部１２により算出されたエントロピーＲとの重み付き和で表される学習コストＬ_１を算出する。

【0049】

次に、ステップＳ２２で、調整部１４が、学習コストＬ_１が小さくなるように、符号化部２２のパラメータθ、復号化部２８のパラメータφ、及び推定部１２のパラメータψ１、ψ２を更新する。

【0050】

次に、ステップＳ２４で、調整部１４が、学習が収束したか否かを判定する。例えば、パラメータの更新の繰り返し回数が所定回数に達した場合、学習コストＬ_１の値が変化しなくなった場合等に、学習が収束したと判定することができる。学習が収束していない場合には、処理はステップＳ１２に戻り、次の入力データｘについて、ステップＳ１２～Ｓ２２の処理を繰り返す。学習が収束した場合には、学習処理は終了する。

【0051】

次に、図９を参照して、判定処理について詳述する。判定処理は、符号化部２２及び推定部１２の各々に、学習処理により調整されたパラメータθ、ψ１、ψ２がそれぞれ設定された状態で開始する。

【0052】

ステップＳ３２で、符号化部２２が、調整されたパラメータθを含む符号化関数ｆ_θ（ｘ）により、入力データｘから潜在変数ｙを抽出する。

【0053】

次に、ステップＳ３４で、推定部１２が、調整されたパラメータψ２を含む抽出関数ｈ_ψ２により、潜在変数ｙから、潜在変数ｙのコンテクストｙ_ｃｏｎを抽出する。そして、推定部１２が、調整されたパラメータψ１を含む推定関数ｈ_ψ１により、コンテクストｙ_ｃｏｎの下での潜在変数ｙの条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）のパラメータμ_（ｙ）及びσ_（ｙ）を推定する。

【0054】

次に、ステップＳ３６で、推定部１２が、推定したμ_（ｙ）及びσ_（ｙ）から（２）式により算出されるエントロピーＲと、推定したσ_（ｙ）から算出されるエントロピーの期待値との差分ΔＲを、（４）式により算出する。

【0055】

次に、ステップＳ３８で、判定部１６が、上記ステップＳ３６で推定部１２により算出されたエントロピーの差分ΔＲと、予め定めた判定基準とを比較することにより、入力データｘが正常か又は異常かを判定する。

【0056】

次に、ステップＳ４０で、判定部１６が、正常か異常かの判定結果を出力し、判定処理は終了する。

【0057】

以上説明したように、第１実施形態に係る異常判定装置は、入力データを符号化して得られる入力データよりも次元数の低い潜在変数を、入力データの大局的特徴を表すコンテクストの下での条件付き確率分布として推定する。コンテクストは、潜在変数の注目データの周辺データの情報である。また、異常判定装置は、潜在変数にノイズを加算した特徴量を復号化した出力データと、入力データとの誤差と、条件付き確率分布のエントロピーとを含むコストに基づいて、符号化、推定、及び復号化の各々のパラメータを調整する。そして、異常判定装置は、調整後のパラメータを用いた、判定対象の入力データが正常であるか否かの判定において、条件付き確率分布のエントロピーを評価する。これにより、潜在変数のコンテクストが示す大局的な特徴の下、潜在変数が示す局所的な特徴を評価して、正常又は異常を判定することができる。すなわち、潜在変数の大局的な特徴により、入力データの種類（図１の例では組織等の種類）に応じた特徴による条件下で、潜在変数の局所的な特徴を評価することができる。したがって、入力データの特徴が様々な確率分布となり、正常と異常との相違が局所的特徴にある場合でも、正常と異常との区別が困難になることを抑制し、精度良く正常又は異常を判定することができる。

【0058】

＜第２実施形態＞

【0059】

次に、第２実施形態について説明する。なお、第２実施形態に係る異常判定装置において、第１実施形態に係る異常判定装置１０と共通する部分については、詳細な説明を省略する。

【0060】

第２実施形態に係る異常判定装置２１０は、機能的には、図２に示すように、オートエンコーダ２２０と、推定部２１２と、調整部２１４と、判定部１６とを含む。オートエンコーダ２２０の学習時には、推定部２１２及び調整部２１４が機能し、オートエンコーダ２２０を用いた異常の判定時には、推定部２１２及び判定部１６が機能する。以下、学習時及び判定時のそれぞれについて、オートエンコーダ２２０のより詳細な構成と共に、各機能部の機能について説明する。

【0061】

まず、図１０を参照して、学習時に機能する機能部について 説明する。

【0062】

オートエンコーダ２２０は、図１０に示すように、下位符号化部２２１と、上位符号化部２２２と、下位ノイズ生成部２２３と、上位ノイズ生成部２２４と、下位加算部２２５と、上位加算部２２６と、下位復号化部２２７と、上位復号化部２２８とを含む。

【0063】

下位符号化部２２１は、パラメータθｙを含む符号化関数ｆ_θｙ（ｘ）により、入力データｘから下位潜在変数ｙを抽出する。下位潜在変数ｙは、入力データの局所的な特徴を表す。下位符号化部２２１は、抽出した下位潜在変数ｙを下位加算部２２５及び上位符号化部２２２へ出力する。上位符号化部２２２は、パラメータθｚを含む符号化関数ｆ_θｚ（ｙ）により、下位潜在変数ｙから、より低次元の上位潜在変数ｚを抽出する。上位潜在変数ｚは、入力データの大局的な特徴を表す。上位符号化部２２２は、抽出した下位潜在変数ｚを上位加算部２２６へ出力する。符号化関数ｆ_θｙ（ｘ）及びｆ_θｚ（ｙ）としては、ＣＮＮのアルゴリズムを適用することができる。

【0064】

下位ノイズ生成部２２３は、下位潜在変数ｙと同じ次元数のノイズε_ｙを生成し、下位加算部２２５へ出力する。上位ノイズ生成部２２４は、上位潜在変数ｚと同じ次元数のノイズε_ｚを生成し、上位加算部２２６へ出力する。ノイズε_ｙ及びε_ｚは、各次元が互いに無相関、かつ平均が０、分散がσ^２であるガウス分布に基づく乱数である。

【0065】

下位加算部２２５は、下位符号化部２２１から入力された下位潜在変数ｙと、下位ノイズ生成部２２３から入力されたノイズε_ｙとを加算した下位潜在変数ｙ＾を生成して、下位復号化部２２７へ出力する。上位加算部２２６は、上位符号化部２２２から入力された上位潜在変数ｚと、上位ノイズ生成部２２４から入力されたノイズε_ｚとを加算した上位潜在変数ｚ＾（図中では「ｚ」の上に「＾（ハット）」）を生成して、上位復号化部２２８へ出力する。

【0066】

下位復号化部２２７は、下位加算部２２５から入力された下位潜在変数ｙ＾を、パラメータφｙを含む復号化関数ｇ_φｙ（ｙ＾）により復号することにより、入力データｘと同じ次元数の下位出力データｘ＾を生成する。上位復号化部２２８は、上位加算部２２６から入力された上位潜在変数ｚ＾を、パラメータφｚを含む復号化関数ｇ_φｚ（ｚ＾）により復号することにより、下位潜在変数ｙと同じ次元数の上位出力データｙ＾’を生成する。復号化関数ｇ_φｙ（ｚ＾）及びｇ_φｚ（ｚ＾）としては、ｔｒａｎｓｐｏｓｅｄ ＣＮＮのアルゴリズムを適用することができる。

【0067】

推定部２１２は、上位符号化部２２２で抽出された上位潜在変数ｚを取得し、上位潜在変数ｚを確率分布として推定する。具体的には、推定部２１２は、パラメータψｚを含み、複数の分布が混合された確率分布のモデルにより、確率分布Ｐ_ψｚ（ｚ）を推定する。本実施形態では、確率分布のモデルが、ＧＭＭ（Gaussian mixture model）である場合について説明する。この場合、推定部２１２は、下記（５）式のパラメータπ、Σ、μを、最尤推定法等で計算することにより、確率分布Ｐ_ψｚ（ｚ）を推定する。

【0068】

【数5】

【0069】

（５）式において、ＫはＧＭＭに含まれる正規分布の数、μ_ｋはｋ番目の正規分布の平均ベクトル、Σ_ｋはｋ番目の正規分布の分散共分散行列、π_ｋはｋ番目の正規分布の重み（混合係数）であり、π_ｋの総和は１である。また、推定部２１２は、確率分布Ｐ_ψｚ（ｚ）のエントロピーＲ_ｚ＝－ｌｏｇ（Ｐ_ψｚ（ｚ））を算出する。

【0070】

また、推定部２１２は、第１実施形態における推定部１２と同様に、下位潜在変数ｙを、下位潜在変数ｙのコンテクストｙ_ｃｏｎの下での条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）として推定する。第２実施形態では、下位潜在変数ｙの注目データの周辺データの情報に加え、上位復号化部２２８から出力される上位出力データｙ＾’から抽出されるコンテクストも用いる。

【0071】

具体的には、推定部２１２は、パラメータψ２ｙを含む抽出関数ｈ_ψ２ｙにより、下位潜在変数ｙ及び上位出力データｙ＾’からコンテクストｙ_ｃｏｎを抽出する。そして、推定部２１２は、パラメータψ１ｙを含む抽出関数ｈ_ψ１ｙにより、多次元ガウス分布で表される、コンテクストｙ_ｃｏｎの下での下位潜在変数ｙの条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）のパラメータμ_（ｙ）及びσ_（ｙ）を推定する。

【0072】

例えば、入力データを画像データとした場合において、カーネルサイズ２ｋ＋１（ｋは任意の整数）のｍａｓｋｅｄ ＣＮＮを利用する場合、推定部２１２は、下記（６）式により、パラメータμ_（ｙ）及びσ_（ｙ）を推定する。

【0073】

【数6】

【0074】

また、推定部２１２は、第１実施形態における推定部１２と同様に、推定したμ_（ｙ）及びσ_（ｙ）を用いて、（２）式により、条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）のエントロピーＲ_ｙ＝－ｌｏｇ（Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ））を算出する。

【0075】

調整部２１４は、入力データｘと、その入力データに対応する出力データｘ＾との誤差と、推定部２１２により算出されたエントロピーＲ_ｚ及びＲ_ｙとを含む学習コストＬ_２を算出する。調整部２１４は、学習コストＬ_２に基づいて、下位符号化部２２１、上位符号化部２２２、下位復号化部２２７、上位復号化部２２８、及び推定部２１２の各々のパラメータθｙ、θｚ、φｙ、φｚ、ψｚ、ψ１ｙ、ψ２ｙを調整する。例えば、調整部２１４は、下記（７）式に示すような、ｘとｘ＾との誤差Ｄと、エントロピーＲ_ｚ及びＲ_ｙとの重み付き和で表される学習コストＬ_２を最小化するように、パラメータθｙ、θｚ、φｙ、φｚ、ψｚ、ψ１ｙ、ψ２ｙを更新しながら、入力データｘから出力データｘ＾を生成する処理を繰り返す。これにより、オートエンコーダ２２０及び推定部２１２のパラメータが学習される。

【0076】

【数7】

【0077】

次に、図１１を参照して、判定時に機能する機能部について 説明する。

【0078】

下位符号化部２２１は、調整部２１４で調整されたパラメータθｙが設定された符号化関数ｆ_θｙ（ｘ）に基づいて入力データｘを符号化することにより、入力データｘから下位潜在変数ｙを抽出し、上位符号化部２２２へ入力する。

【0079】

上位符号化部２２２は、調整部２１４で調整されたパラメータθｚが設定された符号化関数ｆ_θｚ（ｙ）に基づいて下位潜在変数ｙを符号化することにより、下位潜在変数ｙから上位潜在変数ｚを抽出し、上位復号化部２２８へ入力する。

【0080】

上位復号化部２２８は、上位符号化部２２２から入力された上位潜在変数ｚを、調整部２１４で調整されたパラメータφｚを含む復号化関数ｇ_φｚ（ｚ）により復号することにより、下位潜在変数」ｙと同じ次元数の上位出力データｙ’を生成する。

【0081】

推定部２１２は、下位符号化部２２１で抽出された下位潜在変数ｙ、及び上位復号化部２２８で生成された上位出力データｙ’を取得する。そして、推定部２１２は、調整部２１４で調整されたパラメータψ２ｙを含む抽出関数ｈ_ψ２ｙにより、潜在変数ｙ及び上位出力データｙ’からコンテクストｙ_ｃｏｎを抽出する。また、推定部２１２は、パラメータψ１ｙを含む抽出関数ｈ_ψ１ｙにより、多次元ガウス分布で表される、コンテクストｙ_ｃｏｎの下での潜在変数ｙの条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）のパラメータμ_（ｙ）及びσ_（ｙ）を推定する。なお、推定部２１２は、判定時においては、（６）式の「ｙ＾’」を「ｙ’」に読み替えた式により、パラメータμ_（ｙ）及びσ_（ｙ）を推定する。

【0082】

また、推定部２１２は、第１実施形態における推定部１２と同様に、推定したμ_（ｙ）及びσ_（ｙ）から（２）式により算出されるエントロピーＲ_ｙと、推定したσ_（ｙ）から算出されるエントロピーの期待値との差分ΔＲを（４）式により算出する。

【0083】

異常判定装置２１０は、例えば図７に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、異常判定装置２１０として機能させ、後述する学習処理及び判定処理を実行するための異常判定プログラム２５０が記憶される。異常判定プログラム２５０は、オートエンコーダプロセス２６０と、推定プロセス２５２と、調整プロセス２５４と、判定プロセス５６とを有する。

【0084】

ＣＰＵ４１は、異常判定プログラム２５０を記憶部４３から読み出してメモリ４２に展開し、異常判定プログラム２５０が有するプロセスを順次実行する。ＣＰＵ４１は、オートエンコーダプロセス２６０を実行することで、図２に示すオートエンコーダ２２０として動作する。また、ＣＰＵ４１は、推定プロセス２５２を実行することで、図２に示す推定部２１２として動作する。また、ＣＰＵ４１は、調整プロセス２５４を実行することで、図２に示す調整部２１４として動作する。また、ＣＰＵ４１は、判定プロセス５６を実行することで、図２に示す判定部１６として動作する。これにより、異常判定プログラム２５０を実行したコンピュータ４０が、異常判定装置２１０として機能することになる。

【0085】

なお、異常判定プログラム２５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

【0086】

次に、第２実施形態に係る異常判定装置２１０の作用について説明する。オートエンコーダ２２０及び推定部２１２のパラメータの調整時に、異常判定装置２１０に学習用の入力データｘが入力されると、異常判定装置２１０において、図１２に示す学習処理が実行される。また、正常又は異常の判定時に、異常判定装置２１０に判定対象の入力データｘが入力されると、異常判定装置２１０において、図１３に示す判定処理が実行される。

【0087】

まず、図１２を参照して、学習処理について詳述する。

【0088】

ステップＳ２１２で、下位符号化部２２１が、パラメータθｙを含む符号化関数ｆ_θｙ（ｘ）により、入力データｘから下位潜在変数ｙを抽出し、下位加算部２２５及び上位符号化部２２２へ出力する。また、上位符号化部２２２が、パラメータθｚを含む符号化関数ｆ_θｚ（ｙ）により、下位潜在変数ｙから上位潜在変数ｚを抽出し、上位加算部２２６へ出力する。

【0089】

次に、ステップＳ２１３で、推定部２１２が、パラメータψｚを含むＧＭＭにより、上位潜在変数ｚの確率分布Ｐ_ψｚ（ｚ）を推定する。また、推定部２１２が、確率分布Ｐ_ψｚ（ｚ）のエントロピーＲ_ｚ＝－ｌｏｇ（Ｐ_ψｚ（ｚ））を算出する。

【0090】

次に、ステップＳ２１４で、下位ノイズ生成部２２３が、下位潜在変数ｙと同じ次元数で、各次元が互いに無相関、かつ平均が０、分散がσ^２であるガウス分布に基づく乱数であるノイズε_ｙを生成し、下位加算部２２５へ出力する。そして、下位加算部２２５が、下位符号化部２２１から入力された下位潜在変数ｙと、下位ノイズ生成部２２３から入力されたノイズε_ｙとを加算した下位潜在変数ｙ＾を生成して、下位復号化部２２７へ出力する。さらに、下位復号化部２２７が、パラメータφｙを含む復号化関数ｇ_φｙ（ｙ＾）により、下位潜在変数ｙ＾を復号して、下位出力データｘ＾を生成する。

【0091】

次に、ステップＳ２１５で、上位ノイズ生成部２２４が、上位潜在変数ｚと同じ次元数で、各次元が互いに無相関、かつ平均が０、分散がσ^２であるガウス分布に基づく乱数であるノイズε_ｚを生成し、上位加算部２２６へ出力する。そして、上位加算部２２６が、上位符号化部２２２から入力された上位潜在変数ｚと、上位ノイズ生成部２２４から入力されたノイズε_ｚとを加算した上位潜在変数ｚ＾を生成して、上位復号化部２２８へ出力する。さらに、上位復号化部２２８が、パラメータφｚを含む復号化関数ｇ_φｚ（ｚ＾）により、上位潜在変数ｚ＾を復号して、上位出力データｙ＾’を生成する。

【0092】

次に、ステップＳ２１６で、推定部２１２が、パラメータψ２ｙを含む抽出関数ｈ_ψ２ｙにより、下位潜在変数ｙ及び上位出力データｙ＾’からコンテクストｙ_ｃｏｎを抽出する。そして、推定部２１２が、パラメータψ１ｙを含む抽出関数ｈ_ψ１ｙにより、多次元ガウス分布で表される、コンテクストｙ_ｃｏｎの下での下位潜在変数ｙの条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）のパラメータμ_（ｙ）及びσ_（ｙ）を推定する。

【0093】

次に、ステップＳ２１７で、推定部２１２が、推定したμ_（ｙ）及びσ_（ｙ）を用いて、（２）式により、条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）のエントロピーＲ_ｙ＝－ｌｏｇ（Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ））を算出する。

【0094】

次に、ステップＳ２１８で、調整部２１４が、入力データｘと、上記ステップＳ２１４で生成された出力データｘ＾との誤差を、例えば、Ｄ＝（ｘ－ｘ＾）^２のように算出する。そして、調整部２１４が、例えば（７）式に示すような、算出した誤差Ｄと、上記ステップＳ２１３及びＳ２１７で算出されたエントロピーＲ_ｚ及びＲ_ｙとの重み付き和で表される学習コストＬ_２を算出する。

【0095】

次に、ステップＳ２１９で、調整部２１４が、学習コストＬ_２が小さくなるように、パラメータを更新する。更新するパラメータは、下位符号化部２２１、上位符号化部２２２、下位復号化部２２７、上位復号化部２２８、及び推定部２１２の各々のパラメータθｙ、θｚ、φｙ、φｚ、ψｚ、ψ１ｙ、ψ２ｙである。

【0096】

次に、ステップＳ２４で、調整部２１４が、学習が収束したか否かを判定する。学習が収束していない場合には、処理はステップＳ２１２に戻り、次の入力データｘについて、ステップＳ２１２～Ｓ２１９の処理を繰り返す。学習が収束した場合には、学習処理は終了する。

【0097】

次に、図１３を参照して、判定処理について詳述する。判定処理は、下位符号化部２２１、上位符号化部２２２、上位復号化部２２８、及び推定部２１２の各々に、学習処理により調整されたパラメータθｙ、θｚ、φｚ、ψ１ｙ、ψ２ｙがそれぞれ設定された状態で開始する。

【0098】

ステップＳ２３２で、下位符号化部２２１が、調整されたパラメータθｙを含む符号化関数ｆ_θｙ（ｘ）により、入力データｘから下位潜在変数ｙを抽出し、下位加算部２２５及び上位符号化部２２２へ出力する。また、上位符号化部２２２が、調整されたパラメータθｚを含む符号化関数ｆ_θｚ（ｙ）により、下位潜在変数ｙから上位潜在変数ｚを抽出し、上位加算部２２６へ出力する。

【0099】

次に、ステップＳ２３３で、上位復号化部２２８が、調整されたパラメータφｚを含む復号化関数ｇ_φｚ（ｚ）により、上位潜在変数ｚを復号して、上位出力データｙ’を生成する。

【0100】

次に、ステップＳ２３４で、推定部２１２が、パラメータψ２ｙを含む抽出関数ｈ_ψ２ｙにより、下位潜在変数ｙ及び上位出力データｙ’からコンテクストｙ_ｃｏｎを抽出する。そして、推定部２１２が、パラメータψ１ｙを含む抽出関数ｈ_ψ１ｙにより、多次元ガウス分布で表される、コンテクストｙ_ｃｏｎの下での下位潜在変数ｙの条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）のパラメータμ_（ｙ）及びσ_（ｙ）を推定する。

【0101】

次に、ステップＳ２３６で、推定部２１２が、上記ステップＳ２３４で推定したμ_（ｙ）及びσ_（ｙ）から（２）式により算出されるエントロピーＲ_ｙと、推定したσ_（ｙ）から算出されるエントロピーの期待値との差分ΔＲを、（４）式により算出する。

【0102】

以下、第１実施形態と同様に、ステップＳ３８及びＳ４０で、判定部１６が、エントロピーの差分ΔＲと、予め定めた判定基準とを比較することにより、入力データｘが正常か又は異常かを判定し、判定結果を出力して、判定処理は終了する。

【0103】

以上説明したように、第２実施形態に係る異常判定装置は、下位潜在変数を符号化した、より低次元の上位潜在変数に基づくコンテクストをさらに用いて、コンテクストの下での下位潜在変数の条件付き確率分布を推定する。そして、異常判定装置は、推定した条件付き確率分布のエントロピーと判定基準とを用いて、判定対象の入力データが正常であるか否かを判定する。これにより、第１実施形態に比べ、より大局的な特徴をコンテクストとして用いることができるため、より精度良く正常又は異常を判定することができる。

【0104】

なお、上記第１実施形態において、潜在変数ｙ＾を生成するために潜在変数ｙに加算するノイズεを一様分布Ｕ（－１／２，１／２）としてもよい。また、上記第２実施形態において、下位潜在変数ｙ＾を生成するために下位潜在変数ｙに加算するノイズε_ｙを一様分布Ｕ（－１／２，１／２）としてもよい。この場合、学習時において推定される条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ_ｃｏｎ）は下記（８）式となる。また、推定時において算出されるエントロピーの差分ΔＲは下記（９）式となる。なお、（９）式におけるＣは、設計したモデルに応じて経験的に決定される定数である。

【0105】

【数8】

【0106】

また、上記第２実施形態では、上位潜在変数の確率分布をＧＭＭにより推定する場合について説明したが、これに限定されない。例えば、累積確率関数を合成関数の形で表し、連鎖律によって因数分解された導関数群として、各次元が独立な確率分布を推定する手法を用いてもよい。

【0107】

また、上記各実施形態では、入力データが画像データである場合を主に例示して説明したが、入力データは、心電図や脳波等の波形データであってもよい。その場合、符号化等のアルゴリズムには、１次元変換したＣＮＮ等を用いればよい。

【0108】

また、上記各実施形態では、１つのコンピュータに、学習時及び判定時の各機能部を含む判定制御装置について説明したが、これに限定されない。パラメータが調整される前のオートエンコーダ、推定部、及び調整部を含む学習装置と、パラメータが調整されたオートエンコーダ、推定部、及び判定部を含む判定装置とを、それぞれ別のコンピュータで構成するようにしてもよい。

【0109】

また、上記各実施形態では、異常判定プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

【符号の説明】

【0110】

１０、２１０ 異常判定装置
１２、２１２ 推定部
１４、２１４ 調整部
１６ 判定部
２０、２２０ オートエンコーダ
２２ 符号化部
２４ ノイズ生成部
２６ 加算部
２８ 復号化部
２２１ 下位符号化部
２２２ 上位符号化部
２２３ 下位ノイズ生成部
２２４ 上位ノイズ生成部
２２５ 下位加算部
２２６ 上位加算部
２２７ 下位復号化部
２２８ 上位復号化部
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記憶媒体
５０、２５０ 異常判定プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】