特許 7424503 判定制御プログラム、装置、及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-01-22

(45)【発行日】2024-01-30

(54)【発明の名称】判定制御プログラム、装置、及び方法

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240123BHJP

   G06N 3/0455 20230101ALI20240123BHJP

【ＦＩ】

G06N20/00

G06N3/0455

【請求項の数】 8

(21)【出願番号】P 2022550311

(86)(22)【出願日】2020-09-18

(86)【国際出願番号】 JP2020035558

(87)【国際公開番号】W WO2022059193

(87)【国際公開日】2022-03-24

【審査請求日】2023-03-16

(73)【特許権者】

【識別番号】000005223

【氏名又は名称】富士通株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】加藤 圭造

(72)【発明者】

【氏名】中川 章

【審査官】小太刀 慶明

(56)【参考文献】

【文献】KATO, Keizo ほか，Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space，[オンライン]，arXiv，2020年08月31日，[検索日 2020.12.01],インターネット：<URL: https://arxiv.org/abs/1910.04329>, 特に[5.3. Anomaly Detection Using Real Data]

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０６Ｎ ３／０４５５

(57)【特許請求の範囲】

【請求項1】

入力データを符号化して得られる前記入力データよりも次元数の低い低次元特徴量を確率分布として推定し、
前記低次元特徴量にノイズを加算した特徴量を復号化して出力データを生成し、
前記入力データと前記出力データとの誤差と、前記確率分布のエントロピーとを含むコストに基づいて、前記符号化、前記推定、及び前記復号化の各々のパラメータを調整する、
ことを含む処理をコンピュータに実行させ、
調整後の前記パラメータを用いた、判定対象の入力データが正常であるか否かの判定において、前記確率分布から得られる情報に基づいて、前記判定の判定基準が制御される
ことを特徴とする判定制御プログラム。

【請求項2】

前記確率分布として、複数の分布を混合した確率分布を推定し、
前記確率分布から得られる情報に基づいて、前記低次元特徴量が前記複数の分布に相当する複数のクラスタのいずれに属するかを特定し、クラスタ毎の判定基準のうち、特定したクラスタに応じた前記判定基準が設定される
請求項１に記載の判定制御プログラム。

【請求項3】

前記コストを、前記誤差と前記エントロピーとの重み付き和とし、前記コストを最小化するように、前記パラメータを調整する請求項１又は請求項２に記載の判定制御プログラム。

【請求項4】

前記ノイズを、各次元が互いに無相関、かつ平均が０である分布に基づく乱数とする請求項１～請求項３のいずれか１項に記載の判定制御プログラム。

【請求項5】

前記判定対象の入力データについての前記確率分布のエントロピーと、前記判定基準とを比較することにより、前記判定が行われることを特徴とする請求項１～請求項４のいずれか１項に記載の判定制御プログラム。

【請求項6】

前記低次元特徴量の中間出力について、前記中間出力の注目データの周辺領域のデータ及び前記低次元特徴量の下での条件付き確率のエントロピーと、エントロピーの期待値との差分を、前記判定基準とを比較することにより、前記判定が行われることを特徴とする請求項１～請求項４のいずれか１項に記載の判定制御プログラム。

【請求項7】

入力データを符号化して得られる前記入力データよりも次元数の低い低次元特徴量を確率分布として推定する推定部と、
前記低次元特徴量にノイズを加算した特徴量を復号化して出力データを生成する生成部と、
前記入力データと前記出力データとの誤差と、前記確率分布のエントロピーとを含むコストに基づいて、前記符号化、前記推定、及び前記復号化の各々のパラメータを調整する調整部と、を含み、
調整後の前記パラメータを用いた、判定対象の入力データが正常であるか否かの判定において、前記確率分布から得られる情報に基づいて、前記判定の判定基準が制御されることを特徴とする判定制御装置。

【請求項8】

入力データを符号化して得られる前記入力データよりも次元数の低い低次元特徴量を確率分布として推定し、
前記低次元特徴量にノイズを加算した特徴量を復号化して出力データを生成し、
前記入力データと前記出力データとの誤差と、前記確率分布のエントロピーとを含むコストに基づいて、前記符号化、前記推定、及び前記復号化の各々のパラメータを調整する、
ことを含む処理をコンピュータに実行させ、
調整後の前記パラメータを用いた、判定対象の入力データが正常であるか否かの判定において、前記確率分布から得られる情報に基づいて、前記判定の判定基準が制御される
ことを特徴とする判定制御方法。

【発明の詳細な説明】

【技術分野】

【0001】

開示の技術は、判定制御プログラム、判定制御装置、及び判定制御方法に関する。

【背景技術】

【0002】

従来、教師なし学習により正常データの確率分布を学習し、判定対象のデータの確率分布と正常データの確率分布とを比較することにより、異常データを検出することが行われている。

【0003】

例えば、潜在変数のエントロピーを最小化するＲａｔｅ－Ｄｉｓｔｏｒｔｉｏｎ理論を応用したオートエンコーダにより、実空間での確率分布に比例した潜在空間の確率分布を獲得し、潜在空間の確率分布の相違から異常データを検出する技術が提案されている。

【先行技術文献】

【非特許文献】

【0004】

【文献】Rate-Distortion Optimization Guided Autoencoder for Isometric Embedding in Euclidean Latent Space（ICML2020）

【文献】“Fujitsu Develops World's First AI technology to Accurately Capture Characteristics of High-Dimensional Data Without Labeled Training Data”、［online］、２０２０年７月１３日、［２０２０年９月１３日検索］、インターネット＜URL：https://www.fujitsu.com/global/about/resources/news/press-releases/2020/0713-01.html＞

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、入力データの特徴が様々な確率分布となる場合、異常データが示す確率分布の特徴が、様々な確率分布の差に埋もれてしまい、精度良く正常又は異常を判定することができない場合がある、という問題がある。

【0006】

一つの側面として、開示の技術は、入力データの特徴が様々な確率分布となる場合でも、精度良く正常又は異常を判定することができるように制御することを目的とする。

【課題を解決するための手段】

【0007】

一つの態様として、開示の技術は、入力データを符号化して得られる前記入力データよりも次元数の低い低次元特徴量を確率分布として推定する。また、開示の技術は、前記低次元特徴量にノイズを加算した特徴量を復号化して出力データを生成する。そして、開示の技術は、前記入力データと前記出力データとの誤差と、前記確率分布のエントロピーとを含むコストに基づいて、前記符号化、前記推定、及び前記復号化の各々のパラメータを調整する。さらに、開示の技術では、調整後の前記パラメータを用いた、判定対象の入力データが正常であるか否かの判定において、前記確率分布から得られる情報に基づいて、前記判定の判定基準が制御される。

【発明の効果】

【0008】

一つの側面として、入力データの特徴が様々な確率分布となる場合でも、精度良く正常又は異常を判定することができる、という効果を有する。

【図面の簡単な説明】

【0009】

【図1】低次元特徴量の確率分布を用いて異常判定する場合の問題点を説明するための図である。

【図2】判定制御装置の機能ブロック図である。

【図3】第１実施形態における学習時の機能について説明するための図である。

【図4】第１実施形態における判定時の機能について説明するための図である。

【図5】判定制御装置として機能するコンピュータの概略構成を示すブロック図である。

【図6】第１実施形態における学習処理の一例を示すフローチャートである。

【図7】第１実施形態における判定処理の一例を示すフローチャートである。

【図8】第２実施形態における学習時の機能について説明するための図である。

【図9】注目画素の周辺領域を説明するための図である。

【図10】注目画素の周辺領域を説明するための図である。

【図11】第２実施形態における判定時の機能について説明するための図である。

【図12】第２実施形態における学習処理の一例を示すフローチャートである。

【図13】第２実施形態における判定処理の一例を示すフローチャートである。

【発明を実施するための形態】

【0010】

以下、図面を参照して、開示の技術に係る実施形態の一例を説明する。

【0011】

まず、各実施形態の詳細を説明する前に、入力データから抽出される低次元特徴を示す確率分布を用いて正常又は異常を判定する場合において、入力データの特徴が様々な確率分布となる場合における問題点について説明する。

【0012】

ここでは、入力データを人体等の臓器を撮影した医療画像とする場合を例に説明する。図１の下部に、入力データとなる医療画像の一例を概略的に示す。図１の例では、空胞が生じていない状態を正常、空胞が生じている状態を異常と判定するものとする。この場合、図１に示す「その他」の医療画像のように、空胞が生じていない医療画像から抽出される低次元特徴のエントロピーを基準として、対象の医療画像から抽出される低次元特徴のエントロピーを評価し、正常又は異常を判定する。具体的には、図１の上部に示すように、正常を示す「その他」のエントロピーと、「その他（空胞）」のエントロピーとの相違から、「その他（空胞）」の医療画像を異常であると判定することができる。

【0013】

しかし、図１の下部に示すように、医療画像には、糸球体、尿細管、血液等の組織や、背景が含まれている場合もあり、それぞれ含まれる組織や背景によって、エントロピーに高低が生じる。したがって、正常を示す「その他」のエントロピーを基準とした場合、上記のような組織等毎のエントロピーの差に、異常データのエントロピーが埋もれてしまい、精度良く正常又は異常を判定することができない。

【0014】

そこで、以下の各実施形態では、入力データから抽出される低次元特徴を示す確率分布が様々な確率分布となる場合でも、精度良く正常又は異常を判定することができるように制御する。

【0015】

＜第１実施形態＞
第１実施形態に係る判定制御装置１０は、機能的には、図２に示すように、オートエンコーダ２０と、推定部１２と、調整部１４と、判定部１６とを含む。オートエンコーダ２０の学習時には、推定部１２及び調整部１４が機能し、オートエンコーダ２０を用いた異常の判定時には、推定部１２及び判定部１６が機能する。以下、学習時及び判定時のそれぞれについて、オートエンコーダ２０のより詳細な構成と共に、各機能部の機能について説明する。

【0016】

まず、図３を参照して、学習時に機能する機能部について説明する。

【0017】

オートエンコーダ２０は、図３に示すように、符号化部２２と、ノイズ生成部２４と、加算部２６と、復号化部２８とを含む。

【0018】

符号化部２２は、多次元の入力データを符号化することにより、入力データよりも次元数の低い低次元特徴量ｚを抽出する。具体的には、符号化部２２は、パラメータθを含む符号化関数ｆ_θ（ｘ）により、入力データｘから低次元特徴量ｚを抽出する。例えば、符号化部２２は、符号化関数ｆ_θ（ｘ）として、ＣＮＮ（Convolutional Neural Network）のアルゴリズムを適用することができる。符号化部２２は、抽出した低次元特徴量ｚを加算部２６へ出力する。

【0019】

ノイズ生成部２４は、低次元特徴量ｚと同じ次元数で、各次元が互いに無相関、かつ平均が０である分布に基づく乱数であるノイズεを生成する。ノイズ生成部２４は、生成したノイズεを加算部２６へ出力する。

【0020】

加算部２６は、符号化部２２から入力された低次元特徴量ｚと、ノイズ生成部２４から入力されたノイズεとを加算した低次元特徴量ｚ＾（図中では「ｚ」の上に「＾（ハット）」）を生成して、復号化部２８へ出力する。

【0021】

復号化部２８は、加算部２６から入力された低次元特徴量ｚ＾を復号することにより、入力データｘと同じ次元数の出力データｘ＾（図中では「ｘ」の上に「＾（ハット）」）を生成する。具体的には、復号化部２８は、パラメータφを含む復号化関数ｇ_φ（ｚ＾）により、低次元特徴量ｚ＾から出力データｘ＾を生成する。例えば、復号化部２８は、復号化関数ｇ_φ（ｚ＾）として、ｔｒａｎｓｐｏｒｓｅｄ ＣＮＮのアルゴリズムを適用することができる。

【0022】

推定部１２は、符号化部２２で抽出された低次元特徴量ｚを取得し、低次元特徴量ｚを確率分布として推定する。具体的には、推定部１２は、パラメータψを含み、複数の分布が混合された確率分布のモデルにより、確率分布Ｐ_ψ（ｚ）を推定する。本実施形態では、確率分布のモデルが、ＧＭＭ（Gaussian mixture model）である場合について説明する。この場合、推定部１２は、下記（１）式のパラメータπ、Σ、μを、最尤推定法等で計算することにより、確率分布Ｐ_ψ（ｚ）を推定する。

【0023】

【数1】

【0024】

（１）式において、ＫはＧＭＭに含まれる正規分布の数、μ_ｋはｋ番目の正規分布の平均ベクトル、Σ_ｋはｋ番目の正規分布の分散共分散行列、π_ｋはｋ番目の正規分布の重み（混合係数）であり、π_ｋの総和は１である。また、推定部１２は、確率分布Ｐ_ψ（ｚ）のエントロピーＲ＝－ｌｏｇ（Ｐ_ψ（ｚ））を算出する。

【0025】

調整部１４は、入力データｘと、その入力データに対応する出力データｘ＾との誤差と、推定部１２により算出されたエントロピーＲとを含む学習コストに基づいて、符号化部２２、復号化部２８、及び推定部１２の各々のパラメータθ、φ、ψを調整する。例えば、調整部１４は、下記（２）式に示すような、ｘとｘ＾との誤差と、エントロピーＲとの重み付き和で表される学習コストＬ_１を最小化するように、パラメータθ、φ、ψを更新しながら、入力データｘから出力データｘ＾を生成する処理を繰り返す。これにより、オートエンコーダ２０及び推定部１２のパラメータが学習される。

【0026】

【数2】

【0027】

なお、（２）式において、λは重み係数であり、Ｄはｘとｘ＾との誤差、例えば、Ｄ＝（ｘ－ｘ＾）^２である。

【0028】

次に、図４を参照して、判定時に機能する機能部について説明する。なお、判定時における入力データは、開示の技術の「判定対象の入力データ」の一例である。

【0029】

符号化部２２は、調整部１４で調整されたパラメータθが設定された符号化関数ｆ_θ（ｘ）に基づいて入力データｘを符号化することにより、入力データｘから低次元特徴量ｚを抽出する。

【0030】

推定部１２は、符号化部２２で抽出された低次元特徴量ｚを取得し、調整部１４で調整されたパラメータψが設定されたＧＭＭにより、低次元特徴量ｚの確率分布Ｐ_ψ（ｚ）を推定する。また、推定部１２は、学習時と同様に、確率分布Ｐ_ψ（ｚ）のエントロピーＲ＝－ｌｏｇ（Ｐ_ψ（ｚ））を算出する。さらに、推定部１２は、低次元特徴量ｚが、ＧＭＭを構成する複数の正規分布の各々に属する確からしさを示すメンバーシップ係数γを算出する。ＧＭＭがＫ個の正規分布からなる場合、メンバーシップ係数γは、（１）式に含まれる正規分布の重みπ_ｋから算出されるｆ_π（π_ｋ）＝γ_ｋを用いて、Ｋ次元のベクトルγ＝（γ_１，γ_２，・・・，γ_ｋ，・・・，γ_Ｋ）で表される。したがって、メンバーシップ係数γは、確率分布Ｐ_ψ（ｚ）の推定過程で算出される。

【0031】

判定部１６は、調整後のパラメータθ、φ、ψを用いた、判定対象の入力データが正常であるか否かの判定において、確率分布Ｐ_ψ（ｚ）から得られる情報に基づいて、判定で用いる判定基準を制御する。具体的には、判定部１６は、確率分布Ｐ_ψ（ｚ）から得られる情報として、推定部１２で算出されたメンバーシップ係数γを用い、低次元特徴量ｚがＧＭＭを構成する複数の正規分布に相当する複数のクラスタのいずれに属するかを示すクラスタ情報を特定する。

【0032】

確率分布のモデルとして、ＧＭＭのように複数の分布から構成された確率分布のモデルが学習されることにより、低次元特徴量ｚが示す大局的特徴の傾向に応じた複数の正規分布が含まれるように、ＧＭＭのパラメータψが調整されている。例えば図１に示すような医療画像を入力データとする場合、組織等の種類のそれぞれに対応する正規分布が含まれるようにＧＭＭのパラメータψが調整されている。したがって、ＧＭＭを構成する複数の正規分布の各々が、入力データの種類（図１の例では組織等の種類）を分類するクラスタの各々に相当することになる。そこで、判定部１６は、メンバーシップ係数γであるＫ次元のベクトルに含まれる各係数γ_ｋ（ｋ＝１，２，・・・，Ｋ）のうち、最大の係数に対応する正規分布に相当するクラスタを、低次元特徴量ｚが属するクラスタとして特定する。

【0033】

判定部１６は、クラスタ毎に予め定められた判定基準のうち、特定したクラスタ情報、すなわち低次元特徴量ｚが属するクラスタに応じた判定基準を設定する。なお、クラスタ毎の判定基準は、実験的に定めておくことができる。例えば、学習時に各クラスタに属する低次元特徴量ｚ毎にエントロピーを算出しておき、これをクラスタ毎の判定基準とすることができる。

【0034】

判定部１６は、判定対象の入力データについて、推定部１２により算出されたエントロピーと、クラスタ情報に応じて設定した判定基準とを比較することにより、入力データが正常か又は異常かを判定し、判定結果を出力する。

【0035】

判定制御装置１０は、例えば図５に示すコンピュータ４０で実現することができる。コンピュータ４０は、ＣＰＵ（Central Processing Unit）４１と、一時記憶領域としてのメモリ４２と、不揮発性の記憶部４３とを備える。また、コンピュータ４０は、入力部、表示部等の入出力装置４４と、記憶媒体４９に対するデータの読み込み及び書き込みを制御するＲ／Ｗ（Read/Write）部４５とを備える。また、コンピュータ４０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ（Interface）４６を備える。ＣＰＵ４１、メモリ４２、記憶部４３、入出力装置４４、Ｒ／Ｗ部４５、及び通信Ｉ／Ｆ４６は、バス４７を介して互いに接続される。

【0036】

記憶部４３は、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部４３には、コンピュータ４０を、判定制御装置１０として機能させ、後述する学習処理及び判定処理を実行するための判定制御プログラム５０が記憶される。判定制御プログラム５０は、オートエンコーダプロセス６０と、推定プロセス５２と、調整プロセス５４と、判定プロセス５６とを有する。

【0037】

ＣＰＵ４１は、判定制御プログラム５０を記憶部４３から読み出してメモリ４２に展開し、判定制御プログラム５０が有するプロセスを順次実行する。ＣＰＵ４１は、オートエンコーダプロセス６０を実行することで、図２に示すオートエンコーダ２０として動作する。また、ＣＰＵ４１は、推定プロセス５２を実行することで、図２に示す推定部１２として動作する。また、ＣＰＵ４１は、調整プロセス５４を実行することで、図２に示す調整部１４として動作する。また、ＣＰＵ４１は、判定プロセス５６を実行することで、図２に示す判定部１６として動作する。これにより、判定制御プログラム５０を実行したコンピュータ４０が、判定制御装置１０として機能することになる。なお、プログラムを実行するＣＰＵ４１はハードウェアである。

【0038】

なお、判定制御プログラム５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ（Application Specific Integrated Circuit）等で実現することも可能である。

【0039】

次に、第１実施形態に係る判定制御装置１０の作用について説明する。オートエンコーダ２０及び推定部１２のパラメータの調整時に、判定制御装置１０に学習用の入力データｘが入力されると、判定制御装置１０において、図６に示す学習処理が実行される。また、正常又は異常の判定時に、判定制御装置１０に判定対象の入力データｘが入力されると、判定制御装置１０において、図７に示す判定処理が実行される。なお、学習処理及び判定処理は、開示の技術の判定制御方法の一例である。

【0040】

まず、図６を参照して、学習処理について詳述する。

【0041】

ステップＳ１２で、符号化部２２が、パラメータθを含む符号化関数ｆ_θ（ｘ）により、入力データｘから低次元特徴量ｚを抽出し、加算部２６へ出力する。

【0042】

次に、ステップＳ１４で、推定部１２が、パラメータψを含むＧＭＭにより、低次元特徴量ｚの確率分布Ｐ_ψ（ｚ）を推定する。また、推定部１２が、確率分布Ｐ_ψ（ｚ）のエントロピーＲ＝－ｌｏｇ（Ｐ_ψ（ｚ））を算出する。

【0043】

次に、ステップＳ１６で、ノイズ生成部２４が、低次元特徴量ｚと同じ次元数で、各次元が互いに無相関、かつ平均が０である分布に基づく乱数であるノイズεを生成し、加算部２６へ出力する。そして、加算部２６が、符号化部２２から入力された低次元特徴量ｚと、ノイズ生成部２４から入力されたノイズεとを加算した低次元特徴量ｚ＾を生成して、復号化部２８へ出力する。さらに、復号化部２８が、パラメータφを含む復号化関数ｇ_φ（ｚ＾）により、低次元特徴量ｚ＾を復号して、出力データｘ＾を生成する。

【0044】

次に、ステップＳ１８で、調整部１４が、入力データｘと、上記ステップＳ１６で生成された出力データｘ＾との誤差を、例えば、Ｄ＝（ｘ－ｘ＾）^２のように算出する。

【0045】

次に、ステップＳ２０で、調整部１４が、例えば（２）式に示すような、上記ステップＳ１８で算出した誤差Ｄと、上記ステップＳ１４で推定部１２により算出されたエントロピーＲとの重み付き和で表される学習コストＬ_１を算出する。

【0046】

次に、ステップＳ２２で、調整部１４が、学習コストＬ_１が小さくなるように、符号化部２２のパラメータθ、復号化部２８のパラメータφ、及び推定部１２のパラメータψを更新する。

【0047】

次に、ステップＳ２４で、調整部１４が、学習が収束したか否かを判定する。例えば、パラメータの更新の繰り返し回数が所定回数に達した場合、学習コストＬ_１の値が変化しなくなった場合等に、学習が収束したと判定することができる。学習が収束していない場合には、処理はステップＳ１２に戻り、次の入力データｘについて、ステップＳ１２～Ｓ２２の処理を繰り返す。学習が収束した場合には、学習処理は終了する。

【0048】

次に、図７を参照して、判定処理について詳述する。判定処理は、符号化部２２、復号化部２８、及び推定部１２の各々に、学習処理により調整されたパラメータθ、φ、ψがそれぞれ設定された状態で開始する。

【0049】

ステップＳ３２で、符号化部２２が、パラメータθを含む符号化関数ｆ_θ（ｘ）により、入力データｘから低次元特徴量ｚを抽出する。

【0050】

次に、ステップＳ３４で、推定部１２が、パラメータψを含むＧＭＭにより、低次元特徴量ｚの確率分布Ｐ_ψ（ｚ）を推定する。また、推定部１２が、確率分布Ｐ_ψ（ｚ）のエントロピーＲ＝－ｌｏｇ（Ｐ_ψ（ｚ））を算出する。さらに、推定部１２が、ＧＭＭのメンバーシップ係数γを算出する。

【0051】

次に、ステップＳ３６で、判定部１６が、算出されたメンバーシップ係数γであるＫ次元のベクトルに含まれる係数γ_ｋのうち、最大の係数に対応する正規分布に相当するクラスタを、低次元特徴量ｚが属するクラスタを示すクラスタ情報として特定する。

【0052】

次に、ステップＳ３８で、判定部１６が、クラスタ毎に予め定められた判定基準のうち、上記ステップＳ３６で特定したクラスタ情報、すなわち低次元特徴量ｚが属するクラスタに応じた判定基準を設定する。そして、判定部１６が、判定対象の入力データｘについて、上記ステップＳ３４で推定部１２により算出されたエントロピーＲと、設定した判定基準とを比較することにより、入力データｘが正常か又は異常かを判定する。

【0053】

次に、ステップＳ４０で、判定部１６が、正常か異常かの判定結果を出力し、判定処理は終了する。

【0054】

以上説明したように、第１実施形態に係る判定制御装置は、入力データを符号化して得られる低次元特徴量を確率分布として推定し、低次元特徴量にノイズを加算した特徴量を復号化して出力データを生成する。また、判定制御装置は、入力データと出力データとの誤差と、確率分布のエントロピーとを含む学習コストに基づいて、符号化、確率分布の推定、及び復号化の各々のパラメータを調整する。そして、判定制御装置は、調整後のパラメータを用いた、判定対象の入力データが正常であるか否かの判定において、低次元特徴量が属するクラスタに応じた判定基準を設定する。これにより、低次元特徴量が示す大局的な特徴により低次元特徴量をクラスタリングしたうえで、クラスタ内での局所的な特徴の比較により、正常又は異常を判定することができる。したがって、入力データの特徴が様々な確率分布となり、正常と異常との相違が局所的特徴にある場合でも、正常と異常との区別が困難になることを抑制し、精度良く正常又は異常を判定することができるように制御することができる。

【0055】

＜第２実施形態＞
次に、第２実施形態について説明する。なお、第２実施形態に係る判定制御装置において、第１実施形態に係る判定制御装置１０と共通する部分については、詳細な説明を省略する。

【0056】

第２実施形態に係る判定制御装置２１０は、機能的には、図２に示すように、オートエンコーダ２２０と、推定部２１２と、調整部２１４と、判定部２１６とを含む。オートエンコーダ２２０の学習時には、推定部２１２及び調整部２１４が機能し、オートエンコーダ２２０を用いた異常の判定時には、推定部２１２及び判定部２１６が機能する。以下、学習時及び判定時のそれぞれについて、オートエンコーダ２２０のより詳細な構成と共に、各機能部の機能について説明する。

【0057】

まず、図８を参照して、学習時に機能する機能部について説明する。

【0058】

オートエンコーダ２２０は、図８に示すように、下位符号化部２２１と、上位符号化部２２２と、下位ノイズ生成部２２３と、上位ノイズ生成部２２４と、下位加算部２２５と、上位加算部２２６と、下位復号化部２２７と、上位復号化部２２８とを含む。

【0059】

下位符号化部２２１は、パラメータθｙを含む符号化関数ｆ_θｙ（ｘ）により、入力データｘから低次元特徴量の中間出力ｙを抽出する。下位符号化部２２１は、抽出した中間出力ｙを下位加算部２２５及び上位符号化部２２２へ出力する。上位符号化部２２２は、パラメータθｚを含む符号化関数ｆ_θｚ（ｙ）により、中間出力ｙから低次元特徴量ｚを抽出する。上位符号化部２２２は、抽出した低次元特徴量ｚを上位加算部２２６へ出力する。符号化関数ｆ_θｙ（ｘ）及びｆ_θｚ（ｙ）としては、ＣＮＮのアルゴリズムを適用することができる。

【0060】

下位ノイズ生成部２２３は、中間出力ｙと同じ次元数のノイズε_ｙを生成し、下位加算部２２５へ出力する。上位ノイズ生成部２２４は、低次元特徴量ｚと同じ次元数のノイズε_ｚを生成し、上位加算部２２６へ出力する。ノイズε_ｙ及びε_ｚは、各次元が互いに無相関、かつ平均が０である分布に基づく乱数である。

【0061】

下位加算部２２５は、下位符号化部２２１から入力された中間出力ｙと、下位ノイズ生成部２２３から入力されたノイズε_ｙとを加算した中間出力ｙ＾（図中では「ｙ」の上に「＾（ハット）」）を生成して、下位復号化部２２７へ出力する。上位加算部２２６は、上位符号化部２２２から入力された低次元特徴量ｚと、上位ノイズ生成部２２４から入力されたノイズε_ｚとを加算した低次元特徴量ｚ＾を生成して、上位復号化部２２８へ出力する。

【0062】

下位復号化部２２７は、下位加算部２２５から入力された中間出力ｙ＾を、パラメータφｙを含む復号化関数ｇ_φｙ（ｙ＾）により復号することにより、入力データｘと同じ次元数の出力データｘ＾を生成する。上位復号化部２２８は、上位加算部２２６から入力された低次元特徴量ｚ＾を、パラメータφｚを含む復号化関数ｇ_φｚ（ｚ＾）により復号することにより、中間出力ｙと同じ次元数の中間出力ｙ＾’を生成する。復号化関数ｇ_φｙ（ｚ＾）及びｇ_φｚ（ｚ＾）としては、ｔｒａｎｓｐｏｒｓｅｄ ＣＮＮのアルゴリズムを適用することができる。

【0063】

推定部２１２は、第１実施形態における推定部１２と同様に、上位符号化部２２２で抽出された低次元特徴量ｚを取得し、パラメータψｚを含むＧＭＭにより、低次元特徴量ｚの確率分布Ｐ_ψｚ（ｚ）を推定する。また、推定部２１２は、確率分布Ｐ_ψｚ（ｚ）のエントロピーＲ_ｚ＝－ｌｏｇ（Ｐ_ψｚ（ｚ））を算出する。

【0064】

さらに、推定部２１２は、下位符号化部２２１で抽出された中間出力ｙ、及び上位復号化部２２８で生成された中間出力ｙ＾’を取得し、中間出力ｙを、中間出力ｙ及びｙ＾’の局所特徴量の下での条件付き確率分布として推定する。例えば、推定部２１２は、パラメータψｙを含む多次元ガウス分布のモデルを用いて、条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ＾’）を推定する。

【0065】

具体的には、推定部２１２は、例えば、ｍａｓｋｅｄ ＣＮＮ等のようなＡＲ（Auto-Regressive：自己回帰）モデルにより、中間出力ｙ及びｙ＾’の周辺領域の情報から、多次元ガウス分布のパラメータμ及びσを推定する。ＡＲモデルは、その直前までのフレームから次のフレームを予測するモデルである。例えば、入力データを画像データとした場合において、カーネルサイズ１のｍａｓｋｅｄ ＣＮＮを利用する場合、推定部２１２は、図９に示すように、注目画素^ｍ，ｎｙの周辺領域として、^{ｍ－１，ｎ－１}ｙ、^{ｍ－１，ｎ}ｙ、^{ｍ－１，ｎ＋１}ｙ、及び^{ｍ，ｎ－１}ｙを抽出する。また、推定部２１２は、中間出力ｙ＾’からも同様の周辺領域^{ｍ－１，ｎ－１}ｙ＾’、^{ｍ－１，ｎ}ｙ＾’、^{ｍ－１，ｎ＋１}ｙ＾’、及び^{ｍ，ｎ－１}ｙ＾’を抽出する。なお、周辺領域としては、図１０に示すように、注目画素^ｍ，ｎｙの周辺領域の全てを利用してもよい。推定部２１２は、注目画素^ｍ，ｎｙの周辺領域の情報を用いて、注目画素^ｍ，ｎｙの確率分布のパラメータである^ｍ，ｎμ_（ｙ）及び^ｍ，ｎσ_（ｙ）を推定する。

【0066】

また、推定部２１２は、推定したμ_（ｙ）及びσ_（ｙ）を用いて、下記（３）式により、条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ＾’）のエントロピーＲ_ｙ＝－ｌｏｇ（Ｐ_ψｙ（ｙ｜ｙ＾’））を算出する。なお、（３）式において、ｉは中間出力ｙの持つ各次元の要素（上記画像データの例では、^ｍ，ｎｙ）を識別する変数である。

【0067】

【数3】

【0068】

調整部２１４は、入力データｘと、その入力データに対応する出力データｘ＾との誤差と、推定部２１２により算出されたエントロピーＲ_ｚ及びＲ_ｙとを含む学習コストＬ_２を算出する。調整部２１４は、学習コストＬ_２に基づいて、下位符号化部２２１、上位符号化部２２２、下位復号化部２２７、上位復号化部２２８、及び推定部２１２の各々のパラメータθｚ、θｙ、φｚ、φｙ、ψｚ、ψｙを調整する。例えば、調整部２１４は、下記（４）式に示すような、ｘとｘ＾との誤差と、エントロピーＲ_ｚ及びＲ_ｙとの重み付き和で表される学習コストＬ_２を最小化するように、パラメータθｚ、θｙ、φｚ、φｙ、ψｚ、ψｙを更新しながら、入力データｘから出力データｘ＾を生成する処理を繰り返す。これにより、オートエンコーダ２２０及び推定部２１２のパラメータが学習される。

【0069】

【数4】

【0070】

次に、図１１を参照して、判定時に機能する機能部について説明する。

【0071】

下位符号化部２２１は、調整部２１４で調整されたパラメータθｙが設定された符号化関数ｆ_θｙ（ｘ）に基づいて入力データｘを符号化することにより、入力データｘから低次元特徴量の中間出力ｙを抽出し、上位符号化部２２２へ入力する。

【0072】

上位符号化部２２２は、調整部２１４で調整されたパラメータθｚが設定された符号化関数ｆ_θｚ（ｙ）に基づいて中間出力ｙを符号化することにより、中間出力ｙから低次元特徴量ｚを抽出し、上位復号化部２２８へ入力する。

【0073】

上位復号化部２２８は、上位符号化部２２２から入力された低次元特徴量ｚを、調整部２１４で調整されたパラメータφｚを含む復号化関数ｇ_φｚ（ｚ）により復号することにより、中間出力ｙと同じ次元数の中間出力ｙ’を生成する。

【0074】

推定部２１２は、上位符号化部２２２で抽出された低次元特徴量ｚを取得し、調整部２１４で調整されたパラメータψｚが設定されたＧＭＭにより、低次元特徴量ｚの確率分布Ｐ_ψｚ（ｚ）を推定する。そして、推定部２１２は、確率分布Ｐ_ψｚ（ｚ）の推定過程において、ＧＭＭのメンバーシップ係数γを算出する。

【0075】

また、推定部２１２は、下位符号化部２２１で抽出された中間出力ｙ、及び上位復号化部２２８で生成された中間出力ｙ’を取得する。そして、推定部２１２は、調整部２１４で調整されたパラメータψｙを含む多次元ガウス分布のモデルにより、中間出力ｙを、中間出力ｙ及びｙ’の局所特徴量の下での条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ’）として推定する。推定部２１２は、条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ’）の推定において、多次元ガウス分布のパラメータμ_（ｙ）及びσ_（ｙ）を推定する。

【0076】

また、推定部２１２は、推定したμ_（ｙ）及びσ_（ｙ）から（３）式により算出されるエントロピーＲ_ｙと、推定したσ_（ｙ）から算出されるエントロピーの期待値との差分ΔＲ_ｙを、下記（５）式により算出する。

【0077】

【数5】

【0078】

判定部２１６は、第１実施形態における判定部２１６と同様に、推定部２１２で算出されたメンバーシップ係数γを用い、低次元特徴量ｚが属するクラスタを示すクラスタ情報を特定する。判定部１６は、クラスタ毎に予め定められた判定基準のうち、特定したクラスタ情報、すなわち低次元特徴量ｚが属するクラスタに応じた判定基準を設定する。そして、判定部２１６は、判定対象の入力データｘについて、推定部２１２により算出されたエントロピーの差分ΔＲ_ｙと、低次元特徴量ｚが属するクラスタに応じて設定した判定基準とを比較することにより、入力データｘが正常か又は異常かを判定する。

【0079】

判定制御装置２１０は、例えば図５に示すコンピュータ４０で実現することができる。コンピュータ４０の記憶部４３には、コンピュータ４０を、判定制御装置２１０として機能させ、後述する学習処理及び判定処理を実行するための判定制御プログラム２５０が記憶される。判定制御プログラム２５０は、オートエンコーダプロセス２６０と、推定プロセス２５２と、調整プロセス２５４と、判定プロセス２５６とを有する。

【0080】

ＣＰＵ４１は、判定制御プログラム２５０を記憶部４３から読み出してメモリ４２に展開し、判定制御プログラム２５０が有するプロセスを順次実行する。ＣＰＵ４１は、オートエンコーダプロセス２６０を実行することで、図２に示すオートエンコーダ２２０として動作する。また、ＣＰＵ４１は、推定プロセス２５２を実行することで、図２に示す推定部２１２として動作する。また、ＣＰＵ４１は、調整プロセス２５４を実行することで、図２に示す調整部２１４として動作する。また、ＣＰＵ４１は、判定プロセス２５６を実行することで、図２に示す判定部２１６として動作する。これにより、判定制御プログラム２５０を実行したコンピュータ４０が、判定制御装置２１０として機能することになる。

【0081】

なお、判定制御プログラム２５０により実現される機能は、例えば半導体集積回路、より詳しくはＡＳＩＣ等で実現することも可能である。

【0082】

次に、第２実施形態に係る判定制御装置２１０の作用について説明する。オートエンコーダ２２０及び推定部２１２のパラメータの調整時に、判定制御装置２１０に学習用の入力データｘが入力されると、判定制御装置２１０において、図１２に示す学習処理が実行される。また、正常又は異常の判定時に、判定制御装置２１０に判定対象の入力データｘが入力されると、判定制御装置２１０において、図１３に示す判定処理が実行される。

【0083】

まず、図１２を参照して、学習処理について詳述する。

【0084】

ステップＳ２１２で、下位符号化部２２１が、パラメータθｙを含む符号化関数ｆ_θｙ（ｘ）により、入力データｘから低次元特徴量の中間出力ｙを抽出し、下位加算部２２５及び上位符号化部２２２へ出力する。また、上位符号化部２２２が、パラメータθｚを含む符号化関数ｆ_θｚ（ｙ）により、中間出力ｙから低次元特徴量ｚを抽出し、上位加算部２２６へ出力する。

【0085】

次に、ステップＳ２１３で、推定部２１２が、パラメータψｚを含むＧＭＭにより、低次元特徴量ｚの確率分布Ｐ_ψｚ（ｚ）を推定する。また、推定部２１２が、確率分布Ｐ_ψｚ（ｚ）のエントロピーＲ＝－ｌｏｇ（Ｐ_ψｚ（ｚ））を算出する。

【0086】

次に、ステップＳ２１４で、下位ノイズ生成部２２３が、中間出力ｙと同じ次元数で、各次元が互いに無相関、かつ平均が０である分布に基づく乱数であるノイズε_ｙを生成し、下位加算部２２５へ出力する。そして、下位加算部２２５が、下位符号化部２２１から入力された中間出力ｙと、下位ノイズ生成部２２３から入力されたノイズε_ｙとを加算した中間出力ｙ＾を生成して、下位復号化部２２７へ出力する。さらに、下位復号化部２２７が、パラメータφｙを含む復号化関数ｇ_φｙ（ｙ＾）により、中間出力ｙ＾を復号して、出力データｘ＾を生成する。

【0087】

次に、ステップＳ２１６で、調整部２１４が、入力データｘと、上記ステップＳ２１４で生成された出力データｘ＾との誤差を、例えば、Ｄ＝（ｘ－ｘ＾）^２のように算出する。

【0088】

次に、ステップＳ２１７で、上位ノイズ生成部２２４が、低次元特徴量ｚと同じ次元数で、各次元が互いに無相関、かつ平均が０である分布に基づく乱数であるノイズε_ｚを生成し、上位加算部２２６へ出力する。そして、上位加算部２２６が、上位符号化部２２２から入力された低次元特徴量ｚと、上位ノイズ生成部２２４から入力されたノイズε_ｚとを加算した低次元特徴量ｚ＾を生成して、上位復号化部２２８へ出力する。さらに、上位復号化部２２８が、パラメータφｚを含む復号化関数ｇ_φｚ（ｚ＾）により、低次元特徴量ｚ＾を復号して、中間出力ｙ＾’を生成する。

【0089】

次に、ステップＳ２１８で、推定部２１２が、下位符号化部２２１で抽出された中間出力ｙ、及び上位復号化部２２８で生成された中間出力ｙ＾’の各々から、例えばＡＲモデルにより周辺領域を抽出する。そして、推定部２１２が、多次元ガウス分布のパラメータμ_（ｙ）及びσ_（ｙ）を推定することにより、中間出力ｙを、条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ＾’）として推定する。そして、推定部２１２が、推定したμ_（ｙ）及びσ_（ｙ）を用いて、（３）式により、条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ＾’）のエントロピーＲ_ｙ＝－ｌｏｇ（Ｐ_ψｙ（ｙ｜ｙ＾’））を算出する。

【0090】

次に、ステップＳ２１９で、調整部２１４が、例えば（４）式に示すような、上記ステップＳ２１６で算出した誤差Ｄと、上記ステップＳ２１３及びＳ２１８で算出されたエントロピーＲ_ｚ及びＲ_ｙとの重み付き和で表される学習コストＬ_２を算出する。

【0091】

次に、ステップＳ２２０で、調整部２１４が、学習コストＬ_２が小さくなるように、下位符号化部２２１、上位符号化部２２２、下位復号化部２２７、上位復号化部２２８、及び推定部２１２の各々のパラメータθｚ、θｙ、φｚ、φｙ、ψｚ、ψｙを更新する。

【0092】

次に、ステップＳ２４で、調整部２１４が、学習が収束したか否かを判定する。学習が収束していない場合には、処理はステップＳ２１２に戻り、次の入力データｘについて、ステップＳ２１２～Ｓ２２０の処理を繰り返す。学習が収束した場合には、学習処理は終了する。

【0093】

次に、図１３を参照して、判定処理について詳述する。判定処理は、下位符号化部２２１、上位符号化部２２２、上位復号化部２２８、及び推定部２１２の各々に、学習処理により調整されたパラメータθｙ、θｚ、φｚ、ψｚ、ψｙがそれぞれ設定された状態で開始する。

【0094】

ステップＳ２３２で、下位符号化部２２１が、符号化関数ｆ_θｙ（ｘ）により、入力データｘから中間出力ｙを抽出し、上位符号化部２２２へ出力する。また、上位符号化部２２２が、符号化関数ｆ_θｚ（ｙ）により、中間出力ｙから低次元特徴量ｚを抽出する。

【0095】

次に、ステップＳ２３３で、上位復号化部２２８が、復号化関数ｇ_φｚ（ｚ）により、低次元特徴量ｚを復号して、中間出力ｙ’を生成する。

【0096】

次に、ステップＳ２３４で、推定部２１２が、下位符号化部２２１で抽出された中間出力ｙ、及び上位復号化部２２８で生成された中間出力ｙ＾の各々から、例えばＡＲモデルにより周辺領域を抽出する。そして、推定部２１２が、多次元ガウス分布のパラメータμ_（ｙ）及びσ_（ｙ）を推定することにより、中間出力ｙを条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ＾’）として推定する。

【0097】

次に、ステップＳ２３５で、推定部２１２が、上記ステップＳ２３４で推定したμ_（ｙ）及びσ_（ｙ）から（３）式により算出されるエントロピーＲ_ｙと、推定したσ_（ｙ）から算出されるエントロピーの期待値との差分ΔＲ_ｙを、（５）式により算出する。

【0098】

次に、ステップＳ２３６で、推定部２１２が、低次元特徴量ｚについて、ＧＭＭにより、確率分布Ｐ_ψｚ（ｚ）を推定し、ＧＭＭのメンバーシップ係数γを算出する。

【0099】

次に、ステップＳ２３７で、判定部２１６が、上記ステップＳ２３６で算出されたメンバーシップ係数γに基づいて、低次元特徴量ｚが属するクラスタを示すクラスタ情報を特定する。

【0100】

次に、ステップＳ２３８で、判定部２１６が、クラスタ毎に予め定められた判定基準のうち、上記ステップＳ２３７で特定したクラスタ情報、すなわち低次元特徴量ｚが属するクラスタに応じた判定基準を設定する。そして、判定部２１６が、判定対象の入力データｘについて、上記ステップＳ２３５で推定部１２により算出されたエントロピーの誤差ΔＲ_ｙと、設定した判定基準とを比較することにより、入力データｘが正常か又は異常かを判定する。

【0101】

次に、ステップＳ４０で、判定部２１６が、正常か異常かの判定結果を出力し、判定処理は終了する。

【0102】

以上説明したように、第２実施形態に係る判定制御装置は、下位層の符号化により低次元特徴量の中間出力を抽出し、上位層の符号化により低次元特徴量を抽出する。また、判定制御装置は、中間出力及び低次元特徴量を復号した出力の各々における、中間出力の注目データの周辺領域の情報の下での注目データの条件付き確率分布を推定する。また、判定制御装置は、第１実施形態と同様に、低次元特徴量が属するクラスタに応じた判定基準を設定する。そして、判定制御装置は、推定した条件付き確率分布のエントロピーと判定基準とを用いて、判定対象の入力データが正常であるか否かを判定する。これにより、低次元特徴量が示す大局的な特徴の下、中間出力が示す局所的な特徴を評価して、正常又は異常を判定することができる。したがって、入力データの特徴が様々な確率分布となり、正常と異常との相違が局所的特徴にある場合でも、正常と異常との区別が困難になることを抑制し、精度良く正常又は異常を判定することができるように制御することができる。

【0103】

なお、上記第２実施形態において、中間出力ｙ＾を生成するために中間出力ｙに加算するノイズε_ｙを一様分布Ｕ（－１／２，１／２）としてもよい。この場合、学習時において推定される条件付き確率分布Ｐ_ψｙ（ｙ｜ｙ＾’）は下記（６）式となる。また、推定時において算出されるエントロピーの差分ΔＲ_ｙは下記（７）式となる。なお、（７）式におけるＣは、設計したモデルに応じて経験的に決定される定数である。

【0104】

【数6】

【0105】

また、上記各実施形態では、入力データが画像データである場合を主に例示して説明したが、入力データは、心電図や脳波等の波形データであってもよい。その場合、符号化等のアルゴリズムには、１次元変換したＣＮＮ等を用いればよい。

【0106】

また、上記各実施形態では、１つのコンピュータに、学習時及び判定時の各機能部を含む判定制御装置について説明したが、これに限定されない。パラメータが調整される前のオートエンコーダ、推定部、及び調整部を含む学習装置と、パラメータが調整されたオートエンコーダ、推定部、及び判定部を含む判定装置とを、それぞれ別のコンピュータで構成するようにしてもよい。

【0107】

また、上記各実施形態では、判定制御プログラムが記憶部に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

【符号の説明】

【0108】

１０、２１０ 判定制御装置
１２、２１２ 推定部
１４、２１４ 調整部
１６、２１６ 判定部
２０、２２０ オートエンコーダ
２２ 符号化部
２４ ノイズ生成部
２６ 加算部
２８ 復号化部
２２１ 下位符号化部
２２２ 上位符号化部
２２３ 下位ノイズ生成部
２２４ 上位ノイズ生成部
２２５ 下位加算部
２２６ 上位加算部
２２７ 下位復号化部
２２８ 上位復号化部
４０ コンピュータ
４１ ＣＰＵ
４２ メモリ
４３ 記憶部
４９ 記憶媒体
５０、２５０ 判定制御プログラム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】