IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 菱洋エレクトロ株式会社の特許一覧

特開2024-163768監視対象の異常を予想するための方法及びシステム
<>
  • 特開-監視対象の異常を予想するための方法及びシステム 図1
  • 特開-監視対象の異常を予想するための方法及びシステム 図2
  • 特開-監視対象の異常を予想するための方法及びシステム 図3
  • 特開-監視対象の異常を予想するための方法及びシステム 図4
  • 特開-監視対象の異常を予想するための方法及びシステム 図5
  • 特開-監視対象の異常を予想するための方法及びシステム 図6
  • 特開-監視対象の異常を予想するための方法及びシステム 図7
  • 特開-監視対象の異常を予想するための方法及びシステム 図8
  • 特開-監視対象の異常を予想するための方法及びシステム 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024163768
(43)【公開日】2024-11-22
(54)【発明の名称】監視対象の異常を予想するための方法及びシステム
(51)【国際特許分類】
   G06N 20/00 20190101AFI20241115BHJP
   G05B 23/02 20060101ALI20241115BHJP
【FI】
G06N20/00
G05B23/02 R
【審査請求】未請求
【請求項の数】14
【出願形態】OL
(21)【出願番号】P 2023079641
(22)【出願日】2023-05-12
(71)【出願人】
【識別番号】391021684
【氏名又は名称】菱洋エレクトロ株式会社
(74)【代理人】
【識別番号】110000523
【氏名又は名称】アクシス国際弁理士法人
(72)【発明者】
【氏名】中村 明
(72)【発明者】
【氏名】亀岡 瑶
(72)【発明者】
【氏名】深田 俊明
【テーマコード(参考)】
3C223
【Fターム(参考)】
3C223AA15
3C223BA03
3C223CC01
3C223DD03
3C223EB01
3C223EB02
3C223FF08
3C223FF22
3C223FF26
3C223FF35
(57)【要約】
【課題】より早い段階で異常の検知を行うことができ、一方で、異常の検知及び識別の精度を高める方法を提供すること。
【解決手段】監視対象の異常を予想するための方法及びシステムであって、前記システムは、第1の判定手段、第2の判定手段、及び統合判定手段を含み、前記第1の判定手段は、正常状態に関する学習データを学習させた複数の正常モデルを含み、前記複数の正常モデルは、異なる異常状態の検知に適した複数のサブ正常モデルを含み、前記第2の判定手段は、異なる異常状態に関する学習データを学習させた、複数の異常モデルを含み、統合判定手段は、前記第1の判定手段からのスコアの出力、及び前記第2の判定手段からの確率又は尤度の出力に基づき、正常状態、又は少なくとも1つの異常状態の確率若しくは尤度を含む判定結果を出力するように構成される。
【選択図】図8
【特許請求の範囲】
【請求項1】
システムを用いた監視対象の異常を予想するための方法であって、
前記システムは、第1の判定手段、第2の判定手段、及び統合判定手段を含み、
前記第1の判定手段は、正常状態に関する学習データを学習させた複数の正常モデルを含み、前記複数の正常モデルは、異なる異常状態の検知に適した複数のサブ正常モデルを含み、
前記第2の判定手段は、異なる異常状態に関する学習データを学習させた、複数の異常モデルを含み、
前記方法は、
前記第1の判定手段及び前記第2の判定手段がそれぞれ監視対象のデータを受信するステップ(10)と、
前記第1の判定手段が、監視対象のデータから、前記複数の正常モデルのそれぞれに対するスコア、又は確率若しくは尤度を出力するステップ(201)と、
前記第2の判定手段が、監視対象のデータから、前記複数の異常モデルのそれぞれに対応する異常状態に対するスコア、又は確率若しくは尤度を出力するステップ(202)と、
前記統合判定手段が、前記第1の判定手段からの出力、及び前記第2の判定手段からの出力に基づき、正常状態、又は少なくとも1つの異常状態の情報を含む判定結果を出力するステップ(30)と
を含む、方法。
【請求項2】
前記第1の判定手段はさらに、異常状態の包括的な検知に適したメイン正常モデルを含む、請求項1に記載の方法。
【請求項3】
前記複数のサブ正常モデルは、正常状態に関する学習データのうち、異なる異常状態の検知に適した特徴量を抽出して学習されたものである、請求項1又は2に記載の方法。
【請求項4】
前記第1の判定手段は、少なくとも1種の環境ノイズを重畳した少なくとも1つの正常モデルを含む、請求項1又は2に記載の方法。
【請求項5】
前記第1の判定手段は、監視対象のデータから、前記複数の正常モデルのそれぞれに対するスコアを出力し、
前記第2の判定手段は、監視対象のデータから、前記複数の異常モデルのそれぞれに対応する異常状態に対する確率又は尤度を出力し、
前記ステップ(30)は、前記第1の判定手段からの前記スコアの出力に基づき、正常状態であるかどうかを判定するステップ(301)と、異常と判定した場合、前記スコアを前記第2の判定手段からの前記確率又は尤度の出力で重み付けして、少なくとも1つの異常状態を識別するステップ(302)とを含む、請求項1又は2に記載の方法。
【請求項6】
前記第2の判定手段はさらに少なくとも1つの正常モデルを含み、
前記ステップ(301)は、前記第1の判定手段からの前記スコアの出力、及び前記少なくとも1つの正常モデルに対して出力された正常状態の確率又は尤度の両方に基づき、正常状態であるかどうかを判定することを含む、請求項5に記載の方法。
【請求項7】
前記判定結果は、正常状態、又は前記複数の異常モデルに対応する複数の異常状態の確率又は尤度を含む、請求項1又は2に記載の方法。
【請求項8】
監視対象の異常を予想するためのシステムであって、
前記システムは、第1の判定手段、第2の判定手段、及び統合判定手段を含み、
前記第1の判定手段は、正常状態に関する学習データを学習させた複数の正常モデルを含み、前記複数の正常モデルは、異なる異常状態の検知に適した複数のサブ正常モデルを含み、
前記第2の判定手段は、異なる異常状態に関する学習データを学習させた、複数の異常モデルを含み、
前記第1の判定手段及び前記第2の判定手段はそれぞれ、監視対象のデータを受信するように構成され、
前記第1の判定手段は、監視対象のデータから、前記複数の正常モデルのそれぞれに対するスコア、又は確率若しくは尤度を出力するように構成され、
前記第2の判定手段は、監視対象のデータから、前記複数の異常モデルのそれぞれに対応する異常状態に対するスコア、又は確率若しくは尤度を出力するように構成され、
前記統合判定手段は、前記第1の判定手段からの出力、及び前記第2の判定手段からの出力に基づき、正常状態、又は少なくとも1つの異常状態の情報を含む判定結果を出力するように構成される、
システム。
【請求項9】
前記第1の判定手段はさらに、異常状態の包括的な検知に適したメイン正常モデルを含む、請求項8に記載のシステム。
【請求項10】
前記複数のサブ正常モデルは、正常状態に関する学習データのうち、異なる異常状態の検知に適した特徴量を抽出して学習されたものである、請求項8又は9に記載のシステム。
【請求項11】
前記第1の判定手段は、少なくとも1種の環境ノイズを重畳した少なくとも1つの正常モデルを含む、請求項8又は9に記載のシステム。
【請求項12】
前記第1の判定手段は、監視対象のデータから、前記複数の正常モデルのそれぞれに対するスコアを出力するように構成され、
前記第2の判定手段は監視対象のデータから、前記複数の異常モデルのそれぞれに対応する異常状態に対する確率又は尤度を出力するように構成され、
前記統合判定手段は、前記第1の判定手段からの前記スコアの出力に基づき、正常状態であるかどうかを判定し、異常と判定した場合、前記スコアを前記第2の判定手段からの前記確率又は尤度の出力で重み付けして、少なくとも1つの異常状態を識別するように構成される、請求項8又は9に記載のシステム。
【請求項13】
前記第2の判定手段はさらに少なくとも1つの正常モデルを含み、前記統合判定手段は、前記第1の判定手段からの前記スコアの出力、及び前記少なくとも1つの正常モデルに対して出力された正常状態の確率又は尤度の両方に基づき、正常状態であるかどうかを判定するように構成される、請求項12に記載のシステム。
【請求項14】
前記判定結果は、正常状態、又は前記複数の異常モデルに対応する複数の異常状態の確率又は尤度を含む、請求項8又は9に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、監視対象の異常を予想するための方法及びシステムに関する。
【背景技術】
【0002】
IoT分野においては、異常を検知するためのシステムの開発が行われてきた。例えば、センサなどで特定の対象を監視し、当該センサからのデータが閾値を超えた場合などに警告を出力させ、現場の管理責任者の補助を行うことができる。
【0003】
近年、人工知能の発展により、異常を検知するための更に複雑な判断が可能になってきた。例えば、機械学習を利用して、大量のデータを学習させることで、単純に閾値との大小関係などでは判別できない異常を検知することができるようになってきた。
【0004】
特許文献1(国際公開第2019/107315号)では、モニタリング対象機器の異常発生予兆検知方法及びシステムを開示している。具体的には、当該文献では、ボトルネック特徴量BNFを、正常稼働状態を機械学習アルゴリズムによりモデル化した異常検知システムFDSに入力して、モニタリング対象機器で異常が発生することの予兆を検知することを開示している。
【0005】
また、特許文献2(特開2020-140518号公報)では、情報処理装置、情報処理装置の制御方法及びプログラムが開示されている。具体的には、当該文献では、ラベル付け対象データの中から学習に効果的なデータを判定して局所データとして設定し、当該局所データの分布に基づいて、ラベル付け対象データの中からラベル付けを行う部分領域を設定し、設定された部分領域を表示部に表示させることを開示している。
【先行技術文献】
【特許文献】
【0006】
【特許文献1】国際公開第2019/107315号
【特許文献2】特開2020-140518号公報
【発明の概要】
【発明が解決しようとする課題】
【0007】
ところで、機械学習を用いた様々な異常検知の仕組みが提案されている。異常検知は、概念的には2種類の検知を含む。1つめの検知は、異常が発生したことを検知することである。2つめの検知は、異常がこれから発生する、又は、発生する可能性があることを検知することである。
【0008】
異常が発生した後に知るよりは、異常が発生する前に知ることは、ユーザにとってより好ましい。そして、早く知ることができれば、異常への対策のための時間が多く確保できる。
【0009】
しかし、より早く検知することには、通常正確さの低下を伴う。例えば、早い段階で異常の可能性を検知しても、結果的には異常ではなかったという可能性がある。換言すれば、早く検知することと、正確に検知することはトレードオフの関係となる。
【0010】
本発明は、上記課題に鑑みて完成されたものであり、一実施形態において、より早い段階で異常の検知を行うことができ、一方で、異常の検知及び識別の精度を高める方法を提供することを目的とする。本発明は別の実施形態において、そのような方法を実行するためのシステムを提供することを課題とする。
【課題を解決するための手段】
【0011】
機械学習に基づく異常検知では、異常の種類は無数にあり得るため、モデル学習に必要な異常データの収集が困難である。そのため、正常モデルのみを用いて正常か異常かの判定を行うことが通常である。そして、正常モデルを用いて異常を高い精度で検知するためには、正常データから十分に離れた異常データが観測される必要がある。すなわち、異常の種類や、観測の環境によっては、常に正常データから十分に離れたデータが得られるわけではなく、1つの正常モデルだけでは判定精度の限界がある。そこで、本発明者らは、あらかじめ想定される個々の異常状態の検知に適した複数の正常モデルを用意し、観測データに応じて適切な正常モデルを選択して判定を行うことに着想した。
【0012】
本発明者らがさらに鋭意検討した結果、正常状態に関するデータを機械学習させたメイン正常モデルよりも細分化された、あらかじめ想定される個々の異常状態の検知に適したサブ正常モデルとともに、さらに異常状態に関するデータを機械学習させた複数の異常モデルを併用することで、異常の検知及び精度を高めることができ、上記課題を解決できることを見出した。本発明は上記知見に基づき完成されたものであり、以下に例示される。
【0013】
[1]
システムを用いた監視対象の異常を予想するための方法であって、
前記システムは、第1の判定手段、第2の判定手段、及び統合判定手段を含み、
前記第1の判定手段は、正常状態に関する学習データを学習させた複数の正常モデルを含み、前記複数の正常モデルは、異なる異常状態の検知に適した複数のサブ正常モデルを含み、
前記第2の判定手段は、異なる異常状態に関する学習データを学習させた、複数の異常モデルを含み、
前記方法は、
前記第1の判定手段及び前記第2の判定手段がそれぞれ監視対象のデータを受信するステップ(10)と、
前記第1の判定手段が、監視対象のデータから、前記複数の正常モデルのそれぞれに対するスコア、又は確率若しくは尤度を出力するステップ(201)と、
前記第2の判定手段が、監視対象のデータから、前記複数の異常モデルのそれぞれに対応する異常状態に対するスコア、又は確率若しくは尤度を出力するステップ(202)と、
前記統合判定手段が、前記第1の判定手段からの出力、及び前記第2の判定手段からの出力に基づき、正常状態、又は少なくとも1つの異常状態の情報を含む判定結果を出力するステップ(30)と
を含む、方法。
[2]
前記第1の判定手段はさらに、異常状態の包括的な検知に適したメイン正常モデルを含む、[1]に記載の方法。
[3]
前記複数のサブ正常モデルは、正常状態に関する学習データのうち、異なる異常状態の検知に適した特徴量を抽出して学習されたものである、[1]又は[2]に記載の方法。
[4]
前記第1の判定手段は、少なくとも1種の環境ノイズを重畳した少なくとも1つの正常モデルを含む、[1]~[3]のいずれか1項に記載の方法。
[5]
前記第1の判定手段は、監視対象のデータから、前記複数の正常モデルのそれぞれに対するスコアを出力し、
前記第2の判定手段は、監視対象のデータから、前記複数の異常モデルのそれぞれに対応する異常状態に対する確率又は尤度を出力し、
前記ステップ(30)は、前記第1の判定手段からの前記スコアの出力に基づき、正常状態であるかどうかを判定するステップ(301)と、異常と判定した場合、前記スコアを前記第2の判定手段からの前記確率又は尤度の出力で重み付けして、少なくとも1つの異常状態を識別するステップ(302)とを含む、[1]~[4]のいずれか1項に記載の方法。
[6]
前記第2の判定手段はさらに少なくとも1つの正常モデルを含み、
前記ステップ(301)は、前記第1の判定手段からの前記スコアの出力、及び前記少なくとも1つの正常モデルに対して出力された正常状態の確率又は尤度の両方に基づき、正常状態であるかどうかを判定することを含む、[5]に記載の方法。
[7]
前記判定結果は、正常状態、又は前記複数の異常モデルに対応する複数の異常状態の確率又は尤度を含む、[1]~[6]のいずれか1項に記載の方法。
[8]
監視対象の異常を予想するためのシステムであって、
前記システムは、第1の判定手段、第2の判定手段、及び統合判定手段を含み、
前記第1の判定手段は、正常状態に関する学習データを学習させた複数の正常モデルを含み、前記複数の正常モデルは、異なる異常状態の検知に適した複数のサブ正常モデルを含み、
前記第2の判定手段は、異なる異常状態に関する学習データを学習させた、複数の異常モデルを含み、
前記第1の判定手段及び前記第2の判定手段はそれぞれ、監視対象のデータを受信するように構成され、
前記第1の判定手段は、監視対象のデータから、前記複数の正常モデルのそれぞれに対するスコア、又は確率若しくは尤度を出力するように構成され、
前記第2の判定手段は、監視対象のデータから、前記複数の異常モデルのそれぞれに対応する異常状態に対するスコア、又は確率若しくは尤度を出力するように構成され、
前記統合判定手段は、前記第1の判定手段からの出力、及び前記第2の判定手段からの出力に基づき、正常状態、又は少なくとも1つの異常状態の情報を含む判定結果を出力するように構成される、
システム。
[9]
前記第1の判定手段はさらに、異常状態の包括的な検知に適したメイン正常モデルを含む、[8]に記載のシステム。
[10]
前記複数のサブ正常モデルは、正常状態に関する学習データのうち、異なる異常状態の検知に適した特徴量を抽出して学習されたものである、[8]又は[9]に記載のシステム。
[11]
前記第1の判定手段は、少なくとも1種の環境ノイズを重畳した少なくとも1つの正常モデルを含む、[8]~[10]のいずれか1項に記載のシステム。
[12]
前記第1の判定手段は、監視対象のデータから、前記複数の正常モデルのそれぞれに対するスコアを出力するように構成され、
前記第2の判定手段は監視対象のデータから、前記複数の異常モデルのそれぞれに対応する異常状態に対する確率又は尤度を出力するように構成され、
前記統合判定手段は、前記第1の判定手段からの前記スコアの出力に基づき、正常状態であるかどうかを判定し、異常と判定した場合、前記スコアを前記第2の判定手段からの前記確率又は尤度の出力で重み付けして、少なくとも1つの異常状態を識別するように構成される、[8]~[11]のいずれか1項に記載のシステム。
[13]
前記第2の判定手段はさらに少なくとも1つの正常モデルを含み、前記統合判定手段は、前記第1の判定手段からの前記スコアの出力、及び前記少なくとも1つの正常モデルに対して出力された正常状態の確率又は尤度の両方に基づき、正常状態であるかどうかを判定するように構成される、[12]に記載のシステム。
[14]
前記判定結果は、正常状態、又は前記複数の異常モデルに対応する複数の異常状態の確率又は尤度を含む、[8]~[13]のいずれか1項に記載のシステム。
【発明の効果】
【0014】
本発明の一実施形態によれば、より早い段階で異常の検知を行うことができ、一方で、異常の検知及び識別の精度を高める方法を提供することができる。また、本発明の別の実施形態によれば、そのような方法を実施するためのシステムを提供することができる。
【図面の簡単な説明】
【0015】
図1】本発明の一実施形態におけるシステムの概要を示す模式図である。
図2】本発明の別の一実施形態におけるシステムの概要を示す模式図である。
図3】本発明の一実施形態における情報処理装置の概要を示す模式図である。
図4】本発明の一実施形態における第1の判定手段の概要を示す模式図である。
図5】本発明の別の一実施形態における第1の判定手段の概要を示す模式図である。
図6】本発明の一実施形態における第2の判定手段の概要を示す模式図である。
図7】本発明の一実施形態の方法に関するフローを示す図である。
図8】本発明の別の一実施形態の方法に関するフローを示す図である。
図9】本発明の一実施形態において、メイン正常モデルとサブ正常モデルの学習データの違いの例を示す図である。
【発明を実施するための形態】
【0016】
次に、本発明の実施形態について、図面を参照しながら詳細に説明する。本発明は以下の実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で、当業者の通常の知識に基づいて、適宜設計の変更、改良等が加えられることが理解されるべきである。
【0017】
(1.定義)
本明細書において、用語「異常検知」は、異常が起こったことを検出することと、異常が起きる前の予兆を検出することとのうちいずれか一方又は両方を意味する。好ましい実施形態において、用語「異常検知」は、異常が起きる前の予兆を検出することを含む。そして、用語「異常検知手段」は、異常検知を行うための手段を意味する。
【0018】
本明細書において、用語「異常識別」は、異常の原因を推定することを意味する。ここで、推定することは、原因を断定することは必須ではない。例えば、推定することは、複数種類の可能性のある原因に関するそれぞれの確率又は尤度を出力することを含む。そして、用語「異常識別手段」は、異常識別を行うための手段を意味する。
【0019】
本明細書において、用語「判定」は、「異常検知」及び「異常識別」の総称であり、その一方又は両方を意味する。
【0020】
本明細書において、用語「学習済みモデル」は、アルゴリズム(プログラム)と学習済みパラメータの組み合わせである。学習済みパラメータに従ってアルゴリズムを実行した結果精度の高い出力を得ることができる。限定されるものではないが、学習済みモデルは、以下から選択される1種以上又はこれらの組み合わせを含む:隠れマルコフモデル、SVR法(サポートベクター回帰法:Support Vector Regression)、PLS法(部分最小二乗法:Partial Least Squares)、ニューラルネットワーク法、ランダムフォレスト法、又は決定木法等。ニューラルネットワークは、限定されるものではないが、例えば、以下から選択される1種以上又はこれらの組み合わせを含む:CNN(畳み込みニューラルネットワーク:Convolutional neural network)、GAN(敵対的生成ネットワーク:Generative adversarial network)、オートエンコーダ、DNN(ディープニューラルネットワーク:Deep Neural Network)、LSTM(長・短期記憶:Long Short Term Memory)、RNN(回帰型ニューラルネットワーク:Recurrent neural network)等。
【0021】
本明細書において、用語「中間処理結果」は、上述した学習済みモデルにおいて、入力と出力との間における任意のポイントから抽出された値の組み合わせ、又は当該値の組み合わせに対して追加の処理を行った結果を意味する。
【0022】
例えば、ニューラルネットワークの場合には、中間層が存在する。そして、ニューラルネットワークの「中間処理結果」は、任意の中間層における各ノードの値の組み合わせを抽出したもの、又は、当該抽出したものに対して追加の処理を行った結果を意味する。追加の処理の例としては、例えば、別の学習済みモデルなどにより特徴量を抽出することなどを含んでもよい。
【0023】
(2.実行環境)
[2-1.システムの概要]
一実施形態における本開示のシステム及び方法を実現するための実行環境の例を図1に示す。サーバ1010と複数台のエッジ端末1020がネットワークを通して接続される。図1においては、サーバ1010は一台のハードウェアとして表現されているが、複数台の物理的なハードウェアに分散されてもよい。サーバ1010はクラウドサーバであってもよく、あるいは、オンプレミスのサーバであってもよい。エッジ端末1020については、複数台の端末として表現されているが、理論上は一台の端末であってもよい。ただし、サーバ1010を利用する場合は、複数のユーザが共同利用するケースが多いため、典型的には、システムは、複数のエッジ端末1020を有する。ネットワークは、有線であってもよく、無線であってもよく、あるいは、両者の組み合わせであってもよい。
【0024】
図2は、図1の変形例であり、システムは、中継器1030とセンサ1040を更に備える。エッジ端末1020は、別のネットワーク(第2ネットワーク)を経由して、中継器1030と接続されている。この中継器1030は、センサ1040からの情報を、第2ネットワークを通して、エッジ端末1020に送信することができる。そして、センサ1010からの情報に基づいて、異常検知及び異常識別を行うことができる。図2では、中継器1030とセンサ1040は1台ずつ示しているが、これらは複数台存在してもよい。例えば、1台のエッジ端末に対応して、複数台の中継器1030が存在してもよい。また、1台の中継器1030に対応して、複数台のセンサ1040が存在してもよい。
【0025】
なお、図2では、センサ1040は、中継器1030と接続されているが、必要に応じて、エッジ端末1020に直接接続されてもよい。
【0026】
[2-2.情報処理装置の概要]
上述したサーバ1010及びエッジ端末1020は、典型的には情報処理装置(又はコンピューティングデバイス)である。また、上述した中継器1030も、情報処理装置であってもよい。
【0027】
情報処理装置は、典型的には、図3に示すように、プロセッサ、メモリ、非一時的記憶媒体、及び、通信モジュールを備えることができる。
【0028】
情報処理装置は、例えば、以下が含まれるが、これらに限定されない:サーバ、パーソナルコンピュータ、シングルボードコンピュータ(例えば、ラズベリーパイ等)、タブレット端末、スマートフォン、スマートウォッチ、スマートグラス等。
【0029】
情報処理装置において、プログラムは、非一時的な記憶媒体(例えば、HDD、SSD等)に記憶され、適宜、メモリ(例えば、RAM等)にロードされ、プロセッサ(例えば、CPU等の電子的プロセッサ)によって実行される。必要に応じて、プログラムは、通信モジュールを通してネットワークに接続して、情報の送信及び受信を行うことができる。
【0030】
一実施形態において、プログラムは、アプリケーションソフトとして、1台の情報処理装置にインストールされてもよく、そして、当該情報処理装置によって実行されてもよい。
【0031】
別の実施形態において、情報処理装置の数は1台に限定されず、必要に応じて複数台の情報処理装置を利用してもよい。その際には、プログラムの機能を複数台の情報処理装置に分散させてもよい。あるいは、プログラムを一部の情報処理装置にインストールし、他の情報処理装置がネットワークを介して当該プログラムを実行するように構成してもよい。
【0032】
[2-3.第1の判定手段、第2の判定手段、及び統合判定手段の配置]
一実施形態において、第1の判定手段、第2の判定手段、及び統合判定手段は、所望のプログラムをインストールした情報処理装置によって実装されてもよい。そして、第1の判定手段、第2の判定手段、及び統合判定手段は、図1及び図2に示したサーバ1010に実装されてよく、任意のエッジ端末1020に実装されてもよい。
【0033】
例えば、エッジ端末1020にて、第1の判定手段、第2の判定手段、及び統合判定手段が実装される場合には、サーバ1010は、これらの手段に関連するプログラム等のバージョン管理を行ってもよい。そして、エッジ端末1020は適宜サーバ1010から、プログラム等の少なくとも一部をダウンロードでアップデートを行ってもよい。
【0034】
また、第1の判定手段、第2の判定手段、及び統合判定手段は、同一の情報処理装置内に実装されてもよいが、場合により、複数台の情報処理装置に実装されてもよい。複数台の情報処理装置に実装される場合には、1台の情報処理装置に第1の判定手段を実装し、別の1台の情報処理装置に第2の判定手段を実装し、さらに別の1台の情報処理装置に統合判定手段を実装してもよい。
【0035】
あるいは、第1の判定手段、第2の判定手段、及び統合判定手段のいずれかを、更に細かくモジュール化して、第1の判定手段、第2の判定手段、又は統合判定手段の一部のモジュールを1台の情報処理装置に実装し、第1の判定手段、第2の判定手段、又は統合判定手段の別の一部のモジュールを、別の1台の情報処理装置に実装してもよい。
【0036】
サーバ1010に、第1の判定手段、第2の判定手段、及び統合判定手段が実装される場合、上述したエッジ端末1020と同様に、複数台のサーバ1010に分散して実装されてもよい。
【0037】
また、複数台のサーバ1010を使用する場合、図1及び図2には示していないが、第1のサーバ1010と第2のサーバ1010は、別のネットワークで接続されてもよい。そして、第1のサーバ1010は、図1及び図2に示したネットワークにて接続され、エッジ端末1020からのリクエストを受け付ける機能を有してもよい(例えばウェブサーバ)。そして、第1のサーバ1010は、エッジ端末1020からのリクエストに基づいて、第2のサーバ1010に問い合わせを行い、問い合わせ結果をエッジ端末1020に送信してもよい。この場合、第2のサーバ1010には、第1の判定手段、第2の判定手段、及び統合判定手段が実装され、これらの手段に基づいて、第2のサーバ1010は、問い合わせ結果を出力することができる。
【0038】
(3.第1の判定手段)
一実施形態における、第1の判定手段の構成を図4に示す。第1の判定手段は、正常状態に関する学習データを学習させた複数の正常モデルを含む。複数の正常モデルは、いずれも学習済みモデルである。また、複数の正常モデルは、異なる異常状態の検知に適した複数のサブ正常モデル(サブ正常モデル2011~201N。Nは2以上の任意の整数である。)とを含む。サブ正常モデルは、個々の異常状態の検知又は識別に適した正常モデルである。また、第1の判定手段はさらに、個別の異常状態に限定せず、異常状態を包括的に検知するためのメイン正常モデル2010を含み得る。メイン正常モデル2010は、何らかの異常状態(すなわち、異常状態の種類を限定しない)を検知するための正常モデルである。メイン正常モデル2010は、例えば有限個の異常モデルではあらゆる異常状態を網羅できない場合、異常検知の精度を向上させるために有効である。一方、サブ正常モデル2011~201Nは、異なる異常状態の識別に適するように、それぞれ異なる学習データを学習させたものとする。サブ正常モデルを学習する方法のひとつとして、学習データセットから個々の異常状態の識別に適したサブセットを選定して用いることが考えられる。なお、以下単に「正常モデル」に言及する場合、メイン正常モデル及びサブ正常モデルの両方を意味し得る。
【0039】
好ましい実施形態では、サブ正常モデル2011~201Nは、正常状態に関する学習データのうち、異なる異常状態の検知に適した特徴量を抽出して学習されたものである。すなわち、サブ正常モデル2011~201Nは、それぞれ異なる異常状態の検知に適するように構成される。特徴量は、異なる異常状態を区別できるものであれば特に限定されないが、ニューラルネットワークの場合には、ボトルネック特徴量であり得る。
【0040】
また、好ましくは、第1の判定手段は、入力部2020及び出力部2030を備える。入力部2020は、監視対象のデータなどのデータを外部から受信し、当該データを複数の正常モデルに入力することができる。場合により、入力部2020は、受信した外部からのデータに対して前処理を行い、前処理後のデータを複数の正常モデルに入力することができる。出力部2030は、複数の正常モデルからの出力を受信し、外部へ送信することができる。
【0041】
用語「学習済みモデル」については上述したように、学習済みモデルの種類について特に限定されない。ただし、第1の判定手段における複数の正常モデル2010~201Nは、正常状態に関する学習データを学習させて構築される。そのため、第1の判定手段は、主に異常検知手段として機能する。
【0042】
正常状態に関する学習データを学習させて構築する目的で、好適な学習済みモデルとして、ニューラルネットワーク、隠れマルコフモデル、又はこれらの組み合わせ等が挙げられる。
【0043】
複数の正常モデル2010~201Nから出力されるデータは、監視対象のデータに基づいた、それぞれの正常モデルに対するスコア、又は確率又は尤度である。本実施形態では、第1の判定手段がそれぞれの正常モデルに対するスコアを出力する場合について説明する。スコアとは、当該正常モデルが異常の判定に適する程度の尺度であり、例えば異常検知に広く利用されているオートエンコーダの場合、出力データが入力データを再現するようにニューラルネットワークが学習されているため、入力データに対して出力データがどの程度離れているかを表す誤差関数の値をスコアとすることができる。ここで誤差関数には平均二乗誤差を用いるのが一般的である。一般には、このスコアが大きければ大きいほど、異常が発生した、又はこれから異常が発生する可能性が高いことを意味する。
【0044】
さらに、本発明の一部好ましい実施形態においては、複数のサブ正常モデル2011~201Nは、少なくとも1種の環境ノイズを重畳した少なくとも1つの正常モデルを含むことができる。すなわち、正常モデルは、環境ノイズに関するデータを正常状態に関するデータに重畳してなる学習データを学習させたものであり得る。
【0045】
本発明の好ましい実施形態における、第1の判定手段の構成を図5に示す。当該構成において、入力部2020及び出力部2030の構成は前述の通りであるが、複数のサブ正常モデル2011~201Nはそれぞれ、環境ノイズ1~M(Mは1以上の整数である。)に重畳されることにより、メイン正常モデル2010-1~2010-M、サブ正常モデル2011-1~201N-1、サブ正常モデル2011-2~201N-2などが得られている。
【0046】
ここで、正常状態に関するデータに、環境ノイズに関するデータを重畳する理由は、監視対象が存在する場所には様々な環境ノイズが存在する可能性があるからである。正常モデルから異常を判定する精度を確保するためには、正常状態から十分に離れた異常データが観測される必要があるが、環境ノイズが存在すると、それ自体も異常データの一部を構成することになり、観測データが実際にどれほど正常状態から離れているかを評価しにくい場合がある。そこで、環境ノイズを正常データに重畳して正常モデルを学習することで、異常データがどれほど正常状態から離れているかを評価しやすくなり、判定の精度が高くなる。環境ノイズ種類及び数は、監視対象が存在する具体的な環境に応じて設定できる。例えば、音声データの場合、正常状態の音声データに、環境に存在する雑音の音声データを重畳することができる。なお、データを重畳する際には、実際の利用環境において想定される観測データと環境ノイズの比、すなわち、いわゆるS/N比に基づいて、適切な比率で加算することが望ましい。また、想定されるS/N比がある程度の幅を持つ場合には、複数のS/N比で環境ノイズを重畳したデータを組合せで正常モデルを学習しても良い。
【0047】
(4.第2の判定手段)
一実施形態における、第2の判定手段の構成を図6に示す。第2の判定手段は、異なる異常状態に関する学習データを学習させた、複数の異常モデル3011~301N(Nは2以上の任意の整数である。なお、第1の判定手段及び第2の判定手段において、Nの数値が必ずしも一致する必要はない。)を含む。複数の異常モデル3011~301Nは、いずれも学習済みモデルである。第2の判定手段は、複数の異常モデル3011~301Nのそれぞれに対応する異常状態に対するスコア、又は確率若しくは尤度を出力するように構成される。本実施形態では、第2の判定手段が複数の異常モデル3011~301Nのそれぞれに対応する異常状態に対する確率又は尤度を出力する場合について説明する。
【0048】
複数の異常モデル3011~301Nは、それぞれ異なる異常の原因に特化したものである。すなわち、可能性のある異常の原因が複数存在する場合、各々の原因に特化したデータを、別々に学習させて、複数の学習済みモデルを構築できる。例えば、異常の原因となる要素がA、B、Cの三種類存在する可能性がある場合、要素Aに起因する異常かどうかの判定に特化した異常モデル3011、要素Bに起因する異常かどうかの判定に特化した異常モデル3012、要素Cに起因する異常かどうかの判定に特化した異常モデル3013を構築してもよい。そして、所定の値を入力して、要素Aを原因とする異常の確率又は尤度、要素Bを原因とする異常の確率又は尤度、要素Cを原因とする異常の確率又は尤度等をそれぞれ出力することができる。
【0049】
別の好ましい実施形態においては、複数の異常モデル3011~301Nを用いて、1つの原因の確率又は尤度を判定してもよい。すなわち、異なる種類の異常モデルを組み合わせて、それぞれの出力結果を総合判定するようにしてもよい(パラレルな組み合わせ)。あるいは、異なる種類の異常モデルを組み合わせて、1つの異常モデルの出力結果を別の1つの異常モデルが受信して、更に別の出力結果を出力するようにしてもよい(シリアルな組み合わせ)。
【0050】
なお、後述のように、第2の判定手段は、第1の判定手段と組み合わせて統合判定を行うことにより判定精度を向上することを目的としているものであるから、ある異常状態に対応して、第1の判定手段における当該異常状態に適した正常モデル、及び第2の判定手段における当該異常状態に適した異常モデルがそれぞれ存在することが好ましい。本発明の一実施形態において、第2の判定手段における異常モデルのすべてに対応して、第1の判定手段における正常モデルが存在する。
【0051】
また、本発明の好ましい実施形態において、第2の判定手段は、少なくとも1つの正常モデル3110を含む。第2の判定手段が異常モデルのみを含むと、監視対象が正常状態である場合、どの異常モデルに注目しても、その確率又は尤度が低い場合がある。その場合、異常を識別する必要はなく、監視対象が正常であることを出力すればよい。そこで、第2の判定手段が少なくとも1つの正常モデルを含むことで、正常モデルの確率又は尤度が高いか又は低いかによって、監視対象が正常かどうかを推定しやすくなる。なお、第2の判定手段における正常モデル3110は、第1の判定手段におけるメイン正常モデル2010と同様であることが好ましいが、異なっていてもよい。
【0052】
また、好ましくは、第2の判定手段は、入力部3020及び出力部3030を備える。入力部3020は、監視対象のデータなどのデータを外部から受信し、当該データを複数の異常モデル3011~301Nに入力することができる。場合により、入力部3020は、受信した外部からのデータに対して前処理を行い、前処理後のデータを複数の異常モデル3011~301Nに入力することができる。出力部3030は、複数の異常モデル3011~301Nからの出力を受信し、外部へ送信することができる。
【0053】
用語「学習済みモデル」について上述したように、学習済みモデルの種類については特に限定されない。ただし、第2の判定手段における複数の異常モデル3011~301Nは、異常状態に関する学習データを学習させて構築される。そのため、第2の判定手段は、主に異常識別手段として機能する。
【0054】
異常状態に関する学習データを学習させて構築する目的で、好適な学習済みモデルとして、ニューラルネットワーク、隠れマルコフモデル、又はこれらの組み合わせ等が挙げられる。
【0055】
複数の異常モデル3011~301Nから出力されるデータは、監視対象のデータに基づいた、異常(又はこの予兆)が特定の原因であることの確率又は尤度である。確率又は尤度は、当該原因により異常が発生した、又はこれから発生する可能性の尺度であり、これらは、例えば隠れマルコフモデルの場合、Baum-Welchアルゴリズムなどを用いることによって異常判定に適したパラメータが推定された状態の学習済みモデルに対し、監視対象のデータを入力することで、監視対象のデータの特性に応じ、強い反応を示す学習済みモデルのパラメータ等によって決定、算出される確率又はベクトルである。
【0056】
(5.統合判定手段)
統合判定手段は、第1の判定手段からの出力、及び第2の判定手段からの出力に基づき、正常状態、又は少なくとも1つの異常状態の情報を含む判定結果を出力する。本実施形態では、統合判定手段が、第1の判定手段からのスコアの出力、及び第2の判定手段からの確率又は尤度の出力に基づき、判定結果を出力する場合について説明する。この実施形態において、統合判定手段は、正常状態、又は少なくとも1つの異常状態の確率若しくは尤度を含む判定結果を出力する。好ましくは、判定結果は、正常状態、及び複数の異常モデルのすべてに対応する複数の異常状態の確率又は尤度を含み得る。
【0057】
また、本発明の好ましい実施形態では、統合判定手段は、第1の判定手段からのスコアの出力を、第2の判定手段からの確率又は尤度の出力で重み付けして、判定結果を出力するように構成される。なお、すべての正常モデルのスコアを判定結果の出力に用いてもよいが、本発明の一部の実施形態では、上位数個のスコアのみを用いることもできる。
【0058】
統合判定手段による上記操作により、監視対象のデータにより適した正常モデル(メイン正常モデル又はいずれかのサブ正常モデルであり得る)、すなわち、監視対象のデータからより離れた正常モデルがより高いスコアが得られるようになるので、スコアの高い正常モデルに重み付けすることで、より高い精度で異常検知を行うことができ、また、異なる異常モデルと組み合わせることで、単に異常の有無だけでなく、異常の種類も含めた結果を出力することが可能である。判定結果の出力には、例えば、正常である確率又は尤度、及びそれぞれの異常の確率又は尤度が含まれ得る。
【0059】
なお、統合判定手段による上記操作の詳細は後述する。
【0060】
(6.判定結果を出力するまでの流れ)
上述した第1の判定手段、第2の判定手段、及び統合判定手段を用いた、本発明の一実施形態における判定結果を出力するまでの流れを以下に説明する。図7に、本発明の一実施形態の方法に関するフローを示す。当該方法は、少なくとも以下のステップを含む:
第1の判定手段及び第2の判定手段がそれぞれ監視対象のデータを受信するステップ(10)、
第1の判定手段が、監視対象のデータから、複数の正常モデルのそれぞれに対するスコア、又は確率若しくは尤度を出力するステップ(201)、
第2の判定手段が、監視対象のデータから、複数の異常モデルのそれぞれに対応する異常状態に対するスコア、又は確率若しくは尤度を出力するステップ(202)、及び
統合判定手段が、第1の判定手段からの出力、及び第2の判定手段からの出力に基づき、正常状態、又は少なくとも1つの異常状態の情報を含む判定結果を出力するステップ(30)。
【0061】
以下の説明では、第1の判定手段が複数の正常モデルのそれぞれに対するスコアを出力し、第2の判定手段が複数の異常モデルのそれぞれに対応する異常状態に対する確率又は尤度を出力する場合について説明する。
【0062】
[6-1.監視対象のデータを受信するステップ(10)]
監視対象のデータは、第1の判定手段及び第2の判定手段の両方に入力される。監視対象のデータの種類は特に限定されず、任意の形式のデータであってもよい。
【0063】
データの例として、少なくとも以下から選択される1以上を含むことができる:画像データ(例えば、静止画データ、動画データ等)、音声データ(例えば、肉声、物質音、及び両者の混合物)、時系列データ(例えば、センサから得られる値の時間的変化を記録したデータ等)。
【0064】
監視対象のデータは、例えば、図2に示すセンサ1040から得られるデータに由来してもよい。また、監視対象のデータは、図2に示すセンサ1040から得られる生データである必要はなく、A/D変換、適宜フィルタリング、特徴量抽出などの加工処理を経て得られるデータであってもよい。
【0065】
別の実施形態において、監視対象のデータは、必ずしもセンサ1040から得られるデータに由来しなくてもよい。例えば、インターネット上の商取引量の時系列データなどは、特定のセンサ1040に由来するわけではなく、電子商取引サイトからの売買注文を集計して得られるデータであり、センサ1040を使用しているわけではない。本実施形態においては、このようなセンサ1040を使用しないで得られた時系列データなども、監視対象のデータに含めてもよい。
【0066】
[6-2.正常モデルに対するスコアを出力するステップ(201)]
第1の判定手段は、入力された監視対象のデータから、各正常モデルに対するスコアを算出する。スコアの算出は前述の方法により行うことができる。各正常モデルに対するスコアは入力データが正常である場合には全体に低い値となる傾向を示す一方、入力データが何らかの異常状態に該当する場合には全体に高い値となりやすく、特に当該異常状態に対応するサブ正常モデルに対するスコアがより高い値を示しやすい。これによって、単一の正常モデルのみでは正常か否かの判定しか行えないのに対し、サブ正常モデルを用いることによって、入力データがどの異常状態により近いかを推定できる。さらに第2の判定手段の出力と統合することによって、単一の判定手段のみを用いるよりも判定精度を向上することができる。
【0067】
[6-3.異常状態に対する確率又は尤度を出力するステップ(202)]
第2の判定手段は、入力された監視対象のデータから、複数の異常モデルのそれぞれに対応する異常状態に対する確率又は尤度を算出する。確率又は尤度の算出は前述の方法により行うことができる。複数の異常モデルのそれぞれに対応する異常状態に対する確率又は尤度を算出することにより、入力データがどの異常状態により近いかを推定できる。ただし、第1の判定手段と第2の判定手段は入力データから抽出する特徴量や判定の方式が異なるため、必ずしも同じ判定結果となるとは限らず、後述のようにそれぞれの出力を統合することによって判定精度を向上することができる。
【0068】
なお、ステップ(201)及びステップ(202)は、シリアルに行うこともできるが、好ましくはパラレルに行う。
【0069】
[6-4.判定結果を出力するステップ(30)]
統合判定手段は、第1の判定手段からのスコアの出力、及び第2の判定手段からの確率又は尤度の出力に基づき、正常状態、又は少なくとも1つの異常状態の情報を含む判定結果を出力する。少なくとも1つの異常状態の情報には、当該異常状態の種類、当該異常状態のスコア、又は当該異常状態の確率若しくは尤度などが含まれ得る。例えば、正常状態でないと判定した場合、複数の異常モデルに対応する複数の異常状態の確率又は尤度を出力することができる。本発明の好ましい実施形態では、統合判定手段は、第1の判定手段からのスコアの出力に基づき、正常状態であるかどうかを判定するステップ(301)と、異常と判定した場合、当該スコアを第2の判定手段からの確率又は尤度の出力で重み付けして、少なくとも1つの異常状態を識別するステップ(302)とを含む。本発明のさらに好ましい実施形態では、第2の判定手段はさらに少なくとも1つの正常モデルを含み、ステップ(301)は、第1の判定手段からのスコアの出力、及び当該少なくとも1つの正常モデルに対して出力された正常状態の確率又は尤度の両方に基づき、正常状態であるかどうかを判定することを含む。
【0070】
判定結果を算出する方法の一例を以下に示す。
【0071】
本発明の方法の好ましい実施形態のフローチャートを図8に示す。統合判定手段は、まず正常・異常判定ステップ(301)において、第1の判定手段が出力した各スコア{s0,s1,s2,s3…}から代表値srを求め、これに第2の判定手段が出力した正常状態に対する確率又は尤度y0の逆数1/y0を乗じた値を所定のしきい値と比較し、しきい値未満であれば正常と判定し、しきい値以上であれば何らかの異常であると判定する。ここで、代表値srとしては例えばスコア{s0,s1,s2,s3…}の平均値、あるいは最大値smaxを用いることが望ましい。また、メイン正常モデルがない場合、s0を計算から除外すればよい。なお、y0が0である場合には直接異常と判定してもよい。また、代表値srに1/y0を乗じることなく直接しきい値と比較して判定を行ってもよい。正常と判定した場合、判定結果として正常を出力する。本発明の別の実施形態では、正常である確率又は尤度を算出して出力することもできる。
【0072】
正常・異常判定ステップ(301)において異常であると判定した場合、続いて異常識別ステップ(302)において、第1の判定手段が出力した各サブ正常モデルに対するスコア{s1,s2,s3…}と、第2の判定手段が出力した各異常状態に対する確率又は尤度{y1,y2,y3…}とをそれぞれ乗算することにより、各異常状態に対する統合スコア{z1,z2,z3…}を算出する(例:z1=s1×y1)。そして各異常状態に対する統合スコア{z1,z2,z3…}のうち最大値をとる異常状態を判定結果(異常種類の特定)として出力する。あるいは、統合スコアをすべて出力して、複数の異常モデルのすべてに対応する複数の異常状態の確率又は尤度を示すこともできる。なお、{s1,s2,s3…}及び{y1,y2,y3…}において、同じ番号は同じ異常状態に対応するものである。この場合、それぞれの個別の異常状態に対応して、第1の判定手段の1つのサブ正常モデルにつき、第2の判定手段に1つの異常モデルが存在する。
【0073】
ここで、各サブ正常モデルに対するスコアと各異常状態に対する確率又は尤度を乗算して統合スコアとすることは、第1の判定手段の出力結果と第2の判定手段の出力結果とを組み合わせて判定精度を向上することを目的としている。例えば、入力データが実際には2番目の異常状態であるにも関わらず第2の判定手段が出力した確率又は尤度y2とy3が同じ値となり第2の判定手段だけでは正しく判定できないような場合に、第1の判定手段が出力したスコアs2がs3より大きければ統合によってより正しく判定することができる。
【0074】
さらに、本発明の別の実施形態において、統合判定手段においては、正常・異常判定ステップ(301)に先立って、第1の判定手段が出力した各スコア{s0,s1,s2,s3…}に対して以下の手順で変換スコアを求め、これを正常・異常判定ステップ(301)及び異常識別ステップ(302)に用いる構成としてもよい。
【0075】
まず、第1の判定手段が出力した各スコア{s0,s1,s2,s3…}から、あらかじめ各正常モデルに対して算出しておいた正規化パラメータを用いて正規化スコアを求める。例えばメイン正常モデルに対するスコアs0に対しては、メイン正常モデルの正規化パラメータ(M0,S0)を用いてsn0=(s0-M0)/S0として正規化スコアを算出する。各サブ正常モデルのスコア{s1,s2,s3…}についても同様に、正規化スコアsn1,sn2,sn3…を算出する。
【0076】
なお、各正常モデルの正規化パラメータは、学習に用いた各学習サンプルに対するスコアから算出した平均と標準偏差を用いる。これにより、第1の判定手段が出力した各スコアの値が対応する正常モデルにとって平均的である場合には、正規化スコアは0に近い値をとることとなり、各スコアの大小関係をより適切に比較できるようになる。
【0077】
次に、各正規化スコア{sn0,sn1,sn2,sn3…}をシグモイド関数Sig(x)=1/(1+exp(-x))に入力することにより変換スコア{s’0,s’1,s’2,s’3…}を得る。これにより変換スコアは0より大きく1未満の値をとることとなり、確率的な取り扱いが容易となる。なお、上記スコアのうち、s0及びs’0はメイン正常モデルに関するものであり、メイン正常モデルがない場合には変換スコアs’0を求めなくてもよい。
【0078】
以上のように、本発明は、第1の判定手段及び第2の判定手段からの出力を統合することにより、異常の検知及び識別の精度を高めることができる。その結果として、より早い段階で異常を検知することができる。
【0079】
(7.学習済みモデルの構築方法)
上記では、正常モデル及び異常モデルの2種類をそれぞれ少なくとも2つ使用している。正常モデルは、正常状態に関する学習データを学習させたモデルである。異常モデルは、異常状態に関する学習データを学習させた学習済みモデルである。なお、正常モデル及び異常モデルは、教師あり学習又は教師なし学習のいずれによるものであってもよく、限定的ではない。
【0080】
学習済みモデルは、以下の手順で構築することができる。以下では、音声の時系列データを例にして説明する。
【0081】
まず、正常状態のときの音声の時系列データを準備し、これを学習データとして、メイン正常モデルに学習させる。次に、学習データから、異なる異常状態の検知に適した特徴量(例えば、帯域、窓サイズ)を抽出したデータを各サブ正常モデルに学習させる。
【0082】
メイン正常モデルとサブ正常モデルの学習データの違いの例を図9に示す。事前知識として帯域fに関する個々異常現象(異常状態1や、異常状態2など)の情報が利用可能である場合、メイン正常モデル2010については、事前知識の情報を用いず、全帯域から音響特徴を抽出してモデル学習を行う。次に、個々の異常状態の識別に適した周波数帯域に限定して音響特徴を抽出し、サブ正常モデル2011等に学習させる。この例では、異常状態1では正常状態よりも低域成分が増し、異常状態2では正常状態よりも高域成分が増すので、異常状態1に対応するデータが観測された場合、サブ正常モデル2011からより離れたデータとなるので、サブ正常モデル2011がほかのサブ正常モデルより、異常状態1を検知しやすい。そして、異常状態1に対応する異常モデルにより識別を行うことにより、異常状態1の確率又は尤度をより高い精度で得ることができる。
【0083】
また、環境ノイズを重畳する場合、異常状態1及び2に対応するデータに、それぞれ環境ノイズを重畳して正常モデルに学習させることができる。環境ノイズが複数種存在する場合、これに対応する数の正常モデルのセットを用意すればよい。
【0084】
なお、当該例は、各異常状態に対して、周波数スペクトルの傾向が分かる程度の異常音サンプルは得られることを仮定したものである。具体的な実装では、他の特徴量を選択し、又は他の特徴量を追加する必要があり得る。
【0085】
異常モデルについては、ある異常状態のときの音声の時系列データを準備する。そして、この異常状態のときの音声の時系列データを、それぞれの異常モデルに学習させる。
【0086】
(8.追加の実施形態)
以上は、第1の判定手段から出力されたスコア、及び第2の判定手段から出力された確率又は尤度に基づく統合判定の方法及び当該方法を実施するためのシステムについて説明したが、本発明の別の実施形態において、第1の判定手段が複数の正常モデルのそれぞれに対する確率又は尤度を出力し、第2の判定手段が複数の異常モデルのそれぞれに対応する異常状態に対するスコアを出力するように構成し、統合判定手段が、第1の判定手段からの確率又は尤度の出力、及び第2の判定手段からのスコアの出力に基づき、正常状態、又は少なくとも1つの異常状態の確率若しくは尤度を含む判定結果を出力するように構成することもできる。
【0087】
すなわち、上記実施形態の場合、本発明の方法は、前述のステップ(10)に続き、第1の判定手段が、監視対象のデータから、複数の正常モデルのそれぞれに対する確率又は尤度を出力するステップ(201A)と、第2の判定手段が、監視対象のデータから、複数の異常モデルのそれぞれに対応する異常状態に対するスコアを出力するステップ(202A)と、統合判定手段が、第1の判定手段からの確率又は尤度の出力、及び第2の判定手段からのスコアの出力に基づき、正常状態、又は少なくとも1つの異常状態の確率若しくは尤度を含む判定結果を出力するステップ(30A)とを含む。
【0088】
上記実施形態の場合、判定結果を出力するステップ(30A)は、第1の判定手段からの確率又は尤度の出力に基づき、正常状態であるかどうかを判定するステップ(301A)と、異常と判定した場合、第2の判定手段からのスコアを第1の判定手段からの確率又は尤度の出力で重み付けして、少なくとも1つの異常状態を識別するステップ(302A)とを含む。この実施形態においても、第2の判定手段が少なくとも1つの正常モデルを含むことが好ましく、この場合、ステップ(301A)は、第1の判定手段からの確率又は尤度の出力、及び当該少なくとも1つの正常モデルに対して出力されたスコアの両方に基づき、正常状態であるかどうかを判定することを含む。
【0089】
さらには、本発明の別の実施形態において、第1の判定手段が複数の正常モデルのそれぞれに対するスコアを出力し、第2の判定手段が複数の異常モデルのそれぞれに対応する異常状態に対するスコアを出力するように構成し、統合判定手段が、第1の判定手段からのスコアの出力、及び第2の判定手段からのスコアの出力に基づき、正常状態、又は少なくとも1つの異常状態のスコアを含む判定結果を出力するように構成することもできる。この場合、例えば、第1の判定手段が出力した各サブ正常モデルに対するスコア{s1,s2,s3…}と、第2の判定手段が出力した各異常状態に対するスコア{y1,y2,y3…}の逆数{1/y1,1/y2,1/y3…}とをそれぞれ乗算することにより、各異常状態に対する統合スコア{z1,z2,z3…}を算出する(例:z1=s1×1/y1)。そして各異常状態に対する統合スコア{z1,z2,z3…}のうち最大値をとる異常状態を判定結果(異常種類の特定)として出力する。あるいは、統合スコアをすべて出力して、複数の異常モデルのすべてに対応する複数の異常状態のスコアを示すこともできる。
【0090】
さらには、本発明の別の実施形態において、第1の判定手段が複数の正常モデルのそれぞれに対する確率又は尤度を出力し、第2の判定手段が複数の異常モデルのそれぞれに対応する異常状態に対する確率又は尤度を出力するように構成し、統合判定手段が、第1の判定手段からの確率又は尤度の出力、及び第2の判定手段からの確率又は尤度の出力に基づき、正常状態、又は少なくとも1つの異常状態の確率又は尤度を含む判定結果を出力するように構成することもできる。
【0091】
上記追加の実施形態において、第1の判定手段及び第2の判定手段からの出力が異なり、統合判定手段の出力結果の形式が異なる以外、方法及びシステムの他の特徴は前述の実施形態と共通するので、追加の説明を割愛する。
【0092】
(9.本発明の適用分野)
本発明の方法及びシステムは、様々な産業分野で利用することができる。
【0093】
1例として、列車の各車両のパーツの故障を監視するシステムに、上述した実施形態のシステム、及び、方法を適用することができる。具体的には、各車両のパーツの近くに物質音のセンサを設けて、車両が走行中のパーツからの音をモニタリングすることができる。そして、パーツの正常状態と、故障状態(より具体的には故障が発生する直前の状態)とを学習データとして、第1の判定手段の正常モデルと、第2の判定手段の異常モデルのそれぞれに学習させてもよい。環境ノイズを重畳する場合、車両が走行中に信号機が発する音や、雷の音などを環境ノイズとすることができる。そして、これらの学習済みモデルを、例えば、各車両、又は、特定の車両(列車の先頭の車両又は後方の車両等)に情報処理装置(図1及び図2におけるエッジ端末1020)にて実装してもよい。各センサ1040からのデータは、各車両に中継器1030を設けて、当該中継器1030を用いて、情報処理装置にデータを送信してもよい。
【0094】
別の例では、監視カメラによって、災害、天候の変動などを監視する際に、上述した実施形態のシステム、及び、方法を適用することができる。具体的には、山の空模様などをカメラで監視し、中継器などを用いて、観測所に存在する情報処理装置(図1及び図2におけるエッジ端末1020)が、画像データを受信することができる。そして、空模様の正常状態(天候が崩れない状態)と、異常状態(より具体的には、天候が崩れる直前の状態)とを学習データとして、第1の判定手段の正常モデルと、第2の判定手段の異常モデルのそれぞれに学習させてもよい。環境ノイズを重畳する場合、ラジオ放送の音や、人の叫び声などを環境ノイズとすることができる。そして、これらの学習済みモデルを、例えば、情報処理装置にて実装してもよい。
【0095】
さらに別の例では、センサからのデータ以外のデータを利用してもよい。例えば、血液検査のデータによって、ヒトの健康を監視する際に、上述した実施形態のシステム、及び、方法を適用することができる。例えば、特定の期間、母集団において血液を採取し、当該母集団の健康状態を追跡してもよい。そして、特定の期間中、健康状態に問題がなかったグループ、疾患等を患ったグループなどに分類してもよい。更に、当該グループは、疾患等の種類ごとに細分類してもよい。第1の判定手段の正常モデルと、第2の判定手段の異常モデルのそれぞれに学習させてもよい。そして、これらの学習済みモデルを、血液データを分析するための情報処理装置(図1及び図2におけるエッジ端末)にて実装してもよい。
【0096】
以上、発明の具体的な実施形態について説明してきた。上記実施形態は、具体例に過ぎず、本発明は上記実施形態に限定されない。例えば、上述の実施形態の1つに開示された技術的特徴は、他の実施形態に適用することができる。また、特記しない限り、特定の方法については、一部の工程を他の工程の順序と入れ替えることも可能であり、特定の2つの工程の間に更なる工程を追加してもよい。本発明の範囲は、特許請求の範囲によって規定される。
【符号の説明】
【0097】
1010 サーバ
1020 エッジ端末
1030 中継器
1040 センサ
2010 メイン正常モデル
2011~201N サブ正常モデル
2020 入力部
2030 出力部
3011~301N 異常モデル
3020 入力部
3030 出力部
3110 正常モデル
図1
図2
図3
図4
図5
図6
図7
図8
図9