知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024161935
(43)【公開日】2024-11-21
(54)【発明の名称】異常検知装置および異常検知方法
(51)【国際特許分類】
G01M 99/00 20110101AFI20241114BHJP
G01H 17/00 20060101ALI20241114BHJP
【ＦＩ】
G01M99/00 Z
G01H17/00 Z
【審査請求】有
【請求項の数】9
【出願形態】ＯＬ
(21)【出願番号】P 2023077004
(22)【出願日】2023-05-09
(11)【特許番号】
(45)【特許公報発行日】2024-02-14
(71)【出願人】
【識別番号】000145806
【氏名又は名称】株式会社小野測器
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(72)【発明者】
【氏名】木村 圭佑
(72)【発明者】
【氏名】笠原 太郎
(72)【発明者】
【氏名】渡部 光
【テーマコード（参考）】
2G024
2G064
【Ｆターム（参考）】
2G024AD01
2G024BA27
2G024CA13
2G024FA04
2G024FA06
2G024FA15
2G064AB01
2G064AB02
2G064AB22
2G064BA02
2G064CC02
2G064CC41
2G064CC46
2G064CC52
2G064DD08
2G064DD14
(57)【要約】
【課題】検知対象において異常が発生しているタイミングや周波数を把握することのできる異常検知装置および異常検知方法を提供する。
【解決手段】異常検知装置２０は、波形信号データ１２に基づいて検知対象の異常を検知する。異常検知装置２０は、波形信号データ１２を変換した変換マップであって時間と周波数とに対応して強度が規定された変換マップが入力される畳み込みニューラルネットワーク２５と、畳み込みニューラルネットワーク２５の中間層ごとに異常マップを生成する異常マップ生成部４０と、各中間層の異常マップに基づいて異常度合いマップを生成する異常度合いマップ生成部４５と、異常度合いマップを可視化データとして出力する出力部５０と、を備える。
【選択図】図３
【解決手段】異常検知装置２０は、波形信号データ１２に基づいて検知対象の異常を検知する。異常検知装置２０は、波形信号データ１２を変換した変換マップであって時間と周波数とに対応して強度が規定された変換マップが入力される畳み込みニューラルネットワーク２５と、畳み込みニューラルネットワーク２５の中間層ごとに異常マップを生成する異常マップ生成部４０と、各中間層の異常マップに基づいて異常度合いマップを生成する異常度合いマップ生成部４５と、異常度合いマップを可視化データとして出力する出力部５０と、を備える。
【選択図】図３
【特許請求の範囲】
【請求項1】
波形信号データに基づいて検知対象の異常を検知する異常検知装置であって、
前記波形信号データを変換した変換マップであって時間と周波数とに対応して強度が規定された前記変換マップが入力される畳み込みニューラルネットワークと、
前記畳み込みニューラルネットワークの中間層ごとに異常マップを生成する異常マップ生成部と、
前記各中間層の異常マップに基づいて異常度合いマップを生成する異常度合いマップ生成部と、
前記異常度合いマップを出力する出力部と、を備え、
前記異常マップ生成部は、
前記中間層の畳み込み層が出力する特徴マップをチャンネルごとに取得する処理と、
前記検知対象の正常波形信号データを変換した正常変換マップを前記畳み込みニューラルネットワークに入力したときに前記畳み込み層が出力する正常特徴マップに対する前記特徴マップの類似度を前記チャンネルごとに算出する処理と、
前記特徴マップの各成分を前記類似度で重み付けしたマップを前記チャンネルごとに生成し、前記生成したマップを成分ごとに合計したマップを前記異常マップとして生成する処理と、を実行し、
前記異常度合いマップ生成部は、
前記各中間層の異常マップを前記変換マップと同じサイズにリサイズする処理と、
リサイズ後の異常マップを予め設定された成分ごとに合計したマップを前記異常度合いマップとして生成する処理と、を実行する
異常検知装置。
前記波形信号データを変換した変換マップであって時間と周波数とに対応して強度が規定された前記変換マップが入力される畳み込みニューラルネットワークと、
前記畳み込みニューラルネットワークの中間層ごとに異常マップを生成する異常マップ生成部と、
前記各中間層の異常マップに基づいて異常度合いマップを生成する異常度合いマップ生成部と、
前記異常度合いマップを出力する出力部と、を備え、
前記異常マップ生成部は、
前記中間層の畳み込み層が出力する特徴マップをチャンネルごとに取得する処理と、
前記検知対象の正常波形信号データを変換した正常変換マップを前記畳み込みニューラルネットワークに入力したときに前記畳み込み層が出力する正常特徴マップに対する前記特徴マップの類似度を前記チャンネルごとに算出する処理と、
前記特徴マップの各成分を前記類似度で重み付けしたマップを前記チャンネルごとに生成し、前記生成したマップを成分ごとに合計したマップを前記異常マップとして生成する処理と、を実行し、
前記異常度合いマップ生成部は、
前記各中間層の異常マップを前記変換マップと同じサイズにリサイズする処理と、
リサイズ後の異常マップを予め設定された成分ごとに合計したマップを前記異常度合いマップとして生成する処理と、を実行する
異常検知装置。
【請求項2】
前記畳み込みニューラルネットワークは、前記各中間層に、前記特徴マップが入力されるプーリング層を前記チャンネルごとに有し、
前記異常マップ生成部は、前記プーリング層の出力に基づいて前記類似度を算出する
請求項１に記載の異常検知装置。
前記異常マップ生成部は、前記プーリング層の出力に基づいて前記類似度を算出する
請求項１に記載の異常検知装置。
【請求項3】
前記異常マップ生成部は、
前記プーリング層に前記正常特徴マップを入力したときに得られる各成分についての平均値と当該各成分の値に基づく分散共分散行列とを保持し、前記類似度として、前記平均値と前記分散共分散行列とを用いてマハラノビス距離を算出する
請求項２に記載の異常検知装置。
前記プーリング層に前記正常特徴マップを入力したときに得られる各成分についての平均値と当該各成分の値に基づく分散共分散行列とを保持し、前記類似度として、前記平均値と前記分散共分散行列とを用いてマハラノビス距離を算出する
請求項２に記載の異常検知装置。
【請求項4】
前記異常度合いマップ生成部は、
前記リサイズ後の異常マップを予め設定された一部の成分ごとに合計して前記異常度合いマップを生成する
請求項１に記載の異常検知装置。
前記リサイズ後の異常マップを予め設定された一部の成分ごとに合計して前記異常度合いマップを生成する
請求項１に記載の異常検知装置。
【請求項5】
前記出力部は、前記異常度合いマップで表される画像と前記変換マップで表される画像とを重ねて表示する
請求項１に記載の異常検知装置。
請求項１に記載の異常検知装置。
【請求項6】
前記波形信号データを前記変換マップに変換する処理を実行する変換部をさらに備える
請求項１～５のいずれか一項に記載の異常検知装置。
請求項１～５のいずれか一項に記載の異常検知装置。
【請求項7】
前記変換マップは、スペクトログラム、あるいは、メルスペクトログラムである
請求項６に記載の異常検知装置。
請求項６に記載の異常検知装置。
【請求項8】
前記波形信号データは、時間に対し強度として音圧レベルが規定された音響データ、あるいは、時間に対し強度として振動レベルが規定された振動データである
請求項７に記載の異常検知装置。
請求項７に記載の異常検知装置。
【請求項9】
波形信号データに基づいて検知対象の異常を検知する異常検知方法であって、
前記検知対象の異常を検知する異常検知装置が、
前記波形信号データを変換した変換マップであって時間と周波数とに対応して強度が規定された前記変換マップを畳み込みニューラルネットワークに入力する入力処理と、
前記畳み込みニューラルネットワークの中間層ごとに異常マップを生成する異常マップ生成処理と、
前記各中間層の異常マップに基づいて、前記変換マップについて領域ごとの異常度合いを示す異常度合いマップを生成する異常度合いマップ生成処理と、
前記異常度合いマップを出力する出力処理と、を実行し、
前記異常マップ生成処理では、
前記中間層の畳み込み層が出力する特徴マップをチャンネルごとに取得する処理と、
前記検知対象の正常波形信号データを変換した正常変換マップを前記畳み込みニューラルネットワークに入力したときに前記畳み込み層が出力する正常特徴マップに対する前記特徴マップの類似度を前記チャンネルごとに算出する処理と、
前記特徴マップの各成分を前記類似度で重み付けしたマップを前記チャンネルごとに生成し、前記生成したマップを成分ごとに合計したマップを前記異常マップとして生成する処理と、を実行し、
前記異常度合いマップ生成処理では、
前記各中間層の異常マップを前記変換マップと同じサイズにリサイズする処理と、
リサイズ後の異常マップを予め設定された成分ごとに合計したマップを前記異常度合いマップとして生成する処理と、を実行する
異常検知方法。
前記検知対象の異常を検知する異常検知装置が、
前記波形信号データを変換した変換マップであって時間と周波数とに対応して強度が規定された前記変換マップを畳み込みニューラルネットワークに入力する入力処理と、
前記畳み込みニューラルネットワークの中間層ごとに異常マップを生成する異常マップ生成処理と、
前記各中間層の異常マップに基づいて、前記変換マップについて領域ごとの異常度合いを示す異常度合いマップを生成する異常度合いマップ生成処理と、
前記異常度合いマップを出力する出力処理と、を実行し、
前記異常マップ生成処理では、
前記中間層の畳み込み層が出力する特徴マップをチャンネルごとに取得する処理と、
前記検知対象の正常波形信号データを変換した正常変換マップを前記畳み込みニューラルネットワークに入力したときに前記畳み込み層が出力する正常特徴マップに対する前記特徴マップの類似度を前記チャンネルごとに算出する処理と、
前記特徴マップの各成分を前記類似度で重み付けしたマップを前記チャンネルごとに生成し、前記生成したマップを成分ごとに合計したマップを前記異常マップとして生成する処理と、を実行し、
前記異常度合いマップ生成処理では、
前記各中間層の異常マップを前記変換マップと同じサイズにリサイズする処理と、
リサイズ後の異常マップを予め設定された成分ごとに合計したマップを前記異常度合いマップとして生成する処理と、を実行する
異常検知方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、波形信号データに基づいて異常を検知する異常検知装置および異常検知方法に関する。
【背景技術】
【0002】
従来から、検知対象となる装置を駆動したときの音や振動を計測した波形信号データを用いて該検知対象の異常を検知する異常検知装置が知られている。例えば特許文献１には、正常な装置の波形信号データを周波数解析した結果と検知対象の波形信号データを周波数解析した結果とを比較することにより、検知対象の異常を検知する異常検知装置が開示されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開２０２０－１３４４７９号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
ところで、検知対象の異常原因を特定するうえでは、異常が発生しているタイミングや周波数は非常に重要である。この点、特許文献１に記載の異常検知装置は、検知対象が異常であることを検知することが可能であるものの、異常が発生しているタイミングや周波数を把握することが困難であった。
【課題を解決するための手段】
【0005】
上記課題を解決する異常検知装置は、波形信号データに基づいて検知対象の異常を検知する。前記異常検知装置は、前記波形信号データを変換した変換マップであって時間と周波数とに対応して強度が規定された前記変換マップが入力される畳み込みニューラルネットワークと、前記畳み込みニューラルネットワークの中間層ごとに異常マップを生成する異常マップ生成部と、前記各中間層の異常マップに基づいて異常度合いマップを生成する異常度合いマップ生成部と、前記異常度合いマップを出力する出力部と、を備える。前記異常マップ生成部は、前記中間層の畳み込み層が出力する特徴マップをチャンネルごとに取得する処理と、前記検知対象の正常波形信号データを変換した正常変換マップを前記畳み込みニューラルネットワークに入力したときに前記畳み込み層が出力する正常特徴マップに対する前記特徴マップの類似度を前記チャンネルごとに算出する処理と、前記特徴マップの各成分を前記類似度で重み付けしたマップを前記チャンネルごとに生成し、前記生成したマップを成分ごとに合計したマップを前記異常マップとして生成する処理と、を実行する。前記異常度合いマップ生成部は、前記各中間層の異常マップを前記変換マップと同じサイズにリサイズする処理と、リサイズ後の異常マップを予め設定された成分ごとに合計したマップを前記異常度合いマップとして生成する処理と、を実行する。
【発明の効果】
【0006】
本発明によれば、検知対象において異常が発生しているタイミングや周波数を把握することができる。
【図面の簡単な説明】
【0007】
【図1】異常検知装置の一実施形態を用いて検知対象の異常を検知する際の概略構成を模式的に示す図である。
【図2】情報処理装置のハードウェア構成の一例を示すブロック図である。
【図3】異常検知装置の概略構成の一例を示すブロック図である。
【図4】畳み込みニューラルネットワークの概略構成の一例を示す図である。
【図5】異常検知装置における検知対象の異常検知に関する構成を示す機能ブロック図である。
【図6】異常検知装置における異常度合いマップの生成に関する構成を示す機能ブロック図である。
【図7】（ａ）変換マップで表される画像の一例を示す図であり、（ｂ）異常度合いマップで表される画像の一例を示す図であり、（ｃ）重畳画像の一例を示す図である。
【発明を実施するための形態】
【0008】
【0009】
図１に示すように、異常検知装置２０は、検知対象１０について計測センサ１１で計測された波形信号データ１２に基づいて、検知対象１０の異常検知結果を出力する装置である。波形信号データは、時間に対して強度として音圧レベルが規定された音響データや時間に対して強度として振動レベルが規定された振動データである。また、異常検知装置２０は、検知対象１０に異常が生じている場合に、異常が発生しているタイミングや周波数を可視化する画像データである可視化データを出力する装置である。異常検知装置２０は、情報処理装置を中心に構成されている。
【0010】
（ハードウェア構成）
図２を参照して、異常検知装置２０を構成する情報処理装置Ｈ１０のハードウェア構成を説明する。情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶装置Ｈ１４、プロセッサＨ１５を備える。なお、このハードウェア構成は一例であり、他のハードウェアにより実現することも可能である。
図２を参照して、異常検知装置２０を構成する情報処理装置Ｈ１０のハードウェア構成を説明する。情報処理装置Ｈ１０は、通信装置Ｈ１１、入力装置Ｈ１２、表示装置Ｈ１３、記憶装置Ｈ１４、プロセッサＨ１５を備える。なお、このハードウェア構成は一例であり、他のハードウェアにより実現することも可能である。
【0011】
通信装置Ｈ１１は、他の装置との間で通信経路を確立して、データの送受信を実行するインタフェースであり、例えばネットワークインタフェースや無線インタフェース等である。
【0012】
入力装置Ｈ１２は、利用者等からの入力を受け付ける装置であり、例えばマウスやキーボード等である。表示装置Ｈ１３は、各種情報を表示するディスプレイ等である。タッチパネルディスプレイ等は、入力装置Ｈ１２、表示装置Ｈ１３として機能する。
【0013】
記憶装置Ｈ１４は、異常検知装置２０の各種機能を実行するためのデータや各種プログラムを格納する記憶装置である。記憶装置Ｈ１４の一例としては、ＲＯＭ、ＲＡＭ、ハードディスク等がある。
【0014】
プロセッサＨ１５は、記憶装置Ｈ１４に記憶されるプログラムやデータを用いて各処理を制御する。プロセッサＨ１５の一例としては、例えばＣＰＵやＭＰＵ等がある。このプロセッサＨ１５は、ＲＯＭ等に記憶されるプログラムをＲＡＭに展開して、各サービスのための各種プロセスを実行する。
【0015】
プロセッサＨ１５は、自身が実行するすべての処理についてソフトウェア処理を行うものに限られない。例えば、プロセッサＨ１５は、自身が実行する処理の少なくとも一部についてハードウェア処理を行う専用のハードウェア回路（例えば、特定用途向け集積回路：ＡＳＩＣ）を備えてもよい。すなわち、プロセッサＨ１５は、以下で構成し得る。
【0016】
〔１〕コンピュータプログラム（ソフトウェア）に従って動作する１つ以上のプロセッサ、
〔２〕各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは
〔３〕それらの組み合わせ、を含む回路（ｃｉｒｃｕｉｔｒｙ）
プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。
〔２〕各種処理のうち少なくとも一部の処理を実行する１つ以上の専用のハードウェア回路、或いは
〔３〕それらの組み合わせ、を含む回路（ｃｉｒｃｕｉｔｒｙ）
プロセッサは、ＣＰＵ並びに、ＲＡＭ及びＲＯＭ等のメモリを含み、メモリは、処理をＣＰＵに実行させるように構成されたプログラムコード又は指令を格納している。メモリすなわちコンピュータ可読媒体は、汎用又は専用のコンピュータでアクセスできるあらゆる利用可能な媒体を含む。
【0017】
（異常検知装置）
図３に示すように、異常検知装置２０は、プログラムの実行により機能する機能部として、変換部２１、畳み込みニューラルネットワーク２５（以下、ＣＮＮ２５という。）、異常検知部３５、異常マップ生成部４０、異常度合いマップ生成部４５、および、出力部５０を備える。
図３に示すように、異常検知装置２０は、プログラムの実行により機能する機能部として、変換部２１、畳み込みニューラルネットワーク２５（以下、ＣＮＮ２５という。）、異常検知部３５、異常マップ生成部４０、異常度合いマップ生成部４５、および、出力部５０を備える。
【0018】
（変換部）
変換部２１は、波形信号データ１２を変換マップ２２（図４等参照）に変換するとともに変換マップ２２をＣＮＮ２５に入力する入力処理を実行する。変換マップ２２は、時間と周波数とに対応して強度が規定されたマップデータである。具体的には、変換部２１は、波形信号データ１２をスペクトログラム、あるいは、メルスペクトログラムを示す画像データに変換する。図７（ａ）には、一例として、波形信号データ１２をメルスペクトログラムに変換した変換マップ２２で表される画像５５を示している。なお、以下では、マトリクス状に値が並ぶマップデータのことをマップという。
変換部２１は、波形信号データ１２を変換マップ２２（図４等参照）に変換するとともに変換マップ２２をＣＮＮ２５に入力する入力処理を実行する。変換マップ２２は、時間と周波数とに対応して強度が規定されたマップデータである。具体的には、変換部２１は、波形信号データ１２をスペクトログラム、あるいは、メルスペクトログラムを示す画像データに変換する。図７（ａ）には、一例として、波形信号データ１２をメルスペクトログラムに変換した変換マップ２２で表される画像５５を示している。なお、以下では、マトリクス状に値が並ぶマップデータのことをマップという。
【0019】
（ＣＮＮ）
ＣＮＮ２５は、ＰＡＮＮｓ（Large-Scale Pretrained Audio Neural Networks for Audio Pattern Recognition）など、事前学習済みのクラス分類モデルである。ＰＡＮＮｓは、AudioSetとよばれる環境音の波形信号データを変換した画像データを用いて環境音のクラス分類について学習されたモデルである。
ＣＮＮ２５は、ＰＡＮＮｓ（Large-Scale Pretrained Audio Neural Networks for Audio Pattern Recognition）など、事前学習済みのクラス分類モデルである。ＰＡＮＮｓは、AudioSetとよばれる環境音の波形信号データを変換した画像データを用いて環境音のクラス分類について学習されたモデルである。
【0020】
図４に示すように、ＣＮＮ２５は、入力層２６、複数の中間層２７、および、出力層２８を有する。ＣＮＮ２５において、入力層２６は、変換マップ２２の構成に基づいて、変換マップ２２を複数のチャンネルに分けて最上位の中間層２７に入力する。例えば、入力層２６は、変換マップ２２がＲＧＢ画像データである場合は、変換マップ２２をＲ、Ｇ、Ｂのチャンネルに分けて中間層２７に出力する。出力層２８は、最下層の中間層２７の出力に基づいて各クラスの分類結果を出力する。
【0021】
図５に示すように、ＣＮＮ２５の各中間層２７は、畳み込み層３０とＧＡＰ層３２とを有する。
畳み込み層３０は、上層から入力されたマップデータを所定のフィルタを用いた畳み込みをチャンネルごとに行うことにより、各チャンネルの特徴マップｘ＾を生成する。畳み込み層３０は、生成した特徴マップｘ＾をＧＡＰ層３２と下層の中間層２７の畳み込み層３０とに出力する。また、最下層の中間層２７は、生成した特徴マップｘ＾を出力層２８に出力する。
畳み込み層３０は、上層から入力されたマップデータを所定のフィルタを用いた畳み込みをチャンネルごとに行うことにより、各チャンネルの特徴マップｘ＾を生成する。畳み込み層３０は、生成した特徴マップｘ＾をＧＡＰ層３２と下層の中間層２７の畳み込み層３０とに出力する。また、最下層の中間層２７は、生成した特徴マップｘ＾を出力層２８に出力する。
【0022】
ＧＡＰ層３２は、グローバルアベレージプーリング（Global Average Pooling）層である。ＧＡＰ層３２は、特徴マップｘ＾の全成分の平均値をチャンネルごとに算出したのち、それらの平均値で構成された特徴ベクトルｘを生成する。
【0023】
（異常検知部）
図５に示すように、異常検知部３５は、検知対象１０の異常の有無を判定する処理を実行する。異常検知部３５は、類似度算出部３６と判定部３９とを有する。
図５に示すように、異常検知部３５は、検知対象１０の異常の有無を判定する処理を実行する。異常検知部３５は、類似度算出部３６と判定部３９とを有する。
【0024】
類似度算出部３６は、中間層２７ごとに特徴ベクトルｘを取得したのち、正常特徴ベクトルに対する特徴ベクトルｘの類似度を算出する処理を実行する。この類似度は、検知対象１０の異常を検知する際に用いられる類似度である。なお、図５においては、最上層の中間層２７に対応する類似度算出部３６と最下層の中間層２７に対応する類似度算出部３６とを示しており、他の中間層２７に対応する類似度算出部３６を省略している。
【0025】
具体的には、類似度算出部３６は、類似度として、正常特徴ベクトルに対する特徴ベクトルｘのマハラノビス距離Ｍを算出する。正常特徴ベクトルは、正常な検知対象１０の正常波形信号データを変換した正常変換マップをＣＮＮ２５に入力したときに得られる特徴ベクトルである。
【0026】
類似度算出部３６は、正常特徴ベクトルに関する情報である正常データ３７に基づいてマハラノビス距離Ｍを算出する。正常データ３７は、異常検知部３５および異常マップ生成部４０が記憶装置Ｈ１４に保持しているデータである。正常データ３７は、中間層２７ごとのデータであって、多数の正常変換マップをＣＮＮ２５に入力したときに得られる多数の正常特徴ベクトルに基づくデータで構成されている。正常データ３７は、その多数の正常特徴ベクトルにおける各チャンネルの平均値を構成要素とする平均ベクトルμと、それらの正常特徴ベクトルと平均ベクトルμとに基づく分散共分散行列Σと、で構成されている。類似度算出部３６は、下記の式（１）にしたがって、特徴ベクトルｘのマハラノビス距離Ｍを算出する。なお、図５にも示すように、「Level」は、各中間層２７の階層を示すものであり、最上層の中間層２７をレベル１として下位の中間層２７ほど大きくなる値である。
【0027】
【数1】
【0028】
また、平均ベクトルμおよび分散共分散行列Σは、下記の式（２）（３）のように近似されたものであってもよい。式（２）（３）の特徴ベクトルｘは正常特徴ベクトルを示している。
【0029】
【数2】
【0030】
判定部３９は、各中間層２７の類似度に基づいて検知対象が正常であるか否かを判定し、その判定結果を異常検知結果として出力部５０に出力する処理を実行する。具体的には、判定部３９は、各中間層２７のマハラノビス距離Ｍを合計した判定値が予め定めた閾値以下である場合には、検知対象１０が正常であると判定する。判定部３９は、判定値が閾値を超えている場合には、検知対象１０が異常であると判定する。判定部３９は、その判定結果を異常検知結果として出力部５０に出力する。
【0031】
（異常マップ生成部）
図６に示すように、異常マップ生成部４０は、中間層２７ごとに異常マップを生成し、その生成した異常マップを異常度合いマップ生成部４５に出力する異常マップ生成処理を実行する。
図６に示すように、異常マップ生成部４０は、中間層２７ごとに異常マップを生成し、その生成した異常マップを異常度合いマップ生成部４５に出力する異常マップ生成処理を実行する。
【0032】
異常マップ生成部４０は、類似度算出部４１とマップ生成部４３とを有する。
類似度算出部４１は、各中間層２７のチャンネルごとに、正常特徴ベクトルに対する特徴ベクトルｘの類似度を算出する。この類似度は、異常マップの生成に用いられる類似度である。
類似度算出部４１は、各中間層２７のチャンネルごとに、正常特徴ベクトルに対する特徴ベクトルｘの類似度を算出する。この類似度は、異常マップの生成に用いられる類似度である。
【0033】
具体的には、類似度算出部４１は、類似度として、正常特徴ベクトルに対する特徴ベクトルｘのマハラノビス距離Ｍ＊をチャンネルごとに算出する。類似度算出部４１は、正常データ３７と下記の式（４）とに基づいて、特徴ベクトルｘのマハラノビス距離Ｍ＊をする。なお、式（４）において、「○」は、アダマール積を示す。また、式（４）によって算出されたチャンネルごとのマハラノビス距離Ｍ＊を合計すると、上記式（１）で算出されるマハラノビス距離Ｍと同じ値となる。
【0034】
【数3】
【0035】
マップ生成部４３は、マハラノビス距離Ｍ＊と特徴マップｘ＾とに基づいて各中間層２７の異常マップを生成する。具体的には、マップ生成部４３は、下記の式（５）に示すように、チャンネルＣＨごとに、特徴マップｘ＾の各成分をマハラノビス距離Ｍ＊で重み付けしたマップを生成する。そして、マップ生成部４３は、その重み付けしたマップを成分ごとに合計したマップを異常マップＸとして生成する。異常マップＸは、階層の低い中間層２７ほどサイズが小さくなる。異常マップ生成部４０は、各中間層２７の異常マップＸを異常度合いマップ生成部４５に出力する。
【0036】
【数4】
【0037】
なお、図６においては、最上層の中間層２７と最下層の中間層２７とに対応する類似度算出部４１およびマップ生成部４３だけを示しており、他の中間層２７に対応する類似度算出部４１およびマップ生成部４３を省略している。
【0038】
（異常度合いマップ生成部）
図６に示すように、異常度合いマップ生成部４５は、異常マップ生成部４０が出力した各中間層２７の異常マップＸを取得し、取得した異常マップＸに基づいて生成した異常度合いマップを可視化データとして出力部５０に出力する異常度合いマップ生成処理を実行する。
図６に示すように、異常度合いマップ生成部４５は、異常マップ生成部４０が出力した各中間層２７の異常マップＸを取得し、取得した異常マップＸに基づいて生成した異常度合いマップを可視化データとして出力部５０に出力する異常度合いマップ生成処理を実行する。
【0039】
異常度合いマップ生成部４５は、リサイズ部４６とマップ生成部４８とを有する。
リサイズ部４６は、最近傍補間法のほか、双一次補間法や双三次補間法などの各種補間法を用いて、各中間層２７の異常マップＸを変換マップ２２と同じサイズの異常マップＸ’にリサイズする。
リサイズ部４６は、最近傍補間法のほか、双一次補間法や双三次補間法などの各種補間法を用いて、各中間層２７の異常マップＸを変換マップ２２と同じサイズの異常マップＸ’にリサイズする。
【0040】
マップ生成部４８は、下記の式（６）に示すように、リサイズ後の異常マップＸ’を予め設定された成分ごとに合計したマップを異常度合いマップＺとして生成する。例えば、マップ生成部４８は、リサイズ後の異常マップＸ’を成分ごとに合計することにより異常度合いマップＺを生成する。また例えば、マップ生成部４８は、リサイズ後の各異常マップＸ’を複数の領域に分割し、その分割した領域の代表値を領域ごとに合計することにより、異常度合いマップＺを生成する。
【0041】
【数5】
【0042】
このようにして生成された異常度合いマップＺは、変換マップ２２と同じサイズであるとともに、時間と周波数とに対応して異常度合いが規定されたマップデータである。マップ生成部４８は、生成した異常度合いマップＺを出力部５０に出力する。
【0043】
（出力部）
出力部５０は、異常検知結果と、可視化データである異常度合いマップＺとを出力する出力処理を実行する。出力部５０は、異常検知結果と異常度合いマップＺとを表示装置Ｈ１３に出力することにより、異常検知結果と、異常度合いマップＺで表される画像を表示装置Ｈ１３に表示する。また、出力部５０は、変換マップ２２で表される画像と異常度合いマップＺで表される画像とを重ねた重畳画像を表示装置Ｈ１３に表示してもよい。
出力部５０は、異常検知結果と、可視化データである異常度合いマップＺとを出力する出力処理を実行する。出力部５０は、異常検知結果と異常度合いマップＺとを表示装置Ｈ１３に出力することにより、異常検知結果と、異常度合いマップＺで表される画像を表示装置Ｈ１３に表示する。また、出力部５０は、変換マップ２２で表される画像と異常度合いマップＺで表される画像とを重ねた重畳画像を表示装置Ｈ１３に表示してもよい。
【0044】
（作用）
図７（ａ）には、変換マップ２２で表される画像５５を示している。図７（ｂ）には、異常度合いマップＺで表される画像５６を示している。図７（ｃ）には、画像５５，５６を重ねた重畳画像５７を示している。画像５５，５６，５７において、横軸は時間軸、縦軸は周波数軸を示す。また、時間軸および周波数軸は、画像５５，５６，５７において同じスケールである。画像５５，５６においては、色が薄い部位ほど強度が高い部位である。画像５５において矢印５５ａで指し示される部分が異常箇所である。図７（ｂ）に示すように、画像５６においては、異常箇所に該当する部分の強度（異常度合い）が高く、すなわち色が薄く表示されている。
図７（ａ）には、変換マップ２２で表される画像５５を示している。図７（ｂ）には、異常度合いマップＺで表される画像５６を示している。図７（ｃ）には、画像５５，５６を重ねた重畳画像５７を示している。画像５５，５６，５７において、横軸は時間軸、縦軸は周波数軸を示す。また、時間軸および周波数軸は、画像５５，５６，５７において同じスケールである。画像５５，５６においては、色が薄い部位ほど強度が高い部位である。画像５５において矢印５５ａで指し示される部分が異常箇所である。図７（ｂ）に示すように、画像５６においては、異常箇所に該当する部分の強度（異常度合い）が高く、すなわち色が薄く表示されている。
【0045】
本実施形態の作用および効果について説明する。
（１）画像５６では、異常箇所に該当する部分の強度が高く表示される。その結果、検知対象１０において異常が発生しているタイミングや周波数を可視化することができる。
（１）画像５６では、異常箇所に該当する部分の強度が高く表示される。その結果、検知対象１０において異常が発生しているタイミングや周波数を可視化することができる。
【0046】
（２）ＣＮＮ２５は、各中間層２７に、特徴マップｘ＾が入力されるＧＡＰ層３２をチャンネルごとに有する。異常マップ生成部４０は、ＧＡＰ層３２の出力に基づいて類似度を算出する。この構成によれば、特徴マップｘ＾よりも次元を小さくしたうえで類似度を算出することができる。その結果、類似度を算出する際の負荷を軽減することができる。
【0047】
（３）異常マップ生成部４０は、ＧＡＰ層３２に正常特徴マップを入力したときに得られる各成分についての平均ベクトルμと当該各成分の値に基づく分散共分散行列Σとを用いて、マハラノビス距離Ｍ＊を類似度として算出する。また、それら平均ベクトルμおよび分散共分散行列Σが正常データ３７として保持されている。この構成によれば、類似度を算出する際の負荷をさらに軽減することができる。
【0048】
（４）異常度合いマップ生成部４５は、リサイズ後の異常マップＸ’を予め設定された一部の成分ごとに合計して異常度合いマップＺを生成する。この構成によれば、全ての成分を成分ごとに合計する場合に比べて、異常度合いマップＺを生成する際の負荷を軽減することができる。
【0049】
（５）出力部５０は、変換マップ２２で表される画像５５と異常度合いマップＺで表される画像５６とを重ねた重畳画像５７を表示装置Ｈ１３に表示する。この構成によれば、変換マップに異常度合いマップが重ねて表示されることにより、変換マップにおける異常度合いの高い領域を容易に把握することができる。
【0050】
（６）異常検知装置２０は、波形信号データ１２を変換マップ２２に変換する処理を実行する変換部２１を備える。この構成によれば、異常検知装置２０に対して波形信号データ１２を入力するだけで、検知対象１０の異常を検知することができるとともに、検知対象１０に異常が生じている場合に異常発生タイミングや異常周波数を把握することができる。
【0051】
（７）変換マップ２２は、スペクトログラム、あるいは、メルスペクトログラムである。このように波形信号データ１２は、スペクトログラムあるいはメルスペクトログラムに変換することができる。また、変換マップ２２がメルスペクトログラムであることにより、変換マップ２２における周波数軸の次元を削減することができるため、ＣＮＮ２５や各種マップの生成時などに取り扱われる情報量を削減することができる。
【0052】
（８）波形信号データ１２は、時間に対し強度として音圧レベルが規定された音響データ、あるいは、時間に対し強度として振動レベルが規定された振動データである。この構成によれば、異常度合いマップＺで表される画像５６により、異常音や異常振動がどのタイミングで発生しているかを把握することができるため、その異常音や異常振動を人間が判別しやすくなる。
【0053】
（９）リサイズ部４６は、最近傍補間法を用いて、異常マップＸを変換マップ２２と同じサイズにリサイズする。この場合、異常度合いの変化の境界が明瞭な異常マップＸ’および異常度合いマップＺを生成することができる。また、リサイズ部４６は、双一次補間法や双三次補間法などの補間法を用いて、異常マップＸを変換マップ２２と同じサイズにリサイズする。この場合、異常度合いの変化が滑らかな異常マップＸ’および異常度合いマップＺを生成することができる。
【0054】
本実施形態は、以下のように変更して実施することができる。本実施形態及び以下の変更例は、技術的に矛盾しない範囲で互いに組み合わせて実施することができる。
・波形信号データ１２は、計測センサ１１に計測可能であって時間に対して強度が規定されたデータであればよく、音響データや振動データに限られない。
・波形信号データ１２は、計測センサ１１に計測可能であって時間に対して強度が規定されたデータであればよく、音響データや振動データに限られない。
【0055】
・変換部２１は、スペクトログラム、あるいは、メルスペクトログラムを変換マップ２２として波形信号データ１２を変換する。これに限らず、変換部２１は、時間と周波数とに対応して強度が規定されたマップデータに波形信号データ１２を変換できればよい。すなわち、変換部２１は、スペクトログラム、あるいは、メルスペクトログラムを変換マップ２２として波形信号データ１２を変換する構成に限られない。
【0056】
・類似度の算出方法は、マハラノビス距離を用いた方法に限らず、ユークリッド距離やクラスタリング等を用いた方法であってもよい。
・異常検知装置２０は、変換マップ２２に基づいて、異常の検知、および、異常度合いマップの出力ができればよい。そのため、異常検知装置２０において、変換部２１は、省略されてもよい。この場合、異常検知装置２０には、外部装置において波形信号データを変換したマップデータが変換マップ２２として入力される。
・異常検知装置２０は、変換マップ２２に基づいて、異常の検知、および、異常度合いマップの出力ができればよい。そのため、異常検知装置２０において、変換部２１は、省略されてもよい。この場合、異常検知装置２０には、外部装置において波形信号データを変換したマップデータが変換マップ２２として入力される。
【0057】
・プーリング層は、ＧＡＰ層３２に限らず、特徴マップｘ＾の次元をチャンネルごとに削減できるものであればよい。そのため、プーリング層は、畳み込み層３０の間に各チャンネルに対応するように挿入される通常のプーリング層であってもよい。
【符号の説明】
【0058】
Ｈ１０…情報処理装置、Ｈ１１…通信装置、Ｈ１２…入力装置、Ｈ１３…表示装置、Ｈ１４…記憶装置、Ｈ１５…プロセッサ、１０…検知対象、１１…計測センサ、１２…波形信号データ、２０…異常検知装置、２１…変換部、２２…変換マップ、２５…畳み込みニューラルネットワーク、２６…入力層、２７…中間層、２８…出力層、３０…畳み込み層、３２…ＧＡＰ層、３５…異常検知部、３６…類似度算出部、３７…正常データ、３９…判定部、４０…異常マップ生成部、４１…類似度算出部、４３…マップ生成部、４５…異常度合いマップ生成部、４６…リサイズ部、４８…マップ生成部、５０…出力部、５５，５６…画像、５７…重畳画像。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
