特許 7377387 異常検出システム、装置、方法及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-10-31

(45)【発行日】2023-11-09

(54)【発明の名称】異常検出システム、装置、方法及びプログラム

(51)【国際特許分類】

   G01M 99/00 20110101AFI20231101BHJP

   G10L 25/51 20130101ALI20231101BHJP

   G01M 17/007 20060101ALI20231101BHJP

【ＦＩ】

G01M99/00 Z

G10L25/51

G01M17/007 Z

【請求項の数】 6

(21)【出願番号】P 2023061681

(22)【出願日】2023-04-05

【審査請求日】2023-04-05

【新規性喪失の例外の表示】特許法第３０条第２項適用 事実１ 発行日 令和４年１０月７日 刊行物 『公益社団法人自動車技術会 ２０２２年秋季大会学術講演会予稿集』 公益社団法人自動車技術会 発行 公開者 大山和也、小宮洋志、金堂雅彦、有光哲彦、テオリンアクセル、南部朋和 公開された発明の内容 大山和也、小宮洋志、金堂雅彦、有光哲彦、テオリンアクセル、南部朋和が、公益社団法人自動車技術会 ２０２２年秋季大会学術講演会予稿集にて、大山和也、小宮洋志、金堂雅彦、有光哲彦、テオリンアクセル、南部朋和が発明した異常検出システムについて公開した。 事実２ 開催日 令和４年１０月１２日 集会名、開催場所 公益社団法人自動車技術会主催 ２０２２年秋季学術講演会 グランキューブ大阪（大阪府大阪市北区中之島５丁目３－５１） 公開者 大山和也 公開された発明の内容 大山和也が、公益社団法人自動車技術会主催の２０２２年秋季学術講演会にて、大山和也、小宮洋志、金堂雅彦、有光哲彦、テオリンアクセル、南部朋和が発明した異常検出システムについて公開した。

【早期審査対象出願】

(73)【特許権者】

【識別番号】592105859

【氏名又は名称】株式会社東陽テクニカ

(73)【特許権者】

【識別番号】515353110

【氏名又は名称】株式会社フィート

(73)【特許権者】

【識別番号】000003997

【氏名又は名称】日産自動車株式会社

(74)【代理人】

【識別番号】100098899

【弁理士】

【氏名又は名称】飯塚 信市

(74)【代理人】

【識別番号】100163865

【弁理士】

【氏名又は名称】飯塚 健

(72)【発明者】

【氏名】有光 哲彦

(72)【発明者】

【氏名】テオリン アクセル

(72)【発明者】

【氏名】大山 和也

(72)【発明者】

【氏名】小宮 洋志

(72)【発明者】

【氏名】金堂 雅彦

(72)【発明者】

【氏名】南部 朋和

【審査官】森口 正治

(56)【参考文献】

【文献】特開２０２２－１４５５３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｍ １３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

検査対象物を特定の状態へとおくことにより生成された時系列信号を取得する時系列信号取得部と、
前記時系列信号に基づいて特徴量系列を生成する、特徴量系列生成部と、
前記特徴量系列と、学習済隠れマルコフモデルに基づいて、前記特徴量系列に対応する状態系列を予測する、予測処理部と、
予測された前記状態系列に基づいて、前記時系列信号中の準定常衝撃ノイズが含まれる異常区間を検出する、異常検出部と、を備え、
前記時系列信号は、前記検査対象物から発生する音に関する時系列信号である時系列音信号と、前記検査対象物に働く加速度を示す時系列加速度信号を含み、
前記特徴量系列生成部は、前記時系列音信号と前記時系列加速度信号をそれぞれ所定単位で周波数領域へと変換することにより、周波数領域音信号と周波数領域加速度信号を生成する、周波数領域信号生成部を、さらに含み、
前記特徴量系列は、前記周波数領域音信号に基づいて生成されたメル周波数ケプストラム係数を含む音データＭＦＣＣ特徴量と、前記周波数領域加速度信号に基づいて生成されたメル周波数ケプストラム係数を含む加速度データＭＦＣＣ特徴量と、をさらに含む、
異常検出システム。

【請求項2】

前記学習済隠れマルコフモデルは、前記音データＭＦＣＣ特徴量と前記加速度データＭＦＣＣ特徴量に基づいて機械学習をそれぞれ行うことにより生成された音データ学習済隠れマルコフモデルと加速度データ学習済隠れマルコフモデルを含む、請求項１に記載の異常検出システム。

【請求項3】

検査対象物を特定の状態へとおくことにより生成された時系列信号を取得する時系列信号取得部と、
前記時系列信号に基づいて特徴量系列を生成する、特徴量系列生成部と、
前記特徴量系列と、学習済隠れマルコフモデルに基づいて、前記特徴量系列に対応する状態系列を予測する、予測処理部と、
予測された前記状態系列に基づいて、前記時系列信号中の準定常衝撃ノイズが含まれる異常区間を検出する、異常検出部と、を備え、
前記時系列信号は、前記検査対象物から発生する音に関する時系列信号である時系列音信号と、前記検査対象物に働く加速度を示す時系列加速度信号を含み、
前記特徴量系列生成部は、前記時系列音信号と前記時系列加速度信号をそれぞれ所定単位で周波数領域へと変換することにより、周波数領域音信号と周波数領域加速度信号を生成する、周波数領域信号生成部を、さらに含み、
前記特徴量系列は、前記周波数領域音信号に基づいて生成されたメル周波数ケプストラム係数を含む音データＭＦＣＣ特徴量と、前記周波数領域加速度信号に基づいて生成されたメル周波数ケプストラム係数を含む加速度データＭＦＣＣ特徴量と、をさらに含む、
異常検出装置。

【請求項4】

検査対象物を特定の状態へとおくことにより生成された時系列信号を取得する時系列信号取得ステップと、
前記時系列信号に基づいて特徴量系列を生成する、特徴量系列生成ステップと、
前記特徴量系列と、学習済隠れマルコフモデルに基づいて、前記特徴量系列に対応する状態系列を予測する、予測処理ステップと、
予測された前記状態系列に基づいて、前記時系列信号中の準定常衝撃ノイズが含まれる異常区間を検出する、異常検出ステップと、を備え、
前記時系列信号は、前記検査対象物から発生する音に関する時系列信号である時系列音信号と、前記検査対象物に働く加速度を示す時系列加速度信号を含み、
前記特徴量系列生成ステップは、前記時系列音信号と前記時系列加速度信号をそれぞれ所定単位で周波数領域へと変換することにより、周波数領域音信号と周波数領域加速度信号を生成する、周波数領域信号生成ステップを、さらに含み、
前記特徴量系列は、前記周波数領域音信号に基づいて生成されたメル周波数ケプストラム係数を含む音データＭＦＣＣ特徴量と、前記周波数領域加速度信号に基づいて生成されたメル周波数ケプストラム係数を含む加速度データＭＦＣＣ特徴量と、をさらに含む、
異常検出方法。

【請求項5】

検査対象物を特定の状態へとおくことにより生成された時系列信号を取得する時系列信号取得ステップと、
前記時系列信号に基づいて特徴量系列を生成する、特徴量系列生成ステップと、
前記特徴量系列と、学習済隠れマルコフモデルに基づいて、前記特徴量系列に対応する状態系列を予測する、予測処理ステップと、
予測された前記状態系列に基づいて、前記時系列信号中の準定常衝撃ノイズが含まれる異常区間を検出する、異常検出ステップと、を備え、
前記時系列信号は、前記検査対象物から発生する音に関する時系列信号である時系列音信号と、前記検査対象物に働く加速度を示す時系列加速度信号を含み、
前記特徴量系列生成ステップは、前記時系列音信号と前記時系列加速度信号をそれぞれ所定単位で周波数領域へと変換することにより、周波数領域音信号と周波数領域加速度信号を生成する、周波数領域信号生成ステップを、さらに含み、
前記特徴量系列は、前記周波数領域音信号に基づいて生成されたメル周波数ケプストラム係数を含む音データＭＦＣＣ特徴量と、前記周波数領域加速度信号に基づいて生成されたメル周波数ケプストラム係数を含む加速度データＭＦＣＣ特徴量と、をさらに含む、
異常検出プログラム。

【請求項6】

ドライブトレインにおいて生成された時系列信号を取得する時系列信号取得部と、
前記時系列信号に基づいて特徴量系列を生成する、特徴量系列生成部と、
前記特徴量系列と、学習済隠れマルコフモデルに基づいて、前記特徴量系列に対応する状態系列を予測する、予測処理部と、
予測された前記状態系列に基づいて、前記時系列信号中の準定常衝撃ノイズが含まれる異常区間を検出する、異常検出部と、を備え、
前記時系列信号は、前記ドライブトレインから発生する音に関する時系列信号である時系列音信号と、前記ドライブトレインに働く加速度を示す時系列加速度信号を含み、
前記特徴量系列生成部は、前記時系列音信号と前記時系列加速度信号をそれぞれ所定単位で周波数領域へと変換することにより、周波数領域音信号と周波数領域加速度信号を生成する、周波数領域信号生成部を、さらに含み、
前記特徴量系列は、前記周波数領域音信号に基づいて生成されたメル周波数ケプストラム係数を含む音データＭＦＣＣ特徴量と、前記周波数領域加速度信号に基づいて生成されたメル周波数ケプストラム係数を含む加速度データＭＦＣＣ特徴量と、をさらに含む、
異常検出システム。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、時系列信号から異常区間を検出するシステム等に関する。

【背景技術】

【0002】

近年、検査対象物から取得された時系列信号を機械学習技術を用いて解析することにより、時系列信号中の異常区間を検出するシステム等が開発されている。

【0003】

例えば、特許文献１には、様々な時系列信号から特徴量を生成し、それらをクラスタリングすることで、時系列信号中の異常区間を検出しようとする技術が開示されている。

【先行技術文献】

【特許文献】

【0004】

【文献】特許第６８８２３９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、従前のこの種のシステムでは、準定常衝撃ノイズ（又は準定常衝撃騒音）に基づく異常を検出することが困難であった。準定常衝撃ノイズとは、レベルがほぼ一定で極めて短い間隔（例えば、０．２［ｓ］未満）で連続的に発生する衝撃騒音（バースト）である。

【0006】

本発明は上述の技術的背景に鑑みてなされたものであり、その目的は、検査対象物から得られた時系列信号において、準定常衝撃ノイズが含まれている区間を異常区間として高精度に検出することにある。

【課題を解決するための手段】

【0007】

上述の技術的課題は、以下の構成を有する異常検出システム、装置、方法又はシステム等により解決することができる。

【0008】

すなわち、本発明に係る異常検出システムは、検査対象物を特定の状態へとおくことにより生成された時系列信号を取得する時系列信号取得部と、前記時系列信号に基づいて特徴量系列を生成する、特徴量系列生成部と、前記特徴量系列と、学習済隠れマルコフモデルに基づいて、前記特徴量系列に対応する状態系列を予測する、予測処理部と、予測された前記状態系列に基づいて、前記時系列信号中の異常区間を検出する、異常検出部と、を備えている。

【0009】

このような構成によれば、隠れマルコフモデルを用いて特徴量の時間方向の関係性を考慮することができるため、検査対象物から得られた時系列信号において、準定常衝撃ノイズが含まれている区間を異常区間として高精度に検出することができる。なお、特定の状態には、例えば、検査対象物を物理的に動作させた状態、検査対象物を電気的に作動させた状態、振動等の外力が加えられた状態などが含まれる。また、検査対象物を特定の状態へとおくことにより生成される時系列信号には、例えば、マイクや各種センサにより取得される時系列の音信号やセンサ信号が含まれる。

【0010】

前記時系列信号は、前記検査対象物から発生する音に関する時系列信号である時系列音信号を含む、ものであってもよい。

【0011】

このような構成によれば、検査対象物から発生する音に基づいて異常検出を行うので、非破壊で検査を行うことができる。

【0012】

前記時系列信号は、前記検査対象物の状態を示すセンサ情報に関する時系列信号である時系列センサ信号を含む、ものであってもよい。

【0013】

このような構成によれば、異常と因果関係の生じ得る検査対象物の状態、例えば、検査対象物の状態（例えば、力学的、物理的状態を含む）を示すセンサ情報を活用することで異常検出の精度を向上させることができる。

【0014】

前記時系列センサ信号は、前記検査対象物に働く加速度を示す時系列加速度信号を含む、ものであってもよい。

【0015】

このような構成によれば、検査対象物に働く加速度を示すセンサ情報を活用することで、さらに変位を伴う異常検出の精度を向上させることができる。

【0016】

前記特徴量系列生成部は、前記時系列音信号と前記時系列センサ信号をそれぞれ所定単位で周波数領域へと変換することにより、周波数領域音信号と周波数領域センサ信号を生成する、周波数領域信号生成部を、さらに含み、前記特徴量系列は、前記周波数領域音信号と前記周波数領域センサ信号に基づいて生成される、ものであってもよい。

【0017】

このような構成によれば、周波数領域信号から特徴量系列を生成するので、信号の所定周波数領域にわたるエネルギーを基礎として特徴量を生成することができる。

【0018】

前記特徴量系列は、前記周波数領域音信号に基づいて生成されたメル周波数ケプストラム係数を含む音データＭＦＣＣ特徴量と、前記周波数領域センサ信号に基づいて生成されたメル周波数ケプストラム係数を含むセンサデータＭＦＣＣ特徴量と、を含む、ものであってもよい。

【0019】

このような構成によれば、特徴量を人の聴感特性を考慮した特徴量とすることができる。

【0020】

前記学習済隠れマルコフモデルは、前記音データＭＦＣＣ特徴量と前記センサデータＭＦＣＣ特徴量に基づいて機械学習をそれぞれ行うことにより生成された音データ学習済隠れマルコフモデルとセンサデータ学習済隠れマルコフモデルを含む、ものであってもよい。

【0021】

このような構成によれば、音信号に関するＭＦＣＣ特徴量に基づく学習済隠れマルコフモデルと、センサ信号に関するＭＦＣＣ特徴量に基づく学習済隠れマルコフモデルを使用することができるので、多角的かつ高精度に異常検出を行うことができる。

【0022】

前記学習済隠れマルコフモデルは、状態数の異なる複数の学習済隠れマルコフモデルから情報量基準が所定条件を満たすものを選択することにより得られたものであってもよい。

【0023】

このような構成によれば、統計モデルの良否に関する指標である情報量基準を用いるので、例えば過学習のモデル等を排除して、最適な学習済隠れマルコフモデルを特定することができる。

【0024】

前記情報量基準は、赤池情報量基準（ＡＩＣ）であってもよい。

【0025】

このような構成によれば、統計モデルの良否に関する有力指標である赤池情報量基準を用いるので、例えば過学習のモデル等を排除して、最適な学習済隠れマルコフモデルを特定することができる。

【0026】

前記学習済隠れマルコフモデルは、特徴量系列に基づく教師なし学習により生成され、前記学習済隠れマルコフモデル係る状態のうちいずれの状態を異常とするかは学習後にユーザにより定義される、ものであってもよい。

【0027】

このような構成によれば、学習対象となる特徴量系列について異常に関するアノテーション（又はラベル）が不要となるので、事前準備なく異常検出を行うことができる。

【0028】

前記特徴量系列は、前記周波数領域音信号と前記周波数領域センサ信号に対して所定の前処理が行うことにより生成される、ものであってもよい。

【0029】

このような構成によれば、周波数領域信号に前処理を施してより適切な特徴量を生成することができる。

【0030】

前記前処理は、周波数帯域の限定処理を含む、ものであってもよい。

【0031】

このような構成によれば、解析対象となる周波数領域を予め限定することができるので、解析に不必要な暗騒音等を除外して異常検出精度を高めることができる。

【0032】

前記前処理は、正規化処理を含む、ものであってもよい。

【0033】

このような構成によれば、尺度を揃えることができるので、適切な特徴量を生成することができる。

【0034】

前記前処理は、所定の周波数領域のマスク処理を含む、ものであってもよい。

【0035】

このような構成によれば、所定の周波数領域をマスクするので、不必要な周波数領域の解析を防止することができる。

【0036】

前記前処理は、所定のパワー領域のマスク処理を含む、ものであってもよい。

【0037】

このような構成によれば、所定のパワー領域をマスクするので、不必要な周波数領域の解析を防止することができる。

【0038】

別の側面から見た本発明は、異常検出装置であって、検査対象物を特定の状態へとおくことにより生成された時系列信号を取得する時系列信号取得部と、前記時系列信号に基づいて特徴量系列を生成する、特徴量系列生成部と、前記特徴量系列と、学習済隠れマルコフモデルに基づいて、前記特徴量系列に対応する状態系列を予測する、予測処理部と、予測された前記状態系列に基づいて、前記時系列信号中の異常区間を検出する、異常検出部と、を備えている。

【0039】

別の側面から見た本発明は、異常検出方法であって、検査対象物を特定の状態へとおくことにより生成された時系列信号を取得する時系列信号取得ステップと、前記時系列信号に基づいて特徴量系列を生成する、特徴量系列生成ステップと、前記特徴量系列と、学習済隠れマルコフモデルに基づいて、前記特徴量系列に対応する状態系列を予測する、予測処理ステップと、予測された前記状態系列に基づいて、前記時系列信号中の異常区間を検出する、異常検出ステップと、を備えている。

【0040】

別の側面から見た本発明は、異常検出プログラムであって、検査対象物を特定の状態へとおくことにより生成された時系列信号を取得する時系列信号取得ステップと、前記時系列信号に基づいて特徴量系列を生成する、特徴量系列生成ステップと、前記特徴量系列と、学習済隠れマルコフモデルに基づいて、前記特徴量系列に対応する状態系列を予測する、予測処理ステップと、予測された前記状態系列に基づいて、前記時系列信号中の異常区間を検出する、異常検出ステップと、を備えている。

【0041】

別の側面から見た本発明は、異常検出システムであって、ドライブトレインにおいて生成された時系列信号を取得する時系列信号取得部と、前記時系列信号に基づいて特徴量系列を生成する、特徴量系列生成部と、前記特徴量系列と、学習済隠れマルコフモデルに基づいて、前記特徴量系列に対応する状態系列を予測する、予測処理部と、予測された前記状態系列に基づいて、前記時系列信号中の異常区間を検出する、異常検出部と、を備えている。

【発明の効果】

【0042】

本発明によれば、検査対象物から得られた時系列信号において、準定常衝撃ノイズが含まれている区間を異常区間として高精度に検出することができる。

【図面の簡単な説明】

【0043】

【図1】図１は、システムの全体構成図である。

【図2】図２は、解析装置のハードウェア構成図である。

【図3】図３は、学習装置のハードウェア構成図である。

【図4】図４は、機械学習処理を行う学習装置の機能ブロック図（その１）である。

【図5】図５は、機械学習処理を行う学習装置の機能ブロック図（その２）である。

【図6】図６は、異常検出処理を行う解析装置の機能ブロック図である。

【図7】図７は、機械学習処理に関するゼネラルフローチャートである。

【図8】図８は、学習準備処理の詳細フローチャートである。

【図9】図９は、学習処理に係る前処理の詳細フローチャートである。

【図10】図１０は、モデルの学習処理の詳細フローチャートである。

【図11】図１１は、モデルの選択及び記憶処理の詳細フローチャートである。

【図12】図１２は、状態数に対する赤池情報量基準（ＡＩＣ）及び最大対数尤度（スコア）を表したグラフの一例である。

【図13】図１３は、異常検出処理に関するゼネラルフローチャートである。

【図14】図１４は、予測準備処理の詳細フローチャートである。

【図15】図１５は、異常検出処理に係る前処理の詳細フローチャートである。

【発明を実施するための形態】

【0044】

以下、本発明の好適な実施の形態について添付の図面を参照しつつ詳細に説明する。

【0045】

（１．第１の実施形態）
第１の実施形態においては、本発明を、自動車のエンジン又はモーターからの回転動力を伝達するドライブトレイン（動力伝達機構）から取得され、準定常衝撃ノイズ（本実施形態において、準定常衝撃騒音とも言う）を含み得る、時系列信号に対して適用した例について説明する。なお、本実施形態においては、ドライブトレインから取得された時系列信号を対象とするものの、本発明はそのような構成に限定されない。従って、本発明を他の時系列信号に対して適用してもよいことは勿論である。

【0046】

（１．１ システムの構成）
（ハードウェア構成）
図１は、検査対象物７であるドライブトレインにおいて生成される時系列データを計測するためのデータ計測システム１００と、学習装置４と、から成るシステムの全体構成図である。

【0047】

同図から明らかな通り、データ計測システム１００は、検査対象物７、制御サーバ８、フロントエンド９、及び、解析装置１とから構成されている。

【0048】

制御サーバ８は、自動計測プログラムに従ってドライブトレインへと接続されるエンジン又はモーターの制御を行う。具体的には、所定のテストパターンの生成、測定条件の設定などを行って自動計測処理を行う。また、それらの測定条件等に関する情報は解析装置１へと送信され、解析装置１の記憶部１３へと記憶される。

【0049】

フロントエンド９は、検査対象物７に対して設置された図示しないマイク及び各種センサから取得された時系列信号を各チャンネル信号として読み出して解析装置１へと出力する。解析装置１は、これらの時系列信号をその記憶部１３へと記憶する。なお、本実施形態においては、時系列信号には、ドライブトレインから発せられマイクにより集音された音に関する時系列信号と、ドライブトレインに取り付けられた加速度センサから取得されたドライブトレインに働く加速度に関する時系列信号が含まれる。

【0050】

解析装置１は、データの計測処理と解析処理を行う。より詳細には、解析装置１は、フロントエンド９に対して提供される信号に対して、サンプリング周波数やチャンネルの設定などの所定の前処理を行う。また、フロントエンド９を介して取得されたデータを記憶処理したり、取得されたデータに対して異常検出等の処理を行う。

【0051】

すなわち、データ計測システム１００を動作させることで、検査対象物７たるドライブトレインに対して設置された図示しないマイク及び各種センサから取得された音及び加速度に関する時系列信号が、解析装置１の記憶部１３へと記憶されることとなる。解析装置１は、このデータに対して異常検出等の解析処理を行う。

【0052】

データ計測システム１００は、解析装置１を介して学習装置４と接続されている。学習装置４は、解析装置１から提供された時系列データ等に基づいて、機械学習処理を行って学習済モデルを生成する。生成された学習済モデルは、解析装置１へと提供され種々の予測処理に利用される。

【0053】

図２は、解析装置１のハードウェア構成図である。同図から明らかな通り、解析装置１は、制御部１１、表示出力部１２、記憶部１３、操作入力部１５、音声出力部１６、通信部１７、及び、Ｉ／Ｏ部１８を備えている。

【0054】

制御部１１は、ＣＰＵ等から成り、後述の処理のため、各種プログラムの実行処理を行う。表示出力部１２は、ディスプレイ等に表示するための画像出力処理を行う。記憶部１３は、ＲＯＭ、ＲＡＭ、ハードディスク等から成り、各種のプログラムやデータを記憶する。操作入力部１５は、キーボード等を介して入力された操作信号の処理を行う。音声出力部１６は、図示しないスピーカ等の音声出力機器に対して音声信号を出力する処理を行う。通信部１７は、通信ユニット等から成り、外部装置との間で有線又は無線による通信処理を行う。Ｉ／Ｏ部１８は、外部機器との接続による入出力処理を行う。

【0055】

解析装置１は、計測、解析等のための専用装置として実現してもよいし、パーソナル・コンピュータ（ＰＣ）等のような汎用的な情報処理装置に所定のソフトウェアを実装することにより実現してもよい。

【0056】

図３は、学習装置４のハードウェア構成図である。同図から明らかな通り、学習装置４は、制御部４１、表示出力部４２、記憶部４３、操作入力部４５、音声出力部４６、通信部４７、及び、Ｉ／Ｏ部４８を備えている。

【0057】

制御部４１は、ＣＰＵ及びＧＰＵから成り、後述の処理のため各種プログラムの実行処理を行う。表示出力部４２は、ディスプレイ等に表示するための画像出力処理を行う。記憶部４３は、ＲＯＭ、ＲＡＭ、ＳＳＤ等から成り、各種のプログラムやデータを記憶する。操作入力部４５は、キーボード等を介して入力された操作信号の処理を行う。音声出力部４６は、図示しないスピーカ等の音声出力機器に対して音声信号を出力する処理を行う。通信部４７は、通信ユニット等から成り、外部装置との間で有線又は無線による通信処理を行う。Ｉ／Ｏ部４８は、外部機器との接続による入出力処理を行う。

【0058】

学習装置４は、機械学習のための専用装置として実現してもよいし、パーソナル・コンピュータ（ＰＣ）等のような汎用的な情報処理装置に所定のソフトウェアを実装することにより実現してもよい。

【0059】

なお、本実施形態では、上述の通り、データ計測システム１００と学習装置４からシステムを構成したが、本発明はこのような構成に限定されず、既知の種々の構成を採用可能である。従って、例えば、解析装置１と学習装置４を一体に構成してもよい。

【0060】

（学習処理に関する機能ブロック図）
図４は、機械学習処理、特に、学習準備処理（Ｓ１）と、モデルの学習処理（Ｓ３）を行う、学習装置４の機能ブロック図（その１）である。制御部４１は、時系列信号取得部４１１と学習部４１２を備えている。

【0061】

時系列信号取得部４１１は、音信号時系列データ取得部４１３と加速度信号時系列データ取得部４１４を備えている。音信号時系列データ取得部４１３は、記憶部４３から音信号に係る時系列信号を取得する。加速度信号時系列データ取得部４１４は、記憶部４３から加速度に係る時系列信号を取得する。時系列信号取得部４１１は、記憶部４３から取得した時系列データを学習部４１２のスペクトログラム変換部４１５へと提供する。

【0062】

なお、本実施形態においては、時系列信号として音信号と加速度信号を取得する構成について開示するものの本発明はそのような構成に限定されない。従って、他の時系列信号を取得してもよく、例えば、検査対象物の回転数やトルク等に係る時系列信号を取得してもよい。

【0063】

スペクトログラム変換部４１５は、取得した各時系列データを所定の単位で周波数領域へと変換（スペクトル変換）し、各時系列データについてスペクトログラムを生成する。生成されたスペクトログラムは、前処理部４１６へと提供される。

【0064】

前処理部４１６は、音と加速度の各時系列データに係るスペクトログラムに対して所定の前処理を行った後に、処理後のデータをＭＦＣＣ特徴量生成処理部４１７へとそれぞれ提供する。ＭＦＣＣ特徴量生成処理部４１７は、提供された各データに基づいてＭＦＣＣ特徴量を生成する。生成されたＭＦＣＣ特徴量は、標準化処理部４１８へと提供される。

【0065】

標準化処理部４１８は、ＭＦＣＣ特徴量について標準化処理を行い、処理後のデータを学習処理部４２０へと提供する。学習処理部４２０は、処理後のデータと、初期パラメータ設定処理部４１９により設定される初期パラメータに基づいて、学習処理を行い音信号と加速度信号に係る学習済モデルをそれぞれ生成する。生成された各学習済モデルは、記憶部４３へとそれぞれ提供され記憶される。

【0066】

なお、本実施形態において、学習済モデルは、学習済の隠れマルコフモデル（ＨＭＭ）である。

【0067】

図５は、機械学習処理、特に、学習済モデルの選択処理（Ｓ５）を行う、学習装置４の機能ブロック図（その２）である。制御部４１は、モデル取得部４２１と、モデル選択部４２７を備えている。

【0068】

モデル取得部４２１の学習済モデル取得部４２２は、記憶部４３から音と加速度に係る複数の学習済モデルを取得し、モデル選択部４２７の情報量基準算出処理部４２３へと提供する。情報量基準算出処理部４２３は、提供された複数の学習済モデルのそれぞれについて情報量基準を算出する処理を行い、算出した情報処理基準をモデル選択処理部４２４へと提供する。

【0069】

モデル選択処理部４２４は、提供された情報量基準に基づいて音と加速度に関してそれぞれ１つの学習済モデルを選択し、異常状態定義処理部４２５へと提供する。異常状態定義処理部４２５は、ユーザからの入力又は所定の基準に基づいて、選択された各学習済モデルに関して異常クラスを定義する処理を行う。この処理の後、異常状態定義処理部４２５は、音と加速度に係る学習済モデルをそれぞれ記憶部４３へと提供し記憶する。

【0070】

（異常検出処理に関する機能ブロック図）
図６は、異常検出処理を行う解析装置１の機能ブロック図である。制御部１１は、データ取得部１１１、異常予測部１１２、及び、出力部１１３を備えている。

【0071】

データ取得部１１１は、音信号時系列データ取得部１１４、加速度信号時系列データ取得部１１５、及び、学習済モデル取得部１１６を含む。

【0072】

音信号時系列データ取得部１１４は、音信号の時系列データを取得し、異常予測部１１２のスペクトログラム変換部１２１へと提供する。加速度信号時系列データ取得部１１５は、加速度信号の時系列データを取得し、異常予測部１１２のスペクトログラム変換部１２１へと提供する。学習済モデル取得部１１６は、記憶部１３から学習済モデルを取得し、予測処理部１２５へと提供する。

【0073】

スペクトログラム変換部１２１は、音信号時系列データ取得部１１４と加速度信号時系列データ取得部１１５から得られた時系列信号を、それぞれ周波数領域信号であるスペクトログラムに変換する処理を行い、前処理部１２２へと提供する。

【0074】

前処理部１２２は、各スペクトログラムに対して所定の前処理を行い、それぞれＭＦＣＣ特徴量生成処理部１２３へと提供する。ＭＦＣＣ特徴量生成処理部１２３は、前処理が行われた音と加速度に関する各信号に基づいてＭＦＣＣ特徴量を生成し、標準化処理部１２４へと提供する。標準化処理部１２４は、提供された各ＭＦＣＣ特徴量に対して標準化処理を行い、予測処理部１２５へと提供する。

【0075】

予測処理部１２５は、学習済モデル取得部１１６から取得された学習済モデルに基づいて予測処理を行い、標準化処理がなされた各ＭＦＣＣ特徴量に対応する状態をそれぞれ特定し、異常検出部１２６へと提供する。

【0076】

異常検出部１２６は、予測処理部１２５において特定された各状態に基づいて異常検出処理を行い、異常検出結果を含む種々のデータを出力部１１３の異常出力部１２８及び／又はグラフ出力部１２９へと提供する。異常出力部１２８は、異常検出結果を含むデータをデータファイル等として出力する。また、グラフ出力部１２９は、異常検出結果を含むデータをディスプレイへと表示する。

【0077】

（１．２ システムの動作）
次に、システムの動作について詳細に説明する。本実施形態においては、まず、学習装置４が、測定された時系列データに対する機械学習処理を行う。これにより生成された学習済モデルは解析装置１へと提供される（図７～図１２を参照）。その後、解析装置１は、当該学習済モデルを用いて、異常検出処理を行う（図１３～図１５を参照）。

【0078】

（学習処理）
図７は、機械学習処理に関するゼネラルフローチャートである。同図から明らかな通り、処理が開始すると、学習装置４は、所定の学習準備処理を行う（Ｓ１）。

【0079】

図８は、学習準備処理（Ｓ１）の詳細フローチャートである。同図から明らかな通り、処理が開始すると、学習装置４は、変数ｎ（ｎ＝１，２，３・・・）を初期化する処理を行う（Ｓ１１）。本実施形態において、変数ｎは１に初期化される。

【0080】

初期化処理の後、学習装置４は、記憶部４３に記憶されている学習対象となるＮ個のデータファイル群から、第１番目のデータファイルを取得する処理を行う（Ｓ１２）。その後、学習装置４は、第１番目のデータファイルから時系列データを取得する処理を行う（Ｓ１３）。

【0081】

本実施形態においては、音信号時系列データ取得部４１３は、音に係る時系列信号を取得し、加速度信号時系列データ取得部４１４は、加速度に係る時系列信号を取得する。これらの時系列データはスペクトログラム変換部４１５へとそれぞれ提供される。

【0082】

なお、本実施形態において、これらの時系列信号には、準定常衝撃ノイズ（又は準定常衝撃騒音）が含まれ得る。準定常衝撃ノイズとは、レベルがほぼ一定で極めて短い間隔（例えば、０．２［ｓ］未満）で連続的に発生する衝撃ノイズ（バースト）である。

【0083】

時系列データの取得処理の後、スペクトログラム変換部４１５は、取得した各時系列信号を所定時間区間（窓幅）毎に分割し所定のシフト幅で周波数変換を行い、時系列の複数の周波数領域信号、すなわち、時系列のスペクトログラムに変換する（Ｓ１４）。本実施形態において、スペクトログラム変換部４１５は、音信号時系列データと加速度信号時系列データのそれぞれについて時系列スペクトログラムの生成処理を行う。これらの周波数領域信号は、前処理部４１６へと提供される。

【0084】

このような構成によれば、周波数領域信号から特徴量を生成するので、信号の所定周波数領域にわたるエネルギーを基礎として特徴量を生成することができる。

【0085】

スペクトログラムへの変換処理の後、前処理部４１６は、周波数領域信号に対して前処理を行う（Ｓ１５）。

【0086】

図９は、学習処理に係る前処理の詳細フローチャートである。処理が開始すると、前処理部４１６は、各スペクトログラムに対して周波数帯域の限定処理を行う（Ｓ１５１）。本実施形態においては、前処理部４１６は、音信号について予め解析対象として想定される周波数帯域以外の信号、及び、加速度信号について予め解析対象として想定される周波数帯域以外の信号を削除し、それにより、それぞれ周波数の解析範囲を限定する処理を行う。なお、この削除する帯域は信号の種別（音、加速度など）に応じて変更してもよい。

【0087】

このような構成によれば、解析対象となる周波数領域を予め限定することができるので、解析に不必要な暗騒音等を除外して異常検出精度を高めることができる。

【0088】

なお、限定処理においては、単に所定の周波数帯域以外を削除するのではなく、例えば、解析範囲に応じて周波数帯域に重み付け処理を行ってもよい。

【0089】

この限定処理の後、前処理部４１６は、各スペクトログラムに対して正規化処理を行う（Ｓ１５２）。本実施形態においては、例えば、［０，１］の範囲に正規化する。

【0090】

正規化処理の後、前処理部４１６は、正規化した音と加速度に関する各スペクトログラムに対して周波数マスク処理（Ｓ１５３）と、パワーマスク処理（Ｓ１５４）を行う。本実施形態において、周波数マスク処理は、各スペクトラムにおいて所定の周波数領域をマスクする処理であり、パワーマスク処理は、各スペクトラムにおいて所定のパワー領域をマスクする処理である。マスク処理の後、前処理は終了する。

【0091】

このような構成によれば、所定の周波数・パワー領域をマスクするので、不必要な領域の解析を防止することができる。

【0092】

図８に戻り、前処理が完了すると、ＭＦＣＣ特徴量生成処理部４１７は、前処理が行われた各スペクトラムに基づいて、それぞれ時系列で特徴量を生成し時系列特徴量（又は特徴量系列）を生成する処理を行う（Ｓ１６）。本実施形態において、特徴量はＭＦＣＣ特徴量である。

【0093】

ＭＦＣＣ（Ｍｅｌ－Ｆｒｅｑｕｅｎｃｙ Ｃｅｐｓｔｒｕｍ Ｃｏｅｆｆｉｃｉｅｎｔｓ）とは、メル周波数ケプストラム係数を意味し、ＭＦＣＣ特徴量は、人間の音の知覚特性から得られた尺度を応用したケプストラムに関する特徴量である。本実施形態において、ＭＦＣＣ特徴量は、メル周波数ケプストラム係数のみならず、その微分値とそのエネルギーを含む８１次元の特徴量である。

【0094】

すなわち、ＭＦＣＣ特徴量には、２６次元のメルケプストラム係数のみならず、その前後所定数のフレームとの間で一回微分したΔＭＦＣＣ（２６次元）、二回微分したΔΔＭＦＣＣ（２６次元）も含まれ、さらに、対応する時系列信号の二乗平均平方根エネルギー（ＲＭＳＥ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｎｅｒｇｙ））、その前後所定数のフレームとの間の一階微分（ΔＲＭＳＥ）及び、その二階微分（ΔΔＲＭＳＥ）がそれぞれ１次元ずつ含まれ、１フレームあたり合計８１次元（＝２６×３＋３）の特徴量である。

【0095】

ＭＦＣＣ特徴量の生成処理が完了すると、標準化処理部４１８は、各ＭＦＣＣ特徴量について標準化処理を行う（Ｓ１７）。本実施形態において、標準化処理は、平均値を０、分散が１となるように線形に尺度を変換する処理であり、これによりＭＦＣＣ特徴量を機械学習に好適な形式とすることができる。

【0096】

この標準化処理の後、学習装置４は、全てのデータファイルについて処理を行ったか否か、すなわち、ｎ＝Ｎであるか否かを判定する（Ｓ１８）。判定の結果、条件を満たさない場合（Ｓ１８ＮＯ）、変数ｎを１だけ増やす処理を行って（Ｓ１９）、再び一連の処理を実行する（Ｓ１２～Ｓ１８）。

【0097】

一方、この判定処理の結果、ｎ＝Ｎの条件を満たす場合、学習装置４は、それまでに生成した全てのデータを学習用データとして記憶部４３へと記憶する処理を行って（Ｓ２０）、学習準備処理を終了する。

【0098】

図７に戻り、学習準備処理が完了すると、学習装置4は、学習済モデルを生成するためにモデルの学習処理を行う（Ｓ３）。

【0099】

図１０は、モデルの学習処理の詳細フローチャートである。同図から明らかな通り、処理が開始すると、モデルパラメータと共に学習準備処理において記憶した音と加速度に関する時系列特徴量（特徴量系列）等を含む学習用データを読み出す処理を行う（Ｓ３０）。

【0100】

学習用データの読み出し処理の後、学習処理部４２０は、後述の隠れマルコフモデルにおける状態数を表す変数ｍ（ｍ＝３，４，５・・・）を初期化する処理を行う（Ｓ３１）。本実施形態において、変数ｍは３に初期化される。変数ｍの初期化処理の後、学習処理部４２０は、同じ状態数の条件下で生成するモデルの数に関する変数ｐ（ｐ＝１，２，３・・・）の初期処理を行う（Ｓ３２）。本実施形態において、変数ｐは１に初期化される。

【0101】

変数ｐの初期化処理の後、初期パラメータ設定処理部４１９は、音と加速度に係る各モデルの初期パラメータを設定する。本実施形態において、モデルは隠れマルコフモデル（ＨＭＭ：Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ）であるため、初期パラメータ設定処理部４１９は、例えば、状態間の遷移確率、各状態における確率分布（出力確率）、状態の数（ｍ個）等を初期パラメータとして設定する。なお、このとき、遷移確率と確率分布は、乱数により設定してもよい。

【0102】

ここで、隠れマルコフモデルとは、確率モデルであり、観測されない（隠れた）状態をもつマルコフ過程である。本実施形態においては、異常の有無が隠れた状態に相当する。なお、以下では状態をクラスと称呼することがある。

【0103】

初期パラメータの設定処理の後、学習処理部４２０は、音と加速度に関する各特徴量に基づいて、学習用データに基づく隠れマルコフモデルの学習処理を行う（Ｓ３４）。

【0104】

隠れマルコフモデルにおいて、ある時系列データが観測される尤度（ｌｉｋｌｉｈｏｏｄ）は、状態間の遷移確率（状態遷移確率）と、ある状態において定義された確率分布（出力確率）の積により表現される。また、状態遷移確率と確率分布を含む未知パラメータは、この尤度を最大化するパラメータを求める最尤推定問題に帰着させることで解くことができる。

【0105】

そのため、学習処理部４２０は、初期パラメータとして設定された状態遷移確率、各状態における確率分布（出力確率）、ｍ個の状態数に基づいて、隠れた状態についてはすべての可能性を期待値で表現し、尤度を最大化する方向にパラメータを微小変化させる処理を行う。このような処理を繰り返すことにより、準最適解を得ることができる。なお、当業者には知られるように、このような確率モデルのパラメータを推定する統計的手法として、例えば、ＥＭ（Ｅｘｐｅｃｔａｔｉｏｎ Ｍａｘｉｍｉｚａｔｉｏｎ）アルゴリズムやＢａｕｍ－Ｗｅｌｃｈアルゴリズム（Ｂａｕｍ，１９７２）等がある。

【0106】

学習処理の後、変数ｐが最大値Ｐと等しいか否かが判定される（Ｓ３５）。変数ｐがＰより小さい場合（Ｓ３５ＮＯ）、変数ｐを１だけ増加させる処理が行われ（Ｓ３６）、再び一連の処理（Ｓ３３～Ｓ３５）が行われる。Ｐは、例えば、３である。

【0107】

一方、変数ｐがｐの最大値Ｐと等しい場合（Ｓ３５ＹＥＳ）、次に、変数ｍが最大値Ｍと等しいか否かが判定される（Ｓ３７）。変数ｍが最大値Ｍより小さい場合（Ｓ３７ＮＯ）、変数ｍを１だけ増加させる処理が行われ（Ｓ３８）、再び一連の処理（Ｓ３１～Ｓ３７）が行われる。Ｍは、例えば、２０である。

【0108】

すなわち、本実施形態においては、これらの繰り返し処理により、学習処理部４２０は、音と加速度に関する特徴量データに基づいて、状態数（クラス数）を３から２０まで変更しつつ、各状態数において、初期値を変えて学習した学習済モデルを３つずつ生成することとなる。

【0109】

一方、変数ｍが最大値Ｍと等しい場合、生成されたすべての学習済モデル（学習済隠れマルコフモデル）を、記憶部４３へと記憶する処理を行い（Ｓ３９）、学習処理は終了する。

【0110】

従前の構成において、準定常衝撃ノイズの検出が困難であった理由は、準定常衝撃ノイズのラフネスが高く、各フレームの特徴量を単にクラスタリングしても特徴量がクラス間を行き来するように遷移してしまい、ノイズの属するクラスを特定することが困難であったことによるものと推定される。

【0111】

この点、本実施形態の構成によれば、隠れマルコフモデルを使用することから、特徴量の時間方向の関係性も考慮することができるので、準定常衝撃ノイズの検出を精度良く行うことができる。

【0112】

図７に戻り、モデルの学習処理が完了すると、学習装置４は、モデルの選択及び記憶処理を実行する（Ｓ５）。

【0113】

図１１は、モデルの選択及び記憶処理の詳細フローチャートである。同図から明らかな通り、処理が開始すると、学習済モデル取得部４２２は、学習処理において生成されたすべての学習済モデルを読み出して取得する処理を行う（Ｓ５０）。

【0114】

学習済モデルの取得処理の後、上述の変数ｍ及びｐを初期化する処理が行われる（Ｓ５１、Ｓ５２）。本実施形態においては、学習処理段階と同様に、変数ｍは３、ｐは１に初期化される。

【0115】

初期化処理の後、情報量基準算出処理部４２３は、ｍ個の状態数を有しｐ番目に生成された学習済モデルに対して情報量基準算出処理を行う（Ｓ５３）。

【0116】

ここで、情報量基準とは、統計モデルの良さを評価するための指標であり、本実施形態では、特に、赤池情報量基準（ＡＩＣ： Ａｋａｉｋｅ'ｓ Ｉｎｆｏｒｍａｔｉｏｎ Ｃｒｉｔｅｒｉｏｎ）を用いる（以下、ＡＩＣと称することがある）。

【0117】

ＡＩＣは、一般に、AIC = - 2 ln L + 2k の式により表される。ただし、Ｌは最大（対数）尤度、ｋは自由パラメータの数である。ｋは、本実施形態においては、状態数（ｍ）と特徴量の次元数（８１次元）の積である。ＡＩＣの値は小さいほど良いモデルと評価することができる。

【0118】

情報量算出処理の後、学習装置４は、変数ｐがｐの最大値Ｐと等しいか否かの判定を行う（Ｓ５４）。ｐが未だ最大値Ｐより小さい場合（Ｓ５４ＮＯ）、変数ｐを１だけ増加する処理を行って（Ｓ５５）、再度一連の処理を実行する（Ｓ５３～Ｓ５４）。

【0119】

一方、変数ｐが最大値Ｐと等しい場合（Ｓ５４ＹＥＳ）、学習装置４は、変数ｍがｍの最大値Ｍと等しいか否かの判定処理を行う（Ｓ５６）。

【0120】

変数ｍが未だＭより小さい場合（Ｓ５６ＮＯ）、学習装置４は、変数ｍを１だけ増加する処理を行って（Ｓ５７）、再度一連の処理を実行する（Ｓ５２～Ｓ５６）。

【0121】

一方、変数ｍがＭと等しい場合（Ｓ５６ＹＥＳ）、モデル選択処理部４２４は、情報量基準に基づくモデルの選択処理を行う（Ｓ５８）。

【0122】

本実施形態においては、状態数が３のときのＡＩＣから所定割合（例えば、７％）以上小さいＡＩＣ値を有する状態数の学習済モデルのうち、もっとも情報量基準が小さいものを選択する。

【0123】

図１２は、一連の情報量基準生成処理（Ｓ５１～Ｓ５６）により生成された、状態数に対する赤池情報量基準（ＡＩＣ）及び最大対数尤度（スコア）を表したグラフの一例である。

【0124】

同図から明らかな通り、状態数が増加するにつれて、最大対数尤度（スコア）は増加し、一方、ＡＩＣは減少していることが看取される。さらに、ＡＩＣの減少は、状態数が小さいほど傾きが急峻であり状態数が大きくなるほど傾きがなだらかになることが看取される。これらの傾向はこの種のデータに関するグラフにおいて一般にみられる傾向である。

【0125】

そのため、モデル選択処理部４２４は、ＡＩＣを表す曲線の傾きがなだらかになり始めるＡＩＣが７％程度下がったときのモデルである状態数１０のモデルを選択する。

【0126】

このような構成によれば、統計モデルの良否に関する有力指標である赤池情報量基準を用いるので、例えば過学習のモデル等を排除して、最適な学習済隠れマルコフモデルを特定することができる。

【0127】

モデル選択処理の後、異常状態定義処理部４２５は、選択された各学習済モデルについて異常な状態（クラス）を定義する処理を行う（Ｓ５９）。異常状態の定義処理は、学習済モデルに係る複数の状態のうちから１又は複数の状態をユーザが選択することにより行われる。例えば、ユーザは、所定のデータを学習済モデルへと入力したときの各状態やその傾向を観察して異常状態を定義してもよい。なお、異常状態の定義は一定の基準に基づいて、自動的に設定してもよい。

【0128】

このような構成によれば、学習対象となる特徴量について異常に関するアノテーション（又はラベル）が不要となるので、事前準備なく異常検出を行うことができる。

【0129】

異常状態の定義処理の後、選択された各学習済モデルを記憶部４３へと記憶する処理を行って（Ｓ６０）、処理は終了する。以上の処理により、音と加速度に関してそれぞれ学習済モデルを生成することができる。

【0130】

なお、この記憶部４３に記憶された各学習済モデルは、予測処理のため、解析装置１の記憶部１３へと適宜に送信される。

【0131】

（異常検出処理）
次に、解析装置１を用いた時系列データに対する異常検出処理について説明する。

【0132】

図１３は、解析装置１において実行される異常検出処理に関するゼネラルフローチャートである。同図から明らかな通り、処理が開始すると、学習済モデル取得部１１６は、記憶部１３から音と加速度に関する学習済モデル、すなわち、学習済隠れマルコフモデルをそれぞれ取得して予測処理部１２５へと提供する処理を行う（Ｓ７１）。学習済モデルの取得処理後、解析装置１は、予測準備処理を行う（Ｓ７２）。

【0133】

図１４は、予測準備処理の詳細フローチャートである。同図から明らかな通り、処理が開始すると、解析装置１は、音と加速度に係る時系列データを含む予測の基礎となるデータの読出処理を行う（Ｓ７２１）。

【0134】

なお、このように検査対象物から発生する音に基づいて異常検出を行う構成によれば、非破壊検査を実現することができる。また、異常と因果関係の生じ得る検査対象物の状態、例えば、検査対象物の力学的、物理的状態を含む状態を示すセンサ情報を活用することで異常検出の精度を向上させることができる。

【0135】

予測用データの読出処理の後、解析装置１は、記憶部１３から時系列信号を取得する処理を行う（Ｓ７２２）。本実施形態においては、音信号時系列データ取得部１１４と加速度信号時系列データ取得部１１５は、それぞれ、音信号時系列データと加速度信号時系列データを取得する。これらの時系列データには準定常衝撃ノイズが含まれ得る。取得した時系列データはスペクトログラム変換部１２１へと提供される。

【0136】

時系列データの取得処理の後、スペクトログラム変換部１２１は、取得した各時系列信号を所定時間区間（窓幅）毎に分割し所定のシフト幅で周波数変換を行い、時系列順に複数の周波数領域信号、すなわち、スペクトログラムに変換する（Ｓ７２３）。本実施形態において、スペクトログラム変換部１２１は、音信号時系列データと加速度信号時系列データのそれぞれについてスペクトログラムの生成処理を行う。これらの周波数領域信号は、前処理部１２２へと提供される。

【0137】

スペクトログラムへの変換処理の後、周波数領域信号に対して前処理を行う（Ｓ７２４）。

【0138】

図１５は、異常検出処理に係る前処理の詳細フローチャートである。同図から明らかな通り、処理が開始すると、前処理部１２２は、各スペクトログラムに対して周波数帯域の限定処理を行う（Ｓ７２４１）。本実施形態においては、前処理部１２２は、音信号について予め想定される周波数帯域以外の信号、及び、加速度信号に対して予め想定される周波数帯域以外の信号を削除し、それにより、それぞれ周波数の解析範囲を限定する処理を行う。

【0139】

なお、限定処理においては、単に所定の周波数帯域以外を削除するのではなく、例えば、解析範囲に応じて周波数帯域に重み付け処理を行ってもよい。

【0140】

この限定処理の後、前処理部１２２は、各スペクトログラムに対して正規化処理を行う（Ｓ７２４２）。本実施形態においては、各信号を［０，１］の範囲に正規化する。

【0141】

正規化処理の後、前処理部１２２は、正規化した各スペクトログラムに対して周波数マスク処理（Ｓ７２４３）と、パワーマスク処理（Ｓ７２４４）を行う。本実施形態において、周波数マスク処理は、各スペクトラムにおいて所定の周波数領域をマスクする処理であり、パワーマスク処理は、各スペクトラムにおいて所定のパワー領域をマスクする処理である。マスク処理の後、前処理は終了する。

【0142】

図１４に戻り、前処理が完了すると、ＭＦＣＣ特徴量生成処理部１２３は、前処理が行われた各スペクトラムに基づいて、それぞれ特徴量を生成し時系列特徴量（又は特徴量系列）を生成する処理を行う（Ｓ７２５）。本実施形態において、特徴量はＭＦＣＣ特徴量である。

【0143】

上述の通り、ＭＦＣＣ特徴量には、２６次元のメルケプストラム係数のみならず、その前後所定数のフレームとの間で一回微分したΔＭＦＣＣ（２６次元）、二回微分したΔΔＭＦＣＣ（２６次元）も含まれ、さらに、対応する時系列信号の二乗平均平方根エネルギー（ＲＭＳＥ（Ｒｏｏｔ Ｍｅａｎ Ｓｑｕａｒｅｄ Ｅｎｅｒｇｙ））、その前後所定数のフレームとの間の一階微分（ΔＲＭＳＥ）及び、その二階微分（ΔΔＲＭＳＥ）がそれぞれ１次元ずつ含まれ、１フレームあたり合計８１次元（２６×３＋３）の特徴量である。

【0144】

ＭＦＣＣ特徴量の生成処理が完了すると、標準化処理部１２４は、各ＭＦＣＣ特徴量について標準化処理を行う（Ｓ１２４）。本実施形態において、標準化処理は、平均値を０、分散が１となるように線形に尺度を変換する処理である。この標準化処理の後、予測準備処理は終了する。

【0145】

図１３に戻り、標準化処理が完了した後、予測処理部１２５は、取得した学習済モデル、すなわち、隠れマルコフモデル（ＨＭＭ）を用いて、音に関するＭＦＣＣ特徴量と、加速度に関するＭＦＣＣ特徴量に対して、予測処理を行う（Ｓ７３）。

【0146】

より詳細には、予測処理部１２５は、標準化された音と加速度に関するＭＦＣＣ特徴量をそれぞれ対応する音に関する学習済隠れマルコフモデルと加速度に関する学習済隠れマルコフモデルへと入力する。その後、予測処理部１２５は、各モデルにおいて、与えられた入力時系列データを結果として生じる最も尤もらしい隠された状態の系列（ビタビ（Ｖｉｔｅｒｂｉ）経路）を動的計画法により探索して出力する（ビタビ（Ｖｉｔｅｒｂｉ）アルゴリズム）。このビタビアルゴリズムにより、近似的に最大確率を与える状態系列を現実時間で求めることができる。

【0147】

なお、予測処理の手法はビタビアルゴリズムを用いた手法に限定されず、当業者に知られる他の手法を用いてもよい。

【0148】

予測処理の後、異常検出部１２６は、各モデルから出力された状態系列に基づいて異常検出処理を行う（Ｓ７５）。本実施形態においは、異常状態が既に定義されていることから（Ｓ５９参照）、各モデルから出力された状態系列に基づいて、音と加速度のそれぞれについて異常な時間区間が予測されている。異常検出部１２６は、音と加速度の状態系列のいずれかにおいて異常と判定された時間区間（フレーム）を異常時間区間として検出し、当該情報を出力部１１３へと提供する。

【0149】

このような構成によれば、音信号に関するＭＦＣＣ特徴量に基づく学習済隠れマルコフモデルと、センサ信号に関するＭＦＣＣ特徴量に基づく学習済隠れマルコフモデルを使用することができるので、多角的かつ高精度に異常検出を行うことができる。

【0150】

異常検出処理の後、出力部１１３は、異常検出結果を出力する処理を行う（Ｓ７６）。より詳細には、本実施形態では、出力部１１３の出力態様として異常出力部１２８を用いた出力と、グラフ出力部１２９を用いた出力がある。

【0151】

異常出力部１２８を介した出力によれば、これまでに得られた各種のデータをＣＳＶ（Ｃｏｍｍａ Ｓｅｐｅｒａｔｅｄ Ｖａｌｕｅｓ）等の任意のデータ形式で出力することができる。

【0152】

また、グラフ出力部１２９を介した出力によれば、表示出力部１２を介してディスプレイ等に異常区間を含み得る各信号（音、加速度）の時系列データやスペクトログラムを表示することができる。このとき、異常個所を強調して表示してもよい。また、音と加速度の両方において異常と認められる部分についてのみ異常箇所として表示してもよい。さらに、音声出力部１６を介して異常信号に相当する箇所の音信号を再生し、異常個所に異音等が含まれているかを確認できるような構成としてもよい。

【0153】

なお、出力態様はこのような態様に限定されず、異常出力部１２８又はグラフ出力部１２９のいずれか一方を用いて出力を行ってもよいし、他の態様で出力を行ってもよい。

【0154】

このような構成によれば、異常箇所をグラフや音を介して視覚的又は聴覚的に確認できるため、異常箇所の特定がより直観的かつ容易となる。出力処理が完了すると、予測処理は終了する。

【0155】

以上の構成によれば、検査対象物から得られた時系列信号において、準定常衝撃ノイズが含まれている区間を異常区間として高精度に検出することができる。

【0156】

（２．変形例）
上述の実施形態においては、音に関するデータと加速度に関するデータに基づいて、それぞれ学習処理を行って２つの学習済モデルを生成し、各学習済モデルに基づいてそれぞれ予測処理を行う構成としたが、本発明はそのような構成に限定されない。従って、例えば、音に関するデータと加速度に関するデータに基づいて１つの学習済モデルを生成し、当該学習済モデルに基づいて予測処理を行う構成としてもよい。このような構成によれば、信号間で内部状態を共有することができる。

【0157】

上述の実施形態においては、学習処理（Ｓ３）により状態数の異なる複数の学習済モデルを生成した後に、情報量基準を用いてモデルの選択処理（Ｓ５）を行ったが、本発明はこのような構成に限定されない。従って、例えば、ある状態数に関する学習処理（Ｓ３４）が完了する度に（例えば、ステップＳ３５とステップＳ３７との間等で）、生成された各学習済モデルについてＡＩＣ等の情報量基準を算出し、その情報量基準が、状態数が基準値（例えば、３）のときの情報量基準から所定割合（例えば、７％）又は所定値以上下がったか否かを判定し、下がったと判定された場合に学習処理を中止して（すなわち、学習処理に関するループ（Ｓ３１～Ｓ３７）を抜けて）、学習済モデルの記憶処理（Ｓ３９）を行う構成としてもよい。なお、このとき、モデルの選択処理（Ｓ５０～Ｓ５８）が不要となる。

【0158】

このような構成によれば、情報量基準に基づいて、必要最小限の数の学習済モデルしか生成しないことから、学習処理に要する時間を短縮することができる。

【0159】

以上、本発明の実施形態について説明したが、上記実施形態は本発明の適用例の一部を示したに過ぎず、本発明の技術的範囲を上記実施形態の具体的構成に限定する趣旨ではない。また、上記の実施形態は、矛盾が生じない範囲で適宜組み合わせ可能である。

【産業上の利用可能性】

【0160】

本発明は、異常検出システム等を製造する産業において利用可能である。

【符号の説明】

【0161】

１ 解析装置
４ 学習装置
７ 検査対象物
８ 制御サーバ
９ フロントエンド
１００ データ計測システム

【要約】      （修正有）

【課題】査対象物から取得された時系列信号を機械学習技術を用いて解析することにより、時系列信号中の異常区間を検出するシステム等が開発されている。従前のこの種のシステムでは、準定常衝撃ノイズ（又は準定常衝撃騒音）に基づく異常を検出することが困難であった。
【解決手段】検査対象物を特定の状態へとおくことにより生成された時系列信号を取得する時系列信号取得部と、前記時系列信号に基づいて特徴量系列を生成する、特徴量系列生成部と、前記特徴量系列と、学習済隠れマルコフモデルに基づいて、前記特徴量系列に対応する状態系列を予測する、予測処理部と、予測された前記状態系列に基づいて、前記時系列信号中の異常区間を検出する、異常検出部と、を備えた、異常検出システムが提供される。
【選択図】図６

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】