(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-64286(P2020-64286A)
(43)【公開日】2020年4月23日
(54)【発明の名称】異音等検出システム、装置、方法及びプログラム
(51)【国際特許分類】
G10L 25/51 20130101AFI20200331BHJP
G10L 25/30 20130101ALI20200331BHJP
G10L 25/03 20130101ALI20200331BHJP
G10L 25/21 20130101ALI20200331BHJP
G10L 25/24 20130101ALI20200331BHJP
G01M 99/00 20110101ALI20200331BHJP
G01H 3/00 20060101ALI20200331BHJP
G01H 17/00 20060101ALI20200331BHJP
【FI】
G10L25/51
G10L25/30
G10L25/03
G10L25/21
G10L25/24
G01M99/00 A
G01H3/00 Z
G01H17/00 C
【審査請求】有
【請求項の数】19
【出願形態】OL
【全頁数】20
(21)【出願番号】特願2019-166247(P2019-166247)
(22)【出願日】2019年9月12日
(31)【優先権主張番号】特願2018-193895(P2018-193895)
(32)【優先日】2018年10月12日
(33)【優先権主張国】JP
(71)【出願人】
【識別番号】592105859
【氏名又は名称】株式会社東陽テクニカ
(71)【出願人】
【識別番号】515353110
【氏名又は名称】株式会社フィート
(71)【出願人】
【識別番号】000003997
【氏名又は名称】日産自動車株式会社
(74)【代理人】
【識別番号】100098899
【弁理士】
【氏名又は名称】飯塚 信市
(74)【代理人】
【識別番号】100163865
【弁理士】
【氏名又は名称】飯塚 健
(72)【発明者】
【氏名】有光 哲彦
(72)【発明者】
【氏名】田村 健一
(72)【発明者】
【氏名】川野 順一
(72)【発明者】
【氏名】大山 和也
(72)【発明者】
【氏名】南部 朋和
【テーマコード(参考)】
2G024
2G064
【Fターム(参考)】
2G024AD18
2G024AD28
2G024BA27
2G024CA13
2G024CA26
2G024DA12
2G024FA04
2G024FA06
2G064AA11
2G064AB16
2G064CC43
2G064CC60
(57)【要約】 (修正有)
【課題】検査対象物から取得された時系列信号から異常区間を検出する際の作業者の負担を軽減する。
【解決手段】異常検出システムは、検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列データ取得部111〜114と、時系列信号に基づいて所定の特徴量を生成する特徴量生成部135〜138と、特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部139と、クラスタリングの結果に基づいて時系列信号中の異常区間を検出する異常検出部140とを備える。
【選択図】
図4
【特許請求の範囲】
【請求項1】
検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得部と、
前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、
前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、
前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出部と、を備える異常検出システム。
【請求項2】
前記時系列信号は、前記検査対象物から発生する音に関する時系列信号である時系列音信号を含む、請求項1に記載の異常検出システム。
【請求項3】
前記時系列信号は、さらに、前記検査対象物の作動状態を示すセンサ情報に係る時系列信号である時系列センサ信号を含む、請求項2に記載の異常検出システム。
【請求項4】
前記特徴量生成部は、さらに、
前記時系列音信号と前記時系列センサ信号とを周波数領域に変換して、周波数領域音信号と周波数領域センサ信号とを生成する周波数領域信号生成部と、
前記周波数領域音信号に基づいて、音のラウドネスに関するラウドネス特徴量、音のシャープネスに関するシャープネス特徴量、音の変動強度に関する変動強度特徴量、及び、音のラフネスに関するラフネス特徴量を生成する心理音響評価特徴量生成部と、
前記周波数領域音信号と前記周波数領域センサ信号とに基づいて、メル周波数ケプストラム係数を含むMFCC特徴量を生成するMFCC特徴量生成部と、を備える、請求項3に記載の異常検出システム。
【請求項5】
前記特徴量生成部は、さらに、
入力ニューロン、出力ニューロン及びそれらの間の中間ニューロンとを備え、オートエンコーダとして機能するよう学習させた学習済ニューラルネットワークに基づき、前記周波数領域音信号と前記周波数領域センサ信号とを入力としたときの前記中間ニューロンの発火値を符号化特徴量として出力する、符号化特徴量生成部を、備える請求項4に記載の異常検出システム。
【請求項6】
前記検査対象物は回転体であり、
前記時系列センサ信号は、前記回転体の時系列回転数信号を含み、
前記特徴量生成部は、さらに、
前記時系列回転数信号と前記周波数領域音信号とに基づき、所定の回転次数を特徴量として生成する回転次数特徴量生成処理部と、を備える請求項5に記載の異常検出システム。
【請求項7】
前記検査対象物は回転体であり、
前記時系列センサ信号は、加速度、トルク、回転数に係る時系列信号である、請求項3に記載の異常検出システム。
【請求項8】
前記クラスタリングアルゴリズムは、クラスタ数を予め決定する第1のクラスタリングアルゴリズムと、クラスタ数を予め決定しない第2のクラスタリングアルゴリズムを含む、請求項1に記載の異常検出システム。
【請求項9】
前記第1のクラスタリングアルゴリズムは、k平均法、GMMのうちのいずれか1つ又はその両方であり、
前記第2のクラスタリングアルゴリズムは、DBSCANである、請求項8に記載の異常検出システム。
【請求項10】
前記異常検出システムは、さらに、
異常検出モードを取得する異常検出モード取得部と、
前記異常検出モードに基づいて、検出の基礎とする前記特徴量と前記クラスタリングアルゴリズムを決定する検出基礎決定部と、を備える請求項1に記載の異常検出システム。
【請求項11】
前記異常検出システムは、さらに、
前記検出部における異常検出の結果特定された異常区間を有する前記時系列音信号をグラフ表示するための表示用データを生成するグラフ出力データ生成部、を備える請求項2に記載の異常検出システム。
【請求項12】
前記特徴量生成部は、さらに、
前記時系列音信号を周波数領域に変換して、周波数領域音信号を生成する周波数領域信号生成部と、
前記周波数領域音信号に基づいて、音のラウドネスに関するラウドネス特徴量、音のシャープネスに関するシャープネス特徴量、音の変動強度に関する変動強度特徴量、及び、音のラフネスに関するラフネス特徴量を生成する心理音響評価特徴量生成部と、を備える、請求項2に記載の異常検出システム。
【請求項13】
前記異常検出システムは、さらに、
前記クラスタリングの結果に基づいて、クラスタリング精度を判定するクラスタリング精度判定部を備え、
前記検出部は、前記クラスタリング精度判定部において所定基準以上の精度を有すると判定された前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する、請求項1に記載の異常検出システム。
【請求項14】
前記クラスタリング精度判定部は、前記クラスタリングの結果について算出されたシルエット係数に基づいて、前記クラスタリングの結果の精度を判定する、請求項13に記載の異常検出システム。
【請求項15】
前記クラスタリング精度判定部は、前記クラスタリングの結果の外れ値の割合に基づいて前記クラスタリングの結果の精度を判定する、請求項13に記載の異常検出システム。
【請求項16】
検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得部と、
前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、
前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、
前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出部と、を備える異常検出装置。
【請求項17】
検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得ステップと、
前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成ステップと、
前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理ステップと、
前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出ステップと、を備える異常検出方法。
【請求項18】
コンピュータを、
検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得部と、
前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、
前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、
前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出部と、を備える異常検出装置として機能させる異常検出プログラム。
【請求項19】
ドライブトレインから発生する音に関する時系列信号である時系列音信号と前記ドライブトレインの作動状態を示すセンサ情報に係る時系列信号である時系列センサ信号を取得する時系列信号取得部と、
前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、
前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、
前記クラスタリングの結果に基づいて、前記時系列音信号中の異常区間を検出する検出部と、を備える異音検出システム。
【発明の詳細な説明】
【技術分野】
【0001】
この発明は、所定の時系列信号から異常区間を検出するシステム等に関する。
【背景技術】
【0002】
従前より、自動車や電線等の工業製品の出荷前や定期点検の際に当該製品の異常の有無を検査することが行われている。その検査手法の一つとして、例えば、検査対象物たる工業製品を作動させたり外力(振動など)を与える等して特定の状態へとおき、その状態にて生成される様々な時系列信号の性状に基づいて、検査対象物の異常の有無を推定するという手法がある。
【0003】
特許文献1には、時系列信号として検査対象物から発せられる音信号に着目し、異音の有無から検査対象物の異常の有無を推定する手法が開示されている。より詳細には、この例にあっては、異音を含む有異音サンプル音と異音を含まない無異音サンプル音に基づいて異音の有無を識別し、それにより検査対象物の異常の有無を推定している。
【0004】
すなわち、従前の手法にあっては、所定の時系列信号中の異常区間を特定する場合には、まず、下処理として異常に相当するサンプル、音の場合では異音サンプルを特定し、それとの比較において異常区間の特定を行っていた。これらの作業は、従来、作業者により人手で行われていた。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2015−175770号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、そもそも多量の検査対象データの中から異常を示すサンプルを特定することは大きな手間であり、また、そもそも異常を示すサンプルであるか否かの判断自体が困難である場合もあった。これにより、検査対象物から取得された時系列信号から異常区間を検出する作業は、作業者にとって過大な負担となっていた。
【0007】
本発明は、上述の技術的背景の下になされたものであり、その目的とすることころは、検査対象物から取得された時系列信号から異常区間を検出する際の作業者の負担を軽減することにある。
【0008】
本発明のさらに他の目的並びに作用効果については、明細書の以下の記述を参照することにより、当業者であれば容易に理解されるであろう。
【課題を解決するための手段】
【0009】
上述の技術的課題は、以下の構成を有する異常検出システム、方法、プログラムにより解決することができる。
【0010】
すなわち、本発明に係る異常検出システムは、検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得部と、前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出部と、を備えている。
【0011】
このような構成によれば、クラスタリング結果に基づいて検査対象物に係る時系列信号中の異常の有無を検出するので、時系列信号そのものに基づいて教師なし学習により異常検出を行うことができる。これにより、異常を示すサンプルの準備や当該サンプルとの対比の手間が不要となるため、異常検出作業を行う作業者の負担が軽減される。また、時系列信号から所定の特徴量を生成してからクラスタリングを行うので、クラスタリングの精度が向上する。なお、特定の状態には、例えば、検査対象物を物理的に動作させた状態、検査対象物を電気的に作動させた状態、振動等の外力が加えられた状態などが含まれる。また、検査対象物を特定の状態へとおくことにより生成される時系列信号には、例えば、マイクや各種センサにより取得される時系列の音信号やセンサ信号が含まれる。
【0012】
前記時系列信号は、前記検査対象物から発生する音に関する時系列信号である時系列音信号を含む、ものであってもよい。
【0013】
このような構成によれば、検査対象物から発生する音に基づいて異常検出を行うので、非破壊で検査を行うことができる。また、異常状態の場合の音サンプルの準備や当該音サンプルとの対比の手間が不要となるため、異常検出作業を行う作業者の負担が軽減される。
【0014】
前記時系列信号は、さらに、前記検査対象物の作動状態を示すセンサ情報に係る時系列信号である時系列センサ信号を含む、ものであってもよい。
【0015】
このような構成によれば、対象物から発せられる音のみならず、異常と因果関係の生じ得る対象物の作動状態を示すセンサ情報(例えば、加速度など)も活用することで、異常の検出精度をさらに向上させることができる。
【0016】
前記特徴量生成部は、さらに、前記時系列音信号と前記時系列センサ信号とを周波数領域に変換して、周波数領域音信号と周波数領域センサ信号とを生成する周波数領域信号生成部と、前記周波数領域音信号に基づいて、音のラウドネスに関するラウドネス特徴量、音のシャープネスに関するシャープネス特徴量、音の変動強度に関する変動強度特徴量、及び、音のラフネスに関するラフネス特徴量を生成する心理音響評価特徴量生成部と、前記周波数領域音信号と前記周波数領域センサ信号とに基づいて、メル周波数ケプストラム係数を含むMFCC特徴量を生成するMFCC特徴量生成部と、を備えるものであってもよい。
【0017】
このような構成によれば、音の特徴を人の聴感特性を考慮した特徴量を用いるので、特に人が知覚しやすい異音を伴う異常の検出精度を向上させることができる。
【0018】
前記特徴量生成部は、さらに、入力ニューロン、出力ニューロン及びそれらの間の中間ニューロンとを備え、オートエンコーダとして機能するよう学習させた学習済ニューラルネットワークに基づき、前記周波数領域音信号と前記周波数領域センサ信号とを入力としたときの前記中間ニューロンの発火値を符号化特徴量として出力する、符号化特徴量生成部を、備えるものであってもよい。
【0019】
このような構成によれば、中間ニューロン(隠れ層のニューロン)に特徴が圧縮される性質を利用してクラスタリング精度を向上させ、さらに、異常の検出精度を向上させることができる。
【0020】
前記検査対象物は回転体であり、前記時系列センサ信号は、前記回転体の時系列回転数信号を含み、前記特徴量生成部は、さらに、前記時系列回転数信号と前記周波数領域音信号とに基づき、所定の回転次数を特徴量として生成する回転次数特徴量生成処理部と、を備えるものであってもよい。
【0021】
このような構成によれば、回転状態を示す回転数を回転次数へと変換して特徴量として用いるので、回転体における異常検出精度を向上させることができる。
【0022】
前記検査対象物は回転体であり、前記時系列センサ信号は、加速度、トルク、回転数に係る時系列信号である、ものであってもよい。
【0023】
このような構成によれば、回転体の異常検出を精度よく行うことができる。
【0024】
前記クラスタリングアルゴリズムは、クラスタ数を予め決定する第1のクラスタリングアルゴリズムと、クラスタ数を予め決定しない第2のクラスタリングアルゴリズムを含む、ものであってもよい。
【0025】
このような構成によれば、クラスタ数が有る程度予想できる場合と、そうでない場合の両方の場合に対応することができ、より堅牢に異常検出を行うことができる。
【0026】
前記第1のクラスタリングアルゴリズムは、k平均法、GMMのうちのいずれか1つ又はその両方であり、前記第2のクラスタリングアルゴリズムは、DBSCANである、ものであってもよい。
【0027】
このような構成によれば、異音検出に好適なアルゴリズムを用いることで、より異常検出精度を向上させることができる。
【0028】
前記異常検出システムは、さらに、異常検出モードを取得する異常検出モード取得部と、前記異常検出モードに基づいて、検出の基礎とする前記特徴量と前記クラスタリングアルゴリズムを決定する検出基礎決定部と、を備えるものであってもよい。
【0029】
このような構成によれば、異常種別に応じて検出の基礎となるクラスタリングアルゴリズムが変更されるので、対象となる異常をより精度良く検出することができる。
【0030】
前記異常検出システムは、さらに、前記検出部における異常検出の結果特定された異常区間を有する前記時系列音信号をグラフ表示するための表示用データを生成するグラフ出力データ生成部、を備えるものであってもよい。
【0031】
このような構成によれば、異常箇所をグラフを介して視覚的に確認できるため、異常箇所の特定がより直観的かつ容易となる。
【0032】
前記特徴量生成部は、さらに、前記時系列音信号を周波数領域に変換して、周波数領域音信号を生成する周波数領域信号生成部と、前記周波数領域音信号に基づいて、音のラウドネスに関するラウドネス特徴量、音のシャープネスに関するシャープネス特徴量、音の変動強度に関する変動強度特徴量、及び、音のラフネスに関するラフネス特徴量を生成する心理音響評価特徴量生成部と、を備えるものであってもよい。
【0033】
このような構成によれば、音の特徴を人の聴感特性を考慮した特徴量を用いるので、特に、人が知覚しやすい異音を伴う異常の検出精度を向上させることができる。
【0034】
前記異常検出システムは、さらに、前記クラスタリングの結果に基づいて、クラスタリング精度を判定するクラスタリング精度判定部を備え、前記検出部は、前記クラスタリング精度判定部において所定基準以上の精度を有すると判定された前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する、ものであってもよい。
【0035】
このような構成によれば、クラスタリング精度が所定基準値以上のクラスタリング結果に基づいて異常検出を行うことができるので、より適切な異常検出を行うことができる。また、異常検出に使用するデータ数が削減されることから処理時間を短縮することができる。
【0036】
前記クラスタリング精度判定部は、前記クラスタリングの結果について算出されたシルエット係数に基づいて、前記クラスタリングの結果の精度を判定する、ものであってもよい。
【0037】
このような構成によれば、クラスタの凝集度と乖離度に基づいて各データが適切に分類されたか否かを判定することができる。
【0038】
前記クラスタリング精度判定部は、前記クラスタリングの結果の外れ値の割合に基づいて前記クラスタリングの結果の精度を判定する、ものであってもよい。
【0039】
このような構成によれば、外れ値の量に応じて各データが適切に分類されたか否かを判定することができる。
【0040】
本発明は異常検出装置としても観念することができる。すなわち、本発明に係る異常検出装置は、検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得部と、前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出部と、を備えている。
【0041】
本発明は異常検出方法としても観念することができる。すなわち、本発明に係る異常検出方法は、検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得ステップと、前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成ステップと、前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理ステップと、前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出ステップと、を備えている。
【0042】
本発明は異常検出プログラムとしても観念することができる。すなわち、本発明に係る異常検出プログラムは、コンピュータを、検査対象物を特定の状態へとおくことにより生成される時系列信号を取得する時系列信号取得部と、前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、前記クラスタリングの結果に基づいて、前記時系列信号中の異常区間を検出する検出部と、を備える異常検出装置として機能させるものである。
【0043】
本発明は異音検出システムとしても観念することができる。すなわち、本発明に係る異常検出システムは、ドライブトレインから発生する音に関する時系列信号である時系列音信号と前記ドライブトレインの作動状態を示すセンサ情報に係る時系列信号である時系列センサ信号を取得する時系列信号取得部と、前記時系列信号に基づいて、所定の特徴量を生成する特徴量生成部と、前記特徴量を所定のクラスタリングアルゴリズムに基づいてクラスタリングするクラスタリング処理部と、前記クラスタリングの結果に基づいて、前記時系列音信号中の異常区間を検出する検出部と、を備えている。
【発明の効果】
【0044】
本発明によれば、検査対象物から取得された時系列信号から異常区間を検出する際の作業者の負担を軽減することができる。
【図面の簡単な説明】
【0045】
【
図1】
図1は、データ計測システムに関する全体構成図である。
【
図2】
図2は、異常検出装置に関する構成図である。
【
図3】
図3は、異常検出装置の動作に関するゼネラルフローチャート(第1の実施形態)である。
【
図4】
図4は、機能ブロック図(第1の実施形態)である。
【
図5】
図5は、異常区間の検出処理に関する説明図である。
【
図6】
図6は、機能ブロック図(第2の実施形態)である。
【
図7】
図7は、異常検出装置の動作に関するゼネラルフローチャート(第2の実施形態)である。
【
図8】
図8は、データ選択処理の詳細フローチャートである。
【
図9】
図9は、シルエットスコアの分布を示す説明図である。
【発明を実施するための形態】
【0046】
以下、本発明に係る異常検出システム、装置、方法、及びプログラムの実施の一形態を、添付の図面を参照しつつ、詳細に説明する。
【0047】
<1.第1の実施形態>
図1〜
図5を参照しつつ、本発明の第1の実施形態について説明する。第1の実施形態では、自動車のエンジンからの回転動力を伝達するドライブトレイン(動力伝達機構)を検査対象物とし、当該検査対象物から発生する音の時系列データや当該検査対象物の回転加速度、トルク、回転数などの時系列センサデータを計測し、それらのデータに基づいて異常区間を検出し、それにより、ドライブトレインの異常を推定しようとするものである。
【0048】
<1.1 構成>
まず、
図1及び
図2を参照しつつ、本実施形態に係るデータ計測システム50及び異常検出装置10の構成について説明する。
【0049】
<1.1.1 データ計測システムの構成>
図1は、検査対象物51たるドライブトレインの作動状態に関連する時系列データを計測するためのデータ計測システム50の全体構成について示している。
【0050】
同図から明らかな通り、データ計測システム50は、検査対象物51、フロントエンド53、計測システム54、制御サーバ52、及び記憶装置55とから構成されている。制御サーバ52は、自動計測プログラムに従ってドライブトレインへと接続されるエンジンの制御を行う。具体的には、所定のテストパターンの生成、測定条件の設定などを行って自動計測を行う。また、それらの測定条件等に関する情報は計測システム54へと送信され、記憶装置55へと記憶される。フロントエンド53は、検査対象物51に対して設置された図示しないマイク及び各種センサから取得された音、加速度、回転数及びトルクに関する時系列信号を各チャンネル信号として読み出して計測システム54へと出力する。計測システム54は、フロントエンド53に対して、サンプリング周波数やチャンネルの設定などの所定の前処理を行う。また、フロントエンドを介して取得されたデータの記憶装置55への記憶処理や、所定のデータの後処理を行う。
【0051】
すなわち、データ計測システム50を動作させることで、検査対象物51たるドライブトレインに対して設置された図示しないマイク及び各種センサから取得された音、加速度、回転数及びトルクに関する時系列信号が、記憶装置55へと蓄積されることとなる。
【0052】
<1.1.2 異常検出装置の構成>
図2は、データ計測システム50で計測されたデータから異常検出を行うための異常検出装置10の構成図である。
【0053】
同図から明らかな通り、異常検出装置10は、内部に制御部1、表示出力部2、記憶部3、操作入力部4、音声出力部5、通信部6、及びI/O部7を備えている。制御部1は、CPU等から成り、各種プログラムの実行処理を行う。表示出力部2は、接続される図示しないディスプレイ等に表示するための画像出力処理を行う。記憶部3は、ROM、RAM等から成り、各種のプログラムやデータを記憶する。操作入力部4は、キーボード等を介して入力された操作信号の処理を行う。音声出力部5は、図示しないスピーカ等の音声出力機器に対して音声を出力する処理を行う。通信部6は、通信ユニット等から成り、外部装置との間の通信処理を行う。I/O部7は、外部機器との接続による入出力処理を行う。
【0054】
すなわち、異常検出装置10は、データ計測システム50により計測された各種時系列データが記憶された記憶装置55から、各種時系列データを逐次読み出して、又は、予め記憶部3へと読み出し、制御部1にて同時系列データ中に異常区間が含まれているかの検出処理を行う。
【0055】
なお、本実施形態では、上述の通り、データ計測システム50及び異常検出装置10を構成したが、本発明はこのような構成に限定されず、既知の種々の構成を採用可能である。従って、例えば、記憶装置55に代えて、異常検出装置10へと直接記憶する構成としてもよい。
【0056】
<1.2 異常検出装置の動作>
次に、
図3〜
図5を参照しつつ、異常検出装置10の動作について説明する。
【0057】
<1.2.1 時系列信号の取得>
図3は、異常検出装置10の動作に関するゼネラルフローチャートである。また、
図4は、異常検出装置1の機能に着目した機能ブロック図である。
【0058】
同図から明らかな通り、処理が開始すると、記憶装置55又は記憶部3から音に関する時系列信号、加速度、トルク、回転数に関する時系列信号が、それぞれ、制御部1へと読み出される(S1)。すなわち、音に関する時系列信号は音信号時系列データ取得部111、加速度に関する時系列信号は加速度信号時系列データ取得部112、トルクに関する時系列信号はトルク信号時系列データ取得部113、及び回転数に関する時系列信号は回転数信号時系列データ取得部114を介して制御部1へと読み込まれる。このとき、後述の種々の動作を規定するパラメータも、パラメータ取得部115を介して読み込まれる。
【0059】
<1.2.2 スペクトログラムへの変換処理>
制御部1へと読み出された各時系列信号は、所定の単位で周波数領域へと変換(スペクトル変換)され、スペクトログラムが生成される(S2)。具体的には、音に関する時系列信号は、スペクトログラム変換部131を経て周波数領域の音信号へと変換され、加速度に関する時系列信号は、スペクトログラム変換部132を経て周波数領域の加速度信号へと変換され、トルクに関する時系列信号は、スペクトログラム変換部133を経て周波数領域のトルク信号へと変換され、回転数に関する時系列信号は、スペクトログラム変換部134を経て周波数領域の回転数信号へと変換される。
【0060】
<1.2.3 特徴量の生成処理>
各時系列信号についてスペクトログラム変換処理(S2)を行った後、それらに基づいて特徴量を生成する処理が行われる(S3)。本実施形態においては、特徴量として、MFCC特徴量、心理音響評価特徴量、回転次数特徴量、及び符号化特徴量の4つの特徴量が採用される。
【0061】
<MFCC特徴量>
MFCC(Mel−Frequency Cepstrum Coefficients)(メル周波数ケプストラム係数)特徴量は、スペクトルグラム変換(S2)された後の周波数領域の音、加速度、トルク及び回転数信号をそれぞれ入力として、MFCC特徴量生成処理部135にて生成される。
【0062】
MFCC特徴量は、人間の音の知覚特性から得られた尺度を応用したケプストラムに関する特徴量である。本実施形態において、MFCC特徴量は、メル周波数ケプストラム係数のみならず、その微分値とそのエネルギを含む。具体的には、MFCC特徴量には、本実施形態において26次元であるメルケプストラム係数のみならず、それを一回微分したΔMFCC(26次元)、二回微分したΔΔMFCC(26次元)も含まれ、さらに、対応する時系列信号の二乗平均平方根エネルギ(RMSE(Root Mean Squared Energy))、その一階微分(ΔRMSE)及び、その二階微分(ΔΔRMSE)がそれぞれ1次元ずつ含まれ、合計81次元(26×3+3)の特徴量である。
【0063】
このような構成によれば、人の聴感特性を考慮した特徴量を用いるので、特に、人が知覚しやすい異常区間の検出精度を向上させることができる。
【0064】
<心理音響評価特徴量>
心理音響評価特徴量は、周波数領域の音信号を入力として、心理音響評価特徴量生成部136にて生成される。
【0065】
心理音響評価特徴量は、音の聴こえを定量化する音質評価パラメータを含み、音の大きさに関するラウドネス([sone])、音の甲高さに関するシャープネス([acum])、音のゆっくりとした変動に関する変動強度([vacil])及び、音のざらざら感に関するラフネス([asper])に相当する4種の特徴量を含む。具体的には、心理音響評価特徴量は、ラウドネス、シャープネス、変動強度、及びラフネスの4つの特徴量についてそれぞれ、平均値(AVE)、平均値の一回微分(ΔAVE)、平均値の二回微分(ΔΔAVE)、標準偏差(STDEV)、標準偏差の一回微分(ΔSTDEV)、標準偏差の二回微分(ΔΔSTDEV)を算出した数値を含む合計24次元(4×6)の特徴量として定義される。
【0066】
このような構成によれば、音の聴こえを考慮した特徴量を用いるので、特に、人が気になる異音を伴う異常の検出精度を向上させることができる。
【0067】
<回転次数特徴量>
回転次数特徴量は、時系列回転数信号と周波数領域の音信号を入力として、回転次数特徴量生成部137にて生成される。
【0068】
回転次数特徴量は、回転次数トラッキング解析に基づいて抽出される1次元の特徴量である。回転次数トラッキングとは、検査対象物の回転数([RPM])とその時の周波数領域の音信号([Hz])との関係を求めたもので、そこから信号強度に基づいて特異な信号成分を検出し、その対応する回転次数を特徴量として抽出したものが回転次数特徴量である。
【0069】
このような構成によれば、回転状態を示す回転数を回転次数へと変換して特徴量として用いるので、回転体における異常検出精度を向上させることができる。
【0070】
<符号化特徴量>
符号化特徴量は、周波数領域の音、加速度、トルク及び回転数信号をそれぞれ入力として、符号化特徴量生成処理部138にてそれぞれ生成される。
【0071】
符号化特徴量は、入力層、中間層(隠れ層)及び出力層から成る人工ニューラルネットワークを用いたオートエンコーダの中間層のニューロンの発火値に相当する特徴量である。オートエンコーダは、入力と同一の教師データによりニューラルネットワークを教師あり学習することにより獲得され、入力に対応する特徴がその中間層のニューロンに表現されることが知られている。すなわち、中間層のニューロンの発火値を用いて特徴抽出又は次元圧縮を行うことができる。
【0072】
なお、本実施形態では、1フレームあたり入出力層の次元数は1025個であり、中間層(出力次元)の次元数は32次元である。すなわち、周波数領域の音、加速度、トルク及び回転数信号のそれぞれに対応して、それぞれ32次元の特徴量が生成されることとなる。また、本実施形態では、符号化特徴量として、さらに、ダイナミックレンジが所定の閾値以上である一又は複数の中間層ニューロンの発火値に相当する特徴量(1次元又は複数次元)が加えられる。
【0073】
このような構成によれば、中間層に特徴が圧縮される性質を利用してクラスタリング精度を向上させ、異常の検出精度を向上させることができる。
【0074】
<1.2.4 クラスタリング処理>
各特徴量が生成されると(S3)、次に、クラスタリング処理部139にて各特徴量のクラスタリング処理が行われる(S4)。本実施形態においては、k平均法、GMM(Gaussian mixture model)、DBSCAN(Density−based spatial clustering of applications with noise)の3つのクラスタリング手法を用いて、各特徴量のクラスタリング処理が行われる。
【0075】
k平均法は、予めクラスタ数を設定することで各サンプルがいずれか一つのクラスタに属することとなるクラスタリング手法であり、クラスタ数等のパラメータは、予めパラメータ取得部115等により設定される。GMMは、予めクラスタ数を設定することで各サンプルがいずれか一つのクラスタに確率的に属することとなるクラスタリング手法であり、クラスタ数等のパラメータは、予めパラメータ取得部115等により設定される。DBSCANは、サンプル点の密度を元にクラスタ数を自動的に決定するクラスタリング手法であり、半径(ε)等のパラメータは、予めパラメータ取得部115等により設定される。
【0076】
このような構成によれば、クラスタリング結果に基づいて検査対象物から取得された時系列信号中の異常の有無を検出するので、時系列信号そのものに基づいて教師なし学習により異常検出を行うことができる。これにより、異常を示すサンプルの準備や当該サンプルとの対比の手間が不要となるため、異常検出作業を行う作業者の負担が軽減される。また、時系列信号から所定の特徴量を生成してからクラスタリングを行うので、クラスタリングの精度が向上する。
【0077】
<1.2.5 異常検出モードの取得処理>
各特徴量のクラスタリング処理(S4)終了後、異常検出モードの取得処理が行われる(S5)。ユーザ等により設定されて記憶部3へと記憶されていた異常検出モードは、異常検出モード取得部116により読み出されて異常検出モード設定部141へと出力される。この出力に応じて、異常検出モード設定部141は、異常検出部140に対して異常検出モードを設定する。
【0078】
異常検出モードとは、検出対象となる異常の特性に応じて設定されるものであり、後述するように、異常検出モードに応じて異常検出を行う際の基礎となる特徴量とクラスタリングアルゴリズムが決定される。本実施形態においては、いずれの異常検出モードも非定常性の異常信号を検出することを目的とし、異常検出モードは、対象信号中の継続時間が極めて短い衝撃性の異常(分離衝撃騒音)の有無を検出する第1の異常検出モード、対象信号の定常性や間欠性に関する異常(間欠騒音)の有無を検出する第2の異常検出モード、対象信号中から検査対象の加減速中の回転上昇又は回転下降に伴う衝撃性の異常(変動騒音)の有無を検出する第3の異常検出モード、及び、対象信号中の継続時間が極めて短い衝撃性の異常(準定常衝撃騒音)の有無をより精度良く検出する第4の異常検出モード、を含んでいる。
【0079】
<1.2.6 異常検出処理>
異常検出モードが設定されると(S5)、異常検出部140は、異常の検出処理を行う(S6)。より詳細には、異常検出部140は、異常検出モードに応じて異常検出の基礎となる特徴量及びクラスタリングアルゴリズムを特定し、そのクラスタリング結果に基づいて異常検出を行う。
【0080】
第1の異常検出モードが設定されると、異常検出部140は、音、加速度、トルク及び回転数に係るMFCC特徴量と、心理音響評価特徴量と、音、加速度、トルク及び回転数に係る符号化特徴量に対して、それぞれクラスタリングアルゴリズムとしてDBSCANを適用した結果を異常検出の基礎として特定する。その後、異常検出部140は、異常検出の基礎とした各分類結果のいずれかにおいて、外れ値を示す特徴量が特定された場合、当該特徴量及び当該特徴量と対応する時系列信号区間を異常として検出する。
【0081】
第2の異常検出モードが設定されると、異常検出部140は、音、加速度、トルク及び回転数に係るMFCC特徴量と、心理音響評価特徴量と、音、加速度、トルク及び回転数に係る符号化特徴量に対して、それぞれクラスタリングアルゴリズムとしてk平均法及びGMMを適用した結果を異常検出の基礎として特定する。その後、異常検出部140は、異常検出の基礎とした各分類結果のいずれかにおいて、所定のクラスへの所属を示す特徴量が特定された場合、当該特徴量及び当該特徴量と対応する時系列信号区間を異常として検出する。本実施形態においては、当該所定のクラスは、所定の時間区間(例えば60秒に相当する時間フレーム)において各クラスが占める割合により定義される。例えば、所定の時間区間において占める割合の小さいクラスを異常を示す所定のクラスとして特定してもよい。なお、当該所定のクラスは、他の手法で定義してもよく、例えば、定常状態で属するクラスを先に特定し、それ以外のクラスを異常を示す所定のクラスとして定義してもよい。
【0082】
第3の異常検出モードが設定されると、異常検出部140は、音、加速度、トルク及び回転数に係るMFCC特徴量と、心理音響評価特徴量と、音、加速度、トルク及び回転数に係る符号化特徴量に対して、それぞれクラスタリングアルゴリズムとしてk平均法及びGMMを適用した結果と、回転次数特徴量に対してクラスタリングアルゴリズムとしてk平均法、GMM及びDBSCANを適用した結果と、を異常検出の基礎として特定する。その後、異常検出部140は、異常検出の基礎とした各分類結果のいずれかにおいて、k平均法及びGMMの場合には所定のクラスへの所属を示す特徴量、又は、DBSCANの場合には外れ値を示す特徴量が発見された場合、当該特徴量及び当該特徴量と対応する時系列信号区間を異常として検出する。本実施形態においては、当該所定のクラスは、所定の時間区間(例えば60秒に相当する時間フレーム)において各クラスが占める割合により定義される。例えば、所定の時間区間において占める割合の小さいクラスを異常を示す所定のクラスとして特定してもよい。なお、当該所定のクラスは、他の手法で定義してもよく、例えば、定常状態で属するクラスを先に特定し、それ以外のクラスを異常を示す所定のクラスとして定義してもよい。
【0083】
第4の異常検出モードが設定されると、異常検出部140は、音、加速度、トルク及び回転数に係るMFCC特徴量と、心理音響評価特徴量と、音、加速度、トルク及び回転数に係る符号化特徴量に対して、それぞれクラスタリングアルゴリズムとしてk平均法及びGMMを適用した結果と、ダイナミックレンジが所定の閾値以上であるとして抽出された符号化特徴量に対してクラスタリングアルゴリズムとしてk平均法及びGMMを適用した結果と、を異常検出の基礎として特定する。その後、異常検出部140は、異常検出の基礎とした各分類結果のいずれかにおいて、k平均法及びGMMの場合には所定のクラスへの所属を示す特徴量、又は、DBSCANの場合には外れ値を示す特徴量が特定された場合、当該特徴量及び当該特徴量と対応する時系列信号区間を異常として検出する。本実施形態においては、当該所定のクラスは、所定の時間区間(例えば60秒に相当する時間フレーム)において各クラスが占める割合により定義される。例えば、所定の時間区間において占める割合の小さいクラスを異常を示す所定のクラスとして特定してもよい。なお、当該所定のクラスは、他の手法で定義してもよく、例えば、定常状態で属するクラスを先に特定し、それ以外のクラスを異常を示す所定のクラスとして定義してもよい。
【0084】
図5は、異常区間の検出処理に関する例示のための説明図である。同図は、第1の異常検出モードにおいて、音に関するMFCC特徴量をDBSCANによりクラスタリングした場合を表し、時間([min])に対する音信号の周波数強度(上段)と、そのときのクラス遷移の様子(下段)がグラフで表されている。
【0085】
同図から明らかな通り、時間‐クラスグラフの中央やや右寄りの時点において、クラスが0から−1へと2度遷移していることが確認される。同グラフにおいて−1は外れ値を示している。従って、当該音に関するMFCC特徴量及び当該特徴量と対応する時系列信号区間が異常(すなわち、この場合には異音)として検出される。
【0086】
なお、本実施形態においてはいずれかの特徴量のクラスタリング結果において、異常が検出された場合に、当該時間区間を異常として検出する構成としたが、このような形態に限定されない。従って、例えば、同一の時間区間について複数の又は全ての特徴量において異常検出された場合に限り、当該時間区間を異常として検出する構成としてもよい。
【0087】
<1.2.7 出力処理>
異常検出処理(S6)が終了すると、検出結果を出力する処理が行われる(S7)。出力態様として、異常出力部151を介した出力と、グラフ出力部152を介した出力がある。これらの出力処理の後、処理は終了する。
【0088】
異常出力部151を介した出力によれば、これまでに得られた各種のデータをCSV(Comma Seperated Values)等の任意のデータ形式で出力することができる。また、グラフ出力部152を介した出力によれば、表示出力部2を介してディスプレイ等に異常区間を含み得る各信号(音、加速度、トルク、回転数)の時系列データやスペクトログラムを表示することができる。このとき、特徴量毎に異常個所を強調して表示してもよい。また、複数の特徴量において異常と認められる部分についてのみ異常箇所として表示してもよい。さらに、音声出力部5を介して異常信号に相当する箇所の音信号を再生し、異常個所に異音等が含まれていないかを確認できるよう構成してもよい。
【0089】
このような構成によれば、異常箇所をグラフや音声を介して視覚的又は聴覚的に確認できるため、異常箇所の特定がより直観的かつ容易となる。
【0090】
すなわち、本実施形態に係る構成によれば、クラスタリング結果に基づいて検査対象物に係る時系列信号中の異常の有無を検出するので、時系列信号そのものに基づいて教師なし学習により異常検出を行うことができる。これにより、異常を示すサンプルの準備や当該サンプルとの対比の手間が不要となるため、異常検出作業を行う作業者の負担が軽減される。また、時系列信号から所定の特徴量を生成してからクラスタリングを行うので、クラスタリングの精度が向上する。
【0091】
また、本実施形態に係る構成によれば、検査対象物から発生する音に基づいて異常検出を行うので、非破壊で検査を行うことができる。また、異常状態の場合の音サンプルの準備や当該音サンプルとの対比の手間が不要となるため、異常検出作業を行う作業者の負担が軽減される。
【0092】
さらに、本実施形態に係る構成によれば、対象物から発せられる音のみならず、異常と因果関係の生じ得る対象物の作動状態を示すセンサ情報(例えば、加速度など)も活用することで(マルチセンシング)、異常の検出精度をさらに向上させることができる。
【0093】
<2.第2の実施形態>
次に、
図6〜
図9を参照しつつ、本発明の第2の実施形態について説明する。
【0094】
第1の実施形態においては、クラスタリング処理(S4)を行った後、当該クラスタリング結果に基づいて異常検出(S5)を行った。しかしながら、データの性質によっては、クラスタリングを行っても適切にクラスタリングが進まない場合がある。そのようなクラスタリング結果に基づく場合、適切に異常検出を行うことができないおそれがある。また、適切にクラスタリングが進まなかった結果も含めてすべてのクラスタリング結果を参照する場合、無用な処理時間が発生するおそれもある。本実施形態では、クラスタリング結果を選択的に使用することで、異常検出の精度を高めると共に処理時間を短縮化する。
【0095】
本実施形態においては、ハードウェア構成は、第1の実施形態と略同一であるので記載を省略する。なお、第1の実施形態と同一の構成については、同一の符号が付されることに留意されたい。
【0096】
図6は、本実施形態に係る機能ブロック図である。同図から明らかな通り、本実施形態においては、第1の実施形態の機能構成に加えて、クラスタリング処理部139と異常検出部162との間にデータ選択部161が設けられている。データ選択部161は、後述の通り、適切なクラスタリング結果を選択する処理を行う。
【0097】
図7は、本実施形態に係る異常検出判定装置の動作に関するゼネラルフローチャートである。処理が開始されると、第1の実施形態と同様に時系列信号の取得処理(S1)、スペクトログラムへの変換処理(S2)、特徴量の生成処理(S3)、及びクラスタリング処理(S4)が行われる。本実施形態においては、クラスタリング処理(S4)が完了した後、データ選択部161にてデータ選択処理(S11)が行われる。
【0098】
図8は、データ選択処理(S11)の詳細フローチャートである。同図から明らかな通り、処理が開始すると、分類結果に基づいてシルエットスコア(−1から1の数値)を算出する処理が行われる。
【0099】
シルエットスコアの算出方法について説明する。まず、対象となるクラスタリング結果に対して、クラスタの凝集度を表す値(a
(i))とクラスタ乖離度を表す値(b
(i))に基づいて、次式より所定のサンプル数だけシルエット係数S
(i)を算出する。
【0101】
なお、クラスタの凝集度を表す値(a
(i))は、同じクラスタ内のその他すべてのサンプルとの平均距離であり、クラスタ乖離度(b
(i))は、最も近くにあるクラスタ内のすべてのサンプルとの平均距離である。また、max{a
(i),b
(i)}は、a
(i)とb
(i)のいずれか大きい方を表す。さらに、iはサンプル番号を示している。
【0102】
シルエット係数S
(i)を算出した後、シルエットスコアを算出する。シルエットスコアは、シルエット係数S
(i)の相加平均値として算出される。
【0103】
図8に戻り、算出されたシルエットスコアに基づいて参照データを特定する処理が行われる(S113)。より詳細には、各特徴量に基づいて算出された複数のシルエットスコアのうち所定の閾値以上のシルエットスコアを有するデータを参照データとして特定する。
【0104】
図9は、複数のシルエットスコアを昇順(数値が大きい順)で並び替えた時の分布を示す説明図である。同図から明らかな通り、昇順で並び替えられたシルエットスコアのうち、第40番目のシルエットスコア(モデル番号が40)をおよそ超えたあたりでシルエットスコアが急落している。データ選択部161は、この急落する変曲点を傾き等を利用して自動的に検出することにより、閾値Thを設定する。そして、シルエットスコアが閾値Th以上(同図の例にあっては、およそ0.3以上)となるシルエットスコアを有するデータを参照データとして選択する。なお、閾値Thは、固定値であってもよいし、ユーザにより設定されてもよい。
【0105】
参照データが特定された後、当該参照データに対してフラグを立てる(フラグON)処理(S115)が行われ、データ選択処理(S11)は終了する。
【0106】
図7に戻り、データ選択処理(S11)が終了すると、第1の実施形態と同様に、異常検出モードの取得処理が行われる(S5)。すなわち、ユーザ等により設定されて記憶部3へと記憶されていた異常検出モードは、異常検出モード取得部116により読み出されて異常検出モード設定部141へと出力される。
【0107】
その後、異常検出部140は、異常検出モードと、データ選択処理(S11)によりフラグが立てられたクラスタリング結果に基づいて異常検出処理を行う(S16)。すなわち、第1の実施形態と同様に、異常検出部140は、異常検出モードに応じて異常検出の基礎となる特徴量及びクラスタリングアルゴリズムを特定し、フラグが立てられたクラスタリング結果に基づいて異常検出を行う。その後、第1の実施形態と同様に出力処理が行われて(S7)、処理は終了する。
【0108】
このような構成によれば、クラスタリングが良好に進んだ結果のみに基づいて異常検出を行うことができるので、より適切に異常検出を行うことができる。また、異常検出に使用するデータ数が減るので処理時間を短縮することができる。
【0109】
<3.変形例>
上述の実施形態においては、音、加速度、トルク及び回転数に関する時系列信号を用いて、異常検出を行った。しかしながら、本発明の適用対象は、上述の信号に限定されず、種々の時系列信号に対して適用可能である。従って、他の時系列信号であっても異常検出を行うことができる。また、必ずしも音に関する信号を含まなくてもよい。
【0110】
また、上述の実施形態においては、自動車のエンジンからの回転動力を伝達するドライブトレイン(動力伝達機構)を検査対象物としたが、本発明の検査対象はそれに限定されず、また、回転体にも限定されない。従って、本発明は、例えば、他の回転を伴わない動作を行う対象、又は物理的な動作を伴わない対象の異常検出にも適用可能である。
【0111】
さらに、上述の実施形態においては、クラスタリング手法として、k平均法、GMM及びDBSCANを用いることとした。しかしながら、本発明には、他のクラスタリング手法を適用することも可能であり、例えば、SOM(Self−Organizing Maps)等を利用することもできる。
【0112】
加えて、上述の実施形態においては、クラスタリング対象となる特徴量としてMFCC特徴量、心理音響評価特徴量、回転次数特徴量、及び、符号化特徴量を使用した。しかしながら、本発明はこのような構成に限定されない。従って、例えば、上記特徴量のうちの一部のみを使用してもよいし、全く別異の他の特徴量を採用してもよい。
【0113】
また、第2の実施形態においては、シルエットスコアを利用してデータ選択処理を行ったが、本発明はこのような構成に限定されない。従って、例えば、クラスタリングの精度を示す他の指標を用いてデータ選択を行ってもよい。また、例えば、DBSCAN等を用いて外れ値の割合を算出して外れ値の割合が高いデータを排除するよう選択してもよい。
【産業上の利用可能性】
【0114】
本発明は、工業製品の検査等を必要とするすべての産業において利用可能である。
【符号の説明】
【0115】
1 制御部
2 表示出力部
3 記憶部
4 操作入力部
5 音声出力部
6 通信部
7 I/O部
10 異常検出装置
50 データ計測システム
51 検査対象
52 制御サーバ
53 フロントエンド
54 計測システム
55 記憶装置