特許 6061693 異常診断装置およびこれを用いた異常診断方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6061693

(24)【登録日】2016年12月22日

(45)【発行日】2017年1月18日

(54)【発明の名称】異常診断装置およびこれを用いた異常診断方法

(51)【国際特許分類】

   G01H 3/00 20060101AFI20170106BHJP

【ＦＩ】

   G01H3/00 Z

【請求項の数】7

【全頁数】19

(21)【出願番号】特願2013-7121(P2013-7121)

(22)【出願日】2013年1月18日

(65)【公開番号】特開2014-137323(P2014-137323A)

(43)【公開日】2014年7月28日

【審査請求日】2015年2月26日

(73)【特許権者】

【識別番号】000233044

【氏名又は名称】株式会社日立パワーソリューションズ

(74)【代理人】

【識別番号】110001807

【氏名又は名称】特許業務法人磯野国際特許商標事務所

(74)【代理人】

【識別番号】100064414

【弁理士】

【氏名又は名称】磯野 道造

(74)【代理人】

【識別番号】100111545

【弁理士】

【氏名又は名称】多田 悦夫

(72)【発明者】

【氏名】関 進悟

【審査官】 山口 剛

(56)【参考文献】

【文献】 特開平１１−０６４０８９（ＪＰ，Ａ）

【文献】 特開２０１０−０９１２８２（ＪＰ，Ａ）

【文献】 特表２００６−５２２９１９（ＪＰ，Ａ）

【文献】 特開２００９−２７６１４６（ＪＰ，Ａ）

【文献】 特開２００２−２６７５３３（ＪＰ，Ａ）

【文献】 特開２０１１−２０９８４７（ＪＰ，Ａ）

【文献】 特開２００４−１４４５７９（ＪＰ，Ａ）

【文献】 特開２００５−２１５８３３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０１Ｈ １／００ − １７／００

Ｇ０１Ｍ １３／００ − １３／０４

Ｇ０１Ｍ ９９／００

(57)【特許請求の範囲】

【請求項1】

診断対象物の画像を撮像する撮像手段と、
複数のマイクで構成されたマイクロホンアレイにより前記診断対象物からの音圧信号を集音する集音手段と、
前記集音手段で集音した前記音圧信号に信号処理を行って、前記画像に対応する音圧の方向ごとの分布を計算して音圧マップを作成する音圧マップ作成手段と、
前記音圧マップ作成手段が計算した前記診断対象物の音圧マップ、および正常品群の音圧マップの特徴を表す単位空間に基づき、前記診断対象物の音圧マップの前記単位空間に於ける距離が閾値を超えているか否かによって、各計算点での異常の有無を判定する異常領域判定手段と、
前記診断対象物の音圧マップおよび複数の格子を前記画像に重ねて表示部に出力すると共に、ユーザによって指定されたいずれかの任意の格子を詳細表示領域として周波数成分のデータを前記正常品群での当該詳細表示領域の周波数成分のデータと共に表示する表示グラフを表示部に出力する音圧マップ表示手段と、
を備えたことを特徴とする異常診断装置。

【請求項2】

前記診断対象物の音圧マップは、前記画像の各計算点に於ける音圧レベルの情報またはパワースペクトルの情報を含んでいる、
ことを特徴とする請求項１に記載の異常診断装置。

【請求項3】

前記単位空間は、前記正常品群の音圧マップの項目間の相関行列の逆行列で示され、
前記異常領域判定手段が、前記診断対象物のいずれの計算点での異常も判定しなかったならば、前記異常領域判定手段は前記音圧マップにより前記単位空間を更新する、
ことを特徴とする請求項１に記載の異常診断装置。

【請求項4】

前記診断対象物の音圧マップに基づいて、各計算点での異常項目を診断する異常項目診断手段を更に備えている、
ことを特徴とする請求項１に記載の異常診断装置。

【請求項5】

前記マイクロホンアレイは、前記撮像手段を中心とした円周上に、前記複数のマイクを等間隔で配置して構成されている、
ことを特徴とする請求項１に記載の異常診断装置。

【請求項6】

前記音圧マップ作成手段は、前記集音手段で集音した音圧信号にビームフォーミング処理を行って、前記撮像手段から所定の距離だけ離れた複数の仮想平面に於ける各音圧マップを計算し、
前記音圧マップ表示手段は、いずれかの音圧マップを前記画像に重ねて表示する、
ことを特徴とする請求項１ないし請求項５のうちいずれか１項に記載の異常診断装置。

【請求項7】

診断対象物の画像を撮像し、
複数のマイクで構成されたマイクロホンアレイにより前記診断対象物からの音圧信号を集音し、
前記音圧信号を信号処理して前記画像に対応する音圧の方向ごとの分布を計算して前記診断対象物の音圧マップを作成し、
前記診断対象物の音圧マップ、および正常品群の音圧マップの特徴を表す単位空間に基づき、前記診断対象物の音圧マップの前記単位空間に於ける距離が閾値を超えているか否かによって、各計算点での異常の有無を判定し、
前記画像に前記診断対象物の音圧マップおよび複数の格子を重ねて表示部に出力し、
前記画像を前記格子で複数の矩形領域に分け、
ユーザによって指定されたいずれかの任意の格子を詳細表示領域として周波数成分のデータを算出して、当該詳細表示領域の正常データと共に表示する表示グラフを表示部に出力する、
ことを特徴とする異常診断方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、音によって異常を診断する異常診断装置およびこれを用いた異常診断方法に関する。

【背景技術】

【0002】

工場や発電所などで動作する機器などを診断する技術として、機器が発する音に基づいて異常性を診断する方法が知られている（特許文献１〜３参照）。

【0003】

特許文献１の要約には、課題として、「各種装置騒音に含まれる衝撃音に現れる故障発生の有無あるいは発生原因を正確に推定でき、シート材の衝撃音にも容易に対応可能とする。」と記載され、解決手段として、「診断対象８からの評価すべき音７を収集する収音部１と、収音部１で収集された音波形を演算・抽出する波形抽出部２と、予め登録された複数の基準波形で表される原因別基準空間４における評価すべき音波形の空間距離を演算する空間距離演算部３と、診断対象８の一つ以上の音源を所定の更新モード時に複数回動作させて得られる音波形を、予め登録された原因別基準空間４に取り込み、原因別基準空間４を更新する基準空間更新部５と、前記空間距離演算部３から出力される距離演算結果に基づいて評価すべき音７を解析して判断する解析判断部６とを備える。」と記載されている。

【0004】

特許文献２の要約には、課題として、「装置の大型化及びコストの増大なく、音の到来方向についての情報と音の異常性についての情報とを組み合わせた情報を正確に撮像画像に重ね合わせることができる音監視装置を提供する。」と記載され、解決手段として、「音到来方向算出部５は、マイクロホンアレイ３によって集音した音の到来方向を、音の到来時間差又は位相差を用いて算出する。異常性判定部６は、マイクロホンアレイ３によって集音した音の異常性を判定する。音到来方向及び異常音の異常性組合せ部７は、音の到来方向についての情報及び異常性についての情報を組み合わせ、組み合わされた情報を、画像に重ね合わせてモニタ２に表示させる。」と記載されている。

【0005】

特許文献３の要約には、課題として、「検査対象の異常を診断する時間を短縮し、診断の性能を向上させる。」と記載され、解決手段として、「各周波数帯域に分解する機能を有する音響センサ１０を、格子状に配設して音響センサアレイ３２を構成する。この音響センサアレイ３２を検査対象３１の近傍に配置して、前記検査対象３１から発する音を計測する。計測された音は各音響センサにおいて周波数帯域に分解され、信号に変換されて情報処理部３４へ出力される。情報処理部３４では全ての音響センサからの前記信号をフェーズドアレイ法により合成し、音圧の強度を示すマップを作成する。そして、このマップに基づいて前記検査対象３１の正常又は異常の診断を行う。」と記載されている。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００４−２０５２１５号公報

【特許文献2】特開２００９−１１８３１８号公報

【特許文献3】特開２００４−２５１７５１号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

特許文献１に記載の技術は、少ない項目設定で高速に異常診断を実行することが可能である。しかし、特許文献１に記載の技術は、マイクロホンを単独で使用しているので、異常の位置を特定することができない。すなわち、複数の音源がある環境に於いては、異常個所を特定することができないという問題があった。

【0008】

特許文献２に記載の技術は、マイクロホンアレイからの音圧レベルや周波数成分の評価項目を個々に診断している。そのため、当該箇所の絶対的な異常性の判別は可能であっても、項目間の相対関係に現れるような異常に対しては、その判定を行うことができないという問題があった。
特許文献２に記載の技術は更に、既知の異常音に基づき、膨大な量の評価項目の閾値を設定する必要があるため、初期設定に相当量の時間と労力を費やさなければならないという問題があった。また、未知の異常音に対して、その特性を予測することは困難であり、どの評価項目に対してどの程度の閾値を設定すれば正確に異常を検知できるか不明であるという問題があった。

【0009】

特許文献３に記載の技術は、１つの平面体で特定できるのは異常が発生した方向、すなわち異常発生位置に関する２次元座標のみであり、異常発生位置の３次元座標を特定するためには、複数の平面体を診断対象物に対して異なる角度になるように配置する必要があった。
特許文献３に記載の技術は更に、異常発生位置が診断対象物のどの部位にあたるかを特定するためには、異常診断装置と診断対象物との相対的な位置関係および診断対象物の形状を測定した上で、前記異常発生位置が診断対象物のどの部位にあたるかを計算する必要があった。特に、診断対象物が複雑な形状を持つ場合には、計算が煩雑になるという問題があった。

【0010】

そこで、本発明は、任意の形状の診断対象物の異常部位を、音によって特定して表示することができる異常診断装置およびこれを用いた異常診断方法を提供することを課題とする。

【課題を解決するための手段】

【0011】

前記した課題を解決するため、請求項１に記載の発明では、診断対象物の画像を撮像する撮像手段と、複数のマイクで構成されたマイクロホンアレイにより前記診断対象物からの音圧信号を集音する集音手段と、前記集音手段で集音した前記音圧信号に信号処理を行って、前記画像に対応する音圧の方向ごとの分布を計算して音圧マップを作成する音圧マップ作成手段と、前記音圧マップ作成手段が計算した前記診断対象物の音圧マップ、および正常品群の音圧マップの特徴を表す単位空間に基づき、前記診断対象物の音圧マップの前記単位空間に於ける距離が閾値を超えているか否かによって、各計算点での異常の有無を判定する異常領域判定手段と、前記診断対象物の音圧マップおよび複数の格子を前記画像に重ねて表示部に出力すると共に、ユーザによって指定されたいずれかの任意の格子を詳細表示領域として周波数成分のデータを前記正常品群での当該詳細表示領域の周波数成分のデータと共に表示する表示グラフを表示部に出力する音圧マップ表示手段と、を備えたことを特徴とする異常診断装置とした。
その他の手段については、発明を実施するための形態のなかで説明する。

【発明の効果】

【0012】

本発明によれば、任意の形状の診断対象物の異常部位を、音によって特定して表示することができる異常診断装置およびこれを用いた異常診断方法を提供することができる。

【図面の簡単な説明】

【0013】

【図1】第１の実施形態に於ける異常診断装置の構成を示す図である。

【図2】第１の実施形態に於ける正常データ学習処理のフローチャートである。

【図3】第１の実施形態に於ける正常品の特徴量を抽出して単位空間を形成する処理のフローチャートである。

【図4】第１の実施形態に於ける異常診断処理のフローチャートである。

【図5】第１の実施形態に於ける異常項目診断処理のフローチャートである。

【図6】第１の実施形態に於ける異常部位特定処理を説明するための図である。

【図7】第１の実施形態に於けるカメラ画像表示画面を示す図である。

【図8】第２の実施形態に於ける異常診断装置の構成を示す図である。

【図9】第２の実施形態に於けるカメラおよびマイクロホンアレイの構成を示す図である。

【図10】第２の実施形態に於ける異常診断処理のフローチャートである。

【図11】第２の実施形態に於けるカメラ画像表示画面を示す図である。

【発明を実施するための形態】

【0014】

以下、本発明を実施するための形態を、各図を参照して詳細に説明する。

【0015】

図１は、第１の実施形態に於ける異常診断装置１の構成を示す図である。
診断対象物７は、動作時に所定量の音を発生する機器であり、例えば、モータ、コンプレッサ、発電機などである。
カメラ２は、診断対象物７を撮像して、カメラ画像を動画として出力するものである。カメラ２は、異常診断装置１に接続されている。なお、カメラ２は、診断対象物７が外観上の可動部分を有していないならば、これを１フレームだけ撮像して、カメラ画像を静止画像として出力するものであってもよい。
マイクロホンアレイ３は、複数のマイクで構成され、診断対象物７の音圧信号を測定するものである。このマイクロホンアレイ３は、異常診断装置１に接続されて、集音した音圧信号を出力する。

【0016】

異常診断装置１は、Ａ／Ｄ変換器１１と、音響信号処理部１２と、記憶部１３と、モニタ１４と、ネットワーク処理部１５と、ネットワークインタフェース１６と、アラーム処理部１７と、スピーカ１８と、を備える。異常診断装置１には、カメラ２とマイクロホンアレイ３とが接続され、必要に応じて診断対象物７が接続されている。
異常診断装置１は、マイクロホンアレイ３が集音した音圧信号に基づいて、診断対象物７の異常性を診断し、カメラ２が撮像したカメラ画像と重畳してモニタ１４に表示するものである。異常診断装置１は、診断対象物７が複数の動作モードを有しているとき、いずれの動作モードに於いて動作しているかを判断することにより、この動作モードに於ける異常を特定する。異常診断装置１は更に、診断対象物７の動作モードを指令することにより、所定の動作モードで動作させて異常を特定することができる。

【0017】

Ａ／Ｄ変換器１１は、アナログ信号をデジタル信号に変換するものである。Ａ／Ｄ変換器１１は、マイクロホンアレイ３の複数のマイクに接続されていると共に、音響信号処理部１２に接続されている。Ａ／Ｄ変換器１１は、マイクロホンアレイ３の各マイクが集音したアナログの音圧信号を、デジタルの音圧信号に変換して出力する。
音響信号処理部１２は、音圧マップ作成部１２１（音圧マップ作成手段）と、異常領域判定部１２２（異常領域判定手段）と、異常項目診断部１２３（異常項目診断手段）と、音圧マップ表示部１２４（音圧マップ表示手段）と、を有する。音響信号処理部１２は、Ａ／Ｄ変換器１１が出力した音圧信号を処理して異常を判定し、カメラ画像と重畳して表示するものである。音響信号処理部１２は、図示しないＣＰＵ（Central Processing Unit）がファームウェアプログラムを実行することによって具現化される。

【0018】

音圧マップ作成部１２１は、音圧信号を信号処理して、カメラ画像に対応する音圧マップを計算するものである。音圧マップは、カメラ画像に対応する２次元の各計算点に於ける音圧レベルの情報、または、パワースペクトルの情報を含み、これらの情報をカメラ画像内の位置情報と対応させたものである。音圧レベルは、音圧信号の強さである。パワースペクトルは、周波数ごとに分割した音圧信号のレベルである。パワースペクトルは、例えば、ＦＦＴ（Fast Fourier Transform）によって算出することができる。
異常領域判定部１２２は、音圧マップに基づいて、各計算点に於ける異常の有無を判定するものである。

【0019】

異常項目診断部１２３は、音圧マップに基づいて、各計算点に於ける異常項目（異常原因項目）を診断するものである。異常項目（異常原因項目）とは、異常性を有する評価項目であり、例えば、カメラ画像内の所定の位置情報と対応する音圧レベルの情報、所定周波数に於ける音圧信号のレベルの情報（パワースペクトル）、または、カメラ画像内の所定の位置情報と対応する音圧信号の所定周波数に於ける音圧レベルの情報（パワースペクトル）などである。なお、所定の位置情報または所定の周波数は、それぞれ単数であっても複数であってもよい。
音圧マップ表示部１２４は、音圧マップなどをカメラ画像に重ねた診断結果の画面を、モニタ１４に表示すると共に、ネットワーク処理部１５などにより、端末８に送信するものである。

【0020】

記憶部１３は、正常性学習ＤＢ（データベース：DataBase）１３１と、測定結果ＤＢ１３２とを格納する。記憶部１３は、例えば、ＨＤＤ（Hard Disk Drive）などで構成される。
正常性学習ＤＢ１３１は、正常品に係る単位空間を形成する逆行列データを格納している。正常性学習ＤＢ１３１は、音響信号処理部１２が、異常の有無を判定するために参照する。
測定結果ＤＢ１３２は、音圧マップを格納している。測定結果ＤＢ１３２は、音響信号処理部１２が測定した音圧マップを保存するために用いられる。
モニタ１４は、文字、図形、画像などを表示するものである。
ネットワーク処理部１５は、ネットワーク９を介して通信を行うものである。ネットワーク処理部１５は、音圧マップ表示部１２４が出力した診断結果の画面を、ネットワーク９を介して端末８に送信するものである。
ネットワークインタフェース１６は、ネットワーク９に接続され、ネットワーク９を介してパケットを送受信するハードウェアである。
アラーム処理部１７は、アラーム（警告音）を生成して、スピーカ１８に出力するものである。スピーカ１８は、信号が入力されたとき、この信号に対応する音を出力するものである。
ネットワーク９は、例えば、インターネット通信網であり、複数の装置間に於いてパケットを送受信可能とするものである。
端末８は、例えば、コンピュータであり、ネットワーク９を介して異常診断装置１の診断結果の画面を受信して表示するものである。

【0021】

図２は、第１の実施形態に於ける正常データ学習処理のフローチャートである。
異常診断装置１が起動され、正常データ学習指示が入力されたならば、音響信号処理部１２は、正常データ学習処理を開始する。この正常データ学習処理は、参考文献１（田村希志臣、「よくわかるＭＴシステム−品質工学によるパターン認識の新技術」、日本規格協会、２００９年８月）の４２〜４５頁に於いて、詳細に記載されている。
ステップＳ１０〜Ｓ１６に於いて、音圧マップ作成部１２１は、既定数の音圧マップを記録する処理を繰り返す。ここで既定数は、この正常データ学習処理を行う上で予め定められた回数である。しかし、これに限られずに、既定の時間だけ正常データ学習処理を繰り返してもよい。

【0022】

ステップＳ１１に於いて、音圧マップ作成部１２１は、マイクロホンアレイ３によって診断対象物７からの音圧信号を測定し、測定した音圧信号をＡ／Ｄ変換器１１によってデジタル信号に変換する。診断対象物７は、例えば、回転機器であるモータなどである。
ステップＳ１２に於いて、音圧マップ作成部１２１は、測定した音圧信号を信号処理して、カメラ画像に対応する音圧レベルとパワースペクトルとを算出する。算出した音圧レベルとパワースペクトルとは、それぞれ音圧マップを構成する。
ステップＳ１３に於いて、音圧マップ表示部１２４は、カメラ画像に音圧マップを付加する。
ステップＳ１４に於いて、音圧マップ表示部１２４は、音圧マップが付加されたカメラ画像を、モニタ１４に表示する。
ステップＳ１５に於いて、音圧マップ作成部１２１は、音圧マップを測定結果ＤＢ１３２に記録する。

【0023】

ステップＳ１６に於いて、音圧マップ作成部１２１は、既定数の音圧マップを記録する処理を繰り返したか否かを判断する。音圧マップ作成部１２１は、当該判断条件が成立しなかったならば、ステップＳ１０の処理に戻って次の測定を行い、当該判断条件が成立したならば、カメラ２とマイクロホンアレイ３の位置を変更すること無しに、ステップＳ１７の処理を行う。
ステップＳ１７に於いて、音圧マップ作成部１２１は、ステップＳ１０〜Ｓ１６で測定して測定結果ＤＢ１３２に格納された音圧マップに基づき、正常データを学習する。より具体的には、音圧マップ作成部１２１は、取得した音圧マップを用いて、正常品に係わるデータの特徴量を抽出して、単位空間を形成する（図３参照）。なお、正常品とは、診断対象物７のうち、予め定められた仕様を満たすものである。
ステップＳ１８に於いて、音圧マップ作成部１２１は、正常品の特徴量を正常性学習ＤＢ１３１に記憶する（図３参照）。
ステップＳ１８の処理が終了すると、音響信号処理部１２は、図２に示す正常データ学習処理を終了する。

【0024】

図３は、第１の実施形態に於ける正常品の特徴量を抽出して単位空間を形成する処理のフローチャートである。なお、図３に示す処理は、図２に示すステップＳ１７およびステップＳ１８の処理に相当する。
音圧マップ作成部１２１が、図２の正常データ学習処理に於いて、ステップＳ１７の処理を開始したならば、正常品の特徴量を抽出して単位空間を形成する処理を開始する。この図３の処理は、参考文献１の４２〜４５頁に詳細に記載されている。
ステップＳ２０に於いて、音圧マップ作成部１２１は、測定結果ＤＢ１３２の音圧マップから、ｊ番目の評価項目に対する、ｉ番目のサンプルデータｘ_ｉｊを取得する。
ステップＳ２１に於いて、音圧マップ作成部１２１は、ｊ番目の評価項目の平均値ｍ_ｊおよび標準偏差σ_ｊを求める。音圧マップ作成部１２１は、次の（１）式を計算して、サンプルデータｘ_ｉｊをサンプルデータＸ_ｉｊに規準化する。

【0025】

【数1】

【0026】

ステップＳ２２に於いて、音圧マップ作成部１２１は、規準化されたサンプルデータＸ_ｉｊを用いて、評価項目間の相関係数を算出し、相関行列Ｒを計算する。
ステップＳ２３に於いて、音圧マップ作成部１２１は、計算した相関行列Ｒの逆行列Ｒ^−１を計算する。
ステップＳ２４に於いて、音圧マップ作成部１２１は、計算した逆行列Ｒ^−１を、正常性学習ＤＢ１３１に記憶する。ステップＳ２４の処理は、図２のステップＳ１８の処理に対応する。
ステップＳ２４の処理が終了すると、音圧マップ作成部１２１は、図３の処理を終了する。

【0027】

図４は、第１の実施形態に於ける異常診断処理のフローチャートである。
異常診断装置１が起動されて異常診断の指示が入力されたならば、異常診断装置１は、異常診断処理を開始する。このとき、診断対象物７は、正常品と同一の位置に設置されている。これにより、マイクロホンアレイ３は、正常品に係る音圧マップと診断対象物７に係る音圧マップとを比較することができる。
ステップＳ３０〜Ｓ３２の処理は、音圧マップ作成部１２１によって行われる。
ステップＳ３０に於いて、音圧マップ作成部１２１は、マイクロホンアレイ３によって、診断対象物７の音を測定し、測定したアナログの音圧信号をＡ／Ｄ変換器１１によりデジタルの音圧信号に変換する。

【0028】

ステップＳ３１に於いて、音圧マップ作成部１２１は、カメラ画像に対応した複数の計算点を設定し、測定した音圧信号を用いて、各計算点に於ける音圧レベルを算出する。
ステップＳ３２に於いて、音圧マップ作成部１２１は、測定した音圧信号を用いて、各計算点に於けるパワースペクトルを算出する。ステップＳ３２の処理が終了すると、音圧マップ作成部１２１は、ステップＳ３０の処理に戻り、以降、ステップＳ３０〜Ｓ３２の処理を繰り返す。

【0029】

ステップＳ４０〜Ｓ４３の処理は、異常領域判定部１２２によって行われる。ステップＳ４４の処理は、異常項目診断部１２３によって行われる。
ステップＳ４０に於いて、異常領域判定部１２２は、音圧マップ作成部１２１が算出した音圧レベルおよびパワースペクトルに基づいて、音圧信号の単位空間に於ける距離を計算する音の異常性解析を行う。なお、単位空間に於ける距離とは、マハラノビスの距離ＭＤ（Mahalanobis Distance）であり、例えば、図２に示す正常データ学習処理で取得された正常データに於ける項目間の相関行列Ｒの逆行列Ｒ^−１と、音圧レベルおよびパワースペクトルから計算される。具体的には、異常領域判定部１２２は、算出された音圧レベルおよびパワースペクトルから、次の（２）式で示される行ベクトルＹを取得する。行ベクトルＹは、（１）式で規準化された評価項目データを表している。

【0030】

【数2】

【0031】

異常領域判定部１２２は更に、次の（３）式を用いて、行ベクトルＹの単位空間に於けるマハラノビスの距離ＭＤを算出する。

【0032】

【数3】

【0033】

ステップＳ４１に於いて、異常領域判定部１２２は、計算した距離が閾値より大きいか否かを判断する。異常領域判定部１２２は、当該判断条件が成立したならば（Ｙｅｓ）、ステップＳ４２の処理を行い、当該判断条件が成立しなかったならば（Ｎｏ）、ステップＳ４３の処理を行う。ここで閾値は、予め定められた値である。

【0034】

ステップＳ４２に於いて、異常領域判定部１２２は、音圧マップ作成部１２１が取得した音圧信号に基づき、図３に示す正常品の特徴を抽出した単位空間を形成する処理を行って、単位空間を更新し、ステップＳ４４の処理を行う。
ステップＳ４３に於いて、異常領域判定部１２２は、アラーム処理部１７によって、診断対象物７が異常性を有する旨のアラーム（警告音）をスピーカ１８に出力し、ステップＳ４４の処理を行う。

【0035】

ステップＳ４４に於いて、異常項目診断部１２３は、異常領域判定部１２２が異常であると判断した音圧信号に対して、異常項目診断処理（図５参照）を行い、異常性の度合いおよび異常原因項目を取得する。
ステップＳ５０に於いて、音圧マップ表示部１２４は、音圧マップ作成部１２１から音圧マップを取得し、異常項目診断部１２３から異常性の度合い、および、異常原因項目を取得する。音圧マップ表示部１２４は、音圧マップ、異常性の度合い、および、異常原因項目をカメラ画像に付加し、付加カメラ画像を生成する。
ステップＳ５１に於いて、音圧マップ表示部１２４は、モニタ１４に付加カメラ画像を表示する。なお、音圧マップ表示部１２４は、モニタ１４に音圧マップをそのまま表示してもよい。
ステップＳ５２に於いて、音圧マップ表示部１２４は、ネットワーク処理部１５とネットワークインタフェース１６とを介して、付加カメラ画像をネットワーク９に配信する。端末８は、ネットワーク９を介して付加カメラ画像を受信して、図示しない表示部に表示する。

【0036】

図５は、第１の実施形態に於ける異常項目診断処理を示すフローチャートである。
異常項目診断部１２３は、図４の異常診断処理のステップＳ４４の処理により、図５に示す異常項目診断処理を開始する。異常項目診断処理は、参考文献１の６１〜６５頁に、その詳細が記載されている。
ステップＳ６０に於いて、異常項目診断部１２３は、異常領域判定部１２２により異常と判断された評価対象の音圧データを取得する。
ステップＳ６１に於いて、異常項目診断部１２３は、評価項目の２水準直交表の割り付けを行う。２水準直交表の割り付けは、評価項目を単位空間の項目として使用する第１水準の項目と、単位空間の項目として使用しない第２水準の項目に分割することである。なお、２水準直交表の割り付けの組み合わせは、予め定められており、その数は単数であってもよいし、複数であってもよい。

【0037】

ステップＳ６２〜Ｓ６５に於いて、異常項目診断部１２３は、２水準直交表の全ての項目の組み合わせに関して処理を繰り返す。
ステップＳ６３に於いて、異常項目診断部１２３は、当該組み合わせの第１水準および第２水準のそれぞれに関して、サンプルデータの平均と分散とを求めて、サンプルデータの規準化を行い、規準化されたサンプルデータの相関行列を求めることにより、単位空間の計算を行う。
ステップＳ６４に於いて、異常項目診断部１２３は、異常データの第１水準の各項目および第２水準の各項目に関して、当該単位空間に於ける距離を計算する。
ステップＳ６５に於いて、異常項目診断部１２３は、２水準直交表の全ての項目組み合わせを繰り返したか否かを判断する。異常項目診断部１２３は、当該判断条件が成立しなかったならば、ステップＳ６２の処理に戻って次の項目組み合わせの処理を行い、当該判断条件が成立したならば、ステップＳ６６の処理を行う。

【0038】

ステップＳ６６に於いて、異常項目診断部１２３は、各評価項目の異常への影響度を算出する。すなわち、異常項目診断部１２３は、ｉ番目の評価項目に対して、当該評価項目を第１水準の項目として含んでいる当該単位空間に於ける異常データの距離を計算する。異常項目診断部１２３は、ｉ番目の評価項目を第１水準の項目として含んでいる全ての項目組み合わせに関して、当該異常データの距離の平均値Ｄ_1，ｉを求める。異常項目診断部１２３は、ｉ番目の評価項目に対して、当該評価項目を第２水準の項目として含む、当該単位空間に於ける異常データの距離を計算する。異常項目診断部１２３は、ｉ番目の評価項目を第２水準の項目として含む全ての項目組み合わせに関して、当該異常データの距離の平均値Ｄ_２,ｉを求める。そして、異常項目診断部１２３は、Ｄ_２,ｉのＤ_1,ｉに対する比を、ｉ番目の評価項目の異常への影響度として算出する。
ステップＳ６７に於いて、異常項目診断部１２３は、影響度が最も大きい評価項目を異常原因項目として決定し、図５の処理を終了する。

【0039】

図６（ａ）〜（ｃ）は、第１の実施形態に於ける異常部位特定処理を説明するための図である。
図６（ａ）は、カメラ画像内の診断対象物７と、カメラ画像内の複数の格子１〜Ｎを示す図である。カメラ画像は、Ｎ個の格子１〜Ｎを表示し、更に円柱状の診断対象物７を重畳して表示している。格子１〜Ｎは、このカメラ画像をＮ個の矩形領域に分割しており、診断対象物７の異常部位を特定するための各計算点に対応している。

【0040】

図６（ｂ）は、カメラ画像内の格子１〜Ｎ上の音圧レベルのパワースペクトル（周波数情報）を示す図である。音圧マップ作成部１２１は、Ａ／Ｄ変換器１１からデジタル信号に変換された音圧信号および格子１〜Ｎの位置情報（方向情報）に基づいて、各格子１〜Ｎ上の音圧レベルを算出する。音圧マップ作成部１２１は、算出した各格子１〜Ｎ上の音圧レベルを、例えばＦＦＴによって周波数ごとに分割することにより、各格子１〜Ｎ上の音圧レベルのパワースペクトルを算出する。

【0041】

図６（ｃ）は、例えば、評価項目数が２の場合に、異常診断装置１が、図３に示す正常品の特徴量を抽出して、単位空間を形成する処理を行った場合に、規格化されたサンプルデータＸ_ｉｊを、二次元平面上に座標（Ｘ_ｉ１,Ｘ_ｉ２）として表示した図である。破線の楕円は、単位空間に於けるマハラノビスの距離が閾値に等しい点全体である等距離線を示す。破線の楕円内には、正常品に係る各データが存在している。矩形点Ａが示す音圧信号は、破線の楕円領域に含まれた正常データである。矩形点Ｂが示す音圧信号は、破線の楕円領域に含まれない異常データである。

【0042】

図７は、第１の実施形態に於けるカメラ画像表示画面２０を示す図である。
カメラ画像表示画面２０は、図４のステップＳ５１に於いて、音圧マップ表示部１２４によってモニタ１４上に表示されたものである。なお、本実施形態の評価項目は、全ての格子のパワースペクトルが含んでいる、全ての周波数帯に於ける音圧レベルの情報である。
カメラ画像表示画面２０は、左側に付加カメラ画像２０ａを表示し、右側に周波数成分表示グラフ２７を表示し、付加カメラ画像２０ａの近傍に拡大ボタン２５と縮小ボタン２６とをそれぞれ表示している。
付加カメラ画像２０ａは、診断対象物７の画像と、複数の格子とを重畳して表示している。付加カメラ画像２０ａの格子のひとつは、詳細表示領域２２である。付加カメラ画像２０ａは更に、下端にスクロールバー２３を表示し、右端にスクロールバー２４を表示している。
詳細表示領域２２は、ユーザがマウス（不図示）のクリックで指定した格子である。ユーザがいずれかの格子をマウスでクリックして指定すると、音圧マップ表示部１２４は、指定された格子を詳細表示領域２２とし、格子の境界線を強調表示すると共に、周波数成分表示グラフ２７をカメラ画像表示画面２０の右側に表示する。更に、図４の異常診断処理によって、詳細表示領域２２に於けるパワースペクトルのいずれかの周波数成分が異常原因項目として診断された場合、音圧マップ表示部１２４は、詳細表示領域２２の明度や彩度を変化させてハイライト表示する。これによりユーザは、異常原因項目を容易に視認することができる。

【0043】

拡大ボタン２５は、例えば、ユーザがマウスでクリックすることにより、付加カメラ画像２０ａを拡大して表示するものである。
縮小ボタン２６は、例えば、ユーザがマウスでクリックすることにより、付加カメラ画像２０ａを縮小して表示するものである。
スクロールバー２３は、付加カメラ画像２０ａを拡大した際、ユーザがマウスでドラッグすることにより、この付加カメラ画像２０ａを横方向にスクロールするものである。同様にスクロールバー２４は、付加カメラ画像２０ａを拡大した際、ユーザがマウスでドラッグすることにより、付加カメラ画像２０ａを縦方向にスクロールするものである。

【0044】

周波数成分表示グラフ２７は、ユーザがいずれかの格子を指定した際に表示されるものである。
周波数成分表示グラフ２７の横軸は、１／３オクターブバンド中心周波数を示している。横軸の単位は、周波数［Ｈｚ］である。
周波数成分表示グラフ２７の縦軸は、パワースペクトルの大きさを示している。縦軸の単位は、デシベル［ｄＢ］である。
正常データの折れ線は、図３に示す正常品の特徴量を抽出して単位空間を形成する処理に於けるステップＳ２１に於いて、当該格子の各周波数成分が評価項目ｉである場合に、算出されたサンプルデータｘ_ｉｊの平均値を示している。
診断データの折れ線は、図４に示す異常診断処理において、音圧マップ作成部１２１が、ステップＳ３２において計算したパワースペクトルを示している。
異常寄与率の棒グラフは、正常データに対する正常データと異常データとの差の割合を示している。これにより、ユーザは、どの周波数領域に異常が発生しているかを容易に把握することができる。

【0045】

（第１の実施形態の効果）
以上、説明した第１の実施形態では、次の（Ａ）〜（Ｇ）のような効果がある。

【0046】

（Ａ） 異常診断装置１は、診断対象物７の異常の有無を判定し、判定した異常を、カメラ画像が示す診断対象物７の位置、および、当該位置に於ける音圧と対応させて、モニタ１４などに表示している。これにより、異常診断装置１は、任意の形状の診断対象物７に於いて、異常部位を音によって特定して表示することができる。

【0047】

（Ｂ） 異常診断装置１は、音圧マップを、カメラ画像に対応した各計算点に於ける音圧レベルの情報、または、パワースペクトルの情報を含んで表示している。これにより、異常診断装置１は、診断対象物７の破損などのように、音のパワースペクトルに影響を与える異常を検出することができる。

【0048】

（Ｃ） 異常診断装置１は、正常品群の音圧マップの特徴を表した単位空間を格納した正常性学習ＤＢ１３１を備えている。異常領域判定部１２２は、正常性学習ＤＢ１３１の単位空間に於ける診断対象物７の音圧マップの原点からの距離が閾値を超えているか否かを判断することによって、診断対象物７の異常の有無を判定している。これにより、ユーザが煩雑な設定を行うことなく、容易に異常の有無を判定することができる。

【0049】

（Ｄ） 診断対象物７の単位空間に於ける距離は、正常品群の音圧マップの項目間の相関行列の逆行列によって算出される。異常領域判定部１２２は、診断対象物７のいずれの計算点での異常も判定しなかったならば、この診断対象物７を新たに正常品群に加えて、測定した音圧マップから相関行列の逆行列を再計算して、単位空間を更新している。これにより、異常診断装置１は、診断対象物７を診断するたびに、正常性学習ＤＢ１３１の単位空間の精度を高めることができ、診断対象物７の異常の判定精度を高めることができる。

【0050】

（Ｅ） 異常診断装置１は、診断対象物７の音圧マップに基づいて、各計算点での異常原因項目を診断する異常項目診断部１２３を備えている。これにより、異常診断装置１は、診断対象物７の異常性に深く係わる位置情報や周波数情報などの異常性の要因を特定し、これをモニタ１４などに表示することができる。

【0051】

（Ｆ） 異常診断装置１のマイクロホンアレイ３は、複数のマイクで構成されている。これにより、異常診断装置１は、音圧信号に係わる位置情報を取得することができる。

【0052】

（Ｇ） 異常診断装置１は、診断対象物７の動作モードを判断して、この動作モードに於ける単位空間の距離を算出する。これにより、異常診断装置１は、診断対象物７の動作モードごとの異常を、それぞれ判断することができる。

【0053】

（第２の実施形態）
図８は、第２の実施形態に於ける異常診断装置１Ａの構成を示す図である。図１に示す第１の実施形態の異常診断装置１と同一の要素には、同一の符号を付与している。
異常診断装置１Ａは、第１の実施形態の異常診断装置１の音響信号処理部１２（図１参照）とは異なる音響信号処理部１２Ａを有し、第１の実施形態のマイクロホンアレイ３（図１参照）とは異なるマイクロホンアレイ３Ａが接続されている。
音響信号処理部１２Ａは、第１の実施形態の音響信号処理部１２と同様の構成に加えて、音圧マップ作成部１２１とは異なる音圧マップ作成部１２１Ａ（音圧マップ作成手段）と、音圧マップ表示部１２４とは異なる音圧マップ表示部１２４Ａ（音圧マップ表示手段）と、仮想平面設定部１２５とを有している。

【0054】

音圧マップ作成部１２１Ａは、マイクロホンアレイ３Ａで集音した各マイク３１（図９参照）の各音圧信号をビームフォーミング処理して、カメラ２から所定の距離だけ離れた複数の仮想平面に於ける各音圧マップを計算するものである。
仮想平面設定部１２５は、例えば、カメラ２と診断対象物７の表面から順番に奥行方向に向けて、複数の仮想平面を設定し、音圧マップ作成部１２１Ａに出力するものである。仮想平面設定部１２５は、カメラ２から診断対象物７の表面までの距離を取得し、この距離を最初の仮想平面として設定し、以降は所定距離ごとに、カメラ２から離れる方向に複数の仮想平面を設定し、これら複数の仮想平面を音圧マップ作成部１２１Ａに出力する。
音圧マップ表示部１２４Ａは、各仮想平面の音圧マップを、カメラ画像に重ねて表示するものである。

【0055】

図９（ａ），（ｂ）は、第２の実施形態に於けるカメラ２およびマイクロホンアレイ３Ａの構成を示す図である。

【0056】

図９（ａ）は、カメラ２およびマイクロホンアレイ３Ａの正面図である。
マイクロホンアレイ３Ａは、円板状に構成されており、その中心部にはカメラ２とカメラ光学系２１が設置されている。マイクロホンアレイ３Ａは、カメラ２を中心とした複数の円周上に、複数のマイク３１を等間隔で配置して構成されている。カメラ２の撮影方向と、複数のマイク３１の集音方向とは一致している。各マイク３１は、音の指向性を有し、特定方向の音を鋭敏に集音することができる。

【0057】

図９（ｂ）は、カメラ２およびマイクロホンアレイ３Ａの側面図である。
カメラ２は、レンズなどで構成されたカメラ光学系２１を有している。カメラ２は、カメラ光学系２１の光軸が、円板状のマイクロホンアレイ３に対して鉛直方向になるように設置されている。これにより、異常診断装置１は、診断対象物７の画像を撮像することができると共に、診断対象物７の音を３次元情報と共に集音することができる。

【0058】

図１０は、第２の実施形態に於ける異常診断処理のフローチャートである。図４に示す第１の実施形態の異常診断処理と同一の要素には同一の符号を付与している。
異常診断装置１Ａが起動されて異常診断の指示が入力されたならば、異常診断装置１は、異常診断処理を開始する。
ステップＳ３０およびステップＳ３１Ａ〜Ｓ３２Ａの処理は、音圧マップ作成部１２１Ａによって行われる。ステップＳ３０Ａの処理は、仮想平面設定部１２５によって行われる。
ステップＳ３０の処理は、図４に示すステップＳ３０の処理と同様である。
ステップＳ３０Ａに於いて、仮想平面設定部１２５は、診断対象物７の表面から等間隔に奥行方向に向けて、複数の仮想平面を設定する。
ステップＳ３１Ａに於いて、音圧マップ作成部１２１Ａは、複数の仮想平面に対応した各計算点を設定し、取得した音圧信号を用いて、各仮想平面の各計算点に於ける音圧レベルを算出する。
ステップＳ３２Ａに於いて、音圧マップ作成部１２１Ａは、測定した音圧信号を用いて、各仮想平面に対応した各計算点に於けるパワースペクトルを算出する。ステップＳ３２Ａの処理が終了すると、音圧マップ作成部１２１Ａは、ステップＳ３０の処理に戻り、以降、ステップＳ３０〜Ｓ３２Ａの処理を繰り返す。

【0059】

ステップＳ４０〜Ｓ４３の処理は、異常領域判定部１２２によって行われ、図４のステップＳ４０〜Ｓ４３の処理と同様である。
ステップＳ４４の処理は、異常項目診断部１２３によって行われ、図４のステップＳ４４の処理と同様である。
ステップＳ５０Ａに於いて、音圧マップ表示部１２４Ａは、音圧マップ作成部１２１Ａから各仮想平面に対する音圧マップを取得し、異常項目診断部１２３から異常性の度合いおよび異常原因項目を取得する。音圧マップ表示部１２４Ａは、各仮想平面の音圧マップ、異常性の度合い、および、異常原因項目をカメラ画像に付加し、付加カメラ画像を生成する。
ステップＳ５１，Ｓ５２の処理は、各仮想平面ごとの付加カメラ画像を表示することを除き、図４に示すステップＳ５１，Ｓ５２の処理と同様である。

【0060】

図１１は、第２の実施形態に於けるカメラ画像表示画面２０Ａを示す図である。
カメラ画像表示画面２０Ａは、図１０のステップＳ５１に於いて、音圧マップ表示部１２４Ａによってモニタ１４上に表示されたものである。
カメラ画像表示画面２０Ａは、左上に付加カメラ画像２０ａ−１を表示し、右上に付加カメラ画像２０ａ−２を表示し、左下に付加カメラ画像２０ａ−３を表示し、右下に付加カメラ画像２０ａ−４を表示している。各付加カメラ画像２０ａ−１〜２０ａ−４の横には、マイクロホンアレイ３Ａからの距離が表示されている。

【0061】

付加カメラ画像２０ａ−１は、マイクロホンアレイ３Ａからの距離が０．４ｍの仮想平面に於ける音圧マップを、カメラ画像に付加したものである。付加カメラ画像２０ａ−１は、診断対象物７の表面に対応する仮想平面を示すものである。このとき、マイクロホンアレイ３Ａから診断対象物７の表面までの距離は、０．４ｍである。
付加カメラ画像２０ａ−２は、マイクロホンアレイ３Ａからの距離が０．５ｍの仮想平面に於ける音圧マップを、カメラ画像に付加したものである。
付加カメラ画像２０ａ−３は、マイクロホンアレイ３Ａからの距離が０．６ｍの仮想平面に於ける音圧マップを、カメラ画像に付加したものである。
付加カメラ画像２０ａ−４は、マイクロホンアレイ３Ａからの距離が０．７ｍの仮想平面に於ける音圧マップを、カメラ画像に付加したものである。

【0062】

各付加カメラ画像２０ａ−１〜２０ａ−４には、診断対象物７のカメラ画像の輪郭が線として表示され、各音圧マップは音圧レベルの等高線で色分け表示されている。各付加カメラ画像２０ａ−１〜２０ａ−４は、音圧レベルがグレイスケールで表示され、音圧レベルが高い領域は濃く表示され、音圧レベルが低い領域は薄く表示されている。
付加カメラ画像２０ａ−２に示されているように、マイクロホンアレイ３Ａからの距離が０．５ｍの仮想平面には、音圧レベルが高い領域が存在する。付加カメラ画像２０ａ−２は、音圧レベルが高い領域の格子の境界線を強調表示すると共に、この格子の音圧レベルが「レベル大」であることを当該格子下側のダイアログで表示している。

【0063】

（第２の実施形態の効果）
以上、説明した第２の実施形態では、第１の実施形態の効果に加えて、次の（Ｈ），（Ｉ）のような効果がある。

【0064】

（Ｈ） マイクロホンアレイ３Ａは、カメラ２を中心とした円周上に、複数のマイク３１を等間隔で配置して構成されている。これにより、異常診断装置１は、診断対象物７の音圧信号の信号対雑音比を向上させると共に、音圧信号の３次元的な位置情報を取得することが可能となる。

【0065】

（Ｉ） 音圧マップ作成部１２１Ａは、マイクロホンアレイ３Ａで集音した各マイク３１の各音圧信号にビームフォーミング処理を行い、カメラ２から所定の距離だけ離れた複数の仮想平面に於ける各音圧マップを計算している。これにより、異常診断装置１は、診断対象物７の異常位置を、３次元で特定可能に表示することができる。

【0066】

（変形例）
本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲で、変更実施が可能であり、例えば、次の（ａ）〜（ｇ）のようなものがある。

【0067】

（ａ） 異常項目診断部１２３は、サンプルデータｘ_ｉｊを規準化したサンプルデータＸ_ｉｊを用い、サンプルデータＸ_ｉｊの相関行列を用いている。しかし、これに限られず、異常項目診断部１２３は、規準化したサンプルデータＸ_ｉｊを用いずに、ｘ_ｉｊの分散共分散行列を用いてもよい。

【0068】

（ｂ） ネットワーク９は、携帯電話網であってもよい。

【0069】

（ｃ） 第１の実施形態の正常データ学習処理（図２参照）に於ける既定数は、ユーザが自由に設定できるようにしてもよい。

【0070】

（ｄ） 第１の実施形態の異常診断処理（図４参照）に於ける閾値は、ユーザが任意に設定できるようにしてもよい。

【0071】

（ｅ） 異常項目診断部１２３は、図４に示す異常項目診断処理では、１つの評価項目を異常原因項目としていたが、１または複数の項目を異常原因項目としてもよい。例えば、異常項目診断部１２３は、異常データの第１水準および第２水準のそれぞれに関する当該単位空間に於ける距離を計算し、第２水準に関する当該単位空間に於ける距離の第１水準に関する当該単位空間に於ける距離の比を算出し、当該距離の比が最も大きい項目組み合わせに於ける第２水準の１または複数の項目を異常原因項目としてもよい。これにより、異常の原因が、複数の項目の複合的な影響である場合には、異常の原因をより的確に示すことができる。

【0072】

（ｆ） 第１の実施形態の異常項目診断処理（図５参照）に於ける２水準直交表の組み合わせは、ユーザが任意に設定できるようにしてもよい。

【0073】

（ｇ） 第２の実施形態の付加カメラ画像２０ａは、診断対象物７の輪郭が線として表示され、音圧レベルが等高線で色分け表示されている。しかし、これに限られず、付加カメラ画像２０ａは、診断対象物７が赤のグレイスケールで表示され、かつ、音圧レベルが青色の等高線で青のグレイスケールで色分け表示されていてもよい。

【符号の説明】

【0074】

１，１Ａ 異常診断装置
２ カメラ（撮像手段）
３，３Ａ マイクロホンアレイ （集音手段）
７ 診断対象物
８ 端末
９ ネットワーク
１１ Ａ／Ｄ変換器
１２，１２Ａ 音響信号処理部
１３ 記憶部
１４ モニタ
１５ ネットワーク処理部
１６ ネットワークインタフェース
１７ アラーム処理部
１８ スピーカ
２０ カメラ画像表示画面
２０ａ，２０ａ−１〜２０ａ−４ 付加カメラ画像
２１ カメラ光学系
２２ 詳細表示領域
２３，２４ スクロールバー
２５ 拡大ボタン
２６ 縮小ボタン
２７ 周波数成分表示グラフ
３１ マイク
１２１，１２１Ａ 音圧マップ作成部 （音圧マップ作成手段）
１２２ 異常領域判定部 （異常領域判定手段）
１２３ 異常項目診断部 （異常項目診断手段）
１２４，１２４Ａ 音圧マップ表示部 （音圧マップ表示手段）
１２５ 仮想平面設定部 （仮想平面設定手段）
１３１ 正常性学習ＤＢ
１３２ 測定結果ＤＢ
Ｄ_１ｊ，Ｄ_２ｊ 平均値
Ｒ 相関行列
ｘ_ｉｊ，Ｘ_ｉｊ サンプルデータ
ｍ_ｊ 平均値
σ_ｊ 標準偏差

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】