知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022123797
(43)【公開日】2022-08-24
(54)【発明の名称】異常音発生箇所探査システム
(51)【国際特許分類】
G01H 17/00 20060101AFI20220817BHJP
G01H 9/00 20060101ALI20220817BHJP
G01M 99/00 20110101ALI20220817BHJP
【ＦＩ】
G01H17/00 Z
G01H9/00 Z
G01M99/00 A
【審査請求】未請求
【請求項の数】3
【出願形態】ＯＬ
(21)【出願番号】P 2021021354
(22)【出願日】2021-02-12
(71)【出願人】
【識別番号】000214191
【氏名又は名称】長崎県
(74)【代理人】
【識別番号】100188248
【弁理士】
【氏名又は名称】丹生 哲治
(72)【発明者】
【氏名】久保田 慎一
【テーマコード（参考）】
2G024
2G064
【Ｆターム（参考）】
2G024BA11
2G024BA27
2G024CA13
2G024FA04
2G024FA06
2G024FA11
2G064AA01
2G064AA11
2G064AB01
2G064AB02
2G064AB13
2G064AB22
2G064BA02
2G064BD02
2G064CC02
2G064CC42
2G064CC43
2G064DD02
(57)【要約】
【課題】検査員が不要で、対象機器の異常音発生箇所を非接触状態で高精度に推定できる異常音発生箇所探査システムを提供する。
【解決手段】各マイクロフォンＭ１～Ｍ３の受音信号は音源定位処理装置２０に送られて、電動ポンプ１１における異常音の音源位置が推定される。一方、サーマルカメラ１２により得られた熱画像データに基づき、電動ポンプ１１の熱画像がディスプレイ１９に表示される。その後、異常音発生箇所表示処理装置２２により、音源定位処理装置２０により推定された異常音の音源位置を、ディスプレイ１９上の熱画像に合成して、電動ポンプ１１における異常音発生箇所Ｐを表示する。これにより、電動ポンプ１１の異常音発生箇所Ｐを非接触状態で高精度に自動推定でき、これにより検査員が不要で、かつ保守メンテナンスの必要性の早期確認を実現できる。
【選択図】図１
【解決手段】各マイクロフォンＭ１～Ｍ３の受音信号は音源定位処理装置２０に送られて、電動ポンプ１１における異常音の音源位置が推定される。一方、サーマルカメラ１２により得られた熱画像データに基づき、電動ポンプ１１の熱画像がディスプレイ１９に表示される。その後、異常音発生箇所表示処理装置２２により、音源定位処理装置２０により推定された異常音の音源位置を、ディスプレイ１９上の熱画像に合成して、電動ポンプ１１における異常音発生箇所Ｐを表示する。これにより、電動ポンプ１１の異常音発生箇所Ｐを非接触状態で高精度に自動推定でき、これにより検査員が不要で、かつ保守メンテナンスの必要性の早期確認を実現できる。
【選択図】図１
【特許請求の範囲】
【請求項1】
対象機器の異常音を収集する複数の離間したマイクロフォンと、
前記対象機器を撮像して、熱画像データを得るサーマルカメラと、
前記各マイクロフォンの受音信号から、前記対象機器における前記異常音の音源位置を推定する音源定位処理装置と、
ディスプレイと、
前記サーマルカメラにより得られた熱画像データに基づき、前記対象機器の前記ディスプレイに前記対象機器の熱画像を表示させる熱画像表示処理装置と、
前記音源定位処理装置により推定された前記異常音の音源位置を、前記ディスプレイの熱画像に合成して、前記対象機器の異常音発生箇所を表示する異常音発生箇所表示処理装置とを備えたことを特徴とする異常音発生箇所探査システム。
前記対象機器を撮像して、熱画像データを得るサーマルカメラと、
前記各マイクロフォンの受音信号から、前記対象機器における前記異常音の音源位置を推定する音源定位処理装置と、
ディスプレイと、
前記サーマルカメラにより得られた熱画像データに基づき、前記対象機器の前記ディスプレイに前記対象機器の熱画像を表示させる熱画像表示処理装置と、
前記音源定位処理装置により推定された前記異常音の音源位置を、前記ディスプレイの熱画像に合成して、前記対象機器の異常音発生箇所を表示する異常音発生箇所表示処理装置とを備えたことを特徴とする異常音発生箇所探査システム。
【請求項2】
前記サーマルカメラを中心にして前記各マイクロフォンを配置して、マイク・熱カメラアレイを構成し、
前記各受音信号に基づく各音データおよび前記熱画像データを記憶する記憶部と、
該記憶部に記憶された前記各音データおよび前記熱画像データから、前記対象機器の異常状態を判定する異常判定処理装置とを有したことを特徴とする請求項１に記載の異常音発生箇所探査システム。
前記各受音信号に基づく各音データおよび前記熱画像データを記憶する記憶部と、
該記憶部に記憶された前記各音データおよび前記熱画像データから、前記対象機器の異常状態を判定する異常判定処理装置とを有したことを特徴とする請求項１に記載の異常音発生箇所探査システム。
【請求項3】
前記異常音発生箇所から前記各マイクロフォンに達する前記異常音の入射波の位相が揃うように、前記各受音信号を補正することで、強調された前記異常音を合成する異常音強調合成処理手段を有したことを特徴とする請求項２に記載の異常音発生箇所探査システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、サーマルカメラにより得られた熱画像データと、複数のマイクロフォンにより得られた音データとから、対象機器の異常箇所を探査する異常音発生箇所探査システムに関する。
【背景技術】
【0002】
近年、ＡＩ（Artificial Intelligence）・ＩｏＴ（Internet of Things）などのデジタル技術の普及に伴い、音声認識、騒音低減およびＶＲ（Virtual Reality）等において、音の分析技術の研究が盛んになっている。
一方、この音の分析技術は、非接触・非破壊検査技術としても注目されている。例えば、機器の異常監視、ノイズキャンセリング、対象音の明瞭化などでは、ＡＩ・ＩｏＴ等と連携し、必要な音データを抽出する情報選別技術として利用されている。
一方、この音の分析技術は、非接触・非破壊検査技術としても注目されている。例えば、機器の異常監視、ノイズキャンセリング、対象音の明瞭化などでは、ＡＩ・ＩｏＴ等と連携し、必要な音データを抽出する情報選別技術として利用されている。
【0003】
音の分析技術の一つとして、複数のマイクロフォンを用いて、対象機器の異常音の発生箇所を特定する“異常音発生箇所の可視化”が知られている。
従来、この技術と可視カメラとを併用した異常音発生箇所探査システムが開発されている（例えば、特許文献１など）。これは、カメラ画像より対象機器を認識するとともに、複数のマイクロフォンにより異常音を抽出することで、この異常音の飛来角度を割り出し、その音が対象機器のどの位置から発生しているのかを推定するものである。
従来、この技術と可視カメラとを併用した異常音発生箇所探査システムが開発されている（例えば、特許文献１など）。これは、カメラ画像より対象機器を認識するとともに、複数のマイクロフォンにより異常音を抽出することで、この異常音の飛来角度を割り出し、その音が対象機器のどの位置から発生しているのかを推定するものである。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開２００４－７７２７７号公報
【発明の開示】
【発明が解決しようとする課題】
【0005】
しかしながら、一般的に対象機器には、例えば、モータ駆動される多数の動力伝達部品が内蔵されており、音源が複数箇所に存在する場合が多々ある。そのため、複数のマイクロフォンと可視カメラとを併用した従来の異常音発生箇所探査システムでは、どこが異常音の発生箇所かを高精度に推定することができなかった。
ちなみに、異常音発生箇所の高精度な探査を可能とするために、例えば、対象機器の異常音発生箇所に、直接、各種のセンサ（異常音を判別する音センサ、異常振動を判別する加速度センサ、異常電流や漏電を判別する電流センサなど）を取り付けて発生箇所推定を行うことが考えられる。しかしながら、この方法では、異常音が発生する毎に、熟練した検査員が現場に出向かなければならず非効率的である。
ちなみに、異常音発生箇所の高精度な探査を可能とするために、例えば、対象機器の異常音発生箇所に、直接、各種のセンサ（異常音を判別する音センサ、異常振動を判別する加速度センサ、異常電流や漏電を判別する電流センサなど）を取り付けて発生箇所推定を行うことが考えられる。しかしながら、この方法では、異常音が発生する毎に、熟練した検査員が現場に出向かなければならず非効率的である。
【0006】
そこで、発明者は鋭意研究の結果、一般的に装置の異常発生時には、発熱エリアに異常箇所があることに着目し、可視カメラをサーマルカメラに代えて、複数のマイクロフォンとサーマルカメラとを併用した異常音発生箇所探査システムとすれば、非接触で得られた複数の音源と、対象機器の温度情報を含む熱画像とを合成することにより、検査員が不要で、かつ対象機器の異常音発生箇所を非接触状態で高精度に推定できることを知見し、この発明を完成させた。
【0007】
本発明は、このような問題点に鑑みなされたもので、対象機器から発せられる音と熱とを利用して、対象機器の異常音発生箇所、ひいては対象機器の異常の有無を非接触状態で高精度に探査でき、これにより検査員が不要で、かつ保守メンテナンスの必要性を早期に発見することができる異常音発生箇所探査システムを提供することを目的としている。
【課題を解決するための手段】
【0008】
請求項１に記載の発明は、対象機器の異常音を収集する複数の離間したマイクロフォンと、前記対象機器を撮像して、熱画像データを得るサーマルカメラと、前記各マイクロフォンの受音信号から、前記対象機器における前記異常音の音源位置を推定する音源定位処理装置と、ディスプレイと、前記サーマルカメラにより得られた熱画像データに基づき、前記ディスプレイに前記対象機器の熱画像を表示させる熱画像表示処理装置と、前記音源定位処理装置により推定された前記異常音の音源位置を、前記ディスプレイの熱画像に合成して、前記対象機器の異常音発生箇所を表示する異常音発生箇所表示処理装置とを備えたことを特徴とする異常音発生箇所探査システムである。
【0009】
対象機器は限定されない。例えば、マシニングセンタ、旋盤、３～５軸加工機などに搭載される代表的な稼働部品、電動モータ、電動ポンプ、変速機、回転工具または回転台、電磁バルブ、油圧装置などを採用することができる。特に、回転軸受、滑り軸受を有する機器が好適である。また、電源回りについては、ＩｏＴによるブレーカ近傍での電源監視装置などでもよい。
マイクロフォンの種類は限定されない。例えば、複数の無指向性のマイクロフォンを用いて指向性を与えるマイクロフォンアレイや、高い指向性を有するショットガン式のマイクロフォンなどを採用することができる。
マイクロフォンの使用数は２つ以上であれば任意である。
サーマルカメラの種類は限定されない。赤外線を検知して物体の温度を測り、その検知した赤外線を熱画像としてディスプレイに表示するものであればよい。
サーマルカメラの使用数は任意である。例えば、１つでも２つ以上でもよい。
マイクロフォンの種類は限定されない。例えば、複数の無指向性のマイクロフォンを用いて指向性を与えるマイクロフォンアレイや、高い指向性を有するショットガン式のマイクロフォンなどを採用することができる。
マイクロフォンの使用数は２つ以上であれば任意である。
サーマルカメラの種類は限定されない。赤外線を検知して物体の温度を測り、その検知した赤外線を熱画像としてディスプレイに表示するものであればよい。
サーマルカメラの使用数は任意である。例えば、１つでも２つ以上でもよい。
【0010】
音源定位処理装置で使用される音源定位の手法は限定されない。例えば、フォーカスを用いて音源位置を推定する遅延和法でもよい。
ディスプレイの種類は限定されない。例えば、液晶ディスプレイ、有機ＥＬディスプレイなどでもよい。
熱画像表示処理装置は、サーマルカメラにより対象機器を撮像して得られた熱画像データに基づき、ディスプレイに対象機器の熱画像を表示させるプログラムである。
ディスプレイの種類は限定されない。例えば、液晶ディスプレイ、有機ＥＬディスプレイなどでもよい。
熱画像表示処理装置は、サーマルカメラにより対象機器を撮像して得られた熱画像データに基づき、ディスプレイに対象機器の熱画像を表示させるプログラムである。
【0011】
また、ディスプレイに対象機器の熱画像を表示し、音源位置を合成する際には、サーマルカメラの画角を決定するために、サーマルカメラから対象機器までの距離が必要となる。この距離を得るために、例えば、非接触式の距離センサを使用してもよい。
異常音発生箇所表示処理装置は、音源定位処理装置により推定された異常音の音源位置を、ディスプレイの熱画像に合成して、対象機器の異常音発生箇所を表示するプログラムである。
なお、サーマルカメラだけでなく、可視カメラを搭載すれば、ディスプレイに対象機器の可視カメラ画像を表示し、これに熱画像と異常音の音源位置とを合成すれば、対象機器の異常音の発生箇所をさらに正確に特定することができる。
異常音発生箇所表示処理装置は、音源定位処理装置により推定された異常音の音源位置を、ディスプレイの熱画像に合成して、対象機器の異常音発生箇所を表示するプログラムである。
なお、サーマルカメラだけでなく、可視カメラを搭載すれば、ディスプレイに対象機器の可視カメラ画像を表示し、これに熱画像と異常音の音源位置とを合成すれば、対象機器の異常音の発生箇所をさらに正確に特定することができる。
【0012】
請求項２に記載の発明は、前記サーマルカメラを中心にして前記各マイクロフォンを配置して、マイク・熱カメラアレイを構成し、前記各受音信号に基づく各音データおよび前記熱画像データを記憶する記憶部と、該記憶部に記憶された前記各音データおよび前記熱画像データから、前記対象機器の異常状態を判定する異常判定処理装置とを有したことを特徴とする請求項１に記載の異常音発生箇所探査システムである。
【0013】
マイク・熱カメラアレイは、所定の取付部材に、複数のマイクロフォンとサーマルカメラとが配されたものであれば限定されない。
異常判定処理装置は、記憶部に記憶された各音データおよび熱画像データから、対象機器の異常状態を判定するプログラムである。
判定される対象物の異常項目は任意である。例えば、移動する部材と他の部材との接触、回転軸の摩耗、漏電などが挙げられる。
異常判定に際しては、あらかじめ定点設置されたマイク・熱カメラアレイにより、対象機器を常時監視して学習データを収集しておくことが望ましい。学習データを大量に収集するには、対象機器の常時監視が効果的である。なお、マイク・熱カメラアレイを移動させながら対象機器のスポット監視を行ってもよい。
また、この異常判定処理装置による異常判定を、ＡＩ（Artificial Intelligence）により行わせてもよい。
異常判定処理装置は、記憶部に記憶された各音データおよび熱画像データから、対象機器の異常状態を判定するプログラムである。
判定される対象物の異常項目は任意である。例えば、移動する部材と他の部材との接触、回転軸の摩耗、漏電などが挙げられる。
異常判定に際しては、あらかじめ定点設置されたマイク・熱カメラアレイにより、対象機器を常時監視して学習データを収集しておくことが望ましい。学習データを大量に収集するには、対象機器の常時監視が効果的である。なお、マイク・熱カメラアレイを移動させながら対象機器のスポット監視を行ってもよい。
また、この異常判定処理装置による異常判定を、ＡＩ（Artificial Intelligence）により行わせてもよい。
【0014】
請求項３に記載の発明は、前記異常音発生箇所から前記各マイクロフォンに達する前記異常音の入射波の位相が揃うように、前記各受音信号を補正することで、強調された前記異常音を合成する異常音強調合成処理手段を有したことを特徴とする請求項２に記載の異常音発生箇所探査システムである。
【0015】
異常音強調合成処理手段とは、異常音発生箇所から各マイクロフォンに達する異常音の入射波の位相が揃うように、各受音信号を補正することで、強調された異常音を合成するプログラムである。
ここでいう「各マイクロフォンに達する異常音の入射波の位相が揃うように、各受音信号を補正する」とは、各マイクロフォンの後に、例えば適切な量の遅延子を挿入することで、音源からの入射波の位相を揃えて和をとるように、各マイクロフォンの受音信号を補正することを意味する。
ここでいう「各マイクロフォンに達する異常音の入射波の位相が揃うように、各受音信号を補正する」とは、各マイクロフォンの後に、例えば適切な量の遅延子を挿入することで、音源からの入射波の位相を揃えて和をとるように、各マイクロフォンの受音信号を補正することを意味する。
【発明の効果】
【0016】
本発明によれば、複数の離間したマイクロフォンにより対象機器の異常音を収集するとともに、サーマルカメラにより対象機器を撮像して熱画像データを取得する。
サーマルカメラにより得られた熱画像データは、熱画像表示処理装置により処理されて、ディスプレイに熱画像として表示される。
一方、各マイクロフォンの受音信号は音源定位処理装置に送られて、対象機器における異常音の音源位置が推定される。
サーマルカメラにより得られた熱画像データは、熱画像表示処理装置により処理されて、ディスプレイに熱画像として表示される。
一方、各マイクロフォンの受音信号は音源定位処理装置に送られて、対象機器における異常音の音源位置が推定される。
【0017】
その後、異常音発生箇所表示処理装置によって、音源定位処理装置により推定された異常音の音源位置を、ディスプレイの熱画像に合成して、対象機器における異常音発生箇所を表示する。
これにより、対象機器から発せられた音と熱とを利用して、対象機器の異常音発生箇所の角度推定のための演算量を減らすとともに、対象機器の異常音発生箇所、ひいては対象機器の異常の有無を非接触状態で高精度に探査できる。その結果、検査員が不要で、かつ保守メンテナンスの必要性を早期に発見することができる。
このように、サーマルカメラの熱画像を用いて、対象である稼働中の装置を非接触で特定する指標とする手法が有効でることがわかった。本手法により、角度推定のための演算量を減らすことができるため、リアルタイムの音源可視化技術への転用で、性能向上も期待される。
これにより、対象機器から発せられた音と熱とを利用して、対象機器の異常音発生箇所の角度推定のための演算量を減らすとともに、対象機器の異常音発生箇所、ひいては対象機器の異常の有無を非接触状態で高精度に探査できる。その結果、検査員が不要で、かつ保守メンテナンスの必要性を早期に発見することができる。
このように、サーマルカメラの熱画像を用いて、対象である稼働中の装置を非接触で特定する指標とする手法が有効でることがわかった。本手法により、角度推定のための演算量を減らすことができるため、リアルタイムの音源可視化技術への転用で、性能向上も期待される。
【0018】
特に、請求項２に記載の発明によれば、マイク・熱カメラアレイの各マイクロフォンの受音信号に基づく音データと、サーマルカメラによる熱画像データとが記憶部にそれぞれ記憶される。
その後、異常判定処理装置により、記憶部に記憶された各音データおよび熱画像データから、対象機器の異常状態が判定される。
その後、異常判定処理装置により、記憶部に記憶された各音データおよび熱画像データから、対象機器の異常状態が判定される。
【0019】
このように、各マイクロフォンとサーマルカメラとが配されたマイク・熱カメラアレイを用いるため、音源定位処理装置による異常音の音源位置の推定や、サーマルカメラを利用した対象機器の熱画像のディスプレイへの表示、および、推定された異常音の音源位置を異常音発生箇所表示処理装置によってディスプレイ上の熱画像に合成する処理が容易となる。
【0020】
また、請求項３に記載の発明によれば、異常音強調合成処理手段によって、異常音発生箇所から各マイクロフォンに達する異常音の入射波の位相が揃うように各受音信号を補正する。これにより、対象機器の異常音を強調するように合成することができる。
その結果、例えば、各マイクロフォンに達した異常音が小さかったり、周辺に雑音がある場合でも、異常音の音源位置の推定が容易となる。
その結果、例えば、各マイクロフォンに達した異常音が小さかったり、周辺に雑音がある場合でも、異常音の音源位置の推定が容易となる。
【図面の簡単な説明】
【0021】
【図1】本発明の実施例１に係る異常音発生箇所探査システムの全体斜視図である。
【図2】本発明の実施例１に係る異常音発生箇所探査システムのマイク・熱カメラアレイの正面図である。
【図3】本発明の実施例１に係る異常音発生箇所探査システムのデータ解析装置のブロック図である。
【図4】（ａ）本発明の実施例１に係る異常音発生箇所探査システムのディスプレイに表示された熱画像を示す正面図である。（ｂ）このディスプレイに表示された熱画像の画角を示す正面図である。
【図5】本発明の実施例１に係る異常音発生箇所探査システムのディスプレイに表示された電動ポンプの拡大熱画像を示す正面図である。
【図6】（ａ）本発明の実施例１に係る異常音発生箇所探査システムにおいて、３本のマイクロフォンにおいて音源位置までの距離に応じた遅延が生じている状態を示すグラフである。（ｂ）この遅延を解消した状態を示すグラフである。
【発明を実施するための形態】
【0022】
以下、本発明の実施例を具体的に説明する。ここでは、サーマルカメラを中心にして３つのマイクロフォンが三角配置されたマイク・熱カメラアレイを使用し、電動ポンプの異常箇所を探査するものを例にとる。
【実施例0023】
図１において、１０は本発明の実施例１に係る異常音発生箇所探査システムで、この異常音発生箇所探査システム１０は、電動ポンプ（対象機器）１１の異常音を収集する互いに離間した３つのマイクロフォンＭ１～Ｍ３と、電動ポンプ１１の熱画像を得るために電動ポンプ１１を撮像するサーマルカメラ１２と、各マイクロフォンＭ１～Ｍ３から得られた各音データおよびサーマルカメラ１２から得られた熱画像データを解析して、電動ポンプ１１の異常音発生箇所（音源）Ｐを推定するとともに、電動ポンプ１１の正常または異常の状態を判定するデータ解析装置１３とを備えている。
【0024】
各マイクロフォンＭ１～Ｍ３は、無指向性タイプのものである。
サーマルカメラ１２は、赤外線を検知して物体（ここでは電動ポンプ１１）の温度を測り、その検知した赤外線をサーモグラフィーが映像としてディスプレイ１９に表示するものである。仮に、赤外線量が多ければ温度が高いため赤く表示され、反対に赤外線量が少なければ、温度が低いため青く表示されるように構成されている。
サーマルカメラ１２は、野球の略逆ホームベース状をした取付基板１４の中央部に固定されている。一方、３本のマイクロフォンＭ１～Ｍ３は、この取付基板１４に、サーマルカメラ１２を中心として略正三角形状にそれぞれ固定されている。これにより、マイク・熱カメラアレイ１５が構成される。
サーマルカメラ１２は、赤外線を検知して物体（ここでは電動ポンプ１１）の温度を測り、その検知した赤外線をサーモグラフィーが映像としてディスプレイ１９に表示するものである。仮に、赤外線量が多ければ温度が高いため赤く表示され、反対に赤外線量が少なければ、温度が低いため青く表示されるように構成されている。
サーマルカメラ１２は、野球の略逆ホームベース状をした取付基板１４の中央部に固定されている。一方、３本のマイクロフォンＭ１～Ｍ３は、この取付基板１４に、サーマルカメラ１２を中心として略正三角形状にそれぞれ固定されている。これにより、マイク・熱カメラアレイ１５が構成される。
【0025】
図３に示すように、データ解析装置１３は、ＣＰＵ（中央演算装置）を内蔵した制御部１６を含むパソコン１７に搭載されている。データ解析装置１３には、各マイクロフォンＭ１～Ｍ３の受音信号に基づく各音データ、サーマルカメラ１２より得られた熱画像データ、サーマルカメラ１２から電動ポンプ１１の熱画像までの距離などが記憶される記憶部１８と、電動ポンプ１１の熱画像、電動ポンプ１１の異常音発生箇所Ｐなどを表示するディスプレイ１９とを有している。
【0026】
また、データ解析装置１３は、各マイクロフォンＭ１～Ｍ３の受音信号から、電動ポンプ１１における異常音の音源位置を推定する音源定位処理装置２０と、サーマルカメラ１２により得られた熱画像データに基づき、ディスプレイ１９に電動ポンプ１１の熱画像を表示させる熱画像表示処理装置２１と、音源定位処理装置２０により推定された異常音の音源位置を、ディスプレイ１９の熱画像に合成して、電動ポンプ１１の異常音発生箇所Ｐを表示する異常音発生箇所表示処理装置２２と、記憶部１８に記憶された各音データおよび熱画像データから、電動ポンプ１１の異常状態を判定する異常判定処理装置２３とを備えている。
【0027】
以下、データ解析装置１３を構成するこれらを具体的に説明する。
音源定位処理装置２０は、電動ポンプ１１の異常音発生箇所Ｐから到来した音波を、３本のマイクロフォンＭ１～Ｍ３でそれぞれ収集し、その後、各マイクロフォンＭ１～Ｍ３からデータ解析装置１３に送られた各受音信号を分析して、異常音の音源位置を推定するものである。
音源定位処理装置２０は、電動ポンプ１１の異常音発生箇所Ｐから到来した音波を、３本のマイクロフォンＭ１～Ｍ３でそれぞれ収集し、その後、各マイクロフォンＭ１～Ｍ３からデータ解析装置１３に送られた各受音信号を分析して、異常音の音源位置を推定するものである。
【0028】
ここでは、ビームフォーミング法の一種である遅延和（Ｄｅｌａｙ－ａｎｄ－Ｓｕｍ）型ビームフォーマ法によるものが採用されている。これは、各マイクロフォンＭ１～Ｍ３のあとに遅延子を挿入し、入射波の位相を揃えて和をとることで音響ビームを形成し、このビームを空間的にスキャンすることにより、音源位置を推定するものである。
【0029】
この音源定位処理装置２０には、異常音発生箇所Ｐから各マイクロフォンＭ１～Ｍ３に達する異常音の入射波の位相が揃うように各受音信号を補正する異常音強調合成処理手段２４を設けている。なお、遅延子の部分を適応フィルタに拡張することで、雑音源を抑制しながら、目的の音源位置を推定することも可能である。
【0030】
熱画像表示処理装置２１は、サーマルカメラ１２により電動ポンプ１１を撮像して得られた熱画像データに基づき、ディスプレイ１９に電動ポンプ１１の熱画像を表示させるためのプログラムである。
なお、サーマルカメラ１２による水平方向および垂直方向の撮像可能範囲は、それぞれ次式により求められる。
撮影可能範囲（水平方向）＝ｔａｎ（画角α÷２）×被写体までの距離×２
撮影可能範囲（垂直方向）＝ｔａｎ（画角β÷２）×被写体までの距離×２
なお、サーマルカメラ１２による水平方向および垂直方向の撮像可能範囲は、それぞれ次式により求められる。
撮影可能範囲（水平方向）＝ｔａｎ（画角α÷２）×被写体までの距離×２
撮影可能範囲（垂直方向）＝ｔａｎ（画角β÷２）×被写体までの距離×２
【0031】
ここで、αは水平方向の画角、βは垂直方向の画角である。
異常音発生箇所表示処理装置２２は、音源定位処理装置２０により推定された異常音の音源位置を、ディスプレイ１９の熱画像に合成して、電動ポンプ１１の異常音発生箇所Ｐを環状枠で囲って表示（指摘）するプログラムである。
異常音発生箇所表示処理装置２２は、音源定位処理装置２０により推定された異常音の音源位置を、ディスプレイ１９の熱画像に合成して、電動ポンプ１１の異常音発生箇所Ｐを環状枠で囲って表示（指摘）するプログラムである。
【0032】
異常判定処理装置２３は、記憶部１８に記憶された各音データおよび熱画像データに基づき、電動ポンプ１１の正常・異常を判定するプログラムである。
具体的には、音データについては、フーリエ変換やウェーブレット変換を代表とする周波数解析を実施して得られるデータについて、平均・分散・標準偏差を用いて外れ値に対する異常度を異常標本または閾値の設定により与えることで、正常時には見られないスペクトル成分および時間変化に対して異常判定を行う。
また、熱画像については、あらかじめ稼働時に発熱する対象を認識した上で正常運転時の対象の熱画像との比較を行う。認識する対象の範囲内での平均温度および最高温度を計測して得られるデータにおける周辺温度を考慮した平均・分散・標準偏差を用いて、外れ値に対する異常度を異常標本または閾値の設定により与えることで、正常時には見られない発熱に対して異常判定を行う。
なお、この判定に、ディープラーニングの学習を伴うＡＩ（Artificial Intelligence）を用いて、その判定精度を高めてもよい。
具体的には、音データについては、フーリエ変換やウェーブレット変換を代表とする周波数解析を実施して得られるデータについて、平均・分散・標準偏差を用いて外れ値に対する異常度を異常標本または閾値の設定により与えることで、正常時には見られないスペクトル成分および時間変化に対して異常判定を行う。
また、熱画像については、あらかじめ稼働時に発熱する対象を認識した上で正常運転時の対象の熱画像との比較を行う。認識する対象の範囲内での平均温度および最高温度を計測して得られるデータにおける周辺温度を考慮した平均・分散・標準偏差を用いて、外れ値に対する異常度を異常標本または閾値の設定により与えることで、正常時には見られない発熱に対して異常判定を行う。
なお、この判定に、ディープラーニングの学習を伴うＡＩ（Artificial Intelligence）を用いて、その判定精度を高めてもよい。
【0033】
次に、図１～図６を参照して、この発明の実施例１に係る異常音発生箇所探査システム１０を利用した電動ポンプ１１の異常音発生箇所Ｐの探査と、その後の異常判定について説明する。
図４（ａ）に示すように、あらかじめ、サーマルカメラ１２の熱画像の撮影可能範囲（ディスプレイ１９の画面）に電動ポンプ１１が入るように、マイク・熱カメラアレイ１５をセッティングする。ここでは、ディスプレイ１９の右上に電動ポンプ１１が配されている。この状態で、異常音発生箇所探査システム１０を、常時、作動させておく。
図４（ａ）に示すように、あらかじめ、サーマルカメラ１２の熱画像の撮影可能範囲（ディスプレイ１９の画面）に電動ポンプ１１が入るように、マイク・熱カメラアレイ１５をセッティングする。ここでは、ディスプレイ１９の右上に電動ポンプ１１が配されている。この状態で、異常音発生箇所探査システム１０を、常時、作動させておく。
【0034】
仮に、電動ポンプ１１に搭載された電動モータが過剰出力し、そのモータ後部が発熱して異常音が発生したものとする。この場合、３本のマイクロフォンＭ１～Ｍ３により電動ポンプ１１の異常音がリアルタイムに収集されるとともに、サーマルカメラ１２により電動ポンプ１１の電動モータがヒートアップした熱画像データが取得され、これらのデータは記憶部１８に記憶される。
このうち、各マイクロフォンＭ１～Ｍ３からの受音信号は、データ解析装置１３の音源定位処理装置２０に送られて、電動ポンプ１１における異常音の音源Ｐが推定される。
このうち、各マイクロフォンＭ１～Ｍ３からの受音信号は、データ解析装置１３の音源定位処理装置２０に送られて、電動ポンプ１１における異常音の音源Ｐが推定される。
【0035】
具体的には、音源定位処理装置２０に送られた各受音信号は、上述した遅延和型ビームフォーマ法により解析されて、異常音の音源位置が推定される。
すなわち、遅延和法では、フォーカスを用いて音源位置を推定する。このフォーカスを空間的にスキャンすることで、空間的なパワー分布を得る。空間的なパワー分布は、空間スペクトル（Spatial Spectrum）と称され、次式で定義される。
すなわち、遅延和法では、フォーカスを用いて音源位置を推定する。このフォーカスを空間的にスキャンすることで、空間的なパワー分布を得る。空間的なパワー分布は、空間スペクトル（Spatial Spectrum）と称され、次式で定義される。
【0036】
【数1】
【0037】
ここで、ＰＤＳ(θ)は空間スペクトル、ｗはビームフォーマ係数、・Ｈ（“Ｈ”は上付き英文字）は共役転置、Ｒは空間相関行列、ベクトルｖ(θ)は仮想音源方向θに対する位置ベクトルである。
遅延和法では、係数ベクトルｗにより、θ方向から到来する音波の位相が揃えられ、加算されるため、θ方向から到来する音波が強調される。これにより、音響的なビームが形成される。このビームをレーダのように空間的にスキャンし、フォーカスの方向θが真の音源方向と一致したときに、空間スペクトルＰＤＳ（θ）にピークが現れる。このピーク位置により、音源位置（到来方向）を推定する。
遅延和法では、係数ベクトルｗにより、θ方向から到来する音波の位相が揃えられ、加算されるため、θ方向から到来する音波が強調される。これにより、音響的なビームが形成される。このビームをレーダのように空間的にスキャンし、フォーカスの方向θが真の音源方向と一致したときに、空間スペクトルＰＤＳ（θ）にピークが現れる。このピーク位置により、音源位置（到来方向）を推定する。
【0038】
また、ここでは、異常音発生箇所（音源）Ｐから各マイクロフォンＭ１～Ｍ３に達する異常音の入射波の位相が揃うように各受音信号を補正する異常音強調合成処理手段２４を設けている。すなわち、図１および図６（ａ）のグラフに示すように、３本のマイクロフォンＭ１～Ｍ３のうち、異常音発生箇所Ｐから最も遠いマイクロフォンＭ２を基準としたとき、残り２本のマイクロフォンＭ１，Ｍ３にあっては、異常音発生箇所Ｐまでの距離に応じた遅延が生じている。
【0039】
そこで、図６（ｂ）のグラフに示すように、上記異常音の入射波の位相が揃うように、異常音発生箇所Ｐからの距離が最も近いマイクロフォンＭ１の受音信号には、σｔ１の時間軸の補正を行い、マイクロフォンＭ２の受音信号には、σｔ２（補正値“０”）の時間軸の補正を行い、また２番目に遠いマイクロフォンＭ３の受音信号には、σｔ１より短いσｔ３の時間軸の補正を行う。これにより、異常音の入射波の位相が揃い強調された異常音を合成できる。
【0040】
一方、サーマルカメラ１２により得られた電動ポンプ１１の一部が高温化した熱画像データは、熱画像表示処理装置２１により処理されて、ディスプレイ１９に熱画像として赤色で表示される。
その後、音源定位処理装置２０により推定された異常音の音源位置を、異常音発生箇所表示処理装置２２によりディスプレイ１９の熱画像に合成して、電動ポンプ１１のモータ後部である異常音発生箇所Ｐを環状枠に囲って表示する。なお、ディスプレイ１９の熱画像には、異常音発生箇所Ｐの視認が容易なように、図示しない可視化カメラを用いて撮像した電動ポンプ１１を含む可視画像を重ね合わせて表示してもよい。
その後、音源定位処理装置２０により推定された異常音の音源位置を、異常音発生箇所表示処理装置２２によりディスプレイ１９の熱画像に合成して、電動ポンプ１１のモータ後部である異常音発生箇所Ｐを環状枠に囲って表示する。なお、ディスプレイ１９の熱画像には、異常音発生箇所Ｐの視認が容易なように、図示しない可視化カメラを用いて撮像した電動ポンプ１１を含む可視画像を重ね合わせて表示してもよい。
【0041】
次に、記憶部１８に記憶された各音データおよび熱画像データが異常判定処理装置２３に送られ、ここで電動ポンプ１１の異常状態が判定される。
具体的には、音データを周波数解析して得られるデータについて平均・分散・標準偏差を用いて外れ値に対する異常度が閾値を超えることで、異常音として異常判定される。
また、熱画像の内電動ポンプ１１に搭載された電動モータの認識された範囲内での平均温度および最高温度を計測し、周辺温度を考慮した平均・分散・標準偏差を用いて外れ値に対する異常度が閾値を超えることで、異常発熱として異常判定される。
異常判定処理装置２３により処理されて、ディスプレイ１９の合成画像において異常判定を受けた発熱部であることは、電動ポンプ１１に搭載された電動モータの領域を赤色の環状枠で囲って指摘するとともに、異常判定を受けた異常音発生箇所である電動ポンプ１１に搭載された電動モータから引き出し線等とともに異常が認められた周波数解析結果のグラフを赤色の環状枠で囲って表示される。
具体的には、音データを周波数解析して得られるデータについて平均・分散・標準偏差を用いて外れ値に対する異常度が閾値を超えることで、異常音として異常判定される。
また、熱画像の内電動ポンプ１１に搭載された電動モータの認識された範囲内での平均温度および最高温度を計測し、周辺温度を考慮した平均・分散・標準偏差を用いて外れ値に対する異常度が閾値を超えることで、異常発熱として異常判定される。
異常判定処理装置２３により処理されて、ディスプレイ１９の合成画像において異常判定を受けた発熱部であることは、電動ポンプ１１に搭載された電動モータの領域を赤色の環状枠で囲って指摘するとともに、異常判定を受けた異常音発生箇所である電動ポンプ１１に搭載された電動モータから引き出し線等とともに異常が認められた周波数解析結果のグラフを赤色の環状枠で囲って表示される。
【0042】
このように、電動ポンプ１１から発せられた音と熱とを利用して、電動ポンプ１１の異常音発生箇所Ｐの角度推定のための演算量を減らすことができるとともに、電動ポンプ１１の異常音発生箇所Ｐ、ひいては電動ポンプ１１の異常の有無を非接触状態で高精度に探査できる。その結果、検査員が不要で、かつ保守メンテナンスの必要性を早期に発見することができる。
【0043】
また、各マイクロフォンＭ１～Ｍ３とサーマルカメラ１２とが配されたマイク・熱カメラアレイ１５を用いるため、音源定位処理装置２０による異常音の音源位置の推定や、サーマルカメラ１２を利用した電動ポンプ１１の熱画像のディスプレイ１９への表示、および、推定された異常音の音源位置を異常音発生箇所表示処理装置２２によってディスプレイ１９上の熱画像に合成する処理が容易となる。
【0044】
さらに、ここでは異常音強調合成処理手段２４により、異常音発生箇所Ｐから各マイクロフォンＭ１～Ｍ３に達する異常音の入射波の位相が揃うように各受音信号を補正するため、電動ポンプ１１のモータ後部の異常音を強調するように合成することができる。その結果、例えば、各マイクロフォンＭ１～Ｍ３に達した異常音が小さかったり、周辺に雑音がある場合でも、異常音の音源Ｐの推定が容易となる。
【産業上の利用可能性】
【0045】
本発明は、対象機器の異常音発生箇所を探査する技術として有用である。
【符号の説明】
【0046】
１０ 異常音発生箇所探査システム
１１ 電動ポンプ（対象機器）
１２ サーマルカメラ
１５ マイク・熱カメラアレイ
１８ 記憶部
１９ ディスプレイ
２０ 音定位処理装置
２１ 熱画像表示処理装置
２２ 異常音発生箇所表示処理装置
２３ 異常判定処理装置
２４ 異常音強調合成処理手段
Ｍ１～Ｍ３ マイクロフォン
Ｐ 異常音発生箇所（音源）
１１ 電動ポンプ（対象機器）
１２ サーマルカメラ
１５ マイク・熱カメラアレイ
１８ 記憶部
１９ ディスプレイ
２０ 音定位処理装置
２１ 熱画像表示処理装置
２２ 異常音発生箇所表示処理装置
２３ 異常判定処理装置
２４ 異常音強調合成処理手段
Ｍ１～Ｍ３ マイクロフォン
Ｐ 異常音発生箇所（音源）
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】