(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2023162865
(43)【公開日】2023-11-09
(54)【発明の名称】異音収集装置および異音収集方法
(51)【国際特許分類】
G01H 3/00 20060101AFI20231101BHJP
【FI】
G01H3/00 A
【審査請求】未請求
【請求項の数】13
【出願形態】OL
(21)【出願番号】P 2022073558
(22)【出願日】2022-04-27
(71)【出願人】
【識別番号】314012076
【氏名又は名称】パナソニックIPマネジメント株式会社
(74)【代理人】
【識別番号】110002000
【氏名又は名称】弁理士法人栄光事務所
(72)【発明者】
【氏名】泉 昭年
【テーマコード(参考)】
2G064
【Fターム(参考)】
2G064AB01
2G064AB02
2G064AB15
2G064AB22
2G064CC13
2G064CC29
2G064CC41
2G064DD08
2G064DD12
2G064DD14
2G064DD15
(57)【要約】
【課題】異音検知により適した高音質な異常音データを収集する。
【解決手段】異音収集装置は、検査対象の稼動音を収音した収音データを取得する音声取得部と、前記収音データの音質を判定する判定部と、前記収音データの音質が所定の値より低いと判定された場合、収音領域を変更して前記音質を改善する音質改善部と、を備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
検査対象の稼動音を収音した収音データを取得する音声取得部と、
前記収音データの音質を判定する判定部と、
前記収音データの音質が所定の値より低いと判定された場合、収音領域を変更して前記音質を改善する音質改善部と、を備える、
異音収集装置。
【請求項2】
サーバに記憶された異常音データを取得する取得部を、さらに備え、
取得された前記収音データと前記異常音データとを比較することにより前記収音データが前記サーバに記憶されていない異常音か否かを判定する異常音判定部、をさらに備える、
請求項1に記載の異音収集装置。
【請求項3】
前記検査対象の稼動音の方向を特定する方向特定部、をさらに備え、
前記収音データの前記音質が所定の値より低いと判定された場合、前記方向特定部は、前記検査対象の前記稼動音の方向を特定し、
前記音質改善部は、前記稼動音の方向に指向性を付与することにより前記収音領域を変更する、
請求項2に記載の異音収集装置。
【請求項4】
前記音声取得部は、変更された前記収音領域の前記稼動音を第2収音データとして収音し、
前記判定部は、前記第2収音データの音質が所定の値以上であると判定した場合、前記サーバに前記第2収音データを記憶させる、
請求項3に記載の異音収集装置。
【請求項5】
前記音声取得部は、変更された前記収音領域の前記稼動音を第2収音データとして収音し、
前記第2収音データの音質が所定の値未満であると判定された場合、前記音質改善部は、再度所定量の指向性を前記稼動音の方向に付与し前記収音領域を変更する、
請求項3に記載の異音収集装置。
【請求項6】
前記音質改善部が、前記音声取得部に下限量あるいは所定回数の指向性を付与すると、前記判定部は、直前に収音した収音データを前記検査対象の異常音データとして前記サーバに記憶させる、
請求項5に記載の異音収集装置。
【請求項7】
前記音声取得部は、伸縮アームをさらに備え、
前記音質が所定の値より低いと判定された場合、前記方向特定部は、前記検査対象の前記稼動音の方向を特定し、
前記音質改善部は、前記稼動音の方向に前記伸縮アームを伸ばすことにより、前記収音領域を変更する、
請求項3に記載の異音収集装置。
【請求項8】
前記音声取得部は、変更された前記収音領域の前記稼動音を第3収音データとして収音し、
前記第3収音データの音質が所定の値未満であると判定された場合、前記音質改善部は、前記伸縮アームを再び所定量伸ばすことにより前記収音領域を変更する、
請求項7に記載の異音収集装置。
【請求項9】
前記音質改善部は、上限量あるいは所定回数前記伸縮アームを伸ばすと、
前記判定部は、最後に収音した収音データを前記検査対象の異常音データとして前記サーバに記憶させる、
請求項8に記載の異音収集装置。
【請求項10】
前記異音収集装置を移動可能とする可動部、をさらに備え、
前記音質が所定の値より低いと判定された場合は、前記方向特定部は、前記検査対象の前記稼動音の方向を特定し、
前記音質改善部は、前記可動部を可動させることにより、前記収音領域を変更する、
請求項3に記載の異音収集装置。
【請求項11】
前記音声取得部は、変更された前記収音領域の前記稼動音を第4収音データとして収音し、
前記第4収音データの音質が所定の値未満であると判定された場合、前記音質改善部は、前記可動部を再び所定量可動させることにより、前記収音領域を変更する、
請求項10に記載の異音収集装置。
【請求項12】
前記音質改善部は、上限量あるいは所定回数前記可動部を可動させると、
前記判定部は、直前に収音した収音データを前記検査対象の異常音データとして前記サーバに記憶させる、
請求項11に記載の異音収集装置。
【請求項13】
検査対象の異常音データを収集する異音収集装置が行う異音収集方法であって、
前記検査対象の稼動音を収音した収音データを取得し、
前記収音データの音質を判定し、
前記収音データの音質が所定の値より低いと判定された場合、収音領域を変更して前記音質を改善する、
異音収集方法。
【発明の詳細な説明】
【技術分野】
【0001】
本開示は、異音収集装置および異音収集方法に関する。
【背景技術】
【0002】
特許文献1には、収音された乗員の音声に基づいて、新たな発話コマンドを記憶部に登録するエージェントシステムが開示されている。エージェントシステムは、乗員が搭乗する移動体に搭載された移動体搭載機器を制御する命令であって、マイクにより収音された乗員の音声である発話コマンドを含む音声を認識し、認識された音声の意味を解釈する。エージェントシステムは、解釈された音声の意味が、新たな発話コマンドを登録する指示を含むと解釈された場合、この新たな発話コマンドを記憶部に登録する。
【先行技術文献】
【特許文献】
【0003】
【発明の概要】
【発明が解決しようとする課題】
【0004】
近年、工場等に設置された設備の保全を目的として、設備の稼動音を分析し異常音を検知することにより設備の状態の変化を検査する異音検知装置が使用されている。設備の異常を検知するためには、予め設備の異常音のデータ(以下、異常音データと称する)を収集し参照データとして異音検知装置に登録しておく必要がある。
【0005】
特許文献1では、エージェントシステムによって収音された音声が新たな発話コマンドであると解釈された場合、音声の音質が悪くても(例えば、収音対象とは別の音(つまりノイズ)を含む、音量が小さいなど)記憶部に音声を登録されてしまう。工場等に設置された設備は他の設備と近接して設置されている場合があり、異常音データに他の設備の音をノイズとして含んでしまう可能性がある。このようなノイズを含んだ異常音データを参照データとして異音検知に用いると、誤検知が増加し検知精度が低下する可能性があった。
【0006】
本開示は、上述した従来の状況に鑑みて案出され、異音検知により適した高音質な異常音データを収集することを目的とする。
【課題を解決するための手段】
【0007】
本開示は、検査対象の稼動音を収音した収音データを取得する音声取得部と、前記収音データの音質を判定する判定部と、前記収音データの音質が所定の値より低いと判定された場合、収音領域を変更して前記音質を改善する音質改善部と、を備える、異音収集装置を提供する。
【0008】
また、本開示は、検査対象の異常音データを収集する異音収集装置が行う異音収集方法であって、前記検査対象の稼動音を収音した収音データを取得し、前記収音データの音質を判定し、前記収音データの音質が所定の値より低いと判定された場合、収音領域を変更して前記音質を改善する、異音収集方法を提供する。
【0009】
なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
【発明の効果】
【0010】
本開示によれば、異音検知により適した高音質な異常音データを収集することができる。
【図面の簡単な説明】
【0011】
【
図2】異音収集装置およびクラウドサーバのそれぞれの内部構成例を示すブロック図
【
図3】異音収集装置の動作手順例を示すフローチャート
【
図4】収録音と正常音群との間の距離の一例を説明する図
【
図5】収録音と複数の異常音との間の最小異常音距離の一例を説明する図
【
図7】異常音記憶部に記憶された異常音データテーブルの一例を示す図
【
図8】音質改善処理1に係る異音収集装置の動作の一例を示す図
【
図9】音質改善処理1に係る異音収集装置の音質改善処理の動作手順例を示すフローチャート
【
図10】音質改善処理2に係る異音収集装置の動作の一例を示す図
【
図11】音質改善処理2に係る異音収集装置の音質改善処理の動作手順例を示すフローチャート
【
図12】音質改善処理3に係る異音収集装置の動作の一例を示す図
【
図13】音質改善処理3に係る異音収集装置の音質改善処理の動作手順例を示すフローチャート
【発明を実施するための形態】
【0012】
以下、図面を適宜参照して、本開示に係る異音収集装置および異音収集方法を具体的に開示した実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。
【0013】
図1を参照して、異音収集システムのシステム構成例について説明する。
図1は、異音収集システムのシステム構成例を示す図である。異音収集システムのシステム構成例は、音質改善処理1、2および3において共通である。
【0014】
異音収集システム1000は、1台以上の異音収集装置10のそれぞれを用いて検査対象物(例えば、電気機器、電子機器等の稼動中の各種装置)の稼動音を収音し、検査対象物から発せられる異常音を自動検知するための機械学習用の異常音データを収集して記憶するシステムである。異音収集システム1000は、1台以上の異音収集装置10と、1台以上のクラウドサーバ50と、ネットワークNWとを含んで構成される。なお、
図1に示す異音収集システム1000は、一例として、1台の異音収集装置10と、1台のクラウドサーバ50とを含んで構成される例を示している。
【0015】
異音収集装置10は、例えば工場で用いられ、工場内に設置された装置等の稼動音を収音する。異音収集装置10は、ネットワークNWを介して1台以上のクラウドサーバ50のそれぞれとの間でデータ通信可能に接続される。異音収集装置10は、例えば、プロセッサ、メモリおよびマイク等を搭載した筐体を有する装置であり、1台以上の検査対象物101,102,103の稼動音を収音する。異音収集装置10は、車輪等の可動部を有し移動可能であってもよいし、壁、地面、天井、壁あるいは天井から宙づり状態等に固定設置されてもよい。異音収集装置10は、収集された収音データからクラウドサーバ50に記憶されていない、異音検知のための機械学習に適した異常音データを抽出し、クラウドサーバ50に送信して記憶させる。異音収集装置10は、常時、あるいは事前に設定された所定の時間帯に自動で稼動音を収音してもよい。
【0016】
また、異音収集装置10は、複数の拠点のそれぞれに設置されてよく、各拠点(例えば、
図1に示す「拠点A」)に複数台設置されてよいことは言うまでもない。
【0017】
異音収集装置10は、収音装置30を有する。収音装置30は、例えば複数のマイクが等間隔で連続して配置されたマイクロフォンアレイである。
【0018】
サーバの一例としてのクラウドサーバ50は、ネットワークNWを介して1台以上の異音収集装置10のそれぞれとの間でデータ通信可能に接続される。クラウドサーバ50は、1台以上の異音収集装置10のそれぞれから送信された各種検査対象物の1以上の異常音データを記憶する。また、クラウドサーバ50は、事前に収集された各種検査対象物の1以上の正常音データのそれぞれを記憶する。
【0019】
また、クラウドサーバ50は、異音収集装置10から送信された検査対象物の条件情報に基づいて、記憶された1以上の異常音データのそれぞれから検査対象物の条件に合った1以上の異常音データのそれぞれを抽出し、異音収集装置10に送信する。異音収集装置10は、クラウドサーバ50から送信された1以上の異常音データと、異常音と判定された収音データとに基づいて、収音データがクラウドサーバ50に記憶すべき(つまり、機械学習に適した)異常音データであるか否かを判定する。
【0020】
ネットワークNWは、1台以上の異音収集装置10のそれぞれと、1台以上のクラウドサーバ50のそれぞれとの間を有線通信または無線通信によりデータ通信可能に接続する。なお、ネットワークNWは、有線ネットワークでも無線ネットワークでもよく、それらの組合せでもよい。有線ネットワークは、例えばEthernet(登録商標)に代表される有線LAN(Local Area Network)でもよく、その種類は特に限定されない。一方、無線ネットワークは、例えばWi-Fi(登録商標)に代表される無線LANでもよく、その種類は特に限定されない。
【0021】
次に、
図2を参照して、異音収集装置10およびクラウドサーバ50のそれぞれの内部構成例について説明する。
図2は、異音収集装置およびクラウドサーバのそれぞれの内部構成例を示すブロック図である。異音収集装置およびクラウドサーバの内部構成例は、音質改善処理1、2および3において共通である。
【0022】
異音収集装置10は、収音装置30と、表示装置31と、入力デバイス32と、伸縮アーム34と、駆動装置35と、通信部11と、I/F(Inter Face)12と、プロセッサ13と、メモリ21と、音質改善部33とを含んで構成される。なお、収音装置30、表示装置31、および入力デバイス32のそれぞれは、異音収集装置10と一体に構成されない外部装置であってよく、異音収集装置10との間でデータ送受信可能に接続されてもよい。
【0023】
収音装置30は、検査対象物の稼動音を16kHz,48kHz等の所定のサンプリング周波数で収音する。収音装置30は、収音された稼動音を音声信号に変換し、I/F12を介してプロセッサ13に入力する。具体的に、収音装置30から出力された音声信号は、プロセッサ13の音声処理部14に入力される。
【0024】
収音装置30は、例えばマイクロフォンアレイ、指向性マイクなどである。また、収音装置30は、伸縮アーム34の先端に設置されてもよい。
【0025】
なお、収音装置30は、入力デバイス32を用いて作業者の操作に基づいて検査対象物の稼動音の収音を開始してもよいし、事前に設定された検査日時、検査回数等の検査スケジュールに基づいて、自動で検査対象物の稼動音を収音してもよい。また、収音装置30により収音される稼動音の収音時間は、作業者によって手動で決定されてもよいし、事前に指定された所定時間帯(例えば、1s,3s,10s等)であってもよい。
【0026】
表示装置31は、例えばLCD(Liquid Crystal Display)あるいは有機EL(Electroluminescence)ディスプレイを用いて構成され、I/F12を介してプロセッサ13の表示制御部16から出力された各種画面(異常音データ画面Sc4(
図6参照)等)を表示(出力)する。
【0027】
入力デバイス32は、例えばタッチパネル、マウス、キーボード、タッチパッド等のデバイスのうち少なくとも1つを用いて構成される。入力デバイス32は、異音収集装置10を使用する作業者による入力操作を受け付け、この入力操作に応じた信号を生成し、I/F12を介してプロセッサ13の入力処理部15に出力する。なお、入力デバイス32がタッチパネルを用いて構成される場合、入力デバイス32と表示装置31とは一体的に構成される。
【0028】
伸縮アーム34は、収音装置30が先端に取付けられ自在に伸縮できる筒状のアームである。なお、アームの形状は筒状に限定されなくてよい。伸縮アーム34は、例えば30cm伸縮することができる。なお、伸縮アーム34の伸縮できる長さは一例でありこれに限定されない。
【0029】
駆動装置35は、音質改善部33からの指示に基づき異音収集装置10に取付けられた車輪等を動作させる駆動力を発生させる。駆動装置35は、例えばモータ、ロータおよびモータを駆動する電子回路を備える。
【0030】
取得部の一例としての通信部11は、ネットワークNWを介して、クラウドサーバ50との間でデータ送受信を実行する。通信部11は、クラウドサーバ50の記憶装置53から送信された1以上の正常音データ、あるいは1以上の異常音データをプロセッサ13に出力する。また、通信部11は、プロセッサ13から出力された異常音データをクラウドサーバ50に送信する。
【0031】
I/F12は、収音装置30、表示装置31、音質改善部33および入力デバイス32と、プロセッサ13との間でデータ通信可能に接続する。
【0032】
算出部および判定部の一例としてのプロセッサ13は、例えばCPU(CentralProcessing Unit)、DSP(Digital Signal Processor)またはFPGA(Field Programmable Gate Array)を用いて、プロセッサ13の各部の動作を制御する。プロセッサ13は、メモリ21と協働して、各種の処理および制御を統括的に行う。具体的には、プロセッサ13は、メモリ21に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。なお、ここでいう各部は、音声処理部14、入力処理部15、表示制御部16、正常音学習部17、異常音判定部18、SN判定部19、異常音記憶判定部20および異常音方向特定部22である。
【0033】
音声処理部14は、収音装置30から出力された音声信号を取得し、プロセッサ13の各部(例えば、正常音学習部17、異常音判定部18、SN判定部19、および異常音記憶判定部20等)で処理可能な形式である収音データに変換する。音声処理部14は、変換後の収音データを異常音判定部18に出力する。
【0034】
入力処理部15は、入力デバイス32から出力された信号に基づいて、各種処理を実行する。
【0035】
例えば、入力デバイス32は、作業者による検査対象物の稼動音の収音開始操作を受け付けた場合、検査対象物の稼動音の収音を開始させる制御指令(信号)を生成して、入力処理部15に出力する。入力処理部15は、入力デバイス32から出力された制御指令(信号)に基づいて、収音装置30により収音された、検査対象物の稼動音を取得したり、収音データを用いた異常音判定処理を異常音判定部18に実行させたりする。
【0036】
また、例えば、入力デバイス32は、作業者による検査対象物の稼動音の収音継続操作を受け付けた場合、検査対象物の稼動音の収音を継続させる制御指令(信号)を生成して、入力処理部15に出力する。入力処理部15は、入力デバイス32から出力された検査対象物の稼動音の収音を継続させる制御指令(信号)に基づいて、収音装置30により収音された、検査対象物の稼動音の取得を継続させたり、異常音判定部18に収音された検査対象物の稼動音に基づく収音データを用いた異常音判定処理を再度実行させたりする。
【0037】
表示制御部16は、異常音判定部18、SN判定部19および異常音記憶判定部20のそれぞれの判定結果に基づいて、判定結果に対応する画面(異常音データ画面Sc4(
図6参照)等)を生成する。表示制御部16は、生成された画面(異常音データ画面Sc4(
図6参照)等)を表示装置31に出力して、表示させる。
【0038】
正常音学習部17は、収音装置30から出力された収音データを取得する。正常音学習部17は、取得された収音データを解析し、クラウドサーバ50における正常音記憶部54に記憶するための正常音データであると判定した場合、この収音データを学習する。
【0039】
異常音判定部18は、クラウドサーバ50の正常音記憶部54から1以上の正常音データを取得する。なお、ここで取得される1以上の正常音データは、検査対象物に関連する正常音データ(例えば、同一の検査対象物の正常音データ、同一拠点で収音された正常音データ等)であってよいし、作業者により検査対象物の条件(例えば、検査対象物に関する条件、拠点に関する条件等)が指定された場合には、指定された条件に対応する正常音データであってもよい。
【0040】
異常音判定部18は、クラウドサーバ50の正常音記憶部54から送信された1以上の正常音データの特徴量と、収音データの特徴量との差分を示す指標(距離)を算出する。なお、ここでいう距離は、各音データの周波数、音圧等の各種特徴量に基づく音の違いを示す指標であって、絶対値距離、ユークリッド距離、マハラノビス距離、あるいはオートエンコーダ等のディープラーニングを用いて算出されてよい。
【0041】
SN判定部19は、異常音判定部18から出力された制御指令に基づいて、収音データの音質が機械学習に用いられる異常音データとして適しているか否かを判定する。音質は、例えばSN比、ダイナミックレンジ等を用いて評価される。
【0042】
異常音記憶判定部20は、異常音判定部18から出力された制御指令に基づいて、クラウドサーバ50の異常音記憶部55から送信された1以上の異常音データの特徴量と、収音データの特徴量との差分を示す指標(距離)を算出する。なお、ここでいう距離は、各音データの周波数、音圧等の各種特徴量に基づく音の違いを示す指標であって、絶対値距離、ユークリッド距離、マハラノビス距離、あるいはオートエンコーダ等のディープラーニングを用いて算出されてよい。
【0043】
異常音記憶判定部20は、算出された1以上の異常音データの特徴量と収音データの特徴量との距離のうち距離が最小となる最小異常音距離を選定する。異常音記憶判定部20は、選定された最小異常音距離に基づいて、取得された収音データ(異常音データ)がクラウドサーバ50に記憶済みの異常音データに類似しているか否かを判定する。異常音記憶判定部20は、取得された収音データ(異常音データ)がクラウドサーバ50に記憶済みの異常音データに類似すると判定した場合、この収音データを記憶しないと判定する。一方、異常音記憶判定部20は、取得された収音データ(異常音データ)がクラウドサーバ50に記憶済みの異常音データと類似しないと判定した場合、クラウドサーバ50にこの収音データを記憶すると判定する。
【0044】
なお、SN判定部19により実行される処理と、異常音記憶判定部20により実行される処理とは、同時あるいは並列に実行されてもよいし、いずれか一方の処理が実行された後にもう一方の処理が実行されてもよい。後述する異音収集装置10の動作手順例は、一例として、異常音記憶判定部20による処理が先に実行され、異常音記憶判定部20の処理の結果に基づいて、SN判定部19による処理が実行される例について説明する。
【0045】
プロセッサ13は、SN判定部19により収音データのSN比が機械学習に用いられる異常音データとして適していると判定され、かつ、異常音記憶判定部20により収音データが異常音記憶部55に記憶されていないと判定された場合、この収音データと、異音収集装置10を識別可能な識別情報と、この収音データに関する各種情報とを対応付けて、通信部11に出力し、クラウドサーバ50に送信させる。
【0046】
ここでいう各種情報は、収音された収音日時情報、検査対象物に関する情報(例えば、装置の識別情報、機種情報等)、異音収集装置10の設置状態に関する情報、検査対象物の稼動モードに関する情報等である。なお、各種情報は、上述した例に限定されなくてもよい。
【0047】
異常音方向特定部22は、収音装置30によって収音された収音データを基に稼動音が発生している方向(言い換えると、音源の方向)を特定する。収音装置30が例えばマイクロフォンアレイの場合、異常音方向特定部22は、複数のそれぞれのマイクへ音の到達時間の差から稼動音の方向を算出する。異常音方向特定部22は、稼動音の方向の算出に例えばMUSIC(Multiple Signal Classification)法を用いる。なお、稼動音が発生している方向の特定方法はMUSIC法に限られない。
【0048】
メモリ21は、例えばプロセッサ13が行う各種の処理を実行する際に用いるワークメモリとしてのRAM(Random Access Memory)と、プロセッサ13が行う各種の処理を規定したプログラムとそのプログラムの実行中に使用するデータとを格納するROM(Read Only Memory)と、を少なくとも有する。RAMには、プロセッサ13により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ13が行う各種の処理を規定したプログラムとそのプログラムの実行中に使用するデータとが書き込まれている。また、メモリ21は、異音収集装置10が設置された場所(例えば、工場など)の地図および装置等の配置図を予め保持してもよい。
【0049】
処理部の一例としての音質改善部33は、例えばCPU、DSPまたはFPGAを用いて、音質改善部33の各部の動作を制御する。音質改善部33は、メモリ21と協働して、各種の処理および制御を統括的に行う。具体的には、音質改善部33は、メモリ21に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。なお、ここでいう各部は、指向性制御部331、収音アーム制御部332および移動制御部333である。音質改善部33は、異常音データの音質が所定の値より低いと判定された場合、指向性、異音収集装置10の位置または収音装置30の位置を変更して音質を改善する試行動作を行う。
【0050】
指向性制御部331は、収音装置30の指向性(言い換えると、収音装置30により収音される稼動音を強調する方向)を可変に制御する。指向性制御部331は、異常音方向特定部22によって特定された異常音の方向に対し収音装置30の指向性を持たせる。
【0051】
収音アーム制御部332は、異常音方向特定部22によって特定された異常音の方向に対し伸縮アーム34を伸縮させる。収音アーム制御部332は、メモリ21から異音収集装置10が設置された場所の地図または装置等の配置図を読み込み、地図または装置等の配置図を基に伸縮アーム34を制御してもよい。また、異音収集装置10は、収音装置30にカメラ(不図示)を搭載し、カメラによる撮像画像を機械学習等の既知の方法を用いて解析する。収音アーム制御部332は、撮像画像の解析結果を基に伸縮アーム34を制御してもよい。
【0052】
移動制御部333は、異音収集装置10に搭載された車輪を制御し異音収集装置10の移動を制御する。移動制御部333は、メモリ21から異音収集装置10が設置された場所の地図または装置等の配置図を読み込み、地図または装置等の配置図を基に異音収集装置10の移動を制御してもよい。また、異音収集装置10は、収音装置30にカメラ(不図示)を搭載し、カメラによる撮像画像を機械学習等の既知の方法を用いて解析する。移動制御部333は、撮像画像の解析結果を基に異音収集装置10の移動を制御してもよい。
【0053】
クラウドサーバ50は、通信部51と、プロセッサ52と、記憶装置53とを含んで構成される。
【0054】
通信部51は、ネットワークNWを介して、1台以上の異音収集装置10のそれぞれとの間でデータ送受信を実行する。通信部51は、記憶装置53から出力された1以上の正常音データ、あるいは1以上の異常音データを異音収集装置10に送信する。また、通信部51は、異音収集装置10から送信された異常音データ(収音データ)をプロセッサ52に出力する。
【0055】
プロセッサ52は、例えばCPU、DSPまたはFPGAを用いて構成され、プロセッサ52の各部の動作を制御する。プロセッサ52は、記憶装置53と協働して、各種の処理および制御を統括的に行う。具体的には、プロセッサ52は、記憶装置53に保持されたプログラムおよびデータを参照し、そのプログラムを実行することにより、各部の機能を実現する。
【0056】
プロセッサ52は、異音収集装置10から送信された検査対象物の条件に基づいて、記憶装置53の正常音記憶部54および異常音記憶部55のそれぞれから検査対象物の条件に適合する1以上の正常音データおよび1以上の異常音データのそれぞれを抽出して、異音収集装置10に送信する。また、プロセッサ52は、異音収集装置10から送信された異常音データ(収音データ)を取得した場合、記憶装置53に出力して記憶させる。
【0057】
記憶装置53は、例えばプロセッサ52が行う各種の処理を実行する際に用いるワークメモリとしてのRAMと、プロセッサ52が行う各種の処理を規定したプログラムとそのプログラムの実行中に使用するデータとを格納するROMと、を少なくとも有する。RAMには、プロセッサ52により生成あるいは取得されたデータもしくは情報が一時的に保存される。ROMには、プロセッサ52が行う各種の処理を規定したプログラムとそのプログラムの実行中に使用するデータとが書き込まれている。また、記憶装置53は、正常音記憶部54と、異常音記憶部55と、を含んで構成される。
【0058】
正常音記憶部54は、異音収集装置10による正常音の機械学習に用いられる1以上の正常音データを記憶する。正常音データは、この正常音が収音された異音収集装置の識別情報、正常音に関する各種情報等が対応付けて記憶される。なお、ここでいう各種情報は、正常音が収音された収音日時情報、検査対象物に関する情報(例えば、装置の識別情報、機種情報等)、異音収集装置の設置状態に関する情報、検査対象物の稼動モードに関する情報等である。なお、各種情報は、上述した例に限定されなくてもよい。
【0059】
異常音記憶部55は、異音収集装置10による正常音の機械学習に用いられる1以上の異常音データを記憶する。異常音データは、この異常音が収音された異音収集装置10の識別情報、異常音に関する各種情報等が対応付けて記憶される。なお、ここでいう各種情報は、異常音が収音された収音日時情報、検査対象物に関する情報(例えば、装置の識別情報、機種情報等)、収音装置の識別情報、拠点情報、異音収集装置の設置状態に関する情報、検査対象物の稼動モードに関する情報等である。なお、各種情報は、上述した例に限定されなくてもよい。
【0060】
次に、
図3を参照して、音質改善処理1における異音収集装置10の動作手順例について説明する。
図3は、音質改善処理1における異音収集装置10の動作手順例を示すフローチャートである。
【0061】
異音収集装置10における収音装置30は、入力デバイス32への作業者の操作、あるいは事前に設定された検査日時に基づいて、1以上の検査対象物の稼動音を収音する(St11)。収音装置30は、収音された音を音声信号に変換して、プロセッサ13の音声処理部14に出力する。
【0062】
入力デバイス32は、作業者による検査対象物の条件の指定操作を受け付ける(St12)。入力デバイス32は、作業者により入力された検査対象物の条件に対応する信号を生成して、プロセッサ13に出力する。なお、異音収集装置10は、事前に検査対象物の条件が設定されている場合、ステップSt12の処理を省略してよい。
【0063】
プロセッサ13は、入力デバイスに入力された検査対象物の条件に基づいて、この条件に合った1以上の正常音データを要求する制御指令を生成して、ネットワークNWを介してクラウドサーバ50に送信する。クラウドサーバ50は、異音収集装置10から送信された制御指令に基づいて、検査対象物の条件に適合する1以上の正常音データを抽出する。クラウドサーバ50は、抽出された1以上の正常音データを、ネットワークNWを介して異音収集装置10に送信する。プロセッサ13は、クラウドサーバ50から送信された1以上の正常音データを取得して、読み込む(St13)。
【0064】
プロセッサ13の異常音判定部18は、ステップSt13で読み込まれた正常音データと、音声処理部14により変換されて出力された収音データとの間の距離(例えば、
図4に示す距離D0)を算出する(St14)。異常音判定部18は、算出された距離が第1閾値以上であるか否かを判定する(St15)。第1閾値とは、ユーザによって予め定められた収音データが異常音データとされる最小の距離の値である。
【0065】
異常音判定部18は、ステップSt15の処理において、算出された距離が第1閾値以上であると判定した場合(St15,YES)、収音データを正常音であると判定する(St16)。表示制御部16は、異常音判定部18により検査対象物の稼動音が正常音であると判定された場合、収音された検査対象物の稼動音が異常音である旨を通知する判定結果画面(不図示)を生成して、I/F12を介して表示装置31に出力させる(St18)。なお、ステップSt18の処理は省略されてもよい。
【0066】
一方、異常音判定部18は、ステップSt15の処理において、算出された距離が第1閾値以上でないと判定した場合(St15,NO)、検査対象物の稼動音が正常音であると判定する(St17)。表示制御部16は、異常音判定部18により検査対象物の稼動音が正常音であると判定された場合、収音された検査対象物の稼動音が正常音である旨を通知する判定結果画面(不図示)を生成して、I/F12を介して表示装置31に出力させる(St27)。なお、ステップSt27の処理は省略されてもよい。
【0067】
プロセッサ13は、入力デバイス32に入力された検査対象物の条件に基づいて、この条件に適合する1以上の異常音データを要求する制御指令を生成して、ネットワークNWを介してクラウドサーバ50に送信する。検査対象物の条件とは、例えば、検査対象物の稼動モード(
図7参照)などである。クラウドサーバ50は、異音収集装置10から送信された制御指令に基づいて、検査対象物の条件に適合する1以上の異常音データを抽出する。クラウドサーバ50は、抽出された1以上の異常音データを、ネットワークNWを介して異音収集装置10に送信する。プロセッサ13は、クラウドサーバ50から送信された1以上の異常音データを取得して、読み込む(St19)。
【0068】
異常音記憶判定部20は、ステップSt19で読み込まれた異常音記憶部55に記憶されている1以上の異常音データの特徴量と、収音データの特徴量との間の距離のうち最小異常音距離(例えば、
図5に示す距離ASD1)を算出する(St20)。異常音記憶判定部20は、算出された最小異常音距離が第2閾値以上であるか否かを判定する(St21)。第2閾値とは、ユーザによって予め定められた収音データが異常音記憶部55に記憶されていない異常音データとされる最小の距離の値である。なお、異常音記憶判定部20は、複数の距離を算出した後、算出された複数の距離のうち距離が最小である最小異常音距離を選定してもよいことは言うまでもない。
【0069】
異常音記憶判定部20は、ステップSt21の処理において、算出された最小異常音距離が第2閾値以上であると判定した場合(St21,YES)、収音データがクラウドサーバ50に記憶済みの異常音データでないと判定する。また、SN判定部19は、収音データのSN比が所定値以上であるか否かを判定する(St22)。
【0070】
一方、異常音記憶判定部20は、ステップSt21の処理において、算出された最小異常音距離が第2閾値以上でないと判定した場合(St21,NO)、収音データがクラウドサーバ50に記憶済みの異常音データと同一あるいは類似する異常音データであり、クラウドサーバ50に記憶しないと判定する(St23)。
【0071】
SN判定部19は、ステップSt22の処理において、収音データのSN比が所定値以上であると判定した場合(St22,YES)、収音データが機械学習に適した異常音データであると判定する。ここで、所定値とは、ユーザによって予め定められたSN比に係る値である。プロセッサ13は、収音データと、異音収集装置10を識別可能な識別情報と、この収音データに関する各種情報とを対応付けて、クラウドサーバ50に送信して、異常音記憶部55に記憶させるとともに(St26)、収音データと、異音収集装置10を識別可能な識別情報と、この収音データに関する各種情報とを対応付けて、メモリ21に記憶する。
【0072】
一方、SN判定部19は、ステップSt22の処理において、収音データのSN比が所定値以上でないと判定した場合(St22,NO)、収音データが異音検知処理に用いられる機械学習に適した異常音データでないと判定する(St24)。ステップSt24の処理で、SN判定部19が、収音データが異音検知処理に用いられる機械学習に適した異常音データでないと判定した場合、音質改善部33は音質を改善する処理を実行する(St25)。ステップSt25の処理は、
図9、
図11および
図13で詳述する。
【0073】
音質改善部33は、ステップSt25の処理が終了すると収音データと、異音収集装置10を識別可能な識別情報と、この収音データに関する各種情報とを対応付けて、クラウドサーバ50に送信して、異常音記憶部55に記憶させる(St26)。また、音質改善部33は、収音データと、異音収集装置10を識別可能な識別情報と、この収音データに関する各種情報とを対応付けて、メモリ21に記憶する。なお、音質改善部33はステップSt25の処理で取得した収音データをプロセッサ13に送信し、ステップSt26の処理をプロセッサ13が実行してもよい。
【0074】
表示制御部16は、ステップSt21の処理において、異常音記憶判定部20により最小異常音距離が第2閾値以上であると判定された場合(St21,YES)、収音された稼動音がクラウドサーバ50に記憶済みの異常音データである旨を通知する判定結果画面(不図示)を生成して、表示装置31に出力して表示させる(St27)。
【0075】
また、表示制御部16は、クラウドサーバ50に収音データを送信し、記憶させた後、クラウドサーバ50への収音データの記憶処理の完了を通知する完了通知(不図示)を生成して、表示装置31に出力させる(St26)。
【0076】
プロセッサ13は、予め作業者によって定められた時間または作業回数等を基に自動で検査対象物の稼動音の収音を継続するか否かを判定する(St28)。
【0077】
なお、入力デバイス32は、検査対象物の稼動音の収音を継続するか否かの作業者の操作を受け付けてもよい。ここで、表示制御部16は、検査対象物の稼動音の収音を継続するか否かを選択させる選択画面(不図示)を生成し、表示装置31に出力して表示させてよい。入力デバイス32は、受け付けられた作業者の操作を対応する信号に変換して、プロセッサ13に出力する。プロセッサ13は、入力デバイス32から出力された信号に基づいて、検査対象物の稼動音の収音を継続するか否かを判定する(St28)。
【0078】
プロセッサ13は、ステップSt27の処理において、検査対象物の稼動音の収音を継続すると判定した場合(St28,YES)、ステップSt11の処理に戻る。一方、プロセッサ13は、ステップSt27の処理において、検査対象物の稼動音の収音を継続しないと判定した場合(St28,NO)、
図3に示す動作手順を終了する。
【0079】
また、上述した動作手順のうちステップSt13~ステップSt24の処理は、クラウドサーバ50、あるいは、ネットワークNWを介して異音収集装置10とデータ通信可能に接続された他のサーバ(不図示)により実行されてもよい。このような場合、異音収集装置10は、収集された検査対象物の稼動音の収音データと、作業者の操作により指定された検査対象物の条件とを対応付けて、クラウドサーバ50あるいは他のサーバに送信する。クラウドサーバ50あるいは他のサーバは、ステップSt13~ステップSt24の処理を実行した後、異音収集装置10に判定結果の情報を送信する。
【0080】
また、上述した動作手順のうちステップSt14の処理で算出される距離が絶対値距離で算出される場合、ステップSt15の処理で判定結果に基づく処理手順は、逆であってもよい。具体的に、このような場合、異常音判定部18は、ステップSt15の処理において、算出された距離(絶対値距離)が第1閾値以上であると判定した場合(St15,YES)、収音データが正常音であると判定してよい(St17)。また、異常音判定部18は、ステップSt15の処理において、算出された距離(絶対値距離)が第1閾値以上でないと判定した場合(St15,NO)、収音データが異常音であると判定してよい(St16)。
【0081】
同様に、ステップSt20の処理で算出される最小異常音距離が絶対値距離で算出される場合、ステップSt21の処理で判定結果に基づく処理手順は、逆であってもよい。具体的に、異常音記憶判定部20は、ステップSt21の処理において、算出された最小異常音距離(絶対値距離)が第2閾値以上であると判定した場合(St21,YES)、収音された検査対象物の稼動音がクラウドサーバ50に記憶済みの異常音データであり、クラウドサーバ50に記憶しないと判定してよい(St23)。また、異常音記憶判定部20は、ステップSt21の処理において、算出された最小異常音距離(絶対値距離)が第2閾値以上でないと判定した場合(St21,NO)、収音された検査対象物の稼動音がクラウドサーバ50に記憶済みの異常音データでないと判定する。また、SN判定部19は、収音データのSN比が所定値以上であるか否かを判定する(St22)。
【0082】
以上により、異音収集装置10は、収音された収音データが異常音であって、かつ、クラウドサーバ50に記憶済みでないと判定された異常音データのみをクラウドサーバ50に記憶させることができる。したがって、異音収集装置10は、類似しない異常音データを記憶することで、機械学習に用いられる異常音データの偏りを効果的に抑制し、機械学習に適した異常音データをより効率的に収集できる。
【0083】
図4を参照して、収音データRSと正常音データ群NSとの間の距離D0の算出処理について説明する。
図4は、収音データRSと正常音データ群NSとの間の距離D0の一例を説明する図である。
【0084】
なお、
図4に示すグラフは、一例としてマハラノビス距離に基づく、収音データRSと正常音データ群NSとの間の距離D0の算出例を示す。また、
図4に示すグラフでは、一例として2軸(音圧,周波数)に基づく2次元空間における収音データRSと正常音データ群NSとの間の距離D0の算出例を示すが、距離D0の算出に用いられる軸数(特徴量)は、3軸以上であってもよいことは言うまでもない。
【0085】
正常音データ群NSは、クラウドサーバ50から送信された1以上の正常音データのそれぞれである。なお、
図4では、1以上の正常音データのそれぞれが各正常音データ群NSに分布する例を示すが、収音データRSと各正常音データとの間の距離をそれぞれ算出してもよいことは言うまでもない。
【0086】
図4に示すグラフにおける第1軸は、音の第1の特徴量として音圧の特徴量を示す。第2軸は、音の第2の特徴量として周波数の特徴量を示す。
【0087】
異常音判定部18は、収音データRSおよび正常音データ群NSの各特徴量のそれぞれ(
図4に示す例では音圧、周波数)を解析する。異常音判定部18は、解析結果に基づいて、収音データRSと正常音データ群NSとの間の距離D0を算出する。異常音判定部18は、算出された距離D0(第2スコアの一例)が第1閾値以上であるか否かに基づいて、収音データRSが異常音であるか否かを判定する。
【0088】
図5を参照して、収音データRSと複数の異常音データAS1,AS2,AS3との間の最小異常音距離の算出処理について説明する。
図5は、収音データRSと複数の異常音データAS1~AS3との間の最小異常音距離の一例を説明する図である。
【0089】
なお、
図5に示すグラフは、一例としてマハラノビス距離に基づく、収音データRSと複数の異常音データAS1~AS3との間のそれぞれの距離ASD1~ASD3の算出例を示す。また、
図5に示すグラフでは、一例として2軸(音圧,周波数)に基づく2次元空間における収音データRSと複数の異常音データAS1~AS3との間のそれぞれの距離ASD1~ASD3の算出例を示すが、距離ASD1~ASD3の算出に用いられる軸数(特徴量)は、3軸以上であってもよいことは言うまでもない。
【0090】
図5に示すグラフにおける第1軸は、音の第1の特徴量として音圧の特徴量を示す。第2軸は、音の第2の特徴量として周波数の特徴量を示す。
【0091】
異常音記憶判定部20は、収音データRSおよび複数の異常音データAS1~AS3のそれぞれの各特徴量のそれぞれ(
図5に示す例では音圧、周波数)を解析する。異常音記憶判定部20は、解析結果に基づいて、収音データRSと複数の異常音データAS1~AS3との間のそれぞれの距離ASD1~ASD3を算出する。異常音記憶判定部20は、算出された距離ASD1~ASD3のそれぞれのうち距離が最小となる最小異常音距離を選定する。
図5に示す例において、最小異常音距離は、距離ASD1となる。異常音記憶判定部20は、選定された距離ASD1が第2閾値以上であるか否かに基づいて、収音データRSが複数の異常音データAS1~AS3と類似する異常音データ(つまり、クラウドサーバ50に記憶済みである異常音データ)であるか否かを判定する。
【0092】
次に、
図6を参照して、異常音データ画面Sc4例について説明する。
図6は、異常音データ画面Sc4例を説明する図である。なお、
図6に示す異常音データ画面Sc4は、1つの拠点に複数のマイク(収音装置30の一例)が設置されている場合に生成される異常音データ画面例であって、これに限定されない。
【0093】
このような場合、マイク(収音装置30)は、1つの異音収集装置10に対して2台以上備えられていてもよい。また、マイク(収音装置30)は、異音収集装置10との間でデータ送受信可能に接続された外部装置であってよい。1つの異音収集装置10は、2台以上のマイク(収音装置30)が接続可能であってもよい。
【0094】
異常音データ画面Sc4は、表示制御部16により、プロセッサ13の異常音判定部18および異常音記憶判定部20のそれぞれの判定結果に基づいて生成される。具体的に、プロセッサ13の異常音判定部18および異常音記憶判定部20のそれぞれの判定結果は、メモリ21に蓄積して記憶される。表示制御部16は、メモリ21に蓄積して記憶された1以上の判定結果のうち異常音と判定された1以上の収音データの判定結果を抽出する。表示制御部16は、抽出された収音データに対応付けられた各種情報に基づいて、異常音データ画面Sc4を生成し、表示装置31に出力して表示させる。
【0095】
異常音データ画面Sc4は、検査対象物の稼動音の収音を開始したタイミングを示す開始日時情報If1と、異常音と判定された収音データを示す異常音情報If11,If1nのそれぞれとを含む。
図6に示す開始日時情報If1は、「XX年YY月ZZ日xx時yy分zz秒」である。また、
図6に示す異常音情報If11は、異音番号「異音1」と、異常音が収音された収音日時情報「A1年B1月C1日D1時E1分F1秒~G1年H1月I1日J1時K1分L1秒」と、収音装置30の識別情報「マイク1」とを含む。異常音情報If12は、異音番号「異音n」と、異常音が収音された収音日時情報「An年Bn月Cn日Dn時En分Fn秒~ Gn年Hn月In日Jn時Kn分Ln秒」と、収音装置30の識別情報「マイク2」とを含む。
【0096】
次に、
図7を参照して、クラウドサーバ50の異常音記憶部55に記憶された異常音データテーブルTB1について説明する。
図7は、異常音記憶部55に記憶された異常音データテーブルTB1の一例を示す図である。なお、
図7に示す異常音データテーブルTB1の項目は一例であって、これに限定されない。
【0097】
異常音記憶部55は、1台以上の異音収集装置10から送信された異常音データのそれぞれと、異常音データに対応付けられた各種情報とを含む異常音データテーブルTB1を記憶する。
図8に示す異常音データテーブルTB1は、一例として、項目「検査対象物」、項目「マイクID」と、項目「収音日時」と、項目「明瞭化モード」と、項目「SN改善回数」と、項目「設置状態」と、項目「稼動モード」と、異常音データの波形データとを含む。
【0098】
ここで、プロセッサ52は、異音収集装置10から検査対象物の条件が送信された場合、各項目の情報と、検査対象物の条件とを照合する。プロセッサ52は、検査対象物の条件に合った、各項目の情報が対応付けられた1以上の異常音データを抽出して、クラウドサーバ50に送信する。
【0099】
項目「検査対象物」は、異常音が収音された検査対象物に関する情報を示す。項目「検査対象物」は、例えば検査対象物を識別可能な識別情報、検査対象物の機器名、機種名等の情報であってもよい。
【0100】
項目「マイクID」は、異常音が収音された収音装置30(マイク)に関する情報を示す。項目「マイクID」は、例えば収音装置30を識別可能な識別情報、収音装置30の機器名、機種名等の情報であってもよい。なお、項目「マイクID」は、収音装置30が備えられた異音収集装置10の識別情報、機器名、機種名等の情報であってもよい。
【0101】
項目「収音日時」は、異常音が収音された収音日時情報を示す。
【0102】
項目「明瞭化モード」は、
図3のステップSt25の処理で音質改善部33が収音データの音質の改善処理(以下、音質改善処理と称する)を実行する際に用いたモードである。例えば、項目「明瞭化モード」が「指向性」の場合、音質改善部33が収音データに特定の方向(例えば稼動音の発生する方向)の音を強調可能な指向性を付与(形成)することで音質を改善したことを示す。項目「明瞭化モード」が「移動」の場合、音質改善部33が駆動装置35を制御して異音収集装置10が稼動音の発生源により近づくことにより音質を改善したことを示す。項目「明瞭化モード」が「アーム」の場合、音質改善部33が伸縮アーム34を制御して収音装置30が稼動音の発生源により近づけることにより音質を改善したことを示す。
【0103】
項目「SN改善回数」は、
図3のステップSt25の処理で音質改善部33が音質改善処理を実行した回数を示す。項目「SN改善回数」で0の場合、
図3のステップSt22の処理で収音データのSN比が所定値以上となったことを示す。
【0104】
項目「設置状態」は、異常音を収音した時の収音装置30(マイク)、あるいは収音装置30を備える異音収集装置10の設置状態を示す。例えば、項目「設置状態」において「壁」は、異音収集装置10が壁に設置された状態で異常音を収音したことを示す。項目「設置状態」において「地面」は、異音収集装置10が地面の上に設置された状態で異常音データを収音したことを示す。項目「設置状態」において「宙づり」は、異音収集装置10が天井、壁等から吊るされた状態で異常音データを収音したことを示す。
【0105】
項目「稼動モード」は、検査対象物の稼動状態に関する情報を示す。例えば、エアー・コンディショナーの場合の稼動モードは、起動時に突入電流が発生して稼動状態が最大となり、設定温度まで冷房または暖房している時に最大となり、設定温度まで冷房または暖房した後に最小となる。ここで、稼動モードは、作業者による手入力操作により取得されてもよい。また、稼動モードは、検査対象物がIoT(Internet of Things)適用装置であって、異音収集装置10あるいはクラウドサーバ50との間でデータ通信可能に接続されている場合には、収音日時における検査対象物の稼動モードを参照することで取得されてもよい。
【0106】
項目「異常音データ」は、異常音と判定された収音データの信号波形データを示す。なお、
図8に示す項目「異常音データ」は、収音データの信号波形データのみの例を示すが、異常音と判定された収音データの周波数波形データであってもよいし、異常音と判定された収音データの信号波形データと周波数波形データとが対応付けられて示されてもよい。
【0107】
図7に示す異常音データテーブルTB1は、4つの異常音データSW1~SW4のそれぞれを記憶する。
【0108】
異常音データSW1は、稼動モード「最小」状態における検査対象物「001」の稼動音が、「壁」に設置されたマイクID「001」を備える異音収集装置により収音日時「2021/03/15 17:00」に収音され、明瞭化モードが「指向性」で「1回」SN改善処理が行われた異常音データである。
【0109】
異常音データSW2は、稼動モード「最大」状態における検査対象物「001」の稼動音が、「地面」に設置されたマイクID「001」を備える異音収集装置により収音日時「2021/03/14 13:00」に収音され、明瞭化モードが「移動」で「3回」SN改善処理が行われた異常音データである。
【0110】
異常音データSW3は、稼動モード「中」状態における検査対象物「001」の稼動音が、「宙づり」に設置されたマイクID「003」を備える異音収集装置により収音日時「2021/03/11 14:00」に収音され、明瞭化モードが「アーム」で「2回」SN改善処理が行われた異常音データである。
【0111】
異常音データSW4は、稼動モード「最小」状態における検査対象物「002」の稼動音が、「壁」に設置されたマイクID「001」を備える異音収集装置により収音日時「2021/03/10 12:00」に収音され、明瞭化モードが「指向性」で、1回もSN改善処理が行われなかった異常音データである。
【0112】
<音質改善処理1>
音質改善処理1では、収音した異常音データのSN比が所定の値に満たなかった場合に、音質改善部33の指向性制御部331が収音データに特定の方向(例えば稼動音の発生する方向)の音を強調可能な指向性を付与(形成)することで音質を改善する。
【0113】
図8を参照して、音質改善処理1に係る異音収集装置の動作の一例を説明する。
図8は、音質改善処理1に係る異音収集装置の動作の一例を示す図である。
【0114】
ケースCAは、音声処理部14が検査対象物80の稼動音に、指向性を付与せずに(つまり音質改善処理は未実施)解析した場合の概念図である。つまり、ケースCAは、収音装置30が検査対象物80の稼動音を最初に収音した場面を表す。音声処理部14は、収音データを全方向に均等に指向性を設けて(つまり、無指向で)解析する。ケースCAでは、稼動音の発生方向が方向70である。収音データの方向70の音圧は、方向70以外の方向の音圧に比べて相対的に音圧が大きい。
【0115】
ケースCBは、音声処理部14が検査対象物80の稼動音に、指向性を付与して(つまり音質改善処理を実施)解析した場合の概念図である。つまり、ケースCBは、
図3のステップSt22の処理で、収音データのSN比が所定値未満であり、ステップSt25の音質改善処理を実行した場面を表す。異常音方向特定部22は、稼動音の発生している方向を方向71と特定する。指向性制御部331は、方向71に指向性を付与する。音声処理部14は、指向性制御部331によって付与された指向性を基に、方向71の稼動音の音圧を多方向の音圧に比べて相対的に強調して収音データの処理をする。
【0116】
実施の形態1では、音声処理部14が収音データを処理する際に強調する方向(特定の方向を強調しない場合はマイクの収音する全方向)のことを収音領域と定義する。
【0117】
次に、
図9を参照して、音質改善処理1に係る異音収集装置の音質改善処理の動作手順を説明する。
図9は、音質改善処理1に係る異音収集装置の音質改善処理の動作手順例を示すフローチャートである。
図9のフローチャートに係る各処理は、異音収集装置10によって実行される。
【0118】
図3のステップSt22の処理で収音データのSN比が所定値未満となった場合に、異音収集装置10は、音声改善処理を開始する。
【0119】
異常音方向特定部22は、異常音の方向を特定する(St30)。例えば、
図8の例で言うと、異常音方向特定部22は、ケースCAで取得した収音データを、MUSIC法等を用いて解析し、検査対象物80の発する稼動音の方向を特定する。
【0120】
指向性制御部331は、ステップSt30の処理で特定された異常音の方向を基に指向性を付与する範囲および方向を算出する。指向性制御部331は、算出された指向性に係る情報を音声処理部14に送信する。音声処理部14は、指向性制御部331から取得した指向性に係る情報を基に、指向性を付与して収音データを解析する(St31)。音声処理部14は、ステップSt31の処理で解析した異常音データの結果をSN判定部19に送信する。
【0121】
SN判定部19は、音声処理部14から取得した異常音データのSN比が第1所定値以上であるか否かを判定する(St32)。
【0122】
SN判定部19は、音声処理部14から取得した異常音データのSN比が第1所定値以上であると判定した場合(St32,YES)、異音収集装置10は音声改善処理を終了する。
【0123】
SN判定部19は、異常音データのSN比が第1所定値未満であると判定した場合(St32,NO)、指向性制御部331に指向性を形成した回数が第1所定値に達したか否かを判定させる信号を送信する。指向性制御部331は、指向性を形成した回数が所定数に達したか否かを判定する(St33)。なお、指向性制御部331は、指向性を付与した量が下限値に達したか否かで判定してもよい。
【0124】
SN判定部19は、指向性を形成した回数が所定数に達していないと判定した場合(St33,NO)、異音収集装置10の処理はステップSt31の処理を再び実行する。
【0125】
SN判定部19は、指向性を形成した回数が所定数に達したと判定した場合(St33,YES)、音質改善処理を終了する。
【0126】
なお、ステップSt42の処理で指向性制御部331が指向性を変化させながら収音装置30は稼動音を収音し、SN判定部19は異常音データのSN比を判定し、最もSN比がよくなる位置で音質改善処理を終了してもよい。
【0127】
<音質改善処理2>
音質改善処理2では、収音した異常音データのSN比が所定の値に満たなかった場合に、音質改善部33は、異音収集装置10の駆動装置35を制御して異音収集装置10が稼動音の発生源により近づくことにより音質を改善する。
【0128】
図10を参照して、音質改善処理2に係る異音収集装置の動作の一例を説明する。
図10は、音質改善処理2に係る異音収集装置の動作の一例を示す図である。
【0129】
ケースCCは、
図3のステップSt21の処理で最小異常音距離が第2閾値以上となり検査対象物80の異常音を検知したが、異音収集装置10が検査対象物80から離れており取得した異常音データのSN比が悪かった場合を示す。
【0130】
ケースCDは、ケースCAで異常音データのSN比が悪かったため、移動制御部333が駆動装置35を制御して異音収集装置10を検査対象物80に近づけた場合を示す。異音収集装置10が検査対象物80に近づいたことで、収音装置30は、検査対象物80の稼動音をより効率的に収集することができる。
【0131】
音質改善処理2では、収音装置30が検査対象物80の稼動音を収音することが可能な領域を収音領域と定義する。
【0132】
次に、
図11を参照して、音質改善処理2に係る異音収集装置の音質改善処理の動作手順例を説明する。
図11は、音質改善処理2に係る異音収集装置の音質改善処理の動作手順例を示すフローチャートである。
図11に係るフローチャートの各処理は、異音収集装置10によって実行される。
【0133】
図3のステップSt22の処理で収音データのSN比が所定値未満となった場合に、異音収集装置10は、音声改善処理を開始する。
【0134】
異常音方向特定部22は、異常音の方向を特定する(St41)。
【0135】
移動制御部333は、ステップSt41の処理で特定された異常音の方向に異音収集装置10を移動させるよう駆動装置35を制御する(St42)。例えば、移動制御部333は、予め決められた距離(例えば、10cmなど)、異音収集装置10を移動させる。異音収集装置10に周囲を撮像可能なカメラが搭載されている場合、移動制御部333は、撮像画像の解析結果から自動で異音収集装置10を移動させる距離を決定してもよい。移動制御部333は、メモリ21に保存されている、異音収集装置10が設置された場所の地図または装置の配置図を基に、自動で異音収集装置10を移動させる距離を決定してもよい。
【0136】
収音装置30は、ステップSt42の処理で移動した異音収集装置10の位置で再び検査対象物80の稼動音を収音する。収音装置30は、収音データを音声処理部14に送信する。音声処理部14は、収音装置30から取得した収音データを処理し異常音データとしてSN判定部19に送信する。SN判定部19は、音声処理部14から取得した異常音データのSN比が第1所定値以上であるか否かを判定する(St43)。
【0137】
SN判定部19は、異常音データのSN比が第1所定値以上であると判定した場合(St43,YES)、音声改善処理を終了する。
【0138】
SN判定部19は、異常音データのSN比が第1所定値未満であると判定した場合(St43,NO)、移動制御部333に検査対象物80(つまり異常音の音源)との距離が第2所定値に達したか判定させる。
【0139】
移動制御部333は、検査対象物80との距離が第2所定値に達したかを判定する(St44)。移動制御部333は、メモリ21に保存されている、異音収集装置10が設置された場所の地図または装置の配置図と異音収集装置10を動かした距離とから、検査対象物80との距離を算出してもよい。異音収集装置10が測距センサを有している場合は、移動制御部333は、測距センサを用いて検査対象物80との距離を算出してもよい。移動制御部333は、算出された距離が第2所定値に達したかを判定してよい。
【0140】
移動制御部333は、検査対象物80との距離が第2所定値に達していないと判定した場合、再びステップSt42の処理を実行する。
【0141】
移動制御部333は、検査対象物80との距離が第2所定値に達したと判定した場合、音質改善処理を終了する。
【0142】
なお、ステップSt42の処理で移動制御部333が異音収集装置10を移動させながら収音装置30は稼動音を収音し、SN判定部19は異常音データのSN比を判定し、最もSN比がよくなる位置で音質改善処理を終了してもよい。
【0143】
<音質改善処理3>
音質改善処理3では、収音した異常音データのSN比が所定の値に満たなかった場合に、異音収集装置10の伸縮アーム34を制御して収音装置30が稼動音の発生源により近づけることにより音質を改善する。
【0144】
図12を参照して、音質改善処理3に係る異音収集装置の動作の一例を説明する。
図12は、音質改善処理3に係る異音収集装置の動作の一例を示す図である。
【0145】
ケースCEは、
図3のステップSt21の処理で最小異常音距離が第2閾値以上となり検査対象物80の異常音を検知したが、異音収集装置10が検査対象物80から離れており取得した異常音データのSN比が悪かった場合を示す。
【0146】
ケースCFは、ケースCAで異常音データのSN比が悪かったため、収音アーム制御部332が伸縮アーム34を制御して収音装置30を検査対象物80に近づけた場合を示す。収音装置3は、検査対象物80に近づいたことで検査対象物80の稼動音をより効率的に収集することができる。
【0147】
音質改善処理3では、収音装置30が検査対象物80の稼動音を収音することが可能な領域を収音領域と定義する。
【0148】
次に、
図13を参照して、音質改善処理3に係る異音収集装置の音質改善処理の動作手順例を説明する。
図13は、音質改善処理3に係る異音収集装置の音質改善処理の動作手順例を示すフローチャートである。
図13に係るフローチャートの各処理は、異音収集装置10によって実行される。
【0149】
図3のステップSt22の処理で収音データのSN比が所定値未満となった場合に、異音収集装置10は、音声改善処理を開始する。
【0150】
異常音方向特定部22は、異常音の方向を特定する(St51)。
【0151】
収音アーム制御部332は、ステップSt51の処理で特定された異常音の方向に伸縮アーム34を伸ばすように制御する(St52)。収音アーム制御部332は、予め決められた距離(例えば、10cmなど)、伸縮アーム34を伸ばす。収音アーム制御部332は、異音収集装置10に周囲を撮像可能なカメラが搭載されている場合、収音アーム制御部332は、撮像画像の解析結果から自動で伸縮アーム34を伸ばす長さを決定してもよい。収音アーム制御部332は、メモリ21に保存されている、異音収集装置10が設置された場所の地図または装置の配置図を基に、自動で伸縮アーム34を伸ばす長さを決定してもよい。
【0152】
収音装置30は、ステップSt52の処理で伸ばされた伸縮アーム34の位置で再び検査対象物80の稼動音を収音する。収音装置30は、収音データを音声処理部14に送信する。音声処理部14は、収音装置30から取得した収音データを処理し異常音データとしてSN判定部19に送信する。SN判定部19は、音声処理部14から取得した異常音データのSN比が第1所定値以上であるか否かを判定する(St53)。
【0153】
SN判定部19は、異常音データのSN比が第1所定値以上であると判定した場合(St53,YES)、音声改善処理を終了する。
【0154】
SN判定部19は、異常音データのSN比が第1所定値未満であると判定した場合(St53,NO)、収音アーム制御部332に伸縮アーム34の長さが第2所定値に達したか判定させる。
【0155】
収音アーム制御部332は、伸縮アーム34の長さが第2所定値に達したか判定する(St54)。例えば、第2所定値は30cmである。なお、上述した第2所定値の値は一例であり限定されない。
【0156】
収音アーム制御部332は、伸縮アーム34の長さが第2所定値に達していないと判定した場合、再びステップSt52の処理を実行する。
【0157】
収音アーム制御部332は、伸縮アーム34の長さが第2所定値に達したと判定した場合、音質改善処理を終了する。
【0158】
なお、ステップSt52の処理で収音アーム制御部332が伸縮アーム34の長さを制御するのと同時に収音装置30は稼動音を収音し、SN判定部19は収音された異常音データのSN比を判定し、最もSN比がよくなる位置で音質改善処理を終了してもよい。
【0159】
以上により、本実施の形態に係る異音収集装置10は、検査対象の稼動音を収音した収音データを取得する音声取得部(例えば、収音装置30)と、収音データの音質を判定する判定部(例えば、SN判定部19)と、収音データの音質が所定の値より低いと判定された場合、収音領域を変更して音質を改善する音質改善部(例えば、音質改善部33)と、を備える。
【0160】
これにより、異音収集装置10は、検査対象の異音検知した場合、その異常音データが
所定の音質に満たない場合、異常音データの音質を改善させて異音検知により適した高音質な異常音データを収集することができる。これにより、機械学習に適した音質の異常音データを収集(記憶)することができる。
【0161】
また、本実施の形態に係る異音収集装置10は、サーバ(例えば、クラウドサーバ50)に記憶された異常音データを取得する取得部(例えば、通信部11)を、さらに備える。取得された収音データと異常音データとを比較することにより収音データがサーバに記憶されていない異常音か否かを判定する異常音判定部(例えば、異常音判定部18)、をさらに備える。これにより、異音収集装置10は、既に収集(記憶)済みの機械学習用のデータと類似しない異常音データを収集(記憶)でき、機械学習に用いられる異常音データの偏りを効果的に抑制し、機械学習に適した異常音データをより効率的に収集できる。
【0162】
また、本実施の形態に係る異音収集装置10は、検査対象の稼動音の方向を特定する方向特定部(例えば、異常音方向特定部22)、をさらに備え、収音データの音質が所定の値より低いと判定された場合、方向特定部は、検査対象の稼動音の方向を特定し、音質改善部は、稼動音の方向に指向性を付与することにより収音領域を変更する。これにより、異音収集装置10は、異常音データの音質が所定値より低く機械学習に適さない音質の場合、指向性を制御して異常音データの音質を改善することができる。これにより、異音収集装置10は、機械学習に適した音質の異常音データを収集(記憶)することができる。
【0163】
また、本実施の形態に係る異音収集装置10の音声取得部は、変更された収音領域の稼動音を第2収音データとして収音する。判定部は、第2収音データの音質が所定の値以上であると判定した場合、サーバに前記第2収音データを記憶させる。これにより、異音収集装置10は、異常音データが所定の音質に満たない場合、異常音データの音質を改善させて異音検知により適した高音質な異常音データを収集することができる。これにより、機械学習に適した音質の異常音データを収集(記憶)することができる。
【0164】
また、本実施の形態に係る異音収集装置10の音声取得部は、変更された収音領域の稼動音を第2収音データとして収音する。第2収音データの音質が所定の値未満であると判定された場合、音質改善部は、再度所定量の指向性を稼動音の方向に付与し収音領域を変更する。これにより、異音収集装置10は、収音領域を変更して収音した第2収音データの音質がまだ所定値に満たない場合、再び指向性を制御して収音領域を変更し音質を改善することができる。これにより、異音収集装置10は、異常音データの音質を改善させて異音検知により適した高音質な異常音データを収集することができる。
【0165】
また、本実施の形態に係る異音収集装置10の音質改善部が、音声取得部に下限量あるいは所定回数の指向性を付与すると、判定部は、直前に収音した収音データを検査対象の異常音データとしてサーバに記憶させる。これにより、異音収集装置10は、指向性を制御し異常音データの音質を改善させて異音検知により適した高音質な異常音データを収集することができる。
【0166】
また、本実施の形態に係る異音収集装置10の音声取得部は、伸縮アーム(例えば、伸縮アーム34)、をさらに備える。音質が所定の値より低いと判定された場合、方向特定部は、検査対象の稼動音の方向を特定する。音質改善部は、稼動音の方向に伸縮アームを伸ばすことにより、収音領域を変更する。これにより、異音収集装置10は、伸縮アームを制御して検査対象に収音装置を近づけて異常音データの音質を改善させることができる。
【0167】
また、本実施の形態に係る異音収集装置10の音声取得部は、変更された収音領域の稼動音を第3収音データとして収音する。第3収音データの音質が所定の値未満であると判定された場合、音質改善部は、伸縮アームを再び所定量伸ばすことにより収音領域を変更する。これにより、異音収集装置10は、第3収音データの音質が所定の値に満たない場合、再び伸縮アームを制御して検査対象に収音装置を近づけて音質を改善することができる。これにより、異音収集装置10は、異常音データの音質を改善させて異音検知により適した高音質な異常音データを収集(記憶)することができる。
【0168】
また、本実施の形態に係る異音収集装置10の音質改善部は、上限量あるいは所定回数前記伸縮アームを伸ばす。判定部は、最後に収音した収音データを検査対象の異常音データとしてサーバに記憶させる。これにより、異音収集装置10は、伸縮アームを制御して最も音質のよい異常音データを収集(記憶)することができる。
【0169】
また、本実施の形態に係る異音収集装置10は、異音収集装置10を移動可能とする可動部(例えば、駆動装置35)、をさらに備える。音質が所定の値より低いと判定された場合は、方向特定部は、検査対象の前記稼動音の方向を特定し、音質改善部は、可動部を可動させることにより収音領域を変更する。これにより、異音収集装置10は、異常音データの音質が所定の値に満たない場合、可動部を制御して検査対象に異音収集装置10を近づけて異常音を収音することができる。これにより、異音収集装置10は、異常音データの音質を改善させて異音検知により適した高音質な異常音データを収集(記憶)することができる。
【0170】
また、本実施の形態に係る異音収集装置10の音声取得部は、変更された収音領域の稼動音を第4収音データとして収音する。第4収音データの音質が所定の値未満であると判定された場合、音質改善部は、可動部を再び所定量可動させることにより収音領域を変更する。これにより、異音収集装置10は、第4収音データの音質が所定の値に満たない場合、再び異音収集装置10を検査対象に近づけて異常音データの音質を改善することができる。これにより、異音収集装置10は、異常音データの音質を改善させて異音検知により適した高音質な異常音データを収集(記憶)することができる。
【0171】
また、本実施の形態に係る異音収集装置10の音質改善部は、上限量あるいは所定回数可動部を可動させる。判定部は、直前に収音した収音データを前記検査対象の異常音データとして前記サーバに記憶させる。これにより、異音収集装置10は、検査対象に近づき最も音質のよい異常音データを収集(記憶)することができる。
【0172】
以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。
【産業上の利用可能性】
【0173】
本開示の技術は、異音検知により適した高音質な異常音データを収集する異音収集装置および異音収集方法として有用である。
【符号の説明】
【0174】
10 異音収集装置
11,51 通信部
12 I/F
13,52 プロセッサ
14 音声処理部
15 入力処理部
16 表示制御部
17 正常音学習部
18 異常音判定部
19 SN判定部
20 異常音記憶判定部
21 メモリ
22 異常音方向特定部
30 収音装置
31 表示装置
32 入力デバイス
33 音質改善部
34 伸縮アーム
35 駆動装置
50 クラウドサーバ
53 記憶装置
54 正常音記憶部
55 異常音記憶部
70,71 方向
80,101,102,103 検査対象物
331 指向性制御部
332 収音アーム制御部
333 移動制御部
1000 異音収集システム
NW ネットワーク
Sc4 異常音データ画面
CA,CB,CC,CD,CE,CF ケース