特許 7142530 情報処理システム、情報処理方法、およびプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-09-15

(45)【発行日】2022-09-27

(54)【発明の名称】情報処理システム、情報処理方法、およびプログラム

(51)【国際特許分類】

   G01H 3/00 20060101AFI20220916BHJP

   G01M 99/00 20110101ALI20220916BHJP

   G06N 20/00 20190101ALI20220916BHJP

【ＦＩ】

G01H3/00 A

G01M99/00 Z

G06N20/00 130

【請求項の数】 15

(21)【出願番号】P 2018193142

(22)【出願日】2018-10-12

(65)【公開番号】P2020060503

(43)【公開日】2020-04-16

【審査請求日】2021-08-20

(73)【特許権者】

【識別番号】000141015

【氏名又は名称】株式会社かんでんエンジニアリング

(74)【代理人】

【識別番号】110001195

【氏名又は名称】弁理士法人深見特許事務所

(72)【発明者】

【氏名】森口 正浩

(72)【発明者】

【氏名】竹内 拓也

【審査官】岡村 典子

(56)【参考文献】

【文献】特開２００７－３２７８８５（ＪＰ，Ａ）

【文献】特開２００８－０４０６８３（ＪＰ，Ａ）

【文献】特開２００６－１８９３３４（ＪＰ，Ａ）

【文献】特開２００２－０９０２６７（ＪＰ，Ａ）

【文献】特開平０８－２７８１９１（ＪＰ，Ａ）

【文献】特開２００９－０２５０１５（ＪＰ，Ａ）

【文献】米国特許出願公開第２００９／０２４０６４１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｈ １／００－１７／００

Ｇ０１Ｍ １３／００－１３／０４５、９９／００

Ｇ０６Ｎ ３／００－３／１２

Ｇ０６Ｎ ７／０８－９９／００

(57)【特許請求の範囲】

【請求項1】

情報処理システムであって、
第１の設備から発せられる音を集音する第１の集音装置と、
前記第１の設備用の第１のモデルを用いて、前記第１の設備から発せられる音が正常音であるか否かを判定する第１の判定手段と、
前記第１の集音装置によって集音された音を、第１の音データとして記憶装置に記憶させるとともに前記判定に用いる第２の音データとして処理するデータ処理手段とを備え、
前記データ処理手段は、前記第２の音データを単位時間毎の第１の単位データに区切り、
前記第１の判定手段は、前記第１のモデルを用いて、各前記第１の単位データが正常音データであるか否かを判定し、
前記情報処理システムは、
前記第１の単位データが前記第１のモデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第１の音データのうち、正常音データと判定されなかった前記第１の単位データに対応する部分をスピーカから出力させる再生手段と、
正常音データであることを示す第１のラベルと異常音データであることを示す第２のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するラベル付与手段と、
前記第１の単位データが前記第１のモデルによって正常音データと判定されなかった場合に、前記第１のラベルが付与された前記部分を用いて生成された第２のモデルを用いて、前記第１の単位データが正常音データであるか否かを判定する第２の判定手段とをさらに備え、
前記再生手段は、前記第１の単位データが前記第２のモデルによって正常音データと判定されなかったことを条件に、前記記憶装置に記憶された前記第１の音データのうち、正常音データと判定されなかった前記第１の単位データに対応する部分を、前記スピーカから出力させる、情報処理システム。

【請求項2】

情報処理システムであって、
第１の設備から発せられる音を集音する第１の集音装置と、
前記第１の設備用の第１のモデルを用いて、前記第１の設備から発せられる音が正常音であるか否かを判定する第１の判定手段と、
前記第１の集音装置によって集音された音を、第１の音データとして記憶装置に記憶させるとともに前記判定に用いる第２の音データとして処理するデータ処理手段とを備え、
前記データ処理手段は、前記第２の音データを単位時間毎の第１の単位データに区切り、
前記第１の判定手段は、前記第１のモデルを用いて、各前記第１の単位データが正常音データであるか否かを判定し、
前記情報処理システムは、
前記第１の単位データが前記第１のモデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第１の音データのうち、正常音データと判定されなかった前記第１の単位データに対応する部分をスピーカから出力させる再生手段と、
正常音データであることを示す第１のラベルと異常音データであることを示す第２のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するラベル付与手段と、
前記第１のラベルが付与された前記部分を用いて、前記第１のモデルを更新する更新手段とをさらに備える、情報処理システム。

【請求項3】

情報処理システムであって、
第１の設備から発せられる音を集音する第１の集音装置と、
前記第１の設備用の第１のモデルを用いて、前記第１の設備から発せられる音が正常音であるか否かを判定する第１の判定手段と、
前記第１の集音装置によって集音された音を、第１の音データとして記憶装置に記憶させるとともに前記判定に用いる第２の音データとして処理するデータ処理手段とを備え、
前記データ処理手段は、前記第２の音データを単位時間毎の第１の単位データに区切り、
前記第１の判定手段は、前記第１のモデルを用いて、各前記第１の単位データが正常音データであるか否かを判定し、
前記情報処理システムは、
前記第１の単位データが前記第１のモデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第１の音データのうち、正常音データと判定されなかった前記第１の単位データに対応する部分をスピーカから出力させる再生手段と、
正常音データであることを示す第１のラベルと異常音データであることを示す第２のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するラベル付与手段とをさらに備え、
前記ラベル付与手段は、所定の単位期間において正常音データと判定されなかった前記第１の単位データが閾値以上存在する場合、当該単位期間に対応する前記部分に対して、前記ユーザ操作に応じたラベルを付与する、情報処理システム。

【請求項4】

前記第２のラベルが付与された前記部分を用いて生成された第３のモデルを用いて、前記第１の単位データが異常音データであるか否かを判定する第３の判定手段をさらに備える、請求項１から３のいずれか１項に記載の情報処理システム。

【請求項5】

前記第１の単位データが前記第１の判定手段によって正常音データと判定されなかった場合、所定の報知を行う、請求項１から４のいずれか１項に記載の情報処理システム。

【請求項6】

前記情報処理システムは、サーバ装置と、前記サーバ装置と通信可能に接続された端末装置とをさらに備え、
前記サーバ装置は、前記ラベル付与手段を含み、
前記端末装置は、
前記スピーカと、前記再生手段と、ディスプレイとを含み、
正常音データと判定されなかった前記第１の単位データに対応する部分を、前記スピーカから出力させるための操作画面を前記ディスプレイに表示し、
前記操作画面は、第１のオブジェクトを有し、
前記操作画面に対する操作によって前記第１の単位データに対応する部分が前記スピーカから出力された後に、前記第１のオブジェクトが選択されると、前記端末装置は、前記サーバ装置に対して、前記部分が正常音データであること示す第１の通知を送信し、
前記ラベル付与手段は、前記サーバ装置が前記第１の通知を受信したことを条件に、前記部分に対して、前記第１のラベルを付与する、請求項１から５のいずれか１項に記載の情報処理システム。

【請求項7】

前記操作画面は、第２のオブジェクトを有し、
前記操作画面に対する操作によって前記第１の単位データに対応する部分が前記スピーカから出力された後に、前記第２のオブジェクトが選択されると、前記端末装置は、前記サーバ装置に対して、前記部分が異常音データであること示す第２の通知を送信し、
前記ラベル付与手段は、前記サーバ装置が前記第２の通知を受信したことを条件に、前記部分に対して、前記第２のラベルを付与する、請求項６に記載の情報処理システム。

【請求項8】

前記端末装置は、正常音データと判定されなかった前記第１の単位データの波形を前記ディスプレイに表示させる、請求項６または７に記載の情報処理システム。

【請求項9】

第２の設備から発せられる音を集音する第２の集音装置をさらに備え、
前記データ処理手段は、前記第２の集音装置によって集音された音を、第３の音データとして記憶装置に記憶させるとともに第４の音データとして処理し、かつ前記第４の音データを単位時間毎の第２の単位データに区切り、
前記第１の判定手段は、前記第２の設備用の第４のモデルを用いて、各前記第２の単位データが正常音データであるか否かを判定し、
前記再生手段は、前記第２の単位データが前記第４のモデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第３の音データのうち、正常音データと判定されなかった前記第２の単位データに対応する部分をスピーカから出力させ、
前記ラベル付与手段は、前記第１のラベルと前記第２のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記第２の単位データに対応する部分に対して付与する、請求項１または２に記載の情報処理システム。

【請求項10】

情報処理方法であって、
集音装置を用いて、設備から発せられる音を集音するステップと、
前記設備用の第１のモデルを用いて、前記設備から発せられる音が正常音であるか否かを判定するステップと、
前記集音装置によって集音された音を、第１の音データとして記憶装置に記憶させるとともに前記判定に用いる第２の音データとして処理するステップとを備え、前記第２の音データとして処理するステップは、前記第２の音データを単位時間毎の単位データに区切るステップを含み、
前記情報処理方法は、
前記第１のモデルを用いて、各前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記第１のモデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第１の音データのうち、正常音データと判定されなかった前記単位データに対応する部分をスピーカから出力させるステップと、
正常音データであることを示す第１のラベルと異常音データであることを示す第２のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するステップと、
前記単位データが前記第１のモデルによって正常音データと判定されなかった場合に、前記第１のラベルが付与された前記部分を用いて生成された第２のモデルを用いて、前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記第２のモデルによって正常音データと判定されなかったことを条件に、前記記憶装置に記憶された前記第１の音データのうち、正常音データと判定されなかった前記単位データに対応する部分を、前記スピーカから出力させるステップとをさらに備える、情報処理方法。

【請求項11】

情報処理方法であって、
集音装置を用いて、設備から発せられる音を集音するステップと、
前記設備用のモデルを用いて、前記設備から発せられる音が正常音であるか否かを判定するステップと、
前記集音装置によって集音された音を、第１の音データとして記憶装置に記憶させるとともに前記判定に用いる第２の音データとして処理するステップとを備え、前記第２の音データとして処理するステップは、前記第２の音データを単位時間毎の単位データに区切るステップを含み、
前記情報処理方法は、
前記モデルを用いて、各前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記モデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第１の音データのうち、正常音データと判定されなかった前記単位データに対応する部分をスピーカから出力させるステップと、
正常音データであることを示す第１のラベルと異常音データであることを示す第２のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するステップと、
前記第１のラベルが付与された前記部分を用いて、前記モデルを更新するステップとをさらに備える、情報処理方法。

【請求項12】

情報処理方法であって、
集音装置を用いて、設備から発せられる音を集音するステップと、
前記設備用のモデルを用いて、前記設備から発せられる音が正常音であるか否かを判定するステップと、
前記集音装置によって集音された音を、第１の音データとして記憶装置に記憶させるとともに前記判定に用いる第２の音データとして処理するステップとを備え、前記第２の音データとして処理するステップは、前記第２の音データを単位時間毎の単位データに区切るステップを含み、
前記情報処理方法は、
前記モデルを用いて、各前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記モデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第１の音データのうち、正常音データと判定されなかった前記単位データに対応する部分をスピーカから出力させるステップと、
正常音データであることを示す第１のラベルと異常音データであることを示す第２のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するステップと、
所定の単位期間において正常音データと判定されなかった前記単位データが閾値以上存在する場合、当該単位期間に対応する前記部分に対して、前記ユーザ操作に応じたラベルを付与するステップとをさらに備える、情報処理方法。

【請求項13】

プログラムであって、
設備用の第１のモデルを用いて、前記設備から発せられる音が正常音であるか否かを判定するステップと、
集音装置によって集音された音を、第１の音データとして記憶装置に記憶させるとともに前記判定に用いる第２の音データとして処理するステップとを、装置のプロセッサに実行させ、
前記第２の音データとして処理するステップは、前記第２の音データを単位時間毎の単位データに区切るステップを含み、
前記プログラムは、
前記第１のモデルを用いて、各前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記第１のモデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第１の音データのうち、正常音データと判定されなかった前記単位データに対応する部分をスピーカから出力させるステップと、
正常音データであることを示す第１のラベルと異常音データであることを示す第２のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するステップと、
前記単位データが前記第１のモデルによって正常音データと判定されなかった場合に、前記第１のラベルが付与された前記部分を用いて生成された第２のモデルを用いて、前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記第２のモデルによって正常音データと判定されなかったことを条件に、前記記憶装置に記憶された前記第１の音データのうち、正常音データと判定されなかった前記単位データに対応する部分を、前記スピーカから出力させるステップとを、前記プロセッサにさらに実行させる、プログラム。

【請求項14】

プログラムであって、
設備用のモデルを用いて、前記設備から発せられる音が正常音であるか否かを判定するステップと、
集音装置によって集音された音を、第１の音データとして記憶装置に記憶させるとともに前記判定に用いる第２の音データとして処理するステップとを、装置のプロセッサに実行させ、
前記第２の音データとして処理するステップは、前記第２の音データを単位時間毎の単位データに区切るステップを含み、
前記プログラムは、
前記モデルを用いて、各前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記モデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第１の音データのうち、正常音データと判定されなかった前記単位データに対応する部分をスピーカから出力させるステップと、
正常音データであることを示す第１のラベルと異常音データであることを示す第２のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するステップと、
前記第１のラベルが付与された前記部分を用いて、前記モデルを更新するステップとを、前記プロセッサにさらに実行させる、プログラム。

【請求項15】

プログラムであって、
設備用のモデルを用いて、前記設備から発せられる音が正常音であるか否かを判定するステップと、
集音装置によって集音された音を、第１の音データとして記憶装置に記憶させるとともに前記判定に用いる第２の音データとして処理するステップとを、装置のプロセッサに実行させ、
前記第２の音データとして処理するステップは、前記第２の音データを単位時間毎の単位データに区切るステップを含み、
前記プログラムは、
前記モデルを用いて、各前記単位データが正常音データであるか否かを判定するステップと、
前記単位データが前記モデルによって正常音データと判定されなかった場合に、前記記憶装置に記憶された前記第１の音データのうち、正常音データと判定されなかった前記単位データに対応する部分をスピーカから出力させるステップと、
正常音データであることを示す第１のラベルと異常音データであることを示す第２のラベルとのうちユーザ操作に応じたラベルを、前記スピーカから出力された前記部分に対して付与するステップと、
所定の単位期間において正常音データと判定されなかった前記単位データが閾値以上存在する場合、当該単位期間に対応する前記部分に対して、前記ユーザ操作に応じたラベルを付与するステップとを、前記プロセッサにさらに実行させる、プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、情報処理システム、情報処理方法、およびプログラムに関する。

【背景技術】

【0002】

従来、機械学習が知られている。
このような機械学習においては、データに正解情報等のラベルを付与して学習用データ（教師データ）を生成することが行われている。たとえば、特許文献１には、教師データ補完部を備え、かつ、教師データ候補に対してラベルを付与することにより当該教師データ候補を教師データに追加することが可能なデータ処理装置が開示されている。また、特許文献２には、ユーザに対してラベル付けを促すメッセージを表示するデータ学習装置が開示されている。

【0003】

特許文献３には、動作異常が発生すると、録音している機器の動作音と、今回動作異常が発生した可動部に不良が発生しているときの不良時動作音と、今回動作異常が発生した可動部に不良が発生していないときの正常時動作音とを、ユーザに聞かせることが可能な機器不良確認援助装置が開示されている。

【0004】

特許文献４には、異常として検知すべき異常音に類似する作業音による誤報を低減することを目的とした異常検知装置が開示されている。

【先行技術文献】

【特許文献】

【0005】

【文献】特開２０１６－７６０７３号公報

【文献】特開２０１８－１３８５７号公報

【文献】特開２００４－３２６５０５号公報

【文献】特開２００９－２５９０２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0006】

ところで、設備が発する音が正常音であるのか異常音であるのかを当該設備の監視用のシステムで判定しようとした場合、以下の問題が生じる。

【0007】

システムの運用前に、どのような音が異常音であるのかを事前に把握することはできない。つまり、通常では、システムの運用前には当該システムは正常音のみしか学習できない。

【0008】

それゆえ、設備が発する音が正常音でないとシステムが仮に判定しても、当該音は異常音であるとは限らない。つまり、設備が発する音が本当は正常音であっても、当該音を正常音でないと誤検知することもある。

【0009】

本発明は、上記の問題点に鑑みなされたものであって、その目的は、精度の高い異音判定を可能とするための学習用データを容易に得ることが可能な情報処理システム、情報処理方法、およびプログラムを提供することにある。

【課題を解決するための手段】

【0010】

本発明のある局面に従うと、情報処理システムは、第１の設備から発せられる音を集音する第１の集音装置と、第１の設備用の第１のモデルを用いて、第１の設備から発せられる音が正常音であるか否かを判定する第１の判定手段と、第１の集音装置によって集音された音を、第１の音データとして記憶装置に記憶させるとともに判定に用いる第２の音データとして処理するデータ処理手段とを備える。データ処理手段は、第２の音データを単位時間毎の第１の単位データに区切る。第１の判定手段は、第１のモデルを用いて、各第１の単位データが正常音データであるか否かを判定する。情報処理システムは、第１の単位データが第１のモデルによって正常音データと判定されなかった場合に、記憶装置に記憶された第１の音データのうち、正常音データと判定されなかった第１の単位データに対応する部分をスピーカから出力させる再生手段と、正常音データであることを示す第１のラベルと異常音データであることを示す第２のラベルとのうちユーザ操作に応じたラベルを、スピーカから出力された部分に対して付与するラベル付手段とをさらに備える。

【発明の効果】

【0011】

上記の発明によれば、精度の高い異音判定を可能とするための学習用データを容易に得ることが可能となる。

【図面の簡単な説明】

【0012】

【図1】情報処理システムと、情報処理システムによって監視される設備とを示した図である。

【図2】情報処理システムにおける全体的な処理の流れを説明するためのフロー図である。

【図3】集音装置で集音を行うための準備作業の流れを説明するためのフロー図である。

【図4】正常音モデルである規範モデルの生成処理の流れを説明するためのフロー図である。

【図5】規範モデルを利用した音監視の処理の流れを説明するためのフロー図である。

【図6】集音装置によって得られた音データの処理について説明するための図である。

【図7】端末装置で表示される表示画面の例を表した図である。

【図8】音監視に関するタブが選択されたときに端末装置の画面に表示されるデータの一例を説明するための図である。

【図9】音監視に関するタブが選択されたときに端末装置の画面に表示されるデータの他の例を説明するための図である。

【図10】音監視に関するタブが選択されたときに端末装置の画面に表示されるデータのさらに他の例を説明するための図である。

【図11】情報処理システムにおいて実行されるラベル付け処理の流れを説明するためのフロー図である。

【図12】誤検知モデルの生成処理の流れを説明するためのフロー図である。

【図13】異常モデルの生成処理の流れを説明するためのフロー図である。

【図14】端末装置において表示される画面を表した図である。

【図15】端末装置において表示される他の画面を表した図である。

【図16】規範モデルと誤検知モデルと異常モデルとを利用した音監視の処理の流れを説明するためのフロー図である。

【図17】端末装置において表示されるさらに他の画面を表した図である。

【図18】情報処理システムの機能的構成を説明するための図である。

【図19】サーバ装置のハードウェア構成の典型例を表した図である。

【図20】端末装置のハードウェア構成の典型例を表した図である。

【図21】死活監視の画面を表した図である。

【発明を実施するための形態】

【0013】

以下、図面を参照しつつ、本発明の各実施の形態に係る情報処理システムについて説明する。以下の説明では、同一の部品には同一の符号を付してある。それらの名称および機能も同じである。したがって、それらについての詳細な説明は繰り返さない。

【0014】

＜Ａ．システム構成＞
図１は、情報処理システム１と、情報処理システム１によって監視される設備９００とを示した図である。

【0015】

図１を参照して、情報処理システム１は、音監視の中核をなすクラウドシステム１００と、端末装置２００と、複数の集音装置３００とを備える。なお、端末装置２００の数は、１台に限定されるものではない。

【0016】

情報処理システム１は、集音装置３００とクラウドシステム１００とを用いて、設備９００が異音を発していないかをリアルタイムに監視する。なお、１つの集音装置３００によって、１つの設備９００が発する音が集音される。

【0017】

クラウドシステム１００は、たとえば、サーバ装置１００Ａと、記憶装置１００Ｂとにより構成される。サーバ装置１００Ａは、端末装置２００と通信可能に接続されている。クラウドシステム１００は、サーバ装置単体、あるいは、複数のサーバ装置で構成されていてもよい。サーバ装置１００Ａと、記憶装置１００Ｂとは、互いに通信可能に接続されている。クラウドシステム１００は、少なくとも１つのサーバ装置を含んでいれば、他の装置構成は特に限定されるものではない。

【0018】

集音装置３００は、監視対象となる設備９００（たとえば、機械設備、配管設備）の近傍に備えられている。集音装置３００は、マイクとデータ通信装置とを備えている。データ通信装置は、マイクで集音された音データ（パケットデータ）を、ネットワークＮＷを介して、サーバ装置１００Ａに送信する。典型的には、データ通信装置は、リアルタイムに音データをサーバ装置１００Ａに送信する。当該音データは、記憶装置１００Ｂに逐次格納される。集音装置３００は、マイクとデータ通信装置とが一体化したものであってもよい。

【0019】

サーバ装置１００Ａは、記憶装置１００Ｂに蓄積された音データを設備９００毎に順次解析するとともに、解析結果を記憶装置１００Ｂに格納する。サーバ装置１００Ａは、解析の結果、異常音（異音）が発生したと判断した場合には、端末装置２００に対して設備９００で異常音が発生している旨をリアルタイムに通知する。詳しくは、サーバ装置１００Ａは、どの設備９００で異常音が発生しているかを、端末装置２００のユーザ（保守・監視員９５０）に通知する。

【0020】

サーバ装置１００Ａは、人工知能（ＡＩ）を用いて、設備９００が発する音が、正常音であるのか、異常音であるのかを判断する。典型的には、サーバ装置１００Ａは、学習済モデルを用いて、設備９００が発する音が、正常音であるのか、異常音であるのかを判断する。

【0021】

端末装置２００は、サーバ装置１００Ａから集音された音に関する各種のデータを表示可能に構成されている。端末装置２００では、各種の監視画面（図７参照）を表示できる。端末装置２００は、典型的には、ブラウザを用いてサーバ装置１００Ａから提供される各種情報を表示する。

【0022】

なお、サーバ装置１００Ａによる上記の判断処理は、人工知能に限定されず、一般的な機械学習による処理であってもよい。このような観点から、以下では、人工知能や学習済モデルといった限定的な用語を用いずに、機械学習やモデルといった用語を用いて、情報処理システム１の処理を説明する。

【0023】

図２は、情報処理システム１における全体的な処理の流れを説明するためのフロー図である。なお、後述する各ステップＳ１～Ｓ１１は、自動的に順に実行されるのではなく、典型的には、サーバ装置１００Ａが、ユーザ操作に基づく所定の指示（各ステップを実行させるユーザ指示）を受け付けることにより実行される。また、以下で説明する、規範モデルＭ１、誤検知モデルＭ２、および異常モデルＭ３は、設備９００毎に生成される。

【0024】

図２を参照して、ステップＳ１において、クラウドシステム１００は、設備９００が発する正常音の音データを学習用データとした機械学習により、規範モデルＭ１（正常音モデル）を生成する。ステップＳ２において、クラウドシステム１００は、規範モデルＭ１を利用した音監視を実行する。具体的には、クラウドシステム１００は、規範モデルＭ１を用いて、集音装置３００によって集音された音が正常音であるか否かを判断する。

【0025】

ステップＳ３において、規範モデルＭ１によって正常音でないと判断された音を人間が実際に聞き、人間が異常音であると判断した場合には、当該音のデータに対して異常音のラベル付けが行われる。人間が正常音であると判断した場合（つまり、規範モデルによる判定が誤検知であった場合）には、当該音のデータに対して正常音のラベル付けが行われる。

【0026】

ステップＳ４において、クラウドシステム１００は、正常音のラベル付けがされた音データを用いて、誤検知モデルＭ２を生成する。なお、ステップＳ３において、正常音のラベル付けがされた音データがない場合には、ステップＳ４の処理は行われない。

【0027】

ステップＳ５において、クラウドシステム１００は、異常音のラベル付けがされた音データを用いて、異常モデルＭ３を生成する。なお、ステップＳ３において、異常音のラベル付けがされた音データがない場合には、ステップＳ５の処理は行われない。

【0028】

ステップＳ６において、クラウドシステム１００は、規範モデルＭ１と、誤検知モデルＭ２と、異常モデルＭ３とを利用した音監視を実行する。ステップＳ７において、クラウドシステム１００は、誤検知モデルＭ２を用いて規範モデルＭ１を更新する。ステップＳ８において、クラウドシステム１００は、更新後の規範モデルＭ１と、異常モデルＭ３とを利用した音監視を実行する。

【0029】

ステップＳ９において、ステップＳ３と同様なラベル付け処理がなされる。ステップＳ１０において、クラウドシステム１００は、ステップＳ９において正常音のラベル付けがされた音データを用いて、誤検知モデルＭ２を更新する。ステップＳ１１において、クラウドシステム１００は、ステップＳ９において異常音のラベル付けがされた音データを用いて、異常モデルＭ３を更新する。

【0030】

なお、ステップＳ７の処理は、必須ではなく、実施しなくてもよい。
図３は、集音装置３００で集音を行うための準備作業の流れを説明するためのフロー図である。

【0031】

図３を参照して、ステップＳ２１において、クラウドシステム１００は、集音装置３００のデータ通信装置の時計の時刻と、設備９００の時計の時刻と、サーバ装置１００Ａの時計の時刻とを同期させるための操作を受け付ける。また、ステップＳ２２において、クラウドシステム１００は、集音装置３００のマイクの集音時の音量を調整するためのユーザ操作を受け付ける。

【0032】

ステップＳ２３において、クラウドシステム１００は、集音装置３００のデータ通信装置からサーバ装置１００Ａに対する音データの転送設定をするためのユーザ操作を受け付ける。

【0033】

上記の調整や設定が完了した後、ステップＳ２４において、集音装置３００は、集音した音のデータサンプリングを行う。サンプリングの周期は、たとえば、４４．１ｋＨｚとすることができる。ステップＳ２５において、集音装置３００は、音データをＰＣＭ（Pulse Code Modulation）音源化する。集音装置３００のデータ通信装置は、ＰＣＭ音源化された音データ（パケット）をサーバ装置１００Ａに対して送信する。以後、ステップＳ２４，Ｓ２５，Ｓ２６の処理が繰り返される。

【0034】

以下では、図２に示したフロー図の流れに従い、「規範モデルＭ１の生成（ステップＳ１）」,「規範モデルＭ１の利用（ステップＳ２）」，「誤検知モデルＭ２および異常モデルＭ３の生成（ステップＳ３，Ｓ４，Ｓ５）」,「誤検知モデルＭ２および異常モデルＭ３の利用（ステップＳ６）」，「規範モデルＭ１の更新（ステップＳ７）」の順に説明する。

【0035】

＜Ｂ．規範モデルＭ１の生成＞
図４は、正常音モデルである規範モデルＭ１の生成処理の流れを説明するためのフロー図である。典型的には、規範モデルＭ１は、サーバ装置１００Ａのプロセッサ１５１（図１９参照）が学習用データ（後述する、特徴量）と、所定の学習用プログラムとを用いることにより生成される。

【0036】

図４を参照して、ステップＳ３１において、サーバ装置１００Ａは、集音装置３００を用いて、設備９００が正常に動作しているときに設備９００から発せられる音のデータ（音データ）の取得を開始する。

【0037】

ステップＳ３２において、サーバ装置１００Ａは、取得した音データに対して前処理を行う。具体的には、サーバ装置１００Ａは、音データを単位時間毎の単位データＤｕに区切る。たとえば、サーバ装置１００Ａは、音データをＴｕ秒（１秒以下の所定の秒数）の単位データＤｕに分割する。さらに、前処理として、ノイズ除去、解析対象の周波数帯を設定すること、バンドパスフィルタの適応等がなされる。

【0038】

ステップＳ３３において、サーバ装置１００Ａは、各単位データＤｕから、所定のアルゴリズムを用いて特徴量を抽出する。ステップＳ３４において、サーバ装置１００Ａは、抽出された特徴量を用いて機械学習を行う。このような機械学習を繰り返すことにより、規範モデルＭ１が生成される。

【0039】

なお、サンプリング周波数を４４．１ｋＨｚ、計測可能な周波数をサンプリング周波数の半分、周波数の分解能を１０Ｈｚとすると、特徴量の次元数（入力ベクトルの次元数）は２２０５となる。

【0040】

＜Ｃ．規範モデルＭ１の利用＞
図５は、規範モデルＭ１を利用した音監視の処理の流れを説明するためのフロー図である。規範モデルＭ１を生成した時点では、誤検知モデルＭ２および異常モデルＭ３は生成されていないため、情報処理システム１は、規範モデルＭ１のみを用いて音監視を行う。

【0041】

図５を参照して、ステップＳ４１において、サーバ装置１００Ａは、集音装置３００を用いて、設備９００が正常に動作しているときに設備９００から発せられる音のデータ（音データ）の取得を開始する。

【0042】

ステップＳ５１において、サーバ装置１００Ａは、取得した音データを、再生用の音データ（生データ）として記憶装置１００Ｂに記憶させる。詳しくは、サーバ装置１００Ａは、音データを時刻情報に関連付けて記憶装置１００Ｂに記憶させる。

【0043】

ステップＳ４２において、サーバ装置１００Ａは、図４のステップＳ３２と同様に、取得した音データに対して前処理を行う。具体的には、サーバ装置１００Ａは、音データを単位時間毎の単位データＤｕに区切る。

【0044】

ステップＳ４２の後、サーバ装置１００Ａ（詳しくは、プロセッサ１５１）は、ステップＳ４３～Ｓ５０の各処理を、単位データＤｕの各々に対して実行する。

【0045】

ステップＳ４３において、プロセッサ１５１は、単位データＤｕから、上記の所定のアルゴリズムを用いて特徴量を抽出する。ステップＳ４４において、プロセッサ１５１は、抽出された特徴量を規範モデルＭ１に入力する。ステップＳ４５において、プロセッサ１５１は、規範モデルＭ１からの出力を得る。具体的には、規範モデルＭ１（クラスタ）に対する誤差が算出され、当該誤差が出力される。

【0046】

ステップＳ４６において、プロセッサ１５１は、算出された誤差が所定の範囲Ｒ１内であるかいなかを判断する。プロセッサ１５１は、誤差が範囲Ｒ１内であると判断した場合（ステップＳ４６においてＹＥＳ）、ステップＳ４７において、単位データＤｕを正常音データと判定する。なお、範囲Ｒ１内か否かの判定として、たとえば、３σ法を用いればよい。

【0047】

プロセッサ１５１は、誤差が範囲Ｒ１外であると判断した場合（ステップＳ４６においてＮＯ）、ステップＳ４８において、単位データＤｕを異常音データと仮判定する。次いで、ステップＳ４９において、プロセッサ１５１は、異常の報知処理を実行する。詳しくは、サーバ装置１００Ａから端末装置２００に対して所定の警告通知を行う。この場合、端末装置２００は、警告表示等の各種の処理を行う。ステップＳ５０において、プロセッサ１５１は、判定結果を記憶装置１００Ｂに記憶させる。ステップＳ４９とステップＳ５０との処理は、並行して行われてもよいし、ステップＳ５０の処理がステップＳ４９の処理の前であってもよい。

【0048】

図６は、集音装置３００によって得られた音データの処理について説明するための図である。

【0049】

図６を参照して、集音された音データは、再生用の音データ（以下、「保存用データＤｓ」とも称する）として記憶装置１００Ｂに保存される一方で、判定に用いる音データ（以下、「判定用データＤｄ」とも称する）としても処理される。つまり、サーバ装置１００Ａは、１つの集音装置３００によって得られた音データ（（Ａ）参照）を、保存用データＤｓ（（Ｂ）参照）として保持するとともに、保存用データＤｓとは別に、判定用データＤｄ（（Ｃ）参照）としても保持する。たとえば、プロセッサ１５１が、保存用データＤｓをオリジナルデータとし、当該オリジナルデータをコピーすることにより判定用データＤｄを生成すればよい。保存用データＤｓは、集音装置３００で集音された音のデータそのもの（生データ）であって、ノイズ等の音を取り除く処理を行なっていないデータである。

【0050】

プロセッサ１５１は、判定用データＤｄを、単位時間Ｔｕ毎の単位データＤｕに区切る。プロセッサ１５１は、上述したように、単位データＤｕ毎に特徴量を抽出する。

【0051】

図７は、端末装置２００で表示される表示画面の例を表した図である。
図７を参照して、画面２０１は、複数のタブ２１１，２１２，２１３，２１４，２１５と、ダッシュボード２７０とを含む。

【0052】

ダッシュボード２７０は、状態監視の項目２７１と、通信ログの項目２７２と、ツールの項目２７３と、レポートの項目２７４と、アラートの項目２７５とを含む。

【0053】

端末装置２００のユーザが、タブ２１１を選択すると、死活監視の画面が表示される。死活監視は、集音装置３００からの「ｐｉｎｇ」を監視することにより行われる。端末装置２００のユーザが、タブ２１２を選択すると、Ｔｒａｐ監視の画面が表示される。端末装置２００のユーザが、タブ２１３を選択すると、Ｓｙｓｌｏｇ監視の画面が表示される。端末装置２００のユーザが、タブ２１４を選択すると、プロトコル監視の画面が表示される。端末装置２００のユーザが、タブ２１５を選択すると、音監視の画面が表示される。

【0054】

図８は、音監視に関するタブ２１５が選択されたときに端末装置２００の画面に表示されるデータの一例を説明するための図である。図８を参照して、端末装置２００は、音の波形２２１を時刻に関連付けて表示する。

【0055】

図９は、音監視に関するタブ２１５が選択されたときに端末装置２００の画面に表示されるデータの他の例を説明するための図である。図９を参照して、端末装置２００は、スペクトラム２２２を表示する。

【0056】

図１０は、音監視に関するタブ２１５が選択されたときに端末装置２００の画面に表示されるデータのさらに他の例を説明するための図である。図１０を参照して、端末装置２００は、規範モデルＭ１の出力（「Ｌｏｓｓ」と表記）と、出力の正常範囲とを示したグラフ２２３を表示する。

【0057】

波形２２１、スペクトラム２２２、グラフ２２３は、誤検知モデルＭ２および異常モデルＭ３の生成の際に活用することができる。

【0058】

サーバ装置１００Ａのプロセッサ１５１が単位データＤｕを異常音データと判定した場合には、端末装置２００は、画面に警告表示を行う。たとえば、端末装置２００は、画面２０１（図７参照）に警告表示を示したオブジェクト画像を重畳させることにより、警告表示を行ってもよい。

【0059】

また、端末装置２００あるいはサーバ装置１００Ａは、端末装置２００の近傍に設置された、図示しない表示灯（たとえば、積層表示灯）を発光させることにより、端末装置２００のユーザ（保守・監視員９５０）に対して異常の発生を通知してもよい。また、サーバ装置１００Ａは、所定のアドレス宛に警告メールを送信してもよい。

【0060】

＜Ｄ．誤検知モデルＭ２および異常モデルＭ３の生成＞
最初に、誤検知モデルＭ２および異常モデルＭ３を生成するための事前処理として、データへのラベル付け処理について説明する。次いで、誤検知モデルＭ２および異常モデルＭ３の生成について説明する。

【0061】

図１１は、情報処理システム１において実行されるラベル付け処理の流れを説明するためのフロー図である。

【0062】

図１１を参照して、ステップＳ６１において、端末装置２００のプロセッサ２５１は、保存用データＤｓのうち、規範モデルＭ１によって異常音データと仮判定された単位データＤｕに対応する部分（「部分データＤｐ」との称する）を再生処理する。具体的には、プロセッサ２５１は、保存用データＤｓのうちの部分データＤｐをスピーカから出力する。端末装置２００は、サーバ装置１００Ａから部分データＤｐを取得することにより、当該部分データＤｐを再生する。

【0063】

より詳しくは、サーバ装置１００Ａは、異常音データと判定された単位データＤｕの時間情報に基づき、当該時間情報が示す時間帯の部分データＤｐを保存用データＤｓから抽出する。サーバ装置１００Ａは、抽出された部分データＤｐを端末装置２００に送信する。端末装置２００は、受信した部分データＤｐを再生する。

【0064】

たとえば、端末装置２００は、異常音データと仮判定された単位データＤｕが時間的に連続して複数存在しているときには、これら複数の単位データＤｕに対応する部分データＤｐを再生してもよい。典型的には、異常音データと仮判定された単位データＤｕが、所定時間内（たとえば１０秒以内）に閾値以上の存在する場合、端末装置２００は、この期間の全部または指定された一部を再生可能に構成されている（図１５）。詳しくは、端末装置２００は、再生する区間（期間）をユーザ操作により決定し、決定された区間に含まれる部分データＤｐを再生する。

【0065】

端末装置２００のユーザは、ステップＳ６１の再生処理により出力された音を聞くことにより、規範モデルＭ１によって異常と判定された音が、本当に異常音であるのか否かを判定する。すなわち、ユーザは、自ら、異常音であったのか、誤検知（正常音）であったかを判断する。

【0066】

ステップＳ６２において、サーバ装置１００Ａは、正常音データ（誤検知データ）であることを示したオブジェクト２３１（図１５参照）を選択するユーザ操作を端末装置２００が受け付けたか否かを判断する。具体的には、サーバ装置１００Ａは、端末装置２００からオブジェクト２３１が選択されたことを示す信号を受信したか否かを判断する。

【0067】

オブジェクト２３１が選択された場合（ステップＳ６２においてＹＥＳ）、ステップＳ６３において、サーバ装置１００Ａは、部分データＤｐに対して正常音のラベル付けをし、かつ正常音のラベル付けがなされた部分データＤｐを記憶装置１００Ｂに格納する。

【0068】

オブジェクト２３１が選択されていない場合（ステップＳ６２においてＮＯ）、ステップＳ６４において、サーバ装置１００Ａは、異常音データであることを示したオブジェクト２３２（図１５参照）を選択するユーザ操作を端末装置２００が受け付けたか否かを判断する。具体的には、サーバ装置１００Ａは、端末装置２００からオブジェクト２３２が選択されたことを示す信号を受信したか否かを判断する。

【0069】

オブジェクト２３２が選択された場合（ステップＳ６４においてＹＥＳ）、ステップＳ６５において、サーバ装置１００Ａは、部分データＤｐに対して異常音のラベル付けをし、かつ異常音のラベル付けがなされた部分データＤｐを記憶装置１００Ｂに格納する。

【0070】

オブジェクト２３２が選択されていない場合（ステップＳ６４においてＮＯ）、ステップＳ６６において、端末装置２００は、部分データＤｐを繰り返して再生するための操作を受け付けたか否かを判断する。端末装置２００は、当該操作を受け付けたと判断した場合（ステップＳ６６においてＹＥＳ）、処理をステップＳ６１に進める。端末装置２００は、当該操作を受け付けていないと判断した場合（ステップＳ６６においてＮＯ）、処理をステップＳ６２に進める。

【0071】

以上により、再生された部分データＤｐ（異常音と仮判定された単位データＤｕに対応する部分データＤｐ）に対して、正常音または異常音を示すラベル付けが完了する。

【0072】

ところで、図１１の処理においては、再生処理だけにより、端末装置２００のユーザがラベル付けを行う場合を例に挙げて説明したが、これに限定されるものではない。

【0073】

ユーザは、再生音の確認だけでは、正常音か異常音かを判断できない場合には、図８に示した波形２２１、図９に示したスペクトラム２２２、および図１０に示したグラフ２２３の少なくとも１つを画面に表示させてもよい。この場合、ユーザは、再生音の確認と、画面情報の確認とにより、規範モデルＭ１によって異常と判定された音が、本当に異常音であるのか、それとも正常音であったかのかを判断すればよい。この場合にも、当該判断結果に基づき、部分データＤｐに対するラベル付けが行われる。

【0074】

なお、図１１においては、異常音データと仮判定された全ての単位データＤｕの各々に対応する各部分データＤｐに対して、正常音データのラベルまたは異常音データのラベルを付与する構成を例に挙げて説明したが、これに限定されるものではない。ユーザが指定（選択）した部分データＤｐに対してのみ、ラベル付けを行ってもよい（図１４，図１５）。つまり、ユーザが、異常音データと仮判定された全ての単位データＤｕの各々に対応する部分データＤｐの全てを再生して当該全ての部分データＤｐを聞くことは、必ずしも必要ではない。

【0075】

図１２は、誤検知モデルＭ２の生成処理の流れを説明するためのフロー図である。
図１２を参照して、ステップＳ７１において、サーバ装置１００Ａのプロセッサ１５１は、記憶装置１００Ｂから正常音データのラベル付けがなされた部分データＤｐを読み出す。ステップＳ７２において、プロセッサ１５１は、読み出された部分データＤｐから、所定のアルゴリズムを用いて特徴量を抽出する。ステップＳ７３において、サーバ装置１００Ａは、抽出された特徴量を用いて機械学習を行う。

【0076】

ステップＳ７４において、プロセッサ１５１は、正常音データのラベル付けがなされた部分データＤｐが全て読み出されたか否かを判断する。なお、部分データＤｐは、同一の設備９００に関するデータである。

【0077】

プロセッサ１５１は、全ての部分データＤｐを読み出していないと判断した場合（ステップＳ７４においてＮＯ）、処理をステップＳ７２に進める。プロセッサ１５１は、全ての部分データＤｐを読み出した判断した場合（ステップＳ７４においてＹＥＳ）、一連の処理を終了する。

【0078】

サーバ装置１００Ａは、このような機械学習を繰り返すことにより、誤検知モデルＭ２が生成される。

【0079】

図１３は、異常モデルＭ３の生成処理の流れを説明するためのフロー図である。
図１３を参照して、ステップＳ８１において、サーバ装置１００Ａのプロセッサ１５１は、記憶装置１００Ｂから異常音データのラベル付けがなされた部分データＤｐを読み出す。ステップＳ８２において、プロセッサ１５１は、読み出された部分データＤｐから、所定のアルゴリズムを用いて特徴量を抽出する。ステップＳ８３において、サーバ装置１００Ａは、抽出された特徴量を用いて機械学習を行う。

【0080】

ステップＳ８４において、プロセッサ１５１は、異常音データのラベル付けがなされた部分データＤｐが全て読み出されたか否かを判断する。なお、部分データＤｐは、同一の設備９００に関するデータである。

【0081】

プロセッサ１５１は、全ての部分データＤｐを読み出していないと判断した場合（ステップＳ８４においてＮＯ）、処理をステップＳ８２に進める。プロセッサ１５１は、全ての部分データＤｐを読み出した判断した場合（ステップＳ８４においてＹＥＳ）、一連の処理を終了する。

【0082】

サーバ装置１００Ａは、このような機械学習を繰り返すことにより、異常モデルＭ３が生成される。

【0083】

以下では、１つの単位データＤｕに対応する部分データＤｐの各々にラベル付けをするのではなく、所定時間（以下では、１０秒間とする）内の連続する全ての単位データに対応する部分データＤｐ（１０秒の音データ）に対してラベル付けを行う例を説明する。つまり、前処理での分割の時間単位（１秒以下）ではなく、１０秒間分の部分データＤｐに対してラベル付けを行う例を説明する。

【0084】

図１４は、端末装置２００において表示される画面２０２を表した図である。
図１４を参照して、ダッシュボード２７０は、音監視の項目２７６をさらに含む。項目２７６は、装置リストの項目２７６１と、判定結果の項目２７６２と、音声学習の項目２７６３と、誤検知音学習の項目２７６４を含む。項目２７６をユーザ操作に基づき展開することにより、項目２７６１～２７６４が表示される。

【0085】

アラートの項目２７５は、異音履歴の項目２７５１を含む。ユーザ操作によって、異音履歴の項目２７５１が選択されると、図示しているように、異音履歴の一覧が表示される。異音履歴の一覧は、複数のレコードを含む。各レコードは、フィールドとして、装置名と、モデルと、日時と、評価値とを少なくとも含む。各レコードには、部分データＤｐが対応付けられている。

【0086】

本例では、異音履歴の一覧においては、異常音データと仮判定された単位データＤｕの全てに対応する部分データＤｐがレコードとして対応付けられているのではなく、異常音データと仮判定された単位データＤｕが一定の割合以上集中している期間に対応する部分データＤｐが対応付けられている。具体的には、各レコードは、異常音データと仮判定された単位データＤｕが所定時間内（１０秒以内）に閾値以上の存在する期間に対応する部分データＤｐが対応付けられている。

【0087】

たとえば、前処理での分割の時間単位（単位時間Ｔｕ）が０．５秒の場合、１０秒間には、２０個の単位データＤｕが含まれる。この２０個の単位データＤｕのうち、たとえば１２個以上が異常データと仮判定されると、当該１０秒間の部分データＤｐが、１つのレコードとして管理される。また、上述したように、１０秒間分の部分データＤｐに対してラベル付けが行われる。

【0088】

図１５は、端末装置２００において表示される画面２０３を表した図である。
図１５を参照して、ユーザ操作によって、図１４の異音履歴の一覧から１つのレコードが選択されると、図示しているように、選択されたレコードに対応した判定結果の画面が表示される。

【0089】

端末装置２００は、選択されたレコード（図１４参照）に対応する、装置、モデル、日時に対応する判定グラフを表示する。判定グラフは、所定時間内（１０秒以内）の部分データＤｐの波形を示している。時間軸（横軸）において、ユーザ操作によって区間を選択可能に構成されている。端末装置２００は、選択された区間（たとえば、区間２３５）のみの音を再生可能である。なお、区間の選択は、たとえば、マウス等のポンタデバイスによって行われる。

【0090】

ユーザは、ボタン２３６等を用いて、表示された部分データＤｐの再生を端末装置２００に実行させる。

【0091】

ユーザ操作によって誤検知のオブジェクト２３１（具体的には、ボタン）が選択されると、表示された部分データＤｐ（本例の場合、１０秒間分のデータ）に対する正常音のラベル付けが、サーバ装置１００Ａにおいて実行される。

【0092】

ユーザ操作によって異常のオブジェクト２３２（具体的には、ボタン）が選択されると、表示された部分データＤｐ（本例の場合、１０秒間分のデータ）に対する異常音のラベル付けが、サーバ装置１００Ａにおいて実行される。

【0093】

なお、判定グラフにおいて、部分データＤｐの一部が指定され、かつオブジェクト２３１，２３２が選択された場合には、サーバ装置１００Ａは、指定された時間領域の部分データＤｐに対して、選択されたオブジェクト２３１，２３２に応じたラベル付けを行ってもよい。

【0094】

また、情報処理システム１では、オブジェクト２３１，２３２を選択することにより部分データＤｐに対してラベル付けを行った場合、正常音データまたは異常音データと判断した理由を書き込めるように構成されている。具体的には、オブジェクト２３４をユーザが選択することにより、当該理由が書き込める。書き込まれた理由は、ラベル付けがなされた部分データＤｐと関連付けて、サーバ装置１００Ａに送信される。

【0095】

このようなラベル付けの手法によれば、精度の高い異音判定を可能とするための学習用データ（ラベル付がなされた部分データＤｐ）を容易に得ることが可能となる。なお、上述したラベル付けの手法は、一例であって、上述した画面２０３を用いた構成に限定されるものではない。ユーザの音声によりラベル付けを行ってもよい。

【0096】

＜Ｅ．誤検知モデルＭ２および異常モデルＭ３の利用＞
図１６は、規範モデルＭ１と誤検知モデルＭ２と異常モデルＭ３とを利用した音監視の処理の流れを説明するためのフロー図である。

【0097】

図１６を参照して、ステップＳ１０１において、サーバ装置１００Ａは、集音装置３００を用いて、設備９００が正常に動作しているときに設備９００から発せられる音のデータ（音データ）の取得を開始する。

【0098】

ステップＳ１１５において、サーバ装置１００Ａは、取得した音データを、再生用の音データ（生データ）として記憶装置１００Ｂに記憶させる。詳しくは、サーバ装置１００Ａは、音データを時刻情報に関連付けて記憶装置１００Ｂに記憶させる。

【0099】

ステップＳ１０２において、サーバ装置１００Ａは、図５のステップＳ４２と同様に、取得した音データに対して前処理を行う。具体的には、サーバ装置１００Ａは、音データを単位時間毎の単位データＤｕに区切る。

【0100】

ステップＳ１０２の後、サーバ装置１００Ａ（詳しくは、プロセッサ１５１）は、ステップＳ１０３～Ｓ１１４の各処理を、単位データＤｕの各々に対して実行する。

【0101】

ステップＳ１０３において、プロセッサ１５１は、単位データＤｕから、上記の所定のアルゴリズムを用いて特徴量を抽出する。ステップＳ１０４において、プロセッサ１５１は、抽出された特徴量を規範モデルＭ１に入力する。ステップＳ１０５において、プロセッサ１５１は、規範モデルＭ１からの出力を得る。具体的には、規範モデルＭ１（クラスタ）に対する誤差が算出され、当該誤差が出力される。

【0102】

ステップＳ１０６において、プロセッサ１５１は、算出された誤差が所定の範囲Ｒ１内であるかいなかを判断する。プロセッサ１５１は、誤差が範囲Ｒ１内であると判断した場合（ステップＳ１０６においてＹＥＳ）、ステップＳ１０７において、単位データＤｕを正常音データと判定する。

【0103】

プロセッサ１５１は、誤差が範囲Ｒ１外であると判断した場合（ステップＳ１０６においてＮＯ）、ステップＳ１０８において、抽出された特徴量が誤検知モデルＭ２にマッチするかいなかを判断する。たとえば、誤検知モデルＭ２が学習済モデルとして構成されている場合、出力層からマッチしているか否かの判定結果が出力される。

【0104】

プロセッサ１５１は、特徴量が誤検知モデルＭ２にマッチしていると判定された場合（ステップＳ１０８においてＹＥＳ）、処理をステップＳ１０７に進める。プロセッサ１５１は、特徴量が誤検知モデルＭ２にマッチしていないと判定された場合（ステップＳ１０８においてＮＯ）、ステップＳ１０９において、抽出された特徴量が異常モデルＭ３にマッチするかいなかを判断する。たとえば、異常モデルＭ３が学習済モデルとして構成されている場合、出力層からマッチしているか否かの判定結果が出力される。

【0105】

プロセッサ１５１は、特徴量が異常モデルＭ３にマッチしていると判定された場合（ステップＳ１０９においてＹＥＳ）、ステップＳ１１０において、単位データＤｕを異常音データと判定する。次いで、ステップＳ１１１において、プロセッサ１５１は、異常の報知処理を実行する。

【0106】

プロセッサ１５１は、特徴量が異常モデルＭ３にマッチしていないと判定された場合（ステップＳ１０９においてＮＯ）、ステップＳ１１２において、単位データＤｕを異常音データと仮判定する。次いで、ステップＳ１１３において、プロセッサ１５１は、異常の報知処理を実行する。ステップＳ１１４において、プロセッサ１５１は、判定結果を記憶装置１００Ｂに記憶させる。

【0107】

＜Ｆ．規範モデルの更新＞
図１７は、端末装置２００において表示される画面２０４を表した図である。

【0108】

図１７を参照して、ユーザ操作によって、誤検知音学習の項目２７６４が選択されると、図示しているように、誤検知一覧が表示される。誤検知一覧は、装置名と、モデルと、日時と、評価値と、詳細とを少なくとも含む。詳細の欄には、ラベル付けが行われたことを示すオブジェクトと、ラベル付けが行われた場合に正常音のラベルと異常音のラベルとのうちどちらのラベルが付与されたかを示すオブジェクトとが、レコード毎に表示される。

【0109】

このような構成によれば、ユーザは、各レコードの部分データＤｐに対してラベル付けを行ったか否かと、ラベル付けを行った場合に、どちらのラベルを付与した方を容易に判断可能となる。

【0110】

＜Ｇ．機能的構成＞
図１８は、情報処理システム１の機能的構成を説明するための図である。

【0111】

図１８を参照して、情報処理システム１は、クラウドシステム１００と、端末装置２００と、複数の集音装置３００とを備える。クラウドシステム１００は、典型的には、サーバ装置１００Ａと、記憶装置１００Ｂとを備える。

【0112】

各集音装置３００は、各々が設置された付近の設備から発せられる音を集音する。各集音装置３００は、クラウドシステム１００に対して、集音した音データを送信する。クラウドシステム１００のサーバ装置１００Ａは、当該音データを取得する。

【0113】

（ｇ１．サーバ装置１００Ａ）
サーバ装置１００Ａは、制御部１０１と、通信ＩＦ（Interface）１０３とを備える。制御部１０１は、データ処理部１１１と、モデル処理部１１２と、音判定部１１３とを備える。モデル処理部１１２は、モデル生成部１１２１と、ラベル付与部１１２２と、モデル更新部１１２３とを備える。音判定部１１３は、第１判定部１１３１と、第２判定部１１３２と、第３判定部１１３３とを備える。

【0114】

制御部１０１は、サーバ装置１００Ａの全体的な動作を制御する。具体的には、制御部１０１は、記憶部（図示せず）等に記憶されたオペレーティングシステムおよびアプリケーションプログラムを実行することにより、サーバ装置１００Ａの全体的な動作を制御する。制御部１０１は、典型的には、プロセッサ１５１（図１９参照）が、これらのオペレーティングシステムおよびアプリケーションプログラムを実行することにより実現される。

【0115】

通信ＩＦ１０３は、外部機器と通信するためのインターフェイスである。サーバ装置１００Ａは、通信ＩＦ１０３によって、各集音装置３００と、端末装置２００と通信する。また、図示しない通信ＩＦによって、サーバ装置１００Ａは、記憶装置１００Ｂと通信する。

【0116】

データ処理部１１１は、集音装置３００によって集音された音を、保存用データＤｓとして記憶装置１００Ｂに記憶させるとともに、判定に用いる判定用データＤｄとして処理する。詳しくは、データ処理部１１１は、判定用データＤｄを単位時間毎の単位データＤｕに区切る。データ処理部１１１は、単位データＤｕを音判定部１１３に送る。

【0117】

モデル処理部１１２のモデル生成部１１２１は、データ処理部１１１より正常音の単位データＤｕを取得して、当該単位データＤｕに基づき規範モデルＭ１を生成する。生成された規範モデルＭ１は、第１判定部１１３１に送られる。

【0118】

また、モデル生成部１１２１は、誤検知モデルＭ２と、異常モデルＭ３とを生成する。生成された誤検知モデルＭ２は、第２判定部１１３２に送られる。生成された異常モデルＭ３は、第３判定部１１３３に送られる。

【0119】

誤検知モデルＭ２は、上述したように、正常音のラベル付けがなされた部分データＤｐを利用して生成される。異常モデルＭ３は、上述したように、異常音のラベル付けがなされた部分データＤｐを利用して生成される。このようなラベル付は、ラベル付与部１１２２によって実行される。なお、上記部分データＤｐは、上述したように、記憶装置１００Ｂに格納されている。

【0120】

ラベル付与部１１２２は、端末装置２００からの指示に（ユーザによりオブジェクト２３１，２３２（図１５参照））基づき、部分データＤｐに対してラベル付けを行う。ラベル付与部１１２２は、正常音データであることを示すラベルと異常音データであることを示すラベルとのうちユーザ操作に応じたラベルを、部分データＤｐ（詳しくは、端末装置２００のスピーカ２９５から出力された部分データＤｐ）に対して付与する。

【0121】

典型的には、ラベル付与部１１２２は、所定時間（所定の単位期間）において正常音データと判定されなかった単位データＤｕが閾値以上存在する場合、当該所定時間に対応する部分データＤｐに対して、ユーザ操作に応じたラベルを付与する。

【0122】

モデル更新部１１２３は、誤検知データ（すなわち、正常音のラベル付けがされた部分データＤｐ）を用いて規範モデルＭ１を更新する。更新のトリガは、典型的には、端末装置２００におけるユーザ指示である。なお、これに限らず、モデル更新部１１２３は、前回の更新から所定の時間が経過すると、自動的に更新処理を行ってもよい。また、モデル更新部１１２３は、誤検知データの数が所定数以上となると、自動的に更新処理を行ってもよい。モデル更新部１１２３は、自動的に更新を行うに際し、端末装置２００からユーザの許可を得ることを条件としてもよい。

【0123】

音判定部１１３は、集音された音が正常音か異常音かを判定する。
第１判定部１１３１は、上述した規範モデルＭ１を有する。詳しくは、第１判定部１１３１は、設備９００毎に、規範モデルＭ１を有する。第１判定部１１３１は、規範モデルＭ１を用いて、対象となる設備９００から発せられる音が正常音であるか否かを判定する。詳しくは、第１判定部１１３１は、規範モデルＭ１を用いて、各単位データＤｕが正常音データであるか否かを判定する。

【0124】

第２判定部１１３２は、上述したように、正常音のラベルが付与された部分データＤｐを用いて生成された誤検知モデルＭ２を有する。詳しくは、第２判定部１１３２は、設備９００毎に、誤検知モデルＭ２を有する。誤検知モデルＭ２は、上述したように、運用後に生成される。第２判定部１１３２は、単位データＤｕが規範モデルＭ１によって正常音データと判定されなかった場合に、誤検知モデルＭ２を用いて、単位データＤｕが正常音データであるか否かを判定する。

【0125】

第３判定部１１３３は、上述したように、異常音のラベルが付与された部分データＤｐを用いて生成された異常モデルＭ３を有する。詳しくは、第３判定部１１３３は、設備９００毎に、異常モデルＭ３を有する。異常モデルＭ３は、上述したように、運用後に生成される。第３判定部１１３３は、異常モデルＭ３を用いて、単位データＤｕが異常音データであるか否かを判定する。

【0126】

制御部１０１は、単位データＤｕを異常音データと判定（仮判定を含む）した場合には、端末装置２００に対して、所定の警告通知を行う。

【0127】

（ｇ２．端末装置２００）
端末装置２００は、制御部２９１と、入力装置２９２と、通信ＩＦ２９３と、ディスプレイ２５８と、スピーカ２９５とを備える。

【0128】

制御部２９１は、端末装置２００の全体的な動作を制御する。具体的には、制御部２９１は、端末装置２００の記憶部（図示せず）等に記憶されたオペレーティングシステムおよびアプリケーションプログラムを実行することにより、端末装置２００の全体的な動作を制御する。制御部２９１は、典型的には、プロセッサ２５１（図２０参照）が、これらのオペレーティングシステムおよびアプリケーションプログラムを実行することにより実現される。

【0129】

通信ＩＦ２９３は、外部機器と通信するためのインターフェイスである。端末装置２００は、通信ＩＦ２９３によって、サーバ装置１００Ａと通信する。

【0130】

入力装置２９２は、ユーザ操作を受け付ける装置である。入力装置２９２は、典型的には、キーボード、マウス、またはタッチパネルである。入力装置２９２は、受け付けた入力を制御部２９１に送る。当該入力としては、上述した各画面に表示された項目に対する選択操作、データの入力等が挙げられる。

【0131】

表示制御部２９１１は、ディスプレイに各種画面を表示する。表示制御部２９１１は、入力装置２９２を用いたユーザ操作に基づき、ディスプレイ２５８に表示させる画面を切り替える。表示制御部２９１１は、たとえば、画面２０１～２０４（図７，図１４，図１５，図１７参照）、波形２２１（図８参照）、スペクトラム２２２（図９参照）、グラフ２２３（図１０参照）をディスプレイ２５８に表示する。なお、波形２２１は、正常音データと判定されなかった単位データＤｕの波形を含む。

【0132】

再生処理部２９１２は、入力装置２９２を介したユーザ操作に基づき、部分データＤｐを、スピーカを用いて再生する。詳しくは、再生処理部２９１２は、単位データＤｕが規範モデルＭ１によって正常音データと判定されなかった場合に、記憶装置１００Ｂに記憶された保存用データＤｓのうち、正常音データと判定されなかった単位データＤｕに対応する部分データＤｐをスピーカ２９５から出力させる。また、再生処理部２９１２は、単位データＤｕが誤検知モデルＭ２によって正常音データと判定されなかったことを条件に、記憶装置１００Ｂに記憶された保存用データＤｓのうち、正常音データと判定されなかった単位データＤｕに対応する部分データＤｐを、スピーカ２９５から出力させる。

【0133】

制御部２９１は、単位データＤｕがサーバ装置１００Ａの第１判定部１１３１によって正常音データと判定されなかった場合、サーバ装置１００Ａからの警告通知に基づき、所定の報知を行う。典型的には、制御部２９１は、スピーカ２９５から所定の警告音を出力する。また、制御部２９１は、ディスプレイ２５８に所定の警告表示を行う。

【0134】

（ｇ３．ラベル付け）
次に、ラベル付処理の局面に関し、端末装置２００とサーバ装置１００Ａとの処理を、より詳しく説明する。

【0135】

端末装置２００の表示制御部２９１１は、正常音データと判定されなかった単位データＤｕに対応する部分データＤｐを、スピーカ２９５から出力させるための操作画面（図１５参照）をディスプレイ２５８に表示させる。この操作画面は、オブジェクト２３１，２３２を有する。

【0136】

端末装置２００は、当該操作画面に対する操作によって単位データＤｕに対応する部分データＤｐがスピーカ２９５から出力された後に、オブジェクト２３１が選択されると、端末装置２００は、サーバ装置１００Ａに対して、当該部分データＤｐが正常音データであること示す通知を送信する。この場合、サーバ装置１００Ａのラベル付与部１１２２は、サーバ装置１００Ａが当該通知を受信したことを条件に、当該部分データＤｐに対して、正常音のラベルを付与する。

【0137】

端末装置２００は、上記操作画面に対する操作によって単位データＤｕに対応する部分データＤｐがスピーカ２９５から出力された後に、オブジェクト２３２が選択されると、端末装置２００は、サーバ装置１００Ａに対して、当該部分データＤｐが異常音データであること示す通知を送信する。この場合、サーバ装置１００Ａのラベル付与部１１２２は、サーバ装置１００Ａが当該通知を受信したことを条件に、当該部分データＤｐに対して、異常音のラベルを付与する。

【0138】

このような構成によれば、精度の高い異音判定を可能とするための学習用データ（ラベル付がなされた部分データＤｐ）を容易に得ることが可能となる。

【0139】

＜Ｈ．ハードウェア構成＞
図１９は、サーバ装置１００Ａのハードウェア構成の典型例を表した図である。

【0140】

図１９を参照して、サーバ装置１００Ａは、主たる構成要素として、プログラムを実行するプロセッサ１５１と、データを不揮発的に格納するＲＯＭ１５２と、プロセッサ１５１によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するＲＡＭ１５３と、データを不揮発的に格納するＨＤＤ１５４と、通信ＩＦ１５５と、操作キー１５６と、電源回路１５７と、ディスプレイ１５８とを含む。各構成要素は、相互にデータバスによって接続されている。なお、通信ＩＦ１５５は、他の機器と間における通信を行なうためのインターフェイスである。

【0141】

サーバ装置１００Ａにおける処理は、各ハードウェアおよびプロセッサ１５１により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＨＤＤ１５４に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦ１５５等を介してダウンロードされた後、ＨＤＤ１５４に一旦格納される。そのソフトウェアは、プロセッサ１５１によってＨＤＤ１５４から読み出され、ＲＡＭ１５３に実行可能なプログラムの形式で格納される。プロセッサ１５１は、そのプログラムを実行する。

【0142】

同図に示されるサーバ装置１００Ａを構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ１５３、ＨＤＤ１５４、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、サーバ装置１００Ａの各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

【0143】

図２０は、端末装置２００のハードウェア構成の典型例を表した図である。
図２０を参照して、端末装置２００は、主たる構成要素として、プログラムを実行するプロセッサ２５１と、データを不揮発的に格納するＲＯＭ２５２と、プロセッサ２５１によるプログラムの実行により生成されたデータ、又は入力装置を介して入力されたデータを揮発的に格納するＲＡＭ２５３と、データを不揮発的に格納するＨＤＤ２５４と、通信ＩＦ２５５と、操作キー２５６と、電源回路２５７と、ディスプレイ２５８とを含む。各構成要素は、相互にデータバスによって接続されている。なお、通信ＩＦ２５５は、他の機器と間における通信を行なうためのインターフェイスである。

【0144】

端末装置２００における処理は、各ハードウェアおよびプロセッサ２５１により実行されるソフトウェアによって実現される。このようなソフトウェアは、ＨＤＤ２５４に予め記憶されている場合がある。また、ソフトウェアは、その他の記憶媒体に格納されて、プログラムプロダクトとして流通している場合もある。あるいは、ソフトウェアは、いわゆるインターネットに接続されている情報提供事業者によってダウンロード可能なプログラムプロダクトとして提供される場合もある。このようなソフトウェアは、読取装置によりその記憶媒体から読み取られて、あるいは、通信ＩＦ２５５等を介してダウンロードされた後、ＨＤＤ２５４に一旦格納される。そのソフトウェアは、プロセッサ２５１によってＨＤＤ２５４から読み出され、ＲＡＭ２５３に実行可能なプログラムの形式で格納される。プロセッサ２５１は、そのプログラムを実行する。

【0145】

同図に示される端末装置２００を構成する各構成要素は、一般的なものである。したがって、本発明の本質的な部分は、ＲＡＭ２５３、ＨＤＤ２５４、記憶媒体に格納されたソフトウェア、あるいはネットワークを介してダウンロード可能なソフトウェアであるともいえる。なお、端末装置２００の各ハードウェアの動作は周知であるので、詳細な説明は繰り返さない。

【0146】

＜Ｉ．その他の機能＞
（１）図２１は、死活監視の画面を表した図である。図２１を参照して、死活監視の項目２７１１が選択されると、死活監視の画面が端末装置２００のディスプレイ２５８に表示される。ｐｉｎｇが閾値を超えると、端末装置２００は、死活監視異常を報知する。たとえば、端末装置２００は、項目２７１１を通常時とは異なる態様で表示する。たとえば、端末装置２００は、項目の色を変更する。

【0147】

また、端末装置２００が、図７に示した画面２０１を表示している状態において、死活監視異常が検知された場合、タブ２１１を通常時とは異なる態様で表示してもよい。

【0148】

（２）誤検知モデルＭ２および異常モデルＭ３の入力次元数は、規範モデルＭ１の入力次元数よりも低い。

【0149】

（３）規範モデルＭ１と、誤検知モデルＭ２および異常モデルＭ３とは、アルゴリズムが異なる。たとえば、誤検知モデルＭ２および異常モデルＭ３のアルゴリズムを、ＳＶＭ（サポートベクターマシン）とすることもできる。

【0150】

（４）誤検知モデルＭ２だけではなく異常モデルＭ３を規範モデルＭ１に統合することにより、設備９００が発する音が異常であるか否かをサーバ装置１００Ａで判定させてもよい。

【0151】

（５）正常音のラベルが付与された後、所定の期間内に、誤検知データを用いた規範モデルＭ１の更新がなされていない場合には、サーバ装置１００Ａが端末装置２００に所定の報知をさせるように、情報処理システム１を構成してもよい。

【0152】

（６）プログラムは、設備用のモデルを用いて、上記設備から発せられる音が正常音であるか否かを判定するステップと、集音装置によって集音された音を、第１の音データとして記憶装置に記憶させるとともに上記判定に用いる第２の音データとして処理するステップとを、プロセッサに実行させる。上記第２の音データとして処理するステップは、上記第２の音データを単位時間毎の単位データに区切るステップを含む。上記プログラムは、上記モデルを用いて、各上記単位データが正常音データであるか否かを判定するステップと、上記単位データが上記モデルによって正常音データと判定されなかった場合に、上記記憶装置に記憶された上記第１の音データのうち、正常音データと判定されなかった上記単位データに対応する部分をスピーカから出力させるステップと、正常音データであることを示す第１のラベルと異常音データであることを示す第２のラベルとのうちユーザ操作に応じたラベルを、上記スピーカから出力された上記部分に対して付与するステップとを、上記プロセッサにさらに実行させる。

【0153】

（７）情報処理システム１は、クラウドシステム１００と、端末装置２００とを備えるが、クラウドシステム１００と端末装置２００との機能を、１つの情報処理装置で実行するように、情報処理システム１を構成してもよい。

【0154】

（８）上記においては、前処理における分割の時間単位（Ｔｕ秒）が１秒以下である場合を例に挙げて説明したが、これに限定されるものではなく、１秒以上であってもよい。

【0155】

今回開示された実施の形態は例示であって、上記内容のみに制限されるものではない。本発明の範囲は特許請求の範囲によって示され、特許請求の範囲と均等の意味および範囲内でのすべての変更が含まれることが意図される。

【符号の説明】

【0156】

１ 情報処理システム、１００ クラウドシステム、１００Ａ サーバ装置、１００Ｂ 記憶装置、１０１，２９１ 制御部、１１１ データ処理部、１１２ モデル処理部、１１３ 音判定部、１５１，２５１ プロセッサ、１５８，２５８ ディスプレイ、２００ 端末装置、２０１，２０２，２０３，２０４ 画面、２１１～２１５ タブ、２２１ 波形、２２２ スペクトラム、２２３ グラフ、２３１，２３２，２３４ オブジェクト、２３５ 時間領域、２４１，２４２ アイコン、２７０ ダッシュボード、２７１～２７６，２７１１，２７５１，２７６１～２７６４ 項目、２９２ 入力装置、２９５ スピーカ、３００ 集音装置、９００ 設備、１１２１ モデル生成部、１１２２ ラベル付与部、１１２３ モデル更新部、１１３１ 第１判定部、１１３２ 第２判定部、１１３３ 第３判定部、２９１１ 表示制御部、２９１２ 再生処理部、Ｄｄ 判定用データ、Ｄｐ 部分データ、Ｄｓ 保存用データ、Ｄｕ 単位データ、Ｍ１ 規範モデル、Ｍ２ 誤検知モデル、Ｍ３ 異常モデル、ＮＷ ネットワーク。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】