(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024024642
(43)【公開日】2024-02-22
(54)【発明の名称】情報処理装置、情報処理方法、およびプログラム
(51)【国際特許分類】
G01H 3/00 20060101AFI20240215BHJP
G05B 23/02 20060101ALI20240215BHJP
G06Q 50/10 20120101ALI20240215BHJP
G01M 99/00 20110101ALI20240215BHJP
【FI】
G01H3/00 A
G05B23/02 V
G06Q50/10
G01M99/00 Z
【審査請求】有
【請求項の数】12
【出願形態】OL
(21)【出願番号】P 2023199858
(22)【出願日】2023-11-27
(62)【分割の表示】P 2022080508の分割
【原出願日】2022-05-16
(71)【出願人】
【識別番号】300050367
【氏名又は名称】株式会社日立ハイテクフィールディング
(74)【代理人】
【識別番号】110002860
【氏名又は名称】弁理士法人秀和特許事務所
(72)【発明者】
【氏名】三城 多佳記
(72)【発明者】
【氏名】及川 和人
(72)【発明者】
【氏名】水野 愛
(72)【発明者】
【氏名】徳野 佑城
(57)【要約】
【課題】保守作業において対象とする装置が発する音と装置の挙動、状態、動作等との関係を把握して保守作業を支援する。
【解決手段】制御部は、装置の動作または状態変化に伴って発生する音と装置の動作または状態変化との関係を学習した第1の学習済みモデルに装置から取得した所定区間の音を入力することによって、取得した所定区間の音から装置の動作または状態変化に対応する部分区間の音を抽出する。そして、制御部は、装置が正常であるときに収集された音を基に前記部分区間において装置に異常があるか否かを判定する。
【選択図】
図1
【特許請求の範囲】
【請求項1】
装置の動作または状態変化に伴って発生する音と前記装置の動作または状態変化との関係を学習した第1の学習済みモデルに前記装置から取得した所定区間の音を入力することによって前記取得した所定区間の音から前記装置の動作または状態変化に対応する部分区間の音を抽出することと、
前記抽出した部分区間の音のうちの前記装置の動作または状態変化に伴って発生する音の強度が、音の強度の基準値を有する基準音の強度と一致するように、前記抽出した部分区間全体の音の強度を調整すること、
前記装置が正常であるときに収集された音を基に前記部分区間において前記装置に異常があるか否かを判定することと、
を実行する制御部を備える情報処理装置。
【請求項2】
前記制御部は、前記装置に異常があるときの前記装置の音の特徴情報と前記異常との関係を対応づけたデータベースと、前記装置に異常があると判定された前記部分区間の音とを照合することにより、前記異常を特定することと、
前記特定された前記異常に関連する情報を出力することと、を実行する請求項1に記載の情報処理装置。
【請求項3】
前記特徴情報は、前記抽出した部分区間の音の強度、特定の周波数の有無、特定の周波数の強度、音の強度の変化の特性、周波数の強度の変化の特性、前記音の強度の変化の特性が観測される時間の長さ、および、前記周波数の強度の変化の特性が観測される時間の長さの少なくとも1つを含む請求項2に記載の情報処理装置。
【請求項4】
前記制御部は、前記装置の構成要素が発する音と前記構成要素との関係を学習した第2の学習済みモデルに前記抽出した部分区間の音を入力することによって前記抽出した部分区間に含まれる音を発する構成要素を特定することをさらに実行し、
前記特徴情報は前記抽出した部分区間に含まれる音を発する構成要素を指定する項目を含む請求項2に記載の情報処理装置。
【請求項5】
コンピュータが、装置の動作または状態変化に伴って発生する音と前記装置の動作または状態変化との関係を学習した第1の学習済みモデルに前記装置から取得した所定区間の音を入力することによって前記取得した所定区間の音から前記装置の動作または状態変化に対応する部分区間の音を抽出することと、
前記抽出した部分区間の音のうちの前記装置の動作または状態変化に伴って発生する音の強度が、音の強度の基準値を有する基準音の強度と一致するように、前記抽出した部分区間全体の音の強度を調整すること、
前記装置が正常であるときに収集された音を基に前記部分区間において前記装置に異常があるか否かを判定することと、
を実行する情報処理方法。
【請求項6】
コンピュータが、
前記装置に異常があるときの前記装置の音の特徴情報と前記異常との関係を対応づけたデータベースと、前記装置に異常があると判定された前記部分区間の音とを照合することにより、前記異常を特定することと、
前記特定された前記異常に関連する情報を出力することと、を実行する請求項5に記載の情報処理方法。
【請求項7】
前記特徴情報は、前記抽出した部分区間の音の強度、特定の周波数の有無、特定の周波数の強度、音の強度の変化の特性、周波数の強度の変化の特性、前記音の強度の変化の特
性が観測される時間の長さ、および、前記周波数の強度の変化の特性が観測される時間の長さの少なくとも1つを含む請求項6に記載の情報処理方法。
【請求項8】
コンピュータが、前記装置の構成要素が発する音と前記構成要素との関係を学習した第2の学習済みモデルに前記抽出した部分区間の音を入力することによって前記抽出した部分区間に含まれる音を発する構成要素を特定することをさらに実行し、
前記特徴情報は前記抽出した部分区間に含まれる音を発する構成要素を指定する項目を含む請求項6に記載の情報処理方法。
【請求項9】
コンピュータに、装置の動作または状態変化に伴って発生する音と前記装置の動作または状態変化との関係を学習した第1の学習済みモデルに前記装置から取得した所定区間の音を入力することによって前記取得した所定区間の音から前記装置の動作または状態変化に対応する部分区間の音を抽出することと、
前記抽出した部分区間の音のうちの前記装置の動作または状態変化に伴って発生する音の強度が、音の強度の基準値を有する基準音の強度と一致するように、前記抽出した部分区間全体の音の強度を調整すること、
前記装置が正常であるときに収集された音を基に前記部分区間において前記装置に異常があるか否かを判定することと、を実行させるためのプログラム。
【請求項10】
コンピュータに、前記装置に異常があるときの前記装置の音の特徴情報と前記異常との関係を対応づけたデータベースと、前記装置に異常があると判定された前記部分区間の音とを照合することにより、前記異常を特定することと、
前記特定された前記異常に関連する情報を出力することと、を実行させるための請求項9に記載のプログラム。
【請求項11】
前記特徴情報は、前記抽出した部分区間の音の強度、特定の周波数の有無、特定の周波数の強度、音の強度の変化の特性、周波数の強度の変化の特性、前記音の強度の変化の特性が観測される時間の長さ、および、前記周波数の強度の変化の特性が観測される時間の長さの少なくとも1つを含む請求項10に記載のプログラム。
【請求項12】
コンピュータに、前記装置の構成要素が発する音と前記構成要素との関係を学習した第2の学習済みモデルに前記抽出した部分区間の音を入力することによって前記抽出した部分区間に含まれる音を発する構成要素を特定することをさらに実行させ、
前記特徴情報は前記抽出した部分区間に含まれる音を発する構成要素を指定する項目を含む請求項10に記載のプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、情報処理装置、情報処理方法、およびプログラムに関するものである。
【背景技術】
【0002】
装置またはシステムの保守作業において、保守作業が対象とする装置またはシステムの各構成部位から発生する音は、装置またはシステムの状態の診断において重要な情報である。以下、装置またはシステムを単に装置という。また、構成部位は、構成要素ともいう。また、保守作業とは、対象とする装置の機能を維持し、装置本来の性能を発揮させるための管理作業、診断作業、調整作業等を含む。保守作業はメンテナンス作業とも呼ばれる。
【0003】
例えば、下記特許文献1には、洗濯機100は、洗濯機の運転状態を示す条件情報を検出する条件情報検出部15と、前記洗濯機の騒音状態を示す動作信号を検出する異常信号検出部16と、動作信号の特徴量を抽出する特徴量抽出部13と、前記洗濯機の異常判定を行う異常判定モデル181を取得する通信部14と、前記異常判定モデルにより前記条件情報と前記動作信号の特徴量とから前記洗濯機の異常を判定する異常判定部12と、を備えるようにした、と記載されている。
【0004】
また、下記特許文献2には、非常用発電装置の稼働音と、非常用発電装置を冷却する冷却水の流量と、を含むセンサ情報を取得し、非常用発電装置の試運転時におけるセンサ情報と、非常用発電装置の試運転が正常か否かの判定結果と、の関係を学習する機械学習により予め生成されたモデル221を用いて、非常用発電装置の試運転時にセンサ情報取得処理部210により取得されるセンサ情報の入力に応じた判定結果を出力すると記載されている。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2020-199010号公報
【特許文献2】特開2021-105947号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
ところで、一般的に、保守作業が対象とする装置は様々であり、通常は複数の構成部位を有し、構成部位単体またはこれらの組み合わせによって様々な挙動を示し、様々な状態で動作する。しかし、上記従来の技術では、音と装置の挙動、状態、動作等との関係が考慮されていない。
【0007】
本発明の実施の形態の側面は、保守作業において対象とする装置が発する音と装置の挙動、状態、動作等との関係を把握して保守作業を支援することである。
【課題を解決するための手段】
【0008】
本発明の一実施の形態は、情報システムによって例示される。本情報システムは、制御部を有する。制御部は、装置の動作または状態変化に伴って発生する音と装置の動作または状態変化との関係を学習した第1の学習済みモデルに装置から取得した所定区間の音を入力することによって、取得した所定区間の音から装置の動作または状態変化に対応する部分区間の音を抽出する。そして、制御部は、装置が正常であるときに収集された音を基に前記部分区間において装置に異常があるか否かを判定する。ここで、前記制御部は、前
記抽出した部分区間の音のうちの前記装置の動作または状態変化に伴って発生する音の強度が、音の強度の基準値を有する基準音の強度と一致するように、前記抽出した部分区間全体の音の強度を調整してもよい。
【発明の効果】
【0009】
本情報処理装置は、保守作業において対象とする装置が発する音と装置の挙動、状態、動作等との関係を把握して保守作業を支援することができる。
【図面の簡単な説明】
【0010】
【
図1】
図1は、第1の実施の形態に係る情報システムが運用される状況を例示する図である。
【
図2】
図2は、情報システムのハードウェアである情報処理装置の構成を例示する図である。
【
図3】
図3は、情報システムが有する機能の構成を例示する図である。
【
図4】
図4は、情報システムの各部の処理とデータフローを例示する図である。
【
図5】
図5は、部分区間の音データを抽出する処理を例示する図である。
【
図6】
図6は、部分区間の音データの強度を補正する処理を例示する図である。
【
図7】
図7は、正常音データと異音データを例示する図である。
【
図8】
図8は、異音特徴データベースのデータを例示する図である。
【
図9】
図9は、情報システムが実行する装置の異常検知処理を例示するフローチャートである。
【
図10】
図10は、第2の実施の形態に係る情報システムの利用方法を例示する図である。
【発明を実施するための形態】
【0011】
以下、図面を参照して、一実施の形態に係る情報システムを説明する。本情報システムは、装置の保守作業を支援する。保守作業において、対象とする装置の各構成要素から発生する音は、対象とする装置の状態診断において有効な情報である。本情報システムは、この音を有効活用する。本情報システムは、正常時とは異なる音(異音)を分類するする。正常時とは異なる音は、音の大きさ、周波数、音が発せられる部位、または、その部位の故障モードによってさまざまな特徴を持っている。正常時とは異なる音は、例えば、回転体の摺動音、配管の詰まり音等である。そこで、本情報システムは、保守の対象である装置の構成要素が発生する音の変化、特徴等を情報として取得し、異音が発生するまでのメカニズムと関連付けることで、故障の発生の検知、故障の発生の予兆検知、装置診断技術の向上、および保守サービスの平準化を実現する。以下、保守作業の対象である装置を保守対象の装置という。なお、上述のように、保守作業は、管理作業、診断作業、調整作業を含む。
【0012】
<第1の実施の形態>
図1から
図9を参照して、第1の実施の形態に係る情報システム100、情報処理方法およびプログラムが説明される。情報システム100は、音を活用するので、音響データ解析システムと呼ぶこともできる。
【0013】
(運用例)
図1は、情報システム100が運用される状況を例示する図である。
図1では、保守員がユーザサイトを訪問し、保守対象の装置から集音用のデバイスを用いて集音し、情報システム100に集音された音データを転送することが想定されている。以下、
図1の符号A1からA7にしたがって、情報システム100および情報システム100と連携する装置(集音用のデバイス等)の処理が例示される。情報システム100は、例えば、保守サービス会社のサーバ上に構築されてもよい。また、情報システム100は、例えば、クラ
ウドサーバ上に構築されてもよい。
【0014】
(A1)保守員は、保守対象の装置から、集音用のデバイスで集音する。集音用のデバイスに限定はない。集音用のデバイスは、例えば、スマートフォン、携帯電話、可搬形のパーソナルコンピュータ等である。集音用のデバイスで集音され、蓄積されたデータを音データという。
【0015】
(A2)保守員は収集した音データを情報システム100にアップロードする。集音用のデバイスは、通信機能を有するか、通信機能を有する他のデバイスに接続されている。集音用のデバイスは、保守員の指令にしたがって、集音した音データを情報システム100に送信する。
【0016】
(A3)情報システム100はアップロードされた音データを解析し、学習データとして蓄積された異常種別、原因、現象を含むデータベースと照合して診断レポートを作成する。診断レポートには、音データの特徴に基づく、装置を構成する部位の劣化、異常等が、根拠となるデータとともに記載される。情報システム100は、前処理部101、解析・診断部102、レポート出力部103、学習システム104を有している。
【0017】
前処理部101は、アップロードされた音データを前処理して解析・診断部102に引き渡す。音データは、前処理部101によって、解析・診断部102による解析、診断等の処理がしやすい形式に変換される。解析・診断部102は、音データが装置の異常に関係する異音を含む異音データか否かを判定する。異音は、装置が正常でないときの音である。そして、解析・診断部102は、異音データと、異音データの特徴と、装置の故障、異常等の種別、現象および原因と関連付けたデータベースとを照合し、故障、異常等の種別、現象および原因を特定する。レポート出力部103は、解析・診断部102の処理結果を基にレポートを出力する。
【0018】
(A4)保守員は診断レポートをもって、装置のユーザに結果を報告し、レポートに記載される情報を根拠にした保守提案を行う。
【0019】
(A5)アップロードされた音データが正常時とは異なる異音データがあるが、その異音データの特徴に関連付けられた、装置の故障、異常等の種別、現象または原因が存在しない場合がありえる。データベースに未登録の異常が発生する場合もあるからである。情報システム100は、データベースから装置の故障、異常等の種別、現象または原因を特定できない場合、エラーを出力する。エラーが出力されると、保守員は、当該異音データを前例なしデータとしてメーカ・保守技術部門にフィードバックする。この場合、情報システム100がエラーを示す情報と、エラーが発生した異音データとをメーカ・保守技術部門のコンピュータに送信するようにしてもよい。
【0020】
(A6)メーカ・保守技術部門の解析担当は、前例なしデータについて調査を行い、異音データの特徴と、装置の故障、異常等の種別、現象または原因と関連付けて、学習データを作成する。ここで、学習データは、例えば、データベースに蓄積される異音データの特徴と、装置の故障、異常等の種別、現象および原因と関連付けたデータである。また、学習データは、学習システムが教師あり学習を実施するための教師データ、教師なし学習等を実施するためのデータであってもよい。
【0021】
(A7)メーカ・保守技術部門は、作成した学習データを情報システム100にフィードバックする。メーカ・保守技術部門のコンピュータは、メーカ・保守技術部門で作成された学習データを情報システム100に送信し、データベースに登録させる。情報システム100は、フィードバックされたデータを学習済みモデルに新たに追加学習させてもよ
い。
【0022】
(構成)
図2は、情報システム100のハードウェアである情報処理装置1の構成を例示する図である。情報処理装置1の構成は、通常のコンピュータと同様である。情報処理装置1は、単体のコンピュータであってもよいし、クラウドサーバのように複数のコンピュータの集合であってもよい。例えば、情報処理装置1はCPU11と、主記憶装置12と、外部インターフェース(I/F)を通じて接続される外部機器を有し、プログラムにより情報処理を実行する。外部機器としては、外部記憶装置13、表示装置14、操作装置15、および通信装置16を例示できる。CPU11と、主記憶装置12と、外部インターフェース(I/F)は、制御部ということができる。
【0023】
CPU11は、主記憶装置12に実行可能に展開されたコンピュータプログラムを実行し、情報処理装置1の機能を提供する。CPU11はプロセッサとも呼ばれる。ただし、CPU11は、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、CPU11は、単一のソケットで接続される単一のプロセッサであって、マルチコア構成のものであってもよい。さらに、情報処理装置1の少なくとも一部の処理がDigital Signal Processor(DSP)、Graphics Processing Unit(GPU)、数値演算プロセッサ、ベクトルプロセッサ、画像処理プロセッサ等の専用プロセッサ、Application Specific Integrated Circuit(ASIC)等によって提供されてもよい。また、
情報処理装置1の少なくとも一部が、Field-Programmable Gate Array(FPGA)等の
専用large scale integration(LSI)、その他のデジタル回路であってもよい。また
、情報処理装置1の少なくとも一部にアナログ回路が含まれてもよい。
【0024】
主記憶装置12は、単にメモリとも呼ばれ、CPU11が実行するコンピュータプログラム、CPU11が処理するデータ等を記憶する。主記憶装置12は、Dynamic Random Access Memory(DRAM)、Static Random Access Memory(SRAM)、Read Only Memory(ROM)等である。さらに、外部記憶装置13は、例えば、主記憶装置12を補助
する記憶領域として使用され、CPU11が実行するコンピュータプログラム、CPU11が処理するデータ等を記憶する。外部記憶装置13は、ハードディスクドライブ、Solid State Drive(SSD)等である。さらに、情報処理装置1には、着脱可能記憶媒体の
駆動装置を設けてもよい。着脱可能記憶媒体は、例えば、ブルーレイディスク、Digital Versatile Disc(DVD)、Compact Disc(CD)、フラッシュメモリカード等である。
【0025】
また、情報処理装置1は、表示装置14、操作装置15、通信装置16を有する。表示装置14は、例えば、液晶ディスプレイ、Organic Electro-Luminescence(OEL、有機EL)で例示されるエレクトロルミネッセンスパネル等である。操作装置15は、例えば、キーボード、ポインティングデバイス等である。本実施形態では、ポインティングデバイスとしてマウスが例示される。通信装置16は、ネットワーク上の他の装置とデータを授受する。
【0026】
(処理例)
図3から
図7により、情報システム100の各部の処理例と、データフローが説明される。
図3は、情報システム100が有する機能の構成を例示する図である。また、
図4は、情報システム100の各部の処理とデータフローを例示する図である。情報システム100は、学習システム104、前処理部101、解析・診断部102、レポート出力部103、および更新部105を有している。これらの各部は、CPU11が主記憶装置12に実行可能に展開されたコンピュータプログラムによって提供される。ただし、これらの一部、例えば、学習システム104は、情報処理装置1以外の他のコンピュータ上に構築されたものであってもよい。情報システム100は、他のコンピュータと連携し、
図3の
機能を提供可能である。
【0027】
学習システム104は、一例としては、(1)稼働音と装置挙動の学習、(2)正常音データの学習、(3)稼働音の特徴と稼働音の発生源の構成要素の学習を実行する。このうち、(1)稼働音と装置挙動の学習および(3)稼働音の特徴と稼働音の発生源の構成要素の学習は、例えば、教師データによる学習である。装置挙動とは、例えば、装置の動作または状態変化をいう。装置挙動の例としては、流体の流路を有するシステムにおけるバルブのオープン、クローズ、ポンプの始動、停止等である。また、機械式リレーを含むシステムにおけるリレーのオン、オフ等である。
【0028】
稼働音と装置挙動の学習における教師データは、装置挙動時に発生し、収録された音データと、装置挙動を示すラベルである。教師データは、例えば、バルブVkオープン時に収録された音データと、「バルブVkオープン」というラベルである。ラベルは文字列でもよいし、装置挙動を特定可能なユニークな識別情報であってもよい。このような教師データが装置内のすべてのバルブVk(k=1,・・・、N)ついて、それぞれ複数作成される。バルブVkクローズ時も同様に、教師データが作成される。また、教師データは、例えば、リレーRkオン時に収録された音データと、「リレーRkオン」というラベルである。このような教師データが装置内のすべてのリレーRk(k=1,・・・、M)ついて、それぞれ複数作成される。リレーRkのオフ時も同様に、教師データが作成される。
【0029】
ここで、音データは、装置挙動時の期間、例えば、バルブVkオープンに要する期間、リレーオンに要する時間に収録された時間軸上の音データでよい。この場合には、音データは、時間軸と、音の強度(振幅、パワー)の2軸の成分を含む。ただし、音データは、これらの期間の音を周波数スペクトルにフーリエ変換したデータでもよい。この場合には、音データは、時間軸と、周波数軸と、音の強度(振幅、パワー)の3軸の成分を含む。時間軸と、周波数軸と、音の強度(振幅、パワー)の3軸の成分を含む音データは、スペクトログラムと呼ばれる。
【0030】
図4に例示するように、学習システム104は、稼働音と装置挙動の学習における教師データAを入力され、教師ありの深層学習を実行し、第1の学習済みモデルとして学習済みモデルAを作成する。稼働音は、装置の動作または状態変化に伴って発生する音ということができる。学習済みモデルAは、所定期間に収集された音データD1の入力を受け、装置挙動の有無および当該所定期間中の音データの時間軸上での装置挙動の開始時刻(および終了時刻)を判定する。例えば、学習済みモデルAは、所定期間に収集された音データD1中のバルブVkオープンの時間軸上の時刻、バルブVkクローズの時間軸上の時刻、リレーRkオン時の時間軸上の時刻、リレーRkオフ時の時間軸上の時刻等を特定し、出力する。
【0031】
(A 前処理部101による処理例)
前処理部101は、所定期間中の音データD1を学習済みモデルAに入力することで、学習済みモデルAから、当該所定期間中に存在する装置挙動の種類と、その装置挙動の開始時刻(および終了時刻)を取得する。そして、前処理部101は、所定期間中に収録された音データD1から、装置挙動の種類によって分割された挙動単位ごとの音データ(以下、部分区間の音データ)D2を抽出する。部分区間の音データD2は、例えば、バルブV1オープン時からバルブV2オープン時までの音データである。部分区間を構成する装置挙動は、装置の処理シーケンスから決定される。例えば、装置の処理シーケンスが、バルブV1オープン、バルブV2オープン、リレーR1オン、リレーR2オン、・・・のシーケンスを実行すると仮定する。この場合、上記所定区間は、バルブV1オープン時からバルブV2オープン時までの部分区間PP1、バルブV2オープン時からリレーR1オン時までの部分区間PP2、リレーR1オン時からリレーR2オン時までの部分区間PP3
のように分割される。ただし、抽出される部分区間は、装置挙動に対応する時間区間であり、部分区間の集合が所定期間中に収録された音データD1全体をカバーするとは限らない。すなわち、所定期間中に収録された音データD1中は、装置挙動単位に該当しない区間の音データも含み得る。
【0032】
図5は、部分区間の音データD2を抽出する処理を例示する。
図5には、時間と周波数と強度の3軸を含む音データであるスペクトログラムが上下2つ並べて例示されている。なお、
図5で音の強度は、塗りつぶしパターンの濃さで例示されている。
図5で上のグラフは、所定期間のスペクトログラムである。上のグラフのスペクトログラムには、例えば、時刻T1付近で、バルブV1がオープン(開)するときの音が含まれる。また、時刻T2付近で、バルブV2がオープン(開)するときの音が含まれる。学習済みモデルAは、
図5の上のグラフのような所定期間のスペクトログラムにおける、バルブV1がオープン(開)したとき、バルブV2がオープン(開)したとき等の時刻を特定する。前処理部101は、学習済みモデルAが特定した装置挙動の時刻を基に、所定期間の音データ(
図5の上のグラフ)から、バルブV1がオープン(開)時からバルブV2オープン(開)時までの部分区間の音データ(
図5の下のグラフ)を抽出する。前処理部101は、学習済みモデルAと連携することで、装置から集音された所定期間の音データD1から、装置のシーケンスにしたがって、装置挙動単位の部分区間の音データD2を抽出する。なお、所定期間の長さに限定はない。一例としては、所定期間は、集音用のデバイスを用いて蓄積される音データの期間である。
【0033】
このような部分区間を形成するための装置挙動時の音をトリガ音という。トリガ音は、例えば、バルブV1がオープン(開)するときの音である。ところで、前処理部101は、教師データAに含まれるトリガ音のうちの1つを基準データ(基準音)として有している。基準データは、音(または周波数)の強度の基準値を有するデータである。そして、前処理部101は、部分区間の音の強度が、トリガ音の強度と一致するように補正する。すなわち、前処理部101は、部分区間の音データD2に含まれる、トリガ音に対応する音の強度が基準データのトリガ音の強度と一致するように、部分区間の音データD2全体の強度を調整し、補正済みデータを生成する。このような前処理部101の処理は装置の動作または状態変化に伴って発生する音を基に、抽出した部分区間の音の強度を調整する処理の一例といえる。
【0034】
図6は、部分区間の音データD2の強度を補正する処理を例示する図である。
図6には、基準データSD0、入力データSD1および補正済みデータSD2のスペクトログラムの一部が例示されている。なお、
図6では、時間軸は、装置挙動の開始から終了までの区間であるが、省略されている。前処理部101は、トリガ音に含まれる特定の周波数(1または複数)の音の強度と、入力データSD1中のトリガ音に対応する部分の当該特定の周波数の音の強度を比較する。そして、前処理部101は、入力データSD1中のトリガ音に対応する部分の当該特定の周波数の音の強度が、基準データSD0の特定の周波数の音の強度となるように、入力データSD1の部分区間全体の強度を調整する。このようにして、前処理部101は、装置で集音された音データD1から装置挙動単位に対応する部分区間で発生した音データD2を抽出する。そして、前処理部101は、抽出した部分区間の音データD2の強度(振幅、パワー)が基準データと一致するように抽出された音データD2を補正する。
【0035】
(B 解析・診断部102による処理例)
図3、
図4のように、解析・診断部102は、異音検知部102Aと、異音処理部102Bを有する。異音検知部102Aは、部分区間の音データD2と正常音データBとの比較により異音データを検知する。異音処理部102Bは、異音データと異音特徴データベースとの照合による、装置の異常の種別、現象、および原因の特定等を実行する。
【0036】
(B1 異音検知部102Aによる処理例)
異音検知部102Aは、統計解析、多変量解析、機械学習等による処理方法により、装置の挙動単位に対応する部分区間の音データD2から異音を検知する。異音の検知では、例えば、周波数と強度と時間変化の少なくとも1つ(特徴量)が用いられる。異音検知部102Aは、異音が検知された部分区間の音データを異音データとして出力する。異音は、装置に異常がある可能性が高い音である。
【0037】
異音検知部102Aによる異音検知方法に限定はない。
図4の例では、異音検知部102Aは、装置が正常のときに取得された部分区間の音である正常音データBを基に、挙動単位ごとのの部分区間の音データD2が異音を含むか否かを判定する。例えば、異音検知部102Aは、部分区間の音データD2の特徴量、例えば、スペクトログラムの形状、強度、強度の変化、周波数の分布等を取得する。そして、異音検知部102Aは、部分区間の音データD2の特徴量が所定の限界を超えて外れたものか否かを判定し、異音を検知する。
【0038】
異音検知部102Aは、例えば、閾値判定法、マハラノビスタグチ法(MT法)、ベクトル量子化法(Vector Quantization. Clustering(VQC)法)、局所部分空間法(Local Sub-space Classifier(LSC)法)、ホテリングT2法、K近傍法、One-Class Support Vector Machine(SVM)法等による異常検知を実行する。異音検知部102Aは
、例えば、閾値判定法においては、正常音データBの特徴量について、上下限閾値を定義し、部分区間の音データD2を監視し、上下限値を超えた音データを異音データとして検知する。また、異音検知部102Aは、例えば、MT法において、正常音データBで基準となるデータ集団を作成し、部分区間の音データD2の基準となるデータ集団との距離から、部分区間の音データが外れ値であるか(または外れ値を含むか)を検出する。また、異音検知部102Aは、ホテリングT2法において、正常音データBによる正規分布に従う標本を基に、部分区間の音データD2から外れ値を検出する。また、異音検知部102Aは、例えば、K近傍法において、異常標本の音データと正常標本の音データを教師データとして準備し、教師あり学習を実行し、学習済みモデル(K近傍法)を作成する。そして、異音検知部102Aは、学習済みモデル(K近傍法)により、部分区間の音データD2が異音を含むか否かを判定する。また、異音検知部102Aは、例えば、One-Class SVM法において、正常音データBを1つのクラスとして学習し、判定境界を決定する。そ
して、異音検知部102Aは、部分区間の音データD2が判定境界から外れたことを判定することで、異音データを検知する。
【0039】
図4は、一例として教師なし学習による異常検知方法を例示する。学習済みモデルBは、正常音データBを学習済みであり、判定境界を決定済みである。異音検知部102Aは、前処理部101によって抽出され、強度を補正された装置の挙動単位に対応する部分区間の音データD2を学習済みモデルBに入力し、異常、すなわち異音の存在を検知させる。異音検知部102Aは、異常が検知された部分区間の音データを異音データD3として出力する。
【0040】
図7は、正常音データSDNと異音データSDAを例示する図である。
図7の上段は、正常音データSDNと異音データSDAのスペクトログラムを例示する。
図7の例では、異音データSDAのスペクトログラムでは、正常音データSDNに対して、高音域に、濃い色の強度の高い部分が発生する。また、
図7の下段は、異常が検知されたときの時刻における正常音データSDNと異音データSDAの周波数スペクトルを例示する。異音データSDAでは、高音域に正常音データSDNにない周波数成分が例示されている。異音検知部102Aは、上記のような各種方法のいずれかにより、異音データSDAを検知する。
【0041】
(B2 異音処理部102Bによる処理例)
図4のように、異音処理部102Bは、異音検知部102Aによって検知された異音データD3と、異音特徴データベース110との照合により、異常の有無、異常の種別、現象および原因の特定を実施する。例えば、異音処理部102Bは、学習済みモデルC(第2の学習済みモデル)により、異音データD3の発生源を特定する。学習済みモデルCは、稼働音の音データと、音の発生源である構成要素との関係を教師あり学習済みである。稼働音の音データは、例えば、バルブVkの音データ、リレーRkの音データ、ポンプの音データ等である。稼働音の音データには、異音が含まれてもよい。したがって、異音処理部102Bは、異音検知部102Aによって検知された異音データD3を学習済みモデルCに入力し、異音の発生源を特定する。異音処理部102Bによる異音の発生源を特定する処理は、装置の構成要素が発する音と構成要素との関係を学習した第2の学習済みモデルに抽出した部分区間の音を入力することによって抽出した部分区間に含まれる音を発する構成要素を特定する処理の一例といえる。
【0042】
また、異音処理部102Bは、異音特徴データベース110を検索し、異音特徴データベース110に登録された過去に検出済みの異音の特徴と、異音検知部102Aによって検知された異音データD3とを照合する。そして、異音処理部102Bは、異音特徴データベース110に登録された過去に検出済みの異音の特徴に合致する特徴が、異音データD3にあるか否かを判定する。異音特徴データベース110は、異音の特徴と、装置の異常の種別、現象、および原因等を含む異常の詳細との関係を保持する。異音処理部102Bは、異音特徴データベース110に登録された過去に検出済みの異音の特徴に合致する異音データD3を検知すると、異音特徴データベース110に登録された装置の異常の種別、現象、および原因等を含む異常の詳細を特定する。異音処理部102Bは、異音特徴データベース110と異音データD3との照合において、異音データD3から装置の異常を検知できないとき、エラーを出力する。この場合には、異音データD3は、
図1に例示したメーカ・保守技術部門のコンピュータに転送され、解析がなされる。
【0043】
なお、異音処理部102Bは、異音データと、装置の異常の種別との関係を教師あり学習した学習済みモデルによって、異音データを処理してもよい。異音処理部102Bは、異音データと、装置の異常の種別を判定し、判定された異常の種別から、他のデータベースに登録した異常の現象、および原因を含む異常の詳細を取得してもよい。
【0044】
(C レポート出力部103による処理例)
レポート出力部103は、異音処理部102Bによって特定された装置の異常の種別、原因および異常の詳細をレポートとして出力する。出力先は、例えば、ウェブサーバ上のウェブページ、情報処理装置1の表示装置14、保守員の有するデバイス等である。ただし、レポート出力部103の出力先に限定がある訳ではない。
【0045】
(D 更新部105による処理)
異音処理部102Bによる処理で、異音データD3から装置の異常を検知できず、エラーが発生したとき、更新部105は、メーカ・保守技術部門のコンピュータから、新たな解析結果に基づくデータを取得し、異音特徴データベース110を更新する。また、更新部105は、必要に応じて教師データA、正常音データB、教師データC等を追加し、学習済みモデルA、学習済みモデルB、学習済みモデルC等を更新してもよい。
【0046】
(異音特徴データベース110)
図8は、異音特徴データベース110のデータを例示する図である。異音特徴データベース110のデータは、例えば、表形式のデータである。
図8の例では、異音特徴データベース110の各データ(レコード)は、異音の分類と、装置の異常情報とを含む。異音
特徴データベース110は、異音の特徴から、異音発生時の装置の異常の有無、種別、原因、およびその詳細を特定するためのデータベースである。
【0047】
異音の分類は、異音の発生状況、異音の特徴、異音の発生源の構成要素という要素(フィールド)を含む。異音の発生状況は、例えば、「連続的」、「断続的」、「周期的」、「一時的」、「異常音を含む装置挙動時間がT3秒を超過」、「異常音が周波数F1Hzに到達時」、「装置稼働後T1時間以内」、「装置稼働後T2時間からT3時間の間」等である。「連続的」とは、異音が継続的に発生することをいう。また、「断続的」とは、周期が不定で、異音が繰り返し発生することをいう。周期的とは、異音が特定の周期で繰り返し発生することをいう。この場合、異音の発生状況には、周期の値が保持されてもよい。「一時的」とは、異音の発生が不定期に単発で発生することをいう。「異常音を含む装置挙動時間がT3秒を超過」とは、装置の挙動、例えば、ポンプの排気開始から完了までの時間が、基準となるT3時間を超えることをいう。
【0048】
異音の特徴は、音データが示す特徴をいう。異音の特徴は、「周波数F2Hz~F3Hzの範囲でQ1dB以上の強度変化」があること、「正常音データと同等」等をいう。異音の発生源の構成要素は、
図4の学習済みモデルCによって特定される異音データの発生源と推定される装置の構成要素である。異音の発生源の構成要素は、例えば、ベアリングB1、ベアリングB2、リレーR1、ポンプP1等、装置に含まれる部品が例示される。異音の発生源の構成要素は、抽出した部分区間に含まれる音を発する構成要素を指定する項目の一例といえる。
【0049】
異音の特徴は、前記抽出した部分区間の音の強度、特定の周波数の有無、特定の周波数の強度、音の強度の変化の特性、周波数の強度の変化の特性、音の強度の変化の特性が観測される時間の長さ、および、周波数の強度の変化の特性が観測される時間の長さの少なくとも1つを含む。音の強度の変化の特性が観測される時間の長さは、例えば、音データにおける特定の構成要素の動作に要する時間ということもできる。この時間の長さは、例えば、真空ポンプの排気の開始から完了までの時間である。この時間が基準より長い場合、または基準より短い場合に、異音処理部102Bは、その構成要素に故障の可能性があると判断できる場合がある。情報システム100は、周波数の強度の変化の特性が観測される時間の長さについても同様に活用できる。
【0050】
図8の例では、装置の異常情報は、異常の原因と異常の詳細を含む。異常の原因とは、異音の分類によって特定される装置の異常の原因である。異常の原因は、例えば、ベアリングにおける「玉または玉受けの不良」、「防振ゴムの不良」、ポンプにおける「ポンプ性能の低下」等である。異常の詳細は、例えば、ベアリングにおける「玉または玉受けの(1)傷、(2)異物混入」等である。また、異常の詳細は、防振ゴムの経時変換による劣化である。また、異常の詳細は、ポンプの故障等である。ただし、装置の異常情報は、項目として、装置の異常の種別、現象等を含んでもよい。
図8の例では、装置の異常の種別、現象等は、「異常の詳細」のフィールドに記載される。すなわち、異音特徴データベース110のレコードには、異音の特徴情報が格納される。
【0051】
図8では、表の各要素は、自然言語で例示されている。しかし、表の各要素は、例えば、自然言語に類似した擬似言語であって、異音処理部102Bが解釈(インタプリタで解析)可能な文法にしたがって記載されればよい。すなわち、擬似言語を処理するインタプリタが異音の分類および装置の異常情報として記載された情報を解釈し、異音処理部102Bに引き渡せばよい。あるいは、表の各要素は、さらに、細分化され、例えば、リレーショナルデータベースに格納されてもよい。
【0052】
このように、異音特徴データベース110では、異音の特徴から、異音発生時の装置の
異常の有無、種別、原因、およびその詳細を特定できる。異音特徴データベース110は、過去の装置の異常時における装置から発する異音の分類項目と、装置の異常との関係を対応づけたものである。なお、異音特徴データベース110は、装置が使用される期間の経過に伴う異常の発生により、更新されるデータベースである。また、
図8では、異音特徴データベース110が表形式で記載されている。しかし、本実施の形態において、異音特徴データベース110が表形式のデータベースに限定される訳ではない。例えば、異音特徴データベース110は、テキストまたは記号によって、「IF」 「THEN」 「ELSE」のルールで記述されたルールベースであってもよい。
【0053】
例えば、
図8の1行目のレコードは、ルールベースでは、IF 「異音の発生状況」が「連続的」AND「異音の特徴」が「周波数F2Hz~F3Hzの範囲でQ1dB以上の強度変化」AND「異音の発生源の構成要素」が「ベアリングB1」THEN 「異常の原因」は「玉または玉受けの不良」のように特定される。また、「異常の詳細」は「玉または玉受けの(1)傷(2)異物混入」のように特定される。
【0054】
なお、ベアリングで発生する音の周波数については、五十嵐昭男, 浜田啓好、「欠陥をもつころがり軸受の振動・音響に関する研究-1-1個のきずがある玉軸受の振動〔含 討論
〕」、日本機械学会論文集. C編 47(422) 1981.10 pp.1327
~1336に報告がある。この報告では、内輪の傷により発生する振動パルスの周波数fiは、
z*fi=z*fr*(1/2)*(1+(d/D)cosα); (式1)
で計算できる。また、玉の傷により発生する振動パルスの周波数fbは、
2*fb=fr*(D/d)*(1+(d2/D2)cos2α); (式2)
で計算できる。ここで、frはベアリングの回転速度(Hz)であり、zはベアリング内の玉の
個数であり、Dはピッチ円の直径(mm)であり、dは玉の直径(mm)であり、αは接触角(度)である。したがって、例えば、ベアリングの傷と、傷を有するベアリングから発生する音との関係は実験的または理論的に特定可能である。
【0055】
なお、ベアリングが異常のときに発生する音の周波数等の特徴は、式1、式2のような研究成果によらず、実際の異常のときに取得可能であることは当然である。また、ベアリングの音に限らず、様々な装置の各部の構成要素が異常のときに生じる音の周波数、強度、周波数と強度の変化、発生状況等の特徴は、それぞれの異常発生時に集音される音から特定できることは当然である。
【0056】
(処理フロー)
図9は、情報システム100が実行する装置の異常検知処理を例示するフローチャートである。情報システム100は、前処理部101により、装置から収集した所定区間の音データから装置の挙動単位に対応する部分区間の音データを抽出する(S1)。この処理では、情報システム100は、例えば、装置から収集した所定区間の音データからから
図4の学習モデルAによりトリガ音を検知し、検知したトリガ音により、装置挙動単位に対応する部分区間の音データを抽出する。S1の処理は、所定区間の音から装置の動作または状態変化に対応する部分区間の音を抽出することの一例である。
【0057】
次に、情報システム100は、前処理部101により、所定区間の音データの強度を補正する(S2)。この処理は、
図6に例示したように、例えば、S1で検知されたトリガ音である入力データSD1と、基準データSD0との比較により、部分区間の音データの強度を調整する処理である。S2の処理は、抽出した部分区間の音の強度を調整することの一例である。
【0058】
そして、情報システム100は解析・診断部102の異音検知部102Aにより、S2
の処理で補正された部分区間の音データから異音を検知する(S3)。この処理では、情報システム100の異音検知部102Aが、例えば、教師なしの学習済みモデルBにより、異音を検知する。ただし、異音を検知する方法が、教師なしの学習済みモデルBに限定される訳ではないことは、
図4おいて説明した通りである。
【0059】
そして、情報システム100は、S3の処理で異音が検知されたか否かを判定する(S4)。異音が検知されると(S4でY)、情報システム100は、解析・診断部102の異音処理部102Bにより、異音を含む音データの特徴情報と、異音特徴DBとを照合する(S5)。そして、異音を含む音データの特徴情報が異音特徴データベース110の異音の分類として含まれているか否かを判定する(S6)。
【0060】
そして、異音を含む音データの特徴情報が異音特徴データベース110の異音の分類として含まれているとき(S6でY)、情報システム100は、異音の分類に対応する装置の異常情報を取得する(S7)。そして、情報システム100は、レポート出力部103により、装置の異常の種別、現象、異常の原因、および装置の異常に関連するデータを含むレポートをネットワークN1上のウェブサイト、表示装置14または保守員のデバイス等に出力する(S8)。
【0061】
一方、異音を含む音データの特徴情報が異音特徴データベース110の異音の分類として含まれていない場合(S6でN)の処理は以下の通りである。この場合、情報システム100は、エラーを上記ウェブサイト、表示装置14または保守員のデバイス等に出力し、関連部門への解析を依頼する(S9)。その後、情報システム100は、処理を終了する。
【0062】
(実施の形態の効果)
情報システム100は、装置の動作または状態変化である装置挙動に伴って発生する音(トリガ音)と装置挙動との関係を学習した学習済みモデルA(第1の学習済みモデル)に装置から取得した所定区間の音を入力する。そして、情報システム100は、所定区間の音を装置挙動に伴って発生する音によって部分区間に区切り、それぞれの装置挙動に対応する音データを抽出する。したがって、情報システム100は、属人的な手順によらず、学習済みモデルAによる音データの判定により、装置挙動単位に対応する部分区間で発生した音データD2(
図4参照)を抽出できる。
【0063】
また、情報システム100は、装置が正常であるときに収集された部分区間の音を基に部分区間において装置に異常があるか否かを判定する。したがって、情報システム100は、属人的な手順によらず、装置挙動ごとの異音データD3(
図4参照)を抽出できる。
【0064】
また、情報システム100は、装置に異常があると判定された部分区間の音データ(異音データD3)の特徴情報と異常の有無、種別、原因、およびその詳細との関係を対応づけた異音特徴データベース110とを照合する。情報システム100は、この照合により、装置に異常があるか否かを判定する。そして、装置に異常がある場合に異常の種別を特定し、異常の原因と、詳細を異音特徴データベース110から取得し、レポートを出力できる。
【0065】
また、情報システム100は、装置の動作または状態変化である装置挙動に伴って発生する音(トリガ音)を基に、取得した部分区間の音データD2(
図4参照)の強度を調整する。したがって、情報システム100は、解析・診断部102による処理が容易なデータとなるように、装置から集音された音データを変換できる。
【0066】
また、異音特徴データベース110のレコードの各要素に格納される特徴情報は、抽出
した部分区間の音の強度、特定の周波数の有無、特定の周波数の強度、音の強度の変化の特性、周波数の強度の変化の特性、音の強度の変化の特性が観測される時間の長さ、および、周波数の強度の変化の特性が観測される時間の長さの少なくとも1つを含む。情報システム100は、このような特徴情報により、装置に異常があると判定された部分区間の異音データD3の特徴情報と異常の種別との関係を対応づけた異音特徴データベース110とを照合し、異常を特定できる可能性を高めることができる。
【0067】
また、情報システム100は、装置の構成要素が発する音と構成要素との関係を学習した学習済みモデルC(第2の学習済みモデル)に異音データD3(
図4参照)を入力する。情報システム100は、これによって異音を含む部分区間に含まれる音を発する構成要素を特定し、特徴情報とする。これにより、情報システム100は、装置に異常があると判定された部分区間の異音データD3の発生源を特定できる。その結果、情報システム100は、異常を特定できる可能性を高めることができる。
【0068】
さらに、本実施の形態によれば、以下の課題が解決される。
(1)情報システム100は、装置の安定稼動の可能性を高めることができる。すなわち、情報システム100により、保守員は異常の根拠をデータで明確にした装置診断結果を含むレポートをユーザに報告することが可能となる。これにより、情報システム100は、納得感のある保守提案に結び付け、適切な保守を実施することにより、装置の安定稼動を実現する。
【0069】
(2)情報システム100は、装置診断技術の平準化と属人化の解消を図ることができる。すなわち、情報システム100は、音データによる診断を行うことで、熟練度によるばらつきを解消するとともに、音による診断基準を形式化し蓄積する。
【0070】
(3)情報システム100による処理は、旧型・既納装置への適用が可能である。例えば、装置保守に関するログデータを出力する機能が無い、もしくは詳細なログデータを持たない旧型の装置にも、情報システム100による処理が適用できる。
【0071】
<第2の実施の形態>
図10は、第2の実施の形態に係る情報システム100の利用方法を例示する。上記第1の実施の形態では、保守員がユーザサイトを訪問し、保守対象の装置から集音用のデバイスを用いて集音した音を活用する情報システム100が例示された。しかし、情報システム100の利用はこのような態様に限定される訳ではない。例えば、ユーザサイトに設置されたエッジデバイスが常時または所定のタイミングで装置から集音してもよい(B1)。エッジデバイスがネットワークを通じて、集音した音データを情報システム100に送信するようにすればよい。この場合に音データを受信した情報システム100の処理は、第1の実施の形態と同様である。
【0072】
エッジデバイスの種類に限定はない。エッジデバイスは、ネットワークを通じて情報システム100と通信する機能と、集音する機能を有するものであればどのような種類、構成のものでもよい。エッジデバイスの構成は、例えば、
図2に例示した情報処理装置1にマイクロフォンを追加したものが例示される。エッジデバイスとしては、例えば、汎用のパーソナルコンピュータ、モバイル端末が例示される。ただし、エッジデバイスとしては、マイクロフォンと通信装置とを組み合わせた専用のデバイスであってもよい。また、エッジデバイスがアクセス可能なネットワークは、インターネット等の公衆ネットワーク、Virtual Private Network(VPN)等の専用ネットワークのいずれでもよい。ネットワ
ークの一部に無線通信網が含まれてもよい。例えば、エッジデバイスが携帯電話網にアクセスできるものでもよい。また、無線Local Area Network(LAN)、Bluetooth(登録
商標)にアクセスできるものでもよい。
【0073】
図10のような利用の形態を採ることで、ユーザに装置の保守サービスを時間的に切れ目なく継続的に提供するとともに、情報システム100に組み込まれた過去の異常発生時の音データを活用することができる。
【0074】
<コンピュータが読み取り可能な記録媒体>
コンピュータその他の機械、装置(以下、コンピュータ等)に上記いずれかの機能を実現させるプログラムをコンピュータ等が読み取り可能な記録媒体に記録することができる。そして、コンピュータ等に、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。
【0075】
ここで、コンピュータ等が読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータ等から読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータ等から取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、CD-ROM、CD-R/W、DVD、ブルーレイディスク、DAT、8mmテープ、フラッシュメモリなどのメモリカード等がある。また、コンピュータ等に固定された記録媒体としてハードディスク、ROM(リードオンリーメモリ)等がある。さらに、SSD(Solid State Drive)は、コンピュータ等から取り外し可能な記録媒体としても、コンピュータ
等に固定された記録媒体としても利用可能である。
【0076】
<その他>
本明細書は、下記態様(付記)を開示する。
(付記1)
装置の動作または状態変化に伴って発生する音と前記装置の動作または状態変化との関係を学習した第1の学習済みモデルに前記装置から取得した所定区間の音を入力することによって前記取得した所定区間の音から前記装置の動作または状態変化に対応する部分区間の音を抽出することと、
前記装置が正常であるときに収集された音を基に前記部分区間において前記装置に異常があるか否かを判定することと、を実行する制御部を備える情報処理装置。
(付記2)
前記制御部は、前記装置に異常があるときの前記装置の音の特徴情報と前記異常との関係を対応づけたデータベースと、前記装置に異常があると判定された前記部分区間の音とを照合することにより、前記異常を特定することと、
前記特定された前記異常に関連する情報を出力することと、を実行する請求項1に記載の情報処理装置。
(付記3)
前記制御部は、前記装置の動作または状態変化に伴って発生する音を基に、前記抽出した部分区間の音の強度を調整することをさらに実行する請求項1に記載の情報処理装置。(付記4)
前記特徴情報は、前記抽出した部分区間の音の強度、特定の周波数の有無、特定の周波数の強度、音の強度の変化の特性、周波数の強度の変化の特性、前記音の強度の変化の特性が観測される時間の長さ、および、前記周波数の強度の変化の特性が観測される時間の長さの少なくとも1つを含む請求項2に記載の情報処理装置。
(付記5)
前記制御部は、前記装置の構成要素が発する音と前記構成要素との関係を学習した第2の学習済みモデルに前記抽出した部分区間の音を入力することによって前記抽出した部分区間に含まれる音を発する構成要素を特定することをさらに実行し、
前記特徴情報は前記抽出した部分区間に含まれる音を発する構成要素を指定する項目を含む請求項2に記載の情報処理装置。
(付記6)
コンピュータが、装置の動作または状態変化に伴って発生する音と前記装置の動作または状態変化との関係を学習した第1の学習済みモデルに前記装置から取得した所定区間の音を入力することによって前記取得した所定区間の音から前記装置の動作または状態変化に対応する部分区間の音を抽出することと、
前記装置が正常であるときに収集された音を基に前記部分区間において前記装置に異常があるか否かを判定することと、を実行する情報処理方法。
(付記7)
コンピュータが、
前記装置に異常があるときの前記装置の音の特徴情報と前記異常との関係を対応づけたデータベースと、前記装置に異常があると判定された前記部分区間の音とを照合することにより、前記異常を特定することと、
前記特定された前記異常に関連する情報を出力することと、を実行する請求項6に記載の情報処理方法。
(付記8)
コンピュータが、前記装置の動作または状態変化に伴って発生する音を基に、前記抽出した部分区間の音の強度を調整することをさらに実行する請求項6に記載の情報処理方法。
(付記9)
前記特徴情報は、前記抽出した部分区間の音の強度、特定の周波数の有無、特定の周波数の強度、音の強度の変化の特性、周波数の強度の変化の特性、前記音の強度の変化の特性が観測される時間の長さ、および、前記周波数の強度の変化の特性が観測される時間の長さの少なくとも1つを含む請求項7に記載の情報処理方法。
(付記10)
コンピュータが、前記装置の構成要素が発する音と前記構成要素との関係を学習した第2の学習済みモデルに前記抽出した部分区間の音を入力することによって前記抽出した部分区間に含まれる音を発する構成要素を特定することをさらに実行し、
前記特徴情報は前記抽出した部分区間に含まれる音を発する構成要素を指定する項目を含む請求項7に記載の情報処理方法。
(付記11)
コンピュータに、装置の動作または状態変化に伴って発生する音と前記装置の動作または状態変化との関係を学習した第1の学習済みモデルに前記装置から取得した所定区間の音を入力することによって前記取得した所定区間の音から前記装置の動作または状態変化に対応する部分区間の音を抽出することと、
前記装置が正常であるときに収集された音を基に前記部分区間において前記装置に異常があるか否かを判定することと、を実行させるためのプログラム。
(付記12)
コンピュータに、前記装置に異常があるときの前記装置の音の特徴情報と前記異常との関係を対応づけたデータベースと、前記装置に異常があると判定された前記部分区間の音とを照合することにより、前記異常を特定することと、
前記特定された前記異常に関連する情報を出力することと、を実行させるための請求項11に記載のプログラム。
(付記13)
コンピュータに、前記装置の動作または状態変化に伴って発生する音を基に、前記抽出した部分区間の音の強度を調整することをさらに実行させるための請求項11に記載のプログラム。
(付記14)
前記特徴情報は、前記抽出した部分区間の音の強度、特定の周波数の有無、特定の周波数の強度、音の強度の変化の特性、周波数の強度の変化の特性、前記音の強度の変化の特性が観測される時間の長さ、および、前記周波数の強度の変化の特性が観測される時間の
長さの少なくとも1つを含む請求項12に記載のプログラム。
(付記15)
コンピュータに、前記装置の構成要素が発する音と前記構成要素との関係を学習した第2の学習済みモデルに前記抽出した部分区間の音を入力することによって前記抽出した部分区間に含まれる音を発する構成要素を特定することをさらに実行させ、
前記特徴情報は前記抽出した部分区間に含まれる音を発する構成要素を指定する項目を含む請求項12に記載のプログラム。
【符号の説明】
【0077】
1 情報処理装置
11 CPU
12 主記憶装置
13 外部記憶装置
14 表示装置
15 操作装置
16 通信装置
100 情報システム
101 前処理部
102 解析・推論部
102A 異音検知部
102B 異音処理部
103 レポート出力部
104 学習システム
110 異音特徴データベース