特開 2025-3186 学習方法、学習装置、診断装置及び診断システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2025003186

(43)【公開日】2025-01-09

(54)【発明の名称】学習方法、学習装置、診断装置及び診断システム

(51)【国際特許分類】

   G05B 23/02 20060101AFI20241226BHJP

   G01H 17/00 20060101ALI20241226BHJP

【ＦＩ】

G05B23/02 302R

G01H17/00 Z

【審査請求】未請求

【請求項の数】14

【出願形態】ＯＬ

(21)【出願番号】P 2023103717

(22)【出願日】2023-06-23

(71)【出願人】

【識別番号】000000974

【氏名又は名称】川崎重工業株式会社

(71)【出願人】

【識別番号】504190548

【氏名又は名称】国立大学法人埼玉大学

(74)【代理人】

【識別番号】110000556

【氏名又は名称】弁理士法人有古特許事務所

(72)【発明者】

【氏名】神田 宏和

(72)【発明者】

【氏名】小椋 凌

(72)【発明者】

【氏名】山川 翔平

(72)【発明者】

【氏名】竹田 航哉

(72)【発明者】

【氏名】駒崎 峻

(72)【発明者】

【氏名】坂本 隆名

(72)【発明者】

【氏名】島村 徹也

(72)【発明者】

【氏名】安井 希子

【テーマコード（参考）】

2G064

3C223

【Ｆターム（参考）】

2G064AA01

2G064AB01

2G064AB02

2G064AB13

2G064BA02

2G064BD02

2G064CC41

2G064DD02

3C223AA04

3C223AA05

3C223AA06

3C223BA01

3C223BB09

3C223CC01

3C223FF02

3C223FF08

3C223FF13

3C223FF16

3C223FF22

3C223FF26

3C223GG01

3C223HH02

3C223HH22

(57)【要約】

【課題】監視対象の状態の経時的な変化による検出精度の低下を低減する。
【解決手段】学習方法は、操業中のプラントでイベントが発生したときに前記プラントで発生する第１音データを取得することと、前記イベントの前のタイミング及び後のタイミングの一方又は両方での平常状態の前記プラントで発生する第２音データを取得することと、前記イベントに関する第１情報を取得することと、前記平常状態に関する第２情報を取得することと、前記第１データと前記第１情報とを用いた第１機械学習と、前記第２データと前記第２情報とを用いた第２機械学習とを前記学習モデルにさせることとを含む。前記学習モデルは、音のデータに関する情報を入力データとし、前記入力データに対応する前記イベント又は前記平常状態に関する情報を出力データとする。
【選択図】図１

【特許請求の範囲】

【請求項1】

操業中のプラントでイベントが発生したときに前記プラントで発生する音のデータである第１データを取得することと、
前記イベントの前のタイミング及び後のタイミングの一方又は両方での平常状態で操業する前記プラントで発生する音のデータである第２データを取得することと、
前記イベントに関する第１情報を取得することと、
前記平常状態に関する第２情報を取得することと、
前記第１データと前記第１情報とを用いて学習モデルに第１機械学習をさせることと、
前記第２データと前記第２情報とを用いて前記学習モデルに第２機械学習をさせることとを含み、
前記学習モデルは、音のデータに関する情報を入力データとし、前記入力データに対応する前記イベント又は前記平常状態に関する情報を出力データとする
学習方法。

【請求項2】

期間をあけて繰り返し前記プラントで発生する複数のイベントに関する、複数の前記第１データを取得することと、
前記複数のイベントの前のタイミング及び後のタイミングの一方又は両方での複数の平常状態に関する、複数の前記第２データを取得することと、
前記複数のイベントに関する前記第１情報を取得することと、
前記複数の平常状態に関する前記第２情報を取得することと、
前記複数のイベントそれぞれについて、前記第１機械学習と、前記第２機械学習とを、前記学習モデルにさせることとをさらに含む
請求項１に記載の学習方法。

【請求項3】

人為的作用により音が発生する前記イベントを発生させることをさらに含む
請求項１に記載の学習方法。

【請求項4】

音信号の強度及び発生時間を含む前記第１データを変換して、複数の周波数帯域毎に音信号を強度及び発生時間で表す第１変換データを生成することと、
音信号の強度及び発生時間を含む前記第２データを変換して、複数の周波数帯域毎に音信号を強度及び発生時間で表す第２変換データを生成することと、
前記第１機械学習において、前記第１データ及び前記第１変換データの一方又は両方を用いることと、
前記第２機械学習において、前記第２データ及び前記第２変換データの一方又は両方を用いることとをさらに含む
請求項１から３のいずれか一項に記載の学習方法。

【請求項5】

前記第１データを処理して得られる音の時間波形に関する特徴量と、前記第１変換データを処理して得られる音の周波数特性に関する特徴量とを含む、音の特徴量である第１特徴量を生成することと、
前記第２データを処理して得られる音の時間波形に関する特徴量と、前記第２変換データを処理して得られる音の周波数特性に関する特徴量とを含む、音の特徴量である第２特徴量を生成することと、
前記第１機械学習において、前記第１特徴量を用いることと、
前記第２機械学習において、前記第２特徴量を用いることとをさらに含み、
前記学習モデルは、音の特徴量を入力データとする
請求項４に記載の学習方法。

【請求項6】

前記第１情報として、前記イベントが分類される第１グループの情報を取得することと、
前記第２情報として、前記平常状態が分類される第２グループの情報を取得することと、
前記第１機械学習において、前記第１情報に含まれる前記第１グループの情報を用いることと、
前記第２機械学習において、前記第２情報に含まれる前記第２グループの情報を用いることとをさらに含み、
前記学習モデルは、前記入力データに対応するグループの情報を出力データとする
請求項１に記載の学習方法。

【請求項7】

前記プラントに配置される音検出器によって検出される音信号又は音データを、前記第１データ及び前記第２データに用いることをさらに含む
請求項１に記載の学習方法。

【請求項8】

過去に前記プラントで発生した音データを蓄積した記憶装置から、前記第１データ及び前記第２データを取得することをさらに含む
請求項１に記載の学習方法。

【請求項9】

請求項１に記載の学習方法により機械学習される前記学習モデルを含む処理回路を含む
学習装置。

【請求項10】

請求項１に記載の学習方法により機械学習される前記学習モデルを含む処理回路を含み、
前記処理回路は、前記学習モデルを用いて前記プラントの状態の診断を実行し、
前記処理回路は、前記プラントに配置される音検出器によって検出される音信号又は音データの情報を、前記学習モデルに入力し、前記学習モデルの出力データに基づき、前記プラントの状態を診断し、診断結果を出力する
診断装置。

【請求項11】

前記処理回路は、前記診断結果が前記プラントが平常状態でないことを示す場合に、警報の発令の指令を出力する
請求項１０に記載の診断装置。

【請求項12】

ユーザによる情報の入力を受け付ける入力装置をさらに含み、
前記処理回路は、前記入力装置から、前記警報が誤報であることを示す誤報情報を受け取ると、前記警報に対応する出力データを出力した前記学習モデルの入力データと、前記誤報情報とを用いて、前記学習モデルに機械学習をさせ、前記学習モデルを更新する
請求項１１に記載の診断装置。

【請求項13】

前記処理回路は、機械学習により前記学習モデルを構築することをさらに実行し、
前記処理回路は、前記学習方法により前記学習モデルに機械学習をさせることで、前記学習モデルを更新する
請求項１０に記載の診断装置。

【請求項14】

請求項１０に記載の診断装置と、
前記プラントと、
前記プラントに配置される音検出器とを備える
診断システム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、学習方法、学習装置、診断装置及び診断システムに関する。

【背景技術】

【0002】

例えば、特許文献１は、発電プラントの異常監視装置を開示する。異常監視装置は、音響センサにより検出された監視対象の音響の測定値を分析処理して安定化させ、安定化後の測定結果から、予め測定された正常音の分析結果を減じることで、監視対象の異常音を検出する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平９－１６６４８３号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１の異常監視装置は、監視対象の状態の経時的な変化により正常音が変化すると、異常の検出精度を低下させる可能性がある。本開示は、監視対象の状態の経時的な変化による検出精度の低下を低減する学習方法、学習装置、診断装置及び診断システムを提供する。

【課題を解決するための手段】

【0005】

本開示の一態様に係る学習方法は、操業中のプラントでイベントが発生したときに前記プラントで発生する音のデータである第１データを取得することと、前記イベントの前のタイミング及び後のタイミングの一方又は両方での平常状態で操業する前記プラントで発生する音のデータである第２データを取得することと、前記イベントに関する第１情報を取得することと、前記平常状態に関する第２情報を取得することと、前記第１データと前記第１情報とを用いて学習モデルに第１機械学習をさせることと、前記第２データと前記第２情報とを用いて前記学習モデルに第２機械学習をさせることとを含み、前記学習モデルは、音のデータに関する情報を入力データとし、前記入力データに対応する前記イベント又は前記平常状態に関する情報を出力データとする。

【図面の簡単な説明】

【0006】

【図1】図１は、例示的な実施の形態に係る診断システムの構成の一例を示す図である。

【図2】図２は、音の強度及び音の発生時間で音信号を表す第１音データの一例を示す図である。

【図3】図３は、診断装置による処理後の第３音データの一例を示す図である。

【図4】図４は、実施の形態に係る診断装置の学習モードでの動作の一例を示すフローチャートである。

【図5】図５は、実施の形態に係る診断装置の学習モードでの動作の一例を示すフローチャートである。

【図6】図６は、実施の形態に係る診断装置の学習モードでの動作の一例を示すフローチャートである。

【図7】図７は、プラントが非平常状態である場合の音のデータの状態の一例を示す図である。

【図8】図８は、人為的作用により音が付与される場合の音のデータの状態の一例を示す図である。

【発明を実施するための形態】

【0007】

以下において、本開示の例示的な実施の形態を、図面を参照しつつ説明する。以下で説明する実施の形態は、いずれも包括的又は具体的な例を示すものである。以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。添付の図面における各図は、模式的な図であり、必ずしも厳密に図示されたものでない。各図において、実質的に同一の構成要素に対しては同一の符号を付しており、重複する説明は省略又は簡略化される場合がある。本明細書及び請求項では、「装置」とは、１つの装置を意味し得るだけでなく、複数の装置を含むシステムも意味し得る。「装置」は、「設備」も含み得る。

【0008】

［診断システムの構成］
図１を参照しつつ、例示的な実施の形態に係る診断システム１００の構成を説明する。図１は、例示的な実施の形態に係る診断システム１００の構成の一例を示す図である。診断システム１００は、プラント１の操業中、プラント１を構成する設備及び機械が発する音を監視することで、プラント１の異常の有無を診断する。診断システム１００は、音検出器１１０と、診断装置１２０と、入力装置１３０と、出力装置１４０とを構成要素として含む。診断システム１００は、上述した構成要素の全てを含む必要はない。診断システム１００は、プラント１を含んでもよい。プラント１は、監視対象の一例であり、診断装置１２０は、学習装置の一例である。

【0009】

プラント１は、操業中に音を発生するものであればよい。プラント１の例は、産業プラント、化学プラント及び環境プラントを含み得る。産業プラントの例は、食品工場、製薬工場、製鉄工場、セメント工場及び発電所等を含み得る。化学プラントの例は、化学工場、石油化学工場、石油精錬工場及びガス精錬工場等を含み得る。環境プラントの例は、廃棄物処理場及び下水処理場等を含み得る。

【0010】

プラント１が廃棄物処理場であると例示して、本実施の形態を説明する。プラント１は、発電装置１１と、焼却炉１２と、ボイラー１３と、これらを内部に含む建屋１４とを含む。焼却炉１２は、バイオマスを含む燃料又は廃棄物を受け入れて燃焼する。焼却炉１２で発生する燃焼ガスである排ガスは、ボイラー１３に送られる。ボイラー１３では、ボイラー１３内を流れる水が排ガスの熱により蒸発させられる。蒸気は、発電装置１１に送られ、発電装置１１内のタービン１１ａを回転する。これにより、発電装置１１は電力を生成する。プラント１は、燃料又は廃棄物を貯留する貯留槽、及び、貯留槽内の燃料又は廃棄物を焼却炉１２に移送するクレーン等の移送装置をさらに含み得る。

【0011】

音検出器１１０は、発電装置１１、焼却炉１２及びボイラー１３等のプラント１の設備又は機械が操業中に発生する音を検出できる位置に配置される。例えば、音検出器１１０は、建屋１４内において、上記の設備又は機械が配置される操業スペースに配置される。例えば、音検出器１１０は、上記の設備又は機械に取り付けられてもよく、上記の設備又は機械の近傍に配置されてもよい。

【0012】

音検出器１１０は、診断装置１２０と有線通信、無線通信、又は、無線通信及び有線通信の組み合わせを介して接続される。いかなる有線通信及び無線通信が用いられてもよい。音検出器１１０は、診断装置１２０に対して指令、情報及びデータ等を送受信することができる。例えば、音検出器１１０は、受信する指令に従って音の検出を実行し、検出結果を診断装置１２０に送信する。

【0013】

音検出器１１０は、マイクロフォンを含み、周囲の音を検出することができる。マイクロフォンのタイプは特に限定されない。マイクロフォンのタイプの例は、動電型、圧電型、及びコンデンサ型を含み得る。音検出器１１０は、マイクロフォンによって検出される音信号を診断装置１２０に送信可能な音データに変換する変換器をさらに含んでもよいが、必須ではない。音信号は、音を表す信号であり、音の強度を表してもよい。音データは、計測期間内の音信号の強度を時系列的に含んでもよい。音の強度の例は、音圧レベル、及び音の振幅等を含み得る。音の強度は、音のパワーとも呼ばれ得る。変換器は、回路、コンピュータ、又は、回路及びコンピュータの組み合わせを含み得る。音検出器１１０は、騒音計等の既存の検出器であってもよく、診断システム１００に専用に設計された検出器であってもよい。

【0014】

入力装置１３０は、いかなる場所に配置されてもよい。入力装置１３０は、診断装置１２０と有線通信、無線通信、又は、無線通信及び有線通信の組み合わせを介して接続される。いかなる有線通信及び無線通信が用いられてもよい。入力装置１３０は、診断装置１２０に対して指令、情報及びデータ等を送受信することができる。例えば、入力装置１３０は、ユーザによる入力を受け付け、入力内容に対応する指令、情報及びデータ等を診断装置１２０に送信する。入力装置１３０は、ユーザの操作を介して入力が与えられる装置として、ボタン、レバー、ダイヤル、ジョイスティック、マウス、キー、タッチパネル、マイクロフォン及びモーションキャプチャ等のうちの１つ以上を含んでもよい。入力装置１３０は、端末装置であってもよい。端末装置の例は、スマートフォン及びタブレットなどのスマートデバイス、個人情報端末、その他の端末装置、これらを利用する装置、並びに、これらを改良した装置等であってもよい。

【0015】

出力装置１４０は、いかなる場所に配置されてもよい。出力装置１４０は、診断装置１２０と有線通信、無線通信、又は、無線通信及び有線通信の組み合わせを介して接続される。いかなる有線通信及び無線通信が用いられてもよい。出力装置１４０は、診断装置１２０に対して指令、情報及びデータ等を送受信することができる。例えば、出力装置１４０は、診断装置１２０から受信する情報及びデータ等を、視覚的、聴覚的、又は、これらの両方で出力することができる。出力装置１４０は、ディスプレイ、プロジェクタ、発光ランプ、インジケータ及びスピーカ等のうちの１つ以上を含んでもよい。出力装置１４０は、ディスプレイ及びプロジェクタの１つ以上を介して画像を出力し、スピーカを介して音声を出力してもよい。ディスプレイの例は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）及び無機ＥＬを含み得る。

【0016】

診断装置１２０は、音検出器１１０の検出結果を示す音信号又は音データを音検出器１１０から受信し、当該音信号又は音データを処理して、検出結果が示すプラント１の状態を診断する。診断装置１２０は、診断結果を含む情報及びデータ等を、出力装置１４０及び外部機器等のうちの１つ以上に出力してもよい。外部機器は、診断システム１００の外部の機器であってもよい。

【0017】

本実施の形態では、診断装置１２０の例は、電子回路基板、電子制御ユニット、マイクロコンピュータ、パーソナルコンピュータ、ワークステーション、スマートフォン及びタブレットなどのスマートデバイス、並びに、その他の電子機器等を含み得る。

【0018】

診断装置１２０及び音検出器１１０等の、機能を実行する装置は、回路又は処理回路を含み得る。回路は、処理回路を含んでもよい。処理回路又は回路は、プロセッサＰ及び記憶装置Ｍ等を含む。本実施の形態では、診断装置１２０は、処理回路を含み、プロセッサＰ及び記憶装置Ｍを含む。処理回路又は回路は、他の装置との指令、情報及びデータ等の送受信を行う。処理回路又は回路は、種々の装置からの信号の入力及び制御対象への制御信号の出力を行う。

【0019】

記憶装置Ｍは、メモリ、ストレージ、又は、メモリ及びストレージの両方を含んでもよい。メモリの例は、ＲＡＭ（Random Access Memory）等の揮発性の半導体メモリ及びＲＯＭ（Read-Only Memory）等の不揮発性の半導体メモリを含み得る。ストレージの例は、フラッシュメモリ等の半導体メモリ、ハードディスク及びＳＳＤ（Solid State Drive）を含み得る。例えば、記憶装置Ｍは、処理回路又は回路が実行するプログラム、及び種々のデータ等を記憶する。

【0020】

診断装置１２０及び音検出器１１０が有する複数の機能の少なくとも一部の機能は、プロセッサＰ及び記憶装置Ｍ等の協働により実現されてもよい。プロセッサＰと、ＲＡＭ及びＲＯＭを含むメモリとは、コンピュータシステムの構成要素として機能し得る。例えば、コンピュータシステムは、プロセッサＰがＲＡＭをワークエリアとして用いてＲＯＭに記録されたプログラムを実行することによって、上記機能を実現してもよい。

【0021】

診断装置１２０及び音検出器１１０が有する機能の一部又は全部は、コンピュータシステムにより実現されてもよく、電子回路又は集積回路等の専用のハードウェア回路により実現されてもよく、コンピュータシステム及びハードウェア回路の組み合わせにより実現されてもよい。診断装置１２０及び音検出器１１０はいずれも、単一の処理回路又は回路による集中制御により処理を実行してもよく、複数の処理回路又は回路の協働による分散制御により処理を実行してもよい。

【0022】

限定されないが、例えば、プロセッサＰは、ＣＰＵ（中央処理装置）、ＭＰＵ（Micro Processing Unit）、ＧＰＵ（Graphic s Processing Unit）、マイクロプロセッサ（microprocessor）、プロセッサコア（processor core）、マルチプロセッサ（multiprocessor）、ＡＳＩＣ（Application-Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、及びリコンフィギュラブルプロセッサ等のうちの１つ以上を含み得る。プロセッサＰは、ＩＣ（Integrated Circuit）チップ及びＬＳＩ（Large Scale Integration）などの集積回路等に形成されたハードウェア回路である論理回路又は専用回路によって処理を実現してもよい。診断装置１２０及び音検出器１１０の複数の機能は、個別に１チップ化された集積回路によって実現されてもよい。診断装置１２０及び音検出器１１０の複数の機能は、一部又は全てを含むように１チップ化された集積回路によって実現されてもよい。

【0023】

診断装置１２０は、診断モードと学習モードとで動作することができる。診断装置１２０は、入力装置１３０から受け取る指令に従って、診断モード又は学習モードで動作する。診断モードは、プラント１の設備又は機械が発生する音が、通常運転中、つまり平常状態に発生する音であるか否かを、学習モデルＬＭを用いて診断するモードである。学習モードは、プラント１の設備又は機械に生じるイベント音を、学習モデルＬＭに機械学習をさせるモードである。学習モードでは、機械学習により学習モデルＬＭが構築される。学習モデルＬＭは、診断装置１２０に含まれ、診断装置１２０の記憶装置Ｍに記憶される。

【0024】

イベント音は、プラント１の設備又は機械が平常状態で発生しない音である。イベント音は、プラント１の設備又は機械が非平常状態に発生する音、及び、人為的作用により付与される音を含む。

【0025】

非平常状態の例は、プラント１の設備又は機械が故障した状態、プラント１の設備又は機械の一部が運転し他の一部が停止した状態、プラント１の設備又は機械の部品等の構成要素が交換時期又は耐用寿命に至っている状態、プラント１の設備又は機械の起動又は停止のための運転状態、プラント１の設備又は機械の点検のための運転状態、プラント１の設備又は機械のキャリブレーション中の運転状態、及び、プラント１の設備又は機械の緊急停止の際の運転状態等を含み得る。

【0026】

人為的作用の例は、ユーザによるプラント１の設備又は機械の緊急停止、ユーザによる運転中のプラント１の設備又は機械の一部の停止、ユーザによるプラント１の設備又は機械への衝撃又は振動の付与、及び、ユーザによるプラント１の設備又は機械への音の付与等を含み得る。衝撃又は振動の付与の例は、手持ちハンマー等の工具による打撃、及び、振動工具又は振動を発生する機械若しくは装置の接触等を含み得る。音の付与の例は、プラント１の設備又は機械以外の音を発生する機械若しくは装置による音の発生等を含み得る。

【0027】

人為的作用に起因するイベント音の発生は、プラント１の管理者、操作者又は点検者等のユーザによって定期的又は不定期的に繰り返し行われる。これは、プラント１の設備又は機械の経時的な変化に対応したイベント音の情報を取得するためである。定期的な期間の単位の例は、１ヶ月単位、数か月単位、半年単位、１年単位、数年単位、５年単位、１０年単位等を含み得る。

【0028】

本実施の形態では、学習モデルＬＭは、プロセッサＰによって実行されることによって機能するプログラムであるが、これに限定されない。例えば、学習モデルＬＭは、イベント音に関する情報を記憶して蓄積する記憶装置Ｍの記憶領域であってもよい。本実施の形態では、イベント音に関する情報は、学習モデルＬＭが機械学習で使用する学習用データＬＤとして記憶装置Ｍに蓄積される。

【0029】

本実施の形態では、学習モデルＬＭは、分類モデルであり、教師ありの機械学習を行う。学習モデルＬＭは、音の特徴量と、当該音が分類される分類グループとを用いて、機械学習する。分類グループは、教師データである。分類グループは、イベント音を含むグループと、イベント音を含まないグループとを含む。イベント音を含むグループは、複数のグループに分類され得る。イベント音を含むグループの例は、プラント１の設備又は機械が異常状態であるグループ、プラント１の設備又は機械が故障状態であるグループ、プラント１の設備又は機械の構成要素が交換時期の状態であるグループ、及び、上記構成要素が耐用寿命の状態であるグループ等を含み得る。

【0030】

学習モデルＬＭは、音の特徴量を入力データとし、当該音の分類グループを出力データとする。学習モデルＬＭは、既に学習済みの音の特徴量の特徴に基づき、入力された音の特徴量に対応する分類グループを決定する。機械学習では、学習モデルＬＭが音の特徴量を入力データとして出力する分類グループと、音の特徴に対応する教師データの分類グループとの誤差を小さくするように、学習モデルＬＭが調整されて更新される。つまり、学習モデルＬＭが最適化される。更新後の学習モデルＬＭは出力データの精度を向上する。分類グループは、第１情報及び第２情報の一例であり、第１グループ及び第２グループの一例である。

【0031】

学習モデルＬＭは、分類モデルに限定されず、他の学習モデルあってもよい。例えば、学習モデルＬＭは、クラスタリングモデルであってもよい。クラスタリングモデルは、教師なしの機械学習を行う。クラスタリングモデルは、音の特徴量間の類似度に基づいて、音をグループ分けする。

【0032】

学習モデルＬＭは、ニューラルネットワークを用いる学習モデルであってもよい。ニューラルネットワークを用いる学習モデルは、教師ありの機械学習を行うことができる。ニューラルネットワークを用いる学習モデルは、音の特徴量を入力データに設定し、分類グループの候補に対して当該音が該当する確率、音の内容の候補に対して当該音が該当する確率、又は、音の候補に対して当該音が該当する確率等の多様なデータを出力データに設定することができる。例えば、音の内容は、音が示すプラント１の設備又は装置の状態であってもよい。ニューラルネットワークを用いる学習モデルでも、学習モデルの出力データと教師データとの誤差を小さくするように、学習モデルが調整されて最適化される。

【0033】

音の特徴量は、診断装置１２０が音信号又は音データを処理することによって生成される。以下において、診断装置１２０による音信号からの音の特徴量の生成方法を説明する。診断装置１２０は、音検出器１１０によって検出される音信号のような音信号を、音の強度及び音の発生時間で表す２次元の音データである第１音データに変換する。第１音データは、音検出器１１０等によって時間経過と共に検出される複数の音信号の強度及び発生時間を互いに関連付けて含む。音検出器１１０が、音信号を第１音データへ変換してもよい。図２に、第１音データが例示される。図２は、音の強度Ｐ及び音の発生時間Ｔで音信号を表す第１音データの一例を示す図である。第１音データは、第１データ及び第２データの一例である。

【0034】

さらに、診断装置１２０は、第１音データを変換して、音信号を周波数、強度及び発生時間で表す３次元の音データである第２音データを生成する。第２音データは、各周波数の音を形成する音の強度及び発生時間の組を、当該周波数と関連付けて含む。例えば、診断装置１２０は、ウェーブレット変換及び短時間フーリエ変換等の変換手法を、第１音データから第２音データへの変換処理に用いる。ウェーブレット変換として、連続ウェーブレット変換（ＣＷＴ：Continuous Wavelet Transform）が用いられてよい。第２音データでは、音信号の周波数、強度及び発生時間は、例えば、Ｘ軸が時間Ｔであり、Ｙ軸が周波数Ｆであり且つＺ軸が強度Ｐである３次元座標空間によって表される。

【0035】

さらに、診断装置１２０は、第２音データを複数の周波数帯域に区分し、各周波数帯域の第２音データを２次元化して第３音データを生成する。限定されないが、本実施の形態では、診断装置１２０は、Ｙ軸の周波数Ｆを複数の周波数帯域に区分する。さらに、診断装置１２０は、は、複数の周波数帯域のそれぞれについて、同一の周波数帯域に含まれるデータをＸＺ平面上へ２次元化する。つまり、診断装置１２０は、は、同一の周波数帯域に含まれるデータを、ＸＺ平面に投影し、投影面上の２次元のデータを、当該周波数帯域の第３音データに決定する。本実施の形態では、図３に示すように、診断装置１２０は、第２音データを、３つの周波数帯域ＦＢ１、ＦＢ２及びＦＢ３の第３音データに変換する。周波数帯域ＦＢ１、ＦＢ２及びＦＢ３の周波数帯域は、この順で高くなる。図３は、診断装置１２０による処理後の第３音データの一例を示す図である。３つの周波数帯域ＦＢ１、ＦＢ２及びＦＢ３は、高周波帯域、中周波帯域及び低周波帯域を含む。周波数帯域の区分方法は、任意であり、例えば、第２音データ全体を含む周波数帯域が複数の周波数帯域に区分されてもよい。第３音データは、第１変換データ及び第２変換データの一例である。

【0036】

診断装置１２０は、第１音データと、全ての周波数帯域の第３音データとを用いて、音の特徴量を検出する。限定されないが、本実施の形態では、診断装置１２０は、音の特徴量として、時間波形特徴量と周波数特性特徴量とを検出する。時間波形特徴量は、第１音データの特徴を表し、周波数特性特徴量は、各周波数帯域の第３音データの特徴を表す。

【0037】

時間波形特徴量は、第１音データにおいて、フレームＦＬＡ内に含まれる音の強度の特徴量である。フレームＦＬＡは、所定の時間期間である。限定されないが、本実施の形態では、時間波形特徴量は、フレームＦＬＡ内に含まれる音の強度の統計値である。当該統計値は、フレームＦＬＡ内に含まれる第１音データの音の強度の特徴を表すものであればよい。当該統計値の例は、音の強度の平均値、標準偏差、最大値、最小値、中央値及び最頻値等を含み得る。周波数特性特徴量は、各周波数帯域の第３音データにおいて、フレームＦＬＢ内に含まれる音の強度の特徴量である。フレームＦＬＢは、所定の時間期間であり、本実施の形態では、フレームＦＬＡと同じであるが、これに限定されない。本実施の形態では、周波数特性特徴量は、フレームＦＬＢ内に含まれる音の強度の統計値である。当該統計値は、フレームＦＬＢ内に含まれる第３音データの音の強度の特徴を表すものであればよい。当該統計値の例は、音の強度の平均値、標準偏差、最大値、最小値、中央値及び最頻値等を含み得る。時間波形特徴量及び周波数特性特徴量で用いられる平均の例は、相加平均、累乗平均、相乗平均、調和平均及び加重平均等を含み得る。

【0038】

診断装置１２０は、第１音データ及び第３音データそれぞれにおいて、互いに異なる時間に複数のフレームＦＬＡ又はＦＬＢを設定する。本実施の形態では、複数のフレームＦＬＡの時間タイミングと、複数のフレームＦＬＢの時間タイミングとは、同じであるが、これに限定されない。フレームＦＬＡは、時間的に隣り合うフレームＦＬＡと連続してもよく、時間的に隣り合うフレームＦＬＡから時間的に離間してもよい。フレームＦＬＢは、時間的に隣り合うフレームＦＬＢと連続してもよく、時間的に隣り合うフレームＦＬＢから時間的に離間してもよい。時間的に連続する２つのフレームにおいて、後行フレームの始点が先行フレームの終点と一致してもよく、後行フレームの始点が先行フレームの途中に位置してもよい。後者の場合、後行フレームの一部が、先行フレームの一部と重なる。これにより、フレームの時間期間を大きくしながらも、多くのフレームを設定することができる。

【0039】

上述のように、診断装置１２０は、音信号から、時間波形特徴量及び周波数特性特徴量を、音の特徴量として生成する。

【0040】

診断装置１２０は、各モードにおいて、以下のように動作する。学習モードでは、診断装置１２０は、音信号又は音データから、イベント音を含む音信号又は音データと、イベント音を含まない音信号又は音データとを検出し、これらの音信号又は音データの組み合わせを、学習モデルＬＭの学習用データＬＤとして記憶装置Ｍに蓄積する。さらに、診断装置１２０は、イベント音を含む音信号又は音データの分類グループと、イベント音を含まない音信号又は音データの分類グループとを、該当する音信号又は音データと関連付けて記憶装置Ｍに蓄積する。

【0041】

診断装置１２０は、稼働中の音検出器１１０から、音信号又は音データをリアルタイムで受け取り、受け取った音信号又は音データから、イベント音を含む音信号又は音データと、イベント音を含まない音信号又は音データとを検出してもよい。診断装置１２０は、上記の音信号又は音データに関する分類グループの情報を入力装置１３０から受け取ってもよい。診断装置１２０は、音検出器１１０によって過去に検出された音信号又は音データを記憶する外部の記憶装置から、当該音信号又は音データを受け取り、当該音信号又は音データから、イベント音を含む音信号又は音データと、イベント音を含まない音信号又は音データとを検出してもよい。診断装置１２０は、上記の音信号又は音データに関する分類グループの情報を、外部の記憶装置から受け取ってもよく、入力装置１３０から受け取ってもよい。

【0042】

人為的作用によるイベント音の場合、診断装置１２０は、イベント音の前のタイミング及び後のタイミングの一方又は両方で検出される音信号又は音データを、イベント音を含まない音信号又は音データに決定してもよい。プラント１の設備又は機械の非平常状態でのイベント音の場合、診断装置１２０は、非平常状態が発生する前のタイミング及び非平常状態が解消された後のタイミングの一方又は両方で検出される音信号又は音データを、イベント音を含まない音信号又は音データに決定してもよい。

【0043】

診断装置１２０は、音信号又は音データにおいて、イベント音の開始タイミング及び終了タイミングが予め設定されていない場合、ユーザによって入力装置１３０に入力される指令に従って、イベント音の開始タイミング及び終了タイミングを決定してもよい。例えば、診断装置１２０は、音信号又は音データを処理して、第１音データ又は第３音データを生成し、当該音データを図表化して出力装置１４０に表示させてもよい。ユーザは、出力装置１４０に表示される音データの図表に基づき、イベント音の開始タイミング及び終了タイミングを決定できる。

【0044】

さらに、診断装置１２０は、イベント音を含む音信号又は音データを処理して、イベント音を含む音の時間波形特徴量及び周波数特性特徴量を、音の特徴量として生成する。診断装置１２０は、イベント音を含まない音信号又は音データを処理して、イベント音を含まない音の時間波形特徴量及び周波数特性特徴量を音の特徴量として生成する。診断装置１２０は、時間波形特徴量に加えて又は代わりに、時間波形特徴量の時間当たり変化量である時間微分値を生成してもよい。診断装置１２０は、周波数特性特徴量に加えて又は代わりに、周波数特性特徴量の時間当たり変化量である時間微分値を生成してもよい。

【0045】

診断装置１２０は、音信号若しくは音データと共に又は音信号若しくは音データの代わりに、時間波形特徴量、周波数特性特徴量、時間波形特徴量の微分値、及び、周波数特性特徴量の微分値の１つ以上を記憶装置Ｍに蓄積してもよい。

【0046】

診断装置１２０は、イベント音を含む音の特徴量を学習モデルＬＭに入力し、学習モデルＬＭが出力するデータと、教師データである上記イベントの分類グループとの差異を小さくするように、学習モデルＬＭを調整する。診断装置１２０は、イベント音を含まない音の特徴量を学習モデルＬＭに入力し、学習モデルＬＭが出力するデータと、教師データであるイベントに該当しない分類グループとの差異を小さくするように、学習モデルＬＭを調整する。診断装置１２０は、互いに隣り合う１つ以上のフレームのイベント音を含む音の特徴量を学習モデルＬＭに入力し、互いに隣り合う１つ以上のフレームのイベント音を含まない音の特徴量を学習モデルＬＭに入力する。学習モデルＬＭへの入力対象のフレーム数は、任意であるが、フレームの時間期間に応じて適宜設定され得る。学習モデルＬＭへの入力対象のフレーム数は、第３音データにおいて、イベント音の開始タイミングの前後の音の強度の挙動、イベント音の終了タイミングの前後の音の強度の挙動、及び、イベント音の強度の極大点の前後の音の強度の挙動のうちの１つ以上を含むような数量であってもよい。

【0047】

診断装置１２０は、調整後の学習モデルＬＭを記憶装置Ｍに記憶させることで、学習モデルＬＭを更新する。学習モデルＬＭは、イベント音を含む音の特徴量の特徴と、イベント音を含まない音の特徴量の特徴とを学習することができる。

【0048】

診断モードでは、診断装置１２０は、音検出器１１０から受信する検出音の音信号又は音データが、プラント１の設備又は機械が通常運転中に発生する音に該当するか否かを決定する。以下において、プラント１の設備又は機械が通常運転中に発生する音を、「プラント１の平常状態音」と呼ぶ場合がある。

【0049】

診断装置１２０は、音検出器１１０から受信する検出音の音信号又は音データを処理し、時間波形特徴量及び周波数特性特徴量を算出する。診断装置１２０は、入力対象のフレーム数のフレームそれぞれに含まれる時間波形特徴量及び周波数特性特徴量を学習モデルＬＭに入力する。本実施の形態では、診断装置１２０は、時間波形特徴量の時間微分値と、周波数特性特徴量とを学習モデルＬＭに入力する。学習モデルＬＭは、音検出器１１０から受信する検出音の音信号又は音データに対応する分類グループを出力する。診断装置１２０は、出力された分類グループに基づき、検出音がプラント１の平常状態音に該当するか否かを決定する。該当しない場合、診断装置１２０は、分類グループに対応するプラント１の状態を決定してもよい。

【0050】

診断装置１２０は、決定結果を出力装置１４０に送信し、出力装置１４０に決定結果を視覚的、聴覚的又はこれらの両方で出力させる。診断装置１２０は、検出音の音信号又は音データが、プラント１の平常状態音に該当しない場合のみ、出力装置１４０に決定結果を出力させてもよい。診断装置１２０は、このような決定結果をアラートとして出力装置１４０に出力させてもよい。

【0051】

図４から図６を参照しつつ、学習モードでの診断装置１２０の動作を説明する。図４から図６は、実施の形態に係る診断装置１２０の学習モードでの動作の一例を示すフローチャートである。以下の動作は、プラント１が操業中であり音検出器１１０が稼働中である状態で実施されるものとして説明される。

【0052】

ステップＳ１０１において、プラント１のユーザが、出力装置１４０を視認しつつ、入力装置１３０に学習モードの実行指令を入力する。入力装置１３０は、当該実行指令を送信し、診断装置１２０は、当該実行指令を受信する。

【0053】

ステップＳ１０２において、診断装置１２０は、学習モードを起動する。

【0054】

ステップＳ１０３において、ユーザは、学習用データに使用するイベント音の取得方法を入力装置１３０に入力する。入力装置１３０は、当該取得方法の指令を送信し、診断装置１２０は、当該取得方法の指令を受信する。

【0055】

イベント音の取得方法が音検出器１１０を用いる取得方法である場合（ステップＳ１０４でＹｅｓ）、診断装置１２０は、ステップＳ１０５へ進む。イベント音の取得方法が既に記憶されたイベント音を取得する方法である場合（ステップＳ１０４でＮｏ）、診断装置１２０は、ステップＳ１０６へ進む。

【0056】

イベント音が非平常状態のプラント１の設備又は機械の音である場合（ステップＳ１０５でＹｅｓ）、ステップＳ１０７において、ユーザは、入力装置１３０に、音の取得の指令とプラント１の非平常状態に対応する分類グループの情報とを入力する。入力装置１３０は、当該指令及び情報を送信し、診断装置１２０は、当該指令及び情報を受信する。

【0057】

次いで、ステップＳ１０８において、診断装置１２０は、音検出器１１０から受信する音信号のデータを、分類グループの情報と関連付けて記憶装置Ｍに記憶させる。診断装置１２０は、所定時間期間の音信号のデータを記憶装置Ｍに記憶させると、音信号のデータの取得を停止する。

【0058】

次いで、ステップＳ１０９において、非平常状態が解消されてプラント１が平常状態になると、ユーザは、入力装置１３０に、音の取得の指令とプラント１の平常状態に対応する分類グループの情報とを入力し、入力装置１３０は、当該指令及び情報を診断装置１２０に送信する。

【0059】

次いで、ステップＳ１１０において、診断装置１２０は、音検出器１１０から受信する音信号のデータを、分類グループの情報と関連付けて記憶装置Ｍに記憶させる。診断装置１２０は、所定時間期間の音信号のデータを記憶装置Ｍに記憶させると、音信号のデータの取得を停止する。例えば、図７おいて、非平常状態の場合の音のデータの状態が、３つの周波数帯域ＦＢ１、ＦＢ２及びＦＢ３の第３音データを用いて例示される。図７は、プラント１が非平常状態である場合の音のデータの状態の一例を示す図である。図７では、音の強度が、絶対値で示され、さらに、音信号の点を結ぶ波形状のラインで示される。実線のラインＮＬは、平常状態での音信号のラインを示し、破線のラインＩＬは、非平常状態での音信号のラインを示す。図７は、非平常状態の解消のタイミングＴＲの前後の音のデータの状態を示す。診断装置１２０は、ステップＳ１１０の後、ステップＳ１１８に進む。

【0060】

ステップＳ１０７からＳ１１０によって、同時期に発生する、非平常状態での音信号のデータと平常状態での音信号のデータとが、記憶装置Ｍに蓄積される。

【0061】

イベント音が人為的作用による音である場合（ステップＳ１０５でＮｏ）、ステップＳ１１１において、ユーザは、入力装置１３０に、音の取得の指令とプラント１の平常状態に対応する分類グループの情報とを入力する。入力装置１３０は、当該指令及び情報を送信し、診断装置１２０は、当該指令及び情報を受信する。

【0062】

次いで、ステップＳ１１２において、診断装置１２０は、音検出器１１０から受信する音信号のデータを、分類グループの情報と関連付けて記憶装置Ｍに記憶させる。診断装置１２０は、所定時間期間の音信号のデータを記憶装置Ｍに記憶させると、音信号のデータの取得を停止する。診断装置１２０は、取得の停止を出力装置１４０を介してユーザに通知してもよい。

【0063】

次いで、ステップＳ１１３において、ユーザは、入力装置１３０に、音の取得の指令と人為的作用による音に対応する分類グループの情報とを入力する。入力装置１３０は、当該指令及び情報を送信し、診断装置１２０は、当該指令及び情報を受信する。

【0064】

次いで、ステップＳ１１４において、ユーザは、プラント１の設備又は装置に対して人為的作用による音を付与し、これに並行して、音検出器１１０は、音を検出し、音信号のデータを診断装置１２０に送信する。診断装置１２０は、音検出器１１０から受信する音信号のデータを、分類グループの情報と関連付けて記憶装置Ｍに記憶させる。例えば、図８において、人為的作用により音が付与される場合の音のデータの状態が、３つの周波数帯域ＦＢ１、ＦＢ２及びＦＢ３の第３音データを用いて例示される。図８は、人為的作用により音が付与される場合の音のデータの状態の一例を示す図である。図８では、音の強度が、絶対値で示され、さらに、音信号の点を結ぶ波形状のラインで示される。実線のラインＮＬは、平常状態での音信号のラインを示し、破線のラインＩＬは、人為的作用が加えられているときの音信号のライン、つまり、人為的作用による音信号のラインを示す。

【0065】

次いで、ステップＳ１１５において、人為的作用による音を付与後、ユーザは、入力装置１３０を介して音の取得の停止指令を診断装置１２０に送信する。診断装置１２０は、音信号のデータの取得を停止する。診断装置１２０は、ステップＳ１１５の後、ステップＳ１１８に進む。

【0066】

ステップＳ１１１からＳ１１５によって、プラント１の平常状態での音信号のデータが取得された後に、人為的作用による音が付与されている状態での音信号のデータが取得される。平常状態での音信号のデータと人為的作用による音が付与された音信号のデータとは、同時期に発生するデータとして記憶装置Ｍに蓄積される。

【0067】

ステップＳ１１１及びＳ１１２の組と、ステップＳ１１３からＳ１１５の組との順序は、上記と逆であってもよい。これによると、人為的作用による音が付与されている状態での音信号のデータが取得された後に、プラント１の平常状態での音信号のデータが取得される。この場合も、人為的作用による音が付与された音信号のデータと平常状態での音信号のデータとは、同時期に発生するデータとして記憶装置Ｍに蓄積される。

【0068】

ステップＳ１０６において、ユーザは、既に記憶されたイベント音である既存のイベント音のデータを含む外部の記憶装置を診断装置１２０に接続し、入力装置１３０を操作して、既存のイベント音のデータのコピーを記憶装置Ｍに記憶させる。

【0069】

次いで、ステップＳ１１６において、ユーザは、入力装置１３０を操作して、診断装置１２０に記憶装置Ｍの既存のイベント音のデータを処理させ、イベント音に該当する音のデータと、当該イベント音に先行又は後行する音のデータとを、抽出させる。

【0070】

次いで、ステップＳ１１７において、ユーザは、入力装置１３０を操作して、診断装置１２０に、イベント音に該当する音のデータと、イベント音に対応する分類グループの情報とを関連付けて記憶装置Ｍに記憶させる。ユーザは、入力装置１３０を操作して、診断装置１２０に、イベント音に先行又は後行する音のデータと、当該データに対応し且つ平常状態に対応する分類グループの情報とを関連付けて記憶装置Ｍに記憶させる。

【0071】

ステップＳ１１６及びＳ１１７によって、同時期に発生する、イベント音のデータと、イベント音に先行又は後行する平常状態での音のデータとが、記憶装置Ｍに蓄積される。

【0072】

ステップＳ１１８以降において、診断装置１２０は、記憶装置Ｍに蓄積されたデータを用いて、学習モデルＬＭに機械学習をさせる。具体的には、ステップＳ１１８において、診断装置１２０は、同時期に発生した、イベント音のデータと平常状態での音のデータとを処理して、それぞれの音の特徴量を算出する。この際、診断装置１２０は、音のデータに対して、第１音データから第３音データへの変換処理を実行し、第１音データ及び第３音データを用いて音の特徴量を算出する。

【0073】

次いで、ステップＳ１１９において、診断装置１２０は、イベント音のデータの音の特徴量と、当該イベント音に対応する分類グループの情報とを用いて、学習モデルＬＭが最適化するように調整する。

【0074】

次いで、ステップＳ１２０において、診断装置１２０は、平常状態での音のデータの音の特徴量と、平常状態に対応する分類グループの情報とを用いて、学習モデルＬＭを最適化するように調整する。

【0075】

上述のようなステップＳ１０１からＳ１２０により、様々な方法及びタイミングで取得されるイベント音のデータと、当該イベント音と同時期に取得されるプラント１の平常状態の音のデータとを用いて、学習モデルＬＭが機械学習される。イベント音のデータが、時間の経過と共に繰り返し取得されて、ステップＳ１０１からＳ１２０が繰り返されることによって、プラント１の設備及び装置の状態が経時的に変化しても、学習モデルＬＭは、機械学習により経時的な変化に対応して最適化される。よって、診断装置１２０は、プラント１の設備及び装置の状態が経時的に変化しても、プラント１が平常状態であるか否かを高い精度で決定できる。

【0076】

ステップＳ１０１からＳ１２０の説明では、診断装置１２０は、イベント音のデータと、イベント音に先行又は後行する平常状態での音のデータとを、学習モデルＬＭの機械学習に使用するが、これに限定されない。診断装置１２０は、イベント音のデータと、イベント音に先行する平常状態での音のデータと、イベント音に後行する平常状態での音のデータとを、学習モデルＬＭの機械学習に使用してもよい。これにより、平常状態に対応する分類グループの学習モデルＬＭによる検出精度が向上する。

【0077】

［その他の実施の形態］
以上、本開示の例示的な実施の形態について説明したが、本開示は、上記実施の形態に限定されない。すなわち、本開示の範囲内で種々の変形及び改良が可能である。例えば、各種変形を実施の形態に施したもの、及び、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の範囲内に含まれる。

【0078】

例えば、実施の形態では、機械学習用データを生成する際に、イベント音を含む音データにおいて、イベント音の開始タイミング及び終了タイミングは、ユーザによって設定される。つまり、イベント音を含む音データにおけるイベント音は、ユーザによって識別される。しかしながら、イベント音の識別は、診断装置１２０によって行われてもよい。例えば、イベント音のデータベースが構築され、診断装置１２０は、イベント音を含む音データとデータベースに含まれるイベント音のデータとの類似度を評価することで、イベント音を含む音データにおいてイベント音を識別してもよい。

【0079】

例えば、診断装置１２０は、類似度が閾値以上である音のデータを、イベント音のデータに決定してもよいが、これに限定されない。例えば、診断装置１２０は、類似度の評価において、所定の時間期間に含まれる音のデータ同士を評価してもよいが、これに限定されない。例えば、上記の所定の時間期間は、機械学習における学習モデルＬＭへの入力対象のフレーム数のフレームを含むような時間期間であってもよい。例えば、上記の所定の時間期間は、イベント音の時間期間と、イベント音に先行する時間期間及びイベント音に後行する時間期間の一方又は両方とを含む期間であってもよい。

【0080】

例えば、実施の形態では、診断装置１２０は、学習モデルＬＭの機械学習に用いる平常状態の音のデータとして、イベント音が発生するタイミングに先行するタイミング及び後行するタイミングの一方又は両方で取得される平常状態の音のデータを用いる。つまり、診断装置１２０は、イベント音の発生に関連するタイミングで取得される平常状態の音のデータを、学習モデルＬＭの機械学習に用いる。しかしながら、学習モデルＬＭの機械学習に用いる平常状態の音のデータは、上記に限定されない。例えば、診断装置１２０は、イベント音の発生に無関係なタイミングで取得される平常状態の音のデータを、学習モデルＬＭの機械学習に用いてもよい。例えば、診断装置１２０は、定期的に又は不定期的に、平常状態の音のデータを継続して取得し、当該音のデータを用いて学習モデルＬＭに機械学習をさせてもよい。これにより、学習モデルＬＭにおいて、平常状態に対応する分類グループの検出精度が向上する。

【0081】

例えば、実施の形態では、診断装置１２０は、学習モードで学習モデルＬＭに機械学習をさせるが、診断モードでも、学習モデルＬＭに機械学習をさせてもよい。診断モードでの学習モデルＬＭの出力データが適正でなく、診断装置１２０が誤ってアラートを発した場合、診断装置１２０は、学習モデルＬＭの出力データを修正し、修正後の出力結果を教師データとして、学習モデルＬＭの出力データと教師データとの差異を小さくするように、学習モデルＬＭを調整してもよい。アラートの誤報の情報は、ユーザによって入力装置１３０を介して、診断装置１２０に通知されてもよい。診断装置１２０は、誤報の通知を受け取ると、自律的に学習モデルＬＭの出力データである分類グループを修正してもよい。診断装置１２０は、誤報の通知と、ユーザによって入力装置１３０を用いて修正された分類グループの情報とを、入力装置１３０から受け取り、学習モデルＬＭによって出力された分類グループを修正してもよい。

【0082】

本開示の技術の各態様例は、以下のように挙げられる。本開示の第１態様に係る学習方法は、操業中のプラントでイベントが発生したときに前記プラントで発生する音のデータである第１データを取得することと、前記イベントの前のタイミング及び後のタイミングの一方又は両方での平常状態で操業する前記プラントで発生する音のデータである第２データを取得することと、前記イベントに関する第１情報を取得することと、前記平常状態に関する第２情報を取得することと、前記第１データと前記第１情報とを用いて学習モデルに第１機械学習をさせることと、前記第２データと前記第２情報とを用いて前記学習モデルに第２機械学習をさせることとを含み、前記学習モデルは、音のデータに関する情報を入力データとし、前記入力データに対応する前記イベント又は前記平常状態に関する情報を出力データとする。

【0083】

上記態様によると、学習モデルは、イベントが発生したときの音データを用いた機械学習と、イベントが発生する前後の平常状態の音データを用いた機械学習とを行う。つまり、学習モデルは、イベントの発生と同時期の平常状態の音データを用いて機械学習を行う。これにより、学習モデルは、イベントの発生時期の平常状態に関する情報の出力精度を向上できる。学習モデルは、イベントの発生により、イベントに関する情報の出力精度をアップデートできる。よって、学習方法は、監視対象の状態の経時的な変化による学習モデルの検出精度の低下を低減する。学習方法は、例えば、ＣＰＵ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。

【0084】

上記第１態様において、本開示の第２態様に係る学習方法は、期間をあけて繰り返し前記プラントで発生する複数のイベントに関する、複数の前記第１データを取得することと、前記複数のイベントの前のタイミング及び後のタイミングの一方又は両方での複数の平常状態に関する、複数の前記第２データを取得することと、前記複数のイベントに関する前記第１情報を取得することと、前記複数の平常状態に関する前記第２情報を取得することと、前記複数のイベントそれぞれについて、前記第１機械学習と、前記第２機械学習とを、前記学習モデルにさせることとをさらに含んでもよい。

【0085】

上記態様によると、学習モデルは、繰り返し発生するイベントで取得される第１データ及び第２データを用いて機械学習を行う。学習モデルは、イベントが発生する毎に、平常状態に関する情報の出力精度と、イベントに関する情報の出力精度とを、イベント発生時のプラントの平常状態に対応してアップデートできる。よって、学習方法は、監視対象の状態の経時的な変化による学習モデルの検出精度の低下を効果的に低減する。

【0086】

上記の第１態様又は第２態様において、本開示の第３態様に係る学習方法は、人為的作用により音が発生する前記イベントを発生させることをさらに含んでもよい。

【0087】

上記態様によると、任意の時期にイベントを発生させることができる。よって、学習モデルの任意の時期のアップデートが可能である。

【0088】

上記の第１態様から第３態様のいずれかにおいて、本開示の第４態様に係る学習方法は、音信号の強度及び発生時間を含む前記第１データを変換して、複数の周波数帯域毎に音信号を強度及び発生時間で表す第１変換データを生成することと、音信号の強度及び発生時間を含む前記第２データを変換して、複数の周波数帯域毎に音信号を強度及び発生時間で表す第２変換データを生成することと、前記第１機械学習において、前記第１データ及び前記第１変換データの一方又は両方を用いることと、前記第２機械学習において、前記第２データ及び前記第２変換データの一方又は両方を用いることとをさらに含んでもよい。

【0089】

上記態様によると、第１変換データ及び第２変換データは、周波数帯域毎の音信号の特性を示すことができる。これにより、音信号の特性が明確になる。このような第１変換データ及び第２変換データを用いる機械学習は、学習モデルの構築を簡易にする。

【0090】

上記第４態様において、本開示の第５態様に係る学習方法は、前記第１データを処理して得られる音の時間波形に関する特徴量と、前記第１変換データを処理して得られる音の周波数特性に関する特徴量とを含む、音の特徴量である第１特徴量を生成することと、前記第２データを処理して得られる音の時間波形に関する特徴量と、前記第２変換データを処理して得られる音の周波数特性に関する特徴量とを含む、音の特徴量である第２特徴量を生成することと、前記第１機械学習において、前記第１特徴量を用いることと、前記第２機械学習において、前記第２特徴量を用いることとをさらに含み、前記学習モデルは、音の特徴量を入力データとしてもよい。

【0091】

上記態様によると、上記の音の特徴量は、音信号の特性を明確にする。上記の音の特徴量は、イベントが発生したときの音のデータと、平常状態での音のデータとの差異を明確に示すことができる。このような音の特徴量を用いる機械学習は、高精度な学習モデルの構築を簡易にする。

【0092】

上記の第１態様から第５態様のいずれかにおいて、本開示の第６態様に係る学習方法は、前記第１情報として、前記イベントが分類される第１グループの情報を取得することと、前記第２情報として、前記平常状態が分類される第２グループの情報を取得することと、前記第１機械学習において、前記第１情報に含まれる前記第１グループの情報を用いることと、前記第２機械学習において、前記第２情報に含まれる前記第２グループの情報を用いることとをさらに含み、前記学習モデルは、前記入力データに対応するグループの情報を出力データとしてもよい。

【0093】

上記態様によると、第１グループの情報は、イベントの内容に対応付けられることができ、第２グループの情報は、平常状態に対応付けられる。学習モデルは、平常状態に該当するか否かの情報だけでなく、イベントの内容を示す情報を、出力データとして出力できる。

【0094】

上記の第１態様から第６態様のいずれかにおいて、本開示の第７態様に係る学習方法は、前記プラントに配置される音検出器によって検出される音信号又は音データを、前記第１データ及び前記第２データに用いることをさらに含んでもよい。

【0095】

上記態様によると、学習モデルは、音検出器によって検出される音信号又は音データを用いて機械学習をできる。学習モデルは、プラントで現実に発生している音の音信号又は音データを用いて機械学習をできる。

【0096】

上記の第１態様から第７態様のいずれかにおいて、本開示の第８態様に係る学習方法は、過去に前記プラントで発生した音データを蓄積した記憶装置から、前記第１データ及び前記第２データを取得することをさらに含んでもよい。

【0097】

上記態様によると、学習モデルは、プラントで過去に発生した音の音信号又は音データを用いて機械学習をできる。学習モデルの機械学習に使用される学習用データを増やすことができ、これにより、学習モデルの精度の向上が可能である。

【0098】

本開示の第９態様に係る学習装置は、上記の第１態様から第８態様いずれかの学習方法により機械学習される前記学習モデルを含む処理回路を含む。上記態様によると、本開示の各態様に係る学習方法と同様の効果が得られる。

【0099】

本開示の第１０態様に係る診断装置は、上記の第１態様から第８態様いずれかの学習方法により機械学習される前記学習モデルを含む処理回路を含み、前記処理回路は、前記学習モデルを用いて前記プラントの状態の診断を実行し、前記処理回路は、前記プラントに配置される音検出器によって検出される音信号又は音データの情報を、前記学習モデルに入力し、前記学習モデルの出力データに基づき、前記プラントの状態を診断し、診断結果を出力する。

【0100】

上記態様によると、本開示の各態様に係る学習方法と同様の効果が得られる。さらに、診断装置は、学習モデルの出力結果に基づいて、プラントの状態を診断し、診断結果を出力できる。

【0101】

上記第１０態様において、本開示の第１１態様に係る診断装置の前記処理回路は、前記診断結果が前記プラントが平常状態でないことを示す場合に、警報の発令の指令を出力してもよい。上記態様によると、診断装置は、プラントが平常状態でないことを報知することができる。

【0102】

上記第１１態様において、本開示の第１２態様に係る診断装置は、ユーザによる情報の入力を受け付ける入力装置をさらに含み、前記処理回路は、前記入力装置から、前記警報が誤報であることを示す誤報情報を受け取ると、前記警報に対応する出力データを出力した前記学習モデルの入力データと、前記誤報情報とを用いて、前記学習モデルに機械学習をさせ、前記学習モデルを更新してもよい。上記態様によると、診断装置は、誤報を低減するように、学習モデルの出力精度を向上できる。つまり、診断装置は、診断結果の精度を向上できる。

【0103】

上記の第１０態様から第１２態様のいずれかにおいて、本開示の第１３態様に係る診断装置の前記処理回路は、機械学習により前記学習モデルを構築することをさらに実行し、前記処理回路は、前記学習方法により前記学習モデルに機械学習をさせることで、前記学習モデルを更新してもよい。上記態様によると、診断装置は、学習モデルをアップデートさせつつ、プラントの状態を診断できる。よって、診断装置は、診断精度を向上できる。

【0104】

本開示の第１４態様に係る診断システムは、上記の第１０態様から第１３態様のいずれかの診断装置と、前記プラントと、前記プラントに配置される音検出器とを備える。上記態様によると、本開示の各態様に係る診断装置と同様の効果が得られる。

【0105】

本開示は、本開示の各態様に係る学習方法をコンピュータに実行させるコンピュータプログラムであってもよい。このようなコンピュータプログラムは、本開示の各態様に係る学習方法と同様の効果を奏することができる。当該コンピュータプログラムは、例えば、非一時的なコンピュータ読み取り可能な記録媒体に記録されたプログラムであってもよく、記録媒体のドライブ装置を用いて当該記録媒体から読み出されコンピュータにインストールされるように構成されてもよい。当該コンピュータプログラムは、例えば、インターネット等の伝送媒体を介して流通させることができるプログラムであってもよく、コンピュータにダウンロードされインストールされるように構成されてもよい。

【0106】

本明細書で開示する要素の機能は、開示された機能を実行するよう構成又はプログラムされた汎用プロセッサ、専用プロセッサ、集積回路、ＡＳＩＣ、従来の回路、及び／又は、それらの組み合わせ、を含む回路又は処理回路を使用して実行できる。プロセッサは、トランジスタやその他の回路を含むため、処理回路又は回路と見なされる。本開示において、回路、ユニット、又は手段は、列挙された機能を実行するハードウェアであるか、又は、列挙された機能を実行するようにプログラムされたハードウェアである。ハードウェアは、本明細書に開示されているハードウェアであってもよいし、あるいは、列挙された機能を実行するようにプログラム又は構成されているその他の既知のハードウェアであってもよい。ハードウェアが回路の一種と考えられるプロセッサである場合、回路、手段、又はユニットはハードウェアとソフトウェアの組み合わせであり、ソフトウェアはハードウェア及び／又はプロセッサの構成に使用される。

【0107】

本明細書で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。

【0108】

本開示は、その本質的な特徴の範囲から逸脱することなく、様々なかたちで実施され得るように、本開示の範囲は、明細書の記載よりも添付の請求項によって定義されるため、例示的な実施の形態及び変形例は、例示的なものであって限定的なものではない。請求項及びその範囲内にあるすべての変更、又は、請求項及びその範囲の均等物は、請求項によって包含されることが意図されている。

【符号の説明】

【0109】

１ プラント
１００ 診断システム
１１０ 音検出器
１２０ 診断装置
１３０ 入力装置
ＬＭ 学習モデル

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】