特許 7627808 オーディオに基づく設備の故障検出方法、装置、電子デバイス、記憶媒体及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2025-01-29

(45)【発行日】2025-02-06

(54)【発明の名称】オーディオに基づく設備の故障検出方法、装置、電子デバイス、記憶媒体及びプログラム

(51)【国際特許分類】

   G01M 99/00 20110101AFI20250130BHJP

   G01H 17/00 20060101ALI20250130BHJP

【ＦＩ】

G01M99/00 Z

G01H17/00 Z

【請求項の数】 11

(21)【出願番号】P 2024188079

(22)【出願日】2024-10-25

【審査請求日】2024-10-25

(31)【優先権主張番号】202311671046.1

(32)【優先日】2023-12-04

(33)【優先権主張国・地域又は機関】CN

【早期審査対象出願】

(73)【特許権者】

【識別番号】523443995

【氏名又は名称】チョーチアン ヘンイー ペトロケミカル カンパニー，リミテッド

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】シャンタオ ポン

(72)【発明者】

【氏名】ポン ワン

(72)【発明者】

【氏名】イーポー チウ

(72)【発明者】

【氏名】ターコー リー

(72)【発明者】

【氏名】チュンウェイ チャン

(72)【発明者】

【氏名】チャンチョン チョン

(72)【発明者】

【氏名】ジァンジュン シェン

【審査官】福田 裕司

(56)【参考文献】

【文献】特開２０２１－０５６８８０（ＪＰ，Ａ）

【文献】特開２０１９－１２５３１９（ＪＰ，Ａ）

【文献】特開２０２０－２０１９３７（ＪＰ，Ａ）

【文献】特開２０２２－１０５２６３（ＪＰ，Ａ）

【文献】国際公開第２０２０／２５５２０６（ＷＯ，Ａ１）

【文献】国際公開第２０２０／００９２１０（ＷＯ，Ａ１）

【文献】特開２０２３－０９５０３０（ＪＰ，Ａ）

【文献】特開２０１０－０２５７１５（ＪＰ，Ａ）

【文献】特開２０２１－１３５５８５（ＪＰ，Ａ）

【文献】国際公開第２０２２／２５９４４６（ＷＯ，Ａ１）

【文献】特開２０２３－１０６０４３（ＪＰ，Ａ）

【文献】特開２０１６－０９９９３８（ＪＰ，Ａ）

【文献】特開２０２１－１１１０６３（ＪＰ，Ａ）

【文献】米国特許出願公開第２０１８／０３７１６６１（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０１Ｍ ９９／００

Ｇ０１Ｈ １／００～１７／００

(57)【特許請求の範囲】

【請求項1】

オーディオに基づく設備の故障検出方法であって、
目標設備の複数の検出点のそれぞれに対して無人機によって複数回サンプリングを行うことにより収集された初期オーディオデータを取得することであって、前記初期オーディオデータは複数組のオーディオシーケンスで構成され、各オーディオシーケンスは連続したオーディオセグメントである、ことと、
前記初期オーディオデータに対して、ノイズ抑制アルゴリズムに基づいて前記初期オーディオデータ中のノイズを除去処理すると共に、静音検出方法に基づいて前記初期オーディオデータ中の静音セグメントを識別して除去処理し、処理後のオーディオデータを融合することにより、第１オーディオデータを得、前記第１オーディオデータをフレーム分割して第２オーディオデータを得、窓関数を用いて前記第２オーディオデータを処理して第３オーディオデータを得、前記第３オーディオデータを周波数領域に変換して検出待ちのオーディオデータを得ることと、
前記検出待ちのオーディオデータに対して特徴抽出を行って、前記検出待ちのオーディオデータのオーディオ特徴を得ることと、
前記オーディオ特徴に基づいて情報グラフを構築することと、
前記情報グラフとグラフニューラルネットワークモデルとに基づいて、前記目標設備に関する故障検出結果を得ることと、を含む、
オーディオに基づく設備の故障検出方法。

【請求項2】

前記情報グラフとグラフニューラルネットワークモデルとに基づいて、前記目標設備に関する故障検出結果を得ることは、
前記情報グラフに基づいて隣接行列を構築することと、
前記隣接行列を前記グラフニューラルネットワークモデルに入力して、前記目標設備に関する故障検出結果を得ることと、を含む、
請求項１記載のオーディオに基づく設備の故障検出方法。

【請求項3】

前記初期オーディオデータは複数のオーディオセグメントを含み、
前記オーディオ特徴に基づいて情報グラフを構築することは、
前記オーディオ特徴における各オーディオセグメントのオーディオサブ特徴に基づいて、オーディオセグメント間の類似度を決定することと、
前記類似度が予め設定された閾値を満たすオーディオセグメントを、相関関係を有するノードとして、前記情報グラフを構築することと、を含む、
請求項１記載のオーディオに基づく設備の故障検出方法。

【請求項4】

前記オーディオ特徴は、周波数特徴、時間長特徴及び強度特徴の少なくとも１つを含む、請求項１に記載のオーディオに基づく設備の故障検出方法。

【請求項5】

前記目標設備は紡糸プロセスに必要な反応釜であり、
前記オーディオ特徴に基づいて情報グラフを構築することは、
前記初期オーディオデータの収集時間に基づいて、前記収集時間を基準とする予め設定された時間範囲内の前記反応釜の運転パラメータを取得することであって、前記運転パラメータは、電圧、電流、回転速度及び粘度の少なくとも１つを含む、ことと、
前記オーディオ特徴と前記運転パラメータとに基づいて、前記情報グラフを構築することと、を含む、
請求項１記載のオーディオに基づく設備の故障検出方法。

【請求項6】

前記目標設備は紡糸プロセスに必要な反応釜であり、
前記設備の故障検出方法は、
前記反応釜に故障が発生していることを前記故障検出結果が示す場合、前記初期オーディオデータの収集時間に基づいて、前記収集時間を基準とする予め設定された時間範囲内の前記反応釜の運転パラメータを取得することであって、前記運転パラメータは、電圧、電流、回転数及び粘度の少なくとも１つを含む、ことと、
前記運転パラメータに基づいて前記反応釜の故障状況を決定することと、
前記運転パラメータに基づいて前記反応釜に異常が発生していることを決定した場合、緊急警報情報を発することと、を含む、
請求項１記載のオーディオに基づく設備の故障検出方法。

【請求項7】

前記設備の故障検出方法は、
作業計画を実行するように前記無人機を制御して、前記初期オーディオデータを取得する方法に基づき、前記反応釜に対して前記初期オーディオデータを収集することをさらに含み、
前記作業計画は巡回検査時間、前記反応釜の位置情報、及び収集された初期オーディオデータによる要求を含む、
請求項５に記載のオーディオに基づく設備の故障検出方法。

【請求項8】

オーディオに基づく設備の故障検出装置であって、
目標設備の複数の検出点のそれぞれに対して無人機によって複数回サンプリングを行うことにより収集された初期オーディオデータを取得するための第１収集モジュールであって、前記初期オーディオデータは複数組のオーディオシーケンスで構成され、各オーディオシーケンスは連続したオーディオセグメントである、第１収集モジュールと、
前記初期オーディオデータに対して、ノイズ抑制アルゴリズムに基づいて前記初期オーディオデータ中のノイズを除去処理すると共に、静音検出方法に基づいて前記初期オーディオデータ中の静音セグメントを識別して除去処理し、処理後のオーディオデータを融合することにより、第１オーディオデータを得、前記第１オーディオデータをフレーム分割して第２オーディオデータを得、窓関数を用いて前記第２オーディオデータを処理して第３オーディオデータを得、前記第３オーディオデータを周波数領域に変換して検出待ちのオーディオデータを得るための前処理モジュールと、
前記検出待ちのオーディオデータに対して特徴抽出を行って、前記検出待ちのオーディオデータのオーディオ特徴を得るための特徴抽出モジュールと、
前記オーディオ特徴に基づいて情報グラフを構築するための構築モジュールと、
前記情報グラフとグラフニューラルネットワークモデルとに基づいて、前記目標設備に関する故障検出結果を得るための検出モジュールと、を備える、
オーディオに基づく設備の故障検出装置。

【請求項9】

少なくとも１つのプロセッサと、
前記少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
前記メモリに、前記少なくとも１つのプロセッサで実行可能な命令が記憶され、前記命令は、前記少なくとも１つのプロセッサによって実行されると、前記少なくとも１つのプロセッサに、請求項１から請求項７のいずれか１項に記載の方法を実行させる、
電子デバイス。

【請求項10】

コンピュータに請求項１から請求項７のいずれか１項に記載の方法を実行させる命令を記憶するための非一時的なコンピュータ可読記憶媒体。

【請求項11】

コンピュータにおいて、プロセッサにより実行されると、請求項１から請求項７のいずれか１項に記載の方法を実現するためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示はデータ処理分野に関し、特にディープラーニング、音声技術などの技術分野に関する。

【背景技術】

【0002】

紡糸プロセスの工業シナリオでは、紡糸プロセスの流れが長くて複雑であるため、関連するプロセス設備の数が膨大であり、プロセス設備の作業中に設備に異常が発生することがある。

【発明の概要】

【発明が解決しようとする課題】

【0003】

人手による調査方法は労力がかかるため、設備の故障検出をどのように自動化するかが問題となっている。

【課題を解決するための手段】

【0004】

本開示は、従来技術における１つ又は複数の技術的問題を解決又は緩和するために、オーディオに基づく設備の故障検出方法、装置、電子デバイス、記憶媒体及びプログラムを提供する。

【0005】

第１態様では、本開示はオーディオに基づく設備の故障検出方法を提供し、該方法は、
目標設備に対して無人機によって収集された初期オーディオデータを取得することと、
初期オーディオデータを前処理して、検出待ちのオーディオデータを得ることと、
検出待ちのオーディオデータに対して特徴抽出を行って、検出待ちのオーディオデータのオーディオ特徴を得ることと、
オーディオ特徴に基づいて情報グラフを構築することと、
情報グラフとグラフニューラルネットワークモデルとに基づいて、目標設備に関する故障検出結果を得ることと、を含む。

【0006】

第２態様では、本開示はオーディオに基づく設備の故障検出装置を提供し、該装置は、
目標設備に対して無人機によって収集された初期オーディオデータを取得するための第１収集モジュールと、
初期オーディオデータを前処理して、検出待ちのオーディオデータを得るための前処理モジュールと、
検出待ちのオーディオデータに対して特徴抽出を行って、検出待ちのオーディオデータのオーディオ特徴を得るための特徴抽出モジュールと、
オーディオ特徴に基づいて情報グラフを構築するための構築モジュールと、
情報グラフとグラフニューラルネットワークモデルとに基づいて、目標設備に関する故障検出結果を得るための検出モジュールと、を備える。

【0007】

第３態様では、本開示は電子デバイスを提供し、当該デバイスは、
少なくとも１つのプロセッサと、
該少なくとも１つのプロセッサと通信接続されるメモリと、を備え、
該メモリに、該少なくとも１つのプロセッサで実行可能な命令が記憶され、該命令は、該少なくとも１つのプロセッサによって実行されると、本開示の実施例におけるいずれか１つの方法を実行させる。

【0008】

第４態様では、本開示の実施例におけるいずれか１つの方法をコンピュータに実行させるためのコンピュータ命令を記憶した非一時的コンピュータ可読記憶媒体を提供する。

【0009】

第５様態では、プログラムを提供し、該プログラムは、プロセッサにより実行されると、本開示の実施例におけるいずれか１つの方法を実現する。

【0010】

本開示の実施例に提供される方法によれば、オーディオデータのオーディオ特徴を用いて設備のリアルタイムの状況を反映することができ、したがって、設備の故障検出の自動化を実現し、人的資源を節約することができる。

【0011】

ここに記載された内容は、本開示の実施例のキーポイントまたは重要な特徴を記述することを意図せず、また、本開示の範囲を制限することにも用いられないことを理解すべきである。本開示の他特徴については、下記の明細書を通して理解を促す。

【図面の簡単な説明】

【0012】

添付図面において、別段の定めがない限り、複数の添付図面を通じて同一の図面符号は、同一または類似の構成部品または要素を示す。これらの添付図面は、必ずしも縮尺通りに描かれていない。これらの図面は、本開示により提供されるいくつかの実施例のみを示し、本開示の範囲を限定するものと見なされるべきではないことを理解すべきである。

【0013】

【図1】本開示の一実施例によるオーディオに基づく設備の故障検出方法のフローチャートである。

【図2】本開示の一実施例による第１オーディオデータの取得を示す概略図である。

【図3】本開示の一実施例による情報グラフを示す概略図である。

【図4】本開示の一実施例による別の情報グラフを示す概略図である。

【図5】本開示の一実施例によるオーディオに基づく設備の故障検出方法の全体を示す概略図である。

【図6】本開示の一実施例によるオーディオに基づく設備の故障検出装置の構成を示す概略図である。

【図7】本開示の実施形態に係るオーディオに基づく設備の故障検出方法を実現するための電子デバイスのブロック図である。

【発明を実施するための形態】

【0014】

以下、添付図面を参照して本開示についてさらに詳細に説明する。添付図面において、同一の図面符号は、同一または類似の要素を表す。また、添付図面において、実施例の様々な態様が示されているが、別段説明がない限り、これらの添付図面は、必ずしも縮尺通りに描かれていない。

【0015】

さらに、本開示をよりよく説明するために、以下の具体的な実施形態にて多くの具体的な詳細を記載している。当業者は、いくつかの詳細がなくても本開示は同様に実施され得ることを理解すべきである。いくつかの実施例では、本開示の主旨が明瞭となるように、当業者によく知られている方法、手段、構成要素、及び回路などは詳細に説明していない。

【0016】

本明細書の説明において、「中心」、「上」、「下」、「左」、「右」、「垂直」、「水平」、「内」、「外」などの用語が示す方位または位置関係は、図面に示す方位または位置関係に基づくものであり、単に本開示の説明を容易にし、説明を簡略化することのみを意図しており、言及された装置または要素が特定の向きを有し、特定の向きで構成され動作しなければならないことを示すものではなく、示唆するものでもなく、したがって、本開示の限定として解釈されることはない。

【0017】

本願の明細書、特許の請求範囲及び上記の添付図面における用語「第１」、「第２」等は、特定の順序又は優先順位を記述するために使用する必要なく、類似の対象を区別するためのものである。このように使用されるデータは、本明細書で説明される本願の実施例が、本明細書で図示または説明される順序以外の順序で実施され得るように、必要に応じて交換され得ることを理解されたい。以下の例示的な実施例において説明される実施形態は、本願に一致する全ての実施形態を表すものではない。むしろ、それらは、添付の特許請求の範囲に詳細に記載されているように、本願発明のいくつかの態様と一致する装置及び方法の例に過ぎない。

【0018】

紡糸プロセスの工業シナリオでは、紡糸プロセスの流れが長くて複雑であるため、関連するプロセス設備の数が膨大であり、プロセス設備の作業中に設備に異常が発生することがある。紡糸プロセスフローの正常な動作を保証するために、本開示の実施例では、無人機を用いてプロセス設備のオーディオデータをリアルタイムで監視し、紡糸プロセスフローの正常な動作を保証する。本開示の実施形態では、オーディオに基づく設備の故障検出方法を提案し、図１に示すように、以下を含むことができる。

【0019】

Ｓ１０１において、目標設備に対して無人機によって収集された初期オーディオデータを取得する。

【0020】

プロセス設備中の配管には流動する液体が存在するため、無人機のマイクデバイスを用いてして目標設備の検出点に対して収集を行うことができ、１つの目標設備には複数の検出点が存在することもあり、各検出点に対して複数回サンプリングを行い、初期オーディオデータを取得することができる。

【0021】

Ｓ１０２において、初期オーディオデータを前処理して、検出待ちのオーディオデータを得る。

【0022】

Ｓ１０３において、検出待ちのオーディオデータに対して特徴抽出を行って、検出待ちのオーディオデータのオーディオ特徴を得る。

【0023】

Ｓ１０４において、オーディオ特徴に基づいて情報グラフを構築する。

【0024】

Ｓ１０５において、情報グラフとグラフニューラルネットワークモデルとに基づいて、目標設備に関する故障検出結果を得る。

【0025】

目標設備の故障検出結果には、正常状態及び異常状態が含まれる。ここで、異常状態は、１級異常、２級異常、…、Ｓ級異常を含むことができる。具体的に含まれる異常状態レベルは、実際の状況に基づいて確定することができ、本開示の実施例はこれに限定されない。

【0026】

異常状態の異なるレベルに基づいて、各レベルの異常状態に異なる処理方式を設定することができる。例えば、１級異常はオーディオデータが正常範囲を超えた範囲が小さく、すなわち軽微な異常であり、設備がアイドル状態になるのを待って、設備を検査することができる。Ｓ級異常はオーディオデータが正常範囲を超えた範囲が最も大きく、つまり最も深刻な異常状況であり、直ちに当該設備の動作を一時停止するよう作業員に通知する必要があり、当該設備に対して即時に処理する必要がある。

【0027】

本開示の実施例では、無人機を用いて設備のオーディオデータを監視し、初期オーディオデータを取得する。初期オーディオデータを前処理し、検出待ちのオーディオデータを取得し、検出待ちのオーディオデータに対して特徴抽出を行い、検出待ちのオーディオデータのオーディオ特徴を取得する。オーディオ特徴に基づいて構築された情報グラフとニューラルネットワークモデルにより、目標設備に関する故障検出結果が得られる。オーディオデータのオーディオ特徴を利用して設備のリアルタイムな状況を反映することができるため、設備の故障検出を自動化し、人的資源を節約することができる。

【0028】

いくつかの実施例では、作業計画を実行するように無人機を制御して、初期オーディオデータを取得する方法に基づき、反応釜に対して初期オーディオデータを収集する。当該作業計画には、巡回検査時間、反応釜の位置情報、収集された初期オーディオデータによる要求が含まれている。

【0029】

例えば、無人機は反応釜００１（ある工場Ａ工場の第１エステル化反応釜を表す）に対して、１１月１９日１５時４５分０６秒に第１回サンプリングを行い、即ち第１オーディオシーケンスを取得し、１１月１９日１５時４５分０８秒に第２回サンプリングを行い、即ち第２オーディオシーケンスを取得し、１１月１９日１６時３５分０５秒に第ｍ回サンプリングを行い、即ち第ｍオーディオシーケンスを取得したとする。すなわち、取得した初期オーディオデータは、以下のように表すことができる。

【0030】

【数1】

【0031】

本開示の実施例では、無人機を用いてオーディオデータを収集する過程で、巡回検査時間、反応釜の位置情報を同時に収集し、これに基づき、どの設備が故障しているかを特定しやすいようにする。

【0032】

いくつかの実施例では、初期オーディオデータを前処理して、検出待ちのオーディオデータを取得することは、以下を含む。

【0033】

ステップＡ１において、ノイズ抑制と静音検出方法とに基づいて初期オーディオデータを処理し、第１オーディオデータを得る。

【0034】

一実施例では、初期オーディオデータに対してノイズ抑制アルゴリズムを適用することができる。例えば、平均フィルタリング、中間フィルタリングなどの方法で、初期オーディオデータ中のノイズを低減することができる。さらに、初期オーディオデータに対して静音検出方法に基づいてオーディオデータを解析し、静音セグメントを識別する。一般的な静音検出方法には、エネルギーベース、スペクトルエントロピーベースなどがある。認識された静音セグメントをフィルタリングする。処理後のオーディオデータを融合して、第１オーディオデータを得る。

【0035】

別の実施例では、初期オーディオデータに対して隠れマルコフモデル（Ｈｉｄｄｅｎ Ｍａｒｋｏｖ Ｍｏｄｅｌ，ＨＭＭ）を用いて、ノイズ低減処理をして、第１オーディオデータを得ることもできる。ＨＭＭは音声信号処理に用いられる方法であり、音声信号をモデリングすることで、音声信号を高次元空間から低次元空間にマッピングすることができる。さらに、音声信号を次元削減することを実現しながら、音声信号の音声特徴を維持する。

【0036】

実装の際、初期オーディオデータは検出点に対して複数回サンプリングして取得してもよく、複数の検出点に対してサンプリングして取得してもよい。この初期オーディオデータは複数組のオーディオシーケンス（各オーディオシーケンスは連続したオーディオセグメントであると理解できる）から構成される。図２に示すように、

【数2】

【0037】

複数組のオーディオシーケンスをＨＭＭモデルに入力し、ＨＭＭモデルにそれを処理させ、オーディオデータ中の各データ時刻の周波数特徴に対してノイズ低減・次元削減の処理を行い、各データ時刻の正規分布を得、各データ時刻の正規分布から有効なオーディオ範囲を選別し、オーディオシーケンスを構成し、第１オーディオデータを得る。

【0038】

前述のＨＭＭモデルの他に、主成分分析（Ｐｒｉｎｃｉｐａｌ Ｃｏｍｐｏｎｅｎｔ Ａｎａｌｙｓｉｓ、ＰＣＡ）、独立成分分析（Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｍｐｏｎｅｎｔ Ｃｏｒｒｅｌａｔｉｏｎ Ａｌｇｏｒｉｔｈｍ、ＩＣＡ）、線形判別分析（Ｌｉｎｅａｒ Ｄｉｓｃｒｉｍｉｎａｎｔ Ａｎａｌｙｓｉｓ、ＬＤＡ）を用いて初期オーディオデータに対してノイズ除去処理を施し、第１オーディオデータを得ることができる。

【0039】

ここで、ＰＣＡは１種の常用のデータの次元削減を行う方法であり、データにおける主要な成分を探し出すことができ、データを高次元空間から低次元空間にマッピングすると共に、データにおける主な部分の分散情報を維持する。オーディオデータの場合、ＰＣＡを用いてしてオーディオ信号の時間領域及び周波数領域データを次元削減することができる。

【0040】

ここで、ＩＣＡは信号処理と画像処理に適用することができる方法であり、信号における独立した成分を探し出し、信号を高次元空間から低次元空間にマッピングすることができる。オーディオデータの場合、ＩＣＡを用いて音声信号を次元削減すると共に、音声信号の主な特徴を維持することができる。

【0041】

ここで、ＬＤＡは高次元データを低次元空間に投影することができる方法であり、最適な投影方向を探し出すことによって、データを元の空間から低次元空間にマッピングすると共に、データにおけるクラス間分散度を維持することができる。オーディオデータの場合、ＬＤＡを用いて音声信号を次元削減すると共に、音声信号のカテゴリ情報を維持することができる。

【0042】

本開示の実施例における初期オーディオデータのノイズ除去処理の方法は、実際の使用ニーズに応じて柔軟に選択することができる。

【0043】

ステップＡ２において、第１オーディオデータをフレーム分割して、第２オーディオデータを得る。

【0044】

実装の際、後続の処理を容易にするために、第１オーディオデータを短時間フレームに分割することができる。通常、長さが１０～３０ミリ秒のウィンドウを用いてフレーム分割を行い、隣接フレーム間にオーバーラップがあってもよい。したがって、得られた第２オーディオデータは、複数フレームのオーディオデータを含む。

【0045】

ステップＡ３において、窓関数を用いて第２オーディオデータを処理して、第３オーディオデータを得る。

【0046】

フレームごとのオーディオデータはそれぞれ窓関数を用いて処理され、第３オーディオデータを取得する。例えば、ハミング窓、ヘニング窓などの窓関数を用いて処理し、フレーム両端の振幅ジッタを低減することができる。

【0047】

ステップＡ４において、第３オーディオデータを周波数領域に変換して、検出待ちのオーディオデータを得る。

【0048】

高速フーリエ変換を用いて第３オーディオデータを周波数領域に変換し、検出待ちのオーディオデータを得ることができる。

【0049】

第３オーディオデータを周波数領域に変換する上で、実際の状況に基づいて、周波数領域信号に対してフィルタリング、スペクトル減算、等化などの処理を行い、相関特徴を強化したり、ノイズを抑制したりして、さらに検出待ちのオーディオデータを得ることができる。

【0050】

本開示の実施例では、無人機によって収集されたデータに対して前処理を行い、初期オーディオデータに対するノイズ除去及び静音オーディオ除去という目的を実現し、オーディオデータ中の有効なデータ部分を強化し、後続の設備の故障検出に有効なオーディオデータを提供することができる。

【0051】

いくつかの実施例では、オーディオ特徴は、周波数特徴、時間長特徴、強度特徴などの少なくとも１つを含む。

【0052】

実装の際、検出待ちのオーディオデータはスペクトルデータであるため、検出待ちのオーディオデータに対して直接的に特徴を抽出し、検出待ちのオーディオデータの周波数特徴を得ることができる。周波数特徴は、スペクトルピーク、スペクトル重心、周波数エントロピー、メル周波数ケプストラム係数（Ｍｅｌ－ｆｒｅｑｕｅｎｃｙ ｃｅｐｓｔｒａｌ ｃｏｅｆｆｉｃｉｅｎｔｓ、ＭＦＣＣ）、メル周波数ケプストラム（Ｍｅｌ－ｆｒｅｑｕｅｎｃｙ ｃｅｐｓｔｒｕｍ、ＭＦＣ）などの情報であってもよい。

【0053】

周波数特徴の予め設定された周波数帯域の時間長に基づいて、時間長特徴を決定することができる。例えば、同一のオーディオセグメントは、ａ～ｂとする予め設定された周波数帯域を含み、周波数帯域ａ～ｂがそのオーディオセグメントにおいてそれぞれ継続する時間長を決定し、その時間長の特徴を時間長特徴として抽出する。

【0054】

周波数特徴における予め設定された周波数帯域の強度に基づいて、強度特徴を決定する。前例を引き継ぎ、引き続き周波数帯域をａ～ｂとして予め設定し、スペクトル図に基づいて周波数帯域ａ～ｂの振幅を決定し、強度特徴を得る。

【0055】

オーディオ特徴は特徴中のいずれかを採用してもよく、複数組の特徴を組み合わせた方式を採用してもよく、本開示の実施例はこれに限定されない。

【0056】

本開示の実施例では、設備中のオーディオデータを収集し、且つその特徴を抽出して、当該周波数特徴、時間長特徴、強度特徴はいずれもオーディオデータの状況を表すことができるため、この３つの特徴を収集して設備の故障状況を正確に識別するという目的を実現することができる。

【0057】

いくつかの実施例では、初期オーディオデータは複数のオーディオセグメントを含むため、オーディオデータのオーディオ特徴を得た上で、オーディオ特徴に基づいて情報グラフを構築することができ、以下のように実施することができる。

【0058】

ステップＢ１において、オーディオ特徴における各オーディオセグメントのオーディオサブ特徴に基づいて、オーディオセグメント間の類似度を決定する。

【0059】

ステップＢ２において、類似度が予め設定された閾値を満たすオーディオセグメントを、相関関係を有するノードとして、情報グラフを構築する。

【0060】

例えば、初期オーディオデータは、オーディオセグメント１、オーディオセグメント２、…、オーディオセグメントｋを含み、各オーディオセグメント中のオーディオサブ特徴を抽出する。オーディオサブ特徴が周波数特徴、時間長特徴、強度特徴のいずれかである場合は、各オーディオセグメント中のオーディオサブ特徴に基づいて類似度を直接計算すればよい。類似度を計算する方法は、その余弦類似度を計算してもよい。オーディオセグメント間の類似度を得た上で、予め設定された閾値を満たすオーディオセグメントを関連付けて、情報グラフを得る。情報グラフは図３に示すように、予め設定された閾値が６０％の場合、オーディオセグメント１とオーディオセグメント３との類似度が７２％である場合、オーディオセグメント１とオーディオセグメント３とを関連付けるが、オーディオセグメント１とオーディオセグメント２の類似度が３２％である場合、オーディオセグメント１とオーディオセグメント２とを関連付けず、オーディオセグメント３とオーディオセグメントｋとの類似度が８７％である場合、オーディオセグメント３とオーディオセグメントｋとを関連付ける。

【0061】

オーディオサブ特徴が周波数特徴、時間長特徴、強度特徴のうちの少なくとも２つである場合、重み付け加算を行って、各オーディオセグメントの統合オーディオ特徴を得、さらに類似度を計算することができる。また、オーディオサブ特徴を複数の要素を含むベクトルと見なし、余弦類似度を用いて異なるオーディオ間の類似度を決定することもできる。

【0062】

本開示の実施例では、類似度を計算する方法を用いて情報グラフを構築し、初期オーディオデータにおける各オーディオセグメントの関連関係を明確し、その後の故障検出に役立つ。

【0063】

いくつかの実施例では、情報グラフとグラフニューラルネットワークモデルとに基づいて、目標設備に関する故障検出結果を得ることができ、以下のように実施することができる。

【0064】

ステップＣ１において、情報グラフに基づいて隣接行列を構築する。

【0065】

情報グラフはオーディオセグメント間の類似度に基づいて構築された隣接行列であるため、情報グラフ中のオーディオセグメント間の類似度に基づいて隣接行列（Ｏ）を構築することができ、その隣接行列は式（１）に示すようにすることができる。

【0066】

【数3】

【0067】

ここで、ａａはオーディオセグメント１とオーディオセグメント１との類似度を表し、ａｂはオーディオセグメント１とオーディオセグメント２との類似度を表し、これによって類推する。

【0068】

情報グラフには類似度０のノードペアが大量に存在するため、後続のグラフニューラルネットワークモデルによる処理を容易にするように、これらのゼロ要素を除去することができ、この隣接行列を疎な隣接行列に変換することができる。

【0069】

ステップＣ２において、隣接行列をグラフニューラルネットワークモデルに入力して、目標設備に関する故障検出結果を得る。

【0070】

ここで、グラフニューラルネットワークは、グラフ畳み込みネットワーク（Ｇｒａｐｈ Ｃｏｎｖｏｌｕｔｉｏｎａｌ Ｎｅｔｗｏｒｋｓ、ＧＣＮ）、グラフアテンションネットワーク（Ｇｒａｐｈ Ａｔｔｅｎｔｉｏｎ Ｎｅｔｗｏｒｋｓ、ＧＡＴ）などであってもよい。グラフニューラルネットワークは通常、複数のグラフ畳み込み層から構成され、各畳み込み層はグラフデータに対して特徴抽出、次元削減を行うことができる。

【0071】

いくつかの実施例では、グラフニューラルネットワークをＧＣＮとし、事前トレーニングによりグラフニューラルネットワークを得る方法は、以下のように実施することができる。

【0072】

ステップＤ１において、ＧＣＮモデルのパラメータと構造を最適化するように、トレーニングセットを用いてＧＣＮモデルをトレーニングする。

【0073】

通常、トレーニングセットは既知のラベルを持つオーディオセグメントで構成されている。ここで、既知のラベルは、正常状態のオーディオセグメントと、異常状態のオーディオセグメントとを含む。

【0074】

実装の際、紡糸プロセスシナリオにおいて設備が多く、プロセスが複雑な場合に対して、複数の同様な設備が集まる環境に対して、トレーニングサンプルを柔軟に収集することができる。例えば、複数の反応釜が集まっている場合、まず１つの反応釜設備を起動し、１つの反応釜設備が起動した場合のサンプルを収集し、その後、２つ目の反応釜設備を起動し、２つの反応釜設備が同時に起動した場合のトレーニングサンプルを収集し、その後、３つ目の反応釜設備を起動し、３つの反応釜設備が同時に起動した場合のトレーニングサンプルを収集することができる。このように、ｎ個の設備を有する場合、１～ｎ個の設備を順次起動し、１つの設備を追加するごとにトレーニングサンプルを収集する。

【0075】

もちろん、異なる天候状況に対して、収集するサンプル量を増やすこともできる。例えば、雨天や風などの過酷な環境に対応することができるために、雨天や風などの悪天候下のオーディオデータをトレーニングセットにおけるサンプルデータとして収集する。

【0076】

トレーニング中に、逆伝播アルゴリズムを用いてしてモデルのパラメータを更新し、予測誤差を最小化することができる。

【0077】

ここで、逆伝搬アルゴリズムを用いてモデルのパラメータを更新することは、次のように実施してもよく、即ち、ＧＣＮモデルのパラメータを初期化し、トレーニングセットをＧＣＮモデルに入力してＧＣＮモデルの層ごとの出力を計算し、損失関数（平均二乗誤差など）及びその勾配（偏導数）を計算し、チェーン法則に基づいて出力層より各層の重み及びバイアスの勾配を計算し、勾配降下方法を用いて学習率に勾配を乗じた方法に基づきＧＣＮモデルのパラメータを更新する。

【0078】

ステップＤ２において、ＧＣＮモデルが収束条件を満たす場合、すなわちグラフニューラルネットワークが得られる。

【0079】

本開示の実施例では、グラフニューラルネットワークモデルを用いることにより、情報グラフ中の特徴情報をよりよく抽出することができ、これにより、目標設備の故障検出タスクの性能を向上させることができる。

【0080】

いくつかの実施例では、紡糸プロセスの流れにおいて、ポリエステル反応釜は重要な一環である。ポリエステル反応釜は、４釜のプロセスによれば、予備重縮合反応釜、第１エステル化反応釜、第２エステル化反応釜、最終重縮合反応釜に分けられ、また、５釜のプロセスによれば、第１予備重縮合反応釜、第２予備重縮合反応釜、第１エステル化反応釜、第２エステル化反応釜、最終重縮合反応釜に分けられることができる。反応釜は通常大きく、運転すると周囲の騒音も多く、反応釜の故障状況を検出できるようにするために、反応釜に故障が発生していることを故障検出結果が示す場合、すなわち故障検出結果が異常状態である場合、以下のように実施できる。

【0081】

ステップＥ１において、初期オーディオデータの収集時間に基づいて、収集時間を基準とする予め設定された時間範囲内の反応釜の運転パラメータを取得し、運転パラメータは、電圧、電流、回転速度及び粘度の少なくとも１つを含む。

【0082】

例えば、収集時間がＴである場合、Ｔ時刻のｓ／２期間前及びｓ／２期間後の反応釜の運転パラメータ、すなわちｓ個の運転パラメータを収集し、収集した反応釜の運転パラメータは、｛電圧Ａ、電圧Ｂ、…、電圧ｔ、…、電圧ｓ｝、｛電流Ａ、電流Ｂ、…、電流ｔ、…、電流ｓ｝であってもよい。

【0083】

ステップＥ２において、運転パラメータに基づいて反応釜の故障状況を決定する。

【0084】

反応釜の正常動作時のデータ範囲を取得し、例えば、収集した反応釜の電圧運転パラメータが正常な電圧データ範囲の境界で変動している場合、その反応釜における電圧関連設備に異常があることを決定することができ、また、収集した反応釜の電流運転パラメータが正常な電流データ範囲の境界で変動している場合、その反応釜における電流関連設備に異常があることを決定することができる。

【0085】

ステップＥ３において、運転パラメータに基づいて反応釜に異常が発生していることを決定した場合、緊急警報情報を発する。

【0086】

本開示の実施例では、反応釜の運転パラメータが正常動作状態下の境界にある場合、オーディオデータの異常に基づいて、反応釜の運転パラメータを収集し、反応釜の運転パラメータと正常動作時のパラメータとを比較して、反応釜の故障状況をさらに決定する。

【0087】

別の実施例では、目標設備が紡糸プロセスに必要な反応釜である場合、反応釜の設備パラメータとオーディオデータのオーディオ特徴とを収集して、情報グラフを構築することは次のように実施することができる。

【0088】

ステップＦ１において、初期オーディオデータの収集時間に基づいて、収集時間を基準とする予め設定された時間範囲内の反応釜の運転パラメータを取得し、運転パラメータは、電圧、電流、回転速度及び粘度の少なくとも１つを含む。

【0089】

ステップＦ２において、オーディオ特徴と運転パラメータとに基づいて、情報グラフを構築する。

【0090】

オーディオ特徴及び運転パラメータをオーディオセグメントの属性情報とし、オーディオセグメントをノードとし、各オーディオセグメントのオーディオ特徴と運転パラメータとの類似度に基づいてエッジを構築し、得られた情報は図４に示すように、予め設定された閾値が６０％である場合、オーディオセグメント１とオーディオセグメント３との類似度が４２％であれば、オーディオセグメント１とオーディオセグメント３とを関連付けないが、オーディオセグメント１とオーディオセグメントｋとの類似度が６７％であれば、オーディオセグメント１とオーディオセグメントｋとを関連付け、オーディオセグメント２とオーディオセグメントｋとの類似度が７２％であれば、オーディオセグメント２とオーディオセグメントｋとを関連付け、オーディオセグメント３とオーディオセグメントｋとの類似度が８７％であれば、オーディオセグメント３とオーディオセグメントｋとを関連付ける。

【0091】

いくつかの実施例では、反応釜設備の具体的な異常位置を容易に決定するために、予め確立された故障解析ための故障解析グラフを取得し、以下のように実施することができる。

【0092】

ステップＧ１において、反応釜に関する履歴故障レコードを大規模モデルに入力して、履歴異常の検出点位置のエンティティを抽出する。

【0093】

履歴故障レコードには、故障の原因、故障の種類、故障発生時のオーディオ特徴及び故障の解決方法が含まれてもよい。

【0094】

ステップＧ２において、履歴異常の検出点位置のエンティティに基づいて、複数の履歴異常の検出点位置に対応する要素トリプルを得る。当該要素トリプルは故障原因、オーディオ特徴を含み、且つ故障タイプを両者間のエッジのタイプとする。また、要素トリプルは故障原因、故障解決方法を含み、且つ両者間のエッジのタイプが故障修理である。

【0095】

ステップＧ３において、複数の要素トリプルに基づいて、故障解析グラフを構築する。

【0096】

各履歴異常の検出点位置の間にも関連関係があるため、具体的には、サーバは、ステップＧ２において抽出された履歴異常の検出点位置のエンティティと、各履歴異常の検出点位置のエンティティとの間のエンティティ関係に基づいて、ＲＤＦ（Ｒｅｓｏｕｒｃｅ Ｄｅｓｃｒｉｐｔｉｏｎ Ｆｒａｍｅｗｏｒｋ、リソース・ディスクリプション・フレームワーク）表現規範に準拠した形式、すなわち要素トリプル（ｓｕｂｊｅｃｔ－ｐｒｅｄｉｃａｔｅ－ｏｂｊｅｃｔ）形式で表現する。ここで、要素トリプルはエンティティ－関係－エンティティという３つの部分から構成される。

【0097】

本開示の実施例では、故障解析グラフ中の異なる履歴異常の検出点位置のエンティティ間の関連度に基づいて、大規模言語モデルを呼び出して異なる履歴異常の検出点位置のエンティティを推理し、大規模言語モデルの推理特性を利用して潜在的なエンティティ関係を掘り出して、より多くの要素トリプルを取得し、ひいては故障解析グラフを改善して、故障解析の正確性を向上させることができる。

【0098】

本開示の実施例では、自然言語処理技術によって、大規模言語モデルは、履歴異常の検出点位置のエンティティ認識、エンティティ関係抽出及び知識表現を行い、より正確で精密な意味理解を提供し、ひいては故障解析グラフ生成の効果を高めた。また、大規模モデルは知識推論の役割も果たし、既存の知識を推論し、その中の潜在的な関係や法則を発見し、故障分析グラフをさらに拡張することができる。

【0099】

なお、故障解析グラフの更新がない場合、音声セグメントを判定するたびに故障解析グラフに対して特徴抽出を行う必要はなく、後続の解析に用いられるためにグラフ特徴を保存しておく。また、より完全な故障解析グラフを適用できるようにするために、最近の故障情報をｋｅｙ－ｖａｌｕｅ（キー値ペア）テーブルに保存し、定期的に故障解析グラフを更新するとともに、ｋｅｙ－ｖａｌｕｅテーブルに格納されている故障情報を消去することで、計算ソースを節約することができる。もちろん、ｋｅｙ－ｖａｌｕｅテーブルに格納されている故障情報が予め設定された数を満たした場合に、故障解析グラフに更新してもよい。

【0100】

図５に示すように、故障解析グラフを第１グラフニューラルネットワークに入力し、特徴抽出を行って、グラフ特徴を得、異常を検出した場合迅速にこの異常を解決する方法を決定することができるように、この故障解析グラフを参考とする。

【0101】

第２グラフニューラルネットワークを用いて、情報グラフに対して特徴抽出を行って、オーディオ特徴を得る。

【0102】

運転パラメータの収集時間に基づいて、運転パラメータタイミンググラフを構築し、第３グラフニューラルネットワークを用いて、運転パラメータ図に対して特徴抽出を行って、パラメータ特徴を得る。

【0103】

グラフ特徴、パラメータ特徴及びオーディオ特徴を知識特徴抽出ネットワークに入力して知識特徴を得、また、パラメータ特徴及びオーディオ特徴をタイミング特徴抽出ネットワークに入力してタイミング特徴を得る。

【0104】

ここで、グラフ特徴、パラメータ特徴及びオーディオ特徴を知識特徴抽出ネットワークに入力して知識特徴を得ることは、具体的には図５に示すように実施することができる。即ち、グラフ特徴を少なくとも１層の第１畳み込み層及び第１プーリング層に入力して第１特徴を得、オーディオ特徴を少なくとも１層の第２畳み込み層及び第２プーリング層に入力して第２特徴を得、パラメータ特徴を少なくとも１層の第３畳み込み層及び第３プーリング層に入力して第３特徴を得、また、第１交差アテンションメカニズムネットワークを用いて第２特徴及び第３特徴を処理して第１中間特徴を得、第３交差アテンションメカニズムネットワークを用いて第１中間特徴及び第１特徴を処理して知識特徴を得る。

【0105】

ここで、パラメータ特徴及びオーディオ特徴をタイミング特徴抽出ネットワークに入力してタイミング特徴を得ることは、具体的には図５に示すように実施することができる。即ち、オーディオ特徴を少なくとも１層の第４畳み込み層及び第４プーリング層に入力して第４特徴を得、パラメータ特徴に少なくとも１層の第５畳み込み層及び第５プーリング層に入力して第５特徴を得、また、第２交差アテンションメカニズムネットワークを用いて第４特徴及び第５特徴を処理して第２中間特徴を得、第４交差アテンションメカニズムネットワークに基づいて第２中間特徴及び第１中間特徴を処理してタイミング特徴を得る。

【0106】

知識特徴とタイミング特徴とを融合処理して融合特徴を得、融合特徴を疎な隣接行列の形に変換してグラフニューラルネットワークモデルに入力し、目標設備の故障検出結果を得る。同時に、故障検出結果が故障解析グラフに現れたことがある場合、その異常に対応する解決方法を取得することができる。

【0107】

別の実施例では、オーディオ特徴の類似度に基づいて構築された情報グラフを取得した上で、それを第１隣接行列に変換し、初期オーディオデータの収集時間に基づいて、収集時間を基準とする予め設定された時間範囲内の反応釜の運転パラメータを取得し、運転パラメータは電圧、電流、回転数、粘度の少なくとも１つを含む。反応釜の運転パラメータに基づいて第２隣接行列を構築する。運転パラメータ間の類似度に基づいて、第２隣接行列を構築する。

【0108】

第１隣接行列と第２隣接行列とを融合して、情報グラフを得る。融合の方法は積であってもよいし、スプライシングであってもよいし、加算であってもよい。情報グラフには類似度０のノードペアが大量に存在する可能性があるため、後続のグラフニューラルネットワークモデルによる処理を容易にするために、これらのゼロ要素を除去することで、この目標隣接行列を疎な隣接行列に変換することができる。疎な隣接行列をニューラルネットワークモデルに入力して、目標設備に関する故障検出結果を得る。

【0109】

本開示の実施例では、反応釜の運転パラメータを考慮したため、目標設備の検出結果を正確に決定することができる。

【0110】

同じ技術的思想に基づき、本開示の実施例ではオーディオに基づく設備の故障検出装置６００を提供し、図６に示すように、該装置は、
目標設備に対して無人機によって収集された初期オーディオデータを取得するための第１収集モジュール６０１と、
初期オーディオデータを前処理して、検出待ちのオーディオデータを得るための前処理モジュール６０２と、
検出待ちのオーディオデータに対して特徴抽出を行って、検出待ちのオーディオデータのオーディオ特徴を得るための特徴抽出モジュール６０３と、
オーディオ特徴に基づいて情報グラフを構築するための構築モジュール６０４と、
情報グラフとグラフニューラルネットワークモデルとに基づいて、目標設備に関する故障検出結果を得るための検出モジュール６０５と、を備える。

【0111】

いくつかの実施例では、前処理モジュール６０２は、
ノイズ抑制と静音検出方法とに基づいて初期オーディオデータを処理して、第１オーディオデータを得ることと、
第１オーディオデータをフレーム分割して、第２オーディオデータを得ることと、
窓関数を用いて第２オーディオデータを処理して、第３オーディオデータを得ることと、
第３オーディオデータを周波数領域に変換して、検出待ちのオーディオデータを得ることと、に用いられる。

【0112】

いくつかの実施例では、検出モジュール６０５は、
情報グラフに基づいて隣接行列を構築することと、
隣接行列をグラフニューラルネットワークモデルに入力して、目標設備に関する故障検出結果を得ることと、に用いられる。

【0113】

いくつかの実施例では、初期オーディオデータは複数のオーディオセグメントを含み、構築モジュール６０４は、
オーディオ特徴における各オーディオセグメントのオーディオサブ特徴に基づいて、オーディオセグメント間の類似度を決定することと、
類似度が予め設定された閾値を満たすオーディオセグメントを、相関関係を有するノードとして、情報グラフを構築することと、に用いられる。

【0114】

いくつかの実施例では、オーディオ特徴は、周波数特徴、時間長特徴及び強度特徴の少なくとも１つを含む。

【0115】

いくつかの実施例では、目標設備は紡糸プロセスに必要な反応釜であり、構築モジュール６０４は、
初期オーディオデータの収集時間に基づいて、収集時間を基準とする予め設定された時間範囲内の反応釜の運転パラメータを取得することであって、運転パラメータは、電圧、電流、回転速度及び粘度の少なくとも１つを含む、ことと、
オーディオ特徴と運転パラメータとに基づいて、情報グラフを構築することと、に用いられる。

【0116】

いくつかの実施例では、目標設備は紡糸プロセスに必要な反応釜であり、設備の故障検出装置は、
反応釜に故障が発生していることを故障検出結果が示す場合、初期オーディオデータの収集時間に基づいて、収集時間を基準とする予め設定された時間範囲内の反応釜の運転パラメータを取得することであって、運転パラメータは、電圧、電流、回転数及び粘度の少なくとも１つを含む、ことと、
運転パラメータに基づいて反応釜の故障状況を決定することと、
運転パラメータに基づいて反応釜に異常が発生していることを決定した場合、緊急警報情報を発することと、に用いられるための異常処理モジュールをさらに備える。

【0117】

いくつかの実施例では、設備の故障検出装置は、
作業計画を実行するように無人機を制御して、初期オーディオデータを取得するための第２収集モジュールをさらに備え、
作業計画は巡回検査時間、反応釜の位置情報、及び収集された初期オーディオデータによる要求を含む。

【0118】

本開示の実施例による装置の各モジュール、サブモジュールの具体的な機能および例示的な説明は、上記した方法の実施例における対応するステップの関連する説明を参照することができ、ここでは繰り返し述べない。

【0119】

本開示の技術的解決策では、ユーザの個人情報の取得、記憶、及びアプリケーションは、関連する法律及び規則の規定に準拠し、公序良俗に違反しない。

【0120】

図７は本開示の一実施例による電子デバイスの構造ブロック図である。図７に示すように、該電子デバイスはメモリ７１０とプロセッサ７２０とを含み、メモリ７１０にプロセッサ７２０で実行可能なコンピュータプログラムが記憶される。メモリ７１０及びプロセッサ７２０の数は、１つ又は複数であり得る。メモリ７１０は、１つ又は複数のコンピュータプログラムを記憶することができ、該１つ又は複数のコンピュータプログラムは、該電子デバイスによって実行されると、該電子デバイスに上記の方法の実施例により提供される方法を実行させる。該電子デバイスはさらに以下を含むことができる。通信インターフェース７３０は、外部デバイスと通信し、データのインタラクション・伝送を行うことに用いられる。

【0121】

メモリ７１０、プロセッサ７２０、及び通信インターフェース７３０が独立して実装される場合、メモリ７１０、プロセッサ７２０、及び通信インターフェース７３０は、バスを介して互いに接続され、相互間の通信を行うことができる。該バスは、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バス、ＰＣＩ（Ｐｅｒｉｐｈｅｒaｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）バス、又はＥＩＳＡ（Ｅｘｔｅｎｄｅｄ Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ）バスなどであり得る。該バスは、アドレスバス、データバス、制御バスなどに分類することができる。説明を容易にするために、図７に一本の太線のみで示すが、一本のバス又は一タイプのバスのみを示すものではない。

【0122】

任意選択で、具体的な実装形態では、メモリ７１０、プロセッサ７２０、及び通信インターフェース７３０が１つのチップ上に集積される場合、メモリ７１０、プロセッサ７２０、及び通信インターフェース７３０は、内部インターフェースを介して相互間の通信を行うことができる。

【0123】

上記プロセッサは中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎg Ｕｎｉｔ，ＣＰＵ）であってもよく、さらに他の汎用プロセッサ、デジタル信号プロセッサ（Ｄｉgｉｔａｌ Ｓｉgｎａｌ Ｐｒｏｃｅｓｓｉｎg，ＤＳＰ）、特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅgｒａｔｅｄ Ｃｉｒｃｕｉｔ，ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏgｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ，ＦＰＧＡ）又は他のプログラマブルロジックデバイス、ディスクリートゲート又はトランジスタロジックデバイス、ディスクリートハードウェアアセンブリ等であってもよいことを理解されたい。汎用プロセッサは、マイクロプロセッサ又は任意の従来のプロセッサなどであり得る。なお、プロセッサは、Ａｄｖａｎｃｅｄ ＲＩＳＣ Ｍａｃｈｉｎｅｓ（ＡＲＭ）アーキテクチャをサポートするプロセッサであり得る。

【0124】

さらに、選択的に、上記メモリは読み出し専用メモリ及びランダムアクセスメモリを含んでもよく、さらに不揮発性ランダムアクセスメモリを含んでもよい。該メモリは、揮発性メモリ又は不揮発性メモリのいずれかであり得るか、あるいは揮発性メモリと不揮発性メモリの両方を含み得る。ここで、不揮発性メモリは、ＲＯＭ（Ｒｅａｄ－Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＰＲＯＭ（Ｐｒｏgｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ ＥＰＲＯＭ）、又はフラッシュメモリを含むことができる。揮発性メモリは、外部キャッシュとして機能するランダムアクセスメモリ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＲＡＭ）を含むことができる。限定ではなく例として、多くの形態のＲＡＭが利用可能である。例えば、スタティックランダムアクセスメモリ（Ｓｔａｔｉｃ ＲＡＭ，ＳＲＡＭ）、ダイナミックランダムアクセスメモリ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ，ＤＲＡＭ）、シナリオクロナスＤＲＡＭ（Ｓｙｎｃｈｒｏｎｏｕｓ ＤＲＡＭ，ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ＳＤＲＡＭ，ＤＤＲ ＳＤＲＡＭ）、エンハンストＳＤＲＡＭ（Ｅｎｈａｎｃｅｄ ＳＤＲＡＭ，ＥＳＤＲＡＭ）、シナリオクリンクＤＲＡＭ（Ｓｙｎｃｈｌｉｎｋ ＤＲＡＭ，ＳＬＤＲＡＭ）及びダイレクトＲＡＭＢＵＳＲＡＭ（Ｄｉｒｅｃｔ ＲＡＭＢＵＳ ＲＡＭ，ＤＲ ＲＡＭ）である。

【0125】

上述の実施例では、全体的又は部分的に、ソフトウェア、ハードウェア、ファームウェア、又はそれらの任意の組合せで実装され得る。ソフトウェアで実装される場合に、全体又は一部はコンピュータプログラム製品の形態で実装され得る。コンピュータプログラム製品は、１つ又は複数のコンピュータ命令を含む。コンピュータ命令がロードされ、コンピュータ上で実行されると、本開示の実施例によるプロセス又は機能が全体的又は部分的に生成される。コンピュータは、汎用コンピュータ、専用コンピュータ、コンピュータネットワーク、又は他のプログラム可能な装置であってもよい。コンピュータ命令は、コンピュータ可読記憶媒体に記憶されてもよく、又は１つのコンピュータ可読記憶媒体から別のコンピュータ可読記憶媒体に送信されてもよく、例えば、コンピュータ命令は、有線（例えば、同軸ケーブル、光ファイバ、デジタル加入者線（Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ，ＤＳＬ））又は無線（例えば、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、マイクロ波等）を介して、１つのウェブサイトサイト、コンピュータ、サーバ、又はデータセンタから別のウェブサイトサイト、コンピュータ、サーバ、又はデータセンタに送信されてもよい。コンピュータ可読記憶媒体は、コンピュータによってアクセスされ得る任意の利用可能な媒体、又は１つもしくは複数の利用可能な媒体と統合されたサーバ、データセンタなどを含むデータ記憶デバイスであり得る。使用可能な媒体は、磁気媒体（例えば、フロッピー（登録商標）ディスク、ハードディスク、磁気テープ）、光媒体（例えば、デジタル多用途ディスク（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ，ＤＶＤ））、又は半導体媒体（例えば、ソリッドステートディスク（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｉｓｋ，ＳＳＤ））などであり得る。なお、本開示で言及されるコンピュータ可読記憶媒体は、不揮発性記憶媒体、言い換えれば、非一時的記憶媒体であり得る。

【0126】

当業者は上記実施例を実現する全部又は一部のステップがハードウェアによって実装されてもよく、プログラムによって関連するハードウェアに命令して実装されてもよく、前記プログラムはコンピュータ可読記憶媒体に記憶されてもよく、上記記憶媒体は読み出し専用メモリ、磁気ディスク又は光ディスク等であってもよいことを理解することができる。

【0127】

本開示の実施例の説明において、参照用語「１つの実施例」、「いくつかの実施例」、「例」、「具体的な例」、又は「いくつかの例」等の説明は該実施例又は例に関連して説明された具体的な特徴、構造、材料又は特徴が本開示の少なくとも１つの実施例又は例に含まれることを意味する。且つ、説明された具体的な特徴、構造、材料又は特徴はいずれか１つ又は複数の実施例又は例において適切な方式で組み合わせることができる。さらに、当業者は、本開示に記載された異なる実施形態又は例及び異なる実施形態又は例の特徴を、互いに矛盾しない範囲で結びつけてもよい。

【0128】

本開示の実施例の説明において、「／」は、別段の説明がない限り、又はという意味を表し、例えば、Ａ／Ｂは、Ａ又はＢのいずれかを表し得る。本開示における「及び／又は」は関連オブジェクトの関連関係を説明することに過ぎず、三タイプの関係が存在してもよいことを示し、例えば、Ａ及び／又はＢは、以下を示すことができる。Ａが単独で存在し、Ａ及びＢが同時に存在し、Ｂが単独で存在するという三タイプの状況である。

【0129】

本開示の実施例の説明では、「第１」及び「第２」という用語は、説明の目的のみのために使用され、相対的な重要性を示す又は暗示するものと解釈されるべきではなく、示される技術的特徴の数を暗示するものと解釈されるべきではない。したがって、「第１」及び「第２」として定義される特徴は、明示的又は暗黙的に、そのような特徴のうちの１つ又は複数を含み得る。本開示の実施例の説明において、「複数」とは、別段の説明がない限り、２つ以上を意味する。

【0130】

以上は本開示の例示的な実施例に過ぎず、本開示を限定するものではなく、本開示の精神及び原則の範囲内で、行われた任意の修正、同等置換、改良等は、いずれも本開示の保護範囲内に含まれるべきである。

【要約】

【課題】オーディオに基づく設備の故障検出方法、装置、電子デバイス、記憶媒体及びプログラムを提供する。
【解決手段】本方法は、目標設備に対して無人機によって収集された初期オーディオデータを取得することと、初期オーディオデータを前処理して、検出待ちのオーディオデータを得ることと、検出待ちのオーディオデータに対して特徴抽出を行って、検出待ちのオーディオデータのオーディオ特徴を得ることと、オーディオ特徴に基づいて情報グラフを構築することと、情報グラフとグラフニューラルネットワークモデルとに基づいて、目標設備に関する故障検出結果を得ることと、を含む。本開示の実施例に提供される方法によれば、オーディオデータのオーディオ特徴を用いて設備のリアルタイムの状況を反映することができ、したがって、設備の故障検出の自動化を実現し、人的資源を節約することができる。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】