特許 7230155 情報処理装置、制御システム、情報処理方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】

(24)【登録日】2023-02-17

(45)【発行日】2023-02-28

(54)【発明の名称】情報処理装置、制御システム、情報処理方法、及びプログラム

(51)【国際特許分類】

   G06F 18/2131 20230101AFI20230220BHJP

   G06F 18/241 20230101ALI20230220BHJP

   G06N 3/0464 20230101ALI20230220BHJP

   G01H 17/00 20060101ALI20230220BHJP

   G06F 123/02 20230101ALN20230220BHJP

【ＦＩ】

G06F18/2131

G06F18/241

G06N3/0464

G01H17/00 Z

G06F123:02

【請求項の数】 13

(21)【出願番号】P 2021186424

(22)【出願日】2021-11-16

【審査請求日】2021-11-16

(73)【特許権者】

【識別番号】596072287

【氏名又は名称】株式会社エヌ・ティ・ティ・データＣＣＳ

(74)【代理人】

【識別番号】100108855

【弁理士】

【氏名又は名称】蔵田 昌俊

(74)【代理人】

【識別番号】100103034

【弁理士】

【氏名又は名称】野河 信久

(74)【代理人】

【識別番号】100179062

【弁理士】

【氏名又は名称】井上 正

(74)【代理人】

【識別番号】100153051

【弁理士】

【氏名又は名称】河野 直樹

(74)【代理人】

【識別番号】100199565

【弁理士】

【氏名又は名称】飯野 茂

(74)【代理人】

【識別番号】100162570

【弁理士】

【氏名又は名称】金子 早苗

(72)【発明者】

【氏名】土井 利次

(72)【発明者】

【氏名】籔内 篤淑

(72)【発明者】

【氏名】伊藤 慎司

【審査官】多賀 実

(56)【参考文献】

【文献】米国特許出願公開第２０２１／０２５６９９１（ＵＳ，Ａ１）

【文献】特開２０２０－０６４２８６（ＪＰ，Ａ）

【文献】市川 嵩人 ほか，「畳み込みニューラルネットワーク及びＬＳＴＭを用いた異常心音の識別」，情報処理学会研究報告 高齢社会デザイン（ＡＳＤ） [オンライン] ，情報処理学会，2020年02月21日，第2020-ASD-17巻, 第7号，pp.1-7，[検索日 2020.02.25], インターネット:<URL: https://ipsj.ixsq.nii.ac.jp/ej/?action=repository_uri&item_id=203440&file_id=1&file_no=1>, ISSN 2189-4450

【文献】石田 康二 ほか，「変動音解析を用いた機械音，自然音の音質評価」，日本音響学会 ２０１０年 秋季研究発表会講演論文集ＣＤ－ＲＯＭ [CD-ROM]，社団法人日本音響学会，2010年09月07日，pp.1001-1004，ISSN 1880-7658

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ １８／００－１８／４０

Ｇ０６Ｆ １２３／０２

Ｇ０１Ｈ １／００－１７／００

Ｇ０６Ｎ ３／００－９９／００

(57)【特許請求の範囲】

【請求項1】

時系列データに基づき、各々が周波数帯域及び変動周波数帯域の組に対応づけられた複数の値を算出することと、
前記複数の値をモデルに入力して、前記時系列データに異常が含まれる確率を算出することと、
を実行するように構成されたプロセッサを備えた、
情報処理装置。

【請求項2】

前記プロセッサは、前記算出された確率に基づき、前記時系列データに異常が含まれるか否かを判定することを更に実行するように構成された、
請求項１記載の情報処理装置。

【請求項3】

前記時系列データは、時系列に並ぶ複数の第１部分データを含み、
前記複数の値を算出することは、
前記複数の第１部分データの各々を周波数領域に変換することと、
前記複数の第１部分データの周波数領域への変換結果に基づいて、各々が対応する周波数帯域で時系列に並ぶ複数の第２部分データを生成することと、
前記複数の第２部分データの各々を変動周波数領域に変換することと、
前記複数の第２部分データの変動周波数領域への変換結果を、対応する周波数帯域及び変動周波数帯域にマッピングすることと、
を含む、
請求項１記載の情報処理装置。

【請求項4】

前記周波数領域に変換すること及び前記変動周波数領域に変換することの少なくとも一方は、バーク尺度を除く尺度に基づく帯域でデータを分割することを含む、
請求項３記載の情報処理装置。

【請求項5】

前記周波数領域に変換すること及び前記変動周波数領域に変換することの少なくとも一方は、高速フーリエ変換することを含む、
請求項３記載の情報処理装置。

【請求項6】

前記周波数領域に変換すること及び前記変動周波数領域に変換することの少なくとも一方は、オクターブバンド又はメル尺度に基づく帯域でデータを分割することを含む、
請求項３記載の情報処理装置。

【請求項7】

前記モデルは、畳み込みニューラルネットワークである、
請求項１記載の情報処理装置。

【請求項8】

前記時系列データは、前記モデルの教師データであり、
前記プロセッサは、前記複数の値、及び前記時系列データに対応するラベルに基づいて、前記モデルを更新することを更に実行するように構成された、
請求項１記載の情報処理装置。

【請求項9】

前記複数の値は、各々が同一の周波数帯域及び変動周波数帯域の組に対応づけられ、かつ互いに異なる時間帯に対応づけられた第１値及び第２値を含み、
前記確率を算出することは、前記第１値及び前記第２値のうちの大きい方を前記モデルに入力することを含む、
請求項８記載の情報処理装置。

【請求項10】

前記時系列データは、音データ又は振動データである、
請求項１記載の情報処理装置。

【請求項11】

機構と、
前記機構の動作に応じて、前記時系列データを計測するセンサと、
前記センサに接続された請求項２記載の情報処理装置と、
前記判定の結果に基づき、前記機構の動作の制御及び判定の結果の送出の少なくとも一方を行うように構成された制御装置と、
を備えた、制御システム。

【請求項12】

時系列データに基づき、各々が周波数帯域及び変動周波数帯域の組に対応づけられた複数の値を算出することと、
前記複数の値をモデルに入力して、前記時系列データに異常が含まれる確率を算出することと、
を備えた、情報処理方法。

【請求項13】

時系列データに基づき、各々が周波数及び変動周波数の組に対応づけられた複数の値を算出することと、
前記複数の値をモデルに入力して、前記時系列データに異常が含まれる確率を算出することと、
をプロセッサ実行させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

実施形態は、情報処理装置、制御システム、情報処理方法、及びプログラムに関する。

【背景技術】

【0002】

機構から発生する音を解析する技術が知られている。例えば、官能検査では、機構から発生する音を検査員が聞くことによって、異常の有無が判定される。

【0003】

また、ＩＳＯ（International Organization for Standard）５３２には、音の解析における指標として、ラウドネス（Loudness）が定義される。ラウドネスは、人の聴感に基づく音の大小を示す心理量である。官能検査において、ラウドネスは、検査員による判定に補助的に用いられる。

【先行技術文献】

【非特許文献】

【0004】

【文献】ISO 532, “Method for calculating loudness level”, 1975

【文献】ISO 532-1, “Methods for calculating loudness - Part 1: Zwicker method”, 2017

【文献】ISO 532-2, “Methods for calculating loudness - Part 2: Moore - Glasberg method”, 2017

【発明の概要】

【発明が解決しようとする課題】

【0005】

上述の官能検査では、異常の有無の判定は、検査員によってなされる。このため、機構から発生する音の異常の有無を自動的に判定することができない。

【0006】

また、上述の官能検査による判定基準は、検査員の主観に依存し得る。このため、検査員によって異なる判定結果が得られる可能性がある。すなわち、上述の官能検査では、機構の異常の有無を客観的に判定することができない。

【0007】

本発明は、上記事情に着目してなされたもので、その目的とするところは、機構の異常の有無を自動的かつ客観的に判定する手段を提供することにある。

【課題を解決するための手段】

【0008】

一態様の情報処理装置は、時系列データに基づき、各々が周波数及び変動周波数の組に対応づけられた複数の値を算出することと、上記複数の値をモデルに入力して、上記時系列データに異常が含まれる確率を算出することと、を実行するように構成されたプロセッサを備える。

【発明の効果】

【0009】

実施形態によれば、機構の異常の有無を自動的かつ客観的に判定する手段を提供することができる。

【図面の簡単な説明】

【0010】

【図1】実施形態に係る機構制御システムの構成の一例を示すブロック図。

【図2】実施形態に係る異常判定装置のハードウェア構成の一例を示すブロック図。

【図3】実施形態に係るモデル学習装置のハードウェア構成の一例を示すブロック図。

【図4】実施形態に係る異常判定装置の機能構成の一例を示すブロック図。

【図5】実施形態に係る異常判定装置で生成されるスペクトログラムの一例を示す図。

【図6】実施形態に係る異常判定装置で生成される特徴量マップの一例を示す図。

【図7】実施形態に係る異常判定装置で生成される判定履歴の一例を示す図。

【図8】実施形態に係るモデル学習装置の機能構成の一例を示すブロック図。

【図9】実施形態に係るモデル学習装置で生成される複数の教師特徴量候補マップと教師特徴量マップとの関係の一例を示す図。

【図10】実施形態に係る機構制御システムにおける機構制御処理の一例を示すフローチャート。

【図11】実施形態に係る異常判定装置における異常判定処理の一例を示すフローチャート。

【図12】実施形態に係る異常判定装置における特徴量マップ生成処理の一例を示すフローチャート。

【図13】実施形態に係るモデル学習装置におけるモデル学習処理の一例を示すフローチャート。

【図14】実施形態に係るモデル学習装置における教師特徴量マップ生成処理の一例を示すフローチャート。

【発明を実施するための形態】

【0011】

以下、図面を参照して実施形態について説明する。

【0012】

１． 構成
１．１ 機構制御システム
まず、実施形態に係る機構制御システムの構成について説明する。

【0013】

図１は、実施形態に係る機構制御システムの構成の一例を示すブロック図である。図１に示すように、機構制御システム１は、機構２と、センサ３と、異常判定装置４と、モデル学習装置５と、制御装置６と、を含む。

【0014】

機構２は、異常判定対象の音源である。機構２は、例えば、モータ等が組み付けられた自動車の電動シートや風力発電設備である。機構２には、各々が同等の仕様を有する複数のモータが組み付けられていてもよい。機構２は、所定の動作モードで動作する際に音及び振動を発生させる。機構２が電動シートの場合、動作モードは、例えば、リクライニング動作、前後移動動作、左右移動動作等である。機構２からの音及び振動は、機構の動作モード、及び機構内の異常の有無によって変化し得る。機構２の動作モードは、制御装置６からの制御信号ＣＮＴによって制御される。制御信号ＣＮＴは、例えば、動作モードの開始、中断、及び終了を機構２に指示する情報を含む。

【0015】

センサ３は、例えば、マイク又は振動計である。センサ３は、機構２の近傍に、又は機構２に接触するように配置される。センサ３は、機構２が動作することによって発生する音又は振動を計測する。センサ３によって計測された音又は振動は、時系列の計測データＳとして異常判定装置４に送信される。計測データＳは、アナログ信号及びデジタル信号のいずれであってもよい。

【0016】

異常判定装置４は、パーソナルコンピュータ等の情報処理装置である。異常判定装置４は、制御装置６からの動作モード信号ＭＯＤＥに基づき、計測データＳに関する異常判定処理を実行する。動作モード信号ＭＯＤＥは、機構２の動作モードを識別するための信号である。異常判定装置４は、異常判定処理の結果として、判定履歴Ｒ及び異常通知信号ＡＮＯＭを生成する。異常通知信号ＡＮＯＭは、計測データＳに異常があることを制御装置６に通知するための信号である。判定履歴Ｒは、計測データＳに異常があるか否かを示す情報である。異常判定装置４は、異常通知信号ＡＮＯＭを制御装置６に送信し、判定履歴Ｒをユーザに出力する。異常判定処理の詳細については、後述する。

【0017】

モデル学習装置５は、パーソナルコンピュータ等の情報処理装置である。モデル学習装置５は、モデル学習処理を実行する。モデル学習装置５は、モデル学習処理の結果として、判定モデルＭを生成する。モデル学習装置５は、生成された判定モデルＭを異常判定装置４に送信する。モデル学習処理の詳細については、後述する。

【0018】

判定モデルＭは、例えば、ニューラルネットワークを含む数学モデルである。判定モデルＭは、異常判定装置４における異常判定処理に用いられる。判定モデルＭ内のニューラルネットワークは、複数のパラメタを含む。判定モデルＭ内の複数のパラメタは、モデル学習処理によって異常判定処理に対して最適化される。判定モデルＭは、例えば、機構２の動作モード毎に異なるモデルを有する。

【0019】

制御装置６は、主に機構２の動作を制御する制御端末である。機構２が電動シートの場合、制御装置６は、出荷前検査において電動シートの動作を確認するための試験装置である。機構２が風力発電設備である場合、制御装置６は、設置された設備に対する動作制御及び不具合モニタをリアルタイムで行うための管制装置である。制御装置６は、異常判定装置４に動作モード信号ＭＯＤＥを送信する。制御装置６は、異常判定装置４から異常通知信号ＡＮＯＭを受信する。制御装置６は、機構２に制御信号ＣＮＴを送信する。

【0020】

１．２ ハードウェア構成
次に、実施形態に係る機構制御システムのハードウェア構成について説明する。

【0021】

１．２．１ 異常判定装置
図２は、実施形態に係る異常判定装置のハードウェア構成の一例を示すブロック図である。図２に示すように、異常判定装置４は、制御回路１１、ストレージ１２、通信モジュール１３、ユーザインタフェース１４、ドライブ１５、及び記憶媒体１６を含む。

【0022】

制御回路１１は、異常判定装置４の各構成要素を全体的に制御する回路である。制御回路１１は、ＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）等を含む。

【0023】

ストレージ１２は、異常判定装置４の補助記憶装置である。ストレージ１２は、例えば、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、又はメモリカード等である。ストレージ１２は、異常判定処理に用いられる計測データＳ及び判定モデルＭ等を記憶する。また、ストレージ１２は、異常判定処理を実行するためのプログラムを記憶してもよい。

【0024】

通信モジュール１３は、センサ３との間、及びモデル学習装置５との間のデータの送受信に用いられる回路である。

【0025】

ユーザインタフェース１４は、ユーザと制御回路１１との間で情報を通信するための回路である。ユーザインタフェース１４は、入力機器及び出力機器を含む。入力機器は、例えば、タッチパネル及び操作ボタン等を含む。出力機器は、例えば、ディスプレイ及びプリンタ等を含む。また、出力機器は、ランプやブザー等を含んでいてもよい。

【0026】

ドライブ１５は、記憶媒体１６に記憶されたソフトウェアを読み込むための機器である。ドライブ１５は、例えば、ＣＤ（Compact Disk）ドライブ、及びＤＶＤ（Digital Versatile Disk）ドライブ等を含む。

【0027】

記憶媒体１６は、ソフトウェアを、電気的、磁気的、光学的、機械的又は化学的作用によって記憶する媒体である。記憶媒体１６は、異常判定処理を実行するためのプログラムを記憶してもよい。

【0028】

１．２．２ モデル学習装置
図３は、実施形態に係るモデル学習装置のハードウェア構成の一例を示すブロック図である。図３に示すように、モデル学習装置５は、制御回路２１、ストレージ２２、通信モジュール２３、ユーザインタフェース２４、ドライブ２５、及び記憶媒体２６を含む。

【0029】

制御回路２１は、モデル学習装置５の各構成要素を全体的に制御する回路である。制御回路２１は、ＣＰＵ、ＲＡＭ、及びＲＯＭ等を含む。

【0030】

ストレージ２２は、モデル学習装置５の補助記憶装置である。ストレージ２２は、例えば、ＨＤＤ、ＳＳＤ、又はメモリカード等である。ストレージ２２は、モデル学習処理に使用されるデータを記憶する。また、ストレージ２２は、モデル学習処理を実行するためのプログラムを記憶してもよい。

【0031】

通信モジュール２３は、異常判定装置４との間のデータの送受信に使用される回路である。

【0032】

ユーザインタフェース２４は、ユーザと制御回路２１との間で情報を通信するための回路である。ユーザインタフェース２４は、入力機器及び出力機器を含む。入力機器は、例えば、タッチパネル及び操作ボタン等を含む。出力機器は、例えば、ディスプレイ及びプリンタ等を含む。

【0033】

ドライブ２５は、記憶媒体２６に記憶されたソフトウェアを読み込むための機器である。ドライブ２５は、例えば、ＣＤドライブ、及びＤＶＤドライブ等を含む。

【0034】

記憶媒体２６は、ソフトウェアを、電気的、磁気的、光学的、機械的又は化学的作用によって記憶する媒体である。記憶媒体２６は、モデル学習処理を実行するためのプログラムを記憶してもよい。

【0035】

１．３ 機能構成
次に、実施形態に係る機構制御システムの機能構成について説明する。

【0036】

１．３．１ 異常判定装置
図４は、実施形態に係る異常判定装置の機能構成の一例を示すブロック図である。制御回路１１のＣＰＵは、ストレージ１２又は記憶媒体１６に記憶された異常判定処理に関するプログラムをＲＡＭに展開する。そして、制御回路１１のＣＰＵは、ＲＡＭに展開されたプログラムを解釈及び実行する。これにより、異常判定装置４は、第１変換部３１、スペクトログラム生成部３２、第２変換部３３、特徴量マップ生成部３４、確率算出部３５、及び判定部３６を備えるコンピュータとして機能する。

【0037】

第１変換部３１は、時系列の計測データＳを周波数領域に変換する機能ブロックである。計測データＳがアナログ信号の場合、第１変換部３１は、計測データＳをアナログ信号からデジタル信号に変換する。第１変換部３１は、デジタル信号に変換後の計測データＳを期間Ｔ１の長さのデータ単位に分割する。期間Ｔ１は、例えば、数ミリ秒～数十ミリ秒である。時系列に隣り合う２個のデータ単位は、互いに重複する期間を有していてもよい。時系列に隣り合う２個のデータ単位は、互いに重複する期間を有していなくもよい。第１変換部３１は、例えば、計測データＳに対して、データ単位毎に高速フーリエ変換（ＦＦＴ：Fast Fourier Transformation）処理を実行し得る。また、第１変換部３１は、例えば、オクターブバンド分析のように、互いに異なる周波数帯を透過させる複数のバンドパスフィルタを用いることによって、計測データＳを周波数領域に変換してもよい。第１変換部３１は、データ単位毎の変換処理の結果をスペクトログラム生成部３２に送信する。以下の説明では、周波数領域への変換処理は、“第１変換処理”とも呼ぶ。

【0038】

なお、第１変換部３１の第１変換処理における周波数領域のサンプリング幅（周波数帯域）は、ＦＦＴ処理のように定幅に分割されなくてもよい。例えば、第１変換部３１の第１変換処理における周波数帯域は、１／３オクターブバンドやメル尺度に基づく帯域で分割されてもよい。ただし、周波数帯域へのバーク尺度の適用は、計算機負荷の観点から好ましくない。

【0039】

スペクトログラム生成部３２は、第１変換部３１による第１変換処理の結果を用いて、スペクトログラムを生成する機能ブロックである。スペクトログラム生成部３２は、第１変換部３１によるデータ単位毎の第１変換処理の結果を、時系列に期間Ｔ２にわたって蓄積する。期間Ｔ２は、期間Ｔ１より長い。期間Ｔ２は、例えば、数百ミリ秒である。スペクトログラム生成部３２は、期間Ｔ２にわたって蓄積された複数の第１変換処理の結果に基づき、スペクトログラムを生成する。スペクトログラム生成部３２は、生成されたスペクトログラムを第２変換部３３に送信する。

【0040】

図５は、実施形態に係る異常判定装置で生成されるスペクトログラムの一例を示す図である。スペクトログラムは、３次元データの集合である。スペクトログラムにおける各３次元データの３成分はそれぞれ、時間、周波数、及び信号強度（振幅）に対応する。図５の例では、Ｘ軸及びＹ軸がそれぞれ、時間及び周波数に対応する。そして、或る時間幅及び周波数帯域に対応する振幅の大小が、グリッド毎の色の濃淡で示される。スペクトログラムにおけるグリッドとは、１個の時間幅と１個の周波数帯域とで区切られるスペクトログラム内の矩形領域である。

【0041】

このスペクトログラムにおいて、或る時間幅に対応する（Ｙ方向に並ぶ）複数のグリッドが、１個のデータ単位についての第１変換処理の結果に対応する。このようなデータ単位についての第１変換処理の結果が時系列に（Ｘ方向に）期間Ｔ２に対応する個数並ぶことにより、スペクトログラムが形成される。言い換えると、スペクトログラムは、各々が対応する周波数帯域で時系列に並ぶ複数のデータ群の集合である。

【0042】

再び図４を参照して、異常判定装置４の機能構成について説明する。

【0043】

第２変換部３３は、スペクトログラム生成部３２によって生成されたスペクトログラムを変動周波数領域に変換する機能ブロックである。変動周波数とは、或る周波数で振動する信号における、ピーク値の時間変化の周波数表現である。第２変換部３３は、スペクトログラムを、複数のデータ群に分割する。複数のデータ群は、互いに異なる周波数帯域に対応する。すなわち、複数のデータ群の各々は、スペクトログラムのうち、或る周波数帯域に対応する（Ｘ方向に並ぶ）複数のグリッドを含む。第２変換部３３は、例えば、データ群毎にＦＦＴ処理を実行し得る。また、第２変換部３３は、例えば、オクターブバンド分析のように、互いに異なる周波数帯を透過させる複数のバンドパスフィルタを用いることによって、スペクトログラムを変動周波数領域に変換してもよい。第２変換部３３は、データ群毎の変換処理の結果を、特徴量マップ生成部３４に送信する。以下の説明では、変動周波数領域への変換処理は、“第２変換処理”とも呼ぶ。

【0044】

なお、第２変換部３３の第２変換処理における変動周波数帯域のサンプリング幅（変動周波数帯域）は、ＦＦＴ処理のように定幅に分割されなくてもよい。例えば、第２変換部３３の第２変換処理における変動周波数帯域は、１／３オクターブバンドやメル尺度に基づく帯域で分割されてもよい。ただし、変動周波数帯域へのバーク尺度の適用は、計算機負荷の観点から好ましくない。

【0045】

また、第２変換処理に先立ち、第２変換部３３は、ラウドネス算出時に実行されるようなレベル補正処理、時間マスキング処理、周波数マスキング処理、及び時間重み付け処理の各々を実行してもよい。ただし、計測データＳの異常の有無を人の聴感によらずに判定する観点から、レベル補正処理、時間マスキング処理、周波数マスキング処理、及び時間重み付け処理は、不要である。このため、第２変換部３３は、レベル補正処理、時間マスキング処理、周波数マスキング処理、及び時間重み付け処理を実行しなくてもよい。

【0046】

特徴量マップ生成部３４は、第２変換部３３による第２変換処理の結果を用いて、特徴量マップを生成する機能ブロックである。特徴量マップ生成部３４は、１個のスペクトログラムから生成される全てのデータ群に対する第２変換処理の結果を、特徴量として蓄積する。特徴量マップ生成部３４は、蓄積された特徴量をマッピングすることにより、特徴量マップを生成する。特徴量マップ生成部３４は、生成された特徴量マップを確率算出部３５に送信する。

【0047】

図６は、実施形態に係る異常判定装置で生成される特徴量マップの一例を示す図である。特徴量マップは、３次元データの集合である。特徴量マップにおける各３次元データの３成分はそれぞれ、周波数、変動周波数、及び信号強度（振幅）に対応する。図６の例では、Ｘ軸及びＹ軸がそれぞれ、周波数及び変動周波数に対応する。そして、或る周波数帯域及び変動周波数帯域に対応する振幅の大小が、グリッド毎の色の濃淡で示される。特徴量マップにおけるグリッドとは、１個の周波数帯域と１個の変動周波数帯域とで区切られる特徴量マップ内の矩形領域である。

【0048】

この特徴量マップにおいて、或る周波数帯域に対応する（Ｙ方向に並ぶ）複数のグリッドが、１個のデータ群についての第２変換処理の結果に対応する。このようなデータ群の第２変換処理の結果が周波数方向に（Ｘ方向に）複数個並ぶことにより、特徴量マップが形成される。

【0049】

再び図４を参照して、異常判定装置４の機能構成について説明する。

【0050】

確率算出部３５は、計測データＳに異常がある確率を算出する機能ブロックである。確率算出部３５は、動作モード信号ＭＯＤＥに基づき、機構２の動作モードに応じた判定モデルＭを選択する。確率算出部３５は、選択された判定モデルＭに、特徴量マップを入力する。確率算出部３５は、特徴量マップが入力された判定モデルＭからの出力結果に基づき、計測データＳの異常確率を算出する。異常確率は、例えば、０以上１以下の実数である。例えば、異常確率が大きいほど、計測データＳが異常である確率が高いことを示す。確率算出部３５は、算出された異常確率を判定部３６に送信する。

【0051】

上述の通り、判定モデルＭは、ニューラルネットワークを含む。より具体的には、判定モデルＭに含まれるニューラルネットワークは、例えば、畳み込みニューラルネットワーク（ＣＮＮ：Convolutional Neural Network）である。この場合、特徴量マップは、あたかも画像情報として、判定モデルＭに入力される。これにより、特徴量マップの各グリッドにおける振幅値は、判定モデルＭによって、画像におけるピクセル値と同等に取り扱われる。

【0052】

判定部３６は、異常確率に基づき、計測データＳの異常の有無を判定する機能ブロックである。判定部３６は、確率算出部３５から異常確率を受信するたびに、判定処理を実行する。異常確率が条件を満たす場合、判定部３６は、計測データＳに異常があると判定する。条件は、例えば、異常確率が第１閾値（例えば０．５）以上となることであってもよい。また、条件は、例えば、異常確率が第１閾値以上となった回数が第２閾値以上となることであってもよい。このように、条件は、機構２の動作モード及び機構２の特性に応じて、任意の条件が適用される。判定部３６は、判定処理の結果を時系列に並べた判定履歴Ｒを生成し、ユーザに出力する。また、計測データＳに異常があると判定された場合、判定部３６は、異常通知信号ＡＮＯＭを生成し、制御装置６に送信する。なお、計測データＳに異常があると判定された場合、判定部３６は、ブザーを鳴らしたり、ランプを点灯させたりする等の手段で、異常をユーザに通知してもよい。

【0053】

図７は、実施形態に係る異常判定装置で生成される判定履歴の一例を示す図である。図７の例では、判定履歴Ｒが、異常確率を時系列に並べたグラフとしてユーザに出力される場合が示される。判定履歴Ｒは、新たな異常確率が算出されるたびに、時間方向に更新されていく。

【0054】

図７の例において、異常確率が０．５以上の際に計測データＳに異常があると判定される場合、判定部３６は、時刻ｔ１～ｔ８の各々のタイミングで、異常通知信号ＡＮＯＭを制御装置６に送信する。

【0055】

以上のように構成されることにより、異常判定装置４は、計測データＳに基づき、判定モデルＭを用いて、機構２の異常の有無を判定し、その結果をユーザ及び制御装置６に通知することができる。そして、制御装置６は、異常判定装置４からの異常通知信号ＡＮＯＭを受信することにより、機構２の動作モードを中断させることができる。

【0056】

１．３．２ モデル学習装置
実施形態に係るモデル学習装置の機能構成について説明する。

【0057】

図８は、実施形態に係るモデル学習装置の機能構成の一例を示すブロック図である。制御回路２１のＣＰＵは、ストレージ２２又は記憶媒体２６に記憶されたモデル学習処理に関するプログラムをＲＡＭに展開する。そして、制御回路２１のＣＰＵは、ＲＡＭに展開されたプログラムを解釈及び実行する。これにより、モデル学習装置５は、第１変換部４１、スペクトログラム生成部４２、第２変換部４３、教師特徴量マップ生成部４４、確率算出部４５、及び更新部４６を備えるコンピュータとして機能する。また、モデル学習装置５は、教師データセットＴ及び学習前モデルＭ０を記憶する。

【0058】

学習前モデルＭ０は、ニューラルネットワークを含む数学モデルである。学習前モデルＭ０の構成は、パラメタの値が異なる点を除いて、判定モデルＭと同等である。学習前モデルＭ０は、初期状態、すなわちパラメタが異常判定処理に対して最適化される前の状態の判定モデルである。

【0059】

教師データセットＴは、複数の教師データを含む。複数の教師データの各々は、互いに対応づけられたデータ及びラベルを含む。

【0060】

各教師データ内のデータは、例えば、機構２からの音又は振動を予め測定したデータである。各教師データ内のデータの長さは、例えば、期間Ｔ３以上である。期間Ｔ３は、期間Ｔ２より長い。このため、各教師データ内のデータからは、複数の特徴量マップを生成することができる。

【0061】

各教師データ内のラベルは、対応するデータに関する真の判定結果を示す情報である。具体的には、各教師データ内のラベルは、対応するデータの異常確率を含む。すなわち、異常な音又は振動を含むデータに対応するラベルは、異常確率“１”を示す。一方、異常な音又は振動を含まないデータに対応するラベルは、異常確率“０”を示す。

【0062】

教師データセットＴは、教師データを処理単位として、モデル学習装置５によって処理される。以下では、各教師データに対するモデル学習装置５の機能構成について、説明する。

【0063】

第１変換部４１、スペクトログラム生成部４２、及び第２変換部４３の機能構成は、計測データＳに代えて教師データが入力である点を除き、第１変換部３１、スペクトログラム生成部３２、及び第２変換部３３と同等である。

【0064】

第１変換部４１は、時系列の教師データを周波数領域に変換する機能ブロックである。第１変換部４１は、教師データを期間Ｔ１の長さのデータ単位に分割する。第１変換部４１は、例えば、教師データに対して、データ単位毎に第１変換処理（例えば、ＦＦＴ処理）を実行する。第１変換部４１は、データ単位毎の第１変換処理の結果をスペクトログラム生成部４２に送信する。なお、第１変換部４１の第１変換処理における周波数帯域は、判定モデルＭと学習前モデルＭ０との整合性の観点から、第１変換部３１と同じ周波数帯域が適用されることが望ましい。

【0065】

スペクトログラム生成部４２は、第１変換部４１による第１変換処理の結果を用いて、スペクトログラムを生成する機能ブロックである。スペクトログラム生成部４２は、第１変換部４１によるデータ単位毎の第１変換処理の結果を、時系列に期間Ｔ２にわたって蓄積する。スペクトログラム生成部４２は、期間Ｔ２にわたって蓄積された複数の第１変換処理の結果に基づき、スペクトログラムを生成する。スペクトログラム生成部４２は、生成されたスペクトログラムを第２変換部４３に送信する。

【0066】

第２変換部４３は、スペクトログラム生成部４２によって生成されたスペクトログラムを変動周波数領域に変換する機能ブロックである。第２変換部４３は、スペクトログラムを、複数のデータ群に分割する。第２変換部４３は、例えば、データ群毎に第２変換処理（例えば、ＦＦＴ処理）を実行する。第２変換部４３は、データ群毎の第２変換処理の結果を、教師特徴量マップ生成部４４に送信する。なお、第２変換部４３の第２変換処理における変動周波数帯域は、判定モデルＭと学習前モデルＭ０との整合性の観点から、第２変換部３３と同じ変動周波数帯域が適用されることが望ましい。

【0067】

教師特徴量マップ生成部４４は、第２変換部４３による第２変換処理の結果を用いて、教師特徴量マップを生成する機能ブロックである。教師特徴量マップ生成部４４は、１個のスペクトログラムから生成される全てのデータ群の第２変換処理の結果を、教師特徴量候補として蓄積する。教師特徴量マップ生成部４４は、蓄積された教師特徴量候補をマッピングすることにより、スペクトログラム毎に教師特徴量候補マップを生成する。そして、教師特徴量マップ生成部４４は、複数のスペクトログラムに対応する複数の教師特徴量候補マップに基づき、教師特徴量マップを生成する。教師特徴量マップ生成部４４は、生成された教師特徴量マップを確率算出部４５に送信する。

【0068】

図９は、実施形態に係るモデル学習装置で生成される複数の教師特徴量候補マップと教師特徴量マップとの関係の一例を示す図である。図９に示すように、教師特徴量マップにおける各グリッドの振幅値には、例えば、複数の教師特徴量候補マップの対応するグリッドにおける振幅値の最大値が適用される。

【0069】

再び図８を参照して、モデル学習装置５の機能構成について説明する。

【0070】

確率算出部４５の機能構成は、特徴量マップに代えて教師特徴量マップが入力である点、及び判定モデルＭに代えて学習前モデルＭ０が用いられる点を除き、確率算出部３５と同等である。

【0071】

確率算出部４５は、教師データに異常がある確率を算出する機能ブロックである。確率算出部４５は、学習前モデルＭ０に教師特徴量マップを入力する。確率算出部４５は、教師特徴量マップが入力された学習前モデルＭ０からの出力結果に基づき、教師データの異常確率を算出する。確率算出部４５は、算出された異常確率を更新部４６に送信する。

【0072】

更新部４６は、確率算出部４５によって算出された異常確率に基づき、学習前モデルＭ０のパラメタを更新する機能ブロックである。具体的には、例えば、更新部４６は、算出された異常確率とラベルとに基づき、評価関数を算出する。評価関数には、例えば、算出された異常確率とラベルとが一致した場合に最小となるような関数が適用される。算出された評価関数が閾値以上である場合、更新部４６は、学習前モデルＭ０のパラメタを更新する。パラメタの更新に際して、更新部４６は、例えば、誤差逆伝播法を用いる。更新部４６によってパラメタが更新された学習前モデルＭ０は、確率算出部４５にフィードバックされる。教師データセットＴに関して算出された全ての評価関数が閾値未満である場合、更新部４６は、学習前モデルＭ０を、判定モデルＭとして異常判定装置４に送信する。

【0073】

以上のように構成されることにより、モデル学習装置５は、異常判定処理に最適化された判定モデルＭを異常判定装置４に提供することができる。

【0074】

２． 動作
次に、実施形態に係る機構制御システムの動作について説明する。

【0075】

２．１ 機構制御処理
まず、実施形態に係る機構制御システムにおける機構制御処理について説明する。

【0076】

図１０は、実施形態に係る機構制御システムにおける機構制御処理の一例を示すフローチャートである。

【0077】

ユーザから機構２の動作モードが入力されると（開始）、制御装置６は、入力された動作モードに応じた動作モード信号ＭＯＤＥを異常判定装置４に送信する（Ｓ１）。動作モード信号ＭＯＤＥは、異常判定装置４における判定モデルＭの選択に用いられる。

【0078】

Ｓ１の処理の後、制御装置６は、入力された動作モードに応じて機構２の動作を開始させる（Ｓ２）。

【0079】

Ｓ２の処理の後、機構２は、制御信号ＣＮＴで指示された動作モードを開始する。異常判定装置４は、センサ３から計測データＳを受信すると、Ｓ１の処理で送信された動作モード信号ＭＯＤＥに基づき、計測データＳに対する異常判定処理を実行する。一方、制御装置６は、入力された動作モードが終了するまで、又は異常通知信号ＡＮＯＭを受信するまで待機する（Ｓ３）。

【0080】

動作モードの終了後、又は異常通知信号ＡＮＯＭの受信後、制御装置６は、異常通知信号ＡＮＯＭを受信したか否かを判定する（Ｓ４）。Ｓ４の処理は、制御装置６が機構２の動作モードが終了したか否かを判定することと同義である。

【0081】

異常通知信号ＡＮＯＭを受信した場合（つまり、動作モードが終了していない場合）（Ｓ４；ｙｅｓ）、制御装置６は、実行中の動作モードを中断することにより、機構２の動作を停止させる（Ｓ５）。

【0082】

異常通知信号ＡＮＯＭを受信していない場合（つまり、動作モードが終了した場合）（Ｓ４；ｎｏ）、又はＳ５の処理の後、機構制御処理は終了となる（終了）。

【0083】

以上のように動作することにより、異常判定装置４が機構２の異常を判定した場合、機構２の動作モードを自動的に中断させることができる。

【0084】

２．２ 異常判定処理
次に、実施形態に係る異常判定装置における異常判定処理について説明する。

【0085】

図１１は、実施形態に係る異常判定装置における異常判定処理の一例を示すフローチャートである。図１１の例では、異常判定装置４は、モデル学習装置５から判定モデルＭを予め受信しているものとする。

【0086】

図１１に示すように、制御装置６から動作モード信号ＭＯＤＥを受信すると（開始）、確率算出部３５は、受信した動作モード信号ＭＯＤＥに基づいて、判定モデルＭを選択する（Ｓ１１）。

【0087】

Ｓ１１の処理の後、異常判定装置４は、計測データＳの受信を開始するまで待機する（Ｓ１２）。

【0088】

計測データＳの受信が開始すると、第１変換部３１、スペクトログラム生成部３２、第２変換部３３、及び特徴量マップ生成部３４は、特徴量マップ生成処理を実行する（Ｓ１３）。特徴量マップ生成処理の詳細については、後述する。

【0089】

確率算出部３５は、Ｓ１３の処理で生成された特徴量マップを判定モデルＭに入力することにより、異常確率を算出する（Ｓ１４）。

【0090】

判定部３６は、Ｓ１４の処理によって算出された異常確率に基づき、ユーザに判定履歴Ｒを出力する（Ｓ１５）。

【0091】

また、判定部３６は、Ｓ１４の処理によって算出された異常確率に基づき、計測データＳに異常があるか否かを判定する（Ｓ１６）。

【0092】

計測データＳに異常があると判定された場合（Ｓ１６；ｙｅｓ）、判定部３６は、異常通知信号ＡＮＯＭを制御装置６に送信する（Ｓ１７）。

【0093】

計測データＳに異常がないと判定された場合（Ｓ１６；ｎｏ）、又はＳ１７の処理の後、異常判定装置４は、計測データＳの受信が終了したか否かを判定する（Ｓ１８）。

【0094】

計測データＳの受信が終了していない場合（Ｓ１８；ｎｏ）、第１変換部３１、スペクトログラム生成部３２、第２変換部３３、及び特徴量マップ生成部３４は、新たに受信した計測データＳに基づく特徴量マップ生成処理を実行する（Ｓ１３）。そして、Ｓ１３の処理に続いてＳ１４～Ｓ１８の処理が実行される。このように、計測データＳの受信が終了するまで、Ｓ１３～Ｓ１８の処理が繰り返される。

【0095】

なお、Ｓ１３～Ｓ１８の処理は、例えば、リアルタイムで実行される。より具体的には、或るループにおけるＳ１３～Ｓ１８の処理は、１つ前のループにおけるＳ１３～Ｓ１８の処理を実行中に受信した計測データＳに対して実行される。

【0096】

計測データＳの受信が終了した場合（Ｓ１８；ｙｅｓ）、異常判定処理は終了となる（終了）。

【0097】

２．３ 特徴量マップ生成処理
次に、実施形態に係る異常判定装置における特徴量マップ生成処理について説明する。

【0098】

図１２は、実施形態に係る異常判定装置における特徴量マップ生成処理の一例を示すフローチャートである。図１２におけるＳ２１～Ｓ２８の処理は、図１１におけるＳ１３の処理の詳細に対応する。

【0099】

図１２に示すように、計測データＳを受信すると（開始）、第１変換部３１は、期間Ｔ１分（すなわち、データ単位）の計測データＳが蓄積されるまで待機する（Ｓ２１）。

【0100】

期間Ｔ１分の計測データＳが蓄積された後、第１変換部３１は、蓄積された期間Ｔ１分の計測データＳを周波数領域に変換する（Ｓ２２）。

【0101】

第１変換部３１は、期間Ｔ２分の計測データＳがＳ２２の処理によって変換されたか否かを判定する（Ｓ２３）。

【0102】

期間Ｔ２分の計測データＳが変換されていない場合（Ｓ２３；ｎｏ）、第１変換部３１は、期間Ｔ１分の新たな計測データＳが蓄積されるまで待機する（Ｓ２１）。そして、期間Ｔ１分の計測データＳが蓄積されると、第１変換部３１は、Ｓ２２の処理を実行する。このように、期間Ｔ２分の計測データＳがＳ２２の処理によって変換されるまで、Ｓ２１及びＳ２２の処理が繰り返される。

【0103】

期間Ｔ２分の計測データＳが変換された場合（Ｓ２３；ｙｅｓ）、スペクトログラム生成部３２は、時系列に期間Ｔ２にわたって複数回実行されたＳ２２の処理の結果に基づき、スペクトログラムを生成する（Ｓ２４）。

【0104】

第２変換部３３は、Ｓ２４の処理で生成されたスペクトログラムの周波数領域から、周波数帯域を選択する（Ｓ２５）。

【0105】

第２変換部３３は、スペクトログラムのうち、Ｓ２５の処理で選択された周波数帯域に対応する時系列データ（すなわち、データ群）を変動周波数領域に変換する（Ｓ２６）。

【0106】

第２変換部３３は、スペクトログラムから全ての周波数帯域が選択されたか否かを判定する（Ｓ２７）。

【0107】

選択されていない周波数帯域がある場合（Ｓ２７；ｎｏ）、第２変換部３３は、Ｓ２４の処理で生成されたスペクトログラムの周波数領域から、未選択の周波数帯域を選択する（Ｓ２５）。そして、Ｓ２５の処理に続いて、Ｓ２６及びＳ２７の処理が実行される。このように、スペクトログラム内の全ての周波数帯域に対応するデータ群がＳ２６の処理によって変換されるまで、Ｓ２５～Ｓ２７の処理が繰り返される。

【0108】

全ての周波数帯域が選択された場合（Ｓ２７；ｙｅｓ）、特徴量マップ生成部３４は、同一のスペクトログラム内の全てのデータ群に対してそれぞれ実行された複数回のＳ２６の処理の結果に基づき、特徴量マップを生成する（Ｓ２８）。

【0109】

以上により、特徴量マップ生成処理は終了となる（終了）。

【0110】

２．４ モデル学習処理
次に、実施形態に係るモデル学習装置におけるモデル学習処理について説明する。

【0111】

図１３は、実施形態に係るモデル学習装置におけるモデル学習処理の一例を示すフローチャートである。図１３の例では、モデル学習装置５は、教師データセットＴ及び学習前モデルＭ０を予め記憶しているものとする。

【0112】

図１３に示すように、ユーザからモデル学習処理を開始する旨の指示が入力されると（開始）、制御回路２１は、教師データセットＴから教師データを選択する（Ｓ３１）。

【0113】

第１変換部４１、スペクトログラム生成部４２、第２変換部４３、及び教師特徴量マップ生成部４４は、Ｓ３１の処理で選択された教師データに基づき、教師特徴量マップ生成処理を実行する（Ｓ３２）。教師特徴量マップ生成処理の詳細については、後述する。

【0114】

確率算出部４５は、Ｓ３２の処理で生成された教師特徴量マップを学習前モデルＭ０に入力することにより、異常確率を算出する（Ｓ３３）。

【0115】

更新部４６は、Ｓ３３の処理によって算出された異常確率が、Ｓ３１の処理で選択された教師データ内のラベルに対して条件を満たすか否かを判定する（Ｓ３４）。例えば、更新部４６は、異常確率及びラベルに基づいて評価関数を算出する。そして、更新部４６は、算出された評価関数を閾値と比較することにより、異常確率及びラベルの一致性を判定する。

【0116】

異常確率がラベルに対して条件を満たさない（すなわち、異常確率がラベルと一致しない）と判定された場合（Ｓ３４；ｎｏ）、更新部４６は、学習前モデルＭ０を更新する（Ｓ３５）。

【0117】

Ｓ３５の処理の後、確率算出部４５は、Ｓ３２の処理で生成された教師特徴量マップを、Ｓ３５の処理で更新された学習前モデルＭ０に入力する（Ｓ３３）。そして、Ｓ３３の処理に続いてＳ３４及びＳ３５の処理が実行される。このように、異常確率がラベルに対して条件を満たすと判定されるまで、Ｓ３３～Ｓ３５の処理が繰り返される。

【0118】

異常確率がラベルに対して条件を満たす（すなわち、異常確率がラベルと一致する）と判定された場合（Ｓ３４；ｙｅｓ）、制御回路２１は、教師データセットＴ内の全ての教師データが選択済みであるか否かを判定する（Ｓ３６）。

【0119】

選択されていない教師データがある場合（Ｓ３６；ｎｏ）、制御回路２１は、教師データセットＴから未選択の教師データを選択する（Ｓ３１）。そして、Ｓ３１の処理に続いてＳ３２～Ｓ３６の処理が実行される。このように、全ての教師データが選択されるまで、Ｓ３１～Ｓ３６の処理が繰り返される。

【0120】

全ての教師データ選択済みである場合（Ｓ３６；ｙｅｓ）、更新部４６は、学習前モデルＭ０を判定モデルＭとして異常判定装置４に送信する（Ｓ３７）。

【0121】

Ｓ３７の処理が終了すると、モデル学習処理は終了となる（終了）。

【0122】

２．５ 教師特徴量マップ生成処理
次に、実施形態に係るモデル学習装置における教師特徴量マップ生成処理について説明する。

【0123】

図１４は、実施形態に係るモデル学習装置における教師特徴量マップ生成処理の一例を示すフローチャートである。図１４におけるＳ４１～Ｓ５０の処理は、図１３におけるＳ３２の処理の詳細に対応する。

【0124】

図１４に示すように、教師データセットＴ内の教師データが選択されると（開始）、第１変換部４１は、選択された教師データのうち期間Ｔ１分（すなわち、データ単位）を選択する（Ｓ４１）。

【0125】

期間Ｔ１分の教師データが選択された後、第１変換部４１は、選択された期間Ｔ１分の教師データを周波数領域に変換する（Ｓ４２）。

【0126】

第１変換部４１は、期間Ｔ２分の教師データがＳ４２の処理によって変換されたか否かを判定する（Ｓ４３）。

【0127】

期間Ｔ２分の教師データが変換されていない場合（Ｓ４３；ｎｏ）、第１変換部４１は、期間Ｔ１分の未選択の教師データを更に選択する（Ｓ４１）。そして、期間Ｔ１分の教師データが選択されると、第１変換部４１は、新たに選択された期間Ｔ１分の教師データに対してＳ４２の処理を実行する。このように、期間Ｔ２分の教師データがＳ４２の処理によって変換されるまで、Ｓ４１及びＳ４２の処理が繰り返される。

【0128】

期間Ｔ２分の教師データが変換された場合（Ｓ４３；ｙｅｓ）、スペクトログラム生成部４２は、時系列に期間Ｔ２にわたって複数回実行されたＳ４２の処理の結果に基づき、スペクトログラムを生成する（Ｓ４４）。

【0129】

第２変換部４３は、Ｓ４４の処理で生成されたスペクトログラムの周波数領域から、周波数帯域を選択する（Ｓ４５）。

【0130】

第２変換部４３は、スペクトログラムのうち、Ｓ４５の処理で選択された周波数帯域に対応する時系列データ（すなわち、データ群）を変動周波数領域に変換する（Ｓ４６）。

【0131】

第２変換部４３は、スペクトログラムから全ての周波数帯域が選択されたか否かを判定する（Ｓ４７）。

【0132】

選択されていない周波数帯域がある場合（Ｓ４７；ｎｏ）、第２変換部４３は、Ｓ４４の処理で生成されたスペクトログラムの周波数領域から、未選択の周波数帯域を選択する（Ｓ４５）。そして、Ｓ４５の処理に続いて、Ｓ４６及びＳ４７の処理が実行される。このように、スペクトログラム内の全ての周波数帯域に対応するデータ群がＳ４６の処理によって変換されるまで、Ｓ４５～Ｓ４７の処理が繰り返される。

【0133】

全ての周波数帯域が選択された場合（Ｓ４７；ｙｅｓ）、教師特徴量マップ生成部４４は、同一のスペクトログラム内の全てのデータ群に対してそれぞれ実行された複数回のＳ４６の処理の結果に基づき、教師特徴量候補マップを生成する（Ｓ４８）。

【0134】

Ｓ４８の後、教師特徴量マップ生成部４４は、教師データの全期間にわたって教師特徴量候補マップが生成されたか否かを判定する（Ｓ４９）。

【0135】

教師データ内に教師特徴量候補マップが生成されていない期間がある場合（Ｓ４９；ｎｏ）、第１変換部４１は、教師特徴量候補マップの生成に用いられていない期間の教師データから、期間Ｔ１分（すなわち、データ単位）を選択する（Ｓ４１）。そして、Ｓ４１の処理に続いて、Ｓ４２～Ｓ４９の処理が実行される。このように、教師データ内の全ての期間にわたって教師特徴量候補マップが生成されるまで、Ｓ４１～Ｓ４９の処理が繰り返される。

【0136】

教師データ内の全ての期間にわたって教師特徴量候補マップが生成された場合（Ｓ４９；ｙｅｓ）、教師特徴量マップ生成部４４は、複数の教師特徴量候補マップに基づいて、教師特徴量マップを生成する（Ｓ５０）。具体的には、例えば、教師特徴量マップ生成部４４は、複数の教師特徴量候補マップのグリッドにおける振幅値の最大値を、教師特徴量マップの対応するグリッドに適用する。

【0137】

以上により、教師特徴量マップ生成処理は終了となる（終了）。

【0138】

３． 効果
実施形態によれば、異常判定装置４の第１変換部３１、スペクトログラム生成部３２、第２変換部３３、及び特徴量マップ生成部３４は、計測データＳに基づき、各々が周波数帯域及び変動周波数帯域の組に対応づけられた複数の特徴量を算出する。確率算出部３５は、算出された複数の特徴量を判定モデルＭに入力することにより、計測データＳの異常確率を算出する。判定モデルＭとしては、畳み込みニューラルネットワークが用いられる。これにより、異常判定装置４は、検査員を介することなく、客観的な判定処理の指標として異常確率を自動的に算出することができる。

【0139】

具体的には、第１変換部３１は、計測データＳ内の複数のデータ単位の各々を周波数領域に変換する。スペクトログラム生成部３２は、第１変換処理の結果に基づいて、各々が対応する周波数帯域で時系列に並ぶ複数のデータ群を生成する。第２変換部３３は、複数のデータ群の各々を変動周波数領域に変換する。特徴量マップ生成部３４は、第２変換処理の結果を、対応する周波数帯域及び変動周波数帯域にマッピングする。第１変換処理では、複数のデータ単位の各々は、バーク尺度を除く尺度に基づく周波数帯域で分割される。第２変換処理では、複数のデータ群の各々は、バーク尺度を除く尺度に基づく変動周波数帯域で分割される。これにより、ラウドネスのような心理量の算出を省略しつつ、特徴量マップを生成できる。このように、人の聴感によらない物理量として複数の特徴量を算出することで、より合理的かつ客観的な判定処理を実行することができる。加えて、ラウドネス算出に要する計算量の多い処理を省略することで、異常判定装置４に汎用計算機が適用される場合でも、計測データＳに基づいて、複数の特徴量をリアルタイムで算出することができる。

【0140】

また、判定部３６は、算出された異常確率に基づき、計測データＳの異常の有無を判定する。これにより、異常判定装置４は、検査員を介することなく、自動的に判定履歴Ｒ及び異常の通知をユーザに出力すると共に、異常通知信号ＡＮＯＭを制御装置６に送信することができる。

【0141】

また、制御装置６は、異常通知信号ＡＮＯＭに基づいて、機構２の動作モードを中断させる。これにより、機構２から発生する音又は振動に異常があると判定された場合には、機構２を自動的に中断させることができる。このように、機構制御システム１は、異常の有無の判定から機構２の動作制御までを自動的に行うことができる。

【0142】

また、モデル学習装置５の教師特徴量マップ生成部４４は、時系列に並ぶ複数の特徴量マップに対応する複数の教師特徴量候補マップを生成する。教師特徴量マップ生成部４４は、複数の教師特徴量候補マップの最大値を対応するグリッドにマッピングすることにより、教師特徴量マップを生成する。これにより、機構２が正常な場合には発生しない特徴的な音又は振動が反映された特徴量を教師特徴量マップに反映させることができる。加えて、ラベルを教師データ内のデータ全体に対して１対１に対応づけることができるため、データに対するラベル付けの作業負荷を軽減することができる。

【0143】

また、更新部４６は、教師特徴量マップが入力された学習前モデルＭ０から算出された異常確率と、ラベルとに基づき、学習前モデルＭ０のパラメタを更新する。これにより、学習前モデルＭ０から算出される異常確率をラベルの異常確率に近づけることができる。このため、モデル学習装置５は、異常判定処理に最適化された判定モデルＭを異常判定装置４に提供することができる。

【0144】

４． その他
なお、上記実施形態には、種々の変形が適用可能である。

【0145】

例えば、上記実施形態では、教師データ内のデータ全体に対してラベルが１対１で割り当てられる場合について説明したが、これに限られない。例えば、ラベルは、教師データ内のデータの期間Ｔ２の部分に対して１対１で割り当てられもよい。この場合、図１４に示されたＳ４９及びＳ５０の処理が省略される。そして、Ｓ４８の処理において生成された教師特徴量候補マップが、教師特徴量マップとして用いられる。これにより、教師データあたりの更新処理の回数を増やすことができる。このため、判定モデルＭの判定精度を向上させることができる。

【0146】

また、例えば、上記実施形態では、異常通知信号ＡＮＯＭを受信した場合、制御装置６が機構２の動作モードを中断させる場合について説明したが、これに限られない。制御装置６は、機構２をセーフモードに移行させる等、各種制御動作を実行してもよい。また、制御装置６は、異常通知信号ＡＮＯＭに応じて、ユーザに異常の通知をしてもよい。

【0147】

また、例えば、上記実施形態では、異常判定動作を実行するプログラムが異常判定装置４で、モデル学習動作を実行するプログラムがモデル学習装置５で、それぞれ実行される場合について説明したが、これに限られない。例えば、異常判定動作を実行するプログラム及びモデル学習動作を実行するプログラムは、同一の情報処理装置で実行されてもよい。また、例えば、異常判定動作を実行するプログラム及びモデル学習動作を実行するプログラムは、クラウド上の計算リソースで実行されてもよい。

【0148】

なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

【符号の説明】

【0149】

１…機構制御システム、２…機構、３…センサ、４…異常判定装置、５…モデル学習装置、６…制御装置、１１，２１…制御回路、１２，２２…ストレージ、１３，２３…通信モジュール、１４，２４…ユーザインタフェース、１５，２５…ドライブ、１６，２６…記憶媒体、３１，４１…第１変換部、３２，４２…スペクトログラム生成部、３３，４３…第２変換部、３４…特徴量マップ生成部、３５，４５…確率算出部、３６…判定部、４４…教師特徴量マップ生成部、４６…更新部、Ｓ…計測データ、Ｍ…判定モデル、Ｍ０…学習前モデル、Ｒ…判定履歴、Ｔ…教師データセット。

【要約】

【課題】機構の異常の有無を自動的かつ客観的に判定する手段を提供する。
【解決手段】一実施形態の情報処理装置は、時系列データＳに基づき、各々が周波数及び変動周波数の組に対応づけられた複数の値を算出することと、複数の値をモデルＭに入力して、時系列データに異常が含まれる確率を算出することと、を実行するように構成されたプロセッサを備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】