特許 6140229 電動機の予測寿命を学習する機械学習装置および方法ならびに該機械学習装置を備えた寿命予測装置および電動機システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6140229

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】電動機の予測寿命を学習する機械学習装置および方法ならびに該機械学習装置を備えた寿命予測装置および電動機システム

(51)【国際特許分類】

   H02P 29/00 20160101AFI20170522BHJP

【ＦＩ】

   H02P29/00

【請求項の数】12

【全頁数】14

(21)【出願番号】特願2015-169443(P2015-169443)

(22)【出願日】2015年8月28日

(65)【公開番号】特開2017-46540(P2017-46540A)

(43)【公開日】2017年3月2日

【審査請求日】2016年4月15日

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】支 鈔

【審査官】 尾家 英樹

(56)【参考文献】

【文献】 特開２０１１−１５８４７９（ＪＰ，Ａ）

【文献】 特開２００７−２３２５１７（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０２Ｐ １／００− ３１／００

Ｇ０１Ｒ ３１／３４

(57)【特許請求の範囲】

【請求項1】

電動機の予測寿命に関連付けられる条件を学習する機械学習装置であって、
前記電動機の稼働状態を検出するセンサの出力データと、前記電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部と、
前記電動機の実際寿命に関するデータを取得する実際寿命データ取得部と、
前記状態変数と前記実際寿命に関するデータとの組合せに基づいて作成される訓練データセットに従って、前記電動機の予測寿命に関連付けられる条件を学習する学習部と、
を備えることを特徴とする機械学習装置。

【請求項2】

前記稼働状態は、前記電動機に流れる電流を指令する電流指令、前記電動機に印加される電圧を指令する電圧指令、前記電動機に流れる電流もしくは電圧の周波数を指令する周波数指令、前記電動機が出力するトルク、前記電動機の回転数、前記電動機の稼働時間、前記電動機近傍の温度、前記電動機近傍の湿度、および前記電動機に発生する振動、のうちの少なくとも１つを含む請求項１に記載の機械学習装置。

【請求項3】

前記学習部は、
前記予測寿命および前記実際寿命に基づいて報酬を計算する報酬計算部と、
前記状態変数および前記報酬に基づいて、前記電動機の予測寿命を計算するための関数を更新する関数更新部と、
を備える請求項１に記載の機械学習装置。

【請求項4】

前記報酬計算部は、前記実際寿命に対する前記予測寿命と前記実際寿命との差の割合が、規定範囲内であるとき報酬を増やし、前記規定範囲外であるとき報酬を減らす請求項３に記載の機械学習装置。

【請求項5】

前記学習部は、複数の電動機に対して取得される前記訓練データセットに従って、前記条件を学習するように構成される請求項１〜４のいずれか一項に記載の機械学習装置。

【請求項6】

請求項１〜５のいずれか一項に記載の機械学習装置を備えた、電動機の寿命予測装置であって、
前記学習部が前記訓練データセットに従って学習した結果に基づいて、現在の前記状態変数の入力に応答して、前記電動機の予測寿命を計算する意思決定部をさらに備えることを特徴とする寿命予測装置。

【請求項7】

前記意思決定部により計算された前記予測寿命をオペレータに通知する通知部をさらに備える請求項６に記載の寿命予測装置。

【請求項8】

前記意思決定部により計算された前記予測寿命に基づき、前記電動機の交換を促す情報をオペレータに通知する通知部をさらに備える請求項６に記載の寿命予測装置。

【請求項9】

前記意思決定部により計算された前記予測寿命に基づいて、前記電動機に流れる電流を指令する電流指令、前記電動機に印加される電圧を指令する電圧指令、および前記電動機に流れる電流もしくは電圧の周波数を指令する周波数指令、のうちの少なくとも１つを変更する変更指令を、前記電動機を制御する制御装置へ出力する変更指令出力部をさらに備える請求項６〜８のいずれか一項に記載の寿命予測装置。

【請求項10】

前記学習部は、前記現在の状態変数によって構成される追加の訓練データセットに従って、前記条件を再学習して更新するように構成される請求項６〜９のいずれか一項に記載の寿命予測装置。

【請求項11】

請求項６〜１０のいずれか一項に記載の寿命予測装置と、
電動機と、
前記電動機を制御する制御装置と、
前記電動機の稼働状態を検出するセンサと、
を備えることを特徴とする電動機システム。

【請求項12】

電動機の予測寿命に関連付けられる条件を学習する機械学習方法であって、
前記電動機の稼働状態を検出するセンサの出力データと、前記電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測ステップと、
前記電動機の実際寿命に関するデータを取得する実際寿命データ取得ステップと、
前記状態変数と前記実際寿命に関するデータとの組合せに基づいて作成される訓練データセットに従って、前記電動機の予測寿命に関連付けられる条件を学習する学習ステップと、
を備えることを特徴とする機械学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、電動機の予測寿命に関連付けられる条件を学習する機械学習装置および機械学習方法、並びにこの機械学習装置を備えた寿命予測装置および電動機システムに関する。

【背景技術】

【0002】

電動機を用いる分野においては、作業効率の低下や深刻な事故の発生を未然に防止するために、電動機の寿命を予測し、この予測結果に基づき、寿命到来により電動機が稼働不能になる前に電動機またはその構成部品を交換したり、あるいは補修や修繕などの保守を行っている。従来より、電動機の設計者や利用者は、実験などをおこなうことにより電動機の寿命を予測している。場合によっては、設計者や利用者の経験則に基づき電動機の寿命を予測することもある。

【0003】

例えば、電動機の巻線温度と巻線故障率との関係を表す故障モデルを求めることで電動機の寿命を予測する方法が公知である（例えば、特許文献１参照。）。

【0004】

また例えば、高圧回転機において、回転機のコイルに施された絶縁物の絶縁寿命を予測する方法が公知である（例えば、特許文献２参照。）。

【0005】

また例えば、電動機の構成部品である転がり軸受の寿命を予測する方法が公知である（例えば、特許文献３参照。）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開昭６０−１４４１２７号公報

【特許文献2】特開２００６−９８３４９号公報

【特許文献3】特開２００３−１３００４８号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

しかしながら、電動機の使用環境によってその寿命は異なるものとなる。したがって、実験による電動機の寿命予測では正確さを欠くことがある。また、正確さを求めて個々の使用環境に応じて実験を再現するにも時間や手間がかかり、煩雑である。また、個人の経験則に頼るもの非効率であり、個人差も大きい。

【0008】

従って本発明の目的は、上記問題に鑑み、使用環境に応じた電動機の寿命の予測を正確かつ容易に行うことができる機械学習装置および方法ならびに該機械学習装置を備えた寿命予測装置および電動機システムを提供することにある。

【課題を解決するための手段】

【0009】

上記目的を実現するために、本発明においては、電動機の予測寿命に関連付けられる条件を学習する機械学習装置は、電動機の稼働状態を検出するセンサの出力データと、電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部と、電動機の実際寿命に関するデータを取得する実際寿命データ取得部と、状態変数と実際寿命との組合せに基づいて作成される訓練データセットに従って、電動機の予測寿命に関連付けられる条件を学習する学習部と、を備える。

【0010】

ここで、上記稼働状態は、電動機に流れる電流を指令する電流指令、電動機に印加される電圧を指令する電圧指令、電動機に流れる電流もしくは電圧の周波数を指令する周波数指令、電動機が出力するトルク、電動機の回転数、電動機の稼働時間、電動機近傍の温度、電動機近傍の湿度、および電動機に発生する振動、のうちの少なくとも１つを含んでもよい。

【0011】

また、学習部は、予測寿命および実際寿命に基づいて報酬を計算する報酬計算部と、状態変数および報酬に基づいて、電動機の予測寿命を計算するための関数を更新する関数更新部と、を備えてもよい。

【0012】

また、報酬計算部は、実際寿命に対する予測寿命と実際寿命との差の割合が、規定範囲内であるとき報酬を増やし、規定範囲外であるとき報酬を減らすようにしてもよい。

【0013】

また、学習部は、複数の電動機に対して取得される訓練データセットに従って、条件を学習するように構成されてもよい。

【0014】

また、本発明においては、上述の機械学習装置を備えた、電動機の寿命予測装置は、学習部が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、電動機の予測寿命を計算する意思決定部をさらに備えてもよい。

【0015】

また、寿命予測装置は、意思決定部により計算された予測寿命をオペレータに通知する通知部をさらに備えてもよい。

【0016】

また、寿命予測装置は、意思決定部により計算された予測寿命に基づき、電動機の交換を促す情報をオペレータに通知する通知部をさらに備えてもよい。

【0017】

また、寿命予測装置は、意思決定部により計算された予測寿命に基づいて、電動機に流れる電流を指令する電流指令、電動機に印加される電圧を指令する電圧指令、および電動機に流れる電流もしくは電圧の周波数を指令する周波数指令、のうちの少なくとも１つを変更する変更指令を、電動機を制御する制御装置へ出力する変更指令出力部をさらに備えてもよい。

【0018】

また、学習部は、現在の状態変数によって構成される追加の訓練データセットに従って、上記条件を再学習して更新するように構成されてもよい。

【0019】

また、本発明においては、電動機システムは、上述の寿命予測装置と、電動機と、電動機を制御する制御装置と、電動機の稼働状態を検出するセンサと、を備える。

【0020】

また、本発明においては、電動機の予測寿命に関連付けられる条件を学習する機械学習方法は、電動機の稼働状態を検出するセンサの出力データと、電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測ステップと、電動機の実際寿命に関するデータを取得する実際寿命データ取得ステップと、状態変数と実際寿命との組合せに基づいて作成される訓練データセットに従って、電動機の予測寿命に関連付けられる条件を学習する学習ステップと、を備える。

【発明の効果】

【0021】

本発明によれば、使用環境に応じた電動機の寿命の予測を正確かつ容易に行うことができる機械学習装置および方法ならびに該機械学習装置を備えた寿命予測装置および電動機システムを実現することができる。

【0022】

本発明による機械学習装置およびその方法によれば、電動機を実際に動作させながら予測寿命を学習するので、実際の使用状況に応じた正確な予測寿命が学習される。また、本発明による機械学習装置を備えた寿命予測装置および電動機システムによれば、実際の使用状況に応じた正確な予測寿命を計算することができる。これにより、設計者や作業者は、電動機の正確な予測寿命を知ることができるので、電動機が稼働不能になる前に電動機またはその構成部品を交換したり、あるいは補修や修繕などの保守を行うことができる。電動機の構成部品を交換したり保守を行うことにより、電動機の寿命を延ばすことができる。また、予測寿命の計算に際して得られた電動機の寿命に大きな影響を与える稼働状態を知ることができるので、設計者や作業者は、電動機の寿命に影響を及ぼす稼働状態を変更する対応を取ることができる。また、電動機の寿命に影響を及ぼす稼働状態を変更するよう電動機の制御装置に直接指令することもできる。

【図面の簡単な説明】

【0023】

【図1】本発明の実施例による機械学習装置の原理ブロック図である。

【図2】本発明の実施例による機械学習方法の動作フローを示すフローチャートである。

【図3】本発明の実施例による、強化学習を用いた機械学習装置の原理ブロック図である。

【図4】本発明の実施例による、強化学習を用いた機械学習方法の動作フローを示すフローチャートである。

【図5】本発明の実施例による機械学習装置を備える寿命予測装置およびこの寿命予測装置を備える電動機システムを示す原理ブロック図である。

【図6】本発明の実施例による、強化学習を用いた機械学習装置を備える寿命予測装置の動作フローを示すフローチャートである。

【発明を実施するための形態】

【0024】

図１は、本発明の実施例による機械学習装置の原理ブロック図である。以降、異なる図面において同じ参照符号が付されたものは同じ機能を有する構成要素であることを意味するものとする。

【0025】

本発明の実施例による機械学習装置１は、電動機の予測寿命に関連付けられる条件を学習するものとして構成される。

【0026】

機械学習装置１は、状態観測部１１、実際寿命データ取得部１２、および学習部１３を備える。ここで、機械学習装置１は、ネットワークを介して電動機に接続されるデジタルコンピュータとして構成されもよい。またあるいは、機械学習装置１は、クラウドサーバ上に設けられてもよく、この場合ネットワークを介して電動機に接続される。またあるいは、機械学習装置１は、電動機を制御する制御装置に内蔵されてもよく、この場合は、当該制御装置のプロセッサを利用して機械学習を実行する。

【0027】

状態観測部１１は、電動機の稼働状態（稼働条件）を検出するセンサの出力データと、電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。

【0028】

センサによって検出される電動機の稼働状態は、電動機に流れる電流を指令する電流指令、電動機に印加される電圧を指令する電圧指令、電動機に流れる電流もしくは電圧の周波数を指令する周波数指令、電動機が出力するトルク、電動機の回転数、電動機の稼働時間、電動機近傍の温度、電動機近傍の湿度、および電動機に発生する振動、のうちの少なくとも１つを含む。またさらに、これら以外の電動機に係るパラメータが電動機の稼働状態に含まれてもよい。

【0029】

状態観測部１１によって状態変数として観測される上記稼働状態のうち、電動機に流れる電流を指令する電流指令、電動機に印加される電圧を指令する電圧指令、および電動機に流れる電流もしくは電圧の周波数を指令する周波数指令は、電動機を制御する制御装置が、当該電動機（より正確には当該電動機に駆動電力を供給する電力変換器）に入力するものであり、一般に、電動機の制御装置に格納された制御ソフトウェアの内部データとして利用されるものである。以下、これら稼働状態を単に「電動機の入力条件」と称することがある。

【0030】

また、状態観測部１１によって状態変数として観測される上記稼働状態のうち、電動機が出力するトルク、電動機の回転数、および電動機の稼働時間は、電動機の動作の結果出力される情報であり、通常、各種センサによって検出される。例えば、電動機が出力するトルクはトルクセンサによって検出され、電動機の回転数は回転センサによって検出され、電動機の稼働時間は稼働時間計測器（計時センサ）によって検出される。以下、これら稼働状態を単に「電動機の出力条件」と称することがある。なお、上述した電動機の入力条件について、電動機の制御装置による電流指令、電圧指令、および周波数指令の結果生じる、電動機に流れる電流、電動機に印加される電圧、および電動機に流れる電流もしくは電圧の周波数を、電流センサ、電圧センサ、および周波数センサによって検出し、これらを「電動機の出力条件」としての稼働状態にを含めてもよい。

【0031】

また、状態観測部１１によって状態変数として観測される上記稼働状態のうち、電動機近傍の温度、電動機近傍の湿度、および電動機に発生する振動は、電動機が設置された環境の状態を示す情報であり、これらも電動機の動作や寿命に外部的に影響力を及ぼすものである。例えば、電動機近傍の温度は温度センサ（温度計）によって計測され、電動機近傍の湿度は湿度センサ（湿度計）によって計測され、電動機に発生する振動は振動センサ（振動計）によって計測される。以下、これら稼働状態を単に「電動機の外部条件」と称することがある。

【0032】

また、状態観測部１１によって観測される電動機の故障の有無に関するデータは、例えば電動機に設置された故障検出装置によって生成されてもよい。この場合、故障検出装置は、トルクセンサによって検出される外乱トルクや振動センサによって検出される振動の振幅が予め定められる閾値を超えたときに、電動機の故障発生を示すデータを出力する。またあるいは、状態観測部１１によって観測される電動機の故障の有無に関するデータは、電動機の制御装置に格納された制御ソフトウェアの内部データに基づいて生成されてもよい。またあるいは、電動機の故障を発見しあるいは知得した設計者や利用者が自ら操作によって、状態観測部１１へ電動機の故障発生を示すデータを入力するようにしてもよい。

【0033】

このように、状態観測部１１は、電動機の稼働状態（電動機の入力条件、出力条件および外部条件）を検出するセンサの出力データと、電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。機械学習装置１がネットワークを介して電動機に接続される場合やクラウドサーバ上に設けられる場合は、状態観測部１１は、ネットワークを介して状態変数を観測する。またあるいは、機械学習装置１が電動機を制御する制御装置に内蔵される場合は、当該制御装置に格納された制御ソフトウェアの内部データや当該制御装置に接続された各種センサから出力されるセンサデータに基づいて状態変数を観測する。

【0034】

実際寿命データ取得部１２は、電動機の実際寿命に関するデータを取得する。電動機の実際寿命は、例えば、電動機を使用を開始してから実際に寿命が到来するまで（もしくは故障するまで）の時間を計測することで得られ、例えば設計者や利用者が自ら操作によって計測した実際寿命に関するデータを実際寿命データ取得部１２へ入力する。または、電動機を制御や駆動を行う装置中にタイマーを設置し、電動機の稼働時間を積算しこれを実際寿命データ取得部１２へ入力する。

【0035】

学習部１３は、状態観測部１１によって観測された状態変数と実際寿命データ取得部１２によって取得された実際寿命との組合せに基づいて作成される訓練データセットに従って、電動機の予測寿命を学習する。なお、訓練データセットを複数の電動機に関して取得してもよくこの場合、学習部１３は、複数の電動機に対して取得される訓練データセットに従って、電動機の予測寿命を学習する。

【0036】

図２は、本発明の実施例による機械学習方法の動作フローを示すフローチャートである。電動機の予測寿命に関連付けられる条件を学習する機械学習方法は、状態観測ステップＳ１０１と、実際寿命データ取得ステップＳ１０２と、学習ステップＳ１０３とを備える。

【0037】

状態観測ステップＳ１０１は、状態観測部１１により実行されるものであり、すなわち、電動機の稼働状態を検出するセンサの出力データと、電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。

【0038】

実際寿命データ取得ステップＳ１０２は、実際寿命データ取得部１２により実行されるものであり、すなわち、電動機の実際寿命に関するデータを取得する。

【0039】

なお、上述のステップＳ１０１の処理とステップＳ１０２の処理は任意に入れ替えて実行してもよい。

【0040】

学習ステップＳ１０３は、学習部１３によって実行されるものであり、状態観測部１１によって観測された状態変数と実際寿命データ取得部１２によって取得された実際寿命との組合せに基づいて作成される訓練データセットに従って、電動機の予測寿命を学習する。

【0041】

学習部１３が用いる学習アルゴリズムはどのようなものを用いてもよい。一例として、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）を適用した場合について説明する。強化学習は、ある環境内におけるエージェント（行動主体）が、現在の状態を観測し、取るべき行動を決定する、というものである。エージェントは行動を選択することで環境から報酬を得て、一連の行動を通じて報酬が最も多く得られるような方策を学習する。強化学習の代表的な手法として、Ｑ学習（Ｑ−ｌｅａｒｎｉｎｇ）やＴＤ学習（ＴＤ−ｌｅａｒｎｉｎｇ）が知られている。例えば、Ｑ学習の場合、行動価値関数Ｑ（ｓ，ａ）の一般的な更新式（行動価値テーブル）は式１で表される。

【0042】

【数1】

【0043】

式１において、ｓ_tは時刻ｔにおける環境を表し、ａ_tは時刻ｔにおける行動を表す。行動ａ_tにより、環境はｓ_t+1に変わる。ｒ_t+1はその環境の変化によってもらえる報酬（ｒｅｗａｒｄ）を表し、γは割引率を表し、αは学習係数を表す。Ｑ学習を適用した場合、行動ａ_tは、予測された寿命によっては電動機またはその構成部品を交換したり保守したりすることをもたらす当該予測寿命が該当する。

【0044】

図３は、本発明の実施例による、強化学習を用いた機械学習装置の原理ブロック図である。学習部１３は、報酬計算部２１と関数更新部２２とを備える。報酬計算部２１は、後述する意思決定部によって決定された予測寿命および実際寿命データ取得部１２によって取得された実際寿命に基づいて報酬を計算する。関数更新部２２は、状態観測部１１によって観測された状態変数および報酬計算部２１によって計算された報酬に基づいて、電動機の予測寿命を計算するための関数を更新する。例えばＱ学習の場合、式１で表される行動価値関数Ｑ（ｓ，ａ）を、行動ａ_tである予測寿命を変更するための関数として用いる。なお、これら以外の構成要素については図１に示す構成要素と同様であるので、同一の構成要素には同一符号を付して当該構成要素についての詳細な説明は省略する。

【0045】

図４は、本発明の実施例による、強化学習を用いた機械学習方法の動作フローを示すフローチャートである。

【0046】

まず、状態観測ステップＳ１０１において、状態観測部１１は、電動機の稼働状態を検出するセンサの出力データと、電動機の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。

【0047】

次いで、実際寿命データ取得ステップＳ１０２において、実際寿命データ取得部１２は、電動機の実際寿命に関するデータを取得する。

【0048】

なお、上述のステップＳ１０１の処理とステップＳ１０２の処理は任意に入れ替えて実行してもよい。

【0049】

次いで、報酬計算ステップＳ１０３−１において、報酬計算部２１は、意思決定部によって決定された予測寿命および実際寿命データ取得部１２によって取得された実際寿命に基づいて報酬を計算する。

【0050】

次いで、関数更新ステップＳ１０３−２において、関数更新部２２は、状態観測部１１によって観測された状態変数および報酬計算部２１によって計算された報酬に基づいて、電動機の予測寿命を計算するための関数を更新する。

【0051】

続いて、上述の機械学習装置を備える電動機の寿命予測装置について説明する。ここでは一例として、学習部の学習アルゴリズムとして強化学習を用いた場合について説明する。

【0052】

図５は、本発明の実施例による機械学習装置を備える寿命予測装置およびこの寿命予測装置を備える電動機システムを示す原理ブロック図である。ここでは、電動機３１を制御装置３２で制御する場合について説明する。

【0053】

電動機３１の寿命予測装置１００は、機械学習装置１と、意思決定部１４と、第１の通知部１５−１と、第２の通知部１５−２と、変更指令出力部１６とを備える。なお、第１の通知部１５−１および第２の通知部１５−２については、後述するように１つの通知部として実現してもよい。なお、ここでは図示しないが、意思決定部１４により決定された予測寿命に関するデータを出力するデータ出力部を別途設けてもよい。

【0054】

また、電動機システム１０００は、寿命予測装置１００と、電動機３１と、制御装置３２と、センサ３３とを備える。

【0055】

電動機３１の種類は、本発明を限定するものではなく、交流電動機であっても直流電動機であってもよい。

【0056】

制御装置３２は、その内部に格納された制御ソフトウェアに基づいて、センサ３３によって検出された各種データを用いて、電動機３１を制御する。電動機３１を制御するための駆動指令として、電動機３１に流れる電流を指令する電流指令、電動機３１に印加される電圧を指令する電圧指令、および電動機３１に流れる電流もしくは電圧の周波数を指令する周波数指令などがある。制御装置３２による電動機３１の制御方法は、本発明を特に限定するものではなく、公知の制御方法でよい。

【0057】

センサ３３は、電動機３１の稼働状態を検出する。例えば、電動機３１が出力するトルクを検出するトルクセンサ、電動機３１の回転数を検出する回転センサ、電動機３１の稼働時間を検出する稼働時間計測器（計時センサ）、電動機３１に流れる電流を検出する電流センサ、電動機３１に印加される電圧を検出する電圧センサ、電動機３１に流れる電流もしくは電圧の周波数を検出する周波数センサ、電動機３１に供給される駆動電力を検出する電力センサ、電動機３１の近傍の温度を計測する温度センサ（温度計）、電動機３１の近傍の湿度を計測する湿度センサ（湿度計）、電動機３１に発生する振動を計測する振動センサなどがある。すなわち、センサ３３は、上述した電動機３１の稼働状態のうち、出力条件および外部条件と呼ばれるものを検出する。

【0058】

機械学習装置１は、状態観測部１１、実際寿命データ取得部１２、および学習部１３を備える。

【0059】

状態観測部１１は、上述したように、電動機３１の稼働状態を検出するセンサの出力データと、電動機３１の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。状態観測部１１は、状態変数として観測される稼働状態のうち、出力条件および外部条件と呼ばれるものについては例えばセンサ３３から取得し、入力条件と呼ばれるものについては例えば制御装置３２から取得する。また、状態観測部１１は、電動機３１の故障の有無に関するデータについて、上述したように、電動機３１に設置された故障検出装置（図示せず）から取得してもよく、あるいは制御装置３２から取得してもよく、あるいは、電動機３１の故障を発見しあるいは知得した設計者や利用者による入力操作を介して取得してもよい。

【0060】

実際寿命データ取得部１２は、電動機３１の実際寿命に関するデータを取得する。

【0061】

学習部１３は、報酬計算部２１と関数更新部２２とを備え、状態観測部１１によって観測された状態変数と実際寿命データ取得部１２によって取得された実際寿命との組合せに基づいて作成される訓練データセットに従って、電動機３１の予測寿命を学習する。

【0062】

学習部１３内の報酬計算部２１は、意思決定部１４によって決定された予測寿命および実際寿命データ取得部１２によって取得された実際寿命に基づいて報酬を計算する。具体的には、報酬計算部２１は、実際寿命Ｍに対する予測寿命Ｎと実際寿命Ｍとの差の割合である「｜Ｎ−Ｍ｜／Ｍ」が、規定範囲α以内であるとき報酬を増やし、規定範囲外であるとき報酬を減らす。ここで、「｜Ｎ−Ｍ｜」は予測寿命Ｎと実際寿命Ｍとの差の絶対値を表す。このようにして報酬を計算するのは、実際寿命Ｍに対する予測寿命Ｎと実際寿命Ｍとの差の割合である「｜Ｎ−Ｍ｜／Ｍ」が小さいほど、機械学習装置１による学習により予測寿命が正確に計算できていることを意味するからである。規定範囲αは、報酬判断因子であり、例えば機械学習装置１による学習の結果得られた予測寿命の正確さなどに基づいて任意に設定してもよい。

【0063】

学習部１３内の関数更新部２２は、状態観測部１１によって観測された状態変数および報酬計算部２１によって計算された報酬に基づいて、電動機３１の予測寿命を計算するための関数を更新する。例えばＱ学習の場合、式１で表される行動価値関数Ｑ（ｓ，ａ）を、行動ａ_tである予測寿命を変更するための関数として用いる。

【0064】

意思決定部１４は、学習部１３が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、電動機３１の予測寿命を計算する。本実施例では、一例として学習アルゴリズムとして強化学習を用いているので、学習部１３内の報酬計算部２１によって算出された報酬に基づいて学習部１３内の関数更新部２２は予測寿命を計算するための関数を更新し、意思決定部１４は、更新された関数に基づき、報酬が最も多く得られる予測寿命を選択し、これを出力する。意思決定部１４によって決定された予測寿命は、報酬計算部２１、第１の通知部１５−１、第２の通知部１５−２、および変更指令出力部１６へ出力される。報酬計算部２１は、意思決定部１４によって決定された予測寿命および実際寿命データ取得部１２によって取得された実際寿命に基づいて、上述のように報酬を計算する。

【0065】

第１の通知部１５−１は、意思決定部１４により計算された予測寿命をオペレータに通知し、第２の通知部１５−２は、意思決定部１４により計算された予測寿命に基づき、電動機の交換を促す情報をオペレータに通知する。なお、第１の通知部１５−１および第２の通知部１５−２については、１つの通知部として実現してもよい。これにより、設計者や作業者は、電動機３１の予測寿命を知ることができるので、電動機３１が稼働不能になる前に電動機３１またはその構成部品を交換したり、あるいは補修や修繕などの保守を行うことができる。電動機３１の構成部品を交換したり保守を行うことにより、電動機３１の寿命を延ばすことができる。またあるいは、第１の通知部１５−１および／または第２の通知部１５−２の通知内容として、予測寿命の計算に際して得られた電動機３１の寿命に大きな影響を与える稼働状態（入力条件、出力条件および外部条件）を併せて通知するようにしてもよい。例えば、作業者は電動機３１を使って物を加工する場合、出力条件Ａとして「トルクＴ_A、回転数Ｓ_A、稼働時間ｔ_A」、出力条件Ｂとして「トルクＴ_B、回転数Ｓ_B、稼働時間ｔ_B」としたとき、意思決定部１４はこれら出力条件ＡおよびＢについて予測寿命を計算し、予測寿命が大きい方を作業者に提示することが考えられる。これにより、設計者や作業者は、電動機３１の寿命に影響を及ぼす稼働状態を変更する対応を取ることができる。例えば、設計者や作業者は、温度や湿度が電動機３１の寿命に影響を及ぼすことを知った場合は、電動機３１の寿命を延ばす適切な温度や湿度になるよう電動機３１の周辺環境を整えるといった対応を取ることができる。

【0066】

第１の通知部１５−１および第２の通知部１５−２として、例えば、パソコン、携帯端末、タッチパネルなどのディスプレイや制御装置３２に付属のディスプレイなどがあり、例えば予測寿命を文字や絵柄で表示することができる。また例えば、第１の通知部１５−１および第２の通知部１５−２を、スピーカ、ブザー、チャイムなどのような音を発する音響機器にて実現してもよい。またあるいは、第１の通知部１５−１および第２の通知部１５−２について、プリンタを用いて紙面等にプリントアウトして表示させる形態をとってもよい。またあるいは、これらを適宜組み合わせて実現してもよい。

【0067】

変更指令出力部１６は、意思決定部１４により計算された予測寿命に基づいて、電動機３１に流れる電流を指令する電流指令、電動機３１に印加される電圧を指令する電圧指令、および電動機３１に流れる電流もしくは電圧の周波数を指令する周波数指令、のうちの少なくとも１つを変更する変更指令を、電動機３１を制御する制御装置３２へ出力する。上述のように、電動機３１に流れる電流を指令する電流指令、電動機３１に印加される電圧を指令する電圧指令、および電動機３１に流れる電流もしくは電圧の周波数を指令する周波数指令は、電動機３１の入力条件と呼ばれるものである。予測寿命の計算に際して、変更指令出力部１６は、電動機３１の寿命に大きな影響を与える電圧指令、電流指令または周波数指令を把握することができるので、これに基づき制御装置３２へ変更指令を出力する。

【0068】

図６は、本発明の実施例による、強化学習を用いた機械学習装置を備える寿命予測装置の動作フローを示すフローチャートである。

【0069】

一般に、強化学習では行動の初期値はランダムに選択される。本発明の実施例では、ステップＳ２０１において、行動である予測寿命をランダムに選択する。

【0070】

ステップＳ２０２では、制御装置３２は、その内部に格納された制御ソフトウェアに基づいて、センサ３３によって検出された各種データを用いて、電動機３１を制御する。制御装置３２の制御により、電動機３１は駆動される。この間、センサ３３は、上述した電動機３１の稼働状態のうち、出力条件および外部条件と呼ばれるものを検出する。

【0071】

ステップＳ２０３において、状態観測部１１は、電動機３１の稼働状態を検出するセンサの出力データと、電動機３１の故障の有無に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。

【0072】

次いで、実際寿命データ取得ステップＳ２０４において、実際寿命データ取得部１２は、電動機の実際寿命に関するデータを取得する。

【0073】

なお、上述のステップＳ２０３の処理とステップＳ２０４の処理は任意に入れ替えて実行してもよい。

【0074】

次いで、ステップＳ２０５において、状態観測部１１は、実際寿命Ｍに対する予測寿命Ｎと実際寿命Ｍとの差の割合である「｜Ｎ−Ｍ｜／Ｍ」が、規定範囲α以内であるか否かを判別する。実際寿命Ｍに対する予測寿命Ｎと実際寿命Ｍとの差の割合である「｜Ｎ−Ｍ｜／Ｍ」が規定範囲α以内であると判定された場合は、ステップＳ２０６において報酬計算部２１は報酬を増やす。一方、実際寿命Ｍに対する予測寿命Ｎと実際寿命Ｍとの差の割合である「｜Ｎ−Ｍ｜／Ｍ」が規定範囲α以内にないと判定された場合は、ステップＳ２０７において報酬計算部２１は報酬を減らす。

【0075】

ステップＳ２０８では、関数更新部２２は、状態観測部１１によって観測された状態変数および報酬計算部２１によって計算された報酬に基づいて、電動機３１の予測寿命を計算するための関数を更新する。

【0076】

続くステップＳ２０９では、意思決定部１４は、ステップＳ２０８において更新された関数に基づいて、報酬が最も多く得られる電動機３１の予測寿命を選択し、これを出力する。意思決定部１４によって決定された予測寿命は、報酬計算部２１、第１の通知部１５−１、第２の通知部１５−２、および変更指令出力部１６へ出力される。その後、ステップＳ２０２へ戻り、これ以降、ステップＳ２０２〜Ｓ２０９の処理が繰り返し実行される。これにより、機械学習装置１は、予測寿命を学習していく。なお、訓練データセットを、複数の電動機３１から取得してもよく、この場合、学習部１３は、複数の電動機３１に対して取得される訓練データセットに従って、ステップＳ２０１〜Ｓ２０９の処理を繰り返し実行し、予測寿命を学習していく。複数の電動機３１に対して訓練データセットが取得されると機械学習装置１の学習精度は向上する。

【0077】

なお、上述した状態観測部１１、実際寿命データ取得部１２、学習部１３、および意思決定部１４は、例えばソフトウェアプログラム形式で構築されてもよく、あるいは各種電子回路とソフトウェアプログラムとの組み合わせで構築されてもよい。例えばこれらをソフトウェアプログラム形式で構築する場合は、電動機３１の制御装置３２内にある演算処理装置をこのソフトウェアプログラムに従って動作させたり、クラウドサーバ上においてこのソフトウェアプログラムを動作させることで、上述の各部の機能を実現することができる。またあるいは、状態観測部１１、実際寿命データ取得部１２および学習部１３を備える機械学習装置１を、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路として実現してもよい。またあるいは、状態観測部１１、実際寿命データ取得部１２および学習部１３を備える機械学習装置１のみならず意思決定部１４も含めた形で、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路を実現してもよい。

【0078】

また、機械学習処理１は、制御装置３２が電動機３１の駆動制御のために本来的に備えるセンサにより検出されるデータを用いて実行されるので、新たなハードウェア装置を別途設ける必要がないことから、既存の電動機の制御装置にも後付けで適用することも可能である。この場合、機械学習装置１や意思決定部１４の各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路を当該既存の電動機制御装置に組み込んだり、機械学習装置１や意思決定部１４の各部の機能を実現するソフトウェアプログラムそのものを当該既存の電動機制御装置内の演算処理装置に追加的にインストールすればよい。また、ある電動機３１に関して予測寿命を学習した機械学習装置１を、これとは別の電動機制御装置に取り付け、当該別の電動機駆動装置に関して予測寿命を再学習して更新するようにしてもよい。

【符号の説明】

【0079】

１ 機械学習装置
１１ 状態観測部
１２ 実際寿命データ取得部
１３ 学習部
１４ 意思決定部
１５−１ 第１の通知部
１５−２ 第２の通知部
１６ 変更指令出力部
２１ 報酬計算部
２２ 関数更新部
３１ 電動機
３２ 制御装置
３３ センサ
１００ 寿命予測装置
１０００ 電動機システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】