特許 5964488 保護動作制御部を有するモータ制御装置、ならびに機械学習装置およびその方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B1)

(11)【特許番号】5964488

(24)【登録日】2016年7月8日

(45)【発行日】2016年8月3日

(54)【発明の名称】保護動作制御部を有するモータ制御装置、ならびに機械学習装置およびその方法

(51)【国際特許分類】

   H02P 29/024 20160101AFI20160721BHJP

   H02P 27/06 20060101ALI20160721BHJP

【ＦＩ】

   H02P29/024

   H02P27/06

【請求項の数】8

【全頁数】15

(21)【出願番号】特願2015-152006(P2015-152006)

(22)【出願日】2015年7月31日

【審査請求日】2016年2月8日

【早期審査対象出願】

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100114018

【弁理士】

【氏名又は名称】南山 知広

(74)【代理人】

【識別番号】100165191

【弁理士】

【氏名又は名称】河合 章

(74)【代理人】

【識別番号】100151459

【弁理士】

【氏名又は名称】中村 健一

(72)【発明者】

【氏名】山本 健太

【審査官】 池田 貴俊

(56)【参考文献】

【文献】 特開２０１１−０５０１１９（ＪＰ，Ａ）

【文献】 特開２０１３−１２６３４６（ＪＰ，Ａ）

【文献】 中国特許出願公開第１０３３２６６３５（ＣＮ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０２Ｐ ２９／０２４

Ｈ０２Ｐ ２７／０６

(57)【特許請求の範囲】

【請求項1】

交流電源側から供給された交流電力を直流電力に変換してＤＣリンクへ出力したのちさらにモータの駆動のための交流電力に変換してモータへ供給するモータ制御装置の、前記交流電源側が停電であるか否かの判断基準となる電源電圧の値である停電検出レベルおよび前記交流電源側の電源電圧が前記停電検出レベル未満である状態の継続時間である停電検出時間を学習する機械学習装置であって、
前記交流電源側の電源電圧の値に関するデータと、前記ＤＣリンクに設けられたＤＣリンクコンデンサに蓄積されたエネルギー量に関するデータと、モータ制御装置に対する保護動作が成功したか否かに関するデータと、モータ出力に関するデータと、を含む状態変数を観測する状態観測部と、
前記状態変数に基づいて、前記停電検出レベルおよび前記停電検出時間を変更するための関数の更新を繰り返すことによって、前記停電検出レベルおよび前記停電検出時間を学習する学習部と、
を備えることを特徴とする機械学習装置。

【請求項2】

前記学習部は、
前記状態変数に基づいて、前記停電検出レベルおよび前記停電検出時間を変更した結果に対する報酬を計算する報酬計算部と、
前記報酬に基づいて、前記関数を更新する関数更新部と、
を備え、
前記関数更新部による前記関数の更新を繰り返すことによって、前記報酬が最も多く得られる前記停電検出レベルおよび前記停電検出時間を学習する請求項１に記載の機械学習装置。

【請求項3】

前記報酬計算部は、前記状態観測部により観測された前記ＤＣリンクコンデンサに蓄積されたエネルギー量が、所定値未満であるときは報酬を増やし、前記所定値以上であるときは報酬を減らす請求項２に記載の機械学習装置。

【請求項4】

前記報酬計算部は、前記状態観測部によりモータ制御装置に対する保護動作が失敗したことを観測したときは報酬を減らす請求項２に記載の機械学習装置。

【請求項5】

前記学習部は、複数のモータ制御装置に対して取得される前記状態変数に基づいて、前記停電検出レベルおよび前記停電検出時間を学習するように構成される請求項１〜４のいずれか一項に記載の機械学習装置。

【請求項6】

請求項１〜５のいずれか一項に記載の機械学習装置を備えたモータ制御装置であって、
前記学習部が学習した結果に基づいて、現在の前記状態変数の入力に応答して、前記停電検出レベルおよび前記停電検出時間を決定する意思決定部と、
前記交流電源側から供給された交流電力を直流電力に変換して前記ＤＣリンクへ出力する整流器と、
前記ＤＣリンクに接続され、前記ＤＣリンクにおける直流電力を交流電力に変換してモータへ供給する逆変換器と、
前記交流電源側の電源電圧が前記停電検出レベル未満である状態が前記停電検出時間継続した場合、前記交流電源側で停電が発生したと判定する停電検出部と、
前記停電検出部が前記交流電源側の停電を検出した場合、モータが所定の保護動作を行うための電力を出力するよう前記逆変換器に対して保護動作指令を出力する保護動作制御部と、
をさらに備えることを特徴とするモータ制御装置。

【請求項7】

前記学習部は、前記状態変数に基づいて、前記停電検出レベルおよび前記停電検出時間を再学習して更新するように構成される請求項６に記載のモータ制御装置。

【請求項8】

交流電源側から供給された交流電力を直流電力に変換してＤＣリンクへ出力したのちさらにモータの駆動のための交流電力に変換してモータへ供給するモータ制御装置の、前記交流電源側が停電であるか否かの判断基準となる電源電圧の値である停電検出レベルおよび前記交流電源側の電源電圧が前記停電検出レベル未満である状態の継続時間である停電検出時間を学習する機械学習方法であって、
前記交流電源側の電源電圧の値に関するデータと、前記ＤＣリンクに設けられたＤＣリンクコンデンサに蓄積されたエネルギー量に関するデータと、モータ制御装置に対する保護動作が成功したか否かに関するデータと、モータ出力に関するデータと、を含む状態変数を観測する状態観測ステップと、
前記状態変数に基づいて、前記停電検出レベルおよび前記停電検出時間を変更するための関数の更新を繰り返すことによって、前記停電検出レベルおよび前記停電検出時間を学習する学習ステップと、
を備えることを特徴とする機械学習方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、交流入力側から供給された交流電力を直流電力に変換してＤＣリンクへ出力したのちさらにモータの駆動のための交流電力に変換してモータへ供給するモータ制御装置、ならびにこのモータ制御装置に用いられる機械学習装置およびその方法に関し、特に、三相交流入力側の停電時にモータが所定の保護動作を行うよう指令する保護動作制御部を有するモータ制御装置、ならびにこのモータ制御装置に用いられる機械学習装置およびその方法に関する。

【背景技術】

【0002】

工作機械、鍛圧機械、射出成形機、産業機械、あるいは各種ロボット内のモータを駆動するモータ制御装置においては、三相交流入力側から供給された交流電力を整流器にて直流電力に一旦変換したのちさらに逆変換器にて交流電力に変換し、この交流電力を駆動軸ごとに設けられたモータの駆動電力として用いている。

【0003】

このようなモータ制御装置では、整流器の三相交流入力側において停電が発生し三相交流入力電圧が低下すると、モータの正常な運転を継続することができなくなる。このため、モータ、当該モータを駆動するモータ制御装置、当該モータ制御装置が駆動するモータに接続されたツール、当該ツールが加工する加工対象、当該モータ制御装置を有する製造ラインなどが、破損したり変形するなどといった何らかの障害が生じる可能性がある。したがって、整流器の三相交流入力側に停電検出部を設けて整流器の三相交流入力側の停電発生の有無を監視し、整流器の三相交流入力側に停電が発生したと停電検出部が判定した場合には、モータ制御装置は上記障害を回避するかもしくは最小限に抑えるための保護動作をする必要がある。

【0004】

停電検出方法として、例えば、整流器の交流電源側の三相交流入力電圧をそれと等価な二相座標上の電圧ベクトルに座標変換し、そのベクトルの振幅を計算することによって、電源電圧の振幅値を算出し、その振幅値が所定の基準電圧値を下回る状態が所定の基準時間継続したことをもって停電を検出する方法がある（例えば、特許文献１参照。）。

【0005】

図７は、停電時に保護動作を行う一般的なモータ制御装置を示すブロック図である。なお、図７では、図面を簡明なものとするために、１台のモータ１０４を駆動する場合について示している。モータ制御装置１００は、商用三相交流電源（以下、単に「交流電源」と称する。）１０３からの交流電力を直流電力に変換する整流器１０１と、整流器１０１の直流側であるＤＣリンク（直流リンク）に接続され、整流器１０１から出力された直流電力をモータ１０４の駆動電力として供給される所望の周波数の交流電力に変換しまたはモータ１０４から回生される交流電力を直流電力に変換する逆変換器１０２と、ＤＣリンクに設けられ、直流電力を蓄積する蓄電機能および整流器１０１の直流出力の脈動分を抑える平滑機能を有するＤＣリンクコンデンサ１０５とを備える。モータ制御装置１００は、その制御系として、通常動作制御部１１１と、停電検出部１１２と、保護動作制御部１１３とを備える。通常動作制御部１１１は、逆変換器１０２からモータ１０４へ供給される交流電流と、ＤＣリンクコンデンサ１０５の両端に印加される直流電圧（以下、単に「ＤＣリンク電圧」と称する。）と、交流電源１０３から整流器１０１へ供給される交流電流とに基づいて、逆変換器１０２に対して、モータ１０４を駆動するための所望の電圧および所望の周波数を有する交流電力を出力するよう、あるいはモータ１０４で発生した交流の回生電力を直流電力に変換するよう、制御する。また、停電検出部１１２は、整流器１０１の交流電源側の電源電圧に基づいて停電発生の有無を検出し、保護動作制御部１１３は、停電検出部１１２によって停電発生が検出されると、モータ制御装置１００が保護動作を行うよう逆変換器１０２に対して保護動作指令を通知する。保護動作指令を受けて逆変換器１０２は、ＤＣリンクコンデンサ１０５に蓄積された直流電力を、モータ１０４に接続されたツール、当該ツールが加工する加工対象、モータ制御装置１００を有する製造ラインなどを保護するための各種保護動作に必要な交流電力に変換して出力する。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特開２００６−１４５４６号公報

【発明の概要】

【発明が解決しようとする課題】

【0007】

停電発生時に行われる保護動作は、モータ、モータ制御装置、ツール、加工対象、当該モータ制御装置を有する製造ラインなどを保護できるメリットはあるものの、一旦保護動作が実行されると、製造ラインが停止することで経済的損失が発生する問題がある。したがって、停電が発生したときには、ＤＣリンクコンデンサの蓄積エネルギーにてモータ制御装置およびその周辺機器（例えば制御電源部やクーラント機器など）がある程度の間は通常動作を継続できるようにし、保護動作の実行を必要最小限に抑えることが好ましい。

【0008】

従って本発明の目的は、上記問題に鑑み、交流電源側の停電発生時において、通常動作を最大限継続し、保護動作の実行を最小限に抑えることができるモータ制御装置、ならびにこのモータ制御装置に用いられる機械学習装置およびその方法を提供することにある。

【課題を解決するための手段】

【0009】

上記目的を実現するために、本発明においては、交流電源側から供給された交流電力を直流電力に変換してＤＣリンクへ出力したのちさらにモータの駆動のための交流電力に変換してモータへ供給するモータ制御装置の、交流電源側の停電に関連付けられる条件を学習する機械学習装置は、交流電源側の電源電圧の値に関するデータと、ＤＣリンクに設けられたＤＣリンクコンデンサに蓄積されたエネルギー量に関するデータと、モータ制御装置に対する保護動作が成功したか否かに関するデータと、モータ出力に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部と、状態変数によって構成される訓練データセットに従って、交流電源側の停電に関連付けられる条件を学習する学習部と、を備える。

【0010】

ここで、学習部は、状態変数に基づいて報酬を計算する報酬計算部と、報酬に基づいて、交流電源側が停電であるか否かの判断基準となる電源電圧の値である停電検出レベルおよび交流電源側の電源電圧が停電検出レベル未満である状態の継続時間である停電検出時間を変更するための関数を更新する関数更新部と、を備えてもよい。

【0011】

また、報酬計算部は、状態観測部により観測されたＤＣリンクコンデンサに蓄積されたエネルギー量が、所定値未満であるときは報酬を増やし、上記所定値以上であるときは報酬を減らすようにしてもよい。

【0012】

また、報酬計算部は、状態観測部によりモータ制御装置に対する保護動作が失敗したことを観測したときは報酬を減らすようにしてもよい。

【0013】

学習部は、複数のモータ制御装置に対して取得される訓練データセットに従って、条件を学習するように構成されてもよい。

【0014】

また、上述の機械学習装置を備えたモータ制御装置は、学習部が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、停電検出レベルおよび停電検出時間を決定する意思決定部と、交流電源側から供給された交流電力を直流電力に変換してＤＣリンクへ出力する整流器と、ＤＣリンクに接続され、ＤＣリンクにおける直流電力を交流電力に変換してモータへ供給する逆変換器と、交流電源側の電源電圧が停電検出レベル未満である状態が停電検出時間継続した場合、交流電源側で停電が発生したと判定する停電検出部と、停電検出部が交流電源側の停電を検出した場合、モータが所定の保護動作を行うための電力を出力するよう逆変換器に対して保護動作指令を出力する保護動作制御部と、をさらに備える。

【0015】

ここで、学習部は、現在の状態変数によって構成される追加の訓練データセットに従って、条件を再学習して更新するように構成されてもよい。

【0016】

また、交流電源側から供給された交流電力を直流電力に変換してＤＣリンクへ出力したのちさらにモータの駆動のための交流電力に変換してモータへ供給するモータ制御装置の、交流電源側の停電に関連付けられる条件を学習する機械学習方法は、交流電源側の電源電圧の値に関するデータと、ＤＣリンクに設けられたＤＣリンクコンデンサに蓄積されたエネルギー量に関するデータと、モータ制御装置に対する保護動作が成功したか否かに関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測ステップと、状態変数によって構成される訓練データセットに従って、交流電源側の停電に関連付けられる条件を学習する学習ステップと、を備える。

【発明の効果】

【0017】

本発明によれば、交流電源側の停電発生時において、通常動作を最大限継続し、保護動作の実行を最小限に抑えることができるモータ制御装置、ならびにこのモータ制御装置に用いられる機械学習装置およびその方法を実現することができる。

【0018】

本発明によれば、動作しているモータ制御装置に対し、交流電源側の停電発生時において通常動作を最大限継続し保護動作の実行を最小限に抑えることができる停電検出レベルおよび停電検出時間を機械学習装置が自ら調整するので、モータ制御装置の設計段階や運転段階における人間による調整が不要となる。

【図面の簡単な説明】

【0019】

【図1】本発明の実施例による機械学習装置の原理ブロック図である。

【図2】本発明の実施例による機械学習方法の動作原理を示すフローチャートである。

【図3】本発明の実施例による、強化学習を用いた機械学習装置の原理ブロック図である。

【図4】本発明の実施例による、強化学習を用いた機械学習方法の原理を示すフローチャートである。

【図5】本発明の実施例による機械学習装置を備えるモータ制御装置を示す原理ブロック図である。

【図6】本発明の実施例による、強化学習を用いた機械学習装置の動作フローを示すフローチャートである。

【図7】停電時に保護動作を行う一般的なモータ制御装置を示すブロック図である。

【発明を実施するための形態】

【0020】

図１は、本発明の実施例による機械学習装置の原理ブロック図である。以降、異なる図面において同じ参照符号が付されたものは同じ機能を有する構成要素であることを意味するものとする。

【0021】

本発明の実施例による機械学習装置１は、交流電源側から供給された交流電力を直流電力に変換してＤＣリンクへ出力したのちさらにモータの駆動のための交流電力に変換してモータへ供給するモータ制御装置における、交流電源側の停電に関連付けられる条件を学習するものとして構成される。すなわち、機械学習装置１は、モータ制御装置の交流電源側の停電発生時において、通常動作を最大限継続し、保護動作の実行を最小限に抑えることができる、交流電源側の停電に関連付けられる条件としての停電検出レベルおよび停電検出時間を学習する。ここで、停電検出レベルとは、モータ制御装置の交流電源側が停電であるか否かの判断基準となる電源電圧の値であり、停電検出時間とは、モータ制御装置の交流電源側の電源電圧が停電検出レベル未満である状態の継続時間である。交流電源側の電源電圧が停電検出レベル未満である状態が停電検出時間継続した場合に、「交流電源側で停電が発生した」と判定される。

【0022】

機械学習装置１は、状態観測部１１と学習部１２とを備える。

【0023】

状態観測部１１は、訓練データセットとして、交流電源側の電源電圧の値に関するデータと、ＤＣリンクに設けられたＤＣリンクコンデンサに蓄積されたエネルギー量に関するデータと、モータ制御装置に対する保護動作が成功したか否かに関するデータと、モータ出力に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。

【0024】

学習部１２は、状態変数によって構成される訓練データセットに従って、交流電源側の停電に関連付けられる条件としての停電検出レベルおよび停電検出時間を学習する。なお、訓練データセットを、複数のモータ制御装置から取得してもよく、この場合、学習部１２は、複数のモータ制御装置に対して取得される訓練データセットに従って、交流電源側の停電に関連付けられる条件を学習する。

【0025】

図２は、本発明の実施例による機械学習方法の動作原理を示すフローチャートである。交流電源側から供給された交流電力を直流電力に変換してＤＣリンクへ出力したのちさらにモータの駆動のための交流電力に変換してモータへ供給するモータ制御装置の、交流電源側の停電に関連付けられる条件を学習する機械学習方法は、状態観測ステップＳ１０１と、機械学習ステップＳ１０２とを備える。

【0026】

状態観測ステップＳ１０１は、状態観測部１１により実行されるものであり、すなわち、交流電源側の電源電圧の値に関するデータと、ＤＣリンクに設けられたＤＣリンクコンデンサに蓄積されたエネルギー量に関するデータと、モータ制御装置に対する保護動作が成功したか否かに関するデータと、モータ出力に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。

【0027】

機械学習ステップＳ１０２は、学習部１２により実行されるものであり、状態変数によって構成される訓練データセットに従って、交流電源側の停電に関連付けられる条件を学習する。

【0028】

学習部１２が用いる学習アルゴリズムはどのようなものを用いてもよい。一例として、強化学習（Ｒｅｉｎｆｏｒｃｅｍｅｎｔ Ｌｅａｒｎｉｎｇ）を適用した場合について説明する。強化学習は、ある環境内におけるエージェント（行動主体）が、現在の状態を観測し、取るべき行動を決定する、というものである。エージェントは行動を選択することで環境から報酬を得て、一連の行動を通じて報酬が最も多く得られるような方策を学習する。強化学習の代表的な手法として、Ｑ学習（Ｑ−ｌｅａｒｎｉｎｇ）やＴＤ学習（ＴＤ−ｌｅａｒｎｉｎｇ）が知られている。例えば、Ｑ学習の場合、行動価値関数Ｑ（ｓ，ａ）の一般的な更新式（行動価値テーブル）は式１で表される。

【0029】

【数1】

【0030】

式１において、ｓ_tは時刻ｔにおける環境を表し、ａ_tは時刻ｔにおける行動を表す。行動ａ_tにより、環境はｓ_t+1に変わる。ｒ_t+1はその環境の変化によってもらえる報酬（ｒｅｗａｒｄ）を表し、γは割引率を表し、αは学習係数を表す。Ｑ学習を適用した場合、停電検出レベルおよび停電検出時間が行動ａ_tとなる。

【0031】

図３は、本発明の実施例による、強化学習を用いた機械学習装置の原理ブロック図である。学習部１２は、報酬計算部２１と関数更新部２２とを備える。報酬計算部２１は、状態変数に基づいて報酬を計算する。関数更新部２２は、報酬に基づいて、交流電源側が停電であるか否かの判断基準となる電源電圧の値である停電検出レベルおよび交流電源側の電源電圧が停電検出レベル未満である状態の継続時間である停電検出時間を変更するための関数を更新する。例えばＱ学習の場合、式１で表される行動価値関数Ｑ（ｓ，ａ）を、行動ａ_tである停電検出レベルおよび停電検出時間を変更するための関数として用いる。なお、これら以外の回路構成要素については図１に示す回路構成要素と同様であるので、同一の回路構成要素には同一符号を付して当該回路構成要素についての詳細な説明は省略する。

【0032】

図４は、本発明の実施例による、強化学習を用いた機械学習方法の原理を示すフローチャートである。

【0033】

まず、状態観測ステップＳ１０１において、状態観測部１１は、交流電源側の電源電圧の値に関するデータと、ＤＣリンクに設けられたＤＣリンクコンデンサに蓄積されたエネルギー量に関するデータと、モータ制御装置に対する保護動作が成功したか否かに関するデータと、モータ出力に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。

【0034】

次いで、報酬計算ステップＳ１０２−１において、報酬計算部２１は、ステップＳ１０１において観測された状態変数に基づいて報酬を計算する。

【0035】

次いで、関数更新ステップＳ１０２−２において、関数更新部２２は、報酬に基づいて、交流電源側が停電であるか否かの判断基準となる電源電圧の値である停電検出レベルおよび交流電源側の電源電圧が停電検出レベル未満である状態の継続時間である停電検出時間を変更するための関数を更新する。

【0036】

続いて、上述の機械学習装置を備えるモータ制御装置について説明する。ここでは一例として、学習部の学習アルゴリズムとして強化学習を用いた場合について説明する。

【0037】

図５は、本発明の実施例による機械学習装置を備えるモータ制御装置を示す原理ブロック図である。なお、ここでは１個のモータ１０４を駆動制御するモータ制御装置１０００について説明するが、モータ制御装置１０００により駆動制御するモータ１０４の個数は、本発明を特に限定するものではなく、複数個であってもよい。また、モータ制御装置１０００によって駆動されるモータ１０４の種類についても本発明を特に限定するものではなく、例えば誘導モータであっても同期モータであってもよい。また、相数も本発明を特に限定するものではなく、三相の他に、例えば単相やその他の多相であってもよい。

【0038】

モータ制御装置１０００は、その主回路構成として、整流器１０１と、逆変換器１０２と、ＤＣリンクコンデンサ１０５とを備える。モータ制御装置１０００の三相交流入力側には交流電源１０３が接続され、モータ制御装置１０００の交流モータ側には三相のモータ１０４が接続される。なお、説明を簡明にするために、図５では、モータ１０４を駆動するための制御系を通常動作制御部４１としてまとめて表記している。また、ＤＣリンク電圧を０［Ｖ］から入力電圧波高値まで昇圧する際に用いる初期充電手段については図示を省略している。

【0039】

整流器１０１は、交流電源１０３側から供給された交流電力を直流電力に変換してＤＣリンクへ出力する。本発明では、用いられる整流器１０１の実施形態は特に限定されず、例えばダイオード整流器、あるいはＰＷＭ制御方式の整流回路などがある。

【0040】

ＤＣリンクコンデンサ１０５は、整流器１０１の直流側と逆変換器１０２の直流側とを接続するＤＣリンクに設けられる。ＤＣリンクコンデンサ１０５は、ＤＣリンクにおける直流電力を蓄積する機能と整流器１０１の直流出力の脈動分を抑える平滑機能とを有する。

【0041】

逆変換器１０２は、ＤＣリンクに接続され、ＤＣリンクにおける直流電力を交流電力に変換してモータ１０４へ供給するものであるが、一般的には交直双方向に変換可能である電力変換器である。すなわち、逆変換器１０２は、ＤＣリンクの直流電力とモータ１０４の駆動電力もしくは回生電力である交流電力との間で双方向に電力変換することができるものであり、通常動作制御部４１から受信したモータ駆動指令に従い、直流電力を交流電力に変換する力行動作（逆変換動作）および交流電力を直流電力に変換する回生動作（順変換動作）のいずれかを行う。具体的には、逆変換器１０２は、ＤＣリンク側から供給される直流電力を、通常動作制御部４１から受信したモータ駆動指令に基づき内部のスイッチング素子をスイッチング動作させ、モータ１０４を駆動するための所望の電圧および所望の周波数の三相交流電力に変換する。これにより、モータ１０４は、供給された電圧可変および周波数可変の三相交流電力に基づいて動作することになる。また、モータ１０４の減速時には回生電力が発生するが、この場合は通常動作制御部４１から受信したモータ駆動指令に基づき、モータ１０４で発生した交流の回生電力を直流電力へ変換してＤＣリンクへ戻す。なお、モータ制御装置１０００で複数のモータ１０４を駆動制御する場合には、各モータ１０４に個別に駆動電力を供給してモータ１０４を駆動制御するために、逆変換器１０２は、モータ１０４の個数と同数個、並列接続される。逆変換器１０２は、例えばＰＷＭインバータなどのような、スイッチング素子およびこれに逆並列に接続されたダイオードのブリッジ回路からなる。スイッチング素子の例としては、ＩＧＢＴ、サイリスタ、ＧＴＯ（Ｇａｔｅ Ｔｕｒｎ−ＯＦＦ ｔｈｙｒｉｓｔｏｒ：ゲートターンオフサイリスタ）、トランジスタなどがあるが、スイッチング素子の種類自体は本発明を限定するものではなく、その他の半導体素子であってもよい。

【0042】

モータ制御装置１０００は、その制御系として、図３および図４を参照して説明した強化学習を用いた機械学習装置１と、意思決定部１３と、保護動作制御部１４と、直流電圧測定部３１と、交流電圧測定部３２と、エネルギー量計算部３３と、通常動作制御部４１と、モータ制御部５１とを備える。

【0043】

直流電圧測定部３１は、ＤＣリンクに設けられたＤＣリンクコンデンサ１０５の両端の電圧（ＤＣリンク電圧）を測定する。

【0044】

交流電圧測定部３２は、交流電源１０３側の電源電圧を測定する。

【0045】

エネルギー量計算部３３は、ＤＣリンクコンデンサ１０５に蓄積されたエネルギー量を計算する。

【0046】

停電検出部３４は、交流電源１０３側の電源電圧が停電検出レベル未満である状態が停電検出時間継続した場合、交流電源側で停電が発生したと判定する。停電検出部３４による停電検出処理に用いられる停電検出レベルおよび停電検出時間は、後述するように意思決定部１３が決定したものである。

【0047】

保護動作制御部１４は、停電検出部３４が交流電源１０３側の停電を検出した場合、モータ１０４が所定の保護動作を行うための電力を出力するよう逆変換器１０２に対して保護動作指令を出力する。逆変換器１０２がＰＷＭ制御方式のインバータである場合、保護動作指令は、逆変換器１０２内のスイッチング素子のスイッチング動作をＰＷＭ制御するためのＰＷＭ制御信号として生成される。なお、本実施例では、保護動作制御部１４は、保護動作指令を逆変換器１０２に対して直接出力するようにしたが、この代替例として、保護動作指令を通常動作制御部４１に対して出力するようにしてもよく、この場合は、通常動作制御部４１は、保護動作制御部１４からの保護動作指令を受けて、モータ１０４が所定の保護動作を行うための電力を出力するよう逆変換器１０２に対して駆動指令を出力するようにする。いずれの場合であっても、逆変換器１０２は、保護動作指令を受信すると、ＤＣリンクコンデンサ１０５に蓄積された直流電力を、モータ１０４に接続されたツール、当該ツールが加工する加工対象、モータ制御装置１０００を有する製造ラインなどを保護するための各種保護動作に必要な交流電力に変換して出力する。

【0048】

通常動作制御部４１は、ＤＣリンク側の直流電力と交流モータ１０４側の交流電力とを相互に変換する逆変換器１０２の電力変換動作を制御する。すなわち、通常動作制御部４１は、モータ１０４の動作プログラム、逆変換器１０２の交流モータ側の交流電流もしくは交流電圧および／またはモータ１０４の回転速度などを用いて、モータ１０４の速度、トルク、もしくは回転子の位置を制御するための駆動指令として、交流電力を直流電力に変換する回生動作（順変換動作）および直流電力を交流電力に変換する力行動作（逆変換動作）のいずれかを逆変換器１０２に対して指令する。逆変換器１０２がＰＷＭ制御方式のインバータである場合、上記各指令は、逆変換器１０２内のスイッチング素子のスイッチング動作をＰＷＭ制御するためのＰＷＭ制御信号として生成される。

【0049】

機械学習装置１は、状態観測部１１と学習部１２とを備える。

【0050】

状態観測部１１は、交流電源１０３側の電源電圧の値に関するデータと、ＤＣリンクに設けられたＤＣリンクコンデンサ１０５に蓄積されたエネルギー量に関するデータと、保護動作制御部１４によるモータ制御装置１０００に対する保護動作が成功したか否かに関するデータと、モータ出力に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。観測された状態変数は訓練データセットとして学習部１２における学習に用いられる。交流電源１０３側の電源電圧は交流電圧測定部３２によって測定され、ＤＣリンクコンデンサ１０５に蓄積されたエネルギー量はエネルギー量計算部３３により計算される。

【0051】

学習部１２内の報酬計算部２１は、状態観測部１１により観測された状態変数に基づいて、報酬を計算する。

【0052】

ＤＣリンクコンデンサ１０５に蓄積されたエネルギー量を状態変数とした場合、報酬計算部２１は、状態観測部１１により観測されたＤＣリンクコンデンサ１０５に蓄積されたエネルギー量が、所定値未満であるときは報酬を増やし、所定値以上であるときは報酬を減らす。このように、ＤＣリンクコンデンサ１０５に蓄積されたエネルギー量が、所定値未満であるときは報酬を増やし、所定値以上であるときは報酬を減らすのは、交流電源１０３側に停電が発生し保護動作制御部１４による保護動作が完了したときに、ＤＣリンクコンデンサ１０５に蓄積されたエネルギー量が所定値以上の残っていたということは、保護動作を実行せずにモータ制御装置１０００を通常動作させる電力がまだ余っており、停電検出レベルおよび停電検出時間の設定が厳しすぎたということであるからである。

【0053】

また、モータ制御装置１０００に対する保護動作が成功したか否かに関するデータを状態変数とした場合、報酬計算部２１は、状態観測部１１によりモータ制御装置１０００に対する保護動作が失敗したことを観測したときは報酬を減らす。このように、モータ制御装置１０００に対する保護動作が失敗したことを観測したときは報酬を減らすのは、保護動作の失敗により、モータ１０４、モータ１０４を駆動するモータ制御装置１０００、モータ制御装置１０００が駆動するモータ１０４に接続されたツール、当該ツールが加工する加工対象、当該モータ制御装置を有する製造ラインなどが、破損したり変形するなどといった何らかの障害が生じるからである。

【0054】

学習部１２内の関数更新部２２は、報酬計算部２１によって算出された報酬に基づいて、停電検出レベルおよび停電検出時間を変更するための関数を更新する。例えばＱ学習の場合、式１で表される行動価値関数Ｑ（ｓ，ａ）を停電検出レベルおよび停電検出時間を変更するための関数として用いる。

【0055】

意思決定部１３は、学習部１２が訓練データセットに従って学習した結果に基づいて、現在の状態変数の入力に応答して、停電検出レベルおよび停電検出時間を決定する。本実施例では、一例として学習アルゴリズムとして強化学習を用いているので、学習部１２内の報酬計算部２１によって算出された報酬に基づいて学習部１２内の関数更新部２２は停電検出レベルおよび停電検出時間を変更するための関数を更新し、意思決定部１３は、更新された関数に基づき、報酬が最も多く得られる停電検出レベルおよび停電検出時間を選択する。意思決定部１３が決定した停電検出レベルおよび停電検出時間に基づいて、停電検出部３４は交流電源１０３側の停電の発生の有無を判別する。

【0056】

モータ制御部５１は、保護動作制御部１４および通常動作制御部４１を統括制御する。

【0057】

図６は、本発明の実施例による、強化学習を用いた機械学習装置の動作フローを示すフローチャートである。

【0058】

一般に、強化学習では行動の初期値はランダムに選択される。本発明の実施例では、ステップＳ２０１において、行動である停電検出レベルおよび停電検出時間の初期値をランダムに選択する。

【0059】

ステップＳ２０２では、通常動作制御部４１は、逆変換器１０２に対し、モータ１０４の動作プログラム、逆変換器１０２の交流モータ側の交流電流もしくは交流電圧および／またはモータ１０４の回転速度などを用いて、モータ１０４の速度、トルク、もしくは回転子の位置を制御するための駆動指令として、交流電力を直流電力に変換する回生動作（順変換動作）および直流電力を交流電力に変換する力行動作（逆変換動作）のいずれかを指令する。これによりモータ１０４は加速動作、定速動作もしく減速動作をすることになる。この間、直流電圧測定部３１はＤＣリンクに設けられたＤＣリンクコンデンサ１０５の両端の電圧（ＤＣリンク電圧）を測定し、交流電圧測定部３２は交流電源１０３側の電源電圧を測定し、エネルギー量計算部３３はＤＣリンクコンデンサ１０５に蓄積されたエネルギー量を計算する。

【0060】

ステップＳ２０３において、状態観測部１１は、訓練データセットとして、交流電源１０３側の電源電圧の値に関するデータと、ＤＣリンクに設けられたＤＣリンクコンデンサ１０５に蓄積されたエネルギー量に関するデータと、保護動作制御部１４によるモータ制御装置１０００に対する保護動作が成功したか否かに関するデータと、モータ出力に関するデータと、のうちの少なくとも１つから構成される状態変数を観測する。なお、本実施例では、一例としてこれら３つのデータを状態変数としたが、これら３つのデータのうち少なくとも１つを状態変数とすればよい。

【0061】

次いでステップＳ２０４において、停電検出部３４は、停電検出レベルおよび停電検出時間ならびに交流電圧測定部３２は交流電源１０３側の電源電圧に基づいて交流電源１０３側の停電の発生の有無を判別する。停電検出部３４は、交流電源１０３側の電源電圧が停電検出レベル未満である状態が停電検出時間継続した場合、交流電源側で停電が発生したと判定してステップＳ２０５へ進む。

【0062】

ステップＳ２０５では、保護動作制御部１４は、停電検出部３４が交流電源１０３側の停電を検出した場合、モータ１０４が所定の保護動作を行うための電力を出力するよう逆変換器１０２に対して保護動作指令を出力する。これにより、逆変換器１０２は、ＤＣリンクコンデンサ１０５に蓄積された直流電力を、モータ１０４に接続されたツール、当該ツールが加工する加工対象、モータ制御装置１０００を有する製造ラインなどを保護するための各種保護動作に必要な交流電力に変換して出力する。

【0063】

ステップＳ２０６では、状態観測部１１は、保護動作が成功したか否かに関するデータに基づき、モータ制御装置１０００に対する保護動作が失敗したか否かを判別する。状態観測部１１によりモータ制御装置１０００に対する保護動作が失敗したことを観測したときは、ステップＳ２０８において報酬計算部２１は報酬を減らす。一方、状態観測部１１がモータ制御装置１０００に対する保護動作が成功したことを観測したときはステップＳ２０７へ進む。

【0064】

ステップＳ２０７では、状態観測部１１は、ＤＣリンクコンデンサ１０５に蓄積されたエネルギー量に関するデータに基づき、状態観測部１１により観測されたＤＣリンクコンデンサ１０５に蓄積されたエネルギー量が所定値以上であるか否かを判別する。状態観測部１１がＤＣリンクコンデンサ１０５に蓄積されたエネルギー量が所定値以上であると判定したときは、ステップＳ２０８において報酬計算部２１は報酬を減らす。一方、状態観測部１１がＤＣリンクコンデンサ１０５に蓄積されたエネルギー量が所定値未満であると判定したときは、ステップＳ２０９において報酬計算部２１は報酬を増やす。

【0065】

ステップＳ２１０では、関数更新部２２は、報酬計算部２１によって算出された報酬に基づいて、停電検出レベルおよび停電検出時間を変更するための関数を更新する。

【0066】

続くステップＳ２１１では、意思決定部１３は、ステップＳ２１０において更新された関数に基づき、報酬が最も多く得られる停電検出レベルおよび停電検出時間を選択する。その後、ステップＳ２０２へ戻り、これ以降、ステップＳ２０２〜Ｓ２１１の処理が繰り返し実行される。これにより、機械学習装置１は、通常動作を最大限継続し保護動作の実行を最小限に抑えることができる交流電源側の停電に関連付けられる条件としての停電検出レベルおよび停電検出時間を学習していく。なお、訓練データセットを、複数の整流器１０１から取得してもよく、この場合、学習部１２は、複数の整流器１０１に対して取得される訓練データセットに従って、ステップＳ２０１〜Ｓ２１１の処理を繰り返し実行し、停電検出レベルおよび停電検出時間を学習していく。複数の整流器１０１に対して訓練データセットが取得されると機械学習装置１の学習精度は向上する。

【0067】

なお、上述した状態観測部１１、学習部１２、および意思決定部１３は、例えばソフトウェアプログラム形式で構築されてもよく、あるいは各種電子回路とソフトウェアプログラムとの組み合わせで構築されてもよい。例えばこれらをソフトウェアプログラム形式で構築する場合は、モータ制御装置１０００内にある演算処理装置をこのソフトウェアプログラムに従って動作させることで上述の各部の機能が実現される。またあるいは、状態観測部１１および学習部１２を備える機械学習装置１を、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路として実現してもよい。またあるいは、状態観測部１１および学習部１２を備える機械学習装置１のみならず意思決定部１３も含めた形で、各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路を実現してもよい。

【0068】

また、本発明による機械学習処理は、モータ制御装置１０００がモータの駆動制御のために本来的に備える直流電圧測定部３１および交流電圧測定部３２により測定された各種データを用いて実行されるので、従来技術のように新たなハードウェア装置を設ける必要がないことから、既存のモータ制御装置にも後付けで適用することも可能である。この場合、機械学習装置１や意思決定部１３の各部の機能を実現するソフトウェアプログラムを書き込んだ半導体集積回路を当該既存のモータ制御装置に組み込んだり、機械学習装置１や意思決定部１３の各部の機能を実現するソフトウェアプログラムそのものを当該既存のモータ制御装置内の演算処理装置に追加的にインストールすればよい。また、あるモータ制御装置に関して停電検出レベルおよび停電検出時間を学習した機械学習装置１を、これとは別のモータ制御装置に取り付け、当該別のモータ駆動装置に関して停電検出レベルおよび停電検出時間を再学習して更新するようにしてもよい。

【符号の説明】

【0069】

１ 機械学習装置
１１ 状態観測部
１２ 学習部
１３ 意思決定部
１４ 保護動作制御部
２１ 報酬計算部
２２ 関数更新部
３１ 直流電圧測定部
３２ 交流電圧測定部
３３ エネルギー量計算部
３４ 停電検出部
４１ モータ制御装置
５１ モータ制御部
１０１ 整流器
１０２ 逆変換器
１０３ 交流電源
１０４ モータ
１０５ ＤＣリンクコンデンサ
１０００ モータ制御装置

【要約】

【課題】交流電源側の停電発生時において、通常動作を最大限継続し、保護動作の実行を最小限に抑えることができるモータ制御装置、ならびに機械学習装置およびその方法を実現する。
【解決手段】交流電源側から供給された交流電力を直流電力に変換してＤＣリンクへ出力したのちさらにモータの駆動のための交流電力に変換してモータ１０４へ供給するモータ制御装置の、交流電源側の停電に関連付けられる条件を学習する機械学習装置１は、交流電源側の電源電圧の値に関するデータと、ＤＣリンクに設けられたＤＣリンクコンデンサに蓄積されたエネルギー量に関するデータと、モータ制御装置に対する保護動作が成功したか否かに関するデータと、のうちの少なくとも１つから構成される状態変数を観測する状態観測部１１と、状態変数によって構成される訓練データセットに従って、交流電源側の停電に関連付けられる条件を学習する学習部１２とを備える。
【選択図】図１

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】