(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2023-11-07
(45)【発行日】2023-11-15
(54)【発明の名称】制御支援装置、制御装置及び制御支援方法
(51)【国際特許分類】
G05B 11/36 20060101AFI20231108BHJP
【ＦＩ】
G05B11/36 501Z
【請求項の数】
7
(21)【出願番号】P 2022530497
(86)(22)【出願日】2021-06-02
(86)【国際出願番号】 JP2021020938
(87)【国際公開番号】W WO2021251226
(87)【国際公開日】2021-12-16
【審査請求日】2023-01-19
(31)【優先権主張番号】P 2020099963
(32)【優先日】2020-06-09
(33)【優先権主張国・地域又は機関】JP
(73)【特許権者】
【識別番号】390008235
【氏名又は名称】ファナック株式会社
(74)【代理人】
【識別番号】100106002
【弁理士】
【氏名又は名称】正林 真之
(74)【代理人】
【識別番号】100165157
【弁理士】
【氏名又は名称】芝 哲央
(74)【代理人】
【識別番号】100160794
【弁理士】
【氏名又は名称】星野 寛明
(72)【発明者】
【氏名】恒木 亮太郎
【審査官】牧 初
(56)【参考文献】
【文献】特開２０１３－５０７６７（ＪＰ，Ａ）
【文献】特開２０１７－８４１０４（ＪＰ，Ａ）
【文献】特開昭６４－８８７０６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０５Ｂ １１／００－１３／０４
Ｇ０５Ｄ ３／００－ ３／２０
Ｇ０５Ｄ １３／００－１３／６６
(57)【特許請求の範囲】
【請求項1】
モータを制御するサーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整するための支援を行う制御支援装置であって、調整後における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第１の情報を取得するサーボ状態情報取得部と、
調整前における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第２の情報及び前記第１の情報を用いて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整前後における、前記フィルタの入出力ゲイン及び位相遅れの周波数特性と、前記フィードバックゲインの入出力ゲイン及び位相遅れの周波数特性と、のうちの少なくとも一方の周波数特性を計算する周波数特性計算部と、
調整前後における前記少なくとも一方の周波数特性と、前記フィルタの係数と前記フィードバックゲインとの少なくとも一方の調整前の、前記サーボ制御装置の入出力ゲイン及び入出力の位相遅れの測定した周波数特性と、に基づいて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める状態推定部と、
を備えた制御支援装置。
【請求項2】
前記サーボ制御装置の入出力ゲイン及び入出力の位相遅れの測定した周波数特性及び前記第２の情報を保存する調整前状態情報保存部を備えた請求項１に記載の制御支援装置。【請求項3】
モータを制御するサーボ制御装置と、前記サーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める、請求項１又は請求項２に記載の制御支援装置と、
を備えた制御装置。
【請求項4】
請求項１又は請求項２に記載の制御支援装置で求められる、前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値に基づいて、前記サーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を最適化する機械学習装置を備えた請求項３に記載の制御装置。【請求項5】
周波数が変わる信号を生成し、前記信号を前記サーボ制御装置に入力する周波数生成装置と、前記信号と前記サーボ制御装置の出力信号とに基づいて前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性を測定する周波数特性測定部と、
を備えた、請求項３又は４に記載の制御装置。
【請求項6】
前記サーボ制御装置は、前記モータに流れる電流を制御する電流フィードバックループと、該電流フィードバックループを含み、前記フィルタと前記フィードバックゲインとを有するフィードバックループとを備え、周波数が変わる第１の信号を生成し、前記第１の信号を前記電流フィードバックループに入力する周波数生成装置と、
前記第１の信号と、前記フィードバックループにおいて前記電流フィードバックループに入力される第２の信号とに基づいて、前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性を測定する周波数特性測定部と、
を備えた、請求項３又は４に記載の制御装置。
【請求項7】
モータを制御するサーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整するための支援を行う制御支援装置の制御支援方法であって、調整後における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第１の情報と、調整前における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第２の情報とを取得し、
前記第２の情報及び前記第１の情報を用いて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整前後における、前記フィルタの入出力ゲイン及び位相遅れの周波数特性と、前記フィードバックゲインの入出力ゲイン及び位相遅れの周波数特性と、のうちの少なくとも一方の周波数特性を計算し、
調整前後における前記少なくとも一方の周波数特性と、前記係数と前記フィードバックゲインとの少なくとも一方の調整前の、前記サーボ制御装置の入出力ゲイン及び入出力の位相遅れの測定した周波数特性と、に基づいて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める、制御支援方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、モータを制御するサーボ制御部の、少なくとも１つのフィルタの係数と、フィードバックゲイン（ＦＧ）と、の少なくとも一方を調整する制御支援装置、制御支援装置とサーボ制御装置を含む制御装置、及び制御支援方法に関する。
【背景技術】
【0002】
適切なサーボの制御条件の設定を短時間で実現する制御システムおよび制御支援装置が、例えば特許文献１に記載されている。
特許文献１には、負荷装置を駆動するモータを制御するサーボシステムと、サーボシステムに接続され、モータを所定の目標動作に制御するために設定される調整パラメータの最適値を自動調整する制御支援装置と、で構成され、制御支援装置における調整パラメータ調整部はシミュレーション結果に基づいて、調整すべきパラメータやその調整範囲を自動設定し、調整範囲内で調整パラメータの最適値をモータの実動作の結果に基づいて自動調整する制御システムが記載されている。
特許文献１には、負荷装置を駆動するモータを制御するサーボシステムと、サーボシステムに接続され、モータを所定の目標動作に制御するために設定される調整パラメータの最適値を自動調整する制御支援装置と、で構成され、制御支援装置における調整パラメータ調整部はシミュレーション結果に基づいて、調整すべきパラメータやその調整範囲を自動設定し、調整範囲内で調整パラメータの最適値をモータの実動作の結果に基づいて自動調整する制御システムが記載されている。
【0003】
また、駆動モータのフィ－ドバック制御用の制御パラメ－タを、短期間に容易に設定できるようにする車両の走行制御設定装置が、例えば特許文献２に記載されている。
特許文献２には、所定の走行経路に沿って無人走行される搬送車の走行制御のときに、走行駆動用のモータが、所定の回転速度となるようにフィ－ドバック制御され、搬送車の試験走行のときに得られるモータの動作状態に基いて、その動作特性が、その伝達関数を示すモデル式として推定され、推定されたモデル式に基いてフィ－ドバック制御用の制御ゲインが決定される、車両の走行制御設定装置が記載されている。
特許文献２には、所定の走行経路に沿って無人走行される搬送車の走行制御のときに、走行駆動用のモータが、所定の回転速度となるようにフィ－ドバック制御され、搬送車の試験走行のときに得られるモータの動作状態に基いて、その動作特性が、その伝達関数を示すモデル式として推定され、推定されたモデル式に基いてフィ－ドバック制御用の制御ゲインが決定される、車両の走行制御設定装置が記載されている。
【0004】
さらに、サーボモータ制御装置における制御ループの制御ゲインの自動調整を支援するゲイン自動調整支援装置が、例えば特許文献３に記載されている。
特許文献３には、サーボモータ制御装置の制御ループの周波数特性を測定する周波数特性測定部と、制御ループの周波数特性をボード線図で表示する表示部と、所定の周波数でのゲイン目標値を設定する条件設定部と、条件設定部で設定した所定の周波数でのゲイン目標値と一致するように制御ループの制御ゲインを自動調整するゲイン自動調整部と、制御ゲインをサーボモータ制御装置に設定するパラメータ設定部と、を備えるゲイン自動調整支援装置が記載されている。
特許文献３には、サーボモータ制御装置の制御ループの周波数特性を測定する周波数特性測定部と、制御ループの周波数特性をボード線図で表示する表示部と、所定の周波数でのゲイン目標値を設定する条件設定部と、条件設定部で設定した所定の周波数でのゲイン目標値と一致するように制御ループの制御ゲインを自動調整するゲイン自動調整部と、制御ゲインをサーボモータ制御装置に設定するパラメータ設定部と、を備えるゲイン自動調整支援装置が記載されている。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２００９－１２２７７９号公報
【文献】特開平１１－１９４８２１号公報
【文献】特開２０１６－０９２９３５号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
モータを制御するサーボ制御装置の入出力ゲイン（振幅比）及び位相遅れの周波数特性が目標とする周波数特性となるように、サーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整する場合、少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整するごとにサーボ制御装置を動作させて、入出力ゲイン及び位相遅れの周波数特性を求める必要があった。
しかし、少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整するごとにサーボ制御装置を動作させて入出力ゲイン及び位相遅れの周波数特性を測定するのは、一定の時間を要する。この時間はできる限り短縮することが望まれる。
しかし、少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整するごとにサーボ制御装置を動作させて入出力ゲイン及び位相遅れの周波数特性を測定するのは、一定の時間を要する。この時間はできる限り短縮することが望まれる。
【課題を解決するための手段】
【0007】
（１） 本開示の第１の態様は、モータを制御するサーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整するための支援を行う制御支援装置であって、
調整後における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第１の情報を取得するサーボ状態情報取得部と、
調整前における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第２の情報及び前記第１の情報を用いて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整前後における、前記フィルタの入出力ゲイン及び位相遅れの周波数特性と、前記フィードバックゲインの入出力ゲイン及び位相遅れの周波数特性と、のうちの少なくとも一方の周波数特性を計算する周波数特性計算部と、
調整前後における前記少なくとも一方の周波数特性と、前記フィルタの係数と前記フィードバックゲインとの少なくとも一方の調整前の、前記サーボ制御装置の入出力ゲイン及び入出力の位相遅れの測定した周波数特性と、に基づいて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める状態推定部と、
を備えた制御支援装置である。
調整後における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第１の情報を取得するサーボ状態情報取得部と、
調整前における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第２の情報及び前記第１の情報を用いて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整前後における、前記フィルタの入出力ゲイン及び位相遅れの周波数特性と、前記フィードバックゲインの入出力ゲイン及び位相遅れの周波数特性と、のうちの少なくとも一方の周波数特性を計算する周波数特性計算部と、
調整前後における前記少なくとも一方の周波数特性と、前記フィルタの係数と前記フィードバックゲインとの少なくとも一方の調整前の、前記サーボ制御装置の入出力ゲイン及び入出力の位相遅れの測定した周波数特性と、に基づいて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める状態推定部と、
を備えた制御支援装置である。
【0008】
（２） 本開示の第２の態様は、モータを制御するサーボ制御装置と、
前記サーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める、上記（１）に記載の制御支援装置と、
を備えた制御装置である。
前記サーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める、上記（１）に記載の制御支援装置と、
を備えた制御装置である。
【0009】
（３） 本開示の第３の態様は、モータを制御するサーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整するための支援を行う制御支援装置の制御支援方法であって、
調整後における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第１の情報と、調整前における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第２の情報とを取得し、
前記第２の情報及び前記第１の情報を用いて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整前後における、前記フィルタの入出力ゲイン及び位相遅れの周波数特性と、前記フィードバックゲインの入出力ゲイン及び位相遅れの周波数特性と、のうちの少なくとも一方の周波数特性を計算し、
調整前後における前記少なくとも一方の周波数特性と、前記フィルタの係数と前記フィードバックゲインとの少なくとも一方の調整前の、前記サーボ制御装置の入出力ゲイン及び入出力の位相遅れの測定した周波数特性と、に基づいて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める、制御支援方法である。
調整後における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第１の情報と、調整前における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第２の情報とを取得し、
前記第２の情報及び前記第１の情報を用いて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整前後における、前記フィルタの入出力ゲイン及び位相遅れの周波数特性と、前記フィードバックゲインの入出力ゲイン及び位相遅れの周波数特性と、のうちの少なくとも一方の周波数特性を計算し、
調整前後における前記少なくとも一方の周波数特性と、前記フィルタの係数と前記フィードバックゲインとの少なくとも一方の調整前の、前記サーボ制御装置の入出力ゲイン及び入出力の位相遅れの測定した周波数特性と、に基づいて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める、制御支援方法である。
【発明の効果】
【0010】
本開示の各態様によれば、サーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整する場合に、少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整するごとにサーボ制御装置を動作させて入出力ゲイン及び位相遅れの周波数特性を求めることなく、入出力ゲイン及び位相遅れの周波数特性を推定することができる。そのため、入出力ゲイン及び位相遅れの周波数特性を測定する時間を短縮することができる。
【図面の簡単な説明】
【0011】
【図1】本開示の第１の実施形態の制御装置を示すブロック図である。
【図3】本開示の第２の実施形態の制御装置を示すブロック図である。
【図4】本開示の第３の実施形態の制御装置を示すブロック図である。
【図5】本発明の一実施形態の機械学習部を示すブロック図である。
【図6】入出力ゲインの規範モデルを算出するためのモデルとなるブロック図である。
【図7】規範モデルのサーボ制御部の入出力ゲインの周波数特性と、学習前及び学習後のサーボ制御部１００の入出力ゲインの推定値の周波数特性を示す特性図である。
【図8】入出力ゲインと位相遅れとの推定値の周波数特性を示す図である。
【図9】複数のフィルタを直接接続してフィルタを構成した例を示すブロック図である。
【図10】制御装置の他の構成例を示すブロック図である。
【発明を実施するための形態】
【0012】
以下、本開示の実施形態について図面を用いて詳細に説明する。
【0013】
（第１実施形態）
図１は本開示の第１の実施形態の制御装置を示すブロック図である。
制御装置１０は、サーボ制御部１００、周波数生成部２００、周波数特性測定部３００及び制御支援部４００を備えている。サーボ制御部１００はモータを制御するサーボ制御装置に対応し、周波数特性測定部３００は周波数特性算出装置に対応し、制御支援部４００は制御支援装置に対応する。
なお、周波数生成部２００、周波数特性測定部３００及び制御支援部４００のうちの一つ又は複数はサーボ制御部１００の内に設けてもよい。周波数特性測定部３００は制御支援部４００内に設けられてもよい。
図１は本開示の第１の実施形態の制御装置を示すブロック図である。
制御装置１０は、サーボ制御部１００、周波数生成部２００、周波数特性測定部３００及び制御支援部４００を備えている。サーボ制御部１００はモータを制御するサーボ制御装置に対応し、周波数特性測定部３００は周波数特性算出装置に対応し、制御支援部４００は制御支援装置に対応する。
なお、周波数生成部２００、周波数特性測定部３００及び制御支援部４００のうちの一つ又は複数はサーボ制御部１００の内に設けてもよい。周波数特性測定部３００は制御支援部４００内に設けられてもよい。
【0014】
サーボ制御部１００は、減算器１１０、速度制御部１２０、フィルタ１３０、電流制御部１４０、及びモータ１５０を備えている。減算器１１０、速度制御部１２０、フィルタ１３０、電流制御部１４０、及びモータ１５０は、閉ループとなる速度フィードバックループのサーボ系を構成する。モータ１５０は、直線運動をするリニアモータ、回転軸を有するモータ等を用いることができる。モータ１５０によって駆動される対象は、例えば、工作機械、ロボット、産業機械の機構部である。モータ１５０は、工作機械、ロボット、産業機械等の一部として設けられてもよい。制御装置１０は、工作機械、ロボット、産業機械等の一部として設けられてもよい。
【0015】
減算器１１０は、入力された速度指令と速度フィードバックされた検出速度との差を求め、その差を速度偏差として速度制御部１２０に出力する。
【0016】
速度制御部１２０は、ＰＩ制御（Proportional-Integral Control）を行い、速度偏差に積分ゲインＫ１ｖを乗じて積分した値と、速度偏差に比例ゲインＫ２ｖを乗じた値とを加算して、トルク指令としてフィルタ１３０に出力する。速度制御部１２０はフィードバックゲイン（ＦＧ）を含む。なお、速度制御部１２０は特に、ＰＩ制御に限定されず、他の制御、例えばＰＩＤ制御（Proportional-Integral-Differential Control）を用いてもよい。
数式１（以下に数１として示す）は、速度制御部１２０の伝達関数ＧＶ（ｓ）を示す。
数式１（以下に数１として示す）は、速度制御部１２０の伝達関数ＧＶ（ｓ）を示す。
【数1】
【0017】
フィルタ１３０は特定の周波数成分を減衰させるフィルタで、例えばノッチフィルタ、ローパスフィルタ又はバンドストップフィルタが用いられる。モータ１５０で駆動される機構部を有する工作機械等の機械では共振点が存在し、サーボ制御部１００で共振が増大する場合がある。ノッチフィルタ等のフィルタを用いることで共振を低減することができる。フィルタ１３０の出力はトルク指令として電流制御部１４０に出力される。
数式２（以下に数２として示す）は、フィルタ１３０としてのノッチフィルタの伝達関数ＧＦ（ｓ）を示す。
ここで、数式２の係数δは減衰係数、係数ωｃは中心角周波数、係数τは比帯域である。中心周波数をｆｃ、帯域幅をｆｗとすると、係数ωｃはωｃ＝２πｆｃ、係数τはτ＝ｆｗ／ｆｃで表される。
数式２（以下に数２として示す）は、フィルタ１３０としてのノッチフィルタの伝達関数ＧＦ（ｓ）を示す。
ここで、数式２の係数δは減衰係数、係数ωｃは中心角周波数、係数τは比帯域である。中心周波数をｆｃ、帯域幅をｆｗとすると、係数ωｃはωｃ＝２πｆｃ、係数τはτ＝ｆｗ／ｆｃで表される。
【数2】
【0018】
電流制御部１４０は、トルク指令に基づいてモータ１５０を駆動するための電圧指令を生成し、その電圧指令をモータ１５０に出力する。
モータ１５０がリニアモータの場合、可動部の位置は、モータ１５０に設けられたリニアスケール（図示せず）によって検出され、位置検出値を微分することで速度検出値を求め、求められた速度検出値は速度フィードバックとして減算器１１０に入力される。
モータ１５０が回転軸を有するモータの場合、回転角度位置は、モータ１５０に設けられたロータリーエンコーダ（図示せず）によって検出され、速度検出値は速度フィードバックとして減算器１１０に入力される。
モータ１５０がリニアモータの場合、可動部の位置は、モータ１５０に設けられたリニアスケール（図示せず）によって検出され、位置検出値を微分することで速度検出値を求め、求められた速度検出値は速度フィードバックとして減算器１１０に入力される。
モータ１５０が回転軸を有するモータの場合、回転角度位置は、モータ１５０に設けられたロータリーエンコーダ（図示せず）によって検出され、速度検出値は速度フィードバックとして減算器１１０に入力される。
【0019】
以上のようにサーボ制御部１００は構成されるが、積分ゲインＫ１ｖと比例ゲインＫ２ｖのうちの１つ又は両方、及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δの調整後のサーボ制御部１００の入出力ゲインと位相遅れとの周波数特性の推定値を求めるために、制御装置１０は、周波数生成部２００、周波数特性測定部３００及び制御支援部４００を更に備える。
【0020】
周波数生成部２００は、周波数を変化させながら正弦波信号を速度指令として、サーボ制御部１００の減算器１１０及び周波数特性測定部３００に出力する。
【0021】
周波数特性測定部３００は、周波数生成部２００で生成された、入力信号となる速度指令（正弦波）と、ロータリーエンコーダ（図示せず）から出力された出力信号となる検出速度（正弦波）と、を用いて、速度指令により規定される各周波数ごとに、入力信号と出力信号との振幅比（入出力ゲイン）、及び位相遅れとを測定する。または、周波数特性測定部３００は、周波数生成部２００で生成された、入力信号となる速度指令（正弦波）と、リニアスケールから出力される出力信号となる検出位置の微分（正弦波）と、を用いて、速度指令により規定される各周波数ごとに、入力信号と出力信号との振幅比、及び位相遅れとを測定する。
【0022】
サーボ制御部１００は、積分ゲインＫ１ｖと比例ゲインＫ２ｖのうちの１つ又は両方、及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δが調整される前の、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖ、及びフィルタ１３０の伝達関数の各係数ωｃ、τ、δ（以下、「サーボパラメータ」という）で動作して、周波数特性測定部３００に上述した検出速度又は検出位置の微分を入力する。周波数特性測定部３００は、入力信号となる速度指令と出力信号との振幅比（入出力ゲイン）、及び位相遅れとの周波数特性Ｐを測定して、制御支援部４００に出力する。
以下、調整される前のサーボパラメータは「調整前のサーボパラメータ」、調整前のサーボパラメータに対して、積分ゲインＫ１ｖと比例ゲインＫ２ｖのうちの１つ又は両方、及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δが調整されたサーボパラメータを「調整後のサーボパラメータ」という。
以下、調整される前のサーボパラメータは「調整前のサーボパラメータ」、調整前のサーボパラメータに対して、積分ゲインＫ１ｖと比例ゲインＫ２ｖのうちの１つ又は両方、及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δが調整されたサーボパラメータを「調整後のサーボパラメータ」という。
【0023】
制御支援部４００は、調整前のサーボパラメータでサーボ制御部１００が動作し、周波数特性測定部３００から出力される入出力ゲイン（振幅比）及び位相遅れの周波数特性Ｐを保存する。
制御支援部４００は、調整前のサーボパラメータにおける、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖのいずれか若しくは両方のゲイン及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δ（第２の情報となる）を用いて、速度制御部１２０又は／及びフィルタ１３０の入出力ゲインと位相遅れとの周波数特性Ｃ２を計算する。
また、制御支援部４００は、調整後のサーボパラメータにおける、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖのいずれか若しくは両方のゲイン及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δ（第１の情報となる）を用いて、速度制御部１２０又は／及びフィルタ１３０の入出力ゲインと位相遅れとの周波数特性Ｃ１を計算する。
そして、制御支援部４００は、周波数特性Ｃ１、周波数特性Ｃ２及び周波数特性Ｐに基づいて、サーボ制御部１００の入出力ゲインと位相遅れとの周波数特性の推定値Ｅを求める。
具体的には、以下の数式３（以下に数３として示す）を用いて、サーボ制御部１００の入出力ゲインと位相遅れとの周波数特性の推定値Ｅを求める。
なお、サーボ制御部１００の入出力ゲインと位相遅れとの周波数特性の推定値Ｅは、上記数式３、すなわち、Ｅ＝Ｃ1－Ｃ2＋Ｐを用いて算出できるが、制御支援部４００が行う計算は、Ｅ＝（Ｃ1－Ｃ2）＋Ｐ、Ｅ＝（Ｐ－Ｃ2）＋Ｃ１、Ｅ＝（Ｐ＋Ｃ1）－Ｃ2のいずれでもよい。
以下、制御支援部４００の構成及び動作の詳細について更に説明する。
制御支援部４００は、調整前のサーボパラメータにおける、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖのいずれか若しくは両方のゲイン及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δ（第２の情報となる）を用いて、速度制御部１２０又は／及びフィルタ１３０の入出力ゲインと位相遅れとの周波数特性Ｃ２を計算する。
また、制御支援部４００は、調整後のサーボパラメータにおける、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖのいずれか若しくは両方のゲイン及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δ（第１の情報となる）を用いて、速度制御部１２０又は／及びフィルタ１３０の入出力ゲインと位相遅れとの周波数特性Ｃ１を計算する。
そして、制御支援部４００は、周波数特性Ｃ１、周波数特性Ｃ２及び周波数特性Ｐに基づいて、サーボ制御部１００の入出力ゲインと位相遅れとの周波数特性の推定値Ｅを求める。
具体的には、以下の数式３（以下に数３として示す）を用いて、サーボ制御部１００の入出力ゲインと位相遅れとの周波数特性の推定値Ｅを求める。
【数3】
以下、制御支援部４００の構成及び動作の詳細について更に説明する。
【0024】
＜制御支援部４００＞
【0025】
図１に示すように、制御支援部４００は、サーボ状態情報取得部４０１、調整前状態保存部４０２、周波数特性計算部４０３、及び状態推定部４０４を備える。
【0026】
サーボ状態情報取得部４０１は、調整後のサーボパラメータにおける、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖのいずれか若しくは両方のゲイン及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δ（以下、第１の情報という）を取得して周波数特性計算部４０３に出力する。
【0027】
なお、調整前のサーボパラメータは、予めユーザが生成するようにする。予め操作者がサーボパラメータを調整している場合には、調整済の値を「調整前のサーボパラメータ」としてもよい。
【0028】
調整前状態保存部４０２には、上述したように、周波数特性測定部３００から出力される、入出力ゲインと位相遅れとの周波数特性Ｐが保存される。また、調整前状態保存部４０２には、調整前のサーボパラメータにおける、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖのいずれか若しくは両方のゲイン及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δ（以下、第２の情報という）が、速度制御部１２０及び／又はフィルタ１３０から出力され、保存される。
【0029】
周波数特性計算部４０３は、サーボ状態情報取得部４０１から第１の情報を取得し、調整前状態保存部４０２から第２の情報を読み出す。
そして、周波数特性計算部４０３は、第１の情報に含まれる、速度制御部１２０の伝達関数ＧＶ（ｊω）及び／又はフィルタ１３０の伝達関数ＧＦ（ｊω）を用いて、速度制御部１２０及び／又はフィルタ１３０の入出力ゲインと位相遅れとの周波数特性Ｃ１を計算する。また、周波数特性計算部４０３は、第２の情報に含まれる、速度制御部１２０の伝達関数ＧＶ（ｊω）及び／又はフィルタ１３０の伝達関数ＧＦ（ｊω）を用いて、速度制御部１２０及び／又はフィルタ１３０の入出力ゲインと位相遅れとの周波数特性Ｃ２を計算する。
そして、周波数特性計算部４０３は、第１の情報に含まれる、速度制御部１２０の伝達関数ＧＶ（ｊω）及び／又はフィルタ１３０の伝達関数ＧＦ（ｊω）を用いて、速度制御部１２０及び／又はフィルタ１３０の入出力ゲインと位相遅れとの周波数特性Ｃ１を計算する。また、周波数特性計算部４０３は、第２の情報に含まれる、速度制御部１２０の伝達関数ＧＶ（ｊω）及び／又はフィルタ１３０の伝達関数ＧＦ（ｊω）を用いて、速度制御部１２０及び／又はフィルタ１３０の入出力ゲインと位相遅れとの周波数特性Ｃ２を計算する。
【0030】
例えば、速度制御部１２０の伝達関数ＧＶ（ｊω）の積分ゲインＫ１ｖと比例ゲインＫ２ｖを調整前の値からｎ倍（ｎは整数）したときの周波数特性は、初期状態の周波数特性をＧＶ（ｊω）とすると、ｎ×ＧＶ（ｊω）となる。ボード線図上では、ゲインと位相はそれぞれ、数式４（以下に数４として示す）及び数式５（以下に数５として示す）によって示される。
【数4】
【数5】
【0031】
そして、周波数特性計算部４０３は、計算された周波数特性Ｃ１と周波数特性Ｃ２とを状態推定部４０４に出力する。
【0032】
状態推定部４０４は、上述した数式３を用いて、周波数特性Ｃ１、周波数特性Ｃ２及び周波数特性Ｐに基づいて、サーボ制御部１００の入出力ゲインと位相遅れとの周波数特性の推定値Ｅを求める。
以下、式Ｅ＝（Ｃ1－Ｃ2）＋Ｐによって、周波数特性の推定値Ｅを求める場合について説明する。
以下、式Ｅ＝（Ｃ1－Ｃ2）＋Ｐによって、周波数特性の推定値Ｅを求める場合について説明する。
【0033】
例えば、上述したように、速度制御部１２０の伝達関数ＧＶ（ｊω）の積分ゲインＫ１ｖと比例ゲインＫ２ｖを調整前の値からｎ倍（ｎは整数）したときの周波数特性Ｃ１は、初期状態の周波数特性Ｃ２をＧＶ（ｊω）とすると、ｎ×ＧＶ（ｊω）となる。
ボード線図で示される、初期状態からｎ倍したときのゲインの周波数特性は、数式４に示すように、初期状態のゲインとなる２０ｌｏｇ１０｜ＧＶ（ｊω）｜に２０ｌｏｇ１０（ｎ）を加えた周波数特性となる。ボード線図で示される、初期状態からｎ倍したときの位相の周波数特性は、ｔａｎ－１（ｎ）＝０であるため、数式４に示すように、初期状態の位相周波数特性と変わらない。
よって、初期状態からｎ倍したときの周波数特性は、ボード線図のゲイン線図のみ変化し、数式３に示す２０ｌｏｇ１０（ｎ）が、初期状態からｎ倍したときの周波数特性と初期状態の周波数特性との２つの周波数特性の差分（Ｃ1－Ｃ2）となる。
ボード線図で示される、初期状態からｎ倍したときのゲインの周波数特性は、数式４に示すように、初期状態のゲインとなる２０ｌｏｇ１０｜ＧＶ（ｊω）｜に２０ｌｏｇ１０（ｎ）を加えた周波数特性となる。ボード線図で示される、初期状態からｎ倍したときの位相の周波数特性は、ｔａｎ－１（ｎ）＝０であるため、数式４に示すように、初期状態の位相周波数特性と変わらない。
よって、初期状態からｎ倍したときの周波数特性は、ボード線図のゲイン線図のみ変化し、数式３に示す２０ｌｏｇ１０（ｎ）が、初期状態からｎ倍したときの周波数特性と初期状態の周波数特性との２つの周波数特性の差分（Ｃ1－Ｃ2）となる。
【0034】
状態推定部４０４は、調整前状態保存部４０２から、調整前のサーボパラメータに基づいて、周波数生成部２００が出力する速度指令（正弦波）を用いてサーボ制御部１００を駆動することで得られた、入出力ゲインと位相遅れとの周波数特性Ｐを読み出し、この周波数特性Ｐに、差分（Ｃ1－Ｃ2）を加算する。加算することで得られた周波数特性は、調整後のサーボパラメータに基づく、サーボ制御部１００の入出力ゲインと位相遅れとの周波数特性の推定値Ｅ＝（Ｃ1－Ｃ2）＋Ｐとなる。
【0035】
以上説明した実施形態では、調整後のサーボパラメータでのサーボ制御部１００の入出力ゲインと位相遅れとの推定値は、制御支援部４００で算出できるので、調整後のサーボパラメータでサーボ制御部１００を動作させて速度指令と検出速度を実際に検出して周波数特性測定部３００で測定する場合に比べて、短時間で求めることができる。
【0036】
以上、制御装置１０に含まれる機能ブロックについて説明した。
これらの機能ブロックを実現するために、制御装置１０は、ＣＰＵ（Central Processing Unit）等の演算処理装置を備える。また、制御装置１０は、アプリケーションソフトウェア及びＯＳ（Operating System）等の各種の制御用プログラムを格納したＨＤＤ（Hard Disk Drive）等の補助記憶装置及び、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶装置も備える。
これらの機能ブロックを実現するために、制御装置１０は、ＣＰＵ（Central Processing Unit）等の演算処理装置を備える。また、制御装置１０は、アプリケーションソフトウェア及びＯＳ（Operating System）等の各種の制御用プログラムを格納したＨＤＤ（Hard Disk Drive）等の補助記憶装置及び、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Random Access Memory）といった主記憶装置も備える。
【0037】
そして、制御装置１０において、演算処理装置が補助記憶装置からアプリケーションソフトウェア又はＯＳを読み込み、読み込んだアプリケーションソフトウェア又はＯＳを主記憶装置に展開させながら、これらのアプリケーションソフトウェア又はＯＳに基づいた演算処理を行なう。また、この演算結果に基づいて、各装置が備える各種のハードウェアを制御する。これにより、本実施形態の機能ブロックは実現される。つまり、本実施形態は、ハードウェアとソフトウェアが協働することにより実現することができる。
【0038】
制御支援部４００について演算量が多い場合、例えば、パーソナルコンピュータにＧＰＵ（Graphics Processing Units）を搭載し、ＧＰＧＰＵ（General-Purpose computing on Graphics Processing Units）と呼ばれる技術により、ＧＰＵを演算処理に利用するようにすると高速処理できるようになるのでよい。更には、より高速な処理を行うために、このようなＧＰＵを搭載したコンピュータを複数台用いてコンピュータ・クラスターを構築し、このコンピュータ・クラスターに含まれる複数のコンピュータにて並列処理を行うようにしてもよい。
【0039】
次に、制御支援部４００の動作についてフローチャートを用いて説明する。図２は制御支援装置の動作を示すフローチャートである。
ステップＳ１１において、調整前状態保存部４０２に、調整前のサーボパラメータにおける、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖのいずれか若しくは両方のゲイン及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δ（第２の情報）が、速度制御部１２０及び／又はフィルタ１３０から出力され、保存される。ここでは、調整前のサーボパラメータは、予めユーザが生成する。
また、ステップＳ１１において、調整前状態保存部４０２に、調整前のサーボパラメータに基づいて、周波数生成部２００が出力する速度指令（正弦波）を用いてサーボ制御部１００を駆動することで得られた、入出力ゲイン（振幅比）と位相遅れとの周波数特性（図２おける、周波数特性Ｐ）を周波数特性測定部３００から取得されて、保存される。
ステップＳ１１において、調整前状態保存部４０２に、調整前のサーボパラメータにおける、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖのいずれか若しくは両方のゲイン及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δ（第２の情報）が、速度制御部１２０及び／又はフィルタ１３０から出力され、保存される。ここでは、調整前のサーボパラメータは、予めユーザが生成する。
また、ステップＳ１１において、調整前状態保存部４０２に、調整前のサーボパラメータに基づいて、周波数生成部２００が出力する速度指令（正弦波）を用いてサーボ制御部１００を駆動することで得られた、入出力ゲイン（振幅比）と位相遅れとの周波数特性（図２おける、周波数特性Ｐ）を周波数特性測定部３００から取得されて、保存される。
【0040】
ステップＳ１２において、サーボ状態情報取得部４０１は、調整後のサーボパラメータにおける、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖのいずれか若しくは両方のゲイン及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δ（第１の情報）を取得し、周波数特性計算部４０３に出力する。
ステップＳ１３において、周波数特性計算部４０３は、調整前のサーボパラメータに設定された、速度制御部１２０及び／又はフィルタ１３０の、入出力ゲインと位相遅れとの周波数特性Ｃ２と、調整後のサーボパラメータに設定された、速度制御部１２０及び／又はフィルタ１３０の入出力ゲインと位相遅れとの周波数特性Ｃ１と、の２つの周波数特性を、速度制御部１２０の伝達関数ＧＶ（ｊω）及び／又はフィルタ１３０の伝達関数ＧＦ（ｊω）を用いて求めて、状態推定部４０４に出力する。
ステップＳ１３において、周波数特性計算部４０３は、調整前のサーボパラメータに設定された、速度制御部１２０及び／又はフィルタ１３０の、入出力ゲインと位相遅れとの周波数特性Ｃ２と、調整後のサーボパラメータに設定された、速度制御部１２０及び／又はフィルタ１３０の入出力ゲインと位相遅れとの周波数特性Ｃ１と、の２つの周波数特性を、速度制御部１２０の伝達関数ＧＶ（ｊω）及び／又はフィルタ１３０の伝達関数ＧＦ（ｊω）を用いて求めて、状態推定部４０４に出力する。
【0041】
ステップＳ１４において、状態推定部４０４は、調整前状態保存部４０２から、調整前のサーボパラメータに基づいて、周波数生成部２００が出力する速度指令（正弦波）を用いてサーボ制御部１００を駆動することで得られた、入出力ゲインと位相遅れとの周波数特性Ｐを読み出し、周波数特性Ｃ１、周波数特性Ｃ２及び周波数特性Ｐを用いて、数式３（Ｅ＝Ｃ１－Ｃ２＋Ｐ）により、サーボ制御部１００の入出力ゲインと位相遅れとの周波数特性の推定値Ｅを求める。
ステップＳ１５において、周波数特性の推定値Ｅを求める処理を続行するかどうかを判断し、続行する場合には、ステップＳ１２に戻り、続行しない場合には制御支援装置の動作を終了する。
ステップＳ１５において、周波数特性の推定値Ｅを求める処理を続行するかどうかを判断し、続行する場合には、ステップＳ１２に戻り、続行しない場合には制御支援装置の動作を終了する。
【0042】
（第２の実施形態）
第１の実施形態では、周波数特性測定部３００は、サーボ制御部１００の入出力ゲイン（振幅比）と位相遅れとの周波数特性を測定する場合、周波数が変化する正弦波信号である速度指令と速度フィードバックとから周波数特性を計算していた。本実施形態では、周波数生成部２００は、フィルタ１３０の後に、周波数を変化させながら正弦波信号を入力する。そして、周波数特性測定部３００は、サーボ制御部１００の入出力ゲインと位相遅れとの周波数特性を測定する場合、フィルタ１３０の後に入力した正弦波信号とフィルタ１３０の出力とから周波数特性を計算する。
第１の実施形態では、周波数特性測定部３００は、サーボ制御部１００の入出力ゲイン（振幅比）と位相遅れとの周波数特性を測定する場合、周波数が変化する正弦波信号である速度指令と速度フィードバックとから周波数特性を計算していた。本実施形態では、周波数生成部２００は、フィルタ１３０の後に、周波数を変化させながら正弦波信号を入力する。そして、周波数特性測定部３００は、サーボ制御部１００の入出力ゲインと位相遅れとの周波数特性を測定する場合、フィルタ１３０の後に入力した正弦波信号とフィルタ１３０の出力とから周波数特性を計算する。
【0043】
図３は本開示の第２の実施形態の制御装置を示すブロック図である。図３において、図１の示した制御装置１０の構成部材と同一構成部材については同一符号を付して説明を省略する。
図３に示すように、制御装置１０Ａは、フィルタ１３０の後段に加算器１６０が設けられ、この加算器１６０に周波数生成部２００から出力される、周波数が変化する正弦波信号が入力される。加算器１６０には減算器１７０が接続され、電流制御部１４０にはアンプ１８０が接続される。アンプ１８０は電流検出器を備えており、電流検出器で検出された電流は減算器１７０に入力される。減算器１７０、電流制御部１４０及びアンプ１８０は電流フィードバックループを構成し、電流フィードバックループは速度フィードバックループに含まれる。正弦波信号は周波数が変わる第１の信号、フィルタ１３０の出力は速度フィードバックループにおいて電流フィードバックループに入力される第２の信号に対応する。
図３に示すように、制御装置１０Ａは、フィルタ１３０の後段に加算器１６０が設けられ、この加算器１６０に周波数生成部２００から出力される、周波数が変化する正弦波信号が入力される。加算器１６０には減算器１７０が接続され、電流制御部１４０にはアンプ１８０が接続される。アンプ１８０は電流検出器を備えており、電流検出器で検出された電流は減算器１７０に入力される。減算器１７０、電流制御部１４０及びアンプ１８０は電流フィードバックループを構成し、電流フィードバックループは速度フィードバックループに含まれる。正弦波信号は周波数が変わる第１の信号、フィルタ１３０の出力は速度フィードバックループにおいて電流フィードバックループに入力される第２の信号に対応する。
【0044】
モータ１５０のインダクタンスは、磁気飽和などの影響によりモータ１５０に流れる電流によって非線形に変化する。調整前のサーボパラメータから、調整後のサーボパラメータに変えると、電流制御部１４０へ入力されるトルク指令が変わり、電流制御部１４０の電流ゲインが一定の場合、モータ１５０に流れる電流も変わる。モータ１５０に流れる電流が変わりインダクタンスが非線形に変化すると、電流フィードバックループの特性も非線形に変化する。
【0045】
本実施形態では、減算器１１０に入力される入力信号のレベルをゼロとし、周波数生成部２００は、フィルタ１３０の後に、周波数を変化させながら正弦波信号を入力し、周波数特性測定部３００は、この正弦波信号とフィルタ１３０の出力とからサーボ制御部１００の入出力ゲインと位相遅れとの周波数特性を測定する。こうすることで、電流フィードバックループへの入力は一定となるため、電流フィードバックループの特性の線形性を維持しながら、制御支援部４００によってサーボ制御部１００の入出力ゲインと位相遅れとの周波数特性を推定することができる。
【0046】
（第３の実施形態）
第１及び第２の実施形態では、調整後のサーボパラメータでのサーボ制御部１００の入出力ゲイン（振幅比）と位相遅れとの周波数特性の推定値を求めた。本実施形態では、サーボ制御部１００の入出力ゲインと位相遅れとの周波数特性の推定値を求め、この推定値を用いてサーボ制御部１００のサーボパラメータの最適な値を機械学習によって求める制御装置について説明する。以下の説明では、図１に示した制御装置１０に機械学習部を加えた例について説明するが、図３に示した制御装置１０Ａに機械学習部を加えてもよい。
第１及び第２の実施形態では、調整後のサーボパラメータでのサーボ制御部１００の入出力ゲイン（振幅比）と位相遅れとの周波数特性の推定値を求めた。本実施形態では、サーボ制御部１００の入出力ゲインと位相遅れとの周波数特性の推定値を求め、この推定値を用いてサーボ制御部１００のサーボパラメータの最適な値を機械学習によって求める制御装置について説明する。以下の説明では、図１に示した制御装置１０に機械学習部を加えた例について説明するが、図３に示した制御装置１０Ａに機械学習部を加えてもよい。
【0047】
図４は本開示の第３の実施形態の制御装置を示すブロック図である。図４において、図１の示した構成部材と同一構成部材については同一符号を付して説明を省略する。
図４に示すように、制御装置１０Ｂは、図１に示した制御装置１０に機械学習装置となる機械学習部５００を加えた構成となっている。
機械学習部５００は、制御支援部４００から出力される、サーボ制御部１００の入出力ゲインと位相遅れとの推定値を取得し、サーボパラメータの値の調整情報を制御支援部４００に送る。そして機械学習部５００は、サーボ制御部１００の入出力ゲインと位相遅れとの周波数特性の推定値が目標となる周波数特性と同一又は一定範囲内となるように、サーボ制御部１００のサーボパラメータの最適値を機械学習（以下、「機械学習」を「学習」という）する。そして、機械学習部５００は、サーボ制御部１００のサーボパラメータ、すなわち、積分ゲインＫ１ｖと比例ゲインＫ２ｖ、及びフィルタ１３０の伝達関数の各係数ωｃ、τ、δを最適値に設定する。
機械学習部５００による学習は出荷前に行われるが、出荷後に再学習を行ってもよい。
機械学習部５００が行う学習は強化学習を用いることができるが、特に強化学習に限定されず、例えば、教師あり学習を行ってもよい。
図４に示すように、制御装置１０Ｂは、図１に示した制御装置１０に機械学習装置となる機械学習部５００を加えた構成となっている。
機械学習部５００は、制御支援部４００から出力される、サーボ制御部１００の入出力ゲインと位相遅れとの推定値を取得し、サーボパラメータの値の調整情報を制御支援部４００に送る。そして機械学習部５００は、サーボ制御部１００の入出力ゲインと位相遅れとの周波数特性の推定値が目標となる周波数特性と同一又は一定範囲内となるように、サーボ制御部１００のサーボパラメータの最適値を機械学習（以下、「機械学習」を「学習」という）する。そして、機械学習部５００は、サーボ制御部１００のサーボパラメータ、すなわち、積分ゲインＫ１ｖと比例ゲインＫ２ｖ、及びフィルタ１３０の伝達関数の各係数ωｃ、τ、δを最適値に設定する。
機械学習部５００による学習は出荷前に行われるが、出荷後に再学習を行ってもよい。
機械学習部５００が行う学習は強化学習を用いることができるが、特に強化学習に限定されず、例えば、教師あり学習を行ってもよい。
【0048】
なお、機械学習部５００が、サーボ制御部１００のサーボパラメータを学習する場合に、サーボ制御部１００のサーボパラメータを調整し、その調整ごとにサーボ制御装置を動作させて周波数特性測定部３００から出力された入出力ゲイン及び位相遅れの周波数特性を用いて、サーボ制御部１００のサーボパラメータの最適値を学習しようとすると、サーボ制御部１００のサーボパラメータの調整ごとにサーボ制御装置を動作させて周波数特性測定部３００で入出力ゲイン及び位相遅れの周波数特性を測定する必要があるので処理に時間を要する。
本実施形態では、機械学習部５００が、制御支援部４００で求められた、入出力ゲイン及び位相遅れの周波数特性の推定値を用いて、サーボ制御部１００のサーボパラメータの最適値を学習する。そのため、サーボパラメータの調整が、簡易化され、短時間で行うことができる。
本実施形態では、機械学習部５００が、制御支援部４００で求められた、入出力ゲイン及び位相遅れの周波数特性の推定値を用いて、サーボ制御部１００のサーボパラメータの最適値を学習する。そのため、サーボパラメータの調整が、簡易化され、短時間で行うことができる。
【0049】
以下、機械学習装置となる機械学習部５００における機械学習について補足説明を行う。
【0050】
＜機械学習部５００＞
以下の説明では機械学習部５００が強化学習を行う場合について説明する。
機械学習部５００は、制御支援部４００から出力される、入出力ゲインと位相遅れとの推定値を状態Ｓとして、当該状態Ｓに係る、制御支援部４００におけるサーボパラメータの値の調整を行動Ａとする、Ｑ学習（Ｑ－ｌｅａｒｎｉｎｇ）を行う。当業者にとって周知のように、Ｑ学習は、或る状態Ｓのとき、取り得る行動Ａのなかから、価値Ｑ（Ｓ，Ａ）の最も高い行動Ａを最適な行動として選択することを目的とする。
以下の説明では機械学習部５００が強化学習を行う場合について説明する。
機械学習部５００は、制御支援部４００から出力される、入出力ゲインと位相遅れとの推定値を状態Ｓとして、当該状態Ｓに係る、制御支援部４００におけるサーボパラメータの値の調整を行動Ａとする、Ｑ学習（Ｑ－ｌｅａｒｎｉｎｇ）を行う。当業者にとって周知のように、Ｑ学習は、或る状態Ｓのとき、取り得る行動Ａのなかから、価値Ｑ（Ｓ，Ａ）の最も高い行動Ａを最適な行動として選択することを目的とする。
【0051】
具体的には、エージェント（機械学習装置）は、或る状態Ｓの下で様々な行動Ａを選択し、その時の行動Ａに対して、与えられる報酬に基づいて、より良い行動の選択をすることにより、正しい価値Ｑ（Ｓ，Ａ）を学習していく。
【0052】
また、将来にわたって得られる報酬の合計を最大化したいので、最終的にＱ（Ｓ，Ａ）＝Ｅ［Σ（γｔ）ｒｔ］となるようにすることを目指す。ここでＥ［］は期待値を表し、ｔは時刻、γは後述する割引率と呼ばれるパラメータ、ｒｔは時刻ｔにおける報酬、Σは時刻ｔによる合計である。この式における期待値は、最適な行動に従って状態変化した場合の期待値である。このような価値Ｑ（Ｓ，Ａ）の更新式は、例えば、次の数式６（以下に数６として示す）により表すことができる。
【0053】
【数6】
【0054】
上記の数式６において、Ｓｔは、時刻ｔにおける環境の状態を表し、Ａｔは、時刻ｔにおける行動を表す。行動Ａｔにより、状態はＳｔ＋１に変化する。ｒｔ＋１は、その状態の変化により得られる報酬を表している。また、ｍａｘの付いた項は、状態Ｓｔ＋１の下で、その時に分かっている最もＱ値の高い行動Ａを選択した場合のＱ値にγを乗じたものになる。ここで、γは、０＜γ≦１のパラメータで、割引率と呼ばれる。また、αは、学習係数で、０＜α≦１の範囲とする。
【0055】
上述した数式６は、試行Ａｔの結果、返ってきた報酬ｒｔ＋１を元に、状態Ｓｔにおける行動Ａｔの価値Ｑ（Ｓｔ，Ａｔ）を更新する方法を表している。
【0056】
機械学習部５００は、制御支援部４００が推定した各周波数ごとの入出力ゲインと位相遅れとの周波数特性の推定値を含む状態情報Ｓを観測して、行動Ａを決定する。機械学習部５００は、行動Ａをするたびに報酬が返ってくる。報酬については後述する。
Ｑ学習では、機械学習部５００は、例えば、将来にわたっての報酬の合計が最大になる最適な行動Ａを試行錯誤的に探索する。そうすることで、機械学習部５００は、状態Ｓに対して、最適な行動Ａ（すなわち、最適なサーボパラメータの値）を選択することが可能となる。
Ｑ学習では、機械学習部５００は、例えば、将来にわたっての報酬の合計が最大になる最適な行動Ａを試行錯誤的に探索する。そうすることで、機械学習部５００は、状態Ｓに対して、最適な行動Ａ（すなわち、最適なサーボパラメータの値）を選択することが可能となる。
【0057】
図５は本発明の一実施形態の機械学習部５００を示すブロック図である。
上述した強化学習を行うために、図５に示すように、機械学習部５００は、状態情報取得部５０１、学習部５０２、行動情報出力部５０３、価値関数記憶部５０４、及び最適化行動情報出力部５０５を備える。
上述した強化学習を行うために、図５に示すように、機械学習部５００は、状態情報取得部５０１、学習部５０２、行動情報出力部５０３、価値関数記憶部５０４、及び最適化行動情報出力部５０５を備える。
【0058】
状態情報取得部５０１は、調整後のサーボパラメータを用いて算出したサーボ制御部１００の入出力ゲインと位相遅れとの周波数特性の推定値を制御支援部４００から取得して学習部５０２に出力する。状態情報取得部５０１は、最初にＱ学習を開始する時点において、調整前のサーボパラメータでのサーボ制御部１００の入出力ゲインと位相遅れとの周波数特性を周波数特性測定部３００から取得して学習部５０２に出力する。制御支援部４００から取得した周波数特性の推定値は状態情報Ｓとなる。状態情報Ｓは、Ｑ学習における環境状態Ｓに相当する。
【0059】
なお、最初にＱ学習を開始する時点において、状態情報取得部５０１は、速度制御部１２０及びフィルタ１３０から調整前の初期値のサーボパラメータを取得して学習部５０２に出力する。
既に説明したように、調整前の初期値のサーボパラメータは、予めユーザが生成するようにする。初期値のサーボパラメータは予め操作者が工作機械を調整している場合には、調整済の値を初期値としてもよい。
既に説明したように、調整前の初期値のサーボパラメータは、予めユーザが生成するようにする。初期値のサーボパラメータは予め操作者が工作機械を調整している場合には、調整済の値を初期値としてもよい。
【0060】
学習部５０２は、或る環境状態Ｓの下で、ある行動Ａを選択する場合の価値Ｑ（Ｓ，Ａ）を学習する部分である。学習部５０２は報酬出力部５０２１、価値関数更新部５０２２、及び行動情報生成部５０２３を備える。
【0061】
報酬出力部５０２１は、或る状態Ｓの下で、行動Ａを選択した場合の報酬を算出する部分である。
報酬出力部５０２１は、初期値のサーボパラメータを調整した場合において各周波数ごとの入出力ゲインの推定値ｇｓを、予め設定した規範モデルの各周波数ごとの入出力ゲインの値ｇｂと比較する。報酬出力部５０２１は、入出力ゲインの推定値ｇｓが規範モデルの入出力ゲインの値ｇｂよりも大きい場合には、負の報酬を与える。一方、報酬出力部５０２１は、入出力ゲインの推定値ｇｓが規範モデルの入出力ゲインの値ｇｂ以下である場合には、状態Ｓから状態Ｓ´となった場合に、位相遅れの推定値が小さくなるときは正の報酬を与え、位相遅れの推定値が大きくなるときは負の報酬を与え、位相遅れの推定値が変わらないときはゼロの報酬を与える。
報酬出力部５０２１は、初期値のサーボパラメータを調整した場合において各周波数ごとの入出力ゲインの推定値ｇｓを、予め設定した規範モデルの各周波数ごとの入出力ゲインの値ｇｂと比較する。報酬出力部５０２１は、入出力ゲインの推定値ｇｓが規範モデルの入出力ゲインの値ｇｂよりも大きい場合には、負の報酬を与える。一方、報酬出力部５０２１は、入出力ゲインの推定値ｇｓが規範モデルの入出力ゲインの値ｇｂ以下である場合には、状態Ｓから状態Ｓ´となった場合に、位相遅れの推定値が小さくなるときは正の報酬を与え、位相遅れの推定値が大きくなるときは負の報酬を与え、位相遅れの推定値が変わらないときはゼロの報酬を与える。
【0062】
まず、報酬出力部５０２１が、入出力ゲインの推定値ｇｓが規範モデルの入出力ゲインの値ｇｂよりも大きい場合に、負の報酬を与える動作について図６及び図７を用いて説明する。
報酬出力部５０２１は、入出力ゲインの規範モデルを保存している。規範モデルは、共振のない理想的な特性を有するサーボ制御部のモデルである。規範モデルは、例えば、図６に示すモデルのイナーシャＪａ、トルク定数Ｋｔ、比例ゲインＫｐ、積分ゲインＫＩ、微分ゲインＫＤから計算で求めることができる。イナーシャＪａはモータイナーシャと機械イナーシャとの加算値である。
図７は、規範モデルのサーボ制御部の入出力ゲインの周波数特性と、学習前及び学習後のサーボ制御部１００の入出力ゲインの推定値の周波数特性を示す特性図である。図７の特性図に示すように、規範モデルは、一定の入出力ゲイン以上、例えば、－２０ｄＢ以上での理想的な入出力ゲインとなる周波数領域である領域Ａと、一定の入出力ゲイン未満となる周波数領域である領域Ｂとを備えている。図７の領域Ａにおいて、規範モデルの理想的な入出力ゲインを曲線ＭＣ１（太線）で示す。図７の領域Ｂにおいて、規範モデルの理想的な仮想入出力ゲインを曲線ＭＣ１１(破線の太線）で示し、規範モデルの入出力ゲインを一定値として直線ＭＣ１2(太線)で示す。図７の領域Ａ及びＢにおいて、学習前及び学習後のサーボ制御部との入出力ゲインの推定値の曲線をそれぞれ曲線ＲＣ１、ＲＣ2で示す。
報酬出力部５０２１は、入出力ゲインの規範モデルを保存している。規範モデルは、共振のない理想的な特性を有するサーボ制御部のモデルである。規範モデルは、例えば、図６に示すモデルのイナーシャＪａ、トルク定数Ｋｔ、比例ゲインＫｐ、積分ゲインＫＩ、微分ゲインＫＤから計算で求めることができる。イナーシャＪａはモータイナーシャと機械イナーシャとの加算値である。
図７は、規範モデルのサーボ制御部の入出力ゲインの周波数特性と、学習前及び学習後のサーボ制御部１００の入出力ゲインの推定値の周波数特性を示す特性図である。図７の特性図に示すように、規範モデルは、一定の入出力ゲイン以上、例えば、－２０ｄＢ以上での理想的な入出力ゲインとなる周波数領域である領域Ａと、一定の入出力ゲイン未満となる周波数領域である領域Ｂとを備えている。図７の領域Ａにおいて、規範モデルの理想的な入出力ゲインを曲線ＭＣ１（太線）で示す。図７の領域Ｂにおいて、規範モデルの理想的な仮想入出力ゲインを曲線ＭＣ１１(破線の太線）で示し、規範モデルの入出力ゲインを一定値として直線ＭＣ１2(太線)で示す。図７の領域Ａ及びＢにおいて、学習前及び学習後のサーボ制御部との入出力ゲインの推定値の曲線をそれぞれ曲線ＲＣ１、ＲＣ2で示す。
【0063】
報酬出力部５０２１は、領域Ａでは、入出力ゲインの推定値の学習前の曲線ＲＣ１が規範モデルの理想的な入出力ゲインの曲線ＭＣ１を超えた場合は第１の負の報酬を与える。
入出力ゲインが十分小さくなる周波数を超える領域Ｂでは、学習前の入出力ゲインの推定値の曲線ＲＣ１が規範モデルの理想的な仮想入出力ゲインの曲線ＭＣ１1を超えたとしても安定性への影響が小さくなる。そのため領域Ｂでは、上述したように、規範モデルの入出力ゲインは理想的なゲイン特性の曲線ＭＣ１1ではなく、一定値の入出力ゲイン（例えば、－２０ｄＢ）の直線ＭＣ１2を用いる。しかし、学習前の入出力ゲインの推定値の曲線ＲＣ１が一定値の入出力ゲインの直線ＭＣ１2を超えた場合には不安定になる可能性があるため、報酬として第１の負の値を与える。
入出力ゲインが十分小さくなる周波数を超える領域Ｂでは、学習前の入出力ゲインの推定値の曲線ＲＣ１が規範モデルの理想的な仮想入出力ゲインの曲線ＭＣ１1を超えたとしても安定性への影響が小さくなる。そのため領域Ｂでは、上述したように、規範モデルの入出力ゲインは理想的なゲイン特性の曲線ＭＣ１1ではなく、一定値の入出力ゲイン（例えば、－２０ｄＢ）の直線ＭＣ１2を用いる。しかし、学習前の入出力ゲインの推定値の曲線ＲＣ１が一定値の入出力ゲインの直線ＭＣ１2を超えた場合には不安定になる可能性があるため、報酬として第１の負の値を与える。
【0064】
次に、入出力ゲインの推定値ｇｓが規範モデルの入出力ゲインの値ｇｂ以下である場合に、報酬出力部５０２１が、位相遅れの推定値に基づいて報酬を決める動作について説明する。
以下の説明において、状態情報Ｓに係る状態変数である位相遅れの推定値をＤ（Ｓ）、行動情報Ａ（サーボパラメータの値の調整）により状態Ｓから変化した状態Ｓ´に係る状態変数である位相遅れの推定値をＤ（Ｓ´）で示す。なお、最初にＱ学習を開始する時点においては、位相遅れの推定値が求められていないため、周波数特性測定部３００から取得した、初期値のサーボパラメータでサーボ制御部１００を動作させることで得られたサーボ制御部１００の位相遅れをＤ（Ｓ）として以下の報酬を決める。
以下の説明において、状態情報Ｓに係る状態変数である位相遅れの推定値をＤ（Ｓ）、行動情報Ａ（サーボパラメータの値の調整）により状態Ｓから変化した状態Ｓ´に係る状態変数である位相遅れの推定値をＤ（Ｓ´）で示す。なお、最初にＱ学習を開始する時点においては、位相遅れの推定値が求められていないため、周波数特性測定部３００から取得した、初期値のサーボパラメータでサーボ制御部１００を動作させることで得られたサーボ制御部１００の位相遅れをＤ（Ｓ）として以下の報酬を決める。
【0065】
報酬出力部５０２１が、位相遅れの推定値に基づいて報酬を決める方法は、例えば、以下の方法がある。
状態Ｓから状態Ｓ´となった場合に、位相遅れの推定値が１８０度となる周波数が大きくなるか、小さくなるか、又は同じになるかで報酬を決めることができる。ここでは、位相遅れの推定値が１８０度の場合を取り上げたが、特に１８０度に限定されず他の値であってもよい。
例えば、位相遅れの推定値が図８に示した位相線図で示されたときに、状態Ｓから状態Ｓ´となった場合に、位相遅れの推定値が１８０度となる周波数が小さくなるように（図８のＸ２方向に）曲線が変わると、位相遅れの推定値は大きくなる。一方、状態Ｓから状態Ｓ´となった場合に、位相遅れの推定値が１８０度となる周波数が大きくなるように（図８のＸ１方向に）曲線が変わると、位相遅れの推定値が小さくなる。
状態Ｓから状態Ｓ´となった場合に、位相遅れの推定値が１８０度となる周波数が大きくなるか、小さくなるか、又は同じになるかで報酬を決めることができる。ここでは、位相遅れの推定値が１８０度の場合を取り上げたが、特に１８０度に限定されず他の値であってもよい。
例えば、位相遅れの推定値が図８に示した位相線図で示されたときに、状態Ｓから状態Ｓ´となった場合に、位相遅れの推定値が１８０度となる周波数が小さくなるように（図８のＸ２方向に）曲線が変わると、位相遅れの推定値は大きくなる。一方、状態Ｓから状態Ｓ´となった場合に、位相遅れの推定値が１８０度となる周波数が大きくなるように（図８のＸ１方向に）曲線が変わると、位相遅れの推定値が小さくなる。
【0066】
よって、状態Ｓから状態Ｓ´となった場合に、位相遅れの推定値が１８０度となる周波数が小さくなったとき、位相遅れの推定値Ｄ（Ｓ）＜位相遅れの推定値Ｄ（Ｓ´）と定義して、報酬出力部５０２１は、報酬の値を第２の負の値とする。なお第２の負の値の絶対値は第１の負の値よりも小さくする。
一方で、状態Ｓから状態Ｓ´となった場合に、位相遅れの推定値が１８０度となる周波数が大きくなったとき、位相遅れの推定値Ｄ（Ｓ）＞位相遅れの推定値Ｄ（Ｓ´）と定義して、報酬出力部５０２１は、報酬の値を正の値とする。
また、状態Ｓから状態Ｓ´となった場合に、位相遅れの推定値が１８０度となる周波数が変わらないとき、位相遅れの推定値Ｄ（Ｓ）＝位相遅れの推定値Ｄ（Ｓ´）と定義して、報酬出力部５０２１は、報酬の値をゼロの値とする。
一方で、状態Ｓから状態Ｓ´となった場合に、位相遅れの推定値が１８０度となる周波数が大きくなったとき、位相遅れの推定値Ｄ（Ｓ）＞位相遅れの推定値Ｄ（Ｓ´）と定義して、報酬出力部５０２１は、報酬の値を正の値とする。
また、状態Ｓから状態Ｓ´となった場合に、位相遅れの推定値が１８０度となる周波数が変わらないとき、位相遅れの推定値Ｄ（Ｓ）＝位相遅れの推定値Ｄ（Ｓ´）と定義して、報酬出力部５０２１は、報酬の値をゼロの値とする。
【0067】
位相遅れの推定値に基づいて報酬を決める方法は上記の方法に限定されず、状態Ｓから状態Ｓ´となった場合に、位相余裕が小さくときは第２の負の値の報酬を与え、大きくなるときは正の値の報酬を与え、同じになるときはゼロの報酬を与える方法を用いてもよい。
【0068】
以上、報酬出力部５０２１について説明した。
【0069】
価値関数更新部５０２２は、状態Ｓと、行動Ａと、行動Ａを状態Ｓに適用した場合の状態Ｓ´と、上記のようにして求めた報酬と、に基づいてＱ学習を行うことにより、価値関数記憶部５０４が記憶する価値関数Ｑを更新する。
価値関数Ｑの更新は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。
オンライン学習は、或る行動Ａを現在の状態Ｓに適用することにより、状態Ｓが新たな状態Ｓ´に遷移する都度、即座に価値関数Ｑの更新を行う学習方法である。また、バッチ学習は、或る行動Ａを現在の状態Ｓに適用することにより、状態Ｓが新たな状態Ｓ´に遷移することを繰り返すことにより、学習用のデータを収集し、収集した全ての学習用データを用いて、価値関数Ｑの更新を行う学習方法である。更に、ミニバッチ学習は、オンライン学習と、バッチ学習の中間的な、ある程度学習用データが溜まるたびに価値関数Ｑの更新を行う学習方法である。
価値関数Ｑの更新は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。
オンライン学習は、或る行動Ａを現在の状態Ｓに適用することにより、状態Ｓが新たな状態Ｓ´に遷移する都度、即座に価値関数Ｑの更新を行う学習方法である。また、バッチ学習は、或る行動Ａを現在の状態Ｓに適用することにより、状態Ｓが新たな状態Ｓ´に遷移することを繰り返すことにより、学習用のデータを収集し、収集した全ての学習用データを用いて、価値関数Ｑの更新を行う学習方法である。更に、ミニバッチ学習は、オンライン学習と、バッチ学習の中間的な、ある程度学習用データが溜まるたびに価値関数Ｑの更新を行う学習方法である。
【0070】
行動情報生成部５０２３は、現在の状態Ｓに対して、Ｑ学習の過程における行動Ａを選択する。行動情報生成部５０２３は、Ｑ学習の過程において、サーボパラメータの値を調整する動作（Ｑ学習における行動Ａに相当）を行わせるために、行動情報Ａを生成して、生成した行動情報Ａを行動情報出力部５０３に対して出力する。
より具体的には、行動情報生成部５０２３は、例えば、状態Ｓに含まれる、調整後のサーボパラメータに対して行動Ａに含まれる、サーボパラメータにおける、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖ、及びフィルタ１３０の伝達関数の各係数ωｃ、τ、δをインクレメンタルに加算又は減算してもよい。
より具体的には、行動情報生成部５０２３は、例えば、状態Ｓに含まれる、調整後のサーボパラメータに対して行動Ａに含まれる、サーボパラメータにおける、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖ、及びフィルタ１３０の伝達関数の各係数ωｃ、τ、δをインクレメンタルに加算又は減算してもよい。
【0071】
なお、サーボパラメータとなる、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖ、及びフィルタ１３０の各係数ωｃ、τ、δは全てを修正してもよいが、一部の係数を修正してもよい。フィルタ１３０の各係数ωｃ、τ、δを調整する場合、例えば、共振を生ずる中心周波数ｆｃは見つけやすく、中心周波数ｆｃは特定しやすい。そこで、行動情報生成部５０２３は、中心周波数ｆｃを仮に固定して、帯域幅ｆｗ及び減衰係数δを修正、すなわち、係数ωｃ（＝２πｆｃ）を固定し、係数τ（＝ｆｗ／ｆｃ）と及び減衰係数δを修正する動作を行わせるために、行動情報Ａを生成して、生成した行動情報Ａを行動情報出力部５０３に対して出力してもよい。
【0072】
また、行動情報生成部５０２３は、現在の推定される行動Ａの価値の中で、最も価値Ｑ（Ｓ，Ａ）の高い行動Ａ´を選択するグリーディ法や、ある小さな確率εでランダムに行動Ａ´選択し、それ以外では最も価値Ｑ（Ｓ，Ａ）の高い行動Ａ´を選択するεグリーディ法といった公知の方法により、行動Ａ´を選択する方策を取るようにしてもよい。
【0073】
行動情報出力部５０３は、学習部５０２から出力される行動情報Ａを制御支援部４００に対して送信する部分である。上述したように、この行動情報に基づいて、現在の状態Ｓ、すなわち現在設定されている、制御支援部４００において、サーボパラメータにおける、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖ、及び／又は各係数ωｃ、τ、δを調整することで、次の状態Ｓ´（すなわち調整された、速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖ、及び／又はフィルタ１３０の各係数）に遷移する。
【0074】
価値関数記憶部５０４は、価値関数Ｑを記憶する記憶装置である。価値関数Ｑは、例えば状態Ｓ、行動Ａ毎にテーブル（以下、行動価値テーブルと呼ぶ）として格納してもよい。価値関数記憶部５０４に記憶された価値関数Ｑは、価値関数更新部５０２２により更新される。また、価値関数記憶部５０４に記憶された価値関数Ｑは、他の機械学習部５００との間で共有されるようにしてもよい。価値関数Ｑを複数の機械学習部５００で共有するようにすれば、各機械学習部５００にて分散して強化学習を行うことが可能となるので、強化学習の効率を向上させることが可能となる。
【0075】
最適化行動情報出力部５０５は、価値関数更新部５０２２がＱ学習を行うことにより更新した価値関数Ｑに基づいて、価値Ｑ（Ｓ，Ａ）が最大となる動作を速度制御部１２０及びフィルタ１３０に行わせるための行動情報Ａ（以下、「最適化行動情報」と呼ぶ）を生成する。
より具体的には、最適化行動情報出力部５０５は、価値関数記憶部５０４が記憶している価値関数Ｑを取得する。この価値関数Ｑは、上述したように価値関数更新部５０２２がＱ学習を行うことにより更新したものである。そして、最適化行動情報出力部５０５は、価値関数Ｑに基づいて、行動情報を生成し、生成した行動情報をサーボ制御部１００の速度制御部１２０及び／又はフィルタ１３０に対して出力する。この最適化行動情報には、サーボ制御部１００の速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖ、及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δを修正する情報が含まれる。
より具体的には、最適化行動情報出力部５０５は、価値関数記憶部５０４が記憶している価値関数Ｑを取得する。この価値関数Ｑは、上述したように価値関数更新部５０２２がＱ学習を行うことにより更新したものである。そして、最適化行動情報出力部５０５は、価値関数Ｑに基づいて、行動情報を生成し、生成した行動情報をサーボ制御部１００の速度制御部１２０及び／又はフィルタ１３０に対して出力する。この最適化行動情報には、サーボ制御部１００の速度制御部１２０の積分ゲインＫ１ｖと比例ゲインＫ２ｖ、及び／又はフィルタ１３０の伝達関数の各係数ωｃ、τ、δを修正する情報が含まれる。
【0076】
速度制御部１２０では、この行動情報に基づいて積分ゲインＫ１ｖと比例ゲインＫ２ｖが修正され、フィルタ１３０では、この行動情報に基づいて伝達関数の各係数ωｃ、τ、δが修正される。
機械学習部５００は、以上の動作で、サーボパラメータの最適化を行い、機械端の振動を抑制するように動作することができる。また、サーボパラメータの調整を簡易化することができる。
機械学習部５００は、以上の動作で、サーボパラメータの最適化を行い、機械端の振動を抑制するように動作することができる。また、サーボパラメータの調整を簡易化することができる。
【0077】
上述した各実施形態では、１つのフィルタを設けた場合について説明したが、フィルタ１３０はそれぞれ異なる周波数帯域に対応する複数個のフィルタを直列に接続することで構成してもよい。図９は複数のフィルタを直接接続してフィルタを構成した例を示すブロック図である。図９において、ｍ個（ｍは２以上の自然数）の共振点がある場合に、フィルタ１３０は、ｍ個のフィルタ１３０－１～１３０－ｍを直列接続して構成する。
【0078】
また、制御装置の構成は図１、図３及び図４の構成以外にも以下の構成がある。
＜制御支援部がネットワークを介してサーボ制御部と接続される変形例＞
図１０は制御装置の他の構成例を示すブロック図である。図１０に示す制御装置１０Ｃが、図１又は図３に示した制御装置１０と異なる点は、ｎ（ｎは２以上の自然数）個のサーボ制御部１００－１～１００－ｎが、ネットワーク６００を介してｎ個の制御支援部４００－１～４００－ｎに接続されていること及びそれぞれ周波数生成部２００と周波数特性測定部３００を備えていることである。制御支援部４００－１～４００－ｎは図１に示した制御支援部４００と同じ構成を有している。サーボ制御部１００－１～１００－ｎはそれぞれサーボ制御装置に対応しており、また制御支援部４００－１～４００－ｎはそれぞれ制御支援装置に対応している。なお、周波数生成部２００と周波数特性測定部３００の一方又は両方をサーボ制御部１００－１～１００－ｎの外に設けてもよいことは勿論である。図１０に示した構成は図４の制御装置１０Ｂに適用してもよく、その場合、サーボ制御部１００－１～１００－ｎはそれぞれ機械学習部５００を備えている。なお、機械学習部５００をサーボ制御部１００－１～１００－ｎの外に設けてもよいことは勿論である。
＜制御支援部がネットワークを介してサーボ制御部と接続される変形例＞
図１０は制御装置の他の構成例を示すブロック図である。図１０に示す制御装置１０Ｃが、図１又は図３に示した制御装置１０と異なる点は、ｎ（ｎは２以上の自然数）個のサーボ制御部１００－１～１００－ｎが、ネットワーク６００を介してｎ個の制御支援部４００－１～４００－ｎに接続されていること及びそれぞれ周波数生成部２００と周波数特性測定部３００を備えていることである。制御支援部４００－１～４００－ｎは図１に示した制御支援部４００と同じ構成を有している。サーボ制御部１００－１～１００－ｎはそれぞれサーボ制御装置に対応しており、また制御支援部４００－１～４００－ｎはそれぞれ制御支援装置に対応している。なお、周波数生成部２００と周波数特性測定部３００の一方又は両方をサーボ制御部１００－１～１００－ｎの外に設けてもよいことは勿論である。図１０に示した構成は図４の制御装置１０Ｂに適用してもよく、その場合、サーボ制御部１００－１～１００－ｎはそれぞれ機械学習部５００を備えている。なお、機械学習部５００をサーボ制御部１００－１～１００－ｎの外に設けてもよいことは勿論である。
【0079】
ここで、サーボ制御部１００－１と、制御支援部４００－１とは１対１の組とされて、通信可能に接続されている。サーボ制御部１００－２～１００－ｎと、制御支援部４００－２～４００－ｎについてもサーボ制御部１００－１と制御支援部４００－１と同様に接続される。図１０では、サーボ制御部１００－１～１００－ｎと、制御支援部４００－１～４００－ｎとのｎ個の組は、ネットワーク６００を介して接続されているが、サーボ制御部１００－１～１００－ｎと、制御支援部４００－１～４００－ｎとのｎ個の組は、それぞれの組のサーボ制御部と制御支援部とが接続インタフェースを介して直接接続されてもよい。これらサーボ制御部１００－１～１００－ｎと制御支援部４００－１～４００－ｎとのｎ個の組は、例えば同じ工場に複数組設置されていてもよく、それぞれ異なる工場に設置されていてもよい。
【0080】
なお、ネットワーク６００は、例えば、工場内に構築されたＬＡＮ（Local Area Network）や、インターネット、公衆電話網、或いは、これらの組み合わせである。ネットワーク６００における具体的な通信方式や、有線接続および無線接続のいずれであるか等については、特に限定されない。
【0081】
＜システム構成の自由度＞
上述した実施形態では、サーボ制御部１００－１～１００－ｎと、制御支援部４００－１～４００－ｎとはそれぞれ１対１の組とされて通信可能に接続されているが、例えば１台の制御支援部が複数のサーボ制御部とネットワーク６００を介して通信可能に接続され、各サーボ制御部の制御支援を実施するようにしてもよい。
その際、１台の制御支援部の各機能を、適宜複数のサーバに分散する、分散処理システムとしてもよい。また、クラウド上で仮想サーバ機能等を利用して、１台の制御支援部の各機能を実現してもよい。
上述した実施形態では、サーボ制御部１００－１～１００－ｎと、制御支援部４００－１～４００－ｎとはそれぞれ１対１の組とされて通信可能に接続されているが、例えば１台の制御支援部が複数のサーボ制御部とネットワーク６００を介して通信可能に接続され、各サーボ制御部の制御支援を実施するようにしてもよい。
その際、１台の制御支援部の各機能を、適宜複数のサーバに分散する、分散処理システムとしてもよい。また、クラウド上で仮想サーバ機能等を利用して、１台の制御支援部の各機能を実現してもよい。
【0082】
また、ｎ台の同じ型名、同一仕様、又は同一シリーズのサーボ制御部１００－１～１００－ｎとそれぞれ対応するｎ個の制御支援部４００－１～４００－ｎがあった場合に、各制御支援部４００－１～４００－ｎにおける推定結果を共有するように構成するようにしてもよい。そうすることで、より最適なモデルを構築することが可能となる。
【0083】
以上、第１、第２及び第３の実施形態について説明した。各実施形態の制御装置に含まれる各構成部は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記の制御装置に含まれる各構成部のそれぞれの協働により行なわれるサーボ制御方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。
【0084】
プログラムは、様々なタイプの非一時的なコンピュータ可読媒体(non-transitory computer readable medium)を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体(tangible storage medium)を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ(Read Only Memory)、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ(Programmable ROM)、ＥＰＲＯＭ(Erasable PROM)、フラッシュＲＯＭ、ＲＡＭ(random access memory）)を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体(transitory computer readable medium)によってコンピュータに供給されてもよい。
【0085】
上述した各実施形態は、本発明の好適な実施形態ではあるが、上記実施形態のみに本発明の範囲を限定するものではなく、本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。
【0086】
本開示による制御支援装置、制御装置及び制御支援方法は、上述した実施形態を含め、次のような構成を有する各種各様の実施形態を取ることができる。
（１） モータ（例えば、モータ１５０）を制御するサーボ制御装置（例えば、サーボ制御部１００）の少なくとも１つのフィルタ（例えば、フィルタ１３０）の係数と、フィードバックゲインと、の少なくとも一方を調整するための支援を行う制御支援装置（例えば、制御支援部４００）であって、
調整後における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第１の情報を取得するサーボ状態情報取得部（例えば、サーボ状態情報取得部４０１）と、
調整前における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第２の情報及び前記第１の情報を用いて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整前後における、前記フィルタの入出力ゲイン及び位相遅れの周波数特性と、前記フィードバックゲイン（例えば、速度制御部１２０）の入出力ゲイン及び位相遅れの周波数特性と、のうちの少なくとも一方の周波数特性を計算する周波数特性計算部（例えば、周波数特性計算部４０３）と、
調整前後における前記少なくとも一方の周波数特性と、前記フィルタの係数と前記フィードバックゲインとの少なくとも一方の調整前の、前記サーボ制御装置の入出力ゲイン及び入出力の位相遅れの測定した周波数特性と、に基づいて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める状態推定部（例えば、状態推定部４０４）と、
を備えた制御支援装置。
（１） モータ（例えば、モータ１５０）を制御するサーボ制御装置（例えば、サーボ制御部１００）の少なくとも１つのフィルタ（例えば、フィルタ１３０）の係数と、フィードバックゲインと、の少なくとも一方を調整するための支援を行う制御支援装置（例えば、制御支援部４００）であって、
調整後における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第１の情報を取得するサーボ状態情報取得部（例えば、サーボ状態情報取得部４０１）と、
調整前における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第２の情報及び前記第１の情報を用いて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整前後における、前記フィルタの入出力ゲイン及び位相遅れの周波数特性と、前記フィードバックゲイン（例えば、速度制御部１２０）の入出力ゲイン及び位相遅れの周波数特性と、のうちの少なくとも一方の周波数特性を計算する周波数特性計算部（例えば、周波数特性計算部４０３）と、
調整前後における前記少なくとも一方の周波数特性と、前記フィルタの係数と前記フィードバックゲインとの少なくとも一方の調整前の、前記サーボ制御装置の入出力ゲイン及び入出力の位相遅れの測定した周波数特性と、に基づいて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める状態推定部（例えば、状態推定部４０４）と、
を備えた制御支援装置。
【0087】
この制御支援装置によれば、サーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整する場合に、少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整するごとにサーボ制御装置を動作させて入出力ゲイン及び位相遅れの周波数特性を求めることなく、入出力ゲイン及び位相遅れの周波数特性を求めることができる。そのため、入出力ゲイン及び位相遅れの周波数特性を測定する時間を短縮することができる。
【0088】
（２） 前記サーボ制御装置の入出力ゲイン及び入出力の位相遅れの測定した周波数特性及び前記第２の情報を保存する調整前状態情報保存部（例えば、調整前状態保存部４０２）を備えた上記（１）に記載の制御支援装置。
【0089】
（３） モータを制御するサーボ制御装置と、
前記サーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める、上記（１）又は（２）に記載の制御支援装置と、
を備えた制御装置。
前記サーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める、上記（１）又は（２）に記載の制御支援装置と、
を備えた制御装置。
【0090】
この制御装置によれば、サーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整する場合に、少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整するごとにサーボ制御装置を動作させて入出力ゲイン及び位相遅れの周波数特性を求めることなく、入出力ゲイン及び位相遅れの周波数特性を求めることができる。そのため、入出力ゲイン及び位相遅れの周波数特性を測定する時間を短縮することができる。
【0091】
（４） 上記（１）又は（２）に記載の制御支援装置で求められる、前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値に基づいて、前記サーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を最適化する機械学習装置（例えば、機械学習部５００）を備えた上記（３）に記載の制御装置。
この制御装置によれば、速度制御部及び／又はフィルタのパラメータの調整が、簡易化され、短時間で行うことができる。
この制御装置によれば、速度制御部及び／又はフィルタのパラメータの調整が、簡易化され、短時間で行うことができる。
【0092】
（５） 周波数が変わる信号を生成し、前記信号を前記サーボ制御装置に入力する周波数生成装置と、
前記信号と前記サーボ制御装置の出力信号とに基づいて前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性を測定する周波数特性測定部と、
を備えた、上記（３）又は（４）に記載の制御装置。
前記信号と前記サーボ制御装置の出力信号とに基づいて前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性を測定する周波数特性測定部と、
を備えた、上記（３）又は（４）に記載の制御装置。
【0093】
（６） 前記サーボ制御装置は、前記モータに流れる電流を制御する電流フィードバックループと、該電流フィードバックループを含み、前記フィルタと前記フィードバックゲインとを有するフィードバックループとを備え、
周波数が変わる第１の信号を生成し、前記第１の信号を前記電流フィードバックループに入力する周波数生成装置と、
前記第１の信号と前記フィードバックループにおいて前記電流フィードバックループに入力される第２の信号とに基づいて、前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性を測定する周波数特性測定部と、
を備えた、上記（３）又は（４）に記載の制御装置。
周波数が変わる第１の信号を生成し、前記第１の信号を前記電流フィードバックループに入力する周波数生成装置と、
前記第１の信号と前記フィードバックループにおいて前記電流フィードバックループに入力される第２の信号とに基づいて、前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性を測定する周波数特性測定部と、
を備えた、上記（３）又は（４）に記載の制御装置。
【0094】
（７） モータ（例えば、モータ１５０）を制御するサーボ制御装置（例えば、サーボ制御部１００）の少なくとも１つのフィルタ（例えば、フィルタ１３０）の係数と、フィードバックゲインと、の少なくとも一方を調整するための支援を行う制御支援装置（例えば、制御支援部４００）の制御支援方法であって、
調整後における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第１の情報と、調整前における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第２の情報とを取得し、
前記第２の情報及び前記第１の情報を用いて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整前後における、前記フィルタの入出力ゲイン及び位相遅れの周波数特性と、前記フィードバックゲイン（例えば、速度制御部１２０）の入出力ゲイン及び位相遅れの周波数特性と、のうちの少なくとも一方の周波数特性を計算し、
調整前後における前記少なくとも一方の周波数特性と、前記フィルタの係数と前記フィードバックゲインとの少なくとも一方の調整前の、前記サーボ制御装置の入出力ゲイン及び入出力の位相遅れの測定した周波数特性と、に基づいて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める、制御支援方法。
調整後における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第１の情報と、調整前における、前記少なくとも１つのフィルタの係数と、前記フィードバックゲインと、の少なくとも一方からなる第２の情報とを取得し、
前記第２の情報及び前記第１の情報を用いて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整前後における、前記フィルタの入出力ゲイン及び位相遅れの周波数特性と、前記フィードバックゲイン（例えば、速度制御部１２０）の入出力ゲイン及び位相遅れの周波数特性と、のうちの少なくとも一方の周波数特性を計算し、
調整前後における前記少なくとも一方の周波数特性と、前記フィルタの係数と前記フィードバックゲインとの少なくとも一方の調整前の、前記サーボ制御装置の入出力ゲイン及び入出力の位相遅れの測定した周波数特性と、に基づいて、前記フィルタの係数及び前記フィードバックゲインの少なくとも一方の調整後の前記サーボ制御装置の入出力ゲイン及び位相遅れの周波数特性の推定値を求める、制御支援方法。
【0095】
この制御支援方法によれば、サーボ制御装置の少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整する場合に、少なくとも１つのフィルタの係数と、フィードバックゲインと、の少なくとも一方を調整するごとにサーボ制御装置を動作させて入出力ゲイン及び位相遅れの周波数特性を求めることなく、入出力ゲイン及び位相遅れの周波数特性を求めることができる。そのため、入出力ゲイン及び位相遅れの周波数特性を測定する時間を短縮することができる。
【符号の説明】
【0096】
１０、１０Ａ 制御装置
１００、１００－１～１００－ｎ サーボ制御部
１１０ 減算器
１２０ 速度制御部
１３０ フィルタ
１４０ 電流制御部
１５０ モータ
２００ 周波数生成部
３００ 周波数特性測定部
４００、４００－１～４００－ｎ 制御支援部
４０１ サーボ状態情報取得部
４０２ 調整前状態保存部
４０３ 周波数特性測定部
４０４ 状態推定部
５００ 機械学習部
５０１ 状態情報取得部
５０２ 学習部
５０３ 行動情報出力部
５０４ 価値関数記憶部
５０５ 最適化行動情報出力部
６００ ネットワーク
１００、１００－１～１００－ｎ サーボ制御部
１１０ 減算器
１２０ 速度制御部
１３０ フィルタ
１４０ 電流制御部
１５０ モータ
２００ 周波数生成部
３００ 周波数特性測定部
４００、４００－１～４００－ｎ 制御支援部
４０１ サーボ状態情報取得部
４０２ 調整前状態保存部
４０３ 周波数特性測定部
４０４ 状態推定部
５００ 機械学習部
５０１ 状態情報取得部
５０２ 学習部
５０３ 行動情報出力部
５０４ 価値関数記憶部
５０５ 最適化行動情報出力部
６００ ネットワーク
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】