特許 7538258 機械学習装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-08-13

(45)【発行日】2024-08-21

(54)【発明の名称】機械学習装置

(51)【国際特許分類】

   G06N 20/00 20190101AFI20240814BHJP

   G05B 19/4155 20060101ALI20240814BHJP

   B23Q 15/00 20060101ALI20240814BHJP

【ＦＩ】

G06N20/00 130

G05B19/4155 V

B23Q15/00 301C

【請求項の数】 15

(21)【出願番号】P 2022575565

(86)(22)【出願日】2022-01-07

(86)【国際出願番号】 JP2022000336

(87)【国際公開番号】W WO2022153936

(87)【国際公開日】2022-07-21

【審査請求日】2023-08-09

(31)【優先権主張番号】P 2021004401

(32)【優先日】2021-01-14

(33)【優先権主張国・地域又は機関】JP

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】100106002

【弁理士】

【氏名又は名称】正林 真之

(74)【代理人】

【識別番号】100165157

【弁理士】

【氏名又は名称】芝 哲央

(74)【代理人】

【識別番号】100160794

【弁理士】

【氏名又は名称】星野 寛明

(72)【発明者】

【氏名】堀川 祐太郎

(72)【発明者】

【氏名】安田 将司

【審査官】千葉 久博

(56)【参考文献】

【文献】特開２０２０－１５７４２５（ＪＰ，Ａ）

【文献】特開２０１８－１８１２１７（ＪＰ，Ａ）

【文献】特許第６７７５７２０（ＪＰ，Ｂ１）

【文献】特許第６７３９６９０（ＪＰ，Ｂ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｎ ２０／００

Ｇ０５Ｂ １９／４１５５

Ｂ２３Ｑ １５／００

(57)【特許請求の範囲】

【請求項1】

工具とワークと相対的に揺動させながら揺動加工する工作機械の揺動条件を学習する機械学習装置であって、
前記揺動加工のための設定条件を取得する設定条件取得部と、
前記工作機械による加工済みワークの評価データを、ラベルとして取得するラベル取得部と、
前記設定条件と前記ラベルとの組みを教師データとして教師あり学習を行う学習部と、を備え、
前記学習部は、前記加工済みワークの評価データを最適化する揺動条件を学習する学習モデルを備える、
機械学習装置。

【請求項2】

前記学習モデルに基づいて、前記加工済みワークの評価データを最適化する最適揺動条件を出力する揺動条件出力部を更に備える、請求項１に記載の機械学習装置。

【請求項3】

前記揺動条件出力部は、前記ワークの切屑が細断可能となる切屑細断揺動条件を算出する切屑細断条件算出部を備え、
前記揺動条件出力部は、前記学習モデルに基づいて、前記切屑細断揺動条件を満たす前記最適揺動条件を出力する、請求項２に記載の機械学習装置。

【請求項4】

前記揺動条件出力部は、予め設定された上限値を超えない上限揺動条件を算出する揺動条件上限算出部を備え、
前記揺動条件出力部は、前記学習モデルに基づいて、前記上限揺動条件を満たす前記最適揺動条件を出力する、請求項２又は３に記載の機械学習装置。

【請求項5】

前記加工済みワークの前記評価データは、前記加工済みワークの面粗さ、真円度又は寸法精度のデータを含む、請求項１から４のいずれか一項に記載の機械学習装置。

【請求項6】

工具とワークと相対的に揺動させながら揺動加工する工作機械の揺動条件を学習する機械学習装置であって、
前記揺動加工のための設定条件を、状態情報として取得する設定条件取得部と、
前記工作機械による加工済みワークの評価データを、判定情報として取得する判定情報取得部と、
現在の状態に対して前記揺動条件をどのように変更すべきかを示す行動情報を出力する行動情報出力部と、
前記判定情報に基づいて、強化学習における報酬の値を算出する報酬算出部と、
前記状態情報、前記行動情報及び前記報酬に基づいて、前記工作機械の揺動条件の価値を定める価値関数を更新する価値関数更新部と、
前記価値関数に基づいて、前記加工済みワークの評価データを最適化する最適揺動条件を出力する揺動条件出力部と、
を備える機械学習装置。

【請求項7】

前記報酬算出部は、前記加工済みワークの前記評価データが所定の閾値未満のときに、前記報酬を正の値とし、前記評価データが前記所定の閾値を超えたときに、前記報酬を負の値とする、請求項６に記載の機械学習装置。

【請求項8】

前記揺動条件出力部は、前記ワークの切屑が細断可能となる切屑細断揺動条件を算出する切屑細断条件算出部を備え、
前記揺動条件出力部は、前記切屑細断揺動条件を満たす前記最適揺動条件を出力する、請求項７に記載の機械学習装置。

【請求項9】

前記揺動条件出力部は、予め設定された上限値を超えない上限揺動条件を算出する揺動条件上限算出部を備え、
前記揺動条件出力部は、前記上限揺動条件を満たす前記最適揺動条件を出力する、請求項７又は８に記載の機械学習装置。

【請求項10】

前記加工済みワークの前記評価データは、前記加工済みワークの面粗さ、真円度又は寸法精度のデータを含む、請求項７から９のいずれか一項に記載の機械学習装置。

【請求項11】

前記評価データが前記加工済みワークの面粗さデータである場合、前記報酬算出部は、理論面粗さの近似式に基づいて前記所定の閾値を決定する、請求項１０に記載の機械学習装置。

【請求項12】

前記面粗さデータは、算術平均粗さ、最大高さ、最大山高さ、最大谷深さ、平均高さ、最大断面高さ及び負荷長さ率の少なくとも１つを含む請求項１１に記載の機械学習装置。

【請求項13】

前記設定条件は、
前記工作機械における前記工具の送り速度、主軸回転速度、座標値、前記工具の刃先、前記工具の種類及び前記ワークの材料の少なくとも１つを含む加工条件と、
前記工作機械の揺動周波数及び揺動振幅の少なくとも１つを含む前記揺動条件と、
を有する、請求項１から１２のいずれか一項に記載の機械学習装置。

【請求項14】

前記機械学習装置は、複数の数値制御装置によって共有される、請求項１から１３のいずれか一項に記載の機械学習装置。

【請求項15】

前記機械学習装置は、クラウドサーバ上に設けられる、請求項１から１３のいずれか一項に記載の機械学習装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、機械学習装置に関する。

【背景技術】

【0002】

従来、ワークと切削工具を加工方向に送りながら切削を行い、同時にワークと切削工具とを相対的に往復振動させる揺動切削が知られている（例えば、特許文献１参照）。揺動切削加工では、切屑を細断するために、工具がワークに対して一定周期で空振り（エアカット）するように周波数及び振幅等の揺動条件を設定する必要がある。

【0003】

そして、オペレーターは、設定された揺動条件の波形を確認することによって、前回のパスと現在のパスとの公差が発生しているか、つまり、切屑切断が発生しているかを確認する。

【先行技術文献】

【特許文献】

【0004】

【文献】特開２０１９－２８５９７号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

例えば、揺動切削により加工される加工済みワークの面粗さ、真円度、寸法精度等のような、加工済みワークの仕上がりに関する評価データは、揺動切削を適用しないときと比べて悪化することが多い。これは、揺動切削の振動及び切削量の変化等が原因となっているが、評価データが悪化することのメカニズムは非常に複雑である。したがって、工具の空振りが生じ、かつ良好な加工済みワークの評価データを実現できる揺動条件を算出することが求められている。

【課題を解決するための手段】

【0006】

本開示の一態様に係る機械学習装置は、工具とワークと相対的に揺動させながら揺動加工する工作機械の揺動条件を学習する機械学習装置であって、前記揺動加工のための設定条件を取得する設定条件取得部と、前記工作機械による加工済みワークの評価データを、ラベルとして取得するラベル取得部と、前記設定条件と前記ラベルとの組みを教師データとして教師あり学習を行う学習部と、を備え、前記学習部は、前記加工済みワークの評価データを最適化する揺動条件を学習する学習モデルを備える。

【0007】

本開示の一態様に係る機械学習装置は、工具とワークと相対的に揺動させながら揺動加工する工作機械の揺動条件を学習する機械学習装置であって、前記揺動加工のための設定条件を、状態情報として取得する設定条件取得部と、前記工作機械による加工済みワークの評価データを、判定情報として取得する判定情報取得部と、現在の状態に対して前記揺動条件をどのように変更すべきかを示す行動情報を出力する行動情報出力部と、前記判定情報に基づいて、強化学習における報酬の値を算出する報酬算出部と、前記状態情報、前記行動情報及び前記報酬に基づいて、前記工作機械の揺動条件の価値を定める価値関数を更新する価値関数更新部と、前記価値関数に基づいて、前記加工済みワークの評価データを最適化する最適揺動条件を出力する揺動条件出力部と、を備える。

【発明の効果】

【0008】

本発明によれば、工具の空振りが生じ、かつ良好な加工済みワークの評価データを実現できる揺動条件を算出することができる。

【図面の簡単な説明】

【0009】

【図1】第１実施形態に係る制御システムの概要を示す図である。

【図2】第１実施形態に係る機械学習装置による学習モデルの構築処理の流れを示すフローチャートである。

【図3】第１実施形態に係る機械学習装置による揺動条件の出力処理の流れを示すフローチャートである。

【図4】第２実施形態に係る制御システムの概要を示す図である。

【図5】第２実施形態に係る機械学習装置による価値関数の更新処理の流れを示すフローチャートである。

【図6】第２実施形態に係る機械学習装置による揺動条件を出力する処理の流れを示すフローチャートである。

【図7】第３実施形態に係る制御システムの概要を示す図である。

【図8】第３実施形態に係る機械学習装置による学習モデルの構築処理の流れを示すフローチャートである。

【図9】第３実施形態に係る機械学習装置による揺動条件の出力処理の流れを示すフローチャートである。

【図10】第４実施形態に係る制御システムの概要を示す図である。

【図11】第４実施形態に係る機械学習装置による価値関数の更新処理の流れを示すフローチャートである。

【図12】第４実施形態に係る機械学習装置による揺動条件を出力する処理の流れを示すフローチャートである。

【発明を実施するための形態】

【0010】

［第１実施形態］
以下、本発明の実施形態の一例について説明する。図１は、第１実施形態に係る制御システム１の概要を示す図である。制御システム１は、機械学習を用いて揺動条件を算出することによって、工作機械１００において工具の空振りが生じ、かつ良好な加工済みワークの評価データを実現できる揺動条件を算出することを目的とする。特に、第１実施形態に係る制御システム１は、機械学習を用いて揺動条件を算出することによって、工作機械１００において工具の空振りが生じ、かつ良好な面粗さデータを実現できる揺動条件を算出することを目的とする。

【0011】

制御システム１は、工作機械１００と、数値制御装置２００と、加工面解析装置３００と、機械学習装置４００と、を備える。ここで、工作機械１００と数値制御装置２００とは、１対１の組とされて、通信可能に接続されている。なお、工作機械１００と数値制御装置２００とは、接続インタフェースを介して直接接続されてもよく、又は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークを介して接続されてもよい。

【0012】

また、数値制御装置２００、加工面解析装置３００及び機械学習装置４００は、それぞれ接続インタフェースを介して直接に接続、又は、それぞれネットワークを介して接続されており、相互に通信を行うことが可能である。なお、ネットワークは、例えば、工場内に構築されたＬＡＮや、インターネット、公衆電話網、或いは、これらの組み合わせである。ネットワークにおける具体的な通信方式や、有線接続及び無線接続のいずれであるか等については、特に限定されない。

【0013】

工作機械１００は、数値制御装置２００の制御に従い、揺動切削を用いてワークを加工する。工作機械１００は、工具、主軸、送り軸等の揺動切削加工を行うための一般的な構成を有する。

【0014】

数値制御装置２００は、工作機械１００を制御するための装置である。数値制御装置２００は、加工条件設定部２１０と、揺動条件設定部２２０と、を備える。

【0015】

加工条件設定部２１０は、工作機械１００において揺動加工を行うための加工条件及び揺動条件を含む設定条件を設定する。加工条件設定部２１０は、設定した設定条件を機械学習装置４００へ出力する。ここで、設定条件は、工作機械１００における工具の送り速度、主軸回転速度、座標値、工具の刃先、工具の種類及びワークの材料の少なくとも１つを含む加工条件と、工作機械１００の揺動周波数及び揺動振幅の少なくとも１つを含む揺動条件と、を有する。

【0016】

揺動条件設定部２２０は、機械学習装置４００から出力された揺動条件を数値制御装置２００において設定し、揺動条件を工作機械１００へ出力する。

【0017】

加工面解析装置３００は、工作機械１００において加工された加工済みワークの面粗さデータを測定及び算出し、算出した面粗さデータを機械学習装置４００へ出力する。面粗さデータは、例えば、算術平均粗さ、最大高さ、最大山高さ、最大谷深さ、平均高さ、最大断面高さ及び負荷長さ率の少なくとも１つを含む。

【0018】

なお、揺動切削加工では、周期的に工具が振動するため、ワーク（例えば、円筒形状）の様々な箇所で表面粗さが変わる。そこで、面粗さデータの測定時には、ワークの円筒側面で複数回、線粗さを測定する必要がある。また、面粗さデータの算出は、円筒側面で複数箇所の線粗さを測定し、平均の面粗さを算出する方法（算術平均粗さＲａ）、及び円筒側面で複数箇所の線粗さを測定し、最大の値となる線粗さを算出する方法（最大高さＲｚ）等のような方法を用いることができる。

【0019】

機械学習装置４００は、数値制御装置２００から受け付けた設定条件及び加工面解析装置３００から受け付けた面粗さデータを用いて機械学習を行う。そして、機械学習装置４００は、機械学習を行うことにより、揺動条件を出力するための学習モデルを構築する。機械学習装置４００は、設定条件取得部４１０と、ラベル取得部４２０と、学習部４３０と、学習モデル記憶部４４０と、揺動条件出力部４５０と、を備える。

【0020】

設定条件取得部４１０は、揺動加工のための加工条件及び揺動条件を含む設定条件を数値制御装置２００から取得する。

【0021】

ラベル取得部４２０は、工作機械１００による加工済みワークの面粗さデータを、加工面解析装置３００から、ラベルとして取得する。ここで、ラベルとは、機械学習において入力に対応すべき正しい出力である。

【0022】

このようにして、学習対象とした揺動加工のための設定条件と、面粗さデータのラベルとが組となり、学習部４３０に入力される。この設定条件とラベルの組は、機械学習における教師データに相当する。ここで、機械学習を行うための教師データは、多数用意されることが望ましい。

【0023】

学習部４３０は、入力された教師データに基づいて機械学習を行うことにより、学習モデルを構築する。すなわち、学習部４３０は、加工済みワークの面粗さを最適化する揺動条件を学習する。学習部４３０が構築した学習モデルは、学習モデル記憶部４４０に対して出力される。

【0024】

学習モデル記憶部４４０は、学習部４３０によって学習された学習モデルを記憶する。学習モデル記憶部４４０が記憶した学習モデルは、揺動条件出力部４５０により利用される。なお、学習モデルを構築した後に、新たに教師データを取得した場合には、学習部４３０は、学習モデル記憶部４４０が記憶した学習モデルに対して更に教師あり学習を行うことにより、一度構築した学習モデルを更新するようにしてもよい。

【0025】

また、機械学習装置４００は、学習モデル記憶部４４０が記憶した学習モデルを、他の機械学習装置との間で共有するようにしてもよい。学習モデルを複数の機械学習装置で共有するようにすれば、各機械学習装置にて分散して、更に教師あり学習を行うことが可能になるので、教師あり学習の効率及び精度を向上させることができる。

【0026】

揺動条件出力部４５０は、学習モデル記憶部４４０が記憶した学習モデルに基づいて、加工済みワークの面粗さを最適化する最適揺動条件を出力する。
また、揺動条件出力部４５０は、切屑細断条件算出部４５１と、揺動条件上限算出部４５２と、を有する。

【0027】

切屑細断条件算出部４５１は、工作機械１００の揺動加工によってワークの切屑が細断可能となる切屑細断揺動条件を算出する。そして、揺動条件出力部４５０は、学習モデルに基づいて、切屑細断揺動条件を満たす最適揺動条件を出力する。ここで、切屑細断揺動条件の算出は、予め切屑細断可能な揺動条件の組み合わせをテーブルデータとして保持してもよく、又は揺動条件に基づいて計算される加工経路において、前回のパスと今回のパスとの間で重なりが発生するような各揺動条件の関係式を算出してもよい。

【0028】

揺動条件上限算出部４５２は、予め設定された上限値を超えない上限揺動条件を算出する。そして、揺動条件出力部４５０は、学習モデルに基づいて、上限揺動条件を満たす最適揺動条件を出力する。ここで、予め設定された上限値は、例えば、揺動加工における周波数又は振幅の上限値、若しくは揺動加工における速度又は加速度の上限値を示す。上限揺動条件を満たすかを判別することは、例えば、各種上限値をパラメータに保持する又は加工プログラムで指定することや、速度及び加速度を揺動条件（周波数及び振幅）から算出することによって実現できる。

【0029】

次に、図２のフローチャートを参照して機械学習装置４００による学習モデルの構築処理について説明をする。
図２は、第１実施形態に係る機械学習装置４００による学習モデルの構築処理の流れを示すフローチャートである。

【0030】

ステップＳ１において、設定条件取得部４１０は、揺動加工のための加工条件及び揺動条件を含む設定条件を数値制御装置２００から取得する。

【0031】

ステップＳ２において、ラベル取得部４２０は、工作機械１００による加工済みワークの面粗さデータを、加工面解析装置３００から、ラベルとして取得する。

【0032】

ステップＳ３において、学習部４３０は、設定条件とラベルとを組にした教師データが入力されると、入力された教師データに基づいて機械学習を実行する。学習部４３０は、入力された教師データを用いて機械学習を実行する。学習部４３０は、例えば、回帰分析、ニューラルネットワーク、最小二乗法、ステップワイズ法等により、教師あり学習を行う。

【0033】

教師あり学習は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。オンライン学習とは、音声データから特徴量を抽出し、ラベルが入力されて教師データが作成される都度、即座に教師あり学習を行うという学習方法である。また、バッチ学習とは、音声データから特徴量を抽出し、ラベルが入力されて、教師データが作成されることが繰り返される間に、繰り返しに応じた複数の教師データを収集し、収集した全ての教師データを用いて、教師あり学習を行うという学習方法である。

【0034】

更に、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度教師データが溜まるたびに教師あり学習を行うという学習方法である。

【0035】

ステップＳ４において、学習部４３０は、教師あり学習を終了するか否かを判定する。ここで、教師あり学習を終了させる条件は、任意に定めることができる。例えば、学習部４３０は、ニューラルネットワークの出力とラベルとの誤差の値が所定値以下となった場合に、教師あり学習を終了させるようにしてもよい。また、学習部４３０は、予め定めておいた回数だけ教師あり学習を繰り返した場合に、教師あり学習を終了させるようにしてもよい。教師あり学習を終了する場合（ＹＥＳ）、処理は、ステップＳ５へ移る。一方、教師あり学習を終了しない場合（ＮＯ）、処理は、ステップＳ３へ移る。

【0036】

ステップＳ５において、学習部４３０は、その時点までの教師あり学習により構築した学習モデルを、学習モデル記憶部４４０に出力して記憶させる。また、新たな教師データを取得した場合に、機械学習装置４００は、学習モデルに対して更なる機械学習を行うことができる。その後、機械学習装置４００は、本処理を終了する。

【0037】

次に、図３のフローチャートを参照して機械学習装置４００による揺動条件の出力処理について説明をする。
図３は、第１実施形態に係る機械学習装置４００による揺動条件の出力処理の流れを示すフローチャートである。

【0038】

ステップＳ１１において、設定条件取得部４１０は、揺動加工のための加工条件及び揺動条件を含む設定条件を数値制御装置２００から取得する。

【0039】

ステップＳ１２において、切屑細断条件算出部４５１は、工作機械１００の揺動加工によってワークの切屑が細断可能となる切屑細断揺動条件を算出する。
ステップＳ１３において、揺動条件上限算出部４５２は、予め設定された上限値を超えない上限揺動条件を算出する。

【0040】

ステップＳ１４において、揺動条件出力部４５０は、ステップＳ１１において取得された設定条件及び学習モデル記憶部４４０が記憶した学習モデルに基づいて、加工済みワークの面粗さを最適化する最適揺動条件を出力する。

【0041】

ステップＳ１５において、揺動条件出力部４５０は、ステップＳ１３において出力された最適揺動条件が、ステップＳ１２において算出された切屑細断揺動条件を満たすか否かを判定する。最適揺動条件が切屑細断揺動条件を満たす場合（ＹＥＳ）、処理は、ステップＳ１６へ移る。一方、最適揺動条件が切屑細断揺動条件を満たさない場合（ＮＯ）、処理は、再度ステップＳ１４へ移る。

【0042】

ステップＳ１６において、揺動条件出力部４５０は、ステップＳ１３において出力された最適揺動条件が、ステップＳ１３において算出された上限揺動条件を満たすか否かを判定する。最適揺動条件が上限揺動条件を満たす場合（ＹＥＳ）、処理は、ステップＳ１６へ移る。一方、最適揺動条件が上限揺動条件を満たさない場合（ＮＯ）、処理は、再度ステップＳ１４へ移る。

【0043】

ステップＳ１７において、揺動条件出力部４５０は、最適揺動条件を数値制御装置２００へ出力し、その後、処理を終了する。

【0044】

以上説明したように、第１実施形態に係る機械学習装置４００は、揺動加工のための設定条件を取得する設定条件取得部４１０と、工作機械１００による加工済みワークの面粗さデータを、ラベルとして取得するラベル取得部４２０と、設定条件とラベルとの組みを教師データとして教師あり学習を行う学習部４３０と、を備え、学習部４３０は、加工済みワークの面粗さを最適化する揺動条件を学習する学習モデルを備える。

【0045】

これにより、機械学習装置４００は、面粗さを考慮した揺動条件の設定が難しかった従来技術と比較して、面粗さを考慮して最適化された最適揺動条件を学習することができる。

【0046】

また、機械学習装置４００は、学習モデルに基づいて、加工済みワークの面粗さを最適化する最適揺動条件を出力する揺動条件出力部４５０を更に備える。これにより、機械学習装置４００は、面粗さを考慮した揺動条件の設定が難しかった従来技術と比較して、面粗さを考慮して最適化された最適揺動条件を出力することができる。また、機械学習装置４００は、揺動条件の設定を自動化できるため、作業者の負担を低減することができる。

【0047】

また、揺動条件出力部４５０は、ワークの切屑が細断可能となる切屑細断揺動条件を算出する切屑細断条件算出部４５１を備え、揺動条件出力部４５０は、学習モデルに基づいて、切屑細断揺動条件を満たす最適揺動条件を出力する。これにより、機械学習装置４００は、切屑細断がされ、かつ面粗さを考慮して最適化された最適揺動条件を設定することができる。

【0048】

また、揺動条件出力部４５０は、予め設定された上限値を超えない上限揺動条件を算出する揺動条件上限算出部４５２を備え、揺動条件出力部４５０は、学習モデルに基づいて、上限揺動条件を満たす最適揺動条件を出力する。これにより、機械学習装置４００は、切屑細断がされ、かつ揺動条件の上限を超えず、かつ面粗さを考慮して最適化された最適揺動条件を設定することができる。

【0049】

［第２実施形態］
次に、第２実施形態に係る制御システム１０について説明する。なお、第２実施形態の説明にあたっては、第１実施形態と同一の構成要件については同一符号を付し、その説明を省略若しくは簡略化する。第２実施形態に係る制御システム１０は、教師あり学習に代えて、強化学習を用いる点が第１実施形態とは主として異なり、他の構成は、第１実施形態と同様の構成を備える。

【0050】

図４は、第２実施形態に係る制御システム１０の概要を示す図である。制御システム１０は、機械学習を用いて揺動条件を算出することによって、工作機械１００において工具の空振りが生じ、かつ良好な面粗さデータを実現できる揺動条件を算出することを目的とする。

【0051】

制御システム１は、工作機械１００と、数値制御装置２００と、加工面解析装置３００と、機械学習装置５００と、を備える。ここで、工作機械１００と数値制御装置２００とは、１対１の組とされて、通信可能に接続されている。なお、工作機械１００と数値制御装置２００とは、接続インタフェースを介して直接接続されてもよく、又は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークを介して接続されてもよい。

【0052】

また、数値制御装置２００、加工面解析装置３００及び機械学習装置５００は、それぞれ接続インタフェースを介して直接に接続、又は、それぞれネットワークを介して接続されており、相互に通信を行うことが可能である。なお、ネットワークは、例えば、工場内に構築されたＬＡＮや、インターネット、公衆電話網、或いは、これらの組み合わせである。ネットワークにおける具体的な通信方式や、有線接続及び無線接続のいずれであるか等については、特に限定されない。

【0053】

工作機械１００、数値制御装置２００及び加工面解析装置３００は、上述したように第１実施形態と同様の構成を有する。

【0054】

機械学習装置５００は、強化学習を行う装置である。機械学習装置５００に含まれる各機能ブロックの説明に先立って、まずは、強化学習の基本的な仕組みについて説明する。エージェント（本実施形態における機械学習装置５００に相当）は、環境の状態を観測し、ある行動を選択し、当該行動に基づいて環境が変化する。環境の変化に伴って、何らかの報酬が与えられ、エージェントはより良い行動の選択（意思決定）を学習する。
教師あり学習が、完全な正解を示すのに対して、強化学習における報酬は、環境の一部の変化に基づく断片的な値であることが多い。
このため、エージェントは、将来にわたっての報酬の合計を最大にするように行動を選択するように学習する。

【0055】

このように、強化学習では、行動を学習することにより、環境に行動が与える相互作用を踏まえて適切な行動を学習、すなわち将来的に得られる報酬を最大にするための学習する方法を学ぶ。これは、本実施形態において、例えば、受渡時間Ｔを短縮し、更に、開放時間Ｔ２を短縮するための行動情報を選択するという、未来に影響をおよぼすような行動を獲得できることを表している。

【0056】

ここで、強化学習としては、任意の学習方法を用いることができるが、以下の説明では、或る環境の状態ｓの下で、行動ａを選択する価値Ｑ（ｓ，ａ）を学習する方法であるＱ学習（Ｑ－ｌｅａｒｎｉｎｇ）を用いる場合を例にとって説明をする。
Ｑ学習では、或る状態ｓのとき、取り得る行動ａのなかから、価値Ｑ（ｓ，ａ）の最も高い行動ａを最適な行動として選択することを目的とする。

【0057】

しかしながら、Ｑ学習を最初に開始する時点では、状態ｓと行動ａとの組み合わせについて、価値Ｑ（ｓ，ａ）の正しい値は全く分かっていない。そこで、エージェントは、或る状態ｓの下で様々な行動ａを選択し、その時の行動ａに対して、与えられる報酬に基づいて、より良い行動の選択をすることにより、正しい価値Ｑ（ｓ，ａ）を学習していく。

【0058】

また、将来にわたって得られる報酬の合計を最大化したいので、最終的に価値Ｑ（ｓ，ａ）＝Ｅ［Σ（γ^ｔ）ｒ_ｔ］となるようにすることを目指す。ここでＥ［］は期待値を表し、ｔは時刻、γは後述する割引率と呼ばれるパラメータ、ｒ_ｔは時刻ｔにおける報酬、Σは時刻ｔによる合計である。この式における期待値は、最適な行動にしたがって状態変化した場合の期待値である。しかしＱ学習の過程において、最適な行動が何であるのかは不明であるので、様々な行動を行うことにより、探索しながら強化学習をする。このような価値Ｑ（ｓ，ａ）の更新式は、例えば、次の式（１）により表すことができる。

【0059】

【数1】

【0060】

上記の式（１）において、ｓ_ｔは、時刻ｔにおける環境の状態を表し、ａ_ｔは、時刻ｔにおける行動を表す。行動ａ_ｔにより、状態はｓ_ｔ＋１に変化する。ｒ_ｔ＋１は、その状態の変化により得られる報酬を表している。また、ｍａｘの付いた項は、状態ｓ_ｔ＋１の下で、その時に分かっている最もＱ値の高い行動ａを選択した場合のＱ値にγを乗じたものになる。ここで、γは、０＜γ≦１のパラメータで、割引率と呼ばれる。また、αは、学習係数で、０＜α≦１の範囲とする。

【0061】

上述した式（１）は、試行ａ_ｔの結果、返ってきた報酬ｒ_ｔ＋１を元に、状態ｓ_ｔにおける行動ａ_ｔの価値Ｑ（ｓ_ｔ，ａ_ｔ）を更新する方法を表している。 この更新式は、状態ｓ_ｔにおける行動ａ_ｔの価値Ｑ（ｓ_ｔ，ａ_ｔ）よりも、行動ａ_ｔによる次の状態ｓ_ｔ＋１における最良の行動の価値ｍａｘ_ａ Ｑ（ｓ_ｔ＋１，ａ）の方が大きければ、価値Ｑ（ｓ_ｔ，ａ_ｔ）を大きくし、逆に小さければ、価値Ｑ（ｓ_ｔ，ａ_ｔ）を小さくすることを示している。つまり、或る状態における或る行動の価値を、それによる次の状態における最良の行動の価値に近づける。ただし、その差は、割引率γと報酬ｒ_ｔ＋１のあり方により変わってくるが、基本的には、ある状態における最良の行動の価値が、それに至る一つ前の状態における行動の価値に伝播していく仕組みになっている。

【0062】

ここで、Ｑ学習では、すべての状態行動ペア（ｓ，ａ）についての価値Ｑ（ｓ，ａ）のテーブルを作成して、学習を行う方法がある。しかし、すべての状態行動ペアの価値Ｑ（ｓ，ａ）の値を求めるには状態数が多すぎて、Ｑ学習が収束するのに多くの時間を要してしまう場合がある。

【0063】

そこで、公知のＤＱＮ（Ｄｅｅｐ Ｑ－Ｎｅｔｗｏｒｋ）と呼ばれる技術を利用するようにしてもよい。具体的には、価値関数Ｑを適当なニューラルネットワークを用いて構成し、ニューラルネットワークのパラメータを調整することにより、価値関数Ｑを適当なニューラルネットワークで近似することにより価値Ｑ（ｓ，ａ）の値を算出するようにしてもよい。ＤＱＮを利用することにより、Ｑ学習が収束するのに要する時間を短くすることが可能となる。なお、ＤＱＮについては、例えば、以下の非特許文献に詳細な記載がある。

【0064】

＜非特許文献＞
「Ｈｕｍａｎ－ｌｅｖｅｌ ｃｏｎｔｒｏｌ ｔｈｒｏｕｇｈ ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ」、Ｖｏｌｏｄｙｍｙｒ Ｍｎｉｈ１著［ｏｎｌｉｎｅ］、［令和２年１２月１５日検索］、インターネット〈ＵＲＬ：ｈｔｔｐ：／／ｆｉｌｅｓ．ｄａｖｉｄｑｉｕ．ｃｏｍ／ｒｅｓｅａｒｃｈ／ｎａｔｕｒｅ１４２３６．ｐｄｆ〉

【0065】

機械学習装置５００は、上記において説明をしたＱ学習を行う。具体的には、機械学習装置５００は、数値制御装置２００において設定された設定条件（加工条件、揺動条件等）を状態ｓとし、当該状態ｓに係る数値制御装置２００における揺動条件の変更を行動ａとして、選択する価値関数Ｑを学習する。

【0066】

機械学習装置５００は、数値制御装置２００において設定された設定条件（加工条件、揺動条件等）等の状態ｓを観測して、行動ａを決定する。機械学習装置５００は、行動ａをするたびに報酬が返ってくる。機械学習装置５００は、将来にわたっての報酬の合計が最大になるように、最適な行動ａを試行錯誤的に探索する。そうすることで、機械学習装置５００は、数値制御装置２００において設定された設定条件（加工条件、揺動条件等）等である状態ｓに対して、最適な行動ａを選択することが可能となる。

【0067】

すなわち、機械学習装置５００により学習された価値関数Ｑに基づいて、或る状態ｓに係る設定条件（加工条件、揺動条件等）に対して、適用される行動ａのうち、価値関数Ｑの値が最大となるような行動ａを選択することで、面粗さデータが最小（最適）になるような行動ａを選択することが可能となる。

【0068】

以上の強化学習を行うために、機械学習装置５００は、設定条件取得部５１０と、判定情報取得部５２０と、行動情報出力部５３０と、学習部５４０と、価値関数記憶部５５０と、揺動条件出力部５６０と、を備える。

【0069】

設定条件取得部５１０は、数値制御装置２００において設定された設定条件（加工条件、揺動条件等）を、状態情報（状態ｓ）として数値制御装置２００から取得する。この状態ｓは、Ｑ学習における、環境の状態ｓに相当する。

【0070】

具体的には、第２実施形態における状態ｓは、数値制御装置２００において設定された設定条件（加工条件、揺動条件等）を示す。設定条件は、工作機械１００の主軸回転速度、送り速度等を含む加工条件と、工作機械１００の揺動振幅、揺動周波数等を含む揺動条件と、を有する。

【0071】

判定情報取得部５２０は、Ｑ学習を行うための報酬を算出するための判定情報を取得する。具体的には、判定情報取得部５２０は、工作機械１００による加工済みワークの面粗さデータを、Ｑ学習を行うための報酬を算出するための判定情報として取得する。

【0072】

行動情報出力部５３０は、学習部５４０が生成した行動情報（行動ａ）を、数値制御装置２００に対して送信する。数値制御装置２００は、上述したように、この行動ａに基づいて、現在の状態ｓ、すなわち現在設定されている設定条件を変更することで、次の状態ｓ’（すなわち変更された揺動条件を工作機械１００において実行した場合の状態）に遷移する。

【0073】

学習部５４０は、或る環境の状態ｓの下で、ある行動ａを選択する場合の価値Ｑ（ｓ，ａ）を学習する。具体的には、学習部５４０は、報酬算出部５４１と、価値関数更新部５４２と、行動情報生成部５４３と、を備える。

【0074】

報酬算出部５４１は、或る状態ｓの下で、行動ａを選択した場合の報酬を、判定情報に基づいて算出する。ここで、報酬算出部５４１は、加工済みワークの面粗さデータが所定の閾値未満のときに、報酬を正の値とし、面粗さデータが所定の閾値を超えたときに、報酬を負の値とする。

【0075】

また、報酬算出部５４１は、理論面粗さの近似式に基づいて所定の閾値を決定する。具体的には、報酬算出部５４１は、理論面粗さの近似式に補正係数ａを掛けた値を所定の閾値として決定する。ここで、所定の閾値は、ａ・Ｆ^２／８Ｒと表され、Ｆは送り量［ｍｍ］、Ｒは工具半径を表す。

【0076】

価値関数更新部５４２は、状態ｓと、行動ａと、行動ａを状態ｓに適用した場合の状態ｓ’と、上記のようにして算出された報酬の値とに基づいてＱ学習を行うことにより、価値関数記憶部５５０が記憶する価値関数Ｑを更新する。

【0077】

価値関数Ｑの更新は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。オンライン学習とは、或る行動ａを現在の状態ｓに適用することにより、状態ｓが新たな状態ｓ’に遷移する都度、即座に価値関数Ｑの更新を行うという学習方法である。

【0078】

また、バッチ学習とは、或る行動ａを現在の状態ｓに適用することにより、状態ｓが新たな状態ｓ’に遷移することを繰り返すことにより、学習用のデータを収集し、収集したすべての学習用データを用いて、価値関数Ｑの更新を行うという学習方法である。更に、ミニバッチ学習とは、オンライン学習と、バッチ学習の中間的な、ある程度学習用データが溜まるたびに価値関数Ｑの更新を行うという学習方法である。

【0079】

行動情報生成部５４３は、Ｑ学習の過程において、行動ａを生成して、生成した行動ａを行動情報出力部５３０に対して出力する。具体的には、行動情報生成部５４３は、現在の状態ｓに対して、Ｑ学習の過程における行動ａを選択する。第２実施形態における行動ａは、現在の状態ｓに対して揺動条件をどのように変更すべきかを含む。

【0080】

更に、行動情報生成部５４３は、現在の推定される行動ａの価値の中で、最も価値Ｑ（ｓ，ａ）の高い行動ａ’を選択するグリーディ法や、ある小さな確率εでランダムに行動ａ’選択し、それ以外では最も価値Ｑ（ｓ，ａ）の高い行動ａ’を選択するεグリーディ法といった公知の方法により、行動ａ’を選択する方策を取るようにしてもよい。

【0081】

価値関数記憶部５５０は、価値関数Ｑを記憶する記憶装置である。価値関数記憶部５５０に記憶された価値関数Ｑは、価値関数更新部５４２により更新される。

【0082】

また、機械学習装置５００は、価値関数更新部５４２がＱ学習を行うことにより更新した価値関数Ｑに基づいて、価値Ｑ（ｓ，ａ）が最大となる揺動加工を工作機械１００に行わせるための揺動条件としての行動ａ（以下、「最適化行動情報」と呼ぶ。）を生成する。

【0083】

揺動条件出力部５６０は、価値関数記憶部５５０が記憶している価値関数Ｑを取得する。この価値関数Ｑは、上述したように、価値関数更新部５４２がＱ学習を行うことにより更新したものである。そして、揺動条件出力部５６０は、価値関数Ｑに基づいて、最適化行動情報として、加工済みワークの面粗さを最適化する最適揺動条件を生成し、生成した最適揺動条件（最適化行動情報）を数値制御装置２００に対して出力する。

【0084】

また、揺動条件出力部５６０は、切屑細断条件算出部５６１と、揺動条件上限算出部５６２と、を有する。

【0085】

切屑細断条件算出部５６１は、工作機械１００の揺動加工によってワークの切屑が細断可能となる切屑細断揺動条件を算出する。そして、揺動条件出力部５６０は、切屑細断揺動条件を満たす最適揺動条件を出力する。

【0086】

揺動条件上限算出部５６２は、予め設定された上限値を超えない上限揺動条件を算出する。そして、揺動条件出力部５６０は、上限揺動条件を満たす最適揺動条件を出力する。

【0087】

数値制御装置２００が、この最適揺動条件（最適化行動情報）に基づいて現在設定されている揺動条件を修正して、動作指令を生成することにより、工作機械１００は、加工済みワークの面粗さが最小（最適）になるように動作することができる。

【0088】

次に、図５のフローチャートを参照して機械学習装置５００による価値関数の更新処理について説明をする。図５は、第２実施形態に係る機械学習装置５００による価値関数の更新処理の流れを示すフローチャートである。

【0089】

まず、ステップＳ２１において、設定条件取得部５１０は、数値制御装置２００から状態情報としての設定条件を取得する。取得した設定条件は、価値関数更新部５４２及び行動情報生成部５４３に対して出力される。上述したように、この設定条件（状態情報）は、Ｑ学習における環境の状態ｓに相当する情報である。

【0090】

ステップＳ２２において、行動情報生成部５４３は、新たな行動情報としての揺動条件を生成し、生成した新たな行動情報（行動ａ）を、行動情報出力部５３０を介して数値制御装置２００に対して出力する。行動情報を受信した数値制御装置２００は、受信した行動情報に基づいて現在の状態ｓに係る揺動条件を変更した状態ｓ’により、工作機械１００を駆動させて、ワークの揺動加工を行う。上述したように、この行動情報は、Ｑ学習における行動ａに相当するものである。

【0091】

ステップＳ２３において、判定情報取得部５２０は、工作機械１００による加工済みワークの面粗さデータを、Ｑ学習を行うための報酬を算出するための判定情報として取得する。

【0092】

ステップＳ２４において、報酬算出部５３１は、入力された判定情報（加工済みワークの面粗さ）に基づいて報酬を算出する。報酬算出部５４１は、加工済みワークの面粗さデータが所定の閾値未満であるか否かを判定する。面粗さデータが所定の閾値未満である場合（ＹＥＳ）、処理は、ステップＳ２５へ移る。一方、面粗さデータが所定の閾値を超える場合（ＮＯ）、処理は、ステップＳ２６へ移る。

【0093】

ステップＳ２５において、報酬算出部５４１は、報酬の値を正の値として算出する。
ステップＳ２６において、報酬算出部５４１は、報酬の値を負の値として算出する。

【0094】

ステップＳ２７において、価値関数更新部５４２は、上述にて算出された報酬の値に基づいて、価値関数記憶部５５０が記憶している価値関数Ｑを更新する。そして、学習部６４０は、再度ステップＳ２１に戻り、上述した処理を繰り返すことにより、価値関数Ｑは、適切な値に収束していく。なお、学習部６４０は、上述した処理を、所定回数繰り返したことや、所定時間繰り返したことを条件として終了するようにしてもよい。以上、機械学習装置５００の動作について説明したが、例えば、報酬の値を算出する処理は、一例であって、これに限定されない。

【0095】

図６は、第２実施形態に係る機械学習装置５００による揺動条件を出力する処理の流れを示すフローチャートである。
ステップＳ３１において、揺動条件出力部５６０は、価値関数記憶部５５０が記憶している価値関数Ｑを取得する。この価値関数Ｑは、上述したように価値関数更新部５４２がＱ学習を行うことにより更新したものである。

【0096】

ステップＳ３２において、揺動条件出力部５６０は、価値関数Ｑに基づいて、例えば現在設定されている状態ｓにおいて、取り得る行動ａのなかから価値Ｑ（ｓ，ａ）の最も高い行動ａを最適な行動として選択することで最適揺動条件（最適化行動情報）を生成する。

【0097】

ステップＳ３３において、切屑細断条件算出部５６１は、工作機械１００の揺動加工によってワークの切屑が細断可能となる切屑細断揺動条件を算出する。

【0098】

ステップＳ３４において、揺動条件上限算出部５６２は、予め設定された上限値を超えない上限揺動条件を算出する。

【0099】

ステップＳ３５において、揺動条件出力部５６０は、ステップＳ３２において生成された最適揺動条件が、ステップＳ３３において算出された切屑細断揺動条件を満たすか否かを判定する。最適揺動条件が切屑細断揺動条件を満たす場合（ＹＥＳ）、処理は、ステップＳ３５へ移る。一方、最適揺動条件が切屑細断揺動条件を満たさない場合（ＮＯ）、処理は、再度ステップＳ３１へ移る。

【0100】

ステップＳ３６において、揺動条件出力部５６０は、ステップＳ３２において出力された最適揺動条件が、ステップＳ３４において算出された上限揺動条件を満たすか否かを判定する。最適揺動条件が上限揺動条件を満たす場合（ＹＥＳ）、処理は、ステップＳ３７へ移る。一方、最適揺動条件が上限揺動条件を満たさない場合（ＮＯ）、処理は、再度ステップＳ３１へ移る。

【0101】

ステップＳ３２において、揺動条件出力部５６０は、生成した最適揺動条件（最適化行動情報）を数値制御装置２００に対して出力する。

【0102】

以上により、数値制御装置２００は、最適揺動条件に基づいて現在設定されている状態ｓ（すなわち、現在設定されている揺動条件）を修正して、動作指令を生成する。そして、数値制御装置２００は、生成した動作指令を工作機械１００に送ることにより、工作機械１００は、加工済みワークの面粗さデータが最適（最小）になるように動作することができる。

【0103】

以上説明したように、第２実施形態に係る機械学習装置５００は、揺動加工のための設定条件を、状態情報として取得する設定条件取得部５１０と、工作機械１００による加工済みワークの面粗さデータを、判定情報として取得する判定情報取得部５２０と、現在の状態に対して前記揺動条件をどのように変更すべきかを示す行動情報を出力する行動情報出力部５３０と、判定情報に基づいて、強化学習における報酬の値を算出する報酬算出部５４１と、状態情報、行動情報及び報酬に基づいて、工作機械１００の揺動条件の価値を定める価値関数を更新する価値関数更新部５４２と、価値関数に基づいて、加工済みワークの面粗さを最適化する最適揺動条件を出力する揺動条件出力部５６０と、を備える。

【0104】

これにより、機械学習装置５００は、面粗さを考慮した揺動条件の設定が難しかった従来技術と比較して、面粗さを考慮して最適化された最適揺動条件を出力することができる。また、機械学習装置５００は、揺動条件の設定を自動化できるため、作業者の負担を低減することができる。

【0105】

また、報酬算出部５４１は、加工済みワークの面粗さデータが所定の閾値未満のときに、報酬を正の値とし、面粗さデータが所定の閾値を超えたときに、報酬を負の値とする。これにより、機械学習装置５００は、面粗さデータを考慮した報酬の値を決定することができる。

【0106】

また、報酬算出部５４１は、理論面粗さの近似式に基づいて所定の閾値を決定する。これにより、機械学習装置５００は、理論面粗さを考慮した報酬の値を決定することができる。

【0107】

また、揺動条件出力部５６０は、ワークの切屑が細断可能となる切屑細断揺動条件を算出する切屑細断条件算出部５６１を備え、揺動条件出力部５６０は、切屑細断揺動条件を満たす最適揺動条件を出力する。これにより、機械学習装置５００は、切屑細断がされ、かつ面粗さを考慮して最適化された最適揺動条件を設定することができる。

【0108】

揺動条件出力部５６０は、予め設定された上限値を超えない上限揺動条件を算出する揺動条件上限算出部５６２を備え、揺動条件出力部５６０は、上限揺動条件を満たす最適揺動条件を出力する。これにより、機械学習装置５００は、切屑細断がされ、かつ揺動条件の上限を超えず、かつ面粗さを考慮して最適化された最適揺動条件を設定することができる。

【0109】

［第３実施形態］
次に、第３実施形態に係る制御システム２０について説明する。なお、第３実施形態の説明にあたっては、第１実施形態と同一の構成要件については同一符号を付し、その説明を省略若しくは簡略化する。第３実施形態に係る制御システム１０は、加工済みワークの面粗さデータに代えて、加工済みワークの真円度を用いる点が第１実施形態とは主として異なり、他の構成は、第１実施形態と同様の構成を備える。

【0110】

図７は、第３実施形態に係る制御システム２０の概要を示す図である。制御システム２０は、機械学習を用いて揺動条件を算出することによって、工作機械１００において工具の空振りが生じ、かつ良好な真円度データを実現できる揺動条件を算出することを目的とする。

【0111】

制御システム２０は、工作機械１００と、数値制御装置２００と、加工面解析装置６００と、機械学習装置７００と、を備える。ここで、工作機械１００と数値制御装置２００とは、１対１の組とされて、通信可能に接続されている。なお、工作機械１００と数値制御装置２００とは、接続インタフェースを介して直接接続されてもよく、又は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークを介して接続されてもよい。

【0112】

また、数値制御装置２００、加工面解析装置６００及び機械学習装置７００は、それぞれ接続インタフェースを介して直接に接続、又は、それぞれネットワークを介して接続されており、相互に通信を行うことが可能である。なお、ネットワークは、例えば、工場内に構築されたＬＡＮや、インターネット、公衆電話網、或いは、これらの組み合わせである。ネットワークにおける具体的な通信方式や、有線接続及び無線接続のいずれであるか等については、特に限定されない。

【0113】

工作機械１００及び数値制御装置２００は、上述したように第１実施形態と同様の構成を有する。
加工面解析装置６００は、工作機械１００において加工された加工済みワークの真円度データを測定及び算出し、算出した面粗さデータを機械学習装置７００へ出力する。

【0114】

機械学習装置７００は、数値制御装置２００から受け付けた設定条件及び加工面解析装置６００から受け付けた真円度データを用いて機械学習を行う。そして、機械学習装置７００は、機械学習を行うことにより、揺動条件を出力するための学習モデルを構築する。機械学習装置７００は、設定条件取得部７１０と、ラベル取得部７２０と、学習部７３０と、学習モデル記憶部７４０と、揺動条件出力部７５０と、を備える。

【0115】

設定条件取得部７１０は、揺動加工のための加工条件及び揺動条件を含む設定条件を数値制御装置２００から取得する。

【0116】

ラベル取得部７２０は、工作機械１００による加工済みワークの真円度データを、加工面解析装置６００から、ラベルとして取得する。ここで、ラベルとは、機械学習において入力に対応すべき正しい出力である。

【0117】

このようにして、学習対象とした揺動加工のための設定条件と、真円度データのラベルとが組となり、学習部４３０に入力される。この設定条件とラベルの組は、機械学習における教師データに相当する。ここで、機械学習を行うための教師データは、多数用意されることが望ましい。

【0118】

学習部７３０は、入力された教師データに基づいて機械学習を行うことにより、学習モデルを構築する。すなわち、学習部７３０は、加工済みワークの真円度を最適化する揺動条件を学習する。学習部７３０が構築した学習モデルは、学習モデル記憶部７４０に対して出力される。

【0119】

学習モデル記憶部７４０は、学習部７３０によって学習された学習モデルを記憶する。学習モデル記憶部７４０が記憶した学習モデルは、揺動条件出力部７５０により利用される。なお、学習モデルを構築した後に、新たに教師データを取得した場合には、学習部７３０は、学習モデル記憶部７４０が記憶した学習モデルに対して更に教師あり学習を行うことにより、一度構築した学習モデルを更新するようにしてもよい。

【0120】

また、機械学習装置７００は、学習モデル記憶部７４０が記憶した学習モデルを、他の機械学習装置との間で共有するようにしてもよい。学習モデルを複数の機械学習装置で共有するようにすれば、各機械学習装置にて分散して、更に教師あり学習を行うことが可能になるので、教師あり学習の効率及び精度を向上させることができる。

【0121】

揺動条件出力部７５０は、学習モデル記憶部７４０が記憶した学習モデルに基づいて、加工済みワークの真円度を最適化する最適揺動条件を出力する。
また、揺動条件出力部７５０は、切屑細断条件算出部７５１と、揺動条件上限算出部７５２と、を有する。

【0122】

切屑細断条件算出部７５１は、工作機械１００の揺動加工によってワークの切屑が細断可能となる切屑細断揺動条件を算出する。そして、揺動条件出力部７５０は、学習モデルに基づいて、切屑細断揺動条件を満たす最適揺動条件を出力する。

【0123】

揺動条件上限算出部７５２は、予め設定された上限値を超えない上限揺動条件を算出する。そして、揺動条件出力部７５０は、学習モデルに基づいて、上限揺動条件を満たす最適揺動条件を出力する。

【0124】

次に、図８のフローチャートを参照して機械学習装置７００による学習モデルの構築処理について説明をする。
図８は、第３実施形態に係る機械学習装置７００による学習モデルの構築処理の流れを示すフローチャートである。

【0125】

ステップＳ４１において、設定条件取得部７１０は、揺動加工のための加工条件及び揺動条件を含む設定条件を数値制御装置２００から取得する。

【0126】

ステップＳ４２において、ラベル取得部７２０は、工作機械１００による加工済みワークの真円度データを、加工面解析装置６００から、ラベルとして取得する。

【0127】

ステップＳ４３において、学習部７３０は、設定条件とラベルとを組にした教師データが入力されると、入力された教師データに基づいて機械学習を実行する。学習部７３０は、入力された教師データを用いて機械学習を実行する。学習部７３０は、例えば、回帰分析、ニューラルネットワーク、最小二乗法、ステップワイズ法等により、教師あり学習を行う。

【0128】

ステップＳ４において、学習部７３０は、教師あり学習を終了するか否かを判定する。ここで、教師あり学習を終了させる条件は、任意に定めることができる。例えば、学習部７３０は、ニューラルネットワークの出力とラベルとの誤差の値が所定値以下となった場合に、教師あり学習を終了させるようにしてもよい。また、学習部７３０は、予め定めておいた回数だけ教師あり学習を繰り返した場合に、教師あり学習を終了させるようにしてもよい。教師あり学習を終了する場合（ＹＥＳ）、処理は、ステップＳ４５へ移る。一方、教師あり学習を終了しない場合（ＮＯ）、処理は、ステップＳ４３へ移る。

【0129】

ステップＳ４５において、学習部７３０は、その時点までの教師あり学習により構築した学習モデルを、学習モデル記憶部７４０に出力して記憶させる。また、新たな教師データを取得した場合に、機械学習装置７００は、学習モデルに対して更なる機械学習を行うことができる。その後、機械学習装置７００は、本処理を終了する。

【0130】

次に、図９のフローチャートを参照して機械学習装置７００による揺動条件の出力処理について説明をする。
図９は、第３実施形態に係る機械学習装置７００による揺動条件の出力処理の流れを示すフローチャートである。

【0131】

ステップＳ５１において、設定条件取得部７１０は、揺動加工のための加工条件及び揺動条件を含む設定条件を数値制御装置２００から取得する。

【0132】

ステップＳ５２において、切屑細断条件算出部７５１は、工作機械１００の揺動加工によってワークの切屑が細断可能となる切屑細断揺動条件を算出する。
ステップＳ５３において、揺動条件上限算出部７５２は、予め設定された上限値を超えない上限揺動条件を算出する。

【0133】

ステップＳ５４において、揺動条件出力部７５０は、ステップＳ５１において取得された設定条件及び学習モデル記憶部７４０が記憶した学習モデルに基づいて、加工済みワークの真円度を最適化する最適揺動条件を出力する。

【0134】

ステップＳ５５において、揺動条件出力部７５０は、ステップＳ５３において出力された最適揺動条件が、ステップＳ５２において算出された切屑細断揺動条件を満たすか否かを判定する。最適揺動条件が切屑細断揺動条件を満たす場合（ＹＥＳ）、処理は、ステップＳ５６へ移る。一方、最適揺動条件が切屑細断揺動条件を満たさない場合（ＮＯ）、処理は、再度ステップＳ５４へ移る。

【0135】

ステップＳ５６において、揺動条件出力部７５０は、ステップＳ５３において出力された最適揺動条件が、ステップＳ５３において算出された上限揺動条件を満たすか否かを判定する。最適揺動条件が上限揺動条件を満たす場合（ＹＥＳ）、処理は、ステップＳ５６へ移る。一方、最適揺動条件が上限揺動条件を満たさない場合（ＮＯ）、処理は、再度ステップＳ５４へ移る。

【0136】

ステップＳ５７において、揺動条件出力部７５０は、最適揺動条件を数値制御装置２００へ出力し、その後、処理を終了する。

【0137】

以上説明したように、第３実施形態に係る機械学習装置７００は、揺動加工のための設定条件を取得する設定条件取得部７１０と、工作機械１００による加工済みワークの真円度データを、ラベルとして取得するラベル取得部７２０と、設定条件とラベルとの組みを教師データとして教師あり学習を行う学習部７３０と、を備え、学習部７３０は、加工済みワークの真円度を最適化する揺動条件を学習する学習モデルを備える。

【0138】

これにより、機械学習装置７００は、真円度を考慮した揺動条件の設定が難しかった従来技術と比較して、真円度を考慮して最適化された最適揺動条件を学習することができる。

【0139】

また、機械学習装置７００は、学習モデルに基づいて、加工済みワークの真円度を最適化する最適揺動条件を出力する揺動条件出力部７５０を更に備える。これにより、機械学習装置７００は、真円度を考慮した揺動条件の設定が難しかった従来技術と比較して、真円度を考慮して最適化された最適揺動条件を出力することができる。また、機械学習装置７００は、揺動条件の設定を自動化できるため、作業者の負担を低減することができる。

【0140】

また、揺動条件出力部７５０は、ワークの切屑が細断可能となる切屑細断揺動条件を算出する切屑細断条件算出部７５１を備え、揺動条件出力部７５０は、学習モデルに基づいて、切屑細断揺動条件を満たす最適揺動条件を出力する。これにより、機械学習装置７００は、切屑細断がされ、かつ面粗さを考慮して最適化された最適揺動条件を設定することができる。

【0141】

また、揺動条件出力部７５０は、予め設定された上限値を超えない上限揺動条件を算出する揺動条件上限算出部７５２を備え、揺動条件出力部７５０は、学習モデルに基づいて、上限揺動条件を満たす最適揺動条件を出力する。これにより、機械学習装置７００は、切屑細断がされ、かつ揺動条件の上限を超えず、かつ面粗さを考慮して最適化された最適揺動条件を設定することができる。

【0142】

［第４実施形態］
次に、第４実施形態に係る制御システム３０について説明する。なお、第４実施形態の説明にあたっては、第３実施形態と同一の構成要件については同一符号を付し、その説明を省略若しくは簡略化する。第４実施形態に係る制御システム３０は、教師あり学習に代えて、強化学習を用いる点が第３実施形態とは主として異なり、他の構成は、第３実施形態と同様の構成を備える。

【0143】

図１０は、第４実施形態に係る制御システム３０の概要を示す図である。制御システム３０は、機械学習を用いて揺動条件を算出することによって、工作機械１００において工具の空振りが生じ、かつ良好な真円度データを実現できる揺動条件を算出することを目的とする。

【0144】

制御システム３０は、工作機械１００と、数値制御装置２００と、加工面解析装置６００と、機械学習装置８００と、を備える。ここで、工作機械１００と数値制御装置２００とは、１対１の組とされて、通信可能に接続されている。なお、工作機械１００と数値制御装置２００とは、接続インタフェースを介して直接接続されてもよく、又は、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）等のネットワークを介して接続されてもよい。

【0145】

また、数値制御装置２００、加工面解析装置６００及び機械学習装置８００は、それぞれ接続インタフェースを介して直接に接続、又は、それぞれネットワークを介して接続されており、相互に通信を行うことが可能である。なお、ネットワークは、例えば、工場内に構築されたＬＡＮや、インターネット、公衆電話網、或いは、これらの組み合わせである。ネットワークにおける具体的な通信方式や、有線接続及び無線接続のいずれであるか等については、特に限定されない。

【0146】

工作機械１００、数値制御装置２００及び加工面解析装置６００は、上述したように第３実施形態と同様の構成を有する。

【0147】

機械学習装置８００は、強化学習を行う装置である。なお、強化学習に関する処理は、第２実施形態に係る機械学習装置５００と同様であるため、説明を省略する。強化学習を行うために、機械学習装置８００は、設定条件取得部８１０と、判定情報取得部８２０と、行動情報出力部８３０と、学習部８４０と、価値関数記憶部８５０と、揺動条件出力部８６０と、を備える。

【0148】

設定条件取得部８１０は、数値制御装置２００において設定された設定条件（加工条件、揺動条件等）を、状態情報（状態ｓ）として数値制御装置２００から取得する。この状態ｓは、Ｑ学習における、環境の状態ｓに相当する。

【0149】

具体的には、第４実施形態における状態ｓは、数値制御装置２００において設定された設定条件（加工条件、揺動条件等）を示す。設定条件は、工作機械１００の主軸回転速度、送り速度等を含む加工条件と、工作機械１００の揺動振幅、揺動周波数等を含む揺動条件と、を有する。

【0150】

判定情報取得部８２０は、Ｑ学習を行うための報酬を算出するための判定情報を取得する。具体的には、判定情報取得部８２０は、工作機械１００による加工済みワークの真円度データを、Ｑ学習を行うための報酬を算出するための判定情報として取得する。

【0151】

行動情報出力部８３０は、学習部８４０が生成した行動情報（行動ａ）を、数値制御装置２００に対して送信する。数値制御装置２００は、上述したように、この行動ａに基づいて、現在の状態ｓ、すなわち現在設定されている設定条件を変更することで、次の状態ｓ’（すなわち変更された揺動条件を工作機械１００において実行した場合の状態）に遷移する。

【0152】

学習部８４０は、或る環境の状態ｓの下で、ある行動ａを選択する場合の価値Ｑ（ｓ，ａ）を学習する。具体的には、学習部８４０は、報酬算出部８４１と、価値関数更新部８４２と、行動情報生成部８４３と、を備える。

【0153】

報酬算出部８４１は、或る状態ｓの下で、行動ａを選択した場合の報酬を、判定情報に基づいて算出する。ここで、報酬算出部８４１は、加工済みワークの真円度データが所定の閾値未満のときに、報酬を正の値とし、真円度データが所定の閾値を超えたときに、報酬を負の値とする。

【0154】

価値関数更新部８４２は、状態ｓと、行動ａと、行動ａを状態ｓに適用した場合の状態ｓ’と、上記のようにして算出された報酬の値とに基づいてＱ学習を行うことにより、価値関数記憶部８５０が記憶する価値関数Ｑを更新する。

【0155】

価値関数Ｑの更新は、オンライン学習で行ってもよく、バッチ学習で行ってもよく、ミニバッチ学習で行ってもよい。

【0156】

行動情報生成部８４３は、Ｑ学習の過程において、行動ａを生成して、生成した行動ａを行動情報出力部８３０に対して出力する。具体的には、行動情報生成部８４３は、現在の状態ｓに対して、Ｑ学習の過程における行動ａを選択する。第４実施形態における行動ａは、現在の状態ｓに対して揺動条件をどのように変更すべきかを含む。

【0157】

更に、行動情報生成部８４３は、現在の推定される行動ａの価値の中で、最も価値Ｑ（ｓ，ａ）の高い行動ａ’を選択するグリーディ法や、ある小さな確率εでランダムに行動ａ’選択し、それ以外では最も価値Ｑ（ｓ，ａ）の高い行動ａ’を選択するεグリーディ法といった公知の方法により、行動ａ’を選択する方策を取るようにしてもよい。

【0158】

価値関数記憶部８５０は、価値関数Ｑを記憶する記憶装置である。価値関数記憶部８５０に記憶された価値関数Ｑは、価値関数更新部８４２により更新される。

【0159】

また、機械学習装置８００は、価値関数更新部８４２がＱ学習を行うことにより更新した価値関数Ｑに基づいて、価値Ｑ（ｓ，ａ）が最大となる揺動加工を工作機械１００に行わせるための揺動条件としての行動ａ（以下、「最適化行動情報」と呼ぶ。）を生成する。

【0160】

揺動条件出力部８６０は、価値関数記憶部８５０が記憶している価値関数Ｑを取得する。この価値関数Ｑは、上述したように、価値関数更新部８４２がＱ学習を行うことにより更新したものである。そして、揺動条件出力部８６０は、価値関数Ｑに基づいて、最適化行動情報として、加工済みワークの面粗さを最適化する最適揺動条件を生成し、生成した最適揺動条件（最適化行動情報）を数値制御装置２００に対して出力する。

【0161】

また、揺動条件出力部８６０は、切屑細断条件算出部８６１と、揺動条件上限算出部８６２と、を有する。

【0162】

切屑細断条件算出部８６１は、工作機械１００の揺動加工によってワークの切屑が細断可能となる切屑細断揺動条件を算出する。そして、揺動条件出力部８６０は、切屑細断揺動条件を満たす最適揺動条件を出力する。

【0163】

揺動条件上限算出部８６２は、予め設定された上限値を超えない上限揺動条件を算出する。そして、揺動条件出力部８６０は、上限揺動条件を満たす最適揺動条件を出力する。

【0164】

数値制御装置２００が、この最適揺動条件（最適化行動情報）に基づいて現在設定されている揺動条件を修正して、動作指令を生成することにより、工作機械１００は、加工済みワークの真円度が最適になるように動作することができる。

【0165】

次に、図１１のフローチャートを参照して機械学習装置８００による価値関数の更新処理について説明をする。図１１は、第４実施形態に係る機械学習装置８００による価値関数の更新処理の流れを示すフローチャートである。

【0166】

まず、ステップＳ６１において、設定条件取得部８１０は、数値制御装置２００から状態情報としての設定条件を取得する。取得した設定条件は、価値関数更新部８４２及び行動情報生成部８４３に対して出力される。上述したように、この設定条件（状態情報）は、Ｑ学習における環境の状態ｓに相当する情報である。

【0167】

ステップＳ６２において、行動情報生成部８４３は、新たな行動情報としての揺動条件を生成し、生成した新たな行動情報（行動ａ）を、行動情報出力部８３０を介して数値制御装置２００に対して出力する。行動情報を受信した数値制御装置２００は、受信した行動情報に基づいて現在の状態ｓに係る揺動条件を変更した状態ｓ’により、工作機械１００を駆動させて、ワークの揺動加工を行う。上述したように、この行動情報は、Ｑ学習における行動ａに相当するものである。

【0168】

ステップＳ６３において、判定情報取得部８２０は、工作機械１００による加工済みワークの真円度データを、Ｑ学習を行うための報酬を算出するための判定情報として取得する。

【0169】

ステップＳ６４において、報酬算出部８３１は、入力された判定情報（加工済みワークの真円度データ）に基づいて報酬を算出する。報酬算出部８４１は、加工済みワークの真円度データが所定の閾値未満であるか否かを判定する。真円度データが所定の閾値未満である場合（ＹＥＳ）、処理は、ステップＳ６５へ移る。一方、真円度データが所定の閾値を超える場合（ＮＯ）、処理は、ステップＳ６６へ移る。

【0170】

ステップＳ６５において、報酬算出部８４１は、報酬の値を正の値として算出する。
ステップＳ６６において、報酬算出部８４１は、報酬の値を負の値として算出する。

【0171】

ステップＳ６７において、価値関数更新部８４２は、上述にて算出された報酬の値に基づいて、価値関数記憶部８５０が記憶している価値関数Ｑを更新する。そして、学習部８４０は、再度ステップＳ６１に戻り、上述した処理を繰り返すことにより、価値関数Ｑは、適切な値に収束していく。なお、学習部８４０は、上述した処理を、所定回数繰り返したことや、所定時間繰り返したことを条件として終了するようにしてもよい。以上、機械学習装置８００の動作について説明したが、例えば、報酬の値を算出する処理は、一例であって、これに限定されない。

【0172】

図１２は、第４実施形態に係る機械学習装置８００による揺動条件を出力する処理の流れを示すフローチャートである。
ステップＳ７１において、揺動条件出力部８６０は、価値関数記憶部８５０が記憶している価値関数Ｑを取得する。この価値関数Ｑは、上述したように価値関数更新部８４２がＱ学習を行うことにより更新したものである。

【0173】

ステップＳ７２において、揺動条件出力部８６０は、価値関数Ｑに基づいて、例えば現在設定されている状態ｓにおいて、取り得る行動ａのなかから価値Ｑ（ｓ，ａ）の最も高い行動ａを最適な行動として選択することで最適揺動条件（最適化行動情報）を生成する。

【0174】

ステップＳ７３において、切屑細断条件算出部８６１は、工作機械１００の揺動加工によってワークの切屑が細断可能となる切屑細断揺動条件を算出する。

【0175】

ステップＳ７４において、揺動条件上限算出部８６２は、予め設定された上限値を超えない上限揺動条件を算出する。

【0176】

ステップＳ７５において、揺動条件出力部８６０は、ステップＳ７２において生成された最適揺動条件が、ステップＳ７３において算出された切屑細断揺動条件を満たすか否かを判定する。最適揺動条件が切屑細断揺動条件を満たす場合（ＹＥＳ）、処理は、ステップＳ７５へ移る。一方、最適揺動条件が切屑細断揺動条件を満たさない場合（ＮＯ）、処理は、再度ステップＳ７１へ移る。

【0177】

ステップＳ７６において、揺動条件出力部８６０は、ステップＳ７２において出力された最適揺動条件が、ステップＳ７４において算出された上限揺動条件を満たすか否かを判定する。最適揺動条件が上限揺動条件を満たす場合（ＹＥＳ）、処理は、ステップＳ７７へ移る。一方、最適揺動条件が上限揺動条件を満たさない場合（ＮＯ）、処理は、再度ステップＳ７１へ移る。

【0178】

ステップＳ７２において、揺動条件出力部８６０は、生成した最適揺動条件（最適化行動情報）を数値制御装置２００に対して出力する。

【0179】

以上により、数値制御装置２００は、最適揺動条件に基づいて現在設定されている状態ｓ（すなわち、現在設定されている揺動条件）を修正して、動作指令を生成する。そして、数値制御装置２００は、生成した動作指令を工作機械１００に送ることにより、工作機械１００は、加工済みワークの真円度データが最適になるように動作することができる。

【0180】

以上説明したように、第４実施形態に係る機械学習装置８００は、揺動加工のための設定条件を、状態情報として取得する設定条件取得部８１０と、工作機械１００による加工済みワークの真円度データを、判定情報として取得する判定情報取得部８２０と、現在の状態に対して前記揺動条件をどのように変更すべきかを示す行動情報を出力する行動情報出力部８３０と、判定情報に基づいて、強化学習における報酬の値を算出する報酬算出部８４１と、状態情報、行動情報及び報酬に基づいて、工作機械１００の揺動条件の価値を定める価値関数を更新する価値関数更新部８４２と、価値関数に基づいて、加工済みワークの真円度を最適化する最適揺動条件を出力する揺動条件出力部８６０と、を備える。

【0181】

これにより、機械学習装置８００は、面粗さを考慮した揺動条件の設定が難しかった従来技術と比較して、真円度を考慮して最適化された最適揺動条件を出力することができる。また、機械学習装置８００は、揺動条件の設定を自動化できるため、作業者の負担を低減することができる。

【0182】

また、報酬算出部８４１は、加工済みワークの真円度データが所定の閾値未満のときに、報酬を正の値とし、真円度データが所定の閾値を超えたときに、報酬を負の値とする。これにより、機械学習装置８００は、面粗さデータを考慮した報酬の値を決定することができる。

【0183】

また、揺動条件出力部８６０は、ワークの切屑が細断可能となる切屑細断揺動条件を算出する切屑細断条件算出部８６１を備え、揺動条件出力部８６０は、切屑細断揺動条件を満たす最適揺動条件を出力する。これにより、機械学習装置８００は、切屑細断がされ、かつ面粗さを考慮して最適化された最適揺動条件を設定することができる。

【0184】

揺動条件出力部８６０は、予め設定された上限値を超えない上限揺動条件を算出する揺動条件上限算出部８６２を備え、揺動条件出力部８６０は、上限揺動条件を満たす最適揺動条件を出力する。これにより、機械学習装置８００は、切屑細断がされ、かつ揺動条件の上限を超えず、かつ面粗さを考慮して最適化された最適揺動条件を設定することができる。

【0185】

［他の実施形態］
上述した実施形態では、機械学習装置４００，５００，７００，８００は、加工済みワークの面粗さデータ及び真円度データを用いたが、他の実施形態に係る機械学習装置は、加工済みワークの評価データとして、他のデータを用いてもよい。例えば、他の実施形態に係る機械学習装置において、加工済みワークの評価データは、面粗さ、真円度又は寸法精度を含んでもよい。ここで、寸法精度は、加工プログラムによって指令された形状通りの寸法で加工されているかを示す。

【0186】

すなわち、教師あり学習を用いる場合、他の実施形態に係る機械学習装置は、工具とワークと相対的に揺動させながら揺動加工する工作機械の揺動条件を学習する機械学習装置であって、揺動加工のための設定条件を取得する設定条件取得部と、工作機械による加工済みワークの評価データを、ラベルとして取得するラベル取得部と、設定条件とラベルとの組みを教師データとして教師あり学習を行う学習部と、を備え、学習部は、加工済みワークの評価データを最適化する揺動条件を学習する学習モデルを備える。また、機械学習装置は、学習モデルに基づいて、加工済みワークの評価データを最適化する最適揺動条件を出力する揺動条件出力部を更に備えてもよい。

【0187】

これにより、機械学習装置は、加工済みワークの評価データを考慮した揺動条件の設定が難しかった従来技術と比較して、加工済みワークの評価データを考慮して最適化された最適揺動条件を出力することができる。また、機械学習装置は、揺動条件の設定を自動化できるため、作業者の負担を低減することができる。

【0188】

また、強化学習を用いる場合、他の実施形態に係る機械学習装置は、工具とワークと相対的に揺動させながら揺動加工する工作機械の揺動条件を学習する機械学習装置であって、揺動加工のための設定条件を、状態情報として取得する設定条件取得部と、工作機械による加工済みワークの評価データを、判定情報として取得する判定情報取得部と、現在の状態に対して揺動条件をどのように変更すべきかを示す行動情報を出力する行動情報出力部と、判定情報に基づいて、強化学習における報酬の値を算出する報酬算出部と、状態情報、行動情報及び報酬に基づいて、工作機械の揺動条件の価値を定める価値関数を更新する価値関数更新部と、価値関数に基づいて、加工済みワークの評価データを最適化する最適揺動条件を出力する揺動条件出力部と、を備える。また、報酬算出部は、加工済みワークの評価データが所定の閾値未満のときに、報酬を正の値とし、評価データが所定の閾値を超えたときに、報酬を負の値とする。

【0189】

これにより、機械学習装置は、加工済みワークの評価データを考慮した揺動条件の設定が難しかった従来技術と比較して、加工済みワークの評価データを考慮して最適化された最適揺動条件を出力することができる。また、機械学習装置は、揺動条件の設定を自動化できるため、作業者の負担を低減することができる。

【0190】

また、第１実施形態から第４実施形態に係る設定条件は、工作機械１００における工具の送り速度、主軸回転速度、座標値、工具の刃先、工具の種類及びワークの材料の少なくとも１つを含む加工条件と、工作機械１００の揺動周波数及び揺動振幅の少なくとも１つを含む揺動条件と、を含む。これにより、機械学習装置４００，５００，７００，８００は、適切な加工条件及び揺動条件を含む設定条件を取得することができる。

【0191】

第１実施形態及び第２実施形態に係る面粗さデータは、算術平均粗さ、最大高さ、最大山高さ、最大谷深さ、平均高さ、最大断面高さ及び負荷長さ率の少なくとも１つを含む。これにより、機械学習装置４００，５００は、適切な手法で面粗さデータを取得することができる。

【0192】

また、機械学習装置４００，５００，７００，８００は、複数の数値制御装置２００によって共有されてもよい。これにより、機械学習装置４００，５００，７００，８００は、学習モデルや、価値関数等を複数の数値制御装置２００によって共有及び更新することができる。

【0193】

また、機械学習装置４００，５００，７００，８００は、クラウドサーバ上に設けられてもよい。これにより、機械学習装置４００，５００は、学習モデルや、価値関数等をクラウドサーバ上で共有及び更新することができる。

【0194】

上述した数値制御装置２００及び機械学習装置４００，５００，７００，８００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等の演算処理装置を備える。また、数値制御装置２００及び機械学習装置４００，５００，７００，８００は、アプリケーションソフトウェアやＯＳ（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ）等の各種の制御用プログラムを格納したＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の補助記憶装置や、演算処理装置がプログラムを実行する上で一時的に必要とされるデータを格納するためのＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）といった主記憶装置も備える。

【0195】

そして、数値制御装置２００及び機械学習装置４００，５００，７００，８００は、演算処理装置が補助記憶装置からアプリケーションソフトウェアやＯＳを読み込み、読み込んだアプリケーションソフトウェアやＯＳを主記憶装置に展開させながら、これらのアプリケーションソフトウェアやＯＳに基づいた演算処理を行う。また、数値制御装置２００及び機械学習装置４００，５００，７００，８００は、この演算結果に基づいて、各装置が備える各種のハードウェアを制御する。これにより、本実施形態の機能ブロックは実現される。つまり、上述した実施形態は、ハードウェアとソフトウェアが協働することにより実現することができる。

【0196】

具体例として、数値制御装置２００は、一般的な工作機械１００の制御装置に実施形態を実現するためのアプリケーションソフトウェアを組み込むことにより実現できる。また、機械学習装置４００，５００，７００，８００は、一般的なパーソナルコンピュータに、本実施形態を実現するためのアプリケーションソフトウェアを組み込むことより実現できる。

【0197】

ただし、機械学習装置４００，５００，７００，８００については、機械学習に伴う演算量が多いため、例えば、パーソナルコンピュータにＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）を搭載し、ＧＰＧＰＵ（Ｇｅｎｅｒａｌ－Ｐｕｒｐｏｓｅ ｃｏｍｐｕｔｉｎｇ ｏｎ Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ）と呼ばれる技術により、ＧＰＵを機械学習に伴う演算処理に利用するようにすると、高速処理できるようになるのでよい。更には、より高速な処理を行うために、機械学習装置４００，５００は、このようなＧＰＵを搭載したコンピュータを複数台用いてコンピュータ・クラスターを構築し、このコンピュータ・クラスターに含まれる複数のコンピュータにて並列処理を行うようにしてもよい。

【0198】

以上、本発明の実施形態について説明したが、上記の制御システム１，１０，２０，３０は、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。また、上記の制御システム１，１０，２０，３０により行なわれる制御方法も、ハードウェア、ソフトウェア又はこれらの組み合わせにより実現することができる。ここで、ソフトウェアによって実現されるとは、コンピュータがプログラムを読み込んで実行することにより実現されることを意味する。

【0199】

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ－ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ－ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ））を含む。

【0200】

また、上述した各実施形態は、本発明の好適な実施形態ではあるが、上記各実施形態のみに本発明の範囲を限定するものではない。本発明の要旨を逸脱しない範囲において種々の変更を施した形態での実施が可能である。

【符号の説明】

【0201】

１ 制御システム
１０ 制御システム
１００ 工作機械
２００ 数値制御装置
３００ 加工面解析装置
４００ 機械学習装置
４１０ 設定条件取得部
４２０ ラベル取得部
４３０ 学習部
４４０ 学習モデル記憶部
４５０ 揺動条件出力部
５００ 機械学習装置
５１０ 設定条件取得部
５２０ 判定情報取得部
５３０ 行動情報出力部
５４０ 学習部
５５０ 価値関数記憶部
５６０ 揺動条件出力部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】