特許 6140228 加工条件を調整しながら加工を行うワイヤ放電加工機

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6140228

(24)【登録日】2017年5月12日

(45)【発行日】2017年5月31日

(54)【発明の名称】加工条件を調整しながら加工を行うワイヤ放電加工機

(51)【国際特許分類】

   B23H 7/04 20060101AFI20170522BHJP

   B23H 7/02 20060101ALI20170522BHJP

   G05B 19/4155 20060101ALI20170522BHJP

【ＦＩ】

   B23H7/04 E

   B23H7/02 S

   G05B19/4155 V

【請求項の数】8

【全頁数】14

(21)【出願番号】特願2015-168104(P2015-168104)

(22)【出願日】2015年8月27日

(65)【公開番号】特開2017-42882(P2017-42882A)

(43)【公開日】2017年3月2日

【審査請求日】2016年8月23日

【早期審査対象出願】

(73)【特許権者】

【識別番号】390008235

【氏名又は名称】ファナック株式会社

(74)【代理人】

【識別番号】110001151

【氏名又は名称】あいわ特許業務法人

(72)【発明者】

【氏名】小野寺 光晴

(72)【発明者】

【氏名】平賀 薫

【審査官】 竹下 和志

(56)【参考文献】

【文献】 特開平３−１９０６２５（ＪＰ，Ａ）

【文献】 特開昭６２−７４５２７（ＪＰ，Ａ）

【文献】 特開平７−１１６９２７（ＪＰ，Ａ）

【文献】 特開平５−５７５３０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｂ２３Ｈ １／００ − １１／００

(57)【特許請求の範囲】

【請求項1】

加工条件設定部に設定された加工条件に応じて加工電源、加工液の制御を行い、上下ノズル間で張架したワイヤ状電極と被加工物の間に電圧を印加して放電を発生させると共に、前記ワイヤ状電極と被加工物を相対移動させて前記被加工物の加工を行うワイヤ放電加工機において、
前記加工に係る環境を示す情報である環境情報を記憶する環境情報記憶部と、
前記加工条件の調整対象パラメータと該調整対象パラメータの調整量を機械学習する加工条件調整装置と、
を備え、
前記加工条件調整装置は、
前記加工における加工状態を示す情報である状態データを取得する状態観測部と、
報酬条件を記憶する報酬条件記憶部と、
前記状態データと前記報酬条件に基づいて報酬を計算する報酬計算部と、
加工条件調整を機械学習する加工条件調整学習部と、
前記加工条件調整学習部による前記加工条件調整の機械学習結果と、前記状態データおよび前記環境情報に基づいて、加工条件調整の対象パラメータとその調整量を調整行動として決定し、該調整行動に基づいて前記加工条件設定部に設定された加工条件を調整し、調整後の加工条件を出力する加工条件調整部と、
を有し、
前記加工条件調整学習部は、前記調整行動と、出力された前記調整後の加工条件に基づく加工動作後の前記状態観測部により取得された前記状態データと、前記報酬計算部が計算した前記報酬と、に基づいて前記加工条件調整を機械学習する、
を備えたことを特徴とするワイヤ放電加工機。

【請求項2】

前記状態データは、前記被加工物に対する前記ワイヤ状電極の位置情報を少なくとも含む、
ことを特徴とする請求項１に記載のワイヤ放電加工機。

【請求項3】

前記状態データは、加工電圧、加工電流、加工速度、放電回数、加工液量、加工液圧、短絡の発生、断線の発生のうちの少なくとも一つを含む、
ことを特徴とする請求項１または２に記載のワイヤ放電加工機。

【請求項4】

前記報酬条件記憶部は、前記加工条件設定部に設定された加工条件で加工した場合の加工電圧、加工電流、加工速度の基準値データを記憶する、
ことを特徴とする請求項１〜３のいずれか１つに記載のワイヤ放電加工機。

【請求項5】

前記状態データは、少なくとも加工電圧、加工電流、加工速度を含み、
前記報酬計算部は、前記状態データに含まれる加工電圧、加工電流、加工速度が前記加工条件設定部に設定された加工条件に基づいて得られる基準値データに近づく場合にプラスの報酬を与える、
ことを特徴とする請求項１〜４のいずれか１つに記載のワイヤ放電加工機。

【請求項6】

前記状態データは、少なくとも加工電圧、加工電流、加工速度、短絡の発生、断線の発生を含み、
前記報酬計算部は、前記状態データに含まれる加工電圧、加工電流、加工速度が前記加工条件設定部に設定された加工条件に基づいて得られる基準値データから遠ざかる場合、または、前記状態データに含まれる短絡および断線のうちの少なくとも１つの事象が発生した場合にマイナスの報酬を与える、
ことを特徴とする請求項１〜５のいずれか１つに記載のワイヤ放電加工機。

【請求項7】

少なくとも１つの他のワイヤ放電加工機と接続されており、
前記他のワイヤ放電加工機との間で機械学習の結果を相互に交換または共有する、
ことを特徴とする請求項１〜６のいずれか１つに記載のワイヤ放電加工機。

【請求項8】

加工条件設定部に設定された加工条件に応じて加工電源、加工液の制御を行い、上下ノズル間で張架したワイヤ状電極と被加工物の間に電圧を印加して放電を発生させると共に、前記ワイヤ状電極と被加工物を相対移動させて前記被加工物の加工を行うワイヤ放電加工機による加工条件調整を機械学習した加工条件調整装置であって、
前記加工条件調整の関数などで表現された学習結果を不揮発性メモリに記憶する学習結果記憶部と、
前記加工における加工状態を示す情報である状態データを取得する状態観測部と、
前記学習結果記憶部に記憶された学習結果と、前記状態観測部で観測した前記状態データとに基づいて加工条件調整の対象パラメータとその調整量またはその調整後の値を決定し、加工条件を調整する加工条件調整部と、
を備えたことを特徴とする加工条件調整装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明はワイヤ放電加工機に関し、特に被加工物の加工における加工状態に応じた加工条件の調整が可能なワイヤ放電加工機に関する。

【背景技術】

【0002】

ワイヤ放電加工機で加工を行う場合、被加工物やワイヤ径に合わせて用意された加工条件を用いて加工を行う（特許文献１など）。通常、これらの加工条件は得られる加工速度や加工精度は理論値として決まっているが、実際には被加工物を置いたテーブル上の位置や機械の経年変化、機差などによって、必ずしも決められた加工速度や加工精度が得られるとは限らない。これは、電気抵抗の違いから来る加工エネルギーの差異によるものと考えられ、これによって加工条件取得時の電圧、電流、速度（基準値データ）が再現されないために起こる問題と考えられる。

【0003】

このような問題に対応するために、従来は作業者が加工品の寸法確認を行い、追加工を行ったり、加工条件や仕上げ代を調整したりして再加工を行っていた。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特公平０５−０２１６９０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、加工条件や仕上げ代の調整ができるようになるためには経験が必要であり、作業者の技量によっては加工条件や仕上げ代を調整するのに時間が掛かるという課題があった。また、上記した方法は追加工や再加工を行うことが前提となっており、追加の作業が発生することによる手間が掛かるという課題があった。

【0006】

そこで本発明の目的は、被加工物の加工における加工状態に応じた加工条件の自動調整が可能なワイヤ放電加工機を提供することである。

【課題を解決するための手段】

【0007】

本発明では、環境情報、位置情報、加工情報に基づく機械学習を行って、加工データが基準値データと合うように各種加工条件の調整を行うワイヤ放電加工機を提供する。

【0008】

そして、本願の請求項１に係る発明は、加工条件設定部に設定された加工条件に応じて加工電源、加工液の制御を行い、上下ノズル間で張架したワイヤ状電極と被加工物の間に電圧を印加して放電を発生させると共に、前記ワイヤ状電極と被加工物を相対移動させて前記被加工物の加工を行うワイヤ放電加工機において、前記加工に係る環境を示す情報である環境情報を記憶する環境情報記憶部と、前記加工条件の調整対象パラメータと該調整対象パラメータの調整量を機械学習する加工条件調整装置と、を備え、前記加工条件調整装置は、前記加工における加工状態を示す情報である状態データを取得する状態観測部と、報酬条件を記憶する報酬条件記憶部と、前記状態データと前記報酬条件に基づいて報酬を計算する報酬計算部と、加工条件調整を機械学習する加工条件調整学習部と、前記加工条件調整学習部による前記加工条件調整の機械学習結果と、前記状態データおよび前記環境情報に基づいて、加工条件調整の対象パラメータとその調整量を調整行動として決定し、該調整行動に基づいて前記加工条件設定部に設定された加工条件を調整し、調整後の加工条件を出力する加工条件調整部と、を有し、前記加工条件調整学習部は、前記調整行動と、出力された前記調整後の加工条件に基づく加工動作後の前記状態観測部により取得された前記状態データと、前記報酬計算部が計算した前記報酬と、に基づいて前記加工条件調整を機械学習する、を備えたことを特徴とするワイヤ放電加工機である。

【0009】

本願の請求項２に係る発明は、前記状態データは、前記被加工物に対する前記ワイヤ状電極の位置情報を少なくとも含む、ことを特徴とする請求項１に記載のワイヤ放電加工機である。

【0010】

本願の請求項３に係る発明は、前記状態データは、加工電圧、加工電流、加工速度、放電回数、加工液量、加工液圧、短絡の発生、断線の発生のうちの少なくとも一つを含む、ことを特徴とする請求項１または２に記載のワイヤ放電加工機である。

【0011】

本願の請求項４に係る発明は、前記報酬条件記憶部は、前記加工条件設定部に設定された加工条件で加工した場合の加工電圧、加工電流、加工速度の基準値データを記憶する、ことを特徴とする請求項１〜３のいずれか１つに記載のワイヤ放電加工機である。

【0012】

本願の請求項５に係る発明は、前記状態データは、少なくとも加工電圧、加工電流、加工速度を含み、前記報酬計算部は、前記状態データに含まれる加工電圧、加工電流、加工速度が前記加工条件設定部に設定された加工条件に基づいて得られる基準値データに近づく場合にプラスの報酬を与える、ことを特徴とする請求項１〜４のいずれか１つに記載のワイヤ放電加工機である。

【0013】

本願の請求項６に係る発明は、前記状態データは、少なくとも加工電圧、加工電流、加工速度、短絡の発生、断線の発生を含み、前記報酬計算部は、前記状態データに含まれる加工電圧、加工電流、加工速度が前記加工条件設定部に設定された加工条件に基づいて得られる基準値データから遠ざかる場合、または、前記状態データに含まれる短絡および断線のうちの少なくとも１つの事象が発生した場合にマイナスの報酬を与える、ことを特徴とする請求項１〜５のいずれか１つに記載のワイヤ放電加工機である。

【0014】

本願の請求項７に係る発明は、少なくとも１つの他のワイヤ放電加工機と接続されており、前記他のワイヤ放電加工機との間で機械学習の結果を相互に交換または共有する、ことを特徴とする請求項１〜６のいずれか１つに記載のワイヤ放電加工機である。

【0015】

本願の請求項８に係る発明は、加工条件設定部に設定された加工条件に応じて加工電源、加工液の制御を行い、上下ノズル間で張架したワイヤ状電極と被加工物の間に電圧を印加して放電を発生させると共に、前記ワイヤ状電極と被加工物を相対移動させて前記被加工物の加工を行うワイヤ放電加工機による加工条件調整を機械学習した加工条件調整装置であって、前記加工条件調整の関数などで表現された学習結果を不揮発性メモリに記憶する学習結果記憶部と、前記加工における加工状態を示す情報である状態データを取得する状態観測部と、前記学習結果記憶部に記憶された学習結果と、前記状態観測部で観測した前記状態データとに基づいて加工条件調整の対象パラメータとその調整量またはその調整後の値を決定し、加工条件を調整する加工条件調整部と、を備えたことを特徴とする加工条件調整装置である。

【発明の効果】

【0016】

本発明において、機械学習によって加工エネルギーの差異がなくなるように加工条件を調整することによって、加工の安定性や再現性が高まり、追加工や再加工を行う必要がなくなる。また、複数のワイヤ放電加工機の各データを共有して機械学習に利用することで、より優れた結果を得られる機械学習をワイヤ放電加工機ごとに実現することが可能となる。

【図面の簡単な説明】

【0017】

【図1】ワイヤ放電加工機における加工位置による加工エネルギーの違いについて説明する図である。

【図2】本発明の機械学習による加工条件の調整について説明する図である。

【図3】強化学習アルゴリズムの基本的な概念を説明する図である。

【図4】本発明の実施形態におけるワイヤ放電加工機の機械学習に関するイメージ図である。

【図5】本発明の実施形態におけるワイヤ放電加工機の機能ブロック図である。

【図6】本発明の実施形態における機械学習の流れを示すフローチャートである。

【発明を実施するための形態】

【0018】

以下、本発明の実施形態を図面と共に説明する。
本発明では、被加工物を加工するワイヤ放電加工機に対して人工知能となる機械学習器を導入し、ワイヤ放電加工機での被加工物の加工状態に対する印加電圧の電圧値や印加時間、休止時間、加工液の供給量などの加工条件の調整に関する機械学習を行うことで、加工状態に応じて加工条件が最適なものになるように調整を行うようにする。本発明では、機械学習器が加工条件調整装置として動作する。

【0019】

上記したように、ワイヤ放電加工においては設定された加工条件で得られる現実の加工速度や加工精度は、被加工物を置いたテーブル上の位置や機械の経年変化、機差などによって変化する。例えば、図１に示すように、同じ穴径の丸穴を加工しようとして同一の加工条件で加工を行った場合であっても、＜１＞の位置、＜２＞の位置、＜３＞の位置では加工エネルギーの違いが生じて各位置で加工した丸穴の大きさが異なる場合がある。
図２は、図１の各穴の加工において計測される電圧、電流、速度の値をグラフとして示したものである。図２（ａ）に示すように、同一の加工条件で加工を行った場合であっても、設定した加工条件で決まる電圧、電流、速度の値（基準値データ）と、実際の加工時に＜１＞の位置、＜２＞の位置、＜３＞の位置での加工時の電圧、電流、速度の値とに差が生じ、結果として各位置で加工した丸穴の大きさが異なってしまう。そこで、ワイヤ放電加工機での被加工物の加工時の加工状態を示すデータ（環境情報、位置情報、加工情報）に基づいて、加工条件の調整を機械学習する機械学習器を導入し、機械学習の結果に基づいて自動的に加工条件の調整を行うようにする。
以下では、本発明で導入する機械学習について簡単に説明する。

【0020】

＜１．機械学習＞
一般に、機械学習には教師あり学習や教師なし学習など、その目的や条件によって様々なアルゴリズムに分類されている。本発明では被加工物を加工するワイヤ放電加工機における加工条件の調整の学習を目的としており、ワイヤ放電加工機から出力される電圧値、電流値、加工速度、各軸の座標値、被加工物情報などの加工状態に対してどのような行動（加工条件の調整）をすることが正しいのかを明示的に示すことが困難であることを考慮して、報酬を与えるだけで機械学習器が目標到達のための行動を自動的に学習する強化学習のアルゴリズムを採用する。

【0021】

図３は、強化学習アルゴリズムの基本的な概念を説明する図である。強化学習においては、学習する主体となるエージェント（機械学習器）と、制御対象となる環境（制御対象システム）とのやりとりにより、エージェント学習と行動が進められる。より具体的には、（１）エージェントはある時点における環境の状態ｓ_tを観測し、（２）観測結果と過去の学習に基づいて自分が取れる行動ａ_tを選択して行動ａ_tを実行し、（３）行動ａ_tが実行されることで環境の状態ｓ_tが次の状態ｓ_t+1へと変化し、（４）行動ａ_tの結果としての状態の変化に基づいてエージェントが報酬ｒ_t+1を受け取り、（５）エージェントが状態ｓ_t、行動ａ_t、報酬ｒ_t+1および過去の学習の結果に基づいて学習を進める、といったやりとりがエージェントと環境の間で行われる。

【0022】

上記した（５）における学習では、エ−ジェントは将来取得できる報酬の量を判断するための基準となる情報として、観測された状態ｓ_t，行動ａ_t，報酬ｒ_t+1のマッピングを獲得する。例えば、各時刻において取り得る状態の個数がｍ、取り得る行動の個数がｎとすると、行動を繰り返すことによって状態ｓ_tと行動ａ_tの組に対する報酬ｒ_t+1を記憶するｍ×ｎの２次元配列が得られる。
そして、上記得られたマッピングに基づいて現在の状態や行動がどのくらい良いのかを示す関数である価値関数（評価関数）を用い、行動を繰り返す中で価値関数（評価関数）を更新していくことにより状態に対する最適な行動を学習していく。

【0023】

状態価値関数は、ある状態ｓ_tがどのくらい良い状態であるのかを示す価値関数である。状態価値関数は、状態を引数とする関数として表現され、行動を繰り返す中での学習において、ある状態における行動に対して得られた報酬や、該行動により移行する未来の状態の価値などに基づいて更新される。状態価値関数の更新式は強化学習のアルゴリズムに応じて定義されており、例えば、強化学習アルゴリズムの１つであるＴＤ学習においては、状態価値関数は以下の数１式で定義される。なお、数１式においてαは学習係数、γは割引率と呼ばれ、０＜α≦１、０＜γ≦１の範囲で定義される。

【0024】

【数1】

【0025】

また、行動価値関数は、ある状態ｓ_tにおいて行動ａ_tがどのくらい良い行動であるのかを示す価値関数である。行動価値関数は、状態と行動を引数とする関数として表現され、行動を繰り返す中での学習において、ある状態における行動に対して得られた報酬や、該行動により移行する未来の状態における行動の価値などに基づいて更新される。行動価値関数の更新式は強化学習のアルゴリズムに応じて定義されており、例えば、代表的な強化学習アルゴリズムの１つであるＱ学習においては、行動価値関数は以下の数２式で定義される。なお、数２式においてαは学習係数、γは割引率と呼ばれ、０＜α≦１、０＜γ≦１の範囲で定義される。

【0026】

【数2】

【0027】

なお、学習結果としての価値関数（評価関数）を記憶する方法としては、近似関数を用いる方法や、配列を用いる方法以外にも、例えば状態ｓが多くの状態を取るような場合には状態ｓ_t、行動ａ_tを入力として価値（評価）を出力する多値出力のＳＶＭやニューラルネットワーク等の教師あり学習器を用いる方法などがある。

【0028】

そして、上記した（２）における行動の選択においては、過去の学習によって作成された価値関数（評価関数）を用いて現在の状態ｓ_tにおいて将来にわたっての報酬（ｒ_t+1＋ｒ_t+2＋…）が最大となる行動ａ_t（状態価値関数を用いている場合には、もっとも価値の高い状態へ移るための行動、行動価値関数を用いている場合には該状態において最も価値の高い行動）を選択する。なお、エージェントの学習中には学習の進展を目的として（２）における行動の選択において一定の確率でランダムな行動を選択することもある（εグリーディ法）。

【0029】

このように、（１）〜（５）を繰り返すことで学習が進められる。ある環境において学習が終了した後に、新たな環境におかれた場合でも追加の学習を行うことでその環境に適応するように学習を進めることができる。したがって、本発明のようにワイヤ放電加工機での被加工物の加工における加工条件の調整の決定に適用することで、被加工物の設置位置を変更したり、新しいワイヤ放電加工機に適用したりした場合であっても、過去の加工条件の調整の学習に、新たな環境における追加の学習をすることで、加工条件の調整の学習を短時間で行うことが可能となる。

【0030】

また、強化学習においては、複数のエージェントをネットワークなどを介して接続したシステムとし、エージェント間で状態ｓ、行動ａ、報酬ｒなどの情報を共有してそれぞれの学習に利用することで、それぞれのエージェントが他のエージェントの環境も考慮して学習をする分散強化学習を行うことで効率的な学習を行うことができる。本発明においても、複数の環境（ワイヤ放電加工機）を制御する複数のエージェント（機械学習器）がネットワークなどを介して接続された状態で分散機械学習を行うことで、ワイヤ放電加工機での被加工物の加工における加工条件の調整の学習を効率的に行わせることができるようになる。

【0031】

なお、強化学習のアルゴリズムとしては、Ｑ学習、ＳＡＲＳＡ法、ＴＤ学習、ＡＣ法など様々な手法が周知となっているが、本発明に適用する方法としていずれの強化学習アルゴリズムを採用してもよい。上記したそれぞれの強化学習アルゴリズムは周知なので、本明細書における各アルゴリズムの詳細な説明は省略する。
以下では、機械学習器を導入した本発明のワイヤ放電加工機について、具体的な実施形態に基づいて説明する。

【0032】

＜２．実施形態＞
図４は、本発明の一実施形態における機械学習器を導入したワイヤ放電加工機における加工条件の調整の機械学習に関するイメージを示す図である。本発明では、機械学習器が加工条件調整装置として動作する。なお、図４には本実施形態におけるワイヤ放電加工機における機械学習の説明に必要な構成のみを示している。

【0033】

本実施形態において、機械学習器２０が環境（＜１．機械学習＞で説明した状態ｓ_t）を特定するための情報として、加工対象となる被加工物の板厚、被加工物の材質、加工に用いるワイヤのワイヤ径、ワイヤを張架する上下ノズルと被加工物との距離を示すノズル隙間などの環境情報、ワイヤ放電加工機の各軸の座標値である位置情報、および、被加工物加工時に測定される実電圧値、実電流値、加工速度、放電回数、加工液の液圧、および短絡／断線の発生などの加工情報を機械学習器２０に対して入力している。これら各値は、ワイヤ放電加工機１の各部から取得されたデータ、および制御部１０、加工電源２から取得されたデータである。

【0034】

本実施形態では、機械学習器２０が環境に対して出力するもの（＜１．機械学習＞で説明した行動ａ_t）として、ワイヤ放電加工機での加工時における極間電圧の電圧値や印加時間、休止時間、加工液の供給量などの加工条件の調整を出力データとしている。

【0035】

また本実施形態では、機械学習器２０に対して与えられる報酬（＜１．機械学習＞で説明した報酬ｒ_t）として、電圧値、電流値、加工速度値の基準値データとの接近または乖離（プラス報酬、マイナス報酬）、短絡／断線の発生（マイナス報酬）などを採用する。電圧値、電流値、加工速度値の基準値データについては、加工を開始する前に設定されている加工条件に基づいてあらかじめ理論的な電圧値、電流値、加工速度値の基準値データを決定しておく。なお、いずれのデータに基づいて報酬を決定するのかについては、オペレータが適宜設定するようにしてもよい。

【0036】

更に、本実施形態では、機械学習器２０は上記した入力データ、出力データ、報酬に基づいて機械学習を行う。機械学習においては、ある時刻ｔにおいて、入力データの組み合わせにより状態ｓ_tが定義され、定義された状態ｓ_tに対して行われる加工条件の調整が行動ａ_tとなり、そして、行動ａ_tにより加工条件の調整が行われた結果として新たに得られた入力データに基づいて評価計算された値が報酬ｒ_t+1となり、これを＜１．機械学習＞で説明したように、機械学習のアルゴリズムに応じた価値関数（評価関数）の更新式に当てはめることにより学習を進める。

【0037】

以下では、ワイヤ放電加工機１の機能ブロック図に基づいて説明する。
図５は、本実施形態のワイヤ放電加工機の機能ブロック図である。本実施形態のワイヤ放電加工機１は、ワイヤを支持する上下ノズルと被加工物を載置したテーブルとを相対移動させる複数の軸を備え、上下ノズルにより支持されるワイヤと被加工物との間の電位差によって生じる放電により被加工物を加工する加工機である。なお、これら各構成はワイヤ放電加工機の一般的な構成であり、本発明における機械学習の動作の説明には特段必要ではないので、本明細書での詳細な説明は省略する。ワイヤ放電加工機１は、ワイヤと被加工物との間に印加される電圧を制御する加工電源２、ワイヤ放電加工機１の各軸や加工電源２を含む全体をプログラム等に基づいて制御すると共にワイヤ放電加工機１の各部から加工状況などのデータを取得する制御部１０、および機械学習を行う人工知能となる機械学習器２０を備える。図５に示した構成を、図３に示した強化学習における要素と対比すると、機械学習器２０がエージェントに対応し、ワイヤ放電加工機１が備える軸や制御部１０などを含む全体が環境に対応する。

【0038】

制御部１０は、図示しないメモリから読み出されたプログラムを解析し、解析結果として得られた制御データに基づいてワイヤ放電加工機１の軸を制御して被加工物の加工を行う。通常のワイヤ放電加工機では、作業者などにより設定されて環境情報記憶部１１に記憶されたワイヤ径、被加工物板厚、材質、ノズル隙間などの環境情報の設定値、加工条件記憶部１２に記憶された極間電圧の電圧値や印加時間、休止時間、加工液の供給量などの加工条件の設定値などに基づいて制御部１０が加工電源２を制御するが、本発明においては、加工条件については機械学習器２０が加工条件記憶部１２に記憶された加工条件の設定値に基づいて学習結果に基づく加工条件の調整を行い、該調整結果に基づいて制御部１０が加工電源２を制御する。

【0039】

また、制御部１０は、ワイヤ放電加工機１に設けられた各構成から加工状態に係るデータを収集し、環境情報記憶部１１に記憶された環境情報、加工条件記憶部１２に記憶された加工条件の設定値と共に機械学習器２０に対して通知する。加工状態に係るデータとしては、ワイヤ放電加工機１の各軸の座標値である位置情報、および、被加工物加工時に測定される実電圧値、実電流値、加工速度値、放電回数、加工液の液圧、および短絡／断線の発生などの加工情報等が挙げられる。

【0040】

機械学習を行う機械学習器２０は、状態観測部２１、状態データ記憶部２２、報酬条件記憶部２３、報酬計算部２４、加工条件調整学習部２５、学習結果記憶部２６、加工条件調整部２７を備える。機械学習器２０は、ワイヤ放電加工機１内に備えてもよいし、ワイヤ放電加工機１外のパソコン等に備えるようにしてもよい。

【0041】

状態観測部２１は、制御部１０を介してワイヤ放電加工機１における加工状態に係るデータを観測して機械学習器２０内に取得する機能手段である。加工状態に係るデータとしては、上記したワイヤ径、被加工物板厚、材質、ノズル隙間などの環境情報、ワイヤ放電加工機の各軸の座標値である位置情報、および、被加工物加工時に測定される実電圧値、実電流値、加工速度値、放電回数、加工液の液圧、および短絡／断線の発生などの加工情報などがある。

【0042】

状態データ記憶部２２は加工状態に係るデータを入力して記憶し、記憶した該加工状態に係るデータを報酬計算部２４や加工条件調整学習部２５に対して出力する機能手段である。入力される加工状態に係るデータは、最新の加工運転で取得したデータでも、過去の加工運転で取得したデータでも構わない。また、他のワイヤ放電加工機１や集中管理システム３０に記憶された加工状態に係るデータを入力して記憶したり、出力したりすることも可能である。

【0043】

報酬条件記憶部２３は、作業者などにより設定された機械学習における報酬を与える条件を記憶するための機能手段である。本実施形態においては、報酬条件記憶部２３には設定された報酬を与える条件の他に、制御部１０が備える加工条件記憶部１２に設定されている加工条件に基づいて得られる理論的な電圧値、電流値、加工速度値の基準値データを記憶している。報酬にはプラスの報酬とマイナスの報酬があり、適宜設定が可能である。報酬条件記憶部２３への入力は集中管理システムで使用しているパソコンやタブレット端末等からでも構わないが、ワイヤ放電加工機１が備える図示しないＭＤＩ機器を介して入力できるようにすることで、より簡便に設定することが可能となる。
報酬計算部２４は、報酬条件記憶部２３で設定された条件に基づいて状態観測部２１または状態データ記憶部２２から入力された加工状態に係るデータを分析し、計算された報酬を加工条件調整学習部２５に出力する。

【0044】

以下に、本実施形態における報酬条件記憶部２３で設定する報酬条件の例を示す。
●［報酬１：電圧値、電流値、加工速度値と基準値データとの接近または乖離（プラス報酬、マイナス報酬）］
被加工物の加工時に測定された極間の実電圧値や実電流値、加工速度（ワイヤと被加工物の相対的な移動速度）の各値が、前回の加工条件の調整（時刻ｔ−１における加工条件の調整）により基準値データとして設定されている実電圧値、実電流値、加工速度値に近づいた場合に、その度合いに応じてプラスの報酬を与える。
一方で、前回の加工条件の調整により基準値データとして設定されている実電圧値、実電流値、加工速度から乖離した場合に、その度合いに応じてマイナスの報酬を与える。
報酬を算出する際には、実電圧値や実電流値、加工速度のそれぞれの接近量および乖離量に対して各値に重みづけするようにしてもよい。また、基準値データの数値との差に応じて重みの付け方を変えるようにしてもよい。

【0045】

●［報酬２：短絡／断線の発生（マイナス報酬）］
ワイヤ放電加工機１での被加工物の加工において、短絡または断線が発生した場合にマイナスの報酬を与える。

【0046】

加工条件調整学習部２５は、入力データなどを含む加工状態に係るデータと、自身が行ったワイヤ放電加工機１の加工条件の調整結果、および報酬計算部２４で計算された報酬とに基づいて機械学習（強化学習）を行う。

【0047】

ここで、加工条件調整学習部２５が行う機械学習においては、ある時刻ｔにおける加工状態に係るデータの組み合わせにより状態ｓ_tが定義され、定義された状態ｓ_tに応じて加工条件の調整量を決定することが行動ａ_tとなり、後述する加工条件調整部２７により加工条件記憶部１２から取得された加工条件の調整を行い該調整結果が出力され、そして、調整された加工条件に基づいてワイヤ放電加工機１の加工電源２が制御されて被加工物の加工が行われ、その結果として得られたデータに基づいて前記報酬計算部２４で計算された値が報酬ｒ_t+1となる。学習に用いられる価値関数については、適用する学習アルゴリズムに応じて決定する。例えば、Ｑ学習を用いる場合には、上記した数２式に従って行動価値関数Ｑ（ｓ_t，ａ_t）を更新することにより学習を進めるようにすれば良い。

【0048】

図６のフローチャートを用いて、加工条件調整学習部２５が行う機械学習の流れを説明する。
●［ステップＳＡ０１］機械学習が開始されると、状態観測部２１がワイヤ放電加工機１の加工状態に係るデータを取得する。
●［ステップＳＡ０２］加工条件調整学習部２５は、状態観測部２１が取得した加工状態に係るデータに基づいて現在の状態Ｓ_tを特定する。

【0049】

●［ステップＳＡ０３］加工条件調整学習部２５は、過去の学習結果とステップＳＡ０２で特定した状態Ｓ_tに基づいて行動ａ_t（加工条件の調整）を選択する。
●［ステップＳＡ０４］ステップＳＡ０３で選択された行動ａ_tを実行する。

【0050】

●［ステップＳＡ０５］状態観測部２１が、ワイヤ放電加工機１の状態を示す加工状態に係るデータを取得する。この段階においては、ワイヤ放電加工機１の状態は時刻ｔから時刻ｔ＋１への時間的推移と共にステップＳＡ０４で実行された行動ａ_tによって変化している。
●［ステップＳＡ０６］ステップＳＡ０５で取得された評価結果のデータに基づいて、報酬計算部２４が報酬ｒ_t+1を算出する。
●［ステップＳＡ０７］ステップＳＡ０２で特定された状態Ｓ_t、ステップＳＡ０３で選択された行動ａ_t、ステップＳＡ０６で算出された報酬ｒ_t+1に基づいて、加工条件調整学習部２５が機械学習を進め、ステップＳＡ０２へ戻る。

【0051】

図５に戻って、学習結果記憶部２６は、加工条件調整学習部２５が学習した結果を記憶する。また、加工条件調整学習部２５が学習結果を再使用する際には、記憶している学習結果を加工条件調整学習部２５に出力する。学習結果の記憶には、上述したように、利用する機械学習アルゴリズムに応じた価値関数を、近似関数や、配列、又は多値出力のＳＶＭやニューラルネットワーク等の教師あり学習器などにより記憶するようにすれば良い。
なお、学習結果記憶部２６に、他のワイヤ放電加工機１や集中管理システム３０が記憶している学習結果を入力して記憶させたり、学習結果記憶部２６が記憶している学習結果を他のワイヤ放電加工機１や集中管理システム３０に対して出力したりすることも可能である。

【0052】

加工条件調整部２７は、加工条件調整学習部２５が学習した結果と現在の加工状態に係るデータとに基づいて加工条件の調整量を決定する。ここでいう加工条件の調整量の決定が、機械学習に用いられる行動ａに相当する。加工条件の調整は、例えば、加工条件を構成する各パラメータの変更量を組み合わせたものを選択可能な行動（行動１：電圧値＝−５％，行動２：印加時間＝＋１％，…）として用意しておき、過去の学習結果に基づいて将来に得られる報酬が最も大きくなる行動を選択するようにしてもよく、また、複数の加工条件の項目を同時に調整する行動を用意するようにしてもよい。更に、上記したεグリーディ法を採用し、所定の確率でランダムな行動を選択することで加工条件調整学習部２５の学習の進展を図るようにしてもよい。
その後、加工条件調整部２７は、決定された加工条件の調整量に基づいて加工条件記憶部１２から取得された加工条件を調整し、調整結果となる加工条件を加工電源２に対して設定する。そして、加工条件調整部２７が調整した加工条件に基づいて制御部１０により加工電源２の制御が行われる。

【0053】

その後、再び現在のワイヤ放電加工機１の状況の取得が機械学習器２０により行われ、入力された加工状態に係るデータを使用して学習を繰り返すことにより、より優れた学習結果を得ることができる。
このようにして機械学習器２０が学習した結果として、ワイヤ放電加工機１での被加工物の加工において加工状態に応じた加工条件の調整が行われるようになった段階で機械学習器２０による学習が完了する。

【0054】

上記学習が完了した学習データを用いて実際にワイヤ放電加工機で加工する際には、機械学習器２０は新たな学習を行なわないようにして学習完了時の学習データをそのまま使用して繰り返し運転をするようにしてもよい。
また、学習が完了した機械学習器２０（または、他の機械学習器２０の完了した学習データを学習結果記憶部２６に複写した機械学習器２０）を他のワイヤ放電加工機１に取付けて、学習完了時の学習データをそのまま使用して繰り返し運転をするようにしてもよい。
更に、学習が完了した機械学習器２０の学習機能を有効にしたままで他のワイヤ放電加工機１に取付けて、被加工物の加工を続けることで、ワイヤ放電加工機毎に異なる個体差や経年変化などを更に学習させ、当該ワイヤ放電加工機にとってより良い加工条件の調整を探索しながら運転することも可能である。

【0055】

ワイヤ放電加工機１の機械学習器２０は単独で機械学習をするようにしてもよいが、複数のワイヤ放電加工機１がそれぞれ外部との通信手段を更に備えると、それぞれの状態データ記憶部２２が記憶した加工状態に係るデータや学習結果記憶部２６が記憶した学習結果を送受信して共有することが可能となり、より効率良く機械学習を行うことができる。例えば、所定の範囲内で加工条件を変動させて学習する際に、複数のワイヤ放電加工機１において異なる調整量を所定の範囲内でそれぞれ変動させて加工しながら、それぞれのワイヤ放電加工機１の間で加工状態に係るデータや学習データをやり取りすることにより並列して学習を進めるようにすることで効率的に学習させることができる。
このように複数のワイヤ放電加工機１の間でやり取りする際には、通信は集中管理システム３０等のホストコンピュータを経由しても、直接ワイヤ放電加工機１同士が通信しても構わないし、クラウドを使用しても構わないが、大量のデータを取り扱う場合があるため、なるべく通信速度が速い通信手段が好ましい。

【0056】

以上、本発明の実施の形態について説明したが、本発明は上述した実施の形態の例のみに限定されることなく、適宜の変更を加えることにより様々な態様で実施することができる。

【符号の説明】

【0057】

１ ワイヤ放電加工機
２ 加工電源
１０ 制御部
１１ 環境情報記憶部
１２ 加工条件記憶部
２０ 機械学習器
２１ 状態観測部
２２ 状態データ記憶部
２３ 報酬条件記憶部
２４ 報酬計算部
２５ 加工条件調整学習部
２６ 学習結果記憶部
２７ 加工条件調整部
３０ 集中管理システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】