特開 2024-77778 機械学習装置、機械学習システム及びシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024077778

(43)【公開日】2024-06-10

(54)【発明の名称】機械学習装置、機械学習システム及びシステム

(51)【国際特許分類】

   G01M 13/02 20190101AFI20240603BHJP

   H02K 11/24 20160101ALI20240603BHJP

   H02K 7/116 20060101ALI20240603BHJP

【ＦＩ】

G01M13/02

H02K11/24

H02K7/116

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022189921

(22)【出願日】2022-11-29

(71)【出願人】

【識別番号】591156799

【氏名又は名称】ユニパルス株式会社

(72)【発明者】

【氏名】岩崎 信夫

【テーマコード（参考）】

2G024

5H607

5H611

【Ｆターム（参考）】

2G024AB02

2G024BA27

2G024CA12

2G024DA09

2G024FA04

2G024FA06

2G024FA15

5H607BB01

5H607EE31

5H611AA01

5H611BB01

5H611QQ01

5H611QQ03

5H611QQ08

(57)【要約】

【課題】変速機及び変速モータ装置の良否の判定のための機械学習装置、これを含む機械学習システムを提供することを課題としている。
【解決手段】モータ１０２の回転を変速する変速機１０４もしくは変速機１０４を有する変速モータ装置１の良否を判定するための計測条件を学習する機械学習装置３０１であって、計測に関する物理量Ｐと計測条件Ｃとで構成される状態変数を観測する状態観測部３０２と、計測した変速機１０４の良否判定結果を示す判定データを取得する判定データ取得部３０８と、状態変数と判定データとを用いて、計測条件を学習する学習部３０４と、を有し、学習部３０４は、学習した結果を記憶する学習結果記憶部３０７を含む機械学習装置。
【選択図】図１

【特許請求の範囲】

【請求項1】

モータの回転を変速する変速機もしくは前記変速機を有する変速モータ装置の良否を判定するための計測条件を学習する機械学習装置であって、
計測に関する物理量と前記計測条件とで構成される状態変数を観測する状態観測部と、
前記変速機の良否判定結果を示す判定データを取得する判定データ取得部と、
前記状態変数と前記判定データとを用いて、前記計測条件を学習する学習部と、を含み、
前記学習部は、学習した結果を記憶する学習結果記憶部を有する機械学習装置。

【請求項2】

前記計測条件は、
前記変速機の出力軸に設けられた出力軸トルク検出部から出力された出力軸トルク値の一部を除去及び加工して出力する信号処理と、
前記変速機の前記出力軸の回転方向と、
の少なくとも１つを含み
前記物理量は、
前記モータに接続された位置検出部から出力された前記出力軸の回転の位置値の波形データと、
前記出力軸トルク値の波形データと、
前記変速機の筐体に配された温度検出部によって検出された前記変速機の温度値の波形データと、を含む請求項１に記載の機械学習装置。

【請求項3】

前記物理量は、
前記変速機の出力軸に設けられた出力軸トルク検出部から出力された出力軸トルク値の波形データを高速フーリエ変換解析して生成するスペクトルデータを含む請求項１に記載の機械学習装置。

【請求項4】

前記物理量は、
前記変速モータ装置に配置された加速度検出部によって検出された加速度値の波形データと、
前記変速モータ装置に配置された角速度検出部によって検出された角速度値の波形データと、を含む請求項１に記載の機械学習装置。

【請求項5】

前記計測条件は、
前記変速機の出力軸に設けられた出力軸トルク検出部から出力された出力軸トルク値に同期して、前記変速機の入力軸に設けられた入力軸トルク検出部から出力された入力軸トルク値の一部を除去及び加工して出力する信号処理と、
前記入力軸トルク値及び前記出力軸トルク値から前記変速機の良否判定値を確定するために用いる判定処理の項目と、
を含む請求項１に記載の機械学習装置。

【請求項6】

前記学習部は、誤差計算部と、モデル更新部と、を有し、
前記誤差計算部は、前記状態変数と前記判定データとから前記計測条件を導く相関性モデルと、予め用意された教師データから識別される相関性特徴と、の誤差を計算し、
前記モデル更新部は、前記誤差を小さくするように前記相関性モデルを更新し、
前記学習結果記憶部は、前記モデル更新部が更新した結果を記憶する請求項１から５のいずれか一項に記載の機械学習装置。

【請求項7】

前記学習部は、
前記状態変数に基づいて前記計測条件を決定した結果に対する報酬を演算する報酬演算部と、
前記報酬に基づいて、行動価値関数を更新する行動価値関数更新部と、を含み、
前記行動価値関数更新部によって前記行動価値関数の更新を繰り返して、前記報酬が最も多く得られる前記計測条件を学習し、
前記報酬演算部は、報酬条件を設定する報酬条件設定部を含んでおり、前記報酬演算部は、前記報酬条件設定部により設定された前記報酬条件に基づいて前記報酬を演算し、
前記学習結果記憶部は、前記行動価値関数更新部が更新した結果を記憶する請求項１から５のいずれか一項に記載の機械学習装置。

【請求項8】

前記変速モータ装置と、
前記変速モータ装置に係る前記物理量を検出して演算する演算部を含んだ制御部と、
請求項１に記載の機械学習装置と、を備える機械学習システム。

【請求項9】

請求項８に記載の機械学習システムを複数備え、
前記各機械学習システムを互いに通信にて接続するネットワークと、
前記各機械学習システムに接続されて、前記状態観測部により観測された前記物理量及び前記学習結果記憶部により記憶された学習結果のうちの少なくとも一つを記憶する上位コンピュータと、を含むシステム。

【請求項10】

請求項８に記載の機械学習システムを複数備え、
前記各機械学習システムを互いに通信にて接続するネットワークを有し、
前記ネットワークは、前記状態観測部により観測された前記物理量及び前記学習結果記憶部により記憶された学習結果のうちの少なくとも一つを前記各機械学習システムの間で送受信するシステム。

【請求項11】

モータの回転を変速する変速機を有する複数の変速モータ装置と、
前記各変速モータ装置をそれぞれ制御する複数の制御部と、
前記各制御部に接続した請求項１に記載の少なくとも一つ以上の機械学習装置と、 を含むシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、変速機及び変速機を有する変速モータ装置の良否を判定する機械学習装置、この機械学習装置を含むシステムに関するものである。

【背景技術】

【0002】

モータの出力軸に連結されて、変速機によってモータの回転を減速させるとともにトルクを増大させる変速モータ装置がシリアルリンクロボットなどに、広く使用されている。そして減速により増大したトルクを検出するトルク検出部を組み込んだ変速モータ装置が公知である（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１６－７７１２１号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

この変速機や変速モータ装置の経年劣化を見極めて、構成部品の交換及び装置のメンテナンスの時期を知らせることが望まれている。

【0005】

本発明は、変速機及び変速モータ装置の良否の判定のための機械学習装置、これを含む機械学習システムを提供することを課題としている。

【課題を解決するための手段】

【0006】

本発明の機械学習装置は、モータの回転を変速する変速機もしくは変速機を有する変速モータ装置の良否を判定するための計測条件を学習する機械学習装置であって、
計測に関する物理量と計測条件とで構成される状態変数を観測する状態観測部と、
変速機の良否判定結果を示す判定データを取得する判定データ取得部と、
状態変数と判定データとを用いて、計測条件を学習する学習部と、を含み、
学習部は、学習した結果を記憶する学習結果記憶部を有する。

【0007】

また、計測条件は、
変速機の出力軸に設けられた出力軸トルク検出部から出力された出力軸トルク値の一部を除去及び加工して出力する信号処理と、
変速機の出力軸の回転方向と、
の少なくとも１つを含み
物理量は、
モータに接続された位置検出部から出力された出力軸の回転の位置値の波形データと、
出力軸トルク値の波形データと、
変速機の筐体に配された温度検出部によって検出された変速機の温度値の波形データと、を含んでいる。

【0008】

また、物理量は、
変速機の出力軸に設けられた出力軸トルク検出部から出力された出力軸トルク値の波形データを高速フーリエ変換解析して生成するスペクトルデータを含んでいる。

【0009】

また、物理量は、
変速モータ装置に配置された加速度検出部によって検出された加速度値の波形データと、
変速モータ装置に配置された角速度検出部によって検出された角速度値の波形データと、を含んでいる。

【0010】

また、計測条件は、
変速機の出力軸に設けられた出力軸トルク検出部から出力された出力軸トルク値に同期して、変速機の入力軸に設けられた入力軸トルク検出部から出力された入力軸トルク値の一部を除去及び加工して出力する信号処理と、
入力軸トルク値及び出力軸トルク値から変速機の良否判定値を確定するために用いる判定処理の項目と、
を含んでいる。

【図面の簡単な説明】

【0011】

【図1】本発明の第１の実施形態に係る変速モータ装置の機械学習システムの構成図である。

【図2】本発明の第１の実施形態に係る変速モータ部から出力される物理量の波形の例である。

【図3】本発明の第１の実施形態に係る変速モータ部から出力されるトルク値のＦＦＴ解析による振幅スペクトルの例である。

【図4】本発明の第２の実施形態に係る変速モータ装置の機械学習システムの構成図である。

【図5】本発明の第２の実施形態に係る変速モータ装置から出力される物理量の波形の例である。

【図6】本発明の第２の実施形態に係る変速モータ装置から出力されるトルク値のＦＦＴ解析による振幅スペクトルの例である。

【図7】本発明の変速モータ装置の教師あり学習における機械学習システムの詳細構成図である。

【図8】本発明の変速モータ装置の強化学習における機械学習システムの詳細構成図である。

【図9】本発明の変速モータ装置の強化学習における機械学習装置が行うフローチャートである。

【図10】本発明の複数の機械学習システムを含むシステムの構成図である。

【図11】本発明の複数の機械学習システムを含むシステムの変形例の構成図である。

【図12】本発明の機械学習装置を含むシステムの変形例の構成図である。

【発明を実施するための形態】

【0012】

以下、本発明に係る機械学習システムの実施形態について図面を参照して説明する。図１は、本発明の第１の実施形態の機械学習システム４０１の構成を示した図である。

【0013】

機械学習システム４０１は、変速モータ装置１と、機械学習装置３０１とで構成されている。変速モータ装置１は、変速モータ部１０１と制御部２０１とで構成されている。変速モータ部１０１は、モータ１０２と、位置検出部１０３と、変速機１０４と、トルク検出部１０６と、電気電子回路基板とを含んで構成される。制御部２０１は、変速モータ部１０１へ電源を供給して駆動する電気回路基板と、変速モータ部１０１に設けられた各検出手段からの電気信号を処理する電子回路とを含むコンピュータのハードウエアである回路基板と、演算等を行うソフトウエアで構成される。機械学習装置３０１は、制御部２０１と電気信号の送受信を行って計測に関する学習を行うコンピュータのハードウエア及びソフトウエアで構成される。なお変速モータ部１０１と、制御部２０１との配置は別体型で設けても良いし、一体組み込み型としても良い。

【0014】

変速モータ部１０１は、電気によるモータ１０２を動力源としている。モータ１０２の負荷側には変速機１０４が連結されて、モータ１０２の回転を変速機１０４によって変速させている。モータ１０２は、本実施形態では例えば交流サーボモータであるがこれに限るものではない。モータ１０２の反負荷側には位置検出部１０３が設けられている。位置検出部１０３は、例えば光学式のアブソリュートエンコーダであって、モータ１０２の回転の位置値θの信号をデジタル値で出力する。位置検出部１０３のいち検出方法はこれに限らず、磁力によるものなどの変形であっても良い。

【0015】

変速機１０４は例えば減速機であって、この場合モータ１０２の回転を減速するとともに負荷を駆動するのに必要なトルクに増幅させている。本発明の実施形態の変速機１０４は波動歯車減速機である。波動歯車減速機は、モータ１０２の回転軸に連結されて外周が楕円状のウエーブジェネレータ１０４ａと、ウエーブジェネレータ１０４ａの回転により円周方向へ撓まされる位置が変化するようにした弾性変形可能な外歯のフレクスプライン１０４ｃと、フレクスプライン１０４ｃの外周側にあってフレクスプライン１０４ｃの外歯と嵌合する内歯を備えたサーキュラスプライン１０４ｂと、を含んでいる。そして動力は、モータ１０２から、ウエーブジェネレータ１０４ａを経由してフレクスプライン１０４ｃを回転出力として繋げた出力軸１０５に取り出されて伝達する。そして変速機１０４のこれらの歯車は潤滑油で浸漬した筐体内に配置されている。

【0016】

変速機１０４は、波動歯車減速機に代えて差動減速機であっても良い。差動減速機はケーシングに嵌り回転するローラで構成する内歯車と、入力軸の偏心部に軸受を介して支持されるトロコイドギアからなる差動減速機構である。また、変速機１０４は、ボール減速機であっても良い。ボール減速機は、歯車の代わりに転動体であるスチールボールを介在させ、常時転がり接触によって動力を伝達する。

【0017】

トルク検出部１０６は出力軸１０５に配置されている。出力軸１０５の軸方向の中間部には、直径が他の部分よりも小さく形成した起歪部がある。この起歪部には出力軸１０５のねじりトルクを測定するために例えば歪みゲージ１０６ａが貼着されている。この起歪部は、出力軸１０５の軸方向には強度を有していて変形しないが、直径が他の部分よりも小さく形成されているため、ねじれ方向には変形する。したがって歪みゲージ１０６ａは、起歪部に生じるねじれ（剪断歪み）によって歪み、歪みゲージ１０６ａはせん断歪み量に応じた抵抗変化を生じる。ねじりトルクを検出は歪みゲージによるものに限らず、静電容量式若しくは磁歪式などであっても良い。

【0018】

歪みゲージ１０６ａは出力軸１０５に加わるねじりトルクに応じて起歪部に生ずる歪みを電気信号に変換するホイートストンブリッジ回路に組み込まれ、トルク検出部１０６の一部を構成している。そしてトルク検出部１０６は出力軸トルク値τｇをデジタル値で出力する。このトルク検出回路が回転基板１０６ｂに実装されている。

【0019】

回転基板１０６ｂは環状の円板であって、支柱等の固定支持部材を介して出力軸１０５に固定されて、出力軸１０５と一緒に回転する。回転基板１０６ｂは、歪みゲージ１０６ａの抵抗変化を検出するホイートストンブリッジ回路を含む抵抗変化検出回路と、抵抗変化検出回路の出力をデジタル信号に変換するアナログ・デジタル変換器と、このデジタル信号を処理するＣＰＵと、整流回路及び安定化回路等を備えている。そしてトルク検出回路から送出されたねじりトルク測定値の信号は、発光素子１０６ｃによって光信号に変換されて無線通信にて固定基板１０６ｅに実装された受光素子１０６ｄへ送られる。

【0020】

２つの固定基板１０６ｅは基板間コネクタで機械的かつ電気的に接続されていて、ケーシングに固定されている。固定基板１０６ｅは、発光素子１０６ｃが発した光信号を電気信号に変換するフォトダイオードなどの受光素子１０６ｄと、電気信号に変換したデジタル変調信号からねじりトルクの測定値の信号をデジタル復調によって取り出すデジタル復調回路とを備えている。そして固定基板１０６ｅは、配線ケーブルにより、変速モータ部１０１を制御する制御部２０１と繋がっている。なお固定基板１０６ｅから回転基板１０６ｂへの電力の供給は、非接触型の変圧器によって行われる。

【0021】

温度検出部１０７は、例えばサーミスタなどであって変速機１０４付近の外周面に取り付けられていて、変速機１０４の温度値Ｔをデジタル値で出力する。

【0022】

角速度・加速度検出部１０８は、変速モータ部１０１に加わる角速度値ω及び加速度値αを検出してこれをデジタル値で出力する。本実施形態は、角速度３軸，ω(ｘ，ｙ，ｚ方向)と、加速度３軸，α(ｘ，ｙ，ｚ方向)と、を一体化させた多軸センサである。もちろんこの軸数は、変速モータ部１０１の使用形態によって１～３軸の中で適宜選択されるものである。角速度は、コリオリ力を利用して物体の回転や向きの変化を角速度として検出して電気信号で出力する。加速度は、例えば検出電極間に生じる静電容量差を測定することで慣性力を検出して電気信号で出力する。角速度・加速度検出部１０８は、固定基板１０６ｅ上に実装されていても良いし、変速モータ部１０１の筐体内部に固定されていても良い。もちろん角速度・加速度検出部１０８は、角速度、加速度をそれぞれ別の素子で検出しても良いし、また変速モータ部１０１が使用される環境によって各軸数も適宜設定することができる。

【0023】

制御部２０１は、変速モータ部１０１と電気的に繋がって変速モータ部１０１へ駆動信号を送信し、変速モータ部１０１の各検出部からの検出信号を受信する。制御部２０１は、出力トルク信号処理部２０２と、ＦＦＴ部２０４と、演算部２０５と、判定部２０６と、判定結果表示部２０７、記憶部２０８と、制御実行部２０９、設定部２１０と、モータ駆動部２１１と、を含んでいる。

【0024】

出力トルク信号処理部２０２は、変速モータ部１０１のトルク検出部１０６から出力されたデジタル信号を処理して所定の期間分だけ記憶してこれをＦＦＴ部２０４へ出力する。

【0025】

ＦＦＴ部２０４は、出力トルク信号処理部２０２から出力トルク信号波形データを得て、これを離散的フーリエ変換して振幅スペクトルを生成して、これを振幅スペクトル波形データとして出力する。

【0026】

設定部２１０は、モータのトルクや回転速度の目標設定も行う。さらに設定部２１０は、制御部２０１に対しての入力手段の役割も有している。すなわち設定部２１０は、キーボードやタッチパネル等の入力手段を有している。

【0027】

演算部２０５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、入出力部と、信号処理部２０３を備えている。演算部２０５は、トルク検出部１０６から出力された出力軸トルク値τｇの信号データと、位置検出部１０３から出力された位置値θの信号データと、角速度・加速度検出部１０８から出力された加速度値αの信号データ及び角速度値ωの信号データと、温度検出部１０７から出力された温度値Ｔの信号データと、ＦＦＴ部（高速フーリエ変換部）２０４から出力された振幅スペクトルの波形データと、を受信して、信号処理部２０３にて同じ時系列にそれぞれ波形を生成し、これらを基に演算して変速モータ部１０１の良否判定用の信号データを生成して判定部２０６へ出力する。信号処理部２０３はフィルタを含んでいて、バンドパスフィルタ、ローパスフィルタ、平均化処理のフィルタなどが用いられる。なお各検出部からの信号は本実施形態ではデジタル出力であるが、これに限らずアナログ信号であってもよく、この場合には信号処理部２０３がアナログ・デジタル変換の機能を有する。また信号処理部２０３が出力トルク信号処理部２０２を、演算部２０５がＦＦＴ部２０４をそれぞれ包括する構成であっても良い。

【0028】

演算部２０５はさらに、後述する状態変数（物理量Ｐと計測条件Ｃ）を機械学習装置３０１の状態観測部３０２へ出力する。

【0029】

記憶部２０８は、書き換え消去が可能なＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を有する。記憶部２０８は、例えば出力軸トルク値τｇの波形と、位置値θの波形と、加速度値αの波形と、角速度値ωの波形と、温度検出部１０７から出力された温度値Ｔの波形と、ＦＦＴ部２０４から出力された振幅スペクトル波形と、モータ指令の電流値ｉの波形と、を記憶する。また記憶部２０８には、変速モータ部１０１の良否判定の出力トルクの上下限の範囲、ＦＦＴ部２０４の振幅スペクトルに表れる代表的な周波数、変速モータ部１０１が正常時の出力軸トルク値τｇの波形、変速モータ部１０１が異常時の出力軸トルク値τｇの波形、等が記憶されていても良い。

【0030】

モータ駆動部２１１は、設定部２１０からの設定情報にしたがって、記憶部２０８内に記憶されている現在駆動中のモータ速度、電流値ｉを参照してそれぞれ所定の速度や設定された目標トルクでモータ１０２を駆動する。

【0031】

判定部２０６は、例えば演算部２０５から記憶部２０８に記憶されている出力トルクの判定用上下限値と、出力トルク信号処理部２０２から得た出力トルク値と、を比較して許容範囲内にあるかを判定する。判定部２０６は、出力トルク値が範囲内であれば正常として判定出力し、範囲外であれば不良と判定し、この良否判定結果の情報を判定結果表示部２０７へ送信する。判定部２０６はさらに、この良否判定結果と、出力トルク値と、判定用上下限値とを判定データとして機械学習装置３０１の判定データ取得部３０８へ出力する。また判定部２０６は、ＦＦＴ部２０４から出力された振幅スペクトルデータ波形から演算部２０５にて抽出された振幅スペクトルにおいて、変速モータ部１０１の正常時に現れていない所定以上の値を示す周波数が存在しない場合に正常と判定出力し、変速モータ部１０１の正常時に現れていない所定以上の値を示す周波数が存在する場合に不良と判定し、この良否判定結果の情報を判定結果表示部２０７へ送信しても良い。

【0032】

判定結果表示部２０７は判定部２０６からの情報を受信して、良否判定結果、出力トルク値及び判定用上下限値、振幅スペクトルグラフなどを表示する。

【0033】

機械学習装置３０１は、状態観測部３０２と、判定データ取得部３０８と、学習部３０４と、意思決定部３０３とを含んでいる。状態観測部３０２は、例えばコンピュータのＣＰＵの一つの機能として、あるいはコンピュータのＣＰＵを機能させるためのソフトウエアとして構成できる。状態観測部３０２が観測する状態変数には、例えば物理量Ｐと計測条件Ｃを含んでいる。状態観測部３０２は、物理量Ｐと計測条件Ｃを、制御部２０１の演算部２０５から受信する。

【0034】

物理量Ｐは、例えば、回転の位置値の波形データ、出力軸トルク値の波形データ、変速機の温度値の波形データ、出力軸トルク値の振幅スペクトルデータ、変速機の加速度値の波形データ、変速機の角速度値の波形データなどである。

【0035】

計測条件Ｃは、例えば、モータ指令速度、モータ指令トルク、出力軸トルク信号に適用するフィルタ種類、変速機１０４の出力軸１０５の回転方向、角速度・加速度検出部１０８からの角速度信号及び加速度信号に適用するフィルタ種類、ＦＦＴ部２０４の振幅スペクトルを生成処理する際のフィルタ種類などを含めることができる。なお計測条件Ｃは、計測に関する物理量Ｐに含まれる場合もある。

【0036】

なお、これらの状態変数は上記の項目に限定されるものではなく、他の有用な変数を状態変数として用いることが可能である。

【0037】

判定データ取得部３０８は、例えばコンピュータのＣＰＵの一つの機能として、あるいはコンピュータのＣＰＵを機能させるためのソフトウエアとして構成できる。判定データ取得部３０８が取得する判定データは、変速モータ部１０１に対して計測が行われた後に、制御部２０１の判定部２０６から取得できる。判定データは、ある状態変数の下で計測を実行した時の結果を表す指標であって、計測が行われた環境の現在の状態を間接的に表す。

【0038】

学習部３０４は、例えばコンピュータのＣＰＵの一つの機能として、あるいはコンピュータのＣＰＵを機能させるためのソフトウエアとして構成できる。学習部３０４は、機械学習のアルゴリズムにしたがい、変速モータ部１０１の計測条件を学習する。学習部３０４は、変速モータ部１０１に対して、前述の状態変数と判定データとを含むデータ集合に基づく学習を反復実行する。

【0039】

意思決定部３０３は、例えばコンピュータのＣＰＵの一つの機能として、あるいはコンピュータのＣＰＵを機能させるためのソフトウエアとして構成できる。意思決定部３０３は、例えば学習部３０４が学習した計測条件を、使用者等に対して判定結果表示部２０７等を共用して表示する。また意思決定部３０３は、学習部３０４が学習した計測条件に基づいて、変速モータ部１０１の制御部２０１の制御実行部２０９への指令値を生成して出力する。意思決定部３０３が計測条件を決定し、これに基づいて制御部２０１の制御実行部２０９へ指令値を出力した場合、これに応じて計測条件が変化する。

【0040】

図２は本発明の第１の実施形態に係る変速モータ装置１の物理量の一部例等をタイミングチャートで表したものである。横軸は共通で時刻ｔを示していて、取得された各波形を同時刻に揃えて表したものである。

【0041】

図２（ａ）はモータ駆動部２１１から出力される電流値ｉを示していて、正側がモータの正転、負側がモータの逆転である。電流は実際の電流値を計測しても良いし、指令としてのロジックであっても良い。したがってこの電流値ｉの符号によってモータ１０２の回転方向が特定でき、したがって変速機１０４の出力軸１０５の回転方向も特定できる。

【0042】

図２（ｂ）は信号処理部２０３から出力される位置信号波形データの例である。本実施形態の変速機１０４は減速比が３０：１であることから、出力軸１０５を１回転させるのにモータ１０２は３０回転することが必要である。したがって図２（ｂ）は、若干のオーバラップを有して回転の位置値θが０度から１０８００度を少し超えた値の間を繰り返した様子を示している。

【0043】

図２（ｃ）は出力トルク信号波形データの例である。モータ１０２が正転している時には出力トルク信号は正で、モータ１０２が逆転している時には出力トルク信号は負でそれぞれ表している。

【0044】

図２（ｄ）は温度検出部１０７から出力される温度の波形データの例である。変速モータ部１０１を運転することで次第に温度が上昇する。

【0045】

図２（ｅ）は角速度信号処理部２１３から出力されるｘ方向の角速度信号波形データの例である。図２（ｆ）は加速度信号処理部２１２から出力されるｘ方向の加速度信号波形データの例である。図２（ｅ）及び図２（f）ではｘ方向のみの角速度と加速度の波形データのみを示しているが、角速度・加速度検出部１０８からｙｚ方向においても同様に角速度信号波形データ、加速度信号データを得ることができる。

【0046】

演算部２０５の信号処理部２０３で行う変速モータ部１０１の良否判定用の判定信号処理は、例えば単純平均処理、除去平均処理などがある。

【0047】

単純平均処理は、出力トルク信号波形において規定した計測開始から終了までの計測期間内の全計測データを加算して、これをデータ数で割り算して平均値を求めて変速モータ部１０１の良否判定用のトルク値として確定する処理である。

【0048】

除去平均処理は、出力トルク信号波形において規定した計測開始から終了までの計測期間内の全データのうち最大値と最小値を抽出し、その最大値と最小値の差を所定の分割数にて割ってグループ分けし、最大のグループ及び最小のグループのデータを除去して、残りのグループのデータを単純平均して平均値を求めて変速モータ部１０１の良否判定用のトルク値として確定する処理である。

【0049】

判定部２０６は演算部２０５からこの良否判定用のトルク値を受信して、記憶部２０８に記憶されている良否判定のトルク値の上限値τ_Ｈ、下限値τ_Ｌと比較する。判定部２０６は、良否判定用のトルク値が上限値τ_Ｈから下限値τ_Ｌの範囲内であれば良品として判定出力し、範囲外であれば不良と判定し、この良否判定結果の情報を判定結果表示部２０７へ送信する。

【0050】

図３は本発明の第１の実施形態に係る出力トルク信号処理部２０２から出力されたトルク値波形を高速フーリエ変換してこれを解析した振幅スペクトルの例である。横軸は周波数、縦軸はスペクトル強度である。図３は、変速モータ部１０１が正常な時の振幅スペクトルであって、基準値ａｖを超える特徴的な周波数は周波数ｆａ，ｆｂ，ｆｃ，ｆｄの４つである。したがって、記憶部２０８にはこの４つの周波数ｆａ，ｆｂ，ｆｃ，ｆｄが記憶されている。

【0051】

判定部２０６は演算部２０５から現在の振幅スペクトルデータを受信して、記憶部２０８に記憶されている良否判定の４つの周波数ｆａ，ｆｂ，ｆｃ，ｆｄと比較する。判定部２０６は、現在の振幅スペクトルデータにおいて基準値ａｖを超える強度の周波数が４つの周波数ｆａ，ｆｂ，ｆｃ，ｆｄと合致すれば良品として判定出力し、新たな周波数があれば不良と判定し、この良否判定結果の情報を判定結果表示部２０７へ送信する。

【0052】

図４は、本発明の第２の実施形態の機械学習システム４０１の構成を示した図である。機械学習システム４０１は、変速モータ装置１と、機械学習装置３０１とで構成されている。変速モータ装置１は、変速モータ部１０１と制御部２０１とで構成されている。変速モータ部１０１は、モータ１０２と、位置検出部１０３と、変速機１０４と、トルク検出部１０６と、トルク検出部１０９と、を含んで構成される。制御部２０１は、変速モータ部１０１へ電源を供給して駆動する電気回路基板と、変速モータ部１０１に設けられた各検出手段からの電気信号を処理する電子回路とを含むコンピュータのハードウエアすなわち回路基板と、演算等を行うソフトウエアで構成される。機械学習装置３０１は、制御部２０１と電気信号の送受信を行って計測に関する学習を行うコンピュータのハードウエア及びソフトウエアで構成される。

【0053】

変速モータ部１０１は、第２の実施形態では主として変速機１０４の単体評価を行う所謂テストベンチなどに適するように構成されている。モータ１０２、変速機１０４、トルク検出部１０６の接続形態は第１の実施形態と同じであるが、それぞれ独立した装置で構成され、さらにモータ１０２の出力軸（変速機１０４の入力軸）にトルク検出部１０９が挿入されている。そして、モータ１０２とトルク検出部１０９、トルク検出部１０９と変速機１０４、変速機１０４とトルク検出部１０６はそれぞれ軸継手若しくはフランジ構造で接続されている。トルク検出部１０６は、モータ１０２の出力トルク、すなわち変速機１０４の入力軸トルク値τｍを検出してデジタル値で出力する。

【0054】

第２の実施形態における制御部２０１、機械学習装置３０１の構成は第１の実施形態と基本的に同じである。第２の実施形態の制御部２０１が第１の実施形態の制御部２０１と相違点について説明する。第１の相違点は、変速機１０４の入力軸トルク値τｍが出力軸トルク値τｇに同期して、入力軸トルク値τｍの一部を除去及び加工して出力する信号処理部２０３を有していることである。信号処理部２０３はフィルタを含んでいて、バンドパスフィルタ、ローパスフィルタ、平均化処理のフィルタなどである。第２の実施形態では、変速機１０４の入力軸トルク値τｍによってモータ１０２のコギングトルクなどを検出することができるため、変速機１０４の出力軸トルク値τｇと同時刻で比較することで、変速機１０４の状態をより精確に把握することが可能となる。例えば変速機１０４が波動歯車減速機である場合、フレクスプラインが湾曲するためトルクリップルが生じるので、減速前のトルクがそのまま変速機１０４の出力軸１０５に現れることはない。また変速機１０４がボール減速機である場合、ボールの動きによってトルクが脈動する現象が生じ、波動歯車減速機同様に減速前のトルクがそのまま変速機１０４の出力軸１０５に現れることはない。なおトルク検出部１０６側に駆動装置を取り付けて駆動することで、バックドライビリティも評価することができる。

【0055】

第２の相違点は、入力軸トルク信号及び出力軸トルク信号から変速機の良否判定値を確定するために用いる判定処理の項目を有していることである。この判定処理の種類として、例えば変速機１０４の変速比であって、変速機１０４の出力軸が１回転する時のモータ１０２の回転数の比である。これによって変速機１０４の出力段の部材の回転全域に渡った性能特性を明らかにすることができる。

【0056】

図５は本発明の第２の実施形態に係る変速モータ装置１の物理量の一部例等をタイミングチャートで表したものである。横軸は共通で時刻ｔを示していて、取得された各波形を同時刻に揃えて表したものである。図６では時刻の途中を省略して、初期の部分ｔ１と時間が経過した部分ｔ２とを表している。

【0057】

図５（ｃ）において、初期の部分ｔ１では大きなトルクの変動ピークは見受けられないが、経過した部分ｔ２では、モータの回転の位置値θで０度から３６００度の間に変動が見受けられる。図５（ｇ）は、変速機１０４の入力軸トルク値τｍの波形である。したがって出力軸トルク値τｇの波形に乗る成分と入力軸トルク値τｍのとの関係から、波形に適用する適切なフィルタを機械学習によって明らかにできる。

【0058】

図６は本発明の第２の実施形態に係る出力トルク信号処理部２０２から出力されたトルク値波形のＦＦＴ解析による振幅スペクトルの例である。横軸は周波数、縦軸はスペクトル強度である。図６（ａ）は、変速モータ部１０１が正常な時の振幅スペクトルであって、基準値ａ_ｕを超える特徴的な周波数は周波数ｆｅ，ｆｇ，ｆｈ，ｆｉの４つである。したがって、記憶部２０８にはこの４つの周波数ｆｅ，ｆｇ，ｆｈ，ｆｉが記憶されている。一方図６（ｂ）は、変速モータ部１０１に何かしらの異常が発生していると思われる時の振幅スペクトルであって、基準値ａｖを超える特徴的な周波数は周波数ｆｅ，ｆｇ，ｆｈ，ｆいの４つに加えて、周波数ｆｊ，ｆｋが現れている。

【0059】

図７は本発明の実施形態に係る機械学習システム４０１の詳細構成図である。機械学習システム４０１は、変速モータ装置１と機械学習装置３０１とで構成されている。ここで示されている機械学習システム４０１は、機械学習が教師あり学習を行う場合である。教師あり学習は、入力とそれに対応する出力との既知のデータセット、いわゆる教師データが予め大量に与えられる。機械学習装置３０１は、この教師データから入力と出力との相関性を暗示する特徴を識別して、新たな入力に対する出力を推定するための相関性モデル、例えばここでは計測条件を学習する。

【0060】

制御部２０１の演算部２０５は、状態変数を構成する物理量Ｐと計測条件Ｃとを演算して出力する。一方、機械学習装置３０１の状態観測部３０２は、演算部２０５から出力された物理量Ｐと計測条件Ｃとを受信する。

【0061】

図７に示す機械学習装置３０１は、状態観測部３０２と、学習部３０４ａと、意思決定部３０３と、判定データ取得部３０８とを有する。状態観測部３０２は、制御部２０１の演算部２０５から出力された物理量Ｐと計測条件Ｃとを受信する。状態観測部３０２は学習部３０４ａへこの物理量Ｐと計測条件Ｃとを送信する。一方、判定データ取得部３０８は制御部２０１の判定部２０６から出力された判定データを受信する。判定データ取得部３０８は学習部３０４ａへこの判定データを送信する。

【0062】

学習部３０４ａは、誤差計算部３０５と、モデル更新部３０６と、学習結果記憶部３０７を備える。誤差計算部３０５は、状態変数及び判定データから計測を行う際の最適な計測条件を導く相関性モデルと、予め用意された教師データから識別される相関性特徴と、の誤差を計算する。モデル更新部３０６は、この誤差を縮小するように相関性モデルを更新する。そして学習部３０４ａは、モデル更新部３０６が相関性モデルの更新を繰り返すことによって計測における最適な計測条件を学習して、学習結果記憶部３０７にてこれを記憶する。意思決定部３０３は、学習部３０４ａが学習した計測条件に基づいて、変速モータ装置１の制御部２０１の制御実行部２０９への指令値を生成して出力する。

【0063】

なお学習結果記憶部３０７に、他の機械学習装置によって得られた学習結果や、他の機械学習システムが記憶している学習結果を入力して記憶させても良い。さらに学習結果記憶部３０７が記憶している学習結果を、他の機械学習装置や他の機械学習システムに対して出力することも可能である。

【0064】

相関性モデルの初期値は、例えば、状態変数及び判定データとの相関性を単純化して表現したものであり、教師あり学習の開始前に学習部３０４ａに与えられる。教師データは、例えば、過去の計測において管理者等が決定した計測条件を記録することで蓄積された経験値（変速機の種類や変速比と、適切な計測条件との既知のデータセット）によって構成される。誤差計算部３０５は、学習部３０４ａに与えられた大量の教師データから変速機１０４の種類や変速比と、適切な計測条件との相関性を暗示する相関性特徴を識別し、この相関性特徴と、現在の状態における状態変数及び判定データに対応する相関性モデルとの誤差を求める。モデル更新部３０６は、例えば予め定めた更新ルールにしたがい、誤差が小さくなる方向へ相関性モデルを更新する。

【0065】

相関性モデルの初期値が与えられた後、誤差計算部３０５は、更新後の相関性モデルにしたがって計測を試行することで変化した状態変数及び判定データを用いて、変化した状態変数及び判定データに対応する相関性モデルに対して誤差を求める。そしてこの誤差に基づきモデル更新部３０６は、再び相関性モデルを更新する。これを繰り返して、未知であった変速モータ部１０１の現在状態とそれに対する適切な計測条件との相関性が徐々に明らかになる。相関性モデルの更新により、変速機１０４の種類や変速比と、適切な計測条件との関係が最適解に徐々に近づく。

【0066】

教師あり学習を進める際に、例えばニューラルネットワークを用いても良い。ニューラルネットワークは、例えばニューロンのモデルと同様の構造の演算装置や記憶装置等によって構成できる。機械学習装置３０１においては、状態変数と判定データとを入力として、学習部３０４ａがニューラルネットワークにしたがう多層構造の演算を行い、計測を行う際の最適な計測条件を出力することができる。ニューラルネットワークの動作モードには、学習モードと価値予測モードとがあり、例えば学習モードで学習データセットを用いて重みを学習し、学習した重みを用いて価値予測モードで行動の価値判断を行うことができる。

【0067】

上記の機械学習装置３０１の構成は、コンピュータのＣＰＵが実行する機械学習方法、あるいはソフトウエアとして記述できる。この機械学習方法は、計測を行う際の最適な計測条件を学習する方法である。この機械学習方法は、状態変数観測ステップと、判定データ取得ステップと、学習ステップを有している。状態変数観測ステップは、計測を行う際の計測条件を示す条件データを状態変数として観測する。判定データ取得ステップは、この状態変数のもとで計測を行った際の計測の判定が良好であった時の計測条件を示す判定データを取得する。学習ステップは、この状態変数と判定データとを用いて、計測を行う際の計測条件と適切な計測条件とを関連付けて学習する。

【0068】

なお図７における機械学習システム４０１は、学習部３０４ａが教師あり学習を行う場合について説明したが、半教師あり学習、教師なし学習などの各種の機械学習を行うことも可能である。

【0069】

図８は本発明の機械学習システム４０１の変形例の詳細構成図である。機械学習システム４０１は、変速モータ装置１と機械学習装置３０１とで構成されている。図８に示す機械学習システム４０１は機械学習を強化学習にて行う場合である。強化学習は、学習対象が存在する環境の現在状態（入力）を観測するとともに、現在状態で所定の行動（出力）を実行し、その行動に対し予め定めた報酬を与えるというサイクルを反復して、報酬の総計が最大化されるような計測条件を最適なものとして学習する手法である。

【0070】

図８に示す機械学習装置３０１において、学習部３０４ｂは、報酬演算部３０９と、行動価値関数更新部３１１と、学習結果記憶部３０７とを備える。報酬演算部３０９は、状態変数に基づいて計測することにより得られる判定結果に関連する報酬を求める。行動価値関数更新部３１１はこの報酬を用いて、計測時に使用される計測条件の価値を表す行動価値関数Ｑを更新する。そして学習部３０４ｂは、行動価値関数更新部３１１が行動価値関数Ｑの更新を繰り返すことによって変速モータ装置１の計測条件を学習する。

【0071】

学習部３０４ｂが実行するいわゆるＱ学習として知られる強化学習について説明する。この強化学習のアルゴリズムは、行動主体の状態ｓと、その状態ｓで行動主体が選択し得る行動ａとを独立変数として、状態ｓで行動ａを選択した場合の行動の価値を表す行動価値関数Ｑ（ｓ，ａ）を学習する方法である。状態ｓで行動価値関数Ｑ（ｓ，ａ）が最も高くなる行動ａを選択することが最適解となる。学習部３０４ｂは、状態ｓと行動ａとの相関性が未知の状態でＱ学習を開始し、任意の状態ｓで種々の行動ａを選択する試行錯誤を繰り返すことで、行動価値関数Ｑ（ｓ，ａ）を反復して更新し、最適解に近づける。ここで、状態ｓで行動ａを選択した結果として環境（状態ｓ）が変化した時に、その変化に応じた報酬ｒ（行動ａの重み付け）が得られるように構成し、より高い報酬ｒが得られる行動ａを選択するように学習を誘導することで、行動価値関数Ｑ（ｓ，ａ）を比較的短時間で最適解に近づけることができる。

【0072】

行動価値関数Ｑ（ｓ，ａ）の更新式は、一般に下記の数１式のように表すことができる。数１式において、ｓ_ｔ及びａ_ｔはそれぞれ時刻ｔにおける状態及び行動であり、行動ａ_ｔにより状態はｓ_ｔ+1に変化する。ｒ_ｔ+1は、状態がｓ_ｔからｓ_ｔ+1に変化したことで得られる報酬である。ｍａｘの項は、時刻ｔ＋１で最大の価値になる行動を行った時の価値を意味する。αは学習係数であり、０＜α≦１、 ０＜γ≦１で任意設定され、行動価値関数Ｑ（ｓ，ａ）の更新をどれだけ急速に行うかを設定するものである。一方、γは割引率であり、０＜γ≦１で任意設定され、将来の価値をどれだけ割り引いて考えるかを設定するものである。

【数1】

【0073】

学習部３０４ｂがＱ学習を実行する場合、状態観測部３０２が観測した状態変数、及び判定データ取得部３０８が取得した判定データは、更新式の状態ｓに該当する。現在状態の計測条件をどのように変更するかという行動は、更新式の行動ａに該当する。報酬演算部３０９が求める報酬は、更新式の報酬ｒに該当する。よって行動価値関数更新部３１１は、現在状態の計測条件の価値を表す行動価値関数Ｑ（ｓ，ａ）を、報酬を用いたＱ学習により繰り返し更新する。

【0074】

報酬演算部３０９が求める報酬は、例えば物理量が予め設定された範囲内で安定している場合に正（プラス）の報酬とし、物理量が予め設定された範囲外となっている場合に負（マイナス）の報酬とすることができる。正負の報酬の絶対値は、互いに同一であっても良いし異なっていても良い。この報酬に係る項目の詳細については図９のフローチャート図を用いて後述する。

【0075】

報酬条件設定部３１０は、正負の報酬の値を設定する役割を持っている。報酬条件設定部３１０は、学習が進むにつれて正負の報酬の値を変化させても良い。

【0076】

行動価値関数更新部３１１は、状態変数ｓと判定データｄと報酬ｒとを、行動価値関数Ｑ（ｓ，ａ）で表される行動価値と関連付けて整理した例えば行動価値テーブルを有している。この場合に、行動価値関数更新部３１１が行動価値関数Ｑ（ｓ，ａ）を更新するという行為は、行動価値関数更新部３１１が行動価値テーブルを更新するという行為を指すことに等価と言える。Ｑ学習の開始時には環境の現在状態とそれに対する行動との相関性は未知であるから、行動価値テーブルにおいては、種々の状態変数ｓと判定データｄと報酬ｒとが、無作為に定めた行動価値の値と関連付けた形態で用意されている。なお報酬演算部３０９は、判定データｄに基づきこれに対応する報酬ｒを直ちに算出でき、算出した値の報酬ｒが行動価値テーブルに書き込まれる。

【0077】

変速モータ部１０１の合否判定結果に応じた報酬ｒを用いてＱ学習を進めると、より高い報酬ｒが得られる行動を選択する方向へ学習が誘導される。そして選択した行動を現在状態で実行した結果として変化する環境の状態（状態変数及び判定データ）に応じて、現在状態で行う行動の行動価値の値が書き替えられて行動価値テーブルが更新される。この更新を繰り返すことにより、行動価値テーブルにおける行動価値の値は、適正な行動ほど大きな値となるように更新される。この更新を繰り返すことで、未知であった環境の現在状態とそれに対する行動との相関性が徐々に明らかになる。つまり行動価値テーブルの更新により、計測条件が最適なものに徐々に近づくことになる。

【0078】

学習結果記憶部３０７は、学習部３０４ｂが学習した学習結果を記憶する。この学習結果とは例えば行動価値の値を含む行動価値テーブルを指す。

【0079】

図９は本発明の強化学習用の機械学習システムが実行するフローチャート図である。図９により、機械学習装置３０１が行うＱ学習のフローを説明する。

【0080】

ステップＳ０１にて、状態観測部３０２は変速モータ装置１の状態変数に係るデータを、判定データ取得部３０８は変速モータ装置１の判定部２０６の判定に係るデータを取得する。

【0081】

ステップＳ０２にて、学習部３０４ｂは、状態観測部３０２が取得した状態変数に係るデータと、判定データ取得部３０８が取得した判定に係るデータと、に基づいて現在の状態Ｓ_ｔを特定する。

【0082】

ステップＳ０３にて、学習部３０４ｂは、過去の学習結果とステップＳ０２にて特定した現在の状態に基づいて行動ａ_ｔを選択し、意思決定部３０３は学習部３０４ｂにて選択された行動に基づいて行動ａ_ｔを実行する。

【0083】

ステップＳ０４にて、状態観測部３０２は変速モータ装置１の状態変数に係るデータを、判定データ取得部３０８は変速モータ装置１の判定部２０６の判定に係るデータをそれぞれ新たに取得する。この時、変速モータ装置１の状態は、ステップＳ０３を実行していることから時刻が推移しているとともに実行された行動により変化している。

【0084】

ステップＳ０５にて、報酬演算部３０９は、ステップＳ０４で取得した状態変数に係る物理量の連続した複数のデータを基に、この複数のデータの変動が小さいすなわち物理量が安定しているかどうかを判断する。ステップＳ０５にて報酬演算部３０９が、物理量が安定していると判断した場合（Ｙｅｓ）はステップＳ０６へ進み、物理量が安定していないと判断した場合（Ｎｏ）はステップＳ０７へ進む。物理量が安定しているかどうかの許容範囲は予め個別に設定されているものである。

【0085】

ステップＳ０６にて、報酬演算部３０９は、正の値の報酬を演算してステップＳ０８へ進む。一方ステップＳ０７にて、報酬演算部３０９は、負の値の報酬を演算してステップＳ０８へ進む。

【0086】

ステップＳ０８にて、報酬演算部３０９は、ステップＳ０４で取得した状態変数に係るデータを基に、出力軸のトルクが設定した範囲内にあるかどうかを判断する。出力軸のトルクが設定した範囲内にあると判断した場合（Ｙｅｓ）はステップＳ０９にて正の値の報酬を演算した後ステップＳ１１へ進み、そうでないと判断した場合（Ｎｏ）はステップＳ１０にて負の値の報酬を演算した後ステップＳ１１へ進む。

【0087】

ステップＳ１１にて、報酬演算部３０９は、ステップＳ０４で取得した状態変数に係るデータを基に、回転位置に依存した出力軸のトルク変化があるかどうかを判断する。回転位置に依存した出力軸のトルク変化がないと判断した場合（Ｙｅｓ）はステップＳ１２にて正の値の報酬を演算した後ステップＳ１４へ進み、そうでないと判断した場合（Ｎｏ）はステップＳ１３にて負の値の報酬を演算した後ステップＳ１４へ進む。

【0088】

ステップＳ１４にて、報酬演算部３０９は、ステップＳ０４で取得した状態変数に係るデータを基に、回転方向による出力軸のトルクの差の有無を判断する。回転方向による出力軸のトルクの差がないと判断した場合（Ｙｅｓ）はステップＳ１５にて正の値の報酬を演算した後ステップＳ１７へ進み、そうでないと判断した場合（Ｎｏ）はステップＳ１６にて負の値の報酬を演算した後ステップＳ１７へ進む。

【0089】

ステップＳ１７にて、報酬演算部３０９は、ステップＳ０４で取得した状態変数に係るデータを基に、ＦＦＴ解析による出力軸のトルク振幅スペクトルに規定以上の新たなピーク周波数があるかどうかを判断する。新たなピーク周波数がないと判断した場合（Ｙｅｓ）はステップＳ１８にて正の値の報酬を演算した後ステップＳ２０へ進み、そうでないと判断した場合（Ｎｏ）はステップＳ１９にて負の値の報酬を演算した後ステップＳ２０へ進む。

【0090】

ステップＳ２０にて、報酬演算部３０９は、ステップＳ０４で取得した状態変数に係るデータを基に、変速機の温度が規定範囲内であるかどうかを判断する。変速機の温度が規定範囲内であると判断した場合（Ｙｅｓ）はステップＳ２１にて正の値の報酬を演算した後ステップＳ２３へ進み、そうでないと判断した場合（Ｎｏ）はステップＳ２２にて負の値の報酬を演算した後ステップＳ２３へ進む。

【0091】

ステップＳ２３にて、報酬演算部３０９は、ステップＳ０４で取得した判定に係るデータを基に、設定トルクを変化させた時の出力軸のトルクの応答時間が所定の値内であるかどうかを判断する。出力軸のトルクの応答時間が所定の値内であると判断した場合（Ｙｅｓ）はステップＳ２４にて正の値の報酬を演算した後ステップＳ２６へ進み、そうでないと判断した場合（Ｎｏ）はステップＳ２５にて負の値の報酬を演算した後ステップＳ２６へ進む。

【0092】

ステップＳ２６にて、行動価値関数更新部３１１は、ステップＳ０６～Ｓ２４で、報酬演算部３０９が求めた負の報酬又は正の報酬を行動価値関数Ｑの更新式に適用し、更新後の行動価値関数Ｑとして行動価値関数のテーブルを更新して、ステップＳ０２へ戻る。学習部３０４ｂは、ステップＳ０２～ステップＳ２６の区間を繰り返すことで行動価値関数のテーブルを反復して更新し、計測条件の学習を行う。なお各判断ステップにおける判断項目はこれに限らず、変速機の種類、変速比などによって定めることができる。

【0093】

なお機械学習においては、計測条件の少なくとも１つを所定の範囲内で意図的に変動させて学習部３０４に学習させることも可能である。計測条件を意図的に変動させることで、外乱に対するロバスト性を高めた学習を実施することができる。

【0094】

図１０は本発明の複数の機械学習システムを含むシステムの構成図である。システム５０１は、複数の機械学習システム４０１ａ～４０１ｄと、上位コンピュータ４０２と、これらを互いに通信にて接続するネットワーク４０３で構成される。各機械学習システム４０１ａ～４０１ｄにはそれぞれ、変速モータ装置１ａ～１ｄと、機械学習装置３０１ａ～３０１ｄとで構成されている。各変速モータ装置１ａ～１ｄは、変速モータ部１０１ａ～１０１ｄと、制御部２０１ａ～２０１ｄで構成されている。

【0095】

このシステム５０１の構成では、各機械学習装置３０１ａ～３０１ｄで学習した学習結果が上位コンピュータ４０２にアップロードされる。そして上位コンピュータ４０２にアップロードされた学習データは、各機械学習装置３０１ａ～３０１ｄが共有することができる。この構成では、各機械学習システム４０１ａ～４０１ｄに機械学習を行う機械学習装置３０１ａ～３０１ｄが設けられているので、高速に学習処理を行い、その結果を全ての機械学習システム４０１ａ～４０１ｄで用いることができる。

【0096】

図１１は本発明の複数の機械学習システムを含むシステムの変形例の構成図である。システム５０２は、複数の機械学習システム４０１ａ、４０１ｂと、複数の変速モータ装置１ｃ、１ｄと、これらを互いに通信にて接続するネットワーク４０３で構成される。機械学習システム４０１ａ、４０１ｂにはそれぞれ、機械学習装置３０１ａ、３０１ｂが組み込まれているが、複数の変速モータ装置１ｃ、１ｄは直接的に機械学習装置を有していない。この場合、機械学習システム４０１ａ、４０１ｂで学習した結果はネットワーク４０３にて共有できることから、機械学習装置を有していない複数の変速モータ装置１ｃ、１ｄもこの学習結果を利用することができる。もちろん機械学習装置３０１ａと機械学習装置３０１ｂでそれぞれ学習した学習結果は互いに共有することができる。この構成では、機械学習装置を有していない複数の変速モータ装置も、他の学習結果を用いて計測ができることからコストセーブや既存の設備に用いることができる。

【0097】

図１２は本発明の機械学習装置を含むシステムの変形例の構成図である。システム５０３は、複数の変速モータ装置１ａ～１ｄと、これらを互いに通信にて接続する機械学習装置３０１とで構成される。すなわち複数の変速モータ装置１ａ～１ｄに対して少なくとも１以上の機械学習装置３０１が学習機能を受け持ち、それぞれの変速モータ装置１ａ～１ｄで得られた状態変数及び判定データを用いて、変速モータ装置１ａ～１ｄ共通の計測条件を学習する。複数の変速モータ装置１ａ～１ｄと、機械学習装置３０１の接続は直接配線されたものであっても良いし、ネットワークとして行われるものであっても良い。複数の変速モータ装置１ａ～１ｄと、機械学習装置３０１の接続がネットワークである時は、機械学習装置３０１はクラウドサーバ上に構成することも可能である。この構成では、機械学習装置３０１は機械学習結果を一元的に管理できるという利点がある。

【0098】

本発明の機械学習装置、機械学習システムによれば、変速機１０４の温度データと出力軸１０５の出力軸トルクデータを状態変数の物理量としている場合、変速機１０４の温度と出力トルクとから変速機１０４の劣化や故障を推定できる。すなわち変速機１０４の温度が正常時よりも上昇している場合、変速機１０４内部のオイルシールの損傷などによるオイルの漏れによるオイル不足、またオイルにおける金属粉の濃度の上昇による冷却不良、歯車式の変速機による歯車の噛み合い不良による摩擦の増大、歯車の摩耗などによるバックラッシの増大で起こる振動による発熱などによって、出力軸トルクの値が既定値を外れる現象となって現れるためである。

【0099】

また、本発明の機械学習装置、機械学習システムによれば、変速機１０４の回転方向を状態変数の計測条件とし、出力軸１０５の出力軸トルクデータを状態変数の物理量としている場合、変速機１０４の回転方向と出力トルクとの相関から変速機１０４の劣化や故障の推定を得ることができる。すなわち変速機１０４の回転方向によってトルク変動は、歯車やボールの摩耗などによるバックラッシの増大などによって生じるためである。

【0100】

また、本発明の機械学習装置、機械学習システムによれば、変速モータ部１０１に加わる角速度、加速度、出力軸１０５の出力軸トルクデータを状態変数の物理量としている場合、変速モータ部１０１に生じる角速度、加速度と出力トルクとの相関を得ることで変速モータ部１０１の故障の推定を得ることができる。すなわち変速モータ部１０１の移動方向と移動距離、振動の揺れ幅、強度、衝撃の強度によって出力軸のトルクデータの振幅スペクトルに表れる特有の周波数のピークを学習することで、正常時と故障時の差が明らかになって、変速モータ部１０１の動きの履歴と故障との相関を得ることが可能となる。例えば変速モータ部１０１がシリアルリンクロボットに配置されている場合、ロボットの動きにおいて、ある変速モータ部にはラジアル荷重が、他の変速モータ部にはスラスト荷重が、それぞれ高い頻度で加わるケースがある。そうすると変速モータ部の移動方向と移動距離、振動の揺れ幅、強度、衝撃の強度などと、各変速モータ部の劣化や故障との相関が上記の機械学習によって明らかになって行く。

【0101】

一方、本発明のシステムによれば、機械学習装置の学習機能を行いながら、変速モータ装置の計測を実施し続けることで、変速モータ装置毎に異なる個体差や経時変化を学習することができ、適切な計測条件によって計測を行うことができる。特にシリアルリンクロボットにこの変速モータ装置が搭載されている場合、図１２に示すような多数の変速モータ装置と１つの機械学習装置は有用である。

【0102】

以上、本発明を好ましい実施形態に基づいて説明したが、本発明は上述した実施形態に限定されるものではなく、その要旨を逸脱しない範囲で種々の変更が可能である。

【産業上の利用可能性】

【0103】

本発明の活用例として、変速モータ装置及びこれを複数配置したシリアルリンクロボットなどへの適用が可能である。

【符号の説明】

【0104】

１ ： 変速モータ装置
１ａ～１ｄ ：変速モータ装置
１０１ ：変速モータ部
１０２ ：モータ
１０３ ：位置検出部
１０４ ：変速機
１０４ａ ：ウエーブジェネレータ
１０４ｂ ：サーキュラスプライン
１０４ｃ ：フレクスプライン
１０５ ：出力軸
１０６ ：トルク検出部
１０６ａ ：歪みゲージ
１０６ｂ ：回転基板
１０６ｃ ：発光素子
１０６ｄ ：受光素子
１０６ｅ ：固定基板
１０７ ：温度検出部
１０８ ：角速度・加速度検出部
１０９ ：トルク検出部
２０１ ：制御部
２０１ａ～２０１ｄ ：制御部
２０２ ：出力トルク信号処理部
２０３ ：信号処理部
２０４ ：ＦＦＴ部（高速フーリエ変換部）
２０５ ：演算部
２０６ ：判定部
２０７ ：判定結果表示部
２０８ ：記憶部
２０９ ：制御実行部
２１０ ：設定部
２１１ ：モータ駆動部
Ｐ ：物理量
Ｃ ：計測条件
３０１ ：機械学習装置
３０１ａ～３０１ｄ ：機械学習装置
３０２ ：状態観測部
３０３ ：意思決定部
３０４ ：学習部
３０４ａ、３０４ｂ ：学習部
３０５ ：誤差計算部
３０６ ：モデル更新部
３０７ ：学習結果記憶部
３０８ ：判定データ取得部
３０９ ：報酬演算部
３１０ ：報酬条件設定部
３１１ ：行動価値関数更新部
４０１ ：機械学習システム
４０１ａ～４０１ｄ ：機械学習システム
４０２ ：上位コンピュータ
４０３ ：ネットワーク
５０１ ：システム
５０２ ：システム
５０３ ：システム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】