特開 2022-174984 作業状態判定装置、方法、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022174984

(43)【公開日】2022-11-25

(54)【発明の名称】作業状態判定装置、方法、及びプログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20221117BHJP

【ＦＩ】

B25J13/08 Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2021081072

(22)【出願日】2021-05-12

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】110001519

【氏名又は名称】弁理士法人太陽国際特許事務所

(72)【発明者】

【氏名】沖 賢太朗

(72)【発明者】

【氏名】的場 俊亮

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS12

3C707KS33

3C707KX06

3C707LW12

3C707LW15

3C707MT01

3C707MT06

(57)【要約】

【課題】正常系及び異常系を含む作業状態を判定する。
【解決手段】取得部３２が、ロボットハンドの手先部に作用する力を検知する力覚センサにより検知されたデータを取得し、判定部３８が、ロボットハンドの作業状態を判定する判定器３６であって、正常系の作業状態の特徴を抽出する第１判定器と、異常系の作業状態の特徴を抽出する第２判定器とが結合され、作業状態として、作業完了、作業継続、及び作業継続不可の３状態を出力する判定器３６に、取得部３２により取得されたデータを入力して、作業状態を判定する。
【選択図】図４

【特許請求の範囲】

【請求項1】

ロボットハンドの手先部に作用する力を検知する力覚センサにより検知されたデータを取得する取得部と、
前記ロボットハンドの作業状態を判定する判定器であって、正常系の作業状態の特徴を抽出する第１判定器と、異常系の作業状態の特徴を抽出する第２判定器とが結合され、前記作業状態として、作業完了、作業継続、及び作業継続不可の３状態を出力する判定器に、前記取得部により取得されたデータを入力して、前記作業状態を判定する判定部と、
を含む作業状態判定装置。

【請求項2】

前記判定器には、前記取得部により取得された時系列のデータが入力され、前記第１判定器に入力されるデータの時間幅より、前記第２判定器に入力されるデータの時間幅の方が長い請求項１に記載の作業状態判定装置。

【請求項3】

前記第１判定器についての前記時間幅は、作業完了時に生じるデータの過渡応答に対応した時間幅であり、前記第２判定器についての前記時間幅は、異常が発生し、前記ロボットハンドの動作を停止させるまでの時間に対応した時間幅である請求項２に記載の作業状態判定装置。

【請求項4】

前記第１判定器は、作業状態が作業継続から作業完了へ遷移した場合の時系列のデータの遷移前の各データに作業継続のラベルを付し、遷移後のデータに作業完了のラベルを付した学習データを用いて学習されており、前記第２判定器は、作業状態が作業継続から作業継続不可へ遷移した場合の時系列のデータの遷移前のデータに作業継続のラベルを付し、遷移後のデータに作業継続不可のラベルを付した学習データを用いて学習されている請求項１～請求項３のいずれか１項に記載の作業状態判定装置。

【請求項5】

前記学習データを用いて、前記判定器の学習を実行する学習部を含む請求項４に記載の作業状態判定装置。

【請求項6】

前記学習部は、前記学習データ及び乱数を用いて疑似的な学習データを生成し、前記学習データに前記疑似的な学習データを追加して、前記判定器の学習に用いる請求項５に記載の作業状態判定装置。

【請求項7】

前記取得部は、さらに、前記ロボットハンドの手先部の位置を取得し、
前記判定部は、前記力覚センサにより検知されたデータと、前記手先部の位置とを前記判定器に入力して、前記作業状態を判定する
請求項１～請求項６のいずれか１項に記載の作業状態判定装置。

【請求項8】

前記判定器は、前記第１判定器を構成する第１のニューラルネットワークと、前記第２判定器を構成する第２のニューラルネットワークとを含み、前記第１のニューラルネットワークの出力と、前記第２のニューラルネットワークの出力とを結合した結果を出力する請求項１～請求項７のいずれか１項に記載の作業状態判定装置。

【請求項9】

前記判定部により判定された前記作業状態に基づいて、前記ロボットハンドの動作を制御する制御部を含む請求項１～請求項７のいずれか１項に記載の作業状態判定装置。

【請求項10】

取得部が、ロボットハンドの手先部に作用する力を検知する力覚センサにより検知されたデータを取得し、
判定部が、前記ロボットハンドの作業状態を判定する判定器であって、正常系の作業状態の特徴を抽出する第１判定器と、異常系の作業状態の特徴を抽出する第２判定器とが結合され、前記作業状態として、作業完了、作業継続、及び作業継続不可の３状態を出力する判定器に、前記取得部により取得されたデータを入力して、前記作業状態を判定する
作業状態判定方法。

【請求項11】

コンピュータを、
ロボットハンドの手先部に作用する力を検知する力覚センサにより検知されたデータを取得する取得部、及び、
前記ロボットハンドの作業状態を判定する判定器であって、正常系の作業状態の特徴を抽出する第１判定器と、異常系の作業状態の特徴を抽出する第２判定器とが結合され、前記作業状態として、作業完了、作業継続、及び作業継続不可の３状態を出力する判定器に、前記取得部により取得されたデータを入力して、前記作業状態を判定する判定部
として機能させるための作業状態判定プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、作業状態判定装置、作業状態判定方法、及び作業状態判定プログラムに関する。

【背景技術】

【0002】

製造現場でのロボットによる組立作業において、ロボットの知能化を進めることで治具などを用いず調整作業を簡単化する技術が研究されている。例えば、スナップフィットをもつワークの組立作業を対象とした、ＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ） を用いた判定手法が提案されている（非特許文献１参照）。この手法は、ワークを嵌め込んだときのロボット手先反力の過渡的な変化に注目し、過渡的な波形を捉える小さな時間幅でＲＮＮを構成し学習する。

【0003】

また、例えば、嵌合及び挿入作業において、様々な原因に依存する作業良否を判定するロボットシステムが提案されている（特許文献１参照）。このシステムでは、作業成功時の特徴量の存在範囲と作業失敗時の特徴量存在範囲を失敗原因毎に算出して、各特徴量の存在領域を記録し、作業実行時の特徴量がどの特徴量存在領域内にあるかによって作業良否と失敗時の原因を判定する。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１－２３０２４５号公報

【非特許文献】

【0005】

【非特許文献1】M. Karlsson, A. Robertsson, and R. Johansson, "Detection and control of contact force transients in robotic manipulation without a force sensor", In 2018 IEEE International Conference on Robotics and Automation (ICRA), 2018.

【発明の概要】

【発明が解決しようとする課題】

【0006】

従来技術では、組立作業の完了又は未完了を判定可能である。しかし、実際の製造現場では、例えば、ワークの持ち替え作業を行わなければ組立作業を継続できないといった異常系の状態も存在する。従来技術では、そのような異常系の状態を判定できない、又は、特徴エンジニアリングによって一品一様に判定器を調整する必要がある、という問題がある。

【0007】

本発明は、上記の点に鑑みてなされたものであり、正常系及び異常系を含む作業状態を判定することを目的とする。

【課題を解決するための手段】

【0008】

上記目的を達成するために、本発明に係る作業状態判定装置は、ロボットハンドの手先部に作用する力を検知する力覚センサにより検知されたデータを取得する取得部と、前記ロボットハンドの作業状態を判定する判定器であって、正常系の作業状態の特徴を抽出する第１判定器と、異常系の作業状態の特徴を抽出する第２判定器とが結合され、前記作業状態として、作業完了、作業継続、及び作業継続不可の３状態を出力する判定器に、前記取得部により取得されたデータを入力して、前記作業状態を判定する判定部と、を含んで構成される。

【0009】

また、前記判定器には、前記取得部により取得された時系列のデータが入力され、前記第１判定器に入力されるデータの時間幅より、前記第２判定器に入力されるデータの時間幅の方を長くしてもよい。

【0010】

また、前記第１判定器についての前記時間幅は、作業完了時に生じるデータの過渡応答に対応した時間幅であり、前記第２判定器についての前記時間幅は、異常が発生し、前記ロボットハンドの動作を停止させるまでの時間に対応した時間幅としてもよい。

【0011】

また、前記第１判定器は、作業状態が作業継続から作業完了へ遷移した場合の時系列のデータの遷移前の各データに作業継続のラベルを付し、遷移後のデータに作業完了のラベルを付した学習データを用いて学習されており、前記第２判定器は、作業状態が作業継続から作業継続不可へ遷移した場合の時系列のデータの遷移前のデータに作業継続のラベルを付し、遷移後のデータに作業継続不可のラベルを付した学習データを用いて学習されたものとしてもよい。

【0012】

また、本発明に係る作業状態判定装置は、前記学習データを用いて、前記判定器の学習を実行する学習部をさらに含んで構成されてもよい。

【0013】

また、前記学習部は、前記学習データ及び乱数を用いて疑似的な学習データを生成し、前記学習データに前記疑似的な学習データを追加して、前記判定器の学習に用いてもよい。

【0014】

また、前記取得部は、さらに、前記ロボットハンドの手先部の位置を取得し、前記判定部は、前記力覚センサにより検知されたデータと、前記手先部の位置とを前記判定器に入力して、前記作業状態を判定してもよい。

【0015】

また、前記判定器は、前記第１判定器を構成する第１のニューラルネットワークと、前記第２判定器を構成する第２のニューラルネットワークとを含み、前記第１のニューラルネットワークの出力と、前記第２のニューラルネットワークの出力とを結合した結果を出力するようにしてもよい。

【0016】

また、本発明に係る作業状態判定装置は、前記判定部により判定された前記作業状態に基づいて、前記ロボットハンドの動作を制御する制御部をさらに含んで構成されてもよい。

【0017】

また、本発明に係る作業状態判定方法は、取得部が、ロボットハンドの手先部に作用する力を検知する力覚センサにより検知されたデータを取得し、判定部が、前記ロボットハンドの作業状態を判定する判定器であって、正常系の作業状態の特徴を抽出する第１判定器と、異常系の作業状態の特徴を抽出する第２判定器とが結合され、前記作業状態として、作業完了、作業継続、及び作業継続不可の３状態を出力する判定器に、前記取得部により取得されたデータを入力して、前記作業状態を判定する方法である。

【0018】

また、本発明に係る作業状態判定プログラムは、コンピュータを、ロボットハンドの手先部に作用する力を検知する力覚センサにより検知されたデータを取得する取得部、及び、前記ロボットハンドの作業状態を判定する判定器であって、正常系の作業状態の特徴を抽出する第１判定器と、異常系の作業状態の特徴を抽出する第２判定器とが結合され、前記作業状態として、作業完了、作業継続、及び作業継続不可の３状態を出力する判定器に、前記取得部により取得されたデータを入力して、前記作業状態を判定する判定部として機能させるためのプログラムである。

【発明の効果】

【0019】

本発明に係る作業状態判定装置、方法、及びプログラムによれば、正常系及び異常系を含む作業状態を判定することができる。

【図面の簡単な説明】

【0020】

【図1】ロボットシステムの概略を示す構成図である。

【図2】作業状態を説明するための図である。

【図3】作業状態判定装置のハードウェア構成を示すブロック図である。

【図4】作業状態判定装置の機能構成の例を示すブロック図である。

【図5】学習データの生成を説明するための図である。

【図6】判定器の一例を示す図である。

【図7】学習処理の流れを示すフローチャートである。

【図8】判定制御処理の流れを示すフローチャートである。

【図9】疑似的な学習データの生成を説明するための図である。

【発明を実施するための形態】

【0021】

以下、本発明の実施形態の一例を、図面を参照しつつ説明する。なお、各図面において同一又は等価な構成要素及び部分には同一の参照符号を付与している。また、図面の寸法及び比率は、説明の都合上誇張されており、実際の比率とは異なる場合がある。

【0022】

図１に示すように、本実施形態に係るロボットシステム１００は、作業状態判定装置１０と、ロボット部５０とを含んで構成される。ロボット部５０は、手先部としてのグリッパ５６を含むマニピュレータ５２と、力覚センサ５４とを含む。マニピュレータ５２は、開示の技術の「ロボットハンド」の一例であり、グリッパ５６は、開示の技術の「手先部」の一例である。

【0023】

マニピュレータ５２は、例えば、３次元空間における動作に必要な６自由度の構成を備えた垂直多関節型のロボットである。なお、マニピュレータ５２の自由度は、６自由度に冗長自由度を加えた７自由度としてもよい。マニピュレータ５２は、各関節の回転角度が、作業状態判定装置１０から出力される制御情報（詳細は後述）に応じた角度となるように、各関節を駆動する。これにより、グリッパ５６が指定の位置及び姿勢となるように制御される。また、マニピュレータ５２は、現在の各関節の回転角度を作業状態判定装置１０へ出力する。

【0024】

グリッパ５６は、多様なワークを、多様な把持状態で把持可能な汎用性を有し、かつ大きな把持ズレを防止する構成を備えたものが好ましい。例えば、グリッパ５６は、ワークを把持する面に滑り止めのゴムが取り付けられた、平行２指グリッパとしてよい。

【0025】

力覚センサ５４は、マニピュレータ５２の手首部とグリッパ５６との間に設置され、グリッパ５６に作用する、平行３軸及び回転３軸の６方向の外力値を検知し、力覚センサ値として出力する。力覚センサ値は、開示の技術の「力覚センサにより検知されたデータ」の一例である。

【0026】

作業状態判定装置１０は、マニピュレータ５２による作業状態を判定しながら、マニピュレータ５２の動作を制御する。本実施形態では、図１に示すように、グリッパ５６で把持した主ワーク６０を、作業台上の副ワーク６２へ挿入する作業を想定する。主ワーク６０は、例えばコネクタであり、副ワーク６２は、例えばソケットである。また、本実施形態では、主ワーク６０と副ワーク６２とは、主ワーク６０が副ワーク６２へ適切に挿入された場合に、スナップフィットにより接合されるものとする。

【0027】

また、本実施形態では、判定対象の作業状態としては、図２に示すように、作業完了、作業継続不可、及び作業継続を設定する。作業完了は、副ワーク６２への主ワーク６０の挿入が完了した状態である。作業継続不可は、副ワーク６２への主ワーク６０の挿入が完了する前に、グリッパ５６の先端が副ワーク６２と干渉するなどしており、グリッパ５６による主ワーク６０の持ち替え作業を行うなどしないと、作業を継続できない状態である。作業継続は、副ワーク６２への主ワーク６０の挿入作業を継続可能な状態である。

【0028】

図３は、本実施形態に係る作業状態判定装置１０のハードウェア構成を示すブロック図である。図３に示すように、作業状態判定装置１０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１２、メモリ１４、記憶装置１６、入力装置１８、出力装置２０、記憶媒体読取装置２２、及び通信Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）２４を有する。各構成は、バス２６を介して相互に通信可能に接続されている。

【0029】

記憶装置１６には、後述する学習処理及び判定制御処理を実行するための作業状態判定プログラムが格納されている。ＣＰＵ１２は、中央演算処理ユニットであり、各種プログラムを実行したり、各構成を制御したりする。すなわち、ＣＰＵ１２は、記憶装置１６からプログラムを読み出し、メモリ１４を作業領域としてプログラムを実行する。ＣＰＵ１２は、記憶装置１６に記憶されているプログラムに従って、上記各構成の制御及び各種の演算処理を行う。

【0030】

メモリ１４は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）により構成され、作業領域として一時的にプログラム及びデータを記憶する。記憶装置１６は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、及びＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等により構成され、オペレーティングシステムを含む各種プログラム、及び各種データを格納する。

【0031】

入力装置１８は、例えば、キーボードやマウス等の、各種の入力を行うための装置である。出力装置２０は、例えば、ディスプレイやプリンタ等の、各種の情報を出力するための装置である。出力装置２０として、タッチパネルディスプレイを採用することにより、入力装置１８として機能させてもよい。記憶媒体読取装置２２は、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）－ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）－ＲＯＭ、ブルーレイディスク、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）メモリ等の各種記憶媒体に記憶されたデータの読み込みや、記憶媒体に対するデータの書き込み等を行う。通信Ｉ／Ｆ２４は、他の機器と通信するためのインタフェースであり、例えば、イーサネット（登録商標）、ＦＤＤＩ、Ｗｉ－Ｆｉ（登録商標）等の規格が用いられる。

【0032】

次に、第１実施形態に係る作業状態判定装置１０の機能構成について説明する。

【0033】

図４は、作業状態判定装置１０の機能構成の例を示すブロック図である。図４に示すように、作業状態判定装置１０は、機能構成として、取得部３２と、学習部３４と、判定部３８と、制御部４０とを含む。各機能構成は、ＣＰＵ１２が記憶装置１６に記憶された作業状態判定プログラムを読み出し、メモリ１４に展開して実行することにより実現される。また、作業状態判定装置１０の所定の記憶領域には、判定器３６が記憶される。

【0034】

取得部３２は、学習処理時において、作業状態判定装置１０に入力された学習データを取得する。学習データは、力覚センサ５４により各時刻において検知された力覚センサ値、及び各時刻におけるグリッパ５６の手先位置に関する情報と、各時刻における作業状態の正解を示すラベルとが対応付けられたデータである。グリッパ５６の手先位置に関する情報（以下、単に「手先位置」ともいう）は、グリッパ５６の先端等の所定位置の絶対位置でもよいし、１タイムステップ間における所定位置の相対移動量や絶対移動量でもよい。手先位置は、マニピュレータ５２から出力された、各関節の回転角度（以下、「関節角値」という）、及びマニピュレータ５２のキネマティクス情報に基づく行列演算により得られる。

【0035】

ここで、学習データの生成について説明する。上述したように、本実施形態では、作業完了、作業継続不可、及び作業継続の３つの作業状態を判定する。そこで、作業状態が作業継続から作業完了へ遷移した場合、図５左図中の破線に示すように、力覚センサ値における過渡応答のピークに対応する時刻を、作業状態が切り替わった時刻として特定する。これは、本実施形態で想定しているスナップフィットを適用した作業において、主ワーク６０が副ワーク６２に挿入された際に生じる過渡的な応答を示す波形に基づいて、作業が完了したタイミングを特定するものである。なお、図５において、力覚センサ値は、グリッパ５６に作用する垂直方向の力に関する力覚センサ値を表している。そして、特定した時刻を作業状態の遷移の基準として、力覚センサ値及び手先位置の時系列のデータの遷移前の各時刻のデータに作業継続のラベルを付し、遷移後の各時刻のデータに作業完了のラベルを付す。

【0036】

また、作業状態が作業継続から作業継続不可へ遷移した場合、図５右図中の破線に示すように、マニピュレータ５２が動作を止めたタイミングを、作業状態が切り替わった時刻として特定する。マニピュレータ５２が動作を止めたタイミングは、力覚センサ値が所定値以下となったタイミングとしてよい。これは、グリッパ５６が副ワーク６２と干渉することにより、力覚センサ値がなだらかに減少する現象に基づいて、マニピュレータ５２が停止するタイミングを捉えたものである。そして、特定した時刻を作業状態の遷移の基準として、力覚センサ値及び手先位置の時系列のデータの遷移前の各時刻のデータに作業継続のラベルを付し、遷移後の各時刻のデータに作業継続不可のラベルを付す。

【0037】

なお、上記のように学習データを生成した場合、作業継続のラベルが付与された学習データの数に比べ、作業完了及び作業継続不可の各々のラベルが付与された学習データの数が少なくなり、学習データの数に偏りが生じる。そこで、ラベル毎の学習データの数が同程度となるように、数の少ないラベルの学習データをコピーして増やしてもよい。これにより、過学習を防ぎ、汎化性能を損なわないようにすることができる。

【0038】

取得部３２は、学習データを取得した場合、取得した学習データを学習部３４へ受け渡す。以下、作業状態が作業継続から作業完了へ遷移した場合における学習データを「正常系の学習データ」、作業状態が作業継続から作業継続不可へ遷移した場合における学習データを「異常系の学習データ」という。

【0039】

また、取得部３２は、判定制御処理時において、力覚センサ５４から出力された力覚センサ値、及びマニピュレータ５２から出力された関節角値を取得する。取得部３２は、取得した関節角値、及びマニピュレータ５２のキネマティクス情報に基づく行列演算により、手先位置を演算する。取得部３２は、取得した力覚センサ値と、演算した手先位置とを対応付けて対象データとし、判定部３８へ受け渡す。

【0040】

学習部３４は、取得部３２から受け渡された学習データを用いて、マニピュレータ５２の作業状態を判定する判定器３６のパラメータの学習を実行する。判定器３６は、例えば、ＤＮＮ（Ｄｅｅｐ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）で構成してよい。本実施形態では、時系列データを対象としたＲＮＮ（Ｒｅｃｕｒｒｅｎｔ Ｎｅｕｒａｌ Ｎｅｔｗｏｒｋ）により判定器３６を構成する場合について説明する。

【0041】

図６に、判定器３６の一例を示す。図６の例では、判定器３６は、正常系の作業状態の特徴が抽出される第１判定器３６Ａと、異常系の作業状態の特徴が抽出される第２判定器３６Ｂとが結合されている。判定器３６は、入力層、中間層、及び出力層を含む。入力層の各ニューロンへは、学習データの各時刻のベクトル値ｘ_ｉ ^（ｔ）が入力される。ｉは、第１判定器３６Ａと第２判定器３６Ｂとを識別するための番号であり、ｉ＝１は第１判定器３６Ａ、ｉ＝２は第２判定器３６Ｂを表す。また、ｘ_ｉ ^（ｔ）は、時刻ｔの力覚センサ値であるベクトル値Ｆ^（ｔ）と手先位置のベクトル値Ｐ^（ｔ）とを結合したベクトル値である。ｔは、１，２，・・・，Ｔ_ｉである。

【0042】

中間層の各ニューロンへは、対応する入力層の各ニューロンから出力される値に重み付けがされた値が入力される。また、中間層の各ニューロンへは、１時刻前の中間層のニューロンから出力される値に重み付けされた値が入力される。中間層の各ニューロンは、入力された値に活性化関数を適用した値を、１時刻後の中間層のニューロンへ出力する。例えば、中間層の各ニューロンは、下記のようなベクトル値ｈ_ｉ ^（ｔ）を出力してよい。
ｈ_ｉ ^（１）＝ｔａｎｈ（ｂ_ｉ＋Ｕ_ｉｘ_ｉ ^（１））
ｈ_ｉ ^（ｔ）＝ｔａｎｈ（ｂ_ｉ＋Ｗ_ｉｈ_ｉ ^{（ｔ－１）}＋Ｕ_ｉｘ_ｉ ^（ｔ））
ｉ∈［１；２］，ｔ∈［２；Ｔ_ｉ］

【0043】

Ｕ_ｉは、入力層の各ニューロンから出力される値に掛かる重みを表すパラメータであり、Ｗ_ｉは、１時刻前の中間層の各ニューロンから出力される値に掛かる重みを表すパラメータである。また、ｔａｎｈは、活性化関数の一例であり、ｂ_ｉは、バイアスを表すパラメータである。第１判定器３６Ａの中間層の出力ｈ_１ ^{（Ｔ＿１）}は、時刻ｔ＝１～ｔ＝Ｔ_１における力覚センサ値及び手先位置を特徴量化したベクトル値である。また、第２判定器３６Ｂの中間層の出力ｈ_２ ^{（Ｔ＿２）}は、時刻ｔ＝１～ｔ＝Ｔ_２における力覚センサ値及び手先位置を特徴量化したベクトル値である。

【0044】

出力層は、例えば、下記に示すように、第１判定器３６Ａからの出力と、第２判定器３６Ｂからの出力とを結合し、判定結果を出力する。
ｏ＝ｃ＋Ｖ_１ｈ_１ ^{（Ｔ＿１）}＋Ｖ_２ｈ_２ ^{（Ｔ＿２）}
ｙ＾＝ｓｏｆｔｍａｘ（ｏ）
Ｖ_ｉは、ｔ＝Ｔ_ｉの中間層のニューロンからの出力ｈ_ｉ ^{（Ｔ＿ｉ）}に係る重みであり、ｃは、パラメータ、ｓｏｆｔｍａｘは、活性化関数の一例である。ｙ＾（図６では、「ｙ」の上に「＾（ハット）」）は、作業状態の判定結果であり、現在の作業状態が作業完了である確率、作業継続不可である確率、及び作業継続である確率を表す３次元のベクトルである。なお、出力層は、確率が最も大きい作業状態を判定結果として出力するようにしてもよい。

【0045】

ここで、第１判定器３６Ａ及び第２判定器３６Ｂの各々に入力されるデータの時間幅Ｔ_ｉ（ｉ∈［１；２］）について説明する。上述したように、作業状態が作業継続から作業完了へ遷移する場合、図５左図に示すように、作業状態の切り替わり時に、力覚センサ値に過渡応答を示す波形が発生する。したがって、Ｔ_１としては、判定したい状態を意味付ける特徴的な過渡応答の波形の時間幅を設定することが好ましい。一方、作業状態が作業継続から作業継続不可へ遷移する場合、グリッパ５６と副ワーク６２との干渉が発生することにより、図５右図に示すように、力覚センサ値のなだらかな減少を示す波形が発生する。したがって、Ｔ_２としては、このなだらかな波形の変化を捉えることができる、Ｔ_１よりも長い時間幅を設定することが好ましい。このように、正常系及び異常系の各々の特徴に応じた適切な時間幅を判定器３６に設定することにより、学習データの数を比較的少なくすることができる。

【0046】

学習部３４は、取得部３２から受け渡された学習データを用いて、上述したような判定器３６の学習を実行することにより、判定器３６のパラメータを決定する。具体的には、学習部３４は、まず、Ｔ_１及びＴ_２を決定する。例えば、学習部３４は、学習データに基づいて、ユーザにより指定されたＴ_１及びＴ_２を受け付けることにより、Ｔ_１及びＴ_２を決定してよい。また、学習部３４は、Ｔ_１及びＴ_２の各々を、時間幅を所定値ずつ変更させながら学習を実行することにより、最も精度の良い出力が得られるＴ_１及びＴ_２を決定してもよい。

【0047】

学習部３４は、決定したＴ_１及びＴ_２を第１判定器３６Ａ及び第２判定器３６Ｂにそれぞれ設定すると共に、中間層の出力ｈ_ｉ ^{（Ｔ－ｉ）}に、下記に示すような仮の出力層を追加する。
ｏ_ｉ＝ｃ_ｉ＋Ｖ_ｉｈ_ｉ ^{（Ｔ＿ｉ）}
ｙ_ｉ＾＝ｓｏｆｔｍａｘ（ｏ_ｉ） ，ｉ∈［１；２］

【0048】

学習部３４は、仮の出力層を追加した第１判定器３６Ａに、正常系の学習データを入力し、仮の出力層を追加した第２判定器３６Ｂに、異常系の学習データを入力する。そして、学習部３４は、出力値ｙ_ｉ＾と学習データに付与されたラベルとの差異（例えば、交差エントロピー等）を最小化するように、判定器３６の入力層及び中間層に含まれるパラメータＵ_ｉ、Ｗ_ｉ、及びｂ_ｉを決定する。

【0049】

さらに、学習部３４は、上述のように決定したＴ_ｉ、Ｕ_ｉ、Ｗ_ｉ、及びｂ_ｉを固定した上で、判定器３６に学習データを入力する。そして、学習部３４は、出力値ｙ＾と学習データに付与されたラベルとの差異（例えば、交差エントロピー等）を最小化するように、出力層に含まれるパラメータＶ_ｉ及びｃを決定する。なお、ここで判定器３６に入力される学習データは、入力層及び中間層のパラメータを決定した際に用いた学習データとは異なる学習データであってよい。また、入力層及び中間層のパラメータを決定した際に用いた正常系の学習データと異常系の学習データとをランダムに混ぜて用いてもよい。

【0050】

学習部３４は、上記のようにパラメータＴ_ｉ、Ｕ_ｉ、Ｗ_ｉ、ｂ_ｉ、Ｖ_ｉ、及びｃが決定された判定器３６を所定の記憶領域に記憶する。

【0051】

判定部３８は、取得部３２から受け渡された対象データを判定器３６に入力して、現在の作業状態を判定し、判定結果を制御部４０へ受け渡す。

【0052】

制御部４０は、判定部３８から受け渡された判定結果が示す作業状態に基づいて、マニピュレータ５２の行動を決定する。例えば、制御部４０は、予め定められた、作業状態に応じたマニピュレータ５２の行動ルールに基づいて、行動を決定してよい。行動ルールとしては、例えば、作業状態が作業完了の場合には、初期姿勢に戻る、作業状態が作業継続不可の場合には、主ワーク６０を持ち替える等を定めておいてよい。制御部４０は、決定した行動に応じた動作をマニピュレータ５２に実行させるための制御情報を生成する。制御情報は、具体的には、決定された行動におけるマニピュレータ５２の姿勢を実現するための各関節の回転角度である。制御部４０は、生成した制御情報をマニピュレータ５２へ出力する。

【0053】

次に、本実施形態に係るロボットシステム１００の作用について説明する。

【0054】

作業状態判定装置１０に学習データが入力され、判定器３６の学習が指示されると、作業状態判定装置１０において、学習処理が実行される。そして、学習が実行された判定器３６が所定の記憶領域に記憶された状態で、マニピュレータ５２による作業が開始されると、作業状態判定装置１０において、判定制御処理が実行される。学習処理及び判定制御処理は、開示の技術の「作業状態判定方法」の一例である。

【0055】

図７は、作業状態判定装置１０のＣＰＵ１２により実行される学習処理の流れを示すフローチャートである。ＣＰＵ１２が記憶装置１６から作業状態判定プログラムを読み出して、メモリ１４に展開して、学習処理に関するプロセスを実行することにより、ＣＰＵ１２が作業状態判定装置１０の各機能構成として機能し、図７に示す学習処理が実行される。

【0056】

ステップＳ１０で、取得部３２が、作業状態判定装置１０に入力された、正常系及び異常系を含む学習データを取得し、学習部３４へ受け渡す。次に、ステップＳ１２で、学習部３４が、ユーザからＴ_１及びＴ_２を受け付けるなどして、第１判定器３６Ａの時間幅Ｔ_１、及び第２判定器３６Ｂの時間幅Ｔ_２を決定する。

【0057】

次に、ステップＳ１４で、学習部３４が、決定したＴ_１及びＴ_２を第１判定器３６Ａ及び第２判定器３６Ｂにそれぞれ設定すると共に、中間層の出力ｈ_ｉ ^{（Ｔ－ｉ）}に仮の出力層を追加する。また、学習部３４が、仮の出力層を追加した第１判定器３６Ａに、正常系の学習データを入力し、仮の出力層を追加した第２判定器３６Ｂに、異常系の学習データを入力する。そして、学習部３４が、仮の出力層からの出力値と学習データに付与されたラベルとの差異を最小化するように、判定器３６の入力層及び中間層に含まれるパラメータＵ_ｉ、Ｗ_ｉ、及びｂ_ｉ（ｉ∈［１；２］）を決定する。

【0058】

次に、ステップＳ１６で、学習部３４が、上記ステップＳ１２及びＳ１４で決定したＴ_ｉ、Ｕ_ｉ、Ｗ_ｉ、及びｂ_ｉを固定した上で、判定器３６に学習データを入力する。そして、学習部３４が、出力層からの出力値と学習データに付与されたラベルとの差異を最小化するように、出力層に含まれるパラメータＶ_ｉ及びｃを決定する。

【0059】

次に、ステップＳ１８で、学習部３４が、上記ステップＳ１２～Ｓ１６でパラメータＴ_ｉ、Ｕ_ｉ、Ｗ_ｉ、ｂ_ｉ、Ｖ_ｉ、及びｃが決定された判定器３６を所定の記憶領域に記憶し、学習処理は終了する。

【0060】

図８は、作業状態判定装置１０のＣＰＵ１２により実行される判定制御処理の流れを示すフローチャートである。ＣＰＵ１２が記憶装置１６から作業状態判定プログラムを読み出して、メモリ１４に展開して、判定制御処理に関するプロセスを実行することにより、ＣＰＵ１２が作業状態判定装置１０の各機能構成として機能し、図８に示す判定制御処理が実行される。

【0061】

ステップＳ２０で、取得部３２が、力覚センサ５４から出力された力覚センサ値、及びマニピュレータ５２から出力された関節角値を取得する。次に、ステップＳ２２で、取得部３２が、取得した関節角値、及びマニピュレータ５２のキネマティクス情報に基づく行列演算により、手先位置を演算する。

【0062】

次に、ステップＳ２４で、取得部３２が、上記ステップＳ２０で取得した力覚センサ値と、上記ステップＳ２２で演算した手先位置とを対応付けて対象データとし、判定部３８へ受け渡す。判定部３８が、判定器３６の入力層の各ニューロンに入力されているベクトル値ｘ_ｉ ^（ｔ）を１時刻前のニューロンへ移行させると共に、取得部３２から受け渡された対象データをｘ_ｉ ^（ｔ）に対応する入力層のニューロンへ入力する。そして、判定部３８が、判定器３６の出力層からの出力値に基づいて、現在の作業状態を判定し、判定結果を制御部４０へ受け渡す。

【0063】

次に、ステップＳ２６で、制御部４０が、判定部３８から受け渡された判定結果が示す作業状態に基づいて、マニピュレータ５２の行動を決定する。次に、ステップＳ２８で、制御部４０が、決定した行動に応じた動作をマニピュレータ５２に実行させるための制御情報を生成し、マニピュレータ５２へ出力する。そして、判定制御処理は終了する。

【0064】

以上説明したように、本実施形態に係るロボットシステムでは、作業状態判定装置が、マニピュレータのグリッパについて、力覚センサ値及び手先位置を取得する。そして、力覚センサ値及び手先位置を、正常系の作業状態の特徴を抽出する第１判定器と、異常系の作業状態の特徴を抽出する第２判定器とが結合され、マニピュレータの作業状態を判定する判定器に入力する。作業状態判定装置は、判定器の出力値に基づいて、作業状態が、作業完了、作業継続、及び作業継続不可の何れであるかを判定し、判定結果に基づいて、マニピュレータを制御する。これにより、正常系及び異常系を含む作業状態を判定することができる。

【0065】

また、本実施形態によれば、作業継続不可の作業状態も判定できることにより、様々なワークを対象とした組立作業を対象とした場合でも、ワークを持ち替える等の動作を自動で実行させるなど、ロボットシステムによる作業の自動化を促進することができる。また、本実施形態によれば、ユーザは、対象のワーク毎に力覚センサ値の閾値を設定する等の特徴エンジニアリングから解放されるため、自動組み立ての生産ラインの立ち上げの負担を軽減することができる。

【0066】

また、本実施形態によれば、正常系及び異常系のそれぞれにおける力覚センサ値の波形が、判定器の学習に用いた学習データと類似する場合には、学習時に用いたワークとは異なるワークを対象とした作業に対しても、精度良く作業状態を判定することができる。例えば、４ピンタイプの車載コネクタの挿入組立作業時の力覚センサ値を学習データとして用いて学習した判定器を用いて、未学習の９ピンタイプの車載コネクタの挿入組立作業の作業状態を判定することができる。

【0067】

また、第１判定器に入力されるデータの時間幅より、第２判定器に入力されるデータの時間幅の方を長くすることで、正常系及び異常系のデータの特徴を捉え、精度良く作業状態を判定することができる。

【0068】

なお、上記実施形態では、判定器に入力するデータとして、力覚センサ値及び手先位置を用いる場合について説明したが、手先位置は必須ではなく、少なくとも力覚センサ値を入力として用いればよい。

【0069】

また、力覚センサ値及び手先位置の両方を用いる場合において、力覚センサ値と手先位置との論理積（ＡＮＤ）、又は論理和（ＯＲ）で判定を行うようにしてもよい。作業継続か作業完了かを判定する第１判定器においては、作業未完了品を完了と誤判定した場合の不良品の発生を抑制するために、ＡＮＤ判定を行うことが望ましい。また、作業継続か作業継続不可かを判定する第２判定器においては、作業の内容や、作業継続不可時の対処方法等に応じて、ＡＮＤ判定とするか、ＯＲ判定とするかを設定するようにしてもよい。このようなＡＮＤ判定又はＯＲ判定を行うためには、ＡＮＤ条件又はＯＲ条件に従ってラベルを付与した学習データを用いて判定器の学習を実行すればよい。力覚センサ値と手先位置とのＡＮＤ条件に対してラベルを付与した学習データを用いた場合には、ＡＮＤ判定を実現する判定器となり、ＯＲ条件に対してラベルを付与した学習データを用いた場合には、ＯＲ判定を実現する判定器となる。

【0070】

また、学習データとして、力覚センサやマニピュレータから実際に取得されたデータ（元の学習データ）に加え、乱数を用いて疑似的に生成した学習データを用いてもよい。具体的には、センサノイズや力覚センサ値のスケールなど、現場で発生し得るデータのバラつき要素から乱数を決定し、決定した乱数に基づいて疑似的な学習データを生成する。例えば、図９に示すように、元の学習データである力覚センサ値を、発生させた乱数を乗算するなどしてスケール変換して、疑似的な学習データを生成してよい。このように生成した疑似的な学習データを元の学習データに追加して学習を実行することにより、より少数な現場の学習データを用いて精度良い判定器を学習することができる。

【0071】

また、上記実施形態では、各機能構成を１つのコンピュータで実現する場合について説明したが、これに限定されない。例えば、取得部、学習部、及び判定部を含む作業状態判定装置と、制御部を含む制御装置とをそれぞれ異なるコンピュータで実現してもよい。さらに、作業状態判定装置についても、取得部及び学習部を含む学習装置と、取得部及び判定部を含む判定装置とをそれぞれ異なるコンピュータで実現してもよい。

【0072】

また、上記実施形態でＣＰＵがソフトウェア（プログラム）を読み込んで実行した学習処理及び判定制御処理を、ＣＰＵ以外の各種のプロセッサが実行してもよい。この場合のプロセッサとしては、ＦＰＧＡ（Ｆｉｅｌｄ－Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等の製造後に回路構成を変更可能なＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）、及びＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の特定の処理を実行させるために専用に設計された回路構成を有するプロセッサである専用電気回路等が例示される。また、学習処理及び判定制御処理を、これらの各種のプロセッサのうちの１つで実行してもよいし、同種又は異種の２つ以上のプロセッサの組み合わせ（例えば、複数のＦＰＧＡ、及びＣＰＵとＦＰＧＡとの組み合わせ等）で実行してもよい。また、これらの各種のプロセッサのハードウェア的な構造は、より具体的には、半導体素子等の回路素子を組み合わせた電気回路である。

【0073】

また、上記実施形態では、作業状態判定プログラムが記憶装置に予め記憶（インストール）されている態様を説明したが、これに限定されない。プログラムは、ＣＤ－ＲＯＭ、ＤＶＤ－ＲＯＭ、ブルーレイディスク、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供されてもよい。また、プログラムは、ネットワークを介して外部装置からダウンロードされる形態としてもよい。

【0074】

本実施形態は、コネクタの挿入やフタ部品の嵌め込みなど、自動挿入や嵌め合い作業を実行する機能を有する産業用ロボット、サービスロボット等に適用可能である。

【符号の説明】

【0075】

１０ 作業状態判定装置
１２ ＣＰＵ
１４ メモリ
１６ 記憶装置
１８ 入力装置
２０ 出力装置
２２ 記憶媒体読取装置
２４ 通信Ｉ／Ｆ
２６ バス
３２ 取得部
３４ 学習部
３６ 判定器
３６Ａ 第１判定器
３６Ｂ 第２判定器
３８ 判定部
４０ 制御部
５０ ロボット部
５２ マニピュレータ
５４ 力覚センサ
５６ グリッパ
６０ 主ワーク
６２ 副ワーク
１００ ロボットシステム

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】