特開 2024-34668 ワイヤ挿入システム、ワイヤ挿入方法、およびワイヤ挿入プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024034668

(43)【公開日】2024-03-13

(54)【発明の名称】ワイヤ挿入システム、ワイヤ挿入方法、およびワイヤ挿入プログラム

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240306BHJP

   B25J 3/00 20060101ALI20240306BHJP

   B25J 13/00 20060101ALI20240306BHJP

【ＦＩ】

B25J13/08 A

B25J3/00 Z

B25J13/00 Z

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

(21)【出願番号】P 2022139067

(22)【出願日】2022-09-01

(71)【出願人】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(74)【代理人】

【識別番号】110000659

【氏名又は名称】弁理士法人広江アソシエイツ特許事務所

(72)【発明者】

【氏名】加藤 邦人

(72)【発明者】

【氏名】丹羽 靖治

(72)【発明者】

【氏名】中島 康博

(72)【発明者】

【氏名】八田 禎之

(72)【発明者】

【氏名】伊藤 和晃

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS07

3C707JT04

3C707JU02

3C707JU03

3C707JU12

3C707KS03

3C707KS06

3C707KS17

3C707KS21

3C707KT03

3C707KT06

3C707LS15

3C707LV17

3C707LW03

3C707LW12

3C707MT04

(57)【要約】

【課題】位置が正確に規定されない部材の孔に、動作や姿勢が不確定なワイヤを挿入する作業をより簡易に実現するワイヤ挿入システムを提供する。同時に、ワイヤ挿入方法およびワイヤ挿入プログラムを提供する。
【解決手段】ワイヤ挿入システム１は、ワイヤＷを把持し、動作指令に基づいて動作可能なロボット３と、部材の孔とワイヤＷを含む所定の領域の画像を撮影する二眼カメラ４と、作業者の動作を計測する動作計測部６と、二眼カメラ４の撮影した画像と動作計測部６の動作情報とを学習データとしてロボット３の動作情報を出力する学習済みモデル３０を作成する学習手段２３とを備える。ワイヤ挿入方法は、作業者Ｍ１の動作を計測し、ロボット３の動作指令を生成する手動工程と、ロボット３の動作情報と二眼カメラ４の撮影した画像を学習データとして学習済みモデル３０を作成する学習工程と、学習済みモデル３０を用いて画像に対応する動作指令を生成してワイヤＷを部材の穴に挿入する動作指令生成工程とを備えている。
【選択図】図１

【特許請求の範囲】

【請求項1】

所定の部材に設けられている孔にワイヤを自動で挿入するワイヤ挿入システムであって、
前記ワイヤを把持し、動作指令に基づいて動作可能なロボットと、
前記部材の孔と前記ロボットに把持された前記ワイヤとを含む領域の画像を撮影するカメラと、
作業者の動作を計測する動作計測部と、
前記動作計測部により計測された動作情報に基づいて前記動作指令を生成する第１モードと、前記画像に対応する前記動作指令が学習された学習済みモデルに基づいて前記動作指令を生成する第２モードとを実行可能な制御手段と、
前記第１モードにおいて前記ワイヤが前記孔に挿入された際の前記動作情報と前記画像とを関連付けて記憶する記憶手段と、
前記記憶手段に記憶した前記画像と前記動作情報とを学習データとして前記学習済みモデルを作成する学習手段と、
を備えることを特徴とするワイヤ挿入システム。

【請求項2】

前記記憶手段は、異なる動作条件で取得した前記動作情報を複数記録し、
前記動作条件は、前記孔の位置、前記ワイヤの初期位置、及び前記ロボットの初期位置のうち少なくとも１つを含むことを特徴とする請求項１記載のワイヤ挿入システム。

【請求項3】

前記制御手段は、前記第１モードにおいて前記動作情報にノイズを付与して前記動作指令を生成することを特徴とする請求項１又は２に記載のワイヤ挿入システム。

【請求項4】

前記学習済みモデルは、前記画像に対応する前記動作情報を生成する第１モデルと、前記動作情報に対応する前記動作指令を生成する第２モデルとを含み、
前記学習手段は、前記記憶手段に記憶された前記画像と前記動作情報とを学習データとして前記第１モデルを作成することを特徴とする請求項１記載のワイヤ挿入システム。

【請求項5】

前記動作計測部がマスタロボットであり、
前記ロボットがスレーブロボットであることを特徴とする請求項１記載のワイヤ挿入システム。

【請求項6】

前記画像を、前記動作計測部により動作が計測される作業者に表示する表示手段をさらに備えることを特徴とする請求項１記載のワイヤ挿入システム。

【請求項7】

前記カメラは、二眼カメラであることを特徴とする請求項１記載のワイヤ挿入システム。

【請求項8】

所定の部材に設けられている孔に、ロボットでワイヤを自動で挿入するワイヤ挿入方法であって、
作業者の動作を計測し、計測された動作情報に基づいて前記ロボットの動作指令を生成する手動工程と、
前記手動工程において前記部材の孔と前記ロボットに把持されたワイヤとを含む領域の画像をカメラで撮影する撮影工程と、
前記手動工程において前記ワイヤが前記孔に挿入された際の前記動作情報と前記撮影工程の前記画像とを関連付けて記憶する記憶工程と、
前記記憶工程において記憶された前記動作情報と前記画像を学習データとして学習済みモデルを作成する学習工程と、
前記カメラにより前記画像を撮影し、前記学習済みモデルにより前記画像に対応する前記動作指令を生成する動作指令生成工程と、
を備えていることを特徴とするワイヤ挿入方法。

【請求項9】

前記手動工程は、複数の異なる動作条件で実行され、
前記動作条件は、前記孔の位置、前記ワイヤの初期位置及び前記ロボットの初期位置のうち少なくとも１つを含むことを特徴とする請求項８記載のワイヤ挿入方法。

【請求項10】

前記手動工程では、前記動作情報にノイズを付与して前記動作指令を生成することを特徴とする請求項８記載のワイヤ挿入方法。

【請求項11】

請求項８乃至１０のいずれか１項に記載のワイヤ挿入方法をコンピュータに実行させるワイヤ挿入プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ワイヤ挿入システム、ワイヤ挿入方法、およびワイヤ挿入プログラムに関する。特に、ロボットを用いてワイヤを所定の孔に挿入するための、ワイヤ挿入システム、ワイヤ挿入方法、およびワイヤ挿入プログラムに関する。

【背景技術】

【0002】

従来、作業者によって行われてきた物品の搬送や組立作業を、ロボットによって自動化する試みが行われている。ロボットを用いた自動化を行う場合には、作業対象となる物品の位置や動作のばらつきにロボットを対応させるための制御技術が必要となる。

【0003】

物品の位置が正確には特定されず、ある程度のばらつきへの対応が必要な一事例として、ボルトのワイヤリングの作業がある。ボルトのワイヤリングとは、ワイヤを用いて複数のボルトを連結し、ボルトを固定するものである。ボルトワイヤリングは振動による緩みを防止する目的で、主に航空機やエレベータ用のボルトに適用されている。図６に示すように、ワイヤリングを行うボルトには、貫通孔が設けられている。ワイヤリングの工程では、第一段階として、ボルトが閉まる適切な位置の貫通孔にワイヤを挿通する。第二段階として、ワイヤが貫通孔から抜けないようにワイヤのねじり処理を行う。第一段階のワイヤの挿通を自動化するには、ボルトの貫通孔の位置を特定した上で、ワイヤを貫通孔に挿入する必要がある。しかしながら、締め付けが終わった時のボルトの固定角度は一定ではなく、毎回ばらつきが発生する。さらに、ワイヤは多くの場合弾性体であるため、その位置姿勢に毎回ばらつきが発生する。このように、ボルトの固定位置と、挿入するワイヤの位置姿勢はいずれも不確定であり、予め特定することが困難である。

【0004】

ワイヤを目標の孔へ自動的に挿入するための要素技術が非特許文献１および非特許文献２に開示されている。非特許文献１および２のワイヤ挿入技術は、 ワイヤの歪み具合を画像から推定して、挿入動作を実行している。しかしながら、これらの技術では多段階の行動戦略を人が設定しており、煩雑な事前作業が必要となる。

【0005】

ワイヤの挿入に類似した作業を自動化する技術として、特許文献１は、コネクタの挿入位置を学習し、生産ラインで組立を行うロボットアームとその位置制御方法を開示している。特許文献１の技術は、撮像部から取得された画像と力覚センサの値に基づいて、コネクタを挿入するための制御量を指示し、位置合わせに対する結果から学習を行って挿入経路を決定している。学習の過程では、ロボットアームの一制御周期ごとに設定される周期制御量と力覚センサの値に基づく制御量とに基づいて制御パラメータの調整を行っている。

【0006】

非特許文献３は、ロボットアームで針に糸を通す作業を自動化するための技術を開示している。非特許文献３の技術は、ロボットを遠隔操作している作業者の視線運動を記録し、針の穴の近傍に到達するまでは低解像度の周辺画像を用い、一方で、作業者の視線周辺では高解像度画像を用いた。そして、それらの結果に基づいて、針の穴に近づいたときの糸位置の精密な制御を行っている。

【0007】

発明者らは、ロボットが、位置を特定していないホール（穴）の中にペグ（穴に対応する部品）を挿入するという作業である「ペグインホール（Ｐｅｇ－ｉｎ－ｈｏｌｅ）」を実施するための技術を発明し、非特許文献４に開示した。非特許文献４の技術は、ロボットアームの方策関数に疑似力覚を組み込むことで、ロボットアームに接触を伴う探索と移動を同時に自動で実行させる制御システムを開示している。

【先行技術文献】

【特許文献】

【0008】

【特許文献1】国際公開第２０１９／１４６６０７号

【非特許文献】

【0009】

【非特許文献1】Ｐ．Ｃｉｒｉｌｌｏ、Ｇ．Ｌａｕｄａｎｔｅ，Ｓ．Ｐｉｒｏｚｚｉ「Ｖｉｓｉｏｎ－Ｂａｓｅｄ Ｒｏｂｏｔｉｃ Ｓｏｌｕｔｉｏｎ ｆｏｒ Ｗｉｒｅ Ｉｎｓｅｒｔｉｏｎ ｗｉｔｈ ａｎ Ａｓｓｉｇｎｅｄ Ｌａｂｅｌ Ｏｒｉｅｎｔａｔｉｏｎ」ＩＥＥＥ Ａｃｃｅｓｓ、Ｖｏｌ．９，１０２２７８頁－１０２２８９頁、２０２１年

【非特許文献2】Ｄｅ Ｇｒｅｇｏｒｉｏ、 Ｄａｎｉｅｌｅら「Ｉｎｔｅｇｒａｔｉｏｎ ｏｆ ｒｏｂｏｔｉｃ ｖｉｓｉｏｎ ａｎｄ ｔａｃｔｉｌｅ ｓｅｎｓｉｎｇ ｆｏｒ ｗｉｒｅｔｅｒｍｉｎａｌ ｉｎｓｅｒｔｉｏｎ ｔａｓｋｓ」ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ａｕｔｏｍａｔｉｏｎ Ｓｃｉｅｎｃｅ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ １６号Ｎｏ．２、５８５頁－５９８頁、２０１８年

【非特許文献3】Ｈ．Ｋｉｍ Ｙ，Ｏｈｍｕｒａ，Ｙ．Ｋｕｎｉｙｏｓｈｉ「Ｇａｚｅ－ｂａｓｅｄ Ｄｕａｌ Ｒｅｓｏｌｕｔｉｏｎ Ｄｅｅｐ Ｉｍｉｔａｔｉｏｎ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｈｉｇｈ－ｐｒｅｃｉｓｉｏｎ Ｄｅｘｔｅｒｏｕｓ Ｒｏｂｏｔ Ｍａｎｉｐｕｌａｔｉｏｎ」ＩＥＥＥ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ Ｌｅｔｔｅｒｓ、６号Ｎｏ．２、１６３０頁－１６３７頁、２０２１年

【非特許文献4】丹羽靖治、相澤宏旭、加藤邦人「穴位置不確実 Ｐｅｇ－ｉｎ－ｈｏｌｅ のための疑似力覚を組み込む深層模倣学習」ビジョン技術の実利用ワークショップ ＶｉＥＷ２０２１、ＯＳ３－Ｓ２、２５１頁－２５８頁、２０２１年

【発明の概要】

【発明が解決しようとする課題】

【0010】

従来、ロボットの制御システムに、作業対象となる物品の位置が正確に特定できない場合の判断を学習させるためには、複数の工程を人が予め設定するといった補助作業が必要であった。特に、作業対象である挿入物と被挿入物の二つの物品の両方について、位置や姿勢が不確定となるワイヤの挿入作業の自動化は、非常に困難であった。

【0011】

本発明は、このような現状に鑑みてなされたものであって、作業者にワイヤの挿入作業を実演させて動作情報を取得することにより、人間のような「位置が正確に規定されない孔に、動作や姿勢が不確定なワイヤを挿入する作業」をより簡易に実現するワイヤ挿入システムの提供を、解決すべき課題としている。本発明は同時に、ワイヤ挿入方法およびワイヤ挿入プログラムを解決すべき課題としている。

【課題を解決するための手段】

【0012】

本発明は、所定の部材に設けられている孔にワイヤを自動で挿入するワイヤ挿入システムに関する。本発明のワイヤ挿入システムは、ワイヤを把持し、動作指令に基づいて動作可能なロボットと、部材の孔とロボットに把持されたワイヤとを含む領域の画像を撮影するカメラと、作業者の動作を計測する動作計測部と、動作計測部により計測された動作情報に基づいて動作指令を生成する第１モードと、画像に対応する動作情報が学習された学習済みモデルに基づいて動作指令を生成する第２モードとを実行可能な制御手段と、第１モードにおいてワイヤが孔に挿入された際の動作情報と画像とを関連付けて記憶する記憶手段と、記憶手段に記憶した画像と動作情報とを学習データとして学習済みモデルを作成する学習手段と、を備えていることを特徴とする。

【0013】

本発明のワイヤ挿入システムの記憶手段は、異なる動作条件で取得した動作情報を複数記録していることが好ましい。動作条件としては、孔の位置、ワイヤの初期位置、及びロボットの初期位置のうち少なくとも１つを含んでいることが好ましい。

【0014】

本発明のワイヤ挿入システムの制御手段は、第１モードにおいて、動作情報にノイズを付与して動作指令を生成することが好ましい。

【0015】

本発明の学習手段が作成する学習済みモデルは、画像に対応する動作情報を生成する第１モデルと、動作情報に対応する動作指令を生成する第２モデルとを含むことが好ましい。また、学習手段は、記憶手段に記憶された画像と動作情報とを学習データとして第１モデルを作成することが好ましい。

【0016】

本発明のワイヤ挿入システムは、動作計測部がマスタロボットであり、ロボットがスレーブロボットであることが好ましい。

【0017】

本発明のワイヤ挿入システムは、さらに、画像を、動作計測部により動作が計測される作業者に表示する表示手段を備えることが好ましい。

【0018】

カメラは、二眼カメラであることが好ましい。

【0019】

本発明はまた、所定の部材に設けられている孔に、ロボットでワイヤを自動で挿入するワイヤ挿入方法を提供する。本発明のワイヤ挿入方法は、作業者の動作を計測し、計測された動作情報に基づいてロボットの動作指令を生成する手動工程と、手動工程において部材の孔とロボットに把持されたワイヤとを含む領域の画像をカメラで撮影する撮影工程と、手動工程においてワイヤが孔に挿入された際の動作情報と撮影工程の画像とを関連付けて記憶する記憶工程と、記憶工程において記憶された動作情報と画像を学習データとして学習済みモデルを作成する学習工程と、カメラにより画像を撮影し、学習済みモデルにより画像に対応する動作指令を生成する動作指令生成工程と、を備えていることを特徴とする。

【0020】

本発明のワイヤ挿入方法の手動工程は、複数の異なる動作条件で実行され、動作条件は、孔の位置、ワイヤの初期位置及び前記ロボットの初期位置のうち少なくとも１つを含むことが好ましい。

【0021】

本発明のワイヤ挿入方法の手動工程では、動作情報にノイズを付与して動作指令を生成することが好ましい。

【0022】

本発明はさらに、ワイヤ挿入プログラムを提供する。本発明のワイヤ挿入プログラムは、ワイヤ挿入方法をコンピュータに実行させるプログラムである。

【発明の効果】

【0023】

本発明のワイヤ挿入システム、ワイヤ挿入方法、およびワイヤ挿入プログラムは、人間のような「位置が正確に規定されない孔に、姿勢や動作が不確定なワイヤを挿入する作業」を自動で行うことを可能とする。

【0024】

本発明のワイヤ挿入システム、ワイヤ挿入方法、およびワイヤ挿入プログラムは、複数の異なる動作条件によって得られた学習データを用いることにより、従来よりも容易かつ確実にワイヤを挿入する作業を自動化することができる。

【図面の簡単な説明】

【0025】

【図1】図１は、ワイヤ挿入システムの構成を模式的に示す図である。

【図2】図２は、本実施形態のワイヤ挿入システムの、学習対象であるネットワークの構成を示すブロック図である。

【図3】図３は、図２の学習手段の特徴抽出器の構成を示すブロック図である。

【図4】図４は、図３の特徴抽出器のデュアルフィードフォワードネットワーク及び、同心マルチスケールプーリング、畳み込みブロックの構成を示すブロック図である。

【図5】図５は、スレーブロボットの動作情報に付与するノイズの一例を示す図であって図５（ａ）は回転角ノイズによる動作情報の回転を示す図であり、図５（ｂ）は回転角ノイズの時間と角の大きさの関係を示す図である。

【図6】図６は、実施例でロボットが把持したワイヤと、ワイヤを挿入するボルトの孔とを模式的に示す図である。

【図7】図７は、実施例の学習手段が作成した学習済みモデルの構造とパラメータを示す図である。

【図8】図８（ａ）は、実施例のワイヤ挿入プログラムの手動工程のアルゴリズムを示した図であり、図８（ｂ）は、動作指令生成工程のアルゴリズムを示した図である。

【発明を実施するための形態】

【0026】

以下、本発明のワイヤ挿入システムの好適な実施形態を列記する。なお、以下に列記した実施形態は例示であり、特許請求の範囲を限定することを意図したものではない。

【0027】

（形態１）本実施形態のワイヤ挿入システムは、ロボットと、カメラと、動作計測部と、中央制御コンピュータとを備えている。
（形態２）ロボットは、ワイヤを把持し、入力された動作指令に基づいてワイヤを部材の孔に挿入する動作を実行可能なスレーブロボットである。
（形態３）カメラは、ワイヤを挿入する部材の孔と、ロボットに把持されたワイヤとを含む領域の画像を撮影する二眼カメラである。
（形態４）動作計測部は、スレーブロボットを遠隔操作するために作業者が把持して操作するマスタロボットである。マスタロボットは、作業者がマスタロボットを操作する動作情報計測器であり、速度と方向から構成される動作情報として計測する。
（形態５）ワイヤ挿入システムの制御手段および学習手段は、中央制御コンピュータの中央演算処理装置（ＣＰＵ）として具現化される。制御手段は、マスタロボットにより計測された動作情報に基づいて動作指令を生成する第１モードと、作業者がマスタロボットを操作せずに動作指令を生成する第２モードを実行可能である。
（形態６）作業者は、第１モードにおいて表示手段に表示される二眼カメラの画像を目視しながらマスタロボットを操作してスレーブロボットを動作させる。画像の撮影時刻と、作業者がマスタロボットを操作した時刻を同期することで、画像と動作情報が関連付けられて記憶手段に記憶される。
（形態７）ワイヤ挿入システムの記憶手段は、中央制御コンピュータに実装された記憶媒体である。
（形態８）記憶手段は、カメラが撮影した画像と、マスタロボットにより計測された動作情報とを関連付けたデータを記憶している。さらに、記憶手段は、二眼カメラ制御プログラムと、第１モードにおいてマスタロボットから出力された動作情報にノイズを付与する動作情報取得プログラムと、第２モードにおいてスレーブロボットの初期の位置姿勢をばらつかせる手先位置ノイズ付与プログラムとを実行可能な形式で記憶している。
（形態９）記憶手段は、部材の孔の位置、ワイヤの初期位置、ロボットの初期の位置姿勢の一又は二以上が異なる動作条件で取得した動作情報を複数記憶している。
（形態１０）動作情報取得プログラムは、マスタロボットから出力された動作情報にノイズを付与して生成したノイズ付与動作情報に基づいて動作指令を生成し、より広範囲にワイヤを移動させる。
（形態１１）動作情報取得プログラムは、動作情報に付与するノイズとして、時刻ごとに動作情報のベクトルの向きを回転する回転角ノイズを付与することができる。
（形態１２）学習手段は、カメラの画像と画像に関連付けられた動作情報とを学習データとして入力し、カメラの画像を入力することで動作情報を生成することのできる動作情報生成モデルを作成する。
（形態１３）制御手段は、動作情報に基づいて、スレーブロボットの目標関節角である動作指令を生成する逆運動学プログラムを実行可能である。
（形態１４）動作情報取得プログラムは、ノイズ付与動作情報の出力時に、スレーブロボットにおける１ステップごとの移動量を制限することができる。
（形態１５）制御手段は、スレーブロボットがワイヤを把持する初期位置をランダムに移動させた動作指令を生成することができる。

【実施例0028】

以下に、本発明のボルトＢを締め付けるボルトの貫通孔Ｂ１にワイヤＷを自動的に挿入するワイヤ挿入システム１と、ワイヤ挿入システム１によって実行されるワイヤ挿入方法を、図面を参照しつつ詳細に説明する。

【0029】

図１に、本実施例のワイヤ挿入システム１の構成を示す。ワイヤ挿入システム１は、中央制御コンピュータ２と、ロボット３と、カメラ４と、動作計測部であるマスタロボット６とを備えている。また、ワイヤ挿入システム１は、作業者Ｍ１にカメラ４の映像を表示する表示手段として、立体視ゴーグル５と立体視ゴーグル制御コンピュータ５１とを備えている。

【0030】

本実施例のロボット３は、多関節のロボットアームで構成されている。ロボット３は、アームでワイヤＷを把持し、外部から入力された動作指令に基づいてワイヤＷをボルトの貫通孔Ｂ１に挿入する動作を行う、スレーブロボットである。本実施例では、ロボット３のことをスレーブロボット３とも言う。

【0031】

カメラ４は、ボルトの貫通孔Ｂ１と、ロボット３に把持されたワイヤＷとを含む領域の画像を撮影する二眼カメラであり、以降二眼カメラ４と記載する。二眼カメラ４は、所定の領域の画像を、２枚の左右画像Ｌ^ｔ，Ｒ^ｔとして撮影する。ここで、ｔは撮影した時刻を示している。二眼カメラ４の撮影した画像は、時刻ごとのステレオ画像のデータとして、中央制御コンピュータ２の記憶手段２６に記憶される。また、ステレオ画像のデータは、中央制御コンピュータ２の二眼カメラ制御プログラム２１によって加工され、立体視ゴーグル制御コンピュータ５１に出力される。

【0032】

立体視ゴーグル５は、作業者Ｍ１の左右それぞれの目に別々の画像を表示する表示部を備えている。立体視ゴーグル制御コンピュータ５１は、立体視ゴーグル５を装着した作業者Ｍ１の左目に画像Ｌ^ｔを提示し右目に画像Ｒ^ｔを提示することで、作業者Ｍ１にボルトの貫通孔Ｂ１とワイヤＷとが存在する空間を立体的に知覚させることができる。

【0033】

動作計測部であるマスタロボット６には、作業者Ｍ１によって、スレーブロボット３のロボットアームの動作を指示する動作情報が入力される。マスタロボット６は、作業者Ｍ１の入力に含まれ、速度と方向から構成される動作情報を計測して、中央制御コンピュータ２に出力する。

【0034】

作業者は、立体視ゴーグル５に表示される二眼カメラ４の画像を目視しながらマスタロボット６を操作する。画像の表示時刻とマスタロボット６による動作情報の計測時刻を同期することで、中央制御コンピュータ２の記憶手段２６の中に、ステレオ画像と動作情報が関連付けられて記憶される。

【0035】

中央制御コンピュータ２は、学習手段２３、制御手段２４及び記憶手段２６を備えている。記憶手段２６は、制御手段２４が実行可能なプログラムと計算モデルを記憶し、制御手段２４は、記憶手段２６に記憶されている二眼カメラ制御プログラム２１、動作情報取得プログラム２２及びオペレータ選択プログラム２５を読み込んで実行可能である。ここで、学習手段２３及び制御手段２４は、単一の中央演算処理装置（ＣＰＵ）又は個別のＣＰＵから構成される。

【0036】

学習手段２３は、二眼カメラ４の画像と、画像に関連付けられた動作情報とを学習データとして学習し、学習済みモデル３０の第１モデルである動作情報生成モデル３２を作成する。動作情報生成モデル３２は、画像データを入力すると、ワイヤＷをボルトの貫通孔Ｂ１に通すスレーブロボット３の動作指令生成に必要な３次元の並進速度ベクトルからなる動作情報を出力する。

【0037】

制御手段２４は、マスタロボット６が出力した動作情報に基づいてスレーブロボット３の動作指令を生成する第１モードと、学習済みモデル３０に基づいてスレーブロボット３の動作指令を生成する第２モードとを実行可能である。第１モードにおいて、制御手段２４は記憶手段２６に記憶されている逆運動学プログラム３１を実行することにより、動作情報から動作指令を生成する。第２モードにおいて、制御手段２４は画像データを動作情報生成モデル３２に入力することにより動作情報を生成し、逆運動学プログラム３１を実行することにより動作情報から動作指令を生成する。なお、本実施例では、逆運動学プログラム３１は、動作情報生成モデル３２とともに学習済みモデル３０の一部を構成し、学習済みモデル３０の第２モデルとなっている。

【0038】

以下、ワイヤ挿入システム１を用いたワイヤ挿入方法について、詳細に説明する。本実施例のワイヤの挿入方法は、第１モードにおいて実行する手動工程、撮影工程及び記憶工程と、学習工程と、第２モードにおいて実行する動作指令生成工程とを備えている。制御手段２４及び学習手段２３は、記憶手段２６に記憶されたプログラム及び計算モデルを実行することにより各工程を実行する。手動工程では、ワイヤ挿入システム１は、作業者Ｍ１の動作を計測し、計測された動作情報に基づいてスレーブロボットの動作指令を生成する。撮影工程では、ボルトの貫通孔Ｂ１とスレーブロボット３に把持されたワイヤＷとを含む領域の画像Ｌ^ｔ，Ｒ^ｔを二眼カメラ４で撮影する。記憶工程では、手動工程においてワイヤＷが貫通孔Ｂ１に挿入された際の動作情報と撮影工程の画像とを関連付けて中央制御コンピュータ２の記憶手段２６に記憶する。学習工程は、記憶工程において記憶された画像Ｌ^ｔ，Ｒ^ｔと動作情報を学習データとして学習済みモデル３０の動作情報生成モデル３２を作成する。動作指令生成工程では、二眼カメラ４により画像Ｌ^ｔ，Ｒ^ｔを撮影し、学習済みモデル３０により画像Ｌ^ｔ，Ｒ^ｔに対応する動作指令を生成する。

【0039】

本実施例では、六角形の頭部の隣り合う辺と辺との間に直径１．８ｍｍの貫通孔が３カ所設けられているボルトを用いた。この貫通孔Ｂ１に、太さ０．８ｍｍのワイヤを貫通させている。スレーブロボット３は、ワイヤを、先端から１０ｃｍのところで把持している。

【0040】

ワイヤＷはスレーブロボット３の手先の中心から１０ｃｍの長さで固定した。スレーブロボット３の周囲は、二眼カメラ４の照明条件を固定するために、暗幕４１で覆っている。二眼カメラ４は固定されており、二眼カメラ制御プログラム２１によって制御される。

【0041】

図６に、ボルトＢとワイヤＷの配置を模式的に示す。締め付けが終わった時のボルトＢの固定角度は一定ではなく、貫通孔Ｂ１の位置に毎回ばらつきが発生する。また、図６中に示すワイヤＷの先端の位置座標（ｙ、ｚ）にも毎回ばらつきが発生する。さらに、スレーブロボット３の手先位置にも、ノイズの生じることがある。そこで、手動工程では、ボルトの固定位置のばらつきと、ワイヤＷの歪みと、スレーブロボット３の手先位置のばらつきについて、想定される複数の条件で、手動操作を実行している。

【0042】

手動工程では、作業者Ｍ１が立体視ゴーグル５を装着し、並行して実行される撮影工程において撮影されたステレオ画像Ｌ^ｔ、Ｒ^ｔが立体視ゴーグル５に表示される。作業者Ｍ１は、ボルトの貫通孔Ｂ１にワイヤを挿入するようにスレーブロボット３を動作させることを意図して、立体視ゴーグル５の画像を見ながらマスタロボット６を手動操作し、スレーブロボット３を遠隔操作する。マスタロボット６は、作業者Ｍ１がマスタロボット６を操作する動作情報を計測して出力する。制御手段２６は動作情報取得プログラム２２を実行することにより、マスタロボット６が出力する動作情報である並進速度ベクトルｖ^ｔを取得する。

【0043】

このワイヤ挿入システム１において、ワイヤＷを挿入可能な貫通孔Ｂ１の位置のばらつきは、概ね角度θが０から３０度の範囲である。また、ワイヤの先端の初期位置であるｙ、ｚ座標にも、基準位置に対して－２～２ｍｍの範囲でばらつきが発生していた。そこで、手動工程では、補助作業者Ｍ２によって、ワイヤの先端の姿勢とボルトの回転角度を手動で変更し、学習に用いる学習データである訓練データの初期条件に変化を与え、より広範囲な動作条件でデータが得られるようにした。さらに、制御手段２４の手先位置ノイズプログラムによって、スレーブロボット３の手先位置の初期位置にも、基準位置に対するノイズを－５～５ｍｍ付与し、様々なワイヤ位置の画像を取得できるように操作した。

【0044】

手動工程はワイヤの挿入が成功し、スレーブロボット３の手先のｘ座標であるｐ_ｘが終了基準位置を超えるまで繰り返される。撮影工程で、二眼カメラ４は、二眼カメラ制御プログラム２１の画像取得プログラムの制御によって、ボルトＢとワイヤＷが写った１９２０×１０８０画素の左右のステレオ画像の撮影を続ける。得られたステレオ画像は、画像切り抜きプログラムでボルトＢとワイヤＷのみが写るように２５６×１９２画素の大きさで切り抜かれる。切り抜いたステレオ画像Ｌ^ｔ、Ｒ^ｔは、立体視ゴーグル制御コンピュータ５１に送信され、立体視ゴーグル制御の画像バッファに取り込まれて、立体視ゴーグル５で作業者Ｍ１の左右の目に独立して提示される。これにより、作業者Ｍ１はスレーブロボット３の空間を立体的に知覚する。作業者Ｍ１はマスタロボット６の手先を把持して操作し、スレーブロボット３の手先をどの方向に移動するかの指令に関する並進速度ベクトルｖ^ｔを動作情報取得プログラム２２に出力する。ｖ^ｔはマスタロボット６の実際の手先の移動速度のλ倍に設定されている。

【0045】

動作情報取得プログラム２２は、操作対象物のボルトやワイヤのばらつきに対してよりよく対処できる頑強な学習済みモデル３０を得るために、入力された並進速度ベクトルｖ^ｔに調整を加える。動作情報取得プログラム２２では、スレーブロボット３の手先は、マスタロボット６の手先の０．０１倍の速度で動作するよう、そのためのパラメータλを０．０１に設定している。また、並進速度ベクトルｖ^ｔは、動作情報取得プログラム２２の手先操作量調整プログラムによって監視され、｜ｖ^ｔ｜＜０．１ｍｍのとき、これ以降の処理を行わず、それ以外の場合は｜ｖ^ｔ｜≦１．０ｍｍになるように方向を保ったまま調整される。手先操作量の調整によって、学習時の画像処理モデルの予測範囲を限定し、学習の精度を向上させると共に、安全性も向上させることができる。

【0046】

手先操作量調整プログラムによって調整の完了した並進速度ベクトル

【数1】

は、三角波ノイズ生成プログラムで生成したノイズ回転角α、βとともに、動作情報取得プログラム２２のベクトル回転プログラムに入力される。ベクトル回転プログラムでは、α、βを回転角とする回転行列R_αβを用いた下記式により、並進速度ベクトルに対して、一定の確率でＹとＺの２軸にランダムな回転が加えられる。

【数2】

【0047】

図５（ａ）に、ノイズとして加えられる回転の方向を示し、図５（ｂ）に三角波形で与えられるノイズの大きさと時間との関係の一例を示す。

【0048】

マスタロボット４によって取得した並進速度ベクトルに、三角波形の回転角ノイズを加えてランダムに回転させることで、画像の中の広範囲にワイヤＷが移動することになり、画像の状態数を増やす効果が生まれる。三角波ノイズにより、ノイズ付与動作情報である回転後並進速度ベクトル

【数3】

が得られる。

【0049】

動作情報取得プログラム２２から出力されるノイズ付与動作情報は、オペレータ選択プログラム２５に入力される。オペレータ選択プログラム２５は、第１モード及び第２モードのいずれかを選択し、第１モードにおいて手動工程が実行されている期間では動作情報取得プログラム２２からの情報を受け取って制御手段２４に入力する。第２モードにおいて動作指令生成工程が実行されている期間では、学習済みモデル３０の動作情報生成モデル３２からの情報を受け取って、逆運動学プログラム３１に入力する。

【0050】

【数4】

を入力された制御手段は、目標点更新式を用いて、

【数5】

によって、スレーブロボット３が次に移動する位置である手先目標位置ｐ^ｔ＋１を決定する。制御手段２４は、逆運動学プログラムを実行することによりスレーブロボット３が手先目標位置に動くための動作指令である目標関節角ｑ^ｔを出力する。制御手段２４からである目標関節角ｑ^ｔを受領したスレーブロボット３は、動作指令に従って各関節を動作させる。

【0051】

動作の完了後、記憶工程として、この時間ステップｔにおける画像Ｌ^ｔ、Ｒ^ｔと、並進速度ベクトルｖ^ｔを記憶手段２６に記憶し、時間ステップｔをｔ＋１に更新する。

【0052】

手動工程の最適な条件は、以下の通りである。
・ ボルト状態数 k≧３６３
・ 速度調整定数 λ＝０．０１
・ 並進速度ベクトル ｖ^ｔ 調整範囲
｜ｖｔ｜（最大） １．０ｍｍ
｜ｖｔ｜（最小） ０．１ｍｍ
・ 三角波ノイズ角 α、β
ノイズ付与確率 １０％
ノイズ角（最大） ８０度
ノイズ角（最小） ６０度
ノイズ付与系列長（最大）５ステップ （０．５秒）
ノイズ付与系列長（最小） ２１ステップ （２.１秒）

【0053】

ボルト状態数を３６３以上取得するために、ワイヤ挿入システム１で動作させるアルゴリズムを図８（ａ）に示す。このアルゴリズムに従って動作させることで、ワイヤ挿入のデータを大量に収集する。

【0054】

次に、学習工程について説明する。学習工程では、学習手段２３によって、学習済みモデル３０の動作情報生成モデル３２を作成する。より具体的には、記憶手段２６に記憶されている時間ステップｔにおける画像Ｌ^ｔ、Ｒ^ｔと、並進速度ベクトルｖ^ｔを学習手段２３に学習データとして入力して教師あり学習を行い、動作情報生成モデル３２を完成させる。動作情報生成モデル３２は、ステレオ画像Ｌ^ｔ、Ｒ^ｔから、スレーブロボット３の手先を動かすための動作情報である並進速度ベクトルを予測することができる。

【0055】

学習手段２３の構造の詳細について述べる。図２に、学習手段２３の内部に実装されている数理モデルの概要を示す。学習手段２３の数理モデルは、畳み込みニューラルネットワークで構成されている特徴抽出器ＣＮＮ^２（以下、単にＣＮＮ^２とも言う）の後に、３層の全結合ネットワークが接続されたモデルである。ただし、通常のＣＮＮ^２とは異なり、ワイヤの微細な情報が失われてしまわないようにするため、最初の同心多重解像度プーリングの処理は省き、畳み込みのパラメータの１つであるストライド数が２の畳み込み層に置き換えている。

【0056】

学習手段２３に組み込まれている特徴抽出器ＣＮＮ^２について説明する。図３に、特徴抽出器ＣＮＮ^２の構成をブロック図で模式的に示す。ＣＮＮ^２は、二眼カメラ４で取得した左右のステレオ画像Ｌ^ｔ、Ｒ^ｔから奥行きに相当する特徴を抽出するために、人間の目と脳の神経接続を参考にして、視差による両眼立体視と、焦点ずれによる単眼立体視を明示的に組み込んだモデルであって、画像の畳み込み処理を行うＤＦＰ Ｂｌｏｃｋ（デュアル フィードフォワード パスウェイ、Ｄｕａｌ Ｆｅｅｄｆｏｒｗａｒｄ Ｐａｔｈｗａｙｓ）とＣｏｎｖ Ｂｌｏｃｋ（畳み込みブロック）で形成されている。

【0057】

図４は、ＤＦＰ Ｂｌｏｃｋの構成をより詳細に示すブロック図である。図中、直方体で示しているのは、特徴マップを表す三次元の行列である。ＤＦＰ Ｂｌｏｃｋでは、左右のステレオ画像Ｌ^ｔ、Ｒ^ｔの特徴マップの差分を連結し、同心多重解像度プーリング（ＣＭ Ｐｏｏｌ）で画像解像度を半分にした後、通常の畳み込み処理を行う。左右の流れで得られる特徴量は、ＤＦＰ Ｂｌｏｃｋの後段の畳み込みブロック（Ｃｏｎｖ Ｂｌｏｃｋ）に入る前に１つに連結される。

【0058】

記憶工程で記憶手段２６に蓄積されたステレオ画像Ｌ^ｔ、Ｒ^ｔと、ステレオ画像Ｌ^ｔ、Ｒ^ｔに対応する動作情報の並進速度ベクトルｖ^ｔの大量のデータを学習データとして用い、学習手段２３に教師あり学習を実施する。学習手段２３によって作成された動作情報生成モデル３２は、ステレオ画像Ｌ^ｔ、Ｒ^ｔの入力に対して、作業者Ｍ１による手動操作と類似した挙動を示し、動作情報である並進速度ベクトル o^ｔを出力する。学習手段２３が作成した動作情報生成モデル３２の構造と、学習に用いた詳細なパラメータを図７に示す。

【0059】

動作情報生成モデル３２の作成のために、学習手段２３は、学習に訓練データと検証データと評価データの３種類のデータを使用する。これら３種類のデータは、記憶手段２６に蓄積されたデータをボルト種類別にランダムに振り分けて得られる。本実施例では、３２６ボルト分のデータを訓練データ、３０ボルト分のデータを検証データ、７ボルト分を評価データに振り分けている。各データに含まれるＬ^ｔ、Ｒ^ｔ、ｖ^ｔの組数を表１に示す。訓練データ数の３５１６３は、実世界でのおおよそ５８分の手動操作に相当する。

【0060】

【表1】

【0061】

学習時に設定するパラメータの最適なものを表２に示す。また、より詳細なモデル構造とモデルパラメータを図７に示す。これらの学習の後、本実施例の学習手段が作成した動作情報生成モデル３２は、作業者の手動作業から得られた動作情報の並進速度ベクトルｖ^ｔと類似した並進速度ベクトル o^ｔを出力するに至った。

【0062】

【表2】

【0063】

学習済みモデル３０を使用して、検証試験を行った。検証試験および実際の稼働時に於いて、オペレータ選択プログラム２５は、学習手段２３の動作情報生成モデル３２からの並進速度ベクトルｏ^ｔを受け取って、逆運動学プログラム３１に入力する。並進速度ベクトルｏ^ｔを入力された逆運動学プログラム３１は、目標点更新式を用いて、

【数6】

によって、スレーブロボット３が次に移動する位置である手先目標位置ｐ^ｔ＋１を決定する。逆運動学プログラム３１は、スレーブロボット３が手先目標位置に動くための動作指令である目標関節角ｑｔを出力する。制御手段２４から目標関節角ｑｔを受領したスレーブロボット３は、指令に従って、目標関節角に向かうように各関節が動作する。

【0064】

３５１６３回の訓練データによって学習を行った学習手段２３の学習済みモデル３０は、検証試験で１００パターンの初期状態からのワイヤ挿入作業を行った結果、８１回の挿入に成功した。

【0065】

実際のワイヤ挿入動作を行う、動作指令生成工程について、説明する。動作指令生成工程は、二眼カメラ４により撮影したステレオ画像Ｌ^ｔ、Ｒ^ｔを学習済みモデル３０に入力して並進速度ベクトルｏ^ｔを生成する。

【0066】

動作指令生成工程の間、オペレータ選択プログラム２５は、学習手段２３の動作情報生成モデル３２からの並進速度ベクトルｏ^ｔを受け取って、逆運動学プログラム３１に入力する。逆運動学プログラム３１は、動作情報生成モデル３２が出力した並進速度ベクトルｏ^ｔによって、スレーブロボット３の動作指令である手先目標点を更新するようにする。スレーブロボット３が動作指令に従って各関節を動作することで、把持したワイヤＷがボルトの貫通孔Ｂ１に挿入される。このような動作指令生成工程のアルゴリズムを、図８（ｂ）に示す。

【0067】

本実施例の学習済みモデル３０を適用したワイヤ挿入システム１は、実施例と同等のワイヤを挿入する作業において、検証試験と同等の成功率を示した。

【0068】

以上、実施例に基づいて、本発明のワイヤ挿入システムおよびワイヤ挿入方法について説明したが、特許請求の範囲には、実施例以外の様々な形態が含まれる。たとえば、作業者がマスタロボットを介してスレーブロボットを操作するだけでなく、ダイレクトティーチングのように操作者がロボットを把持し、操ることによってスレーブロボットを操作してもよい。この場合には、ワイヤ挿入システムはスレーブロボットを動作させようと入力した作業者の力を計測する動作計測部である力覚センサを備えるように構成されていてもよい。また、ワイヤ挿入システムは力覚センサによって作業者の力を計測するのではなく、作業者の力を、スレーブロボットに入力された外乱力として推定するように構成されていてもよい。また、ワイヤ挿入システムはモーションキャプチャによって作業者の動作を計測し、その計測された動作情報に基づいてスレーブロボットを動作させてもよい。

【0069】

なお、本実施例ではワイヤ挿入システムが動作情報として並進速度ベクトルを計測するように構成されているが、これに限らない。ワイヤ挿入システムは、動作情報として並進速度ベクトルだけではなく、回転速度情報も計測するように構成されていてもよく、速度情報ではなく位置角度情報を計測するように構成されていてもよい。また、ワイヤ挿入システムは、動作情報として、マスタロボットの関節角度情報を計測するように構成されていてもよい。

【0070】

また、本実施例ではワイヤ挿入システムが表示手段を備えるように構成されているが、これに限らない。ワイヤ挿入システムは、作業者が直接スレーブロボット、ワイヤ及びボルトを視認しながらスレーブロボットを操作可能に構成されていてもよい。
付記
以下の付記は、発明のさらなる実施形態として提案される。
以下の付記の一つ以上は、別の任意の付記の一つ以上、またはその一部と組み合わせることができる。
［付記１］
所定の部材に設けられている孔にワイヤを自動で挿入するワイヤ挿入システムであって、
前記ワイヤを把持し、動作指令に基づいて動作可能なロボットと、
前記部材の孔と前記ロボットに把持された前記ワイヤとを含む領域の画像を撮影するカメラと、
作業者の動作を計測する動作計測部と、
前記動作計測部により計測された動作情報に基づいて前記動作指令を生成する第１モードと、前記画像に対応する前記動作指令が学習された学習済みモデルに基づいて前記動作指令を生成する第２モードとを実行可能な制御手段と、
前記第１モードにおいて前記ワイヤが前記孔に挿入された際の前記動作情報と前記画像とを関連付けて記憶する記憶手段と、
前記記憶手段に記憶した前記画像と前記動作情報とを学習データとして前記学習済みモデルを作成する学習手段と、
を備えることを特徴とするワイヤ挿入システム。
［付記２］
前記記憶手段は、異なる動作条件で取得した前記動作情報を複数記録し、
前記動作条件は、前記孔の位置、前記ワイヤの初期位置、及び前記ロボットの初期位置のうち少なくとも１つを含むことを特徴とする付記１記載のワイヤ挿入システム。
［付記３］
前記制御手段は、前記第１モードにおいて前記動作情報にノイズを付与して前記動作指令を生成することを特徴とする付記１又は２に記載のワイヤ挿入システム。
［付記４］
前記学習済みモデルは、前記画像に対応する前記動作情報を生成する第１モデルと、前記動作情報に対応する前記動作指令を生成する第２モデルとを含み、
前記学習手段は、前記記憶手段に記憶された前記画像と前記動作情報とを学習データとして前記第１モデルを作成することを特徴とする付記１から付記３のいずれか一項記載のワイヤ挿入システム。
［付記５］
前記動作計測部がマスタロボットであり、
前記ロボットがスレーブロボットであることを特徴とする付記１から付記４のいずれか一項記載のワイヤ挿入システム。
［付記６］
前記画像を、前記動作計測部により動作が計測される作業者に表示する表示手段をさらに備えることを特徴とする付記１から付記５のいずれか一項記載のワイヤ挿入システム。
［付記７］
前記カメラは、二眼カメラであることを特徴とする付記１から付記６のいずれか一項記載のワイヤ挿入システム。
［付記８］
所定の部材に設けられている孔に、ロボットでワイヤを自動で挿入するワイヤ挿入方法であって、
作業者の動作を計測し、計測された動作情報に基づいて前記ロボットの動作指令を生成する手動工程と、
前記手動工程において前記部材の孔と前記ロボットに把持されたワイヤとを含む領域の画像をカメラで撮影する撮影工程と、
前記手動工程において前記ワイヤが前記孔に挿入された際の前記動作情報と前記撮影工程の前記画像とを関連付けて記憶する記憶工程と、
前記記憶工程において記憶された前記動作情報と前記画像を学習データとして学習済みモデルを作成する学習工程と、
前記カメラにより前記画像を撮影し、前記学習済みモデルにより前記画像に対応する前記動作指令を生成する動作指令生成工程と、
を備えていることを特徴とするワイヤ挿入方法。
［付記９］
前記手動工程は、複数の異なる動作条件で実行され、
前記動作条件は、前記孔の位置、前記ワイヤの初期位置及び前記ロボットの初期位置のうち少なくとも１つを含むことを特徴とする付記８記載のワイヤ挿入方法。
［付記１０］
前記手動工程では、前記動作情報にノイズを付与して前記動作指令を生成することを特徴とする付記８または９記載のワイヤ挿入方法。
［付記１１］
請求項８乃至１０のいずれか１項に記載のワイヤ挿入方法をコンピュータに実行させるワイヤ挿入プログラム。

【産業上の利用可能性】

【0071】

本発明のワイヤ挿入システムとワイヤ挿入方法を各種のロボットに適用することで、作業対象の位置や動作が正確には特定されず、ある程度のばらつきへの対応が必要な工程の自動化が可能となる。特に、本発明のワイヤ挿入システムの学習済みモデルの作成方法は、各種物品の組み立て工程や搬送工程の自動化に適用が可能である。

【符号の説明】

【0072】

１ ワイヤ挿入システム
２ 中央制御コンピュータ
３ スレーブロボット
４ カメラ
５ 立体視ゴーグル
５１ 立体視ゴーグル制御コンピュータ
６ マスタロボット
２１ 二眼カメラ制御プログラム
２２ 動作情報取得プログラム
２３ 学習手段
２４ 制御手段
２５ オペレータ選択プログラム
２６ 記憶手段
Ｂ ボルト
Ｂ１ ボルトの貫通孔
Ｗ ワイヤＷ
Ｍ１ 作業者
Ｍ２ 作業補助者

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】