特開 2023-76919 疑似力覚モジュール及び疑似力覚モジュールを備えた制御システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2023076919

(43)【公開日】2023-06-05

(54)【発明の名称】疑似力覚モジュール及び疑似力覚モジュールを備えた制御システム

(51)【国際特許分類】

   B25J 9/22 20060101AFI20230529BHJP

【ＦＩ】

B25J9/22 A

【審査請求】未請求

【請求項の数】3

【出願形態】ＯＬ

(21)【出願番号】P 2021189953

(22)【出願日】2021-11-24

(71)【出願人】

【識別番号】504139662

【氏名又は名称】国立大学法人東海国立大学機構

(74)【代理人】

【識別番号】110000659

【氏名又は名称】弁理士法人広江アソシエイツ特許事務所

(72)【発明者】

【氏名】加藤 邦人

(72)【発明者】

【氏名】丹羽 靖治

(72)【発明者】

【氏名】相澤 宏旭

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707BS10

3C707JU02

3C707KS22

3C707KT02

3C707KT06

3C707LS20

3C707LW03

3C707LW12

3C707LW15

(57)【要約】

【課題】ロボットに対して、疑似力覚を考慮した物体操作を模倣させるモジュールと制御システムを提供する。
【解決手段】
本発明の疑似力覚モジュールは、ロボットアームと環境上の物体とが接触する作業を、力覚情報を入力としない深層模倣学習で自動化するために、ロボットアームの方策関数に疑似力覚を組み込む。本発明の制御システムは、ランダムな目標位置に対し、ロボットアームに接触を伴う探索と移動を自動で実行させる制御システムであって、熟練操縦者の実演を学習データとして方策関数の学習を行い、ロボットアーム先端の並進速度と操作量の予測に用いる画像特徴量を出力する特徴抽出器と、過去の操作量と画像特徴量から予測した並進速度との乖離を、時系列的に考慮した疑似力覚特徴量を出力する疑似力覚モジュールと、画像特徴量と疑似力覚特徴量からロボットアームの操作量を出力する行動出力器と、を備えている。
【選択図】図１

【特許請求の範囲】

【請求項1】

ロボットアームと環境上の物体とが接触する作業を、力覚情報を入力としない深層模倣学習で自動化するために、ロボットアームの方策関数に疑似力覚を組み込む疑似力覚モジュール。

【請求項2】

1つ前の時刻で前記方策関数が出力した過去の操作量、2フレームの左右画像から予測されたロボットアーム先端の並進速度、前記過去の操作量と前記並進速度との差分を、長期短期記憶層に蓄積することで、時系列的に前記過去の操作量、前記並進速度、前記差分を考慮した特徴量を出力することを特徴とする請求項１記載の疑似力覚モジュール。

【請求項3】

ランダムな目標位置に対し、ロボットアームに接触を伴う探索と移動を自動で実行させる制御システムであって、
熟練操縦者の実演を学習データとして方策関数の学習を行い、ロボットアーム先端の並進速度と操作量の予測に用いる画像特徴量を出力する特徴抽出器と、
過去の操作量と画像特徴量から予測した並進速度との乖離を、時系列的に考慮した疑似力覚特徴量を出力する疑似力覚モジュールと、
画像特徴量と疑似力覚特徴量からロボットアームの操作量を出力する行動出力器と、
を備えていることを特徴とする制御システム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、疑似力覚モジュールに関する。特に、ロボットアームの動作に疑似力覚の要素を組み込むための疑似力覚モジュールと制御システムに関する。

【背景技術】

【0002】

物品の搬送や組立作業を自動で行うロボットが、種々開発されている。搬送作業や組立作業をロボットが行う場合には、動作の精度と作業の迅速さを両立させることが重要である。同時に、取り扱う対象物を適切な力で保持したり、対象物に加える力を調整しつつ組立作業を進めたりするといった、力の制御技術が必要となる。

【0003】

ロボットが、位置を特定していないホール（穴）の中にペグ（穴に対応する部品）を挿入するという作業である「ペグインホール（Ｐｅｇ－ｉｎ－ｈｏｌｅ）」を実施する場合を例にとり、具体的な作業の内容と、作業に適用されている従来の技術について説明する。従来、ホールにペグを挿入する作業では、最初に穴の位置を特定し、次にペグを挿入するという二段階の工程が行われていた。

【0004】

穴の位置を正確に特定する技術として、非特許文献１には、ロボットアーム先端に取り付けたカメラで穴が設けられている可能性のある箇所の撮影を行い、３次元面の再構成を組み合わせて、不確実な位置と傾きを持つ穴を特定する技術が開示されている。非特許文献２には、力覚センサを用いて渦状軌跡で探索対象面の全探索を行い、力覚センサ値の変化をとらえることで穴の位置を特定する技術が開示されている。

【0005】

位置が特定された穴にペグを正確に挿入する技術として、非特許文献３には、インピーダンス制御によってロボットアームの力を制御する技術が開示されている。非特許文献４には、深層強化学習でペグの挿入を自動化する技術が開示されている。非特許文献５および非特許文献６には、人間の操作情報からロボットに自律的な行動を学習させる模倣学習の手法を採用することによって、ペグの挿入を自動化する技術が開示されている。

【0006】

これら非特許文献３から非特許文献６に開示されている技術は、ペグの挿入に先立って、穴の位置が特定されている必要があった。特に、ペグと穴との間のクリアランスが小さい場合、穴の位置を正確に特定することが重要であった。

【0007】

近年、環境の不確実性に対し、ロボットが柔軟に行動を決定できるように、深層模倣学習（Ｄｅｅｐ Ｉｍｉｔａｔｉｏｎ Ｌｅａｒｎｉｎｇ）を適用する検討が進められている。深層模倣学習をロボットに適用するには、リアルタイムな操作システムを用いて、人間の実演を収集し、学習に使用する。非特許文献７に開示されているシステムでは、実演者にバーチャルリアリティ機器（以下、ＶＲ機器とも略称する）でロボットアームを操作させて、実演を収集している。実演者には、２眼カメラから得られたＲＧＢ画像を、ＶＲ機器のゴーグルの左右の画面に独立して視覚提示している。またロボットのアームの目標点の連続的な移動には、ＶＲ機器のコントローラを用いている。発明者らは、非特許文献８に、ロボットに深層模倣学習を適用した自律動作の精度評価結果を開示している。

【0008】

ロボットの制御システムに深層模倣学習を適用することによって、カメラから得られた生画像を状態として入力し、行動に直接マッピングする方策を設計することができる。しかしながら、非特許文献７および非特許文献８に開示されている技術では、視覚フィードバックのみが学習に反映されており、実際の力覚を考慮した実演が収集されていない。

【0009】

非特許文献９には、力覚と位置とを同時に制御できるバイラテラル制御でロボットアームを遠隔操作し、実演を収集した模倣学習方法が開示されている。現状では、力覚フィードバックを搭載した操作機器は高価で複雑であり、また市場に導入されている操作機器は、可動域が比較的狭くなっている。

【0010】

物理的な測定値として得られる力覚の代わりに、実演者（操縦者、エキスパートとも言われる）が行う操作に応じて視覚情報を歪ませたときに錯覚的に生起する疑似力覚を使用する試みが行われている。非特許文献１０には、操縦者が変位を伴う操作を行ったときに、結果として提示する視覚情報に乖離を設けることで操縦者に疑似力覚を生じさせる技術が開示されている。

【先行技術文献】

【非特許文献】

【0011】

【非特許文献1】Ｍ．Ｎｉｇｒｏ，Ｍ．Ｓｉｌｅｏ，Ｆ．Ｐｉｅｒｒ，Ｋ．Ｇｅｎｏｖｅｓｅ，Ｄ．Ｄ．Ｂｌｏｉｓｉ，Ｆ．Ｃａｃｃａｖａｌｅ「Ｐｅｇ－ｉｎ－Ｈｏｌｅ Ｕｓｉｎｇ ３Ｄ Ｗｏｒｋｐｉｅｃｅ Ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ ａｎｄ ＣＮＮ－ｂａｓｅｄ Ｈｏｌｅ Ｄｅｔｅｃｔｉｏｎ」ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＲＯＳ），ｐｐ．４２３５－４２４０，２０２０年

【非特許文献2】Ｓ．Ｒ．Ｃｈｈａｔｐａｒ、Ｍ．Ｓ．Ｂｒａｎｉｃｋｙ「Ｓｅａｒｃｈ ｓｔｒａｔｅｇｉｅｓ ｆｏｒ ｐｅｇ－ｉｎ－ｈｏｌｅ ａｓｓｅｍｂｌｉｅｓ ｗｉｔｈ ｐｏｓｉｔｉｏｎ ｕｎｃｅｒｔａｉｎｔｙ」２００１ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ，Ｅｘｐａｎｄｉｎｇ ｔｈｅ Ｓｏｃｉｅｔａｌ Ｒｏｌｅ ｏｆ Ｒｏｂｏｔｉｃｓ ｉｎ ｔｈｅ Ｎｅｘｔ Ｍｉｌｌｅｎｎｉｕｍ （Ｃａｔ．Ｎｏ．０１ＣＨ３７１８０），ｐｐ．１４６５－１４７０，２００１年

【非特許文献3】吉川恒夫「マニピュレータの力制御」計測と制御，Ｖｏｌ．３０， Ｎｏ．５，ｐｐ．３８３－３８８、１９９１年

【非特許文献4】Ｔ．Ｉｎｏｕｅ，Ｇ．Ｄ．Ｍａｇｉｓｔｒｉｓ，Ａ．Ｍｕｎａｗａｒ，Ｔ．Ｙｏｋｏｙａ，Ｒ．Ｔａｃｈｉｂａｎａ「Ｄｅｅｐ ｒｅｉｎｆｏｒｃｅｍｅｎｔ ｌｅａｒｎｉｎｇ ｆｏｒ ｈｉｇｈ ｐｒｅｃｉｓｉｏｎ ａｓｓｅｍｂｌｙ ｔａｓｋｓ」２０１７ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ（ＩＲＯＳ），ｐｐ．８１９－８２５，２０１７年

【非特許文献5】Ｓ．Ｓｃｈｅｒｚｉｎｇｅｒ，Ａ．Ｒｏｅｎｎａｕ，Ｒ．Ｄｉｌｌｍａｎｎ「Ｃｏｎｔａｃｔ ｓｋｉｌｌ ｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ ｆｏｒ ｒｏｂｏｔ－ｉｎｄｅｐｅｎｄｅｎｔ ａｓｓｅｍｂｌｙ ｐｒｏｇｒａｍｍｉｎｇ」２０１９ ＩＥＥＥ／ＲＳＪ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｎｔｅｌｌｉｇｅｎｔ Ｒｏｂｏｔｓ ａｎｄ Ｓｙｓｔｅｍｓ （ＩＲＯＳ），ｐｐ．４３０９－４３１６，２０１９年

【非特許文献6】Ｓ．Ｇｕｂｂｉ，Ｓ．Ｋｏｌａｔｈａｙａ，Ｂ．Ａｍｒｕｔｕｒ「 Ｉｍｉｔａｔｉｏｎ Ｌｅａｒｎｉｎｇ ｆｏｒ Ｈｉｇｈ Ｐｒｅｃｉｓｉｏｎ Ｐｅｇ－ｉｎ－Ｈｏｌｅ Ｔａｓｋｓ」２０２０ ６ｔｈ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｎｔｒｏｌ， Ａｕｔｏｍａｔｉｏｎ ａｎｄ Ｒｏｂｏｔｉｃｓ（ＩＣＣＡＲ），ｐｐ．３６８－３７２，２０２０年

【非特許文献7】Ｈ．Ｋｉｍ，Ｙ．Ｏｈｍｕｒａ，Ｙｏｓｈｉｙｕｋｉ，Ｙ．Ｋｕｎｉｙｏｓｈ「Ｇａｚｅ－ｂａｓｅｄ ｄｕａｌ ｒｅｓｏｌｕｔｉｏｎ ｄｅｅｐ ｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ ｆｏｒ ｈｉｇｈ－ｐｒｅｃｉｓｉｏｎ ｄｅｘｔｅｒｏｕｓ ｒｏｂｏｔ ｍａｎｉｐｕｌａｔｉｏｎ」ＩＥＥＥ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ Ｌｅｔｔｅｒｓ，６．２，ｐｐ．１６３０－１６３７，２０２１年

【非特許文献8】丹羽靖治、相澤宏旭、加藤邦人「時系列深層模倣学習によるロボットアームの円軌道追従」画像応用技術専門委員会、サマーセミナー２０２１、ｐｐ．３９－４２、２０２１年

【非特許文献9】Ａ．Ｓａｓａｇａｗａ，Ｋ．Ｆｕｊｉｍｏｔｏ，Ｓ．Ｓａｋａｉｎｏ，Ｔ．Ｔｓｕｊｉ「Ｉｍｉｔａｔｉｏｎ ｌｅａｒｎｉｎｇ ｂａｓｅｄ ｏｎ ｂｉｌａｔｅｒａｌ ｃｏｎｔｒｏｌ ｆｏｒ ｈｕｍａｎ-ｒｏｂｏｔ ｃｏｏｐｅｒａｔｉｏｎ」ＩＥＥＥ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ Ｌｅｔｔｅｒｓ，５．４，ｐｐ．６１６９－６１７６，２０２０年

【非特許文献10】Ｙ．Ｕｊｉｔｏｋｏ，Ｙ．Ｂａｎ「Ｓｕｒｖｅｙ ｏｆ Ｐｓｅｕｄｏ－ｈａｐｔｉｃｓ」Ｈａｐｔｉｃ Ｆｅｅｄｂａｃｋ Ｄｅｓｉｇｎ ａｎｄ Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｐｏｓａｌｓ，ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ ｏｎ Ｈａｐｔｉｃｓ，２０２１年

【発明の概要】

【発明が解決しようとする課題】

【0012】

従来、ロボットの制御システムに、力覚を考慮した判断を学習させるためには、学習データを入力する実演者に力覚をフィードバックさせる操作機器が必要であった。これらの操作機器は高価であり、また可動域が比較的狭かった。

【0013】

本発明は、このような現状に鑑みてなされたものであって、実演者に疑似力覚を体験可能な環境で学習データを取得し、ロボットに対して、人間のような「探りながらの自律動作」を模倣させる深層学習モデルと制御システムの提供を、解決すべき課題としている。

【課題を解決するための手段】

【0014】

本発明は、疑似力覚モジュールに関する。本発明の疑似力覚モジュールは、ロボットアームと環境上の物体とが接触する作業を、力覚情報を入力としない深層模倣学習で自動化するために、ロボットアームの方策関数に疑似力覚を組み込むことを特徴とする。

【0015】

本発明の疑似力覚モジュールは、1つ前の時刻で前記方策関数が出力した過去の操作量値、２フレームの左右画像から予測されたロボットアーム先端の並進速度、前記過去の操作量と前記並進速度との差分を、長期短期記憶層に蓄積することで、時系列的に前記過去の操作量、前記並進速度、前記差分を考慮した特徴量を出力することが好ましい。

【0016】

本発明はまた、ランダムな目標位置に対し、ロボットアームに接触を伴う探索と移動を自動で実行させる制御システムを提供する。本発明の制御システムは、熟練操縦者の実演を学習データとして方策関数の学習を行い、ロボットアーム先端の並進速度と操作量の予測に用いる画像特徴量を出力する特徴抽出器と、過去の操作量と画像特徴量から予測した並進速度との乖離を、時系列的に考慮した疑似力覚特徴量を出力する疑似力覚モジュールと、画像特徴量と疑似力覚特徴量からロボットアームの操作量を出力する行動出力器と、を備えていることを特徴とする。

【発明の効果】

【0017】

本発明の疑似力覚モジュールを用いて深層学習を行ったロボットは、人間のように探索しながらの挿入を行うことができる。また、本発明の疑似力覚モジュールを用いて自律移動を行うロボットは、過去の行動、結果、乖離を考慮した行動を行うため、たとえば、探索しながら移動していて他の物体と接触したとき、以前の位置に戻って操作をやり直すことができる。

【0018】

本発明の制御システムは、従来よりも簡易な構成を用いて力覚に相当する要素をロボットの自律的な動作に組み込むことが可能である。結果として、本発明の制御システムに制御されるロボットは、従来よりも迅速且つ精度の高い動作を行うことができる。

【図面の簡単な説明】

【0019】

【図1】図１は、ロボットと制御システムの構成を概念的に示す図である。

【図2】図２は、本実施形態の学習時の制御システムの、ネットワーク構成を模式的に示すブロック図である。

【図3】図３は、本実施形態の制御システムの、ロボット稼働時のネットワーク構成を示すブロック図である。

【図4】図４は、小規模な特徴抽出器の構成を示すブロック図である。

【図5】図５は、操作量と、予測した速度と、疑似力覚の関係を、模式的に説明する図である。

【図6】図６は、実施例でロボットが移動を制御するペグと、ペグを挿入するホールを模式的に示す図である。

【図7】図７は、疑似力覚モジュールを含まない比較例の特徴抽出器Ｖａｎｉｌｌａの構成を示すブロック図である。

【図8】図８は、疑似力覚モジュールを含まない比較例の特徴抽出器ＣＮＮ^２の構成を示すブロック図である。

【発明を実施するための形態】

【0020】

以下、本発明の疑似力覚モジュールを含む制御システムの好適な実施形態を説明する。次に、実施例として、本発明の制御システムによって制御されるロボットが、ペグインホールの動作を自律的に行う場合について、詳細に説明する。

【0021】

本実施形態の制御システム１を備えたロボットの構成を、図１に示す。本実施形態にて用いられる制御システム１は、記憶手段と、中央演算処理装置（ＣＰＵ）と、通信手段とを備えており、ロボットと一体化していてもよい。あるいは、複数の記憶手段や複数の演算処理装置に、それぞれのモジュールの一部又は全部を分散して配置し、ネットワークを介して自律運転に必要な一連の処理を行っていてもよい。

【0022】

ロボットは、一実施形態として、図１に示すような多関節のロボットアーム２で構成することができる。以下の説明では、実演者がロボットアームの動作を制御する場合を想定して説明を行っているが、ロボットの形態はこれに限定されない。

【0023】

制御システム１は、２眼カメラ３と、実演者に操作させて実演データを収集するためのバーチャルリアリティ機器（ＶＲ機器）とを備えている。ＶＲ機器には、ヘッドマウントディスプレイ４（ＨＭＤ４）と、三次元コントローラ５が含まれている。また、制御システム１には、三次元コントローラ５の速度で、ロボットアーム２の目標点を連続的に移動させる制御部が含まれている。

【0024】

２眼カメラ３はヘッドマウントディスプレイ４に接続されている。２眼カメラ３は、ロボットアーム２の動作を、２枚の左右画像Ｌ^ｔ，Ｒ^ｔとして撮影する。ここで、ｔは撮影した時刻を示している。２眼カメラ３は、撮影した画像を、時刻ごとの二次元配列のデータとしてヘッドマウントディスプレイ４に送信する。ヘッドマウントディスプレイ４は、装着されている操縦者の左右の眼にそれぞれの画像を提示し、実演者にシミュレータ空間を立体的に知覚させることができる。シミュレータ上で２眼カメラは固定されているため、頭を動かしても見える景色は変わらない。

【0025】

実演者は、三次元コントローラ５を規定の操作方法で操作し、ロボットアーム２の目標点を三次元的に移動させることができる。既知の三次元コントローラ５の場合、コントローラ本体の並進速度でロボットアーム２の目標点を三次元的に移動させる。

【0026】

制御システム１が備えている特徴抽出器と、疑似力覚モジュールと、行動出力器について説明する。特徴抽出器は、熟練操縦者の実演を学習データとして方策関数の学習を行い、ロボットアーム先端の並進速度と操作量の予測に用いる画像特徴量を出力する。疑似力覚モジュールは、過去の操作量と画像特徴量から予測した並進速度との乖離を、時系列的に考慮した疑似力覚特徴量を出力する。行動出力器は、画像特徴量と疑似力覚特徴量からロボットアームの操作量を出力する。

【0027】

図２に、制御システム１が実演者の実演データを学習するときのネットワーク構成をブロック図で示す。図３に、ロボット稼働時の制御システムのネットワーク構成をブロック図で示す。特徴抽出器は畳み込みニューラルネットワークで構成されており、図中、特徴抽出器ＣＮＮ^４（以下、単にＣＮＮ^４とも称する）として示されている。特徴抽出器ＣＮＮ^４は、複数の小規模な特徴抽出器ＣＮＮ^２（以下、単にＣＮＮ^２とも称する）で構成されている。

【0028】

図４に、ＣＮＮ^２のネットワークの構成を、ブロック図で示す。図中、直方体で示しているのは、特徴マップを表す三次元の行列である。ＣＮＮ^２は人間の視差による両眼立体視と、焦点ずれによる単眼立体視を明示的に組み込むモデルである。ＣＮＮ^２は左右の特徴マップの差分を連結した特徴マップを作った後、図４の右側のブロック図に示すように、同心マルチスケールプーリング（Ｃｏｎｃｅｎｔｒｉｃ Ｍｕｌｔｉ－ｓｃａｌｅ Ｐｏｏｌｉｎｇ、ＣＭ ｐｏｏｌ）で解像度を落とした後、畳み込み（Ｃｏｎｖｏｌｕｔｉｏｎ、Ｃｏｎｖ）を行っている。

【0029】

図３に示すように、特徴抽出器ＣＮＮ^４は、２段のＣＮＮ^２で構成される。１段目のＣＮＮ^２には、時系列で時刻ｔ－１の左右画像（Ｌ^ｔ－１，Ｒ^ｔ－１）と時刻ｔの左右画像（Ｌ^ｔ， Ｒ ^ｔ）を入力し、空間的な差分が考慮された特徴マップＦ^ｔ－１とＦ^ｔを得ている。２段目のＣＮＮ^２には、Ｆ^ｔ－１，Ｆ^ｔを入力し、時間的な差分をとりながら畳み込みを行っている。２段目のＣＮＮ^２から出力された特徴マップに、グローバルアベレージプーリング（Ｇｌｏｂａｌ Ａｖｅｒａｇｅ Ｐｏｏｌｉｎｇ、ＧＡＰ）を適用し、対象の並進速度の予測に有用な空間的、時間的差分を考慮した画像特徴量ｇ^ｔを得ている。

【0030】

図２、３、５を用いて、疑似力覚モジュール（Ｐｓｅｕｄｏ－ｈａｐｔｉｃｓ Ｍｏｄｕｌｅ、ＰＨＭ）について説明する。疑似力覚モジュールＰＨＭは、特徴抽出器ＣＮＮ^４が出力した画像特徴量ｇ^ｔを入力する。そして、ＦＣ ＲｅＬＵ、ＦＣ Ｌｉｎｅａｒ（活性化関数なしの線形ユニットを使用した全結合層）２層で並進速度ｅ^ｔを予測した後、過去の単位時間あたりの操作量ａ^ｔ－１と画像特徴量から予測した速度ｅ^ｔとの乖離を、疑似力覚として出力する。過去の操作量ａ^ｔ－１と、予測した速度ｅ^ｔと、疑似力覚ｈ^ｔの関係を、図５に模式的に示す。図５に示すように、疑似力覚モジュールＰＨＭは、時刻ｔ－１でモデルが出力した過去の操作量

【数1】

と、モデルが予測したペグ中心の並進速度

【数2】

との差分をとる。下記の式、 ^ｔ－１

【数3】

によって、乖離量と乖離方向を理解するための疑似力覚

【数4】

を得る。その後、ａ^ｔ－１，ｅ^ｔ，ｈ^ｔを縦方向に連結し、特徴マップ

【数5】

を得る。このとき，ｅ^ｔ，ｈ^ｔの計算グラフを切ることで、最終層から補助出力層へ、対象物の速度の予測に関係のない誤差が逆伝搬することを防ぐ。ｘ，ｙ，ｚ軸別にａ^ｔ－１，ｅ^ｔ，ｈ^ｔの関係性を認識させるために、Ｇ^ｔをカーネルサイズ（１，３）の縦方向フィルタで畳み込み、得られた行列式Ｉ^ｔを一列のベクトルに直し、長期短期記憶層（ＬＳＴＭ）へ入力する。最後に長期短期記憶層（ＬＳＴＭ）から、時系列的な行動、結果、乖離を考慮した特徴量ｊ^ｔが出力される。

【0031】

図３に示す行動出力器は、画像特徴量と疑似力覚特徴量から操作量を出力する。行動出力器は全結合層２層からなるネットワークであり、空間的、時間的差分を考慮した特徴量ｇ^ｔと疑似力覚モジュールが出力した特徴量ｊ^ｔを連結した特徴量を入力し、ロボットの次の操作量ａ^ｔを出力する。

【実施例0032】

以下、本発明の疑似力覚モジュールを含む制御システム１によって、ロボットアーム２に深層模倣学習を用い、ペグインホールの動作を自動で行った実施例を以下に示す。

【0033】

ペグインホールに用いた要素を、図６に示す。外観上、穴１２は、縦１０．０ｍｍ、横１０．０ｍｍ、深さ１０．０ｍｍの正方形の穴であり、平面上に開口している。外観上、ペグ１１は縦９．６ｍｍ、横９．６ｍｍ、長さ５０．０ｍｍの剛体の棒である。ペグ１１は、ロボットアーム２の先端に固定されている。穴１２の位置は、ロボットアーム２の機械座標系の原点から縦横方向に±１０ミリメートルの範囲でランダムな位置に固定されている。なお、穴１２の向きは一方向に統一されており、動作時に、ペグの回転方向の変位を考慮する必要はない。

【0034】

学習時に、実演者に提供されるシミュレータ空間上では、ペグ１１が穴１２を貫通しないように衝突面に対し、衝突マージンを設けている。本実施例では、ペグ１１と穴１２との衝突マージンは０．１ｍｍに設定されている。衝突マージンを考慮すると物理演算上のペグ１１のサイズは縦９．８ｍｍ、横９．８ｍｍ、長さ５０．２ｍｍとなり、穴１２のサイズは縦９．８ｍｍ、横９．８ｍｍ、深さ１０．０ｍｍとなる．衝突マージン同士の重なりは衝突に影響しないため、ペグ１１を穴１２の中心に置いたときにペグ１１の周りにできる空間の大きさであるクリアランスは０．１ｍｍとなる。

【0035】

本実施例では、ロボットアーム２の制御システム１に深層模倣学習を行うためのバーチャルリアリティ機器として、Ｏｃｕｌｕｓ Ｑｕｅｓｔ ２（登録商標、Ｆａｃｅｂｏｏｋ Ｔｅｃｈｎｏｌｏｇｉｅｓ，ＬＬＣ）を使用した。

【0036】

制御システムの深層模倣学習では、実演者と制御システム間の遠隔操作ループをリアルタイムで行い、実演データを収集する必要がある。そこで、ヘッドマウントディスプレイに画像をレンダリングするためのシミュレータシステムとして、ＣｏｐｐｅｌｉａＳｉｍ（Ｃｏｐｐｅｌｉａ ＲｏｂｏｔｉｃｓＡＧ）を使用した。２眼カメラは（ｘ，ｙ，ｚ）＝（０ｍｍ，－９０ｍｍ，４０ｍｍ）の位置に固定されている。カメラの左右間隔は１０ｍｍ、画角は６０度に設定されている。

【0037】

学習データの取得時、実演者が右手コントローラのボタンを押したとき、コントローラの並進速度ｃ^ｔを取得し、ペグの中心座標にｃ^ｔを加算した座標にロボットアーム２の目標点を設定する。右手コントローラの速度計算は、ヘッドマウントディスプレイの中心を原点とした座標系を使用する。ただし操作補助のため、｜ｃ^ｔ｜は実空間のコントローラの移動量の１０分の１としている。また、モデルの学習のために、教師信号の大きさ｜ｃ^ｔ｜の範囲を０．２ｍｍ以上１．０ｍｍ以下に収める処理を行っている。遠隔操作のサイクルは１０ｆｐｓ間隔で行い、コントローラのボタンを押して操作を行った時刻のみ、状態（Ｌ^ｔ，Ｒ^ｔ）と正解行動ｃ^ｔの組を１つの実演として保存している。

【0038】

実演者は、ヘッドマウントディスプレイ４の画像を見ながら三次元コントローラ５を操作することで、シミュレータ空間上のロボットアーム２を遠隔操作することができる。シミュレータは、状態（Ｌ^ｔ，Ｒ^ｔ）と正解行動ｃ^ｔと、ロボットアーム２が保持しているペグ１１の中心の並進速度の実測値ｒ^ｔを収集する。学習データ収集時のみ、ペグ１１の初期位置を、（ｘ，ｙ，ｚ）＝（０，０，５０）ｍｍの各軸に、±１０ｍｍの範囲を持つランダムオフセットを加えた座標とする。初期位置をランダムにすることで、データ内に様々な状態を作り、学習データの頑健性を向上させる。本実施例では、５００パターンの異なる位置を持つ穴１２に対し、実演者が探索と挿入を行うことで、合計５００シーンのデータを収集した。その後、シーン単位でランダムに４２５シーンを訓練データ、３７シーンを検証データ、残り３８シーンを評価データに割り当てた。モデルの学習に訓練データを使用し、重みパラメータの選択に検証データを用いた。評価データは、モデルがペグの並進速度を予測する能力を評価するのに用いた。

【0039】

疑似力覚モジュールは、深層模倣学習時と、実際のペグインホールの作業時で異なる挙動をする。図２に、制御システム中の学習時の疑似力覚モジュール（ＰＨＭ）と行動出力器（Ａｃｔｉｏｎ Ｎｅｔｗｏｒｋ）を示す。学習中にｈ^ｔを計算するときは、安定的に乖離と出力の関係性を学習させるために、疑似力覚モジュールに５０％の確率でｅ^ｔを補助出力の教師信号

【数6】

に置き換えている。過去の操作量ａ^ｔ－１は訓練時に得られないため、ａ^ｔ－１は、実演者の過去の操作量

【数7】

に置き換えられる。長期短期記憶層（ＬＳＴＭ）は、系列長を固定して学習している。データセットから、ｑステップ時刻を遡ったｒ^ｔ－ｑ，ｃ^{ｔ－ｑ－１}を得ている。ｒ^ｔ－ｑ，ｃ^{ｔ－ｑ－１}、（ｒ^ｔ－ｑ － ｃ^{ｔ－ｑ－１}）を縦方向に連結し、

【数8】

を作っている。時刻を遡りながらＨ^ｔ－ｑをＴ個用意し、学習時Ｇ^ｔの代わりとして入力している。補助出力の教師信号はｒ^ｔ、最終出力の教師信号は操作量ｃ^ｔであり、どちらも損失関数は二乗平均平方根誤差(ＲＭＳＥ)を使用する。誤差逆伝搬は補助出力、最終出力の順に行い、２つの誤差の勾配を用いて重み更新を行う。疑似力覚モジュールＰＨＭの上２つの全結合層は補助出力の誤差のみで学習し、その他の部分は最終出力の誤差と補助出力の誤差の両方で学習する。

【0040】

深層模倣学習を行った制御システム１１を用いて、ロボットアーム２にペグインホールの自動運転を行わせた。本実施例では、学習に用いたデータセットに含まれない１０００パターンの穴の位置を使用した。表１に入力と教師信号の組数を示す。

【0041】

【表1】

【0042】

ロボットアーム２は、ペグ１１の中心座標を目標点に向かわせるように動作する。ロボットアーム２の６つの関節はＰＩ制御で動作し、多少の抵抗であればＩ制御の効果で乗り越えることができる。すべての関節は比例ゲインＫｐ＝０．１、積分ゲインＫｉ＝０．００５に設定されている。制限時間内にペグの先端座標と穴底の中心座標との距離が３．０ｍｍ以下になったときに、ペグインホールの作業が成功したとみなした。

【0043】

本発明の制御システム１が制御するロボットアーム２を用いて、ペグインホール作業を行った場合の性能の評価として、最初に、特徴抽出器ＣＮＮ^４の性能の評価を行った。特徴抽出器ＣＮＮ^４が、撮影時刻順の２フレームの左右画像（Ｌ^ｔ－１，Ｒ^ｔ－１）と（Ｌ^ｔ，Ｒ^ｔ）から、ペグの並進速度の予測に有用な特徴量を抽出できるか否かについて、補助出力のみを学習し、従来から知られている２つの特徴抽出器ＶａｎｉｌｌａとＣＮＮ^２との間で比較を行った。図７は、比較例の特徴抽出器Ｖａｎｉｌｌａの構成を示すブロック図である。Ｖａｎｉｌｌａは、空間的差分も時間的差分も明示的には考慮しない単純な特徴抽出器であって、左右画像を畳み込んだ後、ＧＡＰで１次元化した特徴量を出力する。図８は、比較例の特徴抽出器ＣＮＮ^２の構成を示すブロック図である。ＣＮＮ^２は、Ｖａｎｉｌｌａと異なり、空間的差分を考慮した特徴抽出器であり、２フレーム分の左右画像から、空間的差分は考慮するものの、時間的差分を明示的には考慮しない特徴抽出を行う。

【0044】

特徴抽出器ＣＮＮ^４と、比較例の特徴抽出器ＶａｎｉｌｌａおよびＣＮＮ^２とから、それぞれ特徴量を出力し、３層の全結合ネットワークを用いてペグ中心の並進速度を予測した。各モデルを、エポック数５０、バッチサイズ６４、最適化手法Ｍｏｍｅｎｔｕｍ－ＳＧＤ（モーメンタム０．９）、損失関数である二乗平均平方根誤差ＲＭＳＥ、学習率１０^－４，１０^－３で学習し、検証誤差が最も下がったエポックの学習パラメータを使用して評価データの二乗平均平方根誤差ＲＭＳＥを算出した。以下の表２に、それぞれの特徴抽出器のベストモデルのＲＭＳＥを示す。

【0045】

【表2】

【0046】

この結果、比較例の特徴抽出器Ｖａｎｉｌｌａや、Ｖａｎｉｌｌａを空間的な差分を考慮したＣＮＮ^２に変えただけでは、多少の改善しか得られないことが明らかとなった。これに対して、時間的な差分も考慮できる実施例の特徴抽出器ＣＮＮ^４は、より小さな誤差でペグ中心の並進速度を予測ができることがあきらかとなり、２つの時刻で得られた特徴マップの差分をとりながら畳み込む本発明の特徴抽出器ＣＮＮ^４は、物体の時間的変化をとらえることに効果的であることが確認された。

【0047】

本発明の制御システム１１が制御するロボットアーム２を用いて、ペグインホール作業を行った場合の性能の評価として、作業の成功率を、従来の制御システムと比較する。比較例は、制御システムに特徴抽出器Ｖａｎｉｌｌａを組み込んだ場合と、特徴抽出器ＣＮＮ^２を組み込んだ場合と、本発明の制御システムから疑似力価モジュールのみを取り除いた場合の３モデルである。特徴抽出器にＶａｎｉｌｌａとＣＮＮ^２を使用したそれぞれの比較例モデルでは、入力画像を１フレームと２フレームに変更した場合についても、成功率を検証した。制御システムの深層模倣学習の条件としては、エポック数５０、バッチサイズ６４、最適化手法Ｍｏｍｅｎｔｕｍ－ＳＧＤ（モーメンタム０．９）、損失関数ＲＭＳＥ、学習率１０^－４，１０^－３とした。加えて、実施例の制御システムでは、Ｈ^ｔ－ｑの個数Ｔを５，１０，２０とし、長期短期記憶層（ＬＳＴＭ）のユニット数を１２８，２５６，５１２に変更して学習を行った。１０エポックの間検証誤差が改善しなければ学習を終了した。最終出力の検証誤差が最も下がったエポックの重みを使用することとした。実施例の制御システムのベストパラメータは、学習率１０^－３，Ｔ＝２０、ＬＳＴＭのユニット数は、１２８となった。

【0048】

表３に、実施例と比較例のそれぞれについての、ペグインホール作業の制限時間別成功率を示す。表４に、制限時間を６０秒としたときの、所要時間の平均と標準偏差を示す。ただし、平均と標準偏差を計算時、失敗試行は所要時間を６０［秒］として計算している。

【0049】

【表3】

【表4】

【0050】

表４から、本実施例の制御システム１が採用しているＣＮＮ^４と疑似力覚モジュールの組み合わせは、ペグ１１の挿入成功率とペグ１１の挿入時間共に、比較例の制御システムよりも優れていることが確認された。比較例の、入力画像２フレームのＶａｎｉｌｌａモデルは、入力画像１フレームのＶａｎｉｌｌａと比較して、ペグ挿入の成功率が大きく改善しており、挿入時間も短くなっている、入力画像２フレームのＣＮＮ^２では入力画像１フレームのＣＮＮ^２よりも成功率が低下しているため、単純に入力画像を２フレームにするだけでは、作業の改善につながらないことが判明した。２フレームのＣＮＮ^２とＣＮＮ^４を比較すると、成功率と所要時間の両方が大きく改善していることから、空間的差分を考慮した畳み込みが成功率改善に大きく寄与することが明らかになっている。また、疑似力覚モジュールの有無について確認するためにＣＮＮ^４とＣＮＮ^４＋ＰＨＭの制御装置とを比較すると、ＣＮＮ^４＋ＰＨＭの制御システムは、１５．０秒以内の成功率が６．３％（６３回）改善しており、平均所要時間も２秒以上改善している。この結果から、過去の操作量ａ^ｔ－１，結果ｅ^ｔ，乖離ｈ^ｔをモデルに与える疑似力覚モジュールを組み込むことが、成功率と所要時間短縮に大きく寄与することが確認された。

【0051】

疑似力覚モジュールを備えた制御システム１による制御では、穴の探索時に引っかかりによってロボットアーム２が動けなくなったとき、ペグ１１を上にあげることができるという改善効果が認められた。

【0052】

本発明の制御システムは、模倣学習を使用して、ロボットに、探索と挿入を一括して行う動作を可能とした。実施例に示したように、実演者の実演から学習したロボットアームは、ランダムな穴の位置に柔軟に対応し、人間のように探索と挿入をまとめて処理することができた。また、本発明の疑似力覚モジュールを適用したロボットは、より正確で迅速な動作が可能となり、作業の成功率が向上し、同時に所要時間が短縮することが確認された。

【産業上の利用可能性】

【0053】

本発明の疑似力覚モジュールと制御システムを各種のロボットに適用することで、物品の自律的な搬送や組立を、正確且つ迅速に行うことが可能となる。

【符号の説明】

【0054】

１ 制御システム
２ ロボットアーム
３ ２眼カメラ
４ ヘッドマウントディスプレイ
５ 三次元コントローラ
１１ ペグ
１２ 穴

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】