特開 2024-126302 操作制御方法、操作制御装置、及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024126302

(43)【公開日】2024-09-20

(54)【発明の名称】操作制御方法、操作制御装置、及びプログラム

(51)【国際特許分類】

   B25J 3/00 20060101AFI20240912BHJP

【ＦＩ】

B25J3/00 Z

【審査請求】未請求

【請求項の数】8

【出願形態】ＯＬ

(21)【出願番号】P 2023034596

(22)【出願日】2023-03-07

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】リシ アガルワル

(72)【発明者】

【氏名】長谷川 忠明

(72)【発明者】

【氏名】進 寛史

(72)【発明者】

【氏名】北原 陽平

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707JS03

3C707JS07

3C707KS11

3C707KS21

3C707KS31

3C707KS33

3C707KX08

3C707LW12

(57)【要約】

【課題】人間の手を使って達成できる非常に多様なタスクをロボットに再現させることができる操作制御方法、操作制御装置、及びプログラムを提供する。
【解決手段】実施形態に係る操作制御方法は、オブジェクトを把持又は操作することが可能であり、かつ複数の指が設けられたエンドエフェクタを操作者が遠隔操作する際に生成されるセンサデータを取得すること、前記センサデータに基づいて、前記複数の指の其々の役割を判定すること、前記判定された前記複数の指の其々の役割と、前記センサデータとに基づいて、前記エンドエフェクタを動作させるためのコマンドを生成すること、を含む。
【選択図】図２

【特許請求の範囲】

【請求項1】

オブジェクトを把持又は操作することが可能であり、かつ複数の指が設けられたエンドエフェクタを操作者が遠隔操作する際に生成されるセンサデータを取得すること、
前記センサデータに基づいて、前記複数の指の其々の役割を判定すること、
前記複数の指の其々の役割と、前記センサデータとに基づいて、前記エンドエフェクタを動作させるためのコマンドを生成すること、
を含む操作制御方法。

【請求項2】

前記役割には、
他の指とともに対象の指で前記オブジェクトを把持する第１の役割と、
前記対象の指と前記他の指との力のつり合いを維持しながら前記オブジェクトを操作する第２の役割と、
前記他の指によって力のつり合いを維持しながら把持された前記オブジェクトに前記対象の指で力を加えて前記オブジェクトを操作する第３の役割と、
前記オブジェクトに前記対象の指で力を加えない第４の役割と、が含まれる、
請求項１に記載の操作制御方法。

【請求項3】

前記センサデータには、前記操作者の手の指の関節角度を示す値と、前記エンドエフェクタに対する前記オブジェクトの接触有無を示す値と、が含まれており、
前記操作者の手の指のうち、着目する第１の指の前記関節角度が第１閾値以上であり、かつ前記エンドエフェクタに前記オブジェクトが接触していない場合、前記操作者の手の前記第１の指に対応した前記エンドエフェクタの指の役割を、前記第４の役割に決定し、
前記第１の指の前記関節角度が前記第１閾値未満であり、かつ前記エンドエフェクタに前記オブジェクトが接触している場合、前記操作者の手の第１の指に対応した前記エンドエフェクタの指の役割を、前記第１の役割、前記第２の役割、又は前記第３の役割に決定する、
請求項２に記載の操作制御方法。

【請求項4】

前記第１の指の前記関節角度の変化が第２閾値未満である場合、前記操作者の手の第１の指に対応した前記エンドエフェクタの指の役割を、前記第１の役割に決定し、
前記第１の指の前記関節角度の変化が前記第２閾値以上であり、かつ前記第１の指と異なる第２の指の前記関節角度と前記第１の指の前記関節角度との相対変化が第３閾値未満である場合、前記操作者の手の第１の指に対応した前記エンドエフェクタの指の役割を、前記第２の役割に決定し、
前記第１の指の前記関節角度の変化が前記第２閾値以上であり、かつ前記第２の指の前記関節角度と前記第１の指の前記関節角度との相対変化が前記第３閾値以上である場合、前記操作者の手の第１の指に対応した前記エンドエフェクタの指の役割を、前記第３の役割に決定する、
請求項３に記載の操作制御方法。

【請求項5】

機械学習モデルを用いて、前記センサデータから、前記複数の指の其々の役割を判定する、
請求項１又は２に記載の操作制御方法。

【請求項6】

機械学習モデルを用いて、前記複数の指の其々の役割と前記センサデータとから、前記複数の指の其々の役割を再判定し、
前記再判定された複数の指の其々の役割に基づいて、前記コマンドを生成する、
請求項１又は２に記載の操作制御方法。

【請求項7】

オブジェクトを把持又は操作することが可能であり、かつ複数の指が設けられたエンドエフェクタを操作者が遠隔操作する際に生成されるセンサデータを取得する取得部と、
前記センサデータに基づいて、前記複数の指の其々の役割を判定する判定部と、
前記複数の指の其々の役割と、前記センサデータとに基づいて、前記エンドエフェクタを動作させるためのコマンドを生成する生成部と、
を備える操作制御装置。

【請求項8】

コンピュータに実行させるためのプログラムであって、
オブジェクトを把持又は操作することが可能であり、かつ複数の指が設けられたエンドエフェクタを操作者が遠隔操作する際に生成されるセンサデータを取得すること、
前記センサデータに基づいて、前記複数の指の其々の役割を判定すること、
前記複数の指の其々の役割と、前記センサデータとに基づいて、前記エンドエフェクタを動作させるためのコマンドを生成すること、
を含むプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、操作制御方法、操作制御装置、及びプログラムに関する。

【背景技術】

【0002】

ロボットを遠隔操作する操作者の意図を判断することは、操作者と同じ動作をロボットに再現させるために非常に重要な作業である。操作者が何を達成しようとしているのかを感知するために考えられる方法や試みは数多くある。

【0003】

例えば、遠隔操作でロボットにオブジェクトを把持させる場合、センサから得られた操作者の指の各関節角度などの情報をロボットに適用することが知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２０１１－１１０６２０号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら従来の技術では、人間の手の複雑な性質と、人間の手を使って達成できる非常に多様なタスクとが存在していることから、操作者と同じ動作をロボットに再現させることが困難な場合があった。

【0006】

本発明は、このような事情を考慮してなされたものであり、人間の手を使って達成できる非常に多様なタスクをロボットに再現させることができる操作制御方法、操作制御装置、及びプログラムを提供することを目的の一つとする。

【課題を解決するための手段】

【0007】

本発明に係る操作制御方法、操作制御装置、及びプログラムは以下の構成を採用した。
（１）本発明の第１の例は、コンピュータを用いたエンドエフェクタの操作制御方法である。操作制御方法は、オブジェクトを把持又は操作することが可能であり、かつ複数の指が設けられた前記エンドエフェクタを操作者が遠隔操作する際に生成されるセンサデータを取得すること、前記センサデータに基づいて、前記複数の指の其々の役割を判定すること、前記複数の指の其々の役割と、前記センサデータとに基づいて、前記エンドエフェクタを動作させるためのコマンドを生成すること、を含む。

【0008】

（２）本発明の第２の例は、第１の例において、前記役割には、他の指とともに対象の指で前記オブジェクトを把持する第１の役割と、前記対象の指と前記他の指との力のつり合いを維持しながら前記オブジェクトを操作する第２の役割と、前記他の指によって力のつり合いを維持しながら把持された前記オブジェクトに前記対象の指で力を加えて前記オブジェクトを操作する第３の役割と、前記オブジェクトに前記対象の指で力を加えない第４の役割と、が含まれるものである。

【0009】

（３）本発明の第３の例は、第２の例において、前記センサデータには、前記操作者の手の指の関節角度を示す値と、前記エンドエフェクタに対する前記オブジェクトの接触有無を示す値と、が含まれており、前記操作者の手の指のうち、着目する第１の指の前記関節角度が第１閾値以上であり、かつ前記エンドエフェクタに前記オブジェクトが接触していない場合、前記操作者の手の第１の指に対応した前記エンドエフェクタの指の役割を、前記第４の役割に決定し、前記第１の指の前記関節角度が前記第１閾値未満であり、かつ前記エンドエフェクタに前記オブジェクトが接触している場合、前記操作者の手の第１の指に対応した前記エンドエフェクタの指の役割を、前記第１の役割、前記第２の役割、又は前記第３の役割に決定する、ものである。

【0010】

（４）本発明の第４の例は、第３の例において、前記第１の指の前記関節角度の変化が第２閾値未満である場合、前記操作者の手の第１の指に対応した前記エンドエフェクタの指の役割を、前記第１の役割に決定し、前記第１の指の前記関節角度の変化が前記第２閾値以上であり、かつ前記第１の指と異なる第２の指の前記関節角度と前記第１の指の前記関節角度との相対変化が第３閾値未満である場合、前記操作者の手の第１の指に対応した前記エンドエフェクタの指の役割を、前記第２の役割に決定し、前記第１の指の前記関節角度の変化が前記第２閾値以上であり、かつ前記第２の指の前記関節角度と前記第１の指の前記関節角度との相対変化が前記第３閾値以上である場合、前記操作者の手の第１の指に対応した前記エンドエフェクタの指の役割を、前記第３の役割に決定する、ものである。

【0011】

（５）本発明の第５の例は、第１又は第２の例において、機械学習モデルを用いて、前記センサデータから、前記複数の指の其々の役割を判定するものである。

【0012】

（６）本発明の第６の例は、第１又は第２の例において、機械学習モデルを用いて、前記複数の指の其々の役割と前記センサデータとから、前記エンドエフェクタ全体の動作を判定し、前記判定されたエンドエフェクタ全体の動作に基づいて、前記コマンドを生成するものである。

【0013】

（７）本発明の第７の例は、オブジェクトを把持又は操作することが可能であり、かつ複数の指が設けられたエンドエフェクタを操作者が遠隔操作する際に生成されるセンサデータを取得する取得部と、前記センサデータに基づいて、前記複数の指の其々の役割を判定する判定部と、前記複数の指の其々の役割と、前記センサデータとに基づいて、前記エンドエフェクタを動作させるためのコマンドを生成する生成部と、を備える操作制御装置である。

【0014】

（８）本発明の第８の例は、コンピュータに実行させるためのプログラムであって、オブジェクトを把持又は操作することが可能であり、かつ複数の指が設けられたエンドエフェクタを操作者が遠隔操作する際に生成されるセンサデータを取得すること、前記センサデータに基づいて、前記複数の指の其々の役割を判定すること、前記複数の指の其々の役割と、前記センサデータとに基づいて、前記エンドエフェクタを動作させるためのコマンドを生成すること、を含むプログラムである。

【発明の効果】

【0015】

上記の例によれば、人間の手を使って達成できる非常に多様なタスクをロボットに再現させることができる。

【図面の簡単な説明】

【0016】

【図1】実施形態に係るエンドエフェクタ１０の構成の一例を示す図である。

【図2】実施形態に係るエンドエフェクタ１０及び操作制御装置１００の構成図である。

【図3】実施形態に係るエンドエフェクタ１０の各指１１の役割の判定方法の概要を説明するための図である。

【図4】実施形態に係るエンドエフェクタ１０の各指１１の役割を説明するための図である。

【図5】実施形態に係るエンドエフェクタ１０の各指１１の役割を説明するための図である。

【図6】実施形態に係るエンドエフェクタ１０の各指１１の役割を説明するための図である。

【図7】実施形態に係る処理部１２０のトレーニングの処理の流れを表すフローチャートである。

【図8】１次モデルＭＤＬ１を説明するための図である。

【図9】２次モデルＭＤＬ２を説明するための図である。

【発明を実施するための形態】

【0017】

以下、図面を参照し、本発明の操作制御方法、操作制御装置、及びプログラムの実施形態について説明する。

【0018】

（概要）
本実施形態では、操作者によって遠隔操作されるロボットに、操作者と同じ動作をさせることを支援する。ロボットは、典型的には、エンドエフェクタ１０によってオブジェクトＯＢを把持したり、又は操作したりすることができる人型ロボット（ヒューマノイドロボット）であるがこれに限られず、オブジェクトＯＢを把持又は操作できれば如何なる態様のロボットであってもよい。例えば、ロボットは、四足歩行の動物型のロボットであってもよいし、産業用ロボットであってもよいし、軍事用ロボットであってもよいし、家庭用の掃除用ロボットであってもよいし、その他種々のロボットであってよい。

【0019】

（エンドエフェクタの構成）
図１は、実施形態に係るエンドエフェクタ１０の構成の一例を示す図である。図示のように、エンドエフェクタ１０には、例えば、数本の指１１がグリッパーとして設けられる。エンドエフェクタ１０は、ロボットハンドともいう。そのため以下の説明では、エンドエフェクタ１０のことを単に「手」と称して説明する場合がある。指１１の数は４つに限られず、例えば２つや３つであってもよく、５つ以上であってもよい。

【0020】

指１１の先端には、例えば、６軸センサである力覚センサ１２（１２ａ、１２ｂ、１２ｃ、１２ｄ）が取り付けられている。指の腹、手のひら等には、触覚センサ１３が取り付けられている。更に、指１１の先端には、ラバーｇ１が取り付けられている。ラバーｇ１は、オブジェクトＯＢに対して摩擦力を発生させるような材質や形状（例えば突起）であってよい。

【0021】

（操作制御装置の構成）
図２は、実施形態に係るエンドエフェクタ１０及び操作制御装置１００の構成図である。エンドエフェクタ１０は、上述した指１１、力覚センサ１２、触覚センサ１３に加えて、更にアクチュエータ１４と、駆動制御部１５と、通信インタフェース１６と、他のセンサ１７とを備える。

【0022】

力覚センサ１２は、例えば、圧力センサであってもよいし、または複数の向きに作用する力やトルクの大きさをリアルタイムに計測することのできる６軸力覚センサ（６ＡＦ ｓｅｎｓｏｒ）であってもよい。例えば、力覚センサ１２は、各軸の力や力のモーメントの大きさ、関節角度などを計測する。

【0023】

触覚センサ１３は、例えば、人間の手などに備わっている触覚が感じとる情報を検出し、電気信号に変換する触覚センサ（Ｔａｃｔｉｌｅ ｓｅｎｓｏｒ）である。触覚センサ１３は、オブジェクトＯＢの接触の有無を検出する。なお、物体と指１１との接触位置の検出は、６軸センサが検出した検出値を用いて、周知の接触位置検出アルゴリズムを用いて検出するようにしてもよい。

【0024】

アクチュエータ１４は、駆動制御部１５の制御を受けてロボットのエンドエフェクタ１０の各関節を駆動する。アクチュエータ１４は、例えば、電磁モータ、ギア、人工筋などを含む。

【0025】

駆動制御部１５は、操作制御装置１００によって生成された制御コマンドに基づいて、アクチュエータ１４を制御する。

【0026】

通信インタフェース１６は、力覚センサ１２、触覚センサ１３、他のセンサ１７の其々のセンサデータを操作制御装置１００に有線又は無線で送信する。また、通信インタフェース１６は、操作制御装置１００から様々な情報を受信する。例えば、通信インタフェース１６は、受信機や送信機を含む無線通信モジュールや、ＮＩＣ（Network Interface Card）などが含まれる。

【0027】

他のセンサ１７は、例えば、カメラやモーションキャプチャセンサである。これらセンサは、例えば、ロボットのボディの一部（典型的には頭部）に設置される。カメラは、例えば、デプスカメラ（３Ｄカメラ）であってよい。例えば、カメラは、エンドエフェクタによってオブジェクトＯＢが把持されたり、又は操作されたりするシーンを撮像し、そのシーンを写した画像データを通信インタフェース１６を介して操作制御装置１００に送信する。

【0028】

操作制御装置１００は、例えば、通信インターフェース１１０と、処理部１２０と、記憶部１３０とを備える。

【0029】

通信インターフェース１１０は、ネットワークＮＷを介して外部装置と通信したり、バスのような通信線を介してエンドエフェクタ１０と通信したりする。通信インターフェース１１０には、例えば、受信機や送信機を含む無線通信モジュールや、ＮＩＣ（Network Interface Card）などが含まれる。

【0030】

外部装置は、例えば、遠隔地からロボットを遠隔操作する操作者の手に装着されたグローブ型の入力デバイスである。グローブ型の入力デバイスは、例えば、エンドエフェクタ１０同様に、指の先端に、６軸センサである力覚センサが取り付けられ、指の腹、手のひら等には、触覚センサが取り付けられている。更に、グローブ型の入力デバイスには、操作者の指の関節角度を検出する角度センサやロータリーエンコーダなどが取り付けられる。これらグローブ型の入力デバイスのセンサのセンサデータを利用することで、操作者の手の動きをエンドエフェクタ１０に再現させる。

【0031】

処理部１２０は、例えば、取得部１２１と、１次判定部１２２と、２次判定部１２３と、コマンド生成部１２４と、通信制御部１２５とを備える。

【0032】

処理部１２０の構成要素は、例えば、ＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）などが記憶部１３０に格納されたプログラム又はインストラクションを実行することにより実現される。これらの構成要素の一部または全部は、ＬＳＩ（Large Scale Integration）、ＡＳＩＣ（Application Specific Integrated Circuit）、またはＦＰＧＡ（Field-Programmable Gate Array）などのハードウェアにより実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。

【0033】

記憶部１３０は、例えば、ＨＤＤ（Hard Disc Drive）、フラッシュメモリ、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）などにより実現される。記憶部１３０は、ファームウェアやアプリケーションプログラム、処理部１２０の演算結果などを格納する。

【0034】

取得部１２１は、通信インターフェース１１０を介して、エンドエフェクタ１０から力覚センサ１２、触覚センサ１３、他のセンサ１７の其々のセンサデータを取得する。更に、取得部１２１は、通信インターフェース１１０を介して、操作者の手に装着されたグローブ型の入力デバイスから、各センサのセンサデータを取得する。

【0035】

１次判定部１２２は、取得部１２１によって取得されたセンサデータに基づいて、エンドエフェクタ１０の各指１１の役割を判定する。

【0036】

図３は、実施形態に係るエンドエフェクタ１０の各指１１の役割の判定方法の概要を説明するための図である。図４から図６は、実施形態に係るエンドエフェクタ１０の各指１１の役割を説明するための図である。図３のように、第Ｎ回目（Ｎは任意の自然数）の遠隔操作時に、操作者の手に装着されたグローブ型の入力デバイスの各センサからセンサデータ（関節角度、各軸の力、力のモーメントの大きさ、などを含むセンサデータ）が取得され、更にエンドエフェクタ１０の触覚センサ１３からオブジェクトＯＢの接触の有無を示すセンサデータが取得される。

【0037】

１次判定部１２２は、操作者の手の関節角度、各軸の力、力のモーメントの大きさと、エンドエフェクタ１０に対するオブジェクトＯＢの接触有無とに基づいて、エンドエフェクタ１０の各指１１の役割を判定する。

【0038】

役割には、例えば、「把持（grasp）」と「平衡操作（equilibrium manipulation）」と「非平衡操作（nonequilibrium manipulation）」と「自由指（free finger）」が含まれる。把持（grasp）は「第１の役割」の一例であり、平衡操作（equilibrium manipulation）は「第２の役割」の一例であり、非平衡操作（nonequilibrium manipulation）は「第３の役割」の一例であり、自由指（free finger）は「第４の役割」の一例である。

【0039】

把持（grasp）は、図４に示すように、エンドエフェクタ１０に設けられた複数の指１１のうち、判定対象の指１１が、他の指１１とともにオブジェクトＯＢを把持する役割である。

【0040】

平衡操作（equilibrium manipulation）は、図５に示すように、エンドエフェクタ１０に設けられた複数の指１１のうち、判定対象の指１１が、他の指１１との力のつり合いを維持しながらオブジェクトＯＢを操作する役割である。より具体的には、平衡操作（equilibrium manipulation）は、オブジェクトＯＢをつかんだまま、オブジェクトＯＢを回転運動させたり、並進運動させたりするような役割である。

【0041】

非平衡操作（nonequilibrium manipulation）は、図６に示すように、エンドエフェクタ１０に設けられた複数の指１１のうち、他の指１１によって力のつり合いを維持しながら把持されたオブジェクトＯＢに判定対象の指１１で力を加えてオブジェクトＯＢを操作する役割である。より具体的には、非平衡操作（nonequilibrium manipulation）は、オブジェクトＯＢをつかんだまま、判定対象の指１１だけ離し、その離した指１１でオブジェクトＯＢを回転運動させたり、並進運動させたりするような役割である。

【0042】

自由指（free finger）は、エンドエフェクタ１０に設けられた複数の指１１のうち、判定対象の指１１をオブジェクトＯＢから離し、その離した指１１ではオブジェクトＯＢに力を加えない役割である。

【0043】

２次判定部１２３は、１次判定部１２２によって判定されたエンドエフェクタ１０の各指１１の役割と、取得部１２１によって取得されたセンサデータとに基づいて、エンドエフェクタ１０の各指１１の役割を再判定する。

【0044】

コマンド生成部１２４は、２次判定部１２３によって判定されたエンドエフェクタ１０の各指１１の役割に基づいて、エンドエフェクタ１０の各アクチュエータ１４を制御するための制御コマンドを生成する。

【0045】

通信制御部１２５は、通信インターフェース１１０を介して、コマンド生成部１２４によって生成された制御コマンドをエンドエフェクタ１０に送信する。エンドエフェクタ１０の駆動制御部１５は、操作制御装置１００から制御コマンドを受信すると、その制御コマンドに基づいてアクチュエータ１４を制御する。これによってエンドエフェクタ１０が動作し、オブジェクトＯＢを把持したり操作したりするようなタスクが実行される。

【0046】

（操作制御装置の処理フロー）
以下、操作制御装置１００の処理部１２０の各構成要素についてフローチャートを用いて説明する。図７は、実施形態に係る処理部１２０のトレーニングの処理の流れを表すフローチャートである。

【0047】

まず、取得部１２１は、通信インターフェース１１０を介して、エンドエフェクタ１０から様々なセンサのセンサデータを取得するとともに、操作者の手に装着されたグローブ型の入力デバイスから、様々なセンサのセンサデータを取得する（ステップＳ１００）。

【0048】

次に、１次判定部１２２は、１次モデルＭＤＬ１を用いて、グローブ型の入力デバイスから取得された力覚センサのセンサデータ（つまり操作者の指の関節角度）と、エンドエフェクタ１０から触覚センサ１３のセンサデータ（つまりエンドエフェクタ１０に対するオブジェクトＯＢの接触有無）とから、エンドエフェクタ１０の各指１１の役割を判定する（ステップＳ１０２）。１次判定部１２２は、操作者の指の関節角度とエンドエフェクタ１０に対するオブジェクトＯＢの接触有無に加えて、更に、他のセンサ１７（カメラやモーションキャプチャセンサ）のセンサデータを用いて、エンドエフェクタ１０の各指１１の役割を判定してもよい。

【0049】

図８は、１次モデルＭＤＬ１を説明するための図である。１次モデルＭＤＬ１は、操作者の各指のセンサデータ（操作者の各指の関節角度）が入力されたことに応じて、エンドエフェクタ１０の各指１１の役割（「把持（grasp）」、「平衡操作（equilibrium manipulation）」、「非平衡操作（nonequilibrium manipulation）」、「自由指（free finger）」のいずれか）を出力する。

【0050】

例えば、１次モデルＭＤＬ１は、事前に学習された機械学習モデル、事前に確立された人間のロジック（ルールベースモデルともいう）、又はそれらの組み合わせであってよい。

【0051】

機械学習モデルは、例えば、ニューラルネットワークを用いて実装されてよい。また、機械学習モデルは、ニューラルネットワークに限られず、サポートベクターマシンや決定木、単純ベイズ分類器、ランダムフォレストといった他のモデルによって実装されてもよい。

【0052】

機械学習モデルがニューラルネットワークによって実装される場合、例えば、当該ニューラルネットワークを構成する入力層、一以上の隠れ層（中間層）、出力層の其々の層に含まれるユニットが互いにどのように結合されるのかという結合情報や、結合されたユニット間で入出力されるデータに付与される結合係数がいくつであるのかという重み情報などが含まれる。

【0053】

結合情報は、例えば、各層に含まれるユニット数や、各ユニットの結合先のユニットの種類を指定する情報、各ユニットを実現する活性化関数、隠れ層のユニット間に設けられたゲートなどの情報を含む。

【0054】

ユニットを実現する活性化関数は、例えば、ＲｅＬＵ（Rectified Linear Unit）関数やＥＬＵ（Exponential Linear Units）関数、クリッピング関数、シグモイド関数、ステップ関数、ハイパポリックタンジェント関数、恒等関数などであってよい。ゲートは、例えば、活性化関数によって返される値（例えば１または０）に応じて、ユニット間で伝達されるデータを選択的に通過させたり、重み付けたりする。

【0055】

結合係数は、例えば、ニューラルネットワークの隠れ層において、ある層のユニットから、より深い層のユニットにデータが出力される際に、出力データに対して付与される重みを含む。また、結合係数は、各層の固有のバイアス成分などを含んでもよい。

【0056】

１次モデルＭＤＬ１が機械学習モデルである場合、その機械学習モデルは、操作者の各指のセンサデータ（操作者の各指の関節角度）に対して、エンドエフェクタ１０の各指１１の正解の役割がラベル付けられたトレーニングデータセットに基づいて学習される。

【0057】

一方で、１次モデルＭＤＬ１がロジック（ルールベースモデル）である場合、例えば、以下の条件を基に各指１１の役割を判定してよい。

【0058】

（第１条件）
操作者の複数の指のうち、着目するある一つの指（以下、着目指という）の関節角度が第１閾値以上であり、かつエンドエフェクタ１０にオブジェクトＯＢが接触していない場合、操作者の手の着目指に対応したエンドエフェクタ１０の指１１の役割を、自由指（free finger）であると判定する。着目指は「第１の指」の一例である。

【0059】

（第２条件）
操作者の複数の指のうち、着目指の関節角度が第１閾値未満であり、かつエンドエフェクタ１０にオブジェクトＯＢが接触している場合、操作者の手の着目指に対応したエンドエフェクタ１０の指１１の役割を、把持（grasp）、平衡操作（equilibrium manipulation）、非平衡操作（nonequilibrium manipulation）のいずれかであると判定する。

【0060】

（第３条件）
第２条件下において、更に、着目指の関節角度が第２閾値未満である場合、操作者の手の着目指に対応したエンドエフェクタ１０の指１１の役割を、把持（grasp）であると判定する。

【0061】

（第４条件）
第２条件下において、更に、着目指の関節角度が第２閾値以上であり、かつ着目指と異なる操作者の他の指（例えば着目指の隣りの指）の関節角度と着目指の関節角度との相対変化（角度差）が第３閾値未満である場合、操作者の手の着目指に対応したエンドエフェクタ１０の指１１の役割を、平衡操作（equilibrium manipulation）であると判定する。着目指と異なる操作者の他の指（例えば着目指の隣りの指）は「第２の指」の一例である。

【0062】

（第５条件）
第２条件下において、更に、着目指の関節角度が第２閾値以上であり、かつ着目指と異なる操作者の他の指（例えば着目指の隣りの指）の関節角度と着目指の関節角度との相対変化（角度差）が第３閾値以上である場合、操作者の手の着目指に対応したエンドエフェクタ１０の指１１の役割を、非平衡操作（nonequilibrium manipulation）であると判定する。

【0063】

フローチャートの説明に戻る。次に、２次判定部１２３は、２次モデルＭＤＬ２を用いて、エンドエフェクタ１０の各指１１の役割と、エンドエフェクタ１０及び／又はグローブ型の入力デバイスのセンサデータとから、エンドエフェクタ１０の各指１１の役割を再判定する（ステップＳ１０４）。

【0064】

図９は、２次モデルＭＤＬ２を説明するための図である。２次モデルＭＤＬ２は、操作者の各指のセンサデータ（操作者の各指の関節角度）や、エンドエフェクタ１０の各指１１の役割、その他のセンサデータ（カメラやモーションキャプチャセンサのセンサデータ）が入力されたことに応じて、エンドエフェクタ１０の各指１１の役割を出力する。

【0065】

例えば、２次モデルＭＤＬ２は、１次モデルＭＤＬ１同様に、事前に学習された機械学習モデル、事前に確立された人間のロジック（ルールベースモデルともいう）、又はそれらの組み合わせであってよい。

【0066】

２次モデルＭＤＬ２が機械学習モデルである場合、その機械学習モデルは、操作者の各指のセンサデータ（操作者の各指の関節角度）や、エンドエフェクタ１０の各指１１の役割、その他のセンサデータ（カメラやモーションキャプチャセンサのセンサデータ）に対して、エンドエフェクタ１０の各指１１の正解の役割がラベル付けられたトレーニングデータセットに基づいて学習される。

【0067】

このように、１次モデルＭＤＬ１及び２次モデルＭＤＬ２を用いて、エンドエフェクタ１０の各指１１の役割を繰り返し判定することで、例えば、センサノイズなどの理由で、１本の指だけが自由指（free finger）と判定され、残りの他の指は把持（grasp）と判定された場合、自由指（free finger）を把持（grasp）として変更することができる。

【0068】

フローチャートの説明に戻る。次に、コマンド生成部１２４は、２次判定部１２３によって判定されたエンドエフェクタ１０の各指１１の役割に基づいて、エンドエフェクタ１０の各アクチュエータ１４を制御するための制御コマンドを生成する（ステップＳ１０６）。

【0069】

次に、通信制御部１２５は、通信インターフェース１１０を介して、コマンド生成部１２４によって生成された制御コマンドをエンドエフェクタ１０に送信する（ステップＳ１０８）。エンドエフェクタ１０の駆動制御部１５は、操作制御装置１００から制御コマンドを受信すると、その制御コマンドに基づいてアクチュエータ１４を制御する。これによってエンドエフェクタ１０が動作し、オブジェクトＯＢを把持したり操作したりするようなタスクが実行される。これによって本フローチャートの処理が終了する。

【0070】

以上説明した実施形態によれば、操作制御装置１００は、オブジェクトＯＢを把持又は操作することが可能であり、かつ複数の指１１が設けられたエンドエフェクタ１０を操作者がグローブ型入力デバイスを用いて遠隔操作する際に生成されるセンサデータを取得する。このセンサデータには、エンドエフェクタ１０に設けられた様々なセンサのセンサデータと、操作者の手に装着されたグローブ型の入力デバイスに設けられた様々なセンサのセンサデータとが含まれる。

【0071】

操作制御装置１００は、取得されたセンサデータに基づいて、エンドエフェクタ１０の複数の指１１の其々の役割を判定する。そして、操作制御装置１００は、エンドエフェクタ１０の複数の指１１の其々の役割と、センサデータとに基づいて、エンドエフェクタ１０の各アクチュエータ１４を制御するための制御コマンドを生成する。このように生成された制御コマンドに基づいてエンドエフェクタ１０を動作させることで、人間の手を使って達成できる非常に多様なタスク（例えばオブジェクトＯＢの回転運動や並進運動）をロボットのエンドエフェクタ１０に再現させることができる。

【0072】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。

【符号の説明】

【0073】

１０…（ロボットの）エンドエフェクタ、１１…指、１２…力覚センサ、１３…触覚センサ、１４…アクチュエータ、１５…駆動制御部、１６…通信インタフェース、１７…他のセンサ、１００…操作制御装置、１１０…通信インターフェース、１２０…処理部、１２１…取得部、１２２…１次判定部、１２３…２次判定部、１２４…コマンド生成部、１２５…通信制御部、１３０…記憶部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】