特開 2024-25147 遠隔操作補助システム、および遠隔操作補助方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024025147

(43)【公開日】2024-02-26

(54)【発明の名称】遠隔操作補助システム、および遠隔操作補助方法

(51)【国際特許分類】

   B25J 3/00 20060101AFI20240216BHJP

【ＦＩ】

B25J3/00 Z

【審査請求】未請求

【請求項の数】5

【出願形態】ＯＬ

(21)【出願番号】P 2022128357

(22)【出願日】2022-08-10

【新規性喪失の例外の表示】特許法第３０条第２項適用申請有り （１） 開催日（公開日） ２０２２年５月２３日（フィラデルフィア現地時間／日本時間）（会期 ２０２２年５月２３日～５月２７日：フィラデルフィア現地時間及び日本時間） 集会名、開催場所 ＩＣＲＡ２０２２（ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｒｏｂｏｔｉｃｓ ａｎｄ Ａｕｔｏｍａｔｉｏｎ ２０２２） 主催 ＩＥＥＥ（Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ）Ｐｅｎｎｓｙｌｖａｎｉａ Ｃｏｎｖｅｎｔｉｏｎ Ｃｅｎｔｅｒ（１１０１ Ａｒｃｈ Ｓｔ Ｐｈｉｌａｄｅｌｐｈｉａ，ＰＡ １９１０７ Ｕｎｉｔｅｄ Ｓｔａｔｅｓ） ＜資 料＞ ＩＣＲＡ２０２２開催概要及びプログラム （２） 発行日 ２０２２年５月２３日（フィラデルフィア現地時間／日本時間） 刊行物 研究論文『Ｓｈａｒｅｄ Ａｕｔｏｎｏｍｙ ｆｏｒ Ｉｎｔｕｉｔｉｖｅ Ｔｅｌｅｏｐｅｒａｔｉｏｎ』参加者専用アドレスより公開 ＜資 料＞ Ｗｅｂ公開研究論文

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(71)【出願人】

【識別番号】503113186

【氏名又は名称】ホンダ リサーチ インスティテュート ヨーロッパ ゲーエムベーハー

【氏名又は名称原語表記】Ｈｏｎｄａ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ Ｅｕｒｏｐｅ ＧｍｂＨ

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】董 屹立

(72)【発明者】

【氏名】渡部 智樹

(72)【発明者】

【氏名】ジーモン マンシッツ

(72)【発明者】

【氏名】ディルク ルイケン

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707AS01

3C707BS26

3C707ES03

3C707JT05

3C707JT10

3C707JU02

3C707JU12

3C707KS36

3C707LS20

(57)【要約】

【課題】多種な物体に対して多様な作業を行う多様性のあるテレオペレーション作業を補助することができる遠隔操作補助システム、および遠隔操作補助方法を提供することを目的とする。
【解決手段】遠隔操作補助システムは、エンドエフェクタの操作者の動作に関する情報を取得する動作取得部と、動作取得部で得た情報を用いてエンドエフェクタによって操作する対象である対象物体と、対象物体の操作方法であるタスクを推定する意図理解部と、エンドエフェクタが操作される環境の環境情報を取得する環境状況判断部と、意図理解部と環境状況判断部から取得した情報からエンドエフェクタの操作量を決定する操作量決定部とを備え、操作量決定部は、対象物体の情報と操作者の動作から対象物体までの操作距離を推定し、推定した操作距離に応じて対象物体に対するエンドエフェクタの操作状態を判定し、操作状態に応じて遠隔操縦への補助の入力モードを変化させる。
【選択図】図１

【特許請求の範囲】

【請求項1】

少なくともエンドエフェクタを遠隔操作する遠隔操作補助システムであって、
少なくとも前記エンドエフェクタを操作する操作者の動作に関する情報を取得する動作取得部と、
前記動作取得部で得た情報を用いて前記エンドエフェクタによって操作する対象である対象物体と、前記対象物体の操作方法であるタスクを推定する意図理解部と、
前記エンドエフェクタが操作される環境の環境情報を取得する環境状況判断部と、
前記意図理解部と前記環境状況判断部の情報を取得し、取得した情報からエンドエフェクタの操作量を決定する操作量決定部と、を備え、
前記操作量決定部は、
前記対象物体の情報と操作者の動作から前記対象物体までの操作距離を推定し、推定した操作距離に応じて前記対象物体に対するエンドエフェクタの操作状態を判定し、操作状態に応じて遠隔操縦への補助の入力モードを変化させる、
遠隔操作補助システム。

【請求項2】

前記操作状態は、
前記対象物体との距離が遠い遠方状態と、
前記対象物体との位置が近い周辺状態と、
前記対象物体を操作する操作状態と、に分けられ、
前記補助の入力モードは、
前記対象物体との距離が遠い遠方状態のときに、前記操作者の動作をそのまま利用する遠方モードと、
前記対象物体との位置が近い周辺状態のときに、前記対象物体の作業位置まで誘導する周辺モードと、
前記対象物体を操作する操作状態のときに、前記対象物体への操作を補助する操作モードとである、
請求項１に記載の遠隔操作補助システム。

【請求項3】

前記周辺モードは、
手先を前記対象物体に近づける状態（Ａｐｐｒｏａｃｈ Ｏｂｊｅｃｔ）と、
前記対象物体を把持できる位置まで移動させる状態（Ｓｎａｐ ｔｏ Ｏｂｊｅｃｔ）と、
前記対象物体の表面に合わせて、前記操作者の指示に応じて最終把持位置を調整する状態（Ａｌｉｇｎ ｗｉｔｈ Ｏｂｊｅｃｔ）と、
前記対象物体の近傍から離れる状態（Ｕｎｓｎａｐ ｔｏ Ｏｂｊｅｃｔ）と、に分けられ、
前記操作量決定部は、
前記４つの状態間の遷移を、作業内容および作業状態に応じて切り替える、
請求項２に記載の遠隔操作補助システム。

【請求項4】

前記操作量決定部は、
前記動作取得部が取得した前記操作者の手先指令値と、前記意図理解部が推定された意図情報と、前記環境状況判断部が取得した環境情報と、作業内容である教師データを入力して学習したモデルを用いて、前記４つの状態間の遷移を、作業内容および作業状態に応じて切り替える、
請求項３に記載の遠隔操作補助システム。

【請求項5】

少なくともエンドエフェクタを遠隔操作する遠隔操作補助システムであって、
少なくとも前記エンドエフェクタを操作する操作者の動作に関する情報を取得する動作取得部と、
前記動作取得部で得た情報を用いて前記エンドエフェクタによって操作する対象である対象物体と、前記対象物体の操作方法であるタスクを推定する意図理解部と、
前記エンドエフェクタが操作される環境の環境情報を取得する環境状況判断部と、
意図理解部と環境状況判断部の情報を取得し、取得した情報からエンドエフェクタの操作量を決定する操作量決定部と、を有し、
前記操作量決定部は、
前記対象物体の情報と操作者の動作から前記対象物体までの操作距離を推定し、推定した操作距離に応じて前記対象物体に対するエンドエフェクタの操作状態を判定し、操作状態に応じて遠隔操縦への補助の入力モードを変化させる、
遠隔操作補助方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、遠隔操作補助システム、および遠隔操作補助方法に関する。

【背景技術】

【0002】

ロボットを操作者が遠隔操作して制御する技術が提案されている（例えば特許文献１参照）。
このような遠隔操作では、例えば、操作者が装着するセンサからの指示によって、ロボットを遠隔操作する。ロボットは、遠隔操作指示に応じて、多種な物体に対して、多様な作業を行う必要がある。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第６４７６３５８号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、特許文献１に記載の技術では、多種な物体に対して多様な作業を行う多様性のあるテレオペレーション作業を補助できなかった。

【0005】

本発明は、上記の問題点に鑑みてなされたものであって、多種な物体に対して多様な作業を行う多様性のあるテレオペレーション作業を補助することができる遠隔操作補助システム、および遠隔操作補助方法を提供することを目的とする。

【課題を解決するための手段】

【0006】

（１）上記目的を達成するため、本発明の一態様に係る遠隔操作補助システムは、少なくともエンドエフェクタを遠隔操作する遠隔操作補助システムであって、少なくとも前記エンドエフェクタを操作する操作者の動作に関する情報を取得する動作取得部と、前記動作取得部で得た情報を用いて前記エンドエフェクタによって操作する対象である対象物体と、前記対象物体の操作方法であるタスクを推定する意図理解部と、前記エンドエフェクタが操作される環境の環境情報を取得する環境状況判断部と、前記意図理解部と前記環境状況判断部の情報を取得し、取得した情報からエンドエフェクタの操作量を決定する操作量決定部と、を備え、前記操作量決定部は、前記対象物体の情報と操作者の動作から前記対象物体までの操作距離を推定し、推定した操作距離に応じて前記対象物体に対するエンドエフェクタの操作状態を判定し、操作状態に応じて遠隔操縦への補助の入力モードを変化させる、遠隔操作補助システムである。

【0007】

（２）また、本発明の一態様に係る（１）に記載の遠隔操作補助システムにおいて、前記操作状態は、前記対象物体との距離が遠い遠方状態と、前記対象物体との位置が近い周辺状態と、前記対象物体を操作する操作状態と、に分けられ、前記補助の入力モードは、前記対象物体との距離が遠い遠方状態のときに、前記操作者の動作をそのまま利用する遠方モードと、前記対象物体との位置が近い周辺状態のときに、前記対象物体の作業位置まで誘導する周辺モードと、前記対象物体を操作する操作状態のときに、前記対象物体への操作を補助する操作モードとである。

【0008】

（３）また、本発明の一態様に係る（２）に記載の遠隔操作補助システムにおいて、前記周辺モードは、手先を前記対象物体に近づける状態（Ａｐｐｒｏａｃｈ Ｏｂｊｅｃｔ）と、前記対象物体を把持できる位置まで移動させる状態（Ｓｎａｐ ｔｏ Ｏｂｊｅｃｔ）と、前記対象物体の表面に合わせて、前記操作者の指示に応じて最終把持位置を調整する状態（Ａｌｉｇｎ ｗｉｔｈ Ｏｂｊｅｃｔ）と、前記対象物体の近傍から離れる状態（Ｕｎｓｎａｐ ｔｏ Ｏｂｊｅｃｔ）と、に分けられ、前記操作量決定部は、前記４つの状態間の遷移を、作業内容および作業状態に応じて切り替える。

【0009】

（４）また、本発明の一態様に係る（３）に記載の遠隔操作補助システムにおいて、前記操作量決定部は、前記動作取得部が取得した前記操作者の手先指令値と、前記意図理解部が推定された意図情報と、前記環境状況判断部が取得した環境情報と、作業内容である教師データを入力して学習したモデルを用いて、前記４つの状態間の遷移を、作業内容および作業状態に応じて切り替える。

【0010】

（５）上記目的を達成するため、本発明の一態様に係る遠隔操作補助方法は、少なくともエンドエフェクタを遠隔操作する遠隔操作補助システムであって、少なくとも前記エンドエフェクタを操作する操作者の動作に関する情報を取得する動作取得部と、前記動作取得部で得た情報を用いて前記エンドエフェクタによって操作する対象である対象物体と、前記対象物体の操作方法であるタスクを推定する意図理解部と、前記エンドエフェクタが操作される環境の環境情報を取得する環境状況判断部と、意図理解部と環境状況判断部の情報を取得し、取得した情報からエンドエフェクタの操作量を決定する操作量決定部と、を有し、前記操作量決定部は、前記対象物体の情報と操作者の動作から前記対象物体までの操作距離を推定し、推定した操作距離に応じて前記対象物体に対するエンドエフェクタの操作状態を判定し、操作状態に応じて遠隔操縦への補助の入力モードを変化させる、遠隔操作補助方法である。

【発明の効果】

【0011】

（１）～（５）によれば、多種な物体に対して多様な作業を行う多様性のあるテレオペレーション作業を補助することができる。

【図面の簡単な説明】

【0012】

【図1】実施形態に係る遠隔操作補助システムの構成例を示す図である。

【図2】実施形態に係る遠隔操作の概要を示す図である。

【図3】実施形態に係る遠隔操作補助システムの処理手順例を示すフローチャートである。

【図4】第１実施形態に係る第２モードにおける人の手先指令値の補正を説明するための図である。

【図5】第１実施形態に係る把持作業時の処理例を示す図である。

【図6】第１実施形態に係る置く作業時の処理例を示す図である。

【図7】第１実施形態に係るネジを締める作業時の処理例を示す図である。

【図8】比較例によるエンドエフェクタによる作業例を説明するための図である。

【図9】比較例によるエンドエフェクタによる他の作業例を説明するための図である。

【図10】第２実施形態に係る遠隔操作補助システムの概要を説明するための図である。

【図11】第２実施形態に係る遠隔操作補助システムの構成例を示す図である。

【図12】第２実施形態に係る異なるサブタスク例を示す図である。

【図13】第２実施形態の遠隔操作によってロボットが作業をしている状態例を示す図である。

【発明を実施するための形態】

【0013】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

【0014】

＜遠隔操作補助システム＞
図１は、本実施形態に係る遠隔操作補助システムの構成例を示す図である。図１のように、遠隔操作補助システム１は、動作取得部２と、意図理解部３と、環境状況判断部４と、操作量決定部５と、ロボット６を備える。
操作量決定部５は、例えば、操作距離推定部５１と、操作状態判定部５２と、状態判定部５３を備える。
ロボット６は、例えば、アーム６１と、エンドエフェクタ６２を備える。なお、図１では、ロボットコントローラー７を省略して図示している。

【0015】

動作取得部２は、少なくともエンドエフェクタ６２を操作する操作者の動作に関する情報を取得する。動作取得部２は、例えばデータグローブである。

【0016】

意図理解部３は、動作取得部２が取得した情報を用いて、エンドエフェクタ６２によって操作する対象である対象物体と、対象物体の操作方法であるタスクを推定する。なお、意図理解部３は、例えば特願２０２１－０５８９５２号の手法を用いて意図推定を行う。また、意図理解部３は、例えば、操作者の指先の位置情報と、操作者の視線情報に基づいて対象物体を推定するようにしてもよい。また、推定されるタスクは、例えば操作者が行おうとしている作業のタクソノミー（参考文献１参照）である。

【0017】

参考文献１；Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human GraspTypes” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb.2016),IEEE,p66-77

【0018】

環境状況判断部４は、エンドエフェクタ６２が操作される環境の環境情報を取得する。環境状況判断部４は、例えば、作業環境に設置される撮影装置、またはロボット６に取り付けられる撮影装置であってもよい。環境状況判断部４は、撮影された画像に含まれるＲＧＢ（赤緑青）情報と深度情報を用いて、対象物体の形状、大きさ、位置等を取得する。

【0019】

操作量決定部５は、意図理解部３と環境状況判断部４の情報を取得し、取得した情報からエンドエフェクタ６２の操作量を決定する。

【0020】

操作距離推定部５１は、対象物体の情報と操作者の動作から対象物体までの操作距離を推定する。なお、対象物体までの操作距離は、例えば操作者がＨＭＤで見えている画面内での距離、またはロボット６側の実際の距離のいずれであってもよい。

【0021】

操作状態判定部５２は、操作距離推定部５１が推定した操作距離に応じて対象物体に対するエンドエフェクタの操作状態を判定する。なお、状態は、例えば操作を開始した状態、操作中、把持した状態等である。

【0022】

状態判定部５３は、操作状態に応じて遠隔操縦への補助の入力モードを変化させる。

【0023】

ロボット６は、例えば、片腕アームロボット、双腕アームロボット、および多腕アームロボットのうちのいずれかである。
アーム６１は、先端にエンドエフェクタ６２が接続されている。
エンドエフェクタ６２は、少なくとも２つの指部を備える。エンドエフェクタ６２が備える指の数は、３つ以上であってもよい。

【0024】

＜遠隔操作の概要＞
図２は、本実施形態に係る遠隔操作の概要を示す図である。なお、図２に示したロボット６は、双椀と頭部とボディを備える例を示したが、ロボット６の構成や形状等はこれに限らない。
図２のように、操作者Ｕｓは、例えばＨＭＤ（ヘッドマウントディスプレイ）２ｃとデータグローブ２ａ、２ｂを装着している。ロボット６またはロボット６の周囲には環境状況判断部４ａ（環境センサ）が設置され、作業環境にも環境センサ４ｂが設置されている。なお、環境状況判断部４（４ａ）（環境センサ）は、ロボット６に取り付けられていてもよい。また、ロボット６は、エンドエフェクタ６２（６２ａ、６２ｂ）を備える。操作者Ｕｓは、ＨＭＤ２ｃに表示された画像を見ながらデータグローブ２ａ、２ｂを装着している手や指を動かすことで、ロボット６を遠隔操作する。

【0025】

＜処理手順例＞
次に、遠隔操作補助システム１の処理手順例を説明する。図３は、本実施形態に係る遠隔操作補助システムの処理手順例を示すフローチャートである。

【0026】

（ステップＳ１）動作取得部２は、少なくともエンドエフェクタ６２を操作する操作者の動作に関する情報を取得する。

【0027】

（ステップＳ２）意図理解部３は、動作取得部２が取得した情報を用いて、エンドエフェクタ６２によって操作する対象である対象物体と、対象物体の操作方法であるタスクを推定する。

【0028】

（ステップＳ３）環境状況判断部４は、エンドエフェクタ６２が操作される環境の環境情報を取得する。

【0029】

（ステップＳ４）操作距離推定部５１は、対象物体の情報と操作者の動作から対象物体までの操作距離を推定する。

【0030】

（ステップＳ５）操作状態判定部５２は、操作距離推定部５１が推定した操作距離、すなわち人の手先指令値と対象物体との距離を第１距離以上（物体との距離が遠い遠方状態）、第１距離未満かつ第２距離以上（物体との位置が近い周辺状態）、第２距離未満（物体を操作する操作状態）に分類する。なお、第１距離以上は、例えば人の手先指令値と対象物体との距離が遠い状態である。第１距離未満かつ第２距離以上は、例えば人の手先指令値が対象物体の周辺にあると見なせる状態である。第２距離未満は、例えば人の手先指令値と対象物体との距離が近い状態である。なお、第１距離は、ロボット６側の実際の距離の場合に例えば２０ｃｍである。第２距離は、ロボット６側の実際の距離の場合に例えば５ｃｍである。なお、距離の長さは一例であり、例えば対象物体に応じた距離であってもよい。

【0031】

（ステップＳ６）操作状態判定部５２は、第１距離以上の場合に、ステップＳ７の処理（第１モード）に進める。操作状態判定部５２は、第１距離未満かつ第２距離以上の場合に、ステップＳ８の処理（第２モード）に進める。操作状態判定部５２は、第２距離未満の場合に、ステップＳ９の処理（第３モード）に進める。

【0032】

（ステップＳ７）状態判定部５３は、人の手先指令値を修正せずに、取得した人の手先指令値をそのままロボット６へ指令値として出力する。

【0033】

（ステップＳ８）状態判定部５３は、人の手先指令値を修正する。より具体的には、状態判定部５３は、ロボット６への指令値を対象物体との衝突を回避しながら、作業できる位置へ移動させる。

【0034】

（ステップＳ９）状態判定部５３は、人の手先指令値を修正する。より具体的には、ロボット６への指令値と対象物体の距離をすぐ作業できる範囲内にとどませるのを確保しつつ、作業動作の開始と終了の指示を受け付ける。

【0035】

このように、本実施形態では、操作状態（含む物体との距離）に応じて、補助の入力モードを変化させるようにした。補助の入力モードは、物体との距離が遠い遠方状態のとき、操作者の動作をそのまま利用する遠方モード（ステップＳ７）である。補助の入力モードは、物体との位置が近い周辺状態とき、対象物体の作業位置まで誘導する周辺モード（ステップＳ８）である。補助の入力モードは、物体を操作する操作状態のとき、対象物体への操作を補助する操作モード（ステップＳ９）である。なお、ステップＳ８とＳ９の修正は、各モードで学習済みのモデルを用いて行う。

【0036】

なお、遠隔操作補助システム１は、１つの作業（例えば把持開始、把持、把持後に離れる等）が終了するまで、上記処理を繰り返す。

【0037】

［第１実施形態］
本実施形態では、第２モードが４つの状態を備える例を説明する。
図４は、本実施形態に係る第２モードにおける人の手先指令値の補正を説明するための図である。図４のように、操作量決定部５は、入力される人の手先指令値を、パラメータを用いて補正する。手先指令値は、人のハンド状態であり、例えば、人の手首位置姿勢と、データグローブが備えるセンサが検出する人の指関節角度情報を含む。また、パラメータは、環境状況判断部４が検出した結果であり、例えば、対象物体の位置情報、対象物体の形状等の対象物体に関する情報である。

【0038】

第２モードは、例えば図４のような４つの状態に分けることができる。
「Ａｐｐｒｏａｃｈ Ｏｂｊｅｃｔ（パラメータ）」は、手先を対象物に近づける指示であり、やや距離があるときに用いられる。「Ｓｎａｐ ｔｏ Ｏｂｊｅｃｔ（パラメータ）」は、対象物を把持できる位置まで移動させる指示であり、すぐ作業開始できる物体の近傍まで移動させるときに用いられる。「Ａｌｉｇｎ ｗｉｔｈ Ｏｂｊｅｃｔ（パラメータ）」は、例えば、対象物体の表面に合わせて、人の指示に応じて最終把持位置を調整する指示であり、対象物体の表面に沿わせる作業点調整に用いられる。さらに、後述する「ｕｎｓｎａｐ ｆｒｏｍ ｏｂｊｅｃｔ（パラメータ）」は、対象物体の近傍から離れるときに用いられる。

【0039】

ただし、上記のモードや状態間の推移基準は、操作者の手先指令値と興味物体の間の距離で決まるため、対象物体の推定やその物体の詳細情報（位置姿勢、形状など）を別途に推定するモジュールが必要とする。同時に、各モードと状態の仕様を決めるため、詳細なパラメータが必要で、このパラメータも上記の対象物体とその物体の情報で決まる。

【0040】

このように、本実施形態では、物体との位置が近い周辺状態とき、第２モードの４つの状態（Ａｐｐｒｏａｃｈ Ｏｂｊｅｃｔ、Ｓｎａｐ ｔｏ Ｏｂｊｅｃｔ、Ａｌｉｇｎ ｗｉｔｈ Ｏｂｊｅｃｔ、およびｕｎｓｎａｐ ｆｒｏｍ ｏｂｊｅｃｔ）を推移させて作業を行うようにした。

【0041】

なお、上述した例では、図４のように第２モードの状態が４つの例を説明したが、第２モードの状態の数は３つ以下であってもよく、５つ以上であってもよい。
また、上述した例では、人の手先指令値と対象物体との距離を３つに分ける例を説明したが、これに限らない。人の手先指令値と対象物体との距離は、２つに分けてもよく、４つ以上に分けてもよい。

【0042】

（把持作業の場合）
ここで、把持作業時の操作量決定部５が行う処理例を説明する。図５は、本実施形態に係る把持作業時の処理例を示す図である。なお、Ｉｎｔｅｒａｃｔｉｏｎ ｗｉｔｈ Ｏｂｊｅｃｔ５０５は、例えば操作者がデータグローブの指先を操作して、サポートに操作者の介入による指示である。例えば、把持する位置がずれている場合、操作者は、ずれを直す操作をデータグローブの指先で指示する。または、作業が進んだ際に指先で把持したい場合、操作者はデータグローブの指先を操作して指を閉じる（または開く等）。そして、Ａｌｉｇｎ ｗｉｔｈ Ｏｂｊｅｃｔ５０３は、このような操作者の指示の介入があった場合、介入に基づいて補正する。

【0043】

作業前の条件は、エンドエフェクタ６２と対象物との距離がやや離れているとする。このため、人の手先指令値は、対象物体を把持していず対象物体に触れていず、手ぶらの状態である（ｇ１１）。

【0044】

この状態では、対象物体とエンドエフェクタ６２の指部との距離がややあるため、対象物体に指部を近づけさせる（ｇ１２）。

【0045】

この作業では、Ａｐｐｒｏａｃｈ Ｏｂｊｅｃｔ５０１のサポート無し（ｇ１３）で処理が行われ、指部を対象物体に対して所定の範囲内に近づかせる（ｇ１４）。

【0046】

次に、Ｓｎａｐ ｔｏ Ｏｂｊｅｃｔ５０２は、サポート動作を発動して、安全に（例えば対象物体に衝突しないように）把持可能な位置まで移動させる（ｇ１５）。

【0047】

次に、人が最終把持位置を調整する指示に応じて、Ａｌｉｇｎ ｗｉｔｈ Ｏｂｊｅｃｔ５０３は、対象物体の表面に沿わせて指部を移動させる（ｇ１６）。

【0048】

次に、Ｉｎｔｅｒａｃｔｉｏｎ ｗｉｔｈ Ｏｂｊｅｃｔ５０５は、エンドエフェクタ６２の指部を閉じさせる（ｇ１７）。これにより、エンドエフェクタ６２が対象物体を把持する。

【0049】

把持作業では、把持した後、指部を対象物体から離す必要があるため、Ｕｎｓｎａｐ ｔｏ Ｏｂｊｅｃｔ５０４は、対象物体から指部を外して、対象物体から離れさせる（ｇ１８）。

【0050】

なお、上記の処理毎に、人の手先指令値が補正されたロボットコマンドがロボット６に出力される。

【0051】

（置く作業の場合）
次に、置く作業時の操作量決定部５が行う処理例を説明する。図６は、本実施形態に係る置く作業時の処理例を示す図である。作業内容は、把持している対象物体を机の上に置く作業であるとする。

【0052】

エンドエフェクタ６２の指部が対象物を把持している（ｇ３１）。

【0053】

この状態では、机に把持したままのエンドエフェクタ６２を近づける最中であるが、机とエンドエフェクタ６２との距離がややある（ｇ３２）。

【0054】

この作業では、Ａｐｐｒｏａｃｈ Ｏｂｊｅｃｔ５０１のサポート無し（ｇ３３）で処理が行われ、エンドエフェクタ６２を机に対して所定の範囲内に近づかせる（ｇ３４）。

【0055】

次に、Ｓｎａｐ ｔｏ Ｏｂｊｅｃｔ５０２は、サポート動作を発動して、安全に置く（例えば対象物体やエンドエフェクタ６２が机に衝突しないように）位置まで移動させる（ｇ３５）。

【0056】

次に、机の表面に対象物体を沿わせて、人が最終置く位置に微調整する指示に応じて、Ａｌｉｇｎ ｗｉｔｈ Ｏｂｊｅｃｔ５０３がエンドエフェクタ６２の位置を微調整する（ｇ３６）。

【0057】

次に、Ｉｎｔｅｒａｃｔｉｏｎ ｗｉｔｈ Ｏｂｊｅｃｔ５０５は、エンドエフェクタ６２の指部を開かせる（ｇ３７）。これにより、対象物体が机の上に置かれる。

【0058】

置く作業でも、対象物体を置いた後、エンドエフェクタ６２を対象物体から離す必要があるため、Ｕｎｓｎａｐ ｔｏ Ｏｂｊｅｃｔ５０４は、エンドエフェクタ６２を対象物体から離れさせる（ｇ３８）。

【0059】

（ネジを締める作業の場合）
次に、ネジを締める作業時の操作量決定部５が行う処理例を説明する。図７は、本実施形態に係るネジを締める作業時の処理例を示す図である。作業内容は、予めスパナを把持し、スパナで六角ネジを締める作業であるとする。

【0060】

エンドエフェクタ６２の指部がスパナを把持している（ｇ５１）。

【0061】

この状態では、スパナを把持したエンドエフェクタ６２をネジに近づける最中であるが、エンドエフェクタ６２とネジの距離がややある（ｇ５２）。

【0062】

この作業では、Ａｐｐｒｏａｃｈ Ｏｂｊｅｃｔ５０１のサポート無し（ｇ５３）で処理が行われ、エンドエフェクタ６２をネジに対して所定の範囲内に近づかせる（ｇ５４）。

【0063】

次に、Ｓｎａｐ ｔｏ Ｏｂｊｅｃｔ５０２は、サポート動作を発動して、ネジを締める作業を開始できる位置までエンドエフェクタ６２を移動させる（ｇ５５）。

【0064】

次に、Ａｌｉｇｎ ｗｉｔｈ Ｏｂｊｅｃｔ５０３は、ネジの表面にスパナを沿わせて、人が最終作業位置に微調整する指示に応じて、Ａｌｉｇｎ ｗｉｔｈ Ｏｂｊｅｃｔ５０３がエンドエフェクタ６２の位置を微調整する（ｇ５６）。

【0065】

次に、Ｉｎｔｅｒａｃｔｉｏｎ ｗｉｔｈ Ｏｂｊｅｃｔ５０５は、エンドエフェクタ６２の動作を制御してネジ締めを行う（ｇ５７）。

【0066】

ネジ締めが完了した後、Ｕｎｓｎａｐ ｔｏ Ｏｂｊｅｃｔ５０４は、エンドエフェクタ６２をネジから離れさせる（ｇ５８）。

【0067】

なお、上述した例では、ネジを締める作業を説明したが、ネジを緩める作業でも同様である。

【0068】

また、図５～図７を用いて説明した各作業において、操作距離推定部５１は、対象物体の情報と操作者の動作から対象物体までの操作距離を推定する。操作状態判定部５２は、操作距離推定部５１が推定した操作距離に応じて対象物体に対するエンドエフェクタの操作状態を判定する。状態判定部５３は、操作状態に応じて遠隔操縦への補助の入力モードを変化させる。また、図５～図７を用いた作業にける各状態の処理や、状態間の遷移は、予め学習モデルに、例えば、人の手先指令値、推定された意図情報、認識された環境情報と、教師データを入力して学習させる。

【0069】

なお、操作状態は、上述したように、対象物体との距離が遠い遠方状態と、対象物体との位置が近い周辺状態と、対象物体を操作する操作状態と、に分けられる。また、補助の入力モードは、対象物体との距離が遠い遠方状態のときに、操作者の動作をそのまま利用する遠方モードと、対象物体との位置が近い周辺状態のときに、対象物体の作業位置まで誘導する周辺モードと、対象物体を操作する操作状態のときに、対象物体への操作を補助する操作モードとである。

【0070】

なお、周辺モードは、手先を対象物体に近づける状態（Ａｐｐｒｏａｃｈ Ｏｂｊｅｃｔ）と、対象物体を把持できる位置まで移動させる状態（Ｓｎａｐ ｔｏ Ｏｂｊｅｃｔ）と、対象物体の表面に合わせて、操作者の指示に応じて最終把持位置を調整する状態（Ａｌｉｇｎ ｗｉｔｈ Ｏｂｊｅｃｔ）と、対象物体の近傍から離れる状態（Ｕｎｓｎａｐ ｔｏ Ｏｂｊｅｃｔ）と、に分けられる。そして、操作量決定部５は、４つの状態間の遷移を、作業内容および作業状態に応じて切り替えるようにした。

【0071】

ここで、比較例によるエンドエフェクタによる作業例を説明する。図８は、比較例によるエンドエフェクタによる作業例を説明するための図である。
例えば、机の場所Ａにおいてある物体ｏｂｊをＰＩＣＫ（把持して持ち上げて）（ｇ９００）して、場所Ｂへｐｌａｃｅ（移動させて離す）（ｇ９１０、ｇ９１１）するとする。
ロボットのハンドは、物体ｏｂｊから離れるとき、操作者の手入力に従って、自由に移動してもいいが、近づいたら、物体ｏｂｊと衝突せずかつ把持できる位置にアプローチすることがｓｕｐｐｏｒｔ機能に求められるが、従来技術では行われていなかった。

【0072】

これに対して、本実施形態では、操作量決定部５が、上述したように人の手先指令値と対象物体との距離に応じて、人の手先指令値を補正するか否か、補正の仕方を変えるようにした。これにより、本実施形態によれば、近づいたら、物体ｏｂｊと衝突せずかつ把持できる位置にアプローチすることを実現できる。

【0073】

これにより、本実施形態によれば、手先指令値を修正する第２モードが統一的な仕組みで成り立つ。また、本実施形態によれば、タスクの種類と関係なく、汎用的なモードと複数の状態で多様なタスクに対応できる。

【0074】

図９は、比較例によるエンドエフェクタによる他の作業例を説明するための図である。
図９の作業は、スパナで六角ネジを締める作業である。このような作業において、把持中のスパナは、普段が操作者の手入力に従って、自由に移動してもいいが、作業したいターゲット物体である六角ネジに近づいたら、ｓｕｐｐｏｒｔ機能が働くことが好ましいが、従来技術では行われていなかった。

【0075】

これに対して、本実施形態では、作業したいターゲット物体である六角ネジに近づいたら、ｓｕｐｐｏｒｔ機能が働き、六角ネジを締められる位置までスムーズにｓｎａｐしにいくことを実現することができる。

【0076】

［第２実施形態］
本実施形態では、第２モードが９つの状態を備える例を説明する。
図１０は、本実施形態に係る遠隔操作補助システムの概要を説明するための図である。
本実施形態では、操作者は、符号ｇ５０１のように、例えばＨＭＤとデータグローブを装着する。データグローブによって、操作者の手の動きと指の動きが検出される。さらに、指の動きは、例えばデータグローブが備える連続ボタンによって検出される。このため、指の状態は、連続値［０，１］で表される。また、レンダリングされたシーンが操作者にＨＭＤによって提示される。操作者は、ＶＲ内で自由にシーンの周りを歩き回ることができる。符号ｇ５０１はロボットの作業空間を表し、符号ｇ５０３は、ＨＤＭに表示される画像例を示す。符号ｇ５０２は、ロボット６の作業空間を表している。

【0077】

遠隔操作補助システム１Ａは、操作者の手指の状態、操作者の視線、ロボットの状態、環境情報などの入力と合わせて処理し、ロボットへの命令を生成する。遠隔操作補助システム１Ａは、操作者の意図を推定し、状況に応じて操作者の入力コマンドを修正する。

【0078】

本実施形態でも、操作者の現在の手の状態がターゲットとしてロボットに送らずに、手の状態は、操作量決定部５Ａで処理される場合がある。本実施形態では、現在の行動状態（例えば対象物を掴んでいる、近づいている）に応じて、手の状態を様々に変化させ、操作者の目標達成をサポートする。

【0079】

また、本実施形態のフレームワークは、操作者の意図を推定する意図理解部、環境状況を判断する環境判断部、現在の行動状態に基づくロボットの目標コマンドの生成および修正する操作量決定部５Ａ、および操作者へのフィードバックを担う様々なモジュールで構成されている。

【0080】

なお、意図理解部は、操作者の手の姿勢や視線を追跡することにより、操作者の意図を推定する。意図理解部は、例えば、ＶＲ環境における操作者の視線パターンと手の動きの軌跡から、最も可能性の高い関心対象を推測することを例えば隠れマルコフモデルに学習させ、学習させたモデルを用いて操作者の意図を推定する。

【0081】

また、遠隔操作補助システム１Ａは、触覚と視覚フィードバック機能を備える。これにより、遠隔操作の環境では、あらゆるモダリティのフィードバック接続により、操作者とロボットシステムの間に双方向の通信チャネルが確立される。このフィードバック接続により、操作者は遠隔操作補助システム１Ａにコマンドを送るだけでなく、むしろ遠隔操作補助システム１Ａと対話することができる。

【0082】

なお、人間の操作者が操作目標を達成するのを支援するため、操作者が常にシステムをコントロールしている感覚つまり主体性を持ち続けることが重要である。この場合、操作者は、遠隔操作補助システム１Ａが作動していることにさえ気づかないことが利用である。このためには、遠隔操作補助システム１Ａによるサポートは、常に微妙なものであるべきである。

【0083】

以下の説明では、ロボットに対象物体を把持させ、把持したまま対象物体を所望の位置まで移動させ、所望位置に置かせるピック・アンド・プレース・タスクについて説明する。
図１１は、本実施形態に係る遠隔操作補助システムの構成例を示す図である。図１１のように、遠隔操作補助システム１Ａは、動作取得部２と、意図理解部３と、環境状況判断部４と、操作量決定部５Ａと、ロボット６と、ロボットコントローラー７と、フィードバックデバイス８を備える。なお、第１実施形態で説明した遠隔操作補助システム１もフィードバックデバイス８を備えていてもよい。

【0084】

操作量決定部５Ａは、例えば、動作状態マシーン５５と、仮想環境シミュレータ５６と、コントローラーシミュレータ５７を備える。

【0085】

現在の入力に基づき、操作者の入力をどのようにロボット６の目標ハンド状態に変換するかを決定する動作状態マシーン５５が起動される。その後、コントローラーシミュレータ５７がロボットコントローラー７の仮想コピーを用いて、対象物体にロボットのエンドエフェクタが安全に到達できるかどうかを確認する。安全に到達できると判断された場合、対象物体が実際のロボットコントローラー７に送られる。そして、エンドエフェクタは、対象物体に移動する。さらに、例えば、ロボット６が衝突したときや目標物に到達できなかったときなど、オペレータへのフィードバック信号が生成される。

【0086】

（シーン理解と意図推定）
操作タスクは、環境中の対象物体との物理的なインタラクションを必要とするため、まずシーン中の対象物体を検出できる必要がある。さらに、操作者の操作意図を推測する必要がある。このため、意図理解部３が操作者の操作意図を推測し、環境状況判断部４がシーン中の対象物体を検出する。

【0087】

物体の検出において、例えば物体モデルのデータベースを参照する。データベースは、例えばＹＣＢ－ｖｉｄｅｏデータセットのオブジェクトモデルである。各物体には、メッシュとプリミティブ幾何表現（円柱、球、箱、錐体）が付随している。なお、メッシュを用いた衝突判定はコストがかかりすぎるため、プリミティブな形状は衝突判定に用いられる。物体検出と姿勢推定のために、例えば２台の静止した較正済みのＲＧＢ-Ｄ撮影装置でシーンを撮影する。画像は撮影装置ごとにＭＡＳＫ Ｒ－ＣＮＮ（参考文献２）のインスタンスでセグメント化される。点群データは、各セグメントに対して生成され、撮影装置間で融合される。特徴抽出の後、グローバルレジストレーション（参考文献３）とファインレジストレーション（参考文献４）が行われる。最後に、姿勢信頼度推定（参考文献５の可視面不一致と同様）を用いて、結果をフィルタリングする。

【0088】

参考文献２；K. He, G. Gkioxari, P. Dollar, and R. Girshick, “Mask r-cnn”, in IEEE
international Conference on Computer Vision, 2017.
参考文献３；Q.-Y. Zhou, J. Park, and V. Koltun, “Fast global registration”, in
European Conference on Computer Vision, 2016.
参考文献４； Y. Chen and G. Medioni, “Object modelling by registration of multiple range images”, Image and Vision Computing, vol. 10, no. 3, pp. 145-155, 1992.
参考文献５； T. Homas, J. Matas, and S. Obdrzalek, “On evaluation of 6d object pose estimation,” in European Conference on Computer Vision, 2016.

【0089】

操作者の意図の検出は、例えば、操作者の手の動きと視線を追跡することで、操作者がどの物体に対してどのような動作（摘む、置く、移動）を行いたいかを推測する。
例えば、ピッキングの場合、遠隔操作補助システム１Ａは、把持される対象物体と、その対象物体に対して操作者が行いたい最も可能性の高い把持を推定する。配置する場合、遠隔操作補助システム１Ａは、最も可能性の高い配置場所と、対象物を配置するために必要ないくつかのパラメータを推定する。なお、パラメータは、正確な配置場所、配置領域、および操作者が対象物体をどのように配置したいか（例えば上下逆さま、横など）に関するいくつかの詳細である可能性がある。

【0090】

（把持姿勢と配置姿勢の推定）
把持姿勢は、ロボット６が物体をどのように把持するかを決定する。配置姿勢は、与えられた物体が他の物体の上にどのように配置されるかを決定する。このような姿勢を計算するために、本実施形態では、与えられた物体を多様体の集合に分解する。例えば、円筒形の物体は、物体の底面と上面を表す２つの円形多様体と、物体の側面を表す円筒多様体に分解することができる。本実施形態は、異なる多様体の種類を互いにマッピングする関数を導出した。これらの関数は、把持姿勢や配置姿勢の計算に利用することができる。例えば、円筒形の物体の底面の円形多様体を、テーブルの上面を表す直方体多様体にマッピングすることで、円筒形の物体がテーブルの上にどのように置かれるかを決定する配置姿勢を生成することが可能である。ロボット６の手のひらとツール中心点も同様に多様体でモデル化する。したがって、把持姿勢と配置姿勢の計算には、同じ手法を用いることができる。

【0091】

共有自律遠隔操作において、現在の把持姿勢は、操作者の手の現在の（仮想）位置と、意図推定器によって示される関心のある物体によって決定される。配置姿勢は、物体が把持された場合に計算され、把持された物体と意図推定器によって示された配置位置との間の相対的な姿勢に依存する。システムがすでに把持や配置の姿勢を決めていても、操作者の手の動きから、対応する多様体上の適切な新しい姿勢を見つけることができる。このため、操作者は把持姿勢や配置姿勢の整合性を気にすることなく、微調整を行うことができる。これにより、本実施形態によれば、ロボット６の動作の一部を遠隔操作補助システム１Ａが制御する場合でも、エージェンシー感覚を実現することができる。

【0092】

（行動）
本実施形態では、対象物体のピッキングと配置という全体的なタスクを、異なる（サブ）タスクに分解する。遠隔操作補助システム１Ａが操作者に提供するサポートは、現在のサブタスクに依存し、変化する。本実施形態では、操作者の意図と、ロボット６のハンドと対象物の距離、およびオペレータの現在の動作の実現可能性に基づいて、図１２のような異なるサブタスクの間で切り換える。図１２は、本実施形態に係る異なるサブタスク例を示す図である。なお、サブタスクは、第１実施形態の第２モードで使用される。

【0093】

（１）Ａｐｐｒｏａｃｈ Ｏｂｊｅｃｔ
シーン内に少なくとも１つの物体が検出され、その物体に対するピックインテンションをシステムが受信した場合、「接近物体」動作は、任意の方向にハンドを伸ばす。ロボット６が関節や速度の限界に達しようとしている場合のみ、遠隔操作補助システム１Ａは、それらのコマンドをオーバーライドする。その場合、遠隔操作補助システム１Ａは、ロボット６を停止させるか、あるいはロボット６の軌道をわずかに修正して限界に達するのを防ぐ。バックグラウンドでは、現在のロボット６のハンド姿勢から、与えられた物体に対する把持姿勢を計算する。把持姿勢は、例えば約４０Ｈｚで更新される。

【0094】

（２）Ｓｎａｐ ｔｏ Ｏｂｊｅｃｔ
ロボット６のハンドと計算された把持姿勢との距離があらかじめ定義された閾値以下になると、遠隔操作補助システム１Ａが制御を引き継ぎ、ロボット６のエンドエフェクタを自動的に把持姿勢に移動させる。そのわずかな時間（通常1秒未満）の間、操作者の手の動きはロボット６の動きに影響を与えない。このような動作を行う理由は、操作者にとって奥行き感がないため、手と物体との相対距離を正確に判断することが困難であることが観察されたからである。

【0095】

（３）Ａｌｉｇｎ ｗｉｔｈ Ｏｂｊｅｃｔ
エンドエフェクタが把持姿勢に到達した後も、操作者は、把持姿勢の計算に使用した多様体によって提供される安定した把持姿勢のヌルスペースの中で、エンドエフェクタを対象物体の周囲で動かすことができる。例えば、円柱の側面にスナップされたとき、エンドエフェクタは垂直軸を上下に移動することができる。また、円筒の周囲を移動することもできるが、物体との衝突を避けるため、ロール角付近の運動はブロックされている。
このため、操作者は、エンドエフェクタを動かして目的の把持姿勢を細かく調整することができ、位置決めを手伝わされても主体性を保ったまま操作できる。このとき、ロボット６は、物体に衝突することなく、計算された把持姿勢に移動する。なお、把持姿勢には、希望する指関節の配置も含まれている。しかし、操作者が実際に物体を把持し始めるまで、この指の配置は無視される。

【0096】

（４）Ｇｒａｓｐ Ｏｂｊｅｃｔ
操作者がエンドエフェクタの姿勢に満足し、データグローブのボタンを押すと、ロボット６のハンドの指は閉じられる。この動作において、エンドエフェクタは動かない。なお、フィードフォワードコントローラを使用しているので、指が事実上完全に閉じたときに、操作者が対象物体を把持したと感じて操作指示を完了するため、対象物体を把持したと単純に仮定することができる。

【0097】

（５）Ａｌｉｇｎ ｗｉｔｈ Ｓｕｒｆａｃｅ
対象物を把持した後、操作者は、対象物を現在の支持面（テーブルなど）上で移動させることができる。表面の法線方向への微小な動きや、表面の法線周り以外の回転は無視され、物体は支持面に接触した状態に保たれる。Ａｌｉｇｎ ｗｉｔｈ Ｏｂｊｅｃｔと同様、遠隔操作補助システム１Ａは、対象物体を支持面に接触させたまま、表面上で自由に姿勢を調整することができる。操作者がデータグローブを支持面から遠ざけると、遠隔操作補助システム１Ａは対象物体を持ち上げ、別の動作に切り替える。

【0098】

（６）Ｕｎｓｎａｐ ｆｒｏｍ Ｓｕｒｆａｃｅ
操作者がハンドを支持面から仮想的に離すと、ロボット６のハンドは他の物体と衝突することなく、自律的に物体を持ち上げることができる。

【0099】

（７）Ａｐｐｒｏａｃｈ Ｓｕｒｆａｃｅ
物体を持ち上げた後、遠隔操作補助システム１Ａは、再びシーン内の物体の周りを自由に移動できる状態になる。このため、このモードは、ロボット６がハンドに物体を持つようになったという違いだけで、Ａｐｐｒｏａｃｈ Ｏｂｊｅｃｔと似ている。

【0100】

（８）Ｓｎａｐ ｔｏ Ｓｕｒｆａｃｅ
推定された物体の設置位置に近づくと、再び遠隔操作補助システム１Ａが制御を行い、保持された物体を表面に安定的に置くように自動的に配置する。スナップ後、遠隔操作補助システム１Ａは再びＡｌｉｇｎ ｗｉｔｈ Ｓｕｒｆａｃｅに切り替わり、操作者は、サポート平面上でオブジェクトを動かして配置姿勢を微調整するか、ロボット６の指を開いてオブジェクトから離なす（またはハンドをそれに合わせる）ことができるようになる。

【0101】

（９）Ｒｅｌｅａｓｅ Ｏｂｊｅｃｔ
この状態では、ロボット６は、単に指を開くだけで、エンドエフェクタは動かせない。

【0102】

＜シミュレータ＞
本実施形態では、実際のロボット６に目標姿勢を送信する前に、まずロボット６が実際にその姿勢到達できるか否かをシミュレートするようにした。コントローラーシミュレータ５７は、分解されたモーション・レート・コントローラを使用して関節速度を計算し、それにステップサイズを掛けて、現在のロボット６の関節角度に追加する。コントローラーシミュレータ５７は、新しく計算されたロボット６の姿勢について、衝突や関節の限界にあるか否かを、そして目的の目標姿勢にすでに到達しているか否かを確認する。コントローラーシミュレータ５７は、動作が成功したとみなされるか、実行不可能とみなされるか、あるいは制限時間（例えば５００ｍｓ）に達するまで、それらのステップを実行し続ける。このコントローラーシミュレータ５７の利点は、実時間で計算できるほど高速であることである。なお、シミュレーションは、連続的に実行されるため，十分な精度が得られることが確認された。シミュレーションには、実際のロボット６の制御コマンドを計算するのに使用したのと同じコントローラを使用する。

【0103】

＜フィードバック信号＞
触覚フィードバックは、例えば、物理的な限界（例えば、ｎｊｏｉｎｔ ｌｉｍｉｔ）や、自己衝突やシーン内のオブジェクトとの衝突など、ロボット６の衝突を避けるためにロボット６の動きを変更したときに、操作者に警告を伝えるために利用される。なお、フィードバック信号は、データグローブに送信される。データグローブは、例えば振動子等を備え、フィードバック信号に応じて、操作者にフィードバック情報を伝達する。

【0104】

＜確認結果＞
図１３は、本実施形態の遠隔操作によってロボットが作業をしている状態例を示す図である。図１３の例では、ロボット６が、遠隔操作に基づいて、対象物体であるペットボトルをハンドで把持し、グリッパーで蓋を回転させて開ける。

【0105】

なお、ロボット６は、図１０のような片腕でエンドエフェクタがグリッパーであってもよく、図１３のように両腕で、片腕に多指のハンドを備え他方の腕にグリッパーを備えていてもよい。このように、本実施形態では、図１０のようなロボット６と、図１３のようなロボット６を用いて確認を行った。

【0106】

以上のように、本実施形態では、仮想現実に基づく共有自律遠隔操作フレームワークを用いて、例えば、ピック・アンド・プレース。タスクのような物体インタラクション時に人の操作者へサポートを提供するようにした。

【0107】

これにより、本実施形態においても多種な物体に対して多様な作業を行う多様性のあるテレオペレーション作業を補助できる。

【0108】

なお、本発明における操作量決定部５（または５Ａ）の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより操作量決定部５（または５Ａ）が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0109】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0110】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0111】

１，１Ａ…遠隔操作補助システム、２…動作取得部、３…意図理解部、４…環境状況判断部、５，５Ａ…操作量決定部、６…ロボット、５１…操作距離推定部、５２…操作状態判定部、５３…状態判定部、６１…アーム、６２…エンドエフェクタ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】