ホーム > 特許ランキング > 本田技研工業株式会社
知財求人 - 知財ポータルサイト「IP Force」
- 弁理士法人プロスペック特許事務所 (東京、名古屋、在宅勤務可)
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2025-11-27
(45)【発行日】2025-12-05
(54)【発明の名称】遠隔制御システム
(51)【国際特許分類】
B25J 13/06 20060101AFI20251128BHJP
【ＦＩ】
B25J13/06
【請求項の数】
7
(21)【出願番号】P 2022035677
(22)【出願日】2022-03-08
(65)【公開番号】P2023131033
(43)【公開日】2023-09-21
【審査請求日】2024-11-27
(73)【特許権者】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100154852
【弁理士】
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100194087
【弁理士】
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】吉川 泰三
【審査官】杉山 悟史
(56)【参考文献】
【文献】特開２０２１－１６７０６０（ＪＰ，Ａ）
【文献】特開平０８－３０９６８０（ＪＰ，Ａ）
【文献】特開２０２０－１６３５１１（ＪＰ，Ａ）
【文献】特開２００６－１６７８６７（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｂ２５Ｊ １／００ ～ ２１／０２
(57)【特許請求の範囲】
【請求項1】
指部を備えるエンドエフェクタを操作者が遠隔操作する制御システムであって、前記操作者と前記エンドエフェクタの座標原点を設定する座標原点設定部と、
前記操作者の指の関節角度の情報を取得する操作者関節角度情報取得部と、
前記操作者の指の各リンクの長さを計測する操作者指長さ測定部と、
前記操作者の指先位置を、前記操作者関節角度情報取得部と前記操作者指長さ測定部で取得した情報から、操作者モデルのローカル座標原点からみた前記操作者の各指の先端位置を計算する操作者指先位置計算部と、
前記操作者の指先位置と、前記エンドエフェクタのローカル座標原点から前記エンドエフェクタの関節角度をインバースキネマティクスにより導出するエンドエフェクタ関節角度導出部と、
を備え、
前記操作者指長さ測定部は、
前記操作者の関節位置およびリンク長の幾何学構造をモデル化して、前記操作者の５指のうちの１つの第１リンクの長さを基準として、前記操作者の関節位置および前記指の各リンクの長を計測する、
遠隔制御システム。
【請求項2】
指部を備えるエンドエフェクタを操作者が遠隔操作する制御システムであって、
前記操作者と前記エンドエフェクタの座標原点を設定する座標原点設定部と、
前記操作者の指の関節角度の情報を取得する操作者関節角度情報取得部と、
前記操作者の指の各リンクの長さを計測する操作者指長さ測定部と、
前記操作者の指先位置を、前記操作者関節角度情報取得部と前記操作者指長さ測定部で取得した情報から、操作者モデルのローカル座標原点からみた前記操作者の各指の先端位置を計算する操作者指先位置計算部と、
前記操作者の指先位置と、前記エンドエフェクタのローカル座標原点から前記エンドエフェクタの関節角度をインバースキネマティクスにより導出するエンドエフェクタ関節角度導出部と、
を備え、
前記エンドエフェクタ関節角度導出部は、
前記エンドエフェクタの指部の第２関節の指令値を、計測した前記操作者の前記各リンクの長さと、計算された前記操作者の指先の位置とに基づいて生成する、
遠隔制御システム。
【請求項3】
指部を備えるエンドエフェクタを操作者が遠隔操作する制御システムであって、
前記操作者と前記エンドエフェクタの座標原点を設定する座標原点設定部と、
前記操作者の指の関節角度の情報を取得する操作者関節角度情報取得部と、
前記操作者の指の各リンクの長さを計測する操作者指長さ測定部と、
前記操作者の指先位置を、前記操作者関節角度情報取得部と前記操作者指長さ測定部で取得した情報から、操作者モデルのローカル座標原点からみた前記操作者の各指の先端位置を計算する操作者指先位置計算部と、
前記操作者の指先位置と、前記エンドエフェクタのローカル座標原点から前記エンドエフェクタの関節角度をインバースキネマティクスにより導出するエンドエフェクタ関節角度導出部と、
前記操作者の指先の中心点と、前記エンドエフェクタの指の中心点の位置の差を計測し、指先位置指令のオフセットとして、前記操作者モデルのローカル座標原点からみた各指の先端位置を修正する位置修正部と、を備える、
遠隔制御システム。
【請求項4】
指部を備えるエンドエフェクタを操作者が遠隔操作する制御システムであって、
前記操作者と前記エンドエフェクタの座標原点を設定する座標原点設定部と、
前記操作者の指の関節角度の情報を取得する操作者関節角度情報取得部と、
前記操作者の指の各リンクの長さを計測する操作者指長さ測定部と、
前記操作者の指先位置を、前記操作者関節角度情報取得部と前記操作者指長さ測定部で取得した情報から、操作者モデルのローカル座標原点からみた前記操作者の各指の先端位置を計算する操作者指先位置計算部と、
前記操作者の指先位置と、前記エンドエフェクタのローカル座標原点から前記エンドエフェクタの関節角度をインバースキネマティクスにより導出するエンドエフェクタ関節角度導出部と、
前記操作者の指先の目標点と、前記操作者の手のモデルの指先の位置の差を計測し、指先位置指令のオフセットとして前記操作者モデルのローカル座標原点からみた各指の先端位置を修正する位置修正部と、を備える、
遠隔制御システム。
【請求項5】
指部を備えるエンドエフェクタを操作者が遠隔操作する制御システムであって、
前記操作者と前記エンドエフェクタの座標原点を設定する座標原点設定部と、
前記操作者の指の関節角度の情報を取得する操作者関節角度情報取得部と、
前記操作者の指の各リンクの長さを計測する操作者指長さ測定部と、
前記操作者の指先位置を、前記操作者関節角度情報取得部と前記操作者指長さ測定部で取得した情報から、操作者モデルのローカル座標原点からみた前記操作者の各指の先端位置を計算する操作者指先位置計算部と、
前記操作者の指先位置と、前記エンドエフェクタのローカル座標原点から前記エンドエフェクタの関節角度をインバースキネマティクスにより導出するエンドエフェクタ関節角度導出部と、
前記操作者の指先の目標点と、前記エンドエフェクタの指の目標点の位置の差を計測し、指先位置指令のオフセットとして、前記操作者モデルのローカル座標原点からみた各指の先端位置を修正する位置修正部と、を備える、
遠隔制御システム。
【請求項6】
指部を備えるエンドエフェクタを操作者が遠隔操作する制御システムであって、
前記操作者と前記エンドエフェクタの座標原点を設定する座標原点設定部と、
前記操作者の指の関節角度の情報を取得する操作者関節角度情報取得部と、
前記操作者の指の各リンクの長さを計測する操作者指長さ測定部と、
前記操作者の指先位置を、前記操作者関節角度情報取得部と前記操作者指長さ測定部で取得した情報から、操作者モデルのローカル座標原点からみた前記操作者の各指の先端位置を計算する操作者指先位置計算部と、
前記操作者の指先位置と、前記エンドエフェクタのローカル座標原点から前記エンドエフェクタの関節角度をインバースキネマティクスにより導出するエンドエフェクタ関節角度導出部と、
前記エンドエフェクタの関節角度を導出するモードと、
前記エンドエフェクタを搭載したロボットのセンサ情報により前記操作者の手の姿勢を推定してロボットを動かすモードを指ごとに選択可能なモード選択部と、を備える、
遠隔制御システム。
【請求項7】
前記モード選択部は、タクソノミーに応じてモードを切り替え、または前記操作者の指先の速さに応じてモードを切り替える、
請求項６に記載の遠隔制御システム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、遠隔制御システムに関する。
【背景技術】
【0002】
多指ハンド制御において、従来、産業用ロボットのようなタスク実行型のロボットの場合、エンドエフェクタの操作する対象物の位置が固定されていることが多く、決められたタスクに応じた動作を各関節レベルで設計して実行するタイプが多かった（例えば特許文献１参照）。カメラ画像から対象物の位置を認識して手先の位置を状況に応じて修正するような動かし方や、環境が限定されないロボット、歩行型ロボットのような詳細なバランス制御が要求されるようなロボットの場合は、ＩＫ（Inverse Kinematics）により、原点位置から見たエンドエフェクタの位置に対して、その位置にエンドエフェクタを制御するために必要な各関節の角度を計算することが必要となる。
【0003】
また、人型ロボットのように環境との接触や人とのフィジカルなインターアクションを想定した場合は、各関節のトルク制御を行うことが望まれるが、この場合、エンドエフェクタの位置やエンドエフェクタに発生させる力の値をヤコビ行列を使ったＩＫにより、各関節のトルク指令値として計算する必要がある。
【0004】
ＩＫやＩＤ（Inverse. Dynamics）によるロボットの制御を行う場合は、各関節の動作を直接的に設計する場合に比べて、演算の処理時間の負荷が大きくなることが問題となる。また、多関節型のロボットの場合は、演算の処理がさらに重くなるとともに、特異点の問題や冗長な自由度により姿勢が決定されないという問題も考えられる。人型ロボットや多指ハンドは、産業用ロボットと比べて関節の数が多いことから、実装の際に演算時間が一つの課題となる。人型ロボットの場合は、ベースは固定されていないが、ロボットの腰位置をグローバル座標系からみたロボットのローカル座標系の原点として考えられる。幾何学的には、腰の部分を原点として、頭、右腕、左腕、右足、左足の５つのブランチから構成される枝分かれ構造として計算することができる。
【0005】
また、多指ハンドの制御の場合は、人型ロボットと同様の枝分かれ構造として考えることができる。多指ハンドの制御の場合は、手首位置をローカル座標系の原点として、親指・人差し指・中指・薬指・小指の５指のブランチから構成され、各指の先端をエンドエフェクタとする幾何学構造として計算することができる。各指の先端位置の制御を行う場合は、例えば人差し指の空間での位置を制御する場合、Ｆｉｎｇｅｒｔｉｐ－３Ｙ－２Ｙ－１Ｙ－１Ｚに加えてＷｒｉｓｔ（ＸＹＺ）＋Ｅｌｂｏｗ（Ｙ）＋Ｓｈｏｕｌｄｅｒ（ＸＹＺ）から構成される連即する幾何学構造としてＩＫを計算することは、演算処理的に無駄が多いと同時にＩＫの解が求まらないことが考えられる。この場合は、手首位置をアーム側で制御した上で、手首位置を多指ハンドのローカルな原点として、各指の位置からＩＫにより各指の関節角度をそれぞれ求めることが望ましい。
【0006】
また、従来の多指ハンドのダイレク遠隔操作では、例えばデータグローブによりオペレータの指の姿勢角度を推定し、検出された各関節の角度情報をロボットの各関節の角度指令値として指令する枠組みが構成されている（例えば特許文献２参照）。人の関節の位置と回転軸構成、各指のリンク長とロボットの構成が同じであれば、人の各関節角度情報をもとにロボットのハンドを動かしても指先の位置は人と変わらない。
【先行技術文献】
【特許文献】
【0007】
【文献】特開２０２０－１６３５１１号公報
【文献】特開２００６－１６７８６７号公報
【発明の概要】
【発明が解決しようとする課題】
【0008】
しかしながら、遠隔操作の場合は、実際のオペレータとロボットの指の構造は異なると同時に、使用するオペレータ毎の指のサイズも異なる。また、人の指の姿勢（関節角度）を検出する際に、ＶＲ（Virtual Reality）で使われるグローブ型のデバイスを使うことが多いが、２０ＤＯＦ（Degree of Freedom；自由度）程の人の関節の角度を正確に検出するようなデバイスは存在しない。このため、人が人差し指と親指で摘まむような指の姿勢をロボットに指令しても、姿勢が上手く検出されない、検出されてもロボットは同じように摘まむ姿勢にならない、という問題がある。このように従来技術では、ダイレクト遠隔操作において指先の詳細な遠隔操作が難しい。
【0009】
本発明は、上記の問題点に鑑みてなされたものであって、指先の詳細な遠隔操作ができると同時に、直感的な操作を可能とする遠隔制御システムを提供することを目的とする。
【課題を解決するための手段】
【0010】
（１）上記目的を達成するため、本発明の一態様に係る遠隔制御システムは、指部を備えるエンドエフェクタを操作者が遠隔操作する制御システムであって、前記操作者と前記エンドエフェクタの座標原点を設定する座標原点設定部と、前記操作者の指の関節角度の情報を取得する操作者関節角度情報取得部と、前記操作者の指の各リンクの長さを計測する操作者指長さ測定部と、前記操作者の指先位置を、前記操作者関節角度情報取得部と前記操作者指長さ測定部で取得した情報から、操作者モデルのローカル座標原点からみた前記操作者の各指の先端位置を計算する操作者指先位置計算部と、前記操作者の指先位置と、前記エンドエフェクタのローカル座標原点から前記エンドエフェクタを構成する前記指部の関節角度をインバースキネマティクスにより導出するエンドエフェクタ関節角度導出部と、を備える。
【0011】
（２）また、本発明の一態様に係る遠隔制御システムにおいて、前記操作者指長さ測定部は、前記操作者の関節位置およびリンク長の幾何学構造をモデル化して、前記操作者の５指のうちの１つの第１リンクの長さを基準として、前記操作者の関節位置および前記指の各リンクの長を計測するようにしてもよい。
【0012】
（３）また、本発明の一態様に係る遠隔制御システムにおいて、前記エンドエフェクタ関節角度導出部は、前記エンドエフェクタの指部の第２関節の指令値を、計測した前記操作者の前記各リンクの長さと、計算された前記操作者の指先の位置とに基づいて生成するようにしてもよい。
【0013】
（４）また、本発明の一態様に係る遠隔制御システムにおいて、前記操作者の指先の中心点と、前記エンドエフェクタの指の中心点の位置の差を計測し、指先位置指令のオフセットとして、前記操作者モデルのローカル座標原点からみた各指の先端位置を修正する位置修正部、を備える、ようにしてもよい。
【0014】
（５）また、本発明の一態様に係る遠隔制御システムにおいて、前記操作者の指先の目標点と、前記操作者の手のモデルの指先の位置の差を計測し、指先位置指令のオフセットとして前記操作者モデルのローカル座標原点からみた各指の先端位置を修正する位置修正部、を備える、ようにしてもよい。
【0015】
（６）また、本発明の一態様に係る遠隔制御システムにおいて、前記操作者の指先の目標点と、前記エンドエフェクタの指の目標点の位置の差を計測し、指先位置指令のオフセットとして、前記操作者モデルのローカル座標原点からみた各指の先端位置を修正する位置修正部、を備える、ようにしてもよい。
なお、親指と人差し指の摘まみ動作の場合は、両指先位置の中心点を目標位置と設定しても良い。また、両エンドエフェクタの先位置の中心点を目標位置と設定してもよい。
なお、親指と人差し指の摘まみ動作の場合は、両指先位置の中心点を目標位置と設定しても良い。また、両エンドエフェクタの先位置の中心点を目標位置と設定してもよい。
【0016】
（７）また、本発明の一態様に係る遠隔制御システムにおいて、前記エンドエフェクタの関節角度を導出するモードと、前記エンドエフェクタを搭載したロボットのセンサ情報により前記操作者の手の姿勢を推定してロボットを動かすモードを指ごとに選択可能なモード選択部、を備える、ようにしてもよい。
【0017】
（８）また、本発明の一態様に係る遠隔制御システムにおいて、前記記モード選択部は、タクソノミーに応じてモードを切り替え、または前記操作者の指先の速さに応じてモードを切り替えるようにしてもよい。
【発明の効果】
【0018】
（１）～（８）によれば、指先の詳細な遠隔操作ができると同時に、直感的な操作を可能になる。
【図面の簡単な説明】
【0019】
【図1】実施形態に係る第１処理における操作者の関節位置・リンク長の幾何学構造のモデル化を説明するための図である。
【図2】実施形態に係る操作者毎に指のサイズを計測するシステム例を示す図である。
【図3】実測した操作者の指のサイズの例を示す図である。
【図4】実施形態に係る指先の位置の計算について説明するための図である。
【図5】人ハンドモデル、ロボットハンドモデルおよび位置の一致例を説明する為の図である。
【図6】実施形態に係るＩＫによりエンドエフェクタの関節角度の導出を説明するための図である。
【図7】タクソノミーの例を示す図である。
【図8】エンドエフェクタの指部の第２関節の指令値の利用を説明するための図である。
【図9】摘まみ動作の実現を説明するための図である。
【図10】人の姿勢とデータグローブを使った人モデルの姿勢とのキャリブレーションを説明するための図である。
【図11】人の姿勢とデータグローブを使った人モデルの姿勢とのキャリブレーションを説明するための図である。
【図12】シミュレーションによる検証結果の例を示す図である。
【図13】実施形態に係るエンドエフェクタ制御装置の構成例を示す図である。
【図14】実施形態に係るエンドエフェクタの構成例を示す図である。
【図15】実施形態に係る指サイズ計測とモデル作成処理手順のフローチャートである。
【図16】実施形態に係るキャリブレーション部が行う処理手順を示す図である。
【図17】遠隔操作でエンドエフェクタにプルタブを摘まむ作業時を説明するための図である。
【図18】実施形態に係るＩＫ処理部が行う処理手順のフローチャートである。
【図19】実施形態に係るＩＫ処理ブロックで行う処理手順のフローチャートである。
【図20】実施形態に係る親指に対応するＩＫ処理手順のフローチャートである。
【図21】ＦＫ処理における座標系を示す図である。
【図22】人モデルの基準点と親指の根元位置、ロボット座標における基準点と親指の根元位置を示す図である。
【図23】人モデルの基準点と親指の根元位置、ロボット座標における基準点と親指の根元位置の関係を説明するための図である。
【図24】親指の根元位置を一致させた場合の指先までのリンクの推移例を示す図である。
【図25】親指の根元位置を一致させた場合の指先までのリンクの推移例を示す図である。
【発明を実施するための形態】
【0020】
以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。
【0021】
＜概要＞
まず、実施形態の概要を説明する。
本実施形態では、人とロボットの指先位置を一致させると同時に、直感的な操作を可能とする。このために、本実施形態では、第１処理として、操作者毎に指のサイズを計測し幾何学的なモデルを構築し、データグローブのセンサ値を使いて指先の位置をＦＫ（Forward Kinematics）で計算する。第１処理では、操作者の関節位置・リンク長の幾何学構造をモデル化し、次に各オペレータの関節位置・リンク長を計測するシステムを構築する。さらに、第２処理では、ＦＫの指先位置をロボットへの指令値とし、例えばＩＫ（Inverse Kinematics）によりエンドエフェクタ１の関節角度を導出する。
まず、実施形態の概要を説明する。
本実施形態では、人とロボットの指先位置を一致させると同時に、直感的な操作を可能とする。このために、本実施形態では、第１処理として、操作者毎に指のサイズを計測し幾何学的なモデルを構築し、データグローブのセンサ値を使いて指先の位置をＦＫ（Forward Kinematics）で計算する。第１処理では、操作者の関節位置・リンク長の幾何学構造をモデル化し、次に各オペレータの関節位置・リンク長を計測するシステムを構築する。さらに、第２処理では、ＦＫの指先位置をロボットへの指令値とし、例えばＩＫ（Inverse Kinematics）によりエンドエフェクタ１の関節角度を導出する。
【0022】
＜第１処理＞
まず、第１処理について説明する。図１は、本実施形態に係る第１処理における操作者の関節位置・リンク長の幾何学構造のモデル化を説明するための図である。画像ｇ１、ｇ２は、親指の動きのパターンを示す。画像ｇ３は、軸構成を示す。モデルでは、画像ｇ３のように、人差し指、中指、薬指、小指それぞれについては、第１関節をＹＺとし、第２関節と第３関節をＹとする。また、例えば手首の関節を基準点Ｘとする。親指については、第１中手骨と手とのＣＭ関節、第１中手骨と基節骨とのＭＰ関節、基節骨と末節骨とのＩＰ関節をＹとする。また、親指については、対向可能な関節構造とする。
まず、第１処理について説明する。図１は、本実施形態に係る第１処理における操作者の関節位置・リンク長の幾何学構造のモデル化を説明するための図である。画像ｇ１、ｇ２は、親指の動きのパターンを示す。画像ｇ３は、軸構成を示す。モデルでは、画像ｇ３のように、人差し指、中指、薬指、小指それぞれについては、第１関節をＹＺとし、第２関節と第３関節をＹとする。また、例えば手首の関節を基準点Ｘとする。親指については、第１中手骨と手とのＣＭ関節、第１中手骨と基節骨とのＭＰ関節、基節骨と末節骨とのＩＰ関節をＹとする。また、親指については、対向可能な関節構造とする。
【0023】
図２は、本実施形態に係る操作者毎に指のサイズを計測するシステム例を示す図である。画像ｇ１１は、手と各指の関節に番号と名称を付与した例である。例では、基準点の番号を０とした。画像ｇ１３は、手と指のモデルであり、画像ｇ１２、ｇ１４は実測時の画像例である。実測では、操作者は、例えばカメラに向かって手をかざす。
【0024】
人の指のサイズは人ごとに異なるため、仮に遠隔操作を行う操作者が手に装着しているデータグローブで取得した各指の関節の角度で人の指先位置を計算しても、人によって位置が異なる。
これに対して、本実施形態では、操作者の指のサイズを計測するシステムが、撮影した画像をモデルに当てはめて、各部のサイズを計測する。本実施形態では、例えば、撮影された画像に対して画像処理と機械学習を行ったモデルとを用いて計測する。なお、計測において、基準長さは、後述するように例えば人差し指の第１リンクの長さである。なお、基準とする長さは、他の指の第１リンクであってもよい。また、計測は複数回行って、平均を求めてもよく、ノイズを除外してもよい。図３は、実測した操作者の指のサイズの例を示す図である。
これに対して、本実施形態では、操作者の指のサイズを計測するシステムが、撮影した画像をモデルに当てはめて、各部のサイズを計測する。本実施形態では、例えば、撮影された画像に対して画像処理と機械学習を行ったモデルとを用いて計測する。なお、計測において、基準長さは、後述するように例えば人差し指の第１リンクの長さである。なお、基準とする長さは、他の指の第１リンクであってもよい。また、計測は複数回行って、平均を求めてもよく、ノイズを除外してもよい。図３は、実測した操作者の指のサイズの例を示す図である。
【0025】
＜指先の位置の計算＞
次に、指先の位置の計算について説明する。
図４は、本実施形態に係る指先の位置の計算について説明するための図である。本実施形態では、操作者の手のモデルを構築し（ｇ２１）、操作者が手にデータグローブを装着し、データグローブが備えるセンサが検出したセンサ値を用いて（ｇ２２）、操作者の指先の位置をＦＫによって算出する（ｇ２３）。そして、本実施形態では、操作者の手のモデル、指先の位置の指令を、エンドエフェクタ１に出力する（ｇ２４）。
次に、指先の位置の計算について説明する。
図４は、本実施形態に係る指先の位置の計算について説明するための図である。本実施形態では、操作者の手のモデルを構築し（ｇ２１）、操作者が手にデータグローブを装着し、データグローブが備えるセンサが検出したセンサ値を用いて（ｇ２２）、操作者の指先の位置をＦＫによって算出する（ｇ２３）。そして、本実施形態では、操作者の手のモデル、指先の位置の指令を、エンドエフェクタ１に出力する（ｇ２４）。
【0026】
指先の位置の計算では、操作者のハンドモデルとロボットのハンドモデルの共通の部位を一致させることで、操作者のハンドモデルとロボットのモデルの指先の位置指令を一致させる。例えば、図５の画像ｇ２７、ｇ２８ように、親指の付け根の部分を一致させてもよい。図５は、人ハンドモデル、ロボットハンドモデルおよび位置の一致例を説明する為の図である。
【0027】
画像ｇ２５は、人ハンドモデルの例であり、ハンド座標原点からの指先位置を計算する例である。
画像ｇ２６は、ロボットハンドモデルの例であり、ロボットハンドモデル原点から、人ハンドモデルの指先位置を指示した場合を示している。
画像ｇ２７は、人ハンドモデルの例であり、親指根元からの指先位置を計算する例である。
画像ｇ２８は、ロボットハンドモデルの例であり、まず人ハンドモデルとロボットハンドモデルの親指根元位置を一致させ、次にロボットハンドモデルの親指根元から、人ハンドモデルの親指原点の指先位置を指示する例である。
なお、図５において、Ｘｈ＿ｆｔ［ｎ］＝Ｘｈ＿ｆｔ［ｎ］－Ｘｈ＿ｔｂ＋Ｘｒ＿ｔｂ（ｎ＝０，１，２，３）である。
画像ｇ２６は、ロボットハンドモデルの例であり、ロボットハンドモデル原点から、人ハンドモデルの指先位置を指示した場合を示している。
画像ｇ２７は、人ハンドモデルの例であり、親指根元からの指先位置を計算する例である。
画像ｇ２８は、ロボットハンドモデルの例であり、まず人ハンドモデルとロボットハンドモデルの親指根元位置を一致させ、次にロボットハンドモデルの親指根元から、人ハンドモデルの親指原点の指先位置を指示する例である。
なお、図５において、Ｘｈ＿ｆｔ［ｎ］＝Ｘｈ＿ｆｔ［ｎ］－Ｘｈ＿ｔｂ＋Ｘｒ＿ｔｂ（ｎ＝０，１，２，３）である。
【0028】
＜エンドエフェクタの関節角度の導出＞
本実施形態では、ＦＫの指先位置をロボットへの指令値とし、ＩＫによりエンドエフェクタ１の関節角度を導出する。すなわち図６のように、ＦＫの指先の位置を、エンドエフェクタ１の指先の位置への指令値とする。図６は、本実施形態に係るＩＫによりエンドエフェクタ１の関節角度の導出を説明するための図である。
本実施形態では、次式（１）～（３）のように疑似逆行列Ｊ＋を用いて関節角度を導出する。
本実施形態では、ＦＫの指先位置をロボットへの指令値とし、ＩＫによりエンドエフェクタ１の関節角度を導出する。すなわち図６のように、ＦＫの指先の位置を、エンドエフェクタ１の指先の位置への指令値とする。図６は、本実施形態に係るＩＫによりエンドエフェクタ１の関節角度の導出を説明するための図である。
本実施形態では、次式（１）～（３）のように疑似逆行列Ｊ＋を用いて関節角度を導出する。
【0029】
【数1】
【0030】
【数2】
【0031】
【数3】
【0032】
なお、式（１）において、ｘ・（≧δｘ）は現在の指先位置と次の指先位置指令の変化分であり、ｑ・（≧δｑ）は次の指先位置指令位置に移動するための各関節角度の変化分であり、Ｊは各関節を少し動かした際に手先位置の変化分を変換する変換行列である。式（２）において、Ｉは単位行列であり、ξは重み（感度）である。式（３）において、ｎは関節（joint）の自由度であり、ｍはタスクの自由度である。
【0033】
＜タクソノミーの利用＞
また、本実施形態では、データグローブのセンサ値と操作者の手のモデルによる直感的な関節角度指示と、エンドエフェクタ１のＩＫによる位置指令を指ごとに選択可能とするために、以下のＡとＢを行う。なお、以下の切り替えは、後述する選択部２１２が行う。
また、本実施形態では、データグローブのセンサ値と操作者の手のモデルによる直感的な関節角度指示と、エンドエフェクタ１のＩＫによる位置指令を指ごとに選択可能とするために、以下のＡとＢを行う。なお、以下の切り替えは、後述する選択部２１２が行う。
【0034】
Ａ．タクソノミー（参考文献１参照）に応じてモードを切り替える
図７は、タクソノミーの例を示す図である。本実施形態では、以下のタクソノミーＩ～ＶＩＩのようにＩＫにより関節角度を計算して指令するモードＩＫと、デバイスのセンサ情報で指令するモードＤＥＶを用いる。なお、Ｉ～ＶＩＩにおいて、Ｔは親指（Thumb）、Ｉは人差し指（Index）、Ｍは中指（Middle）、Ｒは薬指（Ring）である。
Ｉ．Ｍｅｄｉｕｍ Ｗｒａｐ：Ｔ［ＩＫ］、Ｉ［ＤＥＶ］、Ｍ［ＤＥＶ］、Ｒ［ＤＥＶ］
ＩＩ．Ｐｏｗｅｒ Ｄｉｓｋ：Ｔ［ＩＫ］、Ｉ［ＩＫ］、Ｍ［ＩＫ］、Ｒ［ＤＥＶ］
ＩＩＩ．Ｐｒｉｚｍａｔｉｃ３：Ｔ［ＤＥＶ］、Ｉ［ＩＫ］、Ｍ［ＩＫ］、Ｒ［ＤＥＶ］
ＩＶ．Ｐｒｉｚｍａｔｉｃ２：Ｔ［ＤＥＶ］、Ｉ［ＩＫ］、Ｍ［ＤＥＶ］、Ｒ［ＤＥＶ］
Ｖ．Ｐａｌｍａｒ Ｐｉｎｃｈ：Ｔ［ＩＫ］、Ｉ［ＩＫ］、Ｍ［ＤＥＶ］、Ｒ［ＤＥＶ］
ＶＩ．Ｔｒｉｐｏｄ：Ｔ［ＩＫ］、Ｉ［ＩＫ］、Ｍ［ＩＫ］、Ｒ［ＤＥＶ］
ＶＩＩ．Ｒａｔｃｈｅｔ ｗｒｅｎｃｈ：Ｔ［ＩＫ］、Ｉ［ＤＥＶ］、Ｍ［ＤＥＶ］、Ｒ［ＤＥＶ］
図７は、タクソノミーの例を示す図である。本実施形態では、以下のタクソノミーＩ～ＶＩＩのようにＩＫにより関節角度を計算して指令するモードＩＫと、デバイスのセンサ情報で指令するモードＤＥＶを用いる。なお、Ｉ～ＶＩＩにおいて、Ｔは親指（Thumb）、Ｉは人差し指（Index）、Ｍは中指（Middle）、Ｒは薬指（Ring）である。
Ｉ．Ｍｅｄｉｕｍ Ｗｒａｐ：Ｔ［ＩＫ］、Ｉ［ＤＥＶ］、Ｍ［ＤＥＶ］、Ｒ［ＤＥＶ］
ＩＩ．Ｐｏｗｅｒ Ｄｉｓｋ：Ｔ［ＩＫ］、Ｉ［ＩＫ］、Ｍ［ＩＫ］、Ｒ［ＤＥＶ］
ＩＩＩ．Ｐｒｉｚｍａｔｉｃ３：Ｔ［ＤＥＶ］、Ｉ［ＩＫ］、Ｍ［ＩＫ］、Ｒ［ＤＥＶ］
ＩＶ．Ｐｒｉｚｍａｔｉｃ２：Ｔ［ＤＥＶ］、Ｉ［ＩＫ］、Ｍ［ＤＥＶ］、Ｒ［ＤＥＶ］
Ｖ．Ｐａｌｍａｒ Ｐｉｎｃｈ：Ｔ［ＩＫ］、Ｉ［ＩＫ］、Ｍ［ＤＥＶ］、Ｒ［ＤＥＶ］
ＶＩ．Ｔｒｉｐｏｄ：Ｔ［ＩＫ］、Ｉ［ＩＫ］、Ｍ［ＩＫ］、Ｒ［ＤＥＶ］
ＶＩＩ．Ｒａｔｃｈｅｔ ｗｒｅｎｃｈ：Ｔ［ＩＫ］、Ｉ［ＤＥＶ］、Ｍ［ＤＥＶ］、Ｒ［ＤＥＶ］
【0035】
参考文献１；Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human Grasp Types” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb. 2016),IEEE,p66-77
【0036】
Ｂ．指先の速さに応じてモードを切り替える
また、本実施形態では、以下の条件の際に、ＩＫとＤＥＶを用いる。
・Ｉｆ（指先の速さ＞閾値）：デバイスのセンサ情報で指令するモードＤＥＶ
・Ｅｌｓｅ：ＩＫにより関節角度を計算して指令するモードＩＫ
また、本実施形態では、以下の条件の際に、ＩＫとＤＥＶを用いる。
・Ｉｆ（指先の速さ＞閾値）：デバイスのセンサ情報で指令するモードＤＥＶ
・Ｅｌｓｅ：ＩＫにより関節角度を計算して指令するモードＩＫ
【0037】
＜エンドエフェクタの指部の第２関節の指令値の利用＞
本実施形態では、図８のように、エンドエフェクタ１のＩＫによる位置指令モードにおいて、エンドエフェクタ１の指部の第２関節の指令値を、「操作者毎に指のサイズを計測し幾何学的なモデルを構築、データグローブのセンサ値を使い指先の位置をＦＫで計算」によって求められる指令値を使うことで、直感的な操作を可能とする（ｇ３１～ｇ３４）。図８は、エンドエフェクタの指部の第２関節の指令値の利用を説明するための図である。
本実施形態では、図８のように、エンドエフェクタ１のＩＫによる位置指令モードにおいて、エンドエフェクタ１の指部の第２関節の指令値を、「操作者毎に指のサイズを計測し幾何学的なモデルを構築、データグローブのセンサ値を使い指先の位置をＦＫで計算」によって求められる指令値を使うことで、直感的な操作を可能とする（ｇ３１～ｇ３４）。図８は、エンドエフェクタの指部の第２関節の指令値の利用を説明するための図である。
【0038】
なお、本実施形態では、ＩＫの収束演算において、第２関節の値をセンサから取得可能な値を拘束条件として与えることで直感的な操作性を向上させた。このように先に答えが与えられるので、本実施形態によれば、収束演算も早くなると考えられる。
【0039】
＜摘まみ動作の実現＞
また、本実施形態では、親指・人差し指・中指による摘まみ動作を可能とするために、以下のキャリブレーションを行う。図９は、摘まみ動作の実現を説明するための図である。
Ａ．実際の人の指姿勢と「操作者毎に指のサイズを計測し幾何学的なモデルを構築、データグローブのセンサ値を使い指先の位置をＦＫで計算した」モデル間の指先位置のオフセットのキャリブレーション（図９の画像ｇ４１）
Ｂ．構築した幾何学的なモデルとエンドエフェクタ１の指先位置のオフセットのキャリブレーション（ｇ４２）
また、本実施形態では、親指・人差し指・中指による摘まみ動作を可能とするために、以下のキャリブレーションを行う。図９は、摘まみ動作の実現を説明するための図である。
Ａ．実際の人の指姿勢と「操作者毎に指のサイズを計測し幾何学的なモデルを構築、データグローブのセンサ値を使い指先の位置をＦＫで計算した」モデル間の指先位置のオフセットのキャリブレーション（図９の画像ｇ４１）
Ｂ．構築した幾何学的なモデルとエンドエフェクタ１の指先位置のオフセットのキャリブレーション（ｇ４２）
【0040】
＜人の姿勢とデータグローブを使った人モデルの姿勢とのキャリブレーション＞
次に、人の姿勢とデータグローブを使った人モデルの姿勢とのキャリブレーションについて説明する。図１０、図１１は、人の姿勢とデータグローブを使った人モデルの姿勢とのキャリブレーションを説明するための図である。
図１０は。実際の作業者による摘まみ姿勢の例である。丸ｇ５１は、共通の目標位置である。ロボットの場合の共通の目標位置は、親指の根元を一致させた後の目標位置である。目標位置は共通だが、キャリブレーションは、まず人ハンドモデルについて行い、次にロボットハンドモデルを行う。すなわちキャリブレーションを別々に行う。これの処理により、オフセットそれぞれがキャンセルされる。
次に、人の姿勢とデータグローブを使った人モデルの姿勢とのキャリブレーションについて説明する。図１０、図１１は、人の姿勢とデータグローブを使った人モデルの姿勢とのキャリブレーションを説明するための図である。
図１０は。実際の作業者による摘まみ姿勢の例である。丸ｇ５１は、共通の目標位置である。ロボットの場合の共通の目標位置は、親指の根元を一致させた後の目標位置である。目標位置は共通だが、キャリブレーションは、まず人ハンドモデルについて行い、次にロボットハンドモデルを行う。すなわちキャリブレーションを別々に行う。これの処理により、オフセットそれぞれがキャンセルされる。
【0041】
図１１を用いて、キャリブレーションについてさらに説明する。本実施形態では、データグローブを使った人モデルの姿勢とロボットモデルの姿勢のキャリブレーションを別々に行う。
画像ｇ５２のように、人モデルのオフセット除去では、センサ値のオフセットと、モデル調整を行う。処理は、人モデルにおいて、目標位置と親指のオフセット（ａ）と、目標位置と人差し指のオフセット（ｂ）と、目標位置と中指のオフセット（ｃ）を除去する。
画像ｇ５３のように、ロボットモデルのオフセット除去では、目標位置と親指のオフセット（ｄ）と、目標位置と人差し指のオフセット（ｅ）と、目標位置と中指のオフセット（ｆ）を除去する。
画像ｇ５２のように、人モデルのオフセット除去では、センサ値のオフセットと、モデル調整を行う。処理は、人モデルにおいて、目標位置と親指のオフセット（ａ）と、目標位置と人差し指のオフセット（ｂ）と、目標位置と中指のオフセット（ｃ）を除去する。
画像ｇ５３のように、ロボットモデルのオフセット除去では、目標位置と親指のオフセット（ｄ）と、目標位置と人差し指のオフセット（ｅ）と、目標位置と中指のオフセット（ｆ）を除去する。
【0042】
ここで、一般的なデータグローブの課題を検討する。遠隔操作等に用いられる一般的なデータグローブには、以下のような課題がある。
課題１．親指との対向姿勢が取れない
・つまみ動作が上手くできない（摘もうと人の指を無理に動かしても、指が干渉する場合がある）
・姿勢のキャリブレーションの問題
課題２．第３関節の姿勢が検出されていない
・第２関節に連動（データグローブで提供されているインターフェースのグラフ表示は第１関節と第２関節の表示しかない）
本実施形態では、課題１に対して摘み姿勢のオフセットキャリブレーションモードをローカルで行う。また、本実施形態では、課題２に対してエンドエフェクタ１の第３関節の連動アルゴリズムでデータグローブの第３関節の角度を定義する。
課題１．親指との対向姿勢が取れない
・つまみ動作が上手くできない（摘もうと人の指を無理に動かしても、指が干渉する場合がある）
・姿勢のキャリブレーションの問題
課題２．第３関節の姿勢が検出されていない
・第２関節に連動（データグローブで提供されているインターフェースのグラフ表示は第１関節と第２関節の表示しかない）
本実施形態では、課題１に対して摘み姿勢のオフセットキャリブレーションモードをローカルで行う。また、本実施形態では、課題２に対してエンドエフェクタ１の第３関節の連動アルゴリズムでデータグローブの第３関節の角度を定義する。
【0043】
本実施形態では、データグローブで推定される指先位置と、エンドエフェクタ１の指先位置を合わせるために、操作者の各指先位置からＩＫでエンドエフェクタ１の各指の関節角度を計算するようにした。
図１２は、シミュレーションによる検証結果の例を示す図である。なお、シミュレーションは、各関節を動かしたとき、利用者の各指先位置から、ＩＫでロボットの各指の関節角度を計算した。図１２において、画像ｇ８１、ｇ８３は、エンドエフェクタ１に対するタスクコマンドからＩＫ、ＩＫからＦＫ、ＦＫからエンドエフェクタ１のタスク後の位置である。画像ｇ８２、ｇ８４は、操作者の関節命令からＦＫ、ＦＫからエンドエフェクタ１に対するタスクコマンドである。
このようなシミュレーションと検証の結果は、誤差の許容範囲を５ｍｍとし、同程度の誤差で動作を確認できた。
図１２は、シミュレーションによる検証結果の例を示す図である。なお、シミュレーションは、各関節を動かしたとき、利用者の各指先位置から、ＩＫでロボットの各指の関節角度を計算した。図１２において、画像ｇ８１、ｇ８３は、エンドエフェクタ１に対するタスクコマンドからＩＫ、ＩＫからＦＫ、ＦＫからエンドエフェクタ１のタスク後の位置である。画像ｇ８２、ｇ８４は、操作者の関節命令からＦＫ、ＦＫからエンドエフェクタ１に対するタスクコマンドである。
このようなシミュレーションと検証の結果は、誤差の許容範囲を５ｍｍとし、同程度の誤差で動作を確認できた。
【0044】
＜エンドエフェクタ制御装置の構成例＞
次に、エンドエフェクタ制御装置２の構成例を説明する。図１３は、本実施形態に係るエンドエフェクタ制御装置の構成例を示す図である。
図１３のように、エンドエフェクタ制御装置２は、撮影部２０１（操作者指長さ測定部）、指サイズ測定部２０２（操作者指長さ測定部）、データ作成部２０３（操作者指長さ測定部）、モデル作成部２０４、取得部２０５（操作者関節角度情報取得部）、感度・オフセット調整部２０６、キャリブレーション部２０７（位置修正部）、ＦＫ処理部２０８（操作者指先位置計算部）、ＩＫ処理部２１０（エンドエフェクタ関節角度導出部）、指示生成部２１１、原点設定部２１２（座標原点設定部）、および選択部２１３（モード選択部）を備える。
次に、エンドエフェクタ制御装置２の構成例を説明する。図１３は、本実施形態に係るエンドエフェクタ制御装置の構成例を示す図である。
図１３のように、エンドエフェクタ制御装置２は、撮影部２０１（操作者指長さ測定部）、指サイズ測定部２０２（操作者指長さ測定部）、データ作成部２０３（操作者指長さ測定部）、モデル作成部２０４、取得部２０５（操作者関節角度情報取得部）、感度・オフセット調整部２０６、キャリブレーション部２０７（位置修正部）、ＦＫ処理部２０８（操作者指先位置計算部）、ＩＫ処理部２１０（エンドエフェクタ関節角度導出部）、指示生成部２１１、原点設定部２１２（座標原点設定部）、および選択部２１３（モード選択部）を備える。
【0045】
エンドエフェクタ１は、多指、力センサ、位置センサ等を備える。なお、エンドエフェクタ１の構成例は後述する。
【0046】
データグローブ３は、エンドエフェクタ１を遠隔操作する際、操作者が手に装着する装置である。データグローブ３は、指の位置や動きを検出するセンサ３１（操作者関節角度情報取得部）を備える。センサ３１は、例えば６軸センサ等である。
【0047】
撮影部２０１は、例えばＣＣＤ（Charge Coupled Device）撮影装置、ＣＭＯＳ（Complementary MOS）撮影装置等である。
【0048】
指サイズ測定部２０２は、上述したように、撮影部２０１が撮影した画像に対して画像処理と学習済みのモデルを用いて、作業者の指のサイズを計測する。なお、撮影部２０１と指サイズ測定部２０２は、外部装置であってもよい。この場合は、外部装置が測定した指サイズをエンドエフェクタ制御装置２に出力するようにしてもよい。
【0049】
データ作成部２０３は、指サイズ測定部２０２が測定した指サイズを、エンドエフェクタ１と同じフォーマットのデータとして作成する。
【0050】
モデル作成部２０４は、データ作成部２０３が作成したデータを用いて、運動学的（kinematics）モデルを作成する。
【0051】
取得部２０５は、操作者が装着しているデータグローブ３からセンサ３１が検出したセンサ値を取得する。取得部２０５は、センサ値に基づいて、操作時の操作者の指の関節角度の情報を取得する。なお、指サイズ測定部２０２が、操作時の操作者の指の関節角度の情報を取得するようにしてもよい。
【0052】
感度・オフセット調整部２０６は、取得部２０５が取得したセンサ値に対して、感度の調整とオフセットの調整を行う。
【0053】
キャリブレーション部２０７は、操作者の手のモデルの各指の指先位置の平均値を取得する。キャリブレーション部２０７は、エンドエフェクタ１の各指の指先位置の平均値を取得する。キャリブレーション部２０７は、実際の人の指姿勢とモデル間の指先位置のオフセットのキャリブレーションを行う。キャリブレーション部２０７は、モデルとエンドエフェクタ１の指先位置のオフセットのキャリブレーションを行う。
なお、キャリブレーション部２０７は、操作者の指先の目標点と、操作者の手のモデルの指先の位置の差を計測し、指先位置指令のオフセットとして操作者モデルのローカル座標原点からみた各指の先端位置を修正するようにしてもよい。また、キャリブレーション部２０７は、操作者の指先の目標点と、エンドエフェクタの指の目標点の位置の差を計測し、指先位置指令のオフセットとして、操作者モデルのローカル座標原点からみた各指の先端位置を修正する位ようにしてもよい。なお、親指と人差し指の摘まみ動作の場合は、両指先位置の中心点を目標位置と設定しても良い。また、両エンドエフェクタの先位置の中心点を目標位置と設定してもよい。
なお、キャリブレーション部２０７は、操作者の指先の目標点と、操作者の手のモデルの指先の位置の差を計測し、指先位置指令のオフセットとして操作者モデルのローカル座標原点からみた各指の先端位置を修正するようにしてもよい。また、キャリブレーション部２０７は、操作者の指先の目標点と、エンドエフェクタの指の目標点の位置の差を計測し、指先位置指令のオフセットとして、操作者モデルのローカル座標原点からみた各指の先端位置を修正する位ようにしてもよい。なお、親指と人差し指の摘まみ動作の場合は、両指先位置の中心点を目標位置と設定しても良い。また、両エンドエフェクタの先位置の中心点を目標位置と設定してもよい。
【0054】
ＦＫ処理部２０８は、モデル作成部２０４が作成したモデルを取得し、感度・オフセット調整部２０６が調整したデータをキャリブレーション部２０７がキャリブレーションした値を用いて、指先の位置をＦＫで算出する。なお、ＦＫ処理部２０８の出力は、操作者の手のモデルの指先位置での指令である。
【0055】
ＩＫ処理部２１０は、ＦＫ処理部２０８が算出した指先位置をロボットへの指令値とし、キャリブレーション部２０７がキャリブレーションしたデータを用いてＩＫでエンドエフェクタ１の関節角度を導出する。なお、ＩＫ処理部２１０の出力は、エンドエフェクタ１の各指部の角度指令である。
【0056】
指示生成部２１１は、エンドエフェクタ１の各指部の角度指令に基づいて、エンドエフェクタ１の制御指令を生成する。
【0057】
原点設定部２１２は、操作者とエンドエフェクタ１それぞれの座標原点（基準点）を設定する。原点設定部２１２は、例えば、データ作成部２０３が作成したデータと、既知のエンドエフェクタ１の寸法等に基づいて、操作者とエンドエフェクタ１それぞれの座標原点を設定する。
【0058】
選択部２１３は、後述するように、エンドエフェクタ１の関節角度を導出するモード（リターゲティング）と、エンドエフェクタ１を搭載したロボットのセンサ情報により操作者の手の姿勢を推定してエンドエフェクタを動かすモードを指ごとに選択する。
【0059】
なお、各部の処理手順等については、後述する。
【0060】
＜エンドエフェクタの構成例＞
図１４は、本実施形態に係るエンドエフェクタの構成例を示す図である。なお、図１４のエンドエフェクタ１は、指部が４つの例であるはが、指部の数は２つ以上であればよい。
エンドエフェクタ１は、指部１０１、指部１０２、指部１０３、指部１０４、基体１１１を備える。エンドエフェクタ１は、アーム１２１に関節を介して接続されている。
図１４は、本実施形態に係るエンドエフェクタの構成例を示す図である。なお、図１４のエンドエフェクタ１は、指部が４つの例であるはが、指部の数は２つ以上であればよい。
エンドエフェクタ１は、指部１０１、指部１０２、指部１０３、指部１０４、基体１１１を備える。エンドエフェクタ１は、アーム１２１に関節を介して接続されている。
【0061】
指部１０１は、例えば人間の親指に相当する。指部１０２は、例えば人間の人差し指に相当する。指部１０３は、例えば人間の中指または薬指に相当する。指部１０４は、例えば人間の薬指に相当する。各指部は、節、および関節を備える。基体１１１は、人間手の甲、手の平に相当する位置を含む。指部１０１～１０４は、基体１１１に接続されている。
【0062】
＜指サイズ計測、モデル作成処理＞
次に、撮影部２０１、指サイズ測定部２０２、データ作成部２０３、モデル作成部２０４が行う処理手順例を説明する。なお、これらの処理は、遠隔操作前に行う。図１５は、本実施形態に係る指サイズ計測とモデル作成処理手順のフローチャートである。
次に、撮影部２０１、指サイズ測定部２０２、データ作成部２０３、モデル作成部２０４が行う処理手順例を説明する。なお、これらの処理は、遠隔操作前に行う。図１５は、本実施形態に係る指サイズ計測とモデル作成処理手順のフローチャートである。
【0063】
（ステップＳ１０１）作業者は、遠隔操作を行う方の手の人差し指の第１リンクの実際の長さをエンドエフェクタ制御装置２に入力する。なお、エンドエフェクタ制御装置２は、不図示の入力装置（例えばキーボードまたはタッチパネルセンサ等）を備え、作業者からの入力を取得する。
【0064】
（ステップＳ１０２）エンドエフェクタ制御装置２は、学習済みのハンドの画像処理モデルを用いたモーションキャプチャーシステムを起動する。撮影部２０１は、作業者の手を含む画像を撮影する。
【0065】
（ステップＳ１０３）指サイズ測定部２０２は、関節位置情報の平均値を取得する。
【0066】
（ステップＳ１０４）指サイズ測定部２０２は、関節位置情報から各リンク長さを推定する。
【0067】
（ステップＳ１０５）データ作成部２０３は、入力された人差し指の第１リンク長さと、測定された計測値と、推定された各リンクの推定値とから、全てのリンク長さをスケーリングする。
【0068】
（ステップＳ１０６）データ作成部２０３は、入力された人差し指の第１リンク長さと、測定された計測値と、推定された各リンクの推定値とから、各指の根元の位置をスケーリングする。
【0069】
（ステップＳ１０７）データ作成部２０３は、例えばロボット定義ファイルで読み込み可能なフォーマットでデータを作成する。モデル作成部２０４は、測定されたデータに基づいて運動学的モデルを作成する。
【0070】
＜キャリブレーション処理＞
次に、キャリブレーション部２０７が行う処理手順例を説明する。図１６は、本実施形態に係るキャリブレーション部が行う処理手順を示す図である。なお、以下の処理は、作業者が摘まむ作業を行う例である。
次に、キャリブレーション部２０７が行う処理手順例を説明する。図１６は、本実施形態に係るキャリブレーション部が行う処理手順を示す図である。なお、以下の処理は、作業者が摘まむ作業を行う例である。
【0071】
（ステップＳ２０１）データグローブ３のセンサ３１は、作業者が摘まむ姿勢をした際のセンサ値を検出する。
【0072】
（ステップＳ２０２）キャリブレーション部２０７は、操作者の手のモデルの各指の指先位置の平均値Ｘ［ｉ］を取得する。なお、キャリブレーション部２０７は、例えば、ステップＳ２０２～Ｓ２０５の処置と、ステップＳ２０６の処理を並列で行う。また、キャリブレーション部２０７は、例えば、ステップＳ２０２～Ｓ２０４の処置と、ステップＳ２１０の処理を並列で行う。
【0073】
（ステップＳ２０３）キャリブレーション部２０７は、操作者の手のモデルの各指の指先位置の平均値から中心点Ｃｐを導出する。
【0074】
（ステップＳ２０４）キャリブレーション部２０７は、中心点Ｃｐから各指の摘まみの位置を指定（Ｙ［ｉ］＝Ｃｐ＋ｏｆｆｓｅｔ）する。
【0075】
（ステップＳ２０５）キャリブレーション部２０７は、ＩＫによって中心点Ｃｐから各指の摘まみの位置ｑｙ［ｉ］を算出する。
【0076】
（ステップＳ２０６）キャリブレーション部２０７は、ＩＫによって各指の指先の位置の平均値ｑｘ［ｉ］を算出する。
【0077】
（ステップＳ２０７）キャリブレーション部２０７は、中心点Ｃｐから各指の摘まみの位置ｑｙ［ｉ］から、各指の指先の位置の平均値ｑｘ［ｉ］を減算する。
【0078】
（ステップＳ２０８）キャリブレーション部２０７は、中心点Ｃｐから各指の摘まみの位置ｑｙ［ｉ］から、各指の指先の位置の平均値ｑｘ［ｉ］を減算されたデータを用いて、人モデル（操作者モデル）のオフセットのキャリブレーションデータを作成する。
【0079】
（ステップＳ２０９）キャリブレーション部２０７は、作成したデータを用いて人モデルのオフセットのキャリブレーションを行う。キャリブレーション部２０７は、処理後、処理を終了する。
【0080】
（ステップＳ２１０）キャリブレーション部２０７は、エンドエフェクタ１の各指の指先位置の平均値Ｚ［ｉ］を取得する。
【0081】
（ステップＳ２１１）キャリブレーション部２０７は、中心点Ｃｐから各指の摘まみの位置から、エンドエフェクタ１の各指の指先位置の平均値Ｚ［ｉ］を減算する。なお、人モデル－エンドエフェクタのオフセットのキャリブレーションデータは、位置データに相当する。
【0082】
（ステップＳ２１２）キャリブレーション部２０７は、人モデル－エンドエフェクタのオフセットのキャリブレーションデータを作成する。
【0083】
（ステップＳ２１３）キャリブレーション部２０７は、作成したデータを用いて人モデル－エンドエフェクタのオフセットのキャリブレーションを行う。キャリブレーション部２０７は、処理後、処理を終了する。
【0084】
＜ＩＫ処理部の処理手順＞
次に、ＩＫ処理部２１０が行う処理手順例を、図１７～図１９を用いて説明する。
図１７は、遠隔操作でエンドエフェクタにプルタブを摘まむ作業時を説明するための図である。画像ｇ１０１は、エンドエフェクタ１がプルタブを摘まむ際の指部１０２の指先の位置ｇ１１１と第２関節の位置ｇ１１２とＭＰ関節の位置ｇ１１３を示す。画像ｇ１０３は、データグローブで遠隔操作の指示の際の人差し指の第２関節の位置ｇ１２２とＭＰ関節の位置ｇ１２３を示す。画像ｇ１０２は、エンドエフェクタ１のセンサ値により位置、指令値による位置等の関係を示す。なお、上述したように、ＩＫ処理部２１０（操作者関節角度情報取得部）は、ＩＫ処理によって操作者の指の関節角度の情報を導入、すなわち取得する。
次に、ＩＫ処理部２１０が行う処理手順例を、図１７～図１９を用いて説明する。
図１７は、遠隔操作でエンドエフェクタにプルタブを摘まむ作業時を説明するための図である。画像ｇ１０１は、エンドエフェクタ１がプルタブを摘まむ際の指部１０２の指先の位置ｇ１１１と第２関節の位置ｇ１１２とＭＰ関節の位置ｇ１１３を示す。画像ｇ１０３は、データグローブで遠隔操作の指示の際の人差し指の第２関節の位置ｇ１２２とＭＰ関節の位置ｇ１２３を示す。画像ｇ１０２は、エンドエフェクタ１のセンサ値により位置、指令値による位置等の関係を示す。なお、上述したように、ＩＫ処理部２１０（操作者関節角度情報取得部）は、ＩＫ処理によって操作者の指の関節角度の情報を導入、すなわち取得する。
【0085】
なお、以下の処理は、作業者が摘まむ作業を行う例である。以下の処理例は、図１４に示したようにエンドエフェクタ１が４つの指部を備える場合の例である。図１８は、実施形態に係るＩＫ処理部が行う処理手順のフローチャートである。
【0086】
（ステップＳ２４１）ＩＫ処理部２１０は、現在の指先位置を取得する。
【0087】
（ステップＳ２４２～Ｓ２４７）ＩＫ処理部２１０は、ステップＳ２０３～Ｓ２０７の収束演算を全ての指の目標位置と現在位置との誤差が閾値より小さくなるまで収束演算を繰り返す。なお、ＩＫ処理部２１０は、収束演算の回数が設定値に達した際に収束演算を終了し、次の指令値に対する収束演算を開始する。
【0088】
（ステップＳ２４３）ＩＫ処理部２１０は、親指に対応するＩＫ処理ブロックの処理を行う。
【0089】
（ステップＳ２４４）ＩＫ処理部２１０は、人差し指に対応するＩＫ処理ブロックの処理を行う。
【0090】
（ステップＳ２４５）ＩＫ処理部２１０は、中指に対応するＩＫ処理ブロックの処理を行う。
【0091】
（ステップＳ２４６）ＩＫ処理部２１０は、薬指に対応するＩＫ処理ブロックの処理を行う。
【0092】
（ステップＳ２４７）ＩＫ処理部２１０は、ＦＫ処理を行う。
【0093】
【0094】
（ステップＳ２２１）ＩＫ処理部２１０は、親指のＩＫモードがオン状態であり、かつ誤差Ｘがしきい値より大きいか否かを判別する。ＩＫ処理部２１０は、親指のＩＫモードがオン状態であり、かつ誤差Ｘがしきい値より大きい場合（ステップＳ２２１；ＹＥＳ）、ステップＳ２２２の処理に進める。ＩＫ処理部２１０は、親指のＩＫモードがオフ状態、または傘Ｘがしきい値以下である場合（ステップＳ２２１；ＮＯ）、親指のＩＫ処理をスキップして処理を終了する。このように、本実施形態では、目標位置との誤差が閾値より小さい指のＩＫの計算がスキップされる。
【0095】
（ステップＳ２２２）ＩＫ処理部２１０は、親指に対応するＩＫ処理を行う。
【0096】
（ステップＳ２２３）ＩＫ処理部２１０は、しきい値が誤差Ｘより大きくなく、親指のＩＫモードがオフ状態ではない場合に、親指のＩＫモードをオン状態にする。
【0097】
【0098】
（ステップＳ２３１）ＩＫ処理部２１０は、親指の指先位置を取得する。
【0099】
（ステップＳ２３２～Ｓ２３４）ＩＫ処理部２１０は、ステップＳ２３２～Ｓ２３４の処理を繰り返す。
【0100】
（ステップＳ２３２）ＩＫ処理部２１０は、式（２）、式（３）の疑似逆行列演算を行う。
【0101】
（ステップＳ２３３）ＩＫ処理部２１０は、２Ｙジョイントの値をエンドエフェクタ１のセンサ値を使った人モデルの関節角度で上書きする。
【0102】
（ステップＳ２３４）ＩＫ処理部２１０は、ＦＫ処理を行う。
【0103】
（ステップＳ２３５）ＩＫ処理部２１０は、エンドエフェクタ１に対する関節角度指令を生成する。
【0104】
＜ＦＫ処理＞
次に、ＦＫ処理部２０８が行う処理例を説明する。
図２１は、ＦＫ処理における座標系を示す図である。画像ｇ２０１は、ｘ軸方向、ｚ軸方向、基準点の角度θｒ０ｚ（＝可変）、機械的オフセットを示す。画像ｇ２０２は、各関節の回転方向、リンク間の角度（θｒ１ｚ、θｒ１ｚ、θｒ１ｘ（＝可変）、θｒ２Ｙ、θｒ３Ｙ）を示す。
次に、ＦＫ処理部２０８が行う処理例を説明する。
図２１は、ＦＫ処理における座標系を示す図である。画像ｇ２０１は、ｘ軸方向、ｚ軸方向、基準点の角度θｒ０ｚ（＝可変）、機械的オフセットを示す。画像ｇ２０２は、各関節の回転方向、リンク間の角度（θｒ１ｚ、θｒ１ｚ、θｒ１ｘ（＝可変）、θｒ２Ｙ、θｒ３Ｙ）を示す。
【0105】
同時回転行列は、ｘ軸周りに角度θ回転が次式（４）であり、ｙ軸周りに角度θ回転が次式（５）であり、ｚ軸周りに角度θ回転が次式（６）であり、ｘ軸周りにｄ並進移動が次式（７）であり、ｙ軸周りにｄ並進移動が次式（８）であり、ｚ軸周りにｄ並進移動が次式（９）である。
【0106】
【数4】
【0107】
【数5】
【0108】
【数6】
【0109】
【数7】
【0110】
【数8】
【0111】
【数9】
【0112】
ＦＫ処理で用いる変換行列の例として、親指を例に説明する。
回転行列Ｔｂａｓｅは次式（１０）であり、回転行列（Ｔｂａｓｅ）１Ｚは次式（１１）であり、回転行列（Ｔ１Ｚ）１Ｙは次式（１２）であり、行列（Ｔ１Ｙ）１Ｘは次式（１３）であり、回転行列（Ｔ１Ｘ）２Ｙは次式（１４）であり、回転行列（Ｔ２Ｙ）３Ｙは次式（１５）であり、回転行列（Ｔ３Ｙ）Ｆｉｎｇｅｒｔｉｐは次式（１６）である。
回転行列Ｔｂａｓｅは次式（１０）であり、回転行列（Ｔｂａｓｅ）１Ｚは次式（１１）であり、回転行列（Ｔ１Ｚ）１Ｙは次式（１２）であり、行列（Ｔ１Ｙ）１Ｘは次式（１３）であり、回転行列（Ｔ１Ｘ）２Ｙは次式（１４）であり、回転行列（Ｔ２Ｙ）３Ｙは次式（１５）であり、回転行列（Ｔ３Ｙ）Ｆｉｎｇｅｒｔｉｐは次式（１６）である。
【0113】
【数10】
【0114】
【数11】
【0115】
【数12】
【0116】
【数13】
【0117】
【数14】
【0118】
【数15】
【0119】
【数16】
【0120】
上記の式（１０）～（１６）の回転行列を用いて、基準点から各指先の式は、次式（１７）のように表すことができる。
【0121】
【数17】
【0122】
【0123】
図２２は、人モデルの基準点と親指の根元位置、ロボット座標における基準点と親指の根元位置を示す図である。
画像ｇ３００は、人モデルのハンド座標系の基準点（原点）ｇ３０１と、人モデルのハンド座標系の基準点からみた親指の根元位置の根元位置（Ｘｈ＿ｔｂ）ｇ３０２と、人モデルのハンド座標系の基準点からみた各指の指先位置（Ｘｈ＿ｆｔ）ｇ３０３を示している。
画像ｇ３１０は、エンドエフェクタ１のロボット座標系の基準点（原点）ｇ３１１と、エンドエフェクタ１のロボット座標系の基準点からみた親指の根元位置の根元位置（Ｘｒ＿ｔｂ）ｇ３１２と、エンドエフェクタ１のハンド座標系の基準点からみた各指部の指先位置（Ｘｒ＿ｆｔ）ｇ３１３を示している。
画像ｇ３００は、人モデルのハンド座標系の基準点（原点）ｇ３０１と、人モデルのハンド座標系の基準点からみた親指の根元位置の根元位置（Ｘｈ＿ｔｂ）ｇ３０２と、人モデルのハンド座標系の基準点からみた各指の指先位置（Ｘｈ＿ｆｔ）ｇ３０３を示している。
画像ｇ３１０は、エンドエフェクタ１のロボット座標系の基準点（原点）ｇ３１１と、エンドエフェクタ１のロボット座標系の基準点からみた親指の根元位置の根元位置（Ｘｒ＿ｔｂ）ｇ３１２と、エンドエフェクタ１のハンド座標系の基準点からみた各指部の指先位置（Ｘｒ＿ｆｔ）ｇ３１３を示している。
【0124】
人モデルの座標原点からみた人モデルの指先位置を、エンドエフェクタ１に指示した場合、エンドエフェクタ１の指部の姿勢は、人と大きく異なる場合がある。
例えば、操作者が自然な摘まみ動作をした場合、エンドエフェクタ１の摘まみ位置が手のひらに近すぎたり、遠すぎたりして姿勢が取れない。
例えば、図２３の画像ｇ３２０ように、同じ指先位置を指令すると、座標系の基準点が一致しない。また、図２３の画像ｇ３３０ように、同じ指先位置を指令し、座標系の基準点を一致させると指の根元の位置がずれ、姿勢が取れない場合がある。図２３は、人モデルの基準点と親指の根元位置、ロボット座標における基準点と親指の根元位置の関係を説明するための図である。
例えば、操作者が自然な摘まみ動作をした場合、エンドエフェクタ１の摘まみ位置が手のひらに近すぎたり、遠すぎたりして姿勢が取れない。
例えば、図２３の画像ｇ３２０ように、同じ指先位置を指令すると、座標系の基準点が一致しない。また、図２３の画像ｇ３３０ように、同じ指先位置を指令し、座標系の基準点を一致させると指の根元の位置がずれ、姿勢が取れない場合がある。図２３は、人モデルの基準点と親指の根元位置、ロボット座標における基準点と親指の根元位置の関係を説明するための図である。
【0125】
指先で作業を行うという観点で考えると、人とエンドエフェクタ１の指の付け根を一致させた方が、作業性が良く、姿勢に無理がない。
すなわち、人が細かい作業を行う際に、親指と人差し指の動きと姿勢が支配的であると考えると、人とロボットの親指もしくは人差し指の付け根を一致させる方が効果的である。
また、一般的に、人差し指の先端は大きく親指の根元側に曲がることができ、親指は人差し指ほど前方に動かすことができない。
すなわち、人が細かい作業を行う際に、親指と人差し指の動きと姿勢が支配的であると考えると、人とロボットの親指もしくは人差し指の付け根を一致させる方が効果的である。
また、一般的に、人差し指の先端は大きく親指の根元側に曲がることができ、親指は人差し指ほど前方に動かすことができない。
【0126】
このため、本実施形態では、人モデルとエンドエフェクタ１の親指の根元位置を一致させることにした。本実施形態では、例えば、図２３の画像ｇ３４０ように、親指の根元を一致するように指令値を修正することで、同じような姿勢となり、直感的な操作を可能にできる。
【0127】
なお、エンドエフェクタ１のハンド座標系の基準点からみた各指部の指先位置（Ｘｒ＿ｆｔ）は、次式（１８）のように求めることができる。
【0128】
【数18】
【0129】
図２４、図２５は、親指の根元位置を一致させた場合の指先までのリンクの推移例を示す図である。図２４、図２５において、時系列順は、画像ｇ３５０、ｇ３６０、ｇ３７０、ｇ３８０の順である。
なお、図２４、図２５に示した遷移図は一例であり、これに限らない。
なお、図２４、図２５に示した遷移図は一例であり、これに限らない。
【0130】
以上のように、本実施形態では、以下の処理を行うようにした。
・操作者の指のサイズを計測するシステムを構築して、操作者毎に指のキネマティクスモデルを構築する。
・ＩＫによるリターゲッティングのアルゴリズムの構築し、タスクスペースで人の指先の位置指令からロボットの指先の位置へと変換するアルゴリズムを構築する。
・ロボットと人のモデルの差により生じる指先位置の誤差を、キャリブレーションを行うアルゴリズムにより修正する。
・操作者による直感的なロボット多指ハンドの操作を行うこととＩＫの演算負荷を低減するために、指ごとにＩＫによる関節角度指令モードとデバイスによる関節角度指令モードをタクソノミーをベースに選択可能とする。
・操作者による直感的なロボット多指ハンドの操作を行うこととＩＫの演算負荷を低減するために、各関節のＩＫの収束演算結果の第２関節の角度指令値をデバイスにより検出されるダイレクトな角度情報で上書きする。
・操作者の指のサイズを計測するシステムを構築して、操作者毎に指のキネマティクスモデルを構築する。
・ＩＫによるリターゲッティングのアルゴリズムの構築し、タスクスペースで人の指先の位置指令からロボットの指先の位置へと変換するアルゴリズムを構築する。
・ロボットと人のモデルの差により生じる指先位置の誤差を、キャリブレーションを行うアルゴリズムにより修正する。
・操作者による直感的なロボット多指ハンドの操作を行うこととＩＫの演算負荷を低減するために、指ごとにＩＫによる関節角度指令モードとデバイスによる関節角度指令モードをタクソノミーをベースに選択可能とする。
・操作者による直感的なロボット多指ハンドの操作を行うこととＩＫの演算負荷を低減するために、各関節のＩＫの収束演算結果の第２関節の角度指令値をデバイスにより検出されるダイレクトな角度情報で上書きする。
【0131】
これにより、本実施形態によれば、以下のような効果を得ることができる。
・操作者の指のサイズを計測するシステムの構築することで、操作者毎の詳細な指のキネマティクスモデルを構築することが可能となった。
・ＩＫによるリターゲッティングのアルゴリズムの構築し、タスクスペースで人の指先の位置指令からロボットの指先の位置へと変換するアルゴリズムの構築を行い、人とロボット間で機構とサイズが異なっても、正確に各指先位置を指示することが可能となった。
・ロボットと人のモデルの差により生じる指先位置の誤差が生じていても、操作者の摘まみ姿勢でキャリブレーションを行うことで、ロボットの摘まみ姿勢指令時における位置のズレをリセットすることが可能となった。
・指ごとにＩＫによる関節角度指令モードとデバイスによる関節角度指令モードをタクソノミーをベースに選択可能とすることで、操作者による直感的なロボット多指ハンドの操作を行うことが可能となった。
・指ごとにＩＫによる関節角度指令モードとデバイスによる関節角度指令モードをタクソノミーをベースに選択可能とすることで、ＩＫの演算負荷を低減することが可能となった。
・各関節のＩＫの収束演算結果の第２関節の角度指令値を、デバイスにより検出されるダイレクトな角度情報で上書きすることで、ＩＫの収束演算の高速化の効果が得られた。
・第２関節の動き、スピード、加減速が直感的な指の動きの効果に支配的であると定義を行い、各関節のＩＫの収束演算結果の第２関節の角度指令値を、デバイスにより検出されるダイレクトな角度情報で上書きすることで、操作者の直感的な多指ハンドの関節角度指示を行うことが可能となった。
・操作者の指のサイズを計測するシステムの構築することで、操作者毎の詳細な指のキネマティクスモデルを構築することが可能となった。
・ＩＫによるリターゲッティングのアルゴリズムの構築し、タスクスペースで人の指先の位置指令からロボットの指先の位置へと変換するアルゴリズムの構築を行い、人とロボット間で機構とサイズが異なっても、正確に各指先位置を指示することが可能となった。
・ロボットと人のモデルの差により生じる指先位置の誤差が生じていても、操作者の摘まみ姿勢でキャリブレーションを行うことで、ロボットの摘まみ姿勢指令時における位置のズレをリセットすることが可能となった。
・指ごとにＩＫによる関節角度指令モードとデバイスによる関節角度指令モードをタクソノミーをベースに選択可能とすることで、操作者による直感的なロボット多指ハンドの操作を行うことが可能となった。
・指ごとにＩＫによる関節角度指令モードとデバイスによる関節角度指令モードをタクソノミーをベースに選択可能とすることで、ＩＫの演算負荷を低減することが可能となった。
・各関節のＩＫの収束演算結果の第２関節の角度指令値を、デバイスにより検出されるダイレクトな角度情報で上書きすることで、ＩＫの収束演算の高速化の効果が得られた。
・第２関節の動き、スピード、加減速が直感的な指の動きの効果に支配的であると定義を行い、各関節のＩＫの収束演算結果の第２関節の角度指令値を、デバイスにより検出されるダイレクトな角度情報で上書きすることで、操作者の直感的な多指ハンドの関節角度指示を行うことが可能となった。
【0132】
なお、本発明におけるエンドエフェクタ制御装置２の機能の全てまたは一部を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによりエンドエフェクタ制御装置２が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
【0133】
また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
【0134】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。
【符号の説明】
【0135】
１…エンドエフェクタ、２…エンドエフェクタ制御装置、２０１…撮影部、２０２…指サイズ測定部、２０３…データ作成部、２０４…モデル作成部、２０５…取得部、２０６…感度・オフセット調整部、２０７…キャリブレーション部、２０８…ＦＫ処理部、２１０…ＩＫ処理部、２１１…指示生成部、２１２…原点設定部、２１３…選択部、３…データグローブ、３１…センサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】