特開 2024-48686 物体把持方法、プログラム、および物体把持制御装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024048686

(43)【公開日】2024-04-09

(54)【発明の名称】物体把持方法、プログラム、および物体把持制御装置

(51)【国際特許分類】

   B25J 15/08 20060101AFI20240402BHJP

【ＦＩ】

B25J15/08 Z

【審査請求】未請求

【請求項の数】9

【出願形態】ＯＬ

(21)【出願番号】P 2022154741

(22)【出願日】2022-09-28

(71)【出願人】

【識別番号】000005326

【氏名又は名称】本田技研工業株式会社

(74)【代理人】

【識別番号】100165179

【弁理士】

【氏名又は名称】田▲崎▼ 聡

(74)【代理人】

【識別番号】100126664

【弁理士】

【氏名又は名称】鈴木 慎吾

(74)【代理人】

【識別番号】100154852

【弁理士】

【氏名又は名称】酒井 太一

(74)【代理人】

【識別番号】100194087

【弁理士】

【氏名又は名称】渡辺 伸一

(72)【発明者】

【氏名】長谷川 忠明

(72)【発明者】

【氏名】義平 真規

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707ES05

3C707ES06

3C707ES07

3C707KS03

3C707KS04

3C707KS17

3C707KS20

3C707KS33

3C707KT03

3C707LT12

3C707LV07

3C707MT05

(57)【要約】

【課題】多自由度ハンドによる把持後の対象物操作を、測定誤差に対してロバストで、安定に実現できる物体把持方法、プログラム、および物体把持制御装置を提供することを目的とする。
【解決手段】物体把持方法は、複数の指を有するエンドエフェクタが取ることが可能な複数の把持姿勢のそれぞれについて、エンドエフェクタによって把持操作されることが想定される対象物を把持する際の把持中心座標系を決定する工程と、決定した把持中心座標系から初期指先位置を決定する工程と、エンドエフェクタによって初期指先位置で対象物を把持するように指示し、対象物を把持する工程と、把持中心座標系に対してエンドエフェクタの指先位置を固定する工程と、所望の対象物の操作量に応じて把持中心座標系の操作量を決定し、把持中心座標系の操作によって対象物を操作する工程と、を含む。
【選択図】図１１

【特許請求の範囲】

【請求項1】

複数の指を有するエンドエフェクタが取ることが可能な複数の把持姿勢のそれぞれについて、前記エンドエフェクタによって把持操作されることが想定される対象物を把持する際の把持中心座標系を決定する工程と、
決定した前記把持中心座標系から初期指先位置を決定する工程と、
前記エンドエフェクタによって前記初期指先位置で対象物を把持するように指示し、前記対象物を把持する工程と、
前記把持中心座標系に対して前記エンドエフェクタの指先位置を固定する工程と、
所望の前記対象物の操作量に応じて前記把持中心座標系の操作量を決定し、前記把持中心座標系の操作によって前記対象物を操作する工程と、
を含む物体把持方法。

【請求項2】

前記対象物を操作する際に指先が動いてしまった場合は、前記指先の位置に応じて前記把持中心座標系を更新する、
請求項１に記載の物体把持方法。

【請求項3】

前記初期指先位置は、前記対象物を操作する際の把持中心座標系の変動が小さくなるように決定する、
請求項１に記載の物体把持方法。

【請求項4】

前記対象物を移動させる場合は、前記対象物の計測された姿勢に基づく計測物体位置と、前記対象物を移動させる先の目標位置である目標物体位置とのズレを積分した値を用いて前記エンドエフェクタを制御する、
請求項１または請求項２に記載の物体把持方法。

【請求項5】

前記エンドエフェクタが備える複数の指のうち３つの指を用いて前記対象物を把持する場合、前記把持中心座標系における把持中心位置は、前記エンドエフェクタが備える複数の指の指先中心を結ぶ三角形の外接円の中心、または前記エンドエフェクタが備える複数の指の指先中心を結ぶ三角形の重心とする、
請求項１または請求項２に記載の物体把持方法。

【請求項6】

前記エンドエフェクタが備える人差し指と中指の間隔が所定の間隔より狭い場合に、複数の指の指先中心を結ぶ三角形の外接円の中心を選択し、
前記エンドエフェクタが備える人差し指と中指の間隔が前記所定の間隔より広い場合に複数の指の指先中心を結ぶ三角形の重心を選択する、
請求項５に記載の物体把持方法。

【請求項7】

前記エンドエフェクタが備える複数の指のうち人差し指と手のひらを用いて把持する場合、前記把持中心座標系における把持中心位置は、前記手のひら基準点の垂線と前記人差し指の指先がなす直角三角形の外接円の中心とする、
請求項１または請求項２に記載の物体把持方法。

【請求項8】

コンピュータに、
複数の指を有するエンドエフェクタが取ることが可能な複数の把持姿勢のそれぞれについて、前記エンドエフェクタによって把持操作されることが想定される対象物を把持する際の把持中心座標系を決定させ、
決定した前記把持中心座標系から初期指先位置を決定させ、
前記エンドエフェクタによって前記初期指先位置で対象物を把持するように指示し、前記対象物を把持させ、
前記把持中心座標系に対して前記エンドエフェクタの指先位置を固定させ、
所望の前記対象物の操作量に応じて前記把持中心座標系の操作量を決定させ、前記把持中心座標系の操作によって前記対象物を操作させる、
を実行させるプログラム。

【請求項9】

複数の指を有するエンドエフェクタが取ることが可能な複数の把持姿勢のそれぞれについて、前記エンドエフェクタによって把持操作されることが想定される対象物を把持する際の把持中心座標系を決定し、決定した前記把持中心座標系から初期指先位置を決定する実位置補正部と、
前記エンドエフェクタによって前記初期指先位置で対象物を把持するように指示し、前記対象物を把持させ、前記把持中心座標系に対して前記エンドエフェクタの指先位置を固定させ、所望の前記対象物の操作量に応じて前記把持中心座標系の操作量を決定し、前記把持中心座標系の操作によって前記対象物を操作するハンド制御部と、
を備える物体把持制御装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、物体把持方法、プログラム、および物体把持制御装置に関する。

【背景技術】

【0002】

エンドエフェクタを有するロボットに作業を行わせる場合は、例えば、ロボットの頭部に取り付けられたカメラで撮影した画像から対象物体の状態を推定し、推定した対象物体の状態から求まる手首位置をターゲットとして移動させる制御手法が提案されている（例えば特許文献１参照）。把持作業では、例えば、把持後、把持した対象物位置をエンドエフェクタ位置として操作し、対象物に対して指先位置を固定し、所望の対象物位置での指先位置を算出し、そこに向けて指先位置を制御する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－６６６３２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

把持作業では、例えば、最初にあたった指によって対象物が動いてしまう、事前に操作の際の角度余裕が大きい姿勢を取らせることが難しかった。また、把持作業では、動作上の制約があったときに、把持の幾何学的（位置関係、力のつり合い）を保ちながら対象物の位置だけ動かす、もしくは姿勢だけ動かすといったことがやりにくかった。さらに把持作業では、対象物位置をもとに力のつり合いを考えると、位置計測誤差などによって受動性が担保できなくなる可能性がある。しかしながら、特許文献１に記載の技術では、これらの課題を解決できなかった。

【0005】

本発明は、上記の問題点に鑑みてなされたものであって、多自由度ハンドによる把持後の対象物操作を、測定誤差に対してロバストで、安定に実現できる物体把持方法、プログラム、および物体把持制御装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

（１）上記目的を達成するため、本発明の一態様に係る物体把持方法は、複数の指を有するエンドエフェクタが取ることが可能な複数の把持姿勢のそれぞれについて、前記エンドエフェクタによって把持操作されることが想定される対象物を把持する際の把持中心座標系を決定する工程と、決定した前記把持中心座標系から初期指先位置を決定する工程と、前記エンドエフェクタによって前記初期指先位置で対象物を把持するように指示し、前記対象物を把持する工程と、前記把持中心座標系に対して前記エンドエフェクタの指先位置を固定する工程と、所望の前記対象物の操作量に応じて前記把持中心座標系の操作量を決定し、前記把持中心座標系の操作によって前記対象物を操作する工程と、を含む物体把持方法である。

【0007】

（２）また、本発明の一態様に係る物体把持方法は、前記対象物を操作する際に指先が動いてしまった場合は、前記指先の位置に応じて前記把持中心座標系を更新する、（１）に記載の物体把持方法である。

【0008】

（３）また、本発明の一態様に係る物体把持方法は、前記初期指先位置は、前記対象物を操作する際の把持中心座標系の変動が小さくなるように決定する、（１）に記載の物体把持方法である。

【0009】

（４）また、本発明の一態様に係る物体把持方法は、前記対象物を移動させる場合は、前記対象物の計測された姿勢に基づく計測物体位置と、前記対象物を移動させる先の目標位置である目標物体位置とのズレを積分した値を用いて前記エンドエフェクタを制御する、（１）から（４）のうちのいずれか１つに記載の物体把持方法である。

【0010】

（５）また、本発明の一態様に係る物体把持方法は、前記エンドエフェクタが備える複数の指のうち３つの指を用いて前記対象物を把持する場合、前記把持中心座標系における把持中心位置は、前記エンドエフェクタが備える複数の指の指先中心を結ぶ三角形の外接円の中心、または前記エンドエフェクタが備える複数の指の指先中心を結ぶ三角形の重心とする、（１）から（４）のうちのいずれか１つに記載の物体把持方法である。

【0011】

（６）また、本発明の一態様に係る物体把持方法は、前記エンドエフェクタが備える人差し指と中指の間隔が所定の間隔より狭い場合に、複数の指の指先中心を結ぶ三角形の外接円の中心を選択し、前記エンドエフェクタが備える人差し指と中指の間隔が前記所定の間隔より広い場合に複数の指の指先中心を結ぶ三角形の重心を選択する、（５）に記載の物体把持方法である。

【0012】

（７）また、本発明の一態様に係る物体把持方法は、前記エンドエフェクタが備える複数の指のうち人差し指と手のひらを用いて把持する場合、前記把持中心座標系における把持中心位置は、前記手のひら基準点の垂線と前記人差し指の指先がなす直角三角形の外接円の中心とする、（１）から（６）のうちのいずれか１つに記載の物体把持方法である。

【0013】

（８）上記目的を達成するため、本発明の一態様に係るプログラムは、コンピュータに、複数の指を有するエンドエフェクタが取ることが可能な複数の把持姿勢のそれぞれについて、前記エンドエフェクタによって把持操作されることが想定される対象物を把持する際の把持中心座標系を決定させ、決定した前記把持中心座標系から初期指先位置を決定させ、前記エンドエフェクタによって前記初期指先位置で対象物を把持するように指示し、前記対象物を把持させ、前記把持中心座標系に対して前記エンドエフェクタの指先位置を固定させ、所望の前記対象物の操作量に応じて前記把持中心座標系の操作量を決定させ、前記把持中心座標系の操作によって前記対象物を操作させる、を実行させるプログラムである。

【0014】

（９）上記目的を達成するため、本発明の一態様に係る物体把持制御装置は、複数の指を有するエンドエフェクタが取ることが可能な複数の把持姿勢のそれぞれについて、前記エンドエフェクタによって把持操作されることが想定される対象物を把持する際の把持中心座標系を決定し、決定した前記把持中心座標系から初期指先位置を決定する実位置補正部と、前記エンドエフェクタによって前記初期指先位置で対象物を把持するように指示し、前記対象物を把持させ、前記把持中心座標系に対して前記エンドエフェクタの指先位置を固定させ、所望の前記対象物の操作量に応じて前記把持中心座標系の操作量を決定し、前記把持中心座標系の操作によって前記対象物を操作するハンド制御部と、を備える物体把持制御装置である。

【発明の効果】

【0015】

（１）～（９）によれば、多自由度ハンドによる把持後の対象物操作を、測定誤差に対してロバストで、安定に実現できる。

【図面の簡単な説明】

【0016】

【図1】把持動作における問題例を説明するための図である。

【図2】ＧＲＡＳＰ分類法による把持の分類例を示す図である。

【図3】実施形態に係る物体把持システムの構成例を示す図である。

【図4】実施形態に係るエンドエフェクタの構成例を示す図である。

【図5】精密把持における３つの指の指先中心を結ぶ三角形の外接円の中心を把持中心位置として計算方法例を説明するための図である。

【図6】精密把持における３つの指の指先中心を結ぶ三角形の重心を把持中心位置として計算方法例を説明するための図である。

【図7】パワー把持における把持中心の計算方法を説明するための図である。

【図8】把持対象位置ズレに対するロバスト性を説明するための図である。

【図9】指の位置を切り替えた場合について説明するための図である。

【図10】実施形態に係る把持対象の位置がズレた場合の制御について説明するための図である。

【図11】実施形態に係る物体把持制御装置が行う制御処理手順例のフローチャートである。

【図12】実施形態に係る物体把持制御装置が行う指角度指令値の生成処理手順例のフローチャートである。

【図13】実施形態の手法で対象物を把持して作業を行っている状態を示す図である。

【図14】実施形態の手法で対象物を把持して作業を行っている状態を示す図である。

【発明を実施するための形態】

【0017】

以下、本発明の実施の形態について図面を参照しながら説明する。なお、以下の説明に用いる図面では、各部材を認識可能な大きさとするため、各部材の縮尺を適宜変更している。
なお、実施形態を説明するための全図において、同一の機能を有するものは同一符号を用い、繰り返しの説明は省略する。
また、本願でいう「ＸＸに基づいて」とは、「少なくともＸＸに基づく」ことを意味し、ＸＸに加えて別の要素に基づく場合も含む。また、「ＸＸに基づいて」とは、ＸＸを直接に用いる場合に限定されず、ＸＸに対して演算や加工が行われたものに基づく場合も含む。「ＸＸ」は、任意の要素（例えば、任意の情報）である。

【0018】

［把持動作における問題例］
まず、把持動作における問題例を説明する。
図１は、把持動作における問題例を説明するための図である。図１に示した作業は、ねじ穴に六角ボルトをねじ込む作業である。
シーン１は、作業開始状態であり、六角ネジがねじ穴近傍に得延長に立てられている状態である。
シーン２は、六角ネジを把持しようとしている状態である。この場合は、例えばロボットの頭部に撮影装置が取り付けていても、ハンドによって六角ネジが遮蔽されてしまって、把持前の姿勢が確認できない等の問題がある。
シーン３は、六角ネジを把持した後、ねじ穴に移動させる状態である。この場合は、ハンドの中でネジの姿勢を直立状態に整えてねじ穴に近づけないと、ネジがねじ穴にささらないという問題がある。
シーン４は、六角ネジをねじ穴にはめ込み、ねじ締めを行う状態である。この場合は、ネジ中心に対して、接触点を御転がすように指を動かさないと、ネジを手で回して締められないという問題がある。
シーン５は、ねじ締めを行う状態である。
なお、図１に示した作業や問題は一例であり、これに限らない。

【0019】

把持作業においては、上記問題に加えて、以下のような問題もある。
１．最初にあたった指によって対象物が動いてしまう。
２．事前に操作の際の角度余裕が大きい姿勢を取らせることが難しい。
３．動作上の制約があったときに、把持の幾何学的（位置関係、力のつり合い）を保ちながら対象物の位置だけ動かす、もしくは姿勢だけ動かすといったことがやりにくい。
４．対象物体の位置をもとに力のつり合いを考えると、位置計測誤差などによって受動性が担保できなくなる可能性がある。

【0020】

［タクソノミー］
次に、人の把持姿勢の分類（タクソノミー；Taxonomy）について概要を説明する。
人間の物体把持や操作に関する動作は、把持順部、物体把持、物体操作の３つの様相に大別できると言われている。ここのときの手指形状は、物体の幾何形状や把持後のタスクに応じた形が選択される。

【0021】

物体把持や操作では、要求タスク、把持録の分布や大きさによる把持の分類が行われている（例えば参考文献１参照）。
図２は、ＧＲＡＳＰ分類法による把持の分類例を示す図である。図２のように、把持の分類は、パワー把持、中間把持、精密把持への割り当て、対人関係、仮想指（virtual finger）の割り当てによって列方向に分類される。また、列の分類は、親指の位置によって行われ、親指を外転または内転させる。
なお、図２に示したタクソノミーの把持分類は一例であり、これに限らない。

【0022】

参考文献１；Thomas Feix, Javier Romero,他,“The GRASP Taxonomy of Human GraspTypes” IEEE Transactions on Human-Machine Systems ( Volume: 46, Issue: 1, Feb.2016),IEEE,p66-77

【0023】

［物体把持システムの構成例］
次に、物体把持システムの構成例を説明する。
図３は、本実施形態に係る物体把持システムの構成例を示す図である。図３のように、物体把持システムは、物体把持制御装置１と、ロボット２を備える。
物体把持制御装置１は、例えば、指先制御部１１と、実位置補正部１２と、演算部１３と、ハンド制御部１４と、関節角変換部１５と、記憶部１６を備える。
ロボット２は、例えば、エンドエフェクタ２１と、撮影部２２と、センサ２３を備える。

【0024】

なお、操作者は、ロボット２を遠隔操作してもよい。このような場合、操作者は、例えば、表示装置と視線検出センサ等を備えるＨＭＤ（ヘッドマウントディスプレイ）を頭部に装着し、指先等の位置や動きを検出するデータグローブ等を手に装着して操作する。

【0025】

エンドエフェクタ２１は、例えば、アームに取り付けられ、例えば５本の指を備える。なお、指の数はこれにかぎらず、４本等であってもよい。なお、エンドエフェクタ２１は、関節や指を動作させるアクチュエータを備える。

【0026】

撮影部２２は、例えば、ＲＧＢ（赤緑青）の画像を撮影するＲＧＢセンサと、深度情報を含む深度画像を撮影する深度センサを備える。なお、撮影部２２は、ロボット２の頭部にさらに取り付けられていている。さらに、撮影部２２は、作業環境にも設置されていてもよい。

【0027】

センサ２３は、例えば、指先の力、指先の角度を検出する。

【0028】

実位置補正部１２は、ハンド（エンドエフェクタ２１）が備える撮影部２２が撮影した画像に基づいて、実位置を補正する。実位置補正部１２は、関節角度や実行中の操作者の指示内容等に基づいてタクソノミーを判断する。なお、実位置補正部１２は、例えばロボット２の頭部に取り付けられている撮影部２２が撮影した画像から得てもよい。
実位置補正部１２は、例えば、対象物の目標位置設定部１２１と、対象物の位置検出部１２２と、演算部１２３と、積分器１２４を備える。

【0029】

対象物の目標位置設定部１２１は、ハンドが備える撮影部２２が撮影した画像を用いて対象物体の目標位置を設定する。例えば、図１のように、対象物がネジの場合、目標位置は。ネジを入れる穴の位置である。

【0030】

対象物の位置検出部１２２は、ハンドが備える撮影部２２が撮影した画像を用いて対象物体を認識し、認識した対象物の位置（含む姿勢）を検出する。

【0031】

演算部１２３は、対象物の目標位置設定部１２１が設定した目標位置から、対象物の位置検出部１２２が検出した対象物の位置を除算することで、対象物の実位置情報を修正する。換言すると、後述するように、演算部１２３は、目標物体位置と対象物体位置のズレを算出する。

【0032】

積分器１２４は、演算部１２３が出力するズレを積分する。また、積分器１２４は、記憶部１６が記憶する情報に基づいて、積分した値にゲインを乗算する。

【0033】

記憶部１６は、タクソノミー毎の把持中心座標系を記憶する。記憶部１６は、所定のゲインを記憶する。なお、記憶部１６は、例えばタクソノミー毎にゲインを記憶するようにしてもよい。また、記憶部１６は、把持毎に形状と基準位置（計測物体位置）を関連付けて記憶する。なお、対象物の形状と重さは、例えば最初に把持した際に、各指の位置や、把持した際のセンサ２３の検出値に基づいて、物体把持制御装置１が測定してもよい。

【0034】

指先制御部１１は、ロボット２を操作する操作者から指令値を取得する。指先制御部１１は、取得した指令値と、記憶部１６が記憶する情報を参照して、インハンド操作時の指先を制御する指先指令値を生成する。なお、制御方法は、ＦＢ（フィードバック）制御であっても、ＦＦ（フィードフォワード）制御であってもよい。指先制御部１１は、把持対象物の目標姿勢に合わせて、指先指令値を生成する。なお、指先制御部１１は、把持対象物の目標移動量に合わせて、指先目標位置を補正する。

【0035】

演算部１３は、指先制御部１１が出力する修正された指先目標位置に、実位置補正部１２が出力する修正された実位置情報を加算し、換算した結果を指先指令値として出力する。

【0036】

ハンド制御部１４は、演算部１３が出力する指先指令値と、ロボット２が出力する指先力と指角度情報に基づいて、ハンドの制御を行う。ハンド制御部１４は、例えば、指先コンプライアンス制御部１４１と、接触点推定部１４２と、把持力分配計算部１４３を備える。

【0037】

指先コンプライアンス制御部１４１は、演算部１３が出力する指先指令値と、把持力分配計算部１４３が出力する接触力指令値に基づいて、エンドエフェクタ２１の指先コンプライアンス制御を行う。

【0038】

接触点推定部１４２は、ロボット２が出力する指先力と指角度の情報に基づいて、指と対象物との接触点を推定する。

【0039】

把持力分配計算部１４３は、接触点推定部１４２が出力する推定された接触点情報に基づいて、把持力の分布を計算して接触力指令値を生成する。

【0040】

関節角変換部１５は、ハンド制御部１４が出力する指先指令値に基づいて、逆運動学演算を行って指角度指令値を生成する。

【0041】

［エンドエフェクタの構成例］
次に、エンドエフェクタの構成例を説明する。
図４は、本実施形態に係るエンドエフェクタの構成例を示す図である。図４のように、エンドエフェクタ２１（ハンド）は、指部１０１、指部１０２、指部１０３、指部１０４、基体１１１、カメラ１３１、カメラ１３２、カメラ１３３、カメラ１３４、カメラ１８１、カメラ１８２、カメラ１８３、カメラ１８４、およびカメラ１６１を備える。エンドエフェクタ２１は、エンドエフェクタ２１の位置を移動可能な移動機構であるアーム１７１に関節を介して接続されている。なお、図４の示したエンドエフェクタ２１の構成例、カメラの数や位置は一例であり、これに限られない。例えば、指の数は５つであってもよい。

【0042】

また、指部１０１は、例えば指先に力センサを備える。指部１０２は、例えば指先に力センサを備える。指部１０３は、例えば指先に力センサを備える。指部１０４は、例えば指先に力センサを備える。指部１０１は例えば人間の親指に相当し、指部１０２は例えば人間の人差し指に相当し、指部１０３は例えば人間の中指に相当し、指部１０４は例えば人間の薬指に相当する。アーム１７１は、エンドエフェクタ２１の手首姿勢を変えることができる機構部でもある。

【0043】

カメラ１３１～１３４、１８１～１８４、１６１は、ＲＧＢ情報と深度情報を得られるＲＤＧ－Ｄカメラである。または、カメラ１８１～１８４は、例えばＣＣＤ（Charge Coupled Device）撮影装置、ＣＭＯＳ（Complementary MOS）撮影装置と深度センサとの組み合わせであってもよい。

【0044】

カメラ１３１は、例えば人間の母指球に相当する位置に設置される。なお、カメラ１３１は、例えば人間の親指の基節部の人差し指側ではない外側に相当する位置に設置されるようにしてもよい。

【0045】

カメラ１３２は、例えば人間の母指球に相当する位置に設置される。なお、カメラ１３２は、人間の親指の基節部の人差し指側に相当する位置に設置されるようにしてもよい。

【0046】

カメラ１３３は、例えば人間の４指基底部の親指側の側面、拇指球部の親指と人差し指の側面に相当する位置に設置される。

【0047】

カメラ１３４は、例えば人間の４指基底部の薬指側の側面、小指球部の側面に相当する位置に設置される。なお、エンドエフェクタ２１は、カメラ１３１～１３４のうち、掌に少なくとも１つを備えていればよい。

【0048】

カメラ１８１は、例えば人間の親指の指先に相当する位置に設置される。なおカメラ１８１は、人間の親指に相当する指先、末節部、末節を含む領域に設置されるようにしてもよい。

【0049】

カメラ１８２は、例えば人間の人差し指の指先に相当する位置に設置される。なおカメラ１８２は、人間の人差し指に相当する指先、末節部、末節を含む領域に設置されるようにしてもよい。

【0050】

カメラ１８３は、例えば人間の中指または薬指の指先に相当する位置に設置される。なおカメラ１８３は、人間の中指または薬指に相当する指先、末節部、末節を含む領域に設置されるようにしてもよい。

【0051】

カメラ１８４は、例えば人間の小指または薬指の指先に相当する位置に設置される。なおカメラ１８４は、人間の小指または薬指に相当する指先、末節部、末節を含む領域に設置されるようにしてもよい。

【0052】

なお、カメラ１８１～１８４は、指部の接触点（把持目的で指部と対象物体があたる場所）近傍に設置される。

【0053】

カメラ１６１は、例えば手首の位置に設置される。

【0054】

また、指先、関節、手首等には、６軸センサ、位置センサ等を備える。また、指先は、力センサを備える。

【0055】

［実施形態における用語の定義］
ここで、実施形態における座標系や用語の定義等を行う。
１）把持中心の概念が、位置だけでなく向きもあるので座標系という。
２）単に把持中心と記載した場合にも、向きを含んだ把持中心座標系の意味で用いている。

【0056】

また、本実施形態では、以下のように、把持タクソノミーに応じた把持中心を指先位置に連動して定義する。
３）把持中心座標系は、タクソノミー毎に定義されている。ただし、あくまでも理想的な値である。手首位置決定や初期姿勢の計算には使われるが、その後は使われない。
４）３）の把持中心座標は、実際のタスクに応じて微調整されて、それに応じた指先位置が決定される。
５）の初期段階では、４）で設定した理想の（ノミナルな）把持中心座標系と、指位置から計算した把持中心座標系はほぼ一致している。しかし、対象物の形状によっては、個々の指ごとに物体表面で止まっていくので、理想位置からはずれていく。このため、制御では、常に指先位置から計算したものが使われる。

【0057】

［制御方法の概要］
本実施形態では、例えば以下のような制御を行う。
１．把持タクソノミーに応じた把持中心位置を指先位置に連動して定義し、その位置の変動が指先の動きに対して最小限になるよう初期指先位置を決定する。なお、この段階の初期指先位置は、ハンドを対象物に近づける際の位置である。
２．指先が対象物に接触した後に、上記の把持中心座標系において、指先位置を把持中心、すなわち把持力のつり合い中心とすることで、動いても受動性を保てるようにする。これにより、把持中心にたいして指先位置を固定し、把持中心操作することで、本実施形態によれば、接触を阻害することなく操作しても受動性を担保できる。
３．所望の対象物操作量に応じて把持中心の操作量を決めるようにすることで、安定把持を崩さずに対象物を操作する。
４．撮影部２２によって撮影された視覚上の誤差を積分制御によって修正する。

【0058】

このように、指先の位置が決まれば、把持中心位置が決まるように制御する。このため、画像などによって対象物位置やその変化が観測できない場合であっても、把持を維持できる。また、先に把持中心位置を決めることで、把持のために指先をどの位置に移動させれば良いかも求めることができる。そして、把持中心位置が決まるので、指先ごとに釣り合うための力を計算することができる。把持中心位置は、後述するように指先の真ん中になるので、すなわち指先が把持中心に対してバランスよく対抗するような形で配置されるので、仮に外乱を受けても戻ってこれるように制御できる。そして操作時は、操作の中心を把持中心位置にして操作量を決めることで、安定性を維持して対象物を操作できる。さらに、把持中心の位置の誤差を積分することで、認識された誤差を補正することができる。

【0059】

実施形態における主な処理手順は以下である。
Ｉ．あらかじめ決められたタクソノミーごとの把持中心座標系をタスクに応じて呼び出す。
ＩＩ．Ｉをベースに初期段階の把持中心座標系と指先位置を計算する。
ＩＩＩ．ＩＩの指先位置で把持させる命令を出すが、実際に把持した場所は異なることがあるので、実際に把持した場所で指先を固定、そこから再度把持中心座標系を計算しなおす。
ＩＶ．ＩＩＩの後、指先は動かさず、把持中心と指先の関係は変わらない。物体を操作するときは、把持中心ごと動かす。
Ｖ．操作の途中で指先が動いてしまった場合（パワーグラスプなど）には、把持中心座標系を都度更新しながら操作する。

【0060】

［把持中心位置の計算方法例］
次に、実施形態における把持中心位置の計算方法例を説明する。

【0061】

（精密把持の場合）
まず、３つ以上の指で把持する精密把持の場合の把持中心の計算方法を説明する。
図５は、精密把持における３つの指の指先中心を結ぶ三角形の外接円の中心を把持中心位置として計算方法例を説明するための図である。図５において、符号ｇ１１は親指、符号ｇ１２は人差し指、符号ｇ１３は中指を表す。また、符号ｇ２１は３つの指の指先中心を結ぶ三角形、符号ｇ２２は三角形ｇ２１の外接円、符号ｇ２３は外接円ｇ２２の中心を表す。この計算手法では、人差し指と中指の間隔が狭い場合、把持対象の重心と把持中心が一致する。しかし、この計算手法では、人差し指と中指の間隔が広い場合、三角形が大きくなり外接円の外に出てしまい、力の釣り合いが取りにくくなる可能性がある。

【0062】

図６は、精密把持における３つの指の指先中心を結ぶ三角形の重心を把持中心位置として計算方法例を説明するための図である。なお、図５、図６では、対象物を把持する際に、真上または真下から見た状態を模式化して示している。

【0063】

符号ｇ３１は３つの指の指先中心を結ぶ三角形、符号ｇ３２は三角形ｇ３１の重心を表す。この計算手法では、三角形が正三角形の場合に把持対象の重心と把持中心が一致するが、他の三角形の場合に把持対象の重心と把持中心が一致しない。ただし、把持中心は、どんな場合も三角形の内部にある。
なお、図５、図６において説明した各把持中心位置は、二次元の把持空間の図を用いて説明したが、三次元における位置である。

【0064】

このため、本実施形態では、精密把持における把持中心位置を、人差し指と中指の間隔が狭い場合に外接円の中心位置として算出し、人差し指と中指の間隔が広い場合に三角形の重心位置として求める。

【0065】

なお、例えば、４つの指で把持する場合は、例えばタクソノミーに基づき、その中で把持に支配的な３つの指を選択して、選択した３つの指で形成される三角形やその三角形の外接円に基づいて把持中心位置を決定するようにしてもよい。または、４つの指で把持する場合は、４つの指で形成される多角形やその多角形の外接円に基づいて把持中心位置を決定するようにしてもよい。

【0066】

（パワー把持の場合）
次に、手のひらも用いて把持するパワー把持の場合の把持中心の計算方法を説明する。
図７は、パワー把持における把持中心の計算方法を説明するための図である。パワー把持では、例えば、手のひらも使って、ペットボトル等を把持する。なお、図７では、横から見た状態を模式化して示している。なお、球体や円柱等の対象物を把持するパワー把持では、把持状態によっては指同士の位置が対向しないため、本実施形態では人差し指の位置を用いた。

【0067】

点ｇ４１は、手のひらの基準点である。点ｇ４５は、手のひらの基準点ｇ４１の垂線ｇ４２と、人差し指の指先がなす直角二等辺三角形ｇ４３の外接円ｇ４４の中心である。このように、本実施形態では、パワー把持の場合の把持中心を、手のひらと人差し指の指先から決定する。これにより、把持の際、仮に人差し指の位置を移動させた場合でも、円の大きさ似合わせて中心位置を連続的に計算することができる。

【0068】

なお、基準点の位置は、ｌｉｇｈｔ－ｔｏｏｌ（軽い対象物のパワー把持）の場合に人差し指寄りの位置であり、ｐｏｗｅｒ－ｓｐｈｅｒｅ（球体のパワー把持）またはｍｅｄｉｕｍ－ｗｒａｐ（包み込む状態のパワー把持）などの場合に親指寄りの位置である。

【0069】

「ズレに対するロバスト性」
ここで、本実施形態の手法で求めた把持中心位置を用いた場合のズレに対するロバスト性について説明する。本実施形態では、指先制御部１１の補正によって、対象物を操作する際に指先が動いてしまった場合、指先の位置に応じて把持中心座標系を更新する。

【0070】

図８は、把持対象位置ズレに対するロバスト性を説明するための図である。上述したように求めた把持中心位置を力の釣り合い点に設定した場合、釣り合いを満たす力は、画像ｇ５０のように力の釣り合い点ｇ５１に向かう力ｇ５２～ｇ５４となるか、画像ｇ６０のように平行な力ｇ６２～ｇ６４となる。すなわち、対象物ｇ５５またはｇ６５に力が加わった場合や対象物の位置がズレたり場合、把持力を制御しなくても、力ｇ５２～ｇ５４または力ｇ６２～ｇ６４の各位置の指先に受動的に摩擦力が発生する。これにより、本実施形態によれば、位置ズレに対して釣り合いを保つことができる。これにより、本実施形態によれば、外乱に対してロバストにできる。

【0071】

［指の切り替え］
次に、把持する指を切り替えた場合について説明する。
図９は、指を切り替えた場合について説明するための図である。画像ｇ７０は、親指ｇ１１と人差し指ｇ１２と中指ｇ１３で把持している状態である。画像ｇ８０は、指の切り替え途中であり、親指ｇ１１と人差し指ｇ１２と中指ｇ１３と薬指ｇ１４で把持している状態である。画像ｇ９０は、指の切り替え後であり、人差し指を離して、親指ｇ１１と中指ｇ１３と薬指ｇ１４で把持している状態である。

【0072】

この場合、画像ｇ７０とｇ８０の把持中心位置ｇ７１は、親指ｇ１１と人差し指ｇ１２と中指ｇ１３による三角形の外接円の中心位置であり、画像ｇ９０の把持中心位置ｇ７２は、親指ｇ１１と中指ｇ１３と薬指ｇ１４による三角形の外接円の中心位置である。
このように、本実施形態によれば。指の切り替え時も、前述した外接円の中心と三角形の重心による把持中心位置を、例えば把持力の遷移によって重み付け平均することで、連続的に指を動かすことができる。すなわち、把本実施形態によれば、持中心位置が連続的に変化することで、加重配分も自動的に小さくなっていく。本実施形態によれば、加重配分が十分小さくなった後に、その指の関与が無いこととして内力分配を行うと力指令を０（ゼロ）にできる。本実施形態によれば、この段階でつり合いには関与していないので、スムーズに指を離すことができる。

【0073】

［把持対象位置の制御］
次に、把持対象の位置がズレた場合の制御について説明する。
図１０は、本実施形態に係る把持対象の位置がズレた場合の制御について説明するための図である。例えば、符号ｇ１０１は対象物の位置がズレる前の状態であり、符号ｇ１０２は対象物の位置がズレたあとの状態である。対象物の形状は、例えば円筒形であるとする。

【0074】

また、図１０は、対象物を、対象物の横から３つの指で把持して、床に置く制御でもある。符号ｇ１０１の状態の把持中心位置は、点ｇ１１１である。点ｇ１１２は、例えば撮影部２２によって撮影された画像から認識された対象物の位置、すなわち計測物体位置である。点ｇ１１３は、対象物が床に置かれた状態ｇ１０２の目標物体位置である。

【0075】

この場合、位置のズレは、目標物体位置ｇ１１３と計測物体位置ｇ１１２との差である。
前述したように、把持中心位置ｇ１１１は、指先から決まる。そして、把持中心位置ｇ１１１と、計測物体位置ｇ１１２のズレは、計測した結果を用いて計算できる。また、把持中心位置と敬作物体位置との関係は、対象物を安定して把持している期間、変わらない。このため、計測物体位置と目標物体位置とのずれが分かれば、それを把持中心位置に変換できる。さらに、把持中心位置と指先の関係は、対象物が安定して把持されていれば変わらない。

【0076】

例えば、対象物の位置のずれは、次式（１）で表される。

【0077】

【数1】

【0078】

また、把持中心位置は、次式（２）のように表すことができる。なお、ゲインは、例えば、対象物の大きさ、重量、タクソノミー等に応じて予め設定しておき、記憶部１６に記憶させておく。

【0079】

【数2】

【0080】

そして、本実施形態では、把持中心位置を、指先位置指令に用いることができる。
これにより、対象物の安定性を保ったまま、対象物の位置ズレを解消して、対象物を把持したまま所望の位置に移動させることができる。

【0081】

なお、上述した把持中心位置の計算は、指先制御部１１が行う。また、目標物体位置と対象物体位置とのズレの算出は、実位置補正部１２が行う。

【0082】

［制御手順例］
次に、物体把持制御装置１が行う制御処理手順例を説明する。
図１１は、本実施形態に係る物体把持制御装置が行う把持処理手順例のフローチャートである。

【0083】

（ステップＳ１）指先制御部１１は、操作者が操作した操作指示を取得する。指先制御部１１は、撮影部２２が撮影した画像と記憶部１６が記憶する情報と取得した操作指示に基づいて、対象物の検出と、タクソノミーを決定する。物体把持制御装置１は、複数の指を有するエンドエフェクタ２１が取ることが可能な複数の把持姿勢（タクソノミー）の其々について、エンドエフェクタ２１によって把持操作されることが想定される対象物を把持する際の把持中心座標系（把持中心位置と向き）を決定する。なお、これらの情報は、例えば予め記憶部１６に記憶されている。

【0084】

（ステップＳ２）指先制御部１１は、取得した操作指示と決定したタクソノミーと把持中心座標系に基づいて、初期指先位置を決定する。すなわち、指先制御部１１は、取得した操作指示と記憶部１６に記憶されている情報から初期指先位置を決定する。

【0085】

（ステップＳ３）ハンド制御部１４は、例えば操作者の操作に応じて、または自律的な操作によって、初期指先位置からエンドエフェクタ２１で対象物を把持するように指示し、対象物を把持する。

【0086】

（ステップＳ４）ハンド制御部１４は、把持中心座標系に対してエンドエフェクタ２１の指先位置を固定する。

【0087】

（ステップＳ５）ハンド制御部１４は、所望の対象物の操作量に応じて把持中心座標系の操作量を決定し、把持中心座標系の操作によって対象物を操作する。

【0088】

物体把持制御装置１は、上記の処理を繰り返して、対象物の把持、把持後の対象物の釣り合いの制御、対象物の移動、指先の移動等の制御を行う。

【0089】

次に、物体把持制御装置１が行う指角度指令値の生成処理手順例を説明する。図１２は、本実施形態に係る物体把持制御装置１が行う指角度指令値の生成処理手順例のフローチャートである。

【0090】

（ステップＳ１１）実位置補正部１２は、撮影部２２が撮影した画像を用いて、対象物の位置（計測物体位置）と向きを検出する。

【0091】

（ステップＳ１２）実位置補正部１２は、撮影部２２が撮影した画像を用いて、対象物の目標位置（目標物体位置）と向きを設定する。

【0092】

（ステップＳ１３）実位置補正部１２は、目標物体位置と計測物体位置とのズレ量を算出する。実位置補正部１２は、ズレ量を積分し、記憶部１６が記憶するゲインを乗算して把持中心位置を求める。

【0093】

（ステップＳ１４）指先制御部１１は、把持中心の目標位置姿勢をタクソノミーに基づいて推定する。指先制御部１１は、把持中心の目標位置姿勢に合わせて、取得した操作指示に含まれる指先目標位置を補正する。

【0094】

（ステップＳ１５）演算部１３は、指先制御部１１が出力する値に、実位置補正部１２が出力する値を加算する。なお、演算部１３は、例えば、相対的な移動量の座標変換を行い、目標物体位置姿勢の変を把持中心の変化に変換して、たし合わす。

【0095】

（ステップＳ１６）ハンド制御部１４は、演算部１３が出力する指先指令値に基づいて、ハンドの制御を行う。

【0096】

（ステップＳ１７）関節角変換部１５は、ハンド制御部１４が出力する指先指令値に基づいて、逆運動学演算を行って指角度指令値を生成する。

【0097】

なお、図１２に示した処理手順は一例であり、一部の処理は平行して行ってもよく、あるいは処理手順を入れ替えてもよい。

【0098】

［確認結果］
ロボット２にネジ締め作業を行わせた例を、図１３、図１４を参照して説明する。図１３、図１４は、本実施形態の手法で対象物を把持して作業を行っている状態を示す図である。なお、図１２、図１３の画像ｇ２０１～ｇ２０８において、左右上下の画像はハンドが備える撮影部２２が撮影した画像であり、真ん中の画像は指の状態、対象物の姿勢等を示す。また、図１３、図１４の真ん中の画像において、対象物と指先に描かれている各矢印は、座標を表す。また、対象物における複数の座標は、対象物体位置と、目標物体位置を表している。

【0099】

初期状態では、対象物であるネジが垂直に置かれている（ｇ２０１）。
次に、指先で対象物を把持させる。このとき、指先の把持位置により、対象物の姿勢（位置）が傾いている（ｇ２０２）。
次に、対象物の位置を修正しながら、対象物をねじ穴に移動させる（ｇ２０３）。
次に、対象物をねじ穴に挿入させる（ｇ２０４）。

【0100】

次に、指先の動作を制御して、ネジを回してねじ締め作業を行わせる（ｇ２０５）。
次に、さらにねじ締めを行うため、指の角度や位置を変えるために、対象物から指先を外す（ｇ２０６）。
次に、再び指先で対象物を把持させ、対象物を回させてネジ締めを行う（ｇ２０７、ｇ２０８）。
以下、符号ｇ２０５～ｇ２０８の動作を繰り返させて、ネジ締め作業を行わせる。

【0101】

このように、確認ではネジ穴傍に垂直に立てた六角ネジを、ハンドが備える撮影部２２が撮影した画像を用いて、上述した把持中心位置による制御により、ネジ姿勢の変更を実現でき、ネジ穴への挿入、手締めを実現できた。

【0102】

このような制御によって、本実施形態によれば、指先から決まる把持中心位置を求め、求めた把持中心位置を基準に物体の釣り合いや指先の位置の軌道を制御し、連続的な制御をしながら、誤差に対してロバストな制御と作業が可能になる。

【0103】

なお、本発明における物体把持制御装置１の機能の一部または全てを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより物体把持制御装置１が行う処理の全てまたは一部を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

【0104】

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

【0105】

以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形および置換を加えることができる。

【符号の説明】

【0106】

１…物体把持制御装置、２…ロボット、１１…指先制御部、１２…実位置補正部、１３…演算部、１４…ハンド制御部、１５…関節角変換部、２１…エンドエフェクタ、２２…撮影部、２３…センサ、１２１…対象物の目標位置設定部、１２２…対象物の位置検出部、１２３…演算部、１２４…積分器、１４１…指先コンプライアンス制御部、１４２…接触点推定部、１４３…把持力分配計算部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】