特許 7495485 柔軟なエンドエフェクタによって保持された物体のポーズを求めるシステム及び方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-05-27

(45)【発行日】2024-06-04

(54)【発明の名称】柔軟なエンドエフェクタによって保持された物体のポーズを求めるシステム及び方法

(51)【国際特許分類】

   B25J 13/08 20060101AFI20240528BHJP

   B25J 9/16 20060101ALI20240528BHJP

【ＦＩ】

B25J13/08 Z

B25J9/16

【請求項の数】 18

(21)【出願番号】P 2022520488

(86)(22)【出願日】2020-09-30

(65)【公表番号】

(43)【公表日】2022-12-02

(86)【国際出願番号】 US2020053377

(87)【国際公開番号】W WO2021067339

(87)【国際公開日】2021-04-08

【審査請求日】2023-09-29

(31)【優先権主張番号】16/591,014

(32)【優先日】2019-10-02

(33)【優先権主張国・地域又は機関】US

【早期審査対象出願】

(73)【特許権者】

【識別番号】518102470

【氏名又は名称】トヨタ リサーチ インスティテュート，インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100092624

【弁理士】

【氏名又は名称】鶴田 準一

(74)【代理人】

【識別番号】100147555

【弁理士】

【氏名又は名称】伊藤 公一

(74)【代理人】

【識別番号】100123593

【弁理士】

【氏名又は名称】関根 宣夫

(74)【代理人】

【識別番号】100133835

【弁理士】

【氏名又は名称】河野 努

(72)【発明者】

【氏名】ナビーン スレッシュ クップスワミー

(72)【発明者】

【氏名】アレクサンダー アルスパッチ

【審査官】杉山 悟史

(56)【参考文献】

【文献】特表２０１７－５２６５４３（ＪＰ，Ａ）

【文献】L.U.ODHNER ET AL，A compliant, underactuated hand for robust，INTERNATIONAL JOURNAL OF ROBOTICS RESEARCH，vol.33,no.5，米国，2014年02月17日

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００ ～ ２１／０２

(57)【特許請求の範囲】

【請求項1】

柔軟なエンドエフェクタにおいて位置決めされた１つ又は複数の触覚センサ及び１つ又は複数の曲率センサを有するロボットの柔軟なエンドエフェクタによって保持された物体を操作する方法であって、
処理装置により、前記１つ又は複数の触覚センサから触覚データを受け取るステップと、
前記処理装置により、前記１つ又は複数の曲率センサから曲率データを受け取るステップと、
前記処理装置により、前記曲率データから前記柔軟なエンドエフェクタの複数のセグメントを定めるステップと、
前記処理装置により、前記複数のセグメントの各々にフレームを割り当てるステップと、
前記処理装置により、前記触覚データから、前記物体と前記柔軟なエンドエフェクタとが接触する各ポイントの位置を求めるステップと、
前記処理装置により、相対変換の組を算出して、前記フレームの１つに対する各ポイントの位置を求めるステップと、
前記処理装置により、前記触覚データから求められた、前記物体と前記柔軟なエンドエフェクタとが接触する各ポイントの位置から連続データを生成するステップと、
前記処理装置により、前記連続データを使用して前記物体のポーズを求めるポーズ決定アルゴリズムに、前記連続データを提供するステップと、
前記処理装置により、求められた前記物体のポーズに基づいて前記物体を操作するように前記ロボットを制御するステップと、
を有し、
前記曲率データを受け取るステップは、前記柔軟なエンドエフェクタの指の内部側部材の複数のセグメントの曲率に対応する情報を受け取るステップを含み、
前記相対変換の組を算出するステップは、前記内部側部材の前記複数のセグメントの１つの曲率に沿った、

【数1】

を中心とした角度θの平行運動を得ることにより、変換

【数2】

との関係におけるフレームの変換を演算するステップを含む、方法。

【請求項2】

前記連続データをポーズ決定アルゴリズムに提供するステップは、前記連続データをＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムに供給するステップを含む、請求項１に記載の方法。

【請求項3】

前記フレームの前記変換を演算するステップは、次式として演算され、

【数3】

ここで、相対位置ベクトル

【数4】

であり、θ_ｉ＝ｌ_ｉκ_ｉであり、κ_ｉ及びＲ_ｚ（θ_ｉ）は、

【数5】

を中心とした角度θ_ｉの回転を表す回転行列である、請求項１に記載の方法。

【請求項4】

前記物体と前記柔軟なエンドエフェクタとが接触する各ポイントの位置を求めるステップは、前記柔軟なエンドエフェクタとの関係における前記触覚センサの少なくとも１つの位置を求めるステップと、前記触覚データから検知された圧力の特性を求めるステップと、を含む、請求項１～３のいずれか１項に記載の方法。

【請求項5】

前記フレームを前記複数のセグメントの各々に割り当てるステップは、前記柔軟なエンドエフェクタの曲率に沿った１つ又は複数の屈曲ポイントに基づいて前記フレームを割り当てるステップを含む、請求項１～４のいずれか１項に記載の方法。

【請求項6】

１つ又は複数の柔軟な指を有する柔軟なエンドエフェクタであって、前記柔軟な指の各々は、柔軟な内部側部材によって規定される、柔軟なエンドエフェクタと、
前記柔軟な指の各々の曲率を検出し、前記曲率に対応する曲率データを生成するように配置された１つ又は複数の曲率センサと、
前記柔軟な指の各々に隣接配置された１つ又は複数の触覚センサであって、前記柔軟なエンドエフェクタと前記柔軟なエンドエフェクタに保持された物体との間の接触によって生じる前記柔軟な内部側部材の１つ又は複数の変形の位置を検出し、前記１つ又は複数の変形の位置に対応する触覚データを生成するように構成された触覚センサと、
前記１つ又は複数の曲率センサ及び前記１つ又は複数の触覚センサと通信可能に接続された演算装置であって、前記曲率データ及び前記触覚データから連続データを生成し、前記連続データをポーズ推定アルゴリズムに供給することにより、前記柔軟なエンドエフェクタに保持された前記物体のポーズを求めるようにプログラミングされた演算装置と、
を有するロボット。

【請求項7】

前記１つ又は複数の柔軟な指の各々はフィンレイ指である、請求項６に記載のロボット。

【請求項8】

前記１つ又は複数の曲率センサは、前記１つ又は複数の柔軟な指の各々の表面に配置された柔軟な材料のストリップを有する、請求項６又は７記載のロボット。

【請求項9】

前記柔軟な材料のストリップは、複数の曲率検出セグメントを有する、請求項８に記載のロボット。

【請求項10】

前記柔軟な指の各々は、複数の指セグメントを規定し、
前記触覚センサを複数有し、
前記複数の触覚センサの少なくとも１つは、前記複数の指セグメントの各々に隣接配置されている、請求項６に記載のロボット。

【請求項11】

前記１つ又は複数の触覚センサの各々は、計測されたエリア上に付与された力に起因した変形又は撓みの量を測定するためのフォースコレクタを使用するフォースコレクタ式装置である、請求項６～１０のいずれか１項に記載のロボット。

【請求項12】

前記触覚データは圧力マップを有する、請求項６～１１のいずれか１項に記載のロボット。

【請求項13】

前記１つ又は複数の曲率センサ及び前記１つ又は複数の触覚センサは、前記曲率データ及び前記触覚データを生成する単一装置内に統合されている、請求項６～１２のいずれか１項に記載のロボット。

【請求項14】

前記演算装置は、プロセッサと、前記プロセッサと通信可能に接続された非一時的なプロセッサ可読ストレージ媒体とを有し、前記非一時的なプロセッサ可読ストレージ媒体は、１つ又は複数のプログラミング命令を含み、前記命令の実行により、前記プロセッサは、
前記１つ又は複数の触覚センサから前記触覚データを受け取り、
前記１つ又は複数の曲率センサから、前記柔軟なエンドエフェクタの指の内部側部材の複数のセグメントの曲率に対応する情報を含む前記曲率データを受け取り、
前記曲率データから、前記１つ又は複数の柔軟な指の各々の複数のセグメントを定め、
前記複数のセグメントの各々にフレームを割り当て、
前記触覚データから、前記物体と前記１つ又は複数の柔軟な指とが接触する各ポイントの位置を求め、
前記内部側部材の前記複数のセグメントの１つの曲率に沿った、

【数1】

を中心とした角度θの平行運動を得ることにより、変換

【数2】

との関係におけるフレームの変換を演算することにより相対変換の組を算出して、前記フレームの１つに対する各ポイントの位置を求め、
前記触覚データから求められた、前記物体と前記柔軟なエンドエフェクタとが接触する求められた各ポイントの位置から前記連続データを生成する、
請求項６～１３のいずれか１項に記載のロボット。

【請求項15】

複数の柔軟な指を有する柔軟なエンドエフェクタを備えたロボットアームであって、前記柔軟な指の各々は、柔軟な内部側部材によって規定される、ロボットアームと、
前記柔軟な指の各々の曲率を検出し、前記曲率に対応する曲率データを生成する１つ又は複数の曲率センサと、
前記柔軟な指の各々に隣接配置された１つ又は複数の触覚センサであって、前記柔軟なエンドエフェクタと前記柔軟なエンドエフェクタに保持された物体との間の接触によって生じる前記柔軟な内部側部材の１つ又は複数の変形の位置を検出し、前記１つ又は複数の変形の位置に対応する触覚データを生成するように構成された触覚センサと、
前記１つ又は複数の曲率センサ及び前記１つ又は複数の触覚センサと通信可能に接続された演算装置であって、前記曲率データ及び前記触覚データから連続データを生成し、前記連続データをポーズ推定アルゴリズムに供給することにより、前記柔軟なエンドエフェクタによって保持された前記物体のポーズを求めるようにプログラミングされた演算装置と、
を有するロボット。

【請求項16】

前記複数の柔軟な指の各々はフィンレイ指である、請求項１５に記載のロボット。

【請求項17】

前記１つ又は複数の曲率センサは、前記複数の柔軟な指の各々の表面に配置された柔軟な材料のストリップを有する、請求項１５又は１６に記載のロボット。

【請求項18】

前記柔軟な指の各々は、複数の指セグメントを規定し、
前記１つ又は複数の触覚センサは、複数の触覚センサを有し、
前記複数の触覚センサの少なくとも１つは、前記複数の指セグメントの各々に隣接配置されている、請求項１５～１７のいずれか１項に記載のロボット。

【発明の詳細な説明】

【技術分野】

【0001】

関連出願の相互参照
本出願は、２０１９年１０月２日付けで出願された「Ｓｙｓｔｅｍｓ ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ Ｐｏｓｅ ｏｆ Ｏｂｊｅｃｔｓ Ｈｅｌｄ Ｂｙ Ｆｌｅｘｉｂｌｅ Ｅｎｄ Ｅｆｆｅｃｔｏｒｓ」という名称を有する米国特許出願第１６／５９１，０１４号の優先権の利益を主張するものであり、その内容の全ては、本参照を以って本明細書に包含されるものとする。

【0002】

本明細書は、広くは、ポーズ推定システムに関し、特には、ロボットの柔軟なエンドエフェクタに保持された物体のポーズを推定するコンピュータの能力を改善するシステムに関する。

【背景技術】

【0003】

柔軟なロボットエンドエフェクタは、奇妙な形状の物体、柔軟ではないエンドエフェクタによる把持が困難である物体、未知の形状特性を有する物体等を把持する際に特に有用である。

【発明の概要】

【発明が解決しようとする課題】

【0004】

柔軟なロボットエンドエフェクタは、（例えば、ビンピッキングシナリオ等の）ピックアンドドロップタイプのシナリオにおいて特に有用であるが、柔軟なロボットエンドエフェクタによって保持された際の操作された物体の正確なポーズに関係する情報を伴うことなしには、操作された物体の正確な配置を実現することが困難となり得る。

【課題を解決するための手段】

【0005】

一実施形態において、柔軟なエンドエフェクタにおいて位置決めされた１つ又は複数の触覚センサ及び１つ又は複数の曲率センサを有するロボットの柔軟なエンドエフェクタによって保持された物体のポーズを決定する方法は、処理装置により、１つ又は複数の触覚センサから触覚データを受け取るステップと、処理装置により、１つ又は複数の曲率センサから曲率データを受け取るステップと、処理装置により、曲率データから柔軟なエンドエフェクタの複数のセグメントを決定するステップと、処理装置により、各セグメントにフレームを割り当てるステップと、処理装置により、物体と柔軟なエンドエフェクタとが接触する各ポイントの位置を求めるステップと、処理装置により、相対変換の組を算出して、触覚データからフレームの１つに対する各ポイントの位置を求めるステップと、処理装置により、求められた各ポイントの位置から連続データを生成するステップと、処理装置により、連続データを使用して物体のポーズを求めるポーズ判定アルゴリズムに、連続データを提供するステップと、を含む。

【0006】

他の実施形態において、ロボットの柔軟なエンドエフェクタに保持された物体のポーズを決定するシステムは、１つ又は複数の柔軟な指を有する柔軟なエンドエフェクタを含み、１つ又は複数の柔軟な指の各々は、柔軟な内部側部材によって規定される。システムは、１つ又は複数の柔軟な指の各々の曲率を検出し、曲率に対応する曲率データを生成するように配置された１つ又は複数の曲率センサと、１つ又は複数の柔軟な指の各々に隣接配置された１つ又は複数の触覚センサとをさらに含み、１つ又は複数の触覚センサは、柔軟なエンドエフェクタと柔軟なエンドエフェクタに保持された物体との間の接触によって生じる柔軟な内部側部材の１つ又は複数の変形の位置を検出し、１つ又は複数の変形の位置に対応する触覚データを生成するように構成されている。システムはさらに、１つ又は複数の曲率センサ及び１つ又は複数の触覚センサと通信可能に接続された演算装置を更に含み、演算装置は、曲率データ及び触覚データから連続データを生成し、連続データをポーズ推定アルゴリズムに供給することにより、柔軟なエンドエフェクタに保持された物体のポーズを求めるようにプログラミングされている。

【0007】

さらなる他の実施形態において、ロボットに保持された物体のポーズを決定するシステムは、複数の柔軟な指を有する柔軟なエンドエフェクタを備えたロボットアームを含み、複数の柔軟な指の各々は、柔軟な内部側部材によって規定される。システムは、複数の柔軟な指の各々の曲率を検出し、曲率に対応する曲率データを生成するように配置された１つ又は複数の曲率センサと、複数の柔軟な指の各々に隣接配置された１つ又は複数の触覚センサと、をさらに含み、１つ又は複数の触覚センサは、柔軟なエンドエフェクタと柔軟なエンドエフェクタに保持された物体との間の接触によって生じる柔軟な内部側部材の１つ又は複数の変形の位置を検出し、１つ又は複数の変形の位置に対応する触覚データを生成するように構成されている。システムはさらに、１つ又は複数の曲率センサ及び１つ又は複数の触覚センサと通信可能に接続された演算装置をさらに含み、演算装置は、曲率データ及び触覚データから連続データを生成し、連続データをポーズ推定アルゴリズムに供給することにより、柔軟なエンドエフェクタに保持された物体のポーズを求めるようにプログラミングされている。

【0008】

本明細書に記載された実施形態によって提供されるこれらの及び他の特徴については、図面に関連する以下の詳細な説明に鑑み、さらに十分に理解されよう。

【0009】

図面に記載されている実施形態は、本来的に例示及び例証を目的としたものであり、特許請求の範囲に規定されている主題の限定を意図したものではない。例示的実施形態に関する以下の詳細な説明については、添付図面との関連において参照された際に理解可能であり、同様の構造は同一の参照符号によって示されており、図面は以下の通りである。

【図面の簡単な説明】

【0010】

【図1】本明細書に図示及び記載されている１つ又は複数の実施形態に係る、柔軟なエンドエフェクタを有する例示的ロボットアームを概略的に示す。

【0011】

【図2A】本明細書に図示及び記載されている１つ又は複数の実施形態に係る、目標物体を把持していないときの柔軟なエンドエフェクタの詳細を概略的に示す。

【0012】

【図2B】本明細書に図示及び記載されている１つ又は複数の実施形態に係る、目標物体を把持しているときに目標物体の形状に倣う柔軟なエンドエフェクタの詳細を概略的に示す。

【0013】

【図3】本明細書に図示及び記載されている１つ又は複数の実施形態に係る、屈曲センサを有する柔軟なエンドエフェクタの例示的な指を概略的に示す。

【0014】

【図4A】本明細書に図示及び記載されている１つ又は複数の実施形態に係る、柔軟なエンドエフェクタを有するロボットアームと通信可能接続された装置の例示的ネットワークを概略的に示す。

【0015】

【図4B】本明細書に図示及び記載されている１つ又は複数の実施形態に係る、柔軟なエンドエフェクタを有するロボットアームと通信可能に接続された装置のネットワーク内のサーバ演算装置の例示的な内部コンポーネントを概略的に示す。

【0016】

【図5】本明細書に図示及び記載されている１つ又は複数の実施形態に係る、柔軟なエンドエフェクタによって保持された物体のポーズを求める例示的の方法のフロー図を示す。

【0017】

【図6】本明細書に図示及び記載されている１つ又は複数の実施形態に係る、柔軟なエンドエフェクタの断片ごとの例示的な定曲率モデルを示す。

【0018】

【図7】本明細書に図示及び記載されている１つ又は複数の実施形態に係る、柔軟なエンドエフェクタのセグメントの曲率を求めるために使用される例示用なセグメント円弧を示す。

【発明を実施するための形態】

【0019】

本開示は、広くは、ロボット装置の柔軟なエンドエフェクタによって把持された物体のポーズを推定するシステム及び方法に関する。システム及び方法は、１つ又は複数の触覚センサが柔軟なエンドエフェクタと把持された物体とが接触する１つ又は複数のポイントにおいて情報を検出し得るように、かつ１つ又は複数の曲率センサが柔軟なエンドエフェクタと把持された物体との間の接触によって生じる圧力に起因して変形した際に柔軟なエンドエフェクタの曲率を検出し得るように、ロボット装置の柔軟なエンドエフェクタ又はその近傍に配置された１つ又は複数の触覚センサ及び１つ又は複数の曲率センサを内蔵している。１つ又は複数のポイント及び柔軟なエンドエフェクタの曲率に対応するデータは、把持された物体のポーズを正確に決定するためのアルゴリズムにおいて使用可能である。把持された物体のポーズの正確な判定により、ロボット装置を制御するコンピュータシステムが、物体が柔軟なエンドエフェクタから解放された際の物体の正確な配置を保証することになるロボット運動を決定するが可能になる。このように、コンピュータシステム（のみならず、システム全体）の改善が実現されている。

【0020】

柔軟な構造は、これらが提供する追従性を理由として、ロボット工学において使用されており、このことは、不確実性又は環境との予期しない接触に対処において利点を有する。但し、柔軟な材料の機構は、モデルベースのロボット工学フレームワークにおける問題を提起しており、これにより、既存の最適化ベースの方法を解決困難にしている。このような柔軟な構造の一般的な一例は、構造化されていない不確実な環境において複数の操作の例で採用されている、いわゆるフィンレイ指（Ｆｉｎｒａｙ ｆｉｎｇｅｒ）である。例えばＦｅｓｔｏ（Ｅｓｓｌｉｎｇｅｎ ａｍ Ｎｅｃｋａｒ， Ｇｅｒｍａｎｙ）によって製造されたこれらの構造は、パラレルジョーグリッパ用の柔軟な指として使用されている。これらの構造は、マニピュランド（ｍａｎｉｐｕｌａｎｄ）（操作されている物体）の表面に追従し、例えば飲用カップ、マグ、小さな直方体等の様々な家庭内の物体の形状に対して大きな接触パッチを実現する一方で、本来的な構造特性によって何らかの形態の力及び／又は形態の閉鎖を実現するので、非常に信頼性の高い把持を呈する。このような構造は、ビンピッキングにおいてしばしば利用されるようなピックアンドドロップタイプのシナリオにおいて極めて有用である一方で、マニピュランドの正確な配置が望まれる状況においていくつかの困難性を呈する。この追従性は結果的に、安定した把持が実現された後に、グリッパに対するマニピュランドのポーズ（主に、向き）に関する不確実性をもたらす。容量性パッチ、抵抗性パッチ、及び／又はこれらに類似するものに基づく触覚センサ技術は、接触の有無を識別するために使用可能である一方で、圧力の検出を通じて接触パッチの正確な位置を演算することは困難である。この問題に対する鍵は、例えば、連続的に変形する表面に沿った接触の位置の決定等、接触表面の連続性である。

【0021】

本開示は、曲率運動学の一形態を開発するために、柔軟な表面に沿った複数の別個の曲率（屈曲）計測値を使用することで、この課題に対処するシステム及び方法に関する。このことは、接触ポイント及び／又はパッチの順運動学を演算し、故に接触経路の空間内の「ポイントクラウド」の形態を演算する、という課題に対処する。このアプローチにより、内部に埋め込まれた高密度の触覚センサを有する任意の柔軟な表面を、高密度の幾何学センサに使用できるようになる。本明細書に記載されているアプローチの基礎となる重要な仮定は、材料の屈曲が、平面的であるとともに、断片ごとに一定の曲率で近似できることである。

【0022】

本明細書において使用されるセンサのタイプは、柔軟なエンドエフェクタの他のコンポーネントに対する自由空間内でのセンサの位置を求めるために使用可能であることを理解されたい。即ち、１つ又は複数の触覚センサ及び／又は１つ又は複数の曲率センサから受け取られた情報は、特定のセンサがポーズを推定するという目的のために目標物体に接触しているか否かとは関係なく、そのセンサに対してローカライズすることができる。このようなローカライズされた情報は、例えば、特定の場所における温度等、様々な目的のために役立ち得る。

【0023】

ここで図面を参照すると、図１は、様々な実施形態に係る、目標物体１５０を操作する柔軟なエンドエフェクタ１１０を有し、全体的に１００と表記された例示的ロボットアームを示す。図１に示す例示的ロボットアーム１００は、ビンピッキング用途等のピックアンドドロップ用途において特定の使用法を提供し得る。但し、ロボットアーム１００は、この使用法に限定されるものではなく、本開示の範囲を逸脱することなく、他の目的に使用可能であることを理解されたい。いくつかの実施形態において、ロボットアーム１００は、ヘルスケア業界、製造業界、車両修理業界、及び／又はこれらに類似するものにおいて使用可能である。

【0024】

ロボットアーム１００は概して、１つ又は複数の関節１０８ａ、１０８ｂ、１０８ｃを介して１つ又は複数のアームセグメント（例えば、第１アームセグメント１０４及び／又は第２アームセグメント１０６）に連結されたベース１０２を有し得、これにより、ロボットアーム１００に広範囲の動作を提供する。ピックアンドドロップ用途のロボットアームは広く理解されているので、本明細書では、図１に示すロボットアーム１００のさらなる詳細な説明は省略する。

【0025】

いくつかの実施形態において、柔軟なエンドエフェクタ１１０は、第１指１１２及び第２指１１８等の１つ又は複数の柔軟な指を含み得る。図１は２本の指を示すが、本開示はこれに限定されない。即ち、柔軟なエンドエフェクタは、本開示の範囲を逸脱することなく、単一の指、２つの指、３つの指、又は３つ超の指を有し得る。１つ又は複数の指は、目標物体１５０をピックアップするために柔軟なエンドエフェクタ１１０を開閉すべく、互いに対して移動可能であり得る。例えば、図２Ａ及び図２Ｂを参照すると、１つ又は複数の指は、目標物体１５０が１つ又は複数に指によって保持されていない開放位置（図２Ａ）から、目標物体が１つ又は複数の指によって保持されている閉鎖位置（図２Ｂ）まで移動可能である。

【0026】

また図２Ａ及び図２Ｂを参照すると、柔軟なエンドエフェクタ１１０の１つ又は複数の指に関するさらなる詳細が示されている。例えば、第１指１１２は、近位端１４１及び遠位端１４２を有し得る。把持メカニズム１１３は、遠位端１４２を、柔軟なエンドエフェクタ１１０が図２Ｂに示すように閉鎖位置にあるときは、第２指１１８に向かって内向きに移動させ、柔軟なエンドエフェクタ１１０が図２Ａに示すように開放位置にあるときは、第２指１１８から離れるように外向きに移動させる。また第２指１１８も、近位端１４３及び遠位端１４４を有し得る。把持メカニズム１１９は、遠位端１４４を、柔軟なエンドエフェクタ１１０が図２Ｂに示すように閉鎖位置にあるときは、第１指１１２に向かって内向きに移動させ、柔軟なエンドエフェクタ１１０が図２Ａに示すように開放位置にあるときは、第１指１１２から離れるように外向きに移動させる。

【0027】

図２Ａを参照すると、第１指１１２及び第２指１１８の各々は、外部側部材１１４及び内部側部材１１６を有し得る。第１指１１２及び第２指１１８の外部側部材１１４は、概ね外側に面している（例えば、第１指１１２の外部側部材１１４は、第２指１１８とは反対側に面しており、第２指１１８の外部側部材１１４は、第１指１１２とは反対側に面している）。第１指１１２及び第２指１１８の内部側部材１１６は、概ね内側に面している（例えば、第１指１１２の内部側部材１１６は、第２指１１８に対向しており、第２指１１８の内部側部材１１６は、第１指１１２に対向している）。外部側部材１１４及び内部側部材１１６はいずれも、一般的には、柔軟なエンドエフェクタ１１０が図２Ｂに示すように目標物体１５０の周りで閉鎖位置にあるときに、目標物体１５０の周りで変形可能な柔軟な材料から製造可能である。フィンレイタイプの装置（フィンレイタイプのエンドエフェクタを含む）において使用される柔軟な材料については、一般に理解されているはずなので、本明細書では、さらなる詳細な説明はしない。

【0028】

また図２Ａを参照すると、いくつかの実施形態において、外部側部材１１４及び内部側部材１１６は、外部側部材１１４及び内部側部材１１６が、それらの遠位端において（例えば、第１指１１２の遠位端１４２において、第２指１１８の遠位端１４４において）互いに連結するように、かつ、近位端において（例えば、第１指１１２の近位端１４１に向かって、第２指１１８の近位端１４３に向かって）横断方向に互いに離れるように延在するように、略三角形の構造として構成可能である。また、１つ又は複数の横断支柱１２０が、それぞれの外部側部材１１４と内部側部材１１６との間を延びてもよく、さらに、ピン１２２等を介してそれぞれの外部側部材１１４及び内部側部材１１６にヒンジ結合されてもよい。図２Ａ及び図２Ｂは、第１指１１２及び第２指１１８のそれぞれの上に４つの横断支柱１２０を示すが、これは単なる例示である。即ち、本開示の範囲を逸脱することなく、任意数の横断支柱１２０が第１指１１２及び第２指１１８のそれぞれの外部側部材１１４と内部側部材１１６との間に存在し得る。横断支柱１２０は、内部側部材１１６が複数のセグメント１２４にセグメント化されるように、互いに離隔させ、内部側部材１１６との外部側部材１１４の交点から離隔させ、かつ、把持メカニズム１１３、１１９から離隔させることができる。本明細書においてさらに詳細に述べるように、複数のセグメントの各々は、圧力及び／又は曲率について検出可能である。

【0029】

一般に理解されるように、内部側部材１１６及び外部側部材１１４の柔軟な特性と、横断支柱１２０のヒンジによる装着とにより、柔軟なエンドエフェクタ１１０が図２Ｂに示すように目標物体１５０を把持したときに、内部側部材１１６が目標物体１５０の周囲で湾曲することが可能になる。この把持の結果、内部側部材１１６上の１つ又は複数のポイントが目標物体１５０に接触し、内部側部材１１６の各々は特定の曲率を有する。図２Ｂは、内部側部材１１６の各々を、目標物体１５０の円形形状に起因してその全長に沿って適合する曲率を有するものとして図示しているが、本開示はこれに限定されない。即ち、目標物体１５０が円形形状でない（例えば、不規則な形状を有する）実施形態では、内部側部材１１６と目標物体とが接触する１つ又は複数のポイントは、複数のセグメント１２４の１つ又は複数が、他の複数のセグメント１２４とは異なる曲率を有する場合がある。なお図２Ｂは、実質的にその全長に沿って目標部材１５０に接触する内部側部材１１６を示すが、本開示はこれに限定されない。即ち、目標物体１５０が円形形状でない（例えば、不規則な形状を有する）実施形態では、１つ又は複数の接触ポイントは、内部側部材の長さに沿った特定のポイントに分散し得る。目標物体１５０の形状とは無関係に、第１指１１２及び第２指１１８が目標物体１５０の周りの閉鎖された位置に対して互いに向かって移動したときは、第１指１１２及び第２指１１８の柔軟な特性により、一般に、目標物体の堅固な把持を維持し、かつ、柔軟な材料から形成されていないロボットエンドエフェクタに対する適所で目標物体を成功裏に保持するように、第１指１１２及び第２指１１８が目標物体の周りにおいて曲がることができる。

【0030】

再び図２Ａ及び図２Ｂを参照すると、柔軟なエンドエフェクタ１１０は、１つ又は複数の曲率センサ１３０及び１つ又は複数の触覚センサ１３２を含み得る。１つ又は複数の曲率センサ１３０は、一般に、第１指１１２の内部側部材１１６及び第２指１１８の内部側部材１１６の各々の曲率を検出するように配置されており、これには、各セグメント１２４の曲率が含まれる。１つ又は複数の触覚センサ１３２は、一般に、目標物体１５０と内部側部材１１６との間の接触によって生じる内部側部材１１６内の１つ又は複数の変形の位置を検出するように配置されており、これにより、目標物体１５０が図２Ｂに示すように把持されたときに、内部側部材１１６と目標物体１５０とが接触するポイントを求めることが可能になる。

【0031】

図２Ａ及び図２Ｂに示すように、曲率センサ１３０は、目標物体１５０から遠位側に（例えばそれぞれ、第１指１１２の遠位端１４２及び第２指１１８の遠位端１４４に向かって）配置される。但し、本開示はこれに限定されない。即ち、曲率センサ１３０は、各セグメント１２４の曲率が検出可能な任意の場所に配置可能である。例えば、図３に示すように、代替的な曲率センサ１３０’は、各指（図３では第２指を示す）の表面に配置された柔軟な材料のストリップであってもよい。例えば、柔軟な材料のストリップは、内部側部材１１６の全長に沿って延在し得る。図３では、代替的曲率センサ１３０’が内部側部材１１６の外側表面上にあるものとして示されているが、これは例示に過ぎない。即ち、代替的曲率センサ１３０’は、代替的曲率センサ１３０’が本明細書に記載されているように内部側部材１１６の曲率を適切に検出できる限り、内部側部材１１６の内側表面上、外部側部材１１４の外側表面上、外部側部材１１４の内部表面上、或いは、柔軟なエンドエフェクタ１１０に関連する任意の他の場所に、配置可能である。

【0032】

いくつかの実施形態では、代替的曲率センサ１３０’は、複数の曲率検出セグメント（例えば、第１曲率検出セグメント１３４ａ、第２曲率検出セグメント１３４ｂ、第３曲率検出セグメント１３４ｃ、第４曲率検出セグメント１３４ｄ及び第５曲率検出セグメント１３４ｅ）を有し得る。いくつかの実施形態では、曲率検出セグメントの各々は、内部側部材１１６の複数のセグメント１２４の各々に対応し得る。いくつかの実施形態では、曲率検出セグメントの１つ又は複数は、複数のセグメントに跨ってもよい。いくつかの実施形態では、曲率検出セグメントの１つ又は複数のスパンは、セグメントの長さ未満であってもよい。いくつかの実施形態では、１つの曲率検出セグメントは、他の曲率検出セグメント（例えば、オーバーラップしている複数の曲率検知セグメント）とオーバーラップしてもよい。

【0033】

再び図２Ａ及び図２Ｂを参照すると、１つ又は複数の触覚センサ１３２は、一般に、目標物体１５０と内部側部材１１６との間の接触の結果としてもたらされる圧力が接触位置の決定を目的として検出されるように、第１指１１２及び第２指１１８の内部側部材１１６の長さに沿った位置に配置可能である。例えば、図２Ａ及び図２Ｂに示すように、少なくとも１つの触覚センサ１３２は、そのセグメント１２４内の接触を検出するように、各セグメント１２４内に配置可能である。但し、１つ又は複数の触覚センサ１３２は、いくつかの実施形態では他の場所に配置可能であることを理解されたい。柔軟なエンドエフェクタ１１０の他の構成要素（例えば、他の触覚センサ１３２、複数のセグメント、遠位端１４２、１４４、近位端１４１、１４３、及び／又はこれらの類似物）に対する各触覚センサ１３２の正確な場所は、後のアクセスのために、ストレージ装置等に保存され得る。即ち、各触覚センサ１３２の場所が既知であることにより、ロボットアーム１００及び／又はその構成要素（例えば、柔軟なエンドエフェクタ１１０）が移動したときの自由空間内での各触覚センサ１３２の場所がわかる。このような情報は、特定の触覚センサ１３２が目標物体１５０との接触を検知しているか否かとは関係なく、ローカライズされたデータを提供することができる。例えば、特定の触覚センサ１３２との接触ポイントにおける目標物体１５０の温度を取得してもよいし、目標物体１５０を取り囲む特定エリア内の温度を取得してもよいし、かつ／又は、これに類似した内容が実行されてもよい。

【0034】

曲率センサ１３０の各々は、一般に、物体の曲率、特に、第１指１１２及び第２指１１８の内部側部材１１６の曲率を検出でき、これに対応するデータ（例えば、曲率データ）を出力する任意の装置であり得る。いくつかの実施形態では、曲率センサ１３０は、曲率を検出するように特に構成されたホール効果センサであり得る。いくつかの実施形態では、曲率センサ１３０は、例えばＴｅｋｓｃａｎ，Ｉｎｃ．（Ｓｏｕｔｈ Ｂｏｓｔｏｎ，ＭＡ）から入手可能なセンサ等の、柔軟な触覚センサであり得る。他の実施形態では、曲率センサ１３０は、Ｆｌｅｘｐｏｉｎｔ Ｓｅｎｓｏｒ Ｓｙｓｔｅｍｓ Ｉｎｃ．（Ｄｒａｐｅｒ，ＵＴ）から入手可能なＢｅｎｄ Ｓｅｎｓｏｒ（登録商標）等の物理的な屈曲センサであり得る。さらなる他の実施形態では、曲率センサ１３０は、曲率が（例えば、１つ又は複数の画像処理アルゴリズムを介して）決定され得るように内部側部材１１６の画像を取得する撮像装置等の、画像ベースのセンサであり得る。

【0035】

触覚センサ１３２の各々は、高分解能センサ又は低分解能センサであってもよい。高分解能センサは、一般に、比較的高レベルの精度又は空間密度で検出する任意の触覚センサのタイプを意味し、１つ又は複数のカメラ、高分解能圧力検出グリッド等を含み得る。低分解能センサは、一般に、比較的低レベルの精度又は空間密度で検出する任意の触覚センサのタイプを意味し、例えば単一ポイント圧力センサを含み得る。いくつかの実施形態では、触覚センサ１３２の各々は、計測され又は予め定めたエリアに付与された力に起因した変形又は撓みの量を計測するためにフォースコレクタ（例えば、ダイアフラム、ピストン、ブルドン管、ベローズ等）を使用する任意のフォースコレクタ式の装置であってもよく、これに対応するデータ（例えば、触覚データ）を出力する。従って、内部側部材１１６の変形が柔軟なエンドエフェクタ１１０と目標物体１５０との間の接触に起因して発生したときに、触覚センサ１３２は、変形の位置を正確に示すために、変形を検知するように配置及び構成されており、本明細書においてより詳細に述べるように、柔軟なエンドエフェクタ１１０の１つ又は複数の部分に対する目標物体１５０の位置、及び／又は把持されたときの目標物体１５０のポーズを判定するために使用可能である。いくつかの実施形態では、例えば温度等の他のデータを、触覚センサ１３２によって検出可能である。触覚センサの図示例は、ピエゾ抵抗歪ゲージセンサ、容量センサ、電磁センサ、圧電センサ、歪ゲージセンサ、光学センサ、及び電位差センサを含むが、これらに限定されない。いくつかの実施形態では、１つ又は複数の触覚センサ１３２は、圧力マップの形態でデータを生成する１つ又は複数の圧力マップセンサであり得る。他の実施形態では、１つ又は複数の触覚センサ１３２は、圧力を検出し、圧力データの形態で触覚データを生成す。他のタイプのセンサについても、一般に理解されているはずであり、本開示の範囲に含まれる。

【0036】

いくつかの実施形態では、曲率センサ１３０及び触覚センサ１３２は、単一の装置内に統合されてもよい。即ち、単一の装置は、曲率検出能力及び圧力検出能力の双方を有する。また単一の装置は、２つの別個のデータストリーム、即ち１つ又は複数のポイントにおける検出された曲率に関するもの（例えば、曲率データ）と、１つ又は複数のポイントにおける検出された圧力に関する他のもの（例えば、触覚データ）とを出力することができる。

【0037】

図４Ａを参照すると、ロボットアーム１００は、いくつかの実施形態では、把持されたときの目標物体１５０（図１）の向きを決定するためのプロセスを実行する１つ又は複数の演算装置と通信可能に接続可能である。但し、ロボットアーム１００は、他の実施形態では、把持されたときの目標物体１５０（図１）の向きを決定するためのプロセスを実行する１つ又は複数の内部コンポーネント（例えば、プロセッサ、メモリ等）を有し得ることを理解されたい。さらなる他の実施形態では、把持されたときの目標物体１５０（図１）の位置及び／又は向きを決定するためのプロセスを実行するために、ロボットアーム１００内の内部コンポーネントと１つ又は複数の他の演算装置との組合せを使用することができる。

【0038】

図４Ａに示すように、ロボット通信ネットワーク４００は、インターネット等のワイドエリアネットワーク（ＷＡＮ）、ローカルエリアネットワーク（ＬＡＮ）、モバイル通信ネットワーク、公衆サービス電話網（ＰＳＴＮ）、パーソナルエリアネットワーク（ＰＡＮ）、メトロポリタンエリアネットワーク（ＭＡＮ）、仮想プライベートネットワーク（ＶＰＮ）、及び／又は別のネットワークを含み得る。ロボット通信ネットワーク４００は、一般に、演算装置及び／又はそのコンポーネント等の１つ又は複数の装置を電子的に接続するように構成可能である。図示例の装置は、ロボットアーム１００、サーバ演算装置４１０、及び／又はユーザ演算装置４２０を含み得るが、これに限定されない。

【0039】

さらに図４Ａを参照すると、ユーザ演算装置４２０は、一般に、ユーザとロボット通信ネットワーク４００に接続された他のコンポーネントとの間のインターフェイスとして使用可能である。従ってユーザ演算装置４２０は、ユーザから１つ又は複数の入力を受け付け、又はユーザに情報を提供する等の、ユーザに対する１つ又は複数の機能を実行するために使用可能である。従ってユーザ演算装置４２０は、少なくともディスプレイ及び／又は入力ハードウェアを含み得る。サーバ演算装置４１０が監視、更新及び／又は修正を要求している場合には、ユーザ演算装置４２０は、望ましい監視、更新及び／又は修正を提供するように構成可能である。またユーザ演算装置４２０は、サーバ演算装置４１０に保存されているデータのコーパス内にさらなるデータを入力するために使用することもできる。例えば、ユーザ演算装置４２０により、ユーザが目標物体の既知の寸法に関するデータ、ピックアンドドロップ表面に関する詳細等を入力することが可能になる。

【0040】

サーバ演算装置４１０は、１つ又は複数のソース（例えば、１つ又は複数の触覚センサ（触覚データ）及び／又は１つ又は複数の曲率センサ（曲率データ））からデータを受け取ってもよいし、受け取ったデータの分析（例えば、目標物体の形状及び／又は寸法特性の決定、把持された目標物体のポーズの決定、目標場所の向きの決定、把持された目標物体を配置するためのロボットアーム１００への命令送信、等）を行ってもよいし、データを生成してもよいし、データを保存してもよいし、データにインデックスを付与してもよいし、データを探索してもよいし、かつ／又は、データをユーザ演算装置４２０及び／又はロボットアーム１００（又はその構成要素）に提供してもよい。より詳しくは、サーバ演算装置４１０は、本明細書にさらに詳細に記載されているように、目標物体に関する情報（識別情報、形状情報、及び／又は寸法情報を含む）を受け取ってもよいし、１つ又は複数の曲率センサ１３０（図２Ａ）及び１つ又は複数の触覚センサ１３２（図２Ａ）からデータを受け取ってもよいし、曲率及び目標物体１５０（図１）とロボットアーム１００（例えば、その柔軟なエンドエフェクタ１１０）とが接触する１つ又は複数のポイントを決定してもよいし、曲率及び１つ又は複数の接触ポイントから目標物体１５０のポーズを決定してもよいし、かつ／又は、これらに類似した内容を実行してもよい。いくつかの実施形態では、サーバ演算装置４１０は、本明細書にさらに詳細に記載されているように、上述のプロセスを実行するための１つ又は複数のソフトウェアモジュールを利用し得る。

【0041】

さらに図４Ａを参照すると、ユーザ演算装置４２０はパーソナルコンピュータとして図示され、サーバ演算装置４１０はサーバとして図示されているが、これらは非限定的な例であることを理解されたい。いくつかの実施形態では、これらの任意の構成要素のために、任意のタイプの演算装置（例えば、モバイル演算装置、パーソナルコンピュータ、サーバ、クラウドベースの装置ネットワーク等）を使用することができる。また、これらの演算装置の各々は、図４Ａではハードウェアの単一ピースとして示されているが、これも単なる一例である。ユーザ演算装置４２０及びサーバ演算装置４１０の各々は、複数のコンピュータ、サーバ、データベース、コンポーネント等を表し得る。

【0042】

図４Ｂは、本明細書に記載されている機能をサーバ演算装置４１０に提供する、サーバ演算装置４１０の例示的内部コンポーネントを示す。図４Ｂは、具体的にはサーバ演算装置４１０に関係しているが、同一又は類似のコンポーネントが、本開示の範囲を逸脱することなく、ロボットアーム１００及び／又はユーザ演算装置４２０（図４Ａ）内にも含まれ得ることを理解されたい。

【0043】

図４Ｂに示すように、サーバ演算装置４１０は、非一時的なメモリコンポーネント４３０、処理装置４４０、入出力（Ｉ／Ｏ）ハードウェア４５０、ネットワークインターフェイスハードウェア４６０、ユーザインターフェイスハードウェア４７０、及びデータストレージコンポーネント４８０を含み得る。バス等のローカルインターフェイス４２５が、様々なコンポーネントを相互接続し得る。

【0044】

コンピュータ処理ユニット（ＣＰＵ）等の処理装置４４０は、プログラムを実行するために計算及び論理動作を実行するサーバ演算装置４１０の中央処理ユニットであり得る。処理装置４４０は、単独の又は他のコンポーネントと関連する例示的処理装置であるか、演算装置であるか、プロセッサであるか、又はこれらの組合せである。処理装置４４０は、（データストレージコンポーネント４８０及び／又はメモリコンポーネント４３０等からの）命令を受け取って実行するように構成された任意の処理コンポーネントを含み得る。

【0045】

メモリコンポーネント４３０は、揮発性及び／又は不揮発性のコンピュータ可読媒体として構成可能であり、故にランダムアクセスメモリ（ＳＲＡＭ、ＤＲＡＭ、及び他のタイプのランダムアクセスメモリを含む）、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ、レジスタ、コンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、及び／又は他のタイプのストレージコンポーネントを含み得る。メモリコンポーネント４３０は、１つ又は複数のプログラミング命令を含むことができ、この命令は、処理装置４４０によって実行されると、図５に関して本明細書に記載されているプロセス等の種々のプロセスを処理装置４４０が完了させる。

【0046】

また図４Ｂを参照すると、メモリコンポーネント４３０に保存されているプログラミング命令は、複数のソフトウェアロジックモジュールとして具体化されてもよく、この場合には、各ロジックモジュールは、１つ又は複数のタスクを完了させるプログラミング命令を提供する。図４Ｂに示す例示的ロジックモジュールは、動作ロジック４３２、システムロジック４３４、物体決定ロジック４３６、及び／又はポーズ決定ロジック４３８を含むが、これに限定されない。図４Ｂに示すロジックモジュールの各々は、例えば、コンピュータプログラム、ファームウェア又はハードウェアとして具体化可能である。動作ロジック４３２は、オペレーティングシステム及び／又はサーバ演算装置４１０のコンポーネントを管理するための他のソフトウェアを含み得る。システムロジック４３４は、一般に、ロボットアーム１００（図４Ａ）の構成要素の動作を制御するためのロジックを含み得、この制御は例えば、ロボットアーム１００（及び／又はその構成要素）の運動の制御、ロボットアーム１００からのセンサデータ（例えば、触覚データ及び／又は曲率データ）の受信等である。図４Ｂをさらに参照すると、物体決定ロジック４３６は、１つ又は複数のプログラミング命令を含み得、該命令は、目標物体を決定するため、ロボットアーム１００（又はその構成要素）に対する目標物体の位置を求めるため、目標物体の形状を求めるため、目標物体の寸法的外観を求めるため、及び／又はこれらに類似した内容を実行するためのものである。ポーズ決定ロジック４３８は、１つ又は複数のプログラミング命令を含み得、該命令は、１つ又は複数のセンサ（例えば、曲率センサ、触覚センサ等）からデータを受け取るため、ロボットアーム１００の１つ又は複数の部分（例えば、１つ又は複数のセンサ）に対する目標物体の位置を求めるため、エンドエフェクタの１つ又は複数の部分の曲率を求めるため、エンドエフェクタと目標物体とが接触する１つ又は複数のポイントを求めるため、及び／又は、把持された目標物体のポーズを算出するためのものである。

【0047】

図４Ｂをさらに参照すると、Ｉ／Ｏハードウェア４５０は、ローカルインターフェイス４２５とロボットアーム１００（図４Ａ）の１つ又は複数の構成要素との間で情報を伝達することができる。例えば、Ｉ／Ｏハードウェア４５０は、ロボットアーム１００（図４Ａ）とサーバ演算装置４１０の他のコンポーネントとの間のインターフェイスとして機能することができ、本明細書にさらに詳細に記載されているように、サーバ演算装置４１０によるコマンド送信や、ロボットアーム１００とサーバ演算装置４１０との間でのデータ送信等を促進する。

【0048】

ネットワークインターフェイスハードウェア４６０は、モデム、ＬＡＮポート、無線フィデリティ（Ｗｉ－Ｆｉ）カード、ＷｉＭａｘカード、モバイル通信ハードウェア、及び／又は他のハードウェア等の、他のネットワーク及び／又は装置と通信するための任意の有線又は無線ネットワーキングハードウェアを含み得る。例えば、ネットワークインターフェイスハードウェア４６０は、外部装置、ユーザ演算装置４２０（図４Ａ）及びロボットアーム１００間での通信を、ロボット通信ネットワーク４００を介して促進するために使用可能である。いくつかの実施形態では、Ｉ／Ｏハードウェア４５０及びネットワークインターフェイスハードウェア４６０は、サーバ演算装置４１０との間での全ての通信を取り扱う単一の装置内に統合することができる。

【0049】

図４Ｂをさらに参照すると、データストレージコンポーネント４８０は、一般にストレージ媒体であってもよく、受け取ったかつ／又は生成されたデータを保存するための１つ又は複数のデータリポジトリを含み得る。データストレージコンポーネント４８０は、ハードディスクドライブ（ＨＤＤ）、メモリ、着脱自在のストレージ等を含む任意の物理的なストレージ媒体であり得るが、これに限定されない。データストレージコンポーネント４８０は、ローカル装置として図示されているが、データストレージコンポーネント４８０は、例えば、サーバ演算装置、クラウドベースのストレージ装置等のリモートストレージ装置でもよいことを理解されたい。データストレージコンポーネント４８０内に含まれ得る例示的データは、物体データ４８２、センサデータ４８４、及び／又は他のデータ４８６を含むが、これに限定されない。物体データ４８２は、一般に、特定の目標物体を認識するためにサーバ演算装置４１０によって使用されるデータであり得る。例えば、サーバ演算装置４１０は、ロボットアーム１００（図４Ａ）によって把持されたときの目標物体のポーズを推定するために、基準画像及び／又は特定の目標物体に関する他のデータ（例えば、目標物体の寸法、目標物体の形状、目標物体の識別等）を取得すべく物体データ４８２にアクセスすることができる。図４Ｂをさらに参照すると、物体データ４８２は、予め入力されたデータであってもよいし、或いは、サーバ演算装置４１０が目標物体の特定の特性を認識するために機械学習アルゴリズムを使用するように画像によって継続的に更新されるデータであってもよい。センサデータ４８４は、一般に、ロボットアーム１００（図４Ａ）と関連する様々なセンサから取得されるデータを含み得、該データは例えば、１つ又は複数の曲率センサ１３０（図２Ａ）から取得されるデータ（例えば、曲率データ）及び／又は１つ又は複数の触覚センサ１３２（図２Ａ）から取得されるデータ（例えば、触覚データ）である。さらに図４Ｂを参照すると、他のデータ４８６は、一般に、他の任意のデータであってよく、該データは、本明細書に記載されているように、エンドエフェクタの曲率を求めるため、接触ポイントを求めるため、１つ又は複数の構成要素（例えば、１つ又は複数のセンサ）に対する目標物体の位置を求めるため、接触が発生しているか否かとは関係なく特定のセンサからのローカライズされた情報を求めるため、把持された物体のポーズを決定するため、ロボットアーム１００（図４Ａ）を制御するための命令を決定するために使用される。

【0050】

図４Ｂに示す構成要素は、単なる例示であり、本開示の範囲を限定することを意図するものではないことを理解されたい。より詳細には、図４Ｂの構成要素は、サーバ演算装置４１０内にあるものとして示されているが、これは、非限定的な例である。いくつかの実施形態では、構成要素の１つ又は複数は、サーバ演算装置４１０の外部に存在し得る。

【0051】

上述のように、図４Ａ及び図４Ｂに関連して記載されている様々な構成要素は、目標物体を決定するため、目標物体の１つ又は複数の形状及び／又はサイズ特性を決定するため、目標物体に接触したときのロボットエンドエフェクタの曲率を決定するため、ロボットエンドエフェクタと目標物体とが接触する１つ又は複数のポイントを決定するため、把持された目標物体のポーズを決定するため、ロボットアームを動作させるための１つ又は複数の運動命令を決定するため、ロボットアームを運動させるように制御するために、１つ又は複数のプロセスを実行し、かつ／又は機能を提供するように使用可能である。以下、様々なプロセスの図示例が図５～図７に関連して記載されている。図５～図７に関連して記載されている様々なプロセスは、一般に、サーバ演算装置４１０、ユーザ演算装置４２０、ロボット１００、又は、１つ又は複数の曲率センサ１３０及び／又は１つ又は複数の触覚センサ１３２（図２Ａ）等の構成要素によって完了させることができる。図５は、把持された目標物体のポーズを決定する例示的方法を示しており、これは、目標物体を決定するステップと、目標物体の寸法及び／又は形状特性を決定するステップと、エンドエフェクタの曲率を決定するステップと、目標物体が把持されたときに（例えば、目標物体が操作されたときに）エンドエフェクタと目標物体とが接触する１つ又は複数のポイントを決定するステップと、を含む。図５に関連して記載されている様々なステップは、単なる例示であり、本開示の範囲を逸脱することなく、さらなる、少数の、又は代替のステップが想定される。なお、プロセスはサーバ演算装置４１０によって完了されるものとして記載されているが、本開示は、これに限定されない。即ち、様々なプロセスは、ロボットアーム１００（若しくはその構成要素）、ユーザ演算装置４２０（若しくはその構成要素）、又は、サーバ演算装置４１０（若しくはその構成要素）、ユーザ演算装置４２０（若しくはその構成要素）及びロボットアーム１００（若しくはその構成要素）の任意の組合せによって完了させることができる。

【0052】

また、図１、図２Ａ、図２Ｂ及び図４Ｂを全般的に参照すると、ブロック５０２において、データ（例えば、触覚データ）を１つ又は複数の触覚センサ１３２から受信することができる。即ち、１つ又は複数の触覚センサ１３２は、目標物体１５０と柔軟なエンドエフェクタ１１０上の１つ又は複数の特定ポイント（例えば、第１指１１２及び／又は第２指１１８の内部側部材１１６に沿った１つ又は複数のポイント）との間の接触を表す圧力を検出可能であると共に、１つ又は複数の特定ポイントの位置に対応するデータ（例えば、触覚データ）をサーバ演算装置４１０に送信可能である。いくつかの実施形態では、１つ又は複数の触覚センサ１３２は、例えば、目標物体１５０と柔軟なエンドエフェクタ１１０（例えば、第１指１１２及び／又は第２指１１８の内部側部材１１６）との接触によって１つ又は複数の触覚センサ１３２の各々に対して付与される力の量又は大きさに関するデータ、目標物体１５０と柔軟なエンドエフェクタ１１０との接触によって１つ又は複数の触覚センサ１３２の各々に付与される力の方向等のさらなるデータを、サーバ演算装置４１０に送信することができる。

【0053】

ブロック５０４において、データ（例えば、曲率データ）を１つ又は複数の曲率センサ１３０から受信することができる。即ち、１つ又は複数の曲率センサ１３０は、第１指１１２及び／又は第２指１１８の内部側部材１１６の各々のセグメント１２４の曲率を検出できると共に、各セグメント１２４の曲率に対応するデータ（例えば、曲率データ）をサーバ演算装置４１０に送信することができる。

【0054】

ブロック５０６において、１つ又は複数の曲率センサ１３０及び１つ又は複数の触覚センサ１３２から受け取ったデータから、指セグメントの数が決定される。このような決定は、一般に、第１指１１２及び第２指１１８の各々がセグメント化された１つ又は複数のポイントを決定するステップを含み得る。いくつかの実施形態では、各セグメントは、関節（例えば、各内部側部材１１６が横断支柱１２０に連結されているヒンジ連結部位）に対応し得る。このような実施形態では、ブロック５０６に従って指セグメントを決定するステップは、内部側部材１１６が横断支柱１２０に連結されている部位を撮像し又は他の方法で検出するステップ、又は関節の位置に関する情報を提供するデータにアクセスするステップを含み得る。他の実施形態では、各セグメントは、内部側部材１１６の新しい曲率が検出された（例えば、セグメントが屈曲ポイントによって分割されている）部位に対応し得る。このような決定は、１つ又は複数の曲率センサ１３０から得られたデータを分析し、曲率が変化している１つ又は複数の部位を算出することにより、完了させることができる。さらなる他の実施形態では、各セグメントは、内部側部材の長さに沿って任意に割り当ることができる。例えば、特定の内部側部材１１６が図６に示すように６つのセグメント（例えば、Ｓ_１、Ｓ_２、Ｓ_３、Ｓ_４、Ｓ_５、及びＳ_６）に分割されるべき場合には、分割ポイントは、各セグメントの長さが特定の長さになるように（例えば、各セグメントが等しい長さを有するように）選択することができる。

【0055】

図１、図２Ａ、図２Ｂ、図４Ｂ、図５及び図６を参照すると、ブロック５０８において、フレームが各指セグメントに割り当てられる。即ち、各指セグメントの近位端のポイントにおいて内部側部材１１６のカーブに接するフレームが割り当てられる。例えば、図６に示すように、フレームＦ_０、Ｆ_１、Ｆ_２、Ｆ_３、Ｆ_４、及びＦ_５は、それぞれ、各セグメントＳ_１、Ｓ_２、Ｓ_３、Ｓ_４、Ｓ_５、及びＳ_６の近位端のポイントにおいて、（例えば、近位端１４１に向かって）内部側部材１１６に配置される。但し、図６に示す割り当てられたフレームは、単なる例示であり、他の実施形態では、フレームに異なる場所を割り当て可能であることを理解されたい。フレームＦ_０、Ｆ_１、Ｆ_２、Ｆ_３、Ｆ_４、及びＦ_５は、各セグメントが対応する長さｌ_ｉ及び曲率κ_ｉを有するようにさらに規定されてもよい。曲率κ_ｉは、特定のセグメントの半径ｒ_ｉの逆数として定義される。曲率κ_ｉは、一般に、各フレームＦ_０、Ｆ_１、Ｆ_２、Ｆ_３、Ｆ_４、及びＦ_５ごとに一定であるが、フレームＦ_０、Ｆ_１、Ｆ_２、Ｆ_３、Ｆ_４、及びＦ_５のそれぞれの間においては変化してもよい。即ち、フレームＦ_０、Ｆ_１、Ｆ_２、Ｆ_３、Ｆ_４、及びＦ_５の各々は、曲率が変化している屈曲ポイントを規定することができる。従って、ブロック５０８に従ってフレームを割り当てるステップは、内部側部材１１６の曲率に沿った１つ又は複数の屈曲ポイントの決定に基づいてフレームを割り当てるステップを含み得る。

【0056】

さらに図１、図２Ａ、図２Ｂ、図４Ｂ、図５及び図６を参照すると、ブロック５１０において、接触ポイントの位置を決定することができる。即ち、１つ又は複数の触覚センサ１３２から受信したデータは、目標物体１５０と内部側部材１１６とが接触するポイントの位置をマッピングするために使用可能である。図６に示すように、接触ポイントは、ポイントＰにおいて規定されており、その理由は、１つ又は複数の触覚センサ１３２からのデータが、このポイントにおいて目標物体１５０と内部側部材１１６の間の接触を表しているからである（例えば、接触は、１つ又は複数の触覚センサ１３２の少なくとも１つに対して付与される力を生成する）。従って、ブロック５１０による決定は、内部側部材１１６に対する接触を表した触覚センサ１３２の位置を決定するステップと、触覚センサの位置及び検出された圧力の特性（例えば、位置、力の大きさ、力の方向等）に基づいて接触ポイントを決定するステップと、を含み得る。ブロック５１０によるこのような判定はまた、柔軟なエンドエフェクタ１１０の様々な他の部分に関する空間内の各触覚センサ１３２の位置を決定するステップを含んでもよく、これは、柔軟なエンドエフェクタ１１０及び／又はその１つ又は複数の構成要素に対する目標物体１５０の位置を決定するためにさらに使用可能であることを理解されたい。さらに、各触覚センサ１３２で受け取られた追加の情報は、目標物体１５０との接触が検出されているか否かとは関係なく、空間内の触覚センサ１３２の決定された位置と共に、場所に固有の情報（例えば温度等）を決定するために使用することもできる。

【0057】

ブロック５１２において、相対変換の組が算出され、フレームに対するポイントＰの位置が求められる。即ち、相対変換の組

【数1】

と、それぞれのベースフレームＦ_Ｃに対するポイントＰの位置とが、ワールド基準フレームＷ内に決定される。内部側部材１１６に使用されている材料の屈曲が平面的になるように制約されており、かつ断片ごとに一定の曲率によって近似され得ると仮定されている場合は、湾曲した内部側部材１１６の形状を形態計測によって再構築することが可能であり、かつ、ワールド基準フレームＷ内のポイントＰの一定の位置を、剛性構造運動学に類似した形態に低減することで計算することができる。

【0058】

図６を一例として使用すると、内部側部材１１６のカーブは、６つのセグメント（Ｓ_１、Ｓ_２、Ｓ_３、Ｓ_４、Ｓ_５、及びＳ_６）に分割される。各セグメントｉに、フレームＦｉがその近位端において割り当てられており、座標フレームＦｉは、そのポイントにおけるそのｘベクトルに沿ったカーブに接している。各セグメントは、対応する長さｌ_ｉと、（半径ｒ_ｉの逆数として定義された）曲率ｋ_ｉとを有する。相対変換の組

【数2】

と、そのベースフレームＦ_Ｃに対するポイントＰの位置とは、次式の通りであり、

【数3】

ここで、Ｉは０からｃまで変化するセグメントインデックスであり、これは、接触が発生したセグメントであり、さらに、

【数4】

は、セグメントＩ及びＩ＋１に関する座標フレーム間の相対変換である。上述の式（１）から、Ｐの位置は次式として得られ、

【数5】

ここで、Ｗ_ｐｐは、ワールド基準フレームＷ内のポイントＰの座標であり、

【数6】

は、ワールド（Ｗ）フレーム及び接触（Ｆ_Ｃ）フレームに対応する回転行列であり、

【数7】

は、Ｆ_Ｃフレーム内のポイントＰの座標であり、同様に、

【数8】

は、ワールドフレームとフレームＦ_Ｃとの間の位置ベクトルを表す。

【0059】

図７に示す各セグメントｉに対し、変換

【数9】

に対するフレームの変換は、

【数10】

を中心とした角度θだけのカーブに沿った平行移動として得られる。これは、次式として演算することが可能であり、

【数11】

ここで、相対位置ベクトル

【数12】

であり、且つ、θ_ｉ＝ｌ_ｉκ_ｉであり、κ_ｉ及びＲ_ｚ（θ_ｉ）は、

【数13】

を中心とした角度θ_ｉの回転を表す回転行列である。

【0060】

位置

【数14】

は、セグメントｃに沿った接触部位の円弧長ｌ_ｐが次式によって判明する場合は、同様に演算され、

【数15】

ここで、θ_ｐ＝κ_ｃｌ_ｃであり、κ_ｃはセグメントｃの曲率であり、フレームＦ_Ｃは、セグメントと関連付けられている。

【0061】

再び図１、図２Ａ、図２Ｂ、図４Ｂ、図５及び図６を参照すると、式（１）～式（４）に関連した上述の計算は、１つ又は複数の触覚センサ１３２から受け取られたデータが目標物体１５０と第１指１１２及び第２指１１８の内部側部材１１６との接触を表すポイントＰごとに完了可能であることを理解されたい。従って、ブロック５１４において、さらなるポイントが存在しているか否かが判定されている。存在している場合には、プロセスは、ブロック５１０及びブロック５１２によるプロセスがさらなるポイントＰごとに完了されるようにブロック５１０に戻ることができる。ポイントの全てが算出されたら、プロセスは、ブロック５１６に進むことができる。

【0062】

ブロック５１６では、ポーズ推定を目的として使用される連続データが全てのポイントから生成される。例えば、いくつかの実施形態では、ポイントは、後のアクセスのためにデータストレージコンポーネント４８０内において記録される連続データストリームとして保存可能である。他の実施形態では、連続データは、把持された目標物体１５０のポーズを決定するために使用されるアルゴリズム（例えば、ポーズ決定アルゴリズム）に連続的に供給可能である。

【0063】

従って、ブロック５１８では、把持された目標物体のポーズ（操作されるポーズ、把持ポーズ、又はインハンドポーズとも称される）が決定される。即ち、非限定的な例において、連続データは、把持された目標物体のポーズを決定するために使用されるＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズム等のポーズ決定アルゴリズムに供給可能である。また、把持された目標物体のポーズを決定するために、現在既知の、又は後に開発される他のアルゴリズムを使用することもできる。柔軟なエンドエフェクタ１１０（例えば、第１指１１２及び／又は第２指１１８）に接触しているマニピュランドからの接触ポイントの組［Ｐ_０、…、Ｐ_ｎ］を考える。本明細書に記載されている方法を通じて、ポイントの位置をワールドフレーム内で演算することが可能であり、故に、これをＩＣＰスタイルの最小化等のアルゴリズムにおいて直接的に使用することができる。１つの可能性は、予め演算された符号付き距離関数（ＳＤＦ）を通じてポーズを演算するためにＤＡＲＴ（Ｄｅｎｓｅ Ａｒｔｉｃｕｌａｔｅｄ Ｒｅａｌ Ｔｉｍｅ Ｔｒａｃｋｉｎｇ）アルゴリズム（及び／又は、現在既知の、又は後に開発される他のアルゴリズム）等の方法を使用することである。

【0064】

ここで、本明細書に記載されているシステム及び方法は、ロボットアームの柔軟なエンドエフェクタによって把持された物体のポーズを決定し得ることを理解されたい。システム及び方法は、柔軟なエンドエフェクタと把持された物体との接触によって生じる圧力に起因して変形したときに、柔軟なエンドエフェクタと把持された物体とが接触する１つ又は複数のポイント及び柔軟なエンドエフェクタの曲率を検出するために、柔軟なエンドエフェクタ又はその近傍に配置された１つ又は複数の触覚センサ及び１つ又は複数の曲率センサを含む。物体がリアルタイムで把持されている間に把持された物体のポーズを正確に求めるために、１つ又は複数のポイント及び柔軟なエンドエフェクタの曲率に対応するデータを使用することができる。把持された物体のポーズを正確に決定することにより、ロボット装置を制御するコンピュータシステムは、物体がピックアンドドロップタイプのシナリオにおいて柔軟なエンドエフェクタから解放されたときに物体の正確な配置を保証することになるロボット運動を決定することができる。

【0065】

本明細書において特定の実施形態が図示及び記載されているが、特許請求の範囲の主題の精神及び範囲を逸脱することなく、様々な他の変更及び変形が可能であることを理解されたい。さらに、本明細書において特許請求の範囲の主題の様々な態様が記載されているが、このような態様は、組合せて利用する必要はない。従って、添付の請求項は、特許請求の範囲の主題の範囲に含まれる全てのそのような変更及び変形をカバーすることが意図されている。
［構成１］
柔軟なエンドエフェクタにおいて位置決めされた１つ又は複数の触覚センサ及び１つ又は複数の曲率センサを有するロボットの柔軟なエンドエフェクタによって保持された物体を操作する方法であって、
処理装置により、前記１つ又は複数の触覚センサから触覚データを受け取るステップと、
前記処理装置により、前記１つ又は複数の曲率センサから曲率データを受け取るステップと、
前記処理装置により、前記曲率データから前記柔軟なエンドエフェクタの複数のセグメントを定めるステップと、
前記処理装置により、前記複数のセグメントの各々にフレームを割り当てるステップと、
前記処理装置により、前記触覚データから、前記物体と前記柔軟なエンドエフェクタとが接触する各ポイントの位置を求めるステップと、
前記処理装置により、相対変換の組を算出して、前記フレームの１つに対する各ポイントの位置を求めるステップと、
前記処理装置により、前記触覚データから求められた、前記物体と前記柔軟なエンドエフェクタとが接触する各ポイントの位置から連続データを生成するステップと、
前記処理装置により、前記連続データを使用して前記物体のポーズを求めるポーズ決定アルゴリズムに、前記連続データを提供するステップと、
前記処理装置により、求められた前記物体のポーズに基づいて前記物体を操作するように前記ロボットを制御するステップと、
を有する方法。
［構成２］
前記連続データをポーズ決定アルゴリズムに提供するステップは、前記連続データをＩＣＰ（Ｉｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ Ｐｏｉｎｔ）アルゴリズムに供給するステップを含む、構成１に記載の方法。
［構成３］
前記曲率データを受け取るステップは、前記柔軟なエンドエフェクタの指の内部側部材の複数のセグメントの曲率に対応する情報を受け取るステップを含む、構成１又は２に記載の方法。
［構成４］
前記相対変換の組を算出するステップは、前記内部側部材の前記複数のセグメントの１つの曲率に沿った、

【数1】

を中心とした角度θの平行運動を得ることにより、変換

【数2】

との関係におけるフレームの変換を演算するステップを含む、構成３に記載の方法。
［構成５］
前記フレームの前記変換を演算するステップは、次式として演算され、

【数3】

ここで、相対位置ベクトル

【数4】

であり、θ _ｉ ＝ｌ _ｉ κ _ｉ であり、κ _ｉ 及びＲ _ｚ （θ _ｉ ）は、

【数5】

を中心とした角度θ _ｉ の回転を表す回転行列である、構成４に記載の方法。
［構成６］
前記物体と前記柔軟なエンドエフェクタとが接触する各ポイントの位置を求めるステップは、前記柔軟なエンドエフェクタとの関係における前記触覚センサの少なくとも１つの位置を求めるステップと、前記触覚データから検知された圧力の特性を求めるステップと、を含む、構成１～５のいずれか１つに記載の方法。
［構成７］
前記フレームを前記複数のセグメントの各々に割り当てるステップは、前記柔軟なエンドエフェクタの曲率に沿った１つ又は複数の屈曲ポイントに基づいて前記フレームを割り当てるステップを含む、構成１～６のいずれか１つに記載の方法。
［構成８］
１つ又は複数の柔軟な指を有する柔軟なエンドエフェクタであって、前記柔軟な指の各々は、柔軟な内部側部材によって規定される、柔軟なエンドエフェクタと、
前記柔軟な指の各々の曲率を検出し、前記曲率に対応する曲率データを生成するように配置された１つ又は複数の曲率センサと、
前記柔軟な指の各々に隣接配置された１つ又は複数の触覚センサであって、前記柔軟なエンドエフェクタと前記柔軟なエンドエフェクタに保持された物体との間の接触によって生じる前記柔軟な内部側部材の１つ又は複数の変形の位置を検出し、前記１つ又は複数の変形の位置に対応する触覚データを生成するように構成された触覚センサと、
前記１つ又は複数の曲率センサ及び前記１つ又は複数の触覚センサと通信可能に接続された演算装置であって、前記曲率データ及び前記触覚データから連続データを生成し、前記連続データをポーズ推定アルゴリズムに供給することにより、前記柔軟なエンドエフェクタに保持された前記物体のポーズを求めるようにプログラミングされた演算装置と、
を有するロボット。
［構成９］
前記１つ又は複数の柔軟な指の各々はフィンレイ指である、構成８に記載のロボット。
［構成１０］
前記１つ又は複数の曲率センサは、前記１つ又は複数の柔軟な指の各々の表面に配置された柔軟な材料のストリップを有する、構成８又は９に記載のロボット。
［構成１１］
前記柔軟な材料のストリップは、複数の曲率検出セグメントを有する、構成１０に記載のロボット。
［構成１２］
前記柔軟な指の各々は、複数の指セグメントを規定し、
前記１つ又は複数の触覚センサは、複数の触覚センサを有し、
前記複数の触覚センサの少なくとも１つは、前記複数の指セグメントの各々に隣接配置されている、構成８に記載のロボット。
［構成１３］
前記１つ又は複数の触覚センサの各々は、計測されたエリア上に付与された力に起因した変形又は撓みの量を測定するためのフォースコレクタを使用するフォースコレクタ式装置である、構成８～１２のいずれか１つに記載のロボット。
［構成１４］
前記触覚データは圧力マップを有する、構成８～１３のいずれか１つに記載のロボット。
［構成１５］
前記１つ又は複数の曲率センサ及び前記１つ又は複数の触覚センサは、前記曲率データ及び前記触覚データを生成する単一装置内に統合されている、構成８～１４のいずれか１つに記載のロボット。
［構成１６］
前記演算装置は、プロセッサと、前記プロセッサと通信可能に接続された非一時的なプロセッサ可読ストレージ媒体とを有し、前記非一時的なプロセッサ可読ストレージ媒体は、１つ又は複数のプログラミング命令を含み、前記命令の実行により、前記プロセッサは、
前記１つ又は複数の触覚センサから前記触覚データを受け取り、
前記１つ又は複数の曲率センサから前記曲率データを受け取り、
前記曲率データから、前記１つ又は複数の柔軟な指の各々の複数のセグメントを定め、
前記複数のセグメントの各々にフレームを割り当て、
前記触覚データから、前記物体と前記１つ又は複数の柔軟な指とが接触する各ポイントの位置を求め、
相対変換の組を算出して、前記フレームの１つに対する各ポイントの位置を求め、
前記触覚データから求められた、前記物体と前記柔軟なエンドエフェクタとが接触する求められた各ポイントの位置から前記連続データを生成する、
構成８～１５のいずれか１つに記載のロボット。
［構成１７］
複数の柔軟な指を有する柔軟なエンドエフェクタを備えたロボットアームであって、前記柔軟な指の各々は、柔軟な内部側部材によって規定される、ロボットアームと、
前記柔軟な指の各々の曲率を検出し、前記曲率に対応する曲率データを生成する１つ又は複数の曲率センサと、
前記柔軟な指の各々に隣接配置された１つ又は複数の触覚センサであって、前記柔軟なエンドエフェクタと前記柔軟なエンドエフェクタに保持された物体との間の接触によって生じる前記柔軟な内部側部材の１つ又は複数の変形の位置を検出し、前記１つ又は複数の変形の位置に対応する触覚データを生成するように構成された触覚センサと、
前記１つ又は複数の曲率センサ及び前記１つ又は複数の触覚センサと通信可能に接続された演算装置であって、前記曲率データ及び前記触覚データから連続データを生成し、前記連続データをポーズ推定アルゴリズムに供給することにより、前記柔軟なエンドエフェクタによって保持された前記物体のポーズを求めるようにプログラミングされた演算装置と、
を有するロボット。
［構成１８］
前記複数の柔軟な指の各々はフィンレイ指である、構成１７に記載のロボット。
［構成１９］
前記１つ又は複数の曲率センサは、前記複数の柔軟な指の各々の表面に配置された柔軟な材料のストリップを有する、構成１７又は１８に記載のロボット。
［構成２０］
前記柔軟な指の各々は、複数の指セグメントを規定し、
前記１つ又は複数の触覚センサは、複数の触覚センサを有し、
前記複数の触覚センサの少なくとも１つは、前記複数の指セグメントの各々に隣接配置されている、構成１７～１９のいずれか１つに記載のロボット。

【図1】

【図2A】

【図2B】

【図3】

【図4A】

【図4B】

【図5】

【図6】

【図7】