特表 2022-546733 手の中の姿勢推定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-07

(54)【発明の名称】手の中の姿勢推定

(51)【国際特許分類】

   B25J 13/00 20060101AFI20221028BHJP

   B25J 13/08 20060101ALI20221028BHJP

【ＦＩ】

B25J13/00 Z

B25J13/08 Z

【審査請求】有

【予備審査請求】未請求

(21)【出願番号】P 2022514753

(86)(22)【出願日】2019-09-13

(85)【翻訳文提出日】2022-03-04

(86)【国際出願番号】 IB2019057734

(87)【国際公開番号】W WO2021048598

(87)【国際公開日】2021-03-18

(81)【指定国・地域】

(71)【出願人】

【識別番号】000002945

【氏名又は名称】オムロン株式会社

(74)【代理人】

【識別番号】100145403

【弁理士】

【氏名又は名称】山尾 憲人

(74)【代理人】

【識別番号】100189555

【弁理士】

【氏名又は名称】徳山 英浩

(72)【発明者】

【氏名】フォン ドリガルスキ，フェリクス

(72)【発明者】

【氏名】谷口 尚平

(72)【発明者】

【氏名】柴田 義也

(72)【発明者】

【氏名】井尻 善久

【テーマコード（参考）】

3C707

【Ｆターム（参考）】

3C707KS03

3C707KS04

3C707KS30

3C707KS31

3C707KS33

3C707KT01

3C707KT04

3C707LW12

(57)【要約】

ロボットによって保持される物体の手の中の姿勢を決定する方法（及び対応するエンティティ、コンピュータプログラム、システム、媒体）を提供する。この方法は、
－環境内で、物体を保持するロボットの手を動かすステップと、
－所定の時点に、ロボットが物体を保持している手の中の姿勢を先の相互作用情報に基づいて推定するステップを含み、先の相互作用情報は、先の時点での手の位置を示す位置情報と、ロボットが先の時点で環境参照要素と相互作用したか否かを示す相互作用ステータス情報を含み、先の時点は、所定の時点より前の時点である。

【特許請求の範囲】

【請求項1】

ロボットによって保持されている物体の手の中の姿勢を決定するための方法であって、
－環境内で、物体を保持している前記ロボットの手を動かすステップ
－所定の時点に、前記ロボットが前記物体を保持している手の中の姿勢を、先の相互作用情報に基づいて推定するステップを含み、
前記先の相互作用情報は、
先の時点での手の位置を示す位置情報と、
前記ロボットが前記先の時点で環境参照要素と相互作用したか否かを示す相互作用ステータス情報と、
を含み、
前記先の時点は、所定の時点より前の時点である
方法。

【請求項2】

前記位置情報は、それぞれの先の時点での複数の手の位置を示し、
前記相互作用ステータス情報は、前記それぞれの先の時点に対応して、前記ロボットが前記環境参照要素と相互作用したか否かを示す、
請求項１に記載の方法。

【請求項3】

前記先の相互作用情報は、前記ロボットが少なくとも１つの先の時点で環境参照要素と相互作用したことを示す相互作用ステータス情報を含む、
請求項１又は２に記載の方法。

【請求項4】

前記先の相互作用情報は、前記ロボットが少なくとも２つ、好ましくは少なくとも３つの先の時点で前記環境参照要素と相互作用したことを示す相互作用ステータス情報を含み、
前記位置情報は、対応する少なくとも２つ、及び、それぞれ３つの相互作用の時点での前記手の位置を示す、
請求項１乃至３のいずれか１に記載の方法。

【請求項5】

前記手の中の姿勢の推定は、前記先の相互作用情報に基づいて前記手の中の姿勢の事後確率を決定することを含む、
請求項１乃至４のいずれか１に記載の方法。

【請求項6】

前記手の中の姿勢の推定は、式（１．１）に基づいて前記手の中の姿勢を計算することを含み、
xは前記手の中の姿勢を表し、ctは前記手の姿勢を表し、ytは前記ロボットが前記環境参照要素と相互作用したか否かを示す
請求項５に記載の方法。

【数1】

【請求項7】

前記手の中の姿勢の前記事後確率が粒子フィルタ法を使用して決定される、
請求項５又は６に記載の方法。

【請求項8】

前記手の中の姿勢の前記事後確率が以下の式（１．２）に基づいて決定される、
請求項７に記載の方法。

【数2】

【請求項9】

前記粒子フィルタ法の粒子は、特定の粒子の相互作用ステータス情報に基づいて更新される、
請求項７又は８に記載の方法。

【請求項10】

前記環境との相互作用に応じた情報とは異なる情報に基づいて、前記先の時点より、より早い時点で、前記手の中の姿勢を推定することを含む、
請求項１乃至９のいずれか１に記載の方法。

【請求項11】

前記より早い時点での推定は、前記予め与えられた所定の手の位置情報、及び／又は、前記手と前記物体との間の相互作用を示すセンサ情報に基づいて、前記手の中の姿勢を推定することを含む、
請求項１０に記載の方法。

【請求項12】

前記手の中の姿勢の推定は、前記物体のモデルに基づく前記手の中の姿勢の推定を含み、
前記物体のモデルは、好ましくは、幾何学的モデルである、
請求項１乃至１１のいずれか１に記載の方法。

【請求項13】

前記相互作用ステータス情報は、センサ様式情報に基づいて決定される、
請求項１乃至１２のいずれか１に記載の方法。

【請求項14】

前記相互作用ステータス情報が、力トルクセンサ、触覚センサ、画像センサ、3Dセンサのうち１以上の出力に基づく、
請求項１乃至１３のいずれか１に記載の方法。

【請求項15】

ロボットによって保持されている物体の手の中の姿勢を決定するエンティティ（２００）であって、
－前記手が物体を保持している間、環境内で、前記ロボットの手を動かす動作コントローラ（２１０）と、
－指定された時点で、先の相互作用情報に基づいて、前記ロボットが前記物体を保持している手の中の姿勢を推定するプロセッサ（２２０）とを含み、
前記先の相互作用情報は、
位置情報は、先の時点での手の位置を示し、
相互作用ステータス情報は、前記ロボットが前記先の時点で環境参照要素と相互作用したか否かを示し、
前記先の時点は、所定の時点よりも前の時点である
エンティティ。

【請求項16】

前記位置情報は、それぞれの先の時点での複数の手の位置を示し、
前記相互作用ステータス情報は、前記ロボットが前記それぞれの先の時点に対応して、前記環境参照要素と相互作用したか否かを示す、
請求項１５に記載のエンティティ（２００）。

【請求項17】

前記先の相互作用情報は、前記ロボットが少なくとも１つの先の時点で前記環境参照要素と相互作用したことを示す相互作用ステータス情報を含む、
請求項１５又は１６に記載のエンティティ（２００）。

【請求項18】

前記先の相互作用情報は、前記ロボットが少なくとも２つ、好ましくは少なくとも３つの前記先の時点で環境参照要素と相互作用したことを示す相互作用ステータス情報を含み、
前記位置情報は、対応する少なくとも２つ、及び、それぞれ３つの相互作用時点での前記手の位置を示す
請求項１５乃至１７のいずれか１に記載のエンティティ（２００）。

【請求項19】

前記プロセッサ（２２０）は、前記先の相互作用情報に基づいて前記手の中の姿勢の事後確率を決定することにより、前記手の中の姿勢を推定する
請求項１５乃至１８のいずれか１に記載のエンティティ（２００）。

【請求項20】

前記プロセッサ（２２０）は、前記手の中の姿勢の推定は、式（１．１）に基づいて前記手の中の姿勢を計算し、
xは前記手の中の姿勢を表し、ctは前記手の姿勢を表し、ytはロボットが前記環境参照要素と相互作用したか否かを示す、
請求項１９に記載のエンティティ（２００）。

【数3】

【請求項21】

前記手の中の姿勢の事後確率は、粒子フィルタ法を使用して決定される、
請求項１９又は２０に記載のエンティティ（２００）。

【請求項22】

前記手の中の姿勢の事後確率は、式（１．２）に基づいて決定される、
請求項２１に記載のエンティティ（２００）。

【数4】

【請求項23】

前記粒子フィルタ法の粒子は、特定の粒子の相互作用ステータス情報に基づいて更新される、
請求項２１又は２２に記載のエンティティ（２００）。

【請求項24】

前記プロセッサは、さらに、前記環境との相互作用に関する情報とは異なる情報に基づいて、前記先の時点より、より早い時点で、前記手の中の姿勢を推定する、
請求項１５乃至２３のいずれか１に記載のエンティティ（２００）。

【請求項25】

前記プロセッサは、予め与えられた所定の手の位置情報、及び／又は、前記手と前記物体の間の相互作用を示すセンサ情報に基づいて、前記手の中の姿勢を推定することにより、前記より早い時点で推定する
請求項２４に記載のエンティティ（２００）。

【請求項26】

前記プロセッサは、前記物体のモデルに基づく前記手の中の姿勢の推定により、前記手の中姿勢を推定し、
前記物体のモデルは、好ましくは、幾何学的モデルである
請求項１５乃至２５のいずれか１記載のエンティティ（２００）。

【請求項27】

前記相互作用ステータス情報は、センサ様式情報に基づいて決定される、
請求項１５乃至２６のいずれか１に記載のエンティティ（２００）。

【請求項28】

前記相互作用ステータス情報は、力トルクセンサ、触覚センサ、画像センサ、3Dセンサのうちの１以上の出力に基づく、
請求項１５乃至２７のいずれか１に記載のエンティティ（２００）。

【請求項29】

請求項１５乃至２８のいずれか１に記載のエンティティを含むロボット。

【請求項30】

命令がコンピュータ上で実行されるときに、請求項１乃至１４のいずれか１のステップを実行するように構成された命令を含むコンピュータプログラム。

【請求項31】

命令がコンピュータ上で実行されるときに、請求項１乃至１４のいずれかのステップを実行するように構成された命令を含む媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ロボットによって保持されている物体の手の中の姿勢を決定するための方法（及び、対応するエンティティ、コンピュータプログラム、システム、媒体）に関する。

【背景技術】

【0002】

ロボット組み立て、特に自律型の場合、把持された物体の姿勢を推定することは重要な要件と作業である。例えば、ペグインホール挿入作業では、ロボットは、ペグと穴の間の相対的な位置と姿勢を知るために、手の中のペグの姿勢を正確に知る必要がある。これを知れば、ロボットは、例えば、順方向／逆方向の運動学やインピーダンス制御を使用して、ペグを穴に容易に挿入できる。しかしながら、多くの場合、把持された姿勢推定におけるノイズの多い測定による不確実性（ロボットの位置決めの許容誤差と同様に、グリッパーの把持面、リンク、ジョイントの摩耗、及び他の摂動）により、後続の操作作業が失敗する。また、従来技術は、しばしば、そのような作業を実行するために計算が複雑なモデルに依存するか、またはロボット及び／又は環境に関する多くの情報に依存し、それらは常に利用可能または入手が容易ではないため、実行の信頼性及び再現性を低下させ、また、設置費用を増加させる。

【発明の概要】

【0003】

本発明の目的の1つは、従来技術の解決策を改善すること、及び／又は従来技術の解決策で遭遇する問題のいくつかを克服することである。

【0004】

本発明の第１の態様によれば、ロボットによって保持される物体の手の中の姿勢を決定する方法が提供され、この方法は、環境において、物体を保持しているロボットの手を動かすステップと、所定の時点で、先の相互作用情報に基づいて、ロボットが物体を保持する手の中の姿勢を推定するステップを含む。先の相互作用情報は、先の時点での手の位置を示す位置情報、及び、ロボットが、先の時点で、環境参照要素と相互に作用したか否かを示す相互作用ステータス情報とを含む。先の時点は、指定された時点よりも前の時点である。

【0005】

任意選択で、本発明の第１の態様の方法では、位置情報は、それぞれの先の時点での複数の手の位置を示し、相互作用ステータス情報は、ロボットが、前記それぞれの先の時点に対応して、環境参照要素と相互に作用したか否かを示す。

【0006】

任意選択で、本発明の第１の態様の方法では、先の相互作用情報は、ロボットが少なくとも1つの先の時点で環境参照要素と相互作用したことを示す相互作用ステータス情報を含む。

【0007】

任意選択で、本発明の第１の態様の方法では、先の相互作用情報は、ロボットが少なくとも２つ、好ましくは少なくとも３つの先の時点で環境参照要素と相互作用したことを示す相互作用ステータス情報を含み、位置情報は、対応する少なくとも２つ、及び、それぞれ３つの相互作用の時点での手の位置を示す。

【0008】

任意選択で、本発明の第１の態様の方法では、手の中の姿勢の推定は、先の相互作用情報に基づく、手の中の姿勢の事後確率を決定することを含む。

【0009】

任意選択で、本発明の第１の態様の方法では、手の中の姿勢の推定は、式（１．１）に基づいて手の中の姿勢を計算することを含む。

【数1】

ここで、xは手の中の姿勢を表し、ctは手の姿勢を表し、ytはロボットが環境参照要素と相互作用したか否かを示す。

【0010】

任意選択で、本発明の第１の態様の方法では、手の中の姿勢の事後確率は、粒子フィルタ法を使用して決定される。

【0011】

任意選択で、本発明の第１の態様の方法では、手の中の姿勢の事後確率は、式（１．２）に基づいて決定される。

【数2】

【0012】

任意選択で、本発明の第１の態様の方法では、粒子フィルタ法の粒子は、特定の粒子の相互作用ステータス情報に基づいて更新される。

【0013】

任意選択で、本発明の第１の態様の方法では、環境との相互作用に依存する情報とは異なる情報に基づいて、前記先の時点より、より早い時点で、手の中の姿勢を推定することを含む。

【0014】

任意選択で、本発明の第１の態様の方法では、より早い時点での推定は、予め与えられた所定の手の位置情報、及び／又は、手と物体の間の相互作用を示すセンサ情報に基づいて、手の中の姿勢を推定することを含む。

【0015】

任意選択で、本発明の第１の態様の方法では、手の中の姿勢の推定は、物体のモデルに基づく手の中の姿勢の推定を含み、物体のモデルは、好ましくは、幾何学的モデルである。

【0016】

任意選択で、本発明の第１の態様の方法では、相互作用ステータス情報は、センサ様式情報に基づいて決定される。

【0017】

任意選択で、本発明の第１の態様の方法では、相互作用ステータス情報は、力トルクセンサ、触覚センサ、画像センサ、3Dセンサの間の1以上の出力に基づく。

【0018】

本発明の第２の態様によれば、ロボットによって保持される物体の手の中の姿勢を決定するエンティティ（２００）が提供され、このエンティティは、手が物を保持している間、環境内で、ロボットの手を動かす動作コントローラ（２１０）と、指定された時点で、先の相互作用情報に基づいて、ロボットが物体を保持している手の中の姿勢を推定するプロセッサ（２２０）とを含み、先の相互作用情報は、先の時点での手の位置を示す位置情報、及び、及び、ロボットが、先の時点で、環境参照要素と相互作用したか否かを示す相互作用ステータス情報とを含み、先の時点は、所定の時点よりも前の時点である。

【0019】

任意選択で、本発明の第２の態様のエンティティ（２００）では、位置情報は、それぞれの先時点での複数の手の位置を示し、相互作用ステータス情報は、ロボットが、前記それぞれの先の時点に対応して、環境参照要素と相互作用したか否かを示す。

【0020】

任意選択で、本発明の第２の態様のエンティティ（２００）では、先の相互作用情報は、ロボットが少なくとも1つの先の時点で環境参照要素と相互作用したことを示す相互作用ステータス情報を含む。

【0021】

任意選択で、本発明の第２の態様のエンティティ（２００）では、先の相互作用情報は、ロボットが少なくとも２つ、好ましくは少なくとも３つの先の時点で環境参照要素と相互作用したことを示す相互作用ステータス情報を含み、位置情報は、対応する少なくとも２つ、及び、それぞれ３つの相互作用時点での手の位置を示す。

【0022】

任意選択で、本発明の第２の態様のエンティティ（２００）では、プロセッサ（２２０）は、先の相互作用情報に基づいて手の中の姿勢の事後確率を決定することにより、手の中の姿勢を推定する。

【0023】

任意選択で、本発明の第２の態様のエンティティ（２００）では、プロセッサ（２２０）は、式（１．１）に基づいて手の中の姿勢を計算することによって、手の中の姿勢を推定するように構成される。

【数3】

ここで、xは手の中の姿勢を表し、ctは手の姿勢を表し、ytはロボットが環境参照要素と相互作用したか否かを示す。

【0024】

任意選択で、本発明の第２の態様のエンティティ（２００）では、手の中の姿勢の事後確率は、粒子フィルタ法を使用して決定される。

【0025】

任意選択で、本発明の第２の態様のエンティティ（２００）では、手の中の姿勢の事後確率は、式（１．２）に基づいて決定される。

【数4】

【0026】

任意選択で、本発明の第２の態様のエンティティ（２００）では、粒子フィルタ法の粒子は、特定の粒子の相互作用ステータス情報に基づいて更新される。

【0027】

任意選択で、本発明の第２の態様のエンティティ（２００）では、プロセッサは、さらに、環境との相互作用に依存する情報とは異なる情報に基づいて、先の時点より、より早い時点で、手の中の姿勢を推定する。

【0028】

任意選択で、本発明の第２の態様のエンティティ（２００）では、プロセッサは、予め与えられた所定の手の位置情報、及び／又は、手と物体の間の相互作用を示すセンサ情報に基づいて、手の中の姿勢を推定することにより、より早い時点で推定する。

【0029】

任意選択で、本発明の第２の態様のエンティティ（２００）において、プロセッサは、物体のモデルに基づく手の中の姿勢の推定により、手の中の姿勢を推定し、物体のモデルは、好ましくは、幾何学的モデルである。

【0030】

任意選択で、本発明の第２の態様のエンティティ（２００）では、相互作用ステータス情報は、センサ様式情報に基づいて決定される。

【0031】

任意選択で、本発明の第２の態様のエンティティ（２００）では、相互作用ステータス情報は、力トルクセンサ、触覚センサ、画像センサ、3Dセンサのうちの1以上の出力に基づく。

【0032】

任意選択で、本発明の第２の態様のエンティティ（２００）は、ロボットによって構成される。

【0033】

別の態様では、前記命令がコンピュータ上で実行されるときに、上記の第１の実施形態に記載されたステップのいずれか、及び／または、その任意の態様を実行するように構成された命令を含むコンピュータプログラムが提供される。

【0034】

別の態様では、前記命令がコンピュータ上で実行されるときに、上記の第１の実施形態に記載されたステップのいずれか、及び／または、その任意の態様を実行するように構成された命令を含む媒体が提供される。

【図面の簡単な説明】

【0035】

【図1】本発明の一実施形態に係る方法を示すフローチャートである。

【図2】本発明のさらなる実施形態に係る方法を示すフローチャートである。

【図3】本発明の一実施形態に係る装置のブロック図を示す。

【図4】本発明の一例に係る、環境に配置され、物体を保持するロボットの概略図である。

【図5】本発明の一実施形態に係る、命令の実行に適したコンピュータのブロック図を示す。

【発明を実施するための形態】

【0036】

本発明は、とりわけ、ロボット間の可能な相互作用を考慮することにより、手の中の姿勢をより適切に推定する発明者の認識に基づくものであり、特に把持された物体、及び／又は、把持手と、ロボットが配置されている（又は、動作している）、又は、移動できる環境に関する。

【0037】

図1に示されているフローチャートを参照して、ロボットによって保持される物体の手の中の姿勢を決定する方法に向けられた第１の実施形態について説明する。手の中の姿勢は、ロボットの手によって保持された物体の、手に対して（又は、より一般的には、ロボットに対して）相対的な位置を示し、例えば、手又はロボットに関連する値、又は、手／ロボットの外側／独立する参照システムに関連する値を含みうる、平行移動と回転の値を含む６次元ベクトル（これは非限定的な例（以下も参照））によって表現できる。したがって、手の姿勢は、物体が手又はロボットに対してどのように配置されているかを示す。例えば、手の中の位置は、物体の基準点とロボットの基準点（又は基準点である限り、ロボットの手、又は、ロボットの別の部分）との間の相対位置（又は、相対配置）を示す。好ましくは、基準点は、物体の方向も示す。さらなる説明と例は、さらに以下に提供される。ロボットは、（ロボット、及び／又は、その延長部の）動き、及び／又は、物体の把持を含む一連の動作を実行可能な任意のデバイスを対象とする。したがって、ロボットは、産業用ロボット、サービスロボット、対話型ロボット、マニピュレータ等を含む。本明細書では、好ましくは、手、及び／又は、ロボットが動いている間、手で物体を手で、把持、及び／又は、保持できるロボットの構成要素を指す。したがって、手は、物体を把持、及び／又は、保持できる任意の装置を含み、したがって、指、エンドエフェクタ（把持、及び／又は、保持できるロボットの延長の意味で）等、を含む。特に、用語の手は、例えば、擬人化された形状／構造のように、特定の形状又は構造に制限されない。

【0038】

ステップＳ１０において、ロボットの手は、環境内で物体を保持する間に動かされる。例えば、物体を把持すると、ロボットの手が軌道に沿って移動する。動き又は軌道は、例えば、ランダムで、所定のパターンに従って、プログラムされて、操作の制御の下で、又は、これらの組み合わせ等、所定の規則に従って決定される。環境は、ロボットの周囲を意図する。例えば、ロボットが設置されて動作できるテーブル又は表面（又は、その一部）、ロボットが動作できる部屋（又は、その一部）、又は、工場（又は、その一部）等、又は、これらの任意の組み合わせ。

【0039】

ステップＳ２０で、所定の時点に、ロボットが物体を保持している手の姿勢が推定される。推定は、先の相互作用情報に基づくことができ、先の用語は、相互作用情報が、推定が実行される所定の時点より（時刻が）前である時点を指すことを示す。早い時間は、また、相互作用情報が取得されたデータまたは証拠を示し、したがって推定が行われた時点で利用可能である。所定の時点は、推定が実行される時点であり、好ましくは、ある時点の決定に含まれる許容誤差を考慮に入れる（すなわち、この用語は正確な時点に限定されず、そのような推定を実行する時間間隔を含みうる。同様に、測定又はデータは、測定又は取得を行うために必要な時間間隔を含み得る時点に取得される)。

【0040】

上記で紹介した先の相互作用情報は、位置情報及びと相互作用ステータス情報を含む。

【0041】

位置情報は、先の時点での手の位置を示し、ここで、先の時点は、所定の時点より時刻が前の時点である。後述する1の例では、（推定が実行される）所定の時点はTiで表され、先の時点はTi-1で表される。したがって、位置情報は、推定が実行されるタイミングより前の時点でのロボットの手の位置を表し、例えば、以下に示すように、任意の適切なセンサによって取得できる。

【0042】

相互作用ステータス情報に移ると、これは、ロボットが先の時点で環境と、好ましくは、環境参照要素と相互作用したか否かを示す。ロボット及び環境参照要素は、相対的（空間的）な間隔によって特徴付けられ、これは、好ましくは、既知であるか、又は、参照点に基づいて計算できる。この間隔は、2つの要素の（相対的な）位置、相対的な距離、相対的な角度等、又は、これらの任意の組み合わせで表すことができる。環境参照要素は、環境に含まれる1つの要素を表し、これは、好ましくは、予め決定されている（したがって、参照の用語は、予め決定されたものと交換できる）。参照又は予め決定される要素は、要素とロボット（又は、その一部）との間の（空間の）間隔が既知であり、又は、ロボットと環境の予め決定された点に基づいて計算できることを意味する。ロボットとその要素の間の空間的な間隔が既知である（又は、計算できる）限り、要素（及び、対応する要素とロボットの間の相対位置／距離／角度）を動的に変更することができる。例えば、ロボットは、テーブルの表面（又は、その一部）が環境参照要素を表すように、テーブル上に配置され得る。テーブルの表面からのロボットの1つの所定のポイントの相対的な高さは、参照要素とロボットの間の所定の又は参照間隔の例である。他の例では、要素は、壁、環境内の線又はセグメント、環境内の特定の点、又は、それらの任意の組み合わせによって表すことができる。さらなる例では、ロボット自体、又は、ロボットの既知の部分又は表面を参照要素と見なすことができ、相対的な間隔は、ロボットの参照部分（例えば、ロボットの基部又はジョイント等の一部）とロボットの別の基準点の間の間隔であり得る。

【0043】

前述のように、相互作用ステータス情報は、ロボットと環境の相互作用があったか否かを示す。このようなロボットと環境の相互作用は、（ｉ）例えば、ロボット（手を含むその要素の1つ）が環境と相互作用する場合の直接的な相互作用、（ｉｉ）例えば、物体が保持する物体の場合の間接的な相互作用、又は、それらの組み合わせのいずれかであり得る。実際、物体がロボットによって（すなわち、ロボットの手によって）把持又は保持されている間、物体は、相互作用を決定する目的でロボットの一部とみなすことができる。間接接触の一例では、物体が下を向いた状態で保持されているペンであり、ロボットがテーブル上に置かれている場合を考えることができる（環境の例）。手をテーブルに向けて動かすと、ロボットの手がテーブルと相互作用する前に、物体がテーブルと相互作用する可能性がある（例えば、テーブルに接触することにより）。この場合、物体（及び、その結果として間接的な方法でロボット）がテーブルと相互作用したと判断できる。ペンが上を向いて保持される他の例では、ロボットの手（又は、腕等のロボットの他の要素）が物体の代わりにテーブルに接触し、テーブルとの（直接）相互作用が発生する場合がある。これらの例は、相互作用は、接触状態で表される。しかしながら、本発明は、接触状態に現手4区されず、実際、本発明で使用される接触は、ロボット／手及び／又は、物体が環境をかすめる場合も含み、ロボット／手及び／又は物体は、環境に接触しそうであるが、接触を逃す場合を含む。換言すると、接触には、例えば、所定の閾値内で環境に触れることに近い等、ロボットが環境に非常に接近する場合も含む。したがって、一般に、相互作用には、把持された物体の動きの結果として、ロボットを環境と物理的に結合する動作を含む。後述するように、適切なセンサを使用し得る。

【0044】

図１の方法は、他の例示的な言葉で説明することもできる。時点T_i-1で、ロボットが相互作用するか否か、例えば、上記の意味での環境に接触するか否かが決定される。同じ時点T_i-1、に手の位置も測定される。次に、時点T_iで、（ｉ）時点T_i-1での手の位置の測定値、及び、（ｉｉ）その時点T_i-1にロボットと環境の相互作用があったか否かの情報に基づいて、手の姿勢が推定される。換言すると、先の時点のデータは、手の位置とロボットが環境と相互作用した否かに関して収集される（「証拠」、測定可能な事実に基づいているため）。このように収集されたデータは、後の時点T_iで、手の中の姿勢の推定に利用される。発明者によって発見されたように、これは、簡単に取得できるいくつかの情報を使用することによって、すなわち、単純な測定のみを実行することによって、及び／又は、単純なセンサを使用することによって、また、比較的簡単な計算によって、手の中の姿勢の推定を可能にする。

【0045】

任意選択で、本実施形態の方法では、位置情報は、それぞれの先の時点での複数の手の位置を示し、ステータス相互作用情報は、ロボットが、それぞれの先の時点に対応して、環境参照要素と相互作用したか否かを示す。換言すると、さらに１以上の時点T_i-2、T_i-3、T_i-4、…での手の位置と、それらの時点T_i-2、T_i-3、T_i-4、…でのそれぞれのロボットと環境の相互作用ステータスを収集することが可能である。したがって、手の中の姿勢は、そのような利用可能な過去の情報の全て（又は一部）に基づいて推定できる。

【0046】

任意選択で、本実施形態の方法では、先の相互作用情報は、ロボットが少なくとも１つの先の時点で環境参照要素と相互作用したことを示す相互作用ステータス情報を含み、これは相互作用時点として示され得る。したがって、この相互作用時点に、位置情報は、ロボットと環境の相互作用が発生したときの手の位置を示す。したがって、この任意選択のシナリオでは、手の中の姿勢は、ロボットと環境の相互作用が発生した先の時点で取得された情報に基づいて推定される。実際、過去の時点T_i-1で（少なくとも）１つのロボットと環境の相互作用があった場合、時点T_iでの手の中の姿勢の推定の精度を大幅に向上させることができることがわかっている。したがって、限られた数の単純な測定と比較的少ない数の計算を使用しながら、高精度に到達できる。

【0047】

任意選択で、本実施形態の方法では、先の相互作用情報は、ロボットが少なくとも２つ、好ましくは少なくとも３つの先の時点で環境参照要素と相互作用したことを示す相互作用ステータス情報を含む。位置情報は、それぞれの少なくとも２つ、好ましくはそれぞれ３つの相互作用の時点での手の位置を示す。したがって、手の中の姿勢は、ロボットと環境の相互作用が発生した少なくとも２つ、好ましくは３つの時点に対応して得られた情報に基づいて推定できる。換言すると、ロボットと環境の相互作用が少なくとも２回、または対応して少なくとも３回発生した後、推定が計算される時点より前に、手の姿勢を推定できる。換言すると、手の中の姿勢の推定は、各相互作用の後に改善できる。実際、少なくとも２つ、できれば３つの先のロボットと環境の相互作用があった場合、手の中の姿勢推定の精度をさらに高めることが可能であることがわかっている。特に、これらのケースは、例えば、より早いロボットと環境の相互作用が発生した場合と比較した場合、処理リソースの増加に比例して精度が向上していることを示す（つまり、精度のわずかな向上は、はるかに多くの相互作用の時点が考慮される場合に必要な追加の計算能力と同一基準ではない）。いずれにせよ、少なくとも１つの相互作用により、推定される手の中の姿勢が大幅に増加し、複数の相互作用によってそのような精度が向上する。

【0048】

任意選択で、本実施形態の方法では、手の中の姿勢の推定は、先の相互作用情報に基づく手の中の姿勢の事後確率を決定することを含む。例は、例えば、ベイジアンモデルを参照して、以下にも提供される。

【0049】

任意選択で、本実施形態の方法では、手の中の姿勢の推定は、式（１．１）に基づいて手の中の姿勢を計算することを含む。

【数5】

【0050】

ここで、x（変数を示す）は手の中の姿勢を表し、ct（変数を示す）は手の姿勢を表し、yt（変数を示）はロボットが環境参照要素と相互作用したか否かを示す。例と他の図を以下に示す。

【0051】

任意選択で、本実施形態の方法では、手の中の姿勢の事後確率は、粒子フィルタ法を使用して決定される。また、ここでは、例と他の図を以下に示す。

【0052】

任意選択で、本実施形態の方法では、手の中の姿勢の事後確率は、式（１．２）に基づいて決定される。

【数6】

【0053】

任意選択で、本実施形態の方法では、フィルタ方法の粒子は、特定の粒子の相互作用ステータス情報に基づいて更新される。換言すると、粒子を更新するとき、粒子が発生した相互作用を参照しているか否か、例えば、粒子が発生した接触を参照しているか否かが重要になる。特に、粒子は、相互作用（例えば、接触）が発生した粒子に基づいて更新される。実際、接触状態に対応する粒子に基づいて粒子を更新することにより、手の中の姿勢の推定の精度を高めることが可能であることが見出された。粒子フィルタリング法では、粒子の更新はリサンプリングとも呼ばれる。現在の発見を適用できる粒子フィルタの一般的な説明は、例えば「デルモラル、ピエール、１９９６、非線形フィルタリング、相互作用粒子ソリューション」、またはhttp://www.it.uu.se/katalog/andsv164/Teaching/Material/PF_Intro_2014_AndreasSvensson.pdf(「粒子フィルタの概要」、ウプサラ大学情報技術学部のアンドレス スヴェンソンによるプレゼンテーション、２０１４年６月１０日）。

【0054】

任意選択で、本実施形態の方法では、環境との相互作用に応じた情報とは異なる情報に基づいて、前の時点より、さらに前の時点で、手の中の姿勢が推定される。特に、さらに前の時点は、方法を初期化するために所定の情報が使用されるように、利用可能な測定値がない初期時点（例えば、推定方法が開始されたとき、又は、開始されようとしているとき）を含み、すなわち所定の情報（これらは必ずしも測定値ではないが、先の測定値、及び／又は、他の方法で取得された情報である可能性がある）が、次の時点T_iで推定プロセスを開始するために使用される。

【0055】

任意選択で、本実施形態の方法では、予め与えられた手の位置情報（例えば、既知）、及び／又は、手と物体の間の相互作用を示すセンサ情報に基づいて、より早い時点で手の中の姿勢を推定する。さらに後述するように、手と物体との間の相互作用の徴候を提供するために、異なるセンサが適している。

【0056】

任意選択で、本実施形態の方法では、手の中の姿勢の推定は、物体のモデル（好ましくは、幾何学的モデル）に基づいて、手の中の姿勢を推定することを含む。モデルの実物の情報があるため、手で持つ間、物体の空間内の配置をより正確に決定することが可能である。次に、例えば、ペグインホールタスク等などのタスクをより正確に実行できる（タスクの実行は任意であり、重要なのは手の中の姿勢の推定である)。CADモデルは、物体のモデルの例である。手の姿勢を取るために、物体のモデルは必ずしも必要ではなく、実際、物体（又は、物体のクラス）は、多くの場合、１つの情報で近似又は表現でき、好ましくは予め知られ、又は、想定、推定又は測定（又は、それらの組み合わせ）することができる。例えば、球形の物体（例えば、ボール）の場合、手の姿勢は球の中心を基準にして定義できる。例えば、細長い物体（つまり、長さのように主に1次元に伸び、他の方向を無視できる物体、例えば、ペン、スティック）の場合、手の姿勢は細長い物体の遠位端の1つに対して、又は、細長い物体の中心または別の点などに対して相対的に定義できる。これらの例でわかるように、手の中の姿勢を６次元のベクトルで表す必要は厳密にはなく、例えば、物体の基準点と手の基準点との間の距離、又は、物体の基準寸法（例えば、縦方向の延長）と手／ロボットの基準軸との間の角度を指定するだけで十分な場合がある。前述のように、モデル（又は、またはその近似）に関する情報は、事前に決定する必要はない。例えば、画像認識は、(手で握られている、又は、手で握られようとしている）物体に対して実行でき、その結果、物体を分類、認識、又は、推定でき、それにより、手の姿勢を、物体の分類／認識／推定に基づいて決定できる。また、上記の参照は、モデルとしての分析幾何学的形状、また、一般に、例えば、幾何学を考慮に入れることによって、空間内の物体の位置を推定できる任意のモデル行われた。例えば、電気伝導率又は熱伝導率を表すモデルのように、（異なる）検知様式が使用される場合、それらの様式を表すモデルを使用できる。物体が伸び縮みする場合、モデルは、任意で、幾何学、及び／又は、他の感知様式を記述するモデルに加え、その剛性、弾性、粘度等、又は、任意の組み合わせを含むことができる。

【0057】

他の例：CADモデルではなく、分析的な幾何学的形状について上述した。空間内の物体の位置を推定しているため、どのモデルも幾何学に関連させる必要があるだろう。異なる検知様式が使用される場合、それらの様式を表すモデルが使用される場合がある（例えば、電気伝導率又は熱伝導率）。物体が柔軟である場合、モデルには、単純な幾何学を超えた剛性／弾性／粘度を含める必要があってもよい。

【0058】

任意選択で、本実施形態の方法では、相互作用ステータス情報は、センサ様式情報に基づいて決定される。センサ様式情報は、センサ様式を感知するのに適したセンサ、すなわち、刺激の１つの側面、又は、刺激後に感知／検出可能であるものを検出するのに適したセンサにより提供される情報を表す。他の例は、そのようなセンサが、近接センサ、赤外光センサ、電気接触センサ等、又は、それらの組み合わせによって提供されることである。

【0059】

任意選択で、本実施形態の方法では、相互作用ステータス情報は、力トルクセンサ、触覚センサ（複数のセンサを含む）、画像センサ、3Dセンサ等、又は、これらの組み合わせ野１以上の出力に基づく。またはそれらの組み合わせ。例えば、力-トルクセンサ出力を使用して、物体、及び／又は、ロボットが環境に接触したか否かを判断できる。画像認識（物体が環境内で移動している間に撮影された画像）を使用して、物体が環境に接触しているか否かを判断できる。また、画像認識を使用して、物体がどこにあるか、その境界がどこにあるか等を判断する（これが環境との相互作用をもたらすか否かを判断するため）。（これらの方法を組み合わせ得る)。同様の検討が他のセンサにも当てはまる。

【0060】

図２を参照して、ロボットによって保持されている物体の手の中の姿勢を決定する方法に向けられた第２の実施形態が説明される。特に明記されていない限り、上記と同じ検討が適用され、繰り返されないようになっている。初期化は、ステップＳ１１０で実行され、これは、測定データに依存することなく、時点T₀での手の中の姿勢の初期推定を提供することを含む。初期推定は、例えば、予め与えられた所定の手の位置、例えば、平坦な確率分布のような手の中の姿勢の所定（例えば、事前）の確率分布、手と物体の間の相互作用を示すセンサ情報に基づいて提供できる（例えば、触覚センサ、アレイセンサ等によって与えられる）。ステップＳ１１０において、ロボットは、上述もしたように、物体を保持している手が軌道に沿って移動するように制御される。初期推定、及び、移動の開始は、同時に、又は、異なる時点で行い得る。

【0061】

ステップＳ１５０で例示される時点T₁において、特に、物体を保持する手が少なくともある程度の動きを行った後（すなわち、手が少なくとも特定の量動いた後）、ロボットと環境の相互作用が発生するか否か決定され、時点T₁での相互作用ステータス情報が生成される。例えば、「１」は相互作用が発生したことを示し、「０」は相互作用が発生していないことを示す（他の表現も可能）。さらに、時点T₁での位置情報が得られるように、手の位置も測定される。このようにして、時点T₁でのより先の相互作用情報を取得することが可能であり、これは、時点T₁での手の位置、及び、ロボットと環境の相互作用に関する情報が含まれる。したがって、ロボットと環境の相互作用及び手の位置が測定され、同じ時点T₁を参照する（前述のように、特に許容誤差を考慮に入れると、測定、及び／又は、検出期間と見なされ得る）。先の時点の情報は、同時に準備されることが好ましいが、実際には必ずしも、測定値を取得した後に（すぐに）生成される可能性があるため、必ずしもの必要はない。

【0062】

ステップＳ１６０に対応して例示された時点T₂において、時点T₁で得られた先の相互作用情報を使用することにより、手の中の姿勢の推定が実行される。測定データの貢献で、手の中の姿勢を一定の精度で推定できる。相互作用ステータス情報が、ロボットと環境の相互作用が１回発生したことを示している場合、例えば、ロボットが環境参照要素に接触した（又は、接触したに近い）場合、手の中の姿勢をさらに正確に推定できる。

【0063】

例えば、時点T₂（又は、続く時点、すなわち、T₂での推定の後）において位置情報及び相互作用ステータス情報を収集することによって、すなわち、時点T₂で先の相互作用ステータス情報を得するように、時点T₂でステップＳ１５０を繰り返すことによって、プロセスを繰り返すことが可能である。そのような先の相互作用ステータス情報は、時点T₁での測定も含み得る。すなわち、T₁及びT₂で可能なデータの両方がそこに含まれ得るか、又は、時点T₂の最新のデータのみが含まれ得る。次に、方法は、ステップＳ１６０に進むことができ、推定は、新たに利用可能な先の相互作用ステータス情報を考慮することにより、時点T₃で実行される。このプロセスは、続く時点T₃、T₄、…でさらに繰り返すことができる。このようにして、手の中の姿勢の推定の精度をさらに向上させることができる。特に、ロボットが環境と少なくとも２回、好ましくは３回相互作用した場合、上述もしたように、精度をさらに改善することができる。図２では、初期化ステップＳ１１０と反復が破線で示され、は、それらの選択性を強調する。実際、本発明は、データが時点T_i-1で収集され、その後の時点T_iで、T_i-1で収集されたデータに基づく推定が実行される限り、作用する。

【0064】

上記の方法は、コンピュータ、プロセッサ、プロセッサ及び／又は処理ユニットの組み合わせ、単一のデバイス、複数の相互接続されたデバイス（例えば、クラウド）、又は、それらの組み合わせによって実行できる。

【0065】

さらなる実施形態及び実施例を以下に説明し、上述したことは、特に明記しない限り、以下のさらなる実施形態及び実施例に等しく適用され、逆もまた同様であり、そのため、繰り返しが回避される。

【0066】

図３を参照して、ロボットによって保持され物体の手の中の姿勢を決定するエンティティ２００に向けられた第３の実施形態がここで説明される。エンティティは、ソフトウェア、及び／又は、ハードウェアの任意の組み合わせによって実現でき、単一のデバイスに集中させてもよく、又は、好ましくは、（任意の適切な通信ネットワークを介して）相互接続され、複数のデバイスに分散させてもよい。エンティティ２００は、動作コントローラ２１０及びプロセッサ２２０を備える。

【0067】

手動作コントローラ２１０は、手が物体を保持している間に、ロボットが配置または動作している環境で、ロボットの手が動くように、ロボットの手を制御する。したがって、動作コントローラはロボットの手の動きを引き起こす。動きは、連続的な軌道、又は、それぞれが動きのセクション（又は、長さ）を表す一連の異なる軌道に従ってもよい。

【0068】

プロセッサ２２０は、所定の時点T_iにおいて、先のTi_-1に関連する先の相互作用情報に基づいて、ロボットが物体を保持している手の中の姿勢を推定する。先の相互作用情報には、位置情報と相互作用ステータス情報が含まれる。位置情報は、時点T_i-1における手の位置を示す。相互作用ステータス情報は、ロボットが時点T_i-1に環境参照要素と相互作用したか否かを示す。

【0069】

したがって、時点T_i-1での手の位置とロボットと環境の相互作用に関するデータに基づいて、時点T_iでの物体の手の姿勢を推定できる。

【0070】

本実施形態のエンティティは、繰り返しが省略されるように、さらに、上述又は後述される操作のいずれか（及び、任意の組み合わせ）を実行する。

【0071】

エンティティ２００は、ロボット内に含まれてもよく、又は、ロボットと通信している間、ロボットから離れて配置されてもよい。他の例では、エンティティ２００は、例えば、部分的にロボット内に配置され、部分的に遠隔配置されてもよく、又は、分散方式ですべてロボットから遠隔的に実現されるように分散されてもよい。

【0072】

図４は、本発明を適用できるロボット構成の例示的な例を示す。図示されるように、この例では、ロボットRは、物体Oを握り、及び、保持するのに適した２本の指R1及びR2を有する手Mを備える。この例では、物体は、細長い形状であるため、他の寸法を無視して、おおよそ長さLのスティックとすることができる。他の物体及び形状も可能である。ロボットRは、環境内に配置される（又は、動作する）。より具体的には、この例では、ロボットRはテーブルTに取り付けられる（Tは、一般に、例えば、テーブル、舗装等の表面を表すことができる）。もちろん、環境には、例えば壁、家具、工業用工具等の、他の要素が含まれ得るが、これらは単純化のために表されていない。テーブルTは、ロボットと環境参照要素Tとの間の相対的な間隔が知られているという意味で、環境の参照要素を表す。この例では、ロボットRと環境参照要素Tとの間の相対的な間隔は、テーブルTからのロボットRの高さHによって表される。より具体的には、高さHは、ロボットRの点P1（ロボットRが特定の位置または構成にあるとき）、及び、テーブルTの点P2を参照して知ることができる。幾何学と運動学により、ロボットとその要素が動作中、つまりロボットが移動しているときに想定できる他の位置または構成での高さH'を決定できる。物体Oを握ると、ロボットは環境内で物体を動かすように制御される。移動中、ロボットと環境の相互作用及び対応する手の位置は、時点T_i-1で検出又は測定される。収集された測定値又はデータは、時点T_iで使用され、手の中の姿勢を推定する。ロボットが環境、特に環境参照要素と相互作用（例えば、接触）する場合、手の中の姿勢の推定を大幅に向上させることができる。これは次のように説明できる。ロボットRがテーブルTに接触すると、テーブルとロボットの間の相対的な間隔は、既知又は計算可能（例えば、動作／運動学に基づいて）で、手の中の姿勢の推定を改善するために使用できる追加の利用可能な情報を表す。

【0073】

次に、手の中の姿勢の推定は、ロボットの任意の部分に相対的であるという意味で、ロボットに相対的な物体の相対的な配置を示す。一例では、手の中の姿勢は、ロボットの手に対して相対的であり得、例えば、手に対して物体Oの並進及び回転を提供する６次元ベクトルによって示され得る。別の例では、図４に示されている物体Oの手の中の姿勢は、物体Oが手に対して上向きか下向きかを示す情報によって与えられ、つまり、必ずしも６次元ベクトルで表す必要はない。

【0074】

図５を参照して、例えば、第１の実施形態を参照し、命令がコンピュータ上で実行されるときに、上記の方法のステップ及びその変形のいずれかまたは組み合わせを実行するように構成された命令を含むコンピュータプログラムに向けられたさらなる実施形態を説明する。図５は、前述のプログラムを実行できるコンピュータ（５００）を例示するブロック図を示している。特に、コンピュータ（５００）は、プログラム命令及び／又はその実行に必要なデータを格納するためのメモリ（５３０）、命令自体を実行するためのプロセッサ（５２０）、及び、入出力インターフェース（５１０）を備える。命令は、本明細書に示されているもの、実行される任意のステップ、ステップの任意の組み合わせであり得る。

【0075】

他の図示されていない実施形態では、プログラムがコンピュータ上で実行されるときに、例えば第１の実施形態を参照して示されるように、上記の方法によるステップの1つ又は組み合わせを実行するように構成されたコンピュータプログラムをサポートする媒体が提供される。メディアの例としては、静的及び／又は動的メモリ、固定ディスク、又は、CD、DVD、ブルーレイ等の他のメディアがある。媒体はまた、ケーブル伝送（イーサネット、光等）、又は、無線伝送（セルラー、衛星、地上デジタル等）の手段を含む、命令を表す信号をサポートできる手段を含む。

【0076】

別の図示されていない実施形態では、例えば、図３に示される実施形態を参照して示されるように、ロボット及びエンティティを含むシステムが提供される。システムを実現する際に、エンティティは、ロボットから離れて、または部分的に内部に配置され得る。またはロボットの近くで、部分的にロボットの外側にある。他の例では、エンティティは、ロボットと統合されているか、ロボット内に統合されて、手の中の姿勢を推定するシステムを形成するか、ロボットの近くに配置（例えば、取り付けられる）される

【0077】

以下に、手の中の姿勢を推定する方法を示す実例を示す。より具体的には、この例では、手の中の姿勢の推定方法が粒子フィルターフレームワークによって定式化され、把持された物体と環境との間の相互作用を利用することによって推定を徐々に更新する。

【0078】

多くの産業用ロボットは、一般的に位置が非常に正確であり、把持した姿勢の推定誤差は５［ｍｍ］未満であると想定できる。この例のフレームワークでは、ロボットは、把持された物体と、テーブルなどの環境内の物体（上記では環境の要素とも呼ばれる）との間で（少なくとも1つの）接触を行い、ロボット座標でのテーブル位置を知りながら、環境に衝突したときの、ロボットエンコーダ情報からの推定値を更新する。ロボットエンコーダ情報は、手の位置情報の一例である。これらの相互作用を繰り返すことにより、目的は、手の中の姿勢の推定の１［ｍｍ］未満の精度を達成することである。ここでも、把持した物体がロボットの手にしっかりと固定されており、姿勢を変更できないと仮定している。

【0079】

相対的な把持された物体の姿勢、t番目の相互作用（接触）での手の姿勢、及び、その時点でのステータスを、それぞれx、ct、及びytとする。ここで、xとctは並進（ユークリッド空間座標∈R3）と回転（オイラー角R3）を含む６次元ベクトルであり、ytは接触又は非接触を示すバイナリ値（∈｛０，１｝）である。

【0080】

この例では、推定値は、粒子フィルタを使用して、例えば、次のように更新できる。目的は、環境｛yt，ct｝^T _{t = 1}との相互作用によって得られた一連の測定値について、把持された物体の相対姿勢xを推定することである。これは、ベイズ設定で事後確率p（x | ｛yt，ct｝^T _{t = 1})。事後確率は次の式で与えることができる。

【数7】

【0081】

上記は、T番目の相互作用後の関連する姿勢の事後確率は、T-1番目の相互作用後の事後確率（式（１．１））及び、T番目の環境との相互作用の尤度によって計算できることを示す。

【数8】

しかしながら、多くの場合、式（２）の右辺の周縁化（式（１．３））は解析的に計算できないため、事後確率（式（１．１））を閉じた形で計算することはできない。

【数9】

事後確率を閉じた形で与えることができない場合、ベイズ統計と機械学習の分野でいくつかの近似方法が提案されている。その中で、この例では、サンプリングベースの近似の1つである粒子フィルタリング法が使用される。サンプリングベースの方法のファミリーは、変分法またはカルマンフィルター処理と比較して、粒子の数を増やすことにより、実際の後方への漸近収束を保証する。現時点での目的は、相対的な姿勢の非常に正確な推定を実現することである。したがって、高速計算に有利な最適化ベースの方法ではなく、サンプリングベースの方法がより高い精度を得るために選択された。

【0082】

粒子フィルタでは、T-1回での事後確率（式（１．１））からサンプリングされたポーズ推定値（式（１．４））の粒子を使用して、式（２）の右辺の周辺化を近似できる（３）。

【数10】

しきい値は、十分に小さい値である場合、たとえば約０．５［ｍｍ］とする。

【0083】

これにより、粒子を使用した近似後方計算が可能になる。粒子の次のサンプリングは、更新後の事後確率（式（１．１））に基づいて行われる。

【数11】

ここで、式（３）の各粒子について、更新された事後確率の尤度は式（５）のように計算でき、新しい粒子は尤度に基づいて比例確率でサンプリングされる。

【数12】

【0084】

この手順を繰り返すことにより、ロボットと環境の相互作用が発生するたびに、つまり、把持された物体と環境の間に相互作用が発生するたびに、相対的な手の中の姿勢の事後確率を更新して、より正確な推定値を取得できる。

【0085】

上記では、予測方法について言及している。しかしながら、1つの発明の認識は、各相互作用の後に手の中の姿勢推定を改善（向上）できることにあることを想起する一方で、本発明及びそのような認識は、フィルタリング方法によっても達成できることに留意されたい。例えば、フィルタリング方法では、粒子ごとに更新が実行される。この時点で、新しい観測（測定）が使用される。重みを使用して、電流分布が取得される。

【0086】

本説明では、センサ、メモリ、プロセッサ等の部品又はユニットに言及する。本発明は、そこに記載されている特定の要素及び／又はユニットに限定されず、実際、それぞれの手段に等しく適用される。したがって、コントローラ、メモリ、プロセッサ、センサ等は、それぞれの制御手段、メモリ手段、処理手段、感知手段などによって置き換えることができる。これらのユニット（又は、それぞれの手段）は、個別の／自己完結型のユニット／エンティティとして、または分散したユニット／エンティティとして実装できる（つまり、物理的に近いか離れているかにかかわらず、相互に接続された多数の要素を介して実装される）。これらは、集中又は分散されているか否にかかわらず、ハードウェア、ソフトウェア、又はそれらの組み合わせを介してさらに実装できる。

【0087】

実施形態及び実施例の多くは、方法またはプロセスのステップを参照して説明されてきた。ただし、説明したことは、コンピューティングエンティティ（集中型又は分散型）又は手段が適切に構成されているエンティティで実行されるプログラムに実装することもできる。上に示したように、エンティティは、HW（ハードウェア）／SW（ソフトウェア）又はそれらの組み合わせを介して単一のデバイスで、又は複数の相互接続されたユニット又はデバイス（同様にHW、SWまたはそれらの組み合わせ）で実装できる。当然のことながら、発明者によって認識された原理を適用する実施形態及び実施例に関する上記の説明は、これらの原理の例としてのみ提供され、したがって、本明細書で請求される本発明の範囲の限定として理解されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【国際調査報告】