特許 7097956 ロボットの移動を管理するための装置、及び関連する処理ロボット

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2022-06-30

(45)【発行日】2022-07-08

(54)【発明の名称】ロボットの移動を管理するための装置、及び関連する処理ロボット

(51)【国際特許分類】

   B25J 13/08 20060101AFI20220701BHJP

   A61H 23/02 20060101ALI20220701BHJP

   A61H 7/00 20060101ALI20220701BHJP

【ＦＩ】

B25J13/08 A

A61H23/02 390

A61H7/00 310E

【請求項の数】 10

(21)【出願番号】P 2020520716

(86)(22)【出願日】2018-06-21

(65)【公表番号】

(43)【公表日】2020-08-27

(86)【国際出願番号】 EP2018066672

(87)【国際公開番号】W WO2019002104

(87)【国際公開日】2019-01-03

【審査請求日】2021-03-12

(31)【優先権主張番号】1755812

(32)【優先日】2017-06-26

(33)【優先権主張国・地域又は機関】FR

(73)【特許権者】

【識別番号】519455896

【氏名又は名称】キャップシックス

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】フランソワ・エイソーティエ

(72)【発明者】

【氏名】ギヨーム・ジベール

【審査官】岩▲崎▼ 優

(56)【参考文献】

【文献】特開平１０－１２８６８４（ＪＰ，Ａ）

【文献】特開平０２－１４８３０７（ＪＰ，Ａ）

【文献】特開２００１－２４６５８２（ＪＰ，Ａ）

【文献】米国特許出願公開第２００６／０１８１２３６（ＵＳ，Ａ１）

【文献】特開２０１６－１４０９５８（ＪＰ，Ａ）

【文献】特開２００５－１３８２２３（ＪＰ，Ａ）

【文献】米国特許出願公開第２００５／００８９２１３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２００８／０２７００６９（ＵＳ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｂ２５Ｊ １／００－２１／０２

Ａ６１Ｈ ７／００－１５／０２

Ａ６１Ｈ １９／００－３１／０２

(57)【特許請求の範囲】

【請求項1】

表面を処理するように構成されているロボットの移動を管理するための装置であって、
処理すべき表面の三次元表現（Ｒｅ）を獲得するための獲得手段（１４）と、
前記処理すべき表面の前記三次元表現（Ｒｅ）に基づいて、利用者又は作業者によって選択された移動手順を決定するための決定手段と、
を含んでいる前記装置において、
前記決定手段が、形態要素から成る変形行列を含む少なくとも１つの三次元汎用モデル（ｍ１～ｍ３）を備えており、複数の前記移動手順（Ｔｘ）が、少なくとも１つの前記三次元汎用モデル（ｍ１～ｍ３）として既知とされ、
前記装置が、前記処理すべき表面の前記三次元表現（Ｒｅ）と共に前記三次元汎用モデル（ｍ１～ｍ３）を調整するための調整手段（１８，２３）であって、前記三次元汎用モデル（ｍ１～ｍ３）が前記処理すべき表面の前記三次元表現（Ｒｅ）に対応する前記変形行列の前記形態要素の値を探索することができる前記調整手段（１８，２３）を含んでおり、
前記三次元汎用モデル（ｍ１～ｍ３）の変形が、前記処理すべき表面の前記三次元表現（Ｒｅ）に対して調整された少なくとも１つの新規の移動手順を得るように、既知の前記移動手順（Ｔｘ）に適用され、
前記ロボットが、前記新規の移動手順のうち一の移動手順に基づいて前記表面を処理するように構成されていることを特徴とする装置。

【請求項2】

少なくとも１つの既知の前記移動手順（Ｔｘ）が、アクションが前記ロボットのために事前にプログラムされた位置を備えていることを特徴とする請求項１に記載の装置。

【請求項3】

前記三次元汎用モデル（ｍ１～ｍ３）と前記処理すべき表面の前記三次元表現（Ｒｅ）とが、散布図の形式で形式化されており、
前記調整手段（２３）が、
前記処理すべき表面の前記三次元表現（Ｒｅ）の点それぞれに対する法線方向を計算するための計算手段（１９）と、
前記三次元表現（Ｒｅ）の前記散布図の点それぞれについて、前記三次元汎用モデル（ｍ１～ｍ３）の点の法線方向と対象の点の法線方向との差が最小とされる近傍の前記三次元汎用モデル（ｍ１～ｍ３）の点を探索するための探索手段（２０）と、
前記三次元汎用モデル（ｍ１～ｍ３）の決定された点と前記対象の点との距離を決定するための決定手段（２１）と、
前記三次元表現（Ｒｅ）の前記散布図のすべての点について決定された距離に基づいて、前記三次元汎用モデル（ｍ１～ｍ３）の変換の全体を検索するための検索手段（２２）と、
を含んでいることを特徴とする請求項１又は２に記載の装置。

【請求項4】

前記探索手段（２０）が、前記対象となる点を中心とする所定の球の内部における、前記三次元汎用モデルの点を探索するように構成されていることを特徴とする請求項３に記載の装置。

【請求項5】

前記法線方向が、前記対象となる点に最も近い３つ又は４つの点の座標によって面を構成することによって決定されることを特徴とする請求項３又は４に記載の装置。

【請求項6】

前記調整手段（１８）が、
前記三次元表現（Ｒｅ）の特徴点（Ｐｒｅｆ）を検出するための検出手段（１６）と、
前記特徴点の位置が前記三次元汎用モデルの特徴点の位置に対応するように、回転及び／又は並進について前記三次元汎用モデル（ｍ１～ｍ３）を変形させるための変形手段（１８）と、
を含んでいることを特徴とする請求項１～５のいずれか一項に記載の装置。

【請求項7】

前記獲得手段（１４）が、複数の前記三次元表現（Ｒｅ）をキャプチャすることによって前記三次元表現（Ｒｅ）を事前処理するための事前処理手段（１５）を含んでおり、
前記獲得手段（１４）が、様々な前記三次元表現（Ｒｅ）の点の座標の平均を得ることを特徴とする請求項１～６のいずれか一項に記載の装置。

【請求項8】

前記事前処理手段（１５）が、様々な前記三次元表現（Ｒｅ）の前記点の前記座標の平均の選別を実施することを特徴とする請求項７に記載の装置。

【請求項9】

処理ロボットであって、
関節式アームと、
前記関節式アームの一方の端部に配置されているエフェクタと、
三次元画像キャプチャ装置（Ｒｅ）と、
前記処理ロボットの移動を監視するための請求項１～８のいずれか一項に記載の装置と、
を含んでいることを特徴とする処理ロボット。

【請求項10】

前記獲得手段（１４）が、前記関節式アーム（１２）又は前記エフェクタに配置されていることを特徴とする請求項９に記載の処理ロボット。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、非常に多様な形状の表面の上で動作するロボットの移動を管理する分野に関する。

【0002】

本発明は、ロボットの作業面が演繹的に知られていない、多くの技術的分野に適用可能とされる。例えば、本発明は、手工磁器（artisanal porcelain）を塗装するためのロボットであって、職人によって製造された磁器の様々な形状に適応しなければならないロボットのために実施可能とされる。

【0003】

本発明は、例えばマッサージロボットのような処置ロボットの電動アームを移動させるために、特に優位な応用を提供する。

【背景技術】

【0004】

所定の経路に追従するようにプログラムされた産業用ロボットとは異なり、未知の表面上で動作するロボットは、経路を決定するために、処置すべき表面を分析可能とされる移動管理手段を具備する必要がある。

【0005】

一般に、識別ロボットは、少なくとも１つのカメラと、表面探索を経時的に分析し、当該識別ロボットが追従すべき経路を決定するための画僧処理手段とを備えている。

【0006】

未知の表面を分析するための当該方法は、ロボットの経時的な移動を正確に案内するために、高い計算能力を要求する。その結果として、探索ロボットは、当該探索ロボットの移動を管理するための装置に、カメラによって獲得され且つ画像処理手段によって処理された情報に基づいて当該探索ロボットの移動を最適化させるために、低速で移動する。

【0007】

さらに、マッサージロボット又は手工磁器を塗装するためのロボットについては、当該ロボットの移動は、個々人の身体の所望の領域をマッサージするために、又は塗装層を所望の領域に付与するために極めて正確でなくてはならない。

【0008】

このことを実現するために、ロボットが処理すべき表面の三次元数値モデリングを利用することによって作業者が当該ロボットの移動をプログラムすることができるように、三次元表面をスキャンすることが知られている。

【0009】

例えば、特許文献１は、患者の身体をスキャンするための三次元スキャナであって、患者の身体の三次元モデルの投影をタッチパッドで利用することによってロボットのマッサージ経路を施術者に決定させるための三次元スキャナを具備する、マッサージロボットを開示している。

【0010】

しかしながら、このようなマッサージロボットは自律していない。施術者が、自身の専門知識を利用し、マッサージロボットの経路をデジタルモデルにプログラムするために必要とされるからである。

【0011】

従って、技術的課題は、未知の表面上で動作するロボットの移動の管理を高い移動精度で自動化することにある。

【先行技術文献】

【特許文献】

【0012】

【文献】国際出願公開第２０１５－１８７０９２号パンフレット

【0013】

【文献】“KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera*” published on October 16, 2011 in UIST’11

【文献】“Building Statistical Shape Spaces for 3D Human Modeling, Pishchulin & all” published on March 19, 2015 in the journal “Published in Pattern Recognition 2017”

【文献】Suzuki, S. and Abe, K., Topological Structural Analysis of Digitized Binary Images by Border Following, CVGIP 30 1, pp 32-46 (1985)

【文献】the method Sklansky, J., Finding the Convex Hull of a Simple Polygon. PRL 1 $number, pp 79-83 (1982)

【文献】Visual Pattern Recognition by Moment Invariants, IRE Transactions on Information Theory, 8:2, pp. 179-187, 1962.

【発明の概要】

【発明が解決しようとする課題】

【0014】

本発明の目的は、汎用モデル（generic model）についての既知の移動順序を調整すると共に当該移動順序を処理すべき表面に適用するように、当該汎用モデルを用いて処理すべき表面を調整するための手段に関連する当該汎用モデルの複数の既知の移動順序によって、このような技術的課題を解決することである。

【0015】

そうすると、移動順序を汎用モデルにプログラムする場合に処理すべき表面の形状が知られていくとも、ロボットは、汎用モデルの形状を処理すべき表面の形状に適応させることによって、移動順序を自動的に調整することができる。

【0016】

当該目的を達成するために、第１の実施態様において、本発明は、表面を処理するように構成されているロボットの移動を管理するための装置であって、処理すべき表面の三次元表現を獲得するための獲得手段と、処理すべき表面の三次元表現に基づいて移動手順を決定するための決定手段と、を含んでいる装置を提供する。

【0017】

本発明の特徴は、決定手段が、少なくとも１つの三次元汎用モデルを備えており、複数の移動手順が、少なくとも１つの三次元汎用モデルとして既知とされ、装置が、処理すべき表面の三次元表現と共に三次元汎用モデルを調整するための調整手段であって、処理すべき表面の三次元表現に対応するように三次元汎用モデルを変形させることができる調整手段を含んでおり、三次元汎用モデルの変形が、処理すべき表面の三次元表現に対して調整された少なくとも１つの新規の移動手順を得るように、既知の移動手順に適用され、ロボットが、新規の移動手順のうち一の移動手順に基づいて表面を処理するように構成されていることを特徴とする。

【0018】

従って、本発明は、移動手順を学習する際に形状が未知である処理すべき表面に対して移動手順を適用するために、汎用モデルについての複数の既知の移動手順を利用することができる。手工磁器を塗装するためのロボットの例では、塗装者は、標準的なカップの汎用モデルに関連する意匠を記録することによって、カップに塗装すべき標準的な意匠を定義することができる。ロボットは、新規に創作されたカップの表面をスキャンし、新規に創作されたカップの表面に基づいて汎用モデルを変形することによって、標準的な意匠のうち一の意匠を適用することができる。

【0019】

マッサージロボットの例では、人体の汎用モデルが、実際のヒトの計測から作られる。このような汎用モデルは、施術者が汎用モデルの様々な敏感点の近傍を通過するマッサージ経路を定義することによって効果的なマッサージ効果を得られるように、三次元で表現されている。

【0020】

汎用モデルの当該敏感点は、領域に、例えば当該敏感点の高さにおける表面に対する法線方向において当該敏感点を中心とする半径５０ｍｍ以内に延在する領域に適合する。

【0021】

ロボットが新しい患者をマッサージするために利用される場合には、患者の身体がスキャンされ、汎用モデルの形状が、汎用モデルの変形によってロボットの移動を患者の体形に対して調整するためのマッサージ経路の変形を得るように、施術者によって記録されたマッサージの精度を考慮しつつ、患者の形状に対して調整される。その結果として、本発明は、施術者のマッサージ感覚に非常に近い又は同一のマッサージ感覚で、非常に高い質のマッサージを再現することができる。

【0022】

本発明では、幾つかの異なるタイプのマッサージを実行するために、幾つかのマッサージ経路をデジタル化することができる。また、幾つかの汎用モデルは、例えば大型、小型、及び中型のヒトのような性別や子供、若者、及び成人のような年齢について３つのタイプの汎用モデルを利用することによって、患者の身体に対する汎用モデルの調整を改善するために作られ得る。

【0023】

一の実施例では、少なくとも１つの既知の移動手順が、アクションがロボットのために事前にプログラムされた位置を備えている。

【0024】

当該実施例では、ロボットの移動の際にアクチュエータの動作を制御することができる。手工磁器を塗装するためのロボットの例では、ロボットは、特定の位置において特定の表面処理を実行することができる。マッサージロボットの例では、ロボットの特定の位置が、マッサージの快適性及び／又は効果を改善するために、加熱手段の起動を制御することができる。さらに、既知の移動手順は、他のタイプの運動によって他の運動を実行しつつ、触診－回転運動によって実行可能な複数の経路を含んでいる。

【0025】

一の実施例では、処理すべき表面についての三次元汎用モデル及び三次元表現が、散布図の形式で形式化されており、調整手段が、処理すべき表面の三次元表現の点それぞれについて法線方向を計算するための計算手段と、三次元表現の散布図の点それぞれを探索するための探索手段であって、散布図の点の近傍における三次元汎用モデルの点について、三次元汎用モデルの点の法線方向と対象の点の法線方向との差が最小とされる、探索手段と、三次元汎用モデルの決定された点と対象の点との距離を決定するための決定手段と、三次元表現の散布図のすべての点について決定された距離に基づいて、三次元汎用モデルの変換の全体を検索するための検索手段と、を含んでいる。

【0026】

法線方向は、汎用モデルの面の配向と処理すべき表面の三次元表現の面の配向とに関連する情報を獲得することができる。点座標と点座標との単一の比較と異なり、面同士の比較は、より効果的な識別を獲得することができる。

【0027】

さらに、汎用モデルの調整が、距離の平均に基づいて汎用モデルを徐々に変更することによって段階的に実施される。その結果として、当該実施例では、汎用モデルの点それぞれの法線方向と処理すべき表面の三次元表現の法線方向とを比較することによって、汎用モデルを効率的に調整することができる。

【0028】

一の実施例では、探索手段が、対象となる点を中心とする所定の球の内部における、三次元汎用モデルの点を探索するように構成されている。当該実施例の目的は、計算時間を制限するように汎用モデルの点の探索領域を限定することである。さらに、探索領域の限定によって、汎用モデルの変更の精度を向上させるように、２つの比較対象の間における汎用モデルの変更範囲を制限することができる。

【0029】

一の実施例では、法線方向が、対象となる点に最も近い３つ又は４つの点の座標によって面を構成することによって決定される。

【0030】

当該実施例では、汎用モデルの面の、及び処理すべき表面の三次元表現の面の効果的な構成を実現することができる。

【0031】

一の実施例では、調整手段が、三次元表現の特徴点を検出するための手段と、特徴点の位置が三次元汎用モデルの特徴点の位置に対応するように、回転及び／又は並進について三次元汎用モデルを変形させるための手段と、を含んでいる。

【0032】

当該実施例では、標準的な人によって実施される正確な調整の速度を改善するために、汎用モデルの最初の粗い調整を実施することができる。手工磁器を塗装するためのロボットの例では、特徴点が、手工磁器の上側端部及び下側端部に対応する。マッサージロボットの例では、特徴点は、頭蓋骨の上側端部に、腋窩の位置に、及び鼠径部の位置に対応する。

【0033】

一の実施例では、獲得手段が、複数の三次元表現をキャプチャすることによって三次元表現を事前処理するための事前処理手段を含んでおり、獲得手段が、様々な三次元表現の点の座標の平均を得る。当該実施例では、三次元表現の精度を、ひいては汎用モデルの調整を改善することができる。

【0034】

一の実施例では、事前処理手段が、様々な三次元表現の点の座標の平均の選別を実施する。

【0035】

当該実施例では、三次元表現の精度を、ひいては汎用モデルの調整を改善することができる。

【0036】

第２の実施態様では、本発明は、処理ロボットであって、関節式アームと、関節式アームの一方の端部に配置されているエフェクタと、三次元画像キャプチャ装置と、処理ロボットの移動を監視するための本発明の第１の実施態様における装置と、を含んでいる。

【0037】

本発明の第２の実施態様は、ロボットの移動の精度が患者に傷を負わせないための必須条件である、処置ロボットに関する。

【0038】

一の実施例では、獲得手段が、関節式アーム又はエフェクタに配置されている。当該実施例では、三次元表現を正確に獲得するために獲得手段を移動させることができる。

【0039】

本発明の実施形態及びその利点は、例示的且つ非限定的な図１に表わす実施例から明らかとなるだろう。

【図面の簡単な説明】

【0040】

【図1】本発明の一の実施例におけるマッサージロボットの移動を管理するための装置の動作ステップを表わすフローチャートである。

【発明を実施するための形態】

【0041】

本発明について、ロボットの調整能力を表わすように、マッサージロボットを参照しつつ説明する。ヒトの身体の表面が大きい段差（disparity）を有していることが明白であるからである。

【0042】

しかしながら、本発明は、このような特定の利用に限定される訳では無く、ロボットが正確に移動しなければならないが、事前に決定されていない形状の表面で動作する複数のロボットのために利用可能とされる。

【0043】

図１に表わすように、処理すべき表面の分析は、処理すべき表面の三次元表現Ｒｅを提供することができる獲得手段１４によって実施される。

【0044】

三次元表現Ｒｅは、点それぞれが正規直交系の三座標：ｘ，ｙ，ｚを有している、散布図の形態とされる。

【0045】

獲得手段１４は、一連の撮像センサ（photographic sensor）、一連の赤外線センサ、断層撮影センサ（tomographic sensor）、立体センサ（stereoscopic sensor）、又は表面の三次元表現を獲得可能とされる任意の他の既知のセンサに対応する。

【0046】

例えば、マイクロソフト（登録商標）社のＫｉｎｅｃｔ（登録商標）カメラが、三次元表現Ｒｅを得るために利用可能である。

【0047】

環境を取り込むことなく三次元表現Ｒｅを得るために、当該環境に対応する第１の散布図と当該環境における処理すべき表面に対応する第２の散布図とを取り込むことができる。第１の散布図と第２の散布図との間における相違点のみが、処理すべき表面に対応する点を環境から抽出するように維持される。当該方法は、記録のために標準化された環境から抽象化し、任意の環境に適応させることができる。

【0048】

図１に表わすように、これらセンサ１４は、改善された品質又は精度で三次元表現Ｒｅを提供するために、事前処理手段１５と共に実装される場合がある。例えば、事前処理手段１５は、ヒストグラムを平坦化するためのアルゴリズム、選別のためのアルゴリズム、複数の連続した表現について表現を平均化するためのアルゴリズムに対応している。

【0049】

例えば、非特許文献１に開示される手法を利用することができる。

【0050】

この場合、デバイスは、汎用モデルｍ１，ｍ２，ｍ３それぞれに事前にプログラムされた動作手順Ｔｘを三次元表現Ｒｅに転送するように、汎用モデルｍ１，ｍ２，ｍ３を三次元表現Ｒｅに適応させるために処理するコンピュータを実装している。例えば、移動手順Ｔｘが、処理すべき表面に対応する第２の散布図に投影される。さらに、これら移動手順Ｔｘは、動作がロボットのために事前にプログラムされた位置を含んでいる。

【0051】

また、汎用モデルｍ１，ｍ２，ｍ３は、散布図の形態で形式化されている。散布図では、点が正規直交系の三座標ｘ，ｙ，ｚを表わす。好ましくは、汎用モデルは、三座標のＮ個の頂点の平均モデルＭｏｄＭｏｙと、３Ｎ座標すなわちＮ個の頂点についての三座標とＭ個の形態要素とから成る変形行列ＭｏｄＳｉｇｍａとから構成されている。

【0052】

大量の異なる人々、例えば１０００人の人々が、汎用モデルｍ１，ｍ２，ｍ３それぞれを改善するために必要とされる。

【0053】

主要な要素の分析は、データサイズを減らすために適用される。主要な要素の分析をこれらデータに適用することによって、データ中の変化を決定すること、及び、要素についての共通する変化を関連付けることが可能となる。従って、一人につき一の要素を維持する代わりに、汎用モデルｍ１，ｍ２，ｍ３それぞれが、１０００の人々についての変化の大部分を説明する約２０の要素を格納する。

【0054】

当該方法は、非特許文献２により詳細に開示されている。

【0055】

好ましくは、汎用モデルｍ１，ｍ２，ｍ３は、汎用モデルｍ１，ｍ２，ｍ３を三次元表現Ｒｅに適応させることができるデバイスの画像処理手段によってアクセス可能とされるメモリに格納されている。

【0056】

このために、三次元表現Ｒｅが得られた場合に、デバイスは、デジタル処理手段１６を介して当該三次元表現Ｒｅの特徴点Ｐｒｅｆの検出を実行する。図１に表わす例では、特徴点Ｐｒｅｆは、頭蓋骨の上端部、腋窩の位置、及び鼠蹊の位置に対応する。デジタル処理手段１６は、画像上の要素を検出するためのすべての既知の方法、例えばＶｉｏｌａ－Ｊｏｎｅｓ法を実行することができる。

【0057】

好ましくは、特徴点Ｐｒｅｆを検出するために、散布図が深度画像に、すなわち、例えば０ｍｍ～４０９５ｍｍの範囲の深度にエンコード可能とされる１２ビットにエンコードされたグレースケール画像に変換される。この深度画像は、対象となる物体／身体に対応する画素を値１で抽出しないように、且つ、外部環境に対応する画素を値０で抽出しないように、境界化及び二値化される。次に、例えば非特許文献３に開示される方法を利用することによって、このように二値化された画像の輪郭が検出される。輪郭の凸角点及び（例えば非特許文献４を利用することによって決定された）当該輪郭の凸性の欠陥が、特徴点Ｐｒｅｆとして利用される。

【0058】

従って、汎用モデルｍ１，ｍ２，ｍ３の選択手段１７は、三次元表現Ｒｅに最も類似する汎用モデルｍ１，ｍ２，ｍ３を選択するために実装されている。

【0059】

例えば、この選択は、三次元表現Ｒｅの高さを概算するために、頭蓋骨の頂部の特徴点Ｐｒｅｆと鼠径部の特徴点との間の距離を計算することによって、及び、高さの大きさが最も近い汎用モデルｍ１，ｍ２，ｍ３を選択することによって実行される。同様に又は付加的に、汎用モデルｍ１，ｍ２，ｍ３の選択は、三次元表現Ｒｅの幅を利用して、腋窩の特徴点Ｐｒｅｆ同士の距離を計算することによって実行される。

【0060】

さらに、汎用モデルｍ１，ｍ２，ｍ３は、ヒトの骨格の最も重要な骨を表す仮想骨によって関節式で連結されている。例えば、１５本の仮想骨が、脊椎、大腿骨、脛骨、尺骨、上腕骨、頭蓋骨の位置及び形状を定義するために、汎用モデルｍ１，ｍ２，ｍ３にモデル化される場合がある。これら仮想骨の配向によって、汎用モデルのポーズを、すなわち、汎用モデルｍ１，ｍ２，ｍ３が空気中に片腕を有しているか否かや脚が開いているか否かについて定義することができる。

【0061】

また、汎用モデルｍ１，ｍ２，ｍ３のポーズは、（例えば、非特許文献５に開示されるＨｕ法を利用して計算された）数千の姿勢についての汎用モデルの深度画像輪郭のデータベースと対象となる物体／身体の深度画像の輪郭との距離を比較することによって、選択手段１７を介して決定することもできる。対象となる物体／身体の深度画像に最も類似する、関節式に連結された汎用モデルｍ１，ｍ２，ｍ３の深度画像が選択され、仮想骨の回転値が保存される。

【0062】

その後に、第１の調整が、三次元表現Ｒｅに類似するように、選択された汎用モデルを変形させることによって実施される。例えば、このような第１の調整は、選択された汎用モデルの特徴点Ｐｒｅｆ同士の間隔が三次元表現Ｒｅの特徴点Ｐｒｅｆ同士の間隔に対応するように、選択された汎用モデルの幅及び高さを単に変形させることができる。

【0063】

このような第１の調整は、汎用モデルｍ１，ｍ２，ｍ３の仮想ボーンのポーズを定義することもできる。

【0064】

汎用モデルが調整される場合には、すなわち、頂点の位置が変更される場合には、汎用モデルに事前にプログラムされた移動手順Ｔｘの点の位置が同様に調整される。

【0065】

このような比較的粗い第１の調整の後に、三次元表現Ｒｅの点同士の間に定義された表面それぞれによって形成されている法線方向によって、比較的正確な第２の調整を利用することができる。

【0066】

このために、デバイスは、三次元表現Ｒｅの表面それぞれ及び選択された汎用モデルの表面それぞれの法線を計算するための計算手段１９を備えている。例えば、法線方向は、対象となる点に最も近接する３つの点又は４つの点の座標を介して三次元表現Ｒｅの辺それぞれを構成することによって決定可能とされる。代替的には、汎用モデルの法線方向は、汎用モデルを定義するステップの際に計算可能とされる。代替的には、２つの調整が、一の同一のステップにおいて同時に実施可能とされる。

【0067】

その後に、デバイスは、三次元表現Ｒｅの散布図の点それぞれについて、汎用モデルの点の法線方向と対象となる点の法線方向との差が最小となるように選択された直近の点を検出するための探索手段２０を利用する。仮想骨が選択された汎用モデルの構成要素である場合には、探索手段２０が、仮想骨を三次元表現Ｒｅ上に存在する身体の要素の位置に調整するために、仮想骨それぞれの特性を変化させることによって、仮想骨の位置及び大きさを調整する。

【0068】

例えば、探索手段２０は、対象となる点を中心とする所定の球の内部において汎用モデルの点を検索するように構成されている。好ましくは、当該球の半径は、約１０個の点が当該球体に含まれるように、汎用モデルの頂点の数と対象となる物体／身体の大きさとに基づいて決定される。

【0069】

一連の当該法線方向を利用することによって、デバイスは、対象となる点と探索手段によって検出される選択された汎用モデルの点との距離を計算することができる決定手段を利用することによって、選択された汎用モデルと三次元表現Ｒｅとの差を計算することができる。一連の当該距離は、対象となる点を検出された点に一致させるために当該対象となる点に適用させなくてはならない変換ベクトルを形成する。

【0070】

検索手段２２は、選択された汎用モデルの変換の全体を獲得するように、当該変換ベクトルの平均を決定するようになっている。

【0071】

言い換えれば、Ｍ要素の新しい変換ベクトルＣｏｍｐＶｅｃを考慮して、以下の数式を適用することによって、頂点の三次元配置Ｐｔｓ３Ｄを知ることができる。
Ｐｔｓ３Ｄ ＝ ＭｏｄＭｏｙ ＋ ＣｏｍｐＶｅｃ ＊ ＭｏｄＳｉｇｍａ

【0072】

未知の配置Ｐｔｓ３Ｄの場合、例えば新しい患者の場合、目的は、平均モデルＭｏｄＭｏｙｅｎと変形行列ＭｏｄＳｉｇｍａとを知っている当該患者に対応する形態要素ＤｆｆＭｏｄの値を探索することである。

【0073】

このために、検索手段２２は、ＭｏｄＳｉｇｍａの擬似逆行列ＭｏｄＳｉｇｍａＩｎｖと同様に、頂点の三次元配置Ｐｔｓ３Ｄと平均モデルＭｏｄＭｏｙｅｎとの差を計算する。例えば、擬似逆行列ＭｏｄＳｉｇｍａＩｎｖは、以下の関係を利用することによって行列ＭｏｄＳｉｇｍａを特異値に分解することによって計算可能とされる。
ＭｏｄＳｉｇｍａ ＝ Ｕ Ｅ Ｖ^＊；
ＭｏｄＳｉｇｍａＩｎｖ ＝ Ｖ Ｅ^ｔ Ｕ^＊；
ここで、Ｅ^ｔは、Ｅの転置行列に相当し、
Ｖ^＊は、Ｖの転置共役行列であり、
Ｕ^＊は、Ｕの転置共役行列である。

【0074】

これらデータを利用することによって、検索手段２２は、以下の数式によって、形態要素ＤｉｆｆＭｏｄを計算する。
ＤｉｆｆＭｏｄ ＊ ＭｏｄＳｉｇｍａＩｎｖ ＝ ＣｏｍｐＶｅｃ ＊ ＭｏｄＳｉｇｍａ ＊ ＭｏｄＳｉｇｍａＩｎｖ

【0075】

すなわち、ＣｏｍｐＶｅｃ ＝ ＤｉｆｆＭｏｄ ＊ ＭｏｄＳｉｇｍａＩｎｖによって、特定患者についての形態要素ＤｉｆｆＭｏｄを得ることができる。

【0076】

その後に、変換ベクトルＣｏｍｐＶｅｃが、選択された汎用モデルに適用され、必要に応じてポーズが上述のように再び概算され、新しい探索が、汎用モデルが三次元表現Ｒｅに適正に類似するまで実行される。ループは、汎用モデルのすべての頂点と散布図上における対応点との平均ユークリッド距離が汎用モデルの頂点の数と例えば２ｍｍである対象となる物体／身体の大きさとに基づいて定義される閾値より小さくなった場合に、又は閾値より小さい平均距離に到達しない状態で例えば１００回である最大反復回数に到達した場合に停止する。

【0077】

上述と同様に、汎用モデルが調整される場合に、すなわち頂点の位置が変更される場合に、汎用モデル上で事前にプログラムされた移動手順Ｔｘの点の位置が同様に調整される。

【0078】

センサ１４とロボットとの間におけるキャリブレーション段階が実行される必要がある場合がある。特に移動手順Ｔｘは、センサ１４の正規直交基準座標系における汎用モデルｍ１，ｍ２，ｍ３について定義され、ロボットは、センサ１４の正規直交基準座標系とは異なる自身の正規直交基準座標系において指令を受信する。視覚センサ１４とロボットとをキャリブレーションするために、２つの基準座標系における少なくとも３つの共通点の座標を記録することができる。実際に、３つより多い多数の点Ｎを利用することが望ましい。ロボットは、作業領域に亘って移動され、Ｎ回停止する。停止する度に、ロボットの移動設定点によって実行される移動を計算することによって、ロボットの位置が記録され、検出によって、当該停止時の三次元的な位置を視覚センサ１４を介して知ることができる。

【0079】

Ｎ回停止の最後に、２つの基準座標系におけるＮ点の座標を知ることができる。２つの基準座標系におけるＮ点の分布の重心は、以下の関係式を利用することによって決定される：
ＢａｒｙｃｅｎｔｅｒＡ ＝ １／Ｎ ｓｕｍ（ＰＡ（ｉ）） ここで、ｉは１～Ｎであり、ＰＡ（ｉ）はセンサ１４の基準座標系の点を表わす；及び
ＢａｒｙｃｅｎｔｅｒＢ ＝ １／Ｎ ｓｕｍ（ＰＢ（ｉ）） ここで、ｉは１～Ｎであり、ＰＢ（ｉ）はロボットの基準座標系の点を表わす。

【0080】

従って、共分散行列Ｃは、以下の関係式によって決定される：
Ｃ ＝ ｓｕｍ（（ＰＡ（ｉ）－ＢａｒｙｃｅｎｔｅｒＡ）（ＰＢ（ｉ）－ＢａｒｙｃｅｎｔｅｒＢ）^ｔ） ここで、ｉは１～Ｎである。

【0081】

共分散行列Ｃは、特異値：Ｃ ＝ Ｕ Ｅ Ｖ^＊に分解される。

【0082】

２つの基準座標系の間の回転行列Ｒは、以下の関係式から得られる：
Ｒ ＝ Ｖ Ｕｔ；Ｒの行列式が負である場合に、回転行列Ｒの第３行に－１を乗じることができる。

【0083】

２つの基準座標系の間で適用すべき変換は、以下の関係式によって決定される：
Ｔ ＝ － Ｒ ＊ ＢａｒｙｃｅｎｔｅｒＡ ＋ＢａｒｙｃｅｎｔｅｒＢ

【0084】

従って、以下の関係式を適用することによって、センサ１４の基準座標系の任意の点をロボットＰｂの基準座標系に回転させることができる：
Ｐｂ ＝ Ｒ ＊ Ｐａ ＋ Ｔ

【0085】

従って、本発明は、１つ又は複数の汎用モデルｍ１～ｍ３について複数の移動手順Ｔｘをプログラムすることができ、移動手順Ｔｘを学習する際に未知の形状の表面について移動手順Ｔｘを正確に再現するために、汎用モデルｍ１～ｍ３を効率的に調整することができる。

【0086】

従って、ロボットは、利用者又は作業者によって選択された移動手順Ｔｘに追従することができる。移動手順Ｔｘは、単純な一連の点より複雑であって、例えば実行速度や実行圧力のような、移動手順Ｔｘを実施するための様々なパラメータを含んでいる。さらに、移動手順Ｔｘは、例えば振動、吸引、又は温度を作用させることのような、ロボットのために事前にプログラムされたアクションの位置を含んでいる。

【0087】

また、選択された移動手順Ｔｘのアクション又はパラメータは、ロボットによる移動手順の実行の前に又は当該実行の際に、利用者又は作業員によって調整可能とされる。従って、手工磁器を塗装するためのロボットの例では、作業員は、手工磁器上で走らせるブラシの塗装速度及び支持力を設定することができる。マッサージロボットの例では、利用者は、ロボットの圧力をリアルタイムで設定することによって、マッサージの速度及び力を自ら選択することができるので、これらパラメータを自身の感覚に合うように調整することができる。また、利用者は、マッサージハンドが放出する温度を、又は例えば振動又は吸引の力のようなマッサージハンドの効果を設定することができる。

【符号の説明】

【0088】

１４ センサ
１５ 事前処理手段
１６ 検出手段
１７ 選択手段
１８ 変形手段
１９ 計算手段
２０ 探索手段
２１ 決定手段
２２ 検索手段
２３ 調整手段

【図1】