特表 2023-505749 汎用モデルにおいて運動のシーケンスを定義するための装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-02-13

(54)【発明の名称】汎用モデルにおいて運動のシーケンスを定義するための装置

(51)【国際特許分類】

   G06T 7/20 20170101AFI20230206BHJP

   B25J 9/10 20060101ALI20230206BHJP

   G06F 3/01 20060101ALI20230206BHJP

【ＦＩ】

G06T7/20

B25J9/10 A

G06F3/01 510

G06F3/01 570

G06T7/20 300Z

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022524669

(86)(22)【出願日】2020-11-30

(85)【翻訳文提出日】2022-06-17

(86)【国際出願番号】 FR2020052217

(87)【国際公開番号】W WO2021116554

(87)【国際公開日】2021-06-17

(31)【優先権主張番号】1914019

(32)【優先日】2019-12-10

(33)【優先権主張国・地域又は機関】FR

(81)【指定国・地域】

(71)【出願人】

【識別番号】519455896

【氏名又は名称】キャップシックス

(74)【代理人】

【識別番号】100108453

【弁理士】

【氏名又は名称】村山 靖彦

(74)【代理人】

【識別番号】100110364

【弁理士】

【氏名又は名称】実広 信哉

(74)【代理人】

【識別番号】100133400

【弁理士】

【氏名又は名称】阿部 達彦

(72)【発明者】

【氏名】フランソワ・エイソーティエ

(72)【発明者】

【氏名】ギヨーム・ジベール

【テーマコード（参考）】

3C707

5E555

5L096

【Ｆターム（参考）】

3C707AS35

3C707KS05

3C707KT03

3C707LS15

3C707LT06

3C707LT12

5E555AA80

5E555BA38

5E555BB38

5E555BC04

5E555CA42

5E555CB66

5E555FA00

5L096AA03

5L096AA06

5L096AA09

5L096BA08

5L096BA18

5L096CA04

5L096DA02

5L096EA15

5L096EA16

5L096EA43

5L096FA06

5L096FA25

5L096FA32

5L096FA33

5L096FA35

5L096FA66

5L096FA67

5L096FA69

5L096GA51

5L096GA55

5L096HA05

(57)【要約】

本発明は、汎用モデルにおいて汎用運動シーケンス(Tx)を定義するための装置であって、
- 表面にわたって運動する参照要素の位置を取得するための手段であって、前記参照要素が、実際の運動シーケンスを行うように構成される、手段と、
- 前記実際の運動のシーケンス(Tr)を記録するための手段(41)と、
- 前記表面の3次元表現(Re)を取得するための手段(14)と、
- 前記表面の前記3次元表現(Re)に前記汎用モデルを適応させるための手段と、
- 前記実運動シーケンスに、前記汎用モデルと前記表面の前記3次元表現(Re)との間の前記適応を適用することによって前記汎用モデルにおいて汎用運動シーケンスを定義するための手段(42)とを備える、装置に関する。

【特許請求の範囲】

【請求項1】

汎用モデル(m1～m3)において汎用運動シーケンス(Tx)を定義するための装置であって、
表面にわたって運動する参照要素(45)の位置(Pr)を取得するための取得手段(40、45)であって、前記参照要素(45)が、実際の運動シーケンス(Tr)を行うように構成される、取得手段(40、45)と、
前記実際の運動のシーケンス(Tr)を記録するための記録手段(41、46)と、
前記表面の3次元表現(Re)を取得するための取得手段(14)と、
前記表面の前記3次元表現(Re)に前記汎用モデル(m1～m3)を適応させるための適応手段(23)と、
前記実際の運動シーケンス(Tr)に、前記汎用モデル(m1～m3)と前記表面の前記3次元表現(Re)との間の前記適応を適用することによって前記汎用モデル(m1～m3)において汎用運動シーケンス(Tx)を定義するための定義手段(42、47)と
を備えることを特徴とする、装置。

【請求項2】

前記適応手段(23)が、前記表面の前記3次元表現(Re)に前記汎用モデル(m1～m3)を適合させるように構成され、前記記録手段(41)は、前記汎用モデルが前記表面の前記3次元表現(Re)の次元に適合されるときに前記汎用モデル(m1～m3)において前記実際の運動シーケンス(Tr)を記録するように構成され、前記定義手段(42)は、前記汎用モデルがそれらの初期パラメータを再開するように、前記運動シーケンスが記録された前記汎用モデル(m1～m3)を変換するように構成される、請求項1に記載の装置。

【請求項3】

前記適応手段(23)が、前記汎用モデル(m1～m3)と前記表面の前記3次元表現(Re)との間の差を計算するように構成され、前記記録手段(46)が、前記汎用モデル(m1～m3)から独立して前記実際の運動シーケンス(Tr)を記録するように構成され、前記定義手段(47)が、前記適応手段(23)によって計算される前記差に従って前記記録された運動シーケンスを変換するように構成され、前記装置が、前記汎用モデルにおいて前記汎用運動シーケンスを位置決めするための手段(48)を備える、請求項1に記載の装置。

【請求項4】

前記参照要素(45)の前記位置(Pr)の前記取得手段(40、45)が、前記参照要素(45)の向きを検出して、この向きを汎用変位のシーケンス(Tx)の様々な点に報告するように構成される、請求項2または3に記載の装置。

【請求項5】

前記参照要素(45)の前記位置(Pr)の前記取得手段(40、45)が、前記参照要素(45)によって実施される動きまたは経験される応力を検出して、これらの動きまたはこれらの制約を前記汎用運動シーケンス(Tx)の様々な点に転送するように構成される、請求項2または3に記載の装置。

【請求項6】

前記汎用モデル(m1～m3)および前記表面の前記3次元表現(Re)が点群の形状に形式化されており、前記適応手段(23)が、
前記表面の前記3次元表現(Re)の各点への法線方向を計算するための手段(19)と、
前記3次元表現(Re)の前記点群の各点に対する、前記汎用モデル(m1～m3)の点の前記法線方向と関心点の前記法線方向との間の差が最低である近傍の前記汎用モデル(m1～m3)の前記点の探索手段(20)と、
前記汎用モデル(m1～m3)の検出点と前記関心点との間の距離を決定するための手段(21)と、
前記3次元表現(Re)の前記点群の全ての点に対して決定された前記距離の関数として前記汎用モデル(m1～m3)の大域変換を探索するための手段(22)と
を備える、請求項1に記載の装置。

【請求項7】

前記探索手段(22)が、前記関心点の周囲の予め設定された球内の前記汎用モデルの前記点を探索するように構成される、請求項6に記載の装置。

【請求項8】

前記法線方向が、前記関心点に最も近い3つまたは4つの点の座標を使用して面を構築することによって決定される、請求項6または7に記載の装置。

【請求項9】

前記適応手段(23)が、
前記3次元表現(Re)上の特徴点(Pref)を検出するための手段(16)と、
前記特徴点の前記位置が前記汎用モデルの特徴点の位置に対応するように前記汎用モデル(m1～m3)を回転および/または並進させて変換するための手段(18)と
を備える、請求項1から8のいずれか一項に記載の装置。

【請求項10】

前記参照要素(45)が手袋に相当し、前記運動シーケンス(Tr、Tx)が、マッサージ中に前記手袋によって行われる運動に相当する、請求項1から9のいずれか一項に記載の装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、汎用モデルにおいて、すなわち、対象の群を表現するために事前設定されたパラメータを有するデジタルモデルにおいて、少なくとも1つの運動シーケンスを定義する分野に関する。

【0002】

本発明は、作業表面が対象群内の幾つかの個体の間で可変である多数の技術分野に応用可能であり得る。典型的に、本発明は、汎用人体に1つまたは複数のマッサージ軌道を定義するための特に有利な応用例を見いだす。代替的に、対象群の個体は物理的物体に相当し得る。例えば、対象の群は磁器の皿に相当し得、本発明は、これらの磁器の皿に絵付けの軌道を定義することに応用例を見いだし得る。

【0003】

汎用モデルでの参照要素のこの運動シーケンスの使用も可変である。実際、異なる対象と関連した幾つかの運動シーケンスを記録し、それらを汎用モデルにおいて定義することによって、異なる対象に行われる2つの動きを比較することが可能である。更には、汎用モデルを使用して定められるこの運動シーケンスは、特定の対象に汎用運動シーケンスを適応させるためのロボットを備えた手段を制御するためにも使用され得る。

【背景技術】

【0004】

予め設定された軌道をたどるようにプログラムされる産業用ロボットとは異なり、未知の表面上で動作するロボットは、表面を分析して軌道を決定できる、運動を管理する手段を含まなければならない。

【0005】

例えば、偵察ロボットは、一般に、少なくとも1つのカメラ、および時間とともに、探査表面を分析し、ロボットのためのたどられるべき軌道を決定する画像処理手段を一体化している。

【0006】

未知の表面を分析するこの方法は、時間とともにロボットの運動を精密に誘導するために多くの計算能力を必要とする。それゆえに、カメラによって取得されて画像処理手段によって処理される情報に従って運動管理装置がロボットの運動を最適化できるようにするために探査ロボットがゆっくり運動するべきであるということになる。

【0007】

加えて、マッサージロボットまたは工芸磁器絵付けロボットに関しては、個人の体の所望の範囲をマッサージする、または所望の箇所に塗料の層を塗布するために、ロボットの運動は極めて精密でなければならない。

【0008】

この目的で、3次元表面を走査する公知の工程により、ロボットによって処理されるべき表面の3次元デジタルモデリングを使用することによってオペレータがロボットの運動をプログラムすることを可能にする。例えば、文書WO2015/187092は、3次元スキャナを組み込んで、患者の体を走査し、タッチパッド上の患者の体の3次元のモデルの投影を使用して施術者がロボットのマッサージ軌道を決定できるようにするマッサージロボットを記載している。

【0009】

汎用モデルのために少なくとも1つの運動シーケンスが既知であるロボットを使用することも可能である。ロボットは、次いで特定の対象に治療を適用するために運動シーケンスを変形させつつ汎用モデルを対象に適応させることができる。

【0010】

この種類のロボットが汎用モデルにおいて少なくとも1つの運動シーケンスを定義することも必要である。文書WO2015/187092において与えられる定義に関して、汎用モデルにおいて少なくとも1つの運動シーケンスを定義することは、一般にオペレータが汎用モデルにおいてプロットを描くことによって手動で実施される。

【0011】

したがって、この運動シーケンスを定義することは、求められる精度により特に長くかかり得る。

【0012】

本発明の技術的問題は、汎用モデルにおいて少なくとも1つの運動シーケンスを定義する工程を容易にすることから成る。

【先行技術文献】

【特許文献】

【0013】

【特許文献1】WO2015/187092

【非特許文献】

【0014】

【非特許文献1】「KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera*」2011年10月16日にUIST'11

【非特許文献2】「Building Statistical Shape Spaces for 3D Human Modeling」、Pishchulinら、2015年3月19日にジャーナル「Pattern Recognition 2017」

【非特許文献3】Suzuki, S.およびAbe, K.、Topological Structural Analysis of Digitized Binary Images by Border Following、CVGIP 30 1、32～46頁(1985)

【非特許文献4】Sklansky, J.、Finding the Convex Hull of a Simple Polygon. PRL 1 $number、79～83頁(1982)

【非特許文献5】Visual Pattern Recognition by Moment Invariants、IRE Transactions on Information Theory、8:2、179～187頁(1962)

【発明の概要】

【発明が解決しようとする課題】

【0015】

本発明は、可変幾何形状の表面上で進展する参照要素の運動を取得することによっておよび捕捉された運動を汎用モデル上に適応させることによってこの技術的問題に応じることを目指す。

【課題を解決するための手段】

【0016】

本発明の意味では、「参照要素」は、作動体または物理的要素に対応する一点もしくは一組の参照点に相当し得る。例えば、参照要素は、手袋または施術者の手を表現する一組の点に相当し得る。汎用モデルに実運動を適応させるために2つの方法が使用され得る。

【0017】

第1の方法は、運動シーケンスを取得する前に対象に適応するように汎用モデルを変換(transform)することから成る。運動シーケンスの取得は、次いで変換された汎用モデルにおいて直接記録される。運動シーケンスが完了されると、汎用モデルは、これらの初期パラメータを取り戻すように再び変換され、運動シーケンスは、次いで実運動シーケンスが汎用運動シーケンスへ変換されるように汎用モデルに適用されたものと同じ変換を取り戻すことによって変換される。

【0018】

第2の方法は、汎用モデルとは独立して運動シーケンスを取得し、対象と汎用モデルとの間の差を計算して、この差を運動シーケンスに適用し実運動シーケンスを汎用運動シーケンスへ変換することである。この第2の方法は、それでも汎用モデルにおいて汎用運動シーケンスを正しく再位置決めすることを必要とする。

【0019】

この第2の方法は並進、回転および拡大縮小型の変換に対してのみ可能であるが、第1の方法は他の種類の変換に適用され得る。どちらの場合も、本発明は、汎用モデルにおいて汎用運動シーケンスを定義するための装置であって、
- 表面にわたって運動する参照要素の位置を取得するための手段であり、前記参照要素が、実際の運動シーケンスを行うように構成される、手段と、
- 前記実際の運動のシーケンスを記録するための手段と、
- 前記表面の3次元表現を取得するための手段と、
- 前記表面の前記3次元表現に前記汎用モデルを適応させるための手段と、
- 前記実運動シーケンスに、前記汎用モデルと前記表面の前記3次元表現との間の前記適応を適用することによって前記汎用モデルにおいて汎用運動シーケンスを定義するための手段とを備える、装置に関する。

【0020】

第1の場合には、前記適応手段は、前記表面の前記3次元表現に前記汎用モデルを適応させるように構成され、前記記録手段は、前記汎用モデルが前記表面の前記3次元表現の前記次元に適応されつつ前記汎用モデルにおいて前記実運動のシーケンスを記録するように構成され、前記定義手段は、前記汎用モデルがこれらの初期パラメータを回復するように、前記運動シーケンスが記録された前記汎用モデルを変換するように構成される。

【0021】

第2の場合には、前記適応手段は、前記汎用モデルと表面の3次元表現との間の差を計算するように構成され、前記記録手段は、汎用モデルから独立して実際の運動シーケンスを記録するように構成され、前記定義手段は、適応手段によって計算される差に従って記録された運動シーケンスを変換するように構成され、本装置は、前記汎用モデルにおいて前記汎用運動シーケンスを位置決めするための手段を含む。

【0022】

適応方法が何を使用しようとも、本発明は、実際上表面の3次元表現または汎用モデルを可視化する必要なしで汎用モデルにおいて運動シーケンスを定義することを可能にする。

【0023】

したがって幾つかの運動シーケンスを捕捉し、それらを同じ汎用モデルにおいて適応させて、前記同じ表面または幾つかの異なる表面に実施される幾つかの軌道を比較することが可能である。

【0024】

工芸磁器の絵付けの例では、本発明は、したがって絵付け師によって最も頻繁に実施される運動を知ることを可能にする。その上、異なる描画を調査することによって、どの運動が最も効果的であるかを判定することが可能である。

【0025】

同じように、マッサージ軌道の追跡調査の例では、施術者によって最も頻繁に要請される点を知ること、またはロボットがそれらを再現し得るように1つもしくは複数のマッサージ軌道を記録することが可能である。これらのマッサージ軌道は異なる個人にも記録され得る。加えて、幾つかの異なる種類のマッサージを行うために複数運動シーケンスがデジタル化され得る。例えば、各性別に対して3種類の汎用モデル:大柄、小柄および平均的な人、かつ異なる年齢型に対しては:小児、ティーンエイジャおよび成人、ならびに/または各記録体位に対しては:座位、立位および臥位を使用することによって、患者の体との汎用モデルの適応を改善するために幾つかの汎用モデルも作成され得る。

【0026】

一実施形態によれば、前記参照要素位置を取得するための前記手段は、参照要素の向きを取り込んでこの向きを汎用運動シーケンスの異なる点に転送するように構成される。

【0027】

一実施形態によれば、参照要素の前記位置を取得するための前記手段は、前記参照要素によって行われる動きまたは経験される制約を取り込んでこれらの動きまたはこれらの制約を汎用運動シーケンスの異なる点に報告するように構成される。

【0028】

本実施形態は、例えばロボットの運動中にアクチュエータの動作を制御することを可能にする。手工芸磁器絵付けロボットの例では、ロボットは、或る箇所に特定の表面処理を行うことができる。マッサージロボットの例では、ロボットの或る位置が、振動を引き起こしてマッサージの快適性および/または効果を改善する手段を制御できる。その上、汎用運動シーケンスは、したがって触診ローリング運動で実施される幾つかの軌道を含み得、一方で他の運動が別の種類の運動で実施される。したがって、参照要素によって経験される応力は、物理的応力、例えば圧力もしくは温度、または外部応力、例えばマッサージ中に発される音もしくは精油の拡散に相当し得る。

【0029】

一実施形態によれば、前記汎用モデルおよび表面の3次元表現が点群の前記形状へ形式化されており、前記適応手段は、
- 前記表面の前記3次元表現の各点への法線方向を計算するための手段と、
- 前記3次元表現の点群の各点に対して、汎用モデルの点の法線方向と関心点の法線方向との間の差が最低である近傍の汎用モデルの点を探索するための手段と、
- 汎用モデルの前記検出点と前記関心点との間の距離を決定するための手段と、
- 前記3次元表現の全ての点群点に対して決定された距離の関数として汎用モデルの大域変換を探索するための手段とを備える。

【0030】

法線方向は、汎用モデルの表面および表面の3次元表現の向きに関する情報を得ることを可能にする。単純な2点間座標比較とは異なり、表面比較は、より効率的な認識を提供する。

【0031】

加えて、汎用モデルまたは運動シーケンスの適応は、距離の平均に従って少しずつ汎用モデルまたは運動シーケンスを修正することによって段階的に実施される。

【0032】

本実施形態が汎用モデルまたは運動シーケンスの各点の法線方向および表面の3次元表現の法線方向を比較することによって汎用モデルまたは運動シーケンスを効果的に適応させることを可能にするということになる。

【0033】

一実施形態によれば、前記探索手段は、関心点の周囲の予め設定された球内の汎用モデルの点を探索するように構成される。

【0034】

本実施形態は、汎用モデル点の探索範囲を限定して計算時間を制限すると意図される。加えて、探索領域の限定は、2つの比較間の汎用モデルの修正の大きさを制限し、したがって汎用モデルの修正の精度を向上させることも可能にする。

【0035】

一実施形態によれば、法線方向は、関心点に最も近い3つまたは4つの点の座標を使用して表面を構築することによって決定される。

【0036】

本実施形態は、汎用モデルの表面および表面の3次元表現を効率的に構築することを可能にする。

【0037】

一実施形態によれば、前記適応手段は、
- 前記3次元表現上の特徴点を検出するための手段と、
- 前記特徴点の前記位置が汎用モデルの特徴点の位置に対応するように汎用モデルを回転および/または並進させて変換するための手段とを備える。

【0038】

本実施形態は、法線を通じて行われる精密な適応の速度を改善するために汎用モデルの第1の概略の適応を作成できるようにする。手工芸磁器絵付けロボットの例では、特徴点は磁器の上下端に対応し得る。

【0039】

マッサージロボットの例では、特徴点は頭蓋骨の上端、腋窩の位置および股の位置に対応し得る。

【0040】

一実施形態によれば、前記取得手段は、複数3次元表現を捕捉し、異なる3次元表現間で点の座標を平均することを用いて前記3次元表現を前処理するための手段を備える。本実施形態は、3次元の表現、それゆえに汎用モデルの適応の精度を改善することを可能にする。

【0041】

一実施形態によれば、前記前処理手段は、3次元の異なる表現間の点の座標の前記平均のフィルタリングを行う。本実施形態も、3次元の表現、それゆえに汎用モデルの適応の精度を改善することを可能にする。

【0042】

一実施形態によれば、前記参照要素は手袋に相当し、前記運動シーケンスは、マッサージ中に前記手袋によってなされる運動に相当する。

【0043】

本発明を実施する方法の他に、それの結果として生じる利点は、図1～図3を支持するものとして、限定でなく目安として与えられる、以下に続く実施形態から明らかになるであろう。

【図面の簡単な説明】

【0044】

【図1】本発明の一実施形態に係る汎用モデルの変換を決定するステップを示すフローチャートである。

【図2】第1の実施形態に係る汎用モデルにおいて汎用運動シーケンスを定義する装置の動作ステップを示すフローチャートである。

【図3】第2の実施形態に係る汎用モデルにおいて汎用運動シーケンスを定義する装置の動作ステップを示すフローチャートである。

【発明を実施するための形態】

【0045】

以下の説明において、本発明は、マッサージシーケンスを定義することに関して記載される。しかしながら、本発明は、この特定の応用例に限定されず、幾何形状が予め設定されない表面に関連する様々な運動シーケンスのために使用され得る。

【0046】

図1に例示されるように、表面分析は、表面の3次元表現Reを提供することが可能な取得手段14によって実施される。3次元表現Reは、各点が正規直交系の3つの座標:x、yおよびzを有する点群の形態をとる。

【0047】

この取得手段14は、一組の写真センサ、一組の赤外線センサ、断層センサ、立体センサ、または表面の3次元表現を取得することを可能にする任意の他の公知のセンサに相当してよい。例えば、この3次元表現Reを得るためにMicrosoft(登録商標)からのKinect(登録商標)カメラが使用されてよい。

【0048】

環境を捕捉することなくこの3次元表現Reを得るために、環境に対応する第1の点群およびその環境における表面に対応する第2の点群を捕捉することが可能である。環境から表面に対応する点を抽出するために2つの点群間の異なる点だけが保たれる。この方法は、記録のための標準化された環境から分離し、いかなる環境にも適応することを可能にする。

【0049】

図1に例示されるように、これらのセンサ14は、改善された品質または精度の3次元表現Reを提供するためにしばしば前処理手段15とともに実行される。例えば、前処理手段15は、ヒストグラムを等化し、フィルタリングし、幾つかの連続した表現にわたって表現を平均する、等のためのアルゴリズムに相当してよい。

【0050】

例えば、より良質の3次元の表現を得るために、科学出版物「KinectFusion: Real-time 3D Reconstruction and Interaction Using a Moving Depth Camera*」2011年10月16日にUIST'11にて公開、に記載されている手法を使用することが可能である。本装置は、次いでコンピュータ処理を実行して3次元表現Reと汎用モデルm1、m2、m3を適応させる。汎用モデルm1、m2、m3も、各点が正規直交系の3つの座標:x、yおよびzを有する点群の形状に形式化される。好ましくは、汎用モデルは、3座標のN頂点の平均モデルModMoy、および3N座標、すなわちN頂点のための3座標によるM形態成分の変換行列(transformation matrix)ModSigmaを含む。各汎用モデルm1、m2、m3を充実化するために多くの異なる人々が、例えば1,000人必要とされる。

【0051】

データの次元を削減するために主成分分析が適用される。これらのデータに主成分分析を適用することによって、データの分散を決定し、共通分散を成分と関連付けることが可能である。したがって、人ごとに1つの成分を保つ代わりに、各汎用モデルm1、m2、m3は約20の成分を記憶し、1,000人に対する分散の大半を説明する。この方法は、科学出版物「Building Statistical Shape Spaces for 3D Human Modeling」、Pishchulinら、2015年3月19日にジャーナル「Pattern Recognition 2017」にて公開、に更に詳細に記載されている。

【0052】

好ましくは、汎用モデルm1、m2、m3は、3次元表現Reとともに、汎用モデルm1、m2、m3を適応させることが可能な本装置の画像処理手段によってアクセス可能なメモリに記憶される。

【0053】

これを行うため、3次元表現Reが得られると、本装置は、デジタル処理手段16によってこの3次元表現Reの特徴点Prefの検出を実行する。図1の例では、特徴点Prefは頭蓋骨の上端、腋窩の位置および股の位置に対応する。このデジタル処理手段16は、例えばViola-Jones法などの、画像の要素を検出するための全ての公知の方法を実行できる。

【0054】

好ましくは、特徴点Prefを検出するために、点群は、深度画像、すなわちグレイレベルの画像へ変換され、例えば12ビットで符号化されており、0から4095mmに及ぶ深度を符号化することを可能にする。この深度画像は、次いで閾値処理および2値化されて、関心物体/体に対応する画素だけを1の値でおよび環境に対応する画素を0の値で強調する。次に、この2値化画像に、例えばSuzuki, S.およびAbe, K.、Topological Structural Analysis of Digitized Binary Images by Border Following、CVGIP 30 1、32～46頁(1985)に記載されている方法を使用してエッジ検出が適用される。最後に、輪郭の角点およびその凸状欠陥(例えば、方法Sklansky, J.、Finding the Convex Hull of a Simple Polygon. PRL 1 $number、79～83頁(1982)を使用して決定される)が特徴点Prefとして使用される。

【0055】

汎用モデルm1、m2、m3を選択するための手段17が次いで実行されて、3次元表現Reに最も近い汎用モデルm1、m2、m3を選択する。

【0056】

例えば、この選択は、頭蓋骨の上部の特徴点Prefと股の特徴点との間の距離を計算して3次元表現Reの高さの寸法を概略的に推定することによって、および高さの寸法が最も近い汎用モデルm1、m2、m3を選択することによってなされてよい。同様に、汎用モデルm1、m2、m3の選択は、腋窩の特徴点Pref間の距離を計算することによって3次元表現Reの幅を使用することによって実施されてよい。

【0057】

更には、汎用モデルm1、m2、m3は、人間の骨格の最も重要な骨を表現する仮想骨により関節でつながれてよい。例えば、15の仮想骨が汎用モデルm1、m2、m3にモデル化されて、脊椎、大腿骨、脛骨、尺骨、上腕骨および頭蓋骨の位置および形状を定めてよい。更には、これらの仮想骨の向きは、汎用モデルのポーズを定義することを可能にする、すなわち汎用モデルm1、m2、m3が片腕を上げれば、脚が離れ...。

【0058】

選択により汎用モデルm1、m2、m3のこのポーズも決定してよく、手段17は、距離(例えばHu方法Visual Pattern Recognition by Moment Invariants、IRE Transactions on Information Theory、8:2、179～187頁(1962)を使用して計算される)を比較することによって、数千姿勢の汎用モデルの深度画像輪郭データベースに関心物体/体の深度画像輪郭を入力する。関心物体/体の深度画像に最も近いm1、m2、m3の関節でつながれた汎用モデルの深度画像が選択され、仮想骨の回転値が保存される。

【0059】

次いで適応手段18によって3次元表現Reに近づくように選択された汎用モデルを変換することによって第1の適応が行われる。例えば、この第1の適応は、選択された汎用モデルの特徴点Prefの間隔が3次元表現Reの特徴点Prefの間隔に対応するように単に選択された汎用モデルの幅および高さを変換してよい。この第1の適応は汎用モデルm1、m2、m3の仮想骨のポーズも定めてよい。

【0060】

この第1のむしろ概略の適応に続いて、3次元表現Reの点間に定められる各表面によって形成される法線方向を使用することによって第2の、より精密な適応を使用することが可能である。これを行うため、本装置は、3次元表現Reのおよび選択された汎用モデルの各表面の法線を計算するための手段19を組み込む。

【0061】

例えば、法線方向は、関心点に最も近い3つまたは4つの点の座標を使用して3次元表現Reの各表面を構築することによって決定されてよい。変形例として、汎用モデルの法線方向は、汎用モデルを定義するステップ中に計算されてよい。

【0062】

本装置は、次いで、3次元表現Reの点群の各点に対して、汎用モデルの点の法線方向と関心点の法線方向との間の差が最少である、近くに選択される汎用モデルの点を検出することが可能な探索手段20を使用する。仮想骨が選択された汎用モデルの成分である場合、探索手段20は、各仮想骨の特徴を変化させて仮想骨を3次元表現Reに存在する体の要素の位置に適応させることによって仮想骨の位置および寸法を適応させる。

【0063】

例えば、探索手段20は、関心点の周囲の予め設定された球内の汎用モデルの点を探索するように構成されてよい。好ましくは、この球の半径は、この球に約10点が含まれるというように汎用モデルの頂点の数および関心物体/体の寸法に従って決定される。

【0064】

これらの法線方向の全てを使用して、本装置は、次いで、関心点と選択された汎用モデル上で探索手段によって検出された点との間の距離を計算することが可能な決定手段21を使用して、選択された汎用モデルと3次元表現Reとの間の差を計算できる。これらの距離の全ては、検出点に対応するために関心点に適用されるべきである変換のベクトルを形成する。探索手段22は、これらの変換ベクトルの平均を決定して、選択された汎用モデルの全体の変換を得るように設計される。

【0065】

言い換えれば、M成分の新たな変換ベクトルCompVecを考慮することによって、以下の式を適用することによってPts3D頂点の3次元構成を知ることが可能である:
Pts3D=ModAv+CompVec*ModSigma

【0066】

未知のPts3D構成に対して、例えば、新たな患者の場合、目標は、平均モデルModAverageおよび変換行列ModSigmaを知っているこの人に対応する形態成分CompVecの値を探すことである。

【0067】

これを行うため、探索手段22は、頂点Pts3Dの3次元構成と平均モデルModMoyenおよびModSigmaの擬似逆行列ModSigmaInvとの間の差DiffModを計算する。

【0068】

例えば、擬似逆行列ModSigmaInvは、以下の式を使用してModSigma行列を特異値へ分解することによって計算されてよい:
ModSigma=VU*、
ModSigmaInv=VE^t U*、
ここでE^tはEの転置行列に相当し、
V*はVの転置共役行列であり、
U*はUの転置共役行列である。

【0069】

これらのデータを使用して、探索手段22は、以下の式を使用して形態成分CompVecを計算する:
DiffMod*ModSigmaInv=CompVec*ModSigma*ModSigmaInv

【0070】

すなわち、CompVec=DiffMod*ModSigmaInvであり、特定の患者に対するCompVec形態成分を得ることも可能にする。

【0071】

CompVec変換ベクトルは、次いで選択された汎用モデルに適用される。前の通りポーズが再び推定され、汎用モデルは必要であれば調節され、汎用モデルが3ステップ表現次元Reに十分に近くなるまで新たな探索が行われる。最後に、ループは、汎用モデルの全ての頂点と点群上のそれらに対応するものとの間の平均ユークリッド距離が汎用モデルの頂点の数および関心物体/体の寸法に従って定められる閾値、例えば2mmより低いと、または閾値未満の平均距離にまだ達しない間に最大反復回数、例えば100反復に達すると停止する。

【0072】

センサ14とロボットとの間の校正段階がしばしば実施されなければならない。視覚センサ14およびロボットを校正するために、2つの標識内の少なくとも3つの共通点の座標が記録されることが可能である。実際には、4以上の数の点Nを使用することが好ましい。ロボットは作業範囲にわたって移動され、N回停止する。

【0073】

各停止で、ロボットの運動指令によって実施される運動を計算することによってロボットの位置が記録され、検出により視覚センサ14を用いて3次元のこの停止の位置を知ることを可能にする。

【0074】

これらのN停止の終了時に、N点の座標は2つの基準系内で既知である。2つの系内のN点の分布の重心は、以下の式を使用して決定される:
重心A=1/N sum(PA(i))、但しi=1～N、PA(i)はセンサの基準系14内の点、および
重心B=1/N sum(PB(i))、但しi=1～N、PB(i)はロボットの系内の点である。

【0075】

共分散行列Cが次いで以下の式によって決定される:
C=sum((PA(i)-重心A)(PB(i)-重心B)^t)、但しi=1～N

【0076】

この共分散行列Cは次いで特異値へ分解される:
C=UEV*

【0077】

以下の式が次いで2つの参照符間の回転行列Rを得る:
R=VU^t、Rの行列式が負であれば、回転行列Rの第3列に-1を乗算することが可能である。

【0078】

以下の式が、2つの標識間に適用されるべき変換を決定する:
T=-R*重心A+重心B

【0079】

したがって以下の式を適用することによってセンサ14の基準系の任意の点Paをロボットの基準系Pbへ変換することが可能である:
Pb=R*Pa+T

【0080】

図2に例示される本発明の第1の実施形態において、選択された汎用モデルの適応により、適応汎用モデルにおいて直接に、参照要素45の位置Prを取得することを可能にする。

【0081】

取得は、1つのステップ40で、表面の3次元表現Re上の参照要素45の位置Prを決定することによって実施される。参照要素は、作動体または物理的要素に対応する一つの参照点もしくは一組の参照点に相当し得る。例えば、参照要素は、手袋または施術者の手を表現する一組の点に相当し得る。表面の3次元表現Re上の参照要素45の位置Prは、位置三角測量モジュールによって、または表面の3次元の表現Reを捕捉するために使用されたものに類似した画像処理分析によって決定されてよい。表面の3次元表現Re上の参照要素45の位置Prに加えて、取得により、参照要素45の向き、または加熱もしくは特定の運動など、参照要素45で実施される動きを捕捉することも可能にし得る。

【0082】

取得は、ステップ41で数回再現されて、参照要素45によって行われる実際の運動を例示する記録のシーケンスTrを形成する。例えば、取得は0.1sごとに行われてよい。

【0083】

運動シーケンスTrが完了されると、シーケンスTrの点は、人の形態へ変換された汎用モデル上へ投影される。次いで、汎用モデルは、これらの初期パラメータを再開するように、再び変換される。

【0084】

これを行うため、汎用モデルの変換は、初期パラメータから変換された汎用モデルのパラメータに計算される。次いで、運動シーケンスTrは、汎用モデルに適用されたものと同じ変換を使用して変換される。

【0085】

したがって、Trの実運動シーケンスは、汎用モデルと関連した汎用運動シーケンスTxへ変換される。

【0086】

図3に例示される本発明の第2の実施形態において、取得45は、汎用モデルから独立して行われる。本実施形態において、図1のステップ23は、汎用モデルの変換を実際に適用することなく、単にそれらを決定するだけである。汎用モデルに運動シーケンスTxを合わせるために、運動シーケンスは、表面形態の特徴点を通過してよい。例えば、取得45は、対象の頭蓋骨の上部および腋窩に参照要素45を移動させることによって行われてよい。

【0087】

ステップ46で運動シーケンスTrが記録されると、ステップ47で汎用モデルと表面の3次元表現Reとの間の差を適用して実運動シーケンスTrを汎用運動シーケンスTxへ変換する。最終ステップにおいて、48で、選択された汎用モデルにおいて汎用運動シーケンスを再位置決めする。好ましくは、このステップ48は、参照要素45が通過した特徴点および汎用モデル上のこれらの特徴点の位置を合わせようとすることによって行われる。このステップ48は、対象の位置を考慮することによって実施されてもよい。

【0088】

本発明は、したがって実際的な方法で、すなわちオペレータがコンピュータのスクリーンまたはデジタルタブレットを使用する必要なく汎用モデルにおいて汎用運動シーケンスTxを定義することを可能にする。したがって、本発明は、オペレータが実状況で実際の記録中にしばしばより効率的であるので運動シーケンスを定義する工程を非常に単純化することを可能にする。

【0089】

この運動シーケンスは、次いで、幾つかの運動シーケンスを比較することまたは特定の対象に汎用運動シーケンスを適応させるためのロボットを備えた手段の制御などの、様々な応用例のために使用され得る。

【符号の説明】

【0090】

14 取得手段、センサ、視覚センサ、基準系
15 前処理手段
16 デジタル処理手段
17 汎用モデルを選択するための手段
18 適応手段
19 法線を計算するための手段
20 探索手段
21 決定手段
22 探索手段
45 参照要素、取得
m1、m2、m3 汎用モデル
Pref 特徴点
Re 3次元表現、3ステップ表現次元
Pr 位置
Tr シーケンス、運動シーケンス、実運動シーケンス
Tx 汎用運動シーケンス

【図1】

【図2】

【図3】

【国際調査報告】