特許 7606685 ロボット・アームを誘導するための方法、誘導システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-12-18

(45)【発行日】2024-12-26

(54)【発明の名称】ロボット・アームを誘導するための方法、誘導システム

(51)【国際特許分類】

   A61B 34/10 20160101AFI20241219BHJP

   A61B 34/35 20160101ALI20241219BHJP

   A61B 34/20 20160101ALI20241219BHJP

   B25J 13/00 20060101ALI20241219BHJP

   B25J 3/00 20060101ALI20241219BHJP

   G06T 7/00 20170101ALI20241219BHJP

   G06T 7/50 20170101ALI20241219BHJP

【ＦＩ】

A61B34/10

A61B34/35

A61B34/20

B25J13/00 Z

B25J3/00 Z

G06T7/00 660B

G06T7/50

【請求項の数】 14

(21)【出願番号】P 2021559474

(86)(22)【出願日】2020-03-19

(65)【公表番号】

(43)【公表日】2022-06-13

(86)【国際出願番号】 EP2020057704

(87)【国際公開番号】W WO2020188064

(87)【国際公開日】2020-09-24

【審査請求日】2023-03-17

(31)【優先権主張番号】1902944

(32)【優先日】2019-03-21

(33)【優先権主張国・地域又は機関】FR

(73)【特許権者】

【識別番号】521437932

【氏名又は名称】スクエアマインド

【氏名又は名称原語表記】ＳＱＵＡＲＥＭＩＮＤ

(74)【代理人】

【識別番号】100103894

【弁理士】

【氏名又は名称】家入 健

(72)【発明者】

【氏名】セラート タンギー

(72)【発明者】

【氏名】カチロフ アリ

【審査官】段 吉享

(56)【参考文献】

【文献】米国特許出願公開第２００８／００３３４１０（ＵＳ，Ａ１）

【文献】国際公開第２０１７／１８３８２５（ＷＯ，Ａ１）

【文献】特開２０１８－０７３３９３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３４／１０

Ａ６１Ｂ ３４／３５

Ａ６１Ｂ ３４／２０

Ｂ２５Ｊ １３／００

Ｂ２５Ｊ ３／００

Ｇ０６Ｔ ７／００

Ｇ０６Ｔ ７／５０

(57)【特許請求の範囲】

【請求項1】

身体の表面の全部または一部のデータの処理のためにロボット・アームをリアル・タイムで誘導するための方法であって、
点からなるメッシュを含む、人体の表面の全部または一部の身体モデルを、パラメトリック人体モデルから生成するステップと、
計算機を用いて身体モデルの表面上における処置軌道を計画するステップと、
前記ロボット・アームの遠位端のための誘導軌道を計算するステップと、
前記ロボット・アームの前記遠位端に配置されたオペレータ・デバイスの点が前記誘導軌道上で統御されるように前記ロボット・アームのキネマティック（kinematic）を生成するステップと、
前記人体の前記表面の全部または一部の前記身体モデルからリアル・タイムに計算される前記誘導軌道をカバーするように前記ロボット・アームの前記キネマティックを計算するステップと、
前記ロボット・アームの変位をリアル・タイムで自動的に管理するための前記ロボット・アームの新たなキネマティックの前記計算を確実にする、一定時間ごとでの前記人体の前記表面の全部または一部の新たな身体モデルを生成するステップであって、前記身体モデルの新たな計算された表面は、新たな処置軌道の計算および新たな誘導軌道の計算につながるステップと、
空間の目標点の少なくとも１つの位置を受け取るステップと、
オペレータ・デバイスのセンサの１回の取得をアクティブ化するステップであって、前記オペレータ・デバイスは、前記ロボット・アームの前記遠位端に配置され、前記アクティブ化は、前記センサの軸の向きが前記目標点を通過する直線に垂直になったときに実行され、前記目標点は、生成された身体モデル上を基準とするステップと
を含む方法。

【請求項2】

前記処置軌道は、前記身体モデルの表面の処置ゾーン内で生成されることを特徴とする、請求項１に記載の誘導する方法。

【請求項3】

前記処置軌道は、前記身体モデルの表面上で画定される処置ゾーンの定義から自動的に生成されることを特徴とする、請求項２に記載の誘導する方法。

【請求項4】

前記誘導軌道は、前記処置軌道に対する前記ロボット・アームの遠位端の相対位置を生成することを可能とする、距離および向きに関する所定のコンピュータ命令であって、距離の値及び向きの角度の値を含み、ロボット・アームをリアル・タイムに誘導するコンピュータ命令から計算されることを特徴とする、請求項１に記載の誘導する方法。

【請求項5】

前記ロボット・アームは、互いに旋回リンクによって２つずつ関節で繋がった少なくとも３つのブランチを含み、前記旋回リンクのセットは、所与の誘導軌道および生成された身体モデルを付与するように構成されたキネマティックデータによって規定されるキネマティックを含むことを特徴とする、請求項１に記載の誘導する方法。

【請求項6】

前記ロボット・アームの新たな軌道の生成からリアル・タイムで前記ロボット・アームが制御され得るように、一定時間ごとでの新たな身体モデルの生成を含み、前記身体モデルの新たな計算された表面は、前記処置軌道の修正につながり、前記方法は、前記新たな軌道の画定領域上で統御される前記ロボット・アームの新たなキネマティックの計算をさらに含むことを特徴とする、請求項１に記載の誘導する方法。

【請求項7】

空間の一点に配置され、身体モデルを生成することを可能とするデータを取得するように構成された取得システムを参照する参照点に対する前記ロボット・アームの位置を較正するステップを含むことを特徴とする、請求項１から６のいずれか一項に記載の誘導する方法。

【請求項8】

画像のセットが前記オペレータ・デバイス上に配置された光学デバイスから作成され、各画像は、前記身体モデル上の前記目標点の位置および前記光学デバイスの視認角度の関数として前記身体モデルの前記メッシュの少なくとも１つのノードまたは網目を指標とすることを特徴とする、請求項１に記載の誘導する方法。

【請求項9】

少なくとも一対の画像は、一体であり前記オペレータ・デバイスの異なる軸上に配置された２つのセンサを含む光学デバイスから同時に取得され、各画像は、前記身体モデルの前記目標点の位置および前記光学デバイスの視認角度に応じた前記身体モデルの前記メッシュの少なくとも１つのノードまたは網目を指標とし、前記画像は、三次元局所画像を再構成するように処理されることを特徴とする、請求項８に記載の誘導する方法。

【請求項10】

前記三次元局所画像は、生成された身体モデルに３Ｄ表現で重ね合わせられることを特徴とする、請求項９に記載の誘導する方法。

【請求項11】

前記オペレータ・デバイスの第１の光学デバイスにより取得される第１の画像は、リアル・タイムで画像のセットと比較され、前記比較の動作は、必要な場合に、対象のインジケータの生成を含み、前記対象のインジケータは、前記ロボット・アームを管理するためのデジタル制御を生成することを可能とすることを特徴とする、請求項１から１０のいずれか一項に記載の誘導する方法。

【請求項12】

前記デジタル制御は、前記第１の画像が抽出される目標位置における前記ロボット・アームの第１の管理を生じさせ、前記デジタル制御は、第２の光学デバイスをアクティブ化するための前記オペレータ・デバイスの第２の管理を生じさせ、前記第２の光学デバイスの前記アクティブ化は、前記目標点を含むゾーンの付近の領域に第２の画像を作成することを可能とすることを特徴とする、請求項１１に記載の誘導する方法。

【請求項13】

前記比較のステップは、画像のセットで訓練されたニューラル・ネットワークからの取得された前記画像を分類するステップであることを特徴とする、請求項１１に記載の誘導する方法。

【請求項14】

前記身体モデルを作成するために患者の身体の画像を取得するための取得システムと、請求項１から１３のいずれか一項に記載の方法を実行するためのオペレータ・デバイスを備えるロボット・アームとを含むことを特徴とする、ロボット・アームを誘導するためのシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の分野は、身体の近くのデバイスを動的に統御するために、人体の三次元画像を構築することを可能とする方法の分野に関する。本発明の分野は、より詳細には、三次元表面の計算の高速性を必要とするリアル・タイムでの動的制御を可能とする方法に関係する。よって、本発明は、パラメータ表示されたモデルと人工知能技法による学習とを組み合わせたアルゴリズムから表面を生成するための方法に関係する。

【背景技術】

【0002】

現在、空間に三次元表面を再構成するための種々の技法が存在している。しかしながら、それらは、患者の皮膚の表面の近くで処置を行うように意図された医療デバイスのリアル・タイムでの誘導に適していない。実際、身体の表面の再構成は、重要な計算リソースおよび多くの場合非常に多くの取得システムを要求する画像処理を必要とする。さらに、この複雑性は、ほとんどの場合、人間の援助を必要とする部分的処理または近似を要求する。

【0003】

今日、この制限が、空間におけるデバイスの複雑な誘導を実行することを可能としていない。一般的に、変形または変位を受け得る処置対象の表面の計算によって統御される空間におけるロボット化アームの誘導は、実装するのが困難なままとなっている。それにもかかわらず、応答性が高く、リアル・タイムで行う特定の解析に応じて自動的に誘導されるロボット化アームを操作する必要性が存在する。これまでのところ、既存の解決策は、追加のオペレータ操作または依然として長い処理時間を要求する。

【0004】

よって、この課題に対応することができる解決策を規定する必要性が存在する。

【発明の概要】

【発明が解決しようとする課題】

【0005】

本発明は、前述の欠点を解決することを目的とする。

【課題を解決するための手段】

【0006】

一態様によれば、本発明は、
点からなるメッシュを含む身体のモデルを生成するステップと、
計算機およびセンサのパラメータを用いて身体モデルの表面上における処置軌道を計画するステップと、
ロボット・アームの遠位端の誘導軌道を計算するステップと、
ロボット・アームの遠位端に配置されたヘッドの点が誘導軌道上で統御されるようにロボット・アームのキネマティック（kinematic）を生成するステップと、
誘導軌道をカバーするようにロボット・アームのキネマティックをアクティブ化するステップであって、前記軌道は、生成された身体モデルからリアル・タイムで計算される、アクティブ化するステップと、
空間の目標点の少なくとも１つの位置を受け取るステップと、
送信機の少なくとも１回の伝送および／またはオペレータ・デバイスのセンサの取得をアクティブ化するステップであって、前記オペレータ・デバイスは、ロボット化アームの遠位端に配置され、アクティブ化は、センサまたは送信機の軸の向きが目標点を通過する予め定められた直線と合致したときに実行され、前記目標点は、生成された身体モデル上を基準とする、アクティブ化するステップと
を含む、身体の表面のデータの処理のためにロボット・アームをリアル・タイムで誘導するための方法に関する。

【0007】

有利な点は、患者の身体を再現する身体モデルを考慮する誘導方法を用いることにある。計算が軽減され、医療機器のリアル・タイムでの統御が可能となる。実世界の再構成は、患者の身体から計算されたメッシュ状の身体モデルを用いることによって最適化される。有利な点は、患者の起こり得る動きを考慮すること、または利用するのが簡単な身体モデルを用いることにより起こり得る衝突を予期することにある。用いられる身体モデルは、ロボットの動きを予期するための患者の直接の画像の取得に基づくシステムではなく、リアル・タイムでの誘導に利用するのがより容易であり得る点のセットまたはメッシュを含む。

【0008】

一態様によれば、本発明は、
点からなるメッシュを含む人体の表面の全部または一部の３Ｄモデルを生成するステップと、
計算機を用いて身体モデルの表面上における処置軌道を計画するステップと、
ロボット・アームの遠位端の誘導軌道を計算するステップと、
ロボット・アームの遠位端に配置されたヘッドの点が誘導軌道上で統御されるようにロボット・アームのキネマティックを生成するステップと、
誘導軌道をカバーするようにロボット・アームのキネマティックをアクティブ化するステップであって、前記誘導軌道は、人体の表面の３Ｄモデルからリアル・タイムで計算される、アクティブ化するステップと、
一定時点ごとでの人体の表面の新たな３Ｄモデルの生成は、ロボット・アームの変位をリアル・タイムで自動的に管理するためのロボット・アームの新たなキネマティックの計算を確実にし、３Ｄモデルの計算された新たな表面は、新たな処置軌道の計算および新たな誘導軌道の計算につながり、
空間の目標点の少なくとも１つの位置を受け取るステップと、
送信機の少なくとも１回の伝送をおよび／またはオペレータ・デバイスのセンサの取得をアクティブ化するステップであって、前記オペレータ・デバイスは、ロボット化アームの遠位端に配置され、アクティブ化は、センサのまたは送信機の軸の向きが目標点を通過する予め定められた直線と合致したときに実行され、前記目標点は、生成された身体モデル上を基準とする、アクティブ化するステップと
を含む、身体の表面のデータの処理のためにロボット・アームをリアル・タイムで誘導するための方法に関する。

【0009】

一実施形態によれば、身体モデルは、患者の身体の画像を取得するためのシステムから生成され、前記システムは、空間の一点に配置される。有利な点は、人体の部分ビューの取得により、ニューラル・ネットワークの利用に基づくアルゴリズムから人体の全体を生成することが可能となる点にある。

【0010】

一実施形態によれば、処置軌道は、身体モデルの表面を処置するためのゾーン内で生成される。

【0011】

有利な点は、入力として用いられる身体モデルの生成された表面に関して生成される誘導軌道を規定することにある。よって、誘導は、メッシュ状の身体モデルの簡易化された利用によって最適化される。

【0012】

一実施形態によれば、処置軌道は、身体モデルの表面上に画定される処置ゾーンの定義から自動的に生成される。

【0013】

有利な点は、領域を選択するのみでよいオペレータの作業を自動化する点にある。当該領域は、生成された身体モデル上に画定される。よって、その画定が簡易化され、軌道が容易に生成され得る。

【0014】

一実施形態によれば、誘導軌道は、処置軌道に対するロボット・アームの遠位端の相対位置を生成することを可能とする、予め定められた距離および向きの命令から計算される。

【0015】

有利な点は、パラメータの最小値を考慮した統御システムによる簡易化された誘導を得ることにある。

【0016】

一実施形態によれば、ロボット・アームは、互いに旋回リンクを介して２つずつ関節で繋がった少なくとも３つのブランチを含み、旋回リンクのセットは、所与の誘導軌道および生成された身体モデルについての計画されたキネマティックを含む。

【0017】

有利な点は、操作コンソールから生成される軌道の誘導点の位置に応じてロボット化アームの計算機内で実行され得るロボット・アームのキネマティックの生成を切り離すことにある。

【0018】

一実施形態によれば、誘導する方法は、ロボット・アームの新たな軌道の生成からリアル・タイムでロボット・アームが指令され得るように、一定時間ごとでの新たな身体モデルの生成を含み、身体モデルから計算される新たな表面は、処置軌道の修正につながり、方法は、新たな軌道の画定領域上で統御されるロボット・アームの新たなキネマティックの計算をさらに含む。有利な点は、リアル・タイムでの良好な誘導性能を得ることにある。身体モデルの考慮により、誘導の計算が簡易化する。ロボット・アームの統御が迅速になり得、よって、患者の衝突または突然の動きが起こる場合を抑制することを可能とする。

【0019】

一実施形態によれば、誘導する方法は、身体モデルを生成することを可能とする画像が取得される固定の位置からのロボット・アームの位置の較正のステップを含む。較正の有利な点は、ロボット・アームの端部の位置に対する身体モデルの位置を知ることにある。

【0020】

一実施形態によれば、処置軌道は、送信機レーザからのレーザ・ビームの射出方針を確立するために用いられ、前記送信機レーザは、オペレータ・デバイスに固定される。

【0021】

一実施形態によれば、身体モデルは、円の配置によって画定される新たなメッシュを形成するような均質なメッシュを含み、少なくとも１つの円が、空間の目標点の位置を画定する。有利な点は、メッシュ上で容易に位置を特定することが可能な点に応じて、ロボット・アームのヘッドにおけるオペレータ・デバイスのアクティブ化を簡易化することにある。

【0022】

一実施形態によれば、新たなメッシュは、射出パワー命令および／または２つの射出の間の重なり量に関する命令の関数として生成される。有利な点は、ロボット化アームの使用の場合に適合されたメッシュを利用可能とすることにある。

【0023】

一実施形態によれば、実行される射出の数のサンプリングは、新たなメッシュ、設定される射出パワーおよび共局在化された２つの円の間で画定される重なり量に応じる。有利な点は、使用が簡単な操作コンソールをオペレータに提供することにある。

【0024】

一実施形態によれば、処置軌道は、超音波送信機からの超音波信号の射出方針を確立するために用いられ、前記超音波送信機は、オペレータ・デバイスに固定される。

【0025】

一実施形態によれば、画像のセットがオペレータ・デバイス上に配置された光学デバイスから作成され、各画像は、前記身体モデル上の目標点の位置および光学デバイスの視認角度に応じた身体モデルのメッシュの少なくとも１つのノードまたは網目を指標とする。有利な点は、患者の身体に対応するパラメータ表示されたまたはパラメトリック身体モデル上の皮膚などの外層を再構成することにある。

【0026】

一実施形態によれば、少なくとも一対の画像が、一体でありオペレータ・デバイスの異なる軸上に配置された２つのセンサを含む光学デバイスから同時に取得され、各画像は、前記身体モデルの目標点の位置および光学デバイスの視認角度に応じた身体モデルのメッシュの少なくとも１つのノードまたは網目を指標とし、前記画像は、三次元局所画像を再構成するように処理される。

【0027】

一実施形態によれば、三次元局所画像は、生成された身体モデルに３Ｄ表現で重ね合わせられる。

【0028】

一実施形態によれば、オペレータ・デバイスの第１の光学デバイスにより取得される第１の画像は、リアル・タイムで画像のセットと比較され、比較動作は、適切な場合に、対象のインジケータの生成を含み、前記対象のインジケータは、ロボット・アームを管理するためのデジタル指令を生成することを可能とする。

【0029】

一実施形態によれば、誘導命令は、第１の画像が抽出される目標位置におけるロボット・アームの第１の管理および第２の光学デバイスをアクティブ化するためのオペレータ・デバイスの第２の管理につながり、第２の光学デバイスのアクティブ化は、目標点を含むゾーンの付近の領域に第２の画像を作成することを可能とする。有利な点は、特に診断の目的で、すなわち患者および病気の定性的検査にまたはそれに代えて異なるスケールにおける皮膚被覆についての情報を含む患者のための画像の履歴を生成するために用いられることが可能な画像群を生成することにある。

【0030】

一実施形態によれば、比較ステップは、画像のセットで訓練されたニューラル・ネットワークから取得される前記画像の分類のステップである。有利な点は、患者の皮膚被覆上の特異点の検出のステップを最適化することにある。

【0031】

別の態様によれば、本発明は、
異なる時点において複数の身体モデルを生成するための計算機と、
取得された身体モデルのメッシュ上に画定される点から計算される軌道からロボット・アームのキネマティックを計算する制御ユニットの計算機によって統御されるロボット・アームと、
少なくとも１つの送信機またはセンサを含む、ロボット・アームの端部に配置されたオペレータ・デバイスであって、少なくとも１つの送信機またはセンサのアクティブ化は、センサまたは送信機の軸の向きが目標点を通過する直線に沿って方向付けられたときに実行され、前記目標点は、生成された身体モデル上を基準とする、オペレータ・デバイスと
を含む、ロボット・アームを誘導するためのシステムに関する。

【0032】

一態様によれば、本発明は、パラメータ表示身体モデルを作成するために患者の身体の画像を取得するためのデバイスと、本発明の方法の実装のためのオペレータ・デバイスを備えるロボット・アームとを含む、ロボット・アームを誘導するためのシステムに関する。

【0033】

本発明のシステムは、種々の代替的実施形態によれば、本発明の種々の実施形態において説明される種々の手段を含む。さらに、種々の代替例によれば、それは、本発明の方法の種々の実施形態に従って構成される。

【0034】

一態様によれば、本発明は、
人体の表面の取得された３Ｄモデルのメッシュ上に画定される点から計算される軌道からロボット・アームのキネマティックを計算する制御ユニットの計算機によって統御されるロボット・アームと、
異なる時点において複数の身体モデルを生成するための計算機であって、一定時点ごとでの人体の表面の新たな３Ｄモデルの生成は、リアル・タイムで自動的にロボット・アームの変位を管理するためのロボット・アームの新たなキネマティックの計算を確実にし、３Ｄモデルの新たな計算された表面は、新たな軌道の計算につながる、計算機と、
少なくとも１つの送信機またはセンサを含む、ロボット・アームの端部に配置されたオペレータ・デバイスであって、少なくとも１つの送信機またはセンサのアクティブ化は、センサのまたは送信機の軸の向きが目標点を通過する直線に沿って方向付けられたときに実行され、前記目標点は、人体の表面の生成された３Ｄモデル上を基準とする、オペレータ・デバイスと
を含む、ロボット・アームを誘導するためのシステムに関する。

【0035】

別の態様によれば、本発明は、
幾何学的データに対応する入力データを受け取るステップと、
入力データから第１の点群を生成するステップであって、各点は三次元空間座標に関連付けられる、生成するステップと、
第１の点群の各点において複数の属性を決定するステップであって、前記属性は、少なくとも１つの形状記述子、第１の点群のこの点における法線ベクトルを記述するデータを含む点の少なくとも１つの属性を含む、決定するステップと、
第２の拡充された点群を生成するために前記属性を各点と関連付けるステップと、
回帰を用いて、第２の点群の少なくとも１つの点におけるまたは人体モデルの少なくとも１つの関節における少なくとも１つの回転および少なくとも１つの形状係数を含む幾何学的パラメータのセットを計算するステップであって、前記回帰は、異なるパラメータ表示構成でパラメータ表示されたパラメトリック・モデルの複数の部分ビューから訓練されたニューラル・ネットワークの異なる層に従って行われる一連の行列演算から実行される、計算するステップと、
第１のメッシュを含む身体の身体モデルを生成するために、パラメータ表示されたモデルを決定するステップと
を含む、人体の三次元作業表面を生成するための方法に関する。

【0036】

一例によれば、入力データは、画像を記述するデータを含む。幾何学的データは、例えば、２Ｄ画像を記述するデータから推測されてよい。よって、１つの場合によれば、入力データは画像である。

【0037】

本方法の有利な点は、例えば一対のカメラを含む最小限の取得システムで、患者の身体の近くの医療機器の誘導のリアル・タイムでの統御を可能とすることにある。誘導性能は、特に、高性能なニューラル・ネットワークの学習方法によって得られる。

【0038】

一実施形態によれば、方法は、第２の均質なメッシュを生成するための第１のメッシュの処理をさらに含む。均質なメッシュの使用の有利な点は、ロボット・アームのヘッドにおける１つまたは複数のセンサまたは１つまたは複数の送信機の統御指令を容易にすることにある。実際、均質なメッシュの点の処理は、ロボット・アームのヘッドにおけるデバイスの利用を容易にすることを可能とする。

【0039】

一実施形態によれば、形状記述子が、第１の点群のスペクトル分割のための方法を用いて第１のグラフの隣接行列から第１の点群の少なくとも１つの所与の点において計算される。有利な点は、適用される点における距離基準に従って重み付けされる形状記述子を、点の近傍において考慮することにある。別の有利な点は、点の近傍の局所表面のトポロジーを考慮することを可能とすることにある。

【0040】

一実施形態によれば、少なくとも１つの局所的形状記述子および／または大域的形状記述子は、「波カーネル特徴（Ｗａｖｅ Ｋｅｒｎｅｌ Ｓｉｇｎａｔｕｒｅ）」または「熱カーネル特徴（Ｈｅａｔ Ｋｅｒｎｅｌ Ｓｉｇｎａｔｕｒｅ）」または「ガウス曲率（Ｇａｕｓｓｉａｎ Ｃｕｒｖａｔｕｒｅ）」のタイプのものである。有利な点は、点の近傍の領域のスペクトル解析から形状記述子を定義することにある。有利な点は、デジタル処理が最適化され得る式または正規化された作用素の使用の簡易化にある。

【0041】

一実施形態によれば、第１の点群の所与の点における法線ベクトルの計算は、対象の各点の近傍の点から当該点の周囲に局所的に生成される表面を考えることによって計算される。有利な点は、処置対象の身体の表面の局所表面のトポロジーを解析するための所望の分解能または粒度をパラメータ表示することにある。

【0042】

一実施形態によれば、第１の点群の対象の点において局所的に生成される表面は、
第１の点群の点によって画定される、基礎となる表面から、
または、対象の点のｋ個の最近傍の方法から直接得られる局所表面の近似から
のいずれかで計算される。

【0043】

一実施形態によれば、少なくとも２つの形状記述子が、第１の点群の各点に関連付けられる。有利な点は、モデルの記述を拡充することにある。利点は、ニューラル・ネットワークの訓練時により良好な学習を得ることにある。さらに、有利な点は、ニューラル・ネットワークの回帰のステップの性能を向上させることにある。

【0044】

一実施形態によれば、第１の点群は、
少なくとも２つの光学素子からの複数の画像の取得であって、第１の点群の点の各位置は、少なくとも２つの取得された画像の立体測定から推測される、取得、および／または、
変形されたパターンを含む画像の取得であって、前記パターンは、プロジェクタにより投写され、既知のジオメトリを含む、取得、および／または、
患者の皮膚の表面に伝導および反射される超音波信号の取得、および／または、
患者の皮膚の表面に伝導されるレーザの取得
によって得られるデータから生成される。

【0045】

有利な点は、本発明の方法を種々の取得技法と共に実装することにある。利点は、特に医療装置の誘導のために、本発明の方法によって利用されることが可能な点群を得ることにある。種々の取得技法が組み合わされてよく、または互いに置き換えてよい。それにも関わらず、カメラなどの画像取得システムは、実装が簡単であり、設定が簡単であり、容易に導入可能な取得システムのままである。

【0046】

一実施形態によれば、パラメータ表示身体モデルは、関節のセットが予め定められる人体のパラメトリック・モデルから得られ、前記パラメータは、
少なくとも１つの関節についての少なくとも１つの回転角度と、
少なくとも１つの形状係数と
をモデル化する。

【0047】

有利な点は、身体の各肢の種々の自由度を考慮した人体の簡単なパラメータ表示を規定することにある。有利な点は、患者のあり得る動きに応じて誘導されるデバイスのリアル・タイム統御を実行することにある。

【0048】

一実施形態によれば、前記パラメータは、
空間におけるモデルの少なくとも１つの大域的平行移動、および／または
空間におけるモデルの少なくとも１つの大域的回転
をさらにモデル化する。

【0049】

有利な点は、患者の変位を考慮するとともに、種々の機器の配置に応じて患者の身体の取得システムを較正することを可能とすることにある。

【0050】

一実施形態によれば、パラメータ表示身体モデルは、所与のパラメータ表示の定義から得られ、所与のパラメータ表示は、パラメトリック身体モデルの所与の表現を規定することを可能とするモデル化パラメータのセットの定義を含む。前記パラメータ表示身体モデルは次に、第３の点群、グラフまたはメッシュによって表されてよい。有利な点は、得られるパラメータ表示された身体から直接利用可能な点群を生成することにある。別の有利な点は、ニューラル・ネットワークの汎化の良好な性能を得るために種々の姿勢に応じた多数の身体を得ることにある。

【0051】

一実施形態によれば、複数の部分ビューが生成される。部分ビューの各々は、例えば第３の点群の点のサブセットから得られてよい。有利な点は、現実の撮像に対応することが可能な非常に多くのビューを生成することにある。よって、多数の部分ビューに対する学習により、ニューラル・ネットワークがより良好に訓練され、回帰ステップの性能がより良好になる。

【0052】

一実施形態によれば、第３の点群の点の各サブセットは、空間の所与の視点から見える点の選択によって得られ、部分ビューのセットは、空間の複数の視点について生成される。

【0053】

一実施形態によれば、回帰は、
学習方法から得られる重み付け係数を含む行列の複数の乗算を含むニューラル・ネットワーク畳み込みまたは層、
非線形演算
を含む。

【0054】

一実施形態によれば、回帰は、入力として、
点群の点およびそれらの属性の値、および／または、
点群に対応するグラフの隣接行列
を含む。

【0055】

一実施形態によれば、方法は、ニューラル・ネットワークの学習の事前のステップを含み、前記事前のステップは、
異なるパラメータ表示構成でパラメータ表示されるパラメトリック・モデルの複数の部分ビューから実行される訓練、
訓練されたネットワークの各層についての重み付け係数を含む行列の作成
を含む深層学習法によって実行される。

【0056】

別の態様によれば、本発明は、入力データを取得するためのインタフェース、パラメータ表示身体モデルを生成する方法を用いて取得される入力データを処理するための計算機およびメモリを含むシステムに関する。

【0057】

一実施形態によれば、本発明は、空間に配置される身体の表面の点のセットの距離データを取得するための手段、少なくとも１つの自由度を有する誘導されるロボット・アームを含むシステムに関し、前記ロボット・アームは、身体モデルの部分ビューの表面において画定される処置軌道から得られる誘導軌道によって位置が統御されるセンサまたは送信機をさらに含み、前記身体モデルは、本発明の方法から生成される。

【0058】

本発明のシステムは、本発明の方法を説明するために列挙される種々のパラメータに従って構成されてよい。さらに、本発明のシステムは、種々の実施形態によれば、本発明の方法の種々の実施形態において説明される種々の手段を含む。

【0059】

本発明の他の特性および利点が、添付の図面を参照して以下の詳細な説明を読むことにより明らかとなるであろう。図面は以下を示す。

【図面の簡単な説明】

【0060】

【図1】本発明の方法の一実施形態の主要なステップである。

【図2】処置対象の身体の表面の近くのロボット・アームの動きを空間的に制御するためのシステムの一実施形態である。

【図3】本発明の方法から管理可能な、操作コンソール、位置決めシステムおよびロボット・アームを含む本発明のシステムの一実施形態の表現である。

【図4】計画された軌道を進行するように誘導される６つの軸を有する本発明のロボット・アームの一例である。

【図5】ロボット・アームのヘッドの基準点を示す６つの軸を有する本発明のロボット・アームの一例である。

【図6A】例えば皮膚科学アプリケーションを対象とした本発明のロボット・アームのヘッドに配置されるオペレータ・デバイスの第１の例である。

【図6B】本発明のシステムから生成される軌道の一例である。

【図7】本発明の方法に係る処置対象の表面の点の第１のメッシュの一例である。

【図8】本発明の一実施形態から得られる第２のメッシュの第１の例である。

【図9】本発明の一実施形態から得られる第２のメッシュの第２の例である。

【発明を実施するための形態】

【0061】

本発明は、身体の表面の画像を取得し、前記身体の三次元表面を再構築するための方法に関係する。本発明はまた、画像取得および処理システムに関係する。本発明はまた、モデル化された身体モデルから医療デバイスをアクティブ化するための方法およびシステムに関係する。本発明は、患者の皮膚被覆の診断または処置のための例えばロボット物体の誘導に関係する。

【0062】

説明の残りの部分において、患者１の身体の５つの点を取得するためのシステムが、空間の固定点に選好的に配置される。一例として、この点取得システムは、天井、壁またはそれに代えて本発明の方法の実行中に固定されたままとなるように意図された空間の任意の他の点に固定されてよい。この取得システム５は、Ｒ_０（Ｏ，ｘ_０，ｙ_０，ｚ_０）で表される基準点を基準とする。取得システム５に関連付けられる基準点Ｒ_１（Ｏ_１，ｘ_１，ｙ_１，ｚ_１）を基準としてもよい。基準となる「世界」フレームと取得システム５との間での位置の較正から、取得システム５は、変換Ｒ_１→Ｒ_０を用いて基準点Ｒ_０を基準としてよい。

【0063】

説明の残りの部分において、ロボット・アーム６が、取得デバイス５の取得フィールドによってカバーされるのと同じ空間に配置される。これは、病院の処置室またはそれに代えて医師の外科的処置に対応する部屋であってよい。ロボット・アーム６は、持ち運び可能な設置物２５などの台座上に位置付けられ、本発明の方法によって実行される処置の間において所与の位置に固定されることが可能であってよい。このロボット・アーム６は、Ｒ_０（Ｏ，ｘ_０，ｙ_０，ｚ_０）で表される基準点を基準とする。空間内でのロボット・アーム６の位置は、ロボット・アーム６の動きが容易に表現され得る基準点Ｒ_２（Ｏ_２，ｘ_２，ｙ_２，ｚ_２）で特定されてよい。基準点Ｒ_２→Ｒ_０の変化により、取得５のシステムＲ_０の基準点におけるロボット・アーム６の動きを表現することが可能となる。この基準点の変化は、ロボット・アーム５と患者１の身体との間の衝突検出機能の実現の間において特に効率的であることが判明し得る。

【0064】

例示的実施形態によれば、取得システム５は、基準点Ｒ_２と一体であってよい。この例示的な場合において、取得システムは、ロボット・アーム６を支持する台座に固定されてよい。この構成は、例えば取得システム５を上昇させることを可能とする保持ロッド（不図示）によって得られてよい。この構成の有利な点は、本発明のシステムの取り付けを容易にすることにある。別の有利な点は、取得システム５およびロボット・アーム６の位置決めの間の事前較正を利用可能とすることにある。

【0065】

別の例示的実施形態によれば、取得システム５は、操作コンソール２０が取り付けられる台座に固定されてよい。このシナリオは、ハードウェア部分およびソフトウェア部分を含む自律的な取得デバイスを利用可能とすることを可能とする。取得システム５を固定するために、保持ロッドまたは任意の他の機械的保持デバイスが採用されてもよい。

【0066】

説明の残りの部分において、オペレータ・デバイス８とも称されるロボット・アーム６のヘッド８が、ロボット・アーム６の遠位端に配置される。ヘッド８は、図５に示すＲ_３（Ｏ_３，ｘ_３，ｙ_３，ｚ_３）で表される基準点に関係付けられてよい。ロボット・アーム６のヘッド８の位置は、ロボット・アーム６のブランチを動かすキネマティックが既知であれば、基準点Ｒ_２（Ｏ_２，ｘ_２，ｙ_２，ｚ_２）において容易に特定され得る。利点は、オペレータ・デバイス８によって取得される画像を、例えば基準点Ｒ_０（Ｏ，ｘ_０，ｙ_０，ｚ_０）を基準とすることにある。

【0067】

本説明は、任意のタイプのロボット化物体、特にロボット化アームに適用する。本発明のロボット化アームは、複数の自由軸、特に２および９の自由度を有してよい。説明の残りの部分において、６つの軸を有するロボット化アームのアプリケーションの場合を考えて一実施形態を説明する。しかしながら、本発明は本例に限定されるものではない。

【0068】

種々の代替例によれば、ロボット化アームが水平な台座に固定され、第１のアームが鉛直に延びていてよく、または、ロボット化アームが鉛直な台座に固定され、第１のアームが水平に延びていてよい。種々の構成が本発明に適合する。

【0069】

説明の残りの部分において、「身体モデル」とは、身体の三次元モデルを指す。この身体モデルは、点群によって表されてよい。点群は、所与のパラメータ表示により得られるパラメトリック身体モデルの所与のモデル化から生成されてよい。

【0070】

さらに、この身体モデルは、身体の全部をモデル化する点群の点のサブセットに対応する、この身体の種々の部分ビューを生成するために用いられてよい。この目的で、身体モデルの部分ビューを抽出するために視点が規定されてよい。そのような身体モデルは、人体のパラメトリック・モデルの所与のパラメータ表示の構成から得られてよい。

【0071】

説明の残りの部分において、「身体モデル」の部分ビューは、当該身体モデルの表面が観察される所与の視点に応じた身体の三次元モデルを指す。

【0072】

説明の残りの部分において、「パラメトリック人体モデル」ＭＯＤ＿Ｓは、この身体の特定の部分の変換または所与のパラメータの構成に応じたビューを生成するようにパラメータ表示されることが可能なモデルを指す。よって、上記で定義した身体モデルは、所与のパラメータ表示によるパラメトリック人体モデルから生成されてよく、これはパラメータ表示身体モデルＭＯＤ＿Ｐとして知られる。

【0073】

パラメトリック身体モデルは、例えば医療機器の誘導のための身体モデルを生成することを可能とするパラメータのセットを決定するべく回帰ステップを実行するために、本発明の方法の間の第１の使用に従って用いられてよい。これは、回帰ステップの間に正確を期して用いられる重み行列を生成するために、深層学習の間の第２の使用に従って用いられてよい。

【0074】

一例によれば、パラメトリック身体モデルＭＯＤ＿Ｓは、以下のパラメータ、すなわち、
空間におけるモデルの大域的平行移動、すなわち、Ｔｘ、Ｔｙ、Ｔｚの３つのパラメータ、
空間におけるモデルの大域的回転、すなわち、Ｒｘ、Ｒｙ、Ｒｚの３つのパラメータ、
例えば３つの回転パラメータを各々が有する２４の関節を含むパラメトリック・モデルを用いた各関節の回転の角度、すなわち、合計７２のパラメータを規定するＲｘｉ、Ｒｙｉ、Ｒｚｉ、
例えば２０の形状係数を含むパラメトリック・モデルを用いた形状係数
の入力によるパラメトリック・モデルから得られてよい。後者は、人体の形状に影響する。

【0075】

本例では、人体モデルを生成するために８８のパラメータが決定されてよい。

【0076】

他の例が本発明の方法またはシステムと共に実装されてよい。

【0077】

点の取得
一実施形態によれば、本方法は、点の取得のステップＡＣＱを含む。この取得は、例えば画像取得デバイスを用いてなされてよい。例示的実施形態において、図３の光学系５は、画像ＩＭ_１、ＩＭ_２を取得するための２つのセンサ５１、５２を含む。これらは、例えば、少なくとも２つのカラーカメラまたは赤外線カメラを含む３Ｄカメラなどのカメラであってよい。種々の例示的実施形態によれば、カラーカメラまたは赤外線カメラが用いられてよい。選好的には、同一のカメラの対が選択される。各カメラの色を設定し、それらを空間の同じ点について対応付けるために、事前の較正ステップが実行されてよい。

【0078】

被写体の３Ｄ再構築物を作成するために、「立体較正」として知られる別のカメラ間較正が２つのカメラ間で実行されてよい。較正は、カメラの各々によって取得される２つの画像の間の変換を計算することを目的とする。

【0079】

一例によれば、この変換は、重要点の検出と、ＳＩＦの略語でよりよく知られるスケール不変視覚的特徴変換（ｓｃａｌｅ ｉｎｖａｒｉａｎｔ ｖｉｓｕａｌ ｆｅａｔｕｒｅ ｔｒａｎｓｆｏｒｍ）により得られる記述子の算出とを含んでよい。例えば「ＲＡＮｄｏｍ ＳＡｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ」を指す「ＲＡＮＳＡＣ」として知られる方法などの推定方法と共に、重要点同士を対応付けることを目的とする相関付けステップが実装されてよい。次に、検出された重要点間の等長変換計算が実行される。最後に、変換により、画像の点を三角形分割し、よって深さマップを構築することが可能となる。

【0080】

第１の方法によれば、配置が既知である２つの視点から取得された同じ物体の２Ｄ画像が、いわゆる深さマップまたは距離マップを得るために、既知の技法に従って組み合わされてよい。

【0081】

本発明の方法は、次に点群Ｇ_１を得るために組み合わされる２Ｄ画像を処理することを可能とする。それらの点は、第１のグラフＧ_１を構成するものとなる。一例によれば、得られた第１のグラフＧ_１の点は、無向かつ非連結である。グラフＧ_１は、その最も単純な形態において、その座標が空間、例えばＲ_０、Ｒ_１、Ｒ_２またはＲ_３を基準とする点の順序無しリストである。このとき、点は各々、他とは独立して画定される。よってグラフＧ_１は、その最も単純な形態において、点群である。

【0082】

画像ＩＭ_１、ＩＭ_２は、同時に取得されてよい。有利には、光学素子が平行な軸に沿って方向付けられ、共局在化される。利点は、深さマップを生成するために立体技法によって画像を処理することが可能なことにある。深さマップにより、複数の点における空間座標ｘ，ｙ，ｚの位置を指定することが可能となる。

【0083】

一実施形態によれば、画像の色は、色調差およびよって距離変動を生成するために用いられる。

【0084】

深さマップは、その分解能が設定され得る、得られた異なる点間の距離を符号化することによって得られてよい。グレースケールは、第１の値範囲に従って変動する場合がある。例えば１６ビットでの符号化を選ぶことにより、深さマップのグレースケールへの符号化は、異なる点どうしを隔てる距離を高精度で得ることを可能とする。

【0085】

本発明の方法は、リアル・タイムで画像ストリームを処理するために、光学素子５１、５２によって画像ストリームを連続的に取得することを可能とする。ＩＭ_１、ＩＭ_２との表記は、単に取得された画像のみでなく、カメラ５１、５２の各々によって取得された画像ストリームも指す。

【0086】

画像は、処置対象のゾーンを限定する取得外縁を抽出するように処理されてよい。これを行うべく、身体の表面によって画定される対象ゾーンの外側の点を考慮することを回避するためにテンプレートが用いられてよい。

【0087】

処置対象の表面の全部の２つの画像ＩＭ_１、ＩＭ_２の取得は、身体の全体の深さマップを生成することを可能とする。深さマップは、点のセットおよび互いに対する距離を含む。

【0088】

別の例によれば、方法のこの段階では、処置される表面がない。点間の距離は、身体の外層などの形状認識とは独立して生成される。

【0089】

一例によれば、表面単位ごとに生成される点の数は、点群の所望の分解能に応じて設定可能である。この目的で、取得は、分解能を増大させるために、より多数または少数の画像を取得するように構成されてよい。

【0090】

一実施形態によれば、位置決めシステムＳＹＳ＿ＰＯＳは、単一の基準フレームにおいて各点の位置を特定するための基準フレームおよび座標系を規定することを可能とする。この位置決めシステムは、有利には、取得デバイス５であってよい。

【0091】

立体較正は、Ｒ_０とＲ_１との間の変換を得ることを可能とし、基準点Ｒ_１は、取得システム５に関連付けられる。次に、本発明の方法は、ロボット化物体６を取得システム５に対して較正し、よって、基準フレームＲ_２→Ｒ_１→Ｒ_０における画像の変換を実行することを可能とする。基準フレームＲ_３がロボット化アーム６のヘッド８に関連付けられる場合、Ｒ_３→Ｒ_２の変換は、各アームの関節のキネマティックが計算機およびロボット・アーム６を管理するシステムのメモリによって既知であることに起因して既知である。

【0092】

他の取得技法
一実施形態によれば、身体の表面上にパターンを投写するために、投写デバイスが用いられる。次いで、投写されたパターンの変形を解析するように、取得された画像が処理されてよい。この技法は、追加のデータを得ることを可能とし、３Ｄ再構築を向上することを可能とする。特に、投写されたパターンの変形の検出は、３Ｄ再構築の精度を向上することを可能とする。特に、投写されたパターンの変形の検出は、深さマップを生成するために計算される距離の評価の精度を向上することを可能とする。さらに、プロジェクタは、第１のグラフＧ_１を生成するための点群の構築の間のノイズを低減することを可能とする。

【0093】

結果として、深さマップの立体像による再構築は、任意選択的に少なくとも１つのパターン・プロジェクタと共に用いられるカメラの対によって得られてよい。投写される光は、可視域またはそれ以外、例えば赤外域におけるものであってよい。一例によれば、取得デバイス５は、一対のカラー３Ｄカメラおよび少なくとも１つの赤外線プロジェクタを含んでよい。

【0094】

別の実施形態によれば、用いられるカメラは、赤外線カメラまたは近赤外線の周波数範囲を有するものであってよい。

【0095】

レーザ・トランシーバ・デバイスなどの、深さマップを構築するための他の技法が用いられてよい。レーザ・ビームの反射は、反射面のジオメトリに関するデータを生成することを可能とする。別の技法は、超音波トランシーバを用いることであってよい。実装され得るシステムの一例として、ＬＩＤＡＲタイプのシステムがある。

【0096】

一実施形態によれば、本発明の方法は、取得された画像から導出される点群を復元し、それを例えばＧＰＵ（Ｇｒａｐｈｉｃ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などのグラフィック・プロセッサに転送することを可能とする。

【0097】

第１のグラフＧ１の生成
本発明の方法は、例えば空間の基準点Ｒ_０を基準とする空間座標に関連付けられた点のセットを生成することを目的とするステップを含む。これらの座標は、位置決めシステムＳＹＳ＿ＰＯＳの事前の較正から得られてよい。較正は、本発明の方法の開始時に、位置決めシステムＳＹＳ＿ＰＯＳの光学素子によって取得された特定のパターンから実行されてよい。一実施形態によれば、位置決めシステムＳＹＳ＿ＰＯＳおよび光学系ＳＹＳ＿ＯＰＴは、同じシステムであってよい。別の実施形態によれば、それらは、２つの別個のシステムに対応してよい。

【0098】

よって、取得システムＳＹＳ＿ＯＰＴによって得られる深さマップは、空間の基準点Ｒ_０における座標に関連付けられた空間の点のセットを得るために利用されてよい。

【0099】

本発明の方法は、データ、すなわち空間の基準点Ｒ_０を基準とする空間の点に対応するデータＤＡＴＡ_１を受け取るステップＲＥＣ＿ＤＡＴＡ_１を含む。

【0100】

一例によれば、本発明の方法は、予め定められた表面に関連付けられたデータを区分することを目的とするステップを含んでよい。当該表面は、例えば人体の表面であってよい。この区分は、取得された２Ｄ画像および／または得られた深さマップから導出されるデータなどのデータの解析によって自動的に実行されてよい。例えば、本発明の方法は、特定の点間の距離の差の解析、またはそれに代えて測色処理を実行することを含んでよい。深さマップは、点群をフィルタリングし、対象の点、すなわち人体の点のみを保持するために用いられてよい。

【0101】

別の例によれば、図３に示すＰＣ ２０などの操作コンソールから表面輪郭が取得されてよい。この例によれば、身体の表面の輪郭は、オペレータにより、スタイレットまたはマウスなどの選択ツールおよびコンソール２０の画面に表示される画像を用いて得られてよい。他の例によれば、選択は、画面上での触覚的指令または音声指令によってなされてよい。利点は、例えば患者１が載るテーブル２２に属する点を無視することにある。

【0102】

本発明の方法は、第１のグラフの生成ＧＥＮ＿Ｇ_１を含む。第１のグラフＧ_１は、患者１の身体の表面の生成された点のセットの行列表現から得られてよい。各点は、ｖ_ｉで表され、特に基準点Ｒ_０におけるその座標を含むベクトルによって表されてよい。一実施形態によれば、この段階において、第１のグラフＧ_１は、基準の取得フレームにおいて順序無しである。最も単純な実施形態においても「グラフ」との表記が本明細書で用いられる、または、点のセットは、座標を有する点のリスト、すなわち単純な点群に対応する。他の実施形態において、グラフは、連結有りまたは無し、向き有りまたは無しなどであってよい。

【0103】

フィルタリング
一実施形態によれば、本発明の方法は、得られたグラフをフィルタリングするステップを含み、フィルタリングは、時間的および／または空間的フィルタリングであってよい。フィルタリングのステップは、検出ステップまで連続して第１のグラフＧ_１の生成の間に生成されるノイズを低減することを可能とする。

【0104】

属性の決定
本発明の方法は、各点ｖ_ｉについて少なくとも１つの属性を決定するステップＤＥＴ＿ＡＴ_ｉを含む。属性は、点ｖ_ｉに関連付けられたデータに対応し、これらの属性は、デカルト・データ、形状記述子、識別子、ベクトル等の異なる性質のものであってよい。

【0105】

一実施形態によれば、属性は、第１のグラフＧ_１の点ｖ_ｉにおける法線ベクトルｎ_ｉを記述するデータを含む。法線ベクトルｎ_ｉは、種々の方法で決定されてよい。点群の点の属性としての法線ベクトルの計算の利点は、局所表面の凸性に関する情報を生成することにある。

【0106】

一実施形態によれば、第１のグラフＧ_１の所与の点ｖ_ｉにおける法線ベクトルｎ_ｉは、対象の各点ｖ_ｉの近傍の点ｖ_ｉＬｋから点ｖ_ｉの周囲で局所的に生成される表面を考えることにより計算される。この目的で、各点の空間座標が対象の点の座標と比較される。一例によれば、取得された距離または深さデータは、対象の点の近傍の点を特定するために用いられる。

【0107】

第１の例によれば、法線ベクトルを計算する対象の表面は、第１のグラフＧ_１の点によって画定される、基礎となる表面から計算される。

【0108】

第２の例によれば、法線ベクトルを計算する対象の表面は、ＧＰＵ上で実装される方法から計算される。別の例によれば、法線ベクトルは、対象の点のｋ個の最近傍の方法から直接得られる局所表面の近似から計算される。しかしながら、３Ｄの点のリストを連結する三角形分割のこの方法は、ＧＰＵ上で実装される方法よりも高コストであり得る。

【0109】

グラフの点における法線ベクトルの計算の可能な利用として、点群を拡充するために点の記述を増大させることがある。

【0110】

形状記述子
一実施形態によれば、属性は、第１のグラフＧ_１の各点ｖ_ｉにおける、Ｄｆｉで表される少なくとも１つの形状記述子を含む。形状記述子は、点における空間の局所的な記述的特徴である。

【0111】

一例によれば、形状記述子Ｄｆｉは、対象の点ｖ_ｉの近傍の点のサブセットから計算される。よって、本方法は、これらのデータを利用することが可能な各画像取得デバイスの視点からのおよびその身体モデルから再構築または抽出された点のグラフを生成するステップを含む。一例として、取得デバイスがロボット・アームの遠位端に配置される場合、特定の処置を実行するために、身体モデルの部分ビューが取得デバイスの位置から生成されてよい。

【0112】

形状記述子は、点群から得られる３Ｄ身体モデルの各点において推測されてもよい。形状記述子は、対称性および等方性を有する限りにおいて、身体モデルの回転などの等長変換の間において不変のままである。これには、考える視認角度に関わらず、形状記述子を入れ替えるための利点がある。

【0113】

有利な点は、第１のグラフＧ_１の点に対して直接形状記述子の計算を実行することにある。よって、本発明は、表面の部分に適用されるのではなく、グラフの予め定められた点に直接適用されるこれらの形状記述子の計算を最適化することを可能とする。記述子の計算は、グラフＧ１から得られる連結グラフの隣接行列に対して実行されてよい。連結グラフとは、各点が全ての他の点と連結されていることを示唆する。隣接行列は、所与の点との直接の連結を有する点を得ることを可能とする。さらに、別の点についての点の近接度が隣接行列から推測されてよい。形状記述子に従って、点の近傍性が隣接行列から推測されてよい。

【0114】

代替的に、本発明の方法は、点をそのＮ個の最近傍と連結するのみとするように、距離閾値を適用することを可能とする。

【0115】

一実施形態によれば、形状記述子は、等長かつ不変であるものとして選ばれる。利点は、等長変換を伴う身体の動きが生じたときに不変なままとなる形状記述子を得ることにある。

【0116】

第１の例によれば、形状記述子は、ＷＫＳで表される「波カーネル特徴」のタイプのものである。第２の例によれば、形状記述子は、ＨＫＳで表される「熱カーネル特徴」のタイプのものである。第３の例によれば、形状記述子は、「ガウス曲率」のタイプのものである。

【0117】

種々の実施形態によれば、複数の形状記述子Ｄｆｉが、第１のグラフＧ_１の対象の各点において計算され、前記の点の各々に関連付けられる。

【0118】

特定の形状記述子は、ＨＫＳまたはＷＫＳ記述子などのスペクトル形状解析方法のグループに属する形状記述子である。ＨＫＳ記述子は、特に熱方程式の解に基づくものであり、これはＬａｐｌａｃｅ－Ｂｅｌｔｒａｍｉ作用素に基づく。

【0119】

これらの形状記述子の有利な点の１つとして、特に、特定の変換、特に等長変換におけるその不変性がある。さらに、この形状記述子は、グラフＧ_１の隣接行列から計算されてよい。有利な点は、対象の点の、その近傍の点のセットとの相対距離を考慮することを可能とすることにある。

【0120】

一例によれば、本発明の方法は、距離が所与の閾値よりも大きい点のサブセットのみを考えるように、隣接行列に適用される閾値を考えて用いられてよい。

【0121】

ＷＫＳ記述子は、それ自体、シュレーディンガー方程式の解に基づくものである。ＷＫＳ記述子の利点は、作用素によって得られるモデル化のスペクトル分離が可能なことにある。

【0122】

形状記述子は、局所的または大域的な三次元形状をモデル化するものであるように選ばれてよい。これらの記述子が局所的モデル化を符号化する場合、有効半径が導入されてよい。しかしながら、大域的モデル化は、用いられる作用素の幾何学的な不変性の完全性の恩恵を受けることになる。

【0123】

ＧＰＳで表される形状記述子「大域的点特徴（Ｇｌｏｂａｌ Ｐｏｉｎｔ Ｓｉｇｎａｔｕｒｅ）」が用いられてもよい。この記述子は、Ｌａｐｌａｃｅ－Ｂｅｌｔｒａｍｉタイプの作用素に基づくものである。この作用素の利点は、大域的モデル化を得ることが可能なことにある。

【0124】

ＧＣで表される形状記述子「ガウス曲率」が用いられてもよい。この記述子は、パラメータ表示された表面を考え、よって逆に表面を局所的に画定する点を考える可能性を供する。

【0125】

ＳＧＷＳで表される記述子「スペクトル・グラフ・ウェーブレット特徴（Ｓｐｅｃｔｒａｌ Ｇｒａｐｈ Ｗａｖｅｌｅｔ Ｓｉｇｎａｔｕｒｅ）」が、多重解像度局所記述子を規定するように用いられてもよい。

【0126】

スペクトル形状解析に基づく形状記述子の利点は、接続されたまたは隣接する表面を組み立てるように数学的に処理されること、ゾーンを区分すること、および形状認識アルゴリズムを実行することが可能なことにある。

【0127】

有利な点は、点の記述を拡充し、よってニューラル・ネットワークの回帰の性能を向上させることにある。

【0128】

形状記述子の別の有利な点は、第１のグラフＧ_１の点における識別情報を生成することにある。患者の身体が経時的に動くまたは変化する場合、身体の表面は、変換が非等長である変形可能物体として考えられる。形状記述子は、変形の後で本発明の方法によって再び見出すことが可能な特定の特徴を各点において生成することを可能とする。

【0129】

属性の関連付け
よって、第１のグラフＧ_１の各点ｖｉは、座標｛ｘ_ｉ，ｙ_ｉ，ｚ_ｉ｝、法線ベクトルｎ_ｉ、形状記述子のセット｛Ｄｆ_ｉ１，ＤＦ_ｉ２，ＤＦ_ｉ３，…，Ｄｆ_ｉＮ｝に関連付けられてよい。このステップは、図１においてＡＳＳＯ＿ＡＴ_ｉで表される。

【0130】

点ｖ_ｉは次いで、各次元が所与の属性に対応する有限次元ベクトルとして構築されてよい。次いで第２のグラフＧ_２が生成されてよい。この第２のグラフＧ_２は、属性ＡＴ_ｉで拡充されたベクトルのリストに対応する。

【0131】

回帰
パラメトリック人体モデルによる近似を用いて取得および拡充される人体の三次元再構築を可能とする計算ステップである。このステップは、図１においてＲＥＧで表される。回帰ステップの目的は、所与のパラメータを推定して、パラメータ表示可能な身体モデルにこれらのパラメータを設定することである。よって、カメラにより取得される部分ビューから、完全なパラメータ表示身体モデルが推定されてよい。

【0132】

この目的で、本発明の方法は次いで、形状および回転ＲＯＴ_ｉパラメータを含む幾何学的パラメータのセットを計算するステップを含む。

【0133】

回転は、第２のグラフＧ_２の複数の点において計算されてよい。一実施形態によれば、回転は、第２のグラフＧ_２の各点について計算される。一実施形態によれば、各回転が関節に関連付けられてよい。関節は、パラメトリック身体モデルＭＯＤ＿Ｓの区切られた領域に関連付けられてよく、よって所与の関節は、パラメータ表示身体モデルＭＯＤ＿Ｐに関連付けられてよい。よって、所与の関節は、第２のグラフＧ_２の点のセットと回帰演算の終了時に関連付けられてよい。

【0134】

形状パラメータは、所与の基準点におけるパラメータ表示身体モデルの点の位置のセットによって定義されてよい。

【0135】

一実施形態によれば、入力パラメータは、ユークリッド空間Ｒ^３において計算される属性を備えた点群Ｇ_１またはＧ_２の点のセットである。

【0136】

代替例によれば、入力パラメータは、点群の各点のグラフＧ_１に対応する隣接行列であってよい。これらの入力は、入力のスペクトルドメインにおける分析を可能とするとともに、属性を考慮することを必ずしも必要としない。

【0137】

関節のセットの形状パラメータおよび回転は、ニューラル・ネットワークの出力パラメータに対応する。これらのパラメータが、パラメータ表示身体モデルＭＯＤ＿Ｐを生成するようにパラメトリック身体モデルＭＯＤ＿Ｓを構成することを可能とすることになる。

【0138】

一実施形態によれば、回帰ステップは、入力行列と深層学習法によって予め訓練された重み行列との間での行列演算などの一連の数学的演算を含む。

【0139】

その演算の各々は、非線形関数をもたらす。これらは、ネットワークのノードの出力を生成することを可能とする活性化関数または伝達関数である。一例として、ＲｅＬＵ、ＳｉｇｍｏｉｄまたはＴａｎｈなどの非線形関数が実行されてよい。

【0140】

一例によれば、当該ステップは、複数の予め定められたパラメータ表示身体モデル

【0141】

から訓練されたニューラル・ネットワークの層の一連の畳み込みから実行される回帰を含む。

【0142】

これらは、ニューラル・ネットワークの畳み込みまたは層であってよい。実際、ネットワークは、その第１層に畳み込みを、またはモデルの終点に全結合ニューロン層を含んでよい。この場合において、それらは、先行する層の全てのニューロンに結合され、後続する層の全てのニューロンに結合されたニューロンである。

【0143】

畳み込み層は、一連の行列計算を生じさせる入力行列の走査を含んでよい。ニューラル・ネットワークの他の層は、一般に、入力行列のサイズに対する行列計算を含む。全ての場合において、当該ステップは行列計算を含む。

【0144】

一例によれば、各畳み込みは、入力行列と重み行列との間の行列積および追加のバイアスの考慮を含む。

【0145】

ニューラル・ネットワーク内の後続の層による処理の適用は、層の出力を生成するための非線形関数をもたらす一連の行列乗算の適用を含む。これらの一続きの演算は、ニューラル・ネットワークの深さを規定する。

【0146】

例示的実施形態によれば、ニューラル・ネットワークは、ＭＬＰの略語で知られる多層パーセプトロンである。一例によれば、ニューラル・ネットワークは、ＭＬＰに相当するネットワークであってよい。

【0147】

一例によれば、ニューラル・ネットワークは、入力リストの点の並べ替えによって結果が不変であるように構成される。この構成は、「ＭＡＸ ＰＯＯＬＩＮＧ」または「ＡＶＧ ＰＯＯＬＩＮＧ」の名称で知られる関数などのプーリング関数の使用によって可能となる。

【0148】

一実施形態によれば、ニューラル・ネットワークの構造は、異なるスケールにおいて入力の属性を抽出することを可能とする。異なるスケールにおける点群の各点の近傍が、入力次元の低減された空間における符号化を抽出するために、続けて考えられる。

【0149】

次に、この符号化が、パラメトリック人体モデルのパラメータのセットに対して回帰を行うために一連の全結合層に渡される。

【0150】

続けて、サンプリングのステップおよび／またはサンプリングされた点の近傍を共にグループ化し、次いでこれらの点を共にグループ化するステップが繰り返され、得られたパラメータのマップを生成するために畳み込み層によって符号化される。

【0151】

本発明の方法は、有利なことに、ネットワークの入力における点のセットの、ネットワークの出力における点のセットとの対称性を保存する関数を生成することを可能とする。よって、非連結の無向グラフに対するニューラル・ネットワークの適用は、この対称性保存関数の実装によって確実にされてよい。この関数は、入力点の順序付けに関するこのステップの独立性を確実にする。

【0152】

この関数はまた、回帰の処理における自己符号化器の実装を可能とする。

【0153】

パラメータ表示されたモデルのセットは、汎用モデルから得られてよい。そのようなモデルの利点は、関節のパラメータ表示および形状パラメータから人体の複数の姿勢を生成することが可能なことにある。そのような身体モデルの特殊性は、少なくとも１つの回転および位置を各々が有する関節のセットによってモデル化され得る点にある。関節の回転は、角度によって規定されてよい。関節の位置は、グラフの少なくとも１つの点または同じグラフのいくつかの点の少なくとも１つの位置に関連付けられてよい。別の例によれば、関節の位置は、グラフの異なる位置を組み合わせて、例えば新たな点の新たな位置を生成する操作から得られる。この新たな点は、例えばグラフの点のサブセットの重心であってよい。形状パラメータは、身体の大域的な形状パラメータを規定するようにパラメータ表示されてよい。

【0154】

位置および回転における関節のセットの構成データのセットは、身体モデルの所与の姿勢を規定することを可能とする。よって、身体モデルの複数の姿勢を生成することが可能である。

【0155】

一実施形態によれば、人体のパラメトリック・モデルは、点からなるメッシュ状のネットワークである。パラメータ表示される各関節は、点からなるメッシュ状のネットワークの点のサブセットを関連付ける構成を生成する。

【0156】

この例によれば、２４の関節が７２の回転パラメータから規定されてよく、関節の各々は３つの回転に関連付けられる。このパラメトリック・モデルは、３つの大域的回転を含んでもよい。手首、肘等のような関節のサブセットが、本発明の一実施形態を実現するために抽出されてよい。

【0157】

各関節は、手首の幅、手首の長さ等のような形状パラメータのセットを含んでもよい。

【0158】

例示的実施形態によれば、ＰＣＡ（主成分分析）関数が、複数の関節のパラメータのセットに対して作用することを可能とする構成の一般パラメータを抽出することを可能とする。一例として、複数の関節に関係付けられる局所パラメータのセットを予め調整するために、個々のサイズ、腹部の厚さ、肥満度、骨盤のサイズ等が設定されてよい。

【0159】

身体のパラメータ表示は、形状および角度を規定する複数のベクトルを含んでよい。一例として、これは足首、ウエスト、腕等であってよい。一般的構成は、パラメータ表示され得る身体の外形または所与のテンプレートを得ることを可能とする。

【0160】

他のパラメータ表示可能な身体のモデル化が、本発明の方法と共に用いられてよい。

【0161】

ニューラル・ネットワークの学習
ニューラル・ネットワークは、「機械学習」の表現でよりよく知られる自動的学習によって訓練される。

【0162】

そのような機械学習アルゴリズムは、高精細な人体走査のデータベースの復元のステップを含んでよい。次いで、等長変換の適用によるパラメトリック・モデルの身体テンプレートの変形のステップ。変換は、復元されたデータから導出される走査に適合するようにテンプレートの異なる面に適用される平行移動および回転ならびにそれらの組み合わせを含んでよい。このステップは、例えば勾配の降下による最適化のためのコスト関数の実行を含んでよい。

【0163】

方法は、各走査に対してなされる変換をプールするステップを含む。次いで、変換の主成分がＡＣＰタイプの方法によって推測される。

【0164】

このアルゴリズムの適用は、人体の主要な形状および位置のパラメータを抽出することを可能とする。

【0165】

パラメトリック身体モデルの複数のパラメータ表示から得られるパラメータ表示身体モデルのセットの部分ビューＶＰのセットを生成するために、レイ・トレーシング・アルゴリズムが適用されてよい。当該アルゴリズムは、所与のパラメータ表示身体モデルから数多くの部分ビューＶＰを生成するために、多数の異なる視点を考慮することができる。有利な点は、本発明の方法の実行中における較正のステップを回避するとともに、患者の身体の画像が取得されるときに実世界により近づくことにある。学習と多数の部分ビューとの掛け合わせは、患者の身体を表す取得されたデータの平行移動または回転などの身体を処置するステップを回避することを可能とする。

【0166】

この解決策の利点は、身体モデルの異なる部分ビューと共に変動するパラメータによって多数の身体モデルを生成することにある。これらの部分ビューＶＰは、身体の全部を画定する点群のサブセットに対応する。有利な点は、本発明の方法の使用の間に実物の身体の取得の場合に対応することが可能な数多くの構成によってニューラル・ネットワークを訓練することにある。視点は、例えばカメラの撮影地点に対応する。身体モデルを表すデータの考え得る最も完全なライブラリを構成するために、パラメトリック・モデルから生成される各身体の表面の周囲において、視点が増加される。よって、種々の視点に応じて表される数多くの身体表面がメモリに保存される。回帰ステップの実行を目的としてニューラル・ネットワークを訓練するために生成されるデータ・セットは、複数のパラメータ表示身体モデルＭＯＤ＿Ｐの部分ビューＶＰのセットである。

【0167】

有利な点は、現実で知覚され得るように身体モデルの各点に関連付けられた形状記述子で回帰の重みを訓練することにある。形状記述子は、生成される各部分身体モデルビューＶＰについて、および所与の身体モデルの各点について得られてよい。学習によって得られる形状記述子は、ニューラル・ネットワークの各層について、重み行列、別の呼び方では重み付け係数を含む行列を定義することを可能とする。患者の身体モデルの計算の間にリアル・タイムで実行される回帰の過程において、回帰ステップは、有利には学習ステップによって規定される重み行列を用いて実行される。

【0168】

それにより、このようにして生成されたパラメータ表示身体モデルＭＯＤ＿Ｐは、回帰ステップＲＥＧを実行するために用いられるニューラル・ネットワークを訓練することを可能とする。このとき、リアル・タイムで実行される回帰は、対象の身体を特徴付けるパラメータを抽出することを可能とする。

【0169】

このステップは、その表面が容易に抽出され得る身体モデルを得るとともに、カメラから見える部分のみでなく完全なパラメータ表示身体モデルを考慮することを可能とする。

【0170】

本発明の方法の有利な点は、推論によってリアル・タイムで三次元表面を再構築することにある。この解決策は、深層学習技法によって訓練されたモデルの使用に基づく。利点は、ロボット化アームのリアル・タイム統御のためのより長い計算時間および統合の制限を必要とする勾配アルゴリズムによる、例えば反復法などの最適化方法を不要とすることが可能なことにある。本発明の方法の利点は、ロボット化アームの誘導の間に取得されるデータの処理の間ではなく学習の間に最適化を実現することにある。

【0171】

深層学習推論は、以前に訓練された重みによる行列乗算演算を含む。

【0172】

一実施形態によれば、ニューラル・ネットワークの層は、対象の層に依存する分解能を有する。スケールは、ネットワークの層に下降するにつれて大きくなっていってよい。ＭＬＰネットワークなどのニューラル・ネットワークの一例が用いられてよい。

【0173】

第１のメッシュＭ_１
よって、方法は、メッシュ状の表面の抽出のステップを含む。得られる表面のメッシュは、Ｍ_１で表される第１のメッシュである。一実施形態によれば、第１のメッシュＭ_１は、対象の表面の点がその近傍の点と共に三角形を画定しているメッシュである。図７は、対象の表面内に共局在化された三つ組の点ｎ_ｉによって形成される複数の三角形を含むメッシュＭ_１の一例を表す。

【0174】

別の実施形態によれば、別のメッシュ・パターン、すなわち四角形、正方形、五角形および一般にその頂点がメッシュの点である任意のタイプの多角形が、本発明の他の実施形態において考えられてよい。

【0175】

メッシュＭ_１は、回帰演算の後で生成される。回帰ステップの前において、点群は、各点が互いに独立であり、点が共に関係付けられていないものと考えられる。

【0176】

第２のメッシュＭ_２
一実施形態によれば、本発明の方法は、第１のメッシュＭ_１から第２のメッシュＭ_２を定義するステップを含む。第２のメッシュＭ_２は、有利には、半均質とされた三角形、例えば二等辺三角形を生成するように定義されてよい。本例において、三角形は、例えば生成されるメッシュの対称性を用いて、所与のアルゴリズムに従って変換されてよい。

【0177】

図８は、変換から得られた第２のメッシュＭ_２の例示的実施形態を表す。メッシュＭ_２は、不変のままである第１の点のセットｎ_ｉと、２つの新たな二等辺三角形を作成する対象の各三角形の二等分線の作成から生成される第２の点のセットｎ_ｉ’とを含む点のセットを含む。

【0178】

メッシュを規則化する目的でメッシュを均質化するために、他の技法が採用されてよい。別の技法によれば、図９に表されるような正三角形が生成される。有利な点は、特にオペレータ・デバイス８の誘導を容易にすることを可能とする完全に均質なメッシュを生成することにある。

【0179】

本発明の方法は、生成される新たな各点のデカルト位置に応じてその属性も変換されるように、メッシュの点に変換を適用することを可能とする。

【0180】

一例によれば、メッシュＭ_１またはＭ_２の所望の分解能は、ロボット化アームの端部における１つまたは複数のセンサまたは１つまたは複数の送信機のパラメータ表示に応じて得られる。グラフＧ_１の分解能は、可変サイズのものとして設定され、メッシュＭ_１またはＭ_２の分解能とは独立であってよい。一例として、円３６、３７、３８は、患者１の皮膚の表面上におけるレーザから供給すべきパワーの所望の照準点を表す。この解決策の利点は、適用すべき処置に適した皮膚科学的分解能を生成することにある。

【0181】

よって、図８は、異なる寸法の二等辺三角形を有するメッシュによって得られる異なるサイズの円３６を示す。よって、信号に適用されるパワーを適応させるように、射出の瞬間に係数が適用されなくてはならない。別の例によれば、同等の寸法の三角形を得るために、第２のメッシュＭ_２は、一連の幾何学的処理によって均質化されてよい。

【0182】

図９は、皮膚の表面上におけるレーザから供給すべきパワーの照準点３７または３８を表す。このメッシュ構成の利点は、三角形どうしで同じ射出設定を得ることが可能なことにある。三角形３８は、互いに接しており、重なり量のパラメータを制御することを可能とする。

【0183】

一実施形態によれば、第２のメッシュＭ_２から生成される円３６、３７、３８によって新たなメッシュＭ３が画定される。

【0184】

リアル・タイム統御
一実施形態によれば、取得デバイス５は、ロボット・アーム６の動きを統御するように適合される本発明の方法からパラメータ表示身体モデルＭＯＤ＿Ｐを計算するために、患者１の身体の全部または一部の点の取得ＡＣＱをリアル・タイムで実行する。ロボット・アーム６の誘導は、そのようにモデル化および再計算された表面の画定されたゾーン９内に設定される、図４において３０で表される処置軌道ＴＲＡＪ_１から実行される。

【0185】

ロボット・アーム６の軌道ＴＲＡＪ_２は、例えばユーザ・インタフェースＵＩを用いて、ロボット・アーム６のヘッド８と画定すべき皮膚の表面との間の向きおよび相対距離に応じて処置軌道ＴＲＡＪ_１から自動的に生成されてよい。向きは、デフォルトで９０°に決定される、すなわち、ロボット・アーム６のヘッド８のセンサまたは送信機の主軸は、対象の身体の、特に事前に生成されているパラメータ表示身体モデルＭＯＤ＿Ｐの表面の目標点に対する法線Ｎと合致する。距離は、ロボット・アーム６のヘッド８のセンサまたは送信機の点と、患者の位置において生成されるモデル化された身体の表面上の目標点Ｐ_{ＴＡＲＧＥＴ}として表される照準点との距離に対応する。

【0186】

患者１の身体のモデル化された表面のリアル・タイムでの計算の利点は、例えば患者１の呼吸によって生じる動きを考慮するために、例えば前記患者１の動きを予期することにある。

【0187】

本発明の方法の有利な点は、３０ｍｓ未満で新たなモデル化された表面を生成することが可能なことにある。これらの応答時間は、特に、可能な限り迅速にその場を離れるために衝突または突然な動きを予期するのに十分な速度でロボット・アーム６の動きを統御することを可能とする。カメラによる取得の設定は、例えば１０～９０ｆｐｓであってよい。

【0188】

ロボット・アーム６のリアル・タイムでの統御は、オペレータ・デバイス８の送信機の少なくとも１回の伝送および／またはセンサの取得をアクティブ化することを可能とする。このとき、アクティブ化は、センサまたは送信機の軸の向きが目標点Ｐ_{ＴＡＲＧＥＴ}を通過する直線に垂直となったときに実行される。目標点Ｐ_{ＴＡＲＧＥＴ}は、生成されるパラメータ表示身体モデル上を基準とする。これは、オペレータ・デバイス８の位置および向きにおいて生成される。目標点Ｐ_{ＴＡＲＧＥＴ}は、ロボット・アーム６の誘導の前、例えばレーザ射出または超音波射出方針の計画時に得られてよい。別の場合によれば、目標点Ｐ_{ＴＡＲＧＥＴ}は、誘導時、例えば実現される画像の比較が誘導の変化をアクティブ化して別の検出器をアクティブ化するときに得られる。

【0189】

全ての場合において、目標点Ｐ_{ＴＡＲＧＥＴ}は、誘導方針に従って規定され、その位置は、身体の対象の表面が誘導方針の適応を要求する変換を受けるときに修正されてよい。

【0190】

一実施形態によれば、デバイス５によってなされる取得ＡＣＱは、ロボット・アーム６の端部に配置される光学素子によってなされる画像の取得と組み合わされてもよい。これは、ロボット・アーム６の動きが取得デバイス点５によって取得すべき患者１の身体の対象のゾーンを覆う場合、またはロボット・アーム６の先端の光学素子によって小さな振幅の動きが制御される場合に当てはまってよい。

【0191】

よって、２つのモードの統御が、処置の実行中に新たなモデル化された表面を生成するために実行され、場合によっては組み合わされてよい。

【0192】

ロボット・アーム
ロボット・アーム６は、ロボット・アームを統御するための種々の制約を考慮する動きコントローラＧＥＮ＿ＴＲＡＪによって誘導される。特に、このコントローラは、設定された軌道の計画と、ユーザによる処置の対象となるゾーンの定義を考慮する。この表面は、本発明の方法に係る再構築された身体の表面上において画定される。さらに、コントローラＣＴＲＬは、リアル・タイムでロボット・アームの進行を適合させるための衝突検出モジュールから入来する命令を考慮し得る。最後に、コントローラＣＴＲＬは、例えば単一の画像の検出がロボットの特定の操作を要求する場合に、モジュールＣＮＴＲ＿８を介してロボット６のヘッドから入来するデータを考慮する。

【0193】

一実施形態によれば、ロボット・アーム６は、旋回関節６１２、６２３、６３４、６４５、６５６を用いて繋がったブランチ６１、６２、６３、６４、６５のセットを含む。ロボット・アーム６は、旋回リンクから関節で繋がった、この場合は５つのブランチを含む。これは、代替例によれば、関節で繋がった６つのブランチを含み、他の代替例によれば、関節で繋がった７つ、８つまたは９つのブランチを含んでよい。実際、この実施形態において、各関節は、隣接する２つのブランチの間での少なくとも１回の回転を行うことが可能である。

【0194】

一実施形態によれば、ロボット・アームの各ブランチは、力センサを含む。有利な点は、突然の衝突を防止することにある。ロボット・アーム６のブランチと物体との間で接触が確立されると、ロボット・アームの動きが自動的に停止されてよく、またはその誘導がその軌道を変化させるように修正されてよい。

【0195】

一実施形態によれば、ロボット・アーム６の較正のステップが、本発明の方法に先立って実行される。較正は、基準点Ｒ_０に対するロボット・アームの相対的な位置決めと、その初期位置とを含んでよい。

【0196】

オペレータ・デバイスおよび光学素子
一実施形態によれば、ロボット・アーム６は、有利にはロボット・アーム６の端部に配置されるオペレータ・デバイス８を含む。当該実施形態によれば、光学素子６７は、ロボット・アームのヘッド８に対して軸から外れるように配置されてよく、または図６Ａの場合のようにこのヘッドの端部に配置されてよい。

【0197】

図３の構成の利点は、ロボット・アームのヘッドに、例えばレーザ・デバイスまたは局所的な処置のために超音波を生成するデバイスを備え付け、画像取得光学素子を置き換えることにある。図６Ａの構成の利点は、皮膚科学的撮像アプリケーション用にロボット・アーム６を構成することにある。しかしながら、前述の場合の組み合わせと共に、あらゆる構成が想定されてよい。

【0198】

一例によれば、オペレータ・デバイス８は、少なくとも１つのセンサおよび／または少なくとも１つの送信機を含む。オペレータ・デバイス８は、ロボット・アーム６の「ヘッド」とも称される。

【0199】

図５の例において、ロボット化アーム６は、皮膚の表面の局所画像を取得するための１つまたは複数の光学センサ６７を備える。ロボット・アーム６のヘッドにおける局所画像の撮像の利点は、「彩色された」身体表面を、すなわち撮像された画像が本発明の方法によって生成されるパラメータ表示身体モデルＭＯＤ＿Ｐと一体化されたものを再構築することが可能なことにある。この目的で、ロボット・アームの端部に配置された光学デバイス６７または｛８３、８４｝は、選好的に、２つの光学素子によって同時に取得される画像に関連付けられる深さマップを再構成するように、２つの光学素子を含んでよい。次いで、それらの画像に、パラメータ表示された身体の表面上で指標が付されてよい。

【0200】

他の伝送／取得デバイス
さらに、オペレータ・デバイス８は、超音波、高周波またはレーザのタイプの送信機または入射ビームを生成するのに用いられることが可能な任意の他の信号源を含んでよい。一実施形態によれば、オペレータ・デバイス８は、集束型送信機のアレイと、方向および伝送パワーを制御するための手段とを含んでよい。

【0201】

超音波送信機は、オペレータ・デバイス８の端部に配置され、超音波受信機は、真皮の画像および／または患者の皮膚の厚さの画像、またはさらに血管または臓器の画像を構築するように、反射信号の測定に関連付けられてよい。

【0202】

図６は、オペレータ・デバイス８が前記オペレータ・デバイスの端部に位置付けられた受信ヘッド８０を含む別の実施形態を表す。受信ヘッド８０は、身体の表面の画像を撮影するための２つの局所光学素子８３、８４と、長手方向８６に沿った２つの方向に移動可能なミリメートルまたは顕微鏡光学素子とを含む。利点は、皮膚科学アプリケーション、例えば診断アプリケーション用の分解能を含むミリメートル分解能を有する画像を生成することにある。

【0203】

ロボット・アームの誘導
最初に、ロボット・アーム６の動きの生成が、図２においてＰＡＴＨで表される構成要素を用いてユーザにより設定される軌道を用いて規定される。ユーザは、ゾーン「腕」、「脚」もしくはこのゾーンの一部分またはそれに代えて身体全体などの、患者１の身体の表面の対象のゾーンを選択することができる。

【0204】

ゾーンの選択は、ユーザ・インタフェースＵＩを用いて行われてよい。ゾーンは、スタイレットを用いてもしくはマウスを用いて、またはそれに代えてユーザが選択する１つまたは複数の予め定められたゾーンの選択によって、目立たせられてよい。別の例によれば、選択は、ディスプレイ上での直接の触覚的指令を用いてまたは音声指令を用いて実行されてよい。

【0205】

選択は、本発明の方法１０によって生成されるパラメータ表示身体モデルＭＯＤ＿Ｐ上で行われてよい。ゾーンの選択を可能とするモジュールは、図２においてＲＯＩで表される。パラメータ表示身体モデルＭＯＤ＿Ｐは、ユーザ・インタフェースＵＩのディスプレイに表示されてよい。ゾーンが選択されると、オペレータ・デバイス８の軌道が画定されることになる表面の一部分の抽出が実行されてよい。一例によれば、軌道３０は、選択されたゾーンの寸法から自動的に画定されてよい。例えば、撮像、レーザ処置および／または超音波源からの処置などのオペレータ・デバイス８で行う操作に応じて、自動軌道生成機能が種々の方式で実装されてよい。これが予め定められたゾーンでの撮像を行うことを要する場合、目的は、選択されたゾーンの全体をカバーすることである。よって、光学素子の分解能およびその範囲に応じて、最適化された軌道が計算されてよい。

【0206】

ユーザ自身が選択されたゾーン上で軌道を画定する場合、軌道は、選択された表面をカバーするようにロボット・アームの進行パラメータを最適化または計算することになる構成要素ＰＬＡＮ＿ＴＲＡＪによって取得される。

【0207】

本発明の方法は、ロボット・アーム６のリアル・タイムでの誘導を実行することを可能とする。この目的で、ロボット・アーム６の動きを生成するためのモジュールＧＥＮ＿ＴＲＡＪが実装される。例えば患者の動き、単一の画像の撮像またはそれに代えて物体との接触時における進行の終了の制御に応じて、軌道をリアル・タイムで計算するために、当該モジュールは、ロボット・アーム６の進路をリアル・タイムで再計算することを可能とする。

【0208】

ロボット・アーム６の誘導は、例えば基準点Ｒ_０を基準とするデカルト座標系から設定される。ロボット・アーム６の端部の向きは、図３または図５に示す法線Ｎの向きを制御することにより設定されてよい。法線Ｎは、身体の表面の照準点との角度を９０°として画定される。このパラメータ表示の利点は、拡充されたメッシュの各点が既に、モデルの点の法線に対応する属性を含むことである。よって、ロボット・アームのヘッドの向きの誘導は、身体の表面の法線Ｎにロボットの向きを合わせることにより実行されてよい。

【0209】

一実施形態によれば、ロボット・アーム６のヘッド８の端部と、患者１の身体のモデル化された表面の照準点３５との間の距離は、例えば５ｃｍの距離で、実質的に一定のままとなるように統御される。よって、ロボット・アーム６の誘導は、患者１の皮膚に対する向きおよび距離に従って統御される。

【0210】

次いで、衝突検出機能ＤＥＴ＿ＣＯＬＬＩが、ロボット・アーム６の動き生成モジュールＧＥＮ＿ＴＲＡＪに制御命令を供給するために実装されてよい。さらに、このモジュールは、構成要素ＰＬＡＮ＿ＴＲＡＪによって確立される初期軌道を考慮する。最後に、ロボット・アームの動きは、ロボット・アーム６のヘッド８の制御機能ＣＮＴＲ＿８に応じて管理されてもよい。１つまたは複数の光学デバイスがロボット・アーム６のヘッドに搭載される場合、ロボット・アームの統御は、第２の光学素子をアクティブ化するために必要であってよい。

【0211】

一実施形態によれば、光学系５は、制御ループを用いて身体１の各動きを制御するように構成される。この制御は、同時に取得される画像間の差異を、連続して取得される新たな画像と比較することを可能とする。そのような制御の利点は、ロボット・アーム５の誘導の修正を、その初期の進行を新たな軌道に適合させることにより行うことにある。この目的で、衝突検出機能ＤＥＴ＿ＣＯＬＬＩが、ロボット・アーム６の進行の動きを適合させるように実装されてよい。ロボット・アーム６の動きの生成は、機能ＧＥＮ＿ＴＲＡＪによって決定される。

【0212】

一実施形態によれば、ロボット・アーム６のヘッドは、種々のアプリケーションに用いることが可能なように、取り外し可能である。皮膚科学アプリケーション用の１つまたは複数の光学デバイスを含むヘッドは、例えば、脱毛、入れ墨の除去、またはリフトアップのアプリケーションのためのウルセラピーなどの、皮膚の表面を処置するアプリケーションのためのレーザを含むヘッドによって置き換えられてよい。

【0213】

対象とするアプリケーションに応じて、所与の光学的構成が選好的に選択されてよい。

【0214】

一例によれば、異なる焦点を有する光学素子の配置がロボット・アーム６のヘッドの端部において実装される。これらの光学素子は、実施形態に応じて、独立にまたは共同で関節運動または変位させられてよい。

【0215】

一例によれば、少なくとも１つの光学素子は、共焦点顕微鏡システムである。一例によれば、異なる深さレベルの画像を作成するように、焦点面が変位されてよい。皮膚の表面の局所的な三次元画像が再構築されてよい。この適用例は、皮膚の表面上のほくろなどの体積を再構築するための利点を見出す場合がある。

【0216】

共焦点光学素子を用いる場合、レーザなどの光源から照明が得られてよい。

【0217】

別の例によれば、少なくとも１つの光学素子は、断層撮影技法を実装するための一連の断面画像を作成するように構成される。所与の構成によれば、この技法は、ＯＣＴ（光干渉断層撮影）タイプのものであってよい。これらの技法は多くの場合、レーザ送信機などの送信機を有するセンサを結合することを要する。

【0218】

他の可能なアプリケーションは、超音波伝送からの処置に関する。この目的で、少なくとも１つの超音波送信機が、ロボット・アームのヘッドのレベルに配置されてよい。このまたはこれらの送信機は、エコー信号または伝送される波形の修正を測定するためのセンサに関連付けられてよい。一例によれば、これは、一点に合焦されるビームを生成するように編成される送信機のマトリックスであってよい。パワーは、皮膚の表面への音圧を生成することにより、組織を燃焼させるまたは皮膚被覆上の特異点の弾性を測定するように設定されてよい。

【0219】

一実施形態によれば、送信機は、皮下領域を処置するように構成される。目標点Ｐ_{ＴＡＲＧＥＴ}に関して画像点が画定されてよく、前記点画像は、身体モデルの表面上に位置する。点画像は、例えば、目標点Ｐ_{ＴＡＲＧＥＴ}を通過するモデルの表面に対する法線に従って、皮膚の表面の下方数ミリメートルまたはさらに数センチメートルに位置する。

【0220】

送信機の誘導は、目標点Ｐ_{ＴＡＲＧＥＴ}からかつ点画像の構築によって実行されてよい。代替的に、送信機の誘導は、到達すべき、点画像を画定する空間の点の画定から直接実行されてよく、前記点画像は、患者の皮膚の下に位置する。この点が目標点Ｐ_{ＴＡＲＧＥＴ}に関して画定されない場合、目標点Ｐ_{ＴＡＲＧＥＴ}は、画像を取得するためまたはロボットの修正された軌道の計画のために用いられる。

【0221】

ロボット・アームのヘッドは、皮膚の弾性、固さ、水分またはそれに代えて粗さなどの皮膚の機械的特性をプローブ検査することを可能とするセンサを備えてもよい。

【0222】

別の例によれば、蛍光センサが、ロボット・アーム６の遠位端に配置される。そのようなセンサは、例えば美容アプリケーションのために生物活性物質をモニタリングすることを可能とする。別の例によれば、分子特性解析を実行するために分光技法が採用されてよい。

【0223】

皮膚科学アプリケーション
一実施形態によれば、「オペレータ・デバイス」８とも称されるロボット・アーム６のヘッドには、皮膚科学アプリケーションのための光学系が装備される。この場合、対になった光学デバイスが配置されてよい。第１の光学デバイス８３、８４は、ロボット・アーム６によってなされる動きに起因していわゆる「巨視的」走査を実行するカメラを含む。これらのカメラは、皮膚の表面の対象の画像の撮像を実行する。一例によれば、光源が、撮像ゾーンを照明することを可能とする。伝送される光は、可視光もしくは赤外線またはそれに代えて例えば蛍光源であってよい。一例によれば、偏光子を含むＬＥＤシステムが、偏光を伝送するように構成される。偏光の場合、ＬＥＤタイプの光源が偏光フィルタに覆われる。本例では、ロボット化アームのヘッドの端部に配置されたカメラに偏光フィルタが装備される。光源およびカメラのフィルタは、一例によれば、直交するように構成される。

【0224】

特異点が検出されると、ロボット・アーム６は、その軌道を修正するように制御される。ヘッドの位置決めは、検出された特異点の一点、例えば特異点を形成するゾーンの中心または重心において実行される。よって、誘導が停止され、初期軌道が一時的に中断される。

【0225】

コントローラは、皮膚科学的分解能を有するミリメートルまたは顕微鏡画像の撮像を可能とする第２の光学デバイス８５をアクティブ化する。良好な分解能を得るために、光学デバイス８５は、光学素子８３、８４または８５のうちの１つの平面に垂直な軸に沿った動き８６に従って制御されてよい。

【0226】

図５は、軌道３０が表現される患者１の身体の表面の部分９を表す。軌道３０は、ロボット・アーム６の走査方針から得られてよい。一例によれば、生成される軌道３０は、計画モジュールＰＬＡＮ＿ＴＲＡＪによって得られる。図４の例において、３つの皮膚科学的特異点９１が、患者１の皮膚の部分９上に表示されている。これらは、例えば、傷跡、黒色腫、ほくろ、または任意の他の皮膚表面の特異点であってよい。第１の光学デバイス８３、８４の光学範囲８７が特異点９１を捉えた場合、取得される画像が、ロボット・アーム６の制御を統御するために動的に解析される。

【0227】

よって、第２の光学デバイスは、患者１の皮膚の表面の接写ゾーンの画像を撮影することを可能とする。一例によれば、第２の光学デバイス８５はダーマトスコープである。第２の光学デバイス８５は、皮膚と接触するガラス板を含んでよい。例示的実施形態によれば、第２の光学デバイスは、表皮の詳細画像の情報を得るように偏光の送信機を含んでよい。

【0228】

この目的で、ロボット・アーム６の最後のブランチ６６またはオペレータ・デバイス８１には、第２の光学デバイス８５の進行を制動する、またはさらに停止および安定化させるために、力フィードバック・センサが装備されてよい。第２の光学デバイス８５が患者１の皮膚と接触しているときに、射出の発動が行われてよい。

【0229】

別の例によれば、ロボットの各軸に力センサが装備される。センサに示される力の値の解析は、表面にかけられる圧力を統御するために用いられる。よって、各軸におけるこれらのトルク・センサにより、ロボットは、ツールと作業表面、この場合には患者の皮膚との間の接触圧力を統御することを可能とする。これは、作業表面上でのツールの「摺動」を実行するために用いられてもよい。

【0230】

一実施形態によれば、走査デバイス８７が、光学素子８５から体毛を遠ざけるためにアクティブ化される。そのような走査デバイス８７は、第２の光学デバイス８５の光学素子の安定化の間に自動的に実装されてよい。利点は、撮像を行うことが望まれる特異点の近くに位置する体毛の撮像を回避することにある。走査デバイス８７は、一実施形態によれば、光学素子８５の近くの柔軟性鉗子をアクティブ化させる回転ロッドを含む。有利な点は、光学素子８５と皮膚との間に体毛が残らなくなるように体毛をめくることにある。例示的実施形態によれば、複数の走査デバイス８７が光学素子８５の周囲に配置される。図６Ｂは、その２つを表す。

【0231】

第２の光学素子が特異点のより精密な分解能で１つまたは複数の画像を撮像した場合、第２のデバイス８５は、その初期位置に戻るように収縮の動きを行い得る。次いでロボット・アームは、その進行を続け、計画された誘導軌道に戻り得る。

【0232】

例示的実施形態によれば、誘導は、患者１の身体の表面から１ｃｍから２０ｃｍの間に含まれる距離で実行される。好適な実施形態によれば、誘導は、皮膚の表面から２ｃｍから８ｃｍの間に含まれる距離で実行される。

【0233】

一実施形態によれば、ロボットの表面から所与の距離において、光学素子の特性が既知であるとして、光学素子の視野が得られてよい。これらの特性は、患者の身体の複雑な表面上において取得される画像をカバーする部分を知ることを可能とする。有利な点は、画像を患者の身体の三次元表面と精度よく対応させることが可能なことにある。さらに、生成されるパラメータ表示身体モデルＭＯＤ＿Ｐ上で取得される画像の可能な指標付け、画像は、前記モデルの所与の位置に配置されてよい。よって、身体の三次元表現が、皮膚の特異点を表すことが可能なユーザからアクセス可能な画像と共にアーカイブされてよい。生成されるパラメータ表示身体モデルと取得される画像の関連付けは、メッシュＭ_１またはＭ_２から実行されてよい。メッシュが例えば三角形を含む場合、画像が、前記三角形を画像の表面と対応させるように細分されてよい。

【0234】

一実施形態によれば、本発明は、撮像画像をメッシュのノードのセットと基準付けるステップを含む。例示的場合によれば、メッシュの各三角形は識別子を含む。画像は次いで、前記画像を識別子のセットと関連付けるデータと共に保存されてよい。

【0235】

一実施形態によれば、光学素子８３、８４および８５によって取得される画像は、メモリ、例えばロボット・アーム６の動きコントローラのメモリに保存される。代替例によれば、オペレータ・デバイス８は、少なくとも１つの計算機およびメモリを備えた電子ボードを含む。取得される画像は、まずローカルで保存され、次に遠隔の電子デバイスに伝送されてよい。

【0236】

例示的実施形態によれば、光学素子８３および８４によって同時に撮影される各写真は、互いに関連付けられる。取得される画像は、例えば、タイム・スタンプを付され、基準点Ｒ_０における空間の点に関連付けられてよい。それらは、ロボット・アーム６のオペレータ・デバイスに関係付けられる基準フレームＲ_３に関して位置を特定される点に関連付けられ、またはそれに代えて軌道３０に関して基準付けられてもよい。

【0237】

画像が第２の光学デバイス８５で取得される場合、これは、第１の光学デバイス８３、８４によって取得される画像に、特にオペレータ・デバイス８が第２の光学デバイス８５の動きをアクティブ化した位置と同じ軌道３０の位置において関連付けられてよい。

【0238】

本発明の有利な点は、取得された各画像を回帰ステップＲＥＧから生成されるパラメトリック・モデル上の画像と指標付けることが可能なことにある。よって、本方法は、皮膚上に画像の一部分の位置を特定し、これを生成されるモデル上で指標付けることを可能とする。有利な点は、撮影されたゾーンの高精度な記録を身体のジオメトリに関して保存することにある。よって、患者が位置を変化させた場合、または前記患者がまた後の訪問のために戻った場合、保存された写真の指標付けは、新たな画像取得に応じて既に指標付けられている対象のゾーンの新たな描画を直接生成することを可能とする。

【0239】

利点は、身体の対象の表面の異なる部分の異なる分解能の画像群を構成することにある。

【0240】

オペレータ・デバイスによって撮像される画像のリアル・タイムでの取得の間にロボットのアーム６の良好な応答を得るために、取得された画像は、特性画像の群と比較されてよい。別の例によれば、訓練されたニューラル・ネットワークが、取得された画像の分類を実行してそれらを分類し、分類の結果に従って指令を生成することを可能とする。一例として、特定の特異点の検出は、第２の光学デバイス８５のアクティブ化を必要とせず、一方で他の特異点の検出は、より正確な分解能での撮像を必要とする。

【0241】

別の例示的実施形態によれば、ロボット・アーム６は、第１のデバイス８３、８４によって取得された画像の重なりを有する第１の計画軌道３０を実行する。ロボット・アーム６は次いで、第２に、特異点が検出された点において画像の第２の撮像を実行する。オペレータによって選択された部分上でロボット・アーム６を誘導するように第１の軌道３０が実行される場合、かつ第１の光学デバイスによって取得される画像のセットが実現される場合、ロボット・アーム６は第２の軌道３１に入る。この軌道は、第１の軌道３０の過程の間に特定される特異点から自動的に生成されてよい。特定された点における第２の画像系列を収集するために、第２のデバイス８５は、第２の軌道３１に特有の点において自動的にアクティブ化される。

【0242】

適用レーザ
別の場合のアプリケーションによれば、ロボット・アーム６は、その遠位端にレーザ送信機を含む。レーザ送信機は、例えば、オペレータ・デバイス８の遠位部上に配置されてよい。これは、脱毛、特定の皮膚疾患の処置または入れ墨の除去のために用いられてよい。さらに、レーザを用いたウルセラピー処置または任意の医療または審美的皮膚科学的処置が、レーザ光源を含むロボット・アームと共に実装されてよい。この目的で、レーザ光源の構成は、パワー、波長、パルス方式または連続方式等のパラメータに応じて、用途に従って適合されてよい。

【0243】

レーザ光源の管理の場合、有利には、メッシュＭ_２が、特に射出パワーを管理するように、レーザ射出の設定を最適化するために用いられてよい。実際、例えば正三角形を含む均質なメッシュは、前記三角形に外接するまたは前記三角形に内接する円のメッシュを画定することを可能とする。前記三角形に外接する円形メッシュの有利な点は、円の間の、よって射出の間の重なりを画定することにある。この構成は、対象の目標ゾーンに隣接する射出目標ゾーンを画定することを可能とする。均質なメッシュから直接導出される接円の構築の利点は、隣接する目標への２つの連続する射出の間の均質な重なりの量のパラメータを管理することを可能としつつ、目標レーザ射出ゾーンを生成することにある。

【0244】

本発明は、主要な射出軸の周囲におけるレーザ・ビームのエネルギー量の不均質性を補償するように重なり量を管理することを可能とする。よって、実質的に均質なエネルギー量を均質なタイプのメッシュを有する所与のゾーンに配置することが可能となる。

【0245】

皮膚のゾーンの処置の目的を達成するために実行する複数のレーザ伝送の場合、ロボット・アーム６の誘導は、所与の軌道計画に従って連続する射出を実行するために点のセットにおいて固定化されるように構成されてよい。軌道計画ＰＬＡＮ＿ＴＲＡＪは、ユーザ・インタフェースＵＩを用いて決定される。ロボット・アーム６の軌道は、例えばレーザ光源の設定に関係付けられるデータ、患者の動きまたはそれに代えてアームの衝突の検出を考慮するようにリアル・タイムで適合されてよい。

【0246】

本発明のシステムは、レーザ射出のパラメータ、すなわち射出パワーおよび／または皮膚の表面上の到達すべき直径ならびに重なり量を規定するための手段を含む。レーザ送信機および誘導軌道は、これらの目的を達成するように構成されてよい。

【0247】

一実施形態によれば、均質なメッシュの分解能は、所与の射出設定に従って適合されてよい。典型的には、レーザ射出の表面が、皮膚の表面上の達するべき最大半径を有するように画定される場合、メッシュは、寸法が射出の制約と対応する円を画定するように構成される。

【0248】

アプリケーションの各々において、リアル・タイムでの誘導の間、所与の軌道をカバーするロボット・アーム６は、リアル・タイムで軌道を評価させられる。この評価は、計算機および本発明の方法の実装を用いて実行される。

【0249】

身体が動かない場合、ロボット・アーム６を位置決めするために再計算される身体の表面の画像は、既に計算されている表面の回転を要するのみである、すなわち、変換は等長的であり、カバーされる軌道の部分に従ってロボット・アームの１つまたは複数の回転に対応する。身体の表面の生成される位置は、ロボット・アームのヘッドの位置について生成される。

【0250】

身体が動く場合、ロボット・アーム６を位置付けるために再計算される身体の表面の画像は非等長変換を要し、表面は本発明の方法から再計算される。考慮すべき潜在的な回転とは別に、本発明の方法は、形状記述子に対する回帰を実行し、ロボット・アームのヘッドの位置の視点において身体の表面を再生することを可能とする。

【0251】

一実施形態によれば、特に、レーザまたは超音波タイプの、ロボット・アーム６のヘッド８上の送信機の配置の文脈において、対象の領域が所与の表面閾値未満である場合、対象の表面のメッシュの最適化のステップが実装されてよい。この最適化は、この領域における変換が等長的と見なされるようにするために実行されてよい。例示的実施形態によれば、本発明の方法は、等長的な形状変換を受けた対象の領域を画定するために身体の対象の表面上における重要点を決定することを可能とする。

【0252】

本発明の有利な点は、皮膚科学的、外科的、心臓病学的アプリケーション等に適合されることが可能なことにある。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7】

【図8】

【図9】