特許 5762962 環境特性推定および画像表示

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5762962

(24)【登録日】2015年6月19日

(45)【発行日】2015年8月12日

(54)【発明の名称】環境特性推定および画像表示

(51)【国際特許分類】

   A61B 19/00 20060101AFI20150723BHJP

【ＦＩ】

   A61B19/00 502

【請求項の数】28

【全頁数】26

(21)【出願番号】特願2011-532328(P2011-532328)

(86)(22)【出願日】2009年10月20日

(65)【公表番号】特表2012-506260(P2012-506260A)

(43)【公表日】2012年3月15日

(86)【国際出願番号】US2009061297

(87)【国際公開番号】WO2010048160

(87)【国際公開日】20100429

【審査請求日】2012年10月12日

(31)【優先権主張番号】61/106,683

(32)【優先日】2008年10月20日

(33)【優先権主張国】US

【前置審査】

(73)【特許権者】

【識別番号】501335771

【氏名又は名称】ザ・ジョンズ・ホプキンス・ユニバーシティ

(74)【代理人】

【識別番号】100072604

【弁理士】

【氏名又は名称】有我 軍一郎

(72)【発明者】

【氏名】オカムラ アリソン マリコ

(72)【発明者】

【氏名】山本 智徳

(72)【発明者】

【氏名】ヴァグヴォルジ バラジュ ペーテル

【審査官】 佐藤 智弥

(56)【参考文献】

【文献】 特開平８−２１５２１１（ＪＰ，Ａ）

【文献】 特開２００８−１３４３７３（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ １９／００

(57)【特許請求の範囲】

【請求項1】

手術ロボットであって、
少なくとも１台のカメラと、画像システムと交信するプロセッサと、前記プロセッサと交信する操作システムと、前記プロセッサと交信する表示装置を含む画像装置を含み、
前記プロセッサは、操作器具と人体組織の間の触診から得られる器具−環境干渉データの環境モデルに基づいて環境の一領域に対して推定された機械的な特性を算出し、前記少なくとも１台のカメラからの環境画像上に重畳される機械的特性推定値の機械的特性マップを含む合成画像を生成し、前記表示装置に合成画像を出力するように動作する手術ロボット。

【請求項2】

請求項１に記載の手術ロボットであって、前記プロセッサは、械的特性推定値の環境画像への移動に基づいて機械的特性マップを生成する手術ロボット。

【請求項3】

請求項１に記載の手術ロボットであって、環境画像上に重畳される前記機械的特性マップの範囲は、環境画像中の前記機械的特性マップの範囲によって重畳的に表示される環境の範囲に対応する手術ロボット。

【請求項4】

請求項３に記載の手術ロボットであって、前記機械的特性マップが色相−彩度−明度表示のカラー械的特性マップから成り、色相が前記機械的特性マップの領域に対する機械的特性値に対応し、彩度が前記機械的特性マップの領域に対する信頼度レベルに対応する手術ロボット。

【請求項5】

請求項１に記載の手術ロボットであって、前記機械的特性マップが混合された機械的特性マップから成る手術ロボット。

【請求項6】

請求項１に記載の手術ロボットであって、前記操作システムが、さらに、器具−環境干渉センサをさらに含む手術ロボット。

【請求項7】

請求項６に記載の手術ロボットであって、前記器具−環境干渉センサが力センサから成り、前記器具−環境干渉データが操作器具によって環境に印加される力の大きさから成る手術ロボット。

【請求項8】

請求項１に記載の手術ロボットであって、前記器具−環境干渉データが、操作器具によって引き起こされる環境の変位量から成る手術ロボット。

【請求項9】

請求項１に記載の手術ロボットであって、前記プロセッサが実時間で合成画像を生成するように動作する手術ロボット。

【請求項10】

請求項１に記載の手術ロボットであって、前記環境モデルが、力および変位変数に関連する環境の機械的特性値を使用する線形または非線形の等式から成る手術ロボット。

【請求項11】

請求項１に記載の手術ロボットであって、前記プロセッサがさらに環境モデルおよび前記器具−環境干渉データに基づいて機械的特性を推定するために、アルゴリズムを適用するように動作する手術ロボット。

【請求項12】

請求項１に記載の手術ロボットであって、前記機械的特性マップが３次元空間に埋め込まれた表面機械的特性マップから成る手術ロボット。

【請求項13】

請求項１に記載の手術ロボットであって、前記環境が組織または臓器の少なくとも一方から成る手術ロボット。

【請求項14】

請求項１に記載の手術ロボットであって、前記機械的な特性が硬さである手術ロボット。

【請求項15】

手術ロボットに使用されるデータ処理装置であって、手術ロボットから環境画像を受信し、手術ロボットから操作器具と人体組織の間の触診から得られる器具−環境干渉データを受信するために適用される少なくとも１つの入力ポートと、前記少なくとも１つの入力ポートと交信するオーバーレイ要素と、前記オーバーレイ要素と交信する出力ポートとを含み、
前記オーバーレイ要素は、環境干渉データの環境モデルに基づいて環境の一領域の機械的特性推定値を演算し、環境画像に重畳される機械的特性推定値の機械的特性マップを含む合成画像を生成し、合成画像を前記出力ポートに出力するために適用されるデータ処理装置。

【請求項16】

請求項１５に記載のデータ処理装置であって、前記オーバーレイ要素が、機械的特性推定値の環境画像への移動に基づいて機械的特性マップを生成するように動作するデータ処理装置。

【請求項17】

請求項１５に記載のデータ処理装置であって、環境画像に重畳される機械的特性マップの領域が、環境画像中の機械的特性マップの前記領域によって重畳的に表示される環境の領域に対応するデータ処理装置。

【請求項18】

請求項１７に記載のデータ処理装置であって、前記機械的特性マップが、色相−彩度−明度表示のカラー機械的特性マップであり、彩度が前記機械的特性マップの一領域に対する機械的特性値に対応し、彩度が前記機械的特性マップの一領域に対する信頼度レベルに対応するデータ処理装置。

【請求項19】

請求項１５に記載のデータ処理装置であって、前記機械的特性マップが混合された機械的特性マップを含むデータ処理装置。

【請求項20】

請求項１５に記載のデータ処理装置であって、前記器具−環境干渉データが、操作システムによって環境に印加される力の大きさを含むデータ処理装置。

【請求項21】

請求項１５に記載のデータ処理装置であって、前記器具−環境干渉データが、操作システムによって引き起こされる環境の変位量を含むデータ処理装置。

【請求項22】

請求項１５に記載のデータ処理装置であって、前記オーバーレイ要素が、さらに合成画像を生成するために適用されるデータ処理装置。

【請求項23】

請求項１５に記載のデータ処理装置であって、前記環境モデルが、力および変位変数に関する環境の機械的特性を使用する線形あるいは非線形の式を含むデータ処理装置。

【請求項24】

請求項１５に記載のデータ処理装置であって、前記オーバーレイ要素が、さらに環境モデルおよび前記器具−環境干渉データを使用する機械的特性を推定するためのアルゴリズムを適用するために使用されるデータ処理装置。

【請求項25】

請求項１５に記載のデータ処理装置であって、前記機械的特性マップが、３次元の機械的特性マップを含むデータ処理装置。

【請求項26】

請求項１５に記載のデータ処理装置であって、前記環境が組織または臓器の少なくとも一方を含むデータ処理装置。

【請求項27】

請求項１５に記載のデータ処理装置であって、前記機械的特性推定値に係る機械的特性が硬さであるデータ処理装置。

【請求項28】

計算プラットフォームで実行されたときに、環境の一領域の触診から操作器具と人体組織の間の触診から得られる器具−環境干渉データを決定する段階と、前記器具−環境干渉データに基づいて環境の一領域の機械的特性推定値を算出する段階と、環境画像を受信する段階と、環境上に重畳される機械的特性推定値の機械的特性マップを含む合成画像を生成する段階と、表示装置に前記合成画像を出力する段階とを含む動作を前記計算プラットフォームに実行させる命令を提供する機械読み取り可能な実体的な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

関連発明の相互参照
本出願は2008年10月20日に出願された米国仮出願６１／１０６，６８３に基づく優先権を主張し、その全内容は参照により本願に組み込まれる。
米国政府は、本発明に関し支払い済みのライセンスと、国際科学基金によって授与された許可番号ＩＩＳ−０３４７４６４，ＥＥＣ−９７３１７４８およびＣＮＳ−０７２２９４３ならびに米国健康学会によって授与された許可番号Ｒ０１-ＥＢ００２００４の期間によって定まる妥当な期間第三者にライセンスを与えることを特許権者に要求する権利とを有する。
本発明は環境特性推定および画像表示に係り、特に、環境特性推定値を画像表示するように動作する手術ロボットに関する。

【背景技術】

【0002】

本明細書中で参照される論文、公開された特許出願および特許公報を含むすべての参照文献は、本出願に組み込まれる。
ダ・ビンチ（米国、カリフォルニア、サニーベールのインテュイティブサージカル社）のような遠隔操作されるロボット支援手術装置は従来の低侵襲的手術（Minimally Invasive Surgery: ＭＩＳ）に対し多くの利点を提供する。この装置は器用さを強調しており、より精密な動作が可能であり、３次元（３Ｄ）表示を備えている。しかしながら、触覚フィードバックの欠如は、このような遠隔操作されるロボット支援型低侵襲的手術（ＲＭＩＳ）装置の欠点の１つと認識されている（F. W. Mohr、 V. FaIk、 A. Diegeler、 T. Walther、 J. F. Gummert、 J. Bucerius, S. Jacobs, および R. Autschbach著 "Computer-enhanced 'robotic'- cardiac surgery: experience in 148 patients," The Journal of Thoracic and Cardiovascular Surgery, vol. 121, no. 5, pp. 842-853, 2001）。

【0003】

多くの研究グループ、すなわち、16th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 465-471, 2008の中の"Force-feedback surgical teleoperator: Controller design and palpation experiments,"の著者であるM. Mahvash, J. Gwilliam、 R. Agarwal、 B. Vagvolgyi, L.-M. Su、 D. D. Yuhおよび A. M. Okamura、"Haptic feedback in a telepresence system for endoscopic heart surgery,"の著者であるH. Mayer、 I. Nagy、 A. Knoll、 E. U. Braun、 R. Bauernschmitt および R. Lange、 "Teleoperators and Virtual Environments" vol. 16, no. 5, pp. 459-470の著者であるPresence、ならびに、Hapticsfor Teleoperated Surgical Robotic Systems (New Frontiers in Robotics series), World Scientific Publishing Company, 2008の著者であるM. Tavakoli, R. Patel, M. Moallemおよび A. Aziminejadが手術に応用するための触覚フィードバックを有する遠隔操作を研究しているが、安定性と透明性の間の兼ね合い、価格に起因する力センサ、生体適合性および時間的痛み軽減性が、（現在の商業的な手術ロボットに基づいて）実現可能な触覚フィードバックを有する実際的な装置の開発を困難にしている（非特許文献１および非特許文献２参照）。

【0004】

したがって、外科医が使用する現在のＲＭＩSは、原理的に遠隔器具がどの程度の大きさの力を組織に加えているかを推定するために組織の変形のような視覚的な手懸りに依存している。
外科医は、手術中に解剖学的な構造を調査するために、生物学的な組織をたびたび触診する。触診は、力変位および分散された触覚情報の双方を提供する。組織の異常は、硬さのような機械的な特性によって正常な組織から区別され得る（非特許文献３参照）。

【0005】

冠状動脈バイパス手術（ＣＡＢＧ）において、触診は移植場所がどこであるかの検知において、特に利点がある。石灰化した動脈から視覚的に区別することが困難である柔らかい健康な動脈を移植することがより良策である。移植は石灰化した動脈部分あるいは近傍に行われるべきではない。心臓組織の中での石灰化した動脈の発見は、フィードバックが無いときは、まったく挑戦的なことであり、外科医は接合に最適な場所を決定することは不可能であろう（非特許文献４参照）。

【先行技術文献】

【非特許文献】

【0006】

【非特許文献1】A. M. Okamura, L. N. Verner, C. E. ReileyおよびM.Mahvash著 "Haptics for robot-assisted minimally invasive surgery," in Proceedings of the International Symposium Robotics Research, Hiroshima, Japan, Nov. 26-29, 2007

【非特許文献2】A. M. Okamura著"Haptic feedback in robot-assisted minimally invasive surgery," Current Opinion in Urology, vol. 19, no. 1, pp. 102-107, 2009

【非特許文献3】（K. Hoyt, B.Castaneda, M. Zhang, P. Nigwekar, P. A. di Sant'agnese, J. V. Joseph, J. Strang, D. J. Rubensおよび K. J. Parker著 Tissue elasticity properties as biomarkers for prostate cancer. Cancer Biomark, 4(4-5):213-225, 2008. Neurophys, 73:88, 1995

【非特許文献4】F. W. Mohr, V. FaIk, A. Diegeler, T. Walther, J. F. Gummert, J. Bucerius, S. Jacobsおよび R. Autschbach著 "Computer-enhanced 'robotic' cardiac surgery: experience in 148 patients," The Journal of Thoracic and Cardiovascular Surgery, vol. 121, no. 5, pp. 842-853, 2001

【発明の概要】

【発明が解決しようとする課題】

【0007】

したがって、環境特性推定のための改良された手術ロボット、要素、および方法に対する必要性が存在する。

【課題を解決するための手段】

【0008】

本発明の一実施例に係る手術ロボットは、少なくとも一台のカメラと、画像装置と交信するプロセッサと、プロセッサと交信する遠隔操作装置と、プロセッサと交信する表示装置を備える画像装置を有している。プロセッサは機械的特性を算出し、器具−環境干渉データの環境モデルに基づいて環境の一つの範囲を推定し、少なくとも一台のカメラからの環境画像に重畳される機械的特性推定値の機械的特性マップから成る合成画像を生成し、表示装置に合成画像を出力するように動作する。

【0009】

本発明の一実施例に係る手術ロボットに使用するデータ処理ユニットは、手術ロボットから環境画像を受信するため、および手術ロボットから器具−環境干渉データを受信するために適用される少なくとも一つの入力ポートと、少なくとも一つの入力ポートと交信するオーバーレイ要素と、オーバーレイ要素と交信する出力ポートを有する。オーバーレイ要素は、器具−環境干渉データに基づいて環境の一領域の機械的特性推定値を算出し、環境画像上に重畳される機械的特性のマップから成る合成画像を生成し、合成画像を出力ポートに出力するために適用される。

【0010】

計算プラットフォームによって実行されたときに、本発明の一実施例によれば、計算プラットフォームに、環境の一領域の触診から得られる器具−環境干渉データの決定、器具−環境干渉データに基づく環境の一領域の機械的特性推定値の算出、環境画像の受信、環境画像に重畳される機械的特性推定値の機械的特性マップを含む合成画像の生成、および剛債画像の表示装置への出力を含む方法を含む動作を実行させる実体的な機械読み取り可能な記憶媒体が提供される。

【図面の簡単な説明】

【0011】

本発明は添付した図面を参照することにより、一層理解されるであろう。

【図1】本発明の一実施例に係る組織特性推定値および画像表示のための手術ロボットの概略図である。

【図2】本発明の一実施例に係る触診器具アッタチメントの概略図である。

【図3】本発明の一実施例に係る環境画像に重畳される機械的特性マップを示す合成画像図である。

【図4】人工の柔らかい組織（４Ａ）と人工の石灰化された動脈（４Ｂ）のグラフであって、本発明の一実施例に係る推定時間を算出するために質量・ダンパ・バネモデルを使用した場合の力と経過時間（上段）および力と変位（下段）を示す。

【図5】本発明の一実施例に係る人工の石灰化された動脈の一つの力と経過時間（５Ａ）および力と変位（５Ｂ）を示す。

【図6】ダ・ビンチ手術装置の特注品の概略図であって、右側は主操作装置と３Ｄ表示装置であり、左側は本発明の一実施例に係る患者側操作装置と立体カメラである。

【図7】重なり合う確立密度関数を加算した場合の信頼度レベル（７Ａ）と、信頼度レベルを示す硬さの変化と彩度を示す色合い（７Ｂ）のグラフである。

【図8】本発明の一実施例に係る、画像中に示される下層の環境の硬さマップが展開されたときの本発明の一実施例に係る合成画像の図である。

【発明を実施するための形態】

【0012】

図面に描かれた本発明の実施例の説明において、明確さのために特定の術語が使用される。しかしながら、本発明はそのように選択された特定の術語に限定されることを意図してない。特定の要素は、同様の目的を達成するために同様に動作するすべての技術的等価物を含むことは理解されるべきである。

【0013】

図１は、本発明の一実施例に係る環境特性推定および画像表示のための手術ロボット１００の概略図である。手術ロボット１００は、主操作盤１０２と患者側操作装置１０４を含む。主操作盤１０２は、表示装置１０６と操作装置１０８を含む。患者側操作装置１０４は操作システム１１０を含む。一実施例において、操作システム１１０は、操作器具１１２と画像システム１１４とを含む。一実施例において、手術ロボット１００は、少なくとも一つのカメラ、画像システム１１４と交信するプロセッサ１１６、プロセッサ１１６と交信する操作システム１１０およびプロセッサ１１６と交信する表示装置１０６を含む画像システム１１４を含んでいる。

【0014】

プロセッサ１１６は、器具−環境干渉データの環境モデルに基づく環境の一領域の機械的特性推定値を算出し、少なくとも一台のカメラからの環境画像上に重畳される機械的特性推定値の機械的特性マップから成る剛債画像を生成し、合成画像を表示装置１０６に出力する。

【0015】

一実施例において、機械的特性は硬さである。硬さは線形あるいは非線形であり得る。他の実施例においては、機械的特性は線形あるいは非線形の制動力である。他の実施例においては、機械的特性はシステムによって検知され得るすべての機械的特性、たとえば、これらに限定されるものではないが、硬さ、制動力、質量等である。

【0016】

一実施例において、使用者は合成画像を提供する手術ロボット１００を使用することが可能であり、したがって、使用者は組織の硬さの推定値に基づいて組織の異常範囲を識別可能である。推定された硬さは、器具−環境干渉データを使用して組織の触診から算出される。使用者は、組織領域を触診するために手動で手術ロボット１００を制御する目的で主操作盤１０２の操作装置を操作する。代案として、使用者は触診する組織の範囲を選択し、手術ロボット１００は組織範囲の触診を制御する。他の実施例において、手術ロボット１００は組織異常範囲を含む組織を自動的に触診する。

【0017】

組織範囲の触診を実行するために、手術ロボット１００のプロセッサ１１６は操作装置１１０に対して操作器具１１２で組織の一範囲を触診することを命令する。プロセッサ１１６は、触診中の操作器具１１２と組織の間の干渉のための器具−環境干渉データを受信する。

【0018】

器具−環境干渉データは、組織範囲を触診したときの操作器具１１２の位置データを含んでいる。器具−環境干渉データは、たとえば操作装置１１２の速度および加速度、操作装置１１２によって組織上に加えられる力、あるいは、操作器具１１２が組織に引き起こす変位量である他のデータも含み得る。操作器具１１２が組織に接触している間、操作器具１１２の種々の特性が組織の特性に対応する。たとえば、操作器具１１２が組織に接触している間、操作器具１１２の位置の変化は組織の位置の変化に対応する。

【0019】

プロセッサ１１６は、種々の情報源から器具−環境干渉データを受信することが可能である。一つの実施例においては、操作器具１１２の位置は、操作システム１１０の位置センサを介して、あるいは、画像システム１１４からのデータの解析によりプロセッサ１１６により知られ得る。プロセッサ１１６は、操作器具１１２の位置を監視し、操作器具１１２の位置の変化に基づいて操作器具１１２の速度および加速度を算出する。代案として、操作器具１１２はプロセッサ１１６と交信する速度および加速度センサを含む。器具-環境干渉データの決定は、図２Ａ、２Ｂおよび２Ｃを参照して以下でさらに説明される。

【0020】

一回の触診の間に、プロセッサ１１６は多数組の器具-環境干渉データを受信する。器具-環境干渉データに基づいて、プロセッサ１１６は触診された組織の範囲に対して、推定硬さである硬さ推定値を算出する。

【0021】

組織の範囲に対する硬さ推定値を算出するために、プロセッサ１１６は組織モデルを使用し、組織モデルの未知のパラメータを推定するために組織モデルに対して器具-環境干渉データを適用する。種々の組織モデル、たとえば、これに限られることはないが、Kelvin-Voigtモデル、質量-ダンパ-ばねモデル、Hunt-Crossleyモデル、２次多項式モデル、３次多項式モデル、４次多項式モデル、または２次多項式速度依存モデルが使用され得る。組織モデルの未知のパラメータを推定するための種々の形式の推定技法、たとえば、これに限られることはないが、帰納的最小二乗法、適応同定法、カルマンフィルタ、および信号処理法が使用され得る。プロセッサ１１６は、組織モデルの推定された未知のパラメータから硬さの推定値を取得する。

【0022】

推定された硬さと撮像装置１１４からの環境画像を使用して、プロセッサ１１６は合成画像を生成する。合成画像は、少なくとも一台のカメラからの環境画像上に重畳される硬さ推定値のマップを含む。硬さマップは、組織の１以上の領域の算出された硬さ推定値のグラフ表示であり、以下で図３を参照しつつさらに説明される。

【0023】

プロセッサ１１６は、環境の範囲に対応する硬さマップの範囲が環境画像に重畳するように合成画像を生成する。合成画像の生成は、環境画像への硬さ推定値の移動に基づく硬さマップの生成を含む。プロセッサ１１６は、環境の範囲を示す環境画像の範囲に環境範囲を移動するために環境画像を解析する。移動に基づき、プロセッサ１１６は硬さマップを生成し、環境画像上に硬さマップを重畳する。プロセッサ１１６は、硬さマップを半透明の状態で重畳するので、下層の環境画像は合成画像においても見ることができる。そして、合成画像は表示装置１０６に出力される。一実施例によれば、プロセッサ１１６は合成画像を実時間で生成する。

【0024】

表示装置１０６は、使用者に合成画像を表示する。表示装置１０６は、立体表示装置である。表示装置１０６は、一つの表示装置が片眼に対応する二つの立体表示装置を介して使用者に３次元立体画像を表示する。各表示装置は、その眼に対する環境の視点に対応した異なる合成画像を表示する。他の実施形態では、表示装置１０６は非立体表示装置である。

【0025】

図２Ａ、２Ｂおよび２Ｃは、本発明の一実施例に係る触診器具アタッチメントの概略図である。図２Ａは、操作器具１１２に対するアタッチメントの実施形態を示す。アタッチメントは、器具延長要素と透明なプラスチック円板を含む。図２Ｂに示すように、器具延長要素は操作器具１１２に取り付けられる。
この実施例において、プラスチック円板は組織触診のための接触点であるが、円板は他の適当な素材から作られて作られてもよく、他の適当な形状に作られてもよい。さらに、分離型のアッタチメントの代わりに、アッタチメントは操作器具１１２に組み込まれていてもよい。

【0026】

図２Ｃに示すように、一実施例においては、操作器具１１２は器具-環境干渉センサを含んでいる。器具-環境干渉センサは力センサである。操作器具１１２は、力センサは操作器具１１２によって環境に加えられる力を計測するように配置されている。力センサによって計測される力の変化に基づいて、プロセッサ１１６は操作器具１１２と環境との間の接触および非接触時間を決定する。
器具-環境干渉データは、力センサによって計測された力を含み、プロセッサ１１６は計測された力およびロボットの位置に基づいて硬さ推定値を算出する。

【0027】

他の実施例においては、器具-環境干渉力は力センサによって計測されないが、M. Mahvash, J Gwilliam, R. Agarwal, B. Vagvolgyi, L. Su, D. D. Yuh, および A. M. Okamura著"Force-Feedback Surgical Teleoperator: Controller Design and Palpation Experiments", 16th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 465-471, Reno, NV, March 2008に従った方法によってロボット制御装置から推定される。この方法において、指令されたロボットの動作と実際の動作の間の誤差はロボット端のエフェクタに加えられる力を推定するために使用される。ロボットの動的モデルは、環境（すなわち、組織）からの力とロボットの内部機構からの力（すなわち、慣性および摩擦）との差に対して使用される。

【0028】

他の実施例においては、器具-環境干渉データは、画像システム１１４から視覚的に獲得される。プロセッサ１１６は、環境に既知の力を印加するために操作器具１１２に命令する。画像システム１１４からの画像に基づいて、プロセッサ１１６は操作器具１１２と環境の間の接触を識別する。プロセッサ１１６は、環境画像の視覚的解析または操作器具１１２の位置データの変化に基づいて、操作器具１１２によって惹起された環境の変位量を決定できる。器具-環境干渉データは変位量を含み、プロセッサ１１６は変位量に基づいて硬さ推定値を算出する。他の実施例によれば、器具-環境干渉センサおよび視覚的に決定された器具-環境干渉データは、ともに手術ロボット１００によって使用される。

【0029】

図３は、本発明の一実施例に係る環境画像上に重畳された硬さマップを示す合成画像の図である。プロッセサ１１６は、硬さ推定値から組織の硬さマップを生成する。硬さマップは、組織の硬さ推定値のグラフ表示である。一実施において、硬さマップは、色相-彩度-輝度（ＨＬＳ）空間表現である。色相は硬さ値に対応し、彩度は荷重ガウス関数によって算出される。触診位置からの距離に基づいて、プロセッサ１１６は周辺領域に対する信頼度レベルを定義し、これが彩度レベルに変換される。一実施例において、同位置に複数の信頼度レベルが重畳されたときには、色相が混合された連続的なマップを生成するために色相が混合される。プロセッサ１１６は、触診位置の信憑性を増すために信頼度レベルを加算する。一実施例において、プロセッサ１１６は、新たなデータが収集されたときには硬さマップを更新する。

【0030】

一実施例において、硬さマップは３次元マップ（３次元に折り曲げられた平面マップ）であり、プロセッサ１１６は環境画像上に３次元硬さマップを重畳する。プロセッサ１１６は環境の立体画像を受信する。立体画像は、画像システム１１４からの二つの環境の画像を含む。立体画像を使用して、プロセッサ１１６は立体画像中に示されるように環境の凹凸を決定する。そして、プロセッサ１１６は、３次元硬さマップが環境の凹凸に対応するように合成画像を生成する。

【0031】

本発明の他の実施例は、手術ロボットと共に使用するためのデータ処理装置に関連する。たとえば、データ処理装置は、図１の手術ロボットを参照して説明されたプロセッサ１１６と同様のものであってもよい。データ処理装置は、手術ロボットから環境画像を受信するためおよび手術ロボットから器具-環境干渉データを受信するための少なくとも１つの入力ポートと、少なくとも１つの入力ポートと交信するオーバレイコンポーネントと、オーバレイコンポーネントと交信する出力ポートを有する。オーバレイコンポーネントは、器具-環境干渉データの環境モデルに基づいて環境の一範囲に対して機械的特性推定値を算出し、環境画像に重畳された機械的特性推定値の機械的特性マップから成る合成画像を生成し、出力ポートに合成画像を出力するために適用される。

【0032】

本発明の他の実施例は、計算プラットフォームで実行されたときに、計算プラットフォームに、環境の領域の触診から得られる器具-環境干渉データを決定すること、器具-環境干渉データに基づいて環境の領域の機械的特性推定値を算出すること、環境画像を受信すること、環境画像に重畳された機械的特性推定値の機械的特性マップから成る合成画像を生成すること、および合成画像を表示装置に出力することを含む本発明の実施例に係る方法を含む命令を実行させる命令を提供する具体的な機械読み取り可能な記憶媒体に向けられている。

【実施例】

【0033】

手術中の組織および内臓の手による触診は、臨床医に、診断および手術の計画に有用な情報を提供する。今日のロボット支援型低侵襲手術システムにおいては、認知可能な触覚フィードバックの欠如が臓器内の腫瘍あるいは心臓組織の石灰化した動脈の検出を挑戦的なものにしている。この例は、自動化された組織特性の推定方法および手術医が硬い組織と柔らかい組織を区別することを許容する実時間のグラフ的重畳を提供する。我々は、最初に、経験的に人工的な組織の特性を評価し、７つの可能な数学的組織モデルと比較する。自己検証および相互検証は、Hunt-Crossleyモデルが、経験的に観察された人工組織の特性を最も良く表し、我々の目的に適していることを確かなものとしている。次に、我々は、人工組織が遠隔操作される手術ロボットを使用して触診され、Hunt-Crossleyモデルの硬さが回帰的最小自乗法によって実時間で推定されるシステムの開発を行う。実時間で重畳表示する組織の硬さは、色相−彩度−輝度表示を使用して、組織表面の半透明の円板上に生成される。色相は触診された位置の硬さを表示し、彩度はその点からの距離に基づいて算出される。単純な内挿法が、連続的な硬さのカラーマップを生成する。実験においては、グラフ的な重畳は、人工組織に隠蔽された人工的な石灰化した動脈の位置を成功裡に表示する。

【0034】

本作業において、我々は柔らかい材料中に隠蔽された硬い対象物、すなわち、心臓組織中の石灰化した動脈の位置を表示するために、実時間グラフ重畳技術を提案している。我々のアプローチは、回帰的最小自乗法（ＲＳＬ）を使用して組織の機械的特性を推定し、同時に手術医の表示装置上にカラーの硬さマップを重畳することである。グラフ的な重畳は、図３に示すように、人工の石灰化した動脈の位置を明確に表示する。他の応用例は、腫瘍の実時間検出である。
触診のために特に設計された単純な力検出器は力検出用の複雑な操作器とりも開発が容易であるので、我々の提案した技術は、従来の力フィードバックに対する代案と同じく実際的であろう。

【0035】

組織モデル
人間の生物学的組織は、非線形な特性を示し、不均一な構造を含むことが知られている。しかしながら、計算効率のために、多くの研究者は単純な線形組織モデルを仮定している。ばねモデルまたはKelvin-Voigtモデルのような古典的な線形組織モデルは一般的に使用されている（R. Corteso, J. Parkおよび O. Khatib著"Real-time adaptive control for haptic telemanipulation with kalman active observers," IEEE Transactions on Robotics, vol. 22, no. 5, pp. 987-999, 2006、R. Corteso, W. Zarrad, P. Poignet, O. CompanyおよびE.Dombre著"Haptic control design for robotic-assisted minimally invasive surgery," in IEEE International Conference on Intelligent Robots and Systems, pp. 454-459, 2006、G. De Gersem, H. V. BrusselおよびJ. V. Sloten著"Enhanced haptic sensitivity for soft tissues using teleoperation with shaped impedance reflection," in World Haptics Conference (WHC) CD-ROM Proceedings, 2005、S. MisraおよびA. M. Okamura著"Environment parameter estimation during bilateral telemanipulation," in 14^th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 301-307, 2006、ならびにX. Wang, P. X. Liu, D. Wang, B. ChebbiおよびM. Meng著"Design of bilateral teleoperators for soft environments with adaptive environmental impedance estimation," in IEEE International Conference on Robotics and Automation, pp. 1127-1132, 2005）。Diolaiti等 （N. Diolaiti, C. MelchiorriおよびS. Stramigioli著 "Contact impedance estimation for robotic systems," IEEE Transactions on Robotics, vol. 21, no. 5, pp. 925-935, 2005） は、Hunt-Crossleyモデル (K. Hunt and F. Crossley, "Coefficient of restitution interpreted as damping in vibroimpact," ASME Journal of Applied Mechanics, vol. 42, no. 2, pp. 440-445, 1975)を使用していた。非線形Hunt-Crossleyモデルは、Kelvin-Voigtモデルにおいて観察される衝突の間のエネルギ損失を考慮している。有限要素モデルは優れた組織モデルを提供することができるけれども、計算的な複雑さは実時間応用を制限してきた。Misra等（S. Misra, K. T. RameshおよびA. M. Okamura著 "Modeling of tool-tissue interactions for computer-based surgical simulation: A literature review,"Presence: Teleoperators and Virtual Environments, vol. 17, no. 5, pp. 463-491, 2008）は、器具-環境干渉方法に関する文献を参照していた。

【0036】

推定法
オンライン環境パラメータ推定方法には、ＲＬＳ（X. Wang, P. X. Liu, D. Wang, B. ChebbiおよびM. Meng著"Design of bilateral teleoperators for soft environments with adaptive environmental impedance estimation," in IEEE International Conference on Robotics and Automation, pp. 1127-1132, 2005、N. Diolaiti, C. MelchiorriおよびS. Stramigioli著"Contact impedance estimation for robotic systems," IEEE Transactions on Robotics, vol. 21, no. 5, pp.925-935, 2005、M. B. ColtonおよびJ. M. Hollerbach著"Identification of nonlinear passive devices for haptic simulations," in WHC '05: Proceedings of the First Joint Eurohaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, (Washington, DC, USA), pp. 363-368, IEEE Computer Society, 2005、 J. LoveおよびW. J. Book著"Environment estimation for enhanced impedance control," in IEEE International Conference on Robotics and Automation, pp. 1854-1858, 1995）、適応同定法（S. MisraおよびA. M. Okamura著"Environment parameter estimation during bilateral telemanipulation," in 14th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 301-307, 2006、K. Hashtrudi-ZaadおよびS. E. Salcudean著"Adaptive transparent impedance reflecting teleoperation," in IEEE International Conferenceon Robotics and Automation, pp. 1369-1374, 1996、H. SerajiおよびR. Colbaugh著"Force tracking in impedance control," IEEE Transactions on Robotics, vol. 16, no. 1, pp. 97-117, 1997、ならびにS. K. SinghおよびD. O. Popa著"An analysis of some fundamental problems in adaptive control of force and impedance behavior: Theory and experiments," IEEE Transactions on Robotics and Automation, vol. 11, no. 6, pp.912-921, 1995）、カルマンフィルタ法（R. Corteso, J. ParkおよびO. Khatib著 "Realtime adaptive control for haptic telemanipulation with kalman active observers," IEEE Transactions on Robotics, vol. 22, no. 5, pp. 987-999, 2006、R. Corteso, W. Zarrad, P. Poignet, O. CompanyおよびE. Dombre著"Haptic control design for robotic-assisted minimally invasive surgery," in IEEE International Conference on Intelligent Robots and Systems, pp. 454-459, 2006、ならびにG. De Gersem, H. V. BrusselおよびJ. V. Sloten著"Enhanced haptic sensitivity for soft tissues using teleoperation with shaped impedance reflection," in World Haptics Conference (WHC) CD-ROM Proceedings, 2005）、
および多重推定法（T. Yamamoto, M. Bernhardt, A. Peer, M. BussおよびA. M. Okamura著 "Multi-estimator technique for environment parameter estimation during telemanipulation," in IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 217-223, 2008）を含むいくつかの方法が存在する。Erickson等(D. Erickson, M. WeberおよびI. Sharf著"Contact stiffness and damping estimation for robotic systems," The InternationalJournal of Robotics Research, vol. 22, no. 1, pp. 41-57, 2003)は、４つの方法、ＲＬＳ、間接法型適応制御、モデル規範適応制御および信号処理法をレビューし、比較している。彼らは、ロボットのような組立体操作に応用するために力追従性およびインピーダンス制御の安定性を改善するために剛性およびダンピングを推定した。彼らは、永続的励起を有する間接法型適応制御が４つの方法の中で最も良い性能であることを示した。Yamamoto等(T. Yamamoto, M. Bernhardt, A. Peer, M. BussおよびA. M. Okamura著"Multi-estimator technique for environment parameter estimation during telemanipulation," in IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 217-223, 2008)は、手術への応用のためにKelvin- Voigtモデルの未知のパラメータを推定する目的で、ＲＬＳ、適応同定法および多重推定法を比較した。彼らは、オンラインでの組織パラメータ推定のために、ＲＬＳまたは多重推定法を推奨した。

【0037】

組織特性推定
ある硬い異物は超音波を使用して見出され得るし、従来の業績はダ・ヴィンチ手術システムを使用した腹腔鏡超音波データの直感的視覚化を試験してきた（Leven, D. Burschka, R. Kumar, G. Zhang, S. Blumenkranz, X. Dai, M. Awad, G. D. Hager, M. Marohn, M. Choti, C. HasserおよびR. H. Taylor著 "Davinci canvas: A telerobotic surgical system with integrated, robot-assisted, laparoscopic ultrasound capability," in Medical Image Computing and Computer- Assisted Intervention (MICCAI), pp. 811-818, 2005）。典型的には超音波を使用し、柔らかい組織中の張力分布を表示する弾性率計測法（Elastography）は、腫瘍を検出するための効果的な方法である。弾性率計測法の主たる欠点は、計算機的に高価であることである（J. Ophir, S. Alam, B. Garra, F. Kallel, E. Konofagou, T. Krouskop, C. Merritt, R. Righetti, R. Souchon, S. SrinivasanおよびT. Varghese著 "Elastography: Imaging the elastic properties of soft tissues with ultrasound," in Journal of Medical Ultrasonics, vol. 29, pp. 155-171, 2002）。腫瘍の位置決めのために特化された、いくつかの新規な装置、すなわち、触覚画像（Tactile Imaging）（P. S. Wellman, E. P. Dalton, D. Krag, K. A. KernおよびR. D. Howe著"Tactile imaging of breast masses first clinical report," Archives of Surgery, vol. 136, pp. 204-208, 2001）、触覚画像装置(A. P. Miller, W. J. Peine, J. S. SonおよびZ. T. Hammoud著"Tactile imaging system for localizing lung nodules during video assisted thoracoscopic surgery," in IEEE International Conference on Robotics and Automation, pp. 2996-3001, 2007)、PVDF-sensing grippers (J. Dargahi, S. NajarianおよびR. Ramezanifard著"Graphical display of tactile sensing data with application in minimally invasive surgery,"Canadian Journal of Electrical and Computer Engineering, vol. 32, no. 3, pp. 151 - 155, 2007)、触覚検出計測(A. L. Trejos, J. Jayender, M. T. Perri, M. D. Naish, R. V. PatelおよびR. A. Malthaner著"Experimental evaluation of robot- assisted tactile sensing for minimally invasive surgery," in IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 971-976, 2008)、およびエアクッション力検出プローブ(K. Althoefer, D. Zbyszewski, H. Liu, P. Puangmali, L. Seneviratne, B. Challacombe, P. DasguptaおよびD. Murphy著"Air-cushion force sensitive probe for soft tissue investigation during minimally invasive surgery," in IEEE Conference on Sensors, pp. 827-830, 2008)が開発されてきたが、いずれも未だＲＭＩＳシステムで試験されていない。

【0038】

本例は、（１）数学的人工組織モデルの妥当性、および（２）組織の硬さを表すために実時間グラフ重畳を生成し、使用者が柔らかい物質の中の眼に見えない硬い異物を識別することを可能とするモデルおよび遠隔操作ロボットについて説明する。

【0039】

人工組織の正確な数学的モデルを選択するために、我々は実験的な器具-環境干渉データを解析し、７つの候補モデルを比較した。最小自乗法を使用する後処理によって、我々は、自己評価および相互評価における力推定誤差に基づいてモデルの正確さを評価した。正確さおよび柔らかい物質から硬い対象物を識別する硬さ項のために、Hunt-Crossleyモデルが選択された。長い間我々は不均一で複雑な実際の組織をモデル化することを目指していたので、両方の評価は数学的に近似した組織の動的挙動に対して有用である。

【0040】

我々は、また、推定された組織の特性に基づく硬さ分布を表示するオンライングラフ重畳技術を開発してきた。色相−彩度−輝度（ＨＳＬ）表現は、環境画像上に半透明のカラー硬さマップを重畳するために使用される。色相は硬さ値に対応し、彩度は荷重ガウス関数によって算出される。触診された点からの距離に基づいて、我々は、周辺領域の信頼度レベルを定義し、それが彩度値に変換される。複数の信頼度レベルが同一点に重畳されたときは、連続的なカラーマップを生成するために色相が混合される。また、信頼度レベルは触診された点における確実性を増すために加算される。この手法は、新たなデータが追加されるたびに、実時間で繰り返される。結果的に、我々は、組織に対する手術医の視界を妨げること、あるいは手術的な計器を使用することなく、硬い異物の位置を表示する半透明カラー硬さマップを達成した。

【0041】

組織モデルの選択
実際の、または、人工の組織の完全な数学モデルを見出すことはほとんど不可能であるが、組織の動的挙動を近似可能なものは存在するであろう。７つの可能なモデルが考慮されるが、他のモデルも使用可能である。器具-環境干渉データに基づいて、我々はすべてのモデルを比較し、力推定誤差に基づいて精度を評価する。

【0042】

Ａ．人工組織
人工組織心臓モデルはEcoflex 0030（ＡおよびＢ部）、シリコンシィナ、およびシリコン顔料（Smooth-on Inc., Easton, PA, USA）を２４：２４：１２：１の割合で混合して製作される。石灰化した動脈を模擬するために、コーヒー攪拌ストロ（coffee stir straw）が人工組織中に埋め込まれる。我々の手術協力者が人工組織サンプルの現実的な選択をするために可能性のあるモデルを試験した。人工組織心臓モデルの直径および厚さはそれぞれ約６０ミリメートルおよび１８．５ミリメートルである。４ミリメートル径のコーヒー攪拌ストロが表面から５ミリメートルの深さに埋め込まれた。

【0043】

Ｂ．モデル候補
我々は表１の７つのモデルを比較した。

【表1】

【0044】

Ｃ．器具-環境干渉データ
我々は、まず、器具-環境干渉データを取得するために予備的な触診実験をおこなった。図２のプラスチック円板を有する測定延長具が測定器の先端に取り付けられる。人工の石灰化した動脈の直径は４ミリメートルであり、円板は直径１０ミリメートルである。大きさと円板の平面度のために、力が加えられたときは、器具は動脈を滑り過ぎることはない。この器具は、後述するように、我々のダ・ヴィンチ手術システムの患者側操作器に取り付けられている。図２Ｂに示すように、人工心臓組織はNano１７トランスジューサ（ATI Industrial Automation, Apex, NC, USA）上に設置されたプラスチックの基板上に置かれた。

【0045】

柔らかい組織および石灰化した動脈のそれぞれに５回の試行が行われた。試行の間、器具は上下動だけに制限され、システムはこの準備的な実験では１自由度を有していた。検証された位置は、広範囲のデータを獲得するために、試行ごとに相違していた。患者側操作器は主操作器により遠隔操作され、使用者は位置−位置制御装置（position-position controller）(M. Mahvash および A. M. Okamura著 "Enhancing transparency of a position-exchange teleoperator," in Second Joint Eurohaptics Conference and Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems (World Haptics) , pp. 47CM75, 2007)に基づいて触覚フィードバックを受信した。器具の位置、速度および加速度ならびに人工組織に印加された力は記録された。

【0046】

Ｄ．モデルの検証
我々は各試行のデータを後処理して、未知のパラメータおよび干渉力を各モデルに対して推定した。モデルの精度を検証するために、バッチ後処理が採用された。モデル１、２および４〜７は未知のパラメータについて線形であり、線形最小自乗法が使用された。

【数1】

【0047】

（１）式においてρは既知パラメータを含む回帰ベクトル、θは未知パラメータベクトルであり、（２）式において添え字ｋ（１≦ｋ≦ｎ）はサンプリング時間Ｔであるときのｔ＝ｋＴを表わす。

【数2】

【0048】

我々は、ガウス−ニュートン法による非線形最小自乗法を使用した。
ここで、以下の式を定義する。

【数3】

【0049】

ｋ番目の繰り返しにおいて、推定されたパラメータは次式で表わされる。

【数4】

【0050】

非線形最小自乗法は閉形式解を持たず、未知のパラメータに対する初期値が必要である。我々は、θ^０が零ベクトルである場合にしばしば見られる極小値を回避するために、試行錯誤の結果θ^０を次の値とした。

【数5】

力および位置の単位は、本明細書においては、それぞれ、ニュートン、センチメートルである。繰り返し回数ｋは零から始まり、増分パラメータベクトルのノルムΔθが０，００１未満となるまで増加する。

【0051】

１）自己評価：力推定値誤差は次式で定義される。

【数6】

【0052】

各モデルの力推定値誤差の平均および標準偏差は表１に取り纏められている。柔らかい組織および石灰化した動脈に対して５組の触診データが存在するので、平均および標準偏差は平均化された。モデルの力推定値誤差の平均および標準偏差が小さくなるほど、モデルは正確となる。したがって、モデル３、５、６および７は柔らかい組織および石灰化した動脈の双方の動特性を良く特性化するように思えるが、モデル１、２および４はそうではない。図４は器具と環境との干渉データの例示である。

【0053】

図４Ａおよび４Ｂは、力推定値を算出するときに質量−ダンパ−ばねモデルを使用した場合の、柔らかい組織（Ａ）および石灰化した動脈（Ｂ）の力と時間の関係（上段）および力と変位の関係（下段）である。

【0054】

２）相互評価：自己評価の結果、我々は、各モデルに対して、１回の試行から１組の推定パラメータを獲得した。相互評価においては、これらのパラメータは、他の試行における力推定値の算出に使用された。たとえば、試行１の推定パラメータベクトルは、試行１〜５における力の算出に使用された。これは、各試行に対して実行された。したがって、各モデルに対して５^２＝２５の力推定値誤差が算出された。表１において、各モデルに対する力推定値誤差の平均および標準偏差は加算された。図５は、モデル１および３に対する石灰化された動脈の試行データの１つの基づく、力の測定値と推定値の比較を示す。

【0055】

図５Ａおよび５Ｂは、石灰化された動脈の１つの力と時間の関係（５Ａ）および力と変位の関係（５Ｂ）である。

【0056】

３）両評価の解析：自己評価においては、多項式関数モデルの次数が高くなるほど、モデルの誤差は小さくなる。モデル１、２および６は他よりも劣っている。モデル６は、自己評価は良好であるが、相互評価は良好ではない。両方の評価試験の結果、モデル３および７の双方が石灰化された動脈を有する人工組織心臓モデルに対して適切である。しかしながら、我々の目的に対しては、モデル３がより良い選択である。柔らかい周囲の材料から硬い異物を区別するために、我々は物理的に有意な相違を識別したいと考えている。表２は、モデル３および７の推定されたパラメータの要約である。

【数7】

そこで、我々は、モデル３、すなわち、Hunt-Crossleyモデルを選択する。

【0057】

【表2】

【0058】

システム設計
Ａ．遠隔操作システム
図６は、右側に主操作器および３次元表示装置が、左側に患者側操作器およびステレオカメラが示された特注のダ・ヴィンチ手術システムの概略図である。

【0059】

図６に示す我々の特注のダ・ヴィンチ手術システムは、３要素主操作器、３次元表示装置および患者側操作器を含んでいる。ハードウエアはIntuitive Surgical, Inc.（会社名）によって提供され、双方向遠隔操作を達成するための特注の制御システムがJohns Hopkins大学（大学名）によって開発された。遠隔操作システムおよび制御構造の詳細は、M. Mahvash,、J. Gwilliam、 R. Agarwal、 B. Vagvolgyi、 L.-M. Su、 D. D. Yuhおよび A. M. Okamura著
"Force-feedback surgical teleoperator: Controller design and palpation experiments," in 16th Symposium on Haptic Interfaces for Virtual Environments and Teleoperator Systems, pp. 465-471, 2008に記載されている。実験中使用者は位置−位置制御器に基づいて力フィードバックを受信するが、推定のために我々が必要なすべては器具−環境干渉データである。

【0060】

Ｂ．推定技術および初期段階
我々は、実時間での未知のパラメータの推定に対してＲＬＳを適用した。ＲＬＳの高速パラメータ収束性および正確さに起因して、未知のパラメータの収束のためには１回だけの触診で十分である（T. Yamamoto、 M. Bernhardt、 A. Peer、 M. Bussおよび A. M. Okamura著 "Multi-estimator technique for environment parameter estimation during telemanipulation," in IEEE International Conference on Biomedical Robotics and Biomechatronics, pp. 217-223, 2008）。Hunt- Crossleyは非線形であるので、２つの線形推定器が使用可能となるように、未知のパラメータは分離される（N. Diolaiti、 C. Melchiorriおよび S. Stramigioli著 "Contact impedance estimation for robotic systems," IEEE Transactions on Robotics, vol. 21, no. 5, pp. 925-935, 2005）。

【数8】

両方の推定器はフィードバックを介して結合される。

【数9】

各時間ステップにおいて、パラメータは次式により更新される。

【数10】

【0061】

我々の初期推定値はモデル評価の場合と同じく、次式で与えられる。

【数11】

初期収束マトリックスＰ_０は、１００が乗算された恒等マトリックスである。
我々はモデルが正確であることを確認したので、忘却因子は必要ではない。したがって、β＝１とした。各位置における触診のための推定の開始および終了のために、我々は触診器具と人工組織の間の接触を検知するために力閾値を設定した。力センサからのノイズレベルを考慮して、垂直軸に沿った前回および今回の力の積が０．００２Ｎ^２より大きければ、器具は環境と接触しているものと考えられる。接触が検出されたとき、推定が自動的に開始され、硬さが次節に説明するようにモニタに重畳される。視覚的重畳上での器具の振動効果を除去するために、触診点の位置は接初期状態に固定される。器具が組織から離れたときに、これは開放される。ＲＬＳのパラメータは、開放のたびにすべて初期化される。

【0062】

Ｃ：ステレオカメラシステム
ステレオカメラと患者側操作器の間の座標軸は、特注の較正装置を使用してＡＸ＝ＸＢ較正法によって較正される。この較正結果はデカルト操作器器具チップ座標軸とデカルトカメラフレーム（カメラフレームは、２つのカメラの中間に中心を有する）の間の変換フレームである。他の較正段階において、我々は、プラットフォームによって定義される剛体とステレオビデオに基づいて再構成される３次元曇り点の間の位置合わせ機構を利用して、カメラフレームと重畳（環境）プラットフォームフレームとの間の変換を較正した。

【0063】

実験中、重畳画像を正確に配置するために、我々は最初に器具チップ位置をロボット座標軸からカメラ座標軸に変換し、次にカメラ座標軸からプラットフォーム座標軸に変換した。プラットフォーム構成はＸ−Ｚ平面に平行であるので、我々は、変換された器具チップ位置を組織表面上に容易に投影し得た。

【0064】

Ｄ：視覚的重畳法
ＨＳＬ表示を使用したカラーマップは、触診点の硬さを表示するために、ステレオカメラ画像上に重畳される。データは実時間で解析されるので、人工組織が触診されている間は、推定された硬さおよび触診位置のデータは、同時に表示コンピュータに転送され、３０ヘルツの率で半透明カラー画像重畳によって表示される。５０％の透明率で、カメラ画像は重畳画像の背後に鮮明に見ることができた。したがって、カラー硬さマップは器具の使用者の視界または人工組織の表面の特徴を覆い隠すことはない。

【0065】

色相は硬さに対応し、色の範囲は緑色から黄色を通過して赤色までである。

【数12】

彩度はガウス関数に基づいて算出される。ガウス分布の荷重確率分布関数を使用することにより、我々は次式により信頼度レベルを定義した。

【数13】

【0066】

図７Ａおよび７Ｂは、重畳する確率密度関数を加算したときの信頼度レベルのグラフ（７Ａ）、および、信頼度レベルを表わす硬さおよび彩度の変化を示す色相（７Ｂ）である。図７Ａに示すように２以上の確立密度関数が重畳したときは、単純な荷重内挿法が使用される。
合計が１より大であるならば、それは１とする。色彩の重畳を示すために、すべての画素に対して明度は０．５である。図７Ｂは、我々が我々のシステムで使用したＨＳＬ棒グラフを示している。

【0067】

試験結果
図８Ａ−８Ｄは、画像中に示された下にある環境の硬さマップが展開されたときの、合成画像の図である。図８は、試行中に撮影された４枚の図を示す。
器具と人工組織の間の接触が検出されるとすぐに、半透明のカラー円板が手術医の操作卓のステレオモニタ上に表示される。１つの位置の触診は約０．５秒で十分である。図８Ａは、最初の触診の結果を示す。図８Ｂにおいて、ランダムな触診に起因していくつかの円板が存在する。現在の触診領域が、以前に触診された他の領域に近いときは、内挿法が色彩を混合し、信頼度レベルを加算するために使用される。中間結果の１つを図８Ｃに示す。この点において、垂直に中心に向かう赤色領域を見ることができる。人工組織の全表面が触診されたときに、赤色領域は、図８Ｄに示すように、非常に明確になる。人工的に石灰化された動脈の直径の２倍以上である上を覆う円の大きさに起因して、人工的の石灰化された動脈の実際の幅は４ミリメートルであるが、赤色領域の幅は約８ミリメートルである。しかし、たとえば、いったん概略の位置が識別されれば、上を覆う円の大きさあるいはガウスの標準偏差は人工的に石灰化された動脈の大きさおよび位置をより正確に検出するために小さくし得る。

【0068】

この例は、組織の特性のオンライン推定のための遠隔操作される手術ロボットの使用、および手術医の表示装置上に重畳されるカラー硬さマップを使用した柔らかい材料の中に隠されている硬い異物の識別を示している。人工組織に対する７つの可能性のある数学モデルのなかで、自己評価および相互評価の双方で最も少ない力推定誤差を有し、人工組織と人工的な石灰化動脈との間で顕著な相違を示すHunt- Crossleyモデルを選択した。回帰的最小自乗法がHunt- Crossleyモデルの未知パラメータを推定するために使用された。推定された硬さは、表示コンピュータに伝送され、色相−彩度−明度マップを使用したグラフ的な覆いを生成するために、表示コンピュータに伝送される。色相のグラフ的な覆いは、硬さによって決定される。彩度に対しては、触診点からの距離に基づく荷重ガウス関数によって信頼度レベルが定義される。連続的なカラーマップを生成するために、単純な内挿法が使用される。人工組織の表面の探索により、我々は人工的石灰化動脈の位置を示すカラーマップを収集することに成功した。

【0069】

我々は、力センサを既存の力推定法（P. Hacksel およびS. Salcudean著 "Estimation of environment forces and rigid-body velocities using observers," in IEEE International Conference on Robotics and Automation, pp. 931-936, 1994）に置き換えることが可能であり、我々の方法は、市販のロボットにいかなる機器をも追加することなく適用され得る。また、特殊な力検出触診器具も使用され得る。様々な手術的な計測は、画像中の計測のセグメント化および組織特性値の半透明表示上への配置によって改良され得るものである。診療応用への道筋としては、硬さマップは、コンピュータ表示または事前画像、ないしはその双方を使用して、いかなる組織表面の等高線から求めることもできる。このようなシステムは生物学的な組織で試験されるべきである。
最後に、収集された組織の特性は、自動化された診断および手術計画に使用され得るものであり、現実的な患者−特定手術シミュレータの製造のために抽出され得るものであり、さらに、双方向遠隔操作の透明性を改善するために使用され得る。

【0070】

本発明は、例示のために図示された本発明の実施例によって制限されるものではなく、請求項によって定義される。当業者は、ここで議論された例に対する様々な変更および代案が本発明の一般的概念を逸脱することなく可能であることを認識するであろう。

【符号の説明】

【0071】

１００...手術ロボット
１０２...主操作盤
１０４...患者側操作装置
１０６...表示装置
１０８...操作装置
１１０...操作システム
１１２...操作器具
１１４...画像システム
１１６...プロセッサ

【図1】

【図3】

【図6】

【図8A】

【図8B】

【図8C】

【図8D】

【図2】

【図4】

【図5】

【図7】