IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ インテュイティブ サージカル オペレーションズ, インコーポレイテッドの特許一覧

特開2022-162123外科的処置アトラスを用いた手術システムの構成
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022162123
(43)【公開日】2022-10-21
(54)【発明の名称】外科的処置アトラスを用いた手術システムの構成
(51)【国際特許分類】
   A61B 34/35 20160101AFI20221014BHJP
【FI】
A61B34/35
【審査請求】有
【請求項の数】15
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2022134608
(22)【出願日】2022-08-26
(62)【分割の表示】P 2017564054の分割
【原出願日】2016-06-09
(31)【優先権主張番号】62/173,077
(32)【優先日】2015-06-09
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】510253996
【氏名又は名称】インテュイティブ サージカル オペレーションズ, インコーポレイテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】トカルチャク,ブレント
(72)【発明者】
【氏名】アズィズィアン,マーディ
(72)【発明者】
【氏名】チョウ,ジョーイ
(72)【発明者】
【氏名】ディマイオ,サイモン
(72)【発明者】
【氏名】ホフマン,ブライアン ディー
(72)【発明者】
【氏名】ジャーク,アンソニー マイケル
(72)【発明者】
【氏名】リン,ヘンリー シー
(72)【発明者】
【氏名】マクドウォール,イアン イー
(72)【発明者】
【氏名】ナウリン,ウィリアム シー.
(72)【発明者】
【氏名】シーマン,ジョン ディー.,ザ・セカンド
(72)【発明者】
【氏名】ソージャー,ジョナサン エム
(57)【要約】
【課題】従来技術の問題を解決する。
【解決手段】遠隔操作手術システム(手術システム)との使用のための手術方法が提供され、当該方法は、外科的処置の発生中に手術システム内で生成される手術器具動作を示す手術器具運動学的情報を記録すること、それぞれの手術器具動作と関連付けられるそれぞれの運動学的署名を決定すること、それぞれの運動学的署名をそれぞれの制御信号と関連付けるコンピュータ可読ストレージデバイス内の情報構造を生成すること、外科的処置の実行中に、実行中の手術器具運動学的情報を少なくとも1つのそれぞれの運動学的署名と比較すること、及び、外科的処置の実行中に、実行中の手術器具運動学とそれぞれの運動学的署名との間の一致に応答して関連付けられるそれぞれの制御信号を発することを含む。
【選択図】図15
【特許請求の範囲】
【請求項1】
遠隔操作手術システム(手術システム)と共に使用するための方法であって、
前記手術システムの1つ又はそれよりも多くの事例内の外科的処置の多数の発生の各々について、前記外科的処置の発生の間に前記手術システム内に生成される手術器具動作を示す手術器具運動学的情報を記録すること、
それぞれの手術器具動作と関連付けられるそれぞれの運動学的署名を決定すること、
それぞれの運動学的署名をそれぞれの制御信号と関連付けるコンピュータ可読ストレージデバイス内の情報構造を生成すること、
前記手術システムの事例内の前記外科的処置の実行中に、前記実行中の手術器具運動学的情報を少なくとも1つのそれぞれの運動学的署名と比較すること、及び
前記手術システムの前記事例内の前記外科的処置の実行中に、前記実行中の手術器具運動学とそれぞれの運動学的署名との間の一致に応答して、前記手術システム内で関連付けられるそれぞれの制御信号を発することを含む、
方法。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の参照)
この出願は、2015年6月9日に出願された仮出願第62/173,077号の優先権を主張し、その全文を本明細書中に参照として援用し、優先権の利益を本明細書において主張する。
【0002】
本発明の態様は、手術中に使用される医療デバイスに関連する。より具体的には、態様は、従来的な外科的処置からの運動学的情報及び解剖学的組織画像情報に基づいてロボット支援手術システムにおいて手術器具を制御することに関連する。
【背景技術】
【0003】
外科医は、典型的には、外科的処置を行う前に広範な研究を行う。従来、外科医は、写真又は図面のような、一般的な解剖学的モデルの研究に制約されていた。更に最近では、様々な術前診断処置(例えば、X線、CT、MRI等)が、患者特異な解剖学的情報を利用可能にしている。
【0004】
幾つかの場合には、追加的な関連する解剖学的及び外科的処置情報を外科医に利用可能にすることが望ましい。1つの態様では、特定の患者に対して行われた以前の外科的処置の手術部位ビデオ記録をその特定の患者に対する手術を計画している外科医に提供することが望ましい。他の態様では、特定の患者のために計画された外科的処置と類似する他の患者に対する外科的処置の1つ又はそれよりも多くの手術ビデオ記録を外科医に提供することが望ましい。1つの態様では、外科医が特定の外科的処置を行う前に、そのような情報を外科医に提供することが望ましい。そして、他の態様では、この情報を術中に外科医に提供することが望ましい場合がある。
【0005】
1つの態様では、様々な患者が受けた様々な処置の術中手術部位ビデオ記録を含むビデオデータベースを構成することが望ましい。1つの態様では、ビデオ記録が記録されるときに、外科医が医療デバイスを使用してビデオ記録をリアルタイムに強調し且つ注釈を施すのを可能にする入力を更に含むように、ビデオ記録することができる医療デバイスを構成することが望ましい。1つの態様では、ビデオデータベースの個々の記録を検索し、関連するビデオ記録を特定し、特定の外科的処置に関するこの関連情報を外科医に提供するように、コンピュータベースのパターンマッチングアルゴリズムを構成することが望ましい。
【発明の概要】
【0006】
以下の要約は、基本的な理解を提供するために、本発明の主題の特定の態様を紹介する。この要約は、本発明の主題の包括的な概要でなく、鍵となる若しくは重要な要素を特定すること又は本発明の主題の範囲を境界付けることを意図するものでない。この要約は、本発明の主題の様々な態様及び実施形態に関連する情報を含むが、その唯一の目的は、以下のより詳細な記述の先触れとしての一般的な形態において、幾つかの態様及び実施形態を提示することである。
【0007】
1つの態様において、遠隔操作手術システムとの使用のための方法が提供される。手術器具動作を示す手術器具運動学的情報が外科的処置の多数の発生について記録される。手術器具動作の代表である記録された運動学的情報に基づき運動学的署名が決定される。それぞれの運動学的署名を手術システムのためのそれぞれの電子制御信号と関連付ける情報構造がコンピュータ可読ストレージデバイス内に生成される。手術システムを用いた外科的処置の実行中、処置中にシステムによって生成された手術器具運動学的情報は少なくとも1つの運動学的署名と比較される。外科的処置中に生成された運動学的情報とそれぞれの運動学的署名との間の一致に応答して、少なくとも1つの運動学的署名と関連付けられる電子制御信号が手術システム内で発せられる。より具体的には、運動学的分析に基づいて、幾つかのシステム挙動が引き起こされる。
【0008】
他の態様では、遠隔操作手術システムと共に使用するための方法が提供される。ロボット支援外科的処置中に生成された手術シーンの動画像が、外科的処置の多数の発生について記録される。記録された動画像に基づいて手術画像署名が決定される。それぞれの手術画像署名を手術システムのためのそれぞれの電子制御信号と関連付ける情報構造がコンピュータ可読ストレージデバイス内に生成される。手術システムを使用した外科的処置の実行中、処置中に生成された動画像が少なくとも1つの手術画像署名と比較される。外科的処置中に生成された手術画像とそれぞれの手術画像署名との間の一致に応答して、少なくとも1つの手術画像署名と関連付けられる電子制御信号が発せられる。より具体的には、ビデオ分析に基づいて、幾つかのシステム挙動が引き起こされる。
【0009】
他の態様では、遠隔操作手術システムと共に使用するための訓練方法が提供される。外科的処置中に手術システムのビューア内に表示された手術シーン内の解剖学的組織を示す動画像が記録される。表示された解剖学的組織と接触している間に手術器具に付与される力に応答して手術器具制御装置に付与される手術システム制御触覚情報が記録される。記録された動画像は、外科的処置のシミュレーション中に手術システムビューア内で再生される。記録された手術器具制御触覚は、外科的処置のシミュレーション中に記録された動画像の再生中に手術器具制御装置に付与される。幾つかの実施形態において、手術制御触覚は、制御入力の振動触覚刺激を通じて再生される。
【0010】
他の態様では、遠隔操作手術システムと共に使用するための訓練方法が提供される。ロボット支援手術システム内の外科的処置の多数の発生の各々について、診断データ情報事例(diagnosis data information instances)が記録される。各診断データ情報事例は、外科的処置中に手術システムのビューア内に表示された手術シーン内の解剖学的組織のそれぞれの動画像を含む。各診断データ情報事例は、外科的処置中に表示された解剖学的構造との接触中に手術器具に付与される力に応答して手術器具制御装置に付与される外科用器具制御触覚も含む。それぞれの診断データ情報事例をそれぞれの診断と関連付ける情報構造が、コンピュータ可読ストレージデバイス内に生成される。それぞれの診断データ情報事例が選択される。選択されたそれぞれの記録された診断データ情報事例からの記録された動画像が、外科的処置のシミュレーション中に手術システムビューア内で再生される。選択されたそれぞれの記録された診断データ情報事例からの記録された手術器具制御触覚情報が、外科的処置のシミュレーション中に記録された動画像の再生中に手術器具制御装置に付与される。
【0011】
他の態様では、遠隔操作手術システムは、手術画像署名を制御信号と関連付けるコンピュータ可読ストレージデバイス内の情報構造を含む。プロセッサは、外科的処置中に手術シーン内で生成される手術画像を少なくとも1つの手術画像署名と比較するように構成される。プロセッサは、手術画像と少なくとも1つの手術画像署名との間の一致に応答して制御信号を発するように構成される。器具は、制御信号に応答してその動きを調節するように構成される。
【0012】
他の態様において、遠隔操作手術システムは、それぞれの外科画像署名をそれぞれの制御信号と関連付けるコンピュータ可読ストレージデバイス内の情報構造を含む。プロセッサは、外科的処置中の手術シーン内の手術画像を少なくとも1つの手術画像署名と比較するように構成される。プロセッサは、外科的処置中の手術画像と少なくとも1つの手術画像署名との間の一致に応答して制御信号を発するように構成される。器具は、制御信号に応答してその動きを調節するように構成される。
【図面の簡単な説明】
【0013】
図1】最小侵襲遠隔操作手術システムの平面図である。
図2】外科医コンソールの斜視図である。
図3】電子機器カートの斜視図である。
図4】遠隔操作手術システムの図式的な例示である。
図5A】遠隔操作手術システムの例示的な図である。
図5B】手術システムの患者側カートの斜視図である。
図5C】手術シーンの例示的な図である。
図6】手術器具の立面図である。
図7】器具マニピュレータの斜視図である。
図8】手術計画ツールの図式的な例示である。
図9】手術計画ツールを使用する方法のフロー図である。
図10】幾つかの実施形態に従ったコンピュータ可読ストレージデバイス内のストレージアトラスを表す例示的な図である。
図11】幾つかの実施形態に従った個々の外科的処置に関する情報を含む、アトラス内に含められる第1のデータ情報構造の例示的な事例を表す例示的な図である。
図12】幾つかの実施形態に従った、個々の外科的処置からの記録された動画像セグメント、対応する手術器具運動学的情報、対応する手術システム作動状態、及び対応する注釈を関連付ける、アトラス内に含められる第2のデータ情報構造の例示的な事例を表す例示的な図である。
図13A】例示的な手術器具及びアクチュエータアセンブリを示す例示的な図であり、手術器具は幾つかの実施形態に従った3つの異なる器具状態において示されている。
図13B】例示的な手術器具及びアクチュエータアセンブリを示す例示的な図であり、手術器具は幾つかの実施形態に従った3つの異なる器具状態において示されている。
図13C】例示的な手術器具及びアクチュエータアセンブリを示す例示的な図であり、手術器具は幾つかの実施形態に従った3つの異なる器具状態において示されている。
図14】幾つかの実施形態に従った、運動学、画像、及びシステム作動状態を制御信号と関連付けるルールを含む、制御信号ルール情報構造の例示的な事例を表す例示的な図である。
図15】幾つかの実施形態に従った、解剖学的画像情報、器具運動学及びシステム状態に少なくとも部分的に基づいて制御信号を生成するプロセスを表す例示的なフロー図である。
図16】幾つかの実施形態に従った、記録された動画像セグメントを触覚情報セグメントと関連付ける、アトラス内に含められる第3のデータ情報構造の例示的な事例を表す例示的な図である。
図17】幾つかの実施形態に従った、手術経験を再生するように遠隔操作ロボット支援手術システムを構成するプロセスを表す例示的なフロー図である。
図18】幾つかの実施形態に従った、画像署名情報及び触覚フィードバック情報を診断と関連付けるルールを含む、アトラス内に含められる診断ルール情報構造の例示的な事例を表す例示的な図である。
図19】幾つかの実施形態に従った、解剖学的画像情報及び触覚フィードバック情報に少なくとも部分的に基づいて診断を生成するプロセスを表す例示的なフロー図である。
【発明を実施するための形態】
【0014】
本発明の態様、実施形態、実施、又は適用を例示するこの記述及び添付の図面は、限定として解釈されるべきでない。請求項が保護される発明を定義する。この記述及び請求項の範囲から逸脱することなく、様々な機械的、組成的、構造的、電気的、及び動作的な変更が行われてよい。幾つかの場合には、本発明を不明瞭にしないために、周知の回路、構造、又は技法は詳細に示されておらず或いは記載されていない。2つ又はそれよりも多くの図における同等の番号は、同じ又は類似の要素を表す。
【0015】
1つの実施形態、実施、又は適用を参照して詳細に記載する要素は、実用的であるときにはいつでも、特に図示又は記載しない他の実施形態、実施、又は用途に含められてよい。例えば、ある要素が1つの実施形態を参照して詳細に記載され、第2の実施形態を参照して記載されていない場合、それにも拘わらず、その要素は第2の実施形態に含まれるものとして主張されることがある。よって、以下の記載における不要な繰返しを避けるために、1つの実施形態、実施、又は用途に関連して図示且つ記載する1つ又はそれよりも多くの要素は、他のことが特に記載されていない限り、その1つ又はそれよりも多くの要素がある他の実施形態又は実施を機能しないようにさせない限り、或いはそれらの要素のうちの2つ又はそれよりも多くのが矛盾する機能をもたらさない限り、他の実施形態、実施、又は態様に組み込まれてよい。
【0016】
本発明の態様は、Sunnyvale, CaliforniaのIntuitive Surgical, Inc.によって商品化されているda Vinci(登録商標)Surgical System(具体的には、da Vinci(登録商標)XiTM HDTM Surgical Systemとして市販されているModel IS4000)を用いた実施に関して主として記載される。しかしながら、知識のある人は、本明細書に開示される発明的態様が、ロボット及び適用可能であるならば非ロボットの実施形態及び実施を含む様々な方法において具現及び実施されてよいことを理解するであろう。da Vinci(登録商標)Surgical systems(例えば、Model IS4000 da Vinci(登録商標)XiTM Surgical System, Model IS3000 da Vinci(登録商標)Surgical system)での実施は例示的であるに過ぎず、本明細書に開示する発明的態様の範囲を限定するものと考えられてならない。
【0017】
様々な態様によれば、本開示は、外科的処置の実行(performance)をビデオ記録するように構成された医療デバイスを含む手術計画ツールを記載する。ビデオ記録は、様々なメタデータ、例えば、医療従事者によって作られたハイライトが埋め込まれてよい。加えて、ビデオ記録は、様々なメタデータ、例えば、ビデオの特定の主題を記述するテキスト注釈、ビデオ記録が対応する患者の身元、患者についての電気的又は医療的情報等でタグ付けされ得る。1つの態様では、タグ付けされたメタデータがビデオ記録に埋め込まれる。
【0018】
更なる態様によれば、情報パターンは、多数の遠隔操作される外科的処置から収集される動画像(motion picture images)及び手術器具運動学的情報内で特定される。動画像情報は、例えば、解剖学的組織の幾何学的形状及び着色を示すことができる。運動学的情報は、例えば、器具動作の方向、器具動作の速度及び加速度、並びに器具動作のシーケンスのような、手術器具の動作特性を示し得る。情報パターンは、記録された動画に基づいて特定されることができ、運動学的情報は、手術中に手術器具を管理し、調整し、或いは制御するための基礎として使用されることができる。情報パターンは、外科医に術中ガイダンスを提供するための基礎として使用されることができる。
【0019】
更なる態様によれば、触覚フィードバックと呼応する動画像が手術訓練のための基礎として使用されることができる。例えば、外科医は、その同じ外科医による以前の手術の間に生成された動画像及び対応する触覚フィードバックを再生する手術シミュレーションを通じて、その外科医によって行われた以前の外科的処置を再体験することができる。代替的に、例えば、外科医は、他の外科医による以前の手術中に生成された動画像及び対応する触覚フィードバックを再生する手術シミュレーションを通じて、異なる外科医によって行われた以前の外科的処置を経験することができる。よって、外科医は、視覚的手がかり(visual cues)と触覚的手がかり(haptic cues)との間の関係のその外科医又は他の外科医による実際の手術経験を再生するシミュレートされた練習手術を通じた手術技能を精緻化する機会として、手術シミュレーションを使用することができる。
【0020】
一層更なる態様によれば、提案される術中診断は、数多くの遠隔操作される外科的処置から収集される動画像及び手術器具運動学的情報内で特定される情報パターンに基づいて開発される。熟練した外科医は、しばしば、組織の幾何学的形状及び着色に少なくとも部分的に基づいて、組織の疾病状態及び組織の外傷状態を評価することができる。記録される動画像は、手術システム内の手術シーン内の解剖学的組織の幾何形状及び組織の着色に関する情報を提供する。その上、熟練した外科医は、組織の触診に少なくとも部分的に基づいて、組織の疾病状態及び組織の外傷状態を評価することができる。遠隔操作手術システムにおいて、組織の触診は、組織構造に対する器具接触に応答して器具に伝えられる反応力を示す触覚フィードバックを制御装置を操作する外科医に提供する、外科医によって操作される器具制御装置を使用して、組織構造に対する接触を通じて達成され得る。収集された動画像及び手術器具運動学的情報の熟練した外科医による評価は、異なる術中診断を示す異なるパターンの画像及び運動学を特定するために使用される。動画像を手術器具運動学的情報に関連付けるビデオ記録及び情報構造は、ローカルに又は遠隔に実装される電子医療記録データベース上で(例えば、LAN又はWAN上の遠隔コンピュータシステム上で又はクラウドデータストレージサービス上で)達成され得る。同様に、幾つかの実施形態において、動画像を制御触覚フィードバック情報及び対応する診断推奨と関連付ける情報構造は、例えば、外科医訓練における使用のためにローカルに又は遠隔に実装される電子医療記録データベースにアーカイブ記録され得る。ビデオ記録及び情報構造は、関心のある医療提供者に利用可能にさせられ得る。幾つか実施形態において、格納される情報構造は、外科医に対する術中外科的ガイダンスをもたらす手術システムを提供する並びに外科的処置中に器具のロボット支援外科的制御をもたらす制御信号情報を生成するために、遠隔操作ロボット支援手術システムと共に使用するために利用可能にされることができる。幾つかの実施形態において、格納される情報構造は、手術システムを操作することのメカニズムにおける外科医訓練における使用のための手術シーン及び対応する触覚フィードバックを再生するために利用可能にされることができる。幾つかの実施形態において、格納される情報構造は、手術システムを使用して手術を行う間に、組織構造の疾病状態及び組織の外傷状態の診断の外科医訓練における使用のための手術シーン及び対応する触覚フィードバックを再生する外科的シミュレーションシステムとの使用のために利用可能にされることができる。
【0021】
ヘルスケア提供者は、例えば、遂行されるべき外科的処置、組織構造特性、並びに上述のメタデータタグを使用した関心のビデオ及び情報構造関係についての手術器具運動学のうちの1つ又はそれよりも多くに基づいて、医療デバイスデータベースを検索することができる。加えて、1つの態様において、手術計画ツールは、コンピュータベースのパターンマッチング及び解析アルゴリズムを含む。1つの態様において、パターンマッチングアルゴリズムは、ビデオ記録中の視覚的特性と医療従事者によって作られる関連メタデータタグとの間の相関を特定するために、電子医療記録データベースに格納されたビデオを間引く(culls)。手術計画ツールは、これらの相関を新たに直面する解剖学的構造に適用することにより、患者の解剖学的構造、好適な外科的アプローチ、疾病状態、潜在的な合併症等についての決定を行う際に処置を行う医療従事者を支援することができる。
【0022】
他の態様では、パターンマッチングアルゴリズムが、記録された動画像情報を間引き、そして、任意的に運動学的情報を間引いて、例えば、幾何学的形状及び器具動作のような解剖学的組織構成間の相関を特定する。そのようなパターンは、例えば、器具動作の種類と関連付けられる解剖学的構造の種類を特定するために有用であり得る。そのようなパターンは、例えば、器具動作と関連付けられない解剖学的構造の種類を特定するためにも有用であり得る。そのようなパターン情報は、例えば、手術中に外科医に提示する外科的ガイダンスを生成するための基礎として使用され得る。そのようなパターン情報は、例えば、手術中に特定の手術器具動作を抑止する或いは付与するための基礎として使用されることができる。
【0023】
他の態様では、パターンマッチングアルゴリズムが、記録された動画像情報及び触覚フィードバック情報を間引いて、例えば、手術器具による接触に応答して組織構造によって付与される幾何学的形状及び反作用力のような解剖学的組織構成間の相関を特定する。そのようなパターンは、例えば、ロボット支援器具による触診に応答して組織構造によって付与される触覚フィードバックと視覚的な解剖学的組織構造との間の相関を特定するために有用であり得る。幾つか実施形態において、相関させられる動画像パターン及び触覚フィードバック情報は、外科医訓練における使用のための熟練外科医の診断評価と関連付けられる。
【0024】
(最小侵襲遠隔手術システム)
遠隔操作は、ある距離を置いた機械の操作を指す。最小侵襲遠隔操作医療システムでは、外科医が、患者の体内の手術部位を見るカメラを含む内視鏡を使用することがある。幾つかの実施形態では、立体画像を取り込むことができ、それは外科的処置中に深さの知覚を可能にする。
【0025】
次に、図面を参照すると、同等の番号は幾つかの図を通じて同等の部品を表しており、図1は、典型的には、手術台14の上に横たわっている患者12に対して最小侵襲診断又は外科的処置を行うために使用される、最小侵襲遠隔操作手術システム10の平面図である。システムは、手術中に外科医18が使用する外科医コンソール16を含む。1人又はそれよりも多くの助手20が処置に参加することもある。最小侵襲遠隔操作手術システム10は、(複数の)患者側カート22及び電子機器カート24を更に含む。患者側カート22は、外科医18が外科医コンソール16を通じて手術部位を見る間に、患者12の体にある最小侵襲切開部を通じて少なくとも1つの手術器具26を操作することができる。立体内視鏡のような内視鏡28によって手術部位の画像を取得することができ、患者側カート22によって内視鏡を操作して、内視鏡28を方向付けることができる。電子機器カート24に配置されるコンピュータプロセッサを使用して、外科医コンソール16を通じた外科医18への後続の表示のために手術部位の画像を処理することができる。別個のシステムコンポーネント(即ち、患者側カート22、電子機器カート24、及び外科医コンソール16)が、例示的な目的のために描かれ且つ記載されているが、様々な実施形態において、それらに含められる要素は、組み合わせられることができ且つ/或いは分離されることができる。例えば、幾つかの実施形態では、電子機器カート24のコンピュータプロセッサを、外科医コンソール16及び/又は患者側カート22に組み込むことができる。一度に使用される手術器具26の数は、一般的に、数ある要員の中でも、診断又は外科的処置及び手術部位内の空間的制約に依存する。処置中に使用される手術器具26のうちの1つ又はそれよりも多くを変更する必要ことが必要であるならば、助手20は、患者側カート22から手術器具26を取り外して、それを手術室内のトレイ30からの他の手術器具26と交換することができる。
【0026】
図2は、外科医コンソール16の斜視図である。外科医コンソール16は、深さの知覚を可能にする手術部位の調整された立体ビュー(coordinated stereoscopic view)を外科医18に提示する左目用ディスプレイ32と右目用ディスプレイ34とを含むビューア31(viewer)を含む。外科医コンソール16は、1つ又はそれよりも多くの制御入力36を更に含む。(図1に示す)患者側カート22で使用するために設置された1つ又はそれよりも多くの手術器具が、外科医18の1つ又はそれよりも多くの制御入力36の操作に応答して動く。制御入力36は、それらの関連する(図1に示す)手術器具26と同じ機械的自由度を提供して、外科医18に、テレプレゼンス、又は、外科医が手術器具26を直接的に制御しているという強い感覚を有するよう、制御入力36が手術器具26と一体であるという知覚を提供することができる。この目的を達成するために、位置、力、及び触覚フィードバックセンサ(図示せず)を利用して、手術器具26からの位置、力、及び触感を、通信遅延制約に晒されて、制御入力36を通じて外科医の手に戻してよい。固定ビューア31及び機械的に結合された制御入力36を備える物理的コンソール16が、例示的な目的のために図示され且つ記載されているが、様々な他の実施形態では、「非接地」(“ungrounded”)制御入力及び/又はディスプレイ構造が使用され得ることに留意のこと。例えば、幾つかの実施形態において、ビューア31は、ヘッドマウントディスプレイであってよく、且つ/或いは、制御入力36は、如何なる(例えば、有線、無線、又はマイクロソフト社のKinectのようなジェスチャーベースの)基本構造からも機械的に独立し得る。
【0027】
外科医コンソール16は、普通、外科医が処置を直接的にモニタリングし、必要であるならば物理的に存在し、且つ電話又は他の通信媒体を通じてでなく直接的に患者側の助手と話すことができるよう、患者と同じ部屋に配置される。しかしながら、外科医は、異なる部屋、完全に異なる建物、遠隔手術処置を可能にする患者からの他の遠隔場所に位置することができる。
【0028】
図3は、電子機器24の斜視図である。電子機器カート24は、内視鏡28と結合されることができ、外科医コンソール上の外科医への或いはローカルに及び/又は遠隔に配置された他の適切なディスプレイへのような後続の表示のために、取り込まれた画像を処理するコンピュータプロセッサを含む。例えば、立体内視鏡が使用されるならば、電子機器カート24上のコンピュータプロセッサは取り込んだ画像を処理して、手術部位の調整された立体画像を外科医に提示することができる。そのような調整(coordination)は、対向する画像間のアライメント(整列)を含むことができ、立体内視鏡の立体作動距離を調節することを含むことができる。他の例として、画像処理は、光学収差のような画像取込み装置の撮像誤差を補償するための予め決定されたカメラ較正パラメータの使用を含むことができる。任意的に、電子機器カート内の機器は、外科医コンソール又は患者側カート内に統合されてよく、或いは手術室内の様々な他の場所に分散させられてよい。
【0029】
図4は、(図1の最小侵襲遠隔操作手術システム10のような)遠隔操作手術システム50を図式的に例示している。外科医は(図1の外科医コンソール16のような)外科医コンソール52を使用して、最小侵襲処置中に(図1の患者側カート22のような)患者側カート54を制御することができる。患者側カート54は、立体内視鏡のような撮像デバイスを使用して、手術部位の画像を取り込み、(図1の電子機器カート24のような)電子機器カート56に位置するコンピュータプロセッサに取り込んだ画像を出力することができる。コンピュータプロセッサは、典型的に、コンピュータプロセッサの不揮発性メモリデバイスに格納されたコンピュータ可読コードを実行するための1つ又はそれよりも多くのデータ処理ボードを含む。1つの態様において、コンピュータプロセッサは、後続の表示に先立ち、取り込んだ画像を様々な方法において処理することができる。例えば、コンピュータプロセッサは、外科医コンソール52を介して組み合わせ画像を外科医に表示するに先立ち、取り込んだ画像を仮想制御インターフェースでオーバーレイすることができる。
【0030】
追加的に又は代替的に、取り込んだ画像は、電子機器カート56の外側に配置されるコンピュータプロセッサによる画像処理を受けることができる。1つの態様において、遠隔操作手術システム50は、電子機器カート56に配置されるコンピュータプロセッサと類似の(破線で示すような)任意的なコンピュータプロセッサ58を含み、患者側カート54は、外科医コンソール52での表示に先立つ画像処理のために、取り込んだ画像をコンピュータプロセッサ58に出力する。他の態様において、取り込んだ画像は、先ず、電子機器カート56上のコンピュータプロセッサによる画像処理を受け、次に、外科医コンソール52での表示に先立ちコンピュータプロセッサ58による追加的な画像処理を受ける。遠隔操作手術システム50は、破線によって示すように、任意的なディスプレイ60を含むことができる。ディスプレイ60は、電子機器カート56に配置されるコンピュータプロセッサ及びコンピュータプロセッサ58と結合され、これらのコンピュータプロセッサによって処理された取込み画像は、外科医コンソール52のディスプレイに表示されることに加えて、ディスプレイ60に表示されることができる。
【0031】
図5Aは、幾つかの実施形態に従った1つ又はそれよりも多くの機械的支持アーム510を使用して外科的処置を行う遠隔操作手術システム10のコンポーネントの配置を示す例示的な簡略化されたブロック図である。システム10の態様は、ロボット支援された自律的に作動する構成を含む。これらの機械的支持アーム510は、しばしば、手術器具を支持する。例えば、機械的手術アーム(例えば、中央の機械的手術アーム510C)は、立体又は三次元の手術画像取込みデバイス101Cを備える内視鏡を支持するために使用されてよい。機械的手術アーム510Cは、画像取込みデバイス101Cを含む内視鏡を機械的アームに機械的に固定する、滅菌アダプタ、又はクランプ、クリップ、ネジ、スロット/溝、又は他のファスナ機構を含んでよい。
【0032】
使用者又は操作者O(一般的に外科医)は、マスタ制御装置コンソール16にあるハンドグリップ及びフットペダルのような制御入力デバイス36を操作することによって患者Pに対して外科的処置を行う。操作者は、立体ディスプレビューア31を通じて患者の体の内側の手術部位の画像のビデオフレームを見ることができる。コンソール16のコンピュータプロセッサ58が、制御ライン159を介して遠隔操作制御される内視鏡手術器具101A乃至101Cの動作を指示し、(患者側カートとも呼ぶ)患者側システム24を使用して器具の動作に影響を与える。
【0033】
患者側システム24は、1つ又はそれよりも多くの機械的支持アーム510を含む。典型的には、患者側システム24は、対応する位置決めセットアップアームによって支持される少なくとも3つの(一般的に機械的手術支持アーム510と呼ぶ)機械的手術アーム510A乃至510Cを含む。中央の機械的手術アーム510Cは、カメラの視野内の画像の取込みに適した内視鏡カメラ101Cを支持することができる。中央の左右の機械的手術支持アーム510A及び510Bは、組織を操作することがある器具101A及び101Bをそれぞれ支持してよい。
【0034】
図5Bは、実施形態に従った、最小侵襲遠隔操作手術システム10の患者側カート500の斜視図である。患者側カート500は、1つ又はそれよりも多くの支持アームアセンブリ510を含む。手術器具マニピュレータ512が、各支持アームアセンブリの端に取り付けられる。加えて、各支持アームアセンブリ510は、手術のために、患者を基準にして、取り付けられる手術器具マニピュレータ512を位置決めするために使用される、(例えば、動力源なしの(unpowered)及び/又はロック可能な)1つ又はそれよりも多くのセットアップジョイントを任意的に含むことができる。描写するように、患者側カート500は、フロアの上に位置する。他の実施形態において、患者側カートの操作部分は、壁、天井、患者の体522も支持する手術台526、又は他の手術室機器に取り付けられることができる。更に、患者側カート500は、4つの手術器具マニピュレータ512を含むものとして示されているが、より多い又はより少ない手術器具マニピュレータ512が使用されてよい。
【0035】
機能的な遠隔操作手術システムは、一般的に、遠隔操作手術システムの使用者が患者の体522の外側から手術部位を見るのを可能にするビジョンシステム部分を含む。ビジョンシステムは、典型的に、ビデオ画像を取り込むカメラ器具528と、取り込んだビデオ画像を表示するビデオディスプレイとを含む。幾つかの手術システム構成において、カメラ器具528は、カメラ器具528の遠位端から患者の体522の外側の1つ又はそれよりも多くの撮像センサ(例えば、CCD又はCOMSセンサ)に画像を転送する光学系を含む。代替的に、(複数の)撮像センサは、カメラ器具528の遠位端に位置付けられることができ、(複数の)センサによって生成される信号は、処理及び1つ又はそれよりも多くのビデオディスプレイ上での表示のために、リード線に沿って或いは無線で送信されることができる。ビデオディスプレイの1つの例は、Sunnyvale, CaliforniaのIntuitive Surgical, Inc.によって商業化されている手術システム中の外科医コンソールにある立体ディスプレイである。
【0036】
図5A乃至図5Aを参照すると、各手術器具マニピュレータ512に取り付けられているのは、患者の体522の内側の手術部位で作動する手術器具520である。各手術器具マニピュレータ512は、関連する手術器具が1つ又はそれよりも多くの機械的自由度(例えば、全ての6つのデカルト自由度、5つ以下のデカルト自由度等)で移動するのを可能にする、様々な形態において提供されることができる。典型的には、機械的制約又は制御制約は、各マニピュレータ512が、その関連する手術器具を、患者を基準にして静止したままである器具上の運動中心の周りで動かすよう制約し、この運動中心は、典型的に、器具が体に入る位置に位置する。
【0037】
1つの態様において、手術器具520は、コンピュータ支援された遠隔操作を通じて制御される。機能的な最小侵襲遠隔操作手術システムは、遠隔操作される手術システムの使用者(例えば、外科医又は他の医療従事者)からの入力を受け取る制御入力を含む。制御入力は、手術器具520が結合される1つ又はそれよりも多くのモータのような1つ又はそれよりも多くのコンピュータ制御された遠隔操作アクチュエータと通信する。このようにして、手術器具520は、医療従事者の制御入力の動作に応答して動く。1つの態様では、1つ又はそれよりも多くの制御入力が、図2に示す外科医コンソール16のような外科医コンソールに含められる。外科医は、外科医コンソール16の制御入力デバイス36を操作して、患者側カート500の遠隔操作アクチュエータを作動させることができる。遠隔操作アクチュエータによって生成される力は、ドライブトレイン機構を介して移転され、ドライブトレイン機構は、遠隔操作アクチュエータからの力を手術器具520に伝える。
【0038】
図5A及び図5Bを参照すると、1つの態様では、手術器具520及びカニューレ524が、マニピュレータ512に取り外し可能に結合され、手術器具520は、カニューレ524を通じて挿入されている。マニピュレータ512の1つ又はそれよりも多くの遠隔操作アクチュエータは、手術器具512を全体として動かす。マニピュレータ512は、器具カートリッジ530を更に含む。手術器具520は、器具カートリッジ530に取り外し可能に接続される。1つの態様において、器具キャリッジ530は、1つ又はそれよりも多くの遠隔操作アクチュエータを内側に収容し、アクチュエータは、手術器具520が手術器具520上のエンドエフェクタの様々な動きに変わる多数のコントローラ動作をもたらす。よって、器具キャリッジ530内の遠隔操作アクチュエータは、器具を全体として動かすというよりもむしろ手術器具520の1つ又はそれよりも多くのコンポーネントのみを動かす。器具を全体として制御する或いは器具のコンポーネントを制御する入力は、外科医又は他の医療従事者によって提供される入力(「マスタ」命令)が手術器具による対応する行為(action)に変換されるような入力(「スレーブ」応答)である。
【0039】
幾つかの実施形態によれば、手術システム10は、ドッキング(docked)、追従(following)、器具種類(instrument types)、及びヘッドイン(head-in)を含む、多数のシステム作動状態を有することができる。ドッキングのシステム状態の間に、1つ又はそれよりも多くのマニピュレータ512がカニューレ524に結合されている。追従のシステム状態の間に、手術器具(「スレーブ」)は制御入力(「マスタ」命令)を追跡している。器具種類のシステム状態の間に、システムは特定の外科的処置の遂行に適した或いは外科的処置中の特定の外科的活動の遂行に適した器具のセットをシステムに装着する。ヘッドインのシステム状態の間に、システムは外科医が「マスタ」制御入力デバイスを把持したことを外科医が示すのを待っている。
【0040】
代替的な実施形態において、器具キャリッジ530は、遠隔操作アクチュエータを収容しない。手術器具520のエンドエフェクタの様々な動きを可能にする遠隔操作アクチュエータは、例えば、患者側カート500の他の場所で、器具キャリッジ530から離れた場所に収容される。離れて位置する遠隔操作アクチュエータの各々のアクチュエータの動きを器具キャリッジ530上に位置する対応する器具インターフェース接続アクチュエータ出力に変えるために、ケーブルベースの力伝達機構等が使用される。幾つかの実施形態において、手術器具520は、第1のアクチュエータに機械的に結合され、第1のアクチュエータは、長手方向(z軸)回転のような手術器具の第1の動きを制御する。手術器具520は、第2のアクチュエータに機械的に結合され、第2のアクチュエータは、二次元(x、y)運動のような手術器具の第2の動きを制御する。手術器具520は、第3のアクチュエータに機械的に結合され、第3のアクチュエータは、ジョー又はエンドエフェクタの開閉のような手術器具の第3の動きを制御する。
【0041】
図5Cは、手術シーン550を表し、幾つかの実施形態に従ったシーンを記録するために使用されるカメラ528を取り付ける内視鏡101Cも示す、例示的な図である。シーン550は、患者の体腔内に配置される。シーン550は、幾何学的輪郭554を含む例示的な仮想の球状解剖学的構造552を含む。シーン550は、手術器具556を包含する。内視鏡101Cに取り付けられたカメラ528がシーンを取り込み、それはビューア31内に表示され、後の再生のために記録される。
【0042】
図6は、手術器具520の側面図であり、手術器具520は、遠位部分650と、細長いチューブ中心線軸611を有する細長いチューブ610によって結合された近位制御機構640とを含む。手術器具520は、患者の体内に挿入されるように構成され、外科的処置又は診断的処置を実行するために使用される。手術器具520の遠位部分650は、図示の鉗子、ニードルドライバ、焼灼デバイス、切断ツール、撮像デバイス(例えば、内視鏡又は超音波プローブ)等のような、様々なエンドエフェクタ654のうちのいずれかを提供することができる。外科エンドエフェクタ654は、開き或いは閉じるジョー又はある経路に沿って並進するナイフのような、機能的な機械的自由度を含むことができる。図示の実施形態において、エンドエフェクタ654は、エンドエフェクタが細長いチューブ中心線軸611に対して方向付けられるのを可能にするリスト652(手首)によって細長いチューブ610に結合される。手術器具520は、(例えば、器具と関連付けられる半導体メモリに)格納される情報を含むこともでき、格納される情報は恒久的であってよく、或いは手術器具520を作動させるように構成される手術システムによって更新可能であってよい。従って、手術システムは手術器具520と手術システムの1つ又はそれよりも多くのコンポーネントとの間の一方向又は双方向の通信を提供することがある。
【0043】
図7は、手術器具マニピュレータ512の斜視図である。手術器具が装着されていない手術器具マニピュレータ512が示されている。手術器具マニピュレータ512は、器具キャリッジ530を含み、器具キャリッジ530には、手術器具(例えば、手術器具520)を取り外し可能に接続することができる。器具キャリッジ530は、複数の遠隔操作アクチュエータを収容する。各遠隔操作アクチュエータは、アクチュエータ出力705を含む。手術器具が手術器具マニピュレータ512に装着されると、器具近位制御機構(例えば、図6の近位制御機構640)のうちの1つ又はそれよりも多くの器具入力(図示せず)が、対応するアクチュエータ出力705と機械的に結合される。1つの態様において、この機械的結合は直接的であり、アクチュエータ出力705は対応する機器入力に直接的に接触する。他の態様において、この機械的結合は、手術器具マニピュレータ512と関連する手術器具との間に無菌バリアを提供するように構成されたドレープのコンポーネントのような中間インターフェースを通じて生じる。
【0044】
1つの態様において、対応する遠隔操作アクチュエータによる1つ又はそれよりも多くの器具入力の動きは、手術器具の機械的自由度の動きをもたらす。例えば、1つの態様において、器具マニピュレータ512に装着される手術器具は、図6に示す手術器具520である。図6を参照すると、1つの態様において、対応する遠隔操作アクチュエータによる近位制御機構640の1つ又はそれよりも多くの器具入力の動きは、細長いチューブ610(及び取り付けられるリスト652及びエンドエフェクタ654)を、細長いチューブ中心線軸611について、近位制御機構640に対して回転させる。他の態様において、対応する遠隔操作アクチュエータによる1つ又はそれよりも多くの器具入力の動きは、リスト652の動きをもたらして、エンドエフェクタ654を細長いチューブ中心線軸611に対して方向付ける。他の態様において、対応する遠隔操作アクチュエータによる1つ又はそれよりも多くの器具入力の動きは、エンドエフェクタ654の1つ又はそれよりも多くの可動要素(例えば、ジョー部材、ナイフ部材等)の動きをもたらす。従って、器具キャリッジ530の遠隔操作アクチュエータの作動によって、器具マニピュレータ512に装着される手術器具の様々な機械的自由度を動かすことができる。
【0045】
(記録されたビデオに注釈を付けること)
図8は、例示的な手術計画ツール800の概略図を示している。1つの態様において、手術計画ツール800は、電子医療デバイス記録データベース830とデータ通信する遠隔操作手術システム50を含む。ここに示す遠隔操作手術システム50は、図4に示す遠隔操作システム50と類似する。1つの態様において、電子医療記録データベース830は、特定の病院又は複数の病院で治療を受けた患者の医療記録を含む。病院の現場に配置されるサーバにデータベース830を実装することができる。イントラネットネットワークを通じて病院のコンピュータからデータベース830中に含まれる医療記録エントリにアクセスすることができる。代替的に、例えば、多数のクラウドデータストレージサービスのうちの1つを使用して、病院から離れた場所に配置される遠隔サーバにデータベース830を実装することができる。この場合、データベース830の医療記録エントリは、クラウドサーバに格納され、インターネットアクセスを備えるコンピュータによってアクセスされることができる。
【0046】
1つの態様では、遠隔操作手術システム50を使用して、外科的処置が第1の患者に対して行われる。遠隔操作手術システム50と関連付けられる撮像デバイスが、手術部位の画像を取り込み、取り込んだ画像をビデオのフレームとして外科医コンソール52のディスプレイに表示する。1つの態様では、外科医コンソール52にいる医療従事者は、外科医コンソール52の入力デバイスを使用して、表示されるビデオに示される特定の患者の解剖学的構造を協調し或いはそれに注釈を付ける。そのような入力デバイスの例は、図2に示す制御入力36であり、制御入力36は、表示されるビデオにオーバーレイされるグラフィックユーザインターフェースと連動して作動するカーソルに結合される。グラフィックユーザインターフェースは、QWERTYキーボード、マウス及び対話式スクリーンディスプレイのようなポインティングデバイス、タッチスクリーンディスプレイ、又はデータ若しくはテキスト入力若しくはマイクロホン及びプロセッサを介した音声注釈/スピーチからテキストへの変換のための他の手段を含むことができる。従って、医療従事者は、表示される画像内の特定の関心の組織を強調(ハイライト)し或いはテキスト注釈を入力することができる。
【0047】
1つの態様において、手術部位ビデオは、電子機器カート56に配置されるディスプレイに追加的に表示される。1つの態様において、電子機器カート56のディスプレイは、電子機器カートのディスプレイで見るために表示される画像に示される患者の解剖学的構造の特定の部分を協調し且つそれに注釈を付けるよう医療従事者によって使用可能なタッチスクリーンユーザインターフェースである。ユーザは、タッチスクリーンユーザインターフェースに表示される患者の解剖学的構造の部分に触れることによって、表示される画像の部分を強調することができる。加えて、QWERYキーボードを含むグラフィックインターフェースを、表示される画像の上にオーバーレイすることができる。ユーザはQWERYキーボードを使用してテキスト注釈を入力することができる。
【0048】
1つの態様において、遠隔操作手術システム50と関連付けられた撮像デバイスによって取り込まれた手術部位ビデオは、遠隔操作手術システム50によって記録され、リアルタイム又は略リアルタイムでユーザに表示されることに加えて、データベース830に格納される。ユーザによって作成された記録されたビデオと関連付けられたハイライト及び/又は注釈も、データベース830に格納することができる。1つの態様において、ユーザによって作成されたハイライトは、データベース830への格納に先立ち、記録されたビデオに埋め込まれる。後に、記録されたビデオは、視認のために取り出される(retrieved)ことができる。1つの態様では、記録されたビデオを見る人は、ハイライトが表示されるか或いは表示から抑制されるかを選択することができる。同様に、記録されたビデオと関連付けられた注釈も、データベース830に格納されることができる。1つの態様において、ユーザによって行われた注釈は、記録されたビデオにタグを付けるために使用され、記録されたビデオに含まれる主題を特定する手段として提供されることができる。例えば、1つの注釈は、特定の疾病状態の状況を記述してよい。この注釈は、記録されたビデオにタグを付けるために使用される。後に、この疾病状態に関する記録された処置を見ることを望む人は、キーワードサーチを使用してビデオを探し出すことができる。
【0049】
(格納されたビデオの取出し)
幾つかの場合には、医療従事者が所与の患者に対して行われた過去の外科的処置のビデオ記録を見ることができるのが望ましい。1つの態様では、ある医療状態を治療する第1の外科的処置を受けた患者は、その後に、同じ医療状態の再発を治療する或いは第1の外科的処置の手術部位の近くに位置する解剖学的構造を治療する第2の外科的処置を必要とする。1つの態様において、第1の外科的処置の手術部位事象は手術部位ビデオ記録に取り込まれ、ビデオ記録は患者の電子医療記録の部分としてデータベース830中にアーカイブ記録される。患者に対して第2の外科的処置を行うに先立ち、医療従事者は、データベース830のサーチを行って、患者の以前の外科的処置のビデオ記録を探し出すことができる。
【0050】
幾つかの場合には、患者に対して外科的処置を行うことを計画している医療従事者が、その患者と類似の特定の特性を有する人に対して行われた類似の外科的処置のビデオ記録を見ることができるのが望ましい。1つの態様では、各ビデオ録画がデータベース830中にアーカイブ記録される前に、外科的処置の手術部位ビデオ記録を、患者の年齢、性別、体格指数、遺伝情報、患者が受けた処置の種類等のような、メタデータ情報でタグ付けすることができる。1つの態様において、ビデオ録画をタグ付けするために使用されるメタデータ情報は、患者のその時の既存の医療記録から自動的に取り出され、次に、ビデオ録画がデータベース830中にアーカイブ記録される前に、ビデオ記録をタグ付けするために使用される。従って、ある患者に対して医療処置を行うに先立ち、医療従事者は、その患者と共通の特定の特性を共有する患者に対して行われた類似の処置のビデオ記録についてデータベース830を検索することができる。例えば、医療従事者が、体格指数が高い65歳の男性患者に対して前立腺切除術を行うために遠隔操作手術システム50を使用することを計画するならば、医療従事者は、類似の高い体格指数を有する類似の年齢の他の男性に対して遠隔操作手術システム50を使用して行われた前立腺切除術の手術部位ビデオ記録についてデータベース830を検索することができる。
【0051】
1つの態様では、外科処置のビデオ記録は、データベース830によって(破線によって示す)任意のパーソナルコンピュータ820に伝達され、外科的処置を行うことを計画する医療従事者によって見られるために利用可能にされる。追加的に又は代替的に、以前の外科的処置のビデオ記録は、データベース830によって遠隔操作手術システム50に伝達され、術前又は術中に見られるために利用可能にされる。1つの態様において、ビデオ記録は、遠隔操作手術システム50によって、外科医コンソール52に位置するディスプレイに表示される。他の態様において、第1の外科的処置のビデオ記録は、電子機器カート56に位置するディスプレイに表示される。
【0052】
(クラウドベースのビデオデータベース)
1つの態様において、データベース830は、クラウドデータストレージサービスを使用して遠隔サーバに実装され、多数のヘルスケア提供者によってアクセス可能である。図8を参照すると、破線によって示すように、手術計画ツール800は、任意的に、(破線によって示すような)遠隔操作手術システム850と、(破線で示すような)パーソナルコンピュータ840とを含む。1つの態様では、遠隔操作手術システム50及びパーソナルコンピュータ820が第1のヘルスケア提供者に配置され、遠隔操作手術システム850及びパーソナルコンピュータ840が第2の場所に配置され或いは第2の医療提供者にさえ配置される点を除き、遠隔操作手術システム850は、遠隔操作手術システム50と類似し、パーソナルコンピュータ840は、パーソナルコンピュータ820と類似する。1つの態様では、第1の患者が、医療状態の外科的治療を必要とし、第1のヘルスケア提供者で遠隔操作手術システム50を使用して外科的処置を受ける。外科的処置のビデオ記録がデータベース830にアーカイブ記録される。後に、第2の患者が、同じ医療状態の外科的治療を必要とし、第2のヘルスケア提供者で遠隔操作手術システム850を使用して外科的治療を受けることを計画する。第2の患者に対して外科処置を行うに先立ち、医療従事者は、安全なインターネット接続を通じてデータベース830にアクセスし、類似の処置の手術部位ビデオ記録についてデータベース830を検索する。1つの態様において、第2の患者を治療する医療従事者は、第1の患者の身元の知識を取得することなく、第1の患者の外科的処置のビデオ記録をデータベース830から取り出すことができる。このようにして、第1の患者のプライバシーが維持される。1つの態様において、第1の患者の外科的処置のビデオ記録は、第1の患者を治療した医療従事者によって作成されたハイライト及び/又は注釈を含む。
【0053】
(コンピュータベースのパターンマッチング及び解析)
手術計画ツール800は、コンピュータ実行可能なコードの形態において実施されるパターンマッチング及び解析アルゴリズムを含むことができる。1つの態様において、パターンマッチング及び解析アルゴリズムは、手術計画ツール800の不揮発性メモリデバイスに格納され、データベース830中にアーカイブ記録されたビデオ記録を解析するように構成される。従前に議論したように、データベース830中にアーカイブ記録されたビデオ記録830の各々は、特定のメタデータ情報でタグ付けされ且つ/或いは特定のメタデータが埋め込まれることができる。このメタデータ情報は、患者の年齢、性別、及び患者の健康又は病歴を記述する他の情報のような、患者情報を含むことができる。加えて、従前に議論したように、メタデータ情報は、医療従事者によって作成されたハイライト又は注釈を含むことができる。1つの態様において、これらのハイライト及び注釈は、ビデオ録画に埋め込まれ、データベース830中にビデオと共にアーカイブ記録される。
【0054】
1つの態様において、パターンマッチング及び解析アルゴリズムは、データベース830に格納された多数のビデオ記録の間で共有される形状及び色のパターンを特定する画像解析コンポーネントを含む。パターンマッチング及び解析アルゴリズムは、次に、ビデオ記録のこのサブセットと関連付けられたタグ付きメタデータを検討して、いずれかの単語又は成句がこのサブセット内のビデオと頻繁に関連付けられているか否かを決定する。パターンマッチング及び解析アルゴリズムによって実行されるこれらの解析を使用して、医療従事者が、患者の解剖学的構造、好適な外科的アプローチ、疾病状態、潜在的な合併症等についての決定を行うのを支援することができる。
【0055】
(手術計画ツールを使用する方法)
図9は、手術計画ツールを使用する方法900を示している。1つの態様において、手術計画ツールは、図8の手術計画ツール800と類似する。910で、医療患者を記述する事実又は特性、例えば、患者が患っている医療状態が、医療デバイスによって受信される。医療デバイスは、遠隔操作手術システム(例えば、図1の遠隔操作手術システム10又は図4の遠隔操作手術システム50)に位置するユーザインターフェースを介して、或いは、代替的に、図8のパーソナルコンピュータと類似のパーソナルコンピュータを通じて、この事実又は特性を受信することができる。920で、医療デバイスは、910で受信した事実又は特性を使用して、医療デバイスデータベースから外科的処置の少なくとも1つの関連するビデオ記録を取り出す。930で、医療デバイスは、ビデオ記録を使用して、手術計画情報を決定する。1つの態様において、手術計画情報は、記録された処置において使用される器具の種類を含む。940で、医療デバイスは、930で決定された手術計画情報をユーザに表示する。
【0056】
図10は、幾つかの実施形態に従ったコンピュータ可読ストレージデバイス1004内のストレージアトラス1002(storage atlas)を表す例示的な図である。ストレージアトラス1002は、以前に実行された外科的処置の事例(instances)を示す第1のデータ情報構造1006を含む。第1のデータ情報構造1006の各々の異なる事例は、異なる手術に対応する。個々の手術事象と関連付けられる第2のデータ情報構造は、対応する時間間隔(t,t,..t)で、動画像セグメント(MPI,MPI,..MPI)を、運動学的情報セグメント(KIN,KIN,..KIN)、手術システム作動状態(Astate,Astate,..Astate)、及び対応する注釈(ANOT,ANOT,..ANOT)と関連付ける。所与の種類の複数の手術事象に基づき生成される第1の制御信号ルール情報構造1010は、運動学/画像署名(image signature)/作動状態の組み合わせを、制御信号、例えば、(SigK,SigI,Astate,CNTLKIA1)...(SigK,SigI,Astate,CNTLKIAn)と関連付ける。第1のルール情報構造1010の各々の異なる事例は、異なるカテゴリの手術に対応する。個々の手術事象に関連付けられる第3のデータ情報構造1012は、対応する時間間隔(t,t,..t)で、動画像セグメント(MPI,MPI,..MPI)を、触覚情報セグメント(HAP,HAP,..HAP)と関連付ける。所与の種類の複数の手術事象に基づき生成される第2の診断ルール情報構造1014が、診断画像署名(SigIDIAG1,SigIDIAG2,..SigIDIAGm)を、診断運動学署名(SigKDIAG1,SigKDIAG2,..SigKDIAGm)及び診断(DIAG,DIAG,..DIAG)と関連付ける。第2の診断ルール情報構造1014の各々の異なる事例は、異なるカテゴリの手術に対応する。
【0057】
幾つかの実施形態によれば、画像情報は、完全な可視スペクトル、蛍光、ハイパースペクトル、CT/MRIに亘るビデオ画像の形態にあることができる。画像情報又はこれらの画像情報のうちの幾つかの画像情報の組み合わせは、疾病状態を評価する/診断を決定する基礎として使用されることができる。
【0058】
図11は、幾つかの実施形態に従った個々の外科的処置に関する情報を含む、ストレージデバイス1004中のアトラス1002内に含められる第1のデータ情報構造1006の例示的な事例を表す例示的な図である。本明細書に記載するロボット支援手術システムの多くの異なる事例を使用する多くの異なる外科医によって、多数の外科的処置が多数の異なる患者に対して行われることが理解されるであろう。第1のデータ情報構造1006の事例は、実行される各外科的処置のためにコンピュータ可読ストレージデバイス内で生成され且つその内に格納されることができる。例示的な第1のデータ情報構造1006は、例えば、前立腺切除術、子宮摘出術又は部分腎摘出術のような、外科的処置の種類を示す、手術種類フィールド1006-1を含む。
【0059】
例示的な第1のデータ情報構造1006は、例えば、年齢、体重、血液型、身長、性別、及び人種のような、手術される患者に関する情報を提供する、患者健康記録フィールド1006-2を含む。例示的な第1のデータ情報構造1006は、例えば、一般的な経験レベル、ロボット支援手術システムを操作する経験レベルのような、外科医が個々の手術を行うことに関する情報を提供する、医師情報フィールド1006-3を含む。例示的な第1のデータ情報構造1006は、例えば、製造者、モデル、及び製造番号のような、手術を行うために使用される手術システムに関する情報を提供する、手術システムフィールド1006-4を含む。例示的な第1のデータ情報構造1006は、外科処置中にシステムを使用して提供される動画像、器具運動学及び触覚フィードバックのような情報を提供する、手術記録フィールド1006-5を含む。例示的な第1のデータ情報構造1006は、例示的な第1のデータ情報構造1006内の画像情報、運動学的情報又は触覚情報と関連付けられた記述情報を含むタグのような、注釈情報を提供する、手術記録フィールド1006-6を含む。
【0060】
図12は、ストレージデバイス中のアトラス1002内に含められる第2のデータ情報構造1008の例示的な事例を表す例示的な図であり、第2のデータ情報構造1008は、個々の外科的処置、対応する手術器具運動学的情報セグメント、対応する手術器具作動状態、及び対応する注釈から記録された動画像セグメントを関連付ける。例示的な第2のデータ情報構造1008は、第1のデータ情報構造1006の記録フィールド1006-5内の情報の追加的な詳細を提供する。1つの態様において、患者の解剖学的構造の動画像、対応する手術用器具の運動学、及び対応する手術システム作動状態が、手術中に記録されてタイムスタンプ(t,t,..t)を押されて、外科的処置中の手術活動の履歴的記録及び対応する器具運動学を生成する。幾つかの実施形態において、動画像は、手術中に解剖学的構造を手術するために使用される手術器具の画像も含む。タイムスタンプは、動画像を手術器具の運動学と時間的に整列させる。
【0061】
手術中、外科医又は外科チームの他の構成員のようなユーザが、解剖又は縫合のような対応する外科的活動、解剖学的構造、特定の外科的複雑さ、外科医の観察、又は処置の段階を示すメタデータを用いて、記録された動画情報及び関連する記録された手術器具運動学的情報に注釈を加えてよい。注釈は、例えば、記録された動画情報及び/又は記録された手術器具の運動学的情報、ビデオ記録中の画像の着色又は強調(例えば、テレストレーション)にタグ付けされた書面注釈(written note)のうちの1つ又はそれよりも多くの組み合わせを含んでよ。注釈は、例えば、タイムスタンプされた記録画像情報及び/又は記録された運動学的情報に後で加えられてよい。
【0062】
遠隔操作される外科的処置中、手術システム作動状態の変化をもたらす手術活動が起こり得ることが理解されるであろう。外科医は自分の頭をビューア31に出入りさせて、ヘッドイン状態の変化をもたらしてよい。外科医は自分の手又は足を制御入力36と接触させたり接触を外したりして、例えば、後続の状態の変化をもたらしてよい。使用中の器具の組み合わせが変更されてよく、例えば、それは器具種類状態の変化をもたらすことがある。
【0063】
1つ又はそれよりも多くの外科的状態における手術活動を支援する手術器具の操作は、外科医が手術活動を行った実際の仕方を示す、器具動作を示す手術システム内の運動学的情報の生成をもたらす。外科医は、例えば、器具を迅速に又はゆっくりと動かした場合がある。外科医は、例えば、1つ又は他の経路に沿って解剖学的構造に向かう方向に又は解剖学的構造から離れる方向に手術器具を移動させた場合がある。外科医は、特定の器具を作動させる前に、例えば、異なる器具の位置を調整した場合がある。記録された解剖学的構造画像情報、記録された器具運動学的情報、及び記録されたシステム作動状態の組み合わせは、手術中にどの画像が外科医に提示されたか、外科医がそれらの画像に呼応してどの活動を行ったのか、及びその時の手術システムのシステム作動状態は何であったかについての記録を提供することが理解されるであろう。対応する注釈が、外科的処置の過程で記録された関連する画像及び運動学に追加的な洞察を提供することができる。運動学的情報は手術システムから(例えば、関節データ又は他の機械的トラッキングを介して)直接的に導出されることができるが、様々な他の実施形態において、運動学的情報は、画像処理又はセンサデータ(例えば、内視鏡画像内のツール/器具トラッキング)から抽出されることができる。
【0064】
図13A乃至図13Cは、例示的な手術器具1202及びアクチュエータアセンブリ1203を示す例示的な図であり、そこでは、手術器具1202は、幾つかの実施形態に従った3つの異なる例示的な手術器具の作動状態で示されている。例示的な手術器具1202は、開いた状態及び閉じた状態とそれらの間の部分的に開いた状態/部分的に閉じた状態の連続との間で移行することができるジョーエンドエフェクタ104を含む。例示的な手術器具1202は、異なる二次元(x,y)位置状態の間で動くことができる2自由度(2-dof)リスト1206も含む。例示的なアクチュエータアセンブリ1203は、第1のアクチュエータ1208を含み、第1のアクチュエータ1208は、幾つかの実施形態において、ジョーエンドエフェクタ1204を作動させるために使用されるジョーモータ(JM)を含む。例示的なアクチュエータアセンブリ1203は、第2のアクチュエータ12010を含み、第2のアクチュエータ1210は、幾つかの実施形態において、リスト1206を作動させるために使用されるリストモータ(WM)を含む。手術中、手術器具1202は、外科的処置中の異なる活動に対応する多数の複数の器具作動状態を通じて移行することがある。各移行は、取り込まれ且つ格納される運動学的情報の生成をもたらし、運動学的情報は、手術器具が1つの状態におけるその物理的場所及び物理的配置(例えば、開いた配置又は閉じた配置)から次の状態におけるその物理的場所及び物理的配置に移行するときの器具の動きを示す。例えば、図13Aに示すように、外科的処置は、第1のアクチュエータ1208(JM)がジョーエンドエフェクタ1204を完全に開いた状態に配置し、第2のアクチュエータ1210(WM)が、リスト1206を第1の位置状態(x1,y1)に配置する。例えば、図13Bに示すように、外科的処置は、第1のアクチュエータ1208がジョーエンドエフェクタ1204を完全に閉じた状態に移行させ、第2のアクチュエータ1210がリスト1206を第2の位置状態(x2,y2)に移行させる、第2の手術活動を含んでよい。例えば、図13Cに示すように、外科的処置は、第1のアクチュエータ1208がジョーエンドエフェクタ1104を部分的に開いた/部分的に閉じた状態に配置し、第2のアクチュエータ1210がリスト1206を第3の位置状態(x3,y3)に移行させる、第3の手術活動を含んでよい。
【0065】
図14は、ストレージデバイス1004中のアトラス1002内に含められる第1の制御信号ルール情報構造1010の例示的な事例を表す例示的な図であり、第1の制御信号ルール情報構造1010は、幾つかの実施形態に従って、運動学的署名情報、画像署名情報、及びシステム作動状態情報を、制御信号と関連付けるルールを含む。ルールは、第1及び第2のデータ情報構造1006,1008に表された以前の手術からのデータに基づいて開発される。第1のルールは、解剖学的画像のパターン、器具運動学及びシステム状態を、外科的処置中にシステムの動作を制御するために或いは外科医にガイダンスを提供するために用いられる制御信号と相関させる。
【0066】
幾つかの実施形態によれば、運動学的署名は、多次元ベクトルを含む。幾つかの実施形態において、器具の記録された運動学的動作は、例えば、瞬間速度、瞬間加速度、瞬間三次元位置、動作の現在の経路及び動作の予測される経路のような、運動学的特徴を表す多数のベクトルに分解される。器具の動作及び位置のみならず、器具に対する解剖学的構造の物理的場所、他の器具の物理的場所、患者の健康及び手術の性質のようなその脈絡も、運動学的情報の解釈に関連することができる。その上、以前の器具の動きは、器具を次にどこに動かすかのような、評価に関連することができ、それは少なくとも部分的に器具運動学に基づく。よって、幾つかの実施形態では、器具運動学ベクトルは、例えば、解剖学的構造の場所、他の器具の場所、患者の健康、手術の種類及び器具の事前の動きを示すベクトルも含む。
【0067】
幾つかの実施形態によれば、画像署名は、多次元ベクトルを含む。幾つかの実施形態において、解剖学的構造の記録された動画像は、例えば、色、テクスチャ、及び幾何学的形状のような、画像特徴を表す多数のベクトルに分解される。その上、畳込みニューラルネットワークでは、より低いレベルの特徴(例えば、色エッジ等)がある。後続の層では、より高いレベルの特徴が学習され、最終的に、例えば、解剖学的構造又は組織種類の分類がもたらされる。解剖学的構造の外観のみならず、患者の健康、手術の性質、特定の種類のロボット支援手術における外科医の技能レベル、及び正しい手術器具がシステム内に装着されていることをシステム状態が示しているか否かのようなその脈絡も、解剖学的画像の解釈に関連することができる。その上、外科的処置の過程における解剖学的構造の外観の変化は、解剖学的画像の解釈に関連し得る。よって、幾つかの実施形態では、画像ベクトルは、例えば、患者の健康記録情報、手術の種類、及び異なる手術段階での解剖学的画像外観の比較を示すベクトルも含む。
【0068】
幾つかの実施形態によれば、異なる制御信号が、画像署名、運動学的署名、及び作動システム状態の異なる組合せと関連付けられる。幾つかの実施形態において、幾つかの制御信号は、器具作動状態を制御する。例えば、画像署名、運動学的署名、及び作動システム状態の幾つかの組み合わせは、安全でない手術活動に対応することがあり、対応する制御信号は、手術システムに器具の動作をフリーズさせ且つ/或いは外科医への通知(例えば、視覚的、可聴、及び/又は触覚的な警告、又は関連するガイダンス/情報が利用可能である表示)を生成させるように作動することがある。例えば、器具の動きは、カメラの視野の外側にある。代替的に、例えば、画像署名、運動学的署名、及び作動システム状態の幾つかの組み合わせは、特に繊細な手術活動に対応してよく、対応する制御信号は、手術システムに、器具の動きの速度をより安全な速度に落とさせるように作動してよく、或いは、怪我を避けるために器具の動作範囲を制限してよく、或いは、外科医への推奨通知(例えば、ビューア内に表示される矯正/警告情報のオーバーレイ又は関連するガイダンス/情報へのアクセスの提示)を生成してよい。例えば、前立腺切除術中の神経の保存、又は僧帽弁修復中の縫合。
【0069】
幾つかの実施形態によれば、機械学習技法を使用して画像署名を生成し、運動学的署名を生成することができる。より具体的には、例えば、分類子(classifiers)を専門家知識と共に使用して、画像署名及び運動学的署名を制御信号と相関させることができる。例えば、専門外科医入力に基づいて、第1及び第2のデータ情報構造1006,1008内の手術データを評価して、異なる解剖学的画像、器具運動学及び手術システム状態の脈絡において、適切なシステム動作を決定する。決定されたシステム動作をもたらす制御信号は、第1のルール情報構造1010において、解剖学的画像署名、器具運動学的署名及びシステム状態と関連付けられる。幾つかの実施形態によれば、画像署名及び運動学的署名をシステム状態情報と組み合わせて、制御信号に対応する1つの全体的な署名を生成することができる。
【0070】
図15は、幾つかの実施形態に従った、解剖学的画像情報、器具運動学及びシステム状態に少なくとも部分的に基づいて制御信号を生成するプロセス1502を表す、例示的なフロー図である。コンピュータプロセッサ58は、幾つかの実施形態に従ってプロセス1502を行うように構成される。外科的処置の実行中、ルールブロック1504が、手術中の動画像、器具運動学及び手術システム状態、並びに第1のルール情報構造1010からのルールに基づいて、制御信号の放射(launch)を引き起こさせるか否かを決定する。
【0071】
より具体的には、システム10を使用した外科的処置の実行中、ルールブロック1504は、手術中に生成される動画像情報を受信し、手術中に生成される器具運動学的情報を受信し、そして、手術中に生成されるシステム状態情報を受信する。カメラ528は、手術中に動画情報を取り込む。コンピュータプロセッサ58は、ブロック1506で、対応する画像情報をルールブロック1504に提供する。アクチュエータ1208,1210のような器具アクチュエータが、手術中に器具動作をもたらす作動命令を受信する。コンピュータプロセッサ58は、ブロック1508で、作動命令に基づいて器具の運動学的情報を決定し、その運動学的情報をルールブロック1504に提供する。システムは、操作者がビューアに対して自分の頭を配置したか否か、操作者は手及び/又は足36で制御入力に行ったか否か、どの器具が使用のために挿入されているかのような、システム状態を検知するセンサ(図示せず)を含む。コンピュータプロセッサ58は、ブロック1510で、システム状態情報をルールブロック1504に提供する。
【0072】
また、外科的処置中、制御信号ルール記憶ブロック1512は、第1の制御信号ルール情報構造1010の第1のルールブロック部分1010A内からの画像署名情報、運動学的署名情報、及びシステム作動状態情報を、ルールブロック1504に提供する。ルールブロック1504は、ブロック1506、1508、1510によってそれぞれ提供される画像情報、運動学的情報及びシステム情報を、第1のルールブロック部分1010Aからの関連付けられる画像署名(SigI)、運動学的署名(SigK)及びシステム状態(Astate)情報と比較する。幾つかの実施形態において、コンピュータプロセッサ58は、システム10によって生成される画像情報、運動学的情報及びシステム情報を、制御信号ルール情報構造1010の第1の部分1010Aからの署名及び状態情報との比較に適したフォーマットに変換するように構成されることが理解されるであろう。具体的には、幾つかの実施形態では、生の画像/運動学/システム状態を処理して分類(信号/確率)を導き出し、次に、表中で分類を検索して、決定された分類に基づいてどの行動を取るべきか決定する。
【0073】
決定モジュール1506は、提供された画像、運動学及びシステム状態情報と第1のルールブロック部分1010Aからのルール情報との間で一致(マッチング)が生じるか否かを決定する。 機械学習の実施形態では、画像、運動学及びシステム状態情報とルール情報との間の類似性の範囲に基づいて一致が決定されることが理解されるであろう。よって、例えば、特定のルールの何らかの閾値限界内にある生成された画像、生成された運動学及び生成されたシステム状態情報の組み合わせが、そのルールと一致するように決定される。
【0074】
ブロック1514は、画像、運動学及びシステム状態情報の組み合わせとルールとの間の一致の決定に応答して、マッチングルールに対応する制御信号ルール情報構造1010の第2のルール部分1010B内から制御信号を発する(launches)。例えば、外科的処置中に受信した画像、運動学及びシステム状態情報が、第1の部分1010AのSigI2、SigK2及びAstate2と一致するという決定に応答して、ブロック1516は、制御信号情報構造1010の第2の部分1010B内から信号CNTLIKA2を発する。よって、発せられた制御信号は、実際のシステム情報に依存する。その上、発せられた制御信号は、器具の作動を制御するように作動することができる。例えば、他の器具との衝突を避けることのような、特定の器具の動きを妨げる制御信号が発せられることができる。例えば、速度を制限することによって、特定の器具の動きがどのように起こるかを制御する制御信号が発せられることができる。例えば、外科医が次に使用する可能性の高い器具との衝突を防ぐために器具を中立位置に動かすことのような、器具が次に何を行うかを制御する制御信号が発せられることができる。一致が検出されない間に、決定モジュールは、制御フローをルールブロック1504にフィードバックする。同様に、制御信号の放射後、制御はルールブロック1504に戻って、手術中に生成される画像、運動学及びシステム情報を制御信号情報構造1010からのルールと比較することを継続する。
【0075】
図16は、幾つかの実施形態に従った、記録された動画像セグメントを触覚情報セグメントと関連付ける、ストレージデバイス1004中のアトラス1002内に含められる第3のデータ情報構造1012の例示的な事例を表す例示的な図である。例示的な第3のデータ情報構造1012は、第1のデータ情報構造1006の記録フィールド1006-5内の情報の追加的な詳細を提供する。1つの態様において、外科医/操作者に付与される患者解剖学的構造の動画像及び対応する触覚フィードバック情報は、外科医が何を観察したか及び外科医が外科的処置中の制御入力での物理的触覚を通じて何を検知したかについての履歴的記録を生成するために、手術中に記録され且つタイムスタンプ(t1,t2,...t)される。タイムスタンプは、動画像を手術器具運動学と時間的に整列させる。
【0076】
触覚学(haptics)は、概して、触覚フィードバック(touch feedback)を記述しており、触覚フィードバックは、運動感覚(力)及び皮膚(触覚)(tactile)フィードバック並びに振動及び動きを含むことがある。遠隔操作手術システムでは、自然な触覚フィードバックが概ね排除される。何故ならば、外科医は器具を直接的に操作しないからである。図6を参照すると、幾つかの実施形態によれば、手術器具520の患者側に取り付けられた人工触覚センサ660が触覚情報を取得することができ、検知した情報を外科医に伝えるために外科医側に表示する。図5Aを参照すると、運動感覚又は力フィードバックシステムは、典型的には、手術用器具による手術シーン内の患者の解剖学的構造に加えられる力を測定又は推定し、制御入力36に取り付けられた力フィードバックデバイス39を介して外科医の手に分解力(resolved force)を提供する。触覚フィードバックは、局所的な組織変形のような情報を提供して、組織表面に亘る分布を強いるために使用されることができる。
【0077】
図16を再び参照すると、第3のデータ情報構造1012は、動画情報セグメントを力フィードバックデバイス39に供給される同時の触覚フィードバック情報と関連付ける。よって、第3の情報構造内のデータは、外科的処置中に外科医の視覚及び触覚入力の記録を表すことができる。この情報は、外科医の機械技法の訓練を助けるために使用されることができ、外科医の診断を訓練するときの助けとしても使用されることができる。
【0078】
図17は、幾つかの実施形態に従った、手術経験を再生するよう遠隔操作ロボット支援手術システムを構成するプロセス1702を表す例示的なフロー図である。コンピュータプロセッサ58は、幾つかの実施形態に従ってプロセス1702を実行するように構成される。プロセッサ58は、記録された動画情報を使用して、ビューアで記録された動画を再生するようにカメラ528を構成する。プロセッサ58は、記録された触覚情報を使用して、制御入力36で記録された触覚フィードバックを付与するように力フィードバックデバイス39を構成する。幾つかの実施形態において、力フィードバックデバイス39は、振動触覚デバイスを含む。
【0079】
そのような再生は、外科医自身の以前の外科的経験に基づいて或いは他の者の以前の外科的経験に基づいて外科システムをより効果的に使用するよう外科医を訓練するのに有用であることが理解されるであろう。画像及び対応する触覚フィードバック力が再生されている間にビューア31を覗き込み且つ制御入力36に触れることによって、外科医は記録された手術を経験することができる。次に、外科医は、代替的なの外科的アプローチを実験し、例えば、それらの代替的なアプローチの間の視覚的及び触覚的な感覚を以前の手術の感覚と比較することができる。図18は、幾つかの実施形態に従った、画像署名情報及び触覚フィードバック情報を診断と関連付けるルールを含む、ストレージデバイス1004中のアトラス1002内に含められる第2の診断ルール情報構造1014の例示的な事例を表す例示的な図である。このルールは、第1及び第3のデータ情報構造1006,1012に表される以前の手術からのデータに基づいて開発される。第2のルールは、解剖学的画像のパターン及び触覚フィードバックを診断と相関させる。
【0080】
上で説明したように、画像署名は、多次元ベクトルを含む。加えて、幾つかの実施形態によれば、触覚フィードバック照明は、多次元ベクトルを含む。幾つかの実施形態において、記録された触覚フィードバックは、フィードバック力の場所、周波数及び強度のような触覚フィードバック特徴を表す多数のベクトルに分解される。フィードバック力の場所、周波数及び強度のみならず、患者の健康及び手術の性質のようなその脈絡も、フィードバック信号の解釈に関連することができる。よって、幾つかの実施形態では、多次元触覚フィードバックベクトルは、例えば、患者の健康及び手術の種類を示すベクトルも含む。
【0081】
幾つかの実施形態によれば、機械学習技法を使用して画像署名を生成し、触覚フィードバック署名を生成することができる。より具体的には、例えば、分類子を専門家知識と共に使用して、画像署名及び触覚署名を診断と相関させることができる。第1及び第3のデータ情報構造1006,1012内の手術データを、例えば、専門外科医入力に基づいて評価して、異なる解剖学的画像及び触覚フィードバック力の脈絡において適切な診断を決定する。幾つかの実施形態によれば、画像署名及び触覚署名を互いに組み合わせて、診断に対応する1つの全体的な署名を生成することができる。
【0082】
図19は、幾つかの実施形態に従った、解剖学的画像情報及び触覚フィードバック情報に少なくとも部分的に基づいて診断を生成するプロセス1902を表す例示的なフロー図である。コンピュータプロセッサ58は、幾つかの実施形態に従ってプロセス1902を実行するように構成される。外科的処置の実行中、ルールブロック1904は、手術中の動画像及び触覚フィードバック力並びに第2のルール情報構造1014からのルールに基づいて診断を報告するか否かを決定する。
【0083】
より具体的には、システム10を使用した外科的処置の実行中、ルールブロック1904は、手術中に生成される動画像情報を受信し、手術中に生成される触覚フィードバック情報を受信する。カメラ528は、手術中に動画情報を取り込む。コンピュータプロセッサ58は、ブロック1906で、対応する画像情報をルールブロック1904に提供する。触覚フィードバック力デバイス39は、触覚フィードバック力を生成する。コンピュータプロセッサ58は、ブロック1908で、作動命令に基づいて触覚フィードバック力情報を決定し、運動学的情報をルールブロック1904に提供する。
【0084】
また、外科的処置中、診断ルール記憶ブロック1912は、診断ルール情報構造1014の第1のルールブロック部分1014Aからの画像署名情報及び触覚フィードバック情報をルールブロック1904に提供する。ルールブロック1904は、ブロック1906,1908によって提供される画像及び触覚フィードバック情報を、それぞれ、ルール診断構造1014の第1のルールブロック部分1014Aからの関連付けられた画像署名(SigI)及び触覚フィードバック署名(SigH)と比較する。幾つかの実施形態において、コンピュータプロセッサ58は、システム10によって生成される画像及び触覚フィードバック情報を、診断ルール情報構造1014の第1の部分1014Aからの署名及び状態情報との比較に適したフォーマットに変換するように構成されることが理解されるであろう。
【0085】
決定モジュール1914は、提供された画像及び触覚フィードバック情報と診断ルール情報構造1014の第1のルール部分1014Aからの情報との間に一致が生じているか否かを決定する。機械学習の実施形態では、画像及び触覚情報とルール情報との間の類似性の範囲に基づいて一致が決定される。よって、例えば、特定のルールの閾値限界内にある生成された画像と生成された触覚情報との組み合わせは、そのルールと一致すると決定される。
【0086】
ブロック1914は、画像、運動学及びシステム状態情報の組み合わせとルールとの間の一致の決定に応答して、一致ルールに対応する第1の制御信号ルール情報構造1010の第2のルールブロック1010B部分内から制御信号を発する。例えば、外科的処置中に受信した画像及び触覚フィードバック情報が、診断情報構造1014の第1の部分1014AのSigI及びSigHと一致するという決定に応答して、ブロック1916は、診断情報構造1014の第2の部分からの診断DIAGをビューア31に報告する。よって、手術中の診断は、手術中に生成される実際のシステム情報及び多くの以前の手術で記録された情報に依存する。プロセス1902中、一致が検出されない間に、決定モジュール1914は、制御フローをルールブロック1904にフィードバックする。同様に、診断後、制御フローはルールブロック1904に戻り、手術中に生成される画像及び触覚と診断ルール情報構造1014からのルールとの比較を続ける。
【0087】
例示的な実施形態を示し且つ記載したが、広範な修正、変更、及び置換が前述の開示において想定され、幾つかの場合、実施形態の幾つかの構成は、他の構成の対応する使用を伴わずに利用されてよい。当業者は、多くの変形、代替、及び修正を認識するであろう。よって、本開示の範囲は、添付の請求項によってのみ限定されるべきであり、請求項は本明細書に開示する実施形態の範囲と一致する方法において広く解釈されるのが適切である。
図1
図2
図3
図4
図5A
図5B
図5C
図6
図7
図8
図9
図10
図11
図12
図13A
図13B
図13C
図14
図15
図16
図17
図18
図19
【手続補正書】
【提出日】2022-09-22
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
遠隔操作手術システムであって、
手術器具と、
制御信号に応答して前記手術器具に動きを伝えるように連結されるアクチュエータと、
当該遠隔操作手術システムについての運動学的情報のための分類を提供し、該分類を制御信号と関連付ける、制御信号ルール情報構造と、
前記アクチュエータ、前記センサ、及び前記制御信号ルール情報構造に通信的に結合される、プロセッサと、を含み、
前記プロセッサは、
前記運動学的情報を受信すること、
前記制御信号ルール情報構造によって提供される前記分類に基づいて前記受信する運動学的情報の分類を識別すること、及び
前記識別される分類と前記制御信号ルール情報構造によって関連付けられる制御信号を発すること、
を含む動作を実行するように構成される、
遠隔操作手術システム
【請求項2】
前記プロセッサは、前記受信する運動学的情報を運動学的署名情報に変換することを含む動作を実行するように構成される、請求項1に記載の遠隔操作手術システム。
【請求項3】
前記受信する運動学的情報の分類を識別することは、前記変換される運動学的情報を、前記制御信号ルール情報構造によって提供される前記分類のうちの1つ以上の分類内の運動学的署名情報と比較することを含む、請求項2に記載の遠隔操作手術システム。
【請求項4】
前記制御信号に応答して、当該遠隔操作手術システムは、前記手術器具が移動する速さを調整する、請求項1に記載の遠隔操作手術システム。
【請求項5】
前記制御信号に応答して、当該遠隔操作手術システムは、前記手術器具の動きの範囲を調整する、請求項1に記載の遠隔操作手術システム。
【請求項6】
前記制御信号に応答して、当該遠隔操作手術システムは、操作者に提供される視覚的ガイダンスを調整する、請求項1に記載の遠隔操作手術システム。
【請求項7】
前記手術器具のための運動学的署名は、それぞれの多次元ベクトルを含む、請求項2に記載の遠隔操作手術システム。
【請求項8】
運動学的署名は、解剖学的構造の場所、前記手術器具の場所、患者の健康、手術のタイプ、及び前記手術器具の以前の動きのうちの1つ以上を表す、多次元ベクトルを含む、請求項2に記載の遠隔操作手術システム。
【請求項9】
前記制御信号は、手術器具エンドエフェクタ制御信号を含む、請求項1に記載の遠隔操作手術システム。
【請求項10】
手術シーン内の手術画像情報を取り込むカメラを更に含み、
前記制御信号ルール情報構造は、当該遠隔操作手術システムについての運動学的情報及び手術画像情報のための分類を提供し、該分類を前記制御信号と関連付け、
前記プロセッサは、前記カメラに通信的に結合され、前記プロセッサは、前記カメラから手術画像情報を受信することを含む動作を実行するように更に構成され、
分類を識別することは、前記制御信号ルール情報構造によって提供される画像署名情報及び運動学的情報の組み合わせの分類に基づいて、前記受信する運動学的情報及び前記受信する手術画像情報の組み合わせの分類を識別することを含む、
請求項1に記載の遠隔操作手術システム。
【請求項11】
前記プロセッサは、
前記受信する運動学的情報を運動学的署名情報に変換すること、及び
前記受信する手術画像情報を手術画像署名情報に変換すること、
を含む動作を実行するように構成される、
請求項10に記載の遠隔操作手術システム。
【請求項12】
分類を識別することは、前記受信する運動学的情報及び前記受信する手術画像情報の組み合わせの分類を識別すること、前記変換される運動学的情報を前記制御信号ルール情報構造によって提供される前記分類のうちの1つ以上の分類内の運動学的署名情報と比較すること、前記変換される受信する手術画像情報を前記制御信号ルール情報構造によって提供される前記分類のうちの1つ以上の分類内の手術画像署名情報と比較することを含む、請求項11に記載の遠隔操作手術システム。
【請求項13】
運動学的署名が、それぞれの多次元ベクトルを含み、
動画手術画像署名は、多次元ベクトルを含む、
請求項11に記載の遠隔操作手術システム。
【請求項14】
遠隔操作手術システム(手術システム)と共に使用する方法であって、
前記手術システムの1つ以上のインスタンス内の外科的処置の複数の発生の各々について、
外科的処置の間に前記手術システムの第1のインスタンスのビューア内に表示される手術シーン内の解剖学的組織のそれぞれの画像と、
前記外科的処置の間にビューア内に表示される前記手術シーン内の前記解剖学的組織との接触中に手術器具に加えられる力に応答して前記手術システムの前記第1のインスタンスの手術器具制御装置に伝えられるそれぞれの手術器具制御触覚とを含む、
それぞれ診断データ情報インスタンスを記録することと、
それぞれの診断データ情報をそれぞれの診断と関連付けるコンピュータ可読ストレージデバイス内の情報構造を生成することと、
それぞれの診断データ情報インスタンスを選択することと、
前記外科的処置のシミュレーション中に前記手術システムの第2のインスタンスのビューア内の前記選択されるそれぞれの記録される診断データ情報インスタンスから前記記録される画像を再生することと、
前記外科的処置の前記シミュレーション中の前記記録される画像の前記再生の間に、前記選択されるそれぞれの記録される診断データ情報インスタンスから前記手術システムの前記第2のインスタンスの手術器具制御装置に前記記録される手術器具制御触覚を伝えることと、を含む、
方法。
【請求項15】
前記伝えられる記録される手術器具制御触覚は、振動触覚力を含む、請求項14に記載の方法。
【外国語明細書】