▶ インテュイティブ サージカル オペレーションズ， インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-10-28
(45)【発行日】2022-11-08
(54)【発明の名称】外科的処置アトラスを用いた手術システムの構成
(51)【国際特許分類】
A61B 34/35 20160101AFI20221031BHJP
【ＦＩ】
A61B34/35
【請求項の数】
13
(21)【出願番号】P 2017564054
(86)(22)【出願日】2016-06-09
(65)【公表番号】
(43)【公表日】2018-07-05
(86)【国際出願番号】 US2016036733
(87)【国際公開番号】W WO2016201123
(87)【国際公開日】2016-12-15
【審査請求日】2019-05-28
(31)【優先権主張番号】62/173,077
(32)【優先日】2015-06-09
(33)【優先権主張国・地域又は機関】US
【前置審査】
(73)【特許権者】
【識別番号】510253996
【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】トカルチャク，ブレント
(72)【発明者】
【氏名】アズィズィアン，マーディ
(72)【発明者】
【氏名】チョウ，ジョーイ
(72)【発明者】
【氏名】ディマイオ，サイモン
(72)【発明者】
【氏名】ホフマン，ブライアン ディー
(72)【発明者】
【氏名】ジャーク，アンソニー マイケル
(72)【発明者】
【氏名】リン，ヘンリー シー
(72)【発明者】
【氏名】マクドウォール，イアン イー
(72)【発明者】
【氏名】ナウリン，ウィリアム シー．
(72)【発明者】
【氏名】シーマン，ジョン ディー．，ザ・セカンド
(72)【発明者】
【氏名】ソージャー，ジョナサン エム
【審査官】菊地 康彦
(56)【参考文献】
【文献】特開２００３－１５０５６９（ＪＰ，Ａ）
【文献】特表２００７－５３４３５１（ＪＰ，Ａ）
【文献】国際公開第２０１５／０６６５６５（ＷＯ，Ａ１）
【文献】国際公開第２０１４／００５１３９（ＷＯ，Ａ２）
【文献】米国特許第０５７６９６４０（ＵＳ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３４／３０－３４／３７
(57)【特許請求の範囲】
【請求項1】
遠隔操作手術システム（手術システム）の１つ又はそれよりも多くの事例と共に使用するための方法であって、前記手術システムの１つ又はそれよりも多くの事例のコンピュータプロセッサが、前記手術システムの前記１つ又はそれよりも多くの事例の各事例内の外科的処置の多数の発生内に生成される手術器具動作を示す手術器具運動学的情報を記録することから得られる手術器具動作の各々と関連付けられる運動学的署名の各々を評価すること、
前記手術システムの１つ又はそれよりも多くの事例の前記コンピュータプロセッサが、手術器具動作の各々と関連付けられる運動学的署名の各々を決定すること、
前記手術システムの１つ又はそれよりも多くの事例の前記コンピュータプロセッサが、運動学的署名の各々を手術器具動作の各々をもたらす制御信号の各々と関連付ける、前記手術システムの前記１つ又はそれよりも多くの事例内の１つ又はそれよりも多くのコンピュータ可読ストレージデバイス内の情報構造を生成すること、
前記手術システムの事例のコンピュータプロセッサが、外科的処置の実行中に、該実行中の手術器具運動学的情報を運動学的署名のうちの少なくとも１つの運動学的署名と比較すること、及び
前記手術システムの前記事例の前記コンピュータプロセッサが、前記手術システムの前記事例内の前記外科的処置の実行中に、該実行中の手術器具運動学的情報と各運動学的署名との間の一致に応答して、前記手術システムの前記事例内で前記実行中の前記手術器具運動学的情報と一致する各運動学的署名に関連する制御信号を発することを含む、
方法。
【請求項2】
遠隔操作手術システム（手術システム）と共に使用するための方法であって、前記手術システムの１つ又はそれよりも多くの事例内の外科的処置の多数の発生の各々について、前記手術システムの前記１つ又はそれよりも多くの事例のコンピュータプロセッサが、前記外科的処置の前記発生中の前記手術システムの前記１つ又はそれよりも多くの事例内の手術シーンの画像を記録すること、
前記手術システムの１つ又はそれよりも多くの事例の前記コンピュータプロセッサが、前記手術シーンの画像の各々と関連付けられる手術画像署名の各々を決定すること、
前記手術システムの１つ又はそれよりも多くの事例の前記コンピュータプロセッサが、手術画像署名の各々を手術器具動作の各々をもたらす制御信号の各々と関連付ける、前記手術システムの前記１つ又はそれよりも多くの事例内の１つ又はそれよりも多くのコンピュータ可読ストレージデバイス内の情報構造を生成すること、
前記手術システムの事例のコンピュータプロセッサが、前記外科的処置の実行中に、前記外科的処置の前記事例内の手術シーン内の手術画像を手術画像署名のうちの少なくとも１つの手術画像署名と比較すること、及び
前記手術システムの前記事例の前記コンピュータプロセッサが、前記手術システムの前記事例内の前記外科的処置の実行中に、該実行中の手術画像と各手術画像署名との一致に応答して、前記手術システムの前記事例内で前記実行中の前記手術画像と一致する前記各手術画像署名に関連する制御信号を発することを含む、
方法。
【請求項3】
前記手術システムの前記事例の前記コンピュータプロセッサが、前記制御信号に応答して、器具が動く速さを調節することを更に含む、請求項１又は２に記載の方法。
【請求項4】
前記手術システムの前記事例の前記コンピュータプロセッサが、前記制御信号に応答して、器具の動きの範囲を調節することを更に含む、請求項１又は２に記載の方法。
【請求項5】
前記手術システムの前記事例の前記コンピュータプロセッサが、前記制御信号に応答して、ガイダンスを提供する視覚的画像を操作者に提供することを更に含む、請求項１又は２に記載の方法。
【請求項6】
遠隔操作手術システム（手術システム）と共に使用する方法であって、前記手術システムの１つ又はそれよりも多くの事例内の外科的処置の多数の発生の各々について、前記手術システムの前記１つ又はそれよりも多くの事例のコンピュータプロセッサが、前記外科的処置の発生中に前記手術システム内の手術シーンの画像を記録すること、
前記手術システムの１つ又はそれよりも多くの事例の前記コンピュータプロセッサが、手術シーンの画像の各々と関連付けられる手術画像署名及び運動学的署名の各々を決定すること、
前記手術システムの１つ又はそれよりも多くの事例の前記コンピュータプロセッサが、手術画像署名及び運動学的署名の各々を手術器具動作の各々をもたらす制御信号の各々と関連付ける、前記手術システムの前記１つ又はそれよりも多くの事例内の１つ又はそれよりも多くのコンピュータ可読ストレージデバイス内の情報構造を生成すること、
前記手術システムの事例のコンピュータプロセッサが、外科的処置の実行中に、前記手術システムの前記事例内の手術シーン内の手術画像を手術画像署名のうちの少なくとも１つの手術画像署名と比較すること、
前記手術システムの事例の前記コンピュータプロセッサが、前記外科的処置の前記実行中に、該実行中の手術器具運動学的情報を運動学的署名のうちの前記少なくとも１つの運動学的署名と比較すること、及び
前記手術システムの前記事例の前記コンピュータプロセッサが、前記手術システムの前記事例内の前記外科的処置の前記実行中に、前記実行中の手術画像と各手術画像署名との間の一致及び前記実行中の前記手術器具運動学的情報と各運動学的署名との間の一致に応答して、前記手術システムの前記事例内で前記実行中の前記手術画像と一致する前記各手術画像署名に関連する制御信号及び前記実行中の前記手術器具運動学的情報と一致する前記各運動学的署名に関連する制御信号を発することを含む、
方法。
【請求項7】
遠隔操作手術システム（手術システム）であって、コンピュータ可読ストレージデバイス内の情報構造であって、運動学的署名の各々を当該手術システムの１つ又はそれよりも多くの事例内の外科的処置の複数の発生内に生成される手術器具動作を示す手術器具運動学的情報を記録することから得られる手術器具動作の各々をもたらす制御信号の各々と関連付ける、情報構造と、
プロセッサであって、
外科的処置の実行中に、該外科的処置中に生成される器具運動学的情報を運動学的署名のうちの少なくとも１つの運動学的署名と比較し、
前記外科的処置の前記実行中に、前記外科的処置中に生成される器具運動学的情報と前記運動学的署名のうちの少なくとも１つの運動学的署名との間の一致に応答して、前記外科的処置中に生成される器具運動学的情報と一致する前記運動学的署名のうちの少なくとも１つの運動学的署名に関連する前記各制御信号を発する
ように構成される、
プロセッサと、
器具であって、前記各制御信号に応答してその動きを調節するように構成される器具とを含む、
遠隔操作手術システム。
【請求項8】
遠隔操作手術システム（手術システム）であって、コンピュータ可読ストレージデバイス内の情報構造であって、手術画像署名の各々を当該手術システムの１つ又はそれよりも多くの事例内の外科的処置の複数の発生の各々について前記外科的処置の前記発生中に当該手術システム内の手術シーンの画像を記録することから得られる手術器具動作の各々をもたらす制御信号の各々と関連付ける、情報構造と、
プロセッサであって、
当該手術システム内の外科的処置の実行中に、手術シーン内の手術画像を前記手術画像署名のうちの少なくとも１つの手術画像署名と比較し、
前記外科的処置の前記実行中に、該実行中の手術画像と前記手術画像署名のうちの前記少なくとも１つの手術画像署名との間の一致に応答して、当該手術システム内で前記実行中の前記手術画像と一致する前記手術画像署名のうちの少なくとも１つの手術画像署名に関連する前記各制御信号を発する
ように構成される、
プロセッサと、
器具であって、前記各制御信号に応答してその動きを調節するように構成される器具とを含む、
遠隔操作手術システム。
【請求項9】
前記制御信号に応答して、前記器具は、器具が動く速さを調節するように構成される、請求項７又は８に記載のシステム。
【請求項10】
前記制御信号に応答して、前記器具は、前記器具の動きの範囲を調節するように構成される、請求項７又は８に記載のシステム。
【請求項11】
前記制御信号に応答して、前記器具は、操作者に提供される視覚的ガイダンスを調節するように構成される、請求項７又は８に記載のシステム。
【請求項12】
遠隔操作手術システム（手術システム）であって、１つ又はそれよりも多くの運動学的署名と、１つ又はそれよりも多くの手術画像署名とを、当該手術システムの動作をもたらす制御信号と関連付ける、コンピュータ可読ストレージデバイス内の情報構造と、
プロセッサとを含み、該プロセッサは、
外科的処置の実行中に、該外科的処置中に生成される器具運動学的情報を少なくとも１つの運動学的署名と比較し、
当該手術システム内の外科的処置の実行中に、手術シーン内の手術画像を少なくとも１つの手術画像署名と比較し、
前記外科的処置中に生成される前記器具運動学的情報と前記少なくとも１つの運動学的署名との間の一致及び手術シーン内の手術画像と前記少なくとも１つの手術画像署名との間の一致に応答して、前記器具運動学的情報と一致する前記少なくとも１つの運動学的署名に関連する制御信号及び前記手術シーン内の前記手術画像と一致する前記少なくとも１つの手術画像署名に関連する制御信号を発する
ように構成され、
前記少なくとも１つの一致する運動学的署名は、前記少なくとも１つの一致する手術画像署名と情報構造内で関連付けられる、
遠隔操作手術システム。
【請求項13】
器具であって、前記制御信号に応答してその動きを調節するように構成される器具を更に含む、請求項１２に記載の遠隔操作手術システム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の参照）
この出願は、２０１５年６月９日に出願された仮出願第６２／１７３，０７７号の優先権を主張し、その全文を本明細書中に参照として援用し、優先権の利益を本明細書において主張する。
この出願は、２０１５年６月９日に出願された仮出願第６２／１７３，０７７号の優先権を主張し、その全文を本明細書中に参照として援用し、優先権の利益を本明細書において主張する。
【0002】
本発明の態様は、手術中に使用される医療デバイスに関連する。より具体的には、態様は、従来的な外科的処置からの運動学的情報及び解剖学的組織画像情報に基づいてロボット支援手術システムにおいて手術器具を制御することに関連する。
【背景技術】
【0003】
外科医は、典型的には、外科的処置を行う前に広範な研究を行う。従来、外科医は、写真又は図面のような、一般的な解剖学的モデルの研究に制約されていた。更に最近では、様々な術前診断処置（例えば、Ｘ線、ＣＴ、ＭＲＩ等）が、患者特異な解剖学的情報を利用可能にしている。
【0004】
幾つかの場合には、追加的な関連する解剖学的及び外科的処置情報を外科医に利用可能にすることが望ましい。１つの態様では、特定の患者に対して行われた以前の外科的処置の手術部位ビデオ記録をその特定の患者に対する手術を計画している外科医に提供することが望ましい。他の態様では、特定の患者のために計画された外科的処置と類似する他の患者に対する外科的処置の１つ又はそれよりも多くの手術ビデオ記録を外科医に提供することが望ましい。１つの態様では、外科医が特定の外科的処置を行う前に、そのような情報を外科医に提供することが望ましい。そして、他の態様では、この情報を術中に外科医に提供することが望ましい場合がある。
【0005】
１つの態様では、様々な患者が受けた様々な処置の術中手術部位ビデオ記録を含むビデオデータベースを構成することが望ましい。１つの態様では、ビデオ記録が記録されるときに、外科医が医療デバイスを使用してビデオ記録をリアルタイムに強調し且つ注釈を施すのを可能にする入力を更に含むように、ビデオ記録することができる医療デバイスを構成することが望ましい。１つの態様では、ビデオデータベースの個々の記録を検索し、関連するビデオ記録を特定し、特定の外科的処置に関するこの関連情報を外科医に提供するように、コンピュータベースのパターンマッチングアルゴリズムを構成することが望ましい。
【発明の概要】
【0006】
以下の要約は、基本的な理解を提供するために、本発明の主題の特定の態様を紹介する。この要約は、本発明の主題の包括的な概要でなく、鍵となる若しくは重要な要素を特定すること又は本発明の主題の範囲を境界付けることを意図するものでない。この要約は、本発明の主題の様々な態様及び実施形態に関連する情報を含むが、その唯一の目的は、以下のより詳細な記述の先触れとしての一般的な形態において、幾つかの態様及び実施形態を提示することである。
【0007】
１つの態様において、遠隔操作手術システムとの使用のための方法が提供される。手術器具動作を示す手術器具運動学的情報が外科的処置の多数の発生について記録される。手術器具動作の代表である記録された運動学的情報に基づき運動学的署名が決定される。それぞれの運動学的署名を手術システムのためのそれぞれの電子制御信号と関連付ける情報構造がコンピュータ可読ストレージデバイス内に生成される。手術システムを用いた外科的処置の実行中、処置中にシステムによって生成された手術器具運動学的情報は少なくとも１つの運動学的署名と比較される。外科的処置中に生成された運動学的情報とそれぞれの運動学的署名との間の一致に応答して、少なくとも１つの運動学的署名と関連付けられる電子制御信号が手術システム内で発せられる。より具体的には、運動学的分析に基づいて、幾つかのシステム挙動が引き起こされる。
【0008】
他の態様では、遠隔操作手術システムと共に使用するための方法が提供される。ロボット支援外科的処置中に生成された手術シーンの動画像が、外科的処置の多数の発生について記録される。記録された動画像に基づいて手術画像署名が決定される。それぞれの手術画像署名を手術システムのためのそれぞれの電子制御信号と関連付ける情報構造がコンピュータ可読ストレージデバイス内に生成される。手術システムを使用した外科的処置の実行中、処置中に生成された動画像が少なくとも１つの手術画像署名と比較される。外科的処置中に生成された手術画像とそれぞれの手術画像署名との間の一致に応答して、少なくとも１つの手術画像署名と関連付けられる電子制御信号が発せられる。より具体的には、ビデオ分析に基づいて、幾つかのシステム挙動が引き起こされる。
【0009】
他の態様では、遠隔操作手術システムと共に使用するための訓練方法が提供される。外科的処置中に手術システムのビューア内に表示された手術シーン内の解剖学的組織を示す動画像が記録される。表示された解剖学的組織と接触している間に手術器具に付与される力に応答して手術器具制御装置に付与される手術システム制御触覚情報が記録される。記録された動画像は、外科的処置のシミュレーション中に手術システムビューア内で再生される。記録された手術器具制御触覚は、外科的処置のシミュレーション中に記録された動画像の再生中に手術器具制御装置に付与される。幾つかの実施形態において、手術制御触覚は、制御入力の振動触覚刺激を通じて再生される。
【0010】
他の態様では、遠隔操作手術システムと共に使用するための訓練方法が提供される。ロボット支援手術システム内の外科的処置の多数の発生の各々について、診断データ情報事例(diagnosis data information instances)が記録される。各診断データ情報事例は、外科的処置中に手術システムのビューア内に表示された手術シーン内の解剖学的組織のそれぞれの動画像を含む。各診断データ情報事例は、外科的処置中に表示された解剖学的構造との接触中に手術器具に付与される力に応答して手術器具制御装置に付与される外科用器具制御触覚も含む。それぞれの診断データ情報事例をそれぞれの診断と関連付ける情報構造が、コンピュータ可読ストレージデバイス内に生成される。それぞれの診断データ情報事例が選択される。選択されたそれぞれの記録された診断データ情報事例からの記録された動画像が、外科的処置のシミュレーション中に手術システムビューア内で再生される。選択されたそれぞれの記録された診断データ情報事例からの記録された手術器具制御触覚情報が、外科的処置のシミュレーション中に記録された動画像の再生中に手術器具制御装置に付与される。
【0011】
他の態様では、遠隔操作手術システムは、手術画像署名を制御信号と関連付けるコンピュータ可読ストレージデバイス内の情報構造を含む。プロセッサは、外科的処置中に手術シーン内で生成される手術画像を少なくとも１つの手術画像署名と比較するように構成される。プロセッサは、手術画像と少なくとも１つの手術画像署名との間の一致に応答して制御信号を発するように構成される。器具は、制御信号に応答してその動きを調節するように構成される。
【0012】
他の態様において、遠隔操作手術システムは、それぞれの外科画像署名をそれぞれの制御信号と関連付けるコンピュータ可読ストレージデバイス内の情報構造を含む。プロセッサは、外科的処置中の手術シーン内の手術画像を少なくとも１つの手術画像署名と比較するように構成される。プロセッサは、外科的処置中の手術画像と少なくとも１つの手術画像署名との間の一致に応答して制御信号を発するように構成される。器具は、制御信号に応答してその動きを調節するように構成される。
【図面の簡単な説明】
【0013】
【図1】最小侵襲遠隔操作手術システムの平面図である。
【図2】外科医コンソールの斜視図である。
【図3】電子機器カートの斜視図である。
【図4】遠隔操作手術システムの図式的な例示である。
【図5A】遠隔操作手術システムの例示的な図である。
【図5B】手術システムの患者側カートの斜視図である。
【図5C】手術シーンの例示的な図である。
【図6】手術器具の立面図である。
【図7】器具マニピュレータの斜視図である。
【図8】手術計画ツールの図式的な例示である。
【図9】手術計画ツールを使用する方法のフロー図である。
【図10】幾つかの実施形態に従ったコンピュータ可読ストレージデバイス内のストレージアトラスを表す例示的な図である。
【図11】幾つかの実施形態に従った個々の外科的処置に関する情報を含む、アトラス内に含められる第１のデータ情報構造の例示的な事例を表す例示的な図である。
【図12】幾つかの実施形態に従った、個々の外科的処置からの記録された動画像セグメント、対応する手術器具運動学的情報、対応する手術システム作動状態、及び対応する注釈を関連付ける、アトラス内に含められる第２のデータ情報構造の例示的な事例を表す例示的な図である。
【図13A】例示的な手術器具及びアクチュエータアセンブリを示す例示的な図であり、手術器具は幾つかの実施形態に従った３つの異なる器具状態において示されている。
【図13B】例示的な手術器具及びアクチュエータアセンブリを示す例示的な図であり、手術器具は幾つかの実施形態に従った３つの異なる器具状態において示されている。
【図13C】例示的な手術器具及びアクチュエータアセンブリを示す例示的な図であり、手術器具は幾つかの実施形態に従った３つの異なる器具状態において示されている。
【図14】幾つかの実施形態に従った、運動学、画像、及びシステム作動状態を制御信号と関連付けるルールを含む、制御信号ルール情報構造の例示的な事例を表す例示的な図である。
【図15】幾つかの実施形態に従った、解剖学的画像情報、器具運動学及びシステム状態に少なくとも部分的に基づいて制御信号を生成するプロセスを表す例示的なフロー図である。
【図16】幾つかの実施形態に従った、記録された動画像セグメントを触覚情報セグメントと関連付ける、アトラス内に含められる第３のデータ情報構造の例示的な事例を表す例示的な図である。
【図17】幾つかの実施形態に従った、手術経験を再生するように遠隔操作ロボット支援手術システムを構成するプロセスを表す例示的なフロー図である。
【図18】幾つかの実施形態に従った、画像署名情報及び触覚フィードバック情報を診断と関連付けるルールを含む、アトラス内に含められる診断ルール情報構造の例示的な事例を表す例示的な図である。
【図19】幾つかの実施形態に従った、解剖学的画像情報及び触覚フィードバック情報に少なくとも部分的に基づいて診断を生成するプロセスを表す例示的なフロー図である。
【発明を実施するための形態】
【0014】
本発明の態様、実施形態、実施、又は適用を例示するこの記述及び添付の図面は、限定として解釈されるべきでない。請求項が保護される発明を定義する。この記述及び請求項の範囲から逸脱することなく、様々な機械的、組成的、構造的、電気的、及び動作的な変更が行われてよい。幾つかの場合には、本発明を不明瞭にしないために、周知の回路、構造、又は技法は詳細に示されておらず或いは記載されていない。２つ又はそれよりも多くの図における同等の番号は、同じ又は類似の要素を表す。
【0015】
１つの実施形態、実施、又は適用を参照して詳細に記載する要素は、実用的であるときにはいつでも、特に図示又は記載しない他の実施形態、実施、又は用途に含められてよい。例えば、ある要素が１つの実施形態を参照して詳細に記載され、第２の実施形態を参照して記載されていない場合、それにも拘わらず、その要素は第２の実施形態に含まれるものとして主張されることがある。よって、以下の記載における不要な繰返しを避けるために、１つの実施形態、実施、又は用途に関連して図示且つ記載する１つ又はそれよりも多くの要素は、他のことが特に記載されていない限り、その１つ又はそれよりも多くの要素がある他の実施形態又は実施を機能しないようにさせない限り、或いはそれらの要素のうちの２つ又はそれよりも多くのが矛盾する機能をもたらさない限り、他の実施形態、実施、又は態様に組み込まれてよい。
【0016】
本発明の態様は、Sunnyvale, CaliforniaのIntuitive Surgical, Inc.によって商品化されているda Vinci（登録商標）Surgical System（具体的には、da Vinci（登録商標）XiTM HDTM Surgical Systemとして市販されているModel IS4000）を用いた実施に関して主として記載される。しかしながら、知識のある人は、本明細書に開示される発明的態様が、ロボット及び適用可能であるならば非ロボットの実施形態及び実施を含む様々な方法において具現及び実施されてよいことを理解するであろう。da Vinci（登録商標）Surgical systems（例えば、Model IS4000 da Vinci（登録商標）XiTM Surgical System, Model IS3000 da Vinci（登録商標）Surgical system）での実施は例示的であるに過ぎず、本明細書に開示する発明的態様の範囲を限定するものと考えられてならない。
【0017】
様々な態様によれば、本開示は、外科的処置の実行(performance)をビデオ記録するように構成された医療デバイスを含む手術計画ツールを記載する。ビデオ記録は、様々なメタデータ、例えば、医療従事者によって作られたハイライトが埋め込まれてよい。加えて、ビデオ記録は、様々なメタデータ、例えば、ビデオの特定の主題を記述するテキスト注釈、ビデオ記録が対応する患者の身元、患者についての電気的又は医療的情報等でタグ付けされ得る。１つの態様では、タグ付けされたメタデータがビデオ記録に埋め込まれる。
【0018】
更なる態様によれば、情報パターンは、多数の遠隔操作される外科的処置から収集される動画像(motion picture images)及び手術器具運動学的情報内で特定される。動画像情報は、例えば、解剖学的組織の幾何学的形状及び着色を示すことができる。運動学的情報は、例えば、器具動作の方向、器具動作の速度及び加速度、並びに器具動作のシーケンスのような、手術器具の動作特性を示し得る。情報パターンは、記録された動画に基づいて特定されることができ、運動学的情報は、手術中に手術器具を管理し、調整し、或いは制御するための基礎として使用されることができる。情報パターンは、外科医に術中ガイダンスを提供するための基礎として使用されることができる。
【0019】
更なる態様によれば、触覚フィードバックと呼応する動画像が手術訓練のための基礎として使用されることができる。例えば、外科医は、その同じ外科医による以前の手術の間に生成された動画像及び対応する触覚フィードバックを再生する手術シミュレーションを通じて、その外科医によって行われた以前の外科的処置を再体験することができる。代替的に、例えば、外科医は、他の外科医による以前の手術中に生成された動画像及び対応する触覚フィードバックを再生する手術シミュレーションを通じて、異なる外科医によって行われた以前の外科的処置を経験することができる。よって、外科医は、視覚的手がかり(visual cues)と触覚的手がかり(haptic cues)との間の関係のその外科医又は他の外科医による実際の手術経験を再生するシミュレートされた練習手術を通じた手術技能を精緻化する機会として、手術シミュレーションを使用することができる。
【0020】
一層更なる態様によれば、提案される術中診断は、数多くの遠隔操作される外科的処置から収集される動画像及び手術器具運動学的情報内で特定される情報パターンに基づいて開発される。熟練した外科医は、しばしば、組織の幾何学的形状及び着色に少なくとも部分的に基づいて、組織の疾病状態及び組織の外傷状態を評価することができる。記録される動画像は、手術システム内の手術シーン内の解剖学的組織の幾何形状及び組織の着色に関する情報を提供する。その上、熟練した外科医は、組織の触診に少なくとも部分的に基づいて、組織の疾病状態及び組織の外傷状態を評価することができる。遠隔操作手術システムにおいて、組織の触診は、組織構造に対する器具接触に応答して器具に伝えられる反応力を示す触覚フィードバックを制御装置を操作する外科医に提供する、外科医によって操作される器具制御装置を使用して、組織構造に対する接触を通じて達成され得る。収集された動画像及び手術器具運動学的情報の熟練した外科医による評価は、異なる術中診断を示す異なるパターンの画像及び運動学を特定するために使用される。動画像を手術器具運動学的情報に関連付けるビデオ記録及び情報構造は、ローカルに又は遠隔に実装される電子医療記録データベース上で（例えば、ＬＡＮ又はＷＡＮ上の遠隔コンピュータシステム上で又はクラウドデータストレージサービス上で）達成され得る。同様に、幾つかの実施形態において、動画像を制御触覚フィードバック情報及び対応する診断推奨と関連付ける情報構造は、例えば、外科医訓練における使用のためにローカルに又は遠隔に実装される電子医療記録データベースにアーカイブ記録され得る。ビデオ記録及び情報構造は、関心のある医療提供者に利用可能にさせられ得る。幾つか実施形態において、格納される情報構造は、外科医に対する術中外科的ガイダンスをもたらす手術システムを提供する並びに外科的処置中に器具のロボット支援外科的制御をもたらす制御信号情報を生成するために、遠隔操作ロボット支援手術システムと共に使用するために利用可能にされることができる。幾つかの実施形態において、格納される情報構造は、手術システムを操作することのメカニズムにおける外科医訓練における使用のための手術シーン及び対応する触覚フィードバックを再生するために利用可能にされることができる。幾つかの実施形態において、格納される情報構造は、手術システムを使用して手術を行う間に、組織構造の疾病状態及び組織の外傷状態の診断の外科医訓練における使用のための手術シーン及び対応する触覚フィードバックを再生する外科的シミュレーションシステムとの使用のために利用可能にされることができる。
【0021】
ヘルスケア提供者は、例えば、遂行されるべき外科的処置、組織構造特性、並びに上述のメタデータタグを使用した関心のビデオ及び情報構造関係についての手術器具運動学のうちの１つ又はそれよりも多くに基づいて、医療デバイスデータベースを検索することができる。加えて、１つの態様において、手術計画ツールは、コンピュータベースのパターンマッチング及び解析アルゴリズムを含む。１つの態様において、パターンマッチングアルゴリズムは、ビデオ記録中の視覚的特性と医療従事者によって作られる関連メタデータタグとの間の相関を特定するために、電子医療記録データベースに格納されたビデオを間引く(culls)。手術計画ツールは、これらの相関を新たに直面する解剖学的構造に適用することにより、患者の解剖学的構造、好適な外科的アプローチ、疾病状態、潜在的な合併症等についての決定を行う際に処置を行う医療従事者を支援することができる。
【0022】
他の態様では、パターンマッチングアルゴリズムが、記録された動画像情報を間引き、そして、任意的に運動学的情報を間引いて、例えば、幾何学的形状及び器具動作のような解剖学的組織構成間の相関を特定する。そのようなパターンは、例えば、器具動作の種類と関連付けられる解剖学的構造の種類を特定するために有用であり得る。そのようなパターンは、例えば、器具動作と関連付けられない解剖学的構造の種類を特定するためにも有用であり得る。そのようなパターン情報は、例えば、手術中に外科医に提示する外科的ガイダンスを生成するための基礎として使用され得る。そのようなパターン情報は、例えば、手術中に特定の手術器具動作を抑止する或いは付与するための基礎として使用されることができる。
【0023】
他の態様では、パターンマッチングアルゴリズムが、記録された動画像情報及び触覚フィードバック情報を間引いて、例えば、手術器具による接触に応答して組織構造によって付与される幾何学的形状及び反作用力のような解剖学的組織構成間の相関を特定する。そのようなパターンは、例えば、ロボット支援器具による触診に応答して組織構造によって付与される触覚フィードバックと視覚的な解剖学的組織構造との間の相関を特定するために有用であり得る。幾つか実施形態において、相関させられる動画像パターン及び触覚フィードバック情報は、外科医訓練における使用のための熟練外科医の診断評価と関連付けられる。
【0024】
（最小侵襲遠隔手術システム）
遠隔操作は、ある距離を置いた機械の操作を指す。最小侵襲遠隔操作医療システムでは、外科医が、患者の体内の手術部位を見るカメラを含む内視鏡を使用することがある。幾つかの実施形態では、立体画像を取り込むことができ、それは外科的処置中に深さの知覚を可能にする。
遠隔操作は、ある距離を置いた機械の操作を指す。最小侵襲遠隔操作医療システムでは、外科医が、患者の体内の手術部位を見るカメラを含む内視鏡を使用することがある。幾つかの実施形態では、立体画像を取り込むことができ、それは外科的処置中に深さの知覚を可能にする。
【0025】
次に、図面を参照すると、同等の番号は幾つかの図を通じて同等の部品を表しており、図１は、典型的には、手術台１４の上に横たわっている患者１２に対して最小侵襲診断又は外科的処置を行うために使用される、最小侵襲遠隔操作手術システム１０の平面図である。システムは、手術中に外科医１８が使用する外科医コンソール１６を含む。１人又はそれよりも多くの助手２０が処置に参加することもある。最小侵襲遠隔操作手術システム１０は、（複数の）患者側カート２２及び電子機器カート２４を更に含む。患者側カート２２は、外科医１８が外科医コンソール１６を通じて手術部位を見る間に、患者１２の体にある最小侵襲切開部を通じて少なくとも１つの手術器具２６を操作することができる。立体内視鏡のような内視鏡２８によって手術部位の画像を取得することができ、患者側カート２２によって内視鏡を操作して、内視鏡２８を方向付けることができる。電子機器カート２４に配置されるコンピュータプロセッサを使用して、外科医コンソール１６を通じた外科医１８への後続の表示のために手術部位の画像を処理することができる。別個のシステムコンポーネント（即ち、患者側カート２２、電子機器カート２４、及び外科医コンソール１６）が、例示的な目的のために描かれ且つ記載されているが、様々な実施形態において、それらに含められる要素は、組み合わせられることができ且つ／或いは分離されることができる。例えば、幾つかの実施形態では、電子機器カート２４のコンピュータプロセッサを、外科医コンソール１６及び／又は患者側カート２２に組み込むことができる。一度に使用される手術器具２６の数は、一般的に、数ある要員の中でも、診断又は外科的処置及び手術部位内の空間的制約に依存する。処置中に使用される手術器具２６のうちの１つ又はそれよりも多くを変更する必要ことが必要であるならば、助手２０は、患者側カート２２から手術器具２６を取り外して、それを手術室内のトレイ３０からの他の手術器具２６と交換することができる。
【0026】
図２は、外科医コンソール１６の斜視図である。外科医コンソール１６は、深さの知覚を可能にする手術部位の調整された立体ビュー(coordinated stereoscopic view)を外科医１８に提示する左目用ディスプレイ３２と右目用ディスプレイ３４とを含むビューア３１(viewer)を含む。外科医コンソール１６は、１つ又はそれよりも多くの制御入力３６を更に含む。（図１に示す）患者側カート２２で使用するために設置された１つ又はそれよりも多くの手術器具が、外科医１８の１つ又はそれよりも多くの制御入力３６の操作に応答して動く。制御入力３６は、それらの関連する（図１に示す）手術器具２６と同じ機械的自由度を提供して、外科医１８に、テレプレゼンス、又は、外科医が手術器具２６を直接的に制御しているという強い感覚を有するよう、制御入力３６が手術器具２６と一体であるという知覚を提供することができる。この目的を達成するために、位置、力、及び触覚フィードバックセンサ（図示せず）を利用して、手術器具２６からの位置、力、及び触感を、通信遅延制約に晒されて、制御入力３６を通じて外科医の手に戻してよい。固定ビューア３１及び機械的に結合された制御入力３６を備える物理的コンソール１６が、例示的な目的のために図示され且つ記載されているが、様々な他の実施形態では、「非接地」(“ungrounded”)制御入力及び／又はディスプレイ構造が使用され得ることに留意のこと。例えば、幾つかの実施形態において、ビューア３１は、ヘッドマウントディスプレイであってよく、且つ／或いは、制御入力３６は、如何なる（例えば、有線、無線、又はマイクロソフト社のKinectのようなジェスチャーベースの）基本構造からも機械的に独立し得る。
【0027】
外科医コンソール１６は、普通、外科医が処置を直接的にモニタリングし、必要であるならば物理的に存在し、且つ電話又は他の通信媒体を通じてでなく直接的に患者側の助手と話すことができるよう、患者と同じ部屋に配置される。しかしながら、外科医は、異なる部屋、完全に異なる建物、遠隔手術処置を可能にする患者からの他の遠隔場所に位置することができる。
【0028】
図３は、電子機器２４の斜視図である。電子機器カート２４は、内視鏡２８と結合されることができ、外科医コンソール上の外科医への或いはローカルに及び／又は遠隔に配置された他の適切なディスプレイへのような後続の表示のために、取り込まれた画像を処理するコンピュータプロセッサを含む。例えば、立体内視鏡が使用されるならば、電子機器カート２４上のコンピュータプロセッサは取り込んだ画像を処理して、手術部位の調整された立体画像を外科医に提示することができる。そのような調整(coordination)は、対向する画像間のアライメント（整列）を含むことができ、立体内視鏡の立体作動距離を調節することを含むことができる。他の例として、画像処理は、光学収差のような画像取込み装置の撮像誤差を補償するための予め決定されたカメラ較正パラメータの使用を含むことができる。任意的に、電子機器カート内の機器は、外科医コンソール又は患者側カート内に統合されてよく、或いは手術室内の様々な他の場所に分散させられてよい。
【0029】
図４は、（図１の最小侵襲遠隔操作手術システム１０のような）遠隔操作手術システム５０を図式的に例示している。外科医は（図１の外科医コンソール１６のような）外科医コンソール５２を使用して、最小侵襲処置中に（図１の患者側カート２２のような）患者側カート５４を制御することができる。患者側カート５４は、立体内視鏡のような撮像デバイスを使用して、手術部位の画像を取り込み、（図１の電子機器カート２４のような）電子機器カート５６に位置するコンピュータプロセッサに取り込んだ画像を出力することができる。コンピュータプロセッサは、典型的に、コンピュータプロセッサの不揮発性メモリデバイスに格納されたコンピュータ可読コードを実行するための１つ又はそれよりも多くのデータ処理ボードを含む。１つの態様において、コンピュータプロセッサは、後続の表示に先立ち、取り込んだ画像を様々な方法において処理することができる。例えば、コンピュータプロセッサは、外科医コンソール５２を介して組み合わせ画像を外科医に表示するに先立ち、取り込んだ画像を仮想制御インターフェースでオーバーレイすることができる。
【0030】
追加的に又は代替的に、取り込んだ画像は、電子機器カート５６の外側に配置されるコンピュータプロセッサによる画像処理を受けることができる。１つの態様において、遠隔操作手術システム５０は、電子機器カート５６に配置されるコンピュータプロセッサと類似の（破線で示すような）任意的なコンピュータプロセッサ５８を含み、患者側カート５４は、外科医コンソール５２での表示に先立つ画像処理のために、取り込んだ画像をコンピュータプロセッサ５８に出力する。他の態様において、取り込んだ画像は、先ず、電子機器カート５６上のコンピュータプロセッサによる画像処理を受け、次に、外科医コンソール５２での表示に先立ちコンピュータプロセッサ５８による追加的な画像処理を受ける。遠隔操作手術システム５０は、破線によって示すように、任意的なディスプレイ６０を含むことができる。ディスプレイ６０は、電子機器カート５６に配置されるコンピュータプロセッサ及びコンピュータプロセッサ５８と結合され、これらのコンピュータプロセッサによって処理された取込み画像は、外科医コンソール５２のディスプレイに表示されることに加えて、ディスプレイ６０に表示されることができる。
【0031】
図５Ａは、幾つかの実施形態に従った１つ又はそれよりも多くの機械的支持アーム５１０を使用して外科的処置を行う遠隔操作手術システム１０のコンポーネントの配置を示す例示的な簡略化されたブロック図である。システム１０の態様は、ロボット支援された自律的に作動する構成を含む。これらの機械的支持アーム５１０は、しばしば、手術器具を支持する。例えば、機械的手術アーム（例えば、中央の機械的手術アーム５１０Ｃ）は、立体又は三次元の手術画像取込みデバイス１０１Ｃを備える内視鏡を支持するために使用されてよい。機械的手術アーム５１０Ｃは、画像取込みデバイス１０１Ｃを含む内視鏡を機械的アームに機械的に固定する、滅菌アダプタ、又はクランプ、クリップ、ネジ、スロット／溝、又は他のファスナ機構を含んでよい。
【0032】
使用者又は操作者Ｏ（一般的に外科医）は、マスタ制御装置コンソール１６にあるハンドグリップ及びフットペダルのような制御入力デバイス３６を操作することによって患者Ｐに対して外科的処置を行う。操作者は、立体ディスプレビューア３１を通じて患者の体の内側の手術部位の画像のビデオフレームを見ることができる。コンソール１６のコンピュータプロセッサ５８が、制御ライン１５９を介して遠隔操作制御される内視鏡手術器具１０１Ａ乃至１０１Ｃの動作を指示し、（患者側カートとも呼ぶ）患者側システム２４を使用して器具の動作に影響を与える。
【0033】
患者側システム２４は、１つ又はそれよりも多くの機械的支持アーム５１０を含む。典型的には、患者側システム２４は、対応する位置決めセットアップアームによって支持される少なくとも３つの（一般的に機械的手術支持アーム５１０と呼ぶ）機械的手術アーム５１０Ａ乃至５１０Ｃを含む。中央の機械的手術アーム５１０Ｃは、カメラの視野内の画像の取込みに適した内視鏡カメラ１０１Ｃを支持することができる。中央の左右の機械的手術支持アーム５１０Ａ及び５１０Ｂは、組織を操作することがある器具１０１Ａ及び１０１Ｂをそれぞれ支持してよい。
【0034】
図５Ｂは、実施形態に従った、最小侵襲遠隔操作手術システム１０の患者側カート５００の斜視図である。患者側カート５００は、１つ又はそれよりも多くの支持アームアセンブリ５１０を含む。手術器具マニピュレータ５１２が、各支持アームアセンブリの端に取り付けられる。加えて、各支持アームアセンブリ５１０は、手術のために、患者を基準にして、取り付けられる手術器具マニピュレータ５１２を位置決めするために使用される、（例えば、動力源なしの(unpowered)及び／又はロック可能な）１つ又はそれよりも多くのセットアップジョイントを任意的に含むことができる。描写するように、患者側カート５００は、フロアの上に位置する。他の実施形態において、患者側カートの操作部分は、壁、天井、患者の体５２２も支持する手術台５２６、又は他の手術室機器に取り付けられることができる。更に、患者側カート５００は、４つの手術器具マニピュレータ５１２を含むものとして示されているが、より多い又はより少ない手術器具マニピュレータ５１２が使用されてよい。
【0035】
機能的な遠隔操作手術システムは、一般的に、遠隔操作手術システムの使用者が患者の体５２２の外側から手術部位を見るのを可能にするビジョンシステム部分を含む。ビジョンシステムは、典型的に、ビデオ画像を取り込むカメラ器具５２８と、取り込んだビデオ画像を表示するビデオディスプレイとを含む。幾つかの手術システム構成において、カメラ器具５２８は、カメラ器具５２８の遠位端から患者の体５２２の外側の１つ又はそれよりも多くの撮像センサ（例えば、ＣＣＤ又はＣＯＭＳセンサ）に画像を転送する光学系を含む。代替的に、（複数の）撮像センサは、カメラ器具５２８の遠位端に位置付けられることができ、（複数の）センサによって生成される信号は、処理及び１つ又はそれよりも多くのビデオディスプレイ上での表示のために、リード線に沿って或いは無線で送信されることができる。ビデオディスプレイの１つの例は、Sunnyvale, CaliforniaのIntuitive Surgical, Inc.によって商業化されている手術システム中の外科医コンソールにある立体ディスプレイである。
【0036】
図５Ａ乃至図５Ａを参照すると、各手術器具マニピュレータ５１２に取り付けられているのは、患者の体５２２の内側の手術部位で作動する手術器具５２０である。各手術器具マニピュレータ５１２は、関連する手術器具が１つ又はそれよりも多くの機械的自由度（例えば、全ての６つのデカルト自由度、５つ以下のデカルト自由度等）で移動するのを可能にする、様々な形態において提供されることができる。典型的には、機械的制約又は制御制約は、各マニピュレータ５１２が、その関連する手術器具を、患者を基準にして静止したままである器具上の運動中心の周りで動かすよう制約し、この運動中心は、典型的に、器具が体に入る位置に位置する。
【0037】
１つの態様において、手術器具５２０は、コンピュータ支援された遠隔操作を通じて制御される。機能的な最小侵襲遠隔操作手術システムは、遠隔操作される手術システムの使用者（例えば、外科医又は他の医療従事者）からの入力を受け取る制御入力を含む。制御入力は、手術器具５２０が結合される１つ又はそれよりも多くのモータのような１つ又はそれよりも多くのコンピュータ制御された遠隔操作アクチュエータと通信する。このようにして、手術器具５２０は、医療従事者の制御入力の動作に応答して動く。１つの態様では、１つ又はそれよりも多くの制御入力が、図２に示す外科医コンソール１６のような外科医コンソールに含められる。外科医は、外科医コンソール１６の制御入力デバイス３６を操作して、患者側カート５００の遠隔操作アクチュエータを作動させることができる。遠隔操作アクチュエータによって生成される力は、ドライブトレイン機構を介して移転され、ドライブトレイン機構は、遠隔操作アクチュエータからの力を手術器具５２０に伝える。
【0038】
図５Ａ及び図５Ｂを参照すると、１つの態様では、手術器具５２０及びカニューレ５２４が、マニピュレータ５１２に取り外し可能に結合され、手術器具５２０は、カニューレ５２４を通じて挿入されている。マニピュレータ５１２の１つ又はそれよりも多くの遠隔操作アクチュエータは、手術器具５１２を全体として動かす。マニピュレータ５１２は、器具カートリッジ５３０を更に含む。手術器具５２０は、器具カートリッジ５３０に取り外し可能に接続される。１つの態様において、器具キャリッジ５３０は、１つ又はそれよりも多くの遠隔操作アクチュエータを内側に収容し、アクチュエータは、手術器具５２０が手術器具５２０上のエンドエフェクタの様々な動きに変わる多数のコントローラ動作をもたらす。よって、器具キャリッジ５３０内の遠隔操作アクチュエータは、器具を全体として動かすというよりもむしろ手術器具５２０の１つ又はそれよりも多くのコンポーネントのみを動かす。器具を全体として制御する或いは器具のコンポーネントを制御する入力は、外科医又は他の医療従事者によって提供される入力（「マスタ」命令）が手術器具による対応する行為(action)に変換されるような入力（「スレーブ」応答）である。
【0039】
幾つかの実施形態によれば、手術システム１０は、ドッキング(docked)、追従(following)、器具種類(instrument types)、及びヘッドイン(head-in)を含む、多数のシステム作動状態を有することができる。ドッキングのシステム状態の間に、１つ又はそれよりも多くのマニピュレータ５１２がカニューレ５２４に結合されている。追従のシステム状態の間に、手術器具（「スレーブ」）は制御入力（「マスタ」命令）を追跡している。器具種類のシステム状態の間に、システムは特定の外科的処置の遂行に適した或いは外科的処置中の特定の外科的活動の遂行に適した器具のセットをシステムに装着する。ヘッドインのシステム状態の間に、システムは外科医が「マスタ」制御入力デバイスを把持したことを外科医が示すのを待っている。
【0040】
代替的な実施形態において、器具キャリッジ５３０は、遠隔操作アクチュエータを収容しない。手術器具５２０のエンドエフェクタの様々な動きを可能にする遠隔操作アクチュエータは、例えば、患者側カート５００の他の場所で、器具キャリッジ５３０から離れた場所に収容される。離れて位置する遠隔操作アクチュエータの各々のアクチュエータの動きを器具キャリッジ５３０上に位置する対応する器具インターフェース接続アクチュエータ出力に変えるために、ケーブルベースの力伝達機構等が使用される。幾つかの実施形態において、手術器具５２０は、第１のアクチュエータに機械的に結合され、第１のアクチュエータは、長手方向（ｚ軸）回転のような手術器具の第１の動きを制御する。手術器具５２０は、第２のアクチュエータに機械的に結合され、第２のアクチュエータは、二次元（ｘ、ｙ）運動のような手術器具の第２の動きを制御する。手術器具５２０は、第３のアクチュエータに機械的に結合され、第３のアクチュエータは、ジョー又はエンドエフェクタの開閉のような手術器具の第３の動きを制御する。
【0041】
図５Ｃは、手術シーン５５０を表し、幾つかの実施形態に従ったシーンを記録するために使用されるカメラ５２８を取り付ける内視鏡１０１Ｃも示す、例示的な図である。シーン５５０は、患者の体腔内に配置される。シーン５５０は、幾何学的輪郭５５４を含む例示的な仮想の球状解剖学的構造５５２を含む。シーン５５０は、手術器具５５６を包含する。内視鏡１０１Ｃに取り付けられたカメラ５２８がシーンを取り込み、それはビューア３１内に表示され、後の再生のために記録される。
【0042】
図６は、手術器具５２０の側面図であり、手術器具５２０は、遠位部分６５０と、細長いチューブ中心線軸６１１を有する細長いチューブ６１０によって結合された近位制御機構６４０とを含む。手術器具５２０は、患者の体内に挿入されるように構成され、外科的処置又は診断的処置を実行するために使用される。手術器具５２０の遠位部分６５０は、図示の鉗子、ニードルドライバ、焼灼デバイス、切断ツール、撮像デバイス（例えば、内視鏡又は超音波プローブ）等のような、様々なエンドエフェクタ６５４のうちのいずれかを提供することができる。外科エンドエフェクタ６５４は、開き或いは閉じるジョー又はある経路に沿って並進するナイフのような、機能的な機械的自由度を含むことができる。図示の実施形態において、エンドエフェクタ６５４は、エンドエフェクタが細長いチューブ中心線軸６１１に対して方向付けられるのを可能にするリスト６５２（手首）によって細長いチューブ６１０に結合される。手術器具５２０は、（例えば、器具と関連付けられる半導体メモリに）格納される情報を含むこともでき、格納される情報は恒久的であってよく、或いは手術器具５２０を作動させるように構成される手術システムによって更新可能であってよい。従って、手術システムは手術器具５２０と手術システムの１つ又はそれよりも多くのコンポーネントとの間の一方向又は双方向の通信を提供することがある。
【0043】
図７は、手術器具マニピュレータ５１２の斜視図である。手術器具が装着されていない手術器具マニピュレータ５１２が示されている。手術器具マニピュレータ５１２は、器具キャリッジ５３０を含み、器具キャリッジ５３０には、手術器具（例えば、手術器具５２０）を取り外し可能に接続することができる。器具キャリッジ５３０は、複数の遠隔操作アクチュエータを収容する。各遠隔操作アクチュエータは、アクチュエータ出力７０５を含む。手術器具が手術器具マニピュレータ５１２に装着されると、器具近位制御機構（例えば、図６の近位制御機構６４０）のうちの１つ又はそれよりも多くの器具入力（図示せず）が、対応するアクチュエータ出力７０５と機械的に結合される。１つの態様において、この機械的結合は直接的であり、アクチュエータ出力７０５は対応する機器入力に直接的に接触する。他の態様において、この機械的結合は、手術器具マニピュレータ５１２と関連する手術器具との間に無菌バリアを提供するように構成されたドレープのコンポーネントのような中間インターフェースを通じて生じる。
【0044】
１つの態様において、対応する遠隔操作アクチュエータによる１つ又はそれよりも多くの器具入力の動きは、手術器具の機械的自由度の動きをもたらす。例えば、１つの態様において、器具マニピュレータ５１２に装着される手術器具は、図６に示す手術器具５２０である。図６を参照すると、１つの態様において、対応する遠隔操作アクチュエータによる近位制御機構６４０の１つ又はそれよりも多くの器具入力の動きは、細長いチューブ６１０（及び取り付けられるリスト６５２及びエンドエフェクタ６５４）を、細長いチューブ中心線軸６１１について、近位制御機構６４０に対して回転させる。他の態様において、対応する遠隔操作アクチュエータによる１つ又はそれよりも多くの器具入力の動きは、リスト６５２の動きをもたらして、エンドエフェクタ６５４を細長いチューブ中心線軸６１１に対して方向付ける。他の態様において、対応する遠隔操作アクチュエータによる１つ又はそれよりも多くの器具入力の動きは、エンドエフェクタ６５４の１つ又はそれよりも多くの可動要素（例えば、ジョー部材、ナイフ部材等）の動きをもたらす。従って、器具キャリッジ５３０の遠隔操作アクチュエータの作動によって、器具マニピュレータ５１２に装着される手術器具の様々な機械的自由度を動かすことができる。
【0045】
（記録されたビデオに注釈を付けること）
図８は、例示的な手術計画ツール８００の概略図を示している。１つの態様において、手術計画ツール８００は、電子医療デバイス記録データベース８３０とデータ通信する遠隔操作手術システム５０を含む。ここに示す遠隔操作手術システム５０は、図４に示す遠隔操作システム５０と類似する。１つの態様において、電子医療記録データベース８３０は、特定の病院又は複数の病院で治療を受けた患者の医療記録を含む。病院の現場に配置されるサーバにデータベース８３０を実装することができる。イントラネットネットワークを通じて病院のコンピュータからデータベース８３０中に含まれる医療記録エントリにアクセスすることができる。代替的に、例えば、多数のクラウドデータストレージサービスのうちの１つを使用して、病院から離れた場所に配置される遠隔サーバにデータベース８３０を実装することができる。この場合、データベース８３０の医療記録エントリは、クラウドサーバに格納され、インターネットアクセスを備えるコンピュータによってアクセスされることができる。
図８は、例示的な手術計画ツール８００の概略図を示している。１つの態様において、手術計画ツール８００は、電子医療デバイス記録データベース８３０とデータ通信する遠隔操作手術システム５０を含む。ここに示す遠隔操作手術システム５０は、図４に示す遠隔操作システム５０と類似する。１つの態様において、電子医療記録データベース８３０は、特定の病院又は複数の病院で治療を受けた患者の医療記録を含む。病院の現場に配置されるサーバにデータベース８３０を実装することができる。イントラネットネットワークを通じて病院のコンピュータからデータベース８３０中に含まれる医療記録エントリにアクセスすることができる。代替的に、例えば、多数のクラウドデータストレージサービスのうちの１つを使用して、病院から離れた場所に配置される遠隔サーバにデータベース８３０を実装することができる。この場合、データベース８３０の医療記録エントリは、クラウドサーバに格納され、インターネットアクセスを備えるコンピュータによってアクセスされることができる。
【0046】
１つの態様では、遠隔操作手術システム５０を使用して、外科的処置が第１の患者に対して行われる。遠隔操作手術システム５０と関連付けられる撮像デバイスが、手術部位の画像を取り込み、取り込んだ画像をビデオのフレームとして外科医コンソール５２のディスプレイに表示する。１つの態様では、外科医コンソール５２にいる医療従事者は、外科医コンソール５２の入力デバイスを使用して、表示されるビデオに示される特定の患者の解剖学的構造を協調し或いはそれに注釈を付ける。そのような入力デバイスの例は、図２に示す制御入力３６であり、制御入力３６は、表示されるビデオにオーバーレイされるグラフィックユーザインターフェースと連動して作動するカーソルに結合される。グラフィックユーザインターフェースは、ＱＷＥＲＴＹキーボード、マウス及び対話式スクリーンディスプレイのようなポインティングデバイス、タッチスクリーンディスプレイ、又はデータ若しくはテキスト入力若しくはマイクロホン及びプロセッサを介した音声注釈／スピーチからテキストへの変換のための他の手段を含むことができる。従って、医療従事者は、表示される画像内の特定の関心の組織を強調（ハイライト）し或いはテキスト注釈を入力することができる。
【0047】
１つの態様において、手術部位ビデオは、電子機器カート５６に配置されるディスプレイに追加的に表示される。１つの態様において、電子機器カート５６のディスプレイは、電子機器カートのディスプレイで見るために表示される画像に示される患者の解剖学的構造の特定の部分を協調し且つそれに注釈を付けるよう医療従事者によって使用可能なタッチスクリーンユーザインターフェースである。ユーザは、タッチスクリーンユーザインターフェースに表示される患者の解剖学的構造の部分に触れることによって、表示される画像の部分を強調することができる。加えて、ＱＷＥＲＹキーボードを含むグラフィックインターフェースを、表示される画像の上にオーバーレイすることができる。ユーザはＱＷＥＲＹキーボードを使用してテキスト注釈を入力することができる。
【0048】
１つの態様において、遠隔操作手術システム５０と関連付けられた撮像デバイスによって取り込まれた手術部位ビデオは、遠隔操作手術システム５０によって記録され、リアルタイム又は略リアルタイムでユーザに表示されることに加えて、データベース８３０に格納される。ユーザによって作成された記録されたビデオと関連付けられたハイライト及び／又は注釈も、データベース８３０に格納することができる。１つの態様において、ユーザによって作成されたハイライトは、データベース８３０への格納に先立ち、記録されたビデオに埋め込まれる。後に、記録されたビデオは、視認のために取り出される(retrieved)ことができる。１つの態様では、記録されたビデオを見る人は、ハイライトが表示されるか或いは表示から抑制されるかを選択することができる。同様に、記録されたビデオと関連付けられた注釈も、データベース８３０に格納されることができる。１つの態様において、ユーザによって行われた注釈は、記録されたビデオにタグを付けるために使用され、記録されたビデオに含まれる主題を特定する手段として提供されることができる。例えば、１つの注釈は、特定の疾病状態の状況を記述してよい。この注釈は、記録されたビデオにタグを付けるために使用される。後に、この疾病状態に関する記録された処置を見ることを望む人は、キーワードサーチを使用してビデオを探し出すことができる。
【0049】
（格納されたビデオの取出し）
幾つかの場合には、医療従事者が所与の患者に対して行われた過去の外科的処置のビデオ記録を見ることができるのが望ましい。１つの態様では、ある医療状態を治療する第１の外科的処置を受けた患者は、その後に、同じ医療状態の再発を治療する或いは第１の外科的処置の手術部位の近くに位置する解剖学的構造を治療する第２の外科的処置を必要とする。１つの態様において、第１の外科的処置の手術部位事象は手術部位ビデオ記録に取り込まれ、ビデオ記録は患者の電子医療記録の部分としてデータベース８３０中にアーカイブ記録される。患者に対して第２の外科的処置を行うに先立ち、医療従事者は、データベース８３０のサーチを行って、患者の以前の外科的処置のビデオ記録を探し出すことができる。
幾つかの場合には、医療従事者が所与の患者に対して行われた過去の外科的処置のビデオ記録を見ることができるのが望ましい。１つの態様では、ある医療状態を治療する第１の外科的処置を受けた患者は、その後に、同じ医療状態の再発を治療する或いは第１の外科的処置の手術部位の近くに位置する解剖学的構造を治療する第２の外科的処置を必要とする。１つの態様において、第１の外科的処置の手術部位事象は手術部位ビデオ記録に取り込まれ、ビデオ記録は患者の電子医療記録の部分としてデータベース８３０中にアーカイブ記録される。患者に対して第２の外科的処置を行うに先立ち、医療従事者は、データベース８３０のサーチを行って、患者の以前の外科的処置のビデオ記録を探し出すことができる。
【0050】
幾つかの場合には、患者に対して外科的処置を行うことを計画している医療従事者が、その患者と類似の特定の特性を有する人に対して行われた類似の外科的処置のビデオ記録を見ることができるのが望ましい。１つの態様では、各ビデオ録画がデータベース８３０中にアーカイブ記録される前に、外科的処置の手術部位ビデオ記録を、患者の年齢、性別、体格指数、遺伝情報、患者が受けた処置の種類等のような、メタデータ情報でタグ付けすることができる。１つの態様において、ビデオ録画をタグ付けするために使用されるメタデータ情報は、患者のその時の既存の医療記録から自動的に取り出され、次に、ビデオ録画がデータベース８３０中にアーカイブ記録される前に、ビデオ記録をタグ付けするために使用される。従って、ある患者に対して医療処置を行うに先立ち、医療従事者は、その患者と共通の特定の特性を共有する患者に対して行われた類似の処置のビデオ記録についてデータベース８３０を検索することができる。例えば、医療従事者が、体格指数が高い６５歳の男性患者に対して前立腺切除術を行うために遠隔操作手術システム５０を使用することを計画するならば、医療従事者は、類似の高い体格指数を有する類似の年齢の他の男性に対して遠隔操作手術システム５０を使用して行われた前立腺切除術の手術部位ビデオ記録についてデータベース８３０を検索することができる。
【0051】
１つの態様では、外科処置のビデオ記録は、データベース８３０によって（破線によって示す）任意のパーソナルコンピュータ８２０に伝達され、外科的処置を行うことを計画する医療従事者によって見られるために利用可能にされる。追加的に又は代替的に、以前の外科的処置のビデオ記録は、データベース８３０によって遠隔操作手術システム５０に伝達され、術前又は術中に見られるために利用可能にされる。１つの態様において、ビデオ記録は、遠隔操作手術システム５０によって、外科医コンソール５２に位置するディスプレイに表示される。他の態様において、第１の外科的処置のビデオ記録は、電子機器カート５６に位置するディスプレイに表示される。
【0052】
（クラウドベースのビデオデータベース）
１つの態様において、データベース８３０は、クラウドデータストレージサービスを使用して遠隔サーバに実装され、多数のヘルスケア提供者によってアクセス可能である。図８を参照すると、破線によって示すように、手術計画ツール８００は、任意的に、（破線によって示すような）遠隔操作手術システム８５０と、（破線で示すような）パーソナルコンピュータ８４０とを含む。１つの態様では、遠隔操作手術システム５０及びパーソナルコンピュータ８２０が第１のヘルスケア提供者に配置され、遠隔操作手術システム８５０及びパーソナルコンピュータ８４０が第２の場所に配置され或いは第２の医療提供者にさえ配置される点を除き、遠隔操作手術システム８５０は、遠隔操作手術システム５０と類似し、パーソナルコンピュータ８４０は、パーソナルコンピュータ８２０と類似する。１つの態様では、第１の患者が、医療状態の外科的治療を必要とし、第１のヘルスケア提供者で遠隔操作手術システム５０を使用して外科的処置を受ける。外科的処置のビデオ記録がデータベース８３０にアーカイブ記録される。後に、第２の患者が、同じ医療状態の外科的治療を必要とし、第２のヘルスケア提供者で遠隔操作手術システム８５０を使用して外科的治療を受けることを計画する。第２の患者に対して外科処置を行うに先立ち、医療従事者は、安全なインターネット接続を通じてデータベース８３０にアクセスし、類似の処置の手術部位ビデオ記録についてデータベース８３０を検索する。１つの態様において、第２の患者を治療する医療従事者は、第１の患者の身元の知識を取得することなく、第１の患者の外科的処置のビデオ記録をデータベース８３０から取り出すことができる。このようにして、第１の患者のプライバシーが維持される。１つの態様において、第１の患者の外科的処置のビデオ記録は、第１の患者を治療した医療従事者によって作成されたハイライト及び／又は注釈を含む。
１つの態様において、データベース８３０は、クラウドデータストレージサービスを使用して遠隔サーバに実装され、多数のヘルスケア提供者によってアクセス可能である。図８を参照すると、破線によって示すように、手術計画ツール８００は、任意的に、（破線によって示すような）遠隔操作手術システム８５０と、（破線で示すような）パーソナルコンピュータ８４０とを含む。１つの態様では、遠隔操作手術システム５０及びパーソナルコンピュータ８２０が第１のヘルスケア提供者に配置され、遠隔操作手術システム８５０及びパーソナルコンピュータ８４０が第２の場所に配置され或いは第２の医療提供者にさえ配置される点を除き、遠隔操作手術システム８５０は、遠隔操作手術システム５０と類似し、パーソナルコンピュータ８４０は、パーソナルコンピュータ８２０と類似する。１つの態様では、第１の患者が、医療状態の外科的治療を必要とし、第１のヘルスケア提供者で遠隔操作手術システム５０を使用して外科的処置を受ける。外科的処置のビデオ記録がデータベース８３０にアーカイブ記録される。後に、第２の患者が、同じ医療状態の外科的治療を必要とし、第２のヘルスケア提供者で遠隔操作手術システム８５０を使用して外科的治療を受けることを計画する。第２の患者に対して外科処置を行うに先立ち、医療従事者は、安全なインターネット接続を通じてデータベース８３０にアクセスし、類似の処置の手術部位ビデオ記録についてデータベース８３０を検索する。１つの態様において、第２の患者を治療する医療従事者は、第１の患者の身元の知識を取得することなく、第１の患者の外科的処置のビデオ記録をデータベース８３０から取り出すことができる。このようにして、第１の患者のプライバシーが維持される。１つの態様において、第１の患者の外科的処置のビデオ記録は、第１の患者を治療した医療従事者によって作成されたハイライト及び／又は注釈を含む。
【0053】
（コンピュータベースのパターンマッチング及び解析）
手術計画ツール８００は、コンピュータ実行可能なコードの形態において実施されるパターンマッチング及び解析アルゴリズムを含むことができる。１つの態様において、パターンマッチング及び解析アルゴリズムは、手術計画ツール８００の不揮発性メモリデバイスに格納され、データベース８３０中にアーカイブ記録されたビデオ記録を解析するように構成される。従前に議論したように、データベース８３０中にアーカイブ記録されたビデオ記録８３０の各々は、特定のメタデータ情報でタグ付けされ且つ／或いは特定のメタデータが埋め込まれることができる。このメタデータ情報は、患者の年齢、性別、及び患者の健康又は病歴を記述する他の情報のような、患者情報を含むことができる。加えて、従前に議論したように、メタデータ情報は、医療従事者によって作成されたハイライト又は注釈を含むことができる。１つの態様において、これらのハイライト及び注釈は、ビデオ録画に埋め込まれ、データベース８３０中にビデオと共にアーカイブ記録される。
手術計画ツール８００は、コンピュータ実行可能なコードの形態において実施されるパターンマッチング及び解析アルゴリズムを含むことができる。１つの態様において、パターンマッチング及び解析アルゴリズムは、手術計画ツール８００の不揮発性メモリデバイスに格納され、データベース８３０中にアーカイブ記録されたビデオ記録を解析するように構成される。従前に議論したように、データベース８３０中にアーカイブ記録されたビデオ記録８３０の各々は、特定のメタデータ情報でタグ付けされ且つ／或いは特定のメタデータが埋め込まれることができる。このメタデータ情報は、患者の年齢、性別、及び患者の健康又は病歴を記述する他の情報のような、患者情報を含むことができる。加えて、従前に議論したように、メタデータ情報は、医療従事者によって作成されたハイライト又は注釈を含むことができる。１つの態様において、これらのハイライト及び注釈は、ビデオ録画に埋め込まれ、データベース８３０中にビデオと共にアーカイブ記録される。
【0054】
１つの態様において、パターンマッチング及び解析アルゴリズムは、データベース８３０に格納された多数のビデオ記録の間で共有される形状及び色のパターンを特定する画像解析コンポーネントを含む。パターンマッチング及び解析アルゴリズムは、次に、ビデオ記録のこのサブセットと関連付けられたタグ付きメタデータを検討して、いずれかの単語又は成句がこのサブセット内のビデオと頻繁に関連付けられているか否かを決定する。パターンマッチング及び解析アルゴリズムによって実行されるこれらの解析を使用して、医療従事者が、患者の解剖学的構造、好適な外科的アプローチ、疾病状態、潜在的な合併症等についての決定を行うのを支援することができる。
【0055】
（手術計画ツールを使用する方法）
図９は、手術計画ツールを使用する方法９００を示している。１つの態様において、手術計画ツールは、図８の手術計画ツール８００と類似する。９１０で、医療患者を記述する事実又は特性、例えば、患者が患っている医療状態が、医療デバイスによって受信される。医療デバイスは、遠隔操作手術システム（例えば、図１の遠隔操作手術システム１０又は図４の遠隔操作手術システム５０）に位置するユーザインターフェースを介して、或いは、代替的に、図８のパーソナルコンピュータと類似のパーソナルコンピュータを通じて、この事実又は特性を受信することができる。９２０で、医療デバイスは、９１０で受信した事実又は特性を使用して、医療デバイスデータベースから外科的処置の少なくとも1つの関連するビデオ記録を取り出す。９３０で、医療デバイスは、ビデオ記録を使用して、手術計画情報を決定する。１つの態様において、手術計画情報は、記録された処置において使用される器具の種類を含む。９４０で、医療デバイスは、９３０で決定された手術計画情報をユーザに表示する。
図９は、手術計画ツールを使用する方法９００を示している。１つの態様において、手術計画ツールは、図８の手術計画ツール８００と類似する。９１０で、医療患者を記述する事実又は特性、例えば、患者が患っている医療状態が、医療デバイスによって受信される。医療デバイスは、遠隔操作手術システム（例えば、図１の遠隔操作手術システム１０又は図４の遠隔操作手術システム５０）に位置するユーザインターフェースを介して、或いは、代替的に、図８のパーソナルコンピュータと類似のパーソナルコンピュータを通じて、この事実又は特性を受信することができる。９２０で、医療デバイスは、９１０で受信した事実又は特性を使用して、医療デバイスデータベースから外科的処置の少なくとも1つの関連するビデオ記録を取り出す。９３０で、医療デバイスは、ビデオ記録を使用して、手術計画情報を決定する。１つの態様において、手術計画情報は、記録された処置において使用される器具の種類を含む。９４０で、医療デバイスは、９３０で決定された手術計画情報をユーザに表示する。
【0056】
図１０は、幾つかの実施形態に従ったコンピュータ可読ストレージデバイス１００４内のストレージアトラス１００２(storage atlas)を表す例示的な図である。ストレージアトラス１００２は、以前に実行された外科的処置の事例(instances)を示す第１のデータ情報構造１００６を含む。第１のデータ情報構造１００６の各々の異なる事例は、異なる手術に対応する。個々の手術事象と関連付けられる第２のデータ情報構造は、対応する時間間隔（ｔ１，ｔ２，．．ｔｎ）で、動画像セグメント（ＭＰＩ１，ＭＰＩ２，．．ＭＰＩｎ）を、運動学的情報セグメント（ＫＩＮ１，ＫＩＮ２，．．ＫＩＮｎ）、手術システム作動状態（Ａｓｔａｔｅ１，Ａｓｔａｔｅ２，．．Ａｓｔａｔｅｎ）、及び対応する注釈（ＡＮＯＴ１，ＡＮＯＴ２，．．ＡＮＯＴｎ）と関連付ける。所与の種類の複数の手術事象に基づき生成される第１の制御信号ルール情報構造１０１０は、運動学／画像署名(image signature)／作動状態の組み合わせを、制御信号、例えば、（ＳｉｇＫ１，ＳｉｇＩ１，Ａｓｔａｔｅ１，ＣＮＴＬＫＩＡ１）．．．（ＳｉｇＫｎ，ＳｉｇＩｎ，Ａｓｔａｔｅｎ，ＣＮＴＬＫＩＡｎ）と関連付ける。第１のルール情報構造１０１０の各々の異なる事例は、異なるカテゴリの手術に対応する。個々の手術事象に関連付けられる第３のデータ情報構造１０１２は、対応する時間間隔（ｔ１，ｔ２，．．ｔｎ）で、動画像セグメント（ＭＰＩ１，ＭＰＩ２，．．ＭＰＩｎ）を、触覚情報セグメント（ＨＡＰ１，ＨＡＰ２，．．ＨＡＰｎ）と関連付ける。所与の種類の複数の手術事象に基づき生成される第２の診断ルール情報構造１０１４が、診断画像署名（ＳｉｇＩＤＩＡＧ１，ＳｉｇＩＤＩＡＧ２，．．ＳｉｇＩＤＩＡＧｍ）を、診断運動学署名（ＳｉｇＫＤＩＡＧ１，ＳｉｇＫＤＩＡＧ２，．．ＳｉｇＫＤＩＡＧｍ）及び診断（ＤＩＡＧ１，ＤＩＡＧ２，．．ＤＩＡＧｍ）と関連付ける。第２の診断ルール情報構造１０１４の各々の異なる事例は、異なるカテゴリの手術に対応する。
【0057】
幾つかの実施形態によれば、画像情報は、完全な可視スペクトル、蛍光、ハイパースペクトル、ＣＴ／ＭＲＩに亘るビデオ画像の形態にあることができる。画像情報又はこれらの画像情報のうちの幾つかの画像情報の組み合わせは、疾病状態を評価する／診断を決定する基礎として使用されることができる。
【0058】
図１１は、幾つかの実施形態に従った個々の外科的処置に関する情報を含む、ストレージデバイス１００４中のアトラス１００２内に含められる第１のデータ情報構造１００６の例示的な事例を表す例示的な図である。本明細書に記載するロボット支援手術システムの多くの異なる事例を使用する多くの異なる外科医によって、多数の外科的処置が多数の異なる患者に対して行われることが理解されるであろう。第１のデータ情報構造１００６の事例は、実行される各外科的処置のためにコンピュータ可読ストレージデバイス内で生成され且つその内に格納されることができる。例示的な第１のデータ情報構造１００６は、例えば、前立腺切除術、子宮摘出術又は部分腎摘出術のような、外科的処置の種類を示す、手術種類フィールド１００６－１を含む。
【0059】
例示的な第１のデータ情報構造１００６は、例えば、年齢、体重、血液型、身長、性別、及び人種のような、手術される患者に関する情報を提供する、患者健康記録フィールド１００６－２を含む。例示的な第１のデータ情報構造１００６は、例えば、一般的な経験レベル、ロボット支援手術システムを操作する経験レベルのような、外科医が個々の手術を行うことに関する情報を提供する、医師情報フィールド１００６－３を含む。例示的な第１のデータ情報構造１００６は、例えば、製造者、モデル、及び製造番号のような、手術を行うために使用される手術システムに関する情報を提供する、手術システムフィールド１００６－４を含む。例示的な第１のデータ情報構造１００６は、外科処置中にシステムを使用して提供される動画像、器具運動学及び触覚フィードバックのような情報を提供する、手術記録フィールド１００６－５を含む。例示的な第１のデータ情報構造１００６は、例示的な第１のデータ情報構造１００６内の画像情報、運動学的情報又は触覚情報と関連付けられた記述情報を含むタグのような、注釈情報を提供する、手術記録フィールド１００６－６を含む。
【0060】
図１２は、ストレージデバイス中のアトラス１００２内に含められる第２のデータ情報構造１００８の例示的な事例を表す例示的な図であり、第２のデータ情報構造１００８は、個々の外科的処置、対応する手術器具運動学的情報セグメント、対応する手術器具作動状態、及び対応する注釈から記録された動画像セグメントを関連付ける。例示的な第２のデータ情報構造１００８は、第１のデータ情報構造１００６の記録フィールド１００６－５内の情報の追加的な詳細を提供する。１つの態様において、患者の解剖学的構造の動画像、対応する手術用器具の運動学、及び対応する手術システム作動状態が、手術中に記録されてタイムスタンプ（ｔ１，ｔ２，．．ｔｎ）を押されて、外科的処置中の手術活動の履歴的記録及び対応する器具運動学を生成する。幾つかの実施形態において、動画像は、手術中に解剖学的構造を手術するために使用される手術器具の画像も含む。タイムスタンプは、動画像を手術器具の運動学と時間的に整列させる。
【0061】
手術中、外科医又は外科チームの他の構成員のようなユーザが、解剖又は縫合のような対応する外科的活動、解剖学的構造、特定の外科的複雑さ、外科医の観察、又は処置の段階を示すメタデータを用いて、記録された動画情報及び関連する記録された手術器具運動学的情報に注釈を加えてよい。注釈は、例えば、記録された動画情報及び／又は記録された手術器具の運動学的情報、ビデオ記録中の画像の着色又は強調（例えば、テレストレーション）にタグ付けされた書面注釈(written note)のうちの１つ又はそれよりも多くの組み合わせを含んでよ。注釈は、例えば、タイムスタンプされた記録画像情報及び／又は記録された運動学的情報に後で加えられてよい。
【0062】
遠隔操作される外科的処置中、手術システム作動状態の変化をもたらす手術活動が起こり得ることが理解されるであろう。外科医は自分の頭をビューア３１に出入りさせて、ヘッドイン状態の変化をもたらしてよい。外科医は自分の手又は足を制御入力３６と接触させたり接触を外したりして、例えば、後続の状態の変化をもたらしてよい。使用中の器具の組み合わせが変更されてよく、例えば、それは器具種類状態の変化をもたらすことがある。
【0063】
１つ又はそれよりも多くの外科的状態における手術活動を支援する手術器具の操作は、外科医が手術活動を行った実際の仕方を示す、器具動作を示す手術システム内の運動学的情報の生成をもたらす。外科医は、例えば、器具を迅速に又はゆっくりと動かした場合がある。外科医は、例えば、１つ又は他の経路に沿って解剖学的構造に向かう方向に又は解剖学的構造から離れる方向に手術器具を移動させた場合がある。外科医は、特定の器具を作動させる前に、例えば、異なる器具の位置を調整した場合がある。記録された解剖学的構造画像情報、記録された器具運動学的情報、及び記録されたシステム作動状態の組み合わせは、手術中にどの画像が外科医に提示されたか、外科医がそれらの画像に呼応してどの活動を行ったのか、及びその時の手術システムのシステム作動状態は何であったかについての記録を提供することが理解されるであろう。対応する注釈が、外科的処置の過程で記録された関連する画像及び運動学に追加的な洞察を提供することができる。運動学的情報は手術システムから（例えば、関節データ又は他の機械的トラッキングを介して）直接的に導出されることができるが、様々な他の実施形態において、運動学的情報は、画像処理又はセンサデータ（例えば、内視鏡画像内のツール／器具トラッキング）から抽出されることができる。
【0064】
図１３Ａ乃至図１３Ｃは、例示的な手術器具１２０２及びアクチュエータアセンブリ１２０３を示す例示的な図であり、そこでは、手術器具１２０２は、幾つかの実施形態に従った３つの異なる例示的な手術器具の作動状態で示されている。例示的な手術器具１２０２は、開いた状態及び閉じた状態とそれらの間の部分的に開いた状態／部分的に閉じた状態の連続との間で移行することができるジョーエンドエフェクタ１０４を含む。例示的な手術器具１２０２は、異なる二次元（ｘ，ｙ）位置状態の間で動くことができる２自由度（２－ｄｏｆ）リスト１２０６も含む。例示的なアクチュエータアセンブリ１２０３は、第１のアクチュエータ１２０８を含み、第１のアクチュエータ１２０８は、幾つかの実施形態において、ジョーエンドエフェクタ１２０４を作動させるために使用されるジョーモータ（ＪＭ）を含む。例示的なアクチュエータアセンブリ１２０３は、第２のアクチュエータ１２０１０を含み、第２のアクチュエータ１２１０は、幾つかの実施形態において、リスト１２０６を作動させるために使用されるリストモータ（ＷＭ）を含む。手術中、手術器具１２０２は、外科的処置中の異なる活動に対応する多数の複数の器具作動状態を通じて移行することがある。各移行は、取り込まれ且つ格納される運動学的情報の生成をもたらし、運動学的情報は、手術器具が１つの状態におけるその物理的場所及び物理的配置（例えば、開いた配置又は閉じた配置）から次の状態におけるその物理的場所及び物理的配置に移行するときの器具の動きを示す。例えば、図１３Ａに示すように、外科的処置は、第１のアクチュエータ１２０８（ＪＭ）がジョーエンドエフェクタ１２０４を完全に開いた状態に配置し、第２のアクチュエータ１２１０（ＷＭ）が、リスト１２０６を第１の位置状態（ｘ１，ｙ１）に配置する。例えば、図１３Ｂに示すように、外科的処置は、第１のアクチュエータ１２０８がジョーエンドエフェクタ１２０４を完全に閉じた状態に移行させ、第２のアクチュエータ１２１０がリスト１２０６を第２の位置状態（ｘ２，ｙ２）に移行させる、第２の手術活動を含んでよい。例えば、図１３Ｃに示すように、外科的処置は、第１のアクチュエータ１２０８がジョーエンドエフェクタ１１０４を部分的に開いた／部分的に閉じた状態に配置し、第２のアクチュエータ１２１０がリスト１２０６を第３の位置状態（ｘ３，ｙ３）に移行させる、第３の手術活動を含んでよい。
【0065】
図１４は、ストレージデバイス１００４中のアトラス１００２内に含められる第１の制御信号ルール情報構造１０１０の例示的な事例を表す例示的な図であり、第１の制御信号ルール情報構造１０１０は、幾つかの実施形態に従って、運動学的署名情報、画像署名情報、及びシステム作動状態情報を、制御信号と関連付けるルールを含む。ルールは、第１及び第２のデータ情報構造１００６，１００８に表された以前の手術からのデータに基づいて開発される。第１のルールは、解剖学的画像のパターン、器具運動学及びシステム状態を、外科的処置中にシステムの動作を制御するために或いは外科医にガイダンスを提供するために用いられる制御信号と相関させる。
【0066】
幾つかの実施形態によれば、運動学的署名は、多次元ベクトルを含む。幾つかの実施形態において、器具の記録された運動学的動作は、例えば、瞬間速度、瞬間加速度、瞬間三次元位置、動作の現在の経路及び動作の予測される経路のような、運動学的特徴を表す多数のベクトルに分解される。器具の動作及び位置のみならず、器具に対する解剖学的構造の物理的場所、他の器具の物理的場所、患者の健康及び手術の性質のようなその脈絡も、運動学的情報の解釈に関連することができる。その上、以前の器具の動きは、器具を次にどこに動かすかのような、評価に関連することができ、それは少なくとも部分的に器具運動学に基づく。よって、幾つかの実施形態では、器具運動学ベクトルは、例えば、解剖学的構造の場所、他の器具の場所、患者の健康、手術の種類及び器具の事前の動きを示すベクトルも含む。
【0067】
幾つかの実施形態によれば、画像署名は、多次元ベクトルを含む。幾つかの実施形態において、解剖学的構造の記録された動画像は、例えば、色、テクスチャ、及び幾何学的形状のような、画像特徴を表す多数のベクトルに分解される。その上、畳込みニューラルネットワークでは、より低いレベルの特徴（例えば、色エッジ等）がある。後続の層では、より高いレベルの特徴が学習され、最終的に、例えば、解剖学的構造又は組織種類の分類がもたらされる。解剖学的構造の外観のみならず、患者の健康、手術の性質、特定の種類のロボット支援手術における外科医の技能レベル、及び正しい手術器具がシステム内に装着されていることをシステム状態が示しているか否かのようなその脈絡も、解剖学的画像の解釈に関連することができる。その上、外科的処置の過程における解剖学的構造の外観の変化は、解剖学的画像の解釈に関連し得る。よって、幾つかの実施形態では、画像ベクトルは、例えば、患者の健康記録情報、手術の種類、及び異なる手術段階での解剖学的画像外観の比較を示すベクトルも含む。
【0068】
幾つかの実施形態によれば、異なる制御信号が、画像署名、運動学的署名、及び作動システム状態の異なる組合せと関連付けられる。幾つかの実施形態において、幾つかの制御信号は、器具作動状態を制御する。例えば、画像署名、運動学的署名、及び作動システム状態の幾つかの組み合わせは、安全でない手術活動に対応することがあり、対応する制御信号は、手術システムに器具の動作をフリーズさせ且つ／或いは外科医への通知（例えば、視覚的、可聴、及び／又は触覚的な警告、又は関連するガイダンス／情報が利用可能である表示）を生成させるように作動することがある。例えば、器具の動きは、カメラの視野の外側にある。代替的に、例えば、画像署名、運動学的署名、及び作動システム状態の幾つかの組み合わせは、特に繊細な手術活動に対応してよく、対応する制御信号は、手術システムに、器具の動きの速度をより安全な速度に落とさせるように作動してよく、或いは、怪我を避けるために器具の動作範囲を制限してよく、或いは、外科医への推奨通知（例えば、ビューア内に表示される矯正／警告情報のオーバーレイ又は関連するガイダンス／情報へのアクセスの提示）を生成してよい。例えば、前立腺切除術中の神経の保存、又は僧帽弁修復中の縫合。
【0069】
幾つかの実施形態によれば、機械学習技法を使用して画像署名を生成し、運動学的署名を生成することができる。より具体的には、例えば、分類子(classifiers)を専門家知識と共に使用して、画像署名及び運動学的署名を制御信号と相関させることができる。例えば、専門外科医入力に基づいて、第１及び第２のデータ情報構造１００６，１００８内の手術データを評価して、異なる解剖学的画像、器具運動学及び手術システム状態の脈絡において、適切なシステム動作を決定する。決定されたシステム動作をもたらす制御信号は、第１のルール情報構造１０１０において、解剖学的画像署名、器具運動学的署名及びシステム状態と関連付けられる。幾つかの実施形態によれば、画像署名及び運動学的署名をシステム状態情報と組み合わせて、制御信号に対応する１つの全体的な署名を生成することができる。
【0070】
図１５は、幾つかの実施形態に従った、解剖学的画像情報、器具運動学及びシステム状態に少なくとも部分的に基づいて制御信号を生成するプロセス１５０２を表す、例示的なフロー図である。コンピュータプロセッサ５８は、幾つかの実施形態に従ってプロセス１５０２を行うように構成される。外科的処置の実行中、ルールブロック１５０４が、手術中の動画像、器具運動学及び手術システム状態、並びに第１のルール情報構造１０１０からのルールに基づいて、制御信号の放射(launch)を引き起こさせるか否かを決定する。
【0071】
より具体的には、システム１０を使用した外科的処置の実行中、ルールブロック１５０４は、手術中に生成される動画像情報を受信し、手術中に生成される器具運動学的情報を受信し、そして、手術中に生成されるシステム状態情報を受信する。カメラ５２８は、手術中に動画情報を取り込む。コンピュータプロセッサ５８は、ブロック１５０６で、対応する画像情報をルールブロック１５０４に提供する。アクチュエータ１２０８，１２１０のような器具アクチュエータが、手術中に器具動作をもたらす作動命令を受信する。コンピュータプロセッサ５８は、ブロック１５０８で、作動命令に基づいて器具の運動学的情報を決定し、その運動学的情報をルールブロック１５０４に提供する。システムは、操作者がビューアに対して自分の頭を配置したか否か、操作者は手及び／又は足３６で制御入力に行ったか否か、どの器具が使用のために挿入されているかのような、システム状態を検知するセンサ（図示せず）を含む。コンピュータプロセッサ５８は、ブロック１５１０で、システム状態情報をルールブロック１５０４に提供する。
【0072】
また、外科的処置中、制御信号ルール記憶ブロック１５１２は、第１の制御信号ルール情報構造１０１０の第１のルールブロック部分１０１０Ａ内からの画像署名情報、運動学的署名情報、及びシステム作動状態情報を、ルールブロック１５０４に提供する。ルールブロック１５０４は、ブロック１５０６、１５０８、１５１０によってそれぞれ提供される画像情報、運動学的情報及びシステム情報を、第１のルールブロック部分１０１０Ａからの関連付けられる画像署名（ＳｉｇＩ）、運動学的署名（ＳｉｇＫ）及びシステム状態（Ａｓｔａｔｅ）情報と比較する。幾つかの実施形態において、コンピュータプロセッサ５８は、システム１０によって生成される画像情報、運動学的情報及びシステム情報を、制御信号ルール情報構造１０１０の第１の部分１０１０Ａからの署名及び状態情報との比較に適したフォーマットに変換するように構成されることが理解されるであろう。具体的には、幾つかの実施形態では、生の画像／運動学／システム状態を処理して分類（信号／確率）を導き出し、次に、表中で分類を検索して、決定された分類に基づいてどの行動を取るべきか決定する。
【0073】
決定モジュール１５０６は、提供された画像、運動学及びシステム状態情報と第１のルールブロック部分１０１０Ａからのルール情報との間で一致（マッチング）が生じるか否かを決定する。 機械学習の実施形態では、画像、運動学及びシステム状態情報とルール情報との間の類似性の範囲に基づいて一致が決定されることが理解されるであろう。よって、例えば、特定のルールの何らかの閾値限界内にある生成された画像、生成された運動学及び生成されたシステム状態情報の組み合わせが、そのルールと一致するように決定される。
【0074】
ブロック１５１４は、画像、運動学及びシステム状態情報の組み合わせとルールとの間の一致の決定に応答して、マッチングルールに対応する制御信号ルール情報構造１０１０の第２のルール部分１０１０Ｂ内から制御信号を発する(launches)。例えば、外科的処置中に受信した画像、運動学及びシステム状態情報が、第１の部分１０１０ＡのＳｉｇＩ２、ＳｉｇＫ２及びＡｓｔａｔｅ２と一致するという決定に応答して、ブロック１５１６は、制御信号情報構造１０１０の第２の部分１０１０Ｂ内から信号ＣＮＴＬＩＫＡ２を発する。よって、発せられた制御信号は、実際のシステム情報に依存する。その上、発せられた制御信号は、器具の作動を制御するように作動することができる。例えば、他の器具との衝突を避けることのような、特定の器具の動きを妨げる制御信号が発せられることができる。例えば、速度を制限することによって、特定の器具の動きがどのように起こるかを制御する制御信号が発せられることができる。例えば、外科医が次に使用する可能性の高い器具との衝突を防ぐために器具を中立位置に動かすことのような、器具が次に何を行うかを制御する制御信号が発せられることができる。一致が検出されない間に、決定モジュールは、制御フローをルールブロック１５０４にフィードバックする。同様に、制御信号の放射後、制御はルールブロック１５０４に戻って、手術中に生成される画像、運動学及びシステム情報を制御信号情報構造１０１０からのルールと比較することを継続する。
【0075】
図１６は、幾つかの実施形態に従った、記録された動画像セグメントを触覚情報セグメントと関連付ける、ストレージデバイス１００４中のアトラス１００２内に含められる第３のデータ情報構造１０１２の例示的な事例を表す例示的な図である。例示的な第３のデータ情報構造１０１２は、第１のデータ情報構造１００６の記録フィールド１００６－５内の情報の追加的な詳細を提供する。１つの態様において、外科医／操作者に付与される患者解剖学的構造の動画像及び対応する触覚フィードバック情報は、外科医が何を観察したか及び外科医が外科的処置中の制御入力での物理的触覚を通じて何を検知したかについての履歴的記録を生成するために、手術中に記録され且つタイムスタンプ（ｔ１，ｔ２，．．．ｔｎ）される。タイムスタンプは、動画像を手術器具運動学と時間的に整列させる。
【0076】
触覚学(haptics)は、概して、触覚フィードバック(touch feedback)を記述しており、触覚フィードバックは、運動感覚（力）及び皮膚(触覚)(tactile)フィードバック並びに振動及び動きを含むことがある。遠隔操作手術システムでは、自然な触覚フィードバックが概ね排除される。何故ならば、外科医は器具を直接的に操作しないからである。図６を参照すると、幾つかの実施形態によれば、手術器具５２０の患者側に取り付けられた人工触覚センサ６６０が触覚情報を取得することができ、検知した情報を外科医に伝えるために外科医側に表示する。図５Ａを参照すると、運動感覚又は力フィードバックシステムは、典型的には、手術用器具による手術シーン内の患者の解剖学的構造に加えられる力を測定又は推定し、制御入力３６に取り付けられた力フィードバックデバイス３９を介して外科医の手に分解力(resolved force)を提供する。触覚フィードバックは、局所的な組織変形のような情報を提供して、組織表面に亘る分布を強いるために使用されることができる。
【0077】
図１６を再び参照すると、第３のデータ情報構造１０１２は、動画情報セグメントを力フィードバックデバイス３９に供給される同時の触覚フィードバック情報と関連付ける。よって、第３の情報構造内のデータは、外科的処置中に外科医の視覚及び触覚入力の記録を表すことができる。この情報は、外科医の機械技法の訓練を助けるために使用されることができ、外科医の診断を訓練するときの助けとしても使用されることができる。
【0078】
図１７は、幾つかの実施形態に従った、手術経験を再生するよう遠隔操作ロボット支援手術システムを構成するプロセス１７０２を表す例示的なフロー図である。コンピュータプロセッサ５８は、幾つかの実施形態に従ってプロセス１７０２を実行するように構成される。プロセッサ５８は、記録された動画情報を使用して、ビューアで記録された動画を再生するようにカメラ５２８を構成する。プロセッサ５８は、記録された触覚情報を使用して、制御入力３６で記録された触覚フィードバックを付与するように力フィードバックデバイス３９を構成する。幾つかの実施形態において、力フィードバックデバイス３９は、振動触覚デバイスを含む。
【0079】
そのような再生は、外科医自身の以前の外科的経験に基づいて或いは他の者の以前の外科的経験に基づいて外科システムをより効果的に使用するよう外科医を訓練するのに有用であることが理解されるであろう。画像及び対応する触覚フィードバック力が再生されている間にビューア３１を覗き込み且つ制御入力３６に触れることによって、外科医は記録された手術を経験することができる。次に、外科医は、代替的なの外科的アプローチを実験し、例えば、それらの代替的なアプローチの間の視覚的及び触覚的な感覚を以前の手術の感覚と比較することができる。図１８は、幾つかの実施形態に従った、画像署名情報及び触覚フィードバック情報を診断と関連付けるルールを含む、ストレージデバイス１００４中のアトラス１００２内に含められる第２の診断ルール情報構造１０１４の例示的な事例を表す例示的な図である。このルールは、第１及び第３のデータ情報構造１００６，１０１２に表される以前の手術からのデータに基づいて開発される。第２のルールは、解剖学的画像のパターン及び触覚フィードバックを診断と相関させる。
【0080】
上で説明したように、画像署名は、多次元ベクトルを含む。加えて、幾つかの実施形態によれば、触覚フィードバック照明は、多次元ベクトルを含む。幾つかの実施形態において、記録された触覚フィードバックは、フィードバック力の場所、周波数及び強度のような触覚フィードバック特徴を表す多数のベクトルに分解される。フィードバック力の場所、周波数及び強度のみならず、患者の健康及び手術の性質のようなその脈絡も、フィードバック信号の解釈に関連することができる。よって、幾つかの実施形態では、多次元触覚フィードバックベクトルは、例えば、患者の健康及び手術の種類を示すベクトルも含む。
【0081】
幾つかの実施形態によれば、機械学習技法を使用して画像署名を生成し、触覚フィードバック署名を生成することができる。より具体的には、例えば、分類子を専門家知識と共に使用して、画像署名及び触覚署名を診断と相関させることができる。第１及び第３のデータ情報構造１００６，１０１２内の手術データを、例えば、専門外科医入力に基づいて評価して、異なる解剖学的画像及び触覚フィードバック力の脈絡において適切な診断を決定する。幾つかの実施形態によれば、画像署名及び触覚署名を互いに組み合わせて、診断に対応する１つの全体的な署名を生成することができる。
【0082】
図１９は、幾つかの実施形態に従った、解剖学的画像情報及び触覚フィードバック情報に少なくとも部分的に基づいて診断を生成するプロセス１９０２を表す例示的なフロー図である。コンピュータプロセッサ５８は、幾つかの実施形態に従ってプロセス１９０２を実行するように構成される。外科的処置の実行中、ルールブロック１９０４は、手術中の動画像及び触覚フィードバック力並びに第２のルール情報構造１０１４からのルールに基づいて診断を報告するか否かを決定する。
【0083】
より具体的には、システム１０を使用した外科的処置の実行中、ルールブロック１９０４は、手術中に生成される動画像情報を受信し、手術中に生成される触覚フィードバック情報を受信する。カメラ５２８は、手術中に動画情報を取り込む。コンピュータプロセッサ５８は、ブロック１９０６で、対応する画像情報をルールブロック１９０４に提供する。触覚フィードバック力デバイス３９は、触覚フィードバック力を生成する。コンピュータプロセッサ５８は、ブロック１９０８で、作動命令に基づいて触覚フィードバック力情報を決定し、運動学的情報をルールブロック１９０４に提供する。
【0084】
また、外科的処置中、診断ルール記憶ブロック１９１２は、診断ルール情報構造１０１４の第１のルールブロック部分１０１４Ａからの画像署名情報及び触覚フィードバック情報をルールブロック１９０４に提供する。ルールブロック１９０４は、ブロック１９０６，１９０８によって提供される画像及び触覚フィードバック情報を、それぞれ、ルール診断構造１０１４の第１のルールブロック部分１０１４Ａからの関連付けられた画像署名（ＳｉｇＩ）及び触覚フィードバック署名（ＳｉｇＨ）と比較する。幾つかの実施形態において、コンピュータプロセッサ５８は、システム１０によって生成される画像及び触覚フィードバック情報を、診断ルール情報構造１０１４の第１の部分１０１４Ａからの署名及び状態情報との比較に適したフォーマットに変換するように構成されることが理解されるであろう。
【0085】
決定モジュール１９１４は、提供された画像及び触覚フィードバック情報と診断ルール情報構造１０１４の第１のルール部分１０１４Ａからの情報との間に一致が生じているか否かを決定する。機械学習の実施形態では、画像及び触覚情報とルール情報との間の類似性の範囲に基づいて一致が決定される。よって、例えば、特定のルールの閾値限界内にある生成された画像と生成された触覚情報との組み合わせは、そのルールと一致すると決定される。
【0086】
ブロック１９１４は、画像、運動学及びシステム状態情報の組み合わせとルールとの間の一致の決定に応答して、一致ルールに対応する第１の制御信号ルール情報構造１０１０の第２のルールブロック１０１０Ｂ部分内から制御信号を発する。例えば、外科的処置中に受信した画像及び触覚フィードバック情報が、診断情報構造１０１４の第１の部分１０１４ＡのＳｉｇＩ２及びＳｉｇＨ２と一致するという決定に応答して、ブロック１９１６は、診断情報構造１０１４の第２の部分からの診断ＤＩＡＧ１をビューア３１に報告する。よって、手術中の診断は、手術中に生成される実際のシステム情報及び多くの以前の手術で記録された情報に依存する。プロセス１９０２中、一致が検出されない間に、決定モジュール１９１４は、制御フローをルールブロック１９０４にフィードバックする。同様に、診断後、制御フローはルールブロック１９０４に戻り、手術中に生成される画像及び触覚と診断ルール情報構造１０１４からのルールとの比較を続ける。
【0087】
例示的な実施形態を示し且つ記載したが、広範な修正、変更、及び置換が前述の開示において想定され、幾つかの場合、実施形態の幾つかの構成は、他の構成の対応する使用を伴わずに利用されてよい。当業者は、多くの変形、代替、及び修正を認識するであろう。よって、本開示の範囲は、添付の請求項によってのみ限定されるべきであり、請求項は本明細書に開示する実施形態の範囲と一致する方法において広く解釈されるのが適切である。
【図1】
【図2】
【図3】
【図4】
【図5A】
【図5B】
【図5C】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13A】
【図13B】
【図13C】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】