(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-10
(54)【発明の名称】協調的機器制御システム
(51)【国際特許分類】
A61B 34/20 20160101AFI20241003BHJP
A61B 90/90 20160101ALI20241003BHJP
A61B 1/00 20060101ALI20241003BHJP
【ＦＩ】
A61B34/20
A61B90/90
A61B1/00 552
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024519370
(86)(22)【出願日】2022-09-26
(85)【翻訳文提出日】2024-05-09
(86)【国際出願番号】 IB2022059096
(87)【国際公開番号】W WO2023052946
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】63/249,980
(32)【優先日】2021-09-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/449,771
(32)【優先日】2021-10-01
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】506157570
【氏名又は名称】シラグ・ゲーエムベーハー・インターナショナル
【氏名又は名称原語表記】Ｃｉｌａｇ ＧＭＢＨ Ｉｎｔｅｒｎａｔｉｏｎａｌ
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】シェルトン・ザ・フォース・フレデリック・イー
(72)【発明者】
【氏名】シャイブ・チャールズ・ジェイ
(72)【発明者】
【氏名】ハリス・ジェイソン・エル
(72)【発明者】
【氏名】ハッサン・アレクサンダー・タレク
(72)【発明者】
【氏名】シュー・トラヴィス・マイケル
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161AA01
4C161AA04
4C161AA07
4C161AA24
4C161CC06
4C161GG13
4C161HH51
4C161HH52
4C161HH55
4C161HH56
4C161LL02
4C161NN09
4C161VV04
(57)【要約】
内視鏡下及び腹腔鏡下で手術するための手術システムが提供される。手術システムは、第１の場面の画像データを伝送するように構成された第１のスコープ装置を備える。第２のスコープ装置は、第２の場面の画像データを伝送するように構成されている。追跡装置は、第１又は第２のスコープ装置に関連付けられ、第１又は第２のスコープ装置の位置を示す信号を伝送するように構成されている。第１の手術器具は、標的組織構造の内側と相互作用するように構成されている。第２の手術器具は、標的組織構造の外側と相互作用するように構成されている。コントローラは、（ｉ）伝送された画像データ及び伝送された信号を受信して、（ｉｉ）第１の相対距離、第２の相対距離、及び第３の相対距離を決定するように構成されている。器具の相対移動は、決定された相対距離に基づいて協調される。
【特許請求の範囲】
【請求項1】
手術システムであって、第１のスコープ装置であって、天然の体腔及び器官のうちの少なくとも１つの内部に少なくとも部分的に配置されるように構成されており、前記第１のスコープ装置の視野内の第１の場面の画像データを伝送するように構成されている、第１のスコープ装置と、
第２のスコープ装置であって、前記天然の体腔及び前記器官のうちの前記少なくとも１つの外側に少なくとも部分的に配置されるように構成されており、前記第２のスコープ装置の視野内の第２の場面の画像データを伝送するように構成されており、前記第２の場面は前記第１の場面とは異なる、第２のスコープ装置と、
追跡装置であって、前記第１のスコープ装置又は前記第２のスコープ装置のうちの一方に関連付けられており、前記第１のスコープ装置又は前記第２のスコープ装置のうちの前記一方の、前記第１のスコープ装置又は前記第２のスコープ装置のうちの他方に対する位置を示す信号を伝送するように構成されている、追跡装置と、
第１の手術器具であって、前記天然の体腔及び前記器官のうちの少なくとも１つの内部に少なくとも部分的に配置されるように構成されており、手術部位において標的組織構造の内側と相互作用するように構成されている、第１の手術器具と、
第２の手術器具であって、前記天然の体腔及び前記器官のうちの前記少なくとも１つの外側に少なくとも部分的に配置されるように構成されており、前記標的組織構造の外側と相互作用するように構成されている、第２の手術器具と、
コントローラであって、（ｉ）前記第１の場面及び前記第２の場面の前記伝送された画像データ、並びに（ｉｉ）前記伝送された信号を受信し、前記伝送された信号及び画像データに基づいて、前記第１のスコープ装置から前記第２のスコープ装置までの第１の相対距離、前記第１のスコープ装置から少なくとも１つの天然の体腔及び器官内に位置付けられた前記第１の手術器具までの第２の相対距離、並びに前記第２のスコープ装置から少なくとも１つの天然の体腔及び前記器官の外側に位置付けられた前記第２の手術器具までの第３の相対距離を決定するように構成されており、前記手術部位における前記第１の器具及び前記第２の器具の相対移動は、前記決定された相対距離に基づいて協調的である、コントローラと、を備える、手術システム。
【請求項2】
前記第１のスコープ装置が内視鏡であり、前記第２のスコープ装置が腹腔鏡である、請求項１に記載の手術システム。
【請求項3】
前記第１の場面が前記第２のスコープ装置を含まず、前記第２の場面が前記第１のスコープ装置を含まない、請求項１又は請求項２に記載の手術システム。
【請求項4】
前記第１の場面が前記第２の器具を含まず、前記第２の場面が前記第１の器具を含まない、請求項１に記載の手術システム。
【請求項5】
前記追跡装置が、前記天然の体腔及び前記器官のうちの１つの内部の前記第１のスコープ装置の向きを示す信号を伝送するように更に構成されている、請求項１に記載の手術システム。
【請求項6】
前記追跡装置が、前記天然の体腔及び前記器官のうちの前記少なくとも１つの外側に位置付けられる前記第２のスコープ装置の向きを示す信号を伝送するように更に構成されている、請求項１に記載の手術システム。
【請求項7】
前記コントローラが、前記決定された相対距離に基づいて、前記第１の器具及び前記第２の器具を互いに対して同時に移動させるように構成されている、請求項１に記載の手術システム。
【請求項8】
前記コントローラが、前記第１の場面及び前記第２の場面の前記伝送された画像データ並びに前記伝送された信号に基づいて、前記標的組織構造において、前記第１の器具及び前記第２の器具の互いに対する移動を制限するように構成されている、請求項１に記載の手術システム。
【請求項9】
前記コントローラが、前記標的組織構造に関連付けられた視覚マーカを使用して、前記第１の器具及び前記第２の器具のうちの少なくとも１つによって前記標的組織構造に与えられる歪みの量を決定するように更に構成されている、請求項１に記載の手術システム。
【請求項10】
前記視覚マーカが、前記標的組織構造上の１つ以上の局所組織マーキング、前記標的組織構造上の１つ以上の投影光マーキング、並びに前記天然の体腔及び器官のうちの少なくとも１つの１つ以上の解剖学的側面のうちの少なくとも１つである、請求項９に記載の手術システム。
【請求項11】
前記第１の器具が、前記第１の器具によって前記標的組織構造に加えられた力を検知するように構成された第１の力センサを更に備え、前記第２の器具が、前記第２の器具によって前記標的組織構造に加えられた力を検知するように構成された第２の力センサを更に備える、請求項１に記載の手術システム。
【請求項12】
方法であって、第１のスコープ装置によって、前記第１の装置の少なくとも一部が天然の体腔及び器官のうちの少なくとも１つの内部に位置付けられている間に、前記第１のスコープ装置の視野内の第１の場面の画像データを伝送することと、
第２のスコープ装置によって、前記第２のスコープ装置が前記天然の体腔及び前記器官のうちの前記少なくとも１つの外側に位置付けられている間に、前記第２のスコープ装置の視野内の第２の場面の画像データを伝送することであって、前記第２の場面は前記第１の場面と異なる、ことと、
追跡装置によって、前記第１のスコープ装置又は前記第２のスコープ装置のうちの一方の、前記第１のスコープ装置又は前記第２のスコープ装置のうちの他方に対する位置を示す信号を伝送することと、
コントローラによって、前記第１の場面及び前記第２の場面の前記伝送された画像データ並びに前記第１のスコープ装置及び前記第２のスコープ装置の前記位置の前記伝送された信号を受信することと、
前記コントローラによって、前記第１のスコープ装置から前記第２のスコープ装置までの第１の相対距離、前記第１のスコープ装置から少なくとも１つの天然の体腔及び器官内に位置付けられた前記第１の器具までの第２の相対距離、並びに前記第２のスコープ装置から少なくとも１つの天然の体腔及び前記器官の外側に位置付けられた前記第２の器具までの第３の相対距離を決定することと、
前記コントローラによって、前記決定された相対距離に基づいて、前記標的組織構造において、前記第１の器具及び前記第２の器具を互いに対して移動させることと、を含む、方法。
【請求項13】
前記追跡装置によって、前記天然の体腔及び前記器官のうちの相対的な１つの内部の前記第１のスコープ装置の向きを示す信号を伝送することを更に含む、請求項１２に記載の方法。
【請求項14】
前記追跡装置によって、前記天然の体腔及び前記器官のうちの前記少なくとも１つの外側に位置付けられた前記第２のスコープ装置の向きを示す信号を伝送することを更に含む、請求項１２又は請求項１３に記載の方法。
【請求項15】
前記コントローラによって、前記決定された相対距離に基づいて、前記第１の器具及び前記第２の器具を互いに対して同時に移動させることを更に含む、請求項１２に記載の方法。
【請求項16】
前記コントローラによって、前記第１の場面及び前記第２の場面の前記伝送された画像データ並びに前記伝送された信号に基づいて、前記標的組織構造において、前記第１の器具及び前記第２の器具のうちの少なくとも１つの互いに対する移動を制限することを更に含む、請求項１２に記載の方法。
【請求項17】
前記コントローラによって、前記標的組織部位に関連付けられた視覚マーカに基づいて、前記第１の器具及び前記第２の器具のうちの少なくとも１つによって前記標的組織構造に与えられる歪みの量を決定することを更に含む、請求項１２に記載の方法。
【請求項18】
前記第１の器具が、力センサを含み、前記方法が、前記力センサを介して、前記第１の器具によって前記標的組織構造に加えられた力を検知することを更に含む、請求項１２に記載の方法。
【請求項19】
前記第２の器具が、力センサを含み、前記方法が、前記力センサを介して、前記第２の器具によって前記標的組織構造に加えられた力を検知することを更に含む、請求項１２に記載の方法。
【請求項20】
命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが請求項１に記載のシステムの前記コントローラによって実行されるとき、前記システムに請求項１２に記載の方法を実行させる、コンピュータプログラム製品。
【請求項21】
命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが請求項１に記載のシステムの前記コントローラによって実行されるとき、前記コントローラに、前記第１の場面及び前記第２の場面の前記伝送された画像データを受信させ、
前記伝送された信号を受信させ、
前記伝送された信号及び画像データに基づいて、前記第１のスコープ装置から前記第２のスコープ装置までの第１の相対距離、前記第１のスコープ装置から少なくとも１つの天然の体腔及び器官内に位置付けられた前記第１の手術器具までの第２の相対距離、並びに前記第２のスコープ装置から少なくとも１つの天然の体腔及び前記器官の外側に位置付けられた前記第２の手術器具までの第３の相対距離を決定させ、
前記決定された相対距離に基づいて、前記手術部位での前記第１の器具及び前記第２の器具の相対移動を協調させる、コンピュータプログラム製品。
【請求項22】
請求項２０又は請求項２１に記載のコンピュータプログラム製品を記憶したコンピュータ可読媒体。
【請求項23】
請求項２０又は請求項２１に記載のコンピュータプログラム製品を搬送するデータ搬送信号。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願への相互参照）
本出願は、２０２１年９月２９日に出願され、「Ｃｏｏｐｅｒａｔｉｖｅ Ａｃｃｅｓｓ」と題する米国特許仮出願第６３／２４９，９８０号の優先権を主張するものであり、その開示は、参照によりその全体が本明細書に組み込まれる。
本出願は、２０２１年９月２９日に出願され、「Ｃｏｏｐｅｒａｔｉｖｅ Ａｃｃｅｓｓ」と題する米国特許仮出願第６３／２４９，９８０号の優先権を主張するものであり、その開示は、参照によりその全体が本明細書に組み込まれる。
【0002】
（発明の分野）
本発明は、概して、固定、協調的内視鏡及び腹腔鏡アクセス、並びに組織操作などのための手術システム及びそれを使用する方法に関する。
本発明は、概して、固定、協調的内視鏡及び腹腔鏡アクセス、並びに組織操作などのための手術システム及びそれを使用する方法に関する。
【背景技術】
【0003】
手術システムは、医師が、１つ以上のディスプレイ（例えば、モニタ、コンピュータタブレットスクリーンなど）上で、手術部位及び／又はその１つ以上の部分を見ることを可能にできる撮像システムを組み込んでいることが多い。ディスプレイ（単数又は複数）は、手術現場（surgical theater）に局所的であっても、かつ／又は、遠隔であってもよい。撮像システムは、手術部位を写し、医師が見ることができる１つ以上のディスプレイに画像を送信する、カメラを備えたスコープを含むことができる。
【0004】
撮像システムは、医師を認識することができ、かつ／又は医師に伝達することができる情報によって制限される場合がある。例えば、三次元空間内の特定の隠れた構造、物理的輪郭、及び／又は寸法は、特定の撮像システムでは手術中に認識できないことがある。別の例では、特定の撮像システムは、手術中に特定の情報を医師に通信すること、及び／又は伝達することができない場合がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、改善された手術時の撮像が依然として必要とされている。
【課題を解決するための手段】
【0006】
内視鏡及び腹腔鏡手術処置のための手術システムが提供される。例示的な一実施形態では、手術システムは、第１のスコープ装置と、第２のスコープ装置と、第１の手術器具と、第２の手術器具と、追跡装置と、コントローラと、を備える。第１のスコープ装置は、天然の体腔及び器官のうちの少なくとも１つの内部に少なくとも部分的に配置されるように構成されており、第１のスコープ装置の視野内の第１の場面の画像データを伝送するように構成されている。第２のスコープ装置は、天然の体腔及び器官のうちの少なくとも１つの外側に少なくとも部分的に配置されるように構成されており、第２のスコープ装置の視野内の第２の場面の画像データを伝送するように構成されており、このとき、第２の場面は第１の場面とは異なる。追跡装置は、第１のスコープ装置又は第２のスコープ装置のうちの一方に関連付けられ、第１のスコープ装置又は第２のスコープ装置のうちの一方の、第１のスコープ装置又は第２のスコープ装置のうちの他方に対する位置を示す信号を伝送するように構成されている。第１の手術器具は、天然の体腔及び器官のうちの少なくとも１つの内部に少なくとも部分的に配置されるように構成されており、手術部位において標的組織構造の内側と相互作用するように構成されている。第２の手術器具は、天然の体腔及び器官のうちの少なくとも１つの外側に少なくとも部分的に配置されるように構成されており、標的組織構造の外側と相互作用するように構成されている。コントローラは、（ｉ）第１の場面及び第２の場面の伝送された画像データ、並びに（ｉｉ）伝送された信号を受信し、伝送された画像データ及び伝送された信号に基づいて、第１のスコープ装置から第２のスコープ装置までの第１の相対距離、第１のスコープ装置から少なくとも１つの天然の体腔及び器官内に位置付けられた第１の手術器具までの第２の相対距離、並びに第２のスコープ装置から少なくとも１つの天然の体腔及び器官の外側に位置付けられた第２の手術器具までの第３の相対距離を決定するように構成されている。手術部位における第１の器具及び第２の器具の相対移動は、決定された相対距離に基づいて協調的である。
【0007】
第１のスコープ装置及び第２のスコープ装置は、様々な構成を有することができる。いくつかの実施形態では、第１のスコープ装置は内視鏡であってよく、第２のスコープ装置は腹腔鏡であってよい。
【0008】
いくつかの実施形態では、第１の場面は第２のスコープ装置を含むことができず、第２の場面は第１のスコープ装置を含むことができない。他の実施形態では、第１の場面は第２の器具を含むことができず、第２の場面は第１の器具を含むことができない。
【0009】
第１の追跡装置及び第２の追跡装置は、様々な構成を有することができる。いくつかの実施形態では、追跡装置は、天然の体腔及び器官のうちの１つの内部の第１のスコープ装置の向きを示す信号を伝送するように更に構成され得る。そのような実施形態では、追跡装置は、天然の体腔及び器官のうちの少なくとも１つの外側に位置付けられる第２のスコープ装置の向きを示す信号を伝送するように更に構成され得る。
【0010】
コントローラは、様々な構成を有することができる。いくつかの実施形態では、コントローラは、決定された相対距離に基づいて、第１の器具及び第２の器具を互いに対して同時に移動させるように構成され得る。特定の実施形態は、コントローラは、第１の場面及び第２の場面の伝送された画像データ並びに伝送された信号に基づいて、標的組織構造において、第１の器具及び第２の器具の互いに対する移動を制限するように構成され得る。他の実施形態では、コントローラは、標的組織構造に関連付けられた視覚マーカを使用して、第１の器具及び第２の器具のうちの少なくとも１つによって標的組織構造に与えられる歪みの量を決定するように更に構成され得る。そのような実施形態では、視覚マーカは、標的組織構造上の１つ以上の局所組織マーキング、標的組織構造上の１つ以上の投影光マーキング、並びに天然の体腔及び器官のうちの少なくとも１つの１つ以上の解剖学的側面のうちの少なくとも１つであり得る。
【0011】
第１の器具及び第２の器具は、様々な構成を有することができる。いくつかの実施形態では、第１の器具は、第１の器具によって標的組織構造に加えられた力を検知するように構成された第１の力センサを含むことができ、第２の器具は、第２の器具によって標的組織構造に加えられた力を検知するように構成された第２の力センサを含むことができる。
【0012】
また、手術システムを動作させる方法も提供される。例示的な一実施形態では、方法は、第１のスコープ装置によって、第１の装置の少なくとも一部が天然の体腔及び器官のうちの少なくとも１つの内部に位置付けられている間に、第１のスコープ装置の視野内の第１の場面の画像データを伝送することと、第２のスコープ装置によって、第２のスコープ装置が天然の体腔及び器官のうちの少なくとも１つの外側に位置付けられている間に、第２のスコープ装置の視野内の第２の場面の画像データを伝送することであって、第２の場面は第１の場面と異なる、ことと、を含む。方法は、追跡装置によって、第１のスコープ装置又は第２のスコープ装置のうちの一方の、第１のスコープ装置又は第２のスコープ装置のうちの他方に対する位置を示す信号を伝送することを更に含む。方法は、コントローラによって、第１の場面及び第２の場面の伝送された画像データ並びに第１のスコープ装置及び第２のスコープ装置の場所の伝送された信号を受信することと、コントローラによって、第１のスコープ装置から第２のスコープ装置までの第１の相対距離、第１のスコープ装置から少なくとも１つの天然の体腔及び器官内に位置付けられた第１の器具までの第２の相対距離、並びに第２のスコープ装置から少なくとも１つの天然の体腔及び器官の外側に位置付けられた第２の器具までの第３の相対距離を決定することと、を更に含む。方法は、コントローラによって、決定された相対距離に基づいて、標的組織構造において、第１の器具及び第２の器具を互いに対して移動させることを更に含む。
【0013】
いくつかの実施形態では、方法は、追跡装置によって、天然の体腔及び器官のうちの１つの内部の第１のスコープ装置の向きを示す信号を伝送することを含んでよい。
【0014】
いくつかの実施形態では、方法は、追跡装置によって、天然の体腔及び器官のうちの少なくとも１つの外側に位置付けられた第２のスコープ装置の向きを示す信号を伝送することを含んでよい。
【0015】
いくつかの実施形態では、方法は、コントローラによって、決定された相対距離に基づいて、第１の器具及び第２の器具を互いに対して同時に移動させることを含んでよい。
【0016】
いくつかの実施形態では、方法は、コントローラによって、第１の場面及び第２の場面の伝送された画像データ並びに伝送された信号に基づいて、標的組織構造において、第１の器具及び第２の器具のうちの少なくとも１つの互いに対する移動を制限することを含んでよい。
【0017】
いくつかの実施形態では、方法は、コントローラによって、標的組織部位に関連付けられた視覚マーカに基づいて、第１の器具及び第２の器具のうちの少なくとも１つによって標的組織構造に与えられる歪みの量を決定することを含んでよい。
【0018】
第１の器具は、様々な構成を有し得る。いくつかの実施形態では、第１の器具は、力センサを備えてよい。そのような実施形態では、方法は、力センサを介して、第１の器具によって標的組織構造に加えられる力を検知することを含んでよい。
【0019】
第２の器具は、様々な構成を有し得る。いくつかの実施形態では、第２の器具は、力センサを備えてよい。そのような実施形態では、方法は、力センサを介して、第２の器具によって標的組織構造に加えられる力を検知することを含んでよい。
【図面の簡単な説明】
【0020】
本発明について、添付の図面を参照して説明する。
【図1】手術可視化システムの一実施形態の概略図である。
【図3】手術可視化システムの別の実施形態の概略図である。
【図4】手術可視化システムのための制御システムの一実施形態の概略図である。
【図5】手術可視化システムのための制御システムの制御回路の一実施形態の概略図である。
【図6】手術可視化システムの組み合わせロジック回路の一実施形態の概略図である。
【図7】手術可視化システムの順序ロジック回路の一実施形態の概略図である。
【図8】手術可視化システムの更に別の実施形態の斜視図である。
【図9】手術可視化システムのための制御システムの別の実施形態の概略図である。
【図10】様々な生物学的物質についての波長対吸収係数を示すグラフである。
【図11】手術部位を可視化するスペクトルエミッタの一実施形態の概略図である。
【図12】尿管を閉塞物から区別するための例示のハイパースペクトル特定シグネチャを描写するグラフである。
【図13】動脈を閉塞物から区別するための例示のハイパースペクトル特定シグネチャを描写するグラフである。
【図14】神経を閉塞物から区別するための例示のハイパースペクトル特定シグネチャを描写するグラフである。
【図15】術中に利用されている近赤外（near infrared、ＮＩＲ）飛行時間測定システムの一実施形態の概略図である。
【図17】術中に利用されている近赤外（ＮＩＲ）飛行時間測定システムの別の実施形態の概略図である。
【図18】コンピュータ実装双方向手術システムの一実施形態の概略図である。
【図19】手術室内で手術処置を行うために使用されている手術システムの一実施形態の概略図である。
【図20】スマート手術器具と手術ハブとを含む手術システムの一実施形態の概略図である。
【図22】外側スリーブと、外側スリーブを通って延在するチャネルアームであって、チャネルアームは外側スリーブ内でそれぞれのアンカー部材を含む、チャネルアームとを有する手術固定システムの一実施形態の概略図であり、咽喉を通って肺の中に挿入された手術固定システムを示しており、外側スリーブの一部が咽喉を通って肺の中へ通過し、チャネルアームが外側スリーブを通って肺の各々の部分の中へ延在し、それぞれのアンカー部材が非拡張状態にある。
【図27】手術固定システムの別の実施形態の概略図であり、咽喉を通って肺の中に挿入された手術固定システムを示している。
【図28】結腸の概略図である。
【図29】器官内に挿入された従来の手術システムの概略図である。
【図30】第１及び第２のアンカー部材を有する手術固定システムの別の実施形態の概略図であり、非拡張状態にある第１及び第２のアンカー部材を示している。
【図33】それぞれが追跡手段を有する円形ステープラ及びアンビルを有する手術固定システムの別の実施形態の概略図であり、直腸を通って結腸内に挿入された手術固定システムを示しており、円形ステープラの一部が直腸を通過して結腸内に入り、アンビルが結腸の可動化部分を通過している。
【図34】胃の概略図である。
【図35】腹腔鏡及び内視鏡を有する従来の手術システムの概略図であり、胃の外側に位置付けられた腹腔鏡と、胃の内部に位置付けられた内視鏡とを示している。
【図37】腹腔鏡、腹腔鏡器具、及び内視鏡を有する手術システムの実施形態の概略図であり、胃の外側に位置付けられた腹腔鏡及び腹腔鏡器具と、胃の内部に位置付けられた内視鏡とを示している。
【図44a】手術システムの別の実施形態の詳細図であり、組織の損傷部分の結腸からの除去を示している。
【図45】手術システムの別の実施形態の概略図であり、腹腔鏡下で配置された器具による胃からの腫瘍の除去を示している。
【図48】手術システムの別の実施形態の概略図であり、胃の外側組織壁からのリンパ節の除去を示している。
【発明を実施するための形態】
【0021】
本明細書に開示されるデバイス、システム、及び方法の構造、機能、製造、及び使用の原理が総括的に理解されるように、ある特定の例示的な実施形態について、これから説明する。これらの実施形態の１つ又は２つ以上の実施例が、添付の図面に例解されている。当業者であれば、本明細書で詳細に説明し、添付の図面に示されるデバイス、システム、及び方法は、非限定的な例示的な実施形態であり、本発明の範囲は、特許請求の範囲のみによって定義されることが理解されるであろう。例示的な一実施形態に関連して例解又は説明される特徴は、他の実施形態の特徴と組み合わせることができる。このような改変及び変形は、本発明の範囲内に含まれるものとする。
【0022】
更に、本開示においては、実施形態の同様の名称の構成要素は概して同様の特徴を有するものであり、したがって、特定の実施形態において、同様の名称の各構成要素の各特徴については必ずしも完全に詳しく述べることはしない。追加的に、開示されるシステム、デバイス、及び方法の説明で直線寸法又は円寸法が使用される限りにおいて、そのような寸法は、そのようなシステム、デバイス、及び方法と組み合わせて使用することができる形状の種類を限定しようとするものではない。当業者には、そのような直線寸法及び円寸法に相当する寸法を、任意の幾何学的形状について容易に判定することができる点が認識されるであろう。当業者は、寸法が正確な値ではなくても、製作公差及び測定機器の感度などの諸々の要因により、その値に近い値であると考えられることを理解するであろう。システム及びデバイスのサイズ及び形状、並びにその構成要素は、少なくとも、システム及びデバイスがそれと共に使用される構成要素のサイズ及び形状に依存し得る。
【0023】
手術可視化
一般に、手術可視化システムは、「デジタル手術」を活用して、患者の解剖学的構造及び／又は手術処置に関する追加情報を取得するように構成されている。手術可視化プラットフォームは、有用な様式で１人又は２人以上の医師にデータを伝達するように更に構成されている。本開示の様々な態様は、患者の解剖学的構造及び／若しくは手術処置の改善された可視化を提供し、並びに／又は手術ツール（本明細書では「手術デバイス」又は「手術器具」とも呼ばれる）の改善された制御を提供するために可視化を使用する。
一般に、手術可視化システムは、「デジタル手術」を活用して、患者の解剖学的構造及び／又は手術処置に関する追加情報を取得するように構成されている。手術可視化プラットフォームは、有用な様式で１人又は２人以上の医師にデータを伝達するように更に構成されている。本開示の様々な態様は、患者の解剖学的構造及び／若しくは手術処置の改善された可視化を提供し、並びに／又は手術ツール（本明細書では「手術デバイス」又は「手術器具」とも呼ばれる）の改善された制御を提供するために可視化を使用する。
【0024】
「デジタル手術」は、ロボットシステム、先進撮像、先進器具、人工知能、機械学習、性能追跡及びベンチマーキングのためのデータ分析、手術室（operating room、ＯＲ）の内外両方での接続性などを包含し得る。本明細書に記載される様々な手術可視化システムは、ロボット手術システムと組み合わせて使用することができるが、手術可視化プラットフォームは、ロボット手術システムと共に使用することに限定されない。特定の例では、ロボットなしで、並びに／あるいは、ロボット支援が制限されている、及び／若しくは任意である状態で、手術可視化を発生させることができる。同様に、ロボットなしで、並びに／あるいは、ロボット支援が制限されている、及び／又は任意である状態で、デジタル手術を発生させることができる。
【0025】
特定の例では、手術可視化システムを組み込む手術システムは、重要構造を特定し、それらを回避するためのスマート切開を可能にし得る。重要構造としては、解剖学的構造、例えば他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び／又は腫瘍が挙げられる。他の例では、重要構造は、解剖学的領域における外来構造、例えば、手術デバイス、手術締結具、クリップ、留め金、ブジー、バンド、プレート、及び遺物構造などとすることができる。重要構造は、患者ごと及び／又は処置ごとに決定される場合がある。スマート切開術は、例えば、切開のために改善された術中ガイダンスを提供し得、及び／又は、重要な解剖学的構造の検出及び回避技術によってよりスマートな判断を可能にし得る。
【0026】
手術可視化システムを組み込んだ手術システムは、改善されたワークフローによって最適な場所においてより一貫した吻合を提供するスマート吻合術を可能にし得る。がん局在化技術は、手術可視化プラットフォームを用いて改善され得る。例えば、がん局在化法は、がんの場所、向き、及びそのマージンを特定し、追跡することができる。特定の例では、がん局在化法は、手術処置中に手術器具、患者、及び／又は患者の解剖学的構造の動きを補償し、医師を関心のある点に戻す誘導を提供し得る。
【0027】
手術可視化システムは、改善された組織特徴付け、並びに／又はリンパ節診断及びマッピングを提供し得る。例えば、組織特徴付け技術は、特に切開時、及び／又は組織内のステープリングデバイスの配置時に、物理的触覚を必要とせずに組織の種類及び健康状態を特徴付けることができる。特定の組織特徴付け技術は、電離放射線及び／又は造影剤を使用せずに利用し得る。リンパ節診断及びマッピングに関して、手術可視化プラットフォームは、例えば、がん診断及びステージ診断に関与するリンパ系及び／又はリンパ節を手術前に位置特定し、マッピングし、理想的には、診断することができる。
【0028】
手術処置中、「肉眼」及び／又は撮像システムを介して医師が利用可能な情報は、不完全な手術部位のビューを提供する場合がある。例えば、臓器内に埋め込まれた又は埋もれた構造などの特定の構造は、ビューから少なくとも部分的に隠され、つまり見えない場合がある。追加的に、特定の寸法及び／又は相対距離は、既存のセンサシステムでの確認することが難しく、及び／又は「肉眼」では把握が難しい場合がある。更に、特定の構造は、術前（例えば、手術処置前であるが術前のスキャン後）、及び／又は術中に動く場合がある。そのような例では、医師は、術中に重要構造の場所を正確に判定することができない場合がある。
【0029】
重要構造の位置が不確定である場合、及び／又は重要構造と手術ツールとの間の近接度が不明である場合、医師の意思決定プロセスが阻害される可能性がある。例えば、医師は、重要構造の不注意による切開を回避するために、特定の領域を回避し得る。しかしながら、回避された領域は、不必要に大きく、かつ／又は、少なくとも部分的に場所を誤っている可能性がある。不確実性、及び／又は過度／過剰な用心に起因して、医師は特定の所望の領域に到達できない場合がある。例えば、重要構造がその特定領域にない場合、及び／又は、その特定領域での医師の行為によって悪影響がない場合であっても、用心のし過ぎにより、医師が、重要構造を回避しようと努力して、腫瘍及び／又は他の望ましくない組織の一部分を残してしまう場合がある。特定の例では、手術成績は知識及び／又は確実性が高まるとともに向上される場合があり、これにより、外科医にとって、より正確で、特定の例では、特定の解剖学的領域に対してより抑えて／より積極的になることが可能になる。
【0030】
手術可視化システムは、術中の特定及び重要構造の回避を可能にすることができる。したがって、手術可視化システムは、術中意思決定の強化及び手術転帰の改善を可能にし得る。手術可視化システムは、医師が「肉眼」で見るもの、並びに／あるいは撮像システムが認識し、及び／又は医師に伝達できるものを超えた、高度な可視化能力を提供することができる。手術可視化システムは、医師が組織治療（例えば、切開など）の前に知ることができることを補強かつ強化できることによって、様々な例における転帰を改善し得る。結果として、手術可視化システムが、例えば、切開中にアプローチされ得る重要構造を追跡していることを認識しながら、医師は、手術処置を通して勢いを確実に維持することができる。手術可視化システムは、医師が手術処置を休止し、及び／又は減速させ、重要構造に対する不注意による損傷を防止するためにその構造までの近接度を評価するのに十分な時間内で、医師に対して指示を提供することができる。手術可視化システムは、理想的で、最適化された、及び／又はカスタマイズ可能な量の情報を医師に提供して、健康組織及び／又は重要構造への不注意による損傷を回避しつつ、医師が組織全体を確実、及び／又は迅速に動くことを可能にし、これによって、手術処置から生じる損傷のリスクを最小限に抑えることができる。
【0031】
手術可視化システムは、以下に詳細に説明される。一般に、手術可視化システムは、複数のスペクトル波を放射するように構成された第１の光エミッタと、光パターンを放射するように構成された第２の光エミッタと、可視光、スペクトル波に対する分子応答（分光イメージング）、及び／又は光パターンを検出するように構成された受信器、若しくはセンサと、を含むことができる。手術可視化システムはまた、撮像システムと、受信器及び撮像システムとを信号通信する制御回路と、を含むことができる。受信器からの出力に基づいて、制御回路は、手術部位における可視表面の幾何学的表面マップ、例えば、三次元表面トポグラフィ、及び少なくとも部分的に隠れた構造までの距離などの手術部位に対する距離を判定することができる。撮像システムは、幾何学的表面マップ及び距離を医師に伝達することができる。そのような例では、医師に提供される手術部位の拡張ビューは、手術部位に関連するコンテキスト内で隠れた構造の表示を提供することができる。例えば、撮像システムは、が表面の下方のユーティリティ配管を示すために地面に引かれた線と同様に、隠している及び／又は遮断している組織の幾何学的表面マップ上に隠れた構造を仮想的に強化することができる。追加的又は代替的に、撮像システムは、可視の遮断している組織まで、及び／若しくは少なくとも部分的に隠れた構造までの手術ツールの近接度、並びに／又は、遮蔽している組織の可視表面の下方に隠された構造の深さを伝達することができる。例えば、可視化システムは、可視組織の表面上の拡張された線に対する距離を判定し、その距離を撮像システムに伝達することができる。
【0032】
本開示を通じて、特に可視光に言及しない限り、「光」への言及は全て、電磁放射線（electromagnetic radiation、ＥＭＲ）波長スペクトルの可視部分及び／又は非可視部分におけるＥＭＲ又は光子を含むことができる。可視スペクトルは、場合によっては、光スペクトル又は発光スペクトルとも称され、人間の目に見える（例えば、人間の目によって検出することができる）電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約３８０ｎｍ～約７５０ｎｍの波長に応答する。不可視スペクトル（例えば、非発光スペクトル）は、可視スペクトルの下及び上にある電磁スペクトルの部分である。不可視スペクトルは、人間の目で検出可能ではない。約７５０ｎｍを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線（infrared、ＩＲ）、マイクロ波及び無線電磁放射線になる。約３８０ｎｍ未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、ｘ線及びガンマ線電磁放射線になる。
【0033】
図１は、手術可視化システム１００の一実施形態を例解する。手術可視化システム１００は、解剖学的領域内の重要構造１０１の視覚的表示を作成するように構成されている。重要構造１０１は、単一の重要構造又は複数の重要構造を含むことができる。本明細書で論じるように、重要構造１０１は、解剖学的構造、例えば、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、血管、腫瘍、若しくは他の解剖学的構造、又は外来構造、例えば、手術デバイス、手術締結具、手術クリップ、手術留め金、ブジー、手術バンド、手術プレート、若しくは他の外来構造などの様々な構造のいずれかとすることができる。本明細書で論じるように、重要構造１０１は、患者ごと及び／又は処置ごとに特定することができる。重要構造の実施形態及び可視化システムを使用して重要構造を特定する実施形態は、２０２０年１０月６日に発行された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｏｆ Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ」と題する米国特許第１０，７９２，０３４号に更に説明されており、その全体が参照することによって本明細書に組み込まれる。
【0034】
いくつかの例では、重要構造１０１は、組織１０３に埋め込まれ得る。換言すれば、組織１０３は、脂肪、結合組織、癒着、及び／又は臓器などの様々な組織のうちのいずれかであることができる。換言すれば、重要構造１０１は、組織１０３の表面１０５の下方に位置付けられ得る。そのような例では、組織１０３は、医師の「肉眼」のビューから重要構造１０１を隠している。組織１０３はまた、手術可視化システム１００の撮像デバイス１２０の視野から重要構造１０１を覆い隠す。重要構造１０１は、完全に覆い隠される代わりに、医師及び／又は撮像デバイス１２０の視野から部分的に覆い隠されることができる。
【0035】
手術可視化システム１００は、臨床分析及び／又は医学的介入で使用することができる。特定の例では、手術可視化システム１００を術中に使用して、近接度データ、寸法、及び／又は距離に関するリアルタイム情報などのリアルタイム情報を、手術処置中に医師に提供することができる。当業者であれば、情報は正確にリアルタイムでないが、それでもなお、データ送信によって引き起こされる時間遅延、データ処理によって引き起こされる時間遅延、及び／又は測定機器の感度などの様々な理由のいずれかにより、リアルタイムであるとみなされることがあると認識するだろう。手術可視化システム１００は、重要構造の術中特定のために、及び／又は手術デバイスによる重要構造１０１の回避を容易にするように構成されている。例えば、重要構造１０１を特定することによって、医師は、手術処置中に、重要構造１０１及び／又は重要構造１０１の既定の近接度の領域の周囲で手術デバイスを操作することを回避できる。別の実施例では、重要構造１０１を特定することによって、医師は、重要構造１０１及び／又はその近くの切開を回避することができ、それによって、重要構造１０１への損傷を防止するのに役立ち、及び／又は医師によって使用されている手術デバイスが重要構造１０１によって損傷されるのを防止するのに役立つ。
【0036】
手術可視化システム１００は、手術可視化システムの距離センサシステム１０４と組み合わせた組織特定及び幾何学的表面マッピングを組み込むように構成されている。組み合わせると、手術可視化システム１００のこれらの特徴は、解剖学的領域内の重要構造１０１の位置、並びに／又は、可視組織１０３の表面１０５及び／若しくは重要構造１０１への手術デバイス１０２の近接度を判定することができる。更に、手術可視化システム１００は、例えば、手術部位のリアルタイムのビューを提供するように構成された撮像デバイス１２０を含む撮像システムを含む。撮像デバイス１２０は、例えば、反射されたスペクトル波形を検出し、かつ様々な波長に対する分子応答に基づいて、画像のスペクトルキューブを生成するように構成されているスペクトルカメラ（例えば、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラ）を含むことができる。撮像デバイス１２０からのビューは、ディスプレイ（例えば、モニタ、コンピュータタブレット画面など）上などで、医師にリアルタイムで提供され得る。表示されたビューは、組織特定、ランドスケープマッピング、及び距離センサシステム１０４に基づく追加の情報で拡張することができる。そのような例では、手術可視化システム１００は、複数のサブシステム、つまり、撮像サブシステム、表面マッピングサブシステム、組織特定サブシステム、及び／又は距離判定サブシステムを含む。これらのサブシステムは協働して、高度なデータ合成及び統合された情報を手術中に医師に対して提供することができる。
【0037】
撮像デバイス１２０は、例えば、可視光、スペクトル光波（可視又は不可視）、及び構造化光パターン（可視又は不可視）を検出するように構成することができる。撮像デバイス１２０の例として、スコープ、例えば、内視鏡、関節鏡、血管鏡、気管支鏡、総胆管鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃－十二指腸鏡（胃鏡）、喉頭鏡、鼻咽頭－鼻腔鏡、Ｓ状結腸鏡、胸腔鏡、尿管鏡、又はエキソスコープが挙げられる。スコープは、低侵襲手術処置において特に有用とすることができる。開腹手術用途では、撮像デバイス１２０は、スコープを含まなくてもよい。
【0038】
組織特定サブシステムは、スペクトル撮像システムを用いて達成することができる。スペクトル撮像システムは、ハイパースペクトル撮像、マルチスペクトル撮像、又は選択的スペクトル撮像などの撮像に依存することができる。組織のハイパースペクトル撮像の実施形態は、２０１６年３月１日に発行された、「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｇｒｏｓｓ Ａｎａｔｏｍｉｃ Ｐａｔｈｏｌｏｇｙ Ｕｓｉｎｇ Ｈｙｐｅｒｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ」と題する米国特許第９，２７４，０４７号に更に説明されており、その全体を参照により本明細書に組み込まれる。
【0039】
表面マッピングサブシステムは、光パターンシステムを用いて達成することができる。表面マッピングのために光パターン（又は構造化光）を使用する様々な表面マッピング技法が、本明細書に説明される手術可視化システムにおいて利用することができる。構造化光は、表面上に既知のパターン（多くの場合、グリッド又は水平バー）を投影するプロセスである。特定の例では、見えない（つまり、検知不能な）構造化光を利用することができ、構造化光は、投影されたパターンが混乱し得る他のコンピュータビジョンタスクと干することなく利用される。例えば、２つの正確に反対のパターンを繰り返す赤外光又は非常に速いフレームレートの可視光を利用して干渉を防止することができる。表面マッピング、並びに光源及び光パターンを投影するためのプロジェクタを含む手術システムの実施形態は、２０１７年３月２日に公開された「Ｓｅｔ Ｃｏｍｐｒｉｓｉｎｇ Ａ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ」と題する米国特許出願公開第２０１７／００５５８１９号、２０１７年９月７日に公開された「Ｄｅｐｉｃｔｉｏｎ Ｓｙｓｔｅｍ」と題する米国特許出願公開第２０１７／０２５１９００号、及び２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号に更に説明されており、参照によりその全体が本明細書に組み込まれる。
【0040】
距離判定システムは、表面マッピングシステムに組み込むことができる。例えば、構造化光を利用して、可視表面１０５の三次元（three-dimensional、３Ｄ）仮想モデルを生成し、可視表面１０５に対する様々な距離を判定することができる。追加的又は代替的に、距離判定システムは飛行時間測定に依存し、手術部位における特定された組織（又は他の構造）に対する１つ又は２つ以上の距離を判定することができる。
【0041】
手術可視化システム１００はまた、手術デバイス１０２を含む。手術デバイス１０２は、任意の好適な手術デバイスとすることができる。手術デバイス１０２の例として、手術解剖器具、手術ステープラ、手術把持具、クリップアプライヤ、煙排出器、手術エネルギーデバイス（例えば、単極プローブ、双極プローブ、アブレーションプローブ、超音波デバイス、超音波エンドエフェクタなど）などが挙げられる。いくつかの実施形態では、手術デバイス１０２は、手術デバイス１０２のシャフトの遠位端から延在し、組織を間に係合するように構成されている対向するジョーを有するエンドエフェクタを含む。
【0042】
手術可視化システム１００は、重要構造１０１と、重要構造１０１に対する手術デバイス１０２の近接度とを特定するように構成することができる。手術可視化システム１００の撮像デバイス１２０は、例えば、可視光、スペクトル光波（可視又は不可視）、及び構造化光パターン（可視又は不可視）などの様々な波長の光を検出するように構成されている。撮像デバイス１２０は、異なる信号を検出するための複数のレンズ、センサ、及び／又は受信器を含むことができる。例えば、撮像デバイス１２０は、本明細書で更に説明されるように、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラとすることができる。撮像デバイス１２０はまた、波形センサ１２２（例えば、スペクトル画像センサ、検出器、及び／又は三次元カメラレンズ）も含むことができる。例えば、撮像デバイス１２０は、２つの二次元画像を同時に記録することによって、手術部位の三次元（３Ｄ）画像を生成し、手術部位の三次元画像をレンダリングし、かつ／又は、手術部位で１つ以上の距離を判定するために一緒に使用される右側レンズ及び左側レンズを含むことができる。追加的又は代替的に、撮像デバイス１２０は、本明細書で更に説明されるように、可視組織のトポグラフィ、並びに隠れた重要構造の特定及び位置を示す画像を受信するように構成することができる。例えば、図１に示されるように、撮像デバイス１２０の視野を、組織１０３の表面１０５上の光パターン（構造化光）と重ねることができる。
【0043】
この例解された実施形態のように、手術可視化システム１００は、ロボットシステム１１０に組み込むことができる。ロボット手術システム１１０は、本明細書で論じられるように、様々な構成を有することができる。例解された実施形態では、ロボット手術システム１１０は、第１のロボットアーム１１２と第２のロボットアーム１１４とを含む。ロボットアーム１１２、１１４は、各々、サーボモータ制御を含むことができる剛性構造部材１１６及び継手１１８を含む。第１のロボットアーム１１２は、手術デバイス１０２を操作するように構成されており、第２のロボットアーム１１４は、撮像デバイス１２０を操作するように構成されている。ロボット手術システム１１０のロボット制御ユニットは、それぞれ手術デバイス１０２及び撮像デバイス１２０に作用することができる第１のロボットアーム１１２及び第２のロボットアーム１１４への制御運動を発するように構成されている。
【0044】
いくつかの実施形態では、ロボットアーム１１２、１１４のうちの１つ以上は、手術処置で使用される主ロボットシステム１１０とは別個とすることができる。例えば、ロボットアーム１１２、１１４のうちの少なくとも１つは、サーボモータ制御なしに特定の座標系に位置付けられ、かつ位置合わせすることができる。例えば、ロボットアーム１１２、１１４に対する閉ループ制御システム及び／又は複数のセンサは、特定の座標系に対するロボットアーム１１２、１１４の位置を制御し、かつ／又は位置合わせすることができる。同様に、手術デバイス１０２及び撮像デバイス１２０の位置は、特定の座標系に対して位置合わせすることができる。
【0045】
ロボット手術システムの例として、Ｏｔｔａｖａ（商標）のロボット支援手術システム（Ｊｏｈｎｓｏｎ ＆ Ｊｏｈｎｓｏｎ ｏｆ Ｎｅｗ Ｂｒｕｎｓｗｉｃｋ、ＮＪ）、ｄａ Ｖｉｎｃｉ（登録商標）の手術システム（Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ， Ｉｎｃ． ｏｆ Ｓｕｎｎｙｖａｌｅ、ＣＡ）、Ｈｕｇｏ（商標）のロボット支援手術システム（Ｍｅｄｔｒｏｎｉｃ ＰＬＣ ｏｆ Ｍｉｎｎｅａｐｏｌｉｓ、ＭＮ）、Ｖｅｒｓｉｕｓ（登録商標）の手術ロボットシステム（ＣＭＲ Ｓｕｒｇｉｃａｌ Ｌｔｄ ｏｆ Ｃａｍｂｒｉｄｇｅ、ＵＫ）、及びＭｏｎａｒｃｈ（登録商標）のプラットフォーム（Ａｕｒｉｓ Ｈｅａｌｔｈ， Ｉｎｃ． ｏｆ Ｒｅｄｗｏｏｄ Ｃｉｔｙ、ＣＡ）が挙げられる。様々なロボット手術処置システム及びロボット手術処置システムを使用する実施形態は、２０１６年１２月２８日に出願された「Ｆｌｅｘｉｂｌｅ Ｉｎｓｔｒｕｍｅｎｔ Ｉｎｓｅｒｔｉｏｎ Ｕｓｉｎｇ Ａｎ Ａｄａｐｔｉｖｅ Ｆｏｒｃｅ Ｔｈｒｅｓｈｏｌｄ」と題する米国特許出願公開第２０１８／０１７７５５６号、２０１９年４月１６日に出願された「Ｓｙｓｔｅｍｓ Ａｎｄ Ｔｅｃｈｎｉｑｕｅｓ Ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｍｕｌｔｉｐｌｅ Ｐｅｒｓｐｅｃｔｉｖｅｓ Ｄｕｒｉｎｇ Ｍｅｄｉｃａｌ Ｐｒｏｃｅｄｕｒｅｓ」と題する米国特許出願公開第２０２０／００００５３０号、２０２０年２月７日に出願された「Ｉｍａｇｅ－Ｂａｓｅｄ Ｂｒａｎｃｈ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ Ｆｏｒ Ｎａｖｉｇａｔｉｏｎ」と題する米国特許出願公開第２０２０／０１７０７２０号、２０１９年１２月９日に出願された「Ｓｕｒｇｉｃａｌ Ｒｏｂｏｔｉｃｓ Ｓｙｓｔｅｍ」と題する米国特許出願公開第２０２０／０１８８０４３号、２０１９年９月３日に出願された「Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃｏｎｃｏｍｉｔａｎｔ Ｍｅｄｉｃａｌ Ｐｒｏｃｅｄｕｒｅｓ」と題する米国特許出願公開第２０２０／００８５５１６号、２０１３年７月１５日に出願された「Ｐａｔｉｅｎｔ－Ｓｉｄｅ Ｓｕｒｇｅｏｎ Ｉｎｔｅｒｆａｃｅ Ｆｏｒ Ａ Ｔｅｌｅｏｐｅｒａｔｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ」と題する米国特許第８，８３１，７８２号、及び２０１４年３月１３日に出願された「Ｈｙｐｅｒｄｅｘｔｅｒｏｕｓ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する国際公開第２０１４１５１６２１号に更に説明されている。
【0046】
手術可視化システム１００はまた、エミッタ１０６を含む。エミッタ１０６は、表面１０５のトポグラフィ又はランドスケープの判定を可能にするために、縞、グリッド線、及び／又はドットなどの光パターンを放射するように構成されている。例えば、投影された光アレイ１３０は、表面１０５上の三次元スキャン及び位置合わせのために使用することができる。投影された光アレイ１３０は、手術デバイス１０２、及び／又はロボットアーム１１２、１１４のうちの１つ、及び／又は撮像デバイス１２０上に位置するエミッタ１０６から放射することができる。一態様では、投影された光アレイ１３０は、手術可視化システム１００が組織１０３の表面１０５及び／又は表面１０５の運動により手術中に画定される形状を判定するために採用される。撮像デバイス１２０は、表面１０５から反射された投影された光アレイ１３０を検出して、表面１０５のトポグラフィ、及び表面１０５に対する様々な距離を判定するように構成されている。
【0047】
この例解された実施形態におけるように、撮像デバイス１２０は、撮像デバイス１２０上に装着されるか、又は別様に取り付けられることなどによって、光波形エミッタ１２３を含むことができる。光波形エミッタ１２３は、組織１０３の表面１０５を透過して重要構造１０１に到達することができる電磁放射線１２４（ＮＩＲ光子）を放射するように構成されている。撮像デバイス１２０、及び光波形エミッタ１２３は、ロボットアーム１１４によって位置付け可能とすることができる。光波形エミッタ１２３は、撮像デバイス１２２上、又は別様に装着されるが、他の実施形態では、撮像デバイス１２０とは別個の手術デバイス上に位置付けることができる。撮像デバイス１２０上の対応する波形センサ１２２（例えば、画像センサ、分光計、又は振動センサ）は、波形センサ１２２によって受信された電磁放射線の影響を検出するように構成されている。光波形エミッタ１２３から放射される電磁放射線１２４の波長は、重要構造１０１などの解剖学的構造及び／又は身体構造の種類の特定を可能にするように構成することができる。重要構造１０１の特定は、例えば、スペクトル分析、光音響、及び／又は超音波によって達成することができる。一態様では、電磁放射線１２４の波長は可変とすることができる。波形センサ１２２及び光波形エミッタ１２３は、例えば、マルチスペクトル撮像システム及び／又は選択的スペクトル撮像システムを含み得る。他の実施例では、波形センサ１２２及び光波形エミッタ１２３は、例えば、光音響撮像システムを含むことができる。
【0048】
手術可視化システム１００の距離センサシステム１０４は、手術部位における１つ又は２つ以上の距離を判定するように構成されている。距離センサシステム１０４は、この例解された実施形態におけるようなエミッタ１０６などのエミッタを含み、受信器１０８を含む、飛行時間型距離センサシステムとすることができる。他の例では、飛行時間エミッタは構造化光エミッタとは別個であり得る。エミッタ１０６は、非常に小さなレーザ源を含むことができ、受信器１０８は、マッチングセンサを含むことができる。距離センサシステム１０４は、「飛行時間」、又はエミッタ１０６によって放射されたレーザ光が受信器１０８のセンサ部分に跳ね返るまでにかかる時間を検出するように構成されている。エミッタ１０６中で非常に狭い光源を使用することにより、距離センサシステム１０４が、距離センサシステム１０４の直ぐ前にある組織１０３の表面１０５までの距離を判定することを可能にする。
【0049】
距離センサシステム１０４の受信器１０８は、この例解された実施形態では手術デバイス１０２上に位置付けられるが、他の実施形態では、受信器１０８は、手術デバイス１０２の代わりに別個の手術デバイス上に装着することができる。例えば、受信器１０８は、手術デバイス１０２が手術部位に到達するようにそこを通って延在するカニューレ又はトロカール上に装着することができる。更に他の実施形態では、距離センサシステム１０４のための受信器１０８は、手術デバイス１０２が結合された第１のロボットアーム１１２とは別個のロボットシステム１１０のロボット制御アーム上に（例えば、第２のロボットアーム１１４上に）装着することができるか、別のロボットによって動作する可動アーム上に装着することができるか、又は手術室（ＯＲ）台若しくは固定具に装着することができる。いくつかの実施形態では、撮像デバイス１２０は、手術デバイス１０２上のエミッタ１０６と撮像デバイス１２０との間の線を使用して、エミッタ１０６から組織１０３の表面１０５までの距離を判定することを可能にする受信器１０８を含む。例えば、距離センサシステム１０４の（手術デバイス１０２上の）エミッタ１０６、及び（撮像デバイス１２０上の）受信器１０８の既知の位置に基づいて、距離ｄｅを三角測量することができる。受信器１０８の三次元位置は、手術中に、ロボット座標平面に対して知ること、及び／又は位置合わせすることができる。
【0050】
この例解された実施形態におけるように、飛行時間距離センサシステム１０４のエミッタ１０６の位置は、第１ロボットアーム１１２によって制御することができ、距離センサシステム１０４の受信器１０８の位置は、第２ロボットアーム１１４によって制御することができる。別の実施形態では、手術可視化システム１００は、ロボットシステムとは別に利用することができる。そのような例では、距離センサシステム１０４は、ロボットシステムとは独立していてもよい。
【0051】
図１では、ｄｅは、エミッタ１０６から組織１０３の表面１０５までのエミッタ－組織間距離であり、ｄｔは、手術デバイス１０２の遠位端から組織１０３の表面１０５までのデバイス－組織間距離である。距離センサシステム１０４は、エミッタ－組織間距離ｄｅを判定するように構成されている。デバイス－組織間距離ｄｔは、手術デバイス１０２の遠位端に対する、手術デバイス１０２上、例えば、手術デバイスの遠位端に近位のそのシャフト上のエミッタ１０６の既知の位置から取得可能である。換言すれば、エミッタ１０６と手術デバイス１０２の遠位端との間の距離が既知である場合、デバイス－組織間距離ｄｔは、エミッタ－組織間距離ｄｅから決定され得る。いくつかの実施形態では、手術デバイス１０２のシャフトは、１つ以上の関節継手を含むことができ、エミッタ１０６及び手術デバイス１０２の遠位端にあるジョーに対して関節運動可能であり得る。関節運動構成は、例えば、多関節椎骨様構造を含むことができる。いくつかの実施形態では、三次元カメラを利用して、表面１０５までの１つ又は２つ以上の距離を三角測量することができる。
【0052】
図１では、ｄｗは、撮像デバイス１２０上に位置する光波形エミッタ１２３から重要構造１０１の表面までのカメラ－重要構造間距離であり、ｄＡは、組織１０３の表面１０５の下方の重要構造１０１の深さ（例えば、手術デバイス１０２に最も近い表面１０５の一部分と重要構造１０１との間の距離）である。撮像デバイス１２０上に位置する光波形エミッタ１２３から放射される光波形の飛行時間は、カメラ－重要構造間距離ｄｗを判定するように構成されている。
【0053】
図２に示されるように、組織１０３の表面１０５に対する重要構造１０１の深さｄＡは、距離ｄｗ、並びに手術デバイス１０２上のエミッタ１０６、及び撮像デバイス１２０上の光波形エミッタ１２３の既知の位置（したがって、これらの間の既知の距離ｄｘ）から三角測量によって判定されて、距離ｄｅとｄＡとの合計である距離ｄｙを判定することができる。追加的又は代替的に、光波形エミッタ１２３からの飛行時間は、光波形エミッタ１２３から組織１０３の表面１０５までの距離を判定するように構成することができる。例えば、第１の波形（又は波形範囲）を利用して、カメラ－重要構造間 距離ｄｗを判定することができ、第２の波形（又は波形範囲）を利用して、組織１０３の表面１０５までの距離を判定することができる。そのような例では、異なる波形を利用して、組織１０３の表面１０５の下方の重要構造１０１の深さを判定することができる。
【0054】
追加的又は代替的に、距離ｄＡは、超音波、位置合わせされた磁気共鳴ビュー（ＭＲＩ）、又はコンピュータ断層撮影（ＣＴ）スキャンから判定することができる。更に 他の例では、距離ｄＡは、撮像デバイス１２０によって受信された検出信号が材料の種類、例えば、組織１０３の種類に基づいて変動し得るので、スペクトル撮像によって判定することができる。例えば、脂肪は、検出信号を第１の方法、又は第１の量で減少させることができ、コラーゲンは、検出信号を異なる第２の方法、又は第２の量で減少させることができる。
【0055】
図３に例解された手術可視化システム１６０の別の実施形態では、撮像デバイス１２０ではなく手術デバイス１６２は、光波形エミッタ１２３と、反射された波形を検出するように構成されている波形センサ１２２と、を含む。光波形エミッタ１２３は、本明細書で更に説明されるように、手術デバイス１６２などの共通デバイスからの距離ｄｔ、及びｄｗを判定するための波形を放射するように構成されている。そのような例では、組織１０３の表面１０５から重要構造１０１の表面までの距離ｄＡは、以下のように判定することができる。
ｄＡ＝ｄｗ－ｄｔ
ｄＡ＝ｄｗ－ｄｔ
【0056】
手術可視化システム１００は、手術可視化システム１００の様々な態様を制御するように構成された制御システムを含む。図４は、手術可視化システム１００（又は本明細書に説明される他の手術可視化システム）の制御システムとして利用することができる制御システム１３３の一実施形態を例解する。制御システム１３３は、メモリ１３４と信号通信するように構成された制御回路１３２を含む。メモリ１３４は、重要構造（例えば、図１の重要構造１０１）を判定及び／又は認識するための命令、１つ以上の距離及び／又は三次元デジタル表示を判定及び／又は計算するための命令、並びに、情報を医師に通信するための命令など、制御回路１３２により実行可能な命令を記憶するように構成されている。したがって、メモリ１３４内に記憶された命令は、プロセッサによって実行されるときに、プロセッサに上述のように実行させる命令を含むコンピュータプログラム製品を構成する。また、このような命令は、任意のコンピュータ可読媒体（光ディスク、ＳＤカード、ＵＳＢドライブなど、又は別個のデバイスのメモリなど）に記憶されてもよく、そこからメモリ１３４にコピーされるか、又は直接実行されてもよい。コピー又は直接実行のプロセスは、コンピュータプログラム製品を搬送するデータキャリア信号の作成を伴う。この例解された実施形態におけるように、メモリ１３４は、表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１を記憶することができるが、メモリ１３４は、ロジック１３６、１３８、１４０、１４１の任意の組み合わせを記憶することができ、及び／又は様々なロジックを一緒に組み合わせることができる。制御システム１３３はまた、カメラ１４４を含む撮像システム１４２（例えば、図１の撮像デバイス１２０を含む撮像システム）、ディスプレイ１４６（例えば、モニタ、コンピュータタブレットスクリーン）、並びにカメラ１４４及びディスプレイ１４６の制御部１４８を含む。カメラ１４４は、様々な可視及び不可視スペクトルで光を放射する様々な光源からの信号を受信するように構成された画像センサ１３５（例えば、波形センサ１２２）（例えば、可視光、スペクトルイメージャ、三次元レンズなど）を含む。ディスプレイ１４６は、実際の、仮想の、及び／又は仮想的に拡張された画像及び／又は情報を医師に描写するように構成されている。
【0057】
例示的な実施形態では、画像センサ１３５は、ピクセルと呼ばれる個別の光検出器部位を最大で数百万個含む固体電子デバイスである。画像センサ１３５の技術は、電荷結合素子（Charge-Coupled Device、ＣＣＤ）イメージャ及び相捕型金属酸化膜半導体（Complementary Metal Oxide Semiconductor、ＣＭＯＳ）イメージャの２つの範疇のうちの１つに分類され、より直近になると、短波赤外線（short-wave infrared、ＳＷＩＲ）が撮像における新技術である。別の種類の画像センサ１３５は、ハイブリッドＣＣＤ／ＣＭＯＳアーキテクチャ（「ｓＣＯＭＳ」の名称で販売）を採用し、ＣＣＤ撮像基板にバンプ接合されたＣＭＯＳ読み出し集積回路（readout integrated circuit、ＲＯＩＣ）からなる。ＣＣＤ及びＣＭＯＳ画像センサ１３５は、約４００ｎｍ～約１０００ｎｍの範囲など、約３５０ｎｍ～約１０５０ｎｍの範囲の波長に対して感度がある。当業者であれば、値が正確にある値ではないが、それでもなお、測定機器の感度及び製造公差などの様々な理由のいずれかにより、ほぼその値であるとみなされることがあると認識するであろう。ＣＭＯＳセンサは、一般に、ＣＣＤセンサよりもＩＲ波長に対して感度が高い。固体画像センサ１３５は、光電効果に基づいており、その結果、色を区別することができない。したがって、１チップ及び３チップの２種類のカラーＣＣＤカメラが存在する。１チップカラーＣＣＤカメラは、よく採用される低コストの画像化ソリューションを提供し、モザイク（例えば、ベイヤー）光学フィルタを使用して、入射光を一連の色に分離し、補間アルゴリズムを採用してフルカラー画像を解像する。次いで、各色は、異なるピクセルセットに方向付けられる。３チップカラーＣＣＤカメラは、プリズムを採用することによってより高い分解能を提供し、入射スペクトルの各セクションを異なるチップに誘導する。オブジェクトの空間内の各点が、色を判定するためのアルゴリズムを使用するのではなく、別個のＲＧＢ強度値を有するため、より正確な色再現が可能である。３チップカメラは、非常に高い分解能を提供する。
【0058】
制御システム１３３はまた、各々が制御回路１３３に動作可能に結合されたスペクトル光源１５０及び構造化光源１５２を含むエミッタ（例えば、エミッタ１０６）を含む。単一の光源は、スペクトル光源１５０の範囲内の光の波長及び構造化光源１５２の範囲内の光の波長を放射するようにパルス化することができる。あるいは、単一の光源は、可視スペクトル内の光（例えば、赤外スペクトル光）及び可視スペクトル上の光の波長を供給するようにパルス化することができる。スペクトル光源１５０は、例えば、ハイパースペクトル光源、マルチスペクトル光源、及び／又は選択的スペクトル光源とすることができる。組織特定ロジック１４０は、カメラ１４４の画像センサ１３５によって受信されたスペクトル光源１５０からのデータを介して、重要構造（例えば、図１の重要構造１０１）を特定するように構成されている。表面マッピングロジック１３６は、反射された構造化光に基づいて、可視組織（例えば、組織１０３）の表面の輪郭を判定するように構成されている。飛行時間測定により、距離判定ロジック１４１は、可視組織及び／又は重要構造までの１つ又は２つ以上の距離を判定するように構成されている。表面マッピングロジック１３６、組織特定ロジック１４０、及び距離判定ロジック１４１の各々からの出力は、撮像ロジック１３８に提供され、撮像システム１４２のディスプレイ１４６を介して医師に伝達されるように撮像ロジック１３８によって、組み合わされ、一体化され、及び／又は重ね合わせられるように構成されている。
【0059】
制御回路１３２は、様々な構成を有することができる。図５は、手術可視化システム１００の態様を制御するように構成された制御回路１３２として使用することができる制御回路１７０の一実施形態を例解する。制御回路１７０は、本明細書に説明される様々なプロセスを実装するように構成されている。制御回路１７０は、メモリ１７４に動作可能に結合されたプロセッサ１７２（例えば、マイクロプロセッサ又はマイクロコントローラ）を含むマイクロコントローラを含む。メモリ回路１７４は、プロセッサ１７２によって実行されるときに、プロセッサ１７２に、本明細書に説明される様々なプロセスを実装するための機械命令を実行させる、機械実行可能命令を記憶するように構成されている。プロセッサ１７２は、当該技術分野で既知のいくつかのシングルコアプロセッサ又はマルチコアプロセッサのうちの任意の１つとすることができる。メモリ回路１７４は、揮発性及び不揮発性の記憶媒体を含むことができる。プロセッサ１７２は、命令処理ユニット１７６、及び演算ユニット１７８を含む。命令処理ユニット１７６は、メモリ回路１７４から命令を受信するように構成されている。
【0060】
表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１は、様々な構成を有することができる。図６は、表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１のうちの１つ又は２つ以上などのロジックを使用して、手術可視化システム１００の態様を制御するように構成された組み合わせロジック回路１８０の一実施形態を例解する。組み合わせロジック回路１８０は、入力１８４において手術デバイス（例えば、手術デバイス１０２及び／又は撮像デバイス１２０）に関連付けられたデータを受信し、組み合わせロジック１８２によってデータを処理し、出力１８４を制御回路（例えば、制御回路１３２）に提供するように構成された組み合わせロジック１８２を含む有限状態マシンを含む。
【0061】
図７は、表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１のうちの１つ又は２つ以上などのロジックを使用して、手術可視化システム１００の態様を制御するように構成された順序ロジック回路１９０の一実施形態を例解する。順序ロジック回路１９０は、組み合わせロジック１９２、メモリ１９４、及びクロック１９６を含む有限状態マシンを含む。メモリ１９４は、有限状態マシンの現在の状態を記憶するように構成されている。順序ロジック回路１９０は、同期又は非同期とすることができる。組み合わせロジック１９２は、入力４２６において手術デバイス（例えば、手術デバイス１０２及び／又は撮像デバイス１２０）に関連付けられたデータを受信し、組み合わせロジック１９２によってデータを処理し、出力４９９を制御回路（例えば、制御回路１３２）に提供するように構成されている。いくつかの態様では、順序ロジック回路１９０は、プロセッサ（例えば、図５のプロセッサ１７２）と、本明細書の様々なプロセスを実装する有限状態マシンと、の組み合わせを含むことができる。いくつかの実施形態では、有限状態マシンは、組み合わせロジック回路（例えば、図７の組み合わせロジック回路１９２）と順序ロジック回路１９０との組み合わせを含むことができる。
【0062】
図８は、手術可視化システム２００の別の実施形態を例解する。手術可視化システム２００は、概して、図１の手術可視化システム１００と同様に構成されており、使用され、例えば、手術デバイス２０２及び撮像デバイス２２０を含む。撮像デバイス２２０は、例えば、隠れた構造のスペクトル画像を取得するために複数の波長のスペクトル光を放射するように構成されたスペクトル光エミッタ２２３を含む。撮像デバイス２２０はまた、三次元カメラ及び関連する電子処理回路を含むことができる。臓器２０３の表面２０５上では不可視の尿管２０１ａ、及び臓器２０３（この例では、子宮）内の血管２０１ｂなどの特定の重要構造を特定し、それらの回避を容易にするために術中に利用されている、手術可視化システム２００が示されている。
【0063】
手術可視化システム２００は、構造化光によって、手術デバイス２０２上のエミッタ２０６から子宮２０３の表面２０５までのエミッタ－組織間距離ｄｅを判定するように構成されている。手術可視化システム２００は、エミッタ－組織間距離ｄｅに基づいて、手術デバイス２０２から子宮２０３の表面２０５までのデバイス－組織間距離ｄｔを外挿するように構成されている。手術可視化システム２００はまた、尿管２０１ａから表面２０５までの組織－尿管間距離ｄＡ、及び撮像デバイス２２０から尿管２０１ａまでのカメラ－尿管間距離ｄｗを判定するように構成されている。本明細書に説明されるように、例えば、図１の手術可視化システム１００に関して、手術可視化システム２００は、例えば、スペクトル撮像及び飛行時間型センサを用いて、距離ｄｗを判定するように構成されている。様々な実施形態では、手術可視化システム２００は、本明細書に説明される他の距離、及び／又は表面マッピングロジックに基づいて、組織－尿管間距離ｄＡ（つまり、深さ）を判定（例えば、三角測量）することができる。
【0064】
上述したように、手術可視化システムは、手術可視化システムの様々な態様を制御するように構成された制御システムを含む。制御システムは、様々な構成を有することができる。図９は、図１の手術可視化システム１００、図８の手術可視化システム２００、又は本明細書に説明される他の手術可視化システムなどの手術可視化システムのための制御システム６００の一実施形態を例解する。制御システム６００は、スペクトルシグネチャ組織特定及び構造化光組織位置付けを統合して、特に、重要構造が組織、例えば、脂肪、結合組織、血液組織、及び／又は器官によって、及び／又は血液によって不覆い隠されているときにその構造を特定し、及び／又は腫瘍及び／又は非健常組織を器官内の健常組織から区別するなど、組織変動性を検出する変換システムである。
【0065】
制御システム６００は、ハイパースペクトル撮像可視化システムを実装するように構成されており、このシステムでは、分子応答を利用して、手術視野内の解剖学的構造を検出及び特定する。制御システム６００は、組織データを外科医及び／又は他の医療従事者に使用可能な情報に変換するように構成された変換ロジック回路６４８を含む。例えば、覆い隠されている材料に対する波長に基づく可変反射率を利用して、解剖学的構造中の重要構造を特定することができる。更に、制御システム６００は、特定されたスペクトルシグネチャと構造光データとを画像内で組み合わせるように構成されている。例えば、制御システム６００を採用して、拡張画像オーバーレイを用いたシステムにおける手術用途のための三次元データセットを作成することができる。技術は、追加の視覚的情報を採用して、手術中及び手術前の両方で採用することができる。様々な実施形態では、制御システム６００は、１つ又は２つ以上の重要構造の近接するときに、医師に警告を提供するように構成されている。外科手術及び重要構造への近接度に基づくロボット自動化アプローチ及び半自動化アプローチを誘導するために、様々なアルゴリズムを採用することができる。
【0066】
投影された光アレイは、組織の形状及び運動を術中に判定するために制御システム６００によって採用される。代替的に、フラッシュライダーを組織の表面マッピングに利用してもよい。
【0067】
制御システム６００は、上述のように、１つ又は２つ以上の重要構造を含むことができる重要構造を検出し、重要構造の画像オーバーレイを提供し、可視組織の表面までの距離、及び埋め込まれた／埋もれた重要構造までの距離を測定するように構成されている。制御システム６００は、可視組織の表面までの距離を測定し、又は重要構造を検出し、重要構造の画像オーバーレイを提供することができる。
【0068】
制御システム６００は、スペクトル制御回路６０２を含む。スペクトル制御回路６０２は、フィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）又は図６、図７、及び図８に関して説明される構成などの別の好適な回路構成であることができる。スペクトル制御回路６０２は、ビデオ入力プロセッサ６０６からビデオ入力信号を受信するように構成されたプロセッサ６０４を含む。プロセッサ６０４は、ハイパースペクトル処理を行うように構成されてよく、例えば、Ｃ／Ｃ＋＋コードを利用することができる。ビデオ入力プロセッサ６０６は、例えば、シャッタ時間、波長、及びセンサ分析などの制御（メタデータ）データのビデオインを受信するように構成されている。プロセッサ６０４は、ビデオ入力プロセッサ６０６からのビデオ入力信号を処理し、例えば、インターフェース制御（メタデータ）データのハイパースペクトルビデオアウトを含むビデオ出力信号をビデオ出力プロセッサ６０８に提供するように構成されている。ビデオ出力プロセッサ６０８は、ビデオ出力信号を画像オーバーレイコントローラ６１０に提供するように構成されている。
【0069】
ビデオ入力プロセッサ６０６は、患者隔離回路６１４を介して患者側のカメラ６１２に動作可能に結合されている。カメラ６１２は、固体画像センサ６３４を含む。患者隔離回路６１４は、患者がシステム内の他の回路から隔離されるように、複数の変圧器を含むことができる。カメラ６１２は、光学素子６３２及び画像センサ６３４を介して術中画像を受信するように構成されている。画像センサ６３４は、例えば、ＣＭＯＳ画像センサを含むことができるか、又は図４に関連して本明細書で論じられるものなどの別の画像センサ技術を含むことができる。カメラ６１２は、１４ビット／ピクセル信号で６１３個の画像を出力するように構成されている。当業者は、より高いか、又はより低い分解能を採用することができると認識するであろう。隔離カメラ出力信号６１３は、カラーＲＧＢ融合回路６１６に提供され、この回路は、この例解された実施形態において、カメラ出力信号６１３を処理する構成されたカメラハードウェアレジスタ６１８及びＮｉｏｓ２コプロセッサ６２０を採用する。ビデオ入力プロセッサ６０６及びレーザパルス制御回路６２２には、カラーＲＧＢ融合出力信号が提供される。
【0070】
レーザパルス制御回路６２２は、レーザ光エンジン６２４を制御するように構成されている。レーザ光エンジン６２４は、近赤外線（ＮＩＲ）を含む複数の波長（λ１、λ２、λ３．．．λｎ）において光を出力するように構成されている。レーザ光エンジン６２４は、複数のモードで動作することができる。例えば、レーザ光エンジン６２４は、２つのモードで動作することができる。第１のモード、例えば、標準動作モードでは、レーザ光エンジン６２４は、照明信号を出力するように構成されている。第２のモード、例えば、特定モードでは、レーザ光エンジン６２４は、ＲＧＢＧ光及びＮＩＲ光を出力するように構成されている。様々な実施形態では、レーザ光エンジン６２４は、偏光モードで動作することができる。
【0071】
レーザ光エンジン６２４からの光出力６２６は、術中の手術部位６２７内の標的とされる解剖学的構造を照明するように構成されている。レーザパルス制御回路６２２はまた、手術部位６２７における手術組織、又は臓器上に所定の波長（λ２）で、ライン及び／又はドットのグリッド又はパターンなどのレーザ光パターン６３１を投影するように構成されたレーザパターンプロジェクタ６３０のためのレーザパルスコントローラ６２８を制御するように構成されている。カメラ６１２は、カメラ光学素子６３２を通して出力されたパターン化された光及び反射光を受信するように構成されている。画像センサ６３４は、受信された光をデジタル信号に変換するように構成されている。
【0072】
カラーＲＧＢ融合回路６１６はまた、画像オーバーレイコントローラ６１０、並びに、レーザパターンプロジェクタ６３０によって手術部位６２７の標的とされる解剖学的構造上に投影されたレーザ光パターン６３１を読み取るためのビデオ入力モジュール６３６に信号を出力するように構成されている。処理モジュール６３８は、レーザ光パターン６３１を処理し、手術部位６２７において可視組織までの距離を表す第１のビデオ出力信号６４０を出力するように構成されている。データは、画像オーバーレイコントローラ６１０に提供される。処理モジュール６３８はまた、手術部位における標的とされる解剖学的構造の組織又は臓器の三次元レンダリングされた形状を表す第２のビデオ信号６４２を出力するように構成されている。
【0073】
第１のビデオ出力信号６４０及び第２のビデオ出力信号６４２は、集積モジュール６４３に提供される三次元表面モデル上の重要構造の位置を表すデータを含む。スペクトル制御回路６０２のビデオ出力プロセッサ６０８からのデータと組み合わせて、集積モジュール６４３は、埋もれた重要構造までの距離（例えば、図１の距離ｄＡ）を（例えば、三角測量アルゴリズム６４４によって）判定するように構成されており、埋もれた重要構造までの距離は、ビデオ出力プロセッサ６４６を介して、画像オーバーレイコントローラ６１０に提供することができる。前述の変換ロジックは、変換ロジック回路６４８、中間ビデオモニタ６５２、及び手術部位６２７に位置付けられたカメラ６２４／レーザパターンプロジェクタ６３０を包含することができる。
【0074】
ＣＴ又はＭＲＩスキャンなどによる術前データ６５０を採用して、特定の三次元変形可能な組織を様々な例で位置合わせ又は整列させることができる。このような術前データ６５０は、集積モジュール６４３、最終的には、画像オーバーレイコントローラ６１０に提供することができるので、このような情報はカメラ６１２のビューと重ね合わせられ、ビデオモニタ６５２に提供することができる。術前データの位置合わせの実施形態は、２０１８年９月１１日に出願された「Ｉｎｔｅｇｒａｔｉｏｎ Ｏｆ Ｉｍａｇｉｎｇ Ｄａｔａ」と題する米国特許出願公開第２０２０／００１５９０７号に更に説明されており、その全体は参照として本明細書に組み込まれる。
【0075】
ビデオモニタ６５２は、画像オーバーレイコントローラ６１０から統合／拡張ビューを出力するように構成されている。医師は、１つ又は２つ以上のディスプレイ上の異なるビューを選択し、及び／又は切り替えることができる。例解された実施形態では、モニタである第１のディスプレイ６５２ａ上で、医師は、（Ａ）可視組織の三次元レンダリングが示されているビューと、（Ｂ）１つ以上の隠れた重要構造が可視組織の三次元レンダリングの上に描写される拡張ビューとを切り替えることができる。例解された実施形態において、モニタである第２のディスプレイ６５２ｂ上で、医師は、例えば、１つ以上の隠れた重要構造、及び／又は可視組織の表面までの距離測定値を切り替えることができる。
【0076】
本明細書に説明される様々な手術可視化システムを利用して、スペクトルの可視部分においてＥＭＲにより可視化されるのが覆い隠され得る組織、及び／又は解剖学的構造を含む、様々な異なる種類の組織、及び／又は解剖学的構造を可視化することができる。手術可視化システムは、上述したように、スペクトル撮像システムを利用することができ、これは、構成材料の様々な組み合わせに基づいて、異なる種類の組織を可視化するように構成することができる。特に、スペクトル撮像システムは、様々なＥＭＲ波長にわたる組織の吸収係数に基づいて可視化されている組織内の様々な構成材料の存在を検出するように構成することができる。スペクトル撮像システムは、構成材料の特定の組み合わせに基づいて、可視化されている組織の組織種類を特徴付けるように構成することができる。
【0077】
図１０は、様々な生体材料の吸収係数がＥＭＲ波長スペクトルにわたり、どのように変動するかを描写するグラフ３００を示す。グラフ３００では、垂直軸３０２は、生体材料の吸収係数をｃｍ－１単位で表し、水平軸３０４は、ＥＭＲ波長をμｍ単位で表す。このグラフ３００における第１の線３０６は、様々なＥＭＲ波長における水の吸収係数を表し、第２の線３０８は、様々なＥＭＲ波長におけるタンパク質の吸収係数を表し、第３の線３１０は、様々なＥＭＲ波長におけるメラニンの吸収係数を表し、第４の線３１２は、様々なＥＭＲ波長における脱酸素化ヘモグロビンの吸収係数を表し、第５の線３１４は、様々なＥＭＲ波長における酸素化ヘモグロビンの吸収係数を表し、第６の線３１６は、様々なＥＭＲ波長におけるコラーゲンの吸収係数を表す。組織種類が異なると、構成材料の組み合わせも異なるので、手術可視化システムによって可視化されている組織種類は、検出された構成材料の特定の組み合わせに従って、特定し、差別化することが可能である。したがって、手術可視化システムのスペクトル撮像システムは、いくつかの異なる波長でＥＭＲを放射し、異なる波長で検出された吸収ＥＭＲ吸収応答に基づいて、組織の構成材料を判定し、その後、構成材料の特定の検出された組み合わせに基づいて、組織種類を特徴付けるように構成することができる。
【0078】
図１１は、異なる組織種類、及び／又は解剖学的構造を可視化するためのスペクトル撮像技術の利用の一実施形態を示す。図１１では、スペクトルエミッタ３２０（例えば、図４のスペクトル光源１５０）は、手術部位３２２を可視化するために撮像システムによって利用されている。スペクトルエミッタ３２０によって放射され、手術部位３２２の組織及び／又は構造から反射されたＥＭＲは、画像センサ（例えば、図４の画像センサ１３５）によって受信されて、組織及び／又は構造を可視化し、これらは、可視であるか（例えば、手術部位３２２の表面に位置している）、又は覆い隠されている（例えば、手術部位３２２において他の組織及び／又は構造の下にある）かのいずれかとすることができる。この実施形態では、撮像システム１４２（例えば、図４の撮像システム）は、異なる組織／構造種類の各々に対して、構成材料の異なる吸収性状（例えば、吸収係数）によって特徴付けられるスペクトルシグネチャに基づいて、腫瘍３２４、動脈３２６、及び様々な異常３２８（例えば、既知又は予想されるスペクトルシグネチャに対して確認できない組織）を可視化する。可視化された組織及び構造は、撮像システムに関連付けられた又は結合されたディスプレイスクリーン（例えば、図４の撮像システム１４２のディスプレイ１４６）上、主ディスプレイ（例えば、図１９の主ディスプレイ８１９）上、非滅菌ディスプレイ（例えば、図１９の非滅菌ディスプレイ８０７、８０９）上、手術ハブのディスプレイ（例えば、図１９の手術ハブ８０６のディスプレイ）上、デバイス／器具ディスプレイ上、及び／又は別のディスプレイ上に表示することができる。
【0079】
撮像システムは、特定された組織及び／又は構造種類に従って、表示された手術部位の可視化を調整、又は更新するように構成することができる。例えば、図１１に示されるように、撮像システムは、撮像システムに関連付けられた又は結合されたディスプレイスクリーン上、主ディスプレイ上、非滅菌ディスプレイ上、手術ハブのディスプレイ上、デバイス／器具ディスプレイ上、及び／又は別のディスプレイ上に可視化されている腫瘍３２４に関連付けられたマージン３３０を表示することができる。マージン３３０は、腫瘍３２４を確実に完全に除去するように切除されるべき組織の面積又は量を示すことができる。手術可視化システムの制御システム（例えば、図４の制御システム１３３）は、撮像システムによって特定された組織及び／又は構造に基づいて、マージン３３０の寸法を制御又は更新するように構成することができる。例解された実施形態では、撮像システムは、視野（field of view、ＦＯＶ）内の複数の異常３２８を特定している。したがって、制御システムは、この異常３２８を包含するのに十分な寸法を有する第１の更新されたマージン３３２に、表示されたマージン３３０を調節することができる。更に、撮像システムは、最初に表示されたマージン３３０（動脈３２６の強調表示された領域３３４によって示されるように）と部分的に重なっている動脈３２６を特定している。したがって、制御システムは、この動脈３２６の関連部分を包含するのに十分な寸法を有する第２の更新されたマージン３３６に、表示されたマージンを調節することができる。
【0080】
組織及び／又は構造はまた、図１０及び図１１に関して上述した吸収性状に加えて、又はそれに代えて、ＥＭＲ波長スペクトルにわたるこれらの反射性状に従って、撮像するか又は特徴付けることができる。例えば、図１２、図１３、及び図１４は、様々なＥＭＲ波長にわたる異なる種類の組織又は構造の反射率の様々なグラフを例解する。図１２は、覆い隠すものに対する例示の尿管シグネチャのグラフ表示３４０である。図１３は、覆い隠すものに対する例示の動脈シグネチャのグラフ表示３４２である。図１４は、覆い隠すものに対する例示の神経シグネチャのグラフ表示３４４である。図１２、図１３、及び図１４のプロットは、対応する波長における脂肪、肺組織、及び血液の対応する反射率に対する、特定の構造（尿管、動脈、及び神経）の波長（ｎｍ）の関数としての反射率を表している。これらのグラフは例示目的に過ぎず、他の組織及び／又は構造では、組織、及び／又は構造を特定及び可視化を可能にする対応する検出可能な反射率シグネチャを含み得ることを理解されたい。
【0081】
スペクトル撮像のための選択波長は、手術部位において予測される重要構造及び／又は覆い隠すものに基づいて特定し、利用することができる（例えば、「選択的スペクトル」撮像）。選択的スペクトル撮像を利用することにより、スペクトル画像を取得するために必要な時間量は、情報をリアルタイムで取得し、術中に利用することができるように、最小化することができる。波長は、医師によって、又はユーザ、例えば、医師による入力に基づいて、制御回路によって選択することができる。特定の例では、波長を、例えば、クラウド又は手術ハブを介して制御回路にアクセス可能な機械学習及び／又はビッグデータに基づいて選択することができる。
【0082】
図１５は、波形エミッタと組織によって覆い隠された重要構造との間の距離を測定するために、術中に利用されている組織へのスペクトル撮像の一実施形態を例解する。図１５は、波形４２４、４２５を利用する飛行時間型センサシステム４０４の一実施形態を示す。飛行時間型センサシステム４０４は、例えば、図１の手術可視化システム１００のセンサシステム１０４として、手術可視化システムに組み込むことができる。飛行時間型センサシステム４０４は、同じ手術デバイス１０２上に波形エミッタ４０６及び波形受信器４０８を含む（例えば、図１の同じ手術デバイス４０２上のエミッタ１０６及び受信器１０８）。放射された波４００は、エミッタ４０６から重要構造４０１（例えば、図１の重要構造１０１）まで延在し、受信される波４２５は、反射されて重要構造４０１から受信器４０８に戻される。この例解された実施形態では、手術デバイス４０２は、患者の腔４０７内へと延在するトロカール４１０を通って位置付けられる。この例解された実施形態では、トロカール４１０が使用されているが、他のトロカール又は他のアクセスデバイスを使用することができるか、又はアクセスデバイスを使用しなくてもよい。
【0083】
波形４２４、４２５は、波長のＮＩＲ又はＳＷＩＲスペクトル内の波長を有することなどによって、覆い隠している組織４０３を貫通するように構成されている。スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、若しくは選択的スペクトル）又は光音響信号は、遠位を指す第１の矢印４０７によって示されるように、エミッタ４０６から放射され、重要構造４０１が隠されている組織４０３を貫通することができる。放射された波形４２４は、近位を指す第２の矢印４０９によって示されるように、重要構造４０１によって反射される。受信された波形４２５は、手術デバイス４０２の遠位端と重要構造４０１との間の距離ｄに起因して、遅延する可能性がある。波形４２４、４２５は、本明細書に説明されるように、重要構造４０１のスペクトルシグネチャに基づいて、組織４０３内の重要構造４０１を標的とするように選択することができる。エミッタ４０６は、例えば、図１６に示されるように、オンとオフを表す二値信号を提供するように構成されており、受信器４０８によって測定することができる。
【0084】
放射された波４２４と受信された波４２５との間の遅延に基づいて、飛行時間型センサシステム４０４は、距離ｄを判定するように構成されている。図１５のエミッタ４０６及び受信器４０８の飛行時間タイミング図４３０が、図１６に示されている。遅延は、距離ｄの関数であり、距離ｄは、
【0085】
【数1】
【0086】
波形４２４、４２５の飛行時間は、図１５の距離ｄに対応する。様々な例では、追加のエミッタ／受信器及び／又はエミッタ４０６からのパルス信号は、非透過信号を放射するように構成することができる。非透過信号は、エミッタ４０６から覆い隠している組織４０３の表面４０５までの距離を判定するように構成することができる。様々な例では、重要構造４０１の深さは、
ｄＡ＝ｄｗ-ｄｔ
によって決定することができ、ｄＡ＝重要構造４０１の深さであり、ｄｗ＝エミッタ４０６から重要構造４０１までの距離（図１５のｄ）であり、ｄｔ＝エミッタ４０６（手術デバイス４０２の遠位端上）から覆い隠している組織４０３の表面４０５までの距離である。
ｄＡ＝ｄｗ-ｄｔ
によって決定することができ、ｄＡ＝重要構造４０１の深さであり、ｄｗ＝エミッタ４０６から重要構造４０１までの距離（図１５のｄ）であり、ｄｔ＝エミッタ４０６（手術デバイス４０２の遠位端上）から覆い隠している組織４０３の表面４０５までの距離である。
【0087】
図１７は、波５２４ａ、５２４ｂ、５２４ｃ、５２５ａ、５２５ｂ、５２５ｃを利用する飛行時間型センサシステム５０４の別の実施形態を例解する。飛行時間型センサシステム５０４は、例えば、図１の手術可視化システム１００のセンサシステム１０４として、手術可視化システムに組み込むことができる。飛行時間型センサシステム５０４は、波形エミッタ５０６及び波形受信器５０８（例えば、図１のエミッタ１０６及び受信器１０８）を含む。波形エミッタ５０６は、第１の手術デバイス５０２ａ（例えば、図１の手術デバイス１０２））上に位置付けられ、波形受信器５０８は、第２の手術デバイス５０２ｂ上に位置付けられる。手術デバイス５０２ａ、５０２ｂは、それぞれ、患者の腔５０７内に延在する第１のトロカール５１０ａ及び第２のトロカール５１０ｂを通って位置付けられる。トロカール５１０ａ、５１０ｂは、この例解された実施形態において使用されるが、他のトロカール又は他のアクセスデバイスを使用することができるか、又はアクセスデバイスを使用してなくてもよい。放射された波５２４ａ、５２４ｂ、５２４ｃは、エミッタ５０６から手術部位に向かって延在し、受信された波５２５ａ、５２５ｂ、５２５ｃは、手術部位における様々な構造、及び／又は表面から受信器５０８から反射される。
【0088】
異なる放射された波５２４ａ、５２４ｂ、５２４ｃは、手術部位において異なる種類の材料を標的とするように構成されている。例えば、波５２４ａは、覆い隠している組織５０３を標的とし、波５２４ｂは、この例解された実施形態では血管である第１の重要構造５０１ａ（例えば、図１の重要構造１０１）を標的とし、波５２４ｃは、この例解された実施形態ではがん性腫瘍である第２の重要構造５０１ｂ（例えば、図１の重要構造１０１）を標的とする。波５２４ａ、５２４ｂ、５２４ｃの波長は、可視光、ＮＩＲ、又はＳＷＩＲスペクトルの波長とすることができる。例えば、可視光は、組織５０３の表面５０５に反射することができ、ＮＩＲ波形及び／又はＳＷＩＲ波形は、組織５０３の表面５０５を透過することができる。様々な態様では、本明細書に記載されるように、スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル）又は光音響信号をエミッタ５０６から放射することができる。波５２４ｂ、５２４ｃは、本明細書に更に説明されるように、重要構造５０１ａ、５０１ｂのスペクトルシグネチャに基づいて、組織５０３内の重要構造５０１ａ、５０１ｂを標的とするように選択することができる。光音響撮像は、様々な米国特許出願に更に説明されており、これらは、本開示において参照により本開示に組み込まれる。
【0089】
放射された波５２４ａ、５２４ｂ、５２４ｃは、標的とされる材料、すなわち、それぞれ表面５０５、第１の重要構造５０１ａ、及び第２の構造５０１ｂから反射される。受信された波形５２５ａ、５２５ｂ、５２５ｃは、距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃに起因して遅延する可能性がある。
【0090】
エミッタ５０６及び受信器５０８を個別に位置付け可能である（例えば、別個の手術デバイス５０２ａ、５０２ｂ上で、及び／又は別個のロボットアームによって制御される）飛行時間型センサシステム５０４において、様々な距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃは、エミッタ５０６及び受信器５０８の既知の位置から算出することができる。例えば、手術デバイス５０２ａ、５０２ｂがロボット制御されるときに、位置は既知とすることができる。エミッタ５０６と受信器５０８の位置、並びに特定組織を標的とする光子ストリームの時間、及び受信器５０８によって受信されたその特定の応答の情報に関する知識により、距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃの判定を可能にすることができる。一態様では、覆い隠された重要構造５０１ａ、５０１ｂまでの距離は、透過波長を使用して三角測量することができる。光速度は可視光又は不可視光の任意の波長に対して一定であるため、飛行時間型センサシステム５０４は、様々な距離を判定することができる。
【0091】
医師に提供されたビュー、例えば、ディスプレイ上では、結果として生じる画像内の標的構造の質量中心が一定のままとなるように、例えば、選択標的構造５０３、５０１ａ、又は５０１ｂの軸に垂直な平面内で、受信器５０８を回転させることができる。そのような向きは、標的構造に対して、１つ又は２つ以上の関連する距離及び／又は視点を迅速に通信することができる。例えば、図１７に示されるように、重要構造５０１ａがビュー平面に垂直である（例えば、血管がページの内外に向いている）視点から、手術部位が表示される。そのような向きは、デフォルトセッティングとすることができる。しかしながら、ビューは、医師によって回転されるか、又は別様に調節され得る。特定の例では、医師は、撮像システムによって提供される手術部位の視点を画定する、異なる表面及び／又は標的構造を切り替えることができる。
【0092】
この例解された実施形態におけるように、受信器５０８は、トロカール５１０ｂ（又は他のアクセスデバイス）上に装着することができ、それを通して手術デバイス５０２ｂが位置付けられる。他の実施形態では、受信器５０８は、三次元位置が既知である別個のロボットアームに装着することができる。様々な例では、受信器５０８は、手術デバイス５０２ａを制御するロボットとは別個の可動アーム上に装着することができるか、又はロボット座標平面に術中に位置合わせ可能な手術室（ＯＲ）台若しくは固定具に装着することができる。そのような例では、エミッタ５０６及び受信器５０８の位置は、飛行時間センサシステム５０４の出力から距離を三角測量することができるように、同じ座標平面に位置合わせすることができる。
【0093】
飛行時間型センサシステムとナノ秒の分解能を用いたＮＩＲ光の時間分解プロファイルを測定することが可能である、ＴＯＦ－ＮＩＲＳと呼ばれる近赤外分光法（near-infrared spectroscopy、ＮＩＲＳ）との組み合わせは、Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ Ｎｅａｒ－Ｉｎｆｒａｒｅｄ Ｓｐｅｃｔｒｏｓｃｏｐｙ Ｆｏｒ Ｎｏｎｄｅｓｔｒｕｃｔｉｖｅ Ｍｅａｓｕｒｅｍｅｎｔ Ｏｆ Ｉｎｔｅｒｎａｌ Ｑｕａｌｉｔｙ Ｉｎ Ｇｒａｐｅｆｒｕｉｔ，Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｆｏｒ Ｈｏｒｔｉｃｕｌｔｕｒａｌ Ｓｃｉｅｎｃｅ，Ｍａｙ ２０１３ ｖｏｌ．１３８ ｎｏ．３ ２２５－２２８に見出すことができ、これは、その全体が参照により本明細書に組み込まれる。
【0094】
可視化システム並びにその態様及び使用の実施形態は、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｐｌａｔｆｏｒｍ」と題する米国特許出願公開第２０２０／００１５９２３号、２０１８年９月１１日に出願された「Ｃｏｎｔｒｏｌｌｉｎｇ Ａｎ Ｅｍｉｔｔｅｒ Ａｓｓｅｍｂｌｙ Ｐｕｌｓｅ Ｓｅｑｕｅｎｃｅ」と題する米国特許出願公開第２０２０／００１５９００号、２０１８年９月１１日に出願された「Ｓｉｎｇｕｌａｒ ＥＭＲ Ｓｏｕｒｃｅ Ｅｍｉｔｔｅｒ Ａｓｓｅｍｂｌｙ」と題する米国特許出願公開第２０２０／００１５６６８号、２０１８年９月１１日に出願された「Ｃｏｍｂｉｎａｔｉｏｎ Ｅｍｉｔｔｅｒ Ａｎｄ Ｃａｍｅｒａ Ａｓｓｅｍｂｌｙ」と題する米国特許出願公開第２０２０／００１５９２５号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｗｉｔｈ Ｐｒｏｘｉｍｉｔｙ Ｔｒａｃｋｉｎｇ Ｆｅａｔｕｒｅｓ」と題する米国特許出願公開第２０２０／０００１５８９９号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｏｆ Ｍｕｌｔｉｐｌｅ Ｔａｒｇｅｔｓ」と題する米国特許出願公開第２０２０／０００１５９０３号、２０１８年９月１１日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｏｆ Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ」と題する米国特許第１０，７９２，０３４号、２０１８年９月１１日に出願された「Ｏｐｅｒａｔｉｖｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｏｆ Ｌｉｇｈｔ」と題する米国特許出願公開第２０２０／００１５８９７号、２０１８年９月１１日に出願された「Ｒｏｂｏｔｉｃ Ｌｉｇｈｔ Ｐｒｏｊｅｃｔｉｏｎ Ｔｏｏｌｓ」と題する米国特許出願公開第２０２０／００１５９２４号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｆｅｅｄｂａｃｋ Ｓｙｓｔｅｍ」と題する米国特許出願公開第２０２０／００１５８９８号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ａｎｄ Ｍｏｎｉｔｏｒｉｎｇ」と題する米国特許出願公開第２０２０／００１５９０６号、２０１８年９月１１日に出願された「Ｉｎｔｅｇｒａｔｉｏｎ Ｏｆ Ｉｍａｇｉｎｇ Ｄａｔａ」と題する米国特許出願公開第２０２０／００１５９０７号、２０１８年９月１１日に出願された「Ｒｏｂｏｔｉｃａｌｌｙ－Ａｓｓｉｓｔｅｄ Ｓｕｒｇｉｃａｌ Ｓｕｔｕｒｉｎｇ Ｓｙｓｔｅｍｓ」と題する米国特許第１０，９２５，５９８号、２０１８年９月１１日に出願された「Ｓａｆｅｔｙ Ｌｏｇｉｃ Ｆｏｒ Ｓｕｒｇｉｃａｌ Ｓｕｔｕｒｉｎｇ Ｓｙｓｔｅｍｓ」と題する米国特許出願公開第２０２０／００１５９０１号、２０１８年９月１１日に出願された「Ｒｏｂｏｔｉｃ Ｓｙｓｔｅｍｓ Ｗｉｔｈ Ｓｅｐａｒａｔｅ Ｐｈｏｔｏａｃｏｕｓｔｉｃ Ｒｅｃｅｉｖｅｒｓ」と題する米国特許出願公開第２０２０／００１５９１４号、２０１８年９月１１日に出願された「Ｆｏｒｃｅ Ｓｅｎｓｏｒ Ｔｈｒｏｕｇｈ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ Ｄｅｆｌｅｃｔｉｏｎ」と題する米国特許出願公開第２０２０／００１５９０２号、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｈｕｂ Ｃｏｍｍｕｎｉｃａｔｉｏｎ」と題する米国特許出願公開第２０１９／０２０１１３６号、２０１９年１２月３０日に出願された「Ａｎａｌｙｚｉｎｇ Ｓｕｒｇｉｃａｌ Ｔｒｅｎｄｓ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，７７２号、２０１９年１２月３０日に出願された「Ｄｙｎａｍｉｃ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ」と題する米国特許出願第１６／７２９，７４７号、２０１９年１２月３０日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ」と題する米国特許出願第１６／７２９，７４４号、２０１９年１２月３０日に出願された「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ，Ａｄｊｕｓｔｉｎｇ，Ａｎｄ Ｍａｎａｇｉｎｇ Ｒｅｓｅｃｔｉｏｎ Ｍａｒｇｉｎ Ａｂｏｕｔ Ａ Ｓｕｂｊｅｃｔ Ｔｉｓｓｕｅ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｐｒｏｐｏｓｉｎｇ Ａｎｄ Ｃｏｒｒｏｂｏｒａｔｉｎｇ Ｏｒｇａｎ Ｐｏｒｔｉｏｎ Ｒｅｍｏｖａｌｓ」と題する米国特許出願第１６／７２９，７２９号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｏｖｅｒｌａｙｉｎｇ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ Ｏｎｔｏ Ａ Ｖｉｒｔｕａｌ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔ Ｏｆ Ａｎ Ｏｒｇａｎ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｃｏｒｒｅｌａｔｉｎｇ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｄａｔａ Ａｎｄ Ｐｏｗｅｒｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ」と題する米国特許出願第１６／７２９，７４０号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｃｌｏｕｄ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７３７号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｐａｒｔｉｃｕｌａｔｅ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７９６号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，８０３号、２０１９年１２月３０日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｕｓｉｎｇ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅｓ Ｉｎ Ｓｕｒｇｅｒｙ」と題する米国特許出願第１６／７２９，８０７号、２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，ａｎｄ Ｍｅｔｈｏｄｓ Ｕｓｉｎｇ Ｆｉｄｕｃｉａｌ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ」と題する米国特許仮出願第６３／２４９，６５２号、２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ， Ｓｙｓｔｅｍｓ， ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｃｏｎｔｒｏｌ ｏｆ Ｏｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ ｗｉｔｈ Ａｎｏｔｈｅｒ」と題する米国特許仮出願第６３／２４９，６５８号、２０２１年９月２９日に出願された「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ」と題する米国特許仮出願第６３／２４９，８７０号、２０２１年９月２９日に出願された「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ ｗｉｔｈ Ｖａｒｉａｂｌｅ Ｓｕｒｇｉｃａｌ Ｓｉｔｅ Ａｃｃｅｓｓ Ｔｒａｊｅｃｔｒｉｅｓ」と題する米国特許仮出願第６３／２４９，８８１号、２０２１年９月２９日に出願された「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ」と題する米国特許仮出願第６３／２４９，８７７号、及び２０２１年９月２９日に出願された「Ｃｏｏｐｅｒａｔｉｖｅ Ａｃｃｅｓｓ」と題する米国特許仮出願第６３／２４９，９８０号に更に説明されており、これらは、参照によりその全体が本明細書に組み込まれる。
【0095】
手術ハブ
本明細書に説明される様々な可視化又は撮像システムは、手術ハブを含むシステムに組み込むことができる。概して、手術ハブは、複数の医療施設にまたがることができ、統合され包括的な改善された医療を膨大な数の患者に提供するように構成された包括的なデジタル医療システムの構成要素とすることができる。包括的なデジタル医療システムは、多くの異なる医療施設にわたって位置する複数の手術ハブに相互接続するように構成されているクラウドベースの医療分析システムを含む。手術ハブは、患者に対して医療処置を行うために使用される１つ又は２つ以上の手術器具及び／又は医療処置を行っている間に使用される１つ又は２つ以上の可視化システムなどの１つ又は２つ以上の要素と相互接続するように構成されている。手術ハブは、医療処置の転帰を改善するための多様な機能性を提供する。様々な手術デバイス、可視化システム、及び手術ハブによって生成された、患者及び医療処置に関するデータは、クラウドベースの医療分析システムに送信され得る。次いで、このデータは、他の医療施設に位置する多くの他の手術ハブ、可視化システム、及び手術器具から収集された同様のデータと集約され得る。収集されたデータを分析するクラウドベースの分析システムを通じて、様々なパターン及び相関が見出され得る。結果として、データを生成するために使用される技術の改善をもたらし得、次いで、これらの改善は、様々な手術ハブ、可視化システム及び手術デバイスに広め得る。上述した構成要素の全ての相互接続性により、多くの構成要素がそのように相互接続されていない場合には見出されない可能性がある医療処置及び医療実践における改善が見出される可能性がある。
本明細書に説明される様々な可視化又は撮像システムは、手術ハブを含むシステムに組み込むことができる。概して、手術ハブは、複数の医療施設にまたがることができ、統合され包括的な改善された医療を膨大な数の患者に提供するように構成された包括的なデジタル医療システムの構成要素とすることができる。包括的なデジタル医療システムは、多くの異なる医療施設にわたって位置する複数の手術ハブに相互接続するように構成されているクラウドベースの医療分析システムを含む。手術ハブは、患者に対して医療処置を行うために使用される１つ又は２つ以上の手術器具及び／又は医療処置を行っている間に使用される１つ又は２つ以上の可視化システムなどの１つ又は２つ以上の要素と相互接続するように構成されている。手術ハブは、医療処置の転帰を改善するための多様な機能性を提供する。様々な手術デバイス、可視化システム、及び手術ハブによって生成された、患者及び医療処置に関するデータは、クラウドベースの医療分析システムに送信され得る。次いで、このデータは、他の医療施設に位置する多くの他の手術ハブ、可視化システム、及び手術器具から収集された同様のデータと集約され得る。収集されたデータを分析するクラウドベースの分析システムを通じて、様々なパターン及び相関が見出され得る。結果として、データを生成するために使用される技術の改善をもたらし得、次いで、これらの改善は、様々な手術ハブ、可視化システム及び手術デバイスに広め得る。上述した構成要素の全ての相互接続性により、多くの構成要素がそのように相互接続されていない場合には見出されない可能性がある医療処置及び医療実践における改善が見出される可能性がある。
【0096】
データを受信し、分析し、かつ出力するように構成された手術ハブ、及びそのような手術ハブを使用する方法の実施例は、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｈｕｂ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｐｒｏｃｅｓｓｉｎｇ，Ｓｔｏｒａｇｅ Ａｎｄ Ｄｉｓｐｌａｙ」と題する米国特許出願公開第２０１９／０２００８４４号、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｃｏｍｐｒｅｓｓｉｎｇ Ｔｉｓｓｕｅ Ｗｉｔｈｉｎ Ａ Ｓｔａｐｌｉｎｇ Ｄｅｖｉｃｅ Ａｎｄ Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｄｉｓｐｌａｙｉｎｇ Ｔｈｅ Ｌｏｃａｔｉｏｎ Ｏｆ Ｔｈｅ Ｔｉｓｓｕｅ Ｗｉｔｈｉｎ Ｔｈｅ Ｊａｗｓ」と題する米国特許出願公開第２０１９／０２００９８１号、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｓｍａｒｔ Ｅｎｅｒｇｙ Ｄｅｖｉｃｅｓ」と題する米国特許出願公開第２０１９／０２０１０４６号、２０１８年３月２９日に出願された「Ａｄａｐｔｉｖｅ Ｃｏｎｔｒｏｌ Ｐｒｏｇｒａｍ Ｕｐｄａｔｅｓ Ｆｏｒ Ｓｕｒｇｉｃａｌ Ｈｕｂｓ」と題する米国特許出願公開第２０１９／０２０１１１４号、２０１８年３月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｈｕｂ Ｓｉｔｕａｔｉｏｎａｌ Ａｗａｒｅｎｅｓｓ」と題する米国特許出願公開第２０１９／０２０１１４０号、２０１８年３月２９日に出願された「Ｉｎｔｅｒａｃｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｗｉｔｈ Ｃｏｎｄｉｔｉｏｎ Ｈａｎｄｌｉｎｇ Ｏｆ Ｄｅｖｉｃｅｓ Ａｎｄ Ｄａｔａ Ｃａｐａｂｉｌｉｔｉｅｓ」と題する米国特許出願公開第２０１９／０２０６００４号、２０１８年３月２９日に出願された「Ｃｌｏｕｄ－ｂａｓｅｄ Ｍｅｄｉｃａｌ Ａｎａｌｙｔｉｃｓ Ｆｏｒ Ｃｕｓｔｏｍｉｚａｔｉｏｎ Ａｎｄ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ Ｔｏ Ａ Ｕｓｅｒ」と題する米国特許出願公開第２０１９／０２０６５５５号、及び２０１８年１１月６日に出願された「Ｓｕｒｇｉｃａｌ Ｎｅｔｗｏｒｋ Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ｏｆ Ｐｒｉｏｒｉｔｉｚａｔｉｏｎ Ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏｎ， Ｉｎｔｅｒａｃｔｉｏｎ， Ｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｂａｓｅｄ Ｏｎ Ｓｙｓｔｅｍ Ｏｒ Ｄｅｖｉｃｅ Ｎｅｅｄｓ」と題する米国特許出願公開２０１９／０２０７８５７号に更に説明されており、これらは、参照によりその全体が本明細書に組み込まれる。
【0097】
図１８は、１つ以上の手術システム７０２及びクラウドベースのシステム（例えば、記憶デバイス７０５に結合された遠隔サーバ７１３を含むことができるクラウド７０４）を含むコンピュータ実装双方向手術システム７００の一実施形態を例解する。各手術システム７０２は、クラウド７０４と通信する少なくとも１つの手術ハブ７０６を含む。一実施例では、図１８に例解されたように、手術システム７０２は、可視化システム７０８と、ロボットシステム７１０と、インテリジェント（又は「スマート」）手術器具７１２とを含み、これらは、互いに、及び／又はハブ７０６と通信するように構成されている。インテリジェント手術器具７１２は、撮像デバイスを含むことができる。手術システム７０２は、Ｍ個のハブ７０６と、Ｎ個の可視化システム７０８と、Ｏ個のロボットシステム７１０と、Ｐ個のインテリジェント手術器具７１２と、を含むことができ、Ｍ、Ｎ、Ｏ、及びＰは、互いのいずれか１つ以上に等しくても等しくなくてもよい１以上の整数である。様々な例示的なインテリジェント手術器具及びロボットシステムが本明細書に説明されている。
【0098】
手術可視化システムから手術ハブによって受信されるデータは、様々な方法のうちのいずれかで使用することができる。例示的な実施形態では、手術ハブは、例えば、手術処置を行っている間に手術室で使用される、手術セッティングにおいて患者と共に使用される手術可視化システムからデータを受信することができる。手術ハブは、本明細書に論じられるように、１つ又は２つ以上の方法のいずれかで受信されたデータを使用することができる。
【0099】
手術ハブは、手術可視化システムの使用に伴って、受信されたデータをリアルタイムで分析し、受信されたデータの分析に基づいて、患者と共に使用される手術可視化システム及び／又は１つ又は２つ以上のインテリジェント手術器具のうちの１つ又は２つ以上を調節制御するように構成することができる。このような調節は、例えば、インテリジェント手術器具の１つ又は２つ以上の動作制御パラメータを調節すること、１つ又は２つ以上のインテリジェント手術器具の１つ又は２つ以上のセンサに測定を行わせて、患者の現在の生理学的状態、及び／又はインテリジェント手術器具の現在の動作状態の理解を得ることを助けること、並びに他の調節を含むことができる。インテリジェント手術器具の動作を制御及び調節することは、以下で更に論じられる。インテリジェント手術器具の動作制御パラメータの実施例は、モータ速度、切断要素速度、時間、持続時間、エネルギー印加のレベル、及び光放射を含む。手術ハブの実施例、並びにインテリジェント手術器具の動作を制御及び調節する実施例は、前述の２０１９年１２月３０日に出願された「Ａｎａｌｙｚｉｎｇ Ｓｕｒｇｉｃａｌ Ｔｒｅｎｄｓ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，７７２号、２０１９年１２月３０日に出願された「Ｄｙｎａｍｉｃ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ」と題する米国特許出願第１６／７２９，７４７号、２０１９年１２月３０日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ」と題する米国特許出願第１６／７２９，７４４号、２０１９年１２月３０日に出願された「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ， Ａｄｊｕｓｔｉｎｇ， Ａｎｄ Ｍａｎａｇｉｎｇ Ｒｅｓｅｃｔｉｏｎ Ｍａｒｇｉｎ Ａｂｏｕｔ Ａ Ｓｕｂｊｅｃｔ Ｔｉｓｓｕｅ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｐｒｏｐｏｓｉｎｇ Ａｎｄ Ｃｏｒｒｏｂｏｒａｔｉｎｇ Ｏｒｇａｎ Ｐｏｒｔｉｏｎ Ｒｅｍｏｖａｌｓ」と題する米国特許出願第１６／７２９，７２９号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｏｖｅｒｌａｙｉｎｇ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ Ｏｎｔｏ Ａ Ｖｉｒｔｕａｌ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔ Ｏｆ Ａｎ Ｏｒｇａｎ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｃｏｒｒｅｌａｔｉｎｇ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｄａｔａ Ａｎｄ Ｐｏｗｅｒｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ」と題する米国特許出願第１６／７２９，７４０号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｃｌｏｕｄ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７３７号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｐａｒｔｉｃｕｌａｔｅ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７９６号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，８０３号、及び２０１９年１２月３０日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｕｓｉｎｇ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅｓ Ｉｎ Ｓｕｒｇｅｒｙ」と題する米国特許出願第１６／７２９，８０７号に説明される。２０２０年１０月１３日に出願された「Ａｄａｐｔｉｖｅ Ｒｅｓｐｏｎｓｅｓ Ｆｒｏｍ Ｓｍａｒｔ Ｐａｃｋａｇｉｎｇ Ｏｆ Ｄｒｕｇ Ｄｅｌｉｖｅｒｙ Ａｂｓｏｒｂａｂｌｅ Ａｄｊｕｎｃｔｓ」と題する米国特許出願第１７／０６８，８５７号、２０２０年１０月１３日に出願された「Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ Ｔｈａｔ Ｃｏｍｍｕｎｉｃａｔｅ Ｗｉｔｈ Ｓｕｒｇｉｃａｌ Ｈｕｂｓ」と題する米国特許出願第１７／０６８，８５８号、２０２０年１０月１３日に出願された「Ｃｏｎｔｒｏｌｌｉｎｇ Ｏｐｅｒａｔｉｏｎ Ｏｆ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ Ｕｓｉｎｇ Ｓｕｒｇｉｃａｌ Ｈｕｂｓ」と題する米国特許出願第１７／０６８，８５９号、２０２０年１０月１３日に出願された「Ｐａｔｉｅｎｔ Ｍｏｎｉｔｏｒｉｎｇ Ｕｓｉｎｇ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ」と題する米国特許出願第１７／０６８，８６３号、２０２０年１０月１３日に出願された「Ｍｏｎｉｔｏｒｉｎｇ Ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｕｓｉｎｇ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ」と題する米国特許出願第１７／０６８，８６５号、及び２０２０年１０月１３日に出願された「Ａｇｇｒｅｇａｔｉｎｇ Ａｎｄ Ａｎａｌｙｚｉｎｇ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄａｔａ」と題する米国特許出願第１７／０６８，８６７号に更に説明されており、これらは、参照によりその全体が本明細書に組み込まれる。
【0100】
手術ハブは、受信されたデータの可視化がディスプレイ上の手術セッティングにおいて提供されるように構成することができ、そのため、手術セッティングにおける医師が、データを見ることができ、それにより、手術セッティングにおいて使用されている撮像デバイスの動作の理解を受け取ることができる。可視化を介して提供されるこのような情報は、テキスト及び／又は画像を含むことができる。
【0101】
図１９は、手術ハブ８０６（例えば、図１８の手術ハブ７０６又は本明細書に説明される他の手術ハブ）、ロボット手術システム８１０（例えば、図１のロボット手術処置システム１１０又は本明細書における他のロボット手術システム）、及び可視化システム８０８（例えば、図１の可視化システム１００又は本明細書に説明される他の可視化システム）を含む手術システム８０２の一実施形態を例解する。手術ハブ８０６は、本明細書に論じられるように、クラウドと通信することができる。図１９は、手術室８１６内の手術台８１４上に横たわっている患者に対して手術処置を行うために使用されている手術システム８０２を示す。ロボットシステム８１０は、外科医のコンソール８１８と、患者側カート８２０（手術ロボット）と、ロボットシステムの手術ハブ８２２と、を含む。ロボットシステムの手術ハブ８２２は、概して、手術ハブ８２２と同様に構成されており、クラウドと通信することができる。いくつかの実施形態では、ロボットシステムの手術ハブ８２２及び手術ハブ８０６は、組み合わせることができる。患者側カート８２０は、医師例えば、外科医、看護師、及び／又は他の医師が、外科医コンソール８１８を通して手術部位を見ている間に、患者の身体の低侵襲切開部を通してインテリジェント手術ツール８１２を操作することができる。手術部位の画像は、撮像デバイス８２４（例えば、図１の撮像デバイス１２０、又は本明細書に説明される他の撮像デバイス）によって取得することができ、これは、撮像デバイス８２４の向きを変えるために、患者側カート８２０によって操作することができる。ロボットシステムの手術ハブ８２２を使用して、手術部位の画像を処理し、その後、外科医のコンソール８１８を通して、外科医に表示することができる。
【0102】
主ディスプレイ８１９は、手術室８１６の滅菌野に位置付けられ、手術台８１４にいるオペレータに可視であるように構成されている。加えて、この例解された実施形態では、可視化タワー８１８が、滅菌野の外側に位置付けられ得る。可視化タワー８１８は、互いに反対側を向いている第１の非滅菌ディスプレイ８０７、及び第２の非滅菌ディスプレイ８０９を含む。手術ハブ８０６によって誘導される可視化システム８０８は、ディスプレイ８０７、８０９、８１９を利用して、滅菌野の内側及び外側の医師への情報フローを協調するように構成されている。例えば、手術ハブ８０６は、可視化システム８０８に、主ディスプレイ８１９上に手術部位のライブ映像を維持しながら、撮像デバイス８２４によって取得されるような手術部位のスナップショット及び／又はビデオを非滅菌ディスプレイ８０７、８０９の一方又は両方上に表示させることができる。非滅菌ディスプレイ８０７及び／又は８０９上のスナップショット及び／又はビデオは、例えば、非滅菌医師が、手術処置に関連する診断工程を行うことを許可することができる。
【0103】
手術ハブ８０６は、可視化タワー８１８における非滅菌医師によって入力された診断入力又はフィードバックを滅菌野内の主ディスプレイ８１９に送り、これを手術台８１４における滅菌医師が見ることができるように構成されている。例えば、入力は、手術ハブ８０６によって主ディスプレイ８１９に送ることができる、非滅菌ディスプレイ８０７又は８０９上に表示されるスナップショット及び／又はビデオへの修正の形態とすることができる。
【0104】
手術ハブ８０６は、本開示において参照により本明細書に組み込まれる様々な米国特許出願に説明されているように、インテリジェント手術器具８１２のディスプレイに情報フローを適合させるように構成されている。可視化タワー８１８における非滅菌オペレータによって入力される診断入力又はフィードバックは、手術ハブ８０６によって滅菌野内のディスプレイ８１９に送ることができ、これを手術器具８１２のオペレータ及び／又は滅菌野内の医師が見ることができる。
【0105】
インテリジェント手術器具８１２及びインテリジェント手術ツールでもある撮像デバイス８２４は、手術システム８０２の一部として手術処置において患者と共に使用されている。例えば、患者側カート８２０に着脱可能に結合され、かつロボット手術システム８１０及び手術ハブ８０６と通信することができる、手術処置で使用することができる他のインテリジェント手術器具８１２ａも、利用可能であるものとして図１９に示されている。非インテリジェント（又は「ダム」）手術器具８１７、例えば、ロボット手術システム８１０及び手術ハブ８０６と通信することができない鋏、トロカール、カニューレ、メスもまた、使用のために利用可能であるものとして図１９に示されている。
【0106】
インテリジェント手術器具の動作
インテリジェント手術デバイスには、インテリジェント手術デバイスの動作を制御するために、インテリジェント手術デバイス、例えば、そのプロセッサによってオンボードで実行可能であるように構成されたアルゴリズムが、インテリジェント手術デバイス上、例えば、そのメモリ内に記憶され得る。いくつかの実施形態では、インテリジェント手術デバイス上に記憶される代わりに、又はそれに加えて、アルゴリズムは、インテリジェント手術デバイスと通信するように構成されている、手術ハブ上、例えば、そのメモリ内に記憶することができる。
インテリジェント手術デバイスには、インテリジェント手術デバイスの動作を制御するために、インテリジェント手術デバイス、例えば、そのプロセッサによってオンボードで実行可能であるように構成されたアルゴリズムが、インテリジェント手術デバイス上、例えば、そのメモリ内に記憶され得る。いくつかの実施形態では、インテリジェント手術デバイス上に記憶される代わりに、又はそれに加えて、アルゴリズムは、インテリジェント手術デバイスと通信するように構成されている、手術ハブ上、例えば、そのメモリ内に記憶することができる。
【0107】
アルゴリズムは、インテリジェント手術デバイスの機能を制御するために、命令、通知、信号などを定義する、及び／又は表す複数のデータポイントの１つ又は２つ以上のセットの形態で記憶される。いくつかの実施形態では、インテリジェント手術デバイスによって収集されたデータは、アルゴリズムの少なくとも１つの可変パラメータを変更するために、例えば、インテリジェント手術デバイスのプロセッサによって、インテリジェント手術デバイスによって使用することができる。上記に論じられるように、手術ハブは、インテリジェント手術デバイスと通信することができ、したがって、インテリジェント手術デバイスによって収集されたデータは、手術ハブに通信することができ、及び／又は手術ハブと通信する別のデバイスによって収集されたデータは、手術ハブに通信することができ、データは、手術ハブからインテリジェント手術デバイスに通信することができる。したがって、インテリジェント手術デバイスが、記憶された可変パラメータを変更するように構成されている代わりに、又はそれに加えて、手術ハブは、変更された少なくとも１つの変数を、単独で、又はアルゴリズムの一部として、インテリジェント手術デバイスに通信するように構成することができ、及び／又は手術ハブは、命令をインテリジェント手術デバイスに通信し、手術ハブによって判定されるような少なくとも１つの変数を変更することができる。
【0108】
少なくとも１つの可変パラメータは、アルゴリズムのデータポイントの間にあり、例えば、インテリジェント手術デバイスを動作させるための命令に含まれ、したがって、各々が、アルゴリズムの記憶された複数のデータポイントのうちの１つ又は２つ以上を変更することによって、変更されることが可能である。少なくとも１つの可変パラメータが変更された後、その後のアルゴリズムの実行は、変更されたアルゴリズムに従う。そのため、患者の実際の状況並びにインテリジェント手術デバイスが使用されている手術処置の実際の条件及び／又は結果を考慮することによって、インテリジェント手術デバイスの有益な結果の使用を増加させるために、インテリジェント手術デバイスの経時的な動作を患者に対して管理することができる。少なくとも１つの可変パラメータを変更することは、患者の転帰を改善するために自動化される。したがって、インテリジェント手術デバイスは、スマートシステムを提供するために患者及び患者の周囲条件に基づいて個別化された医薬を提供するように構成することができる。手術処置を行っている間にインテリジェント手術デバイスが使用されている手術セッティングにおいて、少なくとも１つの可変パラメータの自動変更は、手術処置を行っている間に収集されたデータに基づいて、インテリジェント手術デバイスが制御されることを可能にし得、これは、インテリジェント手術デバイスが効率的かつ正確に使用されることを確実にするのに役立ち得、及び／又は重要な解剖学的構造を傷つけることによって、患者を傷つける可能性を低減するのに役立ち得る。
【0109】
少なくとも１つの可変パラメータは、様々な異なる動作パラメータのうちのいずれかとすることができる。可変パラメータの実施例は、モータ速度、モータトルク、エネルギーレベル、エネルギー印加持続時間、組織圧迫レート、ジョー閉鎖レート、切断要素速度、負荷閾値などを含む。
【0110】
図２０は、少なくとも１つの可変パラメータを含むアルゴリズム９０４が記憶されたメモリ９０２を含むインテリジェント手術器具９００の一実施形態を例解する。アルゴリズム９０４は、単一のアルゴリズムとすることができるか、又は各アルゴリズムが少なくとも１つの可変パラメータを含む、複数のアルゴリズム、例えば、手術器具の動作の異なる態様のための別個のアルゴリズムを含むことができる。インテリジェント手術器具９００は、図１の手術デバイス１０２、図１の撮像デバイス１２０、図８の手術デバイス２０２、図８の撮像デバイス２２０、図１５の手術デバイス４０２、図１７の手術デバイス５０２ａ、図１７の手術デバイス５０２ｂ、図１８の手術デバイス７１２、図１９の手術デバイス８１２、図１９の撮像デバイス８２４、又は他のインテリジェント手術器具とすることができる。手術器具９００はまた、アルゴリズム９０４を実行して手術器具９００の少なくとも１つの態様の動作を制御するように構成されたプロセッサ９０６を含む。アルゴリズム９０４を実行するために、プロセッサ９０６は、メモリ９０２に記憶されたプログラムを実行して、メモリ９０２内のアルゴリズム９０４の複数のデータポイントにアクセスするように構成されている。
【0111】
手術器具９００はまた、手術ハブ９１０などの別のデバイスと通信するように構成された通信インターフェース９０８、例えば、無線送受信器、又は他の有線若しくは無線通信インターフェースを含む。通信インターフェース９０８は、遠隔サーバ（例えば、クラウドサーバ又は他のサーバ）及び／又はローカルの手術ハブサーバにデータを提供すること、及び／又は遠隔サーバ及び／又はローカルの手術ハブサーバから命令又はコマンドを受信することなどの一方向通信、又は手術器具９００及び／又はそこに記憶されたデータに関する情報、メッセージ、データなどを提供し、医師、ソフトウェアの更新に関するリモートサーバ、ソフトウェアの更新に関するローカルの手術ハブサーバなどから命令を受信することなどの双方向通信を可能にするように構成することができる。
【0112】
手術器具９００は、図２０では簡略化されており、例えば、バスシステム、ハンドル、細長いシャフトであって、その遠位端にエンドエフェクタを有する、細長いシャフト、電源などの追加の構成要素を含むことができる。プロセッサ９０６はまた、メモリ９０２に記憶された命令を実行して、概して、通信インターフェース９０８、オーディオスピーカ、ユーザインターフェースなどの他の電気構成要素を含むデバイス９００を制御するように構成することができる。
【0113】
プロセッサ９０６は、アルゴリズム９０４のその後の実行が、変更された少なくとも１つの可変パラメータに従うように、アルゴリズム９０４の少なくとも１つの可変パラメータを変更するように構成されている。アルゴリズム９０４の少なくとも１つの可変パラメータを変更するために、プロセッサ９０６は、メモリ９０２内の少なくとも１つの可変パラメータのデータポイントを修正又は更新するように構成されている。プロセッサ９０６は、手術処置を行っている間に、手術デバイス９００の使用に伴って、アルゴリズム９０４の少なくとも１つの可変パラメータをリアルタイムで変更するように構成することができ、これはリアルタイム条件に対処し得る。
【0114】
プロセッサ９０６が少なくとも１つの可変パラメータを変更することに加えて又はその代わりに、プロセッサ９０６は、手術ハブ９１０から受信された命令に応答して、アルゴリズム９０４及び／又はアルゴリズム９０４の少なくとも１つの可変パラメータを変更するように構成することができる。いくつかの実施形態では、プロセッサ９０６は、手術ハブ９１０と通信し、そこから命令を受信した後にのみ、少なくとも１つの可変パラメータを変更するように構成されており、これは、手術器具９００が使用されている手術処置の他の態様との手術器具９００の協調されたアクションを確実にするのに役立ち得る。
【0115】
例示的な実施形態では、プロセッサ９０６は、アルゴリズム９０４を実行して手術器具９００の動作を制御し、リアルタイムデータに基づいて、アルゴリズム９０４の少なくとも１つの可変パラメータを変更し、少なくとも１つの可変パラメータを変更した後に、アルゴリズム９０４を実行して手術器具９００の動作を制御する。
【0116】
図２１は、アルゴリズム９０４の少なくとも１つの可変パラメータの変更を含む、手術器具９００を使用する方法９１２の一実施形態を例解する。プロセッサ９０６は、メモリ９０２に記憶されたアルゴリズム９０４を実行することによって、手術器具９００の動作を制御する（９１４）。このその後に既知となるデータ及び／又はその後に収集されるデータのいずれかに基づいて、プロセッサ９０４は、上記に論じられたように、アルゴリズム９０４の少なくとも１つの可変パラメータを変更する（９１６）。少なくとも１つの可変パラメータを変更した後に、プロセッサ９０６は、ここで、変更された少なくとも１つの可変パラメータを用いてアルゴリズム９０４を実行することによって、手術器具９００の動作を制御する（９１８）。プロセッサ９０４は、手術処置を行っている間に、少なくとも１つの可変パラメータを、例えば、０回、１回、２回、３回などの任意の回数変更することができる（９１６）。方法９１２の任意の部分中に、手術器具９００は、通信インターフェース９０８を使用して、１つ以上のコンピュータシステム、例えば、手術ハブ９１０、クラウドサーバなどの遠隔サーバと通信して、そこにデータを提供し、及び／又はそこから命令を受信することができる。
【0117】
状況認識
インテリジェント手術器具の動作は、患者の状況認識に基づいて変えることができる。インテリジェント手術器具の動作は、インテリジェント手術器具のユーザが器具を異なるように取り扱うこと、器具に異なる入力を提供すること、器具の使用を停止することなどによって、手動で変えることができる。追加的又は代替的に、インテリジェント手術器具の動作は、器具のアルゴリズムが、例えば、アルゴリズムの少なくとも１つの可変パラメータを変更することによって変更されることによって、自動的に変更することができる。上述したように、アルゴリズムは、変更を要求するユーザ入力なしに自動的に調節することができる。手術処置を行っている間に調節を自動化することは、時間を節約するのに役立ち得、医師が手術処置の他の態様に集中することを可能にし得、及び／又は医師のために手術器具を使用するプロセスを容易にし得、これらは、各々、重要構造を回避すること、器具が使用されている及び／又は近くで使用されている組織種類を考慮して手術器具を制御することなどによって、患者の転帰を改善し得る。
インテリジェント手術器具の動作は、患者の状況認識に基づいて変えることができる。インテリジェント手術器具の動作は、インテリジェント手術器具のユーザが器具を異なるように取り扱うこと、器具に異なる入力を提供すること、器具の使用を停止することなどによって、手動で変えることができる。追加的又は代替的に、インテリジェント手術器具の動作は、器具のアルゴリズムが、例えば、アルゴリズムの少なくとも１つの可変パラメータを変更することによって変更されることによって、自動的に変更することができる。上述したように、アルゴリズムは、変更を要求するユーザ入力なしに自動的に調節することができる。手術処置を行っている間に調節を自動化することは、時間を節約するのに役立ち得、医師が手術処置の他の態様に集中することを可能にし得、及び／又は医師のために手術器具を使用するプロセスを容易にし得、これらは、各々、重要構造を回避すること、器具が使用されている及び／又は近くで使用されている組織種類を考慮して手術器具を制御することなどによって、患者の転帰を改善し得る。
【0118】
本明細書に説明される可視化システムは、手術ハブ、例えば、手術ハブ７０６、手術ハブ８０６、又は本明細書に説明される他の手術ハブによって具現化又は実行され得る状況認識システムの一部として利用することができる。特に、手術器具（これらの位置、向き、アクションを含む）、組織、構造、ユーザ、及び／又は術野又は手術室内に位置する他のものを特徴付けること、特定すること、及び／又は可視化することは、状況認識システムによって利用されて、手術処置の種類又は行われている工程、外科医又は他の医師によって操作されている組織及び／又は構造の種類、及び他の情報を推測することができるコンテキストデータを提供することができる。次いで、このコンテキストデータは、状況認識システムによって利用されて、ユーザにアラートを提供すること、ユーザが引き受けるその後の工程又はアクションを示唆すること、手術デバイスをそれらの使用を予測して準備すること（例えば、電気手術器具が手術処置のその後の工程で利用されることを予測して電気手術発生器を起動すること）、インテリジェント手術器具の動作を制御すること（例えば、下記に更に論じられるように、アルゴリズムの手術器具の動作パラメータをカスタマイズすること）などをすることができる。
【0119】
検知されたデータに応答する制御アルゴリズムを含む「インテリジェント」デバイスは、例えば、変更されたアルゴリズムの少なくとも１つの可変パラメータを有することによって、検知されたデータを考慮せずに動作する「データ処理能力のない（dumb）」デバイスに対する改善とすることができるが、いくつかの検知されたデータは、単独、例えば、行われている手術処置の種類、又は手術されている組織の種類のコンテキストなしで考慮されるときに、不完全又は決定的ではない可能性がある。処置コンテキストを知らないと（例えば、手術されている組織の種類又は行われている処置の種類を知らないと）、制御アルゴリズムは、特定のコンテキストのない検知されたデータが与えられると、手術デバイスを不正確に又は準最適に制御することがある。例えば、特定の感知されたパラメータに応答して、手術器具を制御するための制御アルゴリズムの最適な様式は、手術されている特定の組織の種類に従って変動する可能性がある。これは、異なる組織の種類が異なる特性（例えば、引き裂きに対する抵抗力、切断のし易さなど）を有し、したがって、手術器具によってとられたアクションに対して異なって応答するという事実に起因するものである。したがって、特定のパラメータについて同じ測定値が感知されたときであっても、手術器具が異なるアクションをとることが望ましいことがある。一実施例として、手術ステープラがそのエンドエフェクタを閉鎖するための予想外に高い力を感知することに応答して、手術ステープラを制御する最適な様式は、組織の種類が引き裂きの影響を受けやすいか、又はこれに耐性があるかに応じて変動する。肺組織など、引き裂きの影響を受けやすい組織の場合、手術器具の制御アルゴリズムは、組織の引き裂きを回避するために、閉鎖するための予想外に高い力に応答して、モータを最適に減速させ、例えば、モータが遅くなるようにモータ速度又はトルクを制御する可変パラメータを変更する。胃組織など、引き裂きに耐性がある組織の場合、器具の制御アルゴリズムは、エンドエフェクタが組織に適切にクランプされることを確実にするために、閉鎖するための予想外に高い力に応答して、モータを最適に加速させ、例えば、モータが速くなるようにモータ速度又はトルクを制御する可変パラメータを変更する。肺又は胃の組織がクランプされたかどうかを知ることなく、アルゴリズムは準最適に変更されるか、又は全く変更されないことがある。
【0120】
手術ハブは、様々なデータソースから受信されたデータに基づいて、行われている手術処置に関する情報を導出し、したがって、それに従ってモジュール式デバイスを制御するように構成することができる。言い換えると、手術ハブは、受信されたデータから手術処置に関する情報を推測し、次いで、手術処置の推測されたコンテキストに基づいて、手術ハブに動作可能に結合されたモジュール式デバイスを制御するように構成することができる。モジュール式デバイスは、可視化システムデバイス（例えば、カメラ、又はディスプレイスクリーンなど）、スマート手術器具（例えば、超音波手術器具、電気手術器具、手術ステープラ、煙排出器など）などの状況認識システムによって制御可能な任意の手術デバイスを含むことができる。モジュール式デバイスは、デバイスが使用されている患者に関連付けられたパラメータ、及び／又はモジュール式デバイス自体に関連付けられたパラメータを検出するように構成されたセンサを含むことができる。
【0121】
受信されたデータから導出又は推測されるコンテキスト情報は、例えば、行われている手術処置のタイプ、外科医（又は他の医師）が行っている手術処置の特定の工程、手術されている組織のタイプ、又は手術処置の対象である体腔を含むことができる。手術ハブの状況認識システムは、様々な異なる方式でデータソースから受信されたデータから、コンテキスト情報を導出するように構成することができる。例示的な実施形態では、手術ハブの状況認識システムによって受信されたコンテキスト情報は、１つ又は２つ以上のモジュール式デバイスの特定の制御調節、又は制御調節のセットに関連付けられる。制御調節は、各々、可変パラメータに対応する。一例では、状況認識システムとして、様々な入力（例えば、データベース、患者モニタリングデバイス、及び／又はモジュール式デバイスからのデータ）を、手術処置に関する対応するコンテキスト情報と相関させるために、訓練データで訓練されたパターン認識システム、又は機械学習システム（例えば、人工ニューラルネットワーク）が挙げられる。言い換えると、機械学習システムは、提供された入力から手術処置に関するコンテキスト情報を正確に導出するように訓練することができる。別の例では、状況認識システムは、手術処置に関する事前に特徴付けられたコンテキスト情報を、そのコンテキスト情報に対応する１つ以上の入力（又は、入力の範囲）と関連付けて記憶する、ルックアップテーブルを含むことができる。１つ又は２つ以上の入力による問い合わせに応答して、ルックアップテーブルは、少なくとも１つのモジュール式デバイスを制御するために状況認識システムの対応するコンテキスト情報を返すことができる。別の実施例では、状況認識システムは、コンテキスト情報が入力として提供されるときに、１つ又は２つ以上のモジュール式デバイスの１つ又は２つ以上の制御調節を生成又は読み出す、更なる機械学習システム、ルックアップテーブル、又は他のそのようなシステムを含む。
【0122】
状況認識システムを含む手術ハブは、手術システムに多くの利点を提供し得る。１つの利点は、感知及び収集されたデータの解釈を改善することを含み、これは、手術処置の過程中の処理精度、及び／又はデータの使用を改善させる。別の利点は、手術ハブのための状況認識システムが、各手術処置の特定のコンテキストのための手術器具（及び、他のモジュール式デバイス）を調節し（例えば、異なる組織種類に調節する）、手術処置中のアクションを検証することによって、手術処置の転帰を改善し得ることである。更に別の利点は、状況認識システムが、処置の特定のコンテキストに従って、次の工程を自動的に示唆し、データを提供し、手術現場内のディスプレイ及び他のモジュール式デバイスを調節することによって、手術処置を実行する際の医師の効率を改善し得ることである。別の利点は、処置のその後の工程が器具の使用を必要とすると判定する場合、ＲＦ電気手術器具が接続されている発生器を状況認識手術ハブが積極的に起動することなどによって、行われている手術処置の特定の工程に従ってモジュール式デバイスを積極的かつ自動的に制御して、医師が手術処置の過程中に手術システムと相互作用するか又はこれを制御する必要がある回数を低減することである。エネルギー源を積極的に起動することにより、処置の先行する工程が完了すると直ぐに器具を使用準備完了にすることができる。
【0123】
例えば、状況認識手術ハブは、どの種類の組織が手術されているかを判定するように構成することができる。したがって、手術器具のエンドエフェクタを閉鎖するための予期外の強い力が検出されるときに、状況認識手術ハブは、例えば、モータ速度又はトルクに関する手術器具のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、その種類の組織のために手術器具のモータを正確に加速又は減速するように構成することができる。
【0124】
別の実施例では、手術されている組織の種類は、特定の組織間隙測定のための手術ステープラの圧縮速度と負荷閾値になされる調節に影響を及ぼす可能性がある。状況認識手術ハブは、行われている手術処置が胸部処置であるのか、又は腹部処置であるのかを推測するように構成することができ、手術ハブが、手術ステープラのエンドエフェクタによってクランプされている組織が（胸部処置での）肺組織であるのか、又は（腹部処置での）胃組織であるのかを判定することが可能である。次いで、手術ハブは、例えば、圧縮率及び負荷閾値に関する手術ステープラのためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、その種類の組織に適切な手術ステープラの圧縮率及び負荷閾値の調節を引き起こすように構成することができる。
【0125】
更に別の実施例として、送気処置中に手術されている体腔の種類は、煙排出器の機能に影響を及ぼす可能性がある。状況認識手術ハブは、手術部位が（手術処置が送気を利用していると判定することによって）圧力下にあるかどうかを判定し、処置の種類を判定するように構成することができる。ある処置の種類は概して特定の体腔内で行われるので、手術ハブは、例えば、モータ速度に関する煙排出器のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、手術されている体腔に適切に煙排出器のモータ速度を制御するように構成することができる。したがって、状況認識手術ハブは、胸部処置及び腹部処置の両方のために一貫した量の煙排出を提供し得る。
【0126】
更に別の実施例として、行われている処置の種類は、超音波手術器具、又は高周波（ＲＦ）電気手術器具が動作するのに最適なエネルギーレベルに影響を及ぼす可能性がある。例えば、関節鏡処置では、超音波手術器具、又はＲＦ電気手術器具のエンドエフェクタが流体中に浸漬されるので、より高いエネルギーレベルを必要とする。状況認識手術ハブは、手術処置が関節鏡処置であるかどうかを判定するように構成することができる。手術ハブは、例えば、エネルギーレベルに関する器具及び／又は発生器のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、発生器のＲＦ電力レベル又は超音波振幅を調節して（例えば、エネルギーレベルを調節して）、流体充填環境を補償するように構成することができる。関連して、手術されている組織の種類は、超音波手術器具又はＲＦ電気手術器具が動作するのに最適なエネルギーレベルに影響を及ぼす可能性がある。状況認識手術ハブは、どの種類の手術処置が行われているかを判定し、次いで、手術処置のための予想される組織プロファイルに従って、例えば、エネルギーレベルに関する器具及び／又は発生器のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、超音波手術器具又はＲＦ電気手術器具のためのエネルギーレベルをそれぞれカスタマイズするように構成することができる。更に、状況認識手術ハブは、単に手術ごとにではなく、手術処置の過程にわたって、超音波手術器具又はＲＦ電気手術器具のエネルギーレベルを調節するように構成することができる。状況認識手術ハブは、手術処置のどの工程が行われているか、又は引き続き行われるかを判定し、次いで、発電機、及び／又は超音波手術器具若しくはＲＦ電気手術器具の制御アルゴリズムを更新して、手術処置の工程に従って予想される組織の種類に適切な値までエネルギーレベルを設定するように構成することができる。
【0127】
別の実施例として、状況認識手術ハブは、外科医及び／又は医師が見る必要があると予想される手術部位の特徴に従って、手術処置の現工程、又はその後の工程が、ディスプレイ上の異なるビューや倍率を必要とするかどうかを判定するように構成することができる。手術ハブは、（例えば、可視化システムのための撮像デバイスから供給される）表示されたビューを、適宜、積極的に変更し、ディスプレイが手術処置にわたって自動的に調節されるように構成することができる。
【0128】
更に別の実施例として、状況認識手術ハブは、手術処置のどの工程が行われているか、又はその後に行われるか、及び特定のデータ又はデータ同士の比較が手術処置のその工程に必要であるかどうかを判定するように構成することができる。手術ハブは、外科医又は医師が特定の情報を尋ねるのを待機することなく、行われている手術処置の工程に基づいて、データスクリーンを自動的に呼び出すように構成することができる。
【0129】
別の実施例として、状況認識手術ハブは、外科医及び／又は他の医師が、例えば、術前手術計画において提供されるような手術処置の過程中に、誤りを犯しているか、又は別様に予想される一連のアクションから逸脱しているかどうかを判定するように構成することができる。例えば、手術ハブは、行われている手術処置の種類を判定し、機器使用の工程又は順序の対応リストを（例えば、メモリから）読み出し、次いで、手術処置の過程中に行われている工程又は使用されている機器を、手術ハブが行われていることを判定した手術処置の種類について予想される工程又は機器と比較するように構成することができる。手術ハブは、手術処置における特定の工程で予想外のアクションが行われているか、又は予想外のデバイスが利用されていることを示す（視覚的、聴覚的、及び／又は触覚的）アラートを提供するように構成することができる。
【0130】
特定の例では、本明細書に説明される様々なロボット手術システムのいずれかなどのロボット手術システムの動作は、その状況認識及び／又はその構成要素からのフィードバックに基づいて、及び／又はクラウド（例えば、図１８のクラウド７１３）からの情報に基づいて、手術ハブによって制御することができる。
【0131】
状況認識システムの実施形態及び手術処置を行っている間に状況認識システムを使用する実施形態は、前述の２０１９年１２月３０日に出願された「Ａｎａｌｙｚｉｎｇ Ｓｕｒｇｉｃａｌ Ｔｒｅｎｄｓ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，７７２号、２０１９年１２月３０日に出願された「Ｄｙｎａｍｉｃ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ」と題する米国特許出願第１６／７２９，７４７号、２０１９年１２月３０日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ」と題する米国特許出願第１６／７２９，７４４号、２０１９年１２月３０日に出願された「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ， Ａｄｊｕｓｔｉｎｇ， Ａｎｄ Ｍａｎａｇｉｎｇ Ｒｅｓｅｃｔｉｏｎ Ｍａｒｇｉｎ Ａｂｏｕｔ Ａ Ｓｕｂｊｅｃｔ Ｔｉｓｓｕｅ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｐｒｏｐｏｓｉｎｇ Ａｎｄ Ｃｏｒｒｏｂｏｒａｔｉｎｇ Ｏｒｇａｎ Ｐｏｒｔｉｏｎ Ｒｅｍｏｖａｌｓ」と題する米国特許出願第１６／７２９，７２９号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｏｖｅｒｌａｙｉｎｇ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ Ｏｎｔｏ Ａ Ｖｉｒｔｕａｌ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔ Ｏｆ Ａｎ Ｏｒｇａｎ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｃｏｒｒｅｌａｔｉｎｇ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｄａｔａ Ａｎｄ Ｐｏｗｅｒｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ」と題する米国特許出願第１６／７２９，７４０号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｃｌｏｕｄ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７３７号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｐａｒｔｉｃｕｌａｔｅ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７９６号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，８０３号、及び２０１９年１２月３０日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｕｓｉｎｇ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅｓ Ｉｎ Ｓｕｒｇｅｒｙ」と題する米国特許出願第１６／７２９，８０７号に更に説明されている。
【0132】
一体化された固定要素
特定の実施形態では、管腔内アクセスのために構成されており、手術部位へのアクセスを改善するためにその部位の非外傷性開創又は操作を可能にする手術固定システム（例えば、視覚的及び／又は手術目的）。従来のシステム（例えば、器官の脆弱な外部組織表面を把持するために、把持具などの腹腔鏡下で配置された器具を使用するシステム）とは異なり、本発明の手術固定システムは、アンカー部材を使用して器官を操作するように設計されており、アンカー部材は、従来の把持具よりも大きな表面積を有するだけでなく、典型的には器官の外側組織層よりも強靭で脆弱性が低い器官の内側組織層に操作力を加えるように構成されている。この内部操作力は、治療部位における器官の可動化を増加させ、それによって、器官の外部組織層を損傷することなく、又は治療部位への血流を減少させることなく、（例えば、切開及び切除のための）アクセス及び移動を改善することができる。器官は、複数の天然の体腔（例えば、肺の細気管支）を含むことができるが、他の実施形態では、器官は、単一の天然の体腔（例えば、結腸）を含む。
特定の実施形態では、管腔内アクセスのために構成されており、手術部位へのアクセスを改善するためにその部位の非外傷性開創又は操作を可能にする手術固定システム（例えば、視覚的及び／又は手術目的）。従来のシステム（例えば、器官の脆弱な外部組織表面を把持するために、把持具などの腹腔鏡下で配置された器具を使用するシステム）とは異なり、本発明の手術固定システムは、アンカー部材を使用して器官を操作するように設計されており、アンカー部材は、従来の把持具よりも大きな表面積を有するだけでなく、典型的には器官の外側組織層よりも強靭で脆弱性が低い器官の内側組織層に操作力を加えるように構成されている。この内部操作力は、治療部位における器官の可動化を増加させ、それによって、器官の外部組織層を損傷することなく、又は治療部位への血流を減少させることなく、（例えば、切開及び切除のための）アクセス及び移動を改善することができる。器官は、複数の天然の体腔（例えば、肺の細気管支）を含むことができるが、他の実施形態では、器官は、単一の天然の体腔（例えば、結腸）を含む。
【0133】
例示的な一実施形態では、手術固定システムは、内部を通る作業チャネルを画定する外側スリーブと、作業チャネルを通って延在するように構成された少なくとも１つのチャネルアームとを含む、管腔内アクセスのために構成された手術器具（例えば、内視鏡）を備え得る。少なくとも１つのチャネルアームは、少なくとも１つのチャネルアームに結合され、拡張状態と非拡張状態との間で移動するように構成された少なくとも１つのアンカー部材と、少なくとも１つのチャネルアームに沿って延在し、少なくとも１つのアンカー部材に動作可能に結合された少なくとも１つの制御アクチュエータとを含む。少なくとも１つの制御アクチュエータはまた、少なくとも１つのチャネルアームの運動を制御するように構成された駆動システムに動作可能に結合される。少なくとも１つのアンカー部材は、少なくとも部分的に天然の体腔内に配置されるように構成することができ、それにより、拡張状態にあるとき、少なくとも１つのアンカー部材は、天然の体腔の内面に接触でき、したがって、少なくとも１つのチャネルアームを天然の体腔に固定することができる。結果として、チャネルアームの動きは、それに固定された天然の体腔を、結果として、天然の体腔に関連する器官を選択的に操作（例えば、内部で操作）することができる。
【0134】
別の例示的な実施形態では、手術固定システムは、二重に連結された展開可能な固定要素を含む管腔内アクセスのために構成された手術器具（例えば、内視鏡）を備え得る。二重に連結された展開可能な固定要素は、固定された解剖学的位置及び移動可能な解剖学的位置の両方と相互作用して、器官を操作し、かつ再配置するように構成されている。手術器具は、固定された解剖学的位置として機能する、器官の天然の身体開口部に展開される第１の展開可能な固定要素を備え得る。手術器具は、固定された解剖学的位置から離間した移動可能な解剖学的位置に展開される第２の展開可能な固定要素を備え得る。手術器具は、器官壁の反対側からのアクセス及び視認性を改善するために器官を操作し、かつ再配置するように構成され得る。第１の展開可能な固定要素の固定された解剖学的位置への結合により、固定された解剖学的位置の力及び拘束は、第２の第１の展開可能な固定要素に伝達されて、器官への誘発された横方向の力及び動きを可能にすることができる。
【0135】
「拡張」という用語は、アンカー部材が機械的手段又は流体圧力によって所望の量のサイズが増大したことを意味することを意図している。これらの用語は、アンカー部材が「拡張」されたとき、アンカー部材が、必ずしも完全に又は１００％流体で充填されていることを意味することを意図するものではない（しかしながら、そのような実施形態は、「充填された」という用語の範囲内である）。同様に、「非拡張」という用語は、アンカー部材が完全に空であるか、又は圧力がゼロであることを必ずしも意味するものではない。いくらかの流体が存在してもよく、アンカー部材は、「非拡張」状態において０でない圧力を有してもよい。「非膨張」のアンカー部材は、アンカー部材が拡張サイズよりも小さいサイズに機械的に潰されていること、又はアンカー部材が充填された後に所望される量若しくは圧力の流体を含まないことを意味することが意図されている。
【0136】
例示的な手術固定システムは、本明細書で説明され、図面に示すように、様々な特徴を備え得る。しかしながら、手術固定システムは、これらの特徴の一部のみを有してもよく、かつ／又は当該技術分野では既知の様々な他の特徴を有してもよいことは当業者には認識されるであろう。本明細書に記載される手術固定システムは、特定の例示的な実施形態を表すことを意図したものに過ぎない。更に、手術固定システムは、肺及び結腸に関連して示され、説明されるが、当業者は、これらの手術固定システムが、任意の他の適切な天然の体腔又は器官に関連して使用され得ることを理解する。
【0137】
肺切除（例えば、肺葉切除）は、肺の全部又は一部（例えば、１つ以上の肺葉）が除去される手術処置である。肺切除を行う目的は、例えば、肺がん、肺気腫、又は気管支拡張症の結果としての損傷又は罹患した肺を治療することである。肺切除の間、肺は、最初に収縮させられ、その後、腹腔鏡下で肺に到達するように肋骨間において、患者の側部より１回以上の切開が行われる。把持具及び腹腔鏡などの器具は、切開部を通して挿入される。肺の感染又は損傷領域が特定されると、その領域は肺から切除され、１つ又は２つ以上の切開部から除去される。切開された領域及び１つ以上の切開部は、例えば、手術ステープラ又は縫合によって閉鎖することができる。
【0138】
肺は手術中に収縮するので、肺又は肺の特定の部分は、器具が手術部位に到達することを可能にするために可動化される必要があり得る。この可動化は、把持具で肺の外側組織層を把持し、把持具を介して肺に力を加えることによって実施することができる。しかしながら、肺の胸膜及び実質組織は非常に脆弱であり、したがって、加えられた力の下で容易に破られるか、又は引き裂かれ得る。追加的に、可動化中、把持具は、肺の１つ又は２つ以上の領域への血液供給を遮断することができる。
【0139】
図２２は、肺２０１０内への管腔内アクセスのために構成された手術固定システム２１００の例示的な実施形態を示す。以下でより詳細に説明されるように、手術固定システム２１００は、肺２０１０内の天然の体腔（例えば、第１の細気管支２０２２）との接触を通して肺２０１０を操作するために使用される。簡略化のために、手術固定システム２１００及び肺２０１０の特定の構成要素は図示されていない。
【0140】
示されるように、肺２０１０は、外側組織表面２０１２、気管２０１４、右気管支２０１６、及び細気管支２０１８を含む。気管２０１４、右気管支２０１６、及び細気管支２０１８は、互いに流体連通している。加えて、肺２０１０は、第１の細気管支２０２２を含む上葉２０２０と、第２の細気管支２０２４を含む中葉２０２３とを含む。図２２に示すように、手術固定システム２１００が最初に肺２０１０に挿入されている間、肺２０１０は膨張状態にある。胸腔内で手術をするとき、肺２０１０は潰されて胸郭と肺との間に十分な作業空間を提供し、腹腔鏡下で配置された器具が肺２０１０にアクセスして操作ができるようにする。使用時、以下でより詳細に説明するように、手術固定システム２１００は、肺２０１０の一部を操作する（例えば、移動させる）ことができる。
【0141】
手術固定システム２１００は、気管２０１４を通る肺２０１０内への管腔内アクセスのために構成された手術器具２１０２を含む。手術器具は、様々な構成を有することができる。例えば、この図示された実施形態では、手術器具２１０２は、外側スリーブ２１０３と、第１及び第２のチャネルアーム２１０６、２１０８とを備える。２つのチャネルアーム２１０６、２１０８が図示されているが、他の実施形態では、手術器具は、単一のチャネルアーム又は３つ以上のチャネルアームを備えてもよい。外側スリーブ２１０３は、患者の口（図示せず）を通して気管２０１４に挿入されるように構成されている。外側スリーブ２１０３は、第１及び第２のチャネルアーム２１０６、２１０８が外側スリーブ２１０３を通して挿入され、肺２０１０にアクセスすることを可能にするように構成されている、作業チャネル２１０４を備える。したがって、第１及び第２のチャネルアーム２１０６、２１０８は、作業チャネル２０１４から独立して移動するように構成することができる。
【0142】
第１及び第２のチャネルアーム２１０６、２１０８の各々は、少なくとも１つのチャネルアームに結合され、拡張状態と非拡張状態との間で移動するように構成されている少なくとも１つのアンカー部材を備え得る。拡張状態にあるとき、少なくとも１つのアンカー部材は、第２の天然の体腔内に少なくとも部分的に配置されるように構成されており、第２の天然の体腔は、外側スリーブが部分的に配置される第１の天然の体腔と連通している。この図示された実施形態では、第１のアンカー部材２１１３（図２３Ａ、図２３Ｂ、及び図２４参照）が第１のチャネルアーム２１０６に結合され、第２のアンカー部材２１１５（図２６参照）が第２のチャネルアーム２１０８に結合される。また、図２２及び図２３に示すように、第１の天然の体腔は右気管支２０１６であり、第２の天然の体腔は第１の細気管支２０２２である。
【0143】
更に、第１及び第２のチャネルアーム２１０６、２１０８の各々はまた、チャネルアームの長さに沿って延在し、外側スリーブ２１０３の近位端２１０３ｐから更に延在する、制御アクチュエータ及び流体管を備える。図２２に示すように、第１のチャネルアーム２１０６は、３つの制御アクチュエータ２１０６ａ、２１０６ｂ、２１０６ｃと、第１の流体管２１０７とを備える。第２のチャネルアーム２１０８は、３つの制御アクチュエータ２１０８ａ、２１０８ｂ、２１０８ｃと、第２の流体管２１０９とを備える。以下により詳細に説明されるように、各制御アームの制御アクチュエータは、肺２０１０の操作を可能にするように構成されており、流体管２１０７、２１０９は、第１及び第２のチャネルアーム２１０６、２１０８に結合された第１及び第２のアンカー部材２１１３、２１１５に流体を提供するように構成されている。
【0144】
使用時、図２２に示されるように、外側スリーブ２１０３は、患者の口（図示せず）を通って気管２０１４内に通される。外側スリーブが所定の位置にある状態で、アンカー部材２１０５は、アンカー部材２１０５が右気管支２０１６の内面２０１７に少なくとも部分的に接触する拡張状態に移動する。内側表面２０１７に接触することによって、外側スリーブ２１０３は、気管２０１４及び右気管支２０１６に固定される。第１のチャネルアーム２１０６は、外側スリーブ２１０５を介して右気管支２０１６を通って肺２０１０の中に、更に上葉２０２０の第１の細気管支２０２２に入り、第２のチャネルアーム２１０８は、右気管支２０１６を通って肺２０１０の中に、更に中葉２０２３の第２の細気管支２０２４に入る。第１及び第２のチャネルアーム２１０６、２１０８がそれぞれ第１及び第２の気管支２０２２、２０２４内に適切に配置されると、第１及び第２のアンカー部材２１１３、２１１５は、細気管支２０２２、２０２４の内面に少なくとも部分的に接触するように拡張され得る。簡潔にするために、以下の説明は、第１のアンカー部材２１１３に関するものである。しかしながら、当業者は、以下の説明が、図２６に示されるように、第１のアンカー部材２１１３と構造的に類似している第２のアンカー部材２１１５にも適用可能であることを理解するであろう。第１のアンカー部材２１１３の詳細な部分図が、非拡張状態（図２３Ａ）及び拡張状態（図２３Ｂ）で示されている。
【0145】
示されるように、第１のアンカー部材２１１３は、第１のアンカー部材２１１３が第１の細気管支２０２２内に位置付けられ得るように、外側スリーブ２１０３の遠位端２１０３ｄの遠位に配置される。第１のアンカー部材２１１３は、非拡張状態（図２３Ａ）と拡張状態（図２３Ｂ）との間で移動するように構成されている。第１のアンカー部材２１１３は、様々な構成を有することができる。例えば、いくつかの実施形態では、第１のアンカー部材は膨張可能なバルーンであってもよく、他の実施形態では、第１のアンカー部材は機械的に拡張可能なステントであってもよい。
【0146】
図２３Ａ及び図２３Ｂに示すように、第１のアンカー部材２１１３は、第１の流体管２１０７の外面の周りに配置された３つのブラダ部２１１３ａ、２１１３ｂ、２１１３ｃを備える。ブラダ部２１１３ａ、２１１３ｂ、２１１３ｃは、（例えば、ブラダ部２１１３ａ、２１１３ｂ、２１１３ｃの間に配置された制御アクチュエータ２１０６ａ、２１０６ｂ、及び２１０６ｃによって）互いに分離されている。ブラダ部２１１３ａ、２１１３ｂ、２１１３ｃは、各ブラダ部２１１３ａ、２１１３ｂ、２１１３ｃと流体連通している第１の流体管２１０７を通る流体の進入によって拡張され、第１の流体管２１０７を通るブラダ部２１１３ａ、２１１３ｂ、２１１３ｃからの流体の退出によって非拡張となる。いくつかの実施形態では、各ブラダ部２１１３ａ、２１１３ｂ、２１１３ｃは、第１のチャネルアーム２１０６の長さに沿って延在する。あるいは、特定の実施形態では、ブラダ部２１１３ａ、２１１３ｂ、２１１３ｃは、第１のチャネルアーム２１０６の長さの一部のみに沿って配置される。
【0147】
代替的又は追加的に、第１及び第２のチャネルアーム２１０６、２１０８のうちの少なくとも１つは、光学センサを備えることができる。例として、図２５は、第１のチャネルアーム２１０６の遠位端２１０６ｄの部分図を示す。示されるように、チャネルアーム２１０６の遠位端２１０６ｄは、光学センサ２１１０がその上に配置されたスコープ２１１４を備えることができる。光学センサ２１１０は、ユーザが肺２０１０内の第１のチャネルアーム２１０６の場所を決定することを可能にし、ユーザが遠位先端２１０６ｄを第１の細気管支２０２２などの所望の細気管支内に位置付けることを補助するように構成され得る。光学センサ２１１０からのビューは、ディスプレイ（例えば、モニタ、コンピュータタブレット画面など）上などで、ユーザ（例えば、外科医）にリアルタイムで提供され得る。スコープ２１１４はまた、ライト２１１１と、手術器具の挿入及び引き抜き、並びに／又は肺２０１０内の治療部位への手術器具若しくは流体の進入及び退出を可能にするように構成されている、作業チャネル及び／又は流体チャネル２１１２とを備えることができる。当業者は、第２のチャネルアームが、代替的又は追加的に、図２５のスコープ２１１４と同様のスコープを備え得ることを理解するであろう。
【0148】
いくつかの実施形態では、外側スリーブ２１０３は、追加の要素を備えることができる。例えば、図２２に示され、図２５により詳細に示されるように、外側スリーブ２１０３は、外側スリーブ２１０３の遠位端２１０３ｄに近接して配置されたアンカー部材２１０５を備える。他の実施形態では、アンカー部材２１０５は遠位端２１０３ｄに配置され得る。
【0149】
外側スリーブ２１３０の遠位端２１３０ｄ及びチャネルアーム２１０６、２１０８の詳細な部分図が図２５に示されている。示されるように、チャネルアーム２１０６、２１０８は、外側スリーブ２１０３の遠位端２１０３ｄから外向きに延在する。いくつかの実施形態では、チャネルアーム２１０６、２１０８は、互いに対して、及び外側スリーブ２１０３に対して移動することができる。上述したように、アンカー部材２１０５は、外側スリーブ２１０３上に配置される。アンカー部材２１０５は、拡張状態と非拡張状態との間で動くように構成されている。拡張状態において、アンカー部材２１０５は、右気管支２０１６の内面２０１７に少なくとも部分的に接触するように構成されている。内側表面２０１７に接触することによって、外側スリーブ２１０３は、気管２０１４及び右気管支２０１６に固定することができる。この固定は、操作力（例えば、ねじり力）がチャネルアーム２１０６、２１０８を通して肺２０１０に加えられることを可能にすることができる。結果として、肺２０１０は、気管２０１４及び右気管支２０１６に対して可動化され得る。
【0150】
肺２０１０に加えられる力の分布の増加及び組織相互作用圧力の低減は、アンカー部材が相互作用する内部表面積を増加させることによって達成することができる。アンカー要素は、気管支の内径まで拡張するように構成されている。全内径まで拡張し、チャネルアームを外側スリーブの遠位端から延在させることによって、手術固定システムは、肺内の骨格システムとして作用する。外側スリーブ及び／又はチャネルアームを動かすことによって、細気管支又は気管支が動かされ、それによって肺が動かされる。外側スリーブ及び固定要素は広い領域にわたって広げられるので、腹腔鏡側から小さな把持具で肺を操作する場合と比較して、肺に加えられる力は集中しない。加えて、カートリッジリング及び気管支の壁強度は、周囲のより軟質でより脆弱な胸膜及び実質への付随的損傷を伴わずに、全体的な肺の動き又は再配置のための器具相互作用についてより理想的にする。
【0151】
例示的な実施形態では、手術固定システムの一部を外側スリーブ２１０３から２つの別個の遠位枝に分岐させて延在させることを使用して、肺２０１０のより大きく、より三角形の領域をより良好に保持することができる。加えて、外側スリーブ２１０３の一部は、作業チャネルから延在するチャネルアーム２１０６、２１０８に加えて拡張することができる。加えて、外側スリーブ２１０３は、手術固定システム２１００が肺２０１０の屈曲だけでなく、ねじれ、拡張、及び／又は圧縮の両方を完全に制御することを可能にする、気管２０１４内の追加の接触面積を提供する、半径方向拡張可能要素を含むことができる。これは、手術固定システム２１００が肺を胸腔内の正しい場所及び位置に案内することを可能にするが、切開及び／又は離断が胸腔側から行われ得るように肺の形状を制御することも可能にする。
【0152】
アンカー部材２１０５は、様々な構成を有することができる。例えば、いくつかの実施形態では、アンカー部材２１０５は、膨張可能な固定バルーンであってもよい。アンカー部材２１０５が膨張可能な固定バルーンである実施形態では、アンカー部材２１０５は、アンカー部材２１０５と流体連通している流体管（図示せず）を通過する流体の進入又は退出によって拡張され又は潰されるように構成されている。流体管は、外側スリーブ２１０３の長さに沿って延在しており、患者の体外で制御することができる。他の実施形態では、アンカー部材２１０５は機械的に拡張可能なステントであってもよい。
【0153】
チャネルアーム２１０６、２１０８が細気管支２０２２、２０２４内に適切に配置された状態で、肺２０１０は潰される。この結果、肺のサイズは、膨張状態の肺のサイズに比べてかなり縮小する。図２６に示される肺２０１０は、潰された状態にあり、以前の膨張状態は、破線の境界ＩＳとして表されている。使用時、図２６に示されるような拡張状態にあるとき、第１のアンカー部材２１１３は、第１の細気管支２０２２の内面２０２２ａに少なくとも部分的に接触するように構成されている。この接触は、第１のアンカー部材２１１３を第１の細気管支２０２２に固定し、それによって肺２０１０に固定する。第１のアンカー部材２１１３は、チャネルアーム２１０６の長さを通過する流体管２１０７を通して、ブラダ部２１１３ａ、２１１３ｂ、２１１３ｃの中に流体を通過させるか、又はそこから流体を除去することによって、その非拡張状態と拡張状態とを交互に起こすことができる。ブラダ部２１１３ａ、２１１３ｂ、２１１３ｃに出入りする流体は、任意の好適な流体（例えば、生理食塩水、二酸化炭素ガスなど）であってよい。流体管２１０７の最近位端（図示せず）は、ブラダ部２１１３ａ、２１１３ｂ、２１１３ｃへの流体の進入又は退出を制御するために使用できる流体システムに結合するように構成されている。流体システムは、ポンプ及び流体リザーバを備えることができる。ポンプは、流体をブラダ部２１１３ａ、２１１３ｂ、２１１３ｃ内に押し込んでブラダ部２１１３ａ、２１１３ｂ、２１１３ｃを膨張させる圧力を生成し、ブラダ部２１１３ａ、２１１３ｂ、２１１３ｃから流体を引き込んでブラダ部２１１３ａ、２１１３ｂ、２１１３ｃを潰す吸引力を生成する。当業者であれば、第２のアンカー部材２１１５は、第１のアンカー部材２１１３に関して上述したのと同様に、第２の細気管支２０２４内で拡張状態と非拡張状態との間で移動させ得ることを理解するであろう。
【0154】
更に、使用時に、他の手術器具２１２０、２１２２は、管腔外空間から肺２０１０を可視化及び／又は操作するために、胸腔内に腹腔鏡下で導入することができる。手術器具２１２０、２１２２は、把持具２１２３、光学センサ２１２４、及び／又は電気手術ツール２１２５などの様々な手術ツールを含み得る。例示的な実施形態では、手術器具２１２２が光学センサ２１２４であるか又はそれを含む場合、ユーザ（例えば、外科医）は、潰れた肺２０１０（図２６）の外観を検査して、把持具２１２３又は電気手術ツール２１２５を使用して肺２０１０に切開を行うことができる。
【0155】
更に、使用時には、アンカー部材２１１３、２１１５が拡張状態にある状態で、制御アクチュエータ２１０６ａ、２１０６ｂ、２１０６ｃ、２１０８ａ、２１０８ｂ、２１０８ｃを介して操作力を肺２０１０に加えることができる。いくつかの実施形態では、手術固定システム２１００は、細気管支２０２２、２０２４内のチャネルアーム２１０６、２１０８の動きと、肺２０１０の外側の少なくとも１つの器具２１２０、２１２２の動きとを協調させて、細気管支２０２２、２０２４又は肺２０１０の外部組織表面２０１２の断裂を防止するように構成されたコントローラ２０５０を備える。コントローラ２０５０は、器具２１２０、２１２２が接続されるロボットアーム（図示せず）、及びアクチュエータ２０５２、２０５４に通信可能に結合することができる。アクチュエータ２０５２は、操作力Ｆ１、Ｆ２、Ｆ３を制御アクチュエータ２１０６ａ、２１０６ｂ、２１０６ｃに加えられるように構成されており、アクチュエータ２０５４は、操作力Ｆ４、Ｆ５、Ｆ６を制御アクチュエータ２１０８ａ、２１０８ｂ、２１０８ｃに加えられるように構成されている。
【0156】
使用時には、操作力Ｆ１が制御アクチュエータ２１０６ａに加えられ、操作力Ｆ２が制御アクチュエータ２１０６ｂに加えられ、操作力Ｆ３が制御アクチュエータ２１０６ｃに加えられ、操作力Ｆ４が制御アクチュエータ２１０８ａに加えられ、操作力Ｆ５が制御アクチュエータ２１０８ｂに加えられ、操作力Ｆ６が制御アクチュエータ２１０８ｃに加えられる。操作力が肺２０１０に加わると、上葉２０２０と中葉２０２３との間の水平裂は、間隙Ｇを形成するように広げられ得る。間隙Ｇは、水平裂が更に拡張され得るように、肺２０１０へのアクセスを可能にする。操作力は、チャネルアーム２１０６、２１０８を反対方向に移動させ、上葉２０２０を中葉２０２３から離れるように移動させる。アンカー部材２１１５は、右気管支２０１６内で拡張した状態で、操作力が肺２０１０に加えられている間、肺２０１０の意図しないねじれを防止する。したがって、肺２０１０は、間隙Ｇを効率的に増加させるために、単一平面内で操作され得る。操作が完了すると、アンカー部材２１１３、２１１５は収縮し、細気管支２０２２、２０２４から除去され、外側スリーブ２１０３を通って外に出る。アンカー部材２１０５もまた収縮され、気管２０１４からの外側スリーブ２１０３の除去も可能にし、肺２０２０を移動させるためだけに把持具を使用する従来の手技と比較して、気管２０１４又は肺２０２０への損傷をほとんど又は全く引き起こさない。
【0157】
外科医が細気管支内に展開された少なくとも１つのチャネルアーム２１０６、２１０８と、肺２０１０の腹腔鏡側に配置された把持具２１２３とを有する場合、チャネルアーム及び器具の両方を一緒に駆動して、同じ方向又は反対方向に移動させることができる。両方を同じ方向に移動させることにより、それらの間に把持された部分の支持された移動が可能になる。両方を反対方向に移動させると、切開又は組織平面の分離をより容易にし得る組織の張力を生成するであろう。また、両方を同じ方向に移動させると、連成運動又は拮抗的様式で協調され得るが、このときチャネルアーム又は器具のいずれかがドライバ結合であり、他方は従動子であり、同時チャネルアームと器具との間に規定された持続可能な力が提供される。いくつかの実施形態では、同期運動の他の形態は、結合力、位置制御、及び／又は速度整合のための最大閾値を含むことができる。
【0158】
図２７は、潰れた肺２２０１内に配置された手術固定システム２２００の概略図を示す。以下に詳細に説明する相違点を除いて、手術固定システム２２００及び潰れた肺２２０１は、図２２及び図２６の手術固定システム２１００及び図２６の潰れた肺２０１０と同様とすることができ、したがって、共通の特徴は本明細書では詳細に説明しない。
【0159】
手術固定システム２２００は、手術器具２２０２と、外側スリーブ２２０３と、外側スリーブ２２０３に結合されたアンカー部材２２０５と、第１のチャネルアーム２２０６と、第２のチャネルアーム２２０８と、を備える。第１のチャネルアーム２２０６は、チャネルアーム２２０６の長さに沿って延在し、（例えば、第１の細気管支２０２２を通して）肺２２０１に操作力を提供するように構成されている、制御アクチュエータ２２０６ａ、２２０６ｂ、２２０６ｃを含む。第２のチャネルアーム２２０８は、第２のチャネルアーム２２０８の長さに沿って延在し、（例えば、第２の細気管支２０２４を通して）肺２２０１に操作力を提供するように構成されている、制御アクチュエータ２２０８ａ、２２０８ｂ、２２０８ｃを含む。
【0160】
図２７に示すように、第１のチャネルアーム２２０６は、第１のチャネルアーム２２０６を通って延在するクラッチアクチュエータ２２０７上に配置されたアンカー部材２２１３ａ、２２１３ｂ、２２１３ｃ、２２１３ｄ、２２１３ｅを含む。アンカー部材２２１３ａ、２２１３ｂ、２２１３ｃ、２２１３ｄ、２２１３ｅの各々は、チャネルアーム２２０６の長さに沿って軸方向に移動するように構成されている。クラッチアクチュエータ２２０７は、アンカー部材２２１３ａ、２２１３ｂ、２２１３ｃ、２２１３ｄ、２２１３ｅを第１のチャネルアーム２２０６の長さに沿った軸方向位置に選択的に位置決めするように構成されている。アンカー部材２１１３と同様に、アンカー部材２２１３ａ、２２１３ｂ、２２１３ｃ、２２１３ｄ、２２１３ｅはそれぞれ、クラッチアクチュエータ２２０７の長さを通って延在する流体チャネルを通して流体によって機械的に拡張又は充填され得る、膨張可能ブラダ部を含む。
【0161】
更に、第２のチャネルアーム２２０８は、クラッチアクチュエータ２２０９上に配置されたアンカー部材２２１５ａ、２２１５ｂ、２２１５ｃ、２２１５ｄ、２２１５ｅを含む。アンカー部材２２１５ａ、２２１５ｂ、２２１５ｃ、２２１５ｄ、２２１５ｅの各々は、第２のチャネルアーム２２０８の長さに沿って軸方向に移動するように構成されている。クラッチアクチュエータ２２０９は、アンカー部材２２１５ａ、２２１５ｂ、２２１５ｃ、２２１５ｄ、２２１５ｅを第２のチャネルアーム２２０８の長さに沿った軸方向位置に選択的に位置決めするように構成されている。アンカー部材２１１５と同様に、アンカー部材２２１５ａ、２２１５ｂ、２２１５ｃ、２２１５ｄ、２２１５ｅはそれぞれ、クラッチアクチュエータ２２０９の長さを通って延在する流体チャネルを通して流体によって機械的に拡張又は充填され得る、膨張可能ブラダ部を含む。
【0162】
使用時には、外側スリーブ２２０３が挿入され、アンカー部材２２０５が拡張状態に動かされて、右気管支２０１６の内側組織表面２０２２ａに接触する。第１及び第２のチャネルアーム２２０６、２２０８は、肺２０１０が潰される前に、細気管支２０２２、２０２４内に挿入され、その中に配置される。肺２０１０が潰された後、アンカー部材２２１３ａ、２２１３ｂ、２２１３ｃ、２２１３ｄ、２２１３ｅ、２２１５ａ、２２１５ｂ、２２１５ｃ、２２１５ｄ、２２１５ｅは、拡張状態に移動され、細気管支２０２２、２０２４の内側組織表面２０２２ａに接触する。
【0163】
アンカー部材２２１３ａ、２２１３ｂ、２２１３ｃ、２２１３ｄ、２２１３ｅ、２２１５ａ、２２１５ｂ、２２１５ｃ、２２１５ｄ、２２１５ｅが拡張状態にある状態で、クラッチアクチュエータ２２０７、２２０９を外側スリーブ２１０３に対して軸方向に変位させて、クラッチアクチュエータ２２０７、２２０９を第１及び第２の細気管支２０２２、２０２４内に更に押し込むことができる。いくつかの実施形態では、アンカー部材２２１３ａ、２２１３ｂ、２２１３ｃ、２２１３ｄ、２２１３ｅ、２２１５ａ、２２１５ｂ、２２１５ｃ、２２１５ｄ、２２１５ｅは、クラッチアクチュエータ２２０７、２２０９に結合される前に、クラッチアクチュエータ２２０７、２２０９に沿って所定の量だけ相対的に摺動することができる。これにより、アンカー部材２２１３ａ、２２１３ｂ、２２１３ｃ、２２１３ｄ、２２１３ｅ、２２１５ａ、２２１５ｂ、２２１５ｃ、２２１５ｄ、２２１５ｅの各々の間に空間を形成することを可能にし、第１及び第２の細気管支２０２２、２０２４を取り囲む緩んだ組織をピンと張るように引っ張る。クラッチアクチュエータ２２０７、２２０９が肺２２０１から後退させられるにつれて、アンカー部材２２１３ａ、２２１３ｂ、２２１３ｃ、２２１３ｄ、２２１３ｅ、２２１５ａ、２２１５ｂ、２２１５ｃ、２２１５ｄ、２２１５ｅの各々の間の間隙が縮小され、第１及び第２の細気管支２０２２、２０２４を包囲する組織を潰す。
【0164】
第１のチャネルアーム２２０６の制御アクチュエータを使用して肺２２０１を操作することに加えて、第１のクラッチアクチュエータ２２０７を使用して、第１のクラッチアクチュエータ２２０６の長さに沿ってアンカー部材２２１３ａ、２２１３ｂ、２２１３ｃ、２２１３ｄ、２２１３ｅを軸方向に移動させることができる。アンカー部材２２１３ａ、２２１３ｂ、２２１３ｃ、２２１３ｄ、２２１３ｅを軸方向に移動させることによって、上葉２０２０及び第１の細気管支２０２２は、アンカー部材２２１３ａ、２２１３ｂ、２２１３ｃ、２２１３ｄ、２２１３ｅの機械的拡張によって膨張状態に部分的に拡張される。図示されるように、水平裂における上葉２０２０の外部組織表面２０２１は、潰された状態の肺２０１０に起因して束ねられる中葉２０２３の外部組織表面２０２５と比較したとき、アンカー部材２２１３ａ、２２１３ｂ、２２１３ｃ、２２１３ｄ、２２１３ｅの軸方向拡張に起因してピンと張っている。アンカー部材２２１３ａ、２２１３ｂ、２２１３ｃ、２２１３ｄ、２２１３ｅの軸方向拡張はまた、膨張状態線ＩＳによって示されるように、肺２２０１が膨張されるときと同様の形状に上葉２０２０を配置する。
【0165】
同様に、第２のチャネルアーム２２０８の制御アクチュエータを使用して肺２２０１を操作することに加えて、第２のクラッチアクチュエータ２２０９を使用して、第２のチャネルアーム２２０８の長さに沿ってアンカー部材２２１５ａ、２２１５ｂ、２２１５ｃ、２２１５ｄ、２２１５ｅを軸方向に移動させることができる。アンカー部材２２１５ａ、２２１５ｂ、２２１５ｃ、２２１５ｄ、２２１５ｅを軸方向に移動させることによって、中葉２０２３及び第２の細気管支２０２４は、上葉２０２０と同様に部分的に拡張され得る。アンカー部材２２１５ａ、２２１５ｂ、２２１５ｃ、２２１５ｄ、２２１５ｅの軸方向拡張はまた、膨張状態線ＩＳによって示されるように、肺２２０１が膨張されるときと同様の形状に中葉２０２３を配置することができる。
【0166】
他の実施形態では、アンカー部材による軸方向伸長の量は、ユーザによって誘導されることができるが、２つのアンカー部材間に及ぼすことが可能な力の量に対応する力限界を有する。更に、器官の過剰な膨張を防止するために、２つのアンカー部材間の変位量に最大限度があってもよい。特定の実施形態では、アンカー部材自体もまた、どちらでも摩擦を制限するために最大拡張力を制御することによって負荷制限を有することができる。アンカー部材は、アンカー部材が軸方向に変位するときにアンカー部材間に外部から加えられる力を制限する一体化されたセンサを有することができる。半径方向に加えられる力は、加えられる長手方向の力に比例して結合されて、わずかな微妙な伸張運動を加えるときであっても偶発的な直径方向の伸張損傷を防止することができる。代替的又は追加的に、手術固定システムは、荷重／クリープ制御の形態で動作することができ、所定の力の維持を可能にし、器官の組織におけるクリープに比例して自動的に伸長し続ける。これは、器官の組織の粘弾性特性が、器官の拡張を妨げるのではなく、拡張を助けるために使用されることを可能にする。
【0167】
特定の実施形態では、アンカー部材の軸方向移動の作動前に、組織の構造化光走査を行うことができ、器官の予め伸張された解剖学的構造の３Ｄ表面モデルを提供する。この画像は、記憶され、器官の伸張状態に重ね合わされ、器官形状変化の性質に関する視覚情報を提供し、外部組織表面下の器官の見えない分岐に対する見通しを提供することができる。
【0168】
上述したように、本発明の手術固定システムは、他の天然の体腔又は器官を操作するように構成することができる。例えば、以下に説明するように、本発明の手術固定システムは、結腸の１つ以上の部分を内視鏡下で操作するように構成することができる。
【0169】
手術は、初期の結腸がんに対する主要な治療である。使用される手術のタイプは、がんのステージ（程度）、結腸内の場所、及び手術の目標に依存する。いくらかの初期結腸がん（ステージ０及びいくつかの初期ステージＩ腫瘍）及び大部分のポリープは、結腸鏡検査の間に除去することができる。しかし、がんが進行した場合、結腸の全て又は一部を除去する外科的手技である、局所的切除又は結腸切除が必要とされる場合がある。特定の例では、近くのリンパ節も除去される。結腸の一部のみが除去される場合、半結腸切除、つまり結腸部分切除を行うことができる。結腸の部分切除では、外科医は、結腸の病変部分を、両側の非病変結腸の小さいセグメントと共に除去する。通常、がんのサイズ及び場所に応じて、結腸の約４分の１～３分の１が除去される。結腸の主要な切除を図２８に例解し、（ｉ）Ａ－Ｂは、右半結腸切除であり、Ａ－Ｃは、拡張右半結腸切除であり、Ｂ－Ｃは、横行結腸切除であり、Ｃ－Ｅは、左半結腸切除であり、Ｄ－Ｅは、Ｓ状結腸切除であり、Ｄ－Ｆは、前方切除であり、Ｄ－Ｇは、（超）低位前方切除であり、Ｄ－Ｈは、腹会陰切除であり、Ａ－Ｄは、結腸亜全摘であり、Ａ－Ｅは、結腸全摘であり、Ａ－Ｈは、直腸結腸全摘である。切除が完了したら、結腸の残りの無傷のセクションが再付着される。
【0170】
腹腔鏡支援結腸切除処置の間、適切な術野を取得することはしばしば難しい。多くの場合、切開は骨盤の深部で行われるため、その領域を十分に可視化することが難しい。結果として、可動化中に直腸の両側の周りの静脈及び動脈へのアクセスを得るために、下部直腸を持ち上げて回転させなければならない。下部直腸の操作中に、組織のバンチング及び／又は組織の過伸展が起こる可能性がある。追加的に、直腸内の腫瘍は、周囲の骨盤において癒着を引き起こす可能性があり、結果として、これは、腫瘍の離断及び除去の前に、直腸断端を解放し、腸間膜及び血液供給を可動化することを必要とする可能性がある。
【0171】
更に、図２９に示されるように、結腸２３１０からの除去のために腫瘍２３０８を位置付けるため、複数の把持具２３００、２３０２、２３０４、２３０６及び腹腔鏡２３０１が必要とされる。結腸２３１０の切開の間、腫瘍２３０８は張力下に配置されるべきであり、これは、結腸２３１０の周囲の健康組織２３１２、２３１４、２３１６を把持して伸展させることを必要とする。しかしながら、腫瘍２３０８を取り囲む組織２３１２、２３１４、２３１６の操作は、把持具２３００、２３０２、２３０４、２３０６が組織２３１２、２３１４、２３１６に高い把持力をかけることに起因して、血流の減少及び外傷を被る可能性がある。追加的に、結腸切除の間、横行結腸及び上部下行結腸は、腫瘍２３０８を含む結腸２３１０のセクションが離断されて除去された後に、良好な残存結腸が直腸２３１８に接続するように下げることを可能にするために動かす必要があり得る。結腸を安全に操作して、移動中に動脈及び静脈へのより良好な可視化及びアクセスを外科医に提供するために使用され得る手術ツールは、結腸切除中の周囲領域の外傷及び血液損失を防止するのに役立つ。
【0172】
図３０及び図３１は、結腸２３１０内への管腔内アクセス及び操作のために構成された手術固定システム２４００の一実施形態を図示する。以下でより詳細に説明されるように、手術固定システム２４００は、結腸２３１０の一部（例えば、セクションＦ）を操作し引っ張るために使用される。簡略化のために、手術固定システム２４００及び結腸２３１０の特定の構成要素は図示されていない。この手術固定システム２４００は、結腸２３１０のセクションＦの操作に関連して示され、説明されるが、当業者は、手術固定システム２４００が、結腸２３１０の他のセクションを膨張させるために追加的又は代替的に使用され得ることを理解する。
【0173】
図３０及び図３１に示すように、手術固定システム２４００は、様々な構成を有することができる。いくつかの実施形態では、手術固定システム２４００は、直腸２３１８などの天然開口部を通して結腸２３１０の中への管腔内アクセスのために構成された管状部材２４０２を備える。管状部材２４０２は、その中に配置され、内視鏡を受容するように構成されている、中心管腔２４０４を含む。加えて、管状部材２４０２は、それを通って延在する作業チャネル２４０６ａ、２４０６ｂ、２４０６ｃ、２４０８ａ、２４０８ｂ、２４０８ｃ、２４１０ａ、２４１０ｂ、２４１０ｃから形成される複数の作業チャネルを含む。他の実施形態では、環状部材は、他の好適な構成及び形状を有し得る。
【0174】
手術固定システム２４００はまた、管状部材２４０２に結合され、管状部材２４０２の遠位端２４０２ｄから遠位に延在する固定アセンブリ２４１８を含む。固定アセンブリ２４１８は、第１のアンカー部材２４２０及び第２のアンカー部材２４３０を含む。第１のアンカー部材２４２０は、管状部材２４０２の遠位端２４０２ｄに結合され、第１の解剖学的位置に係合し、管状部材２４０２に対して第１の解剖学的位置を固定するように構成されている（図３２）。第１のアンカー部材２４２０は、近位カラー２４２４と遠位カラー２４２６との間に延在する第１の複数の拡張可能な固定要素２４２２を含む。遠位カラー２４２６は、近位カラー２４２４に対して軸方向に移動するように構成されており、その結果、遠位カラー２４２６が近位カラー２４２４に向かって軸方向に移動するとき、拡張可能な固定要素２４２２は、遠位カラー２４２６による軸方向移動の軸から半径方向外向きに拡張する。半径方向外向きに拡張することによって、拡張可能な固定要素２４２２は、拡張状態にある間、天然の体腔又は器官の内側組織表面に少なくとも部分的に接触するように構成されている。
【0175】
遠位カラー２４２６を近位カラー２４２４に向かって軸方向に変位させるために、第１の複数のアクチュエータ２４１２が遠位カラー２４２６に接続されている。第１の複数のアクチュエータ２４１２は、アクチュエータ２４１２ａ、２４１２ｂ、２４１２ｃを含み、アクチュエータ２４１２ａは、作業チャネル２４０６ａを通過し、アクチュエータ２４１２ｂは、作業チャネル２４０６ｂを通過し、アクチュエータ２４１２ｃは、作業チャネル２４０６ｃを通過する。アクチュエータ２４１２ａ、２４１２ｂ、２４１２ｃが作業チャネルを通して張力をかけて引っ張られるか、又は作業チャネル内で回転されると、遠位カラー２４２６は近位カラー２４２４に向かって軸方向に変位され、拡張可能な固定要素２４２２を拡張する。アクチュエータ２４１２ａ、２４１２ｂ、２４１２ｃが遠位カラー２４２６と相互作用するために、アクチュエータ２４１２ａ、２４１２ｂ、２４１２ｃは、近位カラー２４２４内の複数の作業チャネル（図示せず）を通過する。
【0176】
第２のアンカー部材２４３０は、第１のアンカー部材２４２０に対して移動可能であり、距離Ｄ１で第１のアンカー部材２４２０の遠位に位置決めされる。第２のアンカー部材２４３０は、第２の解剖学的位置に係合するように構成されており、第１の解剖学的位置に対して移動可能である（図３２）。第２のアンカー部材２４３０は、近位カラー２４３４と遠位カラー２４３６との間に延在する第２の複数の拡張可能な固定要素２４３２を含む。遠位カラー２４３６は、近位カラー２４３４に対して軸方向に移動するように構成されており、その結果、遠位カラー２４３６が近位カラー２４３４に向かって軸方向に移動するとき、拡張可能な固定要素２４３２は、遠位カラー２４３６による軸方向移動の軸から半径方向外向きに拡張する。半径方向外向きに拡張することによって、拡張可能な固定要素３４３２は、拡張状態にある間、天然の体腔又は器官の内側組織表面に少なくとも部分的に接触するように構成されている。
【0177】
遠位カラー２４３６を近位カラー２４３４に向かって軸方向に変位させるために、第２の複数のアクチュエータ２４１４が遠位カラー２４３６に接続されている。第２の複数のアクチュエータ２４１４は、アクチュエータ２４１４ａ、２４１４ｂ、２４１４ｃを含み、アクチュエータ２４１４ａは、作業チャネル２４０８ａを通過し、アクチュエータ２４１４ｂは、作業チャネル２４０８ｂを通過し、アクチュエータ２４１４ｃは、作業チャネル２４０８ｃを通過する。アクチュエータ２４１４ａ、２４１４ｂ、２４１４ｃが作業チャネルを通して張力をかけて引っ張られるか、又は作業チャネル内で回転されると、遠位カラー２４３６は近位カラー２４３４に向かって軸方向に変位され、拡張可能な固定要素２４３２を拡張する。アクチュエータ２４１４ａ、２４１４ｂ、２４１４ｃが遠位カラー２４３６と相互作用するために、アクチュエータ２４１４ａ、２４１４ｂ、２４１４ｃは、近位カラー２４２４内の作業チャネル２４３８、並びに第１の固定要素２４２０の近位カラー２４３４及び遠位カラー２４２６内の複数の作業チャネル（図示せず）を通過する。
【0178】
図３１及び図３２に示すように、第１のアンカー部材２４２４及び第２のアンカー部材２４３４が拡張状態にある場合、第１のアンカー部材２４２４は第１の解剖学的位置２３２０と係合し、第２のアンカー部材は第２の解剖学的位置２３２２と係合する。第１のアンカー部材２４２０に対して第２のアンカー部材２４３０を軸方向に変位させるために、アクチュエータ２４１６ａ、２４１６ｂ、２４１６ｃは、ねじ付きシース２４１７ａ、２４１７ｂ、２４１７ｃからアクチュエータ２４１６ａ、２４１６ｂ、２４１６ｃを回転させてねじを緩める。アクチュエータ２４１６ａは、ねじ付きシース２４１７ａ内にねじ込まれ、アクチュエータ２４１６ｂは、ねじ付きシース２４１７ｂ内にねじ込まれ、アクチュエータ２４１６ｃは、ねじ付きシース２４１７ｃ内にねじ込まれる。アクチュエータ及びねじ付きシースは相補的なねじ山を有するので、アクチュエータ２４１６ａ、２４１６ｂ、２４１６ｃの回転は、第１のアンカー部材２４２０と第２のアンカー部材２４３０との間の距離を増加させる。いくつかの実施形態では、アクチュエータ２４１６ａ、２４１６ｂ、２４１６ｃが他のアクチュエータよりも多く回転され得ると、第１のアンカー部材２４２０と第２のアンカー部材２４３０との間に、Ｄ１よりも大きい湾曲長さＤ２が生じる。
【0179】
使用時、湾曲長さＤ２を使用して、結腸２３１０の片側、例えば腫瘍が位置する場所に張力を生成することができる。第１の解剖学的位置２３２０は拡張可能な固定要素２４２２によって第１のアンカー部材２４２０と係合され、第２の解剖学的位置２３２は拡張可能な固定要素２４３２によって第２のアンカー部材２４３０と係合されるため、アクチュエータ２４１６ａ、２４１６ｂ、２４１６ｃが回転しねじが外されると、第２の解剖学的位置２３２２は第１の解剖学的位置２３２０に対して選択的に再配置される。
【0180】
図３２に示されるように、組織壁２３２４は、組織壁２３２４の反対側に配置された組織壁２３２６よりも強く引っ張られる。結腸２３１０上に腫瘍２３０８が位置する組織壁２３２４に張力をかけることによって、腫瘍を可視化し、腹腔鏡下で配置された器具２３３２、２３３４によって除去することができる。加えて、腫瘍２３０８の可視化を更に助けるために、内視鏡２３３０が管状部材２４０２の中心管腔２４０４内に配置される。
【0181】
手術器具の検知
特定の外科処置中に、患者の体内の特定の手術器具の位置及び向きを追跡できることが有利な場合がある。例えば、結腸切除の間、結腸の可動化された部分は、結腸を直腸に再結合させるために、直腸に対して整列され、接続されなければならない。特定の手術システムでは、手術器具のうちの少なくとも１つは、手術器具の互いに対する位置を識別する、統合された追跡及び協調手段を含むことができる。
特定の外科処置中に、患者の体内の特定の手術器具の位置及び向きを追跡できることが有利な場合がある。例えば、結腸切除の間、結腸の可動化された部分は、結腸を直腸に再結合させるために、直腸に対して整列され、接続されなければならない。特定の手術システムでは、手術器具のうちの少なくとも１つは、手術器具の互いに対する位置を識別する、統合された追跡及び協調手段を含むことができる。
【0182】
いくつかの実施形態では、手術器具は、手術器具を追跡するために使用され得る１つ以上のマーカ（例えば、取り付け可能な又は一体化されたマーカ）を含み得る。これは、手術器具が二重検知及び協調制御システムと直接協調することを可能にし得る。その結果、手術器具は、スコープ（例えば、内視鏡）なしで体内（例えば、天然開口部）に直接挿入され、スコープと同様に使用され得る。
【0183】
図３３は、手術固定システム２５００の別の実施形態を図示する。手術固定システム２５００は、取り付け可能な又は一体化されたマーカと、二重検知及び協調制御システムと協働することを可能にする別のスコープなしで天然開口部を通して導入される器具と共に使用するための検知手段とを含む。
【0184】
手術固定システム２５００は、検知アレイ２５０４を有する、腹腔鏡下で配置される器具２５０２を含む。検知アレイ２５０４は、直腸２３１８内に配置された円形ステープラ２５１０を結腸２３１０の残りの部分内に配置されたアンビル２５１２と位置合わせするために、第１のカラー２５０６及び第２のカラー２５０８と無線で相互作用するように構成されている。第１のカラー２５０６は、円形ステープラ２５１０内に配置され、磁場２５１４を放出する。第２のカラー２５０８は、アンビル２５１２上に配置され、磁場２５１６を放出する。磁場２５１４、２５１６の両方は、検知アレイ２５０４によって検出可能である。磁場２５１４、２５１６は、結腸２３１０を直腸２３１８と位置合わせするために、円形ステープラ２５１０及びアンビル２５１２に関する位置及び向きデータを中継するように構成されている。
【0185】
アンビル２５１２は、結腸２３１０を移動させるために器具２５２０によって把持されるポスト２５１８を含む。アンビル２５１２が器具２５２０によって移動すると、検知アレイ２５０４は、磁場データを収集し、ステープラトロカール軸２５２２とアンビルトロカール軸２５２４との距離及び不整合を判定する。ステープラトロカール軸２５２２がアンビルトロカール軸２５２４と位置合わせされると、アンビル２５１２は、円形ステープラ２５１０のポスト２５２６の上に位置付けられ得る。ポスト２５２６は、ポスト２５１８がポスト２５２６の上に配置されるときに位置合わせ特徴部２５２８を含むことができる。特定の実施形態では、ポスト２５１８、２５２６が互いに位置合わせされると、円形ステープラ２５１０を回転させて、アンビル２５１２を円形ステープラ２５１０に結合することができ、その結果、結腸２３１０を直腸２３１８にステープル留めすることができる。
【0186】
器具２５０２は、ユーザの視野内の外部スクリーンに対して治療領域を可視化するために、その遠位端上に配置された光学センサを含むことができ、これは、円形ステープラを腹腔鏡側からのアンビル取り付けのための正しい位置に調整し、位置合わせするのを助ける。
【0187】
本明細書に開示される手術用固定システムは、１回の使用の後に廃棄されるように設計することができ、又はこれらは複数回使用されるように設計することができる。しかしながら、いずれの場合も、手術固定システムは、少なくとも１回の使用後に、再使用のために再調整することができる。再調整は、手術固定システムを分解する工程、続いて特定の部分を清浄又は交換する工程、及びその後の再組み立ての工程の任意の組み合わせを含むことができる。特に、手術固定システムは分解することができ、手術固定システムの任意の数の特定の部分又は部品を、任意の組み合わせで選択的に交換又は除去することができる。特定の部品を洗浄及び／又は交換すると、手術固定システムは、再調整設備において、あるいは手術処置の直前に手術チームによって、後で使用するために再組み立てすることができる。手術固定システムの再調整が、分解、清浄／交換、及び再組み立てのための様々な技術を利用できることを、当業者は理解されよう。そのような技術の使用と、それにより再調整された器具は、全て本出願の範囲内にある。
【0188】
機器制御撮像システム
本明細書で提供される多光源撮像のためのデバイス、システム、及び方法は、協調的手術可視化を可能にする。一般に、協調的手術可視化では、各々が手術部位の画像を収集する第１の撮像システム及び第２の撮像システム（例えば、第１のスコープ装置及び第２のスコープ装置）は、協働して、手術部位の向上した撮像を提供するように構成されている。協働的手術可視化は、手術部位における患者の解剖学的構造の可視化を改善し、かつ／又は手術部位における手術器具の制御を改善し得る。
本明細書で提供される多光源撮像のためのデバイス、システム、及び方法は、協調的手術可視化を可能にする。一般に、協調的手術可視化では、各々が手術部位の画像を収集する第１の撮像システム及び第２の撮像システム（例えば、第１のスコープ装置及び第２のスコープ装置）は、協働して、手術部位の向上した撮像を提供するように構成されている。協働的手術可視化は、手術部位における患者の解剖学的構造の可視化を改善し、かつ／又は手術部位における手術器具の制御を改善し得る。
【0189】
手術可視化システムは、重要な構造（例えば、病変組織、解剖学的構造、手術器具など）の術中識別を可能にすることができる。したがって、手術可視化システムは、術中意思決定の強化及び手術転帰の改善を可能にし得る。手術可視化システムは、医師が「肉眼」で見るもの、並びに／あるいは撮像システムが認識し、及び／又は医師に伝達できるものを超えた、高度な可視化能力を提供することができる。手術可視化システムは、医師が組織治療（例えば、切開など）の前に知ることができることを補強かつ強化できることによって、様々な例における転帰を改善し得る。結果として、手術可視化システムが、例えば、切開中にアプローチされ得る重要構造を追跡していることを認識しながら、医師は、手術処置を通して勢いを確実に維持することができる。手術可視化システムは、医師が手術処置を休止し、及び／又は減速させ、重要構造に対する不注意による損傷を防止するためにその構造までの近接度を評価するのに十分な時間内で、医師に対して指示を提供することができる。手術可視化システムは、理想的で、最適化された、及び／又はカスタマイズ可能な量の情報を医師に提供して、健康組織及び／又は重要構造への不注意による損傷を回避しつつ、医師が組織全体を確実、及び／又は迅速に動くことを可能にし、これによって、手術処置から生じる損傷のリスクを最小限に抑えることができる。
【0190】
本明細書で提供される手術システムは、概して、その視野内の第１の場面の画像データを伝送するように構成されている、第１のスコープ装置と、その視野内の第２の異なる場面の画像データを伝送するように構成されている、第２のスコープ装置と、第１のスコープ装置又は第２のスコープ装置のうちの一方に関連付けられ、第１のスコープ装置又は第２のスコープ装置のうちの他方に対する第１のスコープ装置又は第２のスコープ装置のうちの一方の場所を示す信号を伝送するように構成されている、追跡装置と、伝送されたデータ及び信号を受信し、第１のスコープ装置と第２のスコープ装置との間の相対距離を判定し、マージされた画像を提供するように構成されている、コントローラと、を備える。マージされた画像は、単一の場面内の少なくとも第１のスコープ装置及び第２のスコープ装置の少なくとも一部であり得、マージされた画像内の第１のスコープ装置及び第２のスコープ装置のうちの少なくとも１つは、その代表的描写である。したがって、マージされた画像は、このように、手術部位の２つの別個の視点を提供することができ、医師が、複数のディスプレイの代わりに１つのディスプレイのみを見ることを好都合に可能にすることができる。更に、その１つのディスプレイ内で、マージされた画像は、医師が、手術部位に又はそこに近接して配置された少なくとも第１の装置及びスコープ装置の相対的な位置及び／又は向きを協調させることを可能にする。
【0191】
第１のスコープ装置は、天然の体腔及び器官（例えば、肺、胃、結腸、又は小腸）のうちの少なくとも１つの内部に少なくとも部分的に配置されるように構成されており、第２のスコープ装置は、天然の体腔及び器官のうちの少なくとも１つの外側に少なくとも部分的に配置されるように構成されている。特定の実施形態では、第１のスコープ装置は内視鏡であり、第２のスコープ装置は腹腔鏡である。天然の体腔又は器官は、任意の適切な天然の体腔又は器官であり得る。非限定的な例としては、胃、肺、結腸、又は小腸が挙げられる。
【0192】
本明細書で提供される手術システムは、上述したような様々なロボット手術システムで使用することもでき、様々な追跡及び／又は撮像機構、例えば、器具、内視鏡、及び腹腔鏡の互いに及び／又はシステム全体に対する動きの追跡を支援するための、電磁（ＥＭ）追跡チップ、ファイバブラッググレーティング、仮想タグ、基準マーカ、プローブの使用、既知の解剖学的構造の識別、構造化光を使用するような様々な３Ｄ走査技術、上述した様々なセンサ及び／又は撮像システムなどを組み込むことができる。追跡機構は、腹腔鏡及び内視鏡の両方から追跡データを伝送するように構成することができ、それにより、いずれかのスコープの位置を他方のスコープに対して決定することができる。更に、いずれかのスコープの視野内の重要な構造（例えば、病変組織、手術器具、解剖学的構造）は、その視野内にそのような重要な構造を有するスコープによって追跡することができる。全体として、本明細書の手術システムは、各スコープの視野内の物体、及び各スコープの相対位置を追跡することができる。したがって、追跡データ全体によって、システムは、他のスコープによって収集された追跡データに基づいて、視野内に重要な構造を有しないスコープからの重要な構造の距離を計算することができる。
【0193】
いくつかの実施形態では、手術システムは、第１のスコープ装置又は第２のスコープ装置のうちの一方に関連付けられ、第１のスコープ装置又は第２のスコープ装置のうちの一方の、第１のスコープ装置又は第２のスコープ装置のうちの他方に対する位置を示す信号を伝送するように構成されている、追跡装置を備えることができる。
【0194】
様々な実施形態では、本明細書で提供される手術システムは、コントローラを備える。手術システム、コントローラ、ディスプレイ、並びに／又は種々の器具、内視鏡、及び腹腔鏡はまた、いくつかの異なるロボット手術システムに組み込まれることができ、及び／又は上記で議論されるシステム及び手術ハブのうちのいずれかなどの手術ハブの一部であることができる。コントローラは、一般に、内視鏡及び腹腔鏡からの第１の場面及び第２の場面をそれぞれマージして、第１の場面と第２の場面との間のマージされた画像を視覚的に作成するように構成されている。コントローラは、上記で詳述された追跡データを受信し、第１の場面及び第２の場面と組み合わせて、少なくとも内視鏡又は腹腔鏡、及び組織壁によって視覚的に損なわれたスコープの視野内の任意の構造の代表的描写を含有するマージされた画像を生成するように構成されている。例えば、マージされた画像が内視鏡の視点からのものであった場合、マージされた画像は、内視鏡が撮影しているもののライブ画像ストリームであり、存在する場合、腹腔鏡下で配置された手術器具及び腹腔鏡の向き及び位置のオーバーレイを含む。
【0195】
いくつかの実施形態では、コントローラは、第１のスコープ装置及び第２のスコープ装置から第１の場面及び第２の場面の伝送された画像データ並びに追跡装置から伝送された信号を受信し、伝送された信号に基づいて、第１のスコープ装置と第２のスコープ装置との間の相対距離を判定し、伝送された画像データ並びに第１のスコープ装置と第２のスコープ装置との間の相対距離に基づいて、単一の場面内の少なくとも第１のスコープ装置及び第２のスコープ装置の少なくとも一部のマージされた画像を提供するように構成されることができ、マージされた画像内の第１のスコープ装置及び第２のスコープ装置のうちの少なくとも１つは、その代表的描写である。
【0196】
例示的な手術システムは、本明細書で説明され、図面に示すように、様々な特徴を備え得る。しかしながら、手術システムは、これらの特徴の一部のみを有してもよく、かつ／又は当該技術分野では周知の様々な他の特徴を有してもよいことは当業者には認識されるところであろう。本明細書に述べられる手術システムは、特定の代表的な実施形態を代表することを意図したものに過ぎない。更に、手術システムは、胃に関連して示され、説明されるが、当業者は、これらの手術システムが、任意の他の適切な天然の体腔又は器官に関連して使用され得ることを理解する。
【0197】
手術は、胃がんの最も一般的な治療である。胃がんのために手術が必要とされるときに、目標は、腫瘍全体並びに腫瘍の周りの健康胃組織の良好マージンを除去することである。異なる処置を使用して、胃がんを除去することができる。使用される処置の種類は、がんが胃のどの部分に位置するか、及びがんが近くの領域にどれだけ成長したかに依存する。例えば、胃に対する内視鏡的粘膜切除（ＥＭＲ）及び内視鏡的粘膜下層剥離（ＥＳＤ）処置は、いくつかの早期がんを治療するために使用することができる。これらの処置は、皮膚の切断を必要としないが、その代わりに、外科医は、内視鏡を患者の咽喉を通して胃の中に通す。次いで、手術ツール（例えば、ＭＥＧＡＤＹＮＥ（商標）Ｔｉｓｓｕｅ Ｄｉｓｓｅｃｔｏｒ又はＥｌｅｃｔｒｏｓｕｒｇｉｃａｌ Ｐｅｎｃｉｌ）を内視鏡の作業チャネルに通して、腫瘍及びその下及び周りの正常な胃壁のいくつかの層を除去する。
【0198】
他の手術処置は、開腹処置（例えば、手術器具は、腹部の皮膚の大きな切開部を通して挿入される）として、又は腹腔鏡下処置（例えば、手術器具は、いくつかの小さな切断部を通して腹部に挿入される）として行われ得る胃の亜全摘（部分）又は全摘を含む。腹腔鏡下胃切除処置は、概して、約１５ミリメートル水銀（ｍｍＨｇ）の圧力まで二酸化炭素ガスを腹腔に送気することを伴う。腹壁に穿孔した後、直径５～１０ｍｍの真っ直ぐな管状カニューレ又はトロカールを腹腔に挿入する。手術室のモニタに接続された腹腔鏡は、術野を可視化するために使用され、トロカールのうちの１つを通して配置される。腹腔鏡器具は、胃の所望の部分を除去するために、外科医及び外科助手による操作のために、２つ以上の追加のトロカールを通して配置される。
【0199】
図３４は、胃３０００の概略図を示す。胃３０００は、食道括約筋３００１、大弯３００２、小弯３００３、幽門括約筋３００４、十二指腸３００５、及び十二指腸空腸屈曲３００６を含み得る。加えて、胃３０００は、内側組織壁３００７及び外側組織壁３００８を含む。食道括約筋３００１は、胃を食道３００９に接続し、胃３０００の管腔内空間にアクセスするために、内視鏡が患者の口を通過し、食道３００９を下り、食道括約筋３００１を通過することを可能にする。幽門括約筋３００４、十二指腸３００５、及び十二指腸空腸曲３００６は、胃３０００を小腸（図示せず）に接続する。
【0200】
胃から腫瘍を除去する従来の手術処置は、楔状切除と呼ばれ、腫瘍がある胃の部分が完全に除去される。図３５及び図３６は、腫瘍３０５６の除去のための胃３０５０内への腔内及び腹腔鏡下アクセスのために構成されている、従来の手術システムの例示的実施形態を図示する。胃３０００と同様に、胃３０５０は、食道括約筋３０５１、大弯３０５２、小弯３０５３、幽門括約筋３０５４、十二指腸３０５５、内側組織壁３０５７、及び外側組織壁３０５８を含む。図示されるように、腫瘍３０５６は、大弯３０５２の内側組織壁３０５７上に配置されている。腫瘍３０５６は、食道括約筋３０５１及び食道３０５９から離れて、大弯３０５２の内側組織壁３０５７上に配置されている。腫瘍３０５６を除去するために、管腔内空間に内視鏡３０６０が配置され、管腔外空間に腹腔鏡３０６２が配置される。
【0201】
内視鏡３０６０及び腹腔鏡３０６２の両方は、外科医がスコープを適切に位置付け、胃３０５０上で操作できるように、画像データをディスプレイに提供しているが、各スコープからの画像は別個であり、外科医は、２つの異なるモニタ又はフレームインフレーム構成を見る必要がある。これは、内視鏡３０６０及び腹腔鏡３０６２の両方が、切開線Ｉを作成して、腫瘍３０５６が付着する楔部Ｗを除去するために協働して動作しなければならない場合に問題となる。したがって、外科医は、典型的には、解剖学的構造の経験又は知識に依存して、内視鏡３０６０及び腹腔鏡３０６２が協働して動作し、内側組織壁３０５７及び外側組織壁３０５８の両側の正しい位置に配置されることを確実にする。
【0202】
従来の手術システムでは、連結された又はつながれた手術治療部位の統一された視覚画像を提供することができない。代わりに、ユーザは、複数のディスプレイを同時に監視し、同じ手技に関与する異なるスコープによって可視化される種々の手術器具及び／又はスコープ間の向き及び距離に関して推測するか、あるいはスコープ及び器具を追跡する試みにおいて手技に付加的な視覚システムを組み込むかのいずれかを要求される。本明細書で提供される手術システムは、内視鏡及び腹腔鏡の両方からの撮像を単一の視覚ディスプレイに統合して、種々の手術器具及びスコープの位置合わせ及び展開を簡略化することによって、これらの問題を回避する。
【0203】
図３７は、胃３０００への管腔内アクセス及び腹腔鏡アクセスのために構成された手術システム３１００の例示的な実施形態を示す。以下でより詳細に説明されるように、手術システム３１００は、手術部位における単一の場面のマージされた画像を作成するために、異なるスコープ装置からデータを伝送することができ、マージされた画像におけるスコープ装置のうちの少なくとも１つの代表的描写を含むことができる。簡略化のために、手術システム３１００及び胃３０００の特定の構成要素は図示されていない。
【0204】
示されるように、胃３０００は、大弯３００２上に配置された腫瘍３０４０を含む。胃３０００を手術するとき、腫瘍３０４０に適切にアクセスするために、血管３０６４を、腹腔鏡下で配置された器具を使用して操作する（例えば、動かす）必要があり得る。使用時、以下により詳細に説明されるように、手術システム３１００は、内視鏡及び腹腔鏡が協働して動作することができる一方で、いずれのスコープもそれらの視野内で他方を視覚的に見られない（例えば、それらの間に位置付けられた胃壁によって）ように、マージされた画像を提供することができる。
【0205】
手術システム３１００は、食道３００９を通して胃３０００内への管腔内アクセスのために構成されている、内視鏡３１０２を含む。内視鏡３１０２は、様々な構成を有することができる。例えば、この図示された実施形態では、内視鏡３１０２は、第１の光学センサ３１０６（例えば、カメラ）及び照明要素３１０８を含む。代替的又は追加的に、内視鏡３１０２は、内視鏡３１０２の長さに沿って配置された作業チャネル（図示せず）を含み、器具を胃３０００内に管腔内を通して入れることができる。いくつかの実施形態では、内視鏡３１０２は、患者の口（図示せず）を通して食道３００９に挿入されるように構成された外側スリーブ（図示せず）を含むことができる。外側スリーブは、内視鏡３１０２が外側スリーブを通して挿入され、胃３０００にアクセスすることを可能にするように構成された作業チャネルを含むことができる。特定の実施形態では、内視鏡３１０２は、内部を通って延在する作業チャネルを含むことができる。この作業チャネルは、１つ以上の手術器具を受容するように、及び／又は管腔又は器官（例えば、胃）に通気するための流体が通過することを可能にするように構成され得る。
【0206】
更に、手術システム３１００は、腹壁（図示せず）を通して胃３０００に隣接する管腔外解剖学的空間内への腹腔鏡アクセスのために構成されている、腹腔鏡３１０４を含む。腹腔鏡３１０４は、様々な構成を有することができる。例えば、この図示された実施形態では、腹腔鏡３１０４は、第２の光学センサ３１１０（例えば、カメラ）及び照明要素３１１２を含む。代替的又は追加的に、腹腔鏡３１０４は、腹腔鏡３１０４の長さに沿って配置された作業チャネル（図示せず）を含み、器具を腹腔鏡下で管腔外空間に通すことができる。いくつかの実施形態では、腹腔鏡３１０４は、組織壁内及び組織壁を通して位置付けられるトロカール又はマルチポート（図示せず）を通して、管腔外解剖学的空間内に挿入できる。トロカール又はマルチポートは、腹腔鏡３１０４及び／又は他の手術器具を管腔外解剖学的空間内に通して胃３０００にアクセスするためのポートを含むことができる。
【0207】
図３７に示すように、内視鏡３１０２は、内視鏡３１０２上又は内に配置された第１の追跡装置３１０９を含む。第１の追跡装置３１０９は、腹腔鏡３００４に対する内視鏡３１０２の位置を示す信号を（例えば、コントローラ３１３０に）伝送するように構成されている。加えて、腹腔鏡３１０４は、腹腔鏡３１０４上又は内部に配置された第２の追跡装置３１１３を含む。第２の追跡装置３１１３は、内視鏡３１０２に対する腹腔鏡３１０４の位置を示す信号を（例えば、コントローラ３１３０に）伝送するように構成されている。他の実施形態では、内視鏡３１０２及び腹腔鏡３１０４のうちの一方のみが、追跡装置を含む。
【0208】
代替的又は追加的に、第１の追跡装置３１０９から伝送された信号（又は追加の伝送された信号）は、腹腔鏡３００４に対する内視鏡３１０２の向きを更に示すことができる。代替的又は追加的に、第２の追跡装置３１１３から伝送された信号（又は追加の伝送された信号）は、第１のスコープ装置に対する腹腔鏡３００４の向きを更に示すことができる。
【0209】
いくつかの実施形態では、第１及び第２の追跡装置３１０９、３１１３は、それぞれ、（例えば、内視鏡３１０２及び腹腔鏡３１０４が胃３０００の組織壁の両側に位置付けられるとき）内視鏡３１０２及び腹腔鏡３１０４の場所、向き、又はその両方を検出するために、磁気又は無線周波数検知を使用するように構成されている。あるいは、第１及び第２の追跡装置３１０９、３１１３は、それぞれ、（例えば、内視鏡３１０２及び腹腔鏡３１０４が胃３０００の組織壁の両側に位置付けられるとき）内視鏡３１０２及び腹腔鏡３１０４の場所、向き、又はその両方を検出するために、共通の解剖学的目印を使用するように構成されている。第１及び第２の追跡装置３１０９、３１１３はそれぞれ、信号をコントローラ（コントローラ３１３０など）に伝送することができる。磁気基準マーカ、及び場所を検出する際に磁気基準マーカを使用する種々の実施形態は、例えば、２０２１年９月２９日出願の「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃｏｎｔｒｏｌ Ｏｆ Ｏｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｗｉｔｈ Ａｎｏｔｈｅｒ」と題された米国特許出願第６３／２４９，６５８号で更に論じられている。
【0210】
図３７及び図３８に更に示されるように、手術システム３１００は、第１及び第２の手術器具３１１４、３１１８を含み、これらはそれぞれ、腹壁を通して胃３０００を取り囲む管腔外解剖学的空間内への腹腔鏡アクセスのために構成されている。第１及び第２の手術器具３１１４、３１１８は、様々な構成を有することができる。例えば、この例示的な実施形態では、第１及び第２の手術器具３１１４、３１１８はそれぞれ、腹腔鏡側から胃３０００を操作するように構成された一対のジョー３１１６、３１２０をそれぞれ含む。２つの手術器具３１１４、３１１８が図示されているが、他の実施形態では、手術システム３１００は、１つの手術器具又は３つ以上の手術器具を含むことができる。いくつかの実施形態では、第１及び第２の手術器具３１１４、３１１８は、腹腔鏡３１０４がそれを通して位置付けられる同一のトロカール及び／又はマルチポートデバイスのポートを通過することができる。
【0211】
手術システム３１００はまた、内視鏡３１０２及び腹腔鏡３１０４に通信可能に結合されたコントローラ３１３０を含み、第１及び第２の光学センサ３１０６、３１１０のそれぞれ第１の場面及び第２の場面の伝送された画像データを受信するように構成されている。コントローラ３１３０はまた、第１及び第２の追跡装置３１０９、３１１３に通信可能に結合され、それぞれ第１及び第２の追跡装置３１０９、３１１３から伝送された信号を受信するように構成されている。受信すると、コントローラ３１３０は、少なくとも内視鏡３１０２と腹腔鏡３１０４との間の相対距離を決定するように構成されている。特定の実施形態では、コントローラ３１３０はまた、内視鏡３１０２と腹腔鏡３１０４との間の相対的向きを決定するように構成され得る。
【0212】
図３８に示すように、内視鏡３１０２と腹腔鏡３１０４との間の相対距離は、破線矢印３１２２として示されている。伝送された画像データと内視鏡３１０２と腹腔鏡３１０４との間の相対距離との両方に基づいて、コントローラ３１３０は、マージされた画像をディスプレイに、例えば、手術システム３１００の第１のディスプレイ３１３２、第２のディスプレイ３１３４、又はその両方に提供するように構成されている。マージされた画像において、内視鏡３１０２及び腹腔鏡３１０４のうちの少なくとも１つは、その代表的描写である。
【0213】
第１及び第２のディスプレイ３１３２、３１３４は、様々な形態で構成され得る。例えば、いくつかの実施形態では、第１のディスプレイは、第１の場面を表示するように構成され得、第２のディスプレイは、第２の場面を表示するように構成され得、第１のディスプレイ、第２のディスプレイ、又は両方は、マージされた画像を表示するように更に構成され得る。別の実施形態では、手術システム３１００は、マージされた画像を表示するために使用され得る第３のディスプレイ３１３６（図３７）を含むことができ、第１及び第２のディスプレイ３１３２、３１３４は、それぞれ、光学センサ３１０６、３１１０から伝送された画像データを、いかなる修正も伴わずに示すためだけに使用される。この実施形態では、外科医は、第１及び第２のディスプレイ３１３２、３１３４上の内視鏡３１０２及び腹腔鏡３１０４の両方からのリアルタイム場面にアクセスすることができる一方で、第３のディスプレイ３１３６上のマージされた画像にもアクセスすることができる。
【0214】
上述したように、内視鏡３１０２は、第１の光学センサ３１０６を含む。第１の光学センサ３１０６は、内視鏡３１０２の視野内の第１の場面の画像データをコントローラ３１３０に伝送するように構成されている。この図示された実施形態では、腫瘍３０４０は内視鏡３１０２の視野内に配置される。その結果、コントローラ３１３０は、伝送された画像データに基づいて、内視鏡３１０２と腫瘍３０４０との間の相対距離を決定することができる。図３８に示すように、内視鏡３１０２と腫瘍３０４０との間の相対距離は、破線矢印３１２７として示されている。いくつかの実施形態では、相対距離３１２７は、（例えば、照明要素３１０８を介して）腫瘍３０４０上に投影され、第１の光学センサ３１０６によって追跡される構造化光を使用することによって決定することができる。更に、いくつかの実施形態では、コントローラ３１３０は、決定された相対距離３１２２（内視鏡３１０２と腹腔鏡３１０４との間）及び決定された相対距離３１２７（内視鏡３１０２と腫瘍３０４０との間）に基づいて、コントローラは、腹腔鏡３１０４と腫瘍３０４０との間の相対距離を計算することができる。
【0215】
加えて、腹腔鏡３１０４は、第２の光学センサ３１１０を含む。第２の光学センサ３１１０は、腹腔鏡３１０４の視野内の第２の場面の画像データをコントローラ３１３０に伝送するように構成されている。第１及び第２の手術器具３１１４、３１１８は、腹腔鏡３１０４の視野内に配置される。その結果、コントローラ３１３０は、伝送された画像データに基づいて、腹腔鏡３１０４と第１及び第２の手術器具３１１４、３１１８の各々との間の相対距離を決定することができる。特定の実施形態では、コントローラ３１３０はまた、腹腔鏡３１０４と第１及び第２の手術器具３１１４、３１１８の各々との間の相対的な向きを決定するように構成され得る。
【0216】
図３８に示されるように、腹腔鏡３１０４と第１の手術器具３１１４との間の相対距離は、破線矢印３１２５として示され、腹腔鏡３１０４と第２の手術器具３１１８との間の相対距離は、破線矢印３１２６として示される。いくつかの実施形態では、相対距離３１２５、３１２６は、（例えば、照明要素３１１２によって）手術器具３１１４、３１１８上に投影され、第２の光学センサ３１１０によって追跡される構造化光を使用することによって決定され得る。
【0217】
相対距離３１２２（内視鏡３１０２と腹腔鏡３１０４との間）、相対距離３１２５（腹腔鏡３１０４と第１の手術器具３１１４との間）、３１２６（腹腔鏡３１０４と第２の手術器具３１１８との間）、３１２７（内視鏡３１０２と腫瘍３０４０との間）に基づいて、コントローラ３１３０は、例えば、内視鏡３１０２と第１の手術器具３１１４及び第２の手術器具３１１８の各々との間の相対距離、腫瘍３０４０と第１の手術器具３１１４及び第２の手術器具３１１８の各々との間の相対距離などを決定することができる。図３８に示されるように、内視鏡３１０２から第１の手術器具３１１４までの相対距離は破線矢印３１２３として示され、内視鏡３１０２から第２の手術器具３１１８までの相対距離は破線矢印３１２４として示され、腫瘍３０４０から第２の手術器具３１１８までの相対距離は破線矢印３１２８として示される。決定された相対距離３１２３、３１２４、３１２８、及び（例えば、第１の場面、第２の場面、又は両方の）伝送された画像データに基づいて、コントローラは、第１のディスプレイ３１３２、第２のディスプレイ３１３４、又は両方に投影されるマージされた画像を作成することができる。器具セットの各々の対応するカメラからの直接撮像が存在するため、また、システムは、器具をスキャンして手術ハブ内に取り込まれるか、又は何らかの形態で識別されて、デバイスとの相互作用のためのシステムのセットアップを可能にするために使用中のデバイス（例えば、把持具、カッター）の正確なタイプを決定することができるため、システムは、器具の各々の３Ｄモデル再現を作成することができる。測定された相対距離又は少なくとも１つの結合された３Ｄ軸位置合わせを用いて、システムは、遮られたカメラからデバイスを表示し、それらの位置、向き、及び状態をリアルタイムで示すために必要な方法でそれらを反転させることができる。これらの３Ｄモデルは、遮蔽された協調画像を撮影しているカメラから直接画像化された詳細を用いて修正することさえできる。
【0218】
更に、特定の実施形態では、コントローラは、内視鏡３１０２と腹腔鏡３１０４との間の相対的な向き、内視鏡３１０２に対する及び／又は腫瘍３０４０に対する第１の器具３１１４及び／又は第２の器具３１１８などを決定することもできる。決定された相対的な向き及び伝送された画像データ（例えば、第１の場面、第２の場面、又はその両方の）に基づいて、マージされた画像は、内視鏡３１０２、腹腔鏡３１０４、第１の手術器具３１１４、第２の手術器具３１１８、及び腫瘍３０４０のうちの１つ以上の位置だけでなく向きも示すことができる。上述したように、代替ビューを見ることができないシステムの画像に重ね合わせることができる器具の完全に生成された３Ｄモデルを作成する手段。代表的描写は生成された画像であるため、画像の様々な特性（例えば、透明度、色）を操作して、システムがリアルタイム可視化ビデオフィード内ではなく、他のビューからの構成物として明確に示されるようにすることもできる。ユーザが撮像システム間で切り替える場合、反対側のビューもまた、構成された器具をその視野内に有することができる。いくつかの実施形態では、これらのオーバーレイを生成する別の方法がある。遮られた画像は、そのストリーム内の器具を周囲の解剖学的構造から分離し、画像を反転させて既知の共通軸点に位置合わせし、次いで遮られたビューのライブ画像を遮られていないビューのカメラ表示フィードに単に重ね合わせることができる。上記の他の代表的描写と同様に、代替オーバーレイは、混乱を低減するために、ユーザがオーバーレイされたビューから直接撮像されたビューを見分けることができることを保証するように、陰影付け、半透明化、又は他の方法で修正することができる。これは、解剖学的構造の重要な側面（例えば、一方のカメラによって見ることができるが、他方からは見ることができない腫瘍）でも行うことができる。システムは、カメラ間の共通基準を利用し、目印、目的の点、又は主要な外科的解剖学的側面を表示し、更にはそれを強調表示して、遮られた主要側面のアプローチからでさえ、より良好なアプローチ及び相互作用を可能にすることができる。
【0219】
図３９は、マージされた画像の代表的な実施形態を示す。マージされた画像は、内視鏡３１０２の視野内のリアルタイムの第１の場面を、胃の腹腔鏡側の一部（例えば、血管３０６４、腹腔鏡３１０４、並びに／又は第１及び第２の手術器具３１１４、３１１８）のオーバーレイされた代表的描写と共に示す。当業者であれば、本明細書で使用される「代表的描写」という語句は、カメラからの実際の描写上の仮想オーバーレイを指し、仮想オーバーレイは、カメラの視野内に配置されているが、カメラと物体との間に配置されている障害物のためにカメラには写らない物体の位置及び向きに対応すること、本明細書で使用される「実際の描写」という語句は、カメラからの修正されていないリアルタイム画像又はビデオストリームを指すことを理解するであろう。決定された相対距離３１２２、３１２３、３１２４と組み合わせた第１の場面の伝送された画像データに基づいて、コントローラ３１３０は、内視鏡３１０２の視点からマージされた画像を提供することができ、腹腔鏡３１０４及び手術器具３１１４、３１１８は、リアルタイムの管腔外空間でそれらの位置に対応する代表的描写として示される。図示される実施形態では、代表的描写は、対応する血管３０６４、腹腔鏡３１０４、及び手術器具３１１４、３１１８の破線の輪郭で示される。しかしながら、管腔内空間内の見えない器具及び解剖学的構造を表すための単純な幾何学的形状など、他の形態の代表的描写を使用することができる。
【0220】
代替的又は追加的に、コントローラ３１３０は、腹腔鏡３１０４の視点からマージされた画像を生成することができる。例えば、図４０では、マージされた画像は、腹腔鏡３１０４の視野内のリアルタイムの第２の場面と、胃の内視鏡側の一部のオーバーレイされた代表的描写（例えば、腫瘍３０４０及び／又は内視鏡３１０２）とを示す。決定されたものと組み合わせた第２の場面の伝送された画像データに基づいて、コントローラ３１３０は、腹腔鏡３１０４の視点からマージされた画像を提供することができ、内視鏡３１０２及び腫瘍３０４０は、リアルタイムの管腔内空間でそれらの位置に対応する代表的描写として示される。図示される実施形態では、代表的描写は、対応する腫瘍３０４０及び内視鏡３１０２の破線の輪郭で示されている。しかしながら、管腔内空間内の見えない器具及び解剖学的構造を表すための単純な幾何学的形状など、他の形態の代表的描写を使用することができる。
【0221】
いくつかの実施形態では、手術器具と隣接する手術器具との内部相互作用及び外部相互作用の両方を撮像するために、相互接続された手術器具の内部部分及び外部部分の監視を行うことができる。特定の実施形態では、手術器具は、身体の外側に関節運動作動システムを含む。加えて、手術器具は、ロボットシステムの電気機械的アームに結合されるように構成され得る。追跡装置を使用して、内部器具が接触していない場合であっても、異なる器具のロボットアームが体外で互いに確実に接触しないようにすることができる。このシステムを使用して、同じ器具の体内及び体外の態様を監視することによって、腹腔鏡下で配置された器具の意図された相互作用を制御し、不注意な相互作用を防止することができる。
【0222】
他の実施形態では、手術器具の部分の内部ビュー及び外部ビューの協調は、２つの別個の撮像システムによって達成することができる。これは、複数の手術器具の外部相互作用の監視と同時に、それらの同じ手術器具の内部相互作用を制御及び追跡を可能にする。システムは、手術器具間の意図しない外部相互作用を最小限に抑えると同時に、同じ手術器具の内部操作の包囲を改善することができる。
【0223】
今後の手術処置工程の可視化のための器具制御撮像システム
本明細書で提供される多光源撮像のためのデバイス、システム、及び方法は、特定の手術のための処置計画に基づいて器具の協調を可能にする協調的手術可視化を可能にする。概して、本発明の手術システムは、管腔内解剖学的空間及び管腔外解剖学的空間の両方の画像を提供し、これらの画像に基づいて、内視鏡下で実施される特定の手術工程を、腹腔鏡下で実施される後続工程において既知の手術部位と協調させることができる、又はその逆である、マージされた画像を提供する。
本明細書で提供される多光源撮像のためのデバイス、システム、及び方法は、特定の手術のための処置計画に基づいて器具の協調を可能にする協調的手術可視化を可能にする。概して、本発明の手術システムは、管腔内解剖学的空間及び管腔外解剖学的空間の両方の画像を提供し、これらの画像に基づいて、内視鏡下で実施される特定の手術工程を、腹腔鏡下で実施される後続工程において既知の手術部位と協調させることができる、又はその逆である、マージされた画像を提供する。
【0224】
手術処置においては、手術が進行するにつれて外科医が従う対応する処置計画がある。処置計画における工程は、胃から腫瘍を除去するなど所望の結果を達成するために、直線的に実行することができる。処置計画を通して、以下のいくつかの工程が事前に知られている。（ｉ）腫瘍を、胃の内部組織壁から部分的に切除しなければならない。（ｉｉ）胃を直立の向きに維持して胃酸が漏れるのを防止するために、胃をひっくり返して腹腔鏡側から腫瘍にアクセスしなければならない。（ｉｉｉ）腫瘍にアクセスするために腹腔鏡下で切開しなければならない。これらの情報は、２つの異なる切開を胃に作る必要があり、１つは腫瘍を部分的に除去するためであり、１つは腫瘍にアクセスするために胃壁に開口部を作るためであることを示唆している。２つの別個の切開を比較的同じ位置で行わなければならないというこの知見に基づいて、アルゴリズムは、切開が可能な限り小さく、有効に行われるように、第２の切開を第１の切開と整合させるため、第１及び第２の切開をどこに位置すべきかを計算することができる。
【0225】
１つの例示的な実施形態では、手術システムは、天然の体腔又は器官にエネルギーを印加するように構成されたエネルギー印加手術器具と、その視野内の第１の場面の画像データを伝送するように構成された第１のスコープ装置と、その視野内の第２の場面の画像データを伝送するように構成された第２のスコープ装置と、第１の場面及び第２の場面の伝送された画像データを受信し、第１の場面及び第２の場面のマージされた画像を提供するように構成されたコントローラと、を備えることができる。結果として、マージされた画像は、手術部位の２つの別個の視点を提供し、医師が、手術部位における後続の処置工程において、手術部位における組織壁の外面上の第２の器具の意図された相互作用場所に対する、組織壁の内面に印加されるエネルギーの場所を協調することを可能にする。
【0226】
コントローラは、第１の場面及び第２の場面のマージされた画像を生成するように構成されている。コントローラは、第１の撮像システム及び第２の撮像システムの各々から実際の描写を受信する。実際の描写は、スコープ装置の各々に取り付けられた撮像システムの各々がリアルタイムで写しているものの写真又はライブビデオフィードであり得る。第１の場面及び第２の場面の各々は、他の撮像システムによって写せない特定の重要な構造を示す。例えば、内視鏡下で配置された第１の撮像システムは、その視野内に腫瘍及びエネルギー印加手術器具を有することができる。更に、第２の撮像システムは、その視野内に配置された腹腔鏡器具を含むことができる。更に、より詳細に論じられるように、マージされた画像は、手術部位における後続の処置工程において、手術部位における組織壁の外面上の第２の器具の意図された相互作用場所に対する、エネルギー印加手術器具によって組織壁の内面に印加されるエネルギーの場所の協調を容易にする。
【0227】
いくつかの実施形態では、システムは、「既知の」点を結合する必要がある。これらの既知の点は、固定された側面（例えば、固定された予測可能なシステム上にあるため、器具又はスコープ特徴部）又はリンクされた解剖学的ランドマーク（例えば、両方のシステムから直接見ることができる既知の解剖学的括約筋、靭帯、動脈）のいずれかである可能性が高い。腫瘍は、撮像システムのうちの１つにおいて可視であるか又は部分的に可視である可能性が高い。中空器官の手術では、組織壁は通常薄く、腫瘍は器官の少なくとも一方の側の表面にある。例は肺がんであろう。肺がんにおいて、腫瘍は、切開された実質（すなわち、腹腔鏡側から）又は気管支壁（すなわち、内視鏡的アプローチから）のいずれかに存在する。次いで、システムに必要であるのは、腫瘍を写せる側から写せない撮像システムに腫瘍を重ねるために、３Ｄ空間において一方のスコープを他方のスコープに対して識別するか、又は両方のスコープが異なる視点から写すことができる解剖学的ランドマークを識別するかのみである。
【0228】
第１のスコープ装置は、天然の体腔及び器官（例えば、肺、胃、結腸、又は小腸）のうちの少なくとも１つの内部に少なくとも部分的に配置されるように構成されており、第２のスコープ装置は、天然の体腔及び器官のうちの少なくとも１つの外側に少なくとも部分的に配置されるように構成されている。特定の実施形態では、第１のスコープ装置は内視鏡であり、第２のスコープ装置は腹腔鏡である。天然の体腔又は器官は、任意の適切な天然の体腔又は器官であり得る。非限定的な例としては、胃、肺、結腸、又は小腸が挙げられる。
【0229】
例示的な外科用システムは、本明細書で説明され、図面に示すように、様々な特徴を備え得る。しかしながら、外科用システムは、これらの特徴の一部のみを有してもよく、かつ／又は当該技術分野では周知の様々な他の特徴を有してもよいことは当業者には認識されるところであろう。本明細書に述べられる外科用システムは、特定の代表的な実施形態を代表することを意図したものに過ぎない。更に、手術システムは、胃に関連して示され、説明されるが、当業者は、これらの手術システムが、任意の他の適切な天然の体腔又は器官に関連して使用され得ることを理解する。
【0230】
図４１及び図４２は、胃３０００への管腔内アクセス及び腹腔鏡アクセスのために構成された手術システム３１００の例示的な実施形態を示す。以下に詳細に記載される相違点以外に、手術システム３２００は、手術システム３１００（図３７及び図３８）と同様であってよく、したがって、共通の特徴は本明細書で詳細には説明しない。簡略化のために、手術システム３２００及び胃３０００の特定の構成要素は図示されていない。
【0231】
示されるように、胃３０００は、食道括約筋３００１、大弯３００２、小弯３００３、幽門括約筋３００４、十二指腸３００５、及び十二指腸空腸屈曲３００６を含む。加えて、胃は、内側組織壁３００７及び外側組織壁３００８を含む。示されるように、胃３０００は、大弯３００２上に配置された腫瘍３０４０を含む。胃３０００を手術するとき、腫瘍３０４０に適切にアクセスするために、血管３０６４を、腹腔鏡下で配置された器具を使用して操作する（例えば、動かす）必要があり得る。使用時には、以下でより詳細に説明するように、手術システム３２００は、後続の処置工程におけるエネルギー印加及び切開を協調し、可視化できるように、マージされた画像を提供することができる。
【0232】
手術システム３２００は、食道３００９を通して胃３０００内への管腔内アクセスのために構成されている、内視鏡３２０２を含む。内視鏡３２０２は、様々な構成を有することができる。例えば、この図示された実施形態では、内視鏡３２０２は、光学センサ３２０６（例えば、カメラ）及び照明要素３２０８を含む。更に、内視鏡３２０２は、内視鏡３２０２の長さに沿って配置された作業チャネル３２０３を含む。作業チャネル３２０３は、１つ以上の手術器具を受容するように、及び／又は管腔又は器官（例えば、胃）に通気するための流体が通過することを可能にするように構成されている。いくつかの実施形態では、内視鏡３２０２は、患者の口（図示せず）を通して食道３００９に挿入されるように構成された外側スリーブ（図示せず）を含むことができる。外側スリーブは、内視鏡３２０２が外側スリーブを通して挿入され、胃３０００にアクセスすることを可能にするように構成された作業チャネルを含むことができる。
【0233】
手術システム３２００はまた、腹壁（図示せず）を通して胃３０００に隣接する管腔外解剖学的空間内への腹腔鏡アクセスのために構成されている、腹腔鏡３２０４を含む。腹腔鏡３２０４は、様々な構成を有することができる。例えば、この図示された実施形態では、腹腔鏡３２０４は、光学センサ３２１０（例えば、カメラ）及び照明要素３２１２を含む。代替的又は追加的に、腹腔鏡３２０４は、腹腔鏡３２０４の長さに沿って配置された作業チャネル（図示せず）を含み、器具を腹腔鏡下で管腔外解剖学的空間に通すことができる。いくつかの実施形態では、腹腔鏡３２０４は、組織壁内及び組織壁を通して位置付けられるトロカール又はマルチポート（図示せず）を通して、管腔外解剖学的空間内に挿入できる。トロカール又はマルチポートは、腹腔鏡３２０４及び／又は他の手術器具を管腔外解剖学的空間内に通して胃３０００にアクセスするためのポートを含むことができる。
【0234】
図４１及び図４２に示すように、手術システム３２００は、内視鏡３２０２の作業チャネル３２０３を通過して胃３０００内に入るエネルギー印加手術器具３２４０を含む。エネルギー印加手術器具は様々な構成を有することができるが、この図示された実施形態では、エネルギー印加手術器具３２４０は、その遠位端にブレード３２４２を含む。ブレード３２４２は、様々な構成を有することができる。例えば、いくつかの実施形態では、ブレードは、単極ＲＦブレード又は超音波ブレードの形態であり得る。本発明のシステムと共に使用できるエネルギー印加手術器具の例示的な実施形態は、米国特許第１０，８５６，９２８号に更に記載されており、その全体が参照により本明細書に組み込まれる。ＧＥＭブレードは、Ｍｅｇａｄｙｎｅのスマート単極ブレードである。これは、高度な双極又はスマート超音波制御と同様に、組織を検知し、タスクのために必要な適切なＲＦエネルギーを印加することができる高度な単極ブレードである。当業者であれば、エンドエフェクタを含む手術器具のタイプ及び手術器具の構造的構成は、少なくとも手術部位及び実行される手術処置に依存することを理解するであろう。
【0235】
図４１に更に示すように、エネルギー印加手術器具３２０２は、力センサ３２０９を含む（例えば、力センサ３２０９は、器具３２０２の１つ以上のモータ（図示せず）又は器具３２０２に結合されたロボットアーム（図示せず）に結合され得る）。使用中、力センサ３２０９は、ブレード３２４２が組織を通って移動する（例えば、切断する）際に、ブレード３２４２によって胃３０００の組織に加えられている力の量を検知するように構成されている。力センサ３２０９は、力データを手術システム３２００のコントローラ３２３０に送信するように更に構成されている。コントローラ３２３０は、受信したフィードバック入力（例えば、力データ）を集約し、任意の必要な計算を実行し、出力データを提供して、行われる必要があり得る任意の調整（例えば、電力レベル、前進速度などの調整）を行うことができる。力センサ３２０９及びコントローラ３２３０に関する更なる詳細は、前述の米国特許第１０，８５６，９２８号に更に記載されており、その全体が参照により本明細書に組み込まれる。いくつかの実施形態では、力センサ３２０９は省略可能である。
【0236】
代替的又は追加的に、コントローラ３２３０は、内視鏡３２０２及び／又は腹腔鏡３２０４のいずれかから伝送された画像データに基づいて、胃３０の組織内のエネルギー印加手術器具３２４０のブレード３２４２の挿入深さを計算するように構成されている。例えば、胃壁の内視鏡による切開中、腹腔鏡３２０４の光学センサ３２０６は、胃の外側から切開部位を監視することができる。コントローラ３２３０に伝送されるこの画像データに基づいて、コントローラ３２３０は、ブレード３２４２の深さを決定することができる。これにより、漏れをもたらし得る不注意な全厚貫通を防止することができる。更に、腹腔鏡３２０４はまた、エネルギー印加手術器具が作動する切開部位における胃の熱（ＩＲ波長を介して）及び付随的熱損傷（組織屈折度及び構成）を監視することができる。この腹腔鏡下の熱及び溶接監視を使用して、胃組織への不必要な損傷を更に防止することができる（例えば、エネルギー印加手術器具への電力調整のきっかけに役立つ）。組織への不要な損傷を防ぐための手術システムにおける熱及び溶接監視の様々な実施形態は、例えば、２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ， Ｓｙｓｔｅｍｓ， Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃｏｎｔｒｏｌ Ｏｆ Ｏｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｗｉｔｈ Ａｎｏｔｈｅｒ」と題する米国特許出願第６３／２４９，６５８号で更に論じられている。
【0237】
手術システム３２００は、第１及び第２の手術器具３２１４、３２１８を含み、これらはそれぞれ、腹壁を通して胃３０００を取り囲む管腔外解剖学的空間内への腹腔鏡アクセスのために構成されている。第１及び第２の手術器具３１１４、３１１８は、様々な構成を有することができる。例えば、この例示的な実施形態では、第１及び第２の手術器具３１１４、３１１８はそれぞれ、腹腔鏡側から胃３０００を操作するように構成された一対のジョー３１１６、３１２０をそれぞれ含む。２つの手術器具３１１４、３１１８が図示されているが、他の実施形態では、手術システム３１００は、１つの手術器具又は３つ以上の手術器具を含むことができる。いくつかの実施形態では、第１及び第２の手術器具３１１４、３１１８は、腹腔鏡３１０４がそれを通して位置付けられる同一のトロカール及び／又はマルチポートデバイスのポートを通過することができる。
【0238】
上述したように、内視鏡３２０２は、第１の光学センサ３２０６を含む。第１の光学センサ３１０６は、内視鏡３１０２の視野内の第１の場面の画像データをコントローラ３１３０に伝送するように構成されている。この図示された実施形態では、腫瘍３０４０は内視鏡３１０２の視野内に配置される。図４１に示されるように、エネルギー印加手術器具３２４０は、内視鏡３２０２の作業チャネルの中に挿入され、ブレード３２４２は、腫瘍３０４０に向かって前進する。従来の手術システムでは、外科医は、内視鏡の場面のみに基づいてブレード３２４２を使用して腫瘍３０４０を部分的に除去し、次いで、胃壁の切開部を通して腹腔鏡下で腫瘍３０４０を除去するために、部分的な胃の反転を盲目的に（例えば、腹腔鏡の場面のみを使用して）実施することに進むであろう。外科医は、内視鏡下及び腹腔鏡下の切開を正確に協調させることができず、代わりに、胃の反転の間に腫瘍がある場所を見積もり、必要とされるよりも多くの組織を除去する不正確な切開に至る可能性がある。しかしながら、本発明のシステム３２００では、内視鏡３２０２及び腹腔鏡３２０４の両方が、管腔内解剖学的空間及び管腔外解剖学的空間の両方から手術部位の画像データを提供することができるため、切開縁（例えば、腫瘍を部分的に除去するために、エネルギー印加手術器具３２４０がエネルギーを印加しようとする場所）を、第２の切開（例えば、胃から腫瘍３２４０を除去又は分離するために、後続の処置工程において腹腔鏡下切断が行われる場所）と協調させることができる。
【0239】
手術システム３２００はまた、内視鏡３２０２及び腹腔鏡３２０４に通信可能に結合されたコントローラ３２３０を含む。コントローラ３２３０は、第１及び第２の光学センサ３２０６、３２１０から伝送された第１の場面及び第２の場面の画像データを受信し、第１の場面及び第２の場面のマージされた画像を提供するように構成されている。このマージされた画像は、手術部位３２４５での後続の処置工程における胃の外側組織壁３０５８上の第２の器具（例えば、図４３のエンドエフェクタ３２５０を有する切断器具３２４８）の意図された相互作用場所に対する、手術部位３２４５において胃の内側組織壁３０５７にエネルギー印加手術器具３２４０によって印加されるエネルギーの場所の協調を容易にする。
【0240】
コントローラ３２３０は、マージされた画像をディスプレイに、例えば、手術システム３２００の第１のディスプレイ３２３２、第２のディスプレイ３２３４、その両方に提供するように構成されている。第１及び第２のディスプレイ３２３２、３２３４は、様々な形態で構成され得る。例えば、いくつかの実施形態では、第１のディスプレイは、第１の場面を表示するように構成され得、第２のディスプレイは、第２の場面を表示するように構成され得、第１のディスプレイ、第２のディスプレイ、又は両方は、マージされた画像を表示するように更に構成され得る。別の実施形態では、手術システム３２００は、マージされた画像を表示するために使用され得る第３のディスプレイを含むことができ、第１及び第２のディスプレイ３２３２、３２３４は、それぞれ、第１及び第２の光学センサ３２０６、３２１０から伝送された画像データを、いかなる修正も伴わずに示すためだけに使用される。この実施形態では、外科医は、第１及び第２のディスプレイ３２３２、３２３４上の内視鏡３２０２及び腹腔鏡３２０４の両方からのリアルタイム場面にアクセスすることができる一方で、第３のディスプレイ３２３６上のマージされた画像にもアクセスすることができる。
【0241】
図４１ａに図示されるように、ディスプレイ３２３２は、内視鏡３２０２からの場面を描写し、光学センサ３２０６は、その視野内に、腫瘍３０４０、エネルギー印加手術器具３２４０、及びブレード３２４２を有する。処置計画の後続の工程に基づいて、コントローラ３２３０は、マージされた画像を提供することができ、開始場所３２４４ａ及び終了場所３２４４ｂを含む第１の相互作用場所３２４４が、エネルギー印加手術器具３２４０の意図される相互作用場所の表現として腫瘍３０４０に関連して描写される。開始場所３２４４ａは、胃３０００の内部組織壁３００７から腫瘍３０４０を部分的に除去するための切開の開始点に対応し、終了場所３２４４ｂは、開始場所３２４４ａで開始された切開の終了点に対応する。したがって、外科医は、後続の処置工程に基づいて、切開を開始及び終了すべき場所を可視化することができるであろう。いくつかの実施形態では、後続の工程のうちの１つ以上は、処置計画に基づく。特定の実施形態では、後続の処置工程のうちの１つ以上は、既に実行された処置計画に対する実際の手術工程に基づいて調整することができる（例えば、手術処置中のユーザアクションに基づいて再計算されたＧＰＳマップの目的方向）。いくつかの実施形態では、血管３０６４及び手術器具３２１６、３２２０を、図３９のマージされた画像と同様に、マージされた画像内で代表的描写として示すことができる。
【0242】
図４２に示すように、エネルギー印加後、手術器具を使用して、腫瘍３０４０の周囲の組織にブレード３２４２を適用することによって、胃の内側組織壁３００７から腫瘍３０４０を部分的に除去する。図４２ａに示されるように、ブレード３２４２は、第１の相互作用場所３２４４ａから第２の相互作用場所３２４４ｂまで横断する。ブレード３２４２が第２の相互作用場所３２４４ｂに到達すると、エネルギー印加は、腫瘍３０４０を内側組織壁３００７から完全に除去しないように終了される。
【0243】
上述したように、手術システム３２００はまた、内視鏡３２０２及び腹腔鏡３２０４に通信可能に結合されたコントローラ３２３０を含み、第１及び第２の光学センサ３２０６、３２１０のそれぞれ第１の場面及び第２の場面の伝送された画像データを受信するように構成されている。コントローラ３２３０はまた、追跡装置３１０９、３１１３と同様に、内視鏡及び腹腔鏡内に配置された第１及び第２の追跡装置３２５２、３２５４に通信可能に結合され、第１及び第２の追跡装置からそれぞれ伝送された信号を受信するように構成されている。受信すると、コントローラ３２３０は、少なくとも内視鏡３２０２と腹腔鏡３２０４との間の相対距離を決定するように構成されている。特定の実施形態では、コントローラ３２３０はまた、内視鏡３２０２と腹腔鏡３２０４との間の相対的向きを決定するように構成され得る。
【0244】
いくつかの実施形態では、第１及び第２の追跡装置３２５２、３２５４は、それぞれ、（例えば、内視鏡３２０２及び腹腔鏡３２０４が胃３０００の組織壁の両側に位置付けられるとき）内視鏡３２０２及び腹腔鏡３２０４の場所、向き、又はその両方を検出するために、磁気又は無線周波数検知を使用するように構成されている。あるいは、第１及び第２の追跡装置３２５２、３２５４は、それぞれ、（例えば、内視鏡３２０２及び腹腔鏡３２０４が胃３０００の組織壁の両側に位置付けられるとき）内視鏡３２０２及び腹腔鏡３２０４の場所、向き、又はその両方を検出するために、共通の解剖学的目印を使用するように構成されている。第１及び第２の追跡装置３２５２、３２５４はそれぞれ、信号をコントローラ（コントローラ３２３０など）に伝送することができる。磁気基準マーカ、及び場所を検出する際に磁気基準マーカを使用する種々の実施形態は、例えば、２０２１年９月２９日出願の「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃｏｎｔｒｏｌ Ｏｆ Ｏｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｗｉｔｈ Ａｎｏｔｈｅｒ」と題された米国特許出願第６３／２４９，６５８号で更に論じられている。
【0245】
図４３に示すように、内視鏡３２０２と腹腔鏡３２０４との間の相対距離は、破線矢印３２２２として示されている。伝送された画像データと内視鏡３２０２と腹腔鏡３２０４との間の相対距離との両方に基づいて、コントローラ３２３０は、マージされた画像をディスプレイに、例えば、手術システム３２００の第１のディスプレイ３２３２、第２のディスプレイ３２３４、又はその両方に提供するように構成されている。マージされた画像において、内視鏡３２０２及び腹腔鏡３２０４のうちの少なくとも１つは、その代表的描写である。
【0246】
上述したように、内視鏡３２０２は、第１の光学センサ３２０６を含む。第１の光学センサ３２０６は、内視鏡３２０２の視野内の第１の場面の画像データをコントローラ３２３０に伝送するように構成されている。この図示された実施形態では、腫瘍３０４０は内視鏡３２０２の視野内に配置される。その結果、コントローラ３２３０は、伝送された画像データに基づいて、内視鏡３２０２と腫瘍３０４０との間の相対距離を決定することができる。図４３に示すように、内視鏡３２０２と腫瘍３０４０との間の相対距離は、破線矢印３２２７として示されている。いくつかの実施形態では、相対距離３２２７は、（例えば、照明要素３２０８を介して）腫瘍３０４０上に投影され、第１の光学センサ３２０６によって追跡される構造化光を使用することによって決定することができる。更に、いくつかの実施形態では、コントローラ３２３０は、決定された相対距離３２２２（内視鏡３２０２と腹腔鏡３２０４との間）及び決定された相対距離３２２７（内視鏡３２０２と腫瘍３０４０との間）に基、づいて、コントローラは、腹腔鏡３２０４と腫瘍３０４０との間の相対距離を計算することができる。
【0247】
加えて、腹腔鏡３２０４は、第２の光学センサ３２１０を含む。第２の光学センサ３２１０は、腹腔鏡３２０４の視野内の第２の場面の画像データをコントローラ３２３０に伝送するように構成されている。切断器具３２４８は、腹腔鏡３２０４の視野内に配置される。その結果、コントローラ３２３０は、伝送された画像データに基づいて、腹腔鏡３２０４と切断器具３２４８との間の相対距離を決定することができる。特定の実施形態では、コントローラ３２３０はまた、腹腔鏡３２０４と切断器具３２４８との間の相対的向きを決定するように構成され得る。
【0248】
図４３に示すように、腹腔鏡３２０４と切断器具３２４８との間の相対距離は、破線矢印３２２５として示されている。いくつかの実施形態では、相対距離３２２５は、（例えば、照明要素３２１２によって）切断器具３２４８上に投影され、第２の光学センサ３２１０によって追跡される構造化光を使用することによって決定され得る。
【0249】
相対距離３２２２（内視鏡３２０２と腹腔鏡３２０４との間）、相対距離３２２５（腹腔鏡３２０４と切断器具３２４８との間）、及び相対距離３２２７（内視鏡３２０２と腫瘍３０４０との間）に基づいて、コントローラ３２３０は、例えば、腫瘍３０４０と切断器具３２４８との間の相対距離、及び切断器具３２４８の切断面を決定することができる。図４３に示すように、腫瘍３０４０から切断器具３２４８までの相対距離は、破線矢印３２２３として示されている。決定された相対距離３２２３、及び（例えば、第１の場面、第２の場面、又は両方の）伝送された画像データに基づいて、コントローラは、第１のディスプレイ３２３２、第２のディスプレイ３２３４、又は両方に投影されるマージされた画像を作成することができる。器具セットの各々の対応するカメラからの直接撮像が存在するため、また、システムは、器具をスキャンして手術ハブ内に取り込まれるか、又は何らかの形態で識別されて、デバイスとの相互作用のためのシステムのセットアップを可能にするために使用中のデバイス（例えば、把持具、カッター）の正確なタイプを決定することができるため、システムは、器具の各々の３Ｄモデル再現を作成することができる。測定された相対距離又は少なくとも１つの結合された３Ｄ軸位置合わせを用いて、システムは、遮られたカメラからデバイスを表示し、それらの位置、向き、及び状態をリアルタイムで示すために必要な方法でそれらを反転させることができる。これらの３Ｄモデルは、遮蔽された協調画像を撮影しているカメラから直接画像化された詳細を用いて修正することさえできる。
【0250】
図４３ａに示されるように、第１の相互作用場所３２４４が第２の相互作用場所３２４６に隣接するように、第１の相互作用場所３２４４の場所を第２の相互作用場所３２４６の位置と協調させる。コントローラ３２３０は、ディスプレイ３２３４上に示されるマージされた画像を提供することができ、第２の相互作用場所３２４６が、手術器具３２１８の意図された相互作用場所の表現として腫瘍３０４０及び第１の相互作用場所３２４４に関連して示される。この図示された実施形態では、第２の相互作用場所３２４６は、腫瘍３０４０を胃３０から腹腔鏡下で除去するため、胃の一部が反転された後に胃３０００を開くための切開部に対応する。
【0251】
この第１の相互作用場所３２４４及び第２の相互作用場所３２４６の協調及び整合により、相互作用場所３２４４、３２４６をガイドとして使用して切開部が作成されるとき、胃３０００の周囲組織への損傷が最小限となる。第２の相互作用場所３２４６は、腫瘍が腹腔鏡側から見えなくても、腫瘍３０４０の正確な位置に配置することができる。内視鏡３２０２は、腫瘍を可視化し、コントローラ３２３０と通信することができるためである。図示された実施形態では、相互作用場所３２４４、３２４６は破線の輪郭で示されている。しかしながら、単純な幾何学的形状などの他の形態の代表的描写を使用することができる。
【0252】
いくつかの実施形態では、病変除去の協調は、腹腔鏡用器具又は開創器を介して、外部から支持される方向制御を用いて行われることができる。代替的又は追加的に、病変除去の協調は、内部支持されたバルーン式方向制御閉鎖を用いて行われることができる。例えば、図４４ａに示される内視鏡支持バルーンと組み合わせて、内視鏡下及び腹腔鏡下アプローチを使用する病変除去のために構成されている、手術システム３１５０を提供することができる。これは、管腔内及び管腔外の両方の相互作用動作を有する、代替的な手技である。粘膜下剥離及び分離は結腸内で行われる。全周囲切開が行われる前に切開を停止する。次に、結腸壁を切開し、腫瘍を反転して管腔外空間に出す。エンドカッターは、残存する付着物からの腫瘍の封止／切除と、切開欠損部の閉鎖の両方のためにもたらされる。これは、実際には完全に腔内で行うことができないため、侵襲性及び外傷を最小限にし、腫瘍を封止かつ除去するために行われる。これは、一度に一方の側からのみ見ることができる器官壁の両側の装置及びランドマークからの同様の協調及び相互作用を必要とする。
【0253】
手術システム３１５０は、切断先端部３１５４を有する手術器具３１５２を備える。切断先端部３１５４は、手術器具３１５２の遠位端に配置されている。図４４ａに示すように、最初の粘膜切開部３１５８は、手術器具３１５２によって内視鏡側から結腸３１５１に形成することができる。粘膜切開部３１５８は、病変部３１５６を除去する準備をするために病変部３１５６の周りに形成され、粘膜切開部３１５８は病変部３１５６の周りに部分的にのみ存在する。図４４ｂに示されるように、切開部３１６０は、粘膜切開部３１５８が形成された後、病変３１５６の完全に周囲の結腸３１５１の漿膜筋層に形成することができる。図４４ｃに示されるように、バルーン３１６２、３１６４は、病変３１５６が位置する結腸３１５１の領域の両側に内視鏡下で配置される。図４４ａ及び図４４ｂには示されていないが、バルーン３１６２、３１６４は、粘膜切開部３１５８及び漿膜筋切開部３１６０の形成中に存在し、膨張する。バルーン３１６２、３１６４は、結腸３１５１に張力を提供して、よりきれいな切開を可能にし、また、「クラウン法」による除去中に病変３１５６が結腸３１５１の内容物に接触する可能性を低減する。図４４ｄに示すように、粘膜切開部３１５８及び漿膜筋切開部３１６０により、病変３１５６を、腹腔鏡下で配置された器具３１６６、３１６８によって除去することができる。病変３１５６が除去されると、除去によって残された穴３１７０は、図４４ｅに示されるように、ステープル３１７２によってステープル留めされて閉じられ得る。
【0254】
協調的機器制御システム
上述した手術システムなどの協調した撮像を可能にする手術システムは、手術の特定の工程における器具の協調を含むこともできる。手術システムは、管腔内空間及び管腔外空間の両方の画像を提供することができるため、既知の手術部位との内視鏡及び腹腔鏡の両方の協調を必要とする特定の手術工程を行うことができる。
上述した手術システムなどの協調した撮像を可能にする手術システムは、手術の特定の工程における器具の協調を含むこともできる。手術システムは、管腔内空間及び管腔外空間の両方の画像を提供することができるため、既知の手術部位との内視鏡及び腹腔鏡の両方の協調を必要とする特定の手術工程を行うことができる。
【0255】
手術システムは、組織壁の両側に配置された様々なスコープ及び器具を追跡及び位置特定し、マージされた画像を提供するために使用できる、上述の手術撮像システムを含む。マージされた画像は、各スコープには写らない組織壁の両側に配置された器具及びスコープの向き及び位置を示すため、器具は、組織壁の両側からの器具の動きを協調させるために、組織壁の両側に配置することができる。
【0256】
手術処置において、内視鏡下で配置された器具と腹腔鏡下で配置された器具との間の協調を必要とする手術工程が存在し得る。例えば、胃から腫瘍を除去する手順の間、腫瘍にアクセスするために腹腔鏡下で切開を行わなければならず、次いで、腫瘍を、除去するために管腔内空間から管腔外空間に通されなければならない。しかしながら、内視鏡下で配置された器具と、切開部を通して腫瘍を通過させるために使用される腹腔鏡下器具とは、受け渡しが行われている間、互いを視覚的に確認することができない。しかしながら、内視鏡及び腹腔鏡の撮像システムと組み合わせて、器具が胃壁を通して可視化され得るため、器具を協調させて、切開を通して腫瘍を通過させるように、胃壁の切開と整合させることができる。
【0257】
例示的な一実施形態では、手術システムは、第１の場面の画像データを伝送するように構成された第１のスコープ装置を備え得る。更に、第２のスコープ装置は、第２の場面の画像データを伝送するように構成されており、第１の場面は第２の場面とは異なる。追跡装置は、第１のスコープ装置又は第２のスコープ装置のうちの一方に関連付けられ、第１のスコープ装置又は第２のスコープ装置のうちの一方の、第１のスコープ装置又は第２のスコープ装置のうちの他方に対する位置を示す信号を伝送するように構成されている。第１の手術器具は、標的組織構造の内側と相互作用するように構成されている。第２の手術器具は、標的組織構造の外側と相互作用するように構成されている。コントローラは、伝送された画像データ及び伝送された信号を受信するように構成されている。伝送された信号及び画像データに基づいて、コントローラは、第１のスコープ装置から第２のスコープ装置までの第１の相対距離、第１のスコープ装置から少なくとも１つの天然の体腔及び器官内に位置付けられた第１の手術器具までの第２の相対距離、並びに第２のスコープから少なくとも１つの天然の体腔及び器官の外側に位置付けられた第２の手術器具までの第３の相対距離を決定することができる。器具の相対移動は、決定された相対距離に基づいて協調される。
【0258】
コントローラは、第１の場面及び第２の場面のマージされた画像を生成するように更に構成されている。コントローラは、第１の撮像システム及び第２の撮像システムの各々から実際の描写を受信する。実際の描写は、スコープ装置の各々に取り付けられた撮像システムの各々がリアルタイムで写しているものの写真又はライブビデオフィードであり得る。第１の場面及び第２の場面の各々は、他の撮像システムによって写せない特定の重要な構造を示す。例えば、内視鏡下で配置された第１の撮像システムは、その視野内に腫瘍及び手術器具を有することができる。更に、第２の撮像システムは、その視野内に配置された腹腔鏡器具を含むことができる。更に、より詳細に議論されるように、マージされた画像は、手術部位における内視鏡器具及び腹腔鏡器具の両方の相対運動の協調を容易にする。
【0259】
例示的な外科用システムは、本明細書で説明され、図面に示すように、様々な特徴を備え得る。しかしながら、外科用システムは、これらの特徴の一部のみを有してもよく、かつ／又は当該技術分野では周知の様々な他の特徴を有してもよいことは当業者には認識されるところであろう。本明細書に述べられる外科用システムは、特定の代表的な実施形態を代表することを意図したものに過ぎない。更に、手術システムは、胃に関連して示され、説明されるが、当業者は、これらの手術システムが、任意の他の適切な天然の体腔又は器官に関連して使用され得ることを理解する。
【0260】
図４５は、胃３０００への管腔内アクセス及び腹腔鏡アクセスのために構成された手術システム３３００の例示的な実施形態を示す。以下に詳細に記載される相違点以外に、手術システム３３００は、手術システム３１００（図３７及び図３８）と同様であってよく、したがって、共通の特徴は本明細書で詳細には説明しない。簡略化のために、手術システム３３００及び胃３０００の特定の構成要素は図示されていない。
【0261】
示されるように、胃３０００は、食道括約筋３００１、大弯３００２、小弯３００３、幽門括約筋３００４、十二指腸３００５、及び十二指腸空腸屈曲３００６を含む。加えて、胃は、内側組織壁３００７及び外側組織壁３００８を含む。示されるように、胃３０００は、大弯３００２上に配置された腫瘍３０４０を含む。胃３０００を手術するとき、腫瘍３０４０に適切にアクセスするために、血管３０６４を、腹腔鏡下で配置された器具を使用することなどによって操作する（例えば、動かす）必要があり得る。使用時には、以下でより詳細に説明するように、手術システム３２００は、後続の処置工程におけるエネルギー印加及び切開を協調し、可視化できるように、マージされた画像を提供することができる。
【0262】
手術システム３３００は、食道３００９を通して胃３０００内への管腔内アクセスのために構成されている、内視鏡３３０２を含む。内視鏡３３０２は、様々な構成を有することができる。例えば、この図示された実施形態では、内視鏡３３０２は、光学センサ３３０６（例えば、カメラ）及び照明要素３３０８を含む。更に、内視鏡３３０２は、内視鏡３３０２の長さに沿って配置された作業チャネル３３０３を含む。作業チャネル３３０３は、１つ以上の手術器具を受容するように、及び／又は管腔又は器官（例えば、胃）に通気するための流体が通過することを可能にするように構成されている。いくつかの実施形態では、内視鏡３３０２は、患者の口（図示せず）を通して食道３００９内に挿入されるように構成された外側スリーブ（図示せず）を含むことができる。外側スリーブは、内視鏡３３０２が外側スリーブを通して挿入され、胃３０００にアクセスすることを可能にするように構成された作業チャネルを含むことができる。
【0263】
手術システム３３００はまた、腹壁（図示せず）を通して胃３０００に隣接する管腔外解剖学的空間内への腹腔鏡アクセスのために構成されている、腹腔鏡３３０４を含む。腹腔鏡３３０４は、様々な構成を有することができる。例えば、この図示された実施形態では、腹腔鏡３３０４は、光学センサ３３１０（例えば、カメラ）及び照明要素３３１２を含む。代替的又は追加的に、腹腔鏡３３０４は、腹腔鏡３３０４の長さに沿って配置された作業チャネル（図示せず）を含み、器具を腹腔鏡下で管腔外解剖学的空間に通すことができる。いくつかの実施形態では、腹腔鏡３３０４は、組織壁内及び組織壁を通して位置付けられるトロカール又はマルチポート（図示せず）を通して、管腔外解剖学的空間内に挿入できる。トロカール又はマルチポートは、腹腔鏡３３０４及び／又は他の手術器具を管腔外解剖学的空間内に通して胃３０００にアクセスするためのポートを含むことができる。
【0264】
内視鏡３３０２は、内視鏡３３０２と共に配置された追跡装置３３０９を含む。追跡装置３３０９は、腹腔鏡３３０４に対する内視鏡３３０２の位置を示す信号を伝送するように構成されている。加えて、腹腔鏡３３０４は、腹腔鏡３３０４に関連付けられた追跡装置３３１３を含む。追跡装置３３１３は、内視鏡３３０２に対する腹腔鏡３３０４の位置を示す信号を伝送するように構成されている。いくつかの実施形態では、追跡装置３３０９、３３１３は、胃３０００の組織壁の両側に配置された内視鏡３３０２及び腹腔鏡３３０４の場所及び向きを検出するために、磁気又は無線周波数検知を使用するように構成されている。あるいは、追跡装置３３０９、３３１３は、胃３０００の組織壁の両側に配置された内視鏡３３０２及び腹腔鏡３３０４の場所及び向きを検出するために、共通の解剖学的目印を使用するように構成されている。追跡装置３３０９、３３１３は、破線矢印３３４１によって表される相対距離を決定することができ、内視鏡３３０２及び腹腔鏡３３０４のうちの一方の他方のスコープ装置に対する位置を示す。
【0265】
いくつかの実施形態では、第１及び第２の追跡装置３３０９、３３１３は、それぞれ、（例えば、内視鏡３３０２及び腹腔鏡３３０４が胃３０００の組織壁の両側に位置付けられるとき）内視鏡３３０２及び腹腔鏡３３０４の場所、向き、又はその両方を検出するために、磁気又は無線周波数検知を使用するように構成されている。あるいは、第１及び第２の追跡装置３３０９、３３１３は、それぞれ、（例えば、内視鏡３３０２及び腹腔鏡３３０４が胃３０００の組織壁の両側に位置付けられるとき）内視鏡３３０２及び腹腔鏡３３０４の場所、向き、又はその両方を検出するために、共通の解剖学的目印を使用するように構成されている。第１及び第２の追跡装置３３０９、３３１３はそれぞれ、信号をコントローラ（コントローラ３３３０など）に伝送することができる。磁気基準マーカ、及び場所を検出する際に磁気基準マーカを使用する種々の実施形態は、例えば、２０２１年９月２９日出願の「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃｏｎｔｒｏｌ Ｏｆ Ｏｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｗｉｔｈ Ａｎｏｔｈｅｒ」と題された米国特許出願第６３／２４９，６５８号で更に論じられている。
【0266】
図４５に示すように、手術システム３３００は、内視鏡３３０２の作業チャネル３３０３を通過して胃３０００内に入る手術器具３３６０を備える。手術器具は様々な構成を有することができるが、この図示された実施形態では、手術器具３３６０は、その遠位端に把持具３３６２を含む。当業者であれば、エンドエフェクタを含む手術器具のタイプ及び手術器具の構造的構成は、少なくとも手術部位及び実行される手術処置に依存することを理解するであろう。１つの手術器具３３６０のみが図示されているが、他の実施形態では、手術システム３３００は、内視鏡の作業チャネル内に配置された２つ以上の手術器具を含むことができる。
【0267】
図４５に更に示すように、手術器具３３６０は、力センサ３３１９を含む（例えば、力センサ３３１９は、器具３３６０の１つ以上のモータ（図示せず）又は器具３３６０に結合されたロボットアーム（図示せず）に結合され得る）。使用中、力センサ３３１９は、把持具３３６２が組織を操作する際に把持具３３６２によって胃３０００の組織に加えられている力の量を検知するように構成されている。力センサ３３１９は、力データを手術システム３３００のコントローラ３３３０に送信するように更に構成されている。コントローラ３３３０は、受信したフィードバック入力（例えば、力データ）を集約し、任意の必要な計算を実行し、出力データを提供して、行われる必要があり得る任意の調整（例えば、電力レベル、前進速度などの調整）を行うことができる。力センサ３３１９及びコントローラ３３３０に関する更なる詳細は、前述の米国特許第１０，８５６，９２８号に更に記載されており、その全体が参照により本明細書に組み込まれる。いくつかの実施形態では、力センサ３３１９は省略可能である。
【0268】
手術システム３３００は、第１及び第２の手術器具３３１４、３３１８を含み、これらはそれぞれ、腹壁を通して胃３０００を取り囲む管腔外解剖学的空間内への腹腔鏡アクセスのために構成されている。第１及び第２の手術器具３３１４、３３１８は、様々な構成を有することができる。例えば、この図示された実施形態では、手術器具３３１４、３３１８は、それぞれ把持具３３１６、３３２０を含む。２つの手術器具３３１４、３３１８が図示されているが、他の実施形態では、手術システム３３００は、３つ以上の手術器具を含むことができる。手術器具３３１４、３３１８は、腹腔鏡側から胃３０００を操作及び／又は手術するために、腹壁を通して管腔外空間に挿入されるように構成されている。いくつかの実施形態では、第１及び第２の手術器具３３１４、３３１８は、腹腔鏡３３０４がそれを通して位置付けられる同一のトロカール及び／又はマルチポートデバイスのポートを通過することができる。
【0269】
手術器具３３１４は、手術器具３３１４と共に配置された力センサ３３１７を含む。力センサ３３１７は、手術器具３３１４によって標的組織構造に加えられた力を検知するように構成されている。加えて、手術器具３３１８は、手術器具３３１８と共に配置された力センサ３３２１を含む。力センサ３３２１は、手術器具３３１８によって標的組織構造に加えられた力を検知するように構成されている。コントローラ３３３０は、力センサ３３１７、３３２１を介して手術器具３３１４、３３１８のうちの少なくとも１つによって胃３０００に加えられる歪みの量を決定するように更に構成されている。
【0270】
上述したように、内視鏡３３０２は光学センサ３３０６を含む。光学センサ３３０６は、内視鏡３３０２の視野内の第１の場面の画像データをコントローラ３３３０に伝送するように構成されている。図４５に示されるように、手術器具３３４０は、内視鏡３３０２の作業チャネル内に挿入され、腫瘍３０４０に向かって前進する。従来の手術システムでは、外科医は、胃壁の切開部を通して腹腔鏡下で腫瘍３０４０を除去するために、部分的の胃の反転を盲目的に（例えば、腹腔鏡の場面のみを使用して）行うであろう。外科医は、内視鏡器具及び腹腔鏡器具を正確に協調させることができず、代わりに、胃の反転の間に腫瘍及び器具の位置を見積もり、腫瘍の不正確な除去及び必要以上の組織の除去につながる可能性がある。しかしながら、本発明のシステム３３００では、内視鏡３３０２及び腹腔鏡３３０４の両方が、管腔内解剖学的空間及び管腔外解剖学的空間の両方から手術部位の画像データを提供できるため、管腔内空間から管腔外空間への切開を通した腫瘍の受け渡しは、器具の両方のセットの間で協調させることができる。
【0271】
図４５に示されるように、内視鏡３３０２は、相対距離３３４３と、光学センサ３３０６によって検知され、コントローラ３３３０によって決定される手術器具３３６０の場所とに基づいて、腫瘍３０４０及び切開３３４０の場所を決定することができる。いくつかの実施形態では、相対距離３３４３は、腫瘍３０４０及び／又は手術器具３３６０上に投影され、光学センサ３３０６によって追跡される構造化光を使用して決定される。加えて、腹腔鏡３３０４は、光学センサ３３１０を含む。光学センサ３３１０は、腹腔鏡３３０４の視野内の第２の場面の画像データを伝送するように構成されている。手術器具３３１４、３３１８は、腹腔鏡３３０４の視野内に配置される。図４５に示されるように、腹腔鏡３３０４は、光学センサ３３１０によって測定され、コントローラ３３３０によって決定される相対距離３３４４に基づいて、手術器具３３１８の場所を決定することができる。いくつかの実施形態では、相対距離３３４４は、手術器具３３１８上に投影され、光学センサ３３１０によって追跡される構造化光を使用することによって決定される。
【0272】
手術システム３３００はまた、内視鏡３３０２及び腹腔鏡３３０４に通信可能に結合されたコントローラ３３３０を含む。コントローラ３３３０は、光学センサ３３０６、３３１０から伝送された第１の場面及び第２の場面の画像データを受信するように構成されている。コントローラ３３３０はまた、伝送された信号に基づいて、破線矢印３３４１によって表される内視鏡３３０２から腹腔鏡デバイス３３０４までの相対距離、破線矢印３３４２によって表される腫瘍３０４０から手術器具３３１８までの相対距離、破線矢印３３４３によって表される内視鏡３３０２から腫瘍３０４０までの相対距離、及び破線矢印３３４４によって表される腹腔鏡３３０４から少なくとも１つの天然の体腔及び器官の外側に配置された手術器具３３１８までの相対距離を決定するように構成されている。
【0273】
図４６に示すように、決定された相対距離に基づいて、コントローラ３３３０によってマージされた画像が提供され、腹腔鏡３３０４の視野内の場面を描写する一方で、内視鏡３３０２の視野内のみに配置された腫瘍及び手術器具３３６０などの物体の代表的描写もオーバーレイされる。光学センサ３３１０は、その視野内に手術器具３３１４、３３１８及び外側組織壁３００７を有し、腫瘍３０４０、内視鏡３３０２、又は手術器具３３６０を視覚的に検出することができない。
【0274】
コントローラ３３３０は、マージされた画像をディスプレイに提供するように構成されている。ディスプレイは、様々な形態で構成され得る。例えば、いくつかの実施形態では、第１のディスプレイは、第１の場面を表示するように構成され得、第２のディスプレイは、第２の場面を表示するように構成され得、第１のディスプレイ、第２のディスプレイ、又は両方は、マージされた画像を表示するように更に構成され得る。別の実施形態では、手術システム３３００は、マージされた画像を表示するために使用され得る第３のディスプレイを含むことができ、第１及び第２のディスプレイは、それぞれ、第１及び第２の光学センサ３３０６、３３１０から伝送された画像データを、いかなる修正も伴わずに示すためだけに使用される。この実施形態では、外科医は、第１及び第２のディスプレイ上の内視鏡３３０２及び腹腔鏡３３０４の両方からのリアルタイム場面にアクセスすることができる一方で、第３のディスプレイ上のマージされた画像にもアクセスすることができる。
【0275】
コントローラ３３３０によって決定された相対距離３３４１、３３４２、３３４３、３３４４に基づいて、コントローラ３３３０は、腹腔鏡３３０４の視点からのマージされた画像を提供することができ、内視鏡３３０２及び手術器具３３６０は、リアルタイムの管腔内空間でそれらの位置に対応する代表的描写として示される。図示される実施形態では、代表的描写は、内視鏡３３０２及び手術器具３３６０の破線の輪郭で示されている。しかしながら、管腔内空間内の見えない器具及び解剖学的構造を表すための単純な幾何学的形状など、他の形態の代表的描写を使用することができる。マージされた画像を使用することによって、外科医は、胃３０００上で手術するために適切な位置に手術器具を配置することができる。内視鏡３３０２及び手術器具３３６０と共に、統合された画像内に生成された可動化腫瘍３０４０がある状態で、手術器具３３６０を、ユーザによって入力された移動コマンドを通して協調させ、部分的に除去された腫瘍３０４０を胃壁に作られた切開と位置合わせすることができる。また、手術器具３３１８を、ユーザによって入力された移動コマンドを通して協調させ、手術器具３３１８を腹腔鏡側の切開部３３４０と位置合わせすることもできる。したがって、腫瘍３０４０が、管腔内空間から管腔外空間へと手術器具３３６０によって切開部３３４０を少なくとも部分的に通過するとき、手術器具３３１８は、腫瘍３０４０を把持し、胃３０００から腫瘍３０４０を除去するのを助けることができる。
【0276】
使用時に、コントローラ３３３０は、第１の場面及び第２の場面の伝送された画像データと、手術器具が取り付けられたロボットアームによる相対距離３３４１、３３４２、３３４２とに基づいて、標的組織構造（例えば、腫瘍３０４０）における手術器具３３１４及び手術器具３３１８の互いに対する動きを制限するように構成することができる。
【0277】
図４７に示されるように、コントローラ３３３０は、胃３０００に関連付けられた視覚マーカ３３５０、３３５２を使用して、手術器具３３１４、３３１８のうちの少なくとも１つによって胃３０００に加えられる歪みの量を決定するように更に構成されている。視覚マーカ３３５０、３３５２は、胃３０上の１つ以上の局所組織マーキング、胃３０００上の１つ以上の投影光マーキング、又は胃３０００のうちの少なくとも１つの１つ以上の解剖学的側面のうちの少なくとも１つである。視覚マーカ３３５０、３３５２は、内視鏡３３０２の光学センサ３３０６又は腹腔鏡３３０４の光学センサ３３１０によって検出される。使用中、光学センサ３３０６又は光学センサ３３１０は、視覚マーカ３３５０が視覚マーカ３３５２に移行する際に、視覚マーカの動きを検知する。
【0278】
図４８に示されるように、手術システム３４００は、胃３０００の特定の層が確実に損傷されないようにするために切除が内部で行われている間に、胃３０００の外部温度を検知するための光学温度検知法のために使用することができる。以下に詳細に記載される相違点以外に、手術システム３４００は、手術システム３３００（図４５）と同様であってよく、したがって、共通の特徴は本明細書で詳細には説明しない。温度監視法を使用して、エネルギー印加手術器具３４４０によるエネルギーの印加を内視鏡下で制限することができる。例えば、エネルギー印加手術器具３４４０は、内視鏡３４０２を通して内視鏡下で配置される。加えて、腹腔鏡３４０４及び手術器具３４１８は、腹腔鏡下で管腔外空間に配置される。腹腔鏡３４０４は、光学センサ３４１０及び光３４１２を含む。
【0279】
使用時、リンパ節３０８０を除去するために、エネルギー印加手術器具３４４０は、胃３０００の内壁３００７にエネルギーを印加することができる。腹腔鏡下で配置された手術器具３４１８は、リンパ節３０８０を把持するように配置できる。エネルギー印加器具がリンパ節にエネルギーを印加するとき、光学センサ３４１０は、胃３０００の組織の温度を検出し、温度が高くなりすぎた場合、組織損傷を防止するために印加されるエネルギーの量を減少させることができる。
【0280】
いくつかの実施形態では、手術システム３４００は、手術システム３０００と同様に、異なる視点から見る第２のシステムと協調させることによって、１つの撮像アクセスシステムによって制御される中間厚さアブレーション（例えば、熱、電気、又はマイクロ波）の制御のために使用できる。更に、腫瘍を除去した後、内視鏡側からの最終的なアブレーションを使用して、腫瘍部位の周囲の縁を拡大し、がんの完全な除去を確実にすることができる。例えば、がん性腫瘍が食道括約筋に近接している場合、括約筋の維持は、呑酸の発生を防止するために重要であり、したがって、不必要な拡張的切開及び切除を回避するために、可能な限り多くの健康な組織を維持することが有用である。
【0281】
本明細書に開示される手術システムは、１回の使用の後に廃棄されるように設計することができ、又はこれらは複数回使用されるように設計することができる。しかしながら、いずれの場合も、手術システムは、少なくとも１回の使用後に、再使用のために再調整することができる。再調整は、手術システムを分解する工程、続いて特定の部分を清浄又は交換する工程、及びその後の再組み立ての工程の任意の組み合わせを含むことができる。特に、手術システムは分解することができ、手術システムの任意の数の特定の部分又は部品を、任意の組み合わせで選択的に交換又は除去することができる。特定の部品を洗浄及び／又は交換すると、手術システムは、再調整設備において、あるいは手術処置の直前に手術チームによって、後で使用するために再組み立てすることができる。手術システムの再調整が、分解、清浄／交換、及び再組み立てのための様々な技術を利用できることを、当業者は理解されよう。そのような技術の使用と、それにより再調整された器具は、全て本出願の範囲内にある。
【0282】
更に、本開示においては、実施形態の同様の名称の構成要素は概して同様の特徴を有するものであり、したがって、特定の実施形態において、同様の名称の各構成要素の各特徴については必ずしも完全に詳しく述べることはしない。追加的に、開示されるシステム、デバイス、及び方法の説明で直線寸法又は円寸法が使用される限りにおいて、そのような寸法は、そのようなシステム、デバイス、及び方法と組み合わせて使用することができる形状の種類を限定しようとするものではない。当業者には、そのような直線寸法及び円寸法に相当する寸法を、任意の幾何学的形状について容易に判定することができる点が認識されるであろう。システム及びデバイス、並びにその構成要素のサイズ及び形状は、少なくとも、システム及びデバイスが内部で使用される対象の解剖学的構造、システム及びデバイスが使用される構成要素のサイズ及び形状、並びにシステム及びデバイスが使用される方法及び手術に依存し得る。
【0283】
「近位」及び「遠位」という用語は、本明細書では、器具のハンドルを握っている臨床医などのユーザを基準として使用されることが認識されるであろう。「近位」及び「遠位」という用語は、本明細書では、それぞれ、手術器具の上端部（例えば、使用中に手術部位から最も遠い端部）及び下端部（例えば、使用中に手術部位に最も近い端部）に関してそれぞれ使用されることが理解されよう。「前方」及び「後方」といった他の空間的用語は、同様に、遠位及び近位にそれぞれ対応する。便宜上、かつ明瞭さのために、本明細書では「垂直」及び「水平」などの空間的用語が、図面に対して使用される点も更に理解されるであろう。しかしながら、手術器具は、多くの向き及び位置で使用されるものであり、これらの空間的用語は、限定的かつ絶対的なものであることを意図するものではない。
【0284】
値又は範囲は、本明細書では、「約」及び／又は「約」１つの特定の値から別の特定の値までとして表すことができる。そのように値又は範囲が表される場合、開示される他の実施形態は、列挙された特定の値、及び／又は１つの特定の値から別の特定の値までを含む。同様に、先行する「約」の使用によって値が近似の形式で表現された場合、開示される多くの値が列挙され、その特定値により別の実施形態が形成されることが理解されるであろう。開示される多くの値が存在し、各値は、本明細書においては、その特定の値自体に加えて「約」が付く値として開示されることも更に理解されるであろう。一部の実施形態では、「約」は、例えば、列挙された値の１０％以内、列挙された値の５％以内、又は列挙された値の２％以内を意味するために使用され得る。
【0285】
本教示を説明及び定義する目的で、別途記載のない限り、用語「実質的に」は、本明細書では、任意の定量的な比較、値、測定、又は他の表現に起因し得る固有の不確実性の程度を表すために利用されることに留意されたい。用語「実質的に」はまた、本明細書では、定量的表現が、問題の対象物の基本的機能の変化をもたらすことなく、記述された基準から変化し得る程度を表すためにも利用される。
【0286】
当業者には、上で説明される実施形態に基づいて本発明の更なる特徴及び利点が認識されよう。したがって、本発明は、添付の特許請求の範囲によって示される場合を除き、具体的に示され説明された内容により限定されるものではない。本明細書で引用される全ての刊行物及び参考文献は、参照によりそれらの全体が本明細書に明示的に組み込まれる。参照によって全体又は一部が本明細書に組み込まれるとされる任意の特許、公開又は情報は、組み込まれる資料は、この文書に記載されている既存の定義、記述、又は他の開示資料と矛盾しない程度のみである。したがって、本明細書に明確に示した開示内容は、本明細書に援用されるいかなる矛盾する文献にも優先するものとする。
【0287】
〔実施の態様〕
（１） 手術システムであって、
第１のスコープ装置であって、天然の体腔及び器官のうちの少なくとも１つの内部に少なくとも部分的に配置されるように構成されており、前記第１のスコープ装置の視野内の第１の場面の画像データを伝送するように構成されている、第１のスコープ装置と、
第２のスコープ装置であって、前記天然の体腔及び前記器官のうちの前記少なくとも１つの外側に少なくとも部分的に配置されるように構成されており、前記第２のスコープ装置の視野内の第２の場面の画像データを伝送するように構成されており、前記第２の場面は前記第１の場面とは異なる、第２のスコープ装置と、
追跡装置であって、前記第１のスコープ装置又は前記第２のスコープ装置のうちの一方に関連付けられており、前記第１のスコープ装置又は前記第２のスコープ装置のうちの前記一方の、前記第１のスコープ装置又は前記第２のスコープ装置のうちの他方に対する位置を示す信号を伝送するように構成されている、追跡装置と、
第１の手術器具であって、前記天然の体腔及び前記器官のうちの少なくとも１つの内部に少なくとも部分的に配置されるように構成されており、手術部位において標的組織構造の内側と相互作用するように構成されている、第１の手術器具と、
第２の手術器具であって、前記天然の体腔及び前記器官のうちの前記少なくとも１つの外側に少なくとも部分的に配置されるように構成されており、前記標的組織構造の外側と相互作用するように構成されている、第２の手術器具と、
コントローラであって、（ｉ）前記第１の場面及び前記第２の場面の前記伝送された画像データ、並びに（ｉｉ）前記伝送された信号を受信し、前記伝送された信号及び画像データに基づいて、前記第１のスコープ装置から前記第２のスコープ装置までの第１の相対距離、前記第１のスコープ装置から少なくとも１つの天然の体腔及び器官内に位置付けられた前記第１の手術器具までの第２の相対距離、並びに前記第２のスコープ装置から少なくとも１つの天然の体腔及び前記器官の外側に位置付けられた前記第２の手術器具までの第３の相対距離を決定するように構成されており、前記手術部位における前記第１の器具及び前記第２の器具の相対移動は、前記決定された相対距離に基づいて協調的である、コントローラと、を備える、手術システム。
（２） 前記第１のスコープ装置が内視鏡であり、前記第２のスコープ装置が腹腔鏡である、実施態様１に記載の手術システム。
（３） 前記第１の場面が前記第２のスコープ装置を含まず、前記第２の場面が前記第１のスコープ装置を含まない、実施態様１又は実施態様２に記載の手術システム。
（４） 前記第１の場面が前記第２の器具を含まず、前記第２の場面が前記第１の器具を含まない、実施態様１に記載の手術システム。
（５） 前記追跡装置が、前記天然の体腔及び前記器官のうちの１つの内部の前記第１のスコープ装置の向きを示す信号を伝送するように更に構成されている、実施態様１に記載の手術システム。
（１） 手術システムであって、
第１のスコープ装置であって、天然の体腔及び器官のうちの少なくとも１つの内部に少なくとも部分的に配置されるように構成されており、前記第１のスコープ装置の視野内の第１の場面の画像データを伝送するように構成されている、第１のスコープ装置と、
第２のスコープ装置であって、前記天然の体腔及び前記器官のうちの前記少なくとも１つの外側に少なくとも部分的に配置されるように構成されており、前記第２のスコープ装置の視野内の第２の場面の画像データを伝送するように構成されており、前記第２の場面は前記第１の場面とは異なる、第２のスコープ装置と、
追跡装置であって、前記第１のスコープ装置又は前記第２のスコープ装置のうちの一方に関連付けられており、前記第１のスコープ装置又は前記第２のスコープ装置のうちの前記一方の、前記第１のスコープ装置又は前記第２のスコープ装置のうちの他方に対する位置を示す信号を伝送するように構成されている、追跡装置と、
第１の手術器具であって、前記天然の体腔及び前記器官のうちの少なくとも１つの内部に少なくとも部分的に配置されるように構成されており、手術部位において標的組織構造の内側と相互作用するように構成されている、第１の手術器具と、
第２の手術器具であって、前記天然の体腔及び前記器官のうちの前記少なくとも１つの外側に少なくとも部分的に配置されるように構成されており、前記標的組織構造の外側と相互作用するように構成されている、第２の手術器具と、
コントローラであって、（ｉ）前記第１の場面及び前記第２の場面の前記伝送された画像データ、並びに（ｉｉ）前記伝送された信号を受信し、前記伝送された信号及び画像データに基づいて、前記第１のスコープ装置から前記第２のスコープ装置までの第１の相対距離、前記第１のスコープ装置から少なくとも１つの天然の体腔及び器官内に位置付けられた前記第１の手術器具までの第２の相対距離、並びに前記第２のスコープ装置から少なくとも１つの天然の体腔及び前記器官の外側に位置付けられた前記第２の手術器具までの第３の相対距離を決定するように構成されており、前記手術部位における前記第１の器具及び前記第２の器具の相対移動は、前記決定された相対距離に基づいて協調的である、コントローラと、を備える、手術システム。
（２） 前記第１のスコープ装置が内視鏡であり、前記第２のスコープ装置が腹腔鏡である、実施態様１に記載の手術システム。
（３） 前記第１の場面が前記第２のスコープ装置を含まず、前記第２の場面が前記第１のスコープ装置を含まない、実施態様１又は実施態様２に記載の手術システム。
（４） 前記第１の場面が前記第２の器具を含まず、前記第２の場面が前記第１の器具を含まない、実施態様１に記載の手術システム。
（５） 前記追跡装置が、前記天然の体腔及び前記器官のうちの１つの内部の前記第１のスコープ装置の向きを示す信号を伝送するように更に構成されている、実施態様１に記載の手術システム。
【0288】
（６） 前記追跡装置が、前記天然の体腔及び前記器官のうちの前記少なくとも１つの外側に位置付けられる前記第２のスコープ装置の向きを示す信号を伝送するように更に構成されている、実施態様１に記載の手術システム。
（７） 前記コントローラが、前記決定された相対距離に基づいて、前記第１の器具及び前記第２の器具を互いに対して同時に移動させるように構成されている、実施態様１に記載の手術システム。
（８） 前記コントローラが、前記第１の場面及び前記第２の場面の前記伝送された画像データ並びに前記伝送された信号に基づいて、前記標的組織構造において、前記第１の器具及び前記第２の器具の互いに対する移動を制限するように構成されている、実施態様１に記載の手術システム。
（９） 前記コントローラが、前記標的組織構造に関連付けられた視覚マーカを使用して、前記第１の器具及び前記第２の器具のうちの少なくとも１つによって前記標的組織構造に与えられる歪みの量を決定するように更に構成されている、実施態様１に記載の手術システム。
（１０） 前記視覚マーカが、前記標的組織構造上の１つ以上の局所組織マーキング、前記標的組織構造上の１つ以上の投影光マーキング、並びに前記天然の体腔及び器官のうちの少なくとも１つの１つ以上の解剖学的側面のうちの少なくとも１つである、実施態様９に記載の手術システム。
（７） 前記コントローラが、前記決定された相対距離に基づいて、前記第１の器具及び前記第２の器具を互いに対して同時に移動させるように構成されている、実施態様１に記載の手術システム。
（８） 前記コントローラが、前記第１の場面及び前記第２の場面の前記伝送された画像データ並びに前記伝送された信号に基づいて、前記標的組織構造において、前記第１の器具及び前記第２の器具の互いに対する移動を制限するように構成されている、実施態様１に記載の手術システム。
（９） 前記コントローラが、前記標的組織構造に関連付けられた視覚マーカを使用して、前記第１の器具及び前記第２の器具のうちの少なくとも１つによって前記標的組織構造に与えられる歪みの量を決定するように更に構成されている、実施態様１に記載の手術システム。
（１０） 前記視覚マーカが、前記標的組織構造上の１つ以上の局所組織マーキング、前記標的組織構造上の１つ以上の投影光マーキング、並びに前記天然の体腔及び器官のうちの少なくとも１つの１つ以上の解剖学的側面のうちの少なくとも１つである、実施態様９に記載の手術システム。
【0289】
（１１） 前記第１の器具が、前記第１の器具によって前記標的組織構造に加えられた力を検知するように構成された第１の力センサを更に備え、前記第２の器具が、前記第２の器具によって前記標的組織構造に加えられた力を検知するように構成された第２の力センサを更に備える、実施態様１に記載の手術システム。
（１２） 方法であって、
第１のスコープ装置によって、前記第１の装置の少なくとも一部が天然の体腔及び器官のうちの少なくとも１つの内部に位置付けられている間に、前記第１のスコープ装置の視野内の第１の場面の画像データを伝送することと、
第２のスコープ装置によって、前記第２のスコープ装置が前記天然の体腔及び前記器官のうちの前記少なくとも１つの外側に位置付けられている間に、前記第２のスコープ装置の視野内の第２の場面の画像データを伝送することであって、前記第２の場面は前記第１の場面と異なる、ことと、
追跡装置によって、前記第１のスコープ装置又は前記第２のスコープ装置のうちの一方の、前記第１のスコープ装置又は前記第２のスコープ装置のうちの他方に対する位置を示す信号を伝送することと、
コントローラによって、前記第１の場面及び前記第２の場面の前記伝送された画像データ並びに前記第１のスコープ装置及び前記第２のスコープ装置の前記位置の前記伝送された信号を受信することと、
前記コントローラによって、前記第１のスコープ装置から前記第２のスコープ装置までの第１の相対距離、前記第１のスコープ装置から少なくとも１つの天然の体腔及び器官内に位置付けられた前記第１の器具までの第２の相対距離、並びに前記第２のスコープ装置から少なくとも１つの天然の体腔及び前記器官の外側に位置付けられた前記第２の器具までの第３の相対距離を決定することと、
前記コントローラによって、前記決定された相対距離に基づいて、前記標的組織構造において、前記第１の器具及び前記第２の器具を互いに対して移動させることと、を含む、方法。
（１３） 前記追跡装置によって、前記天然の体腔及び前記器官のうちの相対的な１つの内部の前記第１のスコープ装置の向きを示す信号を伝送することを更に含む、実施態様１２に記載の方法。
（１４） 前記追跡装置によって、前記天然の体腔及び前記器官のうちの前記少なくとも１つの外側に位置付けられた前記第２のスコープ装置の向きを示す信号を伝送することを更に含む、実施態様１２又は実施態様１３に記載の方法。
（１５） 前記コントローラによって、前記決定された相対距離に基づいて、前記第１の器具及び前記第２の器具を互いに対して同時に移動させることを更に含む、実施態様１２に記載の方法。
（１２） 方法であって、
第１のスコープ装置によって、前記第１の装置の少なくとも一部が天然の体腔及び器官のうちの少なくとも１つの内部に位置付けられている間に、前記第１のスコープ装置の視野内の第１の場面の画像データを伝送することと、
第２のスコープ装置によって、前記第２のスコープ装置が前記天然の体腔及び前記器官のうちの前記少なくとも１つの外側に位置付けられている間に、前記第２のスコープ装置の視野内の第２の場面の画像データを伝送することであって、前記第２の場面は前記第１の場面と異なる、ことと、
追跡装置によって、前記第１のスコープ装置又は前記第２のスコープ装置のうちの一方の、前記第１のスコープ装置又は前記第２のスコープ装置のうちの他方に対する位置を示す信号を伝送することと、
コントローラによって、前記第１の場面及び前記第２の場面の前記伝送された画像データ並びに前記第１のスコープ装置及び前記第２のスコープ装置の前記位置の前記伝送された信号を受信することと、
前記コントローラによって、前記第１のスコープ装置から前記第２のスコープ装置までの第１の相対距離、前記第１のスコープ装置から少なくとも１つの天然の体腔及び器官内に位置付けられた前記第１の器具までの第２の相対距離、並びに前記第２のスコープ装置から少なくとも１つの天然の体腔及び前記器官の外側に位置付けられた前記第２の器具までの第３の相対距離を決定することと、
前記コントローラによって、前記決定された相対距離に基づいて、前記標的組織構造において、前記第１の器具及び前記第２の器具を互いに対して移動させることと、を含む、方法。
（１３） 前記追跡装置によって、前記天然の体腔及び前記器官のうちの相対的な１つの内部の前記第１のスコープ装置の向きを示す信号を伝送することを更に含む、実施態様１２に記載の方法。
（１４） 前記追跡装置によって、前記天然の体腔及び前記器官のうちの前記少なくとも１つの外側に位置付けられた前記第２のスコープ装置の向きを示す信号を伝送することを更に含む、実施態様１２又は実施態様１３に記載の方法。
（１５） 前記コントローラによって、前記決定された相対距離に基づいて、前記第１の器具及び前記第２の器具を互いに対して同時に移動させることを更に含む、実施態様１２に記載の方法。
【0290】
（１６） 前記コントローラによって、前記第１の場面及び前記第２の場面の前記伝送された画像データ並びに前記伝送された信号に基づいて、前記標的組織構造において、前記第１の器具及び前記第２の器具のうちの少なくとも１つの互いに対する移動を制限することを更に含む、実施態様１２に記載の方法。
（１７） 前記コントローラによって、前記標的組織部位に関連付けられた視覚マーカに基づいて、前記第１の器具及び前記第２の器具のうちの少なくとも１つによって前記標的組織構造に与えられる歪みの量を決定することを更に含む、実施態様１２に記載の方法。
（１８） 前記第１の器具が、力センサを含み、前記方法が、前記力センサを介して、前記第１の器具によって前記標的組織構造に加えられた力を検知することを更に含む、実施態様１２に記載の方法。
（１９） 前記第２の器具が、力センサを含み、前記方法が、前記力センサを介して、前記第２の器具によって前記標的組織構造に加えられた力を検知することを更に含む、実施態様１２に記載の方法。
（２０） 命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが実施態様１に記載のシステムの前記コントローラによって実行されるとき、前記システムに実施態様１２に記載の方法を実行させる、コンピュータプログラム製品。
（１７） 前記コントローラによって、前記標的組織部位に関連付けられた視覚マーカに基づいて、前記第１の器具及び前記第２の器具のうちの少なくとも１つによって前記標的組織構造に与えられる歪みの量を決定することを更に含む、実施態様１２に記載の方法。
（１８） 前記第１の器具が、力センサを含み、前記方法が、前記力センサを介して、前記第１の器具によって前記標的組織構造に加えられた力を検知することを更に含む、実施態様１２に記載の方法。
（１９） 前記第２の器具が、力センサを含み、前記方法が、前記力センサを介して、前記第２の器具によって前記標的組織構造に加えられた力を検知することを更に含む、実施態様１２に記載の方法。
（２０） 命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが実施態様１に記載のシステムの前記コントローラによって実行されるとき、前記システムに実施態様１２に記載の方法を実行させる、コンピュータプログラム製品。
【0291】
（２１） 命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが実施態様１に記載のシステムの前記コントローラによって実行されるとき、前記コントローラに、
前記第１の場面及び前記第２の場面の前記伝送された画像データを受信させ、
前記伝送された信号を受信させ、
前記伝送された信号及び画像データに基づいて、前記第１のスコープ装置から前記第２のスコープ装置までの第１の相対距離、前記第１のスコープ装置から少なくとも１つの天然の体腔及び器官内に位置付けられた前記第１の手術器具までの第２の相対距離、並びに前記第２のスコープ装置から少なくとも１つの天然の体腔及び前記器官の外側に位置付けられた前記第２の手術器具までの第３の相対距離を決定させ、
前記決定された相対距離に基づいて、前記手術部位での前記第１の器具及び前記第２の器具の相対移動を協調させる、コンピュータプログラム製品。
（２２） 実施態様２０又は実施態様２１に記載のコンピュータプログラム製品を記憶したコンピュータ可読媒体。
（２３） 実施態様２０又は実施態様２１に記載のコンピュータプログラム製品を搬送するデータ搬送信号。
前記第１の場面及び前記第２の場面の前記伝送された画像データを受信させ、
前記伝送された信号を受信させ、
前記伝送された信号及び画像データに基づいて、前記第１のスコープ装置から前記第２のスコープ装置までの第１の相対距離、前記第１のスコープ装置から少なくとも１つの天然の体腔及び器官内に位置付けられた前記第１の手術器具までの第２の相対距離、並びに前記第２のスコープ装置から少なくとも１つの天然の体腔及び前記器官の外側に位置付けられた前記第２の手術器具までの第３の相対距離を決定させ、
前記決定された相対距離に基づいて、前記手術部位での前記第１の器具及び前記第２の器具の相対移動を協調させる、コンピュータプログラム製品。
（２２） 実施態様２０又は実施態様２１に記載のコンピュータプログラム製品を記憶したコンピュータ可読媒体。
（２３） 実施態様２０又は実施態様２１に記載のコンピュータプログラム製品を搬送するデータ搬送信号。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23a】
【図23b】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【図35】
【図36】
【図37】
【図38】
【図39】
【図40】
【図41】
【図41a】
【図42】
【図42a】
【図43】
【図43a】
【図44a】
【図44b】
【図44c】
【図44d】
【図44e】
【図45】
【図46】
【図47】
【図48】
【国際調査報告】