(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-04
(54)【発明の名称】協調する手術器具を制御するためのシステム
(51)【国際特許分類】
A61B 34/00 20160101AFI20240927BHJP
【ＦＩ】
A61B34/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024519354
(86)(22)【出願日】2022-09-26
(85)【翻訳文提出日】2024-04-25
(86)【国際出願番号】 IB2022059108
(87)【国際公開番号】W WO2023052957
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】63/249,877
(32)【優先日】2021-09-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/451,961
(32)【優先日】2021-10-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】506157570
【氏名又は名称】シラグ・ゲーエムベーハー・インターナショナル
【氏名又は名称原語表記】Ｃｉｌａｇ ＧＭＢＨ Ｉｎｔｅｒｎａｔｉｏｎａｌ
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】シェルトン・ザ・フォース・フレデリック・イー
(72)【発明者】
【氏名】シャイブ・チャールズ・ジェイ
(72)【発明者】
【氏名】ハリス・ジェイソン・エル
(57)【要約】
協調する手術器具を制御するためのシステム、デバイス、及び方法が提供される。本開示の様々な態様は、共通又は協調する手術目的を達成するために、異なるか、又は共有された手術アプローチから様々な手術部位にアクセスする手術器具の協調された動作を提供する。例えば、本明細書に開示される様々な方法、デバイス、及びシステムは、様々な解剖学的空間から組織にアプローチし、所望の手術治療をもたらすように互いに異なってはいるが協力して動作しなければならない異種の低侵襲性手術システムによる組織の協調された治療を可能にすることができる。
【特許請求の範囲】
【請求項1】
システムであって、患者内に位置する第１の手術治療部位に対して動作するように構成された第１の手術器具と、
前記第１の手術治療部位に対して動作するように構成された第２の手術器具と、
前記第１の手術器具の動きを分析し、前記第１の手術器具の分析された前記動きに基づいて、前記第２の手術器具の動きを自動的に変更するように構成されたコントローラと、を備える、システム。
【請求項2】
前記第２の手術器具の変更された前記動きが、前記第１の手術器具の模倣された動き及び前記第１の手術器具のミラーリングされた動きのうちの少なくとも１つを含む、請求項１に記載のシステム。
【請求項3】
前記第１の手術器具の前記分析された動きが、前記第１の手術器具の監視されたパラメータを含み、前記コントローラが、前記監視されたパラメータに基づいて、前記第２の手術器具の動きを自動的に変更するように構成されている、請求項１又は２に記載のシステム。
【請求項4】
前記コントローラが、前記第２の手術器具の動きを自動的に変更して、前記監視されたパラメータを一貫した値に維持するように構成されている、請求項３に記載のシステム。
【請求項5】
前記第１の手術器具及び前記第２の手術器具が、共通の体腔内に配設されるように構成されている、請求項１に記載のシステム。
【請求項6】
前記第１の手術器具及び前記第２の手術器具が、前記患者内の別個の体腔内に配設されるように構成されている、請求項１に記載のシステム。
【請求項7】
前記第１の手術器具及び前記第２の手術器具が、手術ステープラ、電気手術器具、又は把持器を含む、請求項１に記載のシステム。
【請求項8】
前記第１の手術器具又は前記第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データを捕捉するように構成された画像センサを有する可撓性内視鏡を更に備える、請求項１に記載のシステム。
【請求項9】
システムであって、データプロセッサと、
前記データプロセッサに動作を実行させるように構成された命令を記憶するメモリと、を備え、前記動作は、
患者内に位置する第１の手術器具の動きを特徴付けるデータをリアルタイムで受信することと、
受信された前記データに少なくとも基づいて、前記第１の手術器具の動きを判定し、前記第１の手術器具の前記動きに基づいて、前記患者内に位置する第２の手術器具の動きを自動的に変更することと、を含む、システム。
【請求項10】
前記第２の手術器具の変更された前記動きが、前記第１の手術器具の模倣された動き及び前記第１の手術器具のミラーリングされた動きのうちの少なくとも１つを含む、請求項９に記載のシステム。
【請求項11】
前記第１の手術器具及び前記第２の手術器具が、手術ステープラ、電気手術器具、又は把持器を含む、請求項９又は１０に記載のシステム。
【請求項12】
前記データプロセッサの動作が、内視鏡の画像センサから、前記第１の手術器具又は前記第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データをリアルタイムで受信することを更に含む、請求項９に記載のシステム。
【請求項13】
方法であって、コントローラにおいて、患者に対する手術処置の実行とともにリアルタイムで、前記患者内に位置する第１の手術器具の動きを特徴付けるデータを受信することと、
前記コントローラにおいて、受信された前記データに基づいて、前記第１の手術器具の動きを判定し、前記第１の手術器具の前記動きに基づいて、前記患者内に位置する第２の手術器具の動きを自動的に変更することと、を含む、方法。
【請求項14】
前記第２の手術器具の変更された前記動きが、前記第１の手術器具の判定された前記動きを模倣すること又はミラーリングすることのうちの少なくとも１つを含む、請求項１３に記載の方法。
【請求項15】
前記コントローラにおいて、前記手術処置の前記実行とともにリアルタイムで、内視鏡の画像センサから、前記第１の手術器具又は前記第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データを受信することを更に含む、請求項１３又は１４に記載の方法。
【請求項16】
命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが請求項１に記載のシステムのコントローラによって実行されるときに、前記コントローラに前記第１の手術器具の動きを分析させ、前記第１の手術器具の分析された前記動きに基づいて前記第２の手術器具の動きを自動的に変更させる、コンピュータプログラム製品。
【請求項17】
命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが請求項９に記載のシステムのデータプロセッサによって実行されるときに、データコントローラに請求項１３に記載の方法を実行させる、コンピュータプログラム製品。
【請求項18】
請求項１６に記載のコンピュータプログラム製品を記憶したコンピュータ可読媒体。
【請求項19】
請求項１６に記載のコンピュータプログラム製品を搬送するデータ搬送信号。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０２１年９月２９日に出願され、「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ」と題する米国特許仮出願第６３／２４９，８７７号の優先権を主張するものであり、その開示は、参照によりその全体が本明細書に組み込まれる。
本出願は、２０２１年９月２９日に出願され、「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ」と題する米国特許仮出願第６３／２４９，８７７号の優先権を主張するものであり、その開示は、参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
いくつかの手術処置は、処置の実行に成功するために、組織の領域又は部分に対して同時に動作する複数の手術器具の使用を必要とする。いくつかの状況では、処置の性質に起因して、複数の手術器具が、他の器具のうちの１つ又は２つ以上の器具のアクションに基づいて、器具機能を協調して動かす、及び／又は変えて、器具が共通の手術目標に向けて集合的に作業するようにすることが必要であるか、役に立つ。
【0003】
しかしながら、処置の他の態様への適切な集中を維持しながら、一度に複数の器具間の動きを調整することは困難であり得る。追加的に、器具の直接可視化及び器具への容易なアクセスは、低侵襲処置中など、困難又は不可能であり得る。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、共通の手術目的を達成するために、他の手術器具のアクションに基づいて、協調する手術器具を制御するための改善された方法及びシステムの必要性が残っている。
【課題を解決するための手段】
【0005】
一態様では、本明細書において、第１の電気手術器具と、第２の電気手術器具と、コントローラとを有するシステムが提供される。第１の電気手術器具は、エンドエフェクタを有し、エンドエフェクタは、患者内に位置する第１の手術治療部位における組織を把持し、組織にエネルギーを送達するように構成されている。第２の電気手術器具も、エンドエフェクタを有し、エンドエフェクタは、第１の手術治療部位における組織を把持し、組織にエネルギーを送達するように構成されている。コントローラは、第１の電気手術器具によって組織に送達されたエネルギーの量に関連するデータを第２の電気手術器具から受信し、受信されたデータに基づいて、少なくとも第１の電気手術器具によって送達されているエネルギーの量を判定し、受信されたデータに基づいて、第１の電気手術器具によって送達されるエネルギーの量の調節を判定するように構成されている。
【0006】
システムは、多数の変形を有することができる。例えば、システムは、第１の電気手術器具又は第２の電気手術器具のうちの少なくとも１つの画像を特徴付ける画像データを捕捉するように構成された画像センサを有する内視鏡システムを更に含むことができる。別の実施例では、コントローラは、第１の電気手術器具によって送達されているエネルギーの判定された量を所定の閾値と比較するように構成することができる。更に別の実施例では、コントローラは、受信されたデータに基づいて、第１の電気手術器具によって送達されるエネルギーの量を自動的に調節するように構成することができる。
【0007】
いくつかの実施形態では、コントローラは、受信されたデータに基づいて、第１の電気手術器具によって送達されているエネルギーの量に関するアラートを提供するように構成することができる。いくつかの実施例では、第１の電気手術器具は、第１の体腔から第１の手術治療部位における組織に対して動作するように構成することができ、第２の電気手術器具は、第２の体腔から第１の手術治療部位における組織に対して動作するように構成することができる。更に他の実施例では、コントローラは、受信されたデータに基づいて、第１の手術治療部位における組織の組織パラメータを判定するように構成することができる。いくつかの実施例では、コントローラは、受信されたデータに基づいて、第１の電気手術器具の通電状態を変更するように構成することができる。
【0008】
別の態様では、データプロセッサと、データプロセッサに動作を実行させるように構成された命令を記憶するメモリと、を有するシステムが提供され、動作は、第２の電気手術器具から、患者内に位置する第１の手術治療部位における組織に第１の電気手術器具によって送達されたエネルギーの量に関連するデータをリアルタイムで受信することと、第２の電気手術器具から受信されたデータに基づいて、少なくとも第１の電気手術器具によって送達されているエネルギーの量を判定し、受信されたデータに基づいて、第１の電気手術器具によって送達されるエネルギーの量の調節を判定することと、を含む。
【0009】
システムは、いくつかの異なる変形形態を有することができる。例えば、データプロセッサの動作は、内視鏡システムから、第１の電気手術器具の画像をリアルタイムで受信することを更に含むことができる。別の実施例では、データプロセッサの動作は、第１の電気手術器具によって送達されているエネルギーの判定された量を所定の閾値と比較することを含むことができる。更に別の実施例では、データプロセッサの動作は、受信されたデータに基づいて、第１の電気手術器具によって送達されるエネルギーの量を自動的に調節することを含むことができる。更に他の実施例では、データプロセッサの動作は、受信されたデータに基づいて、第１の手術治療部位における組織の組織パラメータを判定することを含むことができる。いくつかの実施例では、少なくとも１つのデータプロセッサの動作は、受信されたデータに基づいて、第１の電気手術器具の通電状態を変更することを更に含むことができる。
【0010】
別の態様では、コントローラによって、第２の電気手術器具から、患者内に位置する第１の手術治療部位における組織に第１の電気手術器具によって送達されたエネルギーの量に関連するデータをリアルタイムで受信することを含む方法が提供される。方法はまた、コントローラによって、受信されたデータに基づいて、少なくとも第１の電気手術器具によって送達されているエネルギーの量を判定し、受信されたデータに基づいて、第１の電気手術器具によって送達されるエネルギーの量の調節を判定することを含む。
【0011】
方法は、多数の変形を有することができる。例えば、方法は、第１の内視鏡から、第１の電気手術器具の画像をリアルタイムで受信することを更に含むことができる。別の実施例では、方法は、受信されたデータに基づいて、第１の電気手術器具によって送達されるエネルギーの量を自動的に調節することを含むことができる。更に別の実施例では、方法は、受信されたデータに基づいて、第１の電気手術器具の通電状態を変更することを含むことができる。
【0012】
更に別の態様では、第１の手術器具と、第２の手術器具と、コントローラとを含むシステムが提供される。第１の手術器具は、患者内に位置する第１の手術治療部位における標的組織に対して動作するように構成されており、第２の手術器具は、第１の手術治療部位における第１の手術器具を標的組織に対してアンカーするように構成されている。コントローラは、第１の手術器具及び第２の手術器具によって標的組織に適用されている組織負荷の総量を判定し、第１の手術器具及び第２の手術器具の各々によって適用される組織負荷に制限を適用して、標的組織に対する組織負荷の総量を既定の閾値未満に維持するように構成されている。
【0013】
システムは、多数の変形を有することができる。例えば、第１の手術器具及び第２の手術器具は、共通の体腔内に配設されるように構成することができる。別の実施例では、第１の手術器具及び第２の手術器具は、標的組織の両側で患者内の別個の体腔内に配設されるように構成することができる。更に他の実施例では、第１の手術器具及び第２の手術器具は、組織をそれらの間に捕捉するように構成することができる。一実施例では、第１の手術器具及び第２の手術器具は、手術ステープラ、電気手術器具、又は把持器を含むことができる。いくつかの実施形態では、システムは、第１の手術器具又は第２の手術器具のうちの少なくとも１つの画像を獲得するように構成された画像センサを有する可撓性内視鏡を含むことができる。更に他の実施形態では、コントローラは、可撓性内視鏡から画像を受信するように構成することができる。
【0014】
更に別の態様では、データプロセッサと、データプロセッサに動作を実行させるように構成された命令を記憶するメモリと、を有するシステムが提供される。動作は、第１の手術器具によって、患者内の第１の手術部位における標的組織に適用されている組織負荷を特徴付けるデータをリアルタイムで受信することと、患者内に位置する第２の手術器具によって適用されている組織負荷を特徴付けるデータをリアルタイムで受信することと、を含む。更に、第２の手術器具は、第１の手術治療部位における第１の手術器具を標的組織に対してアンカーするように構成されている。動作はまた、少なくとも第１の手術器具及び第２の手術器具に関して受信されたデータに基づいて、第１の手術器具及び第２の手術器具によって標的組織に適用されている組織負荷の総量を判定し、第１の手術器具及び第２の手術器具の各々によって標的組織に対して適用される組織負荷に制限を適用して、標的組織に対する組織負荷の総量を既定の閾値未満に維持することを含む。
【0015】
システムは、多数の異なる変形形態を有することができる。例えば、データプロセッサの動作はまた、内視鏡の画像センサから、第１の手術器具又は第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データをリアルタイムで受信することを含むことができる。別の実施例では、データプロセッサの動作は、内視鏡の画像センサから、第１の手術器具又は第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データをリアルタイムで受信することを含むことができる。いくつかの実施例では、第１の手術器具及び第２の手術器具は、共通の体腔内に配設されるように構成されている。別の実施例では、第１の手術器具及び第２の手術器具は、標的組織の両側で患者内の別個の体腔内に配設されるように構成することができる。更に他の実施例では、第１の手術器具及び第２の手術器具は、組織をそれらの間に捕捉するように構成されている。一実施例では、第１の手術器具及び第２の手術器具は、手術ステープラ、電気手術器具、又は把持器を含むことができる。
【0016】
別の態様では、コントローラにおいて、患者に対する手術処置の実行とともにリアルタイムで、患者内の第１の手術治療部位における標的組織に対して動作する第１の手術器具に関するデータを受信することを含む方法が提供される。方法はまた、コントローラにおいて、患者に対する手術処置の実行とともにリアルタイムで、標的組織に対して第１の手術治療部位における第１の手術器具をアンカーしている第２の手術器具に関するデータを受信することを含む。方法は、コントローラにおいて、少なくとも第１の手術器具及び第２の手術器具に関して受信されたデータに基づいて、第１の手術器具及び第２の手術器具によって標的組織に適用されている組織負荷の総量を判定し、コントローラを使用して、第１の手術器具及び第２の手術器具の各々によって標的組織に対して適用される組織負荷に制限を適用して、標的組織に対する組織負荷の総量を既定の閾値未満に維持することを更に含む。
【0017】
方法は、多数の変形を有することができる。例えば、方法は、コントローラを用いて、患者内の標的組織の場所に基づいて、既定の閾値を変えることを含むことができる。別の実施例では、第２の手術器具は、第１の手術器具及び第２の手術器具に関するデータをコントローラに提供することができる。更に別の実施例では、第１の手術器具及び第２の手術器具は、手術ステープラ、電気手術器具、又は把持器を含むことができる。いくつかの実施例では、方法はまた、コントローラにおいて、画像センサを有する可撓性内視鏡から、第１の手術器具又は第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データを受信することを含むことができる。
【0018】
更に別の態様では、第１の手術器具と、第２の手術器具と、コントローラとを有するシステムが提供される。第１の手術器具は、患者内に位置する第１の手術治療部位に対して動作するように構成されており、第２の手術器具は、第１の手術治療部位に対して動作するように構成されている。コントローラは、第１の手術器具の動きを分析し、分析された第１の手術器具の動きに基づいて、第２の手術器具の動きを自動的に変更するように構成されている。
【0019】
システムは、いくつかの異なる変形形態を有することができる。例えば、第２の手術器具の変更された動きは、第１の手術器具の模倣された動き及び第１の手術器具のミラーリングされた動きのうちの少なくとも１つを含むことができる。別の実施例では、第１の手術器具の分析された動きが、第１の手術器具の監視されたパラメータを含むことができ、コントローラは、監視されたパラメータに基づいて、第２の手術器具の動きを自動的に変更するように構成することができる。更に別の実施例では、コントローラは、第２の手術器具の動きを自動的に変更して、監視されたパラメータを一貫した値に維持するように構成することができる。更なる実施例では、第１の手術器具及び第２の手術器具は、共通の体腔内に配設されるように構成することができる。更に別の実施例では、第１の手術器具及び第２の手術器具は、患者内の別個の体腔内に配設されるように構成することができる。いくつかの実施例では、第１の手術器具及び第２の手術器具は、手術ステープラ、電気手術器具、又は把持器を含むことができる。更に他の実施例では、システムはまた、第１の手術器具又は第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データを捕捉するように構成された画像センサを有する可撓性内視鏡を含むことができる。
【0020】
更に別の態様では、データプロセッサと、少なくとも１つのデータプロセッサに動作を実行させるように構成された命令を記憶するメモリと、を含むシステムが提供される。動作は、患者内に位置する第１の手術器具の動きを特徴付けるデータをリアルタイムで受信することと、少なくとも受信されたデータに基づいて、第１の手術器具の動きを判定することと、第１の手術器具の動きに基づいて、患者内に位置する第２の手術器具の動きを自動的に変更することとを含む。
【0021】
システムは、多数の異なる変形を有することができる。例えば、第２の手術器具の変更された動きは、第１の手術器具の模倣されたか、又はミラーリングされた動きのうちの少なくとも１つを含むことができる。いくつかの実施例では、第１の手術器具及び第２の手術器具は、手術ステープラ、電気手術器具、又は把持器を含むことができる。他の実施例では、少なくとも１つのデータプロセッサの動作はまた、内視鏡の画像センサから、第１の手術器具又は第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データをリアルタイムで受信することを含むことができる。
【0022】
別の態様では、コントローラにおいて、患者に対する手術処置の実行とともにリアルタイムで、患者内に位置する第１の手術器具の動きを特徴付けるデータを受信することを含む方法が提供される。方法はまた、コントローラにおいて、受信されたデータに基づいて、第１の手術器具の動きを判定し、第１の手術器具の動きに基づいて、患者内に位置する第２の手術器具の動きを自動的に変更することを含む。
【0023】
方法は、多数の変形を有することができる。例えば、第２の手術器具の変更された動きは、第１の手術器具の判定された動きを模倣又はミラーリングすることのうちの少なくとも１つを含むことができる。更に別の実施例では、方法は、コントローラにおいて、手術処置の実行とともにリアルタイムで、内視鏡の画像センサから、第１の手術器具又は第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データを受信することを含むことができる。
【図面の簡単な説明】
【0024】
本発明について、添付の図面を参照して説明する。
【図1】手術可視化システムの一実施形態の概略図である。
【図3】手術可視化システムの別の実施形態の概略図である。
【図4】手術可視化システムのための制御システムの一実施形態の概略図である。
【図5】手術可視化システムのための制御システムの制御回路の一実施形態の概略図である。
【図6】手術可視化システムの組み合わせロジック回路の一実施形態の概略図である。
【図7】手術可視化システムの順序ロジック回路の一実施形態の概略図である。
【図8】手術可視化システムの更に別の実施形態の斜視図である。
【図9】手術可視化システムのための制御システムの別の実施形態の概略図である。
【図10】様々な生物学的物質についての波長対吸収係数を示すグラフである。
【図11】手術部位を可視化するスペクトルエミッタの一実施形態の概略図である。
【図12】尿管を閉塞物から区別するための例示のハイパースペクトル特定シグネチャを描写するグラフである。
【図13】動脈を閉塞物から区別するための例示のハイパースペクトル特定シグネチャを描写するグラフである。
【図14】神経を閉塞物から区別するための例示のハイパースペクトル特定シグネチャを描写するグラフである。
【図15】術中に利用されている近赤外（near infrared、ＮＩＲ）飛行時間測定システムの一実施形態の概略図である。
【図17】術中に利用されている近赤外（ＮＩＲ）飛行時間測定システムの別の実施形態の概略図である。
【図18】コンピュータ実装双方向手術システムの一実施形態の概略図である。
【図19】手術室内で手術処置を行うために使用されている手術システムの一実施形態の概略図である。
【図20】スマート手術器具と手術ハブとを含む手術システムの一実施形態の概略図である。
【図21A】結腸の主要な切除を例解する結腸の概略図である。
【図21B】十二指腸粘膜表面再建処置の一実施形態の斜視部分断面図である。
【図22】手術器具の協調する制御を提供することができる例示的な手術システムの概略図である。
【図27】第２の器具の抵抗負荷、変位及び速度が、第１の器具に依存する、第１の器具及び第２の器具の抵抗負荷、変位、及び速度を示すグラフである。
【発明を実施するための形態】
【0025】
本明細書に開示されるデバイス、システム、及び方法の構造、機能、製造、及び使用の原理が総括的に理解されるように、ある特定の例示的な実施形態について、これから説明する。これらの実施形態の１つ又は２つ以上の実施例が、添付の図面に例解されている。当業者であれば、本明細書で詳細に説明し、添付の図面に示されるデバイス、システム、及び方法は、非限定的な例示的な実施形態であり、本発明の範囲は、特許請求の範囲のみによって定義されることが理解されるであろう。例示的な一実施形態に関連して例解又は説明される特徴は、他の実施形態の特徴と組み合わせることができる。このような改変及び変形は、本発明の範囲内に含まれるものとする。
【0026】
更に、本開示においては、実施形態の同様の名称の構成要素は概して同様の特徴を有するものであり、したがって、特定の実施形態において、同様の名称の各構成要素の各特徴については必ずしも完全に詳しく述べることはしない。追加的に、開示されるシステム、デバイス、及び方法の説明で直線寸法又は円寸法が使用される限りにおいて、そのような寸法は、そのようなシステム、デバイス、及び方法と組み合わせて使用することができる形状の種類を限定しようとするものではない。当業者には、そのような直線寸法及び円寸法に相当する寸法を、任意の幾何学的形状について容易に判定することができる点が認識されるであろう。当業者は、寸法が正確な値ではなくても、製作公差及び測定機器の感度などの諸々の要因により、その値に近い値であると考えられることを理解するであろう。システム及びデバイスのサイズ及び形状、並びにその構成要素は、少なくとも、システム及びデバイスがそれとともに使用される構成要素のサイズ及び形状に依存し得る。
【0027】
手術可視化
一般に、手術可視化システムは、「デジタル手術」を活用して、患者の解剖学的構造及び／又は手術処置に関する追加情報を取得するように構成されている。手術可視化プラットフォームは、有用な様式で１人又は２人以上の医師にデータを伝達するように更に構成されている。本開示の様々な態様は、患者の解剖学的構造及び／若しくは手術処置の改善された可視化を提供し、並びに／又は手術ツール（本明細書では「手術デバイス」又は「手術器具」とも呼ばれる）の改善された制御を提供するために可視化を使用する。
一般に、手術可視化システムは、「デジタル手術」を活用して、患者の解剖学的構造及び／又は手術処置に関する追加情報を取得するように構成されている。手術可視化プラットフォームは、有用な様式で１人又は２人以上の医師にデータを伝達するように更に構成されている。本開示の様々な態様は、患者の解剖学的構造及び／若しくは手術処置の改善された可視化を提供し、並びに／又は手術ツール（本明細書では「手術デバイス」又は「手術器具」とも呼ばれる）の改善された制御を提供するために可視化を使用する。
【0028】
「デジタル手術」は、ロボットシステム、先進撮像、先進器具、人工知能、機械学習、性能追跡及びベンチマーキングのためのデータ分析、手術室（operating room、ＯＲ）の内外両方での接続性などを包含し得る。本明細書に説明される様々な手術可視化システムは、ロボット手術システムと組み合わせて使用することができるが、手術可視化プラットフォームは、ロボット手術システムとともに使用することに限定されない。特定の例では、ロボットなしで、並びに／あるいは、ロボット支援が制限されている、及び／若しくは任意である状態で、手術可視化を発生させることができる。同様に、ロボットなしで、並びに／あるいは、ロボット支援が制限されている、及び／又は任意である状態で、デジタル手術を発生させることができる。
【0029】
特定の例では、手術可視化システムを組み込む手術システムは、重要構造を特定し、それらを回避するためのスマート切開を可能にし得る。重要構造としては、解剖学的構造、例えば他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び／又は腫瘍が挙げられる。他の例では、重要構造は、解剖学的領域における外来構造、例えば、手術デバイス、手術締結具、クリップ、留め金、ブジー、バンド、プレート、及び遺物構造などとすることができる。重要構造は、患者ごと及び／又は処置ごとに判定される場合がある。スマート切開術は、例えば、切開のために改善された術中ガイダンスを提供し得、及び／又は、重要な解剖学的構造の検出及び回避技術によってよりスマートな判断を可能にし得る。
【0030】
手術可視化システムを組み込んだ手術システムは、改善されたワークフローによって最適な場所においてより一貫した吻合を提供するスマート吻合術を可能にし得る。がん局在化技術は、手術可視化プラットフォームを用いて改善され得る。例えば、がん局在化法は、がんの場所、向き、及びそのマージンを特定し、追跡することができる。特定の例では、がん局在化法は、手術処置中に手術器具、患者、及び／又は患者の解剖学的構造の動きを補償し、医師を関心のある点に戻す誘導を提供し得る。
【0031】
手術可視化システムは、改善された組織特徴付け、並びに／又はリンパ節診断及びマッピングを提供し得る。例えば、組織特徴付け技術は、特に切開時、及び／又は組織内のステープリングデバイスの配置時に、物理的触覚を必要とせずに組織の種類及び健康状態を特徴付けることができる。特定の組織特徴付け技術は、電離放射線及び／又は造影剤を使用せずに利用し得る。リンパ節診断及びマッピングに関して、手術可視化プラットフォームは、例えば、がん診断及びステージ診断に関与するリンパ系及び／又はリンパ節を手術前に位置特定し、マッピングし、理想的には、診断することができる。
【0032】
手術処置中、「肉眼」及び／又は撮像システムを介して医師が利用可能な情報は、不完全な手術部位のビューを提供する場合がある。例えば、臓器内に埋め込まれた又は埋もれた構造などの特定の構造は、ビューから少なくとも部分的に隠され、つまり見えない場合がある。追加的に、特定の寸法及び／又は相対距離は、既存のセンサシステムでの確認することが難しく、及び／又は「肉眼」では把握が難しい場合がある。更に、特定の構造は、術前（例えば、手術処置前であるが術前のスキャン後）、及び／又は術中に動く場合がある。そのような例では、医師は、術中に重要構造の場所を正確に判定することができない場合がある。
【0033】
重要構造の位置が不確定である場合、及び／又は重要構造と手術ツールとの間の近接度が不明である場合、医師の意思決定プロセスが阻害される可能性がある。例えば、医師は、重要構造の不注意による切開を回避するために、特定の領域を回避し得る。しかしながら、回避された領域は、不必要に大きく、かつ／又は、少なくとも部分的に場所を誤っている可能性がある。不確実性、及び／又は過度／過剰な用心に起因して、医師は特定の所望の領域に到達できない場合がある。例えば、重要構造がその特定領域にない場合、及び／又は、その特定領域での医師の行為によって悪影響がない場合であっても、用心のし過ぎにより、医師が、重要構造を回避しようと努力して、腫瘍及び／又は他の望ましくない組織の一部分を残してしまう場合がある。特定の例では、手術成績は知識及び／又は確実性が高まるとともに向上される場合があり、これにより、外科医にとって、より正確で、特定の例では、特定の解剖学的領域に対してより抑えて／より積極的になることが可能になる。
【0034】
手術可視化システムは、術中の特定及び重要構造の回避を可能にすることができる。したがって、手術可視化システムは、術中意思決定の強化及び手術転帰の改善を可能にし得る。手術可視化システムは、医師が「肉眼」で見るもの、並びに／あるいは撮像システムが認識し、及び／又は医師に伝達できるものを超えた、高度な可視化能力を提供することができる。手術可視化システムは、医師が組織治療（例えば、切開）の前に知ることができることを拡張かつ強化できることによって、様々な例における転帰を改善し得る。結果として、手術可視化システムが、例えば、切開中にアプローチされ得る重要構造を追跡していることを認識しながら、医師は、手術処置を通して勢いを確実に維持することができる。手術可視化システムは、医師が手術処置を休止し、及び／又は減速させ、重要構造に対する不注意による損傷を防止するためにその構造までの近接度を評価するのに十分な時間内で、医師に対して指示を提供することができる。手術可視化システムは、理想的で、最適化された、及び／又はカスタマイズ可能な量の情報を医師に提供して、健康組織及び／又は重要構造への不注意による損傷を回避しつつ、医師が組織全体を確実、及び／又は迅速に動くことを可能にし、これによって、手術処置から生じる損傷のリスクを最小限に抑えることができる。
【0035】
手術可視化システムは、以下に詳細に説明される。一般に、手術可視化システムは、複数のスペクトル波を放射するように構成された第１の光エミッタと、光パターンを放射するように構成された第２の光エミッタと、可視光、スペクトル波に対する分子応答（分光イメージング）、及び／又は光パターンを検出するように構成された受信器、若しくはセンサと、を含むことができる。手術可視化システムはまた、撮像システムと、受信器及び撮像システムとを信号通信する制御回路と、を含むことができる。受信器からの出力に基づいて、制御回路は、手術部位における可視表面の幾何学的表面マップ、例えば、三次元表面トポグラフィ、及び少なくとも部分的に隠れた構造までの距離などの手術部位に対する距離を判定することができる。撮像システムは、幾何学的表面マップ及び距離を医師に伝達することができる。そのような例では、医師に提供される手術部位の拡張ビューは、手術部位に関連するコンテキスト内で隠れた構造の表示を提供することができる。例えば、撮像システムは、が表面の下方のユーティリティ配管を示すために地面に引かれた線と同様に、隠している及び／又は遮断している組織の幾何学的表面マップ上に隠れた構造を仮想的に拡張することができる。追加的又は代替的に、撮像システムは、可視の遮断している組織まで、及び／若しくは少なくとも部分的に隠れた構造までの手術ツールの近接度、並びに／又は、遮蔽している組織の可視表面の下方に隠された構造の深さを伝達することができる。例えば、可視化システムは、可視組織の表面上の拡張された線に対する距離を判定し、その距離を撮像システムに伝達することができる。
【0036】
本開示を通じて、特に可視光に言及しない限り、「光」への言及は全て、電磁放射線（electromagnetic radiation、ＥＭＲ）波長スペクトルの可視部分及び／又は非可視部分におけるＥＭＲ又は光子を含むことができる。可視スペクトルは、場合によっては、光スペクトル又は発光スペクトルとも称され、人間の目に見える（例えば、人間の目によって検出することができる）電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約３８０ｎｍ～約７５０ｎｍの波長に応答する。不可視スペクトル（例えば、非発光スペクトル）は、可視スペクトルの下及び上にある電磁スペクトルの部分である。不可視スペクトルは、人間の目で検出可能ではない。約７５０ｎｍを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線（ｉｎｆｒａｒｅｄ、ＩＲ）、マイクロ波及び無線電磁放射線になる。約３８０ｎｍ未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、ｘ線及びガンマ線電磁放射線になる。
【0037】
図１は、手術可視化システム１００の一実施形態を例解する。手術可視化システム１００は、解剖学的領域内の重要構造１０１の視覚的表示を作成するように構成されている。重要構造１０１は、単一の重要構造又は複数の重要構造を含むことができる。本明細書で論じるように、重要構造１０１は、解剖学的構造、例えば、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、血管、腫瘍、若しくは他の解剖学的構造、又は外来構造、例えば、手術デバイス、手術締結具、手術クリップ、手術留め金、ブジー、手術バンド、手術プレート、若しくは他の外来構造などの様々な構造のいずれかとすることができる。本明細書で論じるように、重要構造１０１は、患者ごと及び／又は処置ごとに特定することができる。重要構造の実施形態及び可視化システムを使用して重要構造を特定する実施形態は、２０２０年１０月６日に発行された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｏｆ Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ」と題する米国特許第１０，７９２，０３４号に更に説明されており、その全体が参照することによって本明細書に組み込まれる。
【0038】
いくつかの例では、重要構造１０１は、組織１０３に埋め込まれ得る。組織１０３は、脂肪、結合組織、癒着、及び／又は臓器などの様々な組織のうちのいずれかであることができる。換言すれば、重要構造１０１は、組織１０３の表面１０５の下方に位置付けられ得る。そのような例では、組織１０３は、医師の「肉眼」のビューから重要構造１０１を隠している。組織１０３はまた、手術可視化システム１００の撮像デバイス１２０の視野から重要構造１０１を覆い隠す。重要構造１０１は、完全に覆い隠される代わりに、医師及び／又は撮像デバイス１２０の視野から部分的に覆い隠されることができる。
【0039】
手術可視化システム１００は、臨床分析及び／又は医学的介入で使用することができる。特定の例では、手術可視化システム１００を術中に使用して、近接度データ、寸法、及び／又は距離に関するリアルタイム情報などのリアルタイム情報を、手術処置中に医師に提供することができる。当業者であれば、情報は正確にリアルタイムでないが、それでもなお、データ送信によって引き起こされる時間遅延、データ処理によって引き起こされる時間遅延、及び／又は測定機器の感度などの様々な理由のいずれかにより、リアルタイムであるとみなされることがあると認識するだろう。手術可視化システム１００は、重要構造の術中特定のために、及び／又は手術デバイスによる重要構造１０１の回避を容易にするように構成されている。例えば、重要構造１０１を特定することによって、医師は、手術処置中に、重要構造１０１及び／又は重要構造１０１の既定の近接度の領域の周囲で手術デバイスを操作することを回避できる。別の実施例では、重要構造１０１を特定することによって、医師は、重要構造１０１及び／又はその近くの切開を回避することができ、それによって、重要構造１０１への損傷を防止するのに役立ち、及び／又は医師によって使用されている手術デバイスが重要構造１０１によって損傷されるのを防止するのに役立つ。
【0040】
手術可視化システム１００は、手術可視化システムの距離センサシステム１０４と組み合わせた組織特定及び幾何学的表面マッピングを組み込むように構成されている。組み合わせると、手術可視化システム１００のこれらの特徴は、解剖学的領域内の重要構造１０１の位置、並びに／又は、可視組織１０３の表面１０５及び／若しくは重要構造１０１への手術デバイス１０２の近接度を判定することができる。更に、手術可視化システム１００は、例えば、手術部位のリアルタイムのビューを提供するように構成された撮像デバイス１２０を含む撮像システムを含む。撮像デバイス１２０は、例えば、反射されたスペクトル波形を検出し、かつ様々な波長に対する分子応答に基づいて、画像のスペクトルキューブを生成するように構成されているスペクトルカメラ（例えば、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラ）を含むことができる。撮像デバイス１２０からのビューは、ディスプレイ（例えば、モニタ、コンピュータタブレット画面など）上などで、医師にリアルタイムで提供され得る。表示されたビューは、組織特定、ランドスケープマッピング、及び距離センサシステム１０４に基づく追加の情報で拡張することができる。そのような例では、手術可視化システム１００は、複数のサブシステム、つまり、撮像サブシステム、表面マッピングサブシステム、組織特定サブシステム、及び／又は距離判定サブシステムを含む。これらのサブシステムは協働して、高度なデータ合成及び統合された情報を手術中に医師に対して提供することができる。
【0041】
撮像デバイス１２０は、例えば、可視光、スペクトル光波（可視又は不可視）、及び構造化光パターン（可視又は不可視）を検出するように構成することができる。撮像デバイス１２０の実施例は、スコープ、例えば、内視鏡、関節鏡、血管鏡、気管支鏡、総胆管鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃－十二指腸鏡（胃鏡）、喉頭鏡、鼻咽頭－鼻腔鏡、Ｓ状結腸鏡、胸腔鏡、尿管鏡、又はエキソスコープを含む。スコープは、低侵襲手術処置において特に有用とすることができる。開腹手術用途では、撮像デバイス１２０は、スコープを含まなくてもよい。
【0042】
組織特定サブシステムは、スペクトル撮像システムを用いて達成することができる。スペクトル撮像システムは、ハイパースペクトル撮像、マルチスペクトル撮像、又は選択的スペクトル撮像などの撮像に依存することができる。組織のハイパースペクトル撮像の実施形態は、２０１６年３月１日に発行された、「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｇｒｏｓｓ Ａｎａｔｏｍｉｃ Ｐａｔｈｏｌｏｇｙ Ｕｓｉｎｇ Ｈｙｐｅｒｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ」と題する米国特許第９，２７４，０４７号に更に説明されており、参照によりその全体が本明細書に組み込まれる。
【0043】
表面マッピングサブシステムは、光パターンシステムを用いて達成することができる。表面マッピングのために光パターン（又は構造化光）を使用する様々な表面マッピング技法が、本明細書に説明される手術可視化システムにおいて利用することができる。構造化光は、表面上に既知のパターン（多くの場合、グリッド又は水平バー）を投影するプロセスである。特定の例では、見えない（つまり、検知不能な）構造化光を利用することができ、構造化光は、投影されたパターンが混乱し得る他のコンピュータビジョンタスクと干することなく利用される。例えば、２つの正確に反対のパターンを繰り返す赤外光又は非常に速いフレームレートの可視光を利用して干渉を防止することができる。表面マッピング、並びに光源及び光パターンを投影するためのプロジェクタを含む手術システムの実施形態は、２０１７年３月２日に公開された「Ｓｅｔ Ｃｏｍｐｒｉｓｉｎｇ Ａ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ」と題する米国特許出願公開第２０１７／００５５８１９号、２０１７年９月７日に公開された「Ｄｅｐｉｃｔｉｏｎ Ｓｙｓｔｅｍ」と題する米国特許出願公開第２０１７／０２５１９００号、及び２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号に更に説明されており、参照によりそれらの全体が本明細書に組み込まれる。
【0044】
距離判定システムは、表面マッピングシステムに組み込むことができる。例えば、構造化光を利用して、可視表面１０５の三次元（three-dimensional、３Ｄ）仮想モデルを生成し、可視表面１０５に対する様々な距離を判定することができる。追加的又は代替的に、距離判定システムは飛行時間測定に依存し、手術部位における特定された組織（又は他の構造）に対する１つ又は２つ以上の距離を判定することができる。
【0045】
手術可視化システム１００はまた、手術デバイス１０２を含む。手術デバイス１０２は、任意の好適な手術デバイスとすることができる。手術デバイス１０２の実施例は、手術解剖器具、手術ステープラ、手術把持器、クリップアプライヤ、煙排出器、手術エネルギーデバイス（例えば、単極プローブ、双極プローブ、アブレーションプローブ、超音波デバイス、超音波エンドエフェクタなど）などを含む。いくつかの実施形態では、手術デバイス１０２は、手術デバイス１０２のシャフトの遠位端から延在し、組織をそれらの間に係合するように構成されている対向するジョーを有するエンドエフェクタを含む。
【0046】
手術可視化システム１００は、重要構造１０１と、重要構造１０１に対する手術デバイス１０２の近接度とを特定するように構成することができる。手術可視化システム１００の撮像デバイス１２０は、例えば、可視光、スペクトル光波（可視又は不可視）、及び構造化光パターン（可視又は不可視）などの様々な波長の光を検出するように構成されている。撮像デバイス１２０は、異なる信号を検出するための複数のレンズ、センサ、及び／又は受信器を含むことができる。例えば、撮像デバイス１２０は、本明細書で更に説明されるように、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラとすることができる。撮像デバイス１２０はまた、波形センサ１２２（例えば、スペクトル画像センサ、検出器、及び／又は三次元カメラレンズ）も含むことができる。例えば、撮像デバイス１２０は、２つの二次元画像を同時に記録することによって、手術部位の三次元（３Ｄ）画像を生成し、手術部位の三次元画像をレンダリングし、かつ／又は、手術部位で１つ又は２つ以上の距離を判定するために一緒に使用される右側レンズ及び左側レンズを含むことができる。追加的又は代替的に、撮像デバイス１２０は、本明細書で更に説明されるように、可視組織のトポグラフィ、並びに隠れた重要構造の特定及び位置を示す画像を受信するように構成することができる。例えば、図１に示されるように、撮像デバイス１２０の視野を、組織１０３の表面１０５上の光パターン（構造化光）と重ねることができる。
【0047】
この例解された実施形態のように、手術可視化システム１００は、ロボットシステム１１０に組み込むことができる。ロボット手術システム１１０は、本明細書で論じられるように、様々な構成を有することができる。例解された実施形態では、ロボット手術システム１１０は、第１のロボットアーム１１２と第２のロボットアーム１１４とを含む。ロボットアーム１１２、１１４は、各々、サーボモータ制御を含むことができる剛性構造部材１１６及び継手１１８を含む。第１のロボットアーム１１２は、手術デバイス１０２を操作するように構成されており、第２のロボットアーム１１４は、撮像デバイス１２０を操作するように構成されている。ロボット手術システム１１０のロボット制御ユニットは、それぞれ手術デバイス１０２及び撮像デバイス１２０に作用することができる第１のロボットアーム１１２及び第２のロボットアーム１１４への制御運動を発するように構成されている。
【0048】
いくつかの実施形態では、ロボットアーム１１２、１１４のうちの１つ又は２つ以上は、手術処置で使用される主ロボットシステム１１０とは別個とすることができる。例えば、ロボットアーム１１２、１１４のうちの少なくとも１つは、サーボモータ制御なしに特定の座標系に位置付けられ、かつ位置合わせすることができる。例えば、ロボットアーム１１２、１１４に対する閉ループ制御システム及び／又は複数のセンサは、特定の座標系に対するロボットアーム１１２、１１４の位置を制御し、かつ／又は位置合わせすることができる。同様に、手術デバイス１０２及び撮像デバイス１２０の位置は、特定の座標系に対して位置合わせすることができる。
【0049】
ロボット手術システムの実施例は、Ｏｔｔａｖａ（商標）のロボット支援手術システム（Ｊｏｈｎｓｏｎ ＆ Ｊｏｈｎｓｏｎ ｏｆ Ｎｅｗ Ｂｒｕｎｓｗｉｃｋ、ＮＪ）、ｄａ Ｖｉｎｃｉ（登録商標）の手術システム（Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ，Ｉｎｃ．ｏｆ Ｓｕｎｎｙｖａｌｅ、ＣＡ）、Ｈｕｇｏ（商標）のロボット支援手術システム（Ｍｅｄｔｒｏｎｉｃ ＰＬＣ ｏｆ Ｍｉｎｎｅａｐｏｌｉｓ、ＭＮ）、Ｖｅｒｓｉｕｓ（登録商標）の手術ロボットシステム（ＣＭＲ Ｓｕｒｇｉｃａｌ Ｌｔｄ ｏｆ Ｃａｍｂｒｉｄｇｅ、ＵＫ）、及びＭｏｎａｒｃｈ（登録商標）のプラットフォーム（Ａｕｒｉｓ Ｈｅａｌｔｈ，Ｉｎｃ．ｏｆ Ｒｅｄｗｏｏｄ Ｃｉｔｙ、ＣＡ）を含む。様々なロボット手術処置システム及びロボット手術システムを使用する実施形態は、２０１６年１２月２８日に出願された「Ｆｌｅｘｉｂｌｅ Ｉｎｓｔｒｕｍｅｎｔ Ｉｎｓｅｒｔｉｏｎ Ｕｓｉｎｇ Ａｎ Ａｄａｐｔｉｖｅ Ｆｏｒｃｅ Ｔｈｒｅｓｈｏｌｄ」と題する米国特許出願公開第２０１８／０１７７５５６号、２０１９年４月１６日に出願された「Ｓｙｓｔｅｍｓ Ａｎｄ Ｔｅｃｈｎｉｑｕｅｓ Ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｍｕｌｔｉｐｌｅ Ｐｅｒｓｐｅｃｔｉｖｅｓ Ｄｕｒｉｎｇ Ｍｅｄｉｃａｌ Ｐｒｏｃｅｄｕｒｅｓ」と題する米国特許出願公開第２０２０／００００５３０号、２０２０年２月７日に出願された「Ｉｍａｇｅ－Ｂａｓｅｄ Ｂｒａｎｃｈ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ Ｆｏｒ Ｎａｖｉｇａｔｉｏｎ」と題する米国特許出願公開第２０２０／０１７０７２０号、２０１９年１２月９日に出願された「Ｓｕｒｇｉｃａｌ Ｒｏｂｏｔｉｃｓ Ｓｙｓｔｅｍ」と題する米国特許出願公開第２０２０／０１８８０４３号、２０１９年９月３日に出願された「Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃｏｎｃｏｍｉｔａｎｔ Ｍｅｄｉｃａｌ Ｐｒｏｃｅｄｕｒｅｓ」と題する米国特許出願公開第２０２０／００８５５１６号、２０１３年７月１５日に出願された「Ｐａｔｉｅｎｔ－Ｓｉｄｅ Ｓｕｒｇｅｏｎ Ｉｎｔｅｒｆａｃｅ Ｆｏｒ Ａ Ｔｅｌｅｏｐｅｒａｔｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ」と題する米国特許第８，８３１，７８２号、及び２０１４年３月１３日に出願された「Ｈｙｐｅｒｄｅｘｔｅｒｏｕｓ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する国際公開第２０１４１５１６２１号に更に説明されている。
【0050】
手術可視化システム１００はまた、エミッタ１０６を含む。エミッタ１０６は、表面１０５のトポグラフィ又はランドスケープの判定を可能にするために、縞、グリッド線、及び／又はドットなどの光パターンを放射するように構成されている。例えば、投影された光アレイ１３０は、表面１０５上の三次元スキャン及び位置合わせのために使用することができる。投影された光アレイ１３０は、手術デバイス１０２、及び／又はロボットアーム１１２、１１４のうちの１つ、及び／又は撮像デバイス１２０上に位置するエミッタ１０６から放射することができる。一態様では、投影された光アレイ１３０は、手術可視化システム１００が組織１０３の表面１０５及び／又は表面１０５の運動により手術中に画定される形状を判定するために採用される。撮像デバイス１２０は、表面１０５から反射された投影された光アレイ１３０を検出して、表面１０５のトポグラフィ、及び表面１０５に対する様々な距離を判定するように構成されている。
【0051】
この例解された実施形態におけるように、撮像デバイス１２０は、撮像デバイス１２０上に装着されるか、又は別様に取り付けられることなどによって、光波形エミッタ１２３を含むことができる。光波形エミッタ１２３は、組織１０３の表面１０５を透過して重要構造１０１に到達することができる電磁放射線１２４（ＮＩＲ光子）を放射するように構成されている。撮像デバイス１２０、及び光波形エミッタ１２３は、ロボットアーム１１４によって位置付け可能とすることができる。光波形エミッタ１２３は、撮像デバイス１２２上、又は別様に装着されるが、他の実施形態では、撮像デバイス１２０とは別個の手術デバイス上に位置付けることができる。撮像デバイス１２０上の対応する波形センサ１２２（例えば、画像センサ、分光計、又は振動センサ）は、波形センサ１２２によって受信された電磁放射線の影響を検出するように構成されている。光波形エミッタ１２３から放射される電磁放射線１２４の波長は、重要構造１０１などの解剖学的構造及び／又は身体構造の種類の特定を可能にするように構成することができる。重要構造１０１の特定は、例えば、スペクトル分析、光音響、及び／又は超音波によって達成することができる。一態様では、電磁放射線１２４の波長は可変とすることができる。波形センサ１２２及び光波形エミッタ１２３は、例えば、マルチスペクトル撮像システム及び／又は選択的スペクトル撮像システムを含むことができる。他の実施例では、波形センサ１２２及び光波形エミッタ１２３は、例えば、光音響撮像システムを含むことができる。
【0052】
手術可視化システム１００の距離センサシステム１０４は、手術部位における１つ又は２つ以上の距離を判定するように構成されている。距離センサシステム１０４は、この例解された実施形態におけるようなエミッタ１０６などのエミッタを含み、受信器１０８を含む、飛行時間型距離センサシステムとすることができる。他の例では、飛行時間エミッタは構造化光エミッタとは別個であり得る。エミッタ１０６は、非常に小さなレーザ源を含むことができ、受信器１０８は、マッチングセンサを含むことができる。距離センサシステム１０４は、「飛行時間」、又はエミッタ１０６によって放射されたレーザ光が受信器１０８のセンサ部分に跳ね返るまでにかかる時間を検出するように構成されている。エミッタ１０６中で非常に狭い光源を使用することにより、距離センサシステム１０４が、距離センサシステム１０４の直ぐ前にある組織１０３の表面１０５までの距離を判定することを可能にする。
【0053】
距離センサシステム１０４の受信器１０８は、この例解された実施形態では手術デバイス１０２上に位置付けられるが、他の実施形態では、受信器１０８は、手術デバイス１０２の代わりに別個の手術デバイス上に装着することができる。例えば、受信器１０８は、手術デバイス１０２が手術部位に到達するようにそこを通って延在するカニューレ又はトロカール上に装着することができる。更に他の実施形態では、距離センサシステム１０４のための受信器１０８は、手術デバイス１０２が結合された第１のロボットアーム１１２とは別個のロボットシステム１１０のロボット制御アーム上に（例えば、第２のロボットアーム１１４上に）装着することができるか、別のロボットによって動作する可動アーム上に装着することができるか、又は手術室（ＯＲ）台若しくは固定具に装着することができる。いくつかの実施形態では、撮像デバイス１２０は、手術デバイス１０２上のエミッタ１０６と撮像デバイス１２０との間の線を使用して、エミッタ１０６から組織１０３の表面１０５までの距離を判定することを可能にする受信器１０８を含む。例えば、距離センサシステム１０４の（手術デバイス１０２上の）エミッタ１０６、及び（撮像デバイス１２０上の）受信器１０８の既知の位置に基づいて、距離ｄｅを三角測量することができる。受信器１０８の三次元位置は、手術中に、ロボット座標平面に対して知ること、及び／又は位置合わせすることができる。
【0054】
この例解された実施形態におけるように、距離センサシステム１０４のエミッタ１０６の位置は、第１のロボットアーム１１２によって制御することができ、距離センサシステム１０４の受信器１０８の位置は、第２のロボットアーム１１４によって制御することができる。別の実施形態では、手術可視化システム１００は、ロボットシステムとは別に利用することができる。そのような例では、距離センサシステム１０４は、ロボットシステムとは独立していてもよい。
【0055】
図１では、ｄｅは、エミッタ１０６から組織１０３の表面１０５までのエミッタ－組織間距離であり、ｄｔは、手術デバイス１０２の遠位端から組織１０３の表面１０５までのデバイス－組織間距離である。距離センサシステム１０４は、エミッタ－組織間距離ｄｅを判定するように構成されている。デバイス－組織間距離ｄｔは、手術デバイス１０２の遠位端に対する、手術デバイス１０２上、例えば、手術デバイスの遠位端に近位のそのシャフト上のエミッタ１０６の既知の位置から取得可能である。言い換えると、エミッタ１０６と手術デバイス１０２の遠位端との間の距離が既知であるときに、デバイス－組織間距離ｄｔは、エミッタ－組織間距離ｄｅから判定することができる。いくつかの実施形態では、手術デバイス１０２のシャフトは、１つ又は２つ以上の関節継手を含むことができ、エミッタ１０６及び手術デバイス１０２の遠位端におけるジョーに対して関節運動可能とすることができる。関節運動構成は、例えば、多関節椎骨様構造を含むことができる。いくつかの実施形態では、三次元カメラを利用して、表面１０５までの１つ又は２つ以上の距離を三角測量することができる。
【0056】
図１では、ｄｗは、撮像デバイス１２０上に位置する光波形エミッタ１２３から重要構造１０１の表面までのカメラ－重要構造間距離であり、ｄＡは、組織１０３の表面１０５の下方の重要構造１０１の深さ（例えば、手術デバイス１０２に最も近い表面１０５の一部分と重要構造１０１との間の距離）である。撮像デバイス１２０上に位置する光波形エミッタ１２３から放射される光波形の飛行時間は、カメラ－重要構造間距離ｄｗを判定するように構成されている。
【0057】
図２に示されるように、組織１０３の表面１０５に対する重要構造１０１の深さｄＡは、距離ｄｗ、並びに手術デバイス１０２上のエミッタ１０６、及び撮像デバイス１２０上の光波形エミッタ１２３の既知の位置（したがって、これらの間の既知の距離ｄｘ）から三角測量によって判定されて、距離ｄｅとｄＡとの合計である距離ｄｙを判定することができる。追加的又は代替的に、光波形エミッタ１２３からの飛行時間は、光波形エミッタ１２３から組織１０３の表面１０５までの距離を判定するように構成することができる。例えば、第１の波形（又は波形範囲）を利用して、カメラ－重要構造間距離ｄｗを判定することができ、第２の波形（又は波形範囲）を利用して、組織１０３の表面１０５までの距離を判定することができる。そのような例では、異なる波形を利用して、組織１０３の表面１０５の下方の重要構造１０１の深さを判定することができる。
【0058】
追加的又は代替的に、距離ｄＡは、超音波、位置合わせされた磁気共鳴ビュー（magnetic resonance imaging、ＭＲＩ）、又はコンピュータ断層撮影（computerized tomography、ＣＴ）スキャンから判定することができる。更に他の例では、距離ｄＡは、撮像デバイス１２０によって受信された検出信号が材料の種類、例えば、組織１０３の種類に基づいて変動し得るので、スペクトル撮像によって判定することができる。例えば、脂肪は、検出信号を第１の方法、又は第１の量で減少させることができ、コラーゲンは、検出信号を異なる第２の方法、又は第２の量で減少させることができる。
【0059】
図３に例解された手術可視化システム１６０の別の実施形態では、撮像デバイス１２０ではなく手術デバイス１６２は、光波形エミッタ１２３と、反射された波形を検出するように構成されている波形センサ１２２と、を含む。光波形エミッタ１２３は、本明細書で更に説明されるように、手術デバイス１６２などの共通デバイスからの距離ｄｔ、及びｄｗを判定するための波形を放射するように構成されている。そのような例では、組織１０３の表面１０５から重要構造１０１の表面までの距離ｄＡは、以下のように判定することができる。
ｄＡ＝ｄｗ－ｄｔ
ｄＡ＝ｄｗ－ｄｔ
【0060】
手術可視化システム１００は、手術可視化システム１００の様々な態様を制御するように構成された制御システムを含む。図４は、手術可視化システム１００（又は本明細書に説明される他の手術可視化システム）の制御システムとして利用することができる制御システム１３３の一実施形態を例解する。制御システム１３３は、メモリ１３４と信号通信するように構成された制御回路１３２を含む。メモリ１３４は、重要構造（例えば、図１の重要構造１０１）を判定及び／又は認識するための命令、１つ又は２つ以上の距離及び／又は三次元デジタル表示を判定及び／又は計算するための命令、並びに、情報を医師に通信するための命令など、制御回路１３２により実行可能な命令を記憶するように構成されている。したがって、メモリ１３４内に記憶された命令は、プロセッサによって実行されるときに、プロセッサに上述のように実行させる命令を含むコンピュータプログラム製品を構成する。また、このような命令は、任意のコンピュータ可読媒体（光ディスク、ＳＤカード、ＵＳＢドライブなど、又は別個のデバイスのメモリなど）に記憶されてもよく、そこからメモリ１３４にコピーされるか、又は直接実行されてもよい。コピー又は直接実行のプロセスは、コンピュータプログラム製品を搬送するデータキャリア信号の作成を伴う。この例解された実施形態におけるように、メモリ１３４は、表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１を記憶することができるが、メモリ１３４は、ロジック１３６、１３８、１４０、１４１の任意の組み合わせを記憶することができ、及び／又は様々なロジックを一緒に組み合わせることができる。制御システム１３３はまた、カメラ１４４を含む撮像システム１４２（例えば、図１の撮像デバイス１２０を含む撮像システム）、ディスプレイ１４６（例えば、モニタ、コンピュータタブレットスクリーン）、並びにカメラ１４４及びディスプレイ１４６の制御部１４８を含む。カメラ１４４は、様々な可視及び不可視スペクトルで光を放射する様々な光源からの信号を受信するように構成された画像センサ１３５（例えば、波形センサ１２２）（例えば、可視光、スペクトルイメージャ、三次元レンズなど）を含む。ディスプレイ１４６は、実際の、仮想の、及び／又は仮想的に拡張された画像及び／又は情報を医師に描写するように構成されている。
【0061】
例示的な実施形態では、画像センサ１３５は、ピクセルと呼ばれる個別の光検出器部位を最大で数百万個含む固体電子デバイスである。画像センサ１３５の技術は、電荷結合素子（Charge-Coupled Device、ＣＣＤ）イメージャ及び相捕型金属酸化膜半導体（Complementary Metal Oxide Semiconductor、ＣＭＯＳ）イメージャの２つの範疇のうちの１つに分類され、より直近になると、短波赤外線（short-wave infrared、ＳＷＩＲ）が撮像における新技術である。別の種類の画像センサ１３５は、ハイブリッドＣＣＤ／ＣＭＯＳアーキテクチャ（「ｓＣＭＯＳ」の名称で販売）を採用し、ＣＣＤ撮像基板にバンプ接合されたＣＭＯＳ読み出し集積回路（readout integrated circuit、ＲＯＩＣ）からなる。ＣＣＤ及びＣＭＯＳ画像センサ１３５は、約４００ｎｍ～約１０００ ｎｍの範囲など、約３５０ ｎｍ～約１０５０ ｎｍの範囲の波長に対して感度がある。当業者であれば、値が正確にある値ではないが、それでもなお、測定機器の感度及び製造公差などの様々な理由のいずれかにより、ほぼその値であるとみなされることがあると認識するであろう。ＣＭＯＳセンサは、一般に、ＣＣＤセンサよりもＩＲ波長に対して感度が高い。固体画像センサ１３５は、光電効果に基づいており、結果として、色を区別することができない。したがって、１チップ及び３チップの２種類のカラーＣＣＤカメラが存在する。１チップカラーＣＣＤカメラは、よく採用される低コストの撮像ソリューションを提供し、モザイク（例えば、ベイヤー）光学フィルタを使用して、入射光を一連の色に分離し、補間アルゴリズムを採用してフルカラー画像を解像する。次いで、各色は、異なるピクセルセットに方向付けられる。３チップカラーＣＣＤカメラは、プリズムを採用することによってより高い分解能を提供し、入射スペクトルの各セクションを異なるチップに誘導する。オブジェクトの空間内の各点が、色を判定するためのアルゴリズムを使用するのではなく、別個のＲＧＢ強度値を有するため、より正確な色再現が可能である。３チップカメラは、非常に高い分解能を提供する。
【0062】
制御システム１３３はまた、各々が制御回路１３３に動作可能に結合されたスペクトル光源１５０及び構造化光源１５２を含むエミッタ（例えば、エミッタ１０６）を含む。単一の光源は、スペクトル光源１５０の範囲内の光の波長及び構造化光源１５２の範囲内の光の波長を放射するようにパルス化することができる。代替的に、単一の光源は、可視スペクトル内の光（例えば、赤外スペクトル光）及び可視スペクトル上の光の波長を提供するようにパルス化することができる。スペクトル光源１５０は、例えば、ハイパースペクトル光源、マルチスペクトル光源、及び／又は選択的スペクトル光源とすることができる。組織特定ロジック１４０は、カメラ１４４の画像センサ１３５によって受信されたスペクトル光源１５０からのデータを介して、重要構造（例えば、図１の重要構造１０１）を特定するように構成されている。表面マッピングロジック１３６は、反射された構造化光に基づいて、可視組織（例えば、組織１０３）の表面の輪郭を判定するように構成されている。飛行時間測定により、距離判定ロジック１４１は、可視組織及び／又は重要構造までの１つ又は２つ以上の距離を判定するように構成されている。表面マッピングロジック１３６、組織特定ロジック１４０、及び距離判定ロジック１４１の各々からの出力は、撮像ロジック１３８に提供され、撮像システム１４２のディスプレイ１４６を介して医師に伝達されるように撮像ロジック１３８によって、組み合わされ、一体化され、及び／又は重ね合わせられるように構成されている。
【0063】
制御回路１３２は、様々な構成を有することができる。図５は、手術可視化システム１００の態様を制御するように構成された制御回路１３２として使用することができる制御回路１７０の一実施形態を例解する。制御回路１７０は、本明細書に説明される様々なプロセスを実装するように構成されている。制御回路１７０は、メモリ１７４に動作可能に結合されたプロセッサ１７２（例えば、マイクロプロセッサ又はマイクロコントローラ）を含むマイクロコントローラを含む。メモリ回路１７４は、プロセッサ１７２によって実行されるときに、プロセッサ１７２に、本明細書に説明される様々なプロセスを実装するための機械命令を実行させる、機械実行可能命令を記憶するように構成されている。プロセッサ１７２は、当該技術分野で既知のいくつかのシングルコアプロセッサ又はマルチコアプロセッサのうちの任意の１つとすることができる。メモリ回路１７４は、揮発性及び不揮発性の記憶媒体を含むことができる。プロセッサ１７２は、命令処理ユニット１７６、及び演算ユニット１７８を含む。命令処理ユニット１７６は、メモリ回路１７４から命令を受信するように構成されている。
【0064】
表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１は、様々な構成を有することができる。図６は、表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１のうちの１つ又は２つ以上などのロジックを使用して、手術可視化システム１００の態様を制御するように構成された組み合わせロジック回路１８０の一実施形態を例解する。組み合わせロジック回路１８０は、入力１８４において手術デバイス（例えば、手術デバイス１０２及び／又は撮像デバイス１２０）に関連付けられたデータを受信し、組み合わせロジック１８２によってデータを処理し、出力１８４を制御回路（例えば、制御回路１３２）に提供するように構成された組み合わせロジック１８２を含む有限状態マシンを含む。
【0065】
図７は、表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１のうちの１つ又は２つ以上などのロジックを使用して、手術可視化システム１００の態様を制御するように構成された順序ロジック回路１９０の一実施形態を例解する。順序ロジック回路１９０は、組み合わせロジック１９２、メモリ１９４、及びクロック１９６を含む有限状態マシンを含む。メモリ１９４は、有限状態マシンの現在の状態を記憶するように構成されている。順序ロジック回路１９０は、同期又は非同期とすることができる。組み合わせロジック１９２は、入力４２６において手術デバイス（例えば、手術デバイス１０２及び／又は撮像デバイス１２０）に関連付けられたデータを受信し、組み合わせロジック１９２によってデータを処理し、出力４９９を制御回路（例えば、制御回路１３２）に提供するように構成されている。いくつかの態様では、順序ロジック回路１９０は、プロセッサ（例えば、図５のプロセッサ１７２）と、本明細書の様々なプロセスを実装する有限状態マシンと、の組み合わせを含むことができる。いくつかの実施形態では、有限状態マシンは、組み合わせロジック回路（例えば、図７の組み合わせロジック回路１９２）と順序ロジック回路１９０との組み合わせを含むことができる。
【0066】
図８は、手術可視化システム２００の別の実施形態を例解する。手術可視化システム２００は、概して、図１の手術可視化システム１００と同様に構成されており、使用され、例えば、手術デバイス２０２及び撮像デバイス２２０を含む。撮像デバイス２２０は、例えば、隠れた構造のスペクトル画像を取得するために複数の波長のスペクトル光を放射するように構成されたスペクトル光エミッタ２２３を含む。撮像デバイス２２０はまた、三次元カメラ及び関連する電子処理回路を含むことができる。臓器２０３の表面２０５上では不可視の尿管２０１ａ、及び臓器２０３（この例では、子宮）内の血管２０１ｂなどの特定の重要構造を特定し、それらの回避を容易にするために術中に利用されている、手術可視化システム２００が示されている。
【0067】
手術可視化システム２００は、構造化光によって、手術デバイス２０２上のエミッタ２０６から子宮２０３の表面２０５までのエミッタ－組織間距離ｄｅを判定するように構成されている。手術可視化システム２００は、エミッタ－組織間距離ｄｅに基づいて、手術デバイス２０２から子宮２０３の表面２０５までのデバイス－組織間距離ｄｔを外挿するように構成されている。手術可視化システム２００はまた、尿管２０１ａから表面２０５までの組織－尿管間距離ｄＡ、及び撮像デバイス２２０から尿管２０１ａまでのカメラ－尿管間距離ｄｗを判定するように構成されている。本明細書に説明されるように、例えば、図１の手術可視化システム１００に関して、手術可視化システム２００は、例えば、スペクトル撮像及び飛行時間型センサを用いて、距離ｄｗを判定するように構成されている。様々な実施形態では、手術可視化システム２００は、本明細書に説明される他の距離、及び／又は表面マッピングロジックに基づいて、組織－尿管間距離ｄＡ（つまり、深さ）を判定（例えば、三角測量）することができる。
【0068】
上述したように、手術可視化システムは、手術可視化システムの様々な態様を制御するように構成された制御システムを含む。制御システムは、様々な構成を有することができる。図９は、図１の手術可視化システム１００、図８の手術可視化システム２００、又は本明細書に説明される他の手術可視化システムなどの手術可視化システムのための制御システム６００の一実施形態を例解する。制御システム６００は、スペクトルシグネチャ組織特定及び構造化光組織位置付けを統合して、特に、重要構造が組織、例えば、脂肪、結合組織、血液組織、及び／又は臓器によって、及び／又は血液によって不覆い隠されているときにその構造を特定し、及び／又は腫瘍及び／又は非健常組織を臓器内の健常組織から区別するなど、組織変動性を検出する変換システムである。
【0069】
制御システム６００は、ハイパースペクトル撮像可視化システムを実装するように構成されており、このシステムでは、分子応答を利用して、手術視野内の解剖学的構造を検出及び特定する。制御システム６００は、組織データを外科医及び／又は他の医療従事者に使用可能な情報に変換するように構成された変換ロジック回路６４８を含む。例えば、覆い隠されている材料に対する波長に基づく可変反射率を利用して、解剖学的構造中の重要構造を特定することができる。更に、制御システム６００は、特定されたスペクトルシグネチャと構造光データとを画像内で組み合わせるように構成されている。例えば、制御システム６００を採用して、拡張画像オーバーレイを用いたシステムにおける手術用途のための三次元データセットを作成することができる。技術は、追加の視覚的情報を採用して、手術中及び手術前の両方で採用することができる。様々な実施形態では、制御システム６００は、１つ又は２つ以上の重要構造の近接するときに、医師に警告を提供するように構成されている。外科手術及び重要構造への近接度に基づくロボット自動化アプローチ及び半自動化アプローチを誘導するために、様々なアルゴリズムを採用することができる。
【0070】
投影された光アレイは、組織の形状及び運動を術中に判定するために制御システム６００によって採用される。代替的に、フラッシュライダーを組織の表面マッピングに利用してもよい。
【0071】
制御システム６００は、上述のように、１つ又は２つ以上の重要構造を含むことができる重要構造を検出し、重要構造の画像オーバーレイを提供し、可視組織の表面までの距離、及び埋め込まれた／埋もれた重要構造までの距離を測定するように構成されている。制御システム６００は、可視組織の表面までの距離を測定し、又は重要構造を検出し、重要構造の画像オーバーレイを提供することができる。
【0072】
制御システム６００は、スペクトル制御回路６０２を含む。スペクトル制御回路６０２は、フィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）又は図６、図７、及び図８に関して説明される構成などの別の好適な回路構成であることができる。スペクトル制御回路６０２は、ビデオ入力プロセッサ６０６からビデオ入力信号を受信するように構成されたプロセッサ６０４を含む。プロセッサ６０４は、ハイパースペクトル処理を行うように構成されてよく、例えば、Ｃ／Ｃ＋＋コードを利用することができる。ビデオ入力プロセッサ６０６は、例えば、シャッタ時間、波長、及びセンサ分析などの制御（メタデータ）データのビデオインを受信するように構成されている。プロセッサ６０４は、ビデオ入力プロセッサ６０６からのビデオ入力信号を処理し、例えば、インターフェース制御（メタデータ）データのハイパースペクトルビデオアウトを含むビデオ出力信号をビデオ出力プロセッサ６０８に提供するように構成されている。ビデオ出力プロセッサ６０８は、ビデオ出力信号を画像オーバーレイコントローラ６１０に提供するように構成されている。
【0073】
ビデオ入力プロセッサ６０６は、患者隔離回路６１４を介して患者側のカメラ６１２に動作可能に結合されている。カメラ６１２は、固体画像センサ６３４を含む。患者隔離回路６１４は、患者がシステム内の他の回路から隔離されるように、複数の変圧器を含むことができる。カメラ６１２は、光学素子６３２及び画像センサ６３４を介して術中画像を受信するように構成されている。画像センサ６３４は、例えば、ＣＭＯＳ画像センサを含むことができるか、又は図４に関連して本明細書で論じられるものなどの別の画像センサ技術を含むことができる。カメラ６１２は、１４ビット／ピクセル信号で６１３個の画像を出力するように構成されている。当業者は、より高いか、又はより低い分解能を採用することができると認識するであろう。隔離カメラ出力信号６１３は、カラーＲＧＢ融合回路６１６に提供され、この回路は、この例解された実施形態において、カメラ出力信号６１３を処理する構成されたカメラハードウェアレジスタ６１８及びＮｉｏｓ２コプロセッサ６２０を採用する。ビデオ入力プロセッサ６０６及びレーザパルス制御回路６２２には、カラーＲＧＢ融合出力信号が提供される。
【0074】
レーザパルス制御回路６２２は、レーザ光エンジン６２４を制御するように構成されている。レーザ光エンジン６２４は、近赤外線（ＮＩＲ）を含む複数の波長（λ１、λ２、λ３．．．λｎ）において光を出力するように構成されている。レーザ光エンジン６２４は、複数のモードで動作することができる。例えば、レーザ光エンジン６２４は、２つのモードで動作することができる。第１のモード、例えば、標準動作モードでは、レーザ光エンジン６２４は、照明信号を出力するように構成されている。第２のモード、例えば、特定モードでは、レーザ光エンジン６２４は、ＲＧＢＧ光及びＮＩＲ光を出力するように構成されている。様々な実施形態では、レーザ光エンジン６２４は、偏光モードで動作することができる。
【0075】
レーザ光エンジン６２４からの光出力６２６は、術中の手術部位６２７内の標的とされる解剖学的構造を照明するように構成されている。レーザパルス制御回路６２２はまた、手術部位６２７における手術組織、又は臓器上に所定の波長（λ２）で、ライン及び／又はドットのグリッド又はパターンなどのレーザ光パターン６３１を投影するように構成されたレーザパターンプロジェクタ６３０のためのレーザパルスコントローラ６２８を制御するように構成されている。カメラ６１２は、カメラ光学素子６３２を通して出力されたパターン化された光及び反射光を受信するように構成されている。画像センサ６３４は、受信された光をデジタル信号に変換するように構成されている。
【0076】
カラーＲＧＢ融合回路６１６はまた、画像オーバーレイコントローラ６１０、並びに、レーザパターンプロジェクタ６３０によって手術部位６２７の標的とされる解剖学的構造上に投影されたレーザ光パターン６３１を読み取るためのビデオ入力モジュール６３６に信号を出力するように構成されている。処理モジュール６３８は、レーザ光パターン６３１を処理し、手術部位６２７において可視組織までの距離を表す第１のビデオ出力信号６４０を出力するように構成されている。データは、画像オーバーレイコントローラ６１０に提供される。処理モジュール６３８はまた、手術部位における標的とされる解剖学的構造の組織又は臓器の三次元レンダリングされた形状を表す第２のビデオ信号６４２を出力するように構成されている。
【0077】
第１のビデオ出力信号６４０及び第２のビデオ出力信号６４２は、集積モジュール６４３に提供される三次元表面モデル上の重要構造の位置を表すデータを含む。スペクトル制御回路６０２のビデオ出力プロセッサ６０８からのデータと組み合わせて、集積モジュール６４３は、埋もれた重要構造までの距離（例えば、図１の距離ｄＡ）を（例えば、三角測量アルゴリズム６４４によって）判定するように構成されており、埋もれた重要構造までの距離は、ビデオ出力プロセッサ６４６を介して、画像オーバーレイコントローラ６１０に提供することができる。前述の変換ロジックは、変換ロジック回路６４８、中間ビデオモニタ６５２、及び手術部位６２７に位置付けられたカメラ６２４／レーザパターンプロジェクタ６３０を包含することができる。
【0078】
ＣＴ又はＭＲＩスキャンなどによる術前データ６５０を採用して、特定の三次元変形可能な組織を様々な例で位置合わせ又は整列させることができる。このような術前データ６５０は、集積モジュール６４３、最終的には、画像オーバーレイコントローラ６１０に提供することができるので、このような情報はカメラ６１２のビューと重ね合わせられ、ビデオモニタ６５２に提供することができる。術前データの位置合わせの実施形態は、２０１８年９月１１日に出願された「Ｉｎｔｅｇｒａｔｉｏｎ Ｏｆ Ｉｍａｇｉｎｇ Ｄａｔａ」と題する米国特許出願公開第２０２０／００１５９０７号に更に説明されており、その全体は参照として本明細書に組み込まれる。
【0079】
ビデオモニタ６５２は、画像オーバーレイコントローラ６１０から統合／拡張ビューを出力するように構成されている。医師は、１つ又は２つ以上のディスプレイ上の異なるビューを選択し、及び／又は切り替えることができる。例解された実施形態において、モニタである第１のディスプレイ６５２ａ上で、医師は、（Ａ）可視組織の三次元レンダリングが示されているビューと、（Ｂ）１つ又は２つ以上の隠れた重要構造が可視組織の三次元レンダリングの上に描写される拡張ビューとを切り替えることができる。例解された実施形態において、モニタである第２のディスプレイ６５２ｂ上で、医師は、例えば、１つ又は２つ以上の隠れた重要構造、及び／又は可視組織の表面までの距離測定値を切り替えることができる。
【0080】
本明細書に説明される様々な手術可視化システムを利用して、スペクトルの可視部分においてＥＭＲにより可視化されるのが覆い隠され得る組織、及び／又は解剖学的構造を含む、様々な異なる種類の組織、及び／又は解剖学的構造を可視化することができる。手術可視化システムは、上述したように、スペクトル撮像システムを利用することができ、これは、構成材料の様々な組み合わせに基づいて、異なる種類の組織を可視化するように構成することができる。特に、スペクトル撮像システムは、様々なＥＭＲ波長にわたる組織の吸収係数に基づいて可視化されている組織内の様々な構成材料の存在を検出するように構成することができる。スペクトル撮像システムは、構成材料の特定の組み合わせに基づいて、可視化されている組織の組織種類を特徴付けるように構成することができる。
【0081】
図１０は、様々な生体材料の吸収係数がＥＭＲ波長スペクトルにわたり、どのように変動するかを描写するグラフ３００を示す。グラフ３００では、垂直軸３０２は、生体材料の吸収係数をｃｍ－１単位で表し、水平軸３０４は、ＥＭＲ波長をμｍ単位で表す。このグラフ３００における第１の線３０６は、様々なＥＭＲ波長における水の吸収係数を表し、第２の線３０８は、様々なＥＭＲ波長におけるタンパク質の吸収係数を表し、第３の線３１０は、様々なＥＭＲ波長におけるメラニンの吸収係数を表し、第４の線３１２は、様々なＥＭＲ波長における脱酸素化ヘモグロビンの吸収係数を表し、第５の線３１４は、様々なＥＭＲ波長における酸素化ヘモグロビンの吸収係数を表し、第６の線３１６は、様々なＥＭＲ波長におけるコラーゲンの吸収係数を表す。組織種類が異なると、構成材料の組み合わせも異なるので、手術可視化システムによって可視化されている組織種類は、検出された構成材料の特定の組み合わせに従って、特定し、差別化することが可能である。したがって、手術可視化システムのスペクトル撮像システムは、いくつかの異なる波長でＥＭＲを放射し、異なる波長で検出された吸収ＥＭＲ吸収応答に基づいて、組織の構成材料を判定し、その後、構成材料の特定の検出された組み合わせに基づいて、組織種類を特徴付けるように構成することができる。
【0082】
図１１は、異なる組織種類、及び／又は解剖学的構造を可視化するためのスペクトル撮像技術の利用の一実施形態を示す。図１１では、スペクトルエミッタ３２０（例えば、図４のスペクトル光源１５０）は、手術部位３２２を可視化するために撮像システムによって利用されている。スペクトルエミッタ３２０によって放射され、手術部位３２２の組織及び／又は構造から反射されたＥＭＲは、画像センサ（例えば、図４の画像センサ１３５）によって受信されて、組織及び／又は構造を可視化し、これらは、可視であるか（例えば、手術部位３２２の表面に位置している）、又は覆い隠されている（例えば、手術部位３２２において他の組織及び／又は構造の下にある）かのいずれかとすることができる。この実施形態では、撮像システム１４２（例えば、図４の撮像システム）は、異なる組織／構造種類の各々に対して、構成材料の異なる吸収性状（例えば、吸収係数）によって特徴付けられるスペクトルシグネチャに基づいて、腫瘍３２４、動脈３２６、及び様々な異常３２８（例えば、既知又は予想されるスペクトルシグネチャに対して確認できない組織）を可視化する。可視化された組織及び構造は、撮像システムに関連付けられた又は結合されたディスプレイスクリーン（例えば、図４の撮像システム１４２のディスプレイ１４６）上、主ディスプレイ（例えば、図１９の主ディスプレイ８１９）上、非滅菌ディスプレイ（例えば、図１９の非滅菌ディスプレイ８０７、８０９）上、手術ハブのディスプレイ（例えば、図１９の手術ハブ８０６のディスプレイ）上、デバイス／器具ディスプレイ上、及び／又は別のディスプレイ上に表示することができる。
【0083】
撮像システムは、特定された組織及び／又は構造種類に従って、表示された手術部位の可視化を調整、又は更新するように構成することができる。例えば、図１１に示されるように、撮像システムは、撮像システムに関連付けられた又は結合されたディスプレイスクリーン上、主ディスプレイ上、非滅菌ディスプレイ上、手術ハブのディスプレイ上、デバイス／器具ディスプレイ上、及び／又は別のディスプレイ上に可視化されている腫瘍３２４に関連付けられたマージン３３０を表示することができる。マージン３３０は、腫瘍３２４を確実に完全に除去するように切除されるべき組織の面積又は量を示すことができる。手術可視化システムの制御システム（例えば、図４の制御システム１３３）は、撮像システムによって特定された組織及び／又は構造に基づいて、マージン３３０の寸法を制御又は更新するように構成することができる。例解された実施形態では、撮像システムは、視野（field of view、ＦＯＶ）内の複数の異常３２８を特定している。したがって、制御システムは、この異常３２８を包含するのに十分な寸法を有する第１の更新されたマージン３３２に、表示されたマージン３３０を調節することができる。更に、撮像システムは、最初に表示されたマージン３３０（動脈３２６の強調表示された領域３３４によって示されるように）と部分的に重なっている動脈３２６を特定している。したがって、制御システムは、この動脈３２６の関連部分を包含するのに十分な寸法を有する第２の更新されたマージン３３６に、表示されたマージンを調節することができる。
【0084】
組織及び／又は構造はまた、図１０及び図１１に関して上述した吸収性状に加えて、又はそれに代えて、ＥＭＲ波長スペクトルにわたるこれらの反射性状に従って、撮像するか又は特徴付けることができる。例えば、図１２、図１３、及び図１４は、様々なＥＭＲ波長にわたる異なる種類の組織又は構造の反射率の様々なグラフを例解する。図１２は、覆い隠すものに対する例示の尿管シグネチャのグラフ表示３４０である。図１３は、覆い隠すものに対する例示の動脈シグネチャのグラフ表示３４２である。図１４は、覆い隠すものに対する例示の神経シグネチャのグラフ表示３４４である。図１２、図１３、及び図１４のプロットは、対応する波長における脂肪、肺組織、及び血液の対応する反射率に対する、特定の構造（尿管、動脈、及び神経）の波長（ｎｍ）の関数としての反射率を表している。これらのグラフは例示目的に過ぎず、他の組織及び／又は構造では、組織、及び／又は構造を特定及び可視化を可能にする対応する検出可能な反射率シグネチャを含み得ることを理解されたい。
【0085】
スペクトル撮像のための選択波長は、手術部位において予測される重要構造及び／又は覆い隠すものに基づいて特定し、利用することができる（例えば、「選択的スペクトル」撮像）。選択的スペクトル撮像を利用することにより、スペクトル画像を取得するために必要な時間量は、情報をリアルタイムで取得し、術中に利用することができるように、最小化することができる。波長は、医師によって、又はユーザ、例えば、医師による入力に基づいて、制御回路によって選択することができる。特定の例では、波長を、例えば、クラウド又は手術ハブを介して制御回路にアクセス可能な機械学習及び／又はビッグデータに基づいて選択することができる。
【0086】
図１５は、波形エミッタと組織によって覆い隠された重要構造との間の距離を測定するために、術中に利用されている組織へのスペクトル撮像の一実施形態を例解する。図１５は、波形４２４、４２５を利用する飛行時間型センサシステム４０４の一実施形態を示す。飛行時間型センサシステム４０４は、例えば、図１の手術可視化システム１００のセンサシステム１０４として、手術可視化システムに組み込むことができる。飛行時間型センサシステム４０４は、同じ手術デバイス１０２上に波形エミッタ４０６及び波形受信器４０８を含む（例えば、図１の同じ手術デバイス４０２上のエミッタ１０６及び受信器１０８）。放射された波４００は、エミッタ４０６から重要構造４０１（例えば、図１の重要構造１０１）まで延在し、受信される波４２５は、反射されて重要構造４０１から受信器４０８に戻される。この例解された実施形態では、手術デバイス４０２は、患者の腔４０７内へと延在するトロカール４１０を通って位置付けられる。この例解された実施形態では、トロカール４１０が使用されているが、他のトロカール又は他のアクセスデバイスを使用することができるか、又はアクセスデバイスを使用しなくてもよい。
【0087】
波形４２４、４２５は、波長のＮＩＲ又はＳＷＩＲスペクトル内の波長を有することなどによって、覆い隠している組織４０３を貫通するように構成されている。スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、若しくは選択的スペクトル）又は光音響信号は、遠位を指す第１の矢印４０７によって示されるように、エミッタ４０６から放射され、重要構造４０１が隠されている組織４０３を貫通することができる。放射された波形４２４は、近位を指す第２の矢印４０９によって示されるように、重要構造４０１によって反射される。受信された波形４２５は、手術デバイス４０２の遠位端と重要構造４０１との間の距離ｄに起因して、遅延する可能性がある。波形４２４、４２５は、本明細書に説明されるように、重要構造４０１のスペクトルシグネチャに基づいて、組織４０３内の重要構造４０１を標的とするように選択することができる。エミッタ４０６は、例えば、図１６に示されるように、オンとオフを表す二値信号を提供するように構成されており、受信器４０８によって測定することができる。
【0088】
放射された波４２４と受信された波４２５との間の遅延に基づいて、飛行時間型センサシステム４０４は、距離ｄを判定するように構成されている。図１５のエミッタ４０６及び受信器４０８の飛行時間タイミング図４３０が、図１６に示されている。遅延は、距離ｄの関数であり、距離ｄは、
【0089】
【数1】
【0090】
波形４２４、４２５の飛行時間は、図１５の距離ｄに対応する。様々な例では、追加のエミッタ／受信器及び／又はエミッタ４０６からのパルス信号は、非透過信号を放射するように構成することができる。非透過信号は、エミッタ４０６から覆い隠している組織４０３の表面４０５までの距離を判定するように構成することができる。様々な例では、重要構造４０１の深さは、
ｄＡ＝ｄｗ－ｄｔ
によって判定することができ、ｄＡ＝重要構造４０１の深さであり、ｄｗ＝エミッタ４０６から重要構造４０１までの距離（図１５のｄ）であり、ｄｔ＝エミッタ４０６（手術デバイス４０２の遠位端上）から覆い隠している組織４０３の表面４０５までの距離である。
ｄＡ＝ｄｗ－ｄｔ
によって判定することができ、ｄＡ＝重要構造４０１の深さであり、ｄｗ＝エミッタ４０６から重要構造４０１までの距離（図１５のｄ）であり、ｄｔ＝エミッタ４０６（手術デバイス４０２の遠位端上）から覆い隠している組織４０３の表面４０５までの距離である。
【0091】
図１７は、波５２４ａ、５２４ｂ、５２４ｃ、５２５ａ、５２５ｂ、５２５ｃを利用する飛行時間型センサシステム５０４の別の実施形態を例解する。飛行時間型センサシステム５０４は、例えば、図１の手術可視化システム１００のセンサシステム１０４として、手術可視化システムに組み込むことができる。飛行時間型センサシステム５０４は、波形エミッタ５０６及び波形受信器５０８（例えば、図１のエミッタ１０６及び受信器１０８）を含む。波形エミッタ５０６は、第１の手術デバイス５０２ａ（例えば、図１の手術デバイス１０２））上に位置付けられ、波形受信器５０８は、第２の手術デバイス５０２ｂ上に位置付けられる。手術デバイス５０２ａ、５０２ｂは、それぞれ、患者の腔５０７内に延在する第１のトロカール５１０ａ及び第２のトロカール５１０ｂを通って位置付けられる。トロカール５１０ａ、５１０ｂは、この例解された実施形態において使用されるが、他のトロカール又は他のアクセスデバイスを使用することができるか、又はアクセスデバイスを使用してなくてもよい。放射された波５２４ａ、５２４ｂ、５２４ｃは、エミッタ５０６から手術部位に向かって延在し、受信された波５２５ａ、５２５ｂ、５２５ｃは、手術部位における様々な構造、及び／又は表面から受信器５０８から反射される。
【0092】
異なる放射された波５２４ａ、５２４ｂ、５２４ｃは、手術部位において異なる種類の材料を標的とするように構成されている。例えば、波５２４ａは、覆い隠している組織５０３を標的とし、波５２４ｂは、この例解された実施形態では血管である第１の重要構造５０１ａ（例えば、図１の重要構造１０１）を標的とし、波５２４ｃは、この例解された実施形態ではがん性腫瘍である第２の重要構造５０１ｂ（例えば、図１の重要構造１０１）を標的とする。波５２４ａ、５２４ｂ、５２４ｃの波長は、可視光、ＮＩＲ、又はＳＷＩＲスペクトルの波長とすることができる。例えば、可視光は、組織５０３の表面５０５に反射することができ、ＮＩＲ波形及び／又はＳＷＩＲ波形は、組織５０３の表面５０５を透過することができる。様々な態様では、本明細書に説明されるように、スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル）又は光音響信号をエミッタ５０６から放射することができる。波５２４ｂ、５２４ｃは、本明細書に更に説明されるように、重要構造５０１ａ、５０１ｂのスペクトルシグネチャに基づいて、組織５０３内の重要構造５０１ａ、５０１ｂを標的とするように選択することができる。光音響撮像は、様々な米国特許出願に更に説明されており、これらは、本開示において参照により本開示に組み込まれる。
【0093】
放射された波５２４ａ、５２４ｂ、５２４ｃは、標的とされる材料、すなわち、それぞれ表面５０５、第１の重要構造５０１ａ、及び第２の構造５０１ｂから反射される。受信された波形５２５ａ、５２５ｂ、５２５ｃは、距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃに起因して遅延する可能性がある。
【0094】
エミッタ５０６及び受信器５０８を個別に位置付け可能である（例えば、別個の手術デバイス５０２ａ、５０２ｂ上で、及び／又は別個のロボットアームによって制御される）飛行時間型センサシステム５０４において、様々な距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃは、エミッタ５０６及び受信器５０８の既知の位置から算出することができる。例えば、手術デバイス５０２ａ、５０２ｂがロボット制御されるときに、位置は既知とすることができる。エミッタ５０６と受信器５０８の位置、並びに特定組織を標的とする光子ストリームの時間、及び受信器５０８によって受信されたその特定の応答の情報に関する知識により、距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃの判定を可能にすることができる。一態様では、覆い隠された重要構造５０１ａ、５０１ｂまでの距離は、透過波長を使用して三角測量することができる。光速度は可視光又は不可視光の任意の波長に対して一定であるため、飛行時間型センサシステム５０４は、様々な距離を判定することができる。
【0095】
医師に提供されたビュー、例えば、ディスプレイ上では、結果として生じる画像内の標的構造の質量中心が一定のままとなるように、例えば、選択標的構造５０３、５０１ａ、又は５０１ｂの軸に垂直な平面内で、受信器５０８を回転させることができる。そのような向きは、標的構造に対して、１つ又は２つ以上の関連する距離及び／又は視点を迅速に通信することができる。例えば、図１７に示されるように、重要構造５０１ａがビュー平面に垂直である（例えば、血管がページの内外に向いている）視点から、手術部位が表示される。そのような向きは、デフォルトセッティングとすることができる。しかしながら、ビューは、医師によって回転されるか、又は別様に調節され得る。特定の例では、医師は、撮像システムによって提供される手術部位の視点を画定する、異なる表面及び／又は標的構造を切り替えることができる。
【0096】
この例解された実施形態におけるように、受信器５０８は、トロカール５１０ｂ（又は他のアクセスデバイス）上に装着することができ、それを通して手術デバイス５０２ｂが位置付けられる。他の実施形態では、受信器５０８は、三次元位置が既知である別個のロボットアームに装着することができる。様々な例では、受信器５０８は、手術デバイス５０２ａを制御するロボットとは別個の可動アーム上に装着することができるか、又はロボット座標平面に術中に位置合わせ可能な手術室（ＯＲ）台若しくは固定具に装着することができる。そのような例では、エミッタ５０６及び受信器５０８の位置は、飛行時間型センサシステム５０４の出力から距離を三角測量することができるように、同じ座標平面に位置合わせすることができる。
【0097】
飛行時間型センサシステムとナノ秒の分解能を用いたＮＩＲ光の時間分解プロファイルを測定することが可能である、ＴＯＦ－ＮＩＲＳと呼ばれる近赤外分光法（near-infrared spectroscopy、ＮＩＲＳ）との組み合わせは、「Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ Ｎｅａｒ－Ｉｎｆｒａｒｅｄ Ｓｐｅｃｔｒｏｓｃｏｐｙ Ｆｏｒ Ｎｏｎｄｅｓｔｒｕｃｔｉｖｅ Ｍｅａｓｕｒｅｍｅｎｔ Ｏｆ Ｉｎｔｅｒｎａｌ Ｑｕａｌｉｔｙ Ｉｎ Ｇｒａｐｅｆｒｕｉｔ，」Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｆｏｒ Ｈｏｒｔｉｃｕｌｔｕｒａｌ Ｓｃｉｅｎｃｅ，Ｍａｙ ２０１３ ｖｏｌ．１３８ ｎｏ．３ ２２５－２２８に見出すことができ、これは、その全体が参照により本明細書に組み込まれる。
【0098】
可視化システム並びにその態様及び使用の実施形態は、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｐｌａｔｆｏｒｍ」と題する米国特許出願公開第２０２０／００１５９２３号、２０１８年９月１１日に出願された「Ｃｏｎｔｒｏｌｌｉｎｇ Ａｎ Ｅｍｉｔｔｅｒ Ａｓｓｅｍｂｌｙ Ｐｕｌｓｅ Ｓｅｑｕｅｎｃｅ」と題する米国特許出願公開第２０２０／００１５９００号、２０１８年９月１１日に出願された「Ｓｉｎｇｕｌａｒ ＥＭＲ Ｓｏｕｒｃｅ Ｅｍｉｔｔｅｒ Ａｓｓｅｍｂｌｙ」と題する米国特許出願公開第２０２０／００１５６６８号、２０１８年９月１１日に出願された「Ｃｏｍｂｉｎａｔｉｏｎ Ｅｍｉｔｔｅｒ Ａｎｄ Ｃａｍｅｒａ Ａｓｓｅｍｂｌｙ」と題する米国特許出願公開第２０２０／００１５９２５号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｗｉｔｈ Ｐｒｏｘｉｍｉｔｙ Ｔｒａｃｋｉｎｇ Ｆｅａｔｕｒｅｓ」と題する米国特許出願公開第２０２０／０００１５８９９号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｏｆ Ｍｕｌｔｉｐｌｅ Ｔａｒｇｅｔｓ」と題する米国特許出願公開第２０２０／０００１５９０３号、２０１８年９月１１日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｏｆ Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ」と題する米国特許第１０，７９２，０３４号、２０１８年９月１１日に出願された「Ｏｐｅｒａｔｉｖｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｏｆ Ｌｉｇｈｔ」と題する米国特許出願公開第２０２０／００１５８９７号、２０１８年９月１１日に出願された「Ｒｏｂｏｔｉｃ Ｌｉｇｈｔ Ｐｒｏｊｅｃｔｉｏｎ Ｔｏｏｌｓ」と題する米国特許出願公開第２０２０／００１５９２４号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｆｅｅｄｂａｃｋ Ｓｙｓｔｅｍ」と題する米国特許出願公開第２０２０／００１５８９８号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ａｎｄ Ｍｏｎｉｔｏｒｉｎｇ」と題する米国特許出願公開第２０２０／００１５９０６号、２０１８年９月１１日に出願された「Ｉｎｔｅｇｒａｔｉｏｎ Ｏｆ Ｉｍａｇｉｎｇ Ｄａｔａ」と題する米国特許出願公開第２０２０／００１５９０７号、２０１８年９月１１日に出願された「Ｒｏｂｏｔｉｃａｌｌｙ－Ａｓｓｉｓｔｅｄ Ｓｕｒｇｉｃａｌ Ｓｕｔｕｒｉｎｇ Ｓｙｓｔｅｍｓ」と題する米国特許第１０，９２５，５９８号、２０１８年９月１１日に出願された「Ｓａｆｅｔｙ Ｌｏｇｉｃ Ｆｏｒ Ｓｕｒｇｉｃａｌ Ｓｕｔｕｒｉｎｇ Ｓｙｓｔｅｍｓ」と題する米国特許出願公開第２０２０／００１５９０１号、２０１８年９月１１日に出願された「Ｒｏｂｏｔｉｃ Ｓｙｓｔｅｍｓ Ｗｉｔｈ Ｓｅｐａｒａｔｅ Ｐｈｏｔｏａｃｏｕｓｔｉｃ Ｒｅｃｅｉｖｅｒｓ」と題する米国特許出願公開第２０２０／００１５９１４号、２０１８年９月１１日に出願された「Ｆｏｒｃｅ Ｓｅｎｓｏｒ Ｔｈｒｏｕｇｈ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ Ｄｅｆｌｅｃｔｉｏｎ」と題する米国特許出願公開第２０２０／００１５９０２号、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｈｕｂ Ｃｏｍｍｕｎｉｃａｔｉｏｎ」と題する米国特許出願公開第２０１９／０２０１１３６号、２０１９年１２月３０日に出願された「Ａｎａｌｙｚｉｎｇ Ｓｕｒｇｉｃａｌ Ｔｒｅｎｄｓ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，７７２号、２０１９年１２月３０日に出願された「Ｄｙｎａｍｉｃ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ」と題する米国特許出願第１６／７２９，７４７号、２０１９年１２月３０日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ」と題する米国特許出願第１６／７２９，７４４号、２０１９年１２月３０日に出願された「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ，Ａｄｊｕｓｔｉｎｇ，Ａｎｄ Ｍａｎａｇｉｎｇ Ｒｅｓｅｃｔｉｏｎ Ｍａｒｇｉｎ Ａｂｏｕｔ Ａ Ｓｕｂｊｅｃｔ Ｔｉｓｓｕｅ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｐｒｏｐｏｓｉｎｇ Ａｎｄ Ｃｏｒｒｏｂｏｒａｔｉｎｇ Ｏｒｇａｎ Ｐｏｒｔｉｏｎ Ｒｅｍｏｖａｌｓ」と題する米国特許出願第１６／７２９，７２９号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｏｖｅｒｌａｙｉｎｇ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ Ｏｎｔｏ Ａ Ｖｉｒｔｕａｌ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔ Ｏｆ Ａｎ Ｏｒｇａｎ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｃｏｒｒｅｌａｔｉｎｇ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｄａｔａ Ａｎｄ Ｐｏｗｅｒｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ」と題する米国特許出願第１６／７２９，７４０号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｃｌｏｕｄ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７３７号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｐａｒｔｉｃｕｌａｔｅ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７９６号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，８０３号、２０１９年１２月３０日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｕｓｉｎｇ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅｓ Ｉｎ Ｓｕｒｇｅｒｙ」と題する米国特許出願第１６／７２９，８０７号、２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ａｎｄ Ｍｅｔｈｏｄｓ Ｕｓｉｎｇ Ｍｕｌｔｉ－Ｓｏｕｒｃｅ Ｉｍａｇｉｎｇ」と題する米国特許出願第６３／２４９，６４４号、２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ｍｅｔｈｏｄｓ Ｕｓｉｎｇ Ｆｉｄｕｃｉａｌ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ａｎｄ Ｔｒａｃｋｉｎｇ」と題する米国特許出願第６３／２４９，６５２号、２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃｏｎｔｒｏｌ Ｏｆ Ｏｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｗｉｔｈ Ａｎｏｔｈｅｒ」と題する米国特許出願第６３／２４９，６５８号、２０２１年９月２９日に出願された「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ」と題する米国特許出願第６３／２４９，８７０号、２０２１年９月２９日に出願された「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ」と題する米国特許出願第６３／２４９，８７７号、及び２０２１年９月２９日に出願された「Ｃｏｏｐｅｒａｔｉｖｅ Ａｃｃｅｓｓ」と題する米国特許出願第６３／２４９，９８０号に更に説明されており、これらは、参照によりその全体が本明細書に組み込まれる。
【0099】
手術ハブ
本明細書に説明される様々な可視化又は撮像システムは、手術ハブを含むシステムに組み込むことができる。概して、手術ハブは、複数の医療施設にまたがることができ、統合され包括的な改善された医療を膨大な数の患者に提供するように構成された包括的なデジタル医療システムの構成要素とすることができる。包括的なデジタル医療システムは、多くの異なる医療施設にわたって位置する複数の手術ハブに相互接続するように構成されているクラウドベースの医療分析システムを含む。手術ハブは、患者に対して医療処置を行うために使用される１つ又は２つ以上の手術器具及び／又は医療処置を行っている間に使用される１つ又は２つ以上の可視化システムなどの１つ又は２つ以上の要素と相互接続するように構成されている。手術ハブは、医療処置の転帰を改善するための多様な機能性を提供する。様々な手術デバイス、可視化システム、及び手術ハブによって生成された、患者及び医療処置に関するデータは、クラウドベースの医療分析システムに送信され得る。次いで、このデータは、他の医療施設に位置する多くの他の手術ハブ、可視化システム、及び手術器具から収集された同様のデータと集約され得る。収集されたデータを分析するクラウドベースの分析システムを通じて、様々なパターン及び相関が見出され得る。結果として、データを生成するために使用される技術の改善をもたらし得、次いで、これらの改善は、様々な手術ハブ、可視化システム及び手術デバイスに広め得る。上述した構成要素の全ての相互接続性により、多くの構成要素がそのように相互接続されていない場合には見出されない可能性がある医療処置及び医療実践における改善が見出される可能性がある。
本明細書に説明される様々な可視化又は撮像システムは、手術ハブを含むシステムに組み込むことができる。概して、手術ハブは、複数の医療施設にまたがることができ、統合され包括的な改善された医療を膨大な数の患者に提供するように構成された包括的なデジタル医療システムの構成要素とすることができる。包括的なデジタル医療システムは、多くの異なる医療施設にわたって位置する複数の手術ハブに相互接続するように構成されているクラウドベースの医療分析システムを含む。手術ハブは、患者に対して医療処置を行うために使用される１つ又は２つ以上の手術器具及び／又は医療処置を行っている間に使用される１つ又は２つ以上の可視化システムなどの１つ又は２つ以上の要素と相互接続するように構成されている。手術ハブは、医療処置の転帰を改善するための多様な機能性を提供する。様々な手術デバイス、可視化システム、及び手術ハブによって生成された、患者及び医療処置に関するデータは、クラウドベースの医療分析システムに送信され得る。次いで、このデータは、他の医療施設に位置する多くの他の手術ハブ、可視化システム、及び手術器具から収集された同様のデータと集約され得る。収集されたデータを分析するクラウドベースの分析システムを通じて、様々なパターン及び相関が見出され得る。結果として、データを生成するために使用される技術の改善をもたらし得、次いで、これらの改善は、様々な手術ハブ、可視化システム及び手術デバイスに広め得る。上述した構成要素の全ての相互接続性により、多くの構成要素がそのように相互接続されていない場合には見出されない可能性がある医療処置及び医療実践における改善が見出される可能性がある。
【0100】
データを受信し、分析し、かつ出力するように構成された手術ハブ、及びそのような手術ハブを使用する方法の実施例は、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｈｕｂ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｐｒｏｃｅｓｓｉｎｇ，Ｓｔｏｒａｇｅ Ａｎｄ Ｄｉｓｐｌａｙ」と題する米国特許出願公開第２０１９／０２００８４４号、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｃｏｍｐｒｅｓｓｉｎｇ Ｔｉｓｓｕｅ Ｗｉｔｈｉｎ Ａ Ｓｔａｐｌｉｎｇ Ｄｅｖｉｃｅ Ａｎｄ Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｄｉｓｐｌａｙｉｎｇ Ｔｈｅ Ｌｏｃａｔｉｏｎ Ｏｆ Ｔｈｅ Ｔｉｓｓｕｅ Ｗｉｔｈｉｎ Ｔｈｅ Ｊａｗｓ」と題する米国特許出願公開第２０１９／０２００９８１号、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｓｍａｒｔ Ｅｎｅｒｇｙ Ｄｅｖｉｃｅｓ」と題する米国特許出願公開第２０１９／０２０１０４６号、２０１８年３月２９日に出願された「Ａｄａｐｔｉｖｅ Ｃｏｎｔｒｏｌ Ｐｒｏｇｒａｍ Ｕｐｄａｔｅｓ Ｆｏｒ Ｓｕｒｇｉｃａｌ Ｈｕｂｓ」と題する米国特許出願公開第２０１９／０２０１１１４号、２０１８年３月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｈｕｂ Ｓｉｔｕａｔｉｏｎａｌ Ａｗａｒｅｎｅｓｓ」と題する米国特許出願公開第２０１９／０２０１１４０号、２０１８年３月２９日に出願された「Ｉｎｔｅｒａｃｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｗｉｔｈ Ｃｏｎｄｉｔｉｏｎ Ｈａｎｄｌｉｎｇ Ｏｆ Ｄｅｖｉｃｅｓ Ａｎｄ Ｄａｔａ Ｃａｐａｂｉｌｉｔｉｅｓ」と題する米国特許出願公開第２０１９／０２０６００４号、２０１８年３月２９日に出願された「Ｃｌｏｕｄ－ｂａｓｅｄ Ｍｅｄｉｃａｌ Ａｎａｌｙｔｉｃｓ Ｆｏｒ Ｃｕｓｔｏｍｉｚａｔｉｏｎ Ａｎｄ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ Ｔｏ Ａ Ｕｓｅｒ」と題する米国特許出願公開第２０１９／０２０６５５５号、及び２０１８年１１月６日に出願された「Ｓｕｒｇｉｃａｌ Ｎｅｔｗｏｒｋ Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ｏｆ Ｐｒｉｏｒｉｔｉｚａｔｉｏｎ Ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｉｎｔｅｒａｃｔｉｏｎ，Ｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｂａｓｅｄ Ｏｎ Ｓｙｓｔｅｍ Ｏｒ Ｄｅｖｉｃｅ Ｎｅｅｄｓ」と題する米国特許出願公開第２０１９／０２０７８５７号に更に説明されており、これらは、参照によりその全体が本明細書に組み込まれる。
【0101】
図１８は、１つ又は２つ以上の手術システム７０２及びクラウドベースのシステム（例えば、記憶デバイス７０５に結合された遠隔サーバ７１３を含むことができるクラウド７０４）を含むコンピュータ実装双方向手術システム７００の一実施形態を例解する。各手術システム７０２は、クラウド７０４と通信する少なくとも１つの手術ハブ７０６を含む。一実施例では、図１８に例解されたように、手術システム７０２は、可視化システム７０８と、ロボットシステム７１０と、インテリジェント（又は「スマート」）手術器具７１２とを含み、これらは、互いに、及び／又はハブ７０６と通信するように構成されている。インテリジェント手術器具７１２は、撮像デバイスを含むことができる。手術システム７０２は、Ｍ個のハブ７０６と、Ｎ個の可視化システム７０８と、Ｏ個のロボットシステム７１０と、Ｐ個のインテリジェント手術器具７１２と、を含むことができ、Ｍ、Ｎ、Ｏ、及びＰは、互いのいずれか１つ又は２つ以上に等しくても等しくなくてもよい１以上の整数である。様々な例示的なインテリジェント手術器具及びロボットシステムが本明細書に説明されている。
【0102】
手術可視化システムから手術ハブによって受信されるデータは、様々な方法のうちのいずれかで使用することができる。例示的な実施形態では、手術ハブは、例えば、手術処置を行っている間に手術室で使用される、手術セッティングにおいて患者とともに使用される手術可視化システムからデータを受信することができる。手術ハブは、本明細書に論じられるように、１つ又は２つ以上の方法のいずれかで受信されたデータを使用することができる。
【0103】
手術ハブは、手術可視化システムの使用に伴って、受信されたデータをリアルタイムで分析し、受信されたデータの分析に基づいて、患者とともに使用される手術可視化システム及び／又は１つ又は２つ以上のインテリジェント手術器具のうちの１つ又は２つ以上を調節制御するように構成することができる。このような調節は、例えば、インテリジェント手術器具の１つ又は２つ以上の動作制御パラメータを調節すること、１つ又は２つ以上のインテリジェント手術器具の１つ又は２つ以上のセンサに測定を行わせて、患者の現在の生理学的状態、及び／又はインテリジェント手術器具の現在の動作状態の理解を得ることを助けること、並びに他の調節を含むことができる。インテリジェント手術器具の動作を制御及び調節することは、以下で更に論じられる。インテリジェント手術器具の動作制御パラメータの実施例は、モータ速度、切断要素速度、時間、持続時間、エネルギー印加のレベル、及び光放射を含む。手術ハブの実施例、並びにインテリジェント手術器具の動作を制御及び調節する実施例は、前述の２０１９年１２月３０日に出願された「Ａｎａｌｙｚｉｎｇ Ｓｕｒｇｉｃａｌ Ｔｒｅｎｄｓ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，７７２号、２０１９年１２月３０日に出願された「Ｄｙｎａｍｉｃ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ」と題する米国特許出願第１６／７２９，７４７号、２０１９年１２月３０日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ」と題する米国特許出願第１６／７２９，７４４号、２０１９年１２月３０日に出願された「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ，Ａｄｊｕｓｔｉｎｇ，Ａｎｄ Ｍａｎａｇｉｎｇ Ｒｅｓｅｃｔｉｏｎ Ｍａｒｇｉｎ Ａｂｏｕｔ Ａ Ｓｕｂｊｅｃｔ Ｔｉｓｓｕｅ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｐｒｏｐｏｓｉｎｇ Ａｎｄ Ｃｏｒｒｏｂｏｒａｔｉｎｇ Ｏｒｇａｎ Ｐｏｒｔｉｏｎ Ｒｅｍｏｖａｌｓ」と題する米国特許出願第１６／７２９，７２９号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｏｖｅｒｌａｙｉｎｇ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ Ｏｎｔｏ Ａ Ｖｉｒｔｕａｌ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔ Ｏｆ Ａｎ Ｏｒｇａｎ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｃｏｒｒｅｌａｔｉｎｇ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｄａｔａ Ａｎｄ Ｐｏｗｅｒｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ」と題する米国特許出願第１６／７２９，７４０号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｃｌｏｕｄ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７３７号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｐａｒｔｉｃｕｌａｔｅ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７９６号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，８０３号、及び２０１９年１２月３０日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｕｓｉｎｇ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅｓ Ｉｎ Ｓｕｒｇｅｒｙ」と題する米国特許出願第１６／７２９，８０７号に説明される。２０２０年１０月１３日に出願された「Ａｄａｐｔｉｖｅ Ｒｅｓｐｏｎｓｅｓ Ｆｒｏｍ Ｓｍａｒｔ Ｐａｃｋａｇｉｎｇ Ｏｆ Ｄｒｕｇ Ｄｅｌｉｖｅｒｙ Ａｂｓｏｒｂａｂｌｅ Ａｄｊｕｎｃｔｓ」と題する米国特許出願第１７／０６８，８５７号、２０２０年１０月１３日に出願された「Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ Ｔｈａｔ Ｃｏｍｍｕｎｉｃａｔｅ Ｗｉｔｈ Ｓｕｒｇｉｃａｌ Ｈｕｂｓ」と題する米国特許出願第１７／０６８，８５８号、２０２０年１０月１３日に出願された「Ｃｏｎｔｒｏｌｌｉｎｇ Ｏｐｅｒａｔｉｏｎ Ｏｆ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ Ｕｓｉｎｇ Ｓｕｒｇｉｃａｌ Ｈｕｂｓ」と題する米国特許出願第１７／０６８，８５９号、２０２０年１０月１３日に出願された「Ｐａｔｉｅｎｔ Ｍｏｎｉｔｏｒｉｎｇ Ｕｓｉｎｇ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ」と題する米国特許出願第１７／０６８，８６３号、２０２０年１０月１３日に出願された「Ｍｏｎｉｔｏｒｉｎｇ Ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｕｓｉｎｇ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ」と題する米国特許出願第１７／０６８，８６５号、及び２０２０年１０月１３日に出願された「Ａｇｇｒｅｇａｔｉｎｇ Ａｎｄ Ａｎａｌｙｚｉｎｇ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄａｔａ」と題する米国特許出願第１７／０６８，８６７号に更に説明されており、これらは、参照によりその全体が本明細書に組み込まれる。
【0104】
手術ハブは、受信されたデータの可視化がディスプレイ上の手術セッティングにおいて提供されるように構成することができ、そのため、手術セッティングにおける医師が、データを見ることができ、それにより、手術セッティングにおいて使用されている撮像デバイスの動作の理解を受け取ることができる。可視化を介して提供されるこのような情報は、テキスト及び／又は画像を含むことができる。
【0105】
図１９は、手術ハブ８０６（例えば、図１８の手術ハブ７０６又は本明細書に説明される他の手術ハブ）、ロボット手術システム８１０（例えば、図１のロボット手術システム１１０又は本明細書における他のロボット手術システム）、及び可視化システム８０８（例えば、図１の可視化システム１００又は本明細書に説明される他の可視化システム）を含む手術システム８０２の一実施形態を例解する。手術ハブ８０６は、本明細書に論じられるように、クラウドと通信することができる。図１９は、手術室８１６内の手術台８１４上に横たわっている患者に対して手術処置を行うために使用されている手術システム８０２を示す。ロボットシステム８１０は、外科医のコンソール８１８と、患者側カート８２０（手術ロボット）と、ロボットシステムの手術ハブ８２２と、を含む。ロボットシステムの手術ハブ８２２は、概して、手術ハブ８２２と同様に構成されており、クラウドと通信することができる。いくつかの実施形態では、ロボットシステムの手術ハブ８２２及び手術ハブ８０６は、組み合わせることができる。患者側カート８２０は、医師例えば、外科医、看護師、及び／又は他の医師が、外科医コンソール８１８を通して手術部位を見ている間に、患者の身体の低侵襲切開部を通してインテリジェント手術ツール８１２を操作することができる。手術部位の画像は、撮像デバイス８２４（例えば、図１の撮像デバイス１２０、又は本明細書に説明される他の撮像デバイス）によって取得することができ、これは、撮像デバイス８２４の向きを変えるために、患者側カート８２０によって操作することができる。ロボットシステムの手術ハブ８２２を使用して、手術部位の画像を処理し、その後、外科医のコンソール８１８を通して、外科医に表示することができる。
【0106】
主ディスプレイ８１９は、手術室８１６の滅菌野に位置付けられ、手術台８１４にいるオペレータに可視であるように構成されている。加えて、この例解された実施形態では、可視化タワー８１８が、滅菌野の外側に位置付けられ得る。可視化タワー８１８は、互いに反対側を向いている第１の非滅菌ディスプレイ８０７、及び第２の非滅菌ディスプレイ８０９を含む。手術ハブ８０６によって誘導される可視化システム８０８は、ディスプレイ８０７、８０９、８１９を利用して、滅菌野の内側及び外側の医師への情報フローを協調するように構成されている。例えば、手術ハブ８０６は、可視化システム８０８に、主ディスプレイ８１９上に手術部位のライブ映像を維持しながら、撮像デバイス８２４によって取得されるような手術部位のスナップショット及び／又はビデオを非滅菌ディスプレイ８０７、８０９の一方又は両方上に表示させることができる。非滅菌ディスプレイ８０７及び／又は８０９上のスナップショット及び／又はビデオは、例えば、非滅菌医師が、手術処置に関連する診断工程を行うことを許可することができる。
【0107】
手術ハブ８０６は、可視化タワー８１８における非滅菌医師によって入力された診断入力又はフィードバックを滅菌野内の主ディスプレイ８１９に送り、これを手術台８１４における滅菌医師が見ることができるように構成されている。例えば、入力は、手術ハブ８０６によって主ディスプレイ８１９に送ることができる、非滅菌ディスプレイ８０７又は８０９上に表示されるスナップショット及び／又はビデオへの修正の形態とすることができる。
【0108】
手術ハブ８０６は、本開示において参照により本明細書に組み込まれる様々な米国特許出願に説明されているように、インテリジェント手術器具８１２のディスプレイに情報フローを適合させるように構成されている。可視化タワー８１８における非滅菌オペレータによって入力される診断入力又はフィードバックは、手術ハブ８０６によって滅菌野内のディスプレイ８１９に送ることができ、これを手術器具８１２のオペレータ及び／又は滅菌野内の医師が見ることができる。
【0109】
インテリジェント手術器具８１２及びインテリジェント手術ツールでもある撮像デバイス８２４は、手術システム８０２の一部として手術処置において患者とともに使用されている。例えば、患者側カート８２０に着脱可能に結合され、かつロボット手術システム８１０及び手術ハブ８０６と通信することができる、手術処置で使用することができる他のインテリジェント手術器具８１２ａも、利用可能であるものとして図１９に示されている。非インテリジェント（又は「ダム」）手術器具８１７、例えば、ロボット手術システム８１０及び手術ハブ８０６と通信することができない鋏、トロカール、カニューレ、メスもまた、使用のために利用可能であるものとして図１９に示されている。
【0110】
インテリジェント手術器具の動作
インテリジェント手術デバイスには、インテリジェント手術デバイスの動作を制御するために、インテリジェント手術デバイス、例えば、そのプロセッサによってオンボードで実行可能であるように構成されたアルゴリズムが、インテリジェント手術デバイス上、例えば、そのメモリ内に記憶され得る。いくつかの実施形態では、インテリジェント手術デバイス上に記憶される代わりに、又はそれに加えて、アルゴリズムは、インテリジェント手術デバイスと通信するように構成されている、手術ハブ上、例えば、そのメモリ内に記憶することができる。
インテリジェント手術デバイスには、インテリジェント手術デバイスの動作を制御するために、インテリジェント手術デバイス、例えば、そのプロセッサによってオンボードで実行可能であるように構成されたアルゴリズムが、インテリジェント手術デバイス上、例えば、そのメモリ内に記憶され得る。いくつかの実施形態では、インテリジェント手術デバイス上に記憶される代わりに、又はそれに加えて、アルゴリズムは、インテリジェント手術デバイスと通信するように構成されている、手術ハブ上、例えば、そのメモリ内に記憶することができる。
【0111】
アルゴリズムは、インテリジェント手術デバイスの機能を制御するために、命令、通知、信号などを定義する、及び／又は表す複数のデータポイントの１つ又は２つ以上のセットの形態で記憶される。いくつかの実施形態では、インテリジェント手術デバイスによって収集されたデータは、アルゴリズムの少なくとも１つの可変パラメータを変更するために、例えば、インテリジェント手術デバイスのプロセッサによって、インテリジェント手術デバイスによって使用することができる。上記に論じられるように、手術ハブは、インテリジェント手術デバイスと通信することができ、したがって、インテリジェント手術デバイスによって収集されたデータは、手術ハブに通信することができ、及び／又は手術ハブと通信する別のデバイスによって収集されたデータは、手術ハブに通信することができ、データは、手術ハブからインテリジェント手術デバイスに通信することができる。したがって、インテリジェント手術デバイスが、記憶された可変パラメータを変更するように構成されている代わりに、又はそれに加えて、手術ハブは、変更された少なくとも１つの変数を、単独で、又はアルゴリズムの一部として、インテリジェント手術デバイスに通信するように構成することができ、及び／又は手術ハブは、命令をインテリジェント手術デバイスに通信し、手術ハブによって判定されるような少なくとも１つの変数を変更することができる。
【0112】
少なくとも１つの可変パラメータは、アルゴリズムのデータポイントの間にあり、例えば、インテリジェント手術デバイスを動作させるための命令に含まれ、したがって、各々が、アルゴリズムの記憶された複数のデータポイントのうちの１つ又は２つ以上を変更することによって、変更されることが可能である。少なくとも１つの可変パラメータが変更された後、その後のアルゴリズムの実行は、変更されたアルゴリズムに従う。そのため、患者の実際の状況並びにインテリジェント手術デバイスが使用されている手術処置の実際の条件及び／又は結果を考慮することによって、インテリジェント手術デバイスの有益な結果の使用を増加させるために、インテリジェント手術デバイスの経時的な動作を患者に対して管理することができる。少なくとも１つの可変パラメータを変更することは、患者の転帰を改善するために自動化される。したがって、インテリジェント手術デバイスは、スマートシステムを提供するために患者及び患者の周囲条件に基づいて個別化された医薬を提供するように構成することができる。手術処置を行っている間にインテリジェント手術デバイスが使用されている手術セッティングにおいて、少なくとも１つの可変パラメータの自動変更は、手術処置を行っている間に収集されたデータに基づいて、インテリジェント手術デバイスが制御されることを可能にし得、これは、インテリジェント手術デバイスが効率的かつ正確に使用されることを確実にするのに役立ち得、及び／又は重要な解剖学的構造を傷つけることによって、患者を傷つける可能性を低減するのに役立ち得る。
【0113】
少なくとも１つの可変パラメータは、様々な異なる動作パラメータのうちのいずれかとすることができる。可変パラメータの実施例は、モータ速度、モータトルク、エネルギーレベル、エネルギー印加持続時間、組織圧迫レート、ジョー閉鎖レート、切断要素速度、負荷閾値などを含む。
【0114】
図２０は、少なくとも１つの可変パラメータを含むアルゴリズム９０４が記憶されたメモリ９０２を含むインテリジェント手術器具９００の一実施形態を例解する。アルゴリズム９０４は、単一のアルゴリズムとすることができるか、又は各アルゴリズムが少なくとも１つの可変パラメータを含む、複数のアルゴリズム、例えば、手術器具の動作の異なる態様のための別個のアルゴリズムを含むことができる。インテリジェント手術器具９００は、図１の手術デバイス１０２、図１の撮像デバイス１２０、図８の手術デバイス２０２、図８の撮像デバイス２２０、図１５の手術デバイス４０２、図１７の手術デバイス５０２ａ、図１７の手術デバイス５０２ｂ、図１８の手術デバイス７１２、図１９の手術デバイス８１２、図１９の撮像デバイス８２４、又は他のインテリジェント手術器具とすることができる。手術器具９００はまた、アルゴリズム９０４を実行して手術器具９００の少なくとも１つの態様の動作を制御するように構成されたプロセッサ９０６を含む。アルゴリズム９０４を実行するために、プロセッサ９０６は、メモリ９０２に記憶されたプログラムを実行して、メモリ９０２内のアルゴリズム９０４の複数のデータポイントにアクセスするように構成されている。
【0115】
手術器具９００はまた、手術ハブ９１０などの別のデバイスと通信するように構成された通信インターフェース９０８、例えば、無線送受信器、又は他の有線若しくは無線通信インターフェースを含む。通信インターフェース９０８は、遠隔サーバ（例えば、クラウドサーバ又は他のサーバ）及び／又はローカルの手術ハブサーバにデータを提供すること、及び／又は遠隔サーバ及び／又はローカルの手術ハブサーバから命令又はコマンドを受信することなどの一方向通信、又は手術器具９００及び／又はそこに記憶されたデータに関する情報、メッセージ、データなどを提供し、医師、ソフトウェアの更新に関するリモートサーバ、ソフトウェアの更新に関するローカルの手術ハブサーバなどから命令を受信することなどの双方向通信を可能にするように構成することができる。
【0116】
手術器具９００は、図２０では簡略化されており、例えば、バスシステム、ハンドル、細長いシャフトであって、その遠位端にエンドエフェクタを有する、細長いシャフト、電源などの追加の構成要素を含むことができる。プロセッサ９０６はまた、メモリ９０２に記憶された命令を実行して、概して、通信インターフェース９０８、オーディオスピーカ、ユーザインターフェースなどの他の電気構成要素を含むデバイス９００を制御するように構成することができる。
【0117】
プロセッサ９０６は、アルゴリズム９０４のその後の実行が、変更された少なくとも１つの可変パラメータに従うように、アルゴリズム９０４の少なくとも１つの可変パラメータを変更するように構成されている。アルゴリズム９０４の少なくとも１つの可変パラメータを変更するために、プロセッサ９０６は、メモリ９０２内の少なくとも１つの可変パラメータのデータポイントを修正又は更新するように構成されている。プロセッサ９０６は、手術処置を行っている間に、手術デバイス９００の使用に伴って、アルゴリズム９０４の少なくとも１つの可変パラメータをリアルタイムで変更するように構成することができ、これはリアルタイム条件に対処し得る。
【0118】
プロセッサ９０６が少なくとも１つの可変パラメータを変更することに加えて又はその代わりに、プロセッサ９０６は、手術ハブ９１０から受信された命令に応答して、アルゴリズム９０４及び／又はアルゴリズム９０４の少なくとも１つの可変パラメータを変更するように構成することができる。いくつかの実施形態では、プロセッサ９０６は、手術ハブ９１０と通信し、そこから命令を受信した後にのみ、少なくとも１つの可変パラメータを変更するように構成されており、これは、手術器具９００が使用されている手術処置の他の態様との手術器具９００の協調されたアクションを確実にするのに役立ち得る。
【0119】
例示的な実施形態では、プロセッサ９０６は、アルゴリズム９０４を実行して手術器具９００の動作を制御し、リアルタイムデータに基づいて、アルゴリズム９０４の少なくとも１つの可変パラメータを変更し、少なくとも１つの可変パラメータを変更した後に、アルゴリズム９０４を実行して手術器具９００の動作を制御する。
【0120】
図２１は、アルゴリズム９０４の少なくとも１つの可変パラメータの変更を含む、手術器具９００を使用する方法９１２の一実施形態を例解する。プロセッサ９０６は、メモリ９０２に記憶されたアルゴリズム９０４を実行することによって、手術器具９００の動作を制御する（９１４）。このその後に既知となるデータ及び／又はその後に収集されるデータのいずれかに基づいて、プロセッサ９０４は、上記に論じられたように、アルゴリズム９０４の少なくとも１つの可変パラメータを変更する（９１６）。少なくとも１つの可変パラメータを変更した後に、プロセッサ９０６は、ここで、変更された少なくとも１つの可変パラメータを用いてアルゴリズム９０４を実行することによって、手術器具９００の動作を制御する（９１８）。プロセッサ９０４は、手術処置を行っている間に、少なくとも１つの可変パラメータを、例えば、０回、１回、２回、３回などの任意の回数変更することができる（９１６）。方法９１２の任意の部分中に、手術器具９００は、通信インターフェース９０８を使用して、１つ又は２つ以上のコンピュータシステム、例えば、手術ハブ９１０、クラウドサーバなどの遠隔サーバと通信して、そこにデータを提供し、及び／又はそこから命令を受信することができる。
【0121】
状況認識
インテリジェント手術器具の動作は、患者の状況認識に基づいて変えることができる。インテリジェント手術器具の動作は、インテリジェント手術器具のユーザが器具を異なるように取り扱うこと、器具に異なる入力を提供すること、器具の使用を停止することなどによって、手動で変えることができる。追加的又は代替的に、インテリジェント手術器具の動作は、器具のアルゴリズムが、例えば、アルゴリズムの少なくとも１つの可変パラメータを変更することによって変更されることによって、自動的に変更することができる。上述したように、アルゴリズムは、変更を要求するユーザ入力なしに自動的に調節することができる。手術処置を行っている間に調節を自動化することは、時間を節約するのに役立ち得、医師が手術処置の他の態様に集中することを可能にし得、及び／又は医師のために手術器具を使用するプロセスを容易にし得、これらは、各々、重要構造を回避すること、器具が使用されている及び／又は近くで使用されている組織種類を考慮して手術器具を制御することなどによって、患者の転帰を改善し得る。
インテリジェント手術器具の動作は、患者の状況認識に基づいて変えることができる。インテリジェント手術器具の動作は、インテリジェント手術器具のユーザが器具を異なるように取り扱うこと、器具に異なる入力を提供すること、器具の使用を停止することなどによって、手動で変えることができる。追加的又は代替的に、インテリジェント手術器具の動作は、器具のアルゴリズムが、例えば、アルゴリズムの少なくとも１つの可変パラメータを変更することによって変更されることによって、自動的に変更することができる。上述したように、アルゴリズムは、変更を要求するユーザ入力なしに自動的に調節することができる。手術処置を行っている間に調節を自動化することは、時間を節約するのに役立ち得、医師が手術処置の他の態様に集中することを可能にし得、及び／又は医師のために手術器具を使用するプロセスを容易にし得、これらは、各々、重要構造を回避すること、器具が使用されている及び／又は近くで使用されている組織種類を考慮して手術器具を制御することなどによって、患者の転帰を改善し得る。
【0122】
本明細書に説明される可視化システムは、手術ハブ、例えば、手術ハブ７０６、手術ハブ８０６、又は本明細書に説明される他の手術ハブによって具現化又は実行され得る状況認識システムの一部として利用することができる。特に、手術器具（これらの位置、向き、アクションを含む）、組織、構造、ユーザ、及び／又は術野又は手術室内に位置する他のものを特徴付けること、特定すること、及び／又は可視化することは、状況認識システムによって利用されて、手術処置の種類又は行われている工程、外科医又は他の医師によって操作されている組織及び／又は構造の種類、及び他の情報を推測することができるコンテキストデータを提供することができる。次いで、このコンテキストデータは、状況認識システムによって利用されて、ユーザにアラートを提供すること、ユーザが引き受けるその後の工程又はアクションを示唆すること、手術デバイスをそれらの使用を予測して準備すること（例えば、電気手術器具が手術処置のその後の工程で利用されることを予測して電気手術発生器を起動すること）、インテリジェント手術器具の動作を制御すること（例えば、下記に更に論じられるように、アルゴリズムの手術器具の動作パラメータをカスタマイズすること）などをすることができる。
【0123】
感知されたデータに応答する制御アルゴリズムを含む「インテリジェント」デバイスは、例えば、変更されたアルゴリズムの少なくとも１つの可変パラメータを有することによって、感知されたデータを考慮せずに動作する「データ処理能力のない（dumb）」デバイスに対する改善とすることができるが、いくつかの感知されたデータは、単独、例えば、行われている手術処置の種類、又は手術されている組織の種類のコンテキストなしで考慮されるときに、不完全又は決定的ではない可能性がある。処置コンテキストを知らないと（例えば、手術されている組織の種類又は行われている処置の種類を知らないと）、制御アルゴリズムは、特定のコンテキストのない感知されたデータが与えられると、手術デバイスを不正確に又は準最適に制御することがある。例えば、特定の感知されたパラメータに応答して、手術器具を制御するための制御アルゴリズムの最適な様式は、手術されている特定の組織の種類に従って変動する可能性がある。これは、異なる組織の種類が異なる特性（例えば、引き裂きに対する抵抗力、切断のし易さなど）を有し、したがって、手術器具によってとられたアクションに対して異なって応答するという事実に起因するものである。したがって、特定のパラメータについて同じ測定値が感知されたときであっても、手術器具が異なるアクションをとることが望ましいことがある。一実施例として、手術ステープラがそのエンドエフェクタを閉鎖するための予想外に高い力を感知することに応答して、手術ステープラを制御する最適な様式は、組織の種類が引き裂きの影響を受けやすいか、又はこれに耐性があるかに応じて変動する。肺組織など、引き裂きの影響を受けやすい組織の場合、手術器具の制御アルゴリズムは、組織の引き裂きを回避するために、閉鎖するための予想外に高い力に応答して、モータを最適に減速させ、例えば、モータが遅くなるようにモータ速度又はトルクを制御する可変パラメータを変更する。胃組織など、引き裂きに耐性がある組織の場合、器具の制御アルゴリズムは、エンドエフェクタが組織に適切にクランプされることを確実にするために、閉鎖するための予想外に高い力に応答して、モータを最適に加速させ、例えば、モータが速くなるようにモータ速度又はトルクを制御する可変パラメータを変更する。肺又は胃の組織がクランプされたかどうかを知ることなく、アルゴリズムは準最適に変更されるか、又は全く変更されないことがある。
【0124】
手術ハブは、様々なデータソースから受信されたデータに基づいて、行われている手術処置に関する情報を導出し、したがって、それに従ってモジュール式デバイスを制御するように構成することができる。言い換えると、手術ハブは、受信されたデータから手術処置に関する情報を推測し、次いで、手術処置の推測されたコンテキストに基づいて、手術ハブに動作可能に結合されたモジュール式デバイスを制御するように構成することができる。モジュール式デバイスは、可視化システムデバイス（例えば、カメラ、又はディスプレイスクリーンなど）、スマート手術器具（例えば、超音波手術器具、電気手術器具、手術ステープラ、煙排出器など）などの状況認識システムによって制御可能な任意の手術デバイスを含むことができる。モジュール式デバイスは、デバイスが使用されている患者に関連付けられたパラメータ、及び／又はモジュール式デバイス自体に関連付けられたパラメータを検出するように構成されたセンサを含むことができる。
【0125】
受信されたデータから導出又は推測されるコンテキスト情報は、例えば、行われている手術処置のタイプ、外科医（又は他の医師）が行っている手術処置の特定の工程、手術されている組織のタイプ、又は手術処置の対象である体腔を含むことができる。手術ハブの状況認識システムは、様々な異なる方式でデータソースから受信されたデータから、コンテキスト情報を導出するように構成することができる。例示的な実施形態では、手術ハブの状況認識システムによって受信されたコンテキスト情報は、１つ又は２つ以上のモジュール式デバイスの特定の制御調節、又は制御調節のセットに関連付けられる。制御調節は、各々、可変パラメータに対応する。一実施例では、状況認識システムは、様々な入力（例えば、データベース、患者モニタリングデバイス、及び／又はモジュール式デバイスからのデータ）を、手術処置に関する対応するコンテキスト情報と相関させるために、訓練データで訓練されたパターン認識システム、又は機械学習システム（例えば、人工ニューラルネットワーク）を含む。言い換えると、機械学習システムは、提供された入力から手術処置に関するコンテキスト情報を正確に導出するように訓練することができる。別の実施例では、状況認識システムは、手術処置に関する事前に特徴付けられたコンテキスト情報を、そのコンテキスト情報に対応する１つ又は２つ以上の入力（又は、入力の範囲）と関連付けて記憶する、ルックアップテーブルを含むことができる。１つ又は２つ以上の入力による問い合わせに応答して、ルックアップテーブルは、少なくとも１つのモジュール式デバイスを制御するために状況認識システムの対応するコンテキスト情報を返すことができる。別の実施例では、状況認識システムは、コンテキスト情報が入力として提供されるときに、１つ又は２つ以上のモジュール式デバイスの１つ又は２つ以上の制御調節を生成又は読み出す、更なる機械学習システム、ルックアップテーブル、又は他のそのようなシステムを含む。
【0126】
状況認識システムを含む手術ハブは、手術システムに多くの利点を提供し得る。１つの利点は、感知及び収集されたデータの解釈を改善することを含み、これは、手術処置の過程中の処理精度、及び／又はデータの使用を改善させる。別の利点は、手術ハブのための状況認識システムが、各手術処置の特定のコンテキストのための手術器具（及び、他のモジュール式デバイス）を調節し（例えば、異なる組織種類に調節する）、手術処置中のアクションを検証することによって、手術処置の転帰を改善し得ることである。更に別の利点は、状況認識システムが、処置の特定のコンテキストに従って、次の工程を自動的に示唆し、データを提供し、手術現場内のディスプレイ及び他のモジュール式デバイスを調節することによって、手術処置を実行する際の医師の効率を改善し得ることである。別の利点は、処置のその後の工程が器具の使用を必要とすると判定する場合、ＲＦ電気手術器具が接続されている発生器を状況認識手術ハブが積極的に起動することなどによって、行われている手術処置の特定の工程に従ってモジュール式デバイスを積極的かつ自動的に制御して、医師が手術処置の過程中に手術システムと相互作用するか又はこれを制御する必要がある回数を低減することである。エネルギー源を積極的に起動することにより、処置の先行する工程が完了すると直ぐに器具を使用準備完了にすることができる。
【0127】
例えば、状況認識手術ハブは、どの種類の組織が手術されているかを判定するように構成することができる。したがって、手術器具のエンドエフェクタを閉鎖するための予期外の強い力が検出されるときに、状況認識手術ハブは、例えば、モータ速度又はトルクに関する手術器具のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、その種類の組織のために手術器具のモータを正確に加速又は減速するように構成することができる。
【0128】
別の実施例では、手術されている組織の種類は、特定の組織間隙測定のための手術ステープラの圧縮速度と負荷閾値になされる調節に影響を及ぼす可能性がある。状況認識手術ハブは、行われている手術処置が胸部処置であるのか、又は腹部処置であるのかを推測するように構成することができ、手術ハブが、手術ステープラのエンドエフェクタによってクランプされている組織が（胸部処置での）肺組織であるのか、又は（腹部処置での）胃組織であるのかを判定することが可能である。次いで、手術ハブは、例えば、圧縮率及び負荷閾値に関する手術ステープラのためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、その種類の組織に適切な手術ステープラの圧縮率及び負荷閾値の調節を引き起こすように構成することができる。
【0129】
更に別の実施例として、送気処置中に手術されている体腔の種類は、煙排出器の機能に影響を及ぼす可能性がある。状況認識手術ハブは、手術部位が（手術処置が送気を利用していると判定することによって）圧力下にあるかどうかを判定し、処置の種類を判定するように構成することができる。ある処置の種類は概して特定の体腔内で行われるので、手術ハブは、例えば、モータ速度に関する煙排出器のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、手術されている体腔に適切に煙排出器のモータ速度を制御するように構成することができる。したがって、状況認識手術ハブは、胸部処置及び腹部処置の両方のために一貫した量の煙排出を提供し得る。
【0130】
更に別の実施例として、行われている処置の種類は、超音波手術器具、又は高周波（ＲＦ）電気手術器具が動作するのに最適なエネルギーレベルに影響を及ぼす可能性がある。例えば、関節鏡処置では、超音波手術器具、又はＲＦ電気手術器具のエンドエフェクタが流体中に浸漬されるので、より高いエネルギーレベルを必要とする。状況認識手術ハブは、手術処置が関節鏡処置であるかどうかを判定するように構成することができる。手術ハブは、例えば、エネルギーレベルに関する器具及び／又は発生器のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、発生器のＲＦ電力レベル又は超音波振幅を調節して（例えば、エネルギーレベルを調節して）、流体充填環境を補償するように構成することができる。関連して、手術されている組織の種類は、超音波手術器具又はＲＦ電気手術器具が動作するのに最適なエネルギーレベルに影響を及ぼす可能性がある。状況認識手術ハブは、どの種類の手術処置が行われているかを判定し、次いで、手術処置のための予想される組織プロファイルに従って、例えば、エネルギーレベルに関する器具及び／又は発生器のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、超音波手術器具又はＲＦ電気手術器具のためのエネルギーレベルをそれぞれカスタマイズするように構成することができる。更に、状況認識手術ハブは、単に手術ごとにではなく、手術処置の過程にわたって、超音波手術器具又はＲＦ電気手術器具のエネルギーレベルを調節するように構成することができる。状況認識手術ハブは、手術処置のどの工程が行われているか、又は引き続き行われるかを判定し、次いで、発電機、及び／又は超音波手術器具若しくはＲＦ電気手術器具の制御アルゴリズムを更新して、手術処置の工程に従って予想される組織の種類に適切な値までエネルギーレベルを設定するように構成することができる。
【0131】
別の実施例として、状況認識手術ハブは、外科医及び／又は医師が見る必要があると予想される手術部位の特徴に従って、手術処置の現工程、又はその後の工程が、ディスプレイ上の異なるビューや倍率を必要とするかどうかを判定するように構成することができる。手術ハブは、（例えば、可視化システムのための撮像デバイスから供給される）表示されたビューを、適宜、積極的に変更し、ディスプレイが手術処置にわたって自動的に調節されるように構成することができる。
【0132】
更に別の実施例として、状況認識手術ハブは、手術処置のどの工程が行われているか、又はその後に行われるか、及び特定のデータ又はデータ同士の比較が手術処置のその工程に必要であるかどうかを判定するように構成することができる。手術ハブは、外科医又は医師が特定の情報を尋ねるのを待機することなく、行われている手術処置の工程に基づいて、データスクリーンを自動的に呼び出すように構成することができる。
【0133】
別の実施例として、状況認識手術ハブは、外科医及び／又は他の医師が、例えば、術前手術計画において提供されるような手術処置の過程中に、誤りを犯しているか、又は別様に予想される一連のアクションから逸脱しているかどうかを判定するように構成することができる。例えば、手術ハブは、行われている手術処置の種類を判定し、機器使用の工程又は順序の対応リストを（例えば、メモリから）読み出し、次いで、手術処置の過程中に行われている工程又は使用されている機器を、手術ハブが行われていることを判定した手術処置の種類について予想される工程又は機器と比較するように構成することができる。手術ハブは、手術処置における特定の工程で予想外のアクションが行われているか、又は予想外のデバイスが利用されていることを示す（視覚的、聴覚的、及び／又は触覚的）アラートを提供するように構成することができる。
【0134】
特定の例では、本明細書に説明される様々なロボット手術システムのいずれかなどのロボット手術システムの動作は、その状況認識及び／又はその構成要素からのフィードバックに基づいて、及び／又はクラウド（例えば、図１８のクラウド７１３）からの情報に基づいて、手術ハブによって制御することができる。
【0135】
状況認識システムの実施形態及び手術処置を行っている間に状況認識システムを使用する実施形態は、前述の２０１９年１２月３０日に出願された「Ａｎａｌｙｚｉｎｇ Ｓｕｒｇｉｃａｌ Ｔｒｅｎｄｓ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，７７２号、２０１９年１２月３０日に出願された「Ｄｙｎａｍｉｃ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ」と題する米国特許出願第１６／７２９，７４７号、２０１９年１２月３０日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ」と題する米国特許出願第１６／７２９，７４４号、２０１９年１２月３０日に出願された「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ，Ａｄｊｕｓｔｉｎｇ，Ａｎｄ Ｍａｎａｇｉｎｇ Ｒｅｓｅｃｔｉｏｎ Ｍａｒｇｉｎ Ａｂｏｕｔ Ａ Ｓｕｂｊｅｃｔ Ｔｉｓｓｕｅ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｐｒｏｐｏｓｉｎｇ Ａｎｄ Ｃｏｒｒｏｂｏｒａｔｉｎｇ Ｏｒｇａｎ Ｐｏｒｔｉｏｎ Ｒｅｍｏｖａｌｓ」と題する米国特許出願第１６／７２９，７２９号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｏｖｅｒｌａｙｉｎｇ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ Ｏｎｔｏ Ａ Ｖｉｒｔｕａｌ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔ Ｏｆ Ａｎ Ｏｒｇａｎ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｃｏｒｒｅｌａｔｉｎｇ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｄａｔａ Ａｎｄ Ｐｏｗｅｒｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ」と題する米国特許出願第１６／７２９，７４０号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｃｌｏｕｄ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７３７号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｐａｒｔｉｃｕｌａｔｅ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７９６号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，８０３号、及び２０１９年１２月３０日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｕｓｉｎｇ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅｓ Ｉｎ Ｓｕｒｇｅｒｙ」と題する米国特許出願第１６／７２９，８０７号に更に説明されている。
【0136】
肺の手術処置
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、肺に行われる手術処置に関連し得る。例えば、肺切除（例えば、肺葉切除）は、肺葉の全部又は一部、例えば、１つ又は２つ以上の肺葉が除去される手術処置である。肺切除を行う目的は、例えば、肺がん、肺気腫、又は気管支拡張症の結果としての損傷又は罹患した肺を治療することである。
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、肺に行われる手術処置に関連し得る。例えば、肺切除（例えば、肺葉切除）は、肺葉の全部又は一部、例えば、１つ又は２つ以上の肺葉が除去される手術処置である。肺切除を行う目的は、例えば、肺がん、肺気腫、又は気管支拡張症の結果としての損傷又は罹患した肺を治療することである。
【0137】
肺切除の間、肺は、最初に収縮させられ、その後、１つ又は２つ以上の切開が、患者の側で、腹腔鏡下で肺に到達するように患者の肋骨の間で行われる。把持器及び腹腔鏡などの手術器具は、切開部を通して挿入される。肺の感染又は損傷領域が特定されると、その領域は肺から切除され、１つ又は２つ以上の切開部から除去される。切開された領域及び１つ又は２つ以上の切開部は、例えば、手術ステープラ又は縫合によって閉鎖することができる。
【0138】
肺は手術中に収縮するので、肺又は肺の特定の部分は、手術器具が手術部位に到達することを可能にするために可動化される必要があり得る。この可動化は、把持器で肺の外側組織層を把持し、把持器を介して肺に力を加えることによって実施することができる。しかしながら、肺の胸膜及び実質組織は非常に脆弱であり、したがって、加えられた力の下で容易に破られるか、又は引き裂かれ得る。追加的に、可動化中、把持器は、肺の１つ又は２つ以上の領域への血液供給を遮断することができる。
【0139】
更に、呼吸チューブが患者の気道内に配置されて、手術中に各肺を別個に膨張させることが可能である。肺の膨張は、肺を移動させ、術前撮像にマッチングさせ、及び／又は外科医が切開された領域における漏出をチェックすることを可能にすることができる。しかしながら、肺全体を膨張させることによって、胸腔の充填に起因して肺の周りの作業空間が失われる。追加的に、肺全体を膨張させることは、時間がかかる可能性があり、手術処置中に肺の複数の部分が手術される場合、容易な漏出検出を保証しない。
【0140】
結腸の手術処置
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、結腸に行われる手術処置に関連し得る。例えば、手術は、初期段階の結腸がんに対する主要な治療である。使用される手術のタイプは、がんが結腸内にある場合、がんのステージ（程度）、及び手術の目標に依存する。いくらかの初期結腸がん（ステージ０及びいくつかの初期ステージＩ腫瘍）及び大部分のポリープは、結腸鏡検査の間に除去することができる。しかしながら、がんが進行した場合、局所切除又は結腸切除が必要とされ得る。結腸切除は、結腸の全部又は一部を除去するための手術である。特定の例では、近くのリンパ節も除去される。結腸の一部のみが除去される場合、それは、半結腸切除、部分結腸切除、又はセグメント切除と呼ばれ、外科医は、いずれかの側の非罹患結腸の小セグメントとともに結腸の罹患部分を取り出す。通常、がんのサイズ及び場所に応じて、結腸の約４分の１～３分の１が除去される。結腸の主要な切除を図２１Ａに例解し、Ａ－Ｂは、右半結腸切除であり、Ａ－Ｃは、拡張右半結腸切除であり、Ｂ－Ｃは、横行結腸切除であり、Ｃ－Ｅは、左半結腸切除であり、Ｄ－Ｅは、Ｓ状結腸切除であり、Ｄ－Ｆは、前方切除であり、Ｄ－Ｇは、（超）低位前方切除であり、Ｄ－Ｈは、腹会陰切除であり、Ａ－Ｄは、結腸亜全摘であり、Ａ－Ｅは、結腸全摘であり、Ａ－Ｈは、直腸結腸全摘である。切除が完了したら、結腸の残りの無傷のセクションが再付着される。
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、結腸に行われる手術処置に関連し得る。例えば、手術は、初期段階の結腸がんに対する主要な治療である。使用される手術のタイプは、がんが結腸内にある場合、がんのステージ（程度）、及び手術の目標に依存する。いくらかの初期結腸がん（ステージ０及びいくつかの初期ステージＩ腫瘍）及び大部分のポリープは、結腸鏡検査の間に除去することができる。しかしながら、がんが進行した場合、局所切除又は結腸切除が必要とされ得る。結腸切除は、結腸の全部又は一部を除去するための手術である。特定の例では、近くのリンパ節も除去される。結腸の一部のみが除去される場合、それは、半結腸切除、部分結腸切除、又はセグメント切除と呼ばれ、外科医は、いずれかの側の非罹患結腸の小セグメントとともに結腸の罹患部分を取り出す。通常、がんのサイズ及び場所に応じて、結腸の約４分の１～３分の１が除去される。結腸の主要な切除を図２１Ａに例解し、Ａ－Ｂは、右半結腸切除であり、Ａ－Ｃは、拡張右半結腸切除であり、Ｂ－Ｃは、横行結腸切除であり、Ｃ－Ｅは、左半結腸切除であり、Ｄ－Ｅは、Ｓ状結腸切除であり、Ｄ－Ｆは、前方切除であり、Ｄ－Ｇは、（超）低位前方切除であり、Ｄ－Ｈは、腹会陰切除であり、Ａ－Ｄは、結腸亜全摘であり、Ａ－Ｅは、結腸全摘であり、Ａ－Ｈは、直腸結腸全摘である。切除が完了したら、結腸の残りの無傷のセクションが再付着される。
【0141】
結腸切除は、冒された結腸組織の分離及び除去のために結腸にアクセスするために腹壁を通る単一の切開部が使用される開腹結腸切除を通して、かつ腹腔鏡支援結腸切除を通して行うことができる。腹腔鏡支援結腸切除では、手術器具を用いて多くのより小さな切開部を通して手術が行われ、腹腔鏡が小さな切開部を通過して結腸全体又はその一部を除去する。処置の開始時に、腹部は、ガス、例えば、二酸化炭素で膨張させられて、外科医のための作業空間を提供する。腹腔鏡は、腹腔内の画像を送信し、外科医に、モニタ又は他のディスプレイ上に患者の内臓の拡大ビューを与える。いくつかの他のカニューレが挿入されて、外科医が結腸の内側で作業し、結腸の一部を除去することを可能にする。結腸の罹患部分が除去されると、結腸の残りの端部は、例えば、ステープラ又は縫合を介して互いに取り付けられる。全処置は、カニューレを通して、又は小カニューレ切開のうちの１つを延長することによって、完了され得る。
【0142】
腹腔鏡支援結腸切除処置の間、適切な術野を取得することはしばしば難しい。多くの場合、切開は骨盤の深部で行われるため、その領域を十分に可視化することが難しい。結果として、可動化中に直腸の両側の周りの静脈及び動脈へのアクセスを得るために、下部直腸を持ち上げて回転させなければならない。下部直腸の操作中に、組織のバンチング及び／又は組織の過伸展が起こる可能性がある。追加的に、直腸内の腫瘍は、周囲の骨盤において癒着を引き起こす可能性があり、結果として、これは、腫瘍の離断及び除去の前に、直腸断端を解放し、腸間膜及び血液供給を可動化することを必要とする可能性がある。
【0143】
更に、複数の把持具が、結腸からの除去のために腫瘍を位置付けるために必要とされる。結腸の切開の間、腫瘍は張力下に配置されるべきであり、これは、結腸の周囲の健康組織を把持して伸展させることを必要とする。しかしながら、腫瘍を取り囲む組織の操作は、把持器が組織に高い把持力をかけることに起因して、血流の減少及び外傷を被る可能性がある。追加的に、結腸切除の間、横行結腸及び上部下行結腸は、腫瘍を含む大腸のセクションが離断されて除去された後に、健康良好残存結腸が直腸断端に接続するように下げられることを可能にするために可動化される必要があり得る。
【0144】
結腸切除後、結腸の残りの健康部分を互いに再付着させて、老廃物が身体から出るための経路を作成しなければならない。しかしながら、腹腔鏡器具を使用して結腸切除を行うときに、単一の入口ポートは、結腸の一端を結腸の接続部分に移動させるのに十分な大きさの運動範囲を有していないことがある。そのため、第２の入口ポートは、したがって、結腸を適切に位置付けるために結腸を可動化するのに役立つために手術器具を腹腔鏡下で挿入するのに必要とされる。
【0145】
胃の手術処置
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、胃に行われる手術処置に関連し得る。例えば、手術は、胃がんの最も一般的な治療である。胃がんのために手術が必要とされるときに、目標は、腫瘍全体並びに腫瘍の周りの健康胃組織の良好マージンを除去することである。異なる処置を使用して、胃がんを除去することができる。使用される処置の種類は、がんが胃のどの部分に位置するか、及びがんが近くの領域にどれだけ成長したかに依存する。例えば、胃に対する内視鏡的粘膜切除（ＥＭＲ）及び内視鏡的粘膜下層剥離（endoscopic submucosal dissection、ＥＳＤ）処置は、いくつかの早期がんを治療するために使用することができる。これらの処置は、皮膚の切断を必要としないが、その代わりに、外科医は、内視鏡を患者の咽喉を通して胃の中に通す。次いで、手術ツール（例えば、ＭＥＧＡＤＹＮＥ（商標）のＴｉｓｓｕｅ Ｄｉｓｓｅｃｔｏｒ又はＥｌｅｃｔｒｏｓｕｒｇｉｃａｌ Ｐｅｎｃｉｌ）を内視鏡の作業チャネルに通して、腫瘍及びその下及び周りの正常な胃壁のいくつかの層を除去する。
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、胃に行われる手術処置に関連し得る。例えば、手術は、胃がんの最も一般的な治療である。胃がんのために手術が必要とされるときに、目標は、腫瘍全体並びに腫瘍の周りの健康胃組織の良好マージンを除去することである。異なる処置を使用して、胃がんを除去することができる。使用される処置の種類は、がんが胃のどの部分に位置するか、及びがんが近くの領域にどれだけ成長したかに依存する。例えば、胃に対する内視鏡的粘膜切除（ＥＭＲ）及び内視鏡的粘膜下層剥離（endoscopic submucosal dissection、ＥＳＤ）処置は、いくつかの早期がんを治療するために使用することができる。これらの処置は、皮膚の切断を必要としないが、その代わりに、外科医は、内視鏡を患者の咽喉を通して胃の中に通す。次いで、手術ツール（例えば、ＭＥＧＡＤＹＮＥ（商標）のＴｉｓｓｕｅ Ｄｉｓｓｅｃｔｏｒ又はＥｌｅｃｔｒｏｓｕｒｇｉｃａｌ Ｐｅｎｃｉｌ）を内視鏡の作業チャネルに通して、腫瘍及びその下及び周りの正常な胃壁のいくつかの層を除去する。
【0146】
胃に対して行われる他の手術処置は、開腹処置として行うことができる胃亜全摘（部分）又は全摘を含む。例えば、手術器具は、腹部の皮膚の大きな切開部を通して挿入され、又は腹腔鏡処置として、例えば、手術器具は、いくつかの小さな切断部を通して腹部に挿入される。例えば、腹腔鏡胃切除処置は、概して、約１５ミリメートル水銀（ｍｍＨｇ）の圧力まで二酸化炭素ガスを腹腔に送気することを伴う。腹壁が穿孔され、次いで、約５ｍｍ～約１０ｍｍの範囲内の直径を有するカニューレ又はトロカールなどの直線管状カニューレ又はトロカールが、腹腔内に挿入される。手術室のモニタに接続された腹腔鏡は、術野を可視化するために使用され、トロカールのうちの１つを通して配置される。腹腔鏡手術器具は、胃の所望の部分を除去するために、医療従事者、例えば、外科医及び外科助手による操作のために、２つ又はそれ以上の追加のカニューレ又はトロカールを通して配置される。
【0147】
特定の例では、腹腔鏡及び内視鏡の協調する手術が、胃腫瘍を除去するために使用することができる。この協調する手術は、典型的には、内視鏡、例えば、胃鏡、及び腹腔鏡トロカールの導入を伴う。腹腔鏡並びに組織操作及び切開手術器具は、トロカールを通して導入される。腫瘍場所は、内視鏡を介して特定することができ、内視鏡の作業チャネル内に挿入される切断要素は、次いで、腫瘍の周りの粘膜下層切除のために使用される。次に、腹腔鏡切開手術器具は、胃壁を通して切開部を作成するために、腫瘍マージンに隣接する漿膜筋層切開のために使用される。次いで、腫瘍は、この切開部を通して、管腔内空間、例えば、胃の内側から管腔外空間、例えば、胃の外側に旋回される。次いで、腹腔鏡手術器具、例えば、エンドカッターは、胃壁からの腫瘍の離断を完了し、切開部を封止するために使用することができる。
【0148】
腸の手術処置
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、腸に行われる手術処置に関連し得る。例えば、十二指腸粘膜リサーフェシング（ＤＭＲ）処置は、２型糖尿病などのインスリン抵抗性代謝疾患を治療するために内視鏡的に行うことができる。ＤＭＲ処置は、食物の検出に影響を及ぼすので、有効な治療とすることができる。ＤＭＲ処置は、食物が正常よりも腸のより深くで感知される、例えば、（小腸の最初の部分である）十二指腸を通った後に感知される傾向があるように、十二指腸機能を阻害する。したがって、患者の身体は、典型的なものよりも腸のより深くで糖を感知し、したがって、典型的なものよりも遅く糖に反応し、そのため、血糖制御を改善することができる。十二指腸の不規則な機能は、食物に対する身体の典型的な反応を変更し、神経系及び化学的シグナルを介して、身体にその応答をグルコースレベルに適応させてインスリンレベルを増加させる。
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、腸に行われる手術処置に関連し得る。例えば、十二指腸粘膜リサーフェシング（ＤＭＲ）処置は、２型糖尿病などのインスリン抵抗性代謝疾患を治療するために内視鏡的に行うことができる。ＤＭＲ処置は、食物の検出に影響を及ぼすので、有効な治療とすることができる。ＤＭＲ処置は、食物が正常よりも腸のより深くで感知される、例えば、（小腸の最初の部分である）十二指腸を通った後に感知される傾向があるように、十二指腸機能を阻害する。したがって、患者の身体は、典型的なものよりも腸のより深くで糖を感知し、したがって、典型的なものよりも遅く糖に反応し、そのため、血糖制御を改善することができる。十二指腸の不規則な機能は、食物に対する身体の典型的な反応を変更し、神経系及び化学的シグナルを介して、身体にその応答をグルコースレベルに適応させてインスリンレベルを増加させる。
【0149】
ＤＭＲ処置では、十二指腸粘膜は、生理食塩水などを用いて持ち上げられ、次いで、粘膜は、例えば、内視鏡の作業チャネルを通して十二指腸内に前進したアブレーションデバイスを使用して、アブレーションされる。アブレーション前に粘膜を持ち上げることは、アブレーションによる損傷から十二指腸の外層を保護するのに役立つ。粘膜がアブレーションされた後、粘膜は後に再生する。アブレーションデバイスの実施例は、ＮｅｕＷａｖｅ（商標）のアブレーションプローブ（Ｅｔｈｉｃｏｎ ＵＳ ＬＬＣ ｏｆ Ｃｉｎｃｉｎｎａｔｉ，ＯＨから入手可能）である。アブレーションデバイスの別の実施例は、Ｈｙｂｌａｔｅのカテーテルアブレーションプローブ（Ｈｙｂｌａｔｅ Ｍｅｄｉｃａｌ ｏｆ Ｍｉｓｇａｖ，Ｉｓｒａｅｌから入手可能）である。アブレーションデバイスの別の実施例は、Ｂａｒｘｘ（商標）のＨａｌｏＦｌｅｘ（Ｍｅｄｔｒｏｎｉｃ ｏｆ Ｍｉｎｎｅａｐｏｌｉｓ，ＭＮから入手可能）である。
【0150】
図２１Ｂは、ＤＭＲ処置の一実施形態を例解する。図２１Ｂに示されるように、腹腔鏡１４００は、十二指腸１４０２の外部可視化のために、十二指腸１４０２の外部に位置付けられる。内視鏡１４０４は、十二指腸１４０２の内部可視化のために、食道１４０６を通り、胃１４０８を通り、十二指腸１４０２内へ経口的に前進させられる。アブレーションデバイス１４１０は、内視鏡１４０４の作業チャネルを通して前進させられ、内視鏡１４０４から十二指腸１４０２の中へ遠位に延在する。アブレーションデバイス１４１０のバルーン１４１２は、図２１Ｂで拡張又は膨張されて示される。拡張又は膨張したバルーン１４１２は、アブレーションを繰り返すためにアブレーションデバイス１４１０が前進及び／又は後退させられる前に、円周方向アブレーションさえも生じ得るように、アブレーションデバイスの電極を中心に置くのに役立つことができる。粘膜がアブレーションデバイス１４１０を使用してアブレーションされる前に、十二指腸粘膜は、生理食塩水などで持ち上げられる。いくつかの実施形態では、バルーン１４１２を含むことに加えて、又はその代わりに、アブレーションデバイス１４１０は、拡張及び圧潰するように構成された電極アレイ又はバスケットを使用して、拡張可能／圧潰可能とすることができる。
【0151】
十二指腸１４０２の腹腔鏡による外部可視化は、十二指腸１４０２の熱監視を可能にすることができ、これは、十二指腸１４０２の外層が、十二指腸が穿孔されることなどによる十二指腸粘膜のアブレーションによって損傷されないことを確実にするのに役立ち得る。熱監視の様々な実施形態は、例えば、以下、及び２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃｏｎｔｒｏｌ Ｏｆ Ｏｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｗｉｔｈ Ａｎｏｔｈｅｒ」と題する米国特許出願第６３／２４９，６５８号で更に論じられている。内視鏡１４０４及び／又はアブレーションデバイス１４１０は、腹腔鏡１４００が、例えば、不可視光を使用することによって十二指腸の組織を通して可視化するように構成することができる基準マーカを含んで、アブレーションが生じる場所において腹腔鏡１４００が十二指腸１４０２を外部から可視化すべき場所を判定するのに役立つことができる。基準マーカの様々な実施形態は、例えば、２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ｍｅｔｈｏｄｓ Ｕｓｉｎｇ Ｆｉｄｕｃｉａｌ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ａｎｄ Ｔｒａｃｋｉｎｇ」と題する米国特許出願第６３／２４９，６５２号、及び２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃｏｎｔｒｏｌ Ｏｆ Ｏｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｗｉｔｈ Ａｎｏｔｈｅｒ」と題する米国特許出願第６３／２４９，６５８号で更に論じられている。
【0152】
協調する手術器具の制御
様々な態様では、本開示は、協調する手術器具の制御のための方法、デバイス、及びシステムを提供する。
様々な態様では、本開示は、協調する手術器具の制御のための方法、デバイス、及びシステムを提供する。
【0153】
例えば、一実施形態では、システムは、第１の手術器具と、第２の手術器具と、コントローラと、を含むことができる。第１の手術器具及び第２の手術器具は各々、患者内に位置する第１の手術治療部位において組織に対して動作するように構成することができ、コントローラは、第２の器具から第１の器具に関連するデータを受信するように構成することができる。受信されたデータに基づいて、コントローラは、第１の手術器具の少なくとも１つの測定パラメータを判定することができ、測定パラメータに基づいて第１の手術器具又は第２の手術器具のうちの少なくとも１つの動作パラメータの調節を判定することができる。
【0154】
例えば、図２２は、様々な器具の場所及び動きに関して、手術器具の協調する制御を提供することができる１つの例示的な手術システム１０００の概略図を提供する。図示のように、システム１０００は、患者に挿入されるように構成された第１の手術器具１０１０と、患者に挿入されて第１の手術器具１０１０を可視化するように構成された第１の内視鏡１０２０と、患者に挿入されるように構成された第２の手術器具１０３０と、患者に挿入されて第２の手術器具１０３０を可視化するように構成された第２の内視鏡１０４０と、を含む。第１の手術器具１０１０、第１の内視鏡１０２０、第２の手術器具１０４０、及び第２の内視鏡１０４０は各々、システム１０００のコントローラ１０５０と動作可能に通信するように構成されており、このコントローラは、第１の手術器具１０１０及び第２の手術器具１０３０並びに第１の内視鏡１０２０及び第２の内視鏡１０４０のうちの少なくとも１つから受信されたデータに基づいて、第１の手術器具１０１０及び第２の手術器具１０３０の動作を制御するように構成されている。第１の手術器具１０１０及び第２の手術器具１０３０は、共通の体腔又は共通の組織壁によって分離された別個の体腔内に挿入されるように構成されている。システム１０００は、第１の内視鏡１０２０及び第２の内視鏡１０４０を含むが、いくつかの実施形態では、内視鏡１０２０及び内視鏡１０４０の一方又は両方をシステム１０００から省略することができる。
【0155】
第１の手術器具１０１０及び第２の手術器具１０３０は、各々、組織を操作及び／又は治療するように構成された任意の好適な手術デバイスとすることができる。第１の手術器具１０１０及び第２の手術器具１０３０は、各々、図１の手術デバイス１０２、図８の手術デバイス２０２、又は本明細書に説明される他の手術デバイスと同様とすることができる。上述したように、手術デバイスの実施例としては、手術解剖器具、手術ステープラ、手術把持器、クリップアプライヤ、煙排出器、手術エネルギーデバイス（例えば、単極プローブ、双極プローブ、アブレーションプローブ、超音波デバイス、超音波エンドエフェクタなど）、様々な他のスマート受電ハンドヘルドデバイスなどを含む。例えば、いくつかの実施形態では、第１の手術器具１０１０及び／又は第２の手術器具１０３０は、手術デバイスのシャフトの遠位端から延在し、かつ組織をそれらの間に係合するように構成されている対向するジョーを有するエンドエフェクタを含むことができる。
【0156】
第１の内視鏡１０２０及び第２の内視鏡１０４０は、各々、低侵襲手術処置において手術部位の画像を獲得するように構成されている撮像デバイスを含むことができる。第１の内視鏡１０２０及び第２の内視鏡１０４０は、各々、図１の撮像デバイス１２０、図８の撮像デバイス２２０、又は本明細書に説明される他の撮像デバイスと同様とすることができる。本主題のいくつかの実装形態は、手術部位の画像を獲得するために１つ又は２つ以上の内視鏡を使用するものとして本明細書に説明されているが、低侵襲手術処置での使用に適した任意のタイプのスコープを、本明細書に説明されるシステム、方法、及びデバイスと併せて使用することができる。上述したように、スコープの実施例は、関節鏡、血管鏡、気管支鏡、総胆管鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃－十二指腸鏡（胃鏡）、喉頭鏡、鼻咽頭－鼻腔鏡、Ｓ状結腸鏡、胸腔鏡、尿管鏡、及びエキソスコープを含む。これらの例示的なタイプのスコープのうちの１つ又は２つ以上は、任意の実現可能な組み合わせで、低侵襲手術処置において一緒に使用することができる。
【0157】
コントローラ１０５０は、本明細書に説明される動作のうちの１つ又は２つ以上を実行するように構成されているプロセッサ１０５１と、プロセッサ１０５１に動作を実行させるための命令を記憶するように構成されているメモリ１０５２と、を含む。コントローラ１０５０はまた、第１の手術器具インターフェース１０５３と、第１の内視鏡インターフェース１０５４と、第２の手術器具インターフェース１０５５と、第２の内視鏡インターフェース１０５６と、を含む。図２２に示されるように、第１の手術器具１０１０は、第１の手術器具インターフェース１０５３を介してコントローラ１０５０に結合され、そのため、プロセッサ１０５１から動き及び作動命令を受信することができる。第１の内視鏡１０２０は、第１の内視鏡インターフェース１０５４を介してコントローラ１０５０に結合され、そのため、第１の内視鏡１０２０によって獲得された画像を特徴付けるデータを、プロセッサ１０５１に提供し、及び／又は本明細書に説明される動作を行う際にプロセッサ１０５１によって後で使用するためにメモリ１０５２に提供することができる。第１の手術器具１０１０と同様に、第２の手術器具１０３０は、第２の手術器具インターフェース１０５５を介してコントローラ１０５０に結合され、そのため、プロセッサ１０５１から動き及び作動命令を受信することができる。第１の内視鏡１０２０と同様に、第２の内視鏡１０４０は、第２の内視鏡インターフェース１０５６を介してコントローラ１０５０に結合され、そのため、視鏡１０４０によって獲得された画像を特徴付けるデータを、第２のプロセッサ１０５１に提供し、及び／又は本明細書に説明される動作を行う際にプロセッサ１０５１によって後で使用するためにメモリ１０５２に提供することができる。いくつかの実施形態では、第１の手術器具インターフェース１０５３、第１の内視鏡インターフェース１０５４、第２の手術器具インターフェース１０５５、及び第２の内視鏡インターフェース１０５６の各々は、第１の手術器具１０１０、第１の内視鏡１０２０、第２の手術器具１０３０、及び第２の内視鏡１０４０の様々なもののコントローラインターフェース間の差異に対応するように、互いに異なり得る。したがって、第１の手術器具１０１０及び第２の手術器具１０３０並びに第１の内視鏡１０２０及び第２の内視鏡１０４０は全て、以下で更に論じられるように、それらの様々なインターフェースを介して独立して制御することができ、又はいくつかの異なる方法で一緒に制御することができる。
【0158】
図示のように、システム１０００はまた、コントローラ１０５０に動作可能に結合され、かつ第１の内視鏡１０２０及び第２の内視鏡１０４０のうちの１つ又は２つ以上によって獲得された画像を図式的に描写するように構成されているディスプレイ１０６０を含むことができる。いくつかの実施形態では、コントローラ１０５０は、第１の内視鏡１０２０及び第２の内視鏡１０４０の各々から画像データのストリームを受信し、受信された画像データからリアルタイムで画像及び／又はビデオフィードを判定し、画像及び／又はビデオフィードをディスプレイ１０６０に、その上に描写し、かつユーザによって見るために提供することができる。システム１０００、コントローラ１０５０、及び／又はディスプレイ１０６０は、上記に論じられたように、様々なロボット手術システムに組み込むことができ、及び／又は手術ハブ又は他のコンピュータシステムの一部とすることができる。
【0159】
更に、いくつかの実施形態では、システム１０００は、第１の手術器具１０１０及び第２の手術器具１０３０並びに第１の内視鏡１０２０及び第２の内視鏡１０４０などの複数の手術デバイスの単一のユーザ制御を可能にすることができる。例えば、システム１０００又は個々の器具１０１０、１０３０及び個々の内視鏡１０２０、１０４０の制御は、単一のデバイスから複数の独立して制御可能なデバイスの協調する制御を提供するために、図２２のマスタ制御インターフェース２０００として例解される、様々な外科医制御タブレット、腹腔鏡ロボットコンソール、スマート受電ハンドヘルド器具などの他の器具に繋がれることができる。例示的な実施形態では、マスタ制御インターフェース２０００は手術ハブであるが、マスタ制御インターフェース２０００は別のタイプのコンピュータシステムとして構成することができる。
【0160】
システム１０００のコントローラ１０５０はマスタ制御インターフェース２０００と通信するので、マスタ制御インターフェース２０００は、第１の手術器具１０１０、第１の内視鏡１０２０、第２の手術器具１０３０、及び第２の内視鏡１０４０の各々を制御するためのユーザ入力を受信し、受信されたユーザ入力に基づいて、コントローラ１０５０に命令を通信するように構成されている。したがって、ユーザは、第１の手術器具１０１０、第１の内視鏡１０２０、第２の手術器具１０３０、及び第２の内視鏡１０４０の全てを、単一のインターフェースであるマスタ制御インターフェース２０００から制御することができ、これは、手術処置を行っている間に著しい柔軟性を達成し得る。追加的に、滅菌野内の外科医などによる、マスタ制御インターフェース２０００を使用したシステム１０００に対する別個の制御は、各処置及び／又は各ユーザの必要性に基づいて、いくつかの異なる制御構成を提供することによって、より安全な処置を可能にし得る。
【0161】
例えば、いくつかの実施形態では、ユーザは、マスタ制御インターフェース２０００を切り替えて、第１の手術器具インターフェース１０５３、第１の内視鏡インターフェース１０５４、第２の手術器具インターフェース１０５５、及び第２の内視鏡インターフェース１０５６のうちの１つ又は２つ以上にアクセスし、異なるインターフェース１０５３、１０５４、１０５５、１０５６間で切り替えることができる。様々なインターフェース１０５３、１０５４、１０５５、１０５６は、それらの通常の外観を保持することができるか、又はマスタ制御インターフェース２０００を介した相互作用のためにカスタマイズされた外観を有することができる。マスタ制御インターフェース２０００は、インターフェース１０５３、１０５４、１０５５、１０５６のうちの１つ又は２つ以上へのアクセスを提供することができる。他の実施形態では、第１のユーザ（外科医など）は、マスタ制御インターフェース２０００を介して手術処置を行っている間に器具１０１０、１０３０及び内視鏡１０２０、１０４０を制御することができるが、第２のユーザ（第２の外科医又は助手など）は、インターフェース１０５３、１０５４、１０５５、１０５６のうちの１つ又は２つ以上を介して、挿入又は除去などの手術処置の特定の段階中に、器具１０１０、１０３０又は内視鏡１０２０、１０４０のうちの１つの動きを制御することができる。したがって、第１のユーザは、第２のユーザが、処置のより単純な時点で器具１０１０、１０３０又は内視鏡１０２０、１０４０のうちの１つ又は２つ以上を制御することを可能にしつつ、処置中のより困難な又は難しい時点で器具１０１０、１０３０又は内視鏡１０２０、１０４０のうちの１つ又は２つ以上の制御を引き継ぐことができる。
【0162】
例えば、円形ステープラ又はエンドカッターの使用中、例えば、結腸直腸手術中に、外科医は、最終的な吻合を作成するために、滅菌野の外側からの器具の位置付け、クランプ、及び／又は発射を補助制御しながら、滅菌野の内側で手術する必要があり得る。そのような処置中、外科医及び助手は、したがって、滅菌野の内側及び外側から相互に協調しなければならず、これは、非効率及び合併症を引き起こす可能性がある。そのため、例示的な一実施形態では、システム１０００で使用される器具１０１０、１０３０は、図２３に例解される円形ステープラ１０１０ａ、１０３０ａであり得る。各ステープラ１０１０ａ、１０３０ａは、アンビル１０１２ａ、１０３２ａと、シャフト１０１６ａ、１０３６ａの遠位端に配設された交換可能なステープルカートリッジ１０１４ａ、１０３４ａとを有し、各ステープラ１０１０ａ、１０３０ａはまた、円形アンビル後退／解放モータと発射制御モータとを有する。システム１０００並びに第１の器具１０１０及び第２の器具１０３０に関して上記で論じられるように、ステープラ１０１０ａ、１０３０ａは各々、マスタ制御インターフェース２０００に動作可能に結合され、患者を伴う滅菌野の内側又は滅菌野の外側からのいずれかからのマスタ制御インターフェース２０００によるステープラ１０１０ａ、１０３０ａの機能性のうちの１つ又は２つ以上の別個のアクセス及び制御を可能にする。外科医が滅菌野の内側にマスタ制御インターフェース２０００を有するときに、滅菌野の外側の助手は、ステープラ１０１０ａ、１０３０ａを位置付け、特定の位置を維持する必要があるだけである一方で、滅菌野内の外科医は、組織を所望のレベルまでクランプし、ステープラを発射することができる一方で、依然として、微小組織張力などの動作要素をリアルタイムで観察し、対応するステープラ１０１０ａ、１０３０ａの動作を指示して、器具が正しく作業していることを確実にすることができる。
【0163】
更に他の実施形態では、器具１０１０、１０３０は、協働して、器具１０１０、１０３０の一方又は両方の追跡及び配置支援を提供するように一緒に作業する。例えば、いくつかの実施形態では、第１の器具１０１０は、位置付け中にテザー又はシャフトを有さないエンドカッタージョーであり、これは、第１の器具１０１０を正確に位置付けることを難しくする。内視鏡１０２０、１０４０の一方又は両方は、第１の器具１０１０の位置を追跡し、適切な位置付けに関する情報を提供し、別個のシャフト又は他の駆動機能機構が第１の器具１０１０のエンドカッタージョーに対して正確に位置付けられることを可能にするために、第１の器具１０１０を覆い隠し得る解剖学的構造にわたって、ディスプレイ１０６０上などで、位置の画像を拡張する。
【0164】
更に、更なる別の実施形態では、システム１０００がロボット手術システムの一部であるときに、第１のユーザは、第１の内視鏡１０２０又は第２の内視鏡１０４０の挿入中、及び第１の内視鏡１０２０又は第２の内視鏡１０４０をドッキングする前に、第２のユーザによって制御される管腔内内視鏡又は気管支鏡などの内視鏡１０２０、１０４０のうちの１つから視覚的フィードを選択する。選択された内視鏡１０２０、１０４０が患者内のどこにあるかのビューは、ディスプレイ１０６０などのディスプレイ上に拡張され、そのため、第１のユーザは、臨床ジョブ又は腫瘍位置に近接しているときなど、選択された内視鏡１０２０、１０４０がドッキングされ、ロボット手術システムを介して制御可能であるときを指示する能力を有する。
【0165】
拡張及びマージされた画像及び手術器具の追跡の様々な実施形態に関する追加的な詳細は、例えば、前述の２０２１年９月２９日に出願された「Ｃｏｏｐｅｒａｔｉｖｅ Ａｃｃｅｓｓ」と題する米国特許出願第６３／２４９，９８０号に提供されている。様々な手術ステープラ及びそれらの対応する機能の追加的な実施形態は、２０１９年１２月３日に発行された「Ｐｏｗｅｒｅｄ Ｓｕｒｇｉｃａｌ Ｃｉｒｃｕｌａｒ Ｓｔａｐｌｅｒ Ｗｉｔｈ Ｒｅｍｏｖａｂｌｅ Ｃａｒｔｒｉｄｇｅ Ａｎｄ Ｖａｒｉａｂｌｅ Ｓｔａｐｌｅ Ｈｅｉｇｈｔ」と題する米国特許第１０，４９２，７８８号、２０１７年６月１３日に出願された「Ｓｕｒｇｉｃａｌ Ｓｔａｐｌｅｒ ｗｉｔｈ Ｃｏｎｔｒｏｌｌｅｄ Ｈｅａｌｉｎｇ」と題する米国特許出願公開第２０１８／０３５３１７４号、２０２０年２月２５日に発行された「Ｍｅｄｉｃａｎｔ Ｅｌｕｔｉｎｇ Ａｄｊｕｎｃｔｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｏｆ Ｕｓｉｎｇ Ｍｅｄｉｃａｎｔ Ｅｌｕｔｉｎｇ Ａｄｊｕｎｃｔｓ」と題する米国特許第１０，５６９，０７１号、２０２０年７月２１日に発行された「Ｓｔａｐｌｉｎｇ Ａｄｊｕｎｃｔ Ａｔｔａｃｈｍｅｎｔ」と題する米国特許第１０，７１６，５６４号、２０１３年２月８日に出願された「Ｌａｙｅｒ Ｃｏｍｐｒｉｓｉｎｇ Ｄｅｐｌｏｙａｂｌｅ Ａｔｔａｃｈｍｅｎｔ Ｍｅｍｂｅｒｓ」と題する米国特許出願公開第２０１３／０２５６３７７号、２０１０年９月３０日に出願された「Ｓｅｌｅｃｔｉｖｅｌｙ Ｏｒｉｅｎｔａｂｌｅ Ｉｍｐｌａｎｔａｂｌｅ Ｆａｓｔｅｎｅｒ Ｃａｒｔｒｉｄｇｅ」と題する米国特許第８，３９３，５１４号、２００７年２月２８日に出願された「Ｓｕｒｇｉｃａｌ Ｓｔａｐｌｉｎｇ Ｄｅｖｉｃｅｓ Ｔｈａｔ Ｐｒｏｄｕｃｅ Ｆｏｒｍｅｄ Ｓｔａｐｌｅｓ Ｈａｖｉｎｇ Ｄｉｆｆｅｒｅｎｔ Ｌｅｎｇｔｈｓ」と題する米国特許第８，３１７，０７０号、２００５年６月２１日に出願された「Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｉｎｃｏｒｐｏｒａｔｉｎｇ ＥＡＰ Ｂｌｏｃｋｉｎｇ Ｌｏｃｋｏｕｔ Ｍｅｃｈａｎｉｓｍ」と題する米国特許第７，１４３，９２５号、２０１３年１１月８日に出願された「Ｓｅａｌｉｎｇ Ｍａｔｅｒｉａｌｓ Ｆｏｒ Ｕｓｅ Ｉｎ Ｓｕｒｇｉｃａｌ Ｓｔａｐｌｉｎｇ」と題する米国特許出願公開第２０１５／０１３４０７７号、２０１３年１１月８日に出願された「Ｈｙｂｒｉｄ Ａｄｊｕｎｃｔ Ｍａｔｅｒｉａｌｓ ｆｏｒ Ｕｓｅ ｉｎ Ｓｕｒｇｉｃａｌ Ｓｔａｐｌｉｎｇ」と題する米国特許出願公開第２０１５／０１３４０７６号、２０１３年１１月８日に出願された「Ｐｏｓｉｔｉｖｅｌｙ Ｃｈａｒｇｅｄ Ｉｍｐｌａｎｔａｂｌｅ Ｍａｔｅｒｉａｌｓ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｆｏｒｍｉｎｇ ｔｈｅ Ｓａｍｅ」と題する米国特許出願公開第２０１５／０１３３９９６号、２０１３年１１月８日に出願された「Ｔｉｓｓｕｅ Ｉｎｇｒｏｗｔｈ Ｍａｔｅｒｉａｌｓ ａｎｄ Ｍｅｔｈｏｄ ｏｆ Ｕｓｉｎｇ ｔｈｅ Ｓａｍｅ」と題する米国特許出願公開第２０１５／０１２９６３４号、２０１３年１１月８日に出願された「Ｈｙｂｒｉｄ Ａｄｊｕｎｃｔ Ｍａｔｅｒｉａｌｓ ｆｏｒ Ｕｓｅ ｉｎ Ｓｕｒｇｉｃａｌ Ｓｔａｐｌｉｎｇ」と題する米国特許出願公開第２０１５／０１３３９９５号、２０１４年３月２６日に出願された「Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｃｏｍｐｒｉｓｉｎｇ ａ Ｓｅｎｓｏｒ Ｓｙｓｔｅｍ」と題する米国特許出願公開第２０１５／０２７２５７５号、２０１４年６月１０日に出願された「Ａｄｊｕｎｃｔ Ｍａｔｅｒｉａｌｓ ａｎｄ Ｍｅｔｈｏｄｓ ｏｆ Ｕｓｉｎｇ Ｓａｍｅ ｉｎ Ｓｕｒｇｉｃａｌ Ｍｅｔｈｏｄｓ ｆｏｒ Ｔｉｓｓｕｅ Ｓｅａｌｉｎｇ」と題する米国特許出願公開第２０１５／０３５１７５８号、２０１３年２月８日に出願された「Ａｄｈｅｓｉｖｅ Ｆｉｌｍ Ｌａｍｉｎａｔｅ」と題する米国特許出願公開第２０１３／０１４６６４３号、２００７年９月１２日に出願された「Ｍｉｎｉｍａｌｌｙ Ｉｎｖａｓｉｖｅ Ｍｅｄｉｃａｌ Ｉｍｐｌａｎｔ Ａｎｄ Ｉｎｓｅｒｔｉｏｎ Ｄｅｖｉｃｅ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｕｓｉｎｇ Ｔｈｅ Ｓａｍｅ」と題する米国特許第７，６０１，１１８号、及び２０１３年２月８日に出願された「Ｆａｓｔｅｎｅｒ Ｃａｒｔｒｉｄｇｅ Ｃｏｍｐｒｉｓｉｎｇ Ａ Ｒｅｌｅａｓａｂｌｙ Ａｔｔａｃｈｅｄ Ｔｉｓｓｕｅ Ｔｈｉｃｋｎｅｓｓ Ｃｏｍｐｅｎｓａｔｏｒ」と題する米国特許出願公開第２０１３／０２２１０６５号に更に説明されており、これらは、参照によりその全体が本明細書に組み込まれる。
【0166】
マスタ制御インターフェース２０００による器具に対する別個のアクセス及び制御が有益であり得る別の例示的実施形態は、手術処置を行っている間の組織への単極又は双極エネルギーの適用を伴う。例示的な処置では、単極エネルギーは、電気焼灼が発生する器具の高エネルギー密度先端から、患者の皮膚に添着される様々な拡散戻りパッドに移動する。しかしながら、器具先端がある場所と戻りパッドとの間の経路は、経路が狭窄動脈又は静脈に沿って延在する場合など、様々な理由のために隔離及び制限されるようになる可能性がある。このような処置では、器具先端と制限領域との間に意図しない二次焼灼が発生する可能性がある。そのため、別の例示的な実施形態では、システム１０００で使用される器具１０１０、１０３０は、図２４に例解される電気手術器具１０１０ｂ、１０３０ｂとすることができる。電気手術器具１０１０ｂ、１０３０ｂは、様々な構成を有することができる。この例解された実施形態では、各電気手術器具１０１０ｂ、１０３０ｂは、シャフト１０１６ｂ、１０３６ｂの遠位端に配設された第１のジョー１０１２ｂ、１０３２ｂ及び第２のジョー１０１４ｂ、１０３４ｂを有し、各ジョー１０１２ｂ、１０１４ｂ、１０３２ｂ、１０３４ｂは、その上に電極を有する。各電気手術器具１０１０ｂ、１０３０ｂはまた、単極エネルギー又は双極エネルギーを標的治療組織に選択的に適用することができる。システム１０００並びに第１の器具１０１０及び第２の器具１０３０に関して上記で論じられるように、電気手術器具１０１０ｂ、１０３０ｂは各々、コントローラ１０５０を介してマスタ制御インターフェース２０００に動作可能に結合され、マスタ制御インターフェース２０００による電気手術器具１０１０ｂ、１０３０ｂの機能性のうちの１つ又は２つ以上の制御、例えば、エネルギー送達を作動させること、並びに各器具１０１０ｂ、１０３０ｂからのエネルギーのアクティブ経路及び戻り経路を監視することを可能にする。ユーザが単極エネルギーを適用することを意図するが、潜在的な制限領域が検出されるときに、電気手術器具１０１０ｂ、１０３０ｂのうちの１つから単極エネルギーを適用する前に、ユーザは、他の電気手術器具１０１０ｂ、１０３０ｂを、患者の皮膚に添着された戻りパッドの代わりの代替戻り経路として選択して、意図されない焼灼を回避することができる。様々な電気手術器具の追加の実施形態、それらの対応する機能性、及びそれらに組み込まれたセンサは、２００９年３月５日に公開された「Ｅｌｅｃｔｒｉｃａｌ Ａｂｌａｔｉｏｎ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ」と題する米国特許出願公開第２００９／００６２７９２号、２０１９年５月２日に公開された「Ｓｕｒｇｉｃａｌ ｓｕｔｕｒｉｎｇ ｉｎｓｔｒｕｍｅｎｔ ｃｏｎｆｉｇｕｒｅｄ ｔｏ ｍａｎｉｐｕｌａｔｅ ｔｉｓｓｕｅ ｕｓｉｎｇ ｍｅｃｈａｎｉｃａｌ ａｎｄ ｅｌｅｃｔｒｉｃａｌ ｐｏｗｅｒ」と題する米国特許出願公開第２０１９／０１２５４３１号、２０１７年７月２０日に公開された「Ｍｏｄｕｌａｒ ｂａｔｔｅｒｙ ｐｏｗｅｒｅｄ ｈａｎｄｈｅｌｄ ｓｕｒｇｉｃａｌ ｉｎｓｔｒｕｍｅｎｔ ｗｉｔｈ ｓｅｌｅｃｔｉｖｅ ａｐｐｌｉｃａｔｉｏｎ ｏｆ ｅｎｅｒｇｙ ｂａｓｅｄ ｏｎ ｔｉｓｓｕｅ ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ」と題する米国特許出願公開第２０１７／０２０２５９１号、２０１７年９月１２日に発行された「Ｍｕｌｔｉｐｌｅ ｓｅｎｓｏｒｓ ｗｉｔｈ ｏｎｅ ｓｅｎｓｏｒ ａｆｆｅｃｔｉｎｇ ａ ｓｅｃｏｎｄ ｓｅｎｓｏｒ’ｓ ｏｕｔｐｕｔ ｏｒ ｉｎｔｅｒｐｒｅｔａｔｉｏｎ」と題する米国特許第９，７５７，１２８号、２０１４年６月１７日に発行された「Ｅｌｅｃｔｒｏｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｅｍｐｌｏｙｉｎｇ Ａ Ｔｈｅｒｍａｌ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ」と題する米国特許第８，７５３，３３８号、及び１９９６年９月２４日に発行された「Ｉｍｐｅｄａｎｃｅ ｆｅｅｄｂａｃｋ ｍｏｎｉｔｏｒ ｆｏｒ ｅｌｅｃｔｒｏｓｕｒｇｉｃａｌ ｉｎｓｔｒｕｍｅｎｔ」と題する米国特許第５，５５８，６７１号に更に説明されており、その全体が参照することによって本明細書に組み込まれる。
【0167】
再び図２２を参照すると、更に他の実施形態では、器具１０１０、１０３０及び内視鏡１０２０、１０４０からの出力は、それら自体のインターフェース１０５３、１０５４、１０５５、１０５６上に表示され、それらを介して制御することができ、マスタ制御インターフェース２０００は、マスタ制御インターフェース２０００からの器具１０１０、１０３０及び内視鏡１０２０、１０４０のいかなる制御も可能にすることなく、コントローラ１０５０を介して、器具１０１０、１０３０及び内視鏡１０２０、１０４０からの出力及び／又は画像を受信する。しかしながら、そのような実施形態では、ユーザは、マスタ制御インターフェース２０００を使用して、器具１０１０、１０３０及び内視鏡１０２０、１０４０のうちの所望の１つの制御を要求し、システム１０００全体を別のユーザの制御下に残しながら、制御が要求された器具１０１０、１０３０及び内視鏡１０２０、１０４０に対する調節を行うことができる。したがって、システム１０００は、マスタ制御インターフェース２０００による調節を依然として受け入れながら、器具１０１０、１０３０及び内視鏡１０２０、１０４０の全てに対する制御を維持することができる。
【0168】
例えば、マスタ制御インターフェース２０００は、制御が要求及びグラントされた器具１０１０、１０３０及び内視鏡１０２０、１０４０のうちの１つ又は２つ以上の運動調節又は作動を要求するマスタ制御インターフェース２０００へのユーザ入力に関する問い合わせをシステム１０００に送信する。問い合わせの受信に応答して、システム１０００は、要求された運動調節又は作動が許容可能であるかどうかを判定する。要求された運動調節又は作動が許容可能であるかどうかは、現在の処置及び各処置内のステージに依存する。要求された運動調節又は作動は、要求が、インターフェース１０５３、１０５４、１０５５、１０５６のうちの１つ又は２つ以上を介してシステム１０００に対して行われた以前の要求と矛盾しない場合、例解される実施形態において許容可能であるとみなされる。追加的又は代替的に、要求された運動調節又は作動は、要求が、例えば、動きが防止される特定の手術領域、器具１０１０、１０３０のうちの１つ又は２つ以上の機能性の作動が防止される処置中の特定の期間など、システム１０００に設定された１つ又は２つ以上の所定の規則又は制限に違反しない場合、許容可能であるとみなすことができる。一実施例として、上記に論じられたステープラ１０１０ａ、１０３０ａの使用中に、マスタ制御インターフェース２０００がステープラ１０１０ａ、１０３０ａのいずれかの発射を要求した場合、システム１０００、例えば、そのコントローラ１０５０は、対応するステープルカートリッジ１０１４ａ、１０３４ａがまだ発射されているかどうかを判定する。対応するステープルカートリッジ１０１４ａ、１０３４ａがまだ発射されていないと判定される場合、要求された発射は許容可能であるとみなされ、対応するステープルカートリッジ１０１４ａ、１０３４ａが発射されており、まだ交換されていないと判定される場合、要求された発射は許容不可能であるとみなされる。
【0169】
許容可能であると判定された場合、システム１０００、例えば、そのコントローラ１０５０は、要求された運動調節又は作動が発生することを可能にする。許容可能でないと判定された場合、システム１０００、例えば、そのコントローラ１０５０は、要求された運動調節又は作動が起きることを防止し、マスタ制御インターフェース２０００は、要求された運動調節又は作動が防止されたという通知をマスタ制御インターフェース２０００においてユーザに提供する。したがって、ユーザは、要求された運動調節又は作動が許容されることを可能にする、及び／又は要求された運動調節又は作動が発生しなかったことを補償する、任意の所望の補正アクションをとることが可能であり得る。
【0170】
いくつかの実施形態では、手術器具１０１０、１０３０及び／又は内視鏡１０２０、１０４０のうちの１つ又は２つ以上は、他の手術器具１０１０、１０３０及び／又は内視鏡１０２０、１０４０のうちの１つ又は２つ以上を、以下で更に論じられる１つ又は２つ以上の態様を監視又は感知することができ、システム１０００、例えば、そのコントローラ１０５０は、監視又は感知された態様を様々な異なる方法で使用することができる。例えば、監視又は感知された態様は、ディスプレイ１０６０上に提供されている監視又は感知された態様に関する情報などによって、システム１０００全体に及び／又はユーザに通信することができ、監視又は感知された態様は、１つ又は２つ以上の監視又は感知された手術器具１０１０、１０３０及び／又は内視鏡１０２０、１０４０の動作を確認するために使用することができ、及び／又は監視又は感知された態様は、他を監視している１つ又は２つ以上の手術器具１０１０、１０３０及び／又は内視鏡１０２０、１０４０の動作を変えるために使用することができる。例えば、器具１０１０、１０３０及び内視鏡１０２０、１０４０のうちの第１のものは、器具１０１０、１０３０及び内視鏡１０２０、１０４０のうちの第２のものの１つ又は２つ以上の態様に関して、器具１０１０、１０３０及び内視鏡１０２０、１０４０のうちの第２のものを監視することができ、次いで、コントローラ１０５０は、以下に論じられるように、監視された情報に基づいて、器具１０１０、１０３０又は内視鏡１０２０、１０４０のうちの第２のものの１つ又は２つ以上の機能性を変えることができる。そのため、いくつかの手術処置では、適用される力、エネルギーなどに関する様々な閾値が、各器具に対して、及び／又は任意の不注意による組織外傷を回避するための総累積量として選択され得る。手術器具１０１０、１０３０及び内視鏡１０２０、１０４０の各々によって及びそれらの間で監視及び通信される様々なデータは、以下で更に論じられるが、２つの器具／内視鏡間で直接通信する、システム１０００を通して通信する、他の器具／内視鏡をリレー、様々な追加の通信リンク又は接続ハブなどとして使用して通信するなど、様々な異なる方法で通信することができる。
【0171】
例えば、いくつかの実施形態では、内視鏡１０２０、１０４０のうちの１つは、手術器具１０１０、１０３０のうちの１つを視覚的に監視して、手術器具１０１０、１０３０のうちの１つの状態又は正しい動作を確認することができ、コントローラ１０５０は、視覚的観察に基づいて、システム１０００の機能性を変えることができる。例示的な実施形態では、システム１０００で使用される器具１０１０、１０３０は、図２３に例解される円形ステープラ１０１０ａ、１０３０ａである。上述したように、各ステープラ１０１０ａ、１０３０ａは、交換可能なステープラカートリッジ１０１４ａ、１０３４ａを有する。手術処置の第１のフェーズ中、内視鏡１０２０、１０４０の一方又は両方は、円形ステープラ１０１０ａ、１０３０ａの一方又は両方を視覚的に監視して、カートリッジ１０１４ａ、１０３４ａが対応するステープラ１０１０ａ、１０３０ａ内に存在することの確認を可能にする。コントローラ１０５０は、内視鏡１０２０、１０４０のうちの監視するものから画像データを受信し、受信された画像データを分析して、画像データにおいて可視化された可視化されたステープラ１０１０ａ、１０３０ａがカートリッジ１０１４ａ、１０３４ａが存在しているかどうかを、例えば、ステープラと互換性のあるカートリッジが既知の色を有するので、カートリッジジョー内に特定の色が存在するかどうかを検出すること、カートリッジ１０１４ａ、１０３４ａの存在を示すように、ステープルキャビティの視覚的パターンが存在するかどうかを検出することなどによって、判定する。判定に基づいて、コントローラ１０５０は、カートリッジ１０１４ａ、１０３４ａが対応するステープラ１０１０ａ、１０３０ａ内に存在しないと判定された場合、ユーザに警告すること（例えば、ディスプレイ１０６０を介した視覚的通知、聴覚的通知、及び／又は触覚的通知）、カートリッジ１０１０ａ、１０３４ａがステープラ１０１０ａ、１０３０ａ内に存在しないと判定された場合、関連するステープラ１０１４ａ、１０３０ａの任意の発射機能性を自動的に無効にすることなど、多様な異なるアクションをとることができる。手術処置の第２のフェーズの間、監視する内視鏡１０２０、１０４０は、ステープラ１０１０ａ、１０３０ａの一方又は両方を視覚的に追跡し続け、システム１０００、例えば、そのコントローラ１０５０は、監視する内視鏡１０２０、１０４０によって収集された画像に基づいて、追跡されたステープラ１０１０ａ、１０３０ａが発射され、対応するカートリッジ１０１４ａ、１０３４ａが使い果たされたときを検出及び追跡する。システム１０００、例えば、そのコントローラ１０５０は、カートリッジ１０１４ａ、１０３４ａが使い果たされたと判定すると、ユーザに警告すること（例えば、ディスプレイ１０６０を介した視覚的通知、聴覚的通知、及び／又は触覚的通知）、システム１０００、例えば、そのコントローラ１０５０が、使い果たされたカートリッジ１０１４ａ、１０３４ａが新しいカートリッジと交換されたことを検出するまで、システム１０００、例えば、そのコントローラ１０５０が、新しいカートリッジを装填することができるように、問題のステープラ１０１０ａ、１０３０ａが患者から取り外されたことを検出するまで、関連するステープラ１０１０ａ、１０３０ａの任意の発射機能を無効にすることなど、様々な異なるアクションをとることができる。他の実施形態では、内視鏡１０２０、１０４０は、ステープラ１０１０ａ、１０３０ａを監視して、対応するアンビル１０１２ａ、１０３２ａが開放されているか、閉鎖されているかを判定し、アンビル１０１２ａ、１０３２ａ内の組織接触場所などを判定することができ、前述の米国特許第１０，５６９，０７１号に言及されるものなど、手術ステープラが線形の第１のジョー及び第２のジョーとともに使用される更に他の実施形態では、コントローラ１０５０は、ジョーが開放されているか、閉鎖されているか、ジョー内の組織接触場所などを判定することができる。
【0172】
別の実施形態では、上記に論じられたような結腸直腸手術中、システム１０００は、手術治療部位の腹腔鏡側から患者の腸の膨張を観察するために１つ又は２つ以上の追加の撮像デバイスを組み込むことができ、対応するステープラ１０３０ａ、１０１ａ上のアンビル１０１２ａ、１０３２ａが開放されていることをコントローラ１０５０に示して、ステープラ１０１０ａ、１０３０ｓが発射される準備ができており、したがって、吻合を通じた除去の準備ができていることを確認する。更に別の実施形態では、アンビル１０１２ａ、１０３２ａのうちの１つの回転又は伸長は、対応する円形ステープラ１０１０ａ、１０３０ａのハウジングに対して可能であり、そのため、ユーザがステープラ１０１０ａ、１０３０ａを回転させる際に、アンビル１０１２ａ、１０３２ａの係合がコントローラ１０５０によって締め付けられるか又は緩められて、アンビル１０１２ａ、１０３２ａがステープラ１０１０ａ、１０３０ａのハウジングに対して自由に回転する（緩められる）か又は回転を防止して（締め付けられる）、アンビル１０１２ａ、１０３２ａとカートリッジとの正確な整列を維持する。
【0173】
他の実施形態では、手術器具１０１０、１０３０は、以下で論じられるように、１つ又は２つ以上のセンサを通して互いを直接監視することができ、システム１０００、例えば、そのコントローラ１０５０は、様々な監視された要因に基づいて、手術器具１０１０、１０３０の一方又は両方の動作を変えることができる。例えば、システム１０００で使用される器具１０１０、１０３０は、上記で論じられ、かつ図２４に例解される電気手術器具１０１０ｂ、１０３０ｂとすることができる。各器具１０１０ｂ、１０３０ｂは、１つ又は２つ以上のセンサを使用して、使用中に他の器具１０１０ｂ、１０３０ｂを監視するように構成することができ、したがって、以下で更に論じられるように、他の器具１０１０ｂ、１０３０ｂに関する問題の検出を支援し、協調して、組み合わされた電気負荷及び／又は戻り経路を送達し、ＲＦ電力又は電圧などの他の器具の様々な設定又は機能性を調節し、通電状態などの器具の状態を検出し、及び／又はより効果的にエネルギーを送達するためにインピーダンスなどの器具１０１０ｂ、１０３０ｂ間の組織又は組織のパラメータを感知することができる。
【0174】
例えば、第２の器具１０３０ｂは、第２の器具１０１０ｂに対する第１の器具１０１０ｂの通電状態を検出することによって、第１の器具１０３０ｂによって送信される電力を選択的に遮断又はリダイレクトすることを支援するように構成することができる。上記に論じられたように、各電気手術器具１０１０ｂ、１０３０ｂは、第１のジョー１０１２ｂ、１０３２ｂ及び第２のジョー１０１４ｂ、１０３４ｂを有し、各ジョー１０１２ｂ、１０１４ｂ、１０３２ｂ、１０３４ｂは、その上に電極を有する。第２の器具１０３０ｂは、第１の器具１０１０ｂがエネルギーを標的組織に送達する間、そのジョー１０３２ｂ、１０３４ｂ内の電極を監視して、第２の器具の電極において受信される電位又は電気エネルギーの任意の変化を検出し、第１の器具１０１０ｂによって標的組織に送達されている任意のエネルギーが第２の器具１０３０ｂに到達しているかどうかを判定する。コントローラ１０５０が、第１の器具１０３０ｂがエネルギーを送達している間に第２の器具１０３０ｂの電極の変化を示すデータを第２の器具１０１０ｂから受信する場合、コントローラ１０５０は、第１の器具１０１０ｂと第２の器具１０３０ｂとの間の潜在的に望ましくない電気的相互作用の存在を判定する。検出された潜在的に望ましくない電気的相互作用に応答して、システム１０００、例えば、そのコントローラ１０５０は、第１の器具１０１０ｂを非アクティブ化して、任意の潜在的に望ましくない電気的相互作用を停止し、第１の器具１０１０ｂによって送達されている電力量を低減して、第１の器具１０１０ｂと第２の器具１０３０ｂとの間の電気的相互作用を低減し、問い合わせをユーザに、例えば、ディスプレイ１０６０及び／又はマスタ制御インターフェース２０００を介して提供し、第１の器具１０１０ｂと第２の器具１０３０ｂとの間の電気的相互作用が許容可能であるかどうかを判定するなど、是正アクションをとることができる。第１の器具１０１０ｂと第２の器具１０３０ｂとの間の電気的相互作用が許容可能である場合、手術処置は、第１の器具１０１０ｂのエネルギー送達を停止させるか、変えることなく進行することができる。いくつかの実施形態では、電位の変化の様々な閾値を設定してメモリ１０５２に記憶することができ、そのため、上述したように、特定の閾値を超える任意の変化が、上記に論じられたように、システム１０００、例えば、そのコントローラ１０５０をトリガする。
【0175】
別の実施形態では、第２の器具１０３０ｂは、第１のジョー１０３２ｂ及び第２のジョー１０３４ｂと、シャフト１０３６ｂの遠位端にある電極と、を含む電気的に絶縁されたエンドエフェクタを有し、電気接続は、コントローラ１０５０によって制御される電気スイッチの使用を通して、エンドエフェクタと第２の器具１０３０ｂの残りの部分及びシステム１０００との間で切断可能である。エンドエフェクタは、第１のジョー１０３２ｂにおける電極を通して、エンドエフェクタによって係合された組織にエネルギーを送達し、コントローラ１０５０は、エネルギー送達の開始に応答して、第２のジョー１０３６ｂにおける電極を監視して、所定の閾値（所定の閾値は、コントローラ１０５０によるアクセスのためにメモリ１０５２に事前に記憶されている）を超える、監視する電極において受信される電位又は電気エネルギーの変化を検出する。閾値を超える場合、コントローラ１０５０は、接地経路に沿って過剰な受信されたエネルギーを選択的にシャントすること、及び／又は第２の器具１０３０ｂを（電気接続を切断することなどによって）非アクティブ化して、エンドエフェクタへの電気エネルギーの任意の更なる送達を防止し、エネルギーの更なる送信を防止すること、及び／又は第２の器具１０３０ｂのエネルギー電力を低減することによって、エンドエフェクタへの電気エネルギーの送達を低減し、第２の器具１０３０ｂの電位が所定の閾値未満になるようにすることなど、１つ又は２つ以上の異なるアクションをとることができる。
【0176】
他の実施形態では、器具１０１０ｂ、１０３０ｂは、エネルギーを送達し、組織に送達された組み合わせられた電気負荷を監視して、エネルギー適用及び戻り経路をより正確に制御するために、協調して一緒に作業することができる。例えば、器具１０１０ｂ、１０３０ｂのうちの一方が組織壁の第１の側に位置付けられ、他方の器具１０１０ｂ、１０３０ｂが組織壁の第２の反対側に位置付けられるときに、器具１０１０ｂ、１０３０ｂの一方は、治療レベル未満のエネルギーレベルを組織壁における組織に適用するように構成されている。他方の器具１０１０ｂ、１０３０ｂは、エネルギーのための戻り経路として作用し、器具１０１０、１０３０、１０１０ｂ、１０３０ｂが、インピーダンスなど、それらの間の組織に関するいくつかの判定を行うことを可能にする。器具１０１０ｂ、１０３０ｂはまた、器具１０１０ｂ、１０３０ｂの一方又は両方から組織壁においてそれらの間の組織に治療レベルのエネルギーを適用するように協調するように構成され、戻り経路が器具１０１０ｂ、１０３０ｂの一方又は両方で使用される。組織壁において組織にエネルギーを適用するときに、器具１０１０ｂ、１０３０ｂは、同じ又は別個の体腔内に位置することができ、器具１０１０ｂ、１０３０ｂは、より正確なエネルギー分布及び適用を提供するために、エネルギーを送達し、及び／又は他の器具１０１０ｂ、１０３０ｂによって送達されたエネルギーを検出するように協調して一緒に作業する。単極又は双極デバイス１０１０ｂ、１０３０ｂを使用する実施例が提供されているが、他のタイプの器具もまた、使用することができる。例えば、マイクロ波又は超音波投射デバイスは、第１の体腔内に配置することができ、第２の隣接する体腔を通して挿入され、かつ２つの腔の間に配置される、様々なプローブ又は集束要素に方向付けられる。更に別の実施例では、器具のうちの１つは、その外側遠位表面上に様々な電気接点又はアブレーション接点を伴う管腔内スコープとすることができ、任意の検出された漂遊エネルギーは、スコープが非アクティブ化されることを可能にすることができる。
【0177】
更に他の実施形態では、器具１０１０、１０３０は、器具１０１０、１０３０の一方が他方の器具１０１０、１０３０及び／又は組織をアンカーする一方で、アンカーを提供する器具１０１０、１０３０のうちの一方が同じ又は別個の体腔内に位置して、以下に論じられるように、標的手術部位において力を適用するか、又は組織を操作するのを支援するように、協調して一緒に作業するように構成されている。上記に論じられた実施形態と同様に、いくつかの手術処置では、組織及び／又は他の器具に適用される総器具力及び／又は個々の器具力に関する様々な閾値が、各器具に対して及び／又は不注意による組織外傷を回避するための総累積量として選択され得る。
【0178】
例えば、いくつかの手術処置中、第１の器具１０１０は、標的手術部位における組織壁の一方の側から標的手術部位に接近し、第１の器具１０１０は、組織壁を通して組織を把持して、及び／又は第２の器具１０３０を把持して、組織壁の別の側からの標的手術部位において組織及び／又は組織と相互作用している第２の器具１０３０の剛性及び安定性を改善する。例示的な手術処置では、第１の器具１０１０、例えば、より大きな腹腔鏡器具を使用して、標的手術部位における組織壁を通して組織壁、及び／又は第２の器具１０３０、例えば、より小さな可撓性内視鏡器具を把持して、第２の器具１０３０が手術部位において直接操作する一方で、第２の器具１０３０に更なる支持、安定性、及び／又は負荷に対する抵抗を提供する。第２の器具１０３０のサイズ及び強度に応じて、所望の手術タスクを完了するためにジョー又は関節作動力が必要とされないことがある。第１の器具１０１０が、第２の器具１０３０に直接的に、又は組織壁を介して間接的に、第２の器具１０３０に協調して接続することを可能にすることによって、第１の器具１０１０は、追加の力及び／又は運動を第２の手術器具１０３０に供給し、第２の器具１０３０の制限を克服して、各器具１０１０、１０３０から別個に可能であるものよりも大きいか、又は異なる全体的な力を組織にもたらすことができる。他の実施例では、第１の器具１０１０は、第２の器具１０３０と協調して使用され、そのため、両方の器具１０１０、１０３０が、標的手術部位において組織壁を通して互いを把持して、組織に対する各器具の把持を改善し、組織と器具１０１０、１０３０との間により大きくより分散された接触面を作成して、組織の小さな引き裂きを最小限に抑える。例えば、可撓性内視鏡器具は、約１．５～約２．８ｍｍのシャフト直径に制限されてもよい一方で、腹腔鏡器具のシャフト直径は、約５～約１２ｍｍであってもよく、いくつかの実施例では、腹腔鏡器具シャフト直径は、更に大きくてもよい。したがって、一実施例として、経皮的腹腔鏡側把持具又はアンビル把持具などの約５ｍｍの腹腔鏡器具が、約１．５ｍｍ又は約３ｍｍの可撓性内視鏡器具を把持するときに、より大きい腹腔鏡器具は、より小さい可撓性内視鏡器具に追加の支持及び力を提供する。
【0179】
多くの異なる処置において同様のアプローチをとることができる。別の実施形態では、患者の膀胱の壁からの腫瘍の切除中、膀胱は、柔軟であり、流体で満たされていない可能性がある。２つの器具１０１０、１０３０の場所は、膀胱を把持し膨張させる場所に関して調整することができる。必要に応じて、膀胱の適切な膨張を維持するように膀胱組織に適用される力を更に調節するために、腹腔鏡アプローチから第３の器具を導入することもでき、システム１０００、例えば、そのコントローラ１０５０が、器具１０１０、１０３０によって適用される力を制御して、把持された組織への危害又は損傷も制限しながら、膨張の成功を確実にすることを可能にする。更に別の実施形態では、器具１０１０、１０３０のうちの１つは、標的手術部位の一方の側により多く又はより少ない力を適用するように膨張又は収縮されるバルーンを含み、標的手術部位の他方の側でのより容易な切開又は切除を可能にし、より単純な組織制御プロセスを可能にする。なぜなら、器具１０１０、１０３０は、器具１０１０、１０３０及び把持された組織に適用される力を監視するためにユーザが行わなければならない追加の作業の量を最小限に抑えながら、組織に対する力を協調して達成するように作業するからである。したがって、第１の器具１０１０は、いくつかの実施形態では、それ自体の作動機能性を使用して機能を完了するのに十分な力又は支持を有さず、第２の器具１０３０は、第１の器具１０１０に結合して、第１の器具１０１０が特定の機能を完了することを可能にするために、補足的な力、ストローク、てこ作用などを提供する。バルーンを含む手術器具の様々な実施形態は、例えば、前述の２０２１年９月２９日に出願された「Ｃｏｏｐｅｒａｔｉｖｅ Ａｃｃｅｓｓ」と題する米国特許出願第６３／２４９，９８０号に更に説明されている。別の実施形態では、第１の器具１０１０は、標的組織部位上に位置付けられ、かつ最初にクランプされるステープラであるが、第１の器具１０１０は、把持器又はクランプデバイスの形態の第２の器具１０３０が、第１の器具１０１０のジョーを、把持された組織上に閉鎖された状態に完全にクランプすることを必要とする。第１の器具１０１０が第２の器具１０３０の助けを借りて組織上に完全に閉鎖された後、第１の器具１０１０は、ステープルを組織内に発射するように作動する。したがって、第１の器具１０１０は、それ自体でステープルを作動させることができるが、第１の器具１０１０は、完全に閉鎖するために第２の器具１０３０の追加のクランプ力を必要とする。
【0180】
いくつかの手術処置では、組織に適用される力などの協調する作用及び対抗／抵抗アクションの様々な組み合わせが、各器具１０１０、１０３０よって行われて、器具１０１０、１０３０のいずれか単独によって達成可能であるよりも正確な器具操作を作成することができる。例えば、第１の器具１０１０及び第２の器具１０３０は、最初に、手術処置の第１の部分中に共通の方向に組織を操作するように最初に作業することができ、次いで、器具１０１０、１０３０は、手術処置の第２の部分において反対方向に組織を操作するように作業して、適用される力の精度を向上させる一方で、より有益な処置転帰を達成するために標的手術部位において組織を操作することもできる。１つの例示的な手術処置では、システム１０００で使用される器具１０１０、１０３０は、図２４に例解される手術器具１０１０ｃ、１０３０ｃとすることができる。各手術器具１０１０ｃ、１０３０ｃは、シャフト１０１６ｃ、１０３６ｃの遠位端に配設された第１のジョー１０１２ｃ、１０３２ｃ及び第２のジョー１０１４ｃ、１０３４ｃを有し、各ジョー１０１２ｂ、１０１４ｂ、１０３２ｂ、１０３４ｂは、その上に１つ又は２つ以上の力センサを有する。第１の器具１０１０ｃ及び第２の器具１０３０ｃは、標的手術部位において共通組織上にクランプされ、共通組織を後退させるか、又はその向きを変更して、組織を選択するためのアクセスを得る、及び／又は組織のセクションの可視性を増加させるように作用する。内視鏡１０２０、１０４０の一方又は両方は、器具１０１０ｃ、１０３０ｃの動く方向を監視し、手術器具１０１０ｃ、１０３０ｃ内の１つ又は２つ以上の力センサは、組織に適用される力を監視する。そのため、監視されている器具１０１０ｃ、１０３０ｃの動く方向又は組織に適用される力が変化した場合、コントローラ１０５０は、内視鏡１０２０、１０４０の一方又は両方からの可視化又は１つ又は２つ以上の力センサによって検出された力の変化に基づいて変化を検出し、コントローラ１０５０は、第１の器具１０１０ｃ及び第２の器具１０３０ｃと共通組織との間の協調する相互作用を維持するために、適用される力、動く速度又は方向などを変更するなど、監視している器具１０１０ｃ、１０３０ｃの挙動又は向きを変更するように、監視している器具１０１０ｃ、１０３０ｃに自動的に命令する。例えば、器具１０１０ｃ、１０３０ｃは、不注意な組織外傷を回避又は制限するために、標的組織及び／又は他の器具１０１０ｃ、１０３０ｃに適用される把持負荷を制御する必要があることがあり、その場合、力閾値量は、ユーザによって選択されるか、又はシステム１０００にプログラムされることができる。各器具１０１０ｃ、１０３０ｃ内の１つ又は２つ以上の力センサを使用して、コントローラ１０５０は、同時に器具１０１０ｃ、１０３０ｃからの大きさ及び方向などの組織負荷量を同時に監視する。標的組織及び／又は他の器具１０１０ｃ、１０３０ｃ上で力閾値量を超える場合、コントローラ１０５０は、器具１０１０ｃ、１０３０ｃに、例えば、器具１０１０ｃ、１０３０ｃを互いに近づけるように動かすこと、器具１０１０ｃ、１０３０ｃの一方又は両方のジョーの閉鎖力を緩和することなどによって、把持負荷を低減するように命令する。このように、閾値の使用により、特定の標的手術組織部位において任意の時点で選択可能な正味の負荷閾値を超えないことを確保する。１つ又は２つ以上の力センサが本明細書で論じられているが、様々な異なるセンサが、器具１０１０ｃ、１０３０ｃに組み込まれ得、例えば、上記に組み込まれた米国特許出願公開第２０１７／０２０２５９１号、及び米国特許第９，７５７，１２８号に見出される。
【0181】
２つの器具１０１０ｃ、１０３０ｃの使用が本明細書で論じられているが、いくつかの実施形態では、２つの器具１０１０ｃ、１０３０ｃは、第３の器具がそれらの間の組織に対して動作している間に、組織を把持及び操作するように作用することができる。例えば、第１の器具１０１０ｃ及び第２の器具１０３０ｃは、第３の器具がそれらの間の標的組織に対して動作するか又はそれを横断する間に、標的手術部位において組織を把持して広げることができ、２つの器具１０１０ｃ、１０３０ｃによって組織に適用される総負荷は、第３の器具が標的組織に対して動作し続けるのに応答して、器具１０１０ｃ、１０３０ｃを動かすことによって一定のままであり得、事実上、例えば、力が組織に対する所望の力を超え始めた場合、器具１０１０ｃ、１０３０ｃを互いに近づけるように動かすことによって、２つの器具１０１０ｃ、１０３０ｃをバランスさせるか又はそれらの間の力に抵抗させて組織に対する所望の力を維持する。他の実施形態では、２つ又はそれ以上のジョーを同じ器具上に組み込むことができ、２つ又はそれ以上のジョーは、上記に論じられた２つの器具１０１０ｃ、１０３０ｃと同じように機能し、単一の器具上の２つのジョーが組織を広げることを可能にして、別の器具が２つのジョー間の組織又は解剖学的構造にアクセスすることを可能にする。
【0182】
監視されている器具１０１０ｃ、１０３０ｃのうちの１つの挙動又は機能性を変えることに加えて、かつ上記に論じられた協調する挙動と同様に、監視を行う器具１０１０ｃ、１０３０ｃはまた、上記に論じられた協調するアクションと同様に、監視されている器具１０１０ｃ、１０３０ｃに応答して、それ自体の挙動及び／又は機能性を変えることができる。例えば、監視している器具１０１０ｃ、１０３０ｃは、監視されている器具１０１０ｃ、１０３０ｃの監視された挙動又はステータスを使用して、それ自体の挙動を変えて、例えば、それ自体のアクション（適用された機能性、力、器具軸を中心とした回転、アクセスポートを中心とした旋回、速度、監視されている器具の挙動の模倣、シャドウイング、又はミラーリングなど）を調整して、共通の標的手術部位及び／又は監視されている器具１０１０ｃ、１０３０ｃと調和して相互作用することができる。追加的に、監視している器具１０１０ｃ、１０３０ｃは、例えば、様々な把持デバイス、吸引デバイス、患者の腸のカフ型部分又は完全ラップ、及び／又は様々な内視鏡の可視化を広げるカフなどを使用することなどを通して、組織を後退させるか、又は動かして、内視鏡１０２０、１０４０の一方又は両方による可視化及び／又は監視されている器具１０１０ｃ、１０３０ｃのための標的手術部位へのアクセスを増加させるように作用することができる。このため、器具１０１０ｃ、１０３０ｃは、それらが結合されるときに画定され得るそれらの間の位置関係を維持することができ、事実上、監視している器具１０１０ｃ、１０３０ｃに、監視されている器具１０１０ｃ、１０３０ｃをシャドウイング又は模倣させる。
【0183】
図２５及び図２６は、腫瘍３０００が患者の骨盤組織３００２と患者の結腸組織３００４との間に位置し、組織が第２の器具１０３０ｃによって分離されて腫瘍３０００へのアクセスを改善する、例示的な手術処置を例解する。この例解される実施形態におけるシステム１０００で使用される第１の器具１０１０ｃは、腹腔鏡アプローチを通して標的手術部位にアクセスする腹腔鏡把持器具（手術処置においてシャドウイング又は追従器具とみなされる）であり、この例解される実施形態におけるシステム１０００で使用される第２の器具１０３０ｃは、患者の直腸を通して患者の結腸の中に挿入される内視鏡把持器具（処置において先導器具とみなされる）である。例示的な手術処置の第１の工程では、第１の器具１０１０ｃは、図２５に示されるように、標的手術部位において組織を後退させ、図２６に示されるように、第２の器具１０３０ｃによる切開のための部位への増加したアクセスを可能にする。図２５及び図２６には、処置の異なる手術位置を通る器具１０１０ｃ、１０３０ｃの連続的な動きを示すために、番号１、２、３、及び４が提供されている。標的手術部位における組織上の総抵抗負荷又は力関係は、２つの器具１０１０ｃ、１０３０ｃの間に設定され、第２の器具１０３０ｃが腫瘍３０００における標的手術部位における組織に対して動かされる際に、第１の器具１０１０ｃは、静止したままであるのではなく、総抵抗負荷又は力関係に基づいて類似反力を維持し、かつ２つの器具１０１０ｃ、１０３０ｃ間の力が変化することを可能にしながら、第２の器具１０３０ｃの動きに自動的に追従する。しかしながら、２つの器具１０１０ｃ、１０３０ｃ間の既定のパラメータは、他の実施形態では、様々な最大又は最小力閾値、加速度又は速度などの動きの変化率、シャドウイング又は模倣された挙動の最大変位、２つの器具間の向きの変化に対する様々な制限、様々な最大又は最小全体力負荷、組織に対する最大又は最小局所把持及び／又は引き裂き力などの様々な異なる値とすることができる。
【0184】
図２７のグラフは、（図２５及び図２６において第２の手術デバイス１０３０ｃとして例解される）リードデバイスと（図２５及び図２６において第１の手術デバイス１０１０ｃとして例解される）シャドウイング又は模倣デバイスとの間の閾値を有する可能な既定のパラメータとして、抵抗負荷、変位、及び速度を例解する。図２７は、結腸における手術処置のための結腸内の第２の器具１０３０ｃ（図２７において「第１のリードデバイス」と標識される）の時間に対する抵抗力負荷、変位値、及び速度、並びに骨盤内の第１の器具１０１０ｃ（図２７において「第２のシャドウイング模倣デバイス」と標識される）又は骨盤における手術処置のための時間に対する抵抗力負荷力、骨盤変位に対する変位値、及び骨盤速度に対する速度を例解する。追加的に、警告力閾値及び最大力閾値が、第１の器具１０１０ｃ及び第２の器具１０３０ｃの両方に提供され、その閾値において、警告がユーザに提供され、システム１０００は、それぞれ、抵抗負荷力への追加的な増加を防止する。更に、動いている間の器具１０１０ｃ、１０３０ｃの連続的な異なる位置を示すために図２５及び図２６に提供される番号１、２、３、及び４は、動いている間の各位置における対応する力、変位、及び速度を反映するために図２７に示される。例えば、第１の器具１０１０ｃ及び第２の器具１０３０ｃが位置１から位置２に移動する際に、把持された組織に対する抵抗負荷力は、警告力閾値を超えるまで増加し、その時点で、第２の器具１０１０ｃ（リードデバイス）の速度を減速させる一方で、第２の器具１０３０ｃに対する第１の器具１０１０ｃ（シャドウイングデバイス）の速度を増加させ、変位を低減させて、器具１０３０ｃ、１０３０ｃを互いに近づけるように動かすことによって、両方の器具１０１０ｃ、１０３０ｃに対してコントローラ１０５０によって力が低減される。位置２から位置３まで、把持された組織に対する抵抗負荷力は、第２の器具１０３０ｃ（リードデバイス）に対する警告力閾値を再び超え、その時点で、第２の器具１０３０の速度は、力を低減するためにコントローラ１０５０によって下げられる。位置３から位置４まで、病変は完全に分離し、その時点で、患者の骨盤組織３００２及び患者の結腸組織３００４が完全に分離されるので、第２の器具１０３０ｃ（リードデバイス）の速度は増加し、第１の器具１０１０ｃ（シャドウイングデバイス）に対する抵抗負荷力は最大力閾値に達し、その時点で、第２の器具１０１０ｃに対する第１の器具１０３０ｃの変位は、コントローラ１０５０によって低減されて、器具１０１０ｃ、１０３０ｃを互いに近づけるように動かし、抵抗負荷力を低減する。
【0185】
解剖例が上記に提供されているが、１つの器具１０１０、１０３０に基づく挙動を別の器具１０１０、１０３０によって模倣すること、シャドウイングすること、又はミラーリングすることは、いくつかの異なる手順を伴うことができる。例えば、別の実施形態では、挙動を模倣すること、又はシャドウイングすることは、２つの手術器具１０１０、１０３０を用いて協調した組織縫合中に使用することができ、リード器具１０３０は針が組織内に入るように駆動する一方で、シャドウイング又は模倣器具１０１０は、針が組織を通して駆動された後、針の突出先端を把持する。器具１０１０と１０３０との間の動きのシャドウイングの性質のために、先導器具１０３０は、シャドウイング器具１０１０が針が組織から出ることを予期する位置のための軌道を設定する。しかしながら、いくつかの異なる例示的な処置は、本明細書で提供されるように、同様の模倣、シャドウイング、又はミラーリング処置を使用することができる。
【0186】
当業者には、上で説明される実施形態に基づいて本発明の更なる特徴及び利点が認識されよう。したがって、本発明は、添付の特許請求の範囲によって示される場合を除き、具体的に示され説明された内容により限定されるものではない。本明細書で引用される全ての刊行物及び参考文献は、全ての目的のために参照によりその全体が本明細書に明示的に組み込まれる。
【0187】
〔実施の態様〕
（１） システムであって、
患者内に位置する第１の手術治療部位に対して動作するように構成された第１の手術器具と、
前記第１の手術治療部位に対して動作するように構成された第２の手術器具と、
前記第１の手術器具の動きを分析し、前記第１の手術器具の分析された前記動きに基づいて、前記第２の手術器具の動きを自動的に変更するように構成されたコントローラと、を備える、システム。
（２） 前記第２の手術器具の変更された前記動きが、前記第１の手術器具の模倣された動き及び前記第１の手術器具のミラーリングされた動きのうちの少なくとも１つを含む、実施態様１に記載のシステム。
（３） 前記第１の手術器具の前記分析された動きが、前記第１の手術器具の監視されたパラメータを含み、前記コントローラが、前記監視されたパラメータに基づいて、前記第２の手術器具の動きを自動的に変更するように構成されている、実施態様１又は２に記載のシステム。
（４） 前記コントローラが、前記第２の手術器具の動きを自動的に変更して、前記監視されたパラメータを一貫した値に維持するように構成されている、実施態様３に記載のシステム。
（５） 前記第１の手術器具及び前記第２の手術器具が、共通の体腔内に配設されるように構成されている、実施態様１に記載のシステム。
（１） システムであって、
患者内に位置する第１の手術治療部位に対して動作するように構成された第１の手術器具と、
前記第１の手術治療部位に対して動作するように構成された第２の手術器具と、
前記第１の手術器具の動きを分析し、前記第１の手術器具の分析された前記動きに基づいて、前記第２の手術器具の動きを自動的に変更するように構成されたコントローラと、を備える、システム。
（２） 前記第２の手術器具の変更された前記動きが、前記第１の手術器具の模倣された動き及び前記第１の手術器具のミラーリングされた動きのうちの少なくとも１つを含む、実施態様１に記載のシステム。
（３） 前記第１の手術器具の前記分析された動きが、前記第１の手術器具の監視されたパラメータを含み、前記コントローラが、前記監視されたパラメータに基づいて、前記第２の手術器具の動きを自動的に変更するように構成されている、実施態様１又は２に記載のシステム。
（４） 前記コントローラが、前記第２の手術器具の動きを自動的に変更して、前記監視されたパラメータを一貫した値に維持するように構成されている、実施態様３に記載のシステム。
（５） 前記第１の手術器具及び前記第２の手術器具が、共通の体腔内に配設されるように構成されている、実施態様１に記載のシステム。
【0188】
（６） 前記第１の手術器具及び前記第２の手術器具が、前記患者内の別個の体腔内に配設されるように構成されている、実施態様１に記載のシステム。
（７） 前記第１の手術器具及び前記第２の手術器具が、手術ステープラ、電気手術器具、又は把持器を含む、実施態様１に記載のシステム。
（８） 前記第１の手術器具又は前記第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データを捕捉するように構成された画像センサを有する可撓性内視鏡を更に備える、実施態様１に記載のシステム。
（９） システムであって、
データプロセッサと、
前記データプロセッサに動作を実行させるように構成された命令を記憶するメモリと、を備え、前記動作は、
患者内に位置する第１の手術器具の動きを特徴付けるデータをリアルタイムで受信することと、
受信された前記データに少なくとも基づいて、前記第１の手術器具の動きを判定し、前記第１の手術器具の前記動きに基づいて、前記患者内に位置する第２の手術器具の動きを自動的に変更することと、を含む、システム。
（１０） 前記第２の手術器具の変更された前記動きが、前記第１の手術器具の模倣された動き及び前記第１の手術器具のミラーリングされた動きのうちの少なくとも１つを含む、実施態様９に記載のシステム。
（７） 前記第１の手術器具及び前記第２の手術器具が、手術ステープラ、電気手術器具、又は把持器を含む、実施態様１に記載のシステム。
（８） 前記第１の手術器具又は前記第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データを捕捉するように構成された画像センサを有する可撓性内視鏡を更に備える、実施態様１に記載のシステム。
（９） システムであって、
データプロセッサと、
前記データプロセッサに動作を実行させるように構成された命令を記憶するメモリと、を備え、前記動作は、
患者内に位置する第１の手術器具の動きを特徴付けるデータをリアルタイムで受信することと、
受信された前記データに少なくとも基づいて、前記第１の手術器具の動きを判定し、前記第１の手術器具の前記動きに基づいて、前記患者内に位置する第２の手術器具の動きを自動的に変更することと、を含む、システム。
（１０） 前記第２の手術器具の変更された前記動きが、前記第１の手術器具の模倣された動き及び前記第１の手術器具のミラーリングされた動きのうちの少なくとも１つを含む、実施態様９に記載のシステム。
【0189】
（１１） 前記第１の手術器具及び前記第２の手術器具が、手術ステープラ、電気手術器具、又は把持器を含む、実施態様９又は１０に記載のシステム。
（１２） 前記データプロセッサの動作が、内視鏡の画像センサから、前記第１の手術器具又は前記第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データをリアルタイムで受信することを更に含む、実施態様９に記載のシステム。
（１３） 方法であって、
コントローラにおいて、患者に対する手術処置の実行とともにリアルタイムで、前記患者内に位置する第１の手術器具の動きを特徴付けるデータを受信することと、
前記コントローラにおいて、受信された前記データに基づいて、前記第１の手術器具の動きを判定し、前記第１の手術器具の前記動きに基づいて、前記患者内に位置する第２の手術器具の動きを自動的に変更することと、を含む、方法。
（１４） 前記第２の手術器具の変更された前記動きが、前記第１の手術器具の判定された前記動きを模倣すること又はミラーリングすることのうちの少なくとも１つを含む、実施態様１３に記載の方法。
（１５） 前記コントローラにおいて、前記手術処置の前記実行とともにリアルタイムで、内視鏡の画像センサから、前記第１の手術器具又は前記第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データを受信することを更に含む、実施態様１３又は１４に記載の方法。
（１２） 前記データプロセッサの動作が、内視鏡の画像センサから、前記第１の手術器具又は前記第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データをリアルタイムで受信することを更に含む、実施態様９に記載のシステム。
（１３） 方法であって、
コントローラにおいて、患者に対する手術処置の実行とともにリアルタイムで、前記患者内に位置する第１の手術器具の動きを特徴付けるデータを受信することと、
前記コントローラにおいて、受信された前記データに基づいて、前記第１の手術器具の動きを判定し、前記第１の手術器具の前記動きに基づいて、前記患者内に位置する第２の手術器具の動きを自動的に変更することと、を含む、方法。
（１４） 前記第２の手術器具の変更された前記動きが、前記第１の手術器具の判定された前記動きを模倣すること又はミラーリングすることのうちの少なくとも１つを含む、実施態様１３に記載の方法。
（１５） 前記コントローラにおいて、前記手術処置の前記実行とともにリアルタイムで、内視鏡の画像センサから、前記第１の手術器具又は前記第２の手術器具のうちの少なくとも１つの画像を特徴付ける画像データを受信することを更に含む、実施態様１３又は１４に記載の方法。
【0190】
（１６） 命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが実施態様１に記載のシステムのコントローラによって実行されるときに、前記コントローラに前記第１の手術器具の動きを分析させ、前記第１の手術器具の分析された前記動きに基づいて前記第２の手術器具の動きを自動的に変更させる、コンピュータプログラム製品。
（１７） 命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが実施態様９に記載のシステムのデータプロセッサによって実行されるときに、データコントローラに実施態様１３に記載の方法を実行させる、コンピュータプログラム製品。
（１８） 実施態様１６に記載のコンピュータプログラム製品を記憶したコンピュータ可読媒体。
（１９） 実施態様１６に記載のコンピュータプログラム製品を搬送するデータ搬送信号。
（１７） 命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが実施態様９に記載のシステムのデータプロセッサによって実行されるときに、データコントローラに実施態様１３に記載の方法を実行させる、コンピュータプログラム製品。
（１８） 実施態様１６に記載のコンピュータプログラム製品を記憶したコンピュータ可読媒体。
（１９） 実施態様１６に記載のコンピュータプログラム製品を搬送するデータ搬送信号。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図21A】
【図21B】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【国際調査報告】