(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-04
(54)【発明の名称】協調する手術器具を制御するための方法及びシステム
(51)【国際特許分類】
A61B 34/20 20160101AFI20240927BHJP
A61B 17/11 20060101ALI20240927BHJP
【ＦＩ】
A61B34/20
A61B17/11
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024519340
(86)(22)【出願日】2022-09-26
(85)【翻訳文提出日】2024-04-15
(86)【国際出願番号】 IB2022059084
(87)【国際公開番号】W WO2023052934
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】63/249,870
(32)【優先日】2021-09-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/451,950
(32)【優先日】2021-10-22
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】506157570
【氏名又は名称】シラグ・ゲーエムベーハー・インターナショナル
【氏名又は名称原語表記】Ｃｉｌａｇ ＧＭＢＨ Ｉｎｔｅｒｎａｔｉｏｎａｌ
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】シェルトン・ザ・フォース・フレデリック・イー
(72)【発明者】
【氏名】シャイブ・チャールズ・ジェイ
(72)【発明者】
【氏名】ハリス・ジェイソン・エル
【テーマコード（参考）】
4C160
【Ｆターム（参考）】
4C160BB05
(57)【要約】
協調する手術器具を制御するためのシステム、デバイス、及び方法が提供される。本開示の様々な態様は、共通の手術目的を達成するために、異なるアプローチから患者の共通の体腔にアクセスする手術器具の協調された動作を提供する。例えば、本明細書に開示される様々な方法、デバイス、及びシステムは、様々な解剖学的空間から組織にアプローチし、所望の手術治療をもたらすように互いに協力して動作する、異種の低侵襲性手術システムによる手術組織の協調された治療を可能にすることができる。
【特許請求の範囲】
【請求項1】
システムであって、体腔の第１の部分に挿入され、かつ患者の前記体腔内に外科用インプラントの第１の部分を展開するように構成された第１の手術器具と、
前記体腔の第２の部分に挿入され、かつ前記体腔内に前記外科用インプラントの第２の部分を展開するように構成された第２の手術器具であって、前記体腔の前記第２の部分が、前記第１の部分と異なる、第２の手術器具と、
第１の画像センサを有する第１の可撓性内視鏡であって、前記第１の可撓性内視鏡は、前記第２の手術器具が前記第１の画像センサの視野内にないように位置付けられる、第１の可撓性内視鏡と、
第２の画像センサを有する第２の可撓性内視鏡であって、前記第２の可撓性内視鏡は、前記第１の手術器具が前記第２の画像センサの視野内にないように位置付けられる、第２の可撓性内視鏡と、
前記第１の画像センサ及び前記第２の画像センサの各々によって収集された画像を受信し、前記第１の手術器具の第１の場所及び前記第２の手術器具の第２の場所を互いに対して判定し、第１の前記体腔の前記第１の部分及び前記第２の部分内の組織壁の特性を判定し、かつ前記組織壁の前記特性に基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定するように構成されたコントローラと、を備える、システム。
【請求項2】
前記外科用インプラントの前記第１の部分が、前記インプラントの前記第１の部分に関するデータを前記コントローラに提供するように構成された第１の電磁トラッカを含み、前記外科用インプラントの前記第２の部分が、前記インプラントの前記第２の部分に関するデータを前記コントローラに提供するように構成された第２の電磁トラッカを含み、
前記外科用インプラントの前記第１の部分及び前記第２の部分の判定された前記配置場所が、前記インプラントの前記第１の部分及び前記第２の部分に関する受信された前記データに少なくとも基づく、請求項１に記載のシステム。
【請求項3】
前記組織壁の前記特性が、厚さ、剛性、又は組織組成のうちの少なくとも１つを含む、請求項１又は２に記載のシステム。
【請求項4】
前記コントローラが、前記第１の器具及び前記第２の器具の前記第１の場所及び前記第２の場所に少なくとも基づいて、前記組織壁の前記厚さを判定するように構成されている、請求項３に記載のシステム。
【請求項5】
前記コントローラが、組織インピーダンス及び非可視光スペクトル撮像のうちの少なくとも１つに基づいて、前記組織壁の前記特性を判定するように構成されている、請求項３に記載のシステム。
【請求項6】
組織が前記第１の内視鏡の前記視野から前記第２の手術器具を遮るとき、及び組織が前記第２の内視鏡の前記視野から前記第１の手術器具を遮るとき、前記コントローラが、前記第１の手術器具及び前記第２の手術器具の前記場所を判定するように構成されている、請求項１に記載のシステム。
【請求項7】
前記第１の手術器具が、前記患者の第１の自然開口部を通して前記体腔に挿入されるように構成されており、前記第２の手術器具が、前記患者の第２の異なる自然開口部を通して前記体腔に挿入されるように構成されている、請求項１に記載のシステム。
【請求項8】
前記コントローラが、前記第１の手術器具を回転及び関節運動させて、前記外科用インプラントの前記第１の部分を前記外科用インプラントの前記第２の部分に対して位置付けるように構成されている、請求項１に記載のシステム。
【請求項9】
前記体腔が、空腸を含み、前記外科用インプラントが、吻合デバイスを含む、請求項１に記載のシステム。
【請求項10】
システムであって、データプロセッサと、
前記データプロセッサに動作を実行させるように構成された命令を記憶するメモリと、を備え、前記動作は、
第１の内視鏡の第１の画像センサから、患者の体腔の第１の部分を特徴付ける第１の画像データをリアルタイムで受信することと、
第２の内視鏡の第２の画像センサから、第１の前記体腔の第２の部分を特徴付ける第２の画像データをリアルタイムで受信することと、
前記第１の画像データに基づいて、前記体腔の前記第１の部分内に外科用インプラントの第１の部分を展開するように構成された第１の手術器具の第１の場所を判定することと、
前記第２の画像データに基づいて、前記第１の手術器具の前記第１の場所に対する第２の手術器具の第２の場所を判定することであって、前記第２の手術器具が、前記体腔の前記第２の部分内に外科用インプラントの第２の部分を展開するように構成されている、判定することと、
前記第１の体腔の前記第１の部分及び前記第２の部分内の組織壁の特性を判定することと、
前記組織壁の前記特性に基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定することと、を含む、システム。
【請求項11】
前記データプロセッサの前記動作が、前記コントローラに対して前記インプラントの前記第１の部分に関するデータを前記外科用インプラントの前記第１の部分における第１の電磁トラッカから受信し、かつ前記コントローラに対して前記インプラントの前記第２の部分に関するデータを前記外科用インプラントの前記第２の部分における第２の電磁トラッカから受信することと、
前記第１の電磁トラッカ及び前記第２の電磁トラッカから受信された前記データに少なくとも基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定することと、を更に含む、請求項１０に記載のシステム。
【請求項12】
前記組織壁の前記特性が、厚さ、剛性、又は組織組成のうちの少なくとも１つを含む、請求項１０又は１１に記載のシステム。
【請求項13】
前記第１の器具及び前記第２の器具の前記第１の場所及び前記第２の場所、組織インピーダンス、並びに非可視光スペクトル撮像のうちの少なくとも１つに基づいて、前記組織壁の前記特性を判定することを更に含む、請求項１２に記載のシステム。
【請求項14】
組織が前記第１の内視鏡の視野から前記第２の手術器具を遮るとき、及び組織が前記第２の内視鏡の視野から前記第１の手術器具を遮るとき、前記第１の手術器具の前記第１の場所を判定し、かつ前記第２の手術器具の前記第２の場所を判定することを更に含む、請求項１０に記載のシステム。
【請求項15】
前記体腔が、空腸を含み、前記外科用インプラントが、吻合デバイスを含む、請求項１０に記載のシステム。
【請求項16】
方法であって、第１の内視鏡システムの第１の画像センサから、患者の体腔の第１の部分を特徴付ける第１の画像データをリアルタイムで受信することと、
第２の内視鏡システムの第２の画像センサから、前記体腔の第２の部分を特徴付ける第２の画像データをリアルタイムで受信することと、
コントローラによって、前記第１の画像データに基づいて、第１の身体部分内にあり、かつ外科用インプラントの第１の部分が解放可能に係合された第１の手術器具の第１の場所を判定することであって、前記第１の手術器具が、前記第２の内視鏡システムの視野の外側にあり、前記体腔の前記第２の部分が、前記第１の部分と異なり、前記体腔の第２の手術治療部位が、第１の手術治療部位と異なる、判定することと、
前記コントローラによって、前記第２の画像データに基づいて、前記第１の手術器具に対する前記体腔の前記第２の部分内の第２の手術器具の第２の場所を判定することであって、前記第２の手術器具に、外科用インプラントの第２の部分が解放可能に係合されており、前記第２の手術器具が、前記第１の内視鏡システムの視野の外側にある、判定することと、
前記コントローラによって、第１の前記体腔の前記第１の部分及び前記第２の部分内の組織壁の特性を判定することと、
前記コントローラによって、前記組織壁の前記特性に基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定することと、を含む、方法。
【請求項17】
前記組織壁の前記特性が、厚さ、剛性、又は組織組成のうちの少なくとも１つを含む、請求項１６に記載の方法。
【請求項18】
前記第１の器具及び前記第２の器具の前記第１の場所及び前記第２の場所、組織インピーダンス、並びに非可視光スペクトル撮像のうちの少なくとも１つに基づいて、前記組織壁の前記特性を判定することを更に含む、請求項１６又は１７に記載の方法。
【請求項19】
組織が前記第１の内視鏡の前記視野から前記第２の手術器具を遮るとき、及び組織が前記第２の内視鏡の前記視野から前記第１の手術器具を遮るとき、前記第１の手術器具の前記第１の場所を判定し、かつ前記第２の手術器具の前記第２の場所を判定することを更に含む、請求項１６に記載の方法。
【請求項20】
前記体腔が、空腸を含み、前記外科用インプラントが、吻合デバイスを含む、請求項１６に記載の方法。
【請求項21】
命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが請求項１に記載のシステムのコントローラによって実行されるときに、前記コントローラに、前記第１の画像センサ及び前記第２の画像センサの各々によって収集された画像を受信することと、
前記第１の手術器具の第１の場所及び前記第２の手術器具の第２の場所を互いに対して判定することと、
前記第１の体腔の前記第１の部分及び前記第２の部分内の前記組織壁の特性を判定することと、
前記組織壁の前記特性に基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定することと、を行わせる、コンピュータプログラム製品。
【請求項22】
命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが請求項１０に記載のシステムのコントローラによって実行されるときに、前記システムに、請求項１６に記載の方法を実行させる、コンピュータプログラム製品。
【請求項23】
請求項２１に記載のコンピュータプログラム製品を記憶したコンピュータ可読媒体。
【請求項24】
請求項２１に記載のコンピュータプログラム製品を搬送するデータ搬送信号。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０２１年９月２９日に出願された、「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ」と題する米国特許仮出願第６３／２４９，８７０号の優先権を主張するものであり、その開示は、参照によりその全体が本明細書に組み込まれる。
本出願は、２０２１年９月２９日に出願された、「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ」と題する米国特許仮出願第６３／２４９，８７０号の優先権を主張するものであり、その開示は、参照によりその全体が本明細書に組み込まれる。
【背景技術】
【0002】
いくつかの手術処置は、処置をうまく実行するために、組織の領域又は部分に対して同時に動作する複数の手術器具の使用を必要とする。いくつかの状況では、解剖学的制限及び／又は処置の性質に起因して、複数の手術器具が同じ解剖学的空間内に位置し得る場合であっても、それらが互いに直接視覚的に接触することは不可能である。例えば、共有された組織構造（例えば、患者の小腸の一セクション）に対して動作する処置中に、処置をうまく実行するために、複数の手術器具は、共有された組織構造の視覚的に分離された部分に位置する必要がある場合がある。
【0003】
しかしながら、いくつかの実装形態では、組織の領域に対して動作するための第１の手術器具及び組織の領域に対して動作するための第２の手術器具は、手術器具が共通の手術目的を共有する場合であっても、独立したシステムを通して動作する場合がある。このようなシナリオでは、いずれの器具も他方の器具の動きを直接可視化することができないが、処置をうまく実行するために第１の手術器具及び第２の手術器具の協調された動作が必要とされる状況において、第１の手術器具及び第２の手術器具が協調して操作されて、共有される手術転帰の成功を達成することは難しいか、又は不可能であることがある。
【発明の概要】
【発明が解決しようとする課題】
【0004】
したがって、協調する手術器具間の直接可視化が、例えば、周囲組織によって制限されるときに、協調する手術器具を制御するための改善された方法及びシステムの必要性が残っている。
【課題を解決するための手段】
【0005】
一態様では、体腔の第１の部分に挿入され、患者の体腔内に位置する第１の手術治療部位に対して動作するように構成された第１の手術器具を含むシステムが提供される。第１の体腔の第２の部分に挿入され、体腔内に位置する第２の手術治療部位に対して動作するように構成された第２の手術器具も提供される。体腔の第２の部分は、体腔の第１の部分とは異なり、第２の手術治療部位は、第１の治療組織部位とは異なる。更に、システムは、第２の手術器具が第１の画像センサの視野内にないように体腔の第１の部分に位置付けられるように構成されている、第１の画像センサを有する第１の可撓性内視鏡を含む。第１の手術器具が第２の画像センサの視野内にないように体腔の第２の部分に位置付けられるように構成された第２の可撓性内視鏡も提供される。追加的に、システムは、第１の画像センサ及び第２の画像センサの各々によって収集された画像を受信し、第１の手術器具の第１の場所及び第２の手術器具の第２の場所を判定し、第２の手術器具に対する第１の手術器具の距離及び向きを判定し、かつ判定された距離及び向きに基づいて、体腔内で第１の手術器具及び第２の手術器具のうちの少なくとも１つの動きを引き起こすように構成されたコントローラを含む。
【0006】
システムは、多数の変形形態を有することができる。例えば、第１の手術治療部位は、第１の近位解剖学的目印に隣接することができ、第２の手術治療部位は、第２の遠位解剖学的目印に隣接することができ、第１の手術治療部位及び第２の手術治療部位は、体腔内で互いから離間され得る。更に他の実施例では、第１の近位解剖学的目印は、十二指腸空腸曲であってもよく、第２の遠位解剖学的目印は、回盲弁であってもよい。
【0007】
いくつかの実施形態では、第１の手術器具は、患者の第１の自然開口部を通して体腔に挿入されるように構成することができ、第２の手術器具は、患者の第２の異なる自然開口部を通して体腔に挿入されるように構成することができる。他の実施例では、コントローラは、判定された場所及び距離に少なくとも基づいて、体腔内の第１の手術器具及び第２の手術器具のうちの少なくとも１つの動きの速度を制御することができる。更に他の実施例では、システムは、第１の手術器具に解放可能に取り付けられ、第１の手術器具に解放可能に取り付けられている間に体腔内に送達されるように構成された外科用インプラントの第１の部分を含むことができ、第２の手術器具に解放可能に取り付けられ、第２の手術器具に解放可能に取り付けられている間に体腔内に送達されるように構成された外科用インプラントの第２の部分を含むことができる。いくつかの実施例では、コントローラは、外科用インプラントの第１の部分及び第２の部分を体腔内に送達する前に、第１の手術器具及び第２の手術器具のうちの少なくとも１つの動きを引き起こすように構成することができる。他の実施例では、インプラントの第１の部分及び第２の部分を体腔内に送達した後に、コントローラは、外科用インプラントの第１の部分を外科用インプラントの第２の部分に対して動かすように体腔内で第１の手術器具を動かすこと、及び外科用インプラントの第２の部分を外科用インプラントの第１の部分に対して動かすように体腔内で第２の手術器具を動かすことのうちの少なくとも１つを行うように構成することができる。いくつかの実施例では、外科用インプラントの第１の部分は、インプラントの第１の部分に関するデータをコントローラに提供するように構成された第１の電磁トラッカを含むことができ、外科用インプラントの第２の部分は、インプラントの第２の部分に関するデータをコントローラに提供するように構成された第２の電磁トラッカを含むことができる。いくつかの実施例では、第１の手術器具及び第２の手術器具の動きの少なくとも１つは、インプラントの第１の部分及び第２の部分に関する受信されたデータに基づくことができる。いくつかの実施例では、体腔は、空腸を含むことができ、外科用インプラントは、吻合デバイスを含むことができる。
【0008】
別の態様では、少なくとも１つのデータプロセッサと、少なくとも１つのデータプロセッサに動作を実行させるように構成された命令を記憶するメモリと、を含むシステムが提供される。動作は、第１の可撓性内視鏡システムの第１の画像センサから、患者の体腔の第１の部分を特徴付ける第１の画像データをリアルタイムで受信することを含む。動作はまた、第２の可撓性内視鏡システムの第２の画像センサから、体腔の第２の部分を特徴付ける第２の画像データをリアルタイムで受信することを含み、体腔の第２の部分は、体腔の第１の部分とは異なる。動作は、第１の画像データに基づいて、第１の手術器具の第１の場所を判定し、かつ第２の画像データに基づいて、第１の手術器具に対する第２の手術器具の第２の場所を判定することを更に含む。動作はまた、第１の手術器具及び第２の手術器具の前進速度及び前進力を制御することを含み、前進速度及び前進力は、第１の手術器具及び第２の手術器具の各々の遠位端の互いに対する検出された近接度及び向きによって制限される。
【0009】
システムは、いくつかの異なる変形形態を有することができる。例えば、第１の手術治療部位は、第１の近位解剖学的目印に隣接することができ、第２の手術治療部位は、第２の遠位解剖学的目印に隣接することができ、第１の手術治療部位及び第２の手術治療部位は、体腔内で互いから離間され得る。更に別の実施例では、第１の近位解剖学的目印は、十二指腸空腸曲であってもよく、第２の第２の遠位解剖学的目印は、回盲弁であってもよい。
【0010】
いくつかの実施形態では、第１の手術器具は、患者の第１の自然開口部を通して体腔に挿入されるように構成することができ、第２の手術器具は、患者の第２の異なる自然開口部を通して体腔に挿入されるように構成することができる。一実施例では、少なくとも１つのデータプロセッサの動作は、第１の手術器具に解放可能に取り付けられ、第１の手術器具に解放可能に取り付けられている間に体腔内に送達されるように構成された外科用インプラントの第１の部分を展開し、かつ第２の手術器具に解放可能に取り付けられ、第２の手術器具に解放可能に取り付けられている間に体腔内に送達されるように構成された外科用インプラントの第２の部分を展開することを更に含む。別の実施例では、体腔は、空腸を含み、外科用インプラントは、吻合デバイスを含む。
【0011】
別の態様では、第１の内視鏡システムの第１の画像センサから、患者の体腔の第１の部分を特徴付ける第１の画像データをリアルタイムで受信することを含む方法が提供される。方法はまた、第２の内視鏡システムの第２の画像センサから、体腔の第２の部分を特徴付ける第２の画像データをリアルタイムで受信することを含む。方法は、第１の画像データに基づいて、患者の体腔の第１の部分内に配設され、かつ体腔内の第１の手術治療部位に対して動作するように構成された第１の手術器具の第１の場所を判定することを更に含み、第１の手術器具は、第２の内視鏡システムの視野の外側にある。方法はまた、第２の画像データに基づいて、第１の手術器具に対する第２の手術器具の第２の場所を判定することを含む。第２の手術器具は、体腔の第２の部分内に配設され、かつ体腔内の第２の手術治療部位に対して動作するように構成されており、第２の手術器具も、第１の内視鏡システムの視野の外側にある。追加的に、方法は、第２の手術器具に対する第１の手術器具の距離及び向きを判定し、かつ判定された距離及び向きに基づいて、体腔内で第１の手術器具及び第２の手術器具のうちの少なくとも１つの動きを引き起こすことを含む。
【0012】
方法は、多数の変形形態を有することができる。一実施例では、方法は、患者の第１の自然開口部を通して体腔内に第１の手術器具を前進させ、かつ患者の第２の異なる自然開口部を通して体腔内に第２の手術器具を前進させることを更に含む。別の実施形態では、方法は、それぞれ、第１の手術器具及び第２の手術器具と解放可能に係合された外科用インプラントの第１の部分及び第２の部分の向きを判定することを含む。更に別の実施例では、方法は、判定された場所及び距離に少なくとも基づいて、体腔内の第１の手術器具及び第２の手術器具のうちの少なくとも１つの動きの速度を制御することを含む。
【0013】
別の態様では、第１の手術器具及び第２の手術器具と、第１の可撓性内視鏡及び第２の可撓性内視鏡と、を含むシステムが提供される。第１の手術器具は、体腔の第１の部分に挿入され、患者の体腔内に位置する第１の手術治療部位に対して動作するように構成されており、第２の手術器具は、体腔の第２の部分に挿入され、体腔内に位置する第２の手術治療部位に対して動作するように構成されている。追加的に、体腔の第２の部分は、体腔の第１の部分とは異なり、第２の手術治療部位は、第１の治療組織部位とは異なる。更に、第１の可撓性内視鏡は、第１の画像センサを有し、第２の手術器具が第１の画像センサの視野内にないように位置付けられるように構成されており、第２の可撓性内視鏡は、第２の画像センサを有し、第１の手術器具が第２の画像センサの視野内にないように位置付けられるように構成されている。システムはまた、第１の画像センサ及び第２の画像センサの各々によって収集された画像を受信し、第１の手術器具の第１の場所及び第２の手術器具の第２の場所を互いに対して判定し、それぞれ第１の治療組織部位及び第２の治療組織部位において、第１の手術器具と第２の手術器具との間の同期された手術アクションを引き起こすように構成されたコントローラを有する。
【0014】
システムは、多数の異なる変形形態を有することができる。例えば、システムは、第１の手術器具に解放可能に取り付けられ、第１の手術器具に解放可能に取り付けられている間に体腔内に送達されるように構成された外科用インプラントの第１の部分と、第２の手術器具に解放可能に取り付けられ、第２の手術器具に解放可能に取り付けられている間に体腔内に送達されるように構成された外科用インプラントの第２の部分と、を更に含むことができる。いくつかの実施例では、コントローラは、外科用インプラントの第１の部分及び第２の部分の展開を同時に作動させるように構成することもできる。別の実施例では、体腔は空腸を含むことができ、外科用インプラントは、吻合デバイスを含むことができる。更に別の実施例では、外科用インプラントの第１の部分は、インプラントの第１の部分に関するデータをコントローラに提供するように構成された第１の電磁トラッカを含むことができ、外科用インプラントの第２の部分は、インプラントの第２の部分に関するデータをコントローラに提供するように構成された第２の電磁トラッカを含むことができる。いくつかの実施例では、コントローラによる第１の部分及び第２の部分の同時展開は、インプラントの第１の部分及び第２の部分に関する受信されたデータに基づくことができる。
【0015】
別の実施例では、システムは、体腔の第３の部分に導入されるように構成されており、かつまた、第１の手術器具及び第２の手術器具の同期された手術アクションを引き起こすようにコントローラを支援するように構成されている第３の手術器具を更に含むことができる。別の実施例では、第１の手術器具は、患者の第１の自然開口部を通して患者内に導入されるように構成することができ、第２の手術器具は、患者の第２の異なる自然開口部を通して患者内に導入されるように構成することができ、第３の手術器具は、腹腔鏡アプローチから患者内に導入されるように構成することができる。更に別の実施例では、第１の手術器具と第２の手術器具との間の同期された手術アクションは、第１の治療組織部位及び第２の治療組織部位における同時の同期された手術アクションを含むことができる。
【0016】
いくつかの実施例では、組織が第１の内視鏡の視野から第２の手術器具を遮るとき、及び組織が第２の内視鏡の視野から第１の手術器具を遮るとき、コントローラは、第１の手術器具と第２の手術器具との間の同期されたアクションを引き起こすように構成することができる。
【0017】
別の態様では、少なくとも１つのデータプロセッサと、少なくとも１つのデータプロセッサに動作を実行させるように構成された命令を記憶するメモリと、を含むシステムが提供される。動作は、第１の内視鏡の第１の画像センサから、患者の体腔の第１の部分を特徴付ける第１の画像データをリアルタイムで受信することを含む。動作はまた、第２の内視鏡の第２の画像センサから、体腔の第２の部分を特徴付ける第２の画像データをリアルタイムで受信することを含む。動作は、第１の画像データに基づいて、体腔の第１の部分内の第１の手術治療部位における組織に対して動作するように構成された第１の手術器具の第１の場所を判定することを更に含む。更に、第１の手術器具は、第２の内視鏡の視野の外側にある。動作はまた、第２の画像データに基づいて、第１の手術器具の第１の場所に対する第２の手術器具の第２の場所を判定することを含む。第２の手術器具は、第２の手術治療部位において組織に対して動作するように構成されており、第２の手術器具は、第１の内視鏡の視野の外側にある。動作はまた、それぞれ第１の治療組織部位及び第２の治療組織部位において、第１の手術器具と第２の手術器具との間の同期された手術アクションを引き起こすことを含む。
【0018】
システムは、多数の異なる変形形態を有することができる。一実施例では、同期された手術アクションは、第１の手術器具から外科用インプラントの第１の部分を、及び第２の手術器具から外科用インプラントの第２の部分を同時に展開することを含むことができる。更に別の実施例では、体腔は、空腸を含み、外科用インプラントは、２パート磁気吻合デバイスを含む。更に他の実施例では、システムは、第３の内視鏡の第３の画像センサから、患者の体腔の第３の部分を特徴付ける第３の画像データをリアルタイムで受信することを含む。いくつかの実施例では、同期された手術アクションは、第１の手術器具及び第２の手術器具による任意の組織への貫通を回避することを含むことができる。
【0019】
更に別の態様では、第１の内視鏡システムの第１の画像センサから、患者の体腔の第１の部分を特徴付ける第１の画像データをリアルタイムで受信することを含む方法が提供される。方法はまた、第２の内視鏡システムの第２の画像センサから、体腔の第２の部分を特徴付ける第２の画像データをリアルタイムで受信することを含む。方法はまた、コントローラによって、第１の画像データに基づいて、患者の体腔の第１の部分内に配設された第１の手術治療部位において組織を操作する第１の手術器具の第１の場所を判定することを含み、第１の手術器具は、第２の内視鏡システムの視野の外側にある。方法は、コントローラによって、第２の画像データに基づいて、第１の手術器具に対する第２の手術器具の第２の場所を判定することを更に含む。第２の手術器具は、体腔の第２の部分内に配設された第２の手術治療部位において組織を操作し、第２の手術器具は、第１の内視鏡システムの視野の外側にある。本法は、コントローラによって、それぞれ第１の治療組織部位及び第２の治療組織部位において、第１の手術器具と第２の手術器具との間の同期された手術アクションを引き起こすことを更に含む。
【0020】
方法は、多数の異なる変形形態を有することができる。例えば、方法は、第１の手術器具に解放可能に取り付けられ、第１の手術器具に解放可能に取り付けられている間に体腔内に送達されるように構成された外科用インプラントの第１の部分を展開し、かつ第２の手術器具に解放可能に取り付けられ、第２の手術器具に解放可能に取り付けられている間に体腔内に送達されるように構成された外科用インプラントの第２の部分を展開することを更に含むことができる。別の実施例では、体腔は、空腸を含み、外科用インプラントは、２パート磁気吻合デバイスを含む。更に別の実施例では、方法は、第３の内視鏡の第３の画像センサから、患者の体腔の第３の部分を特徴付ける第３の画像データをリアルタイムで受信することを更に含む。
【0021】
別の態様では、体腔の第１の部分に挿入され、かつ患者の体腔内で外科用インプラントの第１の部分を展開するように構成された第１の手術器具を含むシステムが提供される。システムはまた、体腔の第２の部分に挿入され、かつ体腔内で外科用インプラントの第２の部分を展開するように構成された第２の手術器具を含み、体腔の第２の部分は、第１の部分とは異なる。システムは、第１の画像センサを有する第１の可撓性内視鏡を更に含み、第１の可撓性内視鏡は、第２の手術器具が第１の画像センサの視野内にないように位置付けられる。システムはまた、第２の画像センサを伴う第２の可撓性内視鏡を有し、第２の可撓性内視鏡は、第１の手術器具が第２の画像センサの視野内にないように位置付けられる。システムはまた、第１の画像センサ及び第２の画像センサの各々によって収集された画像を受信し、第１の手術器具の第１の場所及び第２の手術器具の第２の場所を互いに対して判定し、第１の体腔の第１の部分及び第２の部分内の組織壁の特性を判定し、組織壁の特性に基づいて、外科用インプラントの第１の部分及び第２の部分の配置場所を判定するように構成されたコントローラを含む。
【0022】
システムは、いくつかの変形形態を有することができる。例えば、外科用インプラントの第１の部分は、インプラントの第１の部分に関するデータをコントローラに提供するように構成された第１の電磁トラッカを含むことができ、外科用インプラントの第２の部分は、インプラントの第２の部分に関するデータをコントローラに提供するように構成された第２の電磁トラッカを含むことができる。いくつかの実施例では、外科用インプラントの第１の部分及び第２の部分の判定された配置場所は、インプラントの第１の部分及び第２の部分に関する受信されたデータに少なくとも基づくことができる。別の実施例では、組織壁の特性は、厚さ、剛性、又は組織組成のうちの少なくとも１つを含むことができる。別の実施例では、コントローラは、第１の器具及び第２の器具の第１の場所及び第２の場所に少なくとも基づいて、組織壁の厚さを判定するように構成することができる。更に別の実施例では、コントローラは、組織インピーダンス及び非可視光スペクトル撮像のうちの少なくとも１つに基づいて、組織壁の特性を判定するように構成することができる。
【0023】
いくつかの実施形態では、組織が第１の内視鏡の視野から第２の手術器具を遮るとき、及び組織が第２の内視鏡の視野から第１の手術器具を遮るとき、コントローラは、第１の手術器具及び第２の手術器具の場所を判定するように構成することができる。いくつかの実施例では、第１の手術器具は、患者の第１の自然開口部を通して体腔に挿入されるように構成することができ、第２の手術器具は、患者の第２の異なる自然開口部を通して体腔に挿入されるように構成することができる。他の実施例では、コントローラは、第１の手術器具を回転及び関節運動させて、外科用インプラントの第１の部分を外科用インプラントの第２の部分に対して位置付けるように構成されている。更に他の実施例では、体腔は、空腸を含むことができ、外科用インプラントは、２パート磁気吻合デバイスを含むことができる。
【0024】
別の態様では、少なくとも１つのデータプロセッサと、少なくとも１つのデータプロセッサに動作を実行させるように構成された命令を記憶するメモリと、を有するシステムが提供される。動作は、第１の内視鏡の第１の画像センサから、患者の体腔の第１の部分を特徴付ける第１の画像データをリアルタイムで受信することを含む。動作はまた、第２の内視鏡の第２の画像センサから、第１の体腔の第２の部分を特徴付ける第２の画像データをリアルタイムで受信することを含む。更に、動作は、第１の画像データに基づいて、体腔の第１の部分内に外科用インプラントの第１の部分を展開するように構成された第１の手術器具の第１の場所を判定することを含む。動作はまた、第２の画像データに基づいて、第１の手術器具の第１の場所に対する第２の手術器具の第２の場所を判定することを含み、第２の手術器具は、体腔の第２の部分内に外科用インプラントの第２の部分を展開するように構成されている。動作はまた、第１の体腔の第１の部分及び第２の部分内の組織壁の特性を判定することを含み、組織壁の特性に基づいて、外科用インプラントの第１の部分及び第２の部分の配置場所を判定することを含む。
【0025】
システムは、いくつかの異なる変形形態を有することができる。例えば、少なくとも１つのデータプロセッサの動作は、コントローラに対してインプラントの第１の部分に関するデータを外科用インプラントの第１の部分における第１の電磁トラッカから受信し、かつコントローラに対してインプラントの第２の部分に関するデータを外科用インプラントの第２の部分における第２の電磁トラッカから受信することを含むことができる。いくつかの実施例では、動作はまた、第１の電磁トラッカ及び第２の電磁トラッカから受信したデータに少なくとも基づいて、外科用インプラントの第１の部分及び第２の部分の配置場所を判定することを含むことができる。別の実施例では、組織壁の特性は、厚さ、剛性、又は組織組成のうちの少なくとも１つを含むことができる。別の実施例では、システムは、第１の器具及び第２の器具の第１の場所及び第２の場所、組織インピーダンス、並びに非可視光スペクトル撮像のうちの少なくとも１つに基づいて、組織壁の特性を判定することを含むことができる。更に別の実施例では、システムは、組織が第１の内視鏡の視野から第２の手術器具を遮るとき、及び組織が第２の内視鏡の視野から第１の手術器具を遮るとき、第１の手術器具の第１の場所を判定し、かつ第２の手術器具の第２の場所を判定することを含むことができる。別の実施例では、体腔は、空腸を含むことができ、外科用インプラントは、吻合デバイスを含むことができる。
【0026】
更に別の態様では、第１の内視鏡システムの第１の画像センサから、患者の体腔の第１の部分を特徴付ける第１の画像データをリアルタイムで受信することを含む方法が提供される。方法はまた、第２の内視鏡システムの第２の画像センサから、第１の中空臓器の第２の部分を特徴付ける第２の画像データをリアルタイムで受信することを含む。方法はまた、コントローラによって、第１の画像データに基づいて、第１の身体部分内にあり、かつ外科用インプラントの第１の部分が解放可能に係合された第１の手術器具の第１の場所を判定することを含む。第１の手術器具は、第２の内視鏡システムの視野の外側にある。更に、体腔の第２の部分は、第１の部分とは異なり、体腔の第２の手術治療部位は、第１の手術治療部位とは異なる。方法は、コントローラによって、第２の画像データに基づいて、第１の手術器具に対する体腔の第２の部分内の第２の手術器具の第２の場所を判定することを更に含む。追加的に、第２の手術器具は、第２の手術器具に解放可能に係合された外科用インプラントの第２の部分を有し、第２の手術器具は、第１の内視鏡システムの視野の外側にある。方法は更に、コントローラによって、第１の体腔の第１の部分及び第２の部分内の組織壁の特性を判定することを含み、かつコントローラによって、組織壁の特性に基づいて、外科用インプラントの第１の部分及び第２の部分の配置場所を判定することを含む。
【0027】
方法は、多数の異なる変形形態を有することができる。例えば、組織壁の特性は、厚さ、剛性、又は組織組成のうちの少なくとも１つを含むことができる。別の実施例では、方法は、第１の器具及び第２の器具の第１の場所及び第２の場所、組織インピーダンス、並びに非可視光スペクトル撮像のうちの少なくとも１つに基づいて、組織壁の特性を判定することを含むことができる。更に別の実施例では、方法はまた、組織が第１の内視鏡の視野から第２の手術器具を遮るとき、及び組織が第２の内視鏡の視野から第１の手術器具を遮るとき、第１の手術器具の第１の場所を判定し、かつ第２の手術器具の第２の場所を判定することを含むことができる。更にまた別の実施例では、体腔は、空腸を含むことができ、外科用インプラントは、吻合デバイスを含むことができる。
【図面の簡単な説明】
【0028】
本発明について、添付の図面を参照して説明する。
【図1】手術可視化システムの一実施形態の概略図である。
【図3】手術可視化システムの別の実施形態の概略図である。
【図4】手術可視化システムのための制御システムの一実施形態の概略図である。
【図5】手術可視化システムのための制御システムの制御回路の一実施形態の概略図である。
【図6】手術可視化システムの組み合わせロジック回路の一実施形態の概略図である。
【図7】手術可視化システムの順序ロジック回路の一実施形態の概略図である。
【図8】手術可視化システムの更に別の実施形態の斜視図である。
【図9】手術可視化システムのための制御システムの別の実施形態の概略図である。
【図10】様々な生物学的物質についての波長対吸収係数を示すグラフである。
【図11】手術部位を可視化するスペクトルエミッタの一実施形態の概略図である。
【図12】尿管を閉塞物から区別するための例示のハイパースペクトル特定シグネチャを描写するグラフである。
【図13】動脈を閉塞物から区別するための例示のハイパースペクトル特定シグネチャを描写するグラフである。
【図14】神経を閉塞物から区別するための例示のハイパースペクトル特定シグネチャを描写するグラフである。
【図15】術中に利用されている近赤外（near infrared、ＮＩＲ）飛行時間測定システムの一実施形態の概略図である。
【図17】術中に利用されている近赤外（ＮＩＲ）飛行時間測定システムの別の実施形態の概略図である。
【図18】コンピュータ実装双方向手術システムの一実施形態の概略図である。
【図19】手術室内で手術処置を行うために使用されている手術システムの一実施形態の概略図である。
【図20】スマート手術器具と手術ハブとを含む手術システムの一実施形態の概略図である。
【図21A】結腸の主要な切除を例解する結腸の概略図である。
【図21B】十二指腸粘膜表面再建処置の一実施形態の斜視部分断面図である。
【図22】手術器具の協調する制御を提供することができる例示的な手術システムの概略図である。
【図23】術野に配置された複数の内視鏡上に配置されたセンサの使用／追跡を介して、複数の視点を共通視野内に拡張することによって、共通視野を提供するためのシステムの例示的な実施形態の例解図である。
【図26】複数の視点を共通視野内に拡張することによって、及び様々な例示的なナビゲーション及び向きインジケータを共通視野内にオーバーレイすることによって、共通視野を提供するための別の例示的な実施形態の例解図である。
【図27】不正確な向きの患者の腸内の例示的な手術部位の例解図である。
【発明を実施するための形態】
【0029】
本明細書に開示されるデバイス、システム、及び方法の構造、機能、製造、及び使用の原理が総括的に理解されるように、ある特定の例示的な実施形態について、これから説明する。これらの実施形態の１つ又は２つ以上の実施例が、添付の図面に例解されている。当業者であれば、本明細書で詳細に説明し、添付の図面に示されるデバイス、システム、及び方法は、非限定的な例示的な実施形態であり、本発明の範囲は、特許請求の範囲のみによって定義されることが理解されるであろう。１つの例示的な実施形態に関連して例解又は説明される特徴は、他の実施形態の特徴と組み合わせることができる。このような改変及び変形は、本発明の範囲内に含まれるものとする。
【0030】
更に、本開示においては、実施形態の同様の名称の構成要素は概して同様の特徴を有するものであり、したがって、特定の実施形態において、同様の名称の各構成要素の各特徴については必ずしも完全に詳しく述べることはしない。追加的に、開示されるシステム、デバイス、及び方法の説明で直線寸法又は円寸法が使用される限りにおいて、そのような寸法は、そのようなシステム、デバイス、及び方法と組み合わせて使用することができる形状の種類を限定しようとするものではない。当業者には、そのような直線寸法及び円寸法に相当する寸法を、任意の幾何学的形状について容易に判定することができる点が認識されるであろう。当業者は、寸法が正確な値ではなくても、製作公差及び測定機器の感度などの諸々の要因により、その値に近い値であると考えられることを理解するであろう。システム及びデバイスのサイズ及び形状、並びにその構成要素は、少なくとも、システム及びデバイスがそれとともに使用される構成要素のサイズ及び形状に依存し得る。
【0031】
手術可視化
概して、手術可視化システムは、「デジタル手術」を活用して、患者の解剖学的構造及び／又は手術処置に関する追加情報を取得するように構成されている。手術可視化システムは、有用な様式で１人又は２人以上の医師にデータを伝達するように更に構成されている。本開示の様々な態様は、患者の解剖学的構造及び／若しくは手術処置の改善された可視化を提供し、並びに／又は手術ツール（本明細書では「手術デバイス」又は「手術器具」とも呼ばれる）の改善された制御を提供するために可視化を使用する。
概して、手術可視化システムは、「デジタル手術」を活用して、患者の解剖学的構造及び／又は手術処置に関する追加情報を取得するように構成されている。手術可視化システムは、有用な様式で１人又は２人以上の医師にデータを伝達するように更に構成されている。本開示の様々な態様は、患者の解剖学的構造及び／若しくは手術処置の改善された可視化を提供し、並びに／又は手術ツール（本明細書では「手術デバイス」又は「手術器具」とも呼ばれる）の改善された制御を提供するために可視化を使用する。
【0032】
「デジタル手術」とは、ロボットシステム、高度な撮像、高度な計装、人工知能、機械学習、パフォーマンスの追跡及びベンチマークのためのデータ分析、手術室（operating room、ＯＲ）の内外両方での接続性などを包含し得る。本明細書に記載される様々な手術可視化システムは、ロボット手術システムと組み合わせて使用することができるが、手術可視化システムは、ロボット手術システムとともに使用することに限定されない。特定の例では、ロボットなしで、並びに／又はロボット支援が制限されている、及び／若しくは任意選択である状態で、手術可視化システムを使用する手術可視化が発生する場合がある。同様に、ロボットなしで、並びに／又はロボット支援が制限されている、及び／若しくは任意選択である状態で、デジタル手術が発生する場合がある。
【0033】
特定の例では、手術可視化システムを組み込む手術システムは、重要構造を特定し、それらを回避するためにスマート切開を可能にし得る。重要構造としては、解剖学的構造、例えば他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び／又は腫瘍が挙げられる。他の例では、重要構造は、手術デバイス、手術締結具、クリップ、留め金、ブジー、バンド、プレートなどの、解剖学的領域内の異質な構造及び他の異質な構造であってもよい。重要構造は、患者ごと及び／又は処置ごとに判定される場合がある。スマート切開技術は、例えば、切開のために改善された術中ガイダンスを提供し得、かつ／又は重要な解剖学的構造の検出及び回避技術を用いてよりスマートな意思決定を可能にし得る。
【0034】
手術可視化システムを組み込んだ手術システムは、改善されたワークフローによって最適な場所においてより一貫した吻合を提供するスマート吻合技術を可能にし得る。がん局在診断技術は、手術可視化プラットフォームを用いて改善され得る。例えば、がん局在診断技術は、がんの場所、向き、及びそのマージンを特定し、追跡することができる。特定の例では、がん局在診断技術は、医師に対象となる点に戻すガイダンスを提供するために、手術処置中に手術器具、患者、及び／又は患者の解剖学的構造の動きを補償することができる。
【0035】
手術可視化システムは、改善された組織特徴付け、並びに／又はリンパ節診断及びマッピングを提供し得る。例えば、組織特徴付け技術は、特に切開時、及び／又は組織内のステープリングデバイスの配置時に、物理的触覚を必要とせずに組織の種類及び健康状態を特徴付けることができる。特定の組織特徴付け技術は、電離放射線及び／又は造影剤を使用せずに利用し得る。リンパ節診断及びマッピングに関して、手術可視化プラットフォームは、例えば、がん診断及びステージ診断に関与するリンパ系及び／又はリンパ節を手術前に位置特定し、マッピングし、理想的には、診断することができる。
【0036】
手術処置中、「肉眼」及び／又は撮像システムを介して医師が利用可能な情報は、不完全な手術部位のビューを提供する場合がある。例えば、臓器内に埋め込まれた又は埋もれた構造などの特定の構造は、ビューから少なくとも部分的に隠され、つまり見えない場合がある。追加的に、特定の寸法及び／又は相対距離は、既存のセンサシステムでの確認することが難しく、及び／又は「肉眼」では把握が難しい場合がある。更に、特定の構造は、術前（例えば、手術処置前であるが術前のスキャン後）、及び／又は術中に動く場合がある。そのような例では、医師は、術中に重要構造の場所を正確に判定することができない場合がある。
【0037】
重要構造の位置が不確定である場合、及び／又は重要構造と手術ツールとの間の近接度が不明である場合、医師の意思決定プロセスが阻害される可能性がある。例えば、医師は、重要構造の不注意による切開を回避するために、特定の面積を回避し得る。しかしながら、回避された面積は、不必要に大きく、かつ／又は、少なくとも部分的に場所を誤っている可能性がある。不確実性、及び／又は過度／過剰な用心に起因して、医師は特定の所望の領域に到達できない場合がある。例えば、重要構造がその特定面積にない場合、及び／又は、その特定面積での医師の行為によって悪影響がない場合であっても、用心のし過ぎにより、医師が、重要構造を回避しようと努力して、腫瘍及び／又は他の望ましくない組織の一部分を残してしまう場合がある。特定の例では、手術成績は知識及び／又は確実性が高まるとともに向上される場合があり、これにより、外科医にとって、より正確で、特定の例では、特定の解剖学的面積に対してより抑えて／より積極的になることが可能になる。
【0038】
手術可視化システムは、術中の特定及び重要構造の回避を可能にすることができる。したがって、手術可視化システムは、術中意思決定の強化及び手術転帰の改善を可能にし得る。手術可視化システムは、医師が「肉眼」で見るもの、並びに／あるいは撮像システムが認識し、及び／又は医師に伝達できるものを超えた、高度な可視化能力を提供することができる。手術可視化システムは、医師が組織治療（例えば、切開）の前に知ることができることを補強かつ強化できることによって、様々な例における転帰を改善し得る。結果として、手術可視化システムが、例えば、切開中にアプローチされ得る重要構造を追跡していることを認識しながら、医師は、手術処置を通して勢いを確実に維持することができる。手術可視化システムは、医師が手術処置を休止し、及び／又は減速させ、重要構造に対する不注意による損傷を防止するためにその構造までの近接度を評価するのに十分な時間内で、医師に対して指示を提供することができる。手術可視化システムは、理想的で、最適化された、及び／又はカスタマイズ可能な量の情報を医師に提供して、健康組織及び／又は重要構造への不注意による損傷を回避しつつ、医師が組織全体を確実、及び／又は迅速に動くことを可能にし、これによって、手術処置から生じる損傷のリスクを最小限に抑えることができる。
【0039】
手術可視化システムは、以下に詳細に説明される。一般に、手術可視化システムは、複数のスペクトル波を放射するように構成された第１の光エミッタと、光パターンを放射するように構成された第２の光エミッタと、可視光、スペクトル波に対する分子応答（分光イメージング）、及び／又は光パターンを検出するように構成された受信器、若しくはセンサと、を含むことができる。手術可視化システムはまた、撮像システムと、受信器及び撮像システムとを信号通信する制御回路と、を含むことができる。受信器からの出力に基づいて、制御回路は、手術部位における可視表面の幾何学的表面マップ例えば、三次元表面トポグラフィ、及び少なくとも部分的に隠れた構造までの距離などの手術部位に対する距離を判定することができる。撮像システムは、幾何学的表面マップ及び距離を医師に伝達することができる。そのような例では、医師に提供される手術部位の拡張ビューは、手術部位に関連するコンテキスト内で隠れた構造の表示を提供することができる。例えば、撮像システムは、が表面の下方のユーティリティ配管を示すために地面に引かれた線と同様に、隠している及び／又は遮断している組織の幾何学的表面マップ上に隠れた構造を仮想的に強化することができる。追加的又は代替的に、撮像システムは、可視の遮断している組織まで、及び／若しくは少なくとも部分的に隠れた構造までの手術ツールの近接度、並びに／又は、遮蔽している組織の可視表面の下方に隠された構造の深さを伝達することができる。例えば、可視化システムは、可視組織の表面上の拡張された線に対する距離を判定し、その距離を撮像システムに伝達することができる。
【0040】
本開示を通じて、特に可視光に言及しない限り、「光」への言及は全て、電磁放射線（electromagnetic radiation、ＥＭＲ）波長スペクトルの可視部分及び／又は非可視部分におけるＥＭＲ又は光子を含むことができる。可視スペクトルは、場合によっては、光スペクトル又は発光スペクトルとも称され、人間の目に見える（例えば、人間の目によって検出することができる）電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約３８０ｎｍ～約７５０ｎｍの波長に応答する。不可視スペクトル（例えば、非発光スペクトル）は、可視スペクトルの下及び上にある電磁スペクトルの部分である。不可視スペクトルは、人間の目で検出可能ではない。約７５０ｎｍを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線（infrared、ＩＲ）、マイクロ波及び無線電磁放射線になる。約３８０ｎｍ未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、ｘ線及びガンマ線電磁放射線になる。
【0041】
図１は、手術可視化システム１００の一実施形態を例解する。手術可視化システム１００は、解剖学的領域内の重要構造１０１の視覚的表示を作成するように構成されている。重要構造１０１は、単一の重要構造又は複数の重要構造を含むことができる。本明細書で論じるように、重要構造１０１は、解剖学的構造、例えば、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、血管、腫瘍、若しくは他の解剖学的構造、又は異質な構造、例えば、手術デバイス、手術締結具、手術クリップ、手術留め金、ブジー、手術バンド、手術プレート、若しくは他の異質な構造などの様々な構造のいずれかとすることができる。本明細書で論じるように、重要構造１０１は、患者ごと及び／又は処置ごとに特定することができる。重要構造の実施形態及び可視化システムを使用して重要構造を特定する実施形態は、２０２０年１０月６日に発行された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｏｆ Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ」と題する米国特許第１０，７９２，０３４号に更に説明されており、その全体が参照することによって本明細書に組み込まれる。
【0042】
いくつかの例では、重要構造１０１は、組織１０３に埋め込まれ得る。換言すれば、組織１０３は、脂肪、結合組織、癒着、及び／又は臓器などの様々な組織のうちのいずれかであることができる。換言すれば、重要構造１０１は、組織１０３の表面１０５の下方に位置付けられ得る。そのような例では、組織１０３は、医師の「肉眼」のビューから重要構造１０１を隠している。組織１０３はまた、手術可視化システム１００の撮像デバイス１２０の視野から重要構造１０１を覆い隠す。重要構造１０１は、完全に覆い隠される代わりに、医師及び／又は撮像デバイス１２０の視野から部分的に覆い隠されることができる。
【0043】
手術可視化システム１００は、臨床分析及び／又は医学的介入で使用することができる。特定の例では、手術可視化システム１００を術中に使用して、近接度データ、寸法、及び／又は距離に関するリアルタイム情報などのリアルタイム情報を、手術処置中に医師に提供することができる。当業者であれば、情報は正確にリアルタイムでないが、それでもなお、データ送信によって引き起こされる時間遅延、データ処理によって引き起こされる時間遅延、及び／又は測定機器の感度などの様々な理由のいずれかにより、リアルタイムであるとみなされることがあると認識するだろう。手術可視化システム１００は、重要構造の術中特定のために、及び／又は手術デバイスによる重要構造１０１の回避を容易にするように構成されている。例えば、重要構造１０１を特定することによって、医師は、手術処置中に、重要構造１０１及び／又は重要構造１０１の既定の近接度の領域の周囲で手術デバイスを操作することを回避できる。別の実施例では、重要構造１０１を特定することによって、医師は、重要構造１０１及び／又はその近くの切開を回避することができ、それによって、重要構造１０１への損傷を防止するのに役立ち、及び／又は医師によって使用されている手術デバイスが重要構造１０１によって損傷されるのを防止するのに役立つ。
【0044】
手術可視化システム１００は、手術可視化システムの距離センサシステム１０４と組み合わせた組織特定及び幾何学的表面マッピングを組み込むように構成されている。組み合わせると、手術可視化システム１００のこれらの特徴は、解剖学的領域内の重要構造１０１の位置、並びに／又は可視組織１０３の表面１０５及び／若しくは重要構造１０１への手術デバイス１０２の近接度を判定することができる。更に、手術可視化システム１００は、例えば、手術部位のリアルタイムのビューを提供するように構成された撮像デバイス１２０を含む撮像システムを含む。撮像デバイス１２０は、例えば、反射されたスペクトル波形を検出し、かつ様々な波長に対する分子応答に基づいて、画像のスペクトルキューブを生成するように構成されているスペクトルカメラ（例えば、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラ）を含むことができる。撮像デバイス１２０からのビューは、ディスプレイ（例えば、モニタ、コンピュータタブレット画面など）上などで、医師にリアルタイムで提供され得る。表示されたビューは、組織特定、ランドスケープマッピング、及び距離センサシステム１０４に基づく追加の情報で拡張することができる。そのような例では、手術可視化システム１００は、複数のサブシステム、つまり、撮像サブシステム、表面マッピングサブシステム、組織特定サブシステム、及び／又は距離判定サブシステムを含む。これらのサブシステムは協働して、高度なデータ合成及び統合された情報を手術中に医師に対して提供することができる。
【0045】
撮像デバイス１２０は、例えば、可視光、スペクトル光波（可視又は不可視）、及び構造化光パターン（可視又は不可視）を検出するように構成することができる。撮像デバイス１２０の実施例は、スコープ、例えば、内視鏡、関節鏡、血管鏡、気管支鏡、総胆管鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃－十二指腸鏡（胃鏡）、喉頭鏡、鼻咽頭－鼻腔鏡、Ｓ状結腸鏡、胸腔鏡、尿管鏡、又はエキソスコープを含む。スコープは、低侵襲手術処置において特に有用とすることができる。開腹手術用途では、撮像デバイス１２０は、スコープを含まなくてもよい。
【0046】
組織特定サブシステムは、スペクトル撮像システムを用いて達成することができる。スペクトル撮像システムは、ハイパースペクトル撮像、マルチスペクトル撮像、又は選択的スペクトル撮像などの撮像に依存することができる。組織のハイパースペクトル撮像の実施形態は、２０１６年３月１日に発行された、「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｇｒｏｓｓ Ａｎａｔｏｍｉｃ Ｐａｔｈｏｌｏｇｙ Ｕｓｉｎｇ Ｈｙｐｅｒｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ」と題する米国特許第９，２７４，０４７号に更に説明されており、その全体を参照により本明細書に組み込まれる。
【0047】
表面マッピングサブシステムは、光パターンシステムを用いて達成することができる。表面マッピングのために光パターン（又は構造化光）を使用する様々な表面マッピング技法が、本明細書に説明される手術可視化システムにおいて利用することができる。構造化光は、表面上に既知のパターン（多くの場合、グリッド又は水平バー）を投影するプロセスである。特定の例では、見えない（つまり、検知不能な）構造化光を利用することができ、構造化光は、投影されたパターンが混乱し得る他のコンピュータビジョンタスクと干することなく利用される。例えば、２つの正確に反対のパターンを繰り返す赤外光又は非常に速いフレームレートの可視光を利用して干渉を防止することができる。表面マッピング、並びに光源及び光パターンを投影するためのプロジェクタを含む手術システムの実施形態は、２０１７年３月２日に公開された「Ｓｅｔ Ｃｏｍｐｒｉｓｉｎｇ Ａ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ」と題する米国特許出願公開第２０１７／００５５８１９号、２０１７年９月７日に公開された「Ｄｅｐｉｃｔｉｏｎ Ｓｙｓｔｅｍ」と題する米国特許出願公開第２０１７／０２５１９００号、及び２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号に更に説明されており、参照によりその全体が本明細書に組み込まれる。
【0048】
距離判定システムは、表面マッピングシステムに組み込むことができる。例えば、構造化光を利用して、可視表面１０５の三次元（three-dimensional、３Ｄ）仮想モデルを生成し、可視表面１０５に対する様々な距離を判定することができる。追加的又は代替的に、距離判定システムは飛行時間測定に依存し、手術部位における特定された組織（又は他の構造）に対する１つ又は２つ以上の距離を判定することができる。
【0049】
手術可視化システム１００はまた、手術デバイス１０２を含む。手術デバイス１０２は、任意の好適な手術デバイスとすることができる。手術デバイス１０２の実施例は、手術解剖器具、手術ステープラ、手術把持器、クリップアプライヤ、煙排出器、手術エネルギーデバイス（例えば、単極プローブ、双極プローブ、アブレーションプローブ、超音波デバイス、超音波エンドエフェクタなど）などを含む。いくつかの実施形態では、手術デバイス１０２は、手術デバイス１０２のシャフトの遠位端から延在し、組織を間に係合するように構成されている対向するジョーを有するエンドエフェクタを含む。
【0050】
手術可視化システム１００は、重要構造１０１と、重要構造１０１に対する手術デバイス１０２の近接度とを特定するように構成することができる。手術可視化システム１００の撮像デバイス１２０は、例えば、可視光、スペクトル光波（可視又は不可視）、及び構造化光パターン（可視又は不可視）などの様々な波長の光を検出するように構成されている。撮像デバイス１２０は、異なる信号を検出するための複数のレンズ、センサ、及び／又は受信器を含むことができる。例えば、撮像デバイス１２０は、本明細書で更に説明されるように、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラとすることができる。撮像デバイス１２０はまた、波形センサ１２２（例えば、スペクトル画像センサ、検出器、及び／又は三次元カメラレンズ）も含むことができる。例えば、撮像デバイス１２０は、２つの二次元画像を同時に記録することによって、手術部位の三次元（３Ｄ）画像を生成し、手術部位の三次元画像をレンダリングし、かつ／又は、手術部位で１つ又は２つ以上の距離を判定するために一緒に使用される右側レンズ及び左側レンズを含むことができる。追加的又は代替的に、撮像デバイス１２０は、本明細書で更に説明されるように、可視組織のトポグラフィ、並びに隠れた重要構造の特定及び位置を示す画像を受信するように構成することができる。例えば、図１に示されるように、撮像デバイス１２０の視野を、組織１０３の表面１０５上の光パターン（構造化光）と重ねることができる。
【0051】
この例解された実施形態のように、手術可視化システム１００は、ロボットシステム１１０に組み込むことができる。ロボット手術システム１１０は、本明細書で論じられるように、様々な構成を有することができる。例解された実施形態では、ロボット手術システム１１０は、第１のロボットアーム１１２と第２のロボットアーム１１４とを含む。ロボットアーム１１２、１１４は、各々、サーボモータ制御を含むことができる剛性構造部材１１６及び継手１１８を含む。第１のロボットアーム１１２は、手術デバイス１０２を操作するように構成されており、第２のロボットアーム１１４は、撮像デバイス１２０を操作するように構成されている。ロボット手術システム１１０のロボット制御ユニットは、それぞれ手術デバイス１０２及び撮像デバイス１２０に作用することができる第１のロボットアーム１１２及び第２のロボットアーム１１４への制御運動を発するように構成されている。
【0052】
いくつかの実施形態では、ロボットアーム１１２、１１４のうちの１つ又は２つ以上は、手術処置で使用される主ロボットシステム１１０とは別個とすることができる。例えば、ロボットアーム１１２、１１４のうちの少なくとも１つは、サーボモータ制御なしに特定の座標系に位置付けられ、かつ位置合わせすることができる。例えば、ロボットアーム１１２、１１４に対する閉ループ制御システム及び／又は複数のセンサは、特定の座標系に対するロボットアーム１１２、１１４の位置を制御し、かつ／又は位置合わせすることができる。同様に、手術デバイス１０２及び撮像デバイス１２０の位置は、特定の座標系に対して位置合わせすることができる。
【0053】
ロボット手術システムの実施例は、Ｏｔｔａｖａ（商標）のロボット支援手術システム（Johnson & Johnson of New Brunswick、ＮＪ）、ｄａ Ｖｉｎｃｉ（登録商標）の手術システム（Intuitive Surgical,Inc.of Sunnyvale、ＣＡ）、Ｈｕｇｏ（商標）のロボット支援手術システム（Medtronic PLC of Minneapolis、ＭＮ）、Ｖｅｒｓｉｕｓ（登録商標）の手術ロボットシステム（CMR Surgical Ltd of Cambridge、ＵＫ）、及びＭｏｎａｒｃｈ（登録商標）のプラットフォーム（Auris Health,Inc.of Redwood City、ＣＡ）を含む。様々なロボット手術処置システム及びロボット手術処置システムを使用する実施形態は、２０１６年１２月２８日に出願された「Ｆｌｅｘｉｂｌｅ Ｉｎｓｔｒｕｍｅｎｔ Ｉｎｓｅｒｔｉｏｎ Ｕｓｉｎｇ Ａｎ Ａｄａｐｔｉｖｅ Ｆｏｒｃｅ Ｔｈｒｅｓｈｏｌｄ」と題する米国特許出願公開第２０１８／０１７７５５６号、２０１９年４月１６日に出願された「Ｓｙｓｔｅｍｓ Ａｎｄ Ｔｅｃｈｎｉｑｕｅｓ Ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｍｕｌｔｉｐｌｅ Ｐｅｒｓｐｅｃｔｉｖｅｓ Ｄｕｒｉｎｇ Ｍｅｄｉｃａｌ Ｐｒｏｃｅｄｕｒｅｓ」と題する米国特許出願公開第２０２０／００００５３０号、２０２０年２月７日に出願された「Ｉｍａｇｅ－Ｂａｓｅｄ Ｂｒａｎｃｈ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ Ｆｏｒ Ｎａｖｉｇａｔｉｏｎ」と題する米国特許出願公開第２０２０／０１７０７２０号、２０１９年１２月９日に出願された「Ｓｕｒｇｉｃａｌ Ｒｏｂｏｔｉｃｓ Ｓｙｓｔｅｍ」と題する米国特許出願公開第２０２０／０１８８０４３号、２０１９年９月３日に出願された「Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃｏｎｃｏｍｉｔａｎｔ Ｍｅｄｉｃａｌ Ｐｒｏｃｅｄｕｒｅｓ」と題する米国特許出願公開第２０２０／００８５５１６号、２０１３年７月１５日に出願された「Ｐａｔｉｅｎｔ－Ｓｉｄｅ Ｓｕｒｇｅｏｎ Ｉｎｔｅｒｆａｃｅ Ｆｏｒ Ａ Ｔｅｌｅｏｐｅｒａｔｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ」と題する米国特許第８，８３１，７８２号、及び２０１４年３月１３日に出願された「Ｈｙｐｅｒｄｅｘｔｅｒｏｕｓ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する国際公開第２０１４１５１６２１号に更に説明されている。
【0054】
手術可視化システム１００はまた、エミッタ１０６を含む。エミッタ１０６は、表面１０５のトポグラフィ又はランドスケープの判定を可能にするために、縞、グリッド線、及び／又はドットなどの光パターンを放射するように構成されている。例えば、投影された光アレイ１３０は、表面１０５上の三次元スキャン及び位置合わせのために使用することができる。投影された光アレイ１３０は、手術デバイス１０２、及び／又はロボットアーム１１２、１１４のうちの１つ、及び／又は撮像デバイス１２０上に位置するエミッタ１０６から放射することができる。一態様では、投影された光アレイ１３０は、手術可視化システム１００が組織１０３の表面１０５及び／又は表面１０５の運動により手術中に画定される形状を判定するために採用される。撮像デバイス１２０は、表面１０５から反射された投影された光アレイ１３０を検出して、表面１０５のトポグラフィ、及び表面１０５に対する様々な距離を判定するように構成されている。
【0055】
この例解された実施形態におけるように、撮像デバイス１２０は、撮像デバイス１２０上に装着されるか、又は別様に取り付けられることなどによって、光波形エミッタ１２３を含むことができる。光波形エミッタ１２３は、組織１０３の表面１０５を透過して重要構造１０１に到達することができる電磁放射線１２４（ＮＩＲ光子）を放射するように構成されている。撮像デバイス１２０、及び光波形エミッタ１２３は、ロボットアーム１１４によって位置付け可能とすることができる。光波形エミッタ１２３は、撮像デバイス１２２上、又は別様に装着されるが、他の実施形態では、撮像デバイス１２０とは別個の手術デバイス上に位置付けることができる。撮像デバイス１２０上の対応する波形センサ１２２（例えば、画像センサ、分光計、又は振動センサ）は、波形センサ１２２によって受信された電磁放射線の影響を検出するように構成されている。光波形エミッタ１２３から放射される電磁放射線１２４の波長は、重要構造１０１などの解剖学的構造及び／又は身体構造の種類の特定を可能にするように構成することができる。重要構造１０１の特定は、例えば、スペクトル分析、光音響、及び／又は超音波によって達成することができる。一態様では、電磁放射線１２４の波長は可変とすることができる。波形センサ１２２及び光波形エミッタ１２３は、例えば、マルチスペクトル撮像システム及び／又は選択的スペクトル撮像システムを含み得る。他の実施例では、波形センサ１２２及び光波形エミッタ１２３は、例えば、光音響撮像システムを含むことができる。
【0056】
手術可視化システム１００の距離センサシステム１０４は、手術部位における１つ又は２つ以上の距離を判定するように構成されている。距離センサシステム１０４は、この例解された実施形態におけるようなエミッタ１０６などのエミッタを含み、受信器１０８を含む、飛行時間型距離センサシステムとすることができる。他の例では、飛行時間エミッタは構造化光エミッタとは別個であり得る。エミッタ１０６は、非常に小さなレーザ源を含むことができ、受信器１０８は、マッチングセンサを含むことができる。距離センサシステム１０４は、「飛行時間」、又はエミッタ１０６によって放射されたレーザ光が受信器１０８のセンサ部分に跳ね返るまでにかかる時間を検出するように構成されている。エミッタ１０６中で非常に狭い光源を使用することにより、距離センサシステム１０４が、距離センサシステム１０４の直ぐ前にある組織１０３の表面１０５までの距離を判定することを可能にする。
【0057】
距離センサシステム１０４の受信器１０８は、この例解された実施形態では手術デバイス１０２上に位置付けられるが、他の実施形態では、受信器１０８は、手術デバイス１０２の代わりに別個の手術デバイス上に装着することができる。例えば、受信器１０８は、手術デバイス１０２が手術部位に到達するようにそこを通って延在するカニューレ又はトロカール上に装着することができる。更に他の実施形態では、距離センサシステム１０４のための受信器１０８は、手術デバイス１０２が結合された第１のロボットアーム１１２とは別個のロボットシステム１１０のロボット制御アーム上に（例えば、第２のロボットアーム１１４上に）装着することができるか、別のロボットによって動作する可動アーム上に装着することができるか、又は手術室（ＯＲ）台若しくは固定具に装着することができる。いくつかの実施形態では、撮像デバイス１２０は、手術デバイス１０２上のエミッタ１０６と撮像デバイス１２０との間の線を使用して、エミッタ１０６から組織１０３の表面１０５までの距離を判定することを可能にする受信器１０８を含む。例えば、距離センサシステム１０４の（手術デバイス１０２上の）エミッタ１０６、及び（撮像デバイス１２０上の）受信器１０８の既知の位置に基づいて、距離ｄｅを三角測量することができる。受信器１０８の三次元位置を、術中に、ロボット座標平面に対して既知とすること、及び／又は位置合わせすることができる。
【0058】
この例解された実施形態におけるように、飛行時間距離センサシステム１０４のエミッタ１０６の位置は、第１ロボットアーム１１２によって制御することができ、距離センサシステム１０４の受信器１０８の位置は、第２ロボットアーム１１４によって制御することができる。別の実施形態では、手術可視化システム１００は、ロボットシステムとは別に利用することができる。そのような例では、距離センサシステム１０４は、ロボットシステムとは独立していてもよい。
【0059】
図１では、ｄｅは、エミッタ１０６から組織１０３の表面１０５までのエミッタ－組織間距離であり、ｄｔは、手術デバイス１０２の遠位端から組織１０３の表面１０５までのデバイス－組織間距離である。距離センサシステム１０４は、エミッタ－組織間距離ｄｅを判定するように構成されている。デバイス－組織間距離ｄｔは、手術デバイス１０２の遠位端に対する、手術デバイス１０２上、例えば、手術デバイスの遠位端に近位のそのシャフト上のエミッタ１０６の既知の位置から取得可能である。言い換えると、エミッタ１０６と手術デバイス１０２の遠位端との間の距離が既知であるときに、デバイス－組織間距離ｄｔは、エミッタ－組織間距離ｄｅから判定することができる。いくつかの実施形態では、手術デバイス１０２のシャフトは、１つ又は２つ以上の関節継手を含むことができ、エミッタ１０６及び手術デバイス１０２の遠位端におけるジョーに対して関節運動可能とすることができる。関節運動構成は、例えば、多関節椎骨様構造を含むことができる。いくつかの実施形態では、三次元カメラを利用して、表面１０５までの１つ又は２つ以上の距離を三角測量することができる。
【0060】
図１では、ｄｗは、撮像デバイス１２０上に位置する光波形エミッタ１２３から重要構造１０１の表面までのカメラ－重要構造間距離であり、ｄＡは、組織１０３の表面１０５の下方の重要構造１０１の深さ（例えば、手術デバイス１０２に最も近い表面１０５の一部分と重要構造１０１との間の距離）である。撮像デバイス１２０上に位置する光波形エミッタ１２３から放射される光波形の飛行時間は、カメラ－重要構造間距離ｄｗを判定するように構成されている。
【0061】
図２に示されるように、組織１０３の表面１０５に対する重要構造１０１の深さｄＡは、距離ｄｗ、並びに手術デバイス１０２上のエミッタ１０６、及び撮像デバイス１２０上の光波形エミッタ１２３の既知の位置（したがって、これらの間の既知の距離ｄｘ）から三角測量によって判定されて、距離ｄｅとｄＡとの合計である距離ｄｙを判定することができる。追加的又は代替的に、光波形エミッタ１２３からの飛行時間は、光波形エミッタ１２３から組織１０３の表面１０５までの距離を判定するように構成することができる。例えば、第１の波形（又は波形範囲）を利用して、カメラ－重要構造間距離ｄｗを判定することができ、第２の波形（又は波形範囲）を利用して、組織１０３の表面１０５までの距離を判定することができる。そのような例では、異なる波形を利用して、組織１０３の表面１０５の下方の重要構造１０１の深さを判定することができる。
【0062】
追加的又は代替的に、距離ｄＡは、超音波、位置合わせされた磁気共鳴ビュー（magnetic resonance imaging、ＭＲＩ）、又はコンピュータ断層撮影（computerized tomography、ＣＴ）スキャンから判定することができる。更に他の例では、距離ｄＡは、撮像デバイス１２０によって受信された検出信号が材料の種類、例えば、組織１０３の種類に基づいて変動し得るので、スペクトル撮像によって判定することができる。例えば、脂肪は、検出信号を第１の方法、又は第１の量で減少させることができ、コラーゲンは、検出信号を異なる第２の方法、又は第２の量で減少させることができる。
【0063】
図３に例解された手術可視化システム１６０の別の実施形態では、撮像デバイス１２０ではなく手術デバイス１６２は、光波形エミッタ１２３と、反射された波形を検出するように構成されている波形センサ１２２と、を含む。光波形エミッタ１２３は、本明細書で更に説明されるように、手術デバイス１６２などの共通デバイスからの距離ｄｔ、及びｄｗを判定するための波形を放射するように構成されている。そのような例では、組織１０３の表面１０５から重要構造１０１の表面までの距離ｄＡは、以下のように判定することができる。
【0064】
ｄＡ＝ｄｗ－ｄｔ
【0065】
手術可視化システム１００は、手術可視化システム１００の様々な態様を制御するように構成された制御システムを含む。図４は、手術可視化システム１００（又は本明細書に説明される他の手術可視化システム）の制御システムとして利用することができる制御システム１３３の一実施形態を例解する。制御システム１３３は、メモリ１３４と信号通信するように構成された制御回路１３２を含む。メモリ１３４は、重要構造（例えば、図１の重要構造１０１）を判定及び／又は認識するための命令、１つ又は２つ以上の距離及び／又は三次元デジタル表示を判定及び／又は計算するための命令、並びに、情報を医師に通信するための命令など、制御回路１３２により実行可能な命令を記憶するように構成されている。したがって、メモリ１３４内に記憶された命令は、プロセッサによって実行されるときに、プロセッサに上述のように実行させる命令を含むコンピュータプログラム製品を構成する。また、このような命令は、任意のコンピュータ可読媒体（光ディスク、ＳＤカード、ＵＳＢドライブなど、又は別個のデバイスのメモリなど）に記憶されてもよく、そこからメモリ１３４にコピーされるか、又は直接実行されてもよい。コピー又は直接実行のプロセスは、コンピュータプログラム製品を搬送するデータキャリア信号の作成を伴う。この例解された実施形態におけるように、メモリ１３４は、表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１を記憶することができるが、メモリ１３４は、ロジック１３６、１３８、１４０、１４１の任意の組み合わせを記憶することができ、及び／又は様々なロジックを一緒に組み合わせることができる。制御システム１３３はまた、カメラ１４４を含む撮像システム１４２（例えば、図１の撮像デバイス１２０を含む撮像システム）、ディスプレイ１４６（例えば、モニタ、コンピュータタブレットスクリーン）、並びにカメラ１４４及びディスプレイ１４６の制御部１４８を含む。カメラ１４４は、様々な可視及び不可視スペクトルで光を放射する様々な光源からの信号を受信するように構成された画像センサ１３５（例えば、波形センサ１２２）（例えば、可視光、スペクトルイメージャ、三次元レンズなど）を含む。ディスプレイ１４６は、実際の、仮想の、及び／又は仮想的に拡張された画像及び／又は情報を医師に描写するように構成されている。
【0066】
例示的な実施形態では、画像センサ１３５は、ピクセルと呼ばれる個別の光検出器部位を最大で数百万個含む固体電子デバイスである。画像センサ１３５の技術は、電荷結合素子（Charge-Coupled Device、ＣＣＤ）イメージャ及び相捕型金属酸化膜半導体（Complementary Metal Oxide Semiconductor、ＣＭＯＳ）イメージャの２つの範疇のうちの１つに分類され、より直近になると、短波赤外線（short-wave infrared、ＳＷＩＲ）が撮像における新技術である。別の種類の画像センサ１３５は、ハイブリッドＣＣＤ／ＣＭＯＳアーキテクチャ（「ｓＣＯＭＳ」の名称で販売）を採用し、ＣＣＤ撮像基板にバンプ接合されたＣＭＯＳ読み出し集積回路（readout integrated circuit、ＲＯＩＣ）からなる。ＣＣＤ及びＣＭＯＳ画像センサ１３５は、約４００ｎｍ～約１０００ｎｍの範囲など、約３５０ｎｍ～約１０５０ｎｍの範囲の波長に対して感度がある。当業者であれば、値が正確にある値ではないが、それでもなお、測定機器の感度及び製造公差などの様々な理由のいずれかにより、ほぼその値であるとみなされることがあると認識するであろう。ＣＭＯＳセンサは、一般に、ＣＣＤセンサよりもＩＲ波長に対して感度が高い。固体画像センサ１３５は、光電効果に基づいており、その結果、色を区別することができない。したがって、１チップ及び３チップの２種類のカラーＣＣＤカメラが存在する。１チップカラーＣＣＤカメラは、よく採用される低コストの撮像ソリューションを提供し、モザイク（例えば、ベイヤー）光学フィルタを使用して、入射光を一連の色に分離し、補間アルゴリズムを採用してフルカラー画像を解像する。次いで、各色は、異なるピクセルセットに方向付けられる。３チップカラーＣＣＤカメラは、プリズムを採用することによってより高い分解能を提供し、入射スペクトルの各セクションを異なるチップに誘導する。オブジェクトの空間内の各点が、色を判定するためのアルゴリズムを使用するのではなく、別個のＲＧＢ強度値を有するため、より正確な色再現が可能である。３チップカメラは、非常に高い分解能を提供する。
【0067】
制御システム１３３はまた、各々が制御回路１３３に動作可能に結合されたスペクトル光源１５０及び構造化光源１５２を含むエミッタ（例えば、エミッタ１０６）を含む。単一の光源は、スペクトル光源１５０の範囲内の光の波長及び構造化光源１５２の範囲内の光の波長を放射するようにパルス化することができる。代替的に、単一の光源は、可視スペクトル内の光（例えば、赤外スペクトル光）及び可視スペクトル上の光の波長を提供するようにパルス化することができる。スペクトル光源１５０は、例えば、ハイパースペクトル光源、マルチスペクトル光源、及び／又は選択的スペクトル光源とすることができる。組織特定ロジック１４０は、カメラ１４４の画像センサ１３５によって受信されたスペクトル光源１５０からのデータを介して、重要構造（例えば、図１の重要構造１０１）を特定するように構成されている。表面マッピングロジック１３６は、反射された構造化光に基づいて、可視組織（例えば、組織１０３）の表面の輪郭を判定するように構成されている。飛行時間測定により、距離判定ロジック１４１は、可視組織及び／又は重要構造までの１つ又は２つ以上の距離を判定するように構成されている。表面マッピングロジック１３６、組織特定ロジック１４０、及び距離判定ロジック１４１の各々からの出力は、撮像ロジック１３８に提供され、撮像システム１４２のディスプレイ１４６を介して医師に伝達されるように撮像ロジック１３８によって、組み合わされ、一体化され、及び／又は重ね合わせられるように構成されている。
【0068】
制御回路１３２は、様々な構成を有することができる。図５は、手術可視化システム１００の態様を制御するように構成された制御回路１３２として使用することができる制御回路１７０の一実施形態を例解する。制御回路１７０は、本明細書に説明される様々なプロセスを実装するように構成されている。制御回路１７０は、メモリ１７４に動作可能に結合されたプロセッサ１７２（例えば、マイクロプロセッサ又はマイクロコントローラ）を含むマイクロコントローラを含む。メモリ回路１７４は、プロセッサ１７２によって実行されるときに、プロセッサ１７２に、本明細書に説明される様々なプロセスを実装するための機械命令を実行させる、機械実行可能命令を記憶するように構成されている。プロセッサ１７２は、当該技術分野で既知のいくつかのシングルコアプロセッサ又はマルチコアプロセッサのうちの任意の１つとすることができる。メモリ回路１７４は、揮発性及び不揮発性の記憶媒体を含むことができる。プロセッサ１７２は、命令処理ユニット１７６、及び演算ユニット１７８を含む。命令処理ユニット１７６は、メモリ回路１７４から命令を受信するように構成されている。
【0069】
表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１は、様々な構成を有することができる。図６は、表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１のうちの１つ又は２つ以上などのロジックを使用して、手術可視化システム１００の態様を制御するように構成された組み合わせロジック回路１８０の一実施形態を例解する。組み合わせロジック回路１８０は、入力１８４において手術デバイス（例えば、手術デバイス１０２及び／又は撮像デバイス１２０）に関連付けられたデータを受信し、組み合わせロジック１８２によってデータを処理し、出力１８４を制御回路（例えば、制御回路１３２）に提供するように構成された組み合わせロジック１８２を含む有限状態マシンを含む。
【0070】
図７は、表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１のうちの１つ又は２つ以上などのロジックを使用して、手術可視化システム１００の態様を制御するように構成された順序ロジック回路１９０の一実施形態を例解する。順序ロジック回路１９０は、組み合わせロジック１９２、メモリ１９４、及びクロック１９６を含む有限状態マシンを含む。メモリ１９４は、有限状態マシンの現在の状態を記憶するように構成されている。順序ロジック回路１９０は、同期又は非同期とすることができる。組み合わせロジック１９２は、入力４２６において手術デバイス（例えば、手術デバイス１０２及び／又は撮像デバイス１２０）に関連付けられたデータを受信し、組み合わせロジック１９２によってデータを処理し、出力４９９を制御回路（例えば、制御回路１３２）に提供するように構成されている。いくつかの態様では、順序ロジック回路１９０は、プロセッサ（例えば、図５のプロセッサ１７２）と、本明細書の様々なプロセスを実装する有限状態マシンと、の組み合わせを含むことができる。いくつかの実施形態では、有限状態マシンは、組み合わせロジック回路（例えば、図７の組み合わせロジック回路１９２）と順序ロジック回路１９０との組み合わせを含むことができる。
【0071】
図８は、手術可視化システム２００の別の実施形態を例解する。手術可視化システム２００は、概して、図１の手術可視化システム１００と同様に構成されており、使用され、例えば、手術デバイス２０２及び撮像デバイス２２０を含む。撮像デバイス２２０は、例えば、隠れた構造のスペクトル画像を取得するために複数の波長のスペクトル光を放射するように構成されたスペクトル光エミッタ２２３を含む。撮像デバイス２２０はまた、三次元カメラ及び関連する電子処理回路を含むことができる。臓器２０３の表面２０５上では不可視の尿管２０１ａ、及び臓器２０３（この例では、子宮）内の血管２０１ｂなどの特定の重要構造を特定し、それらの回避を容易にするために術中に利用されている、手術可視化システム２００が示されている。
【0072】
手術可視化システム２００は、構造化光によって、手術デバイス２０２上のエミッタ２０６から子宮２０３の表面２０５までのエミッタ－組織間距離ｄｅを判定するように構成されている。手術可視化システム２００は、エミッタ－組織間距離ｄｅに基づいて、手術デバイス２０２から子宮２０３の表面２０５までのデバイス－組織間距離ｄｔを外挿するように構成されている。手術可視化システム２００はまた、尿管２０１ａから表面２０５までの組織－尿管間距離ｄＡ、及び撮像デバイス２２０から尿管２０１ａまでのカメラ－尿管間距離ｄｗを判定するように構成されている。本明細書に説明されるように、例えば、図１の手術可視化システム１００に関して、手術可視化システム２００は、例えば、スペクトル撮像及び飛行時間型センサを用いて、距離ｄｗを判定するように構成されている。様々な実施形態では、手術可視化システム２００は、本明細書に説明される他の距離、及び／又は表面マッピングロジックに基づいて、組織－尿管間距離ｄＡ（つまり、深さ）を判定（例えば、三角測量）することができる。
【0073】
上述したように、手術可視化システムは、手術可視化システムの様々な態様を制御するように構成された制御システムを含む。制御システムは、様々な構成を有することができる。図９は、図１の手術可視化システム１００、図８の手術可視化システム２００、又は本明細書に説明される他の手術可視化システムなどの手術可視化システムのための制御システム６００の一実施形態を例解する。制御システム６００は、スペクトルシグネチャ組織特定及び構造化光組織位置付けを統合して、特に、重要構造が組織、例えば、脂肪、結合組織、血液組織、及び／又は臓器によって、及び／又は血液によって不覆い隠されているときにその構造を特定し、及び／又は腫瘍及び／又は非健常組織を臓器内の健常組織から区別するなど、組織変動性を検出する変換システムである。
【0074】
制御システム６００は、ハイパースペクトル撮像可視化システムを実装するように構成されており、このシステムでは、分子応答を利用して、手術視野内の解剖学的構造を検出及び特定する。制御システム６００は、組織データを外科医及び／又は他の医療従事者に使用可能な情報に変換するように構成された変換ロジック回路６４８を含む。例えば、覆い隠されている材料に対する波長に基づく可変反射率を利用して、解剖学的構造中の重要構造を特定することができる。更に、制御システム６００は、特定されたスペクトルシグネチャと構造光データとを画像内で組み合わせるように構成されている。例えば、制御システム６００を採用して、拡張画像オーバーレイを用いたシステムにおける手術用途のための三次元データセットを作成することができる。技術は、追加の視覚的情報を採用して、手術中及び手術前の両方で採用することができる。様々な実施形態では、制御システム６００は、１つ又は２つ以上の重要構造の近接するときに、医師に警告を提供するように構成されている。外科手術及び重要構造への近接度に基づくロボット自動化アプローチ及び半自動化アプローチを誘導するために、様々なアルゴリズムを採用することができる。
【0075】
投影された光アレイは、組織の形状及び運動を術中に判定するために制御システム６００によって採用される。代替的に、フラッシュライダーを組織の表面マッピングに利用してもよい。
【0076】
制御システム６００は、上述のように、１つ又は２つ以上の重要構造を含むことができる重要構造を検出し、重要構造の画像オーバーレイを提供し、可視組織の表面までの距離、及び埋め込まれた／埋もれた重要構造までの距離を測定するように構成されている。制御システム６００は、可視組織の表面までの距離を測定し、又は重要構造を検出し、重要構造の画像オーバーレイを提供することができる。
【0077】
制御システム６００は、スペクトル制御回路６０２を含む。スペクトル制御回路６０２は、フィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）又は図６、図７、及び図８に関して説明される構成などの別の好適な回路構成であることができる。スペクトル制御回路６０２は、ビデオ入力プロセッサ６０６からビデオ入力信号を受信するように構成されたプロセッサ６０４を含む。プロセッサ６０４は、ハイパースペクトル処理を行うように構成されてよく、例えば、Ｃ／Ｃ＋＋コードを利用することができる。ビデオ入力プロセッサ６０６は、例えば、シャッタ時間、波長、及びセンサ分析などの制御（メタデータ）データのビデオインを受信するように構成されている。プロセッサ６０４は、ビデオ入力プロセッサ６０６からのビデオ入力信号を処理し、例えば、インターフェース制御（メタデータ）データのハイパースペクトルビデオアウトを含むビデオ出力信号をビデオ出力プロセッサ６０８に提供するように構成されている。ビデオ出力プロセッサ６０８は、ビデオ出力信号を画像オーバーレイコントローラ６１０に提供するように構成されている。
【0078】
ビデオ入力プロセッサ６０６は、患者隔離回路６１４を介して患者側のカメラ６１２に動作可能に結合されている。カメラ６１２は、固体画像センサ６３４を含む。患者隔離回路６１４は、患者がシステム内の他の回路から隔離されるように、複数の変圧器を含むことができる。カメラ６１２は、光学素子６３２及び画像センサ６３４を介して術中画像を受信するように構成されている。画像センサ６３４は、例えば、ＣＭＯＳ画像センサを含むことができるか、又は図４に関連して本明細書で論じられるものなどの別の画像センサ技術を含むことができる。カメラ６１２は、１４ビット／ピクセル信号で６１３個の画像を出力するように構成されている。当業者は、より高いか、又はより低い分解能を採用することができると認識するであろう。隔離カメラ出力信号６１３は、カラーＲＧＢ融合回路６１６に提供され、この回路は、この例解された実施形態において、カメラ出力信号６１３を処理する構成されたカメラハードウェアレジスタ６１８及びＮｉｏｓ２コプロセッサ６２０を採用する。ビデオ入力プロセッサ６０６及びレーザパルス制御回路６２２には、カラーＲＧＢ融合出力信号が提供される。
【0079】
レーザパルス制御回路６２２は、レーザ光エンジン６２４を制御するように構成されている。レーザ光エンジン６２４は、近赤外線（ＮＩＲ）を含む複数の波長（λ１、λ２、λ３．．．λｎ）において光を出力するように構成されている。レーザ光エンジン６２４は、複数のモードで動作することができる。例えば、レーザ光エンジン６２４は、２つのモードで動作することができる。第１のモード、例えば、標準動作モードでは、レーザ光エンジン６２４は、照明信号を出力するように構成されている。第２のモード、例えば、特定モードでは、レーザ光エンジン６２４は、ＲＧＢＧ光及びＮＩＲ光を出力するように構成されている。様々な実施形態では、レーザ光エンジン６２４は、偏光モードで動作することができる。
【0080】
レーザ光エンジン６２４からの光出力６２６は、術中の手術部位６２７内の標的とされる解剖学的構造を照明するように構成されている。レーザパルス制御回路６２２はまた、手術部位６２７における手術組織、又は臓器上に所定の波長（λ２）で、ライン及び／又はドットのグリッド又はパターンなどのレーザ光パターン６３１を投影するように構成されたレーザパターンプロジェクタ６３０のためのレーザパルスコントローラ６２８を制御するように構成されている。カメラ６１２は、カメラ光学素子６３２を通して出力されたパターン化された光及び反射光を受信するように構成されている。画像センサ６３４は、受信された光をデジタル信号に変換するように構成されている。
【0081】
カラーＲＧＢ融合回路６１６はまた、画像オーバーレイコントローラ６１０、並びに、レーザパターンプロジェクタ６３０によって手術部位６２７の標的とされる解剖学的構造上に投影されたレーザ光パターン６３１を読み取るためのビデオ入力モジュール６３６に信号を出力するように構成されている。処理モジュール６３８は、レーザ光パターン６３１を処理し、手術部位６２７において可視組織までの距離を表す第１のビデオ出力信号６４０を出力するように構成されている。データは、画像オーバーレイコントローラ６１０に提供される。処理モジュール６３８はまた、手術部位における標的とされる解剖学的構造の組織又は臓器の三次元レンダリングされた形状を表す第２のビデオ信号６４２を出力するように構成されている。
【0082】
第１のビデオ出力信号６４０及び第２のビデオ出力信号６４２は、集積モジュール６４３に提供される三次元表面モデル上の重要構造の位置を表すデータを含む。スペクトル制御回路６０２のビデオ出力プロセッサ６０８からのデータと組み合わせて、集積モジュール６４３は、埋もれた重要構造までの距離（例えば、図１の距離ｄＡ）を（例えば、三角測量アルゴリズム６４４によって）判定するように構成されており、埋もれた重要構造までの距離は、ビデオ出力プロセッサ６４６を介して、画像オーバーレイコントローラ６１０に提供することができる。前述の変換ロジックは、変換ロジック回路６４８、中間ビデオモニタ６５２、及び手術部位６２７に位置付けられたカメラ６２４／レーザパターンプロジェクタ６３０を包含することができる。
【0083】
ＣＴ又はＭＲＩスキャンなどによる術前データ６５０を採用して、特定の三次元変形可能な組織を様々な例で位置合わせ又は整列させることができる。このような術前データ６５０は、集積モジュール６４３、最終的には、画像オーバーレイコントローラ６１０に提供することができるので、このような情報はカメラ６１２のビューと重ね合わせられ、ビデオモニタ６５２に提供することができる。術前データの位置合わせの実施形態は、２０１８年９月１１日に出願された「Ｉｎｔｅｇｒａｔｉｏｎ Ｏｆ Ｉｍａｇｉｎｇ Ｄａｔａ」と題する米国特許出願公開第２０２０／００１５９０７号に更に説明されており、その全体は参照として本明細書に組み込まれる。
【0084】
ビデオモニタ６５２は、画像オーバーレイコントローラ６１０から統合／拡張ビューを出力するように構成されている。医師は、１つ又は２つ以上のディスプレイ上の異なるビューを選択し、及び／又は切り替えることができる。例解された実施形態において、モニタである第１のディスプレイ６５２ａ上で、医師は、（Ａ）可視組織の三次元レンダリングが示されているビューと、（Ｂ）１つ又は２つ以上の隠れた重要構造が可視組織の三次元レンダリングの上に描写される拡張ビューとを切り替えることができる。例解された実施形態において、モニタである第２のディスプレイ６５２ｂ上で、医師は、例えば、１つ又は２つ以上の隠れた重要構造、及び／又は可視組織の表面までの距離測定値を切り替えることができる。
【0085】
本明細書に説明される様々な手術可視化システムを利用して、スペクトルの可視部分においてＥＭＲにより可視化されるのが覆い隠され得る組織、及び／又は解剖学的構造を含む、様々な異なる種類の組織、及び／又は解剖学的構造を可視化することができる。手術可視化システムは、上述したように、スペクトル撮像システムを利用することができ、これは、構成材料の様々な組み合わせに基づいて、異なる種類の組織を可視化するように構成することができる。特に、スペクトル撮像システムは、様々なＥＭＲ波長にわたる組織の吸収係数に基づいて可視化されている組織内の様々な構成材料の存在を検出するように構成することができる。スペクトル撮像システムは、構成材料の特定の組み合わせに基づいて、可視化されている組織の組織種類を特徴付けるように構成することができる。
【0086】
図１０は、様々な生体材料の吸収係数がＥＭＲ波長スペクトルにわたり、どのように変動するかを描写するグラフ３００を示す。グラフ３００では、垂直軸３０２は、生体材料の吸収係数をｃｍ－１単位で表し、水平軸３０４は、ＥＭＲ波長をμｍ単位で表す。このグラフ３００における第１の線３０６は、様々なＥＭＲ波長における水の吸収係数を表し、第２の線３０８は、様々なＥＭＲ波長におけるタンパク質の吸収係数を表し、第３の線３１０は、様々なＥＭＲ波長におけるメラニンの吸収係数を表し、第４の線３１２は、様々なＥＭＲ波長における脱酸素化ヘモグロビンの吸収係数を表し、第５の線３１４は、様々なＥＭＲ波長における酸素化ヘモグロビンの吸収係数を表し、第６の線３１６は、様々なＥＭＲ波長におけるコラーゲンの吸収係数を表す。組織種類が異なると、構成材料の組み合わせも異なるので、手術可視化システムによって可視化されている組織種類は、検出された構成材料の特定の組み合わせに従って、特定し、差別化することが可能である。したがって、手術可視化システムのスペクトル撮像システムは、いくつかの異なる波長でＥＭＲを放射し、異なる波長で検出された吸収ＥＭＲ吸収応答に基づいて、組織の構成材料を判定し、その後、構成材料の特定の検出された組み合わせに基づいて、組織種類を特徴付けるように構成することができる。
【0087】
図１１は、異なる組織種類、及び／又は解剖学的構造を可視化するためのスペクトル撮像技術の利用の一実施形態を示す。図１１では、スペクトルエミッタ３２０（例えば、図４のスペクトル光源１５０）は、手術部位３２２を可視化するために撮像システムによって利用されている。スペクトルエミッタ３２０によって放射され、手術部位３２２の組織及び／又は構造から反射されたＥＭＲは、画像センサ（例えば、図４の画像センサ１３５）によって受信されて、組織及び／又は構造を可視化し、これらは、可視であるか（例えば、手術部位３２２の表面に位置している）、又は覆い隠されている（例えば、手術部位３２２において他の組織及び／又は構造の下にある）かのいずれかとすることができる。この実施形態では、撮像システム１４２（例えば、図４の撮像システム）は、異なる組織／構造種類の各々に対して、構成材料の異なる吸収性状（例えば、吸収係数）によって特徴付けられるスペクトルシグネチャに基づいて、腫瘍３２４、動脈３２６、及び様々な異常３２８（例えば、既知又は予想されるスペクトルシグネチャに対して確認できない組織）を可視化する。可視化された組織及び構造は、撮像システムに関連付けられた又は結合されたディスプレイスクリーン（例えば、図４の撮像システム１４２のディスプレイ１４６）上、主ディスプレイ（例えば、図１９の主ディスプレイ８１９）上、非滅菌ディスプレイ（例えば、図１９の非滅菌ディスプレイ８０７、８０９）上、手術ハブのディスプレイ（例えば、図１９の手術ハブ８０６のディスプレイ）上、デバイス／器具ディスプレイ上、及び／又は別のディスプレイ上に表示することができる。
【0088】
撮像システムは、特定された組織及び／又は構造種類に従って、表示された手術部位の可視化を調整、又は更新するように構成することができる。例えば、図１１に示されるように、撮像システムは、撮像システムに関連付けられた又は結合されたディスプレイスクリーン上、主ディスプレイ上、非滅菌ディスプレイ上、手術ハブのディスプレイ上、デバイス／器具ディスプレイ上、及び／又は別のディスプレイ上に可視化されている腫瘍３２４に関連付けられたマージン３３０を表示することができる。マージン３３０は、腫瘍３２４を確実に完全に除去するように切除されるべき組織の面積又は量を示すことができる。手術可視化システムの制御システム（例えば、図４の制御システム１３３）は、撮像システムによって特定された組織及び／又は構造に基づいて、マージン３３０の寸法を制御又は更新するように構成することができる。例解された実施形態では、撮像システムは、視野（field of view、ＦＯＶ）内の複数の異常３２８を特定している。したがって、制御システムは、この異常３２８を包含するのに十分な寸法を有する第１の更新されたマージン３３２に、表示されたマージン３３０を調節することができる。更に、撮像システムは、最初に表示されたマージン３３０（動脈３２６の強調表示された領域３３４によって示されるように）と部分的に重なっている動脈３２６を特定している。したがって、制御システムは、この動脈３２６の関連部分を包含するのに十分な寸法を有する第２の更新されたマージン３３６に、表示されたマージンを調節することができる。
【0089】
組織及び／又は構造はまた、図１０及び図１１に関して上述した吸収性状に加えて、又はそれに代えて、ＥＭＲ波長スペクトルにわたるこれらの反射性状に従って、撮像するか又は特徴付けることができる。例えば、図１２、図１３、及び図１４は、様々なＥＭＲ波長にわたる異なる種類の組織又は構造の反射率の様々なグラフを例解する。図１２は、覆い隠すものに対する例示の尿管シグネチャのグラフ表示３４０である。図１３は、覆い隠すものに対する例示の動脈シグネチャのグラフ表示３４２である。図１４は、覆い隠すものに対する例示の神経シグネチャのグラフ表示３４４である。図１２、図１３、及び図１４のプロットは、対応する波長における脂肪、肺組織、及び血液の対応する反射率に対する、特定の構造（尿管、動脈、及び神経）の波長（ｎｍ）の関数としての反射率を表している。これらのグラフは例示目的に過ぎず、他の組織及び／又は構造では、組織、及び／又は構造を特定及び可視化を可能にする対応する検出可能な反射率シグネチャを含み得ることを理解されたい。
【0090】
スペクトル撮像のための選択波長は、手術部位において予測される重要構造及び／又は覆い隠すものに基づいて特定し、利用することができる（例えば、「選択的スペクトル」撮像）。選択的スペクトル撮像を利用することにより、スペクトル画像を取得するために必要な時間量は、情報をリアルタイムで取得し、術中に利用することができるように、最小化することができる。波長は、医師によって、又はユーザ、例えば、医師による入力に基づいて、制御回路によって選択することができる。特定の例では、波長を、例えば、クラウド又は手術ハブを介して制御回路にアクセス可能な機械学習及び／又はビッグデータに基づいて選択することができる。
【0091】
図１５は、波形エミッタと組織によって覆い隠された重要構造との間の距離を測定するために、術中に利用されている組織へのスペクトル撮像の一実施形態を例解する。図１５は、波形４２４、４２５を利用する飛行時間型センサシステム４０４の一実施形態を示す。飛行時間型センサシステム４０４は、例えば、図１の手術可視化システム１００のセンサシステム１０４として、手術可視化システムに組み込むことができる。飛行時間型センサシステム４０４は、同じ手術デバイス１０２上に波形エミッタ４０６及び波形受信器４０８を含む（例えば、図１の同じ手術デバイス４０２上のエミッタ１０６及び受信器１０８）。放射された波４００は、エミッタ４０６から重要構造４０１（例えば、図１の重要構造１０１）まで延在し、受信される波４２５は、反射されて重要構造４０１から受信器４０８に戻される。この例解された実施形態では、手術デバイス４０２は、患者の腔４０７内へと延在するトロカール４１０を通って位置付けられる。この例解された実施形態では、トロカール４１０が使用されているが、他のトロカール又は他のアクセスデバイスを使用することができるか、又はアクセスデバイスを使用しなくてもよい。
【0092】
波形４２４、４２５は、波長のＮＩＲ又はＳＷＩＲスペクトル内の波長を有することなどによって、覆い隠している組織４０３を貫通するように構成されている。スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、若しくは選択的スペクトル）又は光音響信号は、遠位を指す第１の矢印４０７によって示されるように、エミッタ４０６から放射され、重要構造４０１が隠されている組織４０３を貫通することができる。放射された波形４２４は、近位を指す第２の矢印４０９によって示されるように、重要構造４０１によって反射される。受信された波形４２５は、手術デバイス４０２の遠位端と重要構造４０１との間の距離ｄに起因して、遅延する可能性がある。波形４２４、４２５は、本明細書に説明されるように、重要構造４０１のスペクトルシグネチャに基づいて、組織４０３内の重要構造４０１を標的とするように選択することができる。エミッタ４０６は、例えば、図１６に示されるように、オンとオフを表す二値信号を提供するように構成されており、受信器４０８によって測定することができる。
【0093】
放射された波４２４と受信された波４２５との間の遅延に基づいて、飛行時間型センサシステム４０４は、距離ｄを判定するように構成されている。図１５のエミッタ４０６及び受信器４０８の飛行時間タイミング図４３０が、図１６に示されている。遅延は、距離ｄの関数であり、距離ｄは、以下によって求められ、
【0094】
【数1】
【0095】
波形４２４、４２５の飛行時間は、図１５の距離ｄに対応する。様々な例では、追加のエミッタ／受信器及び／又はエミッタ４０６からのパルス信号は、非透過信号を放射するように構成することができる。非透過信号は、エミッタ４０６から覆い隠している組織４０３の表面４０５までの距離を判定するように構成することができる。様々な例では、重要構造４０１の深さは、以下によって判定することができ、
ｄＡ＝ｄｗ－ｄｔ
式中、ｄＡ＝重要構造４０１の深さであり、ｄｗ＝エミッタ４０６から重要構造４０１までの距離（図１５のｄ）であり、ｄｔ＝エミッタ４０６（手術デバイス４０２の遠位端上）から覆い隠している組織４０３の表面４０５までの距離である。
ｄＡ＝ｄｗ－ｄｔ
式中、ｄＡ＝重要構造４０１の深さであり、ｄｗ＝エミッタ４０６から重要構造４０１までの距離（図１５のｄ）であり、ｄｔ＝エミッタ４０６（手術デバイス４０２の遠位端上）から覆い隠している組織４０３の表面４０５までの距離である。
【0096】
図１７は、波５２４ａ、５２４ｂ、５２４ｃ、５２５ａ、５２５ｂ、５２５ｃを利用する飛行時間型センサシステム５０４の別の実施形態を例解する。飛行時間型センサシステム５０４は、例えば、図１の手術可視化システム１００のセンサシステム１０４として、手術可視化システムに組み込むことができる。飛行時間型センサシステム５０４は、波形エミッタ５０６及び波形受信器５０８（例えば、図１のエミッタ１０６及び受信器１０８）を含む。波形エミッタ５０６は、第１の手術デバイス５０２ａ（例えば、図１の手術デバイス１０２））上に位置付けられ、波形受信器５０８は、第２の手術デバイス５０２ｂ上に位置付けられる。手術デバイス５０２ａ、５０２ｂは、それぞれ、患者の腔５０７内に延在する第１のトロカール５１０ａ及び第２のトロカール５１０ｂを通って位置付けられる。トロカール５１０ａ、５１０ｂは、この例解された実施形態において使用されるが、他のトロカール又は他のアクセスデバイスを使用することができるか、又はアクセスデバイスを使用してなくてもよい。放射された波５２４ａ、５２４ｂ、５２４ｃは、エミッタ５０６から手術部位に向かって延在し、受信された波５２５ａ、５２５ｂ、５２５ｃは、手術部位における様々な構造、及び／又は表面から受信器５０８から反射される。
【0097】
異なる放射された波５２４ａ、５２４ｂ、５２４ｃは、手術部位において異なる種類の材料を標的とするように構成されている。例えば、波５２４ａは、覆い隠している組織５０３を標的とし、波５２４ｂは、この例解された実施形態では血管である第１の重要構造５０１ａ（例えば、図１の重要構造１０１）を標的とし、波５２４ｃは、この例解された実施形態ではがん性腫瘍である第２の重要構造５０１ｂ（例えば、図１の重要構造１０１）を標的とする。波５２４ａ、５２４ｂ、５２４ｃの波長は、可視光、ＮＩＲ、又はＳＷＩＲスペクトルの波長とすることができる。例えば、可視光は、組織５０３の表面５０５に反射することができ、ＮＩＲ波形及び／又はＳＷＩＲ波形は、組織５０３の表面５０５を透過することができる。様々な態様では、本明細書に説明されるように、スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、又は選択的スペクトル）又は光音響信号をエミッタ５０６から放射することができる。波５２４ｂ、５２４ｃは、本明細書に更に説明されるように、重要構造５０１ａ、５０１ｂのスペクトルシグネチャに基づいて、組織５０３内の重要構造５０１ａ、５０１ｂを標的とするように選択することができる。光音響撮像は、様々な米国特許出願に更に説明されており、これらは、本開示において参照により本開示に組み込まれる。
【0098】
放射された波５２４ａ、５２４ｂ、５２４ｃは、標的とされる材料、すなわち、それぞれ表面５０５、第１の重要構造５０１ａ、及び第２の構造５０１ｂから反射される。受信された波形５２５ａ、５２５ｂ、５２５ｃは、距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃに起因して遅延する可能性がある。
【0099】
エミッタ５０６及び受信器５０８を個別に位置付け可能である（例えば、別個の手術デバイス５０２ａ、５０２ｂ上で、及び／又は別個のロボットアームによって制御される）飛行時間型センサシステム５０４において、様々な距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃは、エミッタ５０６及び受信器５０８の既知の位置から算出することができる。例えば、手術デバイス５０２ａ、５０２ｂがロボット制御されるときに、位置は既知とすることができる。エミッタ５０６と受信器５０８の位置、並びに特定組織を標的とする光子ストリームの時間、及び受信器５０８によって受信されたその特定の応答の情報に関する知識により、距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃの判定を可能にすることができる。一態様では、覆い隠された重要構造５０１ａ、５０１ｂまでの距離は、透過波長を使用して三角測量することができる。光速度は可視光又は不可視光の任意の波長に対して一定であるため、飛行時間型センサシステム５０４は、様々な距離を判定することができる。
【0100】
医師に提供されたビュー、例えば、ディスプレイ上では、結果として生じる画像内の標的構造の質量中心が一定のままとなるように、例えば、選択標的構造５０３、５０１ａ、又は５０１ｂの軸に垂直な平面内で、受信器５０８を回転させることができる。そのような向きは、標的構造に対して、１つ又は２つ以上の関連する距離及び／又は視点を迅速に通信することができる。例えば、図１７に示されるように、重要構造５０１ａがビュー平面に垂直である（例えば、血管がページの内外に向いている）視点から、手術部位が表示される。そのような向きは、デフォルトセッティングとすることができる。しかしながら、ビューは、医師によって回転されるか、又は別様に調節され得る。特定の例では、医師は、撮像システムによって提供される手術部位の視点を画定する、異なる表面及び／又は標的構造を切り替えることができる。
【0101】
この例解された実施形態におけるように、受信器５０８は、トロカール５１０ｂ（又は他のアクセスデバイス）上に装着することができ、それを通して手術デバイス５０２ｂが位置付けられる。他の実施形態では、受信器５０８は、三次元位置が既知である別個のロボットアームに装着することができる。様々な例では、受信器５０８は、手術デバイス５０２ａを制御するロボットとは別個の可動アーム上に装着することができるか、又はロボット座標平面に術中に位置合わせ可能な手術室（ＯＲ）台若しくは固定具に装着することができる。そのような例では、エミッタ５０６及び受信器５０８の位置は、飛行時間型センサシステム５０４の出力から距離を三角測量することができるように、同じ座標平面に位置合わせすることができる。
【0102】
飛行時間型センサシステムとナノ秒の分解能を用いたＮＩＲ光の時間分解プロファイルを測定することが可能である、ＴＯＦ－ＮＩＲＳと呼ばれる近赤外分光法（near-infrared spectroscopy、ＮＩＲＳ）との組み合わせは、Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ Ｎｅａｒ－Ｉｎｆｒａｒｅｄ Ｓｐｅｃｔｒｏｓｃｏｐｙ Ｆｏｒ Ｎｏｎｄｅｓｔｒｕｃｔｉｖｅ Ｍｅａｓｕｒｅｍｅｎｔ Ｏｆ Ｉｎｔｅｒｎａｌ Ｑｕａｌｉｔｙ Ｉｎ Ｇｒａｐｅｆｒｕｉｔ，Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｆｏｒ Ｈｏｒｔｉｃｕｌｔｕｒａｌ Ｓｃｉｅｎｃｅ，Ｍａｙ ２０１３ ｖｏｌ．１３８ ｎｏ．３ ２２５－２２８に見出すことができ、これは、その全体が参照により本明細書に組み込まれる。
【0103】
可視化システム並びにその態様及び使用の実施形態は、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｐｌａｔｆｏｒｍ」と題する米国特許出願公開第２０２０／００１５９２３号、２０１８年９月１１日に出願された「Ｃｏｎｔｒｏｌｌｉｎｇ Ａｎ Ｅｍｉｔｔｅｒ Ａｓｓｅｍｂｌｙ Ｐｕｌｓｅ Ｓｅｑｕｅｎｃｅ」と題する米国特許出願公開第２０２０／００１５９００号、２０１８年９月１１日に出願された「Ｓｉｎｇｕｌａｒ ＥＭＲ Ｓｏｕｒｃｅ Ｅｍｉｔｔｅｒ Ａｓｓｅｍｂｌｙ」と題する米国特許出願公開第２０２０／００１５６６８号、２０１８年９月１１日に出願された「Ｃｏｍｂｉｎａｔｉｏｎ Ｅｍｉｔｔｅｒ Ａｎｄ Ｃａｍｅｒａ Ａｓｓｅｍｂｌｙ」と題する米国特許出願公開第２０２０／００１５９２５号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｗｉｔｈ Ｐｒｏｘｉｍｉｔｙ Ｔｒａｃｋｉｎｇ Ｆｅａｔｕｒｅｓ」と題する米国特許出願公開第２０２０／０００１５８９９号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｏｆ Ｍｕｌｔｉｐｌｅ Ｔａｒｇｅｔｓ」と題する米国特許出願公開第２０２０／０００１５９０３号、２０１８年９月１１日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｏｆ Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ」と題する米国特許第１０，７９２，０３４号、２０１８年９月１１日に出願された「Ｏｐｅｒａｔｉｖｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｏｆ Ｌｉｇｈｔ」と題する米国特許出願公開第２０２０／００１５８９７号、２０１８年９月１１日に出願された「Ｒｏｂｏｔｉｃ Ｌｉｇｈｔ Ｐｒｏｊｅｃｔｉｏｎ Ｔｏｏｌｓ」と題する米国特許出願公開第２０２０／００１５９２４号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｆｅｅｄｂａｃｋ Ｓｙｓｔｅｍ」と題する米国特許出願公開第２０２０／００１５８９８号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ａｎｄ Ｍｏｎｉｔｏｒｉｎｇ」と題する米国特許出願公開第２０２０／００１５９０６号、２０１８年９月１１日に出願された「Ｉｎｔｅｇｒａｔｉｏｎ Ｏｆ Ｉｍａｇｉｎｇ Ｄａｔａ」と題する米国特許出願公開第２０２０／００１５９０７号、２０１８年９月１１日に出願された「Ｒｏｂｏｔｉｃａｌｌｙ－Ａｓｓｉｓｔｅｄ Ｓｕｒｇｉｃａｌ Ｓｕｔｕｒｉｎｇ Ｓｙｓｔｅｍｓ」と題する米国特許第１０，９２５，５９８号、２０１８年９月１１日に出願された「Ｓａｆｅｔｙ Ｌｏｇｉｃ Ｆｏｒ Ｓｕｒｇｉｃａｌ Ｓｕｔｕｒｉｎｇ Ｓｙｓｔｅｍｓ」と題する米国特許出願公開第２０２０／００１５９０１号、２０１８年９月１１日に出願された「Ｒｏｂｏｔｉｃ Ｓｙｓｔｅｍｓ Ｗｉｔｈ Ｓｅｐａｒａｔｅ Ｐｈｏｔｏａｃｏｕｓｔｉｃ Ｒｅｃｅｉｖｅｒｓ」と題する米国特許出願公開第２０２０／００１５９１４号、２０１８年９月１１日に出願された「Ｆｏｒｃｅ Ｓｅｎｓｏｒ Ｔｈｒｏｕｇｈ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ Ｄｅｆｌｅｃｔｉｏｎ」と題する米国特許出願公開第２０２０／００１５９０２号、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｈｕｂ Ｃｏｍｍｕｎｉｃａｔｉｏｎ」と題する米国特許出願公開第２０１９／０２０１１３６号、２０１９年１２月３０日に出願された「Ａｎａｌｙｚｉｎｇ Ｓｕｒｇｉｃａｌ Ｔｒｅｎｄｓ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，７７２号、２０１９年１２月３０日に出願された「Ｄｙｎａｍｉｃ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ」と題する米国特許出願第１６／７２９，７４７号、２０１９年１２月３０日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ」と題する米国特許出願第１６／７２９，７４４号、２０１９年１２月３０日に出願された「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ，Ａｄｊｕｓｔｉｎｇ，Ａｎｄ Ｍａｎａｇｉｎｇ Ｒｅｓｅｃｔｉｏｎ Ｍａｒｇｉｎ Ａｂｏｕｔ Ａ Ｓｕｂｊｅｃｔ Ｔｉｓｓｕｅ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｐｒｏｐｏｓｉｎｇ Ａｎｄ Ｃｏｒｒｏｂｏｒａｔｉｎｇ Ｏｒｇａｎ Ｐｏｒｔｉｏｎ Ｒｅｍｏｖａｌｓ」と題する米国特許出願第１６／７２９，７２９号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｏｖｅｒｌａｙｉｎｇ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ Ｏｎｔｏ Ａ Ｖｉｒｔｕａｌ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔ Ｏｆ Ａｎ Ｏｒｇａｎ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｃｏｒｒｅｌａｔｉｎｇ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｄａｔａ Ａｎｄ Ｐｏｗｅｒｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ」と題する米国特許出願第１６／７２９，７４０号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｃｌｏｕｄ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７３７号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｐａｒｔｉｃｕｌａｔｅ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７９６号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，８０３号、２０１９年１２月３０日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｕｓｉｎｇ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅｓ Ｉｎ Ｓｕｒｇｅｒｙ」と題する米国特許出願第１６／７２９，８０７号、２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ａｎｄ Ｍｅｔｈｏｄｓ Ｕｓｉｎｇ Ｍｕｌｔｉ－Ｓｏｕｒｃｅ Ｉｍａｇｉｎｇ」と題する米国特許出願第６３／２４９，６４４号、２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ｍｅｔｈｏｄｓ Ｕｓｉｎｇ Ｆｉｄｕｃｉａｌ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ａｎｄ Ｔｒａｃｋｉｎｇ」と題する米国特許出願第６３／２４９，６５２号、２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃｏｎｔｒｏｌ Ｏｆ Ｏｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｗｉｔｈ Ａｎｏｔｈｅｒ」と題する米国特許出願第６３／２４９，６５８号、２０２１年９月２９日に出願された「Ｍｅｔｈｏｄｓ Ａｎｄ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ」と題する米国特許出願第６３／２４９，８７７号、及び２０２１年９月２９日に出願された「Ｃｏｏｐｅｒａｔｉｖｅ Ａｃｃｅｓｓ」と題する米国特許出願第６３／２４９，９８０号に更に説明されており、これらは、参照によりその全体が本明細書に組み込まれる。
【0104】
手術ハブ
本明細書に説明される様々な可視化又は撮像システムは、手術ハブを含むシステムに組み込むことができる。概して、手術ハブは、複数の医療施設にまたがることができ、統合され包括的な改善された医療を膨大な数の患者に提供するように構成された包括的なデジタル医療システムの構成要素とすることができる。包括的なデジタル医療システムは、多くの異なる医療施設にわたって位置する複数の手術ハブに相互接続するように構成されているクラウドベースの医療分析システムを含む。手術ハブは、患者に対して医療処置を行うために使用される１つ又は２つ以上の手術器具及び／又は医療処置の実行中に使用される１つ又は２つ以上の可視化システムなどの１つ又は２つ以上の要素と相互接続するように構成されている。手術ハブは、医療処置の転帰を改善するための多様な機能性を提供する。様々な手術デバイス、可視化システム、及び手術ハブによって生成された、患者及び医療処置に関するデータは、クラウドベースの医療分析システムに送信され得る。次いで、このデータは、他の医療施設に位置する多くの他の手術ハブ、可視化システム、及び手術器具から収集された同様のデータと集約され得る。採集されたデータを分析するクラウドベースの分析システムを通じて、様々なパターン及び相関が見出され得る。結果として、データを生成するために使用される技術の改善をもたらし得、次いで、これらの改善は、様々な手術ハブ、可視化システム及び手術デバイスに広め得る。上述した構成要素の全ての相互接続性により、多くの構成要素がそのように相互接続されていない場合には見出されない可能性がある医療処置及び医療実践における改善が見出される可能性がある。
本明細書に説明される様々な可視化又は撮像システムは、手術ハブを含むシステムに組み込むことができる。概して、手術ハブは、複数の医療施設にまたがることができ、統合され包括的な改善された医療を膨大な数の患者に提供するように構成された包括的なデジタル医療システムの構成要素とすることができる。包括的なデジタル医療システムは、多くの異なる医療施設にわたって位置する複数の手術ハブに相互接続するように構成されているクラウドベースの医療分析システムを含む。手術ハブは、患者に対して医療処置を行うために使用される１つ又は２つ以上の手術器具及び／又は医療処置の実行中に使用される１つ又は２つ以上の可視化システムなどの１つ又は２つ以上の要素と相互接続するように構成されている。手術ハブは、医療処置の転帰を改善するための多様な機能性を提供する。様々な手術デバイス、可視化システム、及び手術ハブによって生成された、患者及び医療処置に関するデータは、クラウドベースの医療分析システムに送信され得る。次いで、このデータは、他の医療施設に位置する多くの他の手術ハブ、可視化システム、及び手術器具から収集された同様のデータと集約され得る。採集されたデータを分析するクラウドベースの分析システムを通じて、様々なパターン及び相関が見出され得る。結果として、データを生成するために使用される技術の改善をもたらし得、次いで、これらの改善は、様々な手術ハブ、可視化システム及び手術デバイスに広め得る。上述した構成要素の全ての相互接続性により、多くの構成要素がそのように相互接続されていない場合には見出されない可能性がある医療処置及び医療実践における改善が見出される可能性がある。
【0105】
データを受信し、分析し、かつ出力するように構成された手術ハブ、及びそのような手術ハブを使用する方法の実施例は、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｈｕｂ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｐｒｏｃｅｓｓｉｎｇ，Ｓｔｏｒａｇｅ Ａｎｄ Ｄｉｓｐｌａｙ」と題する米国特許出願公開第２０１９／０２００８４４号、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｃｏｍｐｒｅｓｓｉｎｇ Ｔｉｓｓｕｅ Ｗｉｔｈｉｎ Ａ Ｓｔａｐｌｉｎｇ Ｄｅｖｉｃｅ Ａｎｄ Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｄｉｓｐｌａｙｉｎｇ Ｔｈｅ Ｌｏｃａｔｉｏｎ Ｏｆ Ｔｈｅ Ｔｉｓｓｕｅ Ｗｉｔｈｉｎ Ｔｈｅ Ｊａｗｓ」と題する米国特許出願公開第２０１９／０２００９８１号、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｓｍａｒｔ Ｅｎｅｒｇｙ Ｄｅｖｉｃｅｓ」と題する米国特許出願公開第２０１９／０２０１０４６号、２０１８年３月２９日に出願された「Ａｄａｐｔｉｖｅ Ｃｏｎｔｒｏｌ Ｐｒｏｇｒａｍ Ｕｐｄａｔｅｓ Ｆｏｒ Ｓｕｒｇｉｃａｌ Ｈｕｂｓ」と題する米国特許出願公開第２０１９／０２０１１１４号、２０１８年３月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｈｕｂ Ｓｉｔｕａｔｉｏｎａｌ Ａｗａｒｅｎｅｓｓ」と題する米国特許出願公開第２０１９／０２０１１４０号、２０１８年３月２９日に出願された「Ｉｎｔｅｒａｃｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｗｉｔｈ Ｃｏｎｄｉｔｉｏｎ Ｈａｎｄｌｉｎｇ Ｏｆ Ｄｅｖｉｃｅｓ Ａｎｄ Ｄａｔａ Ｃａｐａｂｉｌｉｔｉｅｓ」と題する米国特許出願公開第２０１９／０２０６００４号、２０１８年３月２９日に出願された「Ｃｌｏｕｄ－ｂａｓｅｄ Ｍｅｄｉｃａｌ Ａｎａｌｙｔｉｃｓ Ｆｏｒ Ｃｕｓｔｏｍｉｚａｔｉｏｎ Ａｎｄ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ Ｔｏ Ａ Ｕｓｅｒ」と題する米国特許出願公開第２０１９／０２０６５５５号、及び２０１８年１１月６日に出願された「Ｓｕｒｇｉｃａｌ Ｎｅｔｗｏｒｋ Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ｏｆ Ｐｒｉｏｒｉｔｉｚａｔｉｏｎ Ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｉｎｔｅｒａｃｔｉｏｎ，Ｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｂａｓｅｄ Ｏｎ Ｓｙｓｔｅｍ Ｏｒ Ｄｅｖｉｃｅ Ｎｅｅｄｓ」と題する米国特許出願公開２０１９／０２０７８５７号に更に説明されており、これらは、参照によりその全体が本明細書に組み込まれる。
【0106】
図１８は、１つ又は２つ以上の手術システム７０２及びクラウドベースのシステム（例えば、記憶デバイス７０５に結合された遠隔サーバ７１３を含むことができるクラウド７０４）を含むコンピュータ実装双方向手術システム７００の一実施形態を例解する。各手術システム７０２は、クラウド７０４と通信する少なくとも１つの手術ハブ７０６を含む。一実施例では、図１８に例解されたように、手術システム７０２は、可視化システム７０８と、ロボットシステム７１０と、インテリジェント（又は「スマート」）手術器具７１２とを含み、これらは、互いに、及び／又はハブ７０６と通信するように構成されている。インテリジェント手術器具７１２は、撮像デバイスを含むことができる。手術システム７０２は、Ｍ個のハブ７０６と、Ｎ個の可視化システム７０８と、Ｏ個のロボットシステム７１０と、Ｐ個のインテリジェント手術器具７１２と、を含むことができ、Ｍ、Ｎ、Ｏ、及びＰは、互いのいずれか１つ又は２つ以上に等しくても等しくなくてもよい１以上の整数である。様々な例示的なインテリジェント手術器具及びロボットシステムが本明細書に説明されている。
【0107】
手術可視化システムから手術ハブによって受信されるデータは、様々な方法のうちのいずれかで使用することができる。例示的な実施形態では、手術ハブは、例えば、手術処置の実行中に手術室で使用される、手術セッティングにおいて患者とともに使用される手術可視化システムからデータを受信することができる。手術ハブは、本明細書に論じられるように、１つ又は２つ以上の方法のいずれかで受信されたデータを使用することができる。
【0108】
手術ハブは、手術可視化システムの使用とともに、受信されたデータをリアルタイムで分析し、受信されたデータの分析に基づいて、患者とともに使用される手術可視化システム及び／又は１つ又は２つ以上のインテリジェント手術器具のうちの１つ又は２つ以上を調節制御するように構成することができる。このような調節は、例えば、インテリジェント手術器具の１つ又は２つ以上の動作制御パラメータを調節すること、１つ又は２つ以上のインテリジェント手術器具の１つ又は２つ以上のセンサに測定を行わせて、患者の現在の生理学的状態、及び／又はインテリジェント手術器具の現在の動作状態の理解を得ることを助けること、並びに他の調節を含むことができる。インテリジェント手術器具の動作を制御及び調節することは、以下で更に論じられる。インテリジェント手術器具の動作制御パラメータの実施例は、モータ速度、切断要素速度、時間、持続時間、エネルギー印加のレベル、及び光放射を含む。手術ハブの実施例、並びにインテリジェント手術器具の動作を制御及び調節する実施例は、前述の２０１９年１２月３０日に出願された「Ａｎａｌｙｚｉｎｇ Ｓｕｒｇｉｃａｌ Ｔｒｅｎｄｓ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，７７２号、２０１９年１２月３０日に出願された「Ｄｙｎａｍｉｃ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ」と題する米国特許出願第１６／７２９，７４７号、２０１９年１２月３０日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ」と題する米国特許出願第１６／７２９，７４４号、２０１９年１２月３０日に出願された「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ，Ａｄｊｕｓｔｉｎｇ，Ａｎｄ Ｍａｎａｇｉｎｇ Ｒｅｓｅｃｔｉｏｎ Ｍａｒｇｉｎ Ａｂｏｕｔ Ａ Ｓｕｂｊｅｃｔ Ｔｉｓｓｕｅ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｐｒｏｐｏｓｉｎｇ Ａｎｄ Ｃｏｒｒｏｂｏｒａｔｉｎｇ Ｏｒｇａｎ Ｐｏｒｔｉｏｎ Ｒｅｍｏｖａｌｓ」と題する米国特許出願第１６／７２９，７２９号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｏｖｅｒｌａｙｉｎｇ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ Ｏｎｔｏ Ａ Ｖｉｒｔｕａｌ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔ Ｏｆ Ａｎ Ｏｒｇａｎ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｃｏｒｒｅｌａｔｉｎｇ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｄａｔａ Ａｎｄ Ｐｏｗｅｒｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ」と題する米国特許出願第１６／７２９，７４０号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｃｌｏｕｄ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７３７号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｐａｒｔｉｃｕｌａｔｅ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７９６号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，８０３号、及び２０１９年１２月３０日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｕｓｉｎｇ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅｓ Ｉｎ Ｓｕｒｇｅｒｙ」と題する米国特許出願第１６／７２９，８０７号に更に説明される。２０２０年１０月１３日に出願された「Ａｄａｐｔｉｖｅ Ｒｅｓｐｏｎｓｅｓ Ｆｒｏｍ Ｓｍａｒｔ Ｐａｃｋａｇｉｎｇ Ｏｆ Ｄｒｕｇ Ｄｅｌｉｖｅｒｙ Ａｂｓｏｒｂａｂｌｅ Ａｄｊｕｎｃｔｓ」と題する米国特許出願第１７／０６８，８５７号、２０２０年１０月１３日に出願された「Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ Ｔｈａｔ Ｃｏｍｍｕｎｉｃａｔｅ Ｗｉｔｈ Ｓｕｒｇｉｃａｌ Ｈｕｂｓ」と題する米国特許出願第１７／０６８，８５８号、２０２０年１０月１３日に出願された「Ｃｏｎｔｒｏｌｌｉｎｇ Ｏｐｅｒａｔｉｏｎ Ｏｆ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ Ｕｓｉｎｇ Ｓｕｒｇｉｃａｌ Ｈｕｂｓ」と題する米国特許出願第１７／０６８，８５９号、２０２０年１０月１３日に出願された「Ｐａｔｉｅｎｔ Ｍｏｎｉｔｏｒｉｎｇ Ｕｓｉｎｇ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ」と題する米国特許出願第１７／０６８，８６３号、２０２０年１０月１３日に出願された「Ｍｏｎｉｔｏｒｉｎｇ Ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｕｓｉｎｇ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ」と題する米国特許出願第１７／０６８，８６５号、及び２０２０年１０月１３日に出願された「Ａｇｇｒｅｇａｔｉｎｇ Ａｎｄ Ａｎａｌｙｚｉｎｇ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄａｔａ」と題する米国特許出願第１７／０６８，８６７号に更に説明されており、これらは、参照によりその全体が本明細書に組み込まれる。
【0109】
手術ハブは、受信されたデータの可視化がディスプレイ上の手術セッティングにおいて提供されるように構成することができ、そのため、手術セッティングにおける医師が、データを見ることができ、それにより、手術セッティングにおいて使用されている撮像デバイスの動作の理解を受け取ることができる。可視化を介して提供されるこのような情報は、テキスト及び／又は画像を含むことができる。
【0110】
図１９は、手術ハブ８０６（例えば、図１８の手術ハブ７０６又は本明細書に説明される他の手術ハブ）、ロボット手術システム８１０（例えば、図１のロボット手術処置システム１１０又は本明細書における他のロボット手術システム）、及び可視化システム８０８（例えば、図１の可視化システム１００又は本明細書に説明される他の可視化システム）を含む手術システム８０２の一実施形態を例解する。手術ハブ８０６は、本明細書に論じられるように、クラウドと通信することができる。図１９は、手術室８１６内の手術台８１４上に横たわっている患者に対して手術処置を行うために使用されている手術システム８０２を示す。ロボットシステム８１０は、外科医のコンソール８１８と、患者側カート８２０（手術ロボット）と、ロボットシステムの手術ハブ８２２と、を含む。ロボットシステムの手術ハブ８２２は、概して、手術ハブ８２２と同様に構成されており、クラウドと通信することができる。いくつかの実施形態では、ロボットシステムの手術ハブ８２２及び手術ハブ８０６は、組み合わせることができる。患者側カート８２０は、医師例えば、外科医、看護師、及び／又は他の医師が、外科医コンソール８１８を通して手術部位を見ている間に、患者の身体の低侵襲切開部を通してインテリジェント手術ツール８１２を操作することができる。手術部位の画像は、撮像デバイス８２４（例えば、図１の撮像デバイス１２０、又は本明細書に説明される他の撮像デバイス）によって取得することができ、これは、撮像デバイス８２４の向きを変えるために、患者側カート８２０によって操作することができる。ロボットシステムの手術ハブ８２２を使用して、手術部位の画像を処理し、その後、外科医のコンソール８１８を通して、外科医に表示することができる。
【0111】
主ディスプレイ８１９は、手術室８１６の滅菌野に位置付けられ、手術台８１４にいるオペレータに可視であるように構成されている。加えて、この例解された実施形態では、可視化タワー８１８が、滅菌野の外側に位置付けられ得る。可視化タワー８１８は、互いに反対側を向いている第１の非滅菌ディスプレイ８０７、及び第２の非滅菌ディスプレイ８０９を含む。手術ハブ８０６によって誘導される可視化システム８０８は、ディスプレイ８０７、８０９、８１９を利用して、滅菌野の内側及び外側の医師への情報フローを協調するように構成されている。例えば、手術ハブ８０６は、可視化システム８０８に、主ディスプレイ８１９上に手術部位のライブ映像を維持しながら、撮像デバイス８２４によって取得されるような手術部位のスナップショット及び／又はビデオを非滅菌ディスプレイ８０７、８０９の一方又は両方上に表示させることができる。非滅菌ディスプレイ８０７及び／又は８０９上のスナップショット及び／又はビデオは、例えば、非滅菌医師が、手術処置に関連する診断工程を行うことを許可することができる。
【0112】
手術ハブ８０６は、可視化タワー８１８における非滅菌医師によって入力された診断入力又はフィードバックを滅菌野内の主ディスプレイ８１９に送り、これを手術台８１４における滅菌医師が見ることができるように構成されている。例えば、入力は、手術ハブ８０６によって主ディスプレイ８１９に送ることができる、非滅菌ディスプレイ８０７又は８０９上に表示されるスナップショット及び／又はビデオへの修正の形態とすることができる。
【0113】
手術ハブ８０６は、本開示において参照により本明細書に組み込まれる様々な米国特許出願に説明されているように、インテリジェント手術器具８１２のディスプレイに情報フローを適合させるように構成されている。可視化タワー８１８における非滅菌オペレータによって入力される診断入力又はフィードバックは、手術ハブ８０６によって滅菌野内のディスプレイ８１９に送ることができ、これを手術器具８１２のオペレータ及び／又は滅菌野内の医師が見ることができる。
【0114】
インテリジェント手術器具８１２及びインテリジェント手術ツールでもある撮像デバイス８２４は、手術システム８０２の一部として手術処置において患者とともに使用されている。例えば、患者側カート８２０に着脱可能に結合され、かつロボット手術システム８１０及び手術ハブ８０６と通信することができる、手術処置で使用することができる他のインテリジェント手術器具８１２ａも、利用可能であるものとして図１９に示されている。非インテリジェント（又は「ダム」）手術器具８１７、例えば、ロボット手術システム８１０及び手術ハブ８０６と通信することができない鋏、トロカール、カニューレ、メスもまた、使用のために利用可能であるものとして図１９に示されている。
【0115】
インテリジェント手術器具の動作
インテリジェント手術デバイスには、インテリジェント手術デバイスの動作を制御するために、インテリジェント手術デバイス、例えば、そのプロセッサによってオンボードで実行可能であるように構成されたアルゴリズムが、インテリジェント手術デバイス上、例えば、そのメモリに記憶され得る。いくつかの実施形態では、インテリジェント手術デバイス上に記憶される代わりに、又はそれに加えて、アルゴリズムは、インテリジェント手術デバイスと通信するように構成されている、手術ハブ上、例えば、そのメモリに記憶することができる。
インテリジェント手術デバイスには、インテリジェント手術デバイスの動作を制御するために、インテリジェント手術デバイス、例えば、そのプロセッサによってオンボードで実行可能であるように構成されたアルゴリズムが、インテリジェント手術デバイス上、例えば、そのメモリに記憶され得る。いくつかの実施形態では、インテリジェント手術デバイス上に記憶される代わりに、又はそれに加えて、アルゴリズムは、インテリジェント手術デバイスと通信するように構成されている、手術ハブ上、例えば、そのメモリに記憶することができる。
【0116】
アルゴリズムは、インテリジェント手術デバイスの機能を制御するために、命令、通知、信号などを定義する、及び／又は表す複数のデータポイントの１つ又は２つ以上のセットの形態で記憶される。いくつかの実施形態では、インテリジェント手術デバイスによって収集されたデータは、アルゴリズムの少なくとも１つの可変パラメータを変更するために、例えば、インテリジェント手術デバイスのプロセッサによって、インテリジェント手術デバイスによって使用することができる。上記に論じられるように、手術ハブは、インテリジェント手術デバイスと通信することができ、したがって、インテリジェント手術デバイスによって収集されたデータは、手術ハブに通信することができ、及び／又は手術ハブと通信する別のデバイスによって収集されたデータは、手術ハブに通信することができ、データは、手術ハブからインテリジェント手術デバイスに通信することができる。したがって、インテリジェント手術デバイスが、記憶された可変パラメータを変更するように構成されている代わりに、又はそれに加えて、手術ハブは、変更された少なくとも１つの変数を、単独で、又はアルゴリズムの一部として、インテリジェント手術デバイスに通信するように構成することができ、及び／又は手術ハブは、命令をインテリジェント手術デバイスに通信し、手術ハブによって判定されるような少なくとも１つの変数を変更することができる。
【0117】
少なくとも１つの可変パラメータは、アルゴリズムのデータポイントの間にあり、例えば、インテリジェント手術デバイスを動作させるための命令に含まれ、したがって、各々が、アルゴリズムの記憶された複数のデータポイントのうちの１つ又は２つ以上を変更することによって、変更されることが可能である。少なくとも１つの可変パラメータが変更された後、その後のアルゴリズムの実行は、変更されたアルゴリズムに従う。そのため、患者の実際の状況並びにインテリジェント手術デバイスが使用されている手術処置の実際の条件及び／又は結果を考慮することによって、インテリジェント手術デバイスの有益な結果の使用を増加させるために、インテリジェント手術デバイスの経時的な動作を患者に対して管理することができる。少なくとも１つの可変パラメータを変更することは、患者の転帰を改善するために自動化される。したがって、インテリジェント手術デバイスは、スマートシステムを提供するために患者及び患者の周囲条件に基づいて個別化された医薬を提供するように構成することができる。手術処置の実行中にインテリジェント手術デバイスが使用されている手術セッティングにおいて、少なくとも１つの可変パラメータの自動変更は、手術処置の実行中に収集されたデータに基づいて、インテリジェント手術デバイスが制御されることを可能にし得、これは、インテリジェント手術デバイスが効率的かつ正確に使用されることを確実にするのに役立ち得、及び／又は重要な解剖学的構造を傷つけることによって、患者を傷つける可能性を低減するのに役立ち得る。
【0118】
少なくとも１つの可変パラメータは、様々な異なる動作パラメータのうちのいずれかとすることができる。可変パラメータの実施例は、モータ速度、モータトルク、エネルギーレベル、エネルギー印加持続時間、組織圧迫レート、ジョー閉鎖レート、切断要素速度、負荷閾値などを含む。
【0119】
図２０は、少なくとも１つの可変パラメータを含むアルゴリズム９０４が記憶されたメモリ９０２を含むインテリジェント手術器具９００の一実施形態を例解する。アルゴリズム９０４は、単一のアルゴリズムとすることができるか、又は各アルゴリズムが少なくとも１つの可変パラメータを含む、複数のアルゴリズム、例えば、手術器具の動作の異なる態様のための別個のアルゴリズムを含むことができる。インテリジェント手術器具９００は、図１の手術デバイス１０２、図１の撮像デバイス１２０、図８の手術デバイス２０２、図８の撮像デバイス２２０、図１５の手術デバイス４０２、図１７の手術デバイス５０２ａ、図１７の手術デバイス５０２ｂ、図１８の手術デバイス７１２、図１９の手術デバイス８１２、図１９の撮像デバイス８２４、又は他のインテリジェント手術器具とすることができる。手術器具９００はまた、アルゴリズム９０４を実行して手術器具９００の少なくとも１つの態様の動作を制御するように構成されたプロセッサ９０６を含む。アルゴリズム９０４を実行するために、プロセッサ９０６は、メモリ９０２に記憶されたプログラムを実行して、メモリ９０２内のアルゴリズム９０４の複数のデータポイントにアクセスするように構成されている。
【0120】
手術器具９００はまた、手術ハブ９１０などの別のデバイスと通信するように構成された通信インターフェース９０８、例えば、無線送受信器、又は他の有線若しくは無線通信インターフェースを含む。通信インターフェース９０８は、遠隔サーバ（例えば、クラウドサーバ又は他のサーバ）及び／又はローカルの手術ハブサーバにデータを提供すること、及び／又は遠隔サーバ及び／又はローカルの手術ハブサーバから命令又はコマンドを受信することなどの一方向通信、又は手術器具９００及び／又はそこに記憶されたデータに関する情報、メッセージ、データなどを提供し、医師、ソフトウェアの更新に関するリモートサーバ、ソフトウェアの更新に関するローカルの手術ハブサーバなどから命令を受信することなどの双方向通信を可能にするように構成することができる。
【0121】
手術器具９００は、図２０では簡略化されており、例えば、バスシステム、ハンドル、細長いシャフトであって、その遠位端にエンドエフェクタを有する、細長いシャフト、電源などの追加の構成要素を含むことができる。プロセッサ９０６はまた、メモリ９０２に記憶された命令を実行して、概して、通信インターフェース９０８、オーディオスピーカ、ユーザインターフェースなどの他の電気構成要素を含むデバイス９００を制御するように構成することができる。
【0122】
プロセッサ９０６は、アルゴリズム９０４のその後の実行が、変更された少なくとも１つの可変パラメータに従うように、アルゴリズム９０４の少なくとも１つの可変パラメータを変更するように構成されている。アルゴリズム９０４の少なくとも１つの可変パラメータを変更するために、プロセッサ９０６は、メモリ９０２内の少なくとも１つの可変パラメータのデータポイントを修正又は更新するように構成されている。プロセッサ９０６は、手術処置の実行中に、手術デバイス９００の使用とともに、アルゴリズム９０４の少なくとも１つの可変パラメータをリアルタイムで変更するように構成することができ、これはリアルタイム条件に対処し得る。
【0123】
プロセッサ９０６が少なくとも１つの可変パラメータを変更することに加えて又はその代わりに、プロセッサ９０６は、手術ハブ９１０から受信された命令に応答して、アルゴリズム９０４及び／又はアルゴリズム９０４の少なくとも１つの可変パラメータを変更するように構成することができる。いくつかの実施形態では、プロセッサ９０６は、手術ハブ９１０と通信し、そこから命令を受信した後にのみ、少なくとも１つの可変パラメータを変更するように構成されており、これは、手術器具９００が使用されている手術処置の他の態様との手術器具９００の協調されたアクションを確実にするのに役立ち得る。
【0124】
例示的な実施形態では、プロセッサ９０６は、アルゴリズム９０４を実行して手術器具９００の動作を制御し、リアルタイムデータに基づいて、アルゴリズム９０４の少なくとも１つの可変パラメータを変更し、少なくとも１つの可変パラメータを変更した後に、アルゴリズム９０４を実行して手術器具９００の動作を制御する。
【0125】
図２１は、アルゴリズム９０４の少なくとも１つの可変パラメータの変更を含む、手術器具９００を使用する方法９１２の一実施形態を例解する。プロセッサ９０６は、メモリ９０２に記憶されたアルゴリズム９０４を実行することによって、手術器具９００の動作を制御する（９１４）。このその後に既知となるデータ及び／又はその後に収集されるデータのいずれかに基づいて、プロセッサ９０４は、上記に論じられたように、アルゴリズム９０４の少なくとも１つの可変パラメータを変更する（９１６）。少なくとも１つの可変パラメータを変更した後に、プロセッサ９０６は、ここで、変更された少なくとも１つの可変パラメータを用いてアルゴリズム９０４を実行することによって、手術器具９００の動作を制御する（９１８）。プロセッサ９０４は、手術処置の実行中に、少なくとも１つの可変パラメータを、例えば、０回、１回、２回、３回などの任意の回数変更することができる（９１６）。方法９１２の任意の部分中に、手術器具９００は、通信インターフェース９０８を使用して、１つ又は２つ以上のコンピュータシステム、例えば、手術ハブ９１０、クラウドサーバなどの遠隔サーバと通信して、そこにデータを提供し、及び／又はそこから命令を受信することができる。
【0126】
状況認識
インテリジェント手術器具の動作は、患者の状況認識に基づいて変えることができる。インテリジェント手術器具の動作は、インテリジェント手術器具のユーザが器具を異なるように取り扱うこと、器具に異なる入力を提供すること、器具の使用を停止することなどによって、手動で変えることができる。追加的又は代替的に、インテリジェント手術器具の動作は、器具のアルゴリズムが、例えば、アルゴリズムの少なくとも１つの可変パラメータを変更することによって変更されることによって、自動的に変更することができる。上述したように、アルゴリズムは、変更を要求するユーザ入力なしに自動的に調節することができる。手術処置の実行中に調節を自動化することは、時間を節約するのに役立ち得、医師が手術処置の他の態様に集中することを可能にし得、及び／又は医師のために手術器具を使用するプロセスを容易にし得、これらは、各々、重要構造を回避すること、器具が使用されている及び／又は近くで使用されている組織種類を考慮して手術器具を制御することなどによって、患者の転帰を改善し得る。
インテリジェント手術器具の動作は、患者の状況認識に基づいて変えることができる。インテリジェント手術器具の動作は、インテリジェント手術器具のユーザが器具を異なるように取り扱うこと、器具に異なる入力を提供すること、器具の使用を停止することなどによって、手動で変えることができる。追加的又は代替的に、インテリジェント手術器具の動作は、器具のアルゴリズムが、例えば、アルゴリズムの少なくとも１つの可変パラメータを変更することによって変更されることによって、自動的に変更することができる。上述したように、アルゴリズムは、変更を要求するユーザ入力なしに自動的に調節することができる。手術処置の実行中に調節を自動化することは、時間を節約するのに役立ち得、医師が手術処置の他の態様に集中することを可能にし得、及び／又は医師のために手術器具を使用するプロセスを容易にし得、これらは、各々、重要構造を回避すること、器具が使用されている及び／又は近くで使用されている組織種類を考慮して手術器具を制御することなどによって、患者の転帰を改善し得る。
【0127】
本明細書に説明される可視化システムは、手術ハブ、例えば、手術ハブ７０６、手術ハブ８０６、又は本明細書に説明される他の手術ハブによって具現化又は実行され得る状況認識システムの一部として利用することができる。特に、手術器具（これらの位置、向き、アクションを含む）、組織、構造、ユーザ、及び／又は術野又は手術室内に位置する他のものを特徴付けること、特定すること、及び／又は可視化することは、状況認識システムによって利用されて、手術処置の種類又は行われている工程、外科医又は他の医師によって操作されている組織及び／又は構造の種類、及び他の情報を推測することができるコンテキストデータを提供することができる。次いで、このコンテキストデータは、状況認識システムによって利用されて、ユーザにアラートを提供すること、ユーザが引き受けるその後の工程又はアクションを示唆すること、手術デバイスをそれらの使用を予測して準備すること（例えば、電気手術器具が手術処置のその後の工程で利用されることを予測して電気手術発生器を起動すること）、インテリジェント手術器具の動作を制御すること（例えば、下記に更に論じられるように、アルゴリズムの手術器具の動作パラメータをカスタマイズすること）などをすることができる。
【0128】
感知されたデータに応答する制御アルゴリズムを含む「インテリジェント」デバイスは、例えば、変更されたアルゴリズムの少なくとも１つの可変パラメータを有することによって、感知されたデータを考慮せずに動作する「データ処理能力のない（dumb）」デバイスに対する改善とすることができるが、いくつかの感知されたデータは、単独、例えば、行われている手術処置の種類、又は手術されている組織の種類のコンテキストなしで考慮されるときに、不完全又は決定的ではない可能性がある。処置コンテキストを知らないと（例えば、手術されている組織の種類又は行われている処置の種類を知らないと）、制御アルゴリズムは、特定のコンテキストのない感知されたデータが与えられると、手術デバイスを不正確に又は準最適に制御することがある。例えば、特定の感知されたパラメータに応答して、手術器具を制御するための制御アルゴリズムの最適な様式は、手術されている特定の組織の種類に従って変動する可能性がある。これは、異なる組織の種類が異なる特性（例えば、引き裂きに対する抵抗力、切断のし易さなど）を有し、したがって、手術器具によってとられたアクションに対して異なって応答するという事実に起因するものである。したがって、特定のパラメータについて同じ測定値が感知されたときであっても、手術器具が異なるアクションをとることが望ましいことがある。一実施例として、手術ステープラがそのエンドエフェクタを閉鎖するための予想外に高い力を感知することに応答して、手術ステープラを制御する最適な様式は、組織の種類が引き裂きの影響を受けやすいか、又はこれに耐性があるかに応じて変動する。肺組織など、引き裂きの影響を受けやすい組織の場合、手術器具の制御アルゴリズムは、組織の引き裂きを回避するために、閉鎖するための予想外に高い力に応答して、モータを最適に減速させ、例えば、モータが遅くなるようにモータ速度又はトルクを制御する可変パラメータを変更する。胃組織など、引き裂きに耐性がある組織の場合、器具の制御アルゴリズムは、エンドエフェクタが組織に適切にクランプされることを確実にするために、閉鎖するための予想外に高い力に応答して、モータを最適に加速させ、例えば、モータが速くなるようにモータ速度又はトルクを制御する可変パラメータを変更する。肺又は胃の組織がクランプされたかどうかを知ることなく、アルゴリズムは準最適に変更されるか、又は全く変更されないことがある。
【0129】
手術ハブは、様々なデータソースから受信されたデータに基づいて、行われている手術処置に関する情報を導出し、したがって、それに従ってモジュール式デバイスを制御するように構成することができる。言い換えると、手術ハブは、受信されたデータから手術処置に関する情報を推測し、次いで、手術処置の推測されたコンテキストに基づいて、手術ハブに動作可能に結合されたモジュール式デバイスを制御するように構成することができる。モジュール式デバイスは、可視化システムデバイス（例えば、カメラ、又はディスプレイスクリーンなど）、スマート手術器具（例えば、超音波手術器具、電気手術器具、手術ステープラ、煙排出器など）などの状況認識システムによって制御可能な任意の手術デバイスを含むことができる。モジュール式デバイスは、デバイスが使用されている患者に関連付けられたパラメータ、及び／又はモジュール式デバイス自体に関連付けられたパラメータを検出するように構成されたセンサを含むことができる。
【0130】
受信されたデータから導出又は推測されるコンテキスト情報は、例えば、行われている手術処置のタイプ、外科医（又は他の医師）が行っている手術処置の特定の工程、手術されている組織のタイプ、又は手術処置の対象である体腔を含むことができる。手術ハブの状況認識システムは、様々な異なる方式でデータソースから受信されたデータから、コンテキスト情報を導出するように構成することができる。例示的な実施形態では、手術ハブの状況認識システムによって受信されたコンテキスト情報は、１つ又は２つ以上のモジュール式デバイスの特定の制御調節、又は制御調節のセットに関連付けられる。制御調節は、各々、可変パラメータに対応する。一実施例では、状況認識システムは、様々な入力（例えば、データベース、患者モニタリングデバイス、及び／又はモジュール式デバイスからのデータ）を、手術処置に関する対応するコンテキスト情報と相関させるために、訓練データで訓練されたパターン認識システム、又は機械学習システム（例えば、人工ニューラルネットワーク）を含む。言い換えると、機械学習システムは、提供された入力から手術処置に関するコンテキスト情報を正確に導出するように訓練することができる。別の実施例では、状況認識システムは、手術処置に関する事前に特徴付けられたコンテキスト情報を、そのコンテキスト情報に対応する１つ又は２つ以上の入力（又は、入力の範囲）と関連付けて記憶する、ルックアップテーブルを含むことができる。１つ又は２つ以上の入力による問い合わせに応答して、ルックアップテーブルは、少なくとも１つのモジュール式デバイスを制御するために状況認識システムの対応するコンテキスト情報を返すことができる。別の実施例では、状況認識システムは、コンテキスト情報が入力として提供されるときに、１つ又は２つ以上のモジュール式デバイスの１つ又は２つ以上の制御調節を生成又は読み出す、更なる機械学習システム、ルックアップテーブル、又は他のそのようなシステムを含む。
【0131】
状況認識システムを含む手術ハブは、手術システムに多くの利点を提供し得る。１つの利点は、感知及び採集されたデータの解釈を改善することを含み、これは、手術処置の過程中の処理精度、及び／又はデータの使用を改善させる。別の利点は、手術ハブのための状況認識システムが、各手術処置の特定のコンテキストのための手術器具（及び、他のモジュール式デバイス）を調節し（例えば、異なる組織種類に調節する）、手術処置中のアクションを検証することによって、手術処置の転帰を改善し得ることである。更に別の利点は、状況認識システムが、処置の特定のコンテキストに従って、次の工程を自動的に示唆し、データを提供し、手術現場内のディスプレイ及び他のモジュール式デバイスを調節することによって、手術処置を実行する際の医師の効率を改善し得ることである。別の利点は、処置のその後の工程が器具の使用を必要とすると判定する場合、ＲＦ電気手術器具が接続されている発生器を状況認識手術ハブが積極的に起動することなどによって、行われている手術処置の特定の工程に従ってモジュール式デバイスを積極的かつ自動的に制御して、医師が手術処置の過程中に手術システムと相互作用するか又はこれを制御する必要がある回数を低減することである。エネルギー源を積極的に起動することにより、処置の先行する工程が完了すると直ぐに器具を使用準備完了にすることができる。
【0132】
例えば、状況認識手術ハブは、どの種類の組織が手術されているかを判定するように構成することができる。したがって、手術器具のエンドエフェクタを閉鎖するための予期外の強い力が検出されるときに、状況認識手術ハブは、例えば、モータ速度又はトルクに関する手術器具のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、その種類の組織のために手術器具のモータを正確に加速又は減速するように構成することができる。
【0133】
別の実施例では、手術されている組織の種類は、特定の組織間隙測定のための手術ステープラの圧縮速度と負荷閾値になされる調節に影響を及ぼす可能性がある。状況認識手術ハブは、行われている手術処置が胸部処置であるのか、又は腹部処置であるのかを推測するように構成することができ、手術ハブが、手術ステープラのエンドエフェクタによってクランプされている組織が（胸部処置での）肺組織であるのか、又は（腹部処置での）胃組織であるのかを判定することが可能である。次いで、手術ハブは、例えば、圧縮率及び負荷閾値に関する手術ステープラのためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、その種類の組織に適切な手術ステープラの圧縮率及び負荷閾値の調節を引き起こすように構成することができる。
【0134】
更に別の実施例として、送気処置中に手術されている体腔の種類は、煙排出器の機能に影響を及ぼす可能性がある。状況認識手術ハブは、手術部位が（手術処置が送気を利用していると判定することによって）圧力下にあるかどうかを判定し、処置の種類を判定するように構成することができる。ある処置の種類は概して特定の体腔内で行われるので、手術ハブは、例えば、モータ速度に関する煙排出器のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、手術されている体腔に適切に煙排出器のモータ速度を制御するように構成することができる。したがって、状況認識手術ハブは、胸部処置及び腹部処置の両方のために一貫した量の煙排出を提供し得る。
【0135】
更に別の実施例として、行われている処置の種類は、超音波手術器具、又は高周波（ＲＦ）電気手術器具が動作するのに最適なエネルギーレベルに影響を及ぼす可能性がある。例えば、関節鏡処置では、超音波手術器具、又はＲＦ電気手術器具のエンドエフェクタが流体中に浸漬されるので、より高いエネルギーレベルを必要とする。状況認識手術ハブは、手術処置が関節鏡処置であるかどうかを判定するように構成することができる。手術ハブは、例えば、エネルギーレベルに関する器具及び／又は発生器のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、発生器のＲＦ電力レベル又は超音波振幅を調節して（例えば、エネルギーレベルを調節して）、流体充填環境を補償するように構成することができる。関連して、手術されている組織の種類は、超音波手術器具又はＲＦ電気手術器具が動作するのに最適なエネルギーレベルに影響を及ぼす可能性がある。状況認識手術ハブは、どの種類の手術処置が行われているかを判定し、次いで、手術処置のための予想される組織プロファイルに従って、例えば、エネルギーレベルに関する器具及び／又は発生器のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、超音波手術器具又はＲＦ電気手術器具のためのエネルギーレベルをそれぞれカスタマイズするように構成することができる。更に、状況認識手術ハブは、単に手術ごとにではなく、手術処置の過程にわたって、超音波手術器具又はＲＦ電気手術器具のエネルギーレベルを調節するように構成することができる。状況認識手術ハブは、手術処置のどの工程が行われているか、又は引き続き行われるかを判定し、次いで、発電機、及び／又は超音波手術器具若しくはＲＦ電気手術器具の制御アルゴリズムを更新して、手術処置の工程に従って予想される組織の種類に適切な値までエネルギーレベルを設定するように構成することができる。
【0136】
別の実施例として、状況認識手術ハブは、外科医及び／又は医師が見る必要があると予想される手術部位の特徴に従って、手術処置の現工程、又はその後の工程が、ディスプレイ上の異なるビューや倍率を必要とするかどうかを判定するように構成することができる。手術ハブは、（例えば、可視化システムのための撮像デバイスから供給される）表示されたビューを、適宜、積極的に変更し、ディスプレイが手術処置にわたって自動的に調節されるように構成することができる。
【0137】
更に別の実施例として、状況認識手術ハブは、手術処置のどの工程が行われているか、又はその後に行われるか、及び特定のデータ又はデータ同士の比較が手術処置のその工程に必要であるかどうかを判定するように構成することができる。手術ハブは、外科医又は医師が特定の情報を尋ねるのを待機することなく、行われている手術処置の工程に基づいて、データスクリーンを自動的に呼び出すように構成することができる。
【0138】
別の実施例として、状況認識手術ハブは、外科医及び／又は他の医師が、例えば、術前手術計画において提供されるような手術処置の過程中に、誤りを犯しているか、又は別様に予想される一連のアクションから逸脱しているかどうかを判定するように構成することができる。例えば、手術ハブは、行われている手術処置の種類を判定し、機器使用の工程又は順序の対応リストを（例えば、メモリから）読み出し、次いで、手術処置の過程中に行われている工程又は使用されている機器を、手術ハブが行われていることを判定した手術処置の種類について予想される工程又は機器と比較するように構成することができる。手術ハブは、手術処置における特定の工程で予想外のアクションが行われているか、又は予想外のデバイスが利用されていることを示す（視覚的、聴覚的、及び／又は触覚的）アラートを提供するように構成することができる。
【0139】
特定の例では、本明細書に説明される様々なロボット手術システムのいずれかなどのロボット手術システムの動作は、その状況認識及び／又はその構成要素からのフィードバックに基づいて、及び／又はクラウド（例えば、図１８のクラウド７１３）からの情報に基づいて、手術ハブによって制御することができる。
【0140】
状況認識システムの実施形態及び手術処置の実行中に状況認識システムを使用する実施形態は、前述の２０１９年１２月３０日に出願された「Ａｎａｌｙｚｉｎｇ Ｓｕｒｇｉｃａｌ Ｔｒｅｎｄｓ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，７７２号、２０１９年１２月３０日に出願された「Ｄｙｎａｍｉｃ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ」と題する米国特許出願第１６／７２９，７４７号、２０１９年１２月３０日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ」と題する米国特許出願第１６／７２９，７４４号、２０１９年１２月３０日に出願された「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ，Ａｄｊｕｓｔｉｎｇ，Ａｎｄ Ｍａｎａｇｉｎｇ Ｒｅｓｅｃｔｉｏｎ Ｍａｒｇｉｎ Ａｂｏｕｔ Ａ Ｓｕｂｊｅｃｔ Ｔｉｓｓｕｅ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｐｒｏｐｏｓｉｎｇ Ａｎｄ Ｃｏｒｒｏｂｏｒａｔｉｎｇ Ｏｒｇａｎ Ｐｏｒｔｉｏｎ Ｒｅｍｏｖａｌｓ」と題する米国特許出願第１６／７２９，７２９号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｏｖｅｒｌａｙｉｎｇ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ Ｏｎｔｏ Ａ Ｖｉｒｔｕａｌ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔ Ｏｆ Ａｎ Ｏｒｇａｎ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｃｏｒｒｅｌａｔｉｎｇ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｄａｔａ Ａｎｄ Ｐｏｗｅｒｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ」と題する米国特許出願第１６／７２９，７４０号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｃｌｏｕｄ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７３７号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｐａｒｔｉｃｕｌａｔｅ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７９６号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，８０３号、及び２０１９年１２月３０日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｕｓｉｎｇ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅｓ Ｉｎ Ｓｕｒｇｅｒｙ」と題する米国特許出願第１６／７２９，８０７号に更に説明されている。
【0141】
肺の手術処置
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、肺に行われる手術処置に関連し得る。例えば、肺切除（例えば、肺葉切除）は、肺葉の全部又は一部、例えば、１つ又は２つ以上の肺葉が除去される手術処置である。肺切除を行う目的は、例えば、肺がん、肺気腫、又は気管支拡張症の結果としての損傷又は罹患した肺を治療することである。
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、肺に行われる手術処置に関連し得る。例えば、肺切除（例えば、肺葉切除）は、肺葉の全部又は一部、例えば、１つ又は２つ以上の肺葉が除去される手術処置である。肺切除を行う目的は、例えば、肺がん、肺気腫、又は気管支拡張症の結果としての損傷又は罹患した肺を治療することである。
【0142】
肺切除の間、肺は、最初に収縮させられ、その後、１つ又は２つ以上の切開が、患者の側で、腹腔鏡下で肺に到達するように患者の肋骨の間で行われる。把持器及び腹腔鏡などの手術器具は、切開部を通して挿入される。肺の感染又は損傷面積が特定されると、その面積は肺から切除され、１つ又は２つ以上の切開部から除去される。切開された面積及び１つ又は２つ以上の切開部は、例えば、手術ステープラ又は縫合によって閉鎖することができる。
【0143】
肺は手術中に収縮するので、肺又は肺の特定の部分は、手術器具が手術部位に到達することを可能にするために可動化される必要があり得る。この可動化は、把持器で肺の外側組織層を把持し、把持器を介して肺に力を加えることによって実施することができる。しかしながら、肺の胸膜及び実質組織は非常に脆弱であり、したがって、加えられた力の下で容易に破られるか、又は引き裂かれ得る。追加的に、可動化中、把持器は、肺の１つ又は２つ以上の面積への血液供給を遮断することができる。
【0144】
更に、呼吸チューブが患者の気道内に配置されて、手術中に各肺を別個に膨張させることが可能である。肺の膨張は、肺を移動させ、術前撮像にマッチングさせ、及び／又は外科医が切開された面積における漏出をチェックすることを可能にすることができる。しかしながら、肺全体を膨張させることによって、胸腔の充填に起因して肺の周りの作業空間が失われる。追加的に、肺全体を膨張させることは、時間がかかる可能性があり、手術処置中に肺の複数の部分が手術される場合、容易な漏出検出を保証しない。
【0145】
結腸の手術処置
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、結腸に行われる手術処置に関連し得る。例えば、手術は、初期段階の結腸がんに対する主要な治療である。使用される手術のタイプは、がんが結腸内にある場合、がんのステージ（程度）、及び手術の目標に依存する。いくらかの初期結腸がん（ステージ０及びいくつかの初期ステージＩ腫瘍）及び大部分のポリープは、結腸鏡検査の間に除去することができる。しかしながら、がんが進行した場合、局所切除又は結腸切除が必要とされ得る。結腸切除は、結腸の全部又は一部を除去するための手術である。特定の例では、近くのリンパ節も除去される。結腸の一部のみが除去される場合、それは、半結腸切除、部分結腸切除、又はセグメント切除と呼ばれ、外科医は、いずれかの側の非罹患結腸の小セグメントとともに結腸の罹患部分を取り出す。通常、がんのサイズ及び場所に応じて、結腸の約４分の１～３分の１が除去される。大腸の主要な切除を図２１Ａに例解し、Ａ－Ｂは、右半結腸切除であり、Ａ－Ｃは、拡張右半結腸切除であり、Ｂ－Ｃは、横行結腸切除であり、Ｃ－Ｅは、左半結腸切除であり、Ｄ－Ｅは、Ｓ状結腸切除であり、Ｄ－Ｆは、前方切除であり、Ｄ－Ｇは、（超）低位前方切除であり、Ｄ－Ｈは、腹会陰切除であり、Ａ－Ｄは、結腸亜全摘であり、Ａ－Ｅは、結腸全摘であり、Ａ－Ｈは、直腸結腸全摘である。切除が完了したら、結腸の残りの無傷のセクションが再付着される。
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、結腸に行われる手術処置に関連し得る。例えば、手術は、初期段階の結腸がんに対する主要な治療である。使用される手術のタイプは、がんが結腸内にある場合、がんのステージ（程度）、及び手術の目標に依存する。いくらかの初期結腸がん（ステージ０及びいくつかの初期ステージＩ腫瘍）及び大部分のポリープは、結腸鏡検査の間に除去することができる。しかしながら、がんが進行した場合、局所切除又は結腸切除が必要とされ得る。結腸切除は、結腸の全部又は一部を除去するための手術である。特定の例では、近くのリンパ節も除去される。結腸の一部のみが除去される場合、それは、半結腸切除、部分結腸切除、又はセグメント切除と呼ばれ、外科医は、いずれかの側の非罹患結腸の小セグメントとともに結腸の罹患部分を取り出す。通常、がんのサイズ及び場所に応じて、結腸の約４分の１～３分の１が除去される。大腸の主要な切除を図２１Ａに例解し、Ａ－Ｂは、右半結腸切除であり、Ａ－Ｃは、拡張右半結腸切除であり、Ｂ－Ｃは、横行結腸切除であり、Ｃ－Ｅは、左半結腸切除であり、Ｄ－Ｅは、Ｓ状結腸切除であり、Ｄ－Ｆは、前方切除であり、Ｄ－Ｇは、（超）低位前方切除であり、Ｄ－Ｈは、腹会陰切除であり、Ａ－Ｄは、結腸亜全摘であり、Ａ－Ｅは、結腸全摘であり、Ａ－Ｈは、直腸結腸全摘である。切除が完了したら、結腸の残りの無傷のセクションが再付着される。
【0146】
結腸切除は、冒された結腸組織の分離及び除去のために結腸にアクセスするために腹壁を通る単一の切開部が使用される開腹結腸切除を通して、かつ腹腔鏡支援結腸切除を通して行うことができる。腹腔鏡支援結腸切除では、手術器具を用いて多くのより小さな切開部を通して手術が行われ、腹腔鏡が小さな切開部を通過して結腸全体又はその一部を除去する。処置の開始時に、腹部は、ガス、例えば、二酸化炭素で膨張させられて、外科医のための作業空間を提供する。腹腔鏡は、腹腔内の画像を送信し、外科医に、モニタ又は他のディスプレイ上に患者の内臓の拡大ビューを与える。いくつかの他のカニューレが挿入されて、外科医が結腸の内側で作業し、結腸の一部を除去することを可能にする。結腸の罹患部分が除去されると、結腸の残りの端部は、例えば、ステープラ又は縫合を介して互いに取り付けられる。全処置は、カニューレを通して、又は小カニューレ切開のうちの１つを延長することによって、完了され得る。
【0147】
腹腔鏡支援結腸切除処置の間、適切な術野を取得することはしばしば難しい。多くの場合、切開は骨盤の深部で行われるため、その面積を十分に可視化することが難しい。結果として、可動化中に直腸の両側の周りの静脈及び動脈へのアクセスを得るために、下部直腸を持ち上げて回転させなければならない。下部直腸の操作中に、組織のバンチング及び／又は組織の過伸展が発生する可能性がある。追加的に、直腸内の腫瘍は、周囲の骨盤において癒着を引き起こす可能性があり、結果として、これは、腫瘍の離断及び除去の前に、直腸断端を解放し、腸間膜及び血液供給を可動化することを必要とする可能性がある。
【0148】
更に、複数の把持器が、結腸からの除去のために腫瘍を位置付けるために必要とされる。結腸の切開の間、腫瘍は張力下に配置されるべきであり、これは、結腸の周囲の健康組織を把持して伸展させることを必要とする。しかしながら、腫瘍を取り囲む組織の操作は、把持器が組織に高い把持力をかけることに起因して、血流の減少及び外傷を被る可能性がある。追加的に、結腸切除の間、横行結腸及び上部下行結腸は、腫瘍を含む大腸のセクションが離断されて除去された後に、健康良好残存結腸が直腸断端に接続するように下げられることを可能にするために可動化される必要があり得る。
【0149】
結腸切除後、結腸の残りの健康部分を互いに再付着させて、老廃物が身体から出るための経路を作成しなければならない。しかしながら、腹腔鏡器具を使用して結腸切除を行うときに、単一の入口ポートは、結腸の一端を結腸の接続部分に移動させるのに十分な大きさの運動範囲を有していないことがある。そのため、第２の入口ポートは、したがって、結腸を適切に位置付けるために結腸を可動化するのに役立つために手術器具を腹腔鏡下で挿入するのに必要とされる。
【0150】
胃の手術処置
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、胃に行われる手術処置に関連し得る。例えば、手術は、胃がんの最も一般的な治療である。胃がんのために手術が必要とされるときに、目標は、腫瘍全体並びに腫瘍の周りの健康胃組織の良好マージンを除去することである。異なる処置を使用して、胃がんを除去することができる。使用される処置の種類は、がんが胃のどの部分に位置するか、及びがんが近くの面積にどれだけ成長したかに依存する。例えば、胃に対する内視鏡的粘膜切除（ＥＭＲ）及び内視鏡的粘膜下層剥離（endoscopic submucosal dissection、ＥＳＤ）処置は、いくつかの早期がんを治療するために使用することができる。これらの処置は、皮膚の切断を必要としないが、その代わりに、外科医は、内視鏡を患者の咽喉を通して胃の中に通す。次いで、手術ツール（例えば、ＭＥＧＡＤＹＮＥ（商標）のＴｉｓｓｕｅ Ｄｉｓｓｅｃｔｏｒ又はＥｌｅｃｔｒｏｓｕｒｇｉｃａｌ Ｐｅｎｃｉｌ）を内視鏡の作業チャネルに通して、腫瘍及びその下及び周りの正常な胃壁のいくつかの層を除去する。
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、胃に行われる手術処置に関連し得る。例えば、手術は、胃がんの最も一般的な治療である。胃がんのために手術が必要とされるときに、目標は、腫瘍全体並びに腫瘍の周りの健康胃組織の良好マージンを除去することである。異なる処置を使用して、胃がんを除去することができる。使用される処置の種類は、がんが胃のどの部分に位置するか、及びがんが近くの面積にどれだけ成長したかに依存する。例えば、胃に対する内視鏡的粘膜切除（ＥＭＲ）及び内視鏡的粘膜下層剥離（endoscopic submucosal dissection、ＥＳＤ）処置は、いくつかの早期がんを治療するために使用することができる。これらの処置は、皮膚の切断を必要としないが、その代わりに、外科医は、内視鏡を患者の咽喉を通して胃の中に通す。次いで、手術ツール（例えば、ＭＥＧＡＤＹＮＥ（商標）のＴｉｓｓｕｅ Ｄｉｓｓｅｃｔｏｒ又はＥｌｅｃｔｒｏｓｕｒｇｉｃａｌ Ｐｅｎｃｉｌ）を内視鏡の作業チャネルに通して、腫瘍及びその下及び周りの正常な胃壁のいくつかの層を除去する。
【0151】
胃に対して行われる他の手術処置は、開腹処置として行うことができる胃亜全摘（部分）又は全摘を含む。例えば、手術器具は、腹部の皮膚の大きな切開部を通して挿入され、又は腹腔鏡処置として、例えば、手術器具は、いくつかの小さな切断部を通して腹部に挿入される。例えば、腹腔鏡胃切除処置は、概して、約１５ミリメートル水銀（ｍｍＨｇ）の圧力まで二酸化炭素ガスを腹腔に送気することを伴う。腹壁が穿孔され、次いで、約５ｍｍ～約１０ｍｍの範囲内の直径を有するカニューレ又はトロカールなどの直線管状カニューレ又はトロカールが、腹腔内に挿入される。手術室のモニタに接続された腹腔鏡は、術野を可視化するために使用され、トロカールのうちの１つを通して配置される。腹腔鏡手術器具は、胃の所望の部分を除去するために、医療従事者、例えば、外科医及び外科助手による操作のために、２つ又はそれ以上の追加のカニューレ又はトロカールを通して配置される。
【0152】
特定の例では、腹腔鏡及び内視鏡の協調する手術が、胃腫瘍を除去するために使用することができる。この協調する手術は、典型的には、内視鏡、例えば、胃鏡、及び腹腔鏡トロカールの導入を伴う。腹腔鏡並びに組織操作及び切開手術器具は、トロカールを通して導入される。腫瘍場所は、内視鏡を介して特定することができ、内視鏡の作業チャネル内に挿入される切断要素は、次いで、腫瘍の周りの粘膜下層切除のために使用される。次に、腹腔鏡切開手術器具は、胃壁を通して切開部を作成するために、腫瘍マージンに隣接する漿膜筋層切開のために使用される。次いで、腫瘍は、この切開部を通して、管腔内空間、例えば、胃の内側から管腔外空間、例えば、胃の外側に旋回される。次いで、腹腔鏡手術器具、例えば、エンドカッターは、胃壁からの腫瘍の離断を完了し、切開部を封止するために使用することができる。
【0153】
腸の手術処置
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、腸に行われる手術処置に関連し得る。例えば、十二指腸粘膜リサーフェシング（ＤＭＲ）処置は、２型糖尿病などのインスリン抵抗性代謝疾患を治療するために内視鏡的に行うことができる。ＤＭＲ処置は、食物の検出に影響を及ぼすので、有効な治療とすることができる。ＤＭＲ処置は、食物が正常よりも腸のより深くで感知される、例えば、（小腸の最初の部分である）十二指腸を通った後に感知される傾向があるように、十二指腸機能を阻害する。したがって、患者の身体は、典型的なものよりも腸のより深くで糖を感知し、したがって、典型的なものよりも遅く糖に反応し、そのため、血糖制御を改善することができる。十二指腸の不規則な機能は、食物に対する身体の典型的な反応を変更し、神経系及び化学的シグナルを介して、身体にその応答をグルコースレベルに適応させてインスリンレベルを増加させる。
本明細書に説明されるデバイス、システム、及び方法の様々な態様は、腸に行われる手術処置に関連し得る。例えば、十二指腸粘膜リサーフェシング（ＤＭＲ）処置は、２型糖尿病などのインスリン抵抗性代謝疾患を治療するために内視鏡的に行うことができる。ＤＭＲ処置は、食物の検出に影響を及ぼすので、有効な治療とすることができる。ＤＭＲ処置は、食物が正常よりも腸のより深くで感知される、例えば、（小腸の最初の部分である）十二指腸を通った後に感知される傾向があるように、十二指腸機能を阻害する。したがって、患者の身体は、典型的なものよりも腸のより深くで糖を感知し、したがって、典型的なものよりも遅く糖に反応し、そのため、血糖制御を改善することができる。十二指腸の不規則な機能は、食物に対する身体の典型的な反応を変更し、神経系及び化学的シグナルを介して、身体にその応答をグルコースレベルに適応させてインスリンレベルを増加させる。
【0154】
ＤＭＲ処置では、十二指腸粘膜は、生理食塩水などを用いて持ち上げられ、次いで、粘膜は、例えば、内視鏡の作業チャネルを通して十二指腸内に前進したアブレーションデバイスを使用して、アブレーションされる。アブレーション前に粘膜を持ち上げることは、アブレーションによる損傷から十二指腸の外層を保護するのに役立つ。粘膜がアブレーションされた後、粘膜は後に再生する。アブレーションデバイスの実施例は、ＮｅｕＷａｖｅ（商標）のアブレーションプローブ（Ｅｔｈｉｃｏｎ ＵＳ ＬＬＣ ｏｆ Ｃｉｎｃｉｎｎａｔｉ，ＯＨから入手可能）である。アブレーションデバイスの別の実施例は、Ｈｙｂｌａｔｅのカテーテルアブレーションプローブ（Ｈｙｂｌａｔｅ Ｍｅｄｉｃａｌ ｏｆ Ｍｉｓｇａｖ，Ｉｓｒａｅｌから入手可能）である。アブレーションデバイスの別の実施例は、Ｂａｒｘｘ（商標）のＨａｌｏＦｌｅｘ（Ｍｅｄｔｒｏｎｉｃ ｏｆ Ｍｉｎｎｅａｐｏｌｉｓ，ＭＮから入手可能）である。
【0155】
図２１Ｂは、ＤＭＲ処置の一実施形態を例解する。図２１Ｂに示されるように、腹腔鏡１４００は、十二指腸１４０２の外部可視化のために、十二指腸１４０２の外部に位置付けられる。内視鏡１４０４は、十二指腸１４０２の内部可視化のために、食道１４０６を通り、胃１４０８を通り、十二指腸１４０２内へ経口的に前進させられる。アブレーションデバイス１４１０は、内視鏡１４０４の作業チャネルを通して前進させられ、内視鏡１４０４から十二指腸１４０２の中へ遠位に延在する。アブレーションデバイス１４１０のバルーン１４１２は、図２１Ｂで拡張又は膨張されて示される。拡張又は膨張したバルーン１４１２は、アブレーションを繰り返すためにアブレーションデバイス１４１０が前進及び／又は後退させられる前に、円周方向アブレーションさえも発生し得るように、アブレーションデバイスの電極を中心に置くのに役立つことができる。粘膜がアブレーションデバイス１４１０を使用してアブレーションされる前に、十二指腸粘膜は、生理食塩水などで持ち上げられる。いくつかの実施形態では、バルーン１４１２を含むことに加えて、又はその代わりに、アブレーションデバイス１４１０は、拡張及び圧潰するように構成された電極アレイ又はバスケットを使用して、拡張可能／圧潰可能とすることができる。
【0156】
十二指腸１４０２の腹腔鏡による外部可視化は、十二指腸１４０２の熱監視を可能にすることができ、これは、十二指腸１４０２の外層が、十二指腸が穿孔されることなどによる十二指腸粘膜のアブレーションによって損傷されないことを確実にするのに役立ち得る。熱監視の様々な実施形態は、例えば、以下、及び２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃｏｎｔｒｏｌ Ｏｆ Ｏｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｗｉｔｈ Ａｎｏｔｈｅｒ」と題する米国特許出願第６３／２４９，６５８号で更に論じられている。内視鏡１４０４及び／又はアブレーションデバイス１４１０は、腹腔鏡１４００が、例えば、不可視光を使用することによって十二指腸の組織を通して可視化するように構成することができる基準マーカを含んで、アブレーションが発生する場所において腹腔鏡１４００が十二指腸１４０２を外部から可視化すべき場所を判定するのに役立つことができる。基準マーカの様々な実施形態は、例えば、２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ｍｅｔｈｏｄｓ Ｕｓｉｎｇ Ｆｉｄｕｃｉａｌ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ Ａｎｄ Ｔｒａｃｋｉｎｇ」と題する米国特許出願第６３／２４９，６５２号、及び２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃｏｎｔｒｏｌ Ｏｆ Ｏｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｗｉｔｈ Ａｎｏｔｈｅｒ」と題する米国特許出願第６３／２４９，６５８号で更に論じられている。
【0157】
協調する手術器具の制御
様々な態様では、本開示は、協調する手術器具の制御のための方法、デバイス、及びシステムを提供する。例えば、一実施形態では、システムは、患者の体腔の第１の部分に挿入され、かつ体腔内の第１の手術治療部位上で動作するように構成された第１の手術器具と、体腔の第２の部分に挿入され、かつ体腔内の第２の手術治療部位上で動作するように構成された第２の手術器具と、を含むことができる。システムはまた、第１の内視鏡及び第２の内視鏡を含むことができる。第１の内視鏡は、第２の手術器具が第１の画像センサの視野内にないように体腔の第１の部分内に位置付けられ得る第１の画像センサを有することができる。第２の内視鏡はまた、第１の手術器具が第２の画像センサの視野内にないように体腔の第２の部分内に位置付けられ得る第２の画像センサを有することができる。コントローラは、システムに含まれ、獲得された第１の画像及び第２の画像を受信し、第１の手術器具の第１の場所及び手術器具の第２の場所を判定し、第２の手術器具に対する第１の手術器具の距離及び向きを判定し、かつ判定された距離及び向きに基づいて、体腔内で第１の手術器具及び第２の手術器具のうちの少なくとも１つの動きを引き起こすように構成することができる。判定された距離及び向きに基づいて動きを引き起こすことによって、コントローラは、ユーザが、２つの内視鏡の覆い隠されたビューのために、２つの器具が互いに対してどこにあるかを直接見る又は可視化することができないときに、ユーザのために２つの器具の動きを簡略化するのに役立ち得る。２つの器具間の移動を単純化することによって、コントローラは、患者の健康を保護し、手術処置をより効率的にするのに役立ち得る。
様々な態様では、本開示は、協調する手術器具の制御のための方法、デバイス、及びシステムを提供する。例えば、一実施形態では、システムは、患者の体腔の第１の部分に挿入され、かつ体腔内の第１の手術治療部位上で動作するように構成された第１の手術器具と、体腔の第２の部分に挿入され、かつ体腔内の第２の手術治療部位上で動作するように構成された第２の手術器具と、を含むことができる。システムはまた、第１の内視鏡及び第２の内視鏡を含むことができる。第１の内視鏡は、第２の手術器具が第１の画像センサの視野内にないように体腔の第１の部分内に位置付けられ得る第１の画像センサを有することができる。第２の内視鏡はまた、第１の手術器具が第２の画像センサの視野内にないように体腔の第２の部分内に位置付けられ得る第２の画像センサを有することができる。コントローラは、システムに含まれ、獲得された第１の画像及び第２の画像を受信し、第１の手術器具の第１の場所及び手術器具の第２の場所を判定し、第２の手術器具に対する第１の手術器具の距離及び向きを判定し、かつ判定された距離及び向きに基づいて、体腔内で第１の手術器具及び第２の手術器具のうちの少なくとも１つの動きを引き起こすように構成することができる。判定された距離及び向きに基づいて動きを引き起こすことによって、コントローラは、ユーザが、２つの内視鏡の覆い隠されたビューのために、２つの器具が互いに対してどこにあるかを直接見る又は可視化することができないときに、ユーザのために２つの器具の動きを簡略化するのに役立ち得る。２つの器具間の移動を単純化することによって、コントローラは、患者の健康を保護し、手術処置をより効率的にするのに役立ち得る。
【0158】
例えば、図２２は、上記に論じられた第１の手術器具及び第２の手術器具などの様々な器具の場所及び動きに関して、手術器具の協調する制御を提供することができる１つの例示的な手術システム１０００の概略図を提供する。示されるように、システム１０００は、第１の手術器具１０１０と、第２の手術器具１０３０と、第１の内視鏡１０２０と、第２の内視鏡１０４０と、コントローラ１０５０と、を含む。
【0159】
第１の手術器具１０１０及び第２の手術器具１０３０は、各々、組織を操作及び／又は治療するように構成された任意の好適な手術デバイスとすることができる。第１の手術器具１０１０及び第２の手術器具１０３０は、各々、図１の手術デバイス１０２、図８の手術デバイス２０２、又は本明細書に説明される他の手術デバイスと同様とすることができる。上述したように、手術デバイスの例としては、手術解剖器具、手術ステープラ、手術把持器、クリップアプライヤ、煙排出器、手術エネルギーデバイス（例えば、単極プローブ、双極プローブ、アブレーションプローブ、超音波デバイス、超音波エンドエフェクタなど）などを含む。例えば、いくつかの実施形態では、第１の手術器具１０１０及び／又は第２の手術器具１０３０は、手術デバイスのシャフトの遠位端から延在し、かつ組織を間に係合するように構成されている対向するジョーを有するエンドエフェクタを含むことができる。
【0160】
第１の内視鏡１０２０及び第２の内視鏡１０４０は、各々、上記に論じたように、画像センサを伴う様々な可撓性内視鏡システムを含む、低侵襲手術処置において手術部位の画像を獲得するように構成されている撮像デバイスを含むことができる。第１の内視鏡１０２０及び第２の内視鏡１０４０は、各々、図１の撮像デバイス１２０、図８の撮像デバイス２２０、又は本明細書に説明される他の撮像デバイスと同様とすることができる。本主題のいくつかの実装形態は、手術部位の画像を獲得するために１つ又は２つ以上の内視鏡を使用するものとして本明細書に説明されているが、低侵襲手術処置での使用に適した任意のタイプのスコープを、本明細書に説明されるシステム、方法、及びデバイスと併せて使用することができる。上述したように、スコープの実施例は、関節鏡、血管鏡、気管支鏡、総胆管鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、二重バルーン腸鏡、食道胃－十二指腸鏡（胃鏡）、喉頭鏡、鼻咽頭－鼻腔鏡、Ｓ状結腸鏡、胸腔鏡、尿管鏡、エキソスコープ、及び自己推進デュアルフレックス内視鏡を含む。これらの例示的なタイプのスコープのうちの１つ又は２つ以上は、任意の実現可能な組み合わせで、低侵襲手術処置において一緒に使用することができる。
【0161】
コントローラ１０５０は、動作のうちの１つ又は２つ以上を行うように構成されているプロセッサ１０５１と、プロセッサ１０５１に動作を実行させるための命令を記憶するように構成されているメモリ１０５２と、を含む。コントローラ１０５０はまた、第１の手術器具インターフェース１０５３と、第１の内視鏡インターフェース１０５４と、第２の手術器具インターフェース１０５５と、第２の内視鏡インターフェース１０５６と、を含む。図２２に示されるように、第１の手術器具１０１０は、第１の手術器具インターフェース１０５３を介してコントローラ１０５０に結合され、そのため、プロセッサ１０５１から動き及び作動命令を受信することができる。第１の内視鏡１０２０は、第１の内視鏡インターフェース１０５４を介してコントローラ１０５０に結合され、そのため、第１の内視鏡１０２０によって獲得された画像を特徴付けるデータを、動作のうちの様々なものを行う際にプロセッサ１０５１によって使用するために、プロセッサ１０５１に提供し、及び／又はプロセッサ１０５１によって後で使用するためにメモリ１０５２に提供することができる。第１の手術器具１０１０と同様に、第２の手術器具１０３０は、第２の手術器具インターフェース１０５５を介してコントローラ１０５０に結合され、そのため、プロセッサ１０５１から動き及び作動命令を受信することができる。第１の内視鏡１０２０と同様に、第２の内視鏡１０４０は、第２の内視鏡インターフェース１０５６を介してコントローラ１０５０に結合され、そのため、視鏡１０４０によって獲得された画像を特徴付けるデータを、動作のうちの様々なものを行う際にプロセッサ１０５１によって使用するために、第２のプロセッサ１０５１に提供し、及び／又は動作のうちのプロセッサ１０５１によって後で使用するためにメモリ１０５２に提供することができる。いくつかの実施形態では、第１の手術器具インターフェース１０５３、第１の内視鏡インターフェース１０５４、第２の手術器具インターフェース１０５５、及び第２の内視鏡インターフェース１０５６の各々は、第１の手術器具１０１０、第１の内視鏡１０２０、第２の手術器具１０３０、及び／又は第２の内視鏡１０４０の各々のコントローラインターフェース間の差異に対応するように、互いに異なり得る。いくつかの実施形態では、コントローラ１０５０は、第１の手術器具１０１０及び第２の手術器具１０３０の互いに対する第１の場所及び第２の場所をそれぞれ判定することができ、以下で更に論じられるように、第２の手術器具１０３０に対する第１の手術器具１０１０の距離及び向きを判定することができる。
【0162】
示されるように、システム１０００はまた、コントローラ１０５０に動作可能に結合され、かつ第１の内視鏡１０２０及び第２の内視鏡１０４０のうちの１つ又は２つ以上によって獲得された画像を図式的に描写するように構成されているディスプレイ１０６０を含む。例解された実施形態では、コントローラ１０５０は、第１の内視鏡１０２０及び第２の内視鏡１０４０の各々から画像データのストリームを受信し、受信された画像データからリアルタイムで画像及び／又はビデオフィードを判定し、画像及び／又はビデオフィードをディスプレイ１０６０に、その上に描写し、かつユーザによって見るために提供する。いくつかの実施形態では、コントローラ１０５０は、第１の画像及び第２の画像を一緒にマージして、外科医が処置中に使用する第１の画像及び第２の画像から作成されたマージ画像又は仮想治療部位を作成することができる。マージされた画像の様々な実施形態に関する追加的な詳細は、例えば、前述の２０２１年９月２９日に出願された「Ｃｏｏｐｅｒａｔｉｖｅ Ａｃｃｅｓｓ」と題する米国特許出願第６３／２４９，９８０号に提供されている。
【0163】
システム１０００は、様々な異なる手術器具及び／又は外科用インプラントを伴う様々な異なる手術処置において使用することができる。例えば、システム１０００は、以下で更に論じられるように、インプラントの向きを可視化し、様々な器具の前進速度を制御し、様々な処置中の様々な器具間の同期された、及び／又は協調するアクションを可能にし、様々な処置中に周囲組織の様々な組織特性の判定を可能にするために使用することができる。
【0164】
図２３は、異なる方向から手術部位にアプローチする第１の内視鏡１０２０及び第２の内視鏡１０４０並びに第１の手術器具１０１０及び第２の手術器具１０３０を使用し、かつ内視鏡１０２０、１０４０のうちの単一のものを用いて手術器具１０１０、１０３０及び２パート磁気吻合デバイスの各々を可視化することが可能でないときに、外科用インプラント、この例解された実施形態では、２パート磁気吻合デバイスの第１のインプラント部品１０８０ａ及び第２のインプラント部品１０８０ｂを、接続又は関節手術治療部位に協調して配置するために、部分的空腸転換において、システム１０００を使用する一実施形態を示す。部分的空腸転換は、ＧＩ運動性の速度及び消化された食物のグルコース関与を変更するためなど、患者の空腸（小腸）を通るより短い代謝経路を作成するために使用される。しかしながら、一般的な内視鏡及び手術器具の限られた長さと比較して患者の空腸がかなりの長さであることは、２パート吻合デバイスを配置するために２つの別個の内視鏡及び２つの別個の手術器具を使用するときに、内視鏡は通常又は常に、２パート吻合デバイスの展開前に２パート吻合デバイスの向き及び位置に役立つために互いに又は２パート吻合デバイスを直接可視化することができないので、ユーザに難題を提示する。例解された実施形態は、手術器具１０１０、１０３０、内視鏡１０２０、１０４０、及びインプラント部品１０８０ａ、１０８０ｂの向き及び距離を必要に応じて判定及び制御して、展開前にインプラント部品１０８０ａ、１０８０ｂの正しい整列を確実にすることを可能にする。更に、システム１０００は、他の手術処置において、及び他のインプラントとともに同様に使用することができる。
【0165】
図２３に例解されたように、第１の内視鏡１０２０は、患者の第１の自然開口部、例解された実施形態では口に挿入され、患者の食道括約筋１０９１、幽門括約筋１０９２、及び十二指腸空腸曲１０９４を通して、患者の空腸１０９０（又は十二指腸と回腸との間の小腸の中間部分）内の第１の手術治療部位１０７０ａに操向及び前進される。第２の内視鏡１０４０は、患者の第２の自然開口部、この例解された実施形態では直腸に挿入され、回盲弁１０９３を通って空腸１０９０内の第２の手術治療部位１０７０ｂまで操向及び前進される。第１の手術治療部位１０７０ａ及び第２の手術治療部位１０７０ｂは、いくつかの実施形態では、ＣＴ撮像などの様々な外部撮像機構を使用して、挿入前に特定され得、部位１０７０ａ、１０７０ｂは、いくつかの実施形態では、ＣＴ撮像などの様々な外部撮像を使用すること、内視鏡１０２０、１０４０からの直接撮像の使用、図２３に示される腹腔鏡１０８５などの様々な付加的器具の使用などを通して、内視鏡１０２０、１０４０の挿入後に確認され得る。いくつかの手術処置では、腹腔鏡１０８５は、使用されなくてもよい。
【0166】
例解された実施形態では、第１の内視鏡１０２０及び第２の内視鏡１０４０がそれぞれ第１の手術治療部位１０７０ａ及び第２の手術治療部位１０７０ｂに到達するときに、各内視鏡１０２０、１０４０は、他方の内視鏡１０２０、１０４０に対するその場所を検出し、そのため、両方の内視鏡１０２０、１０４０がそれぞれの手術治療部位１０７０ａ、１０７０ｂにおいて互いに対して位置付け及び向き決めされて、それぞれの部位１０７０ａ、１０７０ｂにおける第１のインプラント部品１０８０ａ及び第２のインプラント部品１０８０ｂの送達の成功を確実にするのに役立つことができる。各内視鏡１０２０、１０４０の場所及び向きは、システム１０００のグローバル座標系における各内視鏡１０２０、１０４０の場所及び向きを判定するために、磁場検出を通じて各内視鏡１０２０、１０４０の電磁（electromagnetic、ＥＭ）追跡先端を使用して、システム１０００のコントローラ１０５０によって追跡され、グローバル座標系は、内視鏡１０２０、１０４０の各々及び手術器具１０１０、１０３０の各々と通信するコントローラ１０５０によって既知である。例解された実施形態では、ＥＭ追跡チップが提供されているが、ファイバブラッググレーティング、仮想タグ、上述した基準マーカ、プローブの使用、既知の解剖学的構造の特定、上記に論じされた構造化光の使用などの様々な３Ｄスキャン技術、上記に論じられた様々なセンサ及び／又は撮像システムなどの代替的及び／又は追加的な追跡手段を使用することができる。手術器具を追跡する様々な実施形態に関する追加的な詳細は、例えば、前述の２０２１年９月２９日に出願された「Ｃｏｏｐｅｒａｔｉｖｅ Ａｃｃｅｓｓ」と題する米国特許出願第６３／２４９，９８０号に提供されている。
【0167】
２パート磁気吻合デバイスの第１のインプラント部品１０８０ａは、第１の手術器具１０１０の遠位端に解放可能に取り付けられ、第１のインプラント部品１０８０ａを伴う第１の手術器具１０１０は、第１のインプラント部品１０８０ａ及び第１の器具１０１０の最遠位部分が第１の手術治療部位１０７０ａにおいて第１の内視鏡１０２０を越えて遠位に位置付けられるまで、第１の内視鏡１０２０の作業チャネルを通して挿入される。同様に、２パート磁気吻合デバイスの第２のインプラント部品１０８０ｂは、第２の手術器具１０３０の遠位端に解放可能に取り付けられ、第２のインプラント部品１０８０ｂを伴う第２の手術器具１０３０は、第２のインプラント部品１０８０ｂ及び第２の器具１０３０の最遠位部分が第２の手術治療部位１０７０ｂにおいて第２の内視鏡１０４０を越えて遠位に位置付けられるまで、第２の内視鏡１０４０の作業チャネルを通して挿入される。他の実施形態では、第１の手術器具１０１０及び／又は第２の手術器具１０３０は、作業チャネルを通して前進させる代わりに、それぞれ、第１の内視鏡１０２０及び第２の内視鏡１０４０の外部に沿って前進させることができる。
【0168】
更に、システム１０００のコントローラ１０５０は、患者内の第１の器具１０１０及び第２の器具１０３０、並びに第１の内視鏡１０２０及び第２の内視鏡１０４０の互いに対する及び／又はランデブーポイントに対する前進の力及び速度を制御する。第１の器具１０１０及び第２の器具１０３０並びに第１の内視鏡１０２０及び第２の内視鏡１０４０を追跡するときに、コントローラ１０５０は、前進速度、アプローチベクトル、適用可能な力、並びに／又は互いからの距離及び／若しくはランデブーポイントからの距離を判定し、第１のインプラント部品１０８０ａ及び第２のインプラント部品１０８０ｂが一緒に接合されることが意図される患者内の場所を定義する。器具１０１０、１０３０及び／又は内視鏡１０２０、１０４０の各々がランデブーポイントにアプローチすると、アプローチする器具１０１０、１０３０及び／又は内視鏡１０２０、１０４０がランデブーポイントに衝突又はオーバーシュートしないことを確実にし、対応する器具１０１０、１０３０及び／又は内視鏡１０２０、１０４０のより繊細又は正確な位置付けを可能にするために、前進速度、適用可能な力、及び／又は検出サンプリングレートがコントローラ１０５０によって変更される。いくつかの実施形態では、コントローラ１０５０はまた、前進速度、アプローチベクトル、適用可能な力、互いからの距離、ランデブーポイントからの距離（意味することが意図されるものは何でも）、及び／又は検出サンプリングレートの表示をディスプレイ１０６０などのディスプレイ上に引き起こすことができる。
【0169】
例解されたシステム１０００の実施形態に関して、図２４は、ランデブーポイントからの距離（図２４の「ランデブーポイント」と比較した「腸内距離」として特定される）と比較した、患者を通した第１の器具１０１０（図２４の「遠位器具」として特定される）及び第２の器具１０３０（図２４の「近位器具」として特定される）の前進速度（ｍｍ／ｍｉｎ）を示す。図２４に例解された特定されたランデブーポイントは、第１の治療部位１０７０ａ及び第２の治療部位１０７０ｂを接合することから形成される接続された又は接合した手術治療部位を表し、患者の腸内の距離は、特定されたランデブーポイントがほぼ中央にある状態で、患者の腸の近位端から患者の腸の遠位端まで増加するように示される。しかしながら、他の実施形態では、及び他の処置中に、距離及びランデブーポイントは、異なる生体臓器及び標的部位を表すことができる。
【0170】
コントローラ１０５０はまた、患者の安全性を高めるために、患者を通る第１の器具１０１０及び第２の器具１０３０の一方又は両方の前進速度及びランデブーポイントからの距離を自動的に制限するために、閾値及び値のゾーン又は範囲を利用する。前進の最高速度（速度制限と同様）及び治療部位１０７０ａ、１０７０ｂからの距離の範囲は、図２４に例解されたように、第１の器具１０１０及び第２の器具１０３０に対して選択される。追加的に、いくつかの実施形態では、様々な閾値及び範囲を相互に関連付けることもできる。例えば、図２４に例解された実施形態では、「ランデブーポイントに「近い」ゾーン」及び速度制限閾値が提供される。「ランデブーポイントに「近い」ゾーン」は、ランデブーポイントからの予め選択された距離を表し、ランデブーポイントの両側に下限距離値１０７５ａ及び上限距離値１０７５ｂを含む。更に、速度制限閾値１０７５ｃは、機器１０１０、１０３０の速度の上限を表す。しかしながら、コントローラ１０５０は、器具１０１０、１０３０が「ランデブーポイントに「近い」ゾーン」に入ると、器具１０１０、１０３０の前進速度を制限速度閾値１０７５ｃに制限するだけである。閾値距離値１０７５ａ、１０７５ｂの間の提供された範囲に入る前に、器具１０１０、１０３０の前進速度は、制限されない。図２５は、近位アプローチ及び遠位アプローチの両方の間に、患者の腸を通して、図２４のランデブーポイントから離れた複数の距離を例解する。例えば、ランデブーポイントに対して近位の場所からアプローチする第１の手術器具１０１０及び第１の内視鏡１０３０に関連付けられた複数の近位距離Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６、並びにランデブーポイントに対して遠位の場所からアプローチする第２の手術器具１０２０及び第２の内視鏡１０４０に関連付けられた複数の遠位距離Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６を特定することができ、器具１０１０、１０３０及び内視鏡１０２０、１０４０の前進速度を制御するために、距離のうちの１つ又は２つ以上において１つ又は２つ以上の閾値を確立することができる。
【0171】
腸の長さ及び複雑さが考慮されて、ランデブーポイントに到達するために、コントローラ１０５０及びユーザが患者の腸を通って正確にナビゲートするのを支援するために、各器具１０１０、１０３０に対して既知の移動経路を作成することができる。そのような実施例では、図２５に例解された複数の近位距離Ｐ１、Ｐ２、Ｐ３、Ｐ４、Ｐ５、Ｐ６及び複数の遠位距離Ｄ１、Ｄ２、Ｄ３、Ｄ４、Ｄ５、Ｄ６など、互いに約２ｃｍ離れた点が、腸腹腔鏡可動化中の患者の腸に沿ったコンピュータ画像の作成中にピックされ、タグ付けされる。したがって、コントローラ１０５０は、システム１０００のグローバル座標系を参照して各点Ｐｎ及びＤｎまでの距離、並びにグローバル座標系内の各内視鏡１０２０、１０４０の位置を知り、コントローラ１０５０は、患者の腸の柔軟な湾曲した解剖学的構造を通して、ランデブー点までの各内視鏡１０２０、１０４０の距離を追跡することができる。したがって、各々がそれ自体の器具及び内視鏡を有する複数のシステムをユーザが別個に監視することを必要とする代わりに、コントローラ１０５０は、複数の器具１０１０、１０３０及び複数の内視鏡１０２０、１０４０を含むシステム１０００のための前進速度、適用可能な力、及び／又は選択可能な点からの距離を追跡及び制限して、配置中の安全性及び精度を向上させる一方で、ユーザが現在の処置により十分に焦点を当て、複数の器具及び内視鏡の監視及び追跡にあまり焦点を当てないようにすることもできる。
【0172】
器具１０１０、１０３０が治療部位１０７０ａ、１０７０ｂに到達するが、インプラント部品１０８０ａ、１０８０ｂの展開の前に、器具１０１０、１０３０は、少なくとも１つの共有された無傷の組織壁を通して互いに相互作用し、コントローラ１０５０は、相互作用に基づいて組織に関する判定を行う。例えば、コントローラ１０５０は、厚さ、剛性、断面組織組成などの組織特性を判定する。組織特性を判定することによって、様々な特定の展開又は治療部位が、特定の組織特性に基づいて特定することができる。
【0173】
例えば、図２３の実施形態では、第１の手術治療部位１０７０ａ及び第２の手術治療部位１０７０ｂは、最初に、ＣＴ又はＭＲＩスキャンなどの様々な術前撮像アプローチを使用して特定されて、インプラント展開のための予備的場所を特定する。しかしながら、インプラント部品１０８０ａ、１０８０ｂを所定の位置に操作する間、コントローラ１０５０は、組織特性を監視して、適切な組織特性で各インプラント部品１０８０ａ、１０８０ｂの正確な展開場所を特定する。判定は、測定された組織インピーダンス、組織厚さ、組織密度、周囲の組織壁（粘膜、粘膜下層、又は漿膜層を含む）の断面組織組成、マルチスペクトル又は超音波非可視光スペクトル撮像、組織及び解剖学的可視化、器具１０１０、１０３０と内視鏡１０２０、１０４０との間の距離、器具１０１０、１０３０及び内視鏡１０２０、１０４０の更なる前進に対する周囲の組織からの抵抗など、１つ又は２つ以上の異なる要因に基づいて行われる。例解された実施形態では、２つの内視鏡１０２０、１０４０は、腸内の各管腔の壁厚のみが内視鏡１０２０、１０４０を分離した状態で合わせられ、したがって、２つの内視鏡１０２０、１０４０間の距離は、手術治療部位１０７０ａ、１０７０ｂ間の組み合わされた組織壁厚を判定するのに役立つために使用される。インプラント部品１０８０ａ、１０８０ｂを展開するときに、ユーザは、２つのインプラント部品１０８０ａ、１０８０ｂ間の組織壁の侵食を引き起こすのに十分な圧縮を証明し、漿膜組織層と漿膜組織層との嵌合をもたらして、第１の手術治療部位１０７０ａと第２の手術治療部位１０７０ｂとの間に治癒結合を作成する場所を特定しようと試みる。他の実施形態では、非侵襲性インドシアニングリーン（indocyanine green、ＩＣＧ）などを使用して血流を可視化し、腸壁のみが２つのインプラント部品１０８０ａ、１０８０ｂの間にあり、その間に腸間膜又は結合組織がないことを確実にする際にユーザを支援する異なる撮像又は分析アプローチをとることができる。ユーザは更に、いくつかの実施形態では、ＩＣＧを利用して、特に手術治療部位１０７０ａ、１０７０ｂにおいて、腸管灌流生存能力を判定するのに役立てることができ、ユーザはまた、いくつかの実施形態では、光コヒーレンス断層撮影、共焦点レーザなどの使用などを通して、腸内から行われた組織特性判定と、マルチスペクトル非接触撮像又はインピーダンス接触分光法の使用などを通して、腸外から行われた組織特性判定とを比較することによって、組織特性又は組織タイプを確認するのに役立つ。
【0174】
２パート磁気吻合デバイスは、その後、局所組織特性に基づいて成功の最良の機会を提供する場所に展開される。いくつかの実施形態では、コントローラ１０５０及び／又はユーザは、手術処置中に器具１０１０、１０３０が患者内の組織壁を貫通するのを防止し、それによって患者への全体的な損傷を低減するのに役立つために、測定された組織インピーダンス、組織厚さ、組織密度など、上記に論じた異なる組織因子のうちの１つ又は２つ以上を求める。他の実施形態では、腹腔鏡１０８５、様々なプローブ又はレーザ、バルーンなどの１つ又は２つ以上の追加的な器具が、インプラント展開又は他の治療の前に、所望の組織のみが器具１０１０、１０３０間に位置付けられることを確実にするように、周囲の組織の追加的な判定を行うことを支援するため、及び／又は周囲の組織を回転及び操作することを支援するために使用することができる。
【0175】
図２３に示される例示的な実施形態では、２パート磁気吻合デバイスの第１のインプラント部品１０８０ａ及び第２のインプラント部品１０８０ｂがそれぞれの治療部位１０７０ａ、１０７０ｂに到達すると、第１の手術器具及び第２の手術器具１０１０、１０３０は、それぞれ、各部位１０７０ａ、１０７０ｂにおける第１のインプラント部品１０８０ａ及び第２のインプラント部品１０８０ｂの送達の成功を確実にするのを助けるために、各器具１０１０、１０３０の検出された場所及び向きに基づいて、必要に応じて回転又は関節運動される。上記に論じられた第１の内視鏡１０２０及び第２の内視鏡１０４０と同様に、各器具１０１０、１０３０の場所及び向きは、ＥＭ追跡チップ（及び／又は他の追跡手段）を使用してシステム１０００のコントローラ１０５０によって追跡され、コントローラ１０５０には既知のシステム１０００のグローバル座標フレームにおける各器具１０１０、１０３０の場所及び向きを判定する。
【0176】
例解された実施形態ではインプラントの送達が提供されているが、システム１０００は、様々な他の手術処置のために様々な器具１０１０、１０３０と内視鏡１０２０、１０４０との間の同期又は協調された動き及び処置を協調させて、ユーザが体腔内の異なる点に位置する２つ又はそれ以上の手術器具を使用して、協調する治療を行うことを可能にすることができ、そのため、例えば周囲の組織によって互いから覆い隠された結果として器具が互いを直接可視化することができないときでも、各器具が協調する治療の一部分を完了することができる。
【0177】
図２６は、内視鏡１０２０、１０４０の各々のＥＭ追跡された遠位端と、第１のインプラント部品１０８０ａ及び第２のインプラント部品１０８０ｂの各々の複数のＥＭトラッカ（例えば、３つ又は他の数）とを使用して、第１のインプラント部品１０８０ａを第２のインプラント部品１０８０ｂと整列させる例示的なプロセスを例解する。第１の内視鏡１０２０の「上」、中立位置又は向きは、その上のＥＭトラッカを使用して判定される。判定された向きは、図２６において矢印１０２２によって示される。第１のインプラント部品１０８０ａの現在の向きは、第１の内視鏡１０２０に対するその上の複数のＥＭトラッカの場所に基づいて判定することができる。第１のインプラント部品１０８０ａの現在の向きは、矢印１０２２に対する矢印１０２４によって示される。第２のインプラント部品１０８０ｂの現在の向きは、第２の内視鏡１０４０に関する同様の工程を使用して判定することができ、第１のインプラント部品１０８０ａ及び／又は第２のインプラント部品１０８０ａは、図２６の第１のインプラント部品１０８０ａに関する実線矢印によって示されるように、２つのインプラント部品１０８０ａ、１０８０ｂを整列させるために必要に応じて再度整列又は再度向きが判定されて、２つの内視鏡１０２０、１０４０間の覆い隠されたビューにもかかわらず、整列及び展開の成功を確実にすることができる。他の例示的な実施形態では、図２６に示されるものと同様の整列インジケータが、ユーザによって利用される腹腔鏡ビューなど、システム１０００によって使用される様々なディスプレイに組み込まれるか、又は拡張され得る。
【0178】
更に、第１のインプラント部品１０８０ａ及び第２のインプラント部品１０８０ｂを整列させる間、器具１０１０、１０３０及び内視鏡１０２０、１０４０の向き、並びにそれらの間の組織の特性は、コントローラ１０５０によって監視されて、展開中に組織のねじれ又は血流閉塞など、周囲の組織への不慮の損傷がないことを確実にする。例えば、図２７、図２８、及び図２９は、インプラント部品１０８０ａ、１０８０ｂの例示的な展開を例解する。コントローラ１０５０は、ディスプレイ１０６０及び／又は別のディスプレイ上に通知を示させて、手術治療部位１０７０ａ、１０７０ｂの各側に位置付けられた特定の解剖学的構造１０７２ａ、１０７２ｂの特定に部分的に基づいて、手術治療部位１０７０ａ、１０７０ｂの各側の周囲の組織の間の向きの不一致に起因して、図２７の２パート磁気吻合デバイスの展開がまだ行われるべきではないことをユーザに通知する。他の実施形態では、コントローラ１０５０は、器具１０１０、１０３０の作動を制限して、向きの不一致による２パート磁気吻合デバイスの展開を防止することができる。図２８では、器具１０１０、１０３０及び内視鏡１０２０、１０４０は、手術治療部位１０７０ａ、１０７０ｂ間の適切な解剖学的向きを確実にするために周囲の組織を回転させるのを支援し、図２９では、コントローラ１０５０は、周囲の組織が手術治療部位１０７０ａ、１０７０ｂの各側に正しく向きが判定されているので、２パート磁気吻合デバイスの展開を進めることができることをユーザに通知するために、ディスプレイ１０６０及び／又は別のディスプレイ上に通知を表示させ、したがって、適切な血流を確実にし、患者の腸の潜在的なねじれを防止する。コントローラ１０５０が最初に器具１０１０、１０３０の作動を制限して、向きの不一致のために２パート磁気吻合デバイスの展開を防止することができる他の実施形態では、コントローラ１０５０は、器具１０１０、１０３０の作動を再度有効にして、正しい向きのために２パート磁気吻合デバイスの展開を可能にすることができる。他の実施形態では、外科治療部位１０７０ａ、１０７０ｂの一方又は両方に導入される別の手術器具を利用して、回転腹腔鏡支援を行うか、又は管腔内バルーンの使用を通して、患者の腸の回転を支援するなど、様々な他の組織操作アプローチが、回転を支援するために使用することができる。
【0179】
第１のインプラント部品１０８０ａ及び第２のインプラント部品１０８０ｂが、内視鏡１０２０、１０４０及び／又は器具１０１０、１０３０からの任意の所望の移動に基づいて、再度向きが判定され、回転され、互いに整列されるときに、第１のインプラント部品１０８０ａ及び第２のインプラント部品１０８０ｂは、同時に展開される。第１のインプラント部品１０８０ａ及び第２のインプラント部品１０８０ｂは磁性であるので、第１の部分１０８０ａ及び第２の部分１０８０ｂは、展開されたときに空腸壁を通して互いに接続し、第１の治療部位１０７０ａ及び第２の治療部位１０７０ｂを単一の接続された又は接合した手術治療部位に形成する。
【0180】
追加の手術器具及び／又は追加のスコープは、追加の可視化、周囲の組織の動き、インプラントの位置付けの支援などを支援するために、いくつかの手術処置において使用することができる。追加の手術器具及び／又は追加のスコープの使用は、腸を通した操作の長さ及び複雑さを考慮すると、小腸内の標的部位などの患者内のいくつかの標的部位に到達することが難しいため、特定の実施形態において有益とすることができる。例えば、システム１０００は、１つ又は２つ以上の追加のアクセス場所から患者の身体に導入される１つ又は２つ以上の追加の手術器具及び／又は１つ又は２つ以上の追加のスコープを組み込むことができ、コントローラ１０５０は、組み込まれた手術器具及び／又はスコープの動きを協調して、協調する処理を行うことができる。図２３は、例えば、腹腔鏡アプローチから患者に導入される、破線によって示される視野１０８５ａを有する腹腔鏡１０８５と、また腹腔鏡アプローチから患者に導入される把持器１０８７と、を例解している。例解された実施形態では、腹腔鏡１０８５及び把持器１０８７は、器具１０１０、１０３０、内視鏡１０２０、１０４０、及びインプラント部品１０８０ａ、１０８０ｂのうちの１つ又は２つ以上の向きを判定及び整列させて、インプラント部品１０８０ａ、１０８０ｂの展開の成功を確実にするのに役立つように使用することができる。例えば、把持器１０８７は、腹腔鏡１０８５の視野１０８５ａ内に視覚的に示されるように、各インプラント部品１０８０ａ、１０８０ｂが所望の展開場所に到達することが可能であることを確実にするように、小腸の部分を操作するように導入することができる。小腸の部分を操作するために、解剖器具など、把持器以外の器具を使用することができる。
【0181】
更に他の実施形態では、手術器具の１つ又は２つ以上の代わりに、又はそれに加えて、様々な手術器具及び／又はスコープ、ダブルバルーン腸鏡、自己推進デュアルフレックススコープなどを使用して、長さ及び複雑さを考慮した小腸などの周囲の組織をナビゲート及び制御することを支援することができる。例えば、ユーザが内視鏡１０２０、１０４０のうちの１つを患者の空腸内により深くに位置付けたい場合、ダブルバルーン腸鏡が使用され得、ある量の小腸を腸鏡１０２０、１０４０のうちの選択された１つに束ねながら、選択された内視鏡１０２０、１０４０が空腸から後方にスライド又は後退するのを防止する。本アプローチは、数フィート以上の小腸が、数インチの選択された内視鏡１０２０、１０４０上に束ねられることを可能にし、これは、内視鏡が設定された長さを有し、患者の小腸内の標的手術治療部位が、内視鏡の長さよりも腸内に遠くあり得るため、有用である。そのような実施例では、ユーザは、十分な腸組織が選択された内視鏡１０２０、１０４０上に引っ張られることを可能にするために、協調する腹腔鏡及び内視鏡相互作用を使用する必要があり得る。
【0182】
他の実施例では、２パート磁気吻合デバイスのインプラント部品１０８０ａ、１０８０ｂのうちの１つを展開するのを支援するために、ダブルバルーン腸鏡が使用されてもよい。例えば、腸鏡の最遠位バルーンは、展開される第２のインプラント部品１０８０ｂの遠位に位置付けられることができ、最遠位バルーンが第２の手術治療部位１０７０ｂに位置付けられるときに、バルーンのために、部位における視認性が増加するであろう。組織操作器具の様々な実施形態に関する追加的な詳細は、例えば、前述の２０２１年９月２９日に出願された「Ｃｏｏｐｅｒａｔｉｖｅ Ａｃｃｅｓｓ」と題する米国特許出願第６３／２４９，９８０号に提供されている。いくつかの実施形態では、腹腔鏡プローブを標的部位に導入すること、及び／又は別様に、仮想的にロボットシステム内で、若しくは基準マーカを用いることなどの既知の手段を通して患者内の様々な部位にタグ付けすることなど、様々な付加的ナビゲーション補助具を使用することもできる。様々な他の実施形態では、２パート磁気吻合デバイスのインプラント部品１０８０ａ、１０８０ｂの一方又は両方は、上記に論じられた自然開口部の一方又は両方を通すことの代わりに、腹腔鏡アプローチを使用して展開することができる。腹腔鏡アプローチを使用して、インプラント部品１０８０ａ、１０８０ｂの一方又は両方は、図３０に例解されたように、患者の空腸又は小腸壁を通して、器具１０１０、１０３０と内視鏡１０２０、１０４０との間の協調する動きを使用して展開される。このアプローチは、インプラント部品１０８０ａ、１０８０ｂの一方又は両方を導入するための解剖学的可動化のために一般的に使用される様々な腹腔鏡アクセスポートを利用することができ、したがって、患者の腸を通した潜在的に困難な挿入プロセスを回避し、インプラント部品１０８０ａ、１０８０ｂは、配置前の正確な整列及び向きを確実にするために、上記に論じられたものと同様の追跡及び撮像機構を使用することができる。腹腔鏡の様々な実施形態に関する追加の詳細は、例えば、前述の２０２１年９月２９日に出願された「Ｃｏｏｐｅｒａｔｉｖｅ Ａｃｃｅｓｓ」と題する米国特許仮出願第６３／２４９，９８０号に提供されている。
【0183】
部分的な空腸迂回路及び対応するインプラントに関する追加の詳細は、２０１４年１月２８日に発行された「Ｍｅｔｈｏｄｓ ａｎｄ ｄｅｖｉｃｅｓ ｆｏｒ ｔｈｅ ｒｅｒｏｕｔｉｎｇ ｏｆ ｃｈｙｍｅ ｔｏ ｉｎｄｕｃｅ ｉｎｔｅｓｔｉｎａｌ ｂｒａｋｅ」と題する米国特許第８，６３６，７５１号、２０１９年２月１９日に発行された「Ｍａｇｎｅｔｉｃ ｔｉｓｓｕｅ ｃｏｍｐｒｅｓｓｉｏｎ ｄｅｖｉｃｅ ｗｉｔｈ ｂａｃｋｕｐ ｍｅｃｈａｎｉｃａｌ ｌａｔｃｈ」と題する米国特許第１０，２０６，６８２号、２０１９年１２月３１日に発行された「Ｍａｇｎｅｔｉｃ ａｎａｓｔｏｍｏｓｉｓ ｄｅｖｉｃｅｓ ｗｉｔｈ ｖａｒｙｉｎｇ ｍａｇｎｅｔｉｃ ｆｏｒｃｅ ａｔ ａ ｄｉｓｔａｎｃｅ」と題する米国特許第１０，５１７，６００号、２０２０年９月２２日に発行された「Ｓｙｓｔｅｍｓ，ｄｅｖｉｃｅｓ，ａｎｄ ｍｅｔｈｏｄｓ ｆｏｒ ｆｏｒｍｉｎｇ ａｎａｓｔｏｍｏｓｅｓ」と題する米国特許第１０，７７９，８３１号、２０２１年６月１５日に発行された「Ｍｅｔｈｏｄｓ ｆｏｒ ｐａｒｔｉａｌ ｄｉｖｅｒｓｉｏｎ ｏｆ ｔｈｅ ｉｎｔｅｓｔｉｎａｌ ｔｒａｃｔ」と題する米国特許第１１，０３３，２７２号、２０１７年９月２１日に公開された「Ｔａｒｇｅｔｉｎｇ ｓｙｓｔｅｍｓ ｆｏｒ ｐｒｏｖｉｄｉｎｇ ａｃｃｕｒａｔｅ ｐｌａｃｅｍｅｎｔ ｏｆ ｍａｇｎｅｔｉｃ ａｎａｓｔｏｍｏｓｉｓ ｄｅｖｉｃｅｓ」．と題する米国特許出願公開第２０１７／０２６５８６６号、及び２０１２年１月１９日に公開された「Ａ ｄｅｖｉｃｅ ｆｏｒ ａｎ ｅｎｄｏｌｕｍｉｎａｌ ｃｈｏｌｅｃｙｓｔｏ－ｅｎｔｅｒｏｓｔｏｍｙ」と題する国際公開第２０１２００７０５２（Ａ１）号に提供されており、これらの全ては、参照によりその全体が本明細書に組み込まれる。
【0184】
当業者には、上で説明される実施形態に基づいて本発明の更なる特徴及び利点が認識されよう。したがって、本発明は、添付の特許請求の範囲によって示される場合を除き、具体的に示され説明された内容により限定されるものではない。本明細書で引用される全ての刊行物及び参考文献は、全ての目的のために参照によりその全体が本明細書に明示的に組み込まれる。
【0185】
〔実施の態様〕
（１） システムであって、
体腔の第１の部分に挿入され、かつ患者の前記体腔内に外科用インプラントの第１の部分を展開するように構成された第１の手術器具と、
前記体腔の第２の部分に挿入され、かつ前記体腔内に前記外科用インプラントの第２の部分を展開するように構成された第２の手術器具であって、前記体腔の前記第２の部分が、前記第１の部分と異なる、第２の手術器具と、
第１の画像センサを有する第１の可撓性内視鏡であって、前記第１の可撓性内視鏡は、前記第２の手術器具が前記第１の画像センサの視野内にないように位置付けられる、第１の可撓性内視鏡と、
第２の画像センサを有する第２の可撓性内視鏡であって、前記第２の可撓性内視鏡は、前記第１の手術器具が前記第２の画像センサの視野内にないように位置付けられる、第２の可撓性内視鏡と、
前記第１の画像センサ及び前記第２の画像センサの各々によって収集された画像を受信し、前記第１の手術器具の第１の場所及び前記第２の手術器具の第２の場所を互いに対して判定し、第１の前記体腔の前記第１の部分及び前記第２の部分内の組織壁の特性を判定し、かつ前記組織壁の前記特性に基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定するように構成されたコントローラと、を備える、システム。
（２） 前記外科用インプラントの前記第１の部分が、前記インプラントの前記第１の部分に関するデータを前記コントローラに提供するように構成された第１の電磁トラッカを含み、
前記外科用インプラントの前記第２の部分が、前記インプラントの前記第２の部分に関するデータを前記コントローラに提供するように構成された第２の電磁トラッカを含み、
前記外科用インプラントの前記第１の部分及び前記第２の部分の判定された前記配置場所が、前記インプラントの前記第１の部分及び前記第２の部分に関する受信された前記データに少なくとも基づく、実施態様１に記載のシステム。
（３） 前記組織壁の前記特性が、厚さ、剛性、又は組織組成のうちの少なくとも１つを含む、実施態様１又は２に記載のシステム。
（４） 前記コントローラが、前記第１の器具及び前記第２の器具の前記第１の場所及び前記第２の場所に少なくとも基づいて、前記組織壁の前記厚さを判定するように構成されている、実施態様３に記載のシステム。
（５） 前記コントローラが、組織インピーダンス及び非可視光スペクトル撮像のうちの少なくとも１つに基づいて、前記組織壁の前記特性を判定するように構成されている、実施態様３に記載のシステム。
（１） システムであって、
体腔の第１の部分に挿入され、かつ患者の前記体腔内に外科用インプラントの第１の部分を展開するように構成された第１の手術器具と、
前記体腔の第２の部分に挿入され、かつ前記体腔内に前記外科用インプラントの第２の部分を展開するように構成された第２の手術器具であって、前記体腔の前記第２の部分が、前記第１の部分と異なる、第２の手術器具と、
第１の画像センサを有する第１の可撓性内視鏡であって、前記第１の可撓性内視鏡は、前記第２の手術器具が前記第１の画像センサの視野内にないように位置付けられる、第１の可撓性内視鏡と、
第２の画像センサを有する第２の可撓性内視鏡であって、前記第２の可撓性内視鏡は、前記第１の手術器具が前記第２の画像センサの視野内にないように位置付けられる、第２の可撓性内視鏡と、
前記第１の画像センサ及び前記第２の画像センサの各々によって収集された画像を受信し、前記第１の手術器具の第１の場所及び前記第２の手術器具の第２の場所を互いに対して判定し、第１の前記体腔の前記第１の部分及び前記第２の部分内の組織壁の特性を判定し、かつ前記組織壁の前記特性に基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定するように構成されたコントローラと、を備える、システム。
（２） 前記外科用インプラントの前記第１の部分が、前記インプラントの前記第１の部分に関するデータを前記コントローラに提供するように構成された第１の電磁トラッカを含み、
前記外科用インプラントの前記第２の部分が、前記インプラントの前記第２の部分に関するデータを前記コントローラに提供するように構成された第２の電磁トラッカを含み、
前記外科用インプラントの前記第１の部分及び前記第２の部分の判定された前記配置場所が、前記インプラントの前記第１の部分及び前記第２の部分に関する受信された前記データに少なくとも基づく、実施態様１に記載のシステム。
（３） 前記組織壁の前記特性が、厚さ、剛性、又は組織組成のうちの少なくとも１つを含む、実施態様１又は２に記載のシステム。
（４） 前記コントローラが、前記第１の器具及び前記第２の器具の前記第１の場所及び前記第２の場所に少なくとも基づいて、前記組織壁の前記厚さを判定するように構成されている、実施態様３に記載のシステム。
（５） 前記コントローラが、組織インピーダンス及び非可視光スペクトル撮像のうちの少なくとも１つに基づいて、前記組織壁の前記特性を判定するように構成されている、実施態様３に記載のシステム。
【0186】
（６） 組織が前記第１の内視鏡の前記視野から前記第２の手術器具を遮るとき、及び組織が前記第２の内視鏡の前記視野から前記第１の手術器具を遮るとき、前記コントローラが、前記第１の手術器具及び前記第２の手術器具の前記場所を判定するように構成されている、実施態様１に記載のシステム。
（７） 前記第１の手術器具が、前記患者の第１の自然開口部を通して前記体腔に挿入されるように構成されており、前記第２の手術器具が、前記患者の第２の異なる自然開口部を通して前記体腔に挿入されるように構成されている、実施態様１に記載のシステム。
（８） 前記コントローラが、前記第１の手術器具を回転及び関節運動させて、前記外科用インプラントの前記第１の部分を前記外科用インプラントの前記第２の部分に対して位置付けるように構成されている、実施態様１に記載のシステム。
（９） 前記体腔が、空腸を含み、前記外科用インプラントが、吻合デバイスを含む、実施態様１に記載のシステム。
（１０） システムであって、
データプロセッサと、
前記データプロセッサに動作を実行させるように構成された命令を記憶するメモリと、を備え、前記動作は、
第１の内視鏡の第１の画像センサから、患者の体腔の第１の部分を特徴付ける第１の画像データをリアルタイムで受信することと、
第２の内視鏡の第２の画像センサから、第１の前記体腔の第２の部分を特徴付ける第２の画像データをリアルタイムで受信することと、
前記第１の画像データに基づいて、前記体腔の前記第１の部分内に外科用インプラントの第１の部分を展開するように構成された第１の手術器具の第１の場所を判定することと、
前記第２の画像データに基づいて、前記第１の手術器具の前記第１の場所に対する第２の手術器具の第２の場所を判定することであって、前記第２の手術器具が、前記体腔の前記第２の部分内に外科用インプラントの第２の部分を展開するように構成されている、判定することと、
前記第１の体腔の前記第１の部分及び前記第２の部分内の組織壁の特性を判定することと、
前記組織壁の前記特性に基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定することと、を含む、システム。
（７） 前記第１の手術器具が、前記患者の第１の自然開口部を通して前記体腔に挿入されるように構成されており、前記第２の手術器具が、前記患者の第２の異なる自然開口部を通して前記体腔に挿入されるように構成されている、実施態様１に記載のシステム。
（８） 前記コントローラが、前記第１の手術器具を回転及び関節運動させて、前記外科用インプラントの前記第１の部分を前記外科用インプラントの前記第２の部分に対して位置付けるように構成されている、実施態様１に記載のシステム。
（９） 前記体腔が、空腸を含み、前記外科用インプラントが、吻合デバイスを含む、実施態様１に記載のシステム。
（１０） システムであって、
データプロセッサと、
前記データプロセッサに動作を実行させるように構成された命令を記憶するメモリと、を備え、前記動作は、
第１の内視鏡の第１の画像センサから、患者の体腔の第１の部分を特徴付ける第１の画像データをリアルタイムで受信することと、
第２の内視鏡の第２の画像センサから、第１の前記体腔の第２の部分を特徴付ける第２の画像データをリアルタイムで受信することと、
前記第１の画像データに基づいて、前記体腔の前記第１の部分内に外科用インプラントの第１の部分を展開するように構成された第１の手術器具の第１の場所を判定することと、
前記第２の画像データに基づいて、前記第１の手術器具の前記第１の場所に対する第２の手術器具の第２の場所を判定することであって、前記第２の手術器具が、前記体腔の前記第２の部分内に外科用インプラントの第２の部分を展開するように構成されている、判定することと、
前記第１の体腔の前記第１の部分及び前記第２の部分内の組織壁の特性を判定することと、
前記組織壁の前記特性に基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定することと、を含む、システム。
【0187】
（１１） 前記データプロセッサの前記動作が、
前記コントローラに対して前記インプラントの前記第１の部分に関するデータを前記外科用インプラントの前記第１の部分における第１の電磁トラッカから受信し、かつ前記コントローラに対して前記インプラントの前記第２の部分に関するデータを前記外科用インプラントの前記第２の部分における第２の電磁トラッカから受信することと、
前記第１の電磁トラッカ及び前記第２の電磁トラッカから受信された前記データに少なくとも基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定することと、を更に含む、実施態様１０に記載のシステム。
（１２） 前記組織壁の前記特性が、厚さ、剛性、又は組織組成のうちの少なくとも１つを含む、実施態様１０又は１１に記載のシステム。
（１３） 前記第１の器具及び前記第２の器具の前記第１の場所及び前記第２の場所、組織インピーダンス、並びに非可視光スペクトル撮像のうちの少なくとも１つに基づいて、前記組織壁の前記特性を判定することを更に含む、実施態様１２に記載のシステム。
（１４） 組織が前記第１の内視鏡の視野から前記第２の手術器具を遮るとき、及び組織が前記第２の内視鏡の視野から前記第１の手術器具を遮るとき、前記第１の手術器具の前記第１の場所を判定し、かつ前記第２の手術器具の前記第２の場所を判定することを更に含む、実施態様１０に記載のシステム。
（１５） 前記体腔が、空腸を含み、前記外科用インプラントが、吻合デバイスを含む、実施態様１０に記載のシステム。
前記コントローラに対して前記インプラントの前記第１の部分に関するデータを前記外科用インプラントの前記第１の部分における第１の電磁トラッカから受信し、かつ前記コントローラに対して前記インプラントの前記第２の部分に関するデータを前記外科用インプラントの前記第２の部分における第２の電磁トラッカから受信することと、
前記第１の電磁トラッカ及び前記第２の電磁トラッカから受信された前記データに少なくとも基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定することと、を更に含む、実施態様１０に記載のシステム。
（１２） 前記組織壁の前記特性が、厚さ、剛性、又は組織組成のうちの少なくとも１つを含む、実施態様１０又は１１に記載のシステム。
（１３） 前記第１の器具及び前記第２の器具の前記第１の場所及び前記第２の場所、組織インピーダンス、並びに非可視光スペクトル撮像のうちの少なくとも１つに基づいて、前記組織壁の前記特性を判定することを更に含む、実施態様１２に記載のシステム。
（１４） 組織が前記第１の内視鏡の視野から前記第２の手術器具を遮るとき、及び組織が前記第２の内視鏡の視野から前記第１の手術器具を遮るとき、前記第１の手術器具の前記第１の場所を判定し、かつ前記第２の手術器具の前記第２の場所を判定することを更に含む、実施態様１０に記載のシステム。
（１５） 前記体腔が、空腸を含み、前記外科用インプラントが、吻合デバイスを含む、実施態様１０に記載のシステム。
【0188】
（１６） 方法であって、
第１の内視鏡システムの第１の画像センサから、患者の体腔の第１の部分を特徴付ける第１の画像データをリアルタイムで受信することと、
第２の内視鏡システムの第２の画像センサから、前記体腔の第２の部分を特徴付ける第２の画像データをリアルタイムで受信することと、
コントローラによって、前記第１の画像データに基づいて、第１の身体部分内にあり、かつ外科用インプラントの第１の部分が解放可能に係合された第１の手術器具の第１の場所を判定することであって、前記第１の手術器具が、前記第２の内視鏡システムの視野の外側にあり、前記体腔の前記第２の部分が、前記第１の部分と異なり、前記体腔の第２の手術治療部位が、第１の手術治療部位と異なる、判定することと、
前記コントローラによって、前記第２の画像データに基づいて、前記第１の手術器具に対する前記体腔の前記第２の部分内の第２の手術器具の第２の場所を判定することであって、前記第２の手術器具に、外科用インプラントの第２の部分が解放可能に係合されており、前記第２の手術器具が、前記第１の内視鏡システムの視野の外側にある、判定することと、
前記コントローラによって、第１の前記体腔の前記第１の部分及び前記第２の部分内の組織壁の特性を判定することと、
前記コントローラによって、前記組織壁の前記特性に基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定することと、を含む、方法。
（１７） 前記組織壁の前記特性が、厚さ、剛性、又は組織組成のうちの少なくとも１つを含む、実施態様１６に記載の方法。
（１８） 前記第１の器具及び前記第２の器具の前記第１の場所及び前記第２の場所、組織インピーダンス、並びに非可視光スペクトル撮像のうちの少なくとも１つに基づいて、前記組織壁の前記特性を判定することを更に含む、実施態様１６又は１７に記載の方法。
（１９） 組織が前記第１の内視鏡の前記視野から前記第２の手術器具を遮るとき、及び組織が前記第２の内視鏡の前記視野から前記第１の手術器具を遮るとき、前記第１の手術器具の前記第１の場所を判定し、かつ前記第２の手術器具の前記第２の場所を判定することを更に含む、実施態様１６に記載の方法。
（２０） 前記体腔が、空腸を含み、前記外科用インプラントが、吻合デバイスを含む、実施態様１６に記載の方法。
第１の内視鏡システムの第１の画像センサから、患者の体腔の第１の部分を特徴付ける第１の画像データをリアルタイムで受信することと、
第２の内視鏡システムの第２の画像センサから、前記体腔の第２の部分を特徴付ける第２の画像データをリアルタイムで受信することと、
コントローラによって、前記第１の画像データに基づいて、第１の身体部分内にあり、かつ外科用インプラントの第１の部分が解放可能に係合された第１の手術器具の第１の場所を判定することであって、前記第１の手術器具が、前記第２の内視鏡システムの視野の外側にあり、前記体腔の前記第２の部分が、前記第１の部分と異なり、前記体腔の第２の手術治療部位が、第１の手術治療部位と異なる、判定することと、
前記コントローラによって、前記第２の画像データに基づいて、前記第１の手術器具に対する前記体腔の前記第２の部分内の第２の手術器具の第２の場所を判定することであって、前記第２の手術器具に、外科用インプラントの第２の部分が解放可能に係合されており、前記第２の手術器具が、前記第１の内視鏡システムの視野の外側にある、判定することと、
前記コントローラによって、第１の前記体腔の前記第１の部分及び前記第２の部分内の組織壁の特性を判定することと、
前記コントローラによって、前記組織壁の前記特性に基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定することと、を含む、方法。
（１７） 前記組織壁の前記特性が、厚さ、剛性、又は組織組成のうちの少なくとも１つを含む、実施態様１６に記載の方法。
（１８） 前記第１の器具及び前記第２の器具の前記第１の場所及び前記第２の場所、組織インピーダンス、並びに非可視光スペクトル撮像のうちの少なくとも１つに基づいて、前記組織壁の前記特性を判定することを更に含む、実施態様１６又は１７に記載の方法。
（１９） 組織が前記第１の内視鏡の前記視野から前記第２の手術器具を遮るとき、及び組織が前記第２の内視鏡の前記視野から前記第１の手術器具を遮るとき、前記第１の手術器具の前記第１の場所を判定し、かつ前記第２の手術器具の前記第２の場所を判定することを更に含む、実施態様１６に記載の方法。
（２０） 前記体腔が、空腸を含み、前記外科用インプラントが、吻合デバイスを含む、実施態様１６に記載の方法。
【0189】
（２１） 命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが実施態様１に記載のシステムのコントローラによって実行されるときに、前記コントローラに、
前記第１の画像センサ及び前記第２の画像センサの各々によって収集された画像を受信することと、
前記第１の手術器具の第１の場所及び前記第２の手術器具の第２の場所を互いに対して判定することと、
前記第１の体腔の前記第１の部分及び前記第２の部分内の前記組織壁の特性を判定することと、
前記組織壁の前記特性に基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定することと、を行わせる、コンピュータプログラム製品。
（２２） 命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが実施態様１０に記載のシステムのコントローラによって実行されるときに、前記システムに、実施態様１６に記載の方法を実行させる、コンピュータプログラム製品。
（２３） 実施態様２１に記載のコンピュータプログラム製品を記憶したコンピュータ可読媒体。
（２４） 実施態様２１に記載のコンピュータプログラム製品を搬送するデータ搬送信号。
前記第１の画像センサ及び前記第２の画像センサの各々によって収集された画像を受信することと、
前記第１の手術器具の第１の場所及び前記第２の手術器具の第２の場所を互いに対して判定することと、
前記第１の体腔の前記第１の部分及び前記第２の部分内の前記組織壁の特性を判定することと、
前記組織壁の前記特性に基づいて、前記外科用インプラントの前記第１の部分及び前記第２の部分の配置場所を判定することと、を行わせる、コンピュータプログラム製品。
（２２） 命令を含むコンピュータプログラム製品であって、前記命令は、前記プログラムが実施態様１０に記載のシステムのコントローラによって実行されるときに、前記システムに、実施態様１６に記載の方法を実行させる、コンピュータプログラム製品。
（２３） 実施態様２１に記載のコンピュータプログラム製品を記憶したコンピュータ可読媒体。
（２４） 実施態様２１に記載のコンピュータプログラム製品を搬送するデータ搬送信号。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図21A】
【図21B】
【図22】
【図23】
【図24】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【国際調査報告】