(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-10-10
(54)【発明の名称】管腔内及び管腔外の協働器具を有する手術システム
(51)【国際特許分類】
A61B 34/10 20160101AFI20241003BHJP
【ＦＩ】
A61B34/10
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2024519350
(86)(22)【出願日】2022-09-26
(85)【翻訳文提出日】2024-05-21
(86)【国際出願番号】 IB2022059101
(87)【国際公開番号】W WO2023052951
(87)【国際公開日】2023-04-06
(31)【優先権主張番号】63/249,980
(32)【優先日】2021-09-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/493,535
(32)【優先日】2021-10-04
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】506157570
【氏名又は名称】シラグ・ゲーエムベーハー・インターナショナル
【氏名又は名称原語表記】Ｃｉｌａｇ ＧＭＢＨ Ｉｎｔｅｒｎａｔｉｏｎａｌ
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】シェルトン・ザ・フォース・フレデリック・イー
(72)【発明者】
【氏名】シャイブ・チャールズ・ジェイ
(72)【発明者】
【氏名】ハリス・ジェイソン・エル
(72)【発明者】
【氏名】ハッサン・アレクサンダー・タレク
(72)【発明者】
【氏名】シュー・トラヴィス・マイケル
(57)【要約】
手術システムが提供される。例示的な一実施形態では、手術システムは、管腔外空間内の第１の部分と、管腔内空間内に配置された第２の部分とを有する第１のスコープ装置を含む。第１のスコープ装置は、第１のシーンの画像データを送信する。第２のスコープ装置は、管腔外空間内に配置され、第２のシーンの画像データを送信する。第１の器具の第１の部分は、第２のスコープ装置に対して第１のスコープ装置を追跡するために、第２のスコープ装置の視野内に存在する。コントローラは、第１及び第２のシーンの送信された画像データを受信し、管腔外空間内の第１のスコープ装置から第２のスコープ装置までの相対距離を判定し、マージされた画像を提供する。マージされた画像内の第１及び第２のスコープ装置のうちの少なくとも１つは、その代表的な描写である。
【特許請求の範囲】
【請求項1】
手術システムであって、管腔外解剖学的空間内に部分的に挿入されて位置決めされるように構成された第１の部分と、前記第１の部分の遠位にあり、管腔内解剖学的空間内に位置決めされるように構成された第２の部分と、を有する第１のスコープ装置であって、前記第１のスコープ装置が、前記第１のスコープ装置の視野内の第１のシーンの画像データを送信するように構成された、第１のスコープ装置と、
第２のスコープ装置であって、前記管腔外解剖学的空間内に少なくとも部分的に挿入されて配置され、前記第２のスコープ装置の視野内の第２のシーンの画像データを送信するように構成され、前記第２のシーンが前記第１のシーンとは異なり、前記第１の器具の前記第１の部分の少なくとも一部が前記第２のスコープ装置の前記視野内に存在し、それによって前記第１のスコープ装置を前記第２のスコープ装置に対して追跡する、第２のスコープ装置と、
前記第１のシーン及び前記第２のシーンの前記送信された画像データを受信し、前記管腔内解剖学的空間内の前記第１のスコープ装置の前記第２の部分から前記管腔外空間内の前記第２のスコープ装置までの相対距離を判定し、単一のシーンにおける前記第１のスコープ装置及び前記第２のスコープ装置の少なくとも一部のマージされた画像を提供するように構成されたコントローラであって、前記マージされた画像における前記第１のスコープ装置及び前記第２のスコープ装置の一部のうちの少なくとも１つが、その代表的な描写である、コントローラと、を備えている手術システム。
【請求項2】
前記第１のスコープ装置及び前記第２のスコープの一部が、それぞれ、前記マージされた画像内にその代表的な描写として示される、請求項１に記載の手術システム。
【請求項3】
前記第１のスコープ装置及び前記第２のスコープ装置のうちの少なくとも１つの少なくとも一部が、前記マージされた画像内にその実際の描写として示される、請求項１又は請求項２に記載の手術システム。
【請求項4】
前記第１のシーンを表示するように構成された第１のディスプレイと、前記第２のシーンを表示するように構成された第２のディスプレイとを更に備える、請求項１に記載の手術システム。
【請求項5】
前記第１のディスプレイ及び前記第２のディスプレイのうちの少なくとも１つが、前記単一のシーンを表示するように更に構成されている、請求項４に記載の手術システム。
【請求項6】
前記単一のシーンを表示するように構成された第３のディスプレイを更に備える、請求項４に記載の手術システム。
【請求項7】
前記第１のシーンが前記第２のスコープ装置を含まず、前記第２のシーンが前記第１のスコープ装置の前記第２のセグメントを含まない、請求項１に記載の手術システム。
【請求項8】
前記第１のスコープ装置が、内部を通って延在する作業チャネルを有する可撓性本体を備え、前記作業チャネルが、器具が前記管腔外空間と前記管腔内空間との両方に存在するように、前記器具の遠位端が前記管腔外空間内に挿入され、前記管腔外空間を通って前記管腔内空間内に挿入されることを可能にするように構成されている、請求項１に記載の手術システム。
【請求項9】
前記第２のシーンが、前記器具の前記遠位端を含まない、請求項８に記載の手術システム。
【請求項10】
前記第１のスコープ装置が、前記第１のスコープ装置の前記第１の部分上に配置された基準マーカを含む、請求項１に記載の手術システム。
【請求項11】
前記コントローラが、前記基準マーカに基づいて前記第１のスコープ装置の前記第２の部分を追跡するように構成されている、請求項１０に記載の手術システム。
【請求項12】
方法であって、第１のスコープ装置によって、前記第１のスコープ装置の第１のセグメントが管腔外解剖学的空間内に配置され、前記第１のセグメントの遠位にある前記第１のスコープ装置の第２のセグメントが管腔内解剖学的空間内に配置されている間に、前記第１のスコープ装置の視野内の第１のシーンの画像データを送信することと、
第２のスコープ装置によって、前記第２のスコープ装置が前記管腔外空間内に位置付けられている間に、前記第２のスコープ装置の視野内の第２のシーンの画像データを送信することであって、前記第２のシーンが前記第１のシーンと異なる、送信することと、
コントローラによって、前記第１のシーン及び前記第２のシーンの前記送信された画像データを受信することと、
前記コントローラによって、前記管腔内解剖学的空間内の前記第１のスコープ装置の前記第２のセグメントから前記管腔外空間内の前記第２のスコープ装置までの相対距離を判定することと、
単一のシーンにおける前記第１のスコープ装置及び前記第２のスコープ装置の少なくとも一部のマージされた画像を生成することであって、前記単一のシーンに示された前記第１のスコープ装置及び前記第２のスコープ装置の一部のうちの少なくとも１つが、その代表的な描写である、生成することと、を含む方法。
【請求項13】
前記マージされた画像内に前記第１のスコープ装置の一部の代表的な描写を表示することと、前記マージされた画像内に前記第２のスコープ装置の代表的な描写を表示することと、
を更に含む、請求項１２に記載の方法。
【請求項14】
前記第１のシーンを第１のディスプレイ上に表示することと、前記第２のシーンを第２のディスプレイ上に表示することと、
を更に含む、請求項１２に記載の方法。
【請求項15】
前記第１のディスプレイ及び前記第２のディスプレイのうちの少なくとも１つに前記単一のシーンを表示することを更に含む、請求項１４に記載の方法。
【請求項16】
前記単一のシーンを第３のディスプレイ上に表示することを更に含む、請求項１４に記載の方法。
【請求項17】
器具が前記管腔外空間と前記管腔内空間との両方に存在するように、前記第１のスコープ装置の可撓性本体の作業チャネルを通して器具を挿入して、前記器具の遠位端を前記管腔外空間内に入れ、前記管腔外空間を通して前記管腔内空間内に入れることを更に含む、請求項１２に記載の方法。
【請求項18】
前記第２のシーンが、前記器具の前記遠位端を含まない、請求項１７に記載の方法。
【請求項19】
前記コントローラによって、前記第１のスコープ装置の前記第１のセグメント上に配置された基準マーカに基づいて、前記管腔内空間内に配置された前記第１のスコープ装置の前記第２のセグメントを追跡することを更に含む、請求項１２に記載の方法。
【請求項20】
前記第１のシーンが前記第２のスコープ装置を含まず、前記第２のシーンが前記第１のスコープ装置の前記第１のセグメントを含まない、請求項１２に記載の方法。
【請求項21】
命令を含むコンピュータプログラム製品であって、前記命令が、前記プログラムがコントローラによって実行されるときに、前記コントローラに、第１のスコープ装置の第１のセグメントが管腔外解剖学的空間内に配置され、前記第１のセグメントの遠位にある前記第１のスコープ装置の第２のセグメントが管腔内解剖学的空間内に配置されている間に、前記第１のスコープ装置の視野内の第１のシーンの画像データを受信するステップと、
第２のスコープ装置が前記管腔外空間内に位置付けられている間に、前記第２のスコープ装置の視野内の第２のシーンの画像データを受信するステップであって、前記第２のシーンが前記第１のシーンと異なる、受信するステップと、
前記管腔内解剖学的空間内の前記第１のスコープ装置の前記第２のセグメントから前記管腔外空間内の前記第２のスコープ装置までの相対距離を判定するステップと、
単一のシーンにおける前記第１のスコープ装置及び前記第２のスコープ装置の少なくとも一部のマージされた画像を生成するステップであって、前記単一のシーンに示された前記第１のスコープ装置及び前記第２のスコープ装置の一部のうちの少なくとも１つが、その代表的な描写である、生成するステップと、を実行させる、コンピュータプログラム製品。
【請求項22】
請求項２１に記載のコンピュータプログラム製品を記憶したコンピュータ可読媒体。
【請求項23】
請求項２１に記載のコンピュータプログラム製品を搬送するデータ搬送信号。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０２１年９月２９日に出願された「Ｃｏｏｐｅｒａｔｉｖｅ Ａｃｃｅｓｓ」と題する米国仮特許出願第６３／２４９，９８０号の優先権を主張し、参照によりその開示の全体が本書に組み込まれる。
本出願は、２０２１年９月２９日に出願された「Ｃｏｏｐｅｒａｔｉｖｅ Ａｃｃｅｓｓ」と題する米国仮特許出願第６３／２４９，９８０号の優先権を主張し、参照によりその開示の全体が本書に組み込まれる。
【0002】
（発明の分野）
本発明は、概して、係留、協調的な内視鏡及び腹腔鏡アクセス、並びに組織操作等のための手術システム及びそれを使用する方法に関する。
本発明は、概して、係留、協調的な内視鏡及び腹腔鏡アクセス、並びに組織操作等のための手術システム及びそれを使用する方法に関する。
【背景技術】
【0003】
手術システムは、臨床医が、１つ又は複数のディスプレイ（例えば、モニタ、コンピュータタブレットスクリーンなど）上で、手術部位及び／又はその１つ又は複数の部分を見ることを可能にできる撮像システムを組み込んでいることが多い。ディスプレイ（複数可）は、手術現場（surgical theater）に局所的であっても、かつ／又は、遠隔であってもよい。撮像システムは、手術部位を見て、かつ臨床医（複数可）が見ることができるディスプレイにビューを送信する、カメラを備えたスコープを含むことができる。
【0004】
撮像システムは、臨床医（複数可）を認識することができ、かつ／又は臨床医（複数可）に伝達することができる情報によって制限される場合がある。例えば、三次元空間内の特定の隠れた構造、物理的輪郭、及び／又は寸法は、特定の撮像システムでは手術中に認識できないことがある。別の例に関しては、特定の撮像システムは、手術中に特定の情報を臨床医（複数可）に通信すること、及び／又は伝達することできない場合がある。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、改善された電動外科用ツールが依然として必要とされている。
【課題を解決するための手段】
【0006】
手術システムが提供される。例示的な一実施形態では、手術システムは、第１のスコープ装置、第２のスコープ装置、及びコントローラを含む。第１のスコープ装置は、管腔外解剖学的空間内に部分的に挿入されて位置決めされるように構成された第１の部分と、第１の部分の遠位にあり、管腔内解剖学的空間内に位置決めされるように構成された第２の部分と、を有する。第１のスコープ装置は、第１のスコープ装置の視野内の第１のシーンの画像データを送信するように構成される。第２のスコープ装置は、管腔外解剖学的空間内に少なくとも部分的に挿入されて配置され、第２のスコープ装置の視野内の第２のシーンの画像データを送信するように構成され、第２のシーンが第１のシーンとは異なり、第１の器具の第１の部分の少なくとも一部が第２のスコープ装置の視野内に存在し、それによって第１のスコープ装置を第２のスコープ装置に対して追跡する。コントローラは、第１のシーン及び第２のシーンの送信された画像データを受信し、管腔内解剖学的空間内の第１のスコープ装置の第２の部分から管腔外空間内の第２のスコープ装置までの相対距離を判定し、単一のシーンにおける第１のスコープ装置及び第２のスコープ装置の少なくとも一部の合成画像を提供するように構成され、合成画像における第１のスコープ装置及び第２のスコープ装置の一部の少なくとも一方は、その代表的な描写である。
【0007】
いくつかの実施形態では、第１のスコープ装置及び第２のスコープの一部は、それぞれ、マージされた画像内にその代表的な描写として示され得る。第１のスコープ装置及び第２のスコープ装置のうちの少なくとも１つの少なくとも一部分は、マージされた画像内にその実際の描写として示され得る。
【0008】
いくつかの実施形態では、本システムは、第１のシーンを表示するように構成された第１のディスプレイと、第２のシーンを表示するように構成され得る第２のディスプレイとを含むことができる。特定の実施形態では、第１のディスプレイ及び第２のディスプレイのうちの少なくとも１つは、単一のシーンを表示するように更に構成され得る。特定の実施形態では、本システムは、単一のシーンを表示するように構成することができる第３のディスプレイを含むことができる。
【0009】
いくつかの実施形態では、第１のシーンは第２のスコープ装置を含むことができず、第２のシーンは第１のスコープ装置の第２のセグメントを含むことができない。
【0010】
いくつかの実施形態では、第１のスコープ装置は、内部を通って延在する作業チャネルを有する可撓性本体を含むことができる。作業チャネルは、器具が管腔外空間と管腔内空間との両方に存在するように、器具の遠位端が管腔外空間内に挿入され、管腔外空間内を通って管腔内空間内に挿入されることを可能にするように構成され得る。そのような実施形態では、第２のシーンは、器具の遠位端を含むことができない。
【0011】
いくつかの実施形態では、第１のスコープ装置は、第１のスコープ装置の第１の部分上に配置された基準マーカを含むことができる。そのような実施形態では、コントローラは、基準マーカに基づいて第１のスコープ装置の第２の部分を追跡するように構成され得る。
【0012】
方法も提供される。例示的な一実施形態では、方法は、第１のスコープ装置によって、第１のスコープ装置の第１のセグメントが管腔外解剖学的空間内に配置され、第１のセグメントの遠位にある第１のスコープ装置の第２のセグメントが管腔内解剖学的空間内に配置されている間に、第１のスコープ装置の視野内の第１のシーンの画像データを送信することと、第２のスコープ装置によって、第２のスコープ装置が管腔外空間内に位置付けられている間に、第２のスコープ装置の視野内の第２のシーンの画像データを送信することであって、第２のシーンが第１のシーンと異なる、送信することと、コントローラによって、第１のシーン及び第２のシーンの送信された画像データを受信することと、コントローラによって、管腔内解剖学的空間内の第１のスコープ装置の第２のセグメントから管腔外空間内の第２のスコープ装置までの相対距離を判定することと、単一のシーンにおける第１のスコープ装置及び第２のスコープ装置の少なくとも一部のマージされた画像を生成することであって、単一のシーンに示された第１のスコープ装置及び第２のスコープ装置の一部のうちの少なくとも１つが、その代表的な描写である、生成することと、を含む。
【0013】
いくつかの実施形態では、本方法は、マージされた画像内に第１のスコープ装置の一部分の代表的な描写を表示することと、マージされた画像内に第２のスコープ装置の代表的な描写を表示することと、を含むことができる。
【0014】
いくつかの実施形態では、本方法は、第１のシーンを第１のディスプレイ上に表示することと、第２のシーンを第２のディスプレイ上に表示することと、を含むことができる。
【0015】
いくつかの実施形態では、本方法は、第１のディスプレイ及び第２のディスプレイのうちの少なくとも１つに単一のシーンを表示することを含むことができる。
【0016】
いくつかの実施形態では、本方法は、第３のディスプレイ上に単一のシーンを表示することを含むことができる。
【0017】
いくつかの実施形態では、本方法は、器具が管腔外空間と管腔内空間との両方に存在するように、第１のスコープ装置の可撓性本体の作業チャネルを通して器具を挿入して、器具の遠位端を管腔外空間内に入れ、管腔外空間を通して管腔内空間内に入れることを含むことができる。そのような実施形態では、第２のシーンは、器具の遠位端を含むことができない。
【0018】
いくつかの実施形態では、本方法は、コントローラによって、第１のスコープ装置の第１のセグメント上に配置された基準マーカに基づいて、管腔内空間内に配置された第１のスコープ装置の第２のセグメントを追跡することを含む。
【0019】
いくつかの実施形態では、第１のシーンは第２のスコープ装置を含むことができず、第２のシーンは第１のスコープ装置の第１のセグメントを含むことができない。
【図面の簡単な説明】
【0020】
本発明について、添付の図面を参照して説明する。
【図1】手術可視化システムの一実施形態の概略図である。
【図3】手術可視化システムの別の実施形態の概略図である。
【図4】手術可視化システムのための制御システムの一実施形態の概略図である。
【図5】手術可視化システムのための制御システムの制御回路の一実施形態の概略図である。
【図6】手術可視化システムの組み合わせロジック回路の一実施形態の概略図である。
【図7】手術可視化システムの順序ロジック回路の一実施形態の概略図である。
【図8】手術可視化システムの更に別の実施形態の斜視図である。
【図9】手術可視化システムのための制御システムの別の実施形態の概略図である。
【図10】様々な生物学的物質についての波長対吸収係数を示すグラフである。
【図11】手術部位を可視化するスペクトルエミッタの一実施形態の概略図である。
【図12】尿管を閉塞物から区別するための例示のハイパースペクトル特定シグネチャを描写するグラフである。
【図13】動脈を閉塞物から区別するための例示のハイパースペクトル特定シグネチャを描写するグラフである。
【図14】神経を閉塞物から区別するための例示のハイパースペクトル特定シグネチャを描写するグラフである。
【図15】術中に利用されている近赤外（near infrared、ＮＩＲ）飛行時間測定システムの一実施形態の概略図である。
【図17】術中に利用されている近赤外（ＮＩＲ）飛行時間測定システムの別の実施形態の概略図である。
【図18】コンピュータ実装双方向手術システムの一実施形態の概略図である。
【図19】手術室内で手術処置を行うために使用されている手術システムの一実施形態の概略図である。
【図20】スマート手術器具と手術ハブとを含む手術システムの一実施形態の概略図である。
【図22】内視鏡器具及び腹腔鏡器具を有する従来の手術システムの概略図であり、内視鏡器具が自然開口部を通して結腸に挿入され、腹腔鏡器具が腹腔を通して挿入され、結腸の外側表面と相互作用している、結腸の部分破断図を示す。
【図23】腹腔鏡器具及び管腔内器具を有する手術システムの例示的実施形態の概略図であり、腹腔鏡アプローチを通して結腸内に挿入されている管腔内器具を示す。
【図24】腹腔鏡器具及び２つの管腔内器具を有する手術システムの例示的実施形態の概略図であり、腹腔鏡アプローチを通して結腸内に挿入されている管腔内器具を示す。
【図25】手術システムの例示的な一実施形態の概略図である。
【図26】腹腔鏡器具及び管腔内器具を有する手術システムの例示的実施形態の概略図であり、腹腔鏡アプローチを通して結腸内に挿入されている管腔内器具を示す。
【図27】腹腔鏡器具及び管腔内器具を有する手術システムの例示的実施形態の概略図であり、腹腔鏡アプローチを通して結腸内に挿入されている管腔内器具を示す。
【発明を実施するための形態】
【0021】
本明細書に開示されるデバイス、システム、及び方法の構造、機能、製造、及び使用の原理が総括的に理解されるように、ある特定の例示的な実施形態について、これから説明する。これらの実施形態の１つ又は２つ以上の実施例が、添付の図面に例解されている。当業者であれば、本明細書で詳細に説明し、添付の図面に示されるデバイス、システム、及び方法は、非限定的な例示的な実施形態であり、本発明の範囲は、特許請求の範囲のみによって定義されることが理解されるであろう。例示的な一実施形態に関連して例解又は説明される特徴は、他の実施形態の特徴と組み合わせることができる。このような改変及び変形は、本発明の範囲内に含まれるものとする。
【0022】
更に、本開示においては、実施形態の同様の名称の構成要素は概して同様の特徴を有するものであり、したがって、特定の実施形態において、同様の名称の各構成要素の各特徴については必ずしも完全に詳しく述べることはしない。追加的に、開示されるシステム、デバイス、及び方法の説明で直線寸法又は円寸法が使用される限りにおいて、そのような寸法は、そのようなシステム、デバイス、及び方法と組み合わせて使用することができる形状の種類を限定しようとするものではない。当業者には、そのような直線寸法及び円寸法に相当する寸法を、任意の幾何学的形状について容易に判定することができる点が認識されるであろう。当業者は、寸法が正確な値ではなくても、製作公差及び測定機器の感度などの諸々の要因により、その値に近い値であると考えられることを理解するであろう。システム及びデバイスのサイズ及び形状、並びにその構成要素は、少なくとも、システム及びデバイスがそれとともに使用される構成要素のサイズ及び形状に依存し得る。
【0023】
手術可視化
一般に、手術可視化システムは、「デジタル手術」を活用して、患者の解剖学的構造及び／又は手術処置に関する追加情報を取得するように構成されている。手術可視化システムは、有用な様式で１人又は２人以上の医師にデータを伝達するように更に構成されている。本開示の様々な態様は、患者の解剖学的構造及び／若しくは手術処置の改善された可視化を提供し、並びに／又は手術ツール（本明細書では「手術デバイス」又は「手術器具」とも呼ばれる）の改善された制御を提供するために可視化を使用する。
一般に、手術可視化システムは、「デジタル手術」を活用して、患者の解剖学的構造及び／又は手術処置に関する追加情報を取得するように構成されている。手術可視化システムは、有用な様式で１人又は２人以上の医師にデータを伝達するように更に構成されている。本開示の様々な態様は、患者の解剖学的構造及び／若しくは手術処置の改善された可視化を提供し、並びに／又は手術ツール（本明細書では「手術デバイス」又は「手術器具」とも呼ばれる）の改善された制御を提供するために可視化を使用する。
【0024】
「デジタル手術」は、ロボットシステム、先進撮像、先進器具、人工知能、機械学習、性能追跡及びベンチマーキングのためのデータ分析、手術室（operating room、ＯＲ）の内外両方での接続性などを包含し得る。本明細書に記載される様々な手術可視化システムは、ロボット手術システムと組み合わせて使用することができるが、手術可視化システムは、ロボット手術システムとともに使用することに限定されない。特定の例では、ロボットなしで、並びに／あるいは、ロボット支援が制限されている、及び／若しくは任意である状態で、手術可視化システムを発生させることができる。同様に、ロボットなしで、並びに／あるいは、ロボット支援が制限されている、及び／又は任意である状態で、デジタル手術を発生させることができる。
【0025】
特定の例では、手術可視化システムを組み込む手術システムは、重要構造を特定し、それらを回避するためのスマート切開を可能にし得る。重要構造としては、解剖学的構造、例えば他の解剖学的構造の中でもとりわけ、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、及び／又は腫瘍が挙げられる。他の例では、重要構造は、解剖学的領域における外来構造、例えば、手術デバイス、手術締結具、クリップ、留め金、ブジー、バンド、プレート、及び遺物構造などとすることができる。重要構造は、患者ごと及び／又は処置ごとに判定される場合がある。スマート切開術は、例えば、切開のために改善された術中ガイダンスを提供し得、及び／又は、重要な解剖学的構造の検出及び回避技術によってよりスマートな判断を可能にし得る。
【0026】
手術可視化システムを組み込んだ手術システムは、改善されたワークフローによって最適な場所においてより一貫した吻合を提供するスマート吻合術を可能にし得る。がん局在化技術は、手術可視化プラットフォームを用いて改善され得る。例えば、がん局在化法は、がんの場所、向き、及びそのマージンを特定し、追跡することができる。特定の例では、がん局在化法は、手術処置中に手術器具、患者、及び／又は患者の解剖学的構造の動きを補償し、医師を関心のある点に戻す誘導を提供し得る。
【0027】
手術可視化システムは、改善された組織特徴付け、並びに／又はリンパ節診断及びマッピングを提供し得る。例えば、組織特徴付け技術は、特に切開時、及び／又は組織内のステープリングデバイスの配置時に、物理的触覚を必要とせずに組織の種類及び健康状態を特徴付けることができる。特定の組織特徴付け技術は、電離放射線及び／又は造影剤を使用せずに利用し得る。リンパ節診断及びマッピングに関して、手術可視化プラットフォームは、例えば、がん診断及びステージ診断に関与するリンパ系及び／又はリンパ節を手術前に位置特定し、マッピングし、理想的には、診断することができる。
【0028】
手術処置中、「肉眼」及び／又は撮像システムを介して医師が利用可能な情報は、不完全な手術部位のビューを提供する場合がある。例えば、臓器内に埋め込まれた又は埋もれた構造などの特定の構造は、ビューから少なくとも部分的に隠され、つまり見えない場合がある。追加的に、特定の寸法及び／又は相対距離は、既存のセンサシステムでの確認することが難しく、及び／又は「肉眼」では把握が難しい場合がある。更に、特定の構造は、術前（例えば、手術処置前であるが術前のスキャン後）、及び／又は術中に動く場合がある。そのような例では、医師は、術中に重要構造の場所を正確に判定することができない場合がある。
【0029】
重要構造の位置が不確定である場合、及び／又は重要構造と手術ツールとの間の近接度が不明である場合、医師の意思決定プロセスが阻害される可能性がある。例えば、医師は、重要構造の不注意による切開を回避するために、特定の領域を回避し得る。しかしながら、回避された領域は、不必要に大きく、かつ／又は、少なくとも部分的に場所を誤っている可能性がある。不確実性、及び／又は過度／過剰な用心に起因して、医師は特定の所望の領域に到達できない場合がある。例えば、重要構造がその特定領域にない場合、及び／又は、その特定領域での医師の行為によって悪影響がない場合であっても、用心のし過ぎにより、医師が、重要構造を回避しようと努力して、腫瘍及び／又は他の望ましくない組織の一部分を残してしまう場合がある。特定の例では、手術成績は知識及び／又は確実性が高まるとともに向上される場合があり、これにより、外科医にとって、より正確で、特定の例では、特定の解剖学的領域に対してより抑えて／より積極的になることが可能になる。
【0030】
手術可視化システムは、術中の特定及び重要構造の回避を可能にすることができる。したがって、手術可視化システムは、術中意思決定の強化及び手術転帰の改善を可能にし得る。手術可視化システムは、医師が「肉眼」で見るもの、並びに／あるいは撮像システムが認識し、及び／又は医師に伝達できるものを超えた、高度な可視化能力を提供することができる。手術可視化システムは、医師が組織治療（例えば、切開）の前に知ることができることを補強かつ強化でき、それにより、様々な例における結果を改善し得る。結果として、手術可視化システムが、例えば、切開中にアプローチされ得る重要構造を追跡していることを認識しながら、医師は、手術処置を通して勢いを確実に維持することができる。手術可視化システムは、医師が手術処置を休止し、及び／又は減速させ、重要構造に対する不注意による損傷を防止するためにその構造までの近接度を評価するのに十分な時間内で、医師に対して指示を提供することができる。手術可視化システムは、理想的で、最適化された、及び／又はカスタマイズ可能な量の情報を医師に提供して、健康組織及び／又は重要構造への不注意による損傷を回避しつつ、医師が組織全体を確実、及び／又は迅速に動くことを可能にし、これによって、手術処置から生じる損傷のリスクを最小限に抑えることができる。
【0031】
手術可視化システムは、以下に詳細に説明される。一般に、手術可視化システムは、複数のスペクトル波を放射するように構成された第１の光エミッタと、光パターンを放射するように構成された第２の光エミッタと、可視光、スペクトル波に対する分子応答（分光イメージング）、及び／又は光パターンを検出するように構成された受信器、若しくはセンサと、を含むことができる。手術可視化システムはまた、撮像システムと、受信器及び撮像システムとを信号通信する制御回路と、を含むことができる。受信器からの出力に基づいて、制御回路は、手術部位における可視表面の幾何学的表面マップ、例えば、三次元表面トポグラフィ、及び少なくとも部分的に隠れた構造までの距離などの手術部位に対する距離を判定することができる。撮像システムは、幾何学的表面マップ及び距離を医師に伝達することができる。そのような例では、医師に提供される手術部位の拡張ビューは、手術部位に関連するコンテキスト内で隠れた構造の表示を提供することができる。例えば、撮像システムは、が表面の下方のユーティリティ配管を示すために地面に引かれた線と同様に、隠している及び／又は遮断している組織の幾何学的表面マップ上に隠れた構造を仮想的に強化することができる。追加的又は代替的に、撮像システムは、可視の遮断している組織まで、及び／若しくは少なくとも部分的に隠れた構造までの手術ツールの近接度、並びに／又は、遮蔽している組織の可視表面の下方に隠された構造の深さを伝達することができる。例えば、可視化システムは、可視組織の表面上の拡張された線に対する距離を判定し、その距離を撮像システムに伝達することができる。
【0032】
本開示を通じて、特に可視光に言及しない限り、「光」への言及は全て、電磁放射線（electromagnetic radiation、ＥＭＲ）波長スペクトルの可視部分及び／又は非可視部分におけるＥＭＲ又は光子を含むことができる。可視スペクトルは、場合によっては、光スペクトル又は発光スペクトルとも称され、人間の目に見える（例えば、人間の目によって検出することができる）電磁スペクトルの一部分であり、「可視光」、又は単に「光」と称されることがある。典型的な人間の目は、空気中の約３８０ｎｍ～約７５０ｎｍの波長に応答する。不可視スペクトル（例えば、非発光スペクトル）は、可視スペクトルの下及び上にある電磁スペクトルの部分である。不可視スペクトルは、人間の目で検出可能ではない。約７５０ｎｍを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線（infrared、ＩＲ）、マイクロ波及び無線電磁放射線になる。約３８０ｎｍ未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、ｘ線及びガンマ線電磁放射線になる。
【0033】
図１は、手術可視化システム１００の一実施形態を例解する。手術可視化システム１００は、解剖学的領域内の重要構造１０１の視覚的表示を作成するように構成されている。重要構造１０１は、単一の重要構造又は複数の重要構造を含むことができる。本明細書で論じるように、重要構造１０１は、解剖学的構造、例えば、尿管、上腸間膜動脈などの動脈、門脈などの静脈、横隔神経などの神経、血管、腫瘍、若しくは他の解剖学的構造、又は外来構造、例えば、手術デバイス、手術締結具、手術クリップ、手術留め金、ブジー、手術バンド、手術プレート、若しくは他の外来構造などの様々な構造のいずれかとすることができる。本明細書で論じるように、重要構造１０１は、患者ごと及び／又は処置ごとに特定することができる。重要構造の実施形態及び可視化システムを使用して重要構造を特定する実施形態は、２０２０年１０月６日に発行された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｏｆ Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ」と題する米国特許第１０，７９２，０３４号に更に説明されており、その全体が参照することによって本明細書に組み込まれる。
【0034】
いくつかの例では、重要構造１０１は、組織１０３に埋め込まれ得る。換言すれば、組織１０３は、脂肪、結合組織、癒着、及び／又は臓器などの様々な組織のうちのいずれかであることができる。換言すれば、重要構造１０１は、組織１０３の表面１０５の下方に位置付けられ得る。そのような例では、組織１０３は、医師の「肉眼」のビューから重要構造１０１を隠している。組織１０３はまた、手術可視化システム１００の撮像デバイス１２０の視野から重要構造１０１を覆い隠す。重要構造１０１は、完全に覆い隠される代わりに、医師及び／又は撮像デバイス１２０の視野から部分的に覆い隠されることができる。
【0035】
手術可視化システム１００は、臨床分析及び／又は医学的介入で使用することができる。特定の例では、手術可視化システム１００を術中に使用して、近接度データ、寸法、及び／又は距離に関するリアルタイム情報などのリアルタイム情報を、手術処置中に医師に提供することができる。当業者であれば、情報は正確にリアルタイムでないが、それでもなお、データ送信によって引き起こされる時間遅延、データ処理によって引き起こされる時間遅延、及び／又は測定機器の感度などの様々な理由のいずれかにより、リアルタイムであるとみなされることがあると認識するだろう。手術可視化システム１００は、重要構造の術中特定のために、及び／又は手術デバイスによる重要構造１０１の回避を容易にするように構成されている。例えば、重要構造１０１を特定することによって、医師は、手術処置中に、重要構造１０１及び／又は重要構造１０１の既定の近接度の領域の周囲で手術デバイスを操作することを回避できる。別の実施例では、重要構造１０１を特定することによって、医師は、重要構造１０１及び／又はその近くの切開を回避することができ、それによって、重要構造１０１への損傷を防止するのに役立ち、及び／又は医師によって使用されている手術デバイスが重要構造１０１によって損傷されるのを防止するのに役立つ。
【0036】
手術可視化システム１００は、手術可視化システムの距離センサシステム１０４と組み合わせた組織特定及び幾何学的表面マッピングを組み込むように構成されている。組み合わせると、手術可視化システム１００のこれらの特徴は、解剖学的領域内の重要構造１０１の位置、並びに／又は、可視組織１０３の表面１０５及び／若しくは重要構造１０１への手術デバイス１０２の近接度を判定することができる。更に、手術可視化システム１００は、例えば、手術部位のリアルタイムのビューを提供するように構成された撮像デバイス１２０を含む撮像システムを含む。撮像デバイス１２０は、例えば、反射されたスペクトル波形を検出し、かつ様々な波長に対する分子応答に基づいて、画像のスペクトルキューブを生成するように構成されているスペクトルカメラ（例えば、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラ）を含むことができる。撮像デバイス１２０からのビューは、ディスプレイ（例えば、モニタ、コンピュータタブレットスクリーンなど）上などで、医師にリアルタイムで提供され得る。表示されたビューは、組織特定、ランドスケープマッピング、及び距離センサシステム１０４に基づく追加の情報で拡張することができる。そのような例では、手術可視化システム１００は、複数のサブシステム、つまり、撮像サブシステム、表面マッピングサブシステム、組織特定サブシステム、及び／又は距離判定サブシステムを含む。これらのサブシステムは協働して、高度なデータ合成及び統合された情報を手術中に医師に対して提供することができる。
【0037】
撮像デバイス１２０は、例えば、可視光、スペクトル光波（可視又は不可視）、及び構造化光パターン（可視又は不可視）を検出するように構成することができる。撮像デバイス１２０の実施例は、スコープ、例えば、内視鏡、関節鏡、血管鏡、気管支鏡、総胆管鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃－十二指腸鏡（胃鏡）、喉頭鏡、鼻咽頭－鼻腔鏡、Ｓ状結腸鏡、胸腔鏡、尿管鏡、又はエキソスコープを含む。スコープは、低侵襲手術処置において特に有用とすることができる。開腹手術用途では、撮像デバイス１２０は、スコープを含まなくてもよい。
【0038】
組織特定サブシステムは、スペクトル撮像システムを用いて達成することができる。スペクトル撮像システムは、ハイパースペクトル撮像、マルチスペクトル撮像、又は選択的スペクトル撮像などの撮像に依存することができる。組織のハイパースペクトル撮像の実施形態は、２０１６年３月１日に発行された、「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｇｒｏｓｓ Ａｎａｔｏｍｉｃ Ｐａｔｈｏｌｏｇｙ Ｕｓｉｎｇ Ｈｙｐｅｒｓｐｅｃｔｒａｌ Ｉｍａｇｉｎｇ」と題する米国特許第９，２７４，０４７号に更に説明されており、その全体を参照により本明細書に組み込まれる。
【0039】
表面マッピングサブシステムは、光パターンシステムを用いて達成することができる。表面マッピングのために光パターン（又は構造化光）を使用する様々な表面マッピング技法が、本明細書に説明される手術可視化システムにおいて利用することができる。構造化光は、表面上に既知のパターン（多くの場合、グリッド又は水平バー）を投影するプロセスである。特定の例では、見えない（つまり、検知不能な）構造化光を利用することができ、構造化光は、投影されたパターンが混乱し得る他のコンピュータビジョンタスクと干することなく利用される。例えば、２つの正確に反対のパターンを繰り返す赤外光又は非常に速いフレームレートの可視光を利用して干渉を防止することができる。表面マッピング、並びに光源及び光パターンを投影するためのプロジェクタを含む手術システムの実施形態は、２０１７年３月２日に公開された「Ｓｅｔ Ｃｏｍｐｒｉｓｉｎｇ Ａ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ」と題する米国特許出願公開第２０１７／００５５８１９号、２０１７年９月７日に公開された「Ｄｅｐｉｃｔｉｏｎ Ｓｙｓｔｅｍ」と題する米国特許出願公開第２０１７／０２５１９００号、及び２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号に更に説明されており、参照によりその全体が本明細書に組み込まれる。
【0040】
距離判定システムは、表面マッピングシステムに組み込むことができる。例えば、構造化光を利用して、可視表面１０５の三次元（three-dimensional、３Ｄ）仮想モデルを生成し、可視表面１０５に対する様々な距離を判定することができる。追加的又は代替的に、距離判定システムは飛行時間測定に依存し、手術部位における特定された組織（又は他の構造）に対する１つ又は２つ以上の距離を判定することができる。
【0041】
手術可視化システム１００はまた、手術デバイス１０２を含む。手術デバイス１０２は、任意の好適な手術デバイスとすることができる。手術デバイス１０２の実施例は、手術解剖器具、手術ステープラ、手術把持器、クリップアプライヤ、煙排出器、手術エネルギーデバイス（例えば、単極プローブ、双極プローブ、アブレーションプローブ、超音波デバイス、超音波エンドエフェクタなど）などを含む。いくつかの実施形態では、手術デバイス１０２は、手術デバイス１０２のシャフトの遠位端から延在し、組織を間に係合するように構成されている対向するジョーを有するエンドエフェクタを含む。
【0042】
手術可視化システム１００は、重要構造１０１と、重要構造１０１に対する手術デバイス１０２の近接度とを特定するように構成することができる。手術可視化システム１００の撮像デバイス１２０は、例えば、可視光、スペクトル光波（可視又は不可視）、及び構造化光パターン（可視又は不可視）などの様々な波長の光を検出するように構成されている。撮像デバイス１２０は、異なる信号を検出するための複数のレンズ、センサ、及び／又は受信器を含むことができる。例えば、撮像デバイス１２０は、本明細書で更に説明されるように、ハイパースペクトルカメラ、マルチスペクトルカメラ、又は選択的スペクトルカメラとすることができる。撮像デバイス１２０はまた、波形センサ１２２（例えば、スペクトル画像センサ、検出器、及び／又は三次元カメラレンズ）も含むことができる。例えば、撮像デバイス１２０は、２つの二次元画像を同時に記録し、それにより、手術部位の三次元（３Ｄ）画像を生成し、手術部位の三次元画像をレンダリングし、かつ／又は、手術部位で１つ又は複数の距離を判定するために一緒に使用される右側レンズ及び左側レンズを含むことができる。追加的又は代替的に、撮像デバイス１２０は、本明細書で更に説明されるように、可視組織のトポグラフィ、並びに隠れた重要構造の特定及び位置を示す画像を受信するように構成することができる。例えば、図１に示されるように、撮像デバイス１２０の視野を、組織１０３の表面１０５上の光パターン（構造化光）と重ねることができる。
【0043】
この例解された実施形態のように、手術可視化システム１００は、手術システム１１０に組み込むことができる。ロボット手術システム１１０は、本明細書で論じられるように、様々な構成を有することができる。例解された実施形態では、ロボット手術システム１１０は、第１のロボットアーム１１２と第２のロボットアーム１１４とを含む。ロボットアーム１１２、１１４は、各々、サーボモータ制御を含むことができる剛性構造部材１１６及び継手１１８を含む。第１のロボットアーム１１２は、手術デバイス１０２を操作するように構成されており、第２のロボットアーム１１４は、撮像デバイス１２０を操作するように構成されている。ロボット手術システム１１０のロボット制御ユニットは、それぞれ手術デバイス１０２及び撮像デバイス１２０に作用することができる第１のロボットアーム１１２及び第２のロボットアーム１１４への制御運動を発するように構成されている。
【0044】
いくつかの実施形態では、ロボットアーム１１２、１１４のうちの１つ又は２つ以上は、手術処置で使用される主ロボットシステム１１０とは別個とすることができる。例えば、ロボットアーム１１２、１１４のうちの少なくとも１つは、サーボモータ制御なしに特定の座標系に位置付けられ、かつ位置合わせすることができる。例えば、ロボットアーム１１２、１１４に対する閉ループ制御システム及び／又は複数のセンサは、特定の座標系に対するロボットアーム１１２、１１４の位置を制御し、かつ／又は位置合わせすることができる。同様に、手術デバイス１０２及び撮像デバイス１２０の位置は、特定の座標系に対して位置合わせすることができる。
【0045】
ロボット手術システムの実施例は、Ｏｔｔａｖａ（商標）のロボット支援手術システム（Ｊｏｈｎｓｏｎ ＆ Ｊｏｈｎｓｏｎ ｏｆ Ｎｅｗ Ｂｒｕｎｓｗｉｃｋ、ＮＪ）、ｄａ Ｖｉｎｃｉ（登録商標）の手術システム（Ｉｎｔｕｉｔｉｖｅ Ｓｕｒｇｉｃａｌ，Ｉｎｃ．ｏｆ Ｓｕｎｎｙｖａｌｅ、ＣＡ）、Ｈｕｇｏ（商標）のロボット支援手術システム（Ｍｅｄｔｒｏｎｉｃ ＰＬＣ ｏｆ Ｍｉｎｎｅａｐｏｌｉｓ、ＭＮ）、Ｖｅｒｓｉｕｓ（登録商標）の手術ロボットシステム（ＣＭＲ Ｓｕｒｇｉｃａｌ Ｌｔｄ ｏｆ Ｃａｍｂｒｉｄｇｅ、ＵＫ）、及びＭｏｎａｒｃｈ（登録商標）のプラットフォーム（Ａｕｒｉｓ Ｈｅａｌｔｈ，Ｉｎｃ．ｏｆ Ｒｅｄｗｏｏｄ Ｃｉｔｙ、ＣＡ）を含む。様々なロボット手術処置システム及びロボット手術処置システムを使用する実施形態は、２０１６年１２月２８日に出願された「Ｆｌｅｘｉｂｌｅ Ｉｎｓｔｒｕｍｅｎｔ Ｉｎｓｅｒｔｉｏｎ Ｕｓｉｎｇ Ａｎ Ａｄａｐｔｉｖｅ Ｆｏｒｃｅ Ｔｈｒｅｓｈｏｌｄ」と題する米国特許出願公開第２０１８／０１７７５５６号、２０１９年４月１６日に出願された「Ｓｙｓｔｅｍｓ Ａｎｄ Ｔｅｃｈｎｉｑｕｅｓ Ｆｏｒ Ｐｒｏｖｉｄｉｎｇ Ｍｕｌｔｉｐｌｅ Ｐｅｒｓｐｅｃｔｉｖｅｓ Ｄｕｒｉｎｇ Ｍｅｄｉｃａｌ Ｐｒｏｃｅｄｕｒｅｓ」と題する米国特許出願公開第２０２０／００００５３０号、２０２０年２月７日に出願された「Ｉｍａｇｅ－Ｂａｓｅｄ Ｂｒａｎｃｈ Ｄｅｔｅｃｔｉｏｎ Ａｎｄ Ｍａｐｐｉｎｇ Ｆｏｒ Ｎａｖｉｇａｔｉｏｎ」と題する米国特許出願公開第２０２０／０１７０７２０号、２０１９年１２月９日に出願された「Ｓｕｒｇｉｃａｌ Ｒｏｂｏｔｉｃｓ Ｓｙｓｔｅｍ」と題する米国特許出願公開第２０２０／０１８８０４３号、２０１９年９月３日に出願された「Ｓｙｓｔｅｍｓ Ａｎｄ Ｍｅｔｈｏｄｓ Ｆｏｒ Ｃｏｎｃｏｍｉｔａｎｔ Ｍｅｄｉｃａｌ Ｐｒｏｃｅｄｕｒｅｓ」と題する米国特許出願公開第２０２０／００８５５１６号、２０１３年７月１５日に出願された「Ｐａｔｉｅｎｔ－Ｓｉｄｅ Ｓｕｒｇｅｏｎ Ｉｎｔｅｒｆａｃｅ Ｆｏｒ Ａ Ｔｅｌｅｏｐｅｒａｔｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ」と題する米国特許第８，８３１，７８２号、及び２０１４年３月１３日に出願された「Ｈｙｐｅｒｄｅｘｔｅｒｏｕｓ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する国際公開第２０１４１５１６２１号に更に説明されている。
【0046】
手術可視化システム１００はまた、エミッタ１０６を含む。エミッタ１０６は、表面１０５のトポグラフィ又はランドスケープの判定を可能にするために、縞、グリッド線、及び／又はドットなどの光パターンを放射するように構成されている。例えば、投影された光アレイ１３０は、表面１０５上の三次元スキャン及び位置合わせのために使用することができる。投影された光アレイ１３０は、手術デバイス１０２、及び／又はロボットアーム１１２、１１４のうちの１つ、及び／又は撮像デバイス１２０上に位置するエミッタ１０６から放射することができる。一態様では、投影された光アレイ１３０は、手術可視化システム１００が組織１０３の表面１０５及び／又は表面１０５の運動により手術中に画定される形状を判定するために採用される。撮像デバイス１２０は、表面１０５から反射された投影された光アレイ１３０を検出して、表面１０５のトポグラフィ、及び表面１０５に対する様々な距離を判定するように構成されている。
【0047】
この例解された実施形態におけるように、撮像デバイス１２０は、撮像デバイス１２０上に装着されるか、又は別様に取り付けられることなどによって、光波形エミッタ１２３を含むことができる。光波形エミッタ１２３は、組織１０３の表面１０５を透過して重要構造１０１に到達することができる電磁放射線１２４（ＮＩＲ光子）を放射するように構成されている。撮像デバイス１２０、及び光波形エミッタ１２３は、ロボットアーム１１４によって位置付け可能とすることができる。光波形エミッタ１２３は、撮像デバイス１２２上、又は別様に装着されるが、他の実施形態では、撮像デバイス１２０とは別個の手術デバイス上に位置付けることができる。撮像デバイス１２０上の対応する波形センサ１２２（例えば、画像センサ、分光計、又は振動センサ）は、波形センサ１２２によって受信された電磁放射線の影響を検出するように構成されている。光波形エミッタ１２３から放射される電磁放射線１２４の波長は、重要構造１０１などの解剖学的構造及び／又は身体構造の種類の特定を可能にするように構成することができる。重要構造１０１の特定は、例えば、スペクトル分析、光音響、及び／又は超音波によって達成することができる。一態様では、電磁放射線１２４の波長は可変とすることができる。波形センサ１２２及び光波形エミッタ１２３は、例えば、マルチスペクトル撮像システム及び／又は選択的スペクトル撮像システムを含み得る。他の実施例では、波形センサ１２２及び光波形エミッタ１２３は、例えば、光音響撮像システムを含むことができる。
【0048】
手術可視化システム１００の距離センサシステム１０４は、手術部位における１つ又は２つ以上の距離を判定するように構成されている。距離センサシステム１０４は、この図示された実施形態におけるようなエミッタ１０６などのエミッタを含み、受信器１０８を含む、飛行時間型距離センサシステムとすることができる。他の例では、飛行時間エミッタは構造化光エミッタとは別個であり得る。エミッタ１０６は、非常に小さなレーザ源を含むことができ、受信器１０８は、マッチングセンサを含むことができる。距離センサシステム１０４は、「飛行時間」、又はエミッタ１０６によって放射されたレーザ光が受信器１０８のセンサ部分に跳ね返るまでにかかる時間を検出するように構成されている。エミッタ１０６中で非常に狭い光源を使用することにより、距離センサシステム１０４が、距離センサシステム１０４の直ぐ前にある組織１０３の表面１０５までの距離を判定することを可能にする。
【0049】
距離センサシステム１０４の受信器１０８は、この例解された実施形態では手術デバイス１０２上に位置付けられるが、他の実施形態では、受信器１０８は、手術デバイス１０２の代わりに別個の手術デバイス上に装着することができる。例えば、受信器１０８は、手術デバイス１０２が手術部位に到達するようにそこを通って延在するカニューレ又はトロカール上に装着することができる。更に他の実施形態では、距離センサシステム１０４のための受信器１０８は、手術デバイス１０２が結合された第１のロボットアーム１１２とは別個のロボットシステム１１０のロボット制御アーム上に（例えば、第２のロボットアーム１１４上に）装着することができるか、別のロボットによって動作する可動アーム上に装着することができるか、又は手術室（ＯＲ）台若しくは固定具に装着することができる。いくつかの実施形態では、撮像デバイス１２０は、手術デバイス１０２上のエミッタ１０６と撮像デバイス１２０との間の線を使用して、エミッタ１０６から組織１０３の表面１０５までの距離を判定することを可能にする受信器１０８を含む。例えば、距離センサシステム１０４の（手術デバイス１０２上の）エミッタ１０６、及び（撮像デバイス１２０上の）受信器１０８の既知の位置に基づいて、距離ｄｅを三角測量することができる。受信器１０８の三次元位置は、手術中に、ロボット座標平面に対して知ること、及び／又は記録することができる。
【0050】
この例解された実施形態におけるように、飛行時間距離センサシステム１０４のエミッタ１０６の位置は、第１ロボットアーム１１２によって制御することができ、距離センサシステム１０４の受信器１０８の位置は、第２ロボットアーム１１４によって制御することができる。別の実施形態では、手術可視化システム１００は、ロボットシステムとは別に利用することができる。そのような例では、距離センサシステム１０４は、ロボットシステムとは独立していてもよい。
【0051】
図１では、ｄｅは、エミッタ１０６から組織１０３の表面１０５までのエミッタ－組織間距離であり、ｄｔは、手術デバイス１０２の遠位端から組織１０３の表面１０５までのデバイス－組織間距離である。距離センサシステム１０４は、エミッタ－組織間距離ｄｅを判定するように構成されている。デバイス－組織間距離ｄｔは、手術デバイス１０２の遠位端に対する、手術デバイス１０２上、例えば、手術デバイスの遠位端に近位のそのシャフト上のエミッタ１０６の既知の位置から取得可能である。換言すれば、エミッタ１０６と手術デバイス１０２の遠位端との間の距離が既知である場合、デバイス－組織間距離ｄｔは、エミッタ－組織間距離ｄｅから判定され得る。いくつかの実施形態では、手術デバイス１０２のシャフトは、１つ又は複数の関節継手を含むことができ、エミッタ１０６及び手術デバイス１０２の遠位端にあるジョーに対して関節運動可能であり得る。関節運動構成は、例えば、多関節椎骨様構造を含むことができる。いくつかの実施形態では、三次元カメラを利用して、表面１０５までの１つ又は２つ以上の距離を三角測量することができる。
【0052】
図１では、ｄｗは、撮像デバイス１２０上に位置する光波形エミッタ１２３から重要構造１０１の表面までのカメラ－重要構造間距離であり、ｄＡは、組織１０３の表面１０５の下方の重要構造１０１の深さ（例えば、手術デバイス１０２に最も近い表面１０５の一部分と重要構造１０１との間の距離）である。撮像デバイス１２０上に位置する光波形エミッタ１２３から放射される光波形の飛行時間は、カメラ－重要構造間距離ｄｗを判定するように構成されている。
【0053】
図２に示されるように、組織１０３の表面１０５に対する重要構造１０１の深さｄＡは、距離ｄｗ、並びに手術デバイス１０２上のエミッタ１０６、及び撮像デバイス１２０上の光波形エミッタ１２３の既知の位置（したがって、これらの間の既知の距離ｄｘ）から三角測量によって判定されて、距離ｄｅとｄＡとの合計である距離ｄｙを判定することができる。追加的又は代替的に、光波形エミッタ１２３からの飛行時間は、光波形エミッタ１２３から組織１０３の表面１０５までの距離を判定するように構成することができる。例えば、第１の波形（又は波形範囲）を利用して、カメラ－重要構造間距離ｄｗを判定することができ、第２の波形（又は波形範囲）を利用して、組織１０３の表面１０５までの距離を判定することができる。そのような例では、異なる波形を利用して、組織１０３の表面１０５の下方の重要構造１０１の深さを判定することができる。
【0054】
追加的又は代替的に、距離ｄＡは、超音波、位置合わせされた磁気共鳴ビュー（magnetic resonance imaging、ＭＲＩ）、又はコンピュータ断層撮影（computerized tomography、ＣＴ）スキャンから判定することができる。更に他の例では、距離ｄＡは、撮像デバイス１２０によって受信された検出信号が材料の種類、例えば、組織１０３の種類に基づいて変動し得るので、スペクトル撮像によって判定することができる。例えば、脂肪は、検出信号を第１の方法、又は第１の量で減少させることができ、コラーゲンは、検出信号を異なる第２の方法、又は第２の量で減少させることができる。
【0055】
図３に例解された手術可視化システム１６０の別の実施形態では、撮像デバイス１２０ではなく手術デバイス１６２は、光波形エミッタ１２３と、反射された波形を検出するように構成されている波形センサ１２２と、を含む。光波形エミッタ１２３は、本明細書で更に説明されるように、手術デバイス１６２などの共通デバイスからの距離ｄｔ、及びｄｗを判定するための波形を放射するように構成されている。そのような例では、組織１０３の表面１０５から重要構造１０１の表面までの距離ｄＡは、以下のように判定することができる。
ｄＡ＝ｄｗ－ｄｔ
ｄＡ＝ｄｗ－ｄｔ
【0056】
手術可視化システム１００は、手術可視化システム１００の様々な態様を制御するように構成された制御システムを含む。図４は、手術可視化システム１００（又は本明細書に説明される他の手術可視化システム）の制御システムとして利用することができる制御システム１３３の一実施形態を例解する。制御システム１３３は、メモリ１３４と信号通信するように構成された制御回路１３２を含む。メモリ１３４は、重要構造（例えば、図１の重要構造１０１）を判定及び／又は認識するための命令、１つ又は複数の距離及び／又は三次元デジタル表示を判定及び／又は計算するための命令、並びに、情報を医師に通信するための命令など、制御回路１３２により実行可能な命令を記憶するように構成されている。したがって、メモリ１３４内に記憶された命令は、制御回路１３２によって実行されるときに、プロセッサに上述のように実行させる命令を含むコンピュータプログラム製品を構成する。また、このような命令は、任意のコンピュータ可読媒体（光ディスク、ＳＤカード、ＵＳＢドライブなど、又は別個のデバイスのメモリなど）に記憶されてもよく、そこからメモリ１３４にコピーされるか、又は直接実行されてもよい。コピー又は直接実行のプロセスは、コンピュータプログラム製品を搬送するデータキャリア信号の作成を伴う。この例解された実施形態におけるように、メモリ１３４は、表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１を記憶することができるが、メモリ１３４は、ロジック１３６、１３８、１４０、１４１の任意の組み合わせを記憶することができ、及び／又は様々なロジックを一緒に組み合わせることができる。制御システム１３３はまた、カメラ１４４を含む撮像システム１４２（例えば、図１の撮像デバイス１２０を含む撮像システム）、ディスプレイ１４６（例えば、モニタ、コンピュータタブレットスクリーン）、並びにカメラ１４４及びディスプレイ１４６の制御部１４８を含む。カメラ１４４は、様々な可視及び不可視スペクトルで光を放射する様々な光源からの信号を受信するように構成された画像センサ１３５（例えば、波形センサ１２２）（例えば、可視光、スペクトルイメージャ、三次元レンズなど）を含む。ディスプレイ１４６は、実際の、仮想の、及び／又は仮想的に拡張された画像及び／又は情報を医師に描写するように構成されている。
【0057】
例示的な実施形態では、画像センサ１３５は、ピクセルと呼ばれる個別の光検出器部位を最大で数百万個含む固体電子デバイスである。画像センサ１３５の技術は、電荷結合素子（Charge-Coupled Device、ＣＣＤ）イメージャ及び相捕型金属酸化膜半導体（Complementary Metal Oxide Semiconductor、ＣＭＯＳ）イメージャの２つの範疇のうちの１つに分類され、より直近になると、短波赤外線（short-wave infrared、ＳＷＩＲ）が撮像における新技術である。別の種類の画像センサ１３５は、ハイブリッドＣＣＤ／ＣＭＯＳアーキテクチャ（「ｓＣＯＭＳ」の名称で販売）を採用し、ＣＣＤ撮像基板にバンプ接合されたＣＭＯＳ読み出し集積回路（readout integrated circuit、ＲＯＩＣ）からなる。ＣＣＤ及びＣＭＯＳ画像センサ１３５は、約４００ｎｍ～約１０００ｎｍの範囲など、約３５０ｎｍ～約１０５０ｎｍの範囲の波長に対して感度がある。当業者であれば、値が正確にある値ではないが、それでもなお、測定機器の感度及び製造公差などの様々な理由のいずれかにより、ほぼその値であるとみなされることがあると認識するであろう。ＣＭＯＳセンサは、一般に、ＣＣＤセンサよりもＩＲ波長に対して感度が高い。固体画像センサ１３５は、光電効果に基づいており、その結果、色を区別することができない。したがって、１チップ及び３チップの２種類のカラーＣＣＤカメラが存在する。シングルチップカラーＣＣＤカメラは、一般的な低コストの撮像ソリューションを提供し、モザイク（例えば、ベイヤー）光学フィルタを使用して、入射光を一連の色に分離し、補間アルゴリズムを採用してフルカラー画像を解像する。次いで、各色は、異なるピクセルセットに方向付けられる。３チップカラーＣＣＤカメラは、プリズムを採用することによってより高い分解能を提供し、入射スペクトルの各セクションを異なるチップに誘導する。オブジェクトの空間内の各点が、色を判定するためのアルゴリズムを使用するのではなく、別個のＲＧＢ強度値を有するため、より正確な色再現が可能である。３チップカメラは、非常に高い分解能を提供する。
【0058】
制御システム１３３はまた、各々が制御回路１３３に動作可能に結合されたスペクトル光源１５０及び構造化光源１５２を含むエミッタ（例えば、エミッタ１０６）を含む。単一の光源は、スペクトル光源１５０の範囲内の光の波長及び構造化光源１５２の範囲内の光の波長を放射するようにパルス化することができる。あるいは、単一の光源は、不可視スペクトル内の光（例えば、赤外スペクトル光）及び可視スペクトル上の光の波長を供給するようにパルス化することができる。スペクトル光源１５０は、例えば、ハイパースペクトル光源、マルチスペクトル光源、及び／又は選択的スペクトル光源とすることができる。組織特定ロジック１４０は、カメラ１４４の画像センサ１３５によって受信されたスペクトル光源１５０からのデータを介して、重要構造（複数可）（例えば、図１の重要構造１０１）を特定するように構成されている。表面マッピングロジック１３６は、反射された構造化光に基づいて、可視組織（例えば、組織１０３）の表面の輪郭を判定するように構成されている。飛行時間測定により、距離判定ロジック１４１は、可視組織及び／又は重要構造までの１つ又は２つ以上の距離を判定するように構成されている。表面マッピングロジック１３６、組織特定ロジック１４０、及び距離判定ロジック１４１の各々からの出力は、撮像ロジック１３８に提供され、撮像システム１４２のディスプレイ１４６を介して医師に伝達されるように撮像ロジック１３８によって、組み合わされ、一体化され、及び／又は重ね合わせられるように構成されている。
【0059】
制御回路１３２は、様々な構成を有することができる。図５は、手術可視化システム１００の態様を制御するように構成された制御回路１３２として使用することができる制御回路１７０の一実施形態を例解する。制御回路１７０は、本明細書に説明される様々なプロセスを実装するように構成されている。制御回路１７０は、メモリ１７４に動作可能に結合されたプロセッサ１７２（例えば、マイクロプロセッサ又はマイクロコントローラ）を含むマイクロコントローラを含む。メモリ回路１７４は、プロセッサ１７２によって実行されるときに、プロセッサ１７２に、本明細書に説明される様々なプロセスを実装するための機械命令を実行させる、機械実行可能命令を記憶するように構成されている。プロセッサ１７２は、当該技術分野で既知のいくつかのシングルコアプロセッサ又はマルチコアプロセッサのうちの任意の１つとすることができる。メモリ回路１７４は、揮発性及び不揮発性の記憶媒体を含むことができる。プロセッサ１７２は、命令処理ユニット１７６、及び演算ユニット１７８を含む。命令処理ユニット１７６は、メモリ回路１７４から命令を受信するように構成されている。
【0060】
表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１は、様々な構成を有することができる。図６は、表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１のうちの１つ又は２つ以上などのロジックを使用して、手術可視化システム１００の態様を制御するように構成された組み合わせロジック回路１８０の一実施形態を例解する。組み合わせロジック回路１８０は、入力１８４において手術デバイス（例えば、手術デバイス１０２及び／又は撮像デバイス１２０）に関連付けられたデータを受信し、組み合わせロジック１８２によってデータを処理し、出力１８４を制御回路（例えば、制御回路１３２）に提供するように構成された組み合わせロジック１８２を含む有限状態マシンを含む。
【0061】
図７は、表面マッピングロジック１３６、撮像ロジック１３８、組織特定ロジック１４０、及び距離判定ロジック１４１のうちの１つ又は２つ以上などのロジックを使用して、手術可視化システム１００の態様を制御するように構成された順序ロジック回路１９０の一実施形態を例解する。順序ロジック回路１９０は、組み合わせロジック１９２、メモリ１９４、及びクロック１９６を含む有限状態マシンを含む。メモリ１９４は、有限状態マシンの現在の状態を記憶するように構成されている。順序ロジック回路１９０は、同期又は非同期とすることができる。組み合わせロジック１９２は、入力４２６において手術デバイス（例えば、手術デバイス１０２及び／又は撮像デバイス１２０）に関連付けられたデータを受信し、組み合わせロジック１９２によってデータを処理し、出力４９９を制御回路（例えば、制御回路１３２）に提供するように構成されている。いくつかの実施形態では、順序ロジック回路１９０は、本明細書の様々なプロセスを実施するために、プロセッサ（例えば、図５のプロセッサ１７２）と有限状態マシンとの組み合わせを含むことができる。いくつかの実施形態では、有限状態マシンは、組み合わせロジック回路（例えば、図７の組み合わせロジック回路１９２）と順序ロジック回路１９０との組み合わせを含むことができる。
【0062】
図８は、手術可視化システム２００の別の実施形態を例解する。手術可視化システム２００は、概して、図１の手術可視化システム１００と同様に構成されるとともに使用され、例えば、手術デバイス２０２及び撮像デバイス２２０を含む。撮像デバイス２２０は、例えば、隠れた構造のスペクトル画像を取得するために複数の波長のスペクトル光を放射するように構成されたスペクトル光エミッタ２２３を含む。撮像デバイス２２０はまた、三次元カメラ及び関連する電子処理回路を含むことができる。臓器２０３の表面２０５上では不可視の尿管２０１ａ、及び臓器２０３（この例では、子宮）内の血管２０１ｂなどの特定の重要構造を特定し、それらの回避を容易にするために術中に利用されている、手術可視化システム２００が示されている。
【0063】
手術可視化システム２００は、構造化光によって、手術デバイス２０２上のエミッタ２０６から子宮２０３の表面２０５までのエミッタ－組織間距離ｄｅを判定するように構成されている。手術可視化システム２００は、エミッタ－組織間距離ｄｅに基づいて、手術デバイス２０２から子宮２０３の表面２０５までのデバイス－組織間距離ｄｔを推定するように構成されている。また、手術可視化システム２００は、尿管２０１ａから表面２０５までの組織－尿管間距離ｄＡ、及び撮像デバイス２２０から尿管２０１ａまでのカメラ－尿管間距離ｄｗを判定するように構成されている。本明細書に説明されるように、例えば、図１の手術可視化システム１００に関して、手術可視化システム２００は、例えば、スペクトル撮像及び飛行時間型センサを用いて、距離ｄｗを判定するように構成されている。様々な実施形態では、手術可視化システム２００は、本明細書に説明される他の距離、及び／又は表面マッピングロジックに基づいて、組織－尿管間距離ｄＡ（つまり、深さ）を判定（例えば、三角測量）することができる。
【0064】
上述したように、手術可視化システムは、手術可視化システムの様々な態様を制御するように構成された制御システムを含む。制御システムは、様々な構成を有することができる。図９は、図１の手術可視化システム１００、図８の手術可視化システム２００、又は本明細書に説明される他の手術可視化システムなどの手術可視化システムのための制御システム６００の一実施形態を例解する。制御システム６００は、スペクトルシグネチャ組織特定及び構造化光組織位置特定を統合して、特に、重要構造が組織、例えば、脂肪、結合組織、血液組織、及び／又は臓器（複数可）によって、及び／若しくは血液によって覆い隠されているときにその構造（複数可）を特定し、かつ／又は、腫瘍及び／若しくは非健常組織を臓器内の健常組織から区別するなど、組織変動性を検出する変換システムである。
【0065】
制御システム６００は、ハイパースペクトル撮像可視化システムを実装するように構成されており、このシステムでは、分子応答を利用して、手術視野内の解剖学的構造を検出及び特定する。制御システム６００は、組織データを外科医及び／又は他の医療従事者に使用可能な情報に変換するように構成された変換ロジック回路６４８を含む。例えば、覆い隠されている材料に対する波長に基づく可変反射率を利用して、解剖学的構造中の重要構造を特定することができる。更に、制御システム６００は、特定されたスペクトルシグネチャと構造光データとを画像内で組み合わせるように構成されている。例えば、制御システム６００を採用して、拡張画像オーバーレイを用いたシステムにおける手術用途のための三次元データセットを作成することができる。技術は、追加の視覚的情報を採用して、手術中及び手術前の両方で採用することができる。様々な実施形態では、制御システム６００は、１つ又は２つ以上の重要構造の近接するときに、医師に警告を提供するように構成されている。手術処置及び重要構造への近接度に基づくロボット自動化アプローチ及び半自動化アプローチを誘導するために、様々なアルゴリズムを採用することができる。
【0066】
投影された光アレイは、組織の形状及び運動を術中に判定するために制御システム６００によって採用される。代替的に、フラッシュライダーを組織の表面マッピングに利用してもよい。
【0067】
制御システム６００は、上述のように、１つ又は２つ以上の重要構造を含むことができる重要構造を検出し、重要構造の画像オーバーレイを提供し、可視組織の表面までの距離、及び埋め込まれた／埋もれた重要構造までの距離を測定するように構成されている。制御システム６００は、可視組織の表面までの距離を測定し、又は重要構造を検出し、重要構造の画像オーバーレイを提供することができる。
【0068】
制御システム６００は、スペクトル制御回路６０２を含む。スペクトル制御回路６０２は、フィールドプログラマブルゲートアレイ（field programmable gate array、ＦＰＧＡ）又は図６、図７、及び図８に関して説明される構成などの別の好適な回路構成であることができる。
【0069】
スペクトル制御回路６０２は、ビデオ入力プロセッサ６０６からビデオ入力信号を受信するように構成されたプロセッサ６０４を含む。プロセッサ６０４は、ハイパースペクトル処理を行うように構成されてよく、例えば、Ｃ／Ｃ＋＋コードを利用することができる。ビデオ入力プロセッサ６０６は、例えば、シャッタ時間、波長、及びセンサ分析などの制御（メタデータ）データのビデオインを受信するように構成されている。プロセッサ６０４は、ビデオ入力プロセッサ６０６からのビデオ入力信号を処理し、例えば、インターフェース制御（メタデータ）データのハイパースペクトルビデオアウトを含むビデオ出力信号をビデオ出力プロセッサ６０８に提供するように構成されている。ビデオ出力プロセッサ６０８は、ビデオ出力信号を画像オーバーレイコントローラ６１０に提供するように構成されている。
【0070】
ビデオ入力プロセッサ６０６は、患者隔離回路６１４を介して患者側のカメラ６１２に動作可能に結合されている。カメラ６１２は、固体画像センサ６３４を含む。患者隔離回路６１４は、患者がシステム内の他の回路から隔離されるように、複数の変圧器を含むことができる。カメラ６１２は、光学素子６３２及び画像センサ６３４を介して術中画像を受信するように構成されている。画像センサ６３４は、例えば、ＣＭＯＳ画像センサを含むことができるか、又は図４に関連して本明細書で論じられるものなどの別の画像センサ技術を含むことができる。カメラ６１２は、１４ビット／ピクセル信号で６１３個の画像を出力するように構成されている。当業者は、より高いか、又はより低い分解能を採用することができると認識するであろう。隔離カメラ出力信号６１３は、カラーＲＧＢ融合回路６１６に提供され、この回路は、この例解された実施形態において、カメラ出力信号６１３を処理する構成されたカメラハードウェアレジスタ６１８及びＮｉｏｓ２コプロセッサ６２０を採用する。ビデオ入力プロセッサ６０６及びレーザパルス制御回路６２２には、カラーＲＧＢ融合出力信号が提供される。
【0071】
レーザパルス制御回路６２２は、レーザ光エンジン６２４を制御するように構成されている。レーザ光エンジン６２４は、近赤外線（ＮＩＲ）を含む複数の波長（λ１、λ２、λ３．．．λｎ）において光を出力するように構成されている。レーザ光エンジン６２４は、複数のモードで動作することができる。例えば、レーザ光エンジン６２４は、２つのモードで動作することができる。第１のモード、例えば、通常動作モードでは、レーザ光エンジン６２４は、照明信号を出力するように構成されている。第２のモード、例えば、特定モードでは、レーザ光エンジン６２４は、ＲＧＢＧ光及びＮＩＲ光を出力するように構成されている。様々な実施形態では、レーザ光エンジン６２４は、偏光モードで動作することができる。
【0072】
レーザ光エンジン６２４からの光出力６２６は、術中の手術部位６２７内の標的とされる解剖学的構造を照明するように構成されている。レーザパルス制御回路６２２はまた、手術部位６２７における手術組織、又は臓器上に所定の波長（λ２）で、ライン及び／又はドットのグリッド又はパターンなどのレーザ光パターン６３１を投影するように構成されたレーザパターンプロジェクタ６３０のためのレーザパルスコントローラ６２８を制御するように構成されている。カメラ６１２は、カメラ光学素子６３２を通して出力されたパターン化された光及び反射光を受信するように構成されている。画像センサ６３４は、受信された光をデジタル信号に変換するように構成されている。
【0073】
カラーＲＧＢ融合回路６１６はまた、画像オーバーレイコントローラ６１０、並びに、レーザパターンプロジェクタ６３０によって手術部位６２７の標的とされる解剖学的構造上に投影されたレーザ光パターン６３１を読み取るためのビデオ入力モジュール６３６に信号を出力するように構成されている。処理モジュール６３８は、レーザ光パターン６３１を処理し、手術部位６２７において可視組織までの距離を表す第１のビデオ出力信号６４０を出力するように構成されている。データは、画像オーバーレイコントローラ６１０に提供される。処理モジュール６３８はまた、手術部位における標的とされる解剖学的構造の組織又は臓器の三次元レンダリングされた形状を表す第２のビデオ信号６４２を出力するように構成されている。
【0074】
第１のビデオ出力信号６４０及び第２のビデオ出力信号６４２は、集積モジュール６４３に提供される三次元表面モデル上の重要構造の位置を表すデータを含む。スペクトル制御回路６０２のビデオ出力プロセッサ６０８からのデータと組み合わせて、統合モジュール６４３は、埋もれた重要構造までの距離（例えば、図１の距離ｄＡ）を（例えば、三角測量アルゴリズム６４４によって）判定するように構成されており、埋もれた重要構造までの距離は、ビデオ出力プロセッサ６４６を介して、画像オーバーレイコントローラ６１０に提供することができる。前述の変換ロジックは、変換ロジック回路６４８、中間ビデオモニタ６５２、及び手術部位６２７に位置付けられたカメラ６２４／レーザパターンプロジェクタ６３０を包含することができる。
【0075】
ＣＴ又はＭＲＩスキャンなどによる術前データ６５０を採用して、特定の三次元変形可能な組織を様々な例で位置合わせ又は整列させることができる。このような術前データ６５０は、集積モジュール６４３、最終的には、画像オーバーレイコントローラ６１０に提供することができるので、このような情報はカメラ６１２のビューと重ね合わせられ、ビデオモニタ６５２に提供することができる。術前データの位置合わせの実施形態は、２０１８年９月１１日に出願された「Ｉｎｔｅｇｒａｔｉｏｎ Ｏｆ Ｉｍａｇｉｎｇ Ｄａｔａ」と題する米国特許出願公開第２０２０／００１５９０７号に更に説明されており、その全体は参照として本明細書に組み込まれる。
【0076】
ビデオモニタ６５２は、画像オーバーレイコントローラ６１０から統合／拡張ビューを出力するように構成されている。医師は、１つ又は２つ以上のディスプレイ上の異なるビューを選択し、及び／又は切り替えることができる。例解された実施形態において、モニタである第１のディスプレイ６５２ａ上で、医師は、（Ａ）可視組織の三次元レンダリングが示されているビューと、（Ｂ）１つ又は２つ以上の隠れた重要構造が可視組織の三次元レンダリングの上に描写される拡張ビューとを切り替えることができる。例解された実施形態において、モニタである第２のディスプレイ６５２ｂ上で、医師は、例えば、１つ又は２つ以上の隠れた重要構造、及び／又は可視組織の表面までの距離測定値を切り替えることができる。
【0077】
本明細書に説明される様々な手術可視化システムを利用して、スペクトルの可視部分においてＥＭＲにより可視化されるのが覆い隠され得る組織、及び／又は解剖学的構造を含む、様々な異なる種類の組織、及び／又は解剖学的構造を可視化することができる。手術可視化システムは、上述したように、スペクトル撮像システムを利用することができ、これは、構成材料の様々な組み合わせに基づいて、異なる種類の組織を可視化するように構成することができる。特に、スペクトル撮像システムは、様々なＥＭＲ波長にわたる組織の吸収係数に基づいて可視化されている組織内の様々な構成材料の存在を検出するように構成することができる。スペクトル撮像システムは、構成材料の特定の組み合わせに基づいて、可視化されている組織の組織種類を特徴付けるように構成することができる。
【0078】
図１０は、様々な生体材料の吸収係数がＥＭＲ波長スペクトルにわたり、どのように変動するかを描写するグラフ３００を示す。グラフ３００では、垂直軸３０２は、生体材料の吸収係数をｃｍ－１単位で表し、水平軸３０４は、ＥＭＲ波長をμｍ単位で表す。このグラフ３００における第１の線３０６は、様々なＥＭＲ波長における水の吸収係数を表し、第２の線３０８は、様々なＥＭＲ波長におけるタンパク質の吸収係数を表し、第３の線３１０は、様々なＥＭＲ波長におけるメラニンの吸収係数を表し、第４の線３１２は、様々なＥＭＲ波長における脱酸素化ヘモグロビンの吸収係数を表し、第５の線３１４は、様々なＥＭＲ波長における酸素化ヘモグロビンの吸収係数を表し、第６の線３１６は、様々なＥＭＲ波長におけるコラーゲンの吸収係数を表す。組織種類が異なると、構成材料の組み合わせも異なるので、手術可視化システムによって可視化されている組織種類は、検出された構成材料の特定の組み合わせに従って、特定し、差別化することが可能である。したがって、手術可視化システムのスペクトル撮像システムは、いくつかの異なる波長でＥＭＲを放射し、異なる波長で検出された吸収ＥＭＲ吸収応答に基づいて、組織の構成材料を判定し、その後、構成材料の特定の検出された組み合わせに基づいて、組織種類を特徴付けるように構成することができる。
【0079】
図１１は、異なる組織種類、及び／又は解剖学的構造を可視化するためのスペクトル撮像技術の利用の一実施形態を示す。図１１では、スペクトルエミッタ３２０（例えば、図４のスペクトル光源１５０）は、手術部位３２２を可視化するために撮像システムによって利用されている。スペクトルエミッタ３２０によって放射され、手術部位３２２の組織及び／又は構造から反射されたＥＭＲは、画像センサ（例えば、図４の画像センサ１３５）によって受信されて、組織及び／又は構造を可視化し、これらは、可視であるか（例えば、手術部位３２２の表面に位置している）、又は覆い隠されている（例えば、手術部位３２２において他の組織及び／又は構造の下にある）かのいずれかとすることができる。この実施形態では、撮像システム（例えば、図４の撮像システム１４２）は、異なる組織／構造種類の各々に対して、構成材料の異なる吸収性特性（例えば、吸収係数）によって特徴付けられるスペクトルシグネチャに基づいて、腫瘍３２４、動脈３２６、及び様々な異常３２８（例えば、既知又は予想されるスペクトルシグネチャに対して確認できない組織）を可視化する。可視化された組織及び構造は、撮像システムに関連付けられた又は結合されたディスプレイスクリーン（例えば、図４の撮像システム１４２のディスプレイ１４６）上、主ディスプレイ（例えば、図１９の主ディスプレイ８１９）上、非滅菌ディスプレイ（例えば、図１９の非滅菌ディスプレイ８０７、８０９）上、手術ハブのディスプレイ（例えば、図１９の手術ハブ８０６のディスプレイ）上、デバイス／器具ディスプレイ上、及び／又は別のディスプレイ上に表示することができる。
【0080】
撮像システムは、特定された組織及び／又は構造種類に従って、表示された手術部位の可視化を調整、又は更新するように構成することができる。例えば、図１１に示されるように、撮像システムは、撮像システムに関連付けられた又は結合されたディスプレイスクリーン上、主ディスプレイ上、非滅菌ディスプレイ上、手術ハブのディスプレイ上、デバイス／器具ディスプレイ上、及び／又は別のディスプレイ上に可視化されている腫瘍３２４に関連付けられたマージン３３０を表示することができる。マージン３３０は、腫瘍３２４を確実に完全に除去するように切除されるべき組織の面積又は量を示すことができる。手術可視化システムの制御システム（例えば、図４の制御システム１３３）は、撮像システムによって特定された組織及び／又は構造に基づいて、マージン３３０の寸法を制御又は更新するように構成することができる。例解された実施形態では、撮像システムは、視野（field of view、ＦＯＶ）内の複数の異常３２８を特定している。したがって、制御システムは、この異常３２８を包含するのに十分な寸法を有する第１の更新されたマージン３３２に、表示されたマージン３３０を調節することができる。更に、撮像システムは、最初に表示されたマージン３３０（動脈３２６の強調表示された領域３３４によって示されるように）と部分的に重なっている動脈３２６を特定している。したがって、制御システムは、この動脈３２６の関連部分を包含するのに十分な寸法を有する第２の更新されたマージン３３６に、表示されたマージンを調節することができる。
【0081】
組織及び／又は構造はまた、図１０及び図１１に関して上述した吸収性状に加えて、又はそれに代えて、ＥＭＲ波長スペクトルにわたるこれらの反射性状に従って、撮像するか又は特徴付けることができる。例えば、図１２、図１３、及び図１４は、様々なＥＭＲ波長にわたる異なる種類の組織又は構造の反射率の様々なグラフを例解する。図１２は、覆い隠すものに対する例示の尿管シグネチャのグラフ表示３４０である。図１３は、覆い隠すものに対する例示の動脈シグネチャのグラフ表示３４２である。図１４は、覆い隠すものに対する例示の神経シグネチャのグラフ表示３４４である。図１２、図１３、及び図１４のプロットは、対応する波長における脂肪、肺組織、及び血液の対応する反射率に対する、特定の構造（尿管、動脈、及び神経）の波長（ｎｍ）の関数としての反射率を表している。これらのグラフは例示目的に過ぎず、他の組織及び／又は構造では、組織、及び／又は構造を特定及び可視化を可能にする対応する検出可能な反射率シグネチャを含み得ることを理解されたい。
【0082】
スペクトル撮像のための選択波長は、手術部位において予測される重要構造及び／又は覆い隠すものに基づいて特定し、利用することができる（例えば、「選択的スペクトル」撮像）。選択的スペクトル撮像を利用することにより、スペクトル画像を取得するために必要な時間量は、情報をリアルタイムで取得し、術中に利用することができるように、最小化することができる。波長は、医師によって、又はユーザ、例えば、医師による入力に基づいて、制御回路によって選択することができる。特定の例では、波長を、例えば、クラウド又は手術ハブを介して制御回路にアクセス可能な機械学習及び／又はビッグデータに基づいて選択することができる。
【0083】
図１５は、波形エミッタと組織によって覆い隠された重要構造との間の距離を測定するために、術中に利用されている組織へのスペクトル撮像の一実施形態を例解する。図１５は、波形４２４、４２５を利用する飛行時間型センサシステム４０４の一実施形態を示す。飛行時間型センサシステム４０４は、例えば、図１の手術可視化システム１００のセンサシステム１０４として、手術可視化システムに組み込むことができる。飛行時間型センサシステム４０４は、同じ手術デバイス１０２上に波形エミッタ４０６及び波形受信器４０８を含む（例えば、図１の同じ手術デバイス４０２上のエミッタ１０６及び受信器１０８）。放射された波４００は、エミッタ４０６から重要構造４０１（例えば、図１の重要構造１０１）まで延在し、受信される波４２５は、反射されて重要構造４０１から受信器４０８に戻される。この例解された実施形態では、手術デバイス４０２は、患者の腔４０７内へと延在するトロカール４１０を通って位置付けられる。この例解された実施形態では、トロカール４１０が使用されているが、他のトロカール又は他のアクセスデバイスを使用することができるか、又はアクセスデバイスを使用しなくてもよい。
【0084】
波形４２４、４２５は、波長のＮＩＲ又はＳＷＩＲスペクトル内の波長を有することなどによって、覆い隠している組織４０３を貫通するように構成されている。スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、若しくは選択的スペクトル）又は光音響信号は、遠位を指す第１の矢印４０７によって示されるように、エミッタ４０６から放射され、重要構造４０１が隠されている組織４０３を貫通することができる。放射された波形４２４は、近位を指す第２の矢印４０９によって示されるように、重要構造４０１によって反射される。受信された波形４２５は、手術デバイス４０２の遠位端と重要構造４０１との間の距離ｄに起因して、遅延する可能性がある。波形４２４、４２５は、本明細書に説明されるように、重要構造４０１のスペクトルシグネチャに基づいて、組織４０３内の重要構造４０１を標的とするように選択することができる。エミッタ４０６は、例えば、図１６に示されるように、オンとオフを表す二値信号を提供するように構成されており、受信器４０８によって測定することができる。
【0085】
放射された波４２４と受領された波４２５との間の遅延に基づいて、飛行時間型センサシステム４０４は、距離ｄを判定するように構成されている。図１５のエミッタ４０６及び受信器４０８の飛行時間タイミング図４３０が、図１６に示されている。遅延は、距離ｄの距離の関数であり、距離ｄは、次のように与えられる：
【0086】
【数1】
【0087】
波形４２４、４２５の飛行時間は、図１５の距離ｄに対応する。様々な例では、追加のエミッタ／受信器及び／又はエミッタ４０６からのパルス信号は、非透過信号を放射するように構成することができる。非透過信号は、エミッタ４０６から覆い隠している組織４０３の表面４０５までの距離を判定するように構成することができる。様々な例では、重要構造４０１の深さは、
ｄＡ＝ｄｗ－ｄｔ
によって判定することができ、
ｄＡ＝重要構造４０１の深さであり、ｄｗ＝エミッタ４０６から重要構造４０１までの距離（図１５のｄ）であり、ｄｔ＝エミッタ４０６（手術デバイス４０２の遠位端上）から覆い隠している組織４０３の表面４０５までの距離である。
ｄＡ＝ｄｗ－ｄｔ
によって判定することができ、
ｄＡ＝重要構造４０１の深さであり、ｄｗ＝エミッタ４０６から重要構造４０１までの距離（図１５のｄ）であり、ｄｔ＝エミッタ４０６（手術デバイス４０２の遠位端上）から覆い隠している組織４０３の表面４０５までの距離である。
【0088】
図１７は、波５２４ａ、５２４ｂ、５２４ｃ、５２５ａ、５２５ｂ、５２５ｃを利用する飛行時間型センサシステム５０４の別の実施形態を例解する。飛行時間型センサシステム５０４は、例えば、図１の手術可視化システム１００のセンサシステム１０４として、手術可視化システムに組み込むことができる。飛行時間型センサシステム５０４は、波形エミッタ５０６及び波形受信器５０８（例えば、図１のエミッタ１０６及び受信器１０８）を含む。波形エミッタ５０６は、第１の手術デバイス５０２ａ（例えば、図１の手術デバイス１０２）上に位置付けられ、波形受信器５０８は、第２の手術デバイス５０２ｂ上に位置付けられる。手術デバイス５０２ａ、５０２ｂは、それぞれ、患者の腔５０７内に延在する第１のトロカール５１０ａ及び第２のトロカール５１０ｂを通って位置付けられる。トロカール５１０ａ、５１０ｂは、この例解された実施形態において使用されるが、他のトロカール又は他のアクセスデバイスを使用することができるか、又はアクセスデバイスを使用してなくてもよい。放射された波５２４ａ、５２４ｂ、５２４ｃは、エミッタ５０６から手術部位に向かって延在し、受信された波５２５ａ、５２５ｂ、５２５ｃは、手術部位における様々な構造、及び／又は表面から受信器５０８から反射される。
【0089】
異なる放射された波５２４ａ、５２４ｂ、５２４ｃは、手術部位において異なる種類の材料を標的とするように構成されている。例えば、波５２４ａは、覆い隠している組織５０３を標的とし、波５２４ｂは、この図示された実施形態では血管である第１の重要構造５０１ａ（例えば、図１の重要構造１０１）を標的とし、波５２４ｃは、この図示された実施形態ではがん性腫瘍である第２の重要構造５０１ｂ（例えば、図１の重要構造１０１）を標的とする。波５２４ａ、５２４ｂ、５２４ｃの波長は、可視光、ＮＩＲ、又はＳＷＩＲスペクトルの波長とすることができる。例えば、可視光は、組織５０３の表面５０５に反射することができ、ＮＩＲ波形及び／又はＳＷＩＲ波形は、組織５０３の表面５０５を透過することができる。様々な態様では、本明細書に記載されるように、スペクトル信号（例えば、ハイパースペクトル、マルチスペクトル、若しくは選択的スペクトル）又は光音響信号をエミッタ５０６から放射することができる。波５２４ｂ、５２４ｃは、本明細書に更に説明されるように、重要構造５０１ａ、５０１ｂのスペクトルシグネチャに基づいて、組織５０３内の重要構造５０１ａ、５０１ｂを標的とするように選択することができる。光音響撮像は、様々な米国特許出願に更に説明されており、これらは、本開示において参照により本開示に組み込まれる。
【0090】
放射された波５２４ａ、５２４ｂ、５２４ｃは、標的とされる材料、すなわち、それぞれ表面５０５、第１の重要構造５０１ａ、及び第２の構造５０１ｂから反射される。受信された波形５２５ａ、５２５ｂ、５２５ｃは、距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃに起因して遅延する可能性がある。
【0091】
エミッタ５０６及び受信器５０８を個別に位置決め可能である（例えば、別個の手術デバイス５０２ａ、５０２ｂ上で、及び／又は別個のロボットアームによって制御される）飛行時間型センサシステム５０４において、様々な距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃは、エミッタ５０６及び受信器５０８の既知の位置から算出することができる。例えば、手術デバイス５０２ａ、５０２ｂがロボット制御されるときに、位置は既知とすることができる。エミッタ５０６及び受信器５０８の位置、並びに特定組織を標的とする光子ストリームの時間、及び受信器５０８によって受信されたその特定の応答の情報に関する知識により、距離ｄ１ａ、ｄ２ａ、ｄ３ａ、ｄ１ｂ、ｄ２ｂ、ｄ２ｃの判定を可能にすることができる。一態様では、覆い隠された重要構造５０１ａ、５０１ｂまでの距離は、透過波長を使用して三角測量することができる。光速度は可視光又は不可視光の任意の波長に対して一定であるため、飛行時間型センサシステム５０４は、様々な距離を判定することができる。
【0092】
ディスプレイ上などで医師に提供されたビューでは、結果として生じる画像内の標的構造の質量中心が一定のままとなるように、例えば、選択標的構造５０３、５０１ａ、又は５０１ｂの軸に垂直な平面内で、受信器５０８を回転させることができる。そのような向きは、標的構造に対して、１つ又は２つ以上の関連する距離及び／又は視点を迅速に通信することができる。例えば、図１７に示されるように、重要構造５０１ａがビュー平面に垂直である（例えば、血管がページの内外に向いている）視点から、手術部位が表示される。そのような向きは、デフォルトセッティングとすることができる。しかしながら、ビューは、医師によって回転されるか、又は別様に調節され得る。特定の例では、医師は、撮像システムによって提供される手術部位の視点を画定する、異なる表面及び／又は標的構造を切り替えることができる。
【0093】
この例解された実施形態におけるように、受信器５０８は、トロカール５１０ｂ（又は他のアクセスデバイス）上に装着することができ、それを通して手術デバイス５０２ｂが位置付けられる。他の実施形態では、受信器５０８は、三次元位置が既知である別個のロボットアームに装着することができる。様々な例では、受信器５０８は、手術デバイス５０２ａを制御するロボット手術システムとは別個の可動アーム上に装着することができるか、又はロボット座標平面に術中に位置合わせ可能な手術室（ＯＲ）台若しくは固定具に装着することができる。そのような例では、エミッタ５０６及び受信器５０８の位置は、飛行時間型センサシステム５０４の出力から距離を三角測量することができるように、同じ座標平面に記録することができる。
【0094】
飛行時間型センサシステムとナノ秒の分解能を用いたＮＩＲ光の時間分解プロファイルを測定することが可能である、ＴＯＦ－ＮＩＲＳと呼ばれる近赤外分光法（near-infrared spectroscopy、ＮＩＲＳ）との組み合わせは、Ｔｉｍｅ－Ｏｆ－Ｆｌｉｇｈｔ Ｎｅａｒ－Ｉｎｆｒａｒｅｄ Ｓｐｅｃｔｒｏｓｃｏｐｙ Ｆｏｒ Ｎｏｎｄｅｓｔｒｕｃｔｉｖｅ Ｍｅａｓｕｒｅｍｅｎｔ Ｏｆ Ｉｎｔｅｒｎａｌ Ｑｕａｌｉｔｙ Ｉｎ Ｇｒａｐｅｆｒｕｉｔ，Ｊｏｕｒｎａｌ ｏｆ ｔｈｅ Ａｍｅｒｉｃａｎ Ｓｏｃｉｅｔｙ ｆｏｒ Ｈｏｒｔｉｃｕｌｔｕｒａｌ Ｓｃｉｅｎｃｅ，Ｍａｙ ２０１３ ｖｏｌ．１３８ ｎｏ．３ ２２５－２２８に見出すことができ、これは、その全体が参照により本明細書に組み込まれる。
【0095】
可視化システム並びにその態様及び使用の実施形態は、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｐｌａｔｆｏｒｍ」と題する米国特許出願公開第２０２０／００１５９２３号、２０１８年９月１１日に出願された「Ｃｏｎｔｒｏｌｌｉｎｇ Ａｎ Ｅｍｉｔｔｅｒ Ａｓｓｅｍｂｌｙ Ｐｕｌｓｅ Ｓｅｑｕｅｎｃｅ」と題する米国特許出願公開第２０２０／００１５９００号、２０１８年９月１１日に出願された「Ｓｉｎｇｕｌａｒ ＥＭＲ Ｓｏｕｒｃｅ Ｅｍｉｔｔｅｒ Ａｓｓｅｍｂｌｙ」と題する米国特許出願公開第２０２０／００１５６６８号、２０１８年９月１１日に出願された「Ｃｏｍｂｉｎａｔｉｏｎ Ｅｍｉｔｔｅｒ Ａｎｄ Ｃａｍｅｒａ Ａｓｓｅｍｂｌｙ」と題する米国特許出願公開第２０２０／００１５９２５号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｗｉｔｈ Ｐｒｏｘｉｍｉｔｙ Ｔｒａｃｋｉｎｇ Ｆｅａｔｕｒｅｓ」と題する米国特許出願公開第２０２０／０００１５８９９号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｏｆ Ｍｕｌｔｉｐｌｅ Ｔａｒｇｅｔｓ」と題する米国特許出願公開第２０２０／０００１５９０３号、２０１８年９月１１日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｏｆ Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ」と題する米国特許第１０，７９２，０３４号、２０１８年９月１１日に出願された「Ｏｐｅｒａｔｉｖｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎ Ｏｆ Ｌｉｇｈｔ」と題する米国特許出願公開第２０２０／００１５８９７号、２０１８年９月１１日に出願された「Ｒｏｂｏｔｉｃ Ｌｉｇｈｔ Ｐｒｏｊｅｃｔｉｏｎ Ｔｏｏｌｓ」と題する米国特許出願公開第２０２０／００１５９２４号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｆｅｅｄｂａｃｋ Ｓｙｓｔｅｍ」と題する米国特許出願公開第２０２０／００１５８９８号、２０１８年９月１１日に出願された「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ａｎｄ Ｍｏｎｉｔｏｒｉｎｇ」と題する米国特許出願公開第２０２０／００１５９０６号、２０１８年９月１１日に出願された「Ｉｎｔｅｇｒａｔｉｏｎ Ｏｆ Ｉｍａｇｉｎｇ Ｄａｔａ」と題する米国特許出願公開第２０２０／００１５９０７号、２０１８年９月１１日に出願された「Ｒｏｂｏｔｉｃａｌｌｙ－Ａｓｓｉｓｔｅｄ Ｓｕｒｇｉｃａｌ Ｓｕｔｕｒｉｎｇ Ｓｙｓｔｅｍｓ」と題する米国特許第１０，９２５，５９８号、２０１８年９月１１日に出願された「Ｓａｆｅｔｙ Ｌｏｇｉｃ Ｆｏｒ Ｓｕｒｇｉｃａｌ Ｓｕｔｕｒｉｎｇ Ｓｙｓｔｅｍｓ」と題する米国特許出願公開第２０２０／００１５９０１号、２０１８年９月１１日に出願された「Ｒｏｂｏｔｉｃ Ｓｙｓｔｅｍｓ Ｗｉｔｈ Ｓｅｐａｒａｔｅ Ｐｈｏｔｏａｃｏｕｓｔｉｃ Ｒｅｃｅｉｖｅｒｓ」と題する米国特許出願公開第２０２０／００１５９１４号、２０１８年９月１１日に出願された「Ｆｏｒｃｅ Ｓｅｎｓｏｒ Ｔｈｒｏｕｇｈ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ Ｄｅｆｌｅｃｔｉｏｎ」と題する米国特許出願公開第２０２０／００１５９０２号、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｈｕｂ Ｃｏｍｍｕｎｉｃａｔｉｏｎ」と題する米国特許出願公開第２０１９／０２０１１３６号、２０１９年１２月３０日に出願された「Ａｎａｌｙｚｉｎｇ Ｓｕｒｇｉｃａｌ Ｔｒｅｎｄｓ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，７７２号、２０１９年１２月３０日に出願された「Ｄｙｎａｍｉｃ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ」と題する米国特許出願第１６／７２９，７４７号、２０１９年１２月３０日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ」と題する米国特許出願第１６／７２９，７４４号、２０１９年１２月３０日に出願された「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ，Ａｄｊｕｓｔｉｎｇ，Ａｎｄ Ｍａｎａｇｉｎｇ Ｒｅｓｅｃｔｉｏｎ Ｍａｒｇｉｎ Ａｂｏｕｔ Ａ Ｓｕｂｊｅｃｔ Ｔｉｓｓｕｅ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｐｒｏｐｏｓｉｎｇ Ａｎｄ Ｃｏｒｒｏｂｏｒａｔｉｎｇ Ｏｒｇａｎ Ｐｏｒｔｉｏｎ Ｒｅｍｏｖａｌｓ」と題する米国特許出願第１６／７２９，７２９号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｏｖｅｒｌａｙｉｎｇ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ Ｏｎｔｏ Ａ Ｖｉｒｔｕａｌ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔ Ｏｆ Ａｎ Ｏｒｇａｎ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｃｏｒｒｅｌａｔｉｎｇ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｄａｔａ Ａｎｄ Ｐｏｗｅｒｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ」と題する米国特許出願第１６／７２９，７４０号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｃｌｏｕｄ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７３７号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｐａｒｔｉｃｕｌａｔｅ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７９６号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，８０３号、２０１９年１２月３０日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｕｓｉｎｇ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅｓ Ｉｎ Ｓｕｒｇｅｒｙ」と題する米国特許出願第１６／７２９，８０７号、２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，ａｎｄ Ｍｅｔｈｏｄｓ Ｕｓｉｎｇ Ｆｉｄｕｃｉａｌ Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ ａｎｄ Ｔｒａｃｋｉｎｇ」と題する米国仮特許出願第６３／２４９，６５２号、２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｃｏｎｔｒｏｌ ｏｆ Ｏｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ ｗｉｔｈ Ａｎｏｔｈｅｒ」と題する米国仮特許出願第６３／２４９，６５８号、２０２１年９月２９日に出願された「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ」と題する米国仮特許出願第６３／２４９，８７０号、２０２１年９月２９日に出願された「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ ｗｉｔｈ Ｖａｒｉａｂｌｅ Ｓｕｒｇｉｃａｌ Ｓｉｔｅ Ａｃｃｅｓｓ Ｔｒａｊｅｃｔｏｒｉｅｓ」と題する米国仮特許出願第６３／２４９，８８１号、２０２１年９月２９日に出願された「Ｍｅｔｈｏｄｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｃｏｏｐｅｒａｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔｓ」と題する米国仮特許出願第６３／２４９，８７７号、２０２１年９月２９日に出願された「Ｃｏｏｐｅｒａｔｉｖｅ Ａｃｃｅｓｓ」と題する米国仮特許出願第６３／２４９，９８０号であり、これらは、その全体が参照により本明細書に組み込まれる。
【0096】
手術ハブ
本明細書に説明される様々な可視化又は撮像システムは、手術ハブを含むシステムに組み込むことができる。概して、手術ハブは、複数の医療施設にまたがることができ、統合され包括的な改善された医療を膨大な数の患者に提供するように構成された包括的なデジタル医療システムの構成要素とすることができる。包括的なデジタル医療システムは、多くの異なる医療施設にわたって位置する複数の手術ハブに相互接続するように構成されているクラウドベースの医療分析システムを含む。手術ハブは、患者に対して医療処置を行うために使用される１つ又は２つ以上の手術器具及び／又は医療処置を行っている間に使用される１つ又は２つ以上の可視化システムなどの１つ又は２つ以上の要素と相互接続するように構成されている。手術ハブは、医療処置の転帰を改善するための多様な機能性を提供する。様々な手術デバイス、可視化システム、及び手術ハブによって生成された、患者及び医療処置に関するデータは、クラウドベースの医療分析システムに送信され得る。次いで、このデータは、他の医療施設に位置する多くの他の手術ハブ、可視化システム、及び手術器具から収集された同様のデータと集約され得る。収集されたデータを分析するクラウドベースの分析システムを通じて、様々なパターン及び相関が見出され得る。結果として、データを生成するために使用される技術の改善をもたらし得、次いで、これらの改善は、様々な手術ハブ、可視化システム及び手術器具に広め得る。上述した構成要素の全ての相互接続性により、多くの構成要素がそのように相互接続されていない場合には見出されない可能性がある医療処置及び医療実践における改善が見出される可能性がある。
本明細書に説明される様々な可視化又は撮像システムは、手術ハブを含むシステムに組み込むことができる。概して、手術ハブは、複数の医療施設にまたがることができ、統合され包括的な改善された医療を膨大な数の患者に提供するように構成された包括的なデジタル医療システムの構成要素とすることができる。包括的なデジタル医療システムは、多くの異なる医療施設にわたって位置する複数の手術ハブに相互接続するように構成されているクラウドベースの医療分析システムを含む。手術ハブは、患者に対して医療処置を行うために使用される１つ又は２つ以上の手術器具及び／又は医療処置を行っている間に使用される１つ又は２つ以上の可視化システムなどの１つ又は２つ以上の要素と相互接続するように構成されている。手術ハブは、医療処置の転帰を改善するための多様な機能性を提供する。様々な手術デバイス、可視化システム、及び手術ハブによって生成された、患者及び医療処置に関するデータは、クラウドベースの医療分析システムに送信され得る。次いで、このデータは、他の医療施設に位置する多くの他の手術ハブ、可視化システム、及び手術器具から収集された同様のデータと集約され得る。収集されたデータを分析するクラウドベースの分析システムを通じて、様々なパターン及び相関が見出され得る。結果として、データを生成するために使用される技術の改善をもたらし得、次いで、これらの改善は、様々な手術ハブ、可視化システム及び手術器具に広め得る。上述した構成要素の全ての相互接続性により、多くの構成要素がそのように相互接続されていない場合には見出されない可能性がある医療処置及び医療実践における改善が見出される可能性がある。
【0097】
データを受信し、分析し、かつ出力するように構成された手術ハブ、及びそのような手術ハブを使用する方法の実施例は、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｈｕｂ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｐｒｏｃｅｓｓｉｎｇ，Ｓｔｏｒａｇｅ Ａｎｄ Ｄｉｓｐｌａｙ」と題する米国特許出願公開第２０１９／０２００８４４号、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｃｏｍｐｒｅｓｓｉｎｇ Ｔｉｓｓｕｅ Ｗｉｔｈｉｎ Ａ Ｓｔａｐｌｉｎｇ Ｄｅｖｉｃｅ Ａｎｄ Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ Ｄｉｓｐｌａｙｉｎｇ Ｔｈｅ Ｌｏｃａｔｉｏｎ Ｏｆ Ｔｈｅ Ｔｉｓｓｕｅ Ｗｉｔｈｉｎ Ｔｈｅ Ｊａｗｓ」と題する米国特許出願公開第２０１９／０２００９８１号、２０１８年１２月４日に出願された「Ｍｅｔｈｏｄ Ｆｏｒ Ｃｏｎｔｒｏｌｌｉｎｇ Ｓｍａｒｔ Ｅｎｅｒｇｙ Ｄｅｖｉｃｅｓ」と題する米国特許出願公開第２０１９／０２０１０４６号、２０１８年３月２９日に出願された「Ａｄａｐｔｉｖｅ Ｃｏｎｔｒｏｌ Ｐｒｏｇｒａｍ Ｕｐｄａｔｅｓ Ｆｏｒ Ｓｕｒｇｉｃａｌ Ｈｕｂｓ」と題する米国特許出願公開第２０１９／０２０１１１４号、特許Ｐｕｂ．２０１８年３月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｈｕｂ Ｓｉｔｕａｔｉｏｎａｌ Ａｗａｒｅｎｅｓｓ」と題する米国特許出願公開第２０１９／０２０１１４０号、２０１８年３月２９日に出願された「Ｉｎｔｅｒａｃｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｗｉｔｈ Ｃｏｎｄｉｔｉｏｎ Ｈａｎｄｌｉｎｇ Ｏｆ Ｄｅｖｉｃｅｓ Ａｎｄ Ｄａｔａ Ｃａｐａｂｉｌｉｔｉｅｓ」と題する米国特許出願公開第２０１９／０２０６００４号、２０１８年３月２９日に出願された「Ｃｌｏｕｄ－ｂａｓｅｄ Ｍｅｄｉｃａｌ Ａｎａｌｙｔｉｃｓ Ｆｏｒ Ｃｕｓｔｏｍｉｚａｔｉｏｎ Ａｎｄ Ｒｅｃｏｍｍｅｎｄａｔｉｏｎｓ Ｔｏ Ａ Ｕｓｅｒ」と題する米国特許出願公開第２０１９／０２０６５５５号、及び２０１８年１１月６日に出願された「Ｓｕｒｇｉｃａｌ Ｎｅｔｗｏｒｋ Ｄｅｔｅｒｍｉｎａｔｉｏｎ Ｏｆ Ｐｒｉｏｒｉｔｉｚａｔｉｏｎ Ｏｆ Ｃｏｍｍｕｎｉｃａｔｉｏｎ，Ｉｎｔｅｒａｃｔｉｏｎ，Ｏｒ Ｐｒｏｃｅｓｓｉｎｇ Ｂａｓｅｄ Ｏｎ Ｓｙｓｔｅｍ Ｏｒ Ｄｅｖｉｃｅ Ｎｅｅｄｓ」と題する米国特許出願公開２０１９／０２０７８５７号に更に説明されており、これらは、参照によりその全体が本明細書に組み込まれる。
【0098】
図１８は、１つ又は複数の手術システム７０２及びクラウドベースのシステム（例えば、記憶デバイス７０５に結合されたリモートサーバ７１３を含むことができるクラウド７０４）を含むコンピュータで実施される双方向手術システム７００の一実施形態を示す。各手術システム７０２は、クラウド７０４と通信する少なくとも１つの手術ハブ７０６を含む。一実施例では、図１８に例解されたように、手術システム７０２は、可視化システム７０８と、ロボットシステム７１０と、インテリジェント（又は「スマート」）手術器具７１２とを含み、これらは、互いに、及び／又はハブ７０６と通信するように構成されている。インテリジェント手術器具７１２は、撮像デバイスを含むことができる。手術システム７０２は、Ｍ個のハブ７０６と、Ｎ個の可視化システム７０８と、Ｏ個のロボットシステム７１０と、Ｐ個のインテリジェント手術器具７１２と、を含むことができ、Ｍ、Ｎ、Ｏ、及びＰは、互いのいずれか１つ又は２つ以上に等しくても等しくなくてもよい１以上の整数である。様々な例示的なインテリジェント手術器具及びロボットシステムが本明細書に説明されている。
【0099】
手術可視化システムから手術ハブによって受信されるデータは、様々な方法のうちのいずれかで使用することができる。例示的な実施形態では、手術ハブは、手術セッティングにおいて患者とともに使用される際、例えば、手術処置を行っている間に手術室で使用される際に、手術可視化システムからデータを受信することができる。手術ハブは、本明細書に論じられるように、１つ又は２つ以上の方法のいずれかで受信されたデータを使用することができる。
【0100】
手術ハブは、手術可視化システムの使用に伴って、受信されたデータをリアルタイムで分析し、受信されたデータの分析に基づいて、患者とともに使用される手術可視化システム及び／又は１つ又は２つ以上のインテリジェント手術器具のうちの１つ又は２つ以上を調節制御するように構成することができる。このような調節は、例えば、インテリジェント手術器具の１つ又は２つ以上の動作制御パラメータを調節すること、１つ又は２つ以上のインテリジェント手術器具の１つ又は２つ以上のセンサに測定を行わせて、患者の現在の生理学的状態、及び／又はインテリジェント手術器具の現在の動作状態の理解を得ることを助けること、並びに他の調節を含むことができる。インテリジェント手術器具の動作を制御及び調節することは、以下で更に論じられる。インテリジェント手術器具の動作制御パラメータの実施例は、モータ速度、切断要素速度、時間、持続時間、エネルギー印加のレベル、及び光放射を含む。手術ハブの実施例、並びにインテリジェント手術器具の動作を制御及び調節する実施例は、前述の２０１９年１２月３０日に出願された「Ａｎａｌｙｚｉｎｇ Ｓｕｒｇｉｃａｌ Ｔｒｅｎｄｓ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，７７２号、２０１９年１２月３０日に出願された「Ｄｙｎａｍｉｃ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ」と題する米国特許出願第１６／７２９，７４７号、２０１９年１２月３０日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ」と題する米国特許出願第１６／７２９，７４４号、２０１９年１２月３０日に出願された「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ，Ａｄｊｕｓｔｉｎｇ，Ａｎｄ Ｍａｎａｇｉｎｇ Ｒｅｓｅｃｔｉｏｎ Ｍａｒｇｉｎ Ａｂｏｕｔ Ａ Ｓｕｂｊｅｃｔ Ｔｉｓｓｕｅ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｐｒｏｐｏｓｉｎｇ Ａｎｄ Ｃｏｒｒｏｂｏｒａｔｉｎｇ Ｏｒｇａｎ Ｐｏｒｔｉｏｎ Ｒｅｍｏｖａｌｓ」と題する米国特許出願第１６／７２９，７２９号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｏｖｅｒｌａｙｉｎｇ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ Ｏｎｔｏ Ａ Ｖｉｒｔｕａｌ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔ Ｏｆ Ａｎ Ｏｒｇａｎ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｃｏｒｒｅｌａｔｉｎｇ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｄａｔａ Ａｎｄ Ｐｏｗｅｒｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ」と題する米国特許出願第１６／７２９，７４０号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｃｌｏｕｄ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７３７号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｐａｒｔｉｃｕｌａｔｅ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７９６号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，８０３号、及び２０１９年１２月３０日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｕｓｉｎｇ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅｓ Ｉｎ Ｓｕｒｇｅｒｙ」と題する米国特許出願第１６／７２９，８０７号に説明される。２０２０年１０月１３日に出願された「Ａｄａｐｔｉｖｅ Ｒｅｓｐｏｎｓｅｓ Ｆｒｏｍ Ｓｍａｒｔ Ｐａｃｋａｇｉｎｇ Ｏｆ Ｄｒｕｇ Ｄｅｌｉｖｅｒｙ Ａｂｓｏｒｂａｂｌｅ Ａｄｊｕｎｃｔｓ」と題する米国特許出願第１７／０６８，８５７号、２０２０年１０月１３日に出願された「Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ Ｔｈａｔ Ｃｏｍｍｕｎｉｃａｔｅ Ｗｉｔｈ Ｓｕｒｇｉｃａｌ Ｈｕｂｓ」と題する米国特許出願第１７／０６８，８５８号、２０２０年１０月１３日に出願された「Ｃｏｎｔｒｏｌｌｉｎｇ Ｏｐｅｒａｔｉｏｎ Ｏｆ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ Ｕｓｉｎｇ Ｓｕｒｇｉｃａｌ Ｈｕｂｓ」と題する米国特許出願第１７／０６８，８５９号、２０２０年１０月１３日に出願された「Ｐａｔｉｅｎｔ Ｍｏｎｉｔｏｒｉｎｇ Ｕｓｉｎｇ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ」と題する米国特許出願第１７／０６８，８６３号、２０２０年１０月１３日に出願された「Ｍｏｎｉｔｏｒｉｎｇ Ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｎｇ Ｉｎｆｏｒｍａｔｉｏｎ Ｕｓｉｎｇ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄｅｖｉｃｅｓ」と題する米国特許出願第１７／０６８，８６５号、及び２０２０年１０月１３日に出願された「Ａｇｇｒｅｇａｔｉｎｇ Ａｎｄ Ａｎａｌｙｚｉｎｇ Ｄｒｕｇ Ａｄｍｉｎｉｓｔｒａｔｉｏｎ Ｄａｔａ」と題する米国特許出願第１７／０６８，８６７号に更に説明されており、これらは、参照によりその全体が本明細書に組み込まれる。
【0101】
手術ハブは、受信されたデータの可視化がディスプレイ上の手術セッティングにおいて提供されるように構成することができ、そのため、手術セッティングにおける医師が、データを見ることができ、それにより、手術セッティングにおいて使用されている撮像デバイスの動作の理解を受け取ることができる。可視化を介して提供されるこのような情報は、テキスト及び／又は画像を含むことができる。
【0102】
図１９は、手術ハブ８０６（例えば、図１８の手術ハブ７０６又は本明細書に説明される他の手術ハブ）、ロボット手術システム８１０（例えば、図１のロボット手術システム１１０又は本明細書における他のロボット手術システム）、及び可視化システム８０８（例えば、図１の可視化システム１００又は本明細書に説明される他の可視化システム）を含む手術システム８０２の一実施形態を示す。手術ハブ８０６は、本明細書に論じられるように、クラウドと通信することができる。図１９は、手術室８１６内の手術台８１４上に横たわっている患者に対して手術処置を行うために使用されている手術システム８０２を示す。ロボットシステム８１０は、外科医のコンソール８１８と、患者側カート８２０（手術ロボット）と、ロボットシステムの手術ハブ８２２と、を含む。ロボットシステムの手術ハブ８２２は、概して、手術ハブ８２２と同様に構成されており、クラウドと通信することができる。いくつかの実施形態では、ロボットシステムの手術ハブ８２２及び手術ハブ８０６は、組み合わせることができる。患者側カート８２０は、医師、例えば、外科医、看護師、及び／又は他の医師が、外科医コンソール８１８を通して手術部位を見ている間に、患者の身体の低侵襲切開部を通してインテリジェント手術ツール８１２を操作することができる。手術部位の画像は、撮像デバイス８２４（例えば、図１の撮像デバイス１２０、又は本明細書に説明される他の撮像デバイス）によって取得することができ、これは、撮像デバイス８２４の向きを変えるために、患者側カート８２０によって操作することができる。ロボットシステムの手術ハブ８２２を使用して、手術部位の画像を処理し、その後、外科医のコンソール８１８を通して、外科医に表示することができる。
【0103】
主ディスプレイ８１９は、手術室８１６の滅菌野に位置付けられ、手術台８１４にいるオペレータに可視であるように構成されている。加えて、この例解された実施形態では、可視化タワー８１８が、滅菌野の外側に位置付けられ得る。可視化タワー８１８は、互いに反対側を向いている第１の非滅菌ディスプレイ８０７、及び第２の非滅菌ディスプレイ８０９を含む。手術ハブ８０６によって誘導される可視化システム８０８は、ディスプレイ８０７、８０９、８１９を利用して、滅菌野の内側及び外側の医師への情報フローを協調するように構成されている。例えば、手術ハブ８０６は、可視化システム８０８に、主ディスプレイ８１９上に手術部位のライブ映像を維持しながら、撮像デバイス８２４によって取得されるような手術部位のスナップショット及び／又はビデオを非滅菌ディスプレイ８０７、８０９の一方又は両方上に表示させることができる。非滅菌ディスプレイ８０７及び／又は８０９上のスナップショット及び／又はビデオは、例えば、非滅菌医師が、手術処置に関連する診断工程を行うことを可能にすることができる。
【0104】
手術ハブ８０６は、可視化タワー８１８における非滅菌医師によって入力された診断入力又はフィードバックを滅菌野内の主ディスプレイ８１９に送り、これを手術台８１４における滅菌医師が見ることができるように構成されている。例えば、入力は、手術ハブ８０６によって主ディスプレイ８１９に送ることができる、非滅菌ディスプレイ８０７又は８０９上に表示されるスナップショット及び／又はビデオへの修正の形態とすることができる。
【0105】
手術ハブ８０６は、本開示において参照により本明細書に組み込まれる様々な米国特許出願に説明されているように、インテリジェント手術器具８１２のディスプレイに情報フローを適合させるように構成されている。可視化タワー８１８における非滅菌オペレータによって入力される診断入力又はフィードバックは、手術ハブ８０６によって滅菌野内のディスプレイ８１９に送ることができ、これを手術器具８１２のオペレータ及び／又は滅菌野内の医師が見ることができる。
【0106】
インテリジェント手術器具８１２及びインテリジェント手術ツールでもある撮像デバイス８２４は、手術システム８０２の一部として手術処置において患者とともに使用されている。例えば、患者側カート８２０に着脱可能に結合され、かつロボット手術システム８１０及び手術ハブ８０６と通信することができる、手術処置で使用することができる他のインテリジェント手術器具８１２ａも、利用可能であるものとして図１９に示されている。非インテリジェント（又は「データ処理能力がない」）手術器具８１７、例えば、ロボット手術システム８１０及び手術ハブ８０６と通信することができない鋏、トロカール、カニューレ、メスもまた、使用のために利用可能であるものとして図１９に示されている。
【0107】
インテリジェント手術器具の動作
インテリジェント手術デバイスは、インテリジェント手術デバイスの動作を制御するために、インテリジェント手術デバイスの基板上で、例えば、そのプロセッサによって実行可能であるように構成された、インテリジェント手術デバイス上、例えば、そのメモリ内に記憶されたアルゴリズムを有することができる。いくつかの実施形態では、インテリジェント手術デバイス上に記憶される代わりに、又はそれに加えて、アルゴリズムは、インテリジェント手術デバイスと通信するように構成されている、手術ハブ上、例えば、そのメモリ内に記憶することができる。
インテリジェント手術デバイスは、インテリジェント手術デバイスの動作を制御するために、インテリジェント手術デバイスの基板上で、例えば、そのプロセッサによって実行可能であるように構成された、インテリジェント手術デバイス上、例えば、そのメモリ内に記憶されたアルゴリズムを有することができる。いくつかの実施形態では、インテリジェント手術デバイス上に記憶される代わりに、又はそれに加えて、アルゴリズムは、インテリジェント手術デバイスと通信するように構成されている、手術ハブ上、例えば、そのメモリ内に記憶することができる。
【0108】
アルゴリズムは、インテリジェント手術デバイスの機能を制御するために、命令、通知、信号などを定義する、及び／又は表す複数のデータポイントの１つ又は２つ以上のセットの形態で記憶される。いくつかの実施形態では、インテリジェント手術デバイスによって収集されたデータは、アルゴリズムの少なくとも１つの可変パラメータを変更するために、例えば、インテリジェント手術デバイスのプロセッサによって、インテリジェント手術デバイスによって使用することができる。上記に論じられるように、手術ハブは、インテリジェント手術デバイスと通信することができ、したがって、インテリジェント手術デバイスによって収集されたデータは、手術ハブに通信することができ、及び／又は手術ハブと通信する別のデバイスによって収集されたデータは、手術ハブに通信することができ、データは、手術ハブからインテリジェント手術デバイスに通信することができる。したがって、インテリジェント手術デバイスが、記憶された可変パラメータを変更するように構成されている代わりに、又はそれに加えて、手術ハブは、変更された少なくとも１つの変数を、単独で、又はアルゴリズムの一部として、インテリジェント手術デバイスに通信するように構成することができ、及び／又は手術ハブは、命令をインテリジェント手術デバイスに通信し、手術ハブによって判定されるような少なくとも１つの変数を変更することができる。
【0109】
少なくとも１つの可変パラメータは、アルゴリズムのデータポイントの間にあり、例えば、インテリジェント手術デバイスを動作させるための命令に含まれ、したがって、各々が、アルゴリズムの記憶された複数のデータポイントのうちの１つ又は複数を変更することによって、変更されることが可能である。少なくとも１つの可変パラメータが変更された後、その後のアルゴリズムの実行は、変更されたアルゴリズムに従う。そのため、患者の実際の状況並びにインテリジェント手術デバイスが使用されている手術処置の実際の条件及び／又は結果を考慮することによって、インテリジェント手術デバイスの有益な結果の使用を増加させるために、インテリジェント手術デバイスの経時的な動作を患者に対して管理することができる。少なくとも１つの可変パラメータを変更することは、患者の転帰を改善するために自動化される。したがって、インテリジェント手術デバイスは、スマートシステムを提供するために患者及び患者の周囲条件に基づいて個別化された医薬を提供するように構成することができる。手術処置を行っている間にインテリジェント手術デバイスが使用されている手術セッティングにおいて、少なくとも１つの可変パラメータの自動変更は、手術処置を行っている間に収集されたデータに基づいて、インテリジェント手術デバイスが制御されることを可能にし得、これは、インテリジェント手術デバイスが効率的かつ正確に使用されることを確実にするのに役立ち得、及び／又は重要な解剖学的構造を傷つけることによって、患者を傷つける可能性を低減するのに役立ち得る。
【0110】
少なくとも１つの可変パラメータは、様々な異なる動作パラメータのうちのいずれかとすることができる。可変パラメータの実施例は、モータ速度、モータトルク、エネルギーレベル、エネルギー印加持続時間、組織圧迫レート、ジョー閉鎖レート、切断要素速度、負荷閾値などを含む。
【0111】
図２０は、少なくとも１つの可変パラメータを含むアルゴリズム９０４が記憶されたメモリ９０２を含むインテリジェント手術器具９００の一実施形態を例解する。アルゴリズム９０４は、単一のアルゴリズムとすることができるか、又は各アルゴリズムが少なくとも１つの可変パラメータを含む、複数のアルゴリズム、例えば、手術器具の動作の異なる態様のための別個のアルゴリズムを含むことができる。インテリジェント手術器具９００は、図１の手術デバイス１０２、図１の撮像デバイス１２０、図８の手術デバイス２０２、図８の撮像デバイス２２０、図１５の手術デバイス４０２、図１７の手術デバイス５０２ａ、図１７の手術デバイス５０２ｂ、図１８の手術デバイス７１２、図１９の手術デバイス８１２、図１９の撮像デバイス８２４、又は他のインテリジェント手術器具とすることができる。手術器具９００はまた、アルゴリズム９０４を実行して手術器具９００の少なくとも１つの態様の動作を制御するように構成されたプロセッサ９０６を含む。アルゴリズム９０４を実行するために、プロセッサ９０６は、メモリ９０２に記憶されたプログラムを実行して、メモリ９０２内のアルゴリズム９０４の複数のデータポイントにアクセスするように構成されている。
【0112】
手術器具９００はまた、手術ハブ９１０などの別のデバイスと通信するように構成された通信インターフェース９０８、例えば、無線送受信器、又は他の有線若しくは無線通信インターフェースを含む。通信インターフェース９０８は、リモートサーバ（例えば、クラウドサーバ又は他のサーバ）及び／若しくはローカルの手術ハブサーバにデータを提供すること、並びに／若しくはリモートサーバ及び／若しくはローカルの手術ハブサーバから命令若しくはコマンドを受信することなどの一方向通信、又は手術器具９００及び／若しくはそこに記憶されたデータに関する情報、メッセージ、データなどを提供し、医師からなどの命令を受領するなどの双方向通信を可能にするように構成することができる。ソフトウェアの更新に関するリモートサーバ、ソフトウェアの更新に関するローカルの手術ハブサーバなどから命令を受信することなどの双方向通信を可能にするように構成することができる。
【0113】
手術器具９００は、図２０では簡略化されており、例えば、バスシステム、ハンドル、細長いシャフトであって、その遠位端にエンドエフェクタを有する、細長いシャフト、電源などの追加の構成要素を含むことができる。プロセッサ９０６はまた、メモリ９０２に記憶された命令を実行して、概して、通信インターフェース９０８、オーディオスピーカ、ユーザインターフェースなどの他のその電気構成要素を含むデバイス９００を制御するように構成することができる。
【0114】
プロセッサ９０６は、アルゴリズム９０４のその後の実行が、変更された少なくとも１つの可変パラメータに従うように、アルゴリズム９０４の少なくとも１つの可変パラメータを変更するように構成されている。アルゴリズム９０４の少なくとも１つの可変パラメータを変更するために、プロセッサ９０６は、メモリ９０２内の少なくとも１つの可変パラメータのデータポイントを修正又は更新するように構成されている。プロセッサ９０６は、手術処置を行っている間に、手術デバイス９００の使用に伴って、アルゴリズム９０４の少なくとも１つの可変パラメータをリアルタイムで変更するように構成することができ、これはリアルタイム条件に対処し得る。
【0115】
プロセッサ９０６が少なくとも１つの可変パラメータを変更することに加えて又はその代わりに、プロセッサ９０６は、手術ハブ９１０から受信された命令に応答して、アルゴリズム９０４及び／又はアルゴリズム９０４の少なくとも１つの可変パラメータを変更するように構成することができる。いくつかの実施形態では、プロセッサ９０６は、手術ハブ９１０と通信し、そこから命令を受信した後にのみ、少なくとも１つの可変パラメータを変更するように構成されており、これは、手術器具９００が使用されている手術処置の他の態様との手術器具９００の協調されたアクションを確実にするのに役立ち得る。
【0116】
例示的な実施形態では、プロセッサ９０６は、アルゴリズム９０４を実行して手術器具９００の動作を制御し、リアルタイムデータに基づいて、アルゴリズム９０４の少なくとも１つの可変パラメータを変更し、少なくとも１つの可変パラメータを変更した後に、アルゴリズム９０４を実行して手術器具９００の動作を制御する。
【0117】
図２１は、アルゴリズム９０４の少なくとも１つの可変パラメータの変更を含む、手術器具９００を使用する方法９１２の一実施形態を例解する。プロセッサ９０６は、メモリ９０２に記憶されたアルゴリズム９０４を実行することによって、手術器具９００の動作を制御する（９１４）。このその後に既知となるデータ及び／又はその後に収集されるデータのいずれかに基づいて、プロセッサ９０４は、上記に論じられたように、アルゴリズム９０４の少なくとも１つの可変パラメータを変更する（９１６）。少なくとも１つの可変パラメータを変更した後に、プロセッサ９０６は、ここで、変更された少なくとも１つの可変パラメータを用いてアルゴリズム９０４を実行することによって、手術器具９００の動作を制御する（９１８）。プロセッサ９０４は、手術処置を行っている間に、少なくとも１つの可変パラメータを、例えば、０回、１回、２回、３回などの任意の回数変更９１６することができる。方法９１２の任意の部分中に、手術器具９００は、通信インターフェース９０８を使用して、１つ又は複数のコンピュータシステム、例えば、手術ハブ９１０、クラウドサーバなどのリモートサーバと通信して、そこにデータを提供し、及び／又はそこから命令を受信することができる。
【0118】
状況認識
インテリジェント手術器具の動作は、患者の状況認識に基づいて変えることができる。インテリジェント手術器具の動作は、インテリジェント手術器具のユーザが器具を異なるように取り扱うこと、器具に異なる入力を提供すること、器具の使用を停止することなどによって、手動で変えることができる。追加的又は代替的に、インテリジェント手術器具の動作は、器具のアルゴリズムが、例えば、アルゴリズムの少なくとも１つの可変パラメータを変更することによって変更されることによって、自動的に変更することができる。上述したように、アルゴリズムは、変更を要求するユーザ入力なしに自動的に調節することができる。手術処置を行っている間に調節を自動化することは、時間を節約するのに役立ち得、医師が手術処置の他の態様に集中することを可能にし得、及び／又は医師のために手術器具を使用するプロセスを容易にし得、これらは、各々、重要構造を回避すること、器具が使用されている及び／又は近くで使用されている組織種類を考慮して手術器具を制御することなどによって、患者の転帰を改善し得る。
インテリジェント手術器具の動作は、患者の状況認識に基づいて変えることができる。インテリジェント手術器具の動作は、インテリジェント手術器具のユーザが器具を異なるように取り扱うこと、器具に異なる入力を提供すること、器具の使用を停止することなどによって、手動で変えることができる。追加的又は代替的に、インテリジェント手術器具の動作は、器具のアルゴリズムが、例えば、アルゴリズムの少なくとも１つの可変パラメータを変更することによって変更されることによって、自動的に変更することができる。上述したように、アルゴリズムは、変更を要求するユーザ入力なしに自動的に調節することができる。手術処置を行っている間に調節を自動化することは、時間を節約するのに役立ち得、医師が手術処置の他の態様に集中することを可能にし得、及び／又は医師のために手術器具を使用するプロセスを容易にし得、これらは、各々、重要構造を回避すること、器具が使用されている及び／又は近くで使用されている組織種類を考慮して手術器具を制御することなどによって、患者の転帰を改善し得る。
【0119】
本明細書に説明される可視化システムは、手術ハブ、例えば、手術ハブ７０６、手術ハブ８０６、又は本明細書に説明される他の手術ハブによって具現化又は実行され得る状況認識システムの一部として利用することができる。特に、手術器具（これらの位置、向き、アクションを含む）、組織、構造、ユーザ、及び／又は術野又は手術室内に位置する他のものを特徴付けること、特定すること、及び／又は可視化することは、状況認識システムによって利用されて、手術処置の種類又は行われている工程、外科医又は他の医師によって操作されている組織及び／又は構造の種類、及び他の情報を推測することができるコンテキストデータを提供することができる。次いで、このコンテキストデータは、状況認識システムによって利用されて、ユーザにアラートを提供すること、ユーザが引き受けるその後の工程又はアクションを示唆すること、手術デバイスをそれらの使用を予測して準備すること（例えば、電気手術器具が手術処置のその後の工程で利用されることを予測して電気手術発生器を起動することなど）、インテリジェント手術器具の動作を制御すること（例えば、下記に更に論じられるように、アルゴリズムの手術器具の動作パラメータをカスタマイズすること）などをすることができる。
【0120】
例えば変更されたアルゴリズムの少なくとも１つの可変パラメータを有することによって、感知されたデータに応答する制御アルゴリズムを含むインテリジェント手術デバイスは、感知されたデータを考慮せずに動作する「データ処理能力のない（dumb）」デバイスに対する改善とすることができるが、いくつかの感知されたデータは、単独、例えば、行われている手術処置の種類、又は手術されている組織の種類のコンテキストなしで考慮されるときに、不完全又は判定的ではない可能性がある。処置コンテキストを知らないと（例えば、手術されている組織の種類又は行われている処置の種類を知らないと）、アルゴリズムは、特定のコンテキストのない感知されたデータが与えられると、手術デバイスを不正確に又は準最適に制御することがある。例えば、特定の感知されたパラメータに応答して、手術器具を制御するための制御アルゴリズムの最適な様式は、手術されている特定の組織の種類に従って変動する可能性がある。これは、異なる組織の種類が異なる特性（例えば、引き裂きに対する抵抗力、切断のし易さなど）を有し、したがって、手術器具によってとられたアクションに対して異なって応答するという事実に起因するものである。したがって、特定のパラメータについて同じ測定値が感知されたときであっても、手術器具が異なるアクションをとることが望ましいことがある。一実施例として、手術ステープラがそのエンドエフェクタを閉鎖するための予想外に高い力を感知することに応答して、手術ステープラを制御する最適な様式は、組織の種類が引き裂きの影響を受けやすいか、又はこれに耐性があるかに応じて変動する。肺組織など、引き裂きの影響を受けやすい組織の場合、手術器具の制御アルゴリズムは、組織の引き裂きを回避するために、閉鎖するための予想外に高い力に応答して、モータを最適に減速させ、例えば、モータが遅くなるようにモータ速度又はトルクを制御する可変パラメータを変更する。胃組織など、引き裂きに耐性がある組織の場合、器具の制御アルゴリズムは、エンドエフェクタが組織に適切にクランプされることを確実にするために、閉鎖するための予想外に高い力に応答して、モータを最適に加速させ、例えば、モータが速くなるようにモータ速度又はトルクを制御する可変パラメータを変更する。肺又は胃の組織がクランプされたかどうかを知ることなく、アルゴリズムは準最適に変更されるか、又は全く変更されないことがある。
【0121】
手術ハブは、様々なデータソースから受信されたデータに基づいて、行われている手術処置に関する情報を導出し、したがって、それに従ってモジュール式デバイスを制御するように構成することができる。言い換えると、手術ハブは、受信されたデータから手術処置に関する情報を推測し、次いで、手術処置の推測されたコンテキストに基づいて、手術ハブに動作可能に結合されたモジュール式デバイスを制御するように構成することができる。モジュール式デバイスは、可視化システムデバイス（例えば、カメラ、ディスプレイスクリーンなど）、スマート手術器具（例えば、超音波手術器具、電気手術器具、手術ステープラ、煙排出器など）などの状況認識システムによって制御可能な任意の手術デバイスを含むことができる。モジュール式デバイスは、デバイスが使用されている患者に関連付けられたパラメータ、及び／又はモジュール式デバイス自体に関連付けられたパラメータを検出するように構成されたセンサを含むことができる。
【0122】
受信されたデータから導出又は推測されるコンテキスト情報は、例えば、行われている手術処置のタイプ、外科医（又は他の医師）が行っている手術処置の特定の工程、手術されている組織のタイプ、又は手術処置の対象である体腔を含むことができる。手術ハブの状況認識システムは、様々な異なる方式でデータソースから受信されたデータから、コンテキスト情報を導出するように構成することができる。例示的な実施形態では、手術ハブの状況認識システムによって受信されたコンテキスト情報は、１つ又は２つ以上のモジュール式デバイスの特定の制御調節、又は制御調節のセットに関連付けられる。制御調節は、各々、可変パラメータに対応する。一実施例では、状況認識システムは、様々な入力（例えば、データベース、患者モニタリングデバイス、及び／又はモジュール式デバイスからのデータ）を、手術処置に関する対応するコンテキスト情報と相関させるために、訓練データで訓練されたパターン認識システム、又は機械学習システム（例えば、人工ニューラルネットワーク）を含む。言い換えると、機械学習システムは、提供された入力から手術処置に関するコンテキスト情報を正確に導出するように訓練することができる。別の実施例では、状況認識システムは、手術処置に関する事前に特徴付けられたコンテキスト情報を、そのコンテキスト情報に対応する１つ又は複数の入力（又は、入力の範囲）と関連付けて記憶する、ルックアップテーブルを含むことができる。１つ又は２つ以上の入力による問い合わせに応答して、ルックアップテーブルは、少なくとも１つのモジュール式デバイスを制御するために状況認識システムの対応するコンテキスト情報を返すことができる。別の実施例では、状況認識システムは、コンテキスト情報が入力として提供されるときに、１つ又は２つ以上のモジュール式デバイスの１つ又は２つ以上の制御調節を生成又は読み出す、更なる機械学習システム、ルックアップテーブル、又は他のそのようなシステムを含む。
【0123】
状況認識システムを含む手術ハブは、手術システムに多くの利点を提供し得る。１つの利点は、感知及び収集されたデータの解釈を改善することを含み、これは、手術処置の過程中の処理精度、及び／又はデータの使用を改善させる。別の利点は、手術ハブのための状況認識システムが、各手術処置の特定のコンテキストのための手術器具（及び、他のモジュール式デバイス）を調節し（例えば、異なる組織種類に調節する）、手術処置中のアクションを検証することによって、手術処置の転帰を改善し得ることである。更に別の利点は、状況認識システムが、処置の特定のコンテキストに従って、次の工程を自動的に示唆し、データを提供し、手術現場内のディスプレイ及び他のモジュール式デバイスを調節することによって、手術処置を実行する際の医師の効率を改善し得ることである。別の利点は、処置のその後の工程が器具の使用を必要とすると判定する場合、ＲＦ電気手術器具が接続されている発生器を状況認識手術ハブが積極的に起動することなどによって、行われている手術処置の特定の工程に従ってモジュール式デバイスを積極的かつ自動的に制御して、医師が手術処置の過程中に手術システムと相互作用するか又はこれを制御する必要がある回数を低減することである。エネルギー源を積極的に起動することにより、処置の先行する工程が完了すると直ぐに器具を使用準備完了にすることができる。
【0124】
例えば、状況認識手術ハブは、どの種類の組織が手術されているかを判定するように構成することができる。したがって、手術器具のエンドエフェクタを閉鎖するための予期外の強い力が検出されるときに、状況認識手術ハブは、例えば、モータ速度又はトルクに関する手術器具のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、その種類の組織のために手術器具のモータを正確に加速又は減速するように構成することができる。
【0125】
別の実施例では、手術されている組織の種類は、特定の組織間隙測定のための手術ステープラの圧縮速度と負荷閾値になされる調節に影響を及ぼす可能性がある。状況認識手術ハブは、行われている手術処置が胸部処置であるのか、又は腹部処置であるのかを推測するように構成することができ、手術ハブが、手術ステープラのエンドエフェクタによってクランプされている組織が（胸部処置での）肺組織であるのか、又は（腹部処置での）胃組織であるのかを判定することが可能である。次いで、手術ハブは、例えば、圧縮率及び負荷閾値に関する手術ステープラのためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、その種類の組織に適切な手術ステープラの圧縮率及び負荷閾値の調節を引き起こすように構成することができる。
【0126】
更に別の実施例として、送気処置中に手術されている体腔の種類は、煙排出器の機能に影響を及ぼす可能性がある。状況認識手術ハブは、手術部位が（手術処置が送気を利用していると判定することによって）圧力下にあるかどうかを判定し、処置の種類を判定するように構成することができる。ある処置の種類は概して特定の体腔内で行われるので、手術ハブは、例えば、モータ速度に関する煙排出器のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、手術されている体腔に適切に煙排出器のモータ速度を制御するように構成することができる。したがって、状況認識手術ハブは、胸部処置及び腹部処置の両方のために一貫した量の煙排出を提供し得る。
【0127】
更に別の実施例として、行われている処置の種類は、超音波手術器具、又は高周波（ＲＦ）電気手術器具が動作するのに最適なエネルギーレベルに影響を及ぼす可能性がある。例えば、関節鏡処置では、超音波手術器具、又はＲＦ電気手術器具のエンドエフェクタが流体中に浸漬されるので、より高いエネルギーレベルを必要とする。状況認識手術ハブは、手術処置が関節鏡処置であるかどうかを判定するように構成することができる。手術ハブは、例えば、エネルギーレベルに関する器具及び／又は発生器のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、発生器のＲＦ電力レベル又は超音波振幅を調節して（例えば、エネルギーレベルを調節して）、流体充填環境を補償するように構成することができる。関連して、手術されている組織の種類は、超音波手術器具又はＲＦ電気手術器具が動作するのに最適なエネルギーレベルに影響を及ぼす可能性がある。状況認識手術ハブは、どの種類の手術処置が行われているかを判定し、次いで、手術処置のための予想される組織プロファイルに従って、例えば、エネルギーレベルに関する器具及び／又は発生器のためのアルゴリズムの少なくとも１つの可変パラメータを変更するか、又は変更を引き起こすことによって、超音波手術器具又はＲＦ電気手術器具のためのエネルギーレベルをそれぞれカスタマイズするように構成することができる。更に、状況認識手術ハブは、単に手術ごとにではなく、手術処置の過程にわたって、超音波手術器具又はＲＦ電気手術器具のエネルギーレベルを調節するように構成することができる。状況認識手術ハブは、手術処置のどの工程が行われているか、又は引き続き行われるかを判定し、次いで、発電機、及び／又は超音波手術器具若しくはＲＦ電気手術器具の制御アルゴリズムを更新して、手術処置の工程に従って予想される組織の種類に適切な値までエネルギーレベルを設定するように構成することができる。
【0128】
別の実施例として、状況認識手術ハブは、外科医及び／又は医師が見る必要があると予想される手術部位の特徴に従って、手術処置の現工程、又はその後の工程が、ディスプレイ上の異なるビューや倍率を必要とするかどうかを判定するように構成することができる。手術ハブは、（例えば、可視化システムのための撮像デバイスによって供給される）表示されたビューを、適宜、積極的に変更し、それにより、ディスプレイが手術処置にわたって自動的に調節されるように構成することができる。
【0129】
更に別の実施例として、状況認識手術ハブは、手術処置のどの工程が行われているか、又はその後に行われるか、及び特定のデータ又はデータ同士の比較が手術処置のその工程に必要であるかどうかを判定するように構成することができる。手術ハブは、外科医又は医師が特定の情報を尋ねるのを待機することなく、行われている手術処置の工程に基づいて、データスクリーンを自動的に呼び出すように構成することができる。
【0130】
別の実施例として、状況認識手術ハブは、外科医及び／又は他の医師が、例えば、術前手術計画において提供されるような手術処置の過程中に、誤りを犯しているか、又は予想される一連のアクションから別様に逸脱しているかどうかを判定するように構成することができる。例えば、手術ハブは、行われている手術処置の種類を判定し、機器使用の工程又は順序の対応リストを（例えば、メモリから）読み出し、次いで、手術処置の過程中に行われている工程又は使用されている機器を、手術ハブが行われていることを判定した手術処置の種類について予想される工程又は機器と比較するように構成することができる。手術ハブは、手術処置における特定の工程で予想外のアクションが行われているか、又は予想外のデバイスが利用されていることを示す（視覚的、聴覚的、及び／又は触覚的）アラートを提供するように構成することができる。
【0131】
特定の例では、本明細書に説明される様々なロボット手術システムのいずれかなどのロボット手術システムの動作は、その状況認識及び／又はその構成要素からのフィードバックに基づいて、及び／又はクラウド（例えば、図１８のクラウド７１３）からの情報に基づいて、手術ハブによって制御することができる。
【0132】
状況認識システムの実施形態及び手術処置を行っている間に状況認識システムを使用する実施形態は、前述の２０１９年１２月３０日に出願された「Ａｎａｌｙｚｉｎｇ Ｓｕｒｇｉｃａｌ Ｔｒｅｎｄｓ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，７７２号、２０１９年１２月３０日に出願された「Ｄｙｎａｍｉｃ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ」と題する米国特許出願第１６／７２９，７４７号、２０１９年１２月３０日に出願された「Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍｓ Ｕｓｉｎｇ Ｓｔｒｕｃｔｕｒｅｄ Ｌｉｇｈｔ」と題する米国特許出願第１６／７２９，７４４号、２０１９年１２月３０日に出願された「Ｓｙｓｔｅｍ Ａｎｄ Ｍｅｔｈｏｄ Ｆｏｒ Ｄｅｔｅｒｍｉｎｉｎｇ，Ａｄｊｕｓｔｉｎｇ，Ａｎｄ Ｍａｎａｇｉｎｇ Ｒｅｓｅｃｔｉｏｎ Ｍａｒｇｉｎ Ａｂｏｕｔ Ａ Ｓｕｂｊｅｃｔ Ｔｉｓｓｕｅ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｐｒｏｐｏｓｉｎｇ Ａｎｄ Ｃｏｒｒｏｂｏｒａｔｉｎｇ Ｏｒｇａｎ Ｐｏｒｔｉｏｎ Ｒｅｍｏｖａｌｓ」と題する米国特許出願第１６／７２９，７２９号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｆｏｒ Ｏｖｅｒｌａｙｉｎｇ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ Ｏｎｔｏ Ａ Ｖｉｒｔｕａｌ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔ Ｏｆ Ａｎ Ｏｒｇａｎ」と題する米国特許出願第１６／７２９，７７８号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｆｏｒ Ｇｅｎｅｒａｔｉｎｇ Ｔｈｒｅｅ Ｄｉｍｅｎｓｉｏｎａｌ Ｃｏｎｓｔｒｕｃｔｓ Ｏｆ Ａｎａｔｏｍｉｃａｌ Ｏｒｇａｎｓ Ａｎｄ Ｃｏｕｐｌｉｎｇ Ｉｄｅｎｔｉｆｉｅｄ Ａｎａｔｏｍｉｃａｌ Ｓｔｒｕｃｔｕｒｅｓ Ｔｈｅｒｅｔｏ」と題する米国特許出願第１６／７２９，７５１号、２０１９年１２月３０日に出願された「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍｓ Ｃｏｒｒｅｌａｔｉｎｇ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｄａｔａ Ａｎｄ Ｐｏｗｅｒｅｄ Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｄａｔａ」と題する米国特許出願第１６／７２９，７４０号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｃｌｏｕｄ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７３７号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｃｏｎｔｒｏｌ Ａｃｃｏｒｄｉｎｇ Ｔｏ Ｓｕｒｇｉｃａｌ Ｓｍｏｋｅ Ｐａｒｔｉｃｕｌａｔｅ Ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ」と題する米国特許出願第１６／７２９，７９６号、２０１９年１２月３０日に出願された「Ａｄａｐｔｉｖｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｂｙ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する米国特許出願第１６／７２９，８０３号、及び２０１９年１２月３０日に出願された「Ｍｅｔｈｏｄ Ｏｆ Ｕｓｉｎｇ Ｉｍａｇｉｎｇ Ｄｅｖｉｃｅｓ Ｉｎ Ｓｕｒｇｅｒｙ」と題する米国特許出願第１６／７２９，８０７号に更に説明されている。
【0133】
ハイブリッド管腔内及び管腔外デバイスを伴う手術システム
特定の実施形態では、手術システムは、腹腔鏡アプローチを使用して、１つ又は複数の管腔内器具が器官内に導入されることを可能にするように構成される。すなわち、従来のシステム（例えば、自然開口部を通して導入される管腔内器具を伴うシステム）とは異なり、本手術システムは、使用時に、臓器の腹腔鏡側を通して臓器（例えば、結腸、膀胱、胃等）に接近及び進入する管腔内器具を含む。これは、技術的複雑さが低減された両手操作能力を提供することができる。
特定の実施形態では、手術システムは、腹腔鏡アプローチを使用して、１つ又は複数の管腔内器具が器官内に導入されることを可能にするように構成される。すなわち、従来のシステム（例えば、自然開口部を通して導入される管腔内器具を伴うシステム）とは異なり、本手術システムは、使用時に、臓器の腹腔鏡側を通して臓器（例えば、結腸、膀胱、胃等）に接近及び進入する管腔内器具を含む。これは、技術的複雑さが低減された両手操作能力を提供することができる。
【0134】
更に、いくつかの実施形態では、腹腔鏡器具（例えば、把持具）及び／又は特徴（例えば、シール又はステント状構造）は、管腔外解剖学的空間内に導入され、管腔内器具（複数可）の一部分（例えば、遠位部分）のための局所支持を提供するように構成されることができる。この局所的な支持は、管腔内器具の管腔内反応負荷能力を改善することができる。すなわち、局所支持は、管腔内器具の荷重下での移動を可能にして、回転、長手方向前進、及び管腔内器具のエンドエフェクタ（例えば、アブレーション要素又はジョー）と手術部位の異なる管腔内壁との間の接触を可能にすることができる。
【0135】
例示的な一実施形態では、手術システムは概して、管腔外解剖学的空間内に挿入されて位置決めされるように構成された第１の部分と、第１の部分の遠位にあり、管腔内解剖学的空間内に位置決めされるように構成された第２の部分と、を有する第１のスコープ装置と、管腔外解剖学的空間内に挿入されるように構成され、第２の部分が管腔内解剖学的空間内に配置されている間に第１のスコープ装置の第２の部分の移動を容易にするために、管腔外解剖学的空間内で第１のスコープ装置の第１の部分に結合して第１の部分を移動させるように構成された第２の器具と、を含むことができる。いくつかの実施形態では、第１のスコープ装置は、内部を通って延在する作業チャネルを有する可撓性本体と、第１のスコープ装置の遠位端における第１の撮像システムとすることができる。作業チャネルは、第１の器具が管腔外空間と管腔内空間との両方に存在するように、第１の器具の遠位端が管腔外解剖学的空間内に挿入され、管腔外解剖学的空間を通って管腔内解剖学的空間内に挿入されることを可能にするように構成されている。
【0136】
使用中、一般に、第１の装置スコープの第１の部分は、管腔外解剖学的空間内に挿入され、第１のスコープ装置の第２の部分は、管腔内解剖学的空間内に更に挿入される。次いで、第１の器具が作業チャネルを通して挿入され、第１の器具を管腔外空間と管腔内空間と両方の中に位置付ける。更に、第２の器具が管腔外解剖学的空間内に挿入される。第２の器具は、第１の装置スコープの挿入又は第１の器具の挿入の前に、それと同時に、又はその後に、管腔外解剖学的空間内に挿入することができる。挿入の後に、第２の器具が移動されて、第１のスコープ装置の挿入された第２の部分を管腔内解剖学的空間内で移動させる。第１のスコープ装置、第１の器具、又は第２の器具のうちのいずれか１つの挿入の前に、管腔外空間、管腔内空間、又は両方は、例えば、第１のスコープ装置の第１の部分に動作可能に結合された流体ポートを介して、通気されることができる。
【0137】
別の例示的な実施形態では、手術システムは、概して、管腔外解剖学的空間内に配置され、管腔内解剖学的空間を少なくとも部分的に画定する組織壁と接触するように構成されたアンカー部材と、管腔外解剖学的空間内に挿入されて位置決めされるように構成された第１の部分と、第１の部分の遠位にあり、管腔内解剖学的空間内に位置決めされるように構成された第２の部分と、を有するカニューレと、アンカー部材に結合するように構成された管腔外解剖学的空間内のカニューレの第１の部分上に配置された選択的に展開可能な安定化部材と、を含むことができる。いくつかの実施形態では、カニューレは、第１の器具が管腔外解剖学的空間と管腔内解剖学的空間との両方に存在するように、第１の器具の遠位端が管腔外解剖学的空間内に挿入され、管腔外解剖学的空間を通って管腔内解剖学的空間内に挿入されるように構成され得る。更に、選択的に展開可能な安定化部材は、展開状態にあるときに、第１の器具のためのアンカーポイントを提供するようにして、管腔内解剖学的空間内での第１の器具の旋回移動を容易にするように構成され得る。
【0138】
例示的な手術システムは、本明細書で説明され、図面に示すように、様々な特徴を有し得る。しかしながら、手術システムは、これらの特徴の一部のみを有してもよく、かつ／又は当該技術分野では周知の様々な他の特徴を有してもよいことは当業者には認識されるところであろう。本明細書に述べられる手術システムは、特定の例示的な実施形態を代表することを意図したものに過ぎない。更に、手術システムは結腸に関連して示され説明されるが、当業者は、これらの手術アンカーシステムが任意の他の適切な体腔又は臓器に関連して使用され得ることを理解するであろう。
【0139】
部分的な組織壁厚腫瘍の外科的切除は、従来、自然開口部を通して行われる。例えば、図２２に示すように、結腸１００００は、部分的な組織壁腫瘍１０００１を含む。示されるように、従来の手術システムは、直腸１０００２を通して結腸１００００に挿入される内視鏡１０００４と、内視鏡１０００４の作業チャネル１０００６を通される第１の器具１０００８とを含む。第１の器具１０００８は、その後の除去のために腫瘍１０００１に係合する。腹腔鏡器具１００１０（例えば、把持器）は、腹腔１００１２を通して挿入され、結腸１００００と相互作用して、腫瘍１０００１の安定化を補助するか、又は腫瘍除去のために結腸１００００を位置付ける。以下により詳細に論じられるように、これらの従来の手術システム及び手順とは異なり、本明細書に開示される手術システムは、天然開口部を通してではなく、腹腔鏡側から天然管腔又は器官に接近する管腔内器具を使用して、罹患組織（例えば、病変又は腫瘍）を除去するように設計される。
【0140】
図２３は、結腸１０１０３内に位置する部分的組織壁厚腫瘍１０１０１の外科的切除において使用されている、第１のスコープ装置１０１０２並びに第１の腹腔鏡器具１０１０４及び第２の腹腔鏡器具１０１０６を有する、手術システム１０１００の例示的実施形態を図示する。簡潔にするために、手術システム１００１０の特定の構成要素は図示されていない。
【0141】
第１の腹腔鏡器具１０１０４及び第２の腹腔鏡器具１０１０６の各々は、それぞれの第１のトロカール１０１０８及び第２のトロカール１０１１０を通して腹腔１０１０５（例えば、管腔外解剖学的空間）内に挿入される。第１のトロカール１０１０８及び第２のトロカール１０１１０の各々は、それぞれのロボットアーム１０１１２、１０１１４に結合される。第１の腹腔鏡器具１０１０４及び第２の腹腔鏡器具１０１０６は様々な構成を有することができるが、この実施形態では、各腹腔鏡器具１０１０４、１０１０６は、その遠位端にエンドエフェクタ１０１０４ｂ、１０１０６ｂを備えた細長いシャフト１０１０４ａ、１０１０６ａを有する。各エンドエフェクタ１０１０４ｂ、１０１０６ｂは、様々な構成を有することができるが、この図示された実施形態では、各エンドエフェクタ１０１０４ｂ、１０１０６ｂは、可動ジョーのセットの形態である。更に、２つの腹腔鏡器具が示されているが、他の実施形態では、任意の数（例えば、１つ、３つ、４つなど）の腹腔鏡器具を使用することができる。
【0142】
第１のスコープ装置１０１０２は、内部を通って延在する作業チャネル１０１１８を有する可撓性本体１０１１６と、その遠位端にある第１の撮像システム１０１２０（例えば、カメラ）とを含む。可撓性本体は、任意の好適な可撓性材料（複数可）から形成することができる。示されるように、使用中、第１のスコープ装置１０１０２の近位端は、第１のロボットアーム１０１２０に連結され、第１のスコープ装置１０１０２は、第２のロボットアーム１０１２４に連結されたトロカール１０１２２の中へ、かつそれを通して、腹腔１０１０５（例えば、管腔外解剖学的空間）の中へ延在する。トロカール１０１２２は、腹腔１０１０５内への任意のデバイス又は器具の挿入に先立って、又はそれと同時に、腹腔１０１０５に通気するように構成される、流体ポート１０１２３を含む。他の実施形態では、腹腔１０１０５は、トロカール１０１１２、１０１１４、又は任意の他の適切な通気機構及びデバイスを使用して通気されることができる。
【0143】
第１のスコープ装置１０１０２は、結腸１０１０３の壁１０１０３ａを通して結腸腔１０１０７（例えば、管腔内解剖学的空間）内に更に挿入される。第１のスコープ装置１０１０２は、結腸壁１０１０３ａに作られた切開１０１１５を通して直接挿入することができるが、この図示された実施形態では、カニューレ１０１１７の管腔は、切開部１０１１５を通して部分的に結腸腔１０１０７内に挿入される。したがって、第１のスコープ装置１０１０２は、カニューレ１０１１７の管腔を通して結腸腔１０１０７に挿入される。
【0144】
示されるように、第１のスコープ装置１０１０２は、腹腔１０１０５内に存在する第１の部分１０１０２ａと、第１の部分１０１０２ａの遠位にあり、結腸腔１０１０７内に存在する第２の部分１０１０２ｂとを有する。すなわち、第１のスコープ装置１０１０２は、腹腔鏡アプローチによって結腸１０１０３に導入されるように設計されている。第１のスコープ装置の第２の部分を挿入する前に、例えば、予め結腸に挿入された流体ポート（図示せず）又は管腔（図示せず）を通して流体を導入することによって、結腸を通気することができる。通気後、封止クリップ１０１０９ａ及び１０１０９ｂは、結腸１０１０３の通気領域の対向する端部上に位置付けられることができる。
【0145】
いくつかの実施形態では、トロカール１０１２２は、第１のスコープ装置１０１０２の第１の部分１０１０２ａのための構造的支持を提供することができる。更に、第１のスコープ装置１０１０２の第１の部分１０１０２ａは、ロボットアーム１０１２４とトロカール１０１２２との間に配置されたモータハウジング１０１２１内に配置された１つ又は複数のツールドライバ（図示せず）から駆動され得る。
【0146】
第１のスコープ装置１０１０２は、腹腔１０１０５と結腸腔１０１０７との両方の中に存在する可撓性本体１０１１６を有するので、第１のスコープ装置１０１０２の第２の部分１０１０２ｂが結腸腔１０１０７の中で移動することができるように、協働支持要素が必要とされる。この図示された実施形態では、協働支持要素は第１の腹腔鏡器具１０１０４である。すなわち、示されるように、エンドエフェクタ１０１０４ｂのジョーは、第１のスコープ装置１０１０２の第１の部分１０１０２ａを把持し、こうして、第１のスコープ装置１０１０２の第１の部分１０１０２ａに第１の腹腔鏡器具１０１０４を結合する。
【0147】
エンドエフェクタのジョーは、様々な位置で第１のスコープ装置１０１０４の第１の部分１０１０２ａを把持することができるが、この図示された実施形態では、第１の腹腔鏡器具１０１０４は、腹腔１０１０５（例えば、管腔外解剖学的空間）内にあり、結腸壁１０１０３ａに直接隣接する所定の位置で第１の部分１０１０２に結合される。より具体的には、所定の位置は、結腸壁１０１０３ａに作られた切開部１０１１５に近接している。この実施形態では、第１の腹腔鏡器具１０１０４の細長いシャフト１０１０４ａは剛性であり、したがって、第１のスコープ装置に支持を提供し、第１のスコープ装置の第１の部分を腹腔（例えば、管腔外空間）内で移動させて、結腸腔１０１０７（例えば、管腔内解剖学的空間）内での第１のスコープ装置１０１０２の第２の部分の移動を容易にすることができる。
【0148】
いくつかの実施形態では、第１の腹腔鏡器具１０１０４によって提供される固定は、結腸内容物の腹腔１０１０５の中への漏出を防止するように、切開部１０１１５を直立に保つことができる。代替として、又は加えて、エンドエフェクタ１０１０４ｂのジョーは、第１のスコープ装置１０１０２が不適切な負荷を切開部縁に印加することを防止することができる、創傷プロテクタとして作用するように構成されることができる。
【0149】
図２３に更に示すように、第１のスコープ装置１０１０２の第２の部分１０１０２ｂが結腸腔１０１０７内に配置されると、器具１０１２６を第１のスコープ装置１０１０２の作業チャネル１０１１８を通して結腸腔１０１０７内に挿入することができる。いったん挿入されると、器具１０１２６は、その後の除去のために腫瘍１０１０２と相互作用することができる。更に、第２の腹腔鏡装置１０１０６のエンドエフェクタ１０１０６ｂのジョーは、結腸１０１０３と相互作用して、腫瘍１０１０２の除去のために結腸１０１０３を安定させるのを助けることができる。
【0150】
いくつかの実施形態では、局在化された機械的ドッキングは、例えば、図２４に図示されるように、可撓性管腔内デバイス又は器具若しくはデバイスを安定化させるための機構として使用されることができる。
【0151】
図２４は、管腔内手術部位への腹腔鏡アクセスを可能にするように構成される、手術システム１０２００の例示的実施形態を図示する。手術システム１０２００は、カニューレ１０２０２と、アンカー部材１０２０４と、選択的に展開可能な安定化部材１０２０６とを含み、これらは、結腸１０２０３内に位置する部分組織壁厚腫瘍１０２０１の外科的切除において使用されている。
【0152】
カニューレ１０２０２は、多様な異なる構成を有することができる。この図示された実施形態では、カニューレ１０２０２は、腹腔１０２０８（例えば、管腔外解剖学的空間）内に挿入されて位置決めされるように構成された第１の部分１０２０２ａと、結腸１０２０３の腔１０２１０（例えば、管腔内解剖学的空間）内に位置決めされるように構成された第１の部分１０２０２ａの遠位にある第２の部分１０２０２ｂとを有する。カニューレ１０２０２は、任意の好適な材料で形成することができる。図示のように、使用中、カニューレ１０２０２は、ロボットアーム１０２１４に結合されたトロカール１０２１２を通して腹腔１０２０８内に挿入される。トロカール１０２１２は、腹腔１０２０８内への任意のデバイス又は器具の挿入に先立って、又はそれと同時に、腹腔１０２０８に通気するように構成される、流体ポート１０２１６を含む。他の実施形態では、別のトロカール又は任意の他の好適な通気機構及びデバイスを使用して、腹腔１０２０８に通気することができる。
【0153】
カニューレ１０２０２は、結腸１０２０３の壁１０２０５を通して結腸腔１０２１０（例えば、管腔内解剖学的空間）内に更に挿入される。したがって、カニューレ１０２０２は、腹腔鏡アプローチによって結腸１０２０３に導入されるように設計されている。更に、第１の部分１０２０２ａ及び第２の部分１０２０２ｂがそれぞれ腹腔１０２０８及び結腸腔１０２０１内に配置されると、第１の器具１０２２０は、第１の器具１０２２０の遠位端が結腸腔１０２１０内に配置され、腫瘍１０２０１を除去するために使用され得るように、それらを通して挿入され得る。
【0154】
示されるように、カニューレ１０２０２は、第１の器具１０２２０の遠位端が腹腔１０２０８を通して結腸１０２０３の中に導入されることを可能にし、したがって、第１の器具１０２２０は、腹腔１０２０８と結腸腔１０２１０との両方の中に存在する。第１の器具１０２２０は様々な構成を有することができるが、この図示された実施形態では、第１の器具１０２２０は、その遠位端に一対のジョー１０２２４を有する可撓性シャフト１０２２２を含む。一対のジョー１０２２４は、腫瘍１０２０１と相互作用するように構成される。
【0155】
カニューレ１０２０２の第２の部分１０２０２ｂを挿入する前に、例えば、予め結腸１０２０３に挿入された流体ポート（図示せず）又は管腔（図示せず）を通して流体を導入することによって、結腸を通気することができる。通気後、通気領域１０２０３ａを封止することができる。例えば、この図示される実施形態では、通気領域１０２０３ａは、腹腔１０２０８に挿入される腹腔鏡デバイス１０２１８のジョー１０２１８ａ、１０２１８ｂが、領域の一方の端部を把持している状態で、ジョー１０２１８ａ、１０２１８ｂによって、かつ、領域の反対側の端部の周りにクリップ留めされたアンカー部材１０２０４によってシールされる。したがって、この図示された実施形態では、アンカー部材１０２０４は、アンカー及びシールの両方として機能することができる。他の実施形態では、別個の封止要素を使用することができる。
【0156】
連結部材１０２０４は、様々な構成を有し得る。この図示された実施形態では、アンカー部材１０２０２は、腹腔（例えば、管腔外解剖学的空間）内に配置され、結腸１０２０３の組織壁１０２０３ａの外面と接触するクリップの形態である。カニューレ１０２０２の挿入に先立って、それと同時に、又はそれに続いて、アンカー部材１０２０４は、腹腔１０２０８の中に挿入され、結腸壁１０２０５と接触して配置される（例えば、結腸１０２０３の一部の周囲に配列される）ことができる。
【0157】
図２４に更に示されるように、選択的に展開可能な安定化部材１０２０６は、カニューレ１０２０２の第１の部分１０２０２ａ上に、したがって腹腔１０２０８（例えば、管腔外解剖学的空間）内に配置される。選択的に展開可能な安定化部材１０２０６は、様々な構成を有し得る。この図示された実施形態では、選択的に展開可能な安定化部材１０２０６は、互いに枢動可能に接続された第１のリンク１０２２３ａ及び第２のリンク１０２２３ｂを含み、第１のリンク１０２２３ａはカニューレ１０２０２に直接結合される。したがって、選択的に展開可能な安定化部材１０２０６は、非展開状態から展開状態に移動することができる（図２４）。
【0158】
使用時、展開状態（図２４）にあるとき、選択的に展開可能な安定化部材１０２０６は、アンカー部材１０２０４に結合するように構成される。この結合は、カニューレ１０２０２を通して挿入される第１の器具１０２２０のためのアンカーポイントを提供する。第１の器具１０２２０は可撓性シャフト１０２２２を含むので、アンカーポイントは、第１の器具１０２２０がカニューレ１０２０２に対して結腸腔１０２１０内で枢動することを可能にする。
【0159】
選択的に展開可能な安定化部材１０２０６は、様々な方法でアンカー部材１０２０４と結合することができる。例えば、特定の実施形態では、アンカー部材１０２０４は、選択的に展開可能な安定化部材１０２０６が展開状態にあるときに、選択的に展開可能な安定化部材１０２０６をアンカー部材１０２０４に結合するように構成された磁石１０２２６を含むことができる。他の実施形態では、任意の他の適切な連結機構が使用され得る。
【0160】
更に、カニューレ１０２０２を通して（例えば、カニューレの１つ又は複数の管腔を通して）追加の器具又は装置を挿入することができる。例えば、図２４に示されるように、第１のスコープ装置１０２２８は、第１のスコープ装置１０２２８の第１の部分が腹腔（例えば、管腔外解剖学的空間）内に存在し、第１の部分の遠位にある第１のスコープ装置１０２２８の第２の部分が結腸腔（例えば、管腔内解剖学的空間）内に位置付けられるように、カニューレ１０２０２の中に、かつそれを通して挿入されることができる。
【0161】
他の実施形態では、ロボット操縦可能かつロック可能なカニューレを使用して、腹腔鏡アプローチを使用して管腔内器具を管腔内解剖学的空間内に導入することができる。例えば、図２５に示すように、ロボット操縦可能かつロック可能なカニューレ１０３００を、第１のトロカール１０３０２を通して管腔外解剖学的空間１０３０４（例えば、腹腔）内に挿入することができる。第１のトロカール１０３０２は、第１のロボットアーム１０３０６に結合されている。更に示されるように、第１の器具１０３０８は、第２のロボットアーム１０３１０に結合され、第１のトロカール１０３０２を通して挿入され得る。第１の器具１０３０８は、第１の器具１０３０８の遠位端１０３１０がカニューレ１０３００の遠位端１０３１２を通って延在するように、ロボット操縦可能かつロック可能なカニューレ１０３００を通って更に挿入され得る。その結果、第１の器具１０３０８は、カニューレ１０３００の操縦可能かつロック可能な遠位端１０３０２によって構造的に案内され支持される。カニューレ１０３００の移動（例えば、第１のロボットアーム１０３０６による）は、したがって、第１の器具１０３０８の遠位端１０３１２を、臓器１０３１６に作製された切開部１０３１４を通して臓器空洞１０３１８内に案内することができ、第２のロボットアーム１０３１０の移動は、第１の器具１０３０８の遠位端１０３１２を、カニューレ１０３００の遠位端１０３１２に対して臓器空洞１０３１８内で移動させることができる。
【0162】
管腔内及び管腔外の協働器具を有する手術システム
本明細書で提供される多光源撮像のためのデバイス、システム、及び方法は、協調的外科手術可視化を可能にする。一般に、協調的外科手術可視化では、各々が手術部位の画像を収集する第１の撮像システム及び第２の撮像システム（例えば、第１のスコープ装置及び第２のスコープ装置）は、協働して、手術部位の向上した撮像を提供するように構成される。協調的外科手術可視化は、手術部位における患者の解剖学的構造の可視化を改善し、かつ／又は手術部位における手術器具（複数可）の制御を改善し得る。
本明細書で提供される多光源撮像のためのデバイス、システム、及び方法は、協調的外科手術可視化を可能にする。一般に、協調的外科手術可視化では、各々が手術部位の画像を収集する第１の撮像システム及び第２の撮像システム（例えば、第１のスコープ装置及び第２のスコープ装置）は、協働して、手術部位の向上した撮像を提供するように構成される。協調的外科手術可視化は、手術部位における患者の解剖学的構造の可視化を改善し、かつ／又は手術部位における手術器具（複数可）の制御を改善し得る。
【0163】
特定の実施形態において、手術システムは、１つ又は複数の手術タスクを行うために、２つの別個の解剖学的領域内に配置されるように構成される。手術可視化システムは、重要構造（複数可）（例えば、罹患組織、解剖学的構造、手術器具（複数可）など）の術中識別を可能にすることができる。このため、手術可視化システムは、向上された手術時の意思決定及び向上された手術結果を可能にし得る。手術可視化システムは、医師が「肉眼」で見るもの、並びに／あるいは撮像システムが認識し、及び／又は医師に伝達できるものを超えた、高度な可視化能力を提供することができる。手術可視化システムは、医師が組織治療（例えば、切開）の前に知ることができることを補強かつ強化でき、それにより、様々な例における結果を改善し得る。結果として、手術可視化システムが、例えば、切開中にアプローチされ得る重要構造を追跡していることを認識しながら、医師は、手術処置を通して勢いを確実に維持することができる。手術可視化システムは、医師が手術処置を休止し、及び／又は減速させ、重要構造に対する不注意による損傷を防止するためにその構造までの近接度を評価するのに十分な時間内で、医師に対して指示を提供することができる。手術可視化システムは、理想的で、最適化された、及び／又はカスタマイズ可能な量の情報を医師に提供して、健康組織及び／又は重要構造への不注意による損傷を回避しつつ、医師が組織全体を確実、及び／又は迅速に動くことを可能にし、これによって、手術処置から生じる損傷のリスクを最小限に抑えることができる。
【0164】
概して、本明細書で提供される手術システムは、概して、管腔内解剖学的空間と管腔外解剖学的空間との両方に位置付けられ、その視野内の第１のシーンの画像データを送信するように構成される、第１のスコープ装置と、管腔外解剖学的空間内に挿入され、その視野内の第２の異なるシーンの画像データを送信するように構成される、第２のスコープ装置と、送信されたデータを受信し、第１のスコープ装置と第２のスコープ装置との間の相対距離を判定し、マージされた画像を提供するように構成される、コントローラとを含む。マージされた画像は、単一のシーン内の少なくとも第１のスコープ装置及び第２のスコープ装置の少なくとも一部分であり得、マージされた画像内の第１のスコープ装置及び第２のスコープ装置のうちの少なくとも１つは、その代表的な描写である。したがって、マージされた画像は、したがって、手術部位の２つの別個の視点を提供することができ、これは、医師が、複数のディスプレイの代わりに１つのディスプレイのみを見ることを好都合に可能にすることができる。更に、その１つのディスプレイ内で、マージされた画像は、医師が、手術部位に、又は手術部位に近接して配置された少なくとも第１の装置及びスコープ装置の相対的な位置及び／又は向きを調整することを可能にする。ある実施形態では、手術システムは、第１のスコープ装置又は第２のスコープ装置のうちの１つに関連付けられ、第１のスコープ装置又は第２のスコープ装置のうちの他方に対する第１のスコープ装置又は第２のスコープ装置のうちの１つの場所を示す信号を送信するように構成される、追跡デバイスを含むことができる。
【0165】
本明細書で提供される手術システムは、上述したような様々なロボット手術システムで使用することもでき、器具、内視鏡、及び腹腔鏡の互いに対する及び／又はシステム全体に対する動きの追跡を支援するために、電磁（ＥＭ）追跡チップ、ファイバブラッググレーティング、仮想タグ、基準マーカ、プローブの使用、既知の解剖学的構造の識別、構造化光を使用するような様々な３Ｄ走査技術、上述した様々なセンサ及び／又は撮像システムなどの様々な追跡及び／又は撮像機構を組み込むことができる。追跡機構は、腹腔鏡と内視鏡との両方から追跡データを送信するように構成することができ、それにより、いずれかのスコープの位置を他方のスコープに対して判定することができる。更に、いずれかのスコープの視野内の重要構造（例えば、病変組織、手術器具、解剖学的構造）は、その視野内にそのような重要構造を有するスコープによって追跡することができる。全体として、本明細書の手術システムは、各スコープの視野内の物体、及び各スコープの相対位置を追跡することができる。したがって、追跡データの全体によって、システムは、他のスコープによって収集された追跡データに基づいて、視野内に重要構造を有しないスコープからの重要構造の距離を計算することができる。
【0166】
例示的な一実施形態では、手術システムはまた、第１の器具及び第２の器具を含む。第１の器具は、第１の器具が管腔外解剖学的空間と管腔内解剖学的空間との両方に存在するように、管腔外解剖学的空間内へ、かつ管腔外解剖学的空間を通して管腔内解剖学的空間内に挿入されるように構成されている。第２の器具は、管腔外解剖学的空間内に挿入されるように構成される。
【0167】
更に、いくつかの実施形態では、撮像システム（例えば、カメラ）は、第１のスコープ装置の第２の部分上に配置することができ、第１のスコープ装置の視野内のシーンの画像データを送信するように構成することができる。代替的又は追加的に、撮像システム（例えば、カメラ）は、第２のスコープ装置上に配置することができ、第２のスコープ装置の視野内のシーンの画像データを送信するように構成することができる。これは、管腔外解剖学的空間内で動作する器具と管腔内解剖学的空間内で動作する器具との間の協調的可視化を可能にし、更に、器具が単一の手術部位上で共に協調的に動作することを可能にする。
【0168】
様々な実施形態において、本明細書で提供される手術システムは、コントローラを含む。手術システム、コントローラ、ディスプレイ、並びに／若しくは種々の器具、内視鏡、及び腹腔鏡はまた、いくつかの異なるロボット手術システムに組み込まれることができ、かつ／又は上記で議論されるシステム及び手術ハブのうちのいずれか等の外科手術ハブの一部であることができる。コントローラは、一般に、内視鏡及び腹腔鏡からの第１のシーンと第２のシーンとをそれぞれマージして、第１のシーンと第２のシーンとの間のマージされた画像を視覚的に形成するように構成される。コントローラは、上記で詳述された追跡データを受信し、第１のシーン及び第２のシーンと組み合わせて、少なくとも内視鏡又は腹腔鏡、及び組織壁によって視覚的に損なわれたスコープの視野内の任意の構造の代表的な描写を含有するマージされた画像を生成するように構成される。例えば、マージされた画像が内視鏡の視点からのものであった場合、マージされた画像は、内視鏡が見ているもののライブ画像ストリームであり、腹腔鏡的に配置された手術器具及び存在する場合は腹腔鏡の向き及び位置のオーバーレイを含む。
【0169】
使用中、一般に、第１のスコープ装置スコープの第１の部分は、管腔外解剖学的空間内に挿入され、第１のスコープ装置の第２の部分（例えば、第１の部分の遠位にある部分）は、管腔内解剖学的空間内に挿入される。更に、第２のスコープ装置が管腔外解剖学的空間内に挿入される。更に、第１の器具は、第１の器具が管腔外解剖学的空間と管腔内解剖学的空間との両方に存在するように、管腔外解剖学的空間内へ、かつ管腔外解剖学的空間を通して管腔内解剖学的空間内に挿入される。例えば、第１の器具は、第１のスコープ装置の作業チャネルを通して挿入され、第１の器具を両方の空間内に位置付けることができる。更に、第２の器具が管腔外解剖学的空間内に挿入される。第２の器具は、第１の装置スコープの挿入又は第１の器具の挿入の前に、それと同時に、又はその後に、管腔外解剖学的空間内に挿入することができる。
【0170】
例示的な手術システムは、本明細書で説明され、図面に示すように、様々な特徴を有し得る。しかしながら、手術システムは、これらの特徴の一部のみを有してもよく、かつ／又は当該技術分野では周知の様々な他の特徴を有してもよいことは当業者には認識されるところであろう。本明細書に述べられる手術システムは、特定の例示的な実施形態を代表することを意図したものに過ぎない。更に、手術システムは結腸に関連して示され説明されるが、当業者は、これらの手術システムが任意の他の適切な体腔又は臓器に関連して使用され得ることを理解するであろう。
【0171】
図２６は、結腸１０４０２内に位置する部分的組織壁厚腫瘍１０４０１の外科的切除において使用されている、第１のスコープ装置１０４１２及び第２のスコープ装置１０４１４を有する手術システム１０４００の例示的実施形態を図示する。簡潔にするために、手術システム１０４００の特定の構成要素は図示されていない。
【0172】
第１のスコープ装置１０４１２は、第１の作業チャネル１０４２４及び第２の作業チャネル１０４２６が中を通って延在する可撓性本体１０４２２と、その遠位端にある第１の撮像システム１０４２８（例えば、カメラ）とを含む。可撓性本体１０４２２は、任意の好適な可撓性材料（複数可）から形成することができる。
【0173】
使用中、第１のスコープ装置１０４１２の近位端は第１のロボットアーム１０４３０に結合され、第１の器具１０４３２は第２のロボットアーム１０４３４に結合される。第１のスコープ装置１０４１２は、第１のトロカール１０４３６を通して腹腔１０４０５（例えば、管腔外解剖学的空間）内に挿入される。第１のトロカール１０４３６は、ロボットアーム１０４３８に結合されている。第１のスコープ装置１０４１２は、封止ポート１０４４０が結腸１０４０２の壁１０４０６内に配置された状態で、封止ポート１０４４０の管腔を通して結腸腔１０４０７（例えば、管腔内解剖学的空間）内に更に挿入される。第１のスコープ装置１０４１２は、第１のスコープ装置１０４１２の第１の部分１０４１２ａが腹腔１０４０５（例えば、管腔外解剖学的空間）内に存在し、第１の部分１０４１２ａの遠位にある第１のスコープ装置１０４１２の第２の部分１０４１２ｂが結腸腔１０４０７（例えば、管腔内解剖学的空間）内に位置決めされるように、第１のトロカール１０４３６及び封止ポート１０４４０の中に、かつそれらを通して挿入することができる。いくつかの実施形態では、第１のスコープ装置１０４１２が結腸壁１０４０２ａに作られた切開部を通して直接挿入されるように、封止ポート１０４４０を省略することができる。
【0174】
示されるように、第１のスコープ装置１０４１２は、腹腔１０４０５内に存在する第１の部分１０４１２ａと、第１の部分１０４１２ａの遠位にあり、結腸腔１０４０７内に存在する第２の部分１０４１２ｂとを有する。すなわち、第１のスコープ装置１０４１２は、腹腔鏡アプローチによって結腸１０４０２に導入されるように設計されている。第１のスコープ装置１０４１２の第２の部分１０４１２ｂの挿入の前又は後に、封止クリップ１０４０９ａ及び１０４０９ｂは、結腸１０４０２の通気された領域の対向する端部上に位置付けられることができる。
【0175】
いくつかの実施形態では、第１のスコープ装置１０４１２の第１の部分１０４１２ａは、ロボットアーム１０４３８と第１のトロカール１０４３６との間に位置付けられる、モータ筐体１０４２１内の１つ又は複数のツールドライバ（図示せず）から駆動されることができる。
【0176】
図２６に更に示すように、第１のスコープ装置１０４１２の第２の部分１０４１２ｂが結腸腔１０４０７内に配置されると、第１の器具の遠位端が結腸腔１０４０７内に配置されるように、第１のスコープ装置１０４１２の第１の作業チャネル１０４２４を通して第１の器具１０４３２を挿入することができる。結果として、第１の器具１０４３２は、腹腔（例えば、管腔外解剖学的空間）と結腸腔１０４０７（例えば、管腔内解剖学的空間）との両方の中に存在する。挿入されると、（第１の器具１０４３２の）エンドエフェクタ１０４３３は、その後の除去のために腫瘍１０４０１と相互作用することができる。エンドエフェクタ１０４３３は、様々な構成を有することができるが、この図示された実施形態では、エンドエフェクタ１０４３３は、一組の可動ジョーの形態である。いくつかの実施形態では、第１の作業チャネル１０４２４及び第２の作業チャネル１０４２６のうちの少なくとも１つは、腹腔１０４０５及び結腸腔１０４０７のうちの少なくとも１つの中の第１のスコープ装置１０４１２の位置を損なうことなく、器具の交換を可能にするように構成される。これはまた、第１の撮像システム１０４２８の視野を維持することができる。
【0177】
手術システム１０４００はまた、内視鏡１０４１２及び腹腔鏡１０４１４に通信可能に結合されたコントローラ１０４７０を含み、第１の光センサ１０４２８及び第２の光センサ１０４５８からそれぞれ第１のシーン及び第２のシーンの送信された画像データを受信するように構成される。いくつかの実施形態では、コントローラ１０４７０はまた、内視鏡１０４１２及び腹腔鏡１０４１４内にそれぞれ配置された第１の追跡デバイス１０４８２及び第２の追跡デバイス１０４８４に通信可能に結合され、第１の追跡デバイス及び第２の追跡デバイスから送信された信号を受信するように構成される。受信されると、コントローラ１０４７０は、少なくとも内視鏡１０４１２と腹腔鏡１０４１４との間の相対距離を判定するように構成される。ある実施形態では、コントローラ１０４７０はまた、内視鏡１０４１２と腹腔鏡１０４１４との間の相対的配向を判定するように構成されることができる。
【0178】
図２６に更に示すように、第２のスコープ装置１０４１４は、腹腔１０４０５内に腹腔鏡下で配置される。第２のスコープ装置は、第３及び第４の作業チャネル１０４５４、１０４５６が中を通って延在する可撓性本体１０４５２と、その遠位端にある第２の撮像システム１０４５８（例えば、カメラ）とを含む。可撓性本体１０４５２は、任意の好適な可撓性材料（複数可）から形成することができる。
【0179】
第２のスコープ装置１０４１４は、腹壁１０４０３内に配置された第２のトロカール１０４６６を通して腹腔１０４０５（例えば、管腔外解剖学的空間）内に挿入される。第２のトロカール１０４６６は、第２のロボットアーム１０４６８に結合されている。第２のスコープ装置１０４１４は、腹腔１０４０５（例えば、管腔外解剖学的空間）内に挿入され、位置付けられる。いくつかの実施形態では、第２のスコープ装置１０４１４の可撓性本体１０４５２は、第２のロボットアーム１０４６８と第２のトロカール１０４６６との間に位置付けられる、モータ筐体１０４５１内の１つ又は複数のツールドライバ（図示せず）から駆動されることができる。
【0180】
示されるように、使用中、第２のスコープ装置１０４１４の近位端は、第１のロボットアーム１０４６０に結合され、第２の器具１０４６２は、第２のロボットアーム１０４６４に結合される。第２の器具１０４６２は、第３の作業チャネル１０４５４の中へ、及びそれを通して、腹腔１０４０５（例えば、管腔外解剖学的空間）の中へ延在する。第２の器具１０４６２は様々な構成を有することができるが、この図示された実施形態では、第２の器具１０４６２は、その遠位端にエンドエフェクタ１０４６３を備えた細長いシャフト１０４６２ａを有する。いくつかの実施形態では、第２の器具１０４６２は、結腸腔１０４０７（例えば、管腔内解剖学的空間）内に第１の器具１０４３２を配置するために、腹腔１０４０５（例えば、管腔外解剖学的空間）から結腸１０４０２を操作するのを支援するように構成される。更に、第２の器具１０４６２のエンドエフェクタ１０４６３は、結腸１０４０２と相互作用して、腫瘍１０４０１の除去のために結腸１０４０２を安定させるのを助けることができる。エンドエフェクタ１０４６３は、様々な構成を有することができるが、この図示された実施形態では、エンドエフェクタ１０４６３は、一組の可動ジョーの形態である。いくつかの実施形態では、エンドエフェクタ１０４６３を使用して、結腸腔１０４０７内にシールを形成することができる（例えば、結腸１０４０２をクランプすることによって）。
【0181】
図２６に示すように、基準マーカ１０４８０は、内視鏡１０４１２の第１の部分１０４１２ａ上に配置することができる。基準マーカ１０４８０は、腹腔鏡１０４１４の光センサ１０４５８の視野内にある。基準マーカ１０４８０は、内視鏡１０４１２の第２の部分１０４１２ｂの位置が、光センサ１０４５８による基準マーカ１０４８０の可視化を通して判定されることができるように、内視鏡１０４１２の第１の部分の外面上に固定される。基準マーカ１０４８０を識別する光センサ１０４５８から送信された画像データの両方に基づいて、コントローラ１０４７０は、例えば、手術システム１０４００の第１のディスプレイ１０４７１、第２のディスプレイ１０４７２、又はその両方のディスプレイにマージされた画像を提供するように構成される。マージされた画像において、内視鏡１０４１２及び腹腔鏡１０４１４のうちの少なくとも１つは、その代表的な描写である。磁気基準マーカの様々な実施形態、及び位置を検出する際に磁気基準マーカを使用することは、例えば、２０２１年９月２９日に出願された「Ｓｕｒｇｉｃａｌ Ｄｅｖｉｃｅｓ，Ｓｙｓｔｅｍｓ，ａｎｄ Ｍｅｔｈｏｄｓ ｆｏｒ Ｃｏｎｔｒｏｌ ｏｆ Ｏｎｅ Ｖｉｓｕａｌｉｚａｔｉｏｎ ｗｉｔｈ Ａｎｏｔｈｅｒ」と題する米国仮特許出願第６３／２４９，６５８号に更に論じられている。
【0182】
いくつかの実施形態では、基準マーカは、視覚的に識別され得る物理的シンボルである。他の実施形態では、基準マーカは、内視鏡を追跡するために腹腔鏡によって識別され得る、発光デバイス又は電磁放射デバイスであり得る。加えて、内視鏡の第１の部分の外側表面上に配置される複数の基準マーカが存在することができ、腹腔鏡の光センサは、どの基準マーカが管腔外空間内にあるかを識別することができる。
【0183】
第１のディスプレイ１０４７１及び第２のディスプレイ１０４７２は様々な構成を有することができる。例えば、いくつかの実施形態では、第１のディスプレイは、第１のシーンを表示するように構成されることができ、第２のディスプレイは、第２のシーンを表示するように構成されることができ、第１のディスプレイ、第２のディスプレイ、又は両方は、マージされた画像を表示するように更に構成されることができる。別の実施形態では、手術システム１０４００は、マージされた画像を表示するために使用することができる第３のディスプレイ１０４７３を含むことができ、第１のディスプレイ１０４７１及び第２のディスプレイ１０４７２は、それぞれ、光センサ１０４２８、１０４５８から送信された画像データを修正なしで示すためだけに使用される。この実施形態では、外科医は、第１のディスプレイ１０４７１及び第２のディスプレイ１０４７２上の内視鏡１０４１２と腹腔鏡１０４１４との両方からのリアルタイムシーンにアクセスすることができる一方で、第３のディスプレイ１０４７３上のマージされた画像にもアクセスすることができる。
【0184】
上述したように、内視鏡１０４１２は、第１の光センサ１０４２８を含む。第１の光センサ１０４２８は、内視鏡１０４１２の視野内の第１のシーンの画像データをコントローラ１０４７０に送信するように構成される。この図示された実施形態では、腫瘍１０４０１及び手術器具１０４３２は、内視鏡１０４１２の視野内に配置される。いくつかの実施形態では、内視鏡１０４１２と腹腔鏡１０４１４との間の相対距離は、（例えば、照明要素を介して）第１の部分１０４１２ａ及び基準マーカ１０４８０上に投影され、第２の光センサ１０４５８によって追跡される構造化光を使用することによって判定されることができる。更に、いくつかの実施形態では、内視鏡１０４１２と腹腔鏡１０４１４との間の判定された相対距離、及び内視鏡１０４１２と腫瘍１０４０１との間の判定された相対距離に基づいて、コントローラは、腹腔鏡１０４１４と腫瘍１０４０１との間の相対距離を計算することができる。
【0185】
加えて、腹腔鏡１０４１４は、第２の光センサ１０４５８を含む。第２の光センサ１０４５８は、腹腔鏡１０４１４の視野内の第２のシーンの画像データをコントローラ１０４７０に送信するように構成される。手術器具１０４６２は、腹腔鏡１０４１４の視野内に配置される。その結果、コントローラ１０４７０は、送信された画像データに基づいて、手術器具１０４６２と手術器具１０４３２との間の相対距離を判定することができる。
【0186】
図２６ａは、マージされた画像の例示的な実施形態を示す。マージされた画像は、腹腔鏡１０４１４の視野内のリアルタイムの第２のシーンと、結腸１０４０２の内視鏡側の一部（例えば、腫瘍１０４０１及び／又は内視鏡１０４１２）のオーバーレイされた代表的な描写とを図示する。基準マーカ１０４８０と組み合わせた第２のシーンの送信された画像データに基づいて、コントローラ１０４７０は、腹腔鏡１０４１４の視点からのマージされた画像を提供することができ、内視鏡１０４１２及び腫瘍１０４０１は、管腔内空間におけるそれらの位置にリアルタイムで対応する代表的な描写として示される。図示の実施形態では、代表的な描写は、対応する腫瘍１０４０１及び内視鏡１０４１２の破線の輪郭で示されている。しかしながら、管腔内空間内の非視覚的器具及び解剖学的構造を表すための単純な幾何学的形状など、他の形態の代表的な描写を使用することができる。
【0187】
代替として、又は加えて、コントローラ１０４７０は、内視鏡１０４１２の視点からマージされた画像を生成することができる。例えば、図２６ｂでは、マージされた画像は、結腸１０４０２の腹腔鏡側の一部（例えば、腹腔鏡１０４１４及び／又は手術器具１０４６２）のオーバーレイされた代表的な描写を有する内視鏡１０４１２の視野内のリアルタイムの第１のシーンを示す。当業者であれば、本明細書で使用される「代表的な描写」という語句は、カメラからの実際の描写上の仮想オーバーレイを指し、仮想オーバーレイは、カメラの視野内に配置されているが、カメラと物体との間に配置されている障害物のためにカメラには見えない物体の位置及び向きに対応し、本明細書で使用される「実際の描写」という語句は、カメラからの修正されていないリアルタイム画像又はビデオストリームを指すことを理解するであろう。基準マーカ１０４８０と組み合わせた光センサ１０４２８の送信された画像データに基づいて、コントローラ１０４７０は、内視鏡１０４１２の視点からのマージされた画像を提供することができ、腹腔鏡１０４１４及び手術器具１０４６２は、リアルタイムで管腔外空間内のそれらの場所に対応する代表的な描写として示される。図示される実施形態では、代表的な描写は、腹腔鏡１０４１４及び外科手術器具１０４６２の破線の輪郭で示される。しかしながら、管腔内空間内の非視覚的器具及び解剖学的構造を表すための単純な幾何学的形状など、他の形態の代表的な描写を使用することができる。
【0188】
ある実施形態では、管腔内空間と管腔外空間との両方における器具間の移動は、両方のセットの器具が他方によって可視化されることができるため、協調されることができる。例えば、協働的欠損修復（例えば、切開を縫合すること）は、器具を用いて腹腔鏡側から針フックを挿入し、次いで、針フックを管腔内空間の中に通過させることによって達成されることができ、そこで、内視鏡的に配列された器具は、フック針を握持することができる。次いで、フック針は、結腸を通して管腔外空間に戻され得、このプロセスは、切開が縫合閉鎖されるまで繰り返される。
【0189】
他の実施形態では、内視鏡及び腹腔鏡の位置は、時間ベースのアプローチを通して互いに対して追跡されることができる。スコープ装置が互いを視覚的に識別できなくなると、その時点が基準点となり得る。ロボットアームによる各スコープ装置の動きを記録することができ、スコープ装置が解剖学的空間内で動かされるにつれて、各スコープ装置の位置を経時的に判定することができる。
【0190】
２つの別個の解剖学的空間に独立して通気するための手術システム
特定の実施形態では、手術システムは、１つ又は複数の手術タスクを行うために、２つの別個の解剖学的領域を通気ように構成される。概して、本手術システムは、第１の空洞（例えば、管腔外解剖学的空間）へのアクセスを提供し、その通気を可能にするように構成される、第１のアクセスポート（複数可）と、第１の空洞を通して別個の空洞（例えば、管腔内解剖学的空間）へのアクセスを提供し、その通気を可能にするように構成される、第２のアクセスポート（複数可）とを含む。これは、異なる器具のための別個の解剖学的作業容積を提供することができ、更に、これらの異なる器具が単一の手術部位上で一緒に作業することを可能にする。
特定の実施形態では、手術システムは、１つ又は複数の手術タスクを行うために、２つの別個の解剖学的領域を通気ように構成される。概して、本手術システムは、第１の空洞（例えば、管腔外解剖学的空間）へのアクセスを提供し、その通気を可能にするように構成される、第１のアクセスポート（複数可）と、第１の空洞を通して別個の空洞（例えば、管腔内解剖学的空間）へのアクセスを提供し、その通気を可能にするように構成される、第２のアクセスポート（複数可）とを含む。これは、異なる器具のための別個の解剖学的作業容積を提供することができ、更に、これらの異なる器具が単一の手術部位上で一緒に作業することを可能にする。
【0191】
例示的な一実施形態では、手術システムは、一般に、管腔内解剖学的空間と管腔外解剖学的空間との両方に配置されるように構成された第１のスコープ装置と、管腔外解剖学的空間に挿入されるように構成された第２のスコープ装置とを含むことができる。第１のスコープ装置は、第１のスコープ装置に動作可能に結合され、管腔内解剖学的空間を第１の通気空間へと通気するように構成された第１の通気ポート（例えば、流体ポート）を有し、第２のスコープ装置は、第２のスコープ装置に動作可能に結合され、管腔外解剖学的空間を第２の通気空間へと通気するように構成された第２の通気ポート（例えば、流体ポート）を有する。したがって、第１の通気空間と第２の通気空間との両方が独立して加圧され、したがって、異なる器具のための別個の作業容積を提供するように生成される。
【0192】
手術システムはまた、第１の器具及び第２の器具を含む。第１の器具は、第１の器具が管腔外解剖学的空間と管腔内解剖学的空間との両方に存在するように、管腔外解剖学的空間内へ、かつ管腔外解剖学的空間を通して管腔内解剖学的空間内に挿入されるように構成されている。第２の器具は、管腔外解剖学的空間内に挿入されるように構成される。
【0193】
いくつかの実施形態では、手術システムは、管腔外解剖学的空間を管腔内解剖学的空間から分離する組織壁に配置される封止ポートを含むことができる。特定の実施形態では、封止ポートは、第１のスコープ装置の第２の部分が管腔内解剖学的空間内に入ることを可能にするように構成される。
【0194】
更に、いくつかの実施形態では、撮像システム（例えば、カメラ）は、第１のスコープ装置の第２の部分上に配置することができ、第１のスコープ装置の視野内のシーンの画像データを送信するように構成することができる。代替的又は追加的に、撮像システム（例えば、カメラ）は、第２のスコープ装置上に配置することができ、第２のスコープ装置の視野内のシーンの画像データを送信するように構成することができる。これは、管腔外解剖学的空間内で動作する器具と管腔内解剖学的空間内で動作する器具との間の協調的可視化を可能にし、更に、器具が単一の手術部位上で共に協調的に動作することを可能にする。更に、協調的可視化は、特定の手術タスク若しくはステップ又は手術処置全体の間に、第１の通気領域、第２の通気空間、又はその両方に対して調節が行われる必要があり得るときに使用されることができる。撮像システムは、複数のカメラを含むことができ、外科医は、これらのカメラを使用して、患者の体内の手術処置部位上のより良好な視点を達成することができる。
【0195】
使用中、一般に、第１のスコープ装置スコープの第１の部分は、管腔外解剖学的空間内に挿入され、第１のスコープ装置の第２の部分（例えば、第１の部分の遠位にある部分）は、管腔内解剖学的空間内に挿入される。更に、第２のスコープ装置が管腔外解剖学的空間内に挿入される。第１のスコープ装置の挿入の前、挿入と同時、又は挿入の後に、第１の通気ポートを使用して、管腔内解剖学的空間を第１の圧力まで通気し、それによって第１の通気空間を形成することができる。更に、第１の装置スコープの挿入、管腔内解剖学的空間の通気、及び／又は第２の装置スコープの挿入の前に、それと同時に、又はその後に、管腔外解剖学的空間は、第２の通気ポートを介して第２の圧力まで通気され、それによって、第２の通気空間を形成することができる。
【0196】
更に、第１の器具は、第１の器具が管腔外解剖学的空間と管腔内解剖学的空間との両方に存在するように、管腔外解剖学的空間内へ、かつ管腔外解剖学的空間を通して管腔内解剖学的空間内に挿入される。例えば、第１の器具は、第１のスコープ装置の作業チャネルを通して挿入され、第１の器具を両方の空間内に位置付けることができる。第１の器具は、管腔内解剖学的空間、管腔外空間、又はその両方の通気の前に、それと同時に、又はその後に挿入することができる。更に、第２の器具が管腔外解剖学的空間内に挿入される。第２の器具は、第１の装置スコープの挿入、第１の器具の挿入、管腔内解剖学的空間の通気、又は管腔外空間の通気の前に、それと同時に、又はその後に、管腔外解剖学的空間に挿入することができる。
【0197】
例示的な手術システムは、本明細書で説明され、図面に示すように、様々な特徴を有し得る。しかしながら、手術システムは、これらの特徴の一部のみを有してもよく、かつ／又は当該技術分野では周知の様々な他の特徴を有してもよいことは当業者には認識されるところであろう。本明細書に述べられる手術システムは、特定の例示的な実施形態を代表することを意図したものに過ぎない。更に、手術システムは結腸に関連して示され説明されるが、当業者は、これらの手術システムが任意の他の適切な体腔又は臓器に関連して使用され得ることを理解するであろう。
【0198】
図２７は、結腸１０５０２内に位置する部分的組織壁厚腫瘍１０５０１の外科的切除において使用されている、第１のスコープ装置１０５１２及び第２のスコープ装置１０５１４を有する手術システム１０５００の例示的実施形態を図示する。簡潔にするために、手術システム１０５００の特定の構成要素は図示されていない。
【0199】
第１のスコープ装置１０５１２は、第１の作業チャネル１０５２４及び第２の作業チャネル１０５２６が中を通って延在する可撓性本体１０５２２と、その遠位端にある第１の撮像システム１０５２８（例えば、カメラ）とを含む。可撓性本体１０５２２は、任意の好適な可撓性材料（複数可）から形成することができる。
【0200】
使用中、第１のスコープ装置１０５１２の近位端は第１のロボットアーム１０５３０に結合され、第１の器具１０５３２は第２のロボットアーム１０５３４に結合される。第１のスコープ装置１０５１２は、第１のトロカール１０５３６を通して腹腔１０５０５（例えば、管腔外解剖学的空間）内に挿入される。第１のトロカール１０５３６は、ロボットアーム１０５３８に結合されている。第１のスコープ装置１０５１２は、封止ポート１０５４０が結腸１０５０２の壁１０５０６内に配置された状態で、封止ポート１０５４０の管腔を通して結腸腔１０５０７（例えば、管腔内解剖学的空間）内に更に挿入される。第１のスコープ装置１０５１２は、第１のスコープ装置１０５１２の第１の部分１０５１２ａが腹腔１０５０５（例えば、管腔外解剖学的空間）内に存在し、第１の部分１０５１２ａの遠位にある第１のスコープ装置１０５１２の第２の部分１０５１２ｂが結腸腔１０５０７（例えば、管腔内解剖学的空間）内に位置決めされるように、第１のトロカール１０５３６及び封止ポート１０５４０の中に、かつそれらを通して挿入することができる。いくつかの実施形態では、封止ポート１０５４０は、通気処置中に結腸腔１０５０７の内容物が腹腔１０５０５内に逃げるのを防止するように構成される。他の実施形態では、第１のスコープ装置１０５１２が結腸壁１０５０２ａに形成された切開部を通して直接挿入されるように、封止ポート１０５４０を省略することができる。
【0201】
示されるように、第１のスコープ装置１０５１２は、腹腔１０５０５内に存在する第１の部分１０５１２ａと、第１の部分１０５１２ａの遠位にあり、結腸腔１０５０７内に存在する第２の部分１０５１２ｂとを有する。すなわち、第１のスコープ装置１０５１２は、腹腔鏡アプローチによって結腸１０５０２に導入されるように設計されている。第１のスコープ装置１０５１２の第２の部分１０５１２ｂの挿入の前又は後に、封止クリップ１０５０９ａ及び１０５０９ｂは、結腸１０５０２の通気された領域の対向する端部上に位置付けられることができる。
【0202】
第１のスコープ装置１０５１２は、結腸腔１０５０７への任意の装置又は器具の挿入に先立って、又はそれと同時に結腸腔１０５０７に通気するように構成された第１の通気ポート１０５２３を含む。この図示された実施形態では、第１の通気ポート１０５２３は、第１のスコープ装置１０５１２の第２の作業チャネル１０５２６と流体連通している。その結果、第１の通気ポート１０５２３を使用して、結腸腔１０５０７への流体の流入又は結腸腔１０５０７からの流体の流出を制御して、結腸腔１０５０７を通気又は脱気することができる。図示されていないが、第１の通気ポート１０５２３は、流体システムに接続される。流体システムは、ポンプ及び流体リザーバを含むことができる。ポンプは、結腸腔１０５０７内に流体を押し込んで膨張させる（例えば、加圧する）圧力を生成し、結腸腔１０５０７を収縮させる（例えば、減圧する）ために結腸腔１０５０７から流体を引き出す吸引を生成する。結腸腔１０５０７に出入りする流体は、任意の適切な流体（例えば、生理食塩水、二酸化炭素ガスなど）であり得る。他の実施形態では、結腸腔１０５０７は、任意の他の適切な通気機構及びデバイスを使用して、通気及び脱気されることができる。
【0203】
いくつかの実施形態では、第１のスコープ装置１０５１２の第１の部分１０５１２ａは、ロボットアーム１０５３８と第１のトロカール１０５３６との間に位置付けられる、モータ筐体１０５２１内の１つ又は複数のツールドライバ（図示せず）から駆動されることができる。
【0204】
図２７に更に示すように、第１のスコープ装置１０５１２の第２の部分１０５１２ｂが結腸腔１０５０７内に配置されると、第１の器具の遠位端が結腸腔１０５０７内に配置されるように、第１のスコープ装置１０５１２の第１の作業チャネル１０５２４を通して第１の器具１０５３２を挿入することができる。結果として、第１の器具１０５３２は、腹腔（例えば、管腔外解剖学的空間）と結腸腔１０５０７（例えば、管腔内解剖学的空間）との両方の中に存在する。挿入されると、（第１の器具１０５３２の）エンドエフェクタ１０５３３は、その後の除去のために腫瘍１０５０１と相互作用することができる。エンドエフェクタ１０５３３は、様々な構成を有することができるが、この図示された実施形態では、エンドエフェクタ１０５３３は、一組の可動ジョーの形態である。いくつかの実施形態では、第１の作業チャネル１０５２４及び第２の作業チャネル１０５２６のうちの少なくとも１つは、腹腔１０５０５及び結腸腔１０５０７のうちの少なくとも１つの中の第１のスコープ装置１０５１２の位置を損なうことなく、器具の交換を可能にするように構成される。これはまた、第１の撮像システム１０５２８の視野を維持することができる。
【0205】
いくつかの実施形態では、第１のスコープ装置１０５１２は、結腸腔１０５０７内にシールを形成するように構成することができる。例えば、図２７に示されるように、第１のスコープ装置１０５１２は、第１のスコープ装置１０５１２の遠位端、又は遠位端に近接して位置付けられる封止要素１０５３１を含む。封止要素１０５３１は様々な構成を有し得るが、この図示される実施形態では、封止要素１０５３１は、第１のスコープ装置１０５１２の周りに配置された膨張可能な環状リングの形態である。第１のスコープ装置１０５１２が腹腔１０５０５を通って結腸腔１０５０７内に前進される間、封止要素１０５３１は収縮状態にある。結腸腔１０５０７内に入ると、封止要素１０５３１を膨張させて、結腸１０５０２の内部組織壁に係合する際に封止を形成することができる。更に、特定の実施形態では、封止要素１０５３１は、膨張状態にあるとき、結腸腔１０５０７内の第１のスコープ装置１０５１２の固定点としても機能することができる。
【0206】
図２７に更に示すように、第２のスコープ装置１０５１４は、腹腔１０５０５内に腹腔鏡下で配置される。第２のスコープ装置は、第３及び第４の作業チャネル１０５５４、１０５５６が中を通って延在する可撓性本体１０５５２と、その遠位端にある第２の撮像システム１０５５８（例えば、カメラ）とを含む。可撓性本体１０５５２は、任意の好適な可撓性材料（複数可）から形成することができる。
【0207】
第２のスコープ装置１０５１４は、腹壁１０５０３内に配置された第２のトロカール１０５６６を通して腹腔１０５０５（例えば、管腔外解剖学的空間）内に挿入される。第２のトロカール１０５６６は、第２のロボットアーム１０５６８に結合されている。第２のスコープ装置１０５１４は、腹腔１０５０５（例えば、管腔外解剖学的空間）内に挿入され、位置付けられる。第２のトロカール１０５６６は、腹腔１０１０５の中への任意のデバイス又は器具の挿入に先立って、又はそれと同時に、腹腔１０１０５に通気するように構成される、第２の通気ポート１０５６７を含む。この図示された実施形態では、第２の通気ポート１０５６７は、第４の作業チャネル１０５５６と流体連通している。結果として、第２の通気ポート１０５６７は、腹腔１０５０５を通気又は脱気するように、腹腔１０５０５の内外への流体の進入又は退出を制御するために使用されることができる。図示されていないが、第２の通気ポート１０５６７は、流体システムに接続される。流体システムは、ポンプ及び流体リザーバを含むことができる。ポンプは、腹腔１０１０５内に流体を押し込んで膨張させる（例えば、加圧する）圧力を生成し、腹腔１０１０５を収縮させる（例えば、減圧する）ために腹腔１０１０５から流体を引き出す吸引を生成する。腹腔１０１０５に出入りする流体は、任意の適切な流体（例えば、生理食塩水、二酸化炭素ガスなど）であり得る。他の実施形態では、腹腔１０１０５は、任意の他の適切な通気機構及びデバイスを使用して、通気及び脱気されることができる。
【0208】
いくつかの実施形態では、第２のスコープ装置１０５１４の可撓性本体１０５５２は、第２のロボットアーム１０５６８と第２のトロカール１０５６６との間に位置付けられる、モータ筐体１０５５１内の１つ又は複数のツールドライバ（図示せず）から駆動されることができる。
【0209】
示されるように、使用中、第２のスコープ装置１０５１４の近位端は、第１のロボットアーム１０５６０に結合され、第２の器具１０５６２は、第２のロボットアーム１０５６４に結合される。第２の器具１０５６２は、第３の作業チャネル１０５５４の中へ、及びそれを通して、腹腔１０５０５（例えば、管腔外解剖学的空間）の中へ延在する。第２の器具１０５６２は様々な構成を有することができるが、この図示された実施形態では、第２の器具１０５６２は、その遠位端にエンドエフェクタ１０５６３を備えた細長いシャフト１０５６２ａを有する。いくつかの実施形態では、第２の器具１０５６２は、結腸腔１０５０７（例えば、管腔内解剖学的空間）内に第１の器具１０５３２を配置するために、腹腔１０５０５（例えば、管腔外解剖学的空間）から結腸１０５０２を操作するのを支援するように構成される。更に、第２の器具１０５６２のエンドエフェクタ１０５６３は、結腸１０５０２と相互作用して、腫瘍１０５０１の除去のために結腸１０５０２を安定させるのを助けることができる。エンドエフェクタ１０５６３は、様々な構成を有することができるが、この図示された実施形態では、エンドエフェクタ１０５６３は、一組の可動ジョーの形態である。いくつかの実施形態では、エンドエフェクタ１０５６３を使用して、結腸腔１０５０７内にシールを形成することができる（例えば、結腸１０５０２をクランプすることによって）。
【0210】
使用時、結腸腔１０５０７は、第１の通気ポート１０５２３及び第２の作業チャネル１０５２６を通る流体進入を介して第１の圧力に加圧される。加えて、腹腔１０５０５は、第２の通気ポート１０５６７及び第４の作業チャネル１０５５６を通る流体進入を介して、第２の圧力に加圧される。いくつかの実施形態では、第１の圧力は、第２の圧力と異なる。あるいは、第１の圧力及び第２の圧力は同一であってもよい。
【0211】
第１の圧力及び第２の圧力は、腹腔１０５０５、結腸腔１０５０７、又はその両方内の作業容積空間を変更するように独立して調整されることができる。例えば、腹腔１０５０５内の作業容積空間は、腹腔１０５０５内の圧力を増加させること、結腸腔１０５０７内の圧力を減少させること、又はその両方によって増加させることができる。同様に、腹腔１０５０５内の作業容積空間は、腹腔１０５０５内の圧力を減少させること、結腸腔１０５０７内の圧力を増加させること、又はその両方によって減少させることができる。更に、結腸腔１０５０７内の作業容積空間は、結腸腔１０５０７内の圧力を増加させることによって増加させることができ、結腸腔１０５０７内の圧力を減少させることによって減少させることができる。
【0212】
図示されていないが、第１の撮像システム１０５２８及び第２の撮像システム１０５５８は、手術部位のスナップショット及び／又はライブビデオフィードを提供する、１つ又は複数のディスプレイに接続される。ディスプレイ上のスナップショット及び／又はライブビデオフィードは、医師が、例えば、複数の角度及びアプローチから手術部位を観察することを可能にすることができる。結果として、第１の撮像システム１０５２８及び第２の撮像システム１０５５８は、特定の外科的作業若しくはステップのために、又は手術処置全体を通して、第１の器具及び第２の器具のための有効作業容積体積空間と、存在する場合、第１の通気空間、第２の通気空間、又は両方に対して行われる必要がある調整を判定する際に使用されることができる情報を、医師に提供することができる。
【0213】
本明細書に記載の手術システムは、１回の使用の後に廃棄されるように設計することができ、又はこれらは複数回使用されるように設計することができる。しかしながら、いずれの場合も、手術システムは、少なくとも１回の使用後に、再使用のために再調整することができる。再調整は、手術デバイスを分解する工程、続いて特定の部分を清浄又は交換する工程、及びその後の再組立ての工程の任意の組み合わせを含むことができる。特に、手術システムは分解することができ、手術システムの任意の数の特定のピース又は部品を、任意の組み合わせで選択的に交換又は除去することができる。特定の部品を洗浄及び／又は交換すると、手術システムは、再調整設備において、又は手術処置の直前に手術チームによって、後で使用するために再組み立てすることができる。当業者であれば、手術デバイスの再調整が、分解、洗浄／交換、及び再組立のための様々な技術を利用できることを理解するであろう。そのような技術の使用と、結果としての再調整された器具は、全て本出願の範囲内にある。
【0214】
更に、本開示においては、実施形態の同様の名称の構成要素は概して同様の特徴を有するものであり、したがって、特定の実施形態において、同様の名称の各構成要素の各特徴については必ずしも完全に詳しく述べることはしない。追加的に、開示されるシステム、デバイス、及び方法の説明で直線寸法又は円寸法が使用される限りにおいて、そのような寸法は、そのようなシステム、デバイス、及び方法と組み合わせて使用することができる形状の種類を限定しようとするものではない。当業者には、そのような直線寸法及び円寸法に相当する寸法を、任意の幾何学的形状について容易に判定することができる点が認識されるであろう。システム及びデバイス、並びにその構成要素のサイズ及び形状は、少なくとも、システム及びデバイスが使用される対象の解剖学的構造、システム及びデバイスがともに使用される構成要素のサイズ及び形状、並びにシステム及びデバイスが使用される方法及び手術に依存し得る。
【0215】
「近位」及び「遠位」という用語は、本明細書では、器具のハンドルを握っている臨床医などのユーザを基準として使用されることが認識されるであろう。「近位」及び「遠位」という用語は、本明細書ではそれぞれ、ロボットに取り付けられるように構成された手術器具の上端部（例えば、使用中に手術部位から最も遠い端部）及び下端部（例えば、使用中に手術部位に最も近い端部）に関して使用されることが理解されるであろう。「前方」及び「後方」といった他の空間的用語は、同様に、遠位及び近位にそれぞれ対応する。便宜上、かつ明瞭さのために、本明細書では「垂直」及び「水平」などの空間的用語が、図面に対して使用される点も更に理解されるであろう。しかしながら、手術器具は、多くの向き及び位置で使用されるものであり、これらの空間的用語は、限定的かつ絶対的なものであることを意図するものではない。
【0216】
値又は範囲は、本明細書では、「約」及び／又は「約」１つの特定の値から別の特定の値までとして表すことができる。そのように値又は範囲が表される場合、開示される他の実施形態は、列挙された特定の値、及び／又は１つの特定の値から別の特定の値までを含む。同様に、先行する「約」の使用によって値が近似の形式で表現された場合、本明細書に開示される多くの値が列挙され、その特定値により別の実施形態が形成されることが理解されるであろう。本明細書に開示される多くの値が存在し、各値は、本明細書においては、その特定の値自体に加えて「約」が付く値として開示されることも更に理解されるであろう。各実施形態では、「約」は、例えば、列挙された値の１０％以内、列挙された値の５％以内、又は列挙された値の２％以内を意味するために使用され得る。
【0217】
本教示を説明及び定義する目的で、別様に記載されていない限り、用語「実質的に」は、本明細書では、任意の定量的な比較、値、測定、又は他の表現に起因し得る固有の不確実性の程度を表すために利用されることに留意されたい。用語「実質的に」はまた、本明細書では、定量的表現が、問題の対象物の基本的機能の変化をもたらすことなく、記述された基準から変化し得る程度を表すためにも利用される。
【0218】
当業者には、上で説明される実施形態に基づいて本発明の更なる特徴及び利点が認識されよう。したがって、本発明は、添付の特許請求の範囲によって示される場合を除き、具体的に示され説明された内容により限定されるものではない。本明細書で引用される全ての刊行物及び参考文献は、参照によりそれらの全体が本明細書に明示的に組み込まれる。参照によって全体又は一部が本明細書に組み込まれるとされる任意の特許、公開又は情報は、組み込まれる要素が、この文書に記載されている既存の定義、記述、又は他の開示の要素と矛盾しない程度のみである。したがって、本明細書に明確に示した開示内容は、参照によって本明細書に組み込まれるいかなる矛盾する要素にも優先するものとする。
【0219】
〔実施の態様〕
（１） 手術システムであって、
管腔外解剖学的空間内に部分的に挿入されて位置決めされるように構成された第１の部分と、前記第１の部分の遠位にあり、管腔内解剖学的空間内に位置決めされるように構成された第２の部分と、を有する第１のスコープ装置であって、前記第１のスコープ装置が、前記第１のスコープ装置の視野内の第１のシーンの画像データを送信するように構成された、第１のスコープ装置と、
第２のスコープ装置であって、前記管腔外解剖学的空間内に少なくとも部分的に挿入されて配置され、前記第２のスコープ装置の視野内の第２のシーンの画像データを送信するように構成され、前記第２のシーンが前記第１のシーンとは異なり、前記第１の器具の前記第１の部分の少なくとも一部が前記第２のスコープ装置の前記視野内に存在し、それによって前記第１のスコープ装置を前記第２のスコープ装置に対して追跡する、第２のスコープ装置と、
前記第１のシーン及び前記第２のシーンの前記送信された画像データを受信し、前記管腔内解剖学的空間内の前記第１のスコープ装置の前記第２の部分から前記管腔外空間内の前記第２のスコープ装置までの相対距離を判定し、単一のシーンにおける前記第１のスコープ装置及び前記第２のスコープ装置の少なくとも一部のマージされた画像を提供するように構成されたコントローラであって、前記マージされた画像における前記第１のスコープ装置及び前記第２のスコープ装置の一部のうちの少なくとも１つが、その代表的な描写である、コントローラと、を備えている手術システム。
（２） 前記第１のスコープ装置及び前記第２のスコープの一部が、それぞれ、前記マージされた画像内にその代表的な描写として示される、実施態様１に記載の手術システム。
（３） 前記第１のスコープ装置及び前記第２のスコープ装置のうちの少なくとも１つの少なくとも一部が、前記マージされた画像内にその実際の描写として示される、実施態様１又は実施態様２に記載の手術システム。
（４） 前記第１のシーンを表示するように構成された第１のディスプレイと、前記第２のシーンを表示するように構成された第２のディスプレイとを更に備える、実施態様１に記載の手術システム。
（５） 前記第１のディスプレイ及び前記第２のディスプレイのうちの少なくとも１つが、前記単一のシーンを表示するように更に構成されている、実施態様４に記載の手術システム。
（１） 手術システムであって、
管腔外解剖学的空間内に部分的に挿入されて位置決めされるように構成された第１の部分と、前記第１の部分の遠位にあり、管腔内解剖学的空間内に位置決めされるように構成された第２の部分と、を有する第１のスコープ装置であって、前記第１のスコープ装置が、前記第１のスコープ装置の視野内の第１のシーンの画像データを送信するように構成された、第１のスコープ装置と、
第２のスコープ装置であって、前記管腔外解剖学的空間内に少なくとも部分的に挿入されて配置され、前記第２のスコープ装置の視野内の第２のシーンの画像データを送信するように構成され、前記第２のシーンが前記第１のシーンとは異なり、前記第１の器具の前記第１の部分の少なくとも一部が前記第２のスコープ装置の前記視野内に存在し、それによって前記第１のスコープ装置を前記第２のスコープ装置に対して追跡する、第２のスコープ装置と、
前記第１のシーン及び前記第２のシーンの前記送信された画像データを受信し、前記管腔内解剖学的空間内の前記第１のスコープ装置の前記第２の部分から前記管腔外空間内の前記第２のスコープ装置までの相対距離を判定し、単一のシーンにおける前記第１のスコープ装置及び前記第２のスコープ装置の少なくとも一部のマージされた画像を提供するように構成されたコントローラであって、前記マージされた画像における前記第１のスコープ装置及び前記第２のスコープ装置の一部のうちの少なくとも１つが、その代表的な描写である、コントローラと、を備えている手術システム。
（２） 前記第１のスコープ装置及び前記第２のスコープの一部が、それぞれ、前記マージされた画像内にその代表的な描写として示される、実施態様１に記載の手術システム。
（３） 前記第１のスコープ装置及び前記第２のスコープ装置のうちの少なくとも１つの少なくとも一部が、前記マージされた画像内にその実際の描写として示される、実施態様１又は実施態様２に記載の手術システム。
（４） 前記第１のシーンを表示するように構成された第１のディスプレイと、前記第２のシーンを表示するように構成された第２のディスプレイとを更に備える、実施態様１に記載の手術システム。
（５） 前記第１のディスプレイ及び前記第２のディスプレイのうちの少なくとも１つが、前記単一のシーンを表示するように更に構成されている、実施態様４に記載の手術システム。
【0220】
（６） 前記単一のシーンを表示するように構成された第３のディスプレイを更に備える、実施態様４に記載の手術システム。
（７） 前記第１のシーンが前記第２のスコープ装置を含まず、前記第２のシーンが前記第１のスコープ装置の前記第２のセグメントを含まない、実施態様１に記載の手術システム。
（８） 前記第１のスコープ装置が、内部を通って延在する作業チャネルを有する可撓性本体を備え、前記作業チャネルが、器具が前記管腔外空間と前記管腔内空間との両方に存在するように、前記器具の遠位端が前記管腔外空間内に挿入され、前記管腔外空間を通って前記管腔内空間内に挿入されることを可能にするように構成されている、実施態様１に記載の手術システム。
（９） 前記第２のシーンが、前記器具の前記遠位端を含まない、実施態様８に記載の手術システム。
（１０） 前記第１のスコープ装置が、前記第１のスコープ装置の前記第１の部分上に配置された基準マーカを含む、実施態様１に記載の手術システム。
（７） 前記第１のシーンが前記第２のスコープ装置を含まず、前記第２のシーンが前記第１のスコープ装置の前記第２のセグメントを含まない、実施態様１に記載の手術システム。
（８） 前記第１のスコープ装置が、内部を通って延在する作業チャネルを有する可撓性本体を備え、前記作業チャネルが、器具が前記管腔外空間と前記管腔内空間との両方に存在するように、前記器具の遠位端が前記管腔外空間内に挿入され、前記管腔外空間を通って前記管腔内空間内に挿入されることを可能にするように構成されている、実施態様１に記載の手術システム。
（９） 前記第２のシーンが、前記器具の前記遠位端を含まない、実施態様８に記載の手術システム。
（１０） 前記第１のスコープ装置が、前記第１のスコープ装置の前記第１の部分上に配置された基準マーカを含む、実施態様１に記載の手術システム。
【0221】
（１１） 前記コントローラが、前記基準マーカに基づいて前記第１のスコープ装置の前記第２の部分を追跡するように構成されている、実施態様１０に記載の手術システム。
（１２） 方法であって、
第１のスコープ装置によって、前記第１のスコープ装置の第１のセグメントが管腔外解剖学的空間内に配置され、前記第１のセグメントの遠位にある前記第１のスコープ装置の第２のセグメントが管腔内解剖学的空間内に配置されている間に、前記第１のスコープ装置の視野内の第１のシーンの画像データを送信することと、
第２のスコープ装置によって、前記第２のスコープ装置が前記管腔外空間内に位置付けられている間に、前記第２のスコープ装置の視野内の第２のシーンの画像データを送信することであって、前記第２のシーンが前記第１のシーンと異なる、送信することと、
コントローラによって、前記第１のシーン及び前記第２のシーンの前記送信された画像データを受信することと、
前記コントローラによって、前記管腔内解剖学的空間内の前記第１のスコープ装置の前記第２のセグメントから前記管腔外空間内の前記第２のスコープ装置までの相対距離を判定することと、
単一のシーンにおける前記第１のスコープ装置及び前記第２のスコープ装置の少なくとも一部のマージされた画像を生成することであって、前記単一のシーンに示された前記第１のスコープ装置及び前記第２のスコープ装置の一部のうちの少なくとも１つが、その代表的な描写である、生成することと、を含む方法。
（１３） 前記マージされた画像内に前記第１のスコープ装置の一部の代表的な描写を表示することと、
前記マージされた画像内に前記第２のスコープ装置の代表的な描写を表示することと、
を更に含む、実施態様１２に記載の方法。
（１４） 前記第１のシーンを第１のディスプレイ上に表示することと、
前記第２のシーンを第２のディスプレイ上に表示することと、
を更に含む、実施態様１２に記載の方法。
（１５） 前記第１のディスプレイ及び前記第２のディスプレイのうちの少なくとも１つに前記単一のシーンを表示することを更に含む、実施態様１４に記載の方法。
（１２） 方法であって、
第１のスコープ装置によって、前記第１のスコープ装置の第１のセグメントが管腔外解剖学的空間内に配置され、前記第１のセグメントの遠位にある前記第１のスコープ装置の第２のセグメントが管腔内解剖学的空間内に配置されている間に、前記第１のスコープ装置の視野内の第１のシーンの画像データを送信することと、
第２のスコープ装置によって、前記第２のスコープ装置が前記管腔外空間内に位置付けられている間に、前記第２のスコープ装置の視野内の第２のシーンの画像データを送信することであって、前記第２のシーンが前記第１のシーンと異なる、送信することと、
コントローラによって、前記第１のシーン及び前記第２のシーンの前記送信された画像データを受信することと、
前記コントローラによって、前記管腔内解剖学的空間内の前記第１のスコープ装置の前記第２のセグメントから前記管腔外空間内の前記第２のスコープ装置までの相対距離を判定することと、
単一のシーンにおける前記第１のスコープ装置及び前記第２のスコープ装置の少なくとも一部のマージされた画像を生成することであって、前記単一のシーンに示された前記第１のスコープ装置及び前記第２のスコープ装置の一部のうちの少なくとも１つが、その代表的な描写である、生成することと、を含む方法。
（１３） 前記マージされた画像内に前記第１のスコープ装置の一部の代表的な描写を表示することと、
前記マージされた画像内に前記第２のスコープ装置の代表的な描写を表示することと、
を更に含む、実施態様１２に記載の方法。
（１４） 前記第１のシーンを第１のディスプレイ上に表示することと、
前記第２のシーンを第２のディスプレイ上に表示することと、
を更に含む、実施態様１２に記載の方法。
（１５） 前記第１のディスプレイ及び前記第２のディスプレイのうちの少なくとも１つに前記単一のシーンを表示することを更に含む、実施態様１４に記載の方法。
【0222】
（１６） 前記単一のシーンを第３のディスプレイ上に表示することを更に含む、実施態様１４に記載の方法。
（１７） 器具が前記管腔外空間と前記管腔内空間との両方に存在するように、前記第１のスコープ装置の可撓性本体の作業チャネルを通して器具を挿入して、前記器具の遠位端を前記管腔外空間内に入れ、前記管腔外空間を通して前記管腔内空間内に入れることを更に含む、実施態様１２に記載の方法。
（１８） 前記第２のシーンが、前記器具の前記遠位端を含まない、実施態様１７に記載の方法。
（１９） 前記コントローラによって、前記第１のスコープ装置の前記第１のセグメント上に配置された基準マーカに基づいて、前記管腔内空間内に配置された前記第１のスコープ装置の前記第２のセグメントを追跡することを更に含む、実施態様１２に記載の方法。
（２０） 前記第１のシーンが前記第２のスコープ装置を含まず、前記第２のシーンが前記第１のスコープ装置の前記第１のセグメントを含まない、実施態様１２に記載の方法。
（１７） 器具が前記管腔外空間と前記管腔内空間との両方に存在するように、前記第１のスコープ装置の可撓性本体の作業チャネルを通して器具を挿入して、前記器具の遠位端を前記管腔外空間内に入れ、前記管腔外空間を通して前記管腔内空間内に入れることを更に含む、実施態様１２に記載の方法。
（１８） 前記第２のシーンが、前記器具の前記遠位端を含まない、実施態様１７に記載の方法。
（１９） 前記コントローラによって、前記第１のスコープ装置の前記第１のセグメント上に配置された基準マーカに基づいて、前記管腔内空間内に配置された前記第１のスコープ装置の前記第２のセグメントを追跡することを更に含む、実施態様１２に記載の方法。
（２０） 前記第１のシーンが前記第２のスコープ装置を含まず、前記第２のシーンが前記第１のスコープ装置の前記第１のセグメントを含まない、実施態様１２に記載の方法。
【0223】
（２１） 命令を含むコンピュータプログラム製品であって、前記命令が、前記プログラムがコントローラによって実行されるときに、前記コントローラに、
第１のスコープ装置の第１のセグメントが管腔外解剖学的空間内に配置され、前記第１のセグメントの遠位にある前記第１のスコープ装置の第２のセグメントが管腔内解剖学的空間内に配置されている間に、前記第１のスコープ装置の視野内の第１のシーンの画像データを受信するステップと、
第２のスコープ装置が前記管腔外空間内に位置付けられている間に、前記第２のスコープ装置の視野内の第２のシーンの画像データを受信するステップであって、前記第２のシーンが前記第１のシーンと異なる、受信するステップと、
前記管腔内解剖学的空間内の前記第１のスコープ装置の前記第２のセグメントから前記管腔外空間内の前記第２のスコープ装置までの相対距離を判定するステップと、
単一のシーンにおける前記第１のスコープ装置及び前記第２のスコープ装置の少なくとも一部のマージされた画像を生成するステップであって、前記単一のシーンに示された前記第１のスコープ装置及び前記第２のスコープ装置の一部のうちの少なくとも１つが、その代表的な描写である、生成するステップと、を実行させる、コンピュータプログラム製品。
（２２） 実施態様２１に記載のコンピュータプログラム製品を記憶したコンピュータ可読媒体。
（２３） 実施態様２１に記載のコンピュータプログラム製品を搬送するデータ搬送信号。
第１のスコープ装置の第１のセグメントが管腔外解剖学的空間内に配置され、前記第１のセグメントの遠位にある前記第１のスコープ装置の第２のセグメントが管腔内解剖学的空間内に配置されている間に、前記第１のスコープ装置の視野内の第１のシーンの画像データを受信するステップと、
第２のスコープ装置が前記管腔外空間内に位置付けられている間に、前記第２のスコープ装置の視野内の第２のシーンの画像データを受信するステップであって、前記第２のシーンが前記第１のシーンと異なる、受信するステップと、
前記管腔内解剖学的空間内の前記第１のスコープ装置の前記第２のセグメントから前記管腔外空間内の前記第２のスコープ装置までの相対距離を判定するステップと、
単一のシーンにおける前記第１のスコープ装置及び前記第２のスコープ装置の少なくとも一部のマージされた画像を生成するステップであって、前記単一のシーンに示された前記第１のスコープ装置及び前記第２のスコープ装置の一部のうちの少なくとも１つが、その代表的な描写である、生成するステップと、を実行させる、コンピュータプログラム製品。
（２２） 実施態様２１に記載のコンピュータプログラム製品を記憶したコンピュータ可読媒体。
（２３） 実施態様２１に記載のコンピュータプログラム製品を搬送するデータ搬送信号。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図20】
【図21】
【図22】
【図23】
【図24】
【図25】
【図26】
【図26a】
【図26b】
【図27】
【国際調査報告】