IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エシコン エルエルシーの特許一覧

特開2024-12702外科的障壁を通した外科用システムの制御
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024012702
(43)【公開日】2024-01-30
(54)【発明の名称】外科的障壁を通した外科用システムの制御
(51)【国際特許分類】
   A61B 34/10 20160101AFI20240123BHJP
【FI】
A61B34/10
【審査請求】有
【請求項の数】12
【出願形態】OL
【外国語出願】
(21)【出願番号】P 2023201549
(22)【出願日】2023-11-29
(62)【分割の表示】P 2020536055の分割
【原出願日】2018-11-14
(31)【優先権主張番号】62/650,882
(32)【優先日】2018-03-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/650,898
(32)【優先日】2018-03-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/640,415
(32)【優先日】2018-03-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/659,900
(32)【優先日】2018-04-19
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/729,176
(32)【優先日】2018-09-10
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/640,417
(32)【優先日】2018-03-08
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/692,748
(32)【優先日】2018-06-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/692,768
(32)【優先日】2018-06-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/182,232
(32)【優先日】2018-11-06
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/692,747
(32)【優先日】2018-06-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/650,887
(32)【優先日】2018-03-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/650,877
(32)【優先日】2018-03-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/611,340
(32)【優先日】2017-12-28
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/611,341
(32)【優先日】2017-12-28
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】62/611,339
(32)【優先日】2017-12-28
(33)【優先権主張国・地域又は機関】US
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】517076008
【氏名又は名称】エシコン エルエルシー
【氏名又は名称原語表記】Ethicon LLC
【住所又は居所原語表記】#475 Street C, Suite 401, Los Frailes Industrial Park, Guaynabo, Puerto Rico 00969, United States of America
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】シェルトン・フレデリック・イー・ザ・フォース
(72)【発明者】
【氏名】ハリス・ジェイソン・エル
(72)【発明者】
【氏名】アロンホルト・テイラー・ダブリュ
(57)【要約】
【課題】コンピュータ実装外科用システムを動作させること。
【解決手段】外科用排出システムによって、手術室内の環境に関するパラメータの値を取得することと、外科用ハブに、パラメータの値を送信することと、外科用ハブによって、パラメータの値を処理することと、外科用ハブによって、外科用排出システム及び発生器のうちの少なくとも1つに対するパラメータの値の影響を判定することと、影響に基づいて、外科用ハブから、外科用排出システム及び発生器のうちの少なくとも1つに、動作を調節するための命令を送ることと、命令に基づいて、外科用排出システム及び発生器のうちの少なくとも1つの動作を調節することと、を含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
第1の制御回路、及びディスプレイ(214004)を備える第1の装置と、
組織に作用する外科的機能を発揮するように構成された第2の装置(214002)と、を備える、外科用システム(214000)であって、
前記第2の装置(214002)は、前記第1の制御回路と信号通信する第2の制御回路を備え、前記第2の装置(214002)の画像が、前記第1の装置の前記ディスプレイ(214004)上で視認可能であり、前記第2の制御回路は、前記ディスプレイ(214004)上の前記第2の装置(214002)の前記画像が前記ディスプレイ(214004)上の画像に対するポインタ又はカーソルとして機能して前記第1の装置を制御するように構成されている二次動作モードと、前記第2の装置(214002)が前記外科的機能を制御するように構成されている一次動作モードとの間で、前記第2の装置(214002)を選択的に切り替えるように構成されており、前記第2の装置(214002)が前記二次動作モードにあるときに前記第2の装置(214002)の前記外科的機能を発揮する能力が無効化される、外科用システム。
【請求項2】
前記第2の装置(214002)は、滅菌野内に位置付けられたエンドエフェクタ(214010)を備え、前記エンドエフェクタ(214010)は、前記ディスプレイ(214004)上で視認可能である、請求項1に記載の外科用システム。
【請求項3】
前記二次動作モードは、前記ディスプレイ(214004)上の前記エンドエフェクタ(214010)の前記画像が前記カーソルとして機能するカーソルモードを含み、前記一次動作モードは、組織処置モードを含む、請求項2に記載の外科用システム。
【請求項4】
前記第2の装置(214002)は、第1の位置と第2の位置との間で移動可能な入力スイッチ(214018)を備えるハンドルを備え、前記第1の位置は、前記一次動作モードに対応し、前記第2の位置は、前記二次動作モードに対応する、請求項3に記載の外科用システム。
【請求項5】
前記第2の制御回路は、臨床医による音声コマンドに応答して、前記一次動作モードと前記二次動作モードとの間を切り替えるように構成されている、請求項3に記載の外科用システム。
【請求項6】
前記ディスプレイ(214004)上の前記エンドエフェクタ(214010)の前記画像は、前記カーソルモードにおいて、前記ディスプレイ(214004)にわたってアイコンをドラッグアンドドロップするように構成されている、請求項3に記載の外科用システム。
【請求項7】
前記ディスプレイ(214004)上の前記エンドエフェクタ(214010)の前記画像は、前記カーソルモードにおいて、前記ディスプレイ(214004)上の解剖学的特徴を選択するように構成されている、請求項3に記載の外科用システム。
【請求項8】
前記第2の装置(214002)は、超音波振動を組織に印加するように構成された超音波器具を備え、前記超音波器具は、前記超音波器具上に設けられた第1の作動ボタン(214020)及び第2の作動ボタン(214022)を備え、前記一次動作モードでは、前記第1の作動ボタン(214020)は、第1のエネルギーレベルを作動させるように構成され、前記第2の作動ボタン(214022)は、第2のエネルギーレベルを作動させるように構成され、前記二次動作モードでは、前記第1の作動ボタン(214020)は、前記ディスプレイ(214004)上の前記カーソルとして機能する前記エンドエフェクタ(214010)の前記画像が指し示すものを選択するための第1のカーソルボタンとして機能し、前記第2の作動ボタン(214022)は、前記ディスプレイ(214004)上の前記カーソルとして機能する前記エンドエフェクタ(214010)の前記画像が指し示すものを選択するための第2のカーソルボタンとして機能する、請求項3に記載の外科用システム。
【請求項9】
前記ディスプレイ(214004)上に示される前記エンドエフェクタ(214010)の前記画像は、前記ディスプレイ(214004)上に示されるグラフィカルインターフェースに対する前記ポインタ又はカーソルとして機能する、請求項2に記載の外科用システム。
【請求項10】
前記外科的機能は、超音波封止及び切断機能である、請求項1に記載の外科用システム。
【請求項11】
前記組織に作用する前記外科的機能は、前記組織を把持すること、前記組織にエネルギーを印加すること、及び前記組織をステープル留めすること、のうちの少なくともいずれか1つを含む、請求項1に記載の外科用システム。
【請求項12】
撮像センサを更に備え、前記ディスプレイは、前記撮像センサにより得られた手術部位の術中画像を表示し、
前記撮像センサは、前記第2の装置の術中画像が前記第1の装置の前記ディスプレイ上で見ることができるように、前記第2の装置を撮像するように位置決め可能であり、
前記ディスプレイ(214004)上の画像が、前記ディスプレイ上の前記手術部位の術中画像に重なる前記ディスプレイ(214004)上の少なくとも1つのアイコンであり、前記ディスプレイ上の前記第2の装置の術中画像が、前記少なくとも1つのアイコンに対する前記ポインタ又はカーソルとして機能する、請求項1に記載の外科用システム。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本出願は、開示の全体が参照により本明細書に組み込まれる、「CONTROL OF A SURGICAL SYSTEM THROUGH A SURGICAL BARRIER」と題する2018年11月6日出願の米国特許仮出願第16/182,232号の利益を主張する。
【0002】
本出願は、米国特許法第119条(e)の下で、開示の全体が参照により本明細書に組み込まれる、「INDIRECT COMMAND AND CONTROL OF A FIRST OPERATING ROOM SYSTEM THROUGH THE USE OF A SECOND OPERATING ROOM SYSTEM WITHIN A STERILE FIELD WHERE THE SECOND OPERATING ROOM SYSTEM HAS PRIMARY AND SECONDARY OPERATING MODES」と題する2018年9月10日出願の米国特許仮出願第62/729,176号に対する優先権を主張する。
【0003】
本出願はまた、米国特許法第119条(e)の下で、各開示の全体が参照により本明細書に組み込まれる、「SMART ACTIVATION OF AN ENERGY DEVICE BY ANOTHER DEVICE」と題する2018年6月30日出願の米国特許仮出願第62/692,747号、「SMART ENERGY ARCHITECTURE」と題する2018年6月30日出願の米国特許仮出願第62/692,748号、及び「SMART ENERGY DEVICES」と題する2018年6月30日出願の米国特許仮出願第62/692,768号に対する優先権を主張する。
【0004】
本出願はまた、米国特許法第119条(e)の下で、開示の全体が参照により本明細書に組み込まれる、「METHOD OF HUB COMMUNICATION」と題する2018年4月19日出願の米国特許仮出願第62/659,900号に対する優先権を主張する。
【0005】
本出願はまた、米国特許法第119条(e)の下で、各開示の全体が参照により本明細書に組み込まれる、「CAPACITIVE COUPLED RETURN PATH PAD WITH SEPARABLE ARRAY ELEMENTS」と題する2018年3月30日出願の米国特許仮出願第62/650,898号、「SURGICAL SYSTEMS WITH OPTIMIZED SENSING CAPABILITIES」と題する2018年3月30日出願の米国特許仮出願第62/650,887号、「SMOKE EVACUATION MODULE FOR INTERACTIVE SURGICAL PLATFORM」と題する2018年3月30日出願の米国特許仮出願第62/650,882号、及び「SURGICAL SMOKE EVACUATION SENSING AND CONTROLS」と題する2018年3月30日出願の米国特許仮出願第62/650,877号の優先権を主張する。
【0006】
本出願はまた、米国特許法第119条(e)の下で、各開示の全体が参照により本明細書に組み込まれる、「TEMPERATURE CONTROL IN ULTRASONIC DEVICE AND CONTROL SYSTEM THEREFOR」と題する2018年3月8日出願の米国特許仮出願第62/640,417号、及び「ESTIMATING STATE OF ULTRASONIC END EFFECTOR AND CONTROL SYSTEM THEREFOR」と題する2018年3月8日出願の米国特許仮出願第62/640,415号に対する優先権を主張する。
【0007】
本出願はまた、米国特許法第119条(e)の下で、各開示の全体が参照により本明細書に組み込まれる、「INTERACTIVE SURGICAL PLATFORM」と題する2017年12月28日出願の米国特許仮出願第62/611,341号、「CLOUD-BASED MEDICAL ANALYTICS」と題する2017年12月28日出願の米国特許仮出願第62/611,340号、及び「ROBOT ASSISTED SURGICAL PLATFORM」と題する2017年12月28日出願の米国特許仮出願第62/611,339号の優先権を主張する。
【背景技術】
【0008】
本開示は、様々な外科用システムに関する。外科処置は、典型的には、例えば、病院などの医療施設内の手術室又は部屋で実行される。滅菌野は、典型的には、患者の周囲に形成される。滅菌野は、適切な衣類を着用した洗浄済みのチーム構成員、並びにその領域内の全ての備品及び固定具を含み得る。様々な外科用装置及びシステムが、外科処置の実行に利用される。
【図面の簡単な説明】
【0009】
本明細書に記載される構成及び動作方法の両方に関する様々な態様は、それらの更なる目的及び利点と共に、以下の説明を以下の添付図面と併せて参照することにより最もよく理解することができる。
図1】本開示の少なくとも1つの態様による、コンピュータ実装インタラクティブ外科用システムのブロック図である。
図2】本開示の少なくとも1つの態様による、手術室内で外科処置を行うために使用される外科用システムである。
図3】本開示の少なくとも1つの態様による可視化システム、ロボットシステム、及びインテリジェント器具とペアリングされた外科用ハブである。
図4】本開示の少なくとも1つの態様による、外科用ハブ筐体、及び外科用ハブ筐体のドロアー内に摺動可能に受容可能な組み合わせ発生器モジュールの部分斜視図である。
図5】本開示の少なくとも1つの態様による、双極、超音波、及び単極接点、並びに排煙構成要素を備える組み合わせ発生器モジュールの斜視図である。
図6】本開示の少なくとも1つの態様による、複数のモジュールを受容するように構成された横方向モジュール式ハウジングの複数の横方向ドッキングポートの個々の電力バスアタッチメントを示す。
図7】本開示の少なくとも1つの態様による、複数のモジュールを受容するように構成された垂直モジュール式ハウジングを示す。
図8】本開示の少なくとも1つの態様による、医療施設の1つ以上の手術室、又は外科処置のための専門設備を備えた医療施設内の任意の部屋に配置されたモジュール式装置をクラウドに接続するように構成されたモジュール式通信ハブを備える外科用データネットワークを示す。
図9】本開示の少なくとも1つの態様による、コンピュータ実装インタラクティブ外科用システムを示す。
図10】本開示の少なくとも1つの態様による、モジュール式制御タワーに連結された複数のモジュールを備える外科用ハブを示す。
図11】本開示の少なくとも1つの態様による、ユニバーサルシリアルバス(Universal Serial Bus、USB)ネットワークハブ装置の一態様を示す。
図12】本開示の少なくとも1つの態様による、クラウドコンピューティングシステムのクラウド構成要素に接続してもよい外科用ハブに結合されている複数のスマート外科用器具を備える、クラウドコンピューティングシステムのブロック図である。
図13】本開示の少なくとも1つの態様による、クラウドコンピューティングシステムの機能モジュール構造である。
図14】本開示の少なくとも1つの態様による、状況認識外科用システムの略図を示す。
図15】本開示の少なくとも1つの態様による、外科用ハブの状況認識を示す予定表である。
図16】本開示の少なくとも1つの態様による、手術部位と、手術部位における外科用装置の遠位部分と、を示す、外科処置に対するディスプレイスクリーンの図である。
図17】本開示の少なくとも1つの態様による、外科的障壁を通って手術部位の中へと延びる、図16の外科用装置の図である。
図18】本開示の少なくとも1つの態様による、図16及び図17の外科用装置のハンドル部分の斜視図であり、ハンドル部分は、外科用装置を動作モード間で切り替えるための入力スイッチを有する。
図19】本開示の少なくとも1つの態様による、外科用器具と通信して、外科用器具のペアリング及び手放しを容易にするウェアラブルデバイスを示す略図である。
図20】本開示の少なくとも1つの態様による、ウェアラブルリストデバイスの略図である。
図21】本開示の少なくとも1つの態様による、ウェアラブルリングデバイスの略図である。
図22A】本開示の少なくとも1つの態様による、ディスプレイスクリーンの第1の図であり、ディスプレイスクリーンは、第1の外科用装置、すなわち組み合わせエネルギー装置を制御するための操作者入力を受け取るように構成されている。
図22B】本開示の少なくとも1つの態様による、図22Aのディスプレイスクリーンの第2の図であり、ディスプレイスクリーンは、第2の外科用装置、すなわちステープラを制御するための操作者入力を受け取るように構成されている。
【発明を実施するための形態】
【0010】
本願の出願人は、各開示の全体が参照により本明細書に組み込まれる、2018年11月6日出願の以下の米国特許出願を所有する。
・「SURGICAL NETWORK,INSTRUMENT,AND CLOUD RESPONSES BASED ON VALIDATION OF RECEIVED DATASET AND AUTHENTICATION OF ITS SOURCE AND INTEGRITY」と題する米国特許出願第16/182,224号、
・「SURGICAL SYSTEM FOR PRESENTING INFORMATION INTERPRETED FROM EXTERNAL DATA」と題する米国特許出願第16/182,230号、
・「MODIFICATION OF SURGICAL SYSTEMS CONTROL PROGRAMS BASED ON MACHINE LEARNING」と題する米国特許出願第16/182,233号、
・「ADJUSTMENT OF DEVICE CONTROL PROGRAMS BASED ON STRATIFIED CONTEXTUAL DATA IN ADDITION TO THE DATA」と題する米国特許出願第16/182,239号、
・「SURGICAL HUB AND MODULAR DEVICE RESPONSE ADJUSTMENT BASED ON SITUATIONAL AWARENESS」と題する米国特許出願第16/182,243号、
・「DETECTION AND ESCALATION OF SECURITY RESPONSES OF SURGICAL INSTRUMENTS TO INCREASING SEVERITY THREATS」と題する米国特許出願第16/182,248号、
・「INTERACTIVE SURGICAL SYSTEM」と題する米国特許出願第16/182,251号、
・「AUTOMATED DATA SCALING,ALIGNMENT,AND ORGANIZING BASED ON PREDEFINED PARAMETERS WITHIN SURGICAL NETWORKS」と題する米国特許出願第16/182,260号、
・「SENSING THE PATIENT POSITION AND CONTACT UTILIZING THE MONO-POLAR RETURN PAD ELECTRODE TO PROVIDE SITUATIONAL AWARENESS TO A SURGICAL NETWORK」と題する米国特許出願第16/182,267号、
・「POWERED SURGICAL TOOL WITH PREDEFINED ADJUSTABLE CONTROL ALGORITHM FOR CONTROLLING END EFFECTOR PARAMETER」と題する米国特許出願第16/182,249号、
・「ADJUSTMENTS BASED ON AIRBORNE PARTICLE PROPERTIES」と題する米国特許出願第16/182,246号、
・「ADJUSTMENT OF A SURGICAL DEVICE FUNCTION BASED ON SITUATIONAL AWARENESS」と題する米国特許出願第16/182,256号、
・「REAL-TIME ANALYSIS OF COMPREHENSIVE COST OF ALL INSTRUMENTATION USED IN SURGERY UTILIZING DATA FLUIDITY TO TRACK INSTRUMENTS THROUGH STOCKING AND IN-HOUSE PROCESSES」と題する米国特許出願第16/182,242号、
・「USAGE AND TECHNIQUE ANALYSIS OF SURGEON/STAFF PERFORMANCE AGAINST A BASELINE TO OPTIMIZE DEVICE UTILIZATION AND PERFORMANCE FOR BOTH CURRENT AND FUTURE PROCEDURES」と題する米国特許出願第16/182,255号、
・「IMAGE CAPTURING OF THE AREAS OUTSIDE THE ABDOMEN TO IMPROVE PLACEMENT AND CONTROL OF A SURGICAL DEVICE IN USE」と題する米国特許出願第16/182,269号、
・「COMMUNICATION OF DATA WHERE A SURGICAL NETWORK IS USING CONTEXT OF THE DATA AND REQUIREMENTS OF A RECEIVING SYSTEM/USER TO INFLUENCE INCLUSION OR LINKAGE OF DATA AND METADATA TO ESTABLISH CONTINUITY」と題する米国特許出願第16/182,278号、
・「SURGICAL NETWORK RECOMMENDATIONS FROM REAL TIME ANALYSIS OF PROCEDURE VARIABLES AGAINST A BASELINE HIGHLIGHTING DIFFERENCES FROM THE OPTIMAL SOLUTION」と題する米国特許出願第16/182,290号、
・「SURGICAL NETWORK DETERMINATION OF PRIORITIZATION OF COMMUNICATION,INTERACTION,OR PROCESSING BASED ON SYSTEM OR DEVICE NEEDS」と題する米国特許出願第16/182,227号、
・「WIRELESS PAIRING OF A SURGICAL DEVICE WITH ANOTHER DEVICE WITHIN A STERILE SURGICAL FIELD BASED ON THE USAGE AND SITUATIONAL AWARENESS OF DEVICES」と題する米国特許出願第16/182,231号、
・「ADJUSTMENT OF STAPLE HEIGHT OF AT LEAST ONE ROW OF STAPLES BASED ON THE SENSED TISSUE THICKNESS OR FORCE IN CLOSING」と題する米国特許出願第16/182,229号、
・「STAPLING DEVICE WITH BOTH COMPULSORY AND DISCRETIONARY LOCKOUTS BASED ON SENSED PARAMETERS」と題する米国特許出願第16/182,234号、
・「POWERED STAPLING DEVICE CONFIGURED TO ADJUST FORCE,ADVANCEMENT SPEED,AND OVERALL STROKE OF CUTTING MEMBER BASED ON SENSED PARAMETER OF FIRING OR CLAMPING」と題する米国特許出願第16/182,240号、
・「VARIATION OF RADIO FREQUENCY AND ULTRASONIC POWER LEVEL IN COOPERATION WITH VARYING CLAMP ARM PRESSURE TO ACHIEVE PREDEFINED HEAT FLUX OR POWER APPLIED TO TISSUE」と題する米国特許出願第16/182,235号、及び
・「ULTRASONIC ENERGY DEVICE WHICH VARIES PRESSURE APPLIED BY CLAMP ARM TO PROVIDE THRESHOLD CONTROL PRESSURE AT A CUT PROGRESSION LOCATION」と題する米国特許出願第16/182,238号。
【0011】
本願の出願人は、各開示の全体が参照により本明細書に組み込まれる、2018年9月10日出願の以下の米国特許出願を所有する。
・「A CONTROL FOR A SURGICAL NETWORK OR SURGICAL NETWORK CONNECTED DEVICE THAT ADJUSTS ITS FUNCTION BASED ON A SENSED SITUATION OR USAGE」と題する米国特許仮出願第62/729,183号、
・「AUTOMATED DATA SCALING,ALIGNMENT,AND ORGANIZING BASED ON PREDEFINED PARAMETERS WITHIN A SURGICAL NETWORK BEFORE TRANSMISSION」と題する米国特許仮出願第62/729,177号、
・「INDIRECT COMMAND AND CONTROL OF A FIRST OPERATING ROOM SYSTEM THROUGH THE USE OF A SECOND OPERATING ROOM SYSTEM WITHIN A STERILE FIELD WHERE THE SECOND OPERATING ROOM SYSTEM HAS PRIMARY AND SECONDARY OPERATING MODES」と題する米国特許仮出願第62/729,176号、
・「POWERED STAPLING DEVICE THAT IS CAPABLE OF ADJUSTING FORCE,ADVANCEMENT SPEED,AND OVERALL STROKE OF CUTTING MEMBER OF THE DEVICE BASED ON SENSED PARAMETER OF FIRING OR CLAMPING」と題する米国特許仮出願第62/729,185号、
・「POWERED SURGICAL TOOL WITH A PREDEFINED ADJUSTABLE CONTROL ALGORITHM FOR CONTROLLING AT LEAST ONE END EFFECTOR PARAMETER AND A MEANS FOR LIMITING THE ADJUSTMENT」と題する米国特許仮出願第62/729,184号、
・「SENSING THE PATIENT POSITION AND CONTACT UTILIZING THE MONO POLAR RETURN PAD ELECTRODE TO PROVIDE SITUATIONAL AWARENESS TO THE HUB」と題する米国特許仮出願第62/729,182号、
・「SURGICAL NETWORK RECOMMENDATIONS FROM REAL TIME ANALYSIS OF PROCEDURE VARIABLES AGAINST A BASELINE HIGHLIGHTING DIFFERENCES FROM THE OPTIMAL SOLUTION」と題する米国特許仮出願第62/729,191号、
・「ULTRASONIC ENERGY DEVICE WHICH VARIES PRESSURE APPLIED BY CLAMP ARM TO PROVIDE THRESHOLD CONTROL PRESSURE AT A CUT PROGRESSION LOCATION」と題する米国特許仮出願第62/729,195号、及び
・「WIRELESS PAIRING OF A SURGICAL DEVICE WITH ANOTHER DEVICE WITHIN A STERILE SURGICAL FIELD BASED ON THE USAGE AND SITUATIONAL AWARENESS OF DEVICES」と題する米国特許仮出願第62/729,186号。
【0012】
本願の出願人は、各開示の全体が参照により本明細書に組み込まれる、2018年8月28日出願の以下の米国特許出願を所有する。
・「ESTIMATING STATE OF ULTRASONIC END EFFECTOR AND CONTROL SYSTEM THEREFOR」と題する米国特許出願第16/115,214号、
・「TEMPERATURE CONTROL OF ULTRASONIC END EFFECTOR AND CONTROL SYSTEM THEREFOR」と題する米国特許出願第16/115,205号、
・「RADIO FREQUENCY ENERGY DEVICE FOR DELIVERING COMBINED ELECTRICAL SIGNALS」と題する米国特許出願第16/115,233号。
・「CONTROLLING AN ULTRASONIC SURGICAL INSTRUMENT ACCORDING TO TISSUE LOCATION」と題する米国特許出願第16/115,208号、
・「CONTROLLING ACTIVATION OF AN ULTRASONIC SURGICAL INSTRUMENT ACCORDING TO THE PRESENCE OF TISSUE」と題する米国特許出願第16/115,220号、
・「DETERMINING TISSUE COMPOSITION VIA AN ULTRASONIC SYSTEM」と題する米国特許出願第16/115,232号、
・「DETERMINING THE STATE OF AN ULTRASONIC ELECTROMECHANICAL SYSTEM ACCORDING TO FREQUENCY SHIFT」と題する米国特許出願第16/115,239号、
・「DETERMINING THE STATE OF AN ULTRASONIC END EFFECTOR」と題する米国特許出願第16/115,247号、
・「SITUATIONAL AWARENESS OF ELECTROSURGICAL SYSTEMS」と題する米国特許出願第16/115,211号、
・「MECHANISMS FOR CONTROLLING DIFFERENT ELECTROMECHANICAL SYSTEMS OF AN ELECTROSURGICAL INSTRUMENT」と題する米国特許出願第16/115,226号、
・「DETECTION OF END EFFECTOR IMMERSION IN LIQUID」と題する米国特許出願第16/115,240号、
・「INTERRUPTION OF ENERGY DUE TO INADVERTENT CAPACITIVE COUPLING」と題する米国特許出願第16/115,249号、
・「INCREASING RADIO FREQUENCY TO CREATE PAD-LESS MONOPOLAR LOOP」と題する米国特許出願第16/115,256号、
・「BIPOLAR COMBINATION DEVICE THAT AUTOMATICALLY ADJUSTS PRESSURE BASED ON ENERGY MODALITY」と題する米国特許出願第16/115,223号、及び
・「ACTIVATION OF ENERGY DEVICES」と題する米国特許出願第16/115,238号。
【0013】
本願の出願人は、各開示の全体が参照により本明細書に組み込まれる、2018年8月23日出願の以下の米国特許出願を所有する。
・「CONTROLLING AN ULTRASONIC SURGICAL INSTRUMENT ACCORDING TO TISSUE LOCATION」と題する米国特許仮出願第62/721,995号、
・「SITUATIONAL AWARENESS OF ELECTROSURGICAL SYSTEMS」と題する米国特許仮出願第62/721,998号、
・「INTERRUPTION OF ENERGY DUE TO INADVERTENT CAPACITIVE COUPLING」と題する米国特許仮出願第62/721,999号、
・「BIPOLAR COMBINATION DEVICE THAT AUTOMATICALLY ADJUSTS PRESSURE BASED ON ENERGY MODALITY」と題する米国特許仮出願第62/721,994号、及び
・「RADIO FREQUENCY ENERGY DEVICE FOR DELIVERING COMBINED ELECTRICAL SIGNALS」と題する米国特許仮出願第62/721,996号。
【0014】
本願の出願人は、各開示の全体が参照により本明細書に組み込まれる、2018年6月30日出願の以下の米国特許出願を所有する。
・「SMART ACTIVATION OF AN ENERGY DEVICE BY ANOTHER DEVICE」と題する米国特許仮出願第62/692,747号、
・「SMART ENERGY ARCHITECTURE」と題する米国特許仮出願第62/692,748号、及び
・「SMART ENERGY DEVICES」と題する米国特許仮出願第62/692,768号。
【0015】
本願の出願人は、各開示の全体が参照により本明細書に組み込まれる、2018年6月29日出願の以下の米国特許出願を所有する。
・「CAPACITIVE COUPLED RETURN PATH PAD WITH SEPARABLE ARRAY ELEMENTS」と題する米国特許出願第16/024,090号、
・「CONTROLLING A SURGICAL INSTRUMENT ACCORDING TO SENSED CLOSURE PARAMETERS」と題する米国特許出願第16/024,057号、
・「SYSTEMS FOR ADJUSTING END EFFECTOR PARAMETERS BASED ON PERIOPERATIVE INFORMATION」と題する米国特許出願第16/024,067号、
・「SAFETY SYSTEMS FOR SMART POWERED SURGICAL STAPLING」と題する米国特許出願第16/024,075号、
・「SAFETY SYSTEMS FOR SMART POWERED SURGICAL STAPLING」と題する米国特許出願第16/024,083号、
・「SURGICAL SYSTEMS FOR DETECTING END EFFECTOR TISSUE DISTRIBUTION IRREGULARITIES」と題する米国特許出願第16/024,094号、
・「SYSTEMS FOR DETECTING PROXIMITY OF SURGICAL END EFFECTOR TO CANCEROUS TISSUE」と題する米国特許出願第16/024,138号、
・「SURGICAL INSTRUMENT CARTRIDGE SENSOR ASSEMBLIES」と題する米国特許出願第16/024,150号、
・「VARIABLE OUTPUT CARTRIDGE SENSOR ASSEMBLY」と題する米国特許出願第16/024,160号、
・「SURGICAL INSTRUMENT HAVING A FLEXIBLE ELECTRODE」と題する米国特許出願第16/024,124号、
・「SURGICAL INSTRUMENT HAVING A FLEXIBLE CIRCUIT」と題する米国特許出願第16/024,132号、
・「SURGICAL INSTRUMENT WITH A TISSUE MARKING ASSEMBLY」と題する米国特許出願第16/024,141号、
・「SURGICAL SYSTEMS WITH PRIORITIZED DATA TRANSMISSION CAPABILITIES」と題する米国特許出願第16/024,162号、
・「SURGICAL EVACUATION SENSING AND MOTOR CONTROL」と題する米国特許出願第16/024,066号、
・「SURGICAL EVACUATION SENSOR ARRANGEMENTS」と題する米国特許出願第16/024,096号、
・「SURGICAL EVACUATION FLOW PATHS」と題する米国特許出願第16/024,116号、
・「SURGICAL EVACUATION SENSING AND GENERATOR CONTROL」と題する米国特許出願第16/024,149号、
・「SURGICAL EVACUATION SENSING AND DISPLAY」と題する米国特許出願第16/024,180号、
・「COMMUNICATION OF SMOKE EVACUATION SYSTEM PARAMETERS TO HUB OR CLOUD IN SMOKE EVACUATION MODULE FOR INTERACTIVE SURGICAL PLATFORM」と題する米国特許出願第16/024,245号、
・「SMOKE EVACUATION SYSTEM INCLUDING A SEGMENTED CONTROL CIRCUIT FOR INTERACTIVE SURGICAL PLATFORM」と題する米国特許出願第16/024,258号、
・「SURGICAL EVACUATION SYSTEM WITH A COMMUNICATION CIRCUIT FOR COMMUNICATION BETWEEN A FILTER AND A SMOKE EVACUATION DEVICE」と題する米国特許出願第16/024,265号、及び
・「DUAL IN-SERIES LARGE AND SMALL DROPLET FILTERS」と題する米国特許出願第16/024,273号。
【0016】
本願の出願人は、各開示の全体が参照により本明細書に組み込まれる、2018年6月28日出願の以下の米国特許仮出願を所有する。
・「A METHOD OF USING REINFORCED FLEX CIRCUITS WITH MULTIPLE SENSORS WITH ELECTROSURGICAL DEVICES」と題する米国特許仮出願第62/691,228号、
・「CONTROLLING A SURGICAL INSTRUMENT ACCORDING TO SENSED CLOSURE PARAMETERS」と題する米国特許仮出願第62/691,227号、
・「SURGICAL INSTRUMENT HAVING A FLEXIBLE ELECTRODE」と題する米国特許仮出願第62/691,230号、
・「SURGICAL EVACUATION SENSING AND MOTOR CONTROL」と題する米国特許仮出願第62/691,219号、
・「COMMUNICATION OF SMOKE EVACUATION SYSTEM PARAMETERS TO HUB OR CLOUD IN SMOKE EVACUATION MODULE FOR INTERACTIVE SURGICAL PLATFORM」と題する米国特許仮出願第62/691,257号、
・「SURGICAL EVACUATION SYSTEM WITH A COMMUNICATION CIRCUIT FOR COMMUNICATION BETWEEN A FILTER AND A SMOKE EVACUATION DEVICE」と題する米国特許仮出願第62/691,262号、及び
・「DUAL IN-SERIES LARGE AND SMALL DROPLET FILTERS」と題する米国特許仮出願第62/691,251号。
【0017】
本願の出願人は、その開示の全体が参照により本明細書に組み込まれる、2018年4月19日出願の以下の米国特許仮出願を所有する。
・「METHOD OF HUB COMMUNICATION」と題する米国特許仮出願第62/659,900号。
【0018】
本願の出願人は、各開示の全体が参照により本明細書に組み込まれる、2018年3月30日出願の以下の米国特許仮出願を所有する。
・「CAPACITIVE COUPLED RETURN PATH PAD WITH SEPARABLE ARRAY ELEMENTS」と題する2018年3月30日出願の米国特許仮出願第62/650,898号、
・「SURGICAL SYSTEMS WITH OPTIMIZED SENSING CAPABILITIES」と題する米国特許仮出願第62/650,887号、
・「SMOKE EVACUATION MODULE FOR INTERACTIVE SURGICAL PLATFORM」と題する米国特許仮出願第62/650,882号、及び
・「SURGICAL SMOKE EVACUATION SENSING AND CONTROLS」と題する米国特許仮出願第62/650,877号。
【0019】
本願の出願人は、各開示の全体が参照により本明細書に組み込まれる、2018年3月29日出願の以下の米国特許出願を所有する。
・「INTERACTIVE SURGICAL SYSTEMS WITH ENCRYPTED COMMUNICATION CAPABILITIES」と題する米国特許出願第15/940,641号、
・「INTERACTIVE SURGICAL SYSTEMS WITH CONDITION HANDLING OF DEVICES AND DATA CAPABILITIES」と題する米国特許出願第15/940,648号、
・「SURGICAL HUB COORDINATION OF CONTROL AND COMMUNICATION OF OPERATING ROOM DEVICES」と題する米国特許出願第15/940,656号、
・「SPATIAL AWARENESS OF SURGICAL HUBS IN OPERATING ROOMS」と題する米国特許出願第15/940,666号、
・「COOPERATIVE UTILIZATION OF DATA DERIVED FROM SECONDARY SOURCES BY INTELLIGENT SURGICAL HUBS」と題する米国特許出願第15/940,670号、
・「SURGICAL HUB CONTROL ARRANGEMENTS」と題する米国特許出願第15/940,677号、
・「DATA STRIPPING METHOD TO INTERROGATE PATIENT RECORDS AND CREATE ANONYMIZED RECORD」と題する米国特許出願第15/940,632号、
・「COMMUNICATION HUB AND STORAGE DEVICE FOR STORING PARAMETERS AND STATUS OF A SURGICAL DEVICE TO BE SHARED WITH CLOUD BASED ANALYTICS SYSTEMS」と題する米国特許出願第15/940,640号、
・「SELF DESCRIBING DATA PACKETS GENERATED AT AN ISSUING INSTRUMENT」と題する米国特許出願第15/940,645号、
・「DATA PAIRING TO INTERCONNECT A DEVICE MEASURED PARAMETER WITH AN OUTCOME」と題する米国特許出願第15/940,649号、
・「SURGICAL HUB SITUATIONAL AWARENESS」と題する米国特許出願第15/940,654号、
・「SURGICAL SYSTEM DISTRIBUTED PROCESSING」と題する米国特許出願第15/940,663号、
・「AGGREGATION AND REPORTING OF SURGICAL HUB DATA」と題する米国特許出願第15/940,668号、
・「SURGICAL HUB SPATIAL AWARENESS TO DETERMINE DEVICES IN OPERATING THEATER」と題する米国特許出願第15/940,671号、
・「DISPLAY OF ALIGNMENT OF STAPLE CARTRIDGE TO PRIOR LINEAR STAPLE LINE」と題する米国特許出願第15/940,686号、
・「STERILE FIELD INTERACTIVE CONTROL DISPLAYS」と題する米国特許出願第15/940,700号、
・「COMPUTER IMPLEMENTED INTERACTIVE SURGICAL SYSTEMS」と題する米国特許出願第15/940,629号、
・「USE OF LASER LIGHT AND RED-GREEN-BLUE COLORATION TO DETERMINE PROPERTIES OF BACK SCATTERED LIGHT」と題する米国特許出願第15/940,704号、
・「CHARACTERIZATION OF TISSUE IRREGULARITIES THROUGH THE USE OF MONO-CHROMATIC LIGHT REFRACTIVITY」と題する米国特許出願第15/940,722号、
・「DUAL CMOS ARRAY IMAGING」と題する米国特許出願第15/940,742号。
・「ADAPTIVE CONTROL PROGRAM UPDATES FOR SURGICAL DEVICES」と題する米国特許出願第15/940,636号、
・「ADAPTIVE CONTROL PROGRAM UPDATES FOR SURGICAL HUBS」と題する米国特許出願第15/940,653号、
・「CLOUD-BASED MEDICAL ANALYTICS FOR CUSTOMIZATION AND RECOMMENDATIONS TO A USER」と題する米国特許出願第15/940,660号、
・「CLOUD-BASED MEDICAL ANALYTICS FOR LINKING OF LOCAL USAGE TRENDS WITH THE RESOURCE ACQUISITION BEHAVIORS OF LARGER DATA SET」と題する米国特許出願第15/940,679号、
・「CLOUD-BASED MEDICAL ANALYTICS FOR MEDICAL FACILITY SEGMENTED INDIVIDUALIZATION OF INSTRUMENT FUNCTION」と題する米国特許出願第15/940,694号、
・「CLOUD-BASED MEDICAL ANALYTICS FOR SECURITY AND AUTHENTICATION TRENDS AND REACTIVE MEASURES」と題する米国特許出願第15/940,634号、
・「DATA HANDLING AND PRIORITIZATION IN A CLOUD ANALYTICS NETWORK」と題する米国特許出願第15/940,706号、
・「CLOUD INTERFACE FOR COUPLED SURGICAL DEVICES」と題する米国特許出願第15/940,675号、
・「DRIVE ARRANGEMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」と題する米国特許出願第15/940,627号、
・「COMMUNICATION ARRANGEMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」と題する米国特許出願第15/940,637号、
・「CONTROLS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」と題する米国特許出願第15/940,642号、
・「AUTOMATIC TOOL ADJUSTMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」と題する米国特許出願第15/940,676号、
・「CONTROLLERS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」と題する米国特許出願第15/940,680号、
・「COOPERATIVE SURGICAL ACTIONS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」と題する米国特許出願第15/940,683号、
・「DISPLAY ARRANGEMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」と題する米国特許出願第15/940,690号、及び
・「SENSING ARRANGEMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」と題する米国特許出願第15/940,711号。
【0020】
本願の出願人は、各開示の全体が参照により本明細書に組み込まれる、2018年3月28日出願の以下の米国特許仮出願を所有する。
・「INTERACTIVE SURGICAL SYSTEMS WITH ENCRYPTED COMMUNICATION CAPABILITIES」と題する米国特許仮出願第62/649,302号、
・「DATA STRIPPING METHOD TO INTERROGATE PATIENT RECORDS AND CREATE ANONYMIZED RECORD」と題する米国特許仮出願第62/649,294号、
・「SURGICAL HUB SITUATIONAL AWARENESS」と題する米国特許仮出願第62/649,300号、
・「SURGICAL HUB SPATIAL AWARENESS TO DETERMINE DEVICES IN OPERATING THEATER」と題する米国特許仮出願第62/649,309号、
・「COMPUTER IMPLEMENTED INTERACTIVE SURGICAL SYSTEMS」と題する米国特許仮出願第62/649,310号、
・「USE OF LASER LIGHT AND RED-GREEN-BLUE COLORATION TO DETERMINE PROPERTIES OF BACK SCATTERED LIGHT」と題する米国特許仮出願第62/649,291号、
・「ADAPTIVE CONTROL PROGRAM UPDATES FOR SURGICAL DEVICES」と題する米国特許仮出願第62/649,296号、
・「CLOUD-BASED MEDICAL ANALYTICS FOR CUSTOMIZATION AND RECOMMENDATIONS TO A USER」と題する米国特許仮出願第62/649,333号、
・「CLOUD-BASED MEDICAL ANALYTICS FOR SECURITY AND AUTHENTICATION TRENDS AND REACTIVE MEASURES」と題する米国特許仮出願第62/649,327号、
・「DATA HANDLING AND PRIORITIZATION IN A CLOUD ANALYTICS NETWORK」と題する米国特許仮出願第62/649,315号、
・「CLOUD INTERFACE FOR COUPLED SURGICAL DEVICES」と題する米国特許仮出願第62/649,313号、
・「DRIVE ARRANGEMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」と題する米国特許仮出願第62/649,320号、
・「AUTOMATIC TOOL ADJUSTMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」と題する米国特許仮出願第62/649,307号、及び
・「SENSING ARRANGEMENTS FOR ROBOT-ASSISTED SURGICAL PLATFORMS」と題する米国特許仮出願第62/649,323号。
【0021】
本願の出願人は、各開示の全体が参照により本明細書に組み込まれる、2018年3月8日出願の以下の米国特許仮出願を所有する。
・「TEMPERATURE CONTROL IN ULTRASONIC DEVICE AND CONTROL SYSTEM THEREFOR」と題する米国特許仮出願第62/640,417号、及び
・「ESTIMATING STATE OF ULTRASONIC END EFFECTOR AND CONTROL SYSTEM THEREFOR」と題する米国特許仮出願第62/640,415号。
【0022】
本願の出願人は、各開示の全体が参照により本明細書に組み込まれる、2017年12月28日出願の以下の米国特許仮出願を所有する。
・「INTERACTIVE SURGICAL PLATFORM」と題する米国特許仮出願番号米国特許仮出願第62/611,341号、
・「CLOUD-BASED MEDICAL ANALYTICS」と題する米国特許仮出願第62/611,340号、及び
・「ROBOT ASSISTED SURGICAL PLATFORM」と題する米国特許仮出願第62/611,339号。
【0023】
外科用装置及び発生器の様々な態様を詳細に説明する前に、例示される実施例は、適用又は用途において、添付の図面及び説明で示される部品の構造及び配置の詳細に限定されないことに留意すべきである。例示的な実施例は、他の態様、変形形態、及び修正で実施されるか、又はそれらに組み込まれてもよく、様々な方法で実施又は実行されてもよい。更に、特に明記しない限り、本明細書で用いられる用語及び表現は、読者の便宜のために例示的な実施例を説明する目的で選択されたものであり、それらを限定するためのものではない。更に、以下に記述される態様、態様の具現、及び/又は実施例のうちの1つ以上を、以下に記述される他の態様、態様の具現、及び/又は実施例のうちの任意の1つ以上と組み合わせることができるものと理解されたい。
【0024】
外科用ハブ
図1を参照すると、コンピュータ実装インタラクティブ外科用システム100は、1つ以上の外科用システム102と、クラウドベースのシステム(例えば、記憶装置105に連結されたリモートサーバ113を含んでもよいクラウド104)と、を含む。それぞれの外科用システム102は、リモートサーバ113を含んでもよいクラウド104と通信する少なくとも1つの外科用ハブ106を含む。一実施例では、図1に示すように、外科用システム102は、互いに、及び/又はハブ106と通信するように構成された、可視化システム108と、ロボットシステム110と、ハンドヘルド式インテリジェント外科用器具112と、を含む。いくつかの態様では、外科用システム102は、M個のハブ106と、N個の可視化システム108と、O個のロボットシステム110と、P個のハンドヘルド式インテリジェント外科用器具112と、を含んでもよく、ここでM、N、O、及びPは、1以上の整数である。
【0025】
様々な態様では、図1図7を参照して上述したインテリジェント器具112は、外科用装置214002(図16図18)、ディスプレイスクリーン(図16)、ウェアラブルデバイス214100、214102、214200、214202(図19図21)、及びディスプレイ214400(図22A及び図22B)として実装されてもよい。外科用装置214002(図16図18)、ディスプレイスクリーン(図16)、ウェアラブルデバイス214100、214102、214200、214202(図19図21)、及びディスプレイ214400(図22A及び図22B)などのインテリジェント器具112(例えば、装置1~1)は、図8を参照して説明されるように、外科用データネットワーク201内で動作するように構成されている。
【0026】
図2は、外科手術室116内の手術台114上に横たわっている患者に対して外科処置を実施するために使用される外科用システム102の一例を示す。ロボットシステム110は、外科処置において外科用システム102の一部として使用される。ロボットシステム110は、外科医のコンソール118と、患者側カート120(外科用ロボット)と、外科用ロボットハブ122と、を含む。患者側カート120は、患者の身体の低侵襲切開中に、外科医が外科医のコンソール118を介して手術部位を見る間、少なくとも1つの取り外し可能に連結された外科用ツール117を操作することができる。手術部位の画像は医療用撮像装置124によって得ることができ、医療用撮像装置124は撮像装置124を配向するために患者側カート120によって操作され得る。ロボットハブ122は、外科医のコンソール118を介して外科医に対するその後の表示のために、手術部位の画像を処理するように使用することができる。
【0027】
他の種類のロボットシステムを、外科用システム102と共に使用するために容易に適合させることができる。本開示と共に使用するのに好適なロボットシステム及び外科用ツールの様々な例は、その開示が参照によりその全体が本明細書に組み込まれる、2017年12月28日出願の「ROBOT ASSISTED SURGICAL PLATFORM」と題する米国特許仮出願第62/611,339号に記載されている。
【0028】
クラウド104によって実施され、本開示と共に使用するのに好適なクラウドベース分析の様々な例は、その開示が参照によりその全体が本明細書に組み込まれる、2017年12月28日出願の「CLOUD-BASED MEDICAL ANALYTICS」と題する米国特許仮出願第62/611,340号に記載されている。
【0029】
様々な態様では、撮像装置124は、少なくとも1つの画像センサと、1つ以上の光学構成要素と、を含む。好適な画像センサとしては、電荷結合素子(Charge-Coupled Device、CCD)センサ及び相補型金属酸化膜半導体(Complementary Metal-Oxide Semiconductor、CMOS)センサが挙げられるが、これらに限定されない。
【0030】
撮像装置124の光学構成要素は、1つ以上の照明光源及び/又は1つ以上のレンズを含んでもよい。1つ以上の照明光源は、手術野の部分を照明するように方向付けられてもよい。1つ以上の画像センサは、組織及び/又は外科用器具から反射又は屈折された光を含む、手術野から反射又は屈折された光を受信することができる。
【0031】
1つ以上の照明光源は、可視スペクトル及び不可視スペクトル内の電磁エネルギーを放射するように構成され得る。光学スペクトル又は発光スペクトルと称されることもある可視スペクトルは、人間の目に可視である(すなわち、人間の目によって検出することができる)電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約380nm~約750nmの波長に反応する。
【0032】
不可視スペクトル(すなわち、非発光スペクトル)は、可視スペクトルの下方及び上方に位置する電磁スペクトルの一部分である(すなわち、約380nm未満及び約750nm超の波長)。不可視スペクトルは、人間の目で検出可能ではない。約750nmを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線(infrared、IR)、マイクロ波、及び無線電磁放射線になる。約380nm未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、X線、及びガンマ線電磁放射線になる。
【0033】
様々な態様では、撮像装置124は、低侵襲性手術で使用するように構成されている。本開示と共に使用するのに好適な撮像装置の例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、サイトスコープ(cytoscope)、十二指腸鏡、腸鏡、食道胃十二指腸鏡(胃鏡)、内視鏡、喉頭鏡、鼻咽喉-腎盂鏡(nasopharyngo-neproscope)、S状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。
【0034】
一態様では、撮像装置は、トポグラフィーと下層構造とを区別するためにマルチスペクトルモニタリングを用いる。マルチスペクトル画像は、電磁スペクトルにわたって特定の波長範囲内の画像データを取り込むものである。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、IR及び紫外光を含む特定の波長からの光に感受性の器具を使用することによって分離することができる。スペクトル撮像法は、人間の目がその赤色、緑色、及び青色の受容体で取り込むことのできない追加情報の抽出を可能にすることができる。マルチスペクトル撮像法の使用は、その開示は参照によりその全体が本明細書に組み込まれる2017年12月28日出願の「INTERACTIVE SURGICAL PLATFORM」と題する米国特許仮出願第62/611,341号の「Advanced Imaging Acquisition Module」の項で詳細に説明されている。マルチスペクトルモニタリングは、1つの手術作業が完了した後に、処置された組織上で上述の試験の1つ以上を実施するために手術野を再配置するのに有用なツールであり得る。
【0035】
いかなる外科手術においても手術室及び外科用機器の厳格な滅菌が必要であることは自明である。「手術現場(surgical theater)」、すなわち手術室又は処置室に必要とされる厳格な衛生及び滅菌条件は、全ての医療装置及び機器の最大級の滅菌性を必要とする。その滅菌プロセスの一部は、撮像装置124並びにその付属品及び構成要素を含む、患者と接触する、又は滅菌野に侵入するあらゆるものを滅菌する必要性である。滅菌野は、トレイ内又は滅菌タオル上などの、微生物を含まないと見なされる特定の領域と見なされ得ること、又は滅菌野は、外科処置のために準備された患者のすぐ周囲の領域と見なされ得ることが理解されよう。滅菌野は、適切な衣類を着用した洗浄済みのチーム構成員、並びにその領域内の全ての備品及び固定具を含み得る。
【0036】
様々な態様では、可視化システム108は、図2に示されるように、滅菌野に対して戦略的に配置される1つ以上の撮像センサと、1つ以上の画像処理ユニットと、1つ以上のストレージアレイと、1つ以上のディスプレイと、を含む。一態様では、可視化システム108は、HL7、PACS、及びEMRのインターフェースを含む。可視化システム108の様々な構成要素については、その開示は参照によりその全体が本明細書に組み込まれる2017年12月28日出願の「INTERACTIVE SURGICAL PLATFORM」と題する米国特許仮出願第62/611,341号の「Advanced Imaging Acquisition Module」の項で説明されている。
【0037】
図2に示すように、一次ディスプレイ119は、手術台114の操作者に可視であるように、滅菌野内に位置付けられる。加えて、可視化タワー111は、滅菌野の外に位置付けられる。可視化タワー111は、互いに離れる方に面する第1の非滅菌ディスプレイ107及び第2の非滅菌ディスプレイ109を含む。ハブ106によって誘導される可視化システム108は、ディスプレイ107、109、及び119を利用して、滅菌野の内側及び外部の操作者に対する情報フローを調整するように構成されている。例えば、ハブ106は、可視化システム108に、一次ディスプレイ119上の手術部位のライブ映像を維持させながら、撮像装置124によって記録される手術部位のスナップショットを非滅菌ディスプレイ107又は109上に表示させることができる。非滅菌ディスプレイ107又は109上のスナップショットは、例えば、非滅菌操作者が外科処置に関連する診断工程を実施することを可能にすることができる。
【0038】
一態様では、ハブ106は、滅菌野内で、可視化タワー111に位置する非滅菌操作者によって入力された診断入力又はフィードバックを滅菌領域内の一次ディスプレイ119に送り、これを手術台の滅菌操作者が見ることができるようにも構成される。一実施例では、入力は、ハブ106によって一次ディスプレイ119に送ることのできる、非滅菌ディスプレイ107又は109上に表示されるスナップショットに対する修正の形態であってもよい。
【0039】
図2を参照すると、外科用器具112は、外科処置において外科用システム102の一部として使用されている。ハブ106はまた、外科用器具112のディスプレイへの情報フローを調整するようにも構成されている。例えば、情報フローの調整については、その開示の全体が参照により本明細書に組み込まれる、「INTERACTIVE SURGICAL PLATFORM」と題する2017年12月28日出願の米国特許仮出願第62/611,341号で更に説明されている。可視化タワー111で非滅菌操作者によって入力される診断入力又はフィードバックは、滅菌野内でハブ106によって外科用器具ディスプレイ115に送られてもよく、ここで診断入力又はフィードバックは外科用器具112の操作者によって見られてもよい。外科用システム102と共に使用するのに好適な例示的な外科用器具の例は、例えば、その開示が参照によりその全体が本明細書に組み込まれる、「INTERACTIVE SURGICAL PLATFORM」と題する2017年12月28日出願の米国特許仮出願第62/611,341号において「Surgical Instrument Hardware」の項目で説明されている。
【0040】
ここで図3を参照すると、ハブ106が、可視化システム108、ロボットシステム110、及びハンドヘルド式インテリジェント外科用器具112と通信している状態で示されている。ハブ106は、ハブディスプレイ135、撮像モジュール138、(単極発生器142、双極発生器144、及び/又は超音波発生器143を含み得る)発生器モジュール140、通信モジュール130、プロセッサモジュール132、及びストレージアレイ134を含む。特定の態様では、図3に示すように、ハブ106は、排煙モジュール126、吸引/灌注モジュール128、及び/又はORマッピングモジュール133を更に含む。
【0041】
外科処置中、封止及び/又は切断のため組織へのエネルギー印加は、一般に、排煙、過剰な流体の吸引、及び/又は組織の灌注を伴う。異なる供給源からの流体ライン、電力ライン、及び/又はデータラインは、外科処置中に絡まり合うことが多い。外科処置中にこの問題に対処することで貴重な時間が失われる場合がある。ラインの絡まりをほどくには、それらの対応するモジュールからラインを抜くことが必要となる場合があり、そのためにはモジュールをリセットすることが必要となる場合がある。ハブのモジュール式筐体136は、電力、データ、及び流体ラインを管理するための統一環境を提供し、このようなライン間の絡まりの頻度を低減させる。
【0042】
本開示の態様は、手術部位における組織へのエネルギー印加を伴う外科処置において使用するための外科用ハブを提示する。外科用ハブは、ハブ筐体と、ハブ筐体のドッキングステーション内に摺動可能に受容可能な組み合わせ発生器モジュールと、を含む。ドッキングステーションはデータ及び電力接点を含む。組み合わせ発生器モジュールは、単一ユニット内に収容された、超音波エネルギー発生器構成要素、双極RFエネルギー発生器構成要素、及び単極RFエネルギー発生器構成要素のうちの2つ以上を含む。一態様では、組み合わせ発生器モジュールは、更に、排煙構成要素と、組み合わせ発生器モジュールを外科用器具に接続するための少なくとも1つのエネルギー供給ケーブルと、組織への治療エネルギーの印加によって発生した煙、流体、及び/又は微粒子を排出するように構成された少なくとも1つの排煙構成要素と、遠隔手術部位から排煙構成要素まで延びる流体ラインと、を含む。
【0043】
一態様では、流体ラインは第1の流体ラインであり、第2の流体ラインは、遠隔手術部位から、ハブ筐体内に摺動可能に受容される吸引及び灌注モジュールまで延びる。一態様では、ハブ筐体は、流体インターフェースを備える。
【0044】
特定の外科処置は、2種以上のエネルギーの種類を組織に印加することを必要とする場合がある。1つのエネルギーの種類は、組織を切断するのにより有益であり得るが、別の異なるエネルギーの種類は、組織を封止するのにより有益であり得る。例えば、双極発生器は、組織を封止するために使用することができ、一方で、超音波発生器は、封止された組織を切断するために使用することができる。本開示の態様は、ハブのモジュール式筐体136が異なる発生器を収容して、これらの間の双方向通信を促進するように構成される解決法を提示する。ハブのモジュール式筐体136の利点の1つは、様々なモジュールの迅速な取り外し及び/又は交換を可能にすることである。
【0045】
本開示の態様は、組織へのエネルギー印加を伴う外科処置で使用するためのモジュール式外科用筐体を提示する。モジュール式外科用筐体は、組織に印加するための第1のエネルギーを生成させるように構成された第1のエネルギー発生器モジュールと、第1のデータ及び電力接点を含む第1のドッキングポートを備える第1のドッキングステーションと、を含み、第1のエネルギー発生器モジュールは、電力及びデータ接点と電気係合するように摺動可能に移動可能であり、また第1のエネルギー発生器モジュールは、第1の電力及びデータ接点との電気係合から外れるように摺動可能に移動可能である。
【0046】
上記に加えて、モジュール式外科用筐体は、第1のエネルギーとは異なる、組織に印加するための第2のエネルギーを生成するように構成された第2のエネルギー発生器モジュールと、第2のデータ及び電力接点を含む第2のドッキングポートを備える第2のドッキングステーションと、を更に含み、第2のエネルギー発生器モジュールは、電力及びデータ接点と電気係合するように摺動可能に移動可能であり、また第2のエネルギー発生器モジュールは、第2の電力及びデータ接点との電気係合から外れるように摺動可能に移動可能である。
【0047】
更に、モジュール式外科用筐体は、第1のエネルギー発生器モジュールと第2のエネルギー発生器モジュールとの間の通信を容易にするように構成された、第1のドッキングポートと第2のドッキングポートとの間の通信バスを更に含む。
【0048】
図3図7を参照すると、発生器モジュール140と、排煙モジュール126と、吸引/灌注モジュール128と、のモジュール式統合を可能にするハブのモジュール式筐体136に関する本開示の態様が提示される。ハブのモジュール式筐体136は、モジュール140、126、128間の双方向通信を更に促進する。図5に示すように、発生器モジュール140は、ハブのモジュール式筐体136に摺動可能に挿入可能な単一のハウジングユニット139内に支持される、統合された単極、双極、及び超音波構成要素を備える発生器モジュールであってもよい。図5に示すように、発生器モジュール140は、単極装置146、双極装置147、及び超音波装置148に接続するように構成され得る。代替的に、発生器モジュール140は、ハブのモジュール式筐体136を介して相互作用する一連の単極、双極、及び/又は超音波発生器モジュールを備えてもよい。ハブのモジュール式筐体136は、複数の発生器が単一の発生器として機能するように、複数の発生器の挿入と、ハブのモジュール式筐体136にドッキングされた発生器間の双方向通信と、を促進するように構成されてもよい。
【0049】
一態様では、ハブのモジュール式筐体136は、モジュール140、126、128の取り外し可能な取り付け及びそれらの間の双方向通信を可能にするために、外部及び無線通信ヘッダを備えるモジュール式電力及び通信バックプレーン149を備える。
【0050】
一態様では、ハブのモジュール式筐体136は、モジュール140、126、128を摺動可能に受容するように構成された、本明細書ではドロアーとも称されるドッキングステーション又はドロアー151を含む。図4は、外科用ハブ筐体136、及び外科用ハブ筐体136のドッキングステーション151に摺動可能に受容可能な組み合わせ発生器モジュール145の部分斜視図を示す。組み合わせ発生器モジュール145の後側に電力及びデータ接点を有するドッキングポート152は、組み合わせ発生器モジュール145がハブのモジュール式筐体136の対応するドッキングステーション151内の位置へと摺動されると、対応するドッキングポート150をハブのモジュール式筐体136の対応するドッキングステーション151の電力及びデータ接点と係合するように構成される。一態様では、組み合わせ発生器モジュール145は、図5に示すように、双極、超音波、及び単極モジュールと、単一のハウジングユニット139と共に一体化された排煙モジュールと、を含む。
【0051】
様々な態様では、排煙モジュール126は、捕捉/回収された煙及び/又は流体を手術部位から遠ざけて、例えば、排煙モジュール126へと搬送する流体ライン154を含む。排煙モジュール126から発生する真空吸引は、煙を手術部位のユーティリティ導管の開口部に引き込むことができる。流体ラインに連結されたユーティリティ導管は、排煙モジュール126で終端する可撓管の形態であってもよい。ユーティリティ導管及び流体ラインは、ハブ筐体136内に受容される排煙モジュール126に向かって延びる流体経路を画定する。
【0052】
様々な態様では、吸引/灌注モジュール128は、吸い込み(aspiration)流体ライン及び吸引(suction)流体ラインを含む外科用ツールに連結される。一実施例では、吸い込み及び吸引流体ラインは、手術部位から吸引/灌注モジュール128に向かって延びる可撓管の形態である。1つ以上の駆動システムは、手術部位への、及び手術部位からの流体の灌注及び吸い込みを引き起こすように構成することができる。
【0053】
一態様では、外科用ツールは、その遠位端にエンドエフェクタを有するシャフトと、エンドエフェクタに関連付けられた少なくとも1つのエネルギー処置部と、吸い込み管と、灌注管と、を含む。吸い込み管は、その遠位端に入口ポートを有することができ、吸い込み管はシャフトを通って延びる。同様に、灌注管はシャフトを通って延びることができ、かつ、エネルギー送達器具に近接した入口ポートを有することができる。エネルギー送達器具は、超音波及び/又はRFエネルギーを手術部位に送達するように構成され、最初にシャフトを通って延びるケーブルによって発生器モジュール140に連結される。
【0054】
灌注管は流体源と流体連通することができ、吸い込み管は真空源と流体連通することができる。流体源及び/又は真空源は、吸引/灌注モジュール128内に収容され得る。一実施例では、流体源及び/又は真空源は、吸引/灌注モジュール128とは別にハブ筐体136内に収容され得る。このような実施例では、流体インターフェースは、吸引/灌注モジュール128を流体源及び/又は真空源に接続するように構成され得る。
【0055】
一態様では、モジュール140、126、128及び/又はハブのモジュール式筐体136上のそれらの対応するドッキングステーションは、モジュールのドッキングポートを位置合わせして、ハブのモジュール式筐体136のドッキングステーション内でこれらの対応部品と係合させるように構成された位置合わせ機能を含み得る。例えば、図4に示すように、組み合わせ発生器モジュール145は、ハブのモジュール式筐体136の対応するドッキングステーション151の対応するブラケット156と摺動可能に係合するように構成された側部ブラケット155を含む。ブラケットは協働して、組み合わせ発生器モジュール145のドッキングポート接点をハブのモジュール式筐体136のドッキングポート接点と電気係合させるように誘導する。
【0056】
いくつかの態様では、ハブのモジュール式筐体136のドロアー151はサイズが同じ又は実質的に同じであり、モジュールはドロアー151内に受容されるサイズに調整される。例えば、側部ブラケット155及び/又は156は、モジュールのサイズに応じてより大きくなっても小さくなってもよい。他の態様では、ドロアー151はサイズが異なり、特定のモジュールを収容するように各々設計される。
【0057】
更に、適合しない接点を備えるドロアーにモジュールを挿入することを避けるために、特定のモジュールの接点を、特定のドロアーの接点と係合するように鍵付きにしてもよい。
【0058】
図4に示されるように、1つのドロアー151のドッキングポート150は、通信リンク157を介して別のドロアー151のドッキングポート150に連結されて、ハブのモジュール式筐体136内に収容されたモジュール間の双方向通信を容易にすることができる。代替的に又は更に、ハブのモジュール式筐体136のドッキングポート150は、ハブのモジュール式筐体136内に収容されたモジュール間の無線双方向通信を容易にしてもよい。例えば、Air Titan-Bluetoothなどの任意の好適な無線通信を用いてもよい。
【0059】
図6は、外科用ハブ206の複数のモジュールを受容するように構成された横方向モジュール式ハウジング160の複数の横方向ドッキングポートの個々の電力バスアタッチメントを示す。横方向モジュール式ハウジング160は、モジュール161を横方向に受容して相互接続するように構成される。モジュール161は、モジュール161を相互接続するためのバックプレーンを含む横方向モジュール式ハウジング160のドッキングステーション162内に摺動可能に挿入される。図6に示すように、モジュール161は、横方向モジュール式ハウジング160内で横方向に配置される。代替的に、モジュール161は、横方向モジュール式ハウジング内で垂直方向に配置されてもよい。
【0060】
図7は、外科用ハブ106の複数のモジュール165を受容するように構成された垂直モジュール式ハウジング164を示す。モジュール165は、モジュール165を相互接続するためのバックプレーンを含む垂直モジュール式ハウジング164のドッキングステーション又はドロアー167内に摺動可能に挿入される。垂直モジュール式ハウジング164のドロアー167は垂直方向に配置されているが、特定の場合では、垂直モジュール式ハウジング164は、横方向に配置されたドロアーを含んでもよい。更に、モジュール165は、垂直モジュール式ハウジング164のドッキングポートを介して互いに相互作用し得る。図7の実施例では、モジュール165の動作に関連するデータを表示するためのディスプレイ177が提供される。加えて、垂直モジュール式ハウジング164は、マスタモジュール178内に摺動可能に受容される複数のサブモジュールを収容するマスタモジュール178を含む。
【0061】
様々な態様では、撮像モジュール138は、内蔵型のビデオプロセッサ及びモジュール式光源を備え、様々な撮像装置と共に使用するように適合されている。一態様では、撮像装置は、光源モジュール及びカメラモジュールと共に組み立てることが可能なモジュール式ハウジングで構成される。ハウジングは、使い捨て式ハウジングであってもよい。少なくとも1つの実施例では、使い捨て式ハウジングは、再利用可能なコントローラ、光源モジュール、及びカメラモジュールと取り外し可能に連結される。光源モジュール及び/又はカメラモジュールは、外科処置の種類に応じて選択的に選択することができる。一態様では、カメラモジュールはCCDセンサを含む。別の態様では、カメラモジュールはCMOSセンサを含む。別の態様では、カメラモジュールはスキャンされたビームの撮像用に構成される。同様に、光源モジュールは、外科処置に応じて白色光又は異なる光を送達するように構成することができる。
【0062】
外科処置中に、手術野から外科用装置を除去して異なるカメラ又は異なる光源を含む別の外科用装置と交換することは非効率的であり得る。手術野の視野を一時的に喪失することは、望ましくない結果をもたらし得る。本開示のモジュール撮像装置は、手術野から撮像装置を除去する必要なく、外科処置中に光源モジュール又はカメラモジュール中間体(midstream)の交換を可能にするように構成される。
【0063】
一態様では、撮像装置は、複数のチャネルを含む管状ハウジングを備える。第1のチャネルは、第1のチャネルとスナップ嵌め係合するように構成され得るカメラモジュールを摺動可能に受容するように構成されている。第2のチャネルは、第2のチャネルとスナップ嵌め係合するように構成され得る光源モジュールを摺動可能に受容するように構成されている。別の実施例では、カメラモジュール及び/又は光源モジュールは、これらの対応するチャネル内の最終位置へと回転させることができる。スナップ嵌め係合の代わりにねじ係合が採用されてもよい。
【0064】
様々な実施例で、複数の撮像装置が、複数の視野を提供するために手術野内の様々な位置に位置決めされる。撮像モジュール138は、最適な視野を提供するために撮像装置間を切り替えるように構成することができる。様々な態様では、撮像モジュール138は、異なる撮像装置からの画像を統合するように構成することができる。
【0065】
本開示と共に使用するのに好適な様々な画像プロセッサ及び撮像装置は、その全体が参照により本明細書に組み込まれる「COMBINED SBI AND CONVENTIONAL IMAGE PROCESSOR」と題する2011年8月9日発行の米国特許第7,995,045号に記載されている。更に、その全体が参照により本明細書に組み込まれる「SBI MOTION ARTIFACT REMOVAL APPARATUS AND METHOD」と題する2011年7月19日発行の米国特許第7,982,776号は、画像データからモーションアーチファクトを除去するための様々なシステムについて記載している。こうしたシステムは、撮像モジュール138と一体化され得る。更に、「CONTROLLABLE MAGNETIC SOURCE TO FIXTURE INTRACORPOREAL APPARATUS」と題する2011年12月15日公開の米国特許出願公開第2011/0306840号、及び「SYSTEM FOR PERFORMING A MINIMALLY INVASIVE SURGICAL PROCEDURE」と題する2014年8月28日公開の米国特許出願公開第2014/0243597号は、その各々は参照によりその全体が本明細書に組み込まれる。
【0066】
図8は、医療施設の1つ以上の手術室、又は外科処置のための専門設備を備えた医療施設内の任意の部屋に配置されたモジュール式装置をクラウドベースのシステム(例えば記憶装置205に連結されたリモートサーバ213を含み得るクラウド204)に接続するように構成されたモジュール式通信ハブ203を備える外科用データネットワーク201を示す。一態様では、モジュール式通信ハブ203は、ネットワークルータと通信するネットワークハブ207及び/又はネットワークスイッチ209を備える。モジュール式通信ハブ203は更に、ローカルコンピュータ処理及びデータ操作を提供するために、ローカルコンピュータシステム210に連結することができる。外科用データネットワーク201は、受動的、インテリジェント、又は切り替え式として構成されてもよい。受動的外科用データネットワークはデータの導管として機能し、データが1つの装置(又はセグメント)から別の装置に、及びクラウドコンピューティングリソースに行くことを可能にする。インテリジェントな外科用データネットワークは、トラフィックが監視対象の外科用データネットワークを通過することを可能にし、ネットワークハブ207又はネットワークスイッチ209内の各ポートを構成する追加の機能を含む。インテリジェントな外科用データネットワークは、管理可能なハブ又はスイッチと称され得る。スイッチングハブは、各パケットの宛先アドレスを読み取り、次いでパケットを正しいポートに転送する。
【0067】
手術室に配置されたモジュール式装置1a~1nは、モジュール式通信ハブ203に連結されてもよい。ネットワークハブ207及び/又はネットワークスイッチ209は、ネットワークルータ211に連結されて、装置1a~1nをクラウド204又はローカルコンピュータシステム210に接続することができる。装置1a~1nに関連付けられたデータは、遠隔データ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送されてもよい。装置1a~1nに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム210に転送されてもよい。同じ手術室に位置するモジュール式装置2a~2mもまた、ネットワークスイッチ209に連結されてもよい。ネットワークスイッチ209は、ネットワークハブ207及び/又はネットワークルータ211に連結されて、装置2a~2mをクラウド204に接続することができる。装置2a~2nに関連付けられたデータは、データ処理及び操作のためにネットワークルータ211を介してクラウド204に転送されてもよい。装置2a~2mに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム210に転送されてもよい。
【0068】
複数のネットワークハブ207及び/又は複数のネットワークスイッチ209を複数のネットワークルータ211と相互接続することによって、外科用データネットワーク201が拡張され得ることが理解されるであろう。モジュール式通信ハブ203は、複数の装置1a~1n/2a~2mを受容するように構成されたモジュール式制御タワー内に収容され得る。ローカルコンピュータシステム210もまた、モジュール式制御タワーに収容されてもよい。モジュール式通信ハブ203は、ディスプレイ212に接続されて、例えば外科処置中に、装置1a~1n/2a~2mのうちのいくつかによって取得された画像を表示する。様々な態様では、装置1a~1n/2a~2mとしては、外科用データネットワーク201のモジュール式通信ハブ203に接続され得るモジュール式装置の中でもとりわけ、例えば、内視鏡に連結された撮像モジュール138、エネルギーベースの外科用装置に連結された発生器モジュール140、排煙モジュール126、吸引/灌注モジュール128、通信モジュール130、プロセッサモジュール132、ストレージアレイ134、ディスプレイに連結された外科用装置、及び/又は非接触センサモジュールなどの様々なモジュールが挙げられ得る。
【0069】
一態様では、外科用データネットワーク201は、装置1a~1n/2a~2mをクラウドに接続する、ネットワークハブ(複数可)、ネットワークスイッチ(複数可)、及びネットワークルータ(複数可)との組み合わせを含んでもよい。ネットワークハブ又はネットワークスイッチに連結された装置1a~1n/2a~2mのいずれか1つ又は全ては、リアルタイムでデータを収集し、データ処理及び操作のためにデータをクラウドコンピュータに転送することができる。クラウドコンピューティングは、ソフトウェアアプリケーションを取り扱うために、ローカルサーバ又はパーソナル装置を有するのではなく、共有コンピューティングリソースに依存することは理解されるであろう。「クラウド」という用語は、「インターネット」の隠喩として使用され得るが、この用語は、そのように限定はされない。したがって、「クラウドコンピューティング」という用語は、本明細書では「インターネットベースのコンピューティングの一種」を指すために使用することができ、この場合、サーバ、記憶装置、及びアプリケーションなどの様々なサービスは、手術現場(例えば、固定式、移動式、一時的、又は現場の手術室又は空間)に位置するモジュール式通信ハブ203及び/又はコンピュータシステム210に、かつインターネットを介してモジュール式通信ハブ203及び/又はコンピュータシステム210に接続された装置に送達される。クラウドインフラストラクチャは、クラウドサービスプロバイダによって維持されてもよい。この文脈において、クラウドサービスプロバイダは、1つ以上の手術室内に位置する装置1a~1n/2a~2mの使用及び制御を調整するエンティティであってもよい。クラウドコンピューティングサービスは、スマート外科用器具、ロボット、及び手術室内に位置する他のコンピュータ化装置によって収集されたデータに基づいて、多数の計算を実行することができる。ハブハードウェアは、複数の装置又は接続部がクラウドコンピューティングリソース及び記憶装置と通信するコンピュータに接続することを可能にする。
【0070】
装置1a~1n/2a~2mによって収集されたデータにクラウドコンピュータデータ処理技術を適用することで、外科用データネットワークは、外科的成果の改善、コスト低減、及び患者満足度の改善を提供する。組織の封止及び切断処置後に、組織の状態を観察して封止された組織の漏出又は灌流を評価するために、装置1a~1n/2a~2mのうちの少なくともいくつかを用いることができる。クラウドベースのコンピューティングを使用して、身体組織の試料の画像を含むデータを診断目的で検査して疾患の影響などの病状を特定するために、装置1a~1n/2a~2mのうちの少なくともいくつかを用いることができる。これは、組織及び表現型の位置特定及びマージン確認を含む。撮像装置と一体化された様々なセンサ、及び複数の撮像装置によってキャプチャされた画像をオーバーレイするなどの技術を使用して、身体の解剖学的構造を特定するために、装置1a~1n/2a~2mのうちの少なくともいくつかを用いることができる。画像データを含む、装置1a~1n/2a~2mによって収集されたデータは、画像処理及び操作を含むデータ処理及び操作のために、クラウド204若しくはローカルコンピュータシステム210又はその両方に転送されてもよい。データは、組織特異的部位及び状態に対する内視鏡的介入、新興技術、標的化放射線、標的化介入、及び精密ロボットの適用などの更なる治療を遂行できるかを判定することによって、外科処置の結果を改善するために分析することができる。こうしたデータ分析は、予後分析処理を更に採用してもよく、標準化されたアプローチを使用することは、外科治療及び外科医の挙動を確認するか、又は外科治療及び外科医の挙動に対する修正を提案するかのいずれかのために有益なフィードバックを提供することができる。
【0071】
一実装態様では、手術室装置1a~1nは、ネットワークハブに対する装置1a~1nの構成に応じて、有線チャネル又は無線チャネルを介してモジュール式通信ハブ203に接続されてもよい。ネットワークハブ207は、一態様では、開放型システム間相互接続(Open System Interconnection、OSI)モデルの物理層上で機能するローカルネットワークブロードキャスト装置として実装されてもよい。ネットワークハブは、同じ手術室ネットワーク内に位置する装置1a~1nに接続性を提供する。ネットワークハブ207は、パケット形態のデータを収集し、それらを半二重モードでルータに送信する。ネットワークハブ207は、装置データを転送するための任意の媒体アクセス制御/インターネットプロトコル(media access control、MAC/Internet Protocol、IP)は記憶しない。装置1a~1nのうちの1つのみが、ネットワークハブ207を介して一度にデータを送信することができる。ネットワークハブ207は、情報の送信先に関する経路選択テーブル又はインテリジェンスを有さず、全てのネットワークデータを各コネクション全体、及びクラウド204上のリモートサーバ213(図9)にブロードキャストする。ネットワークハブ207は、コリジョンなどの基本的なネットワークエラーを検出することができるが、全ての情報を複数のポートにブロードキャストすることは、セキュリティリスクとなりボトルネックを引き起こすおそれがある。
【0072】
別の実装形態では、手術室装置2a~2mは、有線チャネル又は無線チャネルを介してネットワークスイッチ209に接続されてもよい。ネットワークスイッチ209は、OSIモデルのデータリンク層内で機能する。ネットワークスイッチ209は、同じ手術室内に位置する装置2a~2mをネットワークに接続するためのマルチキャスト装置である。ネットワークスイッチ209は、フレームの形態のデータをネットワークルータ211に送信し、全二重モードで機能する。複数の装置2a~2mは、ネットワークスイッチ209を介して同時にデータを送信することができる。ネットワークスイッチ209は、データを転送するために装置2a~2mのMACアドレスを記憶かつ使用する。
【0073】
ネットワークハブ207及び/又はネットワークスイッチ209は、クラウド204に接続するためにネットワークルータ211に連結される。ネットワークルータ211は、OSIモデルのネットワーク層内で機能する。ネットワークルータ211は、装置1a~1n/2a~2mのいずれか1つ又は全てによって収集されたデータを更に処理及び操作するために、ネットワークハブ207及び/又はネットワークスイッチ211から受信したデータパケットをクラウドベースのコンピュータリソースに送信するための経路を作成する。ネットワークルータ211は、例えば、同じ医療施設の異なる手術室、又は異なる医療施設の異なる手術室に位置する異なるネットワークなどの、異なる位置に位置する2つ以上の異なるネットワークを接続するために用いられてもよい。ネットワークルータ211は、パケット形態のデータをクラウド204に送信し、全二重モードで機能する。複数の装置が同時にデータを送信することができる。ネットワークルータ211は、データを転送するためにIPアドレスを使用する。
【0074】
一実施例では、ネットワークハブ207は、複数のUSB装置をホストコンピュータに接続することを可能にするUSBハブとして実装されてもよい。USBハブは、装置をホストシステムコンピュータに接続するために利用可能なポートが多くなるように、単一のUSBポートをいくつかの階層に拡張することができる。ネットワークハブ207は、有線チャネル又は無線チャネルを介して情報を受信するための有線又は無線能力を含むことができる。一態様では、無線USB短距離高帯域無線通信プロトコルが、手術室内に位置する装置1a~1nと装置2a~2mとの間の通信のために使用されてもよい。
【0075】
他の実施例では、手術室装置1a~1n/2a~2mは、固定及びモバイル装置から短距離にわたってデータを交換し(2.4~2.485GHzのISM帯域における短波長UHF電波を使用して)、かつパーソナルエリアネットワーク(personal area network、PAN)を構築するために、Bluetooth無線技術規格を介してモジュール式通信ハブ203と通信することができる。他の態様では、手術室装置1a~1n/2a~2mは、Wi-Fi(IEEE 802.11ファミリー)、WiMAX(IEEE802.16ファミリー)、IEEE 802.20、ロング・ターム・エボリューション(long-term evolution、LTE)、並びにEv-DO、HSPA+、HSDPA+、HSUPA+、EDGE、GSM、GPRS、CDMA、TDMA、DECT、及びこれらのイーサネット派生物、のみならず3G、4G、5G、及びそれ以降と指定される任意の他の無線及び有線プロトコルが挙げられるがこれらに限定されない数多くの無線又は有線通信規格又はプロトコルを介してモジュール式通信ハブ203と通信することができる。コンピューティングモジュールは、複数の通信モジュールを含んでもよい。例えば、第1の通信モジュールは、Wi-Fi及びBluetoothなどの短距離無線通信専用であってもよく、第2の通信モジュールは、GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DOなどの長距離無線通信専用であってもよい。
【0076】
モジュール式通信ハブ203は、手術室装置1a~1n/2a~2mの1つ又は全ての中央接続部として機能することができ、フレームとして知られるデータ型を取り扱う。フレームは、装置1a~1n/2a~2mによって生成されたデータを搬送する。フレームがモジュール式通信ハブ203によって受信されると、フレームは増幅されてネットワークルータ211へ送信され、ネットワークルータ211は本明細書に記載される数多くの無線又は有線通信規格又はプロトコルを使用することによってこのデータをクラウドコンピューティングリソースに転送する。
【0077】
モジュール式通信ハブ203は、スタンドアロンの装置として使用されてもよく、又はより大きなネットワークを形成するために互換性のあるネットワークハブ及びネットワークスイッチに接続されてもよい。モジュール式通信ハブ203は、一般に据え付け、構成、及び維持が容易であるため、モジュール式通信ハブ203は手術室装置1a~1n/2a~2mをネットワーク接続するための良好な選択肢となる。
【0078】
図9は、コンピュータ実装インタラクティブ外科用システム200を示す。コンピュータ実装インタラクティブ外科用システム200は、多くの点で、コンピュータ実装インタラクティブ外科用システム100と類似している。例えば、コンピュータ実装インタラクティブ外科用システム200は、多くの点で外科用システム102と類似する1つ以上の外科用システム202を含む。それぞれの外科用システム202は、リモートサーバ213を含んでもよいクラウド204と通信する少なくとも1つの外科用ハブ206を含む。一態様では、コンピュータ実装インタラクティブ外科用システム200は、例えば、インテリジェント外科用器具、ロボット、及び手術室内に位置する他のコンピュータ化装置などの複数の手術室装置に接続されたモジュール式制御タワー236を備える。図10に示されるように、モジュール式制御タワー236は、コンピュータシステム210に連結されたモジュール式通信ハブ203を備える。図9の実施例に例示するように、モジュール式制御タワー236は、内視鏡239に連結された撮像モジュール238、エネルギー装置241に連結された発生器モジュール240、排煙器モジュール226、吸引/灌注モジュール228、通信モジュール230、プロセッサモジュール232、ストレージアレイ234、任意でディスプレイ237に連結されたスマート装置/器具235、及び非接触センサモジュール242に連結される。手術室装置は、モジュール式制御タワー236を介してクラウドコンピューティングリソース及びデータ記憶装置に連結される。ロボットハブ222もまた、モジュール式制御タワー236及びクラウドコンピューティングリソースに接続されてもよい。中でもとりわけ、装置/器具235、可視化システム208が、本明細書に記載される有線又は無線通信規格又はプロトコルを介してモジュール式制御タワー236に連結されてもよい。モジュール式制御タワー236は、撮像モジュール、装置/器具ディスプレイ、及び/又は他の可視化システム208から受信した画像を表示及びオーバーレイするためにハブディスプレイ215(例えば、モニタ、スクリーン)に連結されてもよい。ハブディスプレイはまた、画像及びオーバーレイ画像と共にモジュール式制御タワーに接続された装置から受信したデータを表示してもよい。
【0079】
図10は、モジュール式制御タワー236に連結された複数のモジュールを備える外科用ハブ206を示す。モジュール式制御タワー236は、例えばネットワーク接続装置などのモジュール式通信ハブ203と、例えば局所処理、可視化、及び撮像を提供するためのコンピュータシステム210と、を備える。図10に示すように、モジュール式通信ハブ203は、モジュール式通信ハブ203に接続されてもよいモジュール(例えば、装置)の数を拡張するために階層化構成で接続されて、モジュールに関連付けられたデータをコンピュータシステム210、クラウドコンピューティングリソース、又はその両方に転送してもよい。図10に示すように、モジュール式通信ハブ203内のネットワークハブ/スイッチの各々は、3つの下流ポート及び1つの上流ポートを含む。上流のネットワークハブ/スイッチは、クラウドコンピューティングリソース及びローカルディスプレイ217への通信接続を提供するためにプロセッサに接続される。クラウド204への通信は、有線又は無線通信チャネルのいずれかを介して行うことができる。
【0080】
外科用ハブ206は、非接触センサモジュール242を使用して、手術室の寸法を測定し、また超音波又はレーザ型非接触測定装置のいずれかを使用して手術現場のマップを生成する。その全体が参照により本明細書に組み込まれる「INTERACTIVE SURGICAL PLATFORM」と題する2017年12月28日出願の米国特許仮出願第62/611,341号中の「Surgical Hub Spatial Awareness Within an Operating Room」の項で説明されるように、超音波ベースの非接触センサモジュールは、超音波のバーストを送信し、超音波のバーストが手術室の外壁に反射したときのエコーを受信することによって手術室をスキャンし、ここでセンサモジュールが、手術室のサイズを判定し、かつBluetoothペアリングの距離限界を調整するように構成される。レーザベースの非接触センサモジュールは、例えば、レーザ光パルスを送信し、手術室の外壁に反射するレーザ光パルスを受信し、送信されたパルスの位相を受信したパルスと比較して、手術室のサイズを判定し、かつBluetoothペアリング距離限界を調整することによって手術室をスキャンする。
【0081】
コンピュータシステム210は、プロセッサ244とネットワークインターフェース245とを備える。プロセッサ244は、システムバスを介して、通信モジュール247、記憶装置248、メモリ249、不揮発性メモリ250、及び入力/出力インターフェース251に連結される。システムバスは、9ビットバス、業界標準アーキテクチャ(Industrial Standard Architecture、ISA)、マイクロチャネルアーキテクチャ(Micro-Chearmel Architecture、MSA)、拡張ISA(Extended ISA、EISA)、インテリジェントドライブエレクトロニクス(Intelligent Drive Electronics、IDE)、VESAローカルバス(VESA Local Bus、VLB)、周辺装置相互接続(Peripheral Component Interconnect、PCI)、USB、アドバンスドグラフィックスポート(Advanced Graphics Port、AGP)、パーソナルコンピュータメモリカード国際協会バス(Personal Computer Memory Card International Association bus、PCMCIA)、小型計算機システム・インターフェース(Small Computer Systems Interface、SCSI)、又は任意の他の独自バス(proprietary bus)が挙げられるがこれらに限定されない任意の様々なバスアーキテクチャを使用する、メモリバス若しくはメモリコントローラ、ペリフェラルバス若しくは外部バス、及び/又はローカルバスを含むいくつかの種類のバス構造(複数可)のうちのいずれかであってもよい。
【0082】
プロセッサ244は、Texas Instruments製のARM Cortexの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであってもよい。一態様では、プロセッサは、例えば、その詳細が製品データシートで入手可能である、最大40MHzの256KBのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を40MHz超に改善するためのプリフェッチバッファ、32KBのシングルサイクルシリアルランダムアクセスメモリ(single-cycle serial random access memory、SRAM)、StellarisWare(登録商標)ソフトウェアを搭載した内部読み出し専用メモリ(read-only memory、ROM)、2KBの電気的消去可能プログラマブル読み出し専用メモリ(erasable programmable read-only memory、EEPROM)、及び/又は、1つ以上のパルス幅変調(pulse width modulation、PWM)モジュール、1つ以上の直交エンコーダ入力(quadrature encoder input、QEI)アナログ、12個のアナログ入力チャネルを備える1つ以上の12ビットアナログ-デジタル変換器(analog-to-digital converter、ADC)を含む、Texas Instrumentsから入手可能なLM4F230H5QR ARM Cortex-M4Fプロセッサコアであってもよい。
【0083】
一態様では、プロセッサ244は、同じくTexas Instruments製のHercules ARM Cortex R4の商品名で知られるTMS570及びRM4xなどの2つのコントローラ系ファミリーを含む安全コントローラを含んでもよい。安全コントローラは、拡張性のある性能、接続性、及びメモリの選択肢を提供しながら、高度な集積型安全機能を提供するために、中でも特に、IEC61508及びISO26262の安全限界用途専用に構成されてもよい。
【0084】
システムメモリとしては、揮発性メモリ及び不揮発性メモリが挙げられる。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム(basic input/output system、BIOS)は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ROM、プログラマブルROM(programmable ROM、PROM)、電気的プログラマブルROM(electrically programmable ROM、EPROM)、EEPROM、又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ(random-access memory、RAM)が挙げられる。更に、RAMは、SRAM、ダイナミックRAM(dynamic RAM、DRAM)、シンクロナスDRAM(synchronous DRAM、SDRAM)、ダブルデータレートSDRAM(double data rate、DDR SDRAM)、エンハンスドSDRAM(enhanced SDRAM、ESDRAM)、シンクリンクDRAM(Synchlink DRAM、SLDRAM)、及びダイレクトランバスRAM(direct Rambus RAM、DRRAM)などの多くの形態で利用可能である。
【0085】
コンピュータシステム210はまた、取り外し可能/取り外し不可能な揮発性/不揮発性コンピュータ記憶媒体、例えばディスク記憶装置などを含む。ディスク記憶装置としては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Jazドライブ、Zipドライブ、LS-60ドライブ、フラッシュメモリカード、又はメモリスティックのような装置が挙げられるが、これらに限定されない。加えて、ディスク記憶装置は、記憶媒体を、独立して、又はコンパクトディスクROM装置(compact disc ROM、CD-ROM)、コンパクトディスク記録可能ドライブ(compact disc recordable drive、CD-R Drive)、コンパクトディスク書き換え可能ドライブ(compact disc rewritable drive、CD-RW Drive)、若しくはデジタル多用途ディスクROMドライブ(digital versatile disc ROM drive、DVD-ROM)などの光ディスクドライブが挙げられるがこれらに限定されない他の記憶媒体との組み合わせで含むことができる。ディスク記憶装置のシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。
【0086】
コンピュータシステム210は、好適な動作環境で説明されるユーザと基本コンピュータリソースとの間で媒介として機能するソフトウェアを含むことを理解されたい。このようなソフトウェアとしてはオペレーティングシステムが挙げられる。ディスク記憶装置上に記憶され得るオペレーティングシステムは、コンピュータシステムのリソースを制御及び割り当てするように機能する。システムアプリケーションは、システムメモリ内又はディスク記憶装置上のいずれかに記憶されたプログラムモジュール及びプログラムデータを介して、オペレーティングシステムによるリソース管理を活用する。本明細書に記載される様々な構成要素は、様々なオペレーティングシステム又はオペレーティングシステムの組み合わせで実装することができることを理解されたい。
【0087】
ユーザは、I/Oインターフェース251に連結された入力装置(複数可)を介してコンピュータシステム210にコマンド又は情報を入力する。入力装置としては、マウス、トラックボール、スタイラス、タッチパッドなどのポインティング装置、キーボード、マイクロフォン、ジョイスティック、ゲームパッド、サテライト・ディッシュ、スキャナ、TVチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなどが挙げられるが、これらに限定されない。これら及び他の入力装置は、インターフェースポート(複数可)を介し、システムバスを通してプロセッサに接続する。インターフェースポート(複数可)としては、例えば、シリアルポート、パラレルポート、ゲームポート、及びUSBが挙げられる。出力装置(複数可)は、入力装置(複数可)と同じ種類のポートのうちのいくつかを使用する。したがって、例えば、USBポートを使用して、コンピュータシステムに入力を提供し、またコンピュータシステムからの情報を出力装置に出力してもよい。出力アダプタは、特別なアダプタを必要とする出力装置の中でもとりわけ、モニタ、ディスプレイ、スピーカ、及びプリンタなどのいくつかの出力装置が存在することを示すために提供される。出力アダプタとしては、例示としてのものであり限定するものではないが、出力装置とシステムバスとの間の接続手段を提供するビデオ及びサウンドカードが挙げられる。遠隔コンピュータ(複数可)などの他の装置及び/又は装置のシステムは、入力及び出力機能の両方を提供することに留意されたい。
【0088】
コンピュータシステム210は、クラウドコンピュータ(複数可)などの1つ以上の遠隔コンピュータ又はローカルコンピュータへの論理接続を使用するネットワーク化環境で動作することができる。遠隔クラウドコンピュータ(複数可)は、パーソナルコンピュータ、サーバ、ルータ、ネットワークPC、ワークステーション、マイクロプロセッサベースの機器、ピア装置、又は他の一般的なネットワークノードなどであり得、典型的には、コンピュータシステムに関して説明される要素の多く又は全てを含む。簡潔にするために、遠隔コンピュータ(複数可)と共にメモリ記憶装置のみが示される。遠隔コンピュータ(複数可)は、ネットワークインターフェースを介してコンピュータシステムに論理的に接続され、続いて、通信接続を介して物理的に接続される。ネットワークインターフェースは、ローカルエリアネットワーク(local area network、LAN)及びワイドエリアネットワーク(wide area network、WAN)などの通信ネットワークを包含する。LAN技術としては、光ファイバ分散データインターフェース(Fiber Distributed Data Interface、FDDI)、銅線分散データインターフェース(Copper Distributed Data Interface、CDDI)、Ethernet/IEEE802.3、Token Ring/IEEE802.5などが挙げられる。WAN技術としては、ポイントツーポイントリンク、統合サービスデジタルネットワーク(Integrated Services Digital Network、ISDN)及びその変形などの回路交換ネットワーク、パケット交換ネットワーク、並びにデジタル加入者回線(Digital Subscriber Line、DSL)が挙げられるがこれらに限定されない。
【0089】
様々な態様では、図10のコンピュータシステム210、図9図10の撮像モジュール238、及び/又は可視化システム208、及び/又はプロセッサモジュール232は、画像プロセッサ、画像処理エンジン、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ(digital signal processor、DSP)を含んでもよい。画像プロセッサは、単一命令複数データ(single instruction multiple data、SIMD)、又は複数命令複数データ(multiple instruction multiple data、MIMD)技術を用いる並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実行することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。
【0090】
通信接続(複数可)とは、ネットワークインターフェースをバスに接続するために用いられるハードウェア/ソフトウェアを指す。例示の明瞭さのために通信接続はコンピュータシステム内部に示されているが、通信接続はコンピュータシステム210の外部にあってもよい。例示のみを目的として、ネットワークインターフェースへの接続に必要なハードウェア/ソフトウェアとしては、通常の電話グレードモデム、ケーブルモデム、及びDSLモデムを含むモデム、ISDNアダプタ、並びにイーサネットカードなどの内部及び外部技術が挙げられる。
【0091】
様々な態様では、図9及び図10を参照して説明した装置/器具235は、外科用装置214002(図16図18)、ディスプレイスクリーン(図16)、ウェアラブルデバイス214100、214102、214200、214202(図19図21)、及びディスプレイ214400(図22A及び図22B)として実装されてもよい。それに応じて、外科用装置214002(図16図18)、ディスプレイスクリーン(図16)、ウェアラブルデバイス214100、214102、214200、214202(図19図21)、及びディスプレイ214400(図22A及び図22B)は、モジュール式制御タワー236及び外科用ハブ206とインターフェース接続するように構成されている。外科用ハブ206に接続されると、外科用装置214002(図16図18)、ディスプレイスクリーン(図16)、ウェアラブルデバイス214100、214102、214200、214202(図19図21)、及びディスプレイ214400(図22A及び図22B)は、クラウド204、サーバ213、他のハブ接続器具、ハブディスプレイ215、又は可視化システム209、又はこれらの組み合わせとインターフェース接続するように構成されている。更に、ハブ206に接続されると、外科用装置214002(図16図18)、ディスプレイスクリーン(図16)、ウェアラブルデバイス214100、214102、214200、214202(図19図21)、及びディスプレイ214400(図22A及び図22B)は、ハブローカルコンピュータシステム210内で利用可能な処理回路を利用してもよい。
【0092】
図11は、本開示の少なくとも1つの態様による、USBネットワークハブ300装置の一態様の機能ブロック図を示す。図示した態様では、USBネットワークハブ装置300は、Texas Instruments製TUSB2036集積回路ハブを採用する。USBネットワークハブ300は、USB2.0規格に準拠する、上流USB送受信ポート302及び最大3つの下流USB送受信ポート304、306、308を提供するCMOS装置である。上流USB送受信ポート302は、差動データプラス(data plus、DP0)入力とペアリングされた差動データマイナス(data minus、DM0)入力を含む差動ルートデータポートである。3つの下流USB送受信ポート304、306、308は、各ポートが差動データマイナス(DM1~DM3)出力とペアリングした差動データプラス(DP1~DP3)出力を含む差動データポートである。
【0093】
USBネットワークハブ300装置は、マイクロコントローラの代わりにデジタル状態マシンを備えて実装され、ファームウェアのプログラミングを必要としない。完全準拠したUSB送受信機が、上流USB送受信ポート302及び全ての下流USB送受信ポート304、306、308の回路に統合される。下流USB送受信ポート304、306、308は、ポートに取り付けられた装置の速度に応じてスルーレートを自動的に設定することによって、最高速度及び低速の装置の両方をサポートする。USBネットワークハブ300装置は、バスパワーモード又はセルフパワーモードのいずれかで構成されてもよく、電力を管理するためのハブパワー論理312を含む。
【0094】
USBネットワークハブ300装置は、シリアルインターフェースエンジン310(serial interface engine、SIE)を含む。SIE310は、USBネットワークハブ300ハードウェアのフロントエンドであり、USB仕様書の第8章に記載されているプロトコルの大部分を取り扱う。SIE310は、典型的には、トランザクションレベルまでのシグナリングを理解する。これが取り扱う機能としては、パケット認識、トランザクションの並べ替え、SOP、EOP、RESET、及びRESUME信号の検出/生成、クロック/データ分離、非ゼロ復帰逆転(non-return-to-zero invert、NRZI)データ符号化/復号及びビットスタッフィング、CRC生成及びチェック(トークン及びデータ)、パケットID(packet ID、PID)の生成、及びチェック/復号、並びに/又はシリアル・パラレル/パラレル・シリアル変換が挙げられ得る。310は、クロック入力314を受信し、ポート論理回路320、322、324を介して、上流USB送受信ポート302と下流USB送受信ポート304、306、308との間の通信を制御するために、サスペンド/レジューム論理並びにフレームタイマー316回路及びハブリピータ回路318に連結される。SIE310は、シリアルEEPROMインターフェース330を介してシリアルEEPROMから来るコマンドを制御するように、インターフェース論理328を介してコマンドデコーダ326に結合されている。
【0095】
様々な態様では、USBネットワークハブ300は、最大6つの論理層(階層)内に構成された127個の機能を単一のコンピュータに接続することができる。更に、USBネットワークハブ300は、通信及び電力分配の両方を提供する標準化された4本のワイヤケーブルを使用して全ての周辺機器に接続することができる。電力構成は、バスパワーモード及びセルフパワーモードである。USBネットワークハブ300は、個々のポート電力管理又は連動ポート電力管理のいずれかを備えるバスパワーハブ、及び個々のポート電力管理又は連動ポート電力管理のいずれかを備えるセルフパワーハブの、電力管理の4つのモードをサポートするように構成されてもよい。一態様では、USBケーブル、USBネットワークハブ300を使用して、上流USB送受信ポート302はUSBホストコントローラにプラグ接続され、下流USB送受信ポート304、306、308はUSBに互換性のある装置を接続するために露出される、といった具合である。
【0096】
外科用ハブ及び/又は外科用ハブネットワークの構造及び機能に関する更なる詳細は、参照によりその全体が本明細書に組み込まれる、「METHOD OF HUB COMMUNICATION」と題する2018年4月19日出願の米国特許仮出願第62/659,900号に見出すことができる。
【0097】
クラウドシステムハードウェア及び機能モジュール
図12は、本開示の少なくとも1つの態様による、コンピュータ実装インタラクティブ外科用システムのブロック図である。一態様では、このコンピュータ実装インタラクティブ外科用システムは、外科用ハブ、外科用器具、ロボットデバイス、及び手術室又は医療施設を含む様々な外科用システムの動作に関するデータを監視及び分析するように構成される。コンピュータ実装インタラクティブ外科用システムは、クラウドベース分析システムを含む。クラウドベースの分析システムは、外科用システムとして記載されているが、必ずしもそのように限定されるものではなく、クラウドベースの医療システムであってもよい。図12に示すように、クラウドベースの分析システムは、(器具112と同じ又は同様であってもよい)複数の外科用器具7012と、(ハブ106と同じ又は同様であってもよい)複数の外科用ハブ7006と、外科用ハブ7006を(クラウド204と同じ又は同様であってもよい)クラウド7004に結合するための(ネットワーク201と同じ又は同様であってもよい)外科用データネットワーク7001と、を備える。複数の外科用ハブ7006のそれぞれは、1つ以上の外科用器具7012に通信可能に連結される。ハブ7006はまた、ネットワーク7001を介してコンピュータ実装インタラクティブ外科用システムのクラウド7004に通信可能に連結される。クラウド7004は、様々な外科用システムの動作に基づいて生成されたデータを記憶、操作、及び通信するためのハードウェア及びソフトウェアのリモートの集中型源である。図12に示すように、クラウド7004へのアクセスは、インターネット又は何らかの他の好適なコンピュータネットワークであってもよいネットワーク7001を介して実現される。クラウド7004に結合される外科用ハブ7006は、クラウドコンピューティングシステムのクライアント側(すなわち、クラウドベースの分析システム)と見なすことができる。外科用器具7012は、本明細書に記載される様々な外科処置又は動作の制御及び実施のために、外科用ハブ7006とペアリングされている。
【0098】
加えて、外科用器具7012は、(送受信機もまた含んでもよい)対応する外科用ハブ7006へのデータ伝送、及び外科用ハブ7006からのデータ伝送のための送受信機を備えてもよい。外科用器具7012と対応するハブ7006との組み合わせは、医療手術を提供するための医療施設(例えば、病院)内の手術室などの、特定の位置を示してもよい。例えば、外科用ハブ7006のメモリは、位置データを記憶してもよい。図12に示すように、クラウド7004は、(図1のリモートサーバ113及び/又は図9のリモートサーバ213と同じ又は同様であってもよい)中央サーバ7013と、ハブアプリケーションサーバ7002と、データ分析モジュール7034と、入力/出力(「I/O」)インターフェース7007と、を備える。クラウド7004の中央サーバ7013は、クラウドコンピューティングシステムを集合的に管理し、これは、クライアントモジュール7006による要求を監視し、リクエストを実行するためのクラウド7004の処理能力を管理することを含む。中央サーバ7013のそれぞれは、ランダムアクセスメモリ(RAM)などの揮発性メモリ及び磁気記憶装置などの不揮発性メモリを含むことができる、好適なメモリ装置7010に連結された1つ以上のプロセッサ7008を備える。メモリ装置7010は、実行されると、プロセッサ7008が、以下で説明するクラウドベースのデータ分析、動作、提案、及び他の動作のために、データ分析モジュール7034を実行させる、機械実行可能命令を含んでもよい。更に、プロセッサ7008は、ハブ7006によって独立して実行されるハブアプリケーションと独立して、又はハブアプリケーションと併せて、データ分析モジュール7034を実行することができる。中央サーバ7013はまた、メモリ2210内に常駐することができる集約された医療データデータベース2212を含む。
【0099】
ネットワーク7001を介した様々な外科用ハブ7006への接続に基づいて、クラウド7004は、様々な外科用器具7012及びそれらの対応するハブ7006によって生成された特定のデータからのデータを集約することができる。そのような集約されたデータは、クラウド7004の集約された医療データベース7011内に記憶されてもよい。具体的には、クラウド7004は、有利には、集約されたデータ上でデータ分析及び動作を実行して、個別のハブ7006がそれ自体で達成できない機能をもたらしてもよい。この目的のために、図12に示すように、クラウド7004及び外科用ハブ7006は、情報を送信かつ受信するように通信可能に結合されている。I/Oインターフェース7007は、ネットワーク7001を介して複数の外科用ハブ7006に接続される。このようにして、I/Oインターフェース7007は、外科用ハブ7006と集約された医療データデータベース7011との間で情報を転送するように構成することができる。それに応じて、I/Oインターフェース7007は、クラウドベース分析システムの読み出し/書き込み動作を容易にしてもよい。このような読み出し/書き込み動作は、ハブ7006からの要求に応じて実行されてもよい。これらの要求は、ハブアプリケーションを介してハブ7006に送信される場合がある。I/Oインターフェース7007は、ユニバーサルシリアルバス(USB)ポート、IEEE1394ポート、並びにクラウド7004をハブ7006に接続するためのWi-Fi及びBluetoothのI/Oインターフェースを含んでもよい1つ以上の高速データポートを含んでもよい。クラウド7004のハブアプリケーションサーバ7002は、外科用ハブ7006によって実行されるソフトウェアアプリケーション(例えば、ハブアプリケーション)に共有機能をホストし、かつ供給するように構成されている。例えば、ハブアプリケーションサーバ7002は、ハブ7006を介してハブアプリケーションによってなされた要求を管理して、集約された医療データデータベース7011へのアクセスを制御し、負荷バランス調整を実施してもよい。データ分析モジュール7034を、図13を参照して更に詳細に説明する。
【0100】
本開示に記載される特定のクラウドコンピューティングシステムの構成は、具体的には、外科用器具7012、112などの医療用装置を使用して実行される医療動作及び処置の文脈において生じる様々な問題に対処するように設計されている。特に、外科用器具7012は、外科手術の成績を改善するための技術を実施するために、クラウド7004と相互作用するように構成されたデジタル外科用装置であってもよい。様々な外科用器具7012及び/又は外科用ハブ7006は、臨床医が外科用器具7012とクラウド7004との間の相互作用の態様を制御してもよいように、タッチ制御されたユーザインターフェースを含んでもよい。聴覚的に制御されたユーザインターフェースなどの制御のための他の好適なユーザインターフェースもまた使用することもできる。
【0101】
図13は、本開示の少なくとも1つの態様による、コンピュータ実装インタラクティブ外科用システムの機能アーキテクチャを示すブロック図である。クラウドベース分析システムは、医療分野において具体的に生じる問題にデータ分析ソリューションを提供するために、クラウド7004のプロセッサ7008によって実行され得る複数のデータ分析モジュール7034を含む。図13に示すように、クラウドベースのデータ分析モジュール7034の機能は、外科用ハブ7006上でアクセスされてもよいハブアプリケーションサーバ7002によってホストされたハブアプリケーション7014を介して支援されてもよい。クラウドプロセッサ7008及びハブアプリケーション7014は、データ分析モジュール7034を実行するために連携して動作してもよい。アプリケーションプログラムインターフェース(API)7016は、ハブアプリケーション7014に対応する一連のプロトコル及びルーチンを定義する。加えて、API7016は、アプリケーション7014の動作のために、集約された医療データデータベース7011内へのデータの記憶及びここからの読み出しを管理する。キャッシュ7018はまた、データを(例えば、一時的に)記憶し、アプリケーション7014によって使用されるデータのより効率的な検索のためにAPI7016に結合される。図13のデータ分析モジュール7034は、資源最適化7020、データ収集及び集約7022、認可及びセキュリティ7024、制御プログラム更新7026、患者転帰分析7028、提案7030、並びにデータ分類及び優先順位付け7032のためのモジュールを含む。他の好適なデータ分析モジュールはまた、いくつかの態様により、クラウド7004によって実装される場合がある。一態様では、データ分析モジュールは、傾向、転帰、及び他のデータの分析に基づいて特定の提案に使用される。
【0102】
例えば、データ収集及び集約モジュール7022は、顕著な特徴又は構成(例えば、傾向)の識別、冗長データセットの管理、及び手術によってグループ化することができるが、必ずしも実際の外科手術日付及び外科医に一致していないペアリングされたデータセットへのデータの保存を含む、自己記述型データ(例えば、メタデータ)を生成するために使用される場合がある。特に、外科用器具7012の動作から生成される対のデータセットは、例えば出血又は非出血事象などの二元分類を適用することを含み得る。より一般的には、バイナリ分類は、望ましい事象(例えば、成功した外科処置)又は望ましくない事象(例えば、誤発射又は誤使用された外科用器具7012)のいずれかとして特徴付けられてもよい。集約された自己記述型データは、外科用ハブ7006の様々なグループ又はサブグループから受信された個々のデータに相当してもよい。したがって、データ収集及び集約モジュール7022は、外科用ハブ7006から受信した生データに基づいて、集約メタデータ又は他の編成されたデータを生成することができる。この目的のために、プロセッサ7008は、データ分析モジュール7034を実行するために、ハブアプリケーション7014及び集約された医療データデータベース7011に動作的に結合することができる。データ収集及び集約モジュール7022は、集約された編成済みデータを集約された医療データデータベース2212に記憶してもよい。
【0103】
資源最適化モジュール7020は、この集約されたデータを分析して、特定の医療施設又は医療施設のグループに関する資源の最適な使用を決定するように構成することができる。例えば、資源最適化モジュール7020は、そのような器具7012の対応する予測される要求に基づいて、医療施設のグループに関する外科用ステープラ7012の最適な順序点を決定してもよい。資源最適化モジュール7020はまた、資源使用を改善することができるかどうかを判定するために、様々な医療施設の資源使用又は他の動作構成を評価する場合があるであろう。同様に、提案モジュール7030は、データ収集及び集約モジュール7022から集約された編成済みデータを分析して提案を提供するように構成することができる。例えば、提案モジュール7030は、特定の外科用器具7012が、例えば、期待される誤り率よりも高いことに基づいて改善されたバージョンにアップグレードされるべきであることを、医療施設(例えば、病院などの医療サービス提供者)に提案することができる場合もある。加えて、提案モジュール7030及び/又は資源最適化モジュール7020は、製品再注文ポイントなどのより良好な供給チェーンパラメータを提案し、異なる外科用器具7012、その使用の、又は手術結果を改善する手順工程などの提案を提供することができる場合もある。医療施設は、対応する外科用ハブ7006を介してそのような提案を受信することができる。様々な外科用器具7012のパラメータ又は構成に関するより具体的な提案もまた提供することができる。ハブ7006及び/又は外科用器具7012はそれぞれ、クラウド7004によって提供されるデータ又は提案を表示するディスプレイスクリーンを有することができる場合もある。
【0104】
患者転帰分析モジュール7028は、外科用器具7012の現在使用されている動作パラメータに関連付けられた手術結果を分析することができる。患者転帰分析モジュール7028はまた、他の潜在的な動作パラメータを分析及び評価してもよい。この接続では、提案モジュール7030は、より良好な封止又はより少ない出血などの、より良好な手術結果をもたらすことに基づいて、これらの他の潜在的な動作パラメータを使用して提案することができる場合もある。例えば、推奨モジュール7030は、対応するステープル留め外科用器具7012に特定のカートリッジをいつ使用すべきかに関する推奨を、外科用ハブ7006に送信することができる。したがって、クラウドベースの分析システムは、共通変数を制御している間に、生データの大規模な収集を分析し、複数の医療施設にわたって(有利には、集約されたデータに基づいて決定される)集中的提案を提供するように構成されてもよい。例えば、クラウドベースの分析システムは、医療行為の種類、患者の種類、患者の数、医療提供者/施設が、同様の種類の器具などを使用する医療提供者の間の地理的類似性を分析、評価、及び/又は集約することができる場合もあり、医療提供者/施設は、同様の種類の器具などを使用する。
【0105】
制御プログラム更新モジュール7026は、対応する制御プログラムが更新されたときに、様々な外科用器具7012の提案を実施するように構成することができる場合もある。例えば、患者転帰分析モジュール7028は、特定の制御パラメータを成功した(又は失敗した)結果とリンクする相関関係を識別することができる場合もある。このような相関関係は、更新された制御プログラムが制御プログラム更新モジュール7026を介して外科用器具7012に送信されるときに対処されてもよい。対応するハブ7006を介して送信される器具7012への更新は、クラウド7004のデータ収集及び集約モジュール7022によって収集され、かつ分析された集約された成績データを組み込んでもよい。加えて、患者転帰分析モジュール7028及び提案モジュール7030は、集約された成績データに基づいて、器具7012を使用する改善された方法を識別することができる場合もある。
【0106】
クラウドベースの分析システムは、クラウド7004によって実装されるセキュリティ機能を含んでもよい。これらのセキュリティ機能は、認可及びセキュリティモジュール7024によって管理されてもよい。それぞれの外科用ハブ7006は、ユーザ名、パスワード、及び他の好適なセキュリティ資格情報などの関連する固有の資格情報を有することができる。これらの資格情報は、メモリ7010に記憶され、許可されたクラウドアクセスレベルに関連付けることができる場合もある。例えば、正確な資格情報を提供することに基づいて、外科用ハブ7006は、クラウドと所定の範囲まで通信するアクセスを付与されてもよい(例えば、特定の定義された種類の情報の送信又は受信を行ってもよい)。この目的のために、クラウド7004の集約された医療データデータベース7011は、提供された資格情報の精度を検証するための資格情報のデータベースを含んでもよい。異なる資格情報は、クラウド7004によって生成されたデータ分析を受信するための所定のアクセスレベルなど、クラウド7004との相互作用のための様々なレベルの許可に関連付けられてもよい。
【0107】
更に、セキュリティ目的のために、クラウドは、ハブ7006、器具7012、及び禁止された装置の「ブラックリスト」を含んでもよい他の装置のデータベースを維持することができる場合もある。具体的には、ブラックリスト上に列挙された外科用ハブ7006は、クラウドと相互作用することを許可されなくてもよい一方で、ブラックリスト上に列挙された外科用器具7012は、対応するハブ7006への機能的アクセスを有さなくてもよく、かつ/又は対応するハブ7006とペアリングされたときに完全に機能することが防止されてもよい。追加的に又は代替的に、クラウド7004は、不適合性又は他の指定された基準に基づいて、器具7012にフラグを立ててもよい。このようにして、偽造医療用装置及びそのような装置の、クラウドベースの分析システム全体での不適切な再使用を識別し、対処することができる。
【0108】
外科用器具7012は、無線送受信機を使用して、例えば、対応するハブ7006及びクラウド7004へのアクセスのための認可資格情報を表してもよい無線信号を送信してもよい。有線送受信機はまた、信号を送信するために使用してもよい。そのような認可資格情報は、外科用器具7012のそれぞれのメモリ装置に記憶することができる。認可及びセキュリティモジュール7024は、認可資格情報が正確であるか又は偽造であるかを判定することができる。認可及びセキュリティモジュール7024はまた、強化されたセキュリティのために、認可資格情報を動的に生成してもよい。資格情報はまた、ハッシュベースの暗号化を使用することなどによって、暗号化することができる場合もある。適切な認可を送信すると、外科用器具7012は、対応するハブ7006及び最終的にはクラウド7004に信号を送信して、器具7012が医療データを取得して送信する準備ができていることを示してもよい。これに応答して、クラウド7004は、集約された医療データデータベース7011に記憶するための医療データを受信することが可能な状態に遷移してもよい。このデータ伝送準備は、例えば、器具7012上の光インジケータによって示すことができる場合もある。クラウド7004はまた、それらの関連する制御プログラムを更新するために、外科用器具7012に信号を送信することができる。クラウド7004は、制御プログラムに対するソフトウェアアップデートが適切な外科用器具7012にのみ送信されるように、特定のクラスの外科用器具7012(例えば、電気外科用器具)に向けられた信号を送信することができる。更に、クラウド7004は、選択的データ送信及び認可資格情報に基づいてローカル又はグローバルの問題に対処するために、システムワイドソリューションを実装するために使用することができる場合もある。例えば、外科用器具7012のグループが共通の製造不良を有するものとして識別される場合、クラウド7004は、このグループに対応する認可資格情報を変更して、このグループの動作ロックアウトを実施してもよい。
【0109】
クラウドベースの分析システムは、(例えば、提案モジュール2030を介して)改善された実務及び提案の変更を判定するために、複数の医療施設(例えば、病院のような医療施設)を監視することを可能にしてもよい。したがって、クラウド7004のプロセッサ7008は、個々の医療施設に関連付けられたデータを分析して、施設を識別し、そのデータを他の医療施設に関連付けられた他のデータと集約することができる。グループは、例えば、同様の操作行為又は地理的位置に基づいて定義することができる場合がある。このようにして、クラウド7004は、医療施設グループの幅広い分析及び提案を提供してもよい。クラウドベースの分析システムはまた、強化された状況認識のために使用することができる場合がある。例えば、プロセッサ7008は、(全体的な動作及び/又は様々な医療処置に対する)特定の施設に対するコスト及び有効性に関する提案の効果を予測的にモデル化してもよい。その特定の施設に関連するコスト及び有効性はまた、他の施設又は任意の他の同等の施設の対応するローカル領域と比較することもできる。
【0110】
データ分類及び優先順位付けモジュール7032は、重大性(例えば、データに関連付けられた医療イベントの重篤度、意外さ、不審さ)に基づいてデータを優先順位付けし、かつ分類してもよい。この分類及び優先順位付けは、本明細書に記載されるクラウドベースの分析及び動作を改善するために、上記の他のデータ分析モジュール7034の機能と併せて使用してもよい。例えば、データ分類及び優先順位付けモジュール7032は、データ収集及び集約モジュール7022並びに患者転帰分析モジュール7028によって実行されるデータ分析に対する優先度を割り当てることができる。異なる優先順位レベルは、迅速応答のための上昇、特別な処理、集約された医療データデータベース7011からの除外、又は他の好適な応答などの、(緊急性のレベルに対応する)クラウド7004からの特定の応答をもたらすことができる。更に、必要に応じて、クラウド7004は、対応する外科用器具7012からの追加データのために、ハブアプリケーションサーバを介して要求(例えば、プッシュメッセージ)を送信することができる。プッシュメッセージは、支持又は追加のデータを要求するために、対応するハブ7006上に表示された通知をもたらすことができる。このプッシュメッセージは、クラウドが有意な不規則性又は外れ値を検出し、クラウドが不規則性の原因を判定することができない状況で必要とされてもよい。中央サーバ7013は、例えば、データが所定の閾値を超えて予測値と異なると判定されるとき、又はセキュリティが含まれていたと見られる場合など、特定の重大な状況においてこのプッシュメッセージをトリガするようにプログラムされてもよい。
【0111】
様々な態様では、図12及び図13を参照して上述した外科用器具(複数可)7012は、外科用装置214002(図16図18)、ディスプレイスクリーン(図16)、ウェアラブルデバイス214100、214102、214200、214202(図19図21)、及びディスプレイ214400(図22A及び図22B)として実装されてもよい。それに応じて、外科用装置214002(図16図18)、ディスプレイスクリーン(図16)、ウェアラブルデバイス214100、214102、214200、214202(図19図21)、及びディスプレイ214400(図22A及び図22B)は、外科用ハブ7006及びネットワーク2001とインターフェース接続するように構成され、ネットワーク2001は、クラウド7004とインターフェース接続するように構成されている。それに応じて、中央サーバ7013及びデータ分析モジュール7034によって供給される処理能力は、外科用装置214002(図16図18)、ディスプレイスクリーン(図16)、ウェアラブルデバイス214100、214102、214200、214202(図19図21)、及びディスプレイ214400(図22A及び図22B)からの情報(例えば、データ及び制御)を処理するように構成されている。
【0112】
クラウド分析システムに関する更なる詳細は、その全体が参照により本明細書に組み込まれる、「METHOD OF HUB COMMUNICATION」と題する2018年4月19日出願の米国特許仮出願第62/659,900号に見出すことができる。
【0113】
状況認識
感知されたデータに応答する制御アルゴリズムを含む「インテリジェント」装置は、感知されたデータを考慮することなく動作する「データ処理能力のない(dumb)」装置に改善を加えたものであり得るが、いくつかの感知されたデータは、単独で考慮される場合、すなわち、実行される外科処置のタイプ又は手術されている組織のタイプのコンテキストなしでは、不完全又は決定的ではない可能性がある。処置コンテキストを知る(例えば、手術される組織のタイプ又は行われている処置のタイプを知る)ことがなければ、制御アルゴリズムは、特定のコンテキストを含まない感知データが与えられると、モジュール式装置を不正確に又は準最適に制御することがある。例えば、特定の感知されたパラメータに応答して外科用器具を制御するための制御アルゴリズムの最適な方法は、手術されている特定の組織のタイプに従って変化する可能性がある。これは、異なる組織のタイプが異なる特性(例えば、引き裂きに対する抵抗)を有し、これにより外科用器具によって取られた動作に対して異なって応答するという事実に起因する。したがって、特定のパラメータについて同じ測定値が感知された場合であっても、外科用器具が異なる動作をとることが望ましいことがある。1つの具体的な例として、器具がそのエンドエフェクタを閉鎖するために予想外に高い力を感知することに応答して外科用ステープル及び切断器具を制御する最適な方法は、組織のタイプが引き裂きの影響を受けやすいか、又はこれに耐性があるかによって異なる。肺組織などの引き裂きの影響を受けやすい組織の場合、器具の制御アルゴリズムは、組織の引き裂きを回避するために、閉鎖するための予想外に高い力に応答してモータを最適にランプダウンさせる。胃組織などの引き裂きに耐性がある組織の場合、器具の制御アルゴリズムは、エンドエフェクタが組織に適切にクランプされることを確実にするために、閉鎖するための予想外に高い力に応答してモータを最適にランプアップさせる。肺組織がクランプされているのか、胃組織がクランプされているのかを知らなければ、制御アルゴリズムは、準最適な決定を行うことがある。
【0114】
1つの解決策は、様々なデータソースから受信したデータに基づいて行われる外科処置に関する情報を導出し、次いで、ペアリングされるモジュール式装置を適宜制御するように構成されたシステムを含む、外科用ハブを利用する。換言すれば、外科用ハブは、受信したデータから外科処置に関する情報を推定し、次いで、外科処置の推定されたコンテキストに基づいて、外科用ハブとペアリングされるモジュール式装置を制御するように構成される。図14は、本開示の少なくとも1つの態様による、状況認識外科用システム5100の略図を示す。いくつかの例示では、データソース5126は、例えば、モジュール式装置5102(患者及び/又はモジュール式装置自体に関連付けられたパラメータを検出するように構成されたセンサを含むことができる)、データベース5122(例えば、患者記録を含むEMRデータベース)、及び患者監視装置5124(例えば、血圧(blood pressure、BP)モニタ及び心電図(electrocardiography、EKG)モニタ)を含む。
【0115】
多くの点でハブ106と同様であってもよい外科用ハブ5104は、データから、外科処置に関するコンテキスト情報を、例えば、受信したデータの特定の組み合わせ(複数可)又はデータソース5126からデータが受信される特定の順序に基づいて導出するように構成することができる。受信したデータから推定されるコンテキスト情報は、例えば、行われる外科処置のタイプ、外科医が行っている外科処置の特定の工程、手術されている組織のタイプ、又は処置の対象である体腔を含むことができる。受信したデータから外科処置に関連する情報を導出又は推定するための外科用ハブ5104のいくつかの態様によるこの能力は、「状況認識」と称することができる。1つの例示では、外科用ハブ5104は、受信したデータから外科処置に関連するコンテキスト情報を導出する外科用ハブ5104に関連付けられたハードウェア及び/又はプログラミングである状況認識システムを組み込むことができる。
【0116】
外科用ハブ5104の状況認識システムは、様々な異なる方法でデータソース5126から受信したデータからコンテキスト情報を導出するように構成することができる。一例示では、状況認識システムは、様々な入力(例えば、データベース5122、患者監視装置5124、及び/又はモジュール式装置5102からのデータ)を、外科処置に関する対応するコンテキスト情報と相関させるために、訓練データで訓練されたパターン認識システム、又は機械学習システム(例えば、人工ニューラルネットワーク)を含む。換言すれば、機械学習システムは、提供された入力から外科処置に関するコンテキスト情報を正確に導出するように訓練され得る。別の例示的な例では、状況認識システムは、外科処置に関する事前に特徴付けされたコンテキスト情報を、コンテキスト情報に対応する1つ以上の入力(又は入力の範囲)と対応させて記憶する、ルックアップテーブルを含むことができる。1つ以上の入力による問い合わせに応答して、ルックアップテーブルは、モジュール式装置5102を制御するために状況認識システムの対応するコンテキスト情報を返すことができる。1つの例示では、外科用ハブ5104の状況認識システムによって受信されたコンテキスト情報は、1つ以上のモジュール式装置5102の特定の制御調整又は制御調整のセットに関連付けられる。別の例示では、状況認識システムは、コンテキスト情報を入力として提供されたときに1つ以上のモジュール式装置5102の1つ以上の制御調整を生成又は取得する、更なる機械学習システム、ルックアップテーブル、又は他のそのようなシステムを含む。
【0117】
状況認識システムを組み込む外科用ハブ5104は、外科用システム5100に多くの利益を提供する。1つの利益は、感知及び収集されたデータの解釈を改善することを含み、これは、外科処置の過程中の処理精度及び/又はデータの使用を改善する。以前の例に戻るために、状況認識外科用ハブ5104は、どのタイプの組織が手術されているかを判定することができ、したがって、外科用器具のエンドエフェクタを閉じるために予想外に高い力が検出されると、状況認識外科用ハブ5104は、組織のタイプに合わせて外科用器具のモータを正しくランプアップ又はランプダウンすることができる。
【0118】
別の実施例として、手術されている組織のタイプは、特定の組織間隙測定のための外科用ステープル留め及び切断器具の圧縮速度及び負荷閾値になされる調整に影響を及ぼすことができる。状況認識外科用ハブ5104は、行われている外科処置が胸部処置であるのか又は腹部処置であるのかを推定することができ、これにより状況認識外科用ハブ5104は、外科用ステープル留め及び切断器具のエンドエフェクタによってクランプされている組織が肺であるのか(胸部手術の場合)又は胃であるのか(腹部手術の場合)を判定することができる。次いで、外科用ハブ5104は、外科用ステープル留め及び切断器具の圧縮速度及び負荷閾値を、組織のタイプに合わせて適切に調整することができる。
【0119】
更に別の実施例として、送気処置中に手術されている体腔の種類は、排煙器の機能に影響を及ぼし得る。状況認識手術ハブ5104は、手術部位が(外科処置が送気を利用していると判定することによって)圧力下にあるかどうかを判定し、処置タイプを判定することができる。処置タイプが一般的に特定の体腔内で実行されるため、外科用ハブ5104は、手術されている体腔に合わせて適切に排煙器のモータ速度を制御することができる。したがって、状況認識手術ハブ5104は、胸部手術及び腹部手術の両方のために一定量の煙排出を提供することができる。
【0120】
更に別の実施例として、行われている処置のタイプは、超音波外科用器具又は高周波(radio frequency、RF)電気外科用器具が作動するのに最適なエネルギーレベルに影響を及ぼし得る。関節鏡処置は、例えば、超音波外科用器具又はRF電気外科用器具のエンドエフェクタが流体中に浸漬されるため、より高いエネルギーレベルを必要とする。状況認識外科用ハブ5104は、外科処置が関節鏡処置であるかどうかを判定することができる。次いで、外科用ハブ5104は、流体充填環境を補償するために、発生器のRF電力レベル又は超音波振幅(すなわち、「エネルギーレベル」)を調整することができる。関連して、手術されている組織のタイプは、超音波外科用器具又はRF電気外科用器具が作動するのに最適なエネルギーレベルに影響を及ぼし得る。状況認識外科用ハブ5104は、外科処置の予想される組織プロファイルに従って、どのタイプの外科処置が行われているかを判定し、次いで、超音波外科用器具又はRF電気外科用器具のエネルギーレベルをそれぞれカスタマイズすることができる。更に、状況認識外科用ハブ5104は、処置ベースでのみではなく、外科処置の過程にわたって、超音波外科用器具又はRF電気外科用器具のエネルギーレベルを調整するように構成され得る。状況認識外科用ハブ5104は、外科処置のどの工程が行われているか、又はその後に行われるかを判定し、次いで発生器及び/又は超音波外科用器具若しくはRF電気外科用器具の制御アルゴリズムを更新して、外科処置の工程に従って予想される組織タイプに適切な値にエネルギーレベルを設定することができる。
【0121】
更に別の例として、外科用ハブ5104が1つのデータソース5126から引き出す結論を改善するために、追加のデータソース5126からデータが引き出されることができる。状況認識外科用ハブ5104は、モジュール式装置5102から受信したデータを、他のデータソース5126からの外科処置に関して構築したコンテキスト情報で増強することができる。例えば、状況認識外科用ハブ5104は、医療用撮像装置から受信したビデオ又は画像データに従って、止血が発生したかどうか(すなわち、手術部位での出血が止まっているかどうか)を判定するように構成することができる。しかしながら、場合によっては、ビデオ又は画像データは、決定的でない可能性がある。したがって、1つの例示では、外科用ハブ5104は、生理学的測定(例えば、外科用ハブ5104に通信可能に接続されたBPモニタによって感知された血圧)を、(例えば、外科用ハブ5104に通信可能に連結された医療用撮像装置124(図2)からの)止血の視覚データ又は画像データと比較して、ステープルライン又は組織溶接の完全性についての判定を行うように更に構成することができる。換言すれば、外科用ハブ5104の状況認識システムは、生理学的測定データを考慮して、可視化データを分析する際に追加のコンテキストを提供することができる。追加のコンテキストは、可視化データがそれ自体では決定的ではないか、又は不完全であり得る場合に有用であり得る。
【0122】
別の利益としては、外科処置の過程中に医療従事者が外科用システム5100と相互作用するか又はこれを制御するために必要とされる回数を低減するために、行われている外科処置の特定の工程に従って、ペアリングされるモジュール式装置5102を積極的かつ自動的に制御することが挙げられる。例えば、状況認識外科用ハブ5104は、処置の後続の工程が器具の使用を必要とすると判定した場合に、RF電気外科用器具が接続されている発生器を積極的に起動させることができる。エネルギー源を積極的に起動することにより、処置の先行する工程が完了するとすぐに器具を使用準備完了にすることができる。
【0123】
別の実施例として、状況認識外科用ハブ5104は、外科処置の現在又は後続の工程が、ディスプレイ上の異なる視界又は拡大の度合いを必要とするかどうかを、外科医が見る必要があると予想される手術部位における特徴(複数可)に従って判定することができる。次いで、外科用ハブ5104は、(例えば、可視化システム108のために医療用撮像装置によって供給される)表示された視界を、それに応じて積極的に変化させることができ、ディスプレイが外科処置にわたって自動的に調整するようにする。
【0124】
更に別の例として、状況認識手術ハブ5104は、外科処置のどの工程が行われているか、又はその後に実行されるか、及び特定のデータ又はデータ間の比較が外科処置のその工程に必要とされるかどうかを判定することができる。外科用ハブ5104は、外科医が特定の情報を尋ねるのを待つことなく、行われている外科処置の工程に基づいて、自動的にデータスクリーンを呼び出すように構成することができる。
【0125】
別の利益は、外科処置のセットアップ中又は外科処置の過程中にエラーをチェックすることを含む。例えば、状況認識外科用ハブ5104は、手術室が、行われる外科処置のために適切に又は最適にセットアップされているかどうかを判定することができる。外科用ハブ5104は、行われている外科処置のタイプを判定し、(例えば、メモリから)対応するチェックリスト、製品位置、又はセットアップニーズを取得し、次いで、現在の手術室のレイアウトを、外科用ハブ5104が行われていると判定した外科処置のタイプの標準レイアウトと比較するように構成することができる。1つの例示では、外科用ハブ5104は、例えば、好適なスキャナによってスキャンされた、処置のためのアイテムのリスト、及び/又は外科用ハブ5104とペアリングされる装置のリストを、所与の外科処置のためのアイテム及び/又は装置の推奨される又は予想されるマニフェストと比較するように構成することができる。リスト間に任意の不連続性が存在する場合、外科用ハブ5104は、特定のモジュール式装置5102、患者監視装置5124、及び/又は他の外科用アイテムが欠落していることを示す警告を提供するように構成することができる。1つの例示では、外科用ハブ5104は、例えば、近接センサによってモジュール式装置5102及び患者監視装置5124の相対距離又は位置を判定するように構成することができる。外科用ハブ5104は、装置の相対位置を、特定の外科処置のための推奨又は予想されるレイアウトと比較することができる。レイアウト間に不連続性が存在する場合、外科用ハブ5104は、外科処置の現在のレイアウトが推奨されるレイアウトから逸脱していることを示す警告を提供するように構成することができる。
【0126】
別の例として、状況認識外科用ハブ5104は、外科医(又は他の医療従事者)が誤りを犯しているか、又は他の方法で外科処置の過程中に期待される一連の行動から逸脱しているかどうかを判定することができる。例えば、外科用ハブ5104は、実施される外科処置のタイプを判定し、(例えば、メモリから)機器使用の工程又は順序の対応するリストを取り出し、次いで、外科処置の過程中に行われている工程、又は使用されている機器を、外科用ハブ5104が行われていると判定した外科処置のタイプの予想された工程又は機器と比較するように構成することができる。1つの例示では、外科用ハブ5104は、外科処理における特定の工程で、予期せぬアクションが行われているか、又は予期せぬ装置が利用されていることを示す警告を提供するように構成することができる。
【0127】
全体的に、外科用ハブ5104のための状況認識システムは、各外科処置の特定のコンテキストのために外科用器具(及び他のモジュール式装置5102)を調整し(例えば異なる組織タイプに適応させるなど)、手術処置中のアクションを検証することによって、外科処置の結果を改善する。状況認識システムはまた、処置の特定のコンテキストに従って、次の工程を自動的に示唆すること、データを提供すること、及び手術現場内のディスプレイ及び他のモジュール式装置5102を調整することによって、外科処置を実行する際の外科医の効率を改善する。
【0128】
一態様では、図24図40を参照して後述するように、モジュール式装置5102は、外科用装置214002(図16図18)、ディスプレイスクリーン(図16)、ウェアラブルデバイス214100、214102、214200、214202(図19図21)、及びディスプレイ214400(図22A及び図22B)として実装される。それに応じて、外科用装置214002(図16図18)、ディスプレイスクリーン(図16)、ウェアラブルデバイス214100、214102、214200、214202(図19図21)、及びディスプレイ214400(図22A及び図22B)として実装されるモジュール式装置5102は、データソース5126として動作し、データベース5122及び患者監視装置5124と相互作用するように構成されている。外科用装置214002(図16図18)、ディスプレイスクリーン(図16)、ウェアラブルデバイス214100、214102、214200、214202(図19図21)、及びディスプレイ214400(図22A及び図22B)として実装されるモジュール式装置5102は、外科用ハブ5104と相互作用して、外科用ハブ5104に情報(例えば、データ及び制御)を提供し、外科用ハブ5104から情報(例えば、データ及び制御)を受信するように更に構成されている。
【0129】
ここで図15を参照すると、例えば、外科用ハブ106又は206(図1図11)などのハブの状況認識を示す予定表5200が示されている。予定表5200は、例示的な外科処置、及び外科用ハブ106、206が、外科処置の各工程でデータソースから受信したデータから導き出すことができるコンテキスト情報である。予定表5200は、手術室を設置することから開始し、患者を術後回復室に移送することで終了する肺区域切除手術の過程で、看護師、外科医、及び他の医療関係者によって取られるであろう典型的な工程を示す。
【0130】
状況認識外科用ハブ106、206は、外科処置の過程全体にわたって、医療関係者が外科用ハブ106、206とペアリングされたモジュール式装置を利用する度に生成されるデータを含むデータをデータソースから受信する。外科用ハブ106、206は、ペアリングされたモジュール式装置及び他のデータソースからこのデータを受信して、任意の所与の時間に処置のどの工程が実施されているかなどの新しいデータが受信されると、進行中の処置に関する推定(すなわち、コンテキスト情報)を継続的に導出することができる。外科用ハブ106、206の状況認識システムは、例えば、レポートを生成するために処置に関するデータを記録する、医療関係者によって取られている工程を検証する、特定の処置工程に関連し得るデータ又はプロンプトを(例えば、ディスプレイスクリーンを介して)提供する、コンテキストに基づいてモジュール式装置を調節する(例えば、モニタを起動する、医療用撮像装置の視界(FOV)を調節する、又は超音波外科用器具若しくはRF電気外科用器具のエネルギーレベルを変更するなど)、及び上記の任意の他のこうした動作を行うことが可能である。
【0131】
この例示的な処置における第1の工程5202として、病院職員は、病院のEMRデータベースから患者のEMRを読み出す。EMRにおける選択された患者データに基づいて、外科用ハブ106、206は、実行される処置が胸部処置であることを判定する。
【0132】
第2の工程5204では、職員は、処置のために入来する医療用品をスキャンする。外科用ハブ106、206は、スキャンされた用品を様々な種類の処置で利用される用品のリストと相互参照し、用品の組み合わせ(mix of supplies)が胸部処置に対応することを確認する。更に、外科用ハブ106、206はまた、処置が楔形処置ではないと判定することができる(入来する用品が、胸郭楔形処置に必要な特定の用品を含まないか、又は別の点で胸郭楔形処置に対応していないかのいずれかであるため)。
【0133】
第3の工程5206では、医療関係者は、外科用ハブ106、206に通信可能に接続されたスキャナを介して患者のバンドをスキャンする。続いて、外科用ハブ106、206は、スキャンされたデータに基づいて患者の識別情報を確認することができる。
【0134】
第4の工程5208では、医療スタッフが補助装置をオンにする。利用される補助装置は、外科処置の種類及び外科医によって使用される技術に従って変わり得るが、この例示的な場合では、これらとしては、排煙器、吸入器、及び医療用撮像装置が挙げられる。起動されると、モジュール式装置である補助機器は、その初期化プロセスの一部として、モジュール式装置の特定の近傍内に位置する外科用ハブ106、206と自動的にペアリングすることができる。続いて、外科用ハブ106、206は、この術前又は初期化段階中にそれとペアリングされるモジュール式装置の種類を検出することによって、外科処置に関するコンテキスト情報を導出することができる。この特定の実施例では、外科用ハブ106、206は、ペアリングされたモジュール式装置のこの特定の組み合わせに基づいて、外科処置がVATS手術であると判定する。患者のEMRからのデータの組み合わせ、手術に使用される医療用品のリスト、及びハブに接続するモジュール式装置の種類に基づいて、外科用ハブ106、206は、外科チームが実施する特定の処置を概ね推定することができる。外科用ハブ106、206が、何の特定の処置が実施されているかを知ると、続いて外科用ハブ106、206は、メモリから、又はクラウドからその処置の工程を読み出して、次に接続されたデータソース(例えば、モジュール式装置及び患者監視装置)からその後受信したデータを相互参照して、外科処置のどの工程を外科チームが実行しているかを推定することができる。
【0135】
第5の工程5210では、職員は、EKG電極及び他の患者監視装置を患者に取り付ける。EKG電極及び他の患者監視装置は、外科用ハブ106、206とペアリングすることができる。外科用ハブ106、206が患者監視装置からデータの受信を開始すると、外科用ハブ106、206は患者が手術室にいることを確認する。
【0136】
第6の工程5212では、医療関係者は患者に麻酔を誘発する。外科用ハブ106、206は、例えば、EKGデータ、血圧データ、ベンチレータデータ、又はこれらの組み合わせを含む、モジュール式装置及び/又は患者監視装置からのデータに基づいて、患者が麻酔下にあることを推定することができる。第6の工程5212が完了すると、肺区域切除手術の術前部分が完了し、手術部分が開始する。
【0137】
第7の工程5214では、操作されている患者の肺が虚脱される(換気が対側肺に切り替えられる間に)。外科用ハブ106、206は、例えば、患者の肺が虚脱されたことをベンチレータデータから推定することができる。外科用ハブ106、206は、患者の肺が虚脱したのを検出したことを、処置の予期される工程(事前にアクセス又は読み出すことができる)と比較することができるため、処置の手術部分が開始したことを推定して、それによって肺を虚脱させることがこの特定の処置における第1の手術工程であると判定することができる。
【0138】
第8の工程5216では、医療用撮像装置(例えば、スコープ)が挿入され、医療用撮像装置からのビデオ映像が開始される。外科用ハブ106、206は、医療用撮像装置への接続を通じて医療用撮像装置データ(すなわち、ビデオ又は画像データ)を受信する。医療用撮像装置データを受信すると、外科用ハブ106、206は、外科処置の腹腔鏡部分が開始したことを判定することができる。更に、外科用ハブ106、206は、実施されている特定の処置が、肺葉切除とは対照的に区域切除術であると判定することができる(処置の第2の工程5204で受信したデータに基づいて、楔形処置は外科用ハブ106、206によって既に割り引かれていることに留意されたい)。医療用撮像装置124(図2)からのデータは、患者の解剖学的構造の可視化に関して配向されている医療用撮像装置の角度を判定することによる、用いられている(すなわち、起動されており、外科用ハブ106、206とペアリングされている)数又は医療用撮像装置を監視することによる、及び用いられている可視化装置の種類を監視することによる、ことを含む多くの異なる方法の中から実施されている処置の種類に関するコンテキスト情報を判定するために用いられ得る。例えば、VATS肺葉切除術を実施するための1つの技術は、カメラを患者の胸腔の前下方角部の横隔膜上方に配置し、一方、VATS区域切除術を実施するための1つの技術は、カメラを、区域裂に対して前肋間位置に配置する。例えば、パターン認識又は機械学習技術を使用して、状況認識システムは、患者の解剖学的構造の可視化に基づいて、医療用撮像装置の位置を認識するように訓練され得る。別の例として、VATS肺葉切除術を実施するための1つの技術は単一の医療用撮像装置を利用するが、VATS区域切除術を実施するための別の技術は複数のカメラを利用する。更に別の例として、VATS区域切除術を実施するための1つの技術は、区域裂を可視化するために赤外線光源(可視化システムの一部として外科用ハブに通信可能に連結され得る)を利用し、これはVATS肺葉切除術では利用されない。医療用撮像装置からのこのデータのいずれか又は全てを追跡することによって、外科用ハブ106、206は、実行中の特定の種類の外科処置、及び/又は特定の種類の外科処置に使用されている技術を判定することができる。
【0139】
第9の工程5218で、外科チームは、処置の切開工程を開始する。外科用ハブ106、206は、エネルギー器具が発射されていることを示すRF又は超音波発生器からのデータを受信するため、外科医が患者の肺を切開して分離するプロセスにあると推定することができる。外科用ハブ106、206は、受信されたデータを外科処置の読み出しされた工程と相互参照して、プロセスのこの時点(すなわち、前に考察された処置の工程が完了した後)で発射されているエネルギー器具が切開工程に対応していると判定することができる。特定の例では、エネルギー器具は、ロボット外科用システムのロボットアームに取り付けられたエネルギーツールであり得る。
【0140】
第10の工程5220で、外科チームは、処置の結紮工程に進む。外科用ハブ106、206は、器具が発射されていることを示す外科用ステープル留め及び切断器具からのデータを受信するため、外科医が動脈及び静脈を結紮していると推定することができる。前工程と同様に、外科用ハブ106、206は、外科用ステープル留め及び切断器具からのデータの受信を、読み出しされたプロセス内の工程と相互参照することによって、この推定を導出することができる。特定の例では、外科用器具は、ロボット外科用システムのロボットアームに取り付けられた外科用ツールであり得る。
【0141】
第11の工程5222では、処置の区域切除部分が実施される。外科用ハブ106、206は、そのカートリッジからのデータを含む外科用ステープル留め及び切断器具からのデータに基づいて、外科医が実質組織を横切開していると推定することができる。カートリッジのデータは、例えば、器具によって発射されるステープルのサイズ又は種類に対応することができる。異なる種類のステープルが異なる種類の組織に利用されているため、カートリッジのデータは、ステープル留め及び/又は横切開されている組織の種類を示すことができる。この場合、発射されるステープルの種類は実質組織(又は他の同様の組織種)に利用され、これにより、外科用ハブ106、206は、処置の区域切除部分が実行されていると推定することができる。
【0142】
続いて第12の工程5224で、結節切開工程が実行される。外科用ハブ106、206は、RF又は超音波器具が発射されていることを示す発生器から受信したデータに基づいて、外科チームが結節を切開し、漏れ試験を実施していると推定することができる。この特定の処置の場合、実質組織が横切開された後に利用されるRF又は超音波器具は結節切開工程に対応しており、この結節切開工程により外科用ハブ106、206がこの推定を行うことが可能となる。異なる器具が特定の作業に対してより良好に適合するため、外科医は、処置中の特定の工程に応じて、定期的に外科用ステープル留め/切断器具と外科用エネルギー(すなわち、RF又は超音波)器具との間で交互に切り替えることに留意されたい。したがって、ステープル留め/切断器具及び外科用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどの工程を実施中であるかを示すことができる。更に、特定の例では、外科処置中の1つ以上の工程にロボットツールを使用することができ、かつ/又は外科処置中の1つ以上の工程にハンドヘルド外科用器具を使用することができる。外科医(複数可)は、例えば、ロボットツールとハンドヘルド外科用器具とを順に交代させることができ、かつ/又は、例えば、装置を同時に使用することができる。第12の工程5224が完了すると、切開部が閉鎖され、処置の術後部分が開始する。
【0143】
第13の工程5226では、患者の麻酔が逆転される。外科用ハブ106、206は、例えば、ベンチレータデータに基づいて(すなわち、患者の呼吸速度が増加し始める)、患者が麻酔から覚醒しつつあると推定することができる。
【0144】
最後に、第14の工程5228は、医療関係者が患者から様々な患者監視装置を除去することである。したがって、外科用ハブ106、206は、ハブがEKG、BP、及び患者監視装置からの他のデータを喪失したとき、患者が回復室に移送されていると推定することができる。この例示的な処置の説明から分かるように、外科用ハブ106、206と通信可能に連結された各種データソースから受信されたデータに基づいて、外科用ハブ106、206は、所与の外科処置の各工程が発生しているときを判定又は推定することができる。
【0145】
様々な態様では、外科用装置214002(図16図18)、ディスプレイスクリーン(図16)、ウェアラブルデバイス214100、214102、214200、214202(図19図21)、及びディスプレイ214400(図22A及び図22B)は、例えば、予定表5200によって示されるように、外科用ハブ106又は206(図1図11)などのハブ環境において状況認識で動作するように構成されている。状況認識については、その全体が参照により本明細書に組み込まれる、「METHOD OF HUB COMMUNICATION」と題する2018年4月19日出願の米国特許仮出願第62/659,900号で更に説明されている。特定の例では、例えば本明細書で開示される様々なロボット外科用システムを含むロボット外科用システムの動作は、その状況認識、及び/若しくはその構成要素からのフィードバックに基づいて、並びに/又はクラウド104からの情報に基づいて、ハブ106、206によって制御することができる。
【0146】
外科的障壁を通した制御
様々な例では、デジタル外科用装置は、1つ以上の外科的障壁を通して制御することができる。外科的障壁は、物理的無菌障壁、無形滅菌障壁、及び患者の身体の壁を含む。一態様では、滅菌野内に位置する第1の手術室システムを、第2の手術室システムの使用を介して間接的に指令かつ制御することができ、第2の手術室システムは、一次動作モードと、第1の手術室システムと相互作用してコマンド及び制御を提供するように設計された二次動作モードと、を有することができる。例えば、一次動作モードでは、第2の手術室システムは、一次外科的機能を発揮することができる。二次動作モードでは、一次外科的機能を無効化することができる。その上、二次動作モードでは、第2の手術室システムは、第1の手術室システムを指令かつ制御することができる。例えば、外科用器具は、第1の動作モードにおいて組織に作用し、第2の動作モードにおいて撮像システム及び/又はそのディスプレイを指令かつ制御するように構成することができる。
【0147】
特定の例では、臨床医は、滅菌野内から、遠隔外科用システムに、及び/又は遠隔外科用システムに通信可能に結合された外科用ハブに入力を提供することを望む場合がある。例えば、臨床医は、第1の手術室システム(例えば、外科用装置)を保持する臨床医が、滅菌野の外側に位置付けられた別の手術室システム(例えば、撮像若しくは可視化システム、及び/又はそのディスプレイ)にコマンド又は入力を提供することを望む場合がある。特定の例では、第1の手術室システムを利用して、滅菌野及び/又は患者の身体の境界などの外科的障壁を介して、他の手術室システムと通信又は相互作用することが望ましい場合がある。
【0148】
このような相互作用を容易にするために、第1の手術室システムは、一次モード及び二次モードを含む複数の動作モードを含むことができる。第1の手術室システムは、動作モード間を切り替えて、第2の手術室システムと選択的に相互作用することができる。そのような例では、臨床医は、第1の手術室システムを手放すか又は降ろすことなく、及び/又は第1の手術室システムを手術部位から取り出すことなく、第2の手術室システムと相互作用することができる。
【0149】
例えば、外科用システムは、第1の制御回路を備える第1の装置と、外科的機能を発揮するように構成された第2の装置と、を含むことができ、第2の装置は、第1の制御回路と信号通信する第2の制御回路を備え、第2の制御回路は、第2の装置が第1の装置を間接的に制御するように構成されている二次動作モードと、第2の装置が外科的機能を制御するように構成されている一次動作モードとの間で、第2の装置を選択的にトグルするように構成されている。それぞれの制御回路は、プロセッサと、プロセッサと通信可能に結合されたメモリと、を含むことができ、メモリは、入力信号を受信するようにプロセッサによって実行可能な命令を記憶する。入力信号に応答して、第2の制御回路は、一次動作モードと二次動作モードとの間で切り替えることができる。一次動作モードでは、第2の制御回路は、例えば、外科的機能を作動させることができる。二次動作モードでは、第2の制御回路は、例えば、ディスプレイスクリーンを制御することができる。様々な例では、非有形コンピュータ可読媒体は、コンピュータ可読命令を記憶することができ、コンピュータ可読命令は、実行された場合、外科用装置に入力信号を受信させる。入力信号に応答して、第2の制御回路は、一次動作モードと二次動作モードとの間で切り替えることができる。一次動作モードでは、第2の制御回路は、例えば、外科的機能を作動させることができる。二次動作モードでは、第2の制御回路は、例えば、ディスプレイスクリーンを制御することができる。
【0150】
一態様では、外科用装置は、一次ディスプレイとインターフェース接続して、一次ディスプレイを調整かつ/又は制御することができる。例えば、一次ディスプレイは、外科用ツールの二次制御機能を使用して、視覚的インターフェースを介して制御することができる。別の表現をすると、外科用装置を一次ディスプレイ上に描画することができ、ディスプレイ上でカーソル又はインジケータとして機能させて、ディスプレイのユーザインターフェースと相互作用することができる。加えて、外科用装置への入力は、ディスプレイ及び/又はディスプレイを含む外科用ハブへの入力であり得る。そのような例では、外科用装置は、ハードウェアとソフトウェアとの組み合わせを使用して、コンピュータ(又はその制御回路)にタスクを実行させることができる、相互作用技術、ユーザインターフェース技術、又は入力技術のための入力装置であり得る。出力は、マウスクリック及び/又は選択から生じる出力が、例えば、コンピュータモニタを介して表示されるか又は他の方法で通信することができる入力コマンドを提供する際に、一次ディスプレイ上に表示する、かつ/又は外科用ハブに通信することができる。
【0151】
図16図18を参照すると、外科用システム214000は、外科用装置214002及びディスプレイスクリーン214004を含む。ディスプレイスクリーン214004(図16)は、撮像システムに組み込むことができる。例えば、撮像システムは、内視鏡カメラを収容する内視鏡と、内視鏡カメラによって取得された画像を表示するように構成されたディスプレイスクリーン214004と、を含むことができる。内視鏡は、2006年3月23日に出願された、「DISPOSABLE ENDOSCOPE DEVICES」と題する米国特許出願第11/277,290号であって、現在は米国特許出願公開第2007/0225556号に更に記載されており、その全体が参照により本明細書に組み込まれる。再利用可能な内視鏡もまた企図される。
【0152】
様々な例では、ディスプレイスクリーン214004は、手術部位からの画像のライブフィードを表示するように動作可能に構成されたビデオモニタであり得る。ディスプレイスクリーン214004は、外科手術中の手術部位のリアルタイムのライブビデオを示すことができる。追加的に又は代替的に、ディスプレイスクリーン214004は、手術部位の拡張現実ビューを表示するように構成することができる。例えば、ディスプレイスクリーン214004は、隠れた解剖学的構造及び/又は隠れた外科用装置を示すことができる。このような拡張現実ビューは、例えば、オン及びオフをトグルすることができる。ディスプレイスクリーン214004はまた、グラフィカルユーザインターフェースを含む。操作者は、本明細書で更に説明するように、グラフィカルユーザインターフェースと相互作用して、ディスプレイシステム及び/又はディスプレイシステムに通信可能に結合された外科用システムに入力コマンド又は制御を提供することができる。
【0153】
外科用装置214002は、ハンドル214006と、ハンドル214006から遠位に延びる細長いシャフト214008と、細長いシャフト214008から遠位に延びるエンドエフェクタ214010と、を含む、ハンドヘルド外科用器具である。エンドエフェクタ214010は、組織に作用するように構成されている。一例では、ハンドヘルド外科用装置は、超音波装置であり得る。そのような例では、エンドエフェクタ214010は、超音波ブレードを含むことができる。様々な例では、超音波ブレードに対する組織のクランプを容易にするために、クランプアームを超音波ブレードの反対側に位置付けることができる。追加的に又は代替的に、エンドエフェクタ214010は、組織にRF電流を送達するように構成された組織接触電極を含むことができる。特定の例では、エンドエフェクタ214010は、例えば、往復動ナイフ、ステープラ、クリップアプライヤ、及び/又は把持器具を含むことができる。特定の例では、外科用装置214002は、ロボットアームに着脱可能に結合することができるハウジングを含むことができる。そのような例では、外科用装置214002は、ロボット外科用システム用の外科医のコンソールにおいて臨床医によって制御することができる。
【0154】
外科用装置214002は、第1のモードと第2のモードとの間を切り替わるように構成されている。第1のモードは、外科用装置214002が外科的機能を実行するように構成されている動作モードであり得る。例えば、第1のモードでは、外科用装置214002は、組織に振動エネルギーを印加するように構成することができる。第2のモードは、ディスプレイスクリーン214004に入力を提供するように外科用装置214002を構成することができる、カーソルモード又は制御モードであり得る。入力は、ディスプレイスクリーン214004上に表示される情報を調整する、かつ/又は、例えば、外科用ハブ106及び206(図1図11)、外科用ハブ7006(図12及び図13)、並びに外科用ハブ5104(図14)のような外科用ハブなどの接続された外科用システムに入力を提供するように構成されている。
【0155】
主に図17を参照すると、外科用装置214002は、外科的障壁214012を通って手術部位の中へと延びている。外科的障壁214012は、患者の解剖学的壁である。外科用装置214002はまた、別の外科的障壁を形成する滅菌野の境界を通って延びることができる。手術部位において、撮像システムは、手術部位及び外科用装置214002の視野を取得するように構成されている。例えば、外科用装置214002の遠位部分、すなわちエンドエフェクタ214010の把持用先端部/ジョー、及びシャフト214008の部分は、ディスプレイスクリーン214004上に現れる。第1のモードでは、エンドエフェクタ214010は、組織に係合する、組織に作用する、かつ/又は組織を処置するなどの外科的機能を実施することができる。第1のモードは、エンドエフェクタ214010が外科用ツールとしての、その主要な機能を実行している(例えば、把持器具は、組織を把持することができる、エネルギー装置は、組織にエネルギーを印加することができる、ステープラは、組織をステープル留めすることができる)という点で一次モードと考えられる。一次モードでは、エンドエフェクタ214010は、組織に直接作用するように構成されている。
【0156】
エンドエフェクタ214010は、一次モードと、二次モードと称することができる第2のモードとの間でトグルする又は切り替えることができる。選択されたモードは、ディスプレイスクリーン214004上に表示することができる。例えば、図16のディスプレイスクリーン214004は、エンドエフェクタ214010が二次モードにおいてカーソルとして機能していることを示すカーソルモードアイコン214052を示す。二次モードでは、エンドエフェクタ214010を使用して、ディスプレイスクリーン214004と相互作用し、可視化システム、又は視覚化システムに通信可能に結合された外科用システムを間接的に制御することができる。ディスプレイスクリーン214004上に示されるエンドエフェクタ214010は、ディスプレイスクリーン214004上に示されるグラフィカルインターフェースに対するポインタ又はカーソルとして機能することができる。そのような例では、臨床医は、ディスプレイスクリーン214004を作動させて、ディスプレイスクリーン214004に入力を提供するために、自身の手を外科用装置214002から離すか、又は患者の身体から外科用装置214002を取り出す必要はない。様々な例では、撮像装置(例えば、腹腔鏡カメラ)のカメラは、手術部位における外科用装置の動きを追跡するように構成することができる。例えば、カメラは、手術部位の周囲の1つ以上の外科用装置(又はその一部)に追従するように、その視野をスキャンするか、又は他の方法で調整することができる。様々な例では、臨床医は、どの外科用装置(複数可)及び/又は外科用装置のどの部分(複数可)がカメラによって追跡されるのかを選択することができる。そのような例では、カメラは、エンドエフェクタ214010を追跡することができ、そのことにより、外科用装置214002が二次モードにある場合に、エンドエフェクタ214010をディスプレイスクリーン214004上に確実に示すことができる。
【0157】
二次モードでは、外科用装置214002を、例えば、コンピュータマウス又はジョイスティックのような入力装置として使用して、ディスプレイスクリーン214004上のインターフェースの周囲でカーソルを移動させて、ディスプレイスクリーン214004上に示される機能を操作することができる。装置の表示された部分がカーソルとして利用される場合、装置先端部(すなわち、「カーソル」)が、ディスプレイスクリーン214004上のボタンを押し、ディスプレイアイテムをドラッグアンドドロップし、後で参照するために、ビデオの一部を丸で囲む、かつ/又はハイライトする(例えば、腫瘍又は特有の解剖学的特徴を指摘する)ことができる。例えば、装置先端部は、ホーム画面に戻るためのホームスクリーンアイコン214040、内視鏡によって取得された外科処置のビデオを再生するための再生アイコン214042、ビデオを一時停止するための一時停止アイコン214044、ビデオの一部分を再視聴又はリプレイするための巻戻しアイコン214046、外科処置の新しい部分を記録するための記録アイコン214048、並びに/又はディスプレイスクリーン214004上の設定及び/若しくはビューを調整するための設定アイコン214050を選択することができる。一態様では、二次モード(又はカーソル制御モード)を起動することにより、このモードの間にツールが機能する形態を変更することができる。例えば、ボタン(複数可)、トリガ(複数可)、及び/又は他のアクチュエータ(複数可)は、異なるモードで異なる機能を有することができる。
【0158】
外科用装置214002の動作モードは、臨床医によって選択することができる。例えば、臨床医は、外科用装置214002を一次モードと二次モードとの間で選択的にトグルするか又は切り替えることができる。一例では、二次モードは、音声コマンドによって起動することができる。別の例では、臨床医による触覚アクションは、二次モードを起動させることができる。主に図18を参照すると、外科用装置214002は、手動スイッチ214018を含み、手動スイッチ214018により、臨床医は、動作モード間を切り替えることが可能になり得る。手動スイッチ214018の第1の位置は、一次モードに対応することができ、手動スイッチ214018の第2の位置は、二次モードに対応することができる。臨床医は、手動スイッチ214018を移動させて、手術モード間で外科用装置214002をトグルすることができる。
【0159】
一実施例では、外科用装置214002は、Ethicon Endo-Surgery,LLC製のHARMONIC ACE(登録商標)シアーズのような超音波外科用器具である。このような超音波外科用器具は、最大出力ボタン214020及び最小出力ボタン214022などの複数の入力アクチュエータを含むことができる。最大出力ボタン214020は、一次モードにおいて、第1のエネルギーレベルで又は第1の範囲内で超音波エネルギーを発生させることができ、最小出力ボタン214022は、一次モードにおいて、第2のエネルギーレベルで又は第2の範囲内で超音波エネルギーを発生させることができる。第2のエネルギーレベル又は第2の範囲は、第1のエネルギーレベル又は第1の範囲よりも小さい場合がある。様々な例では、ボタン214020、214022は、様々なレベルに対応して位置の範囲を規定することができる、かつ/又は操作者の力を検出し、それに応じてエネルギーレベルを調整することができる。例えば、ボタン214020、214022のうちの少なくとも1つは、例えば、コンピュータマウスの回転ホイールと同様に、レベル及び/又は選択の間をスクロールするための回転要素を規定することができる。
【0160】
二次モードでは、超音波封止及び切断機能を無効にすることができ、外科用装置214002上の最大出力ボタン214020及び最小電力ボタン2104022は、コンピュータマウスのボタンのように機能することができる。上述したように、臨床医は、(ディスプレイスクリーン214004上に表示されるような)外科用装置214002の先端部を、ディスプレイスクリーン214004上に表示されたものに指し示すことができ、次いで、ボタンは、ディスプレイスクリーン214004と相互作用することができる。外科用装置214002のデュアルボタン入力機構は、例えば、2ボタン型コンピュータマウスについてよく知っている臨床医にとって直感的であり得る。様々な例では、本明細書に更に記載されるように、2つのボタンを使用して、アイコンを選択し、アイコンをドラッグアンドドロップし、かつ/又はディスプレイスクリーン214004の様々な特徴を調整し、かつ相互作用することができる。
【0161】
様々な例では、ディスプレイスクリーン214004は、例えば、外科用ハブ106若しくは206(図1図11)、外科用ハブ7006(図12及び図13)、又は外科用ハブ5104(図14)などの外科用ハブに通信可能に結合されている。一例では、可視化システム108用の一次ディスプレイ119(図2を参照)は、ディスプレイスクリーン214004であり得る。そのような例では、可視化システム108及びそのディスプレイスクリーン214004は、外科用ハブ106の撮像モジュール138(図3参照)に結合することができる。その上、外科用ハブ106の状況認識は、外科手術中にインテリジェントな調節及び/又は提案を臨床医に対して実施するように構成することができる。例えば、外科用ハブ106の状況認識モジュールは、臨床医が完全な組織封止、ステープルラインの整列、及び/又は腫瘍の除去を確認することを示唆することができ、提案に応答して、臨床医は、ディスプレイスクリーン214004と相互作用するために外科用装置214002を一次モードから二次モードに切り替えることができる。臨床医は、組織封止部にズームインし、組織封止を確認するためにディスプレイスクリーン214004上のビューを拡大させ、かつ/又はグラフィカルインターフェースから測定ツールを選択して、例えば、組織封止部の長さ及び/又は別の解剖学的構造/ランドマークの距離を測定することにより、ディスプレイスクリーン214004と相互作用してもよい。臨床医は、外科用装置214002を手術部位から取り出すことなく、かつ自身の手を外科用装置214002から離すことなく、外科用ハブのプロンプト/提案に応答することができる。
【0162】
様々な例では、臨床医は、ディスプレイスクリーン214004と相互作用して、外科用ハブへの入力を制御かつ/又は提供することができる。例えば、図2の一次ディスプレイ119のように、ディスプレイスクリーン214004が滅菌野の外側に位置付けられている例では、臨床医は、滅菌野境界及び患者の身体を含む様々な外科的障壁を通して、滅菌野の外側のディスプレイスクリーン214004の制御を実施することができる。換言すれば、臨床医は、滅菌野の外側の第2の手術室システムを、第1の手術室システムを用いて、完全に滅菌野の内部から、間接的に制御かつ/又は指令することができる。
【0163】
様々な態様では、ウェアラブルデバイス、すなわち「ウェアラブル」は、1つ以上の通信可能に結合されたデバイスとの相互作用を容易にするように構成することができる。例えば、滅菌野内の臨床医のウェアラブルデバイスを使用して、滅菌野の外側の外科用システムと相互作用することができる。ウェアラブルデバイスは、遠隔システムと相互作用するように構成されたインタラクティブ装置であり得る。様々な例では、ウェアラブルデバイスは、着用者、すなわち、装置を装着している臨床医を識別することができ、ウェアラブルデバイスの周囲の位置の範囲内にある外科用装置(複数可)を識別することができる。そのようなウェアラブルデバイスは、例えば、臨床医が特定の外科用装置を保持しているかどうか、及び、どのように保持しているのか、を判定することができる。手首装着型ウェアラブル214100を図20に示し、指装着型ウェアラブル214102を図21に示す。手首装着型ウェアラブル214100は、例えば、腕時計又はブレスレットのように、臨床医の手首「W」に取り付けることができる。指装着型ウェアラブル214102は、例えば、指輪のように、臨床医の手の、臨床医の親指「T」又は指「F」に取り付けることができる。
【0164】
ウェアラブル214100、214102はそれぞれ、ウェアラブル214100、214102と別の外科用システムとの間の通信を容易にする通信モジュール214104を含む。通信モジュール214104は、RFIDタグ追跡及び/又は近距離通信を可能にし得る。通信モジュール214104は、臨床医からのコマンド又は制御を示す無線信号214106を発することができる。例えば、ウェアラブル214100及び214102は、グラフィカルユーザインターフェース及び/又はタッチスクリーンを含むことができる。臨床医は、タッチスクリーンを作動させて、又は他の方法でグラフィカルユーザインターフェースへの入力を提供して、別の外科用装置への調整を実施することができる。一例では、ウェアラブル214100及び/又は214102は、可視化システム及び/又はそのディスプレイスクリーンと信号通信することができる。例えば、臨床医は、ユーザインターフェース上の矢印214110を作動させて、手術現場内の一次ディスプレイ上のビューをパンすることができ、一次ディスプレイ上のビューを拡大若しくは縮小するためにズーム機能214112(図20)又は214113(図21)を調整し、かつ/又はユーザインターフェース上の1つ以上のアイコン214114、214116を選択して、ディスプレイスクリーン上に表示されるビュー及び/又はデータを調整することができる。代替的なグラフィック機能及び入力機能が企図される。
【0165】
一態様では、ウェアラブルデバイスは、臨床医が、滅菌野の外側に位置する一次ディスプレイ119(図2)のような一次ディスプレイなどのディスプレイと相互作用するのを補助することができる。例えば、ウェアラブルデバイスは、ウェアラブルデバイス上のグラフィカルユーザインターフェースに対して、選択、前進、リサイズ、かつジェスチャするための外科医からの入力を可能にして、一次ディスプレイを調整又は制御することができる。例えば、ウェアラブルデバイス上のズームイン動作を入力することで、一次ディスプレイ上のビデオフィードの一部を拡大することができる。一例では、ウェアラブルデバイスは、利用可能な情報の簡略化した、かつ/又は最小化したバージョンをデスクトップサイト上に表示するモバイル装置ページと同様に、一次ディスプレイ上での情報の簡略化した、かつ/又は最小化したバージョンを含むことができる。ウェアラブルデバイスは、グラフィカルユーザインターフェース及びタッチスクリーンを含むことができるため、タッチスクリーン上におけるグラフィカルユーザインターフェースへの入力を、一次ディスプレイに伝達することができる。そのような一実装形態では、臨床医は、例えば、容量性注入ラテックス手袋を用いて、リストバンドの腕時計のように着用することができるウェアラブルデバイス上の封止された容量性インタラクティブ表面と相互作用することができる。
【0166】
様々な例では、ウェアラブルデバイスは、画像認識技術及び/又は物体認識技術を用いて追跡することができる。例えば、画像データ及び/又はビデオデータは、ウェアラブルデバイスの特性、性質、動作、及び動きを追跡するための様々なマシンビジョン、画像処理、物体認識、及び光学追跡技術を利用して処理することができる。例えば、ウェアラブルデバイスは、外観及び特徴に基づく技術を含む様々な画像認識技術及び/又は物体認識技術を利用して、手術現場内の1つ以上のカメラによってキャプチャされた画像から認識することができる。例えば、キャプチャされた画像は、エッジ検出アルゴリズム(例えば、Cannyエッジ検出アルゴリズム)を利用して、それぞれの画像内の様々なオブジェクトの輪郭を生成するように処理される。次いで、アルゴリズムは、標的オブジェクト(例えば、標的ウェアラブルデバイス(複数可))のテンプレートを、輪郭が生成されたオブジェクトを含有する画像と比較して、標的オブジェクトのうちのいずれかが画像内に位置するかどうかを判定することができる。別の例として、アルゴリズムは、キャプチャされた画像から特徴を抽出することができる。次いで、抽出された特徴は、特徴ベクトルを標的に相関させるために教師あり学習技術又は教師なし学習技術を介して訓練された機械学習モデル(例えば、人工ニューラルネットワーク又はサポートベクターマシン)に供給することができる。特徴は、(例えば、Cannyエッジ検出アルゴリズムを介して抽出された)エッジ、曲率、(例えば、Harris&Stephensコーナー検出アルゴリズムを介して抽出された)コーナーなどを含むことができる。オブジェクト認識及び追跡は、全体が参照により本明細書に組み込まれる、「USAGE AND TECHNIQUE ANALYSIS OF SURGEON/STAFF PERFORMANCE AGAINST A BASELINE TO OPTIMIZE DEVICE UTILIZATION AND PERFORMANCE FOR BOTH CURRENT AND FUTURE PROCEDURES」と題する、同時出願の米国特許出願第_____号、代理人整理番号END9018USNP2/180517-2、及び、「IMAGE CAPTURING OF THE AREAS OUTSIDE THE ABDOMEN TO IMPROVE PLACEMENT AND CONTROL OF A SURGICAL DEVICE IN USE」と題する、同時出願の米国特許出願第_____号、代理人整理番号END9018USNP3/180517-3、に更に記載されている。
【0167】
特定の例では、ウェアラブルデバイスは、手術現場内のセンサによって検出できる磁気アレイを含むことができる。センサによって検出されたウェアラブルデバイスの位置(複数可)に基づいて、外科用システムは、ウェアラブルデバイスの動きを判定することができる。動きは、例えば、臨床医によるジェスチャに対応することができる。そのような例では、外科用システムは、臨床医による1つ以上のジェスチャを判定することができ、様々な例では、そのようなジェスチャは、撮像システムなどの別の外科用システムに伝達することができる。例えば、ジェスチャは、撮像システムのディスプレイスクリーンへの入力コマンドに対応することができる。磁気感知アレイは、参照によりその全体が本明細書に組み込まれる、「IMAGE CAPTURING OF THE AREAS OUTSIDE THE ABDOMEN TO IMPROVE PLACEMENT AND CONTROL OF A SURGICAL DEVICE IN USE」と題する、同時出願の米国特許出願第_____号、代理人整理番号END9018USNP3/180517-3、に更に記載されている。
【0168】
別の例として、例えば、ハンドヘルド外科用器具を掴み上げるとき及び/又は臨床医に手渡すときなど、手から離れている間に、外科用装置とペアリングすることによって、ウェアラブルデバイスは、外科用装置の追跡を可能にし得る。主に図19を参照すると、臨床医Cは、2つのウェアラブルデバイスを着用している、すなわち、臨床医の右手首RWには第1のウェアラブルデバイス214200があり、臨床医の左手首LWには第2のウェアラブルデバイス214202がある。ウェアラブルデバイス214200、214202は、どの外科用装置が臨床医のどちらの手に位置付けられているのかを判定するように構成することができる。例えば、第1のウェアラブルデバイス214200は、臨床医の右手にある第1の外科用装置214210とペアリングすることができ、第2のウェアラブルデバイス214202は、第2の外科用装置214212が臨床医に手渡されたときに、第2の外科用装置214212とペアリングすることができる。一実装形態では、ウェアラブルデバイス214200及び/又は214202は、内蔵RFIDタグ又は近距離通信装置を含むことができ、これは、外科用装置が臨床医に自動的にペアリングされること又は再ペアリングされることができるように、どの臨床医が外科用装置を保持しているかを、臨床医の手の中にあるハンドルが認識することを可能する。例えば、臨床医の所望の設定及び/又はその特定の外科用装置に特有の最も頻繁に使用される特徴/調整は、ウェアラブルデバイスのスクリーン上に現すことができる、かつ/又はスクリーン上でハイライトすることができる。手首装着型デバイスが図19に示されているが、読者は、例えば、指輪及び/又は手袋などの代替的なデバイスが企図されることを理解するであろう。その上、特定の例では、臨床医は、例えば、自身の利き手側の手首など、一方の手首にだけウェアラブルデバイスを着用してもよい。様々な例では、ウェアラブルデバイスは、ウェアラブルデバイスに対する、したがって臨床医の手に対する、外科用ツールの向きを判定することができる。そのような例では、外科用システムは、臨床医の手にある外科用装置の検出された向きに基づいて、ディスプレイ及び制御部を調整してもよい。
【0169】
例えば、制御部及び/又は選択部の第1の配置を右利きの臨床医用に使用することができ、制御部及び/又は選択部の第2の異なる配置を左利きの臨床医用に使用することができる。追加的に又は代替的に、制御部の配置及び/又は特定の制御部の利用可能性は、外科用装置が、臨床医の利き手に位置付けられているか又は非利き手に位置付けられているか、及び/又は外科用ハブからの状況認識に基づいているかどうかに依存する可能性がある。様々な例では、ウェアラブルデバイスは、例えば、臨床医を識別することができ、したがって、例えば、臨床医の利き手の識別を含む、臨床医に対してカスタマイズされた設定を含む。
【0170】
様々な例では、外科用装置の制御は、様々な制御装置によって共有することができ、かつ/又は、外科用装置の制御は、複数の制御装置間で切り替えることができる。例えば、外科用装置は、制御入力部が装置自体によって提供される自律制御モードを含むことができる。例えば、臨床医は、外科用装置上のアクチュエータ(例えば、ボタン、スイッチ、トグル、トリガなど)を作動させて、外科用装置の外科的機能(例えば、エネルギー起動、クランプ、発射など)を起動させることができる。ハンドヘルド外科用ツール及びロボット外科用ツールは、例えば、自律制御モードで動作することができる。ロボット外科用ツールでは、入力制御部(複数可)は、外科医の制御コンソールに存在する場合がある。ハンドヘルド外科用ツールでは、入力制御部(複数可)は、例えば、ハンドル上に存在する場合がある。
【0171】
特定の例では、外科用装置は、制御入力を外科用装置に選択的に発することができる別の外科用装置によって制御かつ/又は支配することができる。そのような例では、外科用装置は、「制御される外科用装置」と称される場合があり、他の外科用装置は、「制御する外科用装置」と称される場合がある。一態様では、無線通信機能を有するモバイル装置、例えば、スマートフォン又はタブレットは、制御される外科用装置に制御入力を提供するように選択的に構成された、制御する外科用装置であり得る。このようなモバイル装置は、滅菌野内に位置付けることができる。追加的に又は代替的に、ウェアラブルデバイスは、本明細書に更に記載されるように、制御される外科用装置に制御入力を提供するように構成された、制御する外科用装置であり得る。更に他の例では、例えば、外科用ハブを介して制御される外科用装置とペアリングする、かつ/又は通信可能に結合することができる、制御する外科用装置は、制御される外科用装置に入力制御部を提供するように構成することができる。他の例では、ディスプレイスクリーンは、制御される外科用装置に入力制御部を提供するように構成された制御する外科用装置とすることができ、かつ/又は、制御する外科用装置は、可視化システム(例えば、ディスプレイスクリーン上のカーソルとして)と相互作用して、可視化システム及び/又は別の接続された外科用装置、すなわち制御される外科用装置(複数可)に入力制御部を提供することができる。前述の実施例では、制御される外科用装置は、少なくともある程度の自律制御を維持することができる一方で、制御する外科用装置(複数可)は、制御される外科用器具に対して同様に様々な程度の制御を選択的に実施する。他の例では、制御される外科用装置の入力制御部は、制御する外科用装置による制御が有効化かつ/又は起動されるときに無効化することができる。様々な例では、複数の外科用装置(特定の例では、制御される外科用装置自体を含む)は、制御される外科用装置に対する制御部を同時に共有することができる。外科用ハブが複数の外科用装置を結合して協働的外科用システムにする例では、制御相互作用の様々な相互作用が企図されることを読者は理解するであろう。
【0172】
複数の外科用装置が制御部及び/又は代替的な制御部間の機能を共有する場合、臨床医は、外科手術中の特定の時間において、どの制御する外科用装置が、制御される外科用装置を制御しているのを知ることを望む場合がある。例えば、外科用システムは、制御モードに関する触覚指示、可聴指示、及び/又は可視指示を臨床医に提供することができる。
【0173】
一態様では、外科用システムは、例えば、ユーザインターフェースを介して臨床医に様々な触覚キュー、可聴キュー、及び/又は可視キューを提供することができる。外科用システムは、ユーザインターフェース上のディスプレイキューをハイライトする、強調する、又は他の方法でディスプレイキューに注意を向けることができる。追加的に又は代替的に、外科用システムは、データ及びキー情報をネストするか又はオーバーレイすることができる。例えば、ユーザインターフェース上で、及び/又は画像、ビデオ、又は外科用システムによって取得された他のリアルタイムデータのライブフィード上で、特定の情報に拡張現実ビューを提供することができる。別の態様では、外科用システムは、制御機能及び/又はその制限の強調された指示を提供することができる。例えば、外科用装置による制御が無効化されているか、又は他の方法で実行不可能である場合、外科用装置、制御部、又はディスプレイが振動して、制御入力が受け入れられないことを通知することができる。
【0174】
一例として、外科手術中に粗いモータ工程が実行されていることを状況認識部が示す場合、滅菌野内の臨床医は、例えば、滅菌野内に位置するモバイルタブレットコンピュータ又はウェアラブルデバイスなどを用いて、制御する外科用装置を介して、制御される外科用器具の位置を滅菌野内から操作することが可能となり得る。しかし、外科手術中に精密なモータ工程が実施されていることを状況認識部が示す場合、例えば、外科医のコンソールにいる臨床医など、外科用装置を操作している臨床医のみが、制御される外科用装置に入力制御部を提供することができるように、制御する外科用装置の制御機能は、無効化することができる。そのような例では、制御する外科用装置は、このような制御機能が無効化されていることを示すために、滅菌野内の臨床医に触覚通知、聴覚通知、及び/又は可視通知を提供することができる。例えば、制御する外科用装置は、滅菌野にいる臨床医によって入力を提供することができないように、単に「スリープ」モードに入ることができる。特定の例では、制御する外科用装置は、所望の制御機能が実行可能ではないと伝達するために、例えば、発話通知及び/又はビープ音を提供することができる。追加的に又は代替的に、滅菌野内の臨床医が実行不可能な制御入力を提供しようと試みた場合、制御する外科用装置は、振動するか又は他の方法で触覚フィードバックを提供することができる。
【0175】
別の例として、様々な例では、外科用装置の自律制御は、別の外科用装置による外科用装置の制御をオーバーライドすることができる。例えば、外科医のコンソールにいる臨床医がロボットツールを能動的に制御している場合、滅菌野内にいる臨床医によって、制御する外科用装置を介して提供される制御入力(複数可)などの二次制御は、無視することができる。しかし、外科医のコンソールにいる臨床医がロボットツールを能動的に制御することを停止した場合、滅菌野内の制御する外科用装置からの制御入力は、ロボットツールを制御することができる。ロボットツールが滅菌野内の制御する外科用装置によって制御されている場合、ロボットコンソールにおけるユーザインターフェースは、触覚キュー、聴覚キュー、及び/又は可視キューを利用して、制御部が、制御する外科用装置と共有されていることを伝達することができる。同様に、ロボットツールが外科医のコンソールにいる臨床医によって制御されている場合、制御する外科用ツール上のユーザインターフェースは、その制御機能が無効化されていることを示すことができる。
【0176】
様々な例では、外科用装置の制御部は、1つ以上のディスプレイとインターフェース接続して、様々な制御部間の相互作用を通信するように構成することができる。例えば、制御する外科用装置は、制御される外科用装置を介して二次制御機能を提供するように構成することができる。その上、制御される外科用装置と制御する外科用装置との間のペアリングされた制御機能を、1つ以上の指示が示すか又は別の方法で通知することができる。このような指示は、例えば、図2及び図3に示すような、非滅菌ディスプレイ107及び109、一次ディスプレイ119、ハブディスプレイ135、及び/又は外科医のコンソール118内のディスプレイなどの1つ以上のディスプレイ上に提供することができる。一態様では、外科用装置上のタッチスクリーンは、一次外科用ハブディスプレイと相互作用するために臨床医によって使用することができる。例えば、滅菌野内の外科用装置は、容量性タッチスクリーンディスプレイを含むことができる。ハンドヘルド外科用器具、ロボットツール、ウェアラブル、及びディスプレイスクリーンなどの外科用装置は、滅菌野内にタッチスクリーンを含むことができる。様々な例では、滅菌野内の臨床医は、手術野内のタッチスクリーンから、一次外科用ハブディスプレイをスライドする、スクロールする、かつ/又は他の方法で構成することができる。例えば、滅菌野内のタッチスクリーン上のビューをスキャン、ズーム、又は他の方法で調整することによって、臨床医は、外科用ハブ用の一次ディスプレイをスキャンする、ズームする、又は他の方法で調整することができる。
【0177】
様々な例では、二次装置は、指令機能及び制御機能をリンクするための他の装置とだけペアリングが可能な制御部を含むことができる。例えば、二次装置は、1つ以上の他の外科用装置を制御するためのコントローラであり得る。様々な例では、二次装置、又は制御する外科用装置は、滅菌野内に位置するスクリーンであり得る。例えば、二次装置は、例えば、スクリーンを含む、タブレット又は携帯電話などのモバイル装置であり得る。スクリーンは、例えば、滅菌野の臨床医から制御入力を受信するように構成されたタッチスクリーンであり得る。追加的に又は代替的に、ディスプレイは、特定の制御される外科用装置に制御機能をペアリング又は接続する形態で、制御機能をハイライトする組み込まれたLEDを含むことができる。
【0178】
図22A及び図22Bを参照すると、ディスプレイ214400が示されている。ディスプレイ214400は、図22Aでは第1の複数の情報214402を、図22Bでは第2の複数の情報214404を示す。ユーザは、ディスプレイ214400と相互作用することによって、図22A及び図22Bの様々なビューの間を切り替えることができる。例えば、ディスプレイ214400は、容量性スクリーンを含む。様々な例では、臨床医は、ディスプレイ214400のインターフェース部分に触れることによってディスプレイ214400と相互作用することができる。ディスプレイ214400は、様々な種類の情報を臨床医に通知するように構成されている。例えば、ディスプレイ214400は、患者アイコン214410を選択することによって患者固有情報を、処置アイコン214412を選択することによって処置固有情報を、及び装置アイコン214414を選択することによって装置固有情報を通知することができる。図22A及び図22Bでは、装置アイコン214414の周囲のハイライトで示されるように装置アイコン214414が選択されている。他の例では、選択されたアイコン214410、214412、214414は、選択されたアイコン214410、214412、214414を、異なるサイズで、異なる位置に、異なる色で、異なるスタイルで、及び/又はアイコンに対して矢印若しくは記号などの別の識別子と共に示すなど、別の形態で通知することができる。図22A及び図22Bでは、装置アイコン214414が選択されているので、装置固有の情報が描かれている。例えば、外科処置中に利用される外科用装置が列挙される。様々な例では、ディスプレイ214400は、外科処置中に、外科用装置のうちの1つ以上への入力コマンドを選択的に提供することができる。
【0179】
列挙された外科用装置は、第1のアイコン214420で示される組み合わせエネルギー外科用装置、第2のアイコン214422で示される外科用ステープラ、及び第3のアイコン214424で示される吸引/灌注装置である。図22A及び図22Bでは、アイコン214420、214422、214424は、テキストによる語句であるが、他の例では、アイコン214420、214422及び214424は、グラフィックを含むことができ、かつ/又は、例えば、外科用装置の記号表現などの記号であり得る。特定の例では、2個以下又は4個以上の外科用装置が列挙される場合がある。特定の例では、制御可能な外科用装置のみが列挙される場合がある。他の例では、外科処置中に使用される外科用装置の全てが列挙される場合がある。しかし、臨床医は、制御可能な外科用装置をリストから選択できるだけであってもよい。代替的な外科用装置(例えば、超音波装置、電気外科用装置、クリップアプライヤ、把持器具、ナイフなど)が企図される。
【0180】
それぞれのアイコン214420、214422の周囲のハイライトで示されるように、図22Aでは組み合わせエネルギー外科用装置に対応するアイコン214420が選択されており、図22Bではステープラに対応するアイコン214422が選択されている。他の例では、選択されたアイコン214420、214422、214424は、選択されたアイコン214420、214422、214424を、異なるサイズで、異なる位置に、異なる色で、異なるスタイルで、及び/又はアイコンに対して矢印若しくは記号などの別の識別子と共に示すなど、別の形態で伝達することができる。図22Aでは、組み合わせエネルギー外科用装置に対応するアイコン214420が選択されているので、利用可能な入力コマンドは、組み合わせエネルギー外科用装置用のコマンドに対応する。例えば、臨床医は、モード214430の以下のリスト、すなわち超音波、単極、双極、及び混合からモードを選択することができる。代替的なモードもまた企図される。臨床医は、組み合わせエネルギー外科用装置によって適用されるエネルギーモダリティを制御するモードを選択することができる。他の例では、出力レベル、持続時間、周波数などの追加の調整をディスプレイ214400から制御することができる。様々な例では、ディスプレイ214400へのユーザ入力は、本明細書に記載される1つ又は様々な通信プロトコルによって、外科用ハブに通信することができる。同様に、外科用ハブは、ユーザ入力を組み合わせネルギー外科用装置に中継することができる。
【0181】
ここで図22Bを参照すると、外科用ステープラに対応するアイコン214422が選択されているので、利用可能な入力コマンドは、外科用ステープラのコマンドに対応している。例えば、臨床医は、クランプモード及び発射モードのような複数のモード214432から外科的機能を選択することができる。様々な例では、モード214432は、メニューから選択することができる追加のサブカテゴリ又は調整を含むことができる。例えば、クランプ及び/若しくは発射は、手動で又は自動的に実行することができ、並びに/又は、速度は、低速、中速、及び高速などの複数の速度から選択することができる。代替的なモードもまた企図される。臨床医は、外科用ステープラの外科的機能を制御するためのモードを選択することができる。様々な例では、ディスプレイ214400へのユーザ入力は、本明細書に記載される1つ又は様々な通信プロトコルによって、外科用ハブに通信することができる。同様に、外科用ハブは、ユーザ入力を外科用ステープラに中継することができる。
【0182】
様々な例では、ディスプレイ214400と外科用装置(複数可)との間のペアリング(複数可)は、臨床医に伝達することができる。例えば、ディスプレイ214400は、制御される外科用装置の色及び/又は制御される外科用装置上の色識別子と一致する色で点灯することができる、少なくとも1つの組み込まれたLEDを含むことができる。一態様では、制御される外科用装置は、例えば、同様のLED色識別子を含むことができる。ディスプレイ214400内に組み込まれたLEDを赤色に点灯することができ、ペアリングされた外科用装置上の赤色LEDを点灯してペアリングを示すことができる。様々な例では、ディスプレイ214400は、複数の外科用装置を制御するように構成することができ、そのような例では、ディスプレイ214400上に複数の色を表示することができ、対応する色は、手術現場全体にわたって、それぞれ対応する識別子上に提供することができる。例えば、臨床医が、組み合わせエネルギー外科用装置に対応する第1のアイコン214420(図22A)を選択した場合、ディスプレイ214400の一部(例えば、第1のアイコン214420)を特定の色で点灯することができ、組み合わせエネルギー外科用装置上のLEDを同じ色で点灯することができる。同様に、臨床医が、外科用ステープラに対応する第2のアイコン214422(図22B)を選択した場合、ディスプレイ214400の一部(例えば、第2のアイコン214422)を特定の色で点灯することができ、外科用ステープラ上のLEDを同じ色で点灯することができる。異なる色を異なる外科用装置に割り当てることができる。様々な例では、ディスプレイ上のアイコン214420、214422、214424を、異なる色で点灯することができる、かつ/又はアイコンを異なる色で強調することができる。例えば、選択されたアイコン214420、214422、214424の周囲の形状は、ペアリングされた外科用装置上のインジケータに対応する特定の色であり得る。
【0183】
制御される外科用装置(例えば、組み合わせエネルギー外科用装置、外科用ステープラ、又は吸引/灌注装置)上の識別子は、様々な制御状態を通信するために様々な方法又はスタイルで表示することができる。例えば、ディスプレイ214400による制御が無効化された場合、識別子は、第1のパターン又はスタイルを表示することができる(例えば、識別子は、非点灯のLEDであり得る)。二次装置による制御が有効化された場合、識別子は、第2のパターン又はスタイルを表示することができる(例えば、識別子は、点灯されたLEDであり得る)、かつ/又は、二次装置が制御される外科用装置とペアリングされている場合、識別子は、第3のパターン又はスタイルを表示することができる(例えば、識別子は、点滅するLEDであり得る)。上述のように、LEDの色は、ディスプレイ214400上の色に対応することができる。
【0184】
様々な例では、1つの制御インターフェースを、外科的機能の起動のために使用することができ、他の制御インターフェースを、器具のモードを介して順番に配列するために使用することができる。例えば、外科用装置上の単一のトリガは、異なる外科的機能を発揮することができ、特定の外科的機能は、ディスプレイ214400上の制御インターフェースによって決定することができる。より具体的には、図22Aに関して、組み合わせエネルギー外科用装置上のトリガ又はアクチュエータは、超音波エネルギーを組織に印加することができる。しかし、臨床医によって別のモードが選択された場合、同じトリガ又はアクチュエータは、組織に異なるエネルギーモジュラリティ(energy modularity)を印加するであろう。様々な例では、エネルギーモダリティ及び/又は出力レベルは、ディスプレイ214400によって制御することができる。ここで図22Bを参照すると、クランプ機能がディスプレイ214400上で選択された場合、外科用ステープラ上のトリガ又はアクチュエータは、クランプするように構成することができ、発射機能がディスプレイ214400上で選択された場合、トリガは、発射するように構成することができる。追加的に、調整(例えば、手動又は自動、クランプ速度、発射速度など)をディスプレイ214400上で調整することができる。
【0185】
他の例では、複数の制御装置は、同じ外科用装置用の起動機能を有することができる。例えば、ディスプレイ214400は、外科用装置上の外科的機能を起動させる起動制御を含むことができる。特定の例では、それぞれの起動に対する出力レベルは、異なる制御装置間で異なり得る。
【0186】
一態様では、二次機能の制御は、1つのコントローラからの精密な制御、及び別のコントローラからの粗い制御を可能にし得る。二次機能は、例えば、エンドエフェクタの関節運動及び遠位ヘッドの回転を含むことができる。そのような例では、粗い制御が望まれる場合、一体型又は内蔵型装置制御、例えば外科用装置上の自律制御が機能を制御することができる。精密な制御が望まれる場合、ディスプレイ214400などの二次コントローラが機能を制御することができる。例えば、臨床医が、例えば、トリガを把持するなどの外科用装置の別の態様を利用する場合、外科用装置とペアリングされている二次コントローラを用いて、依然として精密制御機能を実現して、二次機能の精密な動きを構築することができる。特定の例では、関節運動及び遠位ヘッド回転のような特定の機能は、エネルギー起動、クランプ、又は発射などの別の機能が動作中であるときにロックアウトすることができる。しかし、二次機能用の二次コントローラが別の臨床医によって、又は同じ臨床医の他方の手によって起動される場合、臨床医は、他の機能を操作するために別の制御部を使用しているが、微調整を可能にすることができる。この動作モードでは、二次機能は、その機能が印加する力及び/又はその機能が動作する速度が、所望の精密な制御又は精密な精度を生み出すように確実に制限されるように、制限された動作エンベロープを有することができる。追加的に又は代替的に、動作エンベロープは、直接制御されているので、特定の閾値限界をある程度はオーバーライドしてもよい。
【実施例0187】
本明細書に記載される主題の様々な態様は、以下の番号付けされた実施例において説明される。
【0188】
実施例1-第1の制御回路を備える第1の装置と、外科的機能を発揮するように構成された第2の装置と、を備える外科用システム。第2の装置は、第1の制御回路と信号通信する第2の制御回路を備える。第2の制御回路は、第2の装置が第1の装置を制御するように構成されている二次動作モードと、第2の装置が外科的機能を制御するように構成されている一次動作モードとの間で、第2の装置を選択的にトグルするように構成されている。
【0189】
実施例2-第1の装置は、ディスプレイを備え、第2の装置は、滅菌野内に位置付けられたエンドエフェクタを備え、エンドエフェクタは、ディスプレイ上で視認可能である、実施例1に記載の外科用システム。
【0190】
実施例3-二次動作モードは、カーソルモードを含み、一次動作モードは、組織処置モードを含む、実施例1又は2に記載の外科用システム。
【0191】
実施例4-第2の装置は、第1の位置と第2の位置との間で移動可能な入力スイッチを備えるハンドルを備え、第1の位置は、一次動作モードに対応し、第2の位置は、二次動作モードに対応する、実施例1~3のいずれか1つに記載の外科用システム。
【0192】
実施例5-第2の制御回路は、臨床医による可聴コマンドに応答して、一次動作モードと二次動作モードとの間をトグルするように構成されている、実施例1~4のいずれか1つに記載の外科用システム。
【0193】
実施例6-エンドエフェクタは、カーソルモードにおいて、ディスプレイにわたってアイコンをドラッグアンドドロップするように構成されている、実施例3に記載の外科用システム。
【0194】
実施例7-エンドエフェクタは、カーソルモードにおいて、ディスプレイ上の解剖学的特徴を選択するように構成されている、実施例3又は6に記載の外科用システム。
【0195】
実施例8-第2の装置は、超音波振動を組織に印加するように構成された超音波器具を備え、超音波器具は、第1の作動ボタン及び第2の作動ボタンを備え、一次動作モードでは、第1の作動ボタンは、第1のエネルギーレベルを作動させるように構成され、第2の作動ボタンは、第2のエネルギーレベルを作動させるように構成され、二次動作モードでは、第1の作動ボタンは、第1のカーソルボタンを備え、第2の作動ボタンは、第2のカーソルボタンを備える、実施例1~7のいずれか1つに記載の外科用システム。
【0196】
実施例9-カメラ及びディスプレイスクリーンを備える撮像システムを備える外科用システム。外科用システムは、外科的機能を発揮するように構成された外科用装置を更に備える。外科用装置は、プロセッサと、プロセッサに通信可能に結合されたメモリと、を備える制御回路を備え、メモリは、命令を記憶し、命令は、入力信号を受信することと、入力信号に応答して第1の動作モードと第2の動作モードとの間を切り替えることと、第1の動作モードにおいて、外科的機能を作動させることと、第2の動作モードにおいて、ディスプレイスクリーンを制御することと、を行うように、プロセッサによって実行可能である。
【0197】
実施例10-外科用装置は外科的障壁を通してディスプレイスクリーンを制御するように構成されている、実施例9に記載の外科用システム。
【0198】
実施例11-ディスプレイスクリーンは、手術室内にビデオモニタを備え、外科用装置は、手術室内の患者内に位置付けられたエンドエフェクタを備える腹腔鏡装置を備える、実施例9又は10に記載の外科用システム。
【0199】
実施例12-外科用装置は、エンドエフェクタを備え、カメラは、患者内のエンドエフェクタを追跡するように構成されている、実施例11に記載の外科用システム。
【0200】
実施例13-第2の動作モードにおいて、エンドエフェクタは、カーソルとして、ビデオモニタ上の1つ以上のアイコンと相互作用するように構成されている、実施例11又は12に記載の外科用システム。
【0201】
実施例14-第2の動作モードにおいて、エンドエフェクタは、カーソルとして、ビデオモニタ上のビデオフィードと相互作用するように構成されている実施例11~13のいずれか1つに記載の外科用システム。
【0202】
実施例15-外科用装置は、第1の位置と第2の位置との間で移動可能な入力スイッチを備えるハンドルを備え、第1の位置は、第1の動作モードに対応し、第2の位置は、第2の動作モードに対応する、実施例9~14のいずれか1つに記載の外科用システム。
【0203】
実施例16-制御回路は、臨床医による可聴コマンドに応答して、第1の動作モードと第2の動作モードとの間をトグルするように構成されている、実施例9~14のいずれか1つに記載の外科用システム。
【0204】
実施例17-コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であり、コンピュータ可読命令は、実行された場合、外科用システムに、入力信号を受信することと、入力信号に応答して、第1の動作モードと第2の動作モードとの間を切り替えることと、第1の動作モードにおいて、外科的機能を作動させることと、第2の動作モードにおいて、外科的障壁を通してディスプレイスクリーンと相互作用することと、を行わせる。
【0205】
実施例18-外科用システムは、ディスプレイスクリーン上のアイコンをクリックすることによって、外科的障壁を通してディスプレイスクリーンと相互作用するように構成されている、実施例17に記載の非一時的コンピュータ可読媒体。
【0206】
実施例19-外科用システムは、ディスプレイスクリーン上のアイコンをドラッグアンドドロップすることによって、外科的障壁を通してディスプレイスクリーンと相互作用するように構成されている、実施例17又は18に記載の非一時的コンピュータ可読媒体。
【0207】
実施例20-外科用システムは、ビデオの一部を選択することによって、外科的障壁を通してディスプレイスクリーンと相互作用するように構成されている、実施例17~19のいずれか1つに記載の非一時的コンピュータ可読媒体。
【0208】
いくつかの形態が例示され説明されてきたが、添付の「特許請求の範囲」の範囲をそのような詳細に制限又は限定することは、本出願人が意図するところではない。多数の修正、変形、変化、置換、組み合わせ及びこれらの形態の等価物を実装することができ、本開示の範囲から逸脱することなく当業者により想到されるであろう。更に、記述する形態に関連した各要素の構造は、その要素によって行われる機能を提供するための手段として代替的に説明することができる。また、材料が特定の構成要素に関して開示されているが、他の材料が使用されてもよい。したがって、上記の説明文及び添付の特許請求の範囲は、全てのそのような修正、組み合わせ、及び変形を、開示される形態の範囲に含まれるものとして網羅することを意図としたものである点を理解されたい。添付の特許請求の範囲は、全てのそのような修正、変形、変化、置換、修正、及び等価物を網羅することを意図する。
【0209】
上記の詳細な説明は、ブロック図、フローチャート、及び/又は実施例を介して装置及び/又はプロセスの様々な形態について記載してきた。そのようなブロック図、フローチャート、及び/又は実施例が1つ以上の機能及び/又は動作を含む限り、当業者に理解されたいこととして、そのようなブロック図、フローチャート、及び/又は実施例に含まれる各機能及び/又は動作は、多様なハードウェア、ソフトウェア、ファームウェア、又はこれらの事実上の任意の組み合わせによって、個々にかつ/又は集合的に実装することができる。当業者には、本明細書で開示される形態のうちのいくつかの態様の全部又は一部が、1台以上のコンピュータ上で稼働する1つ以上のコンピュータプログラムとして(例えば、1台以上のコンピュータシステム上で稼働する1つ以上のプログラムとして)、1つ以上のプロセッサ上で稼働する1つ以上のプログラムとして(例えば、1つ以上のマイクロプロセッサ上で稼働する1つ以上のプログラムとして)、ファームウェアとして、又はこれらの実質的に任意の組み合わせとして集積回路上で等価に実現することができ、また、回路を設計すること、並びに/又はソフトウェア及び/若しくはファームウェアのコードを記述することは、本開示を鑑みれば当業者の技能の範囲内に含まれることが理解されよう。更に、本明細書に記載した主題の機構は、多様な形式で1つ以上のプログラム製品として配布されることが可能であり、本明細書に記載した主題の例証的な形態は、配布を実際に行うために使用される信号搬送媒体の特定の種類にかかわらず適用されることが当業者には理解されるであろう。
【0210】
様々な開示された態様を実行するように論理をプログラムするために使用される命令は、ダイナミックランダムアクセスメモリ(DRAM)、キャッシュ、フラッシュメモリ、又は他の記憶装置などのシステム内メモリに記憶され得る。更に、命令は、ネットワークを介して、又は他のコンピュータ可読媒体によって分配され得る。したがって、機械可読媒体としては、機械(例えば、コンピュータ)によって読み出し可能な形態で情報を記憶又は送信するための任意の機構が挙げられ得るが、フロッピーディスケット、光ディスク、コンパクトディスク、読み出し専用メモリ(CD-ROM)、並びに磁気光学ディスク、読み出し専用メモリ(ROM)、ランダムアクセスメモリ(RAM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、磁気若しくは光カード、フラッシュメモリ、又は、電気的、光学的、音響的、若しくは他の形態の伝播信号(例えば、搬送波、赤外線信号、デジタル信号など)を介してインターネットを介した情報の送信に使用される有形機械可読記憶装置に限定されない。したがって、非一時的コンピュータ可読媒体としては、機械(例えば、コンピュータ)によって読み出し可能な形態で電子命令又は情報を記憶又は送信するのに好適な任意の種類の有形機械可読媒体が挙げられる。
【0211】
本明細書の任意の態様で使用されるとき、「制御回路」という用語は、例えば、ハードワイヤード回路、プログラマブル回路(例えば、1つ以上の個々の命令処理コアを含むコンピュータプロセッサ、処理ユニット、プロセッサ、マイクロコントローラ、マイクロコントローラユニット、コントローラ、デジタル信号プロセッサ(DSP)、プログラマブル論理装置(programmable logic device、PLD)、プログラマブル論理アレイ(programmable logic array、PLA)、又はフィールドプログラマブルゲートアレイ(field programmable gate array、FPGA))、状態機械回路、プログラマブル回路によって実行される命令を記憶するファームウェア、及びこれらの任意の組み合わせを指すことができる。制御回路は、集合的に又は個別に、例えば、集積回路(integrated circuit、IC)、特定用途向け集積回路(application-specific integrated circuit、ASIC)、システムオンチップ(system on-chip、SoC)、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどの、より大きなシステムの一部を形成する回路として具現化され得る。したがって、本明細書で使用するとき、「制御回路」としては、少なくとも1つの個別の電気回路を有する電気回路、少なくとも1つの集積回路を有する電気回路、少なくとも1つの特定用途向け集積回路を有する電気回路、コンピュータプログラムによって構成された汎用コンピューティング装置(例えば、本明細書で説明したプロセス及び/若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書で説明したプロセス及び/若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ)を形成する電気回路、メモリ装置(例えば、ランダムアクセスメモリの形態)を形成する電気回路、並びに及び/又は通信装置(例えば、モデム、通信スイッチ、若しくは光-電気機器)を形成する電気回路が挙げられるが、これらに限定されない。当業者は、本明細書で述べた主題が、アナログ若しくはデジタルの形式又はこれらのいくつかの組み合わせで実現されてもよいことを認識するであろう。
【0212】
本明細書の任意の態様で使用される場合、「論理」という用語は、前述の動作のいずれかを実行するように構成されたアプリケーション、ソフトウェア、ファームウェア、及び/又は回路を指し得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット、及び/又はデータとして具現化されてもよい。ファームウェアは、メモリ装置内のコード、命令、若しくは命令セット、及び/又はハードコードされた(例えば、不揮発性の)データとして具現化されてもよい。
【0213】
本明細書の任意の態様で使用するとき、「構成要素」、「システム」、「モジュール」などという用語は、ハードウェア、ハードウェアとソフトウェアとの組み合わせ、ソフトウェア、又は実行中のソフトウェアのどちらかであるコンピュータ関連エンティティを指すことができる。
【0214】
本明細書の任意の態様で使用するとき、「アルゴリズム」とは、所望の結果につながる工程の自己無撞着シーケンスを指し、「工程」とは、必ずしも必要ではないが、記憶、転送、結合、比較、及び別様に操作されることが可能な電気又は磁気信号の形態をなすことができる物理的量及び/又は論理状態の操作を指す。これらの信号を、ビット、値、要素、記号、文字、用語、番号などとして言及することが一般的な扱い方である。これらの及び類似の用語は、適切な物理的量と関連付けられ得、また単に、これらの量及び/又は状態に適用される便利な標識である。
【0215】
ネットワークとしては、パケット交換ネットワークが挙げられ得る。通信装置は、選択されたパケット交換ネットワーク通信プロトコルを使用して、互いに通信することができる。1つの例示的な通信プロトコルとしては、伝送制御プロトコル/インターネットプロトコル(Transmission Control Protocol/Internet Protocol、TCP/IP)を使用して通信を可能にすることができるイーサネット通信プロトコルを挙げることができる。イーサネットプロトコルは、Institute of Electrical and Electronics Engineers(IEEE)によって発行された2008年12月発行の表題「IEEE802.3Standard」、及び/又は本規格の後のバージョンのイーサネット規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信装置は、X.25通信プロトコルを使用して互いに通信することができる。X.25通信プロトコルは、International Telecommunication Union-Telecommunication Standardization Sector(ITU-T)によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信装置は、フレームリレー通信プロトコルを使用して互いに通信することができる。フレームリレー通信プロトコルは、Consultative Committee for International Telegraph and Telephone(CCITT)及び/又はthe American National Standards Institute(ANSI)によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、送受信機は、非同期転送モード(Asynchronous Transfer Mode、ATM)通信プロトコルを使用して互いに通信することが可能であり得る。ATM通信プロトコルは、ATM Forumによって「ATM-MPLS Network Interworking2.0」という題で2001年8月に公開されたATM規格及び/又は本規格の後のバージョンに準拠するか、又は互換性があり得る。当然のことながら、異なる及び/又は後に開発されたコネクション型ネットワーク通信プロトコルは、本明細書で等しく企図される。
【0216】
別段の明確な定めがない限り、前述の開示から明らかなように、前述の開示全体を通じて、「処理する」、「計算する」、「算出する」、「判定する」、「表示する」などの用語を使用する考察は、コンピュータシステムのレジスタ及びメモリ内で物理的(電子的)量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又はそのような情報記憶、伝送、若しくは表示装置内で物理量として同様に表現される他のデータへと操作及び変換する、コンピュータシステム又は類似の電子計算装置の動作及び処理を指していることが理解されよう。
【0217】
1つ以上の構成要素が、本明細書中で、「ように構成される(configured to)」、「ように構成可能である(configurable to)」、「動作可能である/ように動作する(operable/operative to)」、「適合される/適合可能である(adapted/adaptable)」、「ことが可能である(able to)」、「準拠可能である/準拠する(conformable/conformed to)」などと言及され得る。当業者は、「ように構成される」は、一般に、文脈上他の意味に解釈すべき場合を除き、アクティブ状態の構成要素及び/又は非アクティブ状態の構成要素及び/又はスタンドバイ状態の構成要素を包含し得ることを理解するであろう。
【0218】
「近位」及び「遠位」という用語は、本明細書では、外科用器具のハンドル部分を操作する臨床医を基準として使用される。「近位」という用語は、臨床医に最も近い部分を指し、「遠位」という用語は、臨床医から離れた位置にある部分を指す。便宜上及び明確性のために、「垂直」、「水平」、「上」、及び「下」などの空間的用語が、本明細書において図面に対して使用され得ることが更に理解されよう。しかしながら、外科用器具は、多くの配向及び位置で使用されるものであり、これらの用語は限定的及び/又は絶対的であることを意図したものではない。
【0219】
当業者は、一般に、本明細書で使用され、かつ特に添付の特許請求の範囲(例えば、添付の特許請求の範囲の本文)で使用される用語は、概して「オープンな」用語として意図されるものである(例えば、「含む(including)」という用語は、「~を含むが、それらに限定されない(including but not limited to)」と解釈されるべきであり、「有する(having)」という用語は、「~を少なくとも有する(having at least)」と解釈されるべきであり、「含む(includes)」という用語は、「~を含むが、それらに限定されない(includes but is not limited to)」と解釈されるべきであるなど)ことを理解するであろう。更に、導入された請求項記載(introduced claim recitation)において特定の数が意図される場合、かかる意図は当該請求項中に明確に記載され、またかかる記載がない場合は、かかる意図は存在しないことが、当業者には理解されるであろう。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも1つの(at least one)」及び「1つ以上の(one or more)」という導入句を、請求項記載を導入するために含むことがある。しかしながら、かかる句の使用は、「a」又は「an」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「1つ以上の」又は「少なくとも1つの」といった導入句及び「a」又は「an」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を1つのみ含む特許請求の範囲に限定されると示唆されるものと解釈されるべきではない(例えば、「a」及び/又は「an」は通常、「少なくとも1つの」又は「1つ以上の」を意味するものと解釈されるべきである)。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。
【0220】
更に、導入された請求項記載において特定の数が明示されている場合であっても、かかる記載は、典型的には、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう(例えば、他に修飾語のない、単なる「2つの記載事項」という記載がある場合、一般的に、少なくとも2つの記載事項、又は2つ以上の記載事項を意味する)。更に、「A、B、及びCなどのうちの少なくとも1つ」に類する表記が使用される場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている(例えば、「A、B、及びCのうちの少なくとも1つを有するシステム」は、限定するものではないが、Aのみ、Bのみ、Cのみ、AとBの両方、AとCの両方、BとCの両方、及び/又はAとBとCの全てなどを有するシステムを含む)。「A、B、又はCなどのうちの少なくとも1つ」に類する表記が使用される場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている(例えば、「A、B、又はCのうちの少なくとも1つを有するシステム」は、限定するものではないが、Aのみ、Bのみ、Cのみ、AとBの両方、AとCの両方、BとCの両方、及び/又はAとBとCの全てなどを有するシステムを含む)。更に、典型的には、2つ以上の選択的な用語を表わすあらゆる選言的な語及び/又は句は、文脈上他の意味に解釈すべき場合を除いて、明細書内であろうと、特許請求の範囲内であろうと、あるいは図面内であろうと、それら用語のうちの1つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されよう。例えば、「A又はB」という句は、典型的には、「A」又は「B」又は「A及びB」の可能性を含むものと理解されよう。
【0221】
添付の特許請求の範囲に関して、当業者は、本明細書における引用した動作は一般に、任意の順序で実施され得ることを理解するであろう。また、様々な動作のフロー図がシーケンス(複数可)で示されているが、様々な動作は、例示されたもの以外の順序で行われてもよく、又は同時に行われてもよいことが理解されるべきである。かかる代替の順序付けの例は、文脈上他の意味に解釈すべき場合を除いて、重複、交互配置、割り込み、再順序付け、増加的、予備的、追加的、同時、逆、又は他の異なる順序付けを含んでもよい。更に、「~に応答する」、「~に関連する」といった用語、又は他の過去時制の形容詞は、一般に、文脈上他の意味に解釈すべき場合を除き、かかる変化形を除外することが意図されるものではない。
【0222】
「一態様」、「態様」、「例示」、「一例示」などへの任意の参照は、その態様に関連して記載される特定の機能、構造、又は特性が少なくとも1つの態様に含まれると意味することは特記に値する。したがって、本明細書の全体を通じて様々な場所に見られる「一態様では」、「態様では」、「例示では」、及び「一例示では」という句は、必ずしも全てが同じ態様を指すものではない。更に、特定の特徴、構造、又は特性は、1つ以上の態様において任意の好適な様態で組み合わせることができる。
【0223】
本明細書で参照され、かつ/又は任意の出願データシートに列挙される任意の特許出願、特許、非特許刊行物、又は他の開示資料は、組み込まれる資料が本明細書と矛盾しない範囲で、参照により本明細書に組み込まれる。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示内容は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。現行の定義、見解、又は本明細書に記載されるその他の開示内容と矛盾する任意の内容、又はそれらの部分は本明細書に参考として組み込まれるものとするが、参照内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、参照されるものとする。
【0224】
要約すると、本明細書に記載した構想を用いる結果として得られる多くの利益が記載されてきた。1つ以上の形態の上述の記載は、例示及び説明を目的として提示されているものである。包括的であることも、開示された厳密な形態に限定することも意図されていない。上記の教示を鑑みて、修正又は変形が可能である。1つ以上の形態は、原理及び実際の応用について例示し、それによって、様々な形態を様々な修正例と共に、想到される特定の用途に適するものとして当業者が利用できるようにするために、選択され記載されたものである。本明細書と共に提示される特許請求の範囲が全体的な範囲を定義することが意図される。
【0225】
〔実施の態様〕
(1) 第1の制御回路を備える第1の装置と、
外科的機能を発揮するように構成された第2の装置と、を備える、外科用システムであって、前記第2の装置は、前記第1の制御回路と信号通信する第2の制御回路を備え、前記第2の制御回路は、前記第2の装置が前記第1の装置を制御するように構成されている二次動作モードと、前記第2の装置が前記外科的機能を制御するように構成されている一次動作モードとの間で、前記第2の装置を選択的にトグルするように構成されている、外科用システム。
(2) 前記第1の装置は、ディスプレイを備え、前記第2の装置は、滅菌野内に位置付けられたエンドエフェクタを備え、前記エンドエフェクタは、前記ディスプレイ上で視認可能である、実施態様1に記載の外科用システム。
(3) 前記二次動作モードは、カーソルモードを含み、前記一次動作モードは、組織処置モードを含む、実施態様2に記載の外科用システム。
(4) 前記第2の装置は、第1の位置と第2の位置との間で移動可能な入力スイッチを備えるハンドルを備え、前記第1の位置は、前記一次動作モードに対応し、前記第2の位置は、前記二次動作モードに対応する、実施態様3に記載の外科用システム。
(5) 前記第2の制御回路は、臨床医による可聴コマンドに応答して、前記一次動作モードと前記二次動作モードとの間をトグルするように構成されている、実施態様3に記載の外科用システム。
【0226】
(6) 前記エンドエフェクタは、前記カーソルモードにおいて、前記ディスプレイにわたってアイコンをドラッグアンドドロップするように構成されている、実施態様3に記載の外科用システム。
(7) 前記エンドエフェクタは、前記カーソルモードにおいて、前記ディスプレイ上の解剖学的特徴を選択するように構成されている、実施態様3に記載の外科用システム。
(8) 前記第2の装置は、超音波振動を組織に印加するように構成された超音波器具を備え、前記超音波器具は、第1の作動ボタン及び第2の作動ボタンを備え、前記一次動作モードでは、前記第1の作動ボタンは、第1のエネルギーレベルを作動させるように構成され、前記第2の作動ボタンは、第2のエネルギーレベルを作動させるように構成され、前記二次動作モードでは、前記第1の作動ボタンは、第1のカーソルボタンを備え、前記第2の作動ボタンは、第2のカーソルボタンを備える、実施態様3に記載の外科用システム。
(9) カメラ及びディスプレイスクリーンを備える撮像システムと、
外科的機能を発揮するように構成された外科用装置と、を備える、外科用システムであって、前記外科用装置は、プロセッサと、前記プロセッサに通信可能に結合されたメモリと、を備える制御回路を備え、前記メモリは、命令を記憶し、前記命令は、
入力信号を受信することと、
前記入力信号に応答して、第1の動作モードと第2の動作モードとの間を切り替えることと、
前記第1の動作モードにおいて、前記外科的機能を作動させることと、
前記第2の動作モードにおいて、前記ディスプレイスクリーンを制御することと、を行うように、前記プロセッサによって実行可能である、外科用システム。
(10) 前記外科用装置は、外科的障壁を通して前記ディスプレイスクリーンを制御するように構成されている、実施態様9に記載の外科用システム。
【0227】
(11) 前記ディスプレイスクリーンは、手術室内にビデオモニタを備え、前記外科用装置は、前記手術室内の患者内に位置付けられたエンドエフェクタを備える腹腔鏡装置を備える、実施態様9に記載の外科用システム。
(12) 前記カメラは、前記患者内の前記エンドエフェクタを追跡するように構成されている、実施態様11に記載の外科用システム。
(13) 前記第2の動作モードにおいて、前記エンドエフェクタは、カーソルとして、前記ビデオモニタ上の1つ以上のアイコンと相互作用するように構成されている、実施態様12に記載の外科用システム。
(14) 前記第2の動作モードにおいて、前記エンドエフェクタは、カーソルとして、前記ビデオモニタ上のビデオフィードと相互作用するように構成されている、実施態様12に記載の外科用システム。
(15) 前記外科用装置は、第1の位置と第2の位置との間で移動可能な入力スイッチを備えるハンドルを備え、前記第1の位置は、前記第1の動作モードに対応し、前記第2の位置は、前記第2の動作モードに対応する、実施態様9に記載の外科用システム。
【0228】
(16) 前記制御回路は、臨床医による可聴コマンドに応答して、前記第1の動作モードと前記第2の動作モードとの間をトグルするように構成されている、実施態様9に記載の外科用システム。
(17) コンピュータ可読命令を記憶する非一時的コンピュータ可読媒体であって、前記コンピュータ可読命令は、実行された場合、外科用システムに、
入力信号を受信することと、
前記入力信号に応答して、第1の動作モードと第2の動作モードとの間を切り替えることと、
前記第1の動作モードにおいて、外科的機能を作動させることと、
前記第2の動作モードにおいて、外科的障壁を通してディスプレイスクリーンと相互作用することと、を行わせる、非一時的コンピュータ可読媒体。
(18) 前記外科用システムは、前記ディスプレイスクリーン上のアイコンをクリックすることによって、前記外科的障壁を通して前記ディスプレイスクリーンと相互作用するように構成されている、実施態様17に記載の非一時的コンピュータ可読媒体。
(19) 前記外科用システムは、前記ディスプレイスクリーン上のアイコンをドラッグアンドドロップすることによって、前記外科的障壁を通して前記ディスプレイスクリーンと相互作用するように構成されている、実施態様17に記載の非一時的コンピュータ可読媒体。
(20) 前記外科用システムは、ビデオの一部を選択することによって、前記外科的障壁を通して前記ディスプレイスクリーンと相互作用するように構成されている、実施態様17に記載の非一時的コンピュータ可読媒体。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22A
図22B
【外国語明細書】