(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-10-23
(54)【発明の名称】フィールドプログラマブル外科用可視化システム
(51)【国際特許分類】
A61B 1/045 20060101AFI20231016BHJP
A61B 1/00 20060101ALI20231016BHJP
【ＦＩ】
A61B1/045 610
A61B1/00 513
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023520147
(86)(22)【出願日】2021-09-29
(85)【翻訳文提出日】2023-05-25
(86)【国際出願番号】 IB2021058893
(87)【国際公開番号】W WO2022070060
(87)【国際公開日】2022-04-07
(31)【優先権主張番号】17/062,523
(32)【優先日】2020-10-02
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
(71)【出願人】
【識別番号】506157570
【氏名又は名称】シラグ・ゲーエムベーハー・インターナショナル
【氏名又は名称原語表記】Ｃｉｌａｇ ＧＭＢＨ Ｉｎｔｅｒｎａｔｉｏｎａｌ
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】シェルトン・ザ・フォース・フレデリック・イー
(72)【発明者】
【氏名】フィービッグ・ケビン・エム
【テーマコード（参考）】
4C161
【Ｆターム（参考）】
4C161CC06
4C161HH51
4C161QQ07
4C161SS21
4C161WW04
4C161WW13
4C161WW18
4C161XX02
(57)【要約】
外科用可視化システム（１００００）は、フィールドプログラマブルであってもよい。外科用可視化システムは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ、１０００４）及びプロセッサ（１０００６）を含み得る。ＦＰＧＡは、後方散乱レーザ光のセンサ情報を、術野の一部における粒子移動（例えば、血球）のリアルタイム情報に変換するように構成され得る。プロセッサは、入力を受信し、その入力に基づいて、ＦＰＧＡの論理素子を再構成し、ＦＰＧＡの動作を第１の変換から第２の変換に変更するように構成されてもよい。例えば、ＦＰＧＡの論理素子は、選択可能な深さでの粒子移動を評価するように構成されてもよく、次いで、外科医の要求に応じて、複数の深さにわたる凝集粒子移動を評価するように再構成されてもよい。
【特許請求の範囲】
【請求項1】
術野の少なくとも一部を分析するための外科用可視化システムであって、前記システムは、前記術野の前記少なくとも一部を、レーザ光で照明するように構成されたレーザ光照明源と、
反射レーザ光を受光するように構成された光センサと、
構成可能な論理素子を含むフィールドプログラマブルゲートアレイであって、前記フィールドプログラマブルゲートアレイは、論理素子の第１の構成によって実装される第１の変換に従って、前記反射レーザ光を示す情報を、前記術野の前記少なくとも一部における移動粒子を示す情報に変換するように構成されている、フィールドプログラマブルゲートアレイと、
前記術野の前記少なくとも一部内の移動粒子を示す前記情報を表す出力を表示するように構成されたディスプレイと、
入力を受信し、その入力に基づいて、前記論理素子を論理素子の第２の構成で構成するように構成されたプロセッサであって、前記フィールドプログラマブルゲートアレイが、論理素子の前記第２の構成によって実装される第２の変換に従って、前記反射レーザ光を示す情報を変換するように構成されている、プロセッサと、を備える、外科用可視化システム。
【請求項2】
前記プロセッサは、第１のプロセッサを含み、前記システムは、前記フィールドプログラマブルゲートアレイから遠隔にあって、前記術野の前記少なくとも一部内の移動粒子を示す前記情報を受信し、前記第２の構成を前記第１のプロセッサに送信するように構成された第２のプロセッサを更に備え、前記第１のプロセッサは、前記論理素子を論理素子の前記第２の構成で構成するように動作可能である、請求項１に記載の外科用可視化システム。
【請求項3】
前記反射レーザ光は、マルチスペクトルであり、前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、前記マルチスペクトル反射レーザ光によって与えられる深さアッセイの集約を示す情報に変換するように構成されている、請求項１又は２に記載の外科用可視化システム。
【請求項4】
前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、屈折度を示す情報に変換するように構成されている、請求項１又は２に記載の外科用可視化システム。
【請求項5】
前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、移動粒子の複数の深さを示す情報に変換するように構成されている、請求項１又は２に記載の外科用可視化システム。
【請求項6】
移動粒子の複数の深さを示す前記情報は、血流の複数の深さを示す情報である、請求項５に記載の外科用可視化システム。
【請求項7】
前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、複数の深さの重み付けされた表現を示す情報に変換するように構成されている、請求項１又は２に記載の外科用可視化システム。
【請求項8】
前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、屈折度及び粒子移動を示す情報に変換するように構成されている、請求項１又は２に記載の外科用可視化システム。
【請求項9】
前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、現在の屈折度及び現在の粒子移動と以前の屈折度及び以前の粒子移動との比較を示す情報に変換するように構成されている、請求項１又は２に記載の外科用可視化システム。
【請求項10】
前記入力は、ユーザ又は器具のいずれかに関連付けられた機能階層を示す制御パラメータである、請求項１～９のいずれか一項に記載の外科用可視化システム。
【請求項11】
前記プロセッサは、アイドル時間中に前記フィールドプログラマブルゲートアレイを監視し、前記アイドル時間中に前記第２の構成に従って前記フィールドプログラマブルゲートアレイを構成する、請求項１～１０のいずれか一項に記載の外科用可視化システム。
【請求項12】
入力は、前記第１の変換に従って前記術野の前記少なくとも一部における移動粒子を示す前記情報が、臨床事象に相関付けられていることと、前記第２の変換が利用可能であることと、を示す指標である、請求項１～１１のいずれか一項に記載の外科用可視化システム。
【請求項13】
前記臨床事象は、重大な出血事象である、請求項１２に記載の外科用可視化システム。
【請求項14】
術野の少なくとも一部を分析するための外科用可視化システムであって、前記システムは、第１の変換に関連付けられた第１の構成と、第２の変換に関連付けられた第２の構成と、ドップラー情報及び関連する手術結果の集約と、を記憶したメモリと、
前記術野の前記少なくとも一部における移動粒子を示す情報を受信するように構成されたプロセッサであって、前記情報は、フィールドプログラマブルゲートアレイによって前記術野の前記少なくとも一部における反射レーザ光を示す情報に適用される前記第１の変換の結果であり、前記プロセッサは、前記情報と、ドップラー情報及び関連する手術結果の前記集約との相関に基づいて前記第２の変換を選択し、前記第２の構成を、前記フィールドプログラマブルゲートアレイに送信するように更に構成されている、プロセッサと、を備える、外科用可視化システム。
【請求項15】
前記反射レーザ光は、マルチスペクトルであり、前記第２の変換は、前記反射レーザ光を示す情報を、前記マルチスペクトル反射レーザ光によって与えられる深さアッセイの集約を示す情報に変換する、請求項１４に記載の外科用可視化システム。
【請求項16】
前記第２の変換は、前記反射レーザ光を示す情報を、屈折度を示す情報に変換する、請求項１４に記載の外科用可視化システム。
【請求項17】
前記第２の変換は、前記反射レーザ光を示す情報を、移動粒子の複数の深さを示す情報に変換し、好ましくは、移動粒子の複数の深さを示す前記情報は、血流の複数の深さを示す情報である、請求項１４に記載の外科用可視化システム。
【請求項18】
前記第２の変換は、前記反射レーザ光を示す情報を、複数の深さの重み付けされた表現を示す情報に変換する、請求項１４に記載の外科用可視化システム。
【請求項19】
ユーザ又は器具のいずれかに関連付けられた機能階層を示す前記プロセッサへの入力は、前記第２の変換を選択するための条件である、請求項１４に記載の外科用可視化システム。
【請求項20】
前記相関は、特定の臨床事象に対する相関であり、好ましくは、前記特定の臨床事象は、重大な出血事象である、請求項１４に記載の外科用可視化システム。
【請求項21】
術野の少なくとも一部を分析するための外科用可視化システムであって、前記システムは、前記術野の前記少なくとも一部を、レーザ光で照明するように構成されたレーザ光照明源と、
反射レーザ光を受光するように構成された光センサと、
構成可能な論理素子を備えるフィールドプログラマブルゲートアレイと、を備え、
第１の動作モードにおいて、前記フィールドプログラマブルゲートアレイは、論理素子の第１の構成によって実装される第１の変換に従って、前記反射レーザ光を示す情報を変換するように構成され、
第２の動作モードにおいて、前記フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、前記反射レーザ光を示す情報を変換するように構成されている、外科用可視化システム。
【請求項22】
プロセッサを更に備え、前記プロセッサは、ユーザ又は器具のいずれかに関連付けられた機能階層を示す、前記プロセッサへの入力に基づいて、前記フィールドプログラマブルゲートアレイの前記第１の動作モード及び前記第２の動作モードのいずれかを選択するように構成されている、請求項２１に記載の外科用可視化システム。
【請求項23】
前記光センサは、前記反射レーザ光を示す前記情報を提供する、請求項１～１３、２１、及び２２のいずれか一項に記載のシステム。
【請求項24】
前記反射レーザ光を示す前記情報は、振幅、周波数、波長、ドップラーシフト、及び／又は他の時間領域品質若しくは周波数領域品質のうちの１つ以上を含む、請求項１～２２のいずれか一項に記載のシステム。
【請求項25】
移動粒子を示す前記情報は、単位時間当たりの移動粒子の数、粒子の速さ、粒子速度、及び／又は体積のうちの１つ以上を含む、請求項１～１４のいずれか一項に記載のシステム。
【請求項26】
前記反射レーザ光を示す前記情報は、波長情報を含み、前記変換は、少なくとも１つの深さに関連付けられた少なくとも１つの波長に基づいて、深さを示す情報を推定する、請求項３、７、１５、及び１８のいずれか一項に記載の外科用可視化システム。
【請求項27】
前記反射レーザ光を示す前記情報は、位相情報を含み、前記変換は、少なくともその位相情報に基づいて屈折度を示す情報を推定する、請求項４、８、９、及び１６のいずれか一項に記載の外科用可視化システム。
【請求項28】
前記位相情報は、干渉パターンである、請求項２７に記載の外科用可視化システム。
【請求項29】
前記反射レーザ光を示す前記情報は、波長情報を含み、前記マルチスペクトルレーザ光の波長は、前記術野の前記少なくとも一部における特定の深さに関連付けられ、その波長のドップラーシフトは、その深さにおける移動粒子の速度に関連付けられ、前記変換は、少なくとも１つの深さに関連付けられた波長の少なくとも１つのドップラーシフトに基づいて示す情報を推定する、請求項５、６、９、及び１７のいずれか一項に記載の外科用可視化システム。
【請求項30】
前記フィールドプログラマブルゲートアレイから離れた第２のプロセッサは、前記術野の前記少なくとも一部における移動粒子を示す前記情報と、処置中に以前に取得された対応する情報、及び／又は他の処置中に取得された対応する情報との比較を実行することによって、前記指標を提供する、請求項１２又は１３に記載の外科用可視化システム。
【請求項31】
前記フィールドプログラマブルゲートアレイに対して遠隔にある前記第２のプロセッサは、人工知能及び／又は機械学習ベースのアルゴリズムを使用して、前記術野の前記少なくとも一部における移動粒子を示す前記情報を相関させる、請求項１２又は１３に記載の外科用可視化システム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、以下に関連するものであり、その各々の内容は、参照により本明細書に組み込まれる：
「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｄｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ」と題する、２０１８年３月２９日出願の、米国特許出願第１５／９４０，６６３号、
「Ｕｓｅ Ｏｆ Ｌａｓｅｒ Ｌｉｇｈｔ Ａｎｄ Ｒｅｄ－Ｇｒｅｅｎ－Ｂｌｕｅ Ｃｏｌｏｒａｔｉｏｎ Ｔｏ Ｄｅｔｅｒｍｉｎｅ Ｐｒｏｐｅｒｔｉｅｓ Ｏｆ Ｂａｃｋ Ｓｃａｔｔｅｒｅｄ Ｌｉｇｈｔ」と題する、２０１８年３月２９日出願の、米国特許出願第１５／９４０，７０４号、
「Ｍｅｔｈｏｄ ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ｔｉｅｒｅｄ Ｏｐｅｒａｔｉｏｎ Ｍｏｄｅｓ ｉｎ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する、本出願と共に出願された米国特許出願（代理人整理番号ＥＮＤ９２８７ＵＳＮＰ１）、
「Ｔｉｅｒｅｄ－Ａｃｃｅｓｓ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍ」と題する、本出願と共に出願された米国特許出願（代理人整理番号ＥＮＤ９２８７ＵＳＮＰ２）、及び
「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｐａｒｔｉｃｌｅ Ｔｒｅｎｄ Ａｎａｌｙｓｉｓ Ｓｙｓｔｅｍ」と題する、本出願と共に出願された米国特許出願（代理人整理番号ＥＮＤ９２８７ＵＳＮＰ３）。
本出願は、以下に関連するものであり、その各々の内容は、参照により本明細書に組み込まれる：
「Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ Ｄｉｓｔｒｉｂｕｔｅｄ Ｐｒｏｃｅｓｓｉｎｇ」と題する、２０１８年３月２９日出願の、米国特許出願第１５／９４０，６６３号、
「Ｕｓｅ Ｏｆ Ｌａｓｅｒ Ｌｉｇｈｔ Ａｎｄ Ｒｅｄ－Ｇｒｅｅｎ－Ｂｌｕｅ Ｃｏｌｏｒａｔｉｏｎ Ｔｏ Ｄｅｔｅｒｍｉｎｅ Ｐｒｏｐｅｒｔｉｅｓ Ｏｆ Ｂａｃｋ Ｓｃａｔｔｅｒｅｄ Ｌｉｇｈｔ」と題する、２０１８年３月２９日出願の、米国特許出願第１５／９４０，７０４号、
「Ｍｅｔｈｏｄ ｆｏｒ Ｏｐｅｒａｔｉｎｇ Ｔｉｅｒｅｄ Ｏｐｅｒａｔｉｏｎ Ｍｏｄｅｓ ｉｎ Ａ Ｓｕｒｇｉｃａｌ Ｓｙｓｔｅｍ」と題する、本出願と共に出願された米国特許出願（代理人整理番号ＥＮＤ９２８７ＵＳＮＰ１）、
「Ｔｉｅｒｅｄ－Ａｃｃｅｓｓ Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ Ｓｙｓｔｅｍ」と題する、本出願と共に出願された米国特許出願（代理人整理番号ＥＮＤ９２８７ＵＳＮＰ２）、及び
「Ｓｕｒｇｉｃａｌ Ｖｉｓｕａｌｉｚａｔｉｏｎ ａｎｄ Ｐａｒｔｉｃｌｅ Ｔｒｅｎｄ Ａｎａｌｙｓｉｓ Ｓｙｓｔｅｍ」と題する、本出願と共に出願された米国特許出願（代理人整理番号ＥＮＤ９２８７ＵＳＮＰ３）。
【背景技術】
【0002】
外科用システムは、臨床医（複数可）が、例えば、モニタなどの１つ以上のディスプレイ上で、手術部位及び／又はその１つ以上の部分を見ることを可能にできる撮像システムを組み込んでいることが多い。ディスプレイ（複数可）は、手術現場（surgical theater）に局所的であってもよく、かつ／又は、遠隔であってもよい。撮像システムは、手術部位を見て、かつ臨床医が見ることができるディスプレイにビューを送信する、カメラを備えたスコープを含むことができる。スコープとしては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、食道胃十二指腸鏡、腸鏡、食道十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、尿管鏡、及び外視鏡が挙げられるが、これらに限定されない。撮像システムは、臨床医（複数可）を認識することができる、かつ／又は臨床医（複数可）に伝達することができる情報によって制限される場合がある。例えば、三次元空間内の特定の隠れた構造、物理的輪郭、及び／又は寸法は、特定の撮像システムでは手術中に認識できないことがある。追加的に、特定の撮像システムは、手術中に特定の情報を臨床医（複数可）に通信すること、及び／又は伝達することができない場合がある。
【発明の概要】
【課題を解決するための手段】
【0003】
外科用可視化システムは、フィールドプログラマブルであってもよい。外科用可視化システムは、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）及びプロセッサを含んでもよい。ＦＰＧＡは、後方散乱レーザ光のセンサ情報を、術野の一部における粒子移動（例えば、血球）のリアルタイム情報に変換するように構成され得る。プロセッサは、入力を受信し、その入力に基づいて、ＦＰＧＡの論理素子を再構成し、ＦＰＧＡの動作を第１の変換から第２の変換に変更するように構成されてもよい。例えば、ＦＰＧＡの論理素子は、選択可能な深さでの粒子移動を評価するように構成されてもよく、次いで、外科医の要求に応じて、複数の深さにわたる凝集粒子移動を評価するように再構成されてもよい。
【0004】
本発明の様々な実施形態によれば、以下の実施例が提供される。
１．術野の少なくとも一部を分析するための外科用可視化システムであって、そのシステムは、
術野の少なくとも一部を、レーザ光で照明するように構成されたレーザ光照明源と、
反射レーザ光を受光するように構成された光センサと、
構成可能な論理素子を含むフィールドプログラマブルゲートアレイであって、フィールドプログラマブルゲートアレイは、論理素子の第１の構成によって実装される第１の変換に従って、反射レーザ光を示す情報を、術野の少なくとも一部における移動粒子を示す情報に変換するように構成されている、フィールドプログラマブルゲートアレイと、
術野の少なくとも一部内の移動粒子を示す情報を表す出力を表示するように構成されたディスプレイと、
入力を受信し、その入力に基づいて、論理素子を論理素子の第２の構成で構成するように構成されたプロセッサであって、フィールドプログラマブルゲートアレイが、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を変換するように構成されている、プロセッサと、を備える、外科用可視化システム。
２．プロセッサは、第１のプロセッサを含み、システムは、フィールドプログラマブルゲートアレイから遠隔にあって、術野の少なくとも一部内の移動粒子を示す情報を受信し、第２の構成を第１のプロセッサに送信するように構成された第２のプロセッサを更に備え、第１のプロセッサは、論理素子を論理素子の第２の構成で構成するように動作可能である、実施例１に記載の外科用可視化システム。
３．反射レーザ光は、マルチスペクトルであり、フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、マルチスペクトル反射レーザ光によって与えられる深さアッセイの集約を示す情報に変換するように構成されている、実施例１又は２に記載の外科用可視化システム。
４．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、屈折度を示す情報に変換するように構成されている、実施例１又は２に記載の外科用可視化システム。
５．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、移動粒子の複数の深さを示す情報に変換するように構成されている、実施例１又は２に記載の外科用可視化システム。
６．移動粒子の複数の深さを示す情報は、血流の複数の深さを示す情報である、実施例５に記載の外科用可視化システム。
７．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、複数の深さの重み付けされた表現を示す情報に変換するように構成されている、実施例１又は２に記載の外科用可視化システム。
８．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、屈折度及び粒子移動を示す情報に変換するように構成されている、実施例１又は２に記載の外科用可視化システム。
９．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、現在の屈折度及び現在の粒子移動と以前の屈折度及び以前の粒子移動との比較を示す情報に変換するように構成されている、実施例１又は２に記載の外科用可視化システム。
１０．入力は、ユーザ又は器具のいずれかに関連付けられた機能階層を示す制御パラメータである、実施例１～９のいずれか１つに記載の外科用可視化システム。
１１．プロセッサは、アイドル時間中にフィールドプログラマブルゲートアレイを監視し、アイドル時間中に第２の構成に従ってフィールドプログラマブルゲートアレイを構成する、実施例１～１０のいずれか１つに記載の外科用可視化システム。
１２．入力は、第１の変換に従って術野の少なくとも一部における移動粒子を示す情報が、臨床事象に相関付けられていることと、第２の変換が利用可能であることと、を示す指標である、実施例１～１１のいずれか１つに記載の外科用可視化システム。
１３．臨床事象は、重大な出血事象である、実施例１２に記載の外科用可視化システム。
１４．術野の少なくとも一部を分析するための外科用可視化システムであって、そのシステムは、
第１の変換に関連付けられた第１の構成と、第２の変換に関連付けられた第２の構成と、ドップラー情報及び関連する手術結果の集約と、を記憶したメモリと、
術野の少なくとも一部における移動粒子を示す情報を受信するように構成されたプロセッサであって、当該情報は、フィールドプログラマブルゲートアレイによって術野の少なくとも一部における反射レーザ光を示す情報に適用される第１の変換の結果であり、プロセッサは、当該情報と、ドップラー情報及び関連する手術結果の集約との相関に基づいて第２の変換を選択し、第２の構成を、フィールドプログラマブルゲートアレイに送信するように更に構成されている、プロセッサと、を備える、外科用可視化システム。
１５．反射レーザ光は、マルチスペクトルであり、第２の変換は、反射レーザ光を示す情報を、マルチスペクトル反射レーザ光によって与えられる深さアッセイの集約を示す情報に変換する、実施例１４に記載の外科用可視化システム。
１６．第２の変換は、反射レーザ光を示す情報を、屈折度を示す情報に変換する、実施例１４に記載の外科用可視化システム。
１７．第２の変換は、反射レーザ光を示す情報を、移動粒子の複数の深さを示す情報に変換し、好ましくは、移動粒子の複数の深さを示す情報は、血流の複数の深さを示す情報である、実施例１４に記載の外科用可視化システム。
１８．第２の変換は、反射レーザ光を示す情報を、複数の深さの重み付けされた表現を示す情報に変換する、実施例１４に記載の外科用可視化システム。
１９．ユーザ又は器具のいずれかに関連付けられた機能階層を示すプロセッサへの入力は、第２の変換を選択するための条件である、実施例１４に記載の外科用可視化システム。
２０．当該相関は、特定の臨床事象に対する相関であり、好ましくは、特定の臨床事象は、重大な出血事象である、実施例１４に記載の外科用可視化システム。
２１．術野の少なくとも一部を分析するための外科用可視化システムであって、そのシステムは、
術野の少なくとも一部を、レーザ光で照明するように構成されたレーザ光照明源と、
反射レーザ光を受光するように構成された光センサと、
構成可能な論理素子を備えるフィールドプログラマブルゲートアレイと、を備え、
第１の動作モードにおいて、フィールドプログラマブルゲートアレイは、論理素子の第１の構成によって実装される第１の変換に従って、反射レーザ光を示す情報を変換するように構成され、
第２の動作モードにおいて、フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を変換するように構成されている、外科用可視化システム。
２２．プロセッサを更に備え、プロセッサは、ユーザ又は器具のいずれかに関連付けられた機能階層を示す、プロセッサへの入力に基づいて、フィールドプログラマブルゲートアレイの第１の動作モード及び第２の動作モードのいずれかを選択するように構成されている、実施例２１に記載の外科用可視化システム。
２３．光センサは、反射レーザ光を示す情報を提供する、実施例１～１３、２１、及び２２のいずれか１つに記載のシステム。
２２．反射レーザ光を示す情報は、振幅、周波数、波長、ドップラーシフト、及び／又は他の時間領域品質若しくは周波数領域品質のうちの１つ以上を含む、実施例１～２２のいずれか１つに記載のシステム。
２３．移動粒子を示す情報は、単位時間当たりの移動粒子の数、粒子の速さ、粒子速度、及び／又は体積のうちの１つ以上を含む、実施例１～１４のいずれか１つに記載のシステム。
２４．反射レーザ光を示す情報は、波長情報を含み、変換は、少なくとも１つの深さに関連付けられた少なくとも１つの波長に基づいて、深さを示す情報を推定する、実施例３、７、１５、及び１８のいずれか１つに記載の外科用可視化システム。
２５．反射レーザ光を示す情報は、位相情報を含み、変換は、少なくともその位相情報に基づいて屈折度を示す情報を推定する、実施例４、８、９、及び１６のいずれか１つに記載の外科用可視化システム。
２６．位相情報は、干渉パターンである、実施例２５に記載の外科用可視化システム。
２７．反射レーザ光を示す情報は、波長情報を含み、マルチスペクトルレーザ光の波長は、術野の少なくとも一部における特定の深さに関連付けられ、その波長のドップラーシフトは、その深さにおける移動粒子の速度に関連付けられ、変換は、少なくとも１つの深さに関連付けられた波長の少なくとも１つのドップラーシフトに基づいて示す情報を推定する、実施例５、６、９、及び１７のいずれか１つに記載の外科用可視化システム。
２８．フィールドプログラマブルゲートアレイから離れた第２のプロセッサは、術野の少なくとも一部における移動粒子を示す情報と、処置中に以前に取得された対応する情報、及び／又は他の処置中に取得された対応する情報との比較を実行することによって、指標を提供する、実施例１２又は１３に記載の外科用可視化システム。
２９．フィールドプログラマブルゲートアレイに対して遠隔にある第２のプロセッサは、人工知能及び／又は機械学習ベースのアルゴリズムを使用して、術野の少なくとも一部における移動粒子を示す情報を相関させる、実施例１２又は１３に記載の外科用可視化システム。
１．術野の少なくとも一部を分析するための外科用可視化システムであって、そのシステムは、
術野の少なくとも一部を、レーザ光で照明するように構成されたレーザ光照明源と、
反射レーザ光を受光するように構成された光センサと、
構成可能な論理素子を含むフィールドプログラマブルゲートアレイであって、フィールドプログラマブルゲートアレイは、論理素子の第１の構成によって実装される第１の変換に従って、反射レーザ光を示す情報を、術野の少なくとも一部における移動粒子を示す情報に変換するように構成されている、フィールドプログラマブルゲートアレイと、
術野の少なくとも一部内の移動粒子を示す情報を表す出力を表示するように構成されたディスプレイと、
入力を受信し、その入力に基づいて、論理素子を論理素子の第２の構成で構成するように構成されたプロセッサであって、フィールドプログラマブルゲートアレイが、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を変換するように構成されている、プロセッサと、を備える、外科用可視化システム。
２．プロセッサは、第１のプロセッサを含み、システムは、フィールドプログラマブルゲートアレイから遠隔にあって、術野の少なくとも一部内の移動粒子を示す情報を受信し、第２の構成を第１のプロセッサに送信するように構成された第２のプロセッサを更に備え、第１のプロセッサは、論理素子を論理素子の第２の構成で構成するように動作可能である、実施例１に記載の外科用可視化システム。
３．反射レーザ光は、マルチスペクトルであり、フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、マルチスペクトル反射レーザ光によって与えられる深さアッセイの集約を示す情報に変換するように構成されている、実施例１又は２に記載の外科用可視化システム。
４．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、屈折度を示す情報に変換するように構成されている、実施例１又は２に記載の外科用可視化システム。
５．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、移動粒子の複数の深さを示す情報に変換するように構成されている、実施例１又は２に記載の外科用可視化システム。
６．移動粒子の複数の深さを示す情報は、血流の複数の深さを示す情報である、実施例５に記載の外科用可視化システム。
７．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、複数の深さの重み付けされた表現を示す情報に変換するように構成されている、実施例１又は２に記載の外科用可視化システム。
８．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、屈折度及び粒子移動を示す情報に変換するように構成されている、実施例１又は２に記載の外科用可視化システム。
９．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、現在の屈折度及び現在の粒子移動と以前の屈折度及び以前の粒子移動との比較を示す情報に変換するように構成されている、実施例１又は２に記載の外科用可視化システム。
１０．入力は、ユーザ又は器具のいずれかに関連付けられた機能階層を示す制御パラメータである、実施例１～９のいずれか１つに記載の外科用可視化システム。
１１．プロセッサは、アイドル時間中にフィールドプログラマブルゲートアレイを監視し、アイドル時間中に第２の構成に従ってフィールドプログラマブルゲートアレイを構成する、実施例１～１０のいずれか１つに記載の外科用可視化システム。
１２．入力は、第１の変換に従って術野の少なくとも一部における移動粒子を示す情報が、臨床事象に相関付けられていることと、第２の変換が利用可能であることと、を示す指標である、実施例１～１１のいずれか１つに記載の外科用可視化システム。
１３．臨床事象は、重大な出血事象である、実施例１２に記載の外科用可視化システム。
１４．術野の少なくとも一部を分析するための外科用可視化システムであって、そのシステムは、
第１の変換に関連付けられた第１の構成と、第２の変換に関連付けられた第２の構成と、ドップラー情報及び関連する手術結果の集約と、を記憶したメモリと、
術野の少なくとも一部における移動粒子を示す情報を受信するように構成されたプロセッサであって、当該情報は、フィールドプログラマブルゲートアレイによって術野の少なくとも一部における反射レーザ光を示す情報に適用される第１の変換の結果であり、プロセッサは、当該情報と、ドップラー情報及び関連する手術結果の集約との相関に基づいて第２の変換を選択し、第２の構成を、フィールドプログラマブルゲートアレイに送信するように更に構成されている、プロセッサと、を備える、外科用可視化システム。
１５．反射レーザ光は、マルチスペクトルであり、第２の変換は、反射レーザ光を示す情報を、マルチスペクトル反射レーザ光によって与えられる深さアッセイの集約を示す情報に変換する、実施例１４に記載の外科用可視化システム。
１６．第２の変換は、反射レーザ光を示す情報を、屈折度を示す情報に変換する、実施例１４に記載の外科用可視化システム。
１７．第２の変換は、反射レーザ光を示す情報を、移動粒子の複数の深さを示す情報に変換し、好ましくは、移動粒子の複数の深さを示す情報は、血流の複数の深さを示す情報である、実施例１４に記載の外科用可視化システム。
１８．第２の変換は、反射レーザ光を示す情報を、複数の深さの重み付けされた表現を示す情報に変換する、実施例１４に記載の外科用可視化システム。
１９．ユーザ又は器具のいずれかに関連付けられた機能階層を示すプロセッサへの入力は、第２の変換を選択するための条件である、実施例１４に記載の外科用可視化システム。
２０．当該相関は、特定の臨床事象に対する相関であり、好ましくは、特定の臨床事象は、重大な出血事象である、実施例１４に記載の外科用可視化システム。
２１．術野の少なくとも一部を分析するための外科用可視化システムであって、そのシステムは、
術野の少なくとも一部を、レーザ光で照明するように構成されたレーザ光照明源と、
反射レーザ光を受光するように構成された光センサと、
構成可能な論理素子を備えるフィールドプログラマブルゲートアレイと、を備え、
第１の動作モードにおいて、フィールドプログラマブルゲートアレイは、論理素子の第１の構成によって実装される第１の変換に従って、反射レーザ光を示す情報を変換するように構成され、
第２の動作モードにおいて、フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を変換するように構成されている、外科用可視化システム。
２２．プロセッサを更に備え、プロセッサは、ユーザ又は器具のいずれかに関連付けられた機能階層を示す、プロセッサへの入力に基づいて、フィールドプログラマブルゲートアレイの第１の動作モード及び第２の動作モードのいずれかを選択するように構成されている、実施例２１に記載の外科用可視化システム。
２３．光センサは、反射レーザ光を示す情報を提供する、実施例１～１３、２１、及び２２のいずれか１つに記載のシステム。
２２．反射レーザ光を示す情報は、振幅、周波数、波長、ドップラーシフト、及び／又は他の時間領域品質若しくは周波数領域品質のうちの１つ以上を含む、実施例１～２２のいずれか１つに記載のシステム。
２３．移動粒子を示す情報は、単位時間当たりの移動粒子の数、粒子の速さ、粒子速度、及び／又は体積のうちの１つ以上を含む、実施例１～１４のいずれか１つに記載のシステム。
２４．反射レーザ光を示す情報は、波長情報を含み、変換は、少なくとも１つの深さに関連付けられた少なくとも１つの波長に基づいて、深さを示す情報を推定する、実施例３、７、１５、及び１８のいずれか１つに記載の外科用可視化システム。
２５．反射レーザ光を示す情報は、位相情報を含み、変換は、少なくともその位相情報に基づいて屈折度を示す情報を推定する、実施例４、８、９、及び１６のいずれか１つに記載の外科用可視化システム。
２６．位相情報は、干渉パターンである、実施例２５に記載の外科用可視化システム。
２７．反射レーザ光を示す情報は、波長情報を含み、マルチスペクトルレーザ光の波長は、術野の少なくとも一部における特定の深さに関連付けられ、その波長のドップラーシフトは、その深さにおける移動粒子の速度に関連付けられ、変換は、少なくとも１つの深さに関連付けられた波長の少なくとも１つのドップラーシフトに基づいて示す情報を推定する、実施例５、６、９、及び１７のいずれか１つに記載の外科用可視化システム。
２８．フィールドプログラマブルゲートアレイから離れた第２のプロセッサは、術野の少なくとも一部における移動粒子を示す情報と、処置中に以前に取得された対応する情報、及び／又は他の処置中に取得された対応する情報との比較を実行することによって、指標を提供する、実施例１２又は１３に記載の外科用可視化システム。
２９．フィールドプログラマブルゲートアレイに対して遠隔にある第２のプロセッサは、人工知能及び／又は機械学習ベースのアルゴリズムを使用して、術野の少なくとも一部における移動粒子を示す情報を相関させる、実施例１２又は１３に記載の外科用可視化システム。
【0005】
上記の実施例、特に実施例１、１４及び２１によれば、システムは、受信された情報に対して特定の変換を実行するように動的に再構成することができ、それによって、特定の処置、臨床状況又は臨床設定に最も関連する又は適切な、術野における移動粒子を示す情報を提供することができる。実施例では、第１の変換は、多くの処置に好適な一般化された変換を含み得る。フィールドプログラマブルゲートアレイは、入力に基づいて、第２の変換を実装するように再構成されてもよく、第２の変換は、特定の処置、組織タイプのために、又は特定のユーザ若しくは臨床医の好ましい実践法に従って、よりカスタマイズされてもよい。
【0006】
上記の実施例、特に実施例２、２８、及び２９によれば、フィールドプログラマブルゲートアレイから遠隔にある第２のプロセッサは、移動粒子に関する情報を受信し、この情報に基づいて、フィールドプログラマブルゲートアレイを再構成するように動作可能な第１のプロセッサに、第２の構成を送信する。このようにして、リアルタイム情報を遠隔的にモニタリングすることができ、フィールドプログラマブルゲートアレイを、撮像された術野の状態に応じてより適切な変換で動的にアップデートすることができる。更に、このモニタリングは計算集約的であり得るので、どの変換が最も適切であるかを決定し、関連付けられた構成を送信する際に、システムの適切な機能が中断されるのを回避するため、第１のプロセッサとは別個の第２のプロセッサを使用することが有利である。
【0007】
上記の実施例、特に実施例９において、比較によって、術野内の移動粒子に関する情報における傾向のコンテキストを提供し得る。そのような比較及び傾向は、ユーザ又は臨床医の決定を情報面から支援するために使用され得る。例えば、リアルタイムの瞬間的な測定のみからは明らかではないであろう特定の処置中の患者の状態の、軌跡全体における重要なコンテキストを、ユーザ又は臨床医に提供することができる。
【0008】
上記の実施例によって、特に実施例１２及び２０では、システムは、フィールドプログラマブルゲートアレイを動的に再構成して、処置の特定の段階に適切な変換を実行することができるか、又は異常な事象があってもそれに対応することができる。これは、最も適切な変換を選択するためのユーザ又は臨床医の負担を軽減し、ひいては、処置に要する時間を低減する。更に、そのことにより、ユーザ又は臨床医が、臨床状況のために術野から最も関連する情報を手にしなければならないことを確実にするのに役立ち、それによって、患者の安全性が改善される。
【0009】
上記の実施例、特に実施例１３及び２０では、ユーザ又は臨床医は、重大な出血事象の状況において、彼らに最も関連する情報を提示され得る。そのような状況では、臨床医が迅速に、かつ術野からの関連情報を用いて行動できることが不可欠である。フィールドプログラマブルゲートアレイは、（例えば、ユーザ選択ではなく）識別された事象に応答して再構成されるので、臨床医又はユーザは、より迅速に事象に対処することができ、臨床転帰が改善される。
【0010】
上記の実施例、特に、実施例１０、１９、及び２２では、機能階層は、フィールドプログラマブルゲートアレイが、特定の処置、組織タイプ、又は外科医の好みに合わせてより調整され得る特定の変換を実装することを可能にし得る。階層をユーザに関連付けることによって、ある処置に適切な特定の機能が、そのような機能を必要とするか、又はそのような処置を実行することを許可されたユーザのみに提供され得る。階層を特定の器具と関連付けることによって、ある処置又は特定の臨床設定に適切な機能が、そのような処置又は設定のために設計された器具に提供され得る。その結果、システムを用いて行われる処置の安全性を改善することができる。更に、システムの機能が特定の設定又はユーザに合わせて調整されるので、処置に要する時間を短縮することができ、処置中に適切な機能を選択するユーザの負担が軽減される。
【図面の簡単な説明】
【0011】
【図1】例示的コンピュータ実装インタラクティブ外科用システムのブロック図である。
【図2】手術室内で外科処置を行うために使用されている例示的外科用システムの図である。
【図3】可視化システムと、ロボットシステムと、インテリジェント器具とペアリングされた例示的外科用ハブの図である。
【図4】医療施設の１つ以上の手術室、又は外科処置のための専門設備を備えた医療施設内の任意の部屋に位置しているモジュール式デバイスをクラウドに接続するように構成されたモジュール式通信ハブを備える、例示的外科用データネットワークを示す図である。
【図5】例示的コンピュータ実装インタラクティブ外科用システムを示す図である。
【図6】モジュール式制御タワーに連結された複数のモジュールを備える、例示的外科用ハブを示す図である。
【図7】外科用器具又はツールの例示的な制御システムを示す論理図である。
【図8】様々な機能を実行するために起動され得る複数のモータを備える、外科用器具又はツールを示す図である。
【図9】例示的状況認識外科用システムを示す図である。
【図10】外科処置における各工程で検出されたデータから、外科用ハブが作成することができる例示的な外科処置及び推論のタイムラインを示す図である。
【図11】例示的コンピュータ実装インタラクティブ外科用システムのブロック図である。
【図12】例示的コンピュータ実装インタラクティブ外科用システムの、機能アーキテクチャを図示するブロック図である。
【図13】モジュール式デバイスのための制御プログラムのアップデートを適応的に生成するように構成されている、例示的コンピュータ実装インタラクティブ外科用システムのブロック図である。
【図14】コントローラ及びモータを有するハンドルと、ハンドルに解放可能に連結されるアダプタと、アダプタに解放可能に連結される装填ユニットと、を含む、例示的外科用システムを示す図である。
【図15A】動作モードを決定するための例示的なフロー図である。
【図15B】動作モードを変更するための例示的な機能ブロック図である。
【図16A】例示的可視化システムを示す図である。
【図16B】例示的可視化システムを示す図である。
【図16C】例示的可視化システムを示す図である。
【図16D】例示的可視化システムを示す図である。
【図17A】例示的可視化システムに組み込まれ得る複数のレーザエミッタの図である。
【図17B】カラーフィルタのベイヤーパターンを有する画像センサの照明の図である。
【図17C】複数のフレームに対する画素アレイの動作のグラフィカル表現の図である。
【図17D】色度及び輝度フレームの動作シーケンスの一例を示す概略図である。
【図17E】センサ及びエミッタパターンの一例の図である。
【図17F】画素アレイの動作のグラフィカル表現の図である。
【図18】ＮＩＲ分光法のための例示的な器具類を示す図である。
【図19】フーリエ変換赤外撮像法に基づいてＮＩＲＳを測定するための例示的な器具類を示す図である。
【図20A】移動する血球から散乱される光の波長の変化を示す図である。
【図20B】移動する血球から散乱される光の波長の変化を示す図である。
【図20C】移動する血球から散乱される光の波長の変化を示す図である。
【図21】組織の部分から散乱したレーザ光のドップラーシフトを検出するために使用され得る例示的器具類を示す図である。
【図22】表面下構造を有する組織に衝突する光に対する例示的な光学効果を示す図である。
【図23】表面下構造を有する組織に衝突する光に対する例示的な光学効果を示す図である。
【図24A】様々なレーザ波長でのレーザドップラー分析に基づく組織深さでの移動血球の検出を示す図である。
【図24B】は、様々なレーザ波長でのレーザドップラー分析に基づく組織深さでの移動血球の検出を示す図である。
【図24C】は、様々なレーザ波長でのレーザドップラー分析に基づく組織深さでの移動血球の検出を示す図である。
【図24D】は、様々なレーザ波長でのレーザドップラー分析に基づく組織深さでの移動血球の検出を示す図である。
【図25】表面下血管の存在を検出するためのドップラーイメージングの使用法の一例を示す図である。
【図26】表面下の血管を流れる血球による青色光のドップラーシフトを示す図である。
【図27】表面下深部血管の例示的な位置特定を示す図である。
【図28】表面下浅部血管の例示的な位置特定を示す図である。
【図29】表面画像及び表面下血管の画像を含む、例示的な合成画像を示す図である。
【図30】組織片内の表面の特徴部の深さを決定するための例示的方法を示す図である。
【図31A】例示的可視化システムを示す図である。
【図31B】２つのセンサモジュールを有する例示的レーザ光センサを示す図である。
【図31C】複数のフレームに対する画素アレイの例示的動作のグラフィック表現を示す図である。
【図32】動作モードを決定するための例示的方法を示す図である。
【図33】リアルタイム情報及び傾向情報をユーザに表示するための例示的方法を示す図である。
【図34】リアルタイム情報及び／又は傾向情報が表示されている例示的ユーザインターフェースを描いた図である。
【図35】例示的アップグレードフレームワークを描いた図である。
【図36】フィールドプログラマブルゲートアレイを再構成するための例示的方法を示す図である。
【発明を実施するための形態】
【0012】
外科用ハブは、腹腔鏡スコープからの画像及びより多くの他のスマートデバイスのうちの１つからの情報を表示する、より多くの手段のうちの１つとの、協働的相互作用を有し得る。ハブは、ハブと通信する複数のディスプレイにわたって分散されるデータの組み合わされた表示及び制御を可能にするアルゴリズム又は制御プログラムを使用して、これらの複数のディスプレイと相互作用する能力を有してもよい。
【0013】
図１を参照すると、コンピュータ実装インタラクティブ外科用システム１００は、１つ以上の外科用システム１０２と、クラウドベースのシステム（例えば、ストレージデバイス１０５に連結されたリモートサーバ１１３を含み得るクラウド１０４）と、を含み得る。各外科用システム１０２は、少なくとも１つの外科用ハブ１０６を含み得、この外科用ハブ１０６は、リモートサーバ１１３を含み得るクラウド１０４と通信する。一例では、図１に示すように、外科用システム１０２は、可視化システム１０８と、ロボットシステム１１０と、手持ち式インテリジェント外科用器具１１２と、を含み、これらは、互いに通信するように、かつ／又はハブ１０６と通信するように構成されている。いくつかの態様では、外科用システム１０２は、Ｍ個のハブ１０６と、Ｎ個の可視化システム１０８と、Ｏ個のロボットシステム１１０と、Ｐ個の手持ち式インテリジェント外科用器具１１２と、を含んでもよく、Ｍ、Ｎ、Ｏ、及びＰは、１以上の整数であり得る。
【0014】
様々な態様では、可視化システム１０８は、図２に示すように、１つ以上の撮像センサと、１つ以上の画像処理ユニットと、１つ以上のストレージアレイと、滅菌野に対して戦略的に配置される１つ以上のディスプレイと、を含み得る。一態様では、可視化システム１０８は、ＨＬ７、ＰＡＣＳ、及びＥＭＲ用のインターフェースを含み得る。視覚化システム１０８の様々な構成要素は、２０１７年１２月２８日に出願された「ＩＮＴＥＲＡＣＴＩＶＥ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭ」と題する米国特許仮出願第６２／６１１，３４１号において「Ａｄｖａｎｃｅｄ Ｉｍａｇｉｎｇ Ａｃｑｕｉｓｉｔｉｏｎ Ｍｏｄｕｌｅ」という見出しの下で説明され、また２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号において説明されており、これらの両方の開示は、参照によりその全体が本明細書に組み込まれる。
【0015】
図２に示すように、主要ディスプレイ１１９は、手術台１１４のオペレータが見ることができるように、滅菌野に配置される。加えて、可視化タワー１１１が、滅菌野の外に配置される。可視化タワー１１１は、互いに反対側を向いている第１の非滅菌ディスプレイ１０７、及び第２の非滅菌ディスプレイ１０９を含み得る。ハブ１０６によって誘導される可視化システム１０８は、ディスプレイ１０７、１０９、及び１１９を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ１０６は、可視化システム１０８に、主要ディスプレイ１１９上に手術部位のライブ映像を維持しながら、撮像デバイス１２４によって記録される手術部位のスナップショットを非滅菌ディスプレイ１０７又は１０９に表示させることができる。非滅菌ディスプレイ１０７又は１０９上のスナップショットにより、例えば、非滅菌オペレータが、外科処置に関連する診断工程を実行することを可能にすることできる。
【0016】
一態様では、ハブ１０６は、可視化タワー１１１にいる非滅菌オペレータによって入力された診断入力又はフィードバックを滅菌野内の主要ディスプレイ１１９に送り、これを手術台にいる滅菌オペレータが見ることができるようにも構成され得る。一例では、入力は、ハブ１０６によって主要ディスプレイ１１９に送ることができる、非滅菌ディスプレイ１０７又は１０９上に表示されるスナップショットへの修正の形態であり得る。
【0017】
図２を参照すると、外科用器具１１２は、外科処置において外科用システム１０２の一部として使用され得る。ハブ１０６はまた、外科用器具１１２のディスプレイへの情報フローを調整するようにも構成され得る。例えば、２０１７年１２月２８日に出願された「ＩＮＴＥＲＡＣＴＩＶＥ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭ」と題する米国特許仮出願第６２／６１１，３４１号、及び２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号にあり、これらの両方の開示は、参照によりその全体が本明細書に組み込まれる。可視化タワー１１１にいる非滅菌オペレータによって入力される診断入力又はフィードバックは、ハブ１０６によって滅菌野内の外科用器具ディスプレイ１１５に送ることができ、これを外科用器具１１２のオペレータが見ることができる。外科用システム１０２と共に用いるのに好適な例示的外科用器具については、例えば、２０１７年１２月２８日に出願された「ＩＮＴＥＲＡＣＴＩＶＥ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭ」と題する米国特許仮出願第６２／６１１，３４１号において「Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｈａｒｄｗａｒｅ」の項目で説明され、また２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号において説明されており、これらの両方の開示は、参照によりその全体が本明細書に組み込まれる。
【0018】
図２は、手術室１１６内の手術台１１４上に横たわっている患者に対して外科処置を実行するために使用されている外科用システム１０２の例を示す。ロボットシステム１１０は、外科処置において外科用システム１０２の一部として使用され得る。ロボットシステム１１０は、外科医のコンソール１１８と、患者側カート１２０（外科用ロボット）と、外科用ロボットハブ１２２と、を含み得る。外科医が外科医のコンソール１１８を通じて手術部位を見る間、患者側カート１２０は、患者の身体の低侵襲切開部を通じて、少なくとも１つの着脱可能に連結された手術具１１７を操作することができる。手術部位の画像は、医療用撮像デバイス１２４によって取得され、この医療用撮像デバイス１２４は、撮像デバイス１２４を配向するように患者側カート１２０によって操作することができる。ロボットハブ１２２を使用して、手術部位の画像を処理し、その後、外科医のコンソール１１８を通じて、外科医に表示することができる。
【0019】
他の種類のロボットシステムを、外科用システム１０２と共に使用するように容易に適合させることができる。共に使用するのに好適なロボットシステム及び外科用ツールの様々な例は、２０１８年１２月４日に出願の、「ＭＥＴＨＯＤ ＯＦ ＲＯＢＯＴＩＣ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＤＥＴＥＣＴＩＯＮ，ＡＮＤ ＣＯＮＴＲＯＬ」と題する米国特許出願公開第２０１９－０２０１１３７（Ａ１）号（米国特許出願第１６／２０９，４０７号）に記載されており、その開示は、参照により、その全体が本明細書に組み込まれる。
【0020】
クラウド１０４によって実行され、本開示と共に使用するのに好適なクラウドベース分析法の様々な例は、２０１８年１２月４日出願の、「ＭＥＴＨＯＤ ＯＦ ＣＬＯＵＤ ＢＡＳＥＤ ＤＡＴＡ ＡＮＡＬＹＴＩＣＳ ＦＯＲ ＵＳＥ ＷＩＴＨ ＴＨＥ ＨＵＢ」と題する米国特許出願公開第２０１９－０２０６５６９（Ａ１）号（米国特許出願第１６／２０９，４０３号）に記載されており、その開示は、参照により、その全体が本明細書に組み込まれる。
【0021】
様々な態様では、撮像デバイス１２４は、少なくとも１つの画像センサと、１つ以上の光学構成要素と、を含み得る。好適な画像センサとしては、電荷結合素子（charge-coupled device、ＣＣＤ）センサ及び相補型金属酸化膜半導体（ＣＭＯＳ）センサが挙げられ得るが、これらに限定されない。
【0022】
撮像デバイス１２４の光学構成要素は、１つ以上の照明源、及び／又は１つ以上のレンズを含み得る。１つ以上の照明源は、術野の一部を照明するように方向付けられ得る。１つ以上の画像センサは、組織及び／又は外科用器具から反射又は屈折された光を含む、術野から反射又は屈折された光を受信することができる。
【0023】
１つ以上の照明源は、可視スペクトル並びに不可視スペクトル内の電磁エネルギーを照明するように構成され得る。可視スペクトルは、場合によっては、光スペクトル又は発光スペクトルとも称され、人間の目に見える（すなわち、人間の目によって検出することができる）電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約３８０ｎｍ～約７５０ｎｍの波長に応答する。
【0024】
不可視スペクトル（例えば、非発光スペクトル）は、可視スペクトル未満及び可視スペクトルを超えて位置する（すなわち、約３８０ｎｍ未満及び約７５０ｎｍ超の波長の）電磁スペクトルの一部分である。不可視スペクトルは、人間の目で検出可能ではない。約７５０ｎｍを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線（ＩＲ）、マイクロ波、及び無線電磁放射線になる。約３８０ｎｍ未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、Ｘ線、及びガンマ線電磁放射線になる。
【0025】
様々な態様では、撮像デバイス１２４は、低侵襲性処置において使用するように構成されている。本開示と共に使用するために好適な撮像デバイスの例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。
【0026】
撮像デバイスは、トポグラフィと下層構造とを区別するために、マルチスペクトルモニタリングを採用し得る。マルチスペクトル画像は、電磁スペクトル全体から特定の波長範囲内の画像データを捕捉するものである。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ、及び紫外からの光を含む特定の波長に対する感度を有する器具を使用することによって分離することができる。スペクトル撮像により、人間の目がもつ赤、緑、青の受容体では捕捉することができない追加情報を抽出することが可能である。マルチスペクトル撮像の使用は、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）中に、「Ａｄｖａｎｃｅｄ Ｉｍａｇｉｎｇ Ａｃｑｕｉｓｉｔｉｏｎ Ｍｏｄｕｌｅ」という見出しの下でより詳細に説明されており、この開示は、参照により、その全体が本明細書に組み込まれる。マルチスペクトルモニタリングは、処置された組織に対して上述の試験のうちの１つ以上を実行するための手術タスクが完了した後に術野を再配置するのに有用なツールであり得る。いかなる外科手術においても手術室及び手術機器の厳格な滅菌が必要であることは自明である。「手術現場」、すなわち、手術室又は処置室において要求される厳格な衛生条件及び滅菌条件は、全ての医療デバイス及び機器の可能な最も高い滅菌性を必要とする。上記の滅菌プロセスの一部としては、撮像デバイス１２４並びにその付属品及び構成要素を含む、患者と接触する、又は滅菌野に侵入するあらゆるものを滅菌する必要性が挙げられる。滅菌野は、トレイ内若しくは滅菌タオル上などの微生物を含まないと見なされる特定の領域と見なされ得ること、又は、滅菌野は、外科処置の準備が整った患者の直ぐ周囲の領域と見なされ得るということは理解されよう。滅菌野は、適切な衣類を着用した手洗浄済みのチーム構成員、並びにその領域内の全ての備品及び固定具を含み得る。
【0027】
ここで図３を参照すると、可視化システム１０８、ロボットシステム１１０、及びハンドヘルド式インテリジェント外科用器具１１２と通信するハブ１０６が示されている。ハブ１０６は、ハブディスプレイ１３５、撮像モジュール１３８、発生器モジュール１４０、通信モジュール１３０、プロセッサモジュール１３２、及びストレージアレイ１３４、及び手術室マッピングモジュール１３３を含む。特定の態様では、図３に示すように、ハブ１０６は、排煙モジュール１２６及び／又は吸引／灌注モジュール１２８を更に含む。外科処置中、封止及び／又は切断のために、組織へエネルギーを印加することは、一般に、排煙、過剰な流体の吸引、及び／又は組織の灌注と関連付けられる。異なる供給源からの流体ライン、電力ライン、及び／又はデータラインは、外科処置中に絡まり合うことが多い。外科処置中にこの問題に対処することで貴重な時間が失われる場合がある。ラインの絡まりをほどくには、それらの対応するモジュールからラインを抜くことが必要となる場合があり、そのためにはモジュールをリセットすることが必要となる場合がある。ハブのモジュール式エンクロージャ１３６は、電力ライン、データライン、及び流体ラインを管理するための統一環境を提供し、このようなライン間の絡まりの発生頻度を低減させる。本開示の態様は、手術部位における組織へのエネルギー印加を伴う外科処置において使用するための外科用ハブを提示する。外科用ハブは、ハブエンクロージャと、ハブエンクロージャのドッキングステーション内に摺動可能に受容可能な組み合わせ発生器モジュールと、を含む。ドッキングステーションは、データ接点及び電力接点を含む。組み合わせ発生器モジュールは、単一ユニット内に収容された、超音波エネルギー発生器構成要素、双極ＲＦエネルギー発生器構成要素、及び単極ＲＦエネルギー発生器構成要素のうちの２つ以上を含む。一態様では、組み合わせ発生器モジュールはまた、排煙構成要素と、組み合わせ発生器モジュールを外科用器具に接続するための少なくとも１つのエネルギー供給ケーブルと、組織への治療エネルギーの印加によって発生した煙、流体、及び／又は微粒子を排出するように構成された少なくとも１つの排煙構成要素と、遠隔手術部位から排煙構成要素まで延在する流体ラインと、を含む。一態様では、上記の流体ラインは第１の流体ラインであり、第２の流体ラインが、遠隔手術部位から、ハブエンクロージャ内に摺動可能に受容される吸引及び灌注モジュールまで延在している。一態様では、ハブエンクロージャは、流体インターフェースを備える。特定の外科処置は、２つ以上のエネルギータイプを組織に印加することを必要とする場合がある。１つのエネルギータイプは、組織を切断するのにより有益であり得るが、別の異なるエネルギータイプは、組織を封止するのにより有益であり得る。例えば、双極発生器は、組織を封止するために使用することができ、一方で、超音波発生器は、封止された組織を切断するために使用することができる。本開示の態様は、ハブのモジュール式エンクロージャ１３６が様々な発生器を収容して、これらの間のインタラクティブ通信を促進するように構成されているという解決法を提示する。ハブのモジュール式エンクロージャ１３６の利点の１つは、様々なモジュールの迅速な取り外し及び／又は交換を可能にすることである。本開示の態様は、組織へのエネルギー印加を伴う外科処置で使用するためのモジュール式外科用エンクロージャを提示する。モジュール式外科用エンクロージャは、組織に印加するための第１のエネルギーを発生させるように構成された第１のエネルギー発生器モジュールと、第１のデータ及び電力接点を含む第１のドッキングポートを備える第１のドッキングステーションと、を含み、第１のエネルギー発生器モジュールは、電力及びデータ接点と電気的に係合するように摺動可能に移動可能であり、また第１のエネルギー発生器モジュールは、第１の電力及びデータ接点との電気的係合から外れるように摺動可能に移動可能である。上記に対して更に、モジュール式外科用エンクロージャはまた、第１のエネルギーとは異なる、組織に印加するための第２のエネルギーを発生させるように構成された第２のエネルギー発生器モジュールと、第２のデータ接点及び電力接点を含む第２のドッキングポートを備える第２のドッキングステーションと、を含み、第２のエネルギー発生器モジュールは、電力接点及びデータ接点と電気的に係合するように摺動可能に移動可能であり、また第２のエネルギー発生器モジュールは、第２の電力接点及びデータ接点との電気的係合から外れるように摺動可能に移動可能である。加えて、モジュール式外科用エンクロージャはまた、第１のエネルギー発生器モジュールと第２のエネルギー発生器モジュールとの間の通信を容易にするように構成されている、第１のドッキングポートと第２のドッキングポートとの間の通信バスを含む。図３を参照すると、発生器モジュール１４０と、排煙モジュール１２６と、吸引／灌注モジュール１２８との、モジュール式統合を可能にするハブのモジュール式エンクロージャ１３６に関する本開示の態様が提示される。ハブのモジュール式エンクロージャ１３６は、モジュール１４０とモジュール１２６とモジュール１２８と間のインタラクティブ通信を更に促進する。発生器モジュール１４０は、ハブのモジュール式エンクロージャ１３６に摺動可能に挿入可能な単一のハウジングユニット内に支持される、一体化された単極構成要素、双極構成要素、及び超音波構成要素を備える発生器モジュールであってもよい。発生器モジュール１４０は、単極デバイス１４２、双極デバイス１４４、及び超音波デバイス１４６に接続するように構成することができる。代替的に、発生器モジュール１４０は、ハブのモジュール式エンクロージャ１３６を介して相互作用する一連の単極発生器モジュール、双極発生器モジュール、及び／又は超音波発生器モジュールを備えてもよい。ハブのモジュール式エンクロージャ１３６は、複数の発生器が単一の発生器として機能するように、複数の発生器の挿入と、ハブのモジュール式エンクロージャ１３６にドッキングされた発生器間のインタラクティブ通信と、を促進するように構成されてもよい。
【0028】
図４は、医療施設の１つ以上の手術室、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置するモジュール式デバイスをクラウドベースのシステム（例えば、ストレージデバイス２０５に連結されたリモートサーバ２１３を含み得るクラウド２０４）に接続するように構成されたモジュール式通信ハブ２０３を備える外科用データネットワーク２０１を示す。一態様では、モジュール式通信ハブ２０３は、ネットワークルータと通信するネットワークハブ２０７及び／又はネットワークスイッチ２０９を備える。モジュール式通信ハブ２０３はまた、ローカルコンピュータシステム２１０に連結することができ、ローカルコンピュータ処理及びデータ操作を提供することができる。外科用データネットワーク２０１は、パッシブ、インテリジェント、又は切り替え式として構成されてもよい。受動的外科用データネットワークはデータの導管として機能し、データが１つのデバイス（又はセグメント）から別のデバイス（又はセグメント）に、及びクラウドコンピューティングリソースに行くことを可能にする。インテリジェント外科用データネットワークは、トラフィックがモニタリング対象の外科用データネットワークを通過することを可能にし、ネットワークハブ２０７又はネットワークスイッチ２０９内の各ポートを構成する追加の機構を含む。インテリジェント外科用データネットワークは、管理可能なハブ又はスイッチと称され得る。スイッチングハブは、各パケットの宛先アドレスを読み取り、次いでパケットを正しいポートに転送する。
【0029】
手術室に位置するモジュール式デバイス１ａ～１ｎは、モジュール式通信ハブ２０３に連結されてもよい。ネットワークハブ２０７及び／又はネットワークスイッチ２０９は、ネットワークルータ２１１に連結されて、デバイス１ａ～１ｎをクラウド２０４又はローカルコンピュータシステム２１０に接続することができる。デバイス１ａ～１ｎに関連付けられたデータは、遠隔データ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送されてもよい。デバイス１ａ～１ｎに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム２１０に転送されてもよい。同じ手術室に位置するモジュール式デバイス２ａ～２ｍもまた、ネットワークスイッチ２０９に連結されてもよい。ネットワークスイッチ２０９は、ネットワークハブ２０７及び／又はネットワークルータ２１１に連結されて、デバイス２ａ～２ｍをクラウド２０４に接続することができる。デバイス２ａ～２ｎに関連付けられたデータは、データ処理及び操作のためにネットワークルータ２１１を介してクラウド２０４に転送されてもよい。デバイス２ａ～２ｍに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム２１０に転送されてもよい。
【0030】
複数のネットワークハブ２０７及び／又は複数のネットワークスイッチ２０９を複数のネットワークルータ２１１と相互接続することによって、外科用データネットワーク２０１が拡張され得ることが理解されるであろう。モジュール式通信ハブ２０３は、複数のデバイス１ａ～１ｎ／２ａ～２ｍを受容するように構成されたモジュール式制御タワー内に収容され得る。ローカルコンピュータシステム２１０もまた、モジュール式制御タワーに収容されてもよい。モジュール式通信ハブ２０３は、ディスプレイ２１２に接続されて、例えば、外科処置中に、デバイス１ａ～１ｎ／２ａ～２ｍのうちのいくつかによって取得された画像を表示する。様々な態様では、デバイス１ａ～１ｎ／２ａ～２ｍとしては、外科用データネットワーク２０１のモジュール式通信ハブ２０３に接続され得るモジュール式デバイスの中でもとりわけ、例えば、内視鏡に連結された撮像モジュール１３８、エネルギーベースの外科用デバイスに連結された発生器モジュール１４０、排煙モジュール１２６、吸引／灌注モジュール１２８、通信モジュール１３０、プロセッサモジュール１３２、ストレージアレイ１３４、ディスプレイに連結された外科用デバイス、及び／又は非接触センサモジュールなどの様々なモジュールが挙げられ得る。
【0031】
一態様では、外科用データネットワーク２０１は、デバイス１ａ～１ｎ／２ａ～２ｍをクラウドに接続する、ネットワークハブ（複数可）、ネットワークスイッチ（複数可）、及びネットワークルータ（複数可）との組み合わせを含んでもよい。ネットワークハブ又はネットワークスイッチに連結されたデバイス１ａ～１ｎ／２ａ～２ｍのいずれか１つ又は全ては、リアルタイムでデータを収集し、データ処理及び操作のためにデータをクラウドコンピュータに転送することができる。クラウドコンピューティングは、ソフトウェアアプリケーションを取り扱うために、ローカルサーバ又はパーソナルデバイスを有するのではなく、コンピューティングリソースを共有することに依存するということは理解されるであろう。「クラウド」という語は、「インターネット」の隠喩として使用され得るが、この用語はそのように限定はされない。したがって、「クラウドコンピューティング」という用語は、本明細書では「インターネットベースのコンピューティングの一種」を指すために使用することができ、この場合、サーバ、ストレージ、及びアプリケーションなどの様々なサービスは、インターネットを介して、手術現場（例えば、固定式、移動式、一時的、又は野外の手術室又は空間）に位置するモジュール式通信ハブ２０３及び／又はコンピュータシステム２１０に、かつモジュール式通信ハブ２０３及び／又はコンピュータシステム２１０に接続されたデバイスに送達される。クラウドインフラストラクチャは、クラウドサービスプロバイダによって維持され得る。この文脈において、クラウドサービスプロバイダは、１つ以上の手術室内に位置するデバイス１ａ～１ｎ／２ａ～２ｍの使用及び制御を調整する事業体であり得る。クラウドコンピューティングサービスは、スマート外科用器具、ロボット、及び手術室内に位置する他のコンピュータ化デバイスによって収集されたデータに基づいて多数の計算を実施することができる。ハブハードウェアは、複数のデバイス又は接続部がクラウドコンピューティングリソース及びストレージと通信するコンピュータに接続することを可能にする。
【0032】
デバイス１ａ～１ｎ／２ａ～２ｍによって収集されたデータにクラウドコンピュータデータ処理技術を適用することで、外科用データネットワークは、外科的結果の改善、コスト低減、及び患者満足度の改善を提供することができる。組織の封止及び切断処置後に、組織の状態を観察して封止された組織の漏出又は灌流を評価するために、デバイス１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。クラウドベースのコンピューティングを使用して、身体組織のサンプルの画像を含むデータを診断目的で検査して疾患の影響などの病理を識別するために、デバイス１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。そのようなデータには、組織の位置特定及びマージン確認並びに表現型が含まれ得る。撮像デバイスと一体化された様々なセンサを使用し、かつ複数の撮像デバイスによって捕捉された画像をオーバーレイするなどの技術を使用して、身体の解剖学的構造を識別するために、デバイス１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。画像データを含む、デバイス１ａ～１ｎ／２ａ～２ｍによって収集されたデータは、画像処理及び操作を含むデータ処理及び操作のために、クラウド２０４若しくはローカルコンピュータシステム２１０又はその両方に転送されてもよい。データは、組織特異的部位及び状態に対する内視鏡的介入、新興技術、標的化放射線、標的化介入及び精密ロボットの適用などの更なる治療を遂行できるかを判定することによって、外科処置の結果を改善するために分析されてもよい。こうしたデータ分析は、予後分析処理を更に用いてもよく、標準化された手法を使用することは、外科的治療及び外科医の挙動を確認するか、又は外科的治療及び外科医の挙動に対する修正を提案するかのいずれかのために有益なフィードバックを提供することができる。
【0033】
手術室デバイス１ａ～１ｎは、ネットワークハブに対するデバイス１ａ～１ｎの構成に応じて有線チャネル又は無線チャネルを介して、モジュール式通信ハブ２０３に接続されてもよい。ネットワークハブ２０７は、一態様では、開放型システム間相互接続（Open System Interconnection、ＯＳＩ）モデルの物理層上で機能するローカルネットワークブロードキャストデバイスとして実装されてもよい。ネットワークハブは、同じ手術室ネットワーク内に位置するデバイス１ａ～１ｎに接続性を提供し得る。ネットワークハブ２０７は、パケットの形態のデータを収集し得るが、それらを半二重モードでルータに送信する。ネットワークハブ２０７は、いかなるデバイスデータを転送するための媒体アクセス制御／インターネットプロトコル（media access control/Internet Protocol、ＭＡＣ／ＩＰ）も記憶しなくてもよい。デバイス１ａ～１ｎのうちの１つのみが、ネットワークハブ２０７を介して一度にデータを送信することができる。ネットワークハブ２０７は、情報の送信先に関するルーティングテーブル又はインテリジェンスを有さなくてもよく、全てのネットワークデータを各コネクション全体及びクラウド２０４上のリモートサーバ２１３（図４）にブロードキャストする。ネットワークハブ２０７は、コリジョンなどの基本的なネットワークエラーを検出することができるが、全ての情報を複数のポートにブロードキャストすることは、セキュリティリスクとなりボトルネックを引き起こすおそれがある。
【0034】
手術室デバイス２ａ～２ｍは、有線チャネル又は無線チャネルを介してネットワークスイッチ２０９に接続されてもよい。ネットワークスイッチ２０９は、ＯＳＩモデルのデータリンク層内で機能する。ネットワークスイッチ２０９は、同じ手術室内に位置するデバイス２ａ～２ｍをネットワークに接続するためのマルチキャストデバイスであり得る。ネットワークスイッチ２０９は、フレームの形態のデータをネットワークルータ２１１に送信し得るが、全二重モードで機能する。複数のデバイス２ａ～２ｍは、ネットワークスイッチ２０９を介して同時にデータを送信することができる。ネットワークスイッチ２０９は、データを転送するためにデバイス２ａ～２ｍのＭＡＣアドレスを記憶し、かつ使用する。
【0035】
ネットワークハブ２０７及び／又はネットワークスイッチ２０９は、クラウド２０４に接続するためにネットワークルータ２１１に連結され得る。ネットワークルータ２１１は、ＯＳＩモデルのネットワーク層内で機能する。ネットワークルータ２１１は、デバイス１ａ～１ｎ／２ａ～２ｍのいずれか１つ又は全てによって収集されたデータを更に処理し、かつ操作するために、ネットワークハブ２０７及び／又はネットワークスイッチ２１１から受信したデータパケットをクラウドベースのコンピュータリソースに送信するための経路を作成する。ネットワークルータ２１１は、例えば、同じ医療施設の異なる手術室又は異なる医療施設の異なる手術室に位置する異なるネットワークなどの、異なる位置に位置する２つ以上の異なるネットワークを接続するために用いられてもよい。ネットワークルータ２１１は、パケットの形態のデータをクラウド２０４に送信し得、全二重モードで機能する。複数のデバイスが同時にデータを送信することができる。ネットワークルータ２１１は、データを転送するためにＩＰアドレスを使用する。
【0036】
一例では、ネットワークハブ２０７は、複数のＵＳＢデバイスをホストコンピュータに接続することを可能にするＵＳＢハブとして実装されてもよい。ＵＳＢハブは、デバイスをホストシステムコンピュータに接続するために利用可能なポートが多くなるように、単一のＵＳＢポートをいくつかの階層に拡張することができる。ネットワークハブ２０７は、有線チャネル又は無線チャネルを介して情報を受信するための有線機能又は無線機能を含むことができる。一態様では、無線ＵＳＢ短距離高帯域無線通信プロトコルが、手術室内に位置するデバイス１ａ～１ｎとデバイス２ａ～２ｍとの間の通信のために用いられてもよい。
【0037】
いくつかの実施例では、手術室デバイス１ａ～１ｎ／２ａ～２ｍは、固定及びモバイルデバイスから短距離にわたってデータを交換し（２．４～２．４８５ＧＨｚのＩＳＭ帯域における短波長ＵＨＦ電波を使用して）、かつパーソナルエリアネットワーク（personal area network、ＰＡＮ）を構築するために、Ｂｌｕｅｔｏｏｔｈ無線技術規格を介してモジュール式通信ハブ２０３と通信することができる。手術室デバイス１ａ～１ｎ／２ａ～２ｍは、数多くの無線又は有線通信規格又はプロトコルを介してモジュール式通信ハブ２０３と通信することができ、そのような規格又はプロトコルとしては、Ｗｉ－Ｆｉ（ＩＥＥＥ８０２．１１ファミリー）、ＷｉＭＡＸ（ＩＥＥＥ８０２．１６ファミリー）、ＩＥＥＥ８０２．２０、ニューラジオ（new radio、ＮＲ）、ロング・ターム・エボリューション（long-term evolution、ＬＴＥ）並びにＥｖ－ＤＯ、ＨＳＰＡ＋、ＨＳＤＰＡ＋、ＨＳＵＰＡ＋、ＥＤＧＥ、ＧＳＭ、ＧＰＲＳ、ＣＤＭＡ、ＴＤＭＡ、ＤＥＣＴ及びこれらのイーサネット派生物のみならず３Ｇ、４Ｇ、５Ｇ及びそれ以降と指定される任意の他の無線及び有線プロトコルが挙げられるがこれらに限定されない。コンピューティングモジュールは、複数の通信モジュールを含んでもよい。例えば、第１の通信モジュールは、Ｗｉ－Ｆｉ及びＢｌｕｅｔｏｏｔｈなどのより短距離の無線通信専用であってもよく、第２の通信モジュールは、ＧＰＳ、ＥＤＧＥ、ＧＰＲＳ、ＣＤＭＡ、ＷｉＭＡＸ、ＬＴＥ、Ｅｖ－ＤＯなどのより長距離の無線通信専用であってもよい。
【0038】
モジュール式通信ハブ２０３は、手術室デバイス１ａ～１ｎ／２ａ～２ｍの１つ又は全ての中央接続部として機能することができ、フレームとして知られるデータ型を取り扱い得る。フレームは、デバイス１ａ～１ｎ／２ａ～２ｍによって生成されたデータを搬送し得る。フレームがモジュール式通信ハブ２０３によって受信されると、フレームは増幅されてネットワークルータ２１１へ送信され、ネットワークルータ２１１は本明細書に記載されるように、数多くの無線又は有線通信規格又はプロトコルを使用することによって、このデータをクラウドコンピューティングリソースに転送する。
【0039】
モジュール式通信ハブ２０３は、スタンドアロンのデバイスとして使用されてもよいか、又はより大きなネットワークを形成するために互換性のあるネットワークハブ及びネットワークスイッチに接続されてもよい。モジュール式通信ハブ２０３は、一般に据え付け、構成、及び維持が容易であり得るため、モジュール式通信ハブ２０３は手術室デバイス１ａ～１ｎ／２ａ～２ｍをネットワーク接続するための良好な選択肢となり得る。
【0040】
図５は、コンピュータ実装インタラクティブ外科用システム２００を示す。コンピュータ実装インタラクティブ外科用システム２００は、多くの点で、コンピュータ実装インタラクティブ外科用システム１００と類似している。例えば、コンピュータ実装インタラクティブ外科用システム２００は、多くの点で外科用システム１０２と類似する１つ以上の外科用システム２０２を含む。各外科用システム２０２は、リモートサーバ２１３を含み得るクラウド２０４と通信する少なくとも１つの外科用ハブ２０６を含む。一態様では、コンピュータ実装インタラクティブ外科用システム２００は、例えば、インテリジェント外科用器具、ロボット、及び手術室内に位置する他のコンピュータ化デバイスなどの、複数の手術室デバイスに接続されたモジュール式制御タワー２３６を備える。図６に示すように、モジュール式制御タワー２３６は、コンピュータシステム２１０に連結されたモジュール式通信ハブ２０３を備える。
【0041】
図５の実施例に示すように、モジュール式制御タワー２３６は、内視鏡２３９に連結され得る撮像モジュール２３８と、エネルギーデバイス２４１に連結され得る発生器モジュール２４０と、排煙器モジュール２２６と、吸引／灌注モジュール２２８と、通信モジュール２３０と、プロセッサモジュール２３２と、ストレージアレイ２３４と、任意選択的にディスプレイ２３７に連結されたスマートデバイス／器具２３５と、非接触センサモジュール２４２と、に連結され得る。手術室デバイスは、モジュール式制御タワー２３６を介してクラウドコンピューティングリソース及びデータストレージに連結され得る。ロボットハブ２２２もまた、モジュール式制御タワー２３６及びクラウドコンピューティングリソースに接続されてもよい。とりわけ、デバイス／器具２３５、可視化システム２０８が、本明細書に記載されるように、有線通信又は無線通信の規格又はプロトコルを介して、モジュール式制御タワー２３６に連結されてもよい。モジュール式制御タワー２３６は、撮像モジュール、デバイス／器具ディスプレイ及び／又は他の可視化システム２０８から受信した画像を表示し、かつオーバーレイするためにハブディスプレイ２１５（例えば、モニタ、スクリーン）に連結されてもよい。ハブディスプレイはまた、モジュール式制御タワーに接続されたデバイスから受信されたデータを、画像及びオーバーレイされた画像と共に表示してもよい。
【0042】
図６は、モジュール式制御タワー２３６に連結された複数のモジュールを備える外科用ハブ２０６を示す。モジュール式制御タワー２３６は、例えば、ネットワーク接続デバイスなどのモジュール式通信ハブ２０３と、例えば、ローカルでの処理、可視化、及び撮像を行うためのコンピュータシステム２１０と、を備え得る。図６に示すように、モジュール式通信ハブ２０３は、モジュール式通信ハブ２０３に接続されてもよいモジュール（例えば、デバイス）の数を拡張するために階層化構成で接続されてもよく、モジュールに関連付けられたデータをコンピュータシステム２１０、クラウドコンピューティングリソース、又はその両方に転送してもよい。図６に示すように、モジュール式通信ハブ２０３内のネットワークハブ／スイッチの各々は、３つの下流ポート及び１つの上流ポートを含み得る。上流のネットワークハブ／スイッチは、クラウドコンピューティングリソース及びローカルディスプレイ２１７への通信接続を提供するためにプロセッサに接続され得る。クラウド２０４への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。
【0043】
外科用ハブ２０６は、手術室の寸法を測定するため、また超音波非接触測定デバイス又はレーザ型非接触測定デバイスのいずれかを使用して手術現場のマップを生成するために、非接触センサモジュール２４２を使用し得る。それら両方の開示内容全体が参照により本明細書に組み込まれる、「ＩＮＴＥＲＡＣＴＩＶＥ ＳＵＲＧＩＣＡＬ ＰＬＡＴＦＯＲＭ」と題する、２０１７年１２月２８日出願の米国特許仮出願第６２／６１１，３４１号中の「Ｓｕｒｇｉｃａｌ Ｈｕｂ Ｓｐａｔｉａｌ Ａｗａｒｅｎｅｓｓ Ｗｉｔｈｉｎ ａｎ Ｏｐｅｒａｔｉｎｇ Ｒｏｏｍ」の項、及び「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する、２０１８年１２月４日出願の米国特許出願公開第２０１９－０２００８４４（Ａ１）号で説明されるように、超音波ベースの非接触センサモジュールは、超音波のバーストを送信し、超音波のバーストが手術室の外壁に反射したときのエコーを受信することによって手術室を走査し得、ここでセンサモジュールが、手術室のサイズを判定し、かつＢｌｕｅｔｏｏｔｈペアリングの距離限界を調整するように構成される。レーザベースの非接触センサモジュールは、例えば、レーザ光パルスを送信することによって手術室を走査し、手術室の外壁に反射するレーザ光パルスを受信し、送信されたパルスの位相を受信したパルスと比較して手術室のサイズを判定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調整し得る。
【0044】
コンピュータシステム２１０は、プロセッサ２４４と、ネットワークインターフェース２４５と、を備え得る。プロセッサ２４４は、システムバスを介して、通信モジュール２４７、ストレージ２４８、メモリ２４９、不揮発性メモリ２５０及び入力／出力インターフェース２５１に連結され得る。システムバスは、任意の様々な利用可能なバスアーキテクチャを使用する、メモリバス若しくはメモリコントローラ、ペリフェラルバス若しくは外部バス、及び／又はローカルバスを含むいくつかのタイプのバス構造（複数可）のうちのいずれかであってもよく、それらのアーキテクチャの例としては、９ビットバス、業界標準アーキテクチャ（industrial standard architecture、ＩＳＡ）、マイクロシャルメルアーキテクチャ（micro-charmel architecture、ＭＳＡ）、拡張ＩＳＡ（extended ISA、ＥＩＳＡ）、インテリジェントドライブエレクトロニクス（intelligent drive electronics、ＩＤＥ）、ＶＥＳＡローカルバス（VESA local bus、ＶＬＢ）、周辺デバイス相互接続（peripheral component interconnect、ＰＣＩ）、ＵＳＢ、アドバンスドグラフィックスポート（advanced graphics port、ＡＧＰ）、パーソナルコンピュータメモリカード国際協会バス（personal computer memory card international association、ＰＣＭＣＩＡ）、小型計算機システムインターフェース（small computer systems interface、ＳＣＳＩ）、又は任意の他の独自バスが挙げられるが、これらに限定されない。
【0045】
プロセッサ２４４は、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＡＲＭ Ｃｏｒｔｅｘの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであってもよい。一態様では、プロセッサは、例えば、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。このプロセッサコアは、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルシリアルランダムアクセスメモリ（single-cycle serial random access memory、ＳＲＡＭ）、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部読み出し専用メモリ（read-only memory、ＲＯＭ）、２ＫＢの電気的消去可能プログラマブル読み出し専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）及び／又は、１つ以上のパルス幅変調（pulse width modulation、ＰＷＭ）モジュール、１つ以上の直交エンコーダ入力（quadrature encoder input、ＱＥＩ）アナログ、１２個のアナログ入力チャネルを備える１つ以上の１２ビットアナログ－デジタル変換器（analog-to-digital converter、ＡＤＣ）を含み、その詳細は、製品データシートで入手可能である。
【0046】
一態様では、プロセッサ２４４は、同じくＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＨｅｒｃｕｌｅｓ ＡＲＭ Ｃｏｒｔｅｘ Ｒ４の商品名で知られるＴＭＳ５７０及びＲＭ４ｘなどの２つのコントローラベースのファミリーを含む安全コントローラを含んでもよい。安全コントローラは、拡張性のある性能、接続性及びメモリの選択肢を提供しながら、高度な集積型安全機構を提供するために、とりわけ、ＩＥＣ６１５０８及びＩＳＯ２６２６２の安全限界用途専用に構成されてもよい。
【0047】
システムメモリとしては、揮発性メモリ及び不揮発性メモリが挙げられ得る。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム（basic input/output system、ＢＩＯＳ）は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ＲＯＭ、プログラマブルＲＯＭ（programmable ROM、ＰＲＯＭ）、電気的プログラマブルＲＯＭ（electrically programmable ROM、ＥＰＲＯＭ）、ＥＥＰＲＯＭ、又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ（random-access memory、ＲＡＭ）が挙げられる。更に、ＲＡＭは、ＳＲＡＭ、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）、シンクロナスＤＲＡＭ（synchronous DRAM、ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（double data rate SDRAM、ＤＤＲ ＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（enhanced SDRAM、ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（Synchlink DRAM、ＳＬＤＲＡＭ）、及びダイレクトランバスＲＡＭ（direct Rambus RAM、ＤＲＲＡＭ）などの多くの形態で利用可能である。
【0048】
コンピュータシステム２１０はまた、取り外し可能／取り外し不可能な、揮発性／不揮発性のコンピュータストレージ媒体、例えば、ディスク記憶デバイスなどを含み得る。ディスク記憶デバイスとしては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ－６０ドライブ、フラッシュメモリカード、又はメモリスティックのようなデバイスが挙げられ得るが、これらに限定されない。加えて、ディスク記憶デバイスは、上記の記憶媒体を、独立して、又は他の記憶媒体との組み合わせで含むことができる。他の記憶媒体としては、コンパクトディスクＲＯＭデバイス（compact disc ROM、ＣＤ－ＲＯＭ）、コンパクトディスク記録可能ドライブ（compact disc recordable、ＣＤ－Ｒドライブ）、コンパクトディスク書き換え可能ドライブ（compact disc rewritable、ＣＤ－ＲＷドライブ）、若しくはデジタル多用途ディスクＲＯＭドライブ（digital versatile disc ROM、ＤＶＤ－ＲＯＭ）などの光ディスクドライブが挙げられるがこれらに限定されない。ディスク記憶デバイスのシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。
【0049】
コンピュータシステム２１０は、好適な動作環境で説明されるユーザと基本コンピュータリソースとの間で媒介として機能するソフトウェアを含み得るということを理解されたい。このようなソフトウェアとしてはオペレーティングシステムが挙げられ得る。ディスク記憶デバイス上に記憶され得るオペレーティングシステムは、コンピュータシステムのリソースを制御し、割り当てるように機能し得る。システムアプリケーションは、システムメモリ内又はディスク記憶デバイス上のいずれかに記憶されたプログラムモジュール及びプログラムデータを介して、オペレーティングシステムによるリソース管理を活用し得る。本明細書に記載される様々な構成要素は、様々なオペレーティングシステム又はオペレーティングシステムの組み合わせで実装することができるということを理解されたい。
【0050】
ユーザは、Ｉ／Ｏインターフェース２５１に連結された入力デバイス（複数可）を介してコンピュータシステム２１０にコマンド又は情報を入力し得る。入力デバイスとしては、マウス、トラックボール、スタイラス、タッチパッドなどのポインティングデバイス、キーボード、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、ＴＶチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなどが挙げられ得るが、これらに限定されない。これら及び他の入力デバイスは、インターフェースポート（複数可）を介し、システムバスを通じてプロセッサに接続する。インターフェースポート（複数可）としては、例えば、シリアルポート、パラレルポート、ゲームポート、及びＵＳＢが挙げられる。出力デバイスは（複数可）、入力デバイス（複数可）と同じタイプのポートのうちのいくつかを使用する。したがって、例えば、ＵＳＢポートを使用して、コンピュータシステムに入力を提供し、コンピュータシステムからの情報を出力デバイスに出力してもよい。出力アダプタは、特別なアダプタを必要とする場合がある出力デバイスの中でもとりわけ、モニタ、ディスプレイ、スピーカ、及びプリンタなどのいくつかの出力デバイスが存在することを示すために提供され得る。出力アダプタとしては、出力デバイスとシステムバスとの間の接続手段を提供するビデオ及びサウンドカードが挙げられ得るが、これは例示としてのものであり、限定するものではない。リモートコンピュータ（複数可）などの他のデバイス及び／又はデバイスのシステムは、入力機能及び出力機能の両方を提供し得るということに留意されたい。
【0051】
コンピュータシステム２１０は、クラウドコンピュータ（複数可）などの１つ以上のリモートコンピュータ又はローカルコンピュータへの論理接続を使用するネットワーク化環境で動作することができる。リモートクラウドコンピュータ（複数可）は、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサベースの機器、ピアデバイス又は他の一般的なネットワークノードなどであり得るが、典型的には、コンピュータシステムに関して説明される要素の多く又は全てを含む。簡潔にするために、リモートコンピュータ（複数可）と共に、メモリストレージデバイスのみが示される。リモートコンピュータ（複数可）は、ネットワークインターフェースを介してコンピュータシステムに論理的に接続され、続いて、通信接続部を介して物理的に接続され得る。ネットワークインターフェースは、ローカルエリアネットワーク（local area network、ＬＡＮ）及びワイドエリアネットワーク（wide area network、ＷＡＮ）などの通信ネットワークを包含し得る。ＬＡＮ技術としては、光ファイバ分散データインターフェース（fiber distributed data interface、ＦＤＤＩ）、銅線分散データインターフェース（copper distributed data interface、ＣＤＤＩ）、Ｅｔｈｅｒｎｅｔ／ＩＥＥＥ８０２．３、Ｔｏｋｅｎ Ｒｉｎｇ／ＩＥＥＥ８０２．５などが挙げられ得る。ＷＡＮ技術としては、ポイントツーポイントリンク、統合サービスデジタルネットワーク（integrated services digital network、ＩＳＤＮ）及びその変形などの回路交換ネットワーク、パケット交換ネットワーク並びにデジタル加入者回線（digital subscriber line、ＤＳＬ）が挙げられ得るが、これらに限定されない。
【0052】
様々な態様では、図６のコンピュータシステム２１０、図５～図６の撮像モジュール２３８、及び／又は可視化システム２０８、及び／又はプロセッサモジュール２３２は、画像プロセッサ、画像処理エンジン、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ（digital signal processor、ＤＳＰ）を含んでもよい。画像プロセッサは、単一命令複数データ（single instruction, multiple data、ＳＩＭＤ）技術、又は複数命令複数データ（multiple instruction, multiple data、ＭＩＭＤ）技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。
【0053】
通信接続部（複数可）とは、ネットワークインターフェースをバスに接続するために用いられるハードウェア／ソフトウェアを指し得る。例示の明瞭さのため、通信接続部は、コンピュータシステム内部に示されているが、通信接続部は、コンピュータシステム２１０の外部にあってもよい。例示のみを目的として、ネットワークインターフェースへの接続に必要なハードウェア／ソフトウェアとしては、通常の電話グレードモデム、ケーブルモデム及びＤＳＬモデムを含むモデム、ＩＳＤＮアダプタ並びにイーサネットカードなどの内部及び外部技術が挙げられ得る。
【0054】
図７は、本開示の１つ以上の態様による、外科用器具又はツールの制御システム４７０の論理図を示す。システム４７０は、制御回路を備え得る。制御回路は、プロセッサ４６２及びメモリ４６８を備えるマイクロコントローラ４６１を含み得る。例えば、センサ４７２、４７４、４７６のうちの１つ以上が、プロセッサ４６２にリアルタイムなフィードバックを提供する。モータドライバ４９２によって駆動されるモータ４８２は、長手方向に移動可能な変位部材を動作可能に連結して、Ｉビームナイフ要素を駆動する。追跡システム４８０は、長手方向に移動可能な変位部材の位置を判定するように構成され得る。位置情報は、長手方向に移動可能な駆動部材の位置、並びに発射部材、発射バー、及びＩビームナイフ要素の位置を判定するようにプログラム又は構成することができるプロセッサ４６２に提供され得る。追加のモータが、Ｉビームの発射、閉鎖管の移動、シャフトの回転、及び関節運動を制御するために、ツールドライバインターフェースに設けられてもよい。ディスプレイ４７３は、器具の様々な動作条件を表示してもよく、データ入力のためのタッチスクリーン機能を含んでもよい。ディスプレイ４７３上に表示された情報は、内視鏡撮像モジュールを介して取得された画像とオーバーレイさせることができる。
【0055】
一態様では、マイクロコントローラ４６１は、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＡＲＭ Ｃｏｒｔｅｘの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであってもよい。一態様では、主マイクロコントローラ４６１は、例えば、その詳細が製品データシートで入手可能である、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルＳＲＡＭ、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部ＲＯＭ、２ＫＢのＥＥＰＲＯＭ、１つ以上のＰＷＭモジュール、１つ以上のＱＥＩアナログ、及び／又は１２個のアナログ入力チャネルを備える１つ以上の１２ビットＡＤＣを含む、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。
【0056】
一態様では、マイクロコントローラ４６１は、同じくＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＨｅｒｃｕｌｅｓ ＡＲＭ Ｃｏｒｔｅｘ Ｒ４の商品名で知られるＴＭＳ５７０及びＲＭ４ｘなどの２つのコントローラベースのファミリーを含む安全コントローラを含んでもよい。安全コントローラは、拡張性のある性能、接続性、及びメモリの選択肢を提供しながら、高度な集積型安全機構を提供するために、とりわけ、ＩＥＣ６１５０８及びＩＳＯ２６２６２の安全限界用途専用に構成されてもよい。
【0057】
マイクロコントローラ４６１は、ナイフ及び関節運動システムの速さ及び位置に対する精密制御など、様々な機能を実施するようにプログラムされてもよい。一態様では、マイクロコントローラ４６１は、プロセッサ４６２及びメモリ４６８を含み得る。電気モータ４８２は、ギアボックス、及び関節運動又はナイフシステムへの機械的連結部を備えたブラシ付き直流（direct current、ＤＣ）モータであってもよい。一態様では、モータドライバ４９２は、Ａｌｌｅｇｒｏ Ｍｉｃｒｏｓｙｓｔｅｍｓ，Ｉｎｃから入手可能なＡ３９４１であってもよい。他のモータドライバを、絶対位置付けシステムを備える追跡システム４８０で使用するために容易に代用することができる。絶対位置決めシステムに関する詳細な説明は、その全体が参照により本明細書に組み込まれる「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＳＴＡＰＬＩＮＧ ＡＮＤ ＣＵＴＴＩＮＧ ＩＮＳＴＲＵＭＥＮＴ」と題する２０１７年１０月１９日公開の米国特許出願公開第２０１７／０２９６２１３号に記載されている。
【0058】
マイクロコントローラ４６１は、変位部材及び関節運動システムの速さ及び位置に対する正確な制御を提供するようにプログラムされてもよい。マイクロコントローラ４６１は、マイクロコントローラ４６１のソフトウェア内で応答を計算するように構成されてもよい。計算された応答は、実際のシステムの測定された応答と比較されて「観測された」応答を得てもよく、この「観測された」応答が、実際のフィードバックの判定に使用される。観測された応答は、シミュレートされた応答の滑らかで連続的な性質と、測定された応答とのバランスをとる好適な調整された値であり得るが、これにより、システムに及ぼす外部の影響を検出することができる。
【0059】
いくつかの例では、モータ４８２は、モータドライバ４９２によって制御されてもよく、外科用器具又はツールの発射システムによって用いられ得る。様々な形態において、モータ４８２は、例えば、約２５，０００ＲＰＭの最大回転速度を有するブラシ付きＤＣ駆動モータであってもよい。いくつかの例では、モータ４８２としては、ブラシレスモータ、コードレスモータ、同期モータ、ステッパモータ、又は任意の他の好適な電気モータが挙げられ得る。モータドライバ４９２は、例えば、電界効果トランジスタ（field-effect transistor、ＦＥＴ）を含むＨブリッジドライバを備えてもよい。モータ４８２は、外科用器具又はツールに制御電力を供給するために、ハンドル組立体又はツールハウジングに解除可能に装着された電源組立体によって給電され得る。電源組立体は、外科用器具又はツールに給電するための電源として使用され得る、直列に接続された多数の電池セルを含み得る電池を備えてもよい。特定の状況下では、電源組立体の電池セルは、交換可能かつ／又は再充電可能であってもよい。少なくとも１つの例では、電池セルは、電源組立体に連結可能かつ電源組立体から分離可能であり得るリチウムイオン電池であり得る。
【0060】
モータドライバ４９２は、Ａｌｌｅｇｒｏ Ｍｉｃｒｏｓｙｓｔｅｍｓ，Ｉｎｃから入手可能なＡ３９４１であってもよい。Ａ３９４１ ４９２は、特にブラシ付きＤＣモータなどの誘導負荷を目的として設計された外部Ｎチャネルパワー金属酸化膜半導体電界効果トランジスタ（metal-oxide semiconductor field-effect transistor、ＭＯＳＦＥＴ）と共に使用するためのフルブリッジコントローラであり得る。ドライバ４９２は、固有の電荷ポンプレギュレータを備え得るが、このレギュレータは、完全（１０Ｖ超）ゲート駆動を７Ｖまでの電池電圧に提供することができ、Ａ３９４１が５．５Ｖまでの低減ゲート駆動で動作することを可能にし得る。ＮチャネルＭＯＳＦＥＴに必要な上記の電池供給電圧を与えるために、ブートストラップコンデンサが用いられてもよい。ハイサイド駆動用の内部電荷ポンプにより、ＤＣ（１００％デューティサイクル）動作が可能となる。フルブリッジは、ダイオード又は同期整流を使用して高速又は低速減衰モードで駆動され得る。低速減衰モードにおいて、電流の再循環は、ハイサイドのＦＥＴによっても、ローサイドのＦＥＴによっても可能である。電力ＦＥＴは、抵抗器で調節可能なデッドタイムによって、シュートスルーから保護され得る。統合診断は、低電圧、温度過昇、及びパワーブリッジの異常を示すものであり、ほとんどの短絡状態下でパワーＭＯＳＦＥＴを保護するように構成され得る。他のモータドライバを、絶対位置決めシステムを備えた追跡システム４８０で使用するために容易に代用することができる。
【0061】
追跡システム４８０は、本開示の一態様による位置センサ４７２を備える制御されたモータ駆動回路配置を備え得る。絶対位置付けシステム用の位置センサ４７２は、変位部材の位置に対応する固有の位置信号を提供し得る。いくつかの例では、変位部材は、ギア減速機組立体の対応する駆動ギアと噛合係合するための駆動歯のラックを備える長手方向に移動可能な駆動部材を表し得る。いくつかの例では、変位部材は、駆動歯のラックを含むように適合され、構成され得る発射部材を表し得る。いくつかの例では、変位部材は、発射バー又はＩビームを表し得るが、それらの各々は、駆動歯のラックを含むように適合され、構成され得る。したがって、本明細書で使用するとき、変位部材という用語は、一般的に、駆動部材、発射部材、発射バー、Ｉビーム、又は変位され得る任意の要素など、外科用器具又はツールの任意の可動部材を指すために使用され得る。一態様では、長手方向に移動可能な駆動部材は、発射部材、発射バー、及びＩビームに連結され得る。したがって、絶対位置決めシステムは、実際には、長手方向に移動可能な駆動部材の直線変位を追跡することによって、Ｉビームの直線変位を追跡することができる。様々な態様では、変位部材は、直線変位を測定するのに好適な任意の位置センサ４７２に連結されてもよい。したがって、長手方向に移動可能な駆動部材、発射部材、発射バー、若しくはＩビーム、又はそれらの組み合わせは、任意の好適な直線変位センサに連結されてもよい。直線変位センサは、接触式変位センサ又は非接触式変位センサを含んでもよい。直線変位センサは、線形可変差動変圧器（linear variable differential transformer、ＬＶＤＴ）、差動可変磁気抵抗型変換器（differential variable reluctance transducer、ＤＶＲＴ）、スライドポテンショメータ、移動可能な磁石及び一連の直線状に配置されたホール効果センサを備える磁気感知システム、固定された磁石及び一連の移動可能な直線状に配置されたホール効果センサを備える磁気感知システム、移動可能な光源及び一連の直線状に配置された光ダイオード若しくは光検出器を備える光学検出システム、固定された光源及び一連の移動可能な直線状に配置された光ダイオード若しくは光検出器を備える光学検出システム、又はこれらの任意の組み合わせを含んでもよい。
【0062】
電気モータ４８２は、変位部材上の駆動歯の組又はラックと噛合係合で装着されるギア組立体と動作可能にインターフェースする回転式シャフトを含んでもよい。センサ素子は、位置センサ４７２素子の１回転が、変位部材のいくつかの直線長手方向並進に対応するように、ギア組立体に動作可能に連結されてもよい。ギアリング及びセンサの構成は、ラックピニオン構成によって直線アクチュエータに、又はスパーギア若しくは他の接続によって回転アクチュエータに接続することができる。電源は、絶対位置決めシステムに電力を供給し得、出力インジケータは、絶対位置決めシステムの出力を表示し得る。変位部材は、ギア減速機アセンブリの対応する駆動ギアと噛合係合するための、その上に形成された駆動歯のラックを備える長手方向に移動可能な駆動部材を表し得る。変位部材は、長手方向に移動可能な発射部材、発射バー、Ｉビーム、又はこれらの組み合わせを表し得る。
【0063】
位置センサ４７２と関連付けられたセンサ素子の１回転は、変位部材の長手方向直線変位ｄ１に相当し得るが、ｄ１は、変位部材に連結されたセンサ素子の１回転した後で、変位部材が点「ａ」から点「ｂ」まで移動する長手方向の直線距離である。センサ機構は、位置センサ４７２が変位部材のフルストロークに対して１回以上の回転を完了する結果をもたらすギアの減速を介して連結されてもよい。位置センサ４７２は、変位部材のフルストロークに対して複数回の回転を完了することができる。
【0064】
位置センサ４７２の２回以上の回転に対する固有の位置信号を提供するために、一連のスイッチ（ここでｎは１よりも大きい整数である）が、単独で、又はギアの減速との組み合わせで用いられてもよい。スイッチの状態は、マイクロコントローラ４６１にフィードバックされてもよく、マイクロコントローラ４６１は、論理を適用して、変位部材の長手方向の直線変位ｄ１＋ｄ２＋．．．ｄｎに対応する固有の位置信号を判定する。位置センサ４７２の出力は、マイクロコントローラ４６１に提供される。センサ機構の位置センサ４７２は、位置信号又は値の固有の組み合わせを出力する、磁気センサ、電位差計などのアナログ回転センサ、又はアナログホール効果素子のアレイを備えてもよい。
【0065】
位置センサ４７２は、例えば、全磁界又は磁界のベクトル成分を測定するかどうかに従って分類される磁気センサなどの、任意の数の磁気感知素子を備えてもよい。両タイプの磁気センサを生産するために使用される技術は、物理学及び電子工学の多数の側面を含み得る。磁界の感知に使用される技術としては、とりわけ、探りコイル、フラックスゲート、光ポンピング、核摂動、ＳＱＵＩＤ、ホール効果、異方性磁気抵抗、巨大磁気抵抗、磁気トンネル接合、巨大磁気インピーダンス、磁歪／圧電複合材、磁気ダイオード、磁気トランジスタ、光ファイバ、磁気光学、及び微小電気機械システムベースの磁気センサが挙げられ得る。
【0066】
一態様では、絶対位置付けシステムを備える追跡システム４８０の位置センサ４７２は、磁気回転絶対位置付けシステムを備え得る。位置センサ４７２は、Ａｕｓｔｒｉａ Ｍｉｃｒｏｓｙｓｔｅｍｓ，ＡＧから入手可能なＡＳ５０５５ＥＱＦＴシングルチップ磁気回転位置センサとして実装されてもよい。位置センサ４７２は、マイクロコントローラ４６１とインターフェースされて絶対位置付けシステムを提供する。位置センサ４７２は、低電圧低電力の構成要素であり得るが、磁石の上方に位置する位置センサ４７２のエリアに、４つのホール効果素子を含む。また、高解像度ＡＤＣ及びスマート電力管理コントローラがチップ上に設けられ得る。加算、減算、ビットシフト、及びテーブル参照演算のみを必要とする、双曲線関数及び三角関数を計算する簡潔かつ効率的なアルゴリズムを実装するために、桁毎法及びボルダーアルゴリズムとしても知られる、座標回転デジタルコンピュータ（coordinate rotation digital computer、ＣＯＲＤＩＣ）プロセッサが設けられ得る。角度位置、アラームビット、及び磁界情報は、シリアル周辺インターフェース（serial peripheral interface、ＳＰＩ）インターフェースなどの標準的なシリアル通信インターフェースを介してマイクロコントローラ４６１に伝送され得る。位置センサ４７２は、１２ビット又は１４ビットの解像度を提供し得る。位置センサ４７２は、小型のＱＦＮ１６ピン４ｘ４ｘ０．８５ｍｍパッケージで提供されるＡＳ５０５５チップであってもよい。
【0067】
絶対位置付けシステムを備える追跡システム４８０は、ＰＩＤ、状態フィードバック、及び適応コントローラなどのフィードバックコントローラを備えてもよく、かつ／又はこれを実装するようにプログラムされてもよい。電源は、フィードバックコントローラからの信号を、システムへの物理的入力、この場合は電圧へと変換する。他の例としては、電圧、電流、及び力のＰＷＭが挙げられる。位置センサ４７２によって測定される位置に加えて、物理的システムの物理パラメータを測定するために、他のセンサ（複数可）が設けられてもよい。いくつかの態様では、他のセンサ（複数可）としては、その全体が参照により本明細書に組み込まれる、「ＳＴＡＰＬＥ ＣＡＲＴＲＩＤＧＥ ＴＩＳＳＵＥ ＴＨＩＣＫＮＥＳＳ ＳＥＮＳＯＲ ＳＹＳＴＥＭ」と題する２０１６年５月２４日発行の米国特許第９，３４５，４８１号、その全体が参照により本明細書に組み込まれる、「ＳＴＡＰＬＥ ＣＡＲＴＲＩＤＧＥ ＴＩＳＳＵＥ ＴＨＩＣＫＮＥＳＳ ＳＥＮＳＯＲ ＳＹＳＴＥＭ」と題する２０１４年９月１８日公開の米国特許出願公開第２０１４／０２６３５５２号、及びその全体が参照により本明細書に組み込まれる、「ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＡＤＡＰＴＩＶＥ ＣＯＮＴＲＯＬ ＯＦ ＭＯＴＯＲ ＶＥＬＯＣＩＴＹ ＯＦ Ａ ＳＵＲＧＩＣＡＬ ＳＴＡＰＬＩＮＧ ＡＮＤ ＣＵＴＴＩＮＧ ＩＮＳＴＲＵＭＥＮＴ」と題する２０１７年６月２０日出願の米国特許出願第１５／６２８，１７５号に記載されているものなどのセンサ配置を挙げることができる。デジタル信号処理システムでは、絶対位置付けシステムは、デジタルデータ取得システムに連結され、ここで絶対位置付けシステムの出力は、有限の解像度及びサンプリング周波数を有する。絶対位置付けシステムは、計算された応答を測定された応答に向けて駆動する加重平均及び理論制御ループなどのアルゴリズムを使用して、計算された応答を測定された応答と組み合わせるために、比較及び組み合わせ回路を備え得る。入力を知ることによって物理的システムの状態及び出力がどうなるかを予測するために、物理的システムの計算された応答は、質量、慣性、粘性摩擦、誘導抵抗などの特性を考慮に入れてもよい。
【0068】
絶対位置付けシステムは、単にモータ４８２がとった前方又は後方へのステップの数を計数してデバイスアクチュエータ、駆動バー、ナイフなどの位置を推定する従来の回転エンコーダで必要となり得るような、変位部材をリセット（ゼロ又はホーム）位置へ後退又は前進させることなしに、器具の電源投入時に変位部材の絶対位置を提供し得る。
【0069】
例えば、歪みゲージ又は微小歪みゲージなどのセンサ４７４は、例えば、アンビルに加えられる閉鎖力を示すことができる、クランプ動作中にアンビルに及ぼされる歪みの振幅などのエンドエフェクタの１つ以上のパラメータを測定するように構成され得る。測定された歪みは、デジタル信号に変換されて、プロセッサ４６２に提供され得る。センサ４７４の代わりに、又はこれに加えて、例えば、負荷センサなどのセンサ４７６が、閉鎖駆動システムによってアンビルに加えられる閉鎖力を測定することができる。例えば、負荷センサなどのセンサ４７６は、外科用器具又はツールの発射ストローク中にＩビームに加えられる発射力を測定することができる。Ｉビームは、楔形スレッドと係合するように構成されており、楔形スレッドは、ステープルドライバを上向きにカム作用して、ステープルを押し出してアンビルと変形接触させるように構成されている。Ｉビームはまた、Ｉビームを発射バーによって遠位に前進させる際に組織を切断するために使用することができる、鋭利な切刃を含み得る。代替的に、モータ４８２により引き込まれる電流を測定するために、電流センサ４７８を用いることができる。発射部材を前進させるのに必要な力は、例えば、モータ４８２によって引き込まれる電流に対応し得る。測定された力は、デジタル信号に変換されて、プロセッサ４６２に提供され得る。
【0070】
一形態では、歪みゲージセンサ４７４を使用して、エンドエフェクタによって組織に加えられる力を測定することができる。治療されている組織に対するエンドエフェクタによる力を測定するために、歪みゲージをエンドエフェクタに連結することができる。エンドエフェクタによって把持された組織に加えられる力を測定するためのシステムは、例えば、エンドエフェクタの１つ以上のパラメータを測定するように構成され得る微小歪みゲージなどの歪みゲージセンサ４７４を備え得る。一態様では、歪みゲージセンサ４７４は、組織圧縮を示し得る、クランプ動作中にエンドエフェクタのジョー部材に及ぼされる歪みの振幅又は規模を測定することができる。測定された歪みは、デジタル信号に変換されて、マイクロコントローラ４６１のプロセッサ４６２に提供され得る。負荷センサ４７６は、例えば、アンビルとステープルカートリッジとの間に捕捉された組織を切断するために、ナイフ要素を動作させるために使用される力を測定することができる。磁界センサは、捕捉された組織の厚さを測定するために用いることができる。磁界センサの測定値もデジタル信号に変換されて、プロセッサ４６２に提供され得る。
【0071】
センサ４７４、４７６によってそれぞれ測定される、組織圧縮、組織の厚さ、及び／又はエンドエフェクタを組織上で閉鎖するのに必要な力の測定値は、発射部材の選択された位置、及び／又は発射部材の速さの対応する値を特性決定するために、マイクロコントローラ４６１によって使用することができる。一例では、メモリ４６８は、評価の際にマイクロコントローラ４６１によって用いることができる技術、等式、及び／又はルックアップテーブルを記憶することができる。
【0072】
【0073】
図８は、様々な機能を実施するために起動され得る複数のモータを備える外科用器具又はツールを示す。特定の例では、第１のモータを起動させて第１の機能を実施することができ、第２のモータを起動させて第２の機能を実施することができ、第３のモータを起動させて第３の機能を実施することができ、第４のモータを起動させて第４の機能を実施することができる、といった具合である。特定の例では、ロボット外科用器具６００の複数のモータは個々に起動されて、エンドエフェクタにおいて発射運動、閉鎖運動、及び／又は関節運動を生じさせることができる。発射運動、閉鎖運動、及び／又は関節運動は、例えば、シャフトアセンブリを介してエンドエフェクタに伝達することができる。
【0074】
特定の例では、外科用器具システム又はツールは、発射モータ６０２を含んでもよい。発射モータ６０２は、具体的にはＩビーム要素を変位させるために、モータ６０２によって生成された発射運動をエンドエフェクタに伝達するように構成することができる、発射モータ駆動組立体６０４に動作可能に連結されてもよい。特定の例では、モータ６０２によって生成される発射運動によって、例えば、ステープルをステープルカートリッジから、エンドエフェクタによって捕捉された組織内へと配備し、かつ／又はＩビーム要素の切刃を前進させて、捕捉された組織を切断してもよい。Ｉビーム要素は、モータ６０２の方向を逆転させることによって後退させることができる。
【0075】
特定の例では、外科用器具又はツールは、閉鎖モータ６０３を含んでもよい。閉鎖モータ６０３は、具体的には閉鎖管を変位させてアンビルを閉鎖し、アンビルとステープルカートリッジとの間で組織を圧縮するためにモータ６０３によって生成された閉鎖運動をエンドエフェクタに伝達するように構成され得る、閉鎖モータ駆動組立体６０５と動作可能に連結されてもよい。閉鎖運動によって、エンドエフェクタは、例えば、組織を捕捉する、開放構成から接近構成へと移行することができる。エンドエフェクタは、モータ６０３の方向を逆転させることによって開放位置に移行され得る。
【0076】
特定の例では、外科用器具又はツールは、例えば、１つ以上の関節運動モータ６０６ａ、６０６ｂを含み得る。モータ６０６ａ、６０６ｂは、モータ６０６ａ、６０６ｂによって生成された関節運動をエンドエフェクタに伝達するように構成され得る、対応する関節運動モータ駆動組立体６０８ａ、６０８ｂに動作可能に連結され得る。特定の例では、関節運動によって、例えば、エンドエフェクタがシャフトに対して関節運動することができる。
【0077】
本明細書において説明したように、外科用器具又はツールは、様々な独立した機能を実施するように構成され得る複数のモータを含んでもよい。特定の例では、外科用器具又はツールの複数のモータは、他のモータが停止した状態を維持している間に、個別に又は別個に起動させて、１つ以上の機能を実施することができる。例えば、関節運動モータ６０６ａ、６０６ｂを起動させて、発射モータ６０２が停止した状態を維持している間に、エンドエフェクタを関節運動させることができる。代替的に、発射モータ６０２を起動させて、関節運動モータ６０６が停止した状態を維持している間に、複数のステープルを発射させる、かつ／又は切刃を前進させることができる。更に、閉鎖モータ６０３は、本明細書の以下でより詳細に説明されるように、閉鎖管及びＩビーム要素を遠位に前進させるために、発射モータ６０２と同時に起動されてもよい。
【0078】
特定の例では、外科用器具又はツールは、外科用器具又はツールの複数のモータと共に用いることができる、共通の制御モジュール６１０を含んでもよい。特定の例では、共通の制御モジュール６１０は、一度に複数のモータのうちの１つに対応することができる。例えば、共通の制御モジュール６１０は、ロボット外科用器具の複数のモータに対して個々に連結可能かつ分離可能であってもよい。特定の例では、外科用器具又はツールの複数のモータは、共通の制御モジュール６１０などの１つ以上の共通の制御モジュールを共有してもよい。特定の例では、外科用器具又はツールの複数のモータは、共通の制御モジュール６１０に個別にかつ選択的に係合することができる。特定の例では、共通の制御モジュール６１０は、外科用器具又はツールの複数のモータのうちの一方とのインターフェース接続から、外科用器具又はツールの複数のモータのうちのもう一方とのインターフェース接続へと選択的に切り替えることができる。
【0079】
少なくとも１つの例では、共通の制御モジュール６１０は、関節運動モータ６０６ａ、６０６ｂとの動作可能な係合と、発射モータ６０２又は閉鎖モータ６０３のいずれかとの動作可能な係合と、の間で選択的に切り替えることができる。少なくとも１つの実施例では、図８に示すように、スイッチ６１４は、複数の位置及び／又は状態間を移動又は移行させることができる。例えば、第１の位置６１６では、スイッチ６１４は、共通の制御モジュール６１０を発射モータ６０２と電気的に連結してもよく、第２の位置６１７では、スイッチ６１４は、共通の制御モジュール６１０を閉鎖モータ６０３と電気的に連結してもよく、第３の位置６１８ａでは、例えば、スイッチ６１４は、共通の制御モジュール６１０を第１の関節運動モータ６０６ａと電気的に連結してもよく、第４の位置６１８ｂでは、スイッチ６１４は、共通の制御モジュール６１０を第２の関節運動モータ６０６ｂと電気的に連結してもよい。特定の例では、同時に、別個の共通の制御モジュール６１０を、発射モータ６０２、閉鎖モータ６０３、及び関節運動モータ６０６ａ、６０６ｂと電気的に連結してもよい。特定の例では、スイッチ６１４は、機械的スイッチ、電気機械的スイッチ、固体スイッチ、又は任意の好適な切り替え機構であってもよい。
【0080】
モータ６０２、６０３、６０６ａ、６０６ｂの各々は、モータのシャフト上の出力トルクを測定するためのトルクセンサを備えてもよい。エンドエフェクタ上の力は、ジョーの外側の力センサによって、又はジョーを作動させるモータのトルクセンサなどによって、任意の従来の様式で感知されてもよい。
【0081】
様々な例では、図８に示されるように、共通の制御モジュール６１０は、１つ以上のＨブリッジＦＥＴを備え得るモータドライバ６２６を備えてもよい。モータドライバ６２６は、例えば、マイクロコントローラ６２０（「コントローラ」）からの入力に基づいて、電源６２８から共通の制御モジュール６１０に連結されたモータへと伝達された電力を変調してもよい。特定の例では、本明細書において説明されているように、例えば、モータが共通の制御モジュール６１０に連結されている間にマイクロコントローラ６２０を用いて、モータによって引き込まれる電流を判定することができる。
【0082】
特定の例では、マイクロコントローラ６２０は、マイクロプロセッサ６２２（「プロセッサ」）と、１つ以上の非一時的コンピュータ可読媒体又はメモリユニット６２４（「メモリ」）と、を含んでもよい。特定の例では、メモリ６２４は、様々なプログラム命令を記憶することができ、それが実行されると、プロセッサ６２２に、本明細書に記載される複数の機能及び／又は計算を実施させることができる。特定の例では、メモリユニット６２４のうちの１つ以上が、例えば、プロセッサ６２２に連結されてもよい。
【0083】
特定の例では、電源６２８を用いて、例えば、マイクロコントローラ６２０に電力を供給してもよい。特定の例では、電源６２８は、例えば、リチウムイオン電池などの電池（又は「電池パック」若しくは「電源パック」）を含んでもよい。特定の例では、電池パックは、外科用器具６００に電力を供給するため、ハンドルに解除可能に装着されるように構成されてもよい。直列で接続された多数の電池セルを、電源６２８として使用してもよい。特定の例では、電源６２８は、例えば、交換可能かつ／又は再充電可能であってもよい。
【0084】
様々な例では、プロセッサ６２２は、モータドライバ６２６を制御して、共通の制御モジュール６１０に連結されたモータの位置、回転方向、及び／又は速度を制御することができる。特定の例では、プロセッサ６２２は、モータドライバ６２６に信号伝達して、共通の制御モジュール６１０に連結されるモータを停止する、かつ／又は無効化することができる。「プロセッサ」という用語は、本明細書で使用されるとき、任意の好適なマイクロプロセッサ、マイクロコントローラ、又は、コンピュータの中央処理装置（central processing unit、ＣＰＵ）の機能を１つの集積回路又は最大で数個の集積回路上で統合した他の基本コンピューティングデバイスを含むと理解されるべきである。プロセッサは、デジタルデータを入力として受理し、メモリに記憶された命令に従ってそのデータを処理し、結果を出力として提供する、多目的プログラマブルデバイスであり得る。これは、内部メモリを有するので、逐次的デジタル論理の一例であり得る。プロセッサは、二進数法で表される数字及び記号で動作し得る。
【0085】
プロセッサ６２２は、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＡＲＭ Ｃｏｒｔｅｘの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであってもよい。特定の例では、マイクロコントローラ６２０は、例えば、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ ４Ｆ２３０Ｈ５ＱＲであってもよい。少なくとも１つの実施例では、Ｔｅｘａｓ ＩｎｓｔｒｕｍｅｎｔｓのＬＭ４Ｆ２３０Ｈ５ＱＲは、製品データシートで容易に利用可能な機能の中でもとりわけ、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルＳＲＡＭ、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部ＲＯＭ、２ＫＢのＥＥＰＲＯＭ、１つ以上のＰＷＭモジュール、１つ以上のＱＥＩアナログ、１２個のアナログ入力チャネルを備える１つ以上の１２ビットＡＤＣを含むＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアである。他のマイクロコントローラが、モジュール４４１０と共に使用するのに容易に代用されてもよい。したがって、本開示は、この文脈に限定されるべきではない。
【0086】
メモリ６２４は、共通の制御モジュール６１０に連結可能な外科用器具６００のモータの各々を制御するためのプログラム命令を含んでもよい。例えば、メモリ６２４は、発射モータ６０２、閉鎖モータ６０３、及び関節運動モータ６０６ａ、６０６ｂを制御するためのプログラム命令を含んでもよい。このようなプログラム命令は、プロセッサ６２２に、外科用器具又はツールのアルゴリズム又は制御プログラムからの入力に従って、発射機能、閉鎖機能、及び関節運動機能を制御させることができる。
【0087】
例えば、センサ６３０などの１つ以上の機構及び／又はセンサを用いて、特定の設定で使用すべきプログラム命令をプロセッサ６２２に知らせることができる。例えば、センサ６３０は、エンドエフェクタの発射、閉鎖、及び関節運動に関連するプログラム命令を使用するようにプロセッサ６２２に知らせることができる。特定の例では、センサ６３０は、例えば、スイッチ６１４の位置を感知するために用いることができる位置センサを備えてもよい。したがって、プロセッサ６２２は、例えば、センサ６３０を介してスイッチ６１４が第１の位置６１６にあることを検出すると、エンドエフェクタのＩビームの発射と関連付けられたプログラム命令を使用することができ、プロセッサ６２２は、例えば、センサ６３０を介してスイッチ６１４が第２の位置６１７にあることを検出すると、アンビルの閉鎖と関連付けられたプログラム命令を使用することができ、プロセッサ６２２は、例えば、センサ６３０を介してスイッチ６１４が第３の位置６１８ａ又は第４の位置６１８ｂにあることを検出すると、エンドエフェクタの関節運動と関連付けられたプログラム命令を使用することができる。
【0088】
図９は、本開示の少なくとも１つの態様に係る、状況認識外科用システム５１００の図を示す。いくつかの例示では、データソース５１２６は、例えば、モジュール式デバイス５１０２（患者及び／又はモジュール式デバイス自体に関連付けられたパラメータを検出するように構成されたセンサを含み得る）、データベース５１２２（例えば、患者記録を含むＥＭＲデータベース）、及び患者モニタリングデバイス５１２４（例えば、血圧（blood pressure、ＢＰ）モニタ、及び心電図（electrocardiography、ＥＫＧ）モニタ）を含み得る。外科用ハブ５１０４は、例えば、受信したデータの特定の組み合わせ（複数可）又はデータソース５１２６からデータが受信される特定の順序に基づいて、データから外科処置に関するコンテキスト情報を導出するように構成され得る。受信されたデータから推測されるコンテキスト情報は、例えば、実施される外科処置の種類、外科医が実行している外科処置の特定の工程、手術されている組織の種類、又は処置の対象である体腔を含むことができる。受信されたデータから外科処置に関する情報を導出又は推測するための外科用ハブ５１０４のいくつかの態様に係わるこの機能は、「状況認識」と称することもある。一例示では、外科用ハブ５１０４は、受信されたデータから外科処置に関連するコンテキスト情報を導出する外科用ハブ５１０４に関連付けられたハードウェア及び／又はプログラミングである状況認識システムを組み込むことができる。
【0089】
外科用ハブ５１０４の状況認識システムは、様々な異なる方法でデータソース５１２６から受信されたデータから、コンテキスト情報を導出するように構成することができる。一例示では、状況認識システムは、様々な入力（例えば、データベース５１２２、患者モニタリングデバイス５１２４、及び／又はモジュール式デバイス５１０２からのデータ）を、外科処置に関する対応するコンテキスト情報と相関させるために、訓練データで訓練されたパターン認識システム、又は機械学習システム（例えば、人工ニューラルネットワーク）を含み得る。言い換えると、機械学習システムは、提供された入力から外科処置に関するコンテキスト情報を正確に導出するように訓練することができる。いくつかの例では、状況認識システムは、外科処置に関する事前に特性評価されたコンテキスト情報を、そのコンテキスト情報に対応する１つ以上の入力（又は、入力の範囲）と関連付けて記憶する、ルックアップテーブルを含むことができる。１つ以上の入力による問い合わせに応答して、ルックアップテーブルは、モジュール式デバイス５１０２を制御するために状況認識システムの対応するコンテキスト情報を返すことができる。いくつかの例では、外科用ハブ５１０４の状況認識システムによって受信されたコンテキスト情報は、１つ以上のモジュール式デバイス５１０２の特定の制御調節、又は一連の制御調節に関連付けられる。いくつかの例では、状況認識システムは、コンテキスト情報を入力として提供された際、１つ以上のモジュール式デバイス５１０２の１つ以上の制御調節を生成又は読み出す、更なる機械学習システム、ルックアップテーブル、又は他のそのようなシステムを含み得る。
【0090】
状況認識システムを組み込む外科用ハブ５１０４は、外科用システム５１００に多くの利点をもたらし得る。１つの利点としては、検知されて収集されたデータの解釈を改善することが挙げられ得るが、これは、外科処置の過程中の処理精度、及び／又はデータの使用を改善させるであろう。以前の例に戻ると、状況認識外科用ハブ５１０４は、どの種類の組織が手術されているかを判定することができるので、したがって、外科用器具のエンドエフェクタを閉鎖するための予想外に高い力が検出されると、状況認識外科用ハブ５１０４は、組織種類に合わせて外科用器具のモータを正しく加速させるか、又は減速させることができる。
【0091】
手術されている組織の種類は、特定の組織間隙測定用の外科用ステープル留め及び切断器具の圧縮速度と負荷閾値になされる調節に影響を及ぼし得る。状況認識外科用ハブ５１０４は、実行されている外科処置が胸部手術であるのか、又は腹部手術であるのかを推測することができ、これにより、外科用ハブ５１０４は、外科用ステープル留め及び切断器具のエンドエフェクタによってクランプされている組織が肺であるのか（胸部手術の場合）、又は胃であるのか（腹部手術の場合）を決定することができる。次いで、外科用ハブ５１０４は、外科用ステープル留め及び切断器具の圧縮速度及び負荷閾値を、組織の種類に合わせて適切に調節することができる。
【0092】
送気処置中に手術されている体腔の種類は、排煙器の機能に影響を及ぼし得る。状況認識外科用ハブ５１０４は、手術部位が（外科処置が送気を利用していると判定することによって）圧力下にあるかどうかを判定し、処置の種類を決定することができる。一般に、ある処置種類は、特定の体腔内で実行され得るので、外科用ハブ５１０４は、手術されている体腔に合わせて適切に排煙器のモータ速度を制御することができる。このようにして、状況認識外科用ハブ５１０４は、胸部手術及び腹部手術の両方用に一貫した量の煙排出を提供し得る。
【0093】
実行されている処置の種類は、超音波外科用器具又は高周波（radio frequency、ＲＦ）電気外科用器具が動作するのに最適なエネルギーレベルに、影響を及ぼし得る。例えば、関節鏡処置では、超音波外科用器具、又はＲＦ電気外科用器具のエンドエフェクタが流体中に浸漬されるので、より高いエネルギーレベルを必要とし得る。状況認識外科用ハブ５１０４は、外科処置が関節鏡処置であるかどうかを決定することができる。次いで、外科用ハブ５１０４は、流体充填環境を補償するために、発生器のＲＦ電力レベル又は超音波振幅（すなわち、「エネルギーレベル」）を調節することができる。関連して、手術されている組織の種類は、超音波外科用器具又はＲＦ電気外科用器具が動作するのに最適なエネルギーレベルに影響を及ぼし得る。状況認識外科用ハブ５１０４は、どの種類の外科処置が実行されているかを決定し、次いで、外科処置について予想される組織プロファイルに従って、超音波外科用器具又はＲＦ電気外科用器具のエネルギーレベルをそれぞれカスタマイズすることができる。更に、状況認識外科用ハブ５１０４は、単に処置毎にではなく、外科処置の過程にわたって、超音波外科用器具又はＲＦ電気外科用器具のエネルギーレベルを調節するように構成することができる。状況認識外科用ハブ５１０４は、外科処置のどの工程が実行されているか、又は引き続き実行されるかを決定し、次いで、発生器、及び／又は超音波外科用器具若しくはＲＦ電気外科用器具の制御アルゴリズムをアップデートして、外科処置の工程に従って予想される組織種類に適切な値までエネルギーレベルを設定することができる。
【0094】
いくつかの例では、外科用ハブ５１０４が１つのデータソース５１２６から導き出される結論を改善するために、追加のデータソース５１２６からデータを導出することも可能である。状況認識外科用ハブ５１０４は、モジュール式デバイス５１０２から受信したデータを、他のデータソース５１２６から外科処置に関して構築したコンテキスト情報で強化し得る。例えば、状況認識外科用ハブ５１０４は、医療用撮像デバイスから受信されたビデオ又は画像データに従って、止血が行われたかどうか（すなわち、手術部位での出血が止まったかどうか）を決定するように構成することができる。しかしながら、場合によっては、ビデオ又は画像データは、決定的ではない可能性がある。したがって、一例示では、外科用ハブ５１０４は、生理学的測定（例えば、外科用ハブ５１０４へと通信可能に接続されたＢＰモニタで検知された血圧）を、（例えば、外科用ハブ５１０４へと通信可能に連結された医療用撮像デバイス１２４（図２）からの）止血の視覚データ又は画像データと比較して、ステープルライン又は組織溶着の完全性に関する決定を行うように更に構成することができる。言い換えると、外科用ハブ５１０４の状況認識システムは、生理学的測定データを考慮して、可視化データを分析する際に追加のコンテキストを提供することができる。追加のコンテキストは、可視化データがそれ自体では決定的ではないか、又は不完全であり得る場合に有用となり得る。
【0095】
例えば、状況認識外科用ハブ５１０４は、処置の後続の工程でＲＦ電気外科用器具の使用が必要とされると判定された場合に、そのＲＦ電気外科用器具が接続されている発生器を事前に起動させることができる。エネルギー源を事前に起動することにより、処置の先行する工程が完了すると直ぐに器具を使用準備完了にすることが可能となり得る。
【0096】
状況認識外科用ハブ５１０４は、外科医が見る必要があると予想される手術部位の形状部（複数可）に従って、外科処置の現工程、又は後続の工程が、ディスプレイ上の異なるビューや倍率を必要とするかどうかを決定することができる。次いで、外科用ハブ５１０４は、表示されたビュー（例えば、可視化システム１０８用に医療用撮像デバイスから供給される）を適切に事前に変更することができ、これにより、ディスプレイは外科処置にわたって自動的に調節する。
【0097】
状況認識外科用ハブ５１０４は、外科処置のどの工程が実行されているか、又は次に実行されるか、及び特定のデータ又はデータどうしの比較が外科処置の該当工程に必要とされるかどうかを決定することができる。外科用ハブ５１０４は、外科医が特定の情報を尋ねるのを待つことなく、実行されている外科処置の工程に基づいて、データスクリーンを自動的に呼び出すように構成することができる。
【0098】
外科処置のセットアップ中、又は外科処置の過程中に、エラーをチェックし得る。例えば、状況認識外科用ハブ５１０４は、手術室が、実行されるべき外科処置用に適切に又は最適にセットアップされているかどうかを決定することができる。外科用ハブ５１０４は、実行されている外科処置の種類を決定し、対応するチェックリスト、製品位置、又はセットアップ要件を（例えば、メモリから）読み出し、次いで、現在の手術室のレイアウトを、実行されていると外科用ハブ５１０４が決定した外科処置の種類の標準レイアウトと比較するように構成することができる。いくつかの例示では、外科用ハブ５１０４は、処置のための項目リスト、及び／又は外科用ハブ５１０４とペアリングされたデバイスのリストを、所与の外科処置のための項目及び／又はデバイスの推奨される又は予想される目録と比較するように構成され得る。リストどうしに分断が存在する場合、外科用ハブ５１０４は、特定のモジュール式デバイス５１０２、患者モニタリングデバイス５１２４、及び／又は他の手術用物品が欠落していることを示すアラートを提供するように構成することができる。いくつかの例示では、外科用ハブ５１０４は、例えば、近接センサによってモジュール式デバイス５１０２及び患者モニタリングデバイス５１２４の相対距離又は相対位置を決定するように構成することができる。外科用ハブ５１０４は、デバイスの相対位置を、特定の外科処置用に推奨又は予測されるレイアウトと比較することができる。レイアウトどうしに分断が存在する場合、外科用ハブ５１０４は、外科処置の現在のレイアウトが推奨レイアウトから逸脱していることを示すアラートを提供するように構成することができる。
【0099】
状況認識外科用ハブ５１０４は、外科医（又は、他の医療従事者）が誤りを犯しているかどうか、又は外科処置の過程中に予想される一連のアクションから逸脱しているかどうかを決定することができる。例えば、外科用ハブ５１０４は、実行されている外科処置の種類を決定し、機器使用の工程又は順序の対応リストを（例えば、メモリから）読み出し、次いで、外科処置の過程中に実行されている工程又は使用されている機器を、外科用ハブ５１０４が実行されていると判定した外科処置の種類について予想される工程、又は機器と比較するように構成することができる。いくつかの例示では、外科用ハブ５１０４は、外科処置における特定の工程で想定外のアクションが実行されているか、又は想定外のデバイスが利用されていることを示すアラートを提供するように構成することができる。
【0100】
外科用器具（及び他のモジュール式デバイス５１０２）は、各外科処置の特定の状況に合わせて調整されてもよく（異なる組織タイプへ合うように調整するなど）、外科処置中の動作を検証してもよい。次の工程、データ、及び表示調整は、処置の特定のコンテキストに従って、手術現場内の外科用器具（及び他のモジュール式デバイス５１０２）に提供され得る。
【0101】
図１０は、例示的な外科処置のタイムライン５２００と、外科処置の各工程でデータソース５１２６から受信されたデータから外科用ハブ５１０４が導出することができるコンテキスト情報と、を示す。図９に示されるタイムライン５２００の以下の説明では、図９も参照されたい。タイムライン５２００は、手術室のセットアップで始まり、患者を術後回復室に移送することで終了する肺区域切除手術の過程中に、看護師、外科医及び他の医療従事者がとるであろう一般的な工程を示し得る。状況認識外科用ハブ５１０４は、外科処置の過程全体にわたって、医療関係者が外科用ハブ５１０４とペアリングされたモジュール式デバイス５１０２を使用するたびに生成されるデータを含むデータを、データソース５１２６から受信し得る。外科用ハブ５１０４は、ペアリングされたモジュール式デバイス５１０２及び他のデータソース５１２６からこのデータを受信して、任意の所与の時間に処置のどの工程が行われているかなどの新しいデータが受信されると、進行中の処置に関する推定（すなわち、コンテキスト情報）を継続的に導出することができる。外科用ハブ５１０４の状況認識システムは、例えば、報告を生成するために処置に関するデータを記録すること、医療関係者によってとられている工程を検証すること、特定の処置工程に関連し得るデータ又はプロンプトを（例えば、ディスプレイスクリーンを介して）提供すること、コンテキストに基づいてモジュール式デバイス５１０２を調整する（例えば、モニタを起動する、医療用撮像デバイスのＦＯＶを調整する、又は超音波外科用器具若しくはＲＦ電気外科用器具のエネルギーレベルを変更する）こと、及び本明細書に記載の任意の他のこうした動作を行うことが可能であり得る。
【0102】
この例示的な処置における第１の工程５２０２として、病院職員は、病院のＥＭＲデータベースから、患者のＥＭＲを読み出し得る。ＥＭＲにおいて選択された患者データに基づいて、外科用ハブ５１０４は、実施される処置が胸部手術であることを判定する。第２の５２０４では、職員は、処置のために入来する医療用品をスキャンし得る。外科用ハブ５１０４は、スキャンされた物資を様々な種類の処置において利用され得る物資のリストと相互参照し、物資の組み合わせが、胸部処置に一致することを確認する。更に、外科用ハブ５１０４はまた、処置が楔状切除術ではないと判定することが可能であり得る（入来する用品が、胸部楔状切除術に必要な特定の用品を含まないか、又は別の点で胸部楔状切除術に対応していないかのいずれかであるため）。第３の５２０６で、医療従事者は、外科用ハブ５１０４に通信可能に接続されたスキャナ５１２８を介して患者バンドをスキャンし得る。次いで、外科用ハブ５１０４は、スキャンされたデータに基づいて患者の身元を確認することができる。第４の５２０８では、医療職員が補助デバイスをオンにする。利用されている補助機器は、外科処置の種類、及び外科医が使用する技術に従って変動し得るが、この例示的なケースでは、排煙器、送気器、及び医療用撮像デバイスが挙げられる。起動されると、モジュール式デバイス５１０２である補助デバイスは、その初期化プロセスの一部として、モジュール式デバイス５１０２の特定の近傍内に位置し得る外科用ハブ５１０４と自動的にペアリングすることができる。次いで、外科用ハブ５１０４は、この術前又は初期化段階中にそれとペアリングされるモジュール式デバイス５１０２の種類を検出することによって、外科処置に関するコンテキスト情報を導出することができる。この特定の実施例では、外科用ハブ５１０４は、ペアリングされたモジュール式デバイス５１０２のこの特定の組み合わせに基づいて、外科処置がＶＡＴＳ処置であると判定し得る。患者のＥＭＲからのデータの組み合わせ、処置に用いられる医療用品のリスト、及びハブに接続するモジュール式デバイス５１０２の種類に基づいて、外科用ハブ５１０４は、外科チームが実施する特定の処置を概ね推定することができる。外科用ハブ５１０４が、何の特定の処置が行われているかを知ると、次いで外科用ハブ５１０４は、メモリから、又はクラウドからその処置の工程を読み出し、次いで接続されたデータソース５１２６（例えば、モジュール式デバイス５１０２及び患者モニタリングデバイス５１２４）からその後受信したデータを相互参照して、外科処置のどの工程を外科チームが実行しているかを推定することができる。第５の５２１０では、職員は、ＥＫＧ電極及び他の患者モニタリングデバイス５１２４を患者に取り付ける。ＥＫＧ電極及び他の患者モニタリングデバイス５１２４は、外科用ハブ５１０４とペアリングし得る。外科用ハブ５１０４が患者モニタリングデバイス５１２４からデータの受信を開始すると、外科用ハブ５１０４は、例えば、プロセス５２０７で説明するように、患者が手術室にいることを確認し得る。第６の５２１２では、医療関係者は患者に麻酔をかけてもいよ。外科用ハブ５１０４は、例えば、ＥＫＧデータ、血圧データ、人工呼吸器データ又はこれらの組み合わせを含む、モジュール式デバイス５１０２、及び／又は患者モニタリングデバイス５１２４からのデータに基づいて、患者が麻酔下にあることを推測することができる。第６の工程５２１２が完了すると、肺区域切除手術の術前部分が完了し、手術部分が開始する。
【0103】
第７の５２１４では、手術されている患者の肺が虚脱されてもよい（換気が対側肺に切り替えられる間に）。外科用ハブ５１０４は、例えば、患者の肺が虚脱されたことを人工呼吸器データから推測することができる。外科用ハブ５１０４は、患者の肺が虚脱したのを検出したことを、処置の予期される工程（事前にアクセス又は読み出すことができる）と比較することができるため、処置の手術部分が開始したことを推定して、それによって肺を虚脱させることがこの特定の処置における第１の手術工程であり得ると判定することができる。第８の５２１６では、医療用撮像デバイス５１０８（例えば、スコープ）が挿入されてもよく、医療用撮像デバイスからのビデオ映像が開始されてもよい。外科用ハブ５１０４は、医療用撮像デバイスへの接続を通じて医療用撮像デバイスデータ（すなわち、ビデオ又は画像データ）を受信し得る。医療用撮像デバイスデータを受信すると、外科用ハブ５１０４は、外科処置の腹腔鏡部分が開始したことを判定することができる。更に、外科用ハブ５１０４は、行われている特定の処置が、肺葉切除術とは対照的に区域切除術であると判定することができる（処置の第２の工程５２０４で受信したデータに基づいて、楔状切除術は外科用ハブ５１０４によって既に考慮に入れられていないことに留意されたい）。医療用撮像デバイス１２４（図２）からのデータを利用して、様々な方法で、例えば、患者の解剖学的構造の可視化に対して向けられている医療用撮像デバイスの角度を判定することによって、利用されている（すなわち、起動されており、外科用ハブ５１０４とペアリングされている）数又は医療用撮像デバイスをモニタリングすることによって、及び利用されている可視化デバイスの種類をモニタリングすることによって、行われている処置の種類に関するコンテキスト情報を判定することができる。例えば、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、カメラを患者の胸腔の前下方角部の横隔膜上方に配置し得るが、他方、ＶＡＴＳ区域切除術を実行するための１つの技術は、カメラを、区域裂に対して前方の肋間位置に配置する。状況認識システムは、例えば、パターン認識技術又は機械学習技術を使用して、患者の解剖学的構造の可視化に従って、医療用撮像デバイスの位置を認識するように訓練することができる。ＶＡＴＳ肺葉切除を実行するための例示的な技術は、単一の医療用撮像デバイスを利用することができる。ＶＡＴＳ区域切除術を実行するための例示的な技術は、複数のカメラを利用する。ＶＡＴＳ区域切除術を実行するための１つの例示的な技術は、区域裂を可視化するために赤外線光源（可視化システムの一部として外科用ハブへと通信可能に連結できる）を利用するが、これはＶＡＴＳ肺葉切除術では利用されない。医療用撮像デバイス５１０８からのこのデータのいずれか又は全てを追跡することによって、外科用ハブ５１０４は、行われている特定の種類の外科処置、及び／又は特定の種類の外科処置に使用されている技術を判定することができる。
【0104】
第９の５２１８では、外科チームは、処置の切開工程を開始し得る。外科用ハブ５１０４は、エネルギー器具が発射されていることを示すＲＦ又は超音波発生器からのデータを受信するため、外科医が患者の肺を切開して分離するプロセスにあると推定することができる。外科用ハブ５１０４は、受信したデータを外科処置の読み出しされた工程と相互参照して、プロセスのこの時点（すなわち、上述された処置の工程が完了した後）で発射されているエネルギー器具が切開工程に対応していると判定することができる。第１０の５２２０では、外科チームは、処置の結紮工程に進み得る。外科用ハブ５１０４は、器具が発射されていることを示すデータを外科用ステープル留め及び切断器具から受信し得るため、外科医が動脈及び静脈を結紮していると推定することができる。前工程と同様に、外科用ハブ５１０４は、外科用ステープル留め及び切断器具からのデータの受信を、読み出しされたプロセス内の工程と相互参照することによって、この推定を導出することができる。第１１の５２２２では、処置の区域切除術の部分が行われ得る。外科用ハブ５１０４は、外科用ステープル留め及び切断器具からのデータ（そのカートリッジからのデータを含む）に基づいて、外科医が実質組織を横切開していると推定することができる。カートリッジのデータは、例えば、器具によって発射されているステープルのサイズ又はタイプに対応することができる。異なる種類のステープルが異なる種類の組織に利用されるので、カートリッジのデータは、ステープル留めされている、かつ／又は横切開されている組織の種類を示すことができる。この場合、発射されているステープルの種類は、実質組織（又は他の同様の組織種）に利用され、これにより、外科用ハブ５１０４は、処置の区域切除術の部分が行われていると推定することができる。続いて第１２の５２２４で、結節切開工程が行われる。外科用ハブ５１０４は、ＲＦ又は超音波器具が発射されていることを示す、発生器から受信したデータに基づいて、外科チームが結節を切開し、漏れ試験を行っていると推定することができる。この特定の処置の場合、実質組織が横切開された後に利用されるＲＦ又は超音波器具は結節切開工程に対応しており、これにより外科用ハブ５１０４がこの推定を行うことができる。異なる器具が特定のタスクに対してより良好に適合するので、外科医が、処置中の特定の工程に応じて、外科用ステープル留め器具／切断器具と手術用エネルギー（すなわち、ＲＦ又は超音波）器具とを、定期的に交互に切り替えることに留意されたい。したがって、ステープル留め器具／切断器具及び手術用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどの工程を実行しているかを示すことができる。第１２の工程５２２４が完了すると、切開部が閉鎖され、処置の術後部分が開始し得る。
【0105】
第１３の５２２６では、患者を麻酔から覚醒させ得る。外科用ハブ５１０４は、例えば、人工呼吸器データに基づいて（すなわち、患者の呼吸速度が増加し始める）、患者が麻酔から覚醒しつつあると推定することができる。最後に、第１４の工程５２２８は、医療関係者が患者から様々な患者モニタリングデバイス５１２４を除去する工程であり得る。したがって、外科用ハブ５１０４は、ハブがＥＫＧ、ＢＰ、及び患者モニタリングデバイス５１２４からの他のデータを喪失したとき、患者が回復室に移送されていると推定することができる。この例示的な処置の説明からわかるように、外科用ハブ５１０４と通信可能に連結された各種データソース５１２６から受信したデータに従って、外科用ハブ５１０４は、所与の外科処置の各工程が発生しているときを判定又は推定することができる。
【0106】
図１０に示されるタイムライン５２００の第１の工程５２０２に示されるように、ＥＭＲデータベース（複数可）からの患者データを利用して、行われる外科処置の種類を推定することに加えて、患者データはまた、状況認識外科用ハブ５１０４によって利用されて、ペアリングされたモジュール式デバイス５１０２の制御調整を生成することができる。
【0107】
図１１は、本開示の少なくとも１つの態様による、コンピュータ実装インタラクティブ外科用システムのブロック図である。一態様では、このコンピュータ実装インタラクティブ外科用システムは、外科用ハブ、外科用器具、ロボットデバイス、及び手術室又は医療施設を含む様々な外科用システムの動作に関するデータをモニタリング及び分析するように構成され得る。コンピュータ実装インタラクティブ外科用システムは、クラウドベースの分析システムを含み得る。クラウドベースの分析システムは、外科用システムとして記載され得るが、必ずしもそのように限定されるものではなく、一般的にクラウドベースの医療システムであってもよい。図１１に示すように、クラウドベースの分析システムは、（器具１１２と同じ又は類似であってもよい）複数の外科用器具７０１２と、（ハブ１０６と同じ又は類似であってもよい）複数の外科用ハブ７００６と、外科用ハブ７００６を（クラウド２０４と同じ又は類似であってよい）クラウド７００４に連結するための（ネットワーク２０１と同じ又は類似であってもよい）外科用データネットワーク７００１と、を含み得る。複数の外科用ハブ７００６のそれぞれは、１つ以上の外科用器具７０１２に通信可能に連結され得る。ハブ７００６はまた、ネットワーク７００１を介してコンピュータ実装インタラクティブ外科用システムのクラウド７００４に通信可能に連結され得る。クラウド７００４は、様々な外科用システムの動作に基づいて生成されたデータを記憶、操作、及び通信するためのハードウェア及びソフトウェアのリモートの集中型供給源であり得る。図１１に示すように、クラウド７００４へのアクセスはネットワーク７００１を介して達成されてもよく、このネットワーク７００１は、インターネットであってもよく、又は他の好適なコンピュータネットワークであってもよい。クラウド７００４に連結され得る外科用ハブ７００６は、クラウドコンピューティングシステムのクライアント側（すなわち、クラウドベースの分析システム）と見なすことができる。外科用器具７０１２は、本明細書に記載される様々な外科処置又は動作の制御及び実施のために、外科用ハブ７００６とペアリングされ得る。
【0108】
加えて、外科用器具７０１２は、（これも送受信機を備え得る）対応する外科用ハブ７００６へのデータ伝送、及び外科用ハブ７００６からのデータ伝送のための送受信機を備えてもよい。外科用器具７０１２と対応するハブ７００６との組み合わせは、医療手術を提供するための医療施設（例えば、病院）内の手術室などの、特定の位置を示すことができる。例えば、外科用ハブ７００６のメモリは、位置データを記憶することができる。図１１に示すように、クラウド７００４は、（リモートサーバ７０１３と同じ又は同様であってもよい）中央サーバ７０１３、ハブアプリケーションサーバ７００２、データ分析モジュール７０３４、及び入出力（「Ｉ／Ｏ」）インターフェース７００６を含む。クラウド７００４の中央サーバ７０１３は、クラウドコンピューティングシステムを集合的に管理し、これは、クライアントモジュール７００６による要求をモニタリングし、その要求を実行するためのクラウド７００４の処理能力を管理することを含む。中央サーバ７０１３のそれぞれは、ランダムアクセスメモリ（ＲＡＭ）などの揮発性メモリ及び磁気記憶デバイスなどの不揮発性メモリを含むことができる、好適なメモリデバイス７０１０に連結された１つ以上のプロセッサ７００８を備え得る。メモリデバイス７０１０は、実行されると、プロセッサ７００８に、クラウドベースのデータ分析、動作、推奨、及び以下で説明するその他の動作のためのデータ分析モジュール７０３４を実行させる、機械実行可能命令を含み得る。更に、プロセッサ７００８は、独立して、又はハブ７００６によって独立して実行されるハブアプリケーションと併せて、データ分析モジュール７０３４を実行することができる。中央サーバ７０１３はまた、メモリ２２１０内に存在し得る集約された医療データのデータベース２２１２を含み得る。
【0109】
ネットワーク７００１を介した様々な外科用ハブ７００６への接続に基づいて、クラウド７００４は、様々な外科用器具７０１２及びそれらの対応するハブ７００６によって生成された具体的データから、データを集約することができる。そのような集約されたデータは、クラウド７００４の集約された医療データベース７０１２内に記憶されてもよい。具体的には、クラウド７００４は、有利にも、集約されたデータ上でデータ分析及び動作を実行して、洞察をもたらし、かつ／又は個別のハブ７００６がそれ自体では達成できない場合がある機能を行うことができる。この目的のために、図１１に示すように、クラウド７００４と外科用ハブ７００６とは、情報を送受信するために通信可能に連結されている。Ｉ／Ｏインターフェース７００６は、ネットワーク７００１を介して複数の外科用ハブ７００６に接続される。このようにして、Ｉ／Ｏインターフェース７００６は、外科用ハブ７００６と集約された医療データのデータベース７０１１との間で情報を転送するように構成することができる。したがって、Ｉ／Ｏインターフェース７００６は、クラウドベースの分析システムの読み出し／書き込み動作を容易にすることができる。このような読み出し／書き込み動作は、ハブ７００６からの要求に応じて実行されてもよい。これらの要求は、ハブアプリケーションを介してハブ７００６に送信され得る。Ｉ／Ｏインターフェース７００６は、ユニバーサルシリアルバス（ＵＳＢ）ポート、ＩＥＥＥ１３９４ポート、並びにクラウド７００４をハブ７００６に接続するためのＷｉ－Ｆｉ及びＢｌｕｅｔｏｏｔｈ Ｉ／Ｏインターフェースを含んでもよい１つ以上の高速データポートを含んでもよい。クラウド７００４のハブアプリケーションサーバ７００２は、外科用ハブ７００６によって実行されるソフトウェアアプリケーション（例えば、ハブアプリケーション）に共有機能をホストし、かつ供給するように構成され得る。例えば、ハブアプリケーションサーバ７００２は、ハブアプリケーションによるハブ７００６を介する要求を管理し、集約された医療データのデータベース７０１１へのアクセスを制御し、負荷分散を実行し得る。データ分析モジュール７０３４について、図１２を参照して更に詳細に説明する。
【0110】
本開示に記載される特定のクラウドコンピューティングシステムの構成は、具体的には、外科用器具７０１２、１１２などの医療用デバイスを使用して実行される医療手術及び処置のコンテキストにおいて生じる様々な問題に対処するように設計され得る。特に、外科用器具７０１２は、外科手術の成績を改善するための技術を実施するために、クラウド７００４と相互作用するように構成されたデジタル外科用デバイスであってよい。様々な外科用器具７０１２及び／又は外科用ハブ７００６は、臨床医が外科用器具７０１２とクラウド７００４との間の相互作用の態様を制御できるように、タッチ制御されたユーザインターフェースを含み得る。聴覚的に制御されたユーザインターフェースなどの制御のための他の好適なユーザインターフェースもまた使用することもできる。
【0111】
図１２は、本開示の少なくとも１つの態様による、コンピュータ実装インタラクティブ外科用システムの機能アーキテクチャを示すブロック図である。クラウドベースの分析システムは、医療分野において特に生じる問題にデータ分析ソリューションを提供するために、クラウド７００４のプロセッサ７００８によって実行され得る複数のデータ分析モジュール７０３４を含み得る。図１２に示すように、クラウドベースのデータ分析モジュール７０３４の機能は、外科用ハブ７００６上でアクセスすることができるハブアプリケーションサーバ７００２によってホストされたハブアプリケーション７０１４を介して支援されてもよい。クラウドプロセッサ７００８及びハブアプリケーション７０１４は、データ分析モジュール７０３４を実行するために連携して動作してもよい。アプリケーションプログラムインターフェース（application program interface、ＡＰＩ）７０１６は、ハブアプリケーション７０１４に対応する一連のプロトコル及びルーチンを規定し得る。加えて、ＡＰＩ７０１６は、アプリケーション７０１４の動作のために集約された医療データベース７０１２へのデータの記憶及び検索を管理し得る。キャッシュ７０１８はまた、データを（例えば、一時的に）記憶してもよく、アプリケーション７０１４によって使用されるデータのより効率的な検索のためにＡＰＩ７０１６に連結されてもよい。図１２のデータ分析モジュール７０３４は、リソース最適化７０２０、データ収集及び集約７０２２、認可及びセキュリティ７０２４、制御プログラムのアップデート７０２６、患者転帰分析７０２８、推奨７０３０、並びにデータ分類及び優先順位付け７０３２のためのモジュールを含み得る。他の好適なデータ分析モジュールも、いくつかの態様により、クラウド７００４によって実装され得る。一態様では、データ分析モジュールは、傾向、転帰、及び他のデータの分析に基づいて、具体的な推奨事項を提供するために使用され得る。
【0112】
例えば、データ収集及び集約モジュール７０２２は、顕著な特徴又は構成（例えば、傾向）の識別、冗長データセットの管理、及び手術によってグループ化することができるが、必ずしも実際の外科手術日付及び外科医に一致していないペアリングされたデータセットへのデータの保存を含む、自己記述型データ（例えば、メタデータ）を生成するために使用され得る。特に、外科用器具７０１２の動作から生成される対のデータセットは、例えば、出血又は非出血事象などの二項分類を適用することを含み得る。より一般的には、二項分類は、望ましい事象（例えば、成功した外科処置）又は望ましくない事象（例えば、誤発射又は誤使用された外科用器具７０１２）のいずれかとして特徴付けられ得る。集約された自己記述型データは、外科用ハブ７００６の様々なグループ又はサブグループから受信された個々のデータに対応し得る。したがって、データ収集及び集約モジュール７０２２は、外科用ハブ７００６から受信した生データに基づいて、集約メタデータ又はその他の編成されたデータを生成することができる。この目的のために、プロセッサ７００８は、データ分析モジュール７０３４を実行するために、ハブアプリケーション７０１４及び集約された医療データのデータベース７０１１に動作的に連結することができる。データ収集及び集約モジュール７０２２は、集約された編成データを集約された医療データのデータベース２２１２に記憶してよい。
【0113】
リソース最適化モジュール７０２０は、この集約されたデータを分析して、特定の医療施設又は医療施設のグループに関するリソースの最適な使用を決定するように構成することができる。例えば、リソース最適化モジュール７０２０は、外科用ステープル留め器具７０１２の対応する予測される要求に基づいて、医療施設のグループに関する外科用ステープル留め器具７０１２の最適な発注点を決定することができる。リソース最適化モジュール７０２０はまた、リソース使用を改善することができるかどうかを判定するために、様々な医療施設のリソース使用又は他の動作構成を評価することができる。同様に、推奨モジュール７０３０は、データ収集及び集約モジュール７０２２から集約された編成データを分析して推奨を提供するように構成することができる。例えば、推奨モジュール７０３０は、特定の外科用器具７０１２が、例えば、誤り率が予測よりも高いことに基づいて改善されたバージョンにアップグレードされるべきであることを、医療施設（例えば、病院などの医療サービス提供者）に推奨することができる。加えて、推奨モジュール７０３０及び／又はリソース最適化モジュール７０２０は、製品再注文点などのより良好なサプライチェーンパラメータを推奨し、異なる外科用器具７０１２、その使用、又は手術結果を改善する処置工程の提案を提供することができる。医療施設は、対応する外科用ハブ７００６を介してそのような推奨を受信することができる。様々な外科用器具７０１２のパラメータ又は構成に関する、より具体的な推奨事項もまた提供することができる。ハブ７００６及び／又は外科用器具７０１２はそれぞれ、クラウド７００４によって提供されるデータ又は推奨事項を表示するディスプレイスクリーンを有することもできる。
【0114】
患者転帰分析モジュール７０２８は、外科用器具７０１２の現在使用されている動作パラメータに関連付けられた手術結果を分析することができる。患者転帰分析モジュール７０２８はまた、他の潜在的な動作パラメータを分析し、かつ評価してもよい。これに関連して、推奨モジュール７０３０は、より良好な封止又はより少ない出血などの、より良好な手術結果をもたらすことに基づいて、これらの他の潜在的な動作パラメータを使用して推奨することができる。例えば、提案モジュール７０３０は、対応するステープル留め外科用器具７０１２に特定のカートリッジを使用するときに関する提案を外科用７００６に送信することができる場合もある。したがって、クラウドベースの分析システムは、共通変数を制御しながら、収集された大規模な生データを分析し、複数の医療施設にわたって（有利には、集約されたデータに基づいて決定される）集中的推奨を提供するように構成され得る。例えば、クラウドベースの分析システムは、医療行為の種類、患者の種類、患者の数、同様の種類の器具を使用する医療提供者間の地理的類似性などを、１つの医療施設が単独で独立して分析することはできない方法で、分析、評価、及び／又は集約することができる。制御プログラムアップデートモジュール７０２６は、対応する制御プログラムがアップデートされたときに、様々な外科用器具７０１２の推奨を実施するように構成することができる。例えば、患者転帰分析モジュール７０２８は、特定の制御パラメータを成功した（又は失敗した）結果と結び付ける相関関係を識別することができる。そのような相関関係は、アップデートされた制御プログラムが制御プログラムアップデートモジュール７０２６を介して外科用器具７０１２に送信されるときに対処され得る。対応するハブ７００６を介して送信され得る器具７０１２へのアップデートは、クラウド７００４のデータ収集及び集約モジュール７０２２によって収集されかつ分析された集約された成績データを組み込んでもよい。加えて、患者転帰分析モジュール７０２８及び推奨モジュール７０３０は、集約された成績データに基づいて、器具７０１２を使用する改善された方法を識別することができる。
【0115】
クラウドベースの分析システムは、クラウド７００４によって実装されるセキュリティ機能を含んでもよい。これらのセキュリティ機能は、認可及びセキュリティモジュール７０２４によって管理され得る。各外科用ハブ７００６は、ユーザ名、パスワード、及びその他の好適なセキュリティ資格情報などの関連する固有の資格情報を有することができる。これらの資格情報は、メモリ７０１０に記憶され、許可されたクラウドアクセスレベルに関連付けることができる。例えば、正確な資格情報を提供することに基づいて、外科用ハブ７００６は、クラウドと所定の範囲まで通信するアクセスを付与され得る（例えば、特定の定義された種類の情報の送信又は受信を行ってよい）。この目的のために、クラウド７００４の集約された医療データのデータベース７０１１は、提供された資格情報の正確さを検証するための認定された資格情報のデータベースを含んでもよい。異なる資格情報は、クラウド７００４によって生成されたデータ分析を受信するための所定のアクセスレベルなど、クラウド７００４との相互作用のための様々なレベルの許可に関連付けられてよい。更に、セキュリティ目的のために、クラウドは、ハブ７００６、器具７０１２、及び禁止されたデバイスの「ブラックリスト」を含み得るその他のデバイスのデータベースを維持することができる。具体的には、ブラックリスト上に列挙された外科用ハブ７００６は、クラウドと相互作用することを許可されなくてもよい一方で、ブラックリスト上に列挙された外科用器具７０１２は、対応するハブ７００６への機能的アクセスを有さなくてもよく、かつ／又は対応するハブ７００６とペアリングされたときに完全に機能することが防止されてもよい。追加的に又は代替的に、クラウド７００４は、不適合性又はその他の指定された基準に基づいて、器具７０１２にフラグを立ててもよい。このようにして、偽造医療用デバイス、及びそのようなデバイスの、クラウドベースの分析システム全体での不適切な再使用を識別し、対処することができる。
【0116】
外科用器具７０１２は、無線送受信機を使用して、例えば、対応するハブ７００６及びクラウド７００４へのアクセスのための認可資格情報を表し得る無線信号を送信してもよい。有線送受信機も、信号を送信するために使用することができる。そのような認可資格情報は、外科用器具７０１２のそれぞれのメモリデバイスに記憶することができる。認可及びセキュリティモジュール７０２４は、認可資格情報が正確であるか又は偽造であるかを判定することができる。認可及びセキュリティモジュール７０２４はまた、強化されたセキュリティのために、認可資格情報を動的に生成してもよい。資格情報はまた、ハッシュベースの暗号化を使用することなどによって、暗号化することができる場合もある。適切な認可を送信すると、外科用器具７０１２は、対応するハブ７００６及び最終的にはクラウド７００４に信号を送信して、器具７０１２が医療データを取得して送信する準備ができていることを示すことができる。これに応答して、クラウド７００４は、集約された医療データのデータベース７０１１に記憶するための医療データを受信することが可能な状態に遷移し得る。このデータ伝送準備は、例えば、器具７０１２上の光インジケータによって示すことができる。クラウド７００４はまた、それらの関連する制御プログラムをアップデートするために、外科用器具７０１２に信号を送信することができる。クラウド７００４は、制御プログラムに対するソフトウェアアップデートが適切な外科用器具７０１２にのみ送信されるように、特定の部類の外科用器具７０１２（例えば、電気外科器具）に向けられた信号を送信することができる。更に、クラウド７００４は、選択的データ送信及び認可資格情報に基づいてローカル又はグローバルの問題に対処するために、システム全体のソリューションを実装するために使用することができる場合もある。例えば、外科用器具７０１２のグループが共通の製造欠陥を有するものとして識別される場合、クラウド７００４は、このグループに対応する認可資格情報を変更して、このグループの動作ロックアウトを実施し得る。
【0117】
クラウドベースの分析システムは、改善された実務を判定し、それに応じて変更を推奨する（例えば、提案モジュール２０３０を介して）ために、複数の医療施設（例えば、病院のような医療施設）をモニタリングすることを可能にし得る。したがって、クラウド７００４のプロセッサ７００８は、個々の医療施設に関連付けられたデータを分析して、施設を識別し、そのデータを他の医療施設に関連付けられた他のデータと集約することができる。グループは、例えば、同様の操作行為又は地理的位置に基づいて規定し得る。このようにして、クラウド７００４は、医療施設グループに幅広い分析及び推奨を提供することができる。クラウドベースの分析システムはまた、強化された状況認識のために使用することもできる。例えば、プロセッサ７００８は、（全体的な動作及び／又は様々な医療処置と比較して）特定の施設に対するコスト及び有効性に関する推奨の効果を予測的にモデル化してもよい。その特定の施設に関連するコスト及び有効性はまた、他の施設又は任意のその他の同等の施設の対応するローカル領域と比較することもできる。
【0118】
データ分類及び優先順位付けモジュール７０３２は、重大性（例えば、データに関連付けられた医療イベントの重篤度、意外さ、不審さ）に基づいてデータを優先順位付けして分類してもよい。この分類及び優先順位付けは、本明細書に記載されるクラウドベースの分析及び動作を改善するために、本明細書において説明される他のデータ分析モジュール７０３４の機能と併せて使用し得る。例えば、データ分類及び優先順位付けモジュール７０３２は、データ収集及び集約モジュール７０２２並びに患者転帰分析モジュール７０２８によって実行されるデータ分析に対する優先度を割り当てることができる。異なる優先順位レベルは、迅速応答のための上昇、特別な処理、集約された医療データのデータベース７０１１からの除外、又はその他の好適な応答などの、（緊急性のレベルに対応して）クラウド７００４からの特定の応答をもたらすことができる。更に、必要に応じて、クラウド７００４は、対応する外科用器具７０１２からの追加データのために、ハブアプリケーションサーバを介して要求（例えば、プッシュメッセージ）を送信することができる。プッシュメッセージは、支持又は追加のデータを要求するために、対応するハブ７００６上に表示された通知をもたらすことができる。このプッシュメッセージは、クラウドが有意な不規則性又は外れ値を検出し、クラウドがその不規則性の原因を判定することができない状況で必要とされ得る。中央サーバ７０１３は、例えば、データが所定の閾値を超えて予測値と異なると判定されたとき、又はセキュリティが含まれていたと見られる場合など、特定の重大な状況において、このプッシュメッセージをトリガするようにプログラムされることができる。
【0119】
説明された様々な機能に関する更なる例示的な詳細を、以下の説明において提供する。様々な説明のそれぞれは、ハードウェア及びソフトウェアの実装の一実施例として図１１及び図１２に記載されるように、クラウドアーキテクチャを利用してもよい。
【0120】
図１３は、本開示の少なくとも１つの態様による、モジュール式デバイス９０５０のための制御プログラムのアップデートアップデートを適応的に生成するように構成されている、コンピュータ実装適応的外科用システム９０６０のブロック図を示す。いくつかの例示では、外科用システムは、外科用ハブ９０００と、外科用ハブ９０００に通信可能に連結された複数のモジュール式デバイス９０５０と、外科用ハブ９０００に通信可能に連結された分析システム９１００と、を含み得る。単一の外科用ハブ９０００が示され得るが、外科用システム９０６０は、任意の数の外科用ハブ９０００を含んでいてもよく、それらは、分析システム９０１０に通信可能に連結される外科用ハブ９０００のネットワークを形成するように接続され得るということに留意されたい。いくつかの例示では、外科用ハブ９０００は、記憶された命令を実行するためのメモリ９０２０に連結されたプロセッサ９０１０と、データがそれを通って分析システム９１００に送信されるデータ中継インターフェース９０３０と、を含み得る。いくつかの例示では、外科用ハブ９０００は、ユーザからの入力を受信するための入力デバイス９０９２（例えば、静電容量タッチスクリーン又はキーボード）と、ユーザに出力を提供するための出力デバイス９０９４（例えば、ディスプレイスクリーン）と、を有する、ユーザインターフェース９０９０を更に含み得る。出力は、ユーザによって入力されたクエリからのデータ、所与の処置において使用するための製品又は製品の混合の提案、及び／又は外科処置前、外科処置間、若しくは外科処置後に行われるアクションのための命令を含むことができる。外科用ハブ９０００は更に、モジュール式デバイス９０５０を外科用ハブ９０００に通信可能に連結するためのインターフェース９０４０を含み得る。一態様では、インターフェース９０４０は、無線通信プロトコルを介してモジュール式デバイス９０５０に通信可能に接続可能な送受信機を含み得る。モジュール式デバイス９０５０は、例えば、外科用ステープル留め器具及び切断器具、電気外科用器具、超音波器具、吸入器、人工呼吸器、並びにディスプレイスクリーンを含むことができる。いくつかの例示では、外科用ハブ９０００は更に、例えば、ＥＫＧモニタ又はＢＰモニタなどの、１つ以上の患者モニタリングデバイス９０５２に通信可能に連結されることができる。いくつかの例示では、外科用ハブ９０００は更に、外科用ハブ９０００が位置する医療施設のＥＭＲデータベースなどの１つ以上のデータベース９０５４又は外部コンピュータシステムに、通信可能に連結されることができる。
【0121】
モジュール式デバイス９０５０が外科用ハブ９０００に接続されると、外科用ハブ９０００は、モジュール式デバイス９０５０から周術期データを感知又は受信し、次いで、受信した周術期データを外科処置結果データと関連付けることができる。周術期データは、外科処置の過程でモジュール式デバイス９０５０がどのように制御されたかを示し得る。処置結果データは、外科処置（又はその工程）からの結果に関連付けられたデータを含み、それは、外科処置（又はその工程）が肯定的な結果を有したか又は否定的な結果を有したかを含むことができる。例えば、結果データは、患者が特定の処置による術後合併症に罹患したかどうか、又は特定のステープルライン若しくは切開線において漏出（例えば、出血又は空気漏出）があったかどうかを含むことができる。外科用ハブ９０００は、外部ソースから（例えば、ＥＭＲデータベース９０５４から）データを受信することによって、結果を（例えば、接続されたモジュール式デバイス９０５０のうちの１つを介して）直接検出することによって、又は状況認識システムを通して結果の発生を推測することによって、外科処置結果データを取得することができる。例えば、術後合併症に関するデータをＥＭＲデータベース９０５４から検索することができ、ステープルライン又は切開線の漏れに関するデータを状況認識システムによって直接検出又は推測することができるであろう。外科処置結果データは、モジュール式デバイス９０５０自体、患者モニタリングデバイス９０５２、及び外科用ハブ９０００が接続されるデータベース９０５４を含む、種々のデータソースから受信されるデータから、状況認識システムによって推測されることができる。
【0122】
外科用ハブ９０００は、関連付けられたモジュール式デバイス９０５０のデータ及び結果データを、分析システム９１００上で処理するために分析システム９１００に送信することができる。モジュール式デバイス９０５０がどのように制御されるかを示す周術期データと、処置結果データとの両方を送信することによって、分析システム９１００は、モジュール式デバイス９０５０を制御する異なる様式を、特定の処置タイプのための手術結果と相関させることができる。いくつかの例示では、分析システム９１００は、外科用ハブ９０００からデータを受信するように構成された解析サーバ９０７０のネットワークを含んでもよい。分析サーバ９０７０の各々は、メモリと、メモリに連結され、受信されたデータを分析するためにそこに記憶された命令を実行しているプロセッサと、を含むことができる。いくつかの例示では、分析サーバ９０７０は、分散コンピューティングアーキテクチャで接続されてもよく、かつ／又はクラウドコンピューティングアーキテクチャを利用してもよい。次に、この対にされたデータに基づいて、分析システム９１００は、様々なタイプのモジュール式デバイス９０５０のための最適又は好ましい動作パラメータを学習し、現場のモジュール式デバイス９０５０の制御プログラムに対する調整を生成し、次いで、モジュール式デバイス９０５０の制御プログラムに対するアップデートを送信（又は「プッシュ」）することができる。
【0123】
【0124】
図１４は、本開示による外科用システム６５００を提供し、その外科用システム６５００は、外科用器具６５０２を含んでいてもよく、その外科用器具６５０２は、ローカルエリアネットワーク６５１８又はクラウドネットワーク６５２０を通じて、コンソール６５２２又はポータブルデバイス６５２６と、有線接続若しくは無線接続を介して通信することができるようになっている。様々な態様では、コンソール６５２２及びポータブルデバイス６５２６は、任意の好適なコンピューティングデバイスであり得る。外科用器具６５０２は、ハンドル６５０４と、アダプタ６５０８と、装填ユニット６５１４と、を含み得る。アダプタ６５０８は、ハンドル６５０４に解放可能に連結し、装填ユニット６５１４は、アダプタ６５０８が駆動シャフトから装填ユニット６５１４に力を伝達するように、アダプタ６５０８に解放可能に連結する。アダプタ６５０８又は装填ユニット６５１４は、装填ユニット６５１４に及ぼされる力を測定するために、その中に配設される力ゲージ（明示的に図示せず）を含んでもよい。装填ユニット６５１４は、第１のジョー６５３２及び第２のジョー６５３４を含むエンドエフェクタ６５３０を含み得る。装填ユニット６５１４は、装填ユニット６５１４を再装填するために装填ユニット６５１４が手術部位から除去される必要なく、臨床医が複数の締結具を複数回発射することを可能にする、現位置装填又はマルチ発射装填ユニット（multi-firing loading unit、ＭＦＬＵ）であってもよい。
【0125】
第１のジョー６５３２及び第２のジョー６５３４は、それらの間に組織をクランプし、クランプされた組織を通して締結具を発射し、クランプされた組織を切断するように構成され得る。第１のジョー６５３２は、少なくとも１つの締結具を複数回発射するように構成されてもよいか、又は交換される前に２回以上発射されてもよい複数の締結具（例えば、ステープル、クリップなど）を含む交換可能なマルチ発射型締結具カートリッジを含むように構成されてもよい。第２のジョー６５３４は、締結具がマルチ発射型締結具カートリッジから排出される際に、締結具を変形させるか、又は他のやり方で組織の周りに固定するアンビルを含み得る。
【0126】
ハンドル６５０４は、駆動シャフトの回転に影響を及ぼすように駆動シャフトに連結されるモータを含み得る。ハンドル６５０４は、モータを選択的に起動するための制御インターフェースを含み得る。制御インターフェースは、ボタン、スイッチ、レバー、スライダ、タッチスクリーン、及び任意の他の好適な入力機構又はユーザインターフェースを含んでもよく、これらは、モータを起動するために臨床医によって作動され得る。
【0127】
ハンドル６５０４の制御インターフェースは、ハンドル６５０４のコントローラ６５２８と通信して、モータを選択的に起動させ、駆動シャフトの回転に影響を及ぼすことができる。コントローラ６５２８は、ハンドル６５０４内に配設されてもよく、制御インターフェースからの入力、及びアダプタ６５０８からのアダプタデータ、又は装填ユニット６５１４からの装填ユニットデータを受信するように構成される。コントローラ６５２８は、モータを選択的に起動するために、制御インターフェースからの入力と、アダプタ６５０８及び／又は装填ユニット６５１４から受信されたデータとを分析し得る。ハンドル６５０４はまた、ハンドル６５０４の使用中に臨床医が見ることができるディスプレイを含み得る。ディスプレイは、器具６５０２の発射前、発射中、又は発射後に、アダプタデータ又は装填ユニットデータの一部を表示するように構成されてもよい。
【0128】
アダプタ６５０８は、その中に配置されるアダプタ識別デバイス６５１０を含んでもよく、装填ユニット６５１４は、その中に配設される装填ユニット識別デバイス６５１６を含む。アダプタ識別デバイス６５１０は、コントローラ６５２８と通信してもよく、装填ユニット識別デバイス６５１６は、コントローラ６５２８と通信してもよい。装填ユニット識別デバイス６５１６は、装填ユニット識別デバイス６５１６からコントローラ６５２８への通信を中継又は通過させるアダプタ識別デバイス６５１０と通信し得るということが理解されるであろう。
【0129】
アダプタ６５０８はまた、アダプタ６５０８又は環境の種々の状態（例えば、アダプタ６５０８が装填ユニットに接続されている場合、アダプタ６５０８がハンドルに接続されている場合、駆動シャフトが回転している場合、駆動シャフトのトルク、駆動シャフトの歪み、アダプタ６５０８内の温度、アダプタ６５０８の発射回数、発射中のアダプタ６５０８のピーク力、アダプタ６５０８に印加される力の総量、アダプタ６５０８のピーク後退力、発射中のアダプタ６５０８の休止回数など）を検出するために、その周囲に配設される複数のセンサ６５１２（１つが図示されている）を含んでもよい。複数のセンサ６５１２は、アダプタ識別デバイス６５１０に、入力をデータ信号の形態で提供することができる。複数のセンサ６５１２のデータ信号は、アダプタ識別デバイス６５１０内に記憶されてもよいか、又はアダプタ識別デバイス６５１０内に記憶されたアダプタデータをアップデートするために使用されてもよい。複数のセンサ６５１２のデータ信号は、アナログ又はデジタルであってもよい。複数のセンサ６５１２は、発射中に装填ユニット６５１４に及ぼされる力を測定するための力ゲージを含んでもよい。
【0130】
ハンドル６５０４及びアダプタ６５０８は、電気インターフェースを介して、アダプタ識別デバイス６５１０及び装填ユニット識別デバイス６５１６をコントローラ６５２８と相互接続するように構成され得る。電気的インターフェースは、直接的な電気インターフェースであってもよい（すなわち、エネルギー及び信号をそれらの間で伝送するために互いに係合する電気接点を含み得る）。加えて、又は代替として、電気インターフェースは、エネルギー及び信号をそれらの間で無線伝送する（例えば、誘導伝送する）ための非接触型電気インターフェースであってもよい。アダプタ識別デバイス６５１０及びコントローラ６５２８は、電気インターフェースとは別個の無線接続を介して互いに無線通信し得るということも企図される。
【0131】
ハンドル６５０４は、コントローラ６５２８からシステム６５００の他の構成要素（例えば、ＬＡＮ６５１８、クラウド６５２０、コンソール６５２２、又はポータブルデバイス６５２６）に器具データを送信するように構成された送信機６５０６を含み得る。送信機６５０６はまた、システム６５００の他の構成要素からデータ（例えば、カートリッジデータ、装填ユニットデータ、又はアダプタデータ）を受信し得る。例えば、コントローラ６５２８は、ハンドル６５０４に取り付けられている、取り付けられたアダプタ（例えば、アダプタ６５０８）のシリアル番号、アダプタに取り付けられた装填ユニット（例えば、装填ユニット６５１４）のシリアル番号、及び装填ユニットに装填されたマルチ発射型締結具カートリッジ（例えば、マルチ発射型締結具カートリッジ）のシリアル番号を含む器具データを、コンソール６５２８に送信してもよい。その後、コンソール６５２２は、取り付けられたカートリッジ、装填ユニット、及びアダプタにそれぞれ関連付けられたデータ（例えば、カートリッジデータ、装填ユニットデータ、又はアダプタデータ）を、コントローラ６５２８に返信し得る。コントローラ６５２８は、ローカル器具ディスプレイ上にメッセージを表示するか、又は送信機６５０６を介してコンソール６５２２又はポータブルデバイス６５２６にメッセージを送信して、それぞれディスプレイ６５２４又はポータブルデバイススクリーン上にメッセージを表示することができる。
【0132】
図１５Ａは、動作モードを決定し、決定されたモードで動作するための例示的なフローを示す。コンピュータ実装インタラクティブ外科用システム、並びに／又はコンピュータ実装インタラクティブ外科用システムの構成要素及び／若しくはサブシステムは、アップデートされるように構成されてもよい。そのようなアップデートは、アップデート前にユーザに利用可能でなかった機能及び利益の包含を含み得る。これらのアップデートは、ユーザに機能を導入するのに好適なハードウェア、ファームウェア、及びソフトウェアのアップデートの任意の方法によって確立することができる。例えば、交換可能／スワップ可能（例えば、ホットスワップ可能）なハードウェア構成要素、フラッシュ可能なファームウェアデバイス、及びアップデート可能なソフトウェアシステムを使用して、コンピュータ実装インタラクティブ外科用システム、並びに／又はコンピュータ実装インタラクティブ外科用システムの構成要素及び／若しくはサブシステムをアップデートし得る。
【0133】
アップデートは、任意の好適な基準又は基準のセットを条件とすることができる。例えば、アップデートは、処理能力、帯域幅、解像度など、システムの１つ以上のハードウェア能力を条件とすることができる。例えば、アップデートは、あるソフトウェアコードの購入など、１つ以上のソフトウェア態様を条件とすることができる。例えば、アップデートは、購入されたサービス階層を条件とすることができる。サービス階層は、ユーザがコンピュータ実装インタラクティブ外科用システムに関連して使用する資格がある１つの機能及び／又は一組の機能を表してもよい。サービス階層は、ライセンスコード、ｅコマースサーバ認証インタラクション、ハードウェア鍵、ユーザ名／パスワードの組み合わせ、生体認証インタラクション、公開／秘密鍵交換インタラクションなどによって決定され得る。
【0134】
１０７０４において、システム／デバイスパラメータが識別され得る。システム／デバイスパラメータは、アップデートが条件付けられる任意の要素又は要素のセットであり得る。例えば、コンピュータ実装インタラクティブ外科用システムは、モジュール式デバイスと外科用ハブとの間の通信のある帯域幅を検出してもよい。例えば、コンピュータ実装インタラクティブ外科用システムは、特定のサービス階層の購入を表す指標を検出してもよい。
【0135】
１０７０８において、動作モードが、識別されたシステム／デバイスパラメータに基づいて決定され得る。この決定は、システム／デバイスパラメータを動作モードにマッピングするプロセスによって行われ得る。プロセスは、手動プロセス及び／又は自動プロセスであり得る。プロセスは、ローカルでの計算及び／又はリモートでの計算の結果であってよい。例えば、クライアント／サーバインタラクションを使用し、識別されたシステム／デバイスパラメータに基づいて、動作モードを決定することができる。例えば、ローカルソフトウェア及び／又はローカルに埋め込まれたファームウェアが、識別されたシステム／デバイスパラメータに基づいて動作モードを決定するために使用され得る。例えば、セキュアなマイクロプロセッサなどのハードウェアキーを使用し、識別されたシステム／デバイスパラメータに基づいて、動作モードを決定することができる。
【0136】
１０７１０において、決定された動作モードに従って、動作が進行し得る。例えば、システム又はデバイスは、デフォルトの動作モードで動作するように進み得る。例えば、システム又はデバイスは、代替的動作モードで動作するように進んでもよい。動作モードは、システム又はデバイス内に既に存在する制御ハードウェア、ファームウェア、及び／又はソフトウェアによって指示され得る。動作モードは、新しくインストール／アップデートされた制御ハードウェア、ファームウェア、及び／又はソフトウェアによって指示されてもよい。
【0137】
図１５Ｂは、動作モードを変更するための、例示的な機能ブロック図を示す。アップグレード可能な要素１０７１４は、初期化構成要素１０７１６を含み得る。初期化構成要素１０７１６は、動作モードを決定するのに好適な任意のハードウェア、ファームウェア、及び／又はソフトウェアを含み得る。例えば、初期化構成要素１０７１６は、システム又はデバイスのスタートアップ手順の一部であり得る。初期化構成要素１０７１６は、アップグレード可能な要素１０７１４の動作モードを決定するためのインタラクションに関与してもよい。例えば、初期化構成要素１０７１６は、例えば、ユーザ１０７３０、外部リソース１０７３２、及び／又はローカルリソース１０７１８とインタラクションすることができる。例えば、初期化構成要素１０７１６は、ユーザ１０７３０からライセンスキーを受信して、動作モードを決定することができる。初期化構成要素１０７１６は、動作モードを決定するために、アップグレード可能なデバイス１０７１４のシリアル番号を用いて、例えば、サーバなどの外部リソース１０７３２にクエリを行ってもよい。例えば、初期化構成要素１０７１６は、利用可能な帯域幅の量を決定するためのローカルクエリ及び／又は、例えば、動作モードを決定するためのハードウェアキーのローカルクエリなど、ローカルリソース１０７１８にクエリを行ってもよい。
【0138】
アップグレード可能な要素１０７１４は、１つ以上の動作構成要素１０７２０、１０７２２、１０７２６、１０７２８及び動作ポインタ１０７２４を含み得る。初期化構成要素１０７１６は、アップグレード可能要素１０７４１の動作を、決定された動作モードに対応する動作構成要素１０７２０、１０７２２、１０７２６、１０７２８に指示するように、動作ポインタ１０７２４に指示してもよい。初期化構成要素１０７１６は、アップグレード可能な要素の動作をデフォルト動作構成要素１０７２０に指示するように、動作ポインタ１０７２４に指示してもよい。例えば、デフォルト動作構成要素１０７２０は、他の代替的動作モードが決定されていないという条件で選択されてもよい。例えば、デフォルト動作構成要素１０７２０は、初期化構成要素の不良及び／又はインタラクション不良という条件で選択されてもよい。初期化構成要素１０７１６は、アップグレード可能要素１０７１４の動作を、常駐動作構成要素１０７２２に指示するように、動作ポインタ１０７２４に指示してもよい。例えば、特定の機能は、アップグレード可能な構成要素１０７１４に常駐していてもよいが、動作させるためには起動を必要とする。初期化構成要素１０７１６は、新たな動作構成要素１０７２８及び／又は新たにインストールされた動作構成要素１０７２６をインストールするように、アップグレード可能要素１０７１４の動作を指示するために、動作ポインタ１０７２４に指示してもよい。例えば、新しいソフトウェア及び／又はファームウェアがダウンロードされてもよい。新しいソフトウェア及び／又はファームウェアは、選択された動作モードによって表される機能を有効にするコードを含み得る。例えば、新しいハードウェア構成要素をインストールして、選択された動作モードを有効にすることができる。
【0139】
図１６Ａ～図１６Ｄ及び図１７Ａ～図１７Ｆは、外科用システムに組み込まれ得る可視化システム２１０８の一例の様々な態様を示す。可視化システム２１０８は、撮像制御ユニット２００２及びハンドユニット２０２０を含み得る。撮像制御ユニット２００２は、１つ以上の照明源、１つ以上の照明源のための電源、１つ以上の種類のデータ通信インターフェース（ＵＳＢ、イーサネット、又は無線インターフェース２００４を含む）、及び１つ以上の映像出力２００６を含み得る。撮像制御ユニット２００２は、ＵＳＢ対応デバイスに統合映像及び画像捕捉データを送信するように構成された、ＵＳＢインターフェース２０１０などのインターフェースを更に含み得る。撮像制御ユニット２００２はまた、プロセッサユニット、一時メモリユニット、非一時メモリユニット、画像処理ユニット、計算構成要素の中でデータリンクを形成するためのバス構造、撮像制御ユニットから情報を受信し、撮像制御ユニットに含まれない構成要素に情報を送信するために必要な任意のインターフェース（例えば、入力及び／又は出力）デバイスが挙げられるが、これらに限定されない、１つ以上の計算構成要素を含み得る。非一時的なメモリは、プロセッサユニットによって実行されると、ハンドユニット２０２０及び／又は撮像制御ユニットに含まれない計算デバイスから受信され得るデータが、任意の数の操作を実行することができる命令を更に含んでもよい。
【0140】
照明源は、白色光源２０１２及び１つ以上のレーザ光源を含み得る。撮像制御ユニット２００２は、ハンドユニット２０２０との光学的通信及び／又は電気的通信のための１つ以上の光学インターフェース及び／又は電気的インターフェースを含んでもよい。１つ以上のレーザ光源は、非限定的な例として、赤色レーザ光源、緑色レーザ光源、青色レーザ光源、赤外線レーザ光源、及び紫外線レーザ光源のうちの任意の１つ以上を含み得る。いくつかの非限定的な例では、赤色レーザ光源は、６３５ｎｍ～６６０ｎｍの、両端の値を含む範囲であり得るピーク波長を有する照明を供給してもよい。赤色レーザピーク波長の非限定的な例は、約６３５ｎｍ、約６４０ｎｍ、約６４５ｎｍ、約６５０ｎｍ、約６５５ｎｍ、約６６０ｎｍ、又はそれらの間の任意の値若しくは値の範囲を含んでもよい。いくつかの非限定的な例では、緑色レーザ光源は、５２０ｎｍ～５３２ｎｍの、両端の値を含む範囲であり得るピーク波長を有する照明を供給してもよい。緑色レーザピーク波長の非限定的な例は、約５２０ｎｍ、約５２２ｎｍ、約５２４ｎｍ、約５２６ｎｍ、約５２８ｎｍ、約５３０ｎｍ、約５３２ｎｍ、又はそれらの間の任意の値若しくは値の範囲を含んでもよい。いくつかの非限定的な例では、青色レーザ光源は、４０５ｎｍ～４４５ｎｍの、両端の値を含む範囲であり得るピーク波長を有する照明を供給してもよい。青色レーザピーク波長の非限定的な例は、約４０５ｎｍ、約４１０ｎｍ、約４１５ｎｍ、約４２０ｎｍ、約４２５ｎｍ、約４３０ｎｍ、約４３５ｎｍ、約４４０ｎｍ、約４４５ｎｍ、又はそれらの間の任意の値若しくは値の範囲を含んでもよい。いくつかの非限定的な例では、赤外線レーザ光源は、７５０ｎｍ～３０００ｎｍの、両端の値を含む範囲であり得るピーク波長を有する照明を供給してもよい。赤外線レーザピーク波長の非限定的な例は、約７５０ｎｍ、約１０００ｎｍ、約１２５０ｎｍ、約１５００ｎｍ、約１７５０ｎｍ、約２０００ｎｍ、約２２５０ｎｍ、約２５００ｎｍ、約２７５０ｎｍ、３０００ｎｍ、又はそれらの間の任意の値若しくは値の範囲を含んでもよい。いくつかの非限定的な例では、紫外線レーザ光源は、２００ｎｍ～３６０ｎｍの、両端の値を含む範囲であり得るピーク波長を有する照明を供給してもよい。紫外線レーザピーク波長の非限定的な例は、約２００ｎｍ、約２２０ｎｍ、約２４０ｎｍ、約２６０ｎｍ、約２８０ｎｍ、約３００ｎｍ、約３２０ｎｍ、約３４０ｎｍ、約３６０ｎｍ、又はそれらの間の任意の値若しくは値の範囲を含んでもよい。
【0141】
非限定的な一態様では、ハンドユニット２０２０は、本体２０２１と、本体２０２１に取り付けられたカメラスコープケーブル２０１５と、細長いカメラプローブ２０２４と、を含んでもよい。ハンドユニット２０２０の本体２０２１は、ハンドユニット制御ボタン２０２２を含んでもよいか、又は医療専門家がハンドユニット２０２０を使用して、例えば、光源を含む、ハンドユニット２０２０又は撮像制御ユニット２００２の他の構成要素の動作を制御することを可能にする他の制御部を含んでもよい。カメラスコープケーブル２０１５は、１つ以上の導電体及び１つ以上の光ファイバを含み得る。カメラスコープケーブル２０１５は、カメラヘッドコネクタ２００８が撮像制御ユニット２００２の１つ以上の光学インターフェース及び／又は電気インターフェースと嵌合するように構成されている近位端において、カメラヘッドコネクタ２００８で終端してもよい。導電体は、本体２０２１及び細長いカメラプローブ２０２４を含むハンドユニット２０２０、並びに／又は、本体２０２１及び／若しくは細長いカメラプローブ２０２４を含むハンドユニット２０２０の内部の任意の電気構成要素に電力を供給してもよい。導電体はまた、任意の１つ以上の構成要素間の双方向データ通信を、ハンドユニット２０２０及び撮像制御ユニット２００２に提供するように機能してもよい。１つ以上の光ファイバは、ハンドユニット本体２０２１を通って、細長いカメラプローブ２０２４の遠位端まで、撮像制御ユニット２００２内の１つ以上の照明源からの照明を伝導してもよい。いくつかの非限定的な態様では、１つ以上の光ファイバはまた、手術部位から、細長いカメラプローブ２０２４、ハンドユニット本体２０２１、及び／又は撮像制御ユニット２００２内に配設された１つ以上の光学センサに反射又は屈折された光を伝導してもよい。
【0142】
図１６Ｂ（平面図）は、可視化システム２１０８のハンドユニット２０２０のいくつかの態様をより詳細に示す。ハンドユニット本体２０２１は、プラスチック材料で構成されてもよい。ハンドユニット制御ボタン２０２２又は他の制御部は、外科医によって操作されることを可能にしながら、制御部を保護するためのゴムオーバーモールドを有してもよい。カメラスコープケーブル２０１５は、導電体と一体化された光ファイバを有してもよく、カメラスコープケーブル２０１５は、ＰＶＣなどの保護及び可撓性オーバーコートを有してもよい。いくつかの非限定的な例では、カメラスコープケーブル２０１５は、外科処置中に使いやすくするために、長さ約１０フィートであってもよい。カメラスコープケーブル２０１５の長さは、約５フィート～約１５フィートの範囲であってもよい。カメラスコープケーブル２０１５の長さの非限定的な例は、約５フィート、約６フィート、約７フィート、約８フィート、約９フィート、約１０フィート、約１１フィート、約１２フィート、約１３フィート、約１４フィート、約１５フィート、又はそれらの間の任意の長さ若しくは長さの範囲であってもよい。細長いカメラプローブ２０２４は、ステンレス鋼などの剛性材料から作製されてもよい。いくつかの態様では、細長いカメラプローブ２０２４は、回転可能なカラー２０２６を介してハンドユニット本体２０２１と接合されてもよい。回転可能なカラー２０２６は、細長いカメラプローブ２０２４をハンドユニット本体２０２１に対して回転させることを可能にし得る。いくつかの態様では、細長いカメラプローブ２０２４は、エポキシで封止されたプラスチック窓２０２８にて、遠位端で終端してよい。
【0143】
図１６Ｃに示されるハンドユニットの側面平面図は、光センサ又は画像センサ２０３０が、細長いカメラプローブの遠位端２０３２ａに又はハンドユニット本体２０３２ｂ内に配設され得ることを示す。いくつかの代替的な態様では、光センサ又は画像センサ２０３０は、撮像制御ユニット２００２内に追加の光学素子と共に配設されてもよい。図１６Ｃは、約４ｍｍの半径を有するマウント２０３６内に配設されたＣＭＯＳ画像センサ２０３４を備える、光センサ２０３０の例を更に示す。図１６Ｄは、画像センサのアクティブエリア２０３８を示す、ＣＭＯＳ画像センサ２０３４の態様を示す。図１６ＣのＣＭＯＳ画像センサは、約４ｍｍの半径を有するマウント２０３６内に配設されるように描かれているが、このようなセンサ及びマウントの組み合わせは、細長いカメラプローブ２０２４、ハンドユニット本体２０２１内に、又は画像制御ユニット２００２内に配設される任意の有用なサイズであってもよいことが認識され得る。このような代替マウントのいくつかの非限定的な例としては、５．５ｍｍのマウント２１３６ａ、４ｍｍのマウント２１３６ｂ、２．７ｍｍのマウント２１３６ｃ、及び２ｍｍのマウント２１３６ｄが挙げられ得る。画像センサはまた、ＣＣＤ画像センサを含んでもよいことが認識され得る。ＣＭＯＳセンサ又はＣＣＤセンサは、個々の光感知素子（画素）の配列を含んでもよい。
【0144】
【0145】
図１７Ａは、電磁エネルギーの複数の波長を放射する複数のレーザ束を有するレーザ照明システムの態様を示す。図からわかるように、照明システム２７００は、光ファイバ２７５５を介して一緒に光学的に全てを結合する赤色レーザ束２７２０と、緑色レーザ束２７３０と、青色レーザ束２７４０と、を含むことができる。図からわかるように、レーザ束のそれぞれは、特定のレーザ束又は波長の出力を感知するための、対応する光感知素子又は電磁センサ２７２５、２７３５、２７４５をそれぞれ有することができる。
【0146】
外科用可視化システム２１０８で使用するための図１７Ａに示されるレーザ照明システムに関する更なる開示は、２０１４年３月１５日に出願の、「ＣＯＮＴＲＯＬＬＩＮＧ ＴＨＥ ＩＮＴＥＧＲＡＬ ＬＩＧＨＴ ＥＮＥＲＧＹ ＯＦ Ａ ＬＡＳＥＲ ＰＵＬＳＥ」と題する米国特許出願公開第２０１４／０２６８８６０号（２０１７年１０月３日に米国特許第９，７７７，９１３号として発行）に見出すことができ、その内容は、その全体が、あらゆる目的のために、参照により本明細書に組み込まれる。
【0147】
図１７Ｂは、読み出しモードのローリングに使用されるセンサの動作サイクルを示す。Ｘ方向は、時間に対応し、斜線２２０２は、データの各フレームを読み取る内部ポインタの活動、１行ずつの時間を示すことが理解されるであろう。同じポインタは、次の露光期間の画素の各列をリセットすることに関与する。各列２２１９ａ～ｃの正味の積分時間は等価であるが、ローリングリセット及び読み出しプロセスにより、互いに対して時間的にずれている。したがって、異なる構成の光を表すために隣接するフレームが必要とされる任意のシナリオについて、各列に一貫性をもたせるための唯一の選択肢は、読み出しサイクル２２３０ａ～ｃ間の光をパルスすることである。より具体的には、最大利用可能期間は、ブランキング時間と、フレームの開始又は終了時に光学的黒又は光学ブラインド（ＯＢ）列（２２１８、２２２０）がサービスされる時間との合計に対応する。
【0148】
図１７Ｂは、ローリング読み出しモードにて又はセンサ読み出し２２００の間に使用されるセンサの、動作サイクルを示す。フレーム読み出しは、垂直線２２１０で開始され、それによって表され得る。読み出し期間は、対角線又は斜線２２０２で表される。センサは、列単位で読み出すことができ、下向きの斜縁の最上部は、センサ最上列２２１２であり、下向きの斜縁の最下部は、センサ最下列２２１４である。最後の列読み出しと次の読み出しサイクルとの間の時間は、ブランキング時間２２１６ａ～ｄと呼ばれることがある。ブランキング時間２２１６ａ～ｄは、成功の読み出しサイクル間で同じであってもよいか、又は成功の読み出しサイクル間で異なってもよいことが理解され得る。センサ画素列のうちのいくつかは、遮光体（例えば、金属コーティング又は任意のその他の、別の種類の材料の実質的黒の層）で覆われ得るということに留意されたい。これらの覆われた画素列は、光学的黒の列２２１８及び２２２０と称され得る。光学的黒の列２２１８及び２２２０は、補正アルゴリズムのための入力として使用することができる。
【0149】
図１７Ｂにて示すように、これらの光学的黒の列２２１８及び２２２０は、画素アレイの上部の上若しくは画素アレイの底部に、又は画素アレイの上部及び底部に配置され得る。いくつかの態様では、電磁放射線、例えば、画素に露光され、それにより、画素により積分される又は蓄積される、光の量を制御することが望ましい場合がある。光子は、電磁放射線の素粒子であることが理解されよう。光子は、各画素により積分、吸収、又は蓄積され、電荷又は電流に変換される。いくつかの態様では、電子シャッタ又はローリングシャッタを使用して、画素をリセットすることによって積分時間（２２１９ａ～ｃ）を開始することができる。次に、光は、次の読み出し段階まで積分し得る。いくつかの態様では、電子シャッタの位置は、光の所与の量に対する画素飽和を制御するために、２つの読み出しサイクル２２０２の間で移動し得る。電子シャッタがないいくつかの代替的な態様では、入射光の積分時間２２１９ａ～ｃは、最初の読み出しサイクル２２０２中に開始することができ、次の積分の開始をも定義する次の読み出しサイクル２２０２にて終了し得る。いくつかの代替的な態様では、各画素によって蓄積された光の量は、ブランキング時間２２１６ａ～ｄ中に光がパルスされた時間２２３０ａ～ｄによって制御されてもよい。これにより、全ての列は、同じ光パルス２２３０ａ～ｃに由来する同じ光を見ることができる。換言すれば、各列は、最大光パルス幅の読み出しフレーム（ｍ）の光学的黒の後列２２２０にあってもよい第１の暗色環境２２３１においてその積分を開始し、次いで、光ストロボを受光し、最大光パルス幅のために次の後続の読み出しフレーム（ｍ＋１）の光学的黒の前列２２１８にあってもよい第２の暗色環境２２３２においてその積分を終了する。したがって、光パルス２２３０ａ～ｃから生成された画像は、フレーム（ｍ）及び（ｍ＋２）とのいずれの干渉もなしに、フレーム（ｍ＋１）読み出し中にのみ利用可能であり得る。
【0150】
１フレーム内でのみ読み取られ、かつ隣接フレームに干渉しない光パルス２２３０ａ～ｃを有する状態が、ブランキング時間２２１６中に、所与の光パルス２２３０ａ～ｃの発射を有する、という点に留意すべきである。光学的黒の列２２１８、２２２０は、光に対して非感応性であるので、光学的黒の後列２２２０のフレーム時間（ｍ）及び光学的黒の前列２２１８のフレーム時間（ｍ＋１）をブランキング時間２２１６に追加して、光パルス２２３０の発射時間の最大範囲を決定することができる。
【0151】
いくつかの態様では、図１７Ｂは、従来のＣＭＯＳセンサによる連続フレーム捕捉のタイミング図の一例を示す。このようなＣＭＯＳセンサは、図１７Ｃに示すように、カラーフィルタのベイヤーパターンを組み込んでよい。ベイヤーパターンは、色度よりも高い輝度詳細を提供するということが認識される。更に、画像の集約空間部分の色情報を生成するために、合計４つの隣接する画素が必要とされるため、センサは空間解像度が低減されていることが更に認識され得る。代替的なアプローチでは、色画像は、様々な中心光波長を有する様々な光源（レーザ又は発光ダイオードのいずれか）と共に高速で可視化領域を迅速にストロービングすることによって構築されてもよい。
【0152】
光学ストロービングシステムは、カメラシステムの制御下にあってもよく、高速読み出しを有する特別に設計されたＣＭＯＳセンサを含んでもよい。主な利益は、センサが、従来のベイヤーカメラ又は３センサカメラと比較して、画素が著しく少ない状態で、同じ空間解像度を達成することができることである。したがって、画素アレイによって占有される物理空間を低減し得る。実際のパルス周期（２２３０ａ～ｃ）は、図１７Ｂに示すように、繰り返しパターン内で異なってもよい。これは、例えば、より大きな光エネルギーを必要とする構成要素又はより弱い光源を有する構成要素に、より大きな時間を配分するのに有用である。平均捕捉フレームレートが必要な最終システムフレームレートの整数倍である限り、データは、単に信号処理チェーン内で適宜バッファリングされてもよい。
【0153】
これらの方法の全てを組み合わせることによって許容される範囲までＣＭＯＳセンサチップ領域を低減するための設備は、小径（約３～１０ｍｍ）の内視鏡で特に魅力的である。具体的には、センサが空間拘束された遠位端内に位置している内視鏡設計が可能となり、それにより、高精細映像を提供しながら、光学部分の複雑さ及びコストを大幅に低減する。このアプローチの結果は、各最終的なフルカラー画像を再構築するために、データが３つの別個のスナップショットから時間的に融合されることを必要とする。対象物の縁が各捕捉された構成要素内のわずかに異なる位置に見えるため、内視鏡の参照の光学フレームに対してシーン内の任意の動きは、一般に、知覚解像度を低下させるであろう。本開示では、空間解像度が、色度情報よりも輝度情報にとって非常に重要であるという事実を利用する、この問題を減少させる手段が記載される。
【0154】
このアプローチの基礎は、各フレーム中に単色光を発射する代わりに、３つの波長の組み合わせが、単一画像内の輝度情報の全てを提供するために使用されることである。色度情報は、例えば、Ｙ－Ｃｂ－Ｙ－Ｃｒ（図１７Ｄ）などの反復パターンを有する別個のフレームから導出される。パルス比の賢い選択によって純粋な輝度データを提供することが可能であるが、色度には同じことが当てはまらない。
【0155】
一態様では、図１７Ｄに示すように、内視鏡システム２３００ａは、均一な画素を有する画素アレイ２３０２ａを含んでもよく、システム２３００ａは、Ｙ（輝度パルス）２３０４ａ、Ｃｂ（ＣｈｒｏｍａＢｌｕｅ）２３０６ａ及びＣｒ（ＣｈｒｏｍａＲｅｄ）２３０８ａパルスを受信するように動作し得る。
【0156】
フルカラー画像を完成させるためには、色度の２つの成分も提供される必要がある。しかしながら、ＲＧＢ係数の一部が負であるという事実に反映されるように、輝度に適用された同じアルゴリズムは、符号化されているため、色度画像に直接適用することができない。この解決策は、最終的なパルスエネルギーの全てが正になる、十分な大きさの輝度を加えることである。ＩＳＰにおける色融合プロセスが、色度フレームの組成を認識している限り、それらは、隣接フレームから適切な量の輝度を減算することによってデコードすることができる。パルスエネルギー比率は、以下のとおりである。
Ｙ＝０．１８３・Ｒ＋０．６１４・Ｇ＋０．０６２・Ｂ
Ｃｂ＝λ・Ｙ－０．１０１・Ｒ－０．３３９・Ｇ＋０．４３９・Ｂ
Ｃｒ＝６・Ｙ＋０．４３９・Ｒ－０．３９９・Ｇ－０．０４０・Ｂ
λ≧０．３９９／０．６１４＝０．５５２
δ≧０．３３９／０．６１４＝０．６５０
Ｙ＝０．１８３・Ｒ＋０．６１４・Ｇ＋０．０６２・Ｂ
Ｃｂ＝λ・Ｙ－０．１０１・Ｒ－０．３３９・Ｇ＋０．４３９・Ｂ
Ｃｒ＝６・Ｙ＋０．４３９・Ｒ－０．３９９・Ｇ－０．０４０・Ｂ
λ≧０．３９９／０．６１４＝０．５５２
δ≧０．３３９／０．６１４＝０．６５０
【0157】
λ係数が０．５５２に等しい場合には、赤色成分及び緑色成分の両方が正確に相殺され、その場合、Ｃｂ情報には純粋な青色光を提供することができるということが判明している。同様に、設定δ＝０．６５０は、Ｃｒの青色成分及び緑色成分を相殺して、純粋な赤色になる。この特定の例は、図１７Ｅに示されており、これはまた、λ及びδを、
【0158】
【数1】
の整数倍として示す。これは、デジタルフレーム再構成にとって便利な近似値である。
【0159】
Ｙ－Ｃｂ－Ｙ－Ｃｒパルス化スキームの場合、画像データは、既に、色融合後のＹＣｂＣｒ空間にある。したがって、この場合、色補正を実行するために線形ＲＧＢに変換する前に、前の輝度及び色度に基づく動作を実行することを意味する。
【0160】
色融合プロセスは、空間補間がないため、ベイヤーパターン（図１７Ｃを参照）によって必要とされるデモザイクよりも単純である。各画素に利用可能な必要な情報の全てを有するためには、フレームのバッファリングを必要とする。一般的な一態様では、Ｙ－Ｃｂ－Ｙ－Ｃｒパターンのデータは、２つの生の捕捉画像当たり１つのフルカラー画像を生成するようにパイプラインされてよい。これは、各色度サンプルを２回使用することによって達成される。図１７Ｆでは、６０Ｈｚの最終映像を提供する１２０Ｈｚフレーム捕捉速度の具体例が示されている。
【0161】
外科用可視化システム１０８で使用するための図１７Ｂ～図１７Ｆに示される照明システムのレーザ構成要素の制御に関する更なる開示は、米国特許第９，５１６，２３９号として２０１６年１２月６日に発行され、「ＹＣＢＣＲ ＰＵＬＳＥＤ ＩＬＬＵＭＩＮＡＴＩＯＮ ＳＣＨＥＭＥ ＩＮ Ａ ＬＩＧＨＴ ＤＥＦＩＣＩＥＮＴ ＥＮＶＩＲＯＮＭＥＮＴ」と題する、２０１３年７月２６日出願の、米国特許出願公開第２０１４／０１６０３１８号、及び米国特許第９，７４３，０１６号として、２０１７年８月２２日に発行された、「ＣＯＮＴＩＮＵＯＵＳ ＶＩＤＥＯ ＩＮ Ａ ＬＩＧＨＴ ＤＥＦＩＣＩＥＮＴ ＥＮＶＩＲＯＮＭＥＮＴ」と題する、２０１３年７月２６日出願の米国特許出願公開第２０１４／０１６０３１９号に見出すことができ、その内容は、その全体が参照により本明細書に組み込まれる。
【0162】
表面下の血管の撮像
外科処置中に、所望の医療結果をもたらすために、外科医が組織を操作することが必要とされ得る。外科医の行為は、手術部位において視覚的に観察可能なものによって制限される。したがって、外科医は、例えば、処置中に操作されている組織の下にある血管構造の配置を認識しないおそれがある。
外科処置中に、所望の医療結果をもたらすために、外科医が組織を操作することが必要とされ得る。外科医の行為は、手術部位において視覚的に観察可能なものによって制限される。したがって、外科医は、例えば、処置中に操作されている組織の下にある血管構造の配置を認識しないおそれがある。
【0163】
外科医は手術部位の下の血管構造を可視化できないため、外科医は、手術中に１つ以上の重要な血管を偶発的に切断するおそれがある。
【0164】
したがって、提示が手術部位の表面の下に位置する血管構造の存在に関連する情報を含むことができる、外科医に提示するための手術部位の撮像データを取得することができる、外科用可視化システムを有することが望ましい。
【0165】
本開示のいくつかの態様は、レーザ光源などの１つ以上の照明源を使用して手術部位の照明を制御し、１つ以上の画像センサから撮像データを受信するように構成された制御回路を更に提供する。いくつかの態様では、本開示は、実行されると、デバイスに組織内の血管を検出させ、組織の表面の下の深さを判定させる、コンピュータ可読命令を記憶する非一時的なコンピュータ可読媒体を提供する。
【0166】
いくつかの態様では、外科用画像取得システムは、複数の照明源であって、各照明源は、特定の中心波長を有する光を放射するように構成されている、複数の照明源と、複数の照明源のうちの１つ以上によって照明されたときに組織試料から反射された光の一部分を受光するように構成された光センサと、コンピューティングシステムと、を含んでもよい。コンピューティングシステムは、組織試料が複数の照明源のそれぞれによって照明されるときに、光センサからデータを受信し、組織試料が複数の照明源のそれぞれによって照明されたときに、光センサによって受信されたデータに基づいて、組織試料内の構造の深さ位置を決定し、構造及び構造の深さ位置に関する可視化データを計算するように構成されてもよい。いくつかの態様では、可視化データは、ディスプレイシステムによって使用され得るデータフォーマットを有してもよく、構造は、１つ以上の血管組織を含んでもよい。
【0167】
ＮＩＲ分光法を用いた血管撮像
一態様では、外科用画像取得システムは、可視光及び可視範囲外の光を含む照明源の独立したカラーカスケードを含んで、異なる時間及び異なる深さで手術部位内の１つ以上の組織を撮像することができる。外科用画像取得システムは、手術部位から反射かつ／又は屈折された光の特性を更に検出又は計算することができる。光の特性は、手術部位内の組織の合成画像を提供するために並びに手術部位の表面において直接可視ではない、下に存在する組織の分析を提供するために使用され得る。外科用画像取得システムは、別個の測定デバイスを必要とせずに、組織深さ位置を決定することができる。
一態様では、外科用画像取得システムは、可視光及び可視範囲外の光を含む照明源の独立したカラーカスケードを含んで、異なる時間及び異なる深さで手術部位内の１つ以上の組織を撮像することができる。外科用画像取得システムは、手術部位から反射かつ／又は屈折された光の特性を更に検出又は計算することができる。光の特性は、手術部位内の組織の合成画像を提供するために並びに手術部位の表面において直接可視ではない、下に存在する組織の分析を提供するために使用され得る。外科用画像取得システムは、別個の測定デバイスを必要とせずに、組織深さ位置を決定することができる。
【0168】
一態様では、手術部位から反射かつ／又は屈折される光の特性は、１つ以上の波長における光の吸光度の量であり得る。個々の組織の様々な化学成分は、波長依存性である特定の光吸光パターンをもたらし得る。
【0169】
一態様では、照明源は、赤色レーザ源及び近赤外線レーザ源を含んでもよく、撮像される１つ以上の組織は、静脈又は動脈などの血管組織を含んでもよい。いくつかの態様では、赤色レーザ源（可視範囲内）を使用して、可視赤色範囲の分光法に基づいて、下にある血管組織の一部の態様を撮像してもよい。いくつかの非限定的な例では、赤色レーザ光源は、６３５ｎｍ～６６０ｎｍの、両端の値を含む範囲であり得るピーク波長を有する照明を供給してもよい。赤色レーザピーク波長の非限定的な例は、約６３５ｎｍ、約６４０ｎｍ、約６４５ｎｍ、約６５０ｎｍ、約６５５ｎｍ、約６６０ｎｍ、又はそれらの間の任意の値若しくは値の範囲を含んでもよい。いくつかの他の態様では、近赤外線レーザ源を使用して、近赤外分光法に基づいて下にある血管組織を撮像してもよい。いくつかの非限定的な例では、近赤外線レーザ源は、７５０ｎｍ～３０００ｎｍの、両端の値を含む範囲であり得る波長を有してもよい。赤外線レーザピーク波長の非限定的な例は、約７５０ｎｍ、約１０００ｎｍ、約１２５０ｎｍ、約１５００ｎｍ、約１７５０ｎｍ、約２０００ｎｍ、約２２５０ｎｍ、約２５００ｎｍ、約２７５０ｎｍ、３０００ｎｍ、又はそれらの間の任意の値若しくは値の範囲を含んでもよい。下にある血管組織は、赤色光分光法及び赤外分光法の組み合わせを用いてプロービングされ得ることが認識され得る。いくつかの例では、約６６０ｎｍのピーク波長を有する赤色レーザ源と、約７５０ｎｍ又は約８５０ｎｍのピーク波長を有する近赤外線レーザ源とを使用して、血管組織をプロービングすることができる。
【0170】
近赤外分光法（near infrared spectroscopy、ＮＩＲＳ）は、組織内の酸素ヘモグロビン及び脱酸素ヘモグロビンの分光光度定量に基づいた組織酸素化の決定を可能にする非侵襲性技術である。いくつかの態様では、ＮＩＲＳは、血管組織と非血管組織との間の照明吸光度の差に基づいて、血管組織を直接撮像するために使用することができる。あるいは、血管組織は、動脈及び静脈閉塞法などの生理学的介入の適用前後の組織における血流の照明吸光度の差に基づいて間接的に可視化することができる。
【0171】
近赤外線（ＮＩＲ）分光法のための器具類は、ＵＶ－可視光及び中赤外線範囲の器具類と同様であり得る。このような分光器具は、組織試料を照明するための特定の近赤外線波長を選択するための照明源、検出器、及び分散素子を含んでもよい。いくつかの態様では、光源は、白熱光源又は石英ハロゲン光源を含んでもよい。いくつかの態様では、検出器は、半導体（例えば、ＩｎＧａＡｓ）フォトダイオード又はフォトアレイを含んでもよい。いくつかの態様では、分散素子は、プリズム又はより一般的には回折格子を含んでもよい。干渉計を使用するフーリエ変換ＮＩＲ器具も一般的であり、特に約１０００ｎｍを超える波長用である。試料に応じて、スペクトルは、反射モード又は透過モードのいずれかで測定することができる。
【0172】
図１８は、ＮＩＲ分光法のＵＶ－可視光及び中赤外線範囲の器具類と同様の器具類２４００の一例を概略的に示す。光源２４０２は、分散素子２４０６（プリズム又は回折格子など）に衝突し得る広いスペクトル範囲の照明２４０４を放射し得る。分散素子２４０６は、広域スペクトル光源２４０２によって放射された光の狭い波長部分２４０８を選択するように動作してもよく、光の選択された部分２４０８は、組織２４１０を照明してもよい。組織２４１２から反射された光は、検出器２４１６に向けられてもよく（例えば、ダイクロイックミラー２４１４によって）、反射光２４１２の強度を記録することができる。組織２４１０を照明する光の波長は、分散素子２４０６によって選択されてもよい。いくつかの態様では、組織２４１０は、分散素子２４０６によって選択された単一で狭い波長部分２４０８によってのみ照明されて、光源２４０２を形成してもよい。他の態様では、組織２４１０は、分散素子２４０６によって選択される様々な狭い波長部分２４０８で走査されてもよい。このようにして、組織２４１０の分光分析は、ＮＩＲ波長の範囲にわたって取得されてもよい。
【0173】
図１９は、フーリエ変換赤外線撮像法に基づいてＮＩＲＳを測定するための、器具類２４３０の概略的な一例を示す。図１９では、近赤外線範囲内の光２４３４を放射するレーザ源２４３２は、組織試料２４４０を照明する。組織２４４０によって反射された光２４３６は、ダイクロイックミラー２４４４などのミラーによってビームスプリッタ２４４６へと反射される。ビームスプリッタ２４４６は、組織２４４０によって反射された光の一部分２４４８を、静止ミラー２４５０に向け、組織２４４０によって反射された光２４３６の一部分２４５２を、移動ミラー２４５４に向ける。移動ミラー２４５４は、電圧周波数を有する正弦波電圧によって作動される固定圧電変換器に基づいて、定位置で振動することができる。空間内の移動ミラー２４５４の位置は、圧電変換器の正弦波作動電圧の周波数に対応する。移動ミラー及び静止ミラーから反射された光は、ビームスプリッタ２４４６で再結合され（２４５８）、検出器２４５６に向けられてよい。計算構成要素は、検出器２４５６の信号出力を受信し、受信した信号のフーリエ変換（時間）を実行することができる。移動ミラー２４５４から受光される光の波長は、静止ミラー２４５０から受光された光の波長に対して時間が変化するため、再結合された光の時間に基づくフーリエ変換は、再結合された光２４５８の波長フーリエ変換に対応する。このようにして、組織２４４０から反射された光の波長に基づくスペクトルを決定することができ、組織２４４０から反射された光２４３６のスペクトル特性を取得することができる。したがって、組織２４４０から反射された光からのスペクトル成分における照明の吸光度の変化は、特定の光吸収特性（ヘモグロビンなど）を有する組織の存在又は不在を示し得る。
【0174】
ヘモグロビン酸素化を決定するための近赤外線光の代替は、ヘモグロビンの赤色光吸光度特性を決定するための単色赤色光の使用である。ヘモグロビンによる約６６０ｎｍの中心波長を有する赤色光の吸光度特性は、ヘモグロビンが酸素化（動脈血）又は脱酸素（静脈血）であるかを示し得る。
【0175】
いくつかの代替的な外科処置では、造影剤を使用して、酸素化及び組織酸素消費に対して収集されるデータを改善することができる。非限定的な一例では、ＮＩＲＳ技術は、約８００ｎｍでピーク吸光度を有するインドシアニングリーン（indocyanine green、ＩＣＧ）などの近赤外線用造影剤のボーラス注射と併用されてもよい。ＩＣＧは、脳血流を測定するために、一部の医療処置において使用されている。
【0176】
レーザドップラー流量測定を使用した血管撮像
一態様では、手術部位から反射かつ／又は屈折される光の特性は、その照明源からの光波長のドップラーシフトであり得る。
一態様では、手術部位から反射かつ／又は屈折される光の特性は、その照明源からの光波長のドップラーシフトであり得る。
【0177】
レーザドップラー流量測定を使用して、効果的に静止した背景に対して移動する粒子の流れを可視化し、特徴付けることができる。したがって、血球などの粒子を移動させることによって散乱されるレーザ光は、元の照明レーザ源の波長とは異なる波長を有し得る。対照的に、効果的に静止した背景（例えば、血管組織）によって散乱されたレーザ光は、元の照明レーザ源の波長と同じ波長を有し得る。血球からの散乱光の波長の変化は、レーザ源に対する血球の流れの方向及び血球速度の両方を反映し得る。
【0178】
【0179】
図２０Ａ～図２０Ｃのそれぞれにおいて、０の相対中心波長を有する元の照明光２５０２が示されている。図２０Ａでは、レーザ源２５０４から離れる方向に移動する血球から散乱した光は、レーザ源の波長に対していくらかの量２５０６だけより長い波長にシフトされた波長を有する（したがって、赤色シフトされた）波長を有することが観察され得る。また、図２０Ｃでは、レーザ源２５０８から向かって移動する血球から散乱した光は、レーザ源の波長に対していくらかの量２５１０だけより短い波長にシフトされた波長を有する（したがって、青色シフトされる）こともまた、観察され得る。波長シフトの量（例えば、２５０６又は２５１０）は、血球の運動速度に依存し得る。いくつかの態様では、一部の血球の赤色シフトの量（２５０６）は、一部の他の血球の青色シフトの量（２５１０）とほぼ同じであり得る。あるいは、一部の血球の赤色シフトの量（２５０６）は、一部の他の血球の青色シフトの量（２５１０）と異なり得る。図２０Ａに示されるように、レーザ源から離れて流れる血球の速度は、波長シフト（２５０６及び２５１０）の相対的な大きさに基づいて、図２６Ｃに示すようにレーザ源に向かって流れる血球の速度よりも小さくなり得る。対照的に、図２６Ｂに示すように、レーザ光源に対して移動していない組織（例えば、血管２５１２又は非血管組織２５１４）から散乱した光は、波長のいかなる変化も示さない場合がある。
【0180】
図２１は、組織２５４０の部分から散乱したレーザ光のドップラーシフトを検出するために使用され得る器具２５３０の態様を示す。レーザ２５３２から発する光２５３４は、ビームスプリッタ２５４４を通過してもよい。レーザ光２５３６の一部はビームスプリッタ２５４４によって透過されてもよく、組織２５４０を照明してもよい。レーザ光の別の部分は、検出器２５５０に衝突するためにビームスプリッタ２５４４によって反射され得る（２５４６）。組織２５４０による光後方散乱２５４２は、ビームスプリッタ２５４４によって方向付けられてもよく、また検出器２５５０に衝突し得る。レーザ２５３２から発する光２５３４と組織２５４０による後方散乱２５４２との組み合わせは、検出器２５５０によって検出された干渉パターンをもたらし得る。検出器２５５０によって受信された干渉パターンは、レーザ２５３２から発する光２５３４と、組織２５４０からのドップラーシフトされた（したがって波長シフトした）光後方散乱２４５２との組み合わせから生じる干渉縞を含み得る。
【0181】
組織２５４０からの後方散乱光２５４２はまた、組織２５４０内の境界層からの後方散乱光及び／又は組織２５４０内の物質による波長固有光吸収を含み得るということが認識され得る。その結果、検出器２５５０で観察された干渉パターンは、これらの追加の光学効果から干渉縞特徴を取り込み得るため、したがって、適切に分析されない限り、それらが紛れ込んだドップラーシフトの計算結果をもたらすおそれがある。
【0182】
図２２は、これらの追加の光学効果の一部を示す。第１の屈折率ｎ１を有する第１の光学媒体を通過する光は、第２の屈折率ｎ２を有する第２の光学媒体との境界面で反射され得るということが良く知られている。第２の光学媒体を透過した光は、屈折率ｎ１とｎ２との差に基づいて、入射光の角度とは異なる境界面に対する透過角を有する（スネルの法則）。図２２は、外科分野で提示され得るように、多成分組織２１５０の表面に衝突する光に対するスネルの法則の効果を示す。多成分組織２１５０は、屈折率ｎ１を有する外側組織層２１５２と、血管壁２１５６を有する血管などの埋め込み組織と、から構成されてもよい。血管壁２１５６は、屈折率ｎ２によって特徴付けることができる。血液は、血管２１６０の内腔内に流れることができる。いくつかの態様では、外科処置中に、外側組織層２１５２の表面２１５４の下の血管２１６０の位置を決定し、ドップラーシフト技術を使用して血流を特徴付けることが重要であり得る。
【0183】
入射レーザ光２１７０ａは、血管２１６０をプロービングするために使用されてもよく、外側組織層２１５２の上面２１５４上に向けられてもよい。入射レーザ光２１７０ａの部分２１７２は、上面２１５４で反射されてもよい。入射レーザ光２１７０ａの別の部分２１７０ｂは、外側組織層２１５２を浸透してもよい。外側組織層２１５２の上面２１５４における反射部分２１７２は、入射光２１７０ａの同じ経路長を有し、したがって入射光２１７０ａの同じ波長及び位相を有する。しかしながら、外側組織層２１５２に透過される光の部分２１７０ｂは、外側組織層２１５２が空気の屈折率とは異なる屈折率ｎ１を有するため、組織表面に衝突する光の入射角とは異なる透過角を有する。
【0184】
外側組織層２１５２を透過した光の一部が、例えば、血管壁２１５６の第２の組織表面２１５８に衝突する場合、光の一部の部分２１７４ａ、ｂは、入射光の光源２１７０ａに向かって反射されて戻る。したがって、外側組織層２１５２と血管壁２１５６との間の境界面で反射された光２１７４ａは、入射光２１７０ａと同じ波長を有するが、光路長の変化に起因して位相シフトされる。外側組織層２１５２と血管壁２１５６との間の境界面から、センサ上の入射光と共に、反射された光２１７４ａ、ｂを投影することは、２つの光源間の位相差に基づいて干渉パターンを生成する。
【0185】
更に、入射光２１７０ｃの一部は、血管壁２１５６を透過され、血管内腔２１６０内に浸透することができる。入射光２１７０ｃのこの部分は、血管内腔２１６０内の移動血球と相互作用することができ、上述のように、血球の速度に従ってシフトされた波長ドップラーを有する衝突光の光源に向かって反射されて戻り得る（２１７６ａ～ｃ）。移動する血球から反射され、ドップラーシフトされた光２１７６ａ～ｃは、入射光と共にセンサ上に投影され得るが、その結果、２つの光源間の波長差に基づいた縞模様を有する干渉パターンが得られる。
【0186】
図２２において、放射された光と移動する血球によって反射された光との間に屈折率の変化がない場合の、血管内腔２１６０内の赤血球に衝突する光の光路２１７８が提示されている。この例では、反射光波長のドップラーシフトのみを検出することができる。しかしながら、血球によって反射された光（２１７６ａ～ｃ）は、ドップラー効果による波長変化に加えて、組織屈折率の変動に起因する位相変化を組み込み得る。
【0187】
したがって、光センサが、入射光、１つ以上の組織界面から反射された光（２１７２及び２１７４ａ、ｂ）、血球からのドップラーシフトされた光（２１７６ａ～ｃ）を受光する場合、光センサ上で生成される干渉パターンは、ドップラーシフトに起因する効果（波長の変化）と共に、組織内の屈折率の変化に起因する効果（位相の変化）を含み得るということが理解され得る。結果として、試料内の屈折率の変化による影響が補償されない場合、組織試料によって反射された光のドップラー分析が誤った結果を生じさせ得る。
【0188】
図２３は、下にある血管の深さ及び位置を決定するために、組織試料に衝突する光２２５０のドップラー分析に対する効果の一例を示す。血管と組織表面との間に介在組織が存在しない場合、センサで検出される干渉パターンは、主に、移動血球から反射される波長の変化に起因し得る。結果として、干渉パターンから導出されるスペクトル２２５２は、一般に、血球のドップラーシフトのみを反射し得る。しかしながら、血管と組織表面との間に介在組織が存在する場合、センサで検出される干渉パターンは、移動血球から反射される波長の変化と、介在組織の屈折率による位相シフトとの組み合わせに起因し得る。このような干渉パターンから導出されたスペクトル２２５４は、反射光の追加の位相変化に起因した紛れ込みのあるドップラーシフトの計算結果をもたらすおそれがある。いくつかの態様では、介在組織の特性（厚さ及び屈折率）に関する情報が既知である場合、結果として得されるスペクトル２２５６は、波長の変化のより正確な計算を提供するように補正されてもよい。
【0189】
光の組織浸透深さは、使用される光の波長に依存することが認識される。したがって、レーザ源光の波長は、特定の範囲の組織深さで粒子運動（血球など）を検出するように選択されてもよい。
【0190】
図２４Ａ～図２４Ｃは、レーザ光波長に基づいて様々な組織深さで血球などの移動粒子を検出するための手段を概略的に示す。図２４Ａに示すように、レーザ源２３４０は、レーザ光２３４２の入射ビームを手術部位の表面２３４４上に向けることができる。血管２３４６（静脈又は動脈など）は、組織表面からある程度の深さδで、組織２３４８内に配置されてもよい。レーザの組織２３４８への浸透深さ２３５０は、少なくとも部分的にレーザ波長に依存し得る。したがって、約６３５ｎｍ～約６６０ｎｍの赤色範囲の波長を有するレーザ光は、約１ｍｍの深さまで組織２３５１ａを浸透することができる。約５２０ｎｍ～約５３２ｎｍの緑色範囲の波長を有するレーザ光は、約２～３ｍｍの深さまで組織２３５１ｂを浸透することができる。約４０５ｎｍ～約４４５ｎｍの青色範囲の波長を有するレーザ光は、約４ｍｍ以上の深さまで組織２３５１ｃを浸透し得る。図３０Ａ～図３０Ｃに示される例では、血管２３４６は、組織表面下の約２～３ｍｍの深さδに位置してもよい。赤色レーザ光は、この深さに浸透しないため、この血管内を流れる血球を検出しない。しかしながら、緑色及び青色のレーザ光の両方は、この深さを浸透することができる。したがって、血管２３４６内の血球からの散乱した緑色及び青色レーザ光は、波長のドップラーシフトを示し得る。
【0191】
図２４Ｂは、反射レーザ光の波長におけるドップラーシフト２３５５がどのように現れ得るかを示す。組織表面２３４４に衝突する放射光（又はレーザ源光２３４２）は、中心波長２３５２を有してよい。例えば、緑色レーザからの光は、約５２０ｎｍ～約５３２ｎｍの範囲内の中心波長２３５２を有し得る。反射された緑色光は、光が検出器から離れて移動する赤血球などの粒子から反射された場合、より長い波長（赤色シフト）にシフトされた中心波長２３５４を有してよい。放射されたレーザ光の中心波長２３５２と放射されたレーザ光の中心波長２３５４との間の差は、ドップラーシフト２３５５を含む。
【0192】
図２２及び図２３に関連して上述したように、組織２３４８内の構造から反射レーザ光はまた、組織構造又は組成物の変化から生じる屈折率の変化による反射光の位相シフトを示し得る。組織表面２３４４に衝突する放射光（又はレーザ源光２３４２）は、第１の位相特性２３５６を有してよい。反射レーザ光は、第２の位相特性２３５８を有してよい。組織を約４ｍｍ以上の深さに浸透することができる青色レーザ光２３５１ｃは、赤色レーザ光（約１ｍｍ、２３５１ａ）又は緑色レーザ光（約２～３ｍｍ、２３５１ｂ）よりも様々な組織構造に遭遇し得ることが認識され得る。したがって、図３０Ｃに示すように、反射された青色レーザ光の位相シフト２３５８は、少なくとも浸透の深さに起因して有意であり得る。
【0193】
図２４Ｄは、赤色２３６０ａ、緑色２３６０ｂ及び青色２３６０ｃのレーザ光によって連続的に組織を照明する態様を示す。いくつかの態様では、組織は、赤色２３６０ａ、緑色２３６０ｂ、及び青色２３６０ｃのレーザ照明によって、連続的にプロービングされてもよい。いくつかの代替例では、図１７Ｄ～図１７Ｆに示されるように、赤色２３６０ａ、緑色２３６０ｂ及び青色２３６０ｃのレーザ光の１つ以上の組み合わせは、画定された照明配列に従って組織を照明するために使用されてよい。図２４Ｄは、経時的なＣＭＯＳ撮像センサ２３６２ａ～ｄに対するこのような照明の効果を示す。したがって、第１の時間ｔ．ｓｕｂ．１において、ＣＭＯＳセンサ２３６２ａは、赤色２３６０ａレーザによって照明され得る。第２の時間ｔ．ｓｕｂ．２において、ＣＭＯＳセンサ２３６２ｂは、緑色２３６０ｂレーザによって照明され得る。第３の時間ｔ．ｓｕｂ．３において、ＣＭＯＳセンサ２３６２ｃは、青色２３６０ｃレーザによって照明され得る。次いで、照明サイクルを、第４の時間ｔ．ｓｕｂ．４から開始して繰り返すことができ、この時点で、ＣＭＯＳセンサ２３６２ｄを再び赤色２３６０ａレーザによって照明することができる。異なる波長でのレーザ照明による組織の連続的な照明は、経時的に様々な組織深さでのドップラー分析を可能にし得ることが認識され得る。赤色２３６０ａ、緑色２３６０ｂ及び青色２３６０ｃのレーザ源を使用して手術部位を照明してもよいが、可視光の外側の他の波長（赤外領域又は紫外領域など）を使用して、ドップラー分析のために手術部位を照明することができることが認識され得る。
【0194】
図２５は、手術部位２６００で観察可能ではない血管の存在を検出するためのドップラー撮像の使用の一例を示す。図２５では、外科医は、肺の右上後方ローブ２６０４内に見出される腫瘍２６０２を切除することを望む場合がある。肺は非常に血管が多いため、組織に関連するこれらの血管のみを識別し、肺の罹患していない部分への血流を損なうことなく、それらの血管のみを封止するために注意を払わなければならない。図２５では、外科医は、腫瘍２６０４のマージン２６０６を識別している。次いで、外科医は、マージン領域２６０６において初期切開領域２６０８を切断してもよく、露出した血管２６１０が、切断及び封止のために観察され得る。ドップラー撮像検出器２６２０は、切開領域内の観察可能な２６１２ではない血管の位置を特定し、識別するために使用され得る。撮像システムは、手術部位２６００から取得されたデータの分析及び表示のためにドップラー撮像検出器２６２０からデータを受信し得る。いくつかの態様では、撮像システムは、手術部位２６００の可視画像を含む手術部位２６００を、手術部位２６００の画像上の隠れた血管２６１２の画像オーバーレイと共に示すディスプレイを含んでもよい。
【0195】
図２５に関して上述したシナリオでは、外科医は、非癌組織に関連する血管を温存しながら、酸素及び栄養素を腫瘍に供給する血管を切断することを望む。更に、血管は、手術部位２６００内又はその周囲の異なる深さで配置され得る。したがって、外科医は、血管の位置（深さ）を識別し、切除に適切であるかどうかを判定しなければならない。図２６は、それを通って流れる血球からの光のドップラーシフトに基づいて、深い血管を識別するための１つの方法を示す。上述したように、赤色レーザ光は約１ｍｍの浸透深さを有し、緑色のレーザ光は、約２～３ｍｍの浸透深さを有する。しかしながら、４ｍｍ以上の表面下深さを有する血管は、これらの波長における浸透深さの外側にある。しかしながら、青色レーザ光は、このような血管をその血流に基づいて検出することができる。
【0196】
図２６は、手術部位の下の特定の深さで血管から反射されたレーザ光のドップラーシフトを示す。この部位は、赤色レーザ光、緑色レーザ光、及び青色レーザ光によって照明され得る。照明光の中心波長２６３０は、相対的中心３６３１に正規化されてもよい。血管が手術部位の表面の４ｍｍ以上の深さにある場合、赤色レーザ光も緑色レーザ光も血管によって反射されることはない。その結果、反射された赤色光の中心波長２６３２及び反射された緑色光の中心波長２６３４は、照明赤色光又は緑色光の中心波長２６３０とは、それぞれ大きく異なっていない。しかし、この部位が青色レーザ光によって照明される場合、反射された青色光２６３６の中心波長２６３８は、照明青色光の中心波長２６３０とは異なる。場合によっては、反射された青色光２６３６の振幅はまた、照明青色光の振幅から著しく低減され得る。したがって、外科医は、そのおおよその深さと共に深部血管の存在を決定し、それによって、表面組織切開中の深部血管を回避し得る。
【0197】
図２７及び図２８は、手術部位の表面下の血管のおおよその深さを決定するための異なる中心波長（色）を有するレーザ源の使用を概略的に示す。図２７は、表面２６５４と、表面２６５４の下に配置された血管２６５６と、を有する第１の手術部位２６５０を示す。一方法では、血管２６５６は、血管２６５６内の血球の流れ２６５８に衝突する光のドップラーシフトに基づいて識別され得る。手術部位２６５０は、複数のレーザ２６７０、２６７６、２６８２からの光によって照明されてもよく、各レーザは、いくつかの異なる中心波長のうちの１つで光を放射することによって特徴付けられる。上述のように、赤色レーザ２６７０による照明は、約１ｍｍだけ組織を浸透することができる。したがって、血管２６５６が表面２６５４の下の１ｍｍ未満の深さ２６７２に位置している場合、赤色レーザ照明は反射され（２６７４）、反射された赤色照明２６７４のドップラーシフトが決定され得る。更に、上述したように、緑色レーザ２６７６による照明は、組織を約２～３ｍｍだけ浸透することができる。血管２６５６が表面２６５４の下の約２～３ｍｍの深さ２６７８に位置した場合、緑色レーザ照明は反射され（２６８０）、一方、赤色レーザ照明２６７０は反射されず、反射された緑色照明２６８０のドップラーシフトを決定することができる。しかしながら、図２７に示すように、血管２６５６は、表面２６５４の下の約４ｍｍの深さ２６８４に位置する。したがって、赤色レーザ照明２６７０も緑色レーザ照明２６７６も反射されない。代わりに、青色レーザ照明のみが反射され（２６８６）、反射された青色照明２６８６のドップラーシフトが決定されてもよい。
【0198】
図２７に示される血管２６５６とは対照的に、図２８に示される血管２６５６’は、手術部位における組織の表面に近接して位置する。血管２６５６’はまた、血管２６５６’がはるかに厚い壁２６５７を有するように示されるという点で、血管２６５６と区別され得る。したがって、血管２６５６は静脈の一例であり得るが、動脈壁は静脈壁よりも厚いことが知られているため、血管２６５６’は動脈の一例であり得る。いくつかの例では、動脈壁は、約１．３ｍｍの厚さを有し得る。上述のように、赤色レーザ照明２６７０’は、約１ｍｍの深さ２６７２’まで組織を浸透することができる。したがって、血管２６５６’が手術部位で露出している場合であっても（図２５の２６１０を参照）、血管２６５６’の表面から反射される赤色レーザ光２６７４’は、血管壁２６５７の厚さによるドップラー分析下で血管２６５６’内の血流２６５８’を可視化することができない場合がある。しかしながら、上述したように、組織の表面上に衝突する緑色レーザ光２６７６’は、約２～３ｍｍの深さ２６７８’に浸透し得る。更に、組織の表面上に衝突する青色レーザ光２６８２’は、約４ｍｍの深さ２６８４’に浸透し得る。したがって、血管２６５６’内を流れる血球２６５８’から緑色のレーザ光が反射されてもよく（２６８０’）、青色レーザ光は、血管２６５６’内を流れる血球２６５８’から反射され得る（２６８６’）。結果として、反射された緑色光２６８０’及び反射された青色光２６８６’のドップラー分析は、近表面血管における血流、特に血管のおおよその深さに関する情報を提供することができる。
【0199】
上述したように、手術部位の下の血管の深さは、波長依存性ドップラー撮像に基づいてプロービングされてよい。このような血管を通る血流の量は、スペックルコントラスト（干渉）分析によって決定されてよい。ドップラーシフトは、静止光源に対する移動粒子を示し得る。上述のように、ドップラー波長シフトは、粒子運動の速度の指標であり得る。血球などの個々の粒子は、別個に観察可能ではない場合がある。しかしながら、各血球の速度は、それに比例するドップラーシフトを生成する。干渉パターンは、血球のそれぞれからの後方散乱光のドップラーシフトの差に起因して、複数の血球から後方散乱した光の組み合わせによって生成され得る。干渉パターンは、可視化フレーム内の血球の数密度を示す指標であり得る。干渉パターンは、スペックルコントラストと呼ばれることがある。スペックルコントラスト分析は、フルフレーム３００×３００のＣＭＯＳ撮像アレイを使用して計算することができ、スペックルコントラストは、所与の露光期間にわたってレーザ光と相互作用する移動粒子（例えば、血球）の量に直接関連し得る。
【0200】
ＣＭＯＳ画像センサは、デジタル信号プロセッサ（ＤＳＰ）に連結されてもよい。センサの各画素は、多重化され、デジタル化されてもよい。光のドップラーシフトは、ドップラーシフトされた光と比較して、光源レーザ光を見ることによって分析することができる。より大きいドップラーシフト及びスペックルは、血管内のより多くの数の血球及びそれらの速度に関連し得る。
【0201】
図２９は、外科処置中に外科医に提示され得る複合視覚ディスプレイ２８００の態様を示す。複合視覚ディスプレイ２８００は、ドップラー分析画像２８５０を用いて手術部位の白色光画像２８３０をオーバーレイすることによって構築されてもよい。
【0202】
いくつかの態様では、白色光画像２８３０は、手術部位２８３２、１つ以上の外科的切開部２８３４、及び組織２８３６を、外科的切開部２８３４内で容易に視認可能にすることができる。白色光画像２８３０は、白色光源２８３８で手術部位２８３２を照明し（２８４０）、反射した白色光２８４２を光検出器によって受光することによって生成されてもよい。白色光源２８３８を使用して手術部位の表面を照明してもよいが、一態様では、図１７Ｃ～図１７Ｆに関して上述したように、赤色２８５４、緑色２８５６、及び青色２８５８のレーザ光の適切な組み合わせを使用して、手術部位の表面を可視化することができる。
【0203】
いくつかの態様では、ドップラー分析画像２８５０は、血流情報２８５２と共に（スペックル分析から）血管深さ情報を含んでもよい。上述したように、血管深さ及び血流速度は、複数の波長のレーザ光で手術部位を照明し、特定の波長の光の既知の浸透深さに基づいて血管深さ及び血流を決定することによって得ることができる。一般に、手術部位２８３２は、赤色レーザ２８５４、緑色レーザ２８５６、及び青色レーザ２８５８などの１つ以上のレーザによって放射された光によって照明されてもよい。ＣＭＯＳ検出器２８７２は、手術部位２８３２及びその周囲の組織から反射されて戻った光（２８６２、２８６６、２８７０）を受光し得る。ドップラー分析画像２８５０は、ＣＭＯＳ検出器２８７２からの複数の画素データの分析に基づいて構築されてもよい（２８７４）。
【0204】
一態様では、赤色レーザ２８５４は、手術部位２８３２上に赤色レーザ照明２８６０を放射してもよく、反射光２８６２は表面又は最小の表面下構造を露出させることができる。一態様では、緑色レーザ２８５６は、手術部位２８３２上に緑色レーザ照明２８６４を放射してもよく、反射光２８６６は、より深い表面下特性を示すことができる。別の態様では、青色レーザ２８５８は、手術部位２８３２上に青色レーザ照明２８６８を放射してもよく、反射光２８７０は、例えば、より深い血管構造内の血流を明らかにすることができる。加えて、スペックルコントラスト分析は、より深い血管構造を通る血流の量及び速度に関する情報を外科医に提示し得る。
【0205】
図２９には示されていないが、撮像システムはまた、可視範囲外の光で手術部位を照明してもよいことが理解され得る。このような光は、赤外線光及び紫外線光を含んでもよい。いくつかの態様では、赤外線光又は紫外線光の光源は、広帯域波長光源（タングステン光源、タングステンハロゲン光源、又は重水素光源など）を含んでもよい。いくつかの他の態様では、赤外線又は紫外線光の光源は、狭帯域波長光源（ＩＲダイオードレーザ、ＵＶガスレーザ、又は色素レーザ）を含んでもよい。
【0206】
図３０は、組織片内の表面特徴部の深さを決定するための方法のフロー図２９００である。画像取得システムは、第１の中心周波数を有する第１の光線で組織を照明し（２９１０）、第１の光線によって照明された組織から第１の反射光を受光する（２９１２）ことができる。次いで、画像取得システムは、第１の光線及び第１の反射光に基づいて、第１のドップラーシフトを計算してもよい（２９１４）。次いで、画像取得システムは、第２の中心周波数を有する第２の光線で組織を照明し（２９１６）、第２の光線によって照明された組織から第２の反射光を受光してもよい（２９１８）。次いで、画像取得システムは、第２の光線及び第２の反射光に基づいて、第２のドップラーシフトを計算してもよい（２９２０）。次いで、画像取得システムは、第１の中心波長、第１のドップラーシフト、第２の中心波長、及び第２のドップラーシフトに少なくとも部分的に基づいて、組織特徴部の深さを計算してもよい（２９２２）。いくつかの態様では、組織特徴は、血管内で移動する血球などの移動粒子の存在並びに移動粒子の流れの方向及び速度を含んでもよい。本方法は、任意の１つ以上の追加の光線による組織の照明を含むように拡張され得ることが理解され得る。更に、システムは、組織表面の画像と組織内に配置された構造の画像との組み合わせを含む画像を計算することができる。
【0207】
いくつかの態様では、複数の視覚ディスプレイが使用されてもよい。例えば、３Ｄディスプレイは、合成された白色光（又は赤色、緑色、及び青色レーザ光の適切な組み合わせ）及びレーザドップラー画像を表示する合成画像を提供することができる。追加のディスプレイは、組織の血液酸素化応答のみを可視化するために、白色光ディスプレイのみ又は複合白色光ディスプレイ及びＮＩＲＳディスプレイを示す表示のみを提供してもよい。しかしながら、ＮＩＲＳディスプレイは、組織の応答を可能にするサイクル毎に必要とされない場合がある。
【0208】
マルチスペクトルＯＣＴを用いた表面組織の特性評価
外科処置の間、外科医は、組織の操作のために「スマート」外科用デバイスを使用してもよい。このようなデバイスは、それらの使用に関連するデバイスに基づくパラメータの動作を指示、制御、かつ／又は変更する自動化された機能を含むという点で、「スマート」と見なすことができる。パラメータは、操作される組織の種類及び／又は組成を含んでもよい。操作される組織の種類及び／又は組成が未知である場合、スマートデバイスの動作は、操作される組織に不適切であり得る。結果として、組織は損傷されるおそれがあるか、又は組織の操作は、スマートデバイスの不適切な設定に起因して無効であり得る。
外科処置の間、外科医は、組織の操作のために「スマート」外科用デバイスを使用してもよい。このようなデバイスは、それらの使用に関連するデバイスに基づくパラメータの動作を指示、制御、かつ／又は変更する自動化された機能を含むという点で、「スマート」と見なすことができる。パラメータは、操作される組織の種類及び／又は組成を含んでもよい。操作される組織の種類及び／又は組成が未知である場合、スマートデバイスの動作は、操作される組織に不適切であり得る。結果として、組織は損傷されるおそれがあるか、又は組織の操作は、スマートデバイスの不適切な設定に起因して無効であり得る。
【0209】
外科医は、試行錯誤的にスマートデバイスのパラメータを変化させるように手動で試みる場合があり、結果として、非効率的かつ長い外科処置がもたらされる。
【0210】
したがって、手術部位の下にある組織構造をプロービングしてそれらの構造及び組成特性を決定し、このようなデータを外科処置で使用されるスマート外科用器具に提供することができる、外科用可視化システムを有することが望ましい。
【0211】
本開示のいくつかの態様は、レーザ光源などの１つ以上の照明源を使用して手術部位の照明を制御し、１つ以上の画像センサから撮像データを受信するように構成された制御回路を更に提供する。いくつかの態様では、本開示は、コンピュータ可読命令を記憶する非一時的なコンピュータ可読媒体を提供し、この命令は、実行されると、デバイスに、手術部位で表面の下の構造を特徴付けさせ、組織の表面の下の構造の深さを判定させる。
【0212】
いくつかの態様では、外科用画像取得システムは、複数の照明源であって、各照明源は、特定の中心波長を有する光を放射するように構成されている、複数の照明源と、複数の照明源のうちの１つ以上によって照明されるときに、組織試料から反射された光の一部を受光するように構成された光センサと、コンピューティングシステムと、を備え得る。コンピューティングシステムは、組織試料が複数の照明源のそれぞれによって照明されるときに、光センサからデータを受信し、組織試料が照明源のそれぞれによって照明されるときに、光センサによって受信されたデータに基づいて、組織試料内の構造の特性に関する構造データを計算し、スマート外科用デバイスによって受信される、構造の特性に関する構造データを送信するように構成され得る。いくつかの態様では、構造の特性は、表面特性又は構造組成である。
【0213】
一態様では、外科用システムは、複数のレーザ光源を含んでもよく、組織から反射されたレーザ光を受光することができる。組織から反射された光は、システムによって使用されて、組織内に配設された構成要素の表面特性を計算することができる。組織内に配設された構成要素の特性は、構成要素の組成及び／又は構成要素の表面凹凸に関連する測定基準を含んでよい。
【0214】
一態様では、外科用システムは、構成要素の組成物に関連するデータ及び／又は構成要素の表面凹凸に関連する測定基準を、組織上で使用される第２の器具に送信して、第２の器具の制御パラメータを修正してもよい。
【0215】
いくつかの態様では、第２のデバイスは、前進エネルギーデバイスであってもよく、制御パラメータの修正は、クランプ圧力、動作電力レベル、動作周波数、及び変換器信号振幅を含み得る。
【0216】
上述のように、血管内で移動する血球によって反射される光のドップラーシフトに基づいて、手術部位の表面下で血管を検出することができる。
【0217】
レーザドップラー流量測定を使用して、効果的に静止した背景に対して移動する粒子の流れを可視化し、かつ特徴付けし得る。したがって、血球などの移動粒子によって散乱されるレーザ光は、元の照明レーザ源の波長とは異なる波長を有し得る。対照的に、効果的に静止した背景（例えば、血管組織）によって散乱されたレーザ光は、元の照明レーザ源の波長と同じ波長を有し得る。血球からの散乱光の波長の変化は、レーザ源に対する血球の流れの方向及び血球速度の両方を反映し得る。先に開示されたように、図２０Ａ～図２０Ｃは、レーザ光源から離れる方向（図２０Ａ）又はレーザ光源に向かう方向に（図２０Ｃ）移動し得る血球から散乱した光の波長の変化を示す。
【0218】
図２０Ａ～図２０Ｃのそれぞれにおいて、０の相対中心波長を有する元の照明光２５０２が示されている。図２０Ａでは、レーザ源２５０４から離れる方向に移動する血球から散乱した光は、レーザ源の波長に対していくらかの量２５０６だけより長い波長にシフトされた波長を有する（したがって、赤色シフトされる）ことが観察され得る。また、図１８Ｃでは、レーザ源２５０８から向かって移動する血球から散乱した光は、レーザ源の波長に対していくらかの量２５１０だけより短い波長にシフトされた波長を有する（したがって、青色シフトされる）こともまた、観察され得る。波長シフトの量（例えば、２５０６又は２５１０）は、血球の運動速度に依存し得る。いくつかの態様では、一部の血球の赤色シフトの量（２５０６）は、一部の他の血球の青色シフトの量（２５１０）とほぼ同じであり得る。あるいは、一部の血球の赤色シフトの量（２５０６）は、一部の他の血球の青色シフトの量（２５１０）と異なり得る。図２４Ａに示されるように、レーザ源から離れて流れる血球の速度は、波長シフト（２５０６及び２５１０）の相対的な大きさに基づいて、図２０Ｃに示すようにレーザ源に向かって流れる血球の速度よりも小さくなり得る。対照的に、図２０Ｂに示すように、レーザ光源に対して移動していない組織（例えば、血管２５１２又は非血管組織２５１４）から散乱した光は、波長のいかなる変化も示さない場合がある。
【0219】
先に開示したように、図２１は、組織２５４０の一部から散乱したレーザ光のドップラーシフトを検出するために使用され得る器具２５３０の態様を示す。レーザ２５３２から発する光２５３４は、ビームスプリッタ２５４４を通過し得る。レーザ光２５３６の一部は、ビームスプリッタ２５４４によって透過され、組織２５４０を照明し得る。レーザ光の別の部分は、ビームスプリッタ２５４４によって反射され（２５４６）、検出器２５５０に衝突し得る。組織２５４０による光後方散乱２５４２は、ビームスプリッタ２５４４によって方向付けられてもよく、また、検出器２５５０に衝突し得る。レーザ２５３２から発する光２５３４と組織２５４０による後方散乱２５４２との組み合わせは、検出器２５５０によって検出された干渉パターンをもたらし得る。検出器２５５０によって受信された干渉パターンは、レーザ２５３２から発する光２５３４と、組織２５４０からのドップラーシフトされた（したがって波長シフト）光後方散乱２４５２との組み合わせから生じる干渉縞を含み得る。
【0220】
組織２５４０からの後方散乱光２５４２はまた、組織２５４０内の境界層からの後方散乱光及び／又は組織２５４０内の物質による波長固有の光吸収を含み得るということが認識され得る。その結果、検出器２５５０で観察された干渉パターンは、これらの追加の光学効果から干渉縞特徴を取り込み得るため、したがって、適切に分析されない限り、それらが紛れ込んだドップラーシフトの計算結果をもたらすおそれがある。
【0221】
組織から反射された光はまた、組織内の境界層からの後方散乱光及び／又は組織内の物質による波長固有の光吸収を含み得るということが認識され得る。その結果、検出器で観察される干渉パターンは、適切に分析されない限り、ドップラーシフトの計算に紛れ込んでしまうおそれがある縞の特徴を取り込み得る。
【0222】
先に開示したように、図２２は、これらの追加の光学効果の一部を示す。第１の屈折率ｎ１を有する第１の光学媒体を通過する光は、第２の屈折率ｎ２を有する第２の光学媒体との境界面で反射され得るということが良く知られている。第２の光学媒体を透過した光は、屈折率ｎ１とｎ２との差に基づいて入射光の角度とは異なる境界面に対する透過角を有する（スネルの法則）。図２０は、外科分野で提示され得るように、多成分組織２１５０の表面に衝突する光に対するスネルの法則の効果を示す。多成分組織２１５０は、屈折率ｎ１を有する外側組織層２１５２と、血管壁２１５６を有する血管などの埋め込み組織と、から構成されてもよい。血管壁２１５６は、屈折率ｎ２によって特徴付けることができる。血液は、血管２１６０の内腔内に流れることができる。いくつかの態様では、外科処置中に、外側組織層２１５２の表面２１５４の下の血管２１６０の位置を決定し、ドップラーシフト技術を使用して血流を特徴付けることが重要であり得る。
【0223】
入射レーザ光２１７０ａは、血管２１６０をプロービングするために使用されてもよく、外側組織層２１５２の上面２１５４上に向けられ得る。入射レーザ光２１７０ａの部分２１７２は、上面２１５４で反射され得る。入射レーザ光２１７０ａの別の部分２１７０ｂは、外側組織層２１５２に浸透し得る。外側組織層２１５２の上面２１５４における反射部分２１７２は、入射光２１７０ａと同じ経路長を有し、したがって入射光２１７０ａと同じ波長及び位相を有する。しかしながら、外側組織層２１５２内に透過される光の部分２１７０ｂは、外側組織層２１５２が空気の屈折率とは異なる屈折率ｎ１を有するため、組織表面に衝突する光の入射角とは異なる透過角を有する。
【0224】
外側組織層２１５２を透過した光の一部が、例えば、血管壁２１５６の第２の組織表面２１５８に衝突する場合、光の一部の部分２１７４ａ、ｂは、入射光の光源２１７０ａに向かって反射されて戻る。したがって、外側組織層２１５２と血管壁２１５６との間の境界面で反射された光２１７４ａは、入射光２１７０ａと同じ波長を有するが、光路長の変化に起因して位相シフトされる。外側組織層２１５２と血管壁２１５６との間の境界面から反射された光２１７４ａ、ｂを、入射光と共にセンサ上に投影すると、２つの光源間の位相差に基づく干渉パターンを生成する。
【0225】
更に、入射光２１７０ｃの一部は、血管壁２１５６に透過され、血管内腔２１６０内に浸透することができる。入射光２１７０ｃのこの部分は、血管内腔２１６０内の移動血球と相互作用することができ、上述のように、血球の速度に従ってシフトされた波長ドップラーを有する衝突光の光源に向かって反射されて戻り得る（２１７６ａ～ｃ）。移動する血球から反射され、ドップラーシフトされた光２１７６ａ～ｃは、入射光と共にセンサ上に投影され得るが、その結果、２つの光源間の波長差に基づいた縞模様を有する干渉パターンが得られる。
【0226】
図２２において、放射された光と移動する血球によって反射された光との間に屈折率の変化がない場合の、血管内腔２１６０内の赤血球に衝突する光の光路２１７８が提示されている。この例では、反射光波長のドップラーシフトのみを検出することができる。しかしながら、血球（２１７６ａ～ｃ）によって反射された光は、ドップラー効果による波長変化に加えて、組織屈折率の変動に起因する位相変化を組み込み得る。
【0227】
したがって、光センサが、入射光、１つ以上の組織界面（２１７２及び２１７４ａ、ｂ）から反射された光、血球（２１７６ａ～ｃ）からのドップラーシフトされた光を受光する場合、光センサ上で生成される干渉パターンは、ドップラーシフトに起因する効果（波長の変化）と共に、組織内の屈折率の変化に起因する効果（位相の変化）を含み得ることが理解され得る。結果として、試料内の屈折率の変化による影響が補償されない場合、組織試料によって反射された光のドップラー分析が誤った結果を生じさせ得る。
【0228】
先に開示したように、図２３は、下にある血管の深さ及び位置を決定するために、組織試料上に衝突する光２２５０のドップラー分析に対する効果の一例を示す。血管と組織表面との間に介在組織が存在しない場合、センサで検出される干渉パターンは、主に、移動血球から反射される波長の変化に起因し得る。結果として、干渉パターンから導出されるスペクトル２２５２は、一般に、血球のドップラーシフトのみを反映し得る。しかしながら、血管と組織表面との間に介在組織が存在する場合、センサで検出される干渉パターンは、移動血球から反射される波長の変化と、介在組織の屈折率による位相シフトとの組み合わせに起因し得る。このような干渉パターンから導出されたスペクトル２２５４は、反射光の追加の位相変化に起因した紛れ込みのあるドップラーシフトの計算結果をもたらすおそれがある。いくつかの態様では、介在組織の特性（厚さ及び屈折率）に関する情報が既知である場合、結果として得されるスペクトル２２５６は、波長の変化のより正確な計算を提供するように補正され得る。
【0229】
組織からの反射光の位相シフトは、ドップラー効果にかかわらず、下にある組織構造に関する追加情報を提供し得ることが認識され得る。
【0230】
本明細書に開示される撮像技術を使用する外科用可視化システムは、非常に高い頻度でのサンプリング及び非常に高い表示周波数から利益を得ることができる。サンプリングレートは、サンプリングを実行する基礎となるデバイスの能力に関連付けられ得る。ソフトウェアを有する汎用コンピューティングシステムは、達成可能なサンプリングレートの第１の範囲に関連付けられ得る。純粋なハードウェア実装形態（例えば、専用特定用途向け集積回路、ＡＳＩＣ）は、達成可能なサンプリングレートの第２の範囲に関連付けられ得る。純粋ハードウェア実装形態に関連付けられた第２の範囲は、一般に、汎用コンピューティングソフトウェア実装形態に関連付けられた第１の範囲よりも高い（例えば、はるかに高い）。
【0231】
本明細書に開示される、撮像技術を使用する外科用可視化システムは、適応可能かつ／又はアップデート可能な撮像アルゴリズム（例えば、変換及び撮像処理など）から利益を享受し得る。ソフトウェアを有する汎用コンピューティングシステムは、高度な適応性及び／又はアップグレード可能性に関連付けられ得る。純粋ハードウェア実装形態（例えば、専用の特定用途向け集積回路、ＡＳＩＣ）は、ソフトウェアを有する汎用コンピューティングシステムのものよりも一般的に低い程度の適応性及び／又はアップグレード可能性に関連付けられ得る。これは、部分的には、純粋ハードウェア実装形態（新しいハードウェア構成要素が物理的に設計、構築、追加、かつ／又は交換される）と比較して、ソフトウェアが適合され得る、かつ／又はアップデートされ得る（異なるソフトウェアをコンパイルかつロードすること、及び／又はモジュール構成要素をアップデートすることを含み得る）一般的な容易さに起因し得る。
【0232】
本明細書に開示される撮像技術を使用する外科用可視化システムは、ハードウェアベースの実装形態に関連付けられるより高いサンプリングレートと、ソフトウェアシステムの適応性及び／又はアップデート可能性とのバランスをとるソリューションから利益を得ることができる。そのような外科用可視化システムは、ハードウェアソリューションとソフトウェアソリューションとの混合を採用し得る。例えば、外科用可視化システムは、ソフトウェアセレクタを有する様々なハードウェア実装変換を使用することができる。外科用可視化システムはまた、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を採用してもよい。ＦＰＧＡは、１つ以上の論理素子を含み得るハードウェアデバイスを含み得る。これらの論理素子は、様々な機能を実装するためにビットストリームによって構成され得る。例えば、論理素子は、特定の個々の論理機能を実行するように構成されてもよく、特定の順序及び相互接続でそれらを実行するように構成されてもよい。一度構成されると、ＦＰＧＡは、更なる構成なしに、ハードウェア論理素子を使用してその機能を実行することができる。また、一度構成されると、ＦＰＧＡは、異なる機能を実装するために異なるビットストリームを用いて再構成され得る。同様に、一度再構成されると、ＦＰＧＡは、ハードウェア論理素子を使用してこの異なる機能を実行することができる。
【0233】
図３１は、例示的な外科用可視化システム１００００を示す。外科用可視化システム１００００は、術野の少なくとも一部を分析するために使用されてもよい。例えば、外科用可視化システム１００００は、術野の少なくとも一部内の組織１０００２を分析するために使用され得る。外科用可視化システム１００００は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）１０００４、プロセッサ（例えば、ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６）、メモリ１０００８、レーザ光照明源１００１０、光センサ１００１２、ディスプレイ１００１４、及び／又はＦＧＰＡから遠隔にあるプロセッサ１００１６を含み得る。外科用可視化システム１００００は、例えば、図１６Ａ～図１６Ｄに関連して説明された構成要素及び機能を含んでもよい。
【0234】
システム１００００は、ＦＰＧＡ１０００４を使用して、周波数の変換を通して反射レーザ光を変換し、例えば、光のドップラーシフトを識別し、移動粒子を判定してもよい。この変換されたデータは、表示され得る（例えば、リアルタイムで表示され得る）。そのデータは、例えば、１秒当たりに移動する粒子の数を表すグラフィック及び／又はメトリック１００２０として表示され得る。システム１００００は、ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６とＦＧＰＡから遠隔にあるプロセッサ１００１６との間の通信を含み得る。例えば、ＦＧＰＡ１０００４から遠隔にあるプロセッサ１００１６は、データ（例えば、複数秒分のデータ）を集約することができる。また、システムは、データのその集約を表示することが可能であってもよい。例えば、移動傾向を表すグラフィック及び／又はメトリック１００２６として表示されてもよい。このグラフィック及び／又はメトリック１００２６は、リアルタイムデータ上に重ね合わされてもよい。そのような傾向情報は、閉塞を識別するため、器具の血管封止／クランプ効率を識別するため、血管樹概観を識別するため、更には経時的な動きの振動の大きさを識別するためにさえも使用され得る。ＦＰＧＡ１０００４は、オンザフライアップデート可能、例えば、異なる（例えば、より高度な）変換を用いてアップデート可能であるように構成されてもよい。これらのアップデートは、ローカル又はリモート通信サーバから入手してもよい。これらのアップデートは、例えば、変換の分析を、屈折度（例えば、細胞の不規則性の分析）から、血流、複数の同時深さ分析などに変更することができる。
【0235】
ＦＰＧＡアップデートは、ユーザのための様々な撮像オプションを実装する変換を含んでもよい。これらの撮像オプションは、標準複合可視光、組織屈折率、ドップラーシフト、モーションアーチファクト補正、改善されたダイナミックレンジ、改善された局所鮮明度、超解像度、ＮＩＲ蛍光法、マルチスペクトル撮像、共焦点レーザ顕微内視鏡法、光干渉断層撮影、ラマン分光法、光音響撮像、又は任意の組み合わせを含んでもよい。撮像オプションは、以下のいずれかに提示されるオプションのいずれかを含んでもよい。２０１８年３月２９日に出願された「ＤＵＡＬ ＣＭＯＳ ＡＲＲＡＹ ＩＭＡＧＩＮＧ」と題する米国特許出願第１５／９４０，７４２号、２０１３年７月２６日に出願された「ＷＩＤＥ ＤＹＮＡＭＩＣ ＲＡＮＧＥ ＵＳＩＮＧ ＭＯＮＯＣＨＲＯＭＡＴＩＣ ＳＥＮＳＯＲ」と題する米国特許出願第１３／９５２，５６４号、２０１４年３月１４日に出願された「ＳＵＰＥＲ ＲＥＳＯＬＵＴＩＯＮ ＡＮＤ ＣＯＬＯＲ ＭＯＴＩＯＮ ＡＲＴＩＦＡＣＴ ＣＯＲＲＥＣＴＩＯＮ ＩＮ Ａ ＰＵＬＳＥＤ ＣＯＬＯＲ ＩＭＡＧＩＮＧ ＳＹＳＴＥＭ」と題する米国特許出願第１４／２１４，３１１号、２０１３年７月２６日に出願された「ＣＡＭＥＲＡ ＳＹＳＴＥＭ ＷＩＴＨ ＭＩＮＩＭＡＬ ＡＲＥＡ ＭＯＮＯＬＩＴＨＩＣ ＣＭＯＳ ＩＭＡＧＥ ＳＥＮＳＯＲ」と題する米国特許出願第１３／９５２，５５０号。これらの各々は、参照により、その全体が本明細書に組み込まれる。ドップラー波長シフトは、例えば、移動粒子の数、サイズ、速さ、及び／又は方向性を識別するために使用され得る。ドップラー波長シフトは、例えば、組織深さ及び移動粒子を相互に関連付けるために、複数のレーザ波長と共に使用されてもよい。組織屈折度は、例えば、組織表面及び表面下の態様の不規則性又は多様性の識別のために使用され得る。外科的実践において、それは、腫瘍マージン、感染、破壊された表面組織、癒着、組織組成の変化などを同定するのに有益であり得る。ＮＩＲ蛍光法は、全身的に注入された薬物が標的組織によって優先的に吸収される技術を含み得る。適切な波長の光で照明されると、注入された薬物は蛍光を発し、ＮＩＲ対応スコープ／カメラを通して撮像することができる。ハイパースペクトル撮像法及び／又はマルチスペクトル撮像法は、リアルタイム画像を提供するために、電磁スペクトル全体を通して多くの波長にわたる組織の照明及び評価を含み得る。これは、標的組織どうしを区別するために使用され得る。それはまた、例えば、０～１０ｍｍの撮像深さを可能にし得る。共焦点レーザ顕微内視鏡検査（confocal laser endomicroscopy、ＣＬＥ）は、光を使用して、組織に浸透することなく高分解能の細胞レベル分解能の画像を捕捉することができる。ＣＬＥは、組織のリアルタイム病理像を提供し得る。光を使用して、組織内から、マイクロメートル解像度の３Ｄ画像を捕捉する技術である。光干渉断層撮影（optical coherence tomography、ＯＣＴ）は、ＮＩＲ光を用いてもよい。ＯＣＴは、例えば、１～２ｍｍの深さでの組織の撮像を可能にし得る。ラマン分光法は、組織の単色レーザ照明によって引き起こされる光子シフトを測定する技法を含み得る。ラマン分光法は、特定の分子を同定するために使用され得る。光音響撮像は、エネルギーの一部が熱弾性膨張及び超音波放出を引き起こすように、組織をレーザパルスにさらすことを含み得る。これらの結果として生じる超音波は、検出かつ分析されて、画像を形成し得る。
【0236】
これらのアップデートは、ユーザ入力又はシステム互換性チェックに基づいて自動的に行うことができる。システム１００００のこれらのリアルタイム、集約、及びアップデート可能な特徴は、システムの構成の任意の態様、例えば、システム容量、電力可用性、空きメモリアクセス、通信容量、ソフトウェアレベル、階層化購入レベルなどに基づいて、選択的に有効化されてもよい。
【0237】
レーザ光照明源１００１０は、ヒト組織を分析するために好適なレーザ光の任意の照明源を含んでもよい。レーザ光照明源１００１０は、例えば、図１７Ａ～図１７Ｆに図示される、ソースレーザエミッタなどのデバイスを含んでもよい。レーザ光照明源１００１０は、組織１０００２を照明するために、レーザ光の１つ以上の波長を使用してもよい。例えば、レーザ光照明源１００１０は、赤色－青色－緑色－紫外線１－紫外線２－赤外線の組み合わせを使用してもよい。例えば、３６０～４８０Ｈｚのサンプリング及び作動レートとの上記の組み合わせは、各光源が、エンドユーザの６０Ｈｚの組み合わされたフレームレートで、複数のフレームを有することを可能にする。独立した光源とのレーザ光波長の組み合わせは、単一のアレイからの解像度を増加させることができ、様々な深さへの浸透を可能にすることができる。
【0238】
組織１０００２は、例えば、術野の一部内のヒト組織であってもよい。レーザ光は、組織１０００２から反射して、反射レーザ光をもたらし得る。反射レーザ光は、光センサ１００１２によって受信され得る。光センサ１００１２は、術野の少なくとも一部から反射レーザ光を受信するように構成されてもよい。光センサ１００１２は、術野全体からレーザ光を受信するように構成されてもよい。光センサは、術野の選択可能部分から反射レーザ光を受信するように構成されてもよい。例えば、外科医などのユーザは、術野の特定の部分を分析するように、光センサ並びに光レーザ光照明源及び／又はレーザ光照明源に指示してもよい。
【0239】
光センサ１００１２は、反射レーザ光を感知し、対応する情報を出力するのに好適な任意のデバイスであり得る。例えば、光センサ１００１２は、反射レーザ光の１つ以上の特性、例えば、振幅、周波数、波長、ドップラーシフト、及び／又は他の時間領域品質若しくは周波数領域品質などを検出し得る。レーザ光センサ１００１２は、例えば、図１６Ａ～図１６Ｄに関連して開示される光センサなどのデバイスを含み得る。
【0240】
レーザ光センサ１００１２は、１つ以上のセンサモジュール１００１３を含み得る。センサモジュール１００１３は、広範囲の波長を測定するように構成され得る。センサモジュール１００１３は、例えば、特定の波長を測定するように調整かつ／又はフィルタリングされ得る。センサモジュール１００１３は、例えば、個別のセンサ、センサの集合、センサアレイ、センサアレイの組み合わせなどを含み得る。例えば、センサモジュール１００１３は、フォトダイオード、ＣＭＯＳ（相補型金属酸化膜半導体）イメージセンサ、ＣＣＤ（電荷結合素子）イメージセンサなどの半導体部品を含み得る。
【0241】
レーザ光センサ１００１２は、デュアルＣＭＯＳアレイを含んでもよい。図３１Ｂは、例示的なレーザ光センサ１００３０を示す。レーザ光センサ１００３０は、２つのセンサモジュール１００３２、１００３４を含み得る。センサモジュール１００３２、１００３４は、デュアル並列ＣＭＯＳアレイとして実装されてもよい。例えば、レーザ光センサ１００３０は、２つのセンサモジュール１００３２、１００３４（例えば、２つの並列４ｍｍセンサ）を有する外科用スコープ１００３１（例えば、直径７ｍｍの外科用スコープ）のフォームファクタに組み込まれ得る。レーザ光センサ１００３０は、撮像モード間のシフトを可能にするように構成されてもよい。モードは、例えば、３次元立体撮像及び２次元同時撮像（例えば、屈折度分析及び／又はドップラー分析のための撮像と共に視覚的撮像）を含み得る。モードは、例えば、より狭い又はより広い視覚化範囲での撮像を含み得る。モードは、例えば、より低い若しくはより高い解像度及び／又はアーチファクト補正による撮像を含み得る。センサモジュール１００３２、１００３４は、異なるタイプのセンサを含み得る。例えば、第１のセンサモジュール１００３２は、ＣＭＯＳデバイスであってもよい。第２のセンサモジュール１００３４は、異なるＣＭＯＳデバイスであってもよい。ＣＭＯＳデバイスにおける差異は、集光能力のより大きな多様性を可能にし得る。例えば、異なるＣＭＯＳデバイスは、より広い光コントラスト及び／又はより良好な集光を可能にし得る。例えば、第１のセンサアレイ１００３２は、第２のセンサアレイ１００３４に対してより多くの画素検出器を有し得る。外科用スコープ１００３１は、例えば、レーザ光照明源などの、１つ以上の光源１００３６を含み得る。
【0242】
図３１Ｃは、複数のフレームに対する画素アレイの例示的な動作のグラフィック表現である。センサモジュール（例えば、ＣＭＯＳセンサモジュールなど）は、光感知のためのパターン及び／又は技法を組み込み得る。センサモジュールの動作に関連する光感知技術は、フィルタリングを組み込み得る。センサモジュールに関連する光感知技術は、光源のストロービングを組み込み得る。これらの技法の例は、例えば、図１７Ｃ及び図１７Ｄに関連して本明細書で開示される技法を含み得る。センサモジュールに関連してストロービング光源のパターンを使用して、反射光を測定し、反射光を示す情報を生成し得る。画素アレイは、様々な中心光波長を有する様々な光源（レーザ又は発光ダイオードのいずれか）と共に高速で可視化領域を迅速にストロービングすることによって捕捉されてもよい。
【0243】
ストロービングは、センサに、対応する波長に関連付けられたそれぞれの画素アレイを捕捉させ得る。例えば、第１のパターン１００３８では、赤色、緑色、及び青色、並びに赤外線（例えば、近赤外線）の波長光が、ストロービングされ得る。そのようなストロービングは、センサに、例えば、赤色波長に関連付けられた第１の画素アレイ１００４０、緑色波長に関連付けられた第２の画素アレイ１００４２、青色波長に関連付けられた第３の画素アレイ１００４４、緑色波長に関連付けられた第４の画素アレイ４０４６、赤外線（例えば、近赤外線）波長に関連付けられた第５の画素アレイ１００４８、緑色波長に関連付けられた第６の画素アレイ１００５０、及び青色波長に関連付けられた第７の画素アレイ１００５２を捕捉させ得る。例えば、第２のパターン１００５４では、赤色、緑色、及び青色、並びに赤外線（例えば、近赤外線）の波長光が、ストロービングされ得る。そのようなストロービングは、センサに、例えば、赤色波長に関連付けられた第８の画素アレイ１００５６、緑色波長に関連付けられた第９の画素アレイ１００５８、青色波長に関連付けられた第１０の画素アレイ１００６０、緑色波長に関連付けられた第１１の画素アレイ１００６２、紫外線波長に関連付けられた第１２の画素アレイ１００６４、緑色波長に関連付けられた第１３の画素アレイ１００６６、及び青色波長に関連付けられた第１４の画素アレイ１００６８を捕捉させ得る。
【0244】
例えば、第１のパターン１００３８及び第２のパターン１００５４などのパターンは、１つ以上のセンサモジュールと関連付けられてもよい。例えば、第１のパターン１００３８及び第２のパターン１００５４などのパターンは、本明細書で開示されるような動作モードに関連付けられてもよい。例えば、第１のパターン１００３８及び第２のパターン１００５４などのパターンは、連続的に動作されてもよい。例えば、第１のパターン１００３８及び第２のパターン１００５４などのパターンは、（例えば、適切なブランキングを用いて）並行的に動作させることができる。例えば、第１のパターン１００３８及び第２のパターン１００５４などのパターンはそれぞれ、それぞれ対応するセンサモジュールに関連付けられてもよい。例えば、第１のパターン１００３８及び第２のパターン１００５４などのパターンは、センサモジュールに共同で関連付けられてもよい。
【0245】
図３１Ａに示されるように、光センサ１００１２によって収集された情報は、ＦＰＧＡ１０００４に伝達され得る。ＦＰＧＡ１０００４は、光センサ１００１２からのデータを分析するのに好適な任意のアップデート可能なゲートアレイデバイスを含み得る。ＦＰＧＡ１０００４は、１つ以上の論理素子１００１８を含み得る。論理素子１００１８は、入来する情報に対して変換を実行するように構成され得る。ＦＰＧＡ１０００４は、組織を表す分析されたデータ及び／又は処理されたデータを、ＦＰＧＡ１００１６及び／又はディスプレイ１００１４から遠隔にあるプロセッサに渡すのに好適な出力を含み得る。
【0246】
例えば、ＦＰＧＡ１０００４の論理素子１００１８は、ディスプレイ１００１４に渡され、光センサ１００１２によって受信された反射レーザ光情報の変換を表すリアルタイムデータ又はメトリック１００２０として表示され得る情報を提供し得る。変換は、光センサ１００１２から受信されたデータを部分的な動きを示す情報に変換するための、任意の数学演算及び／又は論理演算を含み得る。例えば、変換は、高速フーリエ変換（fast Fourier transform、ＦＦＴ）を含み得る。
【0247】
ＦＧＰＡ１０００４の論理素子１００１８は、例えば、リアルタイムデータ又はメトリック１００２０をディスプレイ１００１４に直接、かつ／又はフィールドプログラマブルゲートアレイに対してローカルなプロセッサ１０００６と協調して提供することができる。リアルタイムデータ及び／又はメトリック１００２０は、例えば、１秒当たりの粒子数などの粒子の動きの表現を含み得る。リアルタイムデータ及び／又はメトリック１００２０は、ディスプレイ１００１４上に表示されてもよい。リアルタイムデータ及び／又はメトリック１００２０は、組織１０００２を視覚化したものに重ね合わせて表示されてもよい。
【0248】
例えば、ＦＰＧＡ１０００４の論理素子１００１８は、集約及び／又は処理のためにＦＰＧＡ１０００４から遠隔にあるプロセッサ１００１６に渡され得る情報を提供してもよい。ＦＰＧＡ１０００４から遠隔にあるプロセッサ１００１６は、このデータの集約及び分析を提供し得る。例えば、ＦＰＧＡ１０００４から遠隔にあるプロセッサ１００１６は、移動平均及び他の集約技術を提供し得る。ＦＰＧＡ１０００４から遠隔にあるプロセッサ１００１６は、可変時間粒度を有する時間集約データを展開し得る。例えば、ＦＰＧＡ１０００４から遠隔にあるプロセッサ１００１６は、フィールドプログラマブルゲートアレイ１０００４からの数秒分のデータを集約することができる。ＦＰＧＡ１０００４から遠隔にあるプロセッサ１００１６は、最小二乗回帰技法、多項式フィット技法、平均、相加平均、モード、最大、最小、分散及び／又は同様のものなどの他の統計法など、データを集約して分析するのに好適な他のアルゴリズム１００２２を含み得る。ＦＰＧＡ１０００４の遠隔にあるプロセッサ１００１６は、光センサ１００１２から受信したデータ及び／又はＦＰＧＡ１０００４によって変換されたデータを、例えば、状況認識データ、処置状態、医療情報、患者転帰、出血事象などの有害事象などの他の集約データを含む手術の他の態様と相関させる相関アルゴリズムを含み得る。ＦＰＧＡ１０００４から遠隔にあるプロセッサ１００１６は、特定の人工知能及び／又は機械学習ベースのアルゴリズムを含み得る。例えば、以前に取得されたデータは、１つ以上の人工知能及び／又は機械学習アルゴリズムへの訓練セットとして使用され、種々の外科手術事象と、光センサ１００１２から受信される入力及びＦＰＧＡ１０００４によって変換される入力との間の更なる相関を提供してもよい。集約及び分析アルゴリズムから得られる情報は、ユーザへの表示のためにディスプレイ１００１４に送信されてもよい（例えば、ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６と協力して送信される）。
【0249】
ディスプレイ１００１４は、ユーザに情報を表示するのに好適な任意のデバイスを含み得る。ディスプレイ１００１４は、例えば、図３に関連するモニタ１３５を含み得る。例えば、ディスプレイ１００１４は、従来のコンピュータモニタを含み得る。例えば、ディスプレイ１００１４は、画像及び／又はテキストデータをユーザに表示するのに好適な任意のデバイスを含み得る。例えば、ディスプレイ１００１４は、光センサ１００１２及び／又は他の画像センサから受信された画像データ１００２４を表示して、組織１０００２の視覚表現を描いてもよい。ディスプレイ１００１４はまた、１つ以上の表示されたデータ要素を含むコンテキスト情報をユーザに提供するために好適であり得る。データ要素は、データ及び／又はメトリックの数値表現又はグラフィカル表現を含み得る。例えば、メトリックは、単位のグラフィカル表現を伴う１つ以上の数を含み得る。例えば、ディスプレイ１００１４は、例えば、ＦＰＧＡ１０００４の出力に従って検出されている１秒当たりの粒子数などの、リアルタイムメトリック１００２０を表示し得る。ディスプレイ１００１４は、ＦＰＧＡ１０００６から遠隔にあるプロセッサ１００１６の集約及び分析アルゴリズムからの処理されたメトリック１００２６（例えば、ある期間にわたって測定されるような、１秒当たりの粒子数の変化率など）を表示してもよい。
【0250】
ＦＰＧＡ１０００４に対してローカルに含まれるプロセッサ１０００６は、外科用可視化システム１００００の制御処理に好適な任意のデバイスを含むことができる。例えば、ＦＰＧＡに対してローカルなプロセッサ１０００６は、マイクロプロセッサ、マイクロコントローラ、ＦＰＧＡ、及び特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳＯＩＣ）、デジタル信号処理（ＤＳＰ）プラットフォーム、リアルタイムコンピューティングシステムなどを含み得る。
【0251】
ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、外科用可視化システム１００００の下位構成要素のいずれかの制御動作を提供し得る。例えば、ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、レーザ光照明源１００１０の動作を制御し得る。ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、例えば、様々なレーザ光シーケンスのためのタイミングを提供し得る。ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、例えば、レーザ光照明源の周波数及び／又は振幅の変調を提供し得る。ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、例えば、図１７Ａ～図１７Ｆに開示される技法のいずれかにおいて、レーザ光照明源に指示して照明させてもよい。
【0252】
ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、光センサ１００１２の動作を制御するのに好適であり得る。例えば、ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、特定の光センサが、例えば、特定の時間にオン又はオフにされるように、光センサ１００１２に指示して特定のシャッタリングシーケンスを提供させ得る。ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、例えば、局所露光、コントラスト、解像度、帯域幅、視野、及び撮像処理などの、光センサ１００１２の特定の構成を指示する。
【0253】
ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、外科用可視化システムの構成要素間のデータフローを方向付けるための内部ネットワーク機能を提供し得る。例えば、ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、光センサ１００１２から受信したデータをＦＰＧＡ１０００４に向けてもよい。ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、光センサ１００１２からＦＰＧＡ１０００４の１つ以上の論理素子１００１８へのデータの適切な伝達を可能にするように、スイッチングファブリックを提供する、かつ／又はスイッチングファブリックに指示することができる。
【0254】
ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、ディスプレイ１００１４の動作の全部又は一部を制御し得る。例えば、ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、特定の画像データ１００２４、処理されたデータ及び／若しくはメトリック１００２６、並びに／又はリアルタイムデータ及び／若しくはメトリック１００２０をディスプレイ１００１４上に表示させるための命令を提供し得る。
【0255】
ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、ユーザインターフェース（図示せず）から情報を受信してもよい。例えば、ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、画像データ１００２４上の関心領域の特定の選択を受信し得る。例示のために、外科医が術野の特定の領域における粒子の流れに関心があった場合、外科医は、ユーザインターフェース（例えば、キーボード及びマウス）を使用してディスプレイ上の関心領域を選択してもよく、ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６は、それに応じて応答する。例えば、上記の応答は、外科用可視化システムに、外科医によって行われた選択に関連付けられた１つ以上の測定基準を決定させ、表示させることによって行われる。
【0256】
ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６及び／又はＦＰＧＡ１０００４から遠隔にあるプロセッサ１００１６は、ＦＰＧＡ１０００４の構成変更を可能にするために、個別に又は協調して動作することができる。例えば、ＦＰＧＡ１０００４は、データの第１の変換を実行するための論理素子の第１の配列を含み得る。ＦＰＧＡ１０００４は、論理素子の第１の配列から論理素子の第２の配列に遷移して、データの第２の変換を実行するように構成されてもよい。例えば、ＦＰＧＡ１０００４に対してローカルなプロセッサ１０００６及び／又はＦＰＧＡ１０００４から遠隔にあるプロセッサ１００１６は、論理素子１００１８が第２の変換を実行するように、ＦＰＧＡ１０００４の論理素子１００１８の配置又は構成を、調整、再構成、かつ／又は再配置するのに好適であってもよい。第２の変換は、第１の変換とは異なり得る。第２の変換は、第１の変換の変形であり得る。この特徴を示すために、例示的な第１の変換は、１１ビット符号付き整数入力を使用する３２点Ｃｏｏｌｙ－Ｔｕｋｅｙ Ｒａｄｉｘ－２実装高速フーリエ変換（ＦＦＴ）を含み得る一方、第２の変換は、１２ビット符号付き整数入力を使用する１０２４点Ｃｏｏｌｙ－Ｔｕｋｅｙ Ｒａｄｉｘ－２実装ＦＦＴを含み得る。
【0257】
異なる変換を実装する論理素子１００２８の種々の構成を表すデータは、外科用可視化システムに利用可能であり得る。例えば、ＦＰＧＡ１０００４から遠隔にあるプロセッサ１００１６は、論理素子１００２８の１つ以上の構成をデータベースに記憶していてもよい。これらの構成１００２８は、時々アップデートされ得る。これらの構成１００２８は、様々な変換を表し得る。これらの構成１００２８は、異なるレベルのハードウェア及び処理リソースを必要とする変換を表し得る。例えば、それらは、あまり高性能ではないＦＰＧＡによって実装され得る変換及び／又はより高性能のＦＰＧＡによって実装され得る変換を含み得る。構成情報１００２８は、種々の処置及び／又は組織に関連付けられる変換のための構成を含み得る。例えば、構成情報１００２８は、新たに開発された変換及び／又は経時的に集約されたデータの分析に従って開発された変換を含むことができる。この態様を例示するために、一例では、特定の変換が、特定の外科処置における出血事象のより良好な予測因子であると決定され得、そのような相関は、当該変換を更に精緻化するため、更には、類似患者データ及び／又は処置データが指図するとき、当該変換の使用を促すために使用されてもよい。
【0258】
変換のアップグレード可能性は、購入された機能階層（例えば、購入されたソフトウェア階層）に関連付けられ得る。例えば、購入された機能階層は、ＦＧＰＡ１０００４がアップデート可能になることを有効化することができ、かつ／又は特定の変換を外科用可視化システム１００００に利用可能にすることができる。購入された機能階層は、例えば、病院、手術室、外科医、処置、器具類のセット、及び／又は特定の器具に関連付けられ得る。例示のために、外科用可視化システム１００００は、デフォルト変換と共に使用するように病院に設置され得る。デフォルト変換は、多くの処置に好適な一般化された変換を含み得る。アップグレードされた機能階層を購入すると、ＦＰＧＡ１０００４は、代替的変換を実装するように再構成され得るが、その代替的変換は、例えば、特定の処置、組織タイプ、又は外科医の好みに合わせてよりカスタマイズされたものであり得る。
【0259】
適応的ＦＰＧＡアップデートは、可変オーバーレイを可能にし得る。そのようなオーバーレイは、代替的ソースデータセットからのデータ及び／又はメトリックを含み得る。これらのデータセットを使用して、リアルタイム粒子移動及び集計傾向データにコンテキストを与えることができる。例えば、環境パラメータは、局所的手術部位における血流及び／又は炎症に影響を及ぼすように制御され得る。流体の流れをモニタリングして、ＦＰＧＡから遠隔にあるプロセッサは、部屋及び／又は患者の設定を推奨する（又は、例えば、自動的に変更する）ことができる。これらの設定変更は、手術場所を最適化し、かつ／又はデバイス性能を向上させ得る。例えば、血流をモニタリングすることによって、ユーザは、実際に実行に移す前に、可視化フィードバックを受信して、ある動作（例えば、ステープル及び／又はシール）の結果を理解し得る。体温の上昇又は低下、ベッド角度の上昇／下降、圧迫カフの圧力及び配置などの設定が、視覚的フィードバックと共に使用されて、血液をモニタリングされる場所に向かって、又はそこから離れるように方向付け得る。
【0260】
メモリ１０００８は、データを記憶すること及び記憶されたデータを提供することに好適な、任意のデバイスを含み得る。メモリは、読み取り専用メモリ（ＲＯＭ）及び／又はランダムアクセスメモリ（ＲＡＭ）を含み得る。メモリ１０００８は、例えば、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）を含み得る。メモリ１０００８は、例えば、埋め込み型システムに好適であってもよい。メモリ１０００８は、例えば、外科用可視化システムの動作における任意の中間データ製品を記憶するのに好適である。メモリ１０００８は、１つ以上のコマンドパラメータ、及び／又は当該論理素子のための構成情報を含む、外科用可視化システムの構成情報を記憶するために好適であり得る。メモリ１０００８は、システムパラメータを記憶するのに好適であり得る。メモリ１０００８は、１つ以上のバッファ、レジスタ、及び／又は情報の一時ストレージを提供するのに好適であってもよい。
【0261】
図３２は、動作モードを決定するための例示的な方法を示す。１０２００において、リアルタイムデータが収集され得る。例えば、外科用可視化システムは、組織に関連付けられたリアルタイムデータを収集し得る。例えば、レーザ光照明源は、組織を照明し、反射レーザ光を結果として生じ得るが、その反射レーザ光は、光センサによって感知され、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）内の論理素子の配列内に実装される変換に従って変換され得る。この収集されたリアルタイムデータは、ユーザに提示され得る。この収集されたリアルタイムデータは、例えば、フィールドプログラマブルゲートアレイに対してローカルなプロセッサ及び／又はフィールドプログラマブルゲートアレイから遠隔にあるプロセッサによって処理かつ／又は記憶かつ／又は集約され得る。
【0262】
１０２０２において、制御パラメータ及び／又は入力が、論理処理のために考慮され得る。例えば、制御パラメータ及び／又は入力のこの考慮は、動作がデフォルト動作モード及び／又は代替的動作モードで継続するかどうかを決定するために使用され得る。例えば、システムパラメータに基づくローカル処理及び傾向に関するシステムロックアウトステータスの決定が存在し得る。
【0263】
ユーザからの入力及び／又は制御パラメータは、デフォルトモードで動作するか又は代替的モードで動作するかを決定するのを助けるのに好適な、任意の数のパラメータ又は任意の情報を含み得る。例えば、ローカルに配置された制御システムとのデータ交換を、制御パラメータとして使用することができる。例えば、リモートシステムと双方向通信するローカル制御システムが使用され得る。例えば、制御パラメータは、処理能力、メモリ能力を有する帯域のいずれかを含み得る。制御パラメータは、ソフトウェア階層の購入を含み得る。入力は、デフォルト変換ではなく代替的変換を選択するための、外科医などのユーザからの入力を含み得る。例えば、入力は、例えば、特定の分析のために術野の一部を選択するユーザ入力であってもよい。制御パラメータ及び／又は入力は、データの集約及び／又は集約データの分析の有効化を示すのに好適な制御パラメータ及び入力を含んでもよい。
【0264】
デフォルトモードで動作するか又は代替的モードで動作するかの決定は、データの最大能力をユーザに表示することを含んでもよい。デフォルトモードで動作するか又は代替的モードで動作するかの決定は、ディスプレイ及びユーザインターフェースを介したユーザとの通知及び確認のインタラクションを含み得る。デフォルトモードで動作するか又は代替的モードで動作するかの決定に従って、動作は、１０２０４においてデフォルトモードで、又は１０２０６において代替的モードで継続することができる。例えば、デフォルト動作モードでの動作は、デフォルト変換に従って、リアルタイムデータを収集し、かつ処理することを含み得る。また、代替的動作モードにおける動作は、例えば、リアルタイムデータの収集に替わる、変換又は第２の変換若しくは代替的変換に従って動作することを含み得る。
【0265】
光生成及び撮像センサアレイを伴う外科用可視化システムでは、検出された光の変換は、その情報を、移動粒子サイズ、速さ、及び体積に変換し得る。変換の結果は、モニタ上に表示され得る。デフォルト変換及び／又は代替的変換は、種々のプログラムパラメータを含み得る。デフォルト変換及び／又は代替的変換からの出力は、データの傾向を決定し、集約するために、外部処理に連結されてもよい。デフォルト動作モードで動作するか又は代替的動作モードで動作するかは、粒子データ、傾向データ、階層化データなどを表示するための選択を含むことができ、この選択は、システム制御パラメータに依存して行われ得る。
【0266】
図３３は、リアルタイム情報及び傾向情報をユーザに表示するための例示的方法を示す。光波長のドップラーシフトのリアルタイム変換は、プロセッサ構成要素にエクスポートされ得る。プロセッサ構成要素は、先行するある秒数分の量のデータセットを記憶することが可能であり得る。これらのデータセットは、動きデータを傾向データに集約するための基準として使用され得る。また、傾向データをディスプレイ上に重ね合わせて、リアルタイムの動きと動きの傾向との両方を示してもよい。
【0267】
移動の傾向は、例えば、履歴データ（例えば、同じ処置内での、先行する数分間及び／又は数時間からのローカル履歴データ、より長期の履歴データなど）と比較されてもよい。移動の傾向は、例えば、ローカルソース及び／又は外部ソースからのデータと比較されてもよい。比較は、傾向のコンテキスト、例えば、ベースラインに対する傾向を提供することができる。例えば、異なる時点で同じ患者から比較を行ってもよい。例えば、比較は、１人以上の類似の患者（例えば、類似の関連する特性を有する患者）から行ってもよい。比較は、外科医の決定に情報を与えるために使用され得る。
【0268】
１０３００において、リアルタイムデータが収集され得る。レーザ光は、術野内の組織上に照射され、光センサに向かって反射されて戻り得る。リアルタイムデータは、光センサによって受信されたデータを含み得る。リアルタイムデータは、反射光の周波数及び／又は波長の表現を含み得る。
【0269】
術野における移動粒子は、反射光の波長においてドップラーシフトを引き起こし得る。１０３０２において、リアルタイムデータは、ドップラーシフトを評価するための変換によって変換され得る。結果として得られる情報は、例えば、速さ、速度、体積などの、移動粒子の態様を表すことができる。この結果得られた情報は、１０３０４においてユーザに表示され得る。
【0270】
更に、データ及び／又はシステムの最大能力がユーザに表示されてもよい。そして、１０３０６において、結果として生じる情報及び／又はリアルタイムデータは、集約され、かつ／又は更に分析され得る。例えば、状況認識を用いて処理されてもよい。例えば、これは、血流、間質液、煙、微粒子、霧、エアロゾルなどの分離及び／又は識別を可能にし得る。また、他のデータタイプからのノイズなしに、選択されたデータの表示を可能にすることができる。例えば、ハイライトされた粒子追跡のユーザによる選択は、更なる処理及び分析を用いて、所望のリアルタイムデータ、結果得られる情報などに表示をフォーカスさせ得る。例えば、ユーザは、表示されるデータのタイプ、粒子のサイズ、体積、増加率、粒子群の速度、及び／又はタグ付けされた群の経時的な移動などを選択することができる。結果として生じる情報及び／又はリアルタイムデータは、集約され、かつ／又は更に分析されて、例えば、経時的傾向の決定、様々な態様の変化率（例えば、加速度など）への変換、温度、吹送ガスタイプ、レーザ源、組み合わせられたレーザデータセットなどに対する較正及び／又は調整を決定してもよい。集約及び分析は、リアルタイム情報の表示と同時に行われてもよい。移動粒子に関する情報の集約及び分析は、移動粒子に関するリアルタイムデータを表示した後のある時点で行われてもよい。移動粒子に関する集約及び分析情報は、移動粒子に関するリアルタイム情報の表示なしで行われてもよい。移動粒子に関する情報の集約及び分析は、視覚化データを分析するのに好適な任意の数のアルゴリズムと、本発明者らの分析と、を含み得る。
【0271】
１０３０８において、集約及び更なる分析から得られた情報（例えば、傾向情報）をユーザに表示することができる。傾向情報は、グラフィカル傾向アニメーションに組み合わされてもよい。傾向情報は、メトリックとして示すことができる。傾向情報は、生の移動粒子データに重ね合わせることができる。
【0272】
図３４は、リアルタイム情報及び／又は傾向情報が表示されている例示的ユーザインターフェースを描く。第１のユーザインターフェース１０４０２は、画像データを含む。この画像データは、術野の画像部分２８１０を表すことができる。画像部分２８１０は、外科医が対象の血管２８１５のみを切開することに焦点を合わせることができるように、血管樹２８１４の拡大図を提示し得る。対象の血管２８１５を切除するために、外科医は、スマートＲＦ焼灼デバイス２８１６を使用し得る。画像データは、ＣＭＯＳ画像センサ及び／又は光センサによって生成され得る。データはまた、この組織に衝突し、光センサによって受信され、変換によってリアルタイムで処理される広帯域光及び／又はレーザ光によって収集されてもよい。この変換の出力は、視野のある部分内で動く、１秒当たりの粒子数のメトリック１０４０４及び／又は他の表現であり得る。例えば、このメトリックは、例えば、煙、液体、血球などの粒子を表すことができる。メトリック１０４０４は、第１のユーザインターフェース１０４０２上に表示され得る。
【0273】
ユーザインターフェース要素１０４０５がユーザに表示されてもよい。例えば、ユーザインターフェース要素１０４０５は、外科医がデータの更なる分析のためにローカル処理及び／又はリモート処理を行いたいかどうかを示すテキストボックスを含み得る。そのような処理を作動させるために、ある条件が満たされることが要求され得る。例えば、作動は、ソフトウェア階層の購入を条件とすることができる。例えば、作動は、帯域幅及び／又は処理能力を条件とすることができる。
【0274】
その作動を考慮して、傾向情報１０４０６が、第２のユーザインターフェース１０４０８上に表示され得る。第２のユーザインターフェース１０４０８は、ディスプレイ上に表示され得る。例えば、傾向データは、毎秒毎秒の粒子のメトリック、及び／又は情報グラフィック若しくは他の視覚化、例えば、チャート、アイコン、グラフなどを含み得る。
【0275】
例えば、１秒当たりの粒子数などのリアルタイムメトリック１０４０４、及び、例えば、粒子加速度などの傾向情報１０４０６は、第２のユーザインターフェース上に含まれ得る。これらの情報要素は、ユーザに対して表示されてもよい。例えば、リアルタイムメトリック１０４０４及び傾向情報１０４０６は、画像データ上に重ね合わされてもよい。例えば、１秒当たりの粒子数などの、そのようなリアルタイムメトリック１０４０４、及び／又は、例えば、粒子加速度などの傾向情報１０４０６は、血管２８１５の切除を行う外科医にとって有用であり得る。
【0276】
図３５は、外科用可視化システムのための例示的なアップグレードフレームワークを示す。フレームワークは、２×２のグリッドを含む。左軸は入力を表す。下のアクセスは、変換及び／又はアルゴリズムを表す。外科用可視化システムに対するアップデートを実行するとき、アップデートは、例えば、光の波長、パターン、強度を変更するなど、入力に対する変更を含むことができる。入力に対する変更は、例えば、単一波長からマルチスペクトル入力への変更を含み得る。外科用可視化システムに対するアップデートを実行するとき、アップデートは、変換及び／又はアルゴリズムに対する変更を含み得る。変換は、処理効率、応答性、エネルギー使用、帯域幅などのために変換を新たに調整することを含み得る。
【0277】
図示のように、アップデートは、グリッド内の任意のボックスの形態をとることができる。アップデートは、変換及び／又はアルゴリズムが同じままでの入力の変更を含み得る。アップデートは、入力が同じままでの変換及び／又はアルゴリズムの変更を含み得る。アップデートは、変換及び／又はアルゴリズムの変更と、入力に対する変更とを含み得る。
【0278】
図３６は、ＦＰＧＡを再構成するための例示的な方法を示す。１０６０２において、マルチスペクトル撮像データを変換するために、所定のＦＰＧＡ変換が使用され得る。１０６０４において、この変換から生成された情報は、集約及び／又は更なる分析を受けることができる。集約及び更なる分析により、特定の目的により好適な代替的変換を特定することができる。システムは、１０６０６において、変換に対するアップデートに関連付けられた入力（例えば、制御パラメータなど）を要求かつ／又は受信することができる。そのような入力及び／又は制御パラメータがアップデートしないことを示す場合、システムは、１０６０８において、既存の変換を継続使用することができる。システムがアップグレード可能である場合、システムは、１０６１０において、代替的構成を取得することができる。１０６１２において、ＦＰＧＡ内の論理素子は、アップデートされた変換を反映するように、代替的構成に従って再構成され得る。システムは、アップデートされたＦＰＧＡ変換を用いて、マルチスペクトル撮像を再開し得る。
【0279】
実施形態の以下のリストは、説明の一部を形成する。
１．術野の少なくとも一部を分析するための外科用可視化システムであって、そのシステムは、
術野の少なくとも一部を、レーザ光で照明するように構成されたレーザ光照明源と、
反射レーザ光を受光するように構成された光センサと、
構成可能な論理素子を含むフィールドプログラマブルゲートアレイであって、フィールドプログラマブルゲートアレイは、論理素子の第１の構成によって実装される第１の変換に従って、反射レーザ光を示す情報を、術野の少なくとも一部における移動粒子を示す情報に変換するように構成されている、フィールドプログラマブルゲートアレイと、
術野の少なくとも一部内の移動粒子を示す情報を表す出力を表示するように構成されたディスプレイと、
入力を受信し、その入力に基づいて、論理素子を論理素子の第２の構成で構成するように構成されたプロセッサであって、フィールドプログラマブルゲートアレイが、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を変換するように構成されている、プロセッサと、を備える、外科用可視化システム。
２．プロセッサは、第１のプロセッサを含み、システムは、フィールドプログラマブルゲートアレイから遠隔にあって、術野の少なくとも一部内の移動粒子を示す情報を受信し、第２の構成をプロセッサに送信するように構成された第２のプロセッサを更に備える、実施形態１に記載の外科用可視化システム。
３．反射レーザ光は、マルチスペクトルであり、フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、マルチスペクトル反射レーザ光によって与えられる深さアッセイの集約を示す情報に変換するように構成されている、実施形態１に記載の外科用可視化システム。
４．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、屈折度を示す情報に変換するように構成されている、実施形態１に記載の外科用可視化システム。
５．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、血流の複数の深さを示す情報に変換するように構成されている、実施形態１に記載の外科用可視化システム。
６．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、複数の深さの重み付けされた表現を示す情報に変換するように構成されている、実施形態１に記載の外科用可視化システム。
７．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、屈折度及び粒子移動を示す情報に変換するように構成されている、実施形態１に記載の外科用可視化システム。
８．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、現在の屈折度及び現在の粒子移動と以前の屈折度及び以前の粒子移動との比較を示す情報に変換するように構成されている、実施形態１に記載の外科用可視化システム。
９．入力は、ユーザ又は器具のいずれかに関連付けられた購入された機能階層を示す制御パラメータである、実施形態１に記載の外科用可視化システム。
１０．プロセッサは、アイドル時間中にフィールドプログラマブルゲートアレイを監視し、アイドル時間中に第２の構成に従ってフィールドプログラマブルゲートアレイを構成する、実施形態１に記載の外科用可視化システム。
１１．入力は、第１の変換に従って術野の少なくとも一部における移動粒子を示す情報が、臨床事象に相関付けられていることと、第２の変換が利用可能であることと、を示す指標である、実施形態１に記載の外科用可視化システム。
１２．術野の少なくとも一部を分析するための外科用可視化システムであって、そのシステムは、
第１の変換に関連付けられた第１の構成と、第２の変換に関連付けられた第２の構成と、ドップラー情報及び関連する手術結果の集約と、を記憶したメモリと、
術野の少なくとも一部における移動粒子を示す情報を受信するように構成されたプロセッサであって、当該情報は、フィールドプログラマブルゲートアレイによって術野の少なくとも一部における反射レーザ光を示す情報に適用される第１の変換の結果であり、プロセッサは、当該情報と、ドップラー情報及び関連する手術結果の集約との相関に基づいて第２の変換を選択し、第２の構成を、フィールドプログラマブルゲートアレイに送信するように更に構成されている、プロセッサと、を備える、外科用可視化システム。
１３．反射レーザ光は、マルチスペクトルであり、第２の変換は、反射レーザ光を示す情報を、マルチスペクトル反射レーザ光によって与えられる深さアッセイの集約を示す情報に変換する、実施形態１２に記載の外科用可視化システム。
１４．第２の変換は、反射レーザ光を示す情報を、屈折度を示す情報に変換する、実施形態１２に記載の外科用可視化システム。
１５．第２の変換は、反射レーザ光を示す情報を、血流の複数の深さを示す情報に変換する、実施形態１２に記載の外科用可視化システム。
１６．第２の変換は、反射レーザ光を示す情報を、複数の深さの重み付けされた表現を示す情報に変換する、実施形態１２に記載の外科用可視化システム。
１７．ユーザ又は器具のいずれかに関連付けられた購入された機能階層を示すプロセッサへの入力は、第２の変換を選択するための条件である、実施形態１２に記載の外科用可視化システム。
１８．当該相関は、重大な出血事象に対する相関である、実施形態１２に記載の外科的視覚化システム。
１９．術野の少なくとも一部を分析するための外科用可視化システムであって、そのシステムは、
術野の少なくとも一部を、レーザ光で照明するように構成されたレーザ光照明源と、
反射レーザ光を受光するように構成された光センサと、
構成可能な論理素子を備えるフィールドプログラマブルゲートアレイと、を備え、
第１の動作モードにおいて、フィールドプログラマブルゲートアレイは、論理素子の第１の構成によって実装される第１の変換に従って、反射レーザ光を示す情報を変換するように構成され、
第２の動作モードにおいて、フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を変換するように構成されている、外科用可視化システム。
２０．プロセッサを更に備え、プロセッサは、ユーザ又は器具のいずれかに関連付けられた購入された機能階層を示す、プロセッサへの入力に基づいて、フィールドプログラマブルゲートアレイの第１の動作モード及び第２の動作モードのいずれかを選択するように構成されている、実施形態１９に記載の外科用可視化システム。
１．術野の少なくとも一部を分析するための外科用可視化システムであって、そのシステムは、
術野の少なくとも一部を、レーザ光で照明するように構成されたレーザ光照明源と、
反射レーザ光を受光するように構成された光センサと、
構成可能な論理素子を含むフィールドプログラマブルゲートアレイであって、フィールドプログラマブルゲートアレイは、論理素子の第１の構成によって実装される第１の変換に従って、反射レーザ光を示す情報を、術野の少なくとも一部における移動粒子を示す情報に変換するように構成されている、フィールドプログラマブルゲートアレイと、
術野の少なくとも一部内の移動粒子を示す情報を表す出力を表示するように構成されたディスプレイと、
入力を受信し、その入力に基づいて、論理素子を論理素子の第２の構成で構成するように構成されたプロセッサであって、フィールドプログラマブルゲートアレイが、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を変換するように構成されている、プロセッサと、を備える、外科用可視化システム。
２．プロセッサは、第１のプロセッサを含み、システムは、フィールドプログラマブルゲートアレイから遠隔にあって、術野の少なくとも一部内の移動粒子を示す情報を受信し、第２の構成をプロセッサに送信するように構成された第２のプロセッサを更に備える、実施形態１に記載の外科用可視化システム。
３．反射レーザ光は、マルチスペクトルであり、フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、マルチスペクトル反射レーザ光によって与えられる深さアッセイの集約を示す情報に変換するように構成されている、実施形態１に記載の外科用可視化システム。
４．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、屈折度を示す情報に変換するように構成されている、実施形態１に記載の外科用可視化システム。
５．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、血流の複数の深さを示す情報に変換するように構成されている、実施形態１に記載の外科用可視化システム。
６．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、複数の深さの重み付けされた表現を示す情報に変換するように構成されている、実施形態１に記載の外科用可視化システム。
７．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、屈折度及び粒子移動を示す情報に変換するように構成されている、実施形態１に記載の外科用可視化システム。
８．フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を、現在の屈折度及び現在の粒子移動と以前の屈折度及び以前の粒子移動との比較を示す情報に変換するように構成されている、実施形態１に記載の外科用可視化システム。
９．入力は、ユーザ又は器具のいずれかに関連付けられた購入された機能階層を示す制御パラメータである、実施形態１に記載の外科用可視化システム。
１０．プロセッサは、アイドル時間中にフィールドプログラマブルゲートアレイを監視し、アイドル時間中に第２の構成に従ってフィールドプログラマブルゲートアレイを構成する、実施形態１に記載の外科用可視化システム。
１１．入力は、第１の変換に従って術野の少なくとも一部における移動粒子を示す情報が、臨床事象に相関付けられていることと、第２の変換が利用可能であることと、を示す指標である、実施形態１に記載の外科用可視化システム。
１２．術野の少なくとも一部を分析するための外科用可視化システムであって、そのシステムは、
第１の変換に関連付けられた第１の構成と、第２の変換に関連付けられた第２の構成と、ドップラー情報及び関連する手術結果の集約と、を記憶したメモリと、
術野の少なくとも一部における移動粒子を示す情報を受信するように構成されたプロセッサであって、当該情報は、フィールドプログラマブルゲートアレイによって術野の少なくとも一部における反射レーザ光を示す情報に適用される第１の変換の結果であり、プロセッサは、当該情報と、ドップラー情報及び関連する手術結果の集約との相関に基づいて第２の変換を選択し、第２の構成を、フィールドプログラマブルゲートアレイに送信するように更に構成されている、プロセッサと、を備える、外科用可視化システム。
１３．反射レーザ光は、マルチスペクトルであり、第２の変換は、反射レーザ光を示す情報を、マルチスペクトル反射レーザ光によって与えられる深さアッセイの集約を示す情報に変換する、実施形態１２に記載の外科用可視化システム。
１４．第２の変換は、反射レーザ光を示す情報を、屈折度を示す情報に変換する、実施形態１２に記載の外科用可視化システム。
１５．第２の変換は、反射レーザ光を示す情報を、血流の複数の深さを示す情報に変換する、実施形態１２に記載の外科用可視化システム。
１６．第２の変換は、反射レーザ光を示す情報を、複数の深さの重み付けされた表現を示す情報に変換する、実施形態１２に記載の外科用可視化システム。
１７．ユーザ又は器具のいずれかに関連付けられた購入された機能階層を示すプロセッサへの入力は、第２の変換を選択するための条件である、実施形態１２に記載の外科用可視化システム。
１８．当該相関は、重大な出血事象に対する相関である、実施形態１２に記載の外科的視覚化システム。
１９．術野の少なくとも一部を分析するための外科用可視化システムであって、そのシステムは、
術野の少なくとも一部を、レーザ光で照明するように構成されたレーザ光照明源と、
反射レーザ光を受光するように構成された光センサと、
構成可能な論理素子を備えるフィールドプログラマブルゲートアレイと、を備え、
第１の動作モードにおいて、フィールドプログラマブルゲートアレイは、論理素子の第１の構成によって実装される第１の変換に従って、反射レーザ光を示す情報を変換するように構成され、
第２の動作モードにおいて、フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、反射レーザ光を示す情報を変換するように構成されている、外科用可視化システム。
２０．プロセッサを更に備え、プロセッサは、ユーザ又は器具のいずれかに関連付けられた購入された機能階層を示す、プロセッサへの入力に基づいて、フィールドプログラマブルゲートアレイの第１の動作モード及び第２の動作モードのいずれかを選択するように構成されている、実施形態１９に記載の外科用可視化システム。
【0280】
〔実施の態様〕
（１） 術野の少なくとも一部を分析するための外科用可視化システムであって、前記システムは、
前記術野の前記少なくとも一部を、レーザ光で照明するように構成されたレーザ光照明源と、
反射レーザ光を受光するように構成された光センサと、
構成可能な論理素子を含むフィールドプログラマブルゲートアレイであって、前記フィールドプログラマブルゲートアレイは、論理素子の第１の構成によって実装される第１の変換に従って、前記反射レーザ光を示す情報を、前記術野の前記少なくとも一部における移動粒子を示す情報に変換するように構成されている、フィールドプログラマブルゲートアレイと、
前記術野の前記少なくとも一部内の移動粒子を示す前記情報を表す出力を表示するように構成されたディスプレイと、
入力を受信し、その入力に基づいて、前記論理素子を論理素子の第２の構成で構成するように構成されたプロセッサであって、前記フィールドプログラマブルゲートアレイが、論理素子の前記第２の構成によって実装される第２の変換に従って、前記反射レーザ光を示す情報を変換するように構成されている、プロセッサと、を備える、外科用可視化システム。
（２） 前記プロセッサは、第１のプロセッサを含み、前記システムは、前記フィールドプログラマブルゲートアレイから遠隔にあって、前記術野の前記少なくとも一部内の移動粒子を示す前記情報を受信し、前記第２の構成を前記第１のプロセッサに送信するように構成された第２のプロセッサを更に備え、前記第１のプロセッサは、前記論理素子を論理素子の前記第２の構成で構成するように動作可能である、実施態様１に記載の外科用可視化システム。
（３） 前記反射レーザ光は、マルチスペクトルであり、前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、前記マルチスペクトル反射レーザ光によって与えられる深さアッセイの集約を示す情報に変換するように構成されている、実施態様１又は２に記載の外科用可視化システム。
（４） 前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、屈折度を示す情報に変換するように構成されている、実施態様１又は２に記載の外科用可視化システム。
（５） 前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、移動粒子の複数の深さを示す情報に変換するように構成されている、実施態様１又は２に記載の外科用可視化システム。
（１） 術野の少なくとも一部を分析するための外科用可視化システムであって、前記システムは、
前記術野の前記少なくとも一部を、レーザ光で照明するように構成されたレーザ光照明源と、
反射レーザ光を受光するように構成された光センサと、
構成可能な論理素子を含むフィールドプログラマブルゲートアレイであって、前記フィールドプログラマブルゲートアレイは、論理素子の第１の構成によって実装される第１の変換に従って、前記反射レーザ光を示す情報を、前記術野の前記少なくとも一部における移動粒子を示す情報に変換するように構成されている、フィールドプログラマブルゲートアレイと、
前記術野の前記少なくとも一部内の移動粒子を示す前記情報を表す出力を表示するように構成されたディスプレイと、
入力を受信し、その入力に基づいて、前記論理素子を論理素子の第２の構成で構成するように構成されたプロセッサであって、前記フィールドプログラマブルゲートアレイが、論理素子の前記第２の構成によって実装される第２の変換に従って、前記反射レーザ光を示す情報を変換するように構成されている、プロセッサと、を備える、外科用可視化システム。
（２） 前記プロセッサは、第１のプロセッサを含み、前記システムは、前記フィールドプログラマブルゲートアレイから遠隔にあって、前記術野の前記少なくとも一部内の移動粒子を示す前記情報を受信し、前記第２の構成を前記第１のプロセッサに送信するように構成された第２のプロセッサを更に備え、前記第１のプロセッサは、前記論理素子を論理素子の前記第２の構成で構成するように動作可能である、実施態様１に記載の外科用可視化システム。
（３） 前記反射レーザ光は、マルチスペクトルであり、前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、前記マルチスペクトル反射レーザ光によって与えられる深さアッセイの集約を示す情報に変換するように構成されている、実施態様１又は２に記載の外科用可視化システム。
（４） 前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、屈折度を示す情報に変換するように構成されている、実施態様１又は２に記載の外科用可視化システム。
（５） 前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、移動粒子の複数の深さを示す情報に変換するように構成されている、実施態様１又は２に記載の外科用可視化システム。
【0281】
（６） 移動粒子の複数の深さを示す前記情報は、血流の複数の深さを示す情報である、実施態様５に記載の外科用可視化システム。
（７） 前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、複数の深さの重み付けされた表現を示す情報に変換するように構成されている、実施態様１又は２に記載の外科用可視化システム。
（８） 前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、屈折度及び粒子移動を示す情報に変換するように構成されている、実施態様１又は２に記載の外科用可視化システム。
（９） 前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、現在の屈折度及び現在の粒子移動と以前の屈折度及び以前の粒子移動との比較を示す情報に変換するように構成されている、実施態様１又は２に記載の外科用可視化システム。
（１０） 前記入力は、ユーザ又は器具のいずれかに関連付けられた機能階層を示す制御パラメータである、実施態様１～９のいずれかに記載の外科用可視化システム。
（７） 前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、複数の深さの重み付けされた表現を示す情報に変換するように構成されている、実施態様１又は２に記載の外科用可視化システム。
（８） 前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、屈折度及び粒子移動を示す情報に変換するように構成されている、実施態様１又は２に記載の外科用可視化システム。
（９） 前記フィールドプログラマブルゲートアレイは、論理素子の前記第２の構成によって実装される前記第２の変換に従って、前記反射レーザ光を示す情報を、現在の屈折度及び現在の粒子移動と以前の屈折度及び以前の粒子移動との比較を示す情報に変換するように構成されている、実施態様１又は２に記載の外科用可視化システム。
（１０） 前記入力は、ユーザ又は器具のいずれかに関連付けられた機能階層を示す制御パラメータである、実施態様１～９のいずれかに記載の外科用可視化システム。
【0282】
（１１） 前記プロセッサは、アイドル時間中に前記フィールドプログラマブルゲートアレイを監視し、前記アイドル時間中に前記第２の構成に従って前記フィールドプログラマブルゲートアレイを構成する、実施態様１～１０のいずれかに記載の外科用可視化システム。
（１２） 入力は、前記第１の変換に従って前記術野の前記少なくとも一部における移動粒子を示す前記情報が、臨床事象に相関付けられていることと、前記第２の変換が利用可能であることと、を示す指標である、実施態様１～１１のいずれかに記載の外科用可視化システム。
（１３） 前記臨床事象は、重大な出血事象である、実施態様１２に記載の外科用可視化システム。
（１４） 術野の少なくとも一部を分析するための外科用可視化システムであって、前記システムは、
第１の変換に関連付けられた第１の構成と、第２の変換に関連付けられた第２の構成と、ドップラー情報及び関連する手術結果の集約と、を記憶したメモリと、
前記術野の前記少なくとも一部における移動粒子を示す情報を受信するように構成されたプロセッサであって、前記情報は、フィールドプログラマブルゲートアレイによって前記術野の前記少なくとも一部における反射レーザ光を示す情報に適用される前記第１の変換の結果であり、前記プロセッサは、前記情報と、ドップラー情報及び関連する手術結果の前記集約との相関に基づいて前記第２の変換を選択し、前記第２の構成を、前記フィールドプログラマブルゲートアレイに送信するように更に構成されている、プロセッサと、を備える、外科用可視化システム。
（１５） 前記反射レーザ光は、マルチスペクトルであり、前記第２の変換は、前記反射レーザ光を示す情報を、前記マルチスペクトル反射レーザ光によって与えられる深さアッセイの集約を示す情報に変換する、実施態様１４に記載の外科用可視化システム。
（１２） 入力は、前記第１の変換に従って前記術野の前記少なくとも一部における移動粒子を示す前記情報が、臨床事象に相関付けられていることと、前記第２の変換が利用可能であることと、を示す指標である、実施態様１～１１のいずれかに記載の外科用可視化システム。
（１３） 前記臨床事象は、重大な出血事象である、実施態様１２に記載の外科用可視化システム。
（１４） 術野の少なくとも一部を分析するための外科用可視化システムであって、前記システムは、
第１の変換に関連付けられた第１の構成と、第２の変換に関連付けられた第２の構成と、ドップラー情報及び関連する手術結果の集約と、を記憶したメモリと、
前記術野の前記少なくとも一部における移動粒子を示す情報を受信するように構成されたプロセッサであって、前記情報は、フィールドプログラマブルゲートアレイによって前記術野の前記少なくとも一部における反射レーザ光を示す情報に適用される前記第１の変換の結果であり、前記プロセッサは、前記情報と、ドップラー情報及び関連する手術結果の前記集約との相関に基づいて前記第２の変換を選択し、前記第２の構成を、前記フィールドプログラマブルゲートアレイに送信するように更に構成されている、プロセッサと、を備える、外科用可視化システム。
（１５） 前記反射レーザ光は、マルチスペクトルであり、前記第２の変換は、前記反射レーザ光を示す情報を、前記マルチスペクトル反射レーザ光によって与えられる深さアッセイの集約を示す情報に変換する、実施態様１４に記載の外科用可視化システム。
【0283】
（１６） 前記第２の変換は、前記反射レーザ光を示す情報を、屈折度を示す情報に変換する、実施態様１４に記載の外科用可視化システム。
（１７） 前記第２の変換は、前記反射レーザ光を示す情報を、移動粒子の複数の深さを示す情報に変換し、好ましくは、移動粒子の複数の深さを示す前記情報は、血流の複数の深さを示す情報である、実施態様１４に記載の外科用可視化システム。
（１８） 前記第２の変換は、前記反射レーザ光を示す情報を、複数の深さの重み付けされた表現を示す情報に変換する、実施態様１４に記載の外科用可視化システム。
（１９） ユーザ又は器具のいずれかに関連付けられた機能階層を示す前記プロセッサへの入力は、前記第２の変換を選択するための条件である、実施態様１４に記載の外科用可視化システム。
（２０） 前記相関は、特定の臨床事象に対する相関であり、好ましくは、前記特定の臨床事象は、重大な出血事象である、実施態様１４に記載の外科用可視化システム。
（１７） 前記第２の変換は、前記反射レーザ光を示す情報を、移動粒子の複数の深さを示す情報に変換し、好ましくは、移動粒子の複数の深さを示す前記情報は、血流の複数の深さを示す情報である、実施態様１４に記載の外科用可視化システム。
（１８） 前記第２の変換は、前記反射レーザ光を示す情報を、複数の深さの重み付けされた表現を示す情報に変換する、実施態様１４に記載の外科用可視化システム。
（１９） ユーザ又は器具のいずれかに関連付けられた機能階層を示す前記プロセッサへの入力は、前記第２の変換を選択するための条件である、実施態様１４に記載の外科用可視化システム。
（２０） 前記相関は、特定の臨床事象に対する相関であり、好ましくは、前記特定の臨床事象は、重大な出血事象である、実施態様１４に記載の外科用可視化システム。
【0284】
（２１） 術野の少なくとも一部を分析するための外科用可視化システムであって、前記システムは、
前記術野の前記少なくとも一部を、レーザ光で照明するように構成されたレーザ光照明源と、
反射レーザ光を受光するように構成された光センサと、
構成可能な論理素子を備えるフィールドプログラマブルゲートアレイと、を備え、
第１の動作モードにおいて、前記フィールドプログラマブルゲートアレイは、論理素子の第１の構成によって実装される第１の変換に従って、前記反射レーザ光を示す情報を変換するように構成され、
第２の動作モードにおいて、前記フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、前記反射レーザ光を示す情報を変換するように構成されている、外科用可視化システム。
（２２） プロセッサを更に備え、前記プロセッサは、ユーザ又は器具のいずれかに関連付けられた機能階層を示す、前記プロセッサへの入力に基づいて、前記フィールドプログラマブルゲートアレイの前記第１の動作モード及び前記第２の動作モードのいずれかを選択するように構成されている、実施態様２１に記載の外科用可視化システム。
（２３） 前記光センサは、前記反射レーザ光を示す前記情報を提供する、実施態様１～１３、２１、及び２２のいずれかに記載のシステム。
（２４） 前記反射レーザ光を示す前記情報は、振幅、周波数、波長、ドップラーシフト、及び／又は他の時間領域品質若しくは周波数領域品質のうちの１つ以上を含む、実施態様１～２２のいずれかに記載のシステム。
（２５） 移動粒子を示す前記情報は、単位時間当たりの移動粒子の数、粒子の速さ、粒子速度、及び／又は体積のうちの１つ以上を含む、実施態様１～１４のいずれかに記載のシステム。
前記術野の前記少なくとも一部を、レーザ光で照明するように構成されたレーザ光照明源と、
反射レーザ光を受光するように構成された光センサと、
構成可能な論理素子を備えるフィールドプログラマブルゲートアレイと、を備え、
第１の動作モードにおいて、前記フィールドプログラマブルゲートアレイは、論理素子の第１の構成によって実装される第１の変換に従って、前記反射レーザ光を示す情報を変換するように構成され、
第２の動作モードにおいて、前記フィールドプログラマブルゲートアレイは、論理素子の第２の構成によって実装される第２の変換に従って、前記反射レーザ光を示す情報を変換するように構成されている、外科用可視化システム。
（２２） プロセッサを更に備え、前記プロセッサは、ユーザ又は器具のいずれかに関連付けられた機能階層を示す、前記プロセッサへの入力に基づいて、前記フィールドプログラマブルゲートアレイの前記第１の動作モード及び前記第２の動作モードのいずれかを選択するように構成されている、実施態様２１に記載の外科用可視化システム。
（２３） 前記光センサは、前記反射レーザ光を示す前記情報を提供する、実施態様１～１３、２１、及び２２のいずれかに記載のシステム。
（２４） 前記反射レーザ光を示す前記情報は、振幅、周波数、波長、ドップラーシフト、及び／又は他の時間領域品質若しくは周波数領域品質のうちの１つ以上を含む、実施態様１～２２のいずれかに記載のシステム。
（２５） 移動粒子を示す前記情報は、単位時間当たりの移動粒子の数、粒子の速さ、粒子速度、及び／又は体積のうちの１つ以上を含む、実施態様１～１４のいずれかに記載のシステム。
【0285】
（２６） 前記反射レーザ光を示す前記情報は、波長情報を含み、前記変換は、少なくとも１つの深さに関連付けられた少なくとも１つの波長に基づいて、深さを示す情報を推定する、実施態様３、７、１５、及び１８のいずれかに記載の外科用可視化システム。
（２７） 前記反射レーザ光を示す前記情報は、位相情報を含み、前記変換は、少なくともその位相情報に基づいて屈折度を示す情報を推定する、実施態様４、８、９、及び１６のいずれかに記載の外科用可視化システム。
（２８） 前記位相情報は、干渉パターンである、実施態様２７に記載の外科用可視化システム。
（２９） 前記反射レーザ光を示す前記情報は、波長情報を含み、前記マルチスペクトルレーザ光の波長は、前記術野の前記少なくとも一部における特定の深さに関連付けられ、その波長のドップラーシフトは、その深さにおける移動粒子の速度に関連付けられ、前記変換は、少なくとも１つの深さに関連付けられた波長の少なくとも１つのドップラーシフトに基づいて示す情報を推定する、実施態様５、６、９、及び１７のいずれかに記載の外科用可視化システム。
（３０） 前記フィールドプログラマブルゲートアレイから離れた第２のプロセッサは、前記術野の前記少なくとも一部における移動粒子を示す前記情報と、処置中に以前に取得された対応する情報、及び／又は他の処置中に取得された対応する情報との比較を実行することによって、前記指標を提供する、実施態様１２又は１３に記載の外科用可視化システム。
（２７） 前記反射レーザ光を示す前記情報は、位相情報を含み、前記変換は、少なくともその位相情報に基づいて屈折度を示す情報を推定する、実施態様４、８、９、及び１６のいずれかに記載の外科用可視化システム。
（２８） 前記位相情報は、干渉パターンである、実施態様２７に記載の外科用可視化システム。
（２９） 前記反射レーザ光を示す前記情報は、波長情報を含み、前記マルチスペクトルレーザ光の波長は、前記術野の前記少なくとも一部における特定の深さに関連付けられ、その波長のドップラーシフトは、その深さにおける移動粒子の速度に関連付けられ、前記変換は、少なくとも１つの深さに関連付けられた波長の少なくとも１つのドップラーシフトに基づいて示す情報を推定する、実施態様５、６、９、及び１７のいずれかに記載の外科用可視化システム。
（３０） 前記フィールドプログラマブルゲートアレイから離れた第２のプロセッサは、前記術野の前記少なくとも一部における移動粒子を示す前記情報と、処置中に以前に取得された対応する情報、及び／又は他の処置中に取得された対応する情報との比較を実行することによって、前記指標を提供する、実施態様１２又は１３に記載の外科用可視化システム。
【0286】
（３１） 前記フィールドプログラマブルゲートアレイに対して遠隔にある前記第２のプロセッサは、人工知能及び／又は機械学習ベースのアルゴリズムを使用して、前記術野の前記少なくとも一部における移動粒子を示す前記情報を相関させる、実施態様１２又は１３に記載の外科用可視化システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15A】
【図15B】
【図16A】
【図16B】
【図16C】
【図16D】
【図17A】
【図17B】
【図17C】
【図17D】
【図17E】
【図17F】
【図18】
【図19】
【図20A】
【図20B-20C】
【図21】
【図22】
【図23】
【図24A】
【図24B】
【図24C】
【図24D】
【図25】
【図26】
【図27】
【図28】
【図29】
【図30】
【図31A】
【図31B】
【図31C】
【図32】
【図33】
【図34】
【図35】
【図36】
【国際調査報告】