特表 2023-544360 複数の外科用ディスプレイ上へのインタラクティブ情報オーバーレイ

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-10-23

(54)【発明の名称】複数の外科用ディスプレイ上へのインタラクティブ情報オーバーレイ

(51)【国際特許分類】

   G16H 20/40 20180101AFI20231016BHJP

   A61B 34/10 20160101ALI20231016BHJP

【ＦＩ】

G16H20/40

A61B34/10

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023520151

(86)(22)【出願日】2021-09-29

(85)【翻訳文提出日】2023-05-24

(86)【国際出願番号】 IB2021058915

(87)【国際公開番号】W WO2022070077

(87)【国際公開日】2022-04-07

(31)【優先権主張番号】17/062,509

(32)【優先日】2020-10-02

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

【公序良俗違反の表示】

（特許庁注：以下のものは登録商標）

１．ＢＬＵＥＴＯＯＴＨ

(71)【出願人】

【識別番号】506157570

【氏名又は名称】シラグ・ゲーエムベーハー・インターナショナル

【氏名又は名称原語表記】Ｃｉｌａｇ ＧＭＢＨ Ｉｎｔｅｒｎａｔｉｏｎａｌ

(74)【代理人】

【識別番号】100088605

【弁理士】

【氏名又は名称】加藤 公延

(74)【代理人】

【識別番号】100130384

【弁理士】

【氏名又は名称】大島 孝文

(72)【発明者】

【氏名】シェルトン・ザ・フォース・フレデリック・イー

(72)【発明者】

【氏名】アダムス・シェーン・アール

(72)【発明者】

【氏名】ハリス・ジェイソン・エル

(72)【発明者】

【氏名】ベンデリー・マイケル・ジェイ

(72)【発明者】

【氏名】フィービッグ・ケビン・エム

【テーマコード（参考）】

5L099

【Ｆターム（参考）】

5L099AA26

(57)【要約】

外科用ハブは、少なくとも１つの拡張現実デバイス、少なくとも１つのディスプレイ、及び少なくとも１つのスマート外科用デバイスと通信し得る。外科用ハブは、外科用ディスプレイ又はスマート外科用デバイス上のディスプレイなどのディスプレイのインタラクティブオーバーレイを提供し得る。例えば、外科用ハブは、ディスプレイ上に重畳するための拡張現実（ＡＲ）コンテンツを生成し得る。ＡＲデバイスは、ハブから受信された追加のデータセット又はデータストリームをディスプレイ上にオーバーレイ又は重畳し得る。このインタラクティブオーバーレイは、ＡＲデバイスのユーザが画面を見ているときに、ユーザが画面上にデータをレイヤ化することを可能にし得る。外科用ハブは、ユーザがＡＲデバイスを介して見ているディスプレイに基づいて、ＡＲコンテンツを調整し得る。例えば、ハブは、ユーザが１つのディスプレイから別のディスプレイを見るときに、ＡＲコンテンツを調整し得る。

【特許請求の範囲】

【請求項1】

外科用ハブであって、
少なくとも１つのディスプレイ、複数のＡＲ（拡張現実）デバイス、及び少なくとも１つの外科用器具に動作可能に接続されるように構成された通信アレイと、
プロセッサと、を備え、前記プロセッサが、
ＡＲ制御パラメータを取得することと、
前記少なくとも１つの外科用器具のうちの１つの外科用器具から、前記少なくとも１つのディスプレイのうちの第１のディスプレイ上に表示するための第１のデータストリームを取得することと、
前記ＡＲ制御パラメータに基づいて、前記複数のＡＲデバイスのうちの第１のＡＲデバイスを介して前記第１のディスプレイ上に表示された前記第１のデータストリーム上にオーバーレイするための第１のＡＲコンテンツを決定することと、
前記ＡＲ制御パラメータに基づいて、前記複数のＡＲデバイスのうちの第２のＡＲデバイスを介して前記第１のディスプレイ上に表示された前記第１のデータストリーム上にオーバーレイするための第２のＡＲコンテンツを決定することであって、前記第２のＡＲコンテンツが、前記第１のＡＲコンテンツとは異なる、決定することと、
前記第１のＡＲコンテンツ及び前記第２のＡＲコンテンツをそれぞれ前記第１のＡＲデバイス及び前記第２のＡＲデバイスに送信することと、を行うように構成されている、外科用ハブ。

【請求項2】

前記ＡＲ制御パラメータが、ユーザ役割を含み、前記プロセッサが、
前記第１のＡＲデバイスに関連付けられた第１のユーザ役割を識別することと、
前記第１のユーザ役割に基づいて、前記第１のＡＲコンテンツに含めるための第１のオーバーレイデータセットを決定することと、
前記第２のＡＲデバイスに関連付けられた第２のユーザ役割を識別することと、
前記第２のユーザ役割に基づいて、前記第２のＡＲコンテンツに含めるための第２のオーバーレイデータセットを決定することであって、前記第２のオーバーレイデータセットが、前記第１のオーバーレイデータセットとは異なる、決定することと、を行うように更に構成されている、請求項１に記載の外科用ハブ。

【請求項3】

前記プロセッサが、
前記第１のＡＲデバイスのユーザが前記第１のディスプレイを見ていることを検出することと、
前記検出に応答して、前記第１のＡＲデバイスを介して前記第１のディスプレイ上に表示された前記第１のデータストリーム上に前記第１のＡＲコンテンツをオーバーレイすることと、を行うように、前記第１のＡＲデバイスに命令するように更に構成されている、請求項１又は２に記載の外科用ハブ。

【請求項4】

前記第１のＡＲコンテンツが、
外科用器具の使用のための工程、
デバイス設定、
デバイスステータス、
使用のためのデバイス命令、
動作パラメータ、又は
検出された異常の指標、のうちの少なくとも１つを含む、請求項１～３のいずれか一項に記載の外科用ハブ。

【請求項5】

前記第１のＡＲコンテンツが、手術前撮像、手術中撮像、器具データ、又は処置命令のうちの少なくとも１つを含む、請求項１～４のいずれか一項に記載の外科用ハブ。

【請求項6】

前記ＡＲ制御パラメータが、
前記第１のディスプレイに対するユーザの配向、
前記外科処置の進行、
外科的コンテキスト、
リアルタイムユーザ入力、又は
事前構成されたユーザ選好、のうちの少なくとも１つを含む、請求項１～５のいずれか一項に記載の外科用ハブ。

【請求項7】

前記第１のディスプレイ上に表示された前記第１のデータストリーム上にオーバーレイするための前記第１のＡＲコンテンツが、前記第１のディスプレイに関連付けられたディスプレイタイプに更に基づいて決定され、前記プロセッサが、
前記少なくとも１つのディスプレイのうちの第２のディスプレイに関連付けられたディスプレイタイプに基づいて、前記第１のＡＲデバイスを介して前記第２のディスプレイ上に表示されたコンテンツ上にオーバーレイするための第３のＡＲコンテンツを決定することを行うように更に構成されている、請求項１～６のいずれか一項に記載の外科用ハブ。

【請求項8】

前記ディスプレイタイプが、
スマート外科用器具上に配置された器具ディスプレイ、又は
手術室内の共有ディスプレイ、又は
パーソナルディスプレイ、のうちの少なくとも１つを含む、請求項７に記載の外科用ハブ。

【請求項9】

前記プロセッサが、
前記第１のＡＲデバイスから表示制御指標を受信することと、
前記受信された表示制御指標に基づいて、前記第１のディスプレイ上に表示するための前記コンテンツを調整することと、を行うように更に構成されている、請求項１～８のいずれか一項に記載の外科用ハブ。

【請求項10】

前記プロセッサが、
前記第１のＡＲデバイスが外科手術室の境界の外側にあるかどうかを検出することと、
前記第１のＡＲデバイスが前記外科手術室の前記境界の外側にあることを検出したことに応答して、前記第１のＡＲコンテンツを前記第１のＡＲデバイスに送信することを無効化することと、を行うように更に構成されている、請求項１～９のいずれか一項に記載の外科用ハブ。

【請求項11】

前記プロセッサが、
標的領域に対する意図されたアクションの指標を受信することと、
前記標的領域に対する前記意図されたアクションを実行することに関連付けられた予測結果を取得することと、
前記予測結果を前記第１のＡＲコンテンツに含めることと、を行うように更に構成されている、請求項１～１０のいずれか一項に記載の外科用ハブ。

【請求項12】

前記指標が、前記第１のＡＲデバイス又は外科用スコープを介して取り込まれた視覚化を含み、前記視覚化が、外科用器具が標的領域上に、又は標的領域に近接して配置されていることを示す、請求項１１に記載の外科用ハブ。

【請求項13】

前記プロセッサが、
外科用スコープから受信された視覚データ及び前記少なくとも１つの外科用器具から受信した外科用データに基づいて、前記予測結果を決定することを行うように更に構成されている、請求項１１又は１２に記載の外科用ハブ。

【請求項14】

前記プロセッサが、
外科用スコープからの視覚データ、及び前記少なくとも１つの外科用器具からのセンサ入力データを取得することと、
前記視覚データ及び前記センサ入力データをリモートサーバに送信することと、
前記リモートサーバから前記予測結果を受信することと、を行うように更に構成されている、請求項１１又は１２に記載の外科用ハブ。

【請求項15】

前記第１のＡＲコンテンツが、視覚コンテンツ又は可聴コンテンツのうちの少なくとも１つを含む、請求項１～１４のいずれか一項に記載の外科用ハブ。

【請求項16】

外科用ハブであって、
少なくとも１つのディスプレイ、ＡＲ（拡張現実）デバイス、及び少なくとも１つの外科用器具に動作可能に接続されるように構成された通信アレイと、
プロセッサと、を備え、前記プロセッサが、
前記少なくとも１つの外科用器具のうちの１つの外科用器具から、前記少なくとも１つのディスプレイのうちの１つのディスプレイ上に表示するためのデータストリームを取得することと、
前記ディスプレイ上にオーバーレイするためのＡＲコンテンツを生成することと、
前記ＡＲデバイスのユーザが前記ディスプレイを見ているかどうかを決定することと、
前記ＡＲデバイスの前記ユーザが前記ディスプレイを見ていることを検出すると、前記ＡＲデバイスを介して前記ディスプレイ上に表示された前記コンテンツ上に前記ＡＲコンテンツをオーバーレイすることと、を行うように構成されている、外科用ハブ。

【請求項17】

前記プロセッサが、
前記第１のＡＲデバイスのユーザが前記第１のディスプレイを見ているかどうかを決定することと、
前記第１のＡＲデバイスの前記ユーザが前記第１のディスプレイを見ていることを検出すると、前記第１のＡＲデバイスを介して前記第１のディスプレイ上に表示された前記コンテンツ上に前記第１のＡＲコンテンツをオーバーレイすることと、を行うように更に構成されている、請求項１～１５のいずれか一項に記載の外科用ハブ。

【請求項18】

前記ディスプレイが、前記少なくとも１つのディスプレイのうちの第１のディスプレイであり、前記プロセッサが、
前記少なくとも１つのディスプレイのうちの第２のディスプレイ上にオーバーレイするための第２のＡＲコンテンツを生成することであって、前記第２のＡＲコンテンツが、前記第１のディスプレイ上にオーバーレイするための前記ＡＲコンテンツとは異なる、生成することと、
前記ＡＲデバイスの前記ユーザが前記第２のディスプレイを見ているかどうかを決定することと、
前記ＡＲデバイスの前記ユーザが前記第２のディスプレイを見ていることを検出すると、前記ＡＲデバイスを介して、前記第２のディスプレイ上に表示された前記コンテンツ上に前記第２のＡＲコンテンツをオーバーレイすることと、を行うように更に構成されている、請求項１６又は１７に記載の外科用ハブ。

【請求項19】

前記プロセッサが、
前記ＡＲデバイスの前記ユーザがもはや前記ディスプレイを見ていないことを検出すると、前記ＡＲデバイスを介して、前記ディスプレイに関連付けられた前記ＡＲコンテンツを供給することを停止することを行うように更に構成されている、請求項１６～１８のいずれか一項に記載の外科用ハブ。

【請求項20】

前記プロセッサが、
前記ＡＲデバイスから表示制御指標を受信することと、
前記受信された表示制御指標に基づいて、前記ディスプレイ上に表示するための前記コンテンツを調整することと、を行うように更に構成されている、請求項１６～１９のいずれか一項に記載の外科用ハブ。

【請求項21】

前記プロセッサが、
前記ＡＲデバイスに関連付けられたユーザ役割を識別することを行うように更に構成されており、前記ＡＲコンテンツが、前記ユーザ役割に基づいて生成される、請求項１６～２０のいずれか一項に記載の外科用ハブ。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の相互参照）
本出願は、同時に出願された以下の出願に関連し、これらの各々の内容は、参照により本明細書に組み込まれる。
・代理人整理番号ＥＮＤ９２８７ＵＳＮＰ１、発明の名称「ＭＥＴＨＯＤ ＦＯＲ ＯＰＥＲＡＴＩＮＧ ＴＩＥＲＥＤ ＯＰＥＲＡＴＩＯＮ ＭＯＤＥＳ ＩＮ Ａ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭ」、
・代理人整理番号ＥＮＤ９２８７ＵＳＮＰ１４、発明の名称「ＴＩＥＲＥＤ ＳＹＳＴＥＭ ＤＩＳＰＬＡＹ ＣＯＮＴＲＯＬ ＢＡＳＥＤ ＯＮ ＣＡＰＡＣＩＴＹ ＡＮＤ ＵＳＥＲ ＯＰＥＲＡＴＩＯＮ」、
・代理人整理番号ＥＮＤ９２８７ＵＳＮＰ１５、発明の名称「ＣＯＯＰＥＲＡＴＩＶＥ ＳＵＲＧＩＣＡＬ ＤＩＳＰＬＡＹＳ」、及び
・代理人整理番号ＥＮＤ９２８７ＵＳ１７、発明の名称「ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＣＯＮＴＲＯＬ ＯＰＴＩＯＮＳ ＦＯＲ Ａ ＳＵＲＧＥＯＮ ＣＯＮＴＲＯＬＬＥＤ ＳＥＣＯＮＤＡＲＹ ＤＩＳＰＬＡＹ ＡＮＤ ＰＲＩＭＡＲＹ ＤＩＳＰＬＡＹ」。

【背景技術】

【0002】

外科用システムは、臨床医が、例えば、モニタなどの１つ又は２つ以上のディスプレイ上で、手術部位及び／又はその１つ又は２つ以上の部分を見ることを可能にすることができる撮像システムを組み込んでいることが多い。ディスプレイは、手術現場のローカルにあっても、かつ／又は遠隔にあってもよい。撮像システムは、手術部位見て、かつ臨床医が見ることができるディスプレイにビューを送信する、カメラを備えたスコープを含むことができる。スコープとしては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、食道胃十二指腸鏡、腸鏡、食道十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、尿管鏡、及び外視鏡が挙げられるが、これらに限定されない。撮像システムは、臨床医を認識することができ、かつ／又は臨床医に伝達することができる情報によって制限される場合がある。例えば、三次元空間内の特定の隠れた構造、物理的輪郭、及び／又は寸法は、特定の撮像システムでは手術中に認識できないことがある。追加的に、特定の撮像システムは、手術中に特定の情報を臨床医に通信すること、及び／又は伝達することできない場合がある。

【発明の概要】

【課題を解決するための手段】

【0003】

本発明の実施形態によれば、外科用ハブは、少なくとも１つのディスプレイ、拡張現実（augmented reality、ＡＲ）デバイス、及び少なくとも１つの外科用器具に動作可能に接続され得る。外科用ハブは、外科用器具から、ディスプレイ上に表示するためのデータストリームを取得することができる。外科用ハブは、ディスプレイ上にオーバーレイするためのＡＲコンテンツを生成してもよい。例えば、ＡＲコンテンツは、ユーザ役割及び／又はディスプレイ（例えば、ディスプレイタイプ、及び／又はディスプレイに表示されているコンテンツ）に基づいて生成されてもよい。外科用ハブは、ＡＲデバイスのユーザがディスプレイを見ているかどうかを決定し、ＡＲデバイスのユーザがディスプレイを見ていることを検出すると、ＡＲデバイスを介してディスプレイ上にＡＲコンテンツをオーバーレイするように構成されてもよい。ＡＲデバイスのユーザがもはやディスプレイを見ていないことを検出すると、外科用ハブは、ＡＲデバイスを介してディスプレイに関連付けられたＡＲコンテンツを供給することを停止してもよい。外科用ハブは、第２のディスプレイ上にオーバーレイするための他のＡＲコンテンツを生成してもよい。外科用ハブは、ＡＲデバイスのユーザが第２のディスプレイを見ているかどうかを決定し、ＡＲデバイスのユーザが第２のディスプレイを見ていることを検出すると、ＡＲデバイスを介して第２のディスプレイ上にオーバーレイするために生成されたＡＲコンテンツをオーバーレイしてもよい。

【0004】

ＡＲデバイスは、モニタ又はデバイス画面上の表示データを調整することができる。例えば、外科用デバイスは、ＡＲデバイスから表示制御指標を受信し、受信された表示制御指標に基づいて、ディスプレイ上に表示するためのコンテンツを調整することができる。

【0005】

本発明の一実施形態によれば、外科用ハブは、外科用スコープから画像を受信し、少なくとも１つの外科用器具から外科情報を受信するように構成されてもよい。外科用ハブは、複数のＡＲデバイス、一次ディスプレイ及び二次ディスプレイなどの複数のディスプレイに動作可能に接続されてもよい。外科用ハブは、ＡＲ制御パラメータを取得し得、ＡＲ制御パラメータに基づいて、ディスプレイ上に表示されたデータストリーム上にオーバーレイするためのＡＲコンテンツを決定し得る。外科用ハブは、ＡＲコンテンツを第１のＡＲデバイスに送信してもよい。外科用ハブは、データストリーム上にオーバーレイするための異なるＡＲコンテンツを決定し得る。外科用ハブは、このＡＲコンテンツを第２のＡＲデバイスに送信することができる。ＡＲコンテンツは、外科用器具の使用のための工程、デバイス設定、デバイスステータス、使用のためのデバイス命令、動作パラメータ、検出された異常の指標、手術前撮像、手術中撮像、器具データ、及び／又は処置命令を含み得る。ＡＲコンテンツは、腫瘍のマーキング、腫瘍縁、血流情報（例えば、高血流、低血流）などの解剖学的情報を示し得る。

【0006】

上記及び下記の例として、外科用ハブは、ＡＲデバイスを通じて、同じ画面が、外科チームの異なる構成員に異なるコンテンツを示すことを可能にする。具体的には、ＡＲコンテンツは、ＡＲデバイスのユーザのためにディスプレイ上にオーバーレイされ、そのＡＲデバイスを使用していない外科チームの構成員には見えない。異なるＡＲコンテンツを示す複数のＡＲデバイスの使用を通して、異なるＡＲコンテンツは、異なるユーザのために同じ画面上にオーバーレイされることができる。このように１つ又は複数のＡＲデバイスを使用することにより、情報を必要とする外科チームの構成員に、情報を必要としないチームの他の構成員の気を情報によって散らすことなく、情報を直接送信することが可能になる。この情報へのより迅速なアクセス、及びより少ない注意散漫は、より高い効率、患者の安全性の改善、及び手術結果の改善をもたらす。ＡＲデバイスを使用してこの情報を第１のディスプレイ上に直接オーバーレイすることは、第１のデータストリーム及びＡＲコンテンツが同じ場所に表示されるので、更なる改善につながる。これは、両方のデータソースが一緒に、したがってより迅速に見られることを可能にし、ＡＲコンテンツが、第１のデータストリーム内に示されるアイテムをラベル付けするか、又はそのコンテンツの態様を強調するなど、第１のデータストリームと相互作用することを可能にする。これは、手術の進行に関する調整された情報が外科チームに送られることを可能にする。ＡＲコンテンツは、外科チームが外科処置の特定の工程を実行するのを支援し、正しいデバイスのセットアップ及び使用を確実にし、処置が想定どおりに動作していることを確実にし、外科処置における異常又は異例を検出及び修正することができる。ＡＲコンテンツの一部として特定の外科的アクションの予測結果を表示することによって、外科チームは、行われている手術で支援されることができ、外科的アクションは、精度及び安全性のより高い基準まで実行されることができ、潜在的に致命的な誤りは、回避又は最小限にされることができ、手術結果は、著しく改善される。外科的進行、ユーザの配向、及び外科的コンテキストなどのＡＲ制御パラメータの使用は、ＡＲコンテンツがリアルタイムで更新され、任意の異常などの現在の外科処置に特有の事象を説明するのに役立つ。したがって、全体として、表示されるＡＲコンテンツは、効率、患者の安全性、及び手術の結果を更に改善する。

【0007】

例えば、ＡＲ制御パラメータは、ディスプレイに対するユーザの配向を含んでもよく、又はそれであってもよい。外科用ハブは、ＡＲデバイスのユーザがディスプレイを見ているかどうかを検出し得る。ユーザがディスプレイを見ていることを検出したことに応答して、外科用ハブは、ディスプレイ上にオーバーレイするために、ＡＲコンテンツを生成し、及び／又はＡＲデバイスに送信し得る。ＡＲデバイスのユーザがもはやディスプレイを見ていないことを検出すると、外科用ハブは、ＡＲデバイスを介してディスプレイに関連付けられたＡＲコンテンツを供給することを停止してもよい。ＡＲデバイスを介してＡＲコンテンツを提供することによって、ユーザは、ディスプレイ上のコンテンツがＡＲデバイスを介して供給されるＡＲコンテンツと組み合わされた合成画像を見ることができる。外科用ハブは、ＡＲデバイスのユーザがディスプレイを見ているかどうかを検出すること、及び検出に応答して、ＡＲデバイスを介してディスプレイ上に表示されたコンテンツ上にオーバーレイの１つ又は２つ以上のデータ層をオーバーレイすることを行うように、ＡＲデバイスに命令し得る。

【0008】

例えば、ＡＲ制御パラメータは、ＡＲデバイスに関連付けられたユーザ役割を含んでもよく、又はそれであってもよい。外科用ハブは、ＡＲコンテンツに含めるための複数のデータ層を生成するように構成されてもよい。いくつかの例では、データ層は、１つ又は２つ以上のユーザ役割に関連付けられてもよい。外科用ハブは、第１のＡＲデバイスに関連付けられた第１のユーザ役割を識別し、第１のユーザ役割に基づいて、第１のＡＲコンテンツに含めるための第１のオーバーレイデータセットを決定することができる。外科用ハブは、第２のＡＲデバイスに関連付けられた第２のユーザ役割を識別し、第２のユーザ役割に基づいて第２のＡＲコンテンツに含めるための第２の異なるオーバーレイデータセットを決定してもよい。オーバーレイデータセットは、外科用ハブによって生成される１つ又は２つ以上のデータ層を含んでもよい。

【0009】

例えば、ＡＲ制御パラメータは、ＡＲデバイスに関連付けられたユーザ役割と、ディスプレイに関連付けられたディスプレイタイプとを含み得る。例えば、外科用ハブは、ＡＲデバイスに関連付けられたユーザ役割と、ディスプレイに関連付けられたディスプレイタイプとを識別し得る。外科用ハブは、ディスプレイタイプ及びユーザ役割に基づいて、ＡＲデバイスを介してディスプレイ上に表示されるコンテンツ上にオーバーレイするためのＡＲコンテンツを決定し得る。ディスプレイタイプは、スマート外科用器具上に位置する器具ディスプレイ、手術室内の共有ディスプレイ、又はパーソナルディスプレイであってもよい。

【0010】

ＡＲデバイスと通信するハブは、意図されたアクションのシミュレーション又は確認を提供することができる。ＡＲコンテンツは、ユーザが意図されたアクションを実行した場合の予測結果の指標を含み得る。一例として、ユーザが、ステープル留め、切開、又は封止するために、意図された領域を覆ってジョーをクランプするか又は有する場合、ＡＲコンテンツは、流体の流れの変化をユーザに示し得る。これは、ある方向又は別の方向に移動するためのガイダンスをユーザに提供し得る。例えば、外科用ハブは、標的領域に対する意図されたアクションの指標を受信し得る。指標は、ＡＲデバイスを介して取り込まれた画像であって、外科用器具が標的領域上に又は標的領域に近接して配置されていることを示す画像を含んでもよい。指標は、外科用器具が標的領域上に又は標的領域に近接して配置されていることを示す、外科用スコープを介して取り込まれた画像を含み得る。外科用ハブは、標的領域に対して意図されたアクションを実行することに関連付けられた予測結果を取得してもよく、予測結果をＡＲコンテンツに含めてもよい。予測結果は、外科用スコープから受信した視覚データ及び外科用器具から受信した外科用データに基づいて決定されてもよい。予測結果は、外科用ハブによって、又はリモートサーバの助けを借りて決定され得る。

【0011】

ＡＲデバイスは、例えば、手術室（operating room、ＯＲ）において、音の代わりにではなく、音を聴くことに加えて、聴覚オーバーレイを提供してもよい。ＡＲシステムは、特定の情報を、その情報を利用することができるＯＲ内の標的とされる個人にのみ通信することができる。

【0012】

本発明の更なる実施形態によれば、以下の例が提供される。
１．外科用ハブであって、
少なくとも１つのディスプレイ、複数のＡＲ（拡張現実）デバイス、及び少なくとも１つの外科用器具に動作可能に接続されるように構成された通信アレイと、
プロセッサと、を備え、プロセッサが、
ＡＲ制御パラメータを取得することと、
少なくとも１つの外科用器具のうちの１つの外科用器具から、少なくとも１つのディスプレイのうちの第１のディスプレイ上に表示するための第１のデータストリームを取得することと、
ＡＲ制御パラメータに基づいて、複数のＡＲデバイスのうちの第１のＡＲデバイスを介して第１のディスプレイ上に表示された第１のデータストリーム上にオーバーレイするための第１のＡＲコンテンツを決定することと、
ＡＲ制御パラメータに基づいて、複数のＡＲデバイスのうちの第２のＡＲデバイスを介して第１のディスプレイ上に表示された第１のデータストリーム上にオーバーレイするための第２のＡＲコンテンツを決定することであって、第２のＡＲコンテンツが、第１のＡＲコンテンツとは異なる、決定することと、
第１のＡＲコンテンツ及び第２のＡＲコンテンツをそれぞれ第１のＡＲデバイス及び第２のＡＲデバイスに送信することと、を行うように構成されている、外科用ハブ。

【0013】

例えば、例１では、第１のディスプレイは、一次ディスプレイ又は二次ディスプレイであってもよい。ＡＲ制御パラメータを取得することは、ＡＲ制御パラメータを決定すること、測定すること、又は受信することを含み得る。プロセッサは、ＡＲ制御パラメータが閾値を超えることに基づいて、第１及び／又は第２のＡＲコンテンツを決定してもよい。

【0014】

例えば、例１において、プロセッサは、第１のデータストリームを第１のディスプレイに送信するように更に構成されてもよい。プロセッサは、第１のＡＲデバイスを介して第１のデータストリーム上に第１のＡＲコンテンツをオーバーレイし、第２のＡＲデバイスを介して第１のデータストリーム上に第２のＡＲコンテンツをオーバーレイするように更に構成されてもよい。

【0015】

例えば、例１において、第１及び／又は第２のＡＲデバイスは、拡張現実ディスプレイを有する安全眼鏡、拡張現実ゴーグル、又はヘッドマウントディスプレイであってもよい。外科用器具は、腹腔鏡器具、内視鏡器具、腹腔鏡スコープ、電気外科用器具、超音波外科用器具、及び／又は外科用ステープル留め器具を含み得る。第１のデータストリームは、患者内の手術部位のビデオ画像であってもよく、又はそれを含んでもよい。第１のディスプレイは、少なくとも１つの外科用器具などの外科用器具上に配置された器具ディスプレイ、手術室又は手術室内のディスプレイ、パーソナルディスプレイ、テレビ、コンピュータ画面、パーソナルコンピュータ、タブレット、スマートフォン、又は手首装着型ディスプレイ、のうちの少なくとも１つを含んでもよく、又はそれであってもよい。

【0016】

例えば、例１において、外科用ハブは、入力を受信し、これらをプロセッサに送信するように構成された入力デバイスを備えてもよい。入力デバイスは、相互作用可能なディスプレイを備えてもよい。第１のディスプレイは、入力デバイスを備え得る。入力デバイスは、ＡＲ制御パラメータ、第１及び／若しくは第２のＡＲデバイスのためのユーザ役割若しくは意図されたユーザ、並びに／又は表示制御指標が入力され、プロセッサに送信されることを可能にし得る。

【0017】

２．ＡＲ制御パラメータが、ユーザ役割を含み、プロセッサが、
第１のＡＲデバイスに関連付けられた第１のユーザ役割を識別することと、
第１のユーザ役割に基づいて、第１のＡＲコンテンツに含めるための第１のオーバーレイデータセットを決定することと、
第２のＡＲデバイスに関連付けられた第２のユーザ役割を識別することと、
第２のユーザ役割に基づいて、第２のＡＲコンテンツに含めるための第２のオーバーレイデータセットを決定することであって、第２のオーバーレイデータセットが、第１のオーバーレイデータセットとは異なる、決定することと、を行うように更に構成されている、例１の外科用ハブ。

【0018】

例えば、例２において、第１のＡＲデバイスに関連付けられた第１のユーザ役割を識別することは、第１のＡＲデバイスのための意図されたユーザ役割を識別するデータを識別すること、選択すること、又は受信することを含み得る。第２のＡＲデバイスに関連付けられた第２のユーザ役割を識別することは、第２のＡＲデバイスのための意図されたユーザ役割を識別するデータを識別すること、選択すること、又は受信することを含み得る。ユーザ及びユーザ役割は、滅菌野の内側又は外側に位置し得る、外科医、外科医の助手、及び／又は医療専門家を含んでもよい。第１のユーザ役割に基づいて、第１のオーバーレイデータセットを決定することは、第１のＡＲデバイスの意図されたユーザ役割への表示のために意図されたデータの第１のＡＲコンテンツに含めるための第１のオーバーレイデータセットを生成することを含み得る。第２のユーザ役割に基づいて、第２のオーバーレイデータセットを決定することは、第２のＡＲデバイスの意図されたユーザ役割への表示のために意図されたデータの第２のＡＲコンテンツに含めるための第２のオーバーレイデータセットを生成することを含み得る。

【0019】

３．プロセッサが、
第１のＡＲデバイスのユーザが第１のディスプレイを見ていることを検出することと、
検出に応答して、第１のＡＲデバイスを介して第１のディスプレイ上に表示された第１のデータストリーム上に第１のＡＲコンテンツをオーバーレイすることと、を行うように第１のＡＲデバイスに命令するように更に構成されている、例１又は２の外科用ハブ。

【0020】

４．第１のＡＲコンテンツが、
外科用器具の使用のための工程、
デバイス設定、
デバイスステータス、
使用のためのデバイス命令、
動作パラメータ、又は
検出された異常の指標、のうちの少なくとも１つを含む、例１～３のいずれか１つの外科用ハブ。

【0021】

５．第１のＡＲコンテンツが、手術前撮像、手術中撮像、器具データ、又は処置命令のうちの少なくとも１つを含む、例１～４のいずれか１つの外科用ハブ。

【0022】

例えば、例１～５のいずれか１つにおいて、第１及び／又は第２のＡＲコンテンツは、外科用器具の使用のための工程、デバイス設定、デバイスステータス、使用のためのデバイス命令、動作パラメータ、検出された異常の指標、手術前撮像、手術中撮像、器具データ、処置命令、ユーザが意図されたアクションを実行した場合の予測結果の指標、体液の流れの変化、低血流又は高血流などの血管内の血流、どの血管が腫瘍に血液を供給するかの指標、腫瘍のマーキング、腫瘍縁、切除マージン、外科処置中に調整された切除又は腫瘍縁、リアルタイムドップラーモニタリング、手術前ＭＲＩデータ、インドシアニングリーン（indocyanine green、ＩＣＧ）蛍光撮像データ、外科用ツールを操作するユーザの識別情報、別の接続されたシステムから受信されるリアルタイム外科用データ、少なくとも１つの外科用器具（又はその遠位側頂部）などの外科用器具が重要構造の特定の範囲内で移動するときの近接アラート、切断経路によって影響を受ける血液供給を表すための血管の切断部分、切断経路によって血液又は空気の欠如のために生存不能になり得る解剖学的構造の一部分、ハブ提案切断経路又はプロセッサ提案切断経路、予想される問題の指標、手術部位の遮られている部分の視覚化、手術部位の画像内に示されるランドマーク、及び／又は術前画像に基づいて生成された解剖学的識別情報、のうちの少なくとも１つを含んでもよい。

【0023】

６．ＡＲ制御パラメータが、
第１のディスプレイに対するユーザの配向、
外科処置の進行、
外科的コンテキスト、
リアルタイムユーザ入力、又は
事前構成されたユーザ選好、のうちの少なくとも１つを含む、例１～５のいずれか１つの外科用ハブ。

【0024】

例えば、例１～６のいずれか１つにおいて、ＡＲ制御パラメータは、第１のディスプレイに対するユーザの配向、第１のディスプレイに対するユーザの配向、第１のディスプレイに対するユーザの頭部の配向、ユーザが第１のディスプレイを見ているかどうか、外科処置の進行、外科的コンテキスト、リアルタイムユーザ入力、第１及び／若しくは第２のＡＲデバイスに関連付けられたユーザ役割、又は第１及び／若しくは第２のＡＲデバイスのための意図されたユーザ役割、第１のディスプレイのディスプレイタイプ、及び／又は事前構成されたユーザ選好、のうちの少なくとも１つを含んでもよい。

【0025】

７．第１のディスプレイ上に表示された第１のデータストリーム上にオーバーレイするための第１のＡＲコンテンツが、第１のディスプレイに関連付けられたディスプレイタイプに更に基づいて決定され、プロセッサが、
少なくとも１つのディスプレイのうちの第２のディスプレイに関連付けられたディスプレイタイプに基づいて、第１のＡＲデバイスを介して第２のディスプレイ上に表示されたコンテンツ上にオーバーレイするための第３のＡＲコンテンツを決定すること、を行うように更に構成されている、例１～６のいずれか１つの外科用ハブ。

【0026】

例えば、例１～７のいずれか１つにおいて、第１のディスプレイ上に表示された第１のデータストリーム上にオーバーレイするための第１のＡＲコンテンツは、第１のディスプレイのディスプレイタイプに更に基づいて決定されてもよく、プロセッサは、少なくとも１つのディスプレイのうちの第２のディスプレイのディスプレイタイプに基づいて、第１のＡＲデバイスを介して第２のディスプレイ上に表示されたコンテンツ上にオーバーレイするための第３のＡＲコンテンツを決定することを行うように更に構成される。

【0027】

８．ディスプレイタイプが、
スマート外科用器具上に配置された器具ディスプレイ、又は
手術室内の共有ディスプレイ、又は
パーソナルディスプレイ、のうちの少なくとも１つを含む、例７の外科用ハブ。

【0028】

例えば、例１～８のいずれか１つにおいて、第１及び／又は第２のディスプレイのディスプレイタイプは、少なくとも１つの外科用器具などの外科用器具上に配置された器具ディスプレイ、手術室又は手術室内のディスプレイ、パーソナルディスプレイ、テレビ、コンピュータ画面、パーソナルコンピュータ、タブレット、スマートフォン、又は手首装着型ディスプレイ、を含んでもよい。

【0029】

９．プロセッサが、
第１のＡＲデバイスから表示制御指標を受信することと、
受信された表示制御指標に基づいて、第１のディスプレイ上に表示するためのコンテンツを調整することと、を行うように更に構成されている、例１～８のいずれか１つの外科用ハブ。

【0030】

表示制御指標は、表示コンテンツ選択であってもよい。外科用ハブは、表示制御指標を受信し、表示制御指標をプロセッサに送信するように構成された入力デバイスを備えてもよい。入力デバイスは、相互作用可能なディスプレイを備えてもよい。第１のディスプレイは、入力デバイスを備え得る。

【0031】

１０．プロセッサが、
第１のＡＲデバイスが外科手術室の境界の外側にあるかどうかを検出することと、
第１のＡＲデバイスが外科手術室の境界の外側にあることを検出したことに応答して、第１のＡＲコンテンツを第１のＡＲデバイスに送信することを無効化することと、を行うように更に構成されている、例１～９のいずれか１つの外科用ハブ。

【0032】

１１．プロセッサが、
標的領域に対する意図されたアクションの指標を受信することと、
標的領域に対する意図されたアクションを実行することに関連付けられた予測結果を取得することと、
予測結果を第１のＡＲコンテンツに含めることと、を行うように更に構成されている、例１～１０のいずれか１つの外科用ハブ。

【0033】

例えば、例１１において、予測結果を取得することは、予測結果を決定することを含み得る。標的領域に対する意図されたアクションは、標的組織に対して実行される外科工程、外科用器具の使用のための工程、クランプ動作、切断動作、ステープル留め動作、横切開動作、及び／又は超音波及び／又はＲＦエネルギーの適用、のうちの少なくとも１つを含んでもよい。

【0034】

指標は、腹腔鏡又は内視鏡スコープなどの外科用スコープ及び／又は外科用器具及び／又は第１のＡＲデバイスを介して取り込まれた画像であって、外科用器具が標的領域上に又は標的領域に近接して配置されていることを示す画像と、手術室内のカメラからの視覚入力と、外科用器具などの外科用デバイスからのセンサ入力と、を含み得る。

【0035】

予測結果は、外科用スコープから受信した視覚データ及び／又は外科用器具などの少なくとも１つの外科用器具から受信した外科用データに基づいて決定されてもよい。予測結果は、外科用ハブのプロセッサによって取得及び／若しくは決定されてもよく、又はリモートサーバから取得及び／若しくは決定されてもよい。

【0036】

外科用ハブは、状況認識システムを備えてもよく、プロセッサは、状況認識システムを使用して、標的領域に対する意図されたアクションの指標を推測してもよい。

【0037】

１２．指標が、第１のＡＲデバイス又は外科用スコープを介して取り込まれた視覚化を含み、視覚化が、外科用器具が標的領域上に、又は標的領域に近接して配置されていることを示す、例１１の外科用ハブ。

【0038】

１３．プロセッサが、
外科用スコープから受信された視覚データ及び少なくとも１つの外科用器具から受信した外科用データに基づいて、予測結果を決定すること、を行うように更に構成されている、例１１又は１２の外科用ハブ。

【0039】

例えば、例１３では、少なくとも１つの外科用器具は、外科用スコープを含み得る。予測結果を取得又は決定することは、外科用スコープから受信された視覚データ及び少なくとも１つの外科用器具から受信された外科用データに基づいて予測結果を決定することを含み得る。

【0040】

１４．プロセッサが、
外科用スコープからの視覚データ、及び少なくとも１つの外科用器具からのセンサ入力データを取得することと、
視覚データ及びセンサ入力データをリモートサーバに送信することと、
リモートサーバから予測結果を受信することと、を行うように更に構成されている、例１１又は１２の外科用ハブ。

【0041】

例えば、例１１～１４のいずれか１つにおいて、指標を受信することは、外科用スコープから視覚データ、及び／又は少なくとも１つの外科用器具からセンサ入力データを取得することと、視覚データ及びセンサ入力データをリモートサーバに送信することと、リモートサーバから予測結果を受信することと、を含み得る。

【0042】

１５．第１のＡＲコンテンツが、視覚コンテンツ又は可聴コンテンツのうちの少なくとも１つを含む、例１～１４のいずれか１つの外科用ハブ。

【0043】

例えば、例１１～１５のいずれか１つにおいて、第１のＡＲコンテンツは、視覚コンテンツ、可聴コンテンツ、及び／又は触覚コンテンツのうちの少なくとも１つを含む。

【0044】

１６．外科用ハブであって、
少なくとも１つのディスプレイ、ＡＲ（拡張現実）デバイス、及び少なくとも１つの外科用器具に動作可能に接続されるように構成された通信アレイと、
プロセッサと、を備え、プロセッサが、
少なくとも１つの外科用器具のうちの１つの外科用器具から、少なくとも１つのディスプレイのうちの１つのディスプレイ上に表示するためのデータストリームを取得することと、
ディスプレイ上にオーバーレイするためのＡＲコンテンツを生成することと、
ＡＲデバイスのユーザがディスプレイを見ているかどうかを決定することと、
ＡＲデバイスのユーザがディスプレイを見ていることを検出すると、ＡＲデバイスを介してディスプレイ上に表示されたコンテンツ上にＡＲコンテンツをオーバーレイすることと、を行うように構成されている、外科用ハブ。

【0045】

例えば、例１６において、プロセッサは、データストリームをディスプレイに送信すること、及び／又はデータストリームをディスプレイ上に表示すること、行うように更に構成されてもよい。ＡＲデバイスを介してディスプレイ上に表示されたコンテンツ上にＡＲコンテンツをオーバーレイすることは、ＡＲデバイスを介してディスプレイ上に表示されたデータストリーム上にＡＲコンテンツをオーバーレイすることを含んでもよい。

【0046】

例えば、例１６において、ＡＲデバイスは、拡張現実ディスプレイを有する安全眼鏡、拡張現実ゴーグル、又はヘッドマウントディスプレイであってもよい。外科用器具は、腹腔鏡器具、内視鏡器具、腹腔鏡スコープ、電気外科用器具、超音波外科用器具、及び／又は外科用ステープル留め器具を含み得る。データストリームは、患者内の手術部位のビデオ画像であってもよく、又はそれを含んでもよい。ディスプレイは、少なくとも１つの外科用器具などの外科用器具上に配置された器具ディスプレイ、手術室又は手術室内のディスプレイ、パーソナルディスプレイ、テレビ、コンピュータ画面、パーソナルコンピュータ、タブレット、スマートフォン、又は手首装着型ディスプレイ、を含んでもよく、又はそれであってもよい。

【0047】

例えば、例１６において、外科用ハブは、入力を受信し、これらをプロセッサに送信するように構成された入力デバイスを備えてもよい。入力デバイスは、相互作用可能なディスプレイを備えてもよい。第１のディスプレイは、入力デバイスを備え得る。入力デバイスは、ＡＲ制御パラメータ、ユーザ役割、及び／又は表示制御指標が入力され、プロセッサに送信されることを可能にし得る。

【0048】

１７．プロセッサが、
第１のＡＲデバイスのユーザが第１のディスプレイを見ているかどうかを決定することと、
第１のＡＲデバイスのユーザが第１のディスプレイを見ていることを検出すると、第１のＡＲデバイスを介して第１のディスプレイ上に表示されたコンテンツ上に第１のＡＲコンテンツをオーバーレイすることと、を行うように更に構成されている、例１～１５のいずれか１つの外科用ハブ。

【0049】

例えば、例１７において、第１のＡＲデバイスを介して第１のディスプレイ上に表示されたコンテンツ上に第１のＡＲコンテンツをオーバーレイすることは、第１のＡＲデバイスを介して第１のディスプレイ上に表示された第１のデータストリーム上に第１のＡＲコンテンツをオーバーレイすることを含み得る。

【0050】

１８．ディスプレイが、少なくとも１つのディスプレイのうちの第１のディスプレイであり、プロセッサが、
少なくとも１つのディスプレイのうちの第２のディスプレイ上にオーバーレイするための第２のＡＲコンテンツを生成することであって、第２のＡＲコンテンツが、第１のディスプレイ上にオーバーレイするためのＡＲコンテンツとは異なる、生成することと、
ＡＲデバイスのユーザが第２のディスプレイを見ているかどうかを決定することと、
ＡＲデバイスのユーザが第２のディスプレイを見ていることを検出すると、ＡＲデバイスを介して、第２のディスプレイ上に表示されたコンテンツ上に第２のＡＲコンテンツをオーバーレイすることと、を行うように更に構成されている、例１６又は１７の外科用ハブ。

【0051】

例えば、例１７において、第１のディスプレイは一次ディスプレイであってもよい。第２のディスプレイは、二次ディスプレイであってもよい。第２のディスプレイは、少なくとも１つの外科用器具などの外科用器具上に配置された器具ディスプレイ、手術室又は手術室内のディスプレイ、パーソナルディスプレイ、テレビ、コンピュータ画面、パーソナルコンピュータ、タブレット、スマートフォン、又は手首装着型ディスプレイ、を含んでもよく、又はそれであってもよい。

【0052】

１９．プロセッサが、ＡＲデバイスのユーザがもはやディスプレイを見ていないことを検出すると、ＡＲデバイスを介して、ディスプレイに関連付けられたＡＲコンテンツを供給することを停止すること、を行うように更に構成されている、例１６～１８のいずれか１つの外科用ハブ。

【0053】

例えば、例１６～１９のいずれか１つにおいて、プロセッサは、ＡＲデバイスのユーザがもはやディスプレイを見ていないことを検出すると、ＡＲデバイスを介してディスプレイ上に表示されたコンテンツ上にＡＲコンテンツをオーバーレイすることを停止することを行うように、更に構成され得る。

【0054】

２０．プロセッサが、
ＡＲデバイスから表示制御指標を受信することと、
受信された表示制御指標に基づいて、ディスプレイ上に表示するためのコンテンツを調整することと、を行うように更に構成されている、例１６～１９のいずれか１つの外科用ハブ。

【0055】

表示制御指標は、表示コンテンツ選択であってもよい。外科用ハブは、表示制御指標を受信し、表示制御指標をプロセッサに送信するように構成された入力デバイスを備えてもよい。入力デバイスは、相互作用可能なディスプレイを備えてもよい。ディスプレイは、入力デバイスを備えてもよい。

【0056】

２１．プロセッサが、ＡＲデバイスに関連付けられたユーザ役割を識別することを行うように更に構成されており、ＡＲコンテンツが、ユーザ役割に基づいて生成される、例１６～２０のいずれか１つに記載の外科用ハブ。

【0057】

ＡＲデバイスに関連付けられたユーザ役割を識別することは、第２のＡＲデバイスのための意図されたユーザ役割を識別するデータを識別すること、選択すること、又は受信することを含み得る。ＡＲコンテンツは、ＡＲデバイスの意図されたユーザ役割への表示のために意図されるデータを使用して、又は含むことによって、ユーザ役割に基づいて生成されてもよい。ユーザ及びユーザ役割は、滅菌野の内側又は外側に位置し得る、外科医、外科医の助手、及び／又は医療専門家を含んでもよい。

【図面の簡単な説明】

【0058】

【図1】コンピュータ実施インタラクティブ外科用システムのブロック図である。

【図2】手術室内で外科処置を行うために使用されている例示的な外科用システムを示す。

【図3】本開示の少なくとも１つの態様による、可視化システム、ロボットシステム、及びインテリジェント器具とペアリングされた例示的な外科用ハブを示す。

【図4】本開示の少なくとも１つの態様による、医療施設の１つ又は２つ以上の手術室、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置しているモジュール式装置をクラウドに接続するように構成されたモジュール式通信ハブを有する外科用データネットワークを示す。

【図5】例示的なコンピュータ実装インタラクティブ外科用システムを示す。

【図6】モジュール式制御タワーに連結された複数のモジュールを備える例示的な外科用を示す。

【図7】例示的な外科用器具又はツールを示す。

【図8】様々な機能を行うために起動され得るモータを有する外科用器具又はツールを示す。

【図9】例示的な状況認識外科用システムの図である。

【図10】外科処置における各工程で検出されたデータから外科用ハブが作成することができる例示的な外科処置及び推論の例示的なタイムラインを示す。

【図11】コンピュータ実装インタラクティブ外科用システムのブロック図である。

【図12】例示的なコンピュータ実装インタラクティブ外科用システムの機能アーキテクチャを示す。

【図13】モジュール式装置のための制御プログラム更新を適応的に生成するように構成される、例示的なコンピュータ実装インタラクティブ外科用システムを示す。

【図14】コントローラ及びモータを有するハンドルと、ハンドルに解除可能に連結されるアダプタと、アダプタに解除可能に連結される装填ユニットとを含む、例示的な外科用システムを示す。

【図15A】動作モードを決定し、決定されたモードで動作するための例示的なフローを示す。

【図15B】動作モードを変更するための例示的なフローを示す。

【図16】グローバル表示及びローカル表示を備える外科用ハブの一次ディスプレイを示す。

【図17】外科用ハブの一次ディスプレイの例を示す。

【図18】外科処置中にハンドル組立体筐体及び無線回路基板を含む外科用器具を使用する外科医の斜視図を描写し、外科医は、一式の安全眼鏡を装着している。

【図19】例示的な手術室（operating room、ＯＲ）セットアップの図である。

【図20】ジェスチャ認識システムを示すブロック図である。

【図21】拡張現実及びデバイスレス制御システムに関連する、例示的な役割ベースの相互作用及び制御を示す。

【図22】拡張現実及びデバイスレス制御システムに関連する、例示的な処置工程ベースの相互作用及び制御を示す。

【図23】スペクトル外科用可視化システムによる解剖学的構造の例示的な可視化の概略図である。

【図24】本開示の少なくとも１つの態様による、ビデオ支援胸腔鏡下手術（video-assisted thoracoscopic surgery、ＶＡＴＳ）処置のための外科用器具アクセス経路の図である。

【図25】本開示の少なくとも１つの態様による、ＶＡＴＳ処置に関連する様々な座標系の図である。

【図26】外科用器具の配向の変化に応じたディスプレイの配向及びユーザ制御の例示的な変化を示す図である。

【図27】外科処置の例示的なカメラビューを描写する。

【図28】本開示の少なくとも１つの態様による、外科用可視化システムの例示的な表示を示す。

【図29】例示的な外科用可視化システムによって生成された解剖学的構造の例示的なモデルを示す。

【図30】本開示の少なくとも１つの態様による、例示的なモデルの例示的な表示を示す。

【図31】例示的な外科用可視化システムによって生成された解剖構造の例示的なモデルの例示的な表示を示す。

【図32】マルチスペクトルＥＭＲ源から生成された例示的な融合画像の図である。

【図33】システムの例示的な状況認識能力によって検出され得る例示的な処置工程及び進行を示す。

【図34A】手術部位におけるマルチ画像分析を伴う一連の外科工程の例を示す。

【図34B】手術部位におけるマルチ画像分析を伴う一連の外科工程の例を示す。

【図34C】手術部位におけるマルチ画像分析を伴う一連の外科工程の例を示す。

【図35】表示された要素を識別するデータを用いて拡張された術前ビデオ画像の拡張ビデオ画像の例を示す。

【図36】術前腫瘍データ及びリアルタイムドップラーモニタリングを用いた標的領域に対する拡張現実オーバーレイの例を示す。

【図37】階層化された可視化制御モード下で動作するハブのための例示的なフローを示す。

【図38】階層化された可視化制御モード下で動作するハブのための例示的なフローを示す。

【図39】二次ディスプレイが拡張現実（augmented reality、ＡＲ）装置である可視化制御モード下で動作するハブのための詳細な例示的なフローを示す。

【図40】状況認識能力をサポートする可視化制御モード下で動作するハブのための例示的なフローを示す。

【図41】状況認識能力をサポートする可視化制御モード下で動作するハブのための例示的なフローを示す。

【図42】調整された表示事象に基づいてディスプレイを調整することをサポートする可視化制御モード下で動作するハブの例示的なフローを示す。

【図43】ＡＲ能力をサポートする可視化制御モード下で動作するハブの例示的なフローを示す。

【図44】ＡＲ能力をサポートする可視化制御モード下で動作するハブの例示的なフローを示す。

【図45】役割ベースのＡＲ能力をサポートする可視化制御モード下で動作するハブの例示的なフローを示す。

【図46】種々のディスプレイ上のオーバーレイをサポートするＡＲ能力を有する可視化制御モード下で動作するハブの例示的なフローを示す。

【発明を実施するための形態】

【0059】

本出願の出願人は、同時に出願された以下の米国特許出願を所有し、これらの各々の内容は、参照により本明細書中に組み込まれる。
・２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ， ＰＲＯＣＥＳＳＩＮＧ，ＤＩＳＰＬＡＹ，ＡＮＤ ＣＬＯＵＤ ＡＮＡＬＹＴＩＣＳ」と題する米国特許出願第１６／２０９，４１６号、
・２０１８年３月２９日に出願された「ＳＵＲＧＩＣＡＬ ＨＵＢ ＳＰＡＴＩＡＬ ＡＷＡＲＥＮＥＳＳ ＴＯ ＤＥＴＥＲＭＩＮＥ ＤＥＶＩＣＥＳ ＩＮ ＯＰＥＲＡＴＩＮＧ ＴＨＥＡＴＥＲ」と題する米国特許出願第１５／９４０，６７１号（代理人整理番号ＥＮＤ８５０２ＵＳＮＰ）、
・２０１８年１１月６日に出願された「ＩＭＡＧＥ ＣＡＰＴＵＲＩＮＧ ＯＦ ＴＨＥ ＡＲＥＡＳ ＯＵＴＳＩＤＥ ＴＨＥ ＡＢＤＯＭＥＮ ＴＯ ＩＭＰＲＯＶＥ ＰＬＡＣＥＭＥＮＴ ＡＮＤ ＣＯＮＴＲＯＬ ＯＦ Ａ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥ ＩＮ ＵＳＥ」と題する米国特許出願第１６／１８２，２６９号（代理人整理番号ＥＮＤ９０１８ＵＳＮＰ３）、
・２０１９年１２月３１日に出願された「ＤＹＮＡＭＩＣ ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＳＹＳＴＥＭＳ」と題する米国特許出願第１６／７２９，７４７号（代理人整理番号：ＥＮＤ９２１７ＵＳＮＰ１）、
・２０１９年１２月３１日に出願された「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＤＥＴＥＲＭＩＮＩＮＧ， ＡＤＪＵＳＴＩＮＧ， ＡＮＤ ＭＡＮＡＧＩＮＧ ＲＥＳＥＣＴＩＯＮ ＭＡＲＧＩＮ ＡＢＯＵＴ Ａ ＳＵＢＪＥＣＴ ＴＩＳＳＵＥ」と題する米国特許出願第１６／７２９，７７８号（代理人整理番号ＥＮＤ９２１９ＵＳＮＰ１）、
・２０１９年１２月３１日に出願された「ＭＥＴＨＯＤ ＯＦ ＵＳＩＮＧ ＩＭＡＧＩＮＧ ＤＥＶＩＣＥＳ ＩＮ ＳＵＲＧＥＲＹ」と題する米国特許出願第１６／７２９，８０７号（代理人整理番号：ＥＮＤ９２２８ＵＳＮＰ１）、
・２０１８年３月２９日に出願された「ＳＵＲＧＩＣＡＬ ＨＵＢ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ」と題する米国特許出願第１５／９４０，６５４号（代理人整理番号ＥＮＤ８５０１ＵＳＮＰ）、
・２０１８年３月２９日に出願された「ＳＵＲＧＩＣＡＬ ＨＵＢ ＳＰＡＴＩＡＬ ＡＷＡＲＥＮＥＳＳ ＴＯ ＤＥＴＥＲＭＩＮＥ ＤＥＶＩＣＥＳ ＩＮ ＯＰＥＲＡＴＩＮＧ ＴＨＥＡＴＥＲ」と題する米国特許出願第１５／９４０，６７１号（代理人整理番号ＥＮＤ８５０２ＵＳＮＰ）、
・２０１８年３月２９日に出願された「ＵＳＥ ＯＦ ＬＡＳＥＲ ＬＩＧＨＴ ＡＮＤ ＲＥＤ－ＧＲＥＥＮ－ＢＬＵＥ ＣＯＬＯＲＡＴＩＯＮ ＴＯ ＤＥＴＥＲＭＩＮＥ ＰＲＯＰＥＲＴＩＥＳ ＯＦ ＢＡＣＫ ＳＣＡＴＴＥＲＥＤ ＬＩＧＨＴ」と題する米国特許出願第１５／９４０，７０４号（代理人整理番号ＥＮＤ８５０４ＵＳＮＰ）、
・２０１８年１１月６日に出願された「ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＲＥＣＯＭＭＥＮＤＡＴＩＯＮＳ ＦＲＯＭ ＲＥＡＬ ＴＩＭＥ ＡＮＡＬＹＳＩＳ ＯＦ ＰＲＯＣＥＤＵＲＥ ＶＡＲＩＡＢＬＥＳ ＡＧＡＩＮＳＴ Ａ ＢＡＳＥＬＩＮＥ ＨＩＧＨＬＩＧＨＴＩＮＧ ＤＩＦＦＥＲＥＮＣＥＳ ＦＲＯＭ ＴＨＥ ＯＰＴＩＭＡＬ ＳＯＬＵＴＩＯＮ」と題する米国特許出願第１６／１８２，２９０号（代理人整理番号ＥＮＤ９０１８ＵＳＮＰ５）、
・２０１５年４月２１日に発行された「ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ ＷＩＴＨ ＳＡＦＥＴＹ ＧＬＡＳＳＥＳ」と題する米国特許第９，０１１，４２７号、
・２０１５年９月１日に発行された「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＵＳＩＮＧ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＶＩＳＩＯＮ ＳＹＳＴＥＭ ＩＮ ＳＵＲＧＩＣＡＬ ＰＲＯＣＥＤＵＲＥＳ」と題する米国特許第９，１２３，１５５号、
・２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＦＯＲ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＣＯＮＮＥＣＴＥＤ ＤＥＶＩＣＥ ＣＡＰＡＢＬＥ ＯＦ ＡＤＪＵＳＴＩＮＧ ＦＵＮＣＴＩＯＮ ＢＡＳＥＤ ＯＮ Ａ ＳＥＮＳＥＤ ＳＩＴＵＡＴＩＯＮ ＯＲ ＵＳＡＧＥ」と題する米国特許出願第１６／２０９，４７８号（代理人整理番号ＥＮＤ９０１５ＵＳＮＰ１）、及び
・２０１８年１１月６日に出願された「ＡＤＪＵＳＴＭＥＮＴＳ ＢＡＳＥＤ ＯＮ ＡＩＲＢＯＲＮＥ ＰＡＲＴＩＣＬＥ ＰＲＯＰＥＲＴＩＥＳ」と題する米国特許出願第１６／１８２，２４６号（代理人整理番号ＥＮＤ９０１６ＵＳＮＰ１）。

【0060】

外科用ハブは、腹腔鏡スコープからの画像及びより多くの他のスマート装置のうちの１つからの情報を表示するより多くの手段のうちの１つのとの協働的相互作用を有し得る。ハブは、ハブと通信するディスプレイにわたって分散されるデータの組み合わせられた表示及び制御を可能にするアルゴリズム又は制御プログラムを使用して、これらの複数のディスプレイと相互作用する能力を有してもよい。

【0061】

図１を参照すると、コンピュータ実装インタラクティブ外科用システム１００は、１つ又は２つ以上の外科用システム１０２と、クラウドベースのシステム（例えば、ストレージ装置１０５に連結されたリモートサーバ１１３を含み得るクラウド１０４）とを含んでもよい。各外科用システム１０２は、リモートサーバ１１３を含み得るクラウド１０４と通信する、少なくとも１つの外科用ハブ１０６を含んでもよい。一例では、図１に示すように、外科用システム１０２は、可視化システム１０８と、ロボットシステム１１０と、手持ち式インテリジェント外科用器具１１２とを含み、これらは、互いに、及び／又はハブ１０６と通信するように構成されている。いくつかの態様では、外科用システム１０２は、Ｍ個のハブ１０６と、Ｎ個の可視化システム１０８と、Ｏ個のロボットシステム１１０と、Ｐ個の手持ち式インテリジェント外科用器具１１２とを含んでもよく、Ｍ、Ｎ、Ｏ及びＰは１以上の整数であり得る。

【0062】

様々な態様では、可視化システム１０８は、図２に示すように、滅菌野に対して戦略的に配置される１つ又は２つ以上の撮像センサと、１つ又は２つ以上の画像処理ユニットと、１つ又は２つ以上のストレージアレイと、１つ又は２つ以上のディスプレイとを含んでもよい。一態様では、可視化システム１０８は、ＨＬ７、ＰＡＣＳ及びＥＭＲ用のインターフェースを含んでもよい。可視化システム１０８の様々な構成要素は、米国における「Ａｄｖａｎｃｅｄ Ｉｍａｇｉｎｇ Ａｃｑｕｉｓｉｔｉｏｎ Ｍｏｄｕｌｅ」という項目で説明されている。２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）は、その開示の全体が参照により本明細書に組み込まれる。

【0063】

図２に示すように、一次ディスプレイ１１９は、手術台１１４のオペレータに見えるように滅菌野に配置される。加えて、可視化タワー１１１が、滅菌野の外側に配置される。可視化タワー１１１は、互いに反対側を向いている第１の非滅菌ディスプレイ１０７、及び第２の非滅菌ディスプレイ１０９を含み得る。ハブ１０６によって誘導される可視化システム１０８は、ディスプレイ１０７、１０９及び１１９を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ１０６は、可視化システム１０８に、一次ディスプレイ１１９上に手術部位のライブ映像を維持しながら、撮像装置１２４によって記録される手術部位のスナップショットを非滅菌ディスプレイ１０７又は１０９に表示させることができる。非滅菌ディスプレイ１０７又は１０９上のスナップショットにより、例えば、非滅菌オペレータが、外科処置に関連する診断工程を実行することを可能にすることできる。

【0064】

一態様では、ハブ１０６は、可視化タワー１１１にいる非滅菌オペレータによって入力された診断入力又はフィードバックを滅菌野内の一次ディスプレイ１１９に送り、これを手術台にいる滅菌オペレータが見ることができるようにも構成されている。一例では、入力は、ハブ１０６によって一次ディスプレイ１１９に送ることができる、非滅菌ディスプレイ１０７又は１０９上に表示されるスナップショットへの修正の形態であり得る。

【0065】

図２を参照すると、外科用器具１１２は、外科処置において外科用システム１０２の一部として使用されている。ハブ１０６はまた、外科用器具１１２のディスプレイへの情報フローを調整するようにも構成されている。例えば、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ， ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）は、その開示の全体が参照により本明細書に組み込まれる。可視化タワー１１１にいる非滅菌オペレータによって入力される診断入力又はフィードバックは、ハブ１０６によって滅菌野内の外科器具ディスプレイ１１５に送ることができ、これを外科器具１１２のオペレータが見ることができる。外科用システム１０２とともに用いるのに好適な例示的な外科用器具については、例えば、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）に記載されており、その開示全体が参照により本明細書に組み込まれる。

【0066】

図２は、外科手術室１１６内の手術台１１４上に横たわっている患者に対して外科処置を実行するために使用されている外科用システム１０２の例を描写する。ロボットシステム１１０は、外科処置において外科用システム１０２の一部として使用され得る。ロボットシステム１１０は、外科医のコンソール１１８と、患者側カート１２０（外科用ロボット）と、外科用ロボットハブ１２２とを含み得る。外科医が外科医のコンソール１１８を通じて手術部位を見る間、患者側カート１２０は、患者の身体の低侵襲切開部を通じて、少なくとも１つの着脱可能に連結された外科ツール１１７を操作することができる。手術部位の画像は医療用撮像装置１２４によって取得され、この医療用撮像装置は、撮像装置１２４を配向するように患者側カート１２０によって操作することができる。ロボットハブ１２２を使用して、手術部位の画像を処理し、その後、外科医のコンソール１１８を通じて、外科医に表示することができる。

【0067】

他の種類のロボットシステムを、外科用システム１０２とともに使用するように容易に適応させることができる。本開示とともに使用するのに適したロボットシステム及び外科用ツールの様々な例は、２０１９年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＲＯＢＯＴＩＣ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＤＥＴＥＣＴＩＯＮ，ＡＮＤ ＣＯＮＴＲＯＬ」と題する米国特許出願公開第２０１８－０２０１１３７（Ａ１）号（米国特許出願第１６／２０９，４０７号）に記載されており、その開示全体が参照により本明細書に組み込まれる。

【0068】

クラウド１０４によって実施され、本開示とともに使用するのに好適なクラウドベース分析法の様々な例は、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＣＬＯＵＤ ＢＡＳＥＤ ＤＡＴＡ ＡＮＡＬＹＴＩＣＳ ＦＯＲ ＵＳＥ ＷＩＴＨ ＴＨＥ ＨＵＢ」と題する米国特許出願公開第 ２０１９－０２０６５６９（Ａ１）号（米国特許出願第１６／２０９，４０３号）に記載されており、その開示全体が参照により本明細書に組み込まれる。

【0069】

様々な態様では、撮像装置１２４は、少なくとも１つの画像センサと、１つ又は２つ以上の光学構成要素とを含む。好適な画像センサとしては、電荷結合素子（Charge-Coupled Device、ＣＣＤ）センサ及び相補型金属酸化膜半導体（Complementary Metal-Oxide Semiconductor、ＣＭＯＳ）センサが挙げられ得るが、これらに限定されない。

【0070】

撮像装置１２４の光学構成要素は、１つ又は２つ以上の照明源、及び／又は１つ又は２つ以上のレンズを含んでもよい。１つ又は２つ以上の照明源は、術野の一部分を照明するように方向付けられてもよい。１つ又は２つ以上の画像センサは、組織及び／又は外科用器具から反射又は屈折された光を含む、術野から反射又は屈折された光を受信することができる。

【0071】

１つ又は２つ以上の照明源は、可視スペクトル並びに不可視スペクトル内の電磁エネルギーを照射するように構成され得る。可視スペクトルは、場合によっては、光スペクトルや発光スペクトルとも称され、人間の目に見える（すなわち、人間の目によって検出することができる）電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約３８０ｎｍ～約７５０ｎｍの波長に応答する。

【0072】

不可視スペクトル（例えば、非発光スペクトル）は、可視スペクトルの下方及び上方に位置する（すなわち、約３８０ｎｍ未満及び約７５０ｎｍ超の波長の）電磁スペクトルの一部分である。不可視スペクトルは、人間の目で検出可能ではない。約７５０ｎｍを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線（infrared、ＩＲ）、マイクロ波及び無線電磁放射線になる。約３８０ｎｍ未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、Ｘ線及びガンマ線電磁放射線になる。

【0073】

様々な態様では、撮像装置１２４は、低侵襲性処置において使用するように構成されている。本開示とともに使用するために好適な撮像装置の例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。

【0074】

撮像装置は、トポロジ及び下層構造を区別するために、マルチスペクトルモニタリングを採用してもよい。マルチスペクトル画像は、電磁スペクトル全体から特定の波長範囲内の画像データを取り込むものである。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ、及び紫外からの光を含む特定の波長に対する感度を有する器具を使用することによって分離することができる。スペクトル撮像により、人間の目がもつ赤、緑、青の受容体では取り込むことができない追加情報を抽出することが可能にある。マルチスペクトル撮像の使用は、Ｓ．における「Ａｄｖａｎｃｅｄ Ｉｍａｇｉｎｇ Ａｃｑｕｉｓｉｔｉｏｎ Ｍｏｄｕｌｅ」という項目で説明されている。２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）、その開示の全体が参照により本明細書に組み込まれる。マルチスペクトルモニタリングは、処置された組織に対して上述の試験のうちの１つ又は２つ以上を実行するための手術タスクが完了した後に術野を再配置するのに有用なツールであり得る。いかなる外科手術においても手術室及び手術機器の厳格な滅菌が必要であることは自明である。「手術現場」、すなわち、手術室又は処置室において要求される厳格な衛生条件及び滅菌条件は、全ての医療装置及び機器の可能な最も高い滅菌性を必要とする。上記の滅菌プロセスの一部としては、撮像装置１２４並びにその付属品及び構成要素を含む、患者と接触する、又は滅菌野に侵入するあらゆるものを滅菌する必要性が挙げられる。滅菌野は、トレイ内又は滅菌タオル上などの微生物を含まないとみなされる特定の領域とみなされ得ること、あるいは滅菌野は、外科処置の準備が整った患者の直ぐ周囲の領域とみなされ得ることは理解されよう。滅菌野は、適切な衣類を着用した洗浄済みのチーム構成員、並びにその領域内の全ての備品及び固定具を含み得る。

【0075】

ここで図３を参照すると、可視化システム１０８、ロボットシステム１１０及びハンドヘルド式インテリジェント外科用器具１１２と通信するハブ１０６が描写されている。ハブ１０６は、ハブディスプレイ１３５、撮像モジュール１３８、発生器モジュール１４０、通信モジュール１３０、プロセッサモジュール１３２、ストレージアレイ１３４、及び手術室マッピングモジュール１３３を含む。特定の態様では、図３に示すように、ハブ１０６は、排煙モジュール１２６及び／又は吸引／灌注モジュール１２８を更に含む。外科処置中、封止及び／又は切断のために、組織へエネルギーを印加することは、一般に、排煙、過剰な流体の吸引、及び／又は組織の灌注と関連付けられる。異なる供給源からの流体ライン、電力ライン及び／又はデータラインは、外科処置中に絡まり合うことが多い。外科処置中にこの問題に対処することで貴重な時間が失われる場合がある。ラインの絡まりをほどくには、それらの対応するモジュールからラインを抜くことが必要となる場合があり、そのためにはモジュールをリセットすることが必要となる場合がある。ハブのモジュール式エンクロージャ１３６は、電力ライン、データライン、及び流体ラインを管理するための統一環境を提供し、このようなライン間の絡まりの頻度を低減させる。本開示の態様は、手術部位における組織へのエネルギー印加を伴う外科処置において使用するための外科用ハブを提示する。外科用ハブは、ハブエンクロージャと、ハブエンクロージャのドッキングステーション内に摺動可能に受容可能な組み合わせ発生器モジュールと、を含む。ドッキングステーションはデータ接点及び電力接点を含む。組み合わせ発生器モジュールは、単一ユニット内に収容された、超音波エネルギー発生器構成要素、双極ＲＦエネルギー発生器構成要素、及び単極ＲＦエネルギー発生器構成要素のうちの２つ又は３つ以上を含む。一態様では、組み合わせ発生器モジュールはまた、排煙構成要素と、組み合わせ発生器モジュールを外科用器具に接続するための少なくとも１つのエネルギー供給ケーブルと、組織への治療エネルギーの印加によって生成された煙、流体及び／又は微粒子を排出するように構成された少なくとも１つの排煙構成要素と、遠隔手術部位から排煙構成要素まで延在する流体ラインと、を含む。一態様では、上記の流体ラインは第１の流体ラインであり、第２の流体ラインは、遠隔手術部位から、ハブエンクロージャ内に摺動可能に受容される吸引及び灌注モジュールまで延在している。一態様では、ハブエンクロージャは、流体インターフェースを備える。特定の外科処置は、２つ以上のエネルギータイプを組織に印加することを必要とする場合がある。１つのエネルギータイプは、組織を切断するのにより有益であり得るが、別の異なるエネルギータイプは、組織を封止するのにより有益であり得る。例えば、双極発生器は組織を封止するために使用することができ、一方で、超音波発生器は封止された組織を切断するために使用することができる。本開示の態様は、ハブのモジュール式エンクロージャ１３６が様々な発生器を収容して、これらの間のインタラクティブ通信を促進するように構成されているという解決法を提示する。ハブのモジュール式エンクロージャ１３６の利点の１つは、様々なモジュールの迅速な取り外し及び／又は交換を可能にすることである。本開示の態様は、組織へのエネルギー印加を伴う外科処置で使用するためのモジュール式外科用エンクロージャを提示する。モジュール式外科用エンクロージャは、組織に印加するための第１のエネルギーを生成するように構成された第１のエネルギー発生器モジュールと、第１のデータ及び電力接点を含む第１のドッキングポートを備える第１のドッキングステーションと、を含み、第１のエネルギー発生器モジュールは、電力及びデータ接点と電気係合するように摺動可能に移動可能であり、また第１のエネルギー発生器モジュールは、第１の電力及びデータ接点との電気係合から外れるように摺動可能に移動可能である。上記に加えて、モジュール式外科用エンクロージャはまた、第１のエネルギーとは異なる、組織に印加するための第２のエネルギーを生成するように構成された第２のエネルギー発生器モジュールと、第２のデータ接点及び第２の電力接点を含む第２のドッキングポートを備える第２のドッキングステーションと、を含み、第２のエネルギー発生器モジュールは、電力接点及びデータ接点と電気係合するように摺動可能に移動可能であり、また第２のエネルギー発生器モジュールは、第２の電力接点及び第２のデータ接点との電気係合から外れるように摺動可能に移動可能である。加えて、モジュール式外科用エンクロージャはまた、第１のエネルギー発生器モジュールと第２のエネルギー発生器モジュールとの間の通信を容易にするように構成されている、第１のドッキングポートと第２のドッキングポートとの間の通信バスを含む。図３を参照すると、発生器モジュール１４０と、排煙モジュール１２６と、吸引／灌注モジュール１２８との、モジュール式統合を可能にするハブのモジュール式エンクロージャ１３６に関する本開示の態様が提示される。ハブのモジュール式エンクロージャ１３６は、モジュール１４０とモジュール１２６とモジュール１２８と間のインタラクティブ通信を更に促進する。発生器モジュール１４０は、ハブのモジュール式エンクロージャ１３６に摺動可能に挿入可能な単一のハウジングユニット内に支持される、一体化された単極構成要素、双極構成要素及び超音波構成要素を備える発生器モジュールであってもよい。発生器モジュール１４０は、単極装置１４２、双極装置１４４、及び超音波装置１４６に接続するように構成することができる。代替的に、発生器モジュール１４０は、ハブのモジュール式エンクロージャ１３６を介して相互作用する一連の単極発生器モジュール、双極発生器モジュール及び／又は超音波発生器モジュールを備えてもよい。ハブのモジュール式エンクロージャ１３６は、複数の発生器が単一の発生器として機能するように、複数の発生器の挿入と、ハブのモジュール式エンクロージャ１３６にドッキングされた発生器間のインタラクティブ通信と、を促進するように構成されてもよい。

【0076】

図４は、医療施設の１つ又は２つ以上の手術室、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置するモジュール式装置をクラウドベースのシステム（例えば、ストレージ装置２０５に連結されたリモートサーバ２１３を含み得るクラウド２０４）に接続するように構成されたモジュール式通信ハブ２０３を備える外科用データネットワーク２０１を示す。一態様では、モジュール式通信ハブ２０３は、ネットワークルータと通信するネットワークハブ２０７及び／又はネットワークスイッチ２０９を備える。モジュール式通信ハブ２０３はまた、ローカルコンピュータシステム２１０に連結することができ、ローカルコンピュータ処理及びデータ操作を提供することができる。外科用データネットワーク２０１は、パッシブ、インテリジェント又は切り替え式として構成されてもよい。受動的外科用データネットワークはデータの導管として機能し、データが１つの装置（又はセグメント）から別の装置（又はセグメント）に、及びクラウドコンピューティングリソースに行くことを可能にする。インテリジェント外科用データネットワークは、トラフィックが監視対象の外科用データネットワークを通過することを可能にし、ネットワークハブ２０７又はネットワークスイッチ２０９内の各ポートを構成する追加の機構を含む。インテリジェント外科用データネットワークは、管理可能なハブ又はスイッチと称され得る。スイッチングハブは、各パケットの宛先アドレスを読み取り、次いでパケットを正しいポートに転送する。

【0077】

手術室に位置するモジュール式装置１ａ～１ｎは、モジュール式通信ハブ２０３に連結されてもよい。ネットワークハブ２０７及び／又はネットワークスイッチ２０９は、ネットワークルータ２１１に連結されて、装置１ａ～１ｎをクラウド２０４又はローカルコンピュータシステム２１０に接続することができる。装置１ａ～１ｎに関連付けられたデータは、遠隔データ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送されてもよい。装置１ａ～１ｎに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム２１０に転送されてもよい。同じ手術室に位置するモジュール式装置２ａ～２ｍもまた、ネットワークスイッチ２０９に連結されてもよい。ネットワークスイッチ２０９は、ネットワークハブ２０７及び／又はネットワークルータ２１１に連結されて、装置２ａ～２ｍをクラウド２０４に接続することができる。装置２ａ～２ｎに関連付けられたデータは、データ処理及び操作のためにネットワークルータ２１１を介してクラウド２０４に転送されてもよい。装置２ａ～２ｍに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム２１０に転送されてもよい。

【0078】

複数のネットワークハブ２０７及び／又は複数のネットワークスイッチ２０９を複数のネットワークルータ２１１と相互接続することによって、外科用データネットワーク２０１が拡張され得ることが理解されるであろう。モジュール式通信ハブ２０３は、複数の装置１ａ～１ｎ／２ａ～２ｍを受容するように構成されたモジュール式制御タワー内に収容され得る。ローカルコンピュータシステム２１０もまた、モジュール式制御タワーに収容されてもよい。モジュール式通信ハブ２０３は、ディスプレイ２１２に接続されて、例えば外科処置中に、装置１ａ～１ｎ／２ａ～２ｍのうちのいくつかによって取得された画像を表示する。様々な態様では、装置１ａ～１ｎ／２ａ～２ｍとしては、外科用データネットワーク２０１のモジュール式通信ハブ２０３に接続され得るモジュール式装置の中でもとりわけ、例えば、内視鏡に連結された撮像モジュール１３８、エネルギーベースの外科用装置に連結された発生器モジュール１４０、排煙モジュール１２６、吸引／灌注モジュール１２８、通信モジュール１３０、プロセッサモジュール１３２、ストレージアレイ１３４、ディスプレイに連結された外科用装置、及び／又は非接触センサモジュールなどの様々なモジュールが挙げられ得る。

【0079】

一態様では、外科用データネットワーク２０１は、装置１ａ～１ｎ／２ａ～２ｍをクラウドに接続する、ネットワークハブ、ネットワークスイッチ及びネットワークルータとの組み合わせを含んでもよい。ネットワークハブ又はネットワークスイッチに連結された装置１ａ～１ｎ／２ａ～２ｍのいずれか１つ又は全ては、リアルタイムでデータを収集し、データ処理及び操作のためにデータをクラウドコンピュータに転送することができる。クラウドコンピューティングは、ソフトウェアアプリケーションを取り扱うために、ローカルサーバ又はパーソナル装置を有するのではなく、コンピューティングリソースを共有することに依存することは理解されるであろう。「クラウド」という語は、「インターネット」の隠喩として使用され得るが、この用語はそのように限定はされない。したがって、「クラウドコンピューティング」という用語は、本明細書では「インターネットベースのコンピューティングの一種」を指すために使用することができ、この場合、サーバ、ストレージ及びアプリケーションなどの様々なサービスは、インターネットを介して、手術室（例えば、固定式、移動式、一時的又は現場の手術室又は空間）に位置するモジュール式通信ハブ２０３及び／又はコンピュータシステム２１０に、かつモジュール式通信ハブ２０３及び／又はコンピュータシステム２１０に接続された装置に送達される。クラウドインフラストラクチャは、クラウドサービスプロバイダによって維持され得る。この文脈において、クラウドサービスプロバイダは、１つ又は２つ以上の手術室内に位置する装置１ａ～１ｎ／２ａ～２ｍの使用及び制御を調整する事業体であり得る。クラウドコンピューティングサービスは、スマート外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置によって収集されたデータに基づいて多数の計算を実施することができる。ハブハードウェアは、複数の装置又は接続部がクラウドコンピューティングリソース及びストレージと通信するコンピュータに接続することを可能にする。

【0080】

装置１ａ～１ｎ／２ａ～２ｍによって収集されたデータにクラウドコンピュータデータ処理技術を適用することで、外科用データネットワークは、手術結果の改善、コスト低減及び患者満足度の改善を提供することができる。組織の封止及び切断処置後に、組織の状態を観察して封止された組織の漏出又は灌流を評価するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。クラウドベースのコンピューティングを使用して、身体組織のサンプルの画像を含むデータを診断目的で検査して疾患の影響などの病理を識別するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。そのようなデータには、組織の位置特定及びマージン確認並びに表現型が含まれ得る。撮像装置と一体化された様々なセンサを使用し、かつ複数の撮像装置によって捕捉された画像をオーバーレイするなどの技術を使用して、身体の解剖学的構造を識別するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。画像データを含む、装置１ａ～１ｎ／２ａ～２ｍによって収集されたデータは、画像処理及び操作を含むデータ処理及び操作のために、クラウド２０４若しくはローカルコンピュータシステム２１０又はその両方に転送されてもよい。データは、組織特異的部位及び状態に対する内視鏡的介入、新興技術、標的化放射線、標的化介入及び精密ロボットの適用などの更なる治療を遂行できるかを判定することによって、外科処置の結果を改善するために分析されてもよい。こうしたデータ分析は、予後分析処理を更に用いてもよく、標準化された手法を使用することは、外科的治療及び外科医の挙動を確認するか、又は外科的治療及び外科医の挙動に対する修正を提案するかのいずれかのために有益なフィードバックを提供することができる。

【0081】

手術室装置１ａ～１ｎは、ネットワークハブに対する装置１ａ～１ｎの構成に応じて有線チャネル又は無線チャネルを介して、モジュール式通信ハブ２０３に接続されてもよい。ネットワークハブ２０７は、一態様では、開放型システム間相互接続（Open System Interconnection、ＯＳＩ）モデルの物理層上で機能するローカルネットワークブロードキャスト装置として実装されてもよい。ネットワークハブは、同じ手術室ネットワーク内に位置する装置１ａ～１ｎに接続性を提供することができる。ネットワークハブ２０７は、パケットの形態のデータを収集することができ、それらを半二重モードでルータに送信する。ネットワークハブ２０７は、装置データを転送するためのいかなる媒体アクセス制御／インターネットプロトコル（media access control、MAC/Internet Protocol、ＩＰ）も記憶しない。装置１ａ～１ｎのうちの１つのみが、ネットワークハブ２０７を介して一度にデータを送信することができる。ネットワークハブ２０７は、情報の送信先に関するルーティングテーブル又はインテリジェンスを有しなくてもよく、全てのネットワークデータを各接続全体及びクラウド２０４上のリモートサーバ２１３（図４）にブロードキャストする。ネットワークハブ２０７は、コリジョンなどの基本的なネットワークエラーを検出することができるが、全ての情報を複数のポートにブロードキャストすることは、セキュリティリスクとなりボトルネックを引き起こす場合がある。

【0082】

手術室装置２ａ～２ｍは、有線チャネル又は無線チャネルを介してネットワークスイッチ２０９に接続されてもよい。ネットワークスイッチ２０９は、ＯＳＩモデルのデータリンク層内で機能する。ネットワークスイッチ２０９は、同じ手術室内に位置する装置２ａ～２ｍをネットワークに接続するためのマルチキャスト装置であってよい。ネットワークスイッチ２０９は、フレームの形態のデータをネットワークルータ２１１に送信し、全二重モードで機能することができる。複数の装置２ａ～２ｍは、ネットワークスイッチ２０９を介して同時にデータを送信することができる。ネットワークスイッチ２０９は、データを転送するために装置２ａ～２ｍのＭＡＣアドレスを記憶かつ使用する。

【0083】

ネットワークハブ２０７及び／又はネットワークスイッチ２０９は、クラウド２０４に接続するためにネットワークルータ２１１に連結されてもよい。ネットワークルータ２１１は、ＯＳＩモデルのネットワーク層内で機能する。ネットワークルータ２１１は、装置１ａ～１ｎ／２ａ～２ｍのいずれか１つ又は全てによって収集されたデータを更に処理及び操作するために、ネットワークハブ２０７及び／又はネットワークスイッチ２１１から受信したデータパケットをクラウドベースのコンピュータリソースに送信するための経路を作成する。ネットワークルータ２１１は、例えば、同じ医療施設の異なる手術室又は異なる医療施設の異なる手術室に位置する異なるネットワークなどの、異なる位置に位置する２つ又は３つ以上の異なるネットワークを接続するために用いられてもよい。ネットワークルータ２１１は、パケットの形態のデータをクラウド２０４に送信し、全二重モードで機能することができる。複数の装置が同時にデータを送信することができる。ネットワークルータ２１１は、データを転送するためにＩＰアドレスを使用する。

【0084】

一例では、ネットワークハブ２０７は、複数のＵＳＢ装置をホストコンピュータに接続することを可能にするＵＳＢハブとして実装されてもよい。ＵＳＢハブは、装置をホストシステムコンピュータに接続するために利用可能なポートが多くなるように、単一のＵＳＢポートをいくつかの階層に拡張することができる。ネットワークハブ２０７は、有線チャネル又は無線チャネルを介して情報を受信するための有線機能又は無線機能を含むことができる。一態様では、無線ＵＳＢ短距離高帯域無線通信プロトコルが、手術室内に位置する装置１ａ～１ｎと装置２ａ～２ｍとの間の通信のために用いられてもよい。

【0085】

例において、手術室装置１ａ～１ｎ／２ａ～２ｍは、固定及びモバイル装置から短距離にわたってデータを交換し（２．４～２．４８５ＧＨｚのＩＳＭ帯域における短波長ＵＨＦ電波を使用して）、かつパーソナルエリアネットワーク（personal area network、ＰＡＮ）を構築するために、Ｂｌｕｅｔｏｏｔｈ無線技術規格を介してモジュール式通信ハブ２０３と通信することができる。手術室装置１ａ～１ｎ／２ａ～２ｍは、数多くの無線又は有線通信規格又はプロトコルを介してモジュール式通信ハブ２０３と通信することができ、そのような規格又はプロトコルとしては、Ｗｉ－Ｆｉ（ＩＥＥＥ８０２．１１ファミリー）、ＷｉＭＡＸ（ＩＥＥＥ８０２．１６ファミリー）、ＩＥＥＥ８０２．２０、ニューラジオ（new radio、ＮＲ）、ロングタームエボリューション（long-term evolution、ＬＴＥ）並びにＥｖ－ＤＯ、ＨＳＰＡ＋、ＨＳＤＰＡ＋、ＨＳＵＰＡ＋、ＥＤＧＥ、ＧＳＭ、ＧＰＲＳ、ＣＤＭＡ、ＴＤＭＡ、ＤＥＣＴ及びこれらのイーサネット派生物のみならず３Ｇ、４Ｇ、５Ｇ及びそれ以降と指定される任意の他の無線及び有線プロトコルが挙げられるがこれらに限定されない。コンピューティングモジュールは、複数の通信モジュールを含んでもよい。例えば、第１の通信モジュールは、Ｗｉ－Ｆｉ及びＢｌｕｅｔｏｏｔｈなどのより短距離の無線通信専用であってもよく、第２の通信モジュールは、ＧＰＳ、ＥＤＧＥ、ＧＰＲＳ、ＣＤＭＡ、ＷｉＭＡＸ、ＬＴＥ、Ｅｖ－ＤＯなどのより長距離の無線通信専用であってもよい。

【0086】

モジュール式通信ハブ２０３は、手術室装置１ａ～１ｎ／２ａ～２ｍの１つ又は全ての中央接続部として機能することができ、フレームとして知られるデータ型を取り扱うことができる。フレームは、装置１ａ～１ｎ／２ａ～２ｍによって生成されたデータを搬送することができる。フレームがモジュール式通信ハブ２０３によって受信されると、フレームは増幅されてネットワークルータ２１１へ送信され、ネットワークルータ２１１は本明細書に記載されるように、数多くの無線又は有線通信規格又はプロトコルを使用することによって、このデータをクラウドコンピューティングリソースに転送する。

【0087】

モジュール式通信ハブ２０３は、スタンドアロンの装置として使用されてもよいか、又はより大きなネットワークを形成するために互換性のあるネットワークハブ及びネットワークスイッチに接続されてもよい。モジュール式通信ハブ２０３は、一般に据え付け、構成、及び維持が容易であるため、モジュール式通信ハブ２０３は手術室装置１ａ～１ｎ／２ａ～２ｍをネットワーク接続するための良好な選択肢となり得る。

【0088】

図５は、コンピュータ実装インタラクティブ外科用システム２００を示す。コンピュータ実装インタラクティブ外科用システム２００は、多くの点で、コンピュータ実装インタラクティブ外科用システム１００と類似している。例えば、コンピュータ実装インタラクティブ外科用システム２００は、多くの点で外科用システム１０２と類似する１つ又は２つ以上の外科用システム２０２を含む。各外科用システム２０２は、リモートサーバ２１３を含み得るクラウド２０４と通信する少なくとも１つの外科用ハブ２０６を含む。一態様では、コンピュータ実装インタラクティブ外科用システム２００は、例えば、インテリジェント外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置などの複数の手術室装置に接続されたモジュール式制御タワー２３６を備える。図６に示すように、モジュール式制御タワー２３６は、コンピュータシステム２１０に連結されたモジュール式通信ハブ２０３を備える。

【0089】

図５の例に示すように、モジュール式制御タワー２３６は、内視鏡２３９に連結されてもよい撮像モジュール２３８、エネルギー装置２４１に連結されてもよい発生器モジュール２４０、煙排出器モジュール２２６、吸引／灌注モジュール２２８、通信モジュール２３０、プロセッサモジュール２３２、ストレージアレイ２３４、任意選択的にディスプレイ２３７に連結されたスマート装置／器具２３５、及び非接触センサモジュール２４２に連結されてもよい。手術室装置は、モジュール式制御タワー２３６を介してクラウドコンピューティングリソース及びデータストレージに連結されてもよい。ロボットハブ２２２もまた、モジュール式制御タワー２３６及びクラウドコンピューティングリソースに接続されてもよい。とりわけ、装置／器具２３５、可視化システム２０８が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、モジュール式制御タワー２３６に連結されてもよい。モジュール式制御タワー２３６は、撮像モジュール、装置／器具ディスプレイ及び／又は他の可視化システム２０８から受信した画像を表示及びオーバーレイするためにハブディスプレイ２１５（例えば、モニタ、スクリーン）に連結されてもよい。ハブディスプレイはまた、モジュール式制御タワーに接続された装置から受信されたデータを、画像及び重ね合わせられた画像とともに表示してもよい。

【0090】

図６は、モジュール式制御タワー２３６に連結された複数のモジュールを備える外科用ハブ２０６を示す。モジュール式制御タワー２３６は、例えばネットワーク接続装置などのモジュール式通信ハブ２０３と、例えばローカルでの処理、可視化及び撮像を行うためのコンピュータシステム２１０と、を備えることができる。図６に示すように、モジュール式通信ハブ２０３は、モジュール式通信ハブ２０３に接続されてもよいモジュール（例えば、装置）の数を拡張するために階層化構成で接続されてもよく、モジュールに関連付けられたデータをコンピュータシステム２１０、クラウドコンピューティングリソース、又はその両方に転送してもよい。図６に示すように、モジュール式通信ハブ２０３内のネットワークハブ／スイッチの各々は、３つの下流ポート及び１つの上流ポートを含んでもよい。上流のネットワークハブ／スイッチは、クラウドコンピューティングリソース及びローカルディスプレイ２１７への通信接続を提供するためにプロセッサに接続されてもよい。クラウド２０４への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。

【0091】

外科用ハブ２０６は、非接触センサモジュール２４２を使用して、手術現場の寸法を測定し、また超音波非接触測定装置又はレーザ型非接触測定装置のいずれかを使用して手術室のマップを生成することができる。超音波ベースの非接触センサモジュールは、超音波のバーストを送信し、それが手術室の周囲壁から跳ね返るときのエコーを受信することによって、手術室をスキャンし得る。これについては、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）内の「Ｓｕｒｇｉｃａｌ Ｈｕｂ Ｓｐａｔｉａｌ Ａｗａｒｅｎｅｓｓ Ｗｉｔｈｉｎ ａｎ Ｏｐｅｒａｔｉｎｇ Ｒｏｏｍ」という項目に記載されており、その開示全体が参照により本明細書に組み込まれ、これにおいてセンサモジュールは、手術室のサイズを判定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調整するように構成されている。レーザベースの非接触センサモジュールは、例えば、レーザ光パルスを送信することによって手術室をスキャンし、手術室の外壁に反射するレーザ光パルスを受信し、送信されたパルスの位相を受信したパルスと比較して手術室のサイズを判定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調整することができる。

【0092】

コンピュータシステム２１０は、プロセッサ２４４と、ネットワークインターフェース２４５と、を備えることができる。プロセッサ２４４は、システムバスを介して、通信モジュール２４７、ストレージ２４８、メモリ２４９、不揮発性メモリ２５０及び入力／出力インターフェース２５１に連結することができる。システムバスは、任意の様々な利用可能なバスアーキテクチャを使用する、メモリバス若しくはメモリコントローラ、ペリフェラルバス若しくは外部バス、及び／又はローカルバスを含むいくつかのタイプのバス構造のうちのいずれかであってもよく、それらのアーキテクチャの例としては、９ビットバス、業界標準アーキテクチャ（Industrial Standard Architecture、ＩＳＡ）、マイクロチャネルアーキテクチャ（ＭＳＡ）、拡張ＩＳＡ（Extended ISA、ＥＩＳＡ）、インテリジェントドライブエレクトロニクス（Intelligent Drive Electronics、ＩＤＥ）、ＶＥＳＡローカルバス（VESA Local Bus、ＶＬＢ）、周辺装置相互接続（Peripheral Component Interconnect、ＰＣＩ）、ＵＳＢ、アドバンスドグラフィックスポート（Advanced Graphics Port、ＡＧＰ）、パーソナルコンピュータメモリカード国際協会バス（Personal Computer Memory Card International Association bus、ＰＣＭＣＩＡ）、小型計算機システムインターフェース（Small Computer Systems Interface、ＳＣＳＩ）又は任意の他の独自バス（proprietary bus）が挙げられるが、これらに限定されない。

【0093】

プロセッサ２４４は、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＡＲＭ Ｃｏｒｔｅｘの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであってもよい。一態様では、プロセッサは、例えば、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。このプロセッサコアは、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルシリアルランダムアクセスメモリ（serial random access memory、ＳＲＡＭ）、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部読み出し専用メモリ（read-only memory、ＲＯＭ）、２ＫＢの電気的消去可能プログラマブル読み出し専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）及び／又は、１つ又は２つ以上のパルス幅変調（pulse width modulation、ＰＷＭ）モジュール、１つ又は２つ以上の直交エンコーダ入力（quadrature encoder input、ＱＥＩ）アナログ、１２個のアナログ入力チャネルを備える１つ又は２つ以上の１２ビットアナログ－デジタル変換器（analog-to-digital converter、ＡＤＣ）を含む。なお、その詳細は、製品データシートで入手可能である。

【0094】

一態様では、プロセッサ２４４は、同じくＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＨｅｒｃｕｌｅｓ ＡＲＭ Ｃｏｒｔｅｘ Ｒ４の商品名で知られるＴＭＳ５７０及びＲＭ４ｘなどの２つのコントローラベースのファミリーを含む安全コントローラを含んでもよい。安全コントローラは、拡張性のある性能、接続性及びメモリの選択肢を提供しながら、高度な集積型安全機構を提供するために、とりわけ、ＩＥＣ６１５０８及びＩＳＯ２６２６２の安全限界用途専用に構成されてもよい。

【0095】

システムメモリとしては、揮発性メモリ及び不揮発性メモリが挙げられ得る。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム（basic input/output system、ＢＩＯＳ）は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ＲＯＭ、プログラマブルＲＯＭ（programmable ROM、ＰＲＯＭ）、電気的プログラマブルＲＯＭ（electrically programmable ROM、ＥＰＲＯＭ）、ＥＥＰＲＯＭ又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ（random-access memory、ＲＡＭ）が挙げられる。更に、ＲＡＭは、ＳＲＡＭ、ダイナミックＲＡＭ（dynamic RAM、ＤＲＡＭ）、シンクロナスＤＲＡＭ（synchronous DRAM、ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（double data rate SDRAM、ＤＤＲ ＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（enhanced SDRAM、ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（Synchlink DRAM、ＳＬＤＲＡＭ）及びダイレクトランバスＲＡＭ（direct Rambus RAM、ＤＲＲＡＭ）などの多くの形態で利用可能である。

【0096】

コンピュータシステム２１０はまた、取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータストレージ媒体、例えばディスクストレージなどを含むことができる。ディスクストレージとしては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ－６０ドライブ、フラッシュメモリカード又はメモリスティックのような装置が挙げられ得るが、これらに限定されない。加えて、ディスクストレージは、上記のストレージ媒体を、独立して、又は他のストレージ媒体との組み合わせで含むことができる。他のストレージ媒体としては、コンパクトディスクＲＯＭ装置（compact disc ROM device、ＣＤ－ＲＯＭ）、コンパクトディスク記録可能ドライブ（compact disc recordable drive、ＣＤ－Ｒドライブ）、コンパクトディスク書き換え可能ドライブ（compact disc rewritable drive、ＣＤ－ＲＷドライブ）若しくはデジタル多用途ディスクＲＯＭドライブ（digital versatile disc ROM drive、ＤＶＤ－ＲＯＭ）などの光ディスクドライブが挙げられるがこれらに限定されない。ディスクストレージ装置のシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。

【0097】

コンピュータシステム２１０は、好適な動作環境で説明されるユーザと基本コンピュータリソースとの間で媒介として機能するソフトウェアを含み得ることを理解されたい。このようなソフトウェアとしてはオペレーティングシステムが挙げられ得る。ディスクストレージ上に記憶され得るオペレーティングシステムは、コンピュータシステムのリソースを制御及び割り当てするように機能することができる。システムアプリケーションは、システムメモリ内又はディスクストレージ上のいずれかに記憶されたプログラムモジュール及びプログラムデータを介して、オペレーティングシステムによるリソース管理を活用することができる。本明細書に記載される様々な構成要素は、様々なオペレーティングシステム又はオペレーティングシステムの組み合わせで実装することができることを理解されたい。

【0098】

ユーザは、Ｉ／Ｏインターフェース２５１に連結された入力装置を介してコンピュータシステム２１０にコマンド又は情報を入力することができる。入力装置としては、マウス、トラックボール、スタイラス、タッチパッドなどのポインティング装置、キーボード、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、ＴＶチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなどが挙げられ得るが、これらに限定されない。これら及び他の入力装置は、インターフェースポートを介し、システムバスを通じてプロセッサに接続する。インターフェースポートとしては、例えば、シリアルポート、パラレルポート、ゲームポート及びＵＳＢが挙げられる。出力装置は、入力装置と同じタイプのポートのうちのいくつかを使用する。したがって、例えば、ＵＳＢポートを使用して、コンピュータシステムに入力を提供し、コンピュータシステムからの情報を出力装置に出力してもよい。出力アダプタは、特別なアダプタを必要とする出力装置の中でもとりわけ、モニタ、ディスプレイ、スピーカ及びプリンタなどのいくつかの出力装置が存在することを示すために提供され得る。出力アダプタとしては、出力装置とシステムバスとの間の接続手段を提供するビデオ及びサウンドカードが挙げられ得るが、これは例示としてのものであり、限定するものではない。リモートコンピュータなどの他の装置及び／又は装置のシステムは、入力及び出力能力の両方を提供することができることに留意されたい。

【0099】

コンピュータシステム２１０は、クラウドコンピュータなどの１つ若しくは２つ以上のリモートコンピュータ又はローカルコンピュータへの論理接続を使用するネットワーク化環境で動作することができる。遠隔クラウドコンピュータは、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサベースの機器、ピア装置又は他の一般的なネットワークノードなどであり得るが、典型的には、コンピュータシステムに関して説明される要素の多く又は全てを含む。簡潔にするために、リモートコンピュータとともに、メモリストレージ装置のみが示される。リモートコンピュータは、ネットワークインターフェースを介してコンピュータシステムに論理的に接続され、続いて、通信接続部を介して物理的に接続され得る。ネットワークインターフェースは、ローカルエリアネットワーク（local area network、ＬＡＮ）及びワイドエリアネットワーク（wide area network、ＷＡＮ）などの通信ネットワークを包含することができる。ＬＡＮ技術としては、光ファイバ分散データインターフェース（Fiber Distributed Data Interface、ＦＤＤＩ）、銅線分散データインターフェース（Copper Distributed Data Interface、ＣＤＤＩ）、Ｅｔｈｅｒｎｅｔ／ＩＥＥＥ８０２．３、Ｔｏｋｅｎ Ｒｉｎｇ／ＩＥＥＥ８０２．５などが挙げられ得る。ＷＡＮ技術としては、ポイントツーポイントリンク、統合サービスデジタルネットワーク（Integrated Services Digital Network、ＩＳＤＮ）及びその変形などの回路交換ネットワーク、パケット交換ネットワーク並びにデジタル加入者回線（Digital Subscriber Line、ＤＳＬ）が挙げられ得るが、これらに限定されない。

【0100】

様々な態様では、図６のコンピュータシステム２１０、図５、図６の撮像モジュール２３８、及び／又は可視化システム２０８、及び／又はプロセッサモジュール２３２は、画像プロセッサ、画像処理エンジン、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ（digital signal processor、ＤＳＰ）を含んでもよい。画像プロセッサは、単一命令複数データ（single instruction,multiple data、ＳＩＭＤ）、又は複数命令複数データ（multiple instruction,multiple data、ＭＩＭＤ）技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。

【0101】

通信接続部とは、ネットワークインターフェースをバスに接続するために用いられるハードウェア／ソフトウェアを指すことができる。例示の明瞭さのため通信接続部はコンピュータシステム内部に示されているが、通信接続部はコンピュータシステム２１０の外部にあってもよい。例示のみを目的として、ネットワークインターフェースへの接続に必要なハードウェア／ソフトウェアとしては、通常の電話グレードモデム、ケーブルモデム及びＤＳＬモデムを含むモデム、ＩＳＤＮアダプタ並びにイーサネットカードなどの内部及び外部技術が挙げられ得る。

【0102】

図７は、本開示の１つ又は２つ以上の態様による、外科用器具又はツールの制御システム４７０の論理図を示す。システム４７０は、制御回路を備えることができる。制御回路は、プロセッサ４６２及びメモリ４６８を備えるマイクロコントローラ４６１を含むことができる。例えば、センサ４７２、４７４、４７６のうちの１つ又は２つ以上が、プロセッサ４６２にリアルタイムなフィードバックを提供する。モータドライバ４９２によって駆動されるモータ４８２は、長手方向に移動可能な変位部材を動作可能に連結して、Ｉビームナイフ要素を駆動する。追跡システム４８０は、長手方向に移動可能な変位部材の位置を判定するように構成され得る。位置情報は、長手方向に移動可能な駆動部材の位置、並びに発射部材、発射バー、及びＩビームナイフ要素の位置を判定するようにプログラム又は構成することができるプロセッサ４６２に提供され得る。追加のモータが、Ｉビームの発射、閉鎖管の移動、シャフトの回転、及び関節運動を制御するために、ツールドライバインターフェースに提供されてもよい。ディスプレイ４７３は、器具の様々な動作条件を表示することができ、データ入力のためのタッチスクリーン機能を含んでもよい。ディスプレイ４７３上に表示された情報は、内視鏡撮像モジュールを介して取得された画像とオーバーレイさせることができる。

【0103】

一態様では、マイクロコントローラ４６１は、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＡＲＭ Ｃｏｒｔｅｘの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであってもよい。一態様では、主マイクロコントローラ４６１は、例えば、その詳細が製品データシートで入手可能である、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルＳＲＡＭ、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部ＲＯＭ、２ＫＢのＥＥＰＲＯＭ、１つ若しくは２つ以上のＰＷＭモジュール、１つ若しくは２つ以上のＱＥＩアナログ、及び／又は１２個のアナログ入力チャネルを備える１つ若しくは２つ以上の１２ビットＡＤＣを含む、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。

【0104】

一態様では、マイクロコントローラ４６１は、同じくＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＨｅｒｃｕｌｅｓ ＡＲＭ Ｃｏｒｔｅｘ Ｒ４の商品名で知られるＴＭＳ５７０及びＲＭ４ｘなどの２つのコントローラベースのファミリーを含む安全コントローラを含んでもよい。安全コントローラは、拡張性のある性能、接続性及びメモリの選択肢を提供しながら、高度な集積型安全機構を提供するために、とりわけ、ＩＥＣ６１５０８及びＩＳＯ２６２６２の安全限界用途専用に構成されてもよい。

【0105】

マイクロコントローラ４６１は、ナイフ及び関節運動システムの速度及び位置に対する精密制御など、様々な機能を実施するようにプログラムされてもよい。一態様では、マイクロコントローラ４６１は、プロセッサ４６２及びメモリ４６８を含むことができる。電気モータ４８２は、ギアボックス、及び関節運動又はナイフシステムへの機械的連結部を備えたブラシ付き直流（direct current、ＤＣ）モータであってもよい。一態様では、モータドライバ４９２は、Ａｌｌｅｇｒｏ Ｍｉｃｒｏｓｙｓｔｅｍｓ，Ｉｎｃから入手可能なＡ３９４１であってもよい。他のモータドライバを、絶対位置決めシステムを備える追跡システム４８０で使用するために容易に代用することができる。絶対位置決めシステムに関する詳細な説明は、その全体が参照により本明細書に組み込まれる「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＳＴＡＰＬＩＮＧ ＡＮＤ ＣＵＴＴＩＮＧ ＩＮＳＴＲＵＭＥＮＴ」と題する２０１７年１０月１９日公開の米国特許出願公開第２０１７／０２９６２１３号に記載されている。

【0106】

マイクロコントローラ４６１は、変位部材及び関節運動システムの速度及び位置に対する正確な制御を提供するようにプログラムされてもよい。マイクロコントローラ４６１は、マイクロコントローラ４６１のソフトウェア内で応答を計算するように構成されてもよい。計算された応答は、実際のシステムの測定された応答と比較されて「観測された」応答を得ることができ、これが実際のフィードバックの判定に使用される。観測された応答は、シミュレートされた応答の滑らかで連続的な性質と、測定された応答とのバランスをとる好適な調整された値であり得、これはシステムに及ぼす外部の影響を検出することができる。

【0107】

いくつかの例において、モータ４８２は、モータドライバ４９２によって制御されてもよく、外科用器具又はツールの発射システムによって用いられ得る。様々な形態において、モータ４８２は、例えば、約２５，０００ＲＰＭの最大回転速度を有するブラシ付きＤＣ駆動モータであってもよい。いくつかの例において、モータ４８２としては、ブラシレスモータ、コードレスモータ、同期モータ、ステッパモータ、又は任意の他の好適な電気モータが挙げられ得る。モータドライバ４９２は、例えば、電界効果トランジスタ（field-effect transistor、ＦＥＴ）を含むＨブリッジドライバを備えてもよい。モータ４８２は、外科用器具又はツールに制御電力を供給するために、ハンドル組立体又はツールハウジングに解除可能に装着された電源組立体によって給電され得る。電源組立体は、外科用器具又はツールに給電するための電源として使用され得る、直列に接続された多数の電池セルを含み得る電池を備えてもよい。特定の状況下では、電源組立体の電池セルは、交換可能及び／又は再充電可能であってもよい。少なくとも１つの例では、電池セルは、電源組立体に連結可能かつ電源組立体から分離可能であり得るリチウムイオン電池であり得る。

【0108】

モータドライバ４９２は、Ａｌｌｅｇｒｏ Ｍｉｃｒｏｓｙｓｔｅｍｓ，Ｉｎｃから入手可能なＡ３９４１であってもよい。Ａ３９４１ ４９２は、特にブラシ付きＤＣモータなどの誘導負荷を目的として設計された外部Ｎチャネルパワー金属酸化膜半導体電界効果トランジスタ（metal-oxide semiconductor field-effect transistor、ＭＯＳＦＥＴ）とともに使用するためのフルブリッジコントローラであってよい。ドライバ４９２は、固有の電荷ポンプレギュレータを備えてもよく、これは、完全（＞１０Ｖ）ゲート駆動を７Ｖまでの電池電圧に提供することができ、Ａ３９４１が５．５Ｖまでの低減ゲート駆動で動作することを可能にすることができる。ＮチャネルＭＯＳＦＥＴに必要な上記の電池供給電圧を与えるために、ブートストラップコンデンサが用いられてもよい。ハイサイド駆動用の内部電荷ポンプにより、ＤＣ（１００％デューティサイクル）動作が可能となる。フルブリッジは、ダイオード又は同期整流を使用して高速又は低速減衰モードで駆動され得る。低速減衰モードにおいて、電流の再循環は、ハイサイドのＦＥＴによっても、ローサイドのＦＥＴによっても可能である。電力ＦＥＴは、抵抗器で調節可能なデッドタイムによって、シュートスルーから保護され得る。統合診断は、低電圧、温度過昇、及びパワーブリッジの異常を示すものであり、ほとんどの短絡状態下でパワーＭＯＳＦＥＴを保護するように構成され得る。他のモータドライバを、絶対位置決めシステムを備えた追跡システム４８０で使用するために容易に代用することができる。

【0109】

追跡システム４８０は、本開示の一態様による位置センサ４７２を備える制御されたモータ駆動回路配置を備えることができる。絶対位置決めシステム用の位置センサ４７２は、変位部材の位置に対応する固有の位置信号を提供することができる。いくつかの例において、変位部材は、ギア減速機組立体の対応する駆動ギアと噛合係合するための駆動歯のラックを備える長手方向に移動可能な駆動部材を表すことができる。いくつかの例において、変位部材は、駆動歯のラックを含むように適合され、構成され得る発射部材を表すことができる。いくつかの例において、変位部材は、発射バー又はＩビームを表し得、それらの各々は、駆動歯のラックを含むように適合され、構成され得る。したがって、本明細書で使用するとき、変位部材という用語は、一般的に、駆動部材、発射部材、発射バー、Ｉビーム、又は変位され得る任意の要素など、外科用器具又はツールの任意の可動部材を指すために使用され得る。一態様では、長手方向に移動可能な駆動部材は、発射部材、発射バー、及びＩビームに連結され得る。したがって、絶対位置決めシステムは、実際には、長手方向に移動可能な駆動部材の直線変位を追跡することによって、Ｉビームの直線変位を追跡することができる。様々な態様では、変位部材は、直線変位を測定するのに好適な任意の位置センサ４７２に連結されてもよい。したがって、長手方向に移動可能な駆動部材、発射部材、発射バー、若しくはＩビーム、又はそれらの組み合わせは、任意の好適な直線変位センサに連結されてもよい。直線変位センサは、接触式変位センサ又は非接触式変位センサを含んでもよい。直線変位センサは、線形可変差動変圧器（linear variable differential transformer、ＬＶＤＴ）、差動可変磁気抵抗型変換器（differential variable reluctance transducer、ＤＶＲＴ）、スライドポテンショメータ、移動可能な磁石及び一連の直線状に配置されたホール効果センサを備える磁気感知システム、固定された磁石及び一連の移動可能な直線状に配置されたホール効果センサを備える磁気感知システム、移動可能な光源及び一連の直線状に配置された光ダイオード若しくは光検出器を備える光学検出システム、固定された光源及び一連の移動可能な直線状に配置された光ダイオード若しくは光検出器を備える光学検出システム、又はこれらの任意の組み合わせを含んでもよい。

【0110】

電気モータ４８２は、変位部材上の駆動歯の組又はラックと噛合係合で装着されるギア組立体と動作可能にインターフェースする回転式シャフトを含んでもよい。センサ素子は、位置センサ４７２素子の１回転が、変位部材のいくつかの直線長手方向並進に対応するように、ギア組立体に動作可能に連結されてもよい。ギアリング及びセンサの構成は、ラックピニオン構成によって直線アクチュエータに、又はスパーギア若しくは他の接続によって回転アクチュエータに接続することができる。電源は、絶対位置決めシステムに電力を供給することができ、出力インジケータは、絶対位置決めシステムの出力を表示することができる。変位部材は、ギア減速機組立体の対応する駆動ギアと噛合係合するための、その上に形成された駆動歯のラックを備える長手方向に移動可能な駆動部材を表すことができる。変位部材は、長手方向に移動可能な発射部材、発射バー、Ｉビーム、又はこれらの組み合わせを表すことができる。

【0111】

位置センサ４７２と関連付けられたセンサ素子の１回転は、変位部材の長手方向直線変位ｄ１に相当し得、ｄ１は、変位部材に連結されたセンサ素子の１回転した後で、変位部材が点「ａ」から点「ｂ」まで移動する長手方向の直線距離である。センサ機構は、位置センサ４７２が変位部材のフルストロークに対して１回以上の回転を完了する結果をもたらすギアの減速を介して連結されてもよい。位置センサ４７２は、変位部材のフルストロークに対して複数回の回転を完了することができる。

【0112】

位置センサ４７２の２回以上の回転に対する固有の位置信号を提供するために、一連のスイッチ（ここでｎは１よりも大きい整数である）が、単独で、又はギアの減速との組み合わせで用いられてもよい。スイッチの状態は、マイクロコントローラ４６１にフィードバックされ得、マイクロコントローラ４６１は、論理を適用して、変位部材の長手方向の直線変位ｄ１＋ｄ２＋．．．ｄｎに対応する固有の位置信号を判定する。位置センサ４７２の出力はマイクロコントローラ４６１に提供される。センサ機構の位置センサ４７２は、位置信号又は値の固有の組み合わせを出力する、磁気センサ、電位差計などのアナログ回転センサ、又はアナログホール効果素子のアレイを備えてもよい。

【0113】

位置センサ４７２は、例えば、全磁界又は磁界のベクトル成分を測定するかどうかに従って分類される磁気センサなどの、任意の数の磁気感知素子を備えてもよい。両タイプの磁気センサを生産するために使用される技術は、物理学及び電子工学の多数の側面を含むことができる。磁界の感知に使用される技術としては、とりわけ、探りコイル、フラックスゲート、光ポンピング、核摂動（nuclear precession）、ＳＱＵＩＤ、ホール効果、異方性磁気抵抗、巨大磁気抵抗、磁気トンネル接合、巨大磁気インピーダンス、磁歪／圧電複合材、磁気ダイオード、磁気トランジスタ、光ファイバ、磁気光学、及び微小電気機械システムベースの磁気センサが挙げられ得る。

【0114】

一態様では、絶対位置決めシステムを備える追跡システム４８０の位置センサ４７２は、磁気回転絶対位置決めシステムを備えることができる。位置センサ４７２は、Ａｕｓｔｒｉａ Ｍｉｃｒｏｓｙｓｔｅｍｓ，ＡＧから入手可能なＡＳ５０５５ＥＱＦＴシングルチップ磁気回転位置センサとして実装されてもよい。位置センサ４７２は、マイクロコントローラ４６１とインターフェースされて絶対位置決めシステムを提供する。位置センサ４７２は、低電圧低電力の構成要素であり得、磁石の上方に位置する位置センサ４７２のエリアに、４つのホール効果素子を含むことができる。また、高解像度ＡＤＣ及びスマート電力管理コントローラがチップ上に設けられてもよい。加算、減算、ビットシフト、及びテーブル参照演算のみを必要とする、双曲線関数及び三角関数を計算する簡潔かつ効率的なアルゴリズムを実装するために、桁毎法及びボルダーアルゴリズムとしても知られる、座標回転デジタルコンピュータ（coordinate rotation digital computer、ＣＯＲＤＩＣ）プロセッサが設けられてもよい。角度位置、アラームビット、及び磁界情報は、シリアル周辺インターフェース（serial peripheral interface、ＳＰＩ）インターフェースなどの標準的なシリアル通信インターフェースを介してマイクロコントローラ４６１に伝送され得る。位置センサ４７２は、１２ビット又は１４ビットの解像度を提供することができる。位置センサ４７２は、小型のＱＦＮ１６ピン４ｘ４ｘ０．８５ｍｍパッケージで提供されるＡＳ５０５５チップであってもよい。

【0115】

絶対位置決めシステムを備える追跡システム４８０は、ＰＩＤ、状態フィードバック、及び適応コントローラなどのフィードバックコントローラを備えてもよく、かつ／又はこれを実装するようにプログラムされてもよい。電源は、フィードバックコントローラからの信号を、システムへの物理的入力、この場合は電圧へと変換する。他の例としては、電圧、電流、及び力のＰＷＭが挙げられる。位置センサ４７２によって測定される位置に加えて、物理的システムの物理パラメータを測定するために、他のセンサが設けられてもよい。いくつかの態様では、他のセンサとしては、その全体が参照により本明細書に組み込まれる、「ＳＴＡＰＬＥ ＣＡＲＴＲＩＤＧＥ ＴＩＳＳＵＥ ＴＨＩＣＫＮＥＳＳ ＳＥＮＳＯＲ ＳＹＳＴＥＭ」と題する２０１６年５月２４日発行の米国特許第９，３４５，４８１号、その全体が参照により本明細書に組み込まれる、「ＳＴＡＰＬＥ ＣＡＲＴＲＩＤＧＥ ＴＩＳＳＵＥ ＴＨＩＣＫＮＥＳＳ ＳＥＮＳＯＲ ＳＹＳＴＥＭ」と題する２０１４年９月１８日公開の米国特許出願公開第２０１４／０２６３５５２号、及びその全体が参照により本明細書に組み込まれる、「ＴＥＣＨＮＩＱＵＥＳ ＦＯＲ ＡＤＡＰＴＩＶＥ ＣＯＮＴＲＯＬ ＯＦ ＭＯＴＯＲ ＶＥＬＯＣＩＴＹ ＯＦ Ａ ＳＵＲＧＩＣＡＬ ＳＴＡＰＬＩＮＧ ＡＮＤ ＣＵＴＴＩＮＧ ＩＮＳＴＲＵＭＥＮＴ」と題する２０１７年６月２０日出願の米国特許出願第１５／６２８，１７５号に記載されているものなどのセンサ配置を挙げることができる。デジタル信号処理システムでは、絶対位置決めシステムはデジタルデータ取得システムに連結され、ここで絶対位置決めシステムの出力は有限の解像度及びサンプリング周波数を有する。絶対位置決めシステムは、計算された応答を測定された応答に向けて駆動する加重平均及び理論制御ループなどのアルゴリズムを使用して、計算された応答を測定された応答と組み合わせるために、比較及び組み合わせ回路を備え得る。入力を知ることによって物理的システムの状態及び出力がどうなるかを予測するために、物理的システムの計算された応答は、質量、慣性、粘性摩擦、誘導抵抗などの特質を考慮に入れることができる。

【0116】

絶対位置決めシステムは、単にモータ４８２がとった前方又は後方への工程の数を計数して装置アクチュエータ、駆動バー、ナイフなどの位置を推定する従来の回転エンコーダで必要となり得るような、変位部材をリセット（ゼロ又はホーム）位置へ後退又は前進させることなしに、器具の電源投入時に変位部材の絶対位置を提供することができる。

【0117】

例えば歪みゲージ又は微小歪みゲージなどのセンサ４７４は、例えば、アンビルに適用される閉鎖力を示すことができる、クランプ動作中にアンビルに及ぼされる歪みの振幅などのエンドエフェクタの１つ又は２つ以上のパラメータを測定するように構成され得る。測定された歪みは、デジタル信号に変換されて、プロセッサ４６２に提供され得る。センサ４７４の代わりに、又はこれに加えて、例えば、負荷センサなどのセンサ４７６が、閉鎖駆動システムによってアンビルに加えられる閉鎖力を測定することができる。例えば、負荷センサなどのセンサ４７６は、外科用器具又はツールの発射ストローク中にＩビームに加えられる発射力を測定することができる。Ｉビームは、楔形スレッドと係合するように構成されており、楔形スレッドは、ステープルドライバを上向きにカム作用して、ステープルを押し出してアンビルと変形接触させるように構成されている。Ｉビームはまた、Ｉビームを発射バーによって遠位に前進させる際に組織を切断するために使用することができる、鋭利な切刃を含むことができる。代替的に、モータ４８２により引き込まれる電流を測定するために、電流センサ４７８を用いることができる。発射部材を前進させるのに必要な力は、例えば、モータ４８２によって引き込まれる電流に対応し得る。測定された力は、デジタル信号に変換されて、プロセッサ４６２に提供され得る。

【0118】

一形態では、歪みゲージセンサ４７４を使用して、エンドエフェクタによって組織に加えられる力を測定することができる。治療されている組織に対するエンドエフェクタによる力を測定するために、歪みゲージをエンドエフェクタに連結することができる。エンドエフェクタによって把持された組織に加えられる力を測定するためのシステムは、例えば、エンドエフェクタの１つ又は２つ以上のパラメータを測定するように構成された微小歪みゲージなどの歪みゲージセンサ４７４を備えることができる。一態様では、歪みゲージセンサ４７４は、組織圧縮を示し得る、クランプ動作中にエンドエフェクタのジョー部材に及ぼされる歪みの振幅又は規模を測定することができる。測定された歪みは、デジタル信号に変換されて、マイクロコントローラ４６１のプロセッサ４６２に提供され得る。負荷センサ４７６は、例えば、アンビルとステープルカートリッジとの間に捕捉された組織を切断するために、ナイフ要素を動作させるために使用される力を測定することができる。磁界センサは、捕捉された組織の厚さを測定するために用いることができる。磁界センサの測定値もデジタル信号に変換されて、プロセッサ４６２に提供され得る。

【0119】

センサ４７４、４７６によってそれぞれ測定される、組織圧縮、組織の厚さ、及び／又はエンドエフェクタを組織上で閉鎖するのに必要な力の測定値は、発射部材の選択された位置、及び／又は発射部材の速度の対応する値を特性決定するために、マイクロコントローラ４６１によって使用することができる。一例では、メモリ４６８は、評価の際にマイクロコントローラ４６１によって用いることができる技術、等式及び／又はルックアップテーブルを記憶することができる。

【0120】

外科用器具又はツールの制御システム４７０はまた、図５及び図６に示されるようにモジュール式通信ハブ２０３と通信するための有線通信回路又は無線通信回路を備えてもよい。

【0121】

図８は、様々な機能を実施するために起動され得る複数のモータを備える外科用器具又はツールを示す。特定の例では、第１のモータを起動させて第１の機能を実施することができ、第２のモータを起動させて第２の機能を実施することができ、第３のモータを起動させて第３の機能を実施することができ、第４のモータを起動させて第４の機能を実施することができる、といった具合である。特定の例では、ロボット外科用器具６００の複数のモータは個々に起動されて、エンドエフェクタにおいて発射運動、閉鎖運動、及び／又は関節運動を生じさせることができる。発射運動、閉鎖運動、及び／又は関節運動は、例えばシャフト組立体を介してエンドエフェクタに伝達することができる。

【0122】

特定の例では、外科用器具システム又はツールは発射モータ６０２を含んでもよい。発射モータ６０２は、具体的にはＩビーム要素を変位させるために、モータ６０２によって生成された発射運動をエンドエフェクタに伝達するように構成することができる、発射モータ駆動組立体６０４に動作可能に連結されてもよい。特定の例では、モータ６０２によって生成される発射運動によって、例えば、ステープルをステープルカートリッジから、エンドエフェクタによって捕捉された組織内へと配備し、かつ／又はＩビーム要素の切刃を前進させて、捕捉された組織を切断してもよい。Ｉビーム要素は、モータ６０２の方向を逆転させることによって後退させることができる。

【0123】

特定の例では、外科用器具又はツールは閉鎖モータ６０３を含んでもよい。閉鎖モータ６０３は、具体的には閉鎖管を変位させてアンビルを閉鎖し、アンビルとステープルカートリッジとの間で組織を圧縮するためにモータ６０３によって生成された閉鎖運動をエンドエフェクタに伝達するように構成され得る、閉鎖モータ駆動組立体６０５と動作可能に連結されてもよい。閉鎖運動によって、エンドエフェクタは、例えば、組織を捕捉する、開放構成から接近構成へと移行することができる。エンドエフェクタは、モータ６０３の方向を逆転させることによって開放位置に移行され得る。

【0124】

特定の例では、外科用器具又はツールは、例えば、１つ又は２つ以上の関節運動モータ６０６ａ、６０６ｂを含んでもよい。モータ６０６ａ、６０６ｂは、モータ６０６ａ、６０６ｂによって生成された関節運動をエンドエフェクタに伝達するように構成され得る、対応する関節運動モータ駆動組立体６０８ａ、６０８ｂに動作可能に連結され得る。特定の例では、関節運動によって、例えば、エンドエフェクタがシャフトに対して関節運動することができる。

【0125】

本明細書に記載されるように、外科用器具又はツールは、様々な独立した機能を実施するように構成され得る複数のモータを含んでもよい。特定の例では、外科用器具又はツールの複数のモータは、他のモータが停止した状態を維持している間に、個別に又は別個に起動させて、１つ又は２つ以上の機能を実施することができる。例えば、関節運動モータ６０６ａ、６０６ｂを起動させて、発射モータ６０２が停止した状態を維持している間に、エンドエフェクタを関節運動させることができる。代替的に、発射モータ６０２を起動させて、関節運動モータ６０６が停止した状態を維持している間に、複数のステープルを発射させ、及び／又は切刃を前進させることができる。更に、閉鎖モータ６０３は、本明細書の以下でより詳細に説明されるように、閉鎖管及びＩビーム要素を遠位に前進させるために、発射モータ６０２と同時に起動されてもよい。

【0126】

特定の例では、外科用器具又はツールは、外科用器具又はツールの複数のモータとともに用いることができる、共通の制御モジュール６１０を含んでもよい。特定の例では、共通の制御モジュール６１０は、一度に複数のモータのうちの１つに対応することができる。例えば、共通の制御モジュール６１０は、ロボット外科用器具の複数のモータに対して個々に連結可能かつ分離可能であってもよい。特定の例では、外科用器具又はツールの複数のモータは、共通の制御モジュール６１０などの１つ又は２つ以上の共通の制御モジュールを共有してもよい。特定の例では、外科用器具又はツールの複数のモータは、共通の制御モジュール６１０に個別にかつ選択的に係合することができる。特定の例では、共通の制御モジュール６１０は、外科用器具又はツールの複数のモータのうちの一方とのインターフェース接続から、外科用器具又はツールの複数のモータのうちのもう一方とのインターフェース接続へと選択的に切り替えることができる。

【0127】

少なくとも１つの例では、共通の制御モジュール６１０は、関節運動モータ６０６ａ、６０６ｂとの動作可能な係合と、発射モータ６０２又は閉鎖モータ６０３のいずれかとの動作可能な係合と、の間で選択的に切り替えることができる。少なくとも１つの例では、図８に示すように、スイッチ６１４は、複数の位置及び／又は状態間を移動又は移行させることができる。例えば、第１の位置６１６では、スイッチ６１４は、共通の制御モジュール６１０を発射モータ６０２と電気的に連結してもよく、第２の位置６１７では、スイッチ６１４は、共通の制御モジュール６１０を閉鎖モータ６０３と電気的に連結してもよく、第３の位置６１８ａでは、例えば、スイッチ６１４は、共通の制御モジュール６１０を第１の関節運動モータ６０６ａと電気的に連結してもよく、第４の位置６１８ｂでは、スイッチ６１４は、共通の制御モジュール６１０を第２の関節運動モータ６０６ｂと電気的に連結してもよい。特定の例では、同時に、別個の共通の制御モジュール６１０を、発射モータ６０２、閉鎖モータ６０３、及び関節運動モータ６０６ａ、６０６ｂと電気的に連結してもよい。特定の例では、スイッチ６１４は、機械的スイッチ、電気機械的スイッチ、固体スイッチ、又は任意の好適な切り替え機構であってもよい。

【0128】

モータ６０２、６０３、６０６ａ、６０６ｂの各々は、モータのシャフト上の出力トルクを測定するためのトルクセンサを備えてもよい。エンドエフェクタ上の力は、ジョーの外側の力センサによって、又はジョーを作動させるモータのトルクセンサなどによって、任意の従来の様式で感知されてもよい。

【0129】

様々な例では、図８に示されるように、共通の制御モジュール６１０は、１つ又は２つ以上のＨブリッジＦＥＴを備え得るモータドライバ６２６を備えてもよい。モータドライバ６２６は、例えば、マイクロコントローラ６２０（「コントローラ」）からの入力に基づいて、電源６２８から共通の制御モジュール６１０に連結されたモータへと伝達された電力を変調してもよい。特定の例では、本明細書に記載されるように、例えば、モータが共通の制御モジュール６１０に連結されている間にマイクロコントローラ６２０を用いて、モータによって引き込まれる電流を判定することができる。

【0130】

特定の例では、マイクロコントローラ６２０は、マイクロプロセッサ６２２（「プロセッサ」）と、１つ又は２つ以上の非一時的コンピュータ可読媒体又はメモリユニット６２４（「メモリ」）と、を含んでもよい。特定の例では、メモリ６２４は、様々なプログラム命令を記憶することができ、それが実行されると、プロセッサ６２２に、本明細書に記載される複数の機能及び／又は計算を実施させることができる。特定の例では、メモリユニット６２４のうちの１つ又は２つ以上が、例えば、プロセッサ６２２に連結されてもよい。

【0131】

特定の例では、電源６２８を用いて、例えばマイクロコントローラ６２０に電力を供給してもよい。特定の例では、電源６２８は、例えばリチウムイオン電池などの電池（又は「電池パック」若しくは「電源パック」）を含んでもよい。特定の例では、電池パックは、外科用器具６００に電力を供給するため、ハンドルに解除可能に装着されるように構成されてもよい。直列で接続された多数の電池セルを、電源６２８として使用してもよい。特定の例では、電源６２８は、例えば、交換可能及び／又は再充電可能であってもよい。

【0132】

様々な例では、プロセッサ６２２は、モータドライバ６２６を制御して、共通の制御モジュール６１０に連結されたモータの位置、回転方向、及び／又は速度を制御することができる。特定の例では、プロセッサ６２２は、モータドライバ６２６に信号伝達して、共通の制御モジュール６１０に連結されるモータを停止及び／又は無効化することができる。「プロセッサ」という用語は、本明細書で使用されるとき、任意の好適なマイクロプロセッサ、マイクロコントローラ、又は、コンピュータの中央処理装置（central processing unit、ＣＰＵ）の機能を１つの集積回路又は最大で数個の集積回路上で統合した他の基本コンピューティング装置を含むと理解されるべきである。プロセッサは、デジタルデータを入力として受理し、メモリに記憶された命令に従ってそのデータを処理し、結果を出力として提供する、多目的プログラマブル装置とすることができる。これは、内部メモリを有するので、逐次的デジタル論理の一例であり得る。プロセッサは、二進数法で表される数字及び記号で動作することができる。

【0133】

プロセッサ６２２は、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＡＲＭ Ｃｏｒｔｅｘの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであってもよい。特定の例では、マイクロコントローラ６２０は、例えばＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ ４Ｆ２３０Ｈ５ＱＲであってもよい。少なくとも１つの実施例では、Ｔｅｘａｓ ＩｎｓｔｒｕｍｅｎｔｓのＬＭ４Ｆ２３０Ｈ５ＱＲは、製品データシートで容易に利用可能な機能の中でもとりわけ、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルＳＲＡＭ、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部ＲＯＭ、２ＫＢのＥＥＰＲＯＭ、１つ又は２つ以上のＰＷＭモジュール、１つ又は２つ以上のＱＥＩアナログ、１２個のアナログ入力チャネルを備える１つ又は２つ以上の１２ビットＡＤＣを含むＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアである。他のマイクロコントローラが、モジュール４４１０とともに使用するのに容易に代用されてもよい。したがって、本開示は、この文脈に限定されるべきではない。

【0134】

メモリ６２４は、共通の制御モジュール６１０に連結可能な外科用器具６００のモータの各々を制御するためのプログラム命令を含んでもよい。例えば、メモリ６２４は、発射モータ６０２、閉鎖モータ６０３、及び関節運動モータ６０６ａ、６０６ｂを制御するためのプログラム命令を含んでもよい。このようなプログラム命令は、プロセッサ６２２に、外科用器具又はツールのアルゴリズム又は制御プログラムからの入力に従って、発射機能、閉鎖機能、及び関節運動機能を制御させることができる。

【0135】

例えば、センサ６３０などの１つ又は２つ以上の機構及び／又はセンサを用いて、特定の設定で使用すべきプログラム命令をプロセッサ６２２に警報することができる。例えば、センサ６３０は、エンドエフェクタの発射、閉鎖、及び関節運動に関連するプログラム命令を使用するようにプロセッサ６２２に警報することができる。特定の例では、センサ６３０は、例えば、スイッチ６１４の位置を感知するために用いることができる位置センサを備えてもよい。したがって、プロセッサ６２２は、例えば、センサ６３０を介してスイッチ６１４が第１の位置６１６にあることを検出すると、エンドエフェクタのＩビームの発射と関連付けられたプログラム命令を使用することができ、プロセッサ６２２は、例えば、センサ６３０を介してスイッチ６１４が第２の位置６１７にあることを検出すると、アンビルの閉鎖と関連付けられたプログラム命令を使用することができ、プロセッサ６２２は、例えば、センサ６３０を介してスイッチ６１４が第３の位置６１８ａ又は第４の位置６１８ｂにあることを検出すると、エンドエフェクタの関節運動と関連付けられたプログラム命令を使用することができる。

【0136】

図９は、本開示の少なくとも１つの態様に係る、状況認識外科用システム５１００の図を示す。いくつかの例示では、データソース５１２６は、例えば、モジュール式装置５１０２（患者及び／又はモジュール式装置自体に関連付けられたパラメータを検出するように構成されたセンサを含み得る）、データベース５１２２（例えば、患者記録を含むＥＭＲデータベース）、及び患者監視装置５１２４（例えば、血圧（blood pressure、ＢＰ）モニタ、及び心電図（electrocardiography、ＥＫＧ）モニタ）を含むことができる。外科用ハブ５１０４は、例えば、受信したデータの特定の組み合わせ又はデータソース５１２６からデータが受信される特定の順序に基づいて、データから外科処置に関するコンテキスト情報を導出するように構成され得る。受信されたデータから推測されるコンテキスト情報は、例えば、実施される外科処置の種類、外科医が実行している外科処置の特定の工程、手術されている組織の種類、又は処置の対象である体腔を含むことができる。受信されたデータから外科処置に関する情報を導出又は推測するための外科用ハブ５１０４のいくつかの態様に係わるこの機能は、「状況認識」と称することもある。一例示では、外科用ハブ５１０４は、受信されたデータから外科処置に関連するコンテキスト情報を導出する外科用ハブ５１０４に関連付けられたハードウェア及び／又はプログラミングである状況認識システムを組み込むことができる。

【0137】

外科用ハブ５１０４の状況認識システムは、様々な異なる方法でデータソース５１２６から受信されたデータから、コンテキスト情報を導出するように構成することができる。一例示では、状況認識システムは、様々な入力（例えば、データベース５１２２、患者監視装置５１２４、及び／又はモジュール式装置５１０２からのデータ）を、外科処置に関する対応するコンテキスト情報と相関させるために、訓練データで訓練されたパターン認識システム、又は機械学習システム（例えば、人工ニューラルネットワーク）を含むことができる。言い換えると、機械学習システムは、提供された入力から外科処置に関するコンテキスト情報を正確に導出するように訓練することができる。例において、状況認識システムは、外科処置に関する事前に特性評価されたコンテキスト情報を、そのコンテキスト情報に対応する１つ又は２つ以上の入力（又は、入力の範囲）と関連付けて記憶する、ルックアップテーブルを含むことができる。１つ又は２つ以上の入力による問い合わせに応答して、ルックアップテーブルは、モジュール式装置５１０２を制御するために状況認識システムの対応するコンテキスト情報を返すことができる。例において、外科用ハブ５１０４の状況認識システムによって受信されたコンテキスト情報は、１つ又は２つ以上のモジュール式装置５１０２の特定の制御調節、又は一連の制御調節に関連付けられ得る。別において、状況認識システムは、コンテキスト情報を入力として提供された際、１つ又は２つ以上のモジュール式装置５１０２の１つ又は２つ以上の制御調節を生成又は読み出す、更なる機械学習システム、ルックアップテーブル、又は他のそのようなシステムを含むことができる。

【0138】

状況認識システムを組み込む外科用ハブ５１０４は、外科用システム５１００に多くの利点をもたらすことができる。１つの利点は、検知及び収集されたデータの解釈を改善することを含み得、これは、外科処置の過程中の処理精度、及び／又はデータの使用を改善させる。以前の例に戻ると、状況認識外科用ハブ５１０４は、どの種類の組織が手術されているかを判定することができるので、したがって、外科用器具のエンドエフェクタを閉鎖するための想定外に高い力が検出されると、状況認識外科用ハブ５１０４は、組織種類に合わせて外科用器具のモータを正しく加速、あるいは減速させることができる。

【0139】

手術されている組織の種類は、特定の組織間隙測定用の外科用ステープル留め及び切断器具の圧縮速度と負荷閾値になされる調節に影響を及ぼし得る。状況認識外科用ハブ５１０４は、行われている外科処置が胸部手術であるのか、又は腹部手術であるのかを推測することができ、これにより、外科用ハブ５１０４は、外科用ステープル留め及び切断器具のエンドエフェクタによってクランプされている組織が肺であるのか（胸部手術の場合）、又は胃であるのか（腹部手術の場合）を決定することができる。次いで、外科用ハブ５１０４は、外科用ステープル留め及び切断器具の圧縮速度及び負荷閾値を、組織の種類に合わせて適切に調節することができる。

【0140】

送気処置中に手術されている体腔の種類は、煙排出器の機能に影響を及ぼし得る。状況認識外科用ハブ５１０４は、手術部位が（外科処置が送気を利用していると判定することによって）圧力下にあるかどうかを判定し、処置種類を決定することができる。一般に、ある処置種類が特定の体腔内で実行され得るので、外科用ハブ５１０４は、手術されている体腔に合わせて適切に煙排出器のモータ速度を制御することができる。かくして、状況認識外科用ハブ５１０４は、胸部手術及び腹部手術の両方用に一貫した量の煙排出を提供し得る。

【0141】

行われている処置の種類は、超音波外科用器具、又は高周波（radio frequency、ＲＦ）電気外科用器具が動作するのに最適なエネルギーレベルに影響を及ぼし得る。例えば、関節鏡処置では、超音波外科用器具、又はＲＦ電気外科用器具のエンドエフェクタが流体中に浸漬されるので、より高いエネルギーレベルを必要とすることがある。状況認識外科用ハブ５１０４は、外科処置が関節鏡処置であるかどうかを決定することができる。次いで、外科用ハブ５１０４は、流体充填環境を補償するために、発生器のＲＦ電力レベル又は超音波振幅（すなわち、「エネルギーレベル」）を調節することができる。関連して、手術されている組織の種類は、超音波外科用器具又はＲＦ電気外科用器具が動作するのに最適なエネルギーレベルに影響を及ぼし得る。状況認識外科用ハブ５１０４は、どの種類の外科処置が行われているかを決定し、次いで、外科処置について想定される組織形状に従って、超音波外科用器具又はＲＦ電気外科用器具のエネルギーレベルをそれぞれカスタマイズすることができる。更に、状況認識外科用ハブ５１０４は、単に処置ごとにではなく、外科処置の過程にわたって、超音波外科用器具又はＲＦ電気外科用器具のエネルギーレベルを調節するように構成することができる。状況認識外科用ハブ５１０４は、外科処置のどの工程が行われている、又は引き続き行われるかを決定し、次いで、発生器、及び／又は超音波外科用器具若しくはＲＦ電気外科用器具の制御アルゴリズムを更新して、外科処置の工程に従って想定される組織種類に適切な値までエネルギーレベルを設定することができる。

【0142】

例において、外科用ハブ５１０４が１つのデータソース５１２６から導き出される結論を改善するために、追加のデータソース５１２６からデータを導出することも可能である。状況認識外科用ハブ５１０４は、モジュール式装置５１０２から受信したデータを、他のデータソース５１２６から外科処置に関して構築したコンテキスト情報で強化し得る。例えば、状況認識外科用ハブ５１０４は、医療用撮像装置から受信されたビデオ又は画像データに従って、止血が行われたかどうか（すなわち、手術部位での出血が止まったかどうか）を決定するように構成することができる。しかしながら、場合によっては、ビデオ又は画像データは、決定的ではない可能性がある。したがって、一例示では、外科用ハブ５１０４は、生理学的測定（例えば、外科用ハブ５１０４へと通信可能に接続されたＢＰモニタで検知された血圧）を、（例えば、外科用ハブ５１０４へと通信可能に連結された医療用撮像装置１２４（図２）からの）止血の視覚データ又は画像データと比較して、ステープルライン又は組織溶着の完全性に関する決定を行うように更に構成することができる。言い換えると、外科用ハブ５１０４の状況認識システムは、生理学的測定データを考慮して、可視化データを分析する際に追加のコンテキストを提供することができる。追加のコンテキストは、可視化データがそれ自体では決定的ではないか、又は不完全であり得る場合に有用となり得る。

【0143】

例えば、状況認識外科用ハブ５１０４は、処置の後続の工程で器具の使用が必要とされると判定された場合に、ＲＦ電気外科用器具が接続されている発生器を積極的に起動させることができる。エネルギー源を積極的に起動することにより、処置の先行する工程が完了すると直ぐに器具を使用準備完了にすることを可能にすることができる。

【0144】

状況認識外科用ハブ５１０４は、外科医が見る必要があると想定される手術部位の特性に従って、外科処置の現工程、又は後続の工程が、ディスプレイ上の異なるビューや倍率を必要とするかどうかを決定することができる。次いで、外科用ハブ５１０４は、表示されたビュー（例えば、可視化システム１０８用に医療用撮像装置から供給される）を適切に積極的に変更することができ、これにより、ディスプレイは外科処置にわたって自動的に調節する。

【0145】

状況認識外科用ハブ５１０４は、外科処置のどの工程が行われているか、又は次に行われるか、及び特定のデータ又はデータ同士の比較が外科処置の該当工程に必要とされるかどうかを決定することができる。外科用ハブ５１０４は、外科医が特定の情報を尋ねるのを待つことなく、行われている外科処置の工程に基づいて、データスクリーンを自動的に呼び出すように構成することができる。

【0146】

外科処置のセットアップ中、又は外科処置の過程中にエラーをチェックすることができる。例えば、状況認識外科用ハブ５１０４は、手術室が、実行されるべき外科処置用に適切に又は最適にセットアップされているかどうかを決定することができる。外科用ハブ５１０４は、行われている外科処置の種類を決定し、対応するチェックリスト、製品位置、又はセットアップ要件を（例えば、メモリから）読み出し、次いで、現在の手術室のレイアウトを、行われていると外科用ハブ５１０４が決定した外科処置の種類の標準レイアウトと比較するように構成することができる。いくつかの例示では、外科用ハブ５１０４は、処置のための項目リスト、及び／又は外科用ハブ５１０４とペアリングされた装置のリストを、所与の外科処置のための項目及び／又は装置の推奨される又は予想されるマニフェストと比較するように構成され得る。リスト同士に分断が存在する場合、外科用ハブ５１０４は、特定のモジュール式装置５１０２、患者監視装置５１２４、及び／又は他の手術用物品が欠落していることを示すアラートを提供するように構成することができる。いくつかの例示では、外科用ハブ５１０４は、例えば、近接センサによってモジュール式装置５１０２及び患者監視装置５１２４の相対距離又は相対位置を決定するように構成することができる。外科用ハブ５１０４は、装置の相対位置を、特定の外科処置用に推奨又は予測されるレイアウトと比較することができる。レイアウト同士に分断が存在する場合、外科用ハブ５１０４は、外科処置の現在のレイアウトが推奨レイアウトから逸脱していることを示すアラートを提供するように構成することができる。

【0147】

状況認識外科用ハブ５１０４は、外科医（又は、他の医療従事者）が誤りを犯しているかどうか、又は外科処置の過程中に想定される一連のアクションから逸脱しているかどうかを決定することができる。例えば、外科用ハブ５１０４は、行われている外科処置の種類を決定し、機器使用の工程又は順序の対応リストを（例えば、メモリから）読み出し、次いで、外科処置の過程中に行われている工程又は使用されている機器を、外科用ハブ５１０４が行われていると判定した外科処置の種類について想定される工程、又は機器と比較するように構成することができる。いくつかの例示では、外科用ハブ５１０４は、外科処置における特定の工程で想定外のアクションが行われているか、又は想定外の装置が利用されていることを示すアラートを提供するように構成することができる。

【0148】

外科用器具（及び他のモジュール式装置５１０２）は、各外科処置の特定のコンテキストついて調整されてもよく（異なる組織タイプへの調整など）、外科処置中のアクションを検証してもよい。次の工程、データ、及び表示調整は、処置の特定のコンテキストに従って、手術現場内の外科用器具（及び他のモジュール式装置５１０２）に提供され得る。

【0149】

図１０は、例示的な外科処置と、外科処置の各工程でデータソース５１２６から受信されたデータから外科用ハブ５１０４が導出することができるコンテキスト情報と、を示すタイムライン５２００を示す。図９に示されるタイムライン５２００の以下の説明では、図９も参照されたい。タイムライン５２００は、手術室のセットアップで始まり、患者を術後回復室に移送することで終了する肺区域切除手術の過程中に、看護師、外科医及び他の医療従事者がとるであろう一般的な工程を描写し得る。状況認識外科用ハブ５１０４は、外科処置の過程全体にわたって、医療従事者が外科用ハブ５１０４とペアリングされたモジュール式装置５１０２を利用するたびに生成されるデータを含むデータを、データソース５１２６から受信することができる。外科用ハブ５１０４は、ペアリングされたモジュール式装置５１０２及び他のデータソース５１２６からこのデータを受信して、任意の所与の時間に処置のどの工程が行われているかなどの新しいデータが受信されると、進行中の処置に関する推定（すなわち、コンテキスト情報）を継続的に導出することができる。外科用ハブ５１０４の状況認識システムは、例えば、報告を生成するために処置に関するデータを記録すること、医療従事者によってとられている工程を検証すること、特定の処置工程に関連し得るデータ又はプロンプトを（例えば、表示画面を介して）提供すること、コンテキストに基づいてモジュール式装置５１０２を調整する（例えば、モニタを起動する、医療用撮像装置のＦＯＶを調整する、又は超音波外科用器具若しくはＲＦ電気外科用器具のエネルギーレベルを変更する）こと、及び本明細書に記載される任意の他のこうしたアクションを行うことが可能である。

【0150】

この例示的な処置における第１の工程５２０２として、病院職員は、病院のＥＭＲデータベースから、患者のＥＭＲを読み出すことができる。ＥＭＲにおいて選択された患者データに基づいて、外科用ハブ５１０４は、実施される処置が胸部手術であることを判定する。第２の工程５２０４では、職員は、処置のために入来する医療用品をスキャンすることができる。外科用ハブ５１０４は、スキャンされた用品を様々な種類の処置において利用され得る用品のリストと相互参照し、用品の組み合わせが、胸部処置に一致することを確認する。更に、外科用ハブ５１０４はまた、処置が楔形切除術ではないと判定することができてもよい（入来する用品が、胸部楔形切除術に必要な特定の用品を含まないか、又は別の点で胸部楔形切除術に対応していないかのいずれかであるため）。第３の工程５２０６では、医療従事者は、外科用ハブ５１０４に通信可能に接続されたスキャナ５１２８を介して患者バンドをスキャンすることができる。次いで、外科用ハブ５１０４は、スキャンされたデータに基づいて患者の身元を確認することができる。第４の工程５２０８では、医療職員が補助装置をオンにする。利用されている補助機器は、外科処置の種類、及び外科医が使用する技術に従って変動し得るが、この例示的なケースでは、煙排出器、送気器及び医療用撮像装置が挙げられる。起動されると、モジュール式装置５１０２である補助装置は、その初期化プロセスの一部として、モジュール式装置５１０２の特定の近傍内に位置し得る外科用ハブ５１０４と自動的にペアリングすることができる。次いで、外科用ハブ５１０４は、この術前又は初期化段階中にそれとペアリングされるモジュール式装置５１０２の種類を検出することによって、外科処置に関するコンテキスト情報を導出することができる。この特定の例では、外科用ハブ５１０４は、ペアリングされたモジュール式装置５１０２のこの特定の組み合わせに基づいて、外科処置がＶＡＴＳ手術であると判定することができる。患者のＥＭＲからのデータの組み合わせ、処置に用いられる医療用品のリスト、及びハブに接続するモジュール式装置５１０２の種類に基づいて、外科用ハブ５１０４は、外科チームが実施する特定の処置を概ね推定することができる。外科用ハブ５１０４が、何の特定の処置が行われているかを知ると、次いで外科用ハブ５１０４は、メモリから、又はクラウドからその処置の工程を読み出し、次いで接続されたデータソース５１２６（例えば、モジュール式装置５１０２及び患者監視装置５１２４）からその後受信したデータを相互参照して、外科処置のどの工程を外科チームが実行しているかを推定することができる。第５の工程５２１０では、職員は、ＥＫＧ電極及び他の患者監視装置５１２４を患者に取り付ける。ＥＫＧ電極及び他の患者監視装置５１２４は、外科用ハブ５１０４とペアリングしてもよい。外科用ハブ５１０４が患者監視装置５１２４からデータの受信を開始すると、外科用ハブ５１０４は、例えば、プロセス５２０７で説明するように、患者が手術室にいることを確認することができる。第６の工程５２１２では、医療従事者は患者において麻酔を誘導してもよい。外科用ハブ５１０４は、例えば、ＥＫＧデータ、血圧データ、人工呼吸器データ又はこれらの組み合わせを含む、モジュール式装置５１０２、及び／又は患者監視装置５１２４からのデータに基づいて、患者が麻酔下にあることを推測することができる。第６の工程５２１２が完了すると、肺区域切除手術の術前部分が完了し、手術部分が開始する。

【0151】

第７の工程５２１４では、手術されている患者の肺が虚脱され得る（換気が対側肺に切り替えられる間に）。外科用ハブ５１０４は、例えば、患者の肺が虚脱されたことをベンチレータデータから推測することができる。外科用ハブ５１０４は、患者の肺が虚脱したのを検出したことを、処置の想定される工程（事前にアクセス又は読み出すことができる）と比較することができるため、処置の手術部分が開始したことを推定して、それによって肺を虚脱させることがこの特定の処置における第１の手術工程であり得ると判定することができる。第８の工程５２１６では、医療用撮像装置５１０８（例えば、スコープ）が挿入され得、医療用撮像装置からのビデオ映像が開始され得る。外科用ハブ５１０４は、医療用撮像装置への接続を通じて医療用撮像装置データ（すなわち、ビデオ又は画像データ）を受信してもよい。医療用撮像装置データを受信すると、外科用ハブ５１０４は、外科処置の腹腔鏡部分が開始したことを判定することができる。更に、外科用ハブ５１０４は、行われている特定の処置が、肺葉切除術とは対照的に区域切除術であると判定することができる（処置の第２の工程５２０４で受信したデータに基づいて、楔形切除術は外科用ハブ５１０４によって既に考慮に入れられていないことに留意されたい）。医療用撮像装置１２４（図２）からのデータを利用して、様々な方法で、例えば、患者の解剖学的構造の可視化に対して向けられている医療用撮像装置の角度を判定することによって、利用されている（すなわち、起動されており、外科用ハブ５１０４とペアリングされている）数又は医療用撮像装置を監視することによって、及び利用されている可視化装置の種類を監視することによって、行われている処置の種類に関するコンテキスト情報を判定することができる。例えば、ＶＡＴＳ肺葉切除術を実行するための１つの技術により、カメラを患者の胸腔の前下方角部の横隔膜上方に配置し得、他方、ＶＡＴＳ区域切除術を実行するための１つの技術により、カメラを、区域裂に対して前方の肋間位置に配置し得る。状況認識システムは、例えば、パターン認識技術又は機械学習技術を使用して、患者の解剖学的構造の可視化に従って、医療用撮像装置の位置を認識するように訓練することができる。ＶＡＴＳ肺葉切除術を実行するための例示的な技術は、単一の医用撮像装置を利用することができる。ＶＡＴＳ区域切除術を実行するための例示的な技術は、複数のカメラを利用する。ＶＡＴＳ区域切除術を実行するための例示的な技術は、区域裂を可視化するために赤外線光源（可視化システムの一部として外科用ハブへと通信可能に連結できる）を利用するが、これはＶＡＴＳ肺葉切除術では利用されない。医療用撮像装置５１０８からのこのデータのいずれか又は全てを追跡することによって、外科用ハブ５１０４は、行われている特定の種類の外科処置、及び／又は特定の種類の外科処置に使用されている技術を判定することができる。

【0152】

第９の工程５２１８では、外科チームは、処置の切開工程を開始することができる。外科用ハブ５１０４は、エネルギー器具が発射されていることを示すＲＦ又は超音波発生器からのデータを受信するため、外科医が患者の肺を切開して分離するプロセスにあると推定することができる。外科用ハブ５１０４は、受信したデータを外科処置の読み出しされた工程と相互参照して、プロセスのこの時点（すなわち、上述された処置の工程が完了した後）で発射されているエネルギー器具が切開工程に対応していると判定することができる。第１０の工程５２２０では、外科チームは、処置の結紮工程に進むことができる。外科用ハブ５１０４は、器具が発射されていることを示すデータを外科用ステープル留め及び切断器具から受信することができるため、外科医が動脈及び静脈を結紮していると推定することができる。前工程と同様に、外科用ハブ５１０４は、外科用ステープル留め及び切断器具からのデータの受信を、読み出しされたプロセス内の工程と相互参照することによって、この推定を導出することができる。第１１の工程５２２２では、処置の区域切除術の部分が行われ得る。外科用ハブ５１０４は、外科用ステープル留め及び切断器具からのデータ（そのカートリッジからのデータを含む）に基づいて、外科医が実質組織を横切開していると推定することができる。カートリッジのデータは、例えば、器具によって発射されているステープルのサイズ又はタイプに対応することができる。異なる種類のステープルが異なる種類の組織に利用されるので、カートリッジのデータは、ステープリング及び／又は横切開されている組織の種類を示すことができる。この場合、発射されているステープルの種類は実質組織（又は他の同様の組織種）に利用され、これにより、外科用ハブ５１０４は、処置の区域切除術の部分が行われていると推定することができる。続いて第１２の工程５２２４で、結節切開工程が行われる。外科用ハブ５１０４は、ＲＦ又は超音波器具が発射されていることを示す、発生器から受信したデータに基づいて、外科チームが結節を切開し、漏れ試験を行っていると推定することができる。この特定の処置の場合、実質組織が横切開された後に利用されるＲＦ又は超音波器具は結節切開工程に対応しており、これにより外科用ハブ５１０４がこの推定を行うことができる。異なる器具が特定のタスクに対してより良好に適応するので、外科医が、処置中の特定の工程に応じて、外科用ステープル留め／切断器具と手術用エネルギー（例えば、ＲＦ又は超音波）器具とを、定期的に交互に切り替えることに留意されたい。したがって、ステープリング器具／切断器具及び手術用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどの工程を実行しているかを示すことができる。第１２の工程５２２４が完了すると、切開部及び閉鎖され、処置の術後部分が開始し得る。

【0153】

第１３の工程５２２６では、患者の麻酔を解くことができる。外科用ハブ５１０４は、例えば、ベンチレータデータに基づいて（すなわち、患者の呼吸速度が増加し始める）、患者が麻酔から覚醒しつつあると推定することができる。最後に、第１４の工程５２２８は、医療従事者が患者から様々な患者監視装置５１２４を除去することであってよい。したがって、外科用ハブ５１０４は、ハブがＥＫＧ、ＢＰ、及び患者監視装置５１２４からの他のデータを喪失したとき、患者が回復室に移送されていると推定することができる。この例示的な処置の説明から分かるように、外科用ハブ５１０４と通信可能に連結された各種データソース５１２６から受信したデータに従って、外科用ハブ５１０４は、所与の外科処置の各工程が行われているときを判定又は推定することができる。

【0154】

図１０に描写されるタイムライン５２００の第１の工程５２０２に示されるように、ＥＭＲデータベースからの患者データを利用して、行われる外科処置の種類を推定することに加えて、患者データはまた、状況認識外科用ハブ５１０４によって利用されて、ペアリングされたモジュール式装置５１０２の制御調整を生成することができる。

【0155】

図１１は、本開示の少なくとも１つの態様による、コンピュータ実装インタラクティブ外科用システムのブロック図である。一態様では、このコンピュータ実装インタラクティブ外科用システムは、外科用ハブ、外科用器具、ロボット装置、及び手術現場又は医療施設を含む様々な外科用システムの動作に関するデータを監視及び分析するように構成されてよい。コンピュータ実装インタラクティブ外科用システムは、クラウドベースの分析システムを含むことができる。クラウドベースの分析システムは、外科用システムとして記載され得るが、必ずしもそのように限定されるわけではなく、クラウドベースの医療システムであってもよい。図１１に示すように、クラウドベースの分析システムは、（器具１１２と同じ又は類似であってよい）複数の外科用器具７０１２と、（ハブ１０６と同じ又は類似であってよい）複数の外科用ハブ７００６と、外科用ハブ７００６を（クラウド２０４と同じ又は類似であってよい）クラウド７００４に連結するための（ネットワーク２０１と同じ又は類似であってよい）外科用データネットワーク７００１と、を含むことができる。複数の外科用ハブ７００６のそれぞれは、１つ又は２つ以上の外科用器具７０１２に通信可能に連結されてもよい。ハブ７００６はまた、ネットワーク７００１を介してコンピュータ実装インタラクティブ外科用システムのクラウド７００４に通信可能に連結されてもよい。クラウド７００４は、様々な外科用システムの動作に基づいて生成されたデータを記憶、操作、及び通信するためのハードウェア及びソフトウェアのリモートの集中型供給源であってよい。図１１に示すように、クラウド７００４へのアクセスはネットワーク７００１を介して達成され得、このネットワーク７００１は、インターネットであってもよく、又は他の好適なコンピュータネットワークであってもよい。クラウド７００４に連結され得る外科用ハブ７００６は、クラウドコンピューティングシステムのクライアント側（すなわち、クラウドベースの分析システム）とみなすことができる。外科用器具７０１２は、本明細書に記載される様々な外科処置又は動作の制御及び実施のために、外科用ハブ７００６とペアリングされてもよい。

【0156】

加えて、外科用器具７０１２は、（これも送受信機を備え得る）対応する外科用ハブ７００６へのデータ伝送、及び外科用ハブ７００６からのデータ伝送のための送受信機を備えてもよい。外科用器具７０１２と対応するハブ７００６との組み合わせは、医療手術を提供するための医療施設（例えば、病院）内の手術現場などの、特定の位置を示すことができる。例えば、外科用ハブ７００６のメモリは、位置データを記憶することができる。図１１に示すように、クラウド７００４は、（リモートサーバ７０１３と同じ又は同様であってもよい）中央サーバ７０１３、ハブアプリケーションサーバ７００２、データ分析モジュール７０３４、及び入出力（input/output、「Ｉ／Ｏ」）インターフェース７００６を備える。クラウド７００４の中央サーバ７０１３は、クラウドコンピューティングシステムを集合的に管理し、これは、クライアントモジュール７００６による要求を監視し、その要求を実行するためのクラウド７００４の処理能力を管理することを含む。中央サーバ７０１３のそれぞれは、ランダムアクセスメモリ（ＲＡＭ）などの揮発性メモリ及び磁気ストレージ装置などの不揮発性メモリを含むことができる、好適なメモリ装置７０１０に連結された１つ又は２つ以上のプロセッサ７００８を備えることができる。メモリ装置７０１０は、実行されると、プロセッサ７００８に、クラウドベースのデータ分析、動作、推奨、及び以下で説明するその他の動作のためのデータ分析モジュール７０３４を実行させる、機械実行可能命令を含み得る。更に、プロセッサ７００８は、独立して、又はハブ７００６によって独立して実行されるハブアプリケーションと併せて、データ分析モジュール７０３４を実行することができる。中央サーバ７０１３はまた、メモリ２２１０内に存在し得る集約された医療データのデータベース２２１２を含むことができる。

【0157】

ネットワーク７００１を介した様々な外科用ハブ７００６への接続に基づいて、クラウド７００４は、様々な外科用器具７０１２及びそれらの対応するハブ７００６によって生成された特定のデータからのデータを集約することができる。そのような集約されたデータは、クラウド７００４の集約された医療データベース７０１２内に記憶されてもよい。具体的には、クラウド７００４は、有利にも、集約されたデータ上でデータ分析及び動作を実行して、洞察をもたらし、及び／又は個別のハブ７００６がそれ自体では達成できない機能を行うことができる。この目的のために、図１１に示すように、クラウド７００４と外科用ハブ７００６とは、情報を送受信するために通信可能に連結されている。Ｉ／Ｏインターフェース７００６は、ネットワーク７００１を介して複数の外科用ハブ７００６に接続される。このようにして、Ｉ／Ｏインターフェース７００６は、外科用ハブ７００６と集約された医療データデータベース７０１１との間で情報を転送するように構成することができる。したがって、Ｉ／Ｏインターフェース７００６は、クラウドベースの分析システムの読み出し／書き込み動作を容易にすることができる。このような読み出し／書き込み動作は、ハブ７００６からの要求に応じて実行されてもよい。これらの要求は、ハブアプリケーションを介してハブ７００６に送信され得る。Ｉ／Ｏインターフェース７００６は、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）ポート、ＩＥＥＥ１３９４ポート、並びにクラウド７００４をハブ７００６に接続するためのＷｉ－Ｆｉ及びＢｌｕｅｔｏｏｔｈ Ｉ／Ｏインターフェースを含んでもよい１つ又は２つ以上の高速データポートを含んでもよい。クラウド７００４のハブアプリケーションサーバ７００２は、外科用ハブ７００６によって実行されるソフトウェアアプリケーション（例えば、ハブアプリケーション）に共有能力をホストし、かつ供給するように構成されてもよい。例えば、ハブアプリケーションサーバ７００２は、ハブアプリケーションによるハブ７００６を介する要求を管理し、集約された医療データのデータベース７０１１へのアクセスを制御し、負荷分散を実行し得る。データ分析モジュール７０３４について、図１２を参照してより詳細に説明する。

【0158】

本開示に記載される特定のクラウドコンピューティングシステムの構成は、具体的には、外科用器具７０１２、１１２などの医療用装置を使用して実行される医療手術及び処置のコンテキストにおいて生じる様々な問題に対処するように設計されてもよい。具体的には、外科用器具７０１２は、外科手術の成績を改善するための技術を実施するために、クラウド７００４と相互作用するように構成されたデジタル外科用装置であってよい。様々な外科用器具７０１２及び／又は外科用ハブ７００６は、臨床医が外科用器具７０１２とクラウド７００４との間の相互作用の態様を制御できるように、タッチ制御されたユーザインターフェースを含み得る。聴覚的に制御されたユーザインターフェースなどの制御のための他の好適なユーザインターフェースもまた使用することもできる。

【0159】

図１２は、本開示の少なくとも１つの態様による、コンピュータ実装インタラクティブ外科用システムの機能アーキテクチャを示すブロック図である。クラウドベースの分析システムは、医療分野において特に生じる問題にデータ分析ソリューションを提供するために、クラウド７００４のプロセッサ７００８によって実行され得る複数のデータ分析モジュール７０３４を含むことができる。図１２に示すように、クラウドベースのデータ分析モジュール７０３４の機能は、外科用ハブ７００６上でアクセスすることができるハブアプリケーションサーバ７００２によってホストされたハブアプリケーション７０１４を介して支援されてもよい。クラウドプロセッサ７００８及びハブアプリケーション７０１４は、データ分析モジュール７０３４を実行するために連携して動作してもよい。アプリケーションプログラムインターフェース（Application program interface、ＡＰＩ）７０１６は、ハブアプリケーション７０１４に対応する一連のプロトコル及びルーチンを規定することができる。加えて、ＡＰＩ７０１６は、アプリケーション７０１４の動作のために集約された医療データベース７０１２へのデータの記憶及び検索を管理することができる。キャッシュ７０１８はまた、データを（例えば、一時的に）記憶し、アプリケーション７０１４によって使用されるデータのより効率的な検索のためにＡＰＩ７０１６に連結されてもよい。図１２のデータ分析モジュール７０３４は、資源最適化７０２０、データ収集及び集約７０２２、認可及びセキュリティ７０２４、制御プログラムの更新７０２６、患者転帰分析７０２８、推奨７０３０、並びにデータ分類及び優先順位付け７０３２のためのモジュールを含んでもよい。他の好適なデータ分析モジュールも、いくつかの態様により、クラウド７００４によって実装され得る。一態様では、データ分析モジュールは、傾向、転帰、及び他のデータの分析に基づいて特定の推奨に使用され得る。

【0160】

例えば、データ収集及び集約モジュール７０２２は、顕著な特徴又は構成（例えば、傾向）の識別、冗長データセットの管理、及び手術ごとにグループ化され得るが、必ずしも実際の手術日及び外科医に連動していないペアリングされたデータセットへのデータの記憶を含む、自己記述型データ（例えば、メタデータ）を生成するために使用され得る。具体的には、外科用器具７０１２の動作から生成される対のデータセットは、例えば出血又は非出血事象などの二項分類を適用することを含み得る。より一般的には、二項分類は、望ましい事象（例えば、成功した外科処置）又は望ましくない事象（例えば、誤発射又は誤使用された外科用器具７０１２）のいずれかとして特徴付けられ得る。集約された自己記述型データは、外科用ハブ７００６の様々なグループ又はサブグループから受信された個々のデータに対応し得る。したがって、データ収集及び集約モジュール７０２２は、外科用ハブ７００６から受信した生データに基づいて、集約メタデータ又はその他の編成されたデータを生成することができる。この目的のために、プロセッサ７００８は、データ分析モジュール７０３４を実行するために、ハブアプリケーション７０１４及び集約された医療データのデータベース７０１１に動作的に連結することができる。データ収集及び集約モジュール７０２２は、集約された編成データを集約された医療データのデータベース２２１２に記憶してよい。

【0161】

資源最適化モジュール７０２０は、この集約されたデータを分析して、特定の医療施設又は医療施設のグループに関する資源の最適な使用を決定するように構成することができる。例えば、資源最適化モジュール７０２０は、外科用ステープル留め器具７０１２の対応する予測される要求に基づいて、医療施設のグループに関する外科用ステープル留め器具７０１２の最適な発注点を決定することができる。資源最適化モジュール７０２０はまた、資源使用を改善することができるかどうかを判定するために、様々な医療施設の資源使用又は他の動作構成を評価することができる。同様に、推奨モジュール７０３０は、データ収集及び集約モジュール７０２２から集約された編成データを分析して推奨を提供するように構成することができる。例えば、推奨モジュール７０３０は、特定の外科用器具７０１２が、例えば、誤り率が想定よりも高いことに基づいて改善されたバージョンにアップグレードされるべきであることを、医療施設（例えば、病院などの医療サービス提供者）に推奨することができる。加えて、推奨モジュール７０３０及び／又は資源最適化モジュール７０２０は、製品再注文点などのより良好なサプライチェーンパラメータを推奨し、異なる外科用器具７０１２、その使用、又は手術結果を改善する手順工程の提案を提供することができる。医療施設は、対応する外科用ハブ７００６を介してそのような推奨を受信することができる。様々な外科用器具７０１２のパラメータ又は構成に関する、より具体的な推奨もまた提供することができる。ハブ７００６及び／又は外科用器具７０１２はそれぞれ、クラウド７００４によって提供されるデータ又は推奨を表示する表示画面を有することもできる。

【0162】

患者転帰分析モジュール７０２８は、外科用器具７０１２の現在使用されている動作パラメータに関連付けられた手術結果を分析することができる。患者転帰分析モジュール７０２８はまた、他の潜在的な動作パラメータを分析及び評価してもよい。これに関連して、推奨モジュール７０３０は、より良好な封止又はより少ない出血などの、より良好な手術結果をもたらすことに基づいて、これらの他の潜在的な動作パラメータを使用して推奨することができる。例えば、提案モジュール７０３０は、対応するステープル留め外科用器具７０１２に特定のカートリッジを使用するときに関する提案を外科用７００６に送信することができる場合もある。したがって、クラウドベースの分析システムは、共通変数を制御しながら、収集された大規模な生データを分析し、複数の医療施設にわたって（有利には、集約されたデータに基づいて決定される）集中的推奨を提供するように構成され得る。例えば、クラウドベースの分析システムは、医療行為の種類、患者の種類、患者の数、同様の種類の器具を使用する医療提供者間の地理的類似性などを、１つの医療施設が単独で独立して分析することはできない方法で、データを分析、評価、及び／又は集約することができる。制御プログラム更新モジュール７０２６は、対応する制御プログラムが更新されたときに、様々な外科用器具７０１２の推奨を実施するように構成することができる。例えば、患者転帰分析モジュール７０２８は、特定の制御パラメータを成功した（又は失敗した）結果と結び付ける相関関係を識別することができる。そのような相関関係は、更新された制御プログラムが制御プログラム更新モジュール７０２６を介して外科用器具７０１２に送信されるときに対処され得る。対応するハブ７００６を介して送信され得る器具７０１２への更新は、クラウド７００４のデータ収集及び集約モジュール７０２２によって収集されかつ分析された集約された成績データを組み込んでもよい。加えて、患者転帰分析モジュール７０２８及び推奨モジュール７０３０は、集約された成績データに基づいて、器具７０１２を使用する改善された方法を識別することができる。

【0163】

クラウドベースの分析システムは、クラウド７００４によって実装されるセキュリティ機能を含んでもよい。これらのセキュリティ機能は、認可及びセキュリティモジュール７０２４によって管理され得る。各外科用ハブ７００６は、ユーザ名、パスワード、及びその他の好適なセキュリティ資格情報などの関連する固有の資格情報を有することができる。これらの資格情報は、メモリ７０１０に記憶され、許可されたクラウドアクセスレベルに関連付けることができる。例えば、正確な資格情報を提供することに基づいて、外科用ハブ７００６は、クラウドと所定の範囲まで通信するアクセスを付与され得る（例えば、特定の定義された種類の情報の送信又は受信を行ってよい）。この目的のために、クラウド７００４の集約された医療データのデータベース７０１１は、提供された資格情報の正確さを検証するための認定された資格情報のデータベースを含んでもよい。異なる資格情報は、クラウド７００４によって生成されたデータ分析を受信するための所定のアクセスレベルなど、クラウド７００４との相互作用のための様々なレベルの許可に関連付けられてよい。更に、セキュリティ目的のために、クラウドは、ハブ７００６、器具７０１２、及び禁止された装置の「ブラックリスト」を含み得るその他の装置のデータベースを維持することができる。具体的には、ブラックリスト上に列挙された外科用ハブ７００６は、クラウドと相互作用することを許可されなくてもよい一方で、ブラックリスト上に列挙された外科用器具７０１２は、対応するハブ７００６への機能的アクセスを有さなくてもよく、かつ／又は対応するハブ７００６とペアリングされたときに完全に機能することが防止されてもよい。追加的に又は代替的に、クラウド７００４は、不適合性又はその他の指定された基準に基づいて、器具７０１２にフラグを立ててもよい。このようにして、偽造医療用装置、及びそのような装置の、クラウドベースの分析システム全体での不適切な再使用を識別し、対処することができる。

【0164】

外科用器具７０１２は、無線送受信機を使用して、例えば、対応するハブ７００６及びクラウド７００４へのアクセスのための認可資格情報を表し得る無線信号を送信してもよい。有線送受信機も、信号を送信するために使用することができる。そのような認可資格情報は、外科用器具７０１２のそれぞれのメモリ装置に記憶することができる。認可及びセキュリティモジュール７０２４は、認可資格情報が正確であるか又は偽造であるかを判定することができる。認可及びセキュリティモジュール７０２４はまた、強化されたセキュリティのために、認可資格情報を動的に生成してもよい。資格情報はまた、ハッシュベースの暗号化を使用することなどによって、暗号化することができる場合もある。適切な認可を送信すると、外科用器具７０１２は、対応するハブ７００６及び最終的にはクラウド７００４に信号を送信して、器具７０１２が医療データを取得し送信する準備ができていることを示すことができる。これに応答して、クラウド７００４は、集約された医療データのデータベース７０１１に記憶するための医療データを受信することが可能な状態に遷移し得る。このデータ伝送準備は、例えば、器具７０１２上の光インジケータによって示すことができる。クラウド７００４はまた、それらの関連する制御プログラムを更新するために、外科用器具７０１２に信号を送信することができる。クラウド７００４は、制御プログラムに対するソフトウェアアップデートが適切な外科用器具７０１２にのみ送信されるように、特定の部類の外科用器具７０１２（例えば、電気外科器具）に向けられた信号を送信することができる。更に、クラウド７００４は、選択的データ送信及び認可資格情報に基づいてローカル又はグローバルの問題に対処するために、システム全体のソリューションを実装するために使用することができる場合もある。例えば、外科用器具７０１２のグループが共通の製造欠陥を有するものとして識別される場合、クラウド７００４は、このグループに対応する認可資格情報を変更して、このグループの動作ロックアウトを実施し得る。

【0165】

クラウドベースの分析システムは、改善された実務を判定し、それに応じて変更を推奨する（例えば、提案モジュール２０３０を介して）ために、複数の医療施設（例えば、病院のような医療施設）を監視することを可能にし得る。したがって、クラウド７００４のプロセッサ７００８は、個々の医療施設に関連付けられたデータを分析して、施設を識別し、そのデータを他の医療施設に関連付けられた他のデータと集約することができる。グループは、例えば、同様の操作行為又は地理的位置に基づいて規定し得る。このようにして、クラウド７００４は、医療施設グループに幅広い分析及び推奨を提供することができる。クラウドベースの分析システムはまた、強化された状況認識のために使用することもできる。例えば、プロセッサ７００８は、（全体的な動作及び／又は様々な医療処置と比較して）特定の施設に対するコスト及び有効性に関する推奨の効果を予測的にモデル化してもよい。その特定の施設に関連するコスト及び有効性はまた、他の施設又は任意のその他の同等の施設の対応するローカル領域と比較することもできる。

【0166】

データ分類及び優先順位付けモジュール７０３２は、重大性（例えば、データに関連付けられた医療事象の重篤度、意外さ、不審さ）に基づいてデータを優先順位付けし分類してもよい。この分類及び優先順位付けは、本明細書に記載されるクラウドベースの分析及び動作を改善するために、本明細書に記載される他のデータ分析モジュール７０３４の機能と併せて使用し得る。例えば、データ分類及び優先順位付けモジュール７０３２は、データ収集及び集約モジュール７０２２並びに患者転帰分析モジュール７０２８によって実行されるデータ分析に対する優先度を割り当てることができる。異なる優先順位レベルは、迅速応答のための上昇、特別な処理、集約された医療データのデータベース７０１１からの除外、又はその他の好適な応答などの、（緊急性のレベルに対応して）クラウド７００４からの特定の応答をもたらすことができる。更に、必要に応じて、クラウド７００４は、対応する外科用器具７０１２からの追加データのために、ハブアプリケーションサーバを介して要求（例えば、プッシュメッセージ）を送信することができる。プッシュメッセージは、支持又は追加のデータを要求するために、対応するハブ７００６上に表示された通知をもたらすことができる。このプッシュメッセージは、クラウドが有意な不規則性又は外れ値を検出し、クラウドがその不規則性の原因を判定することができない状況で必要とされ得る。中央サーバ７０１３は、例えば、データが所定の閾値を超えて想定される値と異なると判定されたとき、又はセキュリティが含まれていたと見られる場合など、特定の重大な状況において、このプッシュメッセージをトリガするようにプログラムされることができる。

【0167】

説明された様々な機能に関する更なる例示的な詳細を、以下の説明において提供する。様々な説明のそれぞれは、ハードウェア及びソフトウェアの実装の一例として図１１及び図１２に記載されるように、クラウドアーキテクチャを利用してもよい。

【0168】

図１３は、本開示の少なくとも１つの態様による、モジュール式装置９０５０のための制御プログラム更新を適応的に生成するように構成される、コンピュータ実装適応外科用システム９０６０のブロック図を示す。いくつかの例示では、外科用システムは、外科用ハブ９０００と、外科用ハブ９０００に通信可能に連結された複数のモジュール式装置９０５０と、外科用ハブ９０００に通信可能に連結された分析システム９１００とを含んでもよい。単一の外科用ハブ９０００が描写され得るが、外科用システム９０６０は、分析システム９０１０に通信可能に連結される外科用ハブ９０００のネットワークを形成するように接続され得る、任意の数の外科用ハブ９０００を含み得ることに留意されたい。いくつかの例示では、外科用ハブ９０００は、記憶された命令を実行するためのメモリ９０２０に連結されたプロセッサ９０１０と、データが分析システム９１００に送信されるデータ中継インターフェース９０３０とを含み得る。いくつかの例示では、外科用ハブ９０００は、ユーザからの入力を受信するための入力装置９０９２（例えば、静電容量タッチスクリーン又はキーボード）と、ユーザに出力を提供するための出力装置９０９４（例えば、表示画面）とを有するユーザインターフェース９０９０を更に含み得る。出力は、ユーザによって入力されたクエリからのデータ、所与の処置において使用するための製品又は製品の混合の提案、及び／又は外科処置の前、間、若しくは後に行われるアクションのための命令を含むことができる。外科用ハブ９０００は更に、モジュール式装置９０５０を外科用ハブ９０００に通信可能に連結するためのインターフェース９０４０を含んでもよい。一態様では、インターフェース９０４０は、無線通信プロトコルを介してモジュール式装置９０５０に通信可能に接続可能な送受信機を含んでもよい。モジュール式装置９０５０は、例えば、外科用ステープル留め及び切断器具、電気外科用器具、超音波器具、送気器、人工呼吸器、及び表示画面を含むことができる。いくつかの例示では、外科用ハブ９０００は、ＥＫＧモニタ又はＢＰモニタなどの１つ又は２つ以上の患者監視装置９０５２に更に通信可能に連結されることができる。いくつかの例示では、外科用ハブ９０００は、外科用ハブ９０００が位置する医療施設のＥＭＲデータベースなどの１つ又は２つ以上のデータベース９０５４又は外部コンピュータシステムに更に通信可能に連結されることができる。

【0169】

モジュール式装置９０５０が外科用ハブ９０００に接続されると、外科用ハブ９０００は、モジュール式装置９０５０から周術期データを感知又は受信し、次いで、受信した周術期データを外科処置結果データと関連付けることができる。周術期データは、外科処置の過程でモジュール式装置９０５０がどのように制御されたかを示すことができる。処置結果データは、外科処置（又はその工程）からの結果に関連付けられたデータを含み、それは、外科処置（又はその工程）が肯定的又は否定的な結果を有したかどうかを含むことができる。例えば、結果データは、患者が特定の処置による術後合併症に罹患したかどうか、又はステープルライン若しくは切開線において漏出（例えば、出血又は空気漏出）があったかどうかを含むことができる。外科用ハブ９０００は、外科処置結果を、外部ソースから（例えば、ＥＭＲデータベース９０５４から）データを受信することによって、当該結果を（例えば、接続されたモジュール式装置９０５０のうちの１つを介して）直接検出することによって、又は状況認識システムを通して当該結果の発生を推測することによって、取得することができる。例えば、術後合併症に関するデータを、ＥＭＲデータベース９０５４から検索することができ、ステープルライン又は切開線の漏出に関するデータを、状況認識システムによって直接検出又は推測することができる。外科処置結果データは、モジュール式装置９０５０自体、患者監視装置９０５２、及び外科用ハブ９０００が接続されるデータベース９０５４を含む、種々のデータソースから受信されるデータから、状況認識システムによって推測されることができる。

【0170】

外科用ハブ９０００は、関連付けられたモジュール式装置９０５０のデータ及び結果データを、分析システム９１００上で処理するために分析システム９１００に送信することができる。モジュール式装置９０５０がどのように制御されるかを示す周術期データと、処置結果データとの両方を送信することによって、分析システム９１００は、モジュール式装置９０５０を制御する異なる様式を、特定の処置タイプのための手術結果と相関させることができる。いくつかの例示では、分析ステム９１００は、外科用ハブ９０００からデータを受信するように構成された分析サーバ９０７０のネットワークを含んでもよい。分析サーバ９０７０の各々は、メモリと、受信されたデータを分析するためにそこに記憶された命令を実行しているメモリに連結されたプロセッサとを含むことができる。いくつかの例示では、分析サーバ９０７０は、分散コンピューティングアーキテクチャで接続されてもよく、及び／又はクラウドコンピューティングアーキテクチャを利用してもよい。この対にされたデータに基づいて、分析システム９１００は、次いで、様々なタイプのモジュール式装置９０５０のための最適又は好ましい動作パラメータを学習し、現場のモジュール式装置９０５０の制御プログラムに対する調整を生成し、次いで、モジュール式装置９０５０の制御プログラムに対する更新を送信（又は「プッシュ」）することができる。

【0171】

外科用ハブ９０００及びそれに接続可能な種々のモジュール式装置９０５０を含む、コンピュータ実装インタラクティブ外科用システム９０６０に関する更なる詳細は、図５～図６に関連して説明される。

【0172】

図１４は、本開示による外科用システム６５００を提供し、有線又は無線接続を介してローカルエリアネットワーク６５１８又はクラウドネットワーク６５２０を通じてコンソール６５２２又はポータブル装置６５２６と通信することができる外科用器具６５０２を含み得る。様々な態様では、コンソール６５２２及びポータブル装置６５２６は、任意の適切なコンピューティング装置であり得る。外科用器具６５０２は、ハンドル６５０４と、アダプタ６５０８と、装填ユニット６５１４とを含み得る。アダプタ６５０８は、ハンドル６５０４に解除可能に連結し、装填ユニット６５１４は、アダプタ６５０８が駆動シャフトから装填ユニット６５１４に力を伝達するように、アダプタ６５０８に解除可能に連結する。アダプタ６５０８又は装填ユニット６５１４は、装填ユニット６５１４に及ぼされる力を測定するために、その中に配置される力ゲージ（明示的に図示せず）を含んでもよい。装填ユニット６５１４は、第１のジョー６５３２及び第２のジョー６５３４を含むエンドエフェクタ６５３０を含むことができる。装填ユニット６５１４は、装填ユニット６５１４を再装填するために装填ユニット６５１４が手術部位から除去される必要なく、臨床医が複数の締結具を複数回発射することを可能にする、原位置装填又はマルチ発射装填ユニット（multi-firing loading unit、ＭＦＬＵ）であってもよい。

【0173】

第１のジョー６５３２及び第２のジョー６５３４は、それらの間に組織をクランプし、クランプされた組織を通して締結具を発射し、クランプされた組織を切断するように構成され得る。第１のジョー６５３２は、少なくとも１つの締結具を複数回発射するように構成されてもよく、又は交換される前に２回以上発射されてもよい複数の締結具（例えば、ステープル、クリップなど）を含む交換可能なマルチ発射締結具カートリッジを含むように構成されてもよい。第２のジョー６５３４は、締結具がマルチ発射締結具カートリッジから排出される際に、締結具を変形させるか、又は他の方法で組織の周りに固定するアンビルを含んでもよい。

【0174】

ハンドル６５０４は、駆動シャフトの回転に影響を及ぼすように駆動シャフトに連結されるモータを含んでもよい。ハンドル６５０４は、モータを選択的に起動するための制御インターフェースを含むことができる。制御インターフェースは、ボタン、スイッチ、レバー、スライダ、タッチスクリーン、及び任意の他の適切な入力機構又はユーザインターフェースを含んでもよく、これらは、モータを起動するために臨床医によって関与され得る。

【0175】

ハンドル６５０４の制御インターフェースは、ハンドル６５０４のコントローラ６５２８と通信して、モータを選択的に起動し、駆動シャフトの回転に影響を及ぼすことができる。コントローラ６５２８は、ハンドル６５０４内に配置されてもよく、制御インターフェースからの入力、及びアダプタ６５０８からのアダプタデータ、又は装填ユニット６５１４からの装填ユニットデータを受信するように構成される。コントローラ６５２８は、制御インターフェースからの入力、アダプタ６５０８及び／又は装填ユニット６５１４から受信されたデータを分析して、モータを選択的に起動してもよい。ハンドル６５０４はまた、ハンドル６５０４の使用中に臨床医が見ることができるディスプレイを含んでもよい。ディスプレイは、器具６５０２の発射前、発射中、又は発射後に、アダプタ又は装填ユニットデータの部分を表示するように構成されてもよい。

【0176】

アダプタ６５０８は、その中に配置されるアダプタ識別装置６５１０を含んでもよく、装填ユニット６５１４は、その中に配置される装填ユニット識別装置６５１６を含む。アダプタ識別装置６５１０は、コントローラ６５２８と通信してもよく、装填ユニット識別装置６５１６は、コントローラ６５２８と通信してもよい。装填ユニット識別装置６５１６は、装填ユニット識別装置６５１６からコントローラ６５２８への通信を中継又はパスするアダプタ識別装置６５１０と通信し得ることが理解されるであろう。

【0177】

アダプタ６５０８はまた、アダプタ６５０８又は環境の種々の状態（例えば、アダプタ６５０８が装填ユニットに接続されている場合、アダプタ６５０８がハンドルに接続されている場合、駆動シャフトが回転している場合、駆動シャフトのトルク、駆動シャフトの歪み、アダプタ６５０８内の温度、アダプタ６５０８の発射回数、発射中のアダプタ６５０８のピーク力、アダプタ６５０８に印加される力の総量、アダプタ６５０８のピーク後退力、発射中のアダプタ６５０８の休止回数など）を検出するために、その周囲に配置される複数のセンサ６５１２（１つが示される）を含んでもよい。複数のセンサ６５１ ２は、データ信号の形態でアダプタ識別装置６５１０に入力を提供することができる。複数のセンサ６５１２のデータ信号は、アダプタ識別装置６５１０内に記憶されてもよく、又はアダプタ識別装置６５１０内に記憶されたアダプタデータを更新するために使用されてもよい。複数のセンサ６５１２のデータ信号は、アナログ又はデジタルであってもよい。複数のセンサ６５１２は、発射中に装填ユニット６５１４に及ぼされる力を測定するための力ゲージを含んでもよい。

【0178】

ハンドル６５０４及びアダプタ６５０８は、電気的インターフェースを介して、アダプタ識別装置６５１０及び装填ユニット識別装置６５１６をコントローラ６５２８と相互接続するように構成されることができる。電気的インターフェースは、直接電気的インターフェースであってもよい（すなわち、電気接点であって、互いに係合してエネルギー及び信号を伝送しあう電気接点を含む）。追加的又は代替的に、電気的インターフェースは、エネルギー及び信号を無線伝送しあう（例えば、誘導伝送する）非接触電気的インターフェースであってもよい。アダプタ識別装置６５１０及びコントローラ６５２８は、電気的インターフェースとは別個の無線接続を介して互いに無線通信し得ることも企図される。

【0179】

ハンドル６５０４は、コントローラ６５２８からシステム６５００の他の構成要素（例えば、ＬＡＮ６５１８、クラウド６５２０、コンソール６５２２、又はポータブル装置６５２６）に器具データを送信するように構成された送信機６５０６を含んでもよい。送信機６５０６はまた、システム６５００の他の構成要素からデータ（例えば、カートリッジデータ、装填ユニットデータ、又はアダプタデータ）を受信してもよい。例えば、コントローラ６５２８は、ハンドル６５０４に取り付けられた付属アダプタ（例えば、アダプタ６５０８）のシリアル番号、アダプタに取り付けられた装填ユニット（例えば、装填ユニット６５１４）のシリアル番号、及び装填ユニットに装填された多発射締結具カートリッジ（例えば、マルチ発射締結具カートリッジ）のシリアル番号を含む器具データをコンソール６５２８に送信してもよい。その後、コンソール６５２２は、取り付けられたカートリッジ、装填ユニット、及びアダプタにそれぞれ関連付けられたデータ（例えば、カートリッジデータ、装填ユニットデータ、又はアダプタデータ）をコントローラ６５２８に返信してもよい。コントローラ６５２８は、ローカル器具ディスプレイ上にメッセージを表示するか、又は送信機６５０６を介してコンソール６５２２又はポータブル装置６５２６にメッセージを送信して、それぞれディスプレイ６５２４又はポータブル装置画面上にメッセージを表示することができる。

【0180】

図１５Ａは、動作モードを決定し、決定されたモードで動作するための例示的なフローを示す。コンピュータ実装インタラクティブ外科用システム及び／又はコンピュータ実装インタラクティブ外科用システムの構成要素及び／又はサブシステムは、更新されるように構成されてもよい。そのような更新は、更新前にユーザに利用可能でなかった特性及び利益の包含を含み得る。これらの更新は、ユーザに特性を導入するのに適したハードウェア、ファームウェア、及びソフトウェア更新の任意の方法によって確立することができる。例えば、交換可能／置換可能（例えば、ホットスワップ可能）なハードウェア構成要素、フラッシュ可能なファームウェア装置、及び更新可能なソフトウェアシステムを使用して、コンピュータ実装インタラクティブ外科用システム及び／又はコンピュータ実装インタラクティブ外科用システムの構成要素及び／又はサブシステムを更新することができる。

【0181】

更新は、任意の適切な基準又は基準のセットを条件とすることができる。例えば、更新は、処理能力、帯域幅、解像度など、システムの１つ又は２つ以上のハードウェア能力を条件とすることができる。例えば、更新は、あるソフトウェアコードの購入など、１つ又は２つ以上のソフトウェア態様を条件とすることができる。例えば、更新は、購入されたサービスティアを条件とすることができる。サービスティアは、ユーザがコンピュータ実装インタラクティブ外科用システムに関連して使用する資格がある特性及び／又は特性のセットを表してもよい。サービスティアは、ライセンスコード、ｅコマースサーバ認証相互作用、ハードウェアキー、ユーザ名／パスワードの組み合わせ、生体認証相互作用、公開／秘密鍵交換相互作用などによって決定され得る。

【0182】

１０７０４において、システム／装置パラメータが識別され得る。システム／装置パラメータは、更新が条件とする任意の要素又は要素のセットであり得る。例えば、コンピュータ実装インタラクティブ外科用システムは、モジュール式装置と外科用ハブとの間の通信の特定の帯域幅を検出してもよい。例えば、コンピュータ実装インタラクティブ外科用システムは、特定のサービス層の購入の指示を検出してもよい。

【0183】

１０７０８において、動作モードは、識別されたシステム／装置パラメータに基づいて決定され得る。この決定は、システム／装置パラメータを動作モードにマッピングするプロセスによって行われ得る。プロセスは、手動及び／又は自動プロセスであってもよい。プロセスは、ローカル計算及び／又はリモート計算の結果であってよい。例えば、クライアント／サーバ相互作用を使用して、識別されたシステム／装置パラメータに基づいて動作モードを決定することができる。例えば、ローカルソフトウェア及び／又はローカルに埋め込まれたファームウェアが、識別されたシステム／装置パラメータに基づいて動作モードを決定するために使用され得る。例えば、セキュアなマイクロプロセッサなどのハードウェアキーを使用して、識別されたシステム／装置パラメータに基づいて動作モードを決定することができる。

【0184】

１０７１０において、動作は、決定された動作モードに従って進むことができる。例えば、システム又は装置は、デフォルト動作モードで動作するように進むことができる。例えば、システム又は装置は、代替動作モードで動作するように進むことができる。動作モードは、システム又は装置内に既に存在する制御ハードウェア、ファームウェア、及び／又はソフトウェアによって指示されてもよい。動作モードは、新しくインストール／更新された制御ハードウェア、ファームウェア、及び／又はソフトウェアによって指示されてもよい。

【0185】

図１５Ｂは、動作モードを変更するための例示的な機能ブロック図を示す。アップグレード可能な要素１０７１４は、初期化構成要素１０７１６を含み得る。初期化構成要素１０７１６は、動作モードを決定するのに適した任意のハードウェア、ファームウェア、及び／又はソフトウェアを含み得る。例えば、初期化構成要素１０７１６は、システム又は装置起動プロシージャの一部であり得る。初期化構成要素１０７１６は、アップグレード可能な要素１０７１４の動作モードを決定するための相互作用に関与してもよい。例えば、初期化構成要素１０７１６は、例えば、ユーザ１０７３０、外部リソース１０７３２、及び／又はローカルリソース１０７１８と相互作用することができる。例えば、初期化構成要素１０７１６は、ユーザ１０７３０からライセンスキーを受信して、動作モードを決定してもよい。初期化構成要素１０７１６は、アップグレード可能な装置１０７１４のシリアル番号を用いて、例えばサーバなどの外部リソース１０７３２に問い合わせて、動作モードを決定してもよい。例えば、初期化構成要素１０７１６は、利用可能な帯域幅の量を決定するためのローカルクエリ及び／又は例えばハードウェアキーのローカルクエリなど、ローカルリソース１０７１８にクエリを行って、動作モードを決定してもよい。

【0186】

アップグレード可能な要素１０７１４は、１つ又は２つ以上の動作構成要素１０７２０、１０７２２、１０７２６、１０７２８、及び動作ポインタ１０７２４を含むことができる。初期化構成要素１０７１６は、動作ポインタ１０７２４に指示して、アップグレード可能要素１０７４１の動作を、決定された動作モードに対応する動作構成要素１０７２０、１０７２２、１０７２６、１０７２８に指示することができる。初期化構成要素１０７１６は、動作ポインタ１０７２４に指示して、アップグレード可能な要素の動作をデフォルト動作構成要素１０７２０に指示してもよい。例えば、デフォルト動作構成要素１０７２０は、他の代替動作モードが決定されていないという条件で選択されてもよい。例えば、デフォルト動作構成要素１０７２０は、初期化構成要素の障害及び／又は相互作用障害の条件で選択されてもよい。初期化構成要素１０７１６は、動作ポインタ１０７２４に指示して、アップグレード可能要素１０７１４の動作を常駐動作構成要素１０７２２に指示してもよい。例えば、特定の特性がアップグレード可能な構成要素１０７１４に常駐してもよいが、動作させるためには起動を必要とする。初期化構成要素１０７１６は、動作ポインタ１０７２４に指示して、アップグレード可能要素１０７１４の動作を、新たな動作構成要素１０７２８インストールするように、及び／又は新たなインストールされた動作構成要素１０７２６に、指示してもよい。例えば、新しいソフトウェア及び／又はファームウェアがダウンロードされてもよい。新しいソフトウェア及び／又はファームウェアは、選択された動作モードによって表される特性を有効にするコードを含むことができる。例えば、新しいハードウェア構成要素をインストールして、選択された動作モードを有効にすることができる。

【0187】

外科用ハブは、腹腔鏡スコープなどの外科用スコープからの画像及びより多くの他のスマート装置のうちの１つからの情報を表示するより多くの手段のうちの１つのとの協働的相互作用を有し得る。ハブは、複数のディスプレイと相互作用して、複数のディスプレイにわたって分散されるデータの組み合わせられた表示及び制御を可能にするように構成されてもよい。

【0188】

情報の表示は、異なる可視化制御モードで制御することができる。例えば、１つ又は２つ以上のディスプレイにおけるコンテンツは、ユーザによって制御され得、及び／又は自動化され得る。可視化制御モードは、手術室内に存在する制御スキームに基づいて異なるレベルで動作され得る。

【0189】

外科用装置及びハブからの情報の表示は、複数のレベルの複雑さ及び制御で動作され得る。これらの複数のレベルは、ハードウェア容量、ソフトウェア能力、及び／又はファームウェア能力の複数のレベルに関連付けられ得る。例えば、より多くのサポートされる能力を有する可視化制御モードは、時間内のデータの同期又はペアリングを確実にするために、ハードウェア及び／又はソフトウェアをインターロックすることを必要とする場合がある。これらのレベルは、異なる可視化制御モードを介して制御又は制限され得る。例えば、現在の可視化制御モードは、適切なリフレッシュレートで外科用装置を動作させるハブの能力、処理要件、メモリ要件、ユーザ入力、及び／又は外科用システムを動作させるためのソフトウェアサブスクリプションの購入レベルに基づいて決定され得る。

【0190】

ハブは、外科用ハブの内部パラメータに基づいて、可視化制御モードを調整、例えばアップグレード又はダウングレード、することができる。内部制御パラメータは、内部制御パラメータの変化に基づいて決定され得る。変更は、処理能力、空き処理能力又はメモリ、システムによって生成される熱、その電力消費、他の取り付けられたシステムに対する電力消費のバランス、ユーザ入力、及び／又はシステムのサブスクリプションレベルによってトリガであり得る。

【0191】

図３７は、段階的された可視化制御モード下で動作する外科用ハブのための例示的なフローを示す。ハブは、一次ディスプレイ、二次ディスプレイ、腹腔鏡スコープ、及び少なくとも１つの外科用器具に接続され得る通信アレイを含んでもよい。図示されるように、１７５０１において、ハブは、一次及び二次ディスプレイに関連付けられた１つ又は２つ以上の可視化制御パラメータを取得してもよい。

【0192】

図３７に示すように、１７５０２において、ハブは、可視化制御パラメータに基づいて可視化制御モードを決定することができる。可視化制御パラメータは、利用可能なメモリ、利用可能なデータ帯域幅、外科用ハブによって生成される熱、二次ディスプレイによって生成される熱、外科用ハブに関連付けられた電力容量、手術室に関連付けられた電力容量、医学施設に関連付けられた電力容量、電力使用量、少なくとも１つの付属システムに対する電力消費のバランス、プロセッサ利用率、又はメモリ利用率のうちの少なくとも１つを含んでもよい。

【0193】

１７５０３において、ハブは、可視化制御モードに従って、一次ディスプレイ及び二次ディスプレイのための可視化データを生成し得る。

【0194】

例えば、可視化制御パラメータは、階層化されたシステムからの指示を含むことができる。階層化されたシステムは、利用可能なデータ帯域幅、電力容量及び使用量、プロセッサ及びメモリ利用率、並びに／又は内部システム若しくは付属システムに基づいて、表示能力及びインタラクティブ表示制御能力などをスケールすることができる。階層化されたシステムは、外科用ハブがその下で動作し得る最大表示及びインタラクティブ表示制御能力を決定し得る。例えば、手術室、外科用ハブ、及び／又は医療施設に関連付けられた電力能力が閾値を下回ることを検出すると、階層化されたシステムは、外科用ハブの可視化制御能力をスケールダウンしてもよい。例えば、利用可能なデータ帯域幅が閾値を下回ること、メモリ利用率が特定の閾値を上回ること、電力使用量が特定の閾値を上回ること、及び／又は可視化制御能力をスケールダウンする理由となり得る他のシステム状態を検出すると、階層化されたシステムは、外科用ハブと装置との間の表示関連通信、及び／又は外科用ハブと外部サーバとの間の表示関連通信を制限又は無効化し得る。複数表示能力を無効化することができる。拡張現実能力を無効化することができる。階層化されたシステムは、外科用ハブ内のモジュールであってもよく、又は外科用ハブの外部のシステムであってもよい。

【0195】

例示的な可視化制御モードでは、複数のディスプレイを使用して、ディスプレイの主たる検査者に関連する情報の異なる態様又は異なるタイプの情報を表示することができる。ディスプレイの一部又は全部は、ハブが通信し得る別のシステムによって制御されてもよい。

【0196】

例示的な可視化制御モードでは、１つのディスプレイの１つ又は一部分が、別のディスプレイを介して制御され得る。ディスプレイの１つ又は一部分に示されるコンテンツは、別のディスプレイに関連付けられ得る。例えば、ピクチャインピクチャ表示では、ミニピクチャのコンテンツソースは、例示的な可視化制御モードで制御され得る。この特性は、２０１８年３月２９日に出願された「ＤＵＡＬ ＣＯＭＳ ＡＲＲＡＹ ＩＭＡＧＩＮＧ」と題する米国特許出願第１５／９４０，７４２号に更に記載されており、その全体が参照により本明細書に組み込まれる。

【0197】

例示的な可視化制御モードでは、個々のユーザは、メイン共有ディスプレイと協調して機能する異なるディスプレイシステムを有し得る。異なるオーバーレイ情報は、ユーザが個人的に向けられた情報又は個人化されたオーバーレイデータを提供され得るように、異なるユーザ役割に対して生成され得る。例えば、２０１８年３月２９日に出願された「ＤＵＡＬ ＳＵＲＧＩＣＡＬ ＨＵＢ ＳＰＡＴＩＡＬ ＡＷＡＲＥＮＥＳＳ ＴＯ ＤＥＴＥＲＭＩＮＥ ＤＥＶＩＣＥＳ ＩＮ ＯＰＥＲＡＴＩＯＮ ＴＨＥＡＴＥＲ」と題する米国特許出願第１５／９４０，６７１号に記載されているように、ユーザは相互作用のための個人化データを提供され得、この出願は、参照によりその全体が本明細書に組み込まれる。

【0198】

例示的な可視化制御モードでは、ハブは、可視化表示が一次ディスプレイ上にあるように制限することができる。例えば、第１の可視化制御モード下で動作するとき、ハブは、一次ディスプレイを制御することができる。ハブは、どの情報及びビデオ表示がディスプレイの実際の領域全体の一部を共有すべきかを決定することができる。

【0199】

図１６は、本開示の一態様による、グローバル表示ウィンドウ６２０２及びローカル器具表示ウィンドウ６２０４を備える、外科用ハブ２０６に関連付けられた例示的な一次ディスプレイ６２００を示す。外科用ハブ１０６、２０６を含むインタラクティブ外科用システム１００環境との相互作用を示す図１～図１１と、外科用ハブに接続された器具のための図１２～図１４とを続けて参照すると、ローカル器具表示６２０４の挙動は、器具２３５が外科用ハブ２０６を介してグローバル表示ウィンドウ６２０２が接続可能に存在することを感知したときに表示され得る。グローバル表示ウィンドウ６２０２は、例えば、本明細書ではモニタとも称される外科用ハブディスプレイ２１５の中心において、例えば、撮像モジュール２３８に連結された腹腔鏡／内視鏡２１９などの医療用撮像装置を通して見られるような、手術部位６２０８の視野６２０６を示し得る。接続された器具２３５のエンドエフェクタ６２１８部分は、グローバル表示ウィンドウ６２０２内の手術部位６２０８の視野６２０６内に示され得る。外科用ハブ２０６に連結された器具２３５上に位置するディスプレイ２３７上に示される画像は、例えば、図１６に示されるように、モニタ６２００の右下角に位置するローカル器具表示ウィンドウ６２０４上に示されるか、又はミラーリングされる。

【0200】

動作中、関連する器具及び情報並びにメニューは、器具２３５が外科用ハブ２０６への器具２３５の接続を感知するまで、器具２３５上に位置するディスプレイ２３７上に表示されてもよく、その時点で、器具ディスプレイ２３７上に提示される情報の全て又は一部のサブセットが、外科用ハブ２０６を通して外科用ハブディスプレイ６２００のローカル器具表示ウィンドウ６２０４部分上に（例えば、ローカル器具表示ウィンドウ６２０４部分上にのみに）表示されてもよい。ローカル器具表示ウィンドウ６２０４上に表示される情報は、器具２３５上に位置するディスプレイ２３７上にミラーリングされてもよく、又は器具ディスプレイ２３７の爆発スクリーン上ではもはやアクセス不可能であってもよい。この技術は、器具２３５を自由にして、異なる情報を示すか、又は外科用ハブディスプレイ６２００上により大きなフォント情報を示す。

【0201】

一次ディスプレイ６２００は、手術部位６２０８の周術期可視化を提供し得る。高度撮像は、尿管６２２０（又は神経など）などの重要な構造を識別し、視覚的に強調表示６２２２してもよく、器具近接表示６２１０を追跡し、ディスプレイ６２００の左側に示されてもよい。図示の例では、器具近接表示６２１０は、器具固有の設定を示すことができる。例えば、上部器具近接表示６２１２は、単極器具の設定を示してもよく、中間部器具近接表示６２１４は、双極器具の設定を示してもよく、下部器具近接表示６２１２は、超音波器具の設定を示してもよい。

【0202】

図１７は、エンドエフェクタ６２３４の複数の視点を提供してオーバーヘッド視野の合成撮像を可能にするための、２つ又は３つ以上の撮像アレイ又は１つのアレイ及び時間を使用してマッピングされた外科用ステープラのエンドエフェクタ６２３４部分の合成オーバーヘッドビューを有する例示的な一次ディスプレイを示す。本明細書に記載されるこの技術は、超音波器具、電気外科用器具、超音波／電気外科用器具の組み合わせ、及び／又は外科用ステープラ／電気外科用器具の組み合わせに適用することができる。複数の画像／テキストソースからの画像及び／又はテキストをオーバーレイ又は拡張して、ディスプレイ（例えば、単一のディスプレイ）上に合成画像を提示するために、いくつかの技法が実行され得る。

【0203】

図１７に示すように、外科用ハブ２０６の一次ディスプレイ６２００は、一次ウィンドウ６２３０を表示することができる。一次ウィンドウ６２３０は、画面の中心に位置してもよく、手術視野６２３２の拡大又は分解狭角ビューを示してもよい。画面の中心に位置する一次ウィンドウ６２３０は、血管６２３６を把持する外科用ステープラのエンドエフェクタ６２３４の拡大又は分解狭角ビューを示す。一次ウィンドウ６２３０は、手術視野６２３２に隣接する構造の可視化を可能にする合成画像を生産するために、編成画像を表示することができる。第２のウィンドウ６２４０は、一次ディスプレイ６２００の左下角に示され得る。第２のウィンドウ６２４０は、オーバーヘッドビューで一次ウィンドウ６２３０に示される画像の標準焦点で広角ビューの編成画像を表示する。第２のウィンドウ６２４０に提供されるオーバーヘッドビューは、検査者が腹腔鏡又は外科用ハブ２０６の撮像モジュール２３８に連結された他の撮像装置２３９を移動させることなく、狭い領域の手術視野６２３２の外にあるアイテムを容易に見ることを可能にすることができる。第３のウィンドウ６２４２は、一次ディスプレイ６２００の右下角に示され得、エンドエフェクタ６２３４のステープルカートリッジ（例えば、この例ではステープルカートリッジ）を表すアイコン６２４４と、ステープル列６２４６の数を示す「４列」及びステープルカートリッジの長さに沿ってナイフが移動した距離６２４８を示す「３５ｍｍ」などの追加情報とを示す。第３のウィンドウ６２４２の下には、クランプ安定化を示すクランプ安定化シーケンス６２５０の現在の状態のフレームのアイコン６２５８が表示される。

【0204】

例示的な可視化制御モードでは、表示は、例えば、動き追跡（例えば、モニタに対する頭部の配向、手のジェスチャ、音声起動、及び滅菌野内の他の手段を介して、ユーザによって制御され得る。ユーザジェスチャは、ＯＲ内のスマートウォッチ及び／又はカメラなど、ユーザによって装着されたウェアラブル装置に基づいて決定され得る。ユーザの頭部の動きは、ＯＲ内のＡＲゴーグル及び／又はカメラに基づいて決定され得る。

【0205】

図１９は、動き追跡、ジェスチャ追跡及び／又は音声起動を介して表示制御を可能にし得る例示的なＯＲセットアップの図である。様々な実施態様では、外科用ハブ２１１８０１は、通信プロトコル（例えば、Bluetooth）を介して、１つ又は２つ以上のカメラ２１１８０２、外科用器具２１１８１０、ディスプレイ２１１８０６、オーバーハードライト（overheard lights）２１１８０８、及びＯＲ ２１１８００内の他の外科用装置に通信可能に接続することができる。カメラ２１１８０２は、外科処置の過程でＯＲ ２１１８００内の手術スタッフ員２１１８０３及び／又は外科用器具２１１８１０（又は他の外科用装置）の画像及び／又はビデオを取り込むために配向することができる。取り込まれた画像は、静止画像又は動画像（例えば、ビデオ）を含むことができる。手術スタッフ員２１１８０３及び／又は外科用器具２１１８１０の画像は、様々な角度及び倍率で、様々なフィルタを利用するなどして、取り込むことができる。例えば、カメラ２１１８０２は、処置を行う各手術スタッフ員を集合的に可視化できるように、ＯＲ ２１１８００内に配置され得る。したがって、外科用ハブ２１１８０１は、外科処置中に手術スタッフ員２１１８０３及び／又は外科用器具２１１８１０を視覚的に分析するために、取り込まれた画像及び／又はビデオデータをカメラ２１１８０２から受信できる。画像及び／又はビデオデータは、様々なマシンビジョン、画像処理、物体認識、及び光学追跡技術を利用して処理されて、手術スタッフ員２１１８０３及び／又は外科用器具２１１８１０の特質、特性、動作、及び動きを追跡することができる。

【0206】

図２０は、例示的な可視化制御モードにおいて表示を制御するために使用され得るジェスチャ認識システム２１１５００のブロック図である。ジェスチャ認識システム２１１５００は、図１０に示す外科用ハブ２０６のプロセッサ２４４など、コンピュータシステムのプロセッサ又は制御回路によって実行されることができるジェスチャ認識モジュール２１１５０４を含む。したがって、ジェスチャ認識モジュール２１１５０４は、メモリ２４９に記憶されたコンピュータ実行可能命令のセットとして具現化されることができ、この命令のセットは、プロセッサ２４４によって実行されると、コンピュータシステム（例えば、外科用ハブ２１１８０１）に、記載されている工程を実行させる。

【0207】

ジェスチャ認識システム２１１５００は、画像認識ハードウェア／ソフトウェア（例えば、カメラ２１１８０２）から画像又はビデオデータを受信し、手術スタッフ員２１１８０３によって行われ得る様々なジェスチャ２１１８０４を認識し（例えば、プロセス２１１６００、２１１６２０で、ジェスチャが行われているかどうかを判定する（２１１６０４、２１１６２４））、特定の検出されたジェスチャ２１１８０４に対して、対応するアックションを行うか、又は別の方法で応答する（例えば、プロセス２１１６００、２１１６２０で、外科用装置を制御するか（２１１６０６）、又はデータをメタデータとして保存する（２１１６２６））ことができる。一態様では、ジェスチャ認識モジュール２１１５０４は、特性抽出モジュール２１１５０６及びジェスチャ分類モジュール２１１５０８を含むことができる。特性抽出モジュール２１１５０６は、画像／ビデオデータから測定可能かつ弁別的な特質又は特徴（例えば、特性）を抽出することができる。特徴は、（例えば、Ｃａｎｎｙエッジ検出アルゴリズムを介して抽出された）エッジ、曲率、（例えば、Ｈａｒｒｉｓ＆Ｓｔｅｐｈｅｎｓコーナー検出アルゴリズムを介して抽出された）コーナーなどを含むことができる。ジェスチャ分類モジュール２１１５０８は、抽出された特性がジェスチャセットからのジェスチャと一致するかどうかを判定することができる。一態様では、ジェスチャ分類モジュール２１１５０８は、抽出された特性の特性ベクトルを１つ又は２つ以上の出力ジェスチャに相関させるために教師あり又は教師なし学習技術を介して訓練された機械学習モデル（例えば、人工ニューラルネットワーク又はサポートベクターマシン）を含むことができる。別の態様では、ジェスチャ分類モジュール２１１５０８は、ジェスチャを分類するために、Ｈｕ不変モーメントに基づくアルゴリズム又はｋ－曲率アルゴリズムを含むことができる。更に別の態様では、ジェスチャ分類モジュール２１１５０８は、特徴化された画像／ビデオデータ（又はその一部）を所定のジェスチャに対応するテンプレートに照合するようにプログラムされたテンプレートマッチングアルゴリズムを含むことができる。他の態様は、前述の技術とジェスチャを分類するための他の技術との様々な組み合わせを含むことができる。

【0208】

ジェスチャ認識モジュール２１１５０４を介してジェスチャを認識したとき、ジェスチャ認識システム２１１５００は、識別されたジェスチャに対応するアクション２１１５１０又は応答を行うことができる。例えば、コンピュータシステムによって行われるアクション２１１５１０は、ＯＲ内の外科用ディスプレイを制御することを含む。

【0209】

コンピュータシステムによって行われるアクション２１１５１０は、手術スタッフによって行われたジェスチャを、外科処置の過程で外科用装置によって生成された周術期データに関連付けられた、又はそれにリンクされたメタデータとして保存することを含んでもよい。このようなメタデータは、手術スタッフが外科用装置を手動で制御しているか、又はジェスチャを介して外科用装置を制御しているかどうかを判定するのに有用であり得、ジェスチャは、手術スタッフのパフォーマンス、処置時間、及び他のそのような測定基準と相関させることができる。様々な他の態様では、コンピュータシステムは、１つ又は２つ以上の外科用装置を制御することと、ジェスチャデータをメタデータとして保存することとの両方を行うことができる。

【0210】

ジェスチャ認識システム２１１５００は、ジェスチャを視覚的に識別するために、カメラ２１１８０２に加えて、又はその代わりに、ユーザからの非接触入力を受信するための磁気感知システムを利用してもより。この態様では、ジェスチャ認識システム２１１５００は、例えば、ＯＲ内に位置決めされ得る磁気感知アレイを含むことができる。

【0211】

ジェスチャ認識は、２０１８年１１月６日に出願された「ＩＭＡＧＥ ＣＡＰＴＵＲＩＮＧ ＯＦ ＴＨＥ ＡＲＥＡＳ ＯＵＴＳＩＤＥ ＴＨＥ ＡＢＤＯＭＥＮ ＴＯ ＩＭＰＲＯＶＥ ＰＬＡＣＥＭＥＮＴ ＡＮＤ ＣＯＮＴＲＯＬ ＯＦ Ａ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥ ＩＮ ＵＳＥ」と題する米国特許出願第１６／１８２，２６９号（代理人整理番号：ＥＮＤ９０１８ＵＳＮＰ３）に更に記載されており、その全体が参照により本明細書に組み込まれる。

【0212】

図３８は、階層化された可視化制御モード下でのハブ動作の詳細な例示的なフローを示す。ハブは、１７５１０において可視化制御モードを取得することができる。１７５１１において、ハブは、本明細書に記載されるように、データを生成し、一次ディスプレイに送信することができる。１７５１２において、ハブは、可視化制御モードに基づいて、二次ディスプレイのための可視化データを生成するかどうかを決定することができる。

【0213】

いくつかの例示的な可視化制御モードは、マルチ表示能力をサポートすることができるが、他の例示的な可視化制御モードは、可視化表示が一次ディスプレイ上にあるように制限することができ、又は同じコンテンツを一次ディスプレイ及び二次ディスプレイの両方に表示することができる。可視化制御モードがマルチ表示能力をサポートする場合、１７５１３において、ハブは、二次ディスプレイのための可視化データを生成し、生成された可視化データをそれぞれの二次ディスプレイに送信することができる。可視化制御モードがマルチ表示能力をサポートしない場合、１７５１４において、ハブは、二次ディスプレイのための可視化データの生成及び送信を無効化することができ、データを一次ディスプレイに送信し続けることができる。

【0214】

図４０は、マルチ表示能力をサポートする可視化制御モード下で動作するハブのための例示的なフローを示す。１７６０１において、ハブは、外科処置に関連付けられた表示制御パラメータを取得することができる。表示制御パラメータは、少なくとも１つのディスプレイに対するユーザの配向、外科処置の進行、外科的コンテキスト、及び／又は外科処置に関連付けられた異常の検出のうちの少なくとも１つを含み得る。例えば、表示制御パラメータは、音声コマンド、インタラクティブディスプレイを介したユーザ入力、コンテンツタイプ、表示情報の意図された検査者、及び／又は表示される情報のコンテンツであってもよい。

【0215】

ハブは、１７６０２において、表示制御パラメータに基づいて、異なるディスプレイのための異なるコンテンツを決定することができる。ハブは、１７６０３において、表示コンテンツを生成し、それぞれのディスプレイに送信することができる。

【0216】

例えば、表示制御パラメータは、ディスプレイに対するユーザの配向であってもよい。外科用ハブは、ＯＲ内のディスプレイに対する主要外科医頭部（又は情報が有益であるユーザ）の配向に基づいて、１つ又は２つ以上のディスプレイにおける表示コンテンツ及び／又は表示形式を決定してもよい。外科用ハブは、ＯＲの内外のいずれかのユーザ入力を含む、ユーザ入力に基づいて、１つ又は２つ以上のディスプレイにおける表示コンテンツ及び／又は表示形式を決定してもよい。例えば、外科用ハブは、情報の意図された検査者と、ＯＲ内の１つ又は２つ以上のディスプレイ（例えば、各ディスプレイ）に対する検査者の相対位置とに基づいて、ディスプレイを識別するなど、表示位置を判定してもよく、又はディスプレイ内の表示ウィンドウを識別してもよい。例えば、外科用ハブは、情報の意図された検査者に最も近いディスプレイを選択してもよい。外科用ハブは、情報の意図された検査者及びＯＲ内の種々のディスプレイに対する閲覧者の相対位置に基づいて、特定の表示コンテンツを除去することを決定してもよい。

【0217】

様々な態様では、外科用ハブ、外科用器具、及びその他の装置のコントロールは、滅菌野ディスプレイ上で動作しているスクリーンに基づいて調整され得る。外科用装置のコントロールは、表示された情報に基づいて調整されてもよい。可視化装置（例えば、スコープ）のパン又は可視化装置の焦点の調整を通常制御するコントロールは、例えば、ハイパースペクトル撮像オーバーレイがアクティブである場合に拡大を調整するように構成され得る。ハイパースペクトル撮像は、２０１８年３月２９日に出願された「ＣＨＡＲＡＣＴＥＲＩＺＡＴＩＯＮ ＯＦ ＴＩＳＳＵＥ ＩＲＲＥＧＵＬＡＲＩＴＩＥＳ ＴＨＲＯＵＧＨ ＴＨＥ ＵＳＥ ＯＦ ＭＯＮＯ－ＣＨＲＯＭＡＴＩＣ ＬＩＧＨＴ ＲＥＦＲＡＣＴＩＶＩＴＹ」と題する米国特許出願第１５／９４０，７２２号で更に説明されており、その全体が参照により本明細書に組み込まれる。

【0218】

例えば、外科医は、ディスプレイ上のそのデータを変更、焦点合わせ、又は制御するように制御することができる。これは、医療専門家が、他の撮像又は手術前撮像機構に対してどこにいるかをよりシームレスに見ることを可能にし得る。

【0219】

滅菌野ディスプレイの視野内にある外科用器具のハンドル上のコントロールは、滅菌野ディスプレイ上での選択によって調整され得る。更に、調整は、様々な例における状況認識に基づくことができる。例えば、システムは、特定の外科用装置が利用されており、その外科用装置の機能を、滅菌野内の表示画面などの第２の装置から制御することをシステムが許可していることを判定することができる。

【0220】

協働的表示能力をサポートする例示的な可視化制御モードでは、複数のディスプレイを使用して、ディスプレイの主たる検査者に関連する情報の異なる態様又は異なるタイプの情報を表示することができる。ディスプレイの一部又は全部は、メインハブが制御するのではなく通信するだけの別のシステムによって制御されてもよい。

【0221】

複数のディスプレイは、ハブ上の一次ディスプレイ、少なくとも１つのモニタを含み得る可視化タワー、部屋の周囲のディスプレイ、及び／又は小さな装置ディスプレイを含み得るが、それらに限定されない。

【0222】

協働的表示能力をサポートする例示的可視化制御モードでは、外科用ハブは、医療専門家が、滅菌野の内側のディスプレイを介して、滅菌野の外側のディスプレイを制御することを可能にし得る。外科処置中に、外科医は、外科医によるインタラクティブ入力及び滅菌野内のディスプレイのためにアクセス可能なユーザインターフェース装置を有していない場合がある。したがって、外科医は、滅菌野内からユーザインターフェース装置及び外科用ハブとインターフェース接続しない場合があり、滅菌野内から外科用ハブを通して他の外科用装置を制御することができない。

【0223】

例えば、二次ディスプレイなどのローカルディスプレイは、滅菌野内から外科用ハブ機能を表示及び制御するためのユーザインターフェースとしての役割を果たしてもよい。二次ディスプレイは、表示位置、どの情報がどこに表示されているかを変更し、特定の機能又は装置の制御を渡すために使用することができる。ローカルディスプレイは、滅菌野内で使用され、外科医が外科用ハブに連結された他の外科用装置及び／又は表示を制御するために他の外科用装置及び／又は表示を制御するために、滅菌野からのインタラクティブ入力制御を有することを可能にし得る、ディスプレイユニットを含んでもよい。ディスプレイユニットは、無菌であってもよく、外科医がディスプレイユニット及び外科用ハブとインターフェース接続して、必要に応じて、滅菌野を離れることなく、器具と直接インターフェース接続し、器具を構成することを可能にするように、滅菌野内に位置してもよい。ディスプレイユニットは、マスタ装置であってもよく、表示、制御、ツール制御の交換のために使用されてもよく、外科医が滅菌野を離れることなく、他の外科用ハブからのフィードを可能にする。

【0224】

ディスプレイユニットは、インタラクティブタッチスクリーンディスプレイ、インタラクティブタッチスクリーンディスプレイを外科用ハブに連結するように構成されたインターフェース、プロセッサ、及びプロセッサに連結されたメモリであってもよく、又はそれらを含んでもよい。メモリは、滅菌野の内側に位置するインタラクティブタッチスクリーンディスプレイから入力コマンドを受信するためにプロセッサによって実行可能な命令を記憶することができ、滅菌野の外側に位置する外科用ハブに連結された装置を制御するために、外科用ハブに入力コマンドを送信することができる。

【0225】

滅菌野の外側のディスプレイは、図２に示されるような非滅菌ディスプレイ１０７又は１０９であってもよく、又はそれを含んでもよい。例えば、外科用滅菌野の内側のディスプレイは、ローカルディスプレイ又は外科用器具上のディスプレイなどの二次ディスプレイであってもよく、又はそれを含んでもよい。医療従事者は、二次ディスプレイを制御することができる。一次ディスプレイ及び二次ディスプレイは、一次ハブシステムとの多数の通信レベルの動作を有することができる。一次ディスプレイ及び二次ディスプレイの例は、２０１８年３月２９日に出願された「ＳＵＲＧＩＣＡＬ ＨＵＢ ＳＰＡＴＩＡＬ ＡＷＡＲＥＮＥＳＳ ＴＯ ＤＥＴＥＲＭＩＮＥＳ ＤＥＶＩＣＥＳ ＩＮ ＯＰＥＲＡＴＩＮＧ ＴＨＥＡＴＥＲ」と題する米国特許出願第１５／９４０，６７１号（代理人整理番号ＥＮＤ８５０２ＵＳＮＰ）においてより詳細に見出すことができ、その全体が参照により本明細書に組み込まれる。

【0226】

滅菌野の内側のディスプレイを介して滅菌野の外側のディスプレイを制御する例は、同時に出願された「ＣＯＭＭＵＮＩＣＡＴＩＯＮ ＣＯＮＴＲＯＬ ＯＰＴＩＯＮＳ ＦＯＲ Ａ ＳＵＲＧＥＯＮ ＣＯＮＴＲＯＬＬＥＤ ＳＥＣＯＮＤＡＲＹ ＤＩＳＰＬＡＹ ＡＮＤ ＰＲＩＭＡＲＹ ＤＩＳＰＬＡＹ」と題する代理人整理番号ＥＮＤ９２８７ＵＳ１７の特許出願に記載されており、その全体が参照により本明細書に組み込まれる。

【0227】

二次ディスプレイは、任意の数の外科用ハブ２０６追跡データフィードを表示してステータスを提供することができるタッチスクリーンディスプレイ及び／又は二次スクリーンを介して相互作用ポータルを提供するために外科用ハブ２０６にリンクされ得る独立した二次ディスプレイ及び／又は専用ローカルディスプレイを含んでもよい。二次ディスプレイは、発射力（force to fire、ＦＴＦ）、組織間隙、電力レベル、インピーダンス、組織圧縮安定性（クリープ）などを表示してもよく、一方、一次ディスプレイは、フィードをクラッタのない状態に保つために重要な変数を表示してもよい。インタラクティブディスプレイは、特定の情報の表示を一次ディスプレイに所望の位置、サイズ、色などに移動させるために使用されてもよい。図示された例では、二次ディスプレイは、ディスプレイ６２００の左側に器具近接表示６２１０を表示してもよい。ローカル器具表示６２０４は、ディスプレイ６２００の右下側にある。外科用ハブディスプレイ６２００上に提示されるローカル器具表示６２０４は、現在使用中のステープルカートリッジ６２２４のアイコン、ステープルカートリッジ６２２４のサイズ６２２６（例えば、６０ｍｍ）、及びエンドエフェクタのナイフ６２２８の現在位置のアイコンなどの、エンドエフェクタ６２１８のアイコンを表示し得る。

【0228】

二次ディスプレイは、図５及び６に示されるようなディスプレイ２３７であってもよい。図６を参照すると、器具２３５上に位置するディスプレイ２３７は、外科用ハブ２０６への器具２３５の無線又は有線取り付け、並びに外科用ハブ２０６上の器具の通信及び／又は記録を表示することができる。設定は、ユーザが両方の監視装置への表示をミラーリング又は拡張することを選択することを可能にするように、器具２３５上に提供されてもよい。器具コントロールは、器具上に供給されている情報の外科用ハブディスプレイと相互作用するために使用されてもよい。器具２３５は、本明細書に記載されるように、外科用ハブ２０６と無線通信するための無線通信回路を備えてもよい。

【0229】

外科用ハブ２０６に連結された第１の器具は、外科用ハブ２０６に連結された第２の器具の画面と対になることができ、両方の器具が、一次ディスプレイの部分のミラーになる両方の２つの装置からの情報の何らかのハイブリッド組み合わせを表示することを可能にする。外科用ハブ２０６の一次ディスプレイ６２００は、側副構造を回避するために、手術部位６２０８の３６０°合成上部ビューを提供することができる。例えば、エンドエフェクタ外科用ステープラの二次ディスプレイは、現在の視野６２０６内の領域の周囲により良好な遠近感を提供するために、外科用ハブ２０６の一次ディスプレイ６２００内に、又は別のディスプレイ上に提供されてもよい。

【0230】

この二次ディスプレイはまた、滅菌野の外側の一次ディスプレイ上にどのような情報がどのように表示されるかを調整するための制御手段として使用され得る。これは、追跡、認識、又は支援する必要がある他の外科従事者情報をより良く強調表示することを可能にするであろう。

【0231】

これらの二次ディスプレイは、器具上にあってもよく、外科アクセスポートに隣接して患者の上方に位置決めされてもよく、又はユーザに装着されてもよい。これらのディスプレイは、マルチスペクトル撮像を変更し、通常のスコープフィード上のそのオーバーレイを制御し、確立された位置特性に基づいて手術前撮像をオーバーレイし、ディスプレイの周辺に表示される腋窩データ、又はその順序、若しくはサイズを調整することができ、ユーザが１つの画像又はデータセットを別のディスプレイ上で１つの位置から別の位置に移動させることさえ可能にすることができる。

【0232】

一次及び二次ディスプレイは、本明細書に記載されるようなジェスチャ認識システムを介して制御されてもよい。

【0233】

例えば、可視化制御パラメータは、外科処置の進行であってもよい。外科用ハブは、外科処置の進行に基づいて、一次ディスプレイ及び二次ディスプレイのための表示コンテンツを決定してもよい。

【0234】

可視化制御は、行われている外科処置の工程に従って調整され得る。状況認識は、外科処置の現在及び／又は次の工程を外科用ハブに通知することができる。例えば、外科用装置及び／又は発生器の以前の外科的行為及び／又は使用順序に基づいて、外科用ハブは、処置が現在結節切開工程にあるのか、血管横切断工程にあるのか、その他なのかなど、特定の外科処置のどの特定の工程が実施されているのかを判定することができる。外科用ハブ及び／又は発生器は、処置特有の工程又はコンテキストを判定することができる。

【0235】

例えば、外科コンテキストデータは、行われている外科処置の種類、外科医が行っている外科処置の特定の工程、手術されている組織の種類、又は処置の対象である体腔を含むことができる。受信されたデータから外科処置に関する情報を導出又は推測するための外科用ハブのいくつかの態様に係わるこの能力は、「状況認識」と称することもある。一例示では、外科用ハブは、図９及び図１０を参照して本明細書に記載されるように、状況認識システムを組み込むことができる。状況認識外科用ハブは、様々な受信された外科用データから外科処置に関するコンテキスト情報を導出することができる。そのような外科用データは、外科用ハブ５７０６に通信可能に連結されるモジュール式装置５１０２及び他のデータソース（例えば、データベース５１２２及び患者監視装置５１２４）からの周術期データを含み得る。

【0236】

本明細書に記載されるように、ハブは、外科処置の各段階で、及び／又は特定の数若しくは種類の外科用器具交換後に、特定の臨床医の最も一般的な使用を分析することによって、処置特有の工程又はコンテキストを学習及び予測することができる。同じ臨床医の挙動を、同じ工程を含む所定の回数の処置にわたって監視した後、ハブは、監視された過去の表示の臨床医との相互作用及び／又は臨床医によって示される制御に基づいて、ディスプレイ上に表示されるコンテンツを自動的に変更し得る。様々な例においてハブは、表示が調整される場合に、臨床医に通知を提供することができる。例えば、ハブ及び／又はディスプレイは、聴覚通知（例えば、ビープ音又は言葉による説明）、視覚的合図（例えば、画面上の点滅光及び／又は言葉）、及び／又は触覚警告（例えば、外科用装置の振動及び／又は動き、あるいはアクチュエータボタン自体のような外科用装置の一部）を提供することができる。他の例では、外科用ハブは、表示調整を推奨することができる。外科用ハブからの推奨は、本明細書で更に説明される。

【0237】

図４１は、状況認識能力をサポートする可視化制御モード下で動作するハブのための例示的なフローを示す。ハブは、１７６１０において、外科処置に関連付けられた可視化制御モードを取得することができる。ハブは、１７６１１において、少なくとも１つの外科用器具から周術期データを受信することができる。ハブは、１７６１２において、可視化制御モード及び周術期データの少なくとも一部に基づいて、外科的進行を決定することができる。

【0238】

外科処置の進行は、図９及び図１０に示されるような状況認識外科用システム５１００を使用して決定され得る。例えば、状況認識ハブ５１０４は、外科処置のどの工程が行われているか、又はその後に行われるかを決定することができる。状況認識ハブ５１０４は、受信されたデータに基づいて、事象が発生したかどうかを決定することができる。事象は、例えば、外科処置、外科処置の工程若しくは部分、又は外科処置若しくは外科処置の工程間の休止時間を含み得る。更に、外科用ハブ５１０４は、事象の時間長、事象の経過中に利用される外科用器具及び／又は他の医療製品、並びに事象に関連付けられた医療従事者など、特定の事象に関連付けられたデータを追跡することができる。外科用ハブ５１０４は、例えば、本明細書に記載されるような状況認識プロセスを介して、事象データを決定し得る。状況認識プロセスは、２０１８年３月２９日に出願された「ＳＵＲＧＩＣＡＬ ＨＵＢ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ」と題する米国特許出願第１５／９４０，６５４号（代理人整理番号ＥＮＤ８５０１ＵＳＮＰ）、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＦＯＲ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＯＲ ＳＵＲＧＩＣＡＬ ＮＥＴＷＯＲＫ ＣＯＮＮＥＣＴＥＤ ＤＥＶＩＣＥ ＣＡＰＡＢＬＥ ＯＦ ＡＤＪＵＳＴＩＮＧ ＦＵＮＣＴＩＯＮ ＢＡＳＥＤ ＯＮ Ａ ＳＥＮＳＥＤ ＳＩＴＵＡＴＩＯＮ ＯＲ ＵＳＡＧＥ」と題する米国特許出願第１６／２０９，４７８号（代理人整理番号ＥＮＤ９０１５ＵＳＮＰ１）、及び２０１８年１１月６日に出願された「ＡＤＪＵＳＴＭＥＮＴＳ ＢＡＳＥＤ ＯＮ ＡＩＲＢＯＲＮＥ ＰＡＲＴＩＣＬＥ ＰＲＯＰＥＲＴＩＥＳ」と題する米国特許出願第１６／１８２，２４６号（代理人整理番号ＥＮＤ９０１６ＵＳＮＰ１）に、より詳細に記載されており、それぞれの開示の全体が参照により本明細書に組み込まれる。

【0239】

図４１に戻って参照すると、決定された外科的進行及びディスプレイのタイプに基づいて、ハブは、次いで、１７６１３において、表示コンテンツを決定してもよい。１７６１４において、ハブは、決定された表示コンテンツを表示するようにディスプレイに命令することができる。

【0240】

例えば、ハブは、異なる表示コンテンツを、図２２に示される異なる例示的な処置工程に関連付けることができる。図示されるように、例示的な外科工程は、肺を分離すること、主要血管を管理すること、及び葉を除去することを含み得る。外科用ハブは、状況認識及び自動制御に基づいて、外科処置における現在の工程に特に関連する情報を示すようにディスプレイに命令してもよい。外科用ハブは、決定された外科処置の進行に基づいて、表示のための外科用データのタイプを決定することができる。外科用ハブは、決定された外科処置の進行上に、外科用データベースを表示するために、ＯＲ内のディスプレイの中からディスプレイを選択してもよい。

【0241】

例えば、解剖学的構造及び／又は手術部位のベースライン可視化は、手術部位における組織の操作及び切開の前など、外科処置の開始前に取得され得る。解剖学的幾何形状のベースライン可視化画像は、解剖学的構造の表面及びその境界の可視化を含み得る。そのようなベースライン可視化画像は、解剖学的構造内の局所領域が外科処置中に徐々に破壊、変更、又は他の方法で操作されるときでも、手術部位及び解剖学的構造の全体的な配向を維持するために使用され得る。

【0242】

例えば、外科用ハブは、特定のタイプの外科処置、外科処置の工程、組織のタイプ、及び／又は１つ若しくは２つ以上の特定の組織特徴を識別すると、ベースライン可視化画像を更新することができる。一例では、更新されたベースライン可視化画像は、横切開後、又は１つ若しくは２つ以上のステープル列の適用後に役立ち得る。特定の例において、元の解剖学的構造内の歪んだサブ領域は、新しいベースライン可視化画像を別々に作成し得るか、あるいは歪んだサブ領域の既存のベースライン可視化画像を更新して、画像オーバーレイを適切に通知し得る。例えば、患者の解剖学的構造の重要な領域は、腫瘍の除去又はその中での成長後に更新され得る。

【0243】

例えば、外科用ハブは、スペクトル撮像技法を使用して表示コンテンツを生成して、図２３に示されるように、異なる組織タイプ及び／又は解剖学的構造を可視化してもよい。図２３では、スペクトルエミッタ２３２０（例えば、スペクトル光源１５０）は、手術部位２３２５を可視化するために撮像システムによって利用され得る。スペクトルエミッタ２３２０によって放射され、手術部位２３２５の組織及び／又は構造から反射されたＥＭＲは、画像センサによって受信され、組織及び／又は構造を可視化することができ、この可視化は、可視であるか（例えば、手術部位２３２５の表面に位置している）、又は遮蔽されている（例えば、手術部位２３２５で他の組織及び／又は構造の下にある）かのいずれかであり得る。この例では、撮像システムは、様々な組織／構造タイプの各々について、構成材料の異なる吸収特徴（例えば、吸収係数）によって特徴付けられるスペクトルシグネチャに基づいて、腫瘍２３３２、動脈２３３４、及び様々な異常２３３８（すなわち、既知の、又は想定されるスペクトルシグネチャに対して確認できない組織）を可視化することが可能である。可視化された組織及び構造は、撮像システムディスプレイ、一次ディスプレイ、非滅菌ディスプレイ、ハブディスプレイ、装置／器具ディスプレイなど、撮像システムに関連付けられた又は連結された表示画面上に表示することが可能である。

【0244】

外科用ハブ、識別された組織及び／又は構造タイプに従って、表示された手術部位の可視化を調整、あるいは更新することができる。例えば、可視化されている腫瘍２３３２に関連付けられたマージン２３３０ａをディスプレイ上に表示することができる。マージン２３３０ａは、腫瘍２３３２を確実に完全に除去するように切除されるべき組織の面積又は量を示すことができる。制御システムは、撮像システムによって識別された組織及び／又は構造に基づいて、マージン２３３０ａの寸法を制御又は更新するように構成することができる。図示の例では、ＦＯＶ内で複数の異常２３３８を識別することができる。したがって、制御システム、この異常２３３８を包含するのに十分な寸法を有する第１の更新済みマージン２３３０ｂに合わせて、表示されたマージン２３３０ａを調節することができる。また、動脈２３３４は、最初に表示されたマージン２３３０ａ（動脈２３３４の強調表示された領域２３３６で示す）と部分的に重なっている動脈２３３４を識別することができる。外科用ハブは、この動脈２３３４の関連部分を包含するのに十分な寸法を有する第２の更新済みマージン２３３０ｃに合わせて、表示されたマージン２３３０ａを調節することができる。

【0245】

例えば、次の外科工程が組織の一部を切除することであると判定すると、外科用ハブは、提案された切除に対する変形の推定された変化をディスプレイ上に表示し得る。提案された切除線がデジタルモデルに追加されてもよく、このデジタルモデルは、仮想的な切除を伴って解剖学的構造を示すように更新され得る。再び図１３Ｂを参照すると、一例では、臨床医は、腫瘍２３３２を組織異常２３３８とともに除去するために、手術部位２３２５の組織から楔形部分を除去することを意図し得る。そのような場合、モデルは、楔形部分を取り除かれた器官を示すように更新され得る。更新されたモデルは、組織の変形、並びに既知の組織の機械的特性及び手術によって誘発される変形に基づいた組織内の計算された応力及び／又は歪みを描写することができる。例えば、組織は、特定の切除が組織上の歪みにどのように影響を与え得るかに関して臨床医が通知されるように、応力及び／又は歪みデータを伴って、影付き又は別様に層状にされ得る。いくつかの態様では、応力／歪みの値を示すために、応力／歪みデータが、応力／歪みの方向及び線タイプ又は色を示すベクトル線のセットとして、画像上にオーバーレイされてもよい。計算された応力及び歪みに基づいて、臨床医は、提案された切除を修正し、組織内の応力及び歪みを低減及び／又はより良好に分配するための代替戦略を検討し得る。例えば、切除の角度が修正されてもよい。特定の例では、臨床医は、好ましい歪み方向でステープルラインを再配向することができる。

【0246】

例えば、外科処置がビデオ支援胸腔鏡下手術（ＶＡＴＳ）処置であると決定すると、外科用ハブは、図２４及び図２５に示される例示的なコンテンツを示すように１つ又は２つ以上のディスプレイに命令することができる。ＶＡＴＳ処置は、１つ又は２つ以上の外科用器具及び１つ又は２つ以上の胸腔鏡（すなわち、カメラ）が患者の肋骨間に位置決めされたスリットを通して患者の胸腔内に挿入される外科処置である。カメラが利用されて、患者の胸腔の内部の視野が外科医に提供され、外科医は、外科用器具を適切に位置決め／移動させ、胸腔内の組織／構造を操作することが可能となる。外科医は、カメラを介して撮像システムによって何が表示されるかに基づいて外科用器具を制御するため、また、外科用器具は、カメラの視点と位置合わせされないことがあるため、外科用器具と撮像システムによって表示されたＰＯＶとの空間的関係は、表示された可視化をユーザがパニング、操作、及び再配向することを可能にする撮像システムの場合は特に、潜在的に誤配向され得る。

【0247】

図２４及び図２５は、ＶＡＴＳ処置に関連付けられた例示的な表示コンテンツを示す。この特定のＶＡＴＳ処置では、外科医は、肺６５０８の上葉の頂端セグメント内に位置する腫瘍６５０６を除去しようするかもしれない。図示されるように、外科医は、第２のリブ６５０１と第３のリブ６５０３との間にポート６５０２を配置して、ポート６５０２を通して挿入可能な外科用器具６５１０（例えば、外科用ステープラ）が腫瘍６５０６及び／又は胸腔内の周囲領域にアクセスするためのアクセス経路６５０４を設けている。外科用器具６５１０のアクセスの場所が選択されると、外科医は、カメラ６５２０ａ、６５２０ｂが手術部位の近傍で特許胸腔の内部を可視化することを可能にするように位置決めされた他のポート６５０２を通して、１つ又は２つ以上のカメラ６５２０ａ、６５２０ｂを配置することができる。この様式で手術部位を可視化することにより、外科医は、外科用器具６５１０のエンドエフェクタ６５１４を位置決め及び配向して、必要に応じて組織を操作する（例えば、腫瘍６５０６の周りの肺６５０８の一部分を切除する）ことが可能になる。特定の例示された例では、２つのカメラ６５２０ａ、６５２０ｂが利用されているが、異なる数のカメラが利用されてもよく、かつ／又は、カメラ６５２０ａ、６５２０ｂのうちの１つ若しくは２つ以上は、実行されている外科処置の特定タイプ及び／又は可視化される必要のある患者６５００の体内の領域に応じて、異なる様式で配向されてもよい。

【0248】

例えば、例示的な可視化制御モード下で動作するとき、外科用ハブは、ローカル座標系に基づいて、外科用器具に取り付けられたローカルディスプレイなどの二次ディスプレイを調整することができる。ローカル座標系は、外科用可視化座標系であってもよい。外科処置がＶＡＴＳ処置であると決定すると、外科用ハブは、ローカルに表示された座標系を外科用器具又は他の医療装置に送信して、器具／装置コントロールがローカル可視化座標系に対する動きを制御するように適応されることを可能にし得る。撮像システムから導出された少なくとも１つの測定値が、ローカル座標系を定義するために利用され得る。ローカルディスプレイ上に表示されるユーザ制御は、標準グローバル座標系又は別の座標系ではなく、ローカル座標系に対して再配向されてもよい。

【0249】

図２５に示され、表１に以下に記載されるように、様々な異なる座標系が、患者、装置、又は装置構成要素の異なるＰＯＶに関して定義され得る。更に、ユーザが表示された可視化を操作することを可能にする可視化制御モード下で動作するとき、外科医に表示されている仮想又は予測可視化に対応する「仮想」ＰＯＶを定義することができ、座標系もこれらのＰＯＶに従って定義することができる。そのような可視化の生成及び制御について、本明細書で更に説明される。

【0250】

【表1】

【0251】

座標系は、センサ測定及び／又は撮像システムによる測定に基づいて定義され得る。例えば、外科用器具ハンドル組立体６５１２、シャフト６５１３、又はエンドエフェクタ６５１４に関する座標系は、加速度計又はそれぞれの構成要素に関連付けられた別のそのようなセンサによる測定に従って定義され得る。別の例として、前述の座標系のいずれかは、互いに対する物体の相対距離及び／又は位置の測定値に基づいて定義されてもよく、あるいは、撮像システムを介して物体を撮像することによって決定されるグローバル座標系であってもよい。

【0252】

図２６に示される例では、外科用器具６５１０は、提供された変換関数を利用して、コントロール６５１８及び表示画面６５１６が更新された座標に基づいて調整されるべきであると判定する。様々な例において、状況認識は、本明細書で更に説明されるように、コントロール６５１８及び／又は表示画面６５１６が更新されるときに通知することができる。表示画面６５１６は、図２６の左側に示される第１の配向から、図２６の右側に示される第２の配向に調整されたＧＵＩ６５１７を表示することができ、そのため、ＧＵＩ６５１７は外科医が外科用器具６５１０を制御するために適切に配向されることが確実となっている。一態様では、ＧＵＩ６５１７は、外科器具６５１０によって利用されているＰＯＶ又は座標系を示すＧＵＩ要素６５２４（例えば、アイコン）を更に含み得る。この例では、ＧＵＩ要素６５２４は、可視化システム２１０８によって表示されるＰＯＶが、装置座標系（「ＤＶＣ」）から、可視化システム２１０８によって表示される画像／ビデオと関連付けられたローカル座標系（「ローカル」）に変化したことを示すようにシフトする。

【0253】

一例として、更新された座標に従って調整された外科用器具コントロール６５１８は、関節運動コントロールを含み得る。関節運動コントロールは、例えば、外科器具６５１０を第１の方向に関節運動させるように構成された第１のコントロール６５１９ａと、外科器具６５１０を第２の方向に関節運動させるように構成された第２のコントロール６５１９ｂと、を含み得る。関節運動コントロール６５１９ａ、６５１９ｂは、例えば、ロッカー、トグル、又は別個のアクチュエータ及び／又はボタンとして具体化され得る。この例では、外科用器具６５１０は、外科用器具６５１０の配向の変化に応答して、第１の関節運動コントロール６５１９ａと第２の関節運動コントロール６５１９ｂに機能を交換させている。言い換えれば、第１の関節運動コントロール６５１９ａを作動させることは、代わりに、外科器具６５１０を第２の方向に関節運動させることになり、第２の関節運動コントロール６５１９ｂを作動させることは、外科器具６５１０を第１の方向に関節運動させることになる。したがって、関節運動コントロール６５１９ａ、６５１９ｂの機能は、ユーザに表示される外科用器具６５１０又はその構成要素（例えば、エンドエフェクタ６５１４）の配向に従って設定され得る。

【0254】

追加的又は代替的に、特定の例では、表示画面６５１６上のＧＵＩ６５１７が調整され得る。例えば、ＧＵＩ６５１７は、ハンドル組立体６５１２が反転されたときに反転され得る。特定の例では、ＧＵＩ６５１７は、外科医がＧＵＩ６５１７と相互作用することによって座標系間を切り替えることができるように、タッチスクリーンを含み得る。例えば、外科医は、ＧＵＩ６５１７と相互作用することによって、装置ＰＯＶ、ローカルＰＯＶ、及び／又は１つ若しくは２つ以上の他のＰＯＶの間で切り替えることができる。

【0255】

例示的な可視化制御モード下で動作するとき、外科用ハブは、例えば、現在の外科工程が拡大された可視化視野範囲から利益を得る可能性があると判定すると、異なるソースからの画像を融合して、可視化視野範囲を拡大することができる。例えば、外科用ハブは、現在の外科工程が血管を切開することであると判定すると、異なるソースから融合画像を生成して送信してもよい。

【0256】

撮像システムの可視化視野内の物体の３Ｄ表現が作成されてもよく、３Ｄ形状は、ユーザが、手術部位をより良好に可視化するために、確立された座標系に対して表示された可視化を変更することを可能にするように特徴付けられてもよい。３Ｄ表現は、リアルタイムソース又は非リアルタイムソース（例えば、ＣＴスキャン又はＭＲＩ）から生成された画像から生成され得る。一態様では、構造化光又は構造化ＥＭＲを投影して、リアルタイムで追跡することができる構造化３Ｄ形状を作成することができる。これらの３Ｄ形状は、ディスプレイによって表示されるＰＯＶが、スキャンソースのローカル座標系から離れるように移動又は回転されて、ディスプレイを通じたユーザの視点を改善するように生成され得る。

【0257】

図２７は、ＶＡＴＳ処置中のカメラの例示的なＦＯＶ６５７０を示す。この特定の例示的な処置の標的は、肺６５０８の上葉６５８０の頂端セグメント内に位置する腫瘍６５０６である。胸壁６５０９、静脈６５７４、動脈６５７６、気管支６５７８、上葉６５８０を描写する亀裂６５８２、肺動脈６５８４、及び肺静脈６５８６を含めて、多くの生物学的構造がこのＦＯＶ６５７０内で識別可能である。外科医によって制御される外科用器具６５１０のエンドエフェクタ６５１４及びシャフト６５１３を含めて、非生物学的物体はまたＦＯＶ６５７０内でも視認可能である。例示的な撮像システムでは、そのようなビューは、利用されている任意の追加のカメラ６５２０からの任意の対応するビューと組み合わせて、ビデオ支援処置を実施する外科医に利用可能な唯一のビューとなろう。これらのカメラは、外科処置を実施するための適切な可視化視野範囲を外科医に提供することを意図して配置されているが、カメラ６５２０によって提供される可視化視野範囲は、究極的には、外科処置における各工程又はタスクを実施するための理想的なＦＯＶ６５７０を提供しない場合もあり、あるいは外科医の視野を妨げる想定外の障害物が手術部位に存在する場合もある。更に、カメラ６５２０を手術中に再位置決め又は再配向することは、処置の外科的制約が原因で、場合によっては非実用的又は不所望となり得る。

【0258】

外科用システムは、手術前画像及び手術中画像を含む手術部位の複数の画像を組み合わせて、手術部位又は手術部位に位置する組織及び／若しくは構造の３Ｄ表現を生成することによって、カメラによって提供される可視化視野範囲を拡張するように構成され得る。外科処置の間、ユーザは次いで、撮像システム１４２によって表示される３Ｄ表現を操作して、処置で利用されるカメラのＦＯＶ６５７０の範囲外の配向から手術部位を可視化することができる。そのような再配向されたビューは、上記のように「仮想ＰＯＶ」と呼ばれ得る。したがって、外科用システムは、カメラによって提供されるＦＯＶ６５７０を補足し、外科医が外科処置中に手術部位の表示された可視化を動的に調整して、外科的タスクのうちの１つ又は２つ以上を実施するための理想的な視認ＰＯＶを見つけることができる。

【0259】

ローカルに表示される座標系は、２０１９年１２月３１日に出願された「ＤＹＮＡＭＩＣ ＳＵＲＧＩＣＡＬ ＶＩＳＵＡＬＩＺＡＴＩＯＮ ＳＹＳＴＥＭＳ」と題する米国特許出願第１６／７２９，７４７号（代理人整理番号：ＥＮＤ９２１７ＵＳＮＰ１）に更に記載されており、その全体が参照により本明細書に組み込まれる。

【0260】

図４２は、調整された表示事象に基づいてディスプレイを調整することをサポートする可視化制御モード下でのハブの動作の例示的なフローを示す。１７６２０において、ハブは、少なくとも１つの外科用器具からデータを受信することができる。１７６２１において、ハブは、周術期データに少なくとも部分的に基づいて、外科的コンテキストを検出することができる。ハブは、１７６２２において、外科的コンテキストに基づいて、外科的コンテキストが調整された表示事象に対応するかどうかを決定することができる。外科的コンテキストが調整された表示事象を含む場合、ハブは、１７６２３に記載されるように、調整された表示事象に基づいて１つ又は２つ以上のディスプレイのための表示コンテンツを調整してもよい。調整された表示事象は、ストレスの多い処置工程、重大な処置工程、及び／又は所定の処置工程を含んでもよい。

【0261】

例えば、外科用ハブは、現在の外科工程がストレスの多い処置工程、重要な処置工程、又は所定の処置工程であると判定すると、ディスプレイにおける表示形式及び／又は表示コンテンツをフォーカスモードに調整してもよい。

【0262】

図３３は、システムの例示的な状況認識能力によって検出され得る例示的な処置工程及び進行を示す。特定の工程は、手術の成功に重要であると考えられ得るか、又は高いストレスレベルと関連付けられ得る。例えば、ＩＭＡ分枝を結紮すること、網と結腸との間の平面にアクセスすること、深刻な血友病者を管理すること、セグメント「結腸を分離する」の下に示されるように、網及び脾臓及び結腸から脾湾曲部を解放することは、外科用ハブによるストレスの多い処置工程と考えられ得る。図３３に示すように、セグメント「Ｓ状結腸を切除する」の下の直腸Ｓ状結腸移行部の下で遠位Ｓ状結腸を横切開すること、及びセグメント「吻合を前もって形成する」下の円形ステープラを発射することなどの工程は、表示コンテンツ及び／又は表示形式の変更の理由となり得る、ストレスの多い処置工程とみなされ得る。

【0263】

例えば、表示コンテンツは、画像内の標的にズームインすること、第１の表示コンテンツから無関係な情報を除去すること、及び／又は腹腔鏡スコープ画像の一部を強調することによって調整され得る。

【0264】

調整された表示事象は、外科処置に関連付けられた異常の検出、受信された外科用データが想定される値の範囲外であること、又はシステムパラメータが望ましいシステムパラメータ範囲外であることを含み得る。表示コンテンツは、検出された異常の警告、エラーメッセージ、又は指示をハブディスプレイ（例えば、メインモニタ）上に投影することによって調整されてもよい。表示コンテンツは、検出された異常の警告、エラーメッセージ、又は指示をディスプレイ上にオーバーレイすることによって調整されてもよい。

【0265】

調整された表示事象は、使用のための工程がシーケンスから外れていることの検出を含んでもよい。例えば、外科用器具の使用のための処置工程は、外科用器具に取り付けられたディスプレイなどの装置画面上に表示され得る。受信された周術期データに少なくとも部分的に基づく外科的コンテキストに基づいて、状況認識ハブは、外科用器具の使用のための工程がシーケンスから外れていることを検出し得る。検出されると、一次ディスプレイ（例えば、メイン画面）上の表示コンテンツは、シーケンスから外れている外科用器具の使用のための工程の指示を示すように調整され得る。早期アクションが識別された場合、外科用ハブは、推奨される工程の指示を示すように一次ディスプレイに命令してもよい。例えば、クランプ時間の前に発射トリガが引かれていることを感知すると、外科用ハブは、一次ディスプレイ上の表示コンテンツを調整して、発射前に待機又はカウントダウンするようにユーザに指示する指示を示してもよい。

【0266】

例では、表示コンテンツは、特定のデータを別のディスプレイに移動させることによって調整され得る。相互作用可能なディスプレイは、例えば、外科医などの医療専門家から、データが表示される場所の選択を示す、ユーザ指示を受信してもよい。選択は、特定の外科的工程、ストレスの多い処置工程、重大な処置工程について、及び／又は外科処置に関連付けられた異常が検出された事象において示されてもよい。コンテンツは、表示のために選択された表示位置に送信されてもよい。

【0267】

図４２に戻って参照すると、外科的コンテキストが調整された表示事象を含まない場合、ハブは、１７６２４において、ディスプレイに追加の調整を行うことを控えることができる。

【0268】

例では、ＡＲ装置及び少なくとも１つのスマート外科用装置と通信するハブは、別の外科用ディスプレイ上に情報を重畳する外科用ディスプレイのインタラクティブオーバーレイを提供することができる。外科用ディスプレイは、手術室内のＡＲ装置に接続してもよい。ＡＲ装置は、ハブから受信された追加のデータセット又はデータストリームを、外科用ディスプレイ又はスマート装置上のディスプレイなどのディスプレイ上にオーバーレイ又は重畳してもよい。このインタラクティブオーバーレイは、ＡＲ装置のユーザが画面を見ているときに、ユーザが画面上にデータをレイヤ化することを可能にし得る。外科用ハブは、ユーザが見ているディスプレイに基づいて、層データを調整してもよい。例えば、ハブは、ユーザが１つのディスプレイから別のディスプレイを見るときに層データを調整することができる。ＡＲ装置は、モニタ又は装置画面上の表示データを調整することができる。例えば、表示制御指示は、ＡＲ装置から受信され得る。それに応答して、外科用ハブは、受信された表示制御指示に基づいて、モニタ又は装置画面上に表示するためのコンテンツを調整することができる。

【0269】

ＡＲ装置は、例えば、ＯＲ音の代わりではなく、ＯＲ音を聴くことに加えて、聴覚オーバーレイを提供してもよい。ＡＲシステムは、特定の情報を、その情報を利用することができるＯＲ内の標的とされる個人にのみ通信することができる。

【0270】

ＡＲコンテンツは、ＡＲ装置の位置に基づいて有効化又は無効化され得る。例えば、外科用ハブは、ＡＲ装置が外科手術室の境界の外側にあることを検出し得る。それに応答して、外科用ハブは、ＡＲコンテンツをＡＲ装置に送信することを無効化することができる。

【0271】

図３９は、二次ディスプレイが拡張現実（ＡＲ）装置である、可視化制御モード下でのハブ動作のための例示的なフローを示す。１７５２０において、ハブは、可視化制御モードを取得することができる。ハブは、１７５２１において、ＡＲ装置である二次ディスプレイを識別することができる。

【0272】

図３９に示すように、ハブは、１７５２２において、可視化制御モードに基づいて、二次ディスプレイを介してオーバーレイするための、一次ディスプレイに関連付けられたオーバーレイ情報を生成するかどうかを決定することができる。可視化制御モードがＡＲ能力をサポートする場合、ハブは、１７５２４において、二次ディスプレイを介してオーバーレイするための、一次ディスプレイに関連付けられた情報の生成を無効化し得る。

【0273】

二次ディスプレイは、ＡＲ装置であってもよく、又はそれを含んでもよい。ＡＲ装置は、ヘッドマウントディスプレイ（head-mounted display、ＨＭＤ）を含んでもよい。ＨＭＤは、プロセッサと、非一時的コンピュータ可読メモリストレージ媒体と、本明細書に開示される方法又は方法の一部を実行するプロセッサによって実行可能である、ストレージ媒体内に含まれる実行可能命令と、を含んでもよい。ＨＭＤは、表示のための２Ｄ又は３Ｄビデオ及び／撮像をレンダリングするためのグラフィックスプロセッサを含み得る。

【0274】

図１８は、外科処置中にハンドル組立体筐体及び無線回路基板を含む外科用器具を使用する外科医の斜視図を描写し、外科医は、一式の安全眼鏡を装着している。安全眼鏡は、二次ディスプレイとして機能し得るＡＲ装置であってもよく、又はそれを含んでもよい。無線回路基板は、手技中、外科用器具を使用する外科医が着用している安全眼鏡に信号を送信する。信号は、安全眼鏡上の無線ポートにより受信される。安全眼鏡の前部レンズ上の１つ又は２つ以上の点灯装置は、受信した信号に応答して変色し、又は光を消失し、又は白熱して、外科用器具のステータスに関する情報を外科医に示すことができる。点灯装置は、外科医の真っ直ぐな視線を妨げないように、前部レンズの周縁上に配置可能である。更なる例が、２０１５年４月２１日に出願された「ＳＵＲＧＩＣＡＬ ＩＮＳＴＲＵＭＥＮＴ ＷＩＴＨ ＳＡＦＥＴＹ ＧＬＡＳＳＥＳ」と題する米国特許第９，０１１，４２７号に記載されており、その全体が参照により本明細書に組み込まれる。

【0275】

図１８は、外科処置中、医療用装置を使用している間、外科医６９９２が着用し得る安全眼鏡６９９１の一変形物を示す。使用時、外科用器具６９９３内に収容されている無線通信ボードは、安全眼鏡６９９１上の無線ポート６９９４と通信し得る。例示的な外科用器具６９９３は電池式の装置であるが、器具６９９３は、ケーブル又はその他の方法により電力を供給されてもよい。器具６９９３は、エンドエフェクタを含む。特に、無線通信ボード６９９５は、矢印（Ｂ、Ｃ）で示される１つ又は２つ以上の無線信号を、安全眼鏡６９９１の無線ポート６９９４に送信する。安全眼鏡６９９１は信号を受信し、受信した信号を分析し、信号により受信された、示されたステータス情報を、安全眼鏡６９９１を着用している外科医６９９２などのユーザに、レンズ６９９６上にて表示する。追加的又は代替的に、無線通信ボード６９９５は、上述したように無線信号を外科用モニタ６９９７に送信し、それにより外科用モニタ６９９７は、受信された、示されたステータス情報を外科医６９９２に表示することができる。

【0276】

安全眼鏡６９９１の一変形物は、安全眼鏡６９９１の周縁に点灯装置を含むことができる。点灯装置は、安全眼鏡６９９１が安全眼鏡６９９１を着用しているユーザに通信する器具６９９３の周辺視覚感覚フィードバックを提供する。点灯装置は、例えば、発光ダイオード（「light-emitted diode、ＬＥＤ」）、一連のＬＥＤ、又は当業者に既知であり、また本明細書の教示を考慮すれば当業者には明らかである他の任意の好適な点灯装置であってもよい。

【0277】

図３９に示すように、可視化制御モードがＡＲ能力をサポートする場合、１７５２３において、ハブは、二次ディスプレイのユーザが一次ディスプレイを見ていることを検出すると、二次ディスプレイを介して、オーバーレイ情報を一次ディスプレイ上にオーバーレイし得る。

【0278】

一例では、一次ディスプレイは、医療用撮像装置から外科手術室内の手術部位のライブストリームを表示することができ、二次ディスプレイは、ＡＲ眼鏡とすることができる。一例として、ＡＲ眼鏡を着用して腹腔鏡手術を行う医師は、画面上の腫瘍オーバーレイの画像を見ることができる。ハブが、医師が患者を見下ろしていることを（例えば、本明細書に記載されるジェスチャ認識を介して、ＨＭＤベースの動き追跡を介して、ＡＲ眼鏡によって取り込まれた画像に基づく画像認識を介して）検出すると、ハブは、ＡＲ眼鏡に、患者内の装置の配向を伴って、腹腔鏡画像をＡＲコンテンツとオーバーレイするように命令してもよい。これは、医師が、患者内の装置の配向とのオーバーレイを見ることを可能にし得る。腫瘍は三次元空間にあるので、医師は、ＡＲ眼鏡の助けを借りて、組織の外側ドレーピングしか見ることができないが、医師は、外科用器具をより良好に配向することができる。

【0279】

特定のＡＲ装置と通信する外科用ハブは、ＯＲ内の標的とされる表示に基づいて異なるオーバーレイを生成し、送信することができる。ユーザは、互いに干渉することなく、異なるディスプレイを見るときに異なるオーバーレイを観察することができる。ハブは、ＯＲ室内の異なるディスプレイ、特定の状況、外科用装置から受信された情報、特定のユーザ要件、及び／又は特定の手術処置に基づいて、オーバーレイに含まれる情報を調整することができる。

【0280】

標的ＡＲコンテンツをサポートする例示的な可視化制御モードでは、個々のユーザは、共有ディスプレイと協調して機能し得る異なるディスプレイ装置を有し得る。異なるディスプレイ装置には、共有ディスプレイ上にオーバーレイするための異なるＡＲコンテンツが提供され得る。これにより、ユーザは、自分だけが見ること及び／又は相互作用することができる個人的に向けられた情報又はオーバーレイされたデータを見ることができる。例示的なインタラクティブ外科用システムは、２０１８年３月２９日に出願された「ＳＵＲＧＩＣＡＬ ＨＵＢ ＳＰＡＴＩＡＬ ＡＷＡＲＥＮＥＳＳ ＴＯ ＤＥＴＥＲＭＩＮＥ ＤＥＶＩＣＥＳ ＩＮ ＯＰＥＲＡＴＩＮＧ ＴＨＥＡＴＥＲ」と題する米国特許出願第１５／９４０，６７１号（代理人整理番号ＥＮＤ８５０２ＵＳＮＰ）に詳細に記載されており、その全体が参照により本明細書に組み込まれる。

【0281】

ユーザの知覚の拡張は、例えば、ＡＲ眼鏡又はローカルディスプレイを介した視覚であり得る。例えば、図２８、図３４Ａ～図３４Ｃは、ユーザの知覚の例示的な視覚拡張を提供する。更なる視覚拡張の例は、２０１８年３月２９日に出願された「ＵＳＥ ＯＦ ＬＡＳＥＲ ＬＩＧＨＴ ＡＮＤ ＲＥＤ－ＧＲＥＥＮ－ＢＬＵＥ ＣＯＬＯＲＡＴＩＯＮ ＴＯ ＤＥＴＥＲＭＩＮＥ ＰＲＯＰＥＲＴＩＥＳ ＯＦ ＢＡＣＫ ＳＣＡＴＴＥＲＥＤ ＬＩＧＨＴ」と題する米国特許出願第１５／９４０，７０４号（代理人整理番号ＥＮＤ８５０４ＵＳＮＰ）に記載されており、その全体が参照により本明細書に組み込まれる。

【0282】

ユーザの知覚の拡張は、例えば、可聴であり得る。可聴オーバーレイは、通過雑音能力を有するイヤホンセットを介して、及び／又は骨伝導スピーカシステムを介して提供されてもよい。

【0283】

外科用ハブは、本明細書に記載されるようなその状況認識能力に基づいて、視覚、可聴、及び／又は他のタイプのユーザ知覚拡張を調節してもよい。ＡＲコンテンツは、例えば、検出された外科的進行に基づいて調整され得る。ＡＲコンテンツは、ユーザが行っているアクション、音声コマンド、手のジェスチャに基づいて、及び／又は所定の様式で調整されてもよい。ＡＲ装置は、事前にカスタマイズ可能な様式でユーザによって動作するように命令され得る。

【0284】

ＡＲコンテンツは、手術前撮像、手術中撮像、器具データ、又は処置命令を含み得る。手術中撮像は、インドシアニングリーン（indocyanine green、ＩＣＧ）蛍光撮像介して取得することができる。ＡＲコンテンツは、別の接続されたシステムから受信されるリアルタイム外科用データを含み得る。ＡＲコンテンツは、使用のための工程、装置設定、使用のための装置命令、装置ステータス、動作パラメータ、検出された不規則性、又は器具動作から導出されたデータの何らかの組み合わせを含み得る。

【0285】

図４３は、ＡＲ能力を有する可視化制御モード下でのハブ動作の例示的なフローを示す。ハブは、１７７０１において、複数のＡＲ装置を制御するためのＡＲ制御パラメータを取得することができる。複数のＡＲ装置を制御するためのＡＲ制御パラメータは、ユーザ役割、ディスプレイに対するユーザの配向、外科処置の進行、外科的コンテキスト、リアルタイムユーザ入力、及び／又は事前構成されたユーザ選好を含み得る。

【0286】

１７７０２において、ハブは、次いで、ＡＲ制御パラメータに基づいて、異なるＡＲ装置を介してオーバーレイするための異なるＡＲコンテンツを決定し得る。異なるＡＲ装置のための決定されたＡＲコンテンツに基づいて、ハブは、１７７０３において、それぞれのＡＲコンテンツをそれぞれのＡＲ装置に送信することができる。

【0287】

ＡＲコンテンツは、外科用器具に関連付けられた使用のための工程、装置設定、装置ステータス、使用のための装置命令、少なくとも１つの動作パラメータ、又は検出された異常の指示を含み得る。

【0288】

ＡＲ制御パラメータは、ディスプレイに対するユーザの配向であってもよく、異なるＡＲ装置を介してオーバーレイするための異なるＡＲコンテンツは、ディスプレイに対するユーザの配向に基づいて決定されてもよい。図４６は、種々のディスプレイ上のオーバーレイを可能にするＡＲ能力を有する可視化制御モード下でのハブ動作の例示的なフローを示す。ハブは、１７７３０において、ＡＲ制御パラメータを取得し得る。ハブは、１７７３１において、ＡＲ制御パラメータに基づいて、ＡＲ装置を介してディスプレイ上にオーバーレイするためのオーバーレイデータを決定することができる。ハブは、１７７３２において、ディスプレイを見ているＡＲ装置のユーザを検出することができる。ハブは、１７７３３において、ＡＲ装置を介して、ディスプレイ上に表示されるコンテンツ上にオーバーレイデータをオーバーレイすることができる。例えば、ユーザがディスプレイを見ていると判定すると、ハブは、そのディスプレイに関連付けられたＡＲコンテンツ（例えば、ディスプレイ上に表示されたコンテンツに関連付けられたＡＲコンテンツ）を生成し、オーバーレイしてもよい。ユーザがディスプレイを見ていないと決定すると、ハブは、ディスプレイに関連付けられたＡＲコンテンツをＡＲ装置から除去し得る。

【0289】

例において、ＡＲ制御パラメータは、ＡＲ装置に関連付けられたユーザ役割であってもよい。異なるＡＲ装置を介してオーバーレイするための異なるＡＲコンテンツは、各ＡＲ装置に関連付けられたユーザ役割に基づいて生成され得る。

【0290】

図４５は、役割ベースのＡＲ能力を有する可視化制御モード下でのハブ動作の例示的なフローを示す。ハブは、１７７２１において、第１のＡＲ装置に関連付けられた第１のユーザ役割を識別することができる。ハブは、１７７２２において、第１のユーザ役割に基づいて、第１のＡＲコンテンツのための第１のオーバーレイデータセットを決定することができる。次いで、ハブは、１７７２３において、第１のＡＲ装置に関連付けられた第２のユーザ役割を識別することができる。ハブは、１７７２４において、第２のユーザ役割に基づいて、第２のＡＲコンテンツのための第２のオーバーレイデータセットを決定することができる。

【0291】

例えば、外科用ハブは、ＡＲ装置に関連付けられたユーザ役割と、ディスプレイに関連付けられたディスプレイタイプとを識別し得る。外科用ハブは、ディスプレイタイプ及びユーザ役割に基づいて、ＡＲ装置を介してディスプレイ上に表示されるコンテンツ上にオーバーレイするためのＡＲコンテンツを決定し得る。ディスプレイタイプは、スマート外科用器具上に位置する器具ディスプレイ、手術室内の共有ディスプレイ、又はパーソナルディスプレイであってもよい。ＡＲコンテンツは、ＡＲコンテンツが重畳され得るディスプレイのディスプレイタイプに基づいて調整され得る。例えば、ディスプレイが、より大きい画面を有するディスプレイであるとき、ＡＲコンテンツは、共有ディスプレイ上の画像に適合するようにサイズアップされてもよい。ディスプレイが外科用装置ディスプレイであるとき、ＡＲコンテンツは、より小さい画面に対応するようにサイズダウンされ得る。例えば、ディスプレイが外科用装置ディスプレイである場合、外科用装置ディスプレイに適合しない可能性がある外科情報をＡＲコンテンツに追加して、そのような情報をユーザに利用可能にすることができる。

【0292】

図２１は、複数のユーザによって制御され得る拡張現実システムを示す。図示されるように、システムは、器具１７１００（ａ）、一次ディスプレイ１７１００（ｂ）、他のディスプレイ１７１００（ｃ）、外科用ハブ１７１０４、及びスマート装置１７１００（ｄ）を含む、種々のＯＲディスプレイ１７１００を含んでもよい。ユーザ１７１２０（Ａ）、１７１２０（Ｂ）、及び１７１２０（Ｃ）によって装着されるハブ１７１０４及びＡＲ装置は、オーバーレイデータ層１７１１０（ａ）～１７１１０（ｅ）の事前定義されたセットを種々のＯＲディスプレイ１７１００（ａ）～１７１００（ｅ）上に重畳することができる。医療専門家ユーザ１７１２０（Ａ）、（Ｂ）、及び（Ｃ）はそれぞれ、本明細書に記載されるようなＡＲディスプレイ、ＡＲゴーグル、又はＨＭＤを有する安全眼鏡などの拡張現実装置を装着してもよい。外科用ハブ及び／又はＡＲ装置は、特定のディスプレイ及びオーバーレイデータ層へのアクセスを制御することができる。

【0293】

ＡＲ装置上に表示されるＡＲコンテンツは、そのユーザの役割、状況認識関連データ、及び／又は可視化制御モード（サブスクリプション層など）に基づいて生成されてもよい。図示されるように、ユーザ１７１２０（Ａ）のＡＲ装置は、１７１２０（Ａ）のユーザ役割、動作状況、及び／又はシステムの階層レベルに基づいて、オーバーレイ１７１１０（ａ）～１７１１０（ｅ）を受信してもよく、ユーザ１７１２０（Ｂ）のＡＲ装置は、オーバーレイ１７１１０（ｂ）～１７１１０（ｅ）のみを受信してもよい。図２１に示されるように、ユーザ１７１２０（Ａ）のＡＲ装置及びユーザ１７１２０（Ｂ）のＡＲ装置が受信するオーバーレイデータ層のサブセットは、同じであり得るが、装置において受信されるオーバーレイデータ層のうちのいくつかは、異なり得る。オーバーレイデータ層１７１３０の例示的なインタラクティブセットは、手術前撮像、手術中撮像、器具データ、処置情報、及び／又は上記に基づいて生成されたデータを含むことができる。一例として、ユーザ１７１２０（Ａ）、１７１２０（Ｂ）及び１７１２０（Ｃ）は、それらの異なる役割及び状況の異なる工程に基づいて、オーバーレイの異なるセットにアクセスすることができる。

【0294】

図４４は、ＡＲ能力を有する可視化制御下でのハブ動作の例示的なフローの例を示す。１７７１１において、ハブは、本明細書に記載されるように、ＡＲ制御パラメータを取得し得る。１７７１２において、ハブは、外科用器具から、ディスプレイ上に表示するためのデータストリームを取得することができる。データストリームは、患者内の手術部位のビデオ画像であってもよく、又はそれを含んでもよい。ハブは、１７７１３において、ＡＲ制御パラメータに基づいて、第１のＡＲ装置を介してディスプレイ上に表示されたデータストリーム上にオーバーレイするための第１のＡＲコンテンツを決定することができる。第１のＡＲコンテンツは、外科用器具の使用のための工程、装置設定、装置ステータス、使用のための装置命令、少なくとも１つの動作パラメータ、又は検出された異常の指示を含み得る。１７７１４において、ハブは、ＡＲ制御パラメータに基づいて、第２のＡＲ装置を介してディスプレイ上に表示されるデータストリーム上にオーバーレイするための第２のＡＲコンテンツを決定することができる。１７７１５において、ハブは、表示のためのそれぞれのＡＲ装置のための決定されたＡＲコンテンツに基づいて、ＡＲコンテンツをそれぞれのＡＲ装置に送信することができる。

【0295】

拡張現実コンテンツをサポートする例示的な可視化制御モードでは、外科用ハブは、ディスプレイ上の解剖学的構造モデル上に外科情報をオーバーレイすることができる。例えば、ＡＲ装置に関連付けられたユーザが外科医であるという判定に基づいて、外科用ハブは、腫瘍、腫瘍縁、及び可能性のある肺気腫の可視化を含むＡＲコンテンツをＡＲ装置に送信してもよい。例えば、ＡＲ装置に関連付けられたユーザが外科医の助手であるという判定に基づいて、外科用ハブは、支援を必要とする工程外科工程、装置設定、及び／又は装置ステータスを含むＡＲコンテンツを送信してもよい。

【0296】

図２８は、ＡＲ装置から見ることができる例示的な表示５０２０を示す。表示２０２０は、ＡＲコンテンツでオーバーレイされた画面上に表示される画面コンテンツを含む。表示５０２０は、情報インデックス５０２２及び外科用可視化システムの制御システムによって生成された解剖学的構造５０２４のモデルを描写することができる。解剖学的構造５０２４は、罹患しておらず、また重要な構造によって占められてもいない無影響の組織５０２６を含み得る。解剖学的構造５０２４のモデルは、対象組織５０２８、所定のマージン５０３０、切除マージン５０３２、解剖学的構造５０２４の第１の特徴５０３４、及び調整された切除マージン５０３６などの検出及び／又は決定された特徴を描写することができる。外科用可視化システムの制御システム１３３は、解剖学的構造５０２４のこれらの検出された特性の各々を特定の色で指定しており、表示５０２０は、図２８のクロスハッチングで表されるように、検出された特性のそれぞれをその特定の指定された色で描写することができる。情報インデックス５０２２は、各特定の色と、その指定された検出された特徴に関連する情報との相関関係を描写することができる。例えば、図２８の情報インデックス５０２２は、各特定の色を解剖学的構造５０２４の対応する特性のテキスト記述と相関させる。他の態様では、情報インデックス５０２２は、各特定の色を対応する特徴に関連する付加情報と相関させる。

【0297】

図２８に描写するように、外科用可視化システムは、解剖学的構造５０２４内の対象組織５０２８を検出することができる。表示５０２０の情報インデックス５０２２は、検出された対象組織５０２８が腫瘍であることを示すことができる。外科用可視化システムの制御システムのメモリに記憶された命令は、腫瘍のサイズ、幾何学的形状、及び／又はタイプを含む腫瘍の検出された質に基づいて、対象組織５０２８の周囲に所定のマージン５０３０を適用するように制御回路に命令することができる。したがって、制御システム１３３は、切除マージン５０３０に特定の色を指定することができ、情報インデックス５０２２は、特定の色を切除マージン５０３０に関連付けられた付加情報と相関させることができる。外科用可視化システムの制御回路は、検出された対象組織５０２８及び所定のマージン５０３０を考慮して、対象組織５０２８の周囲の切除マージン５０３２を決定することができる。図２８の表示５０２０では、切除マージン５０３２は、意図された外科用器具の能力に対応する解剖学的構造５０２４の周囲の線セグメントで描写されている。例えば、外科用器具は、組織を線形ストロークで切断する前にステープル留めするように構成された外科用ステープラであってもよい。しかしながら、表示５０２０は代替的に、他の外科用器具が実装される場合には、切除マージン５０３２を描写してもよい。

【0298】

図２８の表示５０２０は、外科用可視化システムによって検出された解剖学的構造５０２４の特徴５０３４を描写する。図２８の表示５０２０の情報インデックス５０２２は、解剖学的構造５０２４の検出された特徴５０３４が気腫によって損傷した組織５０２６であることを示すことができる。ＡＲコンテンツは、解剖学的構造５０２４の特徴５０３４を横断することができる、図２８の最初に決定された切除マージン５０３２を含むことができる。外科用可視化システムの制御回路は、特徴５０３６、対象組織５０２８、及び所定のマージン５０３０を包含するように、調整された切除マージン５０３６を決定することができる。ＡＲコンテンツは、破線を介する調整された切除マージン５０３６を含み得る。そのようなＡＲコンテンツは、最初に決定された切除マージン５０３２又は調整された切除マージン５０３６のいずれかを手術中の臨床医が選択することを可能にしてもよい。他の態様では、表示５０２０は、制御システムのメモリに記憶された命令に基づいて、手術中の臨床医を調整された切除マージン５０３６に制限する。

【0299】

例えば、ＡＲコンテンツは、手術計画及び／又は重要構造検出などのために生成されてもよい。ここで図２９を参照すると、外科用可視化システムによって生成される解剖学的構造５０６９の三次元モデル５０６８が、描写される。外科用可視化システムは、解剖学的構造５０６９上に電磁放射線５０７４を放射するように構成されたエミッタ５０７２と、反射した電磁放射線５０７４を検出するように構成された受信器５０７６と、を有する距離センサシステム５０７１を有する、撮像装置５０７０を含み得る。図２９の撮像装置５０７０は、前述のスペクトル光、構造化光、及びレーザドップラー技術を利用して、腫瘍５０７８などの重要な構造を識別し、解剖学的構造５０６９の完全に統合されたモデル５０６８及び詳細な特徴付けを生成することができる。例えば、図２５の三次元モデル５０６８は、解剖学的構造５０６９を右肺の上葉として描写することができ、動脈５０８０、静脈５０８２、気管支５０８４、上葉気管支５０８６、右肺動脈５０９０、及び／又は主気管支５０９２などの解剖学的構造５０６９の様々な特徴を特異的に描写することができる。図２９の解剖学的構造５０６９は肺であるが、外科用可視化システムは、意図された実装に応じて様々な解剖学的構造をモデル化することができる。したがって、外科用可視化システムは、スペクトル光、構造化光、及び／又はレーザドップラーを使用して、任意の解剖学的構造を特徴付け、検出された特徴を三次元モデルで詳細に表示することができる。

【0300】

ＡＲコンテンツは、外科用器具の遠位側頂部が重要構造５０７８の特定の範囲内で移動するときの近接アラートを含んでもよい。例えば、外科用器具の遠位側頂部のリアルタイムの三次元空間追跡が行われ得る。撮像装置５０７０の距離センサシステム５０７１は、外科用器具の遠位先端上に位置決めされ得る。したがって、エミッタ５０７２は、解剖学的構造５０６９の表面上に電磁放射線５０７４を放射することができ、受信器５０７６は、解剖学的構造５０６９の表面で反射した電磁放射線５０７４を検出することができる。外科用可視化システムは、電磁放射線５０７４の飛行時間、又はエミッタ５０７２からの発光と受信器５０７６によるその検出との間の時間に基づいて、解剖学的構造５０６９の表面に対するエミッタ５０７２の位置を決定することができる。外科用可視化システムは、解剖学的構造５０６９に対する外科用器具の位置を決定するために距離センサシステム５０７１及び飛行時間技術を使用するが、他の好適な構成要素及び／又は技術が、同じ効果を達成するために使用されてもよく、解剖学的構造５０６９の三次元モデル５０６８内の外科用器具の位置を含んでもよい。

【0301】

例では、ＡＲ制御パラメータは、外科処置の進行であってもよく、異なるＡＲ装置を介してオーバーレイするための異なるＡＲコンテンツは、外科処置の進行に基づいて決定されてもよい。例えば、外科的進行が切断に近づくことに基づいて、外科医に関連付けられたＡＲ装置に提供されるＡＲコンテンツは、提案された切断経路を含み得る。別のＡＲ装置に提供されるＡＲコンテンツは、手術が重要な工程に達しつつあるという通知を含み得る。

【0302】

ここで図３０を参照すると、本開示の少なくとも１つの態様による、図２９の三次元モデル５０６８の表示が描写されている。ＡＲコンテンツは、ユーザ選択切断経路５０９６及びシステム提案切断経路５１０４を描写するように構成された切除マージンオーバーレイを含むことができる。例えば、切除マージンオーバーレイは、動脈５０８０、静脈５０８２、及び気管支５０８４などの検出された特徴、腫瘍５０９４などの検出された対象組織、並びに／又はメモリ１３４（図２）に記憶された命令に基づく所定のマージン５０９５を更に描写することができる。手術中の臨床医は、外科用ディスプレイ上に重畳又はオーバーレイされたＡＲコンテンツを検討して、腫瘍５０９４及び所定のマージン５０９５を除去するためのユーザ選択切断経路５０９６を決定してもよい。例えば、手術中の臨床医は、肺容積などの解剖学的構造５０６９の残存容積を最適化することができるユーザ選択切断経路５０９６を決定してもよい。したがって、手術中の臨床医は、ユーザインターフェースを介してユーザ選択切断経路５０９６を外科用可視化システムに提供することができる。

【0303】

外科用可視化システムは、ユーザインターフェースを介してユーザ選択切断経路５０９６を受信し、解剖学的構造５０６９の任意の検出された特徴の位置に対してユーザ選択切断経路５０９６を評価することができる。例えば、図３０に描写するように、外科用可視化システムは、ユーザ選択切断経路５０９６が解剖学的構造５０６９の動脈５０８０、静脈５０８２、及び気管支５０８４に干渉することを識別することができる。したがって、組み合わされたビュー５０９３（例えば、ＡＲコンテンツと重畳された外科用ディスプレイ）は、予測される干渉を描写し、手術中の臨床医に通知を発行することができる。通知は、視覚的、可聴的、触覚的、及び／又はそれらの任意の組み合わせであり得る。表示は、ユーザ選択切断経路５０９６によって影響を受ける解剖学的構造５０６９の特徴又は一部分、及び／又はユーザ選択切断経路５０９６によって生存不能になり得る解剖学的構造５０６９の一部分を更に強調表示してもよい。例えば、ＡＲコンテンツは、動脈５０８０の切断部分５０９８を強調表示して、ユーザ選択切断経路５０９６によって影響を受ける血液供給５１００を表してもよい。ＡＲコンテンツは、ユーザ選択切断経路５０９６によって血液又は空気の欠如のために生存不能になり得る解剖学的構造５０６９の一部分５１０２を強調表示してもよい。

【0304】

追加的及び／又は代替的に、ＡＲコンテンツは、解剖学的構造５０６９の残存容積を最適化し、対象組織５０９４及び所定のマージン５０９５を除去し、解剖学的構造５０６９の検出された特徴への有害な影響を最小限に抑える、システム提案切断経路５１０４を含むことができる。例えば、システム提案切断経路５１０４は、解剖学的構造５０６９の少ない残存容積を維持し得るが、動脈５０８０、静脈５０８２、及び気管支５０８４には干渉せず、なお肺の上葉から腫瘍５０９４及び所定のマージン５０９５を除去することができる。いくつかの態様では、外科用可視化システムは、手術中の臨床医がユーザ選択切断経路５０９６又はシステム提案切断経路５１０４のいずれかを選択することを可能にしてもよい。他の態様では、外科用可視化システムは、手術中の臨床医がシステム提案切断経路５１０４を拒否し、表示上に描写された情報に基づいて第２のユーザ選択切断経路を入力することを可能にしてもよい。

【0305】

ここで図３１を参照すると、本開示の少なくとも１つの態様による、外科用可視化システム５１０７によって生成された解剖学的構造５１１０の三次元モデル５１０８の表示ビュー５１０６と組み合わされてＡＲコンテンツが描写されている。外科用可視化システム５１０７は、距離センサシステム、構造化光システム、スペクトル光システム、又はそれらの任意の組み合わせを有する外科用器具５１０９を含むことができる。手術中の臨床医は、表示５１０６を検討して、解剖学的構造５１１０から対象組織を除去するためのユーザ選択切断経路５１１２を決定することができる。図３１の外科用可視化システム５１０７は、ユーザインターフェースを介してユーザ選択切断経路５１１２を受信し、解剖学的構造５１１０の任意の検出された特徴の位置に対してユーザ選択切断経路５１１２を評価することができる。例えば、図３１の外科用可視化システム５１０７は、ユーザ選択切断経路５１１２が、解剖学的構造５１１０の萎んだ一部分５１１４に干渉する場合があることを識別している。解剖学的構造５１１０の萎んだ部分５１１４は、対象組織の切除に悪影響を及ぼす恐れがあり、解剖学的構造５１１０の最適よりも小さい残存容積を含む術後合併症を引き起こす場合がある。したがって、ＡＲコンテンツは、予想される問題の指示、及び手術中の臨床医への通知を含むことができる。通知は、視覚的、可聴的、触覚的、及び／又はそれらの任意の組み合わせであり得る。

【0306】

追加的及び／又は代替的に、図３１に示されるＡＲコンテンツは、ディスプレイ上にオーバーレイされ得る、システム提案切断経路５１１６を描写することができる。システム提案経路は、解剖学的構造５１１０の残存容積を最適化し、対象組織及び所定のマージンを除去し、かつ又は解剖学的構造５１１０の検出された特徴によって引き起こされる悪影響を最小限に抑えることができる。例えば、萎んだ組織５１１４の切断は、外科処置を複雑にし、不必要なリスクをもたらす可能性がある。図３１のシステム提案切断経路５１１６は、手術中の臨床医に解剖学的構造５１１０の完全に膨張した組織を教示することによって、リスクを最小限に抑える。いくつかの態様では、外科用可視化システム５１０７は、手術中の臨床医がユーザ選択切断経路５１１２又はシステム提案切断経路５１１６のいずれかを選択することを可能にしてもよい。他の態様では、外科用可視化システム５１０７は、手術中の臨床医がシステム提案切断経路５１１６を拒否し、表示５１０６上に描写された情報に基づいて第２のユーザ選択切断経路を入力することを可能にしてもよい。

【0307】

本明細書に記載される外科用器具は、外科用可視化システムが解剖学的構造に対する外科用器具の位置を検出することを可能にする、距離センサシステム又は他の手段を有する構成とすることができる。本明細書に記載される外科用可視化システムはまた、外科用器具の検出された位置が選択された切断経路に適合しない場合に、ＡＲ装置を介して通知を発して、手術中の臨床医に知らせることができる。外科用可視化システムは、外科処置を開始する前に外科用器具を再位置決めすべきであることを示す、視覚的、可聴的、及び／又は触覚的通知を、ＡＲ装置を介して手術中の臨床医に発することができる。いくつかの態様では、外科用可視化システムは、外科用器具が表示上に描写された選択された切断経路に従って適切に位置決めされるまで、手術中の臨床医が外科処置を実行することを、ＡＲ装置を介して、防止することができる。

【0308】

視覚的に識別された主要構造、異例、及び器具感知組織特質に基づく自動的に調整可能な腫瘍マージンの表示は、２０１９年１２月３１日に出願された「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＤＥＴＥＲＭＩＮＩＮＧ，ＡＤＪＵＳＴＩＮＧ，ＡＮＤ ＭＡＮＡＧＩＮＧ ＲＥＳＥＣＴＩＯＮ ＭＡＲＧＩＮ ＡＢＯＵＴ Ａ ＳＵＢＪＥＣＴ ＴＩＳＳＵＥ」と題する米国特許出願第１６／７２９，７７８号（代理人整理番号：ＥＮＤ９２１９ＵＳＮＰ１）に更に記載されており、その全体が参照により本明細書に組み込まれる。

【0309】

例では、ＡＲコンテンツは、手術部位の遮られている部分の可視化を含み得る。手術部位の遮られている部分の可視化は、医療用撮像装置からの外科手術室内の手術部位のライブストリーム上にオーバーレイされてもよい。手術部位の遮られている部分の可視化は、マルチスペクトルＥＭＲ源を使用して生成されてもよい。

【0310】

図３２は、マルチスペクトルＥＭＲ源から生成された例示的な融合画像を示す。融合画像は、少なくとも３つの異なるＥＭＲ波長範囲からの画像データを使用して生成され、その結果得られる画像を生成することができる。複数の画像を使用して、対応するＥＭＲ波長範囲で手術部位を集合的に可視化することができる。例えば、第１の画像は、ＥＭＲスペクトルの可視光部分を利用して取り込まれ得、第１の遮られていない部分を含み、画像の残りの部分は遮られており、第２の画像は、ＥＭＲスペクトルのＭＷＩＲ部分を利用して取り込まれ得、第２の遮られていない部分を含み、第３の画像３０４２ｃは、ＥＭＲスペクトルのＬＷＩＲ部分を利用して取り込まれ得、第３の遮られていない部分を含む。例えば、第４の画像は、ＥＭＲスペクトルの可視光部分を利用して取り込まれ得、したがって、第１の画像に対応することができるが、流体（水）が遮った部分を識別するための追加の画像処理を含み得る。したがって、第１の画像の対応する部分は、障害物を除去するために、対応する波長又は波長範囲（例えば、可視光スペクトルの青色－緑色部分）でフィルタリングすることができる。

【0311】

組み合わせ又は融合画像３０７０は、前述の初期画像から生成されてもよい。融合画像３０７０は、ＥＭＲスペクトルの可視光部分から生成された第１の画像の遮られていない部分に対応する第１の部分３０７２と、ＥＭＲスペクトルのＭＷＩＲ部分から生成された第２の画像の遮られていない部分に対応する第２の部分３０７４、ＥＭＲスペクトルのＬＷＩＲ部分から生成された第３の画像の遮られていない部分に対応する第３の部分３０７６と、ＥＭＲスペクトルの可視光部分から生成された画像の遮られている部分に対応するが、可視光スペクトルの青色－緑色部分を除去するために後処理された第４の部分３０７８と、を含むことができる。前述の画像部分３０７２、３０７４、３０７６、３０７８の各々は、一緒に融合されて、腫瘍３０３８及び任意の他の関連する構造３０４０の遮られていない可視化を提供する融合画像３０７０を生成することができる。

【0312】

融合画像の利用は、２０１９年１２月３１日に出願された「ＭＥＴＨＯＤ ＯＦ ＵＳＩＮＧ ＩＭＡＧＩＮＧ ＤＥＶＩＣＥＳ ＩＮ ＳＵＲＧＥＲＹ」と題する米国特許出願第１６／７２９，８０７号（代理人整理番号：ＥＮＤ９２２８ＵＳＮＰ１）に詳細に説明されており、その全体が参照により本明細書に組み込まれる。

【0313】

図３４Ａ～図３４Ｃは、腸／結腸腫瘍の除去のための一連の外科工程の例を示しており、手術部位でのマルチ画像分析を使用して生成されるＡＲコンテンツから利益を得ることができる。図３４Ａは、腸２９３２に血液及び栄養素を供給する腸２９３２及び分岐脈管系２９３４を含む手術部位の一部を描写する。腸２９３２は、腫瘍縁２９３７によって囲まれた腫瘍２９３６を有し得る。可視化システムの第１の光センサモジュールは、広い視野２９３０を有してよく、広い視野２９３０の撮像データをディスプレイシステムに提供することができる。可視化システムの第２の光センサモジュールは、狭い視野又は標準視野２９４０を有してよく、狭い視野２９４０の撮像データをディスプレイシステムに提供することができる。いくつかの態様では、広いフィールド画像及び狭いフィールド画像は、同じ表示装置によって表示されてよい。別の態様では、広いフィールド画像及び狭いフィールド画像は、別個の表示装置によって表示されてよい。

【0314】

外科処置中、腫瘍を完全に除去することを確実にするために、腫瘍２９３６だけではなく、その周囲の縁２９３７を除去することが重要であり得る。広角視野２９３０は、血管構造２９３４並びに腫瘍２９３６及び縁２６３７を取り囲む腸２９３２の部分の両方を撮像するために使用され得る。上述したように、腫瘍２９３６及び縁２６３７を供給する血管構造は除去されるべきであるが、周囲の腸組織に供給する血管構造は、周囲組織に酸素及び栄養素を提供するために保存されなければならない。周囲の結腸組織に供給する血管構造の移行は、組織から酸素及び栄養素を除去し、壊死をもたらす。いくつかの例において、広角視野２６３０内で可視化された組織のレーザドップラー撮像を分析して、腸組織内の血流を示すスペックルコントラスト分析２９３３を提供することができる。

【0315】

ＡＲコンテンツは、組織内の血流の指示を含んでもよい。例えば、ＡＲコンテンツは、血管樹のどの部分が腫瘍に血液を供給し得るかの指示を含み得る。図３４Ｂは、外科処置中の工程を示す。外科医は、血管樹のどの部分が腫瘍２９３６に血液を供給するかを不確定とすることができる。外科医は、血管２９４４を試験して、腫瘍２９３６又は健康な組織に供給するかどうかを判定することができる。外科医は、クランプ装置２８１２を用いて血管２９４４をクランプし、スペックルコントラスト分析によってもはや灌流されない腸組織２９４３の部分を決定することができる。撮像装置上に表示された狭い視野２９４０は、外科医が、試験される単一血管２９４４を可視化するために必要とされる、拡大作業及び詳細な作業を支援することができる。疑われる血管２９４４がクランプされると、腸組織２９４３の一部は、ドップラー撮像スペックルコントラスト分析に基づいて灌流を欠くと判定される。疑わしい血管２９４４は、腫瘍２９３５又は腫瘍縁２９３７に血液を供給せず、したがって、外科処置中に、予備の血管として認識される。

【0316】

図３４Ｃは、外科処置の次の段階を描写する。段階では、供給血管２９８４は、腫瘍の縁２９３７に血液を供給することが識別されている。この供給血管２９８４が切断されたとき、血液は、腫瘍２９３６の縁２９３７の少なくとも一部を含み得る腸２９８７の部分に供給されなくなる。いくつかの態様では、腸の部分２９８７への灌流の欠如は、腸内への血流のドップラー分析に基づくスペックルコントラスト分析によって決定され得る。次いで、腸の非灌流部分２９８７は、腸に適用されたシール２９８５によって隔離されてよい。このようにして、外科的除去のために示される組織を灌流する血管のみが識別され、封止され、それによって、意図されていない外科的結果から健康な組織を温存することができる。

【0317】

ＡＲコンテンツは、手術部位の撮像分析に基づいて生成され得る。手術部位は、組織の外科的操作の有効性について検査され得る。このような検査の非限定的な例としては、手術部位で組織を封止するために使用される外科用ステープル又は溶接部の検査を含んでよい。１つ又は２つ以上の照明源を使用する円錐ビーム干渉断層撮影法を、このような方法に使用することができる。ＡＲコンテンツは、手術部位の画像内に示されるランドマークを含んでもよい。いくつかの例では、ランドマークは、画像分析技術によって決定されてよい。いくつかの例では、ランドマークは、外科医による画像の手動介入によって示されてよい。いくつかの態様では、非スマートレディ可視化方法は、ハブ画像融合技術で使用するためにインポートされてよい。

【0318】

ハブシステムに一体化されていない器具は、手術部位内での使用中に識別され、追跡されてよい。この態様では、ハブの計算構成要素及び／又はストレージ構成要素（例えば、クラウドシステムを含む）は、任意の画像取得システム又はこのような代替の器具の視覚分析によって取得された１つ又は２つ以上の画像から、識別可能な、ＥＥＳ及び競合的外科用器具に関する画像のデータベースを含んでよい。このような装置の撮像分析は、器具が異なる器具と交換されて同じ又は類似のジョブを行うときの識別を更に可能にし得る。外科処置中の器具の交換の識別は、器具が装置のジョブを行わない又は故障のときに関連する情報を提供し得る。

【0319】

例では、ＡＲコンテンツは、術前画像に基づいて生成され得る解剖学的識別情報を含み得る。ＡＲコンテンツは、患者内の手術部位のビデオ画像上にオーバーレイされてもよい。解剖学的識別情報は、医療用撮像装置から外科手術室内の手術部位のライブストリーム上にオーバーレイされてもよい。

【0320】

図３５は、表示された要素を識別するデータ６３５４、６３５６、６３５８を用いて拡張された術前ビデオ画像６３５２を含む拡張ビデオ画像６３５０の例を示す。ＡＲデータは、ＡＲ装置を介して術前画像６３５２上にオーバーレイ又は重畳され得る。患者の解剖学的断面の術前画像６３５２を生成することができる。患者内の手術部位の拡張ビデオ画像が生成されてもよい。拡張ビデオ画像６３５０は、ユーザ６４５６によって操作される外科用ツール６３５４の少なくとも一部の画像を含むことができる。術前画像６３５２は、患者の解剖学的断面についてのデータを生成するために処理され得る。ＡＲコンテンツは、解剖学的断面のラベル６３５８と、解剖学的断面の少なくとも一部の周辺マージンとを含むことができる。周辺マージンは、外科医を解剖学的断面に対する切断位置に誘導し、術前画像６３５０内にデータ及びユーザ６３５６の識別情報を埋め込み、患者の解剖学的断面について拡張ビデオ画像６３５０をユーザに表示するように構成することができる。外科用ツール６３５４上の負荷状態を感知することができ、感知された負荷状態に基づいてフィードバック信号を生成することができる。外科用手術ツール６３５４を操作するユーザの識別情報のデータ及び位置を含むＡＲコンテンツは、拡張ビデオ画像６３５０内の外科用ツール６３５４の位置の変化に応答して、リアルタイムで更新され得る。更なる例は、２０１５年９月１日に発行された「ＡＰＰＡＲＡＴＵＳ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＵＳＩＮＧ ＡＵＧＭＥＮＴＥＤ ＲＥＡＬＩＴＹ ＶＩＳＩＯＮ ＳＹＳＴＥＭ ＩＮ ＳＵＲＧＩＣＡＬ ＰＲＯＣＥＤＵＲＥＳ」と題する米国特許第９，１２３，１５５号に開示されており、その全体が参照により本明細書に組み込まれる。

【0321】

放射線統合技術を使用して、術前画像６３５２を、ライブ内部検知又は処置前技術によって得られたデータとオーバーレイすることができる。放射線統合は、外科的ランドマーク、患者の内外に配置された放射線マーカー、放射線不透過性ステープル、クリップ又は他の組織固定アイテムの識別を使用するマーカー及びランドマーク識別を含み得る。デジタル放射線技術を用いて、術前画像６３５２とオーバーレイするためのデジタル画像を生成することができる。デジタル放射線法は、従来の写真フィルムの代わりにデジタルＸ線センサを有するデジタル画像捕捉装置を使用するＸ線撮像の一形態である。デジタル放射線技術は、術前画像６３５２とオーバーレイするための即時の画像プレビュー及び有用性を提供することができる。更に、特別な画像処理技術をデジタルＸ線画像に適用して、画像の全体的な表示品質を向上させることができる。

【0322】

デジタル放射線技術は、フラットパネル検出器（panel detector、ＦＰＤ）を含む画像検出器を使用することができ、ＦＰＤは、間接ＦＰＤ及び直接ＦＰＤの２つの主要なカテゴリに分類される。間接ＦＰＤは、検出器の外層においてシンチレータと組み合わされたアモルファスシリコン（amorphous silicon、ａ－Ｓｉ）を含み、これはヨウ化セシウム（cesium iodide、ＣＳＩ）又は酸硫化ガドリニウム（gadolinium oxy-sulfide、Ｇｄ２０２Ｓ）から作製され、Ｘ線を光に変換する。光は、ａ－Ｓｉフォトダイオード層を通過することができ、そこでデジタル出力信号に変換される。次いで、デジタル信号は、薄膜トランジスタ（thin film transistor、ＴＦＴ）又はファイバ結合電荷結合素子（coupled charge coupled device、ＣＯＤ）によって読み出される。直接ＦＰＤは、Ｘ線光子を直接電荷に変換するアモルファスセレン（amorphous selenium、ａ－Ｓｅ）ＦＰＤを含む。この設計におけるフラットパネルの外側層は、典型的には高電圧バイアス電極である。Ｘ線光子は、ａ－Ｓｅ内に電子正孔対を生成し、これらの電子及び正孔の通過は、バイアス電圧電荷の電位に依存する。正孔が電子に置換されると、セレン層中の得られた電荷パターンが、ＴＦＴアレイ、アクティブマトリックスアレイ、電位計プローブ又はマイクロプラズマラインアドレス指定によって読み出される。他の直接デジタル検出器は、ＣＭＯＳ及びＣＣＤ技術に基づく。蛍光体検出器はまた、露光中にＸ線エネルギーを記録するために使用されてもよく、放出されてＣＣＤのデジタル画像キャプチャアレイによって読み出される貯蔵エネルギーを励起するためにレーザダイオードによってスキャンされる。

【0323】

例では、ＡＲ制御パラメータは、リアルタイムユーザ入力であってもよく、異なるＡＲ装置を介してオーバーレイするための異なるＡＲコンテンツは、ユーザ入力に基づいて決定されてもよい。例えば、ユーザインターフェースは、ＡＲ装置において表示するための１つ又は２つ以上のＡＲコンテンツをユーザが選択するために提示されてもよい。ハブは、ユーザ選択に従ってＡＲコンテンツを生成し、送信することができる。

【0324】

図３６は、カスタマイズ可能なＡＲコンテンツオーバーレイの例を示す。図示されるように、ＡＲコンテンツオプション１７４１０は、例えば、インタラクティブ表示画面上に提示され得る。ＡＲコンテンツオプション１７４１０は、手術前腫瘍ＭＲＩ、他の関連手術前データ、ＩＣＧデータ、リアルタイムドップラーモニタリング、処置工程、装置ステータス、及びユーザによってカスタマイズ可能な他のオーバーレイを含むことができる、利用可能なオーバーレイ層を含み得る。オーバーレイ層は、ハブによって提供されてもよい。この例では、手術前腫瘍データ及びリアルタイムドップラーモニタリングが選択されており、そのようなデータは、外科画像上にオーバーレイされるＡＲコンテンツに含まれる。ＡＲ装置を通して、ユーザは、２つの選択されたオーバーレイ、すなわち、手術前腫瘍ＭＲＩ及びリアルタイムドップラーモニタリングを示す、ビジョン１７４２０を見ることができる。図示されるように、ＡＲコンテンツは、腫瘍１４７３３及び腫瘍縁１７４３２のマーキングを含んでもよい。オーバーレイの助けを借りて、ユーザは、ジョー１７４３６を血管上にクランプして、血管が腫瘍マージン内にあるのか外にあるのかを検証することができる。ＡＲコンテンツは、血管の血流を示し得る。例えば、血管が低血流に関連付けられるのか、高血流に関連付けられるのかは、ＡＲコンテンツにおける色分けを介して示されてもよい。例示のために、ＡＲコンテンツは、低血流血管１７４３４を青色血管に変更することと、高血流血管１７４３８を赤色に変更することとを含み得る。

【0325】

拡張現実装置と通信するハブは、意図されたアクションのシミュレーション又は確認を提供することができる。ＡＲコンテンツは、ユーザが意図されたアクションを実行した場合に予測結果の指示を含み得る。一例として、ユーザが、ステープル留め、切開、又は封止するために、意図された領域を覆ってジョーをクランプするか又は有する場合、ＡＲコンテンツは、流体の流れの変化をユーザに示し得る。これは、ある方向又は別の方向に移動するためのガイダンスをユーザに提供し得る。例えば、外科用ハブは、標的領域に対する意図されたアクションの指示を受信し得る。指示は、外科用器具が標的領域上に又は標的領域に近接して配置されていることを示す、外科用スコープを介して取り込まれた画像を含み得る。指示は、ＡＲ装置を介して取り込まれた画像であって、外科用器具が標的領域上に又は標的領域に近接して配置されていることを示す画像を含んでもよい。例えば、ＡＲコンテンツは、時間及び温度に基づいて予測出力を示すことができるマイクロ波アブレーション確認に基づいて生成されてもよい。外科用ハブは、ＯＲ内のカメラから視覚入力を受信すること、ＯＲ内の外科用装置からセンサ入力を受信することができる。外科用ハブは、受信した入力を組み合わせてコンパイルし、ＡＲコンテンツに含めるための想定される結果の確認及び／又はフィードバックを生成することができる。ハブは、様々なデータストリームをコヒーレント出力に合成することができ、コヒーレント出力は、一次ディスプレイ及び／又は二次ディスプレイ、ＡＲディスプレイ、及び／又は非ＡＲディスプレイを含むディスプレイ上にオーバーレイ又は示され得る。外科用ハブは、標的領域に対して意図されたアクションを実行することに関連付けられた予測結果を取得してもよく、予測結果をＡＲコンテンツに含めてもよい。予測結果は、外科用スコープから受信した視覚データ及び外科用器具から受信した外科用データに基づいて決定されてもよい。予測結果は、外科用ハブによって、又はリモートサーバの助けを借りて決定され得る。例えば、外科用ハブは、外科用スコープから視覚データを取得し、少なくとも１つの外科用器具からセンサ入力データを取得し、視覚データ及びセンサ入力データを遠隔サーバに送信してもよい。予測結果は、遠隔サーバから受信され、ＡＲ装置における表示のためにＡＲコンテンツに含まれ得る。

【0326】

図４４は、ＡＲ能力を有する可視化制御下でのハブ動作の例示的なフローの例を示す。ディスプレイ上にオーバーレイするためのＡＲコンテンツは、ＡＲ装置によって変動し得る。１７７１１において、ハブは、本明細書に記載されるように、ＡＲ制御パラメータを取得し得る。ＡＲ制御パラメータは、ユーザの役割、第１のディスプレイに対するユーザの配向、外科処置の進行、外科的コンテキスト、リアルタイム使用入力、又は事前構成されたユーザ選好のうちの少なくとも１つを備え得る。１７７１２において、ハブは、外科用器具から、ディスプレイ上に表示するためのデータストリームを取得することができる。データストリームは、患者内の手術部位のビデオ画像であってもよく、又はそれを含んでもよい。ハブは、１７７１３において、ＡＲ制御パラメータに基づいて、第１のＡＲ装置を介してディスプレイ上に表示されたデータストリーム上にオーバーレイするためのＡＲコンテンツを決定することができる。外科医による使用のためのＡＲ装置は、外科医の助手による使用のためのＡＲ装置を介して表示されるＡＲコンテンツとは異なるＡＲコンテンツを表示してもよい。１つの事前構成されたユーザ選好を有するＡＲ装置は、異なる事前構成されたユーザ選好を有するＡＲ装置を介して表示されるＡＲコンテンツとは異なるＡＲコンテンツを表示し得る。ＡＲコンテンツは、外科用器具に関連付けられた使用のための工程、装置設定、装置ステータス、使用のための装置命令、動作パラメータ、及び／又は検出された異常の指示を含み得る。１７７１４において、ハブは、ＡＲ制御パラメータに基づいて、第２のＡＲ装置を介してディスプレイ上に表示されるデータストリーム上にオーバーレイするためのＡＲコンテンツを決定することができる。１７７１５において、ハブは、表示のためのそれぞれのＡＲ装置のための決定されたＡＲコンテンツに基づいて、ＡＲコンテンツをそれぞれのＡＲ装置に送信することができる。

【0327】

開示の例
１．外科用ハブであって、
少なくとも１つのディスプレイ、複数のＡＲ（拡張現実）デバイス、及び少なくとも１つの外科用器具に動作可能に接続されるように構成された通信アレイと、
プロセッサと、を備え、プロセッサが、
ＡＲ制御パラメータを取得することと、
少なくとも１つの外科用器具のうちの１つの外科用器具から、少なくとも１つのディスプレイのうちの第１のディスプレイ上に表示するための第１のデータストリームを取得することと、
ＡＲ制御パラメータに基づいて、複数のＡＲデバイスのうちの第１のＡＲデバイスを介して第１のディスプレイ上に表示された第１のデータストリーム上にオーバーレイするための第１のＡＲコンテンツを決定することと、
ＡＲ制御パラメータに基づいて、複数のＡＲデバイスのうちの第２のＡＲデバイスを介して第１のディスプレイ上に表示された第１のデータストリーム上にオーバーレイするための第２のＡＲコンテンツを決定することであって、第２のＡＲコンテンツが、第１のＡＲコンテンツとは異なる、決定することと、
第１のＡＲコンテンツ及び第２のＡＲコンテンツをそれぞれ第１のＡＲデバイス及び第２のＡＲデバイスに送信することと、を行うように構成されている、外科用ハブ。

【0328】

例えば、例１では、第１のディスプレイは、一次ディスプレイ又は二次ディスプレイであってもよい。ＡＲ制御パラメータを取得することは、ＡＲ制御パラメータを決定すること、測定すること、又は受信することを含み得る。プロセッサは、ＡＲ制御パラメータが閾値を超えることに基づいて、第１及び／又は第２のＡＲコンテンツを決定してもよい。

【0329】

例えば、例１において、プロセッサは、第１のデータストリームを第１のディスプレイに送信するように更に構成されてもよい。プロセッサは、第１のＡＲデバイスを介して第１のデータストリーム上に第１のＡＲコンテンツをオーバーレイし、第２のＡＲデバイスを介して第１のデータストリーム上に第２のＡＲコンテンツをオーバーレイするように更に構成されてもよい。

【0330】

例えば、例１において、第１及び／又は第２のＡＲデバイスは、拡張現実ディスプレイを有する安全眼鏡、拡張現実ゴーグル、又はヘッドマウントディスプレイであってもよい。外科用器具は、腹腔鏡器具、内視鏡器具、腹腔鏡スコープ、電気外科用器具、超音波外科用器具、及び／又は外科用ステープル留め器具を含み得る。第１のデータストリームは、患者内の手術部位のビデオ画像であってもよく、又はそれを含んでもよい。第１のディスプレイは、少なくとも１つの外科用器具などの外科用器具上に配置された器具ディスプレイ、手術室又は手術室内のディスプレイ、パーソナルディスプレイ、テレビ、コンピュータ画面、パーソナルコンピュータ、タブレット、スマートフォン、又は手首装着型ディスプレイ、を含んでもよく、又はそれであってもよい。

【0331】

例えば、例１において、外科用ハブは、入力を受信し、これらをプロセッサに送信するように構成された入力デバイスを備えてもよい。入力デバイスは、相互作用可能なディスプレイを備えてもよい。第１のディスプレイは、入力デバイスを備え得る。入力デバイスは、ＡＲ制御パラメータ、第１及び／若しくは第２のＡＲデバイスのためのユーザ役割若しくは意図されたユーザ、並びに／又は表示制御指標が入力され、プロセッサに送信されることを可能にし得る。

【0332】

２．ＡＲ制御パラメータが、ユーザ役割を含み、プロセッサが、
第１のＡＲデバイスに関連付けられた第１のユーザ役割を識別することと、
第１のユーザ役割に基づいて、第１のＡＲコンテンツに含めるための第１のオーバーレイデータセットを決定することと、
第２のＡＲデバイスに関連付けられた第２のユーザ役割を識別することと、
第２のユーザ役割に基づいて、第２のＡＲコンテンツに含めるための第２のオーバーレイデータセットを決定することであって、第２のオーバーレイデータセットが、第１のオーバーレイデータセットとは異なる、決定することと、を行うように更に構成されている、例１の外科用ハブ。

【0333】

例えば、例２において、第１のＡＲデバイスに関連付けられた第１のユーザ役割を識別することは、第１のＡＲデバイスのための意図されたユーザ役割を識別するデータを識別すること、選択すること、又は受信することを含み得る。第２のＡＲデバイスに関連付けられた第２のユーザ役割を識別することは、第２のＡＲデバイスのための意図されたユーザ役割を識別するデータを識別すること、選択すること、又は受信することを含み得る。ユーザ及びユーザ役割は、滅菌野の内側又は外側に位置し得る、外科医、外科医の助手、及び／又は医療専門家を含んでもよい。第１のユーザ役割に基づいて、第１のオーバーレイデータセットを決定することは、第１のＡＲデバイスの意図されたユーザ役割への表示のために意図されたデータの第１のＡＲコンテンツに含めるための第１のオーバーレイデータセットを生成することを含み得る。第２のユーザ役割に基づいて、第２のオーバーレイデータセットを決定することは、第２のＡＲデバイスの意図されたユーザ役割への表示のために意図されたデータの第２のＡＲコンテンツに含めるための第２のオーバーレイデータセットを生成することを含み得る。

【0334】

３．プロセッサが、
第１のＡＲデバイスのユーザが第１のディスプレイを見ていることを検出することと、
検出に応答して、第１のＡＲデバイスを介して第１のディスプレイ上に表示された第１のデータストリーム上に第１のＡＲコンテンツをオーバーレイすることと、を行うように第１のＡＲデバイスに命令するように更に構成されている、例１又は２の外科用ハブ。

【0335】

４．第１のＡＲコンテンツが、
外科用器具の使用のための工程、
デバイス設定、
デバイスステータス、
使用のためのデバイス命令、
動作パラメータ、又は
検出された異常の指標、のうちの少なくとも１つを含む、例１～３のいずれか１つの外科用ハブ。

【0336】

５．第１のＡＲコンテンツが、手術前撮像、手術中撮像、器具データ、又は処置命令のうちの少なくとも１つを含む、例１～４のいずれか１つの外科用ハブ。

【0337】

例えば、例１～５のいずれか１つにおいて、第１及び／又は第２のＡＲコンテンツは、外科用器具の使用のための工程、デバイス設定、デバイスステータス、使用のためのデバイス命令、動作パラメータ、検出された異常の指標、手術前撮像、手術中撮像、器具データ、処置命令、ユーザが意図されたアクションを実行した場合の予測結果の指標、体液の流れの変化、低血流又は高血流などの血管内の血流、どの血管が腫瘍に血液を供給するかの指標、腫瘍のマーキング、腫瘍縁、切除マージン、外科処置中に調整された切除又は腫瘍縁、リアルタイムドップラーモニタリング、手術前ＭＲＩデータ、インドシアニングリーン（ＩＣＧ）蛍光撮像データ、外科用ツールを操作するユーザの識別情報、別の接続されたシステムから受信されるリアルタイム外科用データ、少なくとも１つの外科用器具（又はその遠位側頂部）などの外科用器具が重要構造の特定の範囲内で移動するときの近接アラート、切断経路によって影響を受ける血液供給を表すための血管の切断部分、切断経路によって血液又は空気の欠如のために生存不能になり得る解剖学的構造の一部分、ハブ提案切断経路又はプロセッサ提案切断経路、予想される問題の指標、手術部位の遮られている部分の視覚化、手術部位の画像内に示されるランドマーク、及び／又は術前画像に基づいて生成された解剖学的識別情報、のうちの少なくとも１つを含んでもよい。

【0338】

６．ＡＲ制御パラメータが、
第１のディスプレイに対するユーザの配向、
外科処置の進行、
外科的コンテキスト、
リアルタイムユーザ入力、又は
事前構成されたユーザ選好、のうちの少なくとも１つを含む、例１～５のいずれか１つの外科用ハブ。

【0339】

例えば、例１～６のいずれか１つにおいて、ＡＲ制御パラメータは、第１のディスプレイに対するユーザの配向、第１のディスプレイに対するユーザの配向、第１のディスプレイに対するユーザの頭部の配向、ユーザが第１のディスプレイを見ているかどうか、外科処置の進行、外科的コンテキスト、リアルタイムユーザ入力、第１及び／若しくは第２のＡＲデバイスに関連付けられたユーザ役割、又は第１及び／若しくは第２のＡＲデバイスのための意図されたユーザ役割、第１のディスプレイのディスプレイタイプ、及び／又は事前構成されたユーザ選好、のうちの少なくとも１つを含んでもよい。

【0340】

７．第１のディスプレイ上に表示された第１のデータストリーム上にオーバーレイするための第１のＡＲコンテンツが、第１のディスプレイに関連付けられたディスプレイタイプに更に基づいて決定され、プロセッサが、
少なくとも１つのディスプレイのうちの第２のディスプレイに関連付けられたディスプレイタイプに基づいて、第１のＡＲデバイスを介して第２のディスプレイ上に表示されたコンテンツ上にオーバーレイするための第３のＡＲコンテンツを決定すること、を行うように更に構成されている、例１～６のいずれか１つの外科用ハブ。

【0341】

例えば、例１～７のいずれか１つにおいて、第１のディスプレイ上に表示された第１のデータストリーム上にオーバーレイするための第１のＡＲコンテンツは、第１のディスプレイのディスプレイタイプに更に基づいて決定されてもよく、プロセッサは、少なくとも１つのディスプレイのうちの第２のディスプレイのディスプレイタイプに基づいて、第１のＡＲデバイスを介して第２のディスプレイ上に表示されたコンテンツ上にオーバーレイするための第３のＡＲコンテンツを決定することを行うように更に構成される。

【0342】

８．ディスプレイタイプが、
スマート外科用器具上に配置された器具ディスプレイ、又は
手術室内の共有ディスプレイ、又は
パーソナルディスプレイ、のうちの少なくとも１つを含む、例７の外科用ハブ。

【0343】

例えば、例１～８のいずれか１つにおいて、第１及び／又は第２のディスプレイのディスプレイタイプは、少なくとも１つの外科用器具などの外科用器具上に配置された器具ディスプレイ、手術室又は手術室内のディスプレイ、パーソナルディスプレイ、テレビ、コンピュータ画面、パーソナルコンピュータ、タブレット、スマートフォン、又は手首装着型ディスプレイ、を含んでもよい。

【0344】

９．プロセッサが、
第１のＡＲデバイスから表示制御指標を受信することと、
受信された表示制御指標に基づいて、第１のディスプレイ上に表示するためのコンテンツを調整することと、を行うように更に構成されている、例１～８のいずれか１つの外科用ハブ。

【0345】

表示制御指標は、表示コンテンツ選択であってもよい。外科用ハブは、表示制御指標を受信し、表示制御指標をプロセッサに送信するように構成された入力デバイスを備えてもよい。入力デバイスは、相互作用可能なディスプレイを備えてもよい。第１のディスプレイは、入力デバイスを備え得る。

【0346】

１０．プロセッサが、
第１のＡＲデバイスが外科手術室の境界の外側にあるかどうかを検出することと、
第１のＡＲデバイスが外科手術室の境界の外側にあることを検出したことに応答して、第１のＡＲコンテンツを第１のＡＲデバイスに送信することを無効化することと、を行うように更に構成されている、例１～９のいずれか１つの外科用ハブ。

【0347】

１１．プロセッサが、
標的領域に対する意図されたアクションの指標を受信することと、
標的領域に対する意図されたアクションを実行することに関連付けられた予測結果を取得することと、
予測結果を第１のＡＲコンテンツに含めることと、を行うように更に構成されている、例１～１０のいずれか１つの外科用ハブ。

【0348】

例えば、例１１において、予測結果を取得することは、予測結果を決定することを含み得る。標的領域に対する意図されたアクションは、標的組織に対して実行される外科工程、外科用器具の使用のための工程、クランプ動作、切断動作、ステープル留め動作、横切開動作、及び／又は超音波及び／又はＲＦエネルギーの適用、のうちの少なくとも１つを含んでもよい。

【0349】

指標は、腹腔鏡又は内視鏡スコープなどの外科用スコープ及び／又は外科用器具及び／又は第１のＡＲデバイスを介して取り込まれた画像であって、外科用器具が標的領域上に又は標的領域に近接して配置されていることを示す画像と、手術室内のカメラからの視覚入力と、外科用器具などの外科用デバイスからのセンサ入力と、を含み得る。

【0350】

予測結果は、外科用スコープから受信した視覚データ及び／又は外科用器具などの少なくとも１つの外科用器具から受信した外科用データに基づいて決定されてもよい。予測結果は、外科用ハブのプロセッサによって取得及び／若しくは決定されてもよく、又はリモートサーバから取得及び／若しくは決定されてもよい。

【0351】

外科用ハブは、状況認識システムを備えてもよく、プロセッサは、状況認識システムを使用して、標的領域に対する意図されたアクションの指標を推測してもよい。

【0352】

１２．指標が、第１のＡＲデバイス又は外科用スコープを介して取り込まれた視覚化を含み、視覚化が、外科用器具が標的領域上に、又は標的領域に近接して配置されていることを示す、例１１の外科用ハブ。

【0353】

１３．プロセッサが、
外科用スコープから受信された視覚データ及び少なくとも１つの外科用器具から受信した外科用データに基づいて、予測結果を決定すること、を行うように更に構成されている、例１１又は１２の外科用ハブ。

【0354】

例えば、例１３では、少なくとも１つの外科用器具は、外科用スコープを含み得る。予測結果を取得又は決定することは、外科用スコープから受信された視覚データ及び少なくとも１つの外科用器具から受信された外科用データに基づいて予測結果を決定することを含み得る。

【0355】

１４．プロセッサが、
外科用スコープからの視覚データ、及び少なくとも１つの外科用器具からのセンサ入力データを取得することと、
視覚データ及びセンサ入力データをリモートサーバに送信することと、
リモートサーバから予測結果を受信することと、を行うように更に構成されている、例１１又は１２の外科用ハブ。

【0356】

例えば、例１１～１４のいずれか１つにおいて、指標を受信することは、外科用スコープから視覚データ、及び／又は少なくとも１つの外科用器具からセンサ入力データを取得することと、視覚データ及びセンサ入力データをリモートサーバに送信することと、リモートサーバから予測結果を受信することと、を含み得る。

【0357】

１５．第１のＡＲコンテンツが、視覚コンテンツ又は可聴コンテンツのうちの少なくとも１つを含む、例１～１４のいずれか１つの外科用ハブ。

【0358】

例えば、例１１～１５のいずれか１つにおいて、第１のＡＲコンテンツは、視覚コンテンツ、可聴コンテンツ、及び／又は触覚コンテンツのうちの少なくとも１つを含む。

【0359】

１６．外科用ハブであって、
少なくとも１つのディスプレイ、ＡＲ（拡張現実）デバイス、及び少なくとも１つの外科用器具に動作可能に接続されるように構成された通信アレイと、
プロセッサと、を備え、プロセッサが、
少なくとも１つの外科用器具のうちの１つの外科用器具から、少なくとも１つのディスプレイのうちの１つのディスプレイ上に表示するためのデータストリームを取得することと、
ディスプレイ上にオーバーレイするためのＡＲコンテンツを生成することと、
ＡＲデバイスのユーザがディスプレイを見ているかどうかを決定することと、
ＡＲデバイスのユーザがディスプレイを見ていることを検出すると、ＡＲデバイスを介してディスプレイ上に表示されたコンテンツ上にＡＲコンテンツをオーバーレイすることと、を行うように構成されている、外科用ハブ。

【0360】

例えば、例１６において、プロセッサは、データストリームをディスプレイに送信すること、及び／又はデータストリームをディスプレイ上に表示すること、行うように更に構成されてもよい。ＡＲデバイスを介してディスプレイ上に表示されたコンテンツ上にＡＲコンテンツをオーバーレイすることは、ＡＲデバイスを介してディスプレイ上に表示されたデータストリーム上にＡＲコンテンツをオーバーレイすることを含んでもよい。

【0361】

例えば、例１６において、ＡＲデバイスは、拡張現実ディスプレイを有する安全眼鏡、拡張現実ゴーグル、又はヘッドマウントディスプレイであってもよい。外科用器具は、腹腔鏡器具、内視鏡器具、腹腔鏡スコープ、電気外科用器具、超音波外科用器具、及び／又は外科用ステープル留め器具を含み得る。データストリームは、患者内の手術部位のビデオ画像であってもよく、又はそれを含んでもよい。ディスプレイは、少なくとも１つの外科用器具などの外科用器具上に配置された器具ディスプレイ、手術室又は手術室内のディスプレイ、パーソナルディスプレイ、テレビ、コンピュータ画面、パーソナルコンピュータ、タブレット、スマートフォン、又は手首装着型ディスプレイ、を含んでもよく、又はそれであってもよい。

【0362】

例えば、例１６において、外科用ハブは、入力を受信し、これらをプロセッサに送信するように構成された入力デバイスを備えてもよい。入力デバイスは、相互作用可能なディスプレイを備えてもよい。第１のディスプレイは、入力デバイスを備え得る。入力デバイスは、ＡＲ制御パラメータ、ユーザ役割、及び／又は表示制御指標が入力され、プロセッサに送信されることを可能にし得る。

【0363】

１７．プロセッサが、
第１のＡＲデバイスのユーザが第１のディスプレイを見ているかどうかを決定することと、
第１のＡＲデバイスのユーザが第１のディスプレイを見ていることを検出すると、第１のＡＲデバイスを介して第１のディスプレイ上に表示されたコンテンツ上に第１のＡＲコンテンツをオーバーレイすることと、を行うように更に構成されている、例１～１５のいずれか１つの外科用ハブ。

【0364】

例えば、例１７において、第１のＡＲデバイスを介して第１のディスプレイ上に表示されたコンテンツ上に第１のＡＲコンテンツをオーバーレイすることは、第１のＡＲデバイスを介して第１のディスプレイ上に表示された第１のデータストリーム上に第１のＡＲコンテンツをオーバーレイすることを含み得る。

【0365】

１８．ディスプレイが、少なくとも１つのディスプレイのうちの第１のディスプレイであり、プロセッサが、
少なくとも１つのディスプレイのうちの第２のディスプレイ上にオーバーレイするための第２のＡＲコンテンツを生成することであって、第２のＡＲコンテンツが、第１のディスプレイ上にオーバーレイするためのＡＲコンテンツとは異なる、生成することと、
ＡＲデバイスのユーザが第２のディスプレイを見ているかどうかを決定することと、
ＡＲデバイスのユーザが第２のディスプレイを見ていることを検出すると、ＡＲデバイスを介して、第２のディスプレイ上に表示されたコンテンツ上に第２のＡＲコンテンツをオーバーレイすることと、を行うように更に構成されている、例１６又は１７の外科用ハブ。

【0366】

例えば、例１７において、第１のディスプレイは一次ディスプレイであってもよい。第２のディスプレイは、二次ディスプレイであってもよい。第２のディスプレイは、少なくとも１つの外科用器具などの外科用器具上に配置された器具ディスプレイ、手術室又は手術室内のディスプレイ、パーソナルディスプレイ、テレビ、コンピュータ画面、パーソナルコンピュータ、タブレット、スマートフォン、又は手首装着型ディスプレイ、を含んでもよく、又はそれであってもよい。

【0367】

１９．プロセッサが、ＡＲデバイスのユーザがもはやディスプレイを見ていないことを検出すると、ＡＲデバイスを介して、ディスプレイに関連付けられたＡＲコンテンツを供給することを停止すること、を行うように更に構成されている、例１６～１８のいずれか１つの外科用ハブ。

【0368】

例えば、例１６～１９のいずれか１つにおいて、プロセッサは、ＡＲデバイスのユーザがもはやディスプレイを見ていないことを検出すると、ＡＲデバイスを介してディスプレイ上に表示されたコンテンツ上にＡＲコンテンツをオーバーレイすることを停止することを行うように、更に構成され得る。

【0369】

２０．プロセッサが、
ＡＲデバイスから表示制御指標を受信することと、
受信された表示制御指標に基づいて、ディスプレイ上に表示するためのコンテンツを調整することと、を行うように更に構成されている、例１６～１９のいずれか１つの外科用ハブ。

【0370】

表示制御指標は、表示コンテンツ選択であってもよい。外科用ハブは、表示制御指標を受信し、表示制御指標をプロセッサに送信するように構成された入力デバイスを備えてもよい。入力デバイスは、相互作用可能なディスプレイを備えてもよい。ディスプレイは、入力デバイスを備えてもよい。

【0371】

２１．プロセッサが、ＡＲデバイスに関連付けられたユーザ役割を識別することを行うように更に構成されており、ＡＲコンテンツが、ユーザ役割に基づいて生成される、例１６～２０のいずれか１つに記載の外科用ハブ。

【0372】

ＡＲデバイスに関連付けられたユーザ役割を識別することは、ＡＲデバイスのための意図されたユーザ役割を識別するデータを識別すること、選択すること、又は受信することを含み得る。ＡＲコンテンツは、ＡＲデバイスの意図されたユーザ役割への表示のために意図されるデータを使用して、又は含むことによって、ユーザ役割に基づいて生成されてもよい。ユーザ及びユーザ役割は、滅菌野の内側又は外側に位置し得る、外科医、外科医の助手、及び／又は医療専門家を含んでもよい。

【0373】

上記の例として、外科用ハブは、ＡＲデバイスを通して、同じ画面が、外科チームの異なる構成員に異なるコンテンツを示すことを可能にする。具体的には、ＡＲコンテンツは、ＡＲデバイスのユーザのためにディスプレイ上にオーバーレイされ、そのＡＲデバイスを使用していない外科チームの構成員には見えない。異なるＡＲコンテンツを示す複数のＡＲデバイスの使用を通して、異なるＡＲコンテンツは、異なるユーザのために同じ画面上にオーバーレイされることができる。このように１つ又は複数のＡＲデバイスを使用することにより、情報を必要とする外科チームの構成員に、情報を必要としないチームの他の構成員の気を情報によって散らすことなく、情報を直接送信することが可能になる。この情報へのより迅速なアクセス、及びより少ない注意散漫は、より高い効率、患者の安全性の改善、及び手術結果の改善をもたらす。ＡＲデバイスを使用してこの情報を第１のディスプレイ上に直接オーバーレイすることは、第１のデータストリーム及びＡＲコンテンツが同じ場所に表示されるので、更なる改善につながる。これは、両方のデータソースが一緒に、したがってより迅速に見られることを可能にし、ＡＲコンテンツが、第１のデータストリーム内に示されるアイテムをラベル付けするか、又はそのコンテンツの態様を強調するなど、第１のデータストリームと相互作用することを可能にする。これは、手術の進行に関する調整された情報が外科チームに送られることを可能にする。ＡＲコンテンツは、外科チームが外科処置の特定の工程を実行するのを支援し、正しいデバイスのセットアップ及び使用を確実にし、処置が想定どおりに動作していることを確実にし、外科処置における異常又は異例を検出及び修正することができる。ＡＲコンテンツの一部として特定の外科的アクションの予測結果を表示することによって、外科チームは、行われている手術で支援されることができ、外科的アクションは、精度及び安全性のより高い基準まで実行されることができ、潜在的に致命的な誤りは、回避又は最小限にされることができ、手術結果は、著しく改善される。外科的進行、ユーザの配向、及び外科的コンテキストなどのＡＲ制御パラメータの使用は、ＡＲコンテンツがリアルタイムで更新され、任意の異常などの現在の外科処置に特有の事象を説明するのに役立つ。したがって、全体として、表示されるＡＲコンテンツは、効率、患者の安全性、及び手術の結果を更に改善する。

【0374】

実施形態の以下のリストは、説明の一部を形成する。
１．外科用ハブであって、
少なくとも１つのディスプレイ、複数の拡張現実（ＡＲ）デバイス、及び少なくとも１つの外科用器具に動作可能に接続された通信アレイと、
プロセッサと、を備え、プロセッサが、
ＡＲ制御パラメータを取得することと、
少なくとも１つの外科用器具のうちの１つの外科用器具から、少なくとも１つのディスプレイのうちの第１のディスプレイ上に表示するための第１のデータストリームを取得することと、
ＡＲ制御パラメータに基づいて、複数のＡＲデバイスのうちの第１のＡＲデバイスを介して第１のディスプレイ上に表示された第１のデータストリーム上にオーバーレイするための第１のＡＲコンテンツを決定することと、
ＡＲ制御パラメータに基づいて、複数のＡＲデバイスのうちの第２のＡＲデバイスを介して第１のディスプレイ上に表示された第１のデータストリーム上にオーバーレイするための第２のＡＲコンテンツを決定することであって、第２のＡＲコンテンツが、第１のＡＲコンテンツとは異なる、決定することと、
第１のＡＲコンテンツ及び第２のＡＲコンテンツをそれぞれ第１のＡＲデバイス及び第２のＡＲデバイスに送信することと、を行うように構成されている、外科用ハブ。
２．ＡＲ制御パラメータが、ユーザ役割を含み、プロセッサが、
第１のＡＲデバイスに関連付けられた第１のユーザ役割を識別することと、
第１のユーザ役割に基づいて、第１のＡＲコンテンツに含めるための第１のオーバーレイデータセットを決定することと、
第２のＡＲデバイスに関連付けられた第２のユーザ役割を識別することと、
第２のユーザ役割に基づいて、第２のＡＲコンテンツに含めるための第２のオーバーレイデータセットを決定することであって、第２のオーバーレイデータセットが、第１のオーバーレイデータセットとは異なる、決定することと、を行うように更に構成されている、実施形態１の外科用ハブ。
３．プロセッサが、
第１のＡＲデバイスのユーザが第１のディスプレイを見ていることを検出することと、
検出に応答して、第１のＡＲデバイスを介して第１のディスプレイ上に表示されたコンテンツ上に第１のオーバーレイデータをオーバーレイすることと、を行うように第１のＡＲデバイスに命令するように更に構成されている、実施形態１の外科用ハブ。
４．第１のＡＲコンテンツが、
外科用器具の使用のための工程、
デバイス設定、
デバイスステータス、
使用のためのデバイス命令、
動作パラメータ、又は
検出された異常の指標、のうちの少なくとも１つを含む、実施形態１の外科用ハブ。
５．第１のＡＲコンテンツが、手術前撮像、手術中撮像、器具データ、又は処置命令のうちの少なくとも１つを含む、実施形態１の外科用ハブ。
６．ＡＲ制御パラメータが、
第１のディスプレイに対するユーザの配向、
外科処置の進行と、
外科的コンテキストと、
リアルタイムユーザ入力、又は
事前構成されたユーザ選好、のうちの少なくとも１つを含む、実施形態１の外科用ハブ。
７．第１のディスプレイ上に表示された第１のデータストリーム上にオーバーレイするための第１のＡＲコンテンツが、第１のディスプレイに関連付けられたディスプレイタイプに更に基づいて決定され、プロセッサが、
少なくとも１つのディスプレイのうちの第２のディスプレイに関連付けられたディスプレイタイプに基づいて、第１のＡＲデバイスを介して第２のディスプレイ上に表示されたコンテンツ上にオーバーレイするための第３のＡＲコンテンツを決定すること、を行うように更に構成されている、実施形態１の外科用ハブ。
８．ディスプレイタイプが、
スマート外科用器具上に配置された器具ディスプレイ、又は
手術室内の共有ディスプレイ、又は
パーソナルディスプレイ、のうちの少なくとも１つを含む、実施形態７の外科用ハブ。
９．プロセッサが、
第１のＡＲデバイスから表示制御指標を受信することと、
受信された表示制御指標に基づいて、第１のディスプレイ上に表示するためのコンテンツを調整することと、を行うように更に構成されている、実施形態１の外科用ハブ。
１０．プロセッサが、
第１のＡＲデバイスが外科手術室の境界の外側にあるかどうかを検出することと、
第１のＡＲデバイスが外科手術室の境界の外側にあることを検出したことに応答して、第１のＡＲコンテンツを第１のＡＲデバイスに送信することを無効化することと、を行うように更に構成されている、実施形態１の外科用ハブ。
１１．プロセッサが、
標的領域に対する意図されたアクションの指標を受信することと、
標的領域に対する意図されたアクションを実行することに関連付けられた予測結果を取得することと、
予測結果を第１のＡＲコンテンツに含めることと、を行うように更に構成されている、実施形態１の外科用ハブ。
１２．指標が、第１のＡＲデバイス又は外科用スコープを介して取り込まれた視覚化を含み、外科用器具が標的領域上に、又は標的領域に近接して配置されていることを示す、実施形態１１の外科用ハブ。
１３．プロセッサが、
外科用スコープから受信された視覚データ及び少なくとも１つの外科用器具から受信した外科用データに基づいて、予測結果を決定すること、を行うように更に構成されている、実施形態１１の外科用ハブ。
１４．プロセッサが、
外科用スコープからの視覚データ、及び少なくとも１つの外科用器具からのセンサ入力データを取得することと、
視覚データ及びセンサ入力データをリモートサーバに送信することと、
リモートサーバから予測結果を受信することと、を行うように更に構成されている、実施形態１１の外科用ハブ。
１５．第１のＡＲコンテンツは、視覚コンテンツ又は可聴コンテンツのうちの少なくとも１つを含む、実施形態１の外科用ハブ。
１６．外科用ハブであって、
少なくとも１つのディスプレイ、拡張現実（ＡＲ）デバイス、及び少なくとも１つの外科用器具に動作可能に接続された通信アレイと、
プロセッサと、を備え、プロセッサが、
少なくとも１つの外科用器具のうちの１つの外科用器具から、少なくとも１つのディスプレイのうちの１つのディスプレイ上に表示するためのデータストリームを取得することと、
ディスプレイ上にオーバーレイするためのＡＲコンテンツを生成することと、
ＡＲデバイスのユーザがディスプレイを見ているかどうかを決定することと、
ＡＲデバイスのユーザがディスプレイを見ていることを検出すると、ＡＲデバイスを介してディスプレイ上に表示されたコンテンツ上にＡＲコンテンツをオーバーレイすることと、を行うように構成されている、外科用ハブ。
１７．ディスプレイが、少なくとも１つのディスプレイのうちの第１のディスプレイであり、プロセッサが、
少なくとも１つのディスプレイのうちの第２のディスプレイ上にオーバーレイするための第２のＡＲコンテンツであって、第１のディスプレイ上にオーバーレイするためのＡＲコンテンツとは異なる第２のＡＲコンテンツを生成することと、
ＡＲデバイスのユーザが第２のディスプレイを見ているかどうかを決定することと、
ＡＲデバイスのユーザが第２のディスプレイを見ていることを検出すると、ＡＲデバイスを介して、第２のディスプレイ上に表示されたコンテンツ上に第２のＡＲコンテンツをオーバーレイすることと、を行うように更に構成されている、実施形態１６の外科用ハブ。
１８．プロセッサが、
ＡＲデバイスのユーザがもはやディスプレイを見ていないことを検出すると、ＡＲデバイスを介して、ディスプレイに関連付けられたＡＲコンテンツを供給することを停止することと、を行うように更に構成されている、実施形態１６の外科用ハブ。
１９．プロセッサが、
ＡＲデバイスから表示制御指標を受信することと、
受信された表示制御指標に基づいて、ディスプレイ上に表示するためのコンテンツを調整することと、を行うように更に構成されている、実施形態１６の外科用ハブ。
２０．プロセッサが、
ＡＲデバイスに関連付けられたユーザ役割を識別することを行うように更に構成されており、ＡＲコンテンツが、ユーザ役割に基づいて生成される、実施形態１６の外科用ハブ。

【0375】

〔実施の態様〕
（１） 外科用ハブであって、
少なくとも１つのディスプレイ、複数のＡＲ（拡張現実）デバイス、及び少なくとも１つの外科用器具に動作可能に接続されるように構成された通信アレイと、
プロセッサと、を備え、前記プロセッサが、
ＡＲ制御パラメータを取得することと、
前記少なくとも１つの外科用器具のうちの１つの外科用器具から、前記少なくとも１つのディスプレイのうちの第１のディスプレイ上に表示するための第１のデータストリームを取得することと、
前記ＡＲ制御パラメータに基づいて、前記複数のＡＲデバイスのうちの第１のＡＲデバイスを介して前記第１のディスプレイ上に表示された前記第１のデータストリーム上にオーバーレイするための第１のＡＲコンテンツを決定することと、
前記ＡＲ制御パラメータに基づいて、前記複数のＡＲデバイスのうちの第２のＡＲデバイスを介して前記第１のディスプレイ上に表示された前記第１のデータストリーム上にオーバーレイするための第２のＡＲコンテンツを決定することであって、前記第２のＡＲコンテンツが、前記第１のＡＲコンテンツとは異なる、決定することと、
前記第１のＡＲコンテンツ及び前記第２のＡＲコンテンツをそれぞれ前記第１のＡＲデバイス及び前記第２のＡＲデバイスに送信することと、を行うように構成されている、外科用ハブ。
（２） 前記ＡＲ制御パラメータが、ユーザ役割を含み、前記プロセッサが、
前記第１のＡＲデバイスに関連付けられた第１のユーザ役割を識別することと、
前記第１のユーザ役割に基づいて、前記第１のＡＲコンテンツに含めるための第１のオーバーレイデータセットを決定することと、
前記第２のＡＲデバイスに関連付けられた第２のユーザ役割を識別することと、
前記第２のユーザ役割に基づいて、前記第２のＡＲコンテンツに含めるための第２のオーバーレイデータセットを決定することであって、前記第２のオーバーレイデータセットが、前記第１のオーバーレイデータセットとは異なる、決定することと、を行うように更に構成されている、実施態様１に記載の外科用ハブ。
（３） 前記プロセッサが、
前記第１のＡＲデバイスのユーザが前記第１のディスプレイを見ていることを検出することと、
前記検出に応答して、前記第１のＡＲデバイスを介して前記第１のディスプレイ上に表示された前記第１のデータストリーム上に前記第１のＡＲコンテンツをオーバーレイすることと、を行うように、前記第１のＡＲデバイスに命令するように更に構成されている、実施態様１又は２に記載の外科用ハブ。
（４） 前記第１のＡＲコンテンツが、
外科用器具の使用のための工程、
デバイス設定、
デバイスステータス、
使用のためのデバイス命令、
動作パラメータ、又は
検出された異常の指標、のうちの少なくとも１つを含む、実施態様１～３のいずれかに記載の外科用ハブ。
（５） 前記第１のＡＲコンテンツが、手術前撮像、手術中撮像、器具データ、又は処置命令のうちの少なくとも１つを含む、実施態様１～４のいずれかに記載の外科用ハブ。

【0376】

（６） 前記ＡＲ制御パラメータが、
前記第１のディスプレイに対するユーザの配向、
前記外科処置の進行、
外科的コンテキスト、
リアルタイムユーザ入力、又は
事前構成されたユーザ選好、のうちの少なくとも１つを含む、実施態様１～５のいずれかに記載の外科用ハブ。
（７） 前記第１のディスプレイ上に表示された前記第１のデータストリーム上にオーバーレイするための前記第１のＡＲコンテンツが、前記第１のディスプレイに関連付けられたディスプレイタイプに更に基づいて決定され、前記プロセッサが、
前記少なくとも１つのディスプレイのうちの第２のディスプレイに関連付けられたディスプレイタイプに基づいて、前記第１のＡＲデバイスを介して前記第２のディスプレイ上に表示されたコンテンツ上にオーバーレイするための第３のＡＲコンテンツを決定することを行うように更に構成されている、実施態様１～６のいずれかに記載の外科用ハブ。
（８） 前記ディスプレイタイプが、
スマート外科用器具上に配置された器具ディスプレイ、又は
手術室内の共有ディスプレイ、又は
パーソナルディスプレイ、のうちの少なくとも１つを含む、実施態様７に記載の外科用ハブ。
（９） 前記プロセッサが、
前記第１のＡＲデバイスから表示制御指標を受信することと、
前記受信された表示制御指標に基づいて、前記第１のディスプレイ上に表示するための前記コンテンツを調整することと、を行うように更に構成されている、実施態様１～８のいずれかに記載の外科用ハブ。
（１０） 前記プロセッサが、
前記第１のＡＲデバイスが外科手術室の境界の外側にあるかどうかを検出することと、
前記第１のＡＲデバイスが前記外科手術室の前記境界の外側にあることを検出したことに応答して、前記第１のＡＲコンテンツを前記第１のＡＲデバイスに送信することを無効化することと、を行うように更に構成されている、実施態様１～９のいずれかに記載の外科用ハブ。

【0377】

（１１） 前記プロセッサが、
標的領域に対する意図されたアクションの指標を受信することと、
前記標的領域に対する前記意図されたアクションを実行することに関連付けられた予測結果を取得することと、
前記予測結果を前記第１のＡＲコンテンツに含めることと、を行うように更に構成されている、実施態様１～１０のいずれかに記載の外科用ハブ。
（１２） 前記指標が、前記第１のＡＲデバイス又は外科用スコープを介して取り込まれた視覚化を含み、前記視覚化が、外科用器具が標的領域上に、又は標的領域に近接して配置されていることを示す、実施態様１１に記載の外科用ハブ。
（１３） 前記プロセッサが、
外科用スコープから受信された視覚データ及び前記少なくとも１つの外科用器具から受信した外科用データに基づいて、前記予測結果を決定することを行うように更に構成されている、実施態様１１又は１２に記載の外科用ハブ。
（１４） 前記プロセッサが、
外科用スコープからの視覚データ、及び前記少なくとも１つの外科用器具からのセンサ入力データを取得することと、
前記視覚データ及び前記センサ入力データをリモートサーバに送信することと、
前記リモートサーバから前記予測結果を受信することと、を行うように更に構成されている、実施態様１１又は１２に記載の外科用ハブ。
（１５） 前記第１のＡＲコンテンツが、視覚コンテンツ又は可聴コンテンツのうちの少なくとも１つを含む、実施態様１～１４のいずれかに記載の外科用ハブ。

【0378】

（１６） 外科用ハブであって、
少なくとも１つのディスプレイ、ＡＲ（拡張現実）デバイス、及び少なくとも１つの外科用器具に動作可能に接続されるように構成された通信アレイと、
プロセッサと、を備え、前記プロセッサが、
前記少なくとも１つの外科用器具のうちの１つの外科用器具から、前記少なくとも１つのディスプレイのうちの１つのディスプレイ上に表示するためのデータストリームを取得することと、
前記ディスプレイ上にオーバーレイするためのＡＲコンテンツを生成することと、
前記ＡＲデバイスのユーザが前記ディスプレイを見ているかどうかを決定することと、
前記ＡＲデバイスの前記ユーザが前記ディスプレイを見ていることを検出すると、前記ＡＲデバイスを介して前記ディスプレイ上に表示された前記コンテンツ上に前記ＡＲコンテンツをオーバーレイすることと、を行うように構成されている、外科用ハブ。
（１７） 前記プロセッサが、
前記第１のＡＲデバイスのユーザが前記第１のディスプレイを見ているかどうかを決定することと、
前記第１のＡＲデバイスの前記ユーザが前記第１のディスプレイを見ていることを検出すると、前記第１のＡＲデバイスを介して前記第１のディスプレイ上に表示された前記コンテンツ上に前記第１のＡＲコンテンツをオーバーレイすることと、を行うように更に構成されている、実施態様１～１５のいずれかに記載の外科用ハブ。
（１８） 前記ディスプレイが、前記少なくとも１つのディスプレイのうちの第１のディスプレイであり、前記プロセッサが、
前記少なくとも１つのディスプレイのうちの第２のディスプレイ上にオーバーレイするための第２のＡＲコンテンツを生成することであって、前記第２のＡＲコンテンツが、前記第１のディスプレイ上にオーバーレイするための前記ＡＲコンテンツとは異なる、生成することと、
前記ＡＲデバイスの前記ユーザが前記第２のディスプレイを見ているかどうかを決定することと、
前記ＡＲデバイスの前記ユーザが前記第２のディスプレイを見ていることを検出すると、前記ＡＲデバイスを介して、前記第２のディスプレイ上に表示された前記コンテンツ上に前記第２のＡＲコンテンツをオーバーレイすることと、を行うように更に構成されている、実施態様１６又は１７に記載の外科用ハブ。
（１９） 前記プロセッサが、
前記ＡＲデバイスの前記ユーザがもはや前記ディスプレイを見ていないことを検出すると、前記ＡＲデバイスを介して、前記ディスプレイに関連付けられた前記ＡＲコンテンツを供給することを停止することを行うように更に構成されている、実施態様１６～１８のいずれかに記載の外科用ハブ。
（２０） 前記プロセッサが、
前記ＡＲデバイスから表示制御指標を受信することと、
前記受信された表示制御指標に基づいて、前記ディスプレイ上に表示するための前記コンテンツを調整することと、を行うように更に構成されている、実施態様１６～１９のいずれかに記載の外科用ハブ。

【0379】

（２１） 前記プロセッサが、
前記ＡＲデバイスに関連付けられたユーザ役割を識別することを行うように更に構成されており、前記ＡＲコンテンツが、前記ユーザ役割に基づいて生成される、実施態様１６～２０のいずれかに記載の外科用ハブ。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】

【図22】

【図23】

【図24】

【図25】

【図26】

【図27】

【図28】

【図29】

【図30】

【図31】

【図32】

【図33】

【図34A】

【図34B】

【図34C】

【図35】

【図36】

【図37】

【図38】

【図39】

【図40】

【図41】

【図42】

【図43】

【図44】

【図45】

【図46】

【国際調査報告】