特表2024-514633手術視野における表示態様のリスクベースの優先順位付け
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-04-02
(54)【発明の名称】手術視野における表示態様のリスクベースの優先順位付け
(51)【国際特許分類】
A61B 34/10 20160101AFI20240326BHJP
【ＦＩ】
A61B34/10
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023563011
(86)(22)【出願日】2022-04-11
(85)【翻訳文提出日】2023-11-24
(86)【国際出願番号】 IB2022053362
(87)【国際公開番号】W WO2022219490
(87)【国際公開日】2022-10-20
(31)【優先権主張番号】63/174,674
(32)【優先日】2021-04-14
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】63/284,326
(32)【優先日】2021-11-30
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/688,615
(32)【優先日】2022-03-07
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＦＡＣＥＢＯＯＫ
(71)【出願人】
【識別番号】506157570
【氏名又は名称】シラグ・ゲーエムベーハー・インターナショナル
【氏名又は名称原語表記】Ｃｉｌａｇ ＧＭＢＨ Ｉｎｔｅｒｎａｔｉｏｎａｌ
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】シェルトン・ザ・フォース・フレデリック・イー
(72)【発明者】
【氏名】アダムス・シェーン・アール
(72)【発明者】
【氏名】カウパースウェイト・マシュー・ディー
(72)【発明者】
【氏名】キンボール・コリー・ジー
(72)【発明者】
【氏名】リヴァード・モニカ・エル・ゼット
(72)【発明者】
【氏名】ロッソーニ・レオナルド・エヌ
(72)【発明者】
【氏名】コイチェフ・リスト
(72)【発明者】
【氏名】ボーク・フェリックス・ジェイ
(72)【発明者】
【氏名】ワージントン・サラ・エイ
(72)【発明者】
【氏名】ソウ・クリストファー・キュー
(72)【発明者】
【氏名】ワイズ・オースティン・イー
(72)【発明者】
【氏名】ジェンキンス・スコット・エイ
(72)【発明者】
【氏名】シュヴァイツァー・メリッサ
(72)【発明者】
【氏名】ハリス・ジェイソン・エル
(57)【要約】
外科用システムは、外科的処置において使用するためのものである。外科用システムは、外科的処置において組織を治療するように構成された外科用器具と、撮像デバイスと、外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、ライブストリームが撮像デバイスによって捕捉される、ディスプレイと、制御モジュールとを備える。制御モジュールは、外科的リスクを検出することと、外科的リスクに表示優先度を割り当てることと、表示優先度に基づいて外科的リスクの表示配置を決定することあって、表示配置が、ライブストリーム上にアラート特徴をオーバーレイすることを含む、ことと、を行うように構成される。
【特許請求の範囲】
【請求項1】
外科的処置において使用するための外科用システムであって、前記外科的処置において組織を治療するように構成された外科用器具と、
撮像デバイスと、
前記外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、前記ライブストリームが前記撮像デバイスによって捕捉される、ディスプレイと、
制御モジュールであって、
外科的リスクを検出することと、
前記外科的リスクに表示優先度を割り当てることと、
前記表示優先度に基づいて前記外科的リスクの表示配置を決定することであって、前記表示配置が、前記ライブストリーム上にアラート特徴をオーバーレイすることを含む、ことと、を行うように構成された、制御モジュールとを備える、外科用システム。
【請求項2】
前記アラート特徴が、アラートアイコンである、請求項１に記載の外科用システム。
【請求項3】
前記表示配置が、前記ライブストリームの角に前記アラート特徴をオーバーレイすることを含む、請求項１に記載の外科用システム。
【請求項4】
前記表示配置が、前記外科的リスクの重度レベルに基づいて前記アラート特徴を変更することを含む、請求項１に記載の外科用システム。
【請求項5】
前記外科的リスクが、前記組織の出血のレベルに関連する、請求項１に記載の外科用システム。
【請求項6】
前記外科的リスクが、組織パラメータに関連付けられる、請求項１に記載の外科用システム。
【請求項7】
前記外科的リスクが、前記外科用器具のパラメータに関連付けられる、請求項１に記載の外科用システム。
【請求項8】
前記外科的リスクが、前記組織の動きに関連付けられる、請求項１に記載の外科用システム。
【請求項9】
前記表示配置が、前記アラート特徴に対するユーザ反応に応答して、前記アラート特徴の変更を引き起こすことを更に含む、請求項１に記載の外科用システム。
【請求項10】
前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、開放構成と閉鎖構成との間の前記術野における前記エンドエフェクタの遷移を引き起こすことを含む、請求項９に記載の外科用システム。
【請求項11】
前記アラート特徴の前記変更が、前記アラート特徴を前記外科的リスクに関連付けられた情報に置き換えることを含む、請求項９に記載の外科用システム。
【請求項12】
前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、前記エンドエフェクタを前記アラート特徴の上にホバリングさせることを含む、請求項９に記載の外科用システム。
【請求項13】
外科的処置において使用するための外科用システムであって、前記外科的処置において組織を治療するように構成された外科用器具と、
撮像デバイスと、
前記外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、前記ライブストリームが前記撮像デバイスによって捕捉される、ディスプレイと、
制御モジュールであって、
外科的リスクを検出することと、
前記外科的リスクに重度レベルを割り当てることと、
前記外科的リスクの前記重度レベルに基づいて前記外科的リスクの表示配置を決定することであって、前記表示配置が、アラート特徴を含む、ことと、を行うように構成された、制御モジュールとを備える、外科用システム。
【請求項14】
前記アラート特徴が、アラートアイコンである、請求項１３に記載の外科用システム。
【請求項15】
前記表示配置が、前記ライブストリームの角に前記アラート特徴をオーバーレイすることを含む、請求項１３に記載の外科用システム。
【請求項16】
前記表示配置が、前記外科的リスクの重度レベルに基づいて前記アラート特徴を変更することを含む、請求項１３に記載の外科用システム。
【請求項17】
前記表示配置が、前記アラート特徴に対するユーザ反応に応答して、前記アラート特徴の変更を引き起こすことを更に含む、請求項１３に記載の外科用システム。
【請求項18】
前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、開放構成と閉鎖構成との間の前記術野における前記エンドエフェクタの遷移を引き起こすことを含む、請求項１７に記載の外科用システム。
【請求項19】
前記アラート特徴の前記変更が、前記アラート特徴を前記外科的リスクに関連付けられた情報に置き換えることを含む、請求項１７に記載の外科用システム。
【請求項20】
前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、前記エンドエフェクタを前記アラート特徴の上にホバリングさせることを含む、請求項１７に記載の外科用システム。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、米国特許法第１１９条（ｅ）の下で、２０２１年４月１４日に出願された「ＨＥＡＤＳ ＵＰ ＤＩＳＰＬＡＹ」と題する米国仮特許出願第６３／１７４，６７４号、及び２０２１年１１月３０日に出願された「ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国仮特許出願第６３／２８４，３２６号に対する利益を主張するものであり、これらの各々の開示は、その全体が参照により本明細書に組み込まれる。
本出願は、米国特許法第１１９条（ｅ）の下で、２０２１年４月１４日に出願された「ＨＥＡＤＳ ＵＰ ＤＩＳＰＬＡＹ」と題する米国仮特許出願第６３／１７４，６７４号、及び２０２１年１１月３０日に出願された「ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国仮特許出願第６３／２８４，３２６号に対する利益を主張するものであり、これらの各々の開示は、その全体が参照により本明細書に組み込まれる。
【背景技術】
【0002】
本開示は、外科的処置中に拡張現実インタラクティブ体験を提供するための装置、システム、及び方法に関する。外科的処置中に、実世界に存在するオブジェクトが、時には視覚、聴覚、触覚、体性感覚、及び嗅覚を含む複数の感覚モダリティにわたって、コンピュータ生成された知覚情報をオーバーレイすることによって強化される、実世界環境の拡張現実インタラクティブ体験を提供することが望ましいであろう。本開示の文脈では、術野並びに術野に現れる外科用器具及び他のオブジェクトの画像は、コンピュータ生成された視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚情報を、術野並びに術野に現れる器具又は他のオブジェクトの実世界画像上にオーバーレイすることによって強化される。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。
【0003】
実世界の外科用器具は、エネルギー、ステープラ、又はエネルギーとステープラとの組合せを含む、種々の外科用デバイスを含む。エネルギーベースの医療デバイスは、限定ではないが、とりわけ、無線周波数（ＲＦ）ベースの単極及び双極電気外科用器具、超音波外科用器具、ＲＦ電気外科用器具と超音波器具との組合せ、ＲＦ電気外科用ステープラと機械的ステープラとの組合せを含む。外科用ステープラデバイスは、肥満、胸部、結腸直腸、産婦人科、泌尿器科、及び一般外科を含む、種々の外科的処置において組織を切断及びステープル留めするために使用される外科用器具である。
【発明の概要】
【課題を解決するための手段】
【0004】
様々な例では、外科用システムは外科的処置で使用される。外科用システムは、外科的処置において組織を治療するように構成された外科用器具と、撮像デバイスと、外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、ライブストリームが撮像デバイスによって捕捉される、ディスプレイと、制御モジュールとを備える。制御モジュールは、外科的リスクを検出することと、外科的リスクに表示優先度を割り当てることと、表示優先度に基づいて外科的リスクの表示配置を決定することあって、表示配置が、ライブストリーム上にアラート特徴をオーバーレイすることを含む、ことと、を行うように構成される。
【0005】
様々な例では、外科用システムは外科的処置で使用される。外科用システムは、外科的処置において組織を治療するように構成された外科用器具と、撮像デバイスと、外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、ライブストリームが撮像デバイスによって捕捉される、ディスプレイと、制御モジュールとを備える。制御モジュールは、外科的リスクを検出することと、外科的リスクに重度レベルを割り当てることと、外科的リスクの重度レベルに基づいて外科的リスクの表示配置を決定することであって、表示配置が、アラート特徴を含む、ことと、を行うように構成される。
【図面の簡単な説明】
【0006】
構成及び操作方法の両方に関して本明細書で説明する様々な態様は、それらの更なる目的及び利点とともに、以下の説明を以下の添付図面と併せて参照することで最良に理解され得る。
【図1】本開示の一態様による、コンピュータ実装インタラクティブ外科用システムのブロック図である。
【図2】本開示の一態様による、手術室内で外科的処置を実行するために使用される外科用システムの図である。
【図3】本開示の一態様による、可視化システム、ロボットシステム、及びインテリジェント器具とペアリングされた外科用ハブである。
【図4】本開示の一態様による、医療施設の１つ以上の手術現場、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置しているモジュール式デバイスをクラウドに接続するように構成されたモジュール式通信ハブを含む外科用データネットワークを示す図である。
【図5】本開示の一態様による、コンピュータ実装インタラクティブ外科用システムを示す図である。
【図6】本開示の一態様による、モジュール式制御タワーに連結された複数のモジュールを含む外科用ハブを示す図である。
【図7】本開示の一態様による、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す図である。
【図8】本開示の一態様による、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す図である。
【図9】本開示の一態様による、外科用ハブにデータを通信するために外科医によって装着される拡張現実（ＡＲ）デバイスを示す図である。
【図10】本開示の一態様による、拡張現実ディスプレイを使用して外科用器具情報を拡張するためのシステムを示す図である。
【図11】本開示の一態様による、状況認識外科的処置のタイムラインを示す図である。
【図12】本開示の少なくとも一態様による、外科用可視化システムを示す図である。
【図13】本開示の少なくとも一態様による、ディスプレイ上への提示を求めて競合する外科用データの表示配置を決定するための例示的な方法の動作を示すフローチャートである。
【図15】本開示の少なくとも一態様による、外科用吻合内の組織張力及び／又は圧力パラメータの表示優先度値を決定するための方法の動作を示すフローチャートである。
【図16】本開示の少なくとも一態様による、トリガイベントに基づいて表示優先度値を決定するための方法の動作を示すフローチャートである。
【図17】本開示の少なくとも一態様による、方法の動作を示すフローチャートである。
【図18】本開示の少なくとも一態様による、外科的処置における術野のライブストリーム間の自動切り替えのための方法の動作を示すフローチャートである。
【図19】本開示の少なくとも一態様による、外科的処置中にシステムリソースをバランスさせるための方法の動作を示すフローチャートである。
【図19A】本開示の少なくとも一態様による、外科用データに基づいて静的表示モードとアクティブ表示モードとの間で遷移するための方法の動作を示すフローチャートである。
【図19B】本開示の少なくとも一態様による、静的表示モードとアクティブ表示モードとの間で外科用データの視覚表現を遷移させるための方法の動作を示すフローチャートである。
【図20】本開示の少なくとも一態様による、表示配置における表示対立を解決するための方法の動作を示すフローチャートである。
【図21】本開示の少なくとも一態様による、外科用器具を採用する外科的処置における組織変化に対処するための方法の動作を示すフローチャートである。
【図22A】本開示の少なくとも一態様による、表示配置を示す図である。
【図22B】本開示の少なくとも一態様による、表示配置を示す図である。
【図22C】本開示の少なくとも一態様による、表示配置を示す図である。
【図23A】本開示の少なくとも一態様による、表示配置を示す図である。
【図23B】本開示の少なくとも一態様による、表示配置を示す図である。
【図24】本開示の少なくとも一態様による、表示配置を示す図である。
【図25】本開示の少なくとも一態様による、表示配置を示す図である。
【図26】本開示の方法による、表示配置を示す図である。
【図27A】本開示の方法による、表示配置を示す図である。
【図27B】本開示の方法による、表示配置を示す図である。
【図27C】本開示の方法による、表示配置を示す図である。
【図28】本開示の方法による、表示配置を示す図である。
【図29】本開示の方法による、表示配置を示す図である。
【図30】本開示の方法による、表示配置を示す図である。
【図31】本開示の少なくとも一態様による、外科的処置中の表示配置のリスクベースの操作のための方法の動作を示すフローチャートである。
【図32】本開示の少なくとも一態様による、表示配置を示す図である。
【図33】本開示の少なくとも一態様による、表示配置を示す図である。
【図34】本開示の少なくとも一態様による、表示配置を示す図である。
【0007】
複数の図面を通して、対応する参照符号は対応する部分を示す。本明細書に記載された例示は、様々な開示された実施形態を一形態で示しており、そのような例示は、その範囲を限定するものとして決して解釈されるべきではない。
【発明を実施するための形態】
【0008】
本出願の出願人は、各開示の全体が参照により本明細書に組み込まれる、同時に出願された以下の米国特許出願を所有する。
・「ＭＥＴＨＯＤ ＦＯＲ ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題された米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１／２１０１２０－１Ｍ、
・「ＵＴＩＬＩＺＡＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＤＡＴＡ ＶＡＬＵＥＳ ＡＮＤ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ ＴＯ ＣＯＮＴＲＯＬ ＴＨＥ ＯＶＥＲＬＡＹ ＩＮ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ」と題された米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ２／２１０１２０－２、
・「Ｓｅｌｅｃｔｉｖｅ ａｎｄ ａｄｊｕｓｔａｂｌｅ ｍｉｘｅｄ ｒｅａｌｉｔｙ ｏｖｅｒｌａｙ ｉｎ ｓｕｒｇｉｃａｌ ｆｉｅｌｄ ｖｉｅｗ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ３／２１０１２０－３、
・「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＵＲＧＩＣＡＬ ＤＡＴＡ ＯＶＥＲＬＡＹ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ５／２１０１２０－５、
・「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＨＡＮＧＩＮＧ ＤＩＳＰＬＡＹ ＯＶＥＲＬＡＹ ＯＦ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ ＢＡＳＥＤ ＯＮ ＴＲＩＧＧＥＲＩＮＧ ＥＶＥＮＴＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ６／２１０１２０－６、
・「ＣＵＳＴＯＭＩＺＡＴＩＯＮ ＯＦ ＯＶＥＲＬＡＩＤ ＤＡＴＡ ＡＮＤ ＣＯＮＦＩＧＵＲＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ７／２１０１２０－７、
・「ＩＮＤＩＣＡＴＩＯＮ ＯＦ ＴＨＥ ＣＯＵＰＬＥ ＰＡＩＲ ＯＦ ＲＥＭＯＴＥ ＣＯＮＴＲＯＬＳ ＷＩＴＨ ＲＥＭＯＴＥ ＤＥＶＩＣＥＳ ＦＵＮＣＴＩＯＮＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ８／２１０１２０－８、
・「ＣＯＯＰＥＲＡＴＩＶＥ ＯＶＥＲＬＡＹＳ ＯＦ ＩＮＴＥＲＡＣＴＩＮＧ ＩＮＳＴＲＵＭＥＮＴＳ ＷＨＩＣＨ ＲＥＳＵＬＴ ＩＮ ＢＯＴＨ ＯＶＥＲＬＡＹＳ ＢＥＩＮＧ ＥＦＦＥＣＴＥＤ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ９／２１０１２０－９、
・「ＡＮＴＩＣＩＰＡＴＩＯＮ ＯＦ ＩＮＴＥＲＡＣＴＩＶＥ ＵＴＩＬＩＺＡＴＩＯＮ ＯＦ ＣＯＭＭＯＮ ＤＡＴＡ ＯＶＥＲＬＡＹＳ ＢＹ ＤＩＦＦＥＲＥＮＴ ＵＳＥＲＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１０／２１０１２０－１０、
・「ＭＩＸＩＮＧ ＤＩＲＥＣＴＬＹ ＶＩＳＵＡＬＩＺＥＤ ＷＩＴＨ ＲＥＮＤＥＲＥＤ ＥＬＥＭＥＮＴＳ ＴＯ ＤＩＳＰＬＡＹ ＢＬＥＮＤＥＤ ＥＬＥＭＥＮＴＳ ＡＮＤ ＡＣＴＩＯＮＳ ＨＡＰＰＥＮＩＮＧ ＯＮ－ＳＣＲＥＥＮ ＡＮＤ ＯＦＦ－ＳＣＲＥＥＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１１／２１０１２０－１１、
・「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＴＲＡＣＫＩＮＧ Ａ ＰＯＲＴＩＯＮ ＯＦ ＴＨＥ ＵＳＥＲ ＡＳ Ａ ＰＲＯＸＹ ＦＯＲ ＮＯＮ－ＭＯＮＩＴＯＲＥＤ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１２／２１０１２０－１２、
・「ＵＴＩＬＩＺＩＮＧ ＣＯＮＴＥＸＴＵＡＬ ＰＡＲＡＭＥＴＥＲＳ ＯＦ ＯＮＥ ＯＲ ＭＯＲＥ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ ＴＯ ＰＲＥＤＩＣＴ Ａ ＦＲＥＱＵＥＮＣＹ ＩＮＴＥＲＶＡＬ ＦＯＲ ＤＩＳＰＬＡＹＩＮＧ ＳＵＲＧＩＣＡＬ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１３／２１０１２０－１３、
・「ＣＯＯＰＥＲＡＴＩＯＮ ＡＭＯＮＧ ＭＵＬＴＩＰＬＥ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ ＴＯ ＰＲＯＶＩＤＥ Ａ ＨＥＡＬＴＨＣＡＲＥ ＵＳＥＲ ＣＵＳＴＯＭＩＺＥＤ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１４／２１０１２０－１４、
・「ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１５／２１０１２０－１５、
・「ＡＤＡＰＴＡＴＩＯＮ ＡＮＤ ＡＤＪＵＳＴＡＢＩＬＩＴＹ ＯＲ ＯＶＥＲＬＡＩＤ ＩＮＳＴＲＵＭＥＮＴ ＩＮＦＯＲＭＡＴＩＯＮ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１６／２１０１２０－１６、及び、
・「ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＦＥＥＤＢＡＣＫ ＳＹＳＴＥＭＳ ＴＨＡＴ ＣＯＯＰＥＲＡＴＥ ＴＯ ＩＮＣＲＥＡＳＥ ＥＦＦＩＣＩＥＮＴ ＰＥＲＣＥＰＴＩＯＮ ＯＦ ＣＯＭＰＬＥＸ ＤＡＴＡ ＦＥＥＤＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１７／２１０１２０－１７。
・「ＭＥＴＨＯＤ ＦＯＲ ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題された米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１／２１０１２０－１Ｍ、
・「ＵＴＩＬＩＺＡＴＩＯＮ ＯＦ ＳＵＲＧＩＣＡＬ ＤＡＴＡ ＶＡＬＵＥＳ ＡＮＤ ＳＩＴＵＡＴＩＯＮＡＬ ＡＷＡＲＥＮＥＳＳ ＴＯ ＣＯＮＴＲＯＬ ＴＨＥ ＯＶＥＲＬＡＹ ＩＮ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ」と題された米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ２／２１０１２０－２、
・「Ｓｅｌｅｃｔｉｖｅ ａｎｄ ａｄｊｕｓｔａｂｌｅ ｍｉｘｅｄ ｒｅａｌｉｔｙ ｏｖｅｒｌａｙ ｉｎ ｓｕｒｇｉｃａｌ ｆｉｅｌｄ ｖｉｅｗ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ３／２１０１２０－３、
・「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＵＲＧＩＣＡＬ ＤＡＴＡ ＯＶＥＲＬＡＹ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ５／２１０１２０－５、
・「ＳＹＳＴＥＭＳ ＡＮＤ ＭＥＴＨＯＤＳ ＦＯＲ ＣＨＡＮＧＩＮＧ ＤＩＳＰＬＡＹ ＯＶＥＲＬＡＹ ＯＦ ＳＵＲＧＩＣＡＬ ＦＩＥＬＤ ＶＩＥＷ ＢＡＳＥＤ ＯＮ ＴＲＩＧＧＥＲＩＮＧ ＥＶＥＮＴＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ６／２１０１２０－６、
・「ＣＵＳＴＯＭＩＺＡＴＩＯＮ ＯＦ ＯＶＥＲＬＡＩＤ ＤＡＴＡ ＡＮＤ ＣＯＮＦＩＧＵＲＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ７／２１０１２０－７、
・「ＩＮＤＩＣＡＴＩＯＮ ＯＦ ＴＨＥ ＣＯＵＰＬＥ ＰＡＩＲ ＯＦ ＲＥＭＯＴＥ ＣＯＮＴＲＯＬＳ ＷＩＴＨ ＲＥＭＯＴＥ ＤＥＶＩＣＥＳ ＦＵＮＣＴＩＯＮＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ８／２１０１２０－８、
・「ＣＯＯＰＥＲＡＴＩＶＥ ＯＶＥＲＬＡＹＳ ＯＦ ＩＮＴＥＲＡＣＴＩＮＧ ＩＮＳＴＲＵＭＥＮＴＳ ＷＨＩＣＨ ＲＥＳＵＬＴ ＩＮ ＢＯＴＨ ＯＶＥＲＬＡＹＳ ＢＥＩＮＧ ＥＦＦＥＣＴＥＤ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ９／２１０１２０－９、
・「ＡＮＴＩＣＩＰＡＴＩＯＮ ＯＦ ＩＮＴＥＲＡＣＴＩＶＥ ＵＴＩＬＩＺＡＴＩＯＮ ＯＦ ＣＯＭＭＯＮ ＤＡＴＡ ＯＶＥＲＬＡＹＳ ＢＹ ＤＩＦＦＥＲＥＮＴ ＵＳＥＲＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１０／２１０１２０－１０、
・「ＭＩＸＩＮＧ ＤＩＲＥＣＴＬＹ ＶＩＳＵＡＬＩＺＥＤ ＷＩＴＨ ＲＥＮＤＥＲＥＤ ＥＬＥＭＥＮＴＳ ＴＯ ＤＩＳＰＬＡＹ ＢＬＥＮＤＥＤ ＥＬＥＭＥＮＴＳ ＡＮＤ ＡＣＴＩＯＮＳ ＨＡＰＰＥＮＩＮＧ ＯＮ－ＳＣＲＥＥＮ ＡＮＤ ＯＦＦ－ＳＣＲＥＥＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１１／２１０１２０－１１、
・「ＳＹＳＴＥＭ ＡＮＤ ＭＥＴＨＯＤ ＦＯＲ ＴＲＡＣＫＩＮＧ Ａ ＰＯＲＴＩＯＮ ＯＦ ＴＨＥ ＵＳＥＲ ＡＳ Ａ ＰＲＯＸＹ ＦＯＲ ＮＯＮ－ＭＯＮＩＴＯＲＥＤ ＩＮＳＴＲＵＭＥＮＴ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１２／２１０１２０－１２、
・「ＵＴＩＬＩＺＩＮＧ ＣＯＮＴＥＸＴＵＡＬ ＰＡＲＡＭＥＴＥＲＳ ＯＦ ＯＮＥ ＯＲ ＭＯＲＥ ＳＵＲＧＩＣＡＬ ＤＥＶＩＣＥＳ ＴＯ ＰＲＥＤＩＣＴ Ａ ＦＲＥＱＵＥＮＣＹ ＩＮＴＥＲＶＡＬ ＦＯＲ ＤＩＳＰＬＡＹＩＮＧ ＳＵＲＧＩＣＡＬ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１３／２１０１２０－１３、
・「ＣＯＯＰＥＲＡＴＩＯＮ ＡＭＯＮＧ ＭＵＬＴＩＰＬＥ ＤＩＳＰＬＡＹ ＳＹＳＴＥＭＳ ＴＯ ＰＲＯＶＩＤＥ Ａ ＨＥＡＬＴＨＣＡＲＥ ＵＳＥＲ ＣＵＳＴＯＭＩＺＥＤ ＩＮＦＯＲＭＡＴＩＯＮ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１４／２１０１２０－１４、
・「ＩＮＴＲＡＯＰＥＲＡＴＩＶＥ ＤＩＳＰＬＡＹ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１５／２１０１２０－１５、
・「ＡＤＡＰＴＡＴＩＯＮ ＡＮＤ ＡＤＪＵＳＴＡＢＩＬＩＴＹ ＯＲ ＯＶＥＲＬＡＩＤ ＩＮＳＴＲＵＭＥＮＴ ＩＮＦＯＲＭＡＴＩＯＮ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＹＳＴＥＭＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１６／２１０１２０－１６、及び、
・「ＭＩＸＥＤ ＲＥＡＬＩＴＹ ＦＥＥＤＢＡＣＫ ＳＹＳＴＥＭＳ ＴＨＡＴ ＣＯＯＰＥＲＡＴＥ ＴＯ ＩＮＣＲＥＡＳＥ ＥＦＦＩＣＩＥＮＴ ＰＥＲＣＥＰＴＩＯＮ ＯＦ ＣＯＭＰＬＥＸ ＤＡＴＡ ＦＥＥＤＳ」と題する米国特許出願；代理人整理番号ＥＮＤ９３５２ＵＳＮＰ１７／２１０１２０－１７。
【0009】
本出願の出願人は、各開示の全体が参照により本明細書に組み込まれる、以下の米国特許出願を所有する。
・「ＭＥＴＨＯＤ ＯＦ ＣＯＭＰＲＥＳＳＩＮＧ ＴＩＳＳＵＥ ＷＩＴＨＩＮ Ａ ＳＴＡＰＬＩＮＧ ＤＥＶＩＣＥ ＡＮＤ ＳＩＭＵＬＴＡＮＥＯＵＳＬＹ ＤＩＳＰＬＡＹＩＮＧ ＴＨＥ ＬＯＣＡＴＩＯＮ ＯＦ ＴＨＥ ＴＩＳＳＵＥ ＷＩＴＨＩＮ ＴＨＥ ＪＡＷＳ」と題する米国特許出願第１６／２０９，４２３号（現在は、米国特許出願公開第２０１９／０２００９８１（Ａ１）号）、
・「ＭＥＴＨＯＤ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＭＡＲＴ ＥＮＥＲＧＹ ＤＥＶＩＣＥＳ」と題する米国特許出願第１６／２０９，４５３号（現在は、米国特許出願公開第２０１９／０２０１０４６（Ａ１）号）。
・「ＭＥＴＨＯＤ ＯＦ ＣＯＭＰＲＥＳＳＩＮＧ ＴＩＳＳＵＥ ＷＩＴＨＩＮ Ａ ＳＴＡＰＬＩＮＧ ＤＥＶＩＣＥ ＡＮＤ ＳＩＭＵＬＴＡＮＥＯＵＳＬＹ ＤＩＳＰＬＡＹＩＮＧ ＴＨＥ ＬＯＣＡＴＩＯＮ ＯＦ ＴＨＥ ＴＩＳＳＵＥ ＷＩＴＨＩＮ ＴＨＥ ＪＡＷＳ」と題する米国特許出願第１６／２０９，４２３号（現在は、米国特許出願公開第２０１９／０２００９８１（Ａ１）号）、
・「ＭＥＴＨＯＤ ＦＯＲ ＣＯＮＴＲＯＬＬＩＮＧ ＳＭＡＲＴ ＥＮＥＲＧＹ ＤＥＶＩＣＥＳ」と題する米国特許出願第１６／２０９，４５３号（現在は、米国特許出願公開第２０１９／０２０１０４６（Ａ１）号）。
【0010】
外科用装置及び発生器の様々な態様を詳細に説明する前に、例解的な実施例は、適用又は用途において、添付の図面及び説明において例解される部品の構造及び配置の詳細に限定されないことに留意されたい。例示の実施例は、他の態様、変形形態、及び修正形態で実装されるか、又はそれらに組み込まれてもよく、様々な方法で実施又は実行されてもよい。更に、特に明記しない限り、本明細書で用いられる用語及び表現は、読者の便宜のために例示の実施例を説明する目的で選択されたものであり、それらを限定するためのものではない。更に、以下に記述される態様、態様の表現、及び／又は実施例のうち１つ以上を、以下に記述される他の態様、態様の表現、及び／又は実施例のうち任意の１つ以上と組み合わせることができるものと理解されたい。
【0011】
様々な態様は、様々なエネルギー及び外科用ステープラベースの医療デバイスのための外科用システムのための画面上表示を対象とする。エネルギーベースの医療デバイスは、限定ではないが、とりわけ、無線周波数（ＲＦ）ベースの単極及び双極電気外科用器具、超音波外科用器具、ＲＦ電気外科用器具と超音波器具との組合せ、ＲＦ電気外科用ステープラと機械的ステープラとの組合せを含む。外科用ステープラデバイスは、電気外科用デバイス及び／又は超音波デバイスと組み合わされた外科用ステープラを含む。超音波外科用デバイスの態様は、例えば、外科的処置中に組織を横切開及び／又は凝固するように構成され得る。電気外科用デバイスの態様は、例えば、外科的処置中に、組織を横切開、凝固、封止、溶接及び／又は乾燥させるように構成され得る。外科用ステープラデバイスの態様は、外科的処置中に組織を横切開してステープル留めするように構成することができ、いくつかの態様では、外科用ステープラデバイスは、外科的処置中に組織にＲＦエネルギーを送達するように構成することができる。電気外科用デバイスは、治療用及び／又は非治療用ＲＦエネルギーを組織に送達するように構成されている。外科用ステープラ、電気外科用デバイス、及び超音波デバイスの要素は、単一の外科用器具において組み合わせて使用され得る。
【0012】
様々な態様では、本開示は、外科的処置中にＯＲチームにリアルタイム情報の画面上表示を提供する。本開示の様々な態様によれば、様々な視覚情報フィードバックを画面上でＯＲチームに表示するために、多くの新しい固有の画面上表示が提供される。本開示によれば、視覚情報は、音を伴う又は伴わない様々な視覚媒体のうちの１つ以上を含むことができる。一般に、視覚情報は、静止写真、動画写真、ビデオ又はオーディオ記録、グラフィックアート、視覚補助、モデル、表示、視覚表現サービス、及びサポートプロセスを含む。視覚情報は、例えば、とりわけ、一次ＯＲスクリーン、エネルギー又は外科用ステープラデバイス自体、タブレット、拡張現実眼鏡等の任意の数の表示オプション上で通信することができる。
【0013】
様々な態様では、本開示は、ＯＲチームをあまりに多くの視覚情報で圧倒することなく、視覚情報をリアルタイムでＯＲチームに通信するための潜在的オプションの多くのリストを提供する。例えば、種々の態様では、本開示は、外科医、又はＯＲチームの他のメンバーが、豊富な視覚情報を管理するために、画面オプションを取り囲むアイコン等の画面上表示を選択的に起動することを可能にする、視覚情報の画面上表示を提供する。要因のうちの１つ又は組合せが、アクティブ表示を決定するために使用することができ、これらは、とりわけ、使用中のエネルギーベース（例えば、電気外科、超音波）又は機械ベース（例えば、ステープラ）外科用デバイス、所与の表示と関連付けられる推定リスク、外科医の経験レベル、及び外科医の選択を含んでもよい。他の態様では、視覚情報は、視覚情報を管理するために手術視野にオーバーレイ又は重畳された豊富なデータを含んでもよい。以下に説明する様々な態様では、データを適切にオーバーレイするためにビデオ解析及び追跡を必要とする重畳画像を含む。このように通信された視覚情報データは、静的アイコンとは対照的に、ＯＲチームに対してより簡潔で理解しやすい方法で追加の有用な視覚情報を提供することができる。
【0014】
様々な態様では、本開示は、外科的処置中に視覚情報を管理するために、スクリーンを取り囲むアイコン等の画面上表示を選択的に起動するための技術を提供する。他の態様では、本開示は、要因のうちの１つ又は組合せを使用してアクティブ表示を決定するための技術を提供する。様々な態様では、本開示による技術は、とりわけ、アクティブ表示として使用中のエネルギーベース又は機械ベースの外科用デバイスを選択すること、所与の表示に関連付けられたリスクを推定すること、選択を行う外科医又はＯＲチームの経験レベルを利用することを含み得る。
【0015】
他の態様では、本開示による技術は、視覚情報を管理するために、豊富なデータを手術視野上にオーバーレイ又は重畳することを含んでもよい。本開示によって説明されるいくつかの表示配置は、術野のライブストリーム上に外科用データの種々の視覚表現をオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び／又は移動オーバーレイを含む。グラフィカルオーバーレイは、透明グラフィック、半透明グラフィック、又は不透明グラフィック、あるいは透明、半透明、及び不透明の要素又は効果の組合せの形態であってもよい。更に、オーバーレイは、例えば、エンドエフェクタ及び／又は重要な外科的構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組合せの変化を含む、オーバーレイの１つ以上の表示要素の変化を含み得る。グラフィカルオーバーレイは、アクティブ表示モニタの上にレンダリングされ、重要な情報を迅速かつ効率的にＯＲチームに伝達する。
【0016】
他の態様では、本開示による技術は、視覚情報データを適切にオーバーレイするためにビデオ解析及び追跡することを必要とする画像を重畳することを含み得る。他の態様では、本開示による技術は、単純な静的アイコンとは対照的に、豊富な視覚情報を通信して、より簡潔で理解しやすい方法で追加の視覚情報をＯＲチームに提供することを含むことができる。他の態様では、視覚オーバーレイは、聴覚及び／又は体性感覚オーバーレイ、例えば、熱的、化学的、及び機械的デバイス、並びにそれらの組合せと組み合わせて使用することができる。
【0017】
以下の説明は、概して、外科的処置中に拡張現実（ＡＲ）インタラクティブ体験を提供する装置、システム、及び方法に関する。この文脈では、術野並びに術野に現れる外科用器具及び他のオブジェクトの画像は、コンピュータ生成された視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚情報を、術野、術野に現れる器具及び／又は他のオブジェクトの実世界画像上にオーバーレイすることによって強化される。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。拡張現実は、実環境上にオーバーレイされる仮想又は「拡張」仮想オブジェクト、データ、又は視覚効果をレンダリング及び表示するための技術である。実環境は、術野を含んでもよい。実環境上にオーバーレイされた仮想オブジェクトは、実環境の１つ以上の態様に対して固定された位置、又は設定された位置で表され得る。非限定的な例では、実世界オブジェクトが実環境の視野から出る場合、実世界オブジェクトに固定された仮想オブジェクトも拡張現実の視野から出る。
【0018】
本開示によって説明されるいくつかの表示配置は、術野のライブストリーム上に外科用データの種々の視覚表現をオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び／又は移動オーバーレイを含む。更に、オーバーレイは、例えば、エンドエフェクタ及び／又は重要な外科的構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組合せの変化を含む、オーバーレイの１つ以上の表示要素の変化を含み得る。
【0019】
本明細書で説明されるように、ＡＲは、技術を介して送達されるデジタル視覚要素、音、又は他の感覚刺激の使用を通して達成される、現実の物理世界の拡張バージョンである。仮想現実（ＶＲ）は、現実であるように見えるシーン及びオブジェクトを有するコンピュータ生成環境であり、ユーザがそれらの周囲に没入しているように感じさせる。この環境は、仮想現実ヘッドセット又はヘルメットとして知られるデバイスを通して知覚される。複合現実（ＭＲ）及びＡＲは両方とも没入型技術と考えられているが、それらは同じではない。ＭＲは、現実及び仮想要素が環境内で相互作用することを可能にする複合現実の拡張である。ＡＲは、多くの場合、カメラを使用することによってライブビューにデジタル要素を追加するが、ＭＲ体験は、実世界及びデジタルオブジェクトが相互作用するＡＲ及びＶＲの両方の要素を組み合わせる。
【0020】
ＡＲ環境では、１つ以上のコンピュータ生成仮想オブジェクトが、１つ以上の現実（すなわち、いわゆる「実世界」）要素とともに表示されてもよい。例えば、周囲環境のリアルタイム画像又はビデオは、１つ以上のオーバーレイ仮想オブジェクトとともにコンピュータスクリーンディスプレイ上に示されてもよい。そのような仮想オブジェクトは、環境に関する補足的な情報を提供することができ、又は一般に、ユーザの知覚及び環境との関与を向上させることができる。逆に、周囲環境のリアルタイム画像又はビデオは、加えて又は代替的に、ディスプレイ上に示される仮想オブジェクトとのユーザの関与を向上させることができる。
【0021】
本開示の文脈における装置、システム、及び方法は、外科的処置中に１つ以上の撮像デバイスから受信された画像を向上させる。撮像デバイスは、非侵襲性及び低侵襲性外科的処置中に使用される種々のスコープ、ＡＲデバイス、及び／又は切開外科的処置中に画像を提供するカメラを含んでもよい。画像は、リアルタイムでストリーミングされてもよいし、静止画像であってもよい。装置、システム、及び方法は、仮想オブジェクト又はデータ及び／又は現実オブジェクトの表現を現実外科的環境上にオーバーレイすることによって、実世界外科的環境の画像を向上させることによって、拡張現実インタラクティブ体験を提供する。拡張現実体験は、ユーザが実世界外科的環境上にオーバーレイされた仮想オブジェクトを視認することを可能にする、ディスプレイ及び／又はＡＲデバイス上で視認されてもよい。ディスプレイは、手術室内に配置されてもよいし、手術室から離れてもよい。ＡＲデバイスは、外科医又は他の手術室人員の頭部に装着され、典型的には、ユーザの各目に対して１つを含む、２つの立体ディスプレイレンズ又はスクリーンを含む。自然光は、ＡＲデバイスのユーザに仮想オブジェクトを可視にするために光を投影しながら、実環境の態様が可視であるように、２つの透明又は半透明ディスプレイレンズを通過することができる。
【0022】
２つ以上のディスプレイ及びＡＲデバイスは、例えば、定義された役割を有するシステム内の１つ以上の追加のディスプレイ又はＡＲデバイスを制御する第１のディスプレイ又はＡＲデバイスと協調して使用されてもよい。例えば、ディスプレイ又はＡＲデバイスを起動するとき、ユーザは、役割（例えば、外科的処置中の外科医、外科助手、看護師等）を選択してもよく、ディスプレイ又はＡＲデバイスは、その役割に関連する情報を表示してもよい。例えば、外科助手は、外科医が外科的処置の次の工程のために行う必要がある器具の仮想表現を表示させてもよい。現在の工程に対する外科医の焦点は、手術助手とは異なる表示された情報を見る場合がある。
【0023】
多くの既知の画面上表示及びアラートが存在するが、本開示は、外科的処置中に多くの新規かつ固有の拡張現実インタラクティブ体験を提供する。そのような拡張現実インタラクティブ体験は、手術室の内側又は外側の手術チームへの視覚、聴覚、触覚、体性感覚、嗅覚、又は他の感覚フィードバック情報を含む。実世界外科的環境上にオーバーレイされる仮想フィードバック情報は、例えば、限定ではないが、とりわけ、手術外科医、外科医の助手、スクラブ着衣者、麻酔医、及び外回り看護師を含む、ＯＲ内の人員を含む、手術室（ＯＲ）チームに提供されてもよい。仮想フィードバック情報は、一次ＯＲスクリーンディスプレイ、ＡＲデバイス、エネルギー又は外科用ステープラ器具、タブレット、拡張現実眼鏡、デバイス等の任意の数の表示オプション上で通信することができる。
【0024】
図１は、１つ以上の外科用システム２及びクラウドベースのシステム４を含むコンピュータ実装インタラクティブ外科用システム１を示す。クラウドベースシステム４は、リモートストレージ５に連結されたリモートサーバ１３を含み得る。各外科用システム２は、クラウド４と通信する少なくとも１つの外科用ハブ６を備える。例えば、外科用システム２は、可視化システム８と、ロボットシステム１０と、手持ち式インテリジェント外科用器具１２とを備えてもよく、それぞれが、互いに、及び／又はハブ６と通信するように構成されている。いくつかの態様では、外科用システム２は、Ｍ個のハブ６と、Ｎ個の可視化システム８と、Ｏ個のロボットシステム１０と、Ｐ個の手持ち式インテリジェント外科用器具１２とを備えてもよく、Ｍ、Ｎ、Ｏ及びＰは１以上の整数である。コンピュータ実装インタラクティブ外科用システム１は、本明細書で説明されるように、外科的処置中に拡張現実インタラクティブ体験を提供するように構成されてもよい。
【0025】
図２は、外科手術室１６内の手術台１４上に横たわっている患者に対して外科的処置を実行するための外科用システム２の例を示す。ロボットシステム１０は、外科的処置において外科用システム２の一部として使用される。ロボットシステム１０は、外科医のコンソール１８と、患者側カート２０（外科用ロボット）と、外科用ロボットハブ２２とを含む。患者側カート２０は、外科医が外科医のコンソール１８又は外科医によって装着された拡張現実（ＡＲ）デバイス６６を通して手術部位を視認しながら、患者の身体の低侵襲切開を通じて、少なくとも１つの着脱可能に連結された外科用ツール１７を操作することができる。低侵襲処置中の手術部位の画像（例えば、リアルタイムでストリーミングされる静止画像又はライブ画像）は、医療用撮像デバイス２４によって取得することができる。患者側カート２０は、撮像デバイス２４を操作して、撮像デバイス２４を配向することができる。切開外科的処置の画像は、医療用撮像デバイス９６によって取得することができる。ロボットハブ２２は、外科医のコンソール１８、又は外科医若しくは外科手術室１６内の他の人によって装着されたＡＲデバイス６６上にその後表示するために手術部位の画像を処理する。
【0026】
撮像デバイス２４、９６又はＡＲデバイス６６の光学構成要素は、１つ以上の照明源、及び／又は１つ以上のレンズを含み得る。１つ以上の照明源は、術野の一部分を照明するように方向付けられ得る。１つ以上の画像センサは、術野内の組織及び器具から反射又は屈折された光を受信し得る。
【0027】
様々な態様では、撮像デバイス２４は、低侵襲外科的処置において使用するように構成されている。本開示とともに使用するために適切な撮像デバイスの例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。様々な態様では、撮像デバイス９６は、切開（侵襲）外科的処置において使用するように構成されている。
【0028】
様々な態様では、可視化システム８は、滅菌野に対して戦略的に配置される１つ以上の撮像センサと、１つ以上の画像処理装置と、１つ以上のストレージアレイと、１つ以上のディスプレイとを備える。一態様では、可視化システム８は、ＨＬ７、ＰＡＣＳ及びＥＭＲ用のインターフェースを備える。一態様では、撮像デバイス２４は、トポグラフィと下にある構造とを区別するためにマルチスペクトルモニタリングを採用し得る。マルチスペクトル画像は、電磁スペクトルにおいて特定の波長範囲内の画像データを捕捉する。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ、及び紫外からの光を含む特定の波長に対する感度を有する器具によって分離される。スペクトル撮像は、人間の目には見えない情報を抽出することができる。マルチスペクトルモニタリングは、処置された組織に対して試験を実行するための外科用タスクが完了した後に術野を再配置することができる。
【0029】
図２は、手術台１４のオペレータに見えるように滅菌野に配置される一次ディスプレイ１９を示す。可視化タワー１１は、滅菌野の外側に配置され、互いに反対側を向いている第１の非滅菌ディスプレイ７及び第２の非滅菌ディスプレイ９を含む。ハブ６によって誘導される可視化システム８は、ディスプレイ７、９、１９を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ６は、可視化システム８に、一次ディスプレイ１９又はＡＲデバイス６６上に手術部位のライブ映像を維持しながら、撮像デバイス２４、９６によって記録される手術部位のＡＲ画像を非滅菌ディスプレイ７、９又はＡＲデバイス６６を通じて表示させることができる。非滅菌ディスプレイ７、９は、例えば、非滅菌オペレータが、外科的処置に関連する診断工程を実行することを可能にすることできる。
【0030】
図３は、可視化システム８、ロボットシステム１０及び手持ち式インテリジェント外科用器具１２と通信するハブ６を示す。ハブ６は、ハブディスプレイ３５、撮像モジュール３８、発電機モジュール４０、通信モジュール３０、プロセッサモジュール３２、ストレージアレイ３４、及び手術室マッピングモジュール３３を含む。ハブ６は、排煙モジュール２６及び／又は吸引／灌注モジュール２８を更に含む。様々な態様では、撮像モジュール３８は、ＡＲデバイス６６を含み、プロセッサモジュール３２は統合ビデオプロセッサ及び拡張現実モデラ（例えば、図１０に示すようなもの）を含む。モジュール式光源は、様々な撮像デバイスとともに使用するように適合され得る。様々な例では、複数の撮像デバイスを術野の異なる位置に配置して、複数のビューを提供することができる（例えば、非侵襲的、低侵襲的、侵襲的、又は切開外科的処置）。撮像モジュール３８は、最適なビューを提供するために撮像デバイス間を切り替えるように構成することができる。種々の態様では、撮像モジュール３８は、異なる撮像デバイスからの画像を統合し、本明細書に説明されるような外科的処置の間、拡張現実インタラクティブ体験を提供するように構成することができる。
【0031】
図４は、医療施設の１つ以上の手術現場／部屋に位置するモジュール式デバイスをクラウドベースのシステムに接続するように構成されたモジュール式通信ハブ５３を含む外科用データネットワーク５１を示す。クラウド５４は、ストレージデバイス５５に連結されたリモートサーバ６３（図５）を含むことができる。モジュール式通信ハブ５３は、ネットワークルータ６１と通信するネットワークハブ５７及び／又はネットワークスイッチ５９を含む。モジュール式通信ハブ５３は、データを処理するためにローカルコンピュータシステム６０に連結される。手術現場のモジュール式デバイス１ａ～１ｎは、モジュール式通信ハブ５３に連結され得る。ネットワークハブ５７及び／又はネットワークスイッチ５９は、ネットワークルータ６１に連結されて、デバイス１ａ～１ｎをクラウド５４又はローカルコンピュータシステム６０に接続することができる。デバイス１ａ～１ｎに関連付けられたデータは、リモートデータ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送されてもよい。手術現場デバイス１ａ～１ｎは、有線チャネル又は無線チャネルを介してモジュール式通信ハブ５３に接続され得る。外科用データネットワーク５１環境は、本明細書で説明されるように、外科的処置中に拡張現実インタラクティブ体験を提供するために、特に、術野の拡張画像を１つ以上のリモートディスプレイ５８に提供するために採用されてもよい。
【0032】
図５は、コンピュータ実装インタラクティブ外科用システム５０を示す。コンピュータ実装インタラクティブ外科用システム５０は、多くの点で、コンピュータ実装インタラクティブ外科用システム１と類似している。コンピュータ実装インタラクティブ外科用システム５０は、多くの点で外科用システム２と類似する１つ以上の外科用システム５２を含む。各外科用システム５２は、リモートサーバ６３を含み得るクラウド５４と通信する少なくとも１つの外科用ハブ５６を備える。一態様では、コンピュータ実装インタラクティブ外科用システム５０は、例えば、インテリジェント外科用器具、ロボット及び手術現場内に位置する他のコンピュータ化デバイス等の複数の手術現場デバイスに接続されたモジュール式制御タワー２３を備える。図６に示すように、モジュール式制御タワー２３は、コンピュータシステム６０に連結されたモジュール式通信ハブ５３を含む。
【0033】
図５に戻ると、モジュール式制御タワー２３は、内視鏡９８に連結された撮像モジュール３８、エネルギーデバイス９９に連結された発電機モジュール２７、排煙器モジュール７６、吸引／灌注モジュール７８、通信モジュール１３、プロセッサモジュール１５、ストレージアレイ１６、任意選択的にディスプレイ３９に連結されたスマートデバイス／器具２１及びセンサモジュール２９に連結されている。手術現場デバイスは、モジュール式制御タワー２３を介して、サーバ６３、データストレージ５５及びディスプレイ５８等のクラウドコンピューティングリソースに連結されている。ロボットハブ７２もまた、モジュール式制御タワー２３、及びサーバ６３、データストレージ５５、並びにディスプレイ５８に接続されてもよい。とりわけ、デバイス／器具２１、可視化システム５８が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、モジュール式制御タワー２３に連結されてもよい。モジュール式制御タワー２３は、撮像モジュール３８、デバイス／器具ディスプレイ３９及び／又は他の可視化システム５８から受信した、現実外科世界上のオーバーレイされた仮想オブジェクトを含む、受信された拡張画像を表示するためにハブディスプレイ６５（例えば、モニタ、スクリーン）に連結されてもよい。ハブディスプレイ６５はまた、画像及びオーバーレイ画像とともにモジュール式制御タワー２３に接続されたデバイスから受信したデータを表示し得る。
【0034】
図６は、モジュール式制御タワー２３に連結された複数のモジュールを含む外科用ハブ５６を示す。モジュール式制御タワー２３は、例えばネットワーク接続デバイス等のモジュール式通信ハブ５３と、例えば拡張外科用情報のローカルでの処理、可視化及び撮像を行うためのコンピュータシステム６０とを含む。モジュール式通信ハブ５３は、モジュール式通信ハブ５３に接続されてもよいモジュール（例えば、デバイス）の数を拡張するために階層化構成で接続されて、モジュールに関連付けられたデータをコンピュータシステム６０、クラウドコンピューティングリソース、又はその両方に転送してもよい。モジュール式通信ハブ５３内のネットワークハブ／スイッチ５７／５９の各々は、３つの下流ポート及び１つの上流ポートを含み得る。上流のネットワークハブ／スイッチ５７、５９は、クラウドコンピューティングリソース及びローカルディスプレイ６７への通信接続を提供するためにプロセッサ３１に接続されている。クラウド５４への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。
【0035】
コンピュータシステム６０は、プロセッサ３１と、ネットワークインターフェース３７とを含む。プロセッサ３１は、システムバスを介して、通信モジュール４１、ストレージ４５、メモリ４６、不揮発性メモリ４７、及び入力／出力インターフェース４８に連結される。システムバスは、様々な利用可能なバスアーキテクチャを使用した、メモリバス若しくはメモリコントローラ、周辺バス若しくは外部バス、及び／又はローカルバスを含む、いくつかのタイプのバス構造のいずれかであってもよい。
【0036】
プロセッサ３１は、拡張現実モデラ（例えば、図１０に示されるような）を含み、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓによる商標名ＡＲＭ Ｃｏｒｔｅｘで知られているもの等のシングルコア又はマルチコアプロセッサとして実装されてもよい。一態様では、プロセッサは、例えば、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。このプロセッサコアは、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルシリアルランダムアクセスメモリ（ＳＲＡＭ）、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部読み出し専用メモリ（ＲＯＭ）、２ＫＢの電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）及び／又は、１つ以上のパルス幅変調（ＰＷＭ）モジュール、１つ以上の直交エンコーダ入力（ＱＥＩ）アナログ、１２個のアナログ入力チャネルを備える１つ以上の１２ビットアナログ－デジタル変換器（ＡＤＣ）を含む。なお、その詳細は、製品データシートで入手可能である。
【0037】
システムメモリとしては、揮発性メモリ及び不揮発性メモリが挙げられる。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、ＥＥＰＲＯＭ又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ（ＲＡＭ）が挙げられる。更に、ＲＡＭは、ＳＲＡＭ、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）及びダイレクトランバスＲＡＭ（ＤＲＲＡＭ）などの多くの形態で利用可能である。
【0038】
コンピュータシステム６０はまた、取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータストレージ媒体、例えばディスク記憶装置等を含む。ディスク記憶装置としては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ－６０ドライブ、フラッシュメモリカード又はメモリスティックのような装置が挙げられるが、これらに限定されない。加えて、ディスク記憶装置は、上記の記憶媒体を、独立して、又は他の記憶媒体との組合せで含むことができる。他の記憶媒体としては、コンパクトディスクＲＯＭ装置（ＣＤ－ＲＯＭ）、コンパクトディスク記録可能ドライブ（ＣＤ－Ｒドライブ）、コンパクトディスク書き換え可能ドライブ（ＣＤ－ＲＷドライブ）若しくはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ－ＲＯＭ）などの光ディスクドライブが挙げられるがこれらに限定されない。ディスク記憶装置のシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。
【0039】
様々な態様では、図６のコンピュータシステム６０、図４～図６の撮像モジュール３８、及び／又は可視化システム５８、及び／又はプロセッサモジュール１５は、画像プロセッサ、画像処理エンジン、画像処理装置（ＧＰＵ）、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ（ＤＳＰ）を含んでもよい。画像プロセッサは、単一命令複数データ（ＳＩＭＤ）、又は複数命令複数データ（ＭＩＭＤ）技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。
【0040】
図７は、撮像モジュール３８と外科用ハブディスプレイ６７との間の通信経路内に配置された中間信号結合器６４を含む拡張現実（ＡＲ）システム２６３を示す。信号結合器６４は、撮像モジュール３８及び／又はＡＲデバイス６６から受信された音声及び／又は画像データを組み合わせる。外科用ハブ５６は、結合器６４から組み合わされたデータを受信し、ディスプレイ６７に提供されたデータをオーバーレイし、オーバーレイされたデータが表示される。撮像デバイス６８はデジタルビデオカメラであってもよく、オーディオデバイス６９はマイクロフォンであってもよい。信号結合器６４は、外科用ハブ５６がディスプレイ６７上にデータをオーバーレイすることを可能にするコンソールへのディスプレイ６７の通信経路内に配置されたＡＲデバイス６６に連結するための無線ヘッドアップディスプレイアダプタを含み得る。
【0041】
図８は、撮像モジュールと外科用ハブディスプレイとの間の通信経路内に配置された中間信号結合器を含む拡張現実（ＡＲ）システムを示す。図８は、外科用ハブ５６にデータを通信するために外科医７３によって装着されるＡＲデバイス６６を示す。ＡＲデバイス６６の周辺情報は、アクティブ映像を含まない。むしろ、周辺情報は、デバイス設定、又はリフレッシュレートの同じ要求を有さない信号のみを含む。相互作用は、術前コンピュータ断層撮影（ＣＴ）又は外科用ハブ５６内でリンクされた他のデータとのリンクに基づいて、外科医７３の情報を拡張させ得る。ＡＲデバイス６６は、構造を識別することができ、例えば、器具が神経、血管、又は癒着に触れているかどうかを尋ねることができる。ＡＲデバイス６６は、術前スキャンデータ、光学ビュー、処置全体を通して取得される組織調査特性、及び／又は回答を提供するために使用される外科用ハブ５６における処理を含み得る。外科医７３は、報告又はフォローアップにおける後の使用のためにハブストレージ４５内に患者データとともに保存されるように、ＡＲデバイス６６にメモを書き取ることができる。
【0042】
外科医７３によって装着されるＡＲデバイス６６は、オーバーレイの必要性を回避するために、聴覚及び視覚情報を用いて外科用ハブ５６にリンクし、視野の周辺の周りに表示される情報のカスタマイズを可能にする。ＡＲデバイス６６は、デバイス（例えば、器具）からの信号を提供し、デバイス設定又は象限若しくは位置を識別するためにビデオとリンクされた位置情報に関するクエリに回答する。ＡＲデバイス６６は、ＡＲデバイス６６からの音声制御及び音声フィードバックを有する。ＡＲデバイス６６は、手術現場内の他のシステムと相互作用することができ、外科医７３がどこを視認しても利用可能なフィードバック及び相互作用を有することができる。例えば、ＡＲデバイス６６は、外科医から音声又はジェスチャ開始コマンド及びクエリを受信してもよく、ＡＲデバイス６６は、音声、視覚、又は触覚タッチを含む１つ以上のモダリティの形態でフィードバックを提供してもよい。
【0043】
図９は、ＡＲデバイス６６を装着している外科医７３、患者７４を示し、手術室７５内にカメラ９６を含んでもよい。外科医７３によって装着されるＡＲデバイス６６は、拡張現実ディスプレイ８９を通して、又はハブ接続ディスプレイ６７を通して、術野のリアルタイム画像上にオーバーレイされる仮想オブジェクトを外科医７３に提示するために使用されてもよい。リアルタイム画像は、外科用器具７７の一部を含んでもよい。仮想オブジェクトは、手術室７５内の他者（例えば、外科助手又は看護師）には可視でない場合があるが、彼らもまた、ＡＲデバイス６６を装着し得る。別の人がＡＲデバイス６６を用いて手術室７５を視認している場合であっても、その人は、仮想オブジェクトを見ることができない場合があるか、又は外科医７３と共有される拡張現実において仮想オブジェクトを見ることができる場合があるか、又は（例えば、外科医７３に固有のカスタマイゼーションに従って）仮想オブジェクトの修正バージョンを見ることができる場合があるか、又は異なる仮想オブジェクトを見る場合がある。
【0044】
仮想オブジェクト及び／又はデータは、外科用器具７７の一部上に、又は撮像モジュール３８、低侵襲外科的処置中の撮像デバイス６８、及び／又は切開外科的処置中のカメラ９６によって捕捉された手術視野内に現れるように構成され得る。図示の例では、撮像モジュール３８は、低侵襲外科的処置中に外科領域のライブ映像を提供する腹腔鏡カメラである。ＡＲシステムは、ＡＲシステムの１人又は複数の視認者（例えば、外科医７３）の視点に関係なく、実オブジェクトに固定される仮想オブジェクトを提示してもよい。例えば、仮想オブジェクトは、手術室７５内のＡＲシステムの視認者に可視であってもよく、手術室７５外のＡＲシステムの視認者に可視でなくてもよい。仮想オブジェクトは、視認者が手術室７５に入ったときに、手術室７５外の視認者に表示されてもよい。拡張画像は、外科用ハブディスプレイ６７又は拡張現実ディスプレイ８９に表示されてもよい。
【0045】
ＡＲデバイス６６は、単一スクリーン又は２つのスクリーン（例えば、ユーザの目毎に１つ）等の１つ以上のスクリーン又はレンズを含んでもよい。スクリーンは、仮想オブジェクトを表示している間に実環境の態様が可視であるように、光がスクリーンを通過することを可能にし得る。仮想オブジェクトは、光を投影することによって外科医７３に可視になり得る。仮想オブジェクトは、ある程度の透明度を有するように見えてもよく、又は不透明であってもよい（すなわち、実環境の態様を遮断する）。
【0046】
ＡＲシステムは、１人以上の視認者に可視であってもよく、ビュー間で共通のいくつかの態様を保持しながら、１人以上の視認者に利用可能なビュー間の差異を含んでもよい。例えば、ヘッドアップディスプレイは、２つのビューの間で変化し得るが、仮想オブジェクト及び／又はデータは、両方のビュー内の実オブジェクト又は領域に固定され得る。オブジェクトの色、照明、又は他の変更等の態様は、少なくとも１つの仮想オブジェクトの固定位置を変更することなくビュー間で行われ得る。
【0047】
ユーザは、ＡＲシステム内に提示される仮想オブジェクト及び／又はデータを、不透明として、又はあるレベルの透明度を含むものとして見ることができる。一例では、ユーザは、仮想オブジェクトを第１の位置から第２の位置に移動させること等によって、仮想オブジェクトと相互作用することができる。例えば、ユーザは、自身の手でオブジェクトを動かしてもよい。これは、（例えば、ＡＲデバイスカメラ７９又は別個の９６等のＡＲデバイス６６上に搭載されてもよく、静的であってもよく、又は移動するように制御されてもよい、１つ以上のカメラを使用して）手がオブジェクトと一致又は隣接する位置に移動したことを判定し、それに応じてオブジェクトを移動させることによって、ＡＲシステムにおいて仮想的に行われてもよい。仮想態様は、実世界オブジェクトの仮想表現を含んでもよく、又は照明効果等の視覚効果を含んでもよい。ＡＲシステムは、仮想オブジェクトを重力又は摩擦に曝す等、仮想オブジェクトの挙動を支配するための規則を含んでもよく、又は実世界の物理的制約（例えば、浮遊オブジェクト、永久運動等）を否定する他の事前定義された規則を含んでもよい。ＡＲデバイス６６は、ＡＲデバイス６６上にカメラ７９を含み得る（ＡＲデバイス６６とは別個のカメラ９６と混同されるべきではない）。ＡＲデバイスカメラ７９又はカメラ９６は、赤外線カメラ、赤外線フィルタ、可視光フィルタ、複数のカメラ、深度カメラ等を含み得る。ＡＲデバイス６６は、ユーザが視認することができる実環境の表現の上に仮想アイテムを投影し得る。
【0048】
ＡＲデバイス６６は、例えば、外科医７３によって患者７４に対して行われる外科的処置中に手術室７５内で使用され得る。ＡＲデバイス６６は、外科医の視覚を拡張するために、外科的処置中の仮想オブジェクト等の仮想オブジェクトを投影又は表示してもよい。外科医７３は、ＡＲデバイス６６、ＡＲデバイス６６のためのリモートコントローラを使用して仮想オブジェクトを視認してもよく、又は、例えば、ＡＲデバイス６６のカメラ７９によって認識される仮想オブジェクト又はジェスチャと「相互作用」するために手を使用して、仮想オブジェクトと相互作用してもよい。仮想オブジェクトは、外科用器具７７等の外科用ツールを拡張することができる。例えば、仮想オブジェクトは、（ＡＲデバイス６６を通して仮想オブジェクトを視認する外科医７３に対して）外科用器具７７と連結されるように、又は外科用器具７７から固定距離のままであるように見えてもよい。別の例では、仮想オブジェクトは、外科用器具７７を案内するために使用されてもよく、患者７４に固定されているように見えてもよい。特定の例では、仮想オブジェクトは、術野における他の仮想又は実世界のオブジェクトの動きに反応し得る。例えば、仮想オブジェクトは、外科医が仮想オブジェクトに近接して外科用器具を操作しているときに変更され得る。
【0049】
拡張現実ディスプレイシステム撮像デバイス３８は、外科的処置の間、外科領域の実画像を捕捉する。拡張現実ディスプレイ８９、６７は、外科領域の実画像上への外科用器具７７の動作態様のオーバーレイを提示する。外科用器具７７は、ＡＲデバイス６６上の通信回路２３３を介して外科用器具７７からＡＲデバイス６６に動作態様及び機能データを通信するための通信回路２３１を含む。外科用器具７７及びＡＲデバイス６６は、矢印Ｂ、Ｃによって示されるように、回路２３１、２３３の間のＲＦ無線通信において示されているが、他の通信技術（例えば、有線、超音波、赤外線等）が採用されてもよい。オーバーレイは、アクティブに可視化されている外科用器具７７の動作態様に関連する。オーバーレイは、外科領域における組織相互作用の態様を外科用器具７７からの機能データと組み合わせる。ＡＲデバイス６６のプロセッサ部分は、外科用器具７７から動作態様及び機能データを受信し、外科用器具７７の動作に関連するオーバーレイを決定し、外科領域内の組織の態様を外科用器具７７からの機能データと組み合わせるように構成される。拡張画像は、デバイス性能考慮事項に関するアラート、不適合な使用のアラート、不完全な捕捉に関するアラートを示す。不適合な使用には、範囲外の組織状態及びエンドエフェクタのジョー内で不適当にバランスされた組織が含まれる。追加の拡張画像は、組織張力の表示及び異物検出の表示を含む付随事象の表示を提供する。他の拡張画像は、デバイス状況オーバーレイ及び器具表示を示す。
【0050】
図１０は、本開示の少なくとも一態様による、ＡＲディスプレイ８９を使用して情報とともに術野の画像を拡張するためのシステム８３を示す。システム８３は、例えば、プロセッサ８５を使用することによって、以下で説明される技術を実行するために使用され得る。システム８３は、データベース９３と通信することができるＡＲデバイス６６の一態様を含む。ＡＲデバイス６６は、プロセッサ８５、メモリ８７、ＡＲディスプレイ８９、及びカメラ７９を含む。ＡＲデバイス６６は、センサ９０、スピーカ９１、及び／又は触覚コントローラ９２を含んでもよい。データベース９３は、画像ストレージ９４又は術前計画ストレージ９５を含んでもよい。
【0051】
ＡＲデバイス６６のプロセッサ８５は、拡張現実モデラ８６を含む。拡張現実モデラ８６は、拡張現実環境を作成するために、プロセッサ８５によって使用され得る。例えば、拡張現実モデラ８６は、カメラ７９又はセンサ９０等から、術野内の器具の画像を受信し、手術視野の表示画像内に収まるように拡張現実環境を作成してもよい。別の例では、物理的オブジェクト及び／又はデータは、手術視野及び／又は外科用器具画像上にオーバーレイされてもよく、拡張現実モデラ８６は、物理的オブジェクト及びデータを使用して、仮想オブジェクト及び／又はデータの拡張現実ディスプレイを拡張現実環境内に提示してもよい。例えば、拡張現実モデラ８６は、患者の手術部位で器具を使用又は検出し、外科用器具上の仮想オブジェクト及び／又はデータ、及び／又はカメラ７９によって捕捉された手術視野内の手術部位の画像を提示してもよい。ＡＲディスプレイ８９は、実環境にオーバーレイされたＡＲ環境を表示してもよい。ディスプレイ８９は、ＡＲ環境内の固定位置等にあるＡＲデバイス６６を使用して、仮想オブジェクト及び／又はデータを示すことができる。
【0052】
ＡＲデバイス６６は、赤外線センサ等のセンサ９０を含むことができる。カメラ７９又はセンサ９０は、外科医又は他のユーザによるジェスチャ等の動きを検出するために使用されてもよく、動きは、プロセッサ８５によって、ユーザによる仮想ターゲットとの試みられた又は意図された相互作用として解釈されてもよい。プロセッサ８５は、カメラ７９を使用して受信された情報を処理すること等によって、実環境内のオブジェクトを識別することができる。他の態様では、センサ９０は、拡張環境を作成するために様々なデータフィードと組み合わされ得る対応する信号を生成するための触覚センサ、可聴センサ、化学センサ、又は熱センサであり得る。センサ９０は、バイノーラルオーディオセンサ（空間音）、慣性測定（加速度計、ジャイロスコープ、磁力計）センサ、環境センサ、深度カメラセンサ、手及び視線追跡センサ、並びに音声コマンド認識機能を含み得る。
【0053】
ＡＲディスプレイ８９は、例えば、外科的処置中に、術野がＡＲディスプレイ８９を通して視認されることを可能にしながら、術野内等に、患者の解剖学的態様によって隠される物理的特徴に対応する仮想特徴を提示してもよい。仮想特徴は、物理的特徴の第１の物理的位置又は配向に対応する仮想位置又は配向を有し得る。一例では、仮想特徴の仮想位置又は配向は、物理的特徴の第１の物理的位置又は配向からのオフセットを含み得る。オフセットは、拡張現実ディスプレイからの所定の距離、拡張現実ディスプレイから解剖学的態様までの相対距離等を含んでもよい。
【0054】
一例では、ＡＲデバイス６６は、個々のＡＲデバイスであり得る。一態様では、ＡＲデバイス６６は、ワシントン州レドモンドのＭｉｃｒｏｓｏｆｔによって製造されたＨｏｌｏＬｅｎｓ ２ ＡＲデバイスであってもよい。このＡＲデバイス６６は、レンズ及びバイノーラルオーディオ特徴（空間音）を伴うバイザと、慣性測定（加速度計、ジャイロスコープ、磁力計）と、環境センサと、深度カメラと、ビデオカメラと、手及び視線追跡と、音声コマンド認識機能とを含む。それは、鏡を使用して導波路を着用者の目の前に向けることによって、高解像度で改善された視野を提供する。画像は、ミラーの角度を変えることによって拡大することができる。それはまた、ユーザを認識し、特定のユーザのためにレンズ幅を調整するための視線追跡を提供する。
【0055】
別の例では、ＡＲデバイス６６は、Ｓｎａｐｃｈａｔ Ｓｐｅｃｔａｃｌｅｓ ３ ＡＲデバイスであり得る。このＡＲデバイスは、ペア画像を捕捉し、３Ｄ深度マッピングを再作成し、仮想効果を追加し、３Ｄビデオを再生する能力を提供する。ＡＲデバイスは、６０ｆｐｓで３Ｄ写真及びビデオを捕捉するための２つのＨＤカメラを含み、一方、４つの内蔵マイクロフォンは、没入型高忠実度オーディオを記録する。両方のカメラからの画像を組み合わせて、ユーザの周りの実世界の幾何学的マップを構築し、奥行き知覚の新しい感覚を提供する。写真及びビデオは、外部ディスプレイデバイスに無線で同期され得る。
【0056】
更に別の例では、ＡＲデバイス６６は、ＧｏｏｇｌｅによるＧｌａｓｓ ２ ＡＲデバイスであり得る。このＡＲデバイスは、情報を補足するためにレンズ（視野外）上にオーバーレイされた慣性測定（加速度計、ジャイロスコープ、磁力計）情報を提供する。
【0057】
別の例では、ＡＲデバイス６６は、ＡｍａｚｏｎによるＥｃｈｏ Ｆｒａｍｅｓ ＡＲデバイスであり得る。このＡＲデバイスは、カメラ／ディスプレイを有しない。マイクロフォン及びスピーカはＡｌｅｘａにリンクされる。このＡＲデバイスは、ヘッドアップディスプレイよりも機能が少ない。
【0058】
更に別の例では、ＡＲデバイス６６は、Ｎｏｒｔｈ（Ｇｏｏｇｌｅ）によるＦｏｃａｌｓ ＡＲデバイスであり得る。このＡＲデバイスは、通知プッシャ／スマートウォッチアナログ、慣性測定、情報（天気、カレンダ、メッセージ）のスクリーンオーバーレイ、音声制御（Ａｌｅｘａ）統合を提供する。このＡＲデバイスは、基本的なヘッドアップディスプレイ機能を提供する。
【0059】
別の例では、ＡＲデバイス６６は、Ｎｒｅａｌ ＡＲデバイスであり得る。このＡＲデバイスは、空間音、２つの環境カメラ、写真カメラ、ＩＭＵ（加速度計、ジャイロスコープ）、周辺光センサ、近接センサ機能を含む。ｎｅｂｕｌａは、アプリケーション情報をレンズ上に投影する。
【0060】
様々な他の例では、ＡＲデバイス６６は、以下の市販のＡＲデバイス、すなわち、Ｍａｇｉｃ Ｌｅａｐ １、Ｅｐｓｏｎ Ｍｏｖｅｒｉｏ、Ｖｕｚｉｘ Ｂｌａｄｅ ＡＲ、ＺｅｎＦｏｎｅ ＡＲ、Ｍｉｃｒｏｓｏｆｔ ＡＲ眼鏡プロトタイプ、ＥｙｅＴａｐのうちのいずれか１つであってもよく、これにより、環境の光と同一直線上の光を直接網膜に作成する。ビームスプリッタは、例えば、情報を処理しオーバーレイするために、コンピュータに目に見える同じ光を利用可能にする。ＡＲ可視化システムは、ＨＵＤ、コンタクトレンズ、眼鏡、仮想現実（ＶＲ）ヘッドセット、仮想網膜ディスプレイ、手術室内ディスプレイ、及び／又はスマートコンタクトレンズ（バイオニックレンズ）を含む。
【0061】
ＡＲデバイス６６のためのマルチユーザインターフェースは、目の前のスクリーン上ではなく網膜上に直接描画されるラスタディスプレイ等の仮想網膜ディスプレイ、スマートテレビ、スマートフォン、及び／又はＳｏｎｙ空間ディスプレイシステム等の空間ディスプレイを含む。
【0062】
他のＡＲ技術は、例えば、ＡＲ捕捉デバイス及びソフトウェアアプリケーション、ＡＲ作成デバイス及びソフトウェアアプリケーション、並びにＡＲクラウドデバイス及びソフトウェアアプリケーションを含んでもよい。ＡＲ捕捉デバイス及びソフトウェアアプリケーションは、例えば、Ａｐｐｌｅ Ｐｏｌｙｃａｍ ａｐｐ、Ｕｂｉｑｕｉｔｙ ６（Ｄｉｓｐｌａｙ．ｌａｎｄ ａｐｐを使用するＭｉｒｒｏｒｗｏｒｌｄ）を含み、ユーザは、（３Ｄモデルを作成するために）実世界の３ｄ画像をスキャンし、取得することができる。ＡＲ作成デバイス及びソフトウェアアプリケーションは、例えば、Ａｄｏｂｅ Ａｅｒｏ、Ｖｕｆｏｒｉａ、ＡＲＴｏｏｌＫｉｔ、Ｇｏｏｇｌｅ ＡＲＣｏｒｅ、Ａｐｐｌｅ ＡＲＫｉｔ、ＭＡＸＳＴ、Ａｕｒａｓｍａ、Ｚａｐｐａｒ、Ｂｌｉｐｐａｒを含む。ＡＲクラウドデバイス及びソフトウェアアプリケーションは、例えば、Ｆａｃｅｂｏｏｋ、Ｇｏｏｇｌｅ（ｗｏｒｌｄ ｇｅｏｍｅｔｒｙ、ｏｂｊｅｃｔｉｏｎ ｒｅｃｏｇｎｉｔｉｏｎ、ｐｒｅｄｉｃｔｉｖｅ ｄａｔａ）、Ａｍａｚｏｎ ＡＲ Ｃｌｏｕｄ（ｃｏｍｍｅｒｃｅ）、Ｍｉｃｒｏｓｏｆｔ Ａｚｕｒｅ、Ｓａｍｓｕｎｇ Ｐｒｏｊｅｃｔ Ｗｈａｒｅ、Ｎｉａｎｔｉｃ、Ｍａｇｉｃ Ｌｅａｐを含む。
【0063】
状況認識は、データベース及び／又は器具から受信したデータから外科的処置に関連する情報を判定又は推測するための、外科システムのいくつかの態様の能力である。情報は、実行されている処置のタイプ、手術されている組織のタイプ、又は処置の対象である体腔を含むことができる。外科的処置に関するコンテキスト情報によると、外科システムは、例えば、外科システムが、それに接続されるモジュール式デバイス（例えば、ロボットアーム及び／又はロボット外科用ツール）を制御し、外科的処置の過程で外科医にコンテキスト化された情報又は提案を提供する様式で改善し得る。
【0064】
図１１は、状況認識外科的処置のタイムラインを示す。図１１は、例示的な外科的処置のタイムライン５２００と、外科的処置の各工程でデータソース５１２６から受信されたデータから外科用ハブ５１０４が導出することができるコンテキスト情報とを示す。タイムライン５２００は、手術現場のセットアップで始まり、患者を術後回復室に移送することで終了する肺区域切除処置の過程中に、看護師、外科医及び他の医療従事者がとるであろう一般的な工程を示す。状況認識外科用ハブ５１０４は、外科的処置の過程全体にわたって、医療関係者が外科用ハブ５１０４とペアリングされたモジュール式デバイス５１０２を使用するたびに生成されるデータを含むデータを、データソース５１２６から受信する。外科用ハブ５１０４は、ペアリングされたモジュール式デバイス５１０２及び他のデータソース５１２６からこのデータを受信して、任意の所与の時間に処置のどの工程が行われているかなどの新しいデータが受信されると、進行中の処置に関する推定（すなわち、コンテキスト情報）を継続的に導出することができる。外科用ハブ５１０４の状況認識システムは、例えば、報告を生成するために処置に関するデータを記録すること、医療従事者によってとられている工程を検証すること、特定の処置工程に関連し得るデータ又はプロンプトを（例えば、表示画面を介して）提供すること、コンテキストに基づいてモジュール式デバイス５１０２を調整する（例えば、モニタを起動する、医療用撮像デバイスのＦＯＶを調整する、又は超音波外科用器具若しくはＲＦ電気外科用器具のエネルギーレベルを変更する）こと、及び上述される任意の他のこうした動作を行うことが可能である。
【0065】
第１の工程５２０２では、病院職員は、病院のＥＭＲデータベースから、患者のＥＭＲを取り出す。ＥＭＲにおいて選択された患者データに基づいて、外科用ハブ５１０４は、実施される処置が胸部手術であることを判定する。
【0066】
第２の５２０４では、職員は、処置のために入来する医療用品をスキャンする。外科用ハブ５１０４は、スキャンされた物資を様々なタイプの処置において利用される物資のリストと相互参照し、物資の混合物が、胸部処置に対応することを確認する。更に、外科用ハブ５１０４はまた、処置が楔形切除術ではないと判定することができる（入来する用品が、胸部楔形切除術に必要な特定の用品を含まないか、又は別の点で胸部楔形切除術に対応していないかのいずれかであるため）。
【0067】
第３の５２０６では、医療従事者は、外科用ハブ５１０４に通信可能に接続されたスキャナ５１２８を介して患者バンドをスキャンする。次いで、外科用ハブ５１０４は、スキャンされたデータに基づいて患者の身元を確認することができる。
【0068】
第４の５２０８では、医療職員が補助装置をオンにする。利用されている補助機器は、外科的処置の種類、及び外科医が使用する技術に従って変動し得るが、この例示的なケースでは、排煙器、通気器及び医療用撮像デバイスが挙げられる。起動されると、モジュール式デバイス５１０２である補助装置は、その初期化プロセスの一部として、モジュール式デバイス５１０２の特定の近傍内に位置する外科用ハブ５１０４と自動的にペアリングすることができる。次いで、外科用ハブ５１０４は、この術前又は初期化段階中にそれとペアリングされるモジュール式デバイス５１０２の種類を検出することによって、外科的処置に関するコンテキスト情報を導出することができる。この特定の実施例では、外科用ハブ５１０４は、ペアリングされたモジュール式デバイス５１０２のこの特定の組合せに基づいて、外科的処置がＶＡＴＳ手術であると判定する。患者のＥＭＲからのデータの組合せ、処置に用いられる医療用品のリスト、及びハブに接続するモジュール式デバイス５１０２の種類に基づいて、外科用ハブ５１０４は、外科チームが実施する特定の処置を概ね推定することができる。外科用ハブ５１０４が、何の特定の処置が行われているかを知ると、次いで外科用ハブ５１０４は、メモリから、又はクラウドからその処置の工程を読み出し、次いで接続されたデータソース５１２６（例えば、モジュール式デバイス５１０２及び患者モニタリングデバイス５１２４）からその後受信したデータを相互参照して、外科的処置のどの工程を外科チームが実行しているかを推定することができる。
【0069】
第５の５２１０では、職員は、ＥＫＧ電極及び他の患者モニタリングデバイス５１２４を患者に取り付ける。ＥＫＧ電極及び他の患者モニタリングデバイス５１２４は、外科用ハブ５１０４とペアリングすることができる。外科用ハブ５１０４が患者モニタリングデバイス５１２４からデータの受信を開始すると、外科用ハブ５１０４は患者が手術現場にいることを確認する。
【0070】
第６の５２１２では、医療関係者は患者において麻酔を誘発する。外科用ハブ５１０４は、例えば、ＥＫＧデータ、血圧データ、人工呼吸器データ又はこれらの組合せを含む、モジュール式デバイス５１０２、及び／又は患者モニタリングデバイス５１２４からのデータに基づいて、患者が麻酔下にあることを推測することができる。第６工程５２１２が完了すると、肺区域切除手術の術前部分が完了し、手術部が開始する。
【0071】
第７の５２１４では、手術されている患者の肺が虚脱される（換気が対側肺に切り替えられる間に）。外科用ハブ５１０４は、患者の肺が虚脱されたことを人工呼吸器データから推測することができる。外科用ハブ５１０４は、患者の肺が虚脱したのを検出したことを、処置の予期される工程（事前にアクセス又は読み出すことができる）と比較することができるため、処置の手術部分が開始したことを推定して、それによって肺を虚脱させることがこの特定の処置における第１の手術工程であると判定することができる。
【0072】
第８の５２１６では、医療用撮像デバイス５１０８（例えば、スコープ）が挿入され、医療用撮像デバイスからのビデオ映像が開始される。外科用ハブ５１０４は、医療用撮像デバイスへの接続を通じて医療用撮像デバイスデータ（すなわち、静止画像データ又はリアルタイムのライブストリーミングビデオ）を受信する。医療用撮像デバイスデータを受信すると、外科用ハブ５１０４は、外科的処置の腹腔鏡部分が開始したことを判定することができる。更に、外科用ハブ５１０４は、行われている特定の処置が、肺葉切除術とは対照的に区域切除術であると判定することができる（処置の第２の工程５２０４で受信したデータに基づいて、楔形切除術は外科用ハブ５１０４によって既に考慮に入れられていないことに留意されたい）。医療用撮像デバイス１２４（図２）からのデータを利用して、様々な方法で、例えば、患者の解剖学的構造の可視化に対して向けられている医療用撮像デバイスの角度を判定することによって、利用されている（すなわち、起動されており、外科用ハブ５１０４とペアリングされている）数又は医療用撮像デバイスを監視することによって、及び利用されている可視化装置の種類を監視することによって、行われている処置の種類に関するコンテキスト情報を判定することができる。
【0073】
例えば、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、カメラを患者の胸腔の前下方角部の横隔膜上方に配置するが、他方、ＶＡＴＳ区域切除術を実行するための１つの技術は、カメラを、区域裂に対して前方の肋間位置に配置する。状況認識システムは、例えば、パターン認識技術又は機械学習技術を使用して、患者の解剖学的構造の可視化に従って、医療用撮像デバイスの位置を認識するように訓練することができる。別の例として、ＶＡＴＳ肺葉切除術を実行するための１つの技術は、単一の医療用撮像デバイスを利用するが、ＶＡＴＳ区域切除術を実行するための別の技術は複数のカメラを利用する。更に別の例として、ＶＡＴＳ区域切除術を実行するための１つの技術は、区域裂を可視化するために赤外線光源（可視化システムの一部として手術用ハブへと通信可能に連結できる）を利用するが、これはＶＡＴＳ肺葉切除術では利用されない。医療用撮像デバイス５１０８からのこのデータのいずれか又は全てを追跡することによって、外科用ハブ５１０４は、行われている特定の種類の外科的処置、及び／又は特定の種類の外科的処置に使用されている技術を判定することができる。
【0074】
第９の５２１８では、外科チームは、処置の切開工程を開始する。外科用ハブ５１０４は、エネルギー器具が発射されていることを示すＲＦ又は超音波発生器からのデータを受信するため、外科医が患者の肺を切開して分離するプロセスにあると推定することができる。外科用ハブ５１０４は、受信したデータを外科的処置の読み出しされた工程と相互参照して、プロセスのこの時点（すなわち、上述された処置の工程が完了した後）で発射されているエネルギー器具が切開工程に対応していると判定することができる。
【0075】
第１０の５２２０では、外科チームは、処置の結紮工程に進む。外科用ハブ５１０４は、器具が発射されていることを示すデータを外科用ステープル留め及び切断器具から受信するため、外科医が動脈及び静脈を結紮していると推定することができる。前工程と同様に、外科用ハブ５１０４は、外科用ステープル留め及び切断器具からのデータの受信を、読み出しされたプロセス内の工程と相互参照することによって、この推定を導出することができる。
【0076】
第１１の５２２２では、処置の区域切除術の部分が行われる。外科用ハブ５１０４は、ステープルカートリッジからのデータを含む、外科用器具からのデータに基づいて、外科医が実質組織を横切開していると推定する。カートリッジデータは、例えば、器具によって発射されているステープルのサイズ又はタイプに対応し得る。カートリッジデータは、異なるタイプの組織に利用される異なるタイプのステープルに対して、ステープル留め及び／又は横切開されている組織のタイプを示し得る。発射されているステープルのタイプは実質組織又は他の同様の組織タイプに利用され、外科用ハブ５１０４は、区域切除処置が行われていると推定することができる。
【0077】
続いて第１２の５２２４で、結節切開工程が行われる。外科用ハブ５１０４は、ＲＦ又は超音波器具が発射されていることを示す、発生器から受信したデータに基づいて、外科チームが結節を切開し、漏れ試験を行っていると推定することができる。この特定の処置の場合、実質組織が横切開された後に利用されるＲＦ又は超音波器具は結節切開工程に対応しており、これにより外科用ハブ５１０４がこの推定を行うことができる。異なる器具が特定のタスクに対してより良好に適合するので、外科医が、処置中の特定の工程に応じて、手術用ステープリング／切断器具と手術用エネルギー（すなわち、ＲＦ又は超音波）器具とを、定期的に交互に切り替えることに留意されたい。したがって、ステープル留め器具／切断器具及び手術用エネルギー器具が使用される特定のシーケンスは、外科医が処置のどの工程を実行しているかを示すことができる。第１２の工程５２２４が完了すると、切開部が閉鎖され、処置の術後部分が開始する。
【0078】
第１３の５２２６では、患者の麻酔を解く。外科用ハブ５１０４は、例えば、ベンチレータデータに基づいて（すなわち、患者の呼吸速度が増加し始める）、患者が麻酔から覚醒しつつあると推定することができる。
【0079】
最後に、第１４の５２２８では、医療従事者が患者から様々な患者モニタリングデバイス５１２４を除去する。したがって、外科用ハブ５１０４は、ハブがＥＫＧ、ＢＰ、及び患者モニタリングデバイス５１２４からの他のデータを喪失したとき、患者が回復室に移送されていると推定することができる。外科用ハブ５１０４と通信可能に連結された各種データソース５１２６から受信したデータに従って、外科用ハブ５１０４は、所与の外科的処置の各工程が発生しているときを判定又は推定することができる。
【0080】
図８６に示されるタイムライン５２００の第１の工程５２０２に示されるように、ＥＭＲデータベース（複数の場合もある）からの患者データを利用して、行われる外科的処置のタイプを推定することに加えて、患者データはまた、状況認識外科用ハブ５１０４によって利用されて、ペアリングされたモジュール式デバイス５１０２の制御調整を生成することができる。
【0081】
外科用ディスプレイ（例えば、ディスプレイ７、９、１９、３５、６２、６５、６６、６７、及び８９）は、臨床医（例えば、外科医、外科スタッフ）に有用な情報を提供することによって、手術室内で重要な機能を果たし、この情報は、とりわけ、外科的処置の進行を評価し、外科的処置を行うための後続の工程を決定し、患者のバイタルサインを監視するため等に使用することができる。ディスプレイは、提供されるこの情報を見ることができるように十分な大きさである必要があるが、過度であり、混雑した手術室内のワークフロー又は移動を妨げるほど大きくはない。
【0082】
例えば、本明細書の他の箇所で説明される多くの撮像デバイスのうちの１つ等の撮像デバイスは、外科的処置の間、術野のライブストリームを捕捉するために使用される。ディスプレイは、臨床医が外科的処置中に術野を視認することができるように、撮像デバイスによって捕捉されたこのライブストリームを示す。
【0083】
外科的処置の過程において、外科的処置に関連する又は関連付けられた情報は、ディスプレイ上のライブストリーム上にオーバーレイされ得る。例えば、心電図（ＥＫＧ）は、外科的処置中に患者の心拍数を監視し、監視された心拍数は、臨床医が患者が安定していることを確実にすることができるように、ライブストリーム上にオーバーレイされる。
【0084】
様々な他のセンサ、検出器、モジュール等は、外科的処置の過程にわたって他のパラメータを監視し、これらのパラメータに関連付けられた情報もまた、ディスプレイ上にオーバーレイすることができる。しかしながら、いくつかのオーバーレイされた情報は、他のオーバーレイされた情報よりも重要であり得る。一例として、臨床医が外科用器具のエンドエフェクタを用いて組織を操作しているとき、エンドエフェクタを用いてどの程度の力が組織に加えられているかに関する情報は、組織が意図せずに損傷していないことを確実にするために監視することに関連する。
【0085】
しかしながら、ディスプレイ上にオーバーレイされている情報の量のために、組織に加えられている力等のより重要な情報が臨床医によって見落とされるか、又は見逃される場合がある。この豊富な競合情報により、外科医は、外科的処置を適切に行う能力にとって有害であり得る情報に圧倒される可能性があり、患者にとって費用がかかることが判明する可能性がある。したがって、ディスプレイ上にオーバーレイされているデータの量を優先付け、制御し、及び／又は制限する必要がある。
【0086】
図１２は、本開示の少なくとも一態様による、外科用可視化システム６０００を示す。外科用可視化システム６０００の様々な構成要素は、本開示の他の箇所に記載される他のシステムの構成要素と多くの点で類似しており、したがって、簡潔にするために同じレベルの詳細で本明細書において繰り返されない。いくつかの実施態様では、システム６０００はスタンドアロンシステムである。他の実施態様では、システム６０００は、コンピュータ実装インタラクティブ外科用システム１に統合されるか、又はコンピュータ実装インタラクティブ外科用システム１とともに使用される。
【0087】
外科用可視化システム６０００は、例えば、プロセッサ８５等の１つ以上のプロセッサ又は処理回路を使用することによって、本明細書に説明される種々の技術を行うように構成される、制御モジュール６００１を備える。いくつかの実施態様では、システム６０００は、例えば、拡張現実デバイス８４を備えるか、それとともに使用されるか、又はそれと通信することができる。システム６０００は、例えばメモリ６００３等の記憶媒体、例えばカメラ８８等の撮像デバイス６００４、及びディスプレイ６００５を更に備えることができる。システム６０００は、１つ以上のスピーカ９１、触覚コントローラ９２、及び／又はセンサ９０を更に備えてもよい（図１０参照）。ディスプレイ６００５は、例えば、ＡＲディスプレイ８９、ＶＲディスプレイ、プロジェクタ、ヘッドアップディスプレイ、スクリーン、及び／又は視覚コンテンツを描写するための任意の他の適切なデバイスを含むことができる。
【0088】
いくつかの実施態様では、システム６０００は、例えば、コンピュータ実装インタラクティブ外科用システム５０に組み込まれる。いくつかの実施態様では、システム６０００は、外科用データをシステム６０００に送達することができる、１つ以上のハブ、システム、ネットワーク、サーバ、及び／又はデータベースと動作可能に通信している。例えば、システム６０００は、本明細書で説明されるように、有線又は無線通信標準又はプロトコルを介して、リモートサーバ６３、ロボットハブ７２、外科用ハブ５６、デバイス／器具２１、及び／又はモジュール式制御タワー２３を含み得るクラウド５４と動作可能に通信することができる。いくつかの実施態様では、システム６０００は、外科用ハブ５１０４に関連して説明したものと同様の状況認識モジュール６００６を備える。状況認識モジュール６００６は、センサ入力及び／又はユーザ入力を通じて受信された多数の周術期データに基づいて、外科的処置に関するコンテキスト情報を外挿するように訓練され得る。
【0089】
図１３は、ディスプレイ６００５等のディスプレイ上への提示を求めて競合する外科用データの表示配置を決定するための例示的な方法６０１０の動作を示すフローチャートである。方法６０１０は、外科用データを検出すること（６０１１）と、表示優先度値又は表示優先度状況を外科用データに割り当てること（６０１２）と、表示優先度値に基づいてディスプレイ上の外科用データの表示配置を決定すること（６０１３）とを含む。方法６０１０は、術野のライブストリーム上に、例えば、表示配置に従って外科用データの視覚表現を表示するか、又はオーバーレイすることによって、提示すること（６０１４）を更に含み得る。
【0090】
いくつかの実施態様では、外科用データは、制御モジュール６００１によって検出される（６０１１）。外科用データは、例えば、１つ以上の無線及び／又は有線通信インターフェースを介してコンピュータ実装インタラクティブ外科用システム１の構成要素等の１つ以上のソースから外科用データを受信することによって検出することができる（６０１１）。少なくとも１つの例では、外科用データは、外科用器具２１のうちの１つ以上から受信されたデータを含み得る。別の例では、外科用データは、状況認識モジュール６００６によって確認されたコンテキスト情報を含む。
【0091】
特定の例示では、外科用データは、制御データ、バイオマーカ測定値、及び／又は外科用器具２１に関連付けられた動作及び／又は結果の他の動作インジケータを含む。特定の例示では、外科用データは、奇形ステープル及び不十分に封止された組織のより高い傾向を示す任意のデータであり得る。特定の例では、外科用データは、他の組織及び／又は器具パラメータの中でも、組織流動、クランプ力、発射力に関連付けることができ、これらは、発射プロセスの調整を可能にするために、又は潜在的に奇形のステープル領域を外科医に警告するために、複数の方法でリアルタイムで監視及び臨床医に表示することができる。
【0092】
いくつかの実施態様では、表示優先度値は、状況認識モジュール６００６によって開発された外科的処置に関する外科用データ及び／又はコンテキスト情報に基づいて割り当てられる。いくつかの実施態様では、表示優先度値は、トリガイベント、条件、又は外科用データの特性に基づいて割り当てられる。いくつかの実施態様では、表示優先度値を割り当てること（６０１２）は、以前に割り当てられた表示優先度値を変更することを含む。例えば、トリガイベント、条件、及び／又は外科用データの特性の検出は、以前に割り当てられた表示優先度値をより高い値又はより低い値へ変更させることができる。
【0093】
特定の例示では、プロセッサ８５は、外科用データの表示優先度値を決定する際に、所定の方程式及び／又は公式を採用する。表示優先度値を計算する際に、様々な関連要因を考慮し、異なる重みを割り当てることができる。加えて又は代替的に、外科用データ及び対応する表示優先度値を列挙する１つ以上のデータベース又は表は、表示優先度値を割り当てる際に、プロセッサ８５によって利用することができる。
【0094】
様々な実施態様では、割り当てられた（６０１２）表示優先度値は、例えば、低い表示優先度レベル、中程度の表示優先度レベル、及び／又は高い表示優先度レベル等、様々なレベルの表示優先度を含む。いくつかの実施態様では、表示優先度値は、例えば、高い優先度状況、中程度の優先度状況、及び／又は低い優先度状況等の表示優先度状況である。
【0095】
図１４は、図１３の方法６０１０に従って、検出された（６０１１）外科用データの表示優先度値を決定するための例示的な方法６０２０の動作を示すフローチャートである。いくつかの実施態様では、表示優先度値は外科用データに依存する。図示された例では、表示優先度値は、外科的処置に関連付けられた重要な解剖学的構造に対する外科的処置において利用されている外科用器具の近接性に基づいて割り当てられる。表示優先度値は、受信された近接データと所定の近接閾値との間の関係に基づく。例えば、外科用器具と解剖学的構造との間の距離が所定の閾値よりも大きい場合（６０２１）、近接度データには低い表示優先度値が割り当てられる（６０２２）。しかしながら、距離が所定の近接度閾値以下である場合（６０２１）、近接度データには高い表示優先度値が割り当てられる（６０２３）。
【0096】
いくつかの実施態様では、システム６０００は、状況認識モジュール６００６を採用して、実行される外科的処置のタイプを識別する。外科的処置のタイプは、例えば、ユーザ入力から決定され得る。代替的に又は加えて、それは、外科的処置タイプに固有であるか又は外科的処置タイプの特徴的な、外科的処置とともに使用するために選択されたデバイスの在庫リストから決定することができる。システム６０００は、例えば、データベース及び／又はユーザ入力から外科的処置に関連付けられた重要構造を更に識別してもよい。いくつかの実施態様では、システム６０００は、撮像デバイスによって捕捉されるような術野のライブストリーム内の重要構造を検出することができる。更に、システム６０００は、術野内の外科用器具２１を更に検出することができ、重要構造への外科用器具２１の近接を追跡することができる。近接度データの表示優先度値は、図１４に関連して説明したように決定することができる。
【0097】
いくつかの実施態様では、術野のライブストリーム内の重要構造及び／又は外科用器具の識別は、その全体が参照することによって組み込まれる、「ＳＴＲＵＣＴＵＲＥＤ ＭＵＬＴＩ ＳＰＥＣＴＲＡＬ ＣＯＭＰＵＴＡＴＩＯＮＡＬ ＡＮＡＬＹＳＩＳ」と題する、米国特許出願公開代理人整理番号ＥＮＤ９２２８ＵＳＮＰ１／１９０５８０－１Ｍで議論されるもの等の種々の適切なオブジェクト認識、オブジェクト追跡、オブジェクトラベリング、及び／又は他の画像処理技術を通して達成することができる。例えば、外科用器具及び／又は重要構造の以前に記憶された画像を利用して、術野における外科用器具及び／又は重要構造を識別することができる。
【0098】
低位前方切除（ＬＡＲ）外科的処置は、直腸がんの一般的な手術である。この処置は直腸の除去を伴う。次いで、結腸を直腸の残りの部分に付着させて、正常な腸運動を可能にする。円形ステープラは、一般に、低ＬＡＲ処置において使用される。最初に、外科医が、吻合を作成するために構造を設定し始めると、組織張力及び吻合組織圧力のパラメータ等のあるパラメータは、関連せず、ライブストリーム上であまりに早くオーバーレイ又は強調される場合、気を散らす可能性がある。特定の例では、ライブストリームのために利用可能な表示空間の混乱及び／又は低減を回避するために、そのようなパラメータは、方法６０１０による表示配置毎にディスプレイ６００５上にオーバーレイされ、及び／又は強調される。
【0099】
いくつかの実施態様では、表示優先度値は、外科的処置に対するパラメータの関連性に関連付けられたトリガイベントに基づいて、組織張力及び吻合組織圧力のパラメータに割り当てられる。トリガイベントは、例えば、円形ステープラトロカールへの円形ステープラのアンビルの接続の検出であり得る。検出は、例えば、１つ以上のオブジェクト認識、オブジェクト追跡、オブジェクトラベリング、及び／又はライブストリームの他の画像処理アルゴリズムを採用することによって、及び／又はアンビルのトロカールへの接続若しくは近接によってトリガされるアンビル及び／又はトロカール内の１つ以上のセンサを通して、自動的に達成され得る。
【0100】
いくつかの実施態様では、トリガイベントは、重大度又はリスクレベルの増加に関連付けられる。特定の例では、トリガイベントは、例えば、外科用器具２１のステープル発射を一時停止する等、外科用活動の警告及び／又は即時一時停止をもたらし得る。トリガイベントは、例えば、故障の原因を修復又は低減するために一連の命令が提供される、保留故障モードへの遷移をもたらし得る。以下でより詳細に説明するように、トリガイベントは、例えば、バットレス耕起（buttress plowing）、組織封止を伴わない組織切断、及び／又は破壊されたアンビルであり得る。いくつかの実施態様では、これらのトリガイベントは、例えば、オブジェクト認識、オブジェクト追跡、オブジェクトラベリング、及び／又はライブストリームの画像フレームの他の適切な画像処理技術を通して、又は様々な適切な有線及び／又は無線通信方式を通して、自動的に視覚的に検出される。
【0101】
いくつかの実施態様では、故障モードは、バットレスが外科用器具２１による組織ステープル留めにおいて利用される場合に生じ得る状態である、バットレス耕起によって引き起こされる。バットレス耕起の検出に応答して、制御モジュール６００１は、例えば、外科用器具２１に外科用器具の発射シーケンスを停止させる。例えば、制御モジュール６００１は、無線又は有線インターフェースを介して外科用器具２１に発射停止コマンドを通信してもよい。加えて、制御モジュール６００１は、警告、及び／又は発射中に組織に張力を印加することによって故障を修復する一連の命令を、例えば、術野のライブストリーム上に表示又はオーバーレイさせてもよい。
【0102】
あるいは、この故障は、組織封止なしで組織切断を検出することによって引き起こされ得る。例えば、制御モジュール６００１は、外科用器具２１の切断部材が前進するときに、外科用器具２１のエンドエフェクタによって把持された組織内に配備されるステープルの故障を検出してもよく、これは、組織封止の故障なしに組織切断をもたらす。故障を検出したことに応答して、制御モジュール６００１は、警告、及び／又は故障を修復する一連の命令を、術野のライブストリーム上に表示又はオーバーレイさせてもよい。命令は、周囲の血液供給をクランプすること、外科用器具２１のエンドエフェクタのジョーから組織を解放する前に出血を止めるための材料を準備することを示唆してもよい。
【0103】
図１５は、外科用吻合内の組織張力及び／又は圧力パラメータの表示優先度値を決定するための例示的な方法６０３０の動作を示すフローチャートである。方法６０３０は、組織パラメータを受信すること（６０３１）と、円形ステープラのアンビルとトロカールとの間の接続の検出等のトリガイベントに基づいて、表示優先度値をパラメータに割り当てることとを含む。例えば、トロカール及びアンビル接続が検出されない場合（６０３２）、低い表示優先度値がパラメータに割り当てられる（６０３３）。しかしながら、トロカール及びアンビル接続が検出されない場合（６０３２）、高い表示優先度値がパラメータに割り当てられる（６０３４）。
【0104】
方法６０３０は、表示優先度値を決定するためのトリガイベントとして円形ステープルの構成要素の接続の検出を利用する例を提供するが、他の器具２１の他の構成要素の接続は、表示優先度値を決定するためのトリガイベントとして利用することができる。例えば、カートリッジリロード、エンドエフェクタ、及び／又はシャフトの取り付けは、表示優先度値を決定するためのトリガイベントを表すことができる。いくつかの実施態様では、外科用器具構成要素、外科用ロボット構成要素、及び／又は任意の適切な外科用システムのアセンブリは、表示優先度値を決定するためのトリガイベントとして利用することができる。
【0105】
図１６は、トリガイベントに基づいて表示優先度値を決定するための例示的な方法６０４０の動作を示すフローチャートである。図示された例では、トリガイベントは、外科用器具２１の最適な動作のために外科用器具２１の設定の調整を行うのに必要なパラメータを受信する前の外科用器具２１の起動である。いくつかの実施態様では、システム６０００は、術野のライブストリーム内の外科用器具２１を検出し、必要なパラメータのユーザ入力を待つように構成され得る。
【0106】
いくつかの実施態様では、パラメータは、必要とされるユーザ入力であり得る。パラメータは、組織特性又は疾患状態に関連付けることができる。組織の状態及び／又は疾患状態に基づいて、組織を治療するためにデバイスを利用する前に、特定のデバイス設定を調整することができる。これらの調整は、外科用ステープル留め器具の発射速度を低下させて、封止をより確実にすることを含み得る。外科用エネルギーデバイスの場合、外科医は、例えば、組織のより良好なシールを提供するために、新しい組織特性に応答して電力を調整し得る。
【0107】
図１６に示されるように、方法６０４０は、ユーザによる外科用器具２１を起動する試みを検出すること（６０４１）を含む。必要なパラメータが受信された場合（６０４２）、低い表示優先度値が割り当てられる（６０４３）。しかしながら、トロカール及びアンビル接続が検出されない場合（６０４２）、高い表示優先度値がパラメータに割り当てられる（６０４４）。
【0108】
いくつかの実施態様では、パラメータは、外科用器具２１の内部センサ、又は外科的処置の適切な動作に必要なパラメータを測定するように構成された任意の他のセンサとすることができるセンサパラメータである。パラメータを受信する前の外科用器具２１の起動等のトリガイベントの検出は、システム６０００に、例えばオーバーレイの形態で、高い優先度値を視覚コンテンツに割り当てさせ、欠落パラメータを無視するか、又は欠落パラメータなしで進む許可を要求し、又は例えば欠落パラメータの入力を要求してもよい。
【0109】
いくつかの実施態様では、トリガイベントは、許容可能な所定の範囲又は閾値から逸脱するセンサパラメータである。センサパラメータは、例えば、インピーダンス分光法を実行することによって、術野内の組織を把持する外科用器具によって測定可能な組織インピーダンスパラメータであり得る。把持された組織が生理食塩水で高度に飽和している場合、測定された組織インピーダンスは、許容可能な所定の範囲又は閾値から逸脱し、システム６０００をトリガして、検出された逸脱に関する警告、ユーザオーバーライド要求、及び／又はユーザオーバーライド要求に高い表示優先度値を割り当てる。
【0110】
いくつかの実施態様では、トリガイベントは、選択された外科用器具２１と外科用器具２１によって実行される外科的処置との間の不一致の検出であり得る。不一致は、例えば、システム６０００及び／又はコンピュータ実装インタラクティブ外科用システム１によって検出され得る。外科的処置のタイプ及び外科的処置において利用される外科用器具２１の在庫リストは、ユーザインターフェースを通じて入力され、及び／又は、例えば、オブジェクト認識、オブジェクト追跡、オブジェクトラベリング、及び／又はライブストリームの画像フレームの他の適切な画像処理技術を通じて、又は様々な適切な有線及び／又は無線通信方式を通じて検出され得る。状況認識モジュール６００６は、ユーザによって検出又は入力された在庫リストを、ユーザによって検出又は入力された外科的処置タイプに履歴的に関連付けられた以前に記憶された在庫リストと比較することができる。不一致の検出により、システム６０００は、不一致に関する警告、ユーザオーバーライド要求、及び／又は確認要求に高い表示優先度値を割り当てる。
【0111】
少なくとも１つの例では、子宮摘出で使用するための円形ステープラの選択を検出することにより、システム６０００は、不一致に関する警告、ユーザオーバーライド要求、及び／又は確認要求に高い表示優先度値を割り当てる。システム６０００は、円形ステープラの必要性を確認するか、又は現在のアクティブリストから円形ステープラを削除するか、又は処置計画の不一致を修正するようにスタッフに要求することができる。
【0112】
いくつかの実施態様では、トリガイベントは、外科用器具アセンブリの不適合な構成要素の検出であり得る。様々な外科用器具２１は、例えば、交換可能なカートリッジ、リロード、エンドエフェクタ、シャフト、ハンドル、モータ、及び／又はバッテリ等の交換可能な構成要素を利用する。不適合な構成要素を利用することは、外科用器具２１が不適切に機能することを引き起こす可能性があり、これは、患者に害を引き起こし、及び／又は外科的処置の結果に干渉する可能性がある。システム６０００は、不適合な構成要素の検出に基づいて表示優先度値を割り当てることができる。
【0113】
コンピュータ実装インタラクティブ外科用システム１は、真正性チェック又は完全性チェックを通して、不適合な構成要素を検出することができる。真正性及び／又は完全性検証の失敗は、不適合な構成要素を示す可能性がある。特定の実施態様では、様々な構成要素が、接続された構成要素間の適切な互換性を示す適切な接続を検出することができるセンサを装備する。そのような実施態様では、センサ信号又はその欠如は、不適合な構成要素を示すことができる。
【0114】
少なくとも１つの例では、外科用器具２１内に交換可能な構成要素を設置すると、外科用器具２１は、例えば、データベース内に記憶された認識された識別情報と比較することができる識別情報について、交換可能な構成要素を照会することができる。データベースは、例えば、クラウドベースのシステム４の外科用器具２１、ハブ２２、及び／又はリモートサーバ１３の記憶媒体上に保持され得る。識別情報の認証に失敗すると、システム６０００は、不適合な構成要素に関する警告、ユーザオーバーライド要求、及び／又は確認要求に高い表示優先度値を割り当てる。コンピュータ実装インタラクティブ外科用システム１はまた、患者及び／又は外科的処置結果を保護するために、外科用器具２１の特定の能力を阻止するか、又は外科用器具２１をロックアウトしてもよい。
【0115】
いくつかの実施態様では、トリガイベントは、標準設定下での外科的処置における外科用器具２１の適切な使用に悪影響を及ぼし得る生物学的異常等の組織状態の検出である。例えば、極度に高い肥満度指数「ＢＭＩ」は、スリーブ状胃切除術における外科用器具２１の種々の設定に対する調節を必要とする。ＢＭＩレベルは、状況認識モジュール６００６によって、例えば周術期データから検出することができる。
【0116】
許容可能な所定の閾値から逸脱するＢＭＩレベルの検出は、システム６０００に、ＢＭＩレベルに関する警告、ユーザオーバーライド要求、及び／又は確認要求に高い表示優先度値を割り当てさせ得る。更に、システム６０００は、例えば、スリーブ胃切除術において利用される外科用ステープラのより低い発射速度等の推奨される外科用器具設定に、高い表示優先度値を更に割り当ててもよい。システム６０００及び／又はコンピュータ実装インタラクティブ外科用システム１は、周術期データに基づいて推奨外科用器具設定を自動的に決定するように構成され得る。
【0117】
様々な態様では、ディスプレイ６００５上の外科用データの表示配置を決定すること（６０１３）は、外科用データの視覚表現の特性を変更することを含む。いくつかの実施態様では、外科用データは、ディスプレイ６００５上の術野のライブストリーム上にオーバーレイされ得るセンサ読み取り値の形態であり得る。センサ読み取り値は、外科的処置に対するセンサパラメータ読み取り値の重要性に従って変化する色で強調表示され得る。いくつかの実施態様では、センサ読み取り値は、センサ読み取り値が所定の規格の正常な範囲内にあると、第１の色で視覚的に表され得るが、センサ読み取り値は、センサ読み取り値が正常な範囲外にあると、第１の色とは異なる第２の色で視覚的に表され得る。
【0118】
例えば、センサ読み取り値は、温度読み取り値が所定の温度閾値以下であると、緑色で視覚的に表すことができる温度読み取り値とすることができる。温度読み取り値が所定の閾値を超える場合、温度読み取り値は、例えば、外科的処置に対する現在の温度の重要性を示す、黄色又は赤色で視覚的に表すことができる。
【0119】
いくつかの実施態様では、外科用データの視覚表現の特性の変化は、漸進的な遷移であり得る。例えば、温度読み取り値は、温度の変化の重度を反映するために、温度が上昇するにつれて黄色から赤色に徐々に遷移することができる。いくつかの実施態様では、視覚表現の他の特性、例えば、サイズ、形状、表示時間、表示場所、表示３次元配置（例えば、前景、背景）、表示の点滅、強調表示、及び／又はフォント等を変更することもできる。
【0120】
様々な態様では、ディスプレイ６００５上の外科用データの表示配置を決定すること（６０１３）は、例えば、重要性の低減及び／又は非アクティブ状況を反映するように、外科用データの視覚表現の特性を除去又は変更することを含む。いくつかの実施態様では、外科用データは、外科的処置の術野内の組織を封止するために利用される外科用エネルギーデバイスの温度を含む。外科用エネルギーデバイスの起動に応答して、温度の視覚表現が、ディスプレイ６００５上の術野のライブストリーム上にオーバーレイされる。視覚表現は、アクティブ状況にある間に外科用エネルギーデバイスを注意深く取り扱うための警告を提供するために、外科用エネルギーデバイスが「高温」であることを意味する。いくつかの実施態様では、視覚表現は、外科用エネルギーデバイス及び／又は他のＯＲスタッフを使用する臨床医の注意を確実に引くために、高優先度状況を示す特性を含んでもよい。
【0121】
臨床医が外科用エネルギーデバイスを使用するとき、温度の視覚表現は、外科用エネルギーデバイスが高温のままであっても、より低い優先度状況を割り当てられ得る。これは、臨床医の注意散漫を低減し、及び／又は臨床医の注意をより高い優先度の外科用データの別の視覚表現に移すためである。例えば、温度の視覚表現は、中間色に変更され、サイズが縮小され、及び／又は異なる形状に変更され得る。
【0122】
外科用エネルギーデバイスが非アクティブになると、温度が所定の閾値以上である場合、高優先度状況が温度に再割り当てされ、その視覚表現を変化させ、非アクティブであっても外科用エネルギーデバイスが依然として損傷を引き起こし得る温度閾値を上回ることを注意喚起、又は強調するための警告を提供する。温度が所定の閾値を下回ったことに応答して、温度の視覚表現は、より低い優先度状況に再び変更される。いくつかの実施態様では、外科用エネルギーデバイスの温度は、外科用エネルギーデバイスのエンドエフェクタ上又はその近くの１つ以上の温度センサを使用して監視することができる。センサ読み取り値は、無線で、又は有線通信を介して、システム６０００に通信することができる。
【0123】
様々な態様では、外科用データの表示配置を決定すること（６０１３）は、第１のディスプレイと第２のディスプレイとの間で外科用データの視覚表現を転送することを含む。転送は、システム６０００が、適切な時間及び場所で適切なユーザに外科用データを適時に提示することを可能にする。いくつかの実施態様では、第１のディスプレイは、セットアップディスプレイ、看護師ディスプレイ、又は準備ディスプレイであり、第２のディスプレイは、例えば、ディスプレイ６００５等の術野又は外科医ディスプレイである。そのような実施態様では、転送は、セットアップの完了の検出によってトリガされ得る。特定の例では、ユーザ入力は、転送をトリガするセットアップの完了を示すことができる。セットアップは、外科的処置を実行するのに必要な外科用デバイスの存在を保証するために、在庫リストに対して外科用デバイスをチェックすることを含み得る。セットアップは、無線通信動作の成功を確実にするために外科用デバイスを試験すること、及び／又は任意の他の適切な試験を更に含み得る。
【0124】
いくつかの実施態様では、制御モジュール６００１は、トリガイベントの検出まで、第１のディスプレイにおける外科用データに高い表示優先度値を割り当て、第２のディスプレイにおける同じ外科用データに低い表示優先度値を割り当てるように構成される。検出に応答して、制御モジュール６００１は、第１のディスプレイにおける外科用データに低い表示優先度値を割り当て、第２のディスプレイにおける同じ外科用データに高い表示優先度値を割り当てるように構成される。優先度の切り替えにより、外科用データが第２のディスプレイに転送される。いくつかの実施態様では、切り替えは、外科用データの視覚表現を、第１のディスプレイにおいて減光させ、第２のディスプレイにおいて出現させる。次いで、所定の期間が経過した後、外科用データの視覚表現を第１のディスプレイから完全に除去することができる。
【0125】
様々な態様では、決定された（６０１３）表示配置は、例えば、スペクトルビューを展開すること、及び／又は外科用エンドエフェクタを術野に留めること、外科用データを外科用エンドエフェクタ上にオーバーレイすることを伴うもの等、追加の処理能力を必要とし得る。図１７は、コンピュータ実装インタラクティブ外科用システム１によって実行される外科的処置中の追加の処理速度の必要性に応答するための例示的な方法６０６００の動作を示すフローチャートである。追加の処理能力が必要な場合（６０６１）、制御モジュール６００１は、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）を利用することができる。例えば、図１７の方法６０６０に示すように、高度可視化モード６０６３において、重要な変数の追加の高速計算をＦＰＧＡに割り当てることができる。高度可視化モード６０６３が有効にされると、ＦＰＧＡは、可視化（例えば、スペクトル）処理能力を最大化するように動的に再利用される。高速計算の完了後、ＦＰＧＡは、通常の可視化モード６０６２における通常動作に戻ることができる。
【0126】
いくつかの実施態様では、通常可視化モード６０６２と高度可視化モード６０６３との間の転送は、外科用タスクによってトリガされ得る。制御モジュール６００１は、状況認識モジュール６００６によって生成されたコンテキスト情報に基づいて、次の、又は現在の外科用タスクを検出することができる。制御モジュール６００１は、外科用タスクに関連付けられた可視化モードについて、メモリ６００３に記憶され得るデータベースを参照することができる。外科用タスクが高度可視化モード６０６３を必要とする場合、制御モジュール６００１は、高度可視化モード６０６３に関連付けられた高速計算を支援するためにＦＰＧＡを再利用する。外科用タスクが完了すると、制御モジュール６００１は、通常の可視化モード６０６２への復帰をトリガし、ＦＰＧＡを通常のタスクの実行に効果的に切り替える。
【0127】
特定の実施態様では、外科用データを検出すること（６０１１）は、ユーザの注意を求めて競合する２つの別個の外科用データを受信することを含む。例えば、外科用データを検出すること（６０１１）は、第１の外科用データ及び第２の外科用データを受信することを含むことができ、第１の外科用データ及び第２の外科用データは両方とも、現在の外科用タスクに関連し、及び／又は１つ以上のアクティブな外科用デバイスに関連付けられる。そのような実施態様では、方法６０１０は、第１の外科用データ及び第２の外科用データに表示優先度値を、それらを無視することによって引き起こされ得る手術の成功の重大度及び／又は失敗の重度の比較に基づいて割り当てること（６０１２）を含むことができる。例えば、第１の外科用データが第２の外科用データよりも高い重大度を含む場合、方法６０１０は、第２の外科用データよりも高い表示優先度値を第１の外科用データに割り当てる（６０１２）。加えて又は代替的に、第１の外科用データに関連付けられた第１の故障が第２の外科用データに関連付けられた第２の故障よりも深刻である場合、方法６０１０は、第２の外科用データよりも高い表示優先度値を第１の外科用データに割り当てる（６０１２）。
【0128】
いくつかの実施態様では、様々な外科用データに関連付けられた表示優先度値並びに対応する重大度及び／又は故障重度は、メモリ６００３等の記憶媒体内に、任意の適切なフォーマット、例えば、表又はデータベースで記憶され得る。制御モジュール６００１のプロセッサ８５は、そのような記憶された情報に基づいて表示優先度値を割り当てる（６０１２）ように構成され得る。
【0129】
加えて又は代替的に、表示優先度値は、所定のユーザ選好及び／又はユーザ固有の外科コンテキストに基づいて割り当てること（６０１２）ができる。いくつかの実施態様では、アクティブな外科用器具２１に関連付けられた外科用データは、外科用器具２１を使用する臨床医に関連付けられたディスプレイ上に選択的に表示され得る。したがって、方法６０１０は、異なるディスプレイのために同じ外科用データに異なる表示優先度値を割り当てること（６０１２）を含むことができる。
【0130】
一例示では、臨床医によって利用されている第１の外科用デバイスに関連付けられた外科用データは、臨床医によって選択された、そうでなければ臨床医に関連付けられた第１のディスプレイに対して高い表示優先度値、及び臨床医によって選択されていない、又は臨床医に関連付けられていない他のディスプレイに対して低い表示優先度値を同時に割り当てられる（６０１２）。別の例示では、臨床医によって利用されている第１の外科用デバイスに関連付けられた第１の外科用データは、臨床医によって選択された、そうでなければ臨床医に関連付けられた第１のディスプレイに対して高い表示優先度値を割り当てられ、臨床医によって利用されていない第２の外科用デバイスに関連付けられた第２の外科用データは、第１のディスプレイに対して低い表示優先度値を割り当てられる。
【0131】
様々な例では、制御モジュール６００１は、特定の外科用デバイスの外科用データと、外科用デバイスを使用する臨床医に関連付けられたディスプレイとの前述のペアリングにおいて利用され得る状況認識モジュール６００６からコンテキスト情報を受信する。コンテキスト情報は、周術期データに基づいて状況認識モジュール６００６によって生成され得る。
【0132】
いくつかの実施態様では、データベース又は表がペアリング情報を記憶することができる。他の例では、臨床医は、臨床医が外科用デバイスを保持するときに外科用デバイスによって検出され得る固有の識別子を装着してもよい。肯定的識別が行われると、制御モジュール６００１は、次いで、臨床医に選択されるか、そうでなければ関連付けられたディスプレイに対して、外科用デバイスに関連付けられた外科用データに高い表示優先度値を割り当てることができる。一例示では、固有の識別子は、外科用デバイスのハンドル内の対応するＲＦＩＤスキャナによって検出される、臨床医のグローブ内のＲＦＩＤとすることができる。
【0133】
結腸直腸処置中等の特定の例では、システム６０００は、ディスプレイ（例えば、ディスプレイ６００５）を、第１の術野の第１のライブストリームを示すことから第２の術野の第２のライブストリームに自動的に切り替えるように構成される。自動切り替えは、外科的処置における外科用タスクの完了によってトリガすることができる。一例では、外科用タスクの完了を示す所定の外科用キューを、ライブストリーム間の自動切り替えのトリガとして利用することができる。所定の外科用キューは、例えば、外科用器具２１による組織内へのステープル発射の完了を検出すること、外科用器具２１による組織封止の完了を検出すること、及び／又は例えばジョーを開くことによる外科用器具２１のエンドエフェクタのジョーからの組織の解放を検出することを含み得る。
【0134】
所定の外科用キューはまた、外科用器具２１による外科用タスクの完了を示す、外科用器具２１の停止が後に続く、外科用器具２１の起動を検出することを含んでもよい。いくつかの実施態様では、制御モジュール６００１は、外科用器具２１の１つ以上のセンサ及び／又はコンピュータ実装インタラクティブ外科用システム１の他の構成要素からの読み取り値を活用して、所定の外科用キューを検出する。いくつかの例示では、所定の外科用キューは、状況認識モジュール６００６によって生成されたコンテキスト情報に基づいて検出される。
【0135】
結腸直腸処置では、臨床医は、円形ステープラ及び線形ステープラを使用して、処置の種々のタスクを完了する。結腸直腸処置は、２つの別個の術野、すなわち、疾患組織が切除される内部術野と、円形ステープラが利用される外部術野とで手術することを伴う。いくつかの実施態様では、第１のライブストリームは、組織切除が行われている内部区画に焦点を合わせ、第２のライブストリームは、円形ステープラが適用される外部区画に焦点を合わせる。そのような実施態様では、自動切り替えは、例えば、線形ステープラの停止及び／又は第１の術野からの線形ステープラの除去によって検出することができる、線形ステープラによる組織切除の完了によってトリガすることができる。制御モジュール６００１は、例えば、術野からの線形ステープラの除去を検出するために、様々なオブジェクト認識、オブジェクト追跡、及び／又はオブジェクトラベリングアルゴリズム、及び／又はライブストリームの画像フレームの他の画像処理技術を採用してもよい。
【0136】
図１８は、外科的処置における術野のライブストリームを自動的に切り替えるための例示的な方法６０７０の動作を示すフローチャートである。いくつかの実施態様では、方法６０７０は、例えば、コンピュータ実装インタラクティブ外科用システム１によって実行され得る。方法６０７０は、第１の術野の第１のライブストリームをディスプレイ（例えば、ディスプレイ６００５）上に提示すること（６０７１）を含む。第１の術野における外科用タスクの完了を示す所定の外科用キューが検出された場合（６０７２）、第１の術野の第１のライブストリームをディスプレイ上に提示することから、第２の術野の第２のライブストリームをディスプレイ上に提示することに自動的に切り替える（６０７３）。いくつかの例示では、第２の術野は、外科的処置における第１の外科用タスクに続く第２の外科用タスクに関連付けられる。
【0137】
外科的処置中、コンピュータ実装インタラクティブ外科用システム１の様々な構成要素は、電力、電流、及び／又は処理リソース等の利用可能なシステムリソースを求めて競合する場合がある。加えて又は代替的に、コンピュータ実装インタラクティブ外科用システム１の特定の構成要素の動作は、コンピュータ実装インタラクティブ外科用システム１の他の構成要素の動作に干渉するか、又は悪影響を及ぼす場合がある。システムリソース及び／又は構成要素動作のバランスを維持することによって構成要素が正常に機能することを確実にするために、様々な方法及びシステムが本明細書で説明される。
【0138】
図１９は、コンピュータ実装インタラクティブ外科用システム１によって実行される外科的処置中にシステムリソースのバランスをとるための例示的な方法６０５０の動作を示すフローチャートである。方法６０５０は、コンピュータ実装インタラクティブ外科用システム１の異なる構成要素の競合するニーズを満たすシステムリソースの故障を検出すること（６０５１）を含む。方法６０５０は、例えば、外科的処置の術野のライブストリーム上にリソース割り当て制御をオーバーレイすること（６０５２）によって、故障の検出に応答して、システムリソースのリソース割り当て制御を表示することを更に含む。加えて、方法６０５０は、リソース割り当て制御に対する推奨される調整を表示することを更に含むことができる。
【0139】
上記に加えて、方法６０５０は、ユーザによるリソース割り当て制御の調整に基づいて、異なる構成要素のうちの１つ以上の電力消費を調整すること（６０５３）を含む。方法６０５０は、故障がもはや検出されないとき、デフォルトリソース割り当てに戻ること（６０５５）、又はリソース消費制限を除去することを更に含むことができる。方法６０５０は、例えば、視覚コンテンツをコンピュータ実装インタラクティブ外科用システム１のディスプレイ上の術野のライブストリーム上にオーバーレイすることによって、リソース割り当てに対する調整の効果を表す視覚コンテンツを表示すること（６０５４）、及び／又はデフォルトモードへの復帰を表す視覚コンテンツを表示すること（６０５６）を更に含むことができる。
【0140】
いくつかの実施態様では、故障を検出すること（６０５１）は、例えば、電力閾値、電流閾値、処理閾値、及び／又は最大利用閾値等の所定の閾値に達すること、及び／又は超えることを含む。所定の閾値は、外科的処置中の誤動作を回避するために、電力消費が利用可能な電力リソースを超える点に達する前に故障を検出すること（６０５１）が達成されることを確実にするように選択され得る。いくつかの実施態様では、所定の閾値は、プロセッサ８５によってアクセスされ、監視された値（例えば、総消費量、消費率）と比較されるメモリ６００３等の記憶媒体に記憶される。
【0141】
いくつかの実施態様では、制御モジュール６００１が、総推定リソース消費（例えば、電力消費）又はリソース消費率が所定の閾値以上である外科的処置中に競合タスクが実行されていることを検出したときに、故障が検出される（６０５１）。いくつかの実施態様では、制御モジュール６００１が、総推定リソース消費（例えば、電力消費）又はリソース消費率が所定の閾値以上である、コンピュータ実装インタラクティブ外科用システム１の複数の構成要素の同時利用を検出したときに、故障が検出される（６０５１）。一例では、例えばメモリ６００３に記憶されたデータベースは、コンピュータ実装インタラクティブ外科用システム１の様々な構成要素及び／又はコンピュータ実装インタラクティブ外科用システム１によって実行される様々なタスクに関連付けられたリソース消費推定値のリストを含むことができる。プロセッサ８５は、データベース内の情報に基づいてリソース消費値を計算し、故障が検出されたかどうかを判定する（６０５１）ために、計算された値を所定の閾値と比較することができる。
【0142】
いくつかの実施態様では、システムリソースは電力であり、電力リソースを求めて競合するコンピュータ実装インタラクティブ外科用システム１の構成要素は、システム６０００、又はコンピュータ実装インタラクティブ外科用システム１の任意の他の可視化システム、及び発電機２７である。例えば、外科用組織封止処置中に、コンピュータ実装インタラクティブ外科用システム１は、所定の閾値に達するか、又はそれを超える電力消費を集合的に必要とする２つのタスクを実行するように構成され得る。第１のタスクは、例えば、術野のスペクトルビューを提供する可視化タスクとすることができ、第２のタスクは、例えば、術野において外科用エネルギーデバイスによって把持された組織を封止するために外科用エネルギーデバイスに通電することであり得る。発電機モジュール２７は、外科用エネルギーデバイスに電力を供給して、組織への治療エネルギーの印加によって組織を封止するように構成され得る。
【0143】
そのような実施態様では、故障は、システム６０００及び発電機モジュール２７による電力消費を監視することによって検出される（６０５１）。電力消費が所定の閾値に達する及び／又は超える場合、制御モジュール６００１は、ディスプレイ６００５上の術野のライブストリーム上への電力割り当て制御のオーバーレイ６０５２を引き起こすことによって、ユーザアラートを発行する。次いで、制御モジュール６００１は、電力割り当て制御のユーザ調整に従って電力消費を調整することができる。
【0144】
特定の例では、制御モジュール６００１は、ユーザ調整を実施するために１つ以上のシステムの電力要件を低減する。例えば、制御モジュール６００１は、発電機モジュール２７への電力割り当てを維持することを優先して、システム６０００への電力割り当ての低減を選択するユーザ入力に応答して、ディスプレイ６００５の輝度を低減することができる。加えて又は代替的に、制御モジュール６００１は、発電機モジュール２７への電力割り当てを維持することを優先してシステム６０００への電力割り当ての低減を選択するユーザ入力に応答して、システム６０００によって実行される二次画像処理タスク等の特定のタスクを減速、遅延、又は一時停止することができる。
【0145】
特定の例では、電力割り当て制御のユーザ調整は、発電機モジュール２７よりもシステム６０００への電力割り当てを優先することができる。これは、ユーザが、最適な可視化を必要とする重要な工程にいる場合、例えば、血管を封止する場合、及びエネルギーデバイスの適切な動作を、おそらく組織封止時間を増加させることによって、より低い電力レベルで依然として達成することができる場合に起こり得る。そのような場合、制御モジュール６００１は、外科用エネルギーデバイス及び／又は発電機モジュール２７に、それらの設定のうちの１つ以上を調整させて、システム６０００に有利に電力消費を低減させ得る。
【0146】
いくつかの実施態様では、制御モジュール６００１は、故障の検出に応答して、ユーザ入力なしに、電力割り当て調整を行うように自動的に介入する。そのような実施態様では、制御モジュール６００１は、電力消費に対する自動変更によって引き起こされた変更をユーザに警告するだけである。例えば、制御モジュール６００１は、ディスプレイ６００５上のライブストリーム上に、ディスプレイ６００５の輝度の変化に対するアラート、及び／又は、例えば、オーバーレイをもたらす画像処理の一時的停止に起因する、外科用データオーバーレイ等の視覚コンテンツのオーバーレイの一時的停止をオーバーレイしてもよい。オーバーレイは、外科用エネルギーデバイスによる組織封止の完了時に再導入され得る。代替的に、オーバーレイは、発電機モジュール２７を優先してシステム６０００の電力消費を低減するために、連続的に表示されるのではなく断続的に表示され得る。
【0147】
いくつかの実施態様では、電力割り当て制御に対するユーザ調整は、例えば、１つ以上のシステムが最大ヒューズ限界閾値を超えることを防止するように構成された１つ以上のアクティブな個別電流制限回路を介して実装される。
【0148】
いくつかの実施態様では、システムリソースは電力であり、電力リソースを求めて競合するコンピュータ実装インタラクティブ外科用システム１の構成要素は、システム６０００、又はコンピュータ実装インタラクティブ外科用システム１の任意の他の可視化システム、及び排煙器モジュール２６（図３）である。例えば、外科用組織封止処置中に、コンピュータ実装インタラクティブ外科用システム１は、所定の閾値に達するか、又はそれを超える電力消費を集合的に必要とする２つのタスクを実行するように構成され得る。第１のタスクは、例えば、術野のスペクトルビューを提供する可視化タスクとすることができ、第２のタスクは、例えば、術野から煙を抽出することであり得る。煙は、エネルギーデバイスによる組織封止プロセスの副産物である。
【0149】
そのような実施態様では、故障が検出された場合（６０５１）、制御モジュール６００１は、次いで、例えば、前述のように、ディスプレイ６００５上の術野のライブストリーム上に電力割り当て制御のオーバーレイ６０５２を引き起こすことによって、ユーザアラートを発行してもよい。次いで、制御モジュール６００１は、電力割り当て制御のユーザ調整に従って電力消費を調整することができる。特定の例では、制御モジュール６００１は、例えば、推奨される調整を表す視覚コンテンツをディスプレイ６００５上の術野のライブストリーム上にオーバーレイすることによって、排煙モジュール２６のより低い設定への調整を推奨し得る。加えて、制御モジュール６００１はまた、排煙の減速を表す視覚コンテンツをオーバーレイさせてもよい。示される方法でそのような視覚コンテンツを提示することは、外科用エネルギーデバイスのユーザに、外科用エネルギーデバイスをより少ない煙を生成するより低い設定に調節することによって、封止プロセスを減速させる機会を与える。例えばスペクトルビューに関連付けられた画像処理の完了に起因して、システム６０００の追加の電力要件が終わると、制御モジュール６００１は、排煙モジュール２６がその元の設定に戻っていることをユーザに知らせるために、アラートを表す視覚コンテンツのオーバーレイを引き起こす。
【0150】
様々な例では、方法６０５０と同様の方法は、コンピュータ実装インタラクティブ外科用システム１を使用して実行される外科的処置に悪影響を及ぼし得る他の故障、例えば、過熱及び／又はノイズに対処するために実施され得る。そのような場合、故障検出は、コンピュータ実装インタラクティブ外科用システム１の１つ以上の構成要素の１つ以上の内部及び／又は外部センサの読み取り値に基づいて達成され得る。次いで、センサ読み取り値を所定の閾値と比較して、故障を検出することができる。例えば、過熱故障は、１つ以上の温度センサ読み取り値が所定の温度閾値以上である場合に検出することができる。故障に応答して、制御モジュール６００１は、ディスプレイ６００５上の外科的処置の術野のライブストリーム上に仮想制御をオーバーレイし、それによって、過熱に対処するためにコンピュータ実装インタラクティブ外科用システム１の構成要素のうちの１つ以上の設定を変更する機会をユーザに提示してもよい。同様の方法を利用してノイズレベルに対処することができる。
【0151】
様々な例では、方法６０１０による表示配置は、外科用データの視覚表現に対応するためのディスプレイ６００５のセグメント化を含む。同時に表示されるセグメントのサイズ、形状、表示時間、表示場所、表示３次元配置（例えば、前景、背景）、表示点滅、強調表示、及び／又はフォントは、外科用データの性質、複雑性、及び／又は重大度を含むいくつかの要因に依存し得る。いくつかの実施態様では、同時に表示されるように構成される外科用データのペアリング情報は、メモリ６００３等の記憶媒体上に記憶されるデータベース又は表内に設けることができる。制御モジュール６００１のプロセッサ８５は、記憶された情報に基づいて、複数の外科用データが同時に表示されるべきかどうかを決定してもよい。
【0152】
いくつかの実施態様では、２つの異なる外科用データの視覚表現は、ディスプレイ６００５上にセグメント化モードで同時に表示されるように構成されるが、視覚表現のうちの１つだけが表示の準備ができている。そのような実施態様では、準備ができていない視覚表現は、その割り当てられたセグメント内の空白領域として表すことができる。加えて、上記で説明したように、制御モジュール６００１は、準備ができていない視覚表現を準備するのを助けるために、追加の処理速度のためにＦＰＧＡを再利用するように構成され得る。代替的に、準備ができていない視覚表現は、外科用データが同時に表示されることを確実にするために、より低い品質で表示され得る。
【0153】
特定の例では、複数の外科用データの視覚表現は、例えばセグメント化モードでディスプレイ６００５上に同時に表示するように構成されるが、システム６０００は、異なる外科用データの全てを同時に表示するのに十分な処理能力を欠いている。その処理能力の不足を検出したことに応答して、システム６０００は、例えば、外科用データの割り当てられた表示優先度値に基づいて、より低い優先度の外科用データよりもより高い優先度の外科用データのディスプレイを優先し得る。
【0154】
他の例では、ディスプレイ問題は、セグメント化モードで複数の外科用データの視覚表現を同時に表示するのに十分な表示領域がディスプレイ６００５にないことであり得る。そのような場合、制御モジュール６００１によって実装される表示配置は、第１の視覚表現が第２の視覚表現の内側に表示されるピクチャインピクチャタイプの表示配置を含むことができる。言い換えれば、第１の視覚表現は前景に現れてもよく、背景に現れる第２の視覚表現よりもサイズが小さくてもよい。加えて、任意の適切なユーザインターフェース６００７を通して、臨床医は、視覚表現のうちの一方を前景に、他方を背景に選択的に移動させることによって、２つの視覚表現の間で切り替えることができる。
【0155】
制御モジュール６００１は、ディスプレイ６００５の所定の表示サイズ、及び外科用データの視覚表現の計算された表示サイズに基づいて、十分な表示領域の欠如を検出するように構成され得る。いくつかの実施態様では、所定の方程式を計算に利用することができる。他の例では、視覚表現のサイズが同じ又は同様である場合、外科用データの視覚表現の数が所定の閾値以上である場合、十分な表示の欠如が検出される。
【0156】
様々な例では、方法６０１０による表示配置は、例えば、静的又はパッシブ表示モード及び動的又はアクティブ表示モード等の表示モード間の遷移を含む。いくつかの実施態様では、制御モジュール６００１は、外科用データの視覚表現を静的モードから動的モードに遷移させるように構成される。制御モジュール６００１は、例えば、外科用データに関連付けられた優先度、重大度、及び／又はリスクの変化等の所定のトリガに応答して遷移を実施するように構成することができる。例えば、低い表示優先度値を最初に割り当てられた（６０１２）外科用データは、外科用データの表示優先度値がより高い表示優先度値に増加することに起因して後にアクティブ表示モードに遷移される静的表示モードで、術野のライブストリーム上に表示又はオーバーレイされ得る。
【0157】
上記に加えて、いくつかの実施態様では、静的モードは、外科用器具２１に関連付けられた外科用データの静的視覚表現を、例えば、ディスプレイ６００５の側面又は角に表示又はオーバーレイすることを含む。対照的に、アクティブモードは、例えば、術野のライブストリームにおいて外科用器具２１の一部に外科用データのアクティブ視覚表現をオーバーレイすること、及び／又は静的視覚表現において強調表示された領域を移動させることを含み得る。様々な実施態様では、静的表示モードは、例えば、サイズ、形状、表示時間、表示場所、表示３次元配置（例えば、前景、背景）、表示点滅、強調表示、及び／又はフォントのうちの１つ以上において、アクティブ表示モードとは異なる。
【0158】
いくつかの実施態様では、静的表示モードからアクティブ表示モードへの遷移は、外科用器具２１の作動又は起動に基づいており、外科用器具２１は、リアルタイム動的表示を必要とする技術感応工程を知らせる。例えば、先の発射に対して特定の発射角度を必要とする、組織への後続のステープル発射における外科用器具２１の作動又は起動は、アクティブ表示モードへの遷移をトリガすることができる。第１に、外科用データ（例えば、様々な発射及び／又は組織パラメータ）の視覚表現等の特定の表示要素を、静的表示モードで表示又はオーバーレイすることができる。次いで、外科用器具２１の作動又は起動に応答して、その後の発射において、制御モジュール６００１は、例えば、表示要素が強調表示され及び／又は移動される動的表示モードに遷移させる。様々な例では、遷移をトリガする後続の発射は、組織補助材（例えば、組織厚さコンペンセータ）も配備するステープル発射を伴う。
【0159】
いくつかの実施態様では、制御モジュール６００１は、静的表示モードの表示要素のサイズを小さくし、強調表示を少なくし、及び／又は経時的に表示要素を消すように構成される。外科用器具２１の様々な動作パラメータは、最初に動的表示モードで提示され、次いで、そのようなパラメータの有意レベルが変化するにつれて、静的表示モードに遷移することができる。特定の例示では、特定の表示要素は、例えば、静的表示モードでディスプレイ６００５上の所定の場所に割り当てられ、次いで、アクティブ表示モードで変更される。
【0160】
いくつかの実施態様では、外科用データの視覚表現、例えばバイオマーカは、静的表示モードで提示され、例えばソリッドカラーは強調表示されないが、バイオマーカに関連付けられた値は、所定の範囲内又は所定の閾値未満のままである。しかしながら、値が所定の範囲を超えて、又は所定の閾値を超えて移動する場合、外科用データの視覚表現は、視覚表現の特定の表示要素に、例えば、サイズ、形状、表示時間、表示場所、表示３次元配置（例えば、前景、背景）、点滅、強調表示、及び／又はフォントを変化させることによって、動的表示モードに遷移され得る。
【0161】
図１９Ａは、外科用データに基づいて静的表示モードとアクティブ表示モードとの間で遷移するための例示的な方法６１１０の動作を示すフローチャートである。いくつかの実施態様では、方法６１１０は、例えば、コンピュータ実装インタラクティブ外科用システム１によって実行され得る。図示の例では、外科用データは、組織パラメータを含む。組織パラメータは、組織インピーダンスである。例えば、組織厚さ、組織圧力、組織コンダクタンス、及び／又は組織圧縮等の他の組織パラメータが、同様に提示することができる。
【0162】
上記に加えて、方法６１１０は、外科用器具２１のエンドエフェクタのジョー間の組織を検出すること（６１１１）を含む。特定の例では、組織検出６１１１は、例えば、オブジェクト認識、オブジェクト追跡、及び／又はオブジェクトラベリングアルゴリズム、及び／又はライブストリームの画像フレームの他の画像処理技術を通して自動的に達成され得る。あるいは、外科用器具２１は、ジョー内の１つ以上のセンサの信号読み取り値に基づいてジョー間の組織の存在を検出する（６１１１１）ように構成することができる。例えば、組織を通過した非治療信号が許容可能な組織インピーダンスをもたらすときに、組織を検出することができる（６１１１）。
【0163】
組織を検出すること（６１１１）に応答して、方法６１１０は、例えば、術野のライブストリーム上に組織パラメータの視覚表現を表示するか、又はオーバーレイすることによって、静的表示モードで組織パラメータを提示する（６１１２）。しかしながら、組織パラメータが所定の閾値に達するか、若しくはそれを超えるか、又は所定の範囲外になる場合（６１１３）、方法６１１０は更に、組織パラメータの視覚表現の１つ以上の表示要素のアクティブ表示モードへの遷移６１１５を引き起こす。
【0164】
いくつかの実施態様では、外科用器具２１は、外科用器具２１のエンドエフェクタによって把持された組織を封止するように構成されたエネルギーデバイスである。治療の開始時に、組織を検出すると（６１１１）、組織インピーダンスが静的表示モードで提示される。外科用器具２１は、有線又は無線インターフェースを介して、組織インピーダンスを示す外科用データを制御モジュール６００１に通信して、例えば、静的表示モードでディスプレイ６００５上に表示することができる。組織へのエネルギー印加が始まると、組織インピーダンスが変化する。しかしながら、組織インピーダンスが所定の閾値に達するか、若しくはそれを超えるか、又は所定の範囲外になる場合、これは、流体中へのエンドエフェクタの浸漬、電気的短絡、又は単に低インピーダンス組織の表示であり得る。いずれにしても、アクティブ表示モードへの遷移６１１５がトリガされて、臨床医に調査するように警告する。
【0165】
様々な例では、制御モジュール６００１は、例えば、外科的処置の工程、各工程で利用される外科用器具２１、並びに各工程に関連付けられた様々なリスク及び／又は技術等の外科的処置に関連付けられた様々な外科用情報を決定する。そのような決定は、例えば状況認識モジュール６００６によって生成されたコンテキスト情報に基づくことができる。制御モジュール６００１は、次いで、本開示によって説明される方法のうちの１つ以上を利用する表示配置において、外科用情報を外科的処置の術野上に表示又はオーバーレイさせることができる。例えば、現在の工程、現在の工程に関連付けられた外科用器具２１、現在の工程に関連付けられたリスク、及び／又は現在の工程に関連付けられた技術は、アクティブ表示モードで提示され得るが、前及び／又は次の工程は、静的表示モードで提示される。次の工程が現在の工程になると、アクティブ表示モードに遷移する。
【0166】
上記に加えて、静的表示モードからアクティブ表示モードへの遷移６１１５は、例えば、新しいレイアウトを反映する、処置計画への変更を反映するために採用することができる。様々な例では、外科用情報は、制御モジュール６００１による提示のために、例えば、アクセス、分離及び／又は可動化、切除、及び／又は修復、及び／又は関連データの外科医への拡張の段階にセグメント化され得る。
【0167】
様々な例では、静的表示モードとアクティブ表示モードとの間の外科用データの視覚表現の遷移は、外科用データにリンクされた又は関連付けられた外科用器具２１の使用の変化に基づく。外科用データは、最初に静的表示モードで提示することができる。しかしながら、外科用器具２１の使用において所定の変化が検出された場合、外科用データの視覚表現のアクティブ表示モードへの遷移が影響を受ける。
【0168】
図１９Ｂは、静的表示モードとアクティブ表示モードとの間で外科用データの視覚表現を遷移させるための例示的な方法６１２０の動作を示すフローチャートである。遷移は、外科用データにリンクされた又は関連付けられた外科用器具２１の使用の変化に基づくか又はそれによってトリガされる。いくつかの実施態様では、方法６１２０は、例えば、コンピュータ実装インタラクティブ外科用システム１によって実行され得る。
【0169】
図示の例では、外科用器具２１は、外科的処置においてそのエンドエフェクタによって把持された組織を凝固させるように構成された超音波外科用器具である。外科用器具２１は、外科的処置の術野に表示又はオーバーレイするために、制御モジュール６００１によって受信される（６１２１）事前設定された発電機設定の発電機とともに利用される。方法６１２０は、事前設定された発電機設定を静的表示モードで提示すること（６１２２）を更に含む。しかしながら、外科的処置中に、血液中に半浸漬されている血管の凝固の試みに起因して、血液中のエンドエフェクタの浸漬が検出される場合（６１２３）、例えば、新しい発電機設定がアクティブ表示モードで提示される。新しい発電機設定は、エンドエフェクタの血液への浸漬に応答したトランスデューサ電力レベルの増加を含んでもよい。新しい発電機設定の術野のライブストリーム上への表示又はオーバーレイは、外科用器具２１のユーザに警告し、増加した電力レベルが望ましくない場合、ユーザがエンドエフェクタの位置を調整する機会を与える。
【0170】
いくつかの実施態様では、エンドエフェクタの血液への浸漬を検出することは、１つ以上のセンサによって達成される。一例では、非治療電流を流すことができる。短絡が検出された場合、短絡は血液中への浸漬を示す。これに応答して、浸漬を示す外科用データは、無線で、又は有線インターフェースを介して制御モジュール６００１に通信する。
【0171】
様々な例では、方法６０１０による表示配置は、静的表示モードで外科用データの視覚表現を最初に提示することを含む。次いで、方法６０１０は、外科用データに関連付けられた外科用器具２１の状況の変化に応答して、例えば外科用データに関連付けられた値等の視覚表現の１つ以上の表示要素の変化を引き起こす。変化は、例えば、ステープルカートリッジロックアウトに遭遇すること、高度エネルギーデバイスの起動、外科用器具２１のエンドエフェクタの開放構成と閉鎖構成との間の遷移を含む。
【0172】
前述のように、外科用データに関連付けられた１つ以上の値の変更は、静的表示モードで実行することができる。代替的に、いくつかの実施態様では、変化は、追加のアラートを提供するために、静的表示モードからアクティブ表示モードへの遷移を伴うことができる。そのような実施態様は、例えば、組織クリープ及び／又は組織圧縮を可能にするために休止すること、外科用器具２１のエンドエフェクタのジョー内の不均衡な組織を検出すること、及び／又はジョーのクランプが不適切な組織張力を誘発していることを検出すること等の、例えば、様々な適合技術を含む。
【0173】
様々な例では、方法６０１０による表示配置は、第１の動的表示モードから第２の動的表示モードへの遷移を含み、第２の動的表示モードは、第１の動的表示モードよりも高い優先度、リスク、及び／又は重大度を含むか、又は表す。一例では、血圧は、例えば、無線又は有線インターフェースを使用して、その読み取り値を制御モジュール６００１に通信し得る、血圧監視デバイスを介して、外科的処置中に追跡される。次に、血圧データの重要性により、血圧の視覚表現を第１の動的表示モードで提示することができる。しかしながら、外科的処置中に、許容可能な限界を超える血圧データの増加が検出された場合、例えば、適切なアラートが送達されることを確実にするために、血圧データを第２の動的表示モードに上昇させるように遷移が行われる。
【0174】
様々な実施態様では、例えば、視覚表現のサイズ、形状、表示時間、表示場所、表示３次元配置（例えば、前景、背景）、表示点滅、強調表示、及び／又はフォント等の、外科用データの視覚表現の１つ以上の特性は、割り当てられた（６０１２）表示優先度値に基づくことができる。特定の例では、割り当てられた（６０１２）表示優先度値は、表示対立を有する表示配置をもたらすことができる。例えば、割り当てられた表示優先度値に基づいて表示配置を決定することは、例えば、ディスプレイ６００５上の同じ場所に外科用データの２つ以上の視覚表現をもたらし得る。
【0175】
図２０は、表示配置における表示対立を解決するための例示的な方法６０１０’の動作を示すフローチャートである。方法６０１０’は、多くの点で方法６０１０に類似している。２つの方法の間の共通の詳細は、簡潔にするために本明細書では繰り返さない。特定の例では、図２０に示すように、検出された（６０８０）表示対立は、競合する視覚表現の１つ以上の表示時間を変更して（６０８１）対立を解決することによって解決することができる。代替的に、臨床医は、対立を認識することができ、ディスプレイ６００５上で、異なる外科用データ間で選択する（６０８２）ための選択肢を提供することができる。代替的に、選択６０８３は、臨床医の所定の選好に基づいて自動的に行うことができ、これは、ユーザ入力又は状況認識モジュール、例えば、６００６によって生成されるコンテキスト情報に基づくことができる。
【0176】
いくつかの実施態様では、第１の外科用データと第２の外科用データとの間の表示対立を検出すること（６０８０）は、例えばプロセッサ８５によって、例えばメモリ６００３から第１の外科用データ及び第２の外科用データに関する表示優先度情報を取り出すことを含む。次いで、プロセッサ８５は、第１の外科用データ及び第２の外科用データの表示優先度情報を比較して、表示対立が検出されたかどうかを判定することができる（６０８０）。
【0177】
特定の実施態様では、制御モジュール６００１は、例えば、デフォルトサイズよりもサイズが小さい競合する外科用データの視覚表現を同時に示すことによって、検出された（６０８０）表示対立に応答するように構成される。臨床医は、例えば、ユーザインターフェース６００７を通して視覚表現の間で選択することができる。これに応答して、制御モジュール６００１は、選択されていない視覚表現を除去し、選択された視覚表現のサイズをデフォルトサイズに増加させる。
【0178】
特定の実施態様では、検出された（６０８０）表示対立は、表示対立を提示する外科用データに基づいて決定された解決順序に基づいて自動的に優先順位を付ける（６０８４）ことによって解決され得る。いくつかの実施態様では、解決順序は、外科用データに関連付けられた外科用工程の順序、及び／又は外科用データによって報告されたリスク及び／又は問題の緊急性に基づいて決定される。
【0179】
特定の例示では、表示対立が、第１の外科用データと第２の外科用データとの間で検出され（６０８０）、両方とも高い優先度の問題及び／又はリスクを提示する。更に、第１の外科用データに関連付けられた第１の解決が実施されるまで、第２の外科用データに関連付けられた第２の解決を実行することができない。そのような例示では、第１の外科用データの第１の視覚表現は、解決順序に基づいて、第２の外科用データの第２の視覚表現よりも自動的に優先される（６０８４）。
【0180】
特定の例示では、表示対立は、外科用器具２１の作動を防止するロックアウトに関連付けられた第１の外科用データと、外科用器具によって治療されている組織の次善の組織厚さに関連付けられた第２の外科用データとの間で生じ得る。そのような例示では、組織厚さの問題は、高い優先度であるが、外科用器具２１がロックアウト状態にある間は解決することができないので、ロックアウトを優先して対立を解決するために、所定の解決順序を採用することができる。
【0181】
特定の例では、解決順序は、データベース、表の形態、又は任意の他の適切な形態で記憶媒体（例えば、メモリ６００３）上に記憶され得る。記憶された情報は、様々な外科用データ及び対応する解決順序を列挙することができる。プロセッサ８５は、記憶された情報を参照して、競合する外科用データ間の解決順序を識別し、表示対立を解決することができる。いくつかの実施態様では、解決順序は、競合する外科用データに基づいて開始又は完了する外科用タスクの順序に基づく。
【0182】
いくつかの例示では、制御モジュール６００１は、検出されたステープルカートリッジ（例えば、外科用器具２１上に装填されたもの）が以前に発射されたことを示す第１の外科用データを受信し得る。外科用器具２１のコントローラは、例えば、ステープルカートリッジのチップ上に記憶された発射情報を要求することによってステープルカートリッジに照会してもよく、取り出された発射情報に基づいて、ステープルカートリッジが以前に発射されたことを判定してもよい。発射情報を含む第１の外科用データは、無線で又は無線通信を通じて制御モジュール６００１に通信され得る。更に、制御モジュール６００１は、以前に発射されたステープルカートリッジが装填された外科用器具２１を伴う外科的処置においてステープル留めされている組織上への外科用器具２１のエンドエフェクタの閉鎖に関連付けられた第２の外科用データを受信し得る。例えば、第２の外科用データは、エンドエフェクタのジョーの間の組織厚さ及び／又は組織位置に関連し得る。
【0183】
上記に加えて、制御モジュール６００１は、第１の外科用データ、すなわち以前に発射されたステープルカートリッジ、及び第２の外科用データ、すなわちエンドエフェクタの組織上への閉鎖の両方が高優先度状況を含むので、表示対立を検出する（６０８０）。第１及び第２の外科用データの視覚表現のディスプレイ６００５上への表示配置を決定するために、例えば、プロセッサ８５は、データベース、表の形態、又は任意の他の適切な形態で記憶媒体（例えば、メモリ６００３）上に記憶された解決順序情報をチェックする。本例では、第１の外科用データによって提示される第１の問題、すなわち以前に発射されたステープルカートリッジは、第２の外科用データによって提示される第２の問題、すなわち組織上へのエンドエフェクタの閉鎖の前に解決されなければならない。これは、先に発射されたステープルカートリッジを使用して組織を治療することができない場合、エンドエフェクタの組織への閉鎖を解決することが重要でないためである。
【0184】
表示対立が解決されると、方法６０１０’は、解決順序に基づいて選択された表示配置に従って、第１の外科用データ及び第２の外科用データの視覚表現を表示すること（６０１４’）に進む。例えば、第１の外科用データの第１の視覚表現は、第２の外科用データの第２の視覚表現の前に表示することができる。本開示の他の場所で説明されるように、他の適切な表示配置を採用することができる。
【0185】
様々な態様では、外科的処置は、例えば外科用ステープラ等の外科用器具２１を使用して組織をステープル留めすることを伴う。外科的処置は、典型的には、外科用器具２１のエンドエフェクタを術野内に位置付けることと、エンドエフェクタのジョーの間に組織を把持するようにエンドエフェクタを作動させることとを含む。ジョーは、把持された組織を圧縮下に置く。組織は水を含むので、把持された組織は、組織が定常状態に達するまで、組織クリープとして知られるプロセスにおいてエンドエフェクタのジョーによって圧縮されるのに応答して徐々に変化する。更に、ジョー間の間隙及び組織の厚さもまた、組織が定常状態に達するまで変化し得る。また、組織流動又は組織の動きは、組織が定常状態に達するまで起こり得る。いくつかの実施態様では、ステープル留めを成功させるために、組織は、定常状態を達成するための待機時間を許容される。待機時間パラメータ、組織厚さパラメータ、及び／又は器具間隙パラメータ等の前述の組織変化と関連付けられるパラメータは、組織定常状態に到達するときを適切に評価するために重要である。
【0186】
図２１は、外科用器具２１を採用する外科的処置における組織変化（例えば、組織クリープ、組織流動、組織圧縮）に対処するための例示的な方法６０９０の動作を示すフローチャートである。いくつかの実施態様では、方法６０９０は、外科用器具２１のエンドエフェクタのジョー間の組織を検出すること（６０９１）を含む。特定の例では、組織検出６０９１は、例えば、オブジェクト認識、オブジェクト追跡、及び／又はオブジェクトラベリングアルゴリズム、及び／又はライブストリームの画像フレームの他の画像処理技術を通して自動的に視覚的に達成され得る。あるいは、外科用器具２１は、ジョー内の１つ以上のセンサの信号読み取り値に基づいてジョー間の組織の存在を検出する（６０９１）ように構成することができる。例えば、組織を通過した非治療信号が許容可能な組織インピーダンスをもたらすときに、組織を検出することができる（６０９１）。
【0187】
組織の検出６０９１に応じて、方法６０９０は、組織変化（例えば、組織クリープ、組織流動、組織圧縮）の少なくとも１つのパラメータ、及び／又はエンドエフェクタのジョー間の外科用器具間隙距離のパラメータ、及び／又は待機時間を、術野のライブストリーム上に表示又はオーバーレイ（６０９２）し得る。特定の実施態様では、方法６０９０は、組織治療を開始するために定常状態に達したときに外科用器具２１のユーザに警告すること（６０９４）を更に含む。特定の例では、定常状態は、組織変化パラメータのうちの１つ以上及び／又は外科用器具パラメータのうちの１つ以上に基づいて検出される（６０９３）。例えば、定常状態は、組織流動、組織クリープ、組織厚さ、組織圧縮、エンドエフェクタのジョー間の間隙距離、及び／又は待機時間のうちの１つ以上が所定の閾値以上である場合に検出することができる（６０９３）。代替的に、定常状態は、組織流動、組織クリープ、組織厚さ、組織圧縮、エンドエフェクタのジョー間の間隙距離、及び／又は待機時間のうちの１つ以上の変化率が所定の閾値以下である場合に検出することができる（６０９３）。加えて又は代替的に、定常状態は、オブジェクト認識、オブジェクト追跡、及び／又はオブジェクトラベリングアルゴリズム、及び／又は例えば、組織の変化を監視し得る他の画像処理技術に基づいて、自動的に視覚的に検出することができる（６０９３）。
【0188】
いくつかの実施態様では、方法６０９０は、例えば、１つ以上の適切なオブジェクト認識、オブジェクト追跡、及び／又はオブジェクトラベリングアルゴリズム、及び／又はライブストリームの画像フレームの他の画像処理技術を利用することによって、外科用器具２１による治療の適用中に組織変化を視覚的に自動的に監視することを更に含む。特定の例では、治療は、例えば、把持された組織へのステープルの発射であり得る。発射中に組織変化が過剰なレベルに達する場合（６０９５）、方法６０９０は、臨床医へのアラートを表示又はオーバーレイすること（６０９６）を更に含み得る。特定の例では、方法６０９０は、例えば図２６に示すように、過剰な組織変化の場所及び／又は大きさの視覚表現を表示又はオーバーレイすること（６０９７）を含む。いくつかの実施態様では、組織変化は、例えば、把持された組織内の１つ以上の組織標的のサイズ、場所、色、及び／又は移動を追跡することによって、自動的に視覚的に監視される。
【0189】
方法６０９０はまた、例えば、１つ以上の閉鎖パラメータ（例えば、ジョークランピング、ジョー圧力、遠位先端負荷）、及び／又は発射パラメータ（例えば、発射速度、Ｉビーム速度）等の外科用器具２１の１つ以上のパラメータを調整すること等の推奨解決を表示又はオーバーレイすること（６０９８）を含み得る。特定の例では、推奨解決は、追加の待機時間であり得る。特定の例では、外科用器具２１は超音波器具であり、推奨解決は、エンドエフェクタの遠位先端負荷を減少させるものである。他の例では、外科用器具２１は外科用ステープラであり、推奨解決は、エンドエフェクタの遠位先端負荷を増加させるものである。
【0190】
様々な例では、組織変化（例えば、組織流動）は、少なくとも部分的に、ジョー間に把持された組織が受ける張力によって影響を受ける。特定の例では、組織張力は、組織を把持している間の中立位置からのエンドエフェクタの回転等の動きに起因する。そのような場合、オーバーレイされた（６０９８）解決は、エンドエフェクタの回転位置に対する推奨される調整の形態であり得る。過剰な組織張力は、例えば、１つ以上の適切なオブジェクト認識、オブジェクト追跡、及び／又はオブジェクトラベリングアルゴリズム、及び／又はライブストリームの画像フレームの他の画像処理技術を利用することによって、自動的に観察することができる。
【0191】
いくつかの実施態様では、エンドエフェクタの位置及び／又は配向は、加速度計、ジャイロ、相対位置センサ、及び／又は３次元磁気センサを含む、１つ以上のセンサを使用して判定することができる。いくつかの実施態様では、センサは、１つ以上の位置変化を特徴付ける位置情報を生成することができる。位置情報は、有線又は無線インターフェースを介して制御モジュール６００１に送信することができる。
【0192】
様々な実施態様では、加速度計は、単軸、二軸、又は三軸加速度計であってもよい。加速度計は、必ずしも座標加速度（速度の変化率）ではない適正な加速度を測定するのに採用されてもよい。その代わりに、加速度計は、加速度計の基準フレーム内で静止している試験質量が経験する重量の現象と関連付けられる加速度を見ることができる。加えて又は代替的に、エンドエフェクタの位置及び／又は配向は、例えば、１つ以上の適切なオブジェクト認識、オブジェクト追跡、及び／又はオブジェクトラベリングアルゴリズム、及び／又はライブストリームの画像フレームの他の画像処理技術を利用することによって、自動的に観察することができる。
【0193】
エンドエフェクタのジョーによって把持された組織の組織張力の検出に応じて、制御モジュール６００１は、術野のライブストリーム上に、組織張力、その大きさ、及び／又は組織張力に関与する回転配向の視覚表現を表示又はオーバーレイしてもよい。いくつかの実施態様では、図２２Ａ～２２Ｃに図示されるように、組織張力の視覚表現６１００、６１０１、６１０２は、例えば、３次元空間におけるエンドエフェクタの位置情報を提供してもよい。いくつかの実施態様では、エンドエフェクタの位置情報は、エンドエフェクタを通って中心に長手方向に延在する第１の軸（例えば、ｘ軸）、第１の軸に垂直であり、第１の軸を有する第１の平面内に延在する第２の軸（例えば、ｙ軸）、及び第１の軸に垂直であり、第１の軸を有する第２の平面内に延在する第３の軸（ｚ軸）によって表され、第１の平面は、第１の軸において第２の平面と交差する。
【0194】
図２２Ａに示されるように、エンドエフェクタが座標軸に対して中立状態にある間、座標軸のそれぞれは、第１の形態（例えば、色、形状、サイズ）で提示され得る。１つ以上の座標軸について中立状態からの過剰な逸脱を検出したことに応じて、制御モジュール６００１は、１つ以上の座標軸を第１の形態とは異なる第２の形態に変化させる。他の例では、中立状態からの過剰な逸脱は、第１の逸脱であってもよく、第１の所定の閾値又は範囲に基づくことができ、一方、第２の逸脱は、第１の逸脱よりも過剰であってもよく、例えば、第１の所定の閾値又は範囲とは異なる第２の所定の閾値又は範囲に基づくことができる。そのような場合、中立状態は第１の形態で提示することができ、第１の過剰な逸脱は第２の形態で提示することができ、第２の過剰な逸脱は第１の形態及び第２の形態とは異なる第３の形態で提示することができる。特定の実施態様では、第１の形態は緑色を含み、第２の形態は黄色を含み、第３の形態は赤色を含む。
【0195】
図示の例では、中立状態からの第１の過度の逸脱がｙ軸の周りで検出される。これに応答して、制御モジュール６００１は、図２２Ｂに示されるように、ｘ軸及びｚ軸が第１の形態のままである間に、ｙ軸を第１の形態から第２の形態に切り替える。図示の例では、第１の過剰な逸脱は第１の所定の閾値以上である。次に、図２２Ｃに示すように、ｘ軸周りの第１の過剰な逸脱が改善された状態で、ｘ軸周りに第２の所定閾値以上の第２の過剰な逸脱が検出される。これに応答して、制御モジュール６００１は、Ｙ軸をｆｉｒｓ形態に戻し、ｘ軸を第３の形態に変更させる。
【0196】
様々な例では、中立状態からの異なる逸脱（例えば、第１及び第２の過剰な逸脱）は、異なる重度を含むことができ、重度を示す異なる形態で提示することができる。例えば、第１の過剰な逸脱を黄色で表し、第１の過剰な逸脱よりも重度な第２の過剰な逸脱を赤色で提示することができる。いくつかの実施態様では、中立状態からの逸脱は、座標軸のうちの１つ以上を中心とする回転角の範囲に基づいて決定される。例えば、第１の軸に対する中立状態は、第１の軸に対するエンドエフェクタの回転角度が約±Ａ°の範囲を満たす場合に検出され、第１の過剰な逸脱は、第１の軸に対するエンドエフェクタの回転角が約±Ｂ°の範囲を満たす場合に検出され、第２の過剰な逸脱は、第１の軸に対するエンドエフェクタの回転角が約±Ｃ°の範囲を満たす場合に検出される。図示の例では、Ａ、Ｂ、及びＣは整数であり、ＡはＢより小さく、ＢはＣより小さい。
【0197】
図２３Ａ～図２３Ｂを参照すると、いくつかの実施態様では、組織張力の視覚表現６１０４、６１０５は、座標軸のそれぞれに関連付けられた組織張力測定値６１０４ａ、６１０５ａを更に含んでもよい。制御モジュール６００１は、組織張力の過剰な逸脱（例えば、２．０ポンド～７．０ポンド）に応答して、組織張力測定値の形態（例えば、色、サイズ、及び／又は形状）を変化させてもよい。
【0198】
いくつかの実施態様では、制御モジュール６００１は更に、過剰な組織張力に対処するために、術野のライブストリーム上に推奨を表示又はオーバーレイさせてもよい。いくつかの例示では、図２４に示されるように、推奨は、外科用器具２１のエンドエフェクタを中立状態に遷移させるための推奨される回転を表す矢印６１０７とともに外科用器具２１を示す視覚表現２１０６を含む。
【0199】
図２４～図３０は、本開示の方法６０１０及び／又は任意の他の適切な方法に従って、検出された（６０１１）外科用データに基づいて決定された（６０１３）様々な表示配置を示す。図２４～図３０に示す表示配置は、組織をステープル留め及び切断するように構成された外科用器具２１との関連で表されている。しかしながら、他の実施態様では、図２４～図３０に示す表示配置のうちの１つ以上は、他のタイプの外科的処置において他の外科用器具とともに同様に利用することができる。
【0200】
本開示によって説明されるいくつかの表示配置は、外科用データの種々の視覚表現を、例えば、ディスプレイ６００５等のディスプレイ上に示される術野のライブストリーム上にオーバーレイすることを伴う。本明細書で使用される場合、オーバーレイという用語は、半透明オーバーレイ、部分的オーバーレイ、及び／又は移動オーバーレイを含む。更に、オーバーレイは、例えば、エンドエフェクタ及び／又は重要な外科的構造等の、術野におけるオブジェクト上に、又は少なくとも部分的にその上に、又はその近くに配置され得る。特定の表示配置は、表示優先度値の変化に基づいて、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はそれらの組合せの変化を含む、オーバーレイの１つ以上の表示要素の変化を含み得る。
【0201】
図２５は、例えば制御モジュール６００１によって例えばディスプレイ６００５上に提示される複合現実ビューを含む表示配置６１１７を示す。ディスプレイ６００５は、外科用器具２１のエンドエフェクタ６１１９によって把持された組織Ｔをステープル留め及び切断するために外科用器具２１を利用する外科的処置中の術野のライブストリームを示す。図示の例では、表示配置６１１７は、エンドエフェクタ６１１９のチャネル上に、切断進行線６１１８、又はステープル発射進行線をオーバーレイする。更に、表示配置６１１７は、発射部材又は切断部材が移動した距離Ｄをエンドエフェクタ６１１９のチャネル上にオーバーレイし、臨床医が外科用器具２１の発射進行を辿るのを助ける。
【0202】
いくつかの実施態様では、制御モジュール６００１は、例えば、所定の閾値を超えた、又は所定の範囲を超えた、エンドエフェクタ６１１９によって把持された組織の１つ以上のパラメータ及び／又は外科用器具２１のパラメータの変化を検出する。少なくとも１つの実施態様では、パラメータ変化は、所定の閾値以下の発射速度の変化である。例えば、制御モジュール６００１は、外科用器具２１及び／又は外科用ハブ６（図１）との有線又は無線通信インターフェースを通じて、パラメータ変化を示す外科用データを受信してもよい。パラメータ変化の検出に応じて、制御モジュール６００１は、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はこれらの組合せの変化を含む、エンドエフェクタ６１１９のチャネル上の切断進行線６１１８又はステープル発射進行線の変化を引き起こしてもよい。
【0203】
加えて又は代替的に、パラメータ変化の検出に応答して、制御モジュール６００１は、エンドエフェクタ６１１９上にオーバーレイされた仮想チャネルのオーバーレイに、変化の大きさに従って、パラメータの値に従って、又はパラメータ変化に関連付けられたリスクレベルに従って、少なくとも１つの色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はこれらの組合せを変化させてもよい。
【0204】
図２６は、例えば、本開示の方法による、例えば、ディスプレイ６００５上に、制御モジュール６００１によって提示される表示配置６１１４を示す。ディスプレイ６００５は、外科用器具２１のエンドエフェクタ６１１９によって把持された組織Ｔをステープル留め及び切断するために外科用器具２１を利用する外科的処置中の術野のライブストリームを示す。図示の例では、表示配置６１１７は、組織Ｔ上への組織流動を示す組織マーカ６１１６をオーバーレイする。過剰な組織流動は、例えば、図２１の方法６０９０に関連して説明したように検出することができる。図示の例では、表示配置６１１４は、切断進行線６１１８と組織マーカ６１１６とのオーバーレイを組み合わせる。他の表示配置は、組織マーカ６１１６のみを含んでもよい。
【0205】
図２７Ａ～図２７Ｃは、本開示の少なくとも一態様による、外科用データの視覚表現６１３１を提供する表示配置６１３０を示す。いくつかの実施態様では、表示配置６１３０は、例えば本開示の方法に従って、例えばディスプレイ６００５上に制御モジュール６００１によって提示される。図示の例では、表示配置６１３０は、外科用器具２１の発射シーケンス中の組織流動を示す、半透明のオーバーレイ６１３３の形態の視覚表現６１３２を提示する。発射シーケンス中、外科用器具２１は、外科用器具２１のエンドエフェクタによって把持された組織Ｔ内にステープルを配備し、同時に組織Ｔを切断するように構成されている。図示された例では、表示配置６１３０は動的表示モードで提示され、視覚表現６１３１の表示要素６１３２（図２７Ａ）、６１３３’（図２７Ｂ）、６１３３’’（図２７Ｃ）の変化が示されている。
【0206】
表示要素は、エンドエフェクタの幅にわたって組織流動を追跡してもよい。異なる場所は、異なる形態（例えば、色、形状、及び／又はサイズ）で提示することができ、異なる形態は、異なる場所における異なるレベルの組織流動を表す。図示される例では、表示要素６１３２は、許容可能な組織流動状態を表し、表示要素６１３２’は、低リスク組織流動状態を表す。反対に、表示要素６１３２’’’は、高リスク組織流動状態を表す。
【0207】
図２８及び図２９を参照すると、いくつかの実施態様では、表示配置６１４０は、例えば、本開示の方法に従って、例えば、ディスプレイ６００５上に、制御モジュール６００１によって提示される。ディスプレイ６００５は、外科用器具２１のエンドエフェクタ６１４１によって把持された組織Ｔをステープル留め及び切断するために外科用器具２１を利用する外科的処置中の術野のライブストリームを示す。図示された例では、表示配置６１４０は、発射部材、切断部材、及び／又はナイフ位置の関数としての履歴トレースとともに性能パラメータプロット６１４２（図２９）をオーバーレイする。プロット６１４２は、例えば、エンドエフェクタ６１４１に隣接してオーバーレイされる。
【0208】
プロット６１４２は、例えば、アンビル間隙、組織負荷、発射速度、及び／又はモータ速度等の、外科用器具２１の発射シーケンス中に監視される１つ以上のパラメータ６１４６に関連付けられたリスク重度を提示する。更に、プロット６１４２は、複数の閾値、例えば３つの閾値６１４３、６１４４、６１４５を更に提供し、それぞれが重度レベル（例えば、低、中、高）を表して、測定されたパラメータ６１４６に関連付けられたリスクの重度に関する視覚的インジケータを臨床医に提供する。
【0209】
加えて又は代替的に、表示配置６１４０は、カラープロット６１４７を利用して、組織Ｔの組織パラメータ（例えば、組織圧力、組織圧縮、組織流動、組織厚さ）に関連付けられた外科用データを提示するように構成され得る。組織パラメータ値は、１つ以上の所定の閾値に対する値の関係に従って、異なる色（例えば、緑色、黄色、赤色又は明るい陰影、中間の陰影、暗い陰影）で表され得る。図示された例では、緑色は許容値を有する組織部分を表し、黄色は低リスク値を有する組織部分を表し、赤色は高リスク値を有する組織部分を表す。カラープロット６１４７は、例えば、発射シーケンスを開始及び／又は継続するかどうかを臨床医が決定するのを支援する便利で迅速なリスク評価ツールを提供する。
【0210】
様々な実施態様では、組織パラメータ値は、例えば、エンドエフェクタ６１４１の幅にわたって及び長さに沿って複数の場所に分散されたセンサによって測定される。次いで、組織パラメータ値は、例えば、エンドエフェクタ６１４１上のセンサの場所に対応するカラープロット６１４７上の着色領域（例えば、緑色、黄色、赤色、又は明るい陰影、中間の陰影、暗い陰影）によって表される。
【0211】
図３０は、本開示の少なくとも一態様による、外科用データの視覚表現を提供する表示配置６１５０を示す。いくつかの実施態様では、表示配置６１５０は、例えば本開示の方法に従って、例えばディスプレイ６００５上に制御モジュール６００１によって提示される。いくつかの実施態様では、表示配置６１５０は、外科用器具２１を利用して組織をステープル留め及び切断する外科的処置の術野のライブストリーム上にオーバーレイされる。
【0212】
いくつかの実施態様では、表示配置６１５０は、例えば、１つ以上のエンドエフェクタ構成要素の位置及び動きをリアルタイムで示し、一致させる、外科用器具２１のエンドエフェクタ６１５３のシミュレートされた断面オーバーレイ６１５２を含む。可視化の向上は、臨床医が現在の状況及び外科用器具２１からのリスクベースのフィードバック（例えば、クランプ負荷が高すぎる、発射する力が高すぎる、必要な待機時間等）をより良く理解するのを助けることができる。
【0213】
図示の例では、シミュレートされたオーバーレイ６１５２は、ステープル６１５６、ステープルドライバ６１５４、及びステープルドライバ６１５４を動機付けてステープル６１５６を組織内に配備するように構成された発射部材（例えば、スレッド６１５５）を示す。シミュレートされたオーバーレイ６１５２内の発射部材の位置は、エンドエフェクタ６１５３内の発射部材の位置を反映し、発射シーケンスの進行をリアルタイムで示す。更に、図示される例では、シミュレートされたオーバーレイ６１５２は、シミュレートされた組織（ＳＴ）を示し、これは、組織流動が検出される領域における組織流動を反映するように提示され得る。図示された例は、ステープル６１５６の１つの列のみを提示しているが、他の例では、複数の列を示すことができる。
【0214】
いくつかの実施態様では、発射シーケンスは、動的表示モードでシミュレートされたオーバーレイ６１５２によって示される。更に、ステープル形成は、場合によっては、例えば、組織タイプ、患者パラメータ、組織流動、閉鎖力、組織クリープ安定性、アンビル間隙等の１つ以上の決定されたパラメータに基づいて予測することができる。例えば、制御モジュール６００１は、所定の方程式、データベース、及び／又は表を採用してステープル形成を予測することができる。
【0215】
図示された例では、表示配置６１５０は、ステープル形成オーバーレイ６１５７を更に含む。制御モジュール６００１は、例えば、ステープル形成を予測し、リアルタイムでステープル形成オーバーレイ６１５７を更新するように構成され得る。
【0216】
図３１は、本開示の少なくとも一態様による、外科的処置中の表示配置のリスクに基づく操作のための例示的な方法６１６０の動作を示すフローチャートである。いくつかの実施態様では、方法６１２０は、例えば、コンピュータ実装インタラクティブ外科用システム１によって実行され得る。いくつかの実施態様では、方法６１６０は、外科的処置の術野において組織をステープル留め及び切断するように構成された外科用器具２１を備える外科用システムによって実行される。外科用システムは、制御モジュール６００１と、撮像デバイス６００４と、術野のライブストリームを示すように構成されるディスプレイ６００５とを更に備える。ライブストリームは、例えば撮像デバイス６００４によって捕捉される。
【0217】
いくつかの実施態様では、方法６１６０は、外科的リスクを検出すること（６１６１）と、外科的リスクに重度レベルを割り当てること（６１６２）と、重度レベルに基づいて表示配置を決定すること（６１６３）とを含み、表示配置は、ライブストリーム上にアラート特徴をオーバーレイすることを含む。いくつかの実施態様では、方法６１６０は、表示配置に従って、外科的リスクの視覚表現を提示すること（６１６４）を更に含む。
【0218】
いくつかの実施態様では、外科的リスクは、制御モジュール６００１によって検出される（６１６１）。外科的リスクは、例えば、１つ以上の無線及び／又は有線通信インターフェースを介してコンピュータ実装インタラクティブ外科用システム１の構成要素等の１つ以上のソースから受信した１つの外科用データに基づいて検出することができる（６１６１）。少なくとも１つの例では、外科用データは、外科用器具２１のうちの１つ以上から受信されたデータを含み得る。別の例では、外科用データは、状況認識モジュール６００６によって確認されたコンテキスト情報を含む。
【0219】
特定の例示では、外科用データは、制御データ、バイオマーカ測定値、及び／又は外科用器具２１に関連付けられた動作及び／又は結果の他の動作インジケータを含む。特定の例示では、外科用データは、奇形ステープル及び／又は不十分に封止された組織のより高い傾向を示す任意のデータであり得る。特定の例では、外科用データは、他の組織及び／又は器具パラメータの中でも、組織流動、クランプ力、発射力に関連付けることができ、これらは、発射シーケンスの調整を可能にするために、又は潜在的に奇形のステープル領域を外科医に警告するために、複数の方法でリアルタイムで監視及び臨床医に表示することができる。
【0220】
特定の例示では、プロセッサ８５は、外科的リスクの重度レベルを決定する際に、所定の方程式及び／又は式を採用する。様々な関連要因を考慮することができ、重度レベルを計算する際に異なる重みを割り当てることができる。加えて又は代替的に、外科用データ及び対応する重度レベルを列挙する１つ以上のデータベース又は表が、重度レベルを割り当てる（６１６２）際にプロセッサ８５によって利用することができる。様々な実施態様では、割り当てられた（６１６２）重度レベルは、例えば、低重度レベル、中重度レベル、又は高重度レベルを含む。
【0221】
図３２は、本開示の少なくとも一態様による、表示配置６１７０の実施態様を示す。いくつかの実施態様では、表示配置６１７０は、例えば、方法６１６０において検出された（６１６１）外科的リスクの重度レベルに基づいて決定される。図示された例では、表示配置６１７０は、制御モジュール６００１によって、外科的リスクの検出６１６１に応答してアラート特徴６１７１をオーバーレイすることを含む。アラート特徴６１７１は、外科的処置中に術野６１７９のライブストリーム上にオーバーレイされる。図示の例では、術野６１７９のライブストリームは、外科的構造６１７８を操作するように構成された外科用器具２１のエンドエフェクタ６１７２を示す。
【0222】
図示される例では、アラート特徴６１７１は、臨床医の術野の視認を妨げないように、エンドエフェクタ６１７２から離れて、及び／又は任意の重要な外科的構造から離れて、角領域内のライブストリーム上にオーバーレイされる。他の例示では、アラート特徴６１７１は、例えば、外科的リスクのより高い重度を示すために、エンドエフェクタ６１７２及び／又は任意の重要な外科的構造により近い、ライブストリームの中心領域に移動するか、又は最初にその上にオーバーレイすることができる。
【0223】
上記に加えて、表示配置６１７０は、ユーザ反応に応答して、アラート特徴６１７１の変更を含む。図示された例では、アラート特徴６１７１に対する変更は、アラート特徴６１７１を外科的リスクに関連付けられた情報６１７３で置き換えることを含む。情報６１７３は、外科的リスク及び／又は推奨される解決についての詳細を含むことができる。
【0224】
図示された例では、ユーザ反応は、開放構成と閉鎖構成との間のエンドエフェクタ６１７２の遷移である。他の実施態様では、ユーザ反応は、エンドエフェクタ６１７２による任意の他の適切なジェスチャ又は動きを含んでもよい。更に他の実施態様では、ユーザ反応は、例えば、手のジェスチャ若しくは動き、及び／又は目のジェスチャ若しくは動きを含み得る。
【0225】
他の例では、ユーザ反応は、ユーザによる偶発的な行動が、制御モジュール６００１によって、アラート特徴６１７１を操作する目的のためのユーザ反応として解釈されないことを確実にするために、複合ユーザ反応又は多因子反応であり得る。いくつかの移植では、制御モジュール６００１によって認識可能なユーザ反応は、例えば、ユーザの目の動き又はユーザの手の動きが後に続くエンドエフェクタのジェスチャ又は動き等の２つの構成要素を含んでもよい。
【0226】
いくつかの実施態様では、図３３に示すように、多くの点で表示配置６１７０に類似している表示配置６１７０’は、異なるユーザ反応を含む。図示の例では、ユーザ反応は、エンドエフェクタ６１７２をアラート特徴６１７１の上にホバリングすることを含む。
【0227】
いくつかの実施態様では、ユーザ反応は、例えば、オブジェクト認識、オブジェクト追跡、オブジェクトラベリング、及び／又はライブストリームの画像フレームの他の適切な画像処理技術を通して、又は様々な適切な有線及び／又は無線通信方式を通して、自動的に検出される。加えて又は代替的に、ユーザ反応は、適切な有線及び／又は無線通信方式を介して、ユーザ反応を示す情報を受信することによって、自動的に検出することができる。例えば、カメラは、ユーザの身体の動き又は身体ジェスチャ、例えば、手を振ること、目を凝らすこと、又は二度まばたきを監視してもよい。別の例では、臨床医の手袋は、手袋上に位置付けられる１つ以上の適切なセンサを介して追跡することができる。所定の手の動きを示し、所定のユーザ反応を示すセンサ読み取り値は、制御モジュール６００１に通信され得る。
【0228】
いくつかの実施態様では、表示配置６１７０は、外科的リスクの重度の変化に基づいてアラート特徴６１７１を変更することを含む。変更は、例えば、動的表示モードで実施することができる。いくつかの例示では、アラート特徴６１７１に対する変更は、外科的リスクの重度レベルに従って、色、サイズ、形状、表示時間、表示場所、表示頻度、強調表示、又はこれらの組合せのうちの少なくとも１つの変更を含む。いくつかの実施態様では、アラート特徴６１７１は、例えば、外科的リスクの重度レベルに基づいて色を変化させるアラートアイコンの形態である。
【0229】
いくつかの実施態様では、図３４に図示されるように、多くの点で表示配置６１７０に類似する表示配置６１７０’’は、例えば、高い重度の外科的リスクを示すために、重要な外科的構造６１７８の臨床医の視認を妨げる場所にアラート特徴６１７１を位置付けることを含む。それにもかかわらず、表示配置６１７０’’は、ユーザが、エンドエフェクタ６１７２をアラート特徴６１７１の上にホバリングすることによって、アラート特徴６１７１を重要な外科的構造６１７８から離れるように移動させることを可能にする。エンドエフェクタ６１７２及びアラート特徴６１７１が同じ場所を占有することを検出したことに応答して、制御モジュール６００１は、例えば、アラート特徴を術野６１７９のライブストリーム上の異なる場所に移動させる。
【0230】
他の例では、例えば、エンドエフェクタ６１７２のジョーを１回又は２回開閉すること等の所定のユーザ反応は、アラート特徴６１７１をつかむことをシミュレートする。更に、エンドエフェクタ６１７２は、例えば、ディスプレイ６００５の角に移動することができ、つかまれたアラート特徴６１７１をそれとともに移動させる。新しい場所での一時停止は、新しい場所でアラート特徴をドロップすることを示すことができる。他の適切なジェスチャ及び／又は動きを採用して、アラート特徴６１７１を重要な外科的構造６１７８から離れるように移動させるユーザ反応を示すことができる。いくつかの実施態様では、例えば、動的モードにおいて、制御モジュール６００１は、例えば、エンドエフェクタ６１７２及び／又は重要な外科的構造６１７８以下であると判定された初期展開後に、アラート特徴６１７１をエンドエフェクタ６１７２及び／又は重要な外科的構造６１７８から離れるように自動的に移動させてもよい。
【0231】
様々な実施態様では、エンドエフェクタ６１７２によるジェスチャ及び／又は動きは、例えば、１つ以上の適切なオブジェクト認識、オブジェクト追跡、及び／若しくはオブジェクトラベリングアルゴリズム、並びに／又は術野６１７９のライブストリームの画像フレームの他の画像処理技術を利用することによって、自動的に観察され得る。様々な例では、エンドエフェクタ６１７２は、特徴的な反射率、色、及び／又は形状に基づいて視覚的に認識される。加えて又は代替的に、エンドエフェクタ６１７２によるジェスチャ及び／又は動きは、外科用器具２１内のセンサのセンサ読み取り値を通じて検出することができる。
【0232】
いくつかの実施態様では、ユーザ反応に応答したアラート特徴６１７１の変更は、エンドエフェクタ６１７２及び／又は重要な外科的構造６１７８から離れるアラート特徴６１７１の動きを含む。いくつかの例示では、制御モジュール６００１は、例えば、ディスプレイ６００５上のアラート特徴６１７１の位置に対するエンドエフェクタ６１７２及び／又は重要な外科的構造６１７８の位置を追跡するように構成されている。更に、制御モジュール６００１は、例えば、エンドエフェクタ６１７２及び／又は重要な外科的構造６１７８の明確な視認を容易にするために、エンドエフェクタ６１７２及び重要な外科的構造６１７８の位置のうちの少なくとも１つに基づいてアラート特徴６１７１の位置を自動的に変更するように構成されている。
【0233】
いくつかの実施態様では、制御モジュール６００１は、例えば、アラート特徴６１７１をアラート特徴６１７１によって表されるリスクのソースに相関させるように構成される。相関は、例えば、リスクの詳細を視認するためにアラート特徴６１７１を拡張する必要なく、リスクの性質に関する表示を臨床医に提供する。相関は、例えば、共通の色の強調表示及び／又は共通の点滅周波数等の共通の表示特性を通じて達成することができる。例えば、リスクが、術野内にエンドエフェクタ６１７２を含む外科用器具２１に関連付けられる場合、アラート特徴６１７１及びエンドエフェクタ６１７２は両方とも、例えば、共通の色で強調され得る。加えて又は代替的に、相関は、例えば、ディスプレイ６００５上のアラート特徴６１７１の存在と一致する音及び／又は触覚フィードバックを外科用器具２１に提供させることによって達成され得る。加えて又は代替的に、相関は、エンドエフェクタ６１７２を指すアラート特徴６１７１とは別個の、アラート特徴６１７１によって表されるリスクが外科用器具２１に関連付けられていることを示す、１つ以上の色分けされたバブル及び／又は矢印をオーバーレイすることによって達成され得る。
【0234】
いくつかの実施態様では、特定の外科用器具タスク又は外科用工程に関連付けられた表示配置は、外科用器具タスク又は外科用工程の検出された完了に応答して変更され得る。例えば、外科用スリーブ処置等の外科的処置は、組織をステープル留め及び切断するように構成された外科用器具２１の所定回数の発射を伴う。発射シーケンスにおける各発射は、ステープルカートリッジから組織内にステープルを配備する。次に、ステープルカートリッジは、発射シーケンスにおける次の発射のために新しいステープルカートリッジと交換される。制御モジュール６００１は、外科用器具２１による発射回数を検出し、所定の発射回数に達するまで外科用器具２１の発射に関連付けられた外科用データをオーバーレイし続けるように構成され得る。発射の完了の検出に応答して、制御モジュール６００１は、外科用器具２１の発射に関連付けられた外科用データのオーバーレイを折り畳む又はディスプレイ６００５から除去させる。
【0235】
いくつかの実施態様では、外科用器具タスク又は外科用工程の完了を検出することは、例えば、オブジェクト認識、オブジェクト追跡、オブジェクトラベリング、及び／又はライブストリームの画像フレームの他の適切な画像処理技術を通じて、又は例えば、様々な適切な有線及び／又は無線通信方式を介した外科用器具２１及び／又は外科用ハブ６からの入力を通じて、視覚的に自動的に達成され得る。
【0236】
様々な例では、前述の方法の１つ以上の機能は、例えば、外科用可視化システム６０００の１つ以上の構成要素等の、コンピュータ実装インタラクティブ外科用システム１の１つ以上の構成要素によって実行される。特定の例では、前述の方法の１つ以上の機能を実行する構成要素は、無線及び／又は有線通信インターフェースを介して通信する。様々な例では、コンピュータ実装インタラクティブ外科用システム１のメモリ、例えば、メモリ６００３は、プロセッサ（例えば、プロセッサ８５）によって実行されると、プロセッサに前述の方法の１つ以上の機能を実行させるプログラム命令を記憶する。前述の機能は、別個の方法で説明されるが、いくつかの実施態様では、前述の方法のいくつかの機能は、例えば、コンピュータ実装インタラクティブ外科用システム１の１つ以上の構成要素による実行のための異なるプログラム命令をもたらす、異なる方法をもたらすために、任意の適切な形態で組み合わせることができる。
【0237】
様々な例では、追跡を実行するために、本開示の１つ以上の態様に従って、アルゴリズムが、連続ビデオフレームを分析し、フレーム間のターゲットの動きを出力する。例示的なアルゴリズムは、ターゲット表現及び位置特定アルゴリズム、並びにフィルタリング及びデータ関連付けアルゴリズムを含む。ターゲット表現及び位置特定アルゴリズムは、例えば、カーネルベースの追跡及び／又は輪郭追跡を含む。フィルタリング及びデータ関連付けアルゴリズムは、例えば、カルマンフィルタ及び粒子フィルタを含む。
【0238】
本明細書に記載される主題の様々な追加的態様は、以下の番号付けされた実施例において説明される。
実施例１．外科用システムは、外科的処置において使用するためのものである。外科用システムは、外科的処置において組織を治療するように構成された外科用器具と、撮像デバイスと、外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、ライブストリームが撮像デバイスによって捕捉される、ディスプレイと、制御モジュールとを備える。制御モジュールは、外科的リスクを検出することと、外科的リスクに表示優先度を割り当てることと、表示優先度に基づいて外科的リスクの表示配置を決定することあって、表示配置が、ライブストリーム上にアラート特徴をオーバーレイすることを含む、ことと、を行うように構成される。
実施例１．外科用システムは、外科的処置において使用するためのものである。外科用システムは、外科的処置において組織を治療するように構成された外科用器具と、撮像デバイスと、外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、ライブストリームが撮像デバイスによって捕捉される、ディスプレイと、制御モジュールとを備える。制御モジュールは、外科的リスクを検出することと、外科的リスクに表示優先度を割り当てることと、表示優先度に基づいて外科的リスクの表示配置を決定することあって、表示配置が、ライブストリーム上にアラート特徴をオーバーレイすることを含む、ことと、を行うように構成される。
【0239】
実施例２．アラート特徴が、アラートアイコンである、実施例１に記載の外科用システム。
【0240】
実施例３．表示配置が、ライブストリームの角にアラート特徴をオーバーレイすることを含む、実施例１又は２に記載の外科用システム。
【0241】
実施例４．表示配置が、外科的リスクの重度レベルに基づいてアラート特徴を変更することを含む、実施例１～３のいずれか１つに記載の外科用システム。
【0242】
実施例５．外科的リスクが、組織の出血のレベルに関連する、実施例１～４のいずれか１つに記載の外科用システム。
【0243】
実施例６．外科的リスクが、組織パラメータに関連付けられる、実施例１～４のいずれか１つに記載の外科用システム。
【0244】
実施例７．外科的リスクが、外科用器具のパラメータに関連付けられる、実施例１～４のいずれか１つに記載の外科用システム。
【0245】
実施例８．外科的リスクが、組織の動きに関連付けられる、実施例１～４のいずれか１つに記載の外科用システム。
【0246】
実施例９．表示配置が、アラート特徴に対するユーザ反応に応答して、アラート特徴の変更を引き起こすことを更に含む、実施例１～３のいずれか１つに記載の外科用システム。
【0247】
実施例１０．外科用器具がエンドエフェクタを備え、ユーザ反応が、開放構成と閉鎖構成との間の術野におけるエンドエフェクタの遷移を引き起こすことを含む、実施例９のいずれか１つに記載の外科用システム。
【0248】
実施例１１．アラート特徴の変更が、アラート特徴を外科的リスクに関連付けられた情報と置き換えることを含む、実施例９のいずれか１つに記載の外科用システム。
【0249】
実施例１２．外科用器具がエンドエフェクタを備え、ユーザ反応が、エンドエフェクタをアラート特徴上にホバリングさせることを含む、実施例９のいずれか１つに記載の外科用システム。
【0250】
実施例１３．外科用システムは、外科的処置において使用するためのものである。外科用システムは、外科的処置において組織を治療するように構成された外科用器具と、撮像デバイスと、外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、ライブストリームが撮像デバイスによって捕捉される、ディスプレイと、制御モジュールとを備える。制御モジュールは、外科的リスクを検出することと、外科的リスクに重度レベルを割り当てることと、外科的リスクの重度レベルに基づいて外科的リスクの表示配置を決定することであって、表示配置が、アラート特徴を含む、ことと、を行うように構成される。
【0251】
実施例１４．アラート特徴が、アラートアイコンである、実施例１３に記載の外科用システム。
【0252】
実施例１５．表示配置が、ライブストリームの角にアラート特徴をオーバーレイすることを含む、実施例１３又は１４に記載の外科用システム。
【0253】
実施例１６．表示配置が、外科的リスクの重度レベルに基づいてアラート特徴を変更することを含む、実施例１３～１５のいずれか１つに記載の外科用システム。
【0254】
実施例１７．表示配置が、アラート特徴に対するユーザ反応に応答して、アラート特徴の変更を引き起こすことを更に含む、実施例１３～１５のいずれか１つに記載の外科用システム。
【0255】
実施例１８．外科用器具がエンドエフェクタを備え、ユーザ反応が、開放構成と閉鎖構成との間の術野におけるエンドエフェクタの遷移を引き起こすことを含む、実施例１３のいずれか１つに記載の外科用システム。
【0256】
実施例１９．アラート特徴の変更が、アラート特徴を外科的リスクに関連付けられた情報と置き換えることを含む、実施例１３のいずれか１つに記載の外科用システム。
【0257】
実施例２０．外科用器具がエンドエフェクタを備え、ユーザ反応が、エンドエフェクタをアラート特徴上にホバリングさせることを含む、実施例１３のいずれか１つに記載の外科用システム。
【0258】
いくつかの形態が示され説明されてきたが、添付の特許請求の範囲をそのような詳細に制限又は限定することは、本出願人が意図するところではない。多くの修正、変形、変更、置換、組合せ及びこれらの形態の等価物を実装することができ、本開示の範囲から逸脱することなく当業者により想到されるであろう。更に、記述する形態に関連した各要素の構造は、その要素によって実施される機能を提供するための手段として代替的に説明することができる。また、材料が特定の構成要素に関して開示されているが、他の材料が使用されてもよい。したがって、上記の説明文及び添付の特許請求の範囲は、全てのそのような修正、組合せ、及び変形を、開示される形態の範囲に含まれるものとして網羅することを意図としたものである点を理解されたい。添付の特許請求の範囲は、全てのそのような修正、変形、変更、置換、修正、及び等価物を網羅することを意図する。
【0259】
上記の詳細な説明は、ブロック図、フロー図及び／又は実施例を用いて、装置及び／又はプロセスの様々な形態について記載してきた。そのようなブロック図、フロー図及び／又は実施例が１つ以上の機能及び／又は動作を含む限り、当業者に理解されたいこととして、そのようなブロック図、フロー図及び／又は実施例に含まれる各機能及び／又は動作は、多様なハードウェア、ソフトウェア、ファームウェア又はこれらの事実上の任意の組合せによって、個々にかつ／又は集合的に実装することができる。当業者には、本明細書で開示される形態のうちのいくつかの態様の全部又は一部が、１台以上のコンピュータ上で稼働する１つ以上のコンピュータプログラムとして（例えば、１台以上のコンピュータシステム上で稼働する１つ以上のプログラムとして）、１つ以上のプロセッサ上で稼働する１つ以上のプログラムとして（例えば、１つ以上のマイクロプロセッサ上で稼働する１つ以上のプログラムとして）、ファームウェアとして、又はこれらの実質的に任意の組合せとして集積回路上で等価に実装することができ、回路を設計すること、及び／又はソフトウェア及び／又はファームウェアのコードを記述することは、本開示を鑑みれば当業者の技能の範囲内に含まれることが理解されよう。加えて、当業者には理解されることとして、本明細書に記載した主題の機構は、多様な形態で１つ以上のプログラム製品として配布されることが可能であり、本明細書に記載した主題の具体的な形態は、配布を実際に実行するために使用される信号搬送媒体の特定のタイプにかかわらず適用される。
【0260】
様々な開示された態様を実施するように論理をプログラムするために使用される命令は、ダイナミックランダムアクセスメモリ（ＤＲＡＭ）、キャッシュ、フラッシュメモリ又は他のストレージなどのシステム内メモリに記憶され得る。更に、命令は、ネットワークを介して、又は他のコンピュータ可読媒体によって配布され得る。したがって、機械可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で情報を記憶又は送信するための任意の機構が挙げられ得るが、フロッピーディスケット、光ディスク、コンパクトディスク、読み出し専用メモリ（ＣＤ－ＲＯＭ）、並びに磁気光学ディスク、読み出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ）、電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）、磁気若しくは光カード、フラッシュメモリ又は、電気的、光学的、音響的、若しくは他の形態の伝播信号（例えば、搬送波、赤外線信号、デジタル信号など）を介してインターネットを介した情報の送信に使用される有形機械可読ストレージに限定されない。したがって、非一時的コンピュータ可読媒体としては、機械（例えば、コンピュータ）によって読み出し可能な形態で電子命令又は情報を記憶又は送信するのに好適な任意のタイプの有形機械可読媒体が挙げられる。
【0261】
本明細書の任意の態様で使用されるとき、「制御回路」という用語は、例えば、ハードワイヤード回路、プログラマブル回路（例えば、１つ以上の個々の命令処理コアを含むコンピュータプロセッサ、処理ユニット、プロセッサ、マイクロコントローラ、マイクロコントローラユニット、コントローラ、デジタル信号プロセッサ（ＤＳＰ）、プログラマブル論理装置（ＰＬＤ）、プログラマブル論理アレイ（ＰＬＡ）、又はフィールドプログラマブルゲートアレイ（ＦＰＧＡ））、状態機械回路、プログラマブル回路によって実行される命令を記憶するファームウェア、及びこれらの任意の組合せを指すことができる。制御回路は、集合的に又は個別に、例えば、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、システムオンチップ（ＳｏＣ）、デスクトップコンピュータ、ラップトップコンピュータ、タブレットコンピュータ、サーバ、スマートフォンなどの、より大きなシステムの一部を形成する回路として具現化され得る。したがって、本明細書で使用されるとき、「制御回路」は、少なくとも１つの個別の電気回路を有する電気回路、少なくとも１つの集積回路を有する電気回路、少なくとも１つの特定用途向け集積回路を有する電気回路、コンピュータプログラムによって構成された汎用コンピューティング装置（例えば、本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成された汎用コンピュータ、又は本明細書で説明したプロセス及び／若しくは装置を少なくとも部分的に実行するコンピュータプログラムによって構成されたマイクロプロセッサ）を形成する電気回路、メモリ装置（例えば、ランダムアクセスメモリの形態）を形成する電気回路及び／又は通信装置（例えばモデム、通信スイッチ、又は光－電気設備）を形成する電気回路を含むが、これらに限定されない。当業者は、本明細書で述べた主題が、アナログ形式若しくはデジタル形式、又はこれらのいくつかの組合せで実装されてもよいことを認識するであろう。
【0262】
本明細書の任意の態様で使用されるとき、「論理」という用語は、前述の動作のいずれかを実施するように構成されたアプリケーション、ソフトウェア、ファームウェア、及び／又は回路を指し得る。ソフトウェアは、非一時的コンピュータ可読記憶媒体上に記録されたソフトウェアパッケージ、コード、命令、命令セット、及び／又はデータとして具現化されてもよい。ファームウェアは、メモリ装置内のコード、命令、若しくは命令セット、及び／又はハードコードされた（例えば、不揮発性の）データとして具現化されてもよい。
【0263】
本明細書の任意の態様で使用されるとき、「構成要素」、「システム」、「モジュール」等という用語は、制御回路、コンピュータ関連エンティティ、ハードウェア、ハードウェアとソフトウェアとの組合せ、ソフトウェア、又は実行中のソフトウェアのいずれかを指すことができる。
【0264】
本明細書の任意の態様で使用されるとき、「アルゴリズム」とは、所望の結果につながる工程の自己無撞着シーケンスを指し、「工程」とは、必ずしも必要ではないが、記憶、転送、組合せ、比較、及び別様に操作されることが可能な電気信号又は磁気信号の形態をとることができる物理量及び／又は論理状態の操作を指す。これらの信号を、ビット、値、要素、記号、文字、用語、番号などとして言及することが一般的な扱い方である。これらの及び類似の用語は、適切な物理量と関連付けられてもよく、また単に、これらの量及び／又は状態に適用される便利な標識である。
【0265】
ネットワークとしては、パケット交換ネットワークが挙げられ得る。通信デバイスは、選択されたパケット交換ネットワーク通信プロトコルを使用して、互いに通信することができる。１つの例示的な通信プロトコルとしては、伝送制御プロトコル／インターネットプロトコル（ＴＣＰ／ＩＰ）を使用して通信を可能にすることができるイーサネット通信プロトコルを挙げることができる。イーサネットプロトコルは、Ｉｎｓｔｉｔｕｔｅ ｏｆ Ｅｌｅｃｔｒｉｃａｌ ａｎｄ Ｅｌｅｃｔｒｏｎｉｃｓ Ｅｎｇｉｎｅｅｒｓ（ＩＥＥＥ）によって発行された２００８年１２月発行の表題「ＩＥＥＥ８０２．３ Ｓｔａｎｄａｒｄ」、及び／又は本規格の後のバージョンのイーサネット規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信デバイスは、Ｘ．２５通信プロトコルを使用して互いに通信することができる。Ｘ．２５通信プロトコルは、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｕｎｉｏｎ－Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ Ｓｔａｎｄａｒｄｉｚａｔｉｏｎ Ｓｅｃｔｏｒ（ＩＴＵ－Ｔ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、通信デバイスは、フレームリレー通信プロトコルを使用して互いに通信することができる。フレームリレー通信プロトコルは、Ｃｏｎｓｕｌｔａｔｉｖｅ Ｃｏｍｍｉｔｔｅｅ ｆｏｒ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｔｅｌｅｇｒａｐｈ ａｎｄ Ｔｅｌｅｐｈｏｎｅ（ＣＣＩＴＴ）及び／又はｔｈｅ Ａｍｅｒｉｃａｎ Ｎａｔｉｏｎａｌ Ｓｔａｎｄａｒｄｓ Ｉｎｓｔｉｔｕｔｅ（ＡＮＳＩ）によって公布された規格に準拠するか、又は互換性があり得る。代替的に又は追加的に、送受信機は、非同期転送モード（ＡＴＭ）通信プロトコルを使用して互いに通信することが可能であり得る。ＡＴＭ通信プロトコルは、ＡＴＭ Ｆｏｒｕｍによって「ＡＴＭ－ＭＰＬＳ Ｎｅｔｗｏｒｋ Ｉｎｔｅｒｗｏｒｋｉｎｇ ２．０」という題で２００１年８月に公開されたＡＴＭ規格及び／又は本規格の後のバージョンに準拠するか、又は互換性があり得る。当然のことながら、異なる及び／又は後に開発されたコネクション型ネットワーク通信プロトコルは、本明細書で等しく企図される。
【0266】
別段の明確な定めがない限り、前述の開示から明らかなように、前述の開示全体を通じて、「処理すること（processing）」、「計算すること（computing）」、「算出すること（calculating）」、「判定すること（determining）」、「表示すること（displaying）」などの用語を使用する考察は、コンピュータシステムのレジスタ及びメモリ内で物理（電子的）量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報記憶、伝送、若しくは表示装置内で物理量として同様に表現される他のデータへと操作し変換する、コンピュータシステム又は類似の電子計算装置のアクション及び処理を指していることが理解されよう。
【0267】
１つ以上の構成要素が、本明細書中で、「ように構成されている（configured to）」、「ように構成可能である（configurable to）」、「動作可能である／ように動作する（operable/operative to）」、「適合される／適合可能である（adapted/adaptable）」、「ことが可能である（able to）」、「準拠可能である／準拠する（conformable/conformed to）」などと言及され得る。当業者は、「ように構成されている」は、一般に、文脈上他の意味に解釈すべき場合を除き、アクティブ状態の構成要素及び／又は非アクティブ状態の構成要素及び／又はスタンバイ状態の構成要素を包含し得ることを理解するであろう。
【0268】
「近位」及び「遠位」という用語は、本明細書では、外科用器具のハンドル部分を操作する臨床医を基準として使用される。「近位」という用語は、臨床医に最も近い部分を指し、「遠位」という用語は、臨床医から離れた位置にある部分を指す。便宜上及び明確性のために、「垂直」、「水平」、「上」、及び「下」などの空間的用語が、本明細書において図面に対して使用され得ることが更に理解されよう。しかしながら、外科用器具は、多くの向き及び位置で使用されるものであり、これらの用語は限定的及び／又は絶対的であることを意図したものではない。
【0269】
当業者は、一般に、本明細書で使用され、かつ特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本文）で使用される用語は、概して「オープンな」用語として意図されるものである（例えば、「含む（including）」という用語は、「～を含むが、それらに限定されない（including but not limited to）」と解釈されるべきであり、「有する（having）」という用語は「～を少なくとも有する（having at least）」と解釈されるべきであり、「含む（includes）」という用語は「～を含むが、それらに限定されない（includes but is not limited to）」と解釈されるべきであるなど）ことを理解するであろう。更に、導入された請求項記載（introduced claim recitation）において特定の数が意図される場合、かかる意図は当該請求項中に明確に記載され、またかかる記載がない場合は、かかる意図は存在しないことが、当業者には理解されるであろう。例えば、理解を助けるものとして、後続の添付の特許請求の範囲は、「少なくとも１つの（at least one）」及び「１つ以上の（one or more）」という導入句を、請求項記載を導入するために含むことがある。しかしながら、かかる句の使用は、「ａ」又は「ａｎ」という不定冠詞によって請求項記載を導入した場合に、たとえ同一の請求項内に「１つ以上の」又は「少なくとも１つの」といった導入句及び「ａ」又は「ａｎ」という不定冠詞が含まれる場合であっても、かかる導入された請求項記載を含むいかなる特定の請求項も、かかる記載事項を１つのみ含む請求項に限定されると示唆されるものと解釈されるべきではない（例えば、「ａ」及び／又は「ａｎ」は通常、「少なくとも１つの」又は「１つ以上の」を意味するものと解釈されるべきである）。定冠詞を使用して請求項記載を導入する場合にも、同様のことが当てはまる。
【0270】
加えて、導入された請求項記載において特定の数が明示されている場合であっても、かかる記載は、典型的には、少なくとも記載された数を意味するものと解釈されるべきであることが、当業者には認識されるであろう（例えば、他に修飾語のない、単なる「２つの記載事項」という記載がある場合、一般的に、少なくとも２つの記載事項、又は２つ以上の記載事項を意味する）。更に、「Ａ、Ｂ及びＣなどのうちの少なくとも１つ」に類する表記が使用される場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ及びＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。「Ａ、Ｂ又はＣなどのうちの少なくとも１つ」に類する表記が用いられる場合、一般に、かかる構文は、当業者がその表記を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、又はＣのうちの少なくとも１つを有するシステム」は、限定するものではないが、Ａのみ、Ｂのみ、Ｃのみ、ＡとＢの両方、ＡとＣの両方、ＢとＣの両方及び／又はＡとＢとＣの全てなどを有するシステムを含む）。更に、典型的には、２つ以上の選択的な用語を表すあらゆる選言的な語及び／又は句は、文脈上他の意味に解釈すべき場合を除いて、明細書内であろうと、請求の範囲内であろうと、あるいは図面内であろうと、それら用語のうちの１つ、それらの用語のうちのいずれか、又はそれらの用語の両方を含む可能性を意図すると理解されるべきであることが、当業者には理解されよう。例えば、「Ａ又はＢ」という句は、典型的には、「Ａ」又は「Ｂ」又は「Ａ及びＢ」の可能性を含むものと理解されよう。
【0271】
添付の特許請求の範囲に関して、当業者は、本明細書における引用した動作は一般に、任意の順序で実施され得ることを理解するであろう。また、様々な動作のフロー図がシーケンス（複数可）で示されているが、様々な動作は、示されたもの以外の順序で実施されてもよく、又は同時に実施されてもよいことが理解されるべきである。かかる代替の順序付けの例は、文脈上他の意味に解釈すべき場合を除いて、重複、交互配置、割り込み、再順序付け、増加的、予備的、追加的、同時、逆又は他の異なる順序付けを含んでもよい。更に、「～に応答する（responsive to）」、「～に関連する（related to）」といった用語、又は他の過去時制の形容詞は、一般に、文脈上他の意味に解釈すべき場合を除き、かかる変化形を除外することが意図されるものではない。
【0272】
「一態様」、「態様」、「例示」、「一例示」などへの任意の参照は、その態様に関連して記載される特定の特徴部、構造又は特性が少なくとも１つの態様に含まれると意味することは特記に値する。したがって、本明細書の全体を通じて様々な場所に見られる語句「一態様では」、「態様では」、「例示では」及び「一例示では」は、必ずしも全てが同じ態様を指すものではない。更に、特定の特徴、構造、又は特性は、１つ以上の態様において任意の好適な様態で組み合わせることができる。
【0273】
本明細書で参照され、かつ／又は任意の出願データシートに列挙される任意の特許出願、特許、非特許刊行物、又は他の開示資料は、組み込まれる資料が本明細書と矛盾しない範囲で、参照により本明細書に組み込まれる。それ自体、また必要な範囲で、本明細書に明瞭に記載される開示は、参照により本明細書に組み込まれるあらゆる矛盾する記載に優先するものとする。参照により本明細書に組み込まれると言及されているが、現行の定義、見解、又は本明細書に記載される他の開示内容と矛盾するあらゆる内容、又はそれらの部分は、組み込まれた内容と現行の開示内容との間に矛盾が生じない範囲においてのみ、組み込まれるものとする。
【0274】
要約すると、本明細書に記載した構想を用いる結果として得られる多くの利益が記載されてきた。１つ以上の形態の上述の記載は、例示及び説明を目的として提示されているものである。包括的であることも、開示された厳密な形態に限定することも意図されていない。上記の教示を鑑みて、修正又は変形が可能である。１つ以上の形態は、原理及び実際の応用について例示し、それによって、様々な形態を様々な修正例とともに、想到される特定の用途に適するものとして当業者が利用することを可能にするようにするために、選択及び記載されたものである。本明細書とともに提示される特許請求の範囲が全体的な範囲を定義することが意図される。
【0275】
〔実施の態様〕
（１） 外科的処置において使用するための外科用システムであって、
前記外科的処置において組織を治療するように構成された外科用器具と、
撮像デバイスと、
前記外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、前記ライブストリームが前記撮像デバイスによって捕捉される、ディスプレイと、
制御モジュールであって、
外科的リスクを検出することと、
前記外科的リスクに表示優先度を割り当てることと、
前記表示優先度に基づいて前記外科的リスクの表示配置を決定することであって、前記表示配置が、前記ライブストリーム上にアラート特徴をオーバーレイすることを含む、ことと、を行うように構成された、制御モジュールとを備える、外科用システム。
（２） 前記アラート特徴が、アラートアイコンである、実施態様１に記載の外科用システム。
（３） 前記表示配置が、前記ライブストリームの角に前記アラート特徴をオーバーレイすることを含む、実施態様１に記載の外科用システム。
（４） 前記表示配置が、前記外科的リスクの重度レベルに基づいて前記アラート特徴を変更することを含む、実施態様１に記載の外科用システム。
（５） 前記外科的リスクが、前記組織の出血のレベルに関連する、実施態様１に記載の外科用システム。
（１） 外科的処置において使用するための外科用システムであって、
前記外科的処置において組織を治療するように構成された外科用器具と、
撮像デバイスと、
前記外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、前記ライブストリームが前記撮像デバイスによって捕捉される、ディスプレイと、
制御モジュールであって、
外科的リスクを検出することと、
前記外科的リスクに表示優先度を割り当てることと、
前記表示優先度に基づいて前記外科的リスクの表示配置を決定することであって、前記表示配置が、前記ライブストリーム上にアラート特徴をオーバーレイすることを含む、ことと、を行うように構成された、制御モジュールとを備える、外科用システム。
（２） 前記アラート特徴が、アラートアイコンである、実施態様１に記載の外科用システム。
（３） 前記表示配置が、前記ライブストリームの角に前記アラート特徴をオーバーレイすることを含む、実施態様１に記載の外科用システム。
（４） 前記表示配置が、前記外科的リスクの重度レベルに基づいて前記アラート特徴を変更することを含む、実施態様１に記載の外科用システム。
（５） 前記外科的リスクが、前記組織の出血のレベルに関連する、実施態様１に記載の外科用システム。
【0276】
（６） 前記外科的リスクが、組織パラメータに関連付けられる、実施態様１に記載の外科用システム。
（７） 前記外科的リスクが、前記外科用器具のパラメータに関連付けられる、実施態様１に記載の外科用システム。
（８） 前記外科的リスクが、前記組織の動きに関連付けられる、実施態様１に記載の外科用システム。
（９） 前記表示配置が、前記アラート特徴に対するユーザ反応に応答して、前記アラート特徴の変更を引き起こすことを更に含む、実施態様１に記載の外科用システム。
（１０） 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、開放構成と閉鎖構成との間の前記術野における前記エンドエフェクタの遷移を引き起こすことを含む、実施態様９に記載の外科用システム。
（７） 前記外科的リスクが、前記外科用器具のパラメータに関連付けられる、実施態様１に記載の外科用システム。
（８） 前記外科的リスクが、前記組織の動きに関連付けられる、実施態様１に記載の外科用システム。
（９） 前記表示配置が、前記アラート特徴に対するユーザ反応に応答して、前記アラート特徴の変更を引き起こすことを更に含む、実施態様１に記載の外科用システム。
（１０） 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、開放構成と閉鎖構成との間の前記術野における前記エンドエフェクタの遷移を引き起こすことを含む、実施態様９に記載の外科用システム。
【0277】
（１１） 前記アラート特徴の前記変更が、前記アラート特徴を前記外科的リスクに関連付けられた情報に置き換えることを含む、実施態様９に記載の外科用システム。
（１２） 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、前記エンドエフェクタを前記アラート特徴の上にホバリングさせることを含む、実施態様９に記載の外科用システム。
（１３） 外科的処置において使用するための外科用システムであって、
前記外科的処置において組織を治療するように構成された外科用器具と、
撮像デバイスと、
前記外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、前記ライブストリームが前記撮像デバイスによって捕捉される、ディスプレイと、
制御モジュールであって、
外科的リスクを検出することと、
前記外科的リスクに重度レベルを割り当てることと、
前記外科的リスクの前記重度レベルに基づいて前記外科的リスクの表示配置を決定することであって、前記表示配置が、アラート特徴を含む、ことと、を行うように構成された、制御モジュールとを備える、外科用システム。
（１４） 前記アラート特徴が、アラートアイコンである、実施態様１３に記載の外科用システム。
（１５） 前記表示配置が、前記ライブストリームの角に前記アラート特徴をオーバーレイすることを含む、実施態様１３に記載の外科用システム。
（１２） 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、前記エンドエフェクタを前記アラート特徴の上にホバリングさせることを含む、実施態様９に記載の外科用システム。
（１３） 外科的処置において使用するための外科用システムであって、
前記外科的処置において組織を治療するように構成された外科用器具と、
撮像デバイスと、
前記外科的処置の術野のライブストリームを示すように構成されたディスプレイであって、前記ライブストリームが前記撮像デバイスによって捕捉される、ディスプレイと、
制御モジュールであって、
外科的リスクを検出することと、
前記外科的リスクに重度レベルを割り当てることと、
前記外科的リスクの前記重度レベルに基づいて前記外科的リスクの表示配置を決定することであって、前記表示配置が、アラート特徴を含む、ことと、を行うように構成された、制御モジュールとを備える、外科用システム。
（１４） 前記アラート特徴が、アラートアイコンである、実施態様１３に記載の外科用システム。
（１５） 前記表示配置が、前記ライブストリームの角に前記アラート特徴をオーバーレイすることを含む、実施態様１３に記載の外科用システム。
【0278】
（１６） 前記表示配置が、前記外科的リスクの重度レベルに基づいて前記アラート特徴を変更することを含む、実施態様１３に記載の外科用システム。
（１７） 前記表示配置が、前記アラート特徴に対するユーザ反応に応答して、前記アラート特徴の変更を引き起こすことを更に含む、実施態様１３に記載の外科用システム。
（１８） 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、開放構成と閉鎖構成との間の前記術野における前記エンドエフェクタの遷移を引き起こすことを含む、実施態様１７に記載の外科用システム。
（１９） 前記アラート特徴の前記変更が、前記アラート特徴を前記外科的リスクに関連付けられた情報に置き換えることを含む、実施態様１７に記載の外科用システム。
（２０） 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、前記エンドエフェクタを前記アラート特徴の上にホバリングさせることを含む、実施態様１７に記載の外科用システム。
（１７） 前記表示配置が、前記アラート特徴に対するユーザ反応に応答して、前記アラート特徴の変更を引き起こすことを更に含む、実施態様１３に記載の外科用システム。
（１８） 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、開放構成と閉鎖構成との間の前記術野における前記エンドエフェクタの遷移を引き起こすことを含む、実施態様１７に記載の外科用システム。
（１９） 前記アラート特徴の前記変更が、前記アラート特徴を前記外科的リスクに関連付けられた情報に置き換えることを含む、実施態様１７に記載の外科用システム。
（２０） 前記外科用器具がエンドエフェクタを備え、前記ユーザ反応が、前記エンドエフェクタを前記アラート特徴の上にホバリングさせることを含む、実施態様１７に記載の外科用システム。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】
【図17】
【図18】
【図19】
【図19A】
【図19B】
【図20】
【図21】
【図22A】
【図22B】
【図22C】
【図23A】
【図23B】
【図24】
【図25】
【図26】
【図27A】
【図27B】
【図27C】
【図28】
【図29】
【図30】
【図31】
【図32】
【図33】
【図34】
【国際調査報告】