IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ シラグ・ゲーエムベーハー・インターナショナルの特許一覧

特表2024-521720手術シミュレーションのための動的適応システム
<>
  • 特表-手術シミュレーションのための動的適応システム 図1
  • 特表-手術シミュレーションのための動的適応システム 図2
  • 特表-手術シミュレーションのための動的適応システム 図3
  • 特表-手術シミュレーションのための動的適応システム 図4
  • 特表-手術シミュレーションのための動的適応システム 図5
  • 特表-手術シミュレーションのための動的適応システム 図6
  • 特表-手術シミュレーションのための動的適応システム 図7
  • 特表-手術シミュレーションのための動的適応システム 図8
  • 特表-手術シミュレーションのための動的適応システム 図9
  • 特表-手術シミュレーションのための動的適応システム 図10
  • 特表-手術シミュレーションのための動的適応システム 図11A
  • 特表-手術シミュレーションのための動的適応システム 図11B
  • 特表-手術シミュレーションのための動的適応システム 図12
  • 特表-手術シミュレーションのための動的適応システム 図13
  • 特表-手術シミュレーションのための動的適応システム 図14
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-04
(54)【発明の名称】手術シミュレーションのための動的適応システム
(51)【国際特許分類】
   G16H 50/00 20180101AFI20240528BHJP
   G16H 40/00 20180101ALI20240528BHJP
【FI】
G16H50/00
G16H40/00
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023571920
(86)(22)【出願日】2022-05-20
(85)【翻訳文提出日】2024-01-12
(86)【国際出願番号】 IB2022054734
(87)【国際公開番号】W WO2022243963
(87)【国際公開日】2022-11-24
(31)【優先権主張番号】63/191,681
(32)【優先日】2021-05-21
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/332,480
(32)【優先日】2021-05-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
2.FIREWIRE
3.THUNDERBOLT
(71)【出願人】
【識別番号】506157570
【氏名又は名称】シラグ・ゲーエムベーハー・インターナショナル
【氏名又は名称原語表記】Cilag GMBH International
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】シェルトン・ザ・フォース・フレデリック・イー
(72)【発明者】
【氏名】シャイブ・チャールズ・ジェイ
(72)【発明者】
【氏名】ハリス・ジェイソン・エル
(72)【発明者】
【氏名】フィービッグ・ケビン・エム
【テーマコード(参考)】
5L099
【Fターム(参考)】
5L099AA01
(57)【要約】
シミュレートされた手術タスクにおける手術結果を管理するためのシステム、方法、及び手段が、提供され得る。環境パラメータのセットによって定義される手術タスクをシミュレートするためのシミュレーション環境が、受信され得る。外科的相互作用データが、受信され得る。実施例では、外科的相互作用データは、トリガ事象の指示及び/又は結果環境パラメータの指示を含み得る。外科的相互作用データは、手術タスクに関連付けられ得る。結果環境パラメータは、トリガ事象に関連付けられ得る。ユーザ相互作用データが、受信され得る。ユーザ相互作用データは、シミュレーション環境内のユーザ行動に基づき得、手術タスクに関連付けられ得る。受信されたユーザ相互作用データがトリガ事象に一致することを条件として、シミュレーション環境は、例えば、結果環境パラメータに基づいて、修正され得る。
【特許請求の範囲】
【請求項1】
シミュレートされた手術タスクにおける手術結果を管理するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、
外科的相互作用データを受信することであって、前記外科的相互作用データは、トリガ事象の指示と、前記トリガ事象に関連付けられた結果環境パラメータの指示とを含む、ことと、
前記シミュレーション環境内のユーザ行動に基づく、前記手術タスクに関連付けられたユーザ相互作用データを受信することと、
受信された前記ユーザ相互作用データが前記トリガ事象に一致することを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正することと、を行うように構成されている、デバイス。
【請求項2】
前記外科的相互作用データは、前記手術タスクに関連付けられており、前記手術タスクは、医療処置及び医療処置コンテキストを含む、請求項1に記載のデバイス。
【請求項3】
前記トリガ事象及び前記結果環境パラメータは、前記医療処置と前記医療処置コンテキストとに関連付けられた履歴データに基づき、前記履歴データは、手術用ハブによって記録された以前に実行されたライブ処置に基づく、請求項2に記載のデバイス。
【請求項4】
前記履歴データは、医療施設に関連付けられたローカルデータであり、前記以前に実行されたライブ処置は、前記医療施設に関連付けられた医療スタッフによって実行され、前記手術用ハブは、前記医療施設によって制御される、請求項3に記載のデバイス。
【請求項5】
前記プロセッサは、
前記トリガ事象が発生する確率を判定し、
前記確率に基づいて、更新シミュレーション事象を判定し、かつ
前記更新シミュレーション事象が発生することを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正するように更に構成されている、請求項1~4のいずれか一項に記載のデバイス。
【請求項6】
前記プロセッサは、前記外科的相互作用データを、フィルタリングされた外科的相互作用データにフィルタリングするように更に構成されており、前記フィルタリングされた外科的相互作用データは、フィルタリングされたトリガ事象の指示と、フィルタリングされた結果環境パラメータの指示とを含み、前記フィルタリングされたトリガ事象は、前記医療処置及び前記医療処置コンテキストに基づく、請求項2に記載のデバイス。
【請求項7】
前記プロセッサは、
前記外科的相互作用データに関連付けられたトリガ閾値を判定し、
前記ユーザ相互作用データが前記トリガ閾値を超えることを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正するように更に構成されている、請求項1に記載のデバイス。
【請求項8】
前記プロセッサは、
前記手術タスクに基づいて、手術事象相互作用基準を判定し、かつ
前記受信されたユーザ相互作用データが前記手術事象相互作用基準を満たすことを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正するように更に構成されている、請求項2に記載のデバイス。
【請求項9】
前記外科的相互作用基準は、前記医療処置と前記医療処置コンテキストとに関連付けられている、請求項8に記載のデバイス。
【請求項10】
前記環境パラメータのセットは、ベースライン解剖学的構造を示し、前記結果環境パラメータは、前記外科的相互作用データによって表される外科的相互作用の結果である修正された解剖学的構造を示す、請求項1に記載のデバイス。
【請求項11】
前記医療処置コンテキストは、組織破砕性、組織脆弱性、血流、組織灌流、アレルギー反応、血圧、又は心拍数のうちの少なくとも1つを含む、請求項2に記載のデバイス。
【請求項12】
コンピュータ実装方法であって、
環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、
外科的相互作用データを受信することであって、前記外科的相互作用データは、トリガ事象の指示と、前記トリガ事象に関連付けられた結果環境パラメータの指示とを含む、ことと、
前記シミュレーション環境内のユーザ行動に基づく、前記手術タスクに関連付けられたユーザ相互作用データを受信することと、
受信された前記ユーザ相互作用データが前記トリガ事象に一致することを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正することと、を含む、コンピュータ実装方法。
【請求項13】
前記外科的相互作用データは、前記手術タスクに関連付けられており、前記手術タスクは、医療処置及び医療処置コンテキストを含む、請求項12に記載のコンピュータ実装方法。
【請求項14】
前記トリガ事象及び前記結果環境パラメータは、前記医療処置と前記医療処置コンテキストとに関連付けられた履歴データに基づき、前記履歴データは、手術用ハブによって記録された以前に実行されたライブ処置に基づく、請求項13に記載のコンピュータ実装方法。
【請求項15】
前記履歴データは、医療施設に関連付けられたローカルデータであり、前記以前に実行されたライブ処置は、前記医療施設に関連付けられた医療スタッフによって実行され、前記手術用ハブは、前記医療施設によって制御される、請求項14に記載のコンピュータ実装方法。
【請求項16】
前記トリガ事象が発生する確率を判定することと、前記確率に基づいて、更新シミュレーション事象を判定することと、前記更新シミュレーション事象が発生することを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正することと、を更に含む、請求項12~15のいずれか一項に記載のコンピュータ実装方法。
【請求項17】
前記外科的相互作用データを、フィルタリングされた外科的相互作用データにフィルタリングすることを更に含み、前記フィルタリングされた外科的相互作用データは、フィルタリングされたトリガ事象の指示と、フィルタリングされた結果環境パラメータの指示とを含み、前記フィルタリングされたトリガ事象は、前記医療処置及び前記医療処置コンテキストに基づく、請求項13に記載のコンピュータ実装方法。
【請求項18】
前記外科的相互作用データに関連付けられたトリガ閾値を判定することと、前記ユーザ相互作用データが前記トリガ閾値を超えることを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正することと、を更に含む、請求項12に記載のコンピュータ実装方法。
【請求項19】
前記手術タスクに基づいて、手術事象相互作用基準を判定することと、
前記受信されたユーザ相互作用データが前記手術事象相互作用基準を満たすことを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正することと、を更に含む、請求項13に記載のコンピュータ実装方法。
【請求項20】
前記外科的相互作用基準は、前記医療処置及び前記医療処置コンテキストに関連付けられている、請求項19に記載のコンピュータ実装方法。
【請求項21】
前記環境パラメータのセットは、ベースライン解剖学的構造を示し、前記結果環境パラメータは、前記外科的相互作用データによって表される外科的相互作用の結果である修正された解剖学的構造を示す、請求項12に記載のコンピュータ実装方法。
【請求項22】
前記医療処置コンテキストは、組織破砕性、組織脆弱性、血流、組織灌流、アレルギー反応、血圧、又は心拍数のうちの少なくとも1つを含む、請求項13に記載のコンピュータ実装方法。
【請求項23】
シミュレートされた手術タスクにおける手術結果を管理するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、
外科的相互作用データを受信することであって、前記外科的相互作用データは、トリガ事象の指示と、前記トリガ事象に関連付けられた結果環境パラメータの指示とを含む、ことと、
前記シミュレーション環境内のユーザ行動に基づく、前記手術タスクに関連付けられたユーザ相互作用データを受信することと、
受信された前記ユーザ相互作用データが前記トリガ事象に一致するかどうかを判定することと、
前記受信されたユーザデータが前記トリガ事象に一致するかどうかの前記判定に基づいて、前記結果環境パラメータに基づき、前記シミュレーション環境を修正することと、を行うように構成されている、デバイス。
【請求項24】
前記プロセッサは、手術データシステムから前記外科的相互作用データを受信するように構成されている、請求項1又は20に記載のデバイス。
【請求項25】
手術タスクを適応的にシミュレートするための手術システムであって、前記システムは、請求項1に記載のデバイスと、手術データシステムと、を備え、前記プロセッサは、前記手術データシステムから前記外科的相互作用データを受信するように構成されている、手術システム。
【請求項26】
前記手術データシステムは、履歴データを分析して、外科医の行動と環境事象との間の相関を識別し、かつ分析された前記データを前記外科的相互作用データとして前記プロセッサに送信するように構成されている、請求項25に記載の手術システム。
【請求項27】
前記外科的相互作用データを受信するステップは、手術データシステムから外科的相互作用データを受信することを含む、請求項12に記載のコンピュータ実装方法。
【請求項28】
コンピュータによって実行されると、前記コンピュータに請求項12及び27に記載の方法を実行させる命令を含む、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
(関連出願の相互参照)
本出願は、2021年5月21日出願の米国特許仮出願第63/191,681号の利益を主張し、参照によりその開示の全体が本明細書に組み込まれる。
【0002】
本出願は、同時に出願された以下の出願に関連し、その各々の内容は、参照により本明細書に組み込まれる。
・ 2021年5月27日出願の「METHODS FOR SURGICAL SIMULATION」と題する米国特許出願第17/332,594号(代理人整理番号END9338USNP1)
・ 2021年5月27日出願の「SURGICAL SIMULATION OBJECT RECTIFICATION SYSTEM」と題する米国特許出願第17/332,524号(代理人整理番号END9338USNP2)
・ 2021年5月27日出願の「SURGICAL SIMULATION NAVIGATION SYSTEM」と題する米国特許出願第17/332,399号(代理人整理番号END9338USNP3)
・ 2021年5月27日出願の「SURGICAL SIMULATION SYSTEM WITH COORDINATED IMAGINING」と題する米国特許出願第17/332,441号(代理人整理番号END9338USNP4)
・ 2021年5月27日出願の「SURGICAL SIMULATION SYSTEM WITH SIMULATED SURGICAL EQUIPMENT COORDINATION」と題する米国特許出願第17/332,462号(代理人整理番号END9338USNP5)
・ 2021年5月27日出願の「SIMULATION-BASED SURGICAL PROCEDURE PLANNING SYSTEM」と題する米国特許出願第17/332,197号(代理人整理番号END9338USNP6)
・ 2021年5月27日出願の「SIMULATION-BASED DIRECTED SURGICAL DEVELOPMENT SYSTEM」と題する米国特許出願第17/332,407号(代理人整理番号END9338USNP7)
・ 2021年5月27日出願の「SURGICAL ADVERSE EVENT SIMULATION SYSTEM」と題する米国特許出願第17/332,449号(代理人整理番号END9338USNP8)
2021年5月27日出願の「SIMULATION-BASED SURGICAL ANALYSIS SYSTEM」と題する米国特許出願第17/332,496号(代理人整理番号END9338USNP9)
【背景技術】
【0003】
例えば、手術環境及び/又は外科的処置のコンピュータベースの三次元シミュレーションなどの手術シミュレーションは、手術技術を進歩させる機会を提示する。手術シミュレーションは、手術訓練、計画、開発などに役立つ可能性を有する。例えば、手術シミュレーションは、新たな処置で外科医を訓練するために、及び/又は外科医に既知の処置の実行を改善するために使用され得る。手術シミュレーションは、外科医が次の処置の準備を支援するための仮想「最終リハーサル」として使用され得る。また、手術シミュレーションは、実証されていない処置及び技法を用いた実験に使用され得る。
【0004】
しかしながら、手術シミュレーションプラットフォームは、能力、範囲、及び適用可能性において多くの制限に直面する複合システムである。例えば、多くのプラットフォームは、特定の学習目的に対処するように、又は手術ロボットの動作をシミュレートするなど、単一の機器の動作をシミュレートするように特別にプログラムされ、調整された技術「サイロ」である。これらのような制限は、手術技術を進歩させるためのツールとしてのプラットフォームの有効性を低減させ得る。また、そのような制限は、術前計画、術中サポート、術後分析など手術プロセスの他の側面へのシミュレーションベースのアプリケーションの統合に対する重大な技術的障害を表し得る。
【0005】
したがって、例えば、手術シミュレーション能力、範囲、及び適用可能性に対処する技術的進歩など手術シミュレーション技術における革新は、手術分野における更なる進歩を加速させ得る。
【発明の概要】
【課題を解決するための手段】
【0006】
インタラクティブかつ動的な手術シミュレーションシステムが開示される。手術シミュレーションシステムは、コンピュータ実装インタラクティブ手術システムとの関連で使用され得る。例えば、手術シミュレーションシステムは、動的適応を可能にし得る。例えば、手術シミュレーションシステムは、手術シミュレーション対象の修正を提供し得る。例えば、手術シミュレーションシステムは、強化されたナビゲーションを可能にし得る。例えば、手術シミュレーションシステムは、調整された手術撮像を提供し得る。例えば、手術シミュレーションシステムは、シミュレートされた手術機器調整を可能にし得る。例えば、手術シミュレーションシステムは、シミュレーションベースの外科的処置計画を提供し得る。例えば、手術シミュレーションシステムは、シミュレーションベースの指示された手術開発を可能にし得る。例えば、手術システムは、手術有害事象のシミュレーションを提供し得る。例えば、手術システムは、シミュレーションベースの手術分析を可能にし得る。
【0007】
シミュレートされた手術タスクにおける手術結果を管理するためのシステム、方法、及び手段が、提供され得る。環境パラメータのセットによって定義される手術タスクをシミュレートするためのシミュレーション環境が、受信され得る。外科的相互作用データが、受信され得る。実施例では、外科的相互作用データは、トリガ事象の指示及び/又は結果環境パラメータの指示を含み得る。外科的相互作用データは、手術タスクに関連付けられ得る。実施例では、手術タスクは、医療処置及び/又は医療処置コンテキストを含み得る。結果環境パラメータは、トリガ事象に関連付けられ得る。実施例では、トリガ事象及び/又は結果環境パラメータは、医療処置及び/又は医療処置コンテキストに関連付けられた履歴データに基づき得る。履歴データは、手術用ハブによって記録された以前に実行されたライブ処置に基づき得る。
【0008】
ユーザ相互作用データが、受信され得る。ユーザ相互作用データは、シミュレーション環境内のユーザ行動に基づき得、手術タスクに関連付けられ得る。受信されたユーザ相互作用データがトリガ事象に一致することを条件として、シミュレーション環境は、例えば、結果環境パラメータに基づいて、修正され得る。
【0009】
本発明によれば、シミュレートされた手術タスクにおける手術結果を管理するためのデバイスであって、デバイスは、プロセッサを備え、プロセッサは、環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、外科的相互作用データを受信することであって、外科的相互作用データは、トリガ事象の指示と、トリガ事象に関連付けられた結果環境パラメータの指示とを含む、受信することと、シミュレーション環境内のユーザ行動に基づく、手術タスクに関連付けられたユーザ相互作用データを受信することと、受信されたユーザ相互作用データがトリガ事象に一致することを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することと、を行うように構成されている、デバイスが提供される。
【0010】
外科的相互作用データを受信することによって、そのようなデバイスは、このデータに基づいて、既存のシミュレーション環境を修正するように構成されている。これは、デバイスがシミュレーションに複雑さを導入することを可能にする。換言すれば、(例えば、病院で行われた以前の手術の履歴データからの)既知の入力及び出力を含むデータのセットが、既知のシミュレーション環境を改善するために使用され得る。
【0011】
これの1つの技術的利点は、訓練運動の有効性を改善することができる、シミュレーション環境の現実性を改善することである。改善された訓練の結果は、外科医が手術合併症についてよりうまく準備することになるので、手術成果が改善され得ることである。
【0012】
いくつかの実施形態では、外科的相互作用データは、手術タスクに関連付けられており、手術タスクは、医療処置及び医療処置コンテキストを含む。
【0013】
医療処置コンテキストは、行われている処置のタイプを指し得ることが理解され得る。それはまた、シミュレートされた患者の解剖学的構造及び/又は生理機能の状態を指し得る。
【0014】
いくつかの実施形態では、トリガ事象及び結果環境パラメータは、医療処置と医療処置コンテキストとに関連付けられた履歴データに基づき、履歴データは、手術用ハブによって記録された以前に実行されたライブ処置に基づく。
【0015】
履歴データに基づく外科的相互作用データを受信することの1つの利点は、既知のシミュレーションモデルが反復的に改善され、現実世界の合併症に基づいてより正確にすることができることである。換言すれば、シミュレーション環境は、既知の手術選択及びそれらのそれぞれの手術成果に基づいて反復的に改善されることができる。
【0016】
「履歴データ」は、以前に行われた1つ又は2つ以上の手術に対応する、メモリに記憶されたデータを指すことができることが理解され得る。これらの場合、手術用ハブは、後でアクセスして、異なる行為から生じる傾向及び特定の結果を検出することができるように、手術中に様々なパラメータを監視し、かつこのデータを同期して記憶するように構成することができる。
【0017】
いくつかの実施形態では、履歴データは、医療施設に関連付けられたローカルデータであり、以前に実行されたライブ処置は、医療施設に関連付けられた医療スタッフによって実行され、手術用ハブは、医療施設によって制御される。
【0018】
いくつかの実施形態では、プロセッサは、トリガ事象が発生する確率を判定し、確率に基づいて、更新シミュレーション事象を判定し、かつ更新シミュレーション事象が発生することを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正するように更に構成されている。
【0019】
トリガ事象に対する確率的アプローチの1つの利点は、手術訓練環境の現実性を更に改善することである。特に、特定の結果が時間の一部でのみ発生する場合、この詳細は、訓練環境の現実性を更に改善するために、シミュレーションにインポートされ得る。
【0020】
いくつかの実施形態では、プロセッサは、外科的相互作用データを、フィルタリングされた外科的相互作用データにフィルタリングするように更に構成されており、フィルタリングされた外科的相互作用データは、フィルタリングされたトリガ事象の指示と、フィルタリングされた結果環境パラメータの指示とを含み、フィルタリングされたトリガ事象は、医療処置及び医療処置コンテキストに基づく。
【0021】
この1つの利点は、外科的相互作用データを解析するために必要とされる処理能力が低減されることである。更なる利点は、特定の手術タスクに関連するトリガ事象及び対応する結果環境パラメータを受信することによって、シミュレーションが改善された訓練成果のためにより正確に初期化され得ることである。例えば、血管の結紮に関連する大きな利用可能なデータのアレイが存在し得る(データの各部分は、手術成果又は結果に関連付けられている)。しかしながら、行われている手術のタイプに基づく結紮に起因して、異なる結果が存在し得る。したがって、特定の医療処置/コンテキストに限定するために利用可能なデータのアレイをフィルタリングすること、及び対応するトリガ事象/結果環境パラメータのペアのみをシミュレータを修正するためのパラメータとして使用することによって、結果として得られるシミュレーションは、概して改善され得る。
【0022】
いくつかの実施形態では、プロセッサは、外科的相互作用データに関連付けられたトリガ閾値を判定し、ユーザ相互作用データがトリガ閾値を超えることを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正するように更に構成されている。
【0023】
この実施形態の1つの利点は、デバイスが、生データのセットからトリガ条件を生成するように構成され得ることである。これは、例えば、トリガが外科手術環境において異なる結果を引き起こすことができるパターン及び閾値を識別するために使用され得る、機械学習機構を通して達成され得る。これらの閾値を判定することによって、手術シミュレーションは、以前に可能であったものを超えて、より現実的にされ得る。
【0024】
いくつかの実施形態では、プロセッサは、手術タスクに基づいて、手術事象相互作用基準を判定し、かつ受信されたユーザ相互作用データが手術事象相互作用基準を満たすことを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正するように更に構成されている。
【0025】
いくつかの実施形態では、外科的相互作用基準は、医療処置と医療処置コンテキストとに関連付けられている。
【0026】
いくつかの実施形態では、環境パラメータのセットは、ベースライン解剖学的構造を示し、結果環境パラメータは、外科的相互作用データによって表される外科的相互作用の結果である修正された解剖学的構造を示す。
【0027】
いくつかの実施形態では、医療処置コンテキストは、組織破砕性、組織脆弱性、血流、組織灌流、アレルギー反応、血圧、又は心拍数のうちの少なくとも1つを含む。
【0028】
また、本発明によれば、コンピュータ実装方法であって、環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、外科的相互作用データを受信することであって、外科的相互作用データは、トリガ事象の指示と、トリガ事象に関連付けられた結果環境パラメータの指示とを含む、受信することと、シミュレーション環境内のユーザ行動に基づく、手術タスクに関連付けられたユーザ相互作用データを受信することと、受信されたユーザ相互作用データがトリガ事象に一致することを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することと、を含む、コンピュータ実装方法が提供される。
【0029】
いくつかの実施形態では、外科的相互作用データは、手術タスクに関連付けられており、手術タスクは、医療処置及び医療処置コンテキストを含む。
【0030】
いくつかの実施形態では、トリガ事象及び結果環境パラメータは、医療処置と医療処置コンテキストとに関連付けられた履歴データに基づき、履歴データは、手術用ハブによって記録された以前に実行されたライブ処置に基づく。
【0031】
いくつかの実施形態では、履歴データは、医療施設に関連付けられたローカルデータであり、以前に実行されたライブ処置は、医療施設に関連付けられた医療スタッフによって実行され、手術用ハブは、医療施設によって制御される。
【0032】
いくつかの実施形態では、本方法は、トリガ事象が発生する確率を判定することと、確率に基づいて、更新シミュレーション事象を判定することと、更新シミュレーション事象が発生することを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することと、を更に含む。
【0033】
いくつかの実施形態では、本方法は、外科的相互作用データを、フィルタリングされた外科的相互作用データにフィルタリングすることであって、フィルタリングされた外科的相互作用データは、フィルタリングされたトリガ事象の指示と、フィルタリングされた結果環境パラメータの指示とを含み、フィルタリングされたトリガ事象は、医療処置及び医療処置コンテキストに基づいている、フィルタリングすることを更に含む。
【0034】
いくつかの実施形態では、本方法は、外科的相互作用データに関連付けられたトリガ閾値を判定することと、ユーザ相互作用データがトリガ閾値を超えることを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することと、を更に含む。
【0035】
いくつかの実施形態では、本方法は、手術タスクに基づいて、手術事象相互作用基準を判定することと、受信されたユーザ相互作用データが手術事象相互作用基準を満たすことを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することとを更に含む。
【0036】
いくつかの実施形態では、外科的相互作用基準は、医療処置と医療処置コンテキストとに関連付けられている。
【0037】
いくつかの実施形態では、環境パラメータのセットは、ベースライン解剖学的構造を示し、結果環境パラメータは、外科的相互作用データによって表される外科的相互作用の結果である修正された解剖学的構造を示す。
【0038】
いくつかの実施形態では、医療処置コンテキストは、組織破砕性、組織脆弱性、血流、組織灌流、アレルギー反応、血圧、又は心拍数のうちの少なくとも1つを含む。
【0039】
また、本発明によれば、シミュレートされた手術タスクにおける手術結果を管理するためのデバイスであって、デバイスは、プロセッサを備え、プロセッサは、環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、外科的相互作用データを受信することであって、外科的相互作用データは、トリガ事象の指示と、トリガ事象に関連付けられた結果環境パラメータの指示とを含む、受信することと、シミュレーション環境内のユーザ行動に基づく、手術タスクに関連付けられたユーザ相互作用データを受信することと、受信されたユーザ相互作用データがトリガ事象に一致するかどうかを判定することと、受信されたユーザデータがトリガ事象に一致するかどうかの判定に基づいて、結果環境パラメータに基づき、シミュレーション環境を修正することと、を行うように構成されている、デバイスが提供される。
【0040】
いくつかの実施形態では、プロセッサは、手術データシステムから外科的相互作用データを受信するように構成されている。
【0041】
また、手術タスクを適応的にシミュレートするための外科手術システムであって、本システムは、本発明によるデバイスと、手術データシステムと、を備え、プロセッサは、手術データシステムから外科的相互作用データを受信するように構成されている、外科手術システムが提供される。
【0042】
いくつかの実施形態では、手術データシステムは、履歴データを分析し、外科医の行動と環境事象との間の相関を識別し、かつ分析されたデータを外科的相互作用データとしてプロセッサに送信するように構成されている。
【0043】
本発明による手術システムは、履歴データを解析し、傾向及びトリガ事象を識別するために実行される処理など、手術データシステム上で行われる集中的なデータ処理のための能力を提供することができる。いくつかの実施形態では、手術データシステムが分析を実行すると、このデータは、プロセッサ上で実行されるシミュレーションの特定のパラメータが更新され得るように、プロセッサに渡され得る。
【0044】
相関を識別するように構成されている手術データシステムは、システムがユーザ入力なしにトリガ条件を生成することを可能にし、環境の現実性を改善するためにシミュレーションを更新するより自動化されたプロセスを可能にする。
【0045】
これは、既存のシミュレーションモジュールが、シミュレーションモジュールが設計された時点では知られていなかった可能性がある特定のトリガを補償するように適合されることを可能にする。これは、既存のシミュレーションモジュールの寿命及び適応性を改善することができる。
【0046】
いくつかの実施形態では、外科的相互作用データを受信するステップは、手術データシステムから外科的相互作用データを受信することを含む。
【0047】
本発明によると、コンピュータによって実行されるときに、本発明による方法をコンピュータに実行させる命令を含むコンピュータ可読媒体も提供される。
【図面の簡単な説明】
【0048】
図1】コンピュータ実装インタラクティブ外科用システムのブロック図である。
図2】手術室で外科的処置を実施するために使用されている例示的外科用システムを示す。
図3】本開示の少なくとも1つの態様による、可視化システム、ロボットシステム、及びインテリジェント器具とペアリングされた例示的な手術用ハブを示す。
図4】本開示の少なくとも1つの態様による、医療施設の1つ又は2つ以上の手術室、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置しているモジュール式デバイスをクラウドに接続するように構成された通信ハブを有する外科用データネットワークを示す。
図5】例示的コンピュータ実装インタラクティブ外科用システムを示す。
図6】モジュール式制御タワーに連結された複数のモジュールを含む例示的な手術用ハブを示す。
図7】例示的手術シミュレータシステムのブロック図である。
図8】例示的手術シミュレータシステムのブロック図である。
図9】例示的手術シミュレータのユーザインターフェースデバイスを描写するブロック図である。
図10】例示的手術シミュレータの動作のフロー図である。
図11A】コンピュータ実装インタラクティブ手術システム及び/又は手術シミュレータで使用するための例示的な外科的処置計画のデータ構造を示す。
図11B】コンピュータ実装インタラクティブ手術システム及び/又は手術シミュレータで使用するための例示的な外科的処置計画のデータ構造を示す。
図12】シミュレートされた手術タスクにおける例示的な手術結果管理を示す。
図13】シミュレートされた手術タスクにおける例示的な手術結果管理を示す。
図14】シミュレートされた手術タスクにおける手術結果管理のためのシミュレータ設計のレイアウトを示す。
【発明を実施するための形態】
【0049】
手術シミュレーションシステム、デバイス、及び方法は、他の医療機器、データソース、プロセス、及び機関との統合の態様を含み得る。手術シミュレーションシステム、デバイス、及び方法は、例えば、コンピュータ実装インタラクティブ手術システム及び/又はコンピュータ実装インタラクティブ手術システムの1つ又は2つ以上の要素との統合の態様を含み得る。
【0050】
図1を参照すると、コンピュータ実装インタラクティブ外科用システム100は、1つ又は2つ以上の外科用システム102と、クラウドベースのシステム(例えば、ストレージデバイス105に連結されたリモートサーバ113を含み得るクラウド104)とを備え得る。各外科用システム102は、リモートサーバ113を含み得るクラウド104と通信する、少なくとも1つの手術用ハブ106を備え得る。
【0051】
1つ又は2つ以上のシミュレーションデバイス103、111は、コンピュータ実装インタラクティブ手術システム100と通信し得、及び/又はその一部として統合され得る。例えば、シミュレーションデバイス103は、1つ又は2つ以上の手術システム102の要素であり得る。例えば、シミュレーションデバイス103は、1つ又は2つ以上の手術用ハブ106と通信し得る。例えば、シミュレーションデバイス111は、クラウド104を介してコンピュータ実装インタラクティブ手術システム100と通信し得る。
【0052】
一例では、図1に示すように、外科用システム102は、可視化システム108と、ロボットシステム110と、手持ち式インテリジェント外科用器具112とを含み、これらは、互いに、及び/又はハブ106と通信するように構成されている。いくつかの態様では、外科用システム102は、M個のハブ106と、N個の可視化システム108と、O個のロボットシステム110と、P個の手持ち式インテリジェント外科用器具112とを備えてもよく、M、N、O及びPは1以上の整数であり得る。
【0053】
様々な態様では、可視化システム108は、図2に示すように、滅菌野に対して戦略的に配置される1つ又は2つ以上の撮像センサと、1つ又は2つ以上の画像処理ユニットと、1つ又は2つ以上のストレージアレイと、1つ又は2つ以上のディスプレイとを備え得る。一態様では、可視化システム108は、HL7、PACS及びEMR用のインターフェースを備え得る。可視化システム108の様々な構成要素については、2018年12月4日出願の「METHOD OF HUB COMMUNICATION,PROCESSING,STORAGE AND DISPLAY」と題する米国特許出願公開第2019-0200844(A1)号(米国特許出願第16/209,385号)において「Advanced Imaging Acquisition Module」という見出しの下で記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
【0054】
図2に示すように、一次ディスプレイ119は、手術台114のオペレータに見えるように滅菌野に配置される。加えて、可視化タワー111が、滅菌野の外に配置される。可視化タワー111は、互いに反対側を向いている第1非滅菌ディスプレイ107、及び第2非滅菌ディスプレイ109を備え得る。ハブ106によって誘導される可視化システム108は、ディスプレイ107、109及び119を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ106は、可視化システム108に、一次ディスプレイ119上に手術部位のライブ映像を維持しながら、撮像デバイス124によって記録される手術部位のスナップショットを非滅菌ディスプレイ107又は109に表示させることができる。非滅菌ディスプレイ107又は109上のスナップショットにより、例えば、非滅菌オペレータが、外科的処置に関連する診断ステップを実施し得る。
【0055】
一態様では、ハブ106は、可視化タワー111にいる非滅菌オペレータによって入力された診断入力又はフィードバックを滅菌野内の一次ディスプレイ119に送り、これを手術台にいる滅菌オペレータが見ることができるようにも構成することができる。一例では、入力は、ハブ106によって一次ディスプレイ119に送ることができる、非滅菌ディスプレイ107又は109上に表示されるスナップショットへの修正の形態であり得る。
【0056】
図2を参照すると、外科用器具112は、外科的処置において外科用システム102の一部として使用されている。ハブ106はまた、外科用器具112のディスプレイへの情報フローを調整するようにも構成することができる。例えば、その開示が参照によりその全体が本明細書に組み込まれる、2018年12月4日出願の「METHOD OF HUB COMMUNICATION,PROCESSING,STORAGE AND DISPLAY」と題する米国特許出願公開第2019-0200844(A1)号(米国特許出願第16/209,385号)において。可視化タワー111にいる非滅菌オペレータによって入力される診断入力又はフィードバックは、ハブ106によって滅菌野内の外科用器具ディスプレイ115に送ることができ、これを外科用器具112のオペレータが見ることができる。手術用システム102で使用するために好適な例示的外科用器具については、例えば、2018年12月4日出願の「METHOD OF HUB COMMUNICATION,PROCESSING,STORAGE AND DISPLAY」と題する米国特許出願公開第2019-0200844(A1)号(米国特許出願第16/209,385号)において「Surgical Instrument Hardware」という見出しの下で記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
【0057】
図2は、手術室116内の手術台114上に横たわっている患者に対して外科的処置を実行するために使用されている外科用システム102の例を示す。ロボットシステム110は、外科的処置において手術システム102の一部として使用され得る。ロボットシステム110は、外科医のコンソール118と、患者側カート120(手術ロボット)と、手術ロボットハブ122と、を含み得る。外科医が外科医のコンソール118を通して手術部位を見る間、患者側カート120は、患者の身体の低侵襲切開部を通して、少なくとも1つの着脱可能に連結された外科用ツール117を操作し得る。手術部位の画像は、撮像デバイス124の向きを変えるために、患者側カート120によって操作され得る医療撮像デバイス124によって取得され得る。ロボットハブ122を使用して、手術部位の画像を処理し、その後、外科医のコンソール118を通して、外科医に表示し得る。
【0058】
他のタイプのロボットシステムが、外科用システム102とともに使用するように容易に適合され得る。本開示とともに使用するのに好適なロボットシステム及び外科用ツールの様々な例は、2018年12月4日出願の「METHOD OF ROBOTIC HUB COMMUNICATION,DETECTION,AND CONTROL」と題する米国特許出願公開第2019-0201137(A1)号(米国特許出願第16/209,407号)に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
【0059】
クラウド104によって実施され、本開示とともに使用するのに好適なクラウドベース分析法の様々な例は、2018年12月4日出願の「METHOD OF CLOUD BASED DATA ANALYTICS FOR USE WITH THE HUB」と題する米国特許出願公開第2019-0206569(A1)号(米国特許出願第16/209,403号)に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
【0060】
様々な態様では、撮像デバイス124は、少なくとも1つの画像センサと、1つ又は2つ以上の光学構成要素と、を含み得る。好適な画像センサとしては、電荷結合素子(Charge-Coupled Device、CCD)センサ及び相補型金属酸化膜半導体(Complementary Metal-Oxide Semiconductor、CMOS)センサを挙げることができるが、これらに限定されない。
【0061】
撮像デバイス124の光学構成要素は、1つ又は2つ以上の照明源、及び/又は1つ又は2つ以上のレンズを含んでもよい。1つ又は2つ以上の照明源は、術野の一部分を照明するように方向付けられ得る。1つ又は2つ以上の画像センサは、組織及び/又は外科用器具から反射又は屈折された光を含む、術野から反射又は屈折された光を受信することができる。
【0062】
1つ又は2つ以上の照明源は、可視スペクトル並びに不可視スペクトル内の電磁エネルギーを照射するように構成され得る。可視スペクトルは、場合によっては、光スペクトル又は発光スペクトルとも称され、人間の目に見える(すなわち、人間の目によって検出することができる)電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約380nm~約750nmの波長に応答する。
【0063】
不可視スペクトル(例えば、非発光スペクトル)は、可視スペクトルの下方及び上方に位置する(すなわち、約380nm未満及び約750nm超の波長の)電磁スペクトルの一部分である。不可視スペクトルは、人間の目で検出可能ではない。約750nmを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線(infrared、IR)、マイクロ波及び無線電磁放射線になる。約380nm未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、X線及びガンマ線電磁放射線になる。
【0064】
様々な態様では、撮像デバイス124は、低侵襲性処置において使用するように構成されている。本開示とともに使用するために好適な撮像デバイスの例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡(胃カメラ)、内視鏡、喉頭鏡、鼻咽喉-腎盂鏡、S状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。
【0065】
撮像デバイスは、トポグラフィーと下層構造とを区別するために、マルチスペクトルモニタリングを採用し得る。マルチスペクトル画像は、電磁スペクトル全体から特定の波長範囲内の画像データを取り込むものである。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、IR、及び紫外からの光を含む特定の波長に対する感度を有する器具を使用することによって分離することができる。スペクトル撮像により、人間の目がもつ赤、緑、及び青の受容体では取り込むことができない追加情報を抽出することが可能である。マルチスペクトル撮像の使用については、2018年12月4日に出願された「METHOD OF HUB COMMUNICATION,PROCESSING,STORAGE AND DISPLAY」と題する米国特許出願公開第2019-0200844(A1)号(米国特許出願第16/209,385号)において、「Advanced Imaging Acquisition Module」という見出しの下により詳細に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。マルチスペクトルモニタリングは、処置された組織に対して上述の試験のうちの1つ又は2つ以上を実行するための手術タスクが完了した後に術野を再配置するのに有用なツールであり得る。いかなる手術においても、手術室及び手術機器の厳格な滅菌が必要であることは自明である。「手術現場」、すなわち、手術室又は処置室において要求される厳格な衛生条件及び滅菌条件は、全ての医療デバイス及び機器の可能な最も高い滅菌性を必要とする。滅菌プロセスの一部としては、撮像デバイス124並びにその付属品及び構成要素を含む、患者と接触する、又は滅菌野に侵入するあらゆるものを滅菌する必要性が挙げられる。滅菌野は、トレイ内又は滅菌タオル上などの微生物を含まないと見なされる特定の領域と見なされ得ること、あるいは滅菌野は、外科的処置の準備が整った患者の直ぐ周囲の領域と見なされ得ることは理解されよう。滅菌野は、適切な衣類を着用した洗浄済みのチーム構成員、並びにその領域内の全ての備品及び固定具を含み得る。
【0066】
ここで図3を参照すると、可視化システム108、ロボットシステム110及びハンドヘルド式インテリジェント外科用器具112と通信するハブ106が示されている。ハブ106は、ハブディスプレイ135、撮像モジュール138、発生器モジュール140、通信モジュール130、プロセッサモジュール132、ストレージアレイ134、及び手術室マッピングモジュール133を含む。特定の態様では、図3に示されるように、ハブ106は、排煙モジュール126及び/又は吸引/灌注モジュール128を更に含む。外科的処置中、封止及び/又は切断のために、組織へエネルギーを印加することは、一般に、排煙、過剰な流体の吸引、及び/又は組織の灌注と関連付けられる。異なる供給源からの流体ライン、電力ライン及び/又はデータラインは、外科的処置中に絡まり合うことが多い。外科的処置中にこの問題に対処することで貴重な時間が失われる場合がある。ラインの絡まりをほどくには、それらの対応するモジュールからラインを抜くことが必要となる場合があり、そのためにはモジュールをリセットすることが必要となる場合がある。ハブモジュール式エンクロージャ136は、電力ライン、データライン、及び流体ラインを管理するための統合環境を提供し、このようなライン間の絡まりの頻度を低減させる。本開示の態様は、手術部位における組織へのエネルギー印加を伴う外科的処置において使用するための手術用ハブを提示する。手術用ハブは、ハブエンクロージャと、ハブエンクロージャのドッキングステーション内に摺動可能に受容可能な組み合わせ発生器モジュールと、を含む。ドッキングステーションはデータ接点及び電力接点を含む。組み合わせ発生器モジュールは、単一ユニット内に収容された、超音波エネルギー発生器構成要素、双極RFエネルギー発生器構成要素、及び単極RFエネルギー発生器構成要素のうちの2つ又はそれ以上を含む。一態様では、組み合わせ発生器モジュールはまた、排煙構成要素と、組み合わせ発生器モジュールを外科用器具に接続するための少なくとも1つのエネルギー供給ケーブルと、組織への治療エネルギーの印加によって発生した煙、流体及び/又は微粒子を排出するように構成された少なくとも1つの排煙構成要素と、リモート手術部位から排煙構成要素まで延在する流体ラインと、を含む。一態様では、上記の流体ラインは第1の流体ラインであり、第2の流体ラインは、遠隔手術部位から、ハブエンクロージャ内に摺動可能に受容される吸引及び灌注モジュールまで延在している。一態様では、ハブエンクロージャは、流体インターフェースを備える。特定の外科的処置は、2つ以上のエネルギータイプを組織に印加することを必要とする場合がある。1つのエネルギータイプは、組織を切断するのにより有益であり得るが、別の異なるエネルギータイプは、組織を封止するのにより有益であり得る。例えば、双極発生器は組織を封止するために使用することができ、一方で、超音波発生器は封止された組織を切断するために使用することができる。本開示の態様は、ハブのモジュール式エンクロージャ136が様々な発生器を収容して、これらの間のインタラクティブ通信を促進するように構成されているという解決法を提示する。ハブモジュール式エンクロージャ136の利点のうちの1つは、様々なモジュールの迅速な取り外し及び/又は交換を可能にすることである。本開示の態様は、組織へのエネルギー印加を伴う外科的処置で使用するためのモジュール式外科用エンクロージャを提示する。モジュール式外科用エンクロージャは、組織に印加するための第1のエネルギーを発生させるように構成された第1のエネルギー発生器モジュールと、第1のデータ及び電力接点を含む第1のドッキングポートを備える第1のドッキングステーションと、を含み、第1のエネルギー発生器モジュールは、電力及びデータ接点と電気係合するように摺動可能に移動可能であり、また第1のエネルギー発生器モジュールは、第1の電力及びデータ接点との電気係合から外れるように摺動可能に移動可能である。上記に加えて、モジュール式外科用エンクロージャはまた、第1のエネルギーとは異なる、組織に印加するための第2のエネルギーを発生させるように構成された第2のエネルギー発生器モジュールと、第2のデータ接点及び第2の電力接点を含む第2のドッキングポートを備える第2のドッキングステーションと、を含み、第2のエネルギー発生器モジュールは、電力接点及びデータ接点と電気係合するように摺動可能に移動可能であり、また第2のエネルギー発生器モジュールは、第2の電力接点及び第2のデータ接点との電気係合から外れるように摺動可能に移動可能である。加えて、モジュール式外科用エンクロージャはまた、第1のエネルギー発生器モジュールと第2のエネルギー発生器モジュールとの間の通信を容易にするように構成されている、第1のドッキングポートと第2のドッキングポートとの間の通信バスを含む。図3を参照すると、発生器モジュール140、排煙モジュール126、及び吸引/灌注モジュール128のモジュール式統合を可能にするハブモジュール式エンクロージャ136に関する本開示の態様が提示される。ハブモジュール式エンクロージャ136は、モジュール140とモジュール126とモジュール128と間のインタラクティブ通信を更に促進する。発生器モジュール140は、ハブのモジュール式エンクロージャ136に摺動可能に挿入可能な単一のハウジングユニット内に支持される、一体化された単極構成要素、双極構成要素及び超音波構成要素を備える発生器モジュールであってもよい。発生器モジュール140は、単極デバイス142、双極デバイス144、及び超音波デバイス146に接続するように構成され得る。代替的に、発生器モジュール140は、ハブモジュール式エンクロージャ136を介して相互作用する一連の単極発生器モジュール、双極発生器モジュール、及び/又は超音波発生器モジュールを備えてもよい。複数の発生器が単一の発生器として機能するように、ハブモジュール式エンクロージャ136は、複数の発生器の挿入と、ハブモジュール式エンクロージャ136にドッキングされた発生器間の双方向通信と、を促進するように構成することができる。
【0067】
図4は、医療施設の1つ又は2つ以上の手術室、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置するモジュール式デバイスをクラウドベースのシステム(例えばストレージデバイス205に連結されたリモートサーバ213を含み得るクラウド204)に接続するように構成されたモジュール式通信ハブ203を備える外科用データネットワーク201を示す。一態様では、モジュール式通信ハブ203は、ネットワークルータと通信するネットワークハブ207及び/又はネットワークスイッチ209を備える。モジュール式通信ハブ203は、ローカルコンピュータシステム210に結合して、ローカルコンピュータ処理及びデータ操作を提供することもできる。外科用データネットワーク201は、パッシブ、インテリジェント又は切り替え式として構成されてもよい。受動的外科用データネットワークはデータの導管として機能し、データが1つのデバイス(又はセグメント)から別のデバイス(又はセグメント)に、及びクラウドコンピューティングリソースに行くことを可能にする。インテリジェント外科用データネットワークは、トラフィックが監視対象の外科用データネットワークを通過することを可能にし、ネットワークハブ207又はネットワークスイッチ209内の各ポートを構成する追加の特徴部を含む。インテリジェント外科用データネットワークは、管理可能なハブ又はスイッチと称され得る。スイッチングハブは、各パケットの宛先アドレスを読み取り、次いでパケットを正しいポートに転送する。
【0068】
手術室に配置されたモジュール式デバイス1a~1nは、モジュール式通信ハブ203に連結され得る。ネットワークハブ207及び/又はネットワークスイッチ209は、ネットワークルータ211に連結されて、デバイス1a~1nをクラウド204又はローカルコンピュータシステム210に接続することができる。デバイス1a~1nに関連付けられたデータは、リモートデータ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送され得る。デバイス1a~1nに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム210に転送され得る。同じ手術室に配置されたモジュール式デバイス2a~2mもまた、ネットワークスイッチ209に連結され得る。ネットワークスイッチ209は、ネットワークハブ207及び/又はネットワークルータ211に連結されて、デバイス2a~2mをクラウド204に接続することができる。デバイス2a~2nに関連付けられたデータは、データ処理及び操作のためにネットワークルータ211を介してクラウド204に転送され得る。デバイス2a~2mに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム210に転送され得る。
【0069】
複数のネットワークハブ207及び/又は複数のネットワークスイッチ209を複数のネットワークルータ211と相互接続することによって、外科用データネットワーク201が拡張され得ることが理解されるであろう。モジュール式通信ハブ203は、複数のデバイス1a~1n/2a~2mを受け入れるように構成されたモジュール式制御タワー内に収容され得る。ローカルコンピュータシステム210はまた、モジュール式制御タワーに収容され得る。モジュール式通信ハブ203は、ディスプレイ212に接続されて、例えば外科的処置中に、デバイス1a~1n/2a~2mのうちのいくつかによって取得された画像を表示する。様々な態様では、デバイス1a~1n/2a~2mとしては、外科用データネットワーク201のモジュール式通信ハブ203に接続され得るモジュール式デバイスの中でもとりわけ、例えば、内視鏡に連結された撮像モジュール138、エネルギーベースの外科用デバイスに連結された発生器モジュール140、排煙モジュール126、吸引/灌注モジュール128、通信モジュール130、プロセッサモジュール132、ストレージアレイ134、ディスプレイに連結された外科用デバイス、及び/又は非接触センサモジュールなどの様々なモジュールが挙げられ得る。
【0070】
一態様では、外科用データネットワーク201は、デバイス1a~1n/2a~2mをクラウドに接続する、ネットワークハブ、ネットワークスイッチ及びネットワークルータとの組み合わせを含んでもよい。ネットワークハブ又はネットワークスイッチに連結されたデバイス1a~1n/2a~2mのいずれか1つ又は全ては、リアルタイムでデータを収集し、データ処理及び操作のためにデータをクラウドコンピュータに転送することができる。クラウドコンピューティングは、ソフトウェアアプリケーションを取り扱うために、ローカルサーバ又はパーソナルデバイスを有するのではなく、コンピューティングリソースを共有することに依存することは理解されるであろう。「クラウド」という語は、「インターネット」の隠喩として使用され得るが、この用語はそのように限定はされない。したがって、「クラウドコンピューティング」という用語は、本明細書では「インターネットベースのコンピューティングのうちの1つのタイプ」を指すように使用され得、この場合、サーバ、ストレージ及びアプリケーションなど様々なサービスは、手術現場(例えば、固定式、移動式、一時的又は現場の手術室又は空間)に配置されたモジュール式通信ハブ203及び/又はコンピュータシステム210に、並びにインターネットを介して、モジュール式通信ハブ203及び/又はコンピュータシステム210に接続されたデバイスに配信される。クラウドインフラストラクチャは、クラウドサービスプロバイダによって維持され得る。この文脈において、クラウドサービスプロバイダは、1つ又は2つ以上の手術室内に位置するデバイス1a~1n/2a~2mの使用及び制御を調整する事業体であり得る。クラウドコンピューティングサービスは、スマート外科用器具、ロボット及び手術室内に位置する他のコンピュータ化デバイスによって収集されたデータに基づいて多数の計算を実施することができる。ハブハードウェアは、複数のデバイス又は接続部がクラウドコンピューティングリソース及びストレージと通信するコンピュータに接続することを可能にする。
【0071】
デバイス1a~1n/2a~2mによって収集されたデータにクラウドコンピュータデータ処理技術を適用することで、外科用データネットワークは、手術成果の改善、コスト低減及び患者満足度の改善を提供することができる。組織の封止及び切断処置後に、組織の状態を観察して封止された組織の漏出又は灌流を評価するために、デバイス1a~1n/2a~2mのうちの少なくともいくつかを用いることができる。クラウドベースのコンピューティングを使用して、身体組織のサンプルの画像を含むデータを診断目的で検査して疾患の影響などの病理を識別するために、デバイス1a~1n/2a~2mのうちの少なくともいくつかを用いることができる。そのようなデータには、組織の位置特定及びマージン確認並びに表現型が含まれ得る。撮像デバイスと一体化された様々なセンサを使用し、かつ複数の撮像デバイスによって捕捉された画像をオーバーレイするなどの技術を使用して、身体の解剖学的構造を識別するために、デバイス1a~1n/2a~2mのうちの少なくともいくつかを用いることができる。画像データを含む、デバイス1a~1n/2a~2mによって収集されたデータは、画像処理及び操作を含むデータ処理及び操作のために、クラウド204若しくはローカルコンピュータシステム210又はその両方に転送され得る。データは、組織特異的部位及び状態に対する内視鏡的介入、新興技術、標的化放射線、標的化介入及び精密ロボットの適用などの更なる治療を遂行できるかを判定することによって、外科的処置の成果を改善するために分析されてもよい。こうしたデータ分析は、予後分析処理を更に用いてもよく、標準化された手法を使用することは、外科的治療及び外科医の挙動を確認するか、又は外科的治療及び外科医の挙動に対する修正を提案するかのいずれかのために有益なフィードバックを提供することができる。
【0072】
手術室デバイス1a~1nは、ネットワークハブに対するデバイス1a~1nの構成に応じて有線チャネル又は無線チャネルを介して、モジュール式通信ハブ203に接続され得る。ネットワークハブ207は、一態様では、開放型システム間相互接続(Open System Interconnection、OSI)モデルの物理層上で機能するローカルネットワークブロードキャストデバイスとして実装され得る。ネットワークハブは、同じ手術室ネットワーク内に位置するデバイス1a~1nに接続性を提供することができる。ネットワークハブ207は、パケットの形態のデータを収集し、それらを半二重モードでルータに送信し得る。ネットワークハブ207は、デバイスデータを転送するためにいずれの媒体アクセス制御/インターネットプロトコル(media access control、MAC/Internet Protocol、IP)も記憶することができない。デバイス1a~1nのうちの1つのみが、ネットワークハブ207を介して一度にデータを送信し得る。ネットワークハブ207は、情報の送信先に関するルーティングテーブル又はインテリジェンスを有することができず、全てのネットワークデータを各コネクション全体及びクラウド204上のリモートサーバ213(図4)にブロードキャストする。ネットワークハブ207は、コリジョンなど基本的なネットワークエラーを検出することができるが、全ての情報を複数のポートにブロードキャストすることは、セキュリティリスクとなり、ボトルネックを引き起こすおそれがある。
【0073】
手術室デバイス2a~2mは、有線チャネル又は無線チャネルを介してネットワークスイッチ209に接続され得る。ネットワークスイッチ209は、OSIモデルのデータリンク層内で機能する。ネットワークスイッチ209は、同一手術室内に配置されたデバイス2a~2mをネットワークに接続するためのマルチキャストデバイスであり得る。ネットワークスイッチ209は、フレームの形態のデータをネットワークルータ211に送信することができ、全二重モードで機能する。複数のデバイス2a~2mは、ネットワークスイッチ209を介して同時にデータを送信し得る。ネットワークスイッチ209は、データを転送するためにデバイス2a~2mのMACアドレスを記憶し、使用する。
【0074】
ネットワークハブ207及び/又はネットワークスイッチ209は、クラウド204に接続するためにネットワークルータ211に連結され得る。ネットワークルータ211は、OSIモデルのネットワーク層内で機能する。ネットワークルータ211は、デバイス1a~1n/2a~2mのうちのいずれか1つ又は全てによって収集されたデータを更に処理及び操作するために、ネットワークハブ207及び/又はネットワークスイッチ211から受信したデータパケットをクラウドベースのコンピュータリソースに送信するための経路を作成する。ネットワークルータ211は、例えば、同一医療施設の異なる手術室、又は異なる医療施設の異なる手術室に配置された異なるネットワークなど、異なる位置に配置された2つ又はそれ以上の異なるネットワークを接続するために利用され得る。ネットワークルータ211は、パケットの形態のデータをクラウド204に送信でき、全二重モードで機能する。複数のデバイスが同時にデータを送信することができる。ネットワークルータ211は、データを転送するためにIPアドレスを使用する。
【0075】
一実施例では、ネットワークハブ207は、複数のUSBデバイスをホストコンピュータに接続することを可能にするUSBハブとして実装され得る。USBハブは、デバイスをホストシステムコンピュータに接続するために利用可能なポートが多くなるように、単一のUSBポートをいくつかの階層に拡張することができる。ネットワークハブ207は、有線チャネル又は無線チャネルを介して情報を受信するための有線機能又は無線機能を含み得る。一態様では、無線USB短距離高帯域無線通信プロトコルが、手術室内に位置するデバイス1a~1nとデバイス2a~2mとの間の通信のために用いられてもよい。
【0076】
例では、手術室デバイス1a~1n/2a~2mは、固定及びモバイルデバイスから短距離にわたってデータを交換し(2.4~2.485GHzのISM帯域における短波長UHF電波を使用して)、かつパーソナルエリアネットワーク(personal area network、PAN)を構築するために、Bluetooth無線技術規格を介してモジュール式通信ハブ203と通信することができる。手術室デバイス1a~1n/2a~2mは、いくつかの無線通信規格若しくは有線通信規格又はプロトコルを介してモジュール式通信ハブ203と通信してもよく、このような規格又はプロトコルとしては、Wi-Fi(IEEE802.11ファミリ)、WiMAX(IEEE802.16ファミリ)、IEEE802.20、無線(new radio、NR)、ロングタームエボリューション(long-term evolution、LTE)、並びにEv-DO、HSPA+、HSDPA+、HSUPA+、EDGE、GSM、GPRS、CDMA、TDMA、DECT、及びこれらのイーサネット派生物のみならず3G、4G、5G、及びそれ以降と指定される任意の他の無線プロトコル及び有線プロトコルが挙げられるが、これらに限定されない。コンピューティングモジュールは、複数の通信モジュールを含んでもよい。例えば、第1の通信モジュールは、Wi-Fi及びBluetoothなどのより短距離の無線通信専用であってもよく、第2の通信モジュールは、GPS、EDGE、GPRS、CDMA、WiMAX、LTE、Ev-DOなどのより長距離の無線通信専用であってもよい。
【0077】
モジュール式通信ハブ203は、手術室デバイス1a~1n/2a~2mのうちの1つ又は全ての中央接続部として機能することができ、フレームとして知られるデータ型を取り扱える。フレームは、デバイス1a~1n/2a~2mによって生成されたデータを搬送できる。フレームがモジュール式通信ハブ203によって受信されると、フレームは増幅されてネットワークルータ211へ送信され、ネットワークルータ211は本明細書に記載されるように、数多くのワイヤレス又は有線通信規格又はプロトコルを使用することによって、このデータをクラウドコンピューティングリソースに転送する。
【0078】
モジュール式通信ハブ203は、スタンドアロンデバイスとして使用され得るか、又はより大きなネットワークを形成するために互換性のあるネットワークハブ及びネットワークスイッチに接続され得る。モジュール式通信ハブ203は、概して設置、構成、及び維持が容易であるため、手術室デバイス1a~1n/2a~2mをネットワーク形成するための良好な選択肢となり得る。
【0079】
図5は、コンピュータ実装インタラクティブ外科用システム200を示す。コンピュータ実装インタラクティブ外科用システム200は、多くの点で、コンピュータ実装インタラクティブ外科用システム100と類似している。例えば、コンピュータ実装インタラクティブ外科用システム200は、多くの点で外科用システム102と類似する1つ又は2つ以上の外科用システム202を含む。各外科用システム202は、リモートサーバ213を含み得るクラウド204と通信する少なくとも1つの手術用ハブ206を含む。一態様では、コンピュータ実装インタラクティブ外科用システム200は、例えば、インテリジェント外科用器具、ロボット及び手術室内に位置する他のコンピュータ化デバイスなどの複数の手術室デバイスに接続されたモジュール式制御タワー236を備える。図6に示すように、モジュール式制御タワー236は、コンピュータシステム210に連結されたモジュール式通信ハブ203を備える。
【0080】
図5の実施例に示すように、モジュール式制御タワー236は、内視鏡239に連結され得る撮像モジュール238、エネルギーデバイス241に連結され得る発生器モジュール240、排煙器モジュール226、吸引/灌注モジュール228、通信モジュール230、プロセッサモジュール232、ストレージアレイ234、任意選択的にディスプレイ237に連結されたスマートデバイス/器具235及び非接触センサモジュール242に連結され得る。手術室デバイスは、モジュール式制御タワー236を介してクラウドコンピューティングリソース及びデータストレージに連結され得る。ロボットハブ222もまた、モジュール式制御タワー236及びクラウドコンピューティングリソースに接続されてもよい。とりわけ、デバイス/器具235、可視化システム208が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、モジュール式制御タワー236に連結され得る。モジュール式制御タワー236は、撮像モジュール、デバイス/器具ディスプレイ及び/又は他の可視化システム208から受信した画像を表示及びオーバーレイするためにハブディスプレイ215(例えば、モニタ、スクリーン)に連結され得る。ハブディスプレイはまた、モジュール式制御タワーに接続されたデバイスから受信されたデータを、画像及び重ね合わせられた画像とともに表示してもよい。
【0081】
図6は、モジュール式制御タワー236に連結された複数のモジュールを備える手術用ハブ206を示す。モジュール式制御タワー236は、例えばネットワーク接続デバイスなどのモジュール式通信ハブ203と、例えばローカルでの処理、可視化及び撮像を行うためのコンピュータシステム210と、を備え得る。図6に示すように、モジュール式通信ハブ203は、モジュール式通信ハブ203に接続され得るモジュール(例えば、デバイス)の数を拡張するために階層化構成で接続されて、モジュールに関連付けられたデータをコンピュータシステム210、クラウドコンピューティングリソース、又はその両方に転送し得る。図6に示すように、モジュール式通信ハブ203内のネットワークハブ/スイッチの各々は、3つの下流ポート及び1つの上流ポートを含み得る。上流のネットワークハブ/スイッチは、クラウドコンピューティングリソース及びローカルディスプレイ217への通信接続を提供するためにプロセッサに接続され得る。クラウド204への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。
【0082】
手術用ハブ206は、手術室の寸法を測定し、超音波非接触測定デバイス又はレーザタイプ非接触測定デバイスのいずれかを使用して手術現場のマップを生成するために、非接触センサモジュール242を利用し得る。超音波ベースの非接触センサモジュールは、その全体が参照により本明細書に組み込まれる、2018年12月4日に出願された「METHOD OF HUB COMMUNICATION,PROCESSING,STORAGE AND DISPLAY」と題する米国特許出願公開第2019-0200844(A1)号(米国特許出願第16/209,385号)において「Surgical Hub Spatial Awareness Within an Operating Room」という見出しで記載されているように、超音波のバーストを送信し、それが手術室の周囲壁から跳ね返るときのエコーを受信することによって、手術室をスキャンすることができ、センサモジュールは、手術室のサイズを判定し、Bluetoothペアリング距離限界を調節するように構成される。レーザベースの非接触センサモジュールは、例えば、レーザ光パルスを送信することによって手術室を走査でき、手術室の外壁に反射するレーザ光パルスを受信し、送信されたパルスの位相を受信したパルスと比較して手術室のサイズを判定し、Bluetoothペアリング距離限界を調整する。
【0083】
コンピュータシステム210は、プロセッサ244と、ネットワークインターフェース245と、を備え得る。プロセッサ244は、システムバスを介して、通信モジュール247、記憶デバイス248、メモリ249、不揮発性メモリ250、及び入力/出力インターフェース251に連結されていてもよい。システムバスは、任意の様々な利用可能なバスアーキテクチャを使用する、メモリバス若しくはメモリコントローラ、ペリフェラルバス若しくは外部バス、及び/又はローカルバスを含むいくつかのタイプのバス構造のうちのいずれかとすることができ、それらのアーキテクチャの例としては、9ビットバス、業界標準アーキテクチャ(Industrial Standard Architecture、ISA)、マイクロチャネルアーキテクチャ(Micro-Charmel Architecture、MSA)、拡張ISA(Extended ISA、EISA)、インテリジェントドライブエレクトロニクス(Intelligent Drive Electronics、IDE)、VESAローカルバス(VESA Local Bus、VLB)、周辺装置相互接続(Peripheral Component Interconnect、PCI)、USB、アドバンスドグラフィックスポート(Advanced Graphics Port、AGP)、パーソナルコンピュータメモリカード国際協会バス(Personal Computer Memory Card International Association、PCMCIA)、小型コンピュータシステムインターフェース(Small Computer Systems Interface、SCSI)、又は任意の他の独自バスが挙げられるが、これらに限定されない。
【0084】
プロセッサ244は、Texas Instruments製のARM Cortexの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであり得る。一態様では、プロセッサは、例えば、Texas Instrumentsから入手可能なLM4F230H5QR ARM Cortex-M4Fプロセッサコアであり得る。このプロセッサコアは、最大40MHzの256KBのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を40MHz超に改善するためのプリフェッチバッファ、32KBのシングルサイクルシリアルランダムアクセスメモリ(single-cycle serial random access memory、SRAM)、StellarisWare(登録商標)ソフトウェアを搭載した内部読み出し専用メモリ(read-only memory、ROM)、2KBの電気的消去可能プログラマブル読み出し専用メモリ(electrically erasable programmable read-only memory、EEPROM)及び/又は、1つ又は2つ以上のパルス幅変調(pulse width modulation、PWM)モジュール、1つ又は2つ以上の直交エンコーダ入力(quadrature encoder input、QEI)アナログ、12個のアナログ入力チャネルを備える1つ又は2つ以上の12ビットアナログ-デジタル変換器(analog-to-digital converter、ADC)を含む。なお、その詳細は、製品データシートで入手可能である。
【0085】
一態様では、プロセッサ244は、同じくTexas Instruments製のHercules ARM Cortex R4の商品名で知られるTMS570及びRM4xなどの2つのコントローラベースのファミリを含む安全コントローラを含んでもよい。安全コントローラは、拡張性のある性能、接続性及びメモリの選択肢を提供しながら、高度な集積型安全機構を提供するために、とりわけ、IEC61508及びISO26262の安全限界用途専用に構成されてもよい。
【0086】
システムメモリとしては、揮発性メモリ及び不揮発性メモリを挙げることができる。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム(basic input/output system、BIOS)は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ROM、プログラマブルROM(programmable ROM、PROM)、電気的プログラマブルROM(electrically programmable ROM、EPROM)、EEPROM又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ(random-access memory、RAM)が挙げられる。更に、RAMは、SRAM、ダイナミックRAM(dynamic RAM、DRAM)、シンクロナスDRAM(synchronous DRAM、SDRAM)、ダブルデータレートSDRAM(double data rate SDRAM、DDR SDRAM)、エンハンスドSDRAM(enhanced SDRAM、ESDRAM)、シンクリンクDRAM(Synchlink DRAM、SLDRAM)及びダイレクトランバスRAM(direct Rambus RAM、DRRAM)などの多くの形態で利用可能である。
【0087】
コンピュータシステム210はまた、取り外し可能/取り外し不可能な揮発性/不揮発性のコンピュータストレージ媒体、例えばディスクストレージなどを含み得る。ディスクストレージとしては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Jazドライブ、Zipドライブ、LS-60ドライブ、フラッシュメモリカード又はメモリスティックのようなデバイスを挙げることができるが、これらに限定されない。加えて、ディスクストレージは、上記の記憶媒体を、独立して、又は他の記憶媒体との組み合わせで含むことができる。他の記憶媒体としては、コンパクトディスクROMデバイス(compact disc ROM、CD-ROM)、コンパクトディスク記録可能ドライブ(compact disc recordable drive、CD-Rドライブ)、コンパクトディスク書き換え可能ドライブ(compact disc rewritable drive、CD-RWドライブ)若しくはデジタル多用途ディスクROMドライブ(digital versatile disc ROM drive、DVD-ROM)などの光ディスクドライブが挙げられるがこれらに限定されない。ディスクストレージのシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。
【0088】
コンピュータシステム210は、好適な動作環境において、記載したユーザと基本コンピュータリソースとの間で媒介として機能するソフトウェアを含み得ることを理解されたい。このようなソフトウェアとしてはオペレーティングシステムを挙げることができる。ディスクストレージ上に記憶され得るオペレーティングシステムは、コンピュータシステムのリソースを制御及び割り当てするように機能し得る。システムアプリケーションは、システムメモリ内又はディスクストレージ上のいずれかに記憶されたプログラムモジュール及びプログラムデータを介して、オペレーティングシステムによるリソース管理を活用し得る。本明細書に記載される様々な構成要素は、様々なオペレーティングシステム又はオペレーティングシステムの組み合わせで実装することができることを理解されたい。
【0089】
ユーザは、I/Oインターフェース251に連結された入力デバイスを介してコンピュータシステム210にコマンド又は情報を入力し得る。入力デバイスとしては、マウス、トラックボール、スタイラス、タッチパッドなどのポインティングデバイス、キーボード、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、TVチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなどを挙げることができるが、これらに限定されない。これら及び他の入力デバイスは、インターフェースポートを介し、システムバスを通じてプロセッサに接続する。インターフェースポートとしては、例えば、シリアルポート、パラレルポート、ゲームポート及びUSBが挙げられる。出力デバイスは、入力デバイスと同じタイプのポートのうちのいくつかを使用する。したがって、例えば、USBポートは、コンピュータシステムに入力を提供し、コンピュータシステムからの情報を出力デバイスに出力するために、使用され得る。出力アダプタは、特別なアダプタを必要とし得る出力デバイスの中でもとりわけ、モニタ、ディスプレイ、スピーカ及びプリンタなどのいくつかの出力デバイスが存在できることを示すために提供され得る。出力アダプタとしては、出力デバイスとシステムバスとの間の接続手段を提供するビデオ及びサウンドカードを挙げることができるが、これは例示としてのものであり、限定するものではない。リモートコンピュータなどの他のデバイス及び/又はデバイスのシステムは、入力及び出力機能の両方を提供できることに留意されたい。
【0090】
コンピュータシステム210は、クラウドコンピュータなどの1つ又は2つ以上のリモートコンピュータ、又はローカルコンピュータへの論理接続を使用するネットワーク化環境で動作し得る。リモートクラウドコンピュータは、パーソナルコンピュータ、サーバ、ルータ、ネットワークPC、ワークステーション、マイクロプロセッサベースの機器、ピアデバイス又は他の一般的なネットワークノードなどであり得るが、典型的には、コンピュータシステムに関して記載される要素の多く又は全てを含む。簡潔にするために、リモートコンピュータとともに、メモリストレージデバイスのみが示される。リモートコンピュータは、ネットワークインターフェースを介してコンピュータシステムに論理的に接続され、続いて、通信接続部を介して物理的に接続され得る。ネットワークインターフェースは、ローカルエリアネットワーク(local area network、LAN)及びワイドエリアネットワーク(wide area network、WAN)などの通信ネットワークを包含し得る。LAN技術としては、光ファイバ分散データインターフェース(Fiber Distributed Data Interface、FDDI)、銅線分散データインターフェース(Copper Distributed Data Interface、CDDI)、Ethernet/IEEE802.3、Token Ring/IEEE802.5などを挙げることができる。WAN技術としては、ポイントツーポイントリンク、統合サービスデジタルネットワーク(Integrated Services Digital Network、ISDN)及びその変形などの回路交換ネットワーク、パケット交換ネットワーク並びにデジタル加入者回線(Digital Subscriber Line、DSL)を挙げることができるが、これらに限定されない。
【0091】
様々な態様では、図6のコンピュータシステム210、図5図6の撮像モジュール238、及び/又は可視化システム208、及び/又はプロセッサモジュール232は、画像プロセッサ、画像処理エンジン、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ(digital signal processor、DSP)を含んでもよい。画像プロセッサは、単一命令複数データ(single instruction, multiple data、SIMD)、又は複数命令複数データ(multiple instruction, multiple data、MIMD)技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。
【0092】
通信接続部とは、ネットワークインターフェースをバスに接続するために用いられるハードウェア/ソフトウェアを指してもよい。例示的な明瞭さのため通信接続部は、コンピュータシステム内部に示されているが、通信接続部は、コンピュータシステム210の外部にあってもよい。例示のみを目的として、ネットワークインターフェースへの接続に必要なハードウェア/ソフトウェアとしては、通常の電話グレードモデム、ケーブルモデム及びDSLモデムを含むモデム、ISDNアダプタ並びにイーサネットカードなどの内部及び外部技術を挙げることができる。
【0093】
図7は、例示的手術シミュレータシステムのブロック図である。手術シミュレータシステムは、シミュレーションデバイス30000を含み得る。手術シミュレータシステムは、アプリケーション作成デバイス30002、ヒューマンインターフェースデバイス30004、外科医エージェントデバイス30006、及び/又は手術データシステム30008を含み得る。
【0094】
シミュレーションデバイス30000は、コアシミュレーション機能を提供し得る。例えば、1つ又は2つ以上のシミュレーションのロード/実行、ユーザ制御情報入力の受信及び処理、視覚、聴覚、及び/又は触覚情報出力の生成及び送信、シミュレーション動作及び活動情報の収集、並びに一次シミュレーションサイクル処理は、シミュレーションデバイス30000によって実行され得る。
【0095】
アプリケーション作成デバイス30002は、シミュレーション作成機能を提供し得る。個々のシミュレーションアプリケーションは、アプリケーションモジュール30010としてシミュレーションデバイス30000に記憶され得る。アプリケーションモジュール30010は、アプリケーション作成デバイス30002によって作成、変更、及び/又は削除され得る。アプリケーションモジュール30010は、シミュレーションデバイス30000の動作を指示するコンピュータ可読命令及び/又は実行可能命令を含み得る。例えば、アプリケーションモジュール30010は、情報を記憶して手術シミュレーションを実行するのに好適な任意のファイルタイプ、例えば、シミュレーションスクリプト、プログラミングコード、拡張マークアップ言語(Extensible Markup Language、XML)ファイルなど構造データファイル、データベースファイルなどを含み得る。
【0096】
アプリケーション作成デバイス30002は、アプリケーションモジュール30010を作成するための制御部を伴うグラフィカルユーザインターフェースを含み得る。アプリケーション作成デバイス3002は、シミュレーションデバイス30000と通信して、シミュレーション動作のためにアプリケーションモジュール30010を検索、変更、及び/又はロードすることができる。例えば、グラフィカルユーザインターフェースは、ユーザがシミュレーション活動を選択し、様々なシミュレーションパラメータを入力し、シミュレーション目的を設定し、シミュレーションの実行を確認することを可能にするインターフェース構造を含み得る。アプリケーション作成デバイス30002は、スタンドアロンデバイスとして提供され得、及び/又は、例えばシミュレーションデバイス30000と統合されるなど、手術シミュレーションシステムの1つ又は2つ以上の他のデバイスと統合され得る。
【0097】
ヒューマンインターフェースデバイス30004は、人間のユーザがシミュレーションデバイス30000によって提供されるシミュレーションと相互作用することを可能にする、任意のハードウェア、ソフトウェア、及び/又はそれらの組み合わせを含み得る。ヒューマンインターフェースデバイス30004は、ユーザがシミュレーションデバイス300000に制御入力を提供すること、及び/又はシミュレーションデバイス30000から出力情報(視覚、聴覚、及び/又は触覚情報など)を受信することを可能にし得る。一実施例では、ヒューマンインターフェースデバイス30004は、従来のデスクトップコンピュータを含み得る。
【0098】
ヒューマンインターフェースデバイス30004は、好適な物理的機器を含み得る。例えば、ヒューマンインターフェースデバイス30004は、外科的処置の態様を物理的に、及び/又は仮想的に模倣する物理的機器を含み得る。例えば、そのような機器としては、卓上ユニット、部分タスク仮想現実ユニット、高忠実度仮想現実ユニット、高忠実度フルサイズ患者ユニット、スイートユニット、高忠実度フル手術室ユニット、フル物理仮想現実ユニット、手術ロボットコンソールユニットなどが挙げられ得る。例えば、ヒューマンインターフェースデバイス30004は、Gallager et al,「Simulations for Procedural Training」,Fundamentals of Surgical Simulation,Principles and Practice,Springer(2012)によって開示されるコンピュータベースのシミュレータインターフェースなどデバイスを含み得る。
【0099】
ヒューマンインターフェースデバイス30004は、外科用器具を物理的に、及び/又は仮想的に模倣する物理的機器を含み得る。例えば、ヒューマンインターフェースデバイス30004は、トロカール、ハンドアクセスポート、気腹針、及びガイドシースなどアクセス機器など外科用器具(instruments)、器具(appliances)、及び消耗品を模倣する物理的デバイス;パッチ、ゼラチン、及び粉末など補助止血剤;伸延具及びプレートなど頭蓋顎顔面器具;バルーン及びインフレータ;診断カテーテル、アクセスカテーテル、血管カテーテル、及び治療カテーテルなどカテーテル;組織シーラー、剪断機、ブレード、及び鉗子などエネルギー封止及び解剖用デバイス;引き下げワイヤ、圧縮ねじ、プレート、インプラント、ドリル、バー、ロッド、及びコネクタなど整形外科用器具;切開及び内視鏡クリップアプライヤなど結紮具;マイクロ波アブレーション機器;ドレーン、縫合糸、結紮糸、持針器、回収器、及び縫合クリップなど補助内視鏡器具;オープンステープラ、内視鏡ステープラ、カッターステープラ、電動ステープラ、円形ステープラ、血管用ステープラ、線形ステープラ、ステープルカートリッジ、及びステープルライン補強アプリケータなど外科用ステープル留め機器;縫合糸、接着剤、針、及び結び目のない組織制御デバイスなど創傷閉鎖材料;低侵襲撮像デバイスなど撮像デバイスなどを含み得る。例えば、ヒューマンインターフェースデバイス30004は、仮想現実ヘッドセットを用いて動作すると、上記で開示されたものなど外科用器具(instruments)、器具(appliances)、及び消耗品を模倣する、仮想現実ハンドヘルドコントローラを含み得る。
【0100】
ヒューマンインターフェースデバイス30004は、シミュレーションの視覚表現をユーザに伝達するディスプレイを含み得る。ヒューマンインターフェースデバイス30004は、コンピュータディスプレイを含み得る。ヒューマンインターフェースデバイス30004は、仮想現実ヘッドセットディスプレイを含み得る。例えば、仮想現実ヘッドセットディスプレイは、本明細書の図2に開示されるものなど手術環境を表示するために使用され得る。そのような仮想現実ヘッドセットディスプレイを有するユーザは、例えば、患者、ロボットシステム110、外科医のコンソール118、手術ロボットハブ122、1つ又は2つ以上の外科用ツール117、撮像デバイス124、患者側カート120、1つ又は2つ以上のディスプレイ119、107、109など、外科手術室116内の要素のうちのいずれかを視認し得る、及び/又はいずれかと相互作用し得る。
【0101】
ヒューマンインターフェースデバイス30006は、外科医の視点を表す視覚情報を提示し得る。ヒューマンインターフェースデバイス30006は、関節鏡、血管内視鏡、気管支鏡、コレドコスコープ、コノスコープ、サイトスコープ、十二指腸内視鏡、腸鏡、上部消化管内視鏡(胃鏡)、内視鏡、喉頭鏡、鼻咽喉-腎盂鏡(nasopharyngo-neproscope)、S状結腸鏡、胸腔鏡、尿管鏡、及びそれらの関連器具、制御部などシミュレートされた撮像デバイスからの視覚情報を提示し得る。ヒューマンインターフェースデバイス30006は、コンピュータ断層撮影(computed tomography、CT)ユニット、磁気共鳴撮像(magnetic resonance imaging、MRI)ユニット、画像誘導手術ユニット、術中超音波ユニットなどシミュレートされた補助術中撮像機器;蛍光透視ユニットなどからの視覚情報を提示し得る。そのような視点視覚情報、手術撮像情報、及び補足術中撮像情報は、シミュレーションの動作に好適な任意の組み合わせでユーザに表示され得る。例えば、そのような情報は、単一のフルスクリーンビュー、タイルウィンドウビュー、ピクチャインピクチャビューとしてユーザに提示され得るか、又は仮想現実ビューのシミュレートされたディスプレイユニットに登録され得る。
【0102】
ヒューマンインターフェースデバイス30004は、物理及び/又は仮想現実手術ロボット外科医コンソールを含み得る。例えば、例示的外科医コンソール様ヒューマンインターフェースデバイス30004は、立体視ディスプレイなどディスプレイと、ハンドヘルドマニピュレータ、フットペダルなどを含む制御入力と、を含み得る。例えば、外科医コンソール様ヒューマンインターフェースデバイス30004は、本明細書に開示される外科医のコンソール118のインターフェースを含み得る。ヒューマンインターフェースデバイス30004は、例えば、マイクロフォン及び音声認識機能によって音声制御を可能にし得る。ヒューマンインターフェースデバイス30004は、例えばスピーカによって可聴フィードバックを提供し得る。ヒューマンインターフェースデバイス30004は、例えば、振動、力フィードバック、ボルテックスリング、及び超音波技法によって触覚フィードバックを提供し得る。
【0103】
実装される場合、ヒューマンインターフェースデバイス30004は、スタンドアロンデバイスとして設けられ得、及び/又は、例えばシミュレーションデバイス30000と統合されるなど、手術シミュレーションシステムの1つ又は2つ以上の他のデバイスと統合され得る。シミュレーションデバイス30000は、ヒューマンインターフェースデバイス30004と通信するためのインターフェースモジュール30012を含み得る。一実施例では、ヒューマンインターフェースデバイス30004は、コンピュータ実装インタラクティブ手術システム100の1つ又は2つ以上の要素に統合され得る。例えば、ヒューマンインターフェースデバイス30004は、コンピュータシステム210に統合され得る。例えば、ヒューマンインターフェースデバイス30004は、ハブ106に統合され得る。例えば、ヒューマンインターフェースデバイス30004は、可視化システム108に統合され得る。インターフェースモジュール30012は、例えば、手術データシステムインターフェースモジュール30014を介してコンピュータ実装インタラクティブ手術システム100の1つ又は2つ以上の要素と通信し得る。
【0104】
一実施形態では、2つ以上のヒューマンインターフェースデバイス30004がシミュレーションデバイス30000と同時に連動し得る。例えば、多人数シミュレーションアプリケーション
【0105】
外科医エージェントデバイス30006は、シミュレーションデバイス30000の入力及び出力に対するコンピュータベースの制御及び応答を提供するのに好適な任意のハードウェア及び/又はソフトウェアを含み得る。外科医エージェントデバイス30006は、シミュレーションデバイス30000への人間の入力を模倣するコンピュータ処理を含み得る。例えば、外科医エージェントデバイス30006は、基本的な器具操作など制御入力を記録し、登録することが可能であり得る。外科医エージェントデバイス30006は、シミュレーションデバイス30000の入力/出力アプリケーションプログラミングインターフェース(application programming interface、API)にアクセスすることができる、コンピュータ処理を含み得る。例えば、APIは、外科医エージェントデバイス3006に従って指示され得る1つ又は2つ以上の入力/出力機能を明らかにし得る。機能は、機器の位置及び動きを直接制御する機能など粒度の細かい操作及び物理ベースの入力/出力機能を含み得る。機能は、結紮活動、縫合活動、ステープル留め活動などより粒度の粗い活動ベースの入力/出力機能を含み得る。機能は、外科的アクセス機能、臓器授動機能などより粒度の粗い手術タスク及び/又はステージベースの入力/出力機能を含み得る。各機能は、粒度のレベルと一致するパラメータを含み得る。パラメータは、シミュレーション内での機能の動作を指示するための特定の詳細を提供し得る。外科医エージェント30006は、複数のシミュレーション実行を生成し、操作するための機能を含み得る。例えば、ユーザは、様々な縫合技法の持続時間を推定することを望む場合がある。外科医エージェントデバイス30006は、任意の数の異なる技法のシミュレーションを計画するために使用され得、そのそれぞれは、シミュレーションデバイスを介して実行され得、シミュレーションデバイスによって収集されたメトリックは、持続時間の差異を推定するために使用され得る。
【0106】
外科医エージェントデバイス30006は、スタンドアロンデバイスとして提供され得、及び/又は、例えばシミュレーションデバイス30000と統合されるなど、手術シミュレーションシステムの1つ又は2つ以上の他のデバイスと統合され得る。シミュレーションデバイス30000は、外科医エージェントデバイス30006と通信するためのインターフェースモジュール30012を含み得る。例えば、外科医エージェントデバイス30006は、シミュレーションデバイス30000のモジュールとして統合され得る。例えば、外科医エージェントデバイス30006は、シミュレーションデバイスのアプリケーションモジュール30010に統合され得る。
【0107】
手術データシステム30008は、外部の構造化された手術情報及び機能をシミュレーションデバイス30000に提供するのに好適な任意のハードウェア及び/又はソフトウェアを含み得る。手術データシステム30008は、本明細書の図1図6に関連して記載される構造及び/又は機能を含み得る。例えば、手術データシステム30008は、コンピュータ実装インタラクティブ手術システム100の1つ又は2つ以上の要素を含み得る。手術データシステム30008は、例えば、手術用ハブ106を含み得る。例えば、シミュレーションデバイス30000は、手術用ハブの通信モジュール130を介した手術用ハブ106との通信を可能にする手術データシステムインターフェースモジュール30014を含む。手術データシステム30008は、例えば、1つ又は2つ以上の手術データリポジトリを含み得る。例えば、手術データシステム30008は、手術現場に配置されたコンピュータシステム210を含み得る。例えば、手術データシステム30008は、クラウド204内に遠隔サーバ213を含み得る。
【0108】
例えば、手術用ハブ106など手術データシステム30008は、シミュレーションデバイス30000及び/又はアプリケーション作成デバイス30002にデータを提供し得る。例えば、データは、手術用ハブ106によって収集された、及び/又は生成された任意の手術データを含み得る。また例えば、シミュレーションデバイス30000は、図1図6に開示されたネットワーク化されたデバイスのいずれかから同様のデータを直接受信し得る。そのようなデータは、例えば、ライブ外科的処置に関する情報を含み得る。そのようなデータは、過去の外科的処置に関する情報を含み得る。そのようなデータは、将来の予定された外科的処置に関する情報を含み得る。
【0109】
外科的処置に関する情報は、患者、スタッフ、計画された処置、経験した処置、及び患者成果など術後活動に関する情報を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、患者の記録、患者の画像、患者の解剖学的構造のモデル、患者の検査結果、患者の病歴などを含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、処置のスタッフ名簿、特定のスタッフメンバーの過去の処置に関する詳細、スタッフメトリック、経験、最近の日程及び作業負荷、並びに過去の手術活動(そのような器具の使用統計、処置期間など)を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、処置計画、機器及び在庫情報、プルリスト、チェックリスト、処置計画分析、並びに推奨を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、ライブ処置中に収集されたか、又は生成された任意のデータ、例えば、処置の進捗状況、マイルストーン、患者情報、バイタル、手術室のセットアップ、スタッフの動き、画像、器具の使用、手術技法、例えば、ビデオによって取り込まれたもの、手動で記録されたもの、及び/又は例えば、持続時間、異常事象の報告などスマート器具による報告から推測されたものなどを含み得る。ライブ処置中に捕捉されたあらゆるデータもまた、記憶され、過去の処置として利用可能にされ得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、術後記録、患者の回復情報、及び患者の成果情報、検査、画像など術後診断情報を含み得る。
【0110】
シミュレーションデバイス30000は、1つ又は2つ以上のシミュレーションを実行するのに好適な任意のコンピュータ又は処理プラットフォームを含み得る。シミュレーションは、コンピュータでモデル化された外科的処置環境を含み得る。例えば、シミュレーションは、患者の解剖学的構造及び/又は生理学的構造のモデルを含み得る。例えば、シミュレーションは、外科医、看護師、他の医師、技術者などの行動など1人又は2人以上の医療従事者の行動及び/又は器具のモデルを含み得る。
【0111】
シミュレーションデバイス30000は、1つ又は2つ以上の追加の機能モジュールを含み得る。各モジュールは、モジュールの機能を可能にするハードウェア、ソフトウェア、又はそれらの組み合わせを含み得る。協調して動作する1つ又は2つ以上のモジュールは、医療処置のシミュレーションが実行され得るコンピュータフレームワークを表し得る。モジュールは、コンピュータ処理ユニット、グラフィックス処理ユニット、フィールドプログラマブルゲートアレイ(field-programmable gate array、FPGA)、通信ハードウェア、メモリなどハードウェア要素を含み得る。モジュールは、プロセッサによって実行されるとモジュールに特定の機能を実行させるソフトウェア要素を含み得る。
【0112】
シミュレーションデバイスは、例えば、コアシミュレーションモジュール30016、シミュレーションアプリケーションモジュールディレクトリ30018、インターフェースモジュール30012、物体特性モジュール30020、物理モジュール30022、生理学的モデル30024、テクスチャモデル30026、3Dグラフィックスパイプライン30028、手術データシステムインターフェースモジュール30014、メトリック抽出モジュール30030、セッション記憶及び管理モジュール30032を含み得る。シミュレーションデバイスは、オペレーティングシステムモジュール30034を含み得る。
【0113】
コアシミュレーションモデル30016は、シミュレーションデバイス30000の主要シミュレーション機能を提供し得る。例えば、コアシミュレーションモジュール30016は、シミュレーションを初期化するための、シミュレーションデバイス30000の他のモジュールと通信し、相互作用するための、及び/又はアーキテクチャレベルのシミュレーションパラメータを管理するためのコードを含み得る。例えば、コアシミュレーションモジュール30016は、シミュレーションデバイス30000のモジュールの動作の時間整合及び/又は調整を提供するために、マスタ事象クロックを含み得る。例えば、コアシミュレーションモジュール30016は、シミュレーションフレームレート全般を確立し得る。
【0114】
コアシミュレーションモジュール30016は、マスタシミュレーションサイクルを提供するためのコアを含み得る。コアシミュレーションモジュール30016は、マスタシミュレーションサイクルの1つ又は2つ以上の繰り返しを実行し得る。マスタシミュレーションサイクルの各繰り返しは、シミュレーションの個々のタイムスライスを表し得る。一実施例では、コアシミュレーションモジュール30016は、図10に開示されるフローに従ってマスタシミュレーションサイクルを実行し得る。
【0115】
シミュレーションアプリケーションモジュールディレクトリ30018は、1つ又は2つ以上のアプリケーションモジュール30010の記憶、検索、及び/又はリンクを管理し得る。各アプリケーションモジュール30010は、シミュレーションのアプリケーションレベルの態様を指示するコードを含み得る。例えば、アプリケーションモジュール30010は、特定の解剖学的構造、特定の教示スコープ、特定の機器のシミュレーションなどを提供する機能を含み得る。例示的シミュレーションデバイス30000では、アプリケーション固有のシミュレーションデバイス30000は、シミュレーションアプリケーションモジュールディレクトリ30010の有無にかかわらず、単一のアプリケーションモジュール30010とともに動作し得る。シミュレーションアプリケーションモジュールディレクトリ30018は、コアシミュレーションモジュール30016及び/又はアプリケーション作成デバイス30002との相互作用に基づいて動作し得る。
【0116】
インターフェースモジュール30012は、ヒューマンインターフェースデバイス30004及び/又は外科医エージェントデバイス30006と相互作用するための機能を提供し得る。例えば、インターフェースモジュール30012は、ヒューマンインターフェースデバイス30004から受信した情報をソフトウェアコマンド、割り込みなどに変換するための1つ又は2つ以上のドライバを含み得る。例えば、インターフェースモジュール30012は、外科医エージェント30006と相互作用するためのソフトウェアアプリケーションプログラミングインターフェース(API)を含み得る。インターフェースモジュール30012は、ヒューマンインターフェースモジュール30004及び/又は外科医エージェントデバイス30006から受信した情報をシミュレーションデバイス30000の他のモジュールに提供し得る。例えば、インターフェースモジュール30012は、シミュレートされた器具の動きを表す制御入力をヒューマンインターフェースモジュール30004及び/又は外科医エージェントデバイス30006から受信し、当該情報をシミュレーションデバイス30000の1つ又は2つ以上の他のモジュールに提供し得、それにより、動きがシミュレーションで表され得る。
【0117】
インターフェースモジュール30012は、外科医エージェントデバイス30006とのより粒度の細かい相互作用を可能にするためにAPIを提供し得る。例えば、APIは、外科医エージェントデバイス30006からシミュレーションパラメータ及びシミュレーション設定を受信するためのインターフェースを提供し得る。そのようなシミュレーションパラメータ及び/又はシミュレーション設定は、例えば、アプリケーション作成デバイス30002を介したユーザによるそれらの入力と同様であり得る。例えば、外科医エージェントデバイス30006では、シミュレーションデバイス30000によって1つ又は2つ以上のコンピュータ制御シミュレーショントライアルを実行することが可能であり得る。例えば、外科医エージェントデバイス30006では、それぞれが代替相互作用を伴う、複数のシミュレーションを実行することが可能であり得る。
【0118】
インターフェースモジュール30012は、シミュレーションデバイス30000からの出力をヒューマンインターフェースデバイス30004及び/又は外科医エージェントデバイス30006に送信し得る。例えば、出力としては、視覚出力、触覚出力、音声出力、及び/又は構造化データ出力などが挙げられ得る。
【0119】
物体特性モジュール30020は、シミュレーション内の物体のシミュレートされた外観及び/又は挙動を管理するための機能を提供し得る。シミュレートされた物体としては、解剖学的構造、器具、機器、消耗品、流体など物体が挙げられ得る。物体の外観は、位置、寸法、スケール、材料、親/子関係、頂点、面、対話性、透明度、軌跡、レンダリング特性、テクスチャ、表面反射率、モーションブラー、レイヤリングなど物体特性によって管理され得る。物体の挙動は、物理特性、質量、運動、衝突挙動、弾性、粘度、表面張力、リギング制約、硬度、剪断強度、引き裂き挙動、粒度など物体特性によって管理され得る。
【0120】
物理モジュール30022は、シミュレーション内の物体の物理的応答及び/又は相互作用を計算する機能を提供し得る。物理モジュールは、古典力学、流体力学、軟体力学、ブラウン運動、衝突検出、布挙動、有限要素解析などに従って、そのような応答及び/又は相互作用を判定し得る。物理モジュール30022は、PhysX(商標)、Simulation Open Framework Architecture(SOFA)(商標)、VisSim(商標)など商用モジュール及び/又はオープンソースモジュールを含み得る。
【0121】
生理学的モジュール30024は、シミュレーションにおいて解剖学的構造及び/又は患者の生理学的応答及び/又は相互作用全般を計算する機能を提供し得る。生理学的モジュール30024は、重要な器官及び/又は系の生理学的モデルを提供し得る。生理学的モデルは、数学モデル、統計モデルなどを含み得る。例えば、生理学的モジュール30024は、患者のバイタルをモジュール化して、シミュレーション中に実行された活動に対する患者の反応及び/又は相互作用を計算し得る。例えば、循環モデルは、シミュレーションにおいて切断された血管に応答して血圧を計算し得る。生理学的モジュール30024及び物理モジュール30022は、シミュレーションの各状態の計算中に互いに協調し得る。例えば、循環モデルによって計算された血圧は、物理モジュール30022によって計算され、物体特性モジュール30020によって管理される流体力学特性を判定するために使用され得る。
【0122】
テクスチャモジュール30026は、シミュレーション内の物体の適切な表面を判定、検索、及び/又は生成する機能を提供し得る。テクスチャモジュール30026は、シミュレーションのパラメータに従って制御され得る1つ又は2つ以上の表面モダリティを含み得る。表面モダリティは、人工的に生成された表面、実世界の画像に基づいた表面、及びそれらの組み合わせを含み得る。テクスチャモジュール30026は、ユーザインターフェースモジュール30012を介してユーザに正確な触覚フィードバックを提供するために物理モジュール30022と動作を調整し得る。
【0123】
3Dグラフィックスパイプライン30028は、シミュレーション環境の視覚的レンダリングに機能を提供し得る。3Dグラフィックスパイプライン30028は、物体特性及び奥行を受信し得る。3Dグラフィックスパイプライン30028は、カメラ視点から見た3D空間内の物体を表す、ユーザに提示されるべき可視化を判定し得る。3Dグラフィックスパイプライン30028は、ライティング、投影、クリッピング、ビュー変換などレンダリングの幾何学的態様を判定し得る。3Dグラフィックスパイプライン30028は、フラグメンテーション、ピクセルシェーディング、頂点シェーディング、ジオメトリ共有、テクスチャフィルタリングなど、レンダリングのラスタ化態様を判定し得る。3Dグラフィックスパイプライン30028は、テクスチャモジュール30026と協調して、インターフェースモジュール30012を介してユーザに正確な視覚フィードバックを提供し得る。
【0124】
手術データシステムインターフェースモジュール30014は、コンピュータ実装インタラクティブ手術システム100の1つ又は2つ以上の要素にインタラクティブ接続性を提供し得る。コンピュータ実装インタラクティブ手術システム100の1つ又は2つ以上の要素からの情報は、手術データシステムインターフェースモジュール30014を介して、シミュレーションデバイス30000の1つ又は2つ以上のモジュールに通信され、シミュレーションの動作に影響を及ぼし得る。例えば、手術データシステムインターフェースモジュール30014は、外科的処置に関する情報を受信し、それを対応するアプリケーションモジュール30010に通信し得る。例えば、手術データシステムインターフェースモジュール30014は、器具に関する情報を受信し、それを物体特性モジュール30020に通信し得る。例えば、手術データシステムインターフェースモジュール30014は、患者に関する情報を受信し、生理学的モジュールに通信し得る。例えば、手術データシステムインターフェースモジュール30014は、組織画像に関する情報を受信し、それをテクスチャモジュール30026に通信し得る。
【0125】
シミュレーションデバイス30000のモジュールからの情報は、手術データシステムインターフェース30014を介して、コンピュータ実装インタラクティブ手術システム100の1つ又は2つ以上の要素に提供され得る。例えば、コンピュータ実装インタラクティブ手術システム100の1つ又は2つ以上の要素は、メトリック抽出モジュール30030からのシミュレートされた処置計画に関連する統計を受信し得る。例えば、コンピュータ実装インタラクティブ手術システム100の1つ又は2つ以上の要素は、セッション記憶及び管理モジュール30032から、再現されたシミュレーション可視化処置計画を受信し得る。例えば、手術データシステムインターフェースモジュール30014は、インターフェースモジュール30012とコンピュータ実装インタラクティブ手術システム100の1つ又は2つ以上の要素との間に通信経路を提供し得る。例えば、ライブ外科的処置中の外科医は、手術室からシミュレーション情報にアクセスし得る、及び/又はシミュレーションを操作し得る。例えば、外科医は、外科医コンソール118を使用して、ライブ外科的処置に対応するシミュレーションにアクセスすることができる、及び/又は当該シミュレーションと相互作用することができる。
【0126】
メトリック抽出モジュール30014は、シミュレーションの動作に関連する様々なパラメータの記録機能を提供し得る。例えば、メトリック抽出モジュール30014は、持続時間、活動の数、動きの数、動きの複雑さ、参加したスタッフ、スタッフの動き、機器及び/又は器具の変更などシミュレーション全般に関連するメトリックを記録し得る。例えば、メトリック抽出モジュール30014は、シミュレートされた患者バイタル、合併症、衝突、出血などシミュレーションの特定側面に関連するメトリックを記録し得る。メトリック抽出モジュール30014は、シミュレーション中にメトリック関連事象のマスタログを維持し得る。メトリック抽出モジュール30014は、シミュレーションに使用されるアプリケーションモジュール30010からの構成に従ってメトリック関連事象を記録し得る。
【0127】
セッション記憶及び管理モジュール30032は、メインシミュレーション実行記録の管理機能を提供し得る。例えば、セッション記憶及び管理モジュール30032は、シミュレーションが全体として再実行され、表示され、及び/又は分析されることを可能にする情報を記憶し得る。セッション記憶及び管理モジュール30032は、図10に関して開示される入力、シミュレーション状態、及び出力など各入力、シミュレーション状態、及び出力に関する情報を記憶し得る。セッション記憶及び管理モジュール30032は、以前のシミュレーションが、新しいユーザ入力によって呼び出され、コピーされ、初期化されることを可能にし得る。例示すると、訓練中の外科医は、経験豊富な外科医によって実行されたシミュレーションを呼び出し、重要なステップにおいてシミュレーションを一時停止させ、自身でそのステップを試みることができる。セッション記憶及び管理モジュール30032は、特定のシミュレーションの様々な実行間でオーバーレイ機能を提供し得る。そのようなオーバーレイは、類似性及び差異を強調し得、訓練を強化し得る。
【0128】
オペレーティングシステムモジュール30034は、シミュレーションデバイス30000のハードウェアリソース及び/又はソフトウェアリソースを管理し得る。オペレーティングシステムモジュール30034は、シミュレーションデバイス30000の他のモジュールにコンピューティングシステムレベルの共通サービスを提供し得る。例えば、オペレーティングシステムモジュール30034は、ハードウェア入出力処理、メモリ割り当て、ハードウェア割込み処理、ソフトウェア割込み処理、スレッド処理、シングルタスク処理、マルチタスク処理などを提供し得る。シミュレーションデバイス30000は、リアルタイムコンピューティングデバイスであり得る。オペレーティングシステムモジュール30034は、リアルタイムオペレーティングシステムを含み得る。例えば、オペレーティングシステムモジュール30034は、コアシミュレーションモジュール30016によって確立された事象及びフレームレートによって駆動され得る。
【0129】
図8は、例示的手術シミュレータシステムのブロック図である。シミュレーションデバイス30000は、例示的ハードウェアアーキテクチャとともに示されている。例えば、シミュレーションデバイス30000は、プロセッサ30034、メモリ30036、ストレージ30038、ディスプレイアダプタ30040、操作インターフェースアダプタ30042、手術データシステムアダプタ30044、及び/又はネットワークアダプタ30046を含み得る。プロセッサ30034、メモリ30036、ストレージ30038、ディスプレイアダプタ30040、操作インターフェースアダプタ30042、手術データシステムアダプタ30044、及び/又はネットワークアダプタ30046のうちの1つ又は2つ以上は、本明細書に開示されるシミュレーションデバイス30000のモジュールの動作を可能にするために使用され得る。
【0130】
プロセッサ30046は、コンピュータ処理ユニット、グラフィックス処理ユニット、任意の好適なマイクロコントローラ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(application specific integrated circuit、ASIC)など、並びに/又はコンピュータエージェント及び/若しくは人間のユーザとの相互作用のために3Dシミュレートされた環境を処理し、提供するのに好適である、それらの任意の組み合わせを含み得る。一実施例では、プロセッサ30046は、1つ又は2つ以上の処理ユニットを含み得る。プロセッサ30046は、本明細書に開示されるデジタル処理要件を実施するように、任意の好適な深さのプロセッサであり得る。例えば、プロセッサ30046、32ビットのプロセッサ、64ビットのプロセッサ、128ビットのプロセッサなど。
【0131】
そのようなプロセッサは、プロセッサによって実行されると、プロセッサによって実行又は支援されるものとして本明細書に記載されるステップをプロセッサに実行させることができる命令を記憶し得る媒体、例えばコンピュータ可読媒体を備え得るか、又はそれと通信し得る。コンピュータ可読媒体のいくつかの実施形態は、限定するものではないが、ウェブサーバ内のプロセッサなどプロセッサにコンピュータ可読命令を提供することができる電子、光学式、磁気、又は他の記憶デバイスを含み得る。媒体の他の例は、フロッピーディスク、CD-ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成されたプロセッサ、全ての光媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取ることができる任意の他の媒体を含むが、これらに限定されない。記載されるプロセッサ及び処理は、1つ又は2つ以上の構造であり得、1つ又は2つ以上の構造を介して分散され得る。プロセッサは、本明細書に記載される方法のうちの1つ又は2つ以上(又は方法の一部)を実行するためのコードを含み得る。
【0132】
メモリ30036は、データを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、メモリ30036は、揮発性メモリ及び/又は不揮発性メモリを含み得る。メモリ30036は、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能なプログラマブル読み取り専用メモリ(erasable programmable read-only memory、EPROM)、電気的に消去可能なプログラマブル読み取り専用メモリ(EEPROM)、フラッシュメモリなどを含み得る。
【0133】
ストレージ30038は、大量のデータを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、ストレージ30038は、ハードディスクドライブ(hard disk drive、HDD)、ソリッドステートドライブ(solid state drive、SSD)、ネットワーク接続ストレージ(network-attached storage、NAS)などを含み得る。ストレージ30038は、データベース構造及び/又はデータベース管理システム(database management system、DBMS)を含み得る。
【0134】
ディスプレイアダプタ30040は、3Dシミュレーション環境の視覚表現を出力するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、ディスプレイアダプタ30040は、グラフィックスカード、ディスプレイカード、グラフィックスアダプタなどを含み得る。ディスプレイアダプタ30040は、ヒューマンインターフェースデバイス30004のディスプレイなどディスプレイデバイスへの出力画像のフィードを生成するために使用され得る。ディスプレイアダプタ30040は、グラフィックス処理ユニット(graphics processing unit、GPU)を含み得る。ディスプレイアダプタ30040は、例えば、グラフィックスパイプラインをレンダリングするためのハードウェアを含み得る。操作インターフェースアダプタ30042は、ヒューマンインターフェースデバイスから操作情報を受信し、及び/又はヒューマンインターフェースデバイスにフィードバック情報を出力するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、操作インターフェースアダプタ30042は、仮想現実ヘッドセットから動作追跡情報を受信し、次に、ユーザに表示されているビューを操作し得る。例えば、操作インターフェースアダプタ30042は、外科用器具を操作しているユーザを示す制御入力を受信し、次に、ユーザのハンドヘルドデバイスに触覚フィードバックを出力し得る。例えば、操作インターフェースアダプタ30042は、従来のデスクトップキーボード及びマウスから制御情報を受信し得る。操作インターフェースアダプタは、シリアル入力/出力ポート、パラレル入力/出力ポート、ユニバーサル非同期送受信機(universal asynchronous receiver transmitter、UART)、ディスクリート論理入力/出力ピン、アナログ-デジタル変換器、デジタル-アナログ変換器、ユニバーサルシリアルバス(universal serial bus、USB)ポート、USB-Cポート、FireWireポート、高性能パラレルインターフェース(High Performance Parallel Interface、HIPPI)、Thunderboltポート、Yapbus、イーサネット、ギガビットイーサネット、及び/又は任意の他の好適な周辺インターフェース技術など入力/出力ハードウェアを含み得る。
【0135】
手術データシステムアダプタ30044は、手術データシステム30008と通信するのに好適な任意の構成要素又は構成要素の集合を含み得る。手術データシステムアダプタ30044は、シミュレーションデバイス30000と手術データシステム30008との間に物理チャネルを確立するための通信ハードウェアを含み得る。例えば、手術データシステムアダプタ30044は、USBポート、USB-Cポート、FireWireポート、HIPPIポート、Thunderboltポート、Yapbusポート、イーサネットポート、ギガビットイーサネットポート、及び/又は任意の他の好適な周辺インターフェースを含み得る。手術データシステムアダプタ30044は、ネットワークアダプタ30046及びネットワーク30048を介してシミュレーションデバイス30000と手術データシステム30008との間に論理チャネルを確立するためのハードウェア、ソフトウェア、及び/又はそれらの組み合わせを含み得る。
【0136】
ネットワークアダプタ30046は、例えばネットワーク30048などネットワークを介した通信に好適な任意の構成要素又は構成要素の集合を含み得る。ネットワークアダプタ30046は、ローカルエリアネットワーク(local area network、LAN)、ワイドエリアネットワーク(wide area network、WAN)、及び/又はモバイルネットワークなどを介した通信を可能にし得る。LAN技術としては、光ファイバ分散データインターフェース(FDDI)、銅線分散データインターフェース(CDDI)、Ethernet/IEEE802.3、Token Ring/IEEE802.5、Wi-Fi/IEEE 802.11などを挙げることができる。WAN技術としては、ポイントツーポイントリンク、統合サービスデジタルネットワーク(ISDN)及びその変形などの回路交換ネットワーク、パケット交換ネットワーク並びにデジタル加入者回線(DSL)を挙げることができるが、これらに限定されない。モバイルネットワークは、GSM/GPRS/EDGE(2G)、UMTS/HSPA(3G)、ロングタームエボリューション(LTE)又は4G、LTEアドバンスト(LTE-Advanced、LTE-A)、ニューラジオ(NR)又は5Gなどのモバイル通信プロトコルのうちの1つ又は2つ以上に基づく通信リンクを含み得る。
【0137】
一実施形態では、ネットワークアダプタ30046は、5Gネットワークアダプタなど無線ネットワークアダプタを含み得る。そのような5Gネットワークアダプタ30046は、5G New Radio(NR)トランシーバを使用して、拡張モバイルブロードバンド(enhanced mobile broadband、eMBB)に超高信頼低遅延通信(ultra-reliable and low latency communication、URLLC)を提供し得る。そのような5Gネットワークアダプタ30046は、3.5Ghz~7Ghz及び/又は24GHz~48GHz帯域などより高い無線帯域など無線帯域を使用し得る。そのような5Gネットワークアダプタ30046にサービス提供するネットワーク30048としては、パブリックワイヤレスネットワーク、セミプライベート(例えば、ネットワークスライシングベースの)ネットワーク、及び/又は完全プライベートワイヤレスネットワークが挙げられ得る。
【0138】
図9は、例示的手術シミュレータのユーザインターフェースデバイス30004を描写する、ブロック図である。ヒューマンユーザインターフェースデバイス30004は、例示的ハードウェアアーキテクチャとともに示されている。例えば、ヒューマンユーザインターフェースデバイス30004は、プロセッサ30050、メモリ30052、ディスプレイサブシステム30054、及び/又は操作サブシステム30056を含み得る。
【0139】
プロセッサ30050は、コンピュータ処理ユニット、グラフィックス処理ユニット、任意の好適なマイクロコントローラ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ(FPGA)、特定用途向け集積回路(ASIC)など、及び/又はシミュレーションデバイス30000から受信した視覚情報の表示、シミュレーションデバイスに送信するための操作情報の処理、シミュレーションデバイス30000から受信したフィードバック情報の処理などに関連する処理を取り扱うのに好適なそれらの任意の組み合わせを含み得る。プロセッサ30050は、ユーザからの制御操作を検知するために1つ又は2つ以上のローカルセンサとインターフェースし、及び/又はユーザからのフィードバックを提供するために1つ又は2つ以上のローカルアクチュエータとインターフェースするためのマイクロコントローラを含み得る。
【0140】
そのようなプロセッサは、プロセッサによって実行されると、プロセッサによって実行又は支援されるものとして本明細書に記載されるステップをプロセッサに実行させることができる命令を記憶し得る媒体、例えばコンピュータ可読媒体を備え得るか、又はそれと通信し得る。コンピュータ可読媒体のいくつかの実施形態は、限定するものではないが、ウェブサーバ内のプロセッサなどプロセッサにコンピュータ可読命令を提供することができる電子、光学式、磁気、又は他の記憶デバイスを含み得る。媒体の他の例は、フロッピーディスク、CD-ROM、磁気ディスク、メモリチップ、ROM、RAM、ASIC、構成されたプロセッサ、全ての光媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取ることができる任意の他の媒体を含むが、これらに限定されない。記載されるプロセッサ及び処理は、1つ又は2つ以上の構造であり得、1つ又は2つ以上の構造を介して分散され得る。プロセッサは、本明細書に記載される方法のうちの1つ又は2つ以上(又は方法の一部)を実行するためのコードを含み得る。
【0141】
メモリ30036は、データを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、メモリ30036は、揮発性メモリ及び/又は不揮発性メモリを含み得る。メモリ30036は、ランダムアクセスメモリ(RAM)、読み取り専用メモリ(ROM)、消去可能なプログラマブル読み取り専用メモリ(EPROM)、電気的に消去可能なプログラマブル読み取り専用メモリ(EEPROM)、フラッシュメモリなどを含み得る。
【0142】
ディスプレイサブシステム30054は、シミュレーションデバイス30000からユーザに3Dシミュレーションの視覚表現を表示するのに好適な任意の構成要素又は構成要素の集合を含み得る。ディスプレイサブシステムは、モニタ、デジタルプロジェクタ、スマートフォン、デジタルヘッドセット、仮想現実ヘッドセット、立体視ディスプレイ、ロボット手術外科医のコンソールディスプレイ、手術用ディスプレイユニット、手術用顕微鏡などディスプレイハードウェアを含み得る。
【0143】
操作サブシステム30056は、ユーザから操作制御を収集してシミュレーションデバイス30000に送信し、及び/又はシミュレーションデバイス30000から受信したフィードバック情報をユーザに提供するのに好適な任意の構成要素又は構成要素の集合を含み得る。ユーザからの操作は、ユーザに関わる、例えば、シミュレーションにおけるユーザの意図を示すために関与する、センサとの任意のインターフェースを含み得る。例えば、インターフェースとしては、キーボード、マウス、ジョイスティック、実際の外科用器具のサイズ、形状、及び動作を模倣する物理的機器、仮想現実ハンドヘルドコントローラ、スマートグローブ、動作検知システム(例えば、手追跡システムなど)、ロボット手術外科医のコンソールマニピュレータ及び/又は制御部、実際のロボット手術外科医のコンソールマニピュレータ並びに/又は制御装置のサイズ、形状、及び動作を模倣する物理的ユニットなどが挙げられ得る。例えば、インターフェースは、シミュレーション内でユーザの視点を示すために、ヘッドセット内に加速度計などの視点センサを含み得る。
【0144】
シミュレーションデバイス30000からのフィードバックは、ユーザに感覚入力を提供するアクチュエータとの任意のインターフェースを含み得る。例えば、フィードバックとしては、触覚フィードバック、力フィードバック、温度フィードバック、水分フィードバック、音声フィードバック、嗅覚フィードバックなどが挙げられ得る。例えば、ロボット手術外科医のコンソールのマニピュレータにおける力フィードバック及び/又は触覚アクチュエータを使用して、そのようなマニピュレータをライブ処置で動作させた場合にユーザが感じるであろうフィードバックをシミュレートすることができる。例えば、実際の手術用ステープラのサイズ、形状、及び動作を模倣するユーザデバイスにおける力フィードバック及び/又は触覚アクチュエータを使用して、例えば組織に係合し、ステープラを発射するときの力フィードバックなど、生体組織上でそのようなデバイスを動作させる場合にユーザが感じるであろうフィードバックをシミュレートすることができる。
【0145】
図10は、例示的手術シミュレータの動作のフロー図である。30058において、シミュレーションアプリケーションがロードされ得る。例えば、コアシミュレーションモジュール30016は、特定のアプリケーションモジュール30010に関連付けられたデータをメモリ30036にロードさせ得る。ロードされたデータは、プロセッサ30034が特定のシミュレーションを動作させるための命令を含み得る。ロードされたデータは、シミュレーションの処置計画を含み得る。例えば、処置計画は、例えば、図11A図11Bに関して、本明細書に開示されるように構造化され得る。ロードされたデータは、シミュレーションの初期状態を含み得る。
【0146】
30060において、シミュレーション出力が判定され得る、及び/又は送信され得る。例えば、シミュレーション出力は、シミュレーションデバイス30000によって判定され得る、及び/又は送信され得る。ここで、コアシミュレーションモジュール30016は、シミュレーションの現在の状態(例えば、初期状態及び/又は後続の状態)を参照し得る。コアシミュレーションモジュール30016は、現在の状態を処理して出力するために1つ又は2つ以上の他のモジュールに関与し得る。例えば、コアシミュレーションモジュールは、物体特性モジュール30020、テクスチャモジュール30026、アプリケーションモジュール30010、3Dグラフィックスパイプライン30028、インターフェースモジュール30012、及び/又は手術データシステムインターフェースモジュール30014のうちのいずれかに関与して、現在のシミュレーション状態を情報に処理して出力し得る。出力に関連する情報は、例えば、メトリック抽出モジュール30030並びに/又はセッション記憶及び管理モジュール30032によって処理され得る、及び/又は記憶され得る。
【0147】
例えば、人間が操作するシミュレーションセッションでは、出力情報は、ディスプレイアダプタ30040及び/又は操作インターフェースアダプタ30042を介して、ヒューマンインターフェースデバイス30004のディスプレイサブシステム30054及び/又は操作サブシステム30056に送信され得る。例えば、コンピュータ制御シミュレーションセッションでは、出力情報は、インターフェースモジュール30012を介して外科医エージェント30006に送信され得る。また、例えば、コンピュータ制御シミュレーションセッションでは、出力情報は、アプリケーションモジュール30010において送信され得る(例えば、ローカルに処理され得る)。例えば、手術データシステム30008を介してアクセスされるセッションでは、出力情報は、手術データシステムアダプタ30044及び/又はネットワークアダプタ30046を介して手術データシステムインターフェースモジュール30014によって送信され得る。
【0148】
30062において、シミュレーション入力が受信され得る、及び/又は処理され得る。例えば、シミュレーション入力は、シミュレーションデバイス30000によって受信され得る、及び/又は処理され得る。ここで、コアシミュレーションモジュールは、インターフェースデバイス、手術データシステムインターフェースモジュール、及び/又はアプリケーションモジュール30010に関与して、制御入力を受信し得る。入力に関連する情報は、例えば、メトリック抽出モジュール30030並びに/又はセッション記憶及び管理モジュール30032によって処理され得る、並びに/又は記憶され得る。
【0149】
例えば、人間が操作するシミュレーションセッションでは、入力情報は、ヒューマンインターフェースデバイス30004の操作サブシステム30056から送信され、操作インターフェースアダプタ30042を介して受信され得る。例えば、コンピュータ制御シミュレーションセッションでは、入力情報は、外科医エージェント30006から送信され、インターフェースモジュール30012を介して受信され得る。また、例えば、コンピュータ制御シミュレーションセッションでは、入力情報は、アプリケーションモジュール30010において受信され得る(例えば、ローカルに処理され得る)。例えば、手術データシステム30008を介してアクセスされるセッションでは、入力情報は、手術データシステムアダプタ30044及び/又はネットワークアダプタ30046を介して受信され、最初に手術データシステムインターフェースモジュール30014によって処理され得る。
【0150】
30064において、後続のシミュレーション状態が判定され得る。例えば、後続のシミュレーション状態は、現在のシミュレーション状態及び/又は任意の受信された入力から判定され得る。コアシミュレーションモジュール30016は、シミュレーションデバイス30000の他のモジュールのうちの1つ又は2つ以上に関与して、後続のシミュレーション状態を判定することができる。例えば、コードシミュレーションモジュール30016は、アプリケーションモジュール、物体特性モジュール、物理モジュール、生理学的モジュールなどに関与し得る。後続のシミュレーション状態は、プロセッサ30034の動作によって判定され得る。入力に関連する情報は、例えば、メトリック抽出モジュール30030並びに/又はセッション記憶及び管理モジュール30032によって処理され得る、並びに/又は記憶され得る。
【0151】
このステージでは、プロセスは、30060において入力を受信することにループし得る。このフローの各繰り返しは、シミュレーションにおける対応する時間サイクルを表し得る。シミュレーションのフレームレートは、シミュレーションの目標及び手術シミュレーションデバイス30000の処理能力に好適なレベルに設定され得る。より低いフレームレートは、ライブ人間相互作用シミュレーションを達成する処理を可能にし得る。より高いフレームレートは、より高いシミュレーション忠実度を可能にし得る。例えば、コンピュータ制御シミュレーションを、例えば外科医エージェント30006を用いて動作させるとき、より高いフレームレートがシミュレーションの処理時間に、シミュレーションしている実世界時間を超えさせる場合であっても、より高いフレームレートが使用され得る。
【0152】
図11A図11Bは、コンピュータ実装インタラクティブ手術システム及び/又は手術シミュレータで使用するための例示的な外科的処置計画のデータ構造を示す。外科的処置計画は、外科的処置を実行するために使用され得るスタッフ、機器、技法、及びステップを概説する情報を含み得る。例えば、処置計画は、処置において関与するべき役割及び/又は特定の医療専門家を示すスタッフ名簿を含み得る。処置計画は、処置中に使用され得る、耐久性のある手術機器、撮像機器、器具、消耗品など機器のリストを含み得る。例えば、処置計画は、手術室を準備するときに外科医及び手術に好適なツール及び材料を組み立てるために使用する、外科技術師のための候補リストを含み得る。処置計画は、処置の予定される技法に関する情報を含み得る。例えば、同一手術目標の処置計画は、異なるアクセス方法、授動方法、検査方法、組織接合方法、創傷閉鎖方法などを含み得る。
【0153】
処置計画は、個々の症例に関する外科医の専門家としての判断を反映し得る。処置計画は、特定の技法に対する外科医の選好及び/又は経験を反映し得る。処置計画は、特定の手術タスクを役割及び機器にマッピングし得る。処置計画は、予定処置のタイムラインを提供し得る。
【0154】
処置計画は、1つ又は2つ以上の決定点及び/又は分岐を含み得る。そのような決定点及び/又は分岐は、処置の特定の態様に利用可能である外科的選択肢を提供し得、選択肢のうちの1つを選択することは、手術自体からの情報に基づき得る。例えば、1つ又は2つ以上の選択肢を選択することは、特定患者の解剖学的構造の特定平面に基づいて選択され得、外科医は、ライブ手術中に患者の組織の評価に基づいて選択肢を選択し得る。
【0155】
処置計画は、1つ又は2つ以上の不測事態を含み得る。これらは、可能性が低いものの生じ得る、ライブ手術中にあり得る状況に関する情報を含み得る。不測事態は、当該状況が生じた場合に用いられ得る、1つ又は2つ以上の手術タスクを含み得る。不測事態は、十分な機器、スタッフ、及び/又は消耗品を処置中にいつでも使用できることを保証するために使用され得る。
【0156】
処置計画は、1つ又は2つ以上のデータ構造で記録され得る。処置計画データ構造は、将来のライブ手術に関するデータ、完了したライブ手術に関するデータ、将来のシミュレートされた手術に関するデータ、完了したシミュレートされた手術に関するデータなどを記録するために使用され得る。ライブ手術用の処置計画データ構造は、コンピュータ実装インタラクティブ手術システム100によって使用され得る。例えば、ライブ手術用の処置計画データ構造は、コンピュータ実装インタラクティブ手術システム100の状況認識及び/又は動作態様を強化するために、手術用ハブ106によって使用され得る。ライブ手術用の処置計画データ構造は、手術用ハブ106によって使用されて、構造化分析のためにライブ手術の別個の要素を記録し得る。
【0157】
処置計画データ構造は、シミュレーションデバイス30000によって使用され得る。例えば、処置計画データ構造はシミュレーションデバイス30000によって使用されて、シミュレーションセッションの設定及び/又は1つ又は2つ以上の目的を確立し得る。例えば、処置計画データ構造は、シミュレーションデバイス30000によって使用されて、構造化分析のためにシミュレートされた手術の個別要素を記録し得る。
【0158】
処置計画データ構造は、処置に関連するデータ要素を捕捉するのに好適な任意の構造を含み得る。例えば、処置計画は、例えば、図11Aに示されるものなどツリー状データ構造で記録され得る。ここで、ツリー構造のルートは、コア処置データ30066を表す。コア処置データ30066は、処置名、処置コード、患者名、日付、時間など、処置全般に関する情報を含み得る。シミュレーションの場合、コア処置データ30066は、デバイスID、ソフトウェアバージョン、ユーザ、シミュレーション実行設定(フレームレート、解像度、接続されたユーザインターフェースデバイスなど)などシミュレーションデバイスに関する情報を含み得る。
【0159】
処置データは、ツリー構造のリーフを含み得る。第1のレベルのリーフは、処置セットアップ30068、1つ又は2つ以上の処置ステージ30070、1つ又は2つ以上の不測事態30072、及び処置の結果30074に関するデータなど、処置計画の主要な態様に関するデータを含むことができる。
【0160】
セットアップデータ30068は、処置の準備及び/又は初期状態に関する情報を含み得る。例えば、セットアップデータ30068は、スタッフ名簿、スタッフの役割及び/又はスタッフID、手術室ID、機器リスト、部屋のレイアウト、当初の手術台位置、術野で準備された器具及び/又は消耗品のリスト、機器に関連する全ての初期設定、術前画像、患者記録など要素を含み得る。シミュレーションの場合には、セットアップデータ30068は、シミュレートされた解剖学的構造の記録、シミュレートされた生理機能の記録、術前画像などシミュレートされた環境に関する情報を含み得る。
【0161】
ステージデータ30070は、処置の主要マイルストーンに関連するデータ要素を含み得る。例えば、処置のステージは、アクセスの確立などマイルストーンを含み得る。ステージデータ30070は、処置の特定ステージを実行するために使用され得るスタッフ、機器、技法、及びステップに関連する情報を含み得る。ステージデータ30070は、ステージIDを含み得る。
【0162】
ステージは、1つ又は2つ以上の手術タスク30076など1つ又は2つ以上のサブリーフによって更に詳述され得る。手術タスクは、所与のステージ内の別個の手術ステップを表し得る。例えば、アクセスステージにおいて、トロカールを配置することは、手術タスクであり得る。手術タスクデータ30076は、タスクIDを含み得る。手術タスクデータ30076は、タスクを実行しているスタッフ及び/又は外科医、使用される機器、適用される特定の技法、タスク実行中の患者バイタル、他の環境情報、及びリストなど特定のタスクに関連する情報を含み得る。各タスクは、目標データ30078、解剖学的構造-器具相互作用に関連するデータ30080、及び結果データ30082を用いて更に詳述され得る。目標データ30078は、タスク実行の相対的成功を示す情報を含み得る。目標データ30078は、予定タスク持続時間、許容可能な実行特異度、効率モダリティ、合併症の回避などに関する情報を含み得る。結果データ30082は、1つ又は2つ以上の目標に関連する情報を含み得る。結果データ30082は、目標に対する手術実行(例えば、ライブ及び/又はシミュレートされた)を記録し得る。
【0163】
タスクデータ30076は、解剖学的構造-器具相互作用データ30080の1つ又は2つ以上の要素を含み得る。解剖学的構造-器具相互作用データ30080は、手術実行の粒度の細かい指示を表し得る。解剖学的構造-器具相互作用データ30080は、手術タスクの実行に使用される1つ又は2つ以上の特定の活動を表し得る。解剖学的構造-器具相互作用データ30080は、外科医の観察可能な挙動を表し得る。
【0164】
一実施例では、解剖学的構造-器具相互作用データ30080は、外科医によって解剖学的構造に加えられている特定の位置、力、角度などを含み得る。例えば、ライブ手術では、手術用ハブ106によってスマート器具から記録されたデータは、解剖学的構造-器具相互作用データ30080として捕捉され得る。例えば、コンピュータ実装インタラクティブ手術システム100の他の要素と協働する手術用スマートステープラは、ステープラの位置、角度、先端力、ジョー力、ステープルカートリッジタイプ、閉鎖圧力、発射速度などを記録し得る。シミュレートされた手術では、同様のデータ要素が捕捉され得る。
【0165】
不測事態データ30072は、処置に関連し得る任意の合併症を示し得る。各不測事態データ30072は、特定の合併症に対する適切な反応に対処する1つ又は2つ以上のタスクデータ要素30084を含み得る。不測事態データ30072は、元の処置計画からの逸脱を示し得る。また、例えば、不測事態データは、1つ又は2つ以上のタスク30078及び/又は解剖学的構造-器具相互作用30080と相互参照され得る。例えば、解剖学的構造-器具相互作用30080における特定の実行が合併症につながり得る場合、当該実行の性質及び不測事態の相互参照は、当該解剖学的構造-器具相互作用30080に関連する結果データ30082に含まれ得る。
【0166】
結果データ30074は、処置の結果を示し得る。ここで、手術実行のメトリック全般が記憶され得、実際の及び/若しくはシミュレートされた患者回復情報、並びに/又は患者成果を記録する。例えば、結果データ30074は、効率情報、コスト情報、手術期間、作業負荷メトリック、計画された消耗品の使用割合などを含み得る。
【0167】
図11Bは、特定の処置、タスク、又は活動を完了するための代替ステップの構造を更に確立する、上記で開示された要素を有する処置計画データ構造を示す。示されるように、処置データ30086によって表される処置は、2つの代替セットアップを含み得、それぞれのセットアップデータ(第1のセットアップデータ30088、30090、及び第2のセットアップデータ30092)によってそれぞれ示される。第1のセットアップデータ30088、30090は、2つの代替タスク30094、30096を含み得る。第2セットアップデータ30092は、1つのタスク30098を含み得る。この図では、処置データ30086によって表される処置は、3つの異なる方法で達成され得る。第1の方法は、第1のセットアップ30088及び第1のタスク30094を用いる。第2の方法は、第1のセットアップ30090及び第2のタスク30096を用いる。そして第3の方法は、第2のセットアップ30092及びその対応するタスク30098を用いる。
【0168】
ツリー構造の各パスは、処置を実行するための代替方法の特定のセットを表し得る。そのような構造は、特定のライブ及び/又はシミュレートされた手術用の特定の処置計画の作成を支援するために有用であり得る。そのような構造は、処置の多くの考えられる代替策をシミュレートして結果の差異を評価するのに有用であり得る。
【0169】
図12は、シミュレートされた手術タスクにおける例示的な手術結果管理を示す。
【0170】
30500において、シミュレーション環境が、受信され得る。実施例では、シミュレーション環境は、1つ又は2つ以上の手術タスクをシミュレートするために使用され得る。シミュレーション環境は、環境パラメータのセットによって定義され得る。例えば、環境パラメータのセットは、シミュレートされた患者の解剖学的構造及び/又は生理機能を定義し得る。例えば、環境パラメータは、結腸(例えば、結腸の特性)及び/又は結腸を取り囲む身体構造を定義し得る。結腸を定義する環境パラメータの実施例は、結腸破砕性であり得る。環境パラメータは、例えば、結腸の破砕性を表す数値で設定され得る。
【0171】
実施例では、環境パラメータは、シミュレートされた患者の解剖学的構造及び/又は生理機能の状態を示し得る。例えば、環境パラメータは、結腸が十分な血液供給を欠いていることを示し得る。例えば、環境パラメータは、結腸の血液供給を表す数値で設定され得る。結腸が十分な血液供給を欠いている場合、数値は、予想される結腸血液供給よりも低くなり得る。実施例では、環境パラメータのセットは、ベースライン解剖学的構造及び/又は生理機能を示し得る。実施例では、結果環境パラメータは、例えば、外科的相互作用データによって表される外科的相互作用の結果であり得る、修正された解剖学的構造を示し得る。
【0172】
実施例では、環境パラメータのセットを定義することは、図7に関して記載されるように、物体特性モジュール及び/又は生理学的モジュールを包含し得る。環境パラメータは、例えば、シミュレータによって、シミュレーション環境において使用される画像を生成し得る表示モジュールに送信され得る。画像は、本明細書に記載される環境パラメータ及び/又は結果環境パラメータによって定義される患者の解剖学的構造及び/又は生理機能を表し得る。画像を生成することは、図7に関して記載されるように、テクスチャモジュール及び/又は3Dグラフィックスパイプラインを包含し得る。
【0173】
手術タスクは、医療処置に関連付けられ得る。例えば、医療処置は、外科医が患者の状態を治療するために1つ又は2つ以上の手術タスクを行うことを包含し得る。実施例では、医療処置は、肥満手術であり得る。肥満手術に関連付けられた手術タスクは、胃アクセス、胃授動、及び/又は胃離断であり得る。シミュレータは、シミュレートされ得る1つ又は2つ以上の手術タスクを認識し得る。シミュレータのユーザは、例えば、医療処置を完了するために、手術タスクの各々を実行し得る。手術タスクは、図11A及び/又は11Bに関して記載されたタスクと同様の特徴を含み得る。
【0174】
実施例では、手術タスクは、表示画面上でシミュレータのユーザに表示され得る。推奨される医療器具及び/又は推奨される行動方針などの手術タスクに関連する情報は、表示画面上に表示され得る。表示画面は、図8に関して記載されるように、ヒューマンインターフェースデバイス上に含まれ得る。
【0175】
手術タスクは、医療処置コンテキストに関連付けられ得る。医療処置コンテキストは、シミュレートされた患者の解剖学的構造及び/又は生理機能の状態を示し得る。実施例では、医療処置コンテキストは、環境パラメータに関連付けられ得る。例えば、医療処置コンテキストは、環境パラメータのサブセットを含み得る。例えば、医療処置は、結腸直腸手術であり得、医療処置コンテキストは、本明細書に記載されるような結腸破砕性と関連付けられた数値を含み得る。実施例では、シミュレータは、環境パラメータから医療処置コンテキストを生成し得る。実施例では、医療処置コンテキストは、組織破砕性、組織脆弱性、血流、組織灌流、アレルギー反応、血圧、及び/又は心拍数を含み得る。
【0176】
医療処置コンテキストは、図7に関して記載されるように、シミュレータによって手術データシステムに送信され得る。実施例では、医療処置及び医療処置コンテキストは、図7に関して記載されるように、手術データシステムに送信され得る。手術データシステムは、例えば、シミュレータに送信する外科的相互作用データを判定するときに、医療処置コンテキストを使用し得る。
【0177】
30505において、外科的相互作用データが、受信され得る。外科的相互作用データは、図7に関して記載されるように、手術データシステムから受信され得る。実施例では、外科的相互作用データは、手術データシステムからシミュレータに送信され得る。シミュレータは、外科的相互作用データを要求する要求メッセージを手術データシステムに送信し得る。外科的相互作用データを要求する要求メッセージは、医療処置及び医療処置コンテキストを含み得る。実施例では、要求メッセージは、周期的に送信され得る。要求メッセージは、例えば、本明細書に記載されるように、重要なユーザ相互作用データがシミュレータによって受信された後に送信され得る。
【0178】
外科的相互作用データを要求する要求メッセージは、シミュレートされ得る手術タスクに基づいて送信され得る。例えば、シミュレータは、結腸直腸手術をシミュレートすることであり得る。結腸直腸手術は、結腸を授動する手術タスクを含み得る。シミュレータは、例えば、シミュレータが結腸の授動をシミュレートしている場合、結腸の授動に関する外科的相互作用データを要求し得る。実施例では、外科的相互作用データは、本明細書に記載されるような医療処置コンテキストに基づき得る。例えば、外科的相互作用データは、医療処置コンテキストによって示されるような低い結腸破砕性を有する結腸に基づき得る。手術データシステムは、医療処置コンテキストに基づいて、外科的相互作用データをフィルタリングし得、フィルタリングされた外科的相互作用データは、シミュレータに送信され得る。
【0179】
30510において、ユーザ相互作用データが、受信され得る。ユーザ相互作用データは、シミュレータによって受信され得る。ユーザ相互作用データは、図7に関して記載されるような物理モジュールを含み得る。ユーザ相互作用データは、シミュレーション環境内の1つ又は2つ以上のユーザ行動に基づき得る。例えば、シミュレータは、結腸直腸手術をシミュレートすることであり得る。ユーザは、例えば、結腸手術タスクを授動することを実行するために、シミュレートされた内胸動脈(internal mammary artery、IMA)を結紮し得る。ユーザは、シミュレーションにおいてそのような行動を実行するために、図14に関して記載されるような入力デバイスを使用し得る。そのような場合、物理モジュールは、シミュレートされたIMAを結紮するユーザに関連するデータを測定し得る。例えば、シミュレータは、ユーザがIMAを結紮する場合に、ユーザによって入力デバイスに加えられる力を測定し得る。
【0180】
30515において、シミュレータによって受信されたユーザ相互作用データは、1つ又は2つ以上のトリガ事象に対して比較され得る。本明細書に記載される外科的相互作用データは、トリガ事象を含み得る。トリガ事象は、図7に関して記載されるように、手術データシステムにおいて生成され得る。実施例では、手術データシステムは、現実の医療処置及び現実の医療処置コンテキストに関連付けられた履歴データを記憶し得る。手術データシステムは、病院などの医療施設によって所有及び/又は運営され得る。そのような場合、履歴データは、医療施設のスタッフによって以前に実行された現実の医療処置及び医療処置コンテキストに関連付けられ得る。
【0181】
手術データシステムは、履歴データを分析し得、外科医の行動と環境事象との間の相関を識別し得る。手術データシステムは、相関に基づいて、トリガ事象及び対応する結果環境パラメータを設定し得る。例えば、手術データシステムは、履歴データに基づいて、外科医が特定の量の力をIMAに加えるときに、IMAが断裂する傾向があることを識別し得る。そのような場合、手術データシステムは、IMAに加えられた力の量に対応するトリガ事象を設定し得、IMA断裂に対応する結果環境パラメータを設定し得る。手術データシステムは、トリガ事象を結果環境パラメータにリンクし得る。例えば、IMAに加えられた力の量に対応するトリガ事象は、IMA断裂に対応する結果環境パラメータにリンクされ得る。
【0182】
ユーザ相互作用データがトリガ事象に一致することを条件として、シミュレーション環境は、結果環境パラメータに基づいて、修正され得る。例えば、環境パラメータの数値のうちの1つ又は2つ以上は、ユーザ相互作用データに一致したトリガ事象に関連付けられた結果環境パラメータのうちの1つ又は2つ以上の数値で更新され得る。修正は、図7に関して記載されるような物体特性モジュールを包含し得る。更新された値は、結果環境パラメータに対応する画像を生成し得る表示モジュールに送信され得る。生成された画像は、修正されたシミュレートされた環境をユーザに示すために、シミュレータによって使用され得る。
【0183】
実施例では、トリガ事象は、IMAに加えられる力であり得、対応する結果環境パラメータは、IMA断裂を示し得る。シミュレータは、ユーザがシミュレーション中に結腸を授動しようと試みる場合、ユーザがIMAに力を加えることに関連付けられたユーザ相互作用データを受信し得る。シミュレータは、ユーザ相互作用データを、IMAに加えられた力に関連付けられたトリガ事象に対して比較し得る。ユーザによって加えられた力は、トリガ事象に一致し得る。そのような場合、シミュレータは、ユーザ相互作用データがトリガ事象に一致することを識別し得、トリガ事象にリンクされた結果環境パラメータで環境パラメータを更新し得る。そのような場合、シミュレーション環境は、断裂されたIMAを示すように変化し得る。
【0184】
実施例では、外科的相互作用データは、フィルタリングされた外科的相互作用データとなるようにフィルタリングされ得る。フィルタリングされた外科的相互作用データは、フィルタリングされたトリガ事象及び/又はフィルタリングされた結果環境パラメータを含み得る。フィルタリングされた外科的相互作用データは、シミュレータ及び/又は手術データシステムによってフィルタリングされ得る。手術データシステムは、医療処置及び医療処置コンテキストに基づいて、外科的相互作用データをフィルタリングし得る。例えば、シミュレータは、現在シミュレートされている医療処置を手術データシステムに送信し得る。シミュレータは、医療処置に関連付けられた医療コンテキストを手術データシステムに送信し得る。手術データシステムは、例えば、医療処置及び医療処置コンテキストに対応するように、その上に記憶されたトリガ事象及び結果環境パラメータをフィルタリングし得る。
【0185】
実施例では、トリガ事象に関連付けられた1つ又は2つ以上の確率が、判定され得る。実施例では、図7に関して記載されるような手術データシステムは、本明細書に記載される履歴データに基づいて、確率を判定し得る。例えば、手術データシステムは、履歴データを分析し、外科医が特定の力をIMAに加えるときの時間の20%で、IMAの断裂であると判定し得る。シミュレータによって受信される外科的相互作用データは、トリガ事象及び結果環境パラメータとともに確率を含み得る。確率は、トリガ事象及び結果パラメータにリンクされ得る。例えば、確率20%は、IMAを断裂するために加えられた力に関連付けられたトリガ事象にリンクされ得る。そのような場合、シミュレータは、ユーザ相互作用データがトリガ事象に一致する時間の20%で、結果環境パラメータで環境パラメータを更新し得る。
【0186】
実施例では、1つ又は2つ以上のトリガ事象に関連するトリガ閾値が、判定され得る。シミュレータは、トリガ事象に基づいて、トリガ閾値を判定し得る。実施例では、手術データシステムは、トリガ事象に基づいて、トリガ閾値を判定し得る。外科的相互作用データは、トリガ閾値を含み得る。実施例では、手術データシステムは、例えば、シミュレータから外科的相互作用データを要求するメッセージを受信した後に、トリガ閾値を含む外科的相互作用データをシミュレータに送信し得る。
【0187】
トリガ閾値は、ユーザ相互作用データに対して比較され得る。実施例では、シミュレータは、シミュレートされた手術タスクを実行する外科医に関連するユーザ相互作用データを受信し得る。シミュレータは、ユーザ相互作用データを、例えば、本明細書に記載されるような手術データシステムから受信されている可能性がある、1つ又は2つ以上のトリガ閾値に対して比較し得る。シミュレータは、ユーザ相互作用データがそれぞれのトリガ閾値を超えたと判定し得る。そのような場合、シミュレータは、本明細書に記載されるように、結果環境パラメータに基づいて、シミュレーション環境を修正し得る。
【0188】
実施例では、1つ又は2つ以上の手術タスクに基づく外科的相互作用基準が、判定され得る。手術データシステムは、医療処置及び医療処置コンテキストに関連付けられた履歴データに基づいて、外科的相互作用基準を判定し得る。外科的相互作用データは、外科的相互作用基準を含み得る。外科的相互作用基準は、トリガ事象及び/又は結果環境パラメータにリンクされ得る。
【0189】
シミュレータは、例えば、結果環境パラメータに基づいて、シミュレートされた環境を修正するかどうかを決定するときに、外科的相互作用基準を考慮し得る。実施例では、シミュレータは、ユーザ相互作用データがトリガ事象に一致することを判定し得る。そのような場合、シミュレータは、結果環境パラメータに基づいて、シミュレートされた環境を修正するかどうかを判定するために、シミュレーション基準を評価し得る。実施例では、シミュレーション相互作用基準は、シミュレートされた医療処置及び/又はシミュレートされた手術タスクに残っている持続時間を含み得る。例えば、シミュレータは、残り時間がX値以上である場合、結果環境パラメータに基づいて、シミュレーション環境を修正し得る。シミュレータは、残り時間がX値未満である場合、結果環境パラメータに基づいて、シミュレーション環境を修正しなくてもよい。シミュレーション基準は、ユーザの経験レベルを含み得る。例えば、シミュレータは、ユーザがエキスパート経験レベルを有する場合、結果環境パラメータに基づいて、シミュレーション環境を修正し得る。シミュレータは、ユーザが初心者の経験レベルを有する場合、結果環境パラメータに基づいて、シミュレーション環境を修正しなくてもよい。
【0190】
図13は、シミュレートされた手術タスクにおける例示的な手術結果管理を示す。
【0191】
シミュレータ30520は、シミュレータモジュール30540を備え得る。シミュレータモジュール30540は、図7に関して記載されるように、コアシミュレーションモジュールに含まれ得る。実施例では、シミュレータモジュール30540は、図7に関して記載されるようなアプリケーションモジュールのうちの1つ又は2つ以上であり得る。
【0192】
シミュレータモジュール30540は、シミュレータスクリプト30545を含み得る。シミュレータスクリプト30545は、シミュレータ30520に関する実行可能命令を含み得る。シミュレータモジュール30540は、例えば、シミュレーションを実行するときに、スクリプト30545を実行し得る。実施例では、シミュレータスクリプト30545は、シミュレータモジュール30540から独立し得る。
【0193】
スクリプト30545は、1つ又は2つ以上のシミュレーションパラメータ値を含み得る。シミュレーションパラメータ値は、シミュレーション環境を定義するために使用され得る。シミュレーション環境は、医療処置に関連付けられ得る。例えば、シミュレータ30520は、結腸直腸手術をシミュレートし得る。そのような場合、シミュレーション環境は、結腸、胃、直腸、及び/又は結腸を取り囲む組織を含み得る。そのような場合、シミュレーション環境は、IMAなどの結腸直腸手術に関与する動脈を含み得る。
【0194】
シミュレーション環境情報が、受信され得る(30525)。シミュレーション環境情報は、医療処置及び医療処置コンテキストに関連し得る。シミュレータは、それがシミュレートしようとする医療処置及び医療処置コンテキストに基づいて、シミュレーション環境情報を要求し得る。例えば、シミュレータは、瘢痕組織が結腸を囲む結腸直腸手術をシミュレートすることを意図し得る。シミュレータは、この情報に関連するデータを要求メッセージにおいてリモートデータベースに送信し得る。データベースは、瘢痕組織が結腸を取り囲む結腸直腸手術に関するシミュレーション環境情報を有する応答メッセージを送信し得る。シミュレーション環境情報は、例えば、シミュレーションによって受信されるときに、スクリプトシミュレーションパラメータ値として設定され得る。例えば、スクリプトシミュレーションパラメータ値の1つは、瘢痕組織の量に関する数値であり得る。シミュレータは、例えば、データベースから送信された応答メッセージに基づいて、数値を入力し得る。
【0195】
シミュレータモジュール30540は、医療処置及び医療処置コンテキストに関連付けられたシミュレーション環境30555をシミュレートし得る。シミュレータモジュール30540は、医療処置に関連付けられた手術タスクをシミュレートし得る。例えば、シミュレータモジュール30540は、結腸直腸外科医療処置のための結腸授動をシミュレートし得る。シミュレータ30520は、結腸授動手術タスクを実行するために、ユーザが行うステップを表示し得る。
【0196】
ユーザは、シミュレーションと相互作用し得る。実施例では、ユーザは、図7に関して記載されるように、インターフェースモジュールを介してシミュレーションと相互作用し得る。実施例では、ユーザは、シミュレーションと相互作用するために、図8に関して記載されるようなユーザインターフェースデバイスを使用し得る。シミュレータモジュールは、ユーザ相互作用に関連するユーザ相互作用データ30530を要求し得る。例えば、ユーザインターフェースデバイスは、ユーザ相互作用データ30530を記憶し得、例えば、ユーザ相互作用データ30530についての要求への応答として、ユーザ相互作用データ30530をシミュレータモジュール30540に送信し得る。実施例では、ユーザインターフェースデバイスは、ユーザ相互作用データ30530をシミュレータモジュール30540に周期的に送信し得る。実施例では、図7に記載されるような手術データシステムは、ユーザ相互作用データ30530を記憶し、シミュレータモジュール30540に送信し得る。例えば、ユーザインターフェースデバイスは、ユーザ相互作用データ30530を手術データシステムに送信し得る。
【0197】
手術結果情報30535が、受信され得る。実施例では、手術結果情報30535は、本明細書に記載される手術データシステムから受信され得る。手術結果情報30535は、本明細書に記載される外科的相互作用データを含み得る。例えば、手術結果情報30535は、1つ又は2つ以上のトリガ事象と、トリガ事象に関連付けられた1つ又は2つ以上の結果環境パラメータとを含み得る。手術結果情報30535は、シミュレータ30520によって受信され、手術結果データベースに記憶され得る。そのような場合、手術結果情報30535は、手術結果データ30550と称され得る。手術結果データベースは、例えば、シミュレータ30520がシミュレーションにおいて手術結果データ30550を使用することを所望する場合に、シミュレータ30520が手術結果データ30550にアクセスすることを可能にし得る。
【0198】
シミュレータモジュール30540は、手術結果データ30550を要求し得る。そのような場合、シミュレータ30520は、手術結果データ30550をシミュレータモジュール30540に送信し得る。シミュレータモジュール30540は、ユーザ相互作用データ30530を手術結果データ30550に対して比較し得る(30560)。例えば、シミュレータモジュール30540は、ユーザ相互作用データ30530をトリガ事象に対して比較し得る。シミュレータモジュール30540は、図12に関して記載されるように、ユーザ相互作用データ30530がトリガ事象に一致するかどうかを評価し得る。
【0199】
ユーザ相互作用データ30530がトリガ事象に一致しないことを条件として、シミュレータモジュール30540は、図12に関して記載されるように、シミュレーション環境を修正せず、修正されていないシミュレーション環境30565を出力し得る。ユーザ相互作用データ30530がトリガ事象に一致することを条件として、シミュレータモジュール30540は、図12に関して記載されるように、手術結果データ30550に基づいて、シミュレーション環境を修正し、修正されたシミュレーション環境30570を出力し得る。例えば、シミュレータモジュール30540は、ユーザ相互作用データ30530がトリガ事象に一致すると評価し得る。そのような場合、シミュレータモジュール30540は、結果環境パラメータについての要求を送信し得る。要求は、手術結果データベースに送信され得る。要求は、シミュレータ30520に送信され得る。結果環境パラメータは、例えば、要求に応答して、シミュレータモジュール30540に送信され得る。実施例では、シミュレータ30520は、結果環境パラメータをシミュレータモジュール30540に送信するように、手術結果データベースに指示し得る。
【0200】
結果環境パラメータは、シミュレーション環境を修正し、修正されたシミュレーション環境30570を出力するために、使用され得る。実施例では、シミュレーション環境パラメータは、シミュレーション環境を修正するために、結果環境パラメータで交換され得る。図13に示されるように、結果環境パラメータは、切断された動脈を示すようにシミュレーション環境を修正するために、使用され得る。例えば、画像は、図12に関して記載されるように、結果環境パラメータに基づいて、生成され得る。結果環境パラメータは、シミュレータモジュール30540と通信し得る表示モジュールに送信され得る。
【0201】
図14は、シミュレータ設計のレイアウトを示す。
【0202】
シミュレータ30575は、シミュレーションモジュール30605を含み得る。シミュレーションモジュール30605は、図13に関して記載されるようなシミュレーションモジュール30605であり得る。シミュレーションモジュール30605は、図7に関して記載されるようなコアシミュレーションモジュールであり得る。実施例では、シミュレーションモジュール30605は、図7に関して記載されるような1つ又は2つ以上のアプリケーションモジュールであり得る。
【0203】
シミュレーションモジュール30605は、手術結果モジュール30610と通信し得る。実施例では、手術結果モジュール30610は、シミュレータ30575の構成要素であり得る。実施例では、手術結果モジュール30610は、シミュレータ30575とは別個であり得る。手術結果モジュール30610は、図7に関して記載されるような手術データシステムの構成要素であり得る。
【0204】
手術結果モジュール30610は、トリガ事象及び結果環境パラメータを分析し得る。例えば、手術結果モジュール30610は、トリガ事象をそれぞれの結果環境パラメータとリンクさせ得る。手術結果モジュール30610は、トリガ事象及び結果環境パラメータを記憶するデータベース構造を備え得る。
【0205】
シミュレーションモジュール30605は、トリガ事象及びそれぞれの結果環境パラメータを要求するメッセージを手術結果モジュール30610に送信し得る。要求メッセージは、クエリに関連付けられ得る。要求メッセージは、トリガ事象を備え得る。実施例では、トリガ事象及び各トリガ事象に関連付けられた確率の要求メッセージリスト。
【0206】
要求メッセージは、手術結果アプリケーションプログラミングインターフェース(API)30615によって定義され得る。例えば、手術結果API30615は、要求メッセージのフォーマットを定義し得る。フォーマットは、シミュレーションモジュール30605と手術結果モジュール30610との間の通信を容易にし得る。実施例では、手術結果API30615は、要求メッセージが正しいフォーマットであることを確認するために、要求メッセージを分析し得る。実施例では、手術結果API30615は、要求メッセージをフォーマットに変換し得る。
【0207】
手術結果API30615は、シミュレーションモジュール30605と手術結果モジュール30610との間で交換されるデータにセキュリティを提供し得る。実施例では、手術結果API30615は、シミュレーションモジュール30605と手術結果モジュール30610との間の通信において認証キーが使用されることを可能にし得る。認証キーは、手術結果API30615が、例えば、ハッキング攻撃を防止するのに役立つモジュールのアイデンティティを確認することを可能にし得る。例えば、シミュレーションモジュール30605は、要求メッセージを手術結果モジュール30610に送信するときに、認証キーを送信し得る。手術結果API30610は、認証キーをチェックし、シミュレーションモジュールのアイデンティティを確認し得る。手術結果API30615は、例えば、認証キーをチェックした後に、要求メッセージが手術結果モジュール30610に進むことを可能にし得る。
【0208】
手術結果モジュール30610は、例えば、シミュレーションモジュール30605から要求メッセージを受信した後に、トリガ事象についてデータベースに問い合わせ得る。手術結果モジュール30610は、トリガ事象に一致するトリガ事象を特定し得る。手術結果モジュール30610は、トリガ事象にリンクされた結果環境パラメータを特定し得る。手術結果モジュール30610は、トリガ事象及び結果環境パラメータをシミュレーションモジュール30605に送信し得る。実施例では、手術結果モジュール30610は、結果環境パラメータのみをシミュレーションモジュール30605に送信し得る。
【0209】
シミュレータ30575は、表示モジュール30595を含み得る。表示モジュール30595は、シミュレータ30575の構成要素であり得る。実施例では、表示モジュール30595は、シミュレータ30575とは別個であり得る。表示モジュール30595は、図7に関して記載されるように、三次元(three-dimensional、3D)グラフィックスパイプラインと通信し得る。実施例では、表示モジュール30595は、図7に関して記載されるようなアプリケーションモジュールであり得る。
【0210】
表示モジュール30595は、シミュレーション環境に関連付けられた画像を生成し得る。例えば、シミュレータ30575は、結腸直腸手術をシミュレートすることを意図し得、シミュレーション環境が、外科医が結腸直腸手術中に見る環境を表すことを所望し得る。そのような環境を表すために、シミュレータ30575は、結腸直腸手術に関連する画像を生成するために、表示モジュール30595を使用し得る。実施例では、表示モジュール30595は、例えば、医療処置に関連する画像が記憶されているリモートストレージにアクセスし得る。実施例では、表示モジュール30595は、画像をローカルデータベースに記憶し得る。
【0211】
物理モジュール30600は、入力デバイス30585に基づいて、ユーザ相互作用データを測定し得る。実施例では、入力デバイス30585は、ロボットコントローラであり得る。ユーザは、シミュレーションに関連付けられた手術タスクを実行するために、ロボットコントローラを動かし得る。実施例では、ロボットコントローラは、手術タスクに関連付けられた医療器具に類似し得る。例えば、ロボットコントローラは、ユーザが結腸授動手術タスクを実行している場合、ハーモニックスカルペルに類似し得る。
【0212】
入力デバイス30585は、トリガを含み得る。トリガは、ユーザがシミュレーションにおいてシミュレートされた医療器具でシミュレートされた力を加えることを可能にし得る。例えば、結腸授動手術タスクのシミュレーション中に、ユーザは、入力のトリガを押し得る。押圧に関連付けられたデータは、ユーザ相互作用モジュールによって受信され得る。ユーザ相互作用モジュールは、押圧データをフィルタリングし得る。シミュレータ30575は、シミュレートされた医療器具で力をシミュレートするために、フィルタリングされた押圧データを使用して得る。例えば、シミュレータ30575の環境パラメータは、シミュレートされた医療器具の力を表し得る。シミュレータ30575は、フィルタリングされた押圧データを環境パラメータの値として入力し得る。
【0213】
入力デバイス30585は、アクチュエータ30590を含み得る。アクチュエータ30590は、回転アクチュエータ及び/又は線形アクチュエータであり得る。アクチュエータ30590は、手術タスクを実行するために入力デバイス30585をどのように動かすかをユーザに明示し得る。アクチュエータの動きに関連付けられたデータは、ユーザが見るためにディスプレイ30580上に現れ得る。
【0214】
シミュレータ30575は、ディスプレイ30580と通信し得る。ディスプレイ30580は、シミュレータ30575のユーザにアクセス可能であり得る。シミュレータ30575は、表示モジュール30595によって生成された画像を、ユーザが見るためにディスプレイ30580に出力し得る。表示モジュール30595は、入力デバイス30585から受信されたユーザ相互作用データに基づいて、画像を生成し得る。画像は、シミュレーションのリアルタイムライブストリームとして、ディスプレイ30580に出力され得る。そのような場合、ユーザは、入力デバイス30585上でのユーザの行動の結果を見ることが可能であり得る。例えば、ユーザは、トリガを押し得、表示モジュール30595は、エネルギービームを発射するシミュレートされた医療器具を示す画像を生成し得る。
【0215】
改善された現実世界の処置感覚のための動的かつ適応的な相互作用シミュレーションが、提供され得る。動的適応相互作用シミュレーションは、ユーザの相互作用に反応し得る。適応シミュレーション反応は、例えば、シミュレーションユーザの選択及び/又は反応の相互作用に基づいて自動的に調整し得る、処置の調整可能な態様を含み得る。反応は、コンパイルされたデータの集約であり得る実世界データセットの要約であり得る。調整可能な態様は、シミュレートされた患者に対する地域差、共存症、投薬反応、及び/又は他の治療を含み得る。
【0216】
患者特有の情報でのシミュレータの自動カスタマイズが、提供され得る。シミュレートされた解剖学的構造は、例えば、シミュレーションが模倣しようとしている患者とシミュレーションが整合されることを可能にするように、実世界及び/又は選択されたパラメータでカスタマイズされ得る。これは、例えば、研修医の専門知識を広げるために、研修医が遭遇し得る合併症又は他の問題を指導者が選択し得るので、訓練において有用であり得る。現実の患者のための処置計画をシミュレートする現実世界の外科医の場合、シミュレーションのカスタマイズは、外科医がアクセス、患者の問題、及び/又は共存症などを理解することができるように、シミュレーションが現実の患者の相互作用に近くなることを可能にし得る。
【0217】
地域的、患者人口統計的、又は現実世界の手術データでの人工知能コンパイル及び更新が、提供され得る。
【0218】
シミュレーションの動的変数及び態様は、ユーザの反応に基づいて、並びに以前の手術の実世界データセットに基づいて、シミュレーションを調整することが可能であり得る、機械学習アルゴリズムによって更新され得る。以前の手術の実世界データセットは、外科医によって行われた処置の集約、その施設からの手術、及び/又は同じネットワーク内のハブを使用する外科医の集大成であり得る。
【0219】
機械学習アルゴリズムは、例えば、ベストプラクティス、手術に関する地域データ、及び/又は世界中の任意の数の他の施設からの世界中の成果及び使用ステップをコンパイルし得る、クラウド及び/又はリモートシステムからのデータによって更新され得る。
【0220】
シミュレートされた患者の反応は、シミュレーションのユーザの行動、アプローチ、問題、解決などに基づいて、調整され得る。患者パラメータは、選択された共存症、地域差、健康状態に基づいて調整され得、及び/又はシミュレートされた患者が受ける投薬治療及び/又は他の治療に基づく機械学習による効果であり得る。
【0221】
実世界の情報は、例えば、地域、人口などからの処置成果に由来するものであり得、並びに/又は、サブバイオマーカー測定値及び成果の補間及び/若しくは集計であり得る。
【0222】
患者パラメータは、ウェアラブルからの入力(例えば、身体活動、血圧、聴取率、シミュレーションにおける合併症のx週間の術前駆動確率、及び注視術中指示)に基づいて調整され得る。患者パラメータは、服用された薬剤及び薬剤がいつ服用されたか、食事、運動、並びに/又は睡眠などの、非ウェアラブルアプリケーションベースの患者入力からの入力に基づいて、調整され得る。
【0223】
可能性の高い変動を表示、選択、可能、及び/又はトグル可能にするための確率駆動型局所合併症及び吻合変動が、提供され得る。統計的及び/又は中間リスク確率は、ユーザの行動及び/又はデバイス使用に対する身体、生理機能、器官などの反応の現実的な変動を作成するために、使用され得る。確率反応は、システムの再利用ごとに異なり得る適応の範囲を生成し得る。適応の範囲は、シミュレートされている患者及び/又は手術との相互作用の現実世界の雰囲気を相互作用に与え得る。
【0224】
薬剤及び/又は材料に対する既知又は未知のアレルギー/アレルギー反応に対する患者応答のシナリオを作成するシミュレータが、提供され得る。シミュレータは、信号及び/又は反応を識別するためにスタッフを訓練及び開発するために使用され得る。シナリオは、患者特性及び/又は既知のアレルギーに基づいて、患者に合わせて調整され得る。
【0225】
規定のシミュレートされた患者の共存症、アレルギーなどは、定義されて得、システムは、シミュレーションが実行される際に、これらをコンテキストとして利用し得る。例えば、ステップ、ジョブ、及び/又は薬剤が、複雑な患者変数に起因して異なる反応を有し得る場合、シミュレーションは、その新しい修正された反応を含み得る。
【0226】
選択に基づく反応的及び予測的な可変結果が、提供され得る。結果の反応変数は、血流、灌流、肺葉切除(例えば、風船のように充填され得る、肺内の肺動脈における動脈又は静脈)、血管又は気管支、アクセス(例えば、解剖学的構造が、外向きであり得る、血管をどのように提示するか)、異なる病状が異なる成果を含み得る静脈及び動脈、ミクロ若しくはマクロ組織緊張、又は技法(例えば、技法に基づいて外科医の合併率を予測し得る)のうちの1つ又は2つ以上を含む。反応変数は、リンクされ得る。反応変数は、シミュレーションユーザ行動に基づく有害事象リスクの予測であり得る。
【0227】
例えば、特定の組織の撓みに基づく組織破砕予測の指示は、力を示し得る。力は、応力につながり得る、撓み及び破砕を引き起こし得る。応力は、例えば、下にある構造にアクセスするために、肝臓又は別の重い器官にかかる収縮力が高すぎることに起因して、撓みを引き起こし得る。
【0228】
処置精通度のための適応困難性教示及び/又は反応シミュレーションが、提供され得る。適応可能な選択肢及び/又は反応は、ユーザがチャレンジの確率を設定すること、及び/又はユーザ選択に対するシミュレータの応答を変化させるために反応のタイプ及び強度を定義することを可能にする態様を含み得る。
【0229】
困難性の変化は、より低い確率であるがより高いリスクの態様、有害事象、及び/又は合併症が利用され、ユーザがそれらを克服することを可能にする可能性を含み得る。適応性にはランダム性の態様があり得る。例えば、ユーザが同じシミュレーションを2回実行し、同じセットのステップ及び相互作用を行った場合、シミュレーションの反応が異なり得る可能性があり得る。
【0230】
実施例では、出血可能性、組織脆弱性及び組織断裂、組織破砕性及び組織の脆弱性又はその異常な薄さの放射線治療反応、アブレーション治療、融解された組織、並びに凝固、炎症などに対するその影響は、適応及び/又は反応に含まれ得る。
【0231】
以下の実施形態の非包括的な列挙はまた、本開示の一部を形成する。
【0232】
実施形態1.シミュレートされた手術タスクにおける手術結果を管理するためのデバイスであって、デバイスは、
プロセッサを備え、プロセッサは、
環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、
外科的相互作用データを受信することであって、外科的相互作用データは、トリガ事象の指示と、トリガ事象に関連付けられた結果環境パラメータの指示とを含む、受信することと、
シミュレーション環境内のユーザ行動に基づく、手術タスクに関連付けられたユーザ相互作用データを受信することと、
受信されたユーザ相互作用データがトリガ事象に一致することを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することと、を行うように構成されている、デバイス。
【0233】
外科的相互作用データを受信することによって、実施形態1のデバイスは、このデータに基づいて、既存のシミュレーション環境を修正するように構成されている。これは、実施形態1のデバイスがシミュレーションに複雑さを導入することを可能にする。換言すれば、(例えば、病院で行われた以前の手術の履歴データからの)既知の入力及び出力を含むデータのセットが、既知のシミュレーション環境を改善するために使用され得る。
【0234】
これの1つの技術的利点は、訓練運動の有効性を改善することができる、シミュレーション環境の現実性を改善することである。改善された訓練の結果は、外科医が手術合併症についてよりうまく準備することになるので、手術成果が改善され得ることである、デバイス。
【0235】
実施形態2.外科的相互作用データは、手術タスクに関連付けられており、手術タスクは、医療処置及び医療処置コンテキストを含む、実施形態1に記載のデバイス。
【0236】
医療処置コンテキストは、行われている処置のタイプを指し得ることが理解され得る。それはまた、シミュレートされた患者の解剖学的構造及び/又は生理機能の状態を指し得る。
【0237】
実施形態3.トリガ事象及び結果環境パラメータは、医療処置と医療処置コンテキストとに関連付けられた履歴データに基づき、履歴データは、手術用ハブによって記録された以前に実行されたライブ処置に基づく、実施形態2に記載のデバイス。
【0238】
履歴データに基づく外科的相互作用データを受信することの利点は、既知のシミュレーションモデルが反復的に改善され、現実世界の合併症に基づいてより正確にすることができることである。換言すれば、シミュレーション環境は、既知の手術選択及びそれらのそれぞれの手術成果に基づいて反復的に改善されることができる。
【0239】
「履歴データ」は、以前に行われた1つ又は2つ以上の手術に対応する、メモリに記憶されたデータを指すことができることが理解され得る。これらの場合、手術用ハブは、後でアクセスして、異なる行為から生じる傾向及び特定の結果を検出することができるように、手術中に様々なパラメータを監視し、かつこのデータを同期して記憶するように構成することができる。
【0240】
実施形態4.履歴データは、医療施設に関連付けられたローカルデータであり、以前に実行されたライブ処置は、医療施設に関連付けられた医療スタッフによって実行され、手術用ハブは、医療施設によって制御され、実施形態3に記載のデバイス。
【0241】
実施形態5.プロセッサは、
トリガ事象が発生する確率を判定し、
確率に基づいて、更新シミュレーション事象を判定し、かつ
更新シミュレーション事象が発生することを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正するように更に構成されている、実施形態1~4のいずれか1つに記載のデバイス。
【0242】
トリガ事象に対する確率的アプローチの利点は、手術訓練環境の現実性を更に改善することである。特に、特定の結果が時間の一部でのみ発生する場合、この詳細は、訓練環境の現実性を更に改善するために、シミュレーションにインポートされ得る。
【0243】
実施形態6.プロセッサは、
外科的相互作用データを、フィルタリングされた外科的相互作用データにフィルタリングすることであって、フィルタリングされた外科的相互作用データは、フィルタリングされたトリガ事象の指示と、フィルタリングされた結果環境パラメータの指示とを含み、フィルタリングされたトリガ事象は、医療処置及び医療処置コンテキストに基づく、フィルタリングすることを行うように更に構成されている、実施形態2~5のいずれか1つに記載のデバイス。
【0244】
この実施形態の利点は、外科的相互作用データを解析するために必要とされる処理能力が低減されることである。この実施形態の更なる利点は、特定の手術タスクに関連するトリガ事象及び対応する結果環境パラメータを受信することによって、シミュレーションが改善された訓練成果のためにより正確に初期化され得ることである。例えば、血管の結紮に関連する大きな利用可能なデータのアレイが存在し得る(データの各部分は、手術成果又は結果に関連付けられている)。しかしながら、行われている手術のタイプに基づく結紮に起因して、異なる結果が存在し得る。したがって、特定の医療処置/コンテキストに限定するために利用可能なデータのアレイをフィルタリングすること、及び対応するトリガ事象/結果環境パラメータのペアのみをシミュレータを修正するためのパラメータとして使用することによって、結果として得られるシミュレーションは、概して改善され得る。
【0245】
実施形態7.プロセッサは、
外科的相互作用データに関連付けられたトリガ閾値を判定することと、
ユーザ相互作用データがトリガ閾値を超えることを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することと、を行うように更に構成されている、実施形態1~6のいずれか1つに記載のデバイス。
【0246】
この実施形態の利点は、デバイスが、生データのセットからトリガ条件を生成するように構成され得ることである。これは、例えば、トリガが外科手術環境において異なる結果を引き起こすことができるパターン及び閾値を識別するために使用され得る、機械学習機構を通して達成され得る。これらの閾値を判定することによって、手術シミュレーションは、以前に可能であったものを超えて、より現実的にされ得る。
【0247】
実施形態8.プロセッサは、
手術タスクに基づいて、手術事象相互作用基準を判定することと、
受信されたユーザ相互作用データが手術事象相互作用基準を満たすことを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することと、を行うように更に構成されている、実施形態2~7のいずれか1つに記載のデバイス。
【0248】
実施形態9.外科的相互作用基準は、医療処置と医療処置コンテキストとに関連付けられている、実施形態8に記載のデバイス。
【0249】
実施形態10.環境パラメータのセットは、ベースライン解剖学的構造を示し、結果環境パラメータは、外科的相互作用データによって表される外科的相互作用の結果である修正された解剖学的構造を示す、実施形態1~9のいずれか1つに記載のデバイス。
【0250】
実施形態11.医療処置コンテキストは、組織破砕性、組織脆弱性、血流、組織灌流、アレルギー反応、血圧、又は心拍数のうちの少なくとも1つを含む、実施形態2~10のいずれか1つに記載のデバイス。
【0251】
実施形態12.コンピュータ実装方法であって、
環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、
外科的相互作用データを受信することであって、外科的相互作用データは、トリガ事象の指示と、トリガ事象に関連付けられた結果環境パラメータの指示とを含む、受信することと、
シミュレーション環境内のユーザ行動に基づく、手術タスクに関連付けられたユーザ相互作用データを受信することと、
受信されたユーザ相互作用データがトリガ事象に一致することを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することと、を含む、コンピュータ実装方法。
【0252】
実施形態13.外科的相互作用データは、手術タスクに関連付けられており、手術タスクは、医療処置及び医療処置コンテキストを含む、実施形態12に記載のコンピュータ実装方法。
【0253】
実施形態14.トリガ事象及び結果環境パラメータは、医療処置と医療処置コンテキストとに関連付けられた履歴データに基づき、履歴データは、手術用ハブによって記録された以前に実行されたライブ処置に基づく、実施形態13に記載のコンピュータ実装方法。
【0254】
実施形態15.履歴データは、医療施設に関連付けられたローカルデータであり、以前に実行されたライブ処置は、医療施設に関連付けられた医療スタッフによって実行され、手術用ハブは、医療施設によって制御される、実施形態14に記載のコンピュータ実装方法。
【0255】
実施形態16.トリガ事象が発生する確率を判定することと、確率に基づいて、更新シミュレーション事象を判定することと、更新シミュレーション事象が発生することを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することと、を更に含む、実施形態12~15のいずれか1つに記載のコンピュータ実装方法。
【0256】
実施形態17.
外科的相互作用データを、フィルタリングされた外科的相互作用データにフィルタリングすることであって、フィルタリングされた外科的相互作用データは、フィルタリングされたトリガ事象の指示と、フィルタリングされた結果環境パラメータの指示とを含み、フィルタリングされたトリガ事象は、医療処置及び医療処置コンテキストに基づく、フィルタリングすることを更に含む、実施形態13~16のいずれか1つに記載のコンピュータ実装方法。
【0257】
実施形態18.外科的相互作用データに関連付けられたトリガ閾値を判定することと、ユーザ相互作用データがトリガ閾値を超えることを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することと、を更に含む、実施形態12~17のいずれか1つに記載のコンピュータ実装方法。
【0258】
実施形態19.
手術タスクに基づいて、手術事象相互作用基準を判定することと、
受信されたユーザ相互作用データが手術事象相互作用基準を満たすことを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することと、を更に含む、実施形態13~18のいずれか1つに記載のコンピュータ実装方法。
【0259】
実施形態20.外科的相互作用基準は、医療処置と医療処置コンテキストとに関連付けられている、実施形態19に記載のコンピュータ実装方法。
【0260】
実施形態21.環境パラメータのセットは、ベースライン解剖学的構造を示し、結果環境パラメータは、外科的相互作用データによって表される外科的相互作用の結果である修正された解剖学的構造を示す、実施形態12~20のいずれか1つに記載のコンピュータ実装方法。
【0261】
実施形態22.医療処置コンテキストは、組織破砕性、組織脆弱性、血流、組織灌流、アレルギー反応、血圧、又は心拍数のうちの少なくとも1つを含む、実施形態13~21のいずれか1つに記載のコンピュータ実装方法。
【0262】
実施形態23.シミュレートされた手術タスクにおける手術結果を管理するためのデバイスであって、デバイスは、
プロセッサを備え、プロセッサは、
環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、
外科的相互作用データを受信することであって、外科的相互作用データは、トリガ事象の指示と、トリガ事象に関連付けられた結果環境パラメータの指示とを含む、受信することと、
シミュレーション環境内のユーザ行動に基づく、手術タスクに関連付けられたユーザ相互作用データを受信することと、
受信されたユーザ相互作用データがトリガ事象に一致するかどうかを判定することと、
受信されたユーザデータがトリガ事象に一致するかどうかの判定に基づいて、結果環境パラメータに基づき、シミュレーション環境を修正することと、を行うように構成されている、デバイス。
【0263】
実施形態24.プロセッサは、手術データシステムから外科的相互作用データを受信するように構成されている、実施形態1~11のいずれか1つ又は20に記載のデバイス。
【0264】
実施形態25.手術タスクを適応的にシミュレートするための外科手術システムであって、システムは、実施形態1~11のいずれか1つに記載のデバイスと、手術データシステムと、を備え、プロセッサは、手術データシステムから外科的相互作用データを受信するように構成されている、外科手術システム。
【0265】
実施形態26.手術データシステムは、履歴データを分析し、外科医の行動と環境事象との間の相関を識別し、かつ分析されたデータを外科的相互作用データとしてプロセッサに送信するように構成されている、実施形態25に記載の手術システム。
【0266】
上記の実施形態による手術システムは、履歴データを解析し、傾向及びトリガ事象を識別するために実行される処理など、手術データシステム上で行われる集中的なデータ処理のための能力を提供することができる。いくつかの実施形態では、手術データシステムが分析を実行すると、このデータは、プロセッサ上で実行されるシミュレーションの特定のパラメータが更新され得るように、プロセッサに渡され得る。
【0267】
相関を識別するように構成されている手術データシステムは、システムがユーザ入力なしにトリガ条件を生成することを可能にし、環境の現実性を改善するためにシミュレーションを更新するより自動化されたプロセスを可能にする。
【0268】
これは、既存のシミュレーションモジュールが、シミュレーションモジュールが設計された時点では知られていなかった可能性がある特定のトリガを補償するように適合されることを可能にする。これは、既存のシミュレーションモジュールの寿命及び適応性を改善することができる。
【0269】
実施形態27.外科的相互作用データを受信するステップは、手術データシステムから外科的相互作用データを受信することを含む、実施形態12~22のいずれか1つに記載のコンピュータ実装方法。
【0270】
実施形態28.コンピュータによって実行されるときに、コンピュータに実施形態12~22及び27のいずれか1つに記載の方法を実行させる命令を含む、コンピュータ可読媒体。
【0271】
以下の態様の非包括的な列挙はまた、本開示の一部を形成する。
【0272】
態様1.シミュレートされた手術タスクにおける手術結果を管理するためのデバイスであって、デバイスは、プロセッサを備え、プロセッサは、環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、外科的相互作用データを受信することであって、外科的相互作用データは、トリガ事象の指示と、トリガ事象に関連付けられた結果環境パラメータの指示とを含む、受信することと、シミュレーション環境内のユーザ行動に基づく、手術タスクに関連付けられたユーザ相互作用データを受信することと、受信されたユーザ相互作用データがトリガ事象に一致することを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することと、を行うように構成されている、デバイス。
【0273】
態様2.外科的相互作用データは、手術タスクに関連付けられており、手術タスクは、医療処置及び医療処置コンテキストを含む、態様1に記載のデバイス。
【0274】
態様3.トリガ事象及び結果環境パラメータは、医療処置と医療処置コンテキストとに関連付けられた履歴データに基づき、履歴データは、手術用ハブによって記録された以前に実行されたライブ処置に基づく、態様2に記載のデバイス。
【0275】
態様4.履歴データは、医療施設に関連付けられたローカルデータであり、以前に実行されたライブ処置は、医療施設に関連付けられた医療スタッフによって実行され、手術用ハブは、医療施設によって制御される、態様3に記載のデバイス。
【0276】
態様5.プロセッサは、
トリガ事象が発生する確率を判定し、確率に基づいて、更新シミュレーション事象を判定し、かつ更新シミュレーション事象が発生することを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正するように更に構成されている、態様1に記載のデバイス。
【0277】
態様6.プロセッサは、外科的相互作用データを、フィルタリングされた外科的相互作用データにフィルタリングするように更に構成されており、フィルタリングされた外科的相互作用データは、フィルタリングされたトリガ事象の指示と、フィルタリングされた結果環境パラメータの指示とを含み、フィルタリングされたトリガ事象は、医療処置及び医療処置コンテキストに基づく、態様2に記載のデバイス。
【0278】
態様7.プロセッサは、外科的相互作用データに関連付けられたトリガ閾値を判定し、ユーザ相互作用データがトリガ閾値を超えることを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正するように更に構成されている、態様1に記載のデバイス。
【0279】
態様8.プロセッサは、手術タスクに基づいて、手術事象相互作用基準を判定し、かつ受信されたユーザ相互作用データが手術事象相互作用基準を満たすことを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正するように更に構成されている、態様2に記載のデバイス。
【0280】
態様9.外科的相互作用基準は、医療処置と医療処置コンテキストとに関連付けられている、態様8に記載のデバイス。
【0281】
態様10.環境パラメータのセットは、ベースライン解剖学的構造を示し、結果環境パラメータは、外科的相互作用データによって表される外科的相互作用の結果である修正された解剖学的構造を示す、態様1に記載のデバイス。
【0282】
態様11.医療処置コンテキストは、組織破砕性、組織脆弱性、血流、組織灌流、アレルギー反応、血圧、又は心拍数のうちの少なくとも1つを含む、態様2に記載のデバイス。
【0283】
態様12.環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、外科的相互作用データを受信することであって、外科的相互作用データは、トリガ事象の指示と、トリガ事象に関連付けられた結果環境パラメータの指示とを含む、受信することと、シミュレーション環境内のユーザ行動に基づく、手術タスクに関連付けられたユーザ相互作用データを受信することと、受信されたユーザ相互作用データがトリガ事象に一致することを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することと、を含む、方法。
【0284】
態様13.外科的相互作用データは、手術タスクに関連付けられており、手術タスクは、医療処置及び医療処置コンテキストを含む、態様12に記載の方法。
【0285】
態様14.トリガ事象及び結果環境パラメータは、医療処置と医療処置コンテキストとに関連付けられた履歴データに基づき、履歴データは、手術用ハブによって記録された以前に実行されたライブ処置に基づく、態様13に記載の方法。
【0286】
態様15.履歴データは、医療施設に関連付けられたローカルデータであり、以前に実行されたライブ処置は、医療施設に関連付けられた医療スタッフによって実行され、手術用ハブは、医療施設によって制御される、態様14に記載の方法。
【0287】
態様16.外科的相互作用データを、フィルタリングされた外科的相互作用データにフィルタリングすることを更に含み、フィルタリングされた外科的相互作用データは、フィルタリングされたトリガ事象の指示と、フィルタリングされた結果環境パラメータの指示とを含み、フィルタリングされたトリガ事象は、医療処置及び医療処置コンテキストに基づく、態様13に記載の方法。
【0288】
態様17.手術タスクに基づいて、手術事象相互作用基準を判定することと、受信されたユーザ相互作用データが手術事象相互作用基準を満たすことを条件として、結果環境パラメータに基づいて、シミュレーション環境を修正することとを更に含む、態様13に記載の方法。
【0289】
態様18.環境パラメータのセットは、ベースライン解剖学的構造を示し、結果環境パラメータは、外科的相互作用データによって表される外科的相互作用の結果である修正された解剖学的構造を示す、態様12に記載の方法。
【0290】
態様19.医療処置コンテキストは、組織破砕性、組織脆弱性、血流、組織灌流、アレルギー反応、血圧、又は心拍数のうちの少なくとも1つを含む、態様13に記載の方法。
【0291】
態様20.シミュレートされた手術タスクにおける手術結果を管理するためのシステムであって、システムは、プロセッサを備え、プロセッサは、環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、手術データシステムから外科的相互作用データを受信することであって、外科的相互作用データは、トリガ事象の指示と、トリガ事象に関連付けられた結果環境パラメータの指示とを含み、手術データシステムは、トリガ事象及び結果環境パラメータを記憶する、受信することと、シミュレーション環境内のユーザ行動に基づく、手術タスクに関連付けられたユーザ相互作用データを受信することと、受信されたユーザ相互作用データがトリガ事象に一致するかどうかを判定することと、受信されたユーザデータがトリガ事象に一致するかどうかの判定に基づいて、結果環境パラメータに基づき、シミュレーション環境を修正することと、を行うように構成されている、システム。
【0292】
〔実施の態様〕
(1) シミュレートされた手術タスクにおける手術結果を管理するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、
外科的相互作用データを受信することであって、前記外科的相互作用データは、トリガ事象の指示と、前記トリガ事象に関連付けられた結果環境パラメータの指示とを含む、ことと、
前記シミュレーション環境内のユーザ行動に基づく、前記手術タスクに関連付けられたユーザ相互作用データを受信することと、
受信された前記ユーザ相互作用データが前記トリガ事象に一致することを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正することと、を行うように構成されている、デバイス。
(2) 前記外科的相互作用データは、前記手術タスクに関連付けられており、前記手術タスクは、医療処置及び医療処置コンテキストを含む、実施態様1に記載のデバイス。
(3) 前記トリガ事象及び前記結果環境パラメータは、前記医療処置と前記医療処置コンテキストとに関連付けられた履歴データに基づき、前記履歴データは、手術用ハブによって記録された以前に実行されたライブ処置に基づく、実施態様2に記載のデバイス。
(4) 前記履歴データは、医療施設に関連付けられたローカルデータであり、前記以前に実行されたライブ処置は、前記医療施設に関連付けられた医療スタッフによって実行され、前記手術用ハブは、前記医療施設によって制御される、実施態様3に記載のデバイス。
(5) 前記プロセッサは、
前記トリガ事象が発生する確率を判定し、
前記確率に基づいて、更新シミュレーション事象を判定し、かつ
前記更新シミュレーション事象が発生することを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正するように更に構成されている、実施態様1~4のいずれかに記載のデバイス。
【0293】
(6) 前記プロセッサは、前記外科的相互作用データを、フィルタリングされた外科的相互作用データにフィルタリングするように更に構成されており、前記フィルタリングされた外科的相互作用データは、フィルタリングされたトリガ事象の指示と、フィルタリングされた結果環境パラメータの指示とを含み、前記フィルタリングされたトリガ事象は、前記医療処置及び前記医療処置コンテキストに基づく、実施態様2に記載のデバイス。
(7) 前記プロセッサは、
前記外科的相互作用データに関連付けられたトリガ閾値を判定し、
前記ユーザ相互作用データが前記トリガ閾値を超えることを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正するように更に構成されている、実施態様1に記載のデバイス。
(8) 前記プロセッサは、
前記手術タスクに基づいて、手術事象相互作用基準を判定し、かつ
前記受信されたユーザ相互作用データが前記手術事象相互作用基準を満たすことを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正するように更に構成されている、実施態様2に記載のデバイス。
(9) 前記外科的相互作用基準は、前記医療処置と前記医療処置コンテキストとに関連付けられている、実施態様8に記載のデバイス。
(10) 前記環境パラメータのセットは、ベースライン解剖学的構造を示し、前記結果環境パラメータは、前記外科的相互作用データによって表される外科的相互作用の結果である修正された解剖学的構造を示す、実施態様1に記載のデバイス。
【0294】
(11) 前記医療処置コンテキストは、組織破砕性、組織脆弱性、血流、組織灌流、アレルギー反応、血圧、又は心拍数のうちの少なくとも1つを含む、実施態様2に記載のデバイス。
(12) コンピュータ実装方法であって、
環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、
外科的相互作用データを受信することであって、前記外科的相互作用データは、トリガ事象の指示と、前記トリガ事象に関連付けられた結果環境パラメータの指示とを含む、ことと、
前記シミュレーション環境内のユーザ行動に基づく、前記手術タスクに関連付けられたユーザ相互作用データを受信することと、
受信された前記ユーザ相互作用データが前記トリガ事象に一致することを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正することと、を含む、コンピュータ実装方法。
(13) 前記外科的相互作用データは、前記手術タスクに関連付けられており、前記手術タスクは、医療処置及び医療処置コンテキストを含む、実施態様12に記載のコンピュータ実装方法。
(14) 前記トリガ事象及び前記結果環境パラメータは、前記医療処置と前記医療処置コンテキストとに関連付けられた履歴データに基づき、前記履歴データは、手術用ハブによって記録された以前に実行されたライブ処置に基づく、実施態様13に記載のコンピュータ実装方法。
(15) 前記履歴データは、医療施設に関連付けられたローカルデータであり、前記以前に実行されたライブ処置は、前記医療施設に関連付けられた医療スタッフによって実行され、前記手術用ハブは、前記医療施設によって制御される、実施態様14に記載のコンピュータ実装方法。
【0295】
(16) 前記トリガ事象が発生する確率を判定することと、前記確率に基づいて、更新シミュレーション事象を判定することと、前記更新シミュレーション事象が発生することを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正することと、を更に含む、実施態様12~15のいずれかに記載のコンピュータ実装方法。
(17) 前記外科的相互作用データを、フィルタリングされた外科的相互作用データにフィルタリングすることを更に含み、前記フィルタリングされた外科的相互作用データは、フィルタリングされたトリガ事象の指示と、フィルタリングされた結果環境パラメータの指示とを含み、前記フィルタリングされたトリガ事象は、前記医療処置及び前記医療処置コンテキストに基づく、実施態様13に記載のコンピュータ実装方法。
(18) 前記外科的相互作用データに関連付けられたトリガ閾値を判定することと、前記ユーザ相互作用データが前記トリガ閾値を超えることを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正することと、を更に含む、実施態様12に記載のコンピュータ実装方法。
(19) 前記手術タスクに基づいて、手術事象相互作用基準を判定することと、
前記受信されたユーザ相互作用データが前記手術事象相互作用基準を満たすことを条件として、前記結果環境パラメータに基づいて、前記シミュレーション環境を修正することと、を更に含む、実施態様13に記載のコンピュータ実装方法。
(20) 前記外科的相互作用基準は、前記医療処置及び前記医療処置コンテキストに関連付けられている、実施態様19に記載のコンピュータ実装方法。
【0296】
(21) 前記環境パラメータのセットは、ベースライン解剖学的構造を示し、前記結果環境パラメータは、前記外科的相互作用データによって表される外科的相互作用の結果である修正された解剖学的構造を示す、実施態様12に記載のコンピュータ実装方法。
(22) 前記医療処置コンテキストは、組織破砕性、組織脆弱性、血流、組織灌流、アレルギー反応、血圧、又は心拍数のうちの少なくとも1つを含む、実施態様13に記載のコンピュータ実装方法。
(23) シミュレートされた手術タスクにおける手術結果を管理するためのデバイスであって、前記デバイスは、
プロセッサを備え、前記プロセッサは、
環境パラメータのセットによって定義された手術タスクをシミュレートするためのシミュレーション環境を受信することと、
外科的相互作用データを受信することであって、前記外科的相互作用データは、トリガ事象の指示と、前記トリガ事象に関連付けられた結果環境パラメータの指示とを含む、ことと、
前記シミュレーション環境内のユーザ行動に基づく、前記手術タスクに関連付けられたユーザ相互作用データを受信することと、
受信された前記ユーザ相互作用データが前記トリガ事象に一致するかどうかを判定することと、
前記受信されたユーザデータが前記トリガ事象に一致するかどうかの前記判定に基づいて、前記結果環境パラメータに基づき、前記シミュレーション環境を修正することと、を行うように構成されている、デバイス。
(24) 前記プロセッサは、手術データシステムから前記外科的相互作用データを受信するように構成されている、実施態様1又は20に記載のデバイス。
(25) 手術タスクを適応的にシミュレートするための手術システムであって、前記システムは、実施態様1に記載のデバイスと、手術データシステムと、を備え、前記プロセッサは、前記手術データシステムから前記外科的相互作用データを受信するように構成されている、手術システム。
【0297】
(26) 前記手術データシステムは、履歴データを分析して、外科医の行動と環境事象との間の相関を識別し、かつ分析された前記データを前記外科的相互作用データとして前記プロセッサに送信するように構成されている、実施態様25に記載の手術システム。
(27) 前記外科的相互作用データを受信するステップは、手術データシステムから外科的相互作用データを受信することを含む、実施態様12に記載のコンピュータ実装方法。
(28) コンピュータによって実行されると、前記コンピュータに実施態様12及び27に記載の方法を実行させる命令を含む、コンピュータ可読媒体。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11A
図11B
図12
図13
図14
【国際調査報告】