知財求人 - 知財ポータルサイト「IP Force」
特表2024-521112調整された画像化を有する手術シミュレーションシステム
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-05-28
(54)【発明の名称】調整された画像化を有する手術シミュレーションシステム
(51)【国際特許分類】
A61B 34/10 20160101AFI20240521BHJP
G09B 23/28 20060101ALI20240521BHJP
G09B 9/00 20060101ALI20240521BHJP
【ＦＩ】
A61B34/10
G09B23/28
G09B9/00 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023571931
(86)(22)【出願日】2022-05-20
(85)【翻訳文提出日】2024-01-12
(86)【国際出願番号】 IB2022054728
(87)【国際公開番号】W WO2022243958
(87)【国際公開日】2022-11-24
(31)【優先権主張番号】63/191,681
(32)【優先日】2021-05-21
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/332,441
(32)【優先日】2021-05-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＦＩＲＥＷＩＲＥ
３．ＴＨＵＮＤＥＲＢＯＬＴ
(71)【出願人】
【識別番号】506157570
【氏名又は名称】シラグ・ゲーエムベーハー・インターナショナル
【氏名又は名称原語表記】Ｃｉｌａｇ ＧＭＢＨ Ｉｎｔｅｒｎａｔｉｏｎａｌ
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】シャイブ・チャールズ・ジェイ
(72)【発明者】
【氏名】シェルトン・ザ・フォース・フレデリック・イー
(72)【発明者】
【氏名】フィービッグ・ケビン・エム
【テーマコード（参考）】
2C032
【Ｆターム（参考）】
2C032CA00
(57)【要約】
インタラクティブかつ動的な手術シミュレーションシステムは、コンピュータ実装インタラクティブ手術システムとの関連で使用され得る。手術シミュレーションシステムは、調整された手術撮像を提供してもよい。プロセッサは、外科処置のシミュレーションを実行するように構成され得る。外科処置は、模擬手術環境においてシミュレートされ得る。プロセッサは、第１の視覚表現及び第２の視覚表現を生成してもよい。第１の視覚表現は、模擬手術環境の第１の部分のものであってもよい。第２の視覚表現はまた、模擬手術環境の第１の部分のものであってもよい。プロセッサは、第１の視覚表現及び第２の視覚表現が外科処置における共通の事象に対応するように、第１の視覚表現及び第２の視覚表現の生成を調整することができる。また、プロセッサは、模擬手術環境内でのユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示してもよい。
【特許請求の範囲】
【請求項1】
デバイスであって、プロセッサを備え、前記プロセッサは、
外科処置のシミュレーションを実行することであって、前記外科処置は模擬手術環境においてシミュレートされる、実行することと、
前記模擬手術環境の一部分の第１の視覚表現を生成することであって、前記第１の視覚表現は、前記模擬手術環境内の一次ビューに対応する、生成することと、
前記模擬手術環境の前記一部分の第２の視覚表現を生成することであって、前記第２の視覚表現は、前記模擬手術環境内の補足ビューのシミュレーションに対応する、生成することと、
前記第１の視覚表現及び前記第２の視覚表現が前記外科処置における共通の事象に対応するように、前記第１の視覚表現の生成及び前記第２の視覚表現の生成を調整することと、
前記模擬手術環境内でのユーザ相互作用のために前記第１の視覚表現及び前記第２の視覚表現を提示することと、を行うように構成されている、デバイス。
【請求項2】
前記一次ビューは、前記手術環境内の外科医の視点を含む、請求項１に記載のデバイス。
【請求項3】
前記一次ビューは、前記外科処置の内視鏡ビューを含む、請求項１に記載のデバイス。
【請求項4】
前記二次ビューは、前記外科処置のコンピュータ断層撮影ビュー、磁気共鳴撮像ビュー、Ｘ線ビュー、又は経オリフィススコープビューのいずれかを含む、請求項１に記載のデバイス。
【請求項5】
前記第２の視覚表現は、模擬医療機器ディスプレイに位置合わせするために、前記第１の視覚表現内にマッピングされる、請求項２に記載のデバイス。
【請求項6】
前記プロセッサは、前記ユーザのための前記模擬医療機器ディスプレイのための従来のユーザインターフェースをシミュレートすることによって、ユーザ相互作用のために前記第２の視覚表現を提示するように更に構成されている、請求項５に記載のデバイス。
【請求項7】
前記プロセッサは、前記第１の視覚表現及び前記第２の視覚表現を、ユーザ相互作用のために仮想現実又は拡張現実インターフェースのいずれかに提示するように更に構成されている、請求項６に記載のデバイス。
【請求項8】
前記プロセッサは、前記ユーザに関連付けられたライブバイオマーカー情報を受信するように更に構成され、前記プロセッサは、前記ライブバイオマーカー情報に基づいて前記外科処置の前記シミュレーションの実行を修正するように更に構成されている、請求項７に記載のデバイス。
【請求項9】
前記プロセッサは、前記第１の視覚表現及び前記第２の視覚表現をコンピュータディスプレイに提示するように更に構成されている、請求項１に記載のデバイス。
【請求項10】
前記第１の視覚表現は、前記外科処置の前記シミュレーションから生成され、前記第２の視覚表現は、前記外科処置の前記シミュレーションから生成される、請求項１に記載のデバイス。
【請求項11】
前記第１の視覚表現及び前記第２の視覚表現は同期される、請求項１に記載のデバイス。
【請求項12】
前記プロセッサは、前記ユーザのための滅菌野の外側の器具類との相互作用をシミュレートすることによって、ユーザ相互作用のために前記第１の視覚表現を提示するように更に構成されている、請求項１に記載のデバイス。
【請求項13】
前記第２の視覚表現は、前記模擬手術環境内の共通の解剖学的構造に位置合わせするために、前記第１の視覚表現内にマッピングされる、請求項２に記載のデバイス。
【請求項14】
前記第１の視覚表現は、前記模擬手術環境内の第１の医療専門家の第１の視点に対応し、前記プロセッサは、前記模擬手術環境の第３の視覚表現を生成するように更に構成され、前記第３の視覚表現は、前記模擬手術環境内の第２の医療専門家の第２の視点に対応する、請求項１に記載のデバイス。
【請求項15】
前記プロセッサは、前記第１の医療専門家のユーザ相互作用のために、第１の仮想現実又は第１の拡張現実インターフェースのいずれかに前記第１の視覚表現及び前記第２の視覚表現を提示するように更に構成され、前記プロセッサは、前記第２の医療専門家のユーザ相互作用のために、第２の仮想現実又は第２の拡張現実インターフェースのいずれかに前記第３の視覚表現を提示するように更に構成されている、請求項１４に記載のデバイス。
【請求項16】
前記プロセッサは、前記第１の医療専門家に関連付けられた第１のライブバイオマーカー情報及び前記第２の医療専門家に関連付けられた第２のライブバイオマーカー情報を受信するように更に構成され、前記プロセッサは、前記第１のライブバイオマーカー情報及び前記第２のライブバイオマーカー情報に基づいて前記外科処置の前記シミュレーションの実行を修正するように更に構成されている、請求項１５に記載のデバイス。
【請求項17】
コンピュータ実装方法であって、外科処置のシミュレーションを実行することであって、前記外科処置は模擬手術環境においてシミュレートされる、実行することと、
前記模擬手術環境の一部分の第１の視覚表現を生成することであって、前記第１の視覚表現は、前記模擬手術環境内の一次ビューに対応する、生成することと、
前記模擬手術環境の一部分の第２の視覚表現を生成することであって、前記第２の視覚表現は、前記模擬手術環境内の補足ビューのシミュレーションに対応する、生成することと、
前記第１の視覚表現及び前記第２の視覚表現が前記外科処置における共通の事象に対応するように、前記第１の視覚表現の生成及び前記第２の視覚表現の生成を調整することと、
前記模擬手術環境内でのユーザ相互作用のために前記第１の視覚表現及び前記第２の視覚表現を提示することと、を含む、コンピュータ実装方法。
【請求項18】
前記一次ビューは、前記手術環境内の外科医の視点を含む、請求項１７に記載のコンピュータ実装方法。
【請求項19】
前記一次ビューは、前記外科処置の内視鏡ビューを含む、請求項１７に記載のコンピュータ実装方法。
【請求項20】
前記二次ビューは、前記外科処置のコンピュータ断層撮影ビュー、磁気共鳴撮像ビュー、Ｘ線ビュー、又は経オリフィススコープビューのいずれかを含む、請求項１７に記載のコンピュータ実装方法。
【請求項21】
前記第２の視覚表現は、模擬医療機器ディスプレイに位置合わせするために、前記第１の視覚表現内にマッピングされる、請求項１８に記載のコンピュータ実装方法。
【請求項22】
前記ユーザのための前記模擬医療機器ディスプレイのための従来のユーザインターフェースをシミュレートすることによって、ユーザ相互作用のために前記第２の視覚表現を提示することを更に含む、請求項２０に記載のコンピュータ実装方法。
【請求項23】
前記第１の視覚表現及び前記第２の視覚表現を、ユーザ相互作用のために仮想現実又は拡張現実インターフェースのいずれかに提示することを更に含む、請求項２２に記載のコンピュータ実装方法。
【請求項24】
前記ユーザに関連付けられたライブバイオマーカー情報を受信することと、前記ライブバイオマーカー情報に基づいて前記外科処置の前記シミュレーションの実行を修正することとを更に含む、請求項２３に記載のコンピュータ実装方法。
【請求項25】
前記第１の視覚表現及び前記第２の視覚表現をコンピュータディスプレイに提示することを更に含む、請求項１７に記載のコンピュータ実装方法。
【請求項26】
前記第１の視覚表現は、前記外科処置の前記シミュレーションから生成され、前記第２の視覚表現は、前記外科処置の前記シミュレーションから生成される、請求項１７に記載のコンピュータ実装方法。
【請求項27】
前記第１の視覚表現及び前記第２の視覚表現は同期される、請求項１７に記載のコンピュータ実装方法。
【請求項28】
前記ユーザのための滅菌野の外側の器具類との相互作用をシミュレートすることによって、ユーザ相互作用のために前記第１の視覚表現を提示することを更に含む、請求項１７に記載のコンピュータ実装方法。
【請求項29】
前記第２の視覚表現は、前記模擬手術環境内の共通の解剖学的構造に位置合わせするために、前記第１の視覚表現内にマッピングされる、請求項１８に記載のコンピュータ実装方法。
【請求項30】
前記第１の視覚表現は、前記模擬手術環境内の第１の医療専門家の第１の視点に対応し、前記方法は、前記模擬手術環境の第３の視覚表現を生成することを更に含み、前記第３の視覚表現は、前記模擬手術環境内の第２の医療専門家の第２の視点に対応する、請求項１７に記載のコンピュータ実装方法。
【請求項31】
前記第１の医療専門家のユーザ相互作用のために第１の仮想現実又は第１の拡張現実インターフェースのいずれかに前記第１の視覚表現及び前記第２の視覚表現を提示することと、前記第２の医療専門家のユーザ相互作用のために第２の仮想現実又は第２の拡張現実インターフェースのいずれかに前記第３の視覚表現を提示することとを更に含む、請求項３０に記載のコンピュータ実装方法。
【請求項32】
前記第１の医療専門家に関連付けられた第１のライブバイオマーカー情報及び前記第２の医療専門家に関連付けられた第２のライブバイオマーカー情報を受信することと、前記第１のライブバイオマーカー情報及び前記第２のライブバイオマーカー情報に基づいて前記外科処置の前記シミュレーションの実行を修正することと、を更に含む、請求項３１に記載のコンピュータ実装方法。
【請求項33】
デバイスであって、プロセッサを備え、前記プロセッサは、
外科処置のシミュレーションを実行することであって、前記外科処置は模擬手術環境においてシミュレートされる、実行することと、
前記模擬手術環境の一部分の第１の視覚表現を生成することであって、前記第１の視覚表現は、前記手術環境内の一次ビューに対応し、前記第１の視覚表現は、前記手術の前記シミュレーションから生成される、生成することと、
前記模擬手術環境の一部分の第２の視覚表現を生成することであって、前記第２の視覚表現は、前記手術環境処置内の補足ビューのシミュレーションに対応し、前記第２の視覚表現は、前記外科処置の前記シミュレーションから生成される、生成することと、
ユーザ相互作用のために前記第１の視覚表現及び前記第２の視覚表現を提示することと、を行うように構成されている、デバイス。
【請求項34】
前記プロセッサは、前記第１の視覚表現及び前記第２の視覚表現が前記外科処置を通じて共通の活動に対応するように、前記第１の視覚表現の生成と前記第２の視覚表現の生成とを同期させるように更に構成されている、請求項３３に記載のデバイス。
【請求項35】
コンピュータによって実行されると、前記コンピュータに請求項１７に記載の方法を実行させる命令を含む、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０２１年５月２１日出願の米国特許仮出願第６３／１９１，６８１号の利益を主張し、参照によりその開示の全体が本書に組み込まれる。
本出願は、２０２１年５月２１日出願の米国特許仮出願第６３／１９１，６８１号の利益を主張し、参照によりその開示の全体が本書に組み込まれる。
【0002】
本出願は、同時に出願された以下の出願に関連し、その各々の内容は、参照により本明細書に組み込まれる。
・２０２１年５月２７日出願の「ＭＥＴＨＯＤＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ」と題する米国特許出願第１７／３３２，５９４号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ１）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＯＢＪＥＣＴ ＲＥＣＴＩＦＩＣＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，５２４号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ２）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＮＡＶＩＧＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，３９９号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ３）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ ＷＩＴＨ ＳＩＭＵＬＡＴＥＤ ＳＵＲＧＩＣＡＬ ＥＱＵＩＰＭＥＮＴ ＣＯＯＲＤＩＮＡＴＩＯＮ」と題する米国特許出願第１７／３３２，４６２号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ５）
・２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＳＵＲＧＩＣＡＬ ＰＲＯＣＥＤＵＲＥ ＰＬＡＮＮＩＮＧ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，１９７号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ６）
・２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＤＩＲＥＣＴＥＤ ＳＵＲＧＩＣＡＬ ＤＥＶＥＬＯＰＭＥＮＴ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，４０７号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ７）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＡＤＶＥＲＳＥ ＥＶＥＮＴ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願Ｎｏ．１７／３３２，４４９号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ８）
・２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＳＵＲＧＩＣＡＬ ＡＮＡＬＹＳＩＳ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，４９６号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ９）
・２０２１年５月２７日出願の「ＤＹＮＡＭＩＣ ＡＤＡＰＴＡＴＩＯＮ ＳＹＳＴＥＭ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ」と題する米国特許出願第１７／３３２，４８０号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ１０）
・２０２１年５月２７日出願の「ＭＥＴＨＯＤＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ」と題する米国特許出願第１７／３３２，５９４号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ１）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＯＢＪＥＣＴ ＲＥＣＴＩＦＩＣＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，５２４号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ２）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＮＡＶＩＧＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，３９９号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ３）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ ＷＩＴＨ ＳＩＭＵＬＡＴＥＤ ＳＵＲＧＩＣＡＬ ＥＱＵＩＰＭＥＮＴ ＣＯＯＲＤＩＮＡＴＩＯＮ」と題する米国特許出願第１７／３３２，４６２号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ５）
・２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＳＵＲＧＩＣＡＬ ＰＲＯＣＥＤＵＲＥ ＰＬＡＮＮＩＮＧ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，１９７号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ６）
・２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＤＩＲＥＣＴＥＤ ＳＵＲＧＩＣＡＬ ＤＥＶＥＬＯＰＭＥＮＴ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，４０７号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ７）
・２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＡＤＶＥＲＳＥ ＥＶＥＮＴ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願Ｎｏ．１７／３３２，４４９号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ８）
・２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＳＵＲＧＩＣＡＬ ＡＮＡＬＹＳＩＳ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，４９６号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ９）
・２０２１年５月２７日出願の「ＤＹＮＡＭＩＣ ＡＤＡＰＴＡＴＩＯＮ ＳＹＳＴＥＭ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ」と題する米国特許出願第１７／３３２，４８０号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ１０）
【背景技術】
【0003】
例えば、手術環境及び／又は外科処置のコンピュータベースの３次元シミュレーションなど手術シミュレーションは、手術技術を進歩させる機会を提示する。手術シミュレーションは、手術訓練、計画、開発などに役立つ可能性を有する。例えば、手術シミュレーションは、新たな処置で外科医を訓練するために、及び／又は外科医に既知の処置の実行を向上させるために使用され得る。手術シミュレーションは、外科医が次の処置の準備を支援するための仮想「最終リハーサル」として使用され得る。また、手術シミュレーションは、実証されていない処置及び技法を用いた実験に使用され得る。
【0004】
しかしながら、手術シミュレーションプラットフォームは、能力、範囲、及び適用可能性において多くの制限に直面する複合システムである。例えば、多くのプラットフォームは、特定の学習目的に対処するように、又は手術ロボットの動作をシミュレートするなど、単一の機器の動作をシミュレートするように特別にプログラムされ、調整された技術「サイロ」である。これらのような制限は、手術技術を進歩させるためのツールとしてのプラットフォームの有効性を低減させ得る。また、そのような制限は、術前計画、術中サポート、術後分析など手術プロセスの他の側面へのシミュレーションベースのアプリケーションの統合に対する重大な技術的障害を表し得る。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、例えば、手術シミュレーション能力、範囲、及び適用可能性に対処する技術的進歩など手術シミュレーション技術における革新は、手術分野における更なる進歩を加速させ得る。
【課題を解決するための手段】
【0006】
インタラクティブかつ動的な手術シミュレーションシステムが開示される。手術シミュレーションシステムは、コンピュータ実装インタラクティブ手術システムとの関連で使用され得る。例えば、手術シミュレーションシステムは、調整された手術撮像を提供してもよい。
【0007】
プロセッサは、外科処置のシミュレーションを実行するように構成され得る。外科処置は、模擬手術環境においてシミュレートされ得る。プロセッサは、第１の視覚表現及び第２の視覚表現を生成してもよい。第１の視覚表現は、模擬手術環境の第１の部分のものであってもよい。同様に、第２の視覚表現は、模擬手術環境の第１の部分のものであってもよい。
【0008】
第１の視覚表現は、模擬手術環境内の第１のビューに対応し得る。例えば、第１のビューは、模擬手術環境内の外科医の視点を含んでもよい。例えば、第１のビューは、外科処置の内視鏡ビューを含み得る。
【0009】
第２の視覚表現は、模擬手術環境内の第２のビューに対応し得る。例えば、第２のビューは、補足撮像ビューを含んでもよい。例えば、第２のビューは、外科処置のコンピュータ断層撮影ビュー、磁気共鳴撮像ビュー、Ｘ線ビュー、又は経オリフィススコープビューのうちのいずれかを含んでもよい。
【0010】
プロセッサは、第１の視覚表現及び第２の視覚表現が外科処置における共通の事象に対応するように、第１の視覚表現及び第２の視覚表現の生成を調整することができる。また、プロセッサは、模擬手術環境内でのユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示してもよい。
【0011】
一例では、第１のビューは、模擬手術環境内の外科医の視点のものであり得る。また、第２のビューは、補足撮像ビューであってもよい。模擬手術環境は、外科医の視点内に模擬医療機器ディスプレイユニットを含み得る。また、補足撮像視野の視覚表現は、模擬医療機器表示ユニットの画面に位置合わせするようにマッピングされてもよい。外科医は、模擬医療機器ディスプレイユニット上に表示されている補足的な撮像を用いて、模擬手術環境を体験することができる。プロセッサはまた、模擬医療機器ディスプレイのための従来のユーザインターフェースをシミュレートすることによって、外科医の相互作用のためのそのような視覚表現を提示してもよい。
【0012】
本発明によれば、デバイスであって、プロセッサを備え、プロセッサは、外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、模擬手術環境の一部分の第１の視覚表現を生成することであって、第１の視覚表現は、模擬手術環境内の一次ビューに対応する、生成することと、模擬手術環境の一部分の第２の視覚表現を生成することであって、第２の視覚表現は、模擬手術環境内の補足ビューのシミュレーションに対応する、生成することと、第１の視覚表現及び第２の視覚表現が外科処置における共通の事象に対応するように、第１の視覚表現の生成及び第２の視覚表現の生成を調整し、模擬手術環境内でのユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示することと、を行うように構成されている、デバイスが提供される。
【0013】
この利点は、模擬手術環境内の補足ビュー（医用撮像装置からのビューなど）を一次ビューと同時に配信することができ、したがって、仮想又は模擬環境内のユーザにより多くの情報を提供することができることである。２つのビューの調整は、複数の情報源（例えば、異なる機器からのビュー）を使用してリアルタイム訓練を可能にすることができる。
【0014】
いくつかの実施形態では、「模擬手術環境の一部分」は、仮想現実環境のためにレンダリングされた３Ｄ手術環境の一部分を指し得る。このようにして、この部分の視覚表現は、レンダリングされたシミュレーションを見たときに見られるビューを指す。
【0015】
したがって、１つの技術的効果は、シミュレーション環境の現実性が向上することであると考えることができ、外科医のための訓練結果の改善がもたらされる。
【0016】
いくつかの実施形態では、一次ビューは、手術環境内の外科医の視点を含む。
【0017】
いくつかの実施形態では、一次ビューは、外科処置の内視鏡ビューを含む。
【0018】
いくつかの実施形態では、二次ビューは、外科処置のコンピュータ断層撮影ビュー、磁気共鳴撮像ビュー、Ｘ線ビュー、又は経オリフィススコープビューのいずれかを含む。
【0019】
従来の手術シミュレーションは、模擬手術環境内で、ＣＴスキャンなどの手術器具類からの補足ビューを開示することができない。この利点は、著しくより包括的な外科的訓練環境を作り出すことができ、シミュレーションの現実性を更に高めることができることである。
【0020】
いくつかの実施形態では、第２の視覚表現は、模擬医療機器ディスプレイに位置合わせするために、第１の視覚表現内にマッピングされる。
【0021】
いくつかの実施形態では、プロセッサは更に、ユーザのための模擬医療機器ディスプレイのための従来のユーザインターフェースをシミュレートすることによって、ユーザ相互作用のために第２の視覚表現を提示するように構成される。
【0022】
そのような実施形態の利点は、第２の視覚表現が、外科医の視点に対応する第１の視覚表現内でディスプレイ上に示され得ることである。換言すれば、この実施形態は、補足ビューを模擬物理ディスプレイ上にマッピングすることができ、仮想現実模擬環境の現実性を改善するので有利である。これにより、仮想現実訓練セットアップの有効性が改善される。
【0023】
いくつかの実施形態では、プロセッサは、ユーザ相互作用のために仮想現実又は拡張現実インターフェースのいずれかに第１の視覚表現及び第２の視覚表現を提示するように更に構成される。
【0024】
いくつかの実施形態では、プロセッサは、ユーザに関連付けられたライブバイオマーカー情報を受信するように更に構成され、プロセッサは、ライブバイオマーカー情報に基づいて外科処置のシミュレーションの実行を修正するように更に構成される。
【0025】
いくつかの実施形態では、プロセッサは第１の視覚表現及び第２の視覚表現をコンピュータディスプレイに提示するように更に構成される。
【0026】
そのような実施形態では、第１及び第２の視覚表現は、コンピュータ上で実行されているシミュレーション上で提供され得る。これは、仮想現実ヘッドセットが使用されていない場合（すなわち、シミュレーション訓練プログラムがコンピュータ上で実行されている場合）に同様の利点が提供されることを可能にする。
【0027】
いくつかの実施形態では、第１の視覚表現は外科処置のシミュレーションから生成され、第２の視覚表現は外科処置のシミュレーションから生成される。
【0028】
いくつかの実施形態では、第１の視覚表現及び第２の視覚表現は同期される。
【0029】
いくつかの実施形態では、プロセッサは、ユーザのために滅菌野の外側の器具類との相互作用をシミュレートすることによって、ユーザ相互作用のために第１の視覚表現を提示するように更に構成される。
【0030】
いくつかの実施形態では、第２の視覚表現は、模擬手術環境内の共通の解剖学的構造に位置合わせするために、第１の視覚表現内にマッピングされる。
【0031】
いくつかの実施形態では、第１の視覚表現は、模擬手術環境内の第１の医療専門家の第１の視点に対応し、プロセッサは、模擬手術環境の第３の視覚表現を生成するように更に構成され、第３の視覚表現は、模擬手術環境内の第２の医療専門家の第２の視点に対応する。
【0032】
いくつかの実施形態では、プロセッサは、第１の医療専門家のユーザ相互作用のために第１の仮想現実又は第１の拡張現実インターフェースのいずれかに第１の視覚表現及び第２の視覚表現を提示するように更に構成され、プロセッサは、第２の医療専門家のユーザ相互作用のために第２の仮想現実又は第２の拡張現実インターフェースのいずれかに第３の視覚表現を提示するように更に構成される。
【0033】
いくつかの実施形態では、プロセッサは、第１の医療専門家に関連付けられた第１のライブバイオマーカー情報及び第２の医療専門家に関連付けられた第２のライブバイオマーカー情報を受信するように更に構成され、プロセッサは、第１のライブバイオマーカー情報及び第２のライブバイオマーカー情報に基づいて外科処置のシミュレーションの実行を修正するように更に構成される。
【0034】
また、コンピュータ実装方法であって、外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、模擬手術環境の一部分の第１の視覚表現を生成することであって、第１の視覚表現は、模擬手術環境内の一次ビューに対応する、生成することと、模擬手術環境の一部分の第２の視覚表現を生成することであって、第２の視覚表現は、模擬手術環境内の補足ビューのシミュレーションに対応する、生成することと、第１の視覚表現及び第２の視覚表現が外科処置における共通の事象に対応するように、第１の視覚表現の生成及び第２の視覚表現の生成を調整することと、模擬手術環境内でのユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示することと、を含む、コンピュータ実装方法が提供される。
【0035】
いくつかの実施形態では、一次ビューは、手術環境内の外科医の視点を含む。
【0036】
いくつかの実施形態では、一次ビューは、外科処置の内視鏡ビューを含む。
【0037】
いくつかの実施形態では、二次ビューは、外科処置のコンピュータ断層撮影ビュー、磁気共鳴撮像ビュー、Ｘ線ビュー、又は経オリフィススコープビューのいずれかを含む。
【0038】
いくつかの実施形態では、第２の視覚表現は、模擬医療機器ディスプレイに位置合わせするために、第１の視覚表現内にマッピングされる。
【0039】
いくつかの実施形態では、本方法は、ユーザのための模擬医療機器ディスプレイのための従来のユーザインターフェースをシミュレートすることによって、ユーザ相互作用のために第２の視覚表現を提示することを更に含む。
【0040】
いくつかの実施形態では、本方法は、第１の視覚表現及び第２の視覚表現を、ユーザ相互作用のために仮想現実又は拡張現実インターフェースのいずれかに提示することを更に含む。
【0041】
いくつかの実施形態では、本方法は更に、ユーザに関連付けられたライブバイオマーカー情報を受信することと、ライブバイオマーカー情報に基づいて外科処置のシミュレーションの実行を修正することとを更に含む。
【0042】
いくつかの実施形態では、本方法は、第１の視覚表現及び第２の視覚表現をコンピュータディスプレイに提示することを更に含む。
【0043】
いくつかの実施形態では、第１の視覚表現は外科処置のシミュレーションから生成され、第２の視覚表現は外科処置のシミュレーションから生成される。
【0044】
いくつかの実施形態では、第１の視覚表現及び第２の視覚表現は同期される。
【0045】
いくつかの実施形態では、本方法はユーザのために滅菌野の外側の器具類との相互作用をシミュレートすることによって、ユーザ相互作用のために第１の視覚表現を提示することを更に含む。
【0046】
いくつかの実施形態では、第２の視覚表現は、模擬手術環境内の共通の解剖学的構造に位置合わせするために、第１の視覚表現内にマッピングされる。
【0047】
いくつかの実施形態では、第１の視覚表現は、模擬手術環境内の第１の医療専門家の第１の視点に対応し、方法は、模擬手術環境の第３の視覚表現を生成することを更に含む。第３の視覚表現は、模擬手術環境内の第２の医療専門家の第２の視点に対応する。
【0048】
いくつかの実施形態では、本方法は、第１の医療専門家のユーザ相互作用のために第１の仮想現実又は第１の拡張現実インターフェースのいずれかに第１の視覚表現及び第２の視覚表現を提示することと、第２の医療専門家のユーザ相互作用のために第２の仮想現実又は第２の拡張現実インターフェースのいずれかに第３の視覚表現を提示することとを更に含む。
【0049】
いくつかの実施形態では、本方法は、第１の医療専門家に関連付けられた第１のライブバイオマーカー情報及び第２の医療専門家に関連付けられた第２のライブバイオマーカー情報を受信することと、第１のライブバイオマーカー情報及び第２のライブバイオマーカー情報に基づいて外科処置のシミュレーションの実行を修正することとを更に含む。
【0050】
また、デバイスであって、プロセッサを備え、プロセッサは、外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、模擬手術環境の一部分の第１の視覚表現を生成することであって、第１の視覚表現は、手術環境内の一次ビューに対応し、第１の視覚表現は、手術のシミュレーションから生成される、生成することと、模擬手術環境の一部分の第２の視覚表現を生成することであって、第２の視覚表現は、手術環境処置内の補足ビューのシミュレーションに対応し、第２の視覚表現は、外科処置のシミュレーションから生成される、生成することと、ユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示することと、を行うように構成されている、デバイスが提供される。
【0051】
いくつかの実施形態では、プロセッサは、第１の視覚表現及び第２の視覚表現が外科処置を通じて共通の活動に対応するように、第１の視覚表現の生成と第２の視覚表現の生成とを同期させるように更に構成される。
【0052】
また、本発明によると、コンピュータによって実行されると、コンピュータに本発明による方法を実行させる命令を含むコンピュータ可読媒体が提供される。
【図面の簡単な説明】
【0053】
【図1】コンピュータ実装インタラクティブ外科用システムのブロック図である。
【図2】手術室で外科的処置を実施するために使用されている例示的外科用システムを示す。
【図3】本開示の少なくとも１つの態様による、可視化システム、ロボットシステム、及びインテリジェント器具とペアリングされた例示的な外科用ハブを示す。
【図4】本開示の少なくとも１つの態様による、医療施設の１つ以上の手術現場、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置しているモジュール式デバイスをクラウドに接続するように構成された通信ハブを有する外科用データネットワークを示す。
【図5】例示的コンピュータ実装インタラクティブ外科用システムを示す図である。
【図6】モジュール式制御タワーに連結された複数のモジュールを含む例示的な外科用ハブを示す。
【図7】例示的手術シミュレータシステムのブロック図である。
【図8】例示的手術シミュレータシステムのブロック図である。
【図9】例示的手術シミュレータのユーザインターフェースデバイスを描写するブロック図である。
【図10】例示的手術シミュレータの動作のフロー図である。
【図11A】コンピュータ実装インタラクティブ手術システム及び／又は手術シミュレータで使用するための例示的外科処置計画のデータ構造を示す。
【図11B】コンピュータ実装インタラクティブ手術システム及び／又は手術シミュレータで使用するための例示的外科処置計画のデータ構造を示す。
【図12】補足的医療撮像を伴う例示的仮想現実シミュレーションを示す。
【図13】補足的医療撮像を伴う例示的スコープビューシミュレーションを示す。
【図14】例示的シミュレーションアプリケーションモジュールのブロック図である。
【図15】例示的手術シミュレーション動作のフロー図である。
【発明を実施するための形態】
【0054】
手術シミュレーションシステム、デバイス、及び方法は、他の医療機器、データソース、プロセス、及び機関との統合の態様を含み得る。手術シミュレーションシステム、デバイス、及び方法は、例えば、コンピュータ実装インタラクティブ手術システム及び／又はコンピュータ実装インタラクティブ手術システムの１つ以上の要素との統合の態様を含み得る。
【0055】
図１を参照すると、コンピュータ実装インタラクティブ外科用システム１００は、１つ以上の外科用システム１０２と、クラウドベースのシステム（例えば、ストレージデバイス１０５に連結されたリモートサーバ１１３を含み得るクラウド１０４）とを備え得る。各外科用システム１０２は、リモートサーバ１１３を含み得るクラウド１０４と通信する、少なくとも１つの外科用ハブ１０６を備え得る。
【0056】
１つ以上のシミュレーションデバイス１０３、１１１は、コンピュータ実装インタラクティブ手術システム１００と通信し得、及び／又はその一部として統合され得る。例えば、シミュレーションデバイス１０３は、１つ以上の手術システム１０２の要素であり得る。例えば、シミュレーションデバイス１０３は、１つ以上の手術用ハブ１０６と通信し得る。例えば、シミュレーションデバイス１１１は、クラウド１０４を介してコンピュータ実装インタラクティブ手術システム１００と通信し得る。
【0057】
一例では、図１に示すように、外科用システム１０２は、可視化システム１０８と、ロボットシステム１１０と、手持ち式インテリジェント外科用器具１１２とを含み、これらは、互いに、及び／又はハブ１０６と通信するように構成されている。いくつかの態様では、外科用システム１０２は、Ｍ個のハブ１０６と、Ｎ個の可視化システム１０８と、Ｏ個のロボットシステム１１０と、Ｐ個の手持ち式インテリジェント外科用器具１１２とを備えてもよく、Ｍ、Ｎ、Ｏ及びＰは１以上の整数であり得る。
【0058】
様々な態様では、可視化システム１０８は、図２に示すように、滅菌野に対して戦略的に配置される１つ以上の撮像センサと、１つ以上の画像処理ユニットと、１つ以上のストレージアレイと、１つ以上のディスプレイとを備え得る。一態様では、可視化システム１０８は、ＨＬ７、ＰＡＣＳ及びＥＭＲ用のインターフェースを備え得る。視覚化システム１０８の様々な構成要素については、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において「Ａｄｖａｎｃｅｄ Ｉｍａｇｉｎｇ Ａｃｑｕｉｓｉｔｉｏｎ Ｍｏｄｕｌｅ」という見出しの下で説明されており、その開示は、参照によりその全体が本明細書に組み込まれる。
【0059】
図２に示すように、一次ディスプレイ１１９は、手術台１１４のオペレータに見えるように滅菌野に配置される。加えて、可視化タワー１１１が、滅菌野の外に配置される。可視化タワー１１１は、互いに反対側を向いている第１非滅菌ディスプレイ１０７、及び第２非滅菌ディスプレイ１０９を備え得る。ハブ１０６によって誘導される可視化システム１０８は、ディスプレイ１０７、１０９及び１１９を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ１０６は、可視化システム１０８に、一次ディスプレイ１１９上に手術部位のライブ映像を維持しながら、撮像デバイス１２４によって記録される手術部位のスナップショットを非滅菌ディスプレイ１０７又は１０９に表示させることができる。非滅菌ディスプレイ１０７又は１０９上のスナップショットにより、例えば、非滅菌オペレータが、外科処置に関連する診断ステップを実施し得る。
【0060】
一態様では、ハブ１０６は、可視化タワー１１１にいる非滅菌オペレータによって入力された診断入力又はフィードバックを滅菌野内の一次ディスプレイ１１９に送り、これを手術台にいる滅菌オペレータが見ることができるようにも構成することができる。一例では、入力は、ハブ１０６によって一次ディスプレイ１１９に送ることができる、非滅菌ディスプレイ１０７又は１０９上に表示されるスナップショットへの修正の形態であり得る。
【0061】
図２を参照すると、外科用器具１１２は、外科処置において外科用システム１０２の一部として使用されている。ハブ１０６はまた、外科用器具１１２のディスプレイへの情報フローを調整するようにも構成することができる。例えば、その開示が参照によりその全体が本明細書に組み込まれる、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において。可視化タワー１１１にいる非滅菌オペレータによって入力される診断入力又はフィードバックは、ハブ１０６によって滅菌野内の外科用器具ディスプレイ１１５に送ることができ、これを外科用器具１１２のオペレータが見ることができる。手術用システム１０２で使用するために好適な例示的外科用器具については、例えば、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において「Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｈａｒｄｗａｒｅ」という見出しの下で記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
【0062】
図２は、手術室１１６内の手術台１１４上に横たわっている患者に対して外科処置を実行するために使用されている外科用システム１０２の例を示す。ロボットシステム１１０は、外科処置において手術システム１０２の一部として使用され得る。ロボットシステム１１０は、外科医のコンソール１１８と、患者側カート１２０（手術ロボット）と、手術ロボットハブ１２２と、を含み得る。外科医が外科医のコンソール１１８を通して手術部位を見る間、患者側カート１２０は、患者の身体の低侵襲切開部を通して、少なくとも１つの着脱可能に連結された外科用ツール１１７を操作し得る。手術部位の画像は、撮像デバイス１２４の向きを変えるために、患者側カート１２０によって操作され得る医療撮像デバイス１２４によって取得され得る。ロボットハブ１２２を使用して、手術部位の画像を処理し、その後、外科医のコンソール１１８を通して、外科医に表示し得る。
【0063】
他のタイプのロボットシステムが、外科用システム１０２と共に使用するように容易に適合され得る。本開示と共に使用するのに好適なロボットシステム及び外科用ツールの様々な例は、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＲＯＢＯＴＩＣ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＤＥＴＥＣＴＩＯＮ，ＡＮＤ ＣＯＮＴＲＯＬ」と題する米国特許出願公開第２０１９－０２０１１３７（Ａ１）号（米国特許出願第１６／２０９，４０７号）に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
【0064】
クラウド１０４によって実施され、本開示と共に使用するのに好適なクラウドベース分析法の様々な例は、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＣＬＯＵＤ ＢＡＳＥＤ ＤＡＴＡ ＡＮＡＬＹＴＩＣＳ ＦＯＲ ＵＳＥ ＷＩＴＨ ＴＨＥ ＨＵＢ」と題する米国特許出願公開第２０１９－０２０６５６９（Ａ１）号（米国特許出願第１６／２０９，４０３号）に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
【0065】
様々な態様では、撮像デバイス１２４は、少なくとも１つの画像センサと、１つ以上の光学構成要素と、を含み得る。好適な画像センサとしては、電荷結合素子（ＣＣＤ）センサ及び相補型金属酸化膜半導体（ＣＭＯＳ）センサを挙げることができるが、これらに限定されない。
【0066】
撮像デバイス１２４の光学構成要素は、１つ以上の照明源、及び／又は１つ以上のレンズを含んでもよい。１つ以上の照明源は、術野の一部分を照明するように方向付けられてもよい。１つ以上の画像センサは、組織及び／又は外科用器具から反射又は屈折された光を含む、術野から反射又は屈折された光を受信することができる。
【0067】
１つ以上の照明源は、可視スペクトル並びに不可視スペクトル内の電磁エネルギーを照射するように構成され得る。可視スペクトルは、場合によっては、光スペクトルや発光スペクトルとも称され、人間の目に見える（すなわち、人間の目によって検出することができる）電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約３８０ｎｍ～約７５０ｎｍの波長に応答する。
【0068】
不可視スペクトル（例えば、非発光スペクトル）は、可視スペクトルの下方及び上方に位置する（すなわち、約３８０ｎｍ未満及び約７５０ｎｍ超の波長の）電磁スペクトルの一部分である。不可視スペクトルは、人間の目で検出可能ではない。約７５０ｎｍを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線（ＩＲ）、マイクロ波及び無線電磁放射線になる。約３８０ｎｍ未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、Ｘ線及びガンマ線電磁放射線になる。
【0069】
様々な態様では、撮像デバイス１２４は、低侵襲性処置において使用するように構成されている。本開示と共に使用するために好適な撮像デバイスの例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。
【0070】
撮像装置は、トポグラフィーと下層構造とを区別するために、マルチスペクトルモニタリンスを採用してもよい。マルチスペクトル画像は、電磁スペクトル全体から特定の波長範囲内の画像データを取り込むものである。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ、及び紫外からの光を含む特定の波長に対する感度を有する器具を使用することによって分離することができる。スペクトル撮像により、人間の目がもつ赤、緑、青の受容体では取り込むことができない追加情報を抽出することが可能である。マルチスペクトル撮像の使用については、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する．Ｓ．米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において、「Ａｄｖａｎｃｅｄ Ｉｍａｇｉｎｇ Ａｃｑｕｉｓｉｔｉｏｎ Ｍｏｄｕｌｅ」という見出しの下により詳細に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。マルチスペクトルモニタリングは、処置された組織に対して上述の試験のうちの１つ以上を実行するための手術タスクが完了した後に術野を再配置するのに有用なツールであり得る。いかなる外科手術においても、手術室及び手術機器の厳格な滅菌が必要であることは自明である。「手術現場」、すなわち、手術室又は処置室において要求される厳格な衛生条件及び滅菌条件は、全ての医療装置及び機器の可能な最も高い滅菌性を必要とする。滅菌プロセスの一部としては、撮像デバイス１２４並びにその付属品及び構成要素を含む、患者と接触する、又は滅菌野に侵入するあらゆるものを滅菌する必要性が挙げられる。滅菌野は、トレイ内又は滅菌タオル上などの微生物を含まないと見なされる特定の領域と見なされ得ること、あるいは滅菌野は、外科処置の準備が整った患者の直ぐ周囲の領域と見なされ得ることは理解されよう。滅菌野は、適切な衣類を着用した洗浄済みのチーム構成員、並びにその領域内の全ての備品及び固定具を含み得る。
【0071】
ここで図３を参照すると、可視化システム１０８、ロボットシステム１１０及びハンドヘルド式インテリジェント外科用器具１１２と通信するハブ１０６が示されている。ハブ１０６は、ハブディスプレイ１３５、撮像モジュール１３８、発生器モジュール１４０、通信モジュール１３０、プロセッサモジュール１３２、ストレージアレイ１３４、及び手術室マッピングモジュール１３３を含む。特定の態様では、図３に示されるように、ハブ１０６は、排煙モジュール１２６及び／又は吸引／灌注モジュール１２８を更に含む。外科処置中、封止及び／又は切断のために、組織へエネルギーを印加することは、一般に、排煙、過剰な流体の吸引、及び／又は組織の灌注と関連付けられる。異なる供給源からの流体ライン、電力ライン及び／又はデータラインは、外科処置中に絡まり合うことが多い。外科処置中にこの問題に対処することで貴重な時間が失われる場合がある。ラインの絡まりをほどくには、それらの対応するモジュールからラインを抜くことが必要となる場合があり、そのためにはモジュールをリセットすることが必要となる場合がある。ハブモジュール式エンクロージャ１３６は、電力ライン、データライン、及び流体ラインを管理するための統合環境を提供し、このようなライン間の絡まりの頻度を低減させる。本開示の態様は、手術部位における組織へのエネルギー印加を伴う外科処置において使用するための外科用ハブを提示する。外科用ハブは、ハブエンクロージャと、ハブエンクロージャのドッキングステーション内に摺動可能に受容可能な組み合わせ発生器モジュールと、を含む。ドッキングステーションはデータ接点及び電力接点を含む。組み合わせ発生器モジュールは、単一ユニット内に収容された、超音波エネルギー発生器構成要素、双極ＲＦエネルギー発生器構成要素、及び単極ＲＦエネルギー発生器構成要素のうちの２つ以上を含む。一態様では、組み合わせ発生器モジュールはまた、排煙構成要素と、組み合わせ発生器モジュールを外科用器具に接続するための少なくとも１つのエネルギー供給ケーブルと、組織への治療エネルギーの印加によって発生した煙、流体及び／又は微粒子を排出するように構成された少なくとも１つの排煙構成要素と、リモート手術部位から排煙構成要素まで延在する流体ラインと、を含む。一態様では、上記の流体ラインは第１の流体ラインであり、第２の流体ラインは、遠隔手術部位から、ハブエンクロージャ内に摺動可能に受容される吸引及び灌注モジュールまで延在している。一態様では、ハブエンクロージャは、流体インターフェースを備える。一部特定の外科処置は、２つ以上のエネルギータイプを組織に印加することを必要とする場合がある。１つのエネルギータイプは、組織を切断するのにより有益であり得るが、別の異なるエネルギータイプは、組織を封止するのにより有益であり得る。例えば、双極発生器は組織を封止するために使用することができ、一方で、超音波発生器は封止された組織を切断するために使用することができる。本開示の態様は、ハブのモジュール式エンクロージャ１３６が様々な発生器を収容して、これらの間のインタラクティブ通信を促進するように構成されているという解決法を提示する。ハブモジュール式エンクロージャ１３６の利点の１つは、様々なモジュールの迅速な取り外し及び／又は交換を可能にすることである。本開示の態様は、組織へのエネルギー印加を伴う外科処置で使用するためのモジュール式外科用エンクロージャを提示する。モジュール式外科用エンクロージャは、組織に印加するための第１のエネルギーを発生させるように構成された第１のエネルギー発生器モジュールと、第１のデータ及び電力接点を含む第１のドッキングポートを備える第１のドッキングステーションと、を含み、第１のエネルギー発生器モジュールは、電力及びデータ接点と電気係合するように摺動可能に移動可能であり、また第１のエネルギー発生器モジュールは、第１の電力及びデータ接点との電気係合から外れるように摺動可能に移動可能である。上記に加えて、モジュール式外科用エンクロージャはまた、第１のエネルギーとは異なる、組織に印加するための第２のエネルギーを発生させるように構成された第２のエネルギー発生器モジュールと、第２のデータ接点及び第２の電力接点を含む第２のドッキングポートを備える第２のドッキングステーションと、を含み、第２のエネルギー発生器モジュールは、電力接点及びデータ接点と電気係合するように摺動可能に移動可能であり、また第２のエネルギー発生器モジュールは、第２の電力接点及び第２のデータ接点との電気係合から外れるように摺動可能に移動可能である。加えて、モジュール式外科用エンクロージャはまた、第１のエネルギー発生器モジュールと第２のエネルギー発生器モジュールとの間の通信を容易にするように構成されている、第１のドッキングポートと第２のドッキングポートとの間の通信バスを含む。図３を参照すると、発生器モジュール１４０、排煙モジュール１２６、及び吸引／灌注モジュール１２８のモジュール式統合を可能にするハブモジュール式エンクロージャ１３６に関する本開示の態様が提示される。ハブモジュール式エンクロージャ１３６は、モジュール１４０とモジュール１２６とモジュール１２８と間のインタラクティブ通信を更に促進する。発生器モジュール１４０は、ハブのモジュール式エンクロージャ１３６に摺動可能に挿入可能な単一のハウジングユニット内に支持される、一体化された単極構成要素、双極構成要素及び超音波構成要素を備える発生器モジュールであってもよい。発生器モジュール１４０は、単極デバイス１４２、双極デバイス１４４、及び超音波デバイス１４６に接続するように構成され得る。代替的に、発生器モジュール１４０は、ハブモジュール式エンクロージャ１３６を介して相互作用する一連の単極発生器モジュール、双極発生器モジュール、及び／又は超音波発生器モジュールを備えてもよい。複数の発生器が単一の発生器として機能するように、ハブモジュール式エンクロージャ１３６は、複数の発生器の挿入と、ハブモジュール式エンクロージャ１３６にドッキングされた発生器間の双方向通信と、を促進するように構成することができる。
【0072】
図４は、医療施設の１つ以上の手術室、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置するモジュール式デバイスをクラウドベースのシステム（例えばストレージ装置２０５に連結されたリモートサーバ２１３を含み得るクラウド２０４）に接続するように構成されたモジュール式通信ハブ２０３を備える外科用データネットワーク２０１を示す。一態様では、モジュール式通信ハブ２０３は、ネットワークルータと通信するネットワークハブ２０７及び／又はネットワークスイッチ２０９を備える。モジュール式通信ハブ２０３は、ローカルコンピュータシステム２１０に結合して、ローカルコンピュータ処理及びデータ操作を提供することもできる。外科用データネットワーク２０１は、パッシブ、インテリジェント又は切り替え式として構成されてもよい。受動的外科用データネットワークはデータの導管として機能し、データが１つのデバイス（又はセグメント）から別の装置（又はセグメント）に、及びクラウドコンピューティングリソースに行くことを可能にする。インテリジェント手術データネットワークは、トラフィックが監視対象の手術データネットワークを通過することを可能にし、ネットワークハブ２０７又はネットワークスイッチ２０９内の各ポートを構成する追加の特徴部を含む。インテリジェント外科用データネットワークは、管理可能なハブ又はスイッチと称され得る。スイッチングハブは、各パケットの宛先アドレスを読み取り、次いでパケットを正しいポートに転送する。
【0073】
手術室に配置されたモジュール式デバイス１ａ～１ｎは、モジュール式通信ハブ２０３に連結され得る。ネットワークハブ２０７及び／又はネットワークスイッチ２０９は、ネットワークルータ２１１に連結されて、装置１ａ～１ｎをクラウド２０４又はローカルコンピュータシステム２１０に接続することができる。デバイス１ａ～１ｎに関連付けられたデータは、リモートデータ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送されてもよい。デバイス１ａ～１ｎに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム２１０に転送され得る。同じ手術室に配置されたモジュール式デバイス２ａ～２ｍもまた、ネットワークスイッチ２０９に連結され得る。ネットワークスイッチ２０９は、ネットワークハブ２０７及び／又はネットワークルータ２１１に連結されて、装置２ａ～２ｍをクラウド２０４に接続することができる。装置２ａ～２ｎに関連付けられたデータは、データ処理及び操作のためにネットワークルータ２１１を介してクラウド２０４に転送されてもよい。デバイス２ａ～２ｍに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム２１０に転送され得る。
【0074】
複数のネットワークハブ２０７及び／又は複数のネットワークスイッチ２０９を複数のネットワークルータ２１１と相互接続することによって、外科用データネットワーク２０１が拡張され得ることが理解されるであろう。モジュール式通信ハブ２０３は、複数のデバイス１ａ～１ｎ／２ａ～２ｍを受け入れるように構成されたモジュール式制御タワー内に収容され得る。ローカルコンピュータシステム２１０はまた、モジュール式制御タワーに収容され得る。モジュール式通信ハブ２０３は、ディスプレイ２１２に接続されて、例えば外科処置中に、装置１ａ～１ｎ／２ａ～２ｍのうちのいくつかによって取得された画像を表示する。様々な態様では、装置１ａ～１ｎ／２ａ～２ｍとしては、外科用データネットワーク２０１のモジュール式通信ハブ２０３に接続され得るモジュール式装置の中でもとりわけ、例えば、内視鏡に連結された撮像モジュール１３８、エネルギーベースの外科用装置に連結された発生器モジュール１４０、排煙モジュール１２６、吸引／灌注モジュール１２８、通信モジュール１３０、プロセッサモジュール１３２、ストレージアレイ１３４、ディスプレイに連結された外科用装置、及び／又は非接触センサモジュールなどの様々なモジュールが挙げられ得る。
【0075】
一態様では、外科用データネットワーク２０１は、装置１ａ～１ｎ／２ａ～２ｍをクラウドに接続する、ネットワークハブ、ネットワークスイッチ及びネットワークルータとの組み合わせを含んでもよい。ネットワークハブ又はネットワークスイッチに連結された装置１ａ～１ｎ／２ａ～２ｍのいずれか１つ又は全ては、リアルタイムでデータを収集し、データ処理及び操作のためにデータをクラウドコンピュータに転送することができる。クラウドコンピューティングは、ソフトウェアアプリケーションを取り扱うために、ローカルサーバ又はパーソナル装置を有するのではなく、コンピューティングリソースを共有することに依存することは理解されるであろう。「クラウド」という語は、「インターネット」の隠喩として使用され得るが、この用語はそのように限定はされない。したがって、「クラウドコンピューティング」という用語は、本明細書では「インターネットベースのコンピューティングのうちの１つのタイプ」を指すように使用され得、この場合、サーバ、ストレージ及びアプリケーションなど様々なサービスは、手術室（例えば、固定式、移動式、一時的又は現場の手術室又は空間）に配置されたモジュール式通信ハブ２０３及び／又はコンピュータシステム２１０に、並びにインターネットを介して、モジュール式通信ハブ２０３及び／又はコンピュータシステム２１０に接続されたデバイスに配信される。クラウドインフラストラクチャは、クラウドサービスプロバイダによって維持され得る。この文脈において、クラウドサービスプロバイダは、１つ以上の手術室内に位置するデバイス１ａ～１ｎ／２ａ～２ｍの使用及び制御を調整する事業体であり得る。クラウドコンピューティングサービスは、スマート外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置によって収集されたデータに基づいて多数の計算を実施することができる。ハブハードウェアは、複数のデバイス又は接続部がクラウドコンピューティングリソース及びストレージと通信するコンピュータに接続することを可能にする。
【0076】
装置１ａ～１ｎ／２ａ～２ｍによって収集されたデータにクラウドコンピュータデータ処理技術を適用することで、外科用データネットワークは、外科的転帰の改善、コスト低減及び患者満足度の改善を提供することができる。組織の封止及び切断処置後に、組織の状態を観察して封止された組織の漏出又は灌流を評価するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。クラウドベースのコンピューティングを使用して、身体組織のサンプルの画像を含むデータを診断目的で検査して疾患の影響などの病理を識別するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。そのようなデータには、組織の位置特定及びマージン確認並びに表現型が含まれ得る。撮像装置と一体化された様々なセンサを使用し、かつ複数の撮像装置によって捕捉された画像をオーバーレイするなどの技術を使用して、身体の解剖学的構造を識別するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。画像データを含む、装置１ａ～１ｎ／２ａ～２ｍによって収集されたデータは、画像処理及び操作を含むデータ処理及び操作のために、クラウド２０４若しくはローカルコンピュータシステム２１０又はその両方に転送されてもよい。データは、組織特異的部位及び状態に対する内視鏡的介入、新興技術、標的化放射線、標的化介入及び精密ロボットの適用などの更なる治療を遂行できるかを判定することによって、外科処置の結果を改善するために分析されてもよい。こうしたデータ分析は、予後分析処理を更に用いてもよく、標準化された手法を使用することは、外科的治療及び外科医の挙動を確認するか、又は外科的治療及び外科医の挙動に対する修正を提案するかのいずれかのために有益なフィードバックを提供することができる。
【0077】
手術室装置１ａ～１ｎは、ネットワークハブに対する装置１ａ～１ｎの構成に応じて有線チャネル又は無線チャネルを介して、モジュール式通信ハブ２０３に接続されてもよい。ネットワークハブ２０７は、一態様では、開放型システム間相互接続（Open System Interconnection、ＯＳＩ）モデルの物理層上で機能するローカルネットワークブロードキャストデバイスとして実装され得る。ネットワークハブは、同じ手術室ネットワーク内に位置する装置１ａ～１ｎに接続性を提供することができる。ネットワークハブ２０７は、パケットの形態のデータを収集し、それらを半二重モードでルータに送信し得る。ネットワークハブ２０７は、デバイスデータを転送するためにいずれの媒体アクセス制御／インターネットプロトコル（media access control、ＭＡＣ／Internet Protocol、ＩＰ）も記憶することができない。デバイス１ａ～１ｎのうちの１つのみが、ネットワークハブ２０７を介して一度にデータを送信し得る。ネットワークハブ２０７は、情報の送信先に関するルーティングテーブル又はインテリジェンスを有することができず、全てのネットワークデータを各コネクション全体及びクラウド２０４上のリモートサーバ２１３（図４）にブロードキャストする。ネットワークハブ２０７は、コリジョンなど基本的なネットワークエラーを検出することができるが、全ての情報を複数のポートにブロードキャストすることは、セキュリティリスクとなり、ボトルネックを引き起こすおそれがある。
【0078】
手術室デバイス２ａ～２ｍは、有線チャネル又は無線チャネルを介してネットワークスイッチ２０９に接続され得る。ネットワークスイッチ２０９は、ＯＳＩモデルのデータリンク層内で機能する。ネットワークスイッチ２０９は、同一手術室内に配置されたデバイス２ａ～２ｍをネットワークに接続するためのマルチキャストデバイスであり得る。ネットワークスイッチ２０９は、フレームの形態のデータをネットワークルータ２１１に送信することができ、全二重モードで機能する。複数のデバイス２ａ～２ｍは、ネットワークスイッチ２０９を介して同時にデータを送信し得る。ネットワークスイッチ２０９は、データを転送するためにデバイス２ａ～２ｍのＭＡＣアドレスを記憶し、使用する。
【0079】
ネットワークハブ２０７及び／又はネットワークスイッチ２０９は、クラウド２０４に接続するためにネットワークルータ２１１に連結され得る。ネットワークルータ２１１は、ＯＳＩモデルのネットワーク層内で機能する。ネットワークルータ２１１は、装置１ａ～１ｎ／２ａ～２ｍのいずれか１つ又は全てによって収集されたデータを更に処理及び操作するために、ネットワークハブ２０７及び／又はネットワークスイッチ２１１から受信したデータパケットをクラウドベースのコンピュータリソースに送信するための経路を作成する。ネットワークルータ２１１は、例えば、同一医療施設の異なる手術室、又は異なる医療施設の異なる手術室に配置された異なるネットワークなど、異なる位置に配置された２つ以上の異なるネットワークを接続するために利用され得る。ネットワークルータ２１１は、パケットの形態のデータをクラウド２０４に送信でき、全二重モードで機能する。複数の装置が同時にデータを送信することができる。ネットワークルータ２１１は、データを転送するためにＩＰアドレスを使用する。
【0080】
一実施例では、ネットワークハブ２０７は、複数のＵＳＢデバイスをホストコンピュータに接続することを可能にするＵＳＢハブとして実装され得る。ＵＳＢハブは、装置をホストシステムコンピュータに接続するために利用可能なポートが多くなるように、単一のＵＳＢポートをいくつかの階層に拡張することができる。ネットワークハブ２０７は、有線チャネル又は無線チャネルを介して情報を受信するための有線機能又は無線機能を含み得る。一態様では、無線ＵＳＢ短距離高帯域無線通信プロトコルが、手術室内に位置する装置１ａ～１ｎと装置２ａ～２ｍとの間の通信のために用いられてもよい。
【0081】
例では、手術室装置１ａ～１ｎ／２ａ～２ｍは、固定及びモバイル装置から短距離にわたってデータを交換し（２．４～２．４８５ＧＨｚのＩＳＭ帯域における短波長ＵＨＦ電波を使用して）、かつパーソナルエリアネットワーク（ＰＡＮ）を構築するために、Ｂｌｕｅｔｏｏｔｈ無線技術規格を介してモジュール式通信ハブ２０３と通信することができる。手術現場デバイス１ａ～１ｎ／２ａ～２ｍは、いくつかの無線通信規格若しくは有線通信規格又はプロトコルを介してモジュール式通信ハブ２０３と通信してもよく、このような規格又はプロトコルとしては、Ｗｉ－Ｆｉ（ＩＥＥＥ８０２．１１ファミリー）、ＷｉＭＡＸ（ＩＥＥＥ８０２．１６ファミリー）、ＩＥＥＥ８０２．２０、無線（new radio、ＮＲ）、ロングタームエボリューション（long-term evolution、ＬＴＥ）、並びにＥｖ－ＤＯ、ＨＳＰＡ＋、ＨＳＤＰＡ＋、ＨＳＵＰＡ＋、ＥＤＧＥ、ＧＳＭ、ＧＰＲＳ、ＣＤＭＡ、ＴＤＭＡ、ＤＥＣＴ、及びこれらのイーサネット派生物のみならず３Ｇ、４Ｇ、５Ｇ、及びそれ以降と指定される任意の他の無線プロトコル及び有線プロトコルが挙げられるが、これらに限定されない。コンピューティングモジュールは、複数の通信モジュールを含んでもよい。例えば、第１の通信モジュールは、Ｗｉ－Ｆｉ及びＢｌｕｅｔｏｏｔｈなどのより短距離の無線通信専用であってもよく、第２の通信モジュールは、ＧＰＳ、ＥＤＧＥ、ＧＰＲＳ、ＣＤＭＡ、ＷｉＭＡＸ、ＬＴＥ、Ｅｖ－ＤＯなどのより長距離の無線通信専用であってもよい。
【0082】
モジュール式通信ハブ２０３は、手術室装置１ａ～１ｎ／２ａ～２ｍの１つ又は全ての中央接続部として機能することができ、フレームとして知られるデータ型を取り扱える。フレームは、装置１ａ～１ｎ／２ａ～２ｍによって生成されたデータを搬送できる。フレームがモジュール式通信ハブ２０３によって受信されると、フレームは増幅されてネットワークルータ２１１へ送信され、ネットワークルータ２１１は本明細書に記載されるように、数多くのワイヤレス又は有線通信規格又はプロトコルを使用することによって、このデータをクラウドコンピューティングリソースに転送する。
【0083】
モジュール式通信ハブ２０３は、スタンドアロンデバイスとして使用され得るか、又はより大きなネットワークを形成するために互換性のあるネットワークハブ及びネットワークスイッチに接続され得る。モジュール式通信ハブ２０３は、概して設置、構成、及び維持が容易であるため、手術室デバイス１ａ～１ｎ／２ａ～２ｍをネットワーク形成するための良好な選択肢となり得る。
【0084】
図５は、コンピュータ実装インタラクティブ外科用システム２００を示す。コンピュータ実装インタラクティブ外科用システム２００は、多くの点で、コンピュータ実装インタラクティブ外科用システム１００と類似している。例えば、コンピュータ実装インタラクティブ外科用システム２００は、多くの点で外科用システム１０２と類似する１つ又は２つ以上の外科用システム２０２を含む。各外科用システム２０２は、リモートサーバ２１３を含み得るクラウド２０４と通信する少なくとも１つの外科用ハブ２０６を含む。一態様では、コンピュータ実装インタラクティブ外科用システム２００は、例えば、インテリジェント外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置などの複数の手術室装置に接続されたモジュール式制御タワー２３６を備える。図６に示すように、モジュール式制御タワー２３６は、コンピュータシステム２１０に連結されたモジュール式通信ハブ２０３を備える。
【0085】
図５の実施例に示すように、モジュール式制御タワー２３６は、内視鏡２３９に連結され得る撮像モジュール２３８、エネルギー装置２４１に連結され得る発生器モジュール２４０、排煙器モジュール２２６、吸引／灌注モジュール２２８、通信モジュール２３０、プロセッサモジュール２３２、ストレージアレイ２３４、任意選択的にディスプレイ２３７に連結されたスマート装置／器具２３５及び非接触センサモジュール２４２に連結され得る。手術室デバイスは、モジュール式制御タワー２３６を介してクラウドコンピューティングリソース及びデータストレージに連結され得る。ロボットハブ２２２もまた、モジュール式制御タワー２３６及びクラウドコンピューティングリソースに接続されてもよい。とりわけ、装置／器具２３５、可視化システム２０８が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、モジュール式制御タワー２３６に連結されてもよい。モジュール式制御タワー２３６は、撮像モジュール、装置／器具ディスプレイ及び／又は他の可視化システム２０８から受信した画像を表示及びオーバーレイするためにハブディスプレイ２１５（例えば、モニタ、スクリーン）に連結されてもよい。ハブディスプレイはまた、モジュール式制御タワーに接続されたデバイスから受信されたデータを、画像及び重ね合わせられた画像と共に表示してもよい。
【0086】
図６は、モジュール式制御タワー２３６に連結された複数のモジュールを備える外科用ハブ２０６を示す。モジュール式制御タワー２３６は、例えばネットワーク接続装置などのモジュール式通信ハブ２０３と、例えばローカルでの処理、可視化及び撮像を行うためのコンピュータシステム２１０と、を備え得る。図６に示すように、モジュール式通信ハブ２０３は、モジュール式通信ハブ２０３に接続されてもよいモジュール（例えば、装置）の数を拡張するために階層化構成で接続されて、モジュールに関連付けられたデータをコンピュータシステム２１０、クラウドコンピューティングリソース、又はその両方に転送してもよい。図６に示すように、モジュール式通信ハブ２０３内のネットワークハブ／スイッチの各々は、３つの下流ポート及び１つの上流ポートを含み得る。上流のネットワークハブ／スイッチは、クラウドコンピューティングリソース及びローカルディスプレイ２１７への通信接続を提供するためにプロセッサに接続され得る。クラウド２０４への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。
【0087】
手術用ハブ２０６は、手術室の寸法を測定し、超音波非接触測定デバイス又はレーザタイプ非接触測定デバイスのいずれかを使用して手術室のマップを生成するために、非接触センサモジュール２４２を利用し得る。超音波ベースの非接触センサモジュールは、その全体が参照により本明細書に組み込まれる、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する．Ｓ．米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において「Ｓｕｒｇｉｃａｌ Ｈｕｂ Ｓｐａｔｉａｌ Ａｗａｒｅｎｅｓｓ Ｗｉｔｈｉｎ ａｎ Ｏｐｅｒａｔｉｎｇ Ｒｏｏｍ」という見出しで記載されているように、超音波のバーストを送信し、それが手術室の周囲壁から跳ね返るときのエコーを受信することによって、手術室をスキャンすることができ、センサモジュールは、手術室のサイズを決定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調節するように構成される。レーザベースの非接触センサモジュールは、例えば、レーザ光パルスを送信し、手術室の周囲壁に反射するレーザ光パルスを受信し、送信されたパルスの位相を受信したパルスと比較することによって手術室を走査し得、手術室のサイズを判定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調整する。
【0088】
コンピュータシステム２１０は、プロセッサ２４４と、ネットワークインターフェース２４５と、を備え得る。プロセッサ２４４は、システムバスを介して、通信モジュール２４７、ストレージ２４８、メモリ２４９、不揮発性メモリ２５０、及び入力／出力インターフェース２５１に連結されていてもよい。システムバスは、任意の様々な利用可能なバスアーキテクチャを使用する、メモリバス若しくはメモリコントローラ、ペリフェラルバス若しくは外部バス、及び／又はローカルバスを含むいくつかのタイプのバス構造（複数可）のうちのいずれかとすることができ、それらのアーキテクチャの例としては、９ビットバス、業界標準アーキテクチャ（Industrial Standard Architecture、ＩＳＡ）、マイクロチャネルアーキテクチャ（Micro-Charmel Architecture、ＭＳＡ）、拡張ＩＳＡ（Extended ISA、ＥＩＳＡ）、インテリジェントドライブエレクトロニクス（Intelligent Drive Electronics、ＩＤＥ）、ＶＥＳＡローカルバス（VESA Local Bus、ＶＬＢ）、周辺装置相互接続（Peripheral Component Interconnect、ＰＣＩ）、ＵＳＢ、アドバンスドグラフィックスポート（Advanced Graphics Port、ＡＧＰ）、パーソナルコンピュータメモリカード国際協会バス（Personal Computer Memory Card International Association、ＰＣＭＣＩＡ）、小型計算機システムインターフェース（Small Computer Systems Interface、ＳＣＳＩ）、又は任意の他の独自バスが挙げられるが、これらに限定されない。
【0089】
プロセッサ２４４は、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＡＲＭ Ｃｏｒｔｅｘの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであり得る。一態様では、プロセッサは、例えば、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。このプロセッサコアは、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルシリアルランダムアクセスメモリ（ＳＲＡＭ）、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部読み出し専用メモリ（ＲＯＭ）、２ＫＢの電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）及び／又は、１つ以上のパルス幅変調（ＰＷＭ）モジュール、１つ以上の直交エンコーダ入力（ＱＥＩ）アナログ、１２個のアナログ入力チャネルを備える１つ以上の１２ビットアナログ－デジタル変換器（ＡＤＣ）を含む。なお、その詳細は、製品データシートで入手可能である。
【0090】
一態様では、プロセッサ２４４は、同じくＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＨｅｒｃｕｌｅｓ ＡＲＭ Ｃｏｒｔｅｘ Ｒ４の商品名で知られるＴＭＳ５７０及びＲＭ４ｘなどの２つのコントローラベースのファミリーを含む安全コントローラを含んでもよい。安全コントローラは、拡張性のある性能、接続性及びメモリの選択肢を提供しながら、高度な集積型安全機構を提供するために、とりわけ、ＩＥＣ６１５０８及びＩＳＯ２６２６２の安全限界用途専用に構成されてもよい。
【0091】
システムメモリとしては、揮発性メモリ及び不揮発性メモリを挙げることができる。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、ＥＥＰＲＯＭ又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ（ＲＡＭ）が挙げられる。更に、ＲＡＭは、ＳＲＡＭ、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）及びダイレクトランバスＲＡＭ（ＤＲＲＡＭ）などの多くの形態で利用可能である。
【0092】
コンピュータシステム２１０はまた、取り外し可能／取り外し不可能な揮発性／不揮発性のコンピュータストレージ媒体、例えばディスクストレージなどを含み得る。ディスク記憶装置としては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ－６０ドライブ、フラッシュメモリカード又はメモリスティックのような装置を挙げることができるが、これらに限定されない。加えて、ディスク記憶装置は、上記の記憶媒体を、独立して、又は他の記憶媒体との組み合わせで含むことができる。他の記憶媒体としては、コンパクトディスクＲＯＭ装置（ＣＤ－ＲＯＭ）、コンパクトディスク記録可能ドライブ（ＣＤ－Ｒドライブ）、コンパクトディスク書き換え可能ドライブ（ＣＤ－ＲＷドライブ）若しくはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ－ＲＯＭ）などの光ディスクドライブが挙げられるがこれらに限定されない。ディスク記憶装置のシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。
【0093】
コンピュータシステム２１０は、好適な動作環境において、記載したユーザと基本コンピュータリソースとの間で媒介として機能するソフトウェアを含み得ることを理解されたい。このようなソフトウェアとしてはオペレーティングシステムを挙げることができる。ディスク記憶装置上に記憶され得るオペレーティングシステムは、コンピュータシステムのリソースを制御及び割り当てするように機能し得る。システムアプリケーションは、システムメモリ内又はディスク記憶装置上のいずれかに記憶されたプログラムモジュール及びプログラムデータを介して、オペレーティングシステムによるリソース管理を活用し得る。本明細書に記載される様々な構成要素は、様々なオペレーティングシステム又はオペレーティングシステムの組み合わせで実装することができることを理解されたい。
【0094】
ユーザは、Ｉ／Ｏインターフェース２５１に連結された入力デバイスを介してコンピュータシステム２１０にコマンド又は情報を入力し得る。入力装置としては、マウス、トラックボール、スタイラス、タッチパッドなどのポインティング装置、キーボード、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、ＴＶチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなどを挙げることができるが、これらに限定されない。これら及び他の入力装置は、インターフェースポートを介し、システムバスを通じてプロセッサに接続する。インターフェースポートとしては、例えば、シリアルポート、パラレルポート、ゲームポート及びＵＳＢが挙げられる。出力装置は、入力装置と同じタイプのポートのうちのいくつかを使用する。したがって、例えば、ＵＳＢポートを使用して、コンピュータシステムに入力を提供し、コンピュータシステムからの情報を出力装置に出力してもよい。出力アダプタは、特別なアダプタを必要とし得る出力装置の中でもとりわけ、モニタ、ディスプレイ、スピーカ及びプリンタなどのいくつかの出力装置が存在できることを示すために提供され得る。出力アダプタとしては、出力装置とシステムバスとの間の接続手段を提供するビデオ及びサウンドカードを挙げることができるが、これは例示としてのものであり、限定するものではない。リモートコンピュータなどの他の装置及び／又は装置のシステムは、入力及び出力機能の両方を提供できることに留意されたい。
【0095】
コンピュータシステム２１０は、クラウドコンピュータなどの１つ以上のリモートコンピュータ、又はローカルコンピュータへの論理接続を使用するネットワーク化環境で動作し得る。リモートクラウドコンピュータは、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサベースの機器、ピア装置又は他の一般的なネットワークノードなどであり得るが、典型的には、コンピュータシステムに関して説明される要素の多く又は全てを含む。簡潔にするために、リモートコンピュータと共に、メモリストレージ装置のみが示される。リモートコンピュータは、ネットワークインターフェースを介してコンピュータシステムに論理的に接続され、続いて、通信接続部を介して物理的に接続され得る。ネットワークインターフェースは、ローカルエリアネットワーク（ＬＡＮ）及びワイドエリアネットワーク（ＷＡＮ）などの通信ネットワークを包含し得る。ＬＡＮ技術としては、光ファイバ分散データインターフェース（ＦＤＤＩ）、銅線分散データインターフェース（ＣＤＤＩ）、Ｅｔｈｅｒｎｅｔ／ＩＥＥＥ８０２．３、Ｔｏｋｅｎ Ｒｉｎｇ／ＩＥＥＥ８０２．５などを挙げることができる。ＷＡＮ技術としては、ポイントツーポイントリンク、統合サービスデジタルネットワーク（ＩＳＤＮ）及びその変形などの回路交換ネットワーク、パケット交換ネットワーク並びにデジタル加入者回線（ＤＳＬ）を挙げることができるが、これらに限定されない。
【0096】
様々な態様では、図６のコンピュータシステム２１０、図５、図６の撮像モジュール２３８、及び／又は可視化システム２０８、及び／又はプロセッサモジュール２３２は、画像プロセッサ、画像処理エンジン、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ（ＤＳＰ）を含んでもよい。画像プロセッサは、単一命令複数データ（ＳＩＭＤ）、又は複数命令複数データ（ＭＩＭＤ）技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。
【0097】
通信接続部（複数可）とは、ネットワークインターフェースをバスに接続するために用いられるハードウェア／ソフトウェアを指してもよい。例示的な明瞭さのため通信接続部は、コンピュータシステム内部に示されているが、通信接続部は、コンピュータシステム２１０の外部にあってもよい。例示のみを目的として、ネットワークインターフェースへの接続に必要なハードウェア／ソフトウェアとしては、通常の電話グレードモデム、ケーブルモデム及びＤＳＬモデムを含むモデム、ＩＳＤＮアダプタ並びにイーサネットカードなどの内部及び外部技術を挙げることができる。
【0098】
図７は、例示的手術シミュレータシステムのブロック図である。手術シミュレータシステムは、シミュレーションデバイス３００００を含み得る。手術シミュレータシステムは、アプリケーション作成デバイス３０００２、ヒューマンインターフェースデバイス３０００４、外科医エージェントデバイス３０００６、及び／又は手術データシステム３０００８を含み得る。
【0099】
シミュレーションデバイス３００００は、コアシミュレーション機能を提供し得る。例えば、１つ以上のシミュレーションのロード／実行、ユーザ制御情報入力の受信及び処理、視覚、聴覚、及び／又は触覚情報出力の生成及び送信、シミュレーション動作及び活動情報の収集、並びに一次シミュレーションサイクル処理は、シミュレーションデバイス３００００によって実行され得る。
【0100】
アプリケーション作成デバイス３０００２は、シミュレーション作成機能を提供し得る。個々のシミュレーションアプリケーションは、アプリケーションモジュール３００１０としてシミュレーションデバイス３００００に記憶され得る。アプリケーションモジュール３００１０は、アプリケーション作成デバイス３０００２によって作成、変更、及び／又は削除され得る。アプリケーションモジュール３００１０は、シミュレーションデバイス３００００の動作を指示するコンピュータ可読命令及び／又は実行可能命令を含み得る。例えば、アプリケーションモジュール３００１０は、情報を記憶して手術シミュレーションを実行するのに好適な任意のファイルタイプ、例えば、シミュレーションスクリプト、プログラミングコード、拡張マークアップ言語（Extensible Markup Language、ＸＭＬ）ファイルなど構造データファイル、データベースファイルなどを含み得る。
【0101】
アプリケーション作成デバイス３０００２は、アプリケーションモジュール３００１０を作成するための制御部を伴うグラフィカルユーザインターフェースを含み得る。アプリケーション作成デバイス３００２は、シミュレーションデバイス３００００と通信して、シミュレーション動作のためにアプリケーションモジュール３００１０を検索、変更、及び／又はロードすることができる。例えば、グラフィカルユーザインターフェースは、ユーザがシミュレーション活動を選択し、様々なシミュレーションパラメータを入力し、シミュレーション目的を設定し、シミュレーションの実行を確認することを可能にするインターフェース構造を含み得る。アプリケーション作成デバイス３０００２は、スタンドアロンデバイスとして提供され得、及び／又は、例えばシミュレーションデバイス３００００と統合されるなど、手術シミュレーションシステムの１つ以上の他のデバイスと統合され得る。
【0102】
ヒューマンインターフェースデバイス３０００４は、人間のユーザがシミュレーションデバイス３００００によって提供されるシミュレーションと相互作用することを可能にする、任意のハードウェア、ソフトウェア、及び／又はそれらの組み合わせを含み得る。ヒューマンインターフェースデバイス３０００４は、ユーザがシミュレーションデバイス３０００００に制御入力を提供すること、及び／又はシミュレーションデバイス３００００から出力情報（視覚、聴覚、及び／又は触覚情報など）を受信することを可能にし得る。一実施例では、ヒューマンインターフェースデバイス３０００４は、従来のデスクトップコンピュータを含み得る。
【0103】
ヒューマンインターフェースデバイス３０００４は、好適な物理的機器を含み得る。例えば、ヒューマンインターフェースデバイス３０００４は、外科処置の態様を物理的に、及び／又は仮想的に模倣する物理的機器を含み得る。例えば、そのような機器としては、卓上ユニット、部分タスク仮想現実ユニット、高忠実度仮想現実ユニット、高忠実度フルサイズ患者ユニット、スイートユニット、高忠実度フル手術室ユニット、フル物理仮想現実ユニット、手術ロボットコンソールユニットなどが挙げられ得る。例えば、ヒューマンインターフェースデバイス３０００４は、Ｇａｌｌａｇｅｒ ｅｔ ａｌ，「Ｓｉｍｕｌａｔｉｏｎｓ ｆｏｒ Ｐｒｏｃｅｄｕｒａｌ Ｔｒａｉｎｉｎｇ」，Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｓｕｒｇｉｃａｌ Ｓｉｍｕｌａｔｉｏｎ，Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｐｒａｃｔｉｃｅ，Ｓｐｒｉｎｇｅｒ（２０１２）によって開示されるコンピュータベースのシミュレータインターフェースなどデバイスを含み得る。
【0104】
ヒューマンインターフェースデバイス３０００４は、外科用器具を物理的に、及び／又は仮想的に模倣する物理的機器を含み得る。例えば、ヒューマンインターフェースデバイス３０００４は、トロカール、ハンドアクセスポート、気腹針、及びガイドシースなどアクセス機器など外科用器具（instruments）、器具（appliances）、及び消耗品を模倣する物理的デバイス；パッチ、ゼラチン、及び粉末など補助止血剤；伸延具及びプレートなど頭蓋顎顔面器具；バルーン及びインフレータ；診断カテーテル、アクセスカテーテル、血管カテーテル、及び治療カテーテルなどカテーテル；組織シーラー、剪断機、ブレード、及び鉗子などエネルギー封止及び解剖用デバイス；引き下げワイヤ、圧縮ねじ、プレート、インプラント、ドリル、バー、ロッド、及びコネクタなど整形外科用器具；切開及び内視鏡クリップアプライヤなど結紮具；マイクロ波アブレーション機器；ドレーン、縫合糸、結紮糸、持針器、回収器、及び縫合クリップなど補助内視鏡器具；オープンステープラ、内視鏡ステープラ、カッターステープラ、電動ステープラ、円形ステープラ、血管用ステープラ、線形ステープラ、ステープルカートリッジ、及びステープルライン補強アプリケータなど外科用ステープル留め機器；縫合糸、接着剤、針、及び結び目のない組織制御デバイスなど創傷閉鎖材料；低侵襲撮像デバイスなど撮像装置などを含み得る。例えば、ヒューマンインターフェースデバイス３０００４は、仮想現実ヘッドセットを用いて動作すると、上記で開示されたものなど外科用器具（instruments）、器具（appliances）、及び消耗品を模倣する、仮想現実ハンドヘルドコントローラを含み得る。
【0105】
ヒューマンインターフェースデバイス３０００４は、シミュレーションの視覚表現をユーザに伝達するディスプレイを含み得る。ヒューマンインターフェースデバイス３０００４は、コンピュータディスプレイを含み得る。ヒューマンインターフェースデバイス３０００４は、仮想現実ヘッドセットディスプレイを含み得る。例えば、仮想現実ヘッドセットディスプレイは、本明細書の図２に開示されるものなど手術環境を表示するために使用され得る。そのような仮想現実ヘッドセットディスプレイを有するユーザは、例えば、患者、ロボットシステム１１０、外科医のコンソール１１８、手術ロボットハブ１２２、１つ以上の外科用ツール１１７、撮像デバイス１２４、患者側カート１２０、１つ以上のディスプレイ１１９、１０７、１０９など、外科手術室１１６内の要素のうちのいずれかを視認し得る、及び／又はいずれかと相互作用し得る。
【0106】
ヒューマンインターフェースデバイス３０００６は、外科医の視点を表す視覚情報を提示し得る。ヒューマンインターフェースデバイス３０００６は、関節鏡、血管内視鏡、気管支鏡、関節鏡、血管内視鏡、気管支鏡、胆道鏡、大腸内視鏡、サイトスコープ、十二指腸内視鏡、腸鏡、消化管内視鏡（胃鏡）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡（nasopharyngo-neproscope）、Ｓ状結腸鏡、胸腔鏡、尿管鏡、及びそれらの関連器具、制御部など模擬撮像デバイスからの視覚情報を提示し得る。ヒューマンインターフェースデバイス３０００６は、コンピュータ断層撮影（computed tomography、ＣＴ）ユニット、磁気共鳴撮像（magnetic resonance imaging、ＭＲＩ）ユニット、画像誘導手術ユニット、術中超音波ユニットなど模擬補助術中撮像機器；蛍光透視ユニットなどからの視覚情報を提示し得る。そのような視点視覚情報、手術撮像情報、及び補足術中撮像情報は、シミュレーションの動作に好適な任意の組み合わせでユーザに表示され得る。例えば、そのような情報は、単一のフルスクリーンビュー、タイルウィンドウビュー、ピクチャインピクチャビューとしてユーザに提示され得るか、又は仮想現実ビューの模擬ディスプレイユニットに登録され得る。
【0107】
ヒューマンインターフェースデバイス３０００４は、物理及び／又は仮想現実手術ロボット外科医コンソールを含み得る。例えば、例示的外科医コンソール様ヒューマンインターフェースデバイス３０００４は、立体視ディスプレイなどディスプレイと、ハンドヘルドマニピュレータ、フットペダルなどを含む制御入力と、を含み得る。例えば、外科医コンソール様ヒューマンインターフェースデバイス３０００４は、本明細書に開示される外科医のコンソール１１８のインターフェースを含み得る。ヒューマンインターフェースデバイス３０００４は、例えば、マイクロフォン及び音声認識機能によって音声制御を可能にし得る。ヒューマンインターフェースデバイス３０００４は、例えばスピーカによって可聴フィードバックを提供し得る。ヒューマンインターフェースデバイス３０００４は、例えば、振動、力フィードバック、ボルテックスリング、及び超音波技法によって触覚フィードバックを提供し得る。
【0108】
実装される場合、ヒューマンインターフェースデバイス３０００４は、スタンドアロンデバイスとして設けられ得、及び／又は、例えばシミュレーションデバイス３００００と統合されるなど、手術シミュレーションシステムの１つ以上の他のデバイスと統合され得る。シミュレーションデバイス３００００は、ヒューマンインターフェースデバイス３０００４と通信するためのインターフェースモジュール３００１２を含み得る。一実施例では、ヒューマンインターフェースデバイス３０００４は、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素に統合され得る。例えば、ヒューマンインターフェースデバイス３０００４は、コンピュータシステム２１０に統合され得る。例えば、ヒューマンインターフェースデバイス３０００４は、ハブ１０６に統合され得る。例えば、ヒューマンインターフェースデバイス３０００４は、視覚化システム１０８に統合され得る。インターフェースモジュール３００１２は、例えば、手術データシステムインターフェースモジュール３００１４を介してコンピュータ実装インタラクティブ手術システム１００の１つ以上の要素と通信し得る。
【0109】
一実施形態では、２つ以上のヒューマンインターフェースデバイス３０００４がシミュレーションデバイス３００００と同時に連動し得る。例えば、多人数シミュレーションアプリケーション
外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００の入力及び出力に対するコンピュータベースの制御及び応答を提供するのに好適な任意のハードウェア及び／又はソフトウェアを含み得る。外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００への人間の入力を模倣するコンピュータ処理を含み得る。例えば、外科医エージェントデバイス３０００６は、基本的な器具操作など制御入力を記録し、登録することが可能であり得る。外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００の入力／出力アプリケーションプログラミングインターフェース（application programming interface、ＡＰＩ）にアクセスすることができる、コンピュータ処理を含み得る。例えば、ＡＰＩは、外科医エージェントデバイス３００６に従って指示され得る１つ以上の入力／出力機能を明らかにし得る。機能は、機器の位置及び動きを直接制御する機能など粒度の細かい操作及び物理ベースの入力／出力機能を含み得る。機能は、結紮活動、縫合活動、ステープル留め活動などより粒度の粗い活動ベースの入力／出力機能を含み得る。機能は、外科的アクセス機能、臓器授動機能などより粒度の粗い外手術タスク及び／又はステージベースの入力／出力機能を含み得る。各機能は、粒度のレベルと一致するパラメータを含み得る。パラメータは、シミュレーション内での機能の動作を指示するための特定の詳細を提供し得る。外科医エージェント３０００６は、複数のシミュレーション実行を生成し、操作するための機能を含み得る。例えば、ユーザは、様々な縫合技法の持続時間を推定することを望む場合がある。外科医エージェントデバイス３０００６は、任意の数の異なる技法のシミュレーションを計画するために使用され得、そのそれぞれは、シミュレーションデバイスを介して実行され得、シミュレーションデバイスによって収集されたメトリックは、持続時間の差異を推定するために使用され得る。
外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００の入力及び出力に対するコンピュータベースの制御及び応答を提供するのに好適な任意のハードウェア及び／又はソフトウェアを含み得る。外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００への人間の入力を模倣するコンピュータ処理を含み得る。例えば、外科医エージェントデバイス３０００６は、基本的な器具操作など制御入力を記録し、登録することが可能であり得る。外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００の入力／出力アプリケーションプログラミングインターフェース（application programming interface、ＡＰＩ）にアクセスすることができる、コンピュータ処理を含み得る。例えば、ＡＰＩは、外科医エージェントデバイス３００６に従って指示され得る１つ以上の入力／出力機能を明らかにし得る。機能は、機器の位置及び動きを直接制御する機能など粒度の細かい操作及び物理ベースの入力／出力機能を含み得る。機能は、結紮活動、縫合活動、ステープル留め活動などより粒度の粗い活動ベースの入力／出力機能を含み得る。機能は、外科的アクセス機能、臓器授動機能などより粒度の粗い外手術タスク及び／又はステージベースの入力／出力機能を含み得る。各機能は、粒度のレベルと一致するパラメータを含み得る。パラメータは、シミュレーション内での機能の動作を指示するための特定の詳細を提供し得る。外科医エージェント３０００６は、複数のシミュレーション実行を生成し、操作するための機能を含み得る。例えば、ユーザは、様々な縫合技法の持続時間を推定することを望む場合がある。外科医エージェントデバイス３０００６は、任意の数の異なる技法のシミュレーションを計画するために使用され得、そのそれぞれは、シミュレーションデバイスを介して実行され得、シミュレーションデバイスによって収集されたメトリックは、持続時間の差異を推定するために使用され得る。
【0110】
外科医エージェントデバイス３０００６は、スタンドアロンデバイスとして提供され得、及び／又は、例えばシミュレーションデバイス３００００と統合されるなど、手術シミュレーションシステムの１つ以上の他のデバイスと統合され得る。シミュレーションデバイス３００００は、外科医エージェントデバイス３０００６と通信するためのインターフェースモジュール３００１２を含み得る。例えば、外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００のモジュールとして統合され得る。例えば、外科医エージェントデバイス３０００６は、シミュレーションデバイスのアプリケーションモジュール３００１０に統合され得る。
【0111】
手術データシステム３０００８は、外部の構造化された手術情報及び機能をシミュレーションデバイス３００００に提供するのに好適な任意のハードウェア及び／又はソフトウェアを含み得る。手術データシステム３０００８は、本明細書の図１～図６に関連して説明される構造及び／又は機能を含み得る。例えば、手術データシステム３０００８は、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素を含み得る。手術データシステム３０００８は、例えば、手術用ハブ１０６を含み得る。例えば、シミュレーションデバイス３００００は、手術用ハブの通信モジュール１３０を介した手術用ハブ１０６との通信を可能にする手術データシステムインターフェースモジュール３００１４を含む。手術データシステム３０００８は、例えば、１つ以上の手術データリポジトリを含み得る。例えば、手術データシステム３０００８は、手術室に配置されたコンピュータシステム２１０を含み得る。例えば、手術データシステム３０００８は、クラウド２０４内に遠隔サーバ２１３を含み得る。
【0112】
例えば、手術用ハブ１０６など手術データシステム３０００８は、シミュレーションデバイス３００００及び／又はアプリケーション作成デバイス３０００２にデータを提供し得る。例えば、データは、手術用ハブ１０６によって収集された、及び／又は生成された任意の手術データを含み得る。また例えば、シミュレーションデバイス３００００は、図１～図６に開示されたネットワーク化されたデバイスのいずれかから同様のデータを直接受信し得る。そのようなデータは、例えば、ライブ外科処置に関する情報を含み得る。そのようなデータは、過去の外科処置に関する情報を含み得る。そのようなデータは、将来の予定された外科処置に関する情報を含み得る。
【0113】
外科処置に関する情報は、患者、スタッフ、計画された処置、経験した処置、及び患者転帰など術後活動に関する情報を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、患者の記録、患者の画像、患者の解剖学的構造のモデル、患者の検査結果、患者の病歴などを含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、処置のスタッフ名簿、特定のスタッフメンバーの過去の処置に関する詳細、スタッフメトリック、経験、最近の日程及び作業負荷、並びに過去の手術活動（そのような器具の使用統計、処置期間など）を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、処置計画、機器及び在庫情報、プルリスト、チェックリスト、処置計画分析、並びに推奨を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、ライブ処置中に収集されたか、又は生成された任意のデータ、例えば、処置の進捗状況、マイルストーン、患者情報、バイタル、手術室のセットアップ、スタッフの動き、画像、器具の使用、手術技法、例えば、ビデオによって取り込まれたもの、手動で記録されたもの、及び／又は例えば、持続時間、異常事象の報告などスマート器具による報告から推測されたものなどを含み得る。ライブ処置中に捕捉されたあらゆるデータもまた、記憶され、過去の処置として利用可能にされ得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、術後記録、患者の回復情報、及び患者の転帰情報、検査、画像など術後診断情報を含み得る。
【0114】
シミュレーションデバイス３００００は、１つ以上のシミュレーションを実行するのに好適な任意のコンピュータ又は処理プラットフォームを含み得る。シミュレーションは、コンピュータでモデル化された外科処置環境を含み得る。例えば、シミュレーションは、患者の解剖学的構造及び／又は生理学的構造のモデルを含み得る。例えば、シミュレーションは、外科医、看護師、他の医師、技術者などの行動など１人以上の医療従事者の行動及び／又は器具のモデルを含み得る。
【0115】
シミュレーションデバイス３００００は、１つ以上の追加の機能モジュールを含み得る。各モジュールは、モジュールの機能を可能にするハードウェア、ソフトウェア、又はそれらの組み合わせを含み得る。協調して動作する１つ以上のモジュールは、医療処置のシミュレーションが実行され得るコンピュータフレームワークを表し得る。モジュールは、コンピュータ処理ユニット、グラフィックス処理ユニット、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）、通信ハードウェア、メモリなどハードウェア要素を含み得る。モジュールは、プロセッサによって実行されるとモジュールに特定の機能を実行させるソフトウェア要素を含み得る。
【0116】
シミュレーションデバイスは、例えば、コアシミュレーションモジュール３００１６、シミュレーションアプリケーションモジュールディレクトリ３００１８、インターフェースモジュール３００１２、物体特性モジュール３００２０、物理モジュール３００２２、生理学的モデル３００２４、テクスチャモデル３００２６、３Ｄグラフィックスパイプライン３００２８、手術データシステムインターフェースモジュール３００１４、メトリック抽出モジュール３００３０、セッション記憶及び管理モジュール３００３２を含み得る。シミュレーションデバイスは、オペレーティングシステムモジュール３００３４を含み得る。
【0117】
コアシミュレーションモデル３００１６は、シミュレーションデバイス３００００の主要シミュレーション機能を提供し得る。例えば、コアシミュレーションモジュール３００１６は、シミュレーションを初期化するための、シミュレーションデバイス３００００の他のモジュールと通信し、相互作用するための、及び／又はアーキテクチャレベルのシミュレーションパラメータを管理するためのコードを含み得る。例えば、コアシミュレーションモジュール３００１６は、シミュレーションデバイス３００００のモジュールの動作の時間整合及び／又は調整を提供するために、マスタイベントクロックを含み得る。例えば、コアシミュレーションモジュール３００１６は、シミュレーションフレームレート全般を確立し得る。
【0118】
コアシミュレーションモジュール３００１６は、マスタシミュレーションサイクルを提供するためのコアを含み得る。コアシミュレーションモジュール３００１６は、マスタシミュレーションサイクルの１つ以上の繰り返しを実行し得る。マスタシミュレーションサイクルの各繰り返しは、シミュレーションの個々のタイムスライスを表し得る。一実施例では、コアシミュレーションモジュール３００１６は、図１０に開示されるフローに従ってマスタシミュレーションサイクルを実行し得る。
【0119】
シミュレーションアプリケーションモジュールディレクトリ３００１８は、１つ以上のアプリケーションモジュール３００１０の記憶、検索、及び／又はリンクを管理し得る。各アプリケーションモジュール３００１０は、シミュレーションのアプリケーションレベルの態様を指示するコードを含み得る。例えば、アプリケーションモジュール３００１０は、特定の解剖学的構造、特定の教示スコープ、特定の機器のシミュレーションなどを提供する機能を含み得る。例示的シミュレーションデバイス３００００では、アプリケーション固有のシミュレーションデバイス３００００は、シミュレーションアプリケーションモジュールディレクトリ３００１０の有無にかかわらず、単一のアプリケーションモジュール３００１０と共に動作し得る。シミュレーションアプリケーションモジュールディレクトリ３００１８は、コアシミュレーションモジュール３００１６及び／又はアプリケーション作成デバイス３０００２との相互作用に基づいて動作し得る。
【0120】
インターフェースモジュール３００１２は、ヒューマンインターフェースデバイス３０００４及び／又は外科医エージェントデバイス３０００６と相互作用するための機能を提供し得る。例えば、インターフェースモジュール３００１２は、ヒューマンインターフェースデバイス３０００４から受信した情報をソフトウェアコマンド、割り込みなどに変換するための１つ以上のドライバを含み得る。例えば、インターフェースモジュール３００１２は、外科医エージェント３０００６と相互作用するためのソフトウェアアプリケーションプログラミングインターフェース（ＡＰＩ）を含み得る。インターフェースモジュール３００１２は、ヒューマンインターフェースモジュール３０００４及び／又は外科医エージェントデバイス３０００６から受信した情報をシミュレーションデバイス３００００の他のモジュールに提供し得る。例えば、インターフェースモジュール３００１２は、模擬器具の動きを表す制御入力をヒューマンインターフェースモジュール３０００４及び／又は外科医エージェントデバイス３０００６から受信し、当該情報をシミュレーションデバイス３００００の１つ以上の他のモジュールに提供し得、それにより、動きがシミュレーションで表され得る。
【0121】
インターフェースモジュール３００１２は、外科医エージェントデバイス３０００６とのより粒度の細かい相互作用を可能にするためにＡＰＩを提供し得る。例えば、ＡＰＩは、外科医エージェントデバイス３０００６からシミュレーションパラメータ及びシミュレーション設定を受信するためのインターフェースを提供し得る。そのようなシミュレーションパラメータ及び／又はシミュレーション設定は、例えば、アプリケーション作成デバイス３０００２を介したユーザによるそれらの入力と同様であり得る。例えば、外科医エージェントデバイス３０００６では、シミュレーションデバイス３００００によって１つ以上のコンピュータ制御シミュレーショントライアルを実行することが可能であり得る。例えば、外科医エージェントデバイス３０００６では、それぞれが代替相互作用を伴う、複数のシミュレーションを実行することが可能であり得る。
【0122】
インターフェースモジュール３００１２は、シミュレーションデバイス３００００からの出力をヒューマンインターフェースデバイス３０００４及び／又は外科医エージェントデバイス３０００６に送信し得る。例えば、出力としては、視覚出力、触覚出力、音声出力、及び／又は構造化データ出力などが挙げられ得る。
【0123】
物体特性モジュール３００２０は、シミュレーション内の物体の模擬外観及び／又は挙動を管理するための機能を提供し得る。模擬物体としては、解剖学的構造、器具、機器、消耗品、流体など物体が挙げられ得る。物体の外観は、位置、寸法、スケール、材料、親／子関係、頂点、面、対話性、透明度、軌跡、レンダリング特性、テクスチャ、表面反射率、モーションブラー、レイヤリングなど物体特性によって管理され得る。物体の挙動は、物理特性、質量、運動、衝突挙動、弾性、粘度、表面張力、リギング制約、硬度、剪断強度、引き裂き挙動、粒度など物体特性によって管理され得る。
【0124】
物理モジュール３００２２は、シミュレーション内の物体の物理的応答及び／又は相互作用を計算する機能を提供し得る。物理モジュールは、古典力学、流体力学、軟体力学、ブラウン運動、衝突検出、布挙動、有限要素解析などに従って、そのような応答及び／又は相互作用を決定し得る。物理モジュール３００２２は、ＰｈｙｓＸ（商標）、Ｓｉｍｕｌａｔｉｏｎ Ｏｐｅｎ Ｆｒａｍｅｗｏｒｋ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＳＯＦＡ）（商標）、ＶｉｓＳｉｍ（商標）など商用モジュール及び／又はオープンソースモジュールを含み得る。
【0125】
生理学的モジュール３００２４は、シミュレーションにおいて解剖学的構造及び／又は患者の生理学的応答及び／又は相互作用全般を計算する機能を提供し得る。生理学的モジュール３００２４は、重要な器官及び／又は系の生理学的モデルを提供し得る。生理学的モデルは、数学モデル、統計モデルなどを含み得る。例えば、生理学的モジュール３００２４は、患者のバイタルをモジュール化して、シミュレーション中に実行された活動に対する患者の反応及び／又は相互作用を計算し得る。例えば、循環モデルは、シミュレーションにおいて切断された血管に応答して血圧を計算し得る。生理学的モジュール３００２４及び物理モジュール３００２２は、シミュレーションの各状態の計算中に互いに協調し得る。例えば、循環モデルによって計算された血圧は、物理モジュール３００２２によって計算され、物体特性モジュール３００２０によって管理される流体力学特性を決定するために使用され得る。
【0126】
テクスチャモジュール３００２６は、シミュレーション内の物体の適切な表面を決定、検索、及び／又は生成する機能を提供し得る。テクスチャモジュール３００２６は、シミュレーションのパラメータに従って制御され得る１つ以上の表面モダリティを含み得る。表面モダリティは、人工的に生成された表面、実世界の画像に基づいた表面、及びそれらの組み合わせを含み得る。テクスチャモジュール３００２６は、ユーザインターフェースモジュール３００１２を介してユーザに正確な触覚フィードバックを提供するために物理モジュール３００２２と動作を調整し得る。
【0127】
３Ｄグラフィックスパイプライン３００２８は、シミュレーション環境の視覚的レンダリングに機能を提供し得る。３Ｄグラフィックスパイプライン３００２８は、物体特性及び奥行を受信し得る。３Ｄグラフィックスパイプライン３００２８は、カメラ視点から見た３Ｄ空間内の物体を表す、ユーザに提示されるべき視覚化を決定し得る。３Ｄグラフィックスパイプライン３００２８は、ライティング、投影、クリッピング、ビュー変換などレンダリングの幾何学的態様を決定し得る。３Ｄグラフィックスパイプライン３００２８は、フラグメンテーション、ピクセルシェーディング、頂点シェーディング、ジオメトリ共有、テクスチャフィルタリングなど、レンダリングのラスタ化態様を決定し得る。３Ｄグラフィックスパイプライン３００２８は、テクスチャモジュール３００２６と協調して、インターフェースモジュール３００１２を介してユーザに正確な視覚フィードバックを提供し得る。
【0128】
手術データシステムインターフェースモジュール３００１４は、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素にインタラクティブ接続性を提供し得る。コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素からの情報は、手術データシステムインターフェースモジュール３００１４を介して、シミュレーションデバイス３００００の１つ以上のモジュールに通信され、シミュレーションの動作に影響を及ぼし得る。例えば、手術データシステムインターフェースモジュール３００１４は、外科処置に関する情報を受信し、それを対応するアプリケーションモジュール３００１０に通信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、器具に関する情報を受信し、それを物体特性モジュール３００２０に通信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、患者に関する情報を受信し、生理学的モジュールに通信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、組織画像に関する情報を受信し、それをテクスチャモジュール３００２６に通信し得る。
【0129】
シミュレーションデバイス３００００のモジュールからの情報は、手術データシステムインターフェース３００１４を介して、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素に提供され得る。例えば、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素は、メトリック抽出モジュール３００３０からの模擬処置計画に関連する統計を受信し得る。例えば、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素は、セッション記憶及び管理モジュール３００３２から、再現されたシミュレーション視覚化処置計画を受信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、インターフェースモジュール３００１２とコンピュータ実装インタラクティブ手術システム１００の１つ以上の要素との間に通信経路を提供し得る。例えば、ライブ外科処置中の外科医は、手術室からシミュレーション情報にアクセスし得る、及び／又はシミュレーションを操作し得る。例えば、外科医は、外科医コンソール１１８を使用して、ライブ外科処置に対応するシミュレーションにアクセスすることができる、及び／又は当該シミュレーションと対話することができる。
【0130】
メトリック抽出モジュール３００１４は、シミュレーションの動作に関連する様々なパラメータの記録機能を提供し得る。例えば、メトリック抽出モジュール３００１４は、持続時間、活動の数、動きの数、動きの複雑さ、参加したスタッフ、スタッフの動き、機器及び／又は器具の変更などシミュレーション全般に関連するメトリックを記録し得る。例えば、メトリック抽出モジュール３００１４は、模擬患者バイタル、合併症、衝突、出血などシミュレーションの特定側面に関連するメトリックを記録し得る。メトリック抽出モジュール３００１４は、シミュレーション中にメトリック関連事象のマスタログを維持し得る。メトリック抽出モジュール３００１４は、シミュレーションに使用されるアプリケーションモジュール３００１０からの構成に従ってメトリック関連事象を記録し得る。
【0131】
セッション記憶及び管理モジュール３００３２は、メインシミュレーション実行記録の管理機能を提供し得る。例えば、セッション記憶及び管理モジュール３００３２は、シミュレーションが全体として再実行され、表示され、及び／又は分析されることを可能にする情報を記憶し得る。セッション記憶及び管理モジュール３００３２は、図１０に関して開示される入力、シミュレーション状態、及び出力など各入力、シミュレーション状態、及び出力に関する情報を記憶し得る。セッション記憶及び管理モジュール３００３２は、以前のシミュレーションが、新しいユーザ入力によって呼び出され、コピーされ、初期化されることを可能にし得る。例示すると、訓練中の外科医は、経験豊富な外科医によって実行されたシミュレーションを呼び出し、重要なステップにおいてシミュレーションを一時停止させ、自身でそのステップを試みることができる。セッション記憶及び管理モジュール３００３２は、特定のシミュレーションの様々な実行間でオーバーレイ機能を提供し得る。そのようなオーバーレイは、類似性及び差異を強調し得、訓練を強化し得る。
【0132】
オペレーティングシステムモジュール３００３４は、シミュレーションデバイス３００００のハードウェアリソース及び／又はソフトウェアリソースを管理し得る。オペレーティングシステムモジュール３００３４は、シミュレーションデバイス３００００の他のモジュールにコンピューティングシステムレベルの共通サービスを提供し得る。例えば、オペレーティングシステムモジュール３００３４は、ハードウェア入出力処理、メモリ割り当て、ハードウェア割込み処理、ソフトウェア割込み処理、スレッド処理、シングルタスク処理、マルチタスク処理などを提供し得る。シミュレーションデバイス３００００は、リアルタイムコンピューティングデバイスであり得る。オペレーティングシステムモジュール３００３４は、リアルタイムオペレーティングシステムを含み得る。例えば、オペレーティングシステムモジュール３００３４は、コアシミュレーションモジュール３００１６によって確立されたイベント及びフレームレートによって駆動され得る。
【0133】
図８は、例示的手術シミュレータシステムのブロック図である。シミュレーションデバイス３００００は、例示的ハードウェアアーキテクチャと共に示されている。例えば、シミュレーションデバイス３００００は、プロセッサ３００３４、メモリ３００３６、ストレージ３００３８、ディスプレイアダプタ３００４０、操作インターフェースアダプタ３００４２、手術データシステムアダプタ３００４４、及び／又はネットワークアダプタ３００４６を含み得る。プロセッサ３００３４、メモリ３００３６、ストレージ３００３８、ディスプレイアダプタ３００４０、操作インターフェースアダプタ３００４２、手術データシステムアダプタ３００４４、及び／又はネットワークアダプタ３００４６のうちの１つ以上は、本明細書に開示されるシミュレーションデバイス３００００のモジュールの動作を可能にするために使用され得る。
【0134】
プロセッサ３００４６は、コンピュータ処理ユニット、グラフィックス処理ユニット、任意の適切なマイクロコントローラ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）など、並びに／又はコンピュータエージェント及び／若しくは人間のユーザとの相互作用のために３Ｄ模擬環境を処理し、提供するのに好適である、それらの任意の組み合わせを含み得る。一実施例では、プロセッサ３００４６は、１つ以上の処理ユニットを含み得る。プロセッサ３００４６は、本明細書に開示されるデジタル処理要件を実施するように、任意の好適な深さのプロセッサであり得る。例えば、プロセッサ３００４６は、３２ビットのプロセッサ、６４ビットのプロセッサ、１２８ビットのプロセッサなど。
【0135】
そのようなプロセッサは、プロセッサによって実行されると、プロセッサによって実行又は支援されるものとして本明細書に記載されるステップをプロセッサに実行させることができる命令を記憶し得る媒体、例えばコンピュータ可読媒体を備え得るか、又はそれと通信し得る。コンピュータ可読媒体のいくつかの実施形態は、限定するものではないが、ウェブサーバ内のプロセッサなどプロセッサにコンピュータ可読命令を提供することができる電子、光学式、磁気、又は他の記憶デバイスを含み得る。媒体の他の例は、フロッピーディスク、ＣＤ－ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、全ての光媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取ることができる任意の他の媒体を含むが、これらに限定されない。説明されるプロセッサ及び処理は、１つ以上の構造であり得、１つ以上の構造を介して分散され得る。プロセッサは、本明細書で説明される方法のうちの１つ以上（又は方法の一部）を実行するためのコードを含み得る。
【0136】
メモリ３００３６は、データを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、メモリ３００３６は、揮発性メモリ及び／又は不揮発性メモリを含み得る。メモリ３００３６は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（read-only memory、ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（erasable programmable read-only memory、ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）、フラッシュメモリなどを含み得る。
【0137】
ストレージ３００３８は、大量のデータを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、ストレージ３００３８は、ハードディスクドライブ（hard disk drive、ＨＤＤ）、ソリッドステートドライブ（solid state drive、ＳＳＤ）、ネットワーク接続ストレージ（network-attached storage、ＮＡＳ）などを含み得る。ストレージ３００３８は、データベース構造及び／又はデータベース管理システム（database management system、ＤＢＭＳ）を含み得る。
【0138】
ディスプレイアダプタ３００４０は、３Ｄシミュレーション環境の視覚表現を出力するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、ディスプレイアダプタ３００４０は、グラフィックスカード、ディスプレイカード、グラフィックスアダプタなどを含み得る。ディスプレイアダプタ３００４０は、ヒューマンインターフェースデバイス３０００４のディスプレイなどディスプレイデバイスへの出力画像のフィードを生成するために使用され得る。ディスプレイアダプタ３００４０は、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）を含み得る。ディスプレイアダプタ３００４０は、例えば、グラフィックスパイプラインをレンダリングするためのハードウェアを含み得る。操作インターフェースアダプタ３００４２は、ヒューマンインターフェースデバイスから操作情報を受信し、及び／又はヒューマンインターフェースデバイスにフィードバック情報を出力するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、操作インターフェースアダプタ３００４２は、仮想現実ヘッドセットから動作追跡情報を受信し、次に、ユーザに表示されているビューを操作し得る。例えば、操作インターフェースアダプタ３００４２は、手術器具を操作しているユーザを示す制御入力を受信し、次に、ユーザのハンドヘルドデバイスに触覚フィードバックを出力し得る。例えば、操作インターフェースアダプタ３００４２は、従来のデスクトップキーボード及びマウスから制御情報を受信し得る。操作インターフェースアダプタは、シリアル入力／出力ポート、パラレル入力／出力ポート、ユニバーサル非同期送受信機（universal asynchronous receiver transmitter、ＵＡＲＴ）、ディスクリート論理入力／出力ピン、アナログ－デジタル変換器、デジタル－アナログ変換器、ユニバーサルシリアルバス（universal serial bus、ＵＳＢＩ）ポート、ＵＳＢ－Ｃポート、ＦｉｒｅＷｉｒｅポート、高性能パラレルインターフェース（High Performance Parallel Interface、ＨＩＰＰＩ）、Ｔｈｕｎｄｅｒｂｏｌｔポート、Ｙａｐｂｕｓ、イーサネット、ギガビットイーサネット、及び／又は任意の他の好適な周辺インターフェース技術など入力／出力ハードウェアを含み得る。
【0139】
手術データシステムアダプタ３００４４は、手術データシステム３０００８と通信するのに好適な任意の構成要素又は構成要素の集合を含み得る。手術データシステムアダプタ３００４４は、シミュレーションデバイス３００００と手術データシステム３０００８との間に物理チャネルを確立するための通信ハードウェアを含み得る。例えば、手術データシステムアダプタ３００４４は、ＵＳＢポート、ＵＳＢ－Ｃポート、ＦｉｒｅＷｉｒｅポート、ＨＩＰＰＩポート、Ｔｈｕｎｄｅｒｂｏｌｔポート、Ｙａｐｂｕｓポート、イーサネットポート、ギガビットイーサネットポート、及び／又は任意の他の好適な周辺インターフェースを含み得る。手術データシステムアダプタ３００４４は、ネットワークアダプタ３００４６及びネットワーク３００４８を介してシミュレーションデバイス３００００と手術データシステム３０００８との間に論理チャネルを確立するためのハードウェア、ソフトウェア、及び／又はそれらの組み合わせを含み得る。
【0140】
ネットワークアダプタ３００４６は、例えばネットワーク３００４８などネットワークを介した通信に好適な任意の構成要素又は構成要素の集合を含み得る。ネットワークアダプタ３００４６は、ローカルエリアネットワーク（local area network、ＬＡＮ）、ワイドエリアネットワーク（wide area network、ＷＡＮ）、及び／又はモバイルネットワークなどを介した通信を可能にし得る。ＬＡＮ技術としては、光ファイバ分散データインターフェース（ＦＤＤＩ）、銅線分散データインターフェース（ＣＤＤＩ）、Ｅｔｈｅｒｎｅｔ／ＩＥＥＥ８０２．３、Ｔｏｋｅｎ Ｒｉｎｇ／ＩＥＥＥ８０２．５、Ｗｉ－Ｆｉ／ＩＥＥＥ ８０２．１１などを挙げることができる。ＷＡＮ技術としては、ポイントツーポイントリンク、統合サービスデジタルネットワーク（ＩＳＤＮ）及びその変形などの回路交換ネットワーク、パケット交換ネットワーク並びにデジタル加入者回線（ＤＳＬ）を挙げることができるが、これらに限定されない。モバイルネットワークは、ＧＳＭ／ＧＰＲＳ／ＥＤＧＥ（２Ｇ）、ＵＭＴＳ／ＨＳＰＡ（３Ｇ）、ロングタームエボリューション（ＬＴＥ）又は４Ｇ、ＬＴＥアドバンスト（ＬＴＥ－Ａ）、ニューラジオ（ＮＲ）又は５Ｇなどのモバイル通信プロトコルのうちの１つ以上に基づく通信リンクを含み得る。
【0141】
一実施形態では、ネットワークアダプタ３００４６は、５Ｇネットワークアダプタなど無線ネットワークアダプタを含み得る。そのような５Ｇネットワークアダプタ３００４６は、５Ｇ Ｎｅｗ Ｒａｄｉｏ（ＮＲ）トランシーバを使用して、拡張モバイルブロードバンド（enhanced mobile broadband、ｅＭＢＢ）に超高信頼低遅延通信（ultra-reliable and low latency communication、ＵＲＬＬＣ）を提供し得る。そのような５Ｇネットワークアダプタ３００４６は、３．５ＧＨｚ～７ＧＨｚ及び／又は２４ＧＨｚ～４８ＧＨｚ帯域などより高い無線帯域など無線帯域を使用し得る。そのような５Ｇネットワークアダプタ３００４６にサービス提供するネットワーク３００４８としては、パブリックワイヤレスネットワーク、セミプライベート（例えば、ネットワークスライシングベースの）ネットワーク、及び／又は完全プライベートワイヤレスネットワークが挙げられ得る。
【0142】
図９は、例示的手術シミュレータのユーザインターフェースデバイス３０００４を描写する、ブロック図である。ヒューマンユーザインターフェースデバイス３０００４は、例示的ハードウェアアーキテクチャと共に示されている。例えば、ヒューマンユーザインターフェースデバイス３０００４は、プロセッサ３００５０、メモリ３００５２、ディスプレイサブシステム３００５４、及び／又は操作サブシステム３００５６を含み得る。
【0143】
プロセッサ３００５０は、コンピュータ処理ユニット、グラフィックス処理ユニット、任意の好適なマイクロコントローラ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）など、及び／又はシミュレーションデバイス３００００から受信した視覚情報の表示、シミュレーションデバイスに送信するための操作情報の処理、シミュレーションデバイス３００００から受信したフィードバック情報の処理などに関連する処理を取り扱うのに好適なそれらの任意の組み合わせを含み得る。プロセッサ３００５０は、ユーザからの制御操作を検知するために１つ以上のローカルセンサとインターフェースし、及び／又はユーザからのフィードバックを提供するために１つ以上のローカルアクチュエータとインターフェースするためのマイクロコントローラを含み得る。
【0144】
そのようなプロセッサは、プロセッサによって実行されると、プロセッサによって実行又は支援されるものとして本明細書に記載されるステップをプロセッサに実行させることができる命令を記憶し得る媒体、例えばコンピュータ可読媒体を備え得るか、又はそれと通信し得る。コンピュータ可読媒体のいくつかの実施形態は、限定するものではないが、ウェブサーバ内のプロセッサなどプロセッサにコンピュータ可読命令を提供することができる電子、光学式、磁気、又は他の記憶デバイスを含み得る。媒体の他の例は、フロッピーディスク、ＣＤ－ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、全ての光媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取ることができる任意の他の媒体を含むが、これらに限定されない。説明されるプロセッサ及び処理は、１つ以上の構造であり得、１つ以上の構造を介して分散され得る。プロセッサは、本明細書で説明される方法のうちの１つ以上（又は方法の一部）を実行するためのコードを含み得る。
【0145】
メモリ３００３６は、データを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、メモリ３００３６は、揮発性メモリ及び／又は不揮発性メモリを含み得る。メモリ３００３６は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリなどを含み得る。
【0146】
ディスプレイサブシステム３００５４は、シミュレーションデバイス３００００からユーザに３Ｄシミュレーションの視覚表現を表示するのに好適な任意の構成要素又は構成要素の集合を含み得る。ディスプレイサブシステムは、モニタ、デジタルプロジェクタ、スマートフォン、デジタルヘッドセット、仮想現実ヘッドセット、立体視ディスプレイ、ロボット手術外科医のコンソールディスプレイ、手術用ディスプレイユニット、手術用顕微鏡などディスプレイハードウェアを含み得る。
【0147】
操作サブシステム３００５６は、ユーザから操作制御を収集してシミュレーションデバイス３００００に送信し、及び／又はシミュレーションデバイス３００００から受信したフィードバック情報をユーザに提供するのに好適な任意の構成要素又は構成要素の集合を含み得る。ユーザからの操作は、ユーザに関わる、例えば、シミュレーションにおけるユーザの意図を示すために関与する、センサとの任意のインターフェースを含み得る。例えば、インターフェースとしては、キーボード、マウス、ジョイスティック、実際の手術用器具のサイズ、形状、及び動作を模倣する物理的機器、仮想現実ハンドヘルドコントローラ、スマートグローブ、動作検知システム（例えば、手追跡システムなど）、ロボット手術外科医のコンソールマニピュレータ及び／又は制御部、実際のロボット手術外科医のコンソールマニピュレータ並びに／又は制御装置のサイズ、形状、及び動作を模倣する物理的ユニットなどが挙げられ得る。例えば、インターフェースは、シミュレーション内でユーザの視点を示すために、ヘッドセット内に加速度計などの視点センサを含み得る。
【0148】
シミュレーションデバイス３００００からのフィードバックは、ユーザに感覚入力を提供するアクチュエータとの任意のインターフェースを含み得る。例えば、フィードバックとしては、触覚フィードバック、力フィードバック、温度フィードバック、水分フィードバック、音声フィードバック、嗅覚フィードバックなどが挙げられ得る。例えば、ロボット手術外科医のコンソールのマニピュレータにおける力フィードバック及び／又は触覚アクチュエータを使用して、そのようなマニピュレータをライブ処置で動作させた場合にユーザが感じるであろうフィードバックをシミュレートすることができる。例えば、実際の手術用ステープラのサイズ、形状、及び動作を模倣するユーザデバイスにおける力フィードバック及び／又は触覚アクチュエータを使用して、例えば組織に係合し、ステープラを発射するときの力フィードバックなど、生体組織上でそのようなデバイスを動作させる場合にユーザが感じるであろうフィードバックをシミュレートすることができる。
【0149】
図１０は、例示的手術シミュレータの動作のフロー図である。３００５８において、シミュレーションアプリケーションがロードされ得る。例えば、コアシミュレーションモジュール３００１６は、特定のアプリケーションモジュール３００１０に関連付けられたデータをメモリ３００３６にロードさせ得る。ロードされたデータは、プロセッサ３００３４が特定のシミュレーションを動作させるための命令を含み得る。ロードされたデータは、シミュレーションの処置計画を含み得る。例えば、処置計画は、例えば、図１１Ａ～図１１Ｂに関して、本明細書に開示されるように構造化され得る。ロードされたデータは、シミュレーションの初期状態を含み得る。
【0150】
３００６０において、シミュレーション出力が決定され得る、及び／又は送信され得る。例えば、シミュレーション出力は、シミュレーションデバイス３００００によって決定され得る、及び／又は送信され得る。ここで、コアシミュレーションモジュール３００１６は、シミュレーションの現在の状態（例えば、初期状態及び／又は後続の状態）を参照し得る。コアシミュレーションモジュール３００１６は、現在の状態を処理して出力するために１つ以上の他のモジュールに関与し得る。例えば、コアシミュレーションモジュールは、物体特性モジュール３００２０、テクスチャモジュール３００２６、アプリケーションモジュール３００１０、３Ｄグラフィックスパイプライン３００２８、インターフェースモジュール３００１２、及び／又は手術データシステムインターフェースモジュール３００１４のうちのいずれかに関与して、現在のシミュレーション状態を情報に処理して出力し得る。出力に関連する情報は、例えば、メトリック抽出モジュール３００３０並びに／又はセッション記憶及び管理モジュール３００３２によって処理され得る、及び／又は記憶され得る。
【0151】
例えば、人間が操作するシミュレーションセッションでは、出力情報は、ディスプレイアダプタ３００４０及び／又は操作インターフェースアダプタ３００４２を介して、ヒューマンインターフェースデバイス３０００４のディスプレイサブシステム３００５４及び／又は操作サブシステム３００５６に送信され得る。例えば、コンピュータ制御シミュレーションセッションでは、出力情報は、インターフェースモジュール３００１２を介して外科医エージェント３０００６に送信され得る。また、例えば、コンピュータ制御シミュレーションセッションでは、出力情報は、アプリケーションモジュール３００１０において送信され得る（例えば、ローカルに処理され得る）。例えば、手術データシステム３０００８を介してアクセスされるセッションでは、出力情報は、手術データシステムアダプタ３００４４及び／又はネットワークアダプタ３００４６を介して手術データシステムインターフェースモジュール３００１４によって送信され得る。
【0152】
３００６２において、シミュレーション入力が受信され得る、及び／又は処理され得る。例えば、シミュレーション入力は、シミュレーションデバイス３００００によって受信され得る、及び／又は処理され得る。ここで、コアシミュレーションモジュールは、インターフェースデバイス、手術データシステムインターフェースモジュール、及び／又はアプリケーションモジュール３００１０に関与して、制御入力を受信し得る。入力に関連する情報は、例えば、メトリック抽出モジュール３００３０並びに／又はセッション記憶及び管理モジュール３００３２によって処理され得る、並びに／又は記憶され得る。
【0153】
例えば、人間が操作するシミュレーションセッションでは、入力情報は、ヒューマンインターフェースデバイス３０００４の操作サブシステム３００５６から送信され、操作インターフェースアダプタ３００４２を介して受信され得る。例えば、コンピュータ制御シミュレーションセッションにでは、入力情報は、外科医エージェント３０００６から送信され、インターフェースモジュール３００１２を介して受信され得る。また、例えば、コンピュータ制御シミュレーションセッションでは、入力情報は、アプリケーションモジュール３００１０において受信され得る（例えば、ローカルに処理され得る）。例えば、手術データシステム３０００８を介してアクセスされるセッションでは、入力情報は、手術データシステムアダプタ３００４４及び／又はネットワークアダプタ３００４６を介して受信され、最初に手術データシステムインターフェースモジュール３００１４によって処理され得る。
【0154】
３００６４において、後続のシミュレーション状態が決定され得る。例えば、後続のシミュレーション状態は、現在のシミュレーション状態及び／又は任意の受信された入力から決定され得る。コアシミュレーションモジュール３００１６は、シミュレーションデバイス３００００の他のモジュールのうちの１つ以上に関与して、後続のシミュレーション状態を決定することができる。例えば、コードシミュレーションモジュール３００１６は、アプリケーションモジュール、物体特性モジュール、物理モジュール、生理学的モジュールなどに関与し得る。後続のシミュレーション状態は、プロセッサ３００３４の動作によって決定され得る。入力に関連する情報は、例えば、メトリック抽出モジュール３００３０並びに／又はセッション記憶及び管理モジュール３００３２によって処理され得る、並びに／又は記憶され得る。
【0155】
このステージでは、プロセスは、３００６０において入力を受信することにループし得る。このフローの各繰り返しは、シミュレーションにおける対応する時間サイクルを表し得る。シミュレーションのフレームレートは、シミュレーションの目標及び手術シミュレーションデバイス３００００の処理能力に好適なレベルに設定され得る。より低いフレームレートは、ライブ人間相互作用シミュレーションを達成する処理を可能にし得る。より高いフレームレートは、より高いシミュレーション忠実度を可能にし得る。例えば、コンピュータ制御シミュレーションを、例えば外科医エージェント３０００６を用いて動作させるとき、より高いフレームレートがシミュレーションの処理時間に、シミュレーションしている実世界時間を超えさせる場合であっても、より高いフレームレートが使用され得る。
【0156】
図１１Ａ～図１１Ｂは、コンピュータ実装インタラクティブ手術システム及び／又は手術シミュレータで使用するための例示的外科処置計画のデータ構造を示す。外科処置計画は、外科処置を実行するために使用され得るスタッフ、機器、技法、及びステップを概説する情報を含み得る。例えば、処置計画は、処置において関与するべき役割及び／又は特定の医療専門家を示すスタッフ名簿を含み得る。処置計画は、処置中に使用され得る、耐久性のある手術用機器、撮像機器、器具、消耗品など機器のリストを含み得る。例えば、処置計画は、手術室を準備するときに外科医及び手術に好適なツール及び材料を組み立てるために使用する、外科技術師のための候補リストを含み得る。処置計画は、処置の予定される技法に関する情報を含み得る。例えば、同一手術目標の処置計画は、異なるアクセス方法、授動方法、検査方法、組織接合方法、創傷閉鎖方法などを含み得る。
【0157】
処置計画は、個々の症例に関する外科医の専門家としての判断を反映し得る。処置計画は、特定の技法に対する外科医の選好及び／又は経験を反映し得る。処置計画は、特定の手術タスクを役割及び機器にマッピングし得る。処置計画は、予定処置のタイムラインを提供し得る。
【0158】
処置計画は、１つ以上の決定点及び／又は分岐を含み得る。そのような決定点及び／又は分岐は、処置の特定の態様に利用可能である外科的選択肢を提供し得、選択肢のうちの１つを選択することは、手術自体からの情報に基づき得る。例えば、１つ以上の選択肢を選択することは、特定患者の解剖学的構造の特定平面に基づいて選択され得、外科医は、ライブ手術中に患者の組織の評価に基づいて選択肢を選択し得る。
【0159】
処置計画は、１つ以上の不測事態を含み得る。これらは、可能性が低いものの生じ得る、ライブ手術中にあり得る状況に関する情報を含み得る。不測事態は、当該状況が生じた場合に用いられ得る、１つ以上の手術タスクを含み得る。不測事態は、十分な機器、スタッフ、及び／又は消耗品を処置中にいつでも使用できることを保証するために使用され得る。
【0160】
処置計画は、１つ以上のデータ構造で記録され得る。処置計画データ構造は、将来のライブ手術に関するデータ、完了したライブ手術に関するデータ、将来の模擬手術に関するデータ、完了した模擬手術に関するデータなどを記録するために使用され得る。ライブ手術用の処置計画データ構造は、コンピュータ実装インタラクティブ手術システム１００によって使用され得る。例えば、ライブ手術用の処置計画データ構造は、コンピュータ実装インタラクティブ手術システム１００の状況認識及び／又は動作態様を強化するために、手術用ハブ１０６によって使用され得る。ライブ手術用の処置計画データ構造は、手術用ハブ１０６によって使用されて、構造化分析のためにライブ手術の別個の要素を記録し得る。
【0161】
処置計画データ構造は、シミュレーションデバイス３００００によって使用され得る。例えば、処置計画データ構造はシミュレーションデバイス３００００によって使用されて、シミュレーションセッションの設定及び／又は１つ以上の目的を確立し得る。例えば、処置計画データ構造は、シミュレーションデバイス３００００によって使用されて、構造化分析のために模擬手術の個別要素を記録し得る。
【0162】
処置計画データ構造は、処置に関連するデータ要素を捕捉するのに好適な任意の構造を含み得る。例えば、処置計画は、例えば、図１１Ａに示されるものなどツリー状データ構造で記録され得る。ここで、ツリー構造のルートは、コア処置データ３００６６を表す。コア処置データ３００６６は、処置名、処置コード、患者名、日付、時間など、処置全般に関する情報を含み得る。シミュレーションの場合、コア処置データ３００６６は、デバイスＩＤ、ソフトウェアバージョン、ユーザ、シミュレーション実行設定（フレームレート、解像度、接続されたユーザインターフェースデバイスなど）などシミュレーションデバイスに関する情報を含み得る。
【0163】
処置データは、ツリー構造のリーフを含み得る。第１のレベルのリーフは、処置セットアップ３００６８、１つ以上の処置ステージ３００７０、１つ以上の不測事態３００７２、及び処置の結果３００７４に関するデータなど、処置計画の主要な態様に関するデータを含むことができる。
【0164】
セットアップデータ３００６８は、処置の準備及び／又は初期状態に関する情報を含み得る。例えば、セットアップデータ３００６８は、スタッフ名簿、スタッフの役割及び／又はスタッフＩＤ、手術室ＩＤ、機器リスト、部屋のレイアウト、当初の手術台位置、術野で準備された器具及び／又は消耗品のリスト、機器に関連する全ての初期設定、術前画像、患者記録など要素を含み得る。シミュレーションの場合には、セットアップデータ３００６８は、模擬解剖学的構造の記録、模擬生理機能の記録、術前画像など模擬環境に関する情報を含み得る。
【0165】
ステージデータ３００７０は、処置の主要マイルストーンに関連するデータ要素を含み得る。例えば、処置のステージは、アクセスの確立などマイルストーンを含み得る。ステージデータ３００７０は、処置の特定ステージを実行するために使用され得るスタッフ、機器、技法、及びステップに関連する情報を含み得る。ステージデータ３００７０は、ステージＩＤを含み得る。
【0166】
ステージは、１つ以上の手術タスク３００７６など１つ以上のサブリーフによって更に詳述され得る。手術タスクは、所与のステージ内の別個の手術ステップを表し得る。例えば、アクセスステージにおいて、トロカールを配置することは、手術タスクであり得る。手術タスクデータ３００７６は、タスクＩＤを含み得る。手術タスクデータ３００７６は、タスクを実行しているスタッフ及び／又は外科医、使用される機器、適用される特定の技法、タスク実行中の患者バイタル、他の環境情報、及びリストなど特定のタスクに関連する情報を含み得る。各タスクは、目標データ３００７８、解剖学的構造－器具相互作用に関連するデータ３００８０、及び結果データ３００８２を用いて更に詳述され得る。目標データ３００７８は、タスク実行の相対的成功を示す情報を含み得る。目標データ３００７８は、予定タスク持続時間、許容可能な実行特異度、効率モダリティ、合併症の回避などに関する情報を含み得る。結果データ３００８２は、１つ以上の目標に関連する情報を含み得る。結果データ３００８２は、目標に対する手術実行（例えば、ライブ及び／又は模擬）を記録し得る。
【0167】
タスクデータ３００７６は、解剖学的構造－器具相互作用データ３００８０の１つ以上の要素を含み得る。解剖学的構造－器具相互作用データ３００８０は、手術実行の粒度の細かい指示を表し得る。解剖学的構造－器具相互作用データ３００８０は、手術タスクの実行に使用される１つ以上の特定の活動を表し得る。解剖学的構造－器具相互作用データ３００８０は、外科医の観察可能な挙動を表し得る。
【0168】
一実施例では、解剖学的構造－器具相互作用データ３００８０は、外科医によって解剖学的構造に加えられている特定の位置、力、角度などを含み得る。例えば、ライブ手術では、手術用ハブ１０６によってスマート器具から記録されたデータは、解剖学的構造－器具相互作用データ３００８０として捕捉され得る。例えば、コンピュータ実装インタラクティブ手術システム１００の他の要素と協働する手術用スマートステープラは、ステープラの位置、角度、先端力、ジョー力、ステープルカートリッジタイプ、閉鎖圧力、発射速度などを記録し得る。模擬手術では、同様のデータ要素が捕捉され得る。
【0169】
不測事態データ３００７２は、処置に関連し得る任意の合併症を示し得る。各不測事態データ３００７２は、特定の合併症に対する適切な反応に対処する１つ以上のタスクデータ要素３００８４を含み得る。不測事態データ３００７２は、元の処置計画からの逸脱を示し得る。また、例えば、不測事態データは、１つ以上のタスク３００７８及び／又は解剖学的構造－器具相互作用３００８０と相互参照され得る。例えば、解剖学的構造－器具相互作用３００８０における特定の実行が合併症につながり得る場合、当該実行の性質及び不測事態の相互参照は、当該解剖学的構造－器具相互作用３００８０に関連する結果データ３００８２に含まれ得る。
【0170】
結果データ３００７４は、処置の結果を示し得る。ここで、手術実行のメトリック全般が記憶され得、実際の及び／若しくは模擬患者回復情報、並びに／又は患者転帰を記録する。例えば、結果データ３００７４は、効率情報、コスト情報、手術期間、作業負荷メトリック、計画された消耗品の使用割合などを含み得る。
【0171】
図１１Ｂは、特定の処置、タスク、又は活動を完了するための代替ステップの構造を更に確立する、上記で開示された要素を有する処置計画データ構造を示す。示されるように、処置データ３００８６によって表される処置は、２つの代替セットアップを含み得、それぞれのセットアップデータ（第１のセットアップデータ３００８８、３００９０、及び第２のセットアップデータ３００９２）によってそれぞれ示される。第１のセットアップデータ３００８８、３００９０は、２つの代替タスク３００９４、３００９６を含み得る。第２セットアップデータ３００９２は、１つのタスク３００９８を含み得る。この図では、処置データ３００８６によって表される処置は、３つの異なる方法で達成され得る。第１の方法は、第１のセットアップ３００８８及び第１のタスク３００９４を用いる。第２の方法は、第１のセットアップ３００９０及び第２のタスク３００９６を用いる。そして第３の方法は、第２のセットアップ３００９２及びその対応するタスク３００９８を用いる。
【0172】
ツリー構造の各パスは、処置を実行するための代替方法の特定のセットを表し得る。そのような構造は、特定のライブ及び／又は模擬手術用の特定の処置計画の作成を支援するために有用であり得る。そのような構造は、処置の多くの考えられる代替策をシミュレートして結果の差異を評価するのに有用であり得る。
【0173】
図１２は、補足的医療撮像を伴う例示的仮想現実シミュレーションを示す。外科処置の仮想現実視点３２０００は、１つ以上の模擬要素を含み得る。例えば、ビュー３２０００は、器具３２００２を有するシミュレートされた外科医の腕、模擬患者３２００２、模擬一次撮像３２００６、模擬補足撮像機器３２００８、及び／又は模擬補足撮像３２０１０を含み得る。ビュー３２０００、模擬一次撮像３２００６、及び／又は模擬補足撮像３２０１０は、ビュー３２０００、模擬一次撮像３２００６、及び／又は模擬補足撮像３２０１０が共通のシミュレーションの異なるビューを反映する（例えば、模擬外科処置における共通の事象の異なるビューを反映する）ように調整され得る。そのようなシミュレーションは、シミュレーションユーザの視点３２０００内に模擬一次撮像３２００６と共に模擬補足撮像３２００６を組み込むことによって、強化された訓練及び／又は改善された患者転帰を可能にし得る。
【0174】
一例では、ユーザによって実行されるユーザインターフェース活動は、シミュレーションにおいて実行される対応する活動に反映され得る。例えば、仮想現実ヘッドセットを動かすことは、模擬環境内の外科医の視点３２０００の方向への変化を駆動し得る。実際の器具を模倣するように設計された仮想現実器具及び／又は物理的機器の操作は、模擬器具及びシミュレートされた外科医の腕３２００２の対応する操作を駆動し得る。
【0175】
模擬器具が、例えば、低侵襲手術に関連付けられた撮像等の一次撮像を含み得る範囲で、シミュレーションは、そのような一次撮像の表示を含み得る。一次撮像の表示は、模擬器具及び／又は機器の操作によって駆動されてもよい。例えば、そのような仮想現実視点３２０００において模擬内視鏡手術用ステープラを操作することは、外科医の腕３２００２の対応するシミュレーション、及び／又は模擬一次撮像３２００６内の模擬内視鏡手術用ステープラのビューを駆動し得る。
【0176】
同様に、補足撮像３２０１０の表示は、模擬器具及び／又は機器の操作によって駆動されてもよい。例えば、補足撮像は、術中コンピュータ断層撮影（ＣＴ）、術中磁気共鳴撮像（ＭＲＩ）、術中Ｘ線、経オリフィススコープなどの術中撮像を含み得る。例えば、そのような仮想現実視点３２０００において模擬内視鏡手術用ステープラを操作することは、外科医の腕３２００２の対応するシミュレーション及び／又は模擬補足撮像３２００６内の模擬内視鏡外科用ステープラのビューを駆動し得る。
【0177】
一例では、完全に統合された一次撮像及び補足撮像を用いた手術シミュレーションにより、一次撮像３２００６及び補足撮像３２０１０の両方が、模擬器具及び／又は機器の操作によって駆動され得る。例えば、一次撮像３２００６及び補足撮像３２０１０の両方は、模擬器具及び／又は機器のユーザ操作によってシミュレーション視点３２０００内で駆動されてもよい。また、例えば、一次撮像３２００６、補足撮像３２０１０、及びシミュレーション視点３２０００の他の要素は、模擬器具及び／又は機器のユーザ操作によって駆動されてもよい。
【0178】
一例において、一次撮像３２００６は、ユーザの視点３２０００内の模擬ディスプレイ３２０１２上に現れるように登録されてもよい。補足撮像３２０１０は、模擬ディスプレイ３２０１４上に現れるように登録され得る。それぞれのディスプレイ３２０１２、３２０１４を含む撮像機器は、模擬機器ユーザインターフェース（図示せず）を含むことができる。そのようなインターフェースは、ユーザが撮像機器と相互作用することを可能にし得、したがって、模擬一次撮像３２００６及び／又は補足撮像３２０１０に対する対応する変更を駆動し得る。
【0179】
一例では、シミュレーションは、協調シミュレーションのために１つ以上のタイプの撮像をペアリングすることができる。例えば、シミュレーションは、マルチスペクトル光撮像、超音波撮像、ＣＴ、並びに／又は他の術前及び／若しくは術中撮像システム等のシステムを含んでもよい。例えば、シミュレーションは、術中マルチスペクトル光撮像、術中超音波、術中ＣＴ、術中腔内蛍光透視法、術中ＭＲＩ、及び術中Ｘ線、術前超音波、術前ＣＴ、術前腔内蛍光透視法、術前ＭＲＩ、術前Ｘ線などを含んでもよい。シミュレーションは、調整された撮像出力を示すために、複数の手術室ディスプレイ（例えば、ディスプレイ３２０１２、３２０１４）、拡張現実眼鏡、器具撮像ディスプレイを含んでもよい。
【0180】
ある実施形態では、補足撮像３２０１４は、アイドル状態にされ得る。二次撮像機器３２００８は、シミュレーションにおいて操作されてもよい。例えば、ユーザは、シミュレーション中に機器を再配置し、機器に対して患者を移動させ、シミュレーション中に機器のユーザ制御部と相互作用し、その設定を調整することなどができる。シミュレーションは、そのような操作を受信し、それに応じて補足撮像３２０１４に対する変更を駆動することができる。
【0181】
同様に、ある実施形態では、シミュレーションは、シミュレートされた滅菌野の内側及び／又は外側の撮像及び／又は非撮像機器の相互作用及び／又は制御を含んでもよい。そのような機器は、ウェアラブルリンク、子宮マニピュレータ、円形ステープラ、滅菌野外スコープ（下部胃腸（ＧＩ）スコープ、気管支スコープ、上部ＧＩスコープ、ビデオ補助胸腔鏡手術（ＶＡＴＳ）スコープ等）、障壁デバイス内のための主要機器等の要素を含んでもよい。
【0182】
そのような機器は、ハイブリッドロボット機器、フレキシブルロボット機器などの外科用ロボットを含んでもよい。例えば、シミュレーションは、（例えば、図１３に示されるように）複数のウィンドウ及び／又はスクリーンが協働してデバイスをシミュレートすることを可能にし得る。例えば、シミュレーションは、手術室全体のシミュレーションを可能にし得る。柔軟なロボットソリューションをシミュレートするとき、シミュレーションは、システムが２つの別個の視点からユーザ視覚情報を提供するように、活動を組み合わせ得る。一実施形態では、一次シミュレーション要素は、適切な相互作用のためにアイドル状態のフレキシブルロボットコンソールに視覚情報を提供することができ、及び／又は二次要素は、一次要素と協働するシミュレータインターフェースを提供することができる。一実施形態では、そのような相互作用は、第２の模擬アシスタントを有効にすることができる。シミュレーションは、外科医が、システムを制御するように模擬アシスタントに求めることを可能にし得る。例えば、システムは、プライマリにリンクされた制御を有するようにシミュレートされてもよい。例えば、システムは、アシスタントが外科医の指示に問題を有するときに生じ得る問題に対応するように外科医に求めるようにシミュレートされ得る。
【0183】
一実施形態では、一次撮像及び／又は補足撮像は、患者の領域上に投影されてもよい。例えば、そのような投影は、デジタル模擬環境内で実行され得る。例えば、そのような投影は、患者の全身及び／又は卓上物理シミュレータ上で行われてもよい。そのような投影は、別のモニタソース上にオーバーレイすることなく、撮像が身体及び／又は手術部位上で見られることを可能にし得る。投影は、滅菌野の内側及び／又は外側でなされてもよい。そのような投影は、例えば、拡張現実（ＡＲ）眼鏡を使用して、術前及び／又は術中撮像を身体に重ね合わせることを可能にし得る。例えば、ＡＲベースのヒューマンインターフェースデバイスは、複数のソースからの撮像を可能にし、患者の解剖学的構造及び器具に関して関連するマーカーを識別することができる。ＡＲベースのシステムは、動物訓練モジュール、合成手動モデル（例えば、切開、退縮、離断などをシミュレートするために物理的材料を用いて設計されたもの）、合成組織モデル、血管モデルなどの物理的モデルへの投影を可能にし得る。そのような投影は、そのような物理モデルの訓練値を向上させ得る。例えば、そのようなモデルは、物理的媒体上での物理的機器の使用を可能にし得る。例えば、そのようなモジュールは、エネルギー印加、ステープル留め等の、より現実的及び／又は実際の外科用デバイス起動を可能にし得る。例えば、そのようなモデルは、過剰な組織張力、不正確なステープルカートリッジ等の組織問題を実際に示すことによって、強化された訓練を可能にし得る。
【0184】
一例では、シミュレーションは、複数人の相互作用を可能にすることができる。例えば、第１の医療専門家は、第２の医療専門家との多人数シミュレーションに従事してもよい。第１の医療専門家は、図示のように仮想現実ビュー３２０００を受信することができる。第１の医療専門家は、第２の医療専門家３２０１６の模擬表現を見ることもできる。第２の医療専門家３２０１６がシミュレーション内の活動を実行するために制御部を操作するとき、そのような操作は、例えば、第１の医療専門家の仮想現実ビュー３２０００、一次撮像３２００６、及び／又は補足撮像３２０１０の視覚表現に対する変更を駆動し得る。同様に、第２の医療専門家３２０１６も、環境の模擬表現を見ることができ、第１の医療専門家の対応する視覚表現が、第２の医療専門家３２０１６のビュー内に提示され得る。同様に、第１の医療専門家による制御部の操作は、第２の医療専門家の仮想現実ビュー、第２の医療専門家の一次撮像のビュー、第２の医療専門家の補足撮像のビューなどを駆動し得る。
【0185】
そのような複数人シミュレーションは、器具ハンドオフ、共通組織の協調的処理等の複数人相互作用を可能にするための１つ以上の付加的論理要素を含んでもよい。そのようなシミュレーションは、通信エラー、空間認識及び競合など、グループに関連する訓練シナリオ及び／又は目的を可能にし得る。そのようなシミュレーションは、複数の仮想現実ヘッドセットへの情報表示の同期されたタイミングを可能にし得る。一例では、シミュレーション性能評価は、様々なチームの組合せの協力に基づくことができる。性能は、処置のタイプ、機器セット、特定のスタッフ組合せなどと相関され得る。スケジュールは、そのような性能評価に基づいて決定され得る。例えば、より高性能のチームが一緒に配置されるようにスケジュールが決定されてもよい。
【0186】
シミュレーションシステムは、例えば、追跡デバイス３０００５等の１つ以上の追跡デバイスを含んでもよい。例えば、追跡デバイスは、感知システムの一部であってもよい。例えば、シミュレーションシステム３００００及び手術データシステム３０００８などのシミュレーションデバイス及び手術データシステムは、参照によりその全体が本明細書に組み込まれる、「ＭＥＴＨＯＤ ＯＦ ＡＤＪＵＳＴＩＮＧ Ａ ＳＵＲＧＩＣＡＬ ＰＡＲＡＭＥＴＥＲ ＢＡＳＥＤ ＯＮ ＢＩＯＭＡＲＫＥＲ ＭＥＡＳＵＲＥＭＥＮＴＳ」と題する、２０２１年１月２２日出願の米国特許出願第１７／１５６，２８７号、代理人整理番号第ＥＮＤ９２９０ＵＳＮＰ１号に開示されている感知システムデバイス、プロセス、機能、及び／又は能力を含み得る。
【0187】
例えば、感知システムは、ウェアラブル感知システム（１つ以上の外科医感知システム及び１つ以上の患者感知システムを含み得る）と、環境感知システムと、を含んでもよい。１つ以上の感知システムは、様々なバイオマーカーに関するデータを測定し得る。１つ以上の感知システムは、１つ以上のセンサ、例えば、光センサ（例えば、フォトダイオード、フォトレジスタ）、機械センサ（例えば、モーションセンサ）、音響センサ、電気センサ、電気化学センサ、熱電センサ、赤外線センサなどを使用して、バイオマーカーを測定してもよい。１つ以上のセンサは、フォトプレチスモグラフィ、心電図検査、脳波検査、比色分析、インペディメンタリ、電位差測定、電流測定などの感知技術のうちの１つ以上を使用して、バイオマーカーを測定してもよい。
【0188】
追跡デバイスを含めることにより、シミュレーション動作、訓練、性能スコアリングなどに組み込むための強化されたユーザ情報を可能にすることができる。例えば、追跡デバイスは、シミュレーションデバイス３０００等のシミュレーションデバイスと連動して、環境設定を作成、追跡、及び／又は監視してもよい。そのような処理は、特定の個々のスタッフメンバーのための最適な設定を識別し得る。例えば、そのような処理は、手術時間を最適化し、患者へのリスクを最小化し、スタッフへのストレス／負担を低減する等のために、特定の個々のスタッフメンバーのための最適な設定を識別し得る。
【0189】
一例では、手術室は、１つ以上の環境設定を含み得る。１つ以上の環境設定は、調整可能であってもよい。例示的な環境設定は、照明色、照明輝度、照明拡散（例えば、直接照明、間接照明など）、手術ディスプレイ位置、手術ディスプレイコントラスト、手術ディスプレイ輝度、手術ディスプレイテキストサイズ、台の高さ、台の位置、器具及び／又は機器配置、機器アラーム及び通知音及び／又は音量、周囲雑音、背景音楽の存在、音楽タイプ、音楽音量レベル、温度、湿度などを含むことができる。環境設定に対するそのような調整は、手術室内の個人に影響を及ぼし得る。例えば、挙動、応答タイミング、通信明瞭度、ストレス、緊張などが影響を受け得る。例えば、環境設定に対する調整は、注意散漫及び／又は迷惑を最小限に抑えるように、精神的ストレス及び／又は緊張を低減するように、眼精疲労を最小限に抑えるように、無関係な視覚刺激を低減するように行われ得る。
【0190】
一例では、シミュレーションデバイスは、ユーザのシミュレーションセッション中に様々な模擬環境設定及び／又は実際の環境設定を調整することができる。ユーザのシミュレーション性能は、ユーザのための１つ以上の目標設定を決定するために環境設定と相関され得る。１つ以上の目標設定は、シミュレーションにおける目標性能と相関する設定を含んでもよい。そのような設定は、個人のために保存され、手術用ハブ１１６等の手術データシステムに通信されてもよい。手術データシステムは、例えば、ユーザがライブ手術を行っているときに、ユーザの設定が実装されることを可能にし得る。
【0191】
図１３は、補足的医療撮像を伴うスコープビューシミュレーションの例を示す。ここで、外科処置のシミュレーションビュー３２０１８は、１つ以上の模擬視覚化を含んでもよい。例えば、模擬視覚化は、模擬一次撮像３２０２０及び／又は模擬補足撮像３２０２２を含んでもよい。各視覚化３２０２０、３２０２２は、手術環境の対応するビューを含むことができる。例えば、各視覚化３２０２０、３２０２２は、患者の解剖学的構造及び／又は模擬器具３２０２４、３２０２６の対応するビューを含んでもよい。例えば、ユーザインターフェースのユーザ操作は、一次撮像３２０２０において視覚化されるような模擬器具３２０２４及び／又は補足撮像３２０２２におけるシミュレーション器具３２０２６の対応する操作を駆動してもよい。一次撮像３２０２０は、例えば、低侵襲手術と関連付けられる撮像を含んでもよい。補足撮像３２０２０は、術中コンピュータ断層撮影（ＣＴ）、術中磁気共鳴撮像（ＭＲＩ）、術中Ｘ線、経オリフィススコープなどの術中撮像を含むことができる。模擬一次撮像３２０２０及び模擬補足撮像３２０２２は、模擬一次撮像３２０２０及び模擬補足撮像３２０２２が共通のシミュレーションの異なるビューを反映する（例えば、模擬外科処置における共通の事象の異なるビューを反映する）ように調整されてもよい。
【0192】
図１４は、例示的なシミュレーションアプリケーションモジュール３２０２８のブロック図である。アプリケーションモジュール３２０２８は、本明細書に開示されるシミュレーションデバイス３００００等のシミュレーションデバイスのモジュールであってもよい。アプリケーションモジュール３２０２８の機能は、本明細書で開示されるプロセッサ３００３４などのプロセッサによって提供され得る。
【0193】
アプリケーションモジュール３２０２８は、外科医視点、一次撮像、補足撮像、マルチユーザ視点などの複数の調整されたビューによる手術シミュレーションを可能にすることができる。例えば、アプリケーションモジュール３２０２８は、ビュー３２０００、ビュー３２０１８などに示されるような複数の調整されたビューを有効にすることができる。
【0194】
アプリケーションモジュール３２０２８は、例えば、共通シミュレーション要素３２０３０、第１のビュー生成要素３２０３２、第２のビュー生成要素３２０３４、及び／又はビューマッピング要素３２０２６などの１つ以上の機能要素を有効にすることができる。
【0195】
共通シミュレーション要素３２０３０は、１つ以上のビューを支援し得る共通プリミティブレベルシミュレーションを確立することができる。例えば、共通シミュレーション要素３２０３０は、コアシミュレーションモジュール３００１６と連動して、例えば、環境処理、オブジェクト処理、物理処理、及び／又は生理処理などのプリミティブレベルシミュレーションを提供することができる。共通シミュレーション要素３２０３０は、１つ以上の視覚化に共通であり得る事象のプリミティブレベルシミュレーションを可能にし得る。例えば、共通シミュレーション要素３２０３０は、１つ以上の視覚化によって視覚化される共通要素であり得るように、環境処理、オブジェクト処理、物理処理、及び／又は生理処理などに関して１つ以上のシミュレーションオブジェクトを処理し得る。このようにして、同じ模擬解剖学的構造、器具、及び相互作用が、可視光ベースの視覚化及び、ＭＲＩ、Ｘ線、ＣＴなどの１つ以上の可視光以外の光ベースの視覚化と共にユーザに対して表示され得る。
【0196】
第１のビュー生成要素３２０３２は、共通シミュレーション要素３２０３０によって確立された共通プリミティブレベルシミュレーションに関連付けられた第１のビューを確立することができる。第１のビューは、視点位置、視点方向、視点パースペクティブ（例えば、焦点距離、ズーム、フォーカスなど）、及び／又は視点フィルタ（例えば、カラー、白黒、視覚範囲、コンピュータ断層撮影エミュレーション、磁気共鳴撮像エミュレーション、Ｘ線エミュレーションなどの非視覚エミュレーションなど）などの第１のビュー特性を有する。例えば、第１のビュー生成要素３２０３２は、コアシミュレーションモジュール３００１６と連動して、例えばオブジェクト処理、テクスチャ処理、３Ｄグラフィックスパイプライン処理、及び／又は入力／出力インターフェース処理などの視覚化レベルシミュレーションを提供することができる。例えば、第１のビュー生成要素３２０３２は、コアシミュレーションモジュールと連動して、第１のビュー特性と一致する視覚化レベルシミュレーションを提供することができる。
【0197】
同様に、第２のビュー生成要素３２０３４は、共通シミュレーション要素３２０３０によって確立された共通プリミティブレベルシミュレーションに関連付けられた第２のビューを確立することができる。第２のビューは、視点位置、視点方向、視点パースペクティブ（例えば、焦点距離、ズーム、フォーカスなど）、及び／又は視点フィルタ（例えば、カラー、白黒、視覚範囲、コンピュータ断層撮影エミュレーション、磁気共鳴撮像エミュレーション、Ｘ線エミュレーションなどの非視覚エミュレーションなど）などの第２のビュー特性を有する。例えば、第２のビュー生成要素３２０３４は、コアシミュレーションモジュール３００１６と連動して、例えばオブジェクト処理、テクスチャ処理、３Ｄグラフィックスパイプライン処理、及び／又は入力／出力インターフェース処理などの視覚化レベルシミュレーションを提供することができる。例えば、第２のビュー生成要素３２０３４は、コアシミュレーションモジュールと連動して、第２のビュー特性と一致する視覚化レベルシミュレーションを提供することができる。
【0198】
第１のビュー生成要素３２０３２及び第２のビュー生成要素３２０３４に関連付けられたそれぞれの視覚化レベルシミュレーションの出力は、例えばビュー３２０１８などのマルチビューシミュレーション体験を可能にすることができる。例えば、共通シミュレーション要素３２０３０は、表示出力、フィードバック出力、制御入力などを含むユーザ相互作用のためのシミュレーションアプリケーションインターフェース３２０３８を提供することができる。
【0199】
一例では、第１のビュー生成要素３２０３２及び第２のビュー生成要素３２０３４に関連付けられたそれぞれの視覚化レベルのシミュレーションの出力は、マルチユーザシミュレーション体験を可能にし得る。例えば、共通シミュレーション要素３２０３０は、マルチユーザ相互作用のためのシミュレーションアプリケーションインターフェース３２０３８を提供することができる。共通シミュレーション要素３２０３０は、例えば、第１のユーザ相互作用及び第２のユーザ相互作用を線引きすることができる。共通シミュレーション要素３２０３０は、第１のユーザ相互作用を第１のビュー生成要素３２０３２に関連付けることができる。共通シミュレーション要素３２０３０は、第２のユーザ相互作用を第２のビュー生成要素３２０３２に関連付けることができる。
【0200】
一例では、第１のビュー生成要素３２０３２及び第２のビュー生成要素３２０３４に関連付けられたそれぞれの視覚化レベルシミュレーションの出力は、例えばビュー３２０００などのマルチビューシミュレーション体験を可能にすることができる。例えば、シミュレーションは、１つ以上の撮像機器オブジェクト及び／又は１つ以上のディスプレイオブジェクトを含んでもよい。各ディスプレイオブジェクトは、それぞれのビュー生成要素によって支援される対応する埋め込みビューにリンクされてもよい。ビューマッピング要素は、埋め込みビューのビュー生成要素から出力された視覚化レベルシミュレーションをディスプレイオブジェクトに位置合わせすることができる（例えば、ビュー生成要素から出力された視覚化レベルシミュレーションをディスプレイオブジェクトの一部の表面プロパティに位置合わせするなど）。ビューマッピング要素は、埋め込みビューのビュー生成要素のビュー特性を撮像機器オブジェクトに登録することができる。
【0201】
模擬撮像機器の操作によって、埋め込みビューのビュー生成要素に関連付けられたビュー特性に対応する変化を生じさせることができる。これらの変化の結果は、ディスプレイオブジェクトの面上に模擬表示として提示されてもよい。
【0202】
例示のために、模擬手術ディスプレイオブジェクトは、手術室のフラットパネルＴＶディスプレイユニットを表すように成形され得る。画面を表すディスプレイの部分は、例えば、矩形表面として指定されてもよい。オブジェクトの視覚表現を生成するとき、表面特性及びテクスチャが使用され得る。この第１の視覚化のための視覚処理は、例えば、仮想現実視点のために、別の視覚化の完全にラスタライズされた出力、シミュレーションの内視鏡ビューを使用し、その出力をディスプレイの画面として定義される矩形表面にマッピング及び／又は登録してもよい。完全にラスタライズされた出力は、次いで、パースペクティブ、光及び光線追跡、グレアなどを含む第１の視覚化の視覚処理が行われてもよい。一例では、完全にラスタライズされた出力は、シミュレーション手術ディスプレイの輝度、コントラスト、色合い、彩度、フレームレートなどを表す画像を提供するために、１つ以上の画像フィルタによって更に処理されてもよい。
【0203】
アプリケーションモジュール３２０２８は、任意の数のビュー生成要素を含むことができる。一例では、３つのビュー生成要素を有するアプリケーションモジュール３２０２８は、主仮想現実視点ビュー、一次撮像ビュー、及び／又は補足撮像ビューを有効にすることができ、仮想現実視点は手術室の視点であり、一次撮像ビュー（例えば、内視鏡ビュー）は第１の模擬ディスプレイ上に示され、補足ビューは第２の模擬ディスプレイ上に示される。
【0204】
図１５は、例示的手術シミュレーション動作のフロー図である。３２０４０において、外科処置のシミュレーションがシミュレートされ得る。例えば、外科処置は、模擬手術環境においてシミュレートされ得る。一例では、ユーザに関連付けられたライブバイオマーカー情報を受信することができる。シミュレーションの実行は、ライブバイオマーカー情報に基づいて修正されてもよい。
【0205】
３２０４２において、模擬手術環境の第１の部分の第１の視覚表現が生成され得る。例えば、第１の視覚表現は、手術環境内の第１のビューに対応してもよい。一例では、第１のビューは、手術環境内の外科医の視点であってもよい。一例では、第１のビューは、外科処置の内視鏡ビューであってもよい。
【0206】
３２０４４において、模擬手術環境の第２の部分の第２の視覚表現を生成することができる。例えば、第２の視覚表現は、手術環境内の第２のビューに対応してもよい。一例では、第２のビューは、外科処置のコンピュータ断層撮影ビュー、磁気共鳴撮像ビュー、Ｘ線ビュー、又は経オリフィススコープビューのいずれかを含むことができる。一例では、模擬手術環境の第３の部分の第３の視覚表現が生成されてもよい。
【0207】
３２０４６において、第１の視覚表現の生成及び第２の視覚表現の生成を調整することができる。例えば、第１の視覚表現の生成及び第２の視覚表現の生成は、第１の視覚表現及び第２の視覚表現が外科処置における共通の事象に対応するように調整され得る。例えば、共通の事象は、シミュレーションの共通時間サイクルを指してもよい。例えば、第１の視覚表現及び第２の視覚表現は、外科処置における共通の事象に対応するように同期され得る。例えば、共通の事象は、２つの別個の視覚表現で表されているシミュレーションの共通の態様を指すことができる。例えば、共通の事象は、可視光ベースの処理、Ｘ線ベースの処理、ＣＴベースの処理などの別個の視覚ベースの処理及びシミュレーションを受ける共通シミュレーションオブジェクトを指すことができる。
【0208】
一例では、第１のビューは、手術環境内の外科医の視点であってもよい。第２の視覚表現は、例えば、模擬医療機器ディスプレイに位置合わせするために、第１の視覚表現内にマッピングされてもよい。一例では、第１の視覚表現及び第２の視覚表現は同期され得る。一例では、第１のビューは、手術環境内の外科医の視点を表すことができる。第２の視覚表現は、第１の視覚表現内で、模擬手術環境内の共通の解剖学的構造に位置合わせするようにマッピングされてもよい。
【0209】
３２０４８において、第１の視覚表現及び第２の視覚表現は、ユーザ相互作用のために提示され得る。例えば、第２の視覚表現は、ユーザのための模擬医療機器ディスプレイのための従来のユーザインターフェースをシミュレートすることによって、ユーザ相互作用のために提示され得る。例えば、第１の視覚表現及び第２の視覚表現は、ユーザ相互作用のために仮想現実又は拡張現実インターフェースのいずれかに提示され得る。一例では、第１の視覚表現の生成、第２の視覚表現の生成、及び第３の視覚表現の生成は、調整され得る。そして、第１の視覚表現は、手術環境内の仮想現実視点に対応し、第２の視覚表現は、手術環境内の内視鏡ビューに対応し、第３の視覚表現は、手術環境内の補足撮像ビューに対応する。
【0210】
以下の実施形態の非包括的な列挙はまた、本開示の一部を形成する。
【0211】
実施形態１．デバイスであって、
プロセッサを備え、プロセッサは、
外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、
模擬手術環境の一部分の第１の視覚表現を生成することであって、第１の視覚表現は、模擬手術環境内の一次ビューに対応する、生成することと、
模擬手術環境の一部分の第２の視覚表現を生成することであって、第２の視覚表現は、模擬手術環境内の補足ビューのシミュレーションに対応する、生成することと、
第１の視覚表現及び第２の視覚表現が外科処置における共通の事象に対応するように、第１の視覚表現の生成及び第２の視覚表現の生成を調整することと、
模擬手術環境内でのユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示することと、を行うように構成されている、デバイス。
プロセッサを備え、プロセッサは、
外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、
模擬手術環境の一部分の第１の視覚表現を生成することであって、第１の視覚表現は、模擬手術環境内の一次ビューに対応する、生成することと、
模擬手術環境の一部分の第２の視覚表現を生成することであって、第２の視覚表現は、模擬手術環境内の補足ビューのシミュレーションに対応する、生成することと、
第１の視覚表現及び第２の視覚表現が外科処置における共通の事象に対応するように、第１の視覚表現の生成及び第２の視覚表現の生成を調整することと、
模擬手術環境内でのユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示することと、を行うように構成されている、デバイス。
【0212】
この実施形態の利点は、模擬手術環境内の補足ビュー（医用撮像装置からのビューなど）を一次ビューと同時に配信することができ、したがって、仮想又は模擬環境内のユーザにより多くの情報を提供することができることである。２つのビューの調整は、複数の情報源（例えば、異なる機器からのビュー）を使用してリアルタイム訓練を可能にすることができる。
【0213】
いくつかの実施形態では、「模擬手術環境の一部分」は、仮想現実環境のためにレンダリングされた３Ｄ手術環境の一部分を指し得る。このようにして、この部分の視覚表現は、レンダリングされたシミュレーションを見たときに見られるビューを指す。
【0214】
したがって、１つの技術的効果は、シミュレーション環境の現実性が向上することであると考えることができ、外科医のための訓練結果の改善がもたらされる。
【0215】
実施形態２．一次ビューは、手術環境内の外科医の視点を含む、実施形態１に記載のデバイス。
【0216】
実施形態３．一次ビューは、外科処置の内視鏡ビューを含む、実施形態１に記載のデバイス。
【0217】
実施形態４．二次ビューは、外科処置のコンピュータ断層撮影ビュー、磁気共鳴撮像ビュー、Ｘ線ビュー、又は経オリフィススコープビューのいずれかを含む、実施形態１～３のいずれか１つに記載のデバイス。
【0218】
従来の手術シミュレーションは、模擬手術環境内で、ＣＴスキャンなどの手術器具類からの補足ビューを開示することができない。この利点は、著しくより包括的な外科的訓練環境を作り出すことができ、シミュレーションの現実性を更に高めることができることである。
【0219】
実施形態５．第２の視覚表現は、模擬医療機器ディスプレイに位置合わせするために、第１の視覚表現内にマッピングされる、実施形態２に記載のデバイス。
【0220】
実施形態６．プロセッサは、ユーザのための模擬医療機器ディスプレイのための従来のユーザインターフェースをシミュレートすることによって、ユーザ相互作用のために第２の視覚表現を提示するように更に構成されている、実施形態５に記載のデバイス。
【0221】
この実施形態の利点は、第２の視覚表現が、外科医の視点に対応する第１の視覚表現内でディスプレイ上に示され得ることである。換言すれば、この実施形態は、補足ビューを模擬物理ディスプレイ上にマッピングすることができ、仮想現実模擬環境の現実性を改善するので有利である。これにより、仮想現実訓練セットアップの有効性が改善される。
【0222】
実施形態７．プロセッサは、第１の視覚表現及び第２の視覚表現を、ユーザ相互作用のために仮想現実又は拡張現実インターフェースのいずれかに提示するように更に構成されている、実施形態６に記載のデバイス。
【0223】
実施形態８．プロセッサは、ユーザに関連付けられたライブバイオマーカー情報を受信するように更に構成され、プロセッサは、ライブバイオマーカー情報に基づいて外科処置のシミュレーションの実行を修正するように更に構成されている、実施形態７に記載のデバイス。
【0224】
実施形態９．プロセッサは、第１の視覚表現及び第２の視覚表現をコンピュータディスプレイに提示するように更に構成されている、実施例１～６のいずれか１つに記載のデバイス。
【0225】
この実施形態では、第１及び第２の視覚表現は、コンピュータ上で実行されているシミュレーション上で提供することができる。これは、仮想現実ヘッドセットが使用されていない場合（すなわち、シミュレーション訓練プログラムがコンピュータ上で実行されている場合）に同様の利点が提供されることを可能にする。
【0226】
実施形態１０．第１の視覚表現は、外科処置のシミュレーションから生成され、第２の視覚表現は、外科処置のシミュレーションから生成される、実施形態１～９のいずれか１つに記載のデバイス。
【0227】
実施形態１１．第１の視覚表現及び第２の視覚表現は同期される、実施形態１～１０のいずれか１つに記載のデバイス。
【0228】
実施形態１２．プロセッサは、ユーザのために滅菌野の外側の器具類との相互作用をシミュレートすることによって、ユーザ相互作用のために第１の視覚表現を提示するように更に構成されている、実施形態１～１１のいずれか１つに記載のデバイス。
【0229】
実施形態１３．第２の視覚表現は、模擬手術環境内の共通の解剖学的構造に位置合わせするために、第１の視覚表現内にマッピングされる、実施形態２に記載のデバイス。
【0230】
実施形態１４．第１の視覚表現は、模擬手術環境内の第１の医療専門家の第１の視点に対応し、プロセッサは、模擬手術環境の第３の視覚表現を生成するように更に構成され、第３の視覚表現は、模擬手術環境内の第２の医療専門家の第２の視点に対応する、実施形態１に記載のデバイス。
【0231】
実施形態１５．プロセッサは、第１の医療専門家のユーザ相互作用のために、第１の仮想現実又は第１の拡張現実インターフェースのいずれかに第１の視覚表現及び第２の視覚表現を提示するように更に構成され、プロセッサは、第２の医療専門家のユーザ相互作用のために第２の仮想現実又は第２の拡張現実インターフェースのいずれかに第３の視覚表現を提示するように更に構成されている、実施形態１４に記載のデバイス。
【0232】
実施形態１６．プロセッサが、第１の医療専門家に関連付けられた第１のライブバイオマーカー情報及び第２の医療専門家に関連付けられた第２のライブバイオマーカー情報を受信するように更に構成され、プロセッサは、第１のライブバイオマーカー情報及び第２のライブバイオマーカー情報に基づいて外科処置のシミュレーションの実行を修正するように更に構成されている、実施形態１５に記載のデバイス。
【0233】
実施形態１７．コンピュータ実装方法であって、
外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、
模擬手術環境の一部分の第１の視覚表現を生成することであって、第１の視覚表現は、模擬手術環境内の一次ビューに対応する、生成することと、
模擬手術環境の一部分の第２の視覚表現を生成することであって、第２の視覚表現は、模擬手術環境内の補足ビューのシミュレーションに対応する、生成することと、
第１の視覚表現及び第２の視覚表現が外科処置における共通の事象に対応するように、第１の視覚表現の生成及び第２の視覚表現の生成を調整することと、
模擬手術環境内でのユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示することと、を含む、コンピュータ実装方法。
外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、
模擬手術環境の一部分の第１の視覚表現を生成することであって、第１の視覚表現は、模擬手術環境内の一次ビューに対応する、生成することと、
模擬手術環境の一部分の第２の視覚表現を生成することであって、第２の視覚表現は、模擬手術環境内の補足ビューのシミュレーションに対応する、生成することと、
第１の視覚表現及び第２の視覚表現が外科処置における共通の事象に対応するように、第１の視覚表現の生成及び第２の視覚表現の生成を調整することと、
模擬手術環境内でのユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示することと、を含む、コンピュータ実装方法。
【0234】
実施形態１８．一次ビューは、手術環境内の外科医の視点を含む、実施形態１７に記載のコンピュータ実装方法。
【0235】
実施形態１９．一次ビューは、外科処置の内視鏡ビューを含む、実施形態１７に記載のコンピュータ実装方法。
【0236】
実施形態．２０．二次ビューは、外科処置のコンピュータ断層撮影ビュー、磁気共鳴撮像ビュー、Ｘ線ビュー、又は経オリフィススコープビューのいずれかを含む、実施形態１７～１９のいずれか１つに記載のコンピュータ実装方法。
【0237】
実施形態２１．第２の視覚表現は、模擬医療機器ディスプレイに位置合わせするために、第１の視覚表現内にマッピングされる、実施形態１８に記載のコンピュータ実装方法。
【0238】
実施形態２２．ユーザのための模擬医療機器ディスプレイのための従来のユーザインターフェースをシミュレートすることによって、ユーザ相互作用のために第２の視覚表現を提示することを更に含む、実施形態２０に記載のコンピュータ実装方法。
【0239】
実施形態２３．第１の視覚表現及び第２の視覚表現を、ユーザ相互作用のために仮想現実又は拡張現実インターフェースのいずれかに提示することを更に含む、実施形態２２に記載のコンピュータ実装方法。
【0240】
実施形態２４．ユーザに関連付けられたライブバイオマーカー情報を受信することと、ライブバイオマーカー情報に基づいて外科処置のシミュレーションの実行を修正することとを更に含む、実施形態２３に記載のコンピュータ実装方法。
【0241】
実施形態２５．第１の視覚表現及び第２の視覚表現をコンピュータディスプレイに提示することを更に含む、実施形態１７～２１のいずれか１つに記載のコンピュータ実装方法。
【0242】
実施形態２６．第１の視覚表現は、外科処置のシミュレーションから生成され、第２の視覚表現は、外科処置のシミュレーションから生成される、実施形態１７～２５のいずれか１つに記載のコンピュータ実装方法。
【0243】
実施形態２７．第１の視覚表現及び第２の視覚表現は同期される、実施形態１７～２６のいずれか１つに記載のコンピュータ実装方法。
【0244】
実施形態２８．ユーザのための滅菌野の外側の器具類との相互作用をシミュレートすることによって、ユーザ相互作用のために第１の視覚表現を提示することを更に含む、実施形態１７～２７のいずれか１つに記載のコンピュータ実装方法。
【0245】
実施形態２９．第２の視覚表現は、模擬手術環境内の共通の解剖学的構造に位置合わせするために、第１の視覚表現内にマッピングされる、実施形態１８に記載のコンピュータ実装方法。
【0246】
実施形態３０．第１の視覚表現は、模擬手術環境内の第１の医療専門家の第１の視点に対応し、方法は、模擬手術環境の第３の視覚表現を生成することを更に含み、第３の視覚表現は、模擬手術環境内の第２の医療専門家の第２の視点に対応する、実施形態１７に記載のコンピュータ実装方法。
【0247】
実施形態３１．第１の医療専門家のユーザ相互作用のために第１の仮想現実又は第１の拡張現実インターフェースのいずれかに第１の視覚表現及び第２の視覚表現を提示することと、第２の医療専門家のユーザ相互作用のために第２の仮想現実又は第２の拡張現実インターフェースのいずれかに第３の視覚表現を提示することとを更に含む、実施形態３０に記載のコンピュータ実装方法。
【0248】
実施形態３２．第１の医療専門家に関連付けられた第１のライブバイオマーカー情報及び第２の医療専門家に関連付けられた第２のライブバイオマーカー情報を受信することと、第１のライブバイオマーカー情報及び第２のライブバイオマーカー情報に基づいて外科処置のシミュレーションの実行を修正することとを更に含む、実施形態３１に記載のコンピュータ実装方法。
【0249】
実施形態３３．デバイスであって、
プロセッサを備え、プロセッサは、
外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、
模擬手術環境の一部分の第１の視覚表現を生成することであって、第１の視覚表現は、手術環境内の一次ビューに対応し、
第１の視覚表現は、手術のシミュレーションから生成される、生成することと、
模擬手術環境の一部分の第２の視覚表現を生成することであって、第２の視覚表現は、手術環境処置内の補足ビューのシミュレーションに対応し、第２の視覚表現は、外科処置のシミュレーションから生成される、生成することと、
ユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示することと、を行うように構成されている、デバイス。
プロセッサを備え、プロセッサは、
外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、
模擬手術環境の一部分の第１の視覚表現を生成することであって、第１の視覚表現は、手術環境内の一次ビューに対応し、
第１の視覚表現は、手術のシミュレーションから生成される、生成することと、
模擬手術環境の一部分の第２の視覚表現を生成することであって、第２の視覚表現は、手術環境処置内の補足ビューのシミュレーションに対応し、第２の視覚表現は、外科処置のシミュレーションから生成される、生成することと、
ユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示することと、を行うように構成されている、デバイス。
【0250】
実施形態３４．プロセッサは、第１の視覚表現及び第２の視覚表現が外科処置を通じて共通の活動に対応するように、第１の視覚表現の生成と第２の視覚表現の生成とを同期させるように更に構成されている、実施形態３３に記載のデバイス。
【0251】
実施形態３５．コンピュータによって実行されると、コンピュータに実施形態１７～３２のいずれか１つに記載の方法を実行させる命令を含む、コンピュータ可読媒体。
【0252】
以下の態様の非包括的な列挙はまた、本開示の一部を形成する。
【0253】
態様１．デバイスであって、プロセッサを備え、プロセッサは、
外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、
模擬手術環境の一部分の第１の視覚表現を生成することであって、第１の視覚表現は、模擬手術環境内の第１のビューに対応する、生成することと、
模擬手術環境の一部分の第２の視覚表現を生成することであって、第２の視覚表現は、模擬手術環境内の第２のビューに対応する、生成することと、
第１の視覚表現及び第２の視覚表現が外科処置における共通の事象に対応するように、第１の視覚表現の生成及び第２の視覚表現の生成を調整することと、
模擬手術環境内でのユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示することと、を行うように構成されている、デバイス。
外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、
模擬手術環境の一部分の第１の視覚表現を生成することであって、第１の視覚表現は、模擬手術環境内の第１のビューに対応する、生成することと、
模擬手術環境の一部分の第２の視覚表現を生成することであって、第２の視覚表現は、模擬手術環境内の第２のビューに対応する、生成することと、
第１の視覚表現及び第２の視覚表現が外科処置における共通の事象に対応するように、第１の視覚表現の生成及び第２の視覚表現の生成を調整することと、
模擬手術環境内でのユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示することと、を行うように構成されている、デバイス。
【0254】
態様２．第１のビューは、模擬手術環境内の外科医の視点を含む、態様１のデバイス。
【0255】
態様３．第１のビューは、外科処置の内視鏡ビューを含む、態様１のデバイス。
【0256】
態様４．第２のビューは、外科処置のコンピュータ断層撮影ビュー、磁気共鳴撮像ビュー、Ｘ線ビュー、又は経オリフィススコープビューのいずれかを含む、態様１のデバイス。
【0257】
態様５．第１のビューは、模擬手術環境内の外科医の視点を含み、第２の視覚表現は、模擬医療機器ディスプレイに位置合わせするために、第１の視覚表現内にマッピングされる、態様１のデバイス。
【0258】
態様６．プロセッサは、ユーザのための模擬医療機器ディスプレイのための従来のユーザインターフェースをシミュレートすることによって、ユーザ相互作用のために第２の視覚表現を提示するように更に構成されている、態様５のデバイス。
【0259】
態様７．プロセッサは、第１の視覚表現及び第２の視覚表現を、ユーザ相互作用のために仮想現実又は拡張現実インターフェースのいずれかに提示するように更に構成されている、態様６のデバイス。
【0260】
態様８．プロセッサは、ユーザに関連付けられたライブバイオマーカー情報を受信するように更に構成され、プロセッサは、ライブバイオマーカー情報に基づいて外科処置のシミュレーションの実行を修正するように更に構成されている、態様７のデバイス。
【0261】
態様９．第１の視覚表現は、外科処置のシミュレーションから生成され、第２の視覚表現は、外科処置のシミュレーションから生成される、態様１の装置。
【0262】
態様１０．第１の視覚表現及び第２の視覚表現は同期される、態様１のデバイス。
【0263】
態様１１．プロセッサは、ユーザのために滅菌野の外側の器具類との相互作用をシミュレートすることによって、ユーザ相互作用のために第１の視覚表現を提示するように更に構成されている、態様１のデバイス。
【0264】
態様１２．第１のビューは、模擬手術環境内の外科医の視点を含み、第２の視覚表現は、模擬手術環境内の共通の解剖学的構造に位置合わせするために、第１の視覚表現内にマッピングされる、態様１のデバイス。
【0265】
態様１３．第１の視覚表現は、模擬手術環境内の第１の医療専門家の第１の視点に対応し、プロセッサは、模擬手術環境の第３の視覚表現を生成するように更に構成され、第３の視覚表現は、模擬手術環境内の第２の医療専門家の第２の視点に対応する、態様１のデバイス。
【0266】
態様１４．プロセッサは、第１の医療専門家のユーザ相互作用のために第１の仮想現実又は第１の拡張現実インターフェースのいずれかに第１の視覚表現及び第２の視覚表現を提示するように更に構成され、プロセッサは、第２の医療専門家のユーザ相互作用のために第２の仮想現実又は第２の拡張現実インターフェースのいずれかに第３の視覚表現を提示するように更に構成されている、態様１３のデバイス。
【0267】
態様１５．プロセッサは、第１の医療専門家に関連付けられた第１のライブバイオマーカー情報及び第２の医療専門家に関連付けられた第２のライブバイオマーカー情報を受信するように更に構成され、プロセッサは、第１のライブバイオマーカー情報及び第２のライブバイオマーカー情報に基づいて外科処置のシミュレーションの実行を修正するように更に構成されている、態様１４のデバイス。
【0268】
態様１６．方法であって、
外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、
模擬手術環境の一部分の第１の視覚表現を生成することであって、第１の視覚表現は、模擬手術環境内の第１のビューに対応する、生成することと、
模擬手術環境の一部分の第２の視覚表現を生成することであって、第２の視覚表現は、模擬手術環境内の第２のビューのシミュレーションに対応する、生成することと、
第１の視覚表現及び第２の視覚表現が外科処置における共通の事象に対応するように、第１の視覚表現の生成及び第２の視覚表現の生成を調整することと、
模擬手術環境内でのユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示することと、を含む、方法。
外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、
模擬手術環境の一部分の第１の視覚表現を生成することであって、第１の視覚表現は、模擬手術環境内の第１のビューに対応する、生成することと、
模擬手術環境の一部分の第２の視覚表現を生成することであって、第２の視覚表現は、模擬手術環境内の第２のビューのシミュレーションに対応する、生成することと、
第１の視覚表現及び第２の視覚表現が外科処置における共通の事象に対応するように、第１の視覚表現の生成及び第２の視覚表現の生成を調整することと、
模擬手術環境内でのユーザ相互作用のために第１の視覚表現及び第２の視覚表現を提示することと、を含む、方法。
【0269】
態様１７．第１のビューは、模擬手術環境内の外科医の視点を含み、第２のビューは、外科処置のコンピュータ断層撮影ビュー、磁気共鳴撮像ビュー、Ｘ線ビュー、又は経オリフィススコープビューのいずれかを含み、第２の視覚表現は、模擬医療機器ディスプレイに位置合わせするために、第１の視覚表現内にマッピングされる、態様１６の方法。
【0270】
態様１８．ユーザのための模擬医療機器ディスプレイのための従来のユーザインターフェースをシミュレートすることによって、ユーザ相互作用のために第２の視覚表現を提示することを更に含む、態様１７の方法。
【0271】
態様１９．デバイスであって、プロセッサを備え、プロセッサは、
外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、
模擬手術環境の第１の部分の第１の視覚表現を生成することであって、第１の視覚表現は、模擬手術環境内の仮想現実視点に対応する、生成することと、
模擬手術環境の第２の部分の第２の視覚表現を生成することであって、第２の視覚表現は、模擬手術環境内の内視鏡ビューに対応する、生成することと、
模擬手術環境の第３の部分の第３の視覚表現を生成することであって、第３の視覚表現は、模擬手術環境内の補足撮像ビューに対応する、生成することと、
模擬手術環境内でのユーザ相互作用のために、第１の視覚表現、第２の視覚表現、及び第３の視覚表現を提示することと、を行うように構成されている、デバイス。
外科処置のシミュレーションを実行することであって、外科処置は模擬手術環境においてシミュレートされる、実行することと、
模擬手術環境の第１の部分の第１の視覚表現を生成することであって、第１の視覚表現は、模擬手術環境内の仮想現実視点に対応する、生成することと、
模擬手術環境の第２の部分の第２の視覚表現を生成することであって、第２の視覚表現は、模擬手術環境内の内視鏡ビューに対応する、生成することと、
模擬手術環境の第３の部分の第３の視覚表現を生成することであって、第３の視覚表現は、模擬手術環境内の補足撮像ビューに対応する、生成することと、
模擬手術環境内でのユーザ相互作用のために、第１の視覚表現、第２の視覚表現、及び第３の視覚表現を提示することと、を行うように構成されている、デバイス。
【0272】
態様２０．プロセッサは、第１の視覚表現、第２の視覚表現、及び第３の表現が共通のシミュレーションに対応するように、第１の視覚表現の生成、第２の視覚表現の生成、及び第３の視覚表現の生成を調整するように更に構成され、プロセッサは、第１の視覚表現内の第１の模擬ディスプレイ上に第２の視覚表現を提示し、第１の視覚表現内の第２の模擬ディスプレイ上に第３の視覚表現を提示するように更に構成されている、態様１９のデバイス。
【0273】
〔実施の態様〕
（１） デバイスであって、
プロセッサを備え、前記プロセッサは、
外科処置のシミュレーションを実行することであって、前記外科処置は模擬手術環境においてシミュレートされる、実行することと、
前記模擬手術環境の一部分の第１の視覚表現を生成することであって、前記第１の視覚表現は、前記模擬手術環境内の一次ビューに対応する、生成することと、
前記模擬手術環境の前記一部分の第２の視覚表現を生成することであって、前記第２の視覚表現は、前記模擬手術環境内の補足ビューのシミュレーションに対応する、生成することと、
前記第１の視覚表現及び前記第２の視覚表現が前記外科処置における共通の事象に対応するように、前記第１の視覚表現の生成及び前記第２の視覚表現の生成を調整することと、
前記模擬手術環境内でのユーザ相互作用のために前記第１の視覚表現及び前記第２の視覚表現を提示することと、を行うように構成されている、デバイス。
（２） 前記一次ビューは、前記手術環境内の外科医の視点を含む、実施態様１に記載のデバイス。
（３） 前記一次ビューは、前記外科処置の内視鏡ビューを含む、実施態様１に記載のデバイス。
（４） 前記二次ビューは、前記外科処置のコンピュータ断層撮影ビュー、磁気共鳴撮像ビュー、Ｘ線ビュー、又は経オリフィススコープビュー（trans-orifice scopic view）のいずれかを含む、実施態様１に記載のデバイス。
（５） 前記第２の視覚表現は、模擬医療機器ディスプレイに位置合わせするために、前記第１の視覚表現内にマッピングされる、実施態様２に記載のデバイス。
（１） デバイスであって、
プロセッサを備え、前記プロセッサは、
外科処置のシミュレーションを実行することであって、前記外科処置は模擬手術環境においてシミュレートされる、実行することと、
前記模擬手術環境の一部分の第１の視覚表現を生成することであって、前記第１の視覚表現は、前記模擬手術環境内の一次ビューに対応する、生成することと、
前記模擬手術環境の前記一部分の第２の視覚表現を生成することであって、前記第２の視覚表現は、前記模擬手術環境内の補足ビューのシミュレーションに対応する、生成することと、
前記第１の視覚表現及び前記第２の視覚表現が前記外科処置における共通の事象に対応するように、前記第１の視覚表現の生成及び前記第２の視覚表現の生成を調整することと、
前記模擬手術環境内でのユーザ相互作用のために前記第１の視覚表現及び前記第２の視覚表現を提示することと、を行うように構成されている、デバイス。
（２） 前記一次ビューは、前記手術環境内の外科医の視点を含む、実施態様１に記載のデバイス。
（３） 前記一次ビューは、前記外科処置の内視鏡ビューを含む、実施態様１に記載のデバイス。
（４） 前記二次ビューは、前記外科処置のコンピュータ断層撮影ビュー、磁気共鳴撮像ビュー、Ｘ線ビュー、又は経オリフィススコープビュー（trans-orifice scopic view）のいずれかを含む、実施態様１に記載のデバイス。
（５） 前記第２の視覚表現は、模擬医療機器ディスプレイに位置合わせするために、前記第１の視覚表現内にマッピングされる、実施態様２に記載のデバイス。
【0274】
（６） 前記プロセッサは、前記ユーザのための前記模擬医療機器ディスプレイのための従来のユーザインターフェースをシミュレートすることによって、ユーザ相互作用のために前記第２の視覚表現を提示するように更に構成されている、実施態様５に記載のデバイス。
（７） 前記プロセッサは、前記第１の視覚表現及び前記第２の視覚表現を、ユーザ相互作用のために仮想現実又は拡張現実インターフェースのいずれかに提示するように更に構成されている、実施態様６に記載のデバイス。
（８） 前記プロセッサは、前記ユーザに関連付けられたライブバイオマーカー情報を受信するように更に構成され、前記プロセッサは、前記ライブバイオマーカー情報に基づいて前記外科処置の前記シミュレーションの実行を修正するように更に構成されている、実施態様７に記載のデバイス。
（９） 前記プロセッサは、前記第１の視覚表現及び前記第２の視覚表現をコンピュータディスプレイに提示するように更に構成されている、実施態様１に記載のデバイス。
（１０） 前記第１の視覚表現は、前記外科処置の前記シミュレーションから生成され、前記第２の視覚表現は、前記外科処置の前記シミュレーションから生成される、実施態様１に記載のデバイス。
（７） 前記プロセッサは、前記第１の視覚表現及び前記第２の視覚表現を、ユーザ相互作用のために仮想現実又は拡張現実インターフェースのいずれかに提示するように更に構成されている、実施態様６に記載のデバイス。
（８） 前記プロセッサは、前記ユーザに関連付けられたライブバイオマーカー情報を受信するように更に構成され、前記プロセッサは、前記ライブバイオマーカー情報に基づいて前記外科処置の前記シミュレーションの実行を修正するように更に構成されている、実施態様７に記載のデバイス。
（９） 前記プロセッサは、前記第１の視覚表現及び前記第２の視覚表現をコンピュータディスプレイに提示するように更に構成されている、実施態様１に記載のデバイス。
（１０） 前記第１の視覚表現は、前記外科処置の前記シミュレーションから生成され、前記第２の視覚表現は、前記外科処置の前記シミュレーションから生成される、実施態様１に記載のデバイス。
【0275】
（１１） 前記第１の視覚表現及び前記第２の視覚表現は同期される、実施態様１に記載のデバイス。
（１２） 前記プロセッサは、前記ユーザのための滅菌野の外側の器具類との相互作用をシミュレートすることによって、ユーザ相互作用のために前記第１の視覚表現を提示するように更に構成されている、実施態様１に記載のデバイス。
（１３） 前記第２の視覚表現は、前記模擬手術環境内の共通の解剖学的構造に位置合わせするために、前記第１の視覚表現内にマッピングされる、実施態様２に記載のデバイス。
（１４） 前記第１の視覚表現は、前記模擬手術環境内の第１の医療専門家の第１の視点に対応し、前記プロセッサは、前記模擬手術環境の第３の視覚表現を生成するように更に構成され、前記第３の視覚表現は、前記模擬手術環境内の第２の医療専門家の第２の視点に対応する、実施態様１に記載のデバイス。
（１５） 前記プロセッサは、前記第１の医療専門家のユーザ相互作用のために、第１の仮想現実又は第１の拡張現実インターフェースのいずれかに前記第１の視覚表現及び前記第２の視覚表現を提示するように更に構成され、前記プロセッサは、前記第２の医療専門家のユーザ相互作用のために、第２の仮想現実又は第２の拡張現実インターフェースのいずれかに前記第３の視覚表現を提示するように更に構成されている、実施態様１４に記載のデバイス。
（１２） 前記プロセッサは、前記ユーザのための滅菌野の外側の器具類との相互作用をシミュレートすることによって、ユーザ相互作用のために前記第１の視覚表現を提示するように更に構成されている、実施態様１に記載のデバイス。
（１３） 前記第２の視覚表現は、前記模擬手術環境内の共通の解剖学的構造に位置合わせするために、前記第１の視覚表現内にマッピングされる、実施態様２に記載のデバイス。
（１４） 前記第１の視覚表現は、前記模擬手術環境内の第１の医療専門家の第１の視点に対応し、前記プロセッサは、前記模擬手術環境の第３の視覚表現を生成するように更に構成され、前記第３の視覚表現は、前記模擬手術環境内の第２の医療専門家の第２の視点に対応する、実施態様１に記載のデバイス。
（１５） 前記プロセッサは、前記第１の医療専門家のユーザ相互作用のために、第１の仮想現実又は第１の拡張現実インターフェースのいずれかに前記第１の視覚表現及び前記第２の視覚表現を提示するように更に構成され、前記プロセッサは、前記第２の医療専門家のユーザ相互作用のために、第２の仮想現実又は第２の拡張現実インターフェースのいずれかに前記第３の視覚表現を提示するように更に構成されている、実施態様１４に記載のデバイス。
【0276】
（１６） 前記プロセッサは、前記第１の医療専門家に関連付けられた第１のライブバイオマーカー情報及び前記第２の医療専門家に関連付けられた第２のライブバイオマーカー情報を受信するように更に構成され、前記プロセッサは、前記第１のライブバイオマーカー情報及び前記第２のライブバイオマーカー情報に基づいて前記外科処置の前記シミュレーションの実行を修正するように更に構成されている、実施態様１５に記載のデバイス。
（１７） コンピュータ実装方法であって、
外科処置のシミュレーションを実行することであって、前記外科処置は模擬手術環境においてシミュレートされる、実行することと、
前記模擬手術環境の一部分の第１の視覚表現を生成することであって、前記第１の視覚表現は、前記模擬手術環境内の一次ビューに対応する、生成することと、
前記模擬手術環境の一部分の第２の視覚表現を生成することであって、前記第２の視覚表現は、前記模擬手術環境内の補足ビューのシミュレーションに対応する、生成することと、
前記第１の視覚表現及び前記第２の視覚表現が前記外科処置における共通の事象に対応するように、前記第１の視覚表現の生成及び前記第２の視覚表現の生成を調整することと、
前記模擬手術環境内でのユーザ相互作用のために前記第１の視覚表現及び前記第２の視覚表現を提示することと、を含む、コンピュータ実装方法。
（１８） 前記一次ビューは、前記手術環境内の外科医の視点を含む、実施態様１７に記載のコンピュータ実装方法。
（１９） 前記一次ビューは、前記外科処置の内視鏡ビューを含む、実施態様１７に記載のコンピュータ実装方法。
（２０） 前記二次ビューは、前記外科処置のコンピュータ断層撮影ビュー、磁気共鳴撮像ビュー、Ｘ線ビュー、又は経オリフィススコープビューのいずれかを含む、実施態様１７に記載のコンピュータ実装方法。
（１７） コンピュータ実装方法であって、
外科処置のシミュレーションを実行することであって、前記外科処置は模擬手術環境においてシミュレートされる、実行することと、
前記模擬手術環境の一部分の第１の視覚表現を生成することであって、前記第１の視覚表現は、前記模擬手術環境内の一次ビューに対応する、生成することと、
前記模擬手術環境の一部分の第２の視覚表現を生成することであって、前記第２の視覚表現は、前記模擬手術環境内の補足ビューのシミュレーションに対応する、生成することと、
前記第１の視覚表現及び前記第２の視覚表現が前記外科処置における共通の事象に対応するように、前記第１の視覚表現の生成及び前記第２の視覚表現の生成を調整することと、
前記模擬手術環境内でのユーザ相互作用のために前記第１の視覚表現及び前記第２の視覚表現を提示することと、を含む、コンピュータ実装方法。
（１８） 前記一次ビューは、前記手術環境内の外科医の視点を含む、実施態様１７に記載のコンピュータ実装方法。
（１９） 前記一次ビューは、前記外科処置の内視鏡ビューを含む、実施態様１７に記載のコンピュータ実装方法。
（２０） 前記二次ビューは、前記外科処置のコンピュータ断層撮影ビュー、磁気共鳴撮像ビュー、Ｘ線ビュー、又は経オリフィススコープビューのいずれかを含む、実施態様１７に記載のコンピュータ実装方法。
【0277】
（２１） 前記第２の視覚表現は、模擬医療機器ディスプレイに位置合わせするために、前記第１の視覚表現内にマッピングされる、実施態様１８に記載のコンピュータ実装方法。
（２２） 前記ユーザのための前記模擬医療機器ディスプレイのための従来のユーザインターフェースをシミュレートすることによって、ユーザ相互作用のために前記第２の視覚表現を提示することを更に含む、実施態様２０に記載のコンピュータ実装方法。
（２３） 前記第１の視覚表現及び前記第２の視覚表現を、ユーザ相互作用のために仮想現実又は拡張現実インターフェースのいずれかに提示することを更に含む、実施態様２２に記載のコンピュータ実装方法。
（２４） 前記ユーザに関連付けられたライブバイオマーカー情報を受信することと、前記ライブバイオマーカー情報に基づいて前記外科処置の前記シミュレーションの実行を修正することとを更に含む、実施態様２３に記載のコンピュータ実装方法。
（２５） 前記第１の視覚表現及び前記第２の視覚表現をコンピュータディスプレイに提示することを更に含む、実施態様１７に記載のコンピュータ実装方法。
（２２） 前記ユーザのための前記模擬医療機器ディスプレイのための従来のユーザインターフェースをシミュレートすることによって、ユーザ相互作用のために前記第２の視覚表現を提示することを更に含む、実施態様２０に記載のコンピュータ実装方法。
（２３） 前記第１の視覚表現及び前記第２の視覚表現を、ユーザ相互作用のために仮想現実又は拡張現実インターフェースのいずれかに提示することを更に含む、実施態様２２に記載のコンピュータ実装方法。
（２４） 前記ユーザに関連付けられたライブバイオマーカー情報を受信することと、前記ライブバイオマーカー情報に基づいて前記外科処置の前記シミュレーションの実行を修正することとを更に含む、実施態様２３に記載のコンピュータ実装方法。
（２５） 前記第１の視覚表現及び前記第２の視覚表現をコンピュータディスプレイに提示することを更に含む、実施態様１７に記載のコンピュータ実装方法。
【0278】
（２６） 前記第１の視覚表現は、前記外科処置の前記シミュレーションから生成され、前記第２の視覚表現は、前記外科処置の前記シミュレーションから生成される、実施態様１７に記載のコンピュータ実装方法。
（２７） 前記第１の視覚表現及び前記第２の視覚表現は同期される、実施態様１７に記載のコンピュータ実装方法。
（２８） 前記ユーザのための滅菌野の外側の器具類との相互作用をシミュレートすることによって、ユーザ相互作用のために前記第１の視覚表現を提示することを更に含む、実施態様１７に記載のコンピュータ実装方法。
（２９） 前記第２の視覚表現は、前記模擬手術環境内の共通の解剖学的構造に位置合わせするために、前記第１の視覚表現内にマッピングされる、実施態様１８に記載のコンピュータ実装方法。
（３０） 前記第１の視覚表現は、前記模擬手術環境内の第１の医療専門家の第１の視点に対応し、前記方法は、前記模擬手術環境の第３の視覚表現を生成することを更に含み、前記第３の視覚表現は、前記模擬手術環境内の第２の医療専門家の第２の視点に対応する、実施態様１７に記載のコンピュータ実装方法。
（２７） 前記第１の視覚表現及び前記第２の視覚表現は同期される、実施態様１７に記載のコンピュータ実装方法。
（２８） 前記ユーザのための滅菌野の外側の器具類との相互作用をシミュレートすることによって、ユーザ相互作用のために前記第１の視覚表現を提示することを更に含む、実施態様１７に記載のコンピュータ実装方法。
（２９） 前記第２の視覚表現は、前記模擬手術環境内の共通の解剖学的構造に位置合わせするために、前記第１の視覚表現内にマッピングされる、実施態様１８に記載のコンピュータ実装方法。
（３０） 前記第１の視覚表現は、前記模擬手術環境内の第１の医療専門家の第１の視点に対応し、前記方法は、前記模擬手術環境の第３の視覚表現を生成することを更に含み、前記第３の視覚表現は、前記模擬手術環境内の第２の医療専門家の第２の視点に対応する、実施態様１７に記載のコンピュータ実装方法。
【0279】
（３１） 前記第１の医療専門家のユーザ相互作用のために第１の仮想現実又は第１の拡張現実インターフェースのいずれかに前記第１の視覚表現及び前記第２の視覚表現を提示することと、前記第２の医療専門家のユーザ相互作用のために第２の仮想現実又は第２の拡張現実インターフェースのいずれかに前記第３の視覚表現を提示することとを更に含む、実施態様３０に記載のコンピュータ実装方法。
（３２） 前記第１の医療専門家に関連付けられた第１のライブバイオマーカー情報及び前記第２の医療専門家に関連付けられた第２のライブバイオマーカー情報を受信することと、前記第１のライブバイオマーカー情報及び前記第２のライブバイオマーカー情報に基づいて前記外科処置の前記シミュレーションの実行を修正することと、を更に含む、実施態様３１に記載のコンピュータ実装方法。
（３３） デバイスであって、
プロセッサを備え、前記プロセッサは、
外科処置のシミュレーションを実行することであって、前記外科処置は模擬手術環境においてシミュレートされる、実行することと、
前記模擬手術環境の一部分の第１の視覚表現を生成することであって、前記第１の視覚表現は、前記手術環境内の一次ビューに対応し、前記第１の視覚表現は、前記手術の前記シミュレーションから生成される、生成することと、
前記模擬手術環境の一部分の第２の視覚表現を生成することであって、前記第２の視覚表現は、前記手術環境処置内の補足ビューのシミュレーションに対応し、前記第２の視覚表現は、前記外科処置の前記シミュレーションから生成される、生成することと、
ユーザ相互作用のために前記第１の視覚表現及び前記第２の視覚表現を提示することと、を行うように構成されている、デバイス。
（３４） 前記プロセッサは、前記第１の視覚表現及び前記第２の視覚表現が前記外科処置を通じて共通の活動に対応するように、前記第１の視覚表現の生成と前記第２の視覚表現の生成とを同期させるように更に構成されている、実施態様３３に記載のデバイス。
（３５） コンピュータによって実行されると、前記コンピュータに実施態様１７に記載の方法を実行させる命令を含む、コンピュータ可読媒体。
（３２） 前記第１の医療専門家に関連付けられた第１のライブバイオマーカー情報及び前記第２の医療専門家に関連付けられた第２のライブバイオマーカー情報を受信することと、前記第１のライブバイオマーカー情報及び前記第２のライブバイオマーカー情報に基づいて前記外科処置の前記シミュレーションの実行を修正することと、を更に含む、実施態様３１に記載のコンピュータ実装方法。
（３３） デバイスであって、
プロセッサを備え、前記プロセッサは、
外科処置のシミュレーションを実行することであって、前記外科処置は模擬手術環境においてシミュレートされる、実行することと、
前記模擬手術環境の一部分の第１の視覚表現を生成することであって、前記第１の視覚表現は、前記手術環境内の一次ビューに対応し、前記第１の視覚表現は、前記手術の前記シミュレーションから生成される、生成することと、
前記模擬手術環境の一部分の第２の視覚表現を生成することであって、前記第２の視覚表現は、前記手術環境処置内の補足ビューのシミュレーションに対応し、前記第２の視覚表現は、前記外科処置の前記シミュレーションから生成される、生成することと、
ユーザ相互作用のために前記第１の視覚表現及び前記第２の視覚表現を提示することと、を行うように構成されている、デバイス。
（３４） 前記プロセッサは、前記第１の視覚表現及び前記第２の視覚表現が前記外科処置を通じて共通の活動に対応するように、前記第１の視覚表現の生成と前記第２の視覚表現の生成とを同期させるように更に構成されている、実施態様３３に記載のデバイス。
（３５） コンピュータによって実行されると、前記コンピュータに実施態様１７に記載の方法を実行させる命令を含む、コンピュータ可読媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【図15】
【国際調査報告】