(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2024-06-04
(54)【発明の名称】手術シミュレーション物体修正システム
(51)【国際特許分類】
A61B 34/10 20160101AFI20240528BHJP
G09B 9/00 20060101ALN20240528BHJP
【ＦＩ】
A61B34/10
G09B9/00 Z
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2023571923
(86)(22)【出願日】2022-05-20
(85)【翻訳文提出日】2023-12-28
(86)【国際出願番号】 IB2022054724
(87)【国際公開番号】W WO2022243954
(87)【国際公開日】2022-11-24
(31)【優先権主張番号】63/191,681
(32)【優先日】2021-05-21
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】17/332,524
(32)【優先日】2021-05-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．ＢＬＵＥＴＯＯＴＨ
２．ＦＩＲＥＷＩＲＥ
３．ＴＨＵＮＤＥＲＢＯＬＴ
(71)【出願人】
【識別番号】506157570
【氏名又は名称】シラグ・ゲーエムベーハー・インターナショナル
【氏名又は名称原語表記】Ｃｉｌａｇ ＧＭＢＨ Ｉｎｔｅｒｎａｔｉｏｎａｌ
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】シェルトン・ザ・フォース・フレデリック・イー
(72)【発明者】
【氏名】シャイブ・チャールズ・ジェイ
(72)【発明者】
【氏名】ハリス・ジェイソン・エル
(57)【要約】
外科処置を模擬するためのコンピューティングデバイスは、第１の患者の第１のヒト器官の第１の２次元（２Ｄ）画像データ及び第２の患者の第２のヒト器官の第２の２Ｄ画像データを受信するように構成され得る。コンピューティングデバイスは、第１の２Ｄ画像データ及び第２の２Ｄ画像データの集約から、３Ｄ再構成基準データに基づいて３Ｄ画像データを生成するように構成され得る。コンピューティングデバイスは、模擬ヒト器官の変形可能な３Ｄモデルの形状を、３Ｄ画像データの空間情報に対応するようにマッピングするように構成され得る。コンピューティングデバイスは、模擬ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報に対応するようにマッピングするように構成され得る。コンピューティングデバイスは、変形可能な３Ｄモデルを出力するように構成され得る。
【特許請求の範囲】
【請求項1】
コンピューティングデバイスであって、前記コンピューティングデバイスは、プロセッサを備え、前記プロセッサは、
第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、前記第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含む、ことと、
第２のヒト器官の第２の２Ｄ画像データを受信することであって、前記第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、
前記第１の２Ｄ可視画像データ及び前記第２の２Ｄ可視画像データの集約から、前記第１の３Ｄ再構成基準データ及び前記第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、前記３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、
ヒト器官の変形可能な３Ｄモデルの形状を、前記３Ｄ画像データの前記空間情報に対応するようにマッピングすることと、
前記ヒト器官の前記変形可能な３Ｄモデルの表面を、前記３Ｄ画像データの前記視覚情報に対応するようにマッピングすることと、
前記変形可能な３Ｄモデルを出力することと、を実行するように構成されている、コンピューティングデバイス。
【請求項2】
前記プロセッサは、外科処置を模擬するように構成されている、請求項１に記載のコンピューティングデバイス。
【請求項3】
ヒト器官の前記３Ｄモデルは、模擬ヒト器官の３Ｄモデルである、請求項１に記載のコンピューティングデバイス。
【請求項4】
前記第１のヒト器官及び前記第２のヒト器官は、同一種類のヒト器官である、請求項１に記載のコンピューティングデバイス。
【請求項5】
前記第１の患者は、前記第２の患者と同一である、請求項１に記載のコンピューティングデバイス。
【請求項6】
前記２Ｄ画像データは、構造化光撮像を使用してキャプチャされる、請求項１に記載のコンピューティングデバイス。
【請求項7】
前記プロセッサは、前記１つ以上のヒト器官の組織特性データを受信することであって、前記組織特性データは、少なくとも、前記１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、
模擬力が前記変形可能な３Ｄモデルに加えられると、前記物理的特性データに基づいて前記変形可能な３Ｄモデルを変形させることと、を実行するように更に構成されている、請求項１に記載のコンピューティングデバイス。
【請求項8】
前記第１の２Ｄ画像データは、前記第１の患者の体内でキャプチャされる第１の不可視画像データを更に含み、前記第２の２Ｄ画像データは、前記第２の患者の体内でキャプチャされる第２の不可視画像データを更に含み、前記プロセッサは、前記第１の基準及び前記第２の基準に基づいて、かつ前記第１の不可視画像データ及び前記第２の不可視画像データに基づいて、前記第１の可視画像データ及び前記第２の可視画像データの前記集約から前記３Ｄ画像データを生成するように更に構成されており、前記３Ｄ画像データは、非視覚情報を更に含み、前記プロセッサは、前記３Ｄ画像データの前記非視覚情報に基づいて、前記ヒト器官の前記変形可能な３Ｄモデルの表面下データを生成するように更に構成されている、請求項１に記載のコンピューティングデバイス。
【請求項9】
前記プロセッサは、患者固有データを受信し、
前記３Ｄ画像データの前記視覚情報及び前記患者固有データに対応するように、前記ヒト器官の前記変形可能な３Ｄモデルの前記表面をマッピングする、ように更に構成されている、請求項１に記載のコンピューティングデバイス。
【請求項10】
前記プロセッサは、前記模擬外科処置の予期される態様を定義することであって、前記予期される態様は、手術ステップ、前記手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、
前記模擬外科処置に対するユーザからの入力データを監視することと、
前記入力データが前記予期される態様に対応すると判定されると、関連する命令を前記ユーザに提示することと、を実行するように更に構成されている、請求項２に記載のコンピューティングデバイス。
【請求項11】
前記プロセッサは、前記模擬外科処置の予期される態様を定義することであって、前記予期される態様は、手術ステップ、前記手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つである、ことと、
前記模擬外科処置に対するユーザからの入力データを監視することと、
前記入力データが前記予期される態様に対応すると判定されると、前記ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を実行するように更に構成されている、請求項２に記載のコンピューティングデバイス。
【請求項12】
前記プロセッサは、前記模擬外科処置の予期される手術ステップを定義することと、
ユーザからの前記模擬外科処置に対する入力データを監視することと、
前記入力データが前記予期される手術ステップに対応すると判定されると、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢を前記ユーザに提示することであって、前記１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、ことと、を実行するように更に構成されている、請求項２に記載のコンピューティングデバイス。
【請求項13】
前記１つ以上の実際の外科処置ビデオの前記対応するセグメントを視聴するという前記選択肢は、手術合併症又は手術結果によって更にカスタマイズされ得る、請求項１２に記載のコンピューティングデバイス。
【請求項14】
コンピュータ実施方法であって、前記コンピュータ実施方法は、第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、前記第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含む、ことと、
第２のヒト器官の第２の２Ｄ画像データを受信することであって、前記第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、
前記第１の２Ｄ可視画像データ及び前記第２の２Ｄ可視画像データの集約から、前記第１の３Ｄ再構成基準データ及び前記第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、前記３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、
ヒト器官の変形可能な３Ｄモデルの形状を、前記３Ｄ画像データの前記空間情報に対応するようにマッピングすることと、
前記ヒト器官の前記変形可能な３Ｄモデルの表面を、前記３Ｄ画像データの前記視覚情報に対応するようにマッピングすることと、
前記変形可能な３Ｄモデルを出力することと、を含む、コンピュータ実施方法。
【請求項15】
ヒト器官の前記３Ｄモデルは、模擬ヒト器官の３Ｄモデルである、請求項１４に記載のコンピュータ実施方法。
【請求項16】
前記第１のヒト器官及び前記第２のヒト器官は、同一種類のヒト器官である、請求項１４に記載のコンピュータ実施方法。
【請求項17】
前記第１の患者は、前記第２の患者と同一である、請求項１４に記載のコンピュータ実施方法。
【請求項18】
前記２Ｄ画像データは、構造化光撮像を使用してキャプチャされる、請求項１４に記載のコンピュータ実施方法。
【請求項19】
前記１つ以上のヒト器官の組織特性データを受信することであって、前記組織特性データは、少なくとも、前記１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、模擬力が前記変形可能な３Ｄモデルに加えられると、前記物理的特性データに基づいて前記変形可能な３Ｄモデルを変形させることと、を更に含む、請求項１４に記載のコンピュータ実施方法。
【請求項20】
前記第１の２Ｄ画像データは、前記第１の患者の体内でキャプチャされる第１の不可視画像データを更に含み、前記第２の２Ｄ画像データは、前記第２の患者の体内でキャプチャされる第２の不可視画像データを更に含み、前記プロセッサは、前記第１の基準及び前記第２の基準に基づいて、かつ前記第１の不可視画像データ及び前記第２の不可視画像データに基づいて、前記第１の可視画像データ及び前記第２の可視画像データの前記集約から前記３Ｄ画像データを生成するように更に構成されており、前記３Ｄ画像データは、非視覚情報を更に含み、前記プロセッサは、前記３Ｄ画像データの前記非視覚情報に基づいて、前記ヒト器官の前記変形可能な３Ｄモデルの表面下データを生成するように更に構成されている、請求項１４に記載のコンピュータ実施方法。
【請求項21】
前記プロセッサは、患者固有データを受信すること、並びに
前記３Ｄ画像データの前記視覚情報及び前記患者固有データに対応するように、前記ヒト器官の前記変形可能な３Ｄモデルの前記表面をマッピングすること、を実行するように更に構成されている、請求項１４に記載のコンピュータ実施方法。
【請求項22】
前記模擬外科処置の予期される態様を定義することであって、前記予期される態様は、手術ステップ、前記手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、前記模擬外科処置に対するユーザからの入力データを監視することと、
前記入力データが前記予期される態様に対応すると判定されると、関連する命令を前記ユーザに提示することと、を更に含む、請求項１４に記載のコンピュータ実施方法。
【請求項23】
前記模擬外科処置の予期される態様を定義することであって、前記予期される態様は、手術ステップ、前記手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つである、ことと、前記模擬外科処置に対するユーザからの入力データを監視することと、
前記入力データが前記予期される態様に対応すると判定されると、前記ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を更に含む、請求項１４に記載のコンピュータ実施方法。
【請求項24】
前記プロセッサは、前記模擬外科処置の予期される手術ステップを定義すること、
ユーザからの前記模擬外科処置に対する入力データを監視すること、及び
前記入力データが前記予期される手術ステップに対応すると判定されると、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢を前記ユーザに提示することであって、前記１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、こと、を実行するように更に構成されている、請求項１４に記載のコンピュータ実施方法。
【請求項25】
前記１つ以上の実際の外科処置ビデオの前記対応するセグメントを視聴するという前記選択肢は、手術合併症又は手術結果によって更にカスタマイズされ得る、請求項２４に記載のコンピュータ実施方法。
【請求項26】
コンピュータによって実行されると、前記コンピュータに請求項１４に記載の方法を実行させる命令を含む、コンピュータ可読媒体。
【発明の詳細な説明】
【技術分野】
【0001】
（関連出願の相互参照）
本出願は、２０２１年５月２１日出願の米国特許仮出願第６３／１９１，６８１号の利益を主張し、参照によりその開示の全体が本書に組み込まれる。
本出願は、２０２１年５月２１日出願の米国特許仮出願第６３／１９１，６８１号の利益を主張し、参照によりその開示の全体が本書に組み込まれる。
【0002】
本出願は、同時に出願された以下の出願に関連し、その各々の内容は、参照により本明細書に組み込まれる。
・ ２０２１年５月２７日出願の「ＭＥＴＨＯＤＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ」と題する米国特許出願第１７／３３２，５９４号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ１）
・ ２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＮＡＶＩＧＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，３９９号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ３）
・ ２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ ＷＩＴＨ ＣＯＯＲＤＩＮＡＴＥＤ ＩＭＡＧＩＮＩＮＧ」と題する米国特許出願第１７／３３２，４４１号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ４）
・ ２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ ＷＩＴＨ ＳＩＭＵＬＡＴＥＤ ＳＵＲＧＩＣＡＬ ＥＱＵＩＰＭＥＮＴ ＣＯＯＲＤＩＮＡＴＩＯＮ」と題する米国特許出願第１７／３３２，４６２号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ５）
・ ２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＳＵＲＧＩＣＡＬ ＰＲＯＣＥＤＵＲＥ ＰＬＡＮＮＩＮＧ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，１９７号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ６）
・ ２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＤＩＲＥＣＴＥＤ ＳＵＲＧＩＣＡＬ ＤＥＶＥＬＯＰＭＥＮＴ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，４０７号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ７）
・ ２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＡＤＶＥＲＳＥ ＥＶＥＮＴ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願Ｎｏ．１７／３３２，４４９号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ８）
・ ２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＳＵＲＧＩＣＡＬ ＡＮＡＬＹＳＩＳ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，４９６号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ９）
・ ２０２１年５月２７日出願の「ＤＹＮＡＭＩＣ ＡＤＡＰＴＡＴＩＯＮ ＳＹＳＴＥＭ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ」と題する米国特許出願第１７／３３２，４８０号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ１０）
・ ２０２１年５月２７日出願の「ＭＥＴＨＯＤＳ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ」と題する米国特許出願第１７／３３２，５９４号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ１）
・ ２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＮＡＶＩＧＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，３９９号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ３）
・ ２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ ＷＩＴＨ ＣＯＯＲＤＩＮＡＴＥＤ ＩＭＡＧＩＮＩＮＧ」と題する米国特許出願第１７／３３２，４４１号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ４）
・ ２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ ＷＩＴＨ ＳＩＭＵＬＡＴＥＤ ＳＵＲＧＩＣＡＬ ＥＱＵＩＰＭＥＮＴ ＣＯＯＲＤＩＮＡＴＩＯＮ」と題する米国特許出願第１７／３３２，４６２号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ５）
・ ２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＳＵＲＧＩＣＡＬ ＰＲＯＣＥＤＵＲＥ ＰＬＡＮＮＩＮＧ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，１９７号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ６）
・ ２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＤＩＲＥＣＴＥＤ ＳＵＲＧＩＣＡＬ ＤＥＶＥＬＯＰＭＥＮＴ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，４０７号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ７）
・ ２０２１年５月２７日出願の「ＳＵＲＧＩＣＡＬ ＡＤＶＥＲＳＥ ＥＶＥＮＴ ＳＩＭＵＬＡＴＩＯＮ ＳＹＳＴＥＭ」と題する米国特許出願Ｎｏ．１７／３３２，４４９号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ８）
・ ２０２１年５月２７日出願の「ＳＩＭＵＬＡＴＩＯＮ－ＢＡＳＥＤ ＳＵＲＧＩＣＡＬ ＡＮＡＬＹＳＩＳ ＳＹＳＴＥＭ」と題する米国特許出願第１７／３３２，４９６号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ９）
・ ２０２１年５月２７日出願の「ＤＹＮＡＭＩＣ ＡＤＡＰＴＡＴＩＯＮ ＳＹＳＴＥＭ ＦＯＲ ＳＵＲＧＩＣＡＬ ＳＩＭＵＬＡＴＩＯＮ」と題する米国特許出願第１７／３３２，４８０号（代理人整理番号ＥＮＤ９３３８ＵＳＮＰ１０）
【背景技術】
【0003】
例えば、手術環境及び／又は外科処置のコンピュータベースの３次元シミュレーションなど手術シミュレーションは、手術技術を進歩させる機会を提示する。手術シミュレーションは、手術訓練、計画、開発などに役立つ可能性を有する。例えば、手術シミュレーションは、新たな処置で外科医を訓練するために、及び／又は外科医に既知の処置の実行を向上させるために使用され得る。手術シミュレーションは、外科医が次の処置の準備を支援するための仮想「最終リハーサル」として使用され得る。また、手術シミュレーションは、実証されていない処置及び技法を用いた実験に使用され得る。
【0004】
しかしながら、手術シミュレーションプラットフォームは、能力、範囲、及び適用可能性において多くの制限に直面する複合システムである。例えば、多くのプラットフォームは、特定の学習目的に対処するように、又は手術ロボットの動作を模擬するなど、単一の機器の動作を模擬するように特別にプログラムされ、調整された技術「サイロ」である。これらのような制限は、手術技術を進歩させるためのツールとしてのプラットフォームの有効性を低減させ得る。また、そのような制限は、術前計画、術中サポート、術後分析など手術プロセスの他の側面へのシミュレーションベースのアプリケーションの統合に対する重大な技術的障害を表し得る。
【発明の概要】
【発明が解決しようとする課題】
【0005】
したがって、例えば、手術シミュレーション能力、範囲、及び適用可能性に対処する技術的進歩など手術シミュレーション技術における革新は、手術分野における更なる進歩を加速させ得る。
【課題を解決するための手段】
【0006】
本明細書では、手術シミュレーション物体修正のためのシステム、方法、及び手段が説明される。外科処置を模擬するためのコンピューティングデバイスは、プロセッサを含み得る。プロセッサは、第１の患者の第１のヒト器官の第１の２次元（２Ｄ）画像データを受信するように構成され得る。第１の２Ｄ画像データは、第１の患者の体内でキャプチャされる第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含み得る。第１の２Ｄ画像データは、構造化光撮像を使用してキャプチャされ得る。プロセッサは、第２の患者の第２のヒト器官の第２の２Ｄ画像データを受信するように構成され得る。第２の２Ｄ画像データは、第２の患者の体内でキャプチャされる第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含み得る。プロセッサは、第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から、第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成するように構成され得る。３Ｄ画像データは、空間情報と、視覚情報と、を含み得る。プロセッサは、模擬ヒト器官の変形可能な３Ｄモデルの形状を、３Ｄ画像データの空間情報に対応するようにマッピングするように構成され得る。プロセッサは、模擬ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報に対応するようにマッピングするように構成され得る。プロセッサは、変形可能な３Ｄモデルを出力するように構成され得る。
【0007】
本発明は、コンピューティングデバイスに関し、コンピュータデバイスは、
プロセッサを備え、プロセッサは、第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データ及び第１の３次元（３Ｄ）再構成基準データを含む、こと、第２のヒト器官の第２の２Ｄ画像データを受信することであって、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた、第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、こと、第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から、第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、３Ｄ画像データは、空間情報と、視覚情報と、を含む、こと、ヒト器官の変形可能な３Ｄモデルの形状を、３Ｄ画像データの空間情報に対応するようにマッピングすること、ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報に対応するようにマッピングすること、並びに変形可能な３Ｄモデルを出力すること、を実行するように構成されている。
プロセッサを備え、プロセッサは、第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データ及び第１の３次元（３Ｄ）再構成基準データを含む、こと、第２のヒト器官の第２の２Ｄ画像データを受信することであって、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた、第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、こと、第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から、第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、３Ｄ画像データは、空間情報と、視覚情報と、を含む、こと、ヒト器官の変形可能な３Ｄモデルの形状を、３Ｄ画像データの空間情報に対応するようにマッピングすること、ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報に対応するようにマッピングすること、並びに変形可能な３Ｄモデルを出力すること、を実行するように構成されている。
【0008】
「変形可能な３Ｄモデル」は、複数の空間データポイントを含む任意のボリュメトリックモデル（３Ｄでレンダリングされるヒト器官のモデルなど）を指し得ることを理解されたい。これは、モデル内の空間データポイントの修正によって、モデルを容易に「変形」させる（又はモデルの形状／サイズを変化させるように相互作用させる）ことを可能にする。
【0009】
第１のモデルの形状／表面を「マッピング」することは、別個の３Ｄモデル（すなわち、３Ｄ画像データ）に基づいて第１のモデルの形状／表面を修正することを指すことも理解され得る。それは、ポイントツーポイントマッピングを使用することを含み得、それによって、モデル上の各ポイントは、別個の３Ｄモデル（この場合、生成された３Ｄ画像データ）との差異を最小限にするように調整され得る。
【0010】
この実施形態の１つの技術的効果は、２Ｄ画像のキャプチャ及び処理を通じて、３Ｄモデルの形状及び表面詳細の両方の精度が改善され得ることである。
【0011】
いくつかの実施形態では、プロセッサは、外科処置を模擬するように構成されている。
【0012】
いくつかの実施形態では、ヒト器官の３Ｄモデルは、模擬ヒト器官の３Ｄモデルである。
【0013】
いくつかの実施形態では、第１のヒト器官及び第２のヒト器官は、同一種類のヒト器官である。
【0014】
いくつかの実施形態では、第１の患者は、第２の患者と同一である。
【0015】
いくつかの実施形態では、２Ｄ画像データは、構造化光撮像を使用してキャプチャされる。
【0016】
いくつかの実施形態では、プロセッサは、１つ以上のヒト器官の組織特性データを受信することであって、組織特性データは、少なくとも、１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、こと、及び模擬力が変形可能な３Ｄモデルに加えられると、物理的特性データに基づいて変形可能な３Ｄモデルを変形させること、を実行するように更に構成されている。
【0017】
いくつかの実施形態では、第１の２Ｄ画像データは、第１の患者の体内でキャプチャされる第１の不可視画像データを更に含み、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされる第２の不可視画像データを更に含み、プロセッサは、第１の基準及び第２の基準に基づいて、かつ第１の不可視画像データ及び第２の不可視画像データに基づいて、第１の可視画像データ及び第２の可視画像データの集約から３Ｄ画像データを生成するように更に構成されており、３Ｄ画像データは、非視覚情報を更に含み、プロセッサは、３Ｄ画像データの非視覚情報に基づいて、ヒト器官の変形可能な３Ｄモデルの表面下データを生成するように更に構成されている。
【0018】
いくつかの実施形態では、プロセッサは、患者固有データを受信し、３Ｄ画像データの視覚情報及び患者固有データに対応するように、ヒト器官の変形可能な３Ｄモデルの表面をマッピングするように更に構成されている。
【0019】
いくつかの実施形態では、プロセッサは、模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、こと、模擬外科処置に対するユーザからの入力データを監視すること、及び入力データが予期される態様に対応すると判定されると、関連する命令をユーザに提示すること、を実行するように更に構成されている。
【0020】
いくつかの実施形態では、プロセッサは、模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つであること、模擬外科処置に対するユーザからの入力データを監視すること、及び入力データが予期される態様に対応すると判定されると、ユーザとの指示的対話を開始するという選択肢をインストラクタに提示すること、を実行するように更に構成されている。
【0021】
いくつかの実施形態では、プロセッサは、模擬外科処置の予期される手術ステップを定義すること、模擬外科処置に対するユーザからの入力データを監視すること、及び入力データが予期される手術ステップに対応すると判定されると、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢をユーザに提示することであって、１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、こと、を実行するように更に構成されている。
【0022】
いくつかの実施形態では、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢は、手術合併症又は手術結果によって更にカスタマイズされ得る。
【0023】
本発明によると、コンピュータ実施方法も提供され、コンピュータ実施方法は、第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データ及び第１の３次元（３Ｄ）再構成基準データを含む、ことと、第２のヒト器官の第２の２Ｄ画像データを受信することであって、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から、第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、ヒト器官の変形可能な３Ｄモデルの形状を、３Ｄ画像データの空間情報に対応するようにマッピングすることと、ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報に対応するようにマッピングすることと、変形可能な３Ｄモデルを出力することと、を含む。
【0024】
いくつかの実施形態では、ヒト器官の３Ｄモデルは、模擬ヒト器官の３Ｄモデルである。
【0025】
いくつかの実施形態では、第１のヒト器官及び第２のヒト器官は、同一種類のヒト器官である。
【0026】
いくつかの実施形態では、第１の患者は、第２の患者と同一である。
【0027】
いくつかの実施形態では、２Ｄ画像データは、構造化光撮像を使用してキャプチャされる。
【0028】
いくつかの実施形態では、方法は、１つ以上のヒト器官の組織特性データを受信することであって、組織特性データは、少なくとも、１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、模擬力が変形可能な３Ｄモデルに加えられると、物理的特性データに基づいて変形可能な３Ｄモデルを変形させることと、を更に含む。
【0029】
いくつかの実施形態では、第１の２Ｄ画像データは、第１の患者の体内でキャプチャされる第１の不可視画像データを更に含み、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされる第２の不可視画像データを更に含み、プロセッサは、第１の基準及び第２の基準に基づいて、かつ第１の不可視画像データ及び第２の不可視画像データに基づいて、第１の可視画像データ及び第２の可視画像データの集約から３Ｄ画像データを生成するように更に構成されており、３Ｄ画像データは、非視覚情報を更に含み、プロセッサは、３Ｄ画像データの非視覚情報に基づいて、ヒト器官の変形可能な３Ｄモデルの表面下データを生成するように更に構成されている。
【0030】
いくつかの実施形態では、プロセッサは、患者固有データを受信し、３Ｄ画像データの視覚情報及び患者固有データに対応するように、ヒト器官の変形可能な３Ｄモデルの表面をマッピングするように更に構成されている。
【0031】
いくつかの実施形態では、方法は、模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、模擬外科処置に対するユーザからの入力データを監視することと、入力データが予期される態様に対応すると判定されると、関連する命令をユーザに提示することと、を更に含む。
【0032】
いくつかの実施形態では、方法は、模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つであることと、模擬外科処置に対するユーザからの入力データを監視することと、入力データが予期される態様に対応すると判定されると、ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を更に含む。
【0033】
いくつかの実施形態では、プロセッサは、模擬外科処置の予期される手術ステップを定義すること、ユーザからの模擬外科処置に対する入力データを監視すること、及び入力データが予期される手術ステップに対応すると判定されると、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢をユーザに提示することであって、１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、こと、を実行するように更に構成されている。
【0034】
いくつかの実施形態では、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢は、手術合併症又は手術結果によって更にカスタマイズされ得る。
コンピュータによって実行されると、本発明の方法をコンピュータに実行させる命令を含むコンピュータ可読媒体も提供される。
コンピュータによって実行されると、本発明の方法をコンピュータに実行させる命令を含むコンピュータ可読媒体も提供される。
【図面の簡単な説明】
【0035】
【図1】コンピュータ実装インタラクティブ外科用システムのブロック図である。
【図2】手術室で外科的処置を実施するために使用されている例示的外科用システムを示す。
【図3】本開示の少なくとも１つの態様による、可視化システム、ロボットシステム、及びインテリジェント器具とペアリングされた例示的な外科用ハブを示す。
【図4】本開示の少なくとも１つの態様による、医療施設の１つ以上の手術現場、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置しているモジュール式デバイスをクラウドに接続するように構成された通信ハブを有する外科用データネットワークを示す。
【図5】例示的コンピュータ実装インタラクティブ外科用システムを示す図である。
【図6】モジュール式制御タワーに連結された複数のモジュールを含む例示的な外科用ハブを示す。
【図7】例示的手術シミュレータシステムのブロック図である。
【図8】例示的手術シミュレータシステムのブロック図である。
【図9】例示的手術シミュレータのユーザインターフェースデバイスを描写するブロック図である。
【図10】例示的手術シミュレータの動作のフロー図である。
【図11A】コンピュータ実装インタラクティブ手術システム及び／又は手術シミュレータで使用するための例示的外科処置計画のデータ構造を示す。
【図11B】コンピュータ実装インタラクティブ手術システム及び／又は手術シミュレータで使用するための例示的外科処置計画のデータ構造を示す。
【図12】例示的手術シミュレータの動作の例示的データフローを示す。
【図13】例示的手術シミュレータの動作の例示的データフローを示す。
【図14】例示的手術シミュレータの例示的動作のフロー図である。
【発明を実施するための形態】
【0036】
手術シミュレーションシステム、デバイス、及び方法は、他の医療機器、データソース、プロセス、及び機関との統合の態様を含み得る。手術シミュレーションシステム、デバイス、及び方法は、例えば、コンピュータ実装インタラクティブ手術システム及び／又はコンピュータ実装インタラクティブ手術システムの１つ以上の要素との統合の態様を含み得る。
【0037】
図１を参照すると、コンピュータ実装インタラクティブ外科用システム１００は、１つ以上の外科用システム１０２と、クラウドベースのシステム（例えば、ストレージデバイス１０５に連結されたリモートサーバ１１３を含み得るクラウド１０４）とを備え得る。各外科用システム１０２は、リモートサーバ１１３を含み得るクラウド１０４と通信する、少なくとも１つの外科用ハブ１０６を備え得る。
【0038】
１つ以上のシミュレーションデバイス１０３、１１１は、コンピュータ実装インタラクティブ手術システム１００と通信し得、及び／又はその一部として統合され得る。例えば、シミュレーションデバイス１０３は、１つ以上の手術システム１０２の要素であり得る。例えば、シミュレーションデバイス１０３は、１つ以上の手術用ハブ１０６と通信し得る。例えば、シミュレーションデバイス１１１は、クラウド１０４を介してコンピュータ実装インタラクティブ手術システム１００と通信し得る。
【0039】
一例では、図１に示すように、外科用システム１０２は、可視化システム１０８と、ロボットシステム１１０と、手持ち式インテリジェント外科用器具１１２とを含み、これらは、互いに、及び／又はハブ１０６と通信するように構成されている。いくつかの態様では、外科用システム１０２は、Ｍ個のハブ１０６と、Ｎ個の可視化システム１０８と、Ｏ個のロボットシステム１１０と、Ｐ個の手持ち式インテリジェント外科用器具１１２とを備えてもよく、Ｍ、Ｎ、Ｏ及びＰは１以上の整数であり得る。
【0040】
様々な態様では、可視化システム１０８は、図２に示すように、滅菌野に対して戦略的に配置される１つ以上の撮像センサと、１つ以上の画像処理ユニットと、１つ以上のストレージアレイと、１つ以上のディスプレイとを備え得る。一態様では、可視化システム１０８は、ＨＬ７、ＰＡＣＳ及びＥＭＲ用のインターフェースを備え得る。視覚化システム１０８の様々な構成要素については、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において「Ａｄｖａｎｃｅｄ Ｉｍａｇｉｎｇ Ａｃｑｕｉｓｉｔｉｏｎ Ｍｏｄｕｌｅ」という見出しの下で説明されており、その開示は、参照によりその全体が本明細書に組み込まれる。
【0041】
図２に示すように、一次ディスプレイ１１９は、手術台１１４のオペレータに見えるように滅菌野に配置される。加えて、可視化タワー１１１が、滅菌野の外に配置される。可視化タワー１１１は、互いに反対側を向いている第１の非滅菌ディスプレイ１０７と、第２の非滅菌ディスプレイ１０９と、を備え得る。ハブ１０６によって誘導される可視化システム１０８は、ディスプレイ１０７、１０９及び１１９を利用して、滅菌野の内側及び外側のオペレータへの情報フローを調整するように構成されている。例えば、ハブ１０６は、可視化システム１０８に、一次ディスプレイ１１９上に手術部位のライブ映像を維持しながら、撮像デバイス１２４によって記録される手術部位のスナップショットを非滅菌ディスプレイ１０７又は１０９に表示させることができる。非滅菌ディスプレイ１０７又は１０９上のスナップショットにより、例えば、非滅菌オペレータが、外科処置に関連する診断ステップを実施し得る。
【0042】
一態様では、ハブ１０６は、可視化タワー１１１にいる非滅菌オペレータによって入力された診断入力又はフィードバックを滅菌野内の一次ディスプレイ１１９に送り、これを手術台にいる滅菌オペレータが見ることができるようにも構成することができる。一例では、入力は、ハブ１０６によって一次ディスプレイ１１９に送ることができる、非滅菌ディスプレイ１０７又は１０９上に表示されるスナップショットへの修正の形態であり得る。
【0043】
図２を参照すると、外科用器具１１２は、外科処置において外科用システム１０２の一部として使用されている。ハブ１０６はまた、外科用器具１１２のディスプレイへの情報フローを調整するようにも構成することができる。例えば、その開示が参照によりその全体が本明細書に組み込まれる、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において。可視化タワー１１１にいる非滅菌オペレータによって入力される診断入力又はフィードバックは、ハブ１０６によって滅菌野内の外科用器具ディスプレイ１１５に送ることができ、これを外科用器具１１２のオペレータが見ることができる。手術用システム１０２で使用するために好適な例示的外科用器具については、例えば、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において「Ｓｕｒｇｉｃａｌ Ｉｎｓｔｒｕｍｅｎｔ Ｈａｒｄｗａｒｅ」という見出しの下で記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
【0044】
図２は、手術室１１６内の手術台１１４上に横たわっている患者に対して外科処置を実行するために使用されている外科用システム１０２の例を示す。ロボットシステム１１０は、外科処置において手術システム１０２の一部として使用され得る。ロボットシステム１１０は、外科医のコンソール１１８と、患者側カート１２０（手術ロボット）と、手術ロボットハブ１２２と、を含み得る。外科医が外科医のコンソール１１８を通して手術部位を見る間、患者側カート１２０は、患者の身体の低侵襲切開部を通して、少なくとも１つの着脱可能に連結された外科用ツール１１７を操作し得る。手術部位の画像は、撮像デバイス１２４の向きを変えるために、患者側カート１２０によって操作され得る医療撮像デバイス１２４によって取得され得る。ロボットハブ１２２を使用して、手術部位の画像を処理し、その後、外科医のコンソール１１８を通して、外科医に表示し得る。
【0045】
他のタイプのロボットシステムが、外科用システム１０２と共に使用するように容易に適合され得る。本開示と共に使用するのに好適なロボットシステム及び外科用ツールの様々な例は、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＲＯＢＯＴＩＣ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＤＥＴＥＣＴＩＯＮ，ＡＮＤ ＣＯＮＴＲＯＬ」と題する米国特許出願公開第２０１９－０２０１１３７（Ａ１）号（米国特許出願第１６／２０９，４０７号）に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
【0046】
クラウド１０４によって実施され、本開示と共に使用するのに好適なクラウドベース分析法の様々な例は、２０１８年１２月４日出願の「ＭＥＴＨＯＤ ＯＦ ＣＬＯＵＤ ＢＡＳＥＤ ＤＡＴＡ ＡＮＡＬＹＴＩＣＳ ＦＯＲ ＵＳＥ ＷＩＴＨ ＴＨＥ ＨＵＢ」と題する米国特許出願公開第２０１９－０２０６５６９（Ａ１）号（米国特許出願第１６／２０９，４０３号）に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。
【0047】
様々な態様では、撮像デバイス１２４は、少なくとも１つの画像センサと、１つ以上の光学構成要素と、を含み得る。好適な画像センサとしては、電荷結合素子（ＣＣＤ）センサ及び相補型金属酸化膜半導体（ＣＭＯＳ）センサを挙げることができるが、これらに限定されない。
【0048】
撮像デバイス１２４の光学構成要素は、１つ以上の照明源、及び／又は１つ以上のレンズを含んでもよい。１つ以上の照明源は、術野の一部分を照明するように方向付けられてもよい。１つ以上の画像センサは、組織及び／又は外科用器具から反射又は屈折された光を含む、術野から反射又は屈折された光を受信することができる。
【0049】
１つ以上の照明源は、可視スペクトル並びに不可視スペクトル内の電磁エネルギーを照射するように構成され得る。可視スペクトルは、場合によっては、光スペクトルや発光スペクトルとも称され、人間の目に見える（すなわち、人間の目によって検出することができる）電磁スペクトルの一部分であり、可視光、又は単に光と称されることがある。典型的な人間の目は、空気中の約３８０ｎｍ～約７５０ｎｍの波長に応答する。
【0050】
不可視スペクトル（例えば、非発光スペクトル）は、可視スペクトルの下方及び上方に位置する（すなわち、約３８０ｎｍ未満及び約７５０ｎｍ超の波長の）電磁スペクトルの一部分である。不可視スペクトルは、人間の目で検出可能ではない。約７５０ｎｍを超える波長は、赤色可視スペクトルよりも長く、これらは不可視赤外線（ＩＲ）、マイクロ波及び無線電磁放射線になる。約３８０ｎｍ未満の波長は、紫色スペクトルよりも短く、これらは不可視紫外線、Ｘ線及びガンマ線電磁放射線になる。
【0051】
様々な態様では、撮像デバイス１２４は、低侵襲性処置において使用するように構成されている。本開示と共に使用するために好適な撮像デバイスの例としては、関節鏡、血管鏡、気管支鏡、胆道鏡、結腸鏡、膀胱鏡、十二指腸鏡、腸鏡、食道胃十二指腸鏡（胃カメラ）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡、Ｓ状結腸鏡、胸腔鏡、及び尿管鏡が挙げられるが、これらに限定されない。
【0052】
撮像装置は、トポグラフィーと下層構造とを区別するために、マルチスペクトルモニタリングを採用してもよい。マルチスペクトル画像は、電磁スペクトル全体から特定の波長範囲内の画像データを取り込むものである。波長は、フィルタによって、又は可視光範囲を超える周波数、例えば、ＩＲ、及び紫外からの光を含む特定の波長に対する感度を有する器具を使用することによって分離することができる。スペクトル撮像により、人間の目がもつ赤、緑、青の受容体では取り込むことができない追加情報を抽出することが可能である。マルチスペクトル撮像の使用については、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する．Ｓ．米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において、「Ａｄｖａｎｃｅｄ Ｉｍａｇｉｎｇ Ａｃｑｕｉｓｉｔｉｏｎ Ｍｏｄｕｌｅ」という見出しの下により詳細に記載されており、その開示は、参照によりその全体が本明細書に組み込まれる。マルチスペクトルモニタリングは、処置された組織に対して上述の試験のうちの１つ以上を実行するための手術タスクが完了した後に術野を再配置するのに有用なツールであり得る。いかなる外科手術においても、手術室及び手術機器の厳格な滅菌が必要であることは自明である。「手術現場」、すなわち、手術室又は処置室において要求される厳格な衛生条件及び滅菌条件は、全ての医療装置及び機器の可能な最も高い滅菌性を必要とする。滅菌プロセスの一部としては、撮像デバイス１２４並びにその付属品及び構成要素を含む、患者と接触する、又は滅菌野に侵入するあらゆるものを滅菌する必要性が挙げられる。滅菌野は、トレイ内又は滅菌タオル上などの微生物を含まないと見なされる特定の領域と見なされ得ること、あるいは滅菌野は、外科処置の準備が整った患者の直ぐ周囲の領域と見なされ得ることは理解されよう。滅菌野は、適切な衣類を着用した洗浄済みのチーム構成員、並びにその領域内の全ての備品及び固定具を含み得る。
【0053】
ここで図３を参照すると、可視化システム１０８、ロボットシステム１１０及びハンドヘルド式インテリジェント外科用器具１１２と通信するハブ１０６が示されている。ハブ１０６は、ハブディスプレイ１３５、撮像モジュール１３８、発生器モジュール１４０、通信モジュール１３０、プロセッサモジュール１３２、ストレージアレイ１３４、及び手術室マッピングモジュール１３３を含む。特定の態様では、図３に示されるように、ハブ１０６は、排煙モジュール１２６及び／又は吸引／灌注モジュール１２８を更に含む。外科処置中、封止及び／又は切断のために、組織へエネルギーを印加することは、一般に、排煙、過剰な流体の吸引、及び／又は組織の灌注と関連付けられる。異なる供給源からの流体ライン、電力ライン及び／又はデータラインは、外科処置中に絡まり合うことが多い。外科処置中にこの問題に対処することで貴重な時間が失われる場合がある。ラインの絡まりをほどくには、それらの対応するモジュールからラインを抜くことが必要となる場合があり、そのためにはモジュールをリセットすることが必要となる場合がある。ハブモジュール式エンクロージャ１３６は、電力ライン、データライン、及び流体ラインを管理するための統合環境を提供し、このようなライン間の絡まりの頻度を低減させる。本開示の態様は、手術部位における組織へのエネルギー印加を伴う外科処置において使用するための外科用ハブを提示する。外科用ハブは、ハブエンクロージャと、ハブエンクロージャのドッキングステーション内に摺動可能に受容可能な組み合わせ発生器モジュールと、を含む。ドッキングステーションはデータ接点及び電力接点を含む。組み合わせ発生器モジュールは、単一ユニット内に収容された、超音波エネルギー発生器構成要素、双極ＲＦエネルギー発生器構成要素、及び単極ＲＦエネルギー発生器構成要素のうちの２つ以上を含む。一態様では、組み合わせ発生器モジュールはまた、排煙構成要素と、組み合わせ発生器モジュールを外科用器具に接続するための少なくとも１つのエネルギー供給ケーブルと、組織への治療エネルギーの印加によって発生した煙、流体及び／又は微粒子を排出するように構成された少なくとも１つの排煙構成要素と、リモート手術部位から排煙構成要素まで延在する流体ラインと、を含む。一態様では、上記の流体ラインは第１の流体ラインであり、第２の流体ラインは、遠隔手術部位から、ハブエンクロージャ内に摺動可能に受容される吸引及び灌注モジュールまで延在している。一態様では、ハブエンクロージャは、流体インターフェースを備える。一部特定の外科処置は、２つ以上のエネルギータイプを組織に印加することを必要とする場合がある。１つのエネルギータイプは、組織を切断するのにより有益であり得るが、別の異なるエネルギータイプは、組織を封止するのにより有益であり得る。例えば、双極発生器は組織を封止するために使用することができ、一方で、超音波発生器は封止された組織を切断するために使用することができる。本開示の態様は、ハブのモジュール式エンクロージャ１３６が様々な発生器を収容して、これらの間のインタラクティブ通信を促進するように構成されているという解決法を提示する。ハブモジュール式エンクロージャ１３６の利点の１つは、様々なモジュールの迅速な取り外し及び／又は交換を可能にすることである。本開示の態様は、組織へのエネルギー印加を伴う外科処置で使用するためのモジュール式外科用エンクロージャを提示する。モジュール式外科用エンクロージャは、組織に印加するための第１のエネルギーを発生させるように構成された第１のエネルギー発生器モジュールと、第１のデータ及び電力接点を含む第１のドッキングポートを備える第１のドッキングステーションと、を含み、第１のエネルギー発生器モジュールは、電力及びデータ接点と電気係合するように摺動可能に移動可能であり、また第１のエネルギー発生器モジュールは、第１の電力及びデータ接点との電気係合から外れるように摺動可能に移動可能である。上記に加えて、モジュール式外科用エンクロージャはまた、第１のエネルギーとは異なる、組織に印加するための第２のエネルギーを発生させるように構成された第２のエネルギー発生器モジュールと、第２のデータ接点及び第２の電力接点を含む第２のドッキングポートを備える第２のドッキングステーションと、を含み、第２のエネルギー発生器モジュールは、電力接点及びデータ接点と電気係合するように摺動可能に移動可能であり、また第２のエネルギー発生器モジュールは、第２の電力接点及び第２のデータ接点との電気係合から外れるように摺動可能に移動可能である。加えて、モジュール式外科用エンクロージャはまた、第１のエネルギー発生器モジュールと第２のエネルギー発生器モジュールとの間の通信を容易にするように構成されている、第１のドッキングポートと第２のドッキングポートとの間の通信バスを含む。図３を参照すると、発生器モジュール１４０、排煙モジュール１２６、及び吸引／灌注モジュール１２８のモジュール式統合を可能にするハブモジュール式エンクロージャ１３６に関する本開示の態様が提示される。ハブモジュール式エンクロージャ１３６は、モジュール１４０とモジュール１２６とモジュール１２８と間のインタラクティブ通信を更に促進する。発生器モジュール１４０は、ハブのモジュール式エンクロージャ１３６に摺動可能に挿入可能な単一のハウジングユニット内に支持される、一体化された単極構成要素、双極構成要素及び超音波構成要素を備える発生器モジュールであってもよい。発生器モジュール１４０は、単極デバイス１４２、双極デバイス１４４、及び超音波デバイス１４６に接続するように構成され得る。代替的に、発生器モジュール１４０は、ハブモジュール式エンクロージャ１３６を介して相互作用する一連の単極発生器モジュール、双極発生器モジュール、及び／又は超音波発生器モジュールを備えてもよい。複数の発生器が単一の発生器として機能するように、ハブモジュール式エンクロージャ１３６は、複数の発生器の挿入と、ハブモジュール式エンクロージャ１３６にドッキングされた発生器間の双方向通信と、を促進するように構成することができる。
【0054】
図４は、医療施設の１つ以上の手術室、又は外科手術のための専門設備を備えた医療施設内の任意の部屋に位置するモジュール式デバイスをクラウドベースのシステム（例えばストレージ装置２０５に連結されたリモートサーバ２１３を含み得るクラウド２０４）に接続するように構成されたモジュール式通信ハブ２０３を備える外科用データネットワーク２０１を示す。一態様では、モジュール式通信ハブ２０３は、ネットワークルータと通信するネットワークハブ２０７及び／又はネットワークスイッチ２０９を備える。モジュール式通信ハブ２０３は、ローカルコンピュータシステム２１０に結合して、ローカルコンピュータ処理及びデータ操作を提供することもできる。外科用データネットワーク２０１は、パッシブ、インテリジェント又は切り替え式として構成されてもよい。受動的外科用データネットワークはデータの導管として機能し、データが１つのデバイス（又はセグメント）から別の装置（又はセグメント）に、及びクラウドコンピューティングリソースに行くことを可能にする。インテリジェント手術データネットワークは、トラフィックが監視対象の手術データネットワークを通過することを可能にし、ネットワークハブ２０７又はネットワークスイッチ２０９内の各ポートを構成する追加の特徴部を含む。インテリジェント外科用データネットワークは、管理可能なハブ又はスイッチと称され得る。スイッチングハブは、各パケットの宛先アドレスを読み取り、次いでパケットを正しいポートに転送する。
【0055】
手術室に配置されたモジュール式デバイス１ａ～１ｎは、モジュール式通信ハブ２０３に連結され得る。ネットワークハブ２０７及び／又はネットワークスイッチ２０９は、ネットワークルータ２１１に連結されて、装置１ａ～１ｎをクラウド２０４又はローカルコンピュータシステム２１０に接続することができる。デバイス１ａ～１ｎに関連付けられたデータは、リモートデータ処理及び操作のためにルータを介してクラウドベースのコンピュータに転送され得る。デバイス１ａ～１ｎに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム２１０に転送され得る。同じ手術室に配置されたモジュール式デバイス２ａ～２ｍもまた、ネットワークスイッチ２０９に連結され得る。ネットワークスイッチ２０９は、ネットワークハブ２０７及び／又はネットワークルータ２１１に連結されて、装置２ａ～２ｍをクラウド２０４に接続することができる。装置２ａ～２ｎに関連付けられたデータは、データ処理及び操作のためにネットワークルータ２１１を介してクラウド２０４に転送されてもよい。デバイス２ａ～２ｍに関連付けられたデータはまた、ローカルでのデータ処理及び操作のためにローカルコンピュータシステム２１０に転送され得る。
【0056】
複数のネットワークハブ２０７及び／又は複数のネットワークスイッチ２０９を複数のネットワークルータ２１１と相互接続することによって、外科用データネットワーク２０１が拡張され得ることが理解されるであろう。モジュール式通信ハブ２０３は、複数のデバイス１ａ～１ｎ／２ａ～２ｍを受け入れるように構成されたモジュール式制御タワー内に収容され得る。ローカルコンピュータシステム２１０はまた、モジュール式制御タワーに収容され得る。モジュール式通信ハブ２０３は、ディスプレイ２１２に接続されて、例えば外科処置中に、装置１ａ～１ｎ／２ａ～２ｍのうちのいくつかによって取得された画像を表示する。様々な態様では、装置１ａ～１ｎ／２ａ～２ｍとしては、外科用データネットワーク２０１のモジュール式通信ハブ２０３に接続され得るモジュール式装置の中でもとりわけ、例えば、内視鏡に連結された撮像モジュール１３８、エネルギーベースの外科用装置に連結された発生器モジュール１４０、排煙モジュール１２６、吸引／灌注モジュール１２８、通信モジュール１３０、プロセッサモジュール１３２、ストレージアレイ１３４、ディスプレイに連結された外科用装置、及び／又は非接触センサモジュールなどの様々なモジュールが挙げられ得る。
【0057】
一態様では、外科用データネットワーク２０１は、装置１ａ～１ｎ／２ａ～２ｍをクラウドに接続する、ネットワークハブ、ネットワークスイッチ及びネットワークルータとの組み合わせを含んでもよい。ネットワークハブ又はネットワークスイッチに連結された装置１ａ～１ｎ／２ａ～２ｍのいずれか１つ又は全ては、リアルタイムでデータを収集し、データ処理及び操作のためにデータをクラウドコンピュータに転送することができる。クラウドコンピューティングは、ソフトウェアアプリケーションを取り扱うために、ローカルサーバ又はパーソナル装置を有するのではなく、コンピューティングリソースを共有することに依存することは理解されるであろう。「クラウド」という語は、「インターネット」の隠喩として使用され得るが、この用語はそのように限定はされない。したがって、「クラウドコンピューティング」という用語は、本明細書では「インターネットベースのコンピューティングのうちの１つのタイプ」を指すように使用され得、この場合、サーバ、ストレージ及びアプリケーションなど様々なサービスは、手術室（例えば、固定式、移動式、一時的又は現場の手術室又は空間）に配置されたモジュール式通信ハブ２０３及び／又はコンピュータシステム２１０に、並びにインターネットを介して、モジュール式通信ハブ２０３及び／又はコンピュータシステム２１０に接続されたデバイスに配信される。クラウドインフラストラクチャは、クラウドサービスプロバイダによって維持され得る。この文脈において、クラウドサービスプロバイダは、１つ以上の手術室内に位置するデバイス１ａ～１ｎ／２ａ～２ｍの使用及び制御を調整するエンティティであり得る。クラウドコンピューティングサービスは、スマート外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置によって収集されたデータに基づいて多数の計算を実施することができる。ハブハードウェアは、複数のデバイス又は接続部がクラウドコンピューティングリソース及びストレージと通信するコンピュータに接続することを可能にする。
【0058】
装置１ａ～１ｎ／２ａ～２ｍによって収集されたデータにクラウドコンピュータデータ処理技術を適用することで、外科用データネットワークは、外科的転帰の改善、コスト低減及び患者満足度の改善を提供することができる。組織の封止及び切断処置後に、組織の状態を観察して封止された組織の漏出又は灌流を評価するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。クラウドベースのコンピューティングを使用して、身体組織のサンプルの画像を含むデータを診断目的で検査して疾患の影響などの病理を識別するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。そのようなデータには、組織の位置特定及びマージン確認並びに表現型が含まれ得る。撮像装置と一体化された様々なセンサを使用し、かつ複数の撮像装置によって捕捉された画像をオーバーレイするなどの技術を使用して、身体の解剖学的構造を識別するために、装置１ａ～１ｎ／２ａ～２ｍのうちの少なくともいくつかを用いることができる。画像データを含む、装置１ａ～１ｎ／２ａ～２ｍによって収集されたデータは、画像処理及び操作を含むデータ処理及び操作のために、クラウド２０４若しくはローカルコンピュータシステム２１０又はその両方に転送されてもよい。データは、組織特異的部位及び状態に対する内視鏡的介入、新興技術、標的化放射線、標的化介入及び精密ロボットの適用などの更なる治療を遂行できるかを判定することによって、外科処置の結果を改善するために分析されてもよい。こうしたデータ分析は、予後分析処理を更に用いてもよく、標準化された手法を使用することは、外科的治療及び外科医の挙動を確認するか、又は外科的治療及び外科医の挙動に対する修正を提案するかのいずれかのために有益なフィードバックを提供することができる。
【0059】
手術室装置１ａ～１ｎは、ネットワークハブに対する装置１ａ～１ｎの構成に応じて有線チャネル又は無線チャネルを介して、モジュール式通信ハブ２０３に接続されてもよい。ネットワークハブ２０７は、一態様では、開放型システム間相互接続（Open System Interconnection、ＯＳＩ）モデルの物理層上で機能するローカルネットワークブロードキャストデバイスとして実装され得る。ネットワークハブは、同じ手術室ネットワーク内に位置する装置１ａ～１ｎに接続性を提供することができる。ネットワークハブ２０７は、パケットの形態のデータを収集し、それらを半二重モードでルータに送信し得る。ネットワークハブ２０７は、デバイスデータを転送するためにいずれの媒体アクセス制御／インターネットプロトコル（media access control、ＭＡＣ／Internet Protocol、ＩＰ）も記憶することができない。デバイス１ａ～１ｎのうちの１つのみが、ネットワークハブ２０７を介して一度にデータを送信し得る。ネットワークハブ２０７は、情報の送信先に関するルーティングテーブル又はインテリジェンスを有することができず、全てのネットワークデータを各コネクション全体及びクラウド２０４上のリモートサーバ２１３（図４）にブロードキャストする。ネットワークハブ２０７は、コリジョンなど基本的なネットワークエラーを検出することができるが、全ての情報を複数のポートにブロードキャストすることは、セキュリティリスクとなり、ボトルネックを引き起こすおそれがある。
【0060】
手術室デバイス２ａ～２ｍは、有線チャネル又は無線チャネルを介してネットワークスイッチ２０９に接続され得る。ネットワークスイッチ２０９は、ＯＳＩモデルのデータリンク層内で機能する。ネットワークスイッチ２０９は、同一手術室内に配置されたデバイス２ａ～２ｍをネットワークに接続するためのマルチキャストデバイスであり得る。ネットワークスイッチ２０９は、フレームの形態のデータをネットワークルータ２１１に送信することができ、全二重モードで機能する。複数のデバイス２ａ～２ｍは、ネットワークスイッチ２０９を介して同時にデータを送信し得る。ネットワークスイッチ２０９は、データを転送するためにデバイス２ａ～２ｍのＭＡＣアドレスを記憶し、使用する。
【0061】
ネットワークハブ２０７及び／又はネットワークスイッチ２０９は、クラウド２０４に接続するためにネットワークルータ２１１に連結され得る。ネットワークルータ２１１は、ＯＳＩモデルのネットワーク層内で機能する。ネットワークルータ２１１は、装置１ａ～１ｎ／２ａ～２ｍのいずれか１つ又は全てによって収集されたデータを更に処理及び操作するために、ネットワークハブ２０７及び／又はネットワークスイッチ２１１から受信したデータパケットをクラウドベースのコンピュータリソースに送信するための経路を作成する。ネットワークルータ２１１は、例えば、同一医療施設の異なる手術室、又は異なる医療施設の異なる手術室に配置された異なるネットワークなど、異なる位置に配置された２つ以上の異なるネットワークを接続するために利用され得る。ネットワークルータ２１１は、パケットの形態のデータをクラウド２０４に送信でき、全二重モードで機能する。複数の装置が同時にデータを送信することができる。ネットワークルータ２１１は、データを転送するためにＩＰアドレスを使用する。
【0062】
一実施例では、ネットワークハブ２０７は、複数のＵＳＢデバイスをホストコンピュータに接続することを可能にするＵＳＢハブとして実装され得る。ＵＳＢハブは、装置をホストシステムコンピュータに接続するために利用可能なポートが多くなるように、単一のＵＳＢポートをいくつかの階層に拡張することができる。ネットワークハブ２０７は、有線チャネル又は無線チャネルを介して情報を受信するための有線機能又は無線機能を含み得る。一態様では、無線ＵＳＢ短距離高帯域無線通信プロトコルが、手術室内に位置する装置１ａ～１ｎと装置２ａ～２ｍとの間の通信のために用いられてもよい。
【0063】
例では、手術室装置１ａ～１ｎ／２ａ～２ｍは、固定及びモバイル装置から短距離にわたってデータを交換し（２．４～２．４８５ＧＨｚのＩＳＭ帯域における短波長ＵＨＦ電波を使用して）、かつパーソナルエリアネットワーク（ＰＡＮ）を構築するために、Ｂｌｕｅｔｏｏｔｈ無線技術規格を介してモジュール式通信ハブ２０３と通信することができる。手術現場デバイス１ａ～１ｎ／２ａ～２ｍは、いくつかの無線通信規格若しくは有線通信規格又はプロトコルを介してモジュール式通信ハブ２０３と通信してもよく、このような規格又はプロトコルとしては、Ｗｉ－Ｆｉ（ＩＥＥＥ８０２．１１ファミリー）、ＷｉＭＡＸ（ＩＥＥＥ８０２．１６ファミリー）、ＩＥＥＥ８０２．２０、無線（new radio、ＮＲ）、ロングタームエボリューション（long-term evolution、ＬＴＥ）、並びにＥｖ－ＤＯ、ＨＳＰＡ＋、ＨＳＤＰＡ＋、ＨＳＵＰＡ＋、ＥＤＧＥ、ＧＳＭ、ＧＰＲＳ、ＣＤＭＡ、ＴＤＭＡ、ＤＥＣＴ、及びこれらのイーサネット派生物のみならず３Ｇ、４Ｇ、５Ｇ、及びそれ以降と指定される任意の他の無線プロトコル及び有線プロトコルが挙げられるが、これらに限定されない。コンピューティングモジュールは、複数の通信モジュールを含んでもよい。例えば、第１の通信モジュールは、Ｗｉ－Ｆｉ及びＢｌｕｅｔｏｏｔｈなどのより短距離の無線通信専用であってもよく、第２の通信モジュールは、ＧＰＳ、ＥＤＧＥ、ＧＰＲＳ、ＣＤＭＡ、ＷｉＭＡＸ、ＬＴＥ、Ｅｖ－ＤＯなどのより長距離の無線通信専用であってもよい。
【0064】
モジュール式通信ハブ２０３は、手術室装置１ａ～１ｎ／２ａ～２ｍの１つ又は全ての中央接続部として機能することができ、フレームとして知られるデータ型を取り扱える。フレームは、装置１ａ～１ｎ／２ａ～２ｍによって生成されたデータを搬送できる。フレームがモジュール式通信ハブ２０３によって受信されると、フレームは増幅されてネットワークルータ２１１へ送信され、ネットワークルータ２１１は本明細書に記載されるように、数多くのワイヤレス又は有線通信規格又はプロトコルを使用することによって、このデータをクラウドコンピューティングリソースに転送する。
【0065】
モジュール式通信ハブ２０３は、スタンドアロンデバイスとして使用され得るか、又はより大きなネットワークを形成するために互換性のあるネットワークハブ及びネットワークスイッチに接続され得る。モジュール式通信ハブ２０３は、概して設置、構成、及び維持が容易であるため、手術室デバイス１ａ～１ｎ／２ａ～２ｍをネットワーク形成するための良好な選択肢となり得る。
【0066】
図５は、コンピュータ実装インタラクティブ外科用システム２００を示す。コンピュータ実装インタラクティブ手術システム２００は、多くの点で、コンピュータ実装インタラクティブ手術システム１００と類似している。例えば、コンピュータ実装インタラクティブ外科用システム２００は、多くの点で外科用システム１０２と類似する１つ又は２つ以上の外科用システム２０２を含む。各外科用システム２０２は、リモートサーバ２１３を含み得るクラウド２０４と通信する少なくとも１つの外科用ハブ２０６を含む。一態様では、コンピュータ実装インタラクティブ外科用システム２００は、例えば、インテリジェント外科用器具、ロボット及び手術室内に位置する他のコンピュータ化装置などの複数の手術室装置に接続されたモジュール式制御タワー２３６を備える。図６に示すように、モジュール式制御タワー２３６は、コンピュータシステム２１０に連結されたモジュール式通信ハブ２０３を備える。
【0067】
図５の実施例に示すように、モジュール式制御タワー２３６は、内視鏡２３９に連結され得る撮像モジュール２３８、エネルギー装置２４１に連結され得る発生器モジュール２４０、排煙器モジュール２２６、吸引／灌注モジュール２２８、通信モジュール２３０、プロセッサモジュール２３２、ストレージアレイ２３４、任意選択的にディスプレイ２３７に連結されたスマート装置／器具２３５及び非接触センサモジュール２４２に連結され得る。手術室デバイスは、モジュール式制御タワー２３６を介してクラウドコンピューティングリソース及びデータストレージに連結され得る。ロボットハブ２２２もまた、モジュール式制御タワー２３６及びクラウドコンピューティングリソースに接続されてもよい。とりわけ、装置／器具２３５、可視化システム２０８が、本明細書に記載されるように、有線又は無線通信規格又はプロトコルを介して、モジュール式制御タワー２３６に連結されてもよい。モジュール式制御タワー２３６は、撮像モジュール、装置／器具ディスプレイ及び／又は他の可視化システム２０８から受信した画像を表示及びオーバーレイするためにハブディスプレイ２１５（例えば、モニタ、スクリーン）に連結されてもよい。ハブディスプレイはまた、モジュール式制御タワーに接続されたデバイスから受信されたデータを、画像及び重ね合わせられた画像と共に表示してもよい。
【0068】
図６は、モジュール式制御タワー２３６に連結された複数のモジュールを備える外科用ハブ２０６を示す。モジュール式制御タワー２３６は、例えばネットワーク接続装置などのモジュール式通信ハブ２０３と、例えばローカルでの処理、可視化及び撮像を行うためのコンピュータシステム２１０と、を備え得る。図６に示すように、モジュール式通信ハブ２０３は、モジュール式通信ハブ２０３に接続されてもよいモジュール（例えば、装置）の数を拡張するために階層化構成で接続されて、モジュールに関連付けられたデータをコンピュータシステム２１０、クラウドコンピューティングリソース、又はその両方に転送してもよい。図６に示すように、モジュール式通信ハブ２０３内のネットワークハブ／スイッチの各々は、３つの下流ポート及び１つの上流ポートを含み得る。上流のネットワークハブ／スイッチは、クラウドコンピューティングリソース及びローカルディスプレイ２１７への通信接続を提供するためにプロセッサに接続され得る。クラウド２０４への通信は、有線通信チャネル又は無線通信チャネルのいずれかを介して行うことができる。
【0069】
手術用ハブ２０６は、手術室の寸法を測定し、超音波非接触測定デバイス又はレーザタイプ非接触測定デバイスのいずれかを使用して手術室のマップを生成するために、非接触センサモジュール２４２を利用し得る。超音波ベースの非接触センサモジュールは、その全体が参照により本明細書に組み込まれる、２０１８年１２月４日に出願された「ＭＥＴＨＯＤ ＯＦ ＨＵＢ ＣＯＭＭＵＮＩＣＡＴＩＯＮ，ＰＲＯＣＥＳＳＩＮＧ，ＳＴＯＲＡＧＥ ＡＮＤ ＤＩＳＰＬＡＹ」と題する．Ｓ．米国特許出願公開第２０１９－０２００８４４（Ａ１）号（米国特許出願第１６／２０９，３８５号）において「Ｓｕｒｇｉｃａｌ Ｈｕｂ Ｓｐａｔｉａｌ Ａｗａｒｅｎｅｓｓ Ｗｉｔｈｉｎ ａｎ Ｏｐｅｒａｔｉｎｇ Ｒｏｏｍ」という見出しで記載されているように、超音波のバーストを送信し、それが手術室の周囲壁から跳ね返るときのエコーを受信することによって、手術室をスキャンすることができ、センサモジュールは、手術室のサイズを決定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調節するように構成される。レーザベースの非接触センサモジュールは、例えば、レーザ光パルスを送信することによって手術室を走査でき、手術室の外壁に反射するレーザ光パルスを受信し、送信されたパルスの位相を受信したパルスと比較して手術室のサイズを判定し、Ｂｌｕｅｔｏｏｔｈペアリング距離限界を調整する。
【0070】
コンピュータシステム２１０は、プロセッサ２４４と、ネットワークインターフェース２４５と、を備え得る。プロセッサ２４４は、システムバスを介して、通信モジュール２４７、記憶デバイス２４８、メモリ２４９、不揮発性メモリ２５０、及び入力／出力インターフェース２５１に連結されていてもよい。システムバスは、任意の様々な利用可能なバスアーキテクチャを使用する、メモリバス若しくはメモリコントローラ、ペリフェラルバス若しくは外部バス、及び／又はローカルバスを含むいくつかのタイプのバス構造（複数可）のうちのいずれかとすることができ、それらのアーキテクチャの例としては、９ビットバス、業界標準アーキテクチャ（Industrial Standard Architecture、ＩＳＡ）、マイクロチャネルアーキテクチャ（Micro-Charmel Architecture、ＭＳＡ）、拡張ＩＳＡ（Extended ISA、ＥＩＳＡ）、インテリジェントドライブエレクトロニクス（Intelligent Drive Electronics、ＩＤＥ）、ＶＥＳＡローカルバス（VESA Local Bus、ＶＬＢ）、周辺装置相互接続（Peripheral Component Interconnect、ＰＣＩ）、ＵＳＢ、アドバンスドグラフィックスポート（Advanced Graphics Port、ＡＧＰ）、パーソナルコンピュータメモリカード国際協会バス（Personal Computer Memory Card International Association、ＰＣＭＣＩＡ）、小型計算機システムインターフェース（Small Computer Systems Interface、ＳＣＳＩ）、又は任意の他の独自バスが挙げられるが、これらに限定されない。
【0071】
プロセッサ２４４は、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＡＲＭ Ｃｏｒｔｅｘの商品名で知られているものなど、任意のシングルコア又はマルチコアプロセッサであり得る。一態様では、プロセッサは、例えば、Ｔｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓから入手可能なＬＭ４Ｆ２３０Ｈ５ＱＲ ＡＲＭ Ｃｏｒｔｅｘ－Ｍ４Ｆプロセッサコアであってもよい。このプロセッサコアは、最大４０ＭＨｚの２５６ＫＢのシングルサイクルフラッシュメモリ若しくは他の不揮発性メモリのオンチップメモリ、性能を４０ＭＨｚ超に改善するためのプリフェッチバッファ、３２ＫＢのシングルサイクルシリアルランダムアクセスメモリ（ＳＲＡＭ）、ＳｔｅｌｌａｒｉｓＷａｒｅ（登録商標）ソフトウェアを搭載した内部読み出し専用メモリ（ＲＯＭ）、２ＫＢの電気的消去可能プログラマブル読み出し専用メモリ（ＥＥＰＲＯＭ）及び／又は、１つ以上のパルス幅変調（ＰＷＭ）モジュール、１つ以上の直交エンコーダ入力（ＱＥＩ）アナログ、１２個のアナログ入力チャネルを備える１つ以上の１２ビットアナログ－デジタル変換器（ＡＤＣ）を含む。なお、その詳細は、製品データシートで入手可能である。
【0072】
一態様では、プロセッサ２４４は、同じくＴｅｘａｓ Ｉｎｓｔｒｕｍｅｎｔｓ製のＨｅｒｃｕｌｅｓ ＡＲＭ Ｃｏｒｔｅｘ Ｒ４の商品名で知られるＴＭＳ５７０及びＲＭ４ｘなどの２つのコントローラベースのファミリーを含む安全コントローラを含んでもよい。安全コントローラは、拡張性のある性能、接続性及びメモリの選択肢を提供しながら、高度な集積型安全機構を提供するために、とりわけ、ＩＥＣ６１５０８及びＩＳＯ２６２６２の安全限界用途専用に構成されてもよい。
【0073】
システムメモリとしては、揮発性メモリ及び不揮発性メモリを挙げることができる。起動中などにコンピュータシステム内の要素間で情報を転送するための基本ルーチンを含む基本入出力システム（ＢＩＯＳ）は、不揮発性メモリに記憶される。例えば、不揮発性メモリとしては、ＲＯＭ、プログラマブルＲＯＭ（ＰＲＯＭ）、電気的プログラマブルＲＯＭ（ＥＰＲＯＭ）、ＥＥＰＲＯＭ又はフラッシュメモリが挙げられ得る。揮発性メモリとしては、外部キャッシュメモリとして機能するランダムアクセスメモリ（ＲＡＭ）が挙げられる。更に、ＲＡＭは、ＳＲＡＭ、ダイナミックＲＡＭ（ＤＲＡＭ）、シンクロナスＤＲＡＭ（ＳＤＲＡＭ）、ダブルデータレートＳＤＲＡＭ（ＤＤＲ ＳＤＲＡＭ）、エンハンスドＳＤＲＡＭ（ＥＳＤＲＡＭ）、シンクリンクＤＲＡＭ（ＳＬＤＲＡＭ）及びダイレクトランバスＲＡＭ（ＤＲＲＡＭ）などの多くの形態で利用可能である。
【0074】
コンピュータシステム２１０はまた、取り外し可能／取り外し不能な揮発性／不揮発性のコンピュータストレージ媒体、例えばディスクストレージなどを含み得る。ディスク記憶装置としては、磁気ディスクドライブ、フロッピーディスクドライブ、テープドライブ、Ｊａｚドライブ、Ｚｉｐドライブ、ＬＳ－６０ドライブ、フラッシュメモリカード又はメモリスティックのような装置を挙げることができるが、これらに限定されない。加えて、ディスク記憶装置は、上記の記憶媒体を、独立して、又は他の記憶媒体との組み合わせで含むことができる。他の記憶媒体としては、コンパクトディスクＲＯＭ装置（ＣＤ－ＲＯＭ）、コンパクトディスク記録可能ドライブ（ＣＤ－Ｒドライブ）、コンパクトディスク書き換え可能ドライブ（ＣＤ－ＲＷドライブ）若しくはデジタル多用途ディスクＲＯＭドライブ（ＤＶＤ－ＲＯＭ）などの光ディスクドライブが挙げられるがこれらに限定されない。ディスク記憶装置のシステムバスへの接続を容易にするために、取り外し可能な又は取り外し不可能なインターフェースが用いられてもよい。
【0075】
コンピュータシステム２１０は、好適な動作環境において、記載したユーザと基本コンピュータリソースとの間で媒介として機能するソフトウェアを含み得ることを理解されたい。このようなソフトウェアとしてはオペレーティングシステムを挙げることができる。ディスク記憶装置上に記憶され得るオペレーティングシステムは、コンピュータシステムのリソースを制御及び割り当てするように機能し得る。システムアプリケーションは、システムメモリ内又はディスク記憶装置上のいずれかに記憶されたプログラムモジュール及びプログラムデータを介して、オペレーティングシステムによるリソース管理を活用し得る。本明細書に記載される様々な構成要素は、様々なオペレーティングシステム又はオペレーティングシステムの組み合わせで実装することができることを理解されたい。
【0076】
ユーザは、Ｉ／Ｏインターフェース２５１に連結された入力デバイスを介してコンピュータシステム２１０にコマンド又は情報を入力し得る。入力装置としては、マウス、トラックボール、スタイラス、タッチパッドなどのポインティング装置、キーボード、マイクロフォン、ジョイスティック、ゲームパッド、衛星放送受信アンテナ、スキャナ、ＴＶチューナカード、デジタルカメラ、デジタルビデオカメラ、ウェブカメラなどを挙げることができるが、これらに限定されない。これら及び他の入力装置は、インターフェースポートを介し、システムバスを通じてプロセッサに接続する。インターフェースポートとしては、例えば、シリアルポート、パラレルポート、ゲームポート及びＵＳＢが挙げられる。出力装置は、入力装置と同じタイプのポートのうちのいくつかを使用する。したがって、例えば、ＵＳＢポートを使用して、コンピュータシステムに入力を提供し、コンピュータシステムからの情報を出力装置に出力してもよい。出力アダプタは、特別なアダプタを必要とし得る出力装置の中でもとりわけ、モニタ、ディスプレイ、スピーカ及びプリンタなどのいくつかの出力装置が存在できることを示すために提供され得る。出力アダプタとしては、出力装置とシステムバスとの間の接続手段を提供するビデオ及びサウンドカードを挙げることができるが、これは例示としてのものであり、限定するものではない。リモートコンピュータなどの他の装置及び／又は装置のシステムは、入力及び出力機能の両方を提供できることに留意されたい。
【0077】
コンピュータシステム２１０は、クラウドコンピュータなどの１つ以上のリモートコンピュータ、又はローカルコンピュータへの論理接続を使用するネットワーク化環境で動作し得る。リモートクラウドコンピュータは、パーソナルコンピュータ、サーバ、ルータ、ネットワークＰＣ、ワークステーション、マイクロプロセッサベースの機器、ピア装置又は他の一般的なネットワークノードなどであり得るが、典型的には、コンピュータシステムに関して説明される要素の多く又は全てを含む。簡潔にするために、リモートコンピュータと共に、メモリストレージ装置のみが示される。リモートコンピュータは、ネットワークインターフェースを介してコンピュータシステムに論理的に接続され、続いて、通信接続部を介して物理的に接続され得る。ネットワークインターフェースは、ローカルエリアネットワーク（ＬＡＮ）及びワイドエリアネットワーク（ＷＡＮ）などの通信ネットワークを包含し得る。ＬＡＮ技術としては、光ファイバ分散データインターフェース（ＦＤＤＩ）、銅線分散データインターフェース（ＣＤＤＩ）、Ｅｔｈｅｒｎｅｔ／ＩＥＥＥ８０２．３、Ｔｏｋｅｎ Ｒｉｎｇ／ＩＥＥＥ８０２．５などを挙げることができる。ＷＡＮ技術としては、ポイントツーポイントリンク、統合サービスデジタルネットワーク（ＩＳＤＮ）及びその変形などの回路交換ネットワーク、パケット交換ネットワーク並びにデジタル加入者回線（ＤＳＬ）を挙げることができるが、これらに限定されない。
【0078】
様々な態様では、図６のコンピュータシステム２１０、図５、図６の撮像モジュール２３８、及び／又は可視化システム２０８、及び／又はプロセッサモジュール２３２は、画像プロセッサ、画像処理エンジン、メディアプロセッサ、又はデジタル画像の処理に使用される任意の専用デジタル信号プロセッサ（ＤＳＰ）を含んでもよい。画像プロセッサは、単一命令複数データ（ＳＩＭＤ）、又は複数命令複数データ（ＭＩＭＤ）技術を用いた並列コンピューティングを用いて速度及び効率を高めることができる。デジタル画像処理エンジンは、様々なタスクを実施することができる。画像プロセッサは、マルチコアプロセッサアーキテクチャを備えるチップ上のシステムであってもよい。
【0079】
通信接続部（複数可）とは、ネットワークインターフェースをバスに接続するために用いられるハードウェア／ソフトウェアを指してもよい。例示的な明瞭さのため通信接続部は、コンピュータシステム内部に示されているが、通信接続部は、コンピュータシステム２１０の外部にあってもよい。例示のみを目的として、ネットワークインターフェースへの接続に必要なハードウェア／ソフトウェアとしては、通常の電話グレードモデム、ケーブルモデム及びＤＳＬモデムを含むモデム、ＩＳＤＮアダプタ並びにイーサネットカードなどの内部及び外部技術を挙げることができる。
【0080】
図７は、例示的手術シミュレータシステムのブロック図である。手術シミュレータシステムは、シミュレーションデバイス３００００を含み得る。手術シミュレータシステムは、アプリケーション作成デバイス３０００２、ヒューマンインターフェースデバイス３０００４、外科医エージェントデバイス３０００６、及び／又は手術データシステム３０００８を含み得る。
【0081】
シミュレーションデバイス３００００は、コアシミュレーション機能を提供し得る。例えば、１つ以上のシミュレーションのロード／実行、ユーザ制御情報入力の受信及び処理、視覚、聴覚、及び／又は触覚情報出力の生成及び送信、シミュレーション動作及び活動情報の収集、並びに一次シミュレーションサイクル処理は、シミュレーションデバイス３００００によって実行され得る。
【0082】
アプリケーション作成デバイス３０００２は、シミュレーション作成機能を提供し得る。個々のシミュレーションアプリケーションは、アプリケーションモジュール３００１０としてシミュレーションデバイス３００００に記憶され得る。アプリケーションモジュール３００１０は、アプリケーション作成デバイス３０００２によって作成、変更、及び／又は削除され得る。アプリケーションモジュール３００１０は、シミュレーションデバイス３００００の動作を指示するコンピュータ可読命令及び／又は実行可能命令を含み得る。例えば、アプリケーションモジュール３００１０は、情報を記憶して手術シミュレーションを実行するのに好適な任意のファイルタイプ、例えば、シミュレーションスクリプト、プログラミングコード、拡張マークアップ言語（Extensible Markup Language、ＸＭＬ）ファイルなど構造データファイル、データベースファイルなどを含み得る。
【0083】
アプリケーション作成デバイス３０００２は、アプリケーションモジュール３００１０を作成するための制御部を伴うグラフィカルユーザインターフェースを含み得る。アプリケーション作成デバイス３００２は、シミュレーションデバイス３００００と通信して、シミュレーション動作のためにアプリケーションモジュール３００１０を検索、変更、及び／又はロードすることができる。例えば、グラフィカルユーザインターフェースは、ユーザがシミュレーション活動を選択し、様々なシミュレーションパラメータを入力し、シミュレーション目的を設定し、シミュレーションの実行を確認することを可能にするインターフェース構造を含み得る。アプリケーション作成デバイス３０００２は、スタンドアロンデバイスとして提供され得、及び／又は、例えばシミュレーションデバイス３００００と統合されるなど、手術シミュレーションシステムの１つ以上の他のデバイスと統合され得る。
【0084】
ヒューマンインターフェースデバイス３０００４は、人間のユーザがシミュレーションデバイス３００００によって提供されるシミュレーションと相互作用することを可能にする、任意のハードウェア、ソフトウェア、及び／又はそれらの組み合わせを含み得る。ヒューマンインターフェースデバイス３０００４は、ユーザがシミュレーションデバイス３０００００に制御入力を提供すること、及び／又はシミュレーションデバイス３００００から出力情報（視覚、聴覚、及び／又は触覚情報など）を受信することを可能にし得る。一実施例では、ヒューマンインターフェースデバイス３０００４は、従来のデスクトップコンピュータを含み得る。
【0085】
ヒューマンインターフェースデバイス３０００４は、好適な物理的機器を含み得る。例えば、ヒューマンインターフェースデバイス３０００４は、外科処置の態様を物理的に、及び／又は仮想的に模倣する物理的機器を含み得る。例えば、そのような機器としては、卓上ユニット、部分タスク仮想現実ユニット、高忠実度仮想現実ユニット、高忠実度フルサイズ患者ユニット、スイートユニット、高忠実度フル手術室ユニット、フル物理仮想現実ユニット、手術ロボットコンソールユニットなどが挙げられ得る。例えば、ヒューマンインターフェースデバイス３０００４は、Ｇａｌｌａｇｅｒ ｅｔ ａｌ，「Ｓｉｍｕｌａｔｉｏｎｓ ｆｏｒ Ｐｒｏｃｅｄｕｒａｌ Ｔｒａｉｎｉｎｇ」，Ｆｕｎｄａｍｅｎｔａｌｓ ｏｆ Ｓｕｒｇｉｃａｌ Ｓｉｍｕｌａｔｉｏｎ，Ｐｒｉｎｃｉｐｌｅｓ ａｎｄ Ｐｒａｃｔｉｃｅ，Ｓｐｒｉｎｇｅｒ（２０１２）によって開示されるコンピュータベースのシミュレータインターフェースなどデバイスを含み得る。
【0086】
ヒューマンインターフェースデバイス３０００４は、外科用器具を物理的に、及び／又は仮想的に模倣する物理的機器を含み得る。例えば、ヒューマンインターフェースデバイス３０００４は、トロカール、ハンドアクセスポート、気腹針、及びガイドシースなどアクセス機器など外科用器具（instruments）、器具（appliances）、及び消耗品を模倣する物理的デバイス；パッチ、ゼラチン、及び粉末など補助止血剤；伸延具及びプレートなど頭蓋顎顔面器具；バルーン及びインフレータ；診断カテーテル、アクセスカテーテル、血管カテーテル、及び治療カテーテルなどカテーテル；組織シーラー、剪断機、ブレード、及び鉗子などエネルギー封止及び解剖用デバイス；引き下げワイヤ、圧縮ねじ、プレート、インプラント、ドリル、バー、ロッド、及びコネクタなど整形外科用器具；切開及び内視鏡クリップアプライヤなど結紮具；マイクロ波アブレーション機器；ドレーン、縫合糸、結紮糸、持針器、回収器、及び縫合クリップなど補助内視鏡器具；オープンステープラ、内視鏡ステープラ、カッターステープラ、電動ステープラ、円形ステープラ、血管用ステープラ、線形ステープラ、ステープルカートリッジ、及びステープルライン補強アプリケータなど外科用ステープル留め機器；縫合糸、接着剤、針、及び結び目のない組織制御デバイスなど創傷閉鎖材料；低侵襲撮像デバイスなど撮像装置などを含み得る。例えば、ヒューマンインターフェースデバイス３０００４は、仮想現実ヘッドセットを用いて動作すると、上記で開示されたものなど外科用器具（instruments）、器具（appliances）、及び消耗品を模倣する、仮想現実ハンドヘルドコントローラを含み得る。
【0087】
ヒューマンインターフェースデバイス３０００４は、シミュレーションの視覚表現をユーザに伝達するディスプレイを含み得る。ヒューマンインターフェースデバイス３０００４は、コンピュータディスプレイを含み得る。ヒューマンインターフェースデバイス３０００４は、仮想現実ヘッドセットディスプレイを含み得る。例えば、仮想現実ヘッドセットディスプレイは、本明細書の図２に開示されるものなど手術環境を表示するために使用され得る。そのような仮想現実ヘッドセットディスプレイを有するユーザは、例えば、患者、ロボットシステム１１０、外科医のコンソール１１８、手術ロボットハブ１２２、１つ以上の外科用ツール１１７、撮像デバイス１２４、患者側カート１２０、１つ以上のディスプレイ１１９、１０７、１０９など、外科手術室１１６内の要素のうちのいずれかを視認し得る、及び／又はいずれかと相互作用し得る。
【0088】
ヒューマンインターフェースデバイス３０００６は、外科医の視点を表す視覚情報を提示し得る。ヒューマンインターフェースデバイス３０００６は、関節鏡、血管内視鏡、気管支鏡、コレドコスコープ、コノスコープ、サイトスコープ、十二指腸内視鏡、腸鏡、上部消化管内視鏡（胃鏡）、内視鏡、喉頭鏡、鼻咽喉－腎盂鏡（nasopharyngo-neproscope）、Ｓ状結腸鏡、胸腔鏡、尿管鏡、及びそれらの関連器具、制御部など模擬撮像デバイスからの視覚情報を提示し得る。ヒューマンインターフェースデバイス３０００６は、コンピュータ断層撮影（computed tomography、ＣＴ）ユニット、磁気共鳴撮像（magnetic resonance imaging、ＭＲＩ）ユニット、画像誘導手術ユニット、術中超音波ユニットなど模擬補助術中撮像機器；蛍光透視ユニットなどからの視覚情報を提示し得る。そのような視点視覚情報、手術撮像情報、及び補足術中撮像情報は、シミュレーションの動作に好適な任意の組み合わせでユーザに表示され得る。例えば、そのような情報は、単一のフルスクリーンビュー、タイルウィンドウビュー、ピクチャインピクチャビューとしてユーザに提示され得るか、又は仮想現実ビューの模擬ディスプレイユニットに登録され得る。
【0089】
ヒューマンインターフェースデバイス３０００４は、物理及び／又は仮想現実手術ロボット外科医コンソールを含み得る。例えば、例示的外科医コンソール様ヒューマンインターフェースデバイス３０００４は、立体視ディスプレイなどディスプレイと、ハンドヘルドマニピュレータ、フットペダルなどを含む制御入力と、を含み得る。例えば、外科医コンソール様ヒューマンインターフェースデバイス３０００４は、本明細書に開示される外科医のコンソール１１８のインターフェースを含み得る。ヒューマンインターフェースデバイス３０００４は、例えば、マイクロフォン及び音声認識機能によって音声制御を可能にし得る。ヒューマンインターフェースデバイス３０００４は、例えばスピーカによって可聴フィードバックを提供し得る。ヒューマンインターフェースデバイス３０００４は、例えば、振動、力フィードバック、ボルテックスリング、及び超音波技法によって触覚フィードバックを提供し得る。
【0090】
実装される場合、ヒューマンインターフェースデバイス３０００４は、スタンドアロンデバイスとして設けられ得、及び／又は、例えばシミュレーションデバイス３００００と統合されるなど、手術シミュレーションシステムの１つ以上の他のデバイスと統合され得る。シミュレーションデバイス３００００は、ヒューマンインターフェースデバイス３０００４と通信するためのインターフェースモジュール３００１２を含み得る。一実施例では、ヒューマンインターフェースデバイス３０００４は、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素に統合され得る。例えば、ヒューマンインターフェースデバイス３０００４は、コンピュータシステム２１０に統合され得る。例えば、ヒューマンインターフェースデバイス３０００４は、ハブ１０６に統合され得る。例えば、ヒューマンインターフェースデバイス３０００４は、視覚化システム１０８に統合され得る。インターフェースモジュール３００１２は、例えば、手術データシステムインターフェースモジュール３００１４を介してコンピュータ実装インタラクティブ手術システム１００の１つ以上の要素と通信し得る。
【0091】
一実施形態では、２つ以上のヒューマンインターフェースデバイス３０００４がシミュレーションデバイス３００００と同時に連動し得る。例えば、多人数シミュレーションアプリケーション
【0092】
外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００の入力及び出力に対するコンピュータベースの制御及び応答を提供するのに好適な任意のハードウェア及び／又はソフトウェアを含み得る。外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００への人間の入力を模倣するコンピュータ処理を含み得る。例えば、外科医エージェントデバイス３０００６は、基本的な器具操作など制御入力を記録し、登録することが可能であり得る。外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００の入力／出力アプリケーションプログラミングインターフェース（application programming interface、ＡＰＩ）にアクセスすることができる、コンピュータ処理を含み得る。例えば、ＡＰＩは、外科医エージェントデバイス３００６に従って指示され得る１つ以上の入力／出力機能を明らかにし得る。機能は、機器の位置及び動きを直接制御する機能など粒度の細かい操作及び物理ベースの入力／出力機能を含み得る。機能は、結紮活動、縫合活動、ステープル留め活動などより粒度の粗い活動ベースの入力／出力機能を含み得る。機能は、外科的アクセス機能、臓器授動機能などより粒度の粗い外手術タスク及び／又はステージベースの入力／出力機能を含み得る。各機能は、粒度のレベルと一致するパラメータを含み得る。パラメータは、シミュレーション内での機能の動作を指示するための特定の詳細を提供し得る。外科医エージェント３０００６は、複数のシミュレーション実行を生成し、操作するための機能を含み得る。例えば、ユーザは、様々な縫合技法の持続時間を推定することを望む場合がある。外科医エージェントデバイス３０００６は、任意の数の異なる技法のシミュレーションを計画するために使用され得、そのそれぞれは、シミュレーションデバイスを介して実行され得、シミュレーションデバイスによって収集されたメトリックは、持続時間の差異を推定するために使用され得る。
【0093】
外科医エージェントデバイス３０００６は、スタンドアロンデバイスとして提供され得、及び／又は、例えばシミュレーションデバイス３００００と統合されるなど、手術シミュレーションシステムの１つ以上の他のデバイスと統合され得る。シミュレーションデバイス３００００は、外科医エージェントデバイス３０００６と通信するためのインターフェースモジュール３００１２を含み得る。例えば、外科医エージェントデバイス３０００６は、シミュレーションデバイス３００００のモジュールとして統合され得る。例えば、外科医エージェントデバイス３０００６は、シミュレーションデバイスのアプリケーションモジュール３００１０に統合され得る。
【0094】
手術データシステム３０００８は、外部の構造化された手術情報及び機能をシミュレーションデバイス３００００に提供するのに好適な任意のハードウェア及び／又はソフトウェアを含み得る。手術データシステム３０００８は、本明細書の図１～図６に関連して説明される構造及び／又は機能を含み得る。例えば、手術データシステム３０００８は、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素を含み得る。手術データシステム３０００８は、例えば、手術用ハブ１０６を含み得る。例えば、シミュレーションデバイス３００００は、手術用ハブの通信モジュール１３０を介した手術用ハブ１０６との通信を可能にする手術データシステムインターフェースモジュール３００１４を含む。手術データシステム３０００８は、例えば、１つ以上の手術データリポジトリを含み得る。例えば、手術データシステム３０００８は、手術室に配置されたコンピュータシステム２１０を含み得る。例えば、手術データシステム３０００８は、クラウド２０４内に遠隔サーバ２１３を含み得る。
【0095】
例えば、手術用ハブ１０６など手術データシステム３０００８は、シミュレーションデバイス３００００及び／又はアプリケーション作成デバイス３０００２にデータを提供し得る。例えば、データは、手術用ハブ１０６によって収集された、及び／又は生成された任意の手術データを含み得る。また例えば、シミュレーションデバイス３００００は、図１～図６に開示されたネットワーク化されたデバイスのいずれかから同様のデータを直接受信し得る。そのようなデータは、例えば、ライブ外科処置に関する情報を含み得る。そのようなデータは、過去の外科処置に関する情報を含み得る。そのようなデータは、将来の予定された外科処置に関する情報を含み得る。
【0096】
外科処置に関する情報は、患者、スタッフ、計画された処置、経験した処置、及び患者転帰など術後活動に関する情報を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、患者の記録、患者の画像、患者の解剖学的構造のモデル、患者の検査結果、患者の病歴などを含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、処置のスタッフ名簿、特定のスタッフメンバーの過去の処置に関する詳細、スタッフメトリック、経験、最近の日程及び作業負荷、並びに過去の手術活動（そのような器具の使用統計、処置期間など）を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、処置計画、機器及び在庫情報、プルリスト、チェックリスト、処置計画分析、並びに推奨を含み得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、ライブ処置中に収集されたか、又は生成された任意のデータ、例えば、処置の進捗状況、マイルストーン、患者情報、バイタル、手術室のセットアップ、スタッフの動き、画像、器具の使用、手術技法、例えば、ビデオによって取り込まれたもの、手動で記録されたもの、及び／又は例えば、持続時間、異常事象の報告などスマート器具による報告から推測されたものなどを含み得る。ライブ処置中に捕捉されたあらゆるデータもまた、記憶され、過去の処置として利用可能にされ得る。例えば、シミュレーションデバイスによって受信され、使用される情報は、術後記録、患者の回復情報、及び患者の転帰情報、検査、画像など術後診断情報を含み得る。
【0097】
シミュレーションデバイス３００００は、１つ以上のシミュレーションを実行するのに好適な任意のコンピュータ又は処理プラットフォームを含み得る。シミュレーションは、コンピュータでモデル化された外科処置環境を含み得る。例えば、シミュレーションは、患者の解剖学的構造及び／又は生理学的構造のモデルを含み得る。例えば、シミュレーションは、外科医、看護師、他の医師、技術者などの行動など１人以上の医療従事者の行動及び／又は器具のモデルを含み得る。
【0098】
シミュレーションデバイス３００００は、１つ以上の追加の機能モジュールを含み得る。各モジュールは、モジュールの機能を可能にするハードウェア、ソフトウェア、又はそれらの組み合わせを含み得る。協調して動作する１つ以上のモジュールは、医療処置のシミュレーションが実行され得るコンピュータフレームワークを表し得る。モジュールは、コンピュータ処理ユニット、グラフィックス処理ユニット、フィールドプログラマブルゲートアレイ（field-programmable gate array、ＦＰＧＡ）、通信ハードウェア、メモリなどハードウェア要素を含み得る。モジュールは、プロセッサによって実行されるとモジュールに特定の機能を実行させるソフトウェア要素を含み得る。
【0099】
シミュレーションデバイスは、例えば、コアシミュレーションモジュール３００１６、シミュレーションアプリケーションモジュールディレクトリ３００１８、インターフェースモジュール３００１２、物体特性モジュール３００２０、物理モジュール３００２２、生理学的モデル３００２４、テクスチャモデル３００２６、３Ｄグラフィックスパイプライン３００２８、手術データシステムインターフェースモジュール３００１４、メトリック抽出モジュール３００３０、セッション記憶及び管理モジュール３００３２を含み得る。シミュレーションデバイスは、オペレーティングシステムモジュール３００３４を含み得る。
【0100】
コアシミュレーションモデル３００１６は、シミュレーションデバイス３００００の主要シミュレーション機能を提供し得る。例えば、コアシミュレーションモジュール３００１６は、シミュレーションを初期化するための、シミュレーションデバイス３００００の他のモジュールと通信し、相互作用するための、及び／又はアーキテクチャレベルのシミュレーションパラメータを管理するためのコードを含み得る。例えば、コアシミュレーションモジュール３００１６は、シミュレーションデバイス３００００のモジュールの動作の時間整合及び／又は調整を提供するために、マスタイベントクロックを含み得る。例えば、コアシミュレーションモジュール３００１６は、シミュレーションフレームレート全般を確立し得る。
【0101】
コアシミュレーションモジュール３００１６は、マスタシミュレーションサイクルを提供するためのコアを含み得る。コアシミュレーションモジュール３００１６は、マスタシミュレーションサイクルの１つ以上の繰り返しを実行し得る。マスタシミュレーションサイクルの各繰り返しは、シミュレーションの個々のタイムスライスを表し得る。一実施例では、コアシミュレーションモジュール３００１６は、図１０に開示されるフローに従ってマスタシミュレーションサイクルを実行し得る。
【0102】
シミュレーションアプリケーションモジュールディレクトリ３００１８は、１つ以上のアプリケーションモジュール３００１０の記憶、検索、及び／又はリンクを管理し得る。各アプリケーションモジュール３００１０は、シミュレーションのアプリケーションレベルの態様を指示するコードを含み得る。例えば、アプリケーションモジュール３００１０は、特定の解剖学的構造、特定の教示スコープ、特定の機器のシミュレーションなどを提供する機能を含み得る。例示的シミュレーションデバイス３００００では、アプリケーション固有のシミュレーションデバイス３００００は、シミュレーションアプリケーションモジュールディレクトリ３００１０の有無にかかわらず、単一のアプリケーションモジュール３００１０と共に動作し得る。シミュレーションアプリケーションモジュールディレクトリ３００１８は、コアシミュレーションモジュール３００１６及び／又はアプリケーション作成デバイス３０００２との相互作用に基づいて動作し得る。
【0103】
インターフェースモジュール３００１２は、ヒューマンインターフェースデバイス３０００４及び／又は外科医エージェントデバイス３０００６と相互作用するための機能を提供し得る。例えば、インターフェースモジュール３００１２は、ヒューマンインターフェースデバイス３０００４から受信した情報をソフトウェアコマンド、割り込みなどに変換するための１つ以上のドライバを含み得る。例えば、インターフェースモジュール３００１２は、外科医エージェント３０００６と相互作用するためのソフトウェアアプリケーションプログラミングインターフェース（ＡＰＩ）を含み得る。インターフェースモジュール３００１２は、ヒューマンインターフェースモジュール３０００４及び／又は外科医エージェントデバイス３０００６から受信した情報をシミュレーションデバイス３００００の他のモジュールに提供し得る。例えば、インターフェースモジュール３００１２は、模擬器具の動きを表す制御入力をヒューマンインターフェースモジュール３０００４及び／又は外科医エージェントデバイス３０００６から受信し、当該情報をシミュレーションデバイス３００００の１つ以上の他のモジュールに提供し得、それにより、動きがシミュレーションで表され得る。
【0104】
インターフェースモジュール３００１２は、外科医エージェントデバイス３０００６とのより粒度の細かい相互作用を可能にするためにＡＰＩを提供し得る。例えば、ＡＰＩは、外科医エージェントデバイス３０００６からシミュレーションパラメータ及びシミュレーション設定を受信するためのインターフェースを提供し得る。そのようなシミュレーションパラメータ及び／又はシミュレーション設定は、例えば、アプリケーション作成デバイス３０００２を介したユーザによるそれらの入力と同様であり得る。例えば、外科医エージェントデバイス３０００６では、シミュレーションデバイス３００００によって１つ以上のコンピュータ制御シミュレーショントライアルを実行することが可能であり得る。例えば、外科医エージェントデバイス３０００６では、それぞれが代替相互作用を伴う、複数のシミュレーションを実行することが可能であり得る。
【0105】
インターフェースモジュール３００１２は、シミュレーションデバイス３００００からの出力をヒューマンインターフェースデバイス３０００４及び／又は外科医エージェントデバイス３０００６に送信し得る。例えば、出力としては、視覚出力、触覚出力、音声出力、及び／又は構造化データ出力などが挙げられ得る。
【0106】
物体特性モジュール３００２０は、シミュレーション内の物体の模擬外観及び／又は挙動を管理するための機能を提供し得る。模擬物体としては、解剖学的構造、器具、機器、消耗品、流体など物体が挙げられ得る。物体の外観は、位置、寸法、スケール、材料、親／子関係、頂点、面、対話性、透明度、軌跡、レンダリング特性、テクスチャ、表面反射率、モーションブラー、レイヤリングなど物体特性によって管理され得る。物体の挙動は、物理特性、質量、運動、衝突挙動、弾性、粘度、表面張力、リギング制約、硬度、剪断強度、引き裂き挙動、粒度など物体特性によって管理され得る。
【0107】
物理モジュール３００２２は、シミュレーション内の物体の物理的応答及び／又は相互作用を計算する機能を提供し得る。物理モジュールは、古典力学、流体力学、軟体力学、ブラウン運動、衝突検出、布挙動、有限要素解析などに従って、そのような応答及び／又は相互作用を決定し得る。物理モジュール３００２２は、ＰｈｙｓＸ（商標）、Ｓｉｍｕｌａｔｉｏｎ Ｏｐｅｎ Ｆｒａｍｅｗｏｒｋ Ａｒｃｈｉｔｅｃｔｕｒｅ（ＳＯＦＡ）（商標）、ＶｉｓＳｉｍ（商標）など商用モジュール及び／又はオープンソースモジュールを含み得る。
【0108】
生理学的モジュール３００２４は、シミュレーションにおいて解剖学的構造及び／又は患者の生理学的応答及び／又は相互作用全般を計算する機能を提供し得る。生理学的モジュール３００２４は、重要な器官及び／又は系の生理学的モデルを提供し得る。生理学的モデルは、数学モデル、統計モデルなどを含み得る。例えば、生理学的モジュール３００２４は、患者のバイタルをモジュール化して、シミュレーション中に実行された活動に対する患者の反応及び／又は相互作用を計算し得る。例えば、循環モデルは、シミュレーションにおいて切断された血管に応答して血圧を計算し得る。生理学的モジュール３００２４及び物理モジュール３００２２は、シミュレーションの各状態の計算中に互いに協調し得る。例えば、循環モデルによって計算された血圧は、物理モジュール３００２２によって計算され、物体特性モジュール３００２０によって管理される流体力学特性を決定するために使用され得る。
【0109】
テクスチャモジュール３００２６は、シミュレーション内の物体の適切な表面を決定、検索、及び／又は生成する機能を提供し得る。テクスチャモジュール３００２６は、シミュレーションのパラメータに従って制御され得る１つ以上の表面モダリティを含み得る。表面モダリティは、人工的に生成された表面、実世界の画像に基づいた表面、及びそれらの組み合わせを含み得る。テクスチャモジュール３００２６は、ユーザインターフェースモジュール３００１２を介してユーザに正確な触覚フィードバックを提供するために物理モジュール３００２２と動作を調整し得る。
【0110】
３Ｄグラフィックスパイプライン３００２８は、シミュレーション環境の視覚的レンダリングに機能を提供し得る。３Ｄグラフィックスパイプライン３００２８は、物体特性及び奥行を受信し得る。３Ｄグラフィックスパイプライン３００２８は、カメラ視点から見た３Ｄ空間内の物体を表す、ユーザに提示されるべき視覚化を決定し得る。３Ｄグラフィックスパイプライン３００２８は、ライティング、投影、クリッピング、ビュー変換などレンダリングの幾何学的態様を決定し得る。３Ｄグラフィックスパイプライン３００２８は、フラグメンテーション、ピクセルシェーディング、頂点シェーディング、ジオメトリ共有、テクスチャフィルタリングなど、レンダリングのラスタ化態様を決定し得る。３Ｄグラフィックスパイプライン３００２８は、テクスチャモジュール３００２６と協調して、インターフェースモジュール３００１２を介してユーザに正確な視覚フィードバックを提供し得る。
【0111】
手術データシステムインターフェースモジュール３００１４は、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素にインタラクティブ接続性を提供し得る。コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素からの情報は、手術データシステムインターフェースモジュール３００１４を介して、シミュレーションデバイス３００００の１つ以上のモジュールに通信され、シミュレーションの動作に影響を及ぼし得る。例えば、手術データシステムインターフェースモジュール３００１４は、外科処置に関する情報を受信し、それを対応するアプリケーションモジュール３００１０に通信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、器具に関する情報を受信し、それを物体特性モジュール３００２０に通信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、患者に関する情報を受信し、生理学的モジュールに通信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、組織画像に関する情報を受信し、それをテクスチャモジュール３００２６に通信し得る。
【0112】
シミュレーションデバイス３００００のモジュールからの情報は、手術データシステムインターフェース３００１４を介して、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素に提供され得る。例えば、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素は、メトリック抽出モジュール３００３０からの模擬処置計画に関連する統計を受信し得る。例えば、コンピュータ実装インタラクティブ手術システム１００の１つ以上の要素は、セッション記憶及び管理モジュール３００３２から、再現されたシミュレーション視覚化処置計画を受信し得る。例えば、手術データシステムインターフェースモジュール３００１４は、インターフェースモジュール３００１２とコンピュータ実装インタラクティブ手術システム１００の１つ以上の要素との間に通信経路を提供し得る。例えば、ライブ外科処置中の外科医は、手術室からシミュレーション情報にアクセスし得る、及び／又はシミュレーションを操作し得る。例えば、外科医は、外科医コンソール１１８を使用して、ライブ外科処置に対応するシミュレーションにアクセスすることができる、及び／又は当該シミュレーションと対話することができる。
【0113】
メトリック抽出モジュール３００１４は、シミュレーションの動作に関連する様々なパラメータの記録機能を提供し得る。例えば、メトリック抽出モジュール３００１４は、持続時間、活動の数、動きの数、動きの複雑さ、参加したスタッフ、スタッフの動き、機器及び／又は器具の変更などシミュレーション全般に関連するメトリックを記録し得る。例えば、メトリック抽出モジュール３００１４は、模擬患者バイタル、合併症、衝突、出血などシミュレーションの特定側面に関連するメトリックを記録し得る。メトリック抽出モジュール３００１４は、シミュレーション中にメトリック関連事象のマスタログを維持し得る。メトリック抽出モジュール３００１４は、シミュレーションに使用されるアプリケーションモジュール３００１０からの構成に従ってメトリック関連事象を記録し得る。
【0114】
セッション記憶及び管理モジュール３００３２は、メインシミュレーション実行記録の管理機能を提供し得る。例えば、セッション記憶及び管理モジュール３００３２は、シミュレーションが全体として再実行され、表示され、及び／又は分析されることを可能にする情報を記憶し得る。セッション記憶及び管理モジュール３００３２は、図１０に関して開示される入力、シミュレーション状態、及び出力など各入力、シミュレーション状態、及び出力に関する情報を記憶し得る。セッション記憶及び管理モジュール３００３２は、以前のシミュレーションが、新しいユーザ入力によって呼び出され、コピーされ、初期化されることを可能にし得る。例示すると、訓練中の外科医は、経験豊富な外科医によって実行されたシミュレーションを呼び出し、重要なステップにおいてシミュレーションを一時停止させ、自身でそのステップを試みることができる。セッション記憶及び管理モジュール３００３２は、特定のシミュレーションの様々な実行間でオーバーレイ機能を提供し得る。そのようなオーバーレイは、類似性及び差異を強調し得、訓練を強化し得る。
【0115】
オペレーティングシステムモジュール３００３４は、シミュレーションデバイス３００００のハードウェアリソース及び／又はソフトウェアリソースを管理し得る。オペレーティングシステムモジュール３００３４は、シミュレーションデバイス３００００の他のモジュールにコンピューティングシステムレベルの共通サービスを提供し得る。例えば、オペレーティングシステムモジュール３００３４は、ハードウェア入出力処理、メモリ割り当て、ハードウェア割込み処理、ソフトウェア割込み処理、スレッド処理、シングルタスク処理、マルチタスク処理などを提供し得る。シミュレーションデバイス３００００は、リアルタイムコンピューティングデバイスであり得る。オペレーティングシステムモジュール３００３４は、リアルタイムオペレーティングシステムを含み得る。例えば、オペレーティングシステムモジュール３００３４は、コアシミュレーションモジュール３００１６によって確立されたイベント及びフレームレートによって駆動され得る。
【0116】
図８は、例示的手術シミュレータシステムのブロック図である。シミュレーションデバイス３００００は、例示的ハードウェアアーキテクチャと共に示されている。例えば、シミュレーションデバイス３００００は、プロセッサ３００３４、メモリ３００３６、ストレージ３００３８、ディスプレイアダプタ３００４０、操作インターフェースアダプタ３００４２、手術データシステムアダプタ３００４４、及び／又はネットワークアダプタ３００４６を含み得る。プロセッサ３００３４、メモリ３００３６、ストレージ３００３８、ディスプレイアダプタ３００４０、操作インターフェースアダプタ３００４２、手術データシステムアダプタ３００４４、及び／又はネットワークアダプタ３００４６のうちの１つ以上は、本明細書に開示されるシミュレーションデバイス３００００のモジュールの動作を可能にするために使用され得る。
【0117】
プロセッサ３００４６は、コンピュータ処理ユニット、グラフィックス処理ユニット、任意の適切なマイクロコントローラ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（application specific integrated circuit、ＡＳＩＣ）など、並びに／又はコンピュータエージェント及び／若しくは人間のユーザとの相互作用のために３Ｄ模擬環境を処理し、提供するのに好適である、それらの任意の組み合わせを含み得る。一実施例では、プロセッサ３００４６は、１つ以上の処理ユニットを含み得る。プロセッサ３００４６は、本明細書に開示されるデジタル処理要件を実施するように、任意の好適な深さのプロセッサであり得る。例えば、プロセッサ３００４６は、３２ビットのプロセッサ、６４ビットのプロセッサ、１２８ビットのプロセッサなど。
【0118】
そのようなプロセッサは、プロセッサによって実行されると、プロセッサによって実行又は支援されるものとして本明細書に記載されるステップをプロセッサに実行させることができる命令を記憶し得る媒体、例えばコンピュータ可読媒体を備え得るか、又はそれと通信し得る。コンピュータ可読媒体のいくつかの実施形態は、限定するものではないが、ウェブサーバ内のプロセッサなどプロセッサにコンピュータ可読命令を提供することができる電子、光学式、磁気、又は他の記憶デバイスを含み得る。媒体の他の例は、フロッピーディスク、ＣＤ－ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、全ての光媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取ることができる任意の他の媒体を含むが、これらに限定されない。説明されるプロセッサ及び処理は、１つ以上の構造であり得、１つ以上の構造を介して分散され得る。プロセッサは、本明細書で説明される方法のうちの１つ以上（又は方法の一部）を実行するためのコードを含み得る。
【0119】
メモリ３００３６は、データを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、メモリ３００３６は、揮発性メモリ及び／又は不揮発性メモリを含み得る。メモリ３００３６は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（read-only memory、ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（erasable programmable read-only memory、ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（electrically erasable programmable read-only memory、ＥＥＰＲＯＭ）、フラッシュメモリなどを含み得る。
【0120】
ストレージ３００３８は、大量のデータを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、ストレージ３００３８は、ハードディスクドライブ（hard disk drive、ＨＤＤ）、ソリッドステートドライブ（solid state drive、ＳＳＤ）、ネットワーク接続ストレージ（network-attached storage、ＮＡＳ）などを含み得る。ストレージ３００３８は、データベース構造及び／又はデータベース管理システム（database management system、ＤＢＭＳ）を含み得る。
【0121】
ディスプレイアダプタ３００４０は、３Ｄシミュレーション環境の視覚表現を出力するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、ディスプレイアダプタ３００４０は、グラフィックスカード、ディスプレイカード、グラフィックスアダプタなどを含み得る。ディスプレイアダプタ３００４０は、ヒューマンインターフェースデバイス３０００４のディスプレイなどディスプレイデバイスへの出力画像のフィードを生成するために使用され得る。ディスプレイアダプタ３００４０は、グラフィックス処理ユニット（graphics processing unit、ＧＰＵ）を含み得る。ディスプレイアダプタ３００４０は、例えば、グラフィックスパイプラインをレンダリングするためのハードウェアを含み得る。操作インターフェースアダプタ３００４２は、ヒューマンインターフェースデバイスから操作情報を受信し、及び／又はヒューマンインターフェースデバイスにフィードバック情報を出力するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、操作インターフェースアダプタ３００４２は、仮想現実ヘッドセットから動作追跡情報を受信し、次に、ユーザに表示されているビューを操作し得る。例えば、操作インターフェースアダプタ３００４２は、手術器具を操作しているユーザを示す制御入力を受信し、次に、ユーザのハンドヘルドデバイスに触覚フィードバックを出力し得る。例えば、操作インターフェースアダプタ３００４２は、従来のデスクトップキーボード及びマウスから制御情報を受信し得る。操作インターフェースアダプタは、シリアル入力／出力ポート、パラレル入力／出力ポート、ユニバーサル非同期送受信機（universal asynchronous receiver transmitter、ＵＡＲＴ）、ディスクリート論理入力／出力ピン、アナログ－デジタル変換器、デジタル－アナログ変換器、ユニバーサルシリアルバス（universal serial bus、ＵＳＢ）ポート、ＵＳＢ－Ｃポート、ＦｉｒｅＷｉｒｅポート、高性能パラレルインターフェース（High Performance Parallel Interface、ＨＩＰＰＩ）、Ｔｈｕｎｄｅｒｂｏｌｔポート、Ｙａｐｂｕｓ、イーサネット、ギガビットイーサネット、及び／又は任意の他の好適な周辺インターフェース技術など入力／出力ハードウェアを含み得る。
【0122】
手術データシステムアダプタ３００４４は、手術データシステム３０００８と通信するのに好適な任意の構成要素又は構成要素の集合を含み得る。手術データシステムアダプタ３００４４は、シミュレーションデバイス３００００と手術データシステム３０００８との間に物理チャネルを確立するための通信ハードウェアを含み得る。例えば、手術データシステムアダプタ３００４４は、ＵＳＢポート、ＵＳＢ－Ｃポート、ＦｉｒｅＷｉｒｅポート、ＨＩＰＰＩポート、Ｔｈｕｎｄｅｒｂｏｌｔポート、Ｙａｐｂｕｓポート、イーサネットポート、ギガビットイーサネットポート、及び／又は任意の他の好適な周辺インターフェースを含み得る。手術データシステムアダプタ３００４４は、ネットワークアダプタ３００４６及びネットワーク３００４８を介してシミュレーションデバイス３００００と手術データシステム３０００８との間に論理チャネルを確立するためのハードウェア、ソフトウェア、及び／又はそれらの組み合わせを含み得る。
【0123】
ネットワークアダプタ３００４６は、例えばネットワーク３００４８などネットワークを介した通信に好適な任意の構成要素又は構成要素の集合を含み得る。ネットワークアダプタ３００４６は、ローカルエリアネットワーク（local area network、ＬＡＮ）、ワイドエリアネットワーク（wide area network、ＷＡＮ）、及び／又はモバイルネットワークなどを介した通信を可能にし得る。ＬＡＮ技術としては、光ファイバ分散データインターフェース（ＦＤＤＩ）、銅線分散データインターフェース（ＣＤＤＩ）、Ｅｔｈｅｒｎｅｔ／ＩＥＥＥ８０２．３、Ｔｏｋｅｎ Ｒｉｎｇ／ＩＥＥＥ８０２．５、Ｗｉ－Ｆｉ／ＩＥＥＥ ８０２．１１などを挙げることができる。ＷＡＮ技術としては、ポイントツーポイントリンク、統合サービスデジタルネットワーク（ＩＳＤＮ）及びその変形などの回路交換ネットワーク、パケット交換ネットワーク並びにデジタル加入者回線（ＤＳＬ）を挙げることができるが、これらに限定されない。モバイルネットワークは、ＧＳＭ／ＧＰＲＳ／ＥＤＧＥ（２Ｇ）、ＵＭＴＳ／ＨＳＰＡ（３Ｇ）、ロングタームエボリューション（ＬＴＥ）又は４Ｇ、ＬＴＥアドバンスト（ＬＴＥ－Ａ）、ニューラジオ（ＮＲ）又は５Ｇなどのモバイル通信プロトコルのうちの１つ以上に基づく通信リンクを含み得る。
【0124】
一実施形態では、ネットワークアダプタ３００４６は、５Ｇネットワークアダプタなど無線ネットワークアダプタを含み得る。そのような５Ｇネットワークアダプタ３００４６は、５Ｇ Ｎｅｗ Ｒａｄｉｏ（ＮＲ）トランシーバを使用して、拡張モバイルブロードバンド（enhanced mobile broadband、ｅＭＢＢ）に超高信頼低遅延通信（ultra-reliable and low latency communication、ＵＲＬＬＣ）を提供し得る。そのような５Ｇネットワークアダプタ３００４６は、３．５ＧＨｚ～７ＧＨｚ及び／又は２４ＧＨｚ～４８ＧＨｚ帯域などより高い無線帯域など無線帯域を使用し得る。そのような５Ｇネットワークアダプタ３００４６にサービス提供するネットワーク３００４８としては、パブリックワイヤレスネットワーク、セミプライベート（例えば、ネットワークスライシングベースの）ネットワーク、及び／又は完全プライベートワイヤレスネットワークが挙げられ得る。
【0125】
図９は、例示的手術シミュレータのユーザインターフェースデバイス３０００４を描写する、ブロック図である。ヒューマンユーザインターフェースデバイス３０００４は、例示的ハードウェアアーキテクチャと共に示されている。例えば、ヒューマンユーザインターフェースデバイス３０００４は、プロセッサ３００５０、メモリ３００５２、ディスプレイサブシステム３００５４、及び／又は操作サブシステム３００５６を含み得る。
【0126】
プロセッサ３００５０は、コンピュータ処理ユニット、グラフィックス処理ユニット、任意の好適なマイクロコントローラ、マイクロプロセッサ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、特定用途向け集積回路（ＡＳＩＣ）など、及び／又はシミュレーションデバイス３００００から受信した視覚情報の表示、シミュレーションデバイスに送信するための操作情報の処理、シミュレーションデバイス３００００から受信したフィードバック情報の処理などに関連する処理を取り扱うのに好適なそれらの任意の組み合わせを含み得る。プロセッサ３００５０は、ユーザからの制御操作を検知するために１つ以上のローカルセンサとインターフェースし、及び／又はユーザからのフィードバックを提供するために１つ以上のローカルアクチュエータとインターフェースするためのマイクロコントローラを含み得る。
【0127】
そのようなプロセッサは、プロセッサによって実行されると、プロセッサによって実行又は支援されるものとして本明細書に記載されるステップをプロセッサに実行させることができる命令を記憶し得る媒体、例えばコンピュータ可読媒体を備え得るか、又はそれと通信し得る。コンピュータ可読媒体のいくつかの実施形態は、限定するものではないが、ウェブサーバ内のプロセッサなどプロセッサにコンピュータ可読命令を提供することができる電子、光学式、磁気、又は他の記憶デバイスを含み得る。媒体の他の例は、フロッピーディスク、ＣＤ－ＲＯＭ、磁気ディスク、メモリチップ、ＲＯＭ、ＲＡＭ、ＡＳＩＣ、構成されたプロセッサ、全ての光媒体、全ての磁気テープ若しくは他の磁気媒体、又はコンピュータプロセッサが読み取ることができる任意の他の媒体を含むが、これらに限定されない。説明されるプロセッサ及び処理は、１つ以上の構造であり得、１つ以上の構造を介して分散され得る。プロセッサは、本明細書で説明される方法のうちの１つ以上（又は方法の一部）を実行するためのコードを含み得る。
【0128】
メモリ３００３６は、データを記憶するのに好適な任意の構成要素又は構成要素の集合を含み得る。例えば、メモリ３００３６は、揮発性メモリ及び／又は不揮発性メモリを含み得る。メモリ３００３６は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、消去可能なプログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的に消去可能なプログラマブル読み取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリなどを含み得る。
【0129】
ディスプレイサブシステム３００５４は、シミュレーションデバイス３００００からユーザに３Ｄシミュレーションの視覚表現を表示するのに好適な任意の構成要素又は構成要素の集合を含み得る。ディスプレイサブシステムは、モニタ、デジタルプロジェクタ、スマートフォン、デジタルヘッドセット、仮想現実ヘッドセット、立体視ディスプレイ、ロボット手術外科医のコンソールディスプレイ、手術用ディスプレイユニット、手術用顕微鏡などディスプレイハードウェアを含み得る。
【0130】
操作サブシステム３００５６は、ユーザから操作制御を収集してシミュレーションデバイス３００００に送信し、及び／又はシミュレーションデバイス３００００から受信したフィードバック情報をユーザに提供するのに好適な任意の構成要素又は構成要素の集合を含み得る。ユーザからの操作は、ユーザに関わる、例えば、シミュレーションにおけるユーザの意図を示すために関与する、センサとの任意のインターフェースを含み得る。例えば、インターフェースとしては、キーボード、マウス、ジョイスティック、実際の手術用器具のサイズ、形状、及び動作を模倣する物理的機器、仮想現実ハンドヘルドコントローラ、スマートグローブ、動作検知システム（例えば、手追跡システムなど）、ロボット手術外科医のコンソールマニピュレータ及び／又は制御部、実際のロボット手術外科医のコンソールマニピュレータ並びに／又は制御装置のサイズ、形状、及び動作を模倣する物理的ユニットなどが挙げられ得る。例えば、インターフェースは、シミュレーション内でユーザの視点を示すために、ヘッドセット内に加速度計などの視点センサを含み得る。
【0131】
シミュレーションデバイス３００００からのフィードバックは、ユーザに感覚入力を提供するアクチュエータとの任意のインターフェースを含み得る。例えば、フィードバックとしては、触覚フィードバック、力フィードバック、温度フィードバック、水分フィードバック、音声フィードバック、嗅覚フィードバックなどが挙げられ得る。例えば、ロボット手術外科医のコンソールのマニピュレータにおける力フィードバック及び／又は触覚アクチュエータを使用して、そのようなマニピュレータをライブ処置で動作させた場合にユーザが感じるであろうフィードバックを模擬することができる。例えば、実際の手術用ステープラのサイズ、形状、及び動作を模倣するユーザデバイスにおける力フィードバック及び／又は触覚アクチュエータを使用して、例えば組織に係合し、ステープラを発射するときの力フィードバックなど、生体組織上でそのようなデバイスを動作させる場合にユーザが感じるであろうフィードバックを模擬することができる。
【0132】
図１０は、例示的手術シミュレータの動作のフロー図である。３００５８において、シミュレーションアプリケーションがロードされ得る。例えば、コアシミュレーションモジュール３００１６は、特定のアプリケーションモジュール３００１０に関連付けられたデータをメモリ３００３６にロードさせ得る。ロードされたデータは、プロセッサ３００３４が特定のシミュレーションを動作させるための命令を含み得る。ロードされたデータは、シミュレーションの処置計画を含み得る。例えば、処置計画は、例えば、図１１Ａ～図１１Ｂに関して、本明細書に開示されるように構造化され得る。ロードされたデータは、シミュレーションの初期状態を含み得る。
【0133】
３００６０において、シミュレーション出力が決定され得る、及び／又は送信され得る。例えば、シミュレーション出力は、シミュレーションデバイス３００００によって決定され得る、及び／又は送信され得る。ここで、コアシミュレーションモジュール３００１６は、シミュレーションの現在の状態（例えば、初期状態及び／又は後続の状態）を参照し得る。コアシミュレーションモジュール３００１６は、現在の状態を処理して出力するために１つ以上の他のモジュールに関与し得る。例えば、コアシミュレーションモジュールは、物体特性モジュール３００２０、テクスチャモジュール３００２６、アプリケーションモジュール３００１０、３Ｄグラフィックスパイプライン３００２８、インターフェースモジュール３００１２、及び／又は手術データシステムインターフェースモジュール３００１４のうちのいずれかに関与して、現在のシミュレーション状態を情報に処理して出力し得る。出力に関連する情報は、例えば、メトリック抽出モジュール３００３０並びに／又はセッション記憶及び管理モジュール３００３２によって処理され得る、及び／又は記憶され得る。
【0134】
例えば、人間が操作するシミュレーションセッションでは、出力情報は、ディスプレイアダプタ３００４０及び／又は操作インターフェースアダプタ３００４２を介して、ヒューマンインターフェースデバイス３０００４のディスプレイサブシステム３００５４及び／又は操作サブシステム３００５６に送信され得る。例えば、コンピュータ制御シミュレーションセッションでは、出力情報は、インターフェースモジュール３００１２を介して外科医エージェント３０００６に送信され得る。また、例えば、コンピュータ制御シミュレーションセッションでは、出力情報は、アプリケーションモジュール３００１０において送信され得る（例えば、ローカルに処理され得る）。例えば、手術データシステム３０００８を介してアクセスされるセッションでは、出力情報は、手術データシステムアダプタ３００４４及び／又はネットワークアダプタ３００４６を介して手術データシステムインターフェースモジュール３００１４によって送信され得る。
【0135】
３００６２において、シミュレーション入力が受信され得る、及び／又は処理され得る。例えば、シミュレーション入力は、シミュレーションデバイス３００００によって受信され得る、及び／又は処理され得る。ここで、コアシミュレーションモジュールは、インターフェースデバイス、手術データシステムインターフェースモジュール、及び／又はアプリケーションモジュール３００１０に関与して、制御入力を受信し得る。入力に関連する情報は、例えば、メトリック抽出モジュール３００３０並びに／又はセッション記憶及び管理モジュール３００３２によって処理され得る、並びに／又は記憶され得る。
【0136】
例えば、人間が操作するシミュレーションセッションでは、入力情報は、ヒューマンインターフェースデバイス３０００４の操作サブシステム３００５６から送信され、操作インターフェースアダプタ３００４２を介して受信され得る。例えば、コンピュータ制御シミュレーションセッションにでは、入力情報は、外科医エージェント３０００６から送信され、インターフェースモジュール３００１２を介して受信され得る。また、例えば、コンピュータ制御シミュレーションセッションでは、入力情報は、アプリケーションモジュール３００１０において受信され得る（例えば、ローカルに処理され得る）。例えば、手術データシステム３０００８を介してアクセスされるセッションでは、入力情報は、手術データシステムアダプタ３００４４及び／又はネットワークアダプタ３００４６を介して受信され、最初に手術データシステムインターフェースモジュール３００１４によって処理され得る。
【0137】
３００６４において、後続のシミュレーション状態が決定され得る。例えば、後続のシミュレーション状態は、現在のシミュレーション状態及び／又は任意の受信された入力から決定され得る。コアシミュレーションモジュール３００１６は、シミュレーションデバイス３００００の他のモジュールのうちの１つ以上に関与して、後続のシミュレーション状態を決定することができる。例えば、コードシミュレーションモジュール３００１６は、アプリケーションモジュール、物体特性モジュール、物理モジュール、生理学的モジュールなどに関与し得る。後続のシミュレーション状態は、プロセッサ３００３４の動作によって決定され得る。入力に関連する情報は、例えば、メトリック抽出モジュール３００３０並びに／又はセッション記憶及び管理モジュール３００３２によって処理され得る、並びに／又は記憶され得る。
【0138】
このステージでは、プロセスは、３００６０において入力を受信することにループし得る。このフローの各繰り返しは、シミュレーションにおける対応する時間サイクルを表し得る。シミュレーションのフレームレートは、シミュレーションの目標及び手術シミュレーションデバイス３００００の処理能力に好適なレベルに設定され得る。より低いフレームレートは、ライブ人間相互作用シミュレーションを達成する処理を可能にし得る。より高いフレームレートは、より高いシミュレーション忠実度を可能にし得る。例えば、コンピュータ制御シミュレーションを、例えば外科医エージェント３０００６を用いて動作させるとき、より高いフレームレートがシミュレーションの処理時間に、シミュレートしている実世界時間を超えさせる場合であっても、より高いフレームレートが使用され得る。
【0139】
図１１Ａ～図１１Ｂは、コンピュータ実装インタラクティブ手術システム及び／又は手術シミュレータで使用するための例示的外科処置計画のデータ構造を示す。外科処置計画は、外科処置を実行するために使用され得るスタッフ、機器、技法、及びステップを概説する情報を含み得る。例えば、処置計画は、処置において関与するべき役割及び／又は特定の医療専門家を示すスタッフ名簿を含み得る。処置計画は、処置中に使用され得る、耐久性のある手術用機器、撮像機器、器具、消耗品など機器のリストを含み得る。例えば、処置計画は、手術室を準備するときに外科医及び手術に好適なツール及び材料を組み立てるために使用する、外科技術師のための候補リストを含み得る。処置計画は、処置の予定される技法に関する情報を含み得る。例えば、同一手術目標の処置計画は、異なるアクセス方法、授動方法、検査方法、組織接合方法、創傷閉鎖方法などを含み得る。
【0140】
処置計画は、個々の症例に関する外科医の専門家としての判断を反映し得る。処置計画は、特定の技法に対する外科医の選好及び／又は経験を反映し得る。処置計画は、特定の手術タスクを役割及び機器にマッピングし得る。処置計画は、予定処置のタイムラインを提供し得る。
【0141】
処置計画は、１つ以上の決定点及び／又は分岐を含み得る。そのような決定点及び／又は分岐は、処置の特定の態様に利用可能である外科的選択肢を提供し得、選択肢のうちの１つを選択することは、手術自体からの情報に基づき得る。例えば、１つ以上の選択肢を選択することは、特定患者の解剖学的構造の特定平面に基づいて選択され得、外科医は、ライブ手術中に患者の組織の評価に基づいて選択肢を選択し得る。
【0142】
処置計画は、１つ以上の不測事態を含み得る。これらは、可能性が低いものの生じ得る、ライブ手術中にあり得る状況に関する情報を含み得る。不測事態は、当該状況が生じた場合に用いられ得る、１つ以上の手術タスクを含み得る。不測事態は、十分な機器、スタッフ、及び／又は消耗品を処置中にいつでも使用できることを保証するために使用され得る。
【0143】
処置計画は、１つ以上のデータ構造で記録され得る。処置計画データ構造は、将来のライブ手術に関するデータ、完了したライブ手術に関するデータ、将来の模擬手術に関するデータ、完了した模擬手術に関するデータなどを記録するために使用され得る。ライブ手術用の処置計画データ構造は、コンピュータ実装インタラクティブ手術システム１００によって使用され得る。例えば、ライブ手術用の処置計画データ構造は、コンピュータ実装インタラクティブ手術システム１００の状況認識及び／又は動作態様を強化するために、手術用ハブ１０６によって使用され得る。ライブ手術用の処置計画データ構造は、手術用ハブ１０６によって使用されて、構造化分析のためにライブ手術の別個の要素を記録し得る。
【0144】
処置計画データ構造は、シミュレーションデバイス３００００によって使用され得る。例えば、処置計画データ構造はシミュレーションデバイス３００００によって使用されて、シミュレーションセッションの設定及び／又は１つ以上の目的を確立し得る。例えば、処置計画データ構造は、シミュレーションデバイス３００００によって使用されて、構造化分析のために模擬手術の個別要素を記録し得る。
【0145】
処置計画データ構造は、処置に関連するデータ要素を捕捉するのに好適な任意の構造を含み得る。例えば、処置計画は、例えば、図１１Ａに示されるものなどツリー状データ構造で記録され得る。ここで、ツリー構造のルートは、コア処置データ３００６６を表す。コア処置データ３００６６は、処置名、処置コード、患者名、日付、時間など、処置全般に関する情報を含み得る。シミュレーションの場合、コア処置データ３００６６は、デバイスＩＤ、ソフトウェアバージョン、ユーザ、シミュレーション実行設定（フレームレート、解像度、接続されたユーザインターフェースデバイスなど）などシミュレーションデバイスに関する情報を含み得る。
【0146】
処置データは、ツリー構造のリーフを含み得る。第１のレベルのリーフは、処置セットアップ３００６８、１つ以上の処置ステージ３００７０、１つ以上の不測事態３００７２、及び処置の結果３００７４に関するデータなど、処置計画の主要な態様に関するデータを含むことができる。
【0147】
セットアップデータ３００６８は、処置の準備及び／又は初期状態に関する情報を含み得る。例えば、セットアップデータ３００６８は、スタッフ名簿、スタッフの役割及び／又はスタッフＩＤ、手術室ＩＤ、機器リスト、部屋のレイアウト、当初の手術台位置、術野で準備された器具及び／又は消耗品のリスト、機器に関連する全ての初期設定、術前画像、患者記録など要素を含み得る。シミュレーションの場合には、セットアップデータ３００６８は、模擬解剖学的構造の記録、模擬生理機能の記録、術前画像など模擬環境に関する情報を含み得る。
【0148】
ステージデータ３００７０は、処置の主要マイルストーンに関連するデータ要素を含み得る。例えば、処置のステージは、アクセスの確立などマイルストーンを含み得る。ステージデータ３００７０は、処置の特定ステージを実行するために使用され得るスタッフ、機器、技法、及びステップに関連する情報を含み得る。ステージデータ３００７０は、ステージＩＤを含み得る。
【0149】
ステージは、１つ以上の手術タスク３００７６など１つ以上のサブリーフによって更に詳述され得る。手術タスクは、所与のステージ内の別個の手術ステップを表し得る。例えば、アクセスステージにおいて、トロカールを配置することは、手術タスクであり得る。手術タスクデータ３００７６は、タスクＩＤを含み得る。手術タスクデータ３００７６は、タスクを実行しているスタッフ及び／又は外科医、使用される機器、適用される特定の技法、タスク実行中の患者バイタル、他の環境情報、及びリストなど特定のタスクに関連する情報を含み得る。各タスクは、目標データ３００７８、解剖学的構造－器具相互作用に関連するデータ３００８０、及び結果データ３００８２を用いて更に詳述され得る。目標データ３００７８は、タスク実行の相対的成功を示す情報を含み得る。目標データ３００７８は、予定タスク持続時間、許容可能な実行特異度、効率モダリティ、合併症の回避などに関する情報を含み得る。結果データ３００８２は、１つ以上の目標に関連する情報を含み得る。結果データ３００８２は、目標に対する手術実行（例えば、ライブ及び／又は模擬）を記録し得る。
【0150】
タスクデータ３００７６は、解剖学的構造－器具相互作用データ３００８０の１つ以上の要素を含み得る。解剖学的構造－器具相互作用データ３００８０は、手術実行の粒度の細かい指示を表し得る。解剖学的構造－器具相互作用データ３００８０は、手術タスクの実行に使用される１つ以上の特定の活動を表し得る。解剖学的構造－器具相互作用データ３００８０は、外科医の観察可能な挙動を表し得る。
【0151】
一実施例では、解剖学的構造－器具相互作用データ３００８０は、外科医によって解剖学的構造に加えられている特定の位置、力、角度などを含み得る。例えば、ライブ手術では、手術用ハブ１０６によってスマート器具から記録されたデータは、解剖学的構造－器具相互作用データ３００８０として捕捉され得る。例えば、コンピュータ実装インタラクティブ手術システム１００の他の要素と協働する手術用スマートステープラは、ステープラの位置、角度、先端力、ジョー力、ステープルカートリッジタイプ、閉鎖圧力、発射速度などを記録し得る。模擬手術では、同様のデータ要素が捕捉され得る。
【0152】
不測事態データ３００７２は、処置に関連し得る任意の合併症を示し得る。各不測事態データ３００７２は、特定の合併症に対する適切な反応に対処する１つ以上のタスクデータ要素３００８４を含み得る。不測事態データ３００７２は、元の処置計画からの逸脱を示し得る。また、例えば、不測事態データは、１つ以上のタスク３００７８及び／又は解剖学的構造－器具相互作用３００８０と相互参照され得る。例えば、解剖学的構造－器具相互作用３００８０における特定の実行が合併症につながり得る場合、当該実行の性質及び不測事態の相互参照は、当該解剖学的構造－器具相互作用３００８０に関連する結果データ３００８２に含まれ得る。
【0153】
結果データ３００７４は、処置の結果を示し得る。ここで、手術実行のメトリック全般が記憶され得、実際の及び／若しくは模擬患者回復情報、並びに／又は患者転帰を記録する。例えば、結果データ３００７４は、効率情報、コスト情報、手術期間、作業負荷メトリック、計画された消耗品の使用割合などを含み得る。
【0154】
図１１Ｂは、特定の処置、タスク、又は活動を完了するための代替ステップの構造を更に確立する、上記で開示された要素を有する処置計画データ構造を示す。示されるように、処置データ３００８６によって表される処置は、２つの代替セットアップを含み得、それぞれのセットアップデータ（第１のセットアップデータ３００８８、３００９０、及び第２のセットアップデータ３００９２）によってそれぞれ示される。第１のセットアップデータ３００８８、３００９０は、２つの代替タスク３００９４、３００９６を含み得る。第２セットアップデータ３００９２は、１つのタスク３００９８を含み得る。この図では、処置データ３００８６によって表される処置は、３つの異なる方法で達成され得る。第１の方法は、第１のセットアップ３００８８及び第１のタスク３００９４を用いる。第２の方法は、第１のセットアップ３００９０及び第２のタスク３００９６を用いる。そして第３の方法は、第２のセットアップ３００９２及びその対応するタスク３００９８を用いる。
【0155】
ツリー構造の各パスは、処置を実行するための代替方法の特定のセットを表し得る。そのような構造は、特定のライブ及び／又は模擬手術用の特定の処置計画の作成を支援するために有用であり得る。そのような構造は、処置の多くの考えられる代替策をシミュレートして結果の差異を評価するのに有用であり得る。
【0156】
図１２は、例示的手術シミュレータ３１０１６の動作の例示的データフロー３１０００を示す。例示的手術シミュレータ３１０１６は、シミュレーションデバイス３００００（例えば、図７及び図８に記載されている）であり得る。シミュレータ３１０１６は、シミュレーションデバイス３００００のプロセッサ３００３４を含み得る。患者の器官及び／又は組織の画像は、外科処置中にキャプチャされ得る。例えば、患者の胃の画像は、腹腔鏡スリーブ胃切除処置中にキャプチャされ得る。図１２に示されるように、手術室３１００２において、外科医及び外科医助手は、腹腔鏡スリーブ胃切除処置３１００３を行っている。処置３１００３においては、構造化光撮像能力を有する腹腔鏡が使用され得る。腹腔鏡は、構造化光プロジェクタからの光パターン用の入射光チャネルと、手術部位（例えば、胃）から反射された光用出射光チャネルと、を含み得る。構造化光プロジェクタからの光パターンは、狭帯域光（例えば、青色光）であり得る。したがって、胃から反射された光は、胃から反射された光の歪んだパターンと、胃から反射された白色光と、を含み得る。
【0157】
白色光で反射された胃の画像は、白色光カメラによってフィルタリングされ、キャプチャされ得、胃の画像は、可視化ユーザインターフェースにおいて外科医及び／又は外科医助手に提示され得る。歪んだ光パターンが重ねられた胃の画像は、フィルタリングされ、対応する狭帯域光カメラによって術中に、例えばビデオフォーマットでキャプチャされ得る。白色光カメラ及び狭帯域光カメラは、狭帯域光カメラによってキャプチャされた画像について、白色光カメラによってキャプチャされた画像の赤／緑／青（ＲＧＢ）色値をルックアップし得るように較正され得る。したがって、歪んだ光パターン及び関連付けられたＲＧＢ色値が重ねられた胃の画像は、術中にキャプチャされ得る。
【0158】
患者の器官及び／又は組織のキャプチャされた画像は、手術データシステム３１００４に送信され得る。例えば、歪んだ光パターンが重ねられた胃３１０１２のキャプチャされた画像は、手術室３１００２内の手術データシステム３１００４（例えば、図７に記載される手術データシステム３０００６）に送信され得る。構造化光プロジェクタから投影された光のパターンはまた、手術データシステム３１００４に送信され得る。
【0159】
手術データシステム３１００４は、患者の器官及び／又は組織のキャプチャされた画像を遠隔システム３１００８に送信し得る。例えば、手術データシステム３１００４は、複数の腹腔鏡スリーブ胃切除術処置３１０１３からキャプチャされた胃の画像を遠隔システム３１００８（例えば、図１に記載されるクラウド１４）に送信し得る。手術データシステム３１００４はまた、構造化光プロジェクタから投影された光のパターンを遠隔システム３１００８に送信し得る。リモートシステム３１００８は、ストレージデバイス３１００６に結合されたリモートサーバ３１０１０を含み得る。複数の腹腔鏡スリーブ胃切除術処置は、同一の患者で行われる処置及び／又は異なる患者で行われる処置を含み得る。
【0160】
手術シミュレータ３１０１６は、遠隔システム３１００８からの患者の器官及び／又は組織の２次元（２Ｄ）画像データを使用して、外科処置を模擬することができる。例えば、手術シミュレータ３１０１６は、遠隔システム３１００８からの胃の２Ｄ画像データ３１０１４を使用して、腹腔鏡スリーブ胃切除術処置をシミュレートし得る。胃の２Ｄ画像データ３１０１４は、例えば、同一施設、同一地理的領域内の異なる施設、又は異なる地理的領域内の異なる施設における複数の手術データシステムからの胃の２Ｄ画像データを含み得る。胃の２Ｄ画像データ３１０１４は、本明細書に記載の構造化光撮像を使用して術中にキャプチャされたビデオからの画像フレームであり得る。
【0161】
手術シミュレータ３１０１６は、ヒト器官の変形可能な基準３次元（３Ｄ）モデルを生成し、そのモデルを遠隔システム３１０１６からのヒト器官の２Ｄ画像データと組み合わせることによって、模擬外科処置用の模擬ヒト器官を生成することができる。例えば、手術シミュレータ３１０１６は、胃の変形可能な基準３Ｄモデル３１０１８を生成し、モデル３１０１８を遠隔システム３１００８からの胃の２Ｄ画像データ３１０１４と組み合わせることによって、模擬胃を生成し得る。手術シミュレータ３１０１６は、遠隔システム３１００８からの胃の２Ｄ画像データ３１０１４から胃の３Ｄデータを再構成し得る。手術シミュレータ３１０１６は、遠隔システム３１００８からの再構成された胃の３Ｄデータ３１０１４に対応するように、胃の変形可能な基準３Ｄモデル３１０１８の形状をマッピングし得る。手術シミュレータ３１０１６は、再構成された胃の３Ｄデータ３１０１４に対応するように、胃の変形可能な基準３Ｄモデル３１０１８の形状をマッピングし得る。
【0162】
手術シミュレータ３１０１６は、ヒト器官の再構成された３Ｄデータに対応するように模擬ヒト器官の形状及び表面をマッピングした後に、模擬ヒト器官３１０２０のマッピングされた変形可能な基準３Ｄモデルを出力し得る。シミュレーションユーザ３１０２４は、模擬環境において、模擬ヒト器官３１０２０のマッピングされた、変形可能な基準３Ｄモデルと対話することができる。
【0163】
図１３は、例示的手術シミュレータ３１０５０の動作の例示的データフローを示す。例示的手術シミュレータ３１０５０は、シミュレーションデバイス３００００（例えば、図７及び図８に記載されている）であり得る。例示的データフローは、シミュレーションデバイス３００００によって実行され得る。例示的データフローは、シミュレーションデバイス３００００のプロセッサ３００３４によって実行され得る。手術シミュレータ３１０５０は、３Ｄ再構成モジュール３１０５６を含み得る。３Ｄ再構成モジュール３１０５６は、２Ｄヒト器官画像３１０５４及び関連する３Ｄ再構成基準データ３１０５２を受信し得る。例えば、２Ｄヒト器官画像３１０５４は、図１２に示されるような胃の２Ｄ画像３１０１４であり得る。例えば、関連する３Ｄ再構成基準データ３１０５２は、図１２に記載されるような構造化光プロジェクタから投影される光パターンであり得る。
【0164】
３Ｄ再構成モジュール３１０５６は、受信した２Ｄヒト器官画像３１０５４及び関連する３Ｄ再構成基準データ３１０５２から３Ｄ画像データを再構成し得る。例えば、３Ｄ再構成モジュール３１０５６は、２Ｄ胃画像３１０１４及び関連する３Ｄ再構成基準データ３１０５２から３Ｄポイントクラウド３１０６０を復元し得る。一例では、３Ｄ再構成モジュール３１０５６は、胃の２Ｄ画像３１０１４及び図１２に記載されるような構造化光プロジェクタから投影される光パターンから３Ｄポイントクラウドを復元し得る。３Ｄポイントは、光パターンに関連する任意の好適な３Ｄ再構成アルゴリズムを使用して、胃の２Ｄ画像３１０１４の画素で復元され得る。胃の２Ｄ画像３１０１４から復元された３Ｄポイントは、胃の２Ｄ画像３１０１４からのＲＧＢ色値を含み得る。胃の２Ｄ画像３１０１４から復元された３Ｄポイントは、３Ｄ空間座標を含み得る。異なる胃の２Ｄ画像３１０１４から復元された３Ｄポイントは、例えば、非剛体位置合わせアルゴリズム及び／又は特徴ベースの位置合わせアルゴリズムなど画像位置合わせアルゴリズムを使用して、均一な３Ｄ座標系に空間的に位置合わせされ得る。
【0165】
外科用器具３１０５０は、３Ｄモデル生成装置３１０５５を含み得る。３Ｄモデル生成装置３１０５５は、変形可能な３Ｄヒト器官モデル３１０５８を生成し得る。例えば、３Ｄモデル生成装置３１０５５は、胃の解剖学的テンプレート（例えば、胃の解剖学的アトラス）に基づいて変形可能な３Ｄ胃モデル３１０５８を生成し得る。変形可能な３Ｄ胃モデル３１０５８は、変形可能なボリュメトリック４面体モデルであり得る。変形可能な３Ｄ胃モデル３１０５８の表面頂点は、胃解剖学的テンプレートの表面形状を具現化し得る。変形可能な３Ｄ胃モデル３１０５８の表面頂点は、デフォルト色及びデフォルトテクスチャで生成され得る。
【0166】
手術シミュレータ３１０５０は、画像マッピングモジュール３１０６２を含み得る。例えば、画像マッピングモジュール３１０６２は、胃の２Ｄ画像３１０１４から復元された、再構成された３Ｄポイントクラウド３１０６０及び変形可能な３Ｄ胃モデル３１０５８を受信し得る。
【0167】
マッピングモジュール３１０６２は、再構成された３Ｄポイントクラウド３１０６０及び変形可能な３Ｄヒト器官モデル３１０６４に基づいて、マッピングされた変形可能な３Ｄヒト器官モデル３１０５８を生成し得る。例えば、マッピングモジュール３１０６２は、変形可能な３Ｄ胃モデル３１０５８から３Ｄメッシュ表面胃モデルを抽出し得る。マッピングモジュール３１０６２は、抽出した３Ｄメッシュ表面胃モデルを対応する３Ｄポイントクラウドに変換することができる。そのような３Ｄポイントクラウドは、胃の２Ｄ画像３１０１４から復元された、再構築された３Ｄポイントクラウド３１０６０にマッピングされて、例えば、反復最接近点（iterative closest point、ＩＣＰ）アルゴリズムを使用して、再構成された３Ｄポイントクラウド３１０６０との差異を最小化することができる。マッピングされた３Ｄポイントクラウドは、３Ｄメッシュ表面胃モデルに逆変換されて得、その後、３Ｄメッシュ表面胃モデルは、変形可能なボリュメトリック４面体モデルに逆変換され得る。したがって、マッピングされた変形可能な３Ｄ胃モデル３１０６４は、再構成された３Ｄポイントクラウド３１０６０の形状、色、及びテクスチャに最も一致する。
【0168】
マッピングされた変形可能な３Ｄヒト器官モデル３１０６４は、ユーザが対話するために視覚化モジュールに送信され得る。例えば、マッピングされた変形可能な３Ｄ胃モデルは、シミュレーション環境でユーザが対話するために視覚化モジュールに送信され得る。
【0169】
図１４は、例示的手術シミュレータの例示的動作のフロー図である。例えば、例示的動作は、２Ｄ画像データから３Ｄ画像データを生成するためのプロセス３１１００を含み得る。プロセス３１１００は、変形可能な３Ｄモデルを３Ｄ画像データにマッピングし得る。例示的手術シミュレータは、シミュレーションデバイス３００００（例えば、図７及び図８に記載されている）であり得る。プロセス３１１００は、シミュレーションデバイス３００００によって実行され得る。方法３１１００は、シミュレーションデバイス３００００のプロセッサ３００３４によって実行され得る。
【0170】
３１１０２において、第１の患者の第１のヒト器官の第１の２次元（２Ｄ）画像データを受信し得る。第１の２Ｄ画像データは、第１の患者の体内でキャプチャされる第１の２Ｄ可視画像データと、第１の３次元（３－Ｄ）再構成基準データと、を含み得る。第１の患者の第１のヒト器官の２Ｄ画像データは、構造化光撮像を使用してキャプチャされ得る。
【0171】
３１１０４において、第２の患者の第２のヒト器官の第２の２Ｄ画像データを受信し得る。第２の２Ｄ画像データは、第２の患者の体内でキャプチャされる第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含み得る。例えば、第１の患者の第１のヒト器官及び第２の患者の第２のヒト器官は、同一種類のヒト器官であり得る。例えば、第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた第１の不可視画像データを更に含み得る。第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の不可視画像データを更に含み得る。第１の基準及び第２の基準に基づいて、かつ第１の不可視画像データ及び第２の不可視画像データに基づいて、第１の可視画像データ及び第２の可視画像データの集約から３Ｄ画像データを生成し得る。３Ｄ画像データは、非視覚的情報を更に含み得る。模擬ヒト器官の変形可能な３Ｄモデルの表面下データは、３Ｄ画像データの非視覚情報に基づいて生成し得る。
【0172】
３１１０６において、第１の可視画像データ及び第２の可視画像データの集約から、第１の基準及び第２の基準に基づいて３Ｄ画像データを生成し得る。３Ｄ画像データは、空間情報と、視覚情報と、を含み得る。
【0173】
３１１０８において、模擬ヒト器官の変形可能な３Ｄモデルの形状を、３Ｄ画像データの空間情報に対応するようにマッピングし得る。例えば、本方法は、１つ以上のヒト器官の組織特性データを受信し得る。組織特性データは、少なくとも、１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定され得る。変形可能な３Ｄモデルに加えられる模擬力が決定され得る。変形可能な３Ｄモデルの形状は、物理的特性データに基づいて変形され得る。
【0174】
３１１１０において、模擬ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報に対応するようにマッピングし得る。例えば、患者固有データを受信し得る。模擬ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報及び患者固有データに対応するようにマッピングし得る。
【0175】
３１１１２において、変形可能な３Ｄモデルを出力し得る。
【0176】
例えば、模擬外科処置の予期される態様を定義し得る。予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術シーン内の場所、又は手術器具のうちの１つであり得る。模擬外科処置に対するユーザからの入力データを監視し得、予期される態様に対応する入力データを決定し得る。１２０２において、関連する命令をユーザに提示することができる。
【0177】
例えば、模擬外科処置の予期される態様を定義し得る。予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術部位内の場所、又は手術器具のうちの１つであり得る。模擬外科処置に対するユーザからの入力データを監視し得る。入力データが予期される態様に対応すると判定し得る。ユーザとの指示的対話を開始するという選択肢がインストラクタに提示され得る。
【0178】
例えば、模擬外科処置の予期される手術ステップを定義し得る。模擬外科処置に対するユーザからの入力データを監視し得る。入力データが予期される手術ステップに対応すると判定し得る。１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢が、ユーザに提示され得る。１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含み得る。一実施例では、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢は、手術合併症又は手術結果によって更にカスタマイズされ得る。
【0179】
シミュレータは、実世界情報の統合によって現実的な外観を提供するように構成され得る。シミュレータは、実世界の画像、テクスチャ、操作される器官の形状、及び器官の態様（例えば、コンピュータ適応を介して）を有する手術シミュレータモデルを含み得る。シミュレーションのシミュレータモデル（例えば、３Ｄモデル）は、モデルに重ねられた実世界画像を有し、手術及び器官の精度及び相互作用的態様を提供し得る。変形させた器官の画像は、実際の手術の構造化光撮像の組み合わせによって生成され得る。表面テクスチャ、特徴、及び外観は、実際の手術画像の集約から生成され得る。オーバーレイは、シミュレーションの特定の必要性並びに／又は模擬処置及び／若しくは患者の特定の態様に基づいて、ユーザ、施設、手術データシステム（例えば、ハブ）、又は遠隔システム（例えば、クラウドベースのシステム）によってカスタマイズされ得る。
【0180】
シミュレータは、実際の組織撮像のビデオオーバーレイを使用してデジタルシミュレーションを提供するように構成され得る。実際の組織撮像のビデオオーバーレイは、例えば、実際の組織撮像の元データセットの構造化光撮像によって変形状態の３Ｄモデルに調整され得る。
【0181】
実際の組織撮像のオーバーレイは、適応的であり得る。実際の組織撮像のオーバーレイは、類似組織の集約された実世界の撮像から導出され得、組織のマルチスペクトル撮像及び他の撮像技術を含み得る。集約された実世界の撮像は、特定の患者又は組織に対する現実感を持たせるために、所定の態様に基づいて、ユーザによって調節され得る。集約された実世界の撮像は、撮像される処置が増加するにつれて、遠隔システム（例えば、クラウドベースのシステム）に集約された追加データから更新され得る。適応は、地域、人口年齢、１つ以上の共存症、及び／又は治療効果によってカスタマイズされ得る。
【0182】
組織モデルは、術中走査によって（例えば、構造化光又は飛行時間型距離センサアレイによって）、他の解剖学的構造に対して実際の変形状態及び／又は実際の再配置状態に調整され得る。組織モデルは、Ｃｒｏｗｄ－Ｓｏｕｒｃｅｄ Ａｓｓｅｓｓｍｅｎｔ ｏｆ Ｔｅｃｈｎｉｃａｌ Ｓｋｉｌｌｓ（ＣＳＡＴＳ）データベース又は他のライブビューデータベースからシミュレーションに入力されるデータに調整され得る。
【0183】
シミュレータは、表面下剪断、変形、及び／又は応力を誘発し得る微小張力及び／又は表面歪みを模擬するように構成され得る。シミュレータは、器官及び／又は組織上の物理的基準マーカと組み合わせて構造化光を使用して、そのようなシミュレータを実行し得る。物理的に取り付けられたマーカは、例えば、構造化光投影追跡の代わりに、又はそれと組み合わせて、器官及び／又は組織の構造化光追跡に追加され得る。物理的に取り付けられたマーカを使用した追跡は、器官の表面内の歪み及び応力を監視することができ、表面下の力が暗示する変形及び運きの外挿を可能にし得る。そのような追跡を使用して、変形モデルの生成は、器官及び／又は組織の動き及び収縮並びに／又は切断をより現実的に反映することができる。表面及び表面下の歪み及び応力を計算することができる。そのような計算を使用して、器官の切片は、観察に適切な構成であり得る。そのような計算を使用して、組織張力、組織剪断による血流の閉塞、並びに引き裂き前の微小組織張力及び最大歪みが示され得る。
【0184】
シミュレータは、（例えば、実際の外科医活動から学習するために）シミュレータ内でアクセスされ、再検討され得る手術の実世界のビデオのインデックス可能な記録を含むように構成され得る。インデックス可能な記録は、（例えば、学習のために）シミュレータに拡張されたＣＳＡＴＳ手術段階を含み得る。インデックス可能な記録は、エスノグラフィを含み得る。
【0185】
インデックス可能な記録は、特定処置のステップ分割表示を含み得る。ステップ分割は、ユーザが、ステップへのアプローチをシステムが提案する方法の１つ以上の例を示すことを可能にし得る。例示的ビデオのソースは、ソートリーダー、クラウドソース、所与の病院のネットワークのベストプラクティスであり得る。ネットワークの例は、経済面に関連し得る。そのようなネットワーク例は、ネットワーク内での一貫した挙動を促進し得る。例えば、特定のネットワークに対して、処置の支払い及び払い戻しは、当該ネットワーク内の外科医が所定のアプローチ、治療、又は製品利用を扱い得る方法の例を進め得る。例示的ビデオを引き入れるために、異なるステップが検索され得る。このようなステップの例は、腸間膜切断のための血管隔離であり得る。そのようなステップの例は、結腸内へのアンビルの導入であり得る。そのようなステップの例は、アンビルの接近であり得る。
【0186】
インデックス可能な記録は、特定の差異の検索を提供して、特定医師のアプローチによって当該差異に対処する方法の例を引き入れ得る。
【0187】
インデックス可能な記録は、結果／合併症によって検索可能であり得る。
【0188】
シミュレータは、シミュレーション制御を介してシミュレーション中にユーザにライブ命令を提供するように構成され得る。シミュレーション制御は、トグル可能ラベリング、ランドマークＩＤ、合併症コールアウト、組織面方位の指示、及びベストプラクティス活動からの逸脱通知を含み得る。
【0189】
シミュレータは、自動チュートリアルモードで動作するように構成され得る。シミュレーションは、所定の開始、又はユーザが特定の所定の場所、ステップ、機器、又はジョブに到達する際に行うステップを有し得る。所定の開始及び／又はステップは、ステップバイステップ動作、拡張撮像のような他のシステム若しくは器具との相互作用、又は補助若しくは付属ツール若しくは材料の使用のうちの１つ以上に関する命令を含み得る。
【0190】
シミュレータはライブ命令モードで動作するように構成され得る。シミュレーションは、教職員又は研修指導医などインストラクタとの対話を含み得る。シミュレーションは、ユーザがインストラクタと通信することを可能にし得る。シミュレーションは、所定の時間にプロンプトを提供することを可能にし得る。シミュレーションは、外部制御又はインジケータを介して、例えば、外部インストラクタによって制御され得る。制御は、再配向を指示し得るか、又はステップ全体でユーザを誘導し得る。制御は、配向、ポイント、マーキング、ラベリング、又は他の方法でユーザを誘導することを含み得る。シミュレーションは、言語オーバーレイを含み得る。
【0191】
シミュレータは、シミュレーションに代替視覚化手段の協調的相互作用を含むように構成され得る。例えば、シミュレーションは、マルチスペクトル撮像オーバーレイ若しくは補正、又は他の撮像相互作用を含んで、重要構造の遮蔽ビューを提供し得る。撮像相互作用の例としては、曝露後処理（post-exposure treatment、ＰＥＴ）の病院取り込み数の走査、リンパ節の拡大ビューが挙げられ得る。重要構造の例としては、血管が挙げられ得る。シミュレーションは、臨床的関与を含み得る。
【0192】
例えば、シミュレーションは、血流を示すためのインドシアニングリーン（ＩＣＧ）からの撮像を含み得る。例えば、シミュレーションは、ＩＣＧを全身的に導入するのに最適な時間を模擬することを含み得る。例えば、シミュレーションは、（例えば、ある期間にわたって）ＩＣＧフェージングを模擬することを含み得る。例えば、シミュレーションは、ＩＣＧを直接導入する時期を模擬することを含み得る。
【0193】
シミュレータは、特定患者の解剖学的構造の撮像補正を含んで、模擬集合体ベースの解剖学的構造が患者の不規則性に合わせてカスタマイズされるように適合させるように構成され得る。シミュレーションは、器官のサイズ、疾患状態への影響、当該患者に特有の血管形状の器官の場所若しくは位置決めに影響を及ぼし得る。シミュレーションは、通常とは異なる患者器官及び異常な解剖学的構造を含み得る。シミュレーションは、術前撮像からの入力、例えば、肺葉及び肺区域への血管の複数分岐及び／又は三叉を含み得る。シミュレーションは、器官への側副循環の情報を提供する術中及び／又は術前蛍光透視を含み得る。
【0194】
以下の実施形態の非包括的な列挙はまた、本開示の一部を形成する。
【0195】
実施形態１．コンピューティングデバイスであって、コンピューティングデバイスは、
プロセッサを備え、プロセッサは、
第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含む、ことと、
第２のヒト器官の第２の２Ｄ画像データを受信することであって、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、
第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から、第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、
ヒト器官の変形可能な３Ｄモデルの形状を、３Ｄ画像データの空間情報に対応するようにマッピングすることと、
ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報に対応するようにマッピングすることと、
変形可能な３Ｄモデルを出力することと、を実行するように構成されている、コンピューティングデバイス。
プロセッサを備え、プロセッサは、
第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含む、ことと、
第２のヒト器官の第２の２Ｄ画像データを受信することであって、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、
第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から、第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、
ヒト器官の変形可能な３Ｄモデルの形状を、３Ｄ画像データの空間情報に対応するようにマッピングすることと、
ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報に対応するようにマッピングすることと、
変形可能な３Ｄモデルを出力することと、を実行するように構成されている、コンピューティングデバイス。
【0196】
「変形可能な３Ｄモデル」は、複数の空間データポイントを含む任意のボリュメトリックモデル（３Ｄでレンダリングされるヒト器官のモデルなど）を指し得ることを理解されたい。これは、モデル内の空間データポイントの修正によって、モデルを容易に「変形」させる（又はモデルの形状／サイズを変化させるように相互作用させる）ことを可能にする。
【0197】
第１のモデルの形状／表面を「マッピング」することは、別個の３Ｄモデル（すなわち、３Ｄ画像データ）に基づいて第１のモデルの形状／表面を修正することを指すことも理解され得る。それは、ポイントツーポイントマッピングを使用することを含み得、それによって、モデル上の各ポイントは、別個の３Ｄモデル（この場合、生成された３Ｄ画像データ）との差異を最小限にするように調整され得る。
【0198】
この実施形態の１つの技術的効果は、２Ｄ画像のキャプチャ及び処理を通じて、３Ｄモデルの形状及び表面詳細の両方の精度が改善され得ることである。
【0199】
実施形態２．プロセッサは、外科処置を模擬するように構成されている、実施形態１に記載のコンピューティングデバイス。
【0200】
実施形態３．ヒト器官の３Ｄモデルは、模擬ヒト器官の３Ｄモデルである、実施形態１～２のいずれか１つに記載のコンピューティングデバイス。
【0201】
実施形態４．第１のヒト器官及び第２のヒト器官は、同一種類のヒト器官である、実施形態１～３のいずれか１つに記載のコンピューティングデバイス。
【0202】
実施形態５．第１の患者は、第２の患者と同一である、実施形態１～４のいずれか１つに記載のコンピューティングデバイス。
【0203】
実施形態６．２Ｄ画像データは、構造化光撮像を使用してキャプチャされる、実施形態１～５のいずれか１つに記載のコンピューティングデバイス。
【0204】
実施形態７．プロセッサは、
１つ以上のヒト器官の組織特性データを受信することであって、組織特性データは、少なくとも、１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、
模擬力が変形可能な３Ｄモデルに加えられると、物理的特性データに基づいて変形可能な３Ｄモデルを変形させることと、を実行するように更に構成されている、実施形態１～６のいずれか１つに記載のコンピューティングデバイス。
１つ以上のヒト器官の組織特性データを受信することであって、組織特性データは、少なくとも、１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、
模擬力が変形可能な３Ｄモデルに加えられると、物理的特性データに基づいて変形可能な３Ｄモデルを変形させることと、を実行するように更に構成されている、実施形態１～６のいずれか１つに記載のコンピューティングデバイス。
【0205】
実施形態８．第１の２Ｄ画像データは、第１の患者の体内でキャプチャされる第１の不可視画像データを更に含み、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされる第２の不可視画像データを更に含み、プロセッサは、第１の基準及び第２の基準に基づいて、かつ第１の不可視画像データ及び第２の不可視画像データに基づいて、第１の可視画像データ及び第２の可視画像データの集約から３Ｄ画像データを生成するように更に構成されており、３Ｄ画像データは、非視覚情報を更に含み、プロセッサは、３Ｄ画像データの非視覚情報に基づいて、ヒト器官の変形可能な３Ｄモデルの表面下データを生成するように更に構成されている、実施形態１～７のいずれか１つに記載のコンピューティングデバイス。
【0206】
実施形態９．プロセッサは、
患者固有データを受信し、
３Ｄ画像データの視覚情報及び患者固有データに対応するように、ヒト器官の変形可能な３Ｄモデルの表面をマッピングする、ように更に構成されている、実施形態１～８のいずれか１つに記載のコンピューティングデバイス。
患者固有データを受信し、
３Ｄ画像データの視覚情報及び患者固有データに対応するように、ヒト器官の変形可能な３Ｄモデルの表面をマッピングする、ように更に構成されている、実施形態１～８のいずれか１つに記載のコンピューティングデバイス。
【0207】
実施形態１０．プロセッサは、
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、
入力データが予期される態様に対応すると判定されると、関連する命令をユーザに提示することと、を実行するように更に構成されている、実施形態２に従属する場合の実施形態２～９のいずれか１つに記載のコンピューティングデバイス。
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、
入力データが予期される態様に対応すると判定されると、関連する命令をユーザに提示することと、を実行するように更に構成されている、実施形態２に従属する場合の実施形態２～９のいずれか１つに記載のコンピューティングデバイス。
【0208】
実施形態１１．プロセッサは、
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、
入力データが予期される態様に対応すると判定されると、ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を実行するように更に構成されている、実施形態２に従属する場合の実施形態２～９のいずれか１つに記載のコンピューティングデバイス。
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、
入力データが予期される態様に対応すると判定されると、ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を実行するように更に構成されている、実施形態２に従属する場合の実施形態２～９のいずれか１つに記載のコンピューティングデバイス。
【0209】
実施形態１２．プロセッサは、
模擬外科処置の予期される手術ステップを定義することと、ユーザからの模擬外科処置に対する入力データを監視することと、
入力データが予期される手術ステップに対応すると判定されると、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢をユーザに提示することであって、１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、ことと、を実行するように更に構成されている、実施形態２に従属する場合の実施形態２～９のいずれか１つに記載のコンピューティングデバイス。
模擬外科処置の予期される手術ステップを定義することと、ユーザからの模擬外科処置に対する入力データを監視することと、
入力データが予期される手術ステップに対応すると判定されると、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢をユーザに提示することであって、１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、ことと、を実行するように更に構成されている、実施形態２に従属する場合の実施形態２～９のいずれか１つに記載のコンピューティングデバイス。
【0210】
実施形態１３．１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢は、手術合併症又は手術結果によって更にカスタマイズされ得る、実施形態１２に記載のコンピューティングデバイス。
【0211】
実施形態１４．コンピュータ実施方法であって、コンピュータ実施方法は、
第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含む、ことと、
第２のヒト器官の第２の２Ｄ画像データを受信することであって、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、
第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から、第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、
ヒト器官の変形可能な３Ｄモデルの形状を、３Ｄ画像データの空間情報に対応するようにマッピングすることと、
ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報に対応するようにマッピングすることと、
変形可能な３Ｄモデルを出力することと、を含む、コンピュータ実施方法。
第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含む、ことと、
第２のヒト器官の第２の２Ｄ画像データを受信することであって、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、
第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から、第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、
ヒト器官の変形可能な３Ｄモデルの形状を、３Ｄ画像データの空間情報に対応するようにマッピングすることと、
ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報に対応するようにマッピングすることと、
変形可能な３Ｄモデルを出力することと、を含む、コンピュータ実施方法。
【0212】
実施形態１５．ヒト器官の３Ｄモデルは、模擬ヒト器官の３Ｄモデルである、実施形態１４に記載のコンピュータ実施方法。
【0213】
実施形態１６．第１のヒト器官及び第２のヒト器官は、同一種類のヒト器官である、実施形態１４～１５のいずれか１つに記載のコンピュータ実施方法。
【0214】
実施形態１７．第１の患者は、第２の患者と同一である、実施形態１４～１６のいずれか１つに記載のコンピュータ実施方法。
【0215】
実施形態１８．２Ｄ画像データは、構造化光撮像を使用してキャプチャされる、実施形態１４～１７のいずれか１つに記載のコンピュータ実施方法。
【0216】
実施形態１９．
１つ以上のヒト器官の組織特性データを受信することであって、組織特性データは、少なくとも、１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、
模擬力が変形可能な３Ｄモデルに加えられると、物理的特性データに基づいて変形可能な３Ｄモデルを変形させることと、を更に含む、実施形態１４～１８のいずれか１つに記載のコンピュータ実施方法。
１つ以上のヒト器官の組織特性データを受信することであって、組織特性データは、少なくとも、１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、
模擬力が変形可能な３Ｄモデルに加えられると、物理的特性データに基づいて変形可能な３Ｄモデルを変形させることと、を更に含む、実施形態１４～１８のいずれか１つに記載のコンピュータ実施方法。
【0217】
実施形態２０．第１の２Ｄ画像データは、第１の患者の体内でキャプチャされる第１の不可視画像データを更に含み、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされる第２の不可視画像データを更に含み、プロセッサは、第１の基準及び第２の基準に基づいて、かつ第１の不可視画像データ及び第２の不可視画像データに基づいて、第１の可視画像データ及び第２の可視画像データの集約から３Ｄ画像データを生成するように更に構成されており、３Ｄ画像データは、非視覚情報を更に含み、プロセッサは、３Ｄ画像データの非視覚情報に基づいて、ヒト器官の変形可能な３Ｄモデルの表面下データを生成するように更に構成されている、実施形態１４～１９のいずれか１つに記載のコンピュータ実施方法。
【0218】
実施形態２１．プロセッサは、
患者固有データを受信すること、並びに
３Ｄ画像データの視覚情報及び患者固有データに対応するように、ヒト器官の変形可能な３Ｄモデルの表面をマッピングすること、を実行するように更に構成されている、実施形態１４～２０いずれか１つに記載のコンピュータ実施方法。
患者固有データを受信すること、並びに
３Ｄ画像データの視覚情報及び患者固有データに対応するように、ヒト器官の変形可能な３Ｄモデルの表面をマッピングすること、を実行するように更に構成されている、実施形態１４～２０いずれか１つに記載のコンピュータ実施方法。
【0219】
実施形態２２．
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、
入力データが予期される態様に対応すると判定されると、関連する命令をユーザに提示することと、を更に含む、実施形態１４～２１のいずれか１つに記載のコンピュータ実施方法。
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、
入力データが予期される態様に対応すると判定されると、関連する命令をユーザに提示することと、を更に含む、実施形態１４～２１のいずれか１つに記載のコンピュータ実施方法。
【0220】
実施形態２３．
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、
入力データが予期される態様に対応すると判定されると、ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を更に含む、実施形態１４～２２のいずれか１つに記載のコンピュータ実施方法。
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、
入力データが予期される態様に対応すると判定されると、ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を更に含む、実施形態１４～２２のいずれか１つに記載のコンピュータ実施方法。
【0221】
実施形態２４．プロセッサは、
模擬外科処置の予期される手術ステップを定義すること、
ユーザからの模擬外科処置に対する入力データを監視すること、及び
入力データが予期される手術ステップに対応すると判定されると、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢をユーザに提示することであって、１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、こと、を実行するように更に構成されている、実施形態１４～２３のいずれか１つに記載のコンピュータ実施方法。
模擬外科処置の予期される手術ステップを定義すること、
ユーザからの模擬外科処置に対する入力データを監視すること、及び
入力データが予期される手術ステップに対応すると判定されると、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢をユーザに提示することであって、１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、こと、を実行するように更に構成されている、実施形態１４～２３のいずれか１つに記載のコンピュータ実施方法。
【0222】
実施形態２５．１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢は、手術合併症又は手術結果によって更にカスタマイズされ得る、実施形態２４に記載のコンピュータ実施方法。
【0223】
実施形態２６．コンピュータによって実行されると、コンピュータに実施形態１４～２５のいずれか１つに記載の方法を実行させる命令を含む、コンピュータ可読媒体。
【0224】
以下の態様の非包括的な列挙はまた、本開示の一部を形成する。
【0225】
態様１．外科処置を模擬するためのコンピューティングデバイスであって、コンピューティングデバイスは、
プロセッサを備え、プロセッサは、
第１の患者の第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含む、ことと、
第２の患者の第２のヒト器官の第２の２Ｄ画像データを受信することであって、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、
第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から、第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、
模擬ヒト器官の変形可能な３Ｄモデルの形状を、３Ｄ画像データの空間情報に対応するようにマッピングすることと、
模擬ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報に対応するようにマッピングすることと、
変形可能な３Ｄモデルを出力することと、を実行するように構成されている、コンピューティングデバイス。
プロセッサを備え、プロセッサは、
第１の患者の第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含む、ことと、
第２の患者の第２のヒト器官の第２の２Ｄ画像データを受信することであって、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、
第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から、第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、
模擬ヒト器官の変形可能な３Ｄモデルの形状を、３Ｄ画像データの空間情報に対応するようにマッピングすることと、
模擬ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報に対応するようにマッピングすることと、
変形可能な３Ｄモデルを出力することと、を実行するように構成されている、コンピューティングデバイス。
【0226】
態様２．第１の患者の第１のヒト器官及び第２の患者の第２のヒト器官は、同一種類のヒト器官である、態様１に記載の外科処置を模擬するためのコンピューティングデバイス。
【0227】
態様３．第１の患者の第１のヒト器官の第１の２Ｄ画像データは、構造化光撮像を使用してキャプチャされる、態様１に記載の外科処置を模擬するためのコンピューティングデバイス。
【0228】
態様４．プロセッサは、
１つ以上のヒト器官の組織特性データを受信することであって、組織特性データは、少なくとも、１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、
模擬力が変形可能な３Ｄモデルに加えられたと判定すること、及び組織特性データに基づいて変形可能な３Ｄモデルの形状を変形させることと、を実行するように更に構成されている、態様１に記載の外科処置を模擬するためのコンピューティングデバイス。
１つ以上のヒト器官の組織特性データを受信することであって、組織特性データは、少なくとも、１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、
模擬力が変形可能な３Ｄモデルに加えられたと判定すること、及び組織特性データに基づいて変形可能な３Ｄモデルの形状を変形させることと、を実行するように更に構成されている、態様１に記載の外科処置を模擬するためのコンピューティングデバイス。
【0229】
態様５．第１の２Ｄ画像データは、第１の患者の体内でキャプチャされる第１の不可視画像データを更に含み、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされる第２の不可視画像データを更に含み、プロセッサは、第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて、かつ第１の不可視画像データ及び第２の不可視画像データに基づいて、第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から３Ｄ画像データを生成するように更に構成されており、３Ｄ画像データは、非視覚情報を更に含み、プロセッサは、３Ｄ画像データの非視覚情報に基づいて、模擬ヒト器官の変形可能な３Ｄモデルの表面下データを生成するように更に構成されている、態様１に記載の外科処置を模擬するためのコンピューティングデバイス。
【0230】
態様６．プロセッサは、
患者固有データを受信し、
３Ｄ画像データの視覚情報及び患者固有データに対応するように、模擬ヒト器官の変形可能な３Ｄモデルの表面をマッピングする、ように更に構成されている、態様１に記載の外科処置を模擬するためのコンピューティングデバイス。
患者固有データを受信し、
３Ｄ画像データの視覚情報及び患者固有データに対応するように、模擬ヒト器官の変形可能な３Ｄモデルの表面をマッピングする、ように更に構成されている、態様１に記載の外科処置を模擬するためのコンピューティングデバイス。
【0231】
態様７．プロセッサは、
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、入力データが予期される態様に対応すると判定することと、関連する命令をユーザに提示することと、を実行するように更に構成されている、態様１に記載の外科処置を模擬するためのコンピューティングデバイス。
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、入力データが予期される態様に対応すると判定することと、関連する命令をユーザに提示することと、を実行するように更に構成されている、態様１に記載の外科処置を模擬するためのコンピューティングデバイス。
【0232】
態様８．プロセッサは、
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、入力データが予期される態様に対応すると判定することと、
ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を実行するように更に構成されている、態様１に記載の外科処置を模擬するためのコンピューティングデバイス。
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、入力データが予期される態様に対応すると判定することと、
ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を実行するように更に構成されている、態様１に記載の外科処置を模擬するためのコンピューティングデバイス。
【0233】
態様９．プロセッサは、
模擬外科処置の予期される手術ステップを定義することと、ユーザからの模擬外科処置に対する入力データを監視することと、
入力データが模擬外科処置の予期される手術ステップに対応すると判定することと、
１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢をユーザに提示することであって、１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、ことと、を実行するように更に構成されている、態様１に記載の外科処置を模擬するためのコンピューティングデバイス。
模擬外科処置の予期される手術ステップを定義することと、ユーザからの模擬外科処置に対する入力データを監視することと、
入力データが模擬外科処置の予期される手術ステップに対応すると判定することと、
１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢をユーザに提示することであって、１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、ことと、を実行するように更に構成されている、態様１に記載の外科処置を模擬するためのコンピューティングデバイス。
【0234】
態様１０．１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢は、手術合併症又は手術結果によって更にカスタマイズされる、態様９に記載の外科処置を模擬するためのコンピューティングデバイス。
【0235】
態様１１．外科処置を模擬するためのコンピュータ実施方法であって、方法は、
第１の患者の第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含む、ことと、
第２の患者の第２のヒト器官の第２の２Ｄ画像データを受信することであって、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、
第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から、第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、
模擬ヒト器官の変形可能な３Ｄモデルの形状を、３Ｄ画像データの空間情報に対応するようにマッピングすることと、
模擬ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報に対応するようにマッピングすることと、
変形可能な３Ｄモデルを出力することと、を含む、コンピュータ実施方法。
第１の患者の第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含む、ことと、
第２の患者の第２のヒト器官の第２の２Ｄ画像データを受信することであって、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、
第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から、第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、
模擬ヒト器官の変形可能な３Ｄモデルの形状を、３Ｄ画像データの空間情報に対応するようにマッピングすることと、
模擬ヒト器官の変形可能な３Ｄモデルの表面を、３Ｄ画像データの視覚情報に対応するようにマッピングすることと、
変形可能な３Ｄモデルを出力することと、を含む、コンピュータ実施方法。
【0236】
態様１２．第１の患者の第１のヒト器官及び第２の患者の第２のヒト器官は、同一種類のヒト器官である、態様１１に記載の外科処置を模擬するためのコンピュータ実施方法。
【0237】
態様１３．第１の患者の第１のヒト器官の第１の２Ｄ画像データは、構造化光撮像を使用してキャプチャされる、態様１１に記載の外科処置を模擬するためのコンピュータ実施方法。
【0238】
態様１４．
１つ以上のヒト器官の組織特性データを受信することであって、組織特性データは、少なくとも、１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、
模擬力が変形可能な３Ｄモデルに加えられたと判定することと、組織特性データに基づいて変形可能な３Ｄモデルの形状を変形させることと、を更に含む、態様１１に記載の外科処置を模擬するためのコンピュータ実施方法。
１つ以上のヒト器官の組織特性データを受信することであって、組織特性データは、少なくとも、１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、
模擬力が変形可能な３Ｄモデルに加えられたと判定することと、組織特性データに基づいて変形可能な３Ｄモデルの形状を変形させることと、を更に含む、態様１１に記載の外科処置を模擬するためのコンピュータ実施方法。
【0239】
態様１５．第１の２Ｄ画像データは、第１の患者の体内でキャプチャされる第１の不可視画像データを更に含み、第２の２Ｄ画像データは、第２の患者の体内でキャプチャされる第２の不可視画像データを更に含み、方法は、
第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて、かつ第１の不可視画像データ及び第２の不可視画像データに基づいて、第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から３Ｄ画像データを生成することであって、３Ｄ画像データは、非視覚情報を更に含む、ことと、
模擬ヒト器官の変形可能な３Ｄモデルの表面下データを、３Ｄ画像データの非視覚情報に基づいて生成することと、を更に含む、態様１１に記載の外科処置を模擬するためのコンピュータ実施方法。
第１の３Ｄ再構成基準データ及び第２の３Ｄ再構成基準データに基づいて、かつ第１の不可視画像データ及び第２の不可視画像データに基づいて、第１の２Ｄ可視画像データ及び第２の２Ｄ可視画像データの集約から３Ｄ画像データを生成することであって、３Ｄ画像データは、非視覚情報を更に含む、ことと、
模擬ヒト器官の変形可能な３Ｄモデルの表面下データを、３Ｄ画像データの非視覚情報に基づいて生成することと、を更に含む、態様１１に記載の外科処置を模擬するためのコンピュータ実施方法。
【0240】
態様１６．
患者固有データを受信することと、
３Ｄ画像データの視覚情報及び患者固有データに対応するように、模擬ヒト器官の変形可能な３Ｄモデルの表面をマッピングすることと、を更に含む、態様１１に記載の外科処置を模擬するためのコンピュータ実施方法。
患者固有データを受信することと、
３Ｄ画像データの視覚情報及び患者固有データに対応するように、模擬ヒト器官の変形可能な３Ｄモデルの表面をマッピングすることと、を更に含む、態様１１に記載の外科処置を模擬するためのコンピュータ実施方法。
【0241】
態様１７．
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、入力データが予期される態様に対応すると判定することと、関連する命令をユーザに提示することと、を更に含む、態様１１に記載の外科処置を模擬するためのコンピュータ実施方法。
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、入力データが予期される態様に対応すると判定することと、関連する命令をユーザに提示することと、を更に含む、態様１１に記載の外科処置を模擬するためのコンピュータ実施方法。
【0242】
態様１８．
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、入力データが予期される態様に対応すると判定することと、
ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を更に含む、態様１１に記載の外科処置を模擬するためのコンピュータ実施方法。
模擬外科処置の予期される態様を定義することであって、予期される態様は、手術ステップ、手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つである、ことと、
模擬外科処置に対するユーザからの入力データを監視することと、入力データが予期される態様に対応すると判定することと、
ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を更に含む、態様１１に記載の外科処置を模擬するためのコンピュータ実施方法。
【0243】
態様１９．
模擬外科処置の予期される手術ステップを定義することと、ユーザからの模擬外科処置に対する入力データを監視することと、
入力データが模擬外科処置の予期される手術ステップに対応すると判定することと、
１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢をユーザに提示することであって、１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、ことと、を更に含む、態様１１に記載の外科処置を模擬するためのコンピュータ実施方法。
模擬外科処置の予期される手術ステップを定義することと、ユーザからの模擬外科処置に対する入力データを監視することと、
入力データが模擬外科処置の予期される手術ステップに対応すると判定することと、
１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢をユーザに提示することであって、１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、ことと、を更に含む、態様１１に記載の外科処置を模擬するためのコンピュータ実施方法。
【0244】
態様２０．１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢は、手術合併症又は手術結果によって更にカスタマイズされる、態様１９に記載の外科処置を模擬するためのコンピュータ実施方法。
【0245】
〔実施の態様〕
（１） コンピューティングデバイスであって、前記コンピューティングデバイスは、
プロセッサを備え、前記プロセッサは、
第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、前記第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含む、ことと、
第２のヒト器官の第２の２Ｄ画像データを受信することであって、前記第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、
前記第１の２Ｄ可視画像データ及び前記第２の２Ｄ可視画像データの集約から、前記第１の３Ｄ再構成基準データ及び前記第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、前記３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、
ヒト器官の変形可能な３Ｄモデルの形状を、前記３Ｄ画像データの前記空間情報に対応するようにマッピングすることと、
前記ヒト器官の前記変形可能な３Ｄモデルの表面を、前記３Ｄ画像データの前記視覚情報に対応するようにマッピングすることと、
前記変形可能な３Ｄモデルを出力することと、を実行するように構成されている、コンピューティングデバイス。
（２） 前記プロセッサは、外科処置を模擬するように構成されている、実施態様１に記載のコンピューティングデバイス。
（３） ヒト器官の前記３Ｄモデルは、模擬ヒト器官の３Ｄモデルである、実施態様１に記載のコンピューティングデバイス。
（４） 前記第１のヒト器官及び前記第２のヒト器官は、同一種類のヒト器官である、実施態様１に記載のコンピューティングデバイス。
（５） 前記第１の患者は、前記第２の患者と同一である、実施態様１に記載のコンピューティングデバイス。
（１） コンピューティングデバイスであって、前記コンピューティングデバイスは、
プロセッサを備え、前記プロセッサは、
第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、前記第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含む、ことと、
第２のヒト器官の第２の２Ｄ画像データを受信することであって、前記第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、
前記第１の２Ｄ可視画像データ及び前記第２の２Ｄ可視画像データの集約から、前記第１の３Ｄ再構成基準データ及び前記第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、前記３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、
ヒト器官の変形可能な３Ｄモデルの形状を、前記３Ｄ画像データの前記空間情報に対応するようにマッピングすることと、
前記ヒト器官の前記変形可能な３Ｄモデルの表面を、前記３Ｄ画像データの前記視覚情報に対応するようにマッピングすることと、
前記変形可能な３Ｄモデルを出力することと、を実行するように構成されている、コンピューティングデバイス。
（２） 前記プロセッサは、外科処置を模擬するように構成されている、実施態様１に記載のコンピューティングデバイス。
（３） ヒト器官の前記３Ｄモデルは、模擬ヒト器官の３Ｄモデルである、実施態様１に記載のコンピューティングデバイス。
（４） 前記第１のヒト器官及び前記第２のヒト器官は、同一種類のヒト器官である、実施態様１に記載のコンピューティングデバイス。
（５） 前記第１の患者は、前記第２の患者と同一である、実施態様１に記載のコンピューティングデバイス。
【0246】
（６） 前記２Ｄ画像データは、構造化光撮像を使用してキャプチャされる、実施態様１に記載のコンピューティングデバイス。
（７） 前記プロセッサは、
前記１つ以上のヒト器官の組織特性データを受信することであって、前記組織特性データは、少なくとも、前記１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、
模擬力が前記変形可能な３Ｄモデルに加えられると、前記物理的特性データに基づいて前記変形可能な３Ｄモデルを変形させることと、を実行するように更に構成されている、実施態様１に記載のコンピューティングデバイス。
（８） 前記第１の２Ｄ画像データは、前記第１の患者の体内でキャプチャされる第１の不可視画像データを更に含み、前記第２の２Ｄ画像データは、前記第２の患者の体内でキャプチャされる第２の不可視画像データを更に含み、前記プロセッサは、前記第１の基準及び前記第２の基準に基づいて、かつ前記第１の不可視画像データ及び前記第２の不可視画像データに基づいて、前記第１の可視画像データ及び前記第２の可視画像データの前記集約から前記３Ｄ画像データを生成するように更に構成されており、前記３Ｄ画像データは、非視覚情報を更に含み、前記プロセッサは、前記３Ｄ画像データの前記非視覚情報に基づいて、前記ヒト器官の前記変形可能な３Ｄモデルの表面下データを生成するように更に構成されている、実施態様１に記載のコンピューティングデバイス。
（９） 前記プロセッサは、
患者固有データを受信し、
前記３Ｄ画像データの前記視覚情報及び前記患者固有データに対応するように、前記ヒト器官の前記変形可能な３Ｄモデルの前記表面をマッピングする、ように更に構成されている、実施態様１に記載のコンピューティングデバイス。
（１０） 前記プロセッサは、
前記模擬外科処置の予期される態様を定義することであって、前記予期される態様は、手術ステップ、前記手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、
前記模擬外科処置に対するユーザからの入力データを監視することと、
前記入力データが前記予期される態様に対応すると判定されると、関連する命令を前記ユーザに提示することと、を実行するように更に構成されている、実施態様２に記載のコンピューティングデバイス。
（７） 前記プロセッサは、
前記１つ以上のヒト器官の組織特性データを受信することであって、前記組織特性データは、少なくとも、前記１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、
模擬力が前記変形可能な３Ｄモデルに加えられると、前記物理的特性データに基づいて前記変形可能な３Ｄモデルを変形させることと、を実行するように更に構成されている、実施態様１に記載のコンピューティングデバイス。
（８） 前記第１の２Ｄ画像データは、前記第１の患者の体内でキャプチャされる第１の不可視画像データを更に含み、前記第２の２Ｄ画像データは、前記第２の患者の体内でキャプチャされる第２の不可視画像データを更に含み、前記プロセッサは、前記第１の基準及び前記第２の基準に基づいて、かつ前記第１の不可視画像データ及び前記第２の不可視画像データに基づいて、前記第１の可視画像データ及び前記第２の可視画像データの前記集約から前記３Ｄ画像データを生成するように更に構成されており、前記３Ｄ画像データは、非視覚情報を更に含み、前記プロセッサは、前記３Ｄ画像データの前記非視覚情報に基づいて、前記ヒト器官の前記変形可能な３Ｄモデルの表面下データを生成するように更に構成されている、実施態様１に記載のコンピューティングデバイス。
（９） 前記プロセッサは、
患者固有データを受信し、
前記３Ｄ画像データの前記視覚情報及び前記患者固有データに対応するように、前記ヒト器官の前記変形可能な３Ｄモデルの前記表面をマッピングする、ように更に構成されている、実施態様１に記載のコンピューティングデバイス。
（１０） 前記プロセッサは、
前記模擬外科処置の予期される態様を定義することであって、前記予期される態様は、手術ステップ、前記手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、
前記模擬外科処置に対するユーザからの入力データを監視することと、
前記入力データが前記予期される態様に対応すると判定されると、関連する命令を前記ユーザに提示することと、を実行するように更に構成されている、実施態様２に記載のコンピューティングデバイス。
【0247】
（１１） 前記プロセッサは、
前記模擬外科処置の予期される態様を定義することであって、前記予期される態様は、手術ステップ、前記手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つである、ことと、
前記模擬外科処置に対するユーザからの入力データを監視することと、
前記入力データが前記予期される態様に対応すると判定されると、前記ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を実行するように更に構成されている、実施態様２に記載のコンピューティングデバイス。
（１２） 前記プロセッサは、
前記模擬外科処置の予期される手術ステップを定義することと、
ユーザからの前記模擬外科処置に対する入力データを監視することと、
前記入力データが前記予期される手術ステップに対応すると判定されると、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢を前記ユーザに提示することであって、前記１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、ことと、を実行するように更に構成されている、実施態様２に記載のコンピューティングデバイス。
（１３） 前記１つ以上の実際の外科処置ビデオの前記対応するセグメントを視聴するという前記選択肢は、手術合併症又は手術結果によって更にカスタマイズされ得る、実施態様１２に記載のコンピューティングデバイス。
（１４） コンピュータ実施方法であって、前記コンピュータ実施方法は、
第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、前記第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含む、ことと、
第２のヒト器官の第２の２Ｄ画像データを受信することであって、前記第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、
前記第１の２Ｄ可視画像データ及び前記第２の２Ｄ可視画像データの集約から、前記第１の３Ｄ再構成基準データ及び前記第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、前記３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、
ヒト器官の変形可能な３Ｄモデルの形状を、前記３Ｄ画像データの前記空間情報に対応するようにマッピングすることと、
前記ヒト器官の前記変形可能な３Ｄモデルの表面を、前記３Ｄ画像データの前記視覚情報に対応するようにマッピングすることと、
前記変形可能な３Ｄモデルを出力することと、を含む、コンピュータ実施方法。
（１５） ヒト器官の前記３Ｄモデルは、模擬ヒト器官の３Ｄモデルである、実施態様１４に記載のコンピュータ実施方法。
前記模擬外科処置の予期される態様を定義することであって、前記予期される態様は、手術ステップ、前記手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つである、ことと、
前記模擬外科処置に対するユーザからの入力データを監視することと、
前記入力データが前記予期される態様に対応すると判定されると、前記ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を実行するように更に構成されている、実施態様２に記載のコンピューティングデバイス。
（１２） 前記プロセッサは、
前記模擬外科処置の予期される手術ステップを定義することと、
ユーザからの前記模擬外科処置に対する入力データを監視することと、
前記入力データが前記予期される手術ステップに対応すると判定されると、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢を前記ユーザに提示することであって、前記１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、ことと、を実行するように更に構成されている、実施態様２に記載のコンピューティングデバイス。
（１３） 前記１つ以上の実際の外科処置ビデオの前記対応するセグメントを視聴するという前記選択肢は、手術合併症又は手術結果によって更にカスタマイズされ得る、実施態様１２に記載のコンピューティングデバイス。
（１４） コンピュータ実施方法であって、前記コンピュータ実施方法は、
第１のヒト器官の第１の２次元（２Ｄ）画像データを受信することであって、前記第１の２Ｄ画像データは、第１の患者の体内でキャプチャされた、第１の２Ｄ可視画像データと、第１の３次元（３Ｄ）再構成基準データと、を含む、ことと、
第２のヒト器官の第２の２Ｄ画像データを受信することであって、前記第２の２Ｄ画像データは、第２の患者の体内でキャプチャされた第２の２Ｄ可視画像データと、第２の３Ｄ再構成基準データと、を含む、ことと、
前記第１の２Ｄ可視画像データ及び前記第２の２Ｄ可視画像データの集約から、前記第１の３Ｄ再構成基準データ及び前記第２の３Ｄ再構成基準データに基づいて３Ｄ画像データを生成することであって、前記３Ｄ画像データは、空間情報と、視覚情報と、を含む、ことと、
ヒト器官の変形可能な３Ｄモデルの形状を、前記３Ｄ画像データの前記空間情報に対応するようにマッピングすることと、
前記ヒト器官の前記変形可能な３Ｄモデルの表面を、前記３Ｄ画像データの前記視覚情報に対応するようにマッピングすることと、
前記変形可能な３Ｄモデルを出力することと、を含む、コンピュータ実施方法。
（１５） ヒト器官の前記３Ｄモデルは、模擬ヒト器官の３Ｄモデルである、実施態様１４に記載のコンピュータ実施方法。
【0248】
（１６） 前記第１のヒト器官及び前記第２のヒト器官は、同一種類のヒト器官である、実施態様１４に記載のコンピュータ実施方法。
（１７） 前記第１の患者は、前記第２の患者と同一である、実施態様１４に記載のコンピュータ実施方法。
（１８） 前記２Ｄ画像データは、構造化光撮像を使用してキャプチャされる、実施態様１４に記載のコンピュータ実施方法。
（１９） 前記１つ以上のヒト器官の組織特性データを受信することであって、前記組織特性データは、少なくとも、前記１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、
模擬力が前記変形可能な３Ｄモデルに加えられると、前記物理的特性データに基づいて前記変形可能な３Ｄモデルを変形させることと、を更に含む、実施態様１４に記載のコンピュータ実施方法。
（２０） 前記第１の２Ｄ画像データは、前記第１の患者の体内でキャプチャされる第１の不可視画像データを更に含み、前記第２の２Ｄ画像データは、前記第２の患者の体内でキャプチャされる第２の不可視画像データを更に含み、前記プロセッサは、前記第１の基準及び前記第２の基準に基づいて、かつ前記第１の不可視画像データ及び前記第２の不可視画像データに基づいて、前記第１の可視画像データ及び前記第２の可視画像データの前記集約から前記３Ｄ画像データを生成するように更に構成されており、前記３Ｄ画像データは、非視覚情報を更に含み、前記プロセッサは、前記３Ｄ画像データの前記非視覚情報に基づいて、前記ヒト器官の前記変形可能な３Ｄモデルの表面下データを生成するように更に構成されている、実施態様１４に記載のコンピュータ実施方法。
（１７） 前記第１の患者は、前記第２の患者と同一である、実施態様１４に記載のコンピュータ実施方法。
（１８） 前記２Ｄ画像データは、構造化光撮像を使用してキャプチャされる、実施態様１４に記載のコンピュータ実施方法。
（１９） 前記１つ以上のヒト器官の組織特性データを受信することであって、前記組織特性データは、少なくとも、前記１つ以上のヒト器官上に取り付けられた物理的基準マーカの変位を追跡することによって決定される、ことと、
模擬力が前記変形可能な３Ｄモデルに加えられると、前記物理的特性データに基づいて前記変形可能な３Ｄモデルを変形させることと、を更に含む、実施態様１４に記載のコンピュータ実施方法。
（２０） 前記第１の２Ｄ画像データは、前記第１の患者の体内でキャプチャされる第１の不可視画像データを更に含み、前記第２の２Ｄ画像データは、前記第２の患者の体内でキャプチャされる第２の不可視画像データを更に含み、前記プロセッサは、前記第１の基準及び前記第２の基準に基づいて、かつ前記第１の不可視画像データ及び前記第２の不可視画像データに基づいて、前記第１の可視画像データ及び前記第２の可視画像データの前記集約から前記３Ｄ画像データを生成するように更に構成されており、前記３Ｄ画像データは、非視覚情報を更に含み、前記プロセッサは、前記３Ｄ画像データの前記非視覚情報に基づいて、前記ヒト器官の前記変形可能な３Ｄモデルの表面下データを生成するように更に構成されている、実施態様１４に記載のコンピュータ実施方法。
【0249】
（２１） 前記プロセッサは、
患者固有データを受信すること、並びに
前記３Ｄ画像データの前記視覚情報及び前記患者固有データに対応するように、前記ヒト器官の前記変形可能な３Ｄモデルの前記表面をマッピングすること、を実行するように更に構成されている、実施態様１４に記載のコンピュータ実施方法。
（２２） 前記模擬外科処置の予期される態様を定義することであって、前記予期される態様は、手術ステップ、前記手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、
前記模擬外科処置に対するユーザからの入力データを監視することと、
前記入力データが前記予期される態様に対応すると判定されると、関連する命令を前記ユーザに提示することと、を更に含む、実施態様１４に記載のコンピュータ実施方法。
（２３） 前記模擬外科処置の予期される態様を定義することであって、前記予期される態様は、手術ステップ、前記手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つである、ことと、
前記模擬外科処置に対するユーザからの入力データを監視することと、
前記入力データが前記予期される態様に対応すると判定されると、前記ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を更に含む、実施態様１４に記載のコンピュータ実施方法。
（２４） 前記プロセッサは、
前記模擬外科処置の予期される手術ステップを定義すること、
ユーザからの前記模擬外科処置に対する入力データを監視すること、及び
前記入力データが前記予期される手術ステップに対応すると判定されると、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢を前記ユーザに提示することであって、前記１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、こと、を実行するように更に構成されている、実施態様１４に記載のコンピュータ実施方法。
（２５） 前記１つ以上の実際の外科処置ビデオの前記対応するセグメントを視聴するという前記選択肢は、手術合併症又は手術結果によって更にカスタマイズされ得る、実施態様２４に記載のコンピュータ実施方法。
患者固有データを受信すること、並びに
前記３Ｄ画像データの前記視覚情報及び前記患者固有データに対応するように、前記ヒト器官の前記変形可能な３Ｄモデルの前記表面をマッピングすること、を実行するように更に構成されている、実施態様１４に記載のコンピュータ実施方法。
（２２） 前記模擬外科処置の予期される態様を定義することであって、前記予期される態様は、手術ステップ、前記手術ステップの一部であるジョブ、手術シーン内の場所、又は外科用器具のうちの１つである、ことと、
前記模擬外科処置に対するユーザからの入力データを監視することと、
前記入力データが前記予期される態様に対応すると判定されると、関連する命令を前記ユーザに提示することと、を更に含む、実施態様１４に記載のコンピュータ実施方法。
（２３） 前記模擬外科処置の予期される態様を定義することであって、前記予期される態様は、手術ステップ、前記手術ステップの一部であるジョブ、手術部位内の場所、又は外科用器具のうちの１つである、ことと、
前記模擬外科処置に対するユーザからの入力データを監視することと、
前記入力データが前記予期される態様に対応すると判定されると、前記ユーザとの指示的対話を開始するという選択肢をインストラクタに提示することと、を更に含む、実施態様１４に記載のコンピュータ実施方法。
（２４） 前記プロセッサは、
前記模擬外科処置の予期される手術ステップを定義すること、
ユーザからの前記模擬外科処置に対する入力データを監視すること、及び
前記入力データが前記予期される手術ステップに対応すると判定されると、１つ以上の実際の外科処置ビデオの対応するセグメントを視聴するという選択肢を前記ユーザに提示することであって、前記１つ以上の実際の外科処置ビデオは、手術ステップにインデックス付けされているセグメントを含む、こと、を実行するように更に構成されている、実施態様１４に記載のコンピュータ実施方法。
（２５） 前記１つ以上の実際の外科処置ビデオの前記対応するセグメントを視聴するという前記選択肢は、手術合併症又は手術結果によって更にカスタマイズされ得る、実施態様２４に記載のコンピュータ実施方法。
【0250】
（２６） コンピュータによって実行されると、前記コンピュータに実施態様１４に記載の方法を実行させる命令を含む、コンピュータ可読媒体。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11A】
【図11B】
【図12】
【図13】
【図14】
【国際調査報告】