▶ インテュイティブ サージカル オペレーションズ， インコーポレイテッドの特許一覧
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-12-15
(45)【発行日】2022-12-23
(54)【発明の名称】医療処置トレーニングのためのシミュレータシステム
(51)【国際特許分類】
G09B 9/00 20060101AFI20221216BHJP
G09B 19/00 20060101ALI20221216BHJP
G09B 19/24 20060101ALI20221216BHJP
G09B 23/28 20060101ALI20221216BHJP
A61B 34/37 20160101ALI20221216BHJP
B25J 9/22 20060101ALI20221216BHJP
【ＦＩ】
G09B9/00 Z
G09B19/00 Z
G09B19/24 Z
G09B23/28
A61B34/37
B25J9/22 A
【請求項の数】
15
【外国語出願】
(21)【出願番号】P 2021117360
(22)【出願日】2021-07-15
(62)【分割の表示】P 2020018974の分割
【原出願日】2014-12-19
(65)【公開番号】P2021165860
(43)【公開日】2021-10-14
【審査請求日】2021-07-27
(31)【優先権主張番号】61/919,631
(32)【優先日】2013-12-20
(33)【優先権主張国・地域又は機関】US
(73)【特許権者】
【識別番号】510253996
【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジャーク，アンソニー，エム
(72)【発明者】
【氏名】チャウ，ジョーイ
(72)【発明者】
【氏名】ミラー，ブライアン，イー
【審査官】岸 智史
(56)【参考文献】
【文献】特表２０１７－５１０８２６（ＪＰ，Ａ）
【文献】特開２０１２－００５５５７（ＪＰ，Ａ）
【文献】特開２０１０－０８２１８９（ＪＰ，Ａ）
【文献】特表２０１２－５２１８５５（ＪＰ，Ａ）
【文献】特開２００１－１５０３６８（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１０／０１６７２４９（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｇ０９Ｂ １／００－９／５６、
１７／００－１９／２６
Ａ６１Ｂ ３４／００－３４／３７
Ｇ０９Ｂ ２３／２８
Ｂ２５Ｊ ９／２２
(57)【特許請求の範囲】
【請求項1】
システムであって、当該システムは、少なくとも１つのプロセッサを含むシミュレーション処理コンポーネントと、
手術用器具のためのマニピュレータアームを含む医療装置構造であって、シミュレーション領域において物理的手術部位に対して位置付けされる医療装置構造と、
前記物理的手術部位及び前記医療装置構造とは独立して前記シミュレーション領域内で移動可能なスタンドアロン型医療コンポーネントと、を含み、
前記シミュレーション処理コンポーネントは、シミュレートされたセットアップ手順の動作を実行するように構成され、前記シミュレートされたセットアップ手順の前記動作には、
前記物理的手術部位に対する前記スタンドアロン型医療コンポーネントの第１の位置を決定すること、及び
前記物理的手術部位に対する前記医療装置構造の第２の位置を決定すること、が含まれ、
前記シミュレーション処理コンポーネントは、前記シミュレートされたセットアップ手順から決定された前記第１の位置及び前記第２の位置に基づいて、シミュレートされた外科手術の動作を実行するように構成される、
システム。
【請求項2】
前記シミュレートされたセットアップ手順の前記動作には、前記マニピュレータアームの位置を示すアーム位置信号を受信することであって、前記マニピュレータアームは、前記シミュレートされたセットアップ手順中のセットアップタスクにおいて少なくとも１人のユーザによって空間内に位置付けされる、受信すること、
前記マニピュレータアームの前記位置を基準アーム位置と比較すること、及び
前記マニピュレータアームの前記位置を比較した結果に基づいて、出力装置によってセットアップフィードバック情報を出力すること、がさらに含まれる、請求項１に記載のシステム。
【請求項3】
前記シミュレートされた外科手術の前記動作には、前記物理的手術部位に対する前記マニピュレータアームの位置又は構成の少なくとも一方を記述する前記医療装置構造の位置信号を読み取ることが含まれ、前記位置又は構成の前記少なくとも一方は、当該システムのユーザによる入力に対応する制御信号に基づいている、請求項１に記載のシステム。
【請求項4】
前記シミュレートされた外科手術の前記動作には、前記シミュレートされた外科手術中に誤ったセットアップが行われたかどうかを判定することであって、前記誤ったセットアップは前記シミュレートされたセットアップ手順から生じる、判定すること、及び
前記誤ったセットアップが行われたと判定されたことに応答して、ビジョン側カートの表示装置によって前記誤ったセットアップを示す手術フィードバック情報を出力すること、がさらに含まれる、請求項１に記載のシステム。
【請求項5】
前記シミュレートされたセットアップ手順の前記動作には、医療シミュレーションコンポーネントの前記第１の位置を、前記物理的手術部位及び前記医療装置構造に対する前記医療シミュレーションコンポーネントの基準位置と比較すること、及び
前記医療シミュレーションコンポーネントの前記第１の位置を比較した結果に基づいて、出力装置によってセットアップフィードバック情報を出力すること、がさらに含まれる、請求項１に記載のシステム。
【請求項6】
方法であって、当該方法は、シミュレーション処理コンポーネントの少なくとも１つのプロセッサが、物理的手術部位における遠隔操作医療装置のシミュレートされた医療処置を調整するステップであって、該シミュレートされた医療処置のシミュレートされたセットアップ手順において、
前記少なくとも１つのプロセッサが、前記物理的手術部位に対するスタンドアロン型医療コンポーネントの第１の位置を決定するステップであって、前記スタンドアロン型医療コンポーネントは、前記シミュレートされたセットアップ手順中のセットアップタスクにおいて少なくとも１人のユーザによって前記物理的手術部位に対して位置付けされ、前記スタンドアロン型医療コンポーネントは表示装置を含み、前記スタンドアロン型医療コンポーネントは、前記物理的手術部位及び前記遠隔操作医療装置とは独立して移動可能である、決定するステップと、
前記少なくとも１つのプロセッサが、前記物理的手術部位に対する前記遠隔操作医療装置の第２の位置を決定するステップであって、前記遠隔操作医療装置は、前記シミュレートされたセットアップ手順中の前記セットアップタスクの間に少なくとも１人の研修生によって位置付けされる、決定するステップが含まれる、調整するステップと、
前記少なくとも１つのプロセッサが、前記スタンドアロン型医療コンポーネントの前記第１の位置を記憶装置に格納するステップと、
前記少なくとも１つのプロセッサが、前記遠隔操作医療装置の前記第２の位置を前記記憶装置に格納するステップと、
前記スタンドアロン型医療コンポーネントの前記第１の位置、及び前記シミュレートされたセットアップ手順から決定された前記遠隔操作医療装置の前記第２の位置に基づいて、シミュレートされた外科手術の動作を実行するステップと、を含む、
方法。
【請求項7】
システムであって、当該システムは、少なくとも１人のユーザによって、物理的手術部位に対して位置付け可能であるスタンドアロン型医療コンポーネントと、
手術用器具を操作するためのマニピュレータアームであって、前記少なくとも１人のユーザによって、前記物理的手術部位に対して位置付け可能であるマニピュレータアームと、
少なくとも１つのプロセッサを含むシミュレーション処理コンポーネントと、を含み、
該シミュレーション処理コンポーネントは、シミュレートされるセットアップ手順において、
前記物理的手術部位に対する前記スタンドアロン型医療コンポーネントの第１の位置を受信し、
前記物理的手術部位に対する前記マニピュレータアームの第２の位置を受信し、
前記第１の位置及び前記第２の位置に基づく前記スタンドアロン型医療コンポーネント及び前記マニピュレータアームのシミュレートされたセットアップの評価を基準セットアップに基づいて行い、及び
前記シミュレートされたセットアップに基づいて、シミュレートされた手術環境での動作を実行する、ように構成される、
システム。
【請求項8】
前記シミュレートされたセットアップの前記評価には、前記第１の位置及び前記第２の位置を前記基準セットアップの基準位置と比較することが含まれる、請求項７に記載のシステム。
【請求項9】
前記シミュレーション処理コンポーネントは、前記シミュレートされたセットアップの前記評価に基づいて、出力装置によってセットアップフィードバック情報を出力するようにさらに構成される、請求項７に記載のシステム。
【請求項10】
前記シミュレートされた手術環境における前記動作には、前記物理的手術部位に対する前記手術用器具の位置又は構成の少なくとも一方を記述する前記マニピュレータアームの位置信号を読み取ることが含まれ、前記位置又は前記構成の前記少なくとも一方は、手術環境のユーザによる入力に対応する制御信号に基づく、請求項７に記載のシステム。
【請求項11】
前記マニピュレータアームは、医療装置構造に含まれる、請求項７に記載のシステム。
【請求項12】
前記医療装置構造は、シミュレーション領域において前記物理的手術部位に対して位置付けされ、前記医療装置構造は、前記物理的手術部位とは独立して前記シミュレーション領域内で移動可能なスタンドアロン型コンポーネントである医療装置カートを含む、請求項１１に記載のシステム。
【請求項13】
前記マニピュレータアームの前記第２の位置は、前記シミュレーション領域内の前記医療装置カートの位置である、請求項１２に記載のシステム。
【請求項14】
前記医療装置構造は、シミュレーション領域において前記物理的手術部位に対して位置付けされ、前記スタンドアロン型医療コンポーネントは、表示装置を含むビジョン側カートを含み、該ビジョン側カートは、前記物理的手術部位及び前記医療装置構造とは独立して前記シミュレーション領域内で移動可能である、請求項１１に記載のシステム。
【請求項15】
前記医療装置構造は、シミュレーション領域において前記物理的手術部位に対して位置付けされ、前記スタンドアロン型医療コンポーネントは、前記シミュレートされた手術環境での前記動作のために前記シミュレーション処理コンポーネントに入力される制御信号を生成するべくコンソールユーザによって操作可能な少なくとも１つの入力制御装置を含む制御コンソールを含み、該制御コンソールは表示装置を含み、前記制御コンソールは、前記物理的手術部位及び前記医療装置構造とは独立して前記シミュレーション領域内で移動可能である、請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
開示される特徴は、医療用トレーニング設備及びその方法に関し、より具体的には、低侵襲性外科処置及び技術のトレーニングに使用される医療トレーニング設備及びその方法に関する。
【背景技術】
【0002】
患者への医療処置は、１人又は複数の医療関係者による様々な異なるタスクを含むことができる。いくつかの医療処置は、遠隔操作医療装置を含む１つ又は複数の装置を使用して行われる最小侵襲性外科処置である。いくつかのこのようなシステムでは、外科医は、コンソールを介して制御装置を操作し、手術や他の処置を行うために患者と相互作用する手術用器具を遠隔で且つ正確に制御する。いくつかのシステムでは、様々な他の構成要素をシステムに使用して、処置を行うこともできる。例えば、手術用器具を、患者の近く又はこの上に位置付けされる別個の器具装置又はカート上に設けることができ、映像出力装置及び他の設備及び装置を、１つ又は複数の追加のユニットに設けることができる。
【0003】
システムは、特定のタイプのトレーニングを遠隔操作医療システムの使用に提供するように開発されてきた。例えば、実際の他のシステムコンポーネントの代わりに、シミュレータユニットを外科医コンソールに結合して、処置を行うシミュレーションを外科医に提供することができる。このようなシステムでは、外科医は、シミュレートされた器具がコンソール制御の操作にどの様に応答するかを学ぶことができる。
【0004】
しかしながら、外科医や他の様々な人員は、医療処置中に遠隔操作医療システムの他の構成要素でタスクを実行することができる。例えば、助手が、遠隔操作アーム及び器具ユニットの器具を正しい位置に移動及び位置付けすることができ、この移動及び位置付けは、処置に重大な影響を与えることがある。処置中に必要とされる情報を迅速に見つけることができるのは、助手にとって有益となり得る。
また、外科医及び助手によるそのようなタスクのトレーニング及び能力を定量化することは有益となり得、それによってそのような人員が進捗状況を追跡し、能力を向上させることが可能になる。
また、外科医及び助手によるそのようなタスクのトレーニング及び能力を定量化することは有益となり得、それによってそのような人員が進捗状況を追跡し、能力を向上させることが可能になる。
【発明の概要】
【課題を解決するための手段】
【0005】
本出願の実施態様は、医療処置トレーニングのための医療シミュレーションに関する。いくつかの例では、システムは、少なくとも１つのプロセッサを含み、物理的手術部位に対する物理的手術用器具の位置及び構成の少なくとも一方を表す位置信号を使用して仮想環境を生成するシミュレーション処理コンポーネントを含む。シミュレーション処理コンポーネントは、位置信号の変化に応じて及びシステムのユーザによる入力に対応する制御信号に応じて、仮想環境を更新する。仮想環境の更新は、仮想手術用器具を仮想環境内で移動させることを含み、仮想環境での仮想手術用器具と仮想手術部位との相互作用は、物理的手術用器具と物理的手術部位との間の物理的な関係によって少なくとも部分的に規定される。シミュレーション処理コンポーネントは、仮想環境の現在の状態を示すシミュレーション状態信号の表現を出力する。様々な実施態様は、ダミー器具、解剖学的モデル、制御コンソール、表示装置、遠隔操作医療装置、及び／又は他の変形形態を含むことができる。
【0006】
いくつかの実装例では、本方法は、シミュレーション処理コンポーネントを使用してシミュレートされた医療処置を調整するステップと、シミュレートされた医療処置中に、少なくとも１人の研修生によって移動された遠隔操作医療装置の要素の１つ又は複数の位置に基づいた位置信号を受信するステップとを含む。要素は、シミュレートされた医療処置を行うために、物理的手術部位に対して物理的に位置付け可能である。シミュレーション状態信号は、位置信号に基づいて決定され、シミュレーション状態信号は、遠隔操作医療装置からの位置信号の統合を含むシミュレートされた医療処置の現在の状態を示す。シミュレーション状態信号は、シミュレーション状態信号の表現を出力するように動作する少なくとも１つの出力装置に送られる。本方法の様々な実施態様は、研修生によって実行されるセットアップタスクについてのシミュレートされたセットアップタスクの位置信号及び／又はこのシミュレートされたセットアップ手順に従ったシミュレートされた外科手術の位置信号を受信するステップと、タスクを実行する少なくとも１つの研修生にリアルタイムフィードバック情報を出力するステップと、及び他の変形形態を含む。
【0007】
いくつかの例示的な実施態様では、本方法は、シミュレートされた医療処置においてシミュレートされた物理的手術部位に対する１つ又は複数の物理的手術用器具の位置を示す位置信号を受信するステップを含む。仮想環境は、位置信号に基づいて更新され、仮想環境は、物理的手術部位に対応する仮想手術部位を実現する。制御信号は、制御コンソールから受信され、ユーザによる制御コンソールの１つ又は複数の入力制御の操作を示す。本方法は、１つ又は複数の仮想手術用器具を仮想環境内で移動させることを含む制御信号に基づいて、仮想環境を更新する。仮想器具と仮想手術部位との相互作用は、物理的手術部位に対する１つ又は複数の物理的手術用器具の位置に基づいている。シミュレーション状態信号が、シミュレーション状態信号の表現の出力を発生させる少なくとも１つの出力装置に出力され、シミュレーション状態信号は、仮想環境の現在の状態を示す。本方法の様々な実施態様は、遠隔操作医療装置の関連するマニピュレータアームに結合される物理的手術用器具、又は１人以上のユーザによって物理的解剖学的モデルに対して手動で操作される物理的手術用器具、及び他の変形形態を含むことができる。
【図面の簡単な説明】
【0008】
【図1】いくつかの実施態様に係る遠隔操作医療システムを含む例示的なシミュレーションシステムの概略図である。
【図2】シミュレーション処理コンポーネントの一例及びシミュレーションシステムの他の構成要素との通信を示すブロック図である。
【図3】本明細書に記載される１つ又は複数の実施態様に係るシミュレートされたセットアップ手順を提供する例示的な方法を示すフロー図である。
【図4】本明細書に記載される１つ又は複数の実施態様に係るシミュレートされた外科手術を提供する例示的な方法を示すフロー図である。
【図5】シミュレートされた医療処置の自動評価に使用することができる例示的なシステムの態様の概略図である。
【図6A】シミュレーションシステムの１つ又は複数の表示画面に表示させることができるトレーニング画像スクリーンの一例である。
【図6B】シミュレーションシステムの１つ又は複数の表示画面に表示させることができるトレーニング画像画面の一例である。
【図7A】本明細書に記載されるいくつかの構成要素の例を含むシミュレーションシステムの一例を示す図である。
【図8】例示的な遠隔操作医療装置及び解剖学的モデルの斜視図である。
【図9A】本明細書に記載されるいくつかの構成要素の例を含むシミュレーションシステムの別例を示す図である。
【図10A】解剖学的モデル内で器具を追跡することに関連する例を示す図である。
【図10B】解剖学的モデル内で器具を追跡することに関連する例を示す図である。
【図10C】解剖学的モデル内で器具を追跡することに関連する例を示す図である。
【図11A】遠隔操作手術用器具と手動手術用器具との両方の使用を含むシミュレートされた医療処置における解剖学的モデルの使用の一例の概略図である。
【図11B】遠隔操作手術用器具と手動手術用器具との両方の使用を含むシミュレートされた医療処置における解剖学的モデルの使用の一例の概略図である。
【図13A】手動手術用器具の使用を含むシミュレートされた医療処置における解剖学的モデルの使用の第２の例の概略図である。
【図13B】手動手術用器具の使用を含むシミュレートされた医療処置における解剖学的モデルの使用の第２の例の概略図である。
【発明を実施するための形態】
【0009】
本願は、シミュレートされた外科処置及びトレーニング演習に関する特徴を開示する。シミュレーションシステム及び方法の様々な開示された実施態様は、特定の外科処置についてのシミュレーション設備の位置付け、配置のための現実的なセットアップ手順だけでなく、実際の外科手術のためにこのような設備の現実的な使用を提供及び教示する。シミュレーションは、実際の医療処置の全ての段階に関与する構成要素の一部又は全てを含むことができ、このような処置に何人かの人員を含み、この人員に非常に現実的なトレーニングを提供することができる。これらのシミュレートされた全ての医療処置の間に実行される様々なタスクは、記録及び評価することができ、能力についての適切なフィードバックが提供され、処置の詳細について高度な解析を可能にし、医療処置の全ての機能について研修生が自分のスキルをより効率的に向上させるのを可能にする。本明細書に記載される様々なシミュレーションの特徴によって、ユーザが学び、実践することを可能にし、及びユーザの能力の定量化及びユーザの進捗状況の追跡を可能にする。
【0010】
いくつかの実施態様について、カリフォルニア州のサニーベールの、Intuitive Surgical社により市販されているda Vinci（登録商標）手術システム（例えば、da Vinci（登録商標）のＳｉＴＭＨＤＴＭ手術システムとして販売されているモデルＩＳ３０００）等の遠隔操作医療システムを使用して説明する。しかしながら、知識のある者は、本明細書に開示された特徴は、遠隔操作、及び該当する場合に非遠隔操作（例えば、手動の）実施形態及び実装態様を含む様々な方法で具現化し且つ実施できることは理解されよう。da Vinci（登録商標）手術システム（例えば、da Vinci（登録商標）ＳＴＭＨＤＴＭ手術システムとして市販されているモデルＩＳ３０００；モデルＩＳ２０００）での実施態様は、単なる例示であり、本明細書に開示される本発明の態様の範囲を限定するものとみなすべきではない。
【0011】
本明細書では、「セットアップ手順」又は「手術セットアップ手順」は、１つ又は複数の後の外科手術を行うためにシステムコンポーネントを構成するセットアップタスクを指す。「外科手術」又は「手術部位処置」は、手術部位での外科タスクを含む実際の外科手術を指す。「シミュレートされた医療処置」又は「シミュレートされた外科処置」は、セットアップ手順及び外科手術を含むシミュレートされた手順全体を指すことができ、又は単にセットアップ手順又は外科手術を含むことができる。用語「遠隔操作医療システム」は、１つ又は複数のマスター制御装置及び１つ又は複数のスレーブ遠隔操作医療装置を使用して外科手術を行うために使用される１つ又は複数の構成要素から構成されるシステムを指す。「遠隔操作医療装置」は、マスター遠隔装置によって制御されるスレーブ装置とすることができ、ユーザにより遠隔操作医療装置から遠隔で操作される制御コンソール又は外科医コンソール等の１つ又は複数のマスター制御装置によって提供される信号に応答して、移動又は操作することができるような、マニピュレータアーム及び／又は手術用器具等の１つ又は複数の要素を含むことができる。「ウェットラボ(wet-lab)」演習は、組織サンプル、ブタモデル、又は解剖用の死体等の実際の（本当の）組織でのあらゆる演習を指す。「ドライラボ(dry-lab)」演習は、（縫合用）フォーム、ワイヤ上のリング等のオブジェクトを使用する「無生物」演習を含む、非組織モデル又はオブジェクトを使用する演習を指す。
【0012】
図１は、いくつかの実施態様に係る遠隔操作医療システムを含む例示的なシミュレーションシステム１００の概略図である。
シミュレーションシステム１００を使用することによって、実際の患者を使用せずに、実際の医療処置をシミュレートすることができる。実際のヒト患者に行うことができないあらゆるシミュレートされた医療処置又はトレーニング活動を、シミュレーションシステム１００又はその変形形態を使用して行うことができる。例えば、ドライラボ・トレーニングタスク（例えば、無生物演習）及び／又はウェットラボ・トレーニングタスク（例えば、実際の組織、ブタモデル、又は解剖用の死体での演習）のシミュレーションを行うことができる。
シミュレーションシステム１００を使用することによって、実際の患者を使用せずに、実際の医療処置をシミュレートすることができる。実際のヒト患者に行うことができないあらゆるシミュレートされた医療処置又はトレーニング活動を、シミュレーションシステム１００又はその変形形態を使用して行うことができる。例えば、ドライラボ・トレーニングタスク（例えば、無生物演習）及び／又はウェットラボ・トレーニングタスク（例えば、実際の組織、ブタモデル、又は解剖用の死体での演習）のシミュレーションを行うことができる。
【0013】
図示される例では、シミュレーションシステム１００は、シミュレーション処理コンポーネント（又は「処理コンポーネント」）１０２、外科医コンソール１０４、患者側カート１０６、及びビジョン側カート１０８を含むことができる。本明細書の種々の実施態様で記載されるように、追加的に又は代替的に、他の構成要素をシミュレーションシステム１００に含めることができる。
シミュレーション処理コンポーネント１０２は、シミュレーションシステム１００の様々な他の構成要素を含むシミュレーションを統合、制御、及び／又は実施することができる。シミュレーションは、実際の患者が存在している又は実際の患者を手術しているかのようにシステムコンポーネントを含む医療処置環境をシミュレートする。いくつかの実施態様では、シミュレーション処理コンポーネントは、実際の物理的手術部位の１つ又は複数の要素を表す仮想手術部位を含む仮想環境の表示を実現し及び制御する。いくつかの実施形態は、物理的モデル及び／又はオブジェクトを含む物理的手術部位を含むことができる。
シミュレーション処理コンポーネント１０２は、シミュレーションシステム１００の様々な他の構成要素を含むシミュレーションを統合、制御、及び／又は実施することができる。シミュレーションは、実際の患者が存在している又は実際の患者を手術しているかのようにシステムコンポーネントを含む医療処置環境をシミュレートする。いくつかの実施態様では、シミュレーション処理コンポーネントは、実際の物理的手術部位の１つ又は複数の要素を表す仮想手術部位を含む仮想環境の表示を実現し及び制御する。いくつかの実施形態は、物理的モデル及び／又はオブジェクトを含む物理的手術部位を含むことができる。
【0014】
いくつかの実施態様では、処理コンポーネント１０２は、シミュレーションシステムのシミュレーション構成要素を統合し、及び／又はシミュレートされた医療処置中に得られたパラメータを監視及び記録することができる。
シミュレーションは、インタラクティブなものであり、シミュレーション内のこれらの構成要素のユーザ操作に基づいて、システムの他の構成要素から多数の入力を受信するシミュレーション処理コンポーネント１０２が含まれる。シミュレーション処理コンポーネントは、それらの入力に基づいて多数の出力も提供し、ここで、この出力によって、シミュレーションシステムの構成要素を統合することができ、且つシステム１００の１つ又は複数の構成要素に設けられた異なるタイプの出力装置（表示画面、音声スピーカ、モータ等）のいずれかを介してシステムのユーザにその出力を提供することができる。例えば、シミュレーション処理コンポーネントは、１つ又は複数の出力装置に提供されるシミュレーション状態信号を介してユーザに出力を提供することができる。シミュレーション処理コンポーネントは、このコンポーネントが出力する信号によってユーザにフィードバック情報を提供することもできる。
シミュレーションは、インタラクティブなものであり、シミュレーション内のこれらの構成要素のユーザ操作に基づいて、システムの他の構成要素から多数の入力を受信するシミュレーション処理コンポーネント１０２が含まれる。シミュレーション処理コンポーネントは、それらの入力に基づいて多数の出力も提供し、ここで、この出力によって、シミュレーションシステムの構成要素を統合することができ、且つシステム１００の１つ又は複数の構成要素に設けられた異なるタイプの出力装置（表示画面、音声スピーカ、モータ等）のいずれかを介してシステムのユーザにその出力を提供することができる。例えば、シミュレーション処理コンポーネントは、１つ又は複数の出力装置に提供されるシミュレーション状態信号を介してユーザに出力を提供することができる。シミュレーション処理コンポーネントは、このコンポーネントが出力する信号によってユーザにフィードバック情報を提供することもできる。
【0015】
シミュレーション状態信号は、１つ又は複数のシステムコンポーネントからの入力（例えば、影響）の統合を含むシミュレートされた医療処置の現在の状態を示すことができる。シミュレートされた医療処置の現在の「状態」は、シミュレーションシステムの構成要素の入力によって影響を受けるような、医療処置のパフォーマンスにおける進捗状況やステータスの現在位置である。例えば、いくつかの実施態様では、シミュレーション状態信号は、物理的手術部位に対する患者側カート１０６の遠隔操作医療装置の遠隔操作される物理的手術用器具の現在位置を示すことができ、ここで、これらの現在の器具位置は、例えばセットアップ手順において、シミュレートされた医療処置の部位に対して手術用器具を位置付けする際の現在の進捗状況を示す。例えば、シミュレーション状態信号は、ある器具と他の器具や表面との衝突、又は構成要素の誤配置等の医療処置のイベントも示すことができる。いくつかの実施態様では、シミュレートされた医療処置の現在の状態は、シミュレーション処理コンポーネントによって実現される仮想手術部位等の仮想環境の現在の状態を含むことができる。例えば、シミュレーション状態信号は、手術用器具の仮想表現及び現在位置を含む仮想環境を表すデータを含むことができる。シミュレーション状態信号は、外科医コンソール１０２からの制御入力に基づいて、仮想環境内の仮想手術用器具の現在位置を示すことができ、仮想手術用器具のその位置は、シミュレートされた医療処置の外科タスクの現在の状態を示す。
【0016】
出力装置（複数可）は、シミュレーション状態信号の表現を出力することができる。この表現は、グラフィカル（例えば、完全な視覚画像／合成画像、完全なカメラ画像、又はカメラ画像／仮想画像の組合せ）、触覚(tactile)、触知(haptic)、聴覚等の様々なタイプの出力を使用して出力することができる。例えば、シミュレートされたセットアップ手順では、出力表現は、物理的器具のグラフィック表現、表示された視覚的な状態、通知、視覚テキストマーカー、音声キュー及び他の出力、触覚応答、及び／又は他の出力を含むことができる。シミュレートされた外科手術中に、出力表現は、物理的部位の仮想環境又は画像等の手術部位における表示環境を含むことができる。いくつかの例では、仮想環境の初期状態は、シミュレーション処理コンポーネントによって、様々な制御出力信号を他の構成要素に提供することにより選択することができ、ユーザは、外科医コンソール１０４及び／又は患者側カート１０６等の構成要素を介したユーザ入力に基づいた状態シミュレーション信号によって、仮想環境への最新の更新を体験することができる。出力装置（複数可）は、フィードバック情報を提供する信号の表現も出力することができる。
【0017】
以下に説明するように、シミュレーション処理コンポーネント１０２は、１つ又は複数のプロセッサ（例えば、マイクロプロセッサ、集積回路、ロジック、及び／又は他の処理回路）だけでなく、メモリ、入力／出力インターフェイス、及び他の構成要素を使用して実現することができる。いくつかの実施態様では、シミュレーション処理コンポーネント１０２は、シミュレーションシステム内の他の構成要素から分離している特定の外部ユニット又はスタンドアロン型ユニットとして実現することができる。他の実施態様では、処理コンポーネント１０２は、シミュレーションシステム１００の他の構成要素内に又はこの一部として提供されるか、及び／又はシステム１００の多数の他の構成要素内に分散される。
【0018】
外科医コンソール又は制御コンソール等の１つ又は複数のマスターコンソール１０４をシステム１００に含めて、外科医の研修生等のユーザに手術用器具を遠隔操作することができる入力制御だけでなく、様々な他の制御も提供することができる。外科医コンソール１０４は、視覚、音声、及び／又は触覚出力装置等の出力装置も含むことができる。ユーザは、コントロールを操作して、制御入力信号をシミュレーション処理コンポーネントに供給する。制御入力信号は、外科医コンソール１０４から、患者側カート１０６及び／又はビジョン側カート１０８等のシミュレーションシステムの１つ又は複数の他の構成要素に提供することもできる。例えば、患者側カート１０６の遠隔操作されるスレーブ器具アームを制御することができ、例えば各手術用器具は、外科医コンソールの１つ又は複数の対応するマスター制御によって作動される。このような遠隔操作医療装置及び手術用器具のいくつかの例について、以下で説明する。
【0019】
外科医コンソール１０４は、接続１０５によって示されるように、シミュレーション処理コンポーネント１０２と通信する。接続１０５は、１つ又は複数のワイヤ又はケーブル、無線接続等の任意のタイプの通信チャネルとすることができる。外科医コンソール１０４は、コンソール１０４のコントロールの操作を示す信号を出力する。例えば、ユーザが、レバー、ジョイスティック、又はダイヤルを動かし、特定のボタン又はタッチスクリーンを選択し、又は他のコントロールを選択した場合に、対応する信号がシミュレーション処理コンポーネント１０２に提供される。いくつかの実施態様では、これらの信号は、実際の医療処置中に遠隔操作医療システムの患者側カート１０６及び／又はビジョン側カート１０８等の他の構成要素に提供される標準信号とすることができ、ここでシミュレーション処理コンポーネント１０２は、これらの同じ標準信号を処理することができる。他の実施態様では、シミュレーションに特有のシミュレーション信号は、外科医コンソール１０４によって出力することができる。シミュレーション処理コンポーネント１０２は、例えば、この入力を使用してシミュレーションの仮想環境を更新することができる。
【0020】
いくつかの実施態様では、外科医コンソール１０４は、シミュレーションシステム１００の患者側カート１０６及び／又はビジョン側カート１０８等の１つ又は複数の構成要素に信号を出力することもできる。例えば、シミュレーション処理コンポーネント１００によって受信された信号は、シミュレーション処理コンポーネントによって、これらの他の構成要素に中継することができる。あるいはまた、外科医コンソール１０４は、接続１０５と同様のシミュレーションシステムの１つ又は複数の他の構成要素との別個の直接的な接続を有することができる。出力信号によって、シミュレーション処理コンポーネント１０２を使用しない遠隔操作医療システムにこれらの他の構成要素の動作を同様に駆動させることができる。
【0021】
また、外科医コンソール１０４は、シミュレーション処理コンポーネント１０２から接続１０５で信号を受信する。これらの受信信号は、実際の医療処置において外科医コンソール１０４により通常受信される信号を含み、その信号は、ビデオ、音声、及び触覚出力によってシミュレーション状態信号の表現をそのユーザに提供する外科医コンソールの視覚、音声、及び／又は触覚出力装置を更新するために使用されるシミュレーション状態信号を含む。いくつかの実施態様では、これらの信号は、シミュレーション処理コンポーネント１０２によって生成され、シミュレーション処理コンポーネント１０２によって提供され且つ外科医コンソールに表示されるシミュレートされた仮想環境の現在の状態を表すことができる。いくつかの実施態様では、受信した信号は、シミュレーション処理コンポーネント１０２において患者側カート１０６及び／又はビジョン側カート１０８から受信した信号等の、シミュレーションシステムの１つ又は複数の他の構成要素によって提供される信号を含み、次にシミュレーション処理コンポーネント１０２から外科医コンソール１０４に中継することができる。さらに他の実施態様では、シミュレーション処理コンポーネント１０２は、１つ又は複数の他の構成要素から信号を受信することができ、シミュレーション処理コンポーネントによって実行されたシミュレーションに基づいて、これらの信号を処理又は変更することができる。処理された信号は、次にその使用のために外科医コンソール１０４に送ることができる。いくつかの例では、シミュレーション処理コンポーネント１０２は、手術部位における内視鏡又は他の撮像装置から供給される画像又はビデオ等の、シミュレーションシステムの他の構成要素から受信されたデータと組み合わされる又はこのデータに統合される拡張現実データを作成することができ、組み合わされたデータは、シミュレーション状態信号として外科医コンソール１０４に送ることができる。いくつかの実施態様では、外科医コンソール１０４は、接続１０５と同様のシミュレーションシステムの１つ又は複数の他の構成要素との別個の追加の直接的な接続を有することができ、それらの他の構成要素からシミュレーション処理コンポーネント１０２を使用しない遠隔操作医療システムに同様に信号を受信する。
【0022】
いくつかの実施態様では、複数のマスターコンソール１０４は、シミュレーション処理コンポーネント１０２と通信することができる。例えば、複数のコンソールは、医療処置中に、専任のユーザによってそれぞれ同時に操作することができ、例えば各ユーザが特定の装置器具を制御し、一人のユーザが手術演習で他のユーザを補助することができる。各外科医コンソール１０４は、シミュレーション処理コンポーネント１０２に信号を送ることができ、シミュレーション処理コンポーネントから、例えば仮想環境を表す信号を受信することができる。いくつかのシミュレーションの実施態様は、例えばコンソール１０４又は他の装置（例えば、システム１００の他の制御パネル）の入力制御を介してコントロールを渡すようなコマンドを送ることによって、コンソール１０４におけるユーザが、１つ又は複数の（仮想及び／又は物理的）手術用器具のコントロールを、又は他の構成要素のコントロール又は入力を別のコンソール１０４の別のユーザに渡すことが可能になる。いくつかの場合には、各外科医コンソールに適切な信号を、そのコンソールで受信することができ、例えば、特定のコンソールがどの器具を制御するかに基づいて、異なる視覚的視点を各コンソール１０４におけるシミュレートされた手術部位に出力する。いくつかの実施態様は、複数のコンソール１０４を有するシミュレーションに特有の機能を含むことができる。例えば、仮想ポインタをコンソール１０４の表示画面上に生成及び表示することができ、ここで、１つのコンソール１０４における一人のオペレータ（例えば専門家）が、他のコンソール１０４における他のオペレータ（例えば、新しい研修生）によって視認されるように表示されるオブジェクトにポインタ及びポイントを制御することができる。
【0023】
１つ又は複数の患者側カート１０６は、実際の遠隔操作医療処置中に行われる、被制御装置の現実的な物理的相互作用を提供するために、シミュレーションシステム１００に含めることができる。例えば、患者側カート１０６を操作する研修助手等の１人又は複数のユーザが、遠隔操作医療処置に使用される実際の患者側の装置を使用してシミュレートされた医療処置中にトレーニングを受けることができる。いくつかの研修生（例えば、他の外科医の研修生）は、外科医コンソール１０４を操作して、遠隔操作物理的アーム又は他の要素及び／又は他の機能を移動させるように患者側カート１０６を制御するようにトレーニングすることができる。このような機構によって、ユーザがシミュレートされた医療処置中に、現実的に、正確に、且つ効果的にトレーニングを受けることを可能にする。
【0024】
患者側カート１０６は、システム１００の他の構成要素とは別のスタンドアロン型装置とすることができる。カート１０６は、様々な異なる機構及び装置を含むことができ、患者への遠隔操作医療手術を可能にする。いくつかの例では、カート１０６は、複数の被制御マニピュレータアーム１１４等の１つ又は複数の操作可能な要素を含み、各マニュピュレータアームは、着脱可能に取り付けられた１つ又は複数の手術用器具を有することができる。このようなアーム及びそれら手術用器具は、外科医コンソール１０４のユーザが器具を操作して医療外科手術を患者に行うことを可能にするように、特定の範囲及び動作モードで駆動することができる。例えば、カート１０６のアーム及び／又は器具内のアクチュエータ（例えば、モータ）は、コンソール１０４からの信号により制御することができ、及び器具の運動を駆動して外科タスクを行うことができる。
いくつかの実施態様では、追加の患者側カート１０６を、シミュレーションに含めることができる。一部の患者側カートは、遠隔操作医療装置を含むことができる一方、他の患者側カートは、他のタイプの装置（他の手術用器具、ビデオディスプレイ、手術室の手術台等）を含むことができる。さらに、他の患者側カートは、遠隔操作医療装置と非遠隔操作装置との両方を含むことができる。
いくつかの実施態様では、追加の患者側カート１０６を、シミュレーションに含めることができる。一部の患者側カートは、遠隔操作医療装置を含むことができる一方、他の患者側カートは、他のタイプの装置（他の手術用器具、ビデオディスプレイ、手術室の手術台等）を含むことができる。さらに、他の患者側カートは、遠隔操作医療装置と非遠隔操作装置との両方を含むことができる。
【0025】
患者側カート１０６の研修生のユーザは、カート１０６を含むセットアップ手順を行い、（例えば、シミュレートされた）手術を行うのを可能にする。例えば、このセットアップ手順は、カートを適切な位置に移動し、各アーム１１４を適切な位置に移動させる等のタスクを含むことができる。いくつかの実施態様では、患者側カート１０６のセットアップは、物理的な解剖学的モデル１２０に関して行うことができる。例えば、解剖学的モデル１２０は、ヒトの患者又は他の被験体の一部をシミュレートすることができ、患者側カート１０６の手術用器具を適切に位置付けするのを可能にする種々の機構を含むことができる。いくつかの例では、カート１０６をさらにセットアップするために、ユーザは、カート１０６の手術用器具を（例えば、ポート配置によって指定された）解剖学的モデル１２０の適切な開口部内に配置し、それによって、器具が、モデル１２０の内部にシミュレートされた物理的手術部位へのアクセスを得る。手術用器具をアーム１１４に正しく設置する、カート１０６の特定のコントロールを選択及び操作して必要な機能を有効にする、マニピュレータアームの位置付けを調整して患者とのクリアランスを達成する又は衝突を回避する等の他のセットアップタスクも行うことができる。
【0026】
患者側カート１０６は、接続１０７によって示されるように、シミュレーション処理コンポーネント１０２と通信する。接続１０７は、１つ又は複数のワイヤ又はケーブル、無線接続等の任意のタイプの通信チャネルとすることができる。患者側カート１０６は、アーム１１４の運動及びアーム１１４に取り付けられた及び／又は他の方法でカート１０６に結合された手術用器具の操作等の遠隔操作機能を制御する信号をシミュレーション処理コンポーネント１０２から受信することができる。また、患者側カート１０６は、カート１０６上の視覚、音声、又は他の出力装置からカートのユーザに出力を生成するシミュレーション状態信号（例えば、データ）等の他の信号を受信することができる。いくつかの例では、患者側カート１０６によって受信される信号は、実現される仮想環境に基づいてシミュレート処理コンポーネント１０２によって生成することができ、及び／又は外科医コンソールによって提供され、シミュレーション処理コンポーネント１０２によってカート１０６を通過させることができる。
【0027】
患者側カート１０６は、接続１０７でシミュレーション処理コンポーネント１０２にも信号を送る。このような信号は、カート１０６のセンサによって決定されるようなカート１０６のアーム１１４及び手術用器具の位置及び姿勢を含む、カート１０６の現在の状態を表すデータを含むことができる。例えば、関節位置センサ、サーボモータの位置エンコーダ、ファイバブラッグ格子形状センサ等を使用して、アームマニピュレータに関連する運動学的な情報（位置及び／又は姿勢）を決定することができる。信号は、患者側カート１０６の内視鏡又は他の撮像器具によって取り込まれた物理的手術部位の視覚画像及び／又は手術部位又はシュミレーションされた患者を表す他の画像（例えば、レンダリングされた超音波画像、患者のバイタルサイン等）を表すデータを含むことができる。カートのユーザの動作やメッセージ、マイクからの又はカートの装置との相互作用によって生成された音声データ、他の形式のデータを表す入力データ等の他の信号も送ることができる。特定のカート制御、機能等の状態を表す種々の他の信号も送ることができる。いくつかの実施態様では、これらの信号は、実際の医療処置のために遠隔操作医療システムの外科医コンソール１０４に提供される標準信号とすることができ、ここで、シミュレーション処理コンポーネント１０２は、これらの同じ標準信号を処理することができる。他の実施態様では、シミュレーションに特有のシミュレーション信号は、患者側カート１０６によって出力することができる。シミュレーション処理コンポーネント１０２は、この信号を使用して、例えば、シミュレーションの仮想環境を更新することができる。
【0028】
いくつかの実施態様では、患者側カート１０６は、シミュレーション処理コンポーネント１０２にその信号を送ることができ、コンポーネント１０２は、外科医コンソールに送信されることに応答して適切な信号を生成する。いくつかのケース又は実施態様では、シミュレーション処理コンポーネントは、カート１０６から接続１２５を介して外科医コンソール１０４に直接的に１つ又は複数の信号を中継することができる。さらに他の実施態様では、患者側カート１０６は、外科医コンソール１０４、ビジョン側カート１０８、及び／又は他のシステムコンポーネントに追加の直接的な接続を有することができる。
【0029】
いくつかの実施態様では、解剖学的モデル１２０は、それ自体のセンサを含むことができ、接続１０７と同様の接続でシミュレーション処理コンポーネント１０２との間で信号を提供する及び／又は信号を受信することができる。例えば、接続１２１によって、解剖学的モデル１２０とシミュレーション処理コンポーネント１０２との間で信号を提供することができる。あるいはまた、モデル１２０は、モデル１２０とシミュレーション処理コンポーネント１０２との間で信号を中継できる患者側カート１０６に接続することができる。以下でより詳細に説明するように、モデル１２０上のこのようなセンサによって、手動手術用器具をシミュレーションにより追跡することが可能になる。
システム１００のいくつかの実施態様は、解剖学的モデル１２０と同様にシミュレーション処理コンポーネント１０２への接続及び通信を含むことができる（例えば、モデル１２０を支持する手術台、追加手術や機能のための補助テーブル又はカート等の）他の手術室の設備を含むことができる。例えば、このような他の設備を含むことができ、その使用によって、本明細書に記載のシミュレーションタスク及び手順について評価することができる。
システム１００のいくつかの実施態様は、解剖学的モデル１２０と同様にシミュレーション処理コンポーネント１０２への接続及び通信を含むことができる（例えば、モデル１２０を支持する手術台、追加手術や機能のための補助テーブル又はカート等の）他の手術室の設備を含むことができる。例えば、このような他の設備を含むことができ、その使用によって、本明細書に記載のシミュレーションタスク及び手順について評価することができる。
【0030】
１つ又は複数のビジョン側カート１０８は、シミュレーションシステムの助手のユーザに出力情報を提供するために、及び／又は視覚及びデータ処理ハードウェア等の設備を保持するために、シミュレーションシステム１００のいくつかの実施態様に含めることができる。ビジョン側カート１０８は、システム１００の他の構成要素とは別個のスタンドアロン型装置とすることができる。例えば、いくつかの遠隔操作医療システムでは、ビジョン側カート１０８は、患者側カート１０６をセットアップし及び操作する助手等の、助手によって使用することができる。ビジョン側カート１０８は、表示画面等の１つ又は複数の視覚的な出力装置を含み、医療処置を行う際に有用な様々な情報を出力することができる。例えば、表示画面は、患者側カート１０６の手術用器具に設けられた内視鏡カメラにより取り込まれた手術部位のビューを表示することができ、助手のユーザが、外科手術のために必要な位置にカメラを調整することが可能になる。表示画面には、外科医コンソールにおいて外科医によって起動された１つ又は複数のコントロールの状態、医療処置に使用される他の装置の状態等の他の出力情報も表示することができる。
【0031】
ビジョン側カート１０８は、接続１０９によって示されるように、シミュレーション処理コンポーネント１０２と通信する。接続１０９は、１つ又は複数のワイヤ又はケーブル、無線接続等の任意のタイプの通信チャネルとすることができる。ビジョン側カート１０８は、シミュレーション処理コンポーネント１０２からの信号を受信することができ、手術部位をシミュレートする仮想環境の表示又は物理的手術部位で取り込まれた画像の表示、様々なシステムコンポーネントに関する状態情報の表示、及びカート１０８の適切な出力装置を介した任意の他のタイプの出力（音声、触覚等）を生じさせるシミュレーション状態信号等の機能を制御する。また、ビジョン側カート１０８は、外科医コンソール１０４によって提供され、且つシミュレーション処理コンポーネント１０２によりカート１０８を通して中継されるこのような信号を受信することができる。
【0032】
ビジョン側カート１０８は、接続１０９で、シミュレーション処理コンポーネント１０２及び／又はシステム１００の他の構成要素にも信号を送る。このような信号は、ユーザによって起動された、ビジョン側カートでのコントロール又は他の入力装置の現在の状態を表すデータを含むことができる。信号は、ビジョン側カート１０８によって患者側カート１０６等の他の構成要素から受信され、カート１０８によってシミュレーション処理コンポーネント１０２及び／又は外科医コンソール１０４に中継されるデータを含むことができる。いくつかの実施態様では、カート１０８により出力された信号は、遠隔操作医療システムの外科医コンソール１０４に提供される標準信号とすることができ、ここで、シミュレーション処理コンポーネント１０２は、これら同じ標準信号を処理することができる。他の実施態様では、特定のシミュレーション信号は、ビジョン側カート１０８により出力することができる。シミュレーション処理コンポーネント１０２は、この信号を使用して、例えばシミュレーションの仮想環境を更新することができる。いくつかの実施態様では、ビジョン側カート１０８は、その信号をシミュレーション処理コンポーネント１０２に送ることができ、外科医コンソール１０４及び／又は患者側カート１０６に送信されることに応答して適切な信号を生成する。いくつかのケース又は実施態様では、シミュレーション処理コンポーネント１０２は、カート１０８から接続１２７を介して外科医コンソール１０４等の他の構成要素に直接的に１つ又は複数の信号を中継することができる。さらに他の実施態様では、ビジョン側カート１０８は、外科医コンソール１０４、患者側カート１０６、及び／又は他の構成要素への追加の直接的な接続を有することができる。
【0033】
いくつかの実施態様では、様々な物理的手術用器具がシミュレーションシステム１００によって使用され、実際の医療処置をより完全にシミュレートすることができる。これらの手術用器具は、実際の医療処置をシミュレートする際に使用される完全な、実際の手術用器具を含むことができる。カニューレ１３０及び腹腔鏡器具１３２等の標準的な手動手術用器具を使用することができ、この手動手術用器具は、遠隔操作される患者側カート１０６を必要としない器具である。さらに、手術用器具１３４及び滅菌アダプタ／ドレープ器具１３６等の、患者側カート１０６で使用される手術用器具を使用することができ、これらの手術用器具は、患者側カート１０６の遠隔操作マニピュレータアームに取り外し可能に取り付けられる。
【0034】
シミュレーションシステム１００のいくつかの実施態様は、さらに又は代わりに、非動作の「偽(fake)」手術用器具１３８を使用することができる。これらは、シミュレーションシステムのみに使用され、且つ完全な器具機能を提供しないダミー器具とすることができる。例えば、非動作器具１３８は、完全に動作する器具のようにマニピュレータアーム１１４に取り付けることができるが、カニューレ又は解剖学的モデル１２０の開口部にのみ挿入する必要がある器具の一部を含むことができる。こうして、シャフト及びエンドエフェクタを、ダミー器具から取り外すことができ、及び／又はダミー器具は、機構を含まない中空の器具、又はシミュレートされた医療処置中にこのような器具をセットアップ及び使用する経験をユーザに提供する他の非動作器具のバージョンとすることができる。
【0035】
図２は、シミュレーション処理コンポーネント１０２の一例及びシミュレーションシステム１００の他の構成要素との通信を示すブロック図である。
シミュレーション処理コンポーネント１０２は、様々な機能のシミュレーションを行うことができる入力処理ブロック２０２を含むことができる。いくつかの実施態様では、入力処理ブロック２０２は、シミュレーションシステムによって提供されるシミュレーションのための１つ又は複数の仮想環境を実現することができる。例えば、仮想環境は、物理的手術部位又はその一部をシミュレートすることができ、２次元（２Ｄ）又は３次元（３Ｄ）環境を提供することができる。いくつかの例では、皮膚表面及び内臓器官又は他の身体構造の仮想モデルだけでなく、実際の外科手術で使用される手術用器具及び他のオブジェクトの仮想モデルを含む人体の一部をシミュレートすることができる。仮想モデルは、外科医コンソール１０４によって提供される信号２１０に基づいてシミュレーション処理ブロック２０２によって変更及び更新することができ、その信号は、患者側カートの遠隔操作アーム上の手術用器具をどの様に移動及び操作するかの指示を、外科医コンソール上のマスターコントロールの操作に示す。信号２１０は、特定の使用モードに入る、他の外科的機能（例えば、液体スプレー、吸入等）を起動する、又は他の機能を実行する等の他のコマンドを示すこともできる。
シミュレーション処理コンポーネント１０２は、様々な機能のシミュレーションを行うことができる入力処理ブロック２０２を含むことができる。いくつかの実施態様では、入力処理ブロック２０２は、シミュレーションシステムによって提供されるシミュレーションのための１つ又は複数の仮想環境を実現することができる。例えば、仮想環境は、物理的手術部位又はその一部をシミュレートすることができ、２次元（２Ｄ）又は３次元（３Ｄ）環境を提供することができる。いくつかの例では、皮膚表面及び内臓器官又は他の身体構造の仮想モデルだけでなく、実際の外科手術で使用される手術用器具及び他のオブジェクトの仮想モデルを含む人体の一部をシミュレートすることができる。仮想モデルは、外科医コンソール１０４によって提供される信号２１０に基づいてシミュレーション処理ブロック２０２によって変更及び更新することができ、その信号は、患者側カートの遠隔操作アーム上の手術用器具をどの様に移動及び操作するかの指示を、外科医コンソール上のマスターコントロールの操作に示す。信号２１０は、特定の使用モードに入る、他の外科的機能（例えば、液体スプレー、吸入等）を起動する、又は他の機能を実行する等の他のコマンドを示すこともできる。
【0036】
また、入力処理ブロック２０２は、患者側カート１０６から信号２１２を受信することができる。これらの信号は、患者側カートのマニピュレータアーム及び手術用器具の位置及び姿勢だけでなく、上述したように、カート１０６上の各種コントロールの状態も含むことができる。入力処理ブロック２０２は、上述したようにカート１０８上の各種コントロールの状態を含むビジョン側カート１０８からの信号２１４も受信することができる。入力処理ブロック２０２は、例えば手動で操作される手術用器具を追跡する、解剖学的モデル１２０の１つ又は複数のセンサを含む追跡装置２１８からの信号２１５を受信することができる。シミュレーションシステムの他の構成要素（図示せず）は、同様に、構成要素の位置を追跡する手術室のセンサ等の信号を入力処理ブロック２０２に提供することができる。
【0037】
入力処理ブロック２０２は、いくつかの実施態様では、シミュレータのユーザインターフェイス（UI）２２０からの信号２１６も受信することができる。シミュレータインターフェイス２２０は、１つ又は複数のオプションや選択をシミュレーションシステム１００のユーザ（複数可）に提示して、医療処置のシミュレーションの機能をカスタマイズ及び／又は選択させることができる。シミュレータインターフェイス２２０は、外科医コンソール１０４、患者側カート１０６、及び／又はビジョン側カート１０８等のシミュレーションシステムの１つ又は複数の構成要素に提示することができる。あるいはまた、シミュレータインターフェイスは、コンピュータシステム（デスクトップコンピュータ、ラップトップコンピュータ、サーバ、携帯器具等）の専用の装置上に実装することができる。例えば、シミュレータインターフェイス２２０は、シミュレートするための多数の異なる医療処置等のオプションだけでなく、シミュレーションシステムで使用されるそれら医療処置及び構成要素の様々なオプション、設定、好みもユーザに表示することができる。これらの選択は、信号２１６で入力処理ブロック２０２に提供することができる。いくつかの実施態様では、単一のインターフェイス２２０は、シミュレートされたセットアップ手順だけでなくシミュレートされた外科手術のオプションも提示することができ、こうして、統合型インターフェイスによって遠隔操作される医療処置の全ての段階のシミュレートされた態様を制御するのが可能になる。
【0038】
シミュレーション処理コンポーネント１０２は、出力ブロック２０４も含むことができる。このブロックは、シミュレーション処理ブロック２０２によって指示されると、シミュレーションシステム１００の種々の構成要素を制御又は駆動するための信号を提供することができる。例えば、いくつかの信号は、患者側カートのアクチュエータを制御して遠隔マニピュレータアームを移動させる又は別の医療機能（空気吸引等）を指令する信号等の、構成要素上の機能に命令するための信号とすることができる。いくつかの信号は、出力をユーザに示すシミュレーション状態信号とすることができる。例えば、出力ブロック２０４は、外科医コンソール１０４のコントロールのユーザ操作に対応して移動する仮想手術部位及びその部位での仮想手術用器具の表示を示すデータ等の、外科医コンソールのディスプレイにビデオ出力を提供する信号２３０出力を外科医コンソール１０４に送ることができる。同様に、出力ブロック２０４は、信号２３２を患者側カート１０６に、信号２３４をビジョン側カートに、及び信号２３６をシミュレータインターフェイス２２０に送信して、これらの構成要素上でそれらの機能に関連するビデオ表示を起動することができる。例えば、患者側カート１０６及び／又はビジョン側カート１０８は、１つ又は複数の内視鏡器具又は他の撮像器具の位置に基づいて、手術部位を示すグラフィカルな仮想環境を表示することができる。状態メッセージ等の他の視覚的出力も同様に提供することができる。いくつかの実施態様では、出力ブロック２０４は、状態、更新等を提供する追跡装置に信号２３５を送ることができる。音声及び触覚出力等の他のタイプの出力も、構成要素への信号によって生じさせることができる。シミュレータインターフェイス２２０は、信号２３６で提供されるようなユーザから受信した入力に基づいて、その外観を更新することができ、グラフィカルなメニュー項目及び／又は他の選択やオプションを表示すグラフィカル・ユーザインターフェイス、又は他のタイプのインターフェイス等のインターフェイスを表示することができる。
【0039】
シミュレーション処理コンポーネント１０２は、シミュレーション処理ブロック２０２と通信するメモリ２０６も含むことができる。メモリ２０６は、シミュレーション処理ブロック２０２及びシミュレーションシステム１００に必要な種々のデータを格納することができる。例えば、シミュレーションを実現するためのプログラム命令及び１つ又は複数の仮想環境を表すデータ、３次元モデル、及び種々の設定を、メモリ２０６に格納することができる。またいくつかの実施態様では、シミュレーション処理コンポーネント１０２は、シミュレートされた手順の間に発生するイベントやアクションに基づくパラメータを監視することができ、及びそのようなパラメータをメモリ２０６に格納することができる。以下に説明するように、例えば、手順、手順の間の構成要素の位置等のタスクを実行するのに要する時間等のパラメータを格納することができる。
【0040】
図３は、本明細書に記載の１つ又は複数の実施態様に係るシミュレートされた医療処置を提供するための例示的な方法３００を示すフロー図である。方法３００は、シミュレーション処理コンポーネント１０２によって制御及び／又は統合することができる。この例では、セットアップ手順の後に実行されるシミュレートされた外科手術の準備前及び準備中に、シミュレーションシステムの１つ又は複数の構成要素を構成するシミュレートされたセットアップ手順について説明している。この例では、マニピュレータアームを有する患者側カート１０６をシミュレートされたセットアップ手順で使用することを想定している。他の実施態様は、同様の又は同等のセットアップ構成要素又はタスクを含むことができる。
【0041】
方法３００のシミュレートされたセットアップ手順は、１人又は複数のユーザの研修生がセットアップタスクを形成している間に行うことができる。例えば、１人の研修生は、総合的なトレーニングを積むために、全てのタスクを実行する必要がある。他の実施態様では、多数の研修生が、実際の外科処置のようにシミュレートされた手順のセットアップタスクを実行するために同時に又は他の方法で必要とされ得る。例えば、１人の研修生が、構成要素を手術室に位置付けし、他の研修生が、ポートを配置し、及び別の研修生が、ドッキングさせるためにマニピュレータアームを位置付けする必要があり得る。シミュレーションシステムの利点は、単一のシステム上で複数の研修生を同時にトレーニングする能力を含む。
【0042】
ブロック３０２では、シミュレーション処理コンポーネントは、シミュレーションのオプション選択を受信する。これらは、セットアップ手順を設定するための様々な選択とすることができ、及び例えば外科医コンソール１０４及び／又はビジョン側カート１０８の表示装置により表示されるグラフィカル・ユーザインターフェイス２２０等の表示インターフェイスからユーザが入力することができる。選択は、一般的な手術や、泌尿器の、婦人科の、経口的、心臓の、胸部の、及び／又は小児外科手術のために計画された処置等の、シミュレーションのためにセットアップされる外科手術のタイプを含むことができる。選択は、セットアップ手順で使用される特定のシステムコンポーネント、ユーザ研修生（複数可）に関係する経験レベル、シミュレーションの難易度レベル（初心者、標準的な者、専門家等）、処置の時間パラメータ等も含むことができる。いくつかの実施態様では、このインターフェイスは、（例えば、図４で説明するように）セットアップの後に行われるシミュレートされた外科手術に使用されるものと同じインターフェイスとすることができる。
【0043】
ブロック３０４では、シミュレーション処理コンポーネントは、ユーザがシミュレーションシステムの１つ又は複数の構成要素を位置付けすることを示す信号を受信し記録する。このような構成要素は、シミュレーション領域内の特定の位置、例えばその領域内の絶対位置又は互いに対する位置に位置付けする必要があり得る。例えば、患者側カート１０６は、手術台及び／又は解剖学的モデルに対して配置することができ、及び／又はビジョン側カート１０８は、患者側カート１０６、外科医コンソール１０４、又は他の構成要素に対して位置付けすることができる。いくつかの実施態様では、セットアップシミュレーション中に、外科医コンソール及び使用される任意の他の構成要素（麻酔テーブル等）等の追加の構成要素を位置付けすることができる。いくつかの実施態様では、構成要素の位置は、身体シミュレーション領域上に位置付けされるカメラ用のセンサ、構成要素の動きを検出するセンサ等のセンサを使用して追跡することができ、これらの位置は、シミュレーション処理コンポーネント１０２に送信され、この処理コンポーネントより監視及び記録することができる。ユーザは、例えばビジョン側カート１０８又は他の構成要素を介して入力を提供することにより、そのユーザが、システムコンポーネントの配置を完了したことを処理コンポーネントに示すこともできる。シミュレーション処理コンポーネント１０２は、受信信号及びタスクを完了するのに要する時間等のパラメータを記録することができ、このブロックの間にフィードバックを提供する信号を出力することができる。例えば、フィードバックは、配置に関する命令、実際の及び／又は所望の構成要素の配置のグラフィカルな空間図やマップ、ユーザが適切な配置から著しく逸脱した場合のアラート、特定の測定が行われなかった場合の警告（例えば、アームを配置することなく患者側カートを移動する）等の視覚及び／又は音声表示を含むことができる。いくつかの実施態様では、システムコンポーネントの１つ又は複数の出力装置にフィードバックを表示することができる。
【0044】
ブロック３０６では、この方法は、ユーザがセットアップ手順のためにモデルを位置付けすることを示す信号を受信することができる。例えば、いくつかの実施態様では、ユーザが、患者側カート１０８のマニピュレータアーム及び器具を移動させて１つ又は複数の既知の位置でモデルの表面に触ることができる場合に、静的な位置合わせ技術を使用することができる。アームの位置を追跡するセンサを使用して、シミュレーション処理コンポーネントは、マニピュレータアーム及び／又は手術用器具等の患者側カートの要素に対する３次元空間内でのモデルの位置及び姿勢を決定することができる。例えば、これによって、手術室及び／又は手術部位の仮想シーンをレンダリングすることが可能になり、シミュレータシステムが、可能な場合に、例えばユーザが現在どのポート（複数可）を使用しており、どの様に正確なポートに移動させるかについての提案、評価及び／又はスコアリング等の直接的なフィードバックを提供することが可能になる。レーザ位置合わせガイドの使用又はモデルの位置及び姿勢を拘束する剛性固定具へのアームのドッキング等の他の方法を、他の実施態様で使用することができる。ユーザは、自分がモデルの位置付けを完了したことをシミュレーション処理コンポーネントに示すことができる。いくつかの実施態様では、シミュレーション処理コンポーネント１０２は、センサ信号及びタスクを完了するのに要する時間等のパラメータを記録することができ、このブロック中に、そのような視覚表示を更新する等の、実行されるタスクの進捗状況に関するフィードバックをユーザに提供することができる。
【0045】
他の実施態様では、解剖学的モデルの位置付けは、ブロック３０６の代わりに方法３００の後の時点で感知することができる。例えば、遠隔操作医療装置に対するモデルの位置及び姿勢は、遠隔操作アームのセンサを使用して及び／又はモデルのセンサを使用して、ドッキングした後にブロック３１０で感知することができる。
【0046】
ブロック３０８では、シミュレーション処理コンポーネントは、ユーザが外科手術に使用するための物理的手術部位でのポートを選択又は配置することを示す信号を受信し記録する。例えば、ポートは、物理的手術部位に及び／又はこの部位等に位置付けされた解剖学的モデルに配置することができる。ポートは、手術用器具が挿入されるモデルの開口部又は他の位置であり、及びポートは、シミュレーションのために選択された標的解剖学的構造及び外科手術に応じた特定のパターンや距離の要件を含む。いくつかの実施態様では、ポートを配置することは、（例えば、いくつかの実施態様では、モデル内のセンサから検出することができる）モデルの選択された開口部にカメラカニューレ等のカニューレを配置すること、所望の手術部位の部分が、内視鏡又は他のカメラの手術用器具の視野内にあり且つ器具を操作する可動域がカニューレ内に配置されるようにカニューレ器具を動作させることを含むことができる。いくつかの実施態様では、システムは、解剖学的モデル内のセンサを使用して及び／又は（以下で説明する）ドッキングした後の遠隔操作アーム内のセンサを使用して、ポートの配置を検出することができる。ユーザは、自分がポートの配置を完了したことをシミュレーション処理コンポーネントに示すことができる。シミュレーション処理コンポーネント１０２は、センサ信号及びタスクを完了するために要した時間等のパラメータを記録することができ、及び視覚的な表示の更新を含む、このブロックの間に実行されるタスクの進捗状況や正確性に関するフィードバック（配置されたポートの位置の正確性等）をユーザに提供することができる。
【0047】
ブロック３１０では、シミュレーション処理コンポーネントは、ユーザが、患者側カートのマニピュレータアーム及び／又は他の要素を、モデルの選択されたポート上の又は内の適切な位置及び配置に位置付け（ドッキング）することを示す信号を受信し記録する。例えば、ユーザは、マニピュレータ同士の衝突回避及び器具の必要な可動域等のパラメータを考慮して、マニピュレータアームを特定の角度で、互いに所定の距離で位置付けすることができる。シミュレーション処理コンポーネントは、マニピュレータアームの位置及び姿勢を示す信号を患者側カートのアームのセンサから受信する。様々な実施態様によって、ユーザが、手動で及び／又は遠隔制御でアーム又は他の要素を移動するのが可能になる。ユーザは、自分がドッキングを完了したことをシミュレーション処理コンポーネントに示すことができる。シミュレーション処理コンポーネント１０２は、センサ信号及びタスクを完了するのに要した時間等のパラメータを記録することができ、及び視覚表示を更新する等の、このブロックの間に実行されたタスクの進捗状況や正確性に関するフィードバックをユーザに提供することができる。
【0048】
ブロック３１２では、シミュレーション処理コンポーネントは、ユーザが手術用器具を患者側カートのポートに挿入していることを示す信号を受信し記録する。シミュレーション処理コンポーネントは、アーム及び／又はモデルの表面に対する手術用器具の位置を示す信号を、患者側カートのアーム内のセンサから及び／又手術用器具のセンサから受信する。特定の距離や挿入量、器具を所定の位置にロックすること等の要件を含むことができる。いくつかの実施態様では、モデル内のセンサは、カニューレ内の器具を検出することができる。
【0049】
いくつかの実施態様では、手術用器具は、手術用器具として機能しないダミー器具である。また、手動（例えば、非遠隔操作）器具を使用する場合に、モデルのセンサは、このような手動器具の位置（及び／又は手術室の他の位置）を追跡することができる。ユーザは、手術用器具の配置が完了したことをシステムに知らせることができる。いくつかの実施態様では、シミュレーション処理コンポーネント１０２は、ブロック３１０の間のセンサ信号及びタスクを完了するのに要する時間等のパラメータを記録することができる。処理コンポーネントは、ブロック３１２でフィードバックを提供することもできる。これは、信号を出力するシミュレーション処理コンポーネント１０２を含み、シミュレーションシステムの１つ又は複数の表示画面による器具挿入に関する、様々な仮想画像のビデオ表示、進捗状況の指標、提案、ヒント、警告等を生じさせることができる。
【0050】
ブロック３０４～３１２では、様々なタイプのビデオ出力を提供することができる。例えば、助手のユーザは、（例えば、ビジョン側カート１０８の）ディスプレイを確認して、セットアップ手順の間にアーム及び／又は手術用器具が正しく位置付けされているかどうかを判定するのを助けることができる。手術部位の表示は、手術部位における手術用器具及び他のオブジェクトの現在位置を含むことができる。いくつかの実施態様では、ディスプレイは、患者側カートの内視鏡器具又は他の撮像器具（例えば、超音波センサ、患者のバイタルサインセンサ等）によって取り込まれた、患者側カート及び／又はモデルでの物理的手術部位の取込み画像、モデルカメラ又はセンサ、及び／又は物理的部位に向けられた他の視覚センサを示す。このセットアップは、無生物／ドライラボモデルや、ブタ又は解剖用の死体のトレーニングプロトコル等の生きている組織モデルでのトレーニングに使用することができる。
【0051】
他の実施態様では、ディスプレイは、シミュレーション処理コンポーネントによって生成され、物理的手術部位での手術用器具及び／又は他のオブジェクトの検出位置に基づいた仮想環境及び仮想手術部位を示す。例えば、手術用器具の位置は、それらのマニピュレータアーム内のセンサから知ることができ、その部位での他のオブジェクトの位置は、カメラ（複数可）によって送信された取込み画像から知ることができる。シミュレーション処理コンポーネントは、これらの既知の画像及び位置に基づいて仮想環境を生成する。仮想手術用器具及びオブジェクトは、（もしあれば）それら物理的な対応物と同じように見えるように表示することができ、又は仮想環境内に異なる外観を有する仮想オブジェクトとして表示することができる。
【0052】
いくつかの実施態様では、仮想環境は、実際の医療処置で見られるような現実の周囲環境の表示を含むことができる。例えば、表示された手術部位の背景は、体壁、血管、又は他の現実の周囲環境を含むことができる。いくつかの実施態様では、仮想環境は、その部位での物理的オブジェクトの正確な表現を含むことができる一方、その部位の背景及び周囲環境は、（例えば、図８Ｂに示されるように）実際の医療処置として現実に見えるようにすることができる。
【0053】
ブロック３１４では、シミュレーション処理コンポーネントは、セットアップ手順に関連する最終的なパラメータ、メトリック、スコア、及び／又は他のフィードバック等のフィードバック情報を出力することができる。いくつかの実施態様では、フィードバック情報は、さらに又は代わりに、（例えば、ブロック３０４～３１２での）１つ又は複数のタスク又は演習の実行中に又は完了時に研修生に表示することができ、それによって、研修生は、自分の進捗状況を監視することができ、又は自分の能力を初心者から専門家の範囲に及ぶ他の人に対して比較することができる。
【0054】
例えば、メトリックは、記録したパラメータから決定することができ、セットアップ手順の間の様々なタスクについての助手によって費やされた時間だけでなく、セットアップに使用された構成要素及び器具の配置位置の概要も含むことができる。以下により詳細に説明するように、評価及びスコアは、セットアップ手順の間にユーザが完了したタスクに基づいて、シミュレーション処理コンポーネントによって決定することもできる。シミュレーション処理コンポーネントは、研修生がどれ位上手くタスクを実行したか等の評価結果だけでなく、そのタスクをより良く実行するためのヒントや指示を示すフィードバックを出力することができる。この情報の一部又は全部を、１つ又は複数のディスプレイに又はシミュレーションシステムの他の出力装置に出力することができる。
【0055】
ブロック３１６では、この方法は、セットアップが完了したかどうかを確認する。例えば、シミュレーション処理コンポーネント１０２は、システムコンポーネントの得られた位置付けを評価し、システムコンポーネント及び手術用器具が外科手術に進むことができるように適切に配置されているかどうかを判定することができる。配置が酷く不正確な場合、又はユーザが段階を繰り返す要求をした場合に、次にブロック３１８で、シミュレーション処理コンポーネントは、ユーザにセットアップ手順の適切な段階又はブロックを繰り返させる。
【0056】
セットアップが完了した場合に、次にブロック３２０では、本方法は、シミュレートされた外科手術が、セットアップ手順で使用されたのと同じシミュレーションシステム上で開始すべきかどうかを確認することができる。手術シミュレーションは、例えば、ブロック３０２のシミュレーション選択に示してもよい。外科手術シミュレーションを開始する場合に、方法は、図４に記載されるように進む。それ以外の場合に、この方法は、終了する、又は種々の更なるアクションを行って、解剖学的モデルの物理的手術部位での外科タスク演習を異なる演習と交換する等、トレーニングを続行又は繰り返すことができる。
【0057】
図４は、本明細書に記載の１つ又は複数の実施態様に係るシミュレートされた外科手術を提供するための例示的な方法４００を示すフロー図である。この例では、手術部位（仮想部位及び／又は物理的部位）で外科タスクを実行するシミュレートされた外科手術について、説明している。方法４００は、シミュレーション処理コンポーネント１０２によって制御及び統合することができる。
いくつかの実施態様では、方法４００は、図３のセットアップ手順の後に行うことができる。従って、そのような実施態様は、単一のソフトウェア及びユーザインターフェイス（UI）のフレームワークの下で全て、遠隔操作医療システム上のシミュレーションフレームワークを別の外科医コンソール及び患者側カートで使用して、進捗状況を監視及び追跡し、出力及びフィードバックを表示する能力を提供することができる。方法４００は、図３に記載されるように、シミュレーションシステムコンポーネントのセットアップが完了していると想定して説明する。
いくつかの実施態様では、方法４００は、図３のセットアップ手順の後に行うことができる。従って、そのような実施態様は、単一のソフトウェア及びユーザインターフェイス（UI）のフレームワークの下で全て、遠隔操作医療システム上のシミュレーションフレームワークを別の外科医コンソール及び患者側カートで使用して、進捗状況を監視及び追跡し、出力及びフィードバックを表示する能力を提供することができる。方法４００は、図３に記載されるように、シミュレーションシステムコンポーネントのセットアップが完了していると想定して説明する。
【0058】
方法４００のシミュレートされたセットアップ手順は、外科タスクを実行する１人又は複数のユーザ研修生によって行うことができる。例えば、１人の研修生が、外科医コンソールを使用してシミュレートされた外科タスクを実行するために必要とされ得る。他の実施態様では、多数の研修生が、実際の外科処置のように、シミュレートされた手順について外科タスクを実行するために同時に又は他の方法で必要とされ得る。例えば、１人の（外科医の）研修生が、外科医コンソールを使用して器具を制御する必要がある一方、別の（助手の）研修生が、手術部位で追加の手動器具を制御する、又はいくつかの他の補助機能（例えば、器具交換、患者側カートでのアームの位置調整、送られる内視鏡の輝度調整、ポート調整、手動腹腔鏡器具を使用して遠隔操作器具に縫合糸を通すこと、コンソールの外科医を支援するための子宮マニピュレータの調整等）を行う必要があり得る。２つ（又はそれ以上）の外科医コンソールにおける２つ（又はそれ以上）の外科医の研修生は、タスクコントロールを分担し、器具のコントロールを交換し、及び／又は他の例では、互いにトレーニングを提供することができる。シミュレーションシステムの利点は、単一のシステム上で複数の研修生を同時にトレーニングする能力を含むことである。
【0059】
ブロック４０２では、シミュレーション処理コンポーネントは、シミュレーションについてのオプション及び選択を受信することができる。このような選択は、行われる外科手術の種類、行われる手術の特定の段階又はサブ段階、使用される特定の構成要素及び／又は器具等を含むことができる。例えば、図３のセットアップ手順に選択を提供するために使用された同一のグラフィカル・インターフェイスを、外科手術のために使用することができる。
【0060】
ブロック４０４では、この方法は、患者側カート及びビジョン側カート等の他の構成要素を用いずに、シミュレーションが外科医コンソールのみを使用しているかどうかを確認する。例えば、ユーザは、ブロック４０２で、コンソールのみのシミュレーションを指定してもよい。外科医コンソールのみが使用される場合に、次にブロック４０６では、シミュレーション処理コンポーネント１０２は、仮想環境をコンソール表示装置上に表示すために（シミュレーション状態信号等の）信号を出力する。この仮想環境は、コンソールのユーザが手術する手術部位を示すことができる。例えば、実際の解剖学的構造に対応して同様に見える仮想解剖学的構造を含む３次元仮想環境を表示することができる。また、コンソールのユーザによって制御される仮想手術用器具も、仮想環境に表示される。仮想環境内で表示される特定の仮想解剖学的構造及び仮想手術用器具は、ブロック４０２で行われた選択に基づくことができ、ここで、シミュレーション処理コンポーネントは、ユーザによって選択された処置の種類及び他の選択に基づいて、適切な環境を決定することができる。
【0061】
ブロック４０８では、シミュレーション処理コンポーネントは、他の信号をコンソールに提供する。この信号は、仮想環境において発生する任意のイベント又は相互作用をユーザに知らせる音声データ、触覚出力をコンソールに出力するための触覚データ、及び／又は任意の他の適切なデータ等のシミュレーション状態信号を含むことができる。いくつかの実施態様では、提供される信号は、メトリック、スコア、指示、警告、ヒント、又は他の情報等の能力フィードバック情報も含むことができる。
【0062】
ブロック４１０では、シミュレーション処理コンポーネント１０２は、コンソールから信号を受信する。これらの信号は、ハンドグリップ、ボタン、フットペダル、及び他のコントロール等のコンソール上でのコントロールのユーザ操作に基づいて、方向又は測位信号を含むことができる。シミュレーション処理コンポーネントは、ユーザが遠隔操作される物理的手術用器具を制御しているかのように、ユーザ入力に対応するように仮想手術用器具を移動させることを含むコンソールから受信した信号に基づいて、仮想環境を更新することができる。シミュレーション処理コンポーネント１０２は、例えば物理的モデルに従って、仮想手術用器具と仮想解剖学的構造との相互作用を決定することもできる。
【0063】
ブロック４１１では、シミュレーション処理コンポーネントは、シミュレーション手順の間に通信される信号やイベント等のパラメータを記録する。例えば、このような信号やイベントは、ブロック４０６～４１０で送受信される信号、これらのブロックに提供された警告又は他の能力フィードバック、これらのブロックに提供されたユーザ入力、外科タスクを完了するために研修生（複数可）によって費やされた時間等とすることができる。
【0064】
ブロック４１２では、シミュレーション処理コンポーネントは、シミュレートされた外科手術が完了したかどうかを確認することができる。例えば、ユーザは、シミュレーションがコンソールの制御による入力によって終了していることを示すことができる。操作が完了していない場合に、この方法は、ブロック４０８に戻り、コンソールからの信号を受信し、仮想環境でのシミュレーションを継続する。操作が完了した場合に、方法は、以下に説明するブロック４３８に進む。
【0065】
ブロック４０４で、シミュレートされた外科手術が外科医コンソールのみを使用していないことをこの方法が検出した場合に、方法はブロック４１６に進み、方法は、シミュレーションが仮想環境を表示すかどうかを確認する。例えば、仮想環境は、ビジョン側カートのディスプレイ等のシミュレーションシステムのコンソールディスプレイ及び他のディスプレイ上に表示することができ、及びブロック４０６について上述したように同様の仮想環境とすることができる。仮想環境を表示する場合に、次にブロック４１８では、シミュレーション処理コンポーネント１０２は、（例えば、シミュレーション状態信号等の）信号を１つ又は複数の構成要素に出力して、仮想環境をディスプレイ上に表示させる。方法は、次に、以下に詳述するブロック４１６に進む。
【0066】
ブロック４１６で、非仮想環境を表示しているとこの方法が判定した場合に、次にカメラによって取り込まれた物理的手術部位の画像を受信して表示する。ブロック４２０では、この方法は、拡張表示を出力すべきかどうかを確認する。拡張表示によって、カメラにより取り込まれた画像の上にコンピュータで生成されたグラフィックスを表示させることが可能になる。そうでない場合に、プロセスは、ブロック４２４に進む。拡張表示を使用する場合に、ブロック４２２では、シミュレーション処理コンポーネントは、受信した画像上にオーバーレイ視覚データを重ね合せるように処理する。例えば、そのような視覚的な重合せは、警告、命令等のフィードバック情報を提供するテキスト、グラフィックス、及びインターフェイスオブジェクトを含むことができる。いくつかの実施態様では、視覚的な重合せは、システムのアーム、手術用器具、又は他の構成要素を何処に位置付けすべきかを指示するための指標を提供することができる。
【0067】
ブロック４２４では、シミュレーション処理コンポーネント１０２は、物理的手術部位及び／又はシミュレートされた患者の画像を提供するカメラデータを、１つ又は複数の内視鏡及び／又は他の撮像器具（例えば、超音波センサ、バイタルサインセンサ等）から受信する。例えば、内視鏡は、患者側カートのアームに設けられた手術用器具のうちの１つとすることができる。シミュレーション処理コンポーネント１０２は、（例えば、シミュレーション状態信号等の）信号を判定し出力して、外科医コンソール１０４及び（使用される場合に）ビジョン側カート１０８の表示画面等のシステムの表示装置上に手術部位の画像を表示させる。拡張画像を使用しない場合に、出力信号は、カメラデータのみを含む。そうでなければ、ブロック４２２の拡張された視覚的な重合せ信号は、ディスプレイに出力するためにカメラ画像及び合成信号と組み合わされる。シミュレーション後に、信号を使用して、ディスプレイを更新する。
【0068】
ブロック４２６では、シミュレーション処理コンポーネント１０２は、外科医コンソール及び他のシステムコンポーネントに他の信号を提供する。この信号は、システムコンポーネントに音声を出力するための音声データ、システムコンポーネントに触覚出力を出力するための触覚データ等を含むことができる。いくつかの実施態様では、これらの信号は、シミュレーション処理コンポーネントが患者側カート及び／又はビジョン側カートに中継する、外科医コンソールから受信される制御信号を含むことができる。同様に、信号は、シミュレーション処理コンポーネントが外科医コンソール及び／又はビジョン側カートに中継する、患者側カートから受信した位置信号及び／又は制御信号を含むことができる。いくつかの実施態様では、提供された信号は、メトリック、スコア、指示、警告、ヒント、又は他の情報等の、システムコンポーネントに提供されるフィードバック情報も含むことができる（及び／又はフィードバック情報をブロック４２２において拡張された視覚データに含めることができる）。
【0069】
ブロック４２８では、シミュレーション処理コンポーネント１０２は、外科医コンソール１０４と、患者側カート１０６及びビジョン側カート１０８（存在する場合に）等の他のシステムコンポーネントとから信号を受信する。例えば、外科医コンソールからの制御信号は、患者側カート１０６のアームや手術用器具を移動及び他に操作するために使用されるマスターレバー等の、コンソールのユーザによるコンソール上のコントロールの操作を示すことができる。患者側カートからの信号は、それらアームや器具の位置及び姿勢を示す、遠隔操作されるアームや手術用器具内のセンサからの位置信号を含むことができる。ビジョン側カートからの信号は、助手のユーザによって操作されるそのビジョン側カート上のコントロールからの制御信号を含むことができる。手動の手術用器具を解剖学的モデルで使用するいくつかの実施態様では、シミュレーション処理コンポーネントは、モデル内に挿入される又はこのモデルと接触する手動手術用器具の位置を示すセンサ信号を含むことができる信号をモデルから受信することができる。
【0070】
ブロック４３０では、シミュレーション処理コンポーネントは、シミュレーション手順の間に通信される信号やイベント等のパラメータを記録する。例えば、このような信号やイベントは、ブロック４１８～４２８で送受信される信号、これらのブロックで提供された警告又は他の能力フィードバック、これらのブロックで提供されたユーザ入力、外科タスクを完了するために研修生（複数可）によって費やされた時間等とすることができる。
【0071】
ブロック４０６～４１０又はブロック４１６～４２８は、１つ又は複数の外科タスクの実行中に及び／又はシミュレートされた外科手術の演習中に実施することができる。例えば、外科医の研修生等のユーザは、モデル内のカニューレに挿入される手術用器具を遠隔操作することによって、例えば仮想器具を制御することによって、シミュレートされた手術部位でシミュレートされた演習を行うことができる。このような演習は、仮想又は物理的手術部位での縫合、オブジェクト操作等、又は１つ又は複数の他のシミュレートされたタスクを含むことができる。助手の研修生は、いくつかの実施態様において、患者側のタスクを同時に実行することができ、又はタスク同士の間に実行することができる。
【0072】
ブロック４３２では、シミュレーション処理コンポーネントは、誤ったセットアップが外科手術のシミュレーション中に行われているかどうかを確認する。これは、セットアップ手順が、手術前にシミュレートされた場合であって、モデルポートの誤った選択、（例えば、アーム、手術用器具、又は解剖学的モデルを遠隔操作する）システムコンポーネントの誤った配置を含む、又は他の誤った設定や選択を含む場合に行うことができる。このような誤ったセットアップ設定は、後続の外科手術に重大な影響を与える恐れがある。例えば、衝突がアーム又は器具同士の間で発生する、可動域が阻害される、運動の限界に早期に達する可能性がある。シミュレートされた外科手術がこの誤ったセットアップを使用して行われた場合に、次にブロック４３４では、シミュレーション処理コンポーネントは、誤ったセットアップ及びこの誤ったセットアップが外科手術にどの様な影響を与えるかを示すフィードバックをシミュレーションの１人又は複数のユーザに出力する。例えば、フィードバック情報の出力は、誤って位置付けされたアーム又は手術用器具によって、シミュレートされた患者の組織に対して外科タスクが失敗する又は不十分に実行される、意図しない変化を引き起こすことを示すことができる。このフィードバックは、ユーザが全てのエラーを修正するのを可能にするための修正セットアップも示すことができる。いくつかの実施態様では、このようなフィードバックは、シミュレートされた外科手術中の任意の時点で出力することができる。
【0073】
ブロック４３４の後、又はセットアップが正しかった場合に、方法はブロック４３６に進み、方法は、シミュレートされた外科手術が完了したかどうかを確認する。例えば、これは、１人又は複数のユーザによって手術が終了したことを示す入力をシステムに提供することによって示すことができ、又はシミュレーション処理コンポーネントは、構成要素の位置の評価、手術部位の画像に基づいて、手術が終了したと自動的に判断することができる。シミュレートされた手術が完了していない場合に、この方法は、ブロック４１６に戻り、手術部位の環境を表示し続け、及びシステムコンポーネント同士の間で信号を通信する。シミュレートされた手術が完了した場合に、次に方法は、ブロック４３８に進む。
【0074】
ブロック４３８では、シミュレーション処理コンポーネントは、最終的なパラメータ、メトリック、スコア、及び／又は他のフィードバック等のフィードバック情報をシミュレーションのユーザに出力する。いくつかの実施態様では、フィードバック情報は、（例えば、ブロック４０６～４１０又は４１６～４２８における）１つ又は複数の演習の実行中に又は完了時に研修生（複数可）に表示することができ、それによって、研修生は、自分の進捗状況を監視することができ、自分の能力を初心者から専門家のスキルレベルに及ぶ他の人のデータベースに対して比較することができる。図３のセットアップ手順について上述したのと同様に、メトリックは、パラメータから決定することができ、及び外科手術中の様々なタスクについてユーザが要した時間、外科手術で使用された構成要素及び器具の配置位置の概要等を含むことができる。評価及び／又はスコアは、以下に説明するように、外科手術中にユーザが完了した外科タスクに基づいて、シミュレーション処理コンポーネントによって決定することもできる。シミュレーション処理コンポーネントは、研修生がどれ位上手くタスクを実行したか等の評価結果だけでなく、タスクをより良く実行するためのヒントや指示を示すフィードバックを出力することができる。この情報の一部又は全部を、シミュレーションシステムの１つ又は複数のディスプレイに及び／又は他の出力装置に出力することができる。
【0075】
シミュレーション中の研修生の能力の評価及びガイダンス
図３及び図４に関して上述したシミュレートされたセットアップ手順及び外科手術中に、様々な手順の異なる段階での構成要素の位置及び運動、様々なタスクを完了するための時間等の、セットアップ及び外科タスクに関連する各種のデータやパラメータは、シミュレーション処理コンポーネントによって監視（測定）し記録することができる。システムは、メトリックを決定し、記録したパラメータに基づいて、シミュレーション中に１つ又は複数の研修生の能力に関連した自動評価を行うことができる。システムは、手順の間に及び以降の手順についてガイダンスを提供するために、手順の間に評価に基づいてリアルタイムの能力フィードバックを研修生に提供することもできる。
図３及び図４に関して上述したシミュレートされたセットアップ手順及び外科手術中に、様々な手順の異なる段階での構成要素の位置及び運動、様々なタスクを完了するための時間等の、セットアップ及び外科タスクに関連する各種のデータやパラメータは、シミュレーション処理コンポーネントによって監視（測定）し記録することができる。システムは、メトリックを決定し、記録したパラメータに基づいて、シミュレーション中に１つ又は複数の研修生の能力に関連した自動評価を行うことができる。システムは、手順の間に及び以降の手順についてガイダンスを提供するために、手順の間に評価に基づいてリアルタイムの能力フィードバックを研修生に提供することもできる。
【0076】
いくつかの実施態様では、評価は、これらの手順の間に記録されたパラメータ（そこから決定されたメトリック）を対応するタスクについて格納された基準パラメータ及びメトリックと自動的に比較することを含むことができる。基準パラメータは、以前のシミュレートされた医療処置中に記録されたこれらのタスク又はパラメータについて正しい又は最適なパラメータとすることができる。関係スキルに関連するパラメータを評価して、研修生の改善を測定する、又はある研修生の能力パラメータを（同時に行われる又は以前の）他の研修生による又は専門家のスキルレベルを有すると認めた者によって実演された対応するパラメータと比較することができる。従って、特定のパラメータの研修生のスキルレベルは、（例えば、期待される改善に関して研修生の進捗状況を判断するために）同僚に対して、又は（例えば、高いスキルレベルからの逸脱の度合を特定するために）専門家に対して評価することができる。（患者の位置に物理的に近い動作に関連付けられた、例えば、マニピュレータアームの位置及び姿勢のセットアップ、カニューレポートの配置、ドッキング、外科タスク中の補助等の）図３及び図４の患者側スキルと、（図４の外科手術の外科タスクの実行に関連付けられた、例えば、内視鏡カメラの遠隔操作又は手動の位置付け、組織器具の手術部位への移動等の）外科医側スキルとの両方を、評価することができる。
【0077】
評価コンポーネントは、全てのタスクの全体的な完了時間、特定のタスクの完了時間、マニピュレータ又は器具の位置及び姿勢等の研修生によって実行されるタスクに関連するパラメータだけでなく、研修生によって行われたアクションの他のパラメータも測定することができる。いくつかのケースでは、評価は、パラメータに関連する所定の基準及びこの比較に基づいて１つ又は複数のスコアを決定することを含むことができ、スコアは、関連するタスクの能力に基づいて、研修生の能力レベルやスキルを示すことができる。例えば、スコアは、処置中に１つ又は複数のタスクを実行するのに必要な時間及び／又は１つ又は複数のタスク中のシステムコンポーネントの位置付け又は移動に基づくことができる。指定されたパラメータに関連した研修生のスキルレベルは、マニピュレータアームの及び手術用器具のセンサからの等の遠隔操作医療システムから得られた運動学及び／又は他のセンサ情報を用いて自動的にスコア計算することができる。
【0078】
図３のようなシミュレートされたセットアップ手順について、評価システムは、センサ情報を使用して、演習中に方向付けられた器具の位置及び姿勢を決定することができる。例えば、センサ情報は、（例えば、手術用器具の遠隔中心位置及び関節のセットアップ値を使用して）ブロック３０４～３１０の実行中に得られたマニピュレータアームからの運動学的情報だけでなく、その処置に使用される他のセンサからのセンサ情報も含むことができる。いくつかの実施態様では、特定の外科タスクについての特に効果的な又は理想的なマニピュレータの位置及び姿勢を規定する運動学セットアップテンプレートを作成することができる。研修生の外科タスクの演習能力に関連するデータは、能力スコアを作成するためのそのテンプレートと比較される。この比較を使用して、研修生が特定の外科タスク演習についてポートを正しく選択したかどうか、マニピュレータアームのセットアップ関節及び他の構造体を正しく構成して関連するマニピュレータアームを適切な位置及び姿勢に配置しているかどうか、マニピュレータの衝突回避が最小化された状態で有効手術部位にアクセスを可能にするようにカニューレポートが適切に位置付けされ且つ間隔が開けられているかどうかを判定する。理想的なテンプレート情報は、例えば、研修生及び／又は専門家の以前の能力からのクラスタ化又は平均化された位置、運動、及び／又は配置、又は器具、アーム構成要素の既知の最適な位置とすることができる。
【0079】
別の例では、タスク演習の時間パラメータは、カニューレドッキング演習の開始時にタイマーを開始し、全てのマニピュレータを関連するカニューレに正しくドッキングしたことをシステムが感知したときにタイマーを停止することによって測定することができる。別の例として、タスク演習のマニピュレータ衝突回避パラメータは、ドッキングされた各マニピュレータアームからのセンサ情報をテンプレートセンサ情報に対して比較して、研修生がマニピュレータを規定の理想的な位置及び姿勢に又は規定の位置及び姿勢エンベローブ内にどれ位近くに配置できるようになったかを判定することにより、測定することができる。同様に、解剖学的モデル１２０の既知の物理的寸法と一緒に、マニピュレータアームからのセンサ情報を使用して、研修生がカニューレをモデルの正しいポート配置パターンに適切に位置付けしたかどうか、又は各カニューレの運動の遠隔中心（マニピュレータアームが移動する際に空間に静止して留まる各カニューレ上の位置）が、患者の体壁における組織の外傷を最小化するように、正しく位置付けされているかどうかを判定することができる。
【0080】
スコアは、様々な方法で決定することができる。研修生は、例えば、選択された外科手術についてポート配置をどれ位上手く選択したか、又は正しいポート配置を決定するのにどれ位の時間を要したかについてスコア計算することができる。又は、研修生は、（例えば、マニピュレータアームの衝突回避に関して）マニピュレータアームを配置されたカニューレにどの様に結合したか、又は解剖学的モデルに配置されたカニューレにマニピュレータアームを結合するのに研修生がどれ位の時間を要したかについてスコア計算することができる。
【0081】
メトリックは、研修生が演習を完了した際に、自分の能力を示すためにサンプリング及び／又は決定してもよく、これらの中間評価は、スコアを得るために、テンプレートに対してプロットすることができる。例えば、履歴データは、タスクを最も効率的に完了するために特定の動作を特定の順序で完了する必要があることを示すことができ、センサデータは、研修生がその動作を実行する実際の順序を示すために使用してもよく、完了した実際の動作順序に対する推奨される動作順序との間の差は、研修生のスコアを決定するために使用される。
【0082】
図４の外科手術中に行われる外科タスクについて、システムは、同様に、メトリックを計算する運動学的データ（例えば、運動量、演習での誤り、器具の運動の経済性等）に基づいて、１つ又は複数のタスクの演習の完了時間及びアーム位置等のパラメータを記録し判定することができる。能力パラメータは、演習を行う間、外科タスクの実行中に複数回測定することができ、メトリックは、これらのパラメータから決定される。ドライラボ演習の一例では、トレーニング演習は、研修生が手術用器具を用いてリングを拾い上げ、このリングを落とすことなく、リングを経路に沿って終了位置まで移動させる（必要に応じて別のハンドによって制御される他の器具にリングを移動させる）一方、全ての回で、リング及び器具チップを視野の中心に維持するようにカメラを移動させる、及び研修生の手を中央制御位置に維持するように制御装置を再配置することを要求することができる。縫合演習の別の例では、研修生は、手術部位をカメラの視野内に維持しながら、針を構成要素の縫合穴の所定の経路に駆動する、又は縫合糸を開口部に駆動して縫合糸の位置に関して閉じた空間要件となることを要求することができる。外科手術中の患者側タスク（例えば、助手の研修生は、１つ又は複数の器具を手術部位に案内し、付属部品を制御する等）は、それら助手の能力を同様に測定することができる。
【0083】
外科手術の評価のスコア及び／又は他の結果は、評価した外科演習について研修生の推定レベルやスキルを示す。いくつかの実施態様は、例えば、器具のエンドエフェクタの操作が、外科タスクについて理想的な又は正しい位置にどれ位近いか、及び／又は縫合糸、組織切断等についての理想的な位置にどれ位近いかを示すグラフィック表示のフィードバックを提供することができる。いくつかの実施態様は、タスク実行中に、正確な又は不正確な縫合糸、器具位置、ヒントの指標等のリアルタイムフィードバックを研修生等に出力することができる。いくつかのリアルタイムフィードバックは、器具をどの様に配置、移動、又は位置付けすべきかを示す教示とすることができる。
【0084】
いくつかの例では、パラメータ及び／又はスコアは、特定のユーザ又はチームの能力に基づいて第１の時間に決定することができ、次に、同一のパラメータ及び／又はスコアは、同じタイプの処置の実行中に第２の時間に記録することができる。これらのパラメータを比較して、特定の処置について、同じユーザ又はチームの能力を評価することができる。他の例では、パラメータは、異なるユーザ又はチームについて記録され、異なるユーザ及びチームを評価するために比較することができる。
【0085】
シミュレーション手順に基づいた研修生のこのようなスコアリングによって、その研修生の能力及び向上を測定することができる。また、研修生は、研修生が必要なタスクをどの位上手く実行することができ、及び／又は研修生の相対的な学習速度及び効率を評価し、及び／又は研修生のスキルレベルを決定するために、他の研修生に関して又は履歴データに関してスコア計算することができる。また、集約的な履歴スコアは、研修生が特定のタスクを実行するために困難性を明らかにすることができ、そのトレーニングは、そのタスクについてのトレーニングプログラムを改善するために変更することができる。
【0086】
図３及び図４の方法を使用して、トレーニング演習中に様々な役割の複数の研修生又はチームの能力を一度に測定し評価することができる。例えば、シミュレーションシステムは、１人又は複数の外科医、助手、看護師等の複数の人から構成されるチームのためのトレーニングを提供することができる。いくつかの例では、１つ又は複数の助手の研修生は、図３及び／又は図４の方法の患者側タスクを実行することができ、及び外科医の研修生は、コンソールを操作しながら、図４の方法の外科タスクを実行することができる。外科医以外の研修生は、解剖学的モデルを使用して患者側スキル（例えば、ポート配置、ドッキング、システムセットアップ、カメラ及び器具の挿入等）を練習することができる。これは、外科医以外の研修生が、大抵の場合に、手術室でこれらの活動を行うからである。チームは、自分たちの意思疎通をトレーニングして、従来の腹腔鏡ツールを使用して器具交換、ポート調整、縫合糸を通すこと等の様々なタスクを連携して実行する、子宮マニピュレータを調整してコンソール外科医を支援すること等を行うことができる。
【0087】
研修生のチーム等にトレーニングを提供するいくつかの実施態様では、上述した評価及びスコアリング方法を拡張して、個々の研修生に加えて、手術室のチームの能力を評価することができる。例えば、チームで協調して取り組むタスクの能力レベルやスキルを示す種々のスコアを出力することができる。このような評価は、上述したのと同様に自動化されたメトリックによって支援され、進捗状況を追跡し、及び履歴データと比較することができる。これらの機能は、チームが自分達の効率性を理解し、自分達をどの様に改善すべきかの習熟度の基準を提供するのに役立つ。
遠隔操作医療処置のトレーニング、評価及びスコアリングのいくつかの例は、”Anatomical Model and Method for Surgical Training”という標題の同時係属中の米国特許出願第１３／９６８，２５３号に記載されおり、この文献は、その全体を参照することにより本明細書に組み込まれる。
遠隔操作医療処置のトレーニング、評価及びスコアリングのいくつかの例は、”Anatomical Model and Method for Surgical Training”という標題の同時係属中の米国特許出願第１３／９６８，２５３号に記載されおり、この文献は、その全体を参照することにより本明細書に組み込まれる。
【0088】
図５は、シミュレーションシステム１００を使用してシミュレートされた医療処置の自動評価に使用される例示的なシステム５００の態様の概略図である。図５に示されるように、この例では、外科医コンソール１０４等の入力装置、及び／又は患者側カート１０６等の遠隔操作医療装置、又は１つ又は複数の医療器具の位置及び／又は姿勢に関するデータを提供可能な他のシステムを含むことができる医療装置５０２が使用される。医療装置５０２は、評価システム５０８に含まれるメモリ５０６に格納されるパラメータ情報５０４を提供する。例えば、評価システム５０８は、シミュレーション処理コンポーネント１０２に実装することができ、及び例えば、メモリ５０６は、メモリ２０６に実装することができる。
【0089】
パラメータ情報５０４は、上述したように運動学的な情報や他のセンサ情報等の、研修生の能力及び／又は関連するデータの能力パラメータを含むことができる。情報５０４は、例えば、シミュレーションシステム内のアプリケーション・プログラム・インターフェイス（API）を介して提供してもよい。（外科医又は研修生等の）操作者がコントロールの位置及び／又は姿勢を外科医コンソール１０４、ビジョン側カート１０８等に表す情報等のパラメータ情報５０４は、患者側カート１０６から及び／又はシステムの他の構成要素から提供することができる。
【0090】
いくつかの実施態様では、解剖学的モデル１２０に関連する（例えば、物理的寸法、カニューレポートの可能な位置、手術用マニピュレータ又は器具の位置等の）解剖学的モデル情報５１０は、メモリ５０６にも入力される。ベースライン、研修生の能力パラメータと比較するための所望の及び／又は正しいパラメータ及びデータを示すテンプレート情報５１２もメモリ５０６に入力することができる。システムのプロセッサ５１４、センサ等のシステム１００又は５００の他の構成要素によって収集及び／又は判定することができるイベントデータ、例えば研修生のタスク及びタスク完了に関連する記録時間等の他のパラメータ情報もメモリ５０６に格納することができる。こうして、メモリ５０６は、研修生の能力の評価を行うために評価システム５０８が使用する情報を格納することができる１つ又は複数の物理的なメモリ位置とすることができる。このような評価は、この評価を行うために使用することができる１つ又は複数の情報処理装置（例えば、マイクロプロセッサ（複数可）又は他の処理回路）とすることができるプロセッサ５１４によって実行される。
【0091】
１つ又は複数のスコア、ガイダンス・フィードバック、及び／又は他の情報等の評価結果を、表示画面又は他の表示装置上への可視化表示等の出力装置５１６、プリンタによる物理的なプリントアウト、又は他の出力を介して出力することができる。個々の演習結果を、（例えば、オペレータの選択入力５１８での入力に応じて）履歴データ５２０に追加してもよく、次にテンプレート情報５１２を変更するために使用してもよい。いくつかの実施態様では、オペレータ入力装置５１８によって、実施される特定の外科タスク演習を特定する及び／又は使用される特定の解剖学的モデルを特定する等の、トレーニングシステムのオペレータがトレーニング演習に関連する各種選択を入力するのを可能にする。評価システムは、適切な情報（例えば、適切なテンプレート情報５１２）を自動的に選択してこれを使用し、評価を行うことができる。
【0092】
評価システム５０８の実施形態は、（例えば、システムのディスプレイを介して表示される出力を用いて）遠隔操作医療システムに具現化してもよく、又はラップトップコンピュータ又は他の電子器具等の例えば別の小型コンピュータシステム上で実現してもよい。このような評価システムは、多数の医療装置からの及び医療従事者（例えば、外科医）の集団からのデータ収集を容易にし、研修生又は外科医の集団内でのデータ及び／又はスコアの比較を容易にするために、中央データベースにネットワーク接続してもよい。
手術システムのトレーニングの使用に加えて、本明細書に開示される種々の特徴は、手動手術用器具をシミュレートされた医療処置で使用することに基づいたタスクに使用することができる。トレーニングのためのスコア計算の態様は、手術部位の位置に到達する能力、器具の干渉、カメラ位置、外科医の快適性等の手作業でのトレーニングに適合させることができる。自動化されたスコア計算の態様は、上述したような解剖学的モデルの及び／又は他の位置の各種センサにより、カニューレ、手術用器具等の１つ又は複数の構成要素の位置を感知することに基づくことができる。
手術システムのトレーニングの使用に加えて、本明細書に開示される種々の特徴は、手動手術用器具をシミュレートされた医療処置で使用することに基づいたタスクに使用することができる。トレーニングのためのスコア計算の態様は、手術部位の位置に到達する能力、器具の干渉、カメラ位置、外科医の快適性等の手作業でのトレーニングに適合させることができる。自動化されたスコア計算の態様は、上述したような解剖学的モデルの及び／又は他の位置の各種センサにより、カニューレ、手術用器具等の１つ又は複数の構成要素の位置を感知することに基づくことができる。
【0093】
様々な実施態様は、理想的な又は所望の位置に対する差、時間、メトリック及び／又はスコア、研修生のレベル及び／又はスキル、及び正しい又は所望の結果を得るための提案及び／又は指示を示す評価結果及び／又は案内フィードバックを、シミュレートされた手順の間及び後に研修生に提供することができる。例えば、マニピュレータアームが外科タスクについての理想的な又は正確な位置にどれ位近くに配置されているかを示すグラフ図を表示装置に表示させることができる。さらに、いくつかの実施態様は、タスクの実行中に、手術用器具の正確な又は不正確な配置及び位置の指標、研修生へのヒント、特定の器具についての正しい位置及び姿勢や可動域及び配置の許容範囲のグラフィック表示の指標等のリアルタイムフィードバックを出力することができる。いくつかのリアルタイムフィードバックは、処置において何時何処で器具を配置又は位置付けすべきかを示す教示とすることができる。システムは、モデル内のポート、構成要素の位置、及びドックマニピュレータアームをどの様に選択するかを実演する指導を人に提供することができる。
【0094】
図６Ａ及び図６Ｂは、上述したようなシミュレーションシステムの１つ又は複数の表示画面に表示させることができるトレーニング画像の画面６００の例である。例えば、画面６００上の画像は、セットアップ手順の間に患者側カートのマニピュレータアームを配置する際にユーザを支援し案内するように表示させることができる。
図６Ａでは、表示画面６００は、例えば、以下の図７Ａの患者側カート７０６と同様に、患者側カートの例示的な実装態様の画像６０２を示す。画像６０２は、３つのマニピュレータアーム６０４の画像を含む。いくつかの実施態様では、セットアップシミュレーション手順の間に、ユーザは、アーム画像６０４に対応する物理的なアームを物理的に移動させ、ここでこの動きは、アームセンサを介してシミュレーション処理コンポーネント（又は、他の処理コンポーネント）によって感知され、及び処理コンポーネントによって、物理的なアームに対応して移動するように、アーム画像６０４を画面６００上に表示させる。
図６Ａでは、表示画面６００は、例えば、以下の図７Ａの患者側カート７０６と同様に、患者側カートの例示的な実装態様の画像６０２を示す。画像６０２は、３つのマニピュレータアーム６０４の画像を含む。いくつかの実施態様では、セットアップシミュレーション手順の間に、ユーザは、アーム画像６０４に対応する物理的なアームを物理的に移動させ、ここでこの動きは、アームセンサを介してシミュレーション処理コンポーネント（又は、他の処理コンポーネント）によって感知され、及び処理コンポーネントによって、物理的なアームに対応して移動するように、アーム画像６０４を画面６００上に表示させる。
【0095】
特定の段階又はセットアップ手順のブロックにおける所望の位置に対するアームの状態を示す指標も表示することができる。例えば、画像６０２は、身体（患者）側カートの１つ又は複数のアームの位置が現在不正確又は準最適であることを示すことができる。一例では、表示画面６００は、不正確な位置にある画像６０２の領域の周りに囲まれた線や境界線６０６を表示することができる。この例では、左のマニピュレータアーム６０４が、ライン６０６によって丸で囲まれているその関節の領域が不正確であることを示す。こうして、ライン６０６によって、視聴者の注意を誤って位置付けされた領域に向ける。いくつかの実施態様では、特定の関節の強調表示６０８等のより正確な指標は、誤った位置付けを具体的に指摘することができる。例えば、強調表示６０８は、特定の色、パターン、又は他の識別マークとすることができる。キャプション６１０は、強調表示６０８で示されるその特定の問題を示すことができ、この場合には左のマニピュレータアーム（患者側マニピュレータ、PSM）６０４は、例えば解剖学的モデルに向けて十分に前方に向いていないことを示す。ユーザが所望する場合に、いくつかの実施態様では、誤った位置付けについての更なる説明を、表示させることができる。
【0096】
図６Ｂは、患者側カートの表示画像６０２に示されるように、物理的な患者側カートの異なる部分が、誤って位置付けされた表示画面６００の別の例を示す。ライン６１６は、不正確な位置付けである画像６０２の領域を示し、この例では、内視鏡の中央アーム（ECM）、すなわち患者側カートの中央アーム６０４が不正確な位置付けであることを示す。強調表示６１８は、修正する必要があるアーム６０４の特定の関節を示す。例えば、キャプション６１０は、中央の内視鏡マニピュレータ６０４が、現在選択された外科手術の患者やモデル内に挿入された場合に、そのアームの器具が正確な又は最適なビューを提供することを可能にする「スイートスポット(sweet spot)」内に位置付けされていないことを示す強調表示６１８を視聴者に通知する。他の実施態様では、視覚、音声、触覚、又は他の形態を含む他のタイプの線、境界、及び／又は指標を表示させることができる。
【0097】
画面６００の画像等の仮想現実又は他の生成された画像、及び／又はカメラ画像に重ね合わされた拡張現実（AR）ゴースト画像は、関心又は興味のシステム領域をユーザに示す又は強調表示するためにシステム表示装置上に表示することができる。例えば、マニピュレータアームのセットアップされた関節は、上述したように、誤った位置を強調表示することができる。また、マニピュレータアーム及び／又は器具の到達限界を表示することができる。さらに、アーム及び／又は器具同士の間の内部又は外部の衝突が生じる空間領域を、ユーザが意識するように、ゾーンとして強調表示することができる。
【0098】
いくつかの実施態様では、提案等のフィードバック情報を、画面６００上に表示することができる。例えば、テキストによる提案は、強調表示されたアームを正しい位置に移動させる推定移動量を示すことができる。グラフィック表示の提案は、同じディスプレイ６００上に、現在の誤った位置に対する正しい位置を（例えば、異なる色又は他の形式で）表示することができる。ユーザが判断を下す又は決定を行うことを可能にするためにより広範なヒントを提供することもできる。このような提案は、タスクを実行するための正しい方法を学ぶようにトレーニング演習中のユーザを導くことができる。
【0099】
種々の他のタイプのフィードバック情報を、セットアップ手順及び外科手術中に１つ又は複数の表示画面上に表示して、システムセットアップに関するガイダンス及びマニピュレータアームの正確な位置付けだけでなく、外科タスクに関するガイダンスも提供することができる。例えば、指示や警告等のテキスト情報メッセージを表示して、手順の間に正確な又は不正確なアクション又は位置付けをユーザに通知することができる。（例えば、モータ制御されるマニピュレータアーム及び／又は手術用器具での）音声出力又は触覚出力等のいくつかのフィードバックを、他の形態で提供することができる。
【0100】
こうして、シミュレーションシステムは、ライラボ又はウェットラボの患者側のトレーニングシナリオ等の処置中にシステムのセットアップのガイダンスやスキルのフィードバックを研修生に提供することができる。これはまた、特に複数の研修生を同時にトレーニングする場合に、シミュレーション手順の間にミスを絶えず見つけるような、助手をトレーニングする際の負担を軽減することができる。システムは、例えば、患者側カート（及び他の構成要素）及び／又は解剖学的モデルで手動の器具を操作するユーザだけでなく、外科医コンソールを操作する外科医の研修生を支援するために、外科手術及びタスク中にガイダンス及びフィードバックを提供することもできる。
【0101】
実施例
シミュレートされた外科手術についての多くの異なる変形形態は、本明細書に記載のシミュレーションシステム１００及び方法に基づいて実施することができる。いくつかの例示的なシミュレーション構成について、以下に説明する。
シミュレーションは、外科手術のセットアップをシミュレートするために必要な患者側カート１０６、ビジョン側カート１０８、及び／又は他のシステムコンポーネントを使用するセットアップ手順を含むことができる。
シミュレートされた外科手術についての多くの異なる変形形態は、本明細書に記載のシミュレーションシステム１００及び方法に基づいて実施することができる。いくつかの例示的なシミュレーション構成について、以下に説明する。
シミュレーションは、外科手術のセットアップをシミュレートするために必要な患者側カート１０６、ビジョン側カート１０８、及び／又は他のシステムコンポーネントを使用するセットアップ手順を含むことができる。
【0102】
いくつかの実施態様では、セットアップシミュレーションで患者側カート１０６のみが、使用される。例えば、ユーザは、カートの位置、カートのアーム、カートの手術用器具をセットアップすることができ、シミュレーション処理コンポーネント１０２は、これらの要素の位置を読み取り、現在のシミュレーション状態及びセットアップをどれ位上手く行えたかについてのフィードバック等を提供することができる。例えば、表示患者側カート又は別の構成要素上の表示画面、及び／又は音声スピーカ等の出力装置を使用して、セットアップ手順の現在の状態の表現及び／又はセットアップ手順のユーザ能力に関するフィードバックを出力することができる。
【0103】
シミュレートされたセットアップ手順のいくつかの実施態様は、解剖学的モデルの使用を含むことができる。助手の研修生は、手術台上の解剖学的モデルをセットアップすることができる。モデルは、剛性材料から形成された無生物モデルとすることができ、略ヒト患者の一部のような形状とすることができる。このモデルは、特定の外科手術についての特定の構成となるようにセットアップすることができる。例えば、無生物のトレーニング演習では、ワイヤで操作するビーズやリング、縫合、切断される材料のゴムや発泡体片、又は他に手術用器具で操作される物等の演習装置をモデル内に配置することができる。ウェットラボ演習では、モデルは、ブタ又は解剖用の死体モデル等の生物試料とすることができ、及び／又は１つ又は複数の生物試料を、無生物のモデル内に配置することができる。
【0104】
セットアップ手順のいくつかの実施態様では、助手の研修生は、患者側カートを解剖学的モデルに近い手術位置に位置付けすることができる。いくつかの実施態様では、シミュレーション処理コンポーネント１０２は、患者側カート１０６の位置を示す信号を受信することができ、シミュレーション処理コンポーネントは、患者側カート１０６又はビジョン側カート１０８の表示画面等のディスプレイに信号を提供することができ、処置の現在の状態の指標及び解剖学的モデルに対する患者側カートの位置付けの正確性に関するフィードバックを助手の研修生に提供する。いくつかの実施態様では、助手は、患者側カートに対してモデルを配置し、複数の点でモデル表面に接触するように患者側カートのアームを位置付けすることができる。次に、助手の研修生は、解剖学的モデルに対して患者側カートのアーム及び器具を位置付けすることができる。助手は、モデルに適切な開口部を選択し、このモデルの選択された開口部にカニューレを配置し、次に手術用器具をカニューレ内に適切に配置することができる。
【0105】
いくつかのシミュレーションでは、完全に機能する手術用器具が、患者側カートのアームに設けられ、研修生は、手術用器具をモデルのポート内に挿入することができる。他の実施態様では、１つ又は複数のダミー器具を、患者側カートのアームに設ける。これらのダミー器具は、カニューレ内に挿入することができる器具のベース部分を含むことができるが、爪、はさみ、又はメス等のエンドエフェクタを含まない。
いくつかの実施態様では、手動器具も、解剖学的モデルに関連して、医療処置で使用することができる。助手の研修生は、手動器具をモデルの適切な開口部に配置することができ、これらの器具の位置は、シミュレーション処理コンポーネントによって追跡される。
いくつかの実施態様では、手動器具も、解剖学的モデルに関連して、医療処置で使用することができる。助手の研修生は、手動器具をモデルの適切な開口部に配置することができ、これらの器具の位置は、シミュレーション処理コンポーネントによって追跡される。
【0106】
様々な実施態様では、ビジョン側カート１０８は、さらに又は代わりに、セットアップシミュレーションに使用することができる。いくつかの実施態様では、ビジョン側カートは、セットアップ手順において解剖学的モデル及び患者側カートと共に使用される。ユーザは、例えばモデル上に及び／又は内に位置付けされた１台以上のカメラによって取り込まれたようなモデル及び／又は遠隔操作医療装置のアームや器具をビジョン側カートの表示画面上で見ることができる。例えば、ユーザは、ビジョン側カートの表示画面を見て、ユーザが内視鏡器具を位置付けした後の手術部位の画像を表示画面に提供するこの内視鏡のビューに基づいて、手術用器具が正しく位置付けされているかどうかを決定することができる。いくつかの実施態様では、解剖学的モデル、物理的手術部位、及び／又は遠隔操作アーム及び器具をモデル化する仮想環境を表示することができる。いくつかの実施態様では、ユーザは、シミュレートされた手順で１つ又は複数の機能を制御するためにビジョン側カート上のコントロールの使用を必要とし得る。
【0107】
別の実施態様では、ビジョン側カートは、解剖学的モデル無しで及び／又は患者側カート無しで、セットアップ手順で使用される。例えば、ユーザは、ビジョン側カートを手術領域内に位置付けするように試験する、及び／又は外科医コンソール等の他の構成要素に対してビジョン側カートを位置付けするように試験することができる。
いくつかの実施態様では、１つ又は複数の外科医コンソールを、シミュレートされたセットアップ手順に含めることができる。例えば、外科医コンソールを手術領域内に位置付けすることをシミュレートすることができる。外科医の研修生が、セットアップ手順の間に、解剖学的モデルでのポート選択等のいくつかのタスクを実行するために必要とされ得る。外科医コンソールは、単独で、又は患者側カート、ビジョン側カート、及び／又は解剖学的モデル等の他の構成要素と一緒に使用することができる。例えば、セットアップ手順は、構成要素の手術領域内への位置付け及び器具の解剖モデル上へのセットアップがシミュレートされる場合に、外科医コンソール及び解剖学的モデルをのみを含むことができる。一例では、ユーザが手動器具をモデル内でセットアップしながら、モデルの物理的な態様に基づいた仮想手術部位を、外科医コンソールによって表示することができる。
いくつかの実施態様では、１つ又は複数の外科医コンソールを、シミュレートされたセットアップ手順に含めることができる。例えば、外科医コンソールを手術領域内に位置付けすることをシミュレートすることができる。外科医の研修生が、セットアップ手順の間に、解剖学的モデルでのポート選択等のいくつかのタスクを実行するために必要とされ得る。外科医コンソールは、単独で、又は患者側カート、ビジョン側カート、及び／又は解剖学的モデル等の他の構成要素と一緒に使用することができる。例えば、セットアップ手順は、構成要素の手術領域内への位置付け及び器具の解剖モデル上へのセットアップがシミュレートされる場合に、外科医コンソール及び解剖学的モデルをのみを含むことができる。一例では、ユーザが手動器具をモデル内でセットアップしながら、モデルの物理的な態様に基づいた仮想手術部位を、外科医コンソールによって表示することができる。
【0108】
シミュレーションシステムの他の構成要素も、セットアップシミュレーション中に単独で、又は他の構成要素と共に使用することができる。例えば、シミュレーション処理コンポーネントは、使用されるシステムコンポーネントを監視することができ、助手が、各システムコンポーネントを手術領域や手術室内に正しく位置付けするために必要とされ得る。
いくつかの実施態様では、セットアップ手順は、シミュレーションのみを行うことができる。他の実施態様では、外科手術のシミュレーションを、実際の外科処置のように、セットアップ手順の後に行うことができる。あるいはまた、セットアップ手順のシミュレーションをすることなく、シミュレートされた外科手術を、それ自体で行うことができる。
いくつかの実施態様では、セットアップ手順は、シミュレーションのみを行うことができる。他の実施態様では、外科手術のシミュレーションを、実際の外科処置のように、セットアップ手順の後に行うことができる。あるいはまた、セットアップ手順のシミュレーションをすることなく、シミュレートされた外科手術を、それ自体で行うことができる。
【0109】
様々な実施態様を使用して、外科手術のシミュレーションを行うことができる。一実施態様では、外科医コンソールのみが使用され、シミュレーション構成要素は、仮想手術用器具が、コンソールを操作する外科医の研修生によって提供されるユーザ入力に基づいて仮想構造を仮想手術部位で操作するように表示される仮想環境のシミュレーションを提供する。
他の実施態様では、外科医コンソール（複数可）及び解剖学的モデルのみが、シミュレートされた外科手術で使用される。例えば、遠隔操作手術用器具は、シミュレーション処理コンポーネント１０２によって仮想環境内で表示され且つコンソールの研修生によって制御される仮想器具とすることができる。助手の研修生によって制御される１つ又は複数の実際の手動器具を、モデル内に挿入することができ、ここで、手動器具の位置が、モデルのセンサを使用してシミュレーション処理コンポーネントによって追跡され、シミュレーション処理コンポーネントによって、手動器具チップの仮想バージョン又は画像取込みされた手動器具を、仮想遠隔操作手術用器具と一緒に仮想環境内で表示するのを可能にする。
他の実施態様では、外科医コンソール（複数可）及び解剖学的モデルのみが、シミュレートされた外科手術で使用される。例えば、遠隔操作手術用器具は、シミュレーション処理コンポーネント１０２によって仮想環境内で表示され且つコンソールの研修生によって制御される仮想器具とすることができる。助手の研修生によって制御される１つ又は複数の実際の手動器具を、モデル内に挿入することができ、ここで、手動器具の位置が、モデルのセンサを使用してシミュレーション処理コンポーネントによって追跡され、シミュレーション処理コンポーネントによって、手動器具チップの仮想バージョン又は画像取込みされた手動器具を、仮想遠隔操作手術用器具と一緒に仮想環境内で表示するのを可能にする。
【0110】
別の変形形態では、外科医コンソール及び患者側カート１０６が、外科手術で使用される。いくつかの例では、仮想環境が、シミュレーション処理コンポーネント１０２によって、例えば外科医コンソール１０４のディスプレイに表示される。外科医コンソールを操作する研修生は、患者側カートの物理的なアーム及び手術用器具を制御する入力を提供するが、シミュレーション処理コンポーネントは、これらの器具の手術部位における対応する仮想バージョンをシミュレーションシステムのディスプレイ上に表示する。従って、実際の又はダミー器具を、患者側カートの手術用器具に使用することができる。そのような実施態様の一例を、図７Ａ及び図７Ｂに関連して以下に示す。
【0111】
別の変形形態では、外科医コンソール及び患者側カートは、物理的手術部位を外科医コンソールの表示装置に表示するシミュレートされた外科手術で使用される。例えば、物理的手術部位の画像を取り込むカメラ（又は、他の撮像器具）を有する１つ又は複数の内視鏡を含む実際の、完全に機能する手術用器具が、物理的モデル内に挿入される。画像は、コンソールディスプレイ上に表示される。こうして、コンソールのユーザは、自分が操作している実際の器具を見ている。シミュレーションシステムは、記録パラメータを含むシミュレーションを調整し、ガイダンス及び評価等を提供することができる。そのような実施態様の一例を、図９Ａ及び図９Ｂに関連して以下に示す。
【0112】
他の変形形態では、ユーザに表示される画像は、生成された仮想画像と物理的手術部位の取込み画像の組合せとすることができる。例えば、生成された仮想器具は、他の物理的器具の取込み画像と一緒に表示することができ、又は物理的器具の画像は、実際の手術部位のように見えるように生成された仮想背景と一緒に表示することができる。いくつかの実施態様では、物理的手術部位の画像は、物理的手術部位の画像の一部の上に表示される拡張画像と組み合わせることができる。例えば、グラフィックは、医療処置前、中、及び後に、物理的部位の画像上に重ね合わされ、状態、指示、警告、及び他の情報等のフィードバック情報を提供することができる。
【0113】
他の変形形態では、ビジョン側カートが、システムに含まれる。手術部位の上述したディスプレイのいずれかは、助手のユーザによって視認されるビジョン側カートの１つ又は複数のディスプレイ上にも表示すことができる。いくつかの実施態様では、外科医コンソール及びビジョン側カートは、いくつかの実施態様で異なる画像やビューを表示することができる。例えば、シミュレーションシステムのいくつかの表示画面は、物理的手術部位の内視鏡又はカメラビューを表示することができる一方、システムの他の表示画面は、物理的手術部位に対応する仮想環境を表示することができる。例えば、物理的部位のカメラビューは、助手のユーザがその手術部位での手動器具を操作するためにビジョン側カートによって表示することができる。一方、物理的部位に対応する仮想環境は、外科医コンソールに表示させることができる。別の例では、ビジョン側カートは、外科医コンソールによって表示された手術部位の画像の代わりに又はこれに加えて、教育のフィードバックを表示することができる。
【0114】
図７Ａは、本明細書に記載のいくつかの構成要素の例を含むシミュレーションシステム７００の一例を示す。外科医コンソール７０４は、コンソールに座ってコントロールを操作する外科医又は外科医の研修生等のユーザにコントロールを提供することができ、また、（図５Ｂに示される）表示画面も含むことができる。患者側カート７０６は、アームの端部に手術用器具を含み且つ外科医コンソール５０４においてユーザによって操作されるコントロールに応答する多数のマニピュレータアーム７１４を含む。手術室のテーブル７２２が、患者側カート７０６に隣接して位置付けされ、及び患者側カートの手術用器具を受容することができる解剖学的モデル７２０（この例のモデルは、手術台の上の布で覆われている）を含むことができる。ビジョン側カート７０８は、表示画面７２６と、電子器具等の他の構成要素とを含むことができる。この例では、表示画面７２６は、シミュレーション処理コンポーネントによって生成された仮想手術部位を表示する。例えば、モデル７２０は、１つ又は複数の開口部を有するが内部の物理的手術部位を有さない表面又はオブジェクトのみとすることができ、ここで、画面７２６上の仮想手術部位は、対応する物理的部位に基づいていない。別の例では、画面７２６上に示される仮想手術部位は、モデル７２０内に含まれる物理的部位に少なくとも部分的に対応することができる。シミュレーション処理コンポーネント１０２は、システム７００の外科医コンソール７０４、患者側カート７０６等の１つ又は複数の構成要素に配置することができ、又はそれ自体のハウジング（図示せず）内に配置することができる。
【0115】
図７Ｂでは、外科医コンソール７０４に設けられた例示的な表示画面７４０が示される。いくつかの実施態様では、２つの立体表示画面７４０を、３次元ビューを表示すために設けることができ、及び／又は画面７４０は、タッチ感応式スクリーンとすることができる。この例では、表示画面７４０は、シミュレーション処理コンポーネント１０４によって生成された仮想環境を表示する。例えば、仮想器具チップ７４２（例えば、エンドエフェクタ又は他の端部）が、コンソール７０４でのコントロールのユーザ操作に基づいて、表示画面７４０上に表示され且つ移動される。これらの表示された仮想器具チップ７４２は、患者側カート７０６における、モデル７２０内で移動する物理的器具チップも追跡する。オブジェクト７４６の一部を縫合する際に使用される器具チップ７４２によって把握されるスレッド７４４等の環境内のオブジェクトも表示される。いくつかの実施態様では、仮想スレッドが、仮想環境内で生成され、及び／又はオブジェクト７４６は、モデル７２０内の物理的オブジェクトとは異なる新たな仮想オブジェクトとして生成される。他の実施態様では、仮想スレッド７４４は、物理的器具チップによってモデル７２０内で操作される物理的なスレッドに対応することができる。同様に、操作されたオブジェクト７４６は、モデル７２０内の物理的オブジェクトに対応することもできる。
【0116】
いくつかの実施態様では、図７Ａに示されるように、ビジョン側カート７０８上の表示画面７２６は、コンソール７０４の画面７４０上に表示されるのと同じ環境を表示することができる。これによって、助手のユーザは、コンソールのユーザが視認しているシーンを見ることができ、手術処置の間に今まで以上の支援を可能にする。
他の実施態様では、患者側カート７０６の内視鏡又は他の撮像装置は、モデル７２０内の物理的部位の画像を取り込むことができ、実際の物理的部位のこれらの画像は、生成された仮想環境の代わりに又はいくつかの生成された仮想オブジェクトと組み合わせて、表示画面７４０及び／又は表示画面７２６上に表示することができる。
他の実施態様では、患者側カート７０６の内視鏡又は他の撮像装置は、モデル７２０内の物理的部位の画像を取り込むことができ、実際の物理的部位のこれらの画像は、生成された仮想環境の代わりに又はいくつかの生成された仮想オブジェクトと組み合わせて、表示画面７４０及び／又は表示画面７２６上に表示することができる。
【0117】
図８は、図７Ａに示される患者側カート７０６と同様の患者側カート１０６に含めることができる例示的な遠隔操作医療装置８００及び例示的な解剖モデルを示す斜視図である。装置８００は、複数のマニピュレータアームを含むことができ、ここで各アームは、１つ又は複数の手術用器具に結合される。例えば、各アームは、患者モデル内の各ポート又はカニューレに結合（ドッキング）することができる遠隔操作マニピュレータとみなすことができ、及びマニピュレータは、カニューレと、カニューレを通ってモデル又は患者内に延びて物理的手術部位に到達する器具との両方を制御する。例えば、一方の器具８０２は、カメラ又は内視鏡用器具とすることができ、及び他の３つの器具８０４、８０６、８０８は、外科手術用器具とすることができる。
【0118】
外科手術室の環境の患者に行われるシミュレーションを向上させるために使用される解剖学的モデル８２０の例が示される。モデル８２０は、複数の孔８２２と、カニューレ及び手術用器具が挿通される患者の表面をシミュレートする上面とを含むことができる。いくつかの実施態様では、１つのカニューレ及び器具を、それぞれの孔に挿入することができるが、他の実施態様では、複数のカニューレ及び／又は器具を、単一の孔（例えば、単一の部位）に挿通することができる。モデル８２０は、その下部又は内部に、１つ又は複数の物理的手術部位８２４を保持することができる空洞部を含むことができ、その手術部位において、可撓性材料、スレッド、ワイヤ上のビーズ等の演習オブジェクトを操作する物理的な演習を行うことができる。
【0119】
モデル８２０は、手術台上の患者の位置に対応する位置で（上述した手術台７２２等の）手術台の上に置かれる。セットアップシミュレーション手順のいくつかの実施態様では、異なる外科手術は、様々な異なるポート配置を必要とし、トレーニングを受けているユーザは、１つの外科手術について第１の位置に（例えば、手術台の脚部で、患者の脚部の間の位置をシミュレートする）及び別の外科手術について第２の位置に（例えば、手術台の側面に）装置８００を位置付けする必要があり得る。解剖学的モデル８２０及び演習についてのいくつかの例は、”Anatomical Model and Method for Surgical Training”という標題の同時係属中の米国特許出願第１３／９６８，２５３号に記載され、この文献は、その全体を参照することにより本明細書に組み込まれる。
【0120】
図９Ａは、本明細書に記載されるいくつかの構成要素の例を含むシミュレーションシステムの別の例９００を示す。図７Ａと同様に、外科医コンソール９０４は、ユーザにコントロールを提供することができ、及び１つ又は複数の表示画面（図９Ｂに示す例）も含むことができる。患者側カート９０６は、アームの端部に手術用器具を含むとともに外科医コンソール９０４のユーザによって操作されるコントロールに応答する多数のマニピュレータアーム９１４を含む。手術室のテーブル９２２が、患者側カート９０６に隣接して位置付けされ、及び上述したのと同様の解剖学的モデル９２０を含むことができる。ビジョン側カート９０８は、表示画面９２６と、電子機器等の他の構成要素とを含むことができる。この例では、以下の図９Ｂで説明するように、表示画面９２６は、外科医コンソールの画面に表示される環境と同様の仮想環境を表示する。シミュレーション処理コンポーネント１０２に対応する構成要素は、上述したのと同様に、システム９００の１つ又は複数の構成要素に配置することができる。
【0121】
シミュレーションシステム９００は、腹腔鏡器具として示される手動器具９３０等の手動手術用器具も含むことができる。いくつかの実施態様では、手動器具９３０は、シミュレートされた外科手術中に、助手のユーザによってモデル９２０内で又はこのモデルに対して案内され且つ操作することができる一方、外科医のユーザは、外科医コンソール９０４を使用して、遠隔操作手術用器具を制御する。外科医の研修生及び助手の研修生は、シミュレーション中に一緒にトレーニングすることができる。他の実施態様では、外科医の研修生は、外科医コンソール９０４を操作することができ、及び１つ又は複数の手動器具９３０を操作することができ、ここで例えば、１つ又は複数の遠隔操作器具（例えば、内視鏡器具）は、シミュレーションシステムによって動作させることができる。いくつかの実施態様によって、遠隔操作器具を使用する外科手術のシミュレーションが可能になり、次に１つ又は複数の手動器具を使用して、その同じ外科手術のシミュレーションを可能にする。これらの２つのシミュレーションの結果は、次にシステムによって比較することができ、その結果がまとめられる。手動器具９３０を含むいくつかの実施態様について、以下で説明する。
【0122】
図９Ｂでは、外科医コンソール９０４に設けられた例示的な表示画面９４０が示される。この例では、表示画面９４０は、シミュレーション処理コンポーネント１０４によって生成された２Ｄ又は３Ｄ環境とするとことができる仮想環境を表示し、いくつかの実施態様ではタッチ感応式スクリーン上に表示することができる。この例では、仮想環境は、図７Ｂの生成された演習環境の代わりに、身体組織及び他の身体要素を含む実際の患者内の実際の患者の手術部位をシミュレーションする内部の現実的な背景を提供する。仮想器具チップ９４２が表示され、コンソール９０４におけるコントロールのユーザ操作に基づいて、表示画面９４０上で移動される。表示された器具チップ９４２は、モデル９２０内の物理的手術部位で移動する、患者側カート９０６の物理的器具チップも追跡する。
【0123】
器具チップ又はエンドエフェクタ９４２ａによって把持され、演習の仮想オブジェクト９４８を辿る道筋９４６に沿って移動するリング９４４等の仮想環境内のオブジェクトも表示される。いくつかの実施態様では、リング９４４とワイヤトラック９４６は、仮想器具９４２に対応する物理的器具によって操作される、モデル９２０に提供された対応する物理的オブジェクトを有することができる。他の実施態様では、物理的オブジェクトを１つ又は複数の仮想オブジェクトに対応させる必要はない。例えば、仮想オブジェクトのいずれも、物理的器具に対応させる必要はなく、患者側カートの物理的器具は、ダミー器具とすることができる。それとも、仮想器具は、単にモデルに何ら相互作用しない物理的器具に対応させることができる。
【0124】
例えば、器具チップ９４２ｂは、モデル９２０内の物理的部位に対応する物理的オブジェクトを有さない仮想オブジェクト９５０を把持することができる。いくつかの実施態様では、触覚出力が、外科医コンソールの１つ又は複数のアクチュエータを使用して外科医コンソール９０４のコントロールに提供することができ、ユーザにオブジェクト９５０を操作する感覚を提供する。
いくつかの実施態様では、器具チップ９５２は、画面８４０上に及び仮想環境内に表示することができる。例えば、チップ９５２は、図９Ａに示した解剖学的モデル９２０内に挿入された手動器具９３０等の手動器具に対応させることができる。器具９３０の物理的端部や先端は、本明細書のいくつかの実施態様で説明したように、モデル９２０内で追跡することができ、その対応する仮想チップ９５２は、画面９４０の仮想環境内でそれに応じて移動する。例えば、仮想チップ９５２は、モデル９２０内の物理的オブジェクトに対応する仮想オブジェクトと、及び／又は物理的オブジェクトと全く対応しない仮想オブジェクトと、相互作用するように表示することができる。
いくつかの実施態様では、器具チップ９５２は、画面８４０上に及び仮想環境内に表示することができる。例えば、チップ９５２は、図９Ａに示した解剖学的モデル９２０内に挿入された手動器具９３０等の手動器具に対応させることができる。器具９３０の物理的端部や先端は、本明細書のいくつかの実施態様で説明したように、モデル９２０内で追跡することができ、その対応する仮想チップ９５２は、画面９４０の仮想環境内でそれに応じて移動する。例えば、仮想チップ９５２は、モデル９２０内の物理的オブジェクトに対応する仮想オブジェクトと、及び／又は物理的オブジェクトと全く対応しない仮想オブジェクトと、相互作用するように表示することができる。
【0125】
図１０Ａ～図１０Ｃは、解剖学的モデル内で器具を追跡することに関連する例を示す。図１０Ａは、患者側カート１００２の例示的な実施態様１０００及び解剖学的モデル１００４の概略図である。患者側カート１００２のマニピュレータアーム１００６ａ、１００６ｂ、及び１００６ｃは、それぞれ、手術用器具１００８ａ、１００８ｂ、及び１００８ｃである手術用器具を含み、及びマニピュレータアーム１００６ｄは、内視鏡器具１００８ｄである操作用器具を含む。各器具１００８ａ～ｄは、それぞれ、関連するカニューレ１０１０ａ、１０１０ｂ、１０１０ｃ、又は１０１０ｄ内に挿入される（例えば、器具は、カニューレ１０１０内のトロカールとすることができ、又はカニューレ１０１０は、いくつかの例では、モデル１０１０に最初に挿入されるトロカール１００８の一部とすることができる）。カニューレ１０１０は、モデル１００４の開口部に挿入される。
例えば、内視鏡器具１００８ｄは、独自の感知基準原点１０１４を有することができ、モデル１００４に挿入された器具及びカニューレをその基準原点に対して感知することができる。例えば、内視鏡カメラは、それらカニューレがカメラの視野内で移動したときに、モデル内でのカニューレ１０１０の画像を取り込むことができる。
例えば、内視鏡器具１００８ｄは、独自の感知基準原点１０１４を有することができ、モデル１００４に挿入された器具及びカニューレをその基準原点に対して感知することができる。例えば、内視鏡カメラは、それらカニューレがカメラの視野内で移動したときに、モデル内でのカニューレ１０１０の画像を取り込むことができる。
【0126】
モデル１００４は、モデル１００４に挿入された器具を追跡する（又は、他の方法で相互作用する）ための独自の感知システムも含むことができる。図１０Ａの例示的な実施態様では、１つ又は複数のセンサが、カニューレ１０１０を感知するために、モデル１００４内に設けられる。この例では、カメラシステム１０２０が、モデル１００４の内部を感知するために、モデル１００４の内部ベースに位置付けされる。例えば、カメラシステム１０２０は、モデル１００４等の患者側要素（PSE）の付近又はこの内部に位置付けすることができ、又はモデルの底部又は側面の他の位置に位置付けすることができる。こうして、カメラシステム１０２０は、モデルに挿入されるカニューレ１０１０の位置を示すだけでなく、カニューレ１０１０に挿通された手術用器具１００８の位置を示す画像を連続的に取り込む。こうして、カメラシステム１０２０は、カメラシステムによって取り込まれた画像の基準点となる独自の感知基準原点１０２２を有する。図１０Ａの例では、２つのカメラが、カメラシステム１０２０に示されており、解剖学的モデルでのカニューレ１０１０の位置を決定する際のステレオ三角測量を可能にする。他の実施態様では、カメラシステム１０２０は、カニューレ及び器具の位置及び動きを取り込むために、単一のカメラ又は他のタイプのセンサを含むことができる。
【0127】
図１０Ｂは、図１０Ａのモデル１００４内のカメラシステム１０２０等の、解剖学的モデル内のカメラシステムの例示的なビュー１０５０を示す。カメラシステム１０２０は、２つのカメラを含み、左側のビュー１０５２は、一方のカメラのビューであり、右側のビュー１０５４は、他方のカメラのビューである。上面１０５６及び底面１０５８だけでなく、モデルの上部の開口部１０６０も示されている。カニューレ１０１０は、モデルの特定の孔に挿通された状態で見ることができる。２つのカメラを有するこの例では、ステレオ三角測量を使用して、カメラのシステム原点に対する各カニューレ１０１０の位置を正確に決定することができる。いくつかの実施態様では、各カニューレ１０１０は、個々のマーク又は他の特徴を用いて他の各カニューレ１０１０と区別することができる。例えば、各カニューレ１０１０は、異なる外部の色を有することができ、感知システム１０２０によって各カニューレ１０１０を容易に識別するのを可能にする。
【0128】
図１０Ｃは、表面に孔１０６０を含むモデル１００４の上部の外面の平面図を示す。マーク１０７０は、挿入されたカメラシステム１０２０によってカニューレ１０１０が検出された特定の孔を示す。このようなビューは、カメラシステム１０２０の感知ビュー及び可視化ソフトウェアで使用される解剖学的モデル１００４の（例えば）３Ｄコンピュータ支援設計（CAD）モデルに基づいて、シミュレーション処理コンポーネント１０４によって作成することができる。図１０Ｃのビューを使用して、シミュレートされた医療処置中に、教育又は指導目的のためにモデルのポート配置を表示することができる。例えば、マーキングに使用されたポートを示すビューは、シミュレートされる特定の医療処置で使用される正しいポートを表示する同様のビューの次に表示することができる。
手動器具は、上述したカニューレ及び遠隔操作器具と同様に、感知システム１０２０によって追跡することができる。例えば、手動の腹腔鏡ツールを追跡することができる。他の器具は、子宮マニピュレータ、引戻しツール、針通しツール、別のマニピュレータアーム、又はシミュレーションシステムの別の構成要素に取り付けられた器具、又は患者側カートとは別の器具又は装置がシミュレーション環境内に組み込まれ且つ追跡される他の器具を含むことができる。
手動器具は、上述したカニューレ及び遠隔操作器具と同様に、感知システム１０２０によって追跡することができる。例えば、手動の腹腔鏡ツールを追跡することができる。他の器具は、子宮マニピュレータ、引戻しツール、針通しツール、別のマニピュレータアーム、又はシミュレーションシステムの別の構成要素に取り付けられた器具、又は患者側カートとは別の器具又は装置がシミュレーション環境内に組み込まれ且つ追跡される他の器具を含むことができる。
【0129】
図１１Ａ及び１１Ｂは、遠隔操作及び手動両方の手術用器具の使用を含むシミュレートされた医療処置における解剖学的モデル１１００の使用の一例の概略図である。図１１Ａは、モデル１１００及び挿入された器具の外部ビューであり、及び図１１Ｂは、モデル１１００の内部ビューである。モデル１１００は、上述したモデルと同様とすることができ、モデルの上側棚部に開口部１１０２を含み、この開口部を介して、カニューレ１１０４が、セットアップ手順の間に挿入される。腹腔鏡用器具や内視鏡等の遠隔操作手術用器具を、カニューレ１１０４内に挿入することができる。あるいはまた、手動腹腔鏡器具１１１０等の手動手術用器具を、１つ又は複数のカニューレ１１０４内に挿入することができる。
【0130】
この実施態様では、カニューレ１１０４及び器具１１１０等の手動器具を感知するために、センサをモデル１１００内に設けることができる。この例では、カメラシステム１１１２は、図１０Ａについて記載したのと同様に、モデル１１００の内部を感知するためにモデル１１００の内部ベースに位置付けされる。こうして、カメラシステム１１１２は、カニューレ１１０４がモデル内に挿入された時点を示す画像だけでなく、手術用器具がカニューレ１１０４内に挿入された時点を示す画像を取り込むことができる。いくつかの実施態様では、手術遠隔操作器具の位置は、遠隔操作のアーム内のセンサに基づいて既知であるので、そのような器具を追跡する必要はなく、例えば、モデル１１００の中空内部に延びないようなダミー器具を使用することができる。
他の実施態様では、カメラの代わりに他のタイプのセンサを使用することができる。例えば、電磁センサ、他の光学センサ等を使用して、カニューレ及び手動手術用器具を感知することができる。
他の実施態様では、カメラの代わりに他のタイプのセンサを使用することができる。例えば、電磁センサ、他の光学センサ等を使用して、カニューレ及び手動手術用器具を感知することができる。
【0131】
図１２は、図１１Ａ～１１Ｂを参照して、遠隔操作手術用器具と手動手術用器具との両方を含む解剖学的モデルを１つ又は複数のシミュレートされた外科処置において使用する例示的な方法を示すフロー図である。いくつかの実施態様では、ブロック１２０２～１２０８は、シミュレートされたセットアップ手順の間に行うことができ、ブロック１２１０及び１２１２は、シミュレートされた外科手術中に行うことができる（ブロック１２１０は、シミュレートされたセットアップ手順の間に行うこともできる）。
ブロック１２０２では、シミュレーション処理コンポーネント１０２は、患者側カートの遠隔操作アームに対するモデル１１００の位置を受信することができる。例えば、１つのアームの端部における遠隔操作器具は、モデルを複数の位置に接触（位置合せ）させて、３次元空間内のモードの位置を確立するように移動させることができる。他の実施態様では、ブロック１２０２は、省略又は後で実行することができ、例えば、モデル位置は、遠隔操作アームのセンサを使用することにより、以下のブロック１２０６で器具をカニューレにドッキングした後に、遠隔操作器具に対して決定することができる。
ブロック１２０２では、シミュレーション処理コンポーネント１０２は、患者側カートの遠隔操作アームに対するモデル１１００の位置を受信することができる。例えば、１つのアームの端部における遠隔操作器具は、モデルを複数の位置に接触（位置合せ）させて、３次元空間内のモードの位置を確立するように移動させることができる。他の実施態様では、ブロック１２０２は、省略又は後で実行することができ、例えば、モデル位置は、遠隔操作アームのセンサを使用することにより、以下のブロック１２０６で器具をカニューレにドッキングした後に、遠隔操作器具に対して決定することができる。
【0132】
ブロック１２０４では、シミュレーション処理コンポーネントは、カニューレ１１０４のモデル１１００内への挿入を感知し、シミュレーション処理コンポーネントは、カニューレ１１０４の位置及び姿勢を推定する。例えば、カメラシステム１１１２等のセンサは、シミュレーション処理コンポーネントに信号を送ることができる。ブロック１２０６では、シミュレーション処理コンポーネントは、例えば患者側カートのマニピュレータアーム内のセンサからの信号に基づき、遠隔操作ダミー器具のカニューレ１１０４内へのドッキング及び挿入を感知する。他の実施態様では、完全な手術用器具をカニューレ１１０４にドッキング及び挿入することができる。ブロック１２０８では、（例えば、カメラシステム１１１２等の）センサ及びシミュレーション処理コンポーネントは、器具１１１０等の１つ又は複数の手動器具のカニューレ１１０４内への挿入を感知する。ブロック１２０６及び１２０８は、任意の順序で及び／又は少なくとも部分的に同時に行うことができる。ブロック１２１０では、シミュレーション処理コンポーネントは、仮想環境を生成し、遠隔操作手術用器具及び手動手術用器具に対応する仮想手術用器具を仮想環境に生成する。ブロック１２１２では、シミュレーション処理コンポーネントは、コンソール信号、感知された遠隔操作器具、及び感知された手動手術用器具に基づいて、シミュレートされた外科手術を行う。
【0133】
方法１２００のいくつかの実施態様は、仮想環境を表示させることに連動して、解剖学的モデル及び／又は遠隔操作医療装置の感知システムを使用することができる。いくつかの例では、モデルの一般的な画像は、遠隔操作アーム無しで及び遠隔操作アームに対するモデルの正確な位置／姿勢無しで表示することができる。例えば、ユーザによって配置されたポート位置は、遠隔操作アームの運動学を使用すること無く、モデル内部のカメラを使用して特定することができる。命令は、遠隔操作アームをモデルにドッキングするのを開始する前に、誤ったポートの位置を調整する機会をユーザに与えることができる。一旦ドッキングされると、アームの運動学を使用して、遠隔操作医療装置に対するモデルの位置及び姿勢を推定することができる。（他の実施態様は、遠隔操作アームのセンサを使用するのではなく、解剖学的モデル内に又はこの上に配置されたセンサを使用して、患者側カートに対するモデルの姿勢や位置を推定することができる。）次に、手術部位及び／又は手術室のシーン全体を研修生に表示することができる。いくつかの実施態様では、モデル内のセンサは、手術用器具を追跡してモデルが遠隔操作器具に対してどの位置にあるかの推定値を提供することができ、この位置の推定値は、モデルが研修生によって動かされた又は移動された場合に、モデル位置に対する正確な位置を連続して提供するために手順や手術中に更新することができる。
【0134】
図１３Ａ及び図１３Ｂは、手動手術用器具の使用を含むシミュレートされた医療処置における解剖学的モデル１３００の使用例の概略図である。モデル１３００は、上述したモデルと同様とすることができる。図１３Ａは、モデル１３００及び挿入された器具の外部ビューであり、及び図１３Ｂは、モデル１３００の内部ビューである。モデル１３００は、モデルの上部に開口部１３０２を含む。特定の開口部１３０６は、典型的にはこれらの開口部に挿通される遠隔操作器具の遠隔中心として指定することができるが、遠隔操作器具用のカニューレは、この実施態様に配置する必要はない。カニューレ１３０４等の１つ又は複数のカニューレが、手動器具が挿入される開口部でのセットアップ手順の間にモデル１３００内に挿入される。手動腹腔鏡器具１３１０等の手動手術用器具を、カニューレ１３０４内に挿入することができる。
【0135】
カニューレ１３０４等のカニューレ及び器具１３１０等の手動器具を感知するために、センサをモデル１３００内に設けることができる。この例では、カメラシステム１３１２は、モデル１３００の内部を感知するために、モデル１３００の内部ベースに位置付けされる。カメラシステム１３１２は、カニューレ１３０４がモデルに挿入された時点を示す画像だけでなく、手動手術用器具がカニューレ１３０４に挿入された時点を示す画像を取り込むことができる。遠隔操作手術用器具用の開口部１３０６は、モデルの既知の幾何学的形状及びシミュレートされた特定の医療処置に基づいて、シミュレーションプロセッサによって配置することがでる。従って、これらの特定の開口部の位置は、アームの遠隔中心を想定することができ、カニューレを追跡する必要はなく、また遠隔操作手術用器具をモデルとドッキングさせる必要がない。従って、この実施態様は、手動手術用器具の使用を含むが、患者側カートの使用を必要としないシミュレーションに使用することができ、例えば、遠隔操作手術用器具は、シミュレーション処理コンポーネントによって提供される仮想環境で生成された全ての仮想器具とすることができる。
他の実施態様では、カメラの代わりに、他のタイプのセンサを使用することができる。例えば、電磁センサ、他の光学センサ等を使用して、カニューレ及び手動手術用器具を感知することができる。
他の実施態様では、カメラの代わりに、他のタイプのセンサを使用することができる。例えば、電磁センサ、他の光学センサ等を使用して、カニューレ及び手動手術用器具を感知することができる。
【0136】
図１４は、図１３を参照して、シミュレートされた医療処置において手動手術用器具を使用するための例示的方法１４００を示すフロー図である。いくつかの実施態様では、ブロック１４０２１～４０６は、シミュレートされたセットアップ手順の間に行うことができ、ブロック１４０８及び１４１０は、シミュレートされた外科手術中に行うことができる（ブロック１４０８は、セットアップ手順の間に行うこともできる）。
【0137】
ブロック１４０２では、シミュレーション処理コンポーネント１０２は、遠隔操作手術用器具を挿入するモデルの手術部位及び開口部の位置（遠隔操作器具の遠隔中心）を想定することを含む、モデル１３００の位置及び姿勢を想定する。これを行うには、シミュレーション処理コンポーネントは、モデルの幾何学的形状及びその開口部及び物理的手術部位の位置だけでなく、セットアップされる外科手術で使用される特定の開口部を知っている。ブロック１４０４では、シミュレーション処理コンポーネントは、モデル１３００のセンサを使用して、カニューレ１３０４のモデル１３００内への挿入を感知し、シミュレーション処理コンポーネントは、カニューレ１３０４の位置及び姿勢を推定する。ブロック１４０６では、シミュレーション処理コンポーネントは、器具１３１０等の１つ又は複数の手動器具のカニューレ１３０４内への挿入を感知する。ブロック１４０８では、シミュレーション処理コンポーネントは、仮想環境を生成し、遠隔操作手術用器具及び手動手術用器具に対応する仮想手術用器具を仮想環境において生成する。モデル１３００での手動手術用器具と遠隔操作器具の想定された開口部の位置との間の相対位置によって、これらの器具の仮想環境内での相対的な位置付けを可能にする。ブロック１４１０では、シミュレーション処理コンポーネントは、シミュレートされた手術を実行して、（仮想の遠隔操作手術用器具を移動させるための）コンソール信号及び感知した手動手術用器具に基づいて、仮想環境を更新する。
【0138】
本明細書に記載した特徴は、様々なシミュレーションの実施態様における幅広い機能及び利点を提供する。例えば、シミュレーション処理コンポーネント（例えば、処理装置）は、外科医コンソール（例えば、マスターコントローラ）及び／又は患者側カート（例えば、スレーブマニピュレータアーム及び器具）と対話することができる。マスターコンソールは、患者側カートでの器具（又は、ダミー器具）を用いて又は用いずに、スレーブアームを駆動することができる。
【0139】
シミュレーションシステムは、シミュレートされた外科手術の前に、システムセットアップに関するガイダンスや他のフィードバック及びマニピュレータアームの正確な位置付けをシミュレートし且つ提供することができる。これは、無生物トレーニング演習やウェットラボ演習を使用する標準化され一貫したトレーニングを外科医に提供するために使用することができる。シミュレートされた外科手術は、医療処置全体をシミュレートするのを可能にするシミュレートされたセットアップ手順に従うことができる。これによって、研修生が不適切に実行されたタスクの結果を確認することができる。例えば、セットアップ手順で実行される不適切又は不正確なタスクは、後続の外科手術に影響を与えることがあり、及びシミュレーションシステムは、ここで研修生が学び、改善することができるようにするこの全体の効果をシミュレートする。
【0140】
シミュレーションシステムは、仮想環境（例えば、インストールされている場合に、内視鏡及び器具のフィード(feed)を無視する）、組合せ又は拡張環境（例えば、生成されたグラフィカル表示の視覚的な重ね合せや仮想環境オブジェクトを含む内視鏡のフィード）、又は完全に視覚的な撮像（例えば、内視鏡）のフィードを表示することができる。例えば、いくつかの実施態様は、仮想環境及び／又は患者側カートからの内視鏡のビデオを外科医コンソールの表示画面上に及び１つ又は複数の外部の表示画面に（例えば、２Ｄ又は３Ｄで）表示することができる。いくつかの例では、仮想画像又は拡張画像は、指示又は能力メトリックを提供するために、任意のトレーニング演習中に外科医コンソールに（例えば、Intuitive Surgical社のTileProを使用する等の）表示システムを介して出力することができる。例えば、仮想現実（VR）又は他の生成された画像、及び／又はカメラ画像に重ね合わされた拡張現実（AR）ゴースト画像をシステム表示装置上に表示して、誤った位置を強調表示する、器具の到達限界を表示する、及び／又は内部／外部衝突を回避することを含む患者カートでの関節セットアップ等の、関心又は興味対象のシステム領域を示す又は強調表示することができる。これは、トレーニングの手順の間にミスを見つけるための、助手をトレーニングする際の負担を軽減することができる。
【0141】
システムは、コンソールの外科医による無生物演習やウェットラボ演習を完了する間にマスターコンソール（複数可）及び遠隔操作スレーブ医療装置（複数可）の運動学やイベントを記録して、純粋な仮想トレーニング演習と同様のインターフェイスを使用してトレーニングメトリックを計算し、このようなメトリックを表示することができる。さらに又はあるいは、システムは、実際の器具を使用する患者側の演習及びセットアップ手順を完了する間に遠隔操作装置の運動学やイベントを記録し、純粋な仮想トレーニング演習と同様のインターフェイスを使用してトレーニングメトリックを計算し、このようなメトリックを表示することができる。さらに、システムは、ブタモデルでの演習モジュールを完了する間に（例えば、オフサイト・トレーニング中に）マスター及びスレーブの運動学やイベントを記録し、メトリックを提供し、そのようなメトリックを表示することができる。研修生の能力の詳細なデータの収集及び定量化及び追跡によって、研修生及びシミュレーションのオペレータが、トレーニングの進捗状況を非常に詳細に確認し、個々の研修生の進捗状況における洞察や改善につながるだけでなく、トレーニング手順の改善等につながり、こうして全体的なトレーニング効果を大きくすることが可能になる。
【0142】
あらゆるトレーニング環境や設定からの全てのデータは、同じ方法でローカル又はリモートで記録され及び格納され、データのアクセスのし易さ、シミュレートされた手順の間の研修生の外科医のトレーニング及び能力の監視、演習の標準化、及び（例えば、外科医のトレーニングを向上させるために）トレーニング中の外科医へのフィードバックを改善することができる。シミュレーションシステムは、システムアーキテクチャとは分離した１つのソフトウェアプラットフォームに殆どのトレーニングコンテンツを集中管理することができ、（潜在的にＦＤＡの問題等につながる）トレーニングに対応するために、システムソフトウェアを変更することの困難性を回避することができる。
【0143】
遠隔操作医療手術装置は、既存の手術形式とは異なる手術及び外科医のトレーニングを、記録、追跡、及び監視するための前例のない能力を提供する。本明細書中に記載の実施態様は、この能力と、例えばシミュレーション及びトレーニング目的のために収集することができるデータとを有効に活用することができる。遠隔操作及び非遠隔操作システムの様々な実施態様のいくつかの追加の利点は、以下の点を含むことができる。
本明細書に記載した特徴は、例えば単一の遠隔操作医療システム等の単一のシステム上でのユーザトレーニング及び評価を集中管理することができる。いくつかのシステムは、別個の外科医コンソール及び患者側カートを含む遠隔操作医療システム上での単一のシミュレーションフレームワークを使用する能力を提供して、進捗状況を監視及び追跡し、単一のソフトウェア及びユーザインターフェイス（UL）のフレームワークの下で全てのフィードバックを表示することができる。いくつかのシステムは、遠隔操作医療システムを使用したウェットラボ又はブタモデル演習及びドライラボ演習中に、拡張現実出力及びフィードバックを与える能力を提供することができる。いくつかのシステムは、仮想環境演習、無生物演習、ウェットラボ又はブタモデル等を含む様々なタイプのトレーニング演習に使用される単一のソフトウェア及びハードウェアアーキテクチャを使用して、トレーニングデータを結合する能力を提供することができる。１つ又は複数の特徴によって、あらゆるトレーニング演習又はオフサイトラボ演習を、単一のシミュレーションアーキテクチャを用いて行って、（手順の間に）リアルタイム及び演習終了メトリックを提供し、トレーニング及び学習を案内するのを可能にする。
本明細書に記載した特徴は、例えば単一の遠隔操作医療システム等の単一のシステム上でのユーザトレーニング及び評価を集中管理することができる。いくつかのシステムは、別個の外科医コンソール及び患者側カートを含む遠隔操作医療システム上での単一のシミュレーションフレームワークを使用する能力を提供して、進捗状況を監視及び追跡し、単一のソフトウェア及びユーザインターフェイス（UL）のフレームワークの下で全てのフィードバックを表示することができる。いくつかのシステムは、遠隔操作医療システムを使用したウェットラボ又はブタモデル演習及びドライラボ演習中に、拡張現実出力及びフィードバックを与える能力を提供することができる。いくつかのシステムは、仮想環境演習、無生物演習、ウェットラボ又はブタモデル等を含む様々なタイプのトレーニング演習に使用される単一のソフトウェア及びハードウェアアーキテクチャを使用して、トレーニングデータを結合する能力を提供することができる。１つ又は複数の特徴によって、あらゆるトレーニング演習又はオフサイトラボ演習を、単一のシミュレーションアーキテクチャを用いて行って、（手順の間に）リアルタイム及び演習終了メトリックを提供し、トレーニング及び学習を案内するのを可能にする。
【0144】
本明細書に記載の特徴によって、特にシミュレータシステムで通常行われないタスクについて、トレーニングデータのアクセスのし易さを向上させることができる。システムがいくつかのタイプのトレーニングタスクに使用することができるので、特徴によって、トレーニングの標準化を改善することができる。特徴は、研修生が学ぶのを補助するためにトレーニング要員によって提供されるフィードバックに加えて、フィードバックを定量化及び配信することにより、オフサイト・トレーニングでの外科医のトレーニングを向上させることができる。また、特徴は、（例えば、デュアル外科医コンソールでのトレーニング等の）複数の外科医のトレーニングを同時により良く管理するための人材育成を支援することができる。さらに、特徴は、セットアップ手順の間に行われたタスクをシミュレートすることにより、及びシステムによって決定され且つセットアップ演習についてリアルタイムで表示されたフィードバックを提供することにより、臨床的な営業担当者（CSRｓ）又は他の講師によって行われる外科医のトレーニングを向上させることができる。
【0145】
本明細書に記載した特徴は、無生物トレーニング演習、ウェットラボ演習のシナリオ、及びＶＲベースのトレーニング演習を支援するために、遠隔操作及び非遠隔操作の医療シミュレーションシステムの機能を拡張することができる。単一のシミュレーションシステムは、外科医によって、そのＣＳＲによって、専任のトレーニングの専門家（TSS）によって、又は独立して行われる全てのトレーニングを管理し、記録することができる。シミュレーションシステムを使用して、実際の手術の外部システムとの全ての対話をシミュレートすることができる。
【0146】
適切な場合には、本明細書の様々な方法で説明したブロックは、示される以外の異なる順序で実行する及び／又は同じ方法（又は他の方法）で他のブロックと（部分的に又は完全に）同時にすることが可能であることに留意すべきである。いくつかの実施態様では、ブロックは、異なる順序で、及び／又はその方法における異なる時点で、複数回発生することができる。
特徴及び実施態様を示すこの詳細な説明及び添付の図面は、限定するものとして解釈すべきではない。種々の機械的、組成的、構造的、電気的、及び操作上の変更は、本明細書及び特許請求の範囲の精神及び範囲から逸脱することなく行うことができる。いくつかの例では、周知の回路、構造、又は技術は、記載される特徴を不明瞭にしないために、詳細に示されていない又は記載していない。
特徴及び実施態様を示すこの詳細な説明及び添付の図面は、限定するものとして解釈すべきではない。種々の機械的、組成的、構造的、電気的、及び操作上の変更は、本明細書及び特許請求の範囲の精神及び範囲から逸脱することなく行うことができる。いくつかの例では、周知の回路、構造、又は技術は、記載される特徴を不明瞭にしないために、詳細に示されていない又は記載していない。
【0147】
さらに、本明細書の用語は、特許請求の範囲を限定することを意図したものではない。例えば、「～の下の(beneath)」、「～より下の(below)」、「下方の(lower)」、「～より上の(above)」、「上方の(upper)」、「基端の(proximal)」、「先端の(distal)」等の空間に関連する用語は、図面に示されるように、１つの要素又は特徴に対する別の要素又は特徴の関係を表すために使用することができる。これらの空間に関連する用語は、図面に示される位置及び姿勢に加えて、使用又は操作する際の装置の異なる位置（すなわち、位置）及び姿勢（すなわち、回転配置）を包含することを意図している。例えば、図中の装置がひっくり返された場合に、他の要素又は特徴「より下の」又は「の下の」として記載される要素は、次に他の要素又は特徴「より上の」又は「の上の」の意味になるであろう。従って、例示的な用語「～より下の」は、「～より上の」及び「～より下の」の両方の位置及び姿勢を包含することができる。装置は、他の方法で向き合わせ（９０度回転又は他の向きに）することができ、本明細書で使用される空間に関連する記述は、それに応じて解釈される。同様に、様々な軸線に沿った及びこの軸線周りの運動の説明は、装置の様々な特別な位置及び姿勢を含む。また、単数形「１つの(a, an)」、及び「その(the)」は、文脈が他に示さない限り、複数形も含むことを意図している。結合されるとして説明した構成要素は、電気的又は機械的に直接的に結合されるか、又は１つ又は複数の中間部品を介して間接的に結合される。
【0148】
一実施態様を参照して詳細に説明した要素は、実用的な場合はいつでも、１つ又は複数の要素が実施態様を機能しない状態にするか又は競合する機能を提供する場合を除き、特に図示又は記載されていない他の実施多様に含めてもよい。例えば、要素が第１の実施形態を参照して詳細に説明しており、且つ第２の実施形態を参照して説明していない場合に、その要素は、それにもかかわらず、第２の実施形態に含まれ得る。
本開示に記載の機能的方法、ブロック、機能、装置、及びシステムは、当業者に知られているように統合され、又は異なる組合せに分割することができる。開示された方法及び操作は、特定の順序で提示されるが、この順序は、異なる特定の実施態様で変更することができる。いくつかの実施態様では、本開示に連続的に示される複数のステップ又はブロックは、同時に、少なくとも部分的に実行してもよい。
本開示に記載の機能的方法、ブロック、機能、装置、及びシステムは、当業者に知られているように統合され、又は異なる組合せに分割することができる。開示された方法及び操作は、特定の順序で提示されるが、この順序は、異なる特定の実施態様で変更することができる。いくつかの実施態様では、本開示に連続的に示される複数のステップ又はブロックは、同時に、少なくとも部分的に実行してもよい。
【0149】
以下に、出願当初の特許請求の範囲の内容を実施例として記載しておく。
［実施例１］
少なくとも１つのプロセッサを含むシミュレーション処理コンポーネントを有するシステムであって、
前記シミュレーション処理コンポーネントは、物理的手術部位に対する物理的手術用器具の位置及び構成の少なくとも一方を表す位置信号を使用して仮想環境を生成し、
前記シミュレーション処理コンポーネントは、前記位置信号の変化に応じて及び当該システムのユーザによる入力に対応する制御信号に応じて前記仮想環境を更新し、前記仮想環境の更新は、前記仮想環境内で仮想手術用器具を移動させることを含み、
前記仮想手術用器具と前記仮想環境の仮想手術部位との相互作用は、前記物理的手術用器具と前記物理的手術部位との間の物理的関係によって少なくとも部分的に規定され、
前記シミュレーション処理コンポーネントは、前記仮想環境の現在の状態を示すシミュレーション状態信号の表現を出力する、
システム。
［実施例２］
前記物理的手術用器具は、完全に機能できないダミー器具を含む、実施例１に記載のシステム。
［実施例３］
前記物理的手術部位は、解剖学的モデルを含む、実施例１に記載のシステム。
［実施例４］
前記解剖学的モデルは、該解剖学的モデルに対する前記物理的手術用器具の位置を示すセンサ信号を前記シミュレーション処理コンポーネントに出力するように動作する少なくとも１つのセンサを含む、実施例３に記載のシステム。
［実施例５］
前記解剖学的モデルは、前記解剖学的モデルに対するカニューレの位置を示すセンサ信号を前記シミュレーション処理コンポーネントに出力するように動作する少なくとも１つのセンサを含む、実施例３に記載のシステム。
［実施例６］
前記シミュレーション処理コンポーネントに出力される制御信号を生成するために、前記ユーザによって操作可能な少なくとも１つの入力制御を含む制御コンソールをさらに含む、実施例１に記載のシステム。
［実施例７］
前記シミュレーション処理コンポーネントに結合され且つ前記シミュレーション状態信号の表現を視覚的に表示すように構成される表示装置をさらに含む、実施例１に記載のシステム。
［実施例８］
画像取込み装置を使用して取り込まれた前記物理的手術部位の画像を視覚的に表示すように構成された表示装置をさらに含む、実施例１に記載のシステム。
［実施例９］
前記物理的手術用器具に結合される遠隔操作医療装置をさらに含み、
前記シミュレーション処理コンポーネントは、前記遠隔操作医療装置の要素の位置を決定し、該要素の位置を基準位置と比較し、フィードバック情報を前記ユーザに出力する、
実施例１に記載のシステム。
［実施例１０］
方法であって、当該方法は、
少なくとも１つのプロセッサを含むシミュレーション処理コンポーネントを使用してシミュレートされた医療処置を調整するステップと、
前記シミュレートされた医療処置の間に、少なくとも１人の研修生によって移動された遠隔操作医療装置の１つ又は複数の要素の１つ又は複数の位置に基づく位置信号を受信するステップであって、前記１つ又は複数の要素は、前記シミュレートされた医療処置を実行するために、物理的手術部位に対して物理的に位置付け可能である、受信するステップと、
前記遠隔操作医療装置からの位置信号の統合を含む、前記シミュレートされた医療処置の現在の状態を示すシミュレーション状態信号を前記位置信号に基づいて決定するステップと、
前記シミュレーション状態信号の表現を出力するように動作する少なくとも１つの出力装置に前記シミュレーション状態信号を送るステップと、を含む
方法。
［実施例１１］
前記位置信号は、シミュレートされたセットアップ手順で受信され、
前記遠隔操作医療装置の１つ又は複数の要素のそれぞれが、マニピュレータアームと、手術用器具の少なくとも一部とを含み、
前記マニピュレータアーム及び前記手術用器具の一部は、前記セットアップ手順の間のセットアップタスクで少なくとも１人の研修生によって空間内に位置付けされる、
実施例１０に記載の方法。
［実施例１２］
前記位置信号は、少なくとも１人の研修生によって前記シミュレートされたセットアップ手順に従って実行される１つ又は複数の外科タスクを含むシミュレートされた外科手術で受信され、
前記遠隔操作医療装置の１つ又は複数の要素は、前記遠隔操作医療装置に結合された外科医コンソールによって提供される制御信号に基づいて移動する、
実施例１１に記載の方法。
［実施例１３］
前記シミュレートされた外科手術は、前記シミュレートされたセットアップ手順から得られた前記遠隔操作医療装置の構成に基づいている、実施例１２に記載の方法。
［実施例１４］
前記シミュレーション状態信号は、少なくとも１つの前記手術用器具の少なくとも端部の仮想表現を含む仮想環境を前記少なくとも１つの出力装置に表示させるデータを含む、実施例１２に記載の方法。
［実施例１５］
前記セットアップ手順の間に、前記セットアップタスクを監視及び記録するステップと、
前記セットアップタスクを基準タスクと比較して、前記セットアップ手順の能力を評価するステップと、
該評価した能力に基づいて、前記セットアップ手順の間に、リアルタイムフィードバック情報を前記少なくとも１人の研修生に出力するステップと、をさらに含む、
実施例１１に記載の方法。
［実施例１６］
方法であって、当該方法は、
シミュレートされた医療処置においてシミュレートされた物理的手術部位に対する１つ又は複数の物理的手術用器具の位置を示す位置信号を受信するステップと、
前記位置信号に基づいて、仮想環境を更新するステップであって、該仮想環境は、前記物理的手術部位に対応する仮想手術部位を実現する、更新するステップと、
ユーザによる制御コンソールの１つ又は複数の入力制御の操作を示す制御信号を前記制御コンソールから受信ステップと、
前記制御信号に基づいて、前記仮想環境を更新するステップであって、該更新するステップは、前記仮想環境内で１つ又は複数の仮想手術用器具を移動させるステップを含み、前記仮想器具と前記仮想手術部位との相互作用は、前記物理的手術部位に対する前記１つ又は複数の物理的手術用器具の位置に基づくものである、更新するステップと、
シミュレーション状態信号を少なくとも１つの出力装置に出力して、前記シミュレーション状態信号の表現の出力を生じさせるステップであって、前記シミュレーション状態信号は、前記仮想環境の現在の状態を示す、ステップと、を含む、
方法。
［実施例１７］
前記１つ又は複数の物理的手術用器具は、遠隔操作医療装置の関連するマニピュレータアームに結合され、前記物理的手術用器具及び前記マニピュレータアームは、前記制御コンソールからの制御信号によって遠隔操作される、実施例１６に記載の方法。
［実施例１８］
前記１つ又は複数の物理的手術用器具は、１人以上のユーザによって物理的な解剖学的モデルに対して手動で操作され、前記解剖学的モデルは、前記１つ又は複数の物理的手術用器具を感知するとともに前記位置信号を提供する１つ又は複数のセンサを含む、実施例１６に記載の方法。
［実施例１９］
前記位置信号は、前記シミュレートされた医療処置の外科タスク前に行われるシミュレートされたセットアップ手順で受信され、
遠隔操作医療装置の１つ又は複数の要素のそれぞれが、マニピュレータアームと、手術用器具の少なくとも一部とを含み、
前記マニピュレータアーム及び前記手術用器具の一部は、前記セットアップ手順の間にセットアップタスクにおいて配置される、実施例１６に記載の方法。
［実施例２０］
前記セットアップ手順の間に前記セットアップタスクを監視及び記録するステップと、
前記セットアップタスクを基準タスクと比較して、前記セットアップ手順の能力及び結果を評価するステップと、
該評価した能力に基づいて、前記セットアップ手順の間に、リアルタイムフィードバック情報を前記少なくとも１人の研修生に出力するステップと、をさらに含む、
実施例１９に記載の方法。
［実施例２１］
前記位置信号は、１つ又は複数の外科タスクを含むシミュレートされた外科手術で受信され、
前記遠隔操作医療装置の１つ又は複数の要素は、前記遠隔操作医療装置に結合された外科医コンソールによって提供される制御信号に基づいて移動する、実施例１７に記載の方法。
［実施例２２］
前記少なくとも１つの出力装置は、それぞれが仮想環境を表示す複数の表示装置を含み、前記表示装置の１つが、外科医コンソールに設けられ、前記表示装置の別の１つが、前記外科医コンソールから分離したビジョン側カートに設けられる、実施例１６に記載の方法。
［実施例１］
少なくとも１つのプロセッサを含むシミュレーション処理コンポーネントを有するシステムであって、
前記シミュレーション処理コンポーネントは、物理的手術部位に対する物理的手術用器具の位置及び構成の少なくとも一方を表す位置信号を使用して仮想環境を生成し、
前記シミュレーション処理コンポーネントは、前記位置信号の変化に応じて及び当該システムのユーザによる入力に対応する制御信号に応じて前記仮想環境を更新し、前記仮想環境の更新は、前記仮想環境内で仮想手術用器具を移動させることを含み、
前記仮想手術用器具と前記仮想環境の仮想手術部位との相互作用は、前記物理的手術用器具と前記物理的手術部位との間の物理的関係によって少なくとも部分的に規定され、
前記シミュレーション処理コンポーネントは、前記仮想環境の現在の状態を示すシミュレーション状態信号の表現を出力する、
システム。
［実施例２］
前記物理的手術用器具は、完全に機能できないダミー器具を含む、実施例１に記載のシステム。
［実施例３］
前記物理的手術部位は、解剖学的モデルを含む、実施例１に記載のシステム。
［実施例４］
前記解剖学的モデルは、該解剖学的モデルに対する前記物理的手術用器具の位置を示すセンサ信号を前記シミュレーション処理コンポーネントに出力するように動作する少なくとも１つのセンサを含む、実施例３に記載のシステム。
［実施例５］
前記解剖学的モデルは、前記解剖学的モデルに対するカニューレの位置を示すセンサ信号を前記シミュレーション処理コンポーネントに出力するように動作する少なくとも１つのセンサを含む、実施例３に記載のシステム。
［実施例６］
前記シミュレーション処理コンポーネントに出力される制御信号を生成するために、前記ユーザによって操作可能な少なくとも１つの入力制御を含む制御コンソールをさらに含む、実施例１に記載のシステム。
［実施例７］
前記シミュレーション処理コンポーネントに結合され且つ前記シミュレーション状態信号の表現を視覚的に表示すように構成される表示装置をさらに含む、実施例１に記載のシステム。
［実施例８］
画像取込み装置を使用して取り込まれた前記物理的手術部位の画像を視覚的に表示すように構成された表示装置をさらに含む、実施例１に記載のシステム。
［実施例９］
前記物理的手術用器具に結合される遠隔操作医療装置をさらに含み、
前記シミュレーション処理コンポーネントは、前記遠隔操作医療装置の要素の位置を決定し、該要素の位置を基準位置と比較し、フィードバック情報を前記ユーザに出力する、
実施例１に記載のシステム。
［実施例１０］
方法であって、当該方法は、
少なくとも１つのプロセッサを含むシミュレーション処理コンポーネントを使用してシミュレートされた医療処置を調整するステップと、
前記シミュレートされた医療処置の間に、少なくとも１人の研修生によって移動された遠隔操作医療装置の１つ又は複数の要素の１つ又は複数の位置に基づく位置信号を受信するステップであって、前記１つ又は複数の要素は、前記シミュレートされた医療処置を実行するために、物理的手術部位に対して物理的に位置付け可能である、受信するステップと、
前記遠隔操作医療装置からの位置信号の統合を含む、前記シミュレートされた医療処置の現在の状態を示すシミュレーション状態信号を前記位置信号に基づいて決定するステップと、
前記シミュレーション状態信号の表現を出力するように動作する少なくとも１つの出力装置に前記シミュレーション状態信号を送るステップと、を含む
方法。
［実施例１１］
前記位置信号は、シミュレートされたセットアップ手順で受信され、
前記遠隔操作医療装置の１つ又は複数の要素のそれぞれが、マニピュレータアームと、手術用器具の少なくとも一部とを含み、
前記マニピュレータアーム及び前記手術用器具の一部は、前記セットアップ手順の間のセットアップタスクで少なくとも１人の研修生によって空間内に位置付けされる、
実施例１０に記載の方法。
［実施例１２］
前記位置信号は、少なくとも１人の研修生によって前記シミュレートされたセットアップ手順に従って実行される１つ又は複数の外科タスクを含むシミュレートされた外科手術で受信され、
前記遠隔操作医療装置の１つ又は複数の要素は、前記遠隔操作医療装置に結合された外科医コンソールによって提供される制御信号に基づいて移動する、
実施例１１に記載の方法。
［実施例１３］
前記シミュレートされた外科手術は、前記シミュレートされたセットアップ手順から得られた前記遠隔操作医療装置の構成に基づいている、実施例１２に記載の方法。
［実施例１４］
前記シミュレーション状態信号は、少なくとも１つの前記手術用器具の少なくとも端部の仮想表現を含む仮想環境を前記少なくとも１つの出力装置に表示させるデータを含む、実施例１２に記載の方法。
［実施例１５］
前記セットアップ手順の間に、前記セットアップタスクを監視及び記録するステップと、
前記セットアップタスクを基準タスクと比較して、前記セットアップ手順の能力を評価するステップと、
該評価した能力に基づいて、前記セットアップ手順の間に、リアルタイムフィードバック情報を前記少なくとも１人の研修生に出力するステップと、をさらに含む、
実施例１１に記載の方法。
［実施例１６］
方法であって、当該方法は、
シミュレートされた医療処置においてシミュレートされた物理的手術部位に対する１つ又は複数の物理的手術用器具の位置を示す位置信号を受信するステップと、
前記位置信号に基づいて、仮想環境を更新するステップであって、該仮想環境は、前記物理的手術部位に対応する仮想手術部位を実現する、更新するステップと、
ユーザによる制御コンソールの１つ又は複数の入力制御の操作を示す制御信号を前記制御コンソールから受信ステップと、
前記制御信号に基づいて、前記仮想環境を更新するステップであって、該更新するステップは、前記仮想環境内で１つ又は複数の仮想手術用器具を移動させるステップを含み、前記仮想器具と前記仮想手術部位との相互作用は、前記物理的手術部位に対する前記１つ又は複数の物理的手術用器具の位置に基づくものである、更新するステップと、
シミュレーション状態信号を少なくとも１つの出力装置に出力して、前記シミュレーション状態信号の表現の出力を生じさせるステップであって、前記シミュレーション状態信号は、前記仮想環境の現在の状態を示す、ステップと、を含む、
方法。
［実施例１７］
前記１つ又は複数の物理的手術用器具は、遠隔操作医療装置の関連するマニピュレータアームに結合され、前記物理的手術用器具及び前記マニピュレータアームは、前記制御コンソールからの制御信号によって遠隔操作される、実施例１６に記載の方法。
［実施例１８］
前記１つ又は複数の物理的手術用器具は、１人以上のユーザによって物理的な解剖学的モデルに対して手動で操作され、前記解剖学的モデルは、前記１つ又は複数の物理的手術用器具を感知するとともに前記位置信号を提供する１つ又は複数のセンサを含む、実施例１６に記載の方法。
［実施例１９］
前記位置信号は、前記シミュレートされた医療処置の外科タスク前に行われるシミュレートされたセットアップ手順で受信され、
遠隔操作医療装置の１つ又は複数の要素のそれぞれが、マニピュレータアームと、手術用器具の少なくとも一部とを含み、
前記マニピュレータアーム及び前記手術用器具の一部は、前記セットアップ手順の間にセットアップタスクにおいて配置される、実施例１６に記載の方法。
［実施例２０］
前記セットアップ手順の間に前記セットアップタスクを監視及び記録するステップと、
前記セットアップタスクを基準タスクと比較して、前記セットアップ手順の能力及び結果を評価するステップと、
該評価した能力に基づいて、前記セットアップ手順の間に、リアルタイムフィードバック情報を前記少なくとも１人の研修生に出力するステップと、をさらに含む、
実施例１９に記載の方法。
［実施例２１］
前記位置信号は、１つ又は複数の外科タスクを含むシミュレートされた外科手術で受信され、
前記遠隔操作医療装置の１つ又は複数の要素は、前記遠隔操作医療装置に結合された外科医コンソールによって提供される制御信号に基づいて移動する、実施例１７に記載の方法。
［実施例２２］
前記少なくとも１つの出力装置は、それぞれが仮想環境を表示す複数の表示装置を含み、前記表示装置の１つが、外科医コンソールに設けられ、前記表示装置の別の１つが、前記外科医コンソールから分離したビジョン側カートに設けられる、実施例１６に記載の方法。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図7A】
【図7B】
【図8】
【図9A】
【図9B】
【図10A】
【図10B】
【図10C】
【図11A】
【図11B】
【図12】
【図13A】
【図13B】
【図14】