特開2022-119767ロボット外科システムにおける仮想現実訓練、模擬、及び協働
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022119767
(43)【公開日】2022-08-17
(54)【発明の名称】ロボット外科システムにおける仮想現実訓練、模擬、及び協働
(51)【国際特許分類】
G09B 19/00 20060101AFI20220809BHJP
A61B 34/20 20160101ALI20220809BHJP
G09B 19/24 20060101ALI20220809BHJP
G06F 3/01 20060101ALI20220809BHJP
G06F 3/0482 20130101ALI20220809BHJP
【ＦＩ】
G09B19/00 Z
A61B34/20
G09B19/24 Z
G06F3/01 510
G06F3/0482
【審査請求】有
【請求項の数】20
【出願形態】ＯＬ
(21)【出願番号】P 2022073053
(22)【出願日】2022-04-27
(62)【分割の表示】P 2019564997の分割
【原出願日】2018-06-28
(31)【優先権主張番号】62/526,919
(32)【優先日】2017-06-29
(33)【優先権主張国・地域又は機関】US
(31)【優先権主張番号】16/019,132
(32)【優先日】2018-06-26
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】516133124
【氏名又は名称】バーブ サージカル インコーポレイテッド
【氏名又は名称原語表記】Ｖｅｒｂ Ｓｕｒｇｉｃａｌ Ｉｎｃ．
(74)【代理人】
【識別番号】100088605
【弁理士】
【氏名又は名称】加藤 公延
(74)【代理人】
【識別番号】100130384
【弁理士】
【氏名又は名称】大島 孝文
(72)【発明者】
【氏名】ガルシア キルロイ パブロ エデュアルド
(72)【発明者】
【氏名】ジョンソン エリック マーク
(72)【発明者】
【氏名】シウ バーナード ファイ キン
(72)【発明者】
【氏名】ユー ハオラン
(57)【要約】 （修正有）
【課題】仮想ロボット外科環境を提供する仮想現実システム、及び仮想現実システムを使用するための方法。
【解決手段】仮想現実システム内では、様々なユーザモードによって、ユーザと仮想ロボット外科環境との間の異なる種類の対話が可能になる。例えば、仮想ロボット外科環境のナビゲーションを促進するための方法の１つの変形形態は、第１の視座点からの仮想ロボット外科環境の１人称観点の視野を表示することと、第２の視座点からの仮想ロボット外科環境の第１のウィンドウ視野を表示することと、第３の視座点からの仮想ロボット外科環境の第２のウィンドウ視野を表示することと、を含む。加えて、第１及び第２のウィンドウ視野を関連付けるユーザ入力に応答して、第１及び第２のウィンドウ視野を連続的にリンクして、第２の視座点と第３の視座点との間の軌跡を生成することができる。
【選択図】図３
【解決手段】仮想現実システム内では、様々なユーザモードによって、ユーザと仮想ロボット外科環境との間の異なる種類の対話が可能になる。例えば、仮想ロボット外科環境のナビゲーションを促進するための方法の１つの変形形態は、第１の視座点からの仮想ロボット外科環境の１人称観点の視野を表示することと、第２の視座点からの仮想ロボット外科環境の第１のウィンドウ視野を表示することと、第３の視座点からの仮想ロボット外科環境の第２のウィンドウ視野を表示することと、を含む。加えて、第１及び第２のウィンドウ視野を関連付けるユーザ入力に応答して、第１及び第２のウィンドウ視野を連続的にリンクして、第２の視座点と第３の視座点との間の軌跡を生成することができる。
【選択図】図３
【特許請求の範囲】
【請求項1】
仮想ロボット外科環境のナビゲーションを促進するための方法であって、
前記仮想ロボット外科環境内の第１の視座点からの前記仮想ロボット外科環境の１人称観点の視野を表示することと、
第２の視座点からの前記仮想ロボット外科環境の第１のウィンドウ視野を表示することであって、前記第１のウィンドウ視野が、前記表示された１人称観点の視野の第１の領域に表示される、表示することと、
第３の視座点からの前記仮想ロボット外科環境の第２のウィンドウ視野を表示することであって、前記第２のウィンドウ視野が、前記表示された１人称観点の視野の第２の領域に表示される、表示することと、
前記第１及び第２のウィンドウ視野を関連付けるユーザ入力に応答して、前記第１及び第２のウィンドウ視野を連続的にリンクして、前記第２及び第３の視座点間の軌跡を生成することと、を含む、方法。
前記仮想ロボット外科環境内の第１の視座点からの前記仮想ロボット外科環境の１人称観点の視野を表示することと、
第２の視座点からの前記仮想ロボット外科環境の第１のウィンドウ視野を表示することであって、前記第１のウィンドウ視野が、前記表示された１人称観点の視野の第１の領域に表示される、表示することと、
第３の視座点からの前記仮想ロボット外科環境の第２のウィンドウ視野を表示することであって、前記第２のウィンドウ視野が、前記表示された１人称観点の視野の第２の領域に表示される、表示することと、
前記第１及び第２のウィンドウ視野を関連付けるユーザ入力に応答して、前記第１及び第２のウィンドウ視野を連続的にリンクして、前記第２及び第３の視座点間の軌跡を生成することと、を含む、方法。
【請求項2】
前記仮想ロボット外科環境の前記第１及び第２のウィンドウ視野のうちの少なくとも１つが、前記観点の視野とは異なるスケール係数で表示される、請求項１に記載の方法。
【請求項3】
前記第１又は第２の視座点のうちの少なくとも１つが、仮想患者の内側に位置する、請求項１に記載の方法。
【請求項4】
前記第１の視座点とは異なる第４の視座点における仮想カメラの配置を示すユーザ入力を受信することと、
前記第２の視座点からの前記仮想ロボット外科環境の仮想カメラ観点の視野を生成することと、
前記１人称観点の視野の領域内に前記仮想カメラ観点の視野を表示することと、を更に含む、請求項１に記載の方法。
前記第２の視座点からの前記仮想ロボット外科環境の仮想カメラ観点の視野を生成することと、
前記１人称観点の視野の領域内に前記仮想カメラ観点の視野を表示することと、を更に含む、請求項１に記載の方法。
【請求項5】
前記仮想カメラが、仮想患者の内側に配置された仮想内視鏡カメラ、又は仮想患者の外側に配置された仮想ビデオカメラのうちの１つである、請求項４に記載の方法。
【請求項6】
前記第１のウィンドウ視野の選択時に、前記ユーザが前記第２の視座点に移動する、請求項１に記載の方法。
【請求項7】
前記第２のウィンドウ視野の選択時に、前記ユーザが前記第３の視座点に移動する、請求項１に記載の方法。
【請求項8】
前記軌跡が、前記仮想ロボット外科環境において視覚的に示される、請求項１に記載の方法。
【請求項9】
前記軌跡が、ポータル、前記軌跡の方向を示す矢印、又は線、の色の変化で示される、請求項１に記載の方法。
【請求項10】
前記第２のウィンドウ視野は前記第１のウィンドウ視野内にレンダリングされる、請求項１に記載の方法。
【請求項11】
仮想ロボット外科環境のナビゲーションのためのシステムであって、
ディスプレイと、
前記仮想ロボット外科環境内の第１の視座点からの前記仮想ロボット外科環境の１人称観点の視野を、前記ディスプレイに表示し、
第２の視座点からの前記仮想ロボット外科環境の第１のウィンドウ視野を、前記ディスプレイに表示し、前記第１のウィンドウ視野が、前記表示された１人称観点の視野の第１の領域に表示され、
第３の視座点からの前記仮想ロボット外科環境の第２のウィンドウ視野を表示し、前記第２のウィンドウ視野が、前記表示された１人称観点の視野の第２の領域に表示され、
前記第１及び第２のウィンドウ視野を関連付けるユーザ入力に応答して、前記第１及び第２のウィンドウ視野を連続的にリンクして、前記第２及び第３の視座点間の軌跡を生成する、
ように構成されたプロセッサと、
含む、システム。
ディスプレイと、
前記仮想ロボット外科環境内の第１の視座点からの前記仮想ロボット外科環境の１人称観点の視野を、前記ディスプレイに表示し、
第２の視座点からの前記仮想ロボット外科環境の第１のウィンドウ視野を、前記ディスプレイに表示し、前記第１のウィンドウ視野が、前記表示された１人称観点の視野の第１の領域に表示され、
第３の視座点からの前記仮想ロボット外科環境の第２のウィンドウ視野を表示し、前記第２のウィンドウ視野が、前記表示された１人称観点の視野の第２の領域に表示され、
前記第１及び第２のウィンドウ視野を関連付けるユーザ入力に応答して、前記第１及び第２のウィンドウ視野を連続的にリンクして、前記第２及び第３の視座点間の軌跡を生成する、
ように構成されたプロセッサと、
含む、システム。
【請求項12】
前記仮想ロボット外科環境の前記第１及び第２のウィンドウ視野のうちの少なくとも１つが、前記観点の視野とは異なるスケール係数で表示される、請求項１１に記載のシステム。
【請求項13】
前記第１又は第２の視座点のうちの少なくとも１つが、仮想患者の内側に位置する、請求項１１に記載のシステム。
【請求項14】
前記プロセッサが更に、
前記第１の視座点とは異なる第４の視座点における仮想カメラの配置を示すユーザ入力を受信し、
前記第２の視座点からの前記仮想ロボット外科環境の仮想カメラ観点の視野を生成し、
前記１人称観点の視野の領域内に前記仮想カメラ観点の視野を表示する、
ように構成される、請求項１１に記載のシステム。
前記第１の視座点とは異なる第４の視座点における仮想カメラの配置を示すユーザ入力を受信し、
前記第２の視座点からの前記仮想ロボット外科環境の仮想カメラ観点の視野を生成し、
前記１人称観点の視野の領域内に前記仮想カメラ観点の視野を表示する、
ように構成される、請求項１１に記載のシステム。
【請求項15】
前記仮想カメラが、仮想患者の内側に配置された仮想内視鏡カメラ、又は仮想患者の外側に配置された仮想ビデオカメラのうちの１つである、請求項１４に記載のシステム。
【請求項16】
前記第１のウィンドウ視野の選択時に、前記ユーザが前記第２の視座点に移動する、請求項１１に記載のシステム。
【請求項17】
前記第２のウィンドウ視野の選択時に、前記ユーザが前記第３の視座点に移動する、請求項１１に記載のシステム。
【請求項18】
前記軌跡が、前記仮想ロボット外科環境において視覚的に示される、請求項１１に記載のシステム。
【請求項19】
前記軌跡が、ポータル、前記軌跡の方向を示す矢印、又は線、の色の変化で示される、請求項１１に記載のシステム。
【請求項20】
前記第２のウィンドウ視野は前記第１のウィンドウ視野内にレンダリングされる、請求項１１に記載のシステム。
【発明の詳細な説明】
【技術分野】
【0001】
（相互参照及び関連出願）
本出願は、２０１７年６月２９日に出願された、米国仮特許出願第６２／５２６，９１９号に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。
本出願は、２０１７年６月２９日に出願された、米国仮特許出願第６２／５２６，９１９号に対する優先権を主張し、その全体が参照により本明細書に組み込まれる。
【0002】
（発明の分野）
本発明は、全般的には、ロボット外科手術の分野に関し、より具体的には、仮想ロボット外科用環境を提供するための新規かつ有用なシステム及び方法に関する。
本発明は、全般的には、ロボット外科手術の分野に関し、より具体的には、仮想ロボット外科用環境を提供するための新規かつ有用なシステム及び方法に関する。
【背景技術】
【0003】
腹腔鏡外科手術のような最小侵襲外科手術（Minimally-Invasive Surgery、ＭＩＳ）は、外科処置中の組織損傷を低減することを目的とする技術を含む。例えば、腹腔鏡処置は、典型的には、（例えば、腹部において）患者における多数の小さな切開部を生じさせ、かつ切開部を介して、患者内に１つ以上の外科用器具（例えば、エンドエフェクタ、少なくとも１つのカメラなど）を導入することを含む。外科処置は、次に、カメラにより提供される視覚化補助を伴い、導入された外科用器具を使用することにより実施され得る。
【0004】
一般的に、ＭＩＳは、患者の瘢痕化を減少させる、患者の痛みを軽減する、患者の回復期間を短縮する、及び患者の回復と関連付けられた薬物療法のコストを低減するなどの、複数の利点を提供する。いくつかの実施形態では、ＭＩＳは、操作者からのコマンドに基づいて外科用器具を操作するための１つ以上のロボットアームを含むロボットシステムで実施され得る。ロボットアームは、例えば、外科用エンドエフェクタ、撮像装置、患者の体腔及び器官へのアクセスを提供するためのカニューレなどの様々な装置を遠位端で支持することができる。
【0005】
ロボット外科システムは、一般に、複雑な処置を実行する複雑なシステムである。したがって、ユーザ（例えば外科医）は一般に、ロボット外科システムを首尾よく操作するために、著しい訓練及び経験を必要とする場合がある。このような訓練及び経験は、ＭＩＳ処置の詳細を効果的に計画する（例えば、ロボットアームの最適な数、位置、及び向きを決定し、光学数及び切開部の位置を決定し、外科用器具の最適な種類及びサイズを決定し、処置の実行順序を決定するなど）ために、有利である。
【0006】
加えて、ロボット外科システムの設計プロセスも複雑であり得る。例えば、ハードウェア（例えば、ロボットアーム）の改善は、物理的実施形態として試作され、物理的に試験される。ソフトウェア（例えば、ロボットアームの制御アルゴリズム）の改善もまた、物理的実施形態を必要とし得る。このような繰り返しの試作及び試験は、概して、累積的に高価であり、時間がかかる。
【発明の概要】
【0007】
一般に、仮想ロボット外科環境を提供するための仮想現実システムは、仮想ロボット外科環境を生成するための仮想現実プロセッサ（例えば、メモリ内に記憶された命令を実行するコンピュータ内のプロセッサ）と、ユーザによって装着可能な頭部装着ディスプレイと、仮想ロボット外科環境と対話するためにユーザによって操作可能な１つ以上の手持ち式制御装置と、を備えることができる。仮想現実プロセッサは、いくつかの変形形態では、仮想環境内の仮想構成要素（例えば、仮想ロボット構成要素）を記述する少なくとも１つの所定の設定ファイルに基づいて、仮想ロボット外科環境を生成するように構成されてもよい。頭部装着ディスプレイは、仮想ロボット外科環境をユーザに表示するための没入型ディスプレイ（例えば、仮想環境の１人称観点の視野を伴う）を含むことができる。いくつかの変形形態では、仮想現実システムは、仮想ロボット外科環境を表示するための外部ディスプレイを追加的に又は代替的に含み得る。没入型ディスプレイ及び外部ディスプレイは、両方が存在する場合、同じ又は類似の内容物を示すように同期されてもよい。仮想現実システムは、仮想ロボット外科環境を生成するように構成されてもよく、仮想ロボット外科環境内で、ユーザは仮想手術室の周囲をナビゲートし、頭部装着ディスプレイ及び／又は手持ち式制御装置を介して仮想対象物と対話することができる。仮想現実システム（及び本明細書に更に記載されるようなその変形形態）は、訓練、模擬、及び／又は複数の人物の協働を含むが、これらに限定されない用途において、ロボット外科手術に関しての有用なツールとして機能し得る。
【0008】
いくつかの変形形態では、仮想現実システムは、実際又は実際の（非仮想）手術室とインターフェースで連結することができる。仮想現実システムは、ロボット外科環境の可視化を可能にすることができ、少なくとも１つの仮想ロボット構成要素と、ロボット外科環境内の少なくとも１つのセンサとを含む仮想ロボット外科環境を生成するように構成された仮想現実プロセッサを含んでもよい。センサは、仮想現実プロセッサと通信してもよく、仮想ロボット構成要素に対応するロボット構成要素のステータスを検出するように構成されてもよい。仮想現実プロセッサは、ロボット構成要素の検出されたステータスを受信し、検出された状態に少なくとも部分的に基づいて仮想ロボット構成要素を修正し、仮想ロボット構成要素がロボット構成要素を模擬するように構成される。
【0009】
例えば、ユーザは、実際の手術室とインターフェースで連結する仮想現実システムを介して実際の手術室における実際のロボット外科処置を監視することができる（例えば、ユーザは、実際の手術室内の条件を反映する仮想現実環境と対話することができる）。外科処置中のロボット構成要素の検出された位置は、仮想環境中の外科手術事前計画から決定されるようなそれらの予測される位置と比較することができ、その結果、手術計画からの偏差は、衝突を回避するために外科医が調節を実行するきっかけとなる（例えば、ロボットアームの姿勢を変化させるなど）。
【0010】
いくつかの変形形態では、１つ以上のセンサは、位置、向き、速さ、及び／又は速度などのロボット構成要素の特性又はステータスを検出するように構成されてもよい。例示的な一例として、ロボット外科環境内の１つ以上のセンサは、ロボットアームなどのロボット構成要素の位置及び／又は向きを検出するように構成されてもよい。ロボットアームの位置及び向きは、仮想現実プロセッサに供給されてもよく、このプロセッサは、実際のロボットアームに対応する仮想ロボットアームを移動させるか、又は別の方法で修正する。したがって、仮想ロボット外科環境を見るユーザは、調節された仮想ロボットアームを可視化することができる。別の例示的な例として、１つ以上のセンサは、ロボット外科環境内のロボット構成要素が関わる衝突を検出するように構成されてもよく、システムは、衝突の発生をユーザに通知するアラームを提供してもよい。
【0011】
仮想現実システム内では、様々なユーザモードは、ユーザと仮想ロボット外科環境との間の異なる種類の対話を可能にする。例えば、仮想ロボット外科環境のナビゲーションを促進するための方法の１つの変形形態は、仮想ロボット外科環境内の第１の視座点からの仮想ロボット外科環境の１人称観点の視野を表示することと、第２の視座点からの仮想ロボット外科環境の第１のウィンドウ視野を表示することと、第３の視座点からの仮想ロボット外科環境の第２のウィンドウ視野を表示することと、を含む。第１及び第２のウィンドウ視野は、表示された１人称観点の視野のそれぞれの領域に表示されてもよい。加えて、本方法は、第１及び第２のウィンドウ視野を関連付けるユーザ入力に応答して、第１及び第２のウィンドウ視野を連続的にリンクして、第２及び第３の視座点間の軌跡を生成すること、を含むことができる。仮想ロボット外科環境のウィンドウ視野は、異なるスケール係数（例えば、「ズーム」レベル）で表示されてもよく、仮想患者の内側、仮想患者の頭上など、仮想環境内の任意の好適な視座点から仮想環境の視野を提供することができる。
【0012】
特定のウィンドウ視野の選択を示すユーザ入力に応答して、方法は、選択されたウィンドウ視野の視座点からの仮想環境の新しい１人称観点の視野を表示することを含むことができる。換言すれば、ウィンドウ視野は、例えば、仮想環境内の異なる視座点間の輸送を促進するポータルとして動作することができる。
【0013】
ユーザと仮想ロボット外科環境との間のユーザ対話の別の例として、仮想ロボット外科環境の可視化を促進するための方法の１つの変形形態は、仮想ロボット外科環境内の第１の視座点からの仮想ロボット外科環境の１人称観点の視野を表示することと、第１の視座点とは異なる仮想ロボット外科環境内の第２の視座点における仮想カメラの配置を示すユーザ入力を受信することと、第２の視座点からの仮想ロボット外科環境の仮想カメラ観点の視野を生成することと、表示された１人称観点の視野の領域内に仮想カメラ観点の視野を表示することと、を含む。カメラ視野は、例えば、ユーザが１人称観点の視野に主な注目を維持しながら同時に環境の様々な態様を監視することを可能にする、仮想環境の補足視野をユーザに提供してもよい。いくつかの変形形態では、本方法は、仮想カメラ型（例えば、仮想患者の外側に配置されるように構成された映画カメラ、仮想患者の内側に配置されるように構成された内視鏡カメラ、３６０度カメラなど）の選択を示すユーザ入力を受信することと、仮想ロボット外科環境内の第２の視座点で選択された仮想カメラ型の仮想モデルを表示することと、を更に含むことができる。仮想環境とのユーザ対話の他の例が、本明細書に記載される。
【0014】
仮想現実システムの別の変形形態では、仮想現実システムは、ユーザが手持ち式制御装置を使用するロボット制御式外科用器具と手動腹腔鏡外科用器具の両方を操作することができる（例えば、患者台に隣接している、又は「オーバー・ザ・ベッド」の間の）ロボット外科環境を模擬することができる。例えば、ロボット外科環境を模擬するための仮想現実システムは、少なくとも１つの仮想ロボットアーム及び少なくとも１つの仮想手動腹腔鏡ツールを含む仮想ロボット外科環境を生成するように構成された仮想現実制御装置と、仮想ロボット外科環境において少なくとも１つの仮想ロボットアームを操作するために仮想現実制御装置に通信可能に連結された第１の手持ち式装置と、手持ち式部分及び手動腹腔鏡ツールの少なくとも一部分を表すツール機構を備える第２の手持ち式装置であって、第２の手持ち式装置が、仮想ロボット外科環境において少なくとも１つの仮想手動腹腔鏡ツールを操作するために仮想現実制御装置に通信可能に連結されている、第２の手持ち式装置と、を備えることができる。例えば、いくつかの変形形態では、ツール機構は、ツール軸部と、ツール軸部を第２の手持ち式装置の手持ち式部分に連結するための軸部アダプタ（例えば、軸部アダプタは締結具を含み得る）を含むことができる。第２の手持ち式装置は、機能的手動腹腔鏡ツール又は手動腹腔鏡ツールのモックアップ（例えば、複写又は汎用バージョン）であってもよく、その動き（例えば、ツール機構における）は、仮想手動腹腔鏡ツールの動きに対応するよう仮想現実制御装置によってマッピングされてもよい。
【0015】
第２の手持ち式装置は、モジュール式であってもよい。例えば、ツール機構は、第２の手持ち式装置の手持ち式部分から取り外し可能であってもよく、それによって、ツール機構が手持ち式部分に取り付けられた場合は、第２の手持ち式装置が腹腔鏡手持ち式装置として（仮想手動腹腔鏡ツールを制御するために）機能することを可能にし、並びにツール機構が手持ち式部分から取り外された場合は、非腹腔鏡手持ち式装置として（例えば、ロボット制御されたツール又はロボットアームを制御するために）機能することを可能にする。いくつかの変形形態では、第２の手持ち式装置の手持ち式部分は、第１の手持ち式装置と実質的に同様であってもよい。
【0016】
第２の手持ち式装置の手持ち式部分は、ユーザによる対話機構のエンゲージに応答して仮想手動腹腔鏡ツールの機能を作動させるトリガ又はボタンなどの対話機構を備えることができる。例えば、第２の手持ち式装置の手持ち式部分上のトリガは、仮想手動腹腔鏡ツール上の仮想トリガにマッピングされてもよい。例示的な一例として、仮想手動腹腔鏡器具が仮想手動腹腔鏡ステープラである変形形態では、手持ち式部分上のトリガは、仮想環境内で仮想ステープルを発射するようにマッピングされてもよい。システムの他の態様は、仮想環境内の仮想ツール設定を更に近似し得る。例えば、仮想現実システムは、第２の手持ち式装置のツール機構の少なくとも一部を受容するように構成されたカニューレを含む患者シミュレータ（例えば、疑似患者腹部）を更に備えてもよく、それによって、手動腹腔鏡ツールのユーザ感触を更に模擬することができる。
【0017】
一般に、仮想ロボット外科環境を操作するためのコンピュータ実装方法は、クライアントアプリケーションを使用して少なくとも１つの仮想ロボット構成要素を含む仮想ロボット外科環境を生成することと、仮想ロボット構成要素の動きをもたらすために、２つのソフトウェアアプリケーションの間に情報を渡すことと、を含み得る。例えば、仮想ロボット外科環境において少なくとも１つの仮想ロボット構成要素を移動させるためのユーザ入力に応答して、方法は、少なくとも１つの仮想ロボット構成要素に関するステータス情報をクライアントアプリケーションからサーバアプリケーションに渡すことと、サーバアプリケーションを使用して、ユーザ入力及びステータス情報に基づいて作動コマンドを生成することと、作動コマンドをサーバアプリケーションからクライアントアプリケーションに渡すことと、作動コマンドに基づいて少なくとも１つの仮想ロボット構成要素を移動させることと、を含むことができる。クライアントアプリケーション及びサーバアプリケーションは、共有プロセッサ装置上で、又は別個のプロセッサ装置上で実行されてもよい。
【0018】
いくつかの変形形態では、ステータス情報を渡すこと及び／又は作動コマンドを渡すことは、アプリケーションプログラミングインターフェース（ＡＰＩ）を呼び出して、クライアント及びサーバアプリケーションの間の通信を支持することを含み得る。ＡＰＩは、仮想ロボット構成要素及び仮想環境内の他の仮想構成要素のためのデータ構造の１つ以上の定義を含み得る。例えば、ＡＰＩは、仮想ロボットアーム、仮想ロボットアームセグメント（例えば、連結部）、仮想患者台、仮想カニューレ、及び／又は仮想外科用器具のための複数のデータ構造を含み得る。別の例として、ＡＰＩは、少なくとも１つの仮想ロボット構成要素（例えば、仮想ロボットアーム）又は他の仮想構成要素の操作を可能にするための仮想タッチポイントのためのデータ構造を含み得る。
【0019】
例えば、方法は、位置及び向きなどの仮想ロボットアームに関するステータス情報（例えば、仮想ロボットアームの姿勢）を渡すことを含んでもよい。クライアントアプリケーションは、そのようなステータス情報をサーバアプリケーションに渡すことができ、その際、サーバアプリケーションは、仮想ロボットアームに関連付けられた運動学に基づいて作動コマンドを生成することができる。
【0020】
本明細書に記載されるように、仮想現実システムのための様々なアプリケーション及び用途が存在する。１つの変形形態では、仮想現実システムを使用して、例えば、物理的プロトタイプのための時間及び有意な費用を伴わずに潜在的な設計の模擬を可能にすることによって、ロボット外科システムの開発中のＲ＆Ｄサイクルを早めることができる。例えば、ロボット外科システムを設計するための方法は、ロボット外科システムの仮想モデルを生成することと、ロボット外科システムの仮想モデルを仮想手術室環境で試験することと、試験に基づいてロボット外科システムの仮想モデルを修正することと、修正された仮想モデルに基づいてロボット外科システムの現実モデルを生成することと、を含むことができる。仮想モデルを試験することは、例えば、仮想ロボットアーム及び仮想ロボットアームによって支持される仮想外科用器具を使用して、本明細書に記載されるクライアントアプリケーションを介して、仮想外科処置を実施することを含んでもよい。試験中、システムは、仮想ロボットアームに関わる１つ以上の衝突事象を検出することができ、この衝突事象は、例えば、検出された衝突事象に応答して仮想モデルへの修正（例えば、仮想ロボットアームの連結部の長さ、直径などを修正する）を誘引することができる。次いで、修正された仮想モデルの更なる試験が実施されてもよく、それにより、修正が、仮想外科処置中に発生する衝突事象の可能性を低減するかどうかを確認することができる。したがって、仮想環境におけるロボット外科システム設計の試験及び修正は、設計の物理的プロトタイプを試験する前の問題を特定するために使用され得る。
【0021】
別の変形形態では、仮想現実システムは、ロボット外科用構成要素についての制御モードを試験するために使用され得る。例えば、ロボット外科用構成要素の制御モードを試験するための方法は、ロボット外科用構成要素に対応する少なくとも１つの仮想ロボット構成要素を含む仮想ロボット外科環境を生成することと、少なくとも１つの仮想ロボット構成要素を移動させるためのユーザ入力に応答して、仮想ロボット外科環境内のロボット外科用構成要素のための制御モードをエミュレートすることと、エミュレートされた制御モードに従って少なくとも１つの仮想ロボット構成要素を移動させることと、を含むことができる。いくつかの変形形態では、仮想ロボット構成要素を移動させることは、少なくとも１つの仮想ロボット構成要素に関するステータス情報を第１のアプリケーション（例えば、仮想動作環境アプリケーション）から第２のアプリケーション（例えば、運動学的アプリケーション）に渡すことと、ステータス情報及びエミュレートされた制御モードに基づいて作動コマンドを生成することと、作動コマンドを第２のアプリケーションから第１のアプリケーションに渡すことと、作動コマンドに基づいて、仮想ロボット外科環境内で少なくとも１つの仮想ロボット構成要素を移動させることと、を含むことができる。
【0022】
例えば、試験される制御モードは、ロボットアームについての軌跡追従制御モードであってもよい。軌跡追従において、ロボットアームの動きは、仮想現実システムを使用してプログラムされ、次いでエミュレートされてもよい。したがって、システムが軌跡追従制御モードをエミュレートするために使用されるとき、運動学的アプリケーションによって生成された作動コマンドは、仮想ロボットアーム内の複数の仮想関節のそれぞれのための作動コマンドを生成することを含み得る。この一連の作動されたコマンドは、仮想ロボットアームを仮想環境内で移動させるための仮想動作環境アプリケーションによって実行されてもよく、それによって、衝突、容積又は動作の作業空間などについての試験を可能にする。
【0023】
仮想現実システム、それらのユーザモード及び対話、並びに仮想現実システムのアプリケーション及び使用の他の変形形態及び例は、本明細書で更に詳細に説明される。
【図面の簡単な説明】
【0024】
【図1A】ロボット外科システム及び外科医コンソールを有する手術室配置の一例を 示す。
【図1B】ロボットアームマニピュレータ、器具駆動装置、及び外科用器具を有する カニューレの例示的な一変形形態の概略図である。
【0025】
【0026】
【図3】仮想現実システムの構成要素の概略図である。
【0027】
【図4A】仮想現実環境アプリケーションと仮想現実システムで使用するための運動 学的アプリケーションとの間の通信のための例示的な構造である。
【図4B】仮想現実環境アプリケーションと運動学的アプリケーションとの間の通信 のためのアプリケーションプログラムインターフェースに関する例示的なデータ構造 及びフィールドを要約した表である。
【図4C】仮想現実環境アプリケーションと運動学的アプリケーションとの間の通信 のためのアプリケーションプログラムインターフェースに関する例示的なデータ構造 及びフィールドを要約した表である。
【0028】
【図5A】腹腔鏡手持ち式制御装置の例示的な一変形形態を含む仮想現実システムの 別の変形形態の概略図である。
【図5B】腹腔鏡手持ち式制御装置によって制御された仮想手動腹腔鏡ツールを含む 仮想現実環境の没入型視野を表示するための没入型ディスプレイの概略図である。
【0029】
【図6A】腹腔鏡手持ち式制御装置の例示的な一変形形態の斜視図である。
【0030】
【図7】外科用ロボット環境と連動する仮想現実システムの別の変形形態の概略図で ある。
【0031】
【図8】仮想現実システムの１つの変形形態の１つ以上のユーザモードを選択するた めの表示されたメニューの概略図である。
【0032】
【図9A】例示的なポータルを有する仮想ロボット外科環境の概略図である。
【図9B】例示的なポータルを有する仮想ロボット外科環境の概略図である。
【図9C】例示的なポータルを有する仮想ロボット外科環境の概略図である。
【0033】
【図10A】飛行モードで見た例示的な仮想ロボット外科環境の概略図である。
【図10B】飛行モードで見た例示的な仮想ロボット外科環境の概略図である。
【図10C】飛行モードにある例示的な仮想ロボット外科環境の視野を変更するため の移行領域の概略図である。
【0034】
【図11】仮想手術室の例示的なドールハウス視野を提供する視座点から見た仮想ロ ボット外科環境の概略図である。
【0035】
【図12】補足的視野を表示するための例示的なヘッドアップディスプレイを有する 仮想ロボット外科環境の視野の概略図である。
【0036】
【図13】仮想コマンドステーションモードで動作する仮想現実システムの１つの変 形形態によって提供されるディスプレイの概略図である。
【0037】
【図14】仮想現実システムにおけるユーザモードの選択のためのユーザモードメニ ューを動作させるための方法の例示的な変形形態のフローチャートである。
【0038】
【図15】仮想現実システムにおいて環境視野ローテーションモードで動作させるた めの方法の例示的な変形形態のフローチャートである。
【0039】
【図16】仮想環境中のスナップ点を可能にするユーザモードを動作させるための方 法の例示的な変形形態のフローチャートである。
【発明を実施するための形態】
【0040】
本発明の種々の態様及び変形形態の例が本明細書で説明され、かつ添付図面において示される。以下の説明は、本発明をこれらの実施形態に限定するのではなく、当業者が本発明を作製及び使用することを可能にすることを意図するものである。
ロボット外科システムの概要
ロボット外科システムの概要
【0041】
例示的なロボット外科システム及び外科環境が図１Ａに示されている。図１Ａに示されるように、ロボット外科システム１５０は、外科手術プラットフォーム（例えば、台、ベッドなど）に配置された１つ以上のロボットアーム１６０を備えていてもよく、エンドエフェクタ又は外科用ツールが、外科処置を行うためにロボットアーム１６０の遠位端に取り付けられている。例えば、ロボット外科システム１５０は、図１Ｂの例示的な概略図に示されるように、外科用プラットフォームに連結された少なくとも１つのロボットアーム１６０、及びロボットアーム１６０の遠位端に概ね取り付けられたツール駆動装置１７０を備えてもよい。ツール駆動装置１７０の端部に連結されたカニューレ１００は、外科用器具１９０（例えば、エンドエフェクタ、カメラなど）を受容及びガイドすることができる。更に、ロボットアーム１６０は、外科用器具１９０を作動させる、ツール駆動装置１７０を位置決め及び配向するように作動される複数の連結部を含んでもよい。ロボット外科システムは、制御塔１５２（例えば、電源、演算機器などを含む）及び／又はロボット構成要素の機能を支持するための他の好適な装置を更に備えてもよい。
【0042】
いくつかの変形形態では、ユーザ（例えば、外科医又はその他の操作者）は、ユーザコンソール１００を使用して、ロボットアーム１６０及び／又は外科用器具を離れて操作（例えば、遠隔操作）してよい。ユーザコンソール１００は、図１Ａに示されるように、ロボットシステム１５０と同じ処置室に配置されていてもよい。他の実施形態では、ユーザコンソール１００は、隣接した部屋又は付近の部屋に配置されていてもよく、又は異なる建物、都市又は国で、離れた位置からテレオペレーションされてもよい。一例では、ユーザコンソール１００は、座席１１０と、足踏み式制御部１２０と、１つ以上の手持ち式ユーザインターフェース装置１２２と、例えば患者体内の手術部位の像を表示するように構成された少なくとも１つのユーザディスプレイ１３０と、を備えている。例えば、図１Ｃで示される例示的なユーザコンソールで示されるように、座席１１０に位置してユーザディスプレイ１３０を見ているユーザは、足踏み式制御部１２０及び／又は手持ち式ユーザインターフェース装置を操作して、ロボットアーム１６０及び／又は外科用器具を、遠隔操作してよい。
【0043】
いくつかの変形形態では、ユーザは、「オーバー・ザ・ベッド」（ＯＴＢ）モードにてロボット外科システム１５０を操作してよく、これは、ユーザが患者の側面にいて、ロボット駆動ツール駆動装置／そこへ取り付けられたエンドエフェクタ及び手動の腹腔鏡検査器具を同時に操作するものである（例えば、１つの手にて保持された、手持ち式ユーザインターフェース装置１２２）。例えば、ユーザの左手は、手持ち式ユーザインターフェース装置１２２を操作してロボット手術構成要素を制御してよく、一方で、ユーザの右手は、手動の腹腔鏡検査器具を操作してよい。したがって、これらの変形形態では、ユーザは、患者において、ロボット支援ＭＩＳ及び手動腹腔鏡技法の両方を実施してよい。
【0044】
例示的な処置又は外科手術の間、患者は、滅菌態様で準備され、布が掛けられ、麻酔を達成する。手術部位への初期アクセスは、収納配置又は引き込み配置にて、ロボットシステム１５０により手動で実施されて、手術部位へのアクセスを促進してよい。一度アクセスが完了すると、ロボットシステムの初期位置決め及び／又は準備を実施してよい。外科処置の間、ユーザコンソール１００中の外科医又は他のユーザは、足踏み式制御部１２０及び／又はユーザインターフェース装置１２２を利用して、種々のエンドエフェクタ及び／又は撮像システムを操作して処置を行ってもよい。手動による補助は、処置台で、滅菌ガウンを着た職員によって与えられてもよく、滅菌ガウンを着た職員は、限定されないが、臓器を奥に引っ込めること、又は手動での再位置決め、又は１つ以上のロボットアーム１６０を含むツールの交換を含む作業を行ってもよい。また、滅菌されていない職員は、ユーザコンソール１００で外科医を補助するために存在していてもよい。処置又は外科手術が完了した場合、ロボットシステム１５０及び／又はユーザコンソール１００は、ロボットシステム１５０の洗浄及び／若しくは滅菌、及び／又は、電子コピー若しくはハードコピーでの健康管理記録の登録若しくは印刷を含むがこれらに限定されない、ユーザコンソール１００を介してなどの、１つ以上の手術後処置を促進するように構成されてよい、又は促進する状態に設定させてよい。
【0045】
図１Ａでは、ロボットアーム１６０は台搭載システムと共に示されるが、その他の実施形態では、ロボットアームは、カート、天井、若しくは側壁、又はその他の好適な支持表面に、取り付けられてよい。ロボットシステム１５０、ユーザコンソール１００と任意の他のディスプレイとの通信は、有線接続及び／又は無線接続（複数可）を介していてもよい。任意の有線接続が、床及び／又は壁又は天井に任意選択的に構築されてもよい。ユーザコンソール１００とロボットシステム１５０との通信は、無線及び／又は有線であってもよく、種々のデータ通信プロトコルのいずれかを用いて専有されていてもよく、及び／又は実施されてもよい。更に他の変形形態では、ユーザコンソール１００は、一体化されたディスプレイ１３０を備えていないが、インターネット又はネットワークを介してアクセス可能なリモートディスプレイを含む、１つ以上の汎用ディスプレイに接続して出力可能なビデオ出力を与えることができる。ビデオ出力又はビデオフィードは、プライバシーを確保するために暗号化されてもよく、ビデオ出力の全て又は一部が、サーバ又は電子健康管理記録システムに保存されてもよい。
【0046】
他の例では、例えば、更なる外科用器具を制御し、及び／又は主要なユーザコンソールで１つ以上の外科用器具の制御を行うために、更なるユーザコンソール１００が提供されてもよい。これにより、例えば、外科医が、外科処置中に、ある技術を引き継ぐ、又は医学生及びトレーニング中の医師に説明することができ、あるいは同時に、又は協調した様式で作業する複数の外科医を必要とする複雑な外科手術中に補助することができる。
仮想現実システム
仮想現実システム
【0047】
仮想ロボット外科環境を提供するための仮想現実システムが、本明細書に記載される。図２Ａで示されるように、仮想現実システム２００は、仮想ロボット外科環境を生成するための仮想現実プロセッサ２１０（例えば、メモリ内に記憶された命令を実行するコンピュータ内のプロセッサ）と、ユーザＵによって装着可能な頭部装着ディスプレイ２２０と、仮想ロボット外科環境と対話するためにユーザＵによって操作可能な１つ以上の手持ち式制御装置２３０と、を備えることができる。図２Ｂで示されるように、頭部装着ディスプレイ２２０は、仮想ロボット外科環境をユーザＵに表示するための没入型ディスプレイ２２２（例えば、仮想環境の１人称観点の視野を伴う）を含むことができる。没入型ディスプレイは、例えば、対眼鏡アセンブリによって提供される立体ディスプレイであってもよい。いくつかの変形形態では、仮想現実システム２００は、仮想ロボット外科環境を表示するための外部ディスプレイ２４０を追加的に又は代替的に含み得る。没入型ディスプレイ２２２及び外部ディスプレイ２４０は、両方が存在する場合、同じ又は類似の内容物を示すように同期されてもよい。
【0048】
本明細書で更に詳細に説明されるように、仮想現実システム（及び本明細書に更に記載されるようなその変形形態）は、訓練、模擬、及び／又は複数の人物の協働を含むが、これらに限定されない用途において、ロボット外科手術に関しての有用なツールとして機能し得る。仮想現実システムのアプリケーション及び使用のより具体的な例は、本明細書に記載される。
【0049】
一般に、仮想現実プロセッサは、仮想ロボット外科環境を生成するように構成され、仮想ロボット外科環境内で、ユーザは仮想手術室の周囲をナビゲートし、頭部装着ディスプレイ及び／又は手持ち式制御装置を介して仮想対象物と対話することができる。例えば、仮想ロボット外科システムは、３次元メッシュ及び選択された特性（例えば、仮想ロボットアーム及び／又は仮想外科ツールの寸法及び運動学的制約、それらの数及び配置など）を有する１つ以上の仮想ロボット構成要素と共に、仮想手術室に一体化されてもよい。仮想制御塔、又はロボット外科システムを支持する機器を表す他の仮想機器、仮想患者、患者のための仮想台若しくは他の表面、仮想医療スタッフ、仮想ユーザコンソールなどの他の仮想対象物もまた、仮想現実の手術室に組み込まれてもよい。
【0050】
いくつかの変形形態では、頭部装着ディスプレイ２２０及び／又は手持ち式制御装置２３０は、仮想及び拡張現実環境（例えば、ゲーム及び／若しくは軍事目的のため）を含む用途のために市販されている、任意の好適な仮想現実ハードウェアシステムに含まれるものの修正バージョンであってもよく、当業者によく知られている。例えば、頭部装着ディスプレイ２２０及び／又は手持ち式制御装置２３０は、ユーザが仮想ロボット外科環境との対話を可能にするように修正されてもよい（例えば、手持ち式制御装置２３０は、以下に記載されるように修正されて腹腔鏡手持ち式制御装置として動作することができる）。手持ち式制御装置は、例えば、搬送された装置（例えば、ワンド、リモート装置など）及び／又はユーザの手に着用された衣類（例えば、手袋、リング、リストバンドなど）を含んでもよく、センサを含み、かつ／又は外部センサと協働して、ユーザの手（複数可）、個々の指（複数可）、手首（単数又は複数）などの追跡を提供する。他の好適な制御装置は、追加的に又は代替的に使用されてもよい（例えば、ユーザの腕の追跡を提供するように構成されたスリーブ）。
【0051】
一般的に、ユーザＵは、頭部装着ディスプレイ２２０を装着して、少なくとも１つの手持ち式制御装置２３０を運ぶ（又は着用する）ことができ、同時に、ユーザＵは訓練室などの物理的作業空間の周りを移動する。頭部装着ディスプレイ２２０を装着すると同時に、ユーザは、仮想現実プロセッサ２１０によって生成され、没入型ディスプレイ２２２上に表示された仮想ロボット外科環境の没入型の１人称観点の視野を見ることができる。図２Ｂに示すように、没入型ディスプレイ２２２上に表示される視野は、手持ち式制御装置の１つ以上のグラフィック表現２３０’（例えば、手持ち式制御装置の仮想モデル、手持ち式制御装置の代わりにヒトの手の仮想モデル、又は手持ち式制御装置を保持しているヒトの手の仮想モデルなど）を含んでもよい。同様の１人称観点の視野は、外部ディスプレイ２４０上に表示されてもよい（例えば、アシスタント、メンタ、又は他の好適な人物が見るため）。ユーザが作業空間内で移動及びナビゲートすると、仮想現実プロセッサ２１０は、頭部装着ディスプレイの位置及び向き（したがって、ユーザの位置及び向き）に少なくとも部分的に基づいて、没入型ディスプレイ２２２上に表示される仮想ロボット外科環境の視野を変更してもよく、それにより、ユーザは、自分がまるで仮想ロボット外科環境内で探索及び移動しているかのように感じることができる。
【0052】
加えて、ユーザは、手持ち式制御装置２３０を移動及び／又は操作することによって、仮想ロボット外科環境と更に対話することができる。例えば、手持ち式制御装置２３０は、１つ若しくは２つ以上のボタン、トリガ、タッチ感知機構、スクロールホイール、スイッチ、及び／又はユーザが仮想環境と対話するように操作することができる他の好適な対話機構を含んでもよい。ユーザが手持ち式制御装置２３０を移動させると、仮想現実プロセッサ２１０は、仮想ロボット外科環境内で、手持ち式制御装置（又はカーソル若しくは他の代表的なアイコン）のグラフィック表現２３０’を移動させることができる。更に、手持ち式制御装置２３０の１つ以上の対話機構とエンゲージすることにより、ユーザが仮想環境の態様を操作することを可能にし得る。例えば、ユーザは、手持ち式制御装置のグラフィック表現２３０’が環境内の仮想ロボットアーム上の仮想タッチポイント（例えば、選択可能な位置）に近接するまで手持ち式制御装置２３０を移動させ、手持ち式制御装置２３０上のトリガ又は他の対話機構とエンゲージして、仮想タッチポイントを選択し、次いで、トリガとエンゲージして仮想タッチポイントを介して仮想ロボットアームをドラッグないしは別の方法で操作しながら、手持ち式制御装置２３０を移動させることができる。仮想ロボット外科環境とのユーザ対話の他の例は、以下で更に詳細に説明される。
【0053】
いくつかの変形形態では、仮想現実システムは、ユーザの他の感覚をエンゲージさせることができる。例えば、仮想現実システムは、ユーザに音声フィードバックを再生するための１つ以上のオーディオ装置（例えば、ユーザのためのヘッドホン、スピーカーなど）を含んでもよい。別の例として、仮想現実システムは、手持ち式制御装置２３０、頭部装着ディスプレイ２２０、又はユーザに接触する他の触覚装置（例えば、手袋、リストバンドなど）のうちの１つ以上において、振動などの触覚フィードバックを提供することができる。
仮想現実プロセッサ
仮想現実プロセッサ
【0054】
仮想現実プロセッサ２１０は、仮想ロボット外科環境を生成するように構成されてもよく、仮想ロボット外科環境内で、ユーザは仮想手術室の周囲をナビゲートし、仮想対象物と対話することができる。仮想現実プロセッサと仮想現実システムの少なくともいくつかの構成要素との間の例示的な対話を例示する概略図が、図３に示される。
【0055】
いくつかの変形形態では、仮想現実プロセッサ２１０は、頭部装着ディスプレイ２２０及び／又は手持ち式制御装置２３０などのハードウェア構成要素と通信してもよい。例えば、仮想現実プロセッサ２１０は、頭部装着ディスプレイ２２０内のセンサから入力を受信して、物理的作業空間内のユーザの位置及び向きを判定することができ、これは、仮想環境の好適な対応する１人称観点の視野を生成して、ユーザに対して頭部装着ディスプレイ２２０内で表示するために使用されることができる。別の例として、仮想現実制御２１０は、手持ち式制御装置２３０内のセンサから入力を受信して、手持ち式制御装置２３０の位置及び向きを判定することができ、これは、手持ち式制御装置２３０の好適なグラフィック表現を生成して、ユーザに対して頭部装着ディスプレイ２２０内で表示するため、並びに（仮想環境と対話するための）ユーザ入力を、仮想ロボット外科環境の対応する修正に変換するために使用されることができる。仮想現実プロセッサ２１０は、非没入型の様式で、ユーザ、及び／又はユーザの仮想環境との対話を見ることを望む場合があるアシスタント若しくはメンタなどの他の人物が可視できる外部ディスプレイ２４０（例えば、モニタースクリーン）に連結することができる。
【0056】
いくつかの変形形態では、仮想現実プロセッサ２１０（又は複数のプロセッサ機械）は、仮想ロボット外科環境を生成するための１つ以上のソフトウェアアプリケーションを実行するように構成されてもよい。例えば、図４に示すように、仮想現実プロセッサ２１０は、仮想動作環境アプリケーション４１０及び運動学的アプリケーション４２０を含む、少なくとも２つのソフトウェアアプリケーションを利用することができる。仮想動作環境アプリケーション及び運動学的アプリケーションは、クライアント－サーバモデルを介して通信することができる。例えば、仮想動作環境アプリケーションはクライアントとして動作することができ、運動学的アプリケーションはサーバとして動作することができる。仮想動作環境アプリケーション４１０及び運動学的アプリケーション４２０は、同じ処理機械上で、又はコンピュータネットワークを介して連結された別個の処理機械上で実行されてもよい（例えば、クライアント又はサーバはリモート装置であってもよく、又は機械はローカルコンピュータネットワーク上にあってもよい）。加えて、他の変形形態では、仮想動作環境アプリケーション４１０及び／又は運動学的アプリケーション４２０は、他のソフトウェア構成要素とインターフェースで連結し得ることを理解されたい。いくつかの変形形態では、仮想動作環境アプリケーション４１０及び運動学的アプリケーション５２０は、アプリケーションが互いに通信する方法を定義する１つ以上のアプリケーションプログラムインターフェース（ＡＰＩ）を呼び出すことができる。
【0057】
仮想動作環境４１０は、仮想動作室環境（例えば、手術室、手術台、制御塔、又は他の構成要素、ユーザコンソール、ロボットアーム、ロボットアームを手術台に連結する台アダプタ連結部など）の記述又は定義を可能にし得る。仮想動作室環境の少なくともいくつかの記述は、（例えば、モデル仮想現実構成要素データベース２０２内に）保存され、設定ファイルとしてプロセッサに提供されてもよい。例えば、いくつかの変形形態では、図３に示すように、仮想現実プロセッサ（例えば、上述の仮想動作環境アプリケーション４１０を介して）は、モデル仮想現実構成要素データベース２０２（例えば、サーバ、ローカル若しくはリモートハードドライブ、又は他の好適なメモリに記憶されている）と通信してもよい。モデル仮想現実構成要素データベース２０２は、仮想ロボット外科環境の仮想構成要素を記述する１つ以上の設定ファイルを記憶してもよい。例えば、データベース２０２は、異なる種類の手術室（例えば、部屋の形状若しくは部屋の寸法が変化する）、患者が横たわる手術台又は他の表面（例えば、サイズ、高さ、表面、材料建造様式などが変化する）、制御塔（例えば、サイズ及び形状が変化する）、ユーザコンソール（例えば、ユーザシート設計において変化する）、ロボットアーム（例えば、アーム連結部及び関節の設計、それらの数及び配置、アーム上の仮想タッチポイントの数及び配置など）、ロボットアームを手術台に連結する台アダプタ連結部（例えば、台アダプタ連結部及び関節の設計、それらの数及び配列など）、患者の種類（例えば、性別、年齢、体重、身長、胴囲などが変化する）、及び／又は医療関係者（例えば、人々の一般的なグラフィック表現、実際の医療スタッフのグラフィック表現など）を記述するファイルを記憶することができる。特定の一例として、Ｕｎｉｆｉｅｄ Ｒｏｂｏｔ Ｄｅｓｃｒｉｐｔｉｏｎ Ｆｏｒｍａｔ（ＵＲＤＦ）内の設定ファイルは、例えば、アーム連結部の数、アーム連結部と接続するアーム関節の数、各アーム連結部の長さ、各アーム連結部の直径若しくは周囲長、各アーム連結部のかさ、各アーム関節の種類（例えば、ロール、ピッチ、ヨーなど）などのフィールドについての定義又は値を含む、特定のロボットアームの構成を記憶することができる。加えて、仮想ロボット構成要素の運動学的挙動を更に定義するために、運動学的制約が、仮想ロボット構成要素（例えば、アーム）の上に「ラッパー」としてロードされてもよい。他の変形形態では、仮想現実プロセッサ２１０は、仮想ロボット外科環境にロードして生成するための仮想構成要素の任意の好適な記述を受信してもよい。したがって、仮想現実プロセッサ２１０は、特定の仮想ロボット外科環境を生成するために、設定ファイルの異なる組み合わせ及び／又は仮想構成要素の他の記述を受信及び利用することができる。
【0058】
いくつかの変形形態では、図３に示されるように、仮想現実プロセッサ２１０は、患者固有情報を記憶し得る患者記録データベース２０４と追加的又は代替的に通信してもよい。そのような患者固有の情報としては、例えば、患者撮像データ（例えば、Ｘ線、ＭＲＩ、ＣＴ、超音波など）、診療歴、及び／又は患者指標（例えば、年齢、体重、身長など）が挙げられるが、他の好適な患者固有情報が、追加的に又は代替的に患者記録データベース２０４に記憶されてもよい。仮想ロボット外科環境を生成するとき、仮想現実プロセッサ２１０は、患者記録データベース２０４から患者固有情報を受信し、受信した情報の少なくとも一部を仮想現実環境に統合することができる。例えば、患者の身体又は他の組織の現実的な表現が生成されて、仮想現実環境（例えば、２Ｄ画像の組み合わせスタックから生成された３Ｄモデル、例えば、ＭＲＩ画像）に組み込まれてもよく、それは、例えば、本明細書に更に記載されるように、特定の患者に特異的な、患者の周囲のロボットアームの望ましい配置、最適なポート配置などを決定するのに有用であり得る。別の例として、患者の撮像データは、仮想環境の視野のユーザフィールドの一部の上に重ね合わされてもよい（例えば、仮想患者の組織の上に患者の組織の超音波画像を重ね合わせる）。
【0059】
いくつかの変形形態では、仮想現実プロセッサ２１０は、仮想ロボット外科環境における仮想ロボットシステムの１つ以上の構成要素の挙動を少なくとも部分的に記述するために、運動学的アプリケーション４２０を介して１つ以上の運動学的アルゴリズムを埋め込んでもよい。例えば、１つ以上のアルゴリズムは、仮想ロボットアームがユーザ対話にどのように応答するか（例えば、仮想ロボットアーム上のタッチポイントの選択及び操作による仮想ロボットアームの移動）か、又は選択された制御モードで仮想ロボットアームがどのように動作するか、を定義し得る。仮想ツール駆動装置、仮想患者台、又は他の仮想構成要素の動作を定義するものなどの他の運動学的アルゴリズムは、追加的に又は代替的に仮想環境に埋め込まれてもよい。実際の（現実の）ロボット外科システムの挙動を正確に記述する１つ以上の運動学的アルゴリズムを仮想環境に埋め込むことによって、仮想現実プロセッサ２１０は、仮想ロボット外科システムが、対応する現実のロボット外科システムの物理的実装と比較して、正確又は現実的に機能することを可能にし得る。例えば、仮想現実プロセッサ２１０は、実際のロボット外科システムにおけるロボット構成要素（例えば、アーム）の動きを定義する１つ以上の制御モードを表す又は対応する少なくとも１つの制御アルゴリズムを埋め込むことができる。
【0060】
例えば、運動学的アプリケーション４２０は、仮想ロボットアーム又は仮想環境内の他の好適な仮想構成要素などの１つ以上の仮想制御モードの記述又は定義を可能にし得る。一般に、例えば、仮想ロボットアームについての制御モードは、仮想ロボットアームが特定のタスクを実施又は実行することを可能にする機能ブロックに対応し得る。例えば、図４に示すように、制御システム４３０は、仮想ロボットアーム内の少なくとも１つの関節の作動を支配する複数の仮想制御モード４３２、４３４、４３６などを含んでもよい。仮想制御モード４３２、４３４、４３６などは、少なくとも１つの初期モード（少なくとも１つの関節の作動のための基礎となる挙動を統制する）及び／又は少なくとも１つのユーザモード（より高いレベル、タスク固有の挙動を統制し、１つ以上の初期モードを利用してもよい）を含んでもよい。いくつかの変形形態では、ユーザは、仮想ロボットアーム又は他の仮想対象物の仮想タッチポイント表面をアクティブ化し、それによって特定の制御モードを（例えば、状態機械又は他の制御装置を介して）誘引することができる。いくつかの変形形態では、ユーザは、例えば、仮想環境の１人称観点の視野に表示されたメニューを介して、特定の制御モードを直接選択することができる。
【0061】
初期仮想制御モードの例としては、関節コマンドモード（ユーザが単一の仮想関節を個別に、及び／又は複数の仮想関節を集合的に直接作動させることを可能にする）、重力補償モード（仮想ロボットアームは、連結部及び関節の特定の位置及び向きを伴って、模擬重力によって下向きに押し流されることなく、それ自体を特定の姿勢で保持することができる）、並びに軌跡追従モード（仮想ロボットアームは、１つ以上のデカルト又は他の軌跡コマンドのシーケンスに従って移動することができる）が挙げられるが、これらに限定されない。１つ以上の初期制御モードを組み込むユーザモードの例としては、限定するものではないが、アイドリングモード（仮想ロボットアームが、更なるコマンドを待ちながら、現在又はデフォルトの姿勢で静止し得る）、設定モード（仮想ロボットアームが、特定の型の外科処置のためのデフォルト設定姿勢又は所定のテンプレート姿勢に移行し得る）、並びにドッキングモード（ロボットアームが、ユーザがロボットアームを重力補償などの部品に取り付けるプロセスを容易にする）が挙げられる。
【0062】
一般に、仮想動作環境アプリケーション４１０及び運動学的アプリケーション４２０は、仮想対象物及び仮想環境の他の態様の情報（例えば、ステータス又は他の特性）を整理するアプリケーションプログラムインターフェース（ＡＰＩ）などの所定の通信プロトコルを介して互いに通信することができる。例えば、ＡＰＩは、仮想ロボットアーム（全体及び／又はセグメントごとに基づく）、仮想台、仮想アームを仮想台に接続する仮想台アダプタ、仮想カニューレ、仮想ツール、仮想環境とのユーザ対話を促進するための仮想タッチポイント、ユーザ入力システム、手持ち式制御装置などの仮想対象物に関する情報をどのように通信するかを特定するデータ構造を含むことができる。更に、ＡＰＩは、仮想環境内の事象（例えば、２つの仮想エンティティ間の衝突事象）又は仮想環境に関連する他の態様（例えば、仮想環境を表示するための基準フレーム、制御システムフレームワークなど）に関する情報をどのように通信するかを特定する１つ以上のデータ構造を含むことができる。これらの情報を含む例示的なデータ構造及び例示的なフィールドは、図４Ｂ及び図４Ｃに列挙され記載されているが、ＡＰＩの他の変形形態は、データ構造及び例示的なフィールド構造の任意の好適な種類、名称、及び数を含み得ることを理解されたい。
【0063】
いくつかの変形形態では、図４Ａに概略的に図式的に示されるように、仮想動作環境アプリケーション４１０は、ステータス情報を運動学的アプリケーション４２０に渡し、運動学的アプリケーション４２０は、ＡＰＩを介して仮想動作環境アプリケーション４１０にコマンドを渡し、ここで、コマンドは、ステータス情報に基づいて生成され、その後仮想現実プロセッサ２１０によって使用されて、仮想ロボット外科環境の変化を生成する。例えば、仮想ロボットアームを制御するために仮想ロボット外科環境に１つ以上の運動学的アルゴリズムを埋め込む方法は、仮想ロボットアームの少なくとも一部分に関するステータス情報を仮想動作環境アプリケーション４１０から運動学的アプリケーション４２０に渡すことと、仮想ロボットアームの少なくとも１つの仮想関節を作動させる作動コマンドをアルゴリズム的に決定することと、作動コマンドを運動学的アプリケーション４２０から仮想動作環境アプリケーション４１０に渡すことと、を含み得る。仮想現実プロセッサ２１０は、続いて、作動コマンドに従って仮想ロボットアームを動かすことができる。
【0064】
仮想ロボットアームを制御するための例示的な一例として、仮想ロボットアームのための重力補償制御モードが呼び出されてもよく、それによって、仮想ロボットアーム中の仮想関節上への模擬重力を相殺するために、１つ以上の仮想関節作動コマンドが必要となる。仮想動作環境アプリケーション４１０は、仮想ロボットアームに関する関連ステータス情報（例えば、仮想ロボットアームの少なくとも一部の位置、仮想ロボットアームが取り付けられる仮想患者台の位置、ユーザが仮想ロボットアームを移動させるように操作できる仮想タッチポイントの位置、隣接する仮想アーム連結部間の関節角度）及びステータス情報（例えば、仮想ロボットアームに対する模擬重力の方向）を運動学的アプリケーション４２０に渡すことができる。仮想動作環境アプリケーション４１０からの受信されたステータス情報、並びに仮想ロボットアーム及び／又は仮想ロボットアームに取り付けられた仮想ツール駆動装置の既知の運動学的及び／又は動力学的特性（例えば、設定ファイルなどから既知である）に基づいて、制御システム４３０は、各仮想関節においてどの作動力が、その仮想関節に作用する模擬重力を補償するために必要とされるかをアルゴリズム的に決定してもよい。例えば、制御システム４３０は、順運動学的アルゴリズム、逆アルゴリズム、又は任意の好適なアルゴリズムを利用してもよい。仮想ロボットアームのそれぞれの関連する仮想関節に対する作動力コマンドが決定されると、運動学的アプリケーション４２０は、仮想動作環境アプリケーション４１０に力コマンドを送信することができる。仮想現実プロセッサは、続いて、力コマンドに従って、仮想ロボットアームの仮想関節を作動させることができ、それによって、仮想環境内の模擬重力にもかかわらず（例えば、模擬重力下で下降又は崩壊する代わりに）仮想ロボットアームをその現在の姿勢を維持したまま視覚化させることができる。
【0065】
仮想ロボットアームを制御するための別の例は、ロボットアームのための軌跡追従である。軌跡追従において、ロボットアームの動きは、仮想現実システムを使用してプログラムされ、次いでエミュレートされてもよい。したがって、システムが軌跡計画制御モードをエミュレートするために使用されるとき、運動学的アプリケーションによって生成された作動コマンドは、仮想ロボットアーム内の複数の仮想関節のそれぞれのための作動コマンドを生成することを含み得る。この一連の作動されたコマンドは、仮想ロボットアームを仮想環境内で移動させるための仮想動作環境アプリケーションによって実行されてもよく、それによって、衝突、容積又は動作の作業空間などについての試験を可能にする。
【0066】
仮想ロボットアーム及び／又は他の仮想構成要素（例えば、仮想ロボットアームを仮想手術台に連結する仮想台アダプタ連結部）についての他の仮想制御アルゴリズムは、仮想動作環境アプリケーション４１０と運動学的アプリケーション４２０との間の同様の通信を介して実行されてもよい。
【0067】
仮想現実プロセッサ２１０は、本明細書では単一のプロセッサとして一般に参照されているが、いくつかの変形形態では、複数のプロセッサを使用して本明細書に記載されるプロセッサを実行することができることを理解されたい。１つ以上のプロセッサは、例えば、汎用コンピュータ、専用コンピュータ若しくは制御装置、又は他のプログラム可能なデータ処理装置若しくは構成要素などのプロセッサを含んでもよい。一般に、１つ以上のプロセッサは、任意の好適なコンピュータ可読媒体上に記憶された命令を実行するように構成されてもよい。コンピュータ可読媒体は、例えば、プログラムコードを記憶及び実行するように特別に構成された磁気媒体、光学媒体、光磁気媒体、及びハードウェアデバイス、例えば、特定用途向け集積回路（ＡＳＩＣ）、プログラム可能なロジックデバイス（ＰＬＤ）、ＲＯＭ及びＲＡＭデバイス、フラッシュメモリ、ＥＥＰＲＯＭ、光学デバイス（例えば、ＣＤ又はＤＶＤ）、ハードドライブ、フロッピードライブ、又は任意の好適なデバイスなどを含み得る。コンピュータプログラムコードの例としては、コンパイラによって生成されるものなどのマシンコード、及びインタープリタを使用してコンピュータによって実行されるより高レベルのコードを含むファイルが挙げられる。例えば、１つの変形形態は、Ｃ＋＋、ＪＡＶＡ（登録商標）、又は他の好適な対象物指向プログラミング言語及び開発ツールを使用して実施することができる。別の例として、別の変形形態は、機械実行可能なソフトウェア命令の代わりに、又は機械実行可能なソフトウェア命令と組み合わせて、配線回路内に実装されてもよい。
頭部装着ディスプレイ及び手持ち式制御装置
頭部装着ディスプレイ及び手持ち式制御装置
【0068】
図２Ａに示すように、ユーザＵは、頭部装着ディスプレイ２２０を装着し、及び／又は１つ以上の手持ち式制御装置２３０を保持することができる。頭部装着ディスプレイ２２０及び手持ち式制御装置２３０は、一般に、ユーザが、仮想現実プロセッサ２１０によって生成された仮想ロボット外科環境をナビゲートするか、及び／又はそれと対話することを可能にし得る。頭部装着ディスプレイ２２０及び／又は手持ち式制御装置２３０は、有線又は無線接続を介して、仮想現実プロセッサ２１０に信号を通信してもよい。
【0069】
いくつかの変形形態では、頭部装着ディスプレイ２２０及び／又は手持ち式制御装置２３０は、仮想及び拡張現実環境を含む用途のために市販されている、任意の好適な仮想現実ハードウェアシステムに含まれるものの修正バージョンであってもよい。例えば、頭部装着ディスプレイ２２０及び／又は手持ち式制御装置２３０は、ユーザが仮想ロボット外科環境との対話を可能にするように修正されてもよい（例えば、手持ち式制御装置２３０は、以下に記載されるように修正されて腹腔鏡手持ち式制御装置として動作することができる）。いくつかの変形形態では、仮想現実システムは、ユーザＵの作業空間内に赤外線を放射する１つ以上のトラッキングエミッタ２１２を更に備えてもよい。トラッキングエミッタ２１２は、例えば、壁、天井、固定物、又は他の好適な取り付け表面上に取り付けられてもよい。センサは、放出された赤外線を検出するために、頭部装着ディスプレイ２２０及び／又は手持ち式制御装置２３０の外向き表面に結合されてもよい。放出された光を検出する任意のセンサの位置に基づいて、また、光が放出された後にそのようなセンサが放射光を検出するときに、仮想現実プロセッサ２２０は、作業空間内の頭部装着ディスプレイ２２０及び／又は手持ち式制御装置２３０の位置及び向きを（例えば三角測量によって）決定するように構成されてもよい。他の変形形態では、他の好適な手段（例えば、加速度計又はジャイロスコープなどの他のセンサ技術、他のセンサ構成など）を使用して、頭部装着ディスプレイ２２０及び手持ち式制御装置２３０の位置及び向きを決定することができる。
【0070】
いくつかの変形形態では、頭部装着ディスプレイ２２０は、ユーザの頭部へのディスプレイ２２０の取り付けを容易にするストラップ（例えば、バックル、ゴム、スナップなどを伴う）を含んでもよい。例えば、頭部装着ディスプレイ２２０は、ゴーグル、ヘッドバンド又はヘッドセット、キャップなどと同様に構造化されてもよい。頭部装着ディスプレイ２２０は、立体没入型ディスプレイを提供する２つの対眼鏡アセンブリを含んでもよいが、代替的に任意の好適なディスプレイを含んでもよい。
【0071】
手持ち式制御装置２３０は、ユーザが仮想ロボット外科環境と対話するように操作することができる対話機構を含んでもよい。例えば、手持ち式制御装置２３０は、１つ若しくは２つ以上のボタン、トリガ、タッチ感知機構、スクロールホイール、スイッチ、及び／又は他の好適な対話機構を含んでもよい。加えて、手持ち式制御装置２３０は、ワンド状、ピンチ状、概ね円形の形状（例えば、ボール又は卵形）などの様々な形状因子のいずれかを有してもよい。いくつかの変形形態では、頭部装着ディスプレイ２２０及び／又は外部ディスプレイ２４０上に表示されるグラフィック表現２３０’は、実際の本物の手持ち式制御装置２３０の形状因子を概ね模倣することができる。いくつかの変形形態では、手持ち式制御装置は、搬送された装置（例えば、ワンド、リモート装置など）及び／又はユーザの手に着用された衣類（例えば、手袋、リング、リストバンドなど）を含んでもよく、センサを含み、かつ／又は外部センサと協働して、ユーザの手（複数可）、個々の指（複数可）、手首（単数又は複数）などの追跡を提供する。他の好適な制御装置は、追加的に又は代替的に使用されてもよい（例えば、ユーザの腕の追跡を提供するように構成されたスリーブ）。
腹腔鏡手持ち式制御装置
腹腔鏡手持ち式制御装置
【0072】
いくつかの変形形態では、図５Ａの概略図に示されるように、手持ち式制御装置２３０は、手動腹腔鏡ツールの少なくとも一部分を表す少なくとも１つのツール機構２３２を更に備えてもよく、それによって、仮想手動腹腔鏡ツールを制御するために使用され得る腹腔鏡手持ち式制御装置２３４を形成することができる。一般的に、例えば、ツール機構２３２は、手持ち式制御装置２３０を、手動腹腔鏡ツールと実質的に同様の形態（例えば、ユーザの感触及びタッチ）に適合するように機能し得る。腹腔鏡手持ち式制御装置２３４は、仮想ロボット外科環境において仮想手動腹腔鏡ツールを操作するために仮想現実プロセッサ２１０に通信可能に連結されてもよく、ユーザが、仮想ロボット外科環境と対話しながら、まるで実際の手動腹腔鏡ツールを使用しているかのように感じることが可能となるのに役立ち得る。いくつかの変形形態では、腹腔鏡手持ち式装置は、手動腹腔鏡ツールのモックアップ（例えば、複写又は汎用バージョン）であってもよいが、他の変形形態では、腹腔鏡手持ち式装置は機能的手動腹腔鏡ツールであってもよい。腹腔鏡手持ち式制御装置の少なくとも一部分の動きは、仮想現実腹腔鏡ツールの動きに対応するよう仮想現実制御装置によってマッピングされ得る。したがって、いくつかの変形形態では、仮想現実システムは、手動ＭＩＳのための手動腹腔鏡ツールの使用を模擬し得る。
【0073】
図５Ａに示すように、腹腔鏡手持ち式制御装置２３４は、仮想手動腹腔鏡ツールの感触を更に模擬するために、擬似患者設定と共に使用されてもよい。例えば、腹腔鏡手持ち式制御装置２３４は、カニューレ２５０（例えば、カニューレ内の手動ツールの現実的な感触を提供するためにＭＩＳ処置で使用される実際のカニューレ、又は腹腔鏡手持ち式制御装置２３４のツール軸部部分を受容するための腔を有する管などの、それらの好適な代表物）に挿入されてもよい。カニューレ２５０は、カニューレ２５０を受容するための１つ以上の挿入部位又はポートを有する発泡体などの擬似患者腹部２６０内に配置されてもよい。あるいは、実際の患者腹部と同様の感触を有する、抵抗を提供する空洞（例えば、流体を伴うなど）など、他の好適な擬似患者設定を使用してもよい。
【0074】
更に、図５Ｂに示すように、仮想現実プロセッサは、仮想患者に対する、仮想手動腹腔鏡ツール２３６’及び／又は仮想カニューレ２５０’を含む仮想ロボット外科環境（例えば、仮想患者内に挿入されているように描かれたカニューレのグラフィック表現２５０’）を生成してもよい。したがって、仮想手動腹腔鏡ツール２３６’及び仮想カニューレ２５０’を伴う仮想環境は、頭部装着ディスプレイ２２０及び／又は外部ディスプレイ２４０によって提供される没入型ディスプレイ上に表示されてもよい。キャリブレーション手順を実施して、腹腔鏡手持ち式制御装置２３４を仮想環境内の仮想手動腹腔鏡ツール２３６’にマッピングすることができる。したがって、ユーザが腹腔鏡手持ち式制御装置２３４を移動及び操作すると、少なくとも１つのツール機構２３４と擬似患者設定との組み合わせは、ユーザが、まるで仮想ロボット外科環境において手動腹腔鏡ツールを使用しているかのように触覚的に触感することを可能にし得る。同様に、ユーザが腹腔鏡手持ち式制御装置２３４を移動及び操作する場合の、仮想手動腹腔鏡ツール２３６’の対応する動きにより、ユーザが仮想ロボット外科環境において手動腹腔鏡ツールを使用しているという模擬を、ユーザが視覚化することが可能となり得る。
【0075】
いくつかの変形形態では、腹腔鏡手持ち式制御装置のキャリブレーション手順は、一般に、腹腔鏡手持ち式制御装置２３４を仮想手動腹腔鏡ツール２３６’に対してマッピングする。例えば、一般に、キャリブレーション手順は、仮想環境内の基準点に対するその位置を「ゼロ」とし得る。例示的なキャリブレーション手順では、ユーザは、ユーザの前の台上に配置され得る（例えば、実際の手術患者台の高さを表す高さで）疑似患者の腹部２６０内へ、カニューレ２５０を通して、腹腔鏡手持ち式制御装置を挿入することができる。ユーザは、実際の腹腔鏡処置中に達成される深さを表す好適な深さまで、疑似患者の腹部２６０へ、腹腔鏡手持ち式制御装置を挿入し続けることができる。腹腔鏡手持ち式制御装置が、疑似患者の腹部２６０内に適切に配置されると、ユーザは、擬似患者腹部２６０の位置及び高さに対して仮想患者の方向を確認するために、入力を提供してもよい（例えば、トリガを引くか、又は腹腔鏡手持ち式制御装置上のボタンを押すか、音声コマンドによる、など）。更に、仮想環境の他の態様は、例えば、標的位置に調整可能に移動可能な仮想構成要素を描写して、標的位置を伴う仮想構成要素の新しい整合を確認するためのユーザ入力を可能にすることによって（例えば、トリガを引くか、又は腹腔鏡手持ち式制御装置上のボタンを押すか、音声コマンドによる、など）、システムの実際の有形の態様と整合するようにキャリブレーションされてもよい。仮想構成要素の方向（例えば、軸部の回転方向）は、タッチパッド、トラックボール、又は腹腔鏡手持ち式制御装置又は他の装置上の他の好適な入力によって調整されてもよい。例えば、仮想手術室は、ユーザが立っている現実の部屋と整合されてもよく、仮想カニューレ又はトロカールの遠位端は、擬似患者腹部内の実際の進入位置などと整合されてもよい。更に、いくつかの変形形態では、仮想エンドエフェクタ（例えば、エンドカッター、クリッパー）は、腹腔鏡手持ち式制御装置を介して、同様の方法で、新しい標的位置及び方向に配向されてもよい。
【0076】
いくつかの変形形態では、図５Ｂに示すように、システムは、手持ち式制御装置２３０及び腹腔鏡手持ち式制御装置２３４の両方を含んでもよい。したがって、仮想現実プロセッサは、上記のような手持ち式制御装置２３０のグラフィック表現２３０’（腹腔鏡アタッチメントなし）及び仮想手動腹腔鏡ツール２３６’の両方を含む仮想環境を生成し得る。手持ち式制御装置２３０は、少なくとも１つの仮想ロボットアームを操作するために仮想現実プロセッサ２１０に通信可能に連結されてもよく、腹腔鏡手持ち式制御装置２３４は、仮想手動腹腔鏡ツール２３６’を操作するために仮想現実プロセッサ２１０に通信可能に連結されてもよい。したがって、いくつかの変形形態では、仮想現実システムは、ロボット外科システムを使用する「オーバー・ザ・ベッド」モードを模擬してもよく、このモードでは、操作者は患者の側にいて、ロボット支援ＭＩＳを提供するロボットアーム（例えば、片手で）と手動ＭＩＳを提供する手動腹腔鏡ツールとの両方を操作する。
【0077】
ツール機構２３２は、手動腹腔鏡ツールの一部分に概ね近似するか、又はそれを表す任意の好適な機構を含んでもよい。例えば、ツール機構２３２は一般に腹腔鏡ツール軸部に近似してもよい（例えば、制御装置の手持ち式部分から延在する細長い部材を含む）。別の例として、ツール機構２３２は、手持ち式制御装置２３０上の対話機構とエンゲージするが、手動腹腔鏡器具の感触を模擬する現実的な形状因子を提供する、手動腹腔鏡ツール上に存在するものと同様のトリガ、ボタン、又は他の腹腔鏡対話機構を備えてもよい（例えば、ツール機構２３２は、手持ち式制御装置２３０上の一般的な対話機構に重ね合わされ、それとエンゲージする現実的な形状因子を有する、より大きなトリガを備えてもよい）。更に別の例として、ツール機構２３２に、選択された材料及び／又は質量を含ませて、特定の種類の手動腹腔鏡ツールと同様の重量分布を有する腹腔鏡手持ち式制御装置２３４を作製することができる。いくつかの変形形態では、ツール機構２３２は、射出成形、機械加工、３Ｄ印刷、又は任意の好適な方法で成形された他の好適な材料であるプラスチック（例えば、ポリカーボネート、アクリロニトリルブタジエンスチレン（ＡＢＳ）、ナイロンなど）を含んでもよい。他の変形形態では、ツール機構２３２は、機械加工、鋳造等された金属又は他の好適な材料を含んでもよい。
【0078】
いくつかの変形形態では、ツール機構２３６は、手持ち式制御装置２３０とは別個に形成され、締結具（例えば、ネジ、磁石など）、インターロック機構（例えば、タブ及びスロットなどの糸又はスナップ嵌め機構など）、エポキシ、溶接（例えば、超音波溶接）などを介して手持ち式制御装置２３０に連結される、アダプタ又は他のアタッチメントであってもよい。ツール機構２３６は、手持ち式制御装置２３０に可逆的に連結されてもよい。例えば、腹腔鏡式の手持ち式制御装置２３０が所望されるときに手持ち式制御装置２３０を適合するために、ツール機構２３６は、手持ち式制御装置２３０に選択的に取り付けられてもよく、一方で、腹腔鏡手持ち式制御装置２３０が望まれないときは、ツール機構２３６は、手持ち式制御装置２３０から選択的に取り外すことができる。あるいは、ツール機構２３６は、製造中などに手持ち式部分２３４に恒久的に連結されてもよい。更に、いくつかの変形形態では、手持ち式部分２３４及びツール機構２３６は、一体的に形成されてもよい（例えば、単一部品として一緒に射出成形される）。
【0079】
腹腔鏡手持ち式制御装置の１つの例示的な変形形態を図６Ａに示す。腹腔鏡手持ち式制御装置６００は、手持ち式部分６１０（例えば、上述の手持ち式制御装置２３０と同様）と、ツール軸部６３０と、ツール軸部６３０を手持ち式部分６１０に連結するための軸部アダプタ６２０と、を含んでもよい。図６Ｂに示すように、腹腔鏡手持ち式制御装置６００は一般に、仮想手動腹腔鏡ステープラツール６００’を制御するために使用されてもよいが、腹腔鏡手持ち式制御装置６００を使用して、他の種類の仮想手動腹腔鏡器具（例えば、はさみ、解剖器具、把持器、針ホルダー、プローブ、鉗子、生検ツールなどを制御することができる。例えば、手持ち式部分６１０は、手持ち式部分６１０のユーザの操作が仮想ハンドル６１０’の操作にマッピングされるように、ステープラエンドエフェクタ６４０’を有する仮想手動腹腔鏡ステープラツール６００’の仮想ハンドル６１０’に関連付けられてもよい。同様に、ツール軸部６３０は、仮想手動腹腔鏡ステープラツール６００’の仮想ツール軸部６３０’に対応してもよい。ツール軸部６３０及び仮想ツール軸部６３０’は、カニューレ及び仮想カニューレにそれぞれ挿入されてもよく、それにより、カニューレに対するツール軸部６３０の移動は、仮想ロボット外科環境内の仮想カニューレ内の仮想ツール軸部６３０’の移動にマッピングされる。
【0080】
手持ち式部分６１０は、指トリガ６１２及び／又はボタン６１４などの１つ以上の対話機能を備えてもよく、これは、ユーザの指、掌などからのユーザ入力を受信し、かつ仮想現実プロセッサに通信可能に連結されてもよい。この例示的な実施形態では、指トリガ６１２は、仮想手動腹腔鏡ステープラツール６００’上の仮想トリガ６１２’にマッピングされてもよい。仮想トリガ６１２’は、仮想環境内で仮想組織をステープル留めするために、仮想エンドエフェクタ６４０’を作動させる（例えば、仮想エンドエフェクタ６４０’の仮想部材が原因となって、ステープラを閉鎖及び発射させる）ものとして可視化されてもよい。したがって、ユーザが、腹腔鏡手持ち式制御装置上で指トリガ６１２を作動させると、指トリガ６１２からの信号が、仮想現実プロセッサに通信されてもよく、これが、実際の手動腹腔鏡ステープラツールの模擬において仮想環境内で対話するように、仮想手動腹腔鏡ステープラツール６００’を修正する。別の変形形態では、トリガアタッチメントは、仮想手動腹腔鏡ステープラツール６００’上の仮想トリガ６１２’に物理的に似ていてもよく（例えば、形状及び形態で）、また、指トリガ６１２に連結されてもよく、これにより、腹腔鏡手持ち式制御装置６００は、仮想手動腹腔鏡ステープラツール６００’のユーザ感触をより密接に模倣することが可能となり得る。
【0081】
図６Ｃ～６Ｅに示されるように、軸部アダプタ６２０は、一般に、ツール軸部６３０を手持ち式部分６１０に連結するように機能してもよく、これは、例えば、手持ち式制御装置（上述の手持ち式制御装置２１０と同様の）を腹腔鏡手持ち式制御装置に適合させてもよい。軸部アダプタ６２０は、一般に、手持ち式部分６１０に連結するための第１の端部、及びツール軸部６３０に連結するための第２の端部を含んでもよい。図６Ｅに最も良く示されるように、軸部アダプタ６２０の第１の端部は、手持ち式部分６１０の機構上にクランプするように構成された近位部分６２０ａ及び遠位部分６２０ｂを含んでもよい。例えば、手持ち式部分６１０は、近位部分６２０ａ及び遠位部分６２０ｂを受容する中央空間６１４を画定する概ね環状の部分を含んでもよい。近位部分６２０ａ及び遠位部分６２０ｂは、環状部分のどちらかの側にその内径でクランプすることができ、締結具穴６２２を通過する締結具（図示せず）を介して環状部分に固定され、それによって軸部アダプタ６２０を手持ち式部分６１０に固定する。追加的に又は代替的に、軸部アダプタ６２０は、締まり嵌め、エポキシ、インターロック機構（例えば、近位部分６２０ａと遠位部分６２０ｂとの間）などの任意の好適な様式で手持ち式部分６１０に連結されてもよい。図６Ｅにも示すように、軸部アダプタ６２０の第２の端部は、ツール軸部６２０を受容するための凹部を含んでもよい。例えば、凹部は、プレス嵌め、摩擦嵌め、又は他の締まり嵌めを介してツール軸部部分６３０の概ね円筒形の端部を受容するために、概ね円筒形であってもよい。追加的に又は代替的に、ツール軸部６２０は、締結具（例えば、ネジ、ボルト、エポキシ、超音波溶接など）で軸部アダプタ６２０に連結されてもよい。ツール軸部６３０は、手動腹腔鏡ツールを模擬又は表現するための任意の好適なサイズ（例えば、長さ、直径）であってもよい。
【0082】
いくつかの変形形態では、軸部アダプタ６２０は、独立型の手持ち式制御装置（例えば、手持ち式制御装置２１０）としての、及び腹腔鏡手持ち式制御装置６００としての両方の、手持ち式部分６１０の選択的使用を可能にするために、手持ち式部分６１０から選択的に取り外し可能であってもよい。追加的に又は代替的に、ツール軸部６３０は、軸部アダプタ６２０から選択的に取り外し可能であってもよい（例えば、軸部アダプタ６２０は、手持ち式部分６１０に意図的に固定されてもよいが、ツール軸部６２０は、腹腔鏡手持ち式制御部６００を独立型の手持ち式制御装置２１０に変換するために、軸部アダプタ６２０から選択的に取り外し可能であってもよい）。
【0083】
一般に、軸部アダプタ６２０及びツール軸部６３０などの腹腔鏡手持ち式制御装置６００のツール機構は、剛性又は半剛性プラスチック又は金属で作製されてもよく、３Ｄ印刷、射出成形、切削、旋盤細工などの任意の好適な製造プロセスによって形成されてもよい。ツール機構は、特定の手動腹腔鏡ツールのユーザ感触を更に模擬するために、複数の種類の材料、及び／又は重量若しくは他の質量を含んでもよい。
システムの変形形態
システムの変形形態
【0084】
上述の仮想現実システムの１つ以上の態様は、システムの他の変形形態に組み込まれることができる。例えば、いくつかの変形形態では、仮想ロボット外科環境を提供するための仮想現実システムは、現実のロボット外科環境の１つ以上の機構とインターフェースで連結することができる。例えば、図３に示されるように、システム７００は、仮想ロボット外科環境を生成するように構成された１つ以上のプロセッサ（例えば、仮想現実プロセッサ２１０）と、ロボット外科環境内の１つ以上のセンサ７５０とを備えてもよく、１つ以上のセンサ７５０は、１つ以上のプロセッサと通信している。ロボット外科環境からのセンサ情報は、仮想ロボット外科環境におけるロボット外科環境の機構を模擬又は複製するためのような、ロボット外科環境内の一態様のステータスを検出するように構成されてもよい。例えば、ユーザは、実際の手術室とインターフェースで連結する仮想現実システムを介して実際の手術室における実際のロボット外科処置を監視することができる（例えば、ユーザは、実際の手術室内の条件を反映する仮想現実環境と対話することができる）。
【0085】
いくつかの変形形態では、１つ以上のセンサ７５０は、少なくとも１つのロボット構成要素（例えば、ロボットアーム、ロボットアームに連結されたツール駆動装置、ロボットアームが取り付けられる患者手術台、制御塔などのロボット外科システムの構成要素）、又はロボット外科手術室の他の構成要素のステータスを検出するように構成されてもよい。このようなステータスは、例えば、位置、向き、速さ、速度、動作状態（例えば、オン若しくはオフ、電力レベル、モード）、又は構成要素の任意の他の好適なステータスを示し得る。
【0086】
例えば、１つ以上の加速度計は、ロボットアーム連結部に連結されてもよく、ロボットアーム連結部の位置、向き、及び／又は運動速度などに関する情報を提供するように構成されてもよい。複数のロボットアーム上の複数の加速度計は、ロボットアーム間、ロボットアームの異なる連結部間、又はロボットアームと既知の位置を有する近くの障害物との間の差し迫った衝突及び／又は現在の衝突に関する情報を提供するように構成されてもよい。
【0087】
別の例として、１つ以上の近接センサ（例えば、赤外線センサ、静電容量型センサ）は、ロボットアーム又はロボット外科システム若しくは外科環境の他の構成要素の一部分に結合されてもよい。このような近接センサは、例えば、対象物間の差し迫った衝突に関する情報を提供するように構成されてもよい。追加的に又は代替的に、接触又はタッチセンサは、ロボットアーム又はロボット外科環境の他の構成要素の一部分に結合されてもよく、対象物間の現在の衝突に関する情報を提供するように構成されてもよい。
【0088】
別の例では、ロボット外科システム又は外科環境の１つ以上の構成要素は、外科環境内のマーカを監視するオーバーヘッドセンサーなどの、様々な構成要素の位置、向き、及び／又は速度の光学追跡を容易にするマーカ（例えば、赤外線マーカ）を含んでもよい。同様に、外科環境は、外科環境及びその内容物をスキャン及び／又はモデリングするためのカメラを追加的に又は代替的に含んでもよい。このような光学追跡センサ及び／又はカメラは、対象物間の差し迫った衝突及び／又は現在の衝突に関する情報を提供するように構成されてもよい。
【0089】
別の例として、１つ以上のセンサ７５０は、患者、外科医、又は他の手術スタッフのステータスを検出するように構成されてもよい。このようなステータスは、例えば、位置、向き、速さ、速度、及び／又は心拍数、血圧、温度などの生物学的指標を示し得る。例えば、心拍数モニタ、血圧モニタ、温度計、及び／又は酸素センサなどは、患者に連結されて、ユーザが患者の状態を追跡することを可能にし得る。
【0090】
一般に、これらの変形形態では、仮想現実プロセッサ２１０は、本明細書の他の箇所に記載されるものと同様の仮想ロボット外科環境を生成し得る。更に、１つ以上のセンサ７５０からステータス情報を受信すると、仮想現実プロセッサ２１０又はシステム内の他のプロセッサは、検出されたステータスを任意の１つ以上の好適な方法で組み込むことができる。例えば、１つの変形形態では、仮想現実プロセッサ２１０は、ロボット外科環境の仮想現実レプリカ又は概ねレプリカ、及び／又はその中で実施されるロボット外科処置を生成するように構成されてもよい。例えば、ロボット外科環境内の１つ以上のセンサ７５０は、仮想ロボット外科環境内の仮想ロボット構成要素に対応するロボット構成要素のステータスを検出するように構成されてもよい（例えば、仮想ロボット構成要素は、ロボット構成要素を視覚的形態及び／又は機能で実質的に表すことができる）。この変形形態では、仮想現実プロセッサ２１０は、ロボット構成要素の検出されたステータスを受信し、次いで、検出された状態に少なくとも部分的に基づいて仮想ロボット構成要素を修正し、仮想ロボット構成要素がロボット構成要素を模擬するように構成されてもよい。例えば、外科医がロボット外科処置中にロボットアームを特定の姿勢に移動させる場合、仮想環境内の仮想ロボットアームは、それに対応して移動し得る。
【0091】
別の例として、仮想現実プロセッサ２１０は、対象物間の差し迫った衝突若しくは現在の衝突、又は患者の健康状態の不良などの警報事象を示すステータス情報を受信してもよい。このような情報を受信すると、仮想現実プロセッサ２１０は、視覚アラート（例えば、テキスト、衝突を示すアイコン、衝突を示す仮想環境内の視野など）、音声アラートなどを表示することなどによって、ユーザに事象の発生の警告又はアラームを提供してもよい。
【0092】
更に別の例として、ロボット外科環境内の１つ以上のセンサを使用して、実際の外科処置（非仮想ロボット手術環境において生じる）と、仮想ロボット外科環境において計画されたような計画された外科処置とを比較してもよい。例えば、少なくとも１つのロボット構成要素（例えば、ロボットアーム）の予想位置は、仮想ロボット外科環境において対応する仮想ロボット構成要素として可視化されるように、手術事前計画中に決定され得る。実際の外科処置の間、１つ以上のセンサは、実際のロボット構成要素の測定された位置に関する情報を提供し得る。ロボット構成要素の予想位置と測定位置との間のいずれの相違も、仮想現実環境で構築された手術計画からの偏差を示し得る。このような偏差は最終的に望ましくない結果をもたらし得るため（例えば、ロボットアーム間の意図しない衝突など）、偏差の識別は、ユーザが手術計画を適宜に調節することを可能にし得る（例えば、手術部位へのアプローチを再構成する、外科用器具を変更するなど）。
ユーザモード
ユーザモード
【0093】
一般に、仮想現実システムは、手持ち式制御装置２３０を移動及び／又は操作することによってユーザが仮想ロボット外科環境と対話することを可能にする１つ以上のユーザモードを含んでもよい。そのような対話は、以下で更に説明するように、例えば、仮想環境内で仮想対象物（例えば、仮想ロボットアーム、仮想ツールなど）を移動させることと、ユーザが頭部装着ディスプレイ２２０を移動させる（例えば、歩くことによって）ことを必要とせずに、仮想環境内でナビゲートするために、仮想環境を複数の観点から同時に見るためのカメラ視点を追加することと、を含んでもよい。
【0094】
いくつかの変形形態では、仮想現実システムは、複数のユーザモードを含んでもよく、各ユーザモードは、ユーザ対話のそれぞれのサブセットに関連付けられる。図８に示すように、ユーザモードのうちの少なくとも一部は、ユーザ選択のためのディスプレイ（例えば、頭部装着ディスプレイ２２０）上に表示されてもよい。例えば、ユーザモードの少なくとも一部は、ユーザモードメニュー８１０内に表示された選択可能なユーザモードアイコン８１２に対応してもよい。ユーザモードメニュー８１０は、手持ち式制御装置（又はユーザの手、他の好適な代表的なアイコンなど）のグラフィック表現２３０’がユーザによって操作されてユーザモードアイコンを選択し、それによって選択されたユーザモードアイコンに対応するユーザモードをアクティブ化するように、仮想ロボット外科環境のディスプレイ上に重ね合わせられてもよい。図８に示すように、ユーザモードアイコン８１２は、一般的にパレット状又は円状に配置されてもよいが、代替的にグリッド状又は他の好適な配置で配置されてもよい。いくつかの変形形態では、可能なユーザモードの選択されたサブセットは、例えば、ユーザの好み（例えば、一連のユーザログイン情報に関連付けられた）、現在のユーザと同様のユーザの好み、外科処置の種類などに基づいて、メニュー８１０内に提示されてもよい。
【0095】
図１４は、１つ以上のユーザモードアイコンの選択を提供するユーザモードメニューの例示的な一変形形態の動作方法１４００を示す。ユーザメニューを起動するために、ユーザは、メニューに関連付けられたユーザ入力方法をアクティブ化してもよい。例えば、入力方法は、手持ち式制御装置上のボタン又は他の好適な機構を押すことなどによって、手持ち式制御装置（例えば、手持ち式ユーザインターフェース装置）とエンゲージするユーザによってアクティブ化されてもよい（１４１０）。別の例として、入力方法は、ユーザコンソールのペダル又は他の機構とエンゲージするユーザによってアクティブ化されてもよい（１４１０’）。音声コマンド及び／又は他の装置は、追加的に又は代替的に、メニューに関連付けられた入力方法をアクティブ化してもよい。入力方法がエンゲージされている間（１４１２）、仮想現実システムは、ユーザモードアイコンのアレイをレンダリングして表示することができる（例えば、図８Ａに示すように、中央原点の周りにパレット状に配置される）。ユーザモードアイコンのアレイは、一般に、手持ち式制御装置のグラフィック表現の近く又はその周りに、及び／又は手持ち式制御装置によって制御されるレンダリングされたカーソルで、表示されてもよい。
【0096】
例えば、手持ち式制御装置が円形メニューボタンを含み、手持ち式制御装置のグラフィック表現も仮想現実環境内に表示された円形メニューボタンを有する一変形形態では、ユーザモードアイコンのアレイは、メニュー面及びメニューボタンの法線ベクトルが実質的に整列されるように、メニューボタンの周りに中心合わせされ、メニューボタンと位置合わせされてもよい。円形又は放射状メニューは、例えば、複数の異なるメニュー領域（１４１４）又はセクタを含んでもよく、これらのそれぞれは、（例えば、図８に示すように）角度範囲（例えば、円形メニューの弓状セグメント）及びユーザモードアイコンに関連付けられてもよい。各領域は、選択されたステータスと選択されていないステータスとの間でトグルされてもよい。
【0097】
方法１４００は、一般に、ユーザによりユーザモードの選択を判定することと、ユーザが、仮想現実システムのための選択されたユーザモードをアクティブ化したいと考えていることの確認を受信することと、を含んでもよい。ユーザモードメニュー内のユーザモードを選択するために、ユーザは、手持ち式制御装置を移動させて（１４２０）、手持ち式制御装置のグラフィック表現を自由に操作し、ユーザモードメニュー内のユーザモードアイコンをナビゲートしてもよい。一般に、手持ち式制御装置の位置／向き（及び手持ち式制御装置に対応して移動する手持ち式制御装置のグラフィック表現の位置／向き）を分析して、ユーザが特定のユーザモードアイコンを選択したかどうかを判定することができる。例えば、ユーザモードアイコンが中央原点の周りの概ね円形のパレット内に配置される変形形態では、本方法は、中央原点に対する手持ち式制御装置のグラフィック表現の半径方向距離及び／又は角度方向を決定することを含んでもよい。例えば、ユーザモードアイコンのユーザ選択を判定するための試験は、任意の好適な順序で満足され得る１つ以上のプロングを含んでもよい。第１のプロング（１４２２）では、手持ち式制御装置のグラフィック表現のユーザモードメニューの中心（又はユーザモードメニュー内の別の基準点）までの距離は、距離閾値と比較される。距離は、絶対距離（例えば、画素数）又は比（例えば、８０％以上などの、ユーザモードメニューの周辺の周りに配置された中心点とユーザモードアイコンとの間の距離のパーセンテージ）の観点から表すことができる。距離が閾値よりも小さい場合、ユーザモードアイコンが選択されないと判定することができる。追加的に又は代替的に、ユーザモードアイコンの選択は、第２のプロング（１４２４）に依存してもよい。第２のプロング（１４２４）では、手持ち式制御装置のグラフィック表現の向きは、測定され、メニューの弓状セグメントに関連付けられたユーザモードアイコンと相関する。向きがメニューの選択された弓状セグメントに対応する場合、特定のユーザモード（選択された弓状セグメントに関連付けられた）がユーザによって選択されると判定されてもよい。例えば、ユーザモードアイコンは、原点に対する手持ち式制御装置のグラフィック表現の距離及び角度方向の両方が条件（１４２２）及び（１４２４）を満たす場合、ユーザによって選択されるとして判定されてもよい。
【0098】
ユーザが特定のユーザモードアイコンを選択したと判定した後、方法は、いくつかの変形形態では、視覚的及び／又は聴覚的指示によって、そのような選択をユーザに伝えることができる（例えば、確認として）。例えば、いくつかの変形形態では、本方法は、ユーザがユーザモードアイコンを選択したと判定したことに応じて、表示された仮想現実環境内で１つ以上の視覚的合図（１４３０）をレンダリングすることを含み得る。図１４に示すように、例示的な視覚的合図（１４３２）は、ハイライト（例えば、太い輪郭）、アニメーション（例えば、揺れ線、「ダンシング」又は「脈動」アイコン）、アイコンのサイズの変化（例えば、アイコンの拡大）、見かけの深さの変化、色又は不透明度の変化（例えば、不透明度の変化、アイコンのパターン充填の変化）、位置の変化（例えば、中心原点から半径方向外側又は内側に移動するなど）、及び／又は任意の好適な視覚的修正を用いて、選択されたユーザモードアイコン（及び／又は選択されたユーザモードアイコンに関連付けられた弓状セグメント）の外観を修正することを含む。いくつかの変形形態では、これら又は任意の好適な方法でユーザに指示することは、ユーザが特定のユーザモードの選択を確認する前に、どのユーザモードがこれからアクティブ化されるかをユーザに通知することができる。例えば、方法は、ユーザがメニュー内の様々なユーザモードアイコンをナビゲート又はスクロールする際に、１つ以上の視覚的合図をレンダリングすること（１４３０）を含んでもよい。
【0099】
ユーザは、選択されたユーザモードアイコンの承認を１つ以上の様々な方法で確認することができる。例えば、ユーザは、選択されたユーザモードの承認を示すように、メニューに関連付けられたユーザ入力方法（１４４０）を解放又は非アクティブ化してもよい（例えば、手持ち式制御装置上のボタンを解放する、フットペダルのエンゲージを解放する）ことができる。他の変形形態では、ユーザは、選択されたユーザモードアイコンを少なくとも所定の時間（例えば、少なくとも５秒）にわたってホバリングすること、ユーザメニューに関連付けられたユーザ入力方法をダブルクリックすること（例えば、ボタンをダブルクリックするなど）、承認を示す口頭コマンドを発声すること、などによって選択を確認することができる。
【0100】
いくつかの変形形態では、ユーザが選択されたユーザモードを承認したことの確認を受信すると、方法は、どのユーザモードアイコンが選択されたかを検証することを含んでもよい。例えば、図１４に示すように、どのユーザモードアイコンが選択されたかを検証するための試験は、任意の好適な順序で満足され得る１つ以上のプロングを含んでもよい。例えば、ユーザモードアイコンが中央原点の周りの概ね円形のパレット内に配置される変形形態では、本方法は、ユーザがユーザモードアイコン選択の承認を示す場合に、中央原点に対する半径方向距離（１４４２）及び／又は中央原点に対する手持ち式制御装置のグラフィック表現の角度方向（１４４６）を決定することを含んでもよい。いくつかの変形形態では、プロング（１４４２）及び（１４４６）は、先に説明したプロング（１４２２）及び（１４２４）とそれぞれ同様であってもよい。これらのプロング（１４４２）及び（１４４４）のうちの少なくとも１つが満たされない場合、ユーザ入力方法の解放は、ユーザモードアイコンの非選択と相関してもよい（例えば、ユーザは、新しいユーザモードを選択するよう各自の考えを変更してもよい）。したがって、手持ち式制御装置のグラフィック表現が距離閾値（１４４２）を満たしていない場合、元の又は以前のユーザモードが保持され得る（１４４４）。同様に、手持ち式制御装置のグラフィック表現が、メニュー（１４４６）の弓状セグメントに対応しない場合、元の又は以前のユーザモードが保持され得る（１４４８）。手持ち式制御装置のグラフィック表現が距離閾値（１４４２）を満たし、メニューの弓状セグメントに対応する場合、選択されたユーザモードがアクティブ化されてもよい（１４５０）。他の変形形態では、ユーザモードは、音声コマンド、センサを介した指標追跡などの他の対話と共に追加的に又は代替的に選択されてもよい。更に、システムは、内のユーザ活動、外科処置の種類などの基準に基づいて、１つ以上のユーザモードのアクティブ化を追加的に又は代替的に示唆してもよい（例えば、下記するように、ユーザが頻繁に首を回して、自身の視野の縁部上で詳細を見ることが多い場合、システムは、所望の視座点からのヘッドアップディスプレイウィンドウ視野を提供するためのカメラ配置を可能にするユーザモードをユーザに示唆してもよい）。
対象物の把持
対象物の把持
【0101】
仮想ロボット外科環境に伴う１つの例示的なユーザモードは、ユーザが仮想環境内の仮想対象物を把持、移動、又は操作することを可能にする。操作可能な仮想対象物の例としては、物理的項目の仮想表現（例えば、１つ以上の仮想ロボットアーム、１つ以上の仮想ツール駆動装置、仮想手動腹腔鏡ツール、仮想患者手術台又は他の安静用表面、仮想制御塔又は他の機器、仮想ユーザコンソールなど）、及び他の仮想又はグラフィック構造体、例えば、ポータル、ウィンドウディスプレイ、患者撮像、又はヘッドアップディスプレイ上の他の投影物が挙げられるが、これらに限定されず、これらは更に下記される。
【0102】
仮想対象物のうち少なくとも一部は、少なくとも１つの仮想タッチポイント又は選択可能な機構を含み得るか、又はそれに関連付けられてもよい。仮想タッチポイントがユーザによって選択されると、ユーザは、選択された仮想タッチポイントに関連付けられた仮想対象物を移動させる（例えば、位置及び／又は向きを調整する）ことができる。更に、複数の仮想タッチポイントは、同じ仮想対象物又は複数の別個の仮想対象物上で（例えば、複数の手持ち式制御装置２３０及びそれらのグラフィック表現２３０’を用いて）同時に選択されてもよい。
【0103】
ユーザは、一般に、手持ち式制御装置２３０を動かして、それに相当して仮想環境内の仮想タッチポイントにグラフィック表現２３０’を移動させ、次いで、手持ち式制御装置２３０上のトリガ又はボタンなどの対話機構とエンゲージして、仮想タッチポイントの選択を指示することにより、仮想タッチポイントを選択することができる。いくつかの変形形態では、仮想タッチポイントは、ユーザが手持ち式制御装置２３０上の対話機構とエンゲージする限り（例えば、ユーザがトリガを押下する限り）選択されたままであってもよく、ユーザが対話機構を解放したときに非選択となり得る。例えば、仮想タッチポイントは、仮想タッチポイントを介してユーザが仮想対象物を「クリックアンドドラッグ」することを可能にし得る。いくつかの変形形態では、仮想タッチポイントは、選択されたステータスと非選択のステータスとの間でトグルされてもよく、ここで、仮想タッチポイントは、手持ち式制御装置上の対話機構の１回のエンゲージの後、対話機構の第２のエンゲージが仮想タッチポイントを非選択のステータスにトグルするまで、選択されたままであり得る。仮想ロボット外科環境では、１つ又は両方の種類の仮想タッチポイントが存在してもよい。
【0104】
仮想対象物は、仮想対象物を直接操作するための少なくとも１つの仮想タッチポイントを含み得る。例えば、仮想環境内の仮想ロボットアームは、その仮想アーム連結部のうちの１つに仮想タッチポイントを含んでもよい。ユーザは、手持ち式制御装置のグラフィック表現２３０’が仮想タッチポイントに近接する（例えば、ホバリングする）まで手持ち式制御装置２３０を移動させ、手持ち式制御装置２３０上のトリガ又は他の対話機構とエンゲージして、仮想タッチポイントを選択し、次いで、手持ち式制御装置２３０を移動させて、仮想タッチポイントを介して仮想ロボットアームを操作することができる。したがって、ユーザは、仮想ロボットアームを新しい姿勢に再配置するために、例えば、仮想環境内で患者の傍により広大な作業空間を作り出すため、仮想ロボットアームと他の対象物との間の衝突の可能性を判定するために、仮想ロボットアームの動作範囲を試験するために、手持ち式制御装置２３０を操作することができる。
【0105】
仮想対象物は、第２の仮想対象物を間接的に操作するために、第２の仮想対象物に関連付けられた少なくとも１つの仮想タッチポイントを含むことができる。例えば、仮想制御パネルは、患者手術台に関連付けられた仮想スイッチ又はボタン上の仮想タッチポイントを含んでもよい。仮想スイッチ又はボタンは、例えば、実際の制御パネル上のスイッチ又はボタンが、実際の患者手術台の高さ又は角度を電子的又は機械的に変更する方法と同様に、仮想環境内の仮想患者手術台の高さ又は角度を制御することができる。ユーザは、手持ち式制御装置のグラフィック表現２３０’が仮想タッチポイントに近接する（例えば、ホバリングする）まで手持ち式制御装置２３０を移動させ、手持ち式制御装置２３０上のトリガ又は他の対話機構とエンゲージして、仮想タッチポイントを選択し、次いで、手持ち式制御装置２３０を移動させて、仮想タッチポイントを介してスイッチ又はボタンを操作することができる。したがって、ユーザは、仮想環境の高さ又は角度を修正するために、例えば、仮想環境内の作業空間への接近又はアクセスの角度を改善するために、手持ち式制御装置２３０を操作することができる。
【0106】
仮想タッチポイントが選択されると、仮想現実プロセッサは、仮想タッチポイントが実際に選択されたことをユーザに示すために、仮想ロボット外科環境を修正してもよい。例えば、仮想タッチポイントを含む仮想対象物は、仮想環境内の他の仮想対象物から、影響を受ける仮想対象物を視覚的にコントラスト付けするために、グラフィック的に異なる色（例えば、青色又は赤色）でレンダリングされ、及び／又は異なるライン重量若しくは色で輪郭付けされることによって、強調されてもよい。追加的に又は代替的に、仮想現実プロセッサは、仮想タッチポイントの選択を示す音声装置を介した音声フィードバック（例えば、トーン、ビープ、又は言語的承認）、及び／又は手持ち式制御装置２３０、頭部装着ディスプレイ２２０、若しくは他の好適な装置を介した触覚フィードバック（例えば、振動）を提供することができる。
ナビゲーション
ナビゲーション
【0107】
仮想ロボット外科環境に伴う他の例示的なユーザモードは、ユーザが仮想環境内の仮想空間をナビゲート及び探索することを可能にし得る。
スナップ点
スナップ点
【0108】
いくつかの変形形態では、システムは、仮想環境内のユーザのナビゲーションを支援するために使用され得る仮想環境内の「スナップ点」又は仮想標的物を可能にするユーザモードを備えてもよい。スナップ点は、例えば、仮想環境内のユーザ選択位置又はデフォルト位置に配置されてもよく、スナップ点の選択時にその位置に迅速にユーザをナビゲートすることを可能にし得る。いくつかの変形形態では、スナップ点は、仮想環境内の向き及び／又はその視座点からの環境のディスプレイの見かけのスケール（ズームレベル）に関連付けられてもよい。スナップ点は、例えば、１人称観点の視野に図式的に表示された着色ドット又は他の着色マーカとして視覚的に示されてもよい。スナップ点を選択することによって、ユーザは、仮想ロボット外科環境内の選択されたスナップ点の視座点に輸送され得る。
【0109】
例えば、図１６は、スナップ点を可能にするユーザモードの例示的な一変形形態の動作方法１６００を示す。図１６に示すように、ユーザによって、又は所定の設定として、仮想環境内にスナップ点を位置付けることができる（１６１０）。例えば、ユーザは、上述のようにユーザモードメニューをナビゲートし、手持ち式制御装置（例えば、着色されたドット又は他の好適なマーカで示される）を用いてメニューからスナップ点アイコンを選択するか、又は「掴み」、スナップ点アイコンを仮想環境内の所望の位置及び／又は向きにドラッグアンドドロップすることができる。スナップ点は、いくつかの変形形態では、ユーザがスナップ点を再選択し、そのスナップ点アイコンを新しい所望の位置にドラッグアンドドロップすることによって再位置付けされてもよい（例えば、手持ち式制御装置のグラフィック表現がスナップ点又はスナップ点の周りの衝突容積境界と交差するまで、手持ち式制御装置のグラフィック表現を移動させ、次いでボタン又はトリガなどの入力機構とエンゲージする）。いくつかの変形形態では、ユーザは、例えば、環境視野操作などのためのスケールレベルを設定するために上述のような表示されたスライダバー又はスクロールホイール動作を調整することにより、スナップ点に関連付けられた視座点（１６２０）のスケール又はズームレベルを設定することができる。いくつかの実施例では、スナップ点は、スナップ点の全て又はサブカテゴリに関連付けられたデフォルトスケールレベル、ユーザがスナップ点を配置するときにユーザの現在の視座点に関連付けられたスケールレベル、又は上記のように調整されたスケールレベルを有することができる。更に、スナップ点が配置されると、今後のアクセスのために、スナップ点は、メモリ（例えば、ローカル又はリモートストレージ）内に記憶されてもよい（１６３０）。スナップ点は、いくつかの変形形態では、仮想環境から、及びメモリから削除されてもよい。例えば、スナップ点は、（スナップ点の再配置についてと同様の方法で）選択され、所定の位置（例えば、仮想ゴミ箱）にそれをスクリーン外にドラッグすることによって、及び／又はそれを所定の速度（例えば、所定の閾値よりも速い速度でユーザの視座点から離れる方向に「投げる」）、二次メニューオプションの選択、音声コマンドなどを用いて移動させることによって、削除のために設計されてもよい。
【0110】
仮想環境についての１つ以上のスナップ点がメモリに記憶されると、ユーザは、使用のために、記憶されたスナップ点のうちの１つを選択することができる（１６４０）。例えば、記憶されたスナップ点を選択すると、ユーザの視座点は、選択されたスナップ点の設定の位置、向き、及び／又はスケールに調整することができ（１６５０）、それにより、ユーザが、選択されたスナップ点に関連付けられた位置にテレポートされたかのように感じることを可能にする。いくつかの変形形態では、ユーザの知覚したテレポーテーションの容易な「取り消し（undo）」を可能にし、ユーザをそれらの以前の視座点に戻すことを可能とするために、ユーザの以前の視座点は、スナップ点として記憶されてもよい（１６６０）。このようなスナップ点は一時的であってもよい（例えば、５～１０秒後など、所定の期間後に消える）。いくつかの実施例では、ユーザの以前の位置が既存のスナップ点ではなかった場合にのみ、ユーザの以前の視座点がスナップ点として記憶されてもよい。更に、いくつかの変形形態では、仮想トレイル又は軌跡（例えば、線又は弧）は、ユーザの以前の視座点を、選択されたスナップ点に関連付けられたユーザの新しい視座点に連結する仮想環境内に表示されてもよく、これは、例えば、仮想環境内でどのようにテレポートされたかに関するコンテキストをユーザに提供することができる。このような視覚的表示は、所定の期間後（例えば、５～１０秒後）、仮想環境のディスプレイから除去されてもよい。
【0111】
一般に、いくつかの変形形態では、スナップ点は、仮想環境のウィンドウプレビューを提供することなくスナップ点が視座点を示すことができる点を除いて、以下に記載されるポータルと同様の様式で動作し得る。例えば、スナップ点は、仮想患者の外側及び／又は内側のユーザ選択の視座点に配置されてもよく、上述したようなポータルと同様に、１つ以上の軌跡に連結されてもよい。いくつかの変形形態では、スナップ点軌跡は、ポータルについて以下に記載されるものと同様の様式でユーザによって設定されてもよい。
ポータル
ポータル
【0112】
いくつかの変形形態では、システムは、仮想環境内のユーザ選択の位置における１つ以上のポータル又はテレポーテーションポイントの配置を容易にするユーザモードを含んでもよい。各ポータルは、例えば、仮想環境内の対応する視座点への輸送ゲートウェイとして機能することができ、それにより、ユーザは、仮想環境を閲覧し、ナビゲートするための視座点を迅速に変更することができる。一般に、ポータルの選択（例えば、１つ以上の手持ち式制御装置２３０を用いて）時には、ユーザが選択されたポータルの視座点から仮想環境を見ることができ、仮想環境の周囲で「ジャンプ」する感覚を有するように、選択されたポータルの位置に移行することができる。仮想環境の周囲に１つ以上のポータルを配置することによって、ユーザは、様々な視座点間で迅速に移動する能力を有することができる。仮想環境の周囲のポータルの配置、調節、記憶、及び／又はナビゲーションは、上述のスナップ点のものと同様であり得る。
【0113】
例えば、概して上述したように、システムは、仮想ロボット外科環境内の第１の視座点からの仮想ロボット外科環境の１人称観点の視野を表示することができる。ユーザは、メニューをナビゲートして、ポータルの配置を可能にするユーザモードを選択することができる。図９Ａに示すように、ユーザは、手持ち式制御装置のグラフィック表現２３０’を操作して、仮想環境内の選択された位置にポータル９１０を配置することができる。例えば、ユーザは、手持ち式制御装置上の機構（例えば、トリガ又はボタン）とエンゲージすることができ、一方で、ポータル配置可能なユーザモードがアクティブ化され、その結果、機構とエンゲージし、ユーザが手持ち式制御装置の位置及び／又は向きを移動させる間、ポータル９１０が仮想環境内に現れ、移動されてもよい。１つ以上のポータル配置インジケータ９２０（例えば、グラフィック表現２３０’を予想されたポータル位置に連結する、１つ以上の矢印、線、弧など）は、例えば、奥行感覚で支援することによって、ポータル９１０の予想位置をユーザに伝えるのを支援することができる。ポータル９１０のサイズは、手持ち式制御装置を介してポータル９１０の側部を、「掴み」、延伸又は収縮することによって調整され得る。ポータル９１０の位置が確認されると（例えば、ユーザが手持ち式制御装置上のエンゲージしている機構を解放することによって、ダブルクリックによって、など）、仮想環境内のユーザの明らかな位置は、ポータル９１０に関連付けられた視座点に一致するように更新され得る。いくつかの変形形態では、以下に記載されるように、仮想位置内の少なくとも一部の視座点が禁止されてもよい。これらの禁止された視座点は、メモリ（例えば、ローカル又はリモートストレージ）に記憶されてもよい。これらの変形形態では、ポータル９１０の位置が禁止位置で確認された場合（例えば、メモリに記憶された禁止された視座点のリストと比較して一致する）、仮想環境内のユーザの明らかな位置は、変更なしに保持され得る。しかしながら、ポータル９１０の位置が許容可能であると確認された場合（例えば、禁止された視座点のリストと比較して、一致しない）、仮想環境内のユーザの明らかな位置は、上述のように更新されてもよい。
【0114】
いくつかの変形形態では、ユーザがポータル９１０を所望の視座点に配置すると、設置されたポータル９１０の視座点からの仮想環境のウィンドウ視野が、ポータル９１０内に表示され、それによって、ポータル９１０によって提供される視野の「プレビュー」を提供することができる。例えば、ポータル９１０が拡大レンズの類として挙動するように、ユーザは、十分な視差を伴うポータル９１０を介して見ることができる。例えば、ポータル９１０を通して見る間、ユーザは、ユーザがポータルのスケール係数の逆関数にスケーリングされているかのように（瞳孔間距離及び焦点距離の両方に影響を及ぼす）、ユーザがポータル９１０からユーザの現在位置までの距離のポータルスケール係数の逆数に変換されているかのように（１／ポータルスケール係数）、仮想環境を見ることができる。更に、ポータル９１０は、例えば、上述のように位置付けられた仮想環境場面内の追加の１つ以上のカメラ（以下に記載される）を使用してレンダリングされる平面上のテクスチャであり得る「平らな水平線」を含んでもよい。これらの変形形態では、テレポーテーションのためにポータル９１０を選択した後にポータル９１０を「旅行」するとき、ユーザの視座点がポータルからの距離の分数としてオフセットされているので（１／ポータルスケール係数による）、仮想環境のユーザの視野は、ユーザがポータルへ接近する間、ユーザの明らかな視座点に自然に収束し得る。したがって、ユーザは、まるで自身が選択されたポータルに関連付けられたスケール係数での仮想環境へと円滑かつ自然に踏み入れ、それを見ているかのように感じることができる。
【0115】
図９Ａに示すように、いくつかの変形形態では、ポータル９１０は概ね円形であってもよい。しかしながら、他の変形形態では、１つ以上のポータル９１０は、楕円形、正方形、長方形、不規則な形状などの任意の好適な形状であってもよい。更に、ポータル内に表示される仮想環境のウィンドウ視野は、ポータルに関連付けられたスケール係数で仮想環境を表示してもよく、その結果として、異なるポータル内に表示される仮想環境の視野は、異なる「ズーム」レベル（例えば、１ｘ、１．５ｘ、２ｘ、２．５ｘ、３ｘなど）で表示されてもよく、それによって、環境に対するユーザのスケールも変更することができる。ポータル内のウィンドウ視野のスケール係数はまた、ユーザがそのポータルの視座点に輸送された場合に表示される視野のスケールを示すか、又はそれに対応してもよい。例えば、仮想患者の外側の仮想環境の視野が約１倍である場合、仮想患者の内側の仮想環境のウィンドウ視野は、約２倍以上であり得、それによって、仮想患者の内部組織のより細部をユーザに提供する。スケール係数は、システムによって（例えば、仮想環境内のポータルの位置に基づいて）ユーザ定義又は所定のものであってもよい。いくつかの変形形態では、スケール係数は、ポータル９１０の表示されたサイズと相関し得るが、他の変形形態では、スケール係数は、ポータルサイズとは無関係であってもよい。
【0116】
いくつかの変形形態では、ポータル９１０は、ユーザが望む仮想環境内の実質的に任意の視座点に置かれてもよい。例えば、ポータル９１０は、仮想手術室の仮想接地面上、又は仮想対象物（例えば、台、椅子、ユーザコンソールなど）上のどこに置かれてもよい。別の例として、図９Ｂに示されるように、ポータル９１０は、仮想接地面の上の任意の好適な高度で空中に配置されてもよい。更に別の例として、図９Ｃに示されるように、ポータルは、仮想患者の上又は内部に配置されてもよく、例えば、ポータル９１０ａ及び９１０ｂは、患者の腹部上に配置され、仮想患者の腸及び他の内臓の視野を可能にする（例えば、模擬された拡張現実）。この実施例では、仮想患者は、実際の（非仮想）患者に関する医用画像及び他の情報から生成されてもよく、そのため、ポータル９１０ａ及び９１０ｂは、実際の患者の組織の正確な表現の、かつ／又は患者の内部に配置された内部仮想カメラ（以下に記載）から生成された、没入型視野を有することをユーザに可能とする（例えば、腫瘍を見るためなど）。いくつかの変形形態では、システムは、所定のガイドラインに従ってポータル９１０の配置を制限することができ（例えば、患者の外側のみ、又は患者の内側のみ）、これは、例えば、仮想環境に関連付けられた、模擬された外科処置の種類又は訓練レベル（例えば、「初心者」又は「上級」のユーザレベル）に対応し得る。そのような禁止された位置は、例えば、ポータル９１０が配置されているときそのポータルにおける視覚的変化（例えば、輪郭色を変更すること、ポート９１０が配置されているときそのポータル内にグレイアウト又は不透明なウィンドウ視野を表示すること）、及び／又は聴覚的指示（例えば、ビープ、トーン、言語フィードバック）によってユーザに指示されてもよい。更に他の変形形態では、システムは、仮想環境内の仮想ユーザコンソールにおいて、仮想患者台に隣接して、などの所定の位置に配置された１つ以上のポータル９１０を追加的又は代替的に含んでもよい。そのような所定の位置は、例えば、処置の種類に依存してもよく、又は設定ファイルの一部として記憶されてもよい。
【0117】
ポータル９１０は、ポータルの「側部」（例えば、前側及び後側）のいずれかから見ることができる。いくつかの変形形態では、ポータル９１０の片側からの視野は、ポータル９１０の反対側とは異なり得る。例えば、ポータル９１０の第１の側（例えば、正面）から見たとき、ポータルは、上述のスケール係数及び視差効果を伴う仮想環境の視野を提供することができ、一方、ポータル９１０の第２の側（例えば、後部）から見たときに、ポータルは、約１のスケール係数を伴う仮想環境の視野を提供することができる。別の例として、ポータルの第１の側及び第２の側面の両方から見たときに、ポータルは、スケール係数及び視差効果を伴う仮想環境の視野を提供することができる。
【0118】
いくつかの変形形態では、複数のポータル９１０は、仮想環境内の軌跡を含むように連続的に連結されてもよい。例えば、図９Ｃに示すように、第１の視座点からの仮想ロボット外科環境の第１の人物の斜視（例えば、没入型視野）が示されてもよい。ユーザは、第１の視座点と異なる第２の視座点（例えば、第１の視座点よりも仮想患者に近い）に第１のポータル９１０ａを配置してもよく、第２の視座点からの仮想ロボット外科環境の第１のウィンドウ視野は、第１のポータル９１０ａ内に表示されてもよい。同様に、ユーザは、第２のポータル９１０ｂを第３の視座点（例えば、第１及び第２の視座点よりも患者に近い）に配置してもよく、仮想ロボット外科環境の第２のウィンドウ視野は、第２のポータル９１０ｂ内に表示されてもよい。ユーザは、第１及び第２のポータル９１０ａ及び９１０ｂを関連付けるユーザ入力を提供してもよく（例えば、手持ち式制御装置を用いて選択することによって、手持ち式制御装置を用いて第１と第２のポータルとの間に線を引くことなどによって）、その結果として、第１及び第２のポータルは連続的にリンクされ、それにより、第１及び第２のポータル間の軌跡を生成する。
【0119】
いくつかの変形形態では、軌跡を生成するために複数のポータル９１０がリンクされた後、軌跡に沿った輸送は、各連続的なポータルの明示的な選択を必要としない場合がある。例えば、一旦軌跡上（例えば、第２の視座点で）となると、リンクされたポータル間の移動は、トリガ、ボタン、タッチパッド、スクロールホイール、手持ち式制御装置の他の双方向機構、音声コマンドなどのエンゲージによって達成され得る。
【0120】
追加のポータルは、同様の方法で連結されてもよい。例えば、２つ、３つ、又はそれ以上のポータルを直列に連結して、延長された軌跡を生成してもよい。別の例として、複数のポータルは、「分岐した」軌跡を形成してもよく、この場合、少なくとも２つの軌跡は、共通の少なくとも１つのポータルを共有するが、そうでなければ各軌跡は、その軌跡に固有の少なくとも１つのポータルを有する。更に別の例として、複数のポータルは、共通のポータルを共有しない２つ以上の軌跡を形成してもよい。ユーザは、手持ち式制御装置及び／又は音声コマンドなどを使用することなどによって、どの軌跡上を移動するかを選択することができる。ポート間の１つ以上の軌跡は、（例えば、点線を用いて、同じ軌跡に沿ってポータルを色分けする、などで）視覚的に示されてもよく、軌跡のこのような視覚的表示は、ユーザの好みに基づいて、オン及びオフにトグルされてもよい。
【0121】
他のポータル機構は、ポータル間の軌跡の容易なナビゲーションを促進し得る。例えば、ポータルは、ユーザがそのポータルを入力し、そのポータルを通過したときに色を変化させることができる。図９Ｃに示すように、別の例では、ポータル自体が、そのポータルを含む軌跡の許容方向を示す方向矢印で表示されてもよい。更に、軌跡に沿った移動は、ユーザを以前の視座点に戻す「取り消し」コマンドを（手持ち式制御装置及び／又は音声コマンドなどを介して）用いて達成されてもよい（例えば、以前の視座点からの仮想環境の視野を表示する）。いくつかの変形形態では、手持ち式制御装置上の対話機構又は音声コマンド（例えば、「私の位置をリセットしろ」）などのショートカットコマンドを使用して、ユーザがそのホーム視座点に素早く戻ることを可能にするために、（ユーザの好み又はシステム設定に従って）ホーム又はデフォルト視座点を確立することができる。例えば、ホーム又はデフォルトの視座点は、仮想ユーザコンソールにあってもよく、又は仮想患者台に隣接していてもよい。
【0122】
ポータル又は別の別個のユーザモードの配置及び使用を促進するユーザモードは、１つ以上のポータルの削除を更に促進することができる。例えば、ポータルは、手持ち式制御装置を用いて削除のために選択されてもよい。別の例として、１つ以上のポータルは、音声コマンドを介して（例えば、「全てのポータルを削除しろ」又は「ポータルＡを削除しろ」）削除のために選択されてもよい。
自由ナビゲーション
自由ナビゲーション
【0123】
システムは、仮想ロボット外科環境の周囲の自由ナビゲーションを促進するユーザモードを含んでもよい。例えば、本明細書に記載されるように、システムは、頭部装着ディスプレイ及び／又は手持ち式制御装置内のセンサに基づいてユーザの歩行運動を検出するように構成されてもよく、ユーザの動きを仮想手術室内で再配置するように相関させることができる。
【0124】
別の変形形態では、システムは、ユーザが、異なる高度及び／又は速度での、かつ異なる角度での「飛行」方式で仮想環境を迅速にナビゲートすることを可能にする飛行モードを含んでもよい。例えば、ユーザは、１つ以上の手持ち式制御装置及び／又はヘッドセットを飛行のために所望の方向に方向付けることによって、飛行モードでナビゲートすることができる。手持ち式制御装置上の対話機構は、飛行を更に制御することができる。例えば、指向性パッド又はタッチパッドは、仮想環境の実質的に同じ観点の視野を維持しながら、前進、後進、低空機銃掃射などの運動のための制御を提供することができる。いくつかの変形形態では、加速度がシミュレータ酔いの可能性を増加させる傾向があり得るため、加速度を伴わずに、並進が発生し得る。別のユーザ設定では、指向性パッド又はタッチパッド（又はヘッドセットの向き）は、仮想環境内のユーザの見かけの位置の上昇のための制御を提供することができる。更に、いくつかの変型形態では、ポータルに関して上述したものと同様に、飛行モード内のホーム又はデフォルト視座点を確立して、ユーザがショートカットコマンドを用いてそのホーム視座点に素早く戻ることを可能にすることができる。ユーザ入力に応じた飛行速度などのパラメータは、ユーザによって調節可能であり、及び／又はデフォルトによってシステムによって設定されてもよい。
【0125】
更に、飛行モードでは、表示された視野のスケーリング係数は、手持ち式制御装置を介して制御されてもよい。スケーリング係数は、例えば、仮想環境内のユーザの位置の見かけ上の上昇に影響を及ぼし得る。いくつかの変形形態では、ユーザは、手持ち式制御装置を使用して、表示された視野内の２つの点を引き離して、ズームアウトすることができ、また、表示された視野内の２つの点をより近くに引き寄せて、ズームインすることができ、又は逆に、表示された視野内の２つの点を引き離して、ズームインすることができ、表示された視野内の２つの点をより近くに引き寄せて、ズームアウトすることができる。追加的に又は代替的に、ユーザは、表示された視野のスケール係数を変更するために、音声コマンド（例えば、「ズームを２倍に拡大しろ」）を利用してもよい。例えば、図１０Ａ及び１０Ｂは、それぞれ「ズームイン」及び「ズームアウト」された仮想環境の例示的な視野を示す。例えば、スケーリング係数の変化速度、最小及び最大スケーリング係数範囲などのパラメータは、ユーザによって調節可能であり、かつ／又はデフォルトによってシステムによって設定されてもよい。
【0126】
ユーザが飛行モードで仮想環境を自由にナビゲートするとき、表示された視野は、眼の疲労、悪心などを低減するための機構を備えてもよい。例えば、いくつかの変形形態では、システムは「快適モード」を備えてもよく、このモードでは、ユーザが飛行モードでナビゲートするときに、表示された視野の外側領域が除去され、例えば、ユーザの乗り物酔いを低減するのに役立つことができる。図１０Ｃに示されるように、快適モードにあるとき、システムは、ユーザの視界の焦点領域（例えば、中心）の周りの内側移行境界部１０１０と外側移行境界部１０２０との間に移行領域１０３０を画定してもよい。移行領域の内側（内側移行境界部１０１０の内側）には、仮想ロボット外科環境の標準的な視野が表示される。移行領域の外側（外側移行境界部１０２０の外側）には、ニュートラル視野又は無地背景（例えば、無地、グレー背景）が表示される。移行領域１０３０内では、表示された視野は、仮想環境の視野をニュートラル視野に徐々に移行させる勾配を有してもよい。図１０Ｃに示される移行領域１０３０は、概して円形の内側及び外側移行境界部１０１０及び１０２０を伴う概ね円形として示されているが、他の変形形態では、内側移行境界部１０１０及び外側移行境界部１０２０は、楕円形又は他の好適な形状である移行領域１０３０を画定してもよい。更に、いくつかの変形形態では、サイズ、形状、勾配などの移行領域の様々なパラメータは、ユーザによって調節可能であり、及び／又はデフォルトによってシステムによって設定されてもよい。
【0127】
いくつかの変形形態では、図１１に示されるように、ユーザは、ユーザが上から下向きの観点を伴う頭上の視座点から仮想手術室を見ることを可能するドールハウス視野から、仮想ロボット外科環境を見ることができる。ドールハウス視野では、仮想手術室は、ディスプレイ上でより小さいスケール係数（例えば、実物大よりも小さい）で表示され、それによって仮想手術室に対するユーザのスケールを変更することができる。ドールハウス視野は、ユーザが、仮想機器、仮想人物、仮想患者などの仮想手術室の内容物の配置に加えて、仮想手術室全体を一度に見ることができるので、仮想環境の更なるコンテキスト認識をユーザに提供することができる。ドールハウス視野を介して、例えば、ユーザは、仮想手術システム内の仮想対象物を、より豊かなコンテキスト認識を伴って再配置することができる。ドールハウス視野は、いくつかの変形形態では、上述のポータル及び／又はスナップ点と共に軌跡にリンクされてもよい。
環境視野の回転
環境視野の回転
【0128】
いくつかの変形形態では、システムは、ユーザが、自身の現在の視座点の周囲の仮想環境を移動させることによって、仮想ロボット外科環境をナビゲートすることを可能にするユーザモードを備えてもよい。環境視野回転モードは、ユーザが、環境を物体であるかのように「把持」し、操作することなどによって、ユーザが仮想環境をナビゲートすることができる異なる様式を提供することができる。ユーザが仮想環境をこのような様式でナビゲートすると、上記したものと同様の「快適モード」が、模擬に関連する乗り物酔いを低減するのに役立つように追加的に実行され得る。例えば、環境視野回転モードでは、ユーザは、ユーザの現在の視座点の周囲の仮想環境の視野を選択し、ドラッグすることによって、現在の視座点の周囲で表示された場面を回転させることができる。換言すれば、環境視野回転モードでは、仮想環境内のユーザの見かけの位置は、仮想環境が移動し得る間、固定されているように見える。これは、例えば、上記の飛行モードなどの他のモードとは対照的であり、飛行モードでは、一般的に、ユーザが移動する間、環境が固定されているように見えてもよい。飛行モードについて上述したスケール係数の調整と同様に、環境視野回転モードでは、環境の表示された視野のスケール係数は、手持ち式制御装置及び／又は音声コマンドによって制御されてもよい（例えば、手持ち式制御装置を使用して、表示された視野内の２つの点を選択し、引き離すことによって、ズームインするなど）。
【0129】
例えば、図１５に示すように、環境視野回転モードで動作するための方法１５００の１つの例示的な変形形態では、ユーザは、手持ち式制御装置（例えば、ボタン若しくはトリガ又は他の好適な機構）又は任意の好適な装置などのユーザ入力方法（１５１０）をアクティブ化することができる。いくつかの変形形態では、１つの手持ち式制御装置（１５２０）は、ユーザ入力方法のアクティブ化時点で検出されてもよい。アクティブ化時点の手持ち式制御装置の元の位置を検出し、記憶することができる（１５２２）。その後、ユーザが手持ち式制御装置を移動させると（例えば、ユーザ入力方法をアクティブ化し続けながら）、手持ち式制御装置の現在位置を検出することができる（１５２４）。手持ち式制御装置の元の（又は前の）位置と現在の位置との間のベクトル差を計算することができ（１５２６）、ユーザの視座点の位置を、計算されたベクトル差に少なくとも部分的に基づいて調整することができ（１５２８）、それによって、ユーザが周囲の仮想環境を「掴み」、それをドラッグしているかのように感じさせる効果を作り出すことができる。
【0130】
いくつかの変形形態では、２つの手持ち式制御装置（１５２０’）は、ユーザ入力方法のアクティブ化時点で検出されてもよい。手持ち式制御装置の元の位置を検出することができ（１５２２’）、手持ち式制御装置の元の位置の間の中心点及び元のベクトルを計算及び記憶することができる（１５２３’）。その後、ユーザが１つ以上の両手持ち式制御装置を（例えば、ユーザ入力方法をアクティブ化し続けながら）移動させると、手持ち式制御装置の現在位置が検出され（１５２４’）、手持ち式制御装置間の元のベクトルと現在のベクトルとの間の計算されたベクトル差の基礎を形成するために使用され得る（１５２８’）。ユーザの視座点の位置及び／又は向きは、計算されたベクトル差に基づいて調整されてもよい（１５２８’）。例えば、表示された視野の向き又は回転は、手持ち式制御装置の位置の間の中心点の周りで回転されてもよく、それによって、ユーザが周囲の環境を「掴み」、それをドラッグしているように感じる効果を作り出す。同様に、仮想環境のディスプレイのスケール（１５２９’）は、２つの手持ち式制御装置間の距離の計算された差に基づいて調整されてもよく、それにより、ユーザ自身が仮想環境の表示された視野を「掴み」、それをズームイン、かつそれからズームアウトしているかのように感じさせる効果を作り出す。
【0131】
上述のユーザモードは別個に説明されているが、これらのモードの態様は、ユーザが仮想ロボット外科環境をナビゲートし得る例示的な方法を特徴付けるものであり、単一のユーザモードで組み合わされてもよいことを理解されたい。更に、これらの態様の一部は、シームレスに連結されてもよい。例えば、一般に飛行モードに関連する頭上の視座点は、軌跡内で１つ以上のポータルと連続的にリンクされてもよい。更になお、いくつかの変形形態では、仮想環境の視座点又は表示された視野（例えば、上記のユーザモードのうちの１つ以上を介して調整されるような）は、少なくとも１つのデフォルトの視座点（例えば、デフォルトの位置、向き、及び／又はスケール）にリンクされてもよい。例えば、ユーザ入力を（例えば、手持ち式制御装置、フットペダルなどで）アクティブ化することによって、ユーザは、現在の視座点を仮想環境内の指定又は所定の視座点に「リセット」することができる。ユーザの現在の視座点は、例えば、位置、向き、及び／又はスケールのデフォルト値に移行するために、徐々に及び円滑にアニメーション化されてもよい。
補足的視野
補足的視野
【0132】
いくつかの変形形態では、システムの例示的な１つのユーザモード又は複数のモードは、追加情報の１つ以上の補足的視野をユーザに表示してもよく、例えば、仮想ロボット外科環境の主要な１人称観点の視野に重ね合わされるか、又は挿入される。例えば、図１２に示すように、ヘッドアップディスプレイ１２１０（ＨＵＤ）は、仮想環境の主要な１人称観点の視野の上に透明な重ね合わせを提供することができる。ＨＵＤ１２１０は、オン及びオフにトグルすることができ、それにより、ユーザは、任意の特定の時間にＨＵＤ１２１０を表示するかどうかを制御することが可能となる。以下に記載されるものなどの追加情報の補足的視野は、ユーザが主な視野から目を離すことなく補足的視野を観察することができるように、ＨＵＤ上に配置されてもよい。例えば、補足的視野は、ＨＵＤ１２１０に「貼りつき」、補足的視野が常にユーザの視野フィールド内にあるように、ユーザの頭部の動きと共に移動してもよい。別の例として、追加情報の補足的視野は、ユーザの頭部が概ね前方を向いているときは、補足的視野が、小さいか、又は少なくとも部分的に隠されたスクリーン外であるか、又は周辺視野であるが、一方の側への微小な又はわずかな頭部移動が、ユーザの視野フィールド内に１つ以上の補足的視野を拡張する及び／又はもたらすことができるという点で、ＨＵＤ１２１０に緩く固定されてもよい。１つ以上の補足的視野は、列状、グリッド状、又は他の好適な配置でＨＵＤ１２１０上に配置されてもよい。いくつかの変形形態では、ＨＵＤ１２１０は、補足視野（例えば、カメラ視野など）が位置付けられる所定の「スナップ」点を含んでもよい。例えば、ユーザは、より近い検査のためにＨＵＤ１２１０上の補足的視野的視野を選択し、次いで、一般にスナップ点の方向にそれをドラッグすることによってＨＵＤ１２１０上の補足視野を置き換えることができ、その時点で、補足的視野は、ユーザによって正確に配置される必要なく、スナップ点に引き寄せられ、固定することができる。
【0133】
別の例として、仮想コマンドステーションモードでは、１つ以上の補足的視野は、仮想空間内のユーザの前に配置された１つ以上の内容物ウィンドウ又はパネルを有する仮想空間内に（例えば、ナビゲート可能なメニューと同様に）表示されてもよい。例えば、図１３に示すように、複数の内容物ウィンドウ（例えば、１３１０ａ、１３１０ｂ、１３１０ｃ、及び１３１０ｄ）は、ユーザに表示するための半円形の配置又は他の好適な配置に位置付けられてもよい。内容物ウィンドウの配列は、ユーザによって調整されてもよい（例えば、それらのグラフィック表現２３０’と共に手持ち式制御装置を使用して、内容物ウィンドウを選択及びドラッグ又は回転させることができる）。内容物ウィンドウは、例えば、内視鏡ビデオフィード、ポータル視野、仮想手術室の「スタジム」オーバーヘッド視野、患者データ（例えば、撮像）、本明細書に記載されるものなどの他のカメラ又は患者情報視野を表示することができる。複数のパネルを同時に見ることによって、ユーザは、仮想手術室及び／又は患者の複数の態様を同時に監視することができ、それにより、ユーザは、仮想環境の包括的かつより広範な認識を有することが可能となる。例えば、ユーザは、仮想環境内の任意の有害事象（例えば、模擬された外科処置中の仮想患者の模擬された負の反応）を認識し、その後、より迅速に応答することができる。
【0134】
更に、仮想コマンドステーションモードは、ユーザが内容物ウィンドウのうちのいずれか１つを選択することを可能にし、表示された内容物に（例えば、１人称観点で）没入することを可能にし得る。このような完全没入モードは、他の内容物ウィンドウを一時的に却下してもよく、又は最小化してもよい（例えば、選択された没入型内容物の上に重ね合わされたＨＵＤに追いやってもよい）。例示的な一例として、仮想コマンドステーションモードでは、システムは、仮想患者の腹部の内側を示す内視鏡カメラビデオフィードを含む複数の内容物ウィンドウを表示してもよい。ユーザは、（例えば、ロボットアーム及びアームに取り付けられた器具を依然として操作しながら）、内視鏡カメラビデオフィードを選択して、仮想患者の腹部内に完全に没入することができる。
カメラ視野
カメラ視野
【0135】
いくつかの変形形態では、ユーザモードは、ユーザが仮想カメラを仮想環境内の選択された視座点に置くことを可能にし、ユーザが、自身の１人称観点の視野フィールドと、リアルタイムで更新され得るカメラ視野（仮想カメラによって提供される視野）との両方を同時に見ることができるように、選択された視座点からの仮想環境のウィンドウ視野が、ＨＵＤに表示されてもよい。仮想カメラは、仮想環境内の任意の好適な位置（例えば、患者の内側又は外側、患者の頭上、仮想手術室の頭上など）に配置されてもよい。例えば、図１２に示すように、ユーザは、仮想カメラ１２２０を（例えば、上述したような物体把持を使用して）仮想患者の骨盤領域近く、かつ患者腹部に面するように配置して、患者の腹部の「仮想ビデオフィード」を提供することができる。一旦配置されると、仮想カメラ１２２０がその後再度位置付けられてもよい。カメラ視野（例えば、円形はめ込み視野、又は任意の好適な形状のウィンドウ）を、仮想カメラ１２２０の視座点からの仮想ビデオフィードを示すウィンドウ視野として、ＨＵＤ上に配置することができる。同様に、複数の仮想カメラを仮想環境内に配置して、複数のカメラ視野をＨＵＤ上に示すことができる。いくつかの変形形態では、仮想現実プロセッサが仮想環境に組み込むための設定ファイルの一部など、１つ以上の仮想カメラの所定の配置がロードされてもよい。
【0136】
いくつかの変形形態では、システムは、様々な種類のカメラ視野を提供することができる様々な種類の仮想カメラを提供することができる。仮想カメラの１つの例示的な変形形態は、仮想環境のライブ仮想フィードを提供するように構成された「映画」カメラである（例えば、図１２の映画カメラ視野１２１２）。仮想カメラの別の例示的な変形形態は、仮想患者内に配置される仮想内視鏡に取り付けられた内視鏡カメラである。この変形形態では、ユーザは、例えば、仮想内視鏡カメラを仮想患者内に導入し、その後仮想内視鏡ビデオフィード（例えば、図１２の内視鏡カメラ視野１２１４）を見ることによって、患者内の内部作業空間を監視するための技術を仮想的に実行することができる。別の例示的な変形形態では、仮想カメラは、仮想環境のより大きな視野フィールドを提供するように構成された広角（例えば、３６０度、パノラマなど）カメラであってもよい。この変形形態では、ウィンドウカメラ視野は、例えば、魚眼又は概ね球状のディスプレイとして表示されてもよい。
【0137】
カメラ視野の様々な態様は、ユーザによって調整されてもよい。例えば、ユーザは、カメラ視野の位置、サイズ、スケール係数などを（例えば、上述したようなポータルの調整と同様に）調整することができる。別の例として、ユーザは、カメラ視野に適用されるべき１つ以上のフィルタ又は他の特殊画像効果を選択してもよい。例示的なフィルタとしては、仮想患者の特定の解剖学的特徴（例えば、腫瘍）又は組織特性（例えば、灌流）を強調するフィルタが挙げられる。いくつかの変形形態では、仮想カメラ又はその関連するカメラ視野が仮想カメラ又はカメラ視野の背後の仮想環境のユーザの視界を遮る場合などに、１つ以上の仮想カメラは、選択解除されるか、又は「オフにされる」（例えば、仮想カメラ及び／又は関連付けられたカメラ視野が選択的に隠されている）か、又は削除されてもよい。
【0138】
いくつかの変形形態では、カメラ視野は、ユーザが仮想環境の周囲を素早くナビゲートすることを可能にするポータル（上述の）と同様に機能し得る。例えば、図１２を参照すると、ユーザは、カメラ視野１２１２を選択して（例えば、カメラ視野１２１２をハイライトするか、又は掴み、かつ自身に向かって引き寄せる）、カメラ視野１２１２の視座点に輸送されてもよい。
患者データ視野など
患者データ視野など
【0139】
いくつかの変形形態では、ユーザモードは、ＨＵＤ上又はディスプレイ内の別の好適な位置に患者データ及び他の情報を表示することを可能にし得る。例えば、患者の撮像情報（例えば、超音波、Ｘ線、ＭＲＩなど）は、補足的視野内に、患者の上に重ね合わされて（例えば、模擬された拡張現実として）表示されてもよい。ユーザは、例えば、仮想患者と対話すると同時に、患者画像を参照として見ることができる。別の例として、患者バイタル（例えば、心拍数、血圧など）を補足的視野でユーザに表示することができる。
【0140】
別の変形形態では、ユーザモードは、ユーザにガイダンスを提供するための、訓練ビデオ（例えば、以前の処置から記録された例示的な外科処置）、メンタ又はトレーナー外科医からのビデオフィードなどの他の好適な情報の表示を可能にしてもよい。
仮想現実システムアプリケーション
仮想現実システムアプリケーション
【0141】
一般に、仮想現実システムは、システムがロボット外科環境を模擬又は複製するのに有用である任意の好適なシナリオで使用され得る。いくつかの変形形態では、仮想現実システムは、外科医がロボット外科システムの制御を実施することを、及び／又はロボット外科システムを使用して特定の種類の低侵襲性外科処置を実施することを可能にするなど、訓練目的のために使用され得る。仮想現実システムは、ユーザが、患者の内側及び外側の両方のユーザコマンドに応答してロボット外科システムの動きをより良く理解することを可能にし得る。例えば、ユーザは、ユーザに沿う仮想現実環境を見ることができ（例えば、第２の頭部装着ディスプレイを通して、外部ディスプレイを通して、など）、かつ仮想現実環境内の仮想ロボット外科システムの動作を通じてユーザを手引きすることができるメンタ又はトレーナーの監視下で頭部装着ディスプレイを装着してもよい。別の例として、ユーザは、頭部装着ディスプレイを装着することができ、没入型ディスプレイ上に表示されるように（例えば、内容物ウィンドウ、ＨＵＤなど）、以前に実行された外科処置の記録などの訓練関連ビデオを見ることができる。
【0142】
別の例として、仮想現実システムは、手術計画目的のために使用され得る。例えば、ユーザは、仮想現実システムを操作して手術作業フローを計画することができる。仮想対象物（例えば、アーム及びツール駆動装置を含むロボット外科システム、ユーザコンソール、エンドエフェクタ、他の機器、患者ベッド、患者、人員など）の設定ファイルは、実際の（すなわち、非仮想、又は現実の）手術室にあり得る実際の物体を表すように仮想ロボット外科環境にロードされてもよい。仮想現実環境内では、ユーザは、ユーザコンソール、患者ベッド、及び他の機器を所望の配置で互いに対して位置決めするなど、仮想手術室の特徴を調整することができる。ユーザは、仮想現実システムを追加的又は代替的に使用して、ロボット外科システムの態様を計画してもよく、例えば、外科用器具の進入のためのポートの数及び位置を選択してもよく、又は外科処置中のシステム構成要素間の潜在的な衝突を最小限に抑えるためなど、処置のためのロボットアームの最適な数及び位置／向き（例えば、装着位置、アームの姿勢など）を決定してもよい。このような仮想配置は、例えば、試行錯誤、同様の外科処置及び／又は同様の患者のための以前の設定などに基づいてもよい。いくつかの変形形態では、システムは、様々な種類の患者のために以前に実行された外科処置のデータセットに適用される機械学習技術に基づいて選択される仮想配置を追加的又は代替的に提案してもよい。
【0143】
更に別の例として、仮想現実システムは、Ｒ＆Ｄ目的（例えば、模擬）のために使用され得る。例えば、ロボット外科システムを設計するための方法は、ロボット外科システムの仮想モデルを生成することと、ロボット外科システムの仮想モデルを仮想手術室環境で試験することと、試験に基づいてロボット外科システムの仮想モデルを修正することと、修正された仮想モデルに基づいてロボット外科システムを構築することと、を含むことができる。仮想手術室環境で試験され得るロボット外科システムの仮想モデルの態様としては、ロボット外科システムの１つ以上の構成要素の物理的特性（例えば、アーム連結部の直径又は長さ）が挙げられる。例えば、ロボットアームの特定の設計の仮想モデルは、仮想環境下で構築及び実行されてもよく、仮想モデルは、特定のアーム運動、外科処置などに関して試験され得る（例えば、ロボットアームと他の対象物との衝突の可能性に関する試験）。したがって、ロボットアーム（又は同様に、ロボット外科システムの任意の他の構成要素）の設計は、物理的プロトタイプを試験するのではなく、設計の仮想的な実行を試験することによって少なくとも最初に試験されてもよく、それによってＲ＆Ｄサイクルを加速し、コストを低減する。
【0144】
試験され得る他の態様は、ロボット外科システムの１つ以上の構成要素（例えば、制御システムの制御モード）の機能性を含む。例えば、上述のように、仮想動作環境アプリケーションは、ステータス情報を運動学的アプリケーションに渡すことができ、運動学的アプリケーションは、制御アルゴリズムに基づいてコマンドを生成して、渡してもよく、ここで、仮想現実プロセッサは、仮想ロボット外科環境の変化を引き起こすためにコマンドを使用することができる（例えば、関連する制御アルゴリズムに従って、仮想ロボットアームを特定の方法で移動させる）。したがって、ソフトウェア制御アルゴリズムは、関連するロボット構成要素の物理的プロトタイプを必要としない試験、改善などのために仮想ロボットシステム内に統合されることができ、それによってＲ＆Ｄリソースを節約し、Ｒ＆Ｄサイクルを加速させることができる。
【0145】
別の実施例では、仮想現実システムは、複数の外科医が同じ仮想現実環境内で協働することを可能にするために使用され得る。例えば、複数のユーザが、頭部装着ディスプレイを装着し、仮想現実環境内で互いに（及び同じ仮想ロボットシステム、同じ仮想患者などと）対話することができる。ユーザは、物理的に同じ部屋又は一般的な位置にあってもよく、又は互いから離れていてもよい。例えば、一方のユーザが、他方のユーザに遠隔指導することができ、両者が協働して、仮想患者に対して外科処置を実行することができる。
【0146】
仮想現実システムの具体的な例証的、例示的なアプリケーションは、以下で更に詳細に説明される。しかしながら、仮想現実システムのアプリケーションは、本明細書に記載されるこれらの実施例及び一般的なアプリケーションシナリオに限定されないことを理解されたい。
実施例１－オーバー・ザ・ベッド
実施例１－オーバー・ザ・ベッド
【0147】
ユーザは、仮想現実システムを使用して、オーバー・ザ・ベッドシナリオを模擬することができ、このシナリオでは、ユーザは、患者ベッド又は台に隣接し、ロボット外科システム及び手動腹腔鏡ツールの両方を操作する。このような模擬は、訓練、手術計画などに有用であり得る。例えば、ユーザは、仮想ロボットツール及び仮想手動ツールの両方を使用して、仮想患者の腸の標的セグメント内の組織をステープル留めすることができる。
【0148】
この実施例では、ユーザは、仮想現実環境の没入型視野を提供する頭部装着ディスプレイを装着しており、仮想患者が横たわっている仮想患者台に隣接する仮想現実環境内をナビゲートするために手持ち式制御装置を使用することができる。仮想ロボットアームの近位端は、仮想患者台に取り付けられ、仮想ロボットアームの遠位端は、仮想患者の腹部内に位置付けられた仮想鉗子を作動させる仮想ツール駆動装置を支持する。仮想手動腹腔鏡ステープラツールは、仮想カニューレを通過し、仮想患者の腹部内に位置付けられた遠位端を有する。更に、内視鏡カメラは、仮想患者の腹部内に位置付けられ、仮想患者の腹部内の手術作業空間（患者組織、仮想ロボット制御鉗子、及び仮想手動腹腔鏡ステープラツールを含む）を示す仮想カメラフィードを提供する。
【0149】
ユーザは、頭部装着ディスプレイ内の没入型ディスプレイを通して、ユーザの視野フィールドに重ね合わされたヘッドアップディスプレイ内のウィンドウ視野内に表示された仮想内視鏡カメラフィードと併せて、仮想環境を見続けることができる。ユーザは、一方の手で、ロボット駆動式仮想鉗子を制御するように構成された手持ち式制御装置を保持する。ユーザは、別の手で、仮想手動腹腔鏡ステープラツールを制御するように構成された腹腔鏡手持ち制御装置を保持し、この腹腔鏡手持ち制御装置は、発泡体で作製された擬似患者の体内に取り付けられたカニューレを通過する。腹腔鏡手持ち制御装置は、仮想手動腹腔鏡ステープラツールに対応するようにキャリブレーションされる。ユーザは、手持ち式制御装置を操作して、ロボット制御式鉗子を動作させて、仮想患者の腸を操作し、腸の標的セグメントを露出させる。腸の標的セグメントを露出かつアクセス可能とした状態で、ユーザは腹腔鏡手持ち制御装置を操作して、仮想手動腹腔鏡ステープラツールを介して、仮想ステープルを標的セグメントに適用する。
実施例２－ユーザコンソールからの衝突解決
実施例２－ユーザコンソールからの衝突解決
【0150】
仮想現実システムを使用するとき、ユーザは、仮想ロボット外科システムの仮想構成要素間の衝突を解決することを望む場合があるが、ユーザは、衝突する仮想構成要素に隣接していなくてもよい（例えば、ユーザは、仮想ユーザコンソールなどの仮想患者台から離れた距離に配置されてもよい）。この実施例では、ユーザは、仮想患者の腹部内に配置された仮想内視鏡によって提供される没入型視野を提供する頭部装着ディスプレイを装着する。２つの仮想ロボットアームの近位端は、仮想患者が横たわっている仮想患者台上の別個の位置に取り付けられる。仮想ロボットアームの遠位端は、仮想患者の腹部内に位置付けられた仮想鉗子を作動させるそれぞれのツール駆動装置をそれぞれ支持する。ユーザは、手持ち式制御装置を操作して、２つのロボット制御式仮想鉗子を動作させ、これが、仮想患者内の仮想組織を操作する。この動きは、仮想ロボットアームのうちの少なくとも１つが関与する衝突を引き起こすことがある（例えば、１つの仮想ロボットアームがそれ自体で衝突を生じさせるような姿勢をとることがある、複数の仮想ロボットアームが互いに衝突を生じさせるような姿勢をとることがある、仮想ロボットアームが患者又は近くの障害物との衝突を生じさせるような姿勢をとることがある、など）。
【0151】
仮想現実システムは、仮想ロボットアームのステータス情報に基づいて衝突を検出し、衝突に関してユーザに警告する。システムは、仮想ロボット外科システムの好適な視座点からの頭上又は他の好適な視野を、例えば、ウィンドウ視野内に表示する（例えば、ピクチャーインピクチャー視野）。衝突の位置は、例えば、赤色又は別の対比色を用いて影響を受けた衝突構成要素を輪郭付けすることなどによって、表示されたウィンドウ視野内で強調される。あるいは、ユーザは、仮想患者台の頭上に配置された仮想カメラからのカメラビデオフィードを監視することによって、自身で衝突を検出してもよい。
【0152】
衝突を認識すると、ユーザは、仮想現実環境の没入型視野のスケールをズームアウト又は調整することができる。ユーザは、患者内の仮想鉗子の位置及び向きをロックするアーム再配置制御モードとエンゲージしてもよい。手持ち式制御装置を対象物把持ユーザモードで使用して、ユーザは、仮想ロボットアーム上の仮想タッチポイント上を掴み、仮想ロボットアームを再配置（再度姿勢決め）して、衝突を解決することができ、一方で、制御モードは、アーム再配置中に仮想鉗子の位置及び向きを維持する。衝突が解決されるように仮想ロボットアームが再度位置付けられると、ユーザは、以前の視座点にズームバックし、アーム再配置制御モードのエンゲージを解除し、手持ち式制御装置の使用を再開して、仮想患者内で仮想鉗子を操作することができる。
実施例３－ユーザコンソールからの複数の外科用器具の協調した再配置
実施例３－ユーザコンソールからの複数の外科用器具の協調した再配置
【0153】
仮想現実システムを使用するとき、ユーザは、実質的に内視鏡視野内に留まること、及び複数の仮想外科用器具（例えば、エンドエフェクタ、カメラ）を仮想患者内で個別にではなくグループとして再配置して、それによって時間を節約すること、並びにユーザが仮想患者の解剖学的構造に対する器具のコンテキスト認識を維持することをより容易にすること、が有用であると考える場合がある。この実施例では、ユーザは、仮想患者の腹部内に配置された仮想内視鏡によって提供される没入型視野を提供する頭部装着ディスプレイを装着する。２つの仮想ロボットアームの近位端は、仮想患者が横たわっている仮想患者台上の別個の位置に取り付けられる。仮想ロボットアームの遠位端は、仮想患者の骨盤領域内に位置付けられた仮想鉗子を作動させるそれぞれのツール駆動装置を支持する。ユーザは、手持ち式制御装置を操作して、仮想鉗子を動作させることができる。
【0154】
ユーザは、仮想内視鏡及び仮想鉗子を、脾臓などの仮想患者の腹部の別の標的領域に移動させることを望む場合がある。各外科用器具を個別に移動させるのではなく、ユーザは協調した再配置モードにエンゲージしてもよい。このモードにエンゲージすると、内視鏡カメラ視野は、ユーザが新しい標的領域（脾臓）を見ることが可能となるように十分な距離まで内視鏡の軸に沿ってズームアウトする。仮想内視鏡の遠位端及び仮想鉗子の遠位端を包含する内視鏡の遠位端に球状インジケータが表示される。ユーザは、少なくとも１つの手持ち式制御装置を操作して、仮想内視鏡及び仮想鉗子を手術作業空間から引き離し（例えば、ユーザが仮想内視鏡視野内で仮想カニューレの遠位端を見ることができるまで）、次いで、球状インジケータを掴んで、骨盤領域から脾臓に移動させる。新たな標的領域に球状インジケータを移動させることによって、ユーザが新たな標的領域を確定すると、仮想内視鏡及び仮想鉗子は、新たな標的領域まで自動的に移動し、仮想内視鏡カメラ視野は、新たな標的領域をズームして示す。この比較的大規模な移動の全体を通じて、ユーザは、仮想環境の実質的な内視鏡視野を伴う仮想環境を見ており、それにより、ユーザは、器具と解剖学的構造との間で焦点を切り替える代わりに、仮想患者の解剖学的構造に意識を維持することが可能となる。
【0155】
前述の説明は、説明目的であり、特定の専門用語を使用して、本発明の徹底した理解を提供するものである。しかしながら、特定の詳細が、本発明の実施のために必ずしも必要ではないことが、当業者に明らかであろう。したがって、本発明の特定の実施形態の前述の説明は、例示及び説明の目的で提示されている。これらは、網羅的であること、又は開示される正確な形態に本発明を限定することを意図するものではなく、明らかに、上記の教示を考慮することで、多くの修正及び変形が可能である。本発明の原理及びその実際の適用を最も良く説明するために、実施形態が選択され、記載され、そのため、当業者ならば、本発明と、種々の変更を伴う種々の実施形態を、想定される特定の用途に適したものとして最も良く利用することができる。以下の特許請求の範囲及びその均等物が、本発明の範囲を規定することを意図している。
【図1A】
【図1B】
【図2A】
【図2B】
【図3】
【図4A】
【図4B】
【図4C】
【図5A】
【図5B】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図7】
【図8】
【図9A】
【図9B】
【図9C】
【図10A】
【図10B】
【図10C】
【図11】
【図12】
【図13】
【図14】
【図15】
【図16】