特表 2023-551504 ロボット支援システムのためのユーザインターフェースにおいて合成インジケータを提供するためのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2023-12-08

(54)【発明の名称】ロボット支援システムのためのユーザインターフェースにおいて合成インジケータを提供するためのシステム

(51)【国際特許分類】

   A61B 34/00 20160101AFI20231201BHJP

【ＦＩ】

A61B34/00

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023532532

(86)(22)【出願日】2021-11-29

(85)【翻訳文提出日】2023-07-28

(86)【国際出願番号】 US2021060917

(87)【国際公開番号】W WO2022115667

(87)【国際公開日】2022-06-02

(31)【優先権主張番号】63/119,549

(32)【優先日】2020-11-30

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】510253996

【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100135079

【弁理士】

【氏名又は名称】宮崎 修

(72)【発明者】

【氏名】イトコウィッツ，ブランドン ディー．

(72)【発明者】

【氏名】ラフレナイズ，ジェイソン エス．

(72)【発明者】

【氏名】ペレズ ロシッロ，エンジェル ジェイ．

(57)【要約】

医療システムが、ディスプレイシステムと、制御システムとを含むことがある。制御システムは、１つ以上のプロセッサを含む処理ユニットを含むことがある。処理ユニットは、撮像コンポーネントによって生成された手術環境のビューの、視野の画像をディスプレイシステムに表示するように構成されることがある。処理ユニットは、手術環境の視野外の器具の位置についての三次元合成インジケータを生成し、手術環境の視野の画像とともに三次元合成インジケータを表示するように構成されることもある。

【特許請求の範囲】

【請求項1】

ディスプレイシステムと、
制御システムと、を含み、
前記制御システムは、１つ以上のプロセッサを含む制御ユニットを含み、
前記制御ユニットは、
撮像コンポーネントによって生成される手術環境の視野の画像を前記ディスプレイシステムに表示し、
前記手術環境内の器具と関連する第１の合成インジケータを生成し、
前記視野内の構造および前記第１の合成インジケータを含む奥行きマッピングを生成し、
前記構造によって閉塞された前記第１の合成インジケータの閉塞部分を前記奥行きマッピングから決定し、
前記第１の合成インジケータを前記ディスプレイシステムに表示する、
ように構成され、
前記第１の合成インジケータの前記閉塞部分は、前記第１の合成インジケータの非閉塞部分とは区別されたグラフィック外観を有する、
医療システム。

【請求項2】

前記第１の合成インジケータは、制御マニピュレータアームを示すアイコンを含む、請求項１に記載の医療システム。

【請求項3】

前記第１の合成インジケータは、前記器具の周りに表示されるリングを含む、請求項１に記載の医療システム。

【請求項4】

前記第１の合成インジケータは、細長い器具ガイドを含む、請求項１に記載の医療システム。

【請求項5】

前記区別されたグラフィック外観は、不透明度の減少である、請求項１に記載の医療システム。

【請求項6】

前記区別されたグラフィック外観は、区別された色、テクスチャ、またはパターンである、請求項１に記載の医療システム。

【請求項7】

前記第１の合成インジケータは、前記ディスプレイシステムの単一立体眼ディスプレイ内の眼画像のための前記奥行きマッピングによって選択除去される、請求項１に記載の医療システム。

【請求項8】

前記第１の合成インジケータは、ユーザ生成グラフィックに基づいて生成される、請求項１に記載の医療システム。

【請求項9】

前記ユーザ生成グラフィックは、単眼画像に基づき、前記第１の合成インジケータは、立体的に生成される、請求項８に記載の医療システム。

【請求項10】

コンピュータ実装される方法であって、
手術環境の視野の画像をディスプレイシステムに表示することであって、前記画像は、撮像コンポーネントによって生成される、表示することと、
前記手術環境内の器具と関連する第１の合成インジケータを生成することと、 前記視野内の構造および前記第１の合成インジケータを含む奥行きマッピングを生成することと、
前記構造によって閉塞される前記第１の合成インジケータの閉塞部分を前記奥行きマッピングから決定することと、
前記第１の合成インジケータを前記ディスプレイシステムに表示することであって、前記第１の合成インジケータの前記閉塞部分は、前記第１の合成インジケータの非閉塞部分とは区別されたグライフィック外観を有する、表示することと、を含む、
方法。

【請求項11】

前記第１の合成インジケータは、制御マニピュレータアームを示すアイコンを含む、請求項１０に記載の方法。

【請求項12】

前記第１の合成インジケータは、前記器具の周りに表示されるリングを含む、請求項１０に記載の方法。

【請求項13】

前記第１の合成インジケータは、細長い器具ガイドを含む、請求項１０に記載の方法。

【請求項14】

前記区別されたグラフィック外観は、不透明度の減少である、請求項１０に記載の方法。

【請求項15】

前記区別されたグラフィック外観は、区別された色、テクスチャ、またはパターンである、請求項１０に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

（関連出願の参照）
本出願は、２０２０年１１月３０日に出願された米国仮出願第６３／１１９，５４９号の利益を主張し、その全文が参照により本明細書に組み込まれる。

【0002】

（技術分野）
本開示は、医療処置中に組織を操作するための医療処置および方法に向けられている。より具体的には、本開示は、奥行きを意識した合成インジケータ、視野外のコンポーネントのためのインジケータ、および視野内で閉塞されたコンポーネントのためのインジケータを提供するためのシステムおよび方法に関する。

【背景技術】

【0003】

最小侵襲医療技術は、診断処置または外科処置中に損傷を受ける外部組織の量を減らし、それによって、患者の回復時間、不快感、および有害な副作用を減らすことを意図したものである。そのような最小侵襲技術は、患者の解剖学的構造における自然オリフィスを通じてあるいは１つ以上の外科的切開部を通じて行われることがある。これらの自然オリフィスまたは切開部を通じて、臨床医は、標的組織場所に到達するために医療ツールを挿入することがある。最小侵襲医療ツールは、治療器具、診断器具、および手術器具のような、器具を含む。最小侵襲医療ツールは、ユーザに患者解剖学的構造内の視野を提供する内視鏡器具のような、撮像器具を含むこともある。

【0004】

幾つかの最小侵襲医療ツールは、ロボット支援されることがあり、遠隔操作されること(teleoperated)、遠隔操作されること(remotely operated)、またはその他の方法でコンピュータ支援されることを含む。医療処置中、臨床医は、患者解剖学的構造の三次元視野の画像を含むグラフィカルユーザインターフェースを提供されることがある。臨床医の経験および効率を向上させるために、視野内の医療ツール、視野内で閉塞される医療ツール、および視野外のコンポーネントに関する追加的な情報を提供するために、様々なインジケータが必要とされることがある。

【発明の概要】

【0005】

本発明の実施形態は、明細書に続く特許請求の範囲によって最良に要約される。

【0006】

一実施形態では、医療システムが、ディスプレイシステムと、制御システムとを含むことがある。制御システムは、１つ以上のプロセッサを含む処理ユニットを含むことがある。処理ユニットは、手術環境のビューの、撮像コンポーネントによって生成された視野の画像を、ディスプレイシステムに表示するように構成されることがある。処理ユニットは、手術環境の視野外の器具の位置についての三次元合成インジケータを生成し、手術環境の視野の画像と共に三次元合成インジケータを表示する、ように構成されることがある。

【0007】

別の実施形態では、医療システムが、ディスプレイシステムと、第１のペダルと第２のペダルとを含む入力システムとを含むことがある。第１のペダルは、第２のペダルに対して空間的関係を有することがある。医療システムは、制御システムを含むこともある。制御システムは、１つ以上のプロセッサを含む処理ユニットを含むことがある。処理ユニットは、手術環境の視野の画像をディスプレイシステムに表示するように構成されることがある。画像は、撮像コンポーネントによって生成されることがある。処理ユニットは、第１のペダルの係合状態を示す第１の合成インジケータを生成し、第２のペダルの係合状態を示す第２の合成インジケータを生成し、手術環境の視野の画像との空間的関係に基づいて第２の合成インジケータに対して第１の合成インジケータをディスプレイシステムに表示する、ように構成されることもある。

【0008】

別の実施形態では、医療システムが、ディスプレイシステムと、第１のペダルと第２のペダルとを含む入力システムとを含むことがある。第１のペダルは、第２のペダルに対して空間的関係を有することがある。医療システムは、制御システムを含むこともある。制御システムは、１つ以上のプロセッサを含む処理ユニットを含むことがある。処理ユニットは、手術環境の視野の画像をディスプレイシステムに表示するように構成されることがある。画像は、撮像コンポーネントによって生成されることがある。処理ユニットは、手術環境内の器具に関連する第１の合成インジケータを生成し、視野内の構造および第１の合成インジケータを含む奥行きマッピングを生成し、構造によって閉塞された第１の合成インジケータの閉塞部分を奥行きマッピングから決定する、ように構成されることもある。処理ユニットは、第１の合成インジケータをディスプレイシステムに表示するように構成されることもある。第１の合成インジケータの閉塞部分は、第１の合成インジケータの非閉塞部分とは区別されたグラフィック外観を有することがある。

【0009】

前述の一般的な記述および以下の詳細な記述は、本質的に例示的かつ説明的なものであり、本開示の範囲を制限することなく本開示の理解を提供することが意図されていることが理解されるべきである。それに関して、本開示の追加的な態様、構成、および利点は、以下の詳細な記述から当業者に明らかであろう。

【図面の簡単な説明】

【0010】

【図1A】一実施形態による、医療システムの概略図である。

【図1B】一実施形態によるアセンブリの斜視図である。

【図1C】一実施形態による、医療システムのための外科医の制御コンソールの斜視図である。

【図2A】幾つかの実施形態による、オフスクリーンツールの方向を指す合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図2B】幾つかの実施形態による、オフスクリーンツールの方向を指す合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図2C】幾つかの実施形態による、オフスクリーンツールの方向を指す合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図2D】幾つかの実施形態による、オフスクリーンツールの方向を指す合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図3A】幾つかの実施形態による、医療ツールの異なる場所を指す様々な三次元向きにおける合成インジケータを図示している。

【図3B】幾つかの実施形態による、医療ツールの異なる場所を指す様々な三次元向きにおける合成インジケータを図示している。

【図3C】幾つかの実施形態による、医療ツールの異なる場所を指す様々な三次元向きにおける合成インジケータを図示している。

【図3D】幾つかの実施形態による、医療ツールの異なる場所を指す様々な三次元向きにおける合成インジケータを図示している。

【図3E】幾つかの実施形態による、医療ツールの異なる場所を指す様々な三次元向きにおける合成インジケータを図示している。

【図3F】幾つかの実施態様による、内視鏡の立体観察台(stereoscopic viewing frustum)の頂面図を示している。

【図3G】幾つかの実施形態による、合成インジケータの長さの変調を示す画像の進行を提供している。

【図3H】幾つかの実施形態による、合成インジケータの長さの変調を示す画像の進行を提供している。

【図3I】幾つかの実施形態による、合成インジケータの長さの変調を示す画像の進行を提供している。

【図3J】幾つかの実施形態による、合成インジケータの長さの変調を示す画像の進行を提供している。

【図4】幾つかの実施形態による、フットペダルパネルとセンサシステムとを含む入力制御デバイスの頂面図である。

【図5A】幾つかの実施形態による、スクリーンツールに関連するフットペダルに関する状態情報を提供する合成インジケータを備えるグラフィカルユーザインターフェースを示している。

【図5B】幾つかの実施形態による、スクリーンツールに関連するフットペダルに関する状態情報を提供する合成インジケータを備えるグラフィカルユーザインターフェースを示している。

【図5C】幾つかの実施形態による、スクリーンツールに関連するフットペダルに関する状態情報を提供する合成インジケータを備えるグラフィカルユーザインターフェースを示している。

【図5D】幾つかの実施形態による、オンスクリーンツールに関連するフットペダルに関する状態情報を提供する合成インジケータを備えるグラフィカルユーザインターフェースを示している。

【図6A】幾つかの実施形態による、オンスクリーンツールに関連するフットペダルに関する状態情報を提供する合成インジケータを備えるグラフィカルユーザインターフェースを示している。

【図6B】幾つかの実施形態による、オンスクリーンツールに関連するフットペダルに関する状態情報を提供する合成インジケータを備えるグラフィカルユーザインターフェースを示している。

【図6C】幾つかの実施形態による、オンスクリーンツールに関連するフットペダルに関する状態情報を提供する合成インジケータを備えるグラフィカルユーザインターフェースを示している。

【図6D】幾つかの実施形態による、オンスクリーンツールに関連するフットペダルに関する状態情報を提供する合成インジケータを備えるグラフィカルユーザインターフェースを示している。

【図7A】幾つかの実施形態による、コンポーネントまたは視野を生成する内視鏡が移動されるときに可視に留まるように条件的に移動することがある合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図7B】幾つかの実施形態による、コンポーネントまたは視野を生成する内視鏡が移動されるときに可視に留まるように条件的に移動することがある合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図7C】幾つかの実施形態による、コンポーネントまたは視野を生成する内視鏡が移動されるときに可視に留まるように条件的に移動することがある合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図7D】幾つかの実施形態による、コンポーネントまたは視野を生成する内視鏡が移動されるときに可視に留まるように条件的に移動することがある合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図8】幾つかの実施形態による、医療ツール上の合成インジケータを可視化するために患者の解剖学的構造内に延在する内視鏡５５０を図示している。

【図9A】幾つかの実施形態による、閉塞時に可視のままである合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図9B】幾つかの実施形態による、閉塞時に可視のままである合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図10A】幾つかの実施形態による、閉塞部分を有する合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図10B】幾つかの実施形態による、閉塞部分を有する合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図10C】幾つかの実施形態による、閉塞部分を有する合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図11A】幾つかの実施形態による、ツール変更を案内するための合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図11B】幾つかの実施形態による、ツール変更を案内するための合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図11C】幾つかの実施形態による、ツール変更を案内するための合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図11D】幾つかの実施形態による、ツール変更を案内するための合成インジケータを備えるグラフィカルユーザインターフェースを図示している。

【図12】幾つかの実施形態による、向かう方向を指す合成インジケータおよびオフスクリーンツールを表示するための方法を記載するフローチャートである。

【図13】幾つかの実施形態による、フットペダル係合の状態を示す合成インジケータを表示するための方法を記載するフローチャートである。

【図14】幾つかの実施形態による、視野内の構造によって少なくとも部分的に閉塞される合成インジケータを表示するための方法を記載するフローチャートである。

【発明を実施するための形態】

【0011】

本開示の実施形態およびそれらの利点は、以下の詳細な記述を参照することによって最良に理解される。図のうちの１つ以上の図に示される同様の要素を識別するために同様の参照番号が使用され、それらの中に示されるものは本開示の実施形態を図示するためのものであり、それを限定するためのものではないことが理解されるべきである。

【0012】

ロボット支援医療処置において、手術環境の内視鏡画像は、臨床医に、患者解剖学的構造の視野および患者解剖学的構造内に位置するあらゆる医療ツールを提供することがある。様々なインジケータで内視鏡画像を増強することは、臨床医が視野を維持しながら情報にアクセスすることを可能にする。そのようなインジケータは、奥行きを意識したグラフィカルインジケータ、視野外のコンポーネント(構成要素)のためのインジケータ、および視野内で閉塞されたコンポーネントのためのインジケータを含むことがある。

【0013】

図１Ａ、図１Ｂ、および図１Ｃは、共に、例えば、診断処置、治療処置、または外科処置を含む医療処置において使用されることがある医療システム１０の概要を提供する。医療システム１０は、医療環境１１内に配置される。医療環境１１は、図１Ａにおいて手術室として描かれている。他の実施形態において、医療環境１１は、救急室、医療訓練環境、医療実験室、または任意の数の医療処置または医療訓練処置が行われることがある何らかの他のタイプの環境であることがある。さらに他の実施形態において、医療環境１１は、手術室および手術室外に位置する制御エリアを含むことがある。

【0014】

１つ以上の実施形態において、医療システム１０は、外科医の遠隔操作制御の下にあるロボット支援医療システムであることがある。代替的な実施形態において、医療システム１０は、医療処置またはサブ処置を実行するようにプログラムされたコンピュータの部分的な制御の下にあることがある。さらに他の代替的な実施形態において、医療システム１０は、医療システム１０で医療処置またはサブ処置を実行するようにプログラムされたコンピュータの完全な制御の下にある完全自動医療システムであることがある。本開示に記載されるシステムおよび技術を実施するために使用されることがある医療システム１０の一例は、Sunnyvale, CaliforniaのIntuitive Surgical, Inc.によって製造されるda Vinci（登録商標）Surgical Systemである。

【0015】

図１Ａに示されるように、医療システム１０は、一般に、患者Ｐが位置付けられる手術台Ｏに取り付けられるかあるいはその近くに位置付けられることがあるアセンブリ１２を含む。アセンブリ１２は、患者側カート、手術カート、または手術ロボットと称されることがある。１つ以上の実施形態において、アセンブリ１２は、遠隔操作アセンブリであることがある。遠隔操作アセンブリは、例えば、遠隔操作アームカートと称されることがある。医療器具システム１４および内視鏡撮像システム１５が、アセンブリ１２に動作可能に結合される。オペレータ入力システム１６は、外科医Ｓまたは他のタイプの臨床医が、手術部位の画像を見るかあるいは手術部位を表すことや、医療器具システム１４および／または内視鏡撮像システム１５の動作を制御することを可能にする。

【0016】

医療器具システム１４は、１つ以上の医療器具を含むことがある。医療器具システム１４が複数の医療器具を含む実施形態において、複数の医療器具は、複数の同じ医療器具および／または複数の異なる医療器具を含むことがある。同様に、内視鏡撮像システム１５は、１つ以上の内視鏡を含むことがある。複数の内視鏡の場合、複数の内視鏡は、複数の同じ内視鏡および／または複数の異なる内視鏡を含むことがある。

【0017】

オペレータ入力システム１６は、外科医の制御コンソールに配置することがあり、制御コンソールは、手術台Ｏと同じ部屋に配置されることがある。幾つかの実施形態において、外科医Ｓおよびオペレータ入力システム１６は、患者Ｐとは異なる部屋または全く異なる建物に配置されることがある。オペレータ入力システム１６は、一般に、医療器具システム１４を制御するための１つ以上の制御デバイスを含む。制御デバイスは、ハンドグリップ、ジョイスティック、トラックボール、データグローブ、トリガガン、フットペダル、手動コントローラ、音声認識デバイス、タッチスクリーン、身体運動または存在センサ、および他のタイプの入力デバイスのような、任意の数の入力デバイスのうちの１つ以上を含むことがある。

【0018】

幾つかの実施形態において、制御デバイスは、外科医にテレプレゼンスを提供するために、医療器具システム１４の医療器具と同じ程度の自由度を備え、テレプレゼンスとは、外科医が恰も手術部位に存在するかのように器具を直接制御する強い感覚を有するような、制御デバイスが器具と一体であるという知覚である。他の実施形態において、制御デバイスは、関連する医療器具よりも多いまたは少ない自由度を有して、外科医にテレプレゼンスを依然として提供することがある。幾つかの実施形態において、制御デバイスは、６自由度で動く手動入力デバイスであり、器具を作動させるための（例えば、把持ジョーエンドエフェクタを閉じるための、電極に電位を印加するための、医療処置を送達するための、および他のタイプの器具を作動させるための）作動可能なハンドルを含むこともある。

【0019】

アセンブリ１２は、外科医Ｓがオペレータ入力システム１６を通じて手術部位を見る間に、医療器具システム１４を支持しかつ操作する。手術部位の画像が、アセンブリ１２によって操作されることがある内視鏡撮像システム１５によって得られることがある。アセンブリ１２は、内視鏡撮像システム１５を含むことがあり、同様に、複数の医療器具システム１４を含むこともある。一度に使用される医療器具システム１４の数は、一般に、とりわけ、実施される診断処置または外科処置および手術室内の空間制約に依存する。アセンブリ１２は、１つ以上の非サーボ制御リンク（例えば、セットアップ構造と一般に称される、手動で位置付けられて所定の場所にロックされることがある、１つ以上のリンク）の運動学的構造と、マニピュレータとを含むことがある。マニピュレータが遠隔操作マニピュレータの形態をとるとき、アセンブリ１２は、遠隔操作アセンブリである。アセンブリ１２は、医療器具システム１４上の入力を駆動する複数のモータを含む。一実施形態において、これらのモータは、制御システム（例えば、制御システム２０）からのコマンドに応答して動く。モータは、医療器具システム１４に連結されるときに、医療器具を天然または外科的に作られた解剖学的オリフィス内に前進させることがある、駆動システムを含む。他のモータ駆動システムは、医療器具の遠位端を複数の自由度で移動させることがあり、複数の自由度は、３つの程度の直線運動（例えば、Ｘ、Ｙ、Ｚデカルト軸に沿った直線運動）および３つの程度の回転運動（例えば、Ｘ、Ｙ、Ｚデカルト軸を中心とした回転）を含むことがある。追加的に、モータは、生検デバイスなどのジョーにおいて組織を把持するために医療器具の関節作動可能なエンドエフェクタを作動させるために使用されることがある。医療器具システム１４の医療器具は、メス、鈍らなブレード、光ファイバ、または電極のような、単一の作業部材を有するエンドエフェクタを含むことがある。他のエンドエフェクタは、例えば、鉗子、グラスパ(把持器)、ハサミ、クリップアプライヤを含むことがある。

【0020】

医療システム１０は、制御システム２０も含む。制御システム２０は、医療器具システム１４と、オペレータ入力システム１６と、例えば、撮像システム、オーディオシステム、流体送達システム、ディスプレイシステム、照明システム、操縦制御システム、洗浄システム、および／または吸引システムを含むことがある、他の補助システム２６との間の制御をもたらすための、少なくとも１つのメモリ２４および少なくとも１つのプロセッサ２２を含む。臨床医は、医療環境１１内を巡回することがあり、例えば、セットアップ手順中にアセンブリ１２にアクセスしたり、あるいは患者のベッドサイドから補助システム２６のディスプレイを見たりしたりすることがある。

【0021】

図１Ａではアセンブリ１２の外部として描かれているが、制御システム２０は、幾つかの実施形態において、アセンブリ１２内に全体的に収容されることがある。制御システム２０は、本明細書に開示される態様に従って記載される方法の一部または全部を実装するように（例えば、非一時的なコンピュータ読取可能媒体上に格納された）プログラムされた命令も含む。制御システム２０は、図１Ａの簡略図において単一のブロックとして示されているが、制御システム２０は、２つ以上のデータ処理回路を含むことがあり、処理の１つの部分は、アセンブリ１２上でまたはアセンブリ１２に隣接して任意に実行され、処理の別の部分は、オペレータ入力システム１６で実行されるなどである。

【0022】

多種多様な集中型または分散型データ処理アーキテクチャのいずれかが使用されることがある。同様に、プログラムされた命令は、多数の別個のプログラムまたはサブルーチンとして実装されることがあり、あるいは、プログラムされた命令は、遠隔操作システムを含む本明細書に記載されるシステムの多数の他の態様に統合されることがある。一実施形態において、制御システム２０は、Bluetooth（登録商標）、IrDA、HomeRF、IEEE 802.11、DECT、およびWireless Telemetryのような、無線通信プロトコルをサポートする。

【0023】

制御システム２０は、１つ以上の臨床医プロフィール、患者および患者プロファイルのリスト、患者に対して行われるべき処置のリスト、前記処置を行う予定の臨床医のリスト、他の情報、またはそれらの組み合わせを格納することがあるデータベース２７と通信する。臨床医プロファイルは、臨床医が医療分野でどれぐらい長く働いたか、臨床医が獲得した教育のレベル、臨床医が医療システム１０（または類似のシステム）で得た経験のレベル、またはそれらの任意の組み合わせを含む、臨床医に関する情報を含むことがある。

【0024】

データベース２７は、メモリ２４に格納されることがあり、動的に更新されることがある。追加的にまたは代替的に、データベース２７は、内部ネットワーク（例えば、医療施設または遠隔操作システムプロバイダの安全なネットワーク）または外部ネットワーク（例えば、インターネット）を介して制御システム２０によってアクセス可能であるサーバまたはポータブル記憶デバイスのようなデバイスに格納されることがある。データベース２７は、２つ以上の場所に分散されることがある。例えば、データベース２７は、異なるエンティティのデバイスおよび／またはクラウドサーバを含むことがある複数のデバイスに存在することがある。追加的にまたは代替的に、データベース２７は、コンピュータ、モバイルデバイス、スマートフォン、ラップトップ、電子バッジ、タブレット、ポケットベル、および他の類似のユーザデバイスのような、ポータブルユーザ割り当てデバイスに格納されることがある。

【0025】

幾つかの実施形態において、制御システム２０は、医療器具システム１４から力および／またはトルクフィードバックを受信する１つ以上のサーボコントローラを含むことがある。フィードバックに応答して、サーボコントローラは、オペレータ入力システム１６に信号を送信する。サーボコントローラは、身体にある開口を介して患者の身体内の内部手術部位内に延びる医療器具システム１４および／または内視鏡撮像システム１５を動かすようにアセンブリ１２に指示する信号を送信することがある。任意の適切な従来のまたは専用のサーボコントローラが使用されることがある。サーボコントローラは、アセンブリ１２から分離されることがあり、あるいはアセンブリ１２と一体化されることがある。幾つかの実施形態において、サーボコントローラおよびアセンブリ１２は、患者の身体に隣接して位置付けられる遠隔操作アームカートの一部分として提供される。

【0026】

制御システム２０は、内視鏡撮像システム１５と結合されることができ、外科医の制御コンソール上の外科医へのようなあるいは局所的におよび／または遠隔に配置された別の適切なディスプレイ上での引き続きの表示のためにキャプチャされた画像を処理するプロセッサを含むことができる。例えば、立体内視鏡が使用される場合、制御システム２０は、キャプチャされた画像を処理して、外科医に手術部位の協調された立体画像を提示することができる。そのような協調は、対向する画像間のアライメント(整列)を含むことができ、立体視内視鏡の立体作業距離を調整することを含むことができる。

【0027】

代替的な実施形態において、医療システム１０は、１つよりも多くのアセンブリ１２および／または１つよりも多くのオペレータ入力システム１６を含むことがある。アセンブリ１２の正確な数は、とりわけ、外科手順および手術室内の空間制約に依存する。オペレータ入力システム１６は、併置される(同じ場所に配置される)ことがあり、あるいは、オペレータ入力システム１６は、別個の場所に位置付けられることがある。複数のオペレータ入力システム１６は、１人よりも多くのオペレータが１つ以上のアセンブリ１２を様々な組み合わせにおいて制御することを可能にする。医療システム１０は、医療処置を訓練し練習するために使用されることもある。

【0028】

図１Ｂは、患者側カート、手術カート、遠隔操作アームカート、または手術ロボットと称されることがあるアセンブリ１２の一実施形態の斜視図である。図示のアセンブリ１２は、３つの手術ツール３０ａ、３０ｂ、および３０ｃ（例えば、医療器具システム１４）ならびに処置部位の画像のキャプチャのために使用される立体視内視鏡のような撮像デバイス２８（例えば、内視鏡撮像システム１５）の操作を提供する。撮像デバイスは、ケーブル５６を通じて信号を制御システム２０に送信することがある。操作は、多数の関節を有する遠隔手術機構によって提供される。撮像デバイス２８および手術ツール３０ａ～３０ｃは、切開部のサイズを最小にするために運動学的遠隔中心が切開部に維持されるように、患者の切開部を通じて位置決めおよび操作されることができる。手術部位の画像は、手術ツール３０ａ～３０ｃが撮像デバイス２８の視野内に位置決めされるときの手術ツール３０ａ～３０ｃの遠位端の画像を含み得る。

【0029】

アセンブリ１２は、駆動可能なベース５８を含む。駆動可能なベース５８は、伸縮式コラム５７に接続され、それはアーム５４の高さの調整を可能にする。アーム５４は、回転すると共に上下に移動する回転ジョイント５５を含むことがある。アーム５４の各々は、配向プラットフォーム５３(方向付けプラットフォーム)に接続されることがある。アーム５４は、トラブルシューティングを容易にするためにラベル付けされることがある。例えば、アーム５４の各々は、異なる数字、文字、記号、他の識別子、またはそれらの組み合わせで飾られることがある。配向プラットフォーム５３は、３６０度の回転が可能であることがある。アセンブリ１２は、配向プラットフォーム５３を水平方向において移動させるための伸縮式水平カンチレバー５２を含むこともある。

【0030】

本例において、アーム５４の各々は、マニピュレータアーム５１に接続する。マニピュレータアーム５１は、医療器具、例えば、手術ツール３０ａ～３０ｃのうちの１つに直接接続することがある。マニピュレータアーム５１は、遠隔操作可能であることがある。幾つかの例において、配向プラットフォーム５３に接続するアーム５４は、遠隔操作可能でないことがある。むしろ、そのようなアーム５４は、外科医Ｓが遠隔手術コンポーネントで手術を開始する前に、所望に位置付けられることがある。アームに対する器具の関連付けが処置中に変化することがあるように、外科処置を通じて、医療器具は取り外されて、他の器具と交換されることがある。

【0031】

内視鏡撮像システム（例えば、内視鏡撮像システム１５および撮像デバイス２８）は、剛性内視鏡またはフレキシブル内視鏡を含む様々な構成で提供されることがある。剛性内視鏡は、内視鏡の遠位端から近位端へ画像を伝送するためのリレーレンズシステムを収容する剛性チューブを含む。フレキシブル内視鏡は、１つ以上のフレキシブルな光ファイバを用いて画像を伝送する。デジタル画像ベースの内視鏡は、１つ以上の電荷結合素子（ＣＣＤ）または相補型金属酸化物半導体（ＣＭＯＳ）素子のような遠位デジタルセンサが画像データを格納する「チップ・オン・ザ・チップ(chip on the tip)」設計を有する。内視鏡撮像システムは、二次元または三次元画像を視聴者に提供することがある。二次元画像は、限られた深さの知覚を提供することがある。三次元立体内視鏡画像は、より正確な深さ知覚を視聴者に提供することがある。立体内視鏡器具は、患者解剖学的構造の立体画像をキャプチャするために立体カメラを使用する。内視鏡器具は、全て堅固に結合されかつ気密に封止された、視鏡ケーブル、ハンドルおよびシャフトを備える、完全に滅菌可能なアセンブリであることがある。

【0032】

図１Ｃは、外科医の制御コンソールにおけるオペレータ入力システム１６の一実施形態の斜視図である。オペレータ入力システム１６は、深さ知覚を可能にする手術環境の協調立体視を外科医Ｓに提示するために、左眼ディスプレイ３２および右眼ディスプレイ３４を含む。左眼ディスプレイ３２および右眼ディスプレイ３４は、ディスプレイシステム３５のコンポーネントであることがある。他の実施形態において、ディスプレイシステム３５は、１つ以上の他のタイプのディスプレイを含むことがある。ディスプレイシステム３５は、内視鏡視野を外科医に表示するために、例えば、撮像システム１５によってキャプチャされた画像を提示することがある。内視鏡視野は、視聴者に追加的な情報を提供するために、仮想または合成メニュー、インジケータ、および／または他のグラフィックまたはテキスト情報によって補強されることがある。

【0033】

オペレータ入力システム１６は、１つ以上の入力制御デバイス３６をさらに含み、１つ以上の入力制御デバイス３６は、次に、アセンブリ１２に、内視鏡撮像システム１５および／または医療器具システム１４の１つ以上の機器を操作させる。入力制御デバイス３６は、外科医Ｓに、テレプレゼンス、または外科医が器具を直接制御しているという強い感覚を有するように入力制御デバイス３６が器具と一体であるという知覚をもたらすために、それらの関連する器具と同じ程度の自由度を提供することができる。この目的を達成するために、医療器具、例えば、手術ツール３０ａ～３０ｃ、または撮像デバイス２８からの位置、力、および触覚感覚を、入力制御デバイス３６を通じて外科医の両手に伝達して戻すように、位置、力、および触覚フィードバックセンサ（図示せず）が利用されることがある。入力制御デバイス３７は、ユーザの足から入力を受け取るフットペダルである。オペレータ入力システム１６、アセンブリ１２、および補助システム２６の態様は、外科医Ｓの身体的ニーズ、技能レベル、または好みを満たすように調整可能であることがあり、カスタマイズ可能であることがある。

【0034】

医療システム１０を用いて行われる医療処置の間に、外科医Ｓまたは別の臨床医は、撮像システム１５の視野外にある患者解剖学的構造内の医療ツールにアクセスすることが必要なことがあり、医療ツールを作動させるかあるいは他のシステム機能を実行するためにフットペダルに係合することが必要なことがあり、かつ／あるいは視野内に閉塞されているツールを識別することが必要であることがある。さらに、立体視野では、視野で提示される合成要素(synthetic elements)が、合成要素によって示される組織またはコンポーネントに対応する深さで表示されることが望ましいことがある。よって、合成要素は、視野の前方に浮遊するのではなく、視野内のコンポーネントに取り付けられているように見えることがある。以下に記載される様々な実施形態は、外科医Ｓが、深さを意識したグラフィカルインジケータ、視野外のコンポーネントのためのインジケータ、および視野内で閉塞されたコンポーネントのためのインジケータを見ることを可能にする方法およびシステムを提供する。

【0035】

図２Ａ、図２Ｂ、図２Ｃ、および図２Ｄは、例えば、ディスプレイシステム３５に表示されることがあるグラフィカルユーザインターフェース２００を図示している。グラフィカルユーザインターフェース２００は、撮像システム（例えば、撮像システム１５）によってキャプチャされた手術環境２０１の視野２０３の画像を表示するための視野部分２０２を含むことがある。手術環境は、デカルト座標系Ｘ_Ｓ、Ｙ_Ｓ、Ｚ_Ｓを有することがある。視野部分２０２内の画像は、三次元立体画像であることがあり、患者組織、ならびに医療ツール２０４、医療ツール２０６、および医療ツール２０８のような器具を含む手術コンポーネントを含むことがある。グラフィカルユーザインターフェース２００は、医療ツール２０４に関する情報を表示する情報ブロック２１０、視野部分２０２内の画像をキャプチャする撮像システムに関する情報を表示する情報ブロック２１２、医療ツール２０６に関する情報を表示する情報ブロック２１４、および医療ツール２０８に関する情報を表示する情報ブロック２１６を含むこともある。情報ブロック２１０、２１２、２１４、２１６は、ツールのタイプ、ツールが結合されるマニピュレータアームの数、アームまたはツールについての状態情報、および／またはアームまたはツールについての動作情報を含むことがある。

【0036】

グラフィカルユーザインターフェース２００は、対応する医療ツールが手術環境内にあるが、撮像システムの視野外にあり、よって、視野２０２内に見えないときに、視野部分２０２内に現れることがある、１つ以上の合成インジケータ２１８、２２０、２２２を含むこともある。合成インジケータ２１８は、ツール２０４を示す。合成インジケータ２２０は、ツール２０６を示す。合成インジケータ２２２は、ツール２０８を示す。各合成インジケータ２１８、２２０、２２２は、三次元形状を有することがあり、視野外の対応するツールの三次元方向を指し示すことがある。

【0037】

図２Ａにおいて、視野部分２０２は、手術環境の一部分の三次元画像を含み、画像周囲２１９における合成インジケータ２１８、２２０、２２２は、手術環境内にあるが、撮像システムの視野外である、それぞれのツール２０４、２０６、２０８を指し示す。図２Ｂにおいて、撮像システム（例えば、内視鏡）は、視野部分２０２内の手術環境の異なる画像をキャプチャするために、＋Ｙ方向に移動されている。ツール２０４および２０６の遠位端は、いやま可視である。ツール２０８は、視野外のままであり、結果的に、ツール２０８の方向を示す合成インジケータ２２２が表示される。図２Ｃにおいて、撮像システムは、視野部分２０２内の手術環境の異なる画像をキャプチャするために、さらに＋Ｙ方向に移動されている。ツール２０４、２０６、および２０８の遠位端は、視野部分２０２内で今や可視である。よって、合成インジケータは、表示されない。図２Ｄにおいて、撮像システムは、視野部分２０２内の手術環境の異なる画像をキャプチャするために、－Ｙ、＋Ｘ方向に移動されている。ツール２０６は、視野部分２０２内で可視のままであるが、ツール２０４、２０８は、今や視野部分２０２の外側にある。よって、合成インジケータ２１８、２２２は表示され、手術環境内のツール２０４、２０８の三次元場所をそれぞれ指し示す。

【0038】

図３Ａ～図３Ｅは、医療ツール２０４の異なる場所を指し示すために、合成インジケータ２１８を様々な三次元向きで有する手術環境２０１の視野２０３を図示している。各図示において、医療ツール２０４は、手術環境２０１内にあるが、視野２０３の外側にあり、よって、合成インジケータ２１８は、視野部分２０２内に表示される。合成インジケータ２１８は、方向性部分２５２(directional portion)を含むインジケータ本体２５０を含む。方向性部分２５２は、医療ツール２０４に向かって指し示すことがあるテーパを含むことがある。この実施形態において、合成インジケータ２１８は、涙滴形状を有することがあるが、他の実施形態では、方向を示すことができる矢印、三角形、または他の尖ったシンボルが、合成インジケータのために使用されることがある。インジケータ本体２５０は、高さＨ、深さＤ、および幅Ｗの寸法を有する三次元形状を有することがある。インジケータ本体２５０は、少なくとも１つの平坦な表面２５３と、平坦な表面２５３に沿って固定されたデカル(図案)(decal)として現れることがあるアイコン２５４とを有することがある。アイコン２５４は、指し示されるツールが結合されるマニピュレータアームについての識別子、または示されるツール自体についての識別子のような、識別子を含むことがある。インジケータ本体２５０が三次元空間内で移動するとき、アイコン２５４の向きは、アイコン２５４上のテキストまたはシンボルが視聴者に対して直立のままであるように、インジケータ本体および方向性部分２５２に対して回転することがある。アイコン２５４の向きは、インジケータ本体２５０の面の向きとも整列されたままであることがある。

【0039】

ツール２０４が手術環境２０１内で移動すると、あるいは視野２０３が手術環境内で変化すると、合成インジケータ２１８は、方向性部分２５２がツール２０４に向かって指し示されたままであり、かつ平坦な表面２５３が視聴者に可視なままであるように、枢動することがある。図３Ａにおいて、方向性部分２５２は、合成インジケータ２１８に対して＋Ｙ方向において視野２０３の外側に位置するツール２０４に向かって指し示される。図３Ｂにおいて、方向性部分２５２は、合成インジケータ２１８に対して－Ｙ、＋Ｘ、－Ｚ方向において視野２０３の外側に位置するツール２０４に向かって指し示される。図３Ｃにおいて、方向性部分２５２は、合成インジケータ２１８に対して＋Ｙ、－Ｘ、－Ｚ方向において視野２０３の外側に位置するツール２０４に向かって指し示される。図３Ｄにおいて、方向性部分２５２は、合成インジケータ２１８に対して－Ｘ、＋Ｚ方向において視野２０３の外側に位置するツール２０４に向かって指し示される。図３Ｅにおいて、方向性部分２５２は、合成インジケータ２１８に対して－Ｙ、＋Ｘ、＋Ｚ方向において視野２０３の外側に位置するツール２０４に向かって指し示される。図３Ｄおよび図３Ｅの例は、ツール先端が内視鏡先端の背後にあるときの合成インジケータの使用を描くことがある。指し示す方向がないと、ユーザは、内視鏡を動かす方向について混乱することがある。例えば、ツール先端が内視鏡先端の直ぐ背後にあるとき、内視鏡の横方向移動自体が逆効果となる可能性があり、投影されるツールインジケータが視野の一方の側から他方の側へ急速に揺れ動く結果となり、ツールを位置特定することを困難にする。

【0040】

幾つかの実施形態において、合成インジケータ２１８またはその一部分は、関連するツール２０４の状態および／または制御モード（例えば、アクティブまたは非アクティブ；クラッチが開始された位置）を示すために、カラーコーディングまたは他の視覚的処置を有することがある。幾つかの実施形態において、合成インジケータ２１８の向きは、視聴者に対する視認性を含む提示目的に基づいて決定されることがある。例えば、平坦な表面２５３は、内視鏡に向かって方向付けられることがあり、アイコン２５４は、ビュー内で直立するように、表面２５３の場所において方向付けられることがある。方向性部分２５２は、アイコン２５４の視認性を確実にするために、平坦な表面２５３に対する法線が内視鏡の観察錐(viewing cone)または観察台(viewing frustum)内で方向付けられるように拘束されることがある。合成インジケータ２１８の位置の立体深さは、内視鏡シーンコンテンツとの深さの不整合を低減し、視野部分２０２内の他の合成要素に対する閉塞および深さを解消するために、融合の容易さのために制約されることがある。合成インジケータ２１８の見掛けのサイズは、その深さに基づいて制約されることがある。

【0041】

幾つかの実施態様において、視野部分２０２の周辺２１９(perimeter)に沿った方向性部分２５２の位置は、立体画像との光線交差によって計算される。図３Ｆは、視野部分２０２を提供する内視鏡２７２（例えば、撮像システム１５）の立体観察台２７０の頂面図を提供する。立体観察台２７０は、右眼視野に対応する右眼錐台２７４(right eye frustum)および左眼視野に対応する左眼錐台２７６(left eye frustum)から形成される。立体収束場所２８６が、内視鏡の遠位先端からの収束深さ２８７にある。マーカ２７８が、器具先端部分２８０上のキーポイントに向かって指し示している三次元合成インジケータ（例えば、インジケータ２１８）の方向性部分の先端についての投影場所に対応する。マーカ２７８の場所は、内視鏡２７２の遠位先端の最小深さ範囲２８２および最大深さ範囲２８４内および左右両方の眼の観察台２７４、２７６内にあるように解決される(resolved)。最小深さ範囲および最大深さ範囲の決定は、立体視の快適さを提供すると共に、オフスクリーンツールの相対的な空間関係のユーザ知覚を強調することがある。この例では、図示のように配置される器具先端部分２８０で、合成インジケータの方向性部分の先端が、マーカ２７８、すなわち、最小深さ範囲２８２と左眼錐台２７６との交差場所に現れることがある。合成マーカの方向性部分は、集束場所２８６とマーカ２７８との間の指し示す方向２８８に沿って名目上整列されることがある。

【0042】

例えば、撮像コンポーネント（例えば、内視鏡）の中心線に沿ったポイントから関連する器具の遠位キーポイント（例えば、器具エンドエフェクタまたはジョイント上の所定のポイント）まで延びる光線が決定されることがある。この決定は、融合のための快適な深さ範囲内で両眼によって見えることがある周辺２１９に沿ったポイントを解決する(resolve)。

【0043】

幾つかの実施形態において、合成インジケータは、内視鏡および／または医療ツールが移動されるにつれて、形状およびサイズが変形することがある。例えば、合成インジケータは、円形バッジから涙滴形状に移行することがある。涙滴または矢印形状の長さは、視野からのツールの距離を示すことがある。合成インジケータは、オフスクリーンツールを場所特定するために、進行の方向および／または距離を強調することもある。例えば、ツールが視野からの閾値距離よりも遠くに位置するときには、ツールが視野からの閾値距離よりも大きいことを強調するためのジェスチャキュー(gestural cue)を生成するように、合成インジケータの全部または一部がアニメーション化されることがある。図３Ｇ～図３Ｊは、視野部分２０２の外側の器具先端２０４の距離および器具先端２０４への進行の方向の重要性に対応して、合成インジケータ２１８の長さの変調(modulation)を描く画像の進行を提供する。図３Ｊに示すように、器具先端２０４が（例えば、３ｃｍよりも大きい）視野容積よりも遠く外側の距離Ｄ４にあるか、あるいはそのＺ方向位置が最小深さ範囲および最大深さ範囲の外側にあるとき、合成インジケータ、特に、方向性部分２５２は、進行の方向および距離の両方を伝達するために伸長されるか、あるいは他の方法で強調される。対照的に、図３Ｇに示すように、器具先端２０４が視野に近く（例えば、＜３ｃｍ）、そのＺ位置が最小深さ範囲および最大深さ範囲内にあるならば、方向性部分２５２は、合成インジケータ２１８がより円形になるように、脱強調される。図３Ｇの例において、ディスプレイの周辺に沿った位置は、内視鏡ビュー容積に対する器具先端２０４の横方向空間場所を示すのに十分である。図３Ｈは、器具先端２０４までの距離Ｄ２が距離Ｄ１よりも大きいことを示す、図３Ｇよりも顕著でより長い方向性部分２５２を図示している。図３Ｉは、図３Ｈにおけるよりも長いが、図３Ｊにおけるよりも長くない、方向性部分２５２を図示し、器具先端２０４への距離Ｄ３が距離Ｄ２よりも長いが、距離Ｄ４ほど長くないことを示す。

【0044】

三次元合成インジケータ（例えば、合成インジケータ２１８、２２０または２２２）を表示するための方法８００が、図１２のフローチャートに図示されている。本明細書に記載される方法は、一連の動作またはプロセスとして図示され、追加の図を引き続き参照して記載される。図示されるプロセスの全てが、方法の全ての実施形態で実施されるわけではない。加えて、明示的に図示されていない１つ以上のプロセスが、図示されるプロセスの前に、後に、間に、または一部として含められることがある。幾つかの実施形態において、１つ以上のプロセスは、少なくとも部分的には、１つ以上のプロセッサ（例えば、制御システムのプロセッサ）によって実行されるときに、１つ以上のプロセッサにプロセスの１つ以上を実行させることがある、非一時的な有形の機械可読媒体に格納される実行可能コードの形態で実装されることがある。１つ以上の実施形態において、プロセスは、制御システムによって実行されることがある。

【0045】

プロセス８０２で、手術環境（例えば、手術環境２０１）内の視野（例えば、視野部分２０２）の画像が、例えば、ディスプレイ３５に表示される。幾つかの実施形態において、プロセス８０２は、プロセス８０４ａ～８０４ｆのうちの１つ以上を含むことがある。プロセス８０４ａで、内視鏡視野ボリュームに対する器具先端キーポイントの可視度が決定されることがある。

【0046】

プロセス８０４ｂで、合成インジケータがコンテキストおよび所定のルールに基づいてオフスクリーン器具のために表示されるべきか否かに関する決定が行われることがある。ツール先端が視野外にある間に常に合成インジケータを表示することは、望ましくない注意散漫を導入することがある。従って、合成インジケータがより状況に当て嵌まり(contextual)、その可視性がオフスクリーンツール場所のユーザ認識から利益を得るオペレータワークフローステップと一致するように、合成インジケータが示されるときに、所定のルールが課されることがある。例えば、合成インジケータは、内視鏡の動きがベッドサイドまたは外科医のコンソールのいずれかからアクティブであるときに、表示されることがある。合成インジケータは、ガイドされたツール交換構成がツールのマニピュレータアームでアクティブであるときに、表示されることがある。合成インジケータは、器具クラッチが、オフスクリーンツールを制御するマニピュレータアームのためにアクティブであるときに、表示されることがある。合成インジケータは、外科医コンソールユーザが、オフスクリーンツールを制御するマニピュレータアームの制御を開始しようとするときに表示される。合成インジケータは、外科医のコンソールユーザが、オフスクリーンツールを制御するマニピュレータアームの制御を開始したときに表示されることがある。合成インジケータは、外科医コンソールユーザが、オフスクリーンツールに結合されたマニピュレータアームへのハンド(手)の関連付けを変更しているときに表示されることがある。合成インジケータは、オフスクリーンツールが結合されているかマニピュレータアームについての通知が表示されるときに、表示されることがある。

【0047】

プロセス８０４ｃで、視野ボリュームの横方向の延伸に沿った合成インジケータの投影された三次元位置が決定されることがある。プロセス８０４ｄで、三次元合成インジケータの向きが、可視円錐または錐台内で内視鏡先端に面するように決定されることがある。プロセス８０４ｅで、合成インジケータの表面上のアイコン（例えば、アイコン２５４）の直立向きが計算されることがある。プロセス８０４ｆで、内視鏡光学系に対応する較正された立体カメラモデルを使用して、合成インジケータの左右両方のビューがレンダリング(描画)されることがある。

【0048】

プロセス８０４で、視野外の器具の位置を示す三次元合成インジケータ（例えば、インジケータ２１８）が生成されることがある。より具体的には、幾つかの実施形態では、左右の合成インジケータの複合レンダリング(composite renderingが、内視鏡ビデオ上に重ねられることがある。

【0049】

プロセス８０６で、三次元合成インジケータは、手術環境の視野の画像とともに表示されることがある。

【0050】

図４は、ユーザの足から入力を受信するフットペダルとして構成される入力制御デバイス３０２、３０４、３０６、３０８、３１０、３１２（例えば、入力制御デバイス３７）のための共通プラットフォームを形成する入力パネル３０１を含むオペレータ入力システム（例えば、オペレータ入力システム１６）の入力制御装置３００の頂面図を提供する。フットペダル３０２、３０４、３０６、３０８、３１０、３１２は、遠隔操作アセンブリ（例えば、アセンブリ１２）および／または遠隔操作アセンブリのアームに結合された医療ツールの機能を制御するために係合されることがある。入力制御デバイス３００は、入力制御デバイスに対するユーザ（例えば、ユーザの足または脚）の位置を検出するセンサシステム３１４を含むこともある。センサシステム３１４は、入力制御デバイス３０２～３１２のうちの１つ以上でまたはその近傍でユーザの存在を感知または追跡する、カメラ、光学センサ、運動センサ、または他のセンサを含むことがある。センサシステム３１４は、入力制御デバイスのうちの１つ以上が作動または係合されたことを検出する、圧力センサ、変位センサ、または他のタイプのセンサを含むこともある。

【0051】

図５Ａ、図５Ｂ、図５Ｃ、および図５Ｄは、グラフィカルユーザインターフェース２００を図示している。医療ツール４００および医療ツール４０２は、視野部分２０２において可視である。医療ツールの機能は、入力パネル３０１上の対応するフットペダルと係合することによって開始されることがある。例えば、医療ツール４００は、情報ブロック２１０に示されるようにマニピュレータアーム１によって作動されることがあり、血管シーラであることがあり、血管シーラは、フットペダル３０２が係合されると、切断する機能を果たすことがあり、フットペダル３０４が係合されると、封止する機能を果たすことがある。図５Ａに示すように、ツール４００は、合成インジケータ４０４でラベル付けされることがある。この実施形態において、合成インジケータ４０４は、上方半円部分４０６および下方半円部分４０８を含む、概ね円形のバッジであることがある。上方半円部分４０６は、輪郭部分４１０および中央部分４１２を含み、下方半円部分４０８は、輪郭部分４１４および中央部分４１６を含む。上方半円形部分４０６は、二次フットペダル３０２の機能に対応することがあり、ペダル３０２の係合状態（例えば、ホバリングされている、アクティブ化されている）を示すことがある。下方半円部分４０８は、一次フットペダル３０４の機能に対応することがあり、ペダル３０４の係合状態（例えば、ホバリングされている、アクティブ化されている）を示すことがある。上方半円部分４０６と下方半円部分４０８の空間的関係は、ペダル３０２、３０４と同じまたは類似の空間的関係を有することがある。センサシステム３１４が、オペレータの足がフットペダル３０２からの閾値距離内の上でまたはその他でホバリングしていることを検出すると、上方半円形部分４０６の輪郭部分４１０は、オペレータの足がフットペダル３０２の近くにあることをオペレータに示すために外観を変化させる（例えば、色を変える、アニメ化される）ことがある。よって、オペレータは、オペレータの視覚がグラフィカルユーザインターフェース２００に向けられたままである間に、フット位置を決定することができる。オペレータがフットペダル３０２に係合すると（例えば、ペダルを踏むかあるいは押し下げると）、上方半円形部分４０６の中央部分４１２は、オペレータに、オペレータの足がフットペダル３０２に係合したこと、およびフットペダル３０２の機能（例えば、切断）が開始されたことを示すために、外観を変化させる（例えば、色を変化させる、アニメ化される）ことがある。幾つかの実施形態において、フットペダル３０２のホバリングまたは係合状態は、同じまたは類似のグラフィカルインジケータを使用して情報ブロック２１０内に示されることがある。フットペダルの左バンク（例えば、ペダル３０２、３０４）は、左手入力制御デバイスと関連付けられることがあり、フットペダルの右バンク（例えば、ペダル３０６、３０８）は、右手入力制御デバイスと関連付けられることがある。各手は、あらゆる器具アームを制御するために関連付けられることがある。併置される合成インジケータは、対応する手および足に対する器具のこの関連付けを反映する。幾つかの構成において、内視鏡視野に対する器具のポーズは、その他の点では、左側または右側に対する曖昧な関連付けを有するように見えることがあるので、併置される合成インジケータは、この関連付けを明らかにする。

【0052】

図５Ｃに示すように、下方半円部分４０８は、上方半円部分４０６と同様に、フットペダル３０４のホバリングおよび係合のインジケータとして機能することがある。オペレータが一次フットペダル３０４と係合すると（例えば、ペダルを踏むかあるいは押し下げると）、下方半円部分４０８の中央部分は、オペレータに、オペレータの足がフットペダル３０４に係合したこと、およびフットペダル３０４の機能（例えば、封止）が開始されたことを示すために、外観を変化させる（例えば、色を変化させる、アニメ化される）ことがある。外科医のコンソールにあるペダルは、色分けされることがある。例えば、一次ペダル３０４、３０８は、青色に着色されることがあり、二次ペダル３０２、３０６は、黄色に着色されることがある。この色分けは、関連するハイライトに反映され、グラフィカルユーザインターフェース上のペダル機能合成インジケータの色を塗り込む。

【0053】

図５Ｂに示すように、ツール４０２は、合成インジケータ４２０でラベル付けされることがある。この実施形態において、合成インジケータ４２０は、外観および機能において合成インジケータ４０４と実質的に類似することがあるが、フットペダル３０６、３０８のセットに関する情報を提供することがある。ツール４０２は、情報ブロック２１４に示すようにマニピュレータアーム３によって作動されることがあり、モノポーラ焼灼器具であることがあり、モノポーラ焼灼器具は、フットペダル３０６が係合されるときに切断のためのエネルギを送達する機能を果たすことがあり、フットペダル３０８が係合されるときに凝固のためのエネルギを送達する機能を果たすことがある。オペレータの足が二次フットペダル３０６からの閾値距離内の上でまたはその他でホバリングしていることをセンサシステム３１４が検出すると、上方半円形部分の輪郭部分が外観を変化させて、オペレータの足がフットペダル３０６の近くにあることをオペレータに示すことがある。オペレータがフットペダル３０６に係合したかあるいはアクティブ化したことをセンサシステム３１４が決定すると、上方半円形部分の中央部分は、外観を変化させて、オペレータの足がフットペダル３０６に係合したこと、およびフットペダル３０６の機能（例えば、切断のためにエネルギを送達すること）が開始されたことを、オペレータに示すことがある。幾つかの実施形態において、二次フットペダル３０２のホバリングまたは係合状態は、同じまたは類似のグラフィカルインジケータを使用して情報ブロック２１４に示されることがある。

【0054】

図５Ｄに示すように、インジケータ４２０の下方半円部分は、上方半円部分と同様に、一次フットペダル３０８のホバリングおよび係合についてのインジケータとして機能することがある。オペレータが一次フットペダル３０８と係合すると、下方半円部分の中央部分は、外観を変化させて、オペレータの足が一次フットペダル３０８に係合したこと、およびフットペダル３０８の機能（例えば、凝固のためにエネルギを送達すること）が開始されたことを、オペレータに示すことがある。

【0055】

合成インジケータ４０４、４２０の位置および向きは、合成インジケータが、例えば、ツールクレビスまたはシャフトに接着されたデカルであるという外観を作り出すように決定されることがある。ツールまたは視野を提供する内視鏡が移動されると、合成インジケータ４０４、４２０は、ツール表面に対する接触(tangency)を維持し、上方ペダルおよび下方ペダルの空間的理解を維持するために、三次元空間における向きを変化させることがある。

【0056】

合成インジケータの様々なタイプ、形状、および構成が、フットペダル係合の状態に関する情報を提供するために表示されることがある。代替的な実施形態では、図６Ａ、図６Ｂ、図６Ｃ、および図６Ｄに示すように、医療ツール４００、４０２を備えたグラフィカルユーザインターフェース２００は、視野部分２０２において可視である。この実施形態では、合成インジケータ４５０、４５２、４５４、４５６が、周辺２１９に沿って延在する細長いバーの形態をとることがある。この例において、合成インジケータ４５０～４５６は、周辺２１９の境界内にあるが、代替の実施形態では、視野２０２の周辺２１９外にあることがある。

【0057】

この実施形態において、合成インジケータ４５０、４５２は、フットペダル３０２、３０４のセットに関する情報を提供する際に、合成インジケータ４０４と同様の機能を果たすことがある。図６Ａに示すように、オペレータの足が一次フットペダル３０８からの閾値距離内の上でまたはその他でホバリングしていることをセンサシステム３１４が検出すると、合成インジケータ４５６を輪郭化して、オペレータの足が一次フットペダル３０８の近くにあることをオペレータに示す。図６Ｂに示すように、オペレータがフットペダル３０８と係合すると、合成インジケータ４５６は、充填バーとなって、オペレータの足がフットペダル３０８と係合したこと、およびフットペダル３０８の機能が開始されたことを、オペレータに示すことがある。幾つかの実施形態において、フットペダル３０８のホバリングまたは係合状態は、同じまたは類似のグラフィカルインジケータを使用して、情報ブロック２１４に示されることがある。

【0058】

図６Ｃに示すように、オペレータの足が二次フットペダル３０２からの閾値距離内の上でまたはその他でホバリングしていることをセンサシステム３１４が検出すると、合成インジケータ４５０を輪郭化して、オペレータの足がフットペダル３０２の近くにあることをオペレータに示す。図６Ｄに示すように、オペレータがフットペダル３０２と係合すると、合成インジケータ４５６は、充填バーとなって、オペレータの足がフットペダル３０２と係合したこと、およびフットペダル３０２の機能が開始されたことを、オペレータに示すことがある。幾つかの実施形態において、フットペダル３０２のホバリングまたは係合状態は、同じまたは類似のグラフィカルインジケータを使用して、情報ブロック２１０に示されることがある。

【0059】

代替的な実施形態では、指示を提供するかあるいは空間的方向（例えば、上／下／左／右）を指示して、オペレータの足をフットペダルのためのホバリング位置に移動させるために、合成インジケータの代わりにあるいは合成インジケータに加えて、オーディオキューが提供されることがある。システムは、ペダル上で足をホバリングさせることとペダルを作動させることとの間を区別することがあり、係合状態または作動状態に対するホバリング状態についての明確な視覚的キューおよびオーディオキューが存在することがある。システムは、ペダル機能が有効または無効であるときを描くこともある。ペダル機能が有効でないときに（例えば、器具機能ケーブルが差し込まれていないとき、または器具機能が設定されていないときに）、ハイライト色はグレーに見えることがある。

【0060】

フットペダルのセットに対応する合成インジケータを表示する方法８２０が、図１３のフローチャートに図示されている。プロセス８２２では、手術環境（例えば、環境２０１）の視野（例えば、視野部分２０２）の画像が、例えば、ディスプレイ３５に表示される。プロセス８２４で、第１のペダル３０２の係合状態を示す第１の合成インジケータ（例えば、半円形部分４０６）が生成される。プロセス８２６で、第２のペダル３０４の係合状態を示す第２の合成インジケータ（例えば、半円形部分４０８）が生成される。プロセス８２８で、第１の合成インジケータは、第１のペダルと第２のペダルとの間の空間的関係に基づいて、第２の合成インジケータに対して表示される。第１および第２のインジケータは、視野の画像とともに表示される。

【0061】

図７Ａ～図７Ｄに示すように、視野部分２０２内のコンポーネント上にバッジまたはラベルとして表示する合成インジケータは、コンポーネントの近傍に現れることがあり、コンポーネントまたは視野を生成する内視鏡が移動されるにつれて、コンポーネントに近接し可視のままであるように条件付きで移動することがある。合成インジケータは、上述の目的のいずれかのために使用されることがあるが、視野部分２０２内の医療ツールまたは他のコンポーネントを識別し、医療ツールが結合されるマニピュレータアームを識別し、医療ツールに関する状態情報を提供し、医療ツールに関する動作情報を提供し、あるいはツールまたはツールが結合されるマニピュレータアームに関する任意の他の情報を提供するために使用されることもある。

【0062】

図７Ａに示すように、合成インジケータ５００は、ツール５０２と関連付けられることがある。この実施形態において、合成インジケータ５００は、ツール５０２上にデカルの外観を有するように構成されたバッジであることがある。バッジ５００は、ツール５０２のジョー５０４ａ、５０４ｂに近接して現れることがあるが、ジョーを閉塞するのを回避するように位置決めされることがある。配置は、基礎を成す運動追跡技術の位置不確実性に基づいてジョーから離れる付勢を含むことがある。バッジ５００のデフォルト位置は、ツール５０２上の所定のキーポイント５０１にあることがある。図７Ａに示すように、バッジ５００は、ツールのクレビスに配置されたキーポイント５０１に配置されることがある。バッジ５００は、バッジ５００がキーポイントに留まり、クレビスの表面に沿って方向付けられるように、内視鏡またはツール５０２が動くにつれて枢動しかつ並進することがある。クレビスの表面は、視野部分２０２内でもはや可視でないときに、バッジ５００は、（所定のジョイント場所で）図７Ｂに示すようにあるいは（ツール５０２のシャフトに沿って）図７Ｄに示すように別のキーポイント５０３に移動されることがある。

【0063】

バッジ５００は、キーポイント位置が視野部分２０２内で可視のままであるならば、元のキーポイント場所に留まることがある。図８は、患者解剖学的構造５５１内に延びる内視鏡５５０（例えば、撮像システム１５）を図示している。観察円錐５５２(観察コーン)が、内視鏡５５０の遠位端から組織表面５５３まで延びている。観察円錐５５２内のエリアは、視野部分２０２内で可視であるエリアであることがある。ツール５５４が、患者解剖学的構造５５１内に延びる。バッジ５５６が、キーポイント５５７でデフォルト位置を有することがある。デフォルト位置がディスプレイ上で可視であるかどうかを決定するために、バッジ５５６の表面に対して法線方向の線５５８が考慮されることがある。法線５５８は観察円錐５５２内に延びないので、デフォルト位置にあるバッジ５５６が可視でないという決定が行われることがある。法線５５８が観察円錐５５２内に延びないという条件に基づいて、バッジ５５６は、キーポイント５５９で二次的なデフォルト位置に移転されることがある。第２のキーポイント５５９におけるバッジ５５６への法線５６２は、ツール５５４または内視鏡５５０の動きがバッジへの法線を観察円錐５５２内にもはや延びなくさせるまで、バッジ５５６が第２のキーポイント５５９に留まることがあるように、観察円錐５５２内にある。図７Ｂを再び参照すると、（図７Ａにおける）元のキーポイントにおけるバッジ５００への法線は、もはや観察円錐内にないので、バッジ５００は、第２のデフォルトキーポイントに移転されることがある。

【0064】

キーポイントにおけるバッジ５００の向きは、バッジ表面への垂線が視野円錐内にあり、よって、視野部分２０２内で可視であるように制約されることがある。法線が観察円錐内にあるように、バッジがキーポイントで方向付けられないならば、バッジ５００は、異なるキーポイントに移動されることがある。図７Ｄに示すように、バッジ５００の向きは、バッジ５００の表面が視聴者に可視に留まる間に、ツール５０２シャフトの向きに整合するように枢動されることがある。バッジ５００のサイズは、バッジが取り付けられたキーポイントの距離が内視鏡の遠位端のより近くまたはより遠くに移動するにつれて、あるいは内視鏡のズーム機能がアクティブ化されるときに変化することもある。バッジのサイズは、ディスプレイ上で大きくなりすぎるかあるいは小さくなりすぎることを避けるために、最大閾値および最小閾値の範囲内に留まるように制御されることがある。図７Ｃに示すように、バッジ５００は、より小さいことがある。何故ならば、図７Ｃのキーポイントは、図７Ａのキーポイントよりも内視鏡から遠くにあるからである。

【0065】

手術環境内のツールと関連付けられる合成インジケータの位置、向き、および深さは、制御システムによるツール追跡および奥行きマップ分析に基づいて決定されることがある。ツール追跡だけでは、合成インジケータがツール表面上で浮かんだりあるいは相互貫入したりするように見えさせる多少の残留誤差を生むことがある。これは視聴者の注意をそらすことがあり、合成インジケータおよび関連ツールとの融合問題につながることがある。内視鏡の遠位端からの視野部分２０２内の表面の距離に関する情報を提供する奥行きマップは、ツール表面上の合成インジケータの配置を精緻化するために使用されることがある。より具体的には、レイキャスト投影が、基準合成インジケータ位置の許容差内で計算ざれることがある。生成された誤差を用いて、ツールの表面上に合成インジケータをより正確に配置するための半径方向オフセット補正を推定することがある。奥行きマップの品質および精度は、ツールが移動している場合に比べて、ツールが静的または準静的であるときにより良い。よって、半径方向オフセット補正のレイキャスティングおよび更新は、器具キーポイント速度が閾値速度よりも低いときに行われることがある。代替的に、投影テクスチャリングを使用して、合成インジケータを抽出された奥行きマップ表面上に直接配置することがある。奥行きマップを生成するためのシステムおよび方法は、特許文献１および特許文献２にさらに記載されており、それらの全文は、参照により本明細書に組み込まれる。

【0066】

図９Ａおよび図９Ｂは、視野部分２０２内で可視である医療ツール６００および医療ツール６０２を備えるグラフィカルユーザインターフェース２００を図示している。合成インジケータ６０４が医療ツール６００上に表示され、合成インジケータ６０６が医療ツール６０２上に表示される。図９Ｂに示すように、ツール６０２が内視鏡の視点からツール６００の背後に移動するにつれて、ツール６０２に対する合成インジケータ６０６の位置および向きは、固定されているように見えるツール６０２の表面と同じ三次元深さに維持されることがある。合成インジケータ６０６は、別のオブジェクトの背後に位置付けられるときでさえも、視覚的にはそのキーポイントと併置されたままである。ツール６００によって閉塞されるのではなく、合成インジケータ６０６は、合成インジケータ６０６がツール６００の半不透明シャフトを通じて見られていることを視聴者に示す視覚的処理（例えば、ゴステストされた外観、退色した外観、半透明、点線付き境界）で示されることがある。奥行きマップを使用して、視野の画像との合成インジケータ６０６の奥行きを意識した混合を行うことがある。

【0067】

立体画像上に単に重ね合わせられた三次元合成インジケータは、深さを考慮せずに、視野内のコンテンツによって交差されるかあるいは閉塞されることがある。これは、現実のオブジェクトと合成オブジェクトとの間の誤解を招く空間的関係、ならびに立体的融合の困難さを引き起こし得る。奥行きマップを使用することは、視野内に置かれた合成インジケータの空間的外観を向上させることがある。幾つかの実施形態において、奥行きマッピングは、奥行きマップよりも深い合成インジケータの部分をレンダリングおよび表示しないようにする閉塞選択除去(occlusion culling)のために使用されることがある。合成インジケータの完全な選択除去は、またはその部分的な選択除去さえも、物理的な併置(collocation)状態情報の損失を招くことがある。幾つかの例では、併置合成インジケータが、準最適トラッキングまたはレンダリング条件（例えば、深さ閉塞、視野選択除去、トラッキング性能不良、奥行きマップ品質不良、立体整列不良など）の存在の下で表示されるときに、グラフィカルユーザインターフェースは、図５Ａ～図５Ｄに示す併置されたインジケータから図６Ａ～図６Ｄに示す空間的に整列された周辺インジケータに徐々に戻ることがある。

【0068】

他の実施形態において、奥行きマップを使用するとき、完全な合成インジケータは保存されることがあるが、さもなければ、合成インジケータの閉塞部分(閉塞された部分)は、非閉塞部分(閉塞されていない部分)とは異なる視覚的処理（例えば、半透明処理）でレンダリングされることがある。合成インジケータの閉塞部分のための特別な視覚的処置を達成するために、合成インジケータへのレンダリングは、２段階で行われることがある。第１の段階において、合成インジケータは、奥行きマップを参照または修正することなく、不透明度を減らしてレンダリングされることがある。第２の段階において、合成インジケータは、閉塞されていないピクセルのみがより不透明に見え、第１の段階で生成されたピクセル上にレンダリングされるように、奥行きマップの選択除去を適用しながら、より不透明にレンダリングされることがある。よって、合成インジケータの閉塞部分は、減少した透明度（例えば、より多くの半透明度）で現れ、合成インジケータの非閉塞部分は、より大きいまたは完全な不透明度で現れる。幾つかの実施形態では、立体ディスプレイを使用して、一方の眼（例えば、視聴者の非優位眼）のための合成インジケータレンダリングは、合成インジケータの閉塞部分を選択除去する(cull)ことがあり、他方の眼（例えば、視聴者の優位眼）のための合成インジケータレンダリングは、奥行きマップおよび奥行きを意識した混合を使用して生成されることがある。幾つかの実施形態では、合成インジケータが、ユーザが生成したグラフィックに基づいて生成されることがある。ユーザが生成したグラフィックは、合成インジケータが立体的に生成されるときに、単眼画像に基づくことがある。

【0069】

図１０Ａおよび図１０Ｂは、視野部分２０２内で可視である医療ツール６５０を有するグラフィカルユーザインターフェース２００を図示している。図１０Ａでは、合成インジケータ６５２が、視野部分２０２内にレンダリングされるが、立体画像においてツール６５０より上に浮かぶように見える。図１０Ｂでは、合成インジケータ６５４が、インジケータ６５２と同じ位置にレンダリングされるが、図１０ＡＢにおけるレンダリングは、合成インジケータがツール６５０のシャフト内に埋め込まれる視覚的外観を生成する。この視覚的外観を作り出すために、合成インジケータ６５４の内側部分６５６は、内側部分６５６がツール６５０によって覆われるか、あるいはツール６５０に対して内部であることを示すために、陰影(シェーディング)でレンダリングされる。合成インジケータ６５４の外側部分６５８が、外側部分６５８がツール６５０に対して外部にあることを示すために、完全な不透明度でレンダリングされる。

【0070】

図１０Ｃは、視野部分２０２で可視である医療ツール６５０および医療ツール６５１を有するグラフィカルユーザインターフェース２００を図示している。図１０Ｃでは、合成インジケータ６６０が、ツール６５０を囲むように見えるリングとしてレンダリングされ、合成インジケータ６６２が、ツール６５１を囲むように見えるリングとしてレンダリングされる。上述した深さを意識した混合技術を使用して、ツール６５０の背後に現れる合成インジケータ６６０の一部分６６４が、ツール６５０および周囲組織の上に現れる合成インジケータ６６０の一部分６６６とは異なる陰影または色でレンダリングされることがある。同様に、ツール６５１の背後に現れる合成インジケータ６６２の一部分６６８が、ツール６５１の上に現れる合成インジケータ６６２の一部分６７０とは異なる陰影または色でレンダリングされることがある。

【0071】

幾つかの実施形態において、グラフィカルユーザインターフェース２００は、ガイドされたツール変更における使用のための合成インジケータを表示するために使用されることがある。合成インジケータは、遠位標的マークへの新しいツールの挿入をガイドする経路として役立つ合成チューブとしてレンダリングされることがある。幾つかの実施形態において、合成チューブの全部または一部は、組織または他のツールによって閉塞されることがある。図１１Ａ～図１１Ｄは、視野部分２０２の異なるバリエーションを有するグラフィカルユーザインターフェース２００を図示している。図１１Ａは、視野部分２０２の奥行きマップ７０１の可視化を図示している。ツール７００およびツール７０２は、視野部分内で可視である。合成チューブの形態の合成インジケータ７０４が、標的マーク７０８へのツール７０６の挿入をガイドするために提供されることがある。奥行きマップは、合成チューブ７０４または標的マーク７０８の部分が他の構造によって閉塞されているかどうかを示すことがある。図１１Ｂでは、合成チューブ７０４および標的マーク７０８のいずれも閉塞されていないので、合成チューブ７０４および標的マーク７０８についてのグラフィックスは、特別な視覚的特性または処理なしで提示される。図１１Ｃでは、組織７１０が、合成チューブ７０４および標的マーク７０８の一部分を塞ぐので、チューブ７０４およびマーク７０８の閉塞部分は、ツール交換経路が組織７１０によって部分的に塞がれているという情報を視聴者に提供するために、非閉塞部分よりも半透明な視覚的処理を有することがある。図１１Ｄにおいて、組織７１０は、合成チューブ７０４のより大きな部分を塞ぎ、標的マーク７０８を完全に塞ぐ。チューブ７０４およびマーク７０８の閉塞部分は、ツール交換経路が組織７１０によって部分的に塞がれているという情報を視聴者に提供するために、非閉塞部分よりも多くの半透明の視覚的処置を有することがある。これらの例において、不透明度キューは、閉塞されている合成インジケータの部分の表示を提供することがある。他の例では、ガイドされる経路の閉塞部分により多くの注意を引く色またはテクスチャ特性を修正するために、他の視覚的特性が（上述のような）２段階のレンダリングプロセスで修正されることがある。閉塞部分の視覚特性は、静的または動的な、時間的に変化する方法において修正されることがある。奥行きマップは、挿入経路の閉塞状態に関する幾何学的クエリに答えるために使用されることもある。１つ以上の光線は、ツール７０６の先端から挿入経路方向に沿って標的マークに向かって放射される場合であることがある。標的マークにより近い、塞がれていない挿入経路が見出されるならば、システムは、視聴者に警告を発することがあり、あるいは障害物がないように合成インジケータチューブを調整することがある。

【0072】

部分的に閉塞された合成インジケータを表示する方法８４０が、図１４のフローチャートに図示されている。プロセス８４２で、手術環境（例えば、環境２０１）の視野（例えば、視野部分２０２）の画像が、例えば、ディスプレイ３５に表示される。プロセス８４４で、手術環境中の器具（例えば、ツール７０６）に関連する第１の合成インジケータ（例えば、合成マーク７０８）が生成される。プロセス８４６で、第１の合成インジケータおよび視野内の構造を含む奥行きマッピング（例えば、奥行きマップ７０１）が生成される。プロセス８４８で、構造によって閉塞された第１の合成インジケータの閉塞部分が生成される。プロセス８５０で、第１の合成インジケータは、第１の合成インジケータの非閉塞部分とは区別されたグラフィック外観を有する第１の合成インジケータの閉塞部分で表示される。

【0073】

１つの実施形態、実装、または適用を参照して詳細に記載された要素は、実用的であるときにはいつでも、それらが具体的に図示も記載もされていない他の実施形態、実装、または適用に任意に含まれることがある。例えば、ある要素が一実施形態を参照して詳細に記載されており、第２の実施形態を参照して記載されていない場合、その要素は、それにもかかわらず、第２の実施形態に含まれるものとして特許請求されることがある。よって、以下の記述における不必要な繰り返しを回避するために、１つの実施形態、実装、または適用に関連して図示され記載される１つ以上の要素は、他のことが特に記載されない限り、１つ以上の要素が実施形態または実装を非機能的にしない限り、あるいは要素のうちの２つ以上が矛盾する機能を提供しない限り、他の実施形態、実装、または態様に組み込まれることがある。

【0074】

記載されるデバイス、システム、器具、方法、および本開示の原理の任意のさらなる適用に対するいかなる変更およびさらなる修正も、本開示が関係する当業者に通常思い浮かぶように、完全に想定される。特に、一実施形態に関して記載される構成、コンポーネント、および／またはステップは、本開示の他の実施形態に関して記載される構成、コンポーネント、および／またはステップと組み合わされる場合があることが十分に考えられる。加えて、本明細書で提供される寸法は、特定の例のためのものであり、本開示の概念を実装するために、異なるサイズ、寸法、および／または比率が利用される場合があることが考えられる。不必要な記述的反復を回避するために、１つの例示的な実施形態に従って記載された１つ以上のコンポーネントまたは動作が、他の例示的な実施形態から適用可能であるように使用されることができ、あるいは省略されることができる。簡潔さのために、これらの組み合わせの多数の繰り返しは、別個には記述されない。

【0075】

様々なシステムおよびシステムの部分は、三次元空間におけるそれらの状態の観点から記載される。本明細書で使用されるとき、「位置(position)」という用語は、三次元空間（例えば、デカルトＸ、Ｙ、およびＺ座標に沿った３つの並進自由度）におけるオブジェクトまたはオブジェクトの一部分の場所(location)を指す。本明細書で使用されるとき、「向き(orientation)」という用語は、オブジェクトまたはオブジェクトの一部分の回転的な配置（３つの回転自由度、例えば、ロール、ピッチ、およびヨー）を指す。本明細書で使用されるとき、「姿勢(pose)」という用語は、少なくとも１つの並進自由度におけるオブジェクトまたはオブジェクトの一部分の位置を指し、少なくとも１つの回転自由度（最大６つの自由度）におけるオブジェクトまたはオブジェクトの一部分の向きを指す。

【0076】

本明細書に記載される例の一部は、外科処置または器具、または医療処置および医療器具に言及するが、開示される技術は、任意に、非医療処置および非医療器具に当て嵌まる。例えば、本明細書に記載される器具、システム、および方法は、工業的用途、一般ロボット用途、および非組織ワークピースの感知または操作を含む、非医療目的に使用されることがある。他の例示的な用途は、美容上の改良、人間または動物の解剖学的構造の撮像、人間または動物の解剖学的構造からのデータ収集、および医療従事者または非医療従事者の訓練を含む。追加の例示的な用途は、（人間または動物の解剖学的構造に戻らない）人間または動物の解剖学的構造から取り除かれた組織に対する処置のための使用、および人間または動物の死体に対する処置を実行することを含む。さらに、これらの技術は、外科的および非外科的な医療処置または診断手順のためにも用いられることができる。

【0077】

コンピュータは、プログラムされた命令に従い、処理された出力情報を生成するために入力情報に対して数学的または論理的関数を実行する機械である。コンピュータは、数学または論理関数を実行する論理ユニットと、プログラムされた命令、入力情報、および出力情報を格納するメモリとを含む。「コンピュータ(computer)」という用途、および「プロセッサ(processor」または「コントローラ(controller)」または「制御システム(control system)」のような同様の用語は、類似する。

【0078】

本発明の特定の例示的な実施形態が添付の図面に記載されかつ図示されているが、そのような実施形態は、例示的であるにすぎず、広範な本発明を限定しないこと、および本発明の実施形態は、図示および記載される特定の構造および構成に限定されないことが理解されるべきである。何故ならば、様々な他の変更が、当業者の心に思い浮かぶことがあるからである。

【先行技術文献】

【特許文献】

【0079】

【特許文献1】米国特許第７，９０７，１６６号明細書

【特許文献2】米国特許第８，８３０，２２４号明細書

【図1A】

【図1B】

【図1C】

【図2A】

【図2B】

【図2C】

【図2D】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図3F】

【図3G】

【図3H】

【図3I】

【図3J】

【図4】

【図5A】

【図5B】

【図5C】

【図5D】

【図6A】

【図6B】

【図6C】

【図6D】

【図7A】

【図7B】

【図7C】

【図7D】

【図8】

【図9A】

【図9B】

【図10A】

【図10B】

【図10C】

【図11A】

【図11B】

【図11C】

【図11D】

【図12】

【図13】

【図14】

【国際調査報告】