▶ インテュイティブ サージカル オペレーションズ， インコーポレイテッドの特許一覧
特開2022-116156立体ビューワのための視線追跡を統合する医療装置、システム、及び方法
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2022116156
(43)【公開日】2022-08-09
(54)【発明の名称】立体ビューワのための視線追跡を統合する医療装置、システム、及び方法
(51)【国際特許分類】
G06F 3/0346 20130101AFI20220802BHJP
A61B 34/20 20160101ALI20220802BHJP
G06F 3/01 20060101ALI20220802BHJP
【ＦＩ】
G06F3/0346 423
A61B34/20
G06F3/01 510
【審査請求】有
【請求項の数】14
【出願形態】ＯＬ
【外国語出願】
(21)【出願番号】P 2022084912
(22)【出願日】2022-05-25
(62)【分割の表示】P 2020023311の分割
【原出願日】2015-03-18
(31)【優先権主張番号】61/955,334
(32)【優先日】2014-03-19
(33)【優先権主張国・地域又は機関】US
(71)【出願人】
【識別番号】510253996
【氏名又は名称】インテュイティブ サージカル オペレーションズ， インコーポレイテッド
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100135079
【弁理士】
【氏名又は名称】宮崎 修
(72)【発明者】
【氏名】ジャーク，アンソニー マイケル
(57)【要約】 （修正有）
【課題】手術野の画像をユーザに表示する画像ディスプレイを有する目追跡システムを提供する。
【解決手段】システム２００は、第２の波長範囲の光を放射するように、且つ、ユーザの右目の第１の注視点に関するデータを測定する右目追跡装置、第２の波長範囲の光を放射するように、且つ、ユーザの左目の第２の注視点に関するデータを測定する左目追跡装置、画像ディスプレイとユーザの右目及び左目との間に配置される光学アセンブリであって、右目追跡装置及び左目追跡装置がユーザに見えることなしに、第１及び第２の波長が、左目と画像ディスプレイとの間の左光学経路の一部を共有し、且つ、右目と画像ディスプレイとの間の右光学経路の一部を共有するように、第１、第２の波長範囲の光を導く光学アセンブリ及びユーザの注視点が向けられている表示画像における視点を決定するために第１の注視点及び第２の注視点に関するデータを処理するプロセッサを有する。
【選択図】図３Ａ
【解決手段】システム２００は、第２の波長範囲の光を放射するように、且つ、ユーザの右目の第１の注視点に関するデータを測定する右目追跡装置、第２の波長範囲の光を放射するように、且つ、ユーザの左目の第２の注視点に関するデータを測定する左目追跡装置、画像ディスプレイとユーザの右目及び左目との間に配置される光学アセンブリであって、右目追跡装置及び左目追跡装置がユーザに見えることなしに、第１及び第２の波長が、左目と画像ディスプレイとの間の左光学経路の一部を共有し、且つ、右目と画像ディスプレイとの間の右光学経路の一部を共有するように、第１、第２の波長範囲の光を導く光学アセンブリ及びユーザの注視点が向けられている表示画像における視点を決定するために第１の注視点及び第２の注視点に関するデータを処理するプロセッサを有する。
【選択図】図３Ａ
【特許請求の範囲】
【請求項1】
手術野の画像をユーザに表示するように構成される画像ディスプレイ、
前記ユーザの右目の第１の注視点に関するデータを測定するように構成される右目追跡装置であって、右立体イメージング装置を含む、右目追跡装置、
前記ユーザの左目の第２の注視点に関するデータを測定するように構成される左目追跡装置であって、左立体イメージング装置を含む、左目追跡装置、及び
前記ユーザの前記注視点が向けられている表示される画像における視点を決定するために前記第１の注視点及び前記第２の注視点に関する前記データを処理するように構成される、少なくとも１つのプロセッサ、を有する、
目追跡システム。
前記ユーザの右目の第１の注視点に関するデータを測定するように構成される右目追跡装置であって、右立体イメージング装置を含む、右目追跡装置、
前記ユーザの左目の第２の注視点に関するデータを測定するように構成される左目追跡装置であって、左立体イメージング装置を含む、左目追跡装置、及び
前記ユーザの前記注視点が向けられている表示される画像における視点を決定するために前記第１の注視点及び前記第２の注視点に関する前記データを処理するように構成される、少なくとも１つのプロセッサ、を有する、
目追跡システム。
【請求項2】
前記右立体イメージング装置は、前記右目からの光を受けるように構成された少なくとも２つのカメラを含み、前記左立体イメージング装置は、前記左目からの光を受けるように構成された少なくとも２つのカメラを含む、
請求項１に記載の目追跡システム。
請求項１に記載の目追跡システム。
【請求項3】
前記少なくとも１つのプロセッサは、一定の瞳孔間距離に対応する一定の要因に基づいて前記視点を決定するために前記第１の注視点及び前記第２の注視点に関する前記データを処理するように構成される、
請求項１に記載の目追跡システム。
請求項１に記載の目追跡システム。
【請求項4】
前記右目追跡装置は、前記右目の２Ｄ角膜反射データを検出するように構成され、前記左目追跡装置は、前記左目の２Ｄ角膜反射データを検出するように構成される、
請求項１に記載の目追跡システム。
請求項１に記載の目追跡システム。
【請求項5】
前記右目追跡装置は、前記右目の２Ｄ瞳孔位置データを検出するように構成され、前記左目追跡装置は、前記左目の２Ｄ瞳孔位置データを検出するように構成される、
請求項１に記載の目追跡システム。
請求項１に記載の目追跡システム。
【請求項6】
前記右目追跡装置及び前記左目追跡装置は、前記ユーザの頭の特徴部に対応する固定基準点に関する位置データを追跡するように構成される、
請求項１に記載の目追跡システム。
請求項１に記載の目追跡システム。
【請求項7】
前記少なくとも１つのプロセッサは、前記固定基準点に関する前記位置データに基づいて前記視点を決定するために、前記第１の注視点及び前記第２の注視点に関する前記データを処理し且つ前記ユーザの頭の運動を補償するように構成される、
請求項６に記載の目追跡システム。
請求項６に記載の目追跡システム。
【請求項8】
右目光エミッタ及び左目光エミッタをさらに含み、前記右目光エミッタは、第１の波長範囲の光を前記ユーザの前記右目に放射するように構成され、前記左目光エミッタは、前記第１の波長範囲の光を前記ユーザの前記左目に放射するように構成される、
請求項１に記載の目追跡システム。
請求項１に記載の目追跡システム。
【請求項9】
前記画像ディスプレイと前記ユーザの目との間に配置される光学アセンブリをさらに含み、前記光学アセンブリは、前記ユーザの目、前記の目追跡装置、及び前記の光エミッタとの間の光学連通を提供するように配置された右目ミラーセット及び左目ミラーセットを有する、
請求項８に記載の目追跡システム。
請求項８に記載の目追跡システム。
【請求項10】
前記右目ミラーセットは、前記画像ディスプレイからの第２の波長範囲の光を前記ユーザの前記右目に向け、前記右目光エミッタからの前記第１の波長範囲の光を前記ユーザの前記右目に向け、前記ユーザの前記右目からの前記第１の波長範囲の反射光を前記右目追跡装置に向けるように構成され、前記左目ミラーセットは、前記画像ディスプレイからの第２の波長範囲の光を前記ユーザの前記左目に向け、前記左目光エミッタからの前記第１の波長範囲の光を前記ユーザの前記左目に向け、前記ユーザの前記左目からの前記第１の波長範囲の反射光を前記左目追跡装置に向けるように構成される、
請求項９に記載の目追跡システム。
請求項９に記載の目追跡システム。
【請求項11】
前記光学アセンブリは、前記画像ディスプレイからの前記第２の波長範囲の前記光を反射するように且つ前記光エミッタからの前記第１の波長範囲の前記光を透過するように構成される、
請求項９に記載の目追跡システム。
請求項９に記載の目追跡システム。
【請求項12】
前記右目ミラーセットは、前記画像ディスプレイからの第２の波長範囲の反射光を前記ユーザの前記右目に反射させ、前記右目光エミッタからの前記第１の波長範囲の前記光を前記ユーザの前記右目に透過させ、前記ユーザの前記右目からの前記第１の波長範囲の反射光を前記右目追跡装置に透過させるように構成された右ビームスプリッタを含み、前記左目ミラーセットは、前記画像ディスプレイからの第２の波長範囲の反射光を前記ユーザの前記左目に反射させ、前記左目光エミッタからの前記第１の波長範囲の前記光を前記ユーザの前記左目に透過させ、前記ユーザの前記左目からの前記第１の波長範囲の反射光を前記左目追跡装置に透過させるように構成された左ビームスプリッタを含む、
請求項１１に記載の目追跡システム。
請求項１１に記載の目追跡システム。
【請求項13】
前記右目光エミッタ及び前記右目追跡装置は、前記右ビームスプリッタと前記画像ディスプレイとの間に配置され、前記左目光エミッタ及び前記左目追跡装置は、前記左ビームスプリッタと前記画像ディスプレイとの間に配置される、
請求項１２に記載の目追跡システム。
請求項１２に記載の目追跡システム。
【請求項14】
前記左目光エミッタ及び前記左目追跡装置は、前記左ビームスプリッタの横且つ前記画像ディスプレイと前記左目との間の平面に配置され、前記右目光エミッタ及び前記右目追跡装置は、前記右ビームスプリッタの横且つ前記画像ディスプレイと前記右目との間の平面に配置される、
請求項１２に記載の目追跡システム。
請求項１２に記載の目追跡システム。
【発明の詳細な説明】
【背景技術】
【0001】
外科手術は、遠隔操作医療システムを使用して低侵襲な方法で実行されることができる。低侵襲手術の利点は良く知られており、従来の、開放切開手術と比べるとき、より少ない患者の外傷、より少ない失血、より早い回復時間を含む。加えて、カリフォルニア州SunnyvaleのIntuitive Surgical, Inc.,により商業化されているDA VINCI（登録商標）手術システムのような、遠隔操作医療システムの使用が知られている。このような遠隔操作医療システムは、手動低侵襲手術と比べるとき、外科医が、直感的な制御及び増加した精度で手術することを可能にするかもしれない。
【0002】
遠隔操作医療システムは、１又は複数のロボットアームに結合される１又は複数の器具を含むかもしれない。システムが、低侵襲手術を行うために使用される場合、器具は、小さい切開部又は、例えば、口、尿道、又は肛門等、自然の開口のような、患者の１又は複数の小さい開口部を通って手術領域にアクセスするかもしれない。幾つかの場合には、開口（複数可）を通って器具を直接挿入するのではなく、カニューレ又は他のガイド要素が、それぞれの開口に挿入されることができ、器具は、手術領域にアクセスするためにカニューレを通って挿入されることができる。内視鏡のようなイメージングツールが手術領域を見るために使用されることができ、イメージングツールによって取り込まれた画像は、手術中に外科医が見るために画像ディスプレイに表示されることができる。
【発明の概要】
【発明が解決しようとする課題】
【0003】
低侵襲医療処置中に様々な用途のために視線追跡を効果的且つ正確に用いることができる遠隔操作医療システムを提供することが望ましい。本明細書に開示されるシステム及び方法は、従来技術の欠陥の１又は複数を克服する。
【課題を解決するための手段】
【0004】
例示的な態様において、本開示は、画像ディスプレイ、右目追跡装置、左目追跡装置、及び少なくとも１つのプロセッサを有する視標追跡（eye tracking）システムを対象にする。画像ディスプレイは、手術野の画像をユーザに表示するように構成される。１つの態様では、右目追跡装置は、ユーザの右目の第１の注視点（gaze point）に関するデータを測定するように構成される。１つの態様では、右目追跡装置は、右立体イメージング（right stereo imaging）装置を含む。１つの態様では、左目追跡装置は、ユーザの左目の第２の注視点に関するデータを測定するように構成される。１つの態様では、左目追跡装置は、左立体イメージング（left stereo imaging）装置を含む。１つの態様では、少なくとも１つのプロセッサは、ユーザの注視点が向けられている表示される画像における視点（viewing location）を決定するために第１の注視点及び第２の注視点に関するデータを処理するように構成される。
【0005】
他の例示的な態様では、本開示は、画像ディスプレイ、右目追跡装置、左目追跡装置、光学アセンブリ、及び少なくとも１つのプロセッサを有する視標追跡システムを対象にする。画像ディスプレイは、手術野の画像をユーザに表示するように構成され、且つ第１の波長範囲の光を放射するように構成される。１つの態様では、右目追跡装置は、第２の波長範囲の光を放射するように且つユーザの右目の第１の注視点に関するデータを測定するように、構成される。１つの態様では、左目追跡装置は、第２の波長範囲の光を放射するように且つユーザの左目の第２の注視点に関するデータを測定するように、構成される。１つの態様では、光学アセンブリは、画像ディスプレイとユーザの右目及び左目との間に配置される。１つの態様では、光学アセンブリは、第１及び第２の波長が、右目追跡装置及び左目追跡装置がユーザに見えることなしに、左目と画像ディスプレイとの間の左光学経路の少なくとも一部を共有し且つ右目と画像ディスプレイとの間の右光学経路の少なくとも一部を共有するように、第１及び第２の波長範囲の光を導くように構成される。１つの態様では、少なくとも１つのプロセッサは、ユーザの注視点が向けられている表示される画像における視点を決定するために第１の注視点及び第２の注視点に関するデータを処理するように構成される。
【0006】
他の例示的な態様では、本開示は、医療処置を実行するための遠隔操作医療システムを対象にする。１つの態様では、遠隔操作医療システムは、視標追跡システム及び制御ユニットを有する。１つの態様では、視標追跡システムは、画像ディスプレイ、少なくとも１つの右目追跡装置、少なくとも１つの左目追跡装置、及び少なくとも１つのプロセッサを有する。画像ディスプレイは、手術野の画像をユーザに表示するように構成される。１つの態様では、少なくとも１つの右目追跡装置は、ユーザの右目の第１の注視点に関するデータを測定するように構成され、少なくとも１つの左目追跡装置は、ユーザの左目の第２の注視点に関するデータを測定するように構成される。１つの態様では、少なくとも１つのプロセッサは、ユーザの注視点が向けられている表示される画像における視点を決定するために第１の注視点及び第２の注視点に関するデータを処理するように構成される。１つの態様では、制御ユニットは、決定された視点に基づいて遠隔操作医療システムの少なくとも１つの機能を制御するように構成される。
【0007】
他の例示的な態様では、本開示は、画像ディスプレイ、少なくとも１つの右目追跡装置、少なくとも１つの左目追跡装置、右目発光装置、左目発光装置、光学アセンブリ、及び少なくとも１つのプロセッサを有する視標追跡システムを対象にする。画像ディスプレイは、手術野の立体画像をユーザに表示するように構成される。１つの態様では、少なくとも１つの右目追跡装置は、ユーザの右目の第１の注視点に関するデータを測定するように構成され、少なくとも１つの左目追跡装置は、ユーザの左目の第２の注視点に関するデータを測定するように構成される。１つの態様では、右目発光装置は、ユーザの右目に第１の波長範囲の光を放射するように構成され、左目発光装置は、ユーザの左目に第１の波長範囲の光を放射するように構成される。１つの態様では、光学アセンブリは、画像ディスプレイとユーザの目との間に位置する。１つの態様では、光学アセンブリは、ユーザの目、目追跡装置、及び発光装置との間の光学連通（optical communication）を提供するように配置される右目ミラーセット及び左目ミラーセットを有する。１つの態様では、少なくとも１つのプロセッサは、ユーザの注視点が向けられている表示される画像における視点を決定するために第１の注視点及び第２の注視点に関するデータを処理するように構成される。
【0008】
これらの及び他の実施形態は、以下の図に関して、以下にさらに詳細に記載される。
【図面の簡単な説明】
【0009】
本開示の態様は、添付の図面と併せて読むとき、以下の詳細な説明から最も良く理解される。この業界での標準的な慣例に従って、様々な特徴は一定の縮尺で描かれていないことを強調しておく。実際、様々な特徴の寸法は、議論を明確にするために適宜拡大又は縮小される場合がある。また、本開示は、様々な例において参照数字及び／又は文字を繰り返して使用する場合がある。この繰返しは、簡略化と明瞭化を目的として行われており、論じられる様々な実施形態及び／又は構成の間の関係をそれ自体で規定するものではない。
【図1A】本開示の１つの実施形態による、例示の遠隔操作医療システムを示す。
【図1B】本開示の１つの実施形態による、遠隔操作医療システムの例示の構成要素を示し、特に、本開示の１つの実施形態による例示の遠隔操作アセンブリの正面図を示す。
【図1C】本開示の１つの実施形態による、遠隔操作医療システムの例示の構成要素を示し、本開示の１つの実施形態による例示のオペレータ入力システムの正面図を示す。
【図1D】本開示の１つの実施形態による、遠隔操作医療システムの例示の構成要素を示し、本開示の１つの実施形態による例示のビジョンカート構成要素の正面図を示す。
【図2A】本開示の１つの実施形態による例示の画像ディスプレイ及び手術野に対するユーザの３Ｄ座標フレームのブロック図を示す。
【図2B】本開示の１つの実施形態による、遠隔操作システム及び／又は手術器具に作用するように視標追跡ユニットを使用する例示の方法を示すフローチャートである。
【図4B】本開示の１つの実施形態による、所定のターゲットＴが較正処理中にディスプレイ上に示されるときの外科医の角膜反射及び瞳孔を追跡する視標追跡ユニットの例を示す概略図である。
【図4C】本開示の１つの実施形態による、外科医の角膜反射及び瞳孔の位置に対応する２Ｄ座標フレームの例を示す概略図である。
【発明を実施するための形態】
【0010】
本開示の原理の理解を促進する目的のために、図面で例示される実施形態をここで参照し、特定の言語を、これを説明するために使用する。それにもかかわらず、本開示の範囲の限定は意図されないことが理解されるであろう。本発明の態様の以下の詳細な説明では、開示された実施形態の完全な理解を提供するために、多数の特定の詳細について説明する。しかし、本開示の実施形態は、これら特定の詳細がなくても実施できることは当業者には明らかであろう。他の例では、周知の方法、手順、構成要素、及び回路は、本発明の実施形態の態様を不必要に曖昧にしないように詳細に説明していない。
【0011】
説明される装置、器具、方法、及び本開示の原理の任意のさらなる適用に対する任意の代替及びさらなる修正は、本開示が関連する分野の当業者が通常想起し得るように完全に企図される。具体的には、１つの実施形態について説明される特徴、構成要素、及び／又はステップは、本開示の他の実施形態について説明される特徴、構成要素、及び／又はステップと組み合わせることができることが完全に企図される。加えて、本明細書で提供される寸法は特定の例に関するものであり、異なるサイズ、寸法、及び／又は比が、本開示の概念を実現するために用いられてよいことが企図される。説明の不要な重複を避けるために、１つの例示的な実施形態にしたがって記載された１又は複数の構成要素又は動作は、他の例示的な実施形態に必要に応じて使用することができる又は他の例示的な実施形態から必要に応じて省略され得る。簡潔さのために、これらの組合せの多数の繰り返しは、別々に記載されない。単純にするために、いくつかの場合、同じ参照番号が、同じ又は同様の部分を言及するために図面全体を通して使用される。
【0012】
以下の実施形態は、様々な器具及び器具の部分を、三次元空間におけるそれらの状態の観点から、説明する。本明細書で使用されるとき、用語「位置」は、三次元空間（例えば、デカルトＸ，Ｙ，Ｚ座標に沿った並進３自由度）における対象物又は対象物の一部の場所を指す。本明細書で使用されるとき、用語「向き」は、対象物又は対象物の一部の回転配置（回転の３自由度－例えば、ロール、ピッチ、及びヨー）を指す。本明細書で使用されるとき、用語「姿勢」は、並進自由度の少なくとも１つの自由度における対象物又は対象物の一部の位置、及び回転自由度の少なくとも１つの自由度における対象物又は対象物の一部の向き（合計６つの自由度まで）を指す。本明細書で使用されるとき、用語「形状」は、細長い対象物に沿って測定された姿勢、位置、又は向きのセットを指す。
【0013】
用語「近位」及び「遠位」は、本明細書では、臨床医から手術部位に延びる器具の端部を操作する臨床医に関連して使用されることが理解されるであろう。用語「近位」は、臨床医により近い器具の部分を指し、用語「遠位」は、臨床医から離れ且つ手術部位により近い器具の部分を指す。簡潔さ及び明瞭さのために、「水平」、「垂直」、「より上」、及び「より下」のような空間に関する用語は、本明細書では図面に関して使用され得る。しかし、手術器具は、多くの方向及び位置で使用され、これらの用語は、限定すること及び絶対的であることを意図されていない。
【0014】
本開示は、概して、限定ではなく、診断、手術、及び／又は治療処置を含む、様々な医療処置で使用される遠隔操作医療システム及び／又は器具の使用中のユーザの目の特性を観察し且つ測定する（例えば、視線追跡）ための視標追跡システムに関する。特に、幾つかの実施形態では、本明細書に開示される視標追跡システムは、手術コンソールのユーザの視線の正確な位置（例えば、２Ｄ又は３Ｄ位置）を追跡する能力に依存する。幾つかの実施形態では、視標追跡システムは、システム器具を直接操作することによって及び／又はシステム全体の変化を生じさせるようにシステムの特性に影響を及ぼすことによって、遠隔操作システムを制御するために使用され得る。特に、本開示の幾つかの実施形態は、低侵襲処置中にオペレータが遠隔操作医療システムを使用する間に外科医コンソールのオペレータの視線を正確に追跡することによるシステム及び器具制御に関する。
【0015】
遠隔操作手術システムでは、外科医の目注視点が、ステレオカメラのような１又は複数の目追跡装置によって、手術中に追跡され得る。しかし、視線追跡は、非限定的な例として、ユーザの頭の位置の変化及びそれぞれの目のための別々の画像ディスプレイを含む、様々な要因に起因して不正確であるかもしれない。例えば、外科医の目の瞳孔の位置及び角膜反射が、外科医の目及び目の向きの組合せによって決定されることができる。多くの場合、外科医の頭の動き、コンソールへの外科医の頭の圧力、及び／又は手術中の目追跡装置による画像妨害（image occlusion）は、従来の技法を使用する正確且つ効果的な視線追跡を危うくし得る。従来、視線追跡技法は、視標追跡プロセスの間に使用されることになる遠隔操作手術システムの外に配置された外部装置を必要とする。例えば、外部装置は、手術中に外科医によって装着される眼鏡に取り付けられ得る。通常、外部視標追跡装置と外科医の目との間には距離及び相対運動がある。したがって、この種の外部視標追跡装置は、外科医に不便及び不快な間隔を作り得るだけでなく、外科医の操作の正確さにも影響を及ぼし得る。代替的には、従来の視線追跡装置は、接眼レンズの近くに配置され得る。この構成は、外科医が接眼レンズをのぞき込むとき、外科医の視覚（vision）に対する干渉と作るかもしれない。例えば、視線追跡装置の端部は、外科医の視覚の中に現われるかもしれず、これは、外科医の気を散らし得る又は手術野の彼又は彼女の視界を損ない得る。幾つかの実施形態では、本明細書に記載される視線追跡装置は、目追跡装置が、外科医に見えないままで表示される画像と同じ光学経路の少なくとも一部を供給することを可能にするように構成される。
【0016】
本明細書に開示される実施形態は、非限定の例として、ユーザの頭の動き、頭の圧力、カメラ若しくは追跡装置による画像妨害、及び／又はそれぞれの目に対する独立した画像ディスプレイのような、一般的なエラー誘導要因を補償することによって視標追跡装置の精度を向上させる。本明細書に記載される実施形態は、それぞれ目のための１又は複数の目追跡装置から得られた位置データ及び一定の瞳孔間距離の仮定（及び／又は他の視標追跡特性）に基づいて３Ｄ視線位置をより正確に予測するためにモデルを使用することによってこれらのエラー誘導要因を考慮する。特に、ユーザのそれぞれの目は、それ自身の、独立した目追跡装置によって測定される。当業者は、本明細書に開示される視標追跡システムが、より正確な視線によって支援される（gaze-assisted）システム及び／又は器具制御から利益を得る同様の（例えば、非遠隔操作の）用途で用いられ得ることを理解するであろう。本明細書に開示される視標追跡システム及び方法を用いることによって、ユーザは、遠隔操作医療システムとのより直感的且つより効率的な相互作用を経験し得る。
【0017】
様々な実施形態によれば、低侵襲医療処置は、器具配送（instrument delivery）及び操作を誘導するために遠隔操作システムを使用して実行され得る。図面の図１Ａを参照すると、例えば、診断、治療、又は外科処置を含む医療処置で用いる遠隔操作医療システムが、参照数字１０によって概して示されている。記載されるように、本開示の遠隔操作医療システムは、外科医の遠隔操作の制御下にある。代替実施形態では、遠隔操作医療システムは、処置又は下位処置（sub-procedure）を実行するようにプログラムされたコンピュータの部分的な制御下にあってよい。さらに他の代替実施形態では、処置又は下位処置を実行するようにプログラムされたコンピュータの完全な制御下の、完全に自動化された医療システムが、処置又は下位処置を実行するために使用されてよい。図１に示されるように、遠隔操作医療システム１０は、概して、患者Ｐが位置する手術台Ｏの近くに又は手術台Ｏに取り付けられた遠隔操作アセンブリ１２を含む。遠隔操作アセンブリ１２は、患者側マニピュレータ（ＰＳＭ）と称され得る。医療器具システム１４が、遠隔操作アセンブリ１２に動作可能に結合される。オペレータ入力システム１６は、外科医又は他の種類の臨床医Ｓが手術部位の画像又は手術部位の表示を見ること及び医療器具システム１４の動作を制御することを可能にする。オペレータ入力システム１６は、マスタコンソールまたは外科医用コンソールと称され得る。この開示に記載されたシステム及び技術を実装するために使用されることができる遠隔操作手術システムの１つの例は、カリフォルニア州SunnyvaleのIntuitive Surgical, Incによって製造されているda Vinci（登録商標）手術システムである。
【0018】
遠隔操作アセンブリ１２は、医療器具システム１４を支持し、且つ１又は複数の非サーボ制御リンク（例えば、所定の位置に手動で位置決めされ且つロックされる１又は複数のリンク、一般的にセットアップ構造と呼ばれる）及び遠隔操作マニピュレータ（例えば、図２参照）の運動学的構造を含み得る。遠隔操作アセンブリ１２は、医療器具システム１４の入力部を駆動する複数のモータを含む。これらのモータは、制御システム２２からの指令に応じて動く。モータは、医療器具システム１４に結合されるとき、自然の又は外科的に作られた解剖学的構造の開口部（anatomical orifice）の中に医療器具を前進させ得る駆動システムを含む。他のモータ駆動システムは、医療器具の遠位端部を多自由度で動かすことができ、この多自由度は、３自由度の直線運動（例えば、Ｘ，Ｙ，Ｚデカルト座標軸に沿った直線運動）及び３自由度の回転運動（例えば、Ｘ，Ｙ，Ｚデカルト座標軸回りの回転）を含み得る。さらに、モータは、器具の関節動作可能なエンドエフェクタを作動させるために使用されることができる。
【0019】
遠隔操作医療システム１０はまた、内視鏡のような、画像キャプチャ装置を含む、画像キャプチャシステム１８、並びに関連付けられる画像処理ハードウェア及びソフトウェアを含む。遠隔操作医療システム１０はまた、遠隔操作アセンブリ１２のセンサ、モータ、アクチュエータ、及び他のコンポーネント、オペレータ入力システム１６並びに画像キャプチャシステム１８に動作可能に連結される制御システム１２を含む。
【0020】
オペレータ入力システム１６は、外科医用コンソールに位置することができ、この外科医用コンソールは、通常、手術台Ｏと同じ部屋に位置する。しかし、外科医Ｓは、患者Ｐとは異なる部屋又は完全に異なる建物に位置し得ることが理解されるべきである。オペレータ入力システム１６は、一般的に、医療器具システム１４を制御するための１又は複数の制御装置を含む。より具体的には、外科医の入力指令に応じて、制御システム２２は、医療器具システム１４のサーボ機構運動を生じさせる。制御装置（複数可）は、ハンドグリップ、ジョイスティック、トラックボール、データグローブ、トリガーガン、手動操作制御装置、フット操作制御装置、音声認識装置、タッチスクリーン、身体動き又は存在センサ等のような、任意の数の様々な入力装置の１又は複数を含んでもよい。幾つかの実施形態では、制御装置（複数可）は、テレプレゼンス、手術部位にいるかのように外科医が器具を直接的に制御する強い感覚を有するよう制御装置（複数可）が器具と一体化されるような知覚を外科医に提供するために、遠隔操作アセンブリの医療器具と同じ自由度を備える。他の実施形態では、制御装置（複数可）は、関連する医療器具より多い又は少ない自由度を有し得るとともに、依然としてテレプレゼンスを外科医に提供し得る。幾つかの実施形態では、制御装置（複数可）は、６自由度で動く手動入力装置であり、この手動入力装置は、（例えば、把持ジョーを閉じる、電位を電極に印加する、薬物療法を送達する等のための）器具を作動させるための作動可能ハンドルも含み得る。
【0021】
システムオペレータは、オペレータ入力システム１６に動作可能に結合された又は組み込まれたディスプレイシステム２０上で見るために提示される、画像キャプチャシステム１８によって取り込まれた、画像を見る。ディスプレイシステム２０は、画像キャプチャシステム１８のサブシステムによって生成される、手術部位及び医療器具システム（複数可）１４の画像又は表現を表示する。ディスプレイシステム２０及びオペレータ入力システム１６は、オペレータが、テレプレゼンスの知覚を伴って医療器具システム１４及びオペレータ入力システム１６を制御できるように、向きを合わせされ得る。ディスプレイシステム２０は、オペレータのそれぞれの目に別々の画像を提示するための別個の右及び左ディスプレイのような複数のディスプレイを含むことができ、その結果、オペレータが立体画像を見ることを可能にする。
【0022】
代替的に又は追加的に、ディスプレイシステム２０は、コンピュータ断層撮影（ＣＴ）、磁気共鳴画像診断（ＭＲＩ）、Ｘ線透視法、サーモグラフィ、超音波、光コヒーレンストモグラフィー（ＯＣＴ）、サーマルイメージング、インピーダンスイメージング、レーザーイメージング、ナノチューブＸ線イメージング等のようなイメージング技術を使用して手術前又は手術中に記録された及び／又は画像化された手術部位の画像を提示し得る。提示された手術前又は手術中画像は、２次元、３次元、又は４次元（例えば、時間ベース又は速度ベースの情報を含む）画像及び画像を再構成するための関連する画像データセットを含み得る。
【0023】
制御システム２２は、遠隔操作システム１２、医療器具システム１４、オペレータ入力システム１６、画像キャプチャシステム１８、及びディスプレイシステム２０の間で制御を行うための、少なくとも１つのメモリ及び少なくとも１つのプロセッサ（図示せず）、典型的には複数のプロセッサを含む。制御システム２２はまた、本明細書に開示される態様に従う記載された方法の幾つか又は全てを実装するプログラムされた指令（例えば、指令を格納するコンピュータ可読媒体）も含む。制御システム２２は、図１の概略図に単一のブロックとして示されているが、このシステムは、処理のある部分が、オプションで、遠隔操作アセンブリ１２で又はこれに隣接して実行され、処理の他の部分が、オペレータ入力システム１６等で実行される、２以上のデータ処理回路を含んでよい。多種多様な集中型又は分散型データ処理アーキテクチャのいずれかが用いられてよい。同様に、プログラムされた指令は、多数の別々のプログラム又はサブルーチンとして実装されてよい、又はそれらは、本明細書に記載される遠隔操作システムの多数の他の態様に組み込まれてよい。１つの実施形態では、制御システム２２は、ブルートゥース（登録商標）、ＩｒＤＡ、ホームＲＦ、ＩＥＥＥ８０２．１１、ＤＥＣＴ、及び無線テレメトリのような無線通信プロトコルをサポートする。
【0024】
幾つかの実施形態では、制御システム２２は、医療器具システム１４から力フィードバック及び／又はトルクフィードバックを受ける１又は複数のサーボコントローラを含み得る。フィードバックに応じて、サーボコントローラは、オペレータ入力システム１６に信号を送信する。サーボコントローラ（複数可）はまた、患者の身体の開口部を介してこの身体内の内部手術部位内に延びる医療器具システム（複数可）１４を移動させるように遠隔操作アセンブリ１２に命令する信号を送信し得る。任意の適切な従来の又は専用のサーボコントローラが使用され得る。サーボコントローラは、遠隔操作アセンブリ１２から分離され得る、又は遠隔操作アセンブリ１２と一体にされ得る。幾つかの実施形態では、サーボコントローラ及び遠隔操作アセンブリは、患者の身体に隣接して位置決めされる遠隔操作アームカートの一部として設けられる。
【0025】
この実施形態では、遠隔操作医療システム１０はまた、オペレータ入力システム１６に動作可能に結合され得る又はオペレータ入力システム１６の中に組み込まれ得る視標追跡ユニット２４を含む。視標追跡ユニット２４は、オペレータがディスプレイ２０を見ている及び／又はオペレータ入力システム１６のオペレータ制御部を操作している間に、オペレータの目に関連する情報を検知し、測定し、記録し、伝達するための制御システム２２に動作可能に結合される。
【0026】
遠隔操作医療システム１０は、照明システム、操向（steering）制御システム、洗浄システム、及び／又は吸引システムのような動作及びサポートシステム（図示せず）をさらに含み得る。代替実施形態では、遠隔操作システムは、１より多い遠隔操作アセンブリ及び／又は１より多いオペレータ入力システムを含み得る。マニピュレータアセンブリの正確な数は、他の要因の中でもとりわけ、外科処置及び手術室内の空間的制約に依存する。オペレータ入力システムは、併置されてもよく、又はそれらは別々の位置に配置されてもよい。複数のオペレータ入力システムは、１より多いオペレータが１又は複数のマニピュレータアセンブリを種々の組合せで制御することを可能にする。
【0027】
図１Ｂは、１つの実施形態による遠隔操作アセンブリ１００（例えば、図１Ａに示される遠隔操作アセンブリ１２）の正面図である。アセンブリ１００は、床の上に置かれるベース１０２、ベース１０２に取り付けられる支持タワー１０４、及び手術器具（画像キャプチャシステム１８の部分を含む）を支持する幾つかのアーム１０６を含む。図１Ｂに示されるように、アーム１０６ａ、１０６ｂ、１０６ｃは、組織を操作するために使用される手術器具を支持し且つ動かす器具アームであり、アーム１０８は、内視鏡を支持し且つ動かすカメラアームである。図１Ｂはさらに、器具アーム１０６ａ、１０６ｂ、１０６ｃそれぞれに取り付けられた交換可能な手術器具１１０ａ、１１０ｂ、１１０ｃを示し、またカメラアーム１０８に取り付けられた内視鏡１１２を示している。内視鏡は、手術部位の立体画像を取り込み且つ別個の立体画像をディスプレイシステム２０に提供するための立体内視鏡であり得る。知識のある人は、器具及びカメラを支持するアームがまた天井若しくは壁、又はある例では、手術室の設備の他の部分（例えば、手術台）に（固定して又は移動可能に）取り付けられるベースプラットホームによって支持され得ることを認めるであろう。同様に、彼らは、２以上の別個のベースが使用され得る（例えば、１つのベースが各アームを支持する）ことを認めるであろう。
【0028】
図１Ｂにさらに示されるように、器具１１０ａ、１１０ｂ、１１０ｃ、及び内視鏡１１２は、それぞれ、器具インタフェース１５０ａ、１５０ｂ、１５０ｃ、及び１５０ｄを並びにそれぞれ、器具シャフト１５２ａ、１５２ｂ、１５２ｃ、及び１５２ｄを含む。幾つかの実施形態では、遠隔操作アセンブリ１００は、器具１１０ａ、１１０ｂ、１１０ｃ、及び内視鏡１１２をカニューレに対して固定するカニューレ用支持部を含み得る。幾つかの実施形態では、器具アーム１０６ａ、１０６ｂ、１０６ｃ、及び１０８のそれぞれの部分は、患者に対して器具１１０ａ、１１０ｂ、１１０ｃ、及び内視鏡１１２を位置決めするために手術室の人員によって調整可能であり得る。アーム１０６ａ、１０６ｂ、１０６ｃ、及び１０８の他の部分は、（図１Ｃに示されるような）オペレータ入力システム１２０のオペレータによって作動され且つ制御され得る。手術器具１１０ａ、１１０ｂ、１１０ｃ、及び内視鏡１１２はまた、オペレータ入力システム１２０のオペレータによって制御され得る。
【0029】
図１Ｃは、オペレータ入力システム１２０（例えば、図１Ａに示されたオペレータ入力システム１６）の正面図である。オペレータ入力システム１２０は、左及び右複数自由度（ＤＯＦ）制御インタフェース１２２ａ及び１２２ｂを備えるコンソール１２１を含み、この制御インタフェースは、手術器具１１０ａ、１１０ｂ、１１０ｃ、及び内視鏡１１２を制御するために使用される運動学的チェーン（kinematic chains）である。外科医は、典型的には親指及び人差し指で、制御インタフェース１２２のそれぞれの挟持体アセンブリ（pincher assembly）１２４ａ、１２４ｂを把持し、挟持体アセンブリを様々な位置及び向きに動かすことができる。ツール制御モードが選択されるとき、制御インタフェース１２２のそれぞれは、対応する手術器具及び器具アーム１０６を制御するように構成される。例えば、左制御インタフェース１２２ａが、器具アーム１０６ａ及び手術器具１１０ａを制御するように結合され得るとともに、右制御インタフェース１２２ｂが、器具アーム１０６ｂ及び手術器具１１０ｂを制御するように結合され得る。第３の器具アーム１０６ｃが外科処置の間に使用され且つ左側に位置している場合、左制御インタフェース１２２ａは、アーム１０６ａ及び手術器具１１０ａを制御することからアーム１０６ｃ及び手術器具１１０ｃを制御することに切り替えられることができる。同様に、第３の器具アーム１０６ｃが外科処置の間に使用され且つ右側に位置している場合、右制御インタフェース１２２ｂは、アーム１０６ｂ及び手術器具１１０ｂを制御することからアーム１０６ｃ及び手術器具１１０ｃを制御することに切り替えられることができる。幾つかの例では、制御インタフェース１２２ａ、１２２ｂと、アーム１０６ａ／手術器具１１０ａの組合せと、アーム１０６ｂ／手術器具１１０ｂの組合せとの間の制御の割り当ては、交換されてもよい。これは、例えば、内視鏡が１８０度回転される場合、内視鏡視野で動く器具が、外科医が動かしている制御インタフェースと同じ側にあるように見えるように、行われ得る。挟持体アセンブリは、典型的には、手術器具１１０の遠位端部のジョー式（jawed）手術エンドエフェクタ（例えば、鋏、把持開創器等）を操作するために使用される。
【0030】
追加の制御装置は、フットペダル１２８を備える。フットペダル１２８のそれぞれは、器具１１０の選択された１つの特定の機能を作動させることができる。例えば、フットペダル１２８は、ドリル又は焼灼ツールを作動させることができる又は洗浄、吸引、若しくは他の機能を動作させ得る。複数の器具が、ペダル１２８の複数のものを押すことによって作動されることができる。器具１１０の特定の機能は、他の制御装置によって作動されてもよい。
【0031】
外科医用コンソール１２０はまた、立体画像ビューワシステム１２６（例えば、図１Ａに示されるディスプレイシステム２０）を含む。立体画像ビューワシステム１２６は、外科医が外科医の左目及び右目それぞれを使用して立体画像ビューワシステム１２６の中の左及び右立体画像を見ることができるように、左接眼レンズ１２５ａ及び右接眼レンズ１２５ｂを含む。内視鏡１１２によって取り込まれる左側及び右側画像は、対応する左及び右画像ディスプレイに出力され、外科医は、ディスプレイシステム（例えば、図１Ａに示されたディスプレイシステム２０）上で三次元画像を認識する。有利な構成では、制御インタフェース１２２は、ディスプレイに示される手術ツールの画像がディスプレイの下の外科医の手の近くに位置するように見えるように、立体画像ビューワシステム１２６の下に配置される。この特徴は、外科医が、あたかも手を直接見ているかのように、様々な手術器具を三次元ディスプレイの中で直感的に制御することを可能にする。したがって、関連付けられる器具アーム及び器具のサーボ制御は、内視鏡画像基準座標系（endoscopic image reference frame）に基づく。
【0032】
内視鏡画像基準座標系はまた、制御インタフェース１２２がカメラ制御モードに切り替えられる場合に使用される。幾つかの場合には、カメラ制御モードが選択される場合、外科医は、内視鏡１１２の遠位端部を、制御インタフェース１２２の一方又は両方と一緒に動かすことによって動かし得る。外科医はその後、あたかも画像を彼又は彼女の手に持つかのように、制御インタフェース１２２を動かすことによって表示された立体画像を直感的に動かし（例えば、パンする、チルトする、ズームする）得る。
【0033】
図１Ｃにさらに示されるように、ヘッドレスト１３０が、立体画像ビューワシステム１２６の上に配置されている。外科医が、立体画像ビューワシステム１２６を通して見ているとき、外科医の額はヘッドレスト１３０に対して位置決めされる。本開示の幾つかの実施形態では、内視鏡１１２又は他の手術器具の操作は、制御インタフェース１２２の利用の代わりにヘッドレスト１３０の操作を通じて達成されることができる。幾つかの実施形態では、ヘッドレスト１３０は、圧力センサ、ロッカープレート（rocker plate）、光学的に監視されるスリッププレート、又は外科医の頭の運動を検出することができる他のセンサを含むことができる。内視鏡カメラを制御するためにヘッドレストを操作するための検知方法を使用することのさらなる詳細は、例えば、"ENDOSCOPE CONTROL SYSTEM”と題する米国出願第61/865,996号に見出すことができ、これは本明細書に参照により援用される。
【0034】
図１Ｄは、手術システムのビジョンカート構成要素１４０の正面図である。例えば、１つの実施形態では、ビジョンカート構成要素１４０は、図１Ａに示された医療システム１０の一部である。ビジョンカート１４０は、手術システムの中央電子データ処理ユニット１４２（例えば、図１Ａに示される制御システム２２の全て又は一部）及びビジョン装置１４４（例えば、図１Ａに示される画像キャプチャシステム１８の一部）を収容することができる。中央電子データ処理ユニット１４２は、手術システムを動作させるために使用されるデータ処理の多くを含む。しかし、様々な実装では、中央電子データ処理は、外科医コンソール１２０及び遠隔操作アセンブリ１００に分散され得る。ビジョン装置１４４は、内視鏡１１２の左及び右画像取込機能のためのカメラ制御ユニットを含み得る。ビジョン装置１４４はまた、手術部位を撮像するために照明を提供する照明装置（例えば、キセノンランプ）を含み得る。図１Ｄに示されるように、ビジョンカート１４０は、オプションのタッチスクリーンモニタ１４６（例えば、２４インチモニタ）を含み、これは、アセンブリ１００上又は患者側カート上のような、その他の所に取り付けられてもよい。ビジョンカート１４０はさらに、電気手術ユニット、注入器（insufflators）、吸引洗浄器具（suction irrigation instruments）、又はサードパーティーの焼灼装置のようなオプションの補助手術装置のためのスペース１４８を含む。遠隔操作アセンブリ１００及び外科医用コンソール１２０は、３つの構成要素が一緒に、外科医に直感的なテレプレゼンスを提供する単一の遠隔操作低侵襲手術システムとして機能を果たすように、例えば、光ファイバ通信リンクを介してビジョンカート１４０に結合される。
【0035】
幾つかの実施形態では、遠隔操作手術システムのアセンブリ１００の幾つか又は全てが、仮想の（シミュレートされた）環境の中で実装されることができ、外科医用コンソール１２０で外科医によって見られる画像の幾つか又は全ては、器具及び／又は解剖学的構造の人工的な画像であることができることに留意されたい。幾つかの実施形態では、このような人工的な画像は、ビジョンカート構成要素１４０によって提供されることができる及び／又は外科医用コンソール１２０で（例えば、シミュレーションモジュールによって）直接的に生成されることができる。
【0036】
図１Ａ－１Ｄを参照して記載された遠隔操作手術システムでの典型的な低侵襲手術の間、少なくとも２つの切開部が、患者の体に（通常、関連付けられるカニューレを配置するためにトロカールを使用して）作られる。１つの切開部は、内視鏡カメラ器具のためであり、他のものは、手術器具のためである。幾つかの手術処置では、幾つかの器具及び／又はカメラポートが、手術部位のアクセス及びイメージングを提供するために使用される。切開部は、従来の観血手術のために使用される大きい切開部と比較して比較的小さいが、最小の数の切開部が、患者の外傷をさらに減らすために及び改良された整容性（cosmesis）のために望まれている。他の実施形態では、遠隔操作医療システム１０は、患者の解剖学的構造への単一の切開部アクセスを伴って又は、鼻、口、肛門、膣等のような自然開口を通るアクセスを伴って使用され得る。
【0037】
典型的な遠隔操作手術の間、外科医は、手術システム、イメージング装置、及び／又はシステムに関連付けられる他の手術器具を制御するために様々な制御装置を物理的に操作することがしばしば必要である。例えば、外科医は、装置を誘導し且つ装置に影響を及ぼすために制御部を物理的に操作することによってイメージング装置の視野を調整する必要があるかもしれない。外科医は、ジョイスティック又はマウスを手動で制御するために彼若しくは彼女の手を、或いは、手術システムにログインするために、内視鏡の視野内のターゲット手術部位を探すために、クランプのような手術器具の運動を操作するために、及び／又はシステム設定若しくはディスプレイ設定を調整するために、外科医コンソールのフットペダルを軽くたたく（tap）するために彼若しくは彼女の足を、使用し得る。従来の方法は、外科医が手術動作から一方の手を自由にすることを、又はフットペダルを軽く叩くために一方の足を使用することを必要とし、これらの両方は、手術動作を不必要に遅延又は中断させるかもしれない。例えば、手又は足の動作は、外科医の視線及び注意をターゲットの手術部位から外科医用コンソールに向け直すかもしれず、これは、操作を遅延又は中断させ得る。必要な手動調整を実行した後、外科医は、彼又は彼女の注意及び注視点をターゲットの手術部位に再び集中する追加の時間を使う必要があるかもしれない。
【0038】
本明細書に開示される実施形態は、１又は複数のユーザ（例えば、外科医及び／又は訓練者）が手術システムとインタフェースで接続する方法を向上させるために視線検出を利用する。ユーザの視線（例えば、ディスプレイシステム又は他の手術システム構成要素に対するユーザの視線の位置）を手術システムに向けられる指令に変換することによって、本明細書に開示される実施形態は、従来の制御方法によって提供されるより、遠隔医療システム１０に対してより速い且つより効率的な制御を可能にし得る。視標追跡、又は視線追跡は、注視点（point-of-gaze）（ＰＯＧ）（すなわち、典型的には３Ｄ空間内で、ユーザが見ている所）、又は頭に対する目の運動のいずれかを測定するプロセスである。言い換えると、ＰＯＧは、人の視線が向けられている空間内のポイントであり、それぞれの目の網膜（すなわち、網膜中心窩（fovea）の最高の明瞭な領域（highest acuity region）の中心に画像化される空間内のポイントとしても規定されている。
【0039】
図２Ａは、画像ディスプレイ１５１（例えば、図１Ａに示された画像ディスプレイシステム２０）及び手術野１５５に対するユーザＵ（例えば、外科医又は試験監督）のブロック図を示す。ユーザ（及び彼又は彼女の目）は、第１の３Ｄ座標フレーム１６０に存在し、画像ディスプレイ１５１は、第２の３Ｄ座標フレーム１６５を含み、手術野は、第３の３Ｄ座標フレーム１７０に存在する。それぞれの座標フレーム１６０、１６５、１７９は、他のものと異なる寸法及び特性を含む。ユーザが、第２のフレーム１６５における画像ディスプレイ１５１に対して第１のフレーム１６０における彼又は彼女の視線を動かすとき、本明細書に開示される実施形態は、ディスプレイの第２のフレーム１６５及び／又は手術野の第３のフレーム１７０において遠隔医療システム１０及び／又は手術器具に対応して影響を及ぼすように、目の運動を制御信号に変換することができる。
【0040】
１つの態様では、視線追跡及び他の目の特性の観察は、全体として、遠隔操作医療システム１０と通信するために及び／又は遠隔操作医療システム１０の挙動に影響を及ぼすために使用されることができる。例えば、図１Ａに示される視標追跡ユニット２４によって観察される目の特性及び動態（dynamics）は、（例えば、網膜スキャンと同様の方法の）外科医の認識及びログインのために使用され得る。幾つかの例では、ユーザの視線は、空間（例えば、第３の座標フレーム１７０）における手術器具の３Ｄ位置をより良く較正するために及び遠隔ロボットアーム運動学的チェーンの可能性のある不正確さを考慮するために使用されることができる。幾つかの実施形態では、ユーザインタフェース（例えば、メニュー）が、画像ディスプレイ上に示された手術野の画像の上に重ねられ得る。幾つかの例では、第１の座標フレーム１６０におけるユーザの視線は、第２の座標フレーム１６５における画像ディスプレイ１５１上の視点を決定するために使用され得るとともに、決定された視点に対応するユーザインタフェースのユーザ選択可能なオプションの中のユーザの選択を特定することができる。幾つかの例では、ユーザの視線の３Ｄ位置は、ユーザが、２つの目の間の観察される動態に基づいて立体を見ているか否かを測るために使用され得る。
【0041】
他の態様では、リアルタイム視線追跡が、非限定例として、イメージング装置及び／又はエネルギ供給装置のような、遠隔操作医療システム１０に結合される別個の手術器具を、作動させる、作動停止させる、及びその他の方法で制御するために使用されることができる。例えば、システム１０は、制御システム（例えば、プロセッサ）が、視点が、手術器具の位置と所定時間一致することが決定される場合に手術器具を作動させるように構成され得る。
【0042】
図２Ｂは、遠隔操作医療システム１００及び／又は任意の関連付けられる医療器具を制御するように且つ遠隔操作医療システム１００及び／又は任意の関連付けられる医療器具に影響を及ぼすように、視標追跡ユニットを使用する例示の方法を記載するフローチャート１８０を示す。本明細書に記載される方法プロセスのいずれかは、少なくとも部分的に、１又は複数のプロセッサによって実行され得る、非一時的、有形、機械可読媒体に格納される実行可能なコードの形態で、実装され得る。プロセス１８２において、ユーザＵは、図２Ａに示される第１の座標フレーム１６０において、第２の座標フレーム１６５にある画像ディスプレイ１５１の特定の３Ｄ位置を凝視する。プロセス１８４において、視標追跡ユニット（例えば、図１Ａに示される視標追跡ユニット２４）の左及び右目追跡装置は、ユーザＵの目の特性（例えば、視線を反映する特性）を観察し且つ測定する。幾つかの実施形態では、目追跡装置は、画像ディスプレイ１５１の第２の座標フレーム１６５に対するユーザのそれぞれの目の視線を測定する。プロセス１８６において、制御システム（例えば、図１Ａに示される制御システム２２）は、ユーザの目が向けられている（第２の座標フレーム１６５内の）画像ディスプレイ１５１上の３Ｄ位置を決定するために目追跡装置からの測定された視線データを使用する。幾つかの実施形態では、制御システムは、目から出る反射から目追跡装置によって受光される光の入射角を追跡することによって見られる位置を決定し得る。幾つかの実施形態では、プロセッサ２０６は、ユーザが画像ディスプレイ１５１の既知の場所に表示されるターゲットの印（target indicia）を見るときのベースライン入射角を決定するために較正プロセス（例えば、図４Ａに記載される較正プロセス３０２）を最初に実行し得るとともに、検出された角度と画像ディスプレイ１５１上の見られる場所との間の機能的関係（functional relationship）を生成し得る。制御システムは次に、ユーザが画像ディスプレイ１５１上の他の場所をみるときの入射角を追跡することができ、対応する見られる場所を決定する（較正された角度及び場所から外挿する）ために生成された機能的関係を使用することができる。
【0043】
プロセス１８８において、制御システムは、画像ディスプレイ１５１上の表示された印（例えば、メニューオプション）の１つが、その印の選択のための規定された条件を満たす方法でユーザによって見られているかどうかを決定する。そうである場合、プロセス１９０において、ユーザの印の選択は、制御システムに、表示された印に対応する機能を起動させる。例えば、幾つかの実施形態では、ユーザの視線は、遠隔操作医療システム１００へのログオン、又は画像ディスプレイ１５１の照明、又は様々な他のシステム設定と関連付けられる印の選択を示し得る。
【0044】
そうでない場合、プロセス１９２において、制御システムは、第２の座標フレーム１６５における見られる３Ｄ位置を、第３の座標フレーム１７０における手術野１５５の対応する３Ｄ位置に位置合わせする（co-register）。プロセス１９４において、制御システムは、ユーザが、イメージング装置又は他の手術器具を操作するための規定された条件を満たす方法で手術野を見ているかどうかを決定する。そうである場合、プロセス１９６において、手術野の特定の領域又は手術野の中の特定の手術器具へのユーザの視線は、制御システムに、ユーザの視線の特性に対応する様式で関連する器具に影響を及ぼさせる。例えば、幾つかの実施形態では、上述のように、ユーザが手術野１５５の特定の領域を凝視する場合、イメージング装置は、ユーザに視線に「追従し」得るとともに、（例えば、その視野の中心をユーザの注視点に配置するように）その視野を再度中心に移し得る。他の実施形態では、ユーザが所定の時間特定の手術器具を凝視する場合、手術器具が起動され得る。そうでない場合、プロセス１９８において、目追跡装置は、起こり得る指令のためにユーザの視線を評価し続ける。
【0045】
目の運動及び視線方向を測定するための多くの方法がある。本明細書に記載される１つの方法は、赤外（ＩＲ）光エミッタが、ＩＲ光をユーザの目に向けて放射する。ＩＲ光は、ユーザの網膜から反射して（瞳孔を通って）ＩＲユニット（例えば、ＩＲカメラ又は他のイメージング装置）に戻り、反射ＩＲ光の量は、エミッタに対する比との視線の方向に基づく。幾つかの実施形態では、３Ｄ空間におけるユーザの注視点は、いったん反射ＩＲ光がある期間の間に特定の閾値に達すると決定され得る。視線の小さいそれは、まばたきと解釈されることができ、典型的には無視される。他の目追跡方法は、そこから目の位置が抽出されるビデオ画像を使用する、サーチコイルを使用する、又は電気眼球運動図に基づく。
【0046】
図３Ａは、ユーザの注視点（例えば、「ユーザが見ているところ」）又は頭に対する目の運動を決定するために、目の位置及び目の運動のような、ユーザの目の特性を測定するための視標追跡システム２００を概略的に示す。視標追跡システム２００は、画像ディスプレイ２０８、少なくとも１つの光エミッタ２１０、視標追跡ユニット２１２、及び光学アセンブリ２１３を有する。１又は複数の視標追跡システム２００は、外科医用コンソール１２０に組み込まれることができる。光学アセンブリ２１３は、目２０２と光エミッタ２１０、視標追跡検出器２１２、及び画像ディスプレイ２０８との間の光伝送経路の中に位置する。光学アセンブリ２１３は、視標追跡光（例えば、ＩＲ光）を光エミッタ２１０から目２０２に、可視光を画像ディスプレイ２０８から目２０２に、及び反射視標追跡光（例えば、ＩＲ光）を目２０２から視標追跡検出器２１２に向ける。この実施形態では、放射視標追跡光、反射視標追跡光、及び可視光は、目２０２と光学アセンブリ２１３との間の光学経路を共有する。図３Ｂ、３Ｃ、及び３Ｄにより詳細に記載されるように、目追跡ユニットは、２以上のカメラ若しくは他のイメージング装置を用いる又は単一の立体キャプチャイメージング装置を用いる立体イメージング装置であり得る。各視標追跡システム２００は、外科医の左目又は右目のいずれかを独立して追跡するために使用されることができる。例えば、光学アセンブリ２１３が、外科医の左目（例えば、図３Ｂに示される目２０２ａ）に光を向けるために使用される場合、視標追跡システム２００は、左の視線を示す特性を検出するように構成される。光学アセンブリ２１３が、外科医の右目（例えば、図３Ｂに示される目２０２ｂ）に光を向けるために使用される場合、視標追跡システム２００は、右の視線を示す特性を検出するように構成される。図３Ｂにより詳細に記載されるように、視標追跡システム２００は、視標追跡検出器２１２によって追跡される目２０２の目特性データ（例えば、瞳孔位置データ又は角膜反射データ）を処理するための１又は複数のプロセッサと結合されることができる。
【0047】
図３Ａに示されるように、画像ディスプレイ２０８から放射される可視光２１１ａは、外科医の目２０２に向かって光学アセンブリ２１３によって向けられる。光エミッタ２１０によって放射される視標追跡光（例えば、ＩＲ光）２１１ｂは、外科医の目に向かって光学アセンブリ２１３によって向けられるとともに、外科医の目２０２によって反射されて光学アセンブリ２１３に向かって戻る。光学アセンブリ２１３は、視標追跡ユニット２１２に向かって外科医の目２０２からの反射視標追跡光を向ける。
【0048】
幾つかの実施形態では、光学アセンブリ２１３は、可視光及び視標追跡光の両方を反射するように配置される１又は複数のミラーを含む。代替実施形態では、光学アセンブリ２１３は、ある光ビームを反射する一方他のものを透過させるビームスプリッタ又は他の光学フィルタリング要素を含み得る。例えば、図３Ｃに記載されるように、光学アセンブリは、ＩＲ光のような特定の波長範囲の光を選択的に通過させる一方、可視光のような、特定の波長範囲の外側の光を反射するように構成される、ダイクロイック要素（dichroic element）（例えば、フィルタ又はミラー）を含むことができる。光学アセンブリ２１３はまた、非限定例として、ダイクロイックミラー（例えば、部分的に反射し且つ部分的に透過する部分反射ミラー）、ダイクロイック光学コーティングを有するリフレクタ、ダイクロイックミラー式プリズム、複屈折材料、及び／又は偏光ビームスプリッタのような、ミラー及び／又は他の光学装置の任意の他の適切な数又は配置を含み得る。光学アセンブリ２１３は、光学アセンブリ２１３のミラー及び／又はフィルタが、視標追跡ユニット２１２からの光が少なくとも部分的に、画像ディスプレイ２０８からの可視光と同じ光学経路を共有するにもかかわらず、外科医の視界から視標追跡ユニット２１２を効果的に「隠し」得るので、視標追跡システム２００内の構成要素がより多くの種類の可能な配置を有することを可能にする。
【0049】
図３Ｂは、本開示の１つの実施形態による視標追跡システム２２０を示す図である。視標追跡システム２２０は、図１Ａ、１Ｂ、及び１Ｃの遠隔操作医療システム１０によって使用され得る。例えば、視標追跡システム２２０は、本開示の幾つかの実施形態による外科医用コンソール１２０における立体ビューワ１２６の中に部分的に又は完全に含まれることができる。視標追跡システム２２０は、左及び右接眼レンズ１２５ａ及び１２５ｂ、左及び右目ミラーセット２０４ａ及び２０４ｂを有する光学アセンブリ２３５、左及び右目画像ディスプレイ２０８ａ及び２０８ｂ、左及び右目光エミッタ２１０ａ及び２１０ｂ、並びに左及び右視標追跡ユニット２１２ａ及び２１２ｂを含む。描かれた実施形態では、視標追跡システム２２０は、左目プロセッサ２１４ａ、右目プロセッサ２１４ｂ、及びインテグレータ（integrator）２１６を含む。
【0050】
システム２２０の左及び右接眼レンズ１２５ａ、１２５ｂは、外科医用コンソール１２０（図１Ｃ参照）の構成要素であり得る。左及び右接眼レンズ１２５ａ、１２５ｂはレンズを含み、外科医は、右及び左画像ディスプレイ２０８ａ、２０８ｂを、左及び右接眼レンズ１２５ａ、１２５ｂを通じて、外科医の左及び右目それぞれで見ることができる。レンズは、検出器（例えば、目２０２ａ、２０２ｂ等）に向かう光源（例えば、光エミッタ２１０ａ、２０１ｂ及び／又は画像ディスプレイ２０８ａ、２０８ｂ）からの（例えば、放射された又は反射された）光の焦点を合わせ得る。レンズは、ターゲットからの光を集めるとともに実像を作るように光ビームの焦点を合わせる、対物レンズを含み得る。幾つかの実施形態では、左及び右接眼レンズ１２５ａ、１２５ｂの間の距離は、異なるユーザの異なる瞳孔間距離に適応するように調整可能である。幾つかの実施形態では、左及び右接眼レンズ１２５ａ、１２５ｂは、外科医の左及び右目視力それぞれの必要に基づいて独立して調整され得る。幾つかの実施形態では、左及び右接眼レンズ１２５ａ、１２５ｂは、光エミッタ並びに／又は左及び右目画像ディスプレイ２０８ａ、２０８ｂからの光の反射を最小にし且つ透過を最大にするように構成される、適切な光学コーティングを含み得る。
【0051】
左目及び右目光エミッタ２１０ａ、２１０ｂは、外科医の左目及び右目それぞれを照射するように光２１１ｂを放射し、反射光は、左目及び右目それぞれの注視点を追跡するために、左及び右視標追跡ユニット２１２ａ、２１２ｂそれぞれによって取り込まれることができる。幾つかの実施形態では、左及び右目光エミッタ２１０ａ及び２１０ｂは、赤外線発光ダイオード（ＩＲ ＬＥＤｓ）のような、赤外（ＩＲ）光エミッタであり得る。幾つかの実施形態では、各目のために１より多い光エミッタが有り得る（例えば、各目のために２つの光エミッタ）。各目のための複数の光エミッタは、各光エミッタから放射される光が、１つの目の中で別々の反射として現れるように、所定距離だけ離間され得る。幾つかの実施形態では、１又は複数の左目光エミッタ２１０ａは、左視標追跡ユニット２１２ａと一体化され得るとともに、１又は複数の右目光エミッタ２１０ｂは、右視標追跡ユニット２１２ｂと一体化され得る。様々な実施形態が、各目のために任意の数の追跡ユニットを含み得る。幾つかの実施形態は、左目及び右目のために等しくない数の追跡ユニットを含み得る。
【0052】
左視標追跡ユニット２１２ａは、外科医の左目の注視点を追跡するために使用されることができ、右視標追跡ユニット２１２ｂは、外科医の右目の注視点を追跡するために使用されることができる。図３Ｂに示されるように、視標追跡ユニット２１２ａ、２１２ｂのそれぞれは、立体視標追跡のための２つの視標追跡カメラを含む３次元イメージングシステムである。各視標追跡ユニットは、外科医のそれぞれの目に関する瞳孔位置及び角膜反射を追跡するために使用され得る。例えば、描かれた実施形態では、２つの左視標追跡カメラ２１２ａ１、２１２ａ２が、外科医の左目の瞳孔の位置及び角膜反射を追跡するために使用される。同様に、描かれた実施形態では、２つの右視標追跡カメラ２１２ｂ１、２１２ｂ２が、外科医の右目の瞳孔の位置及び角膜反射を追跡するために使用される。各目のための複数の視標追跡ユニットは、それぞれの瞳孔の位置及び角膜反射の立体画像が１より多い視標追跡ユニットによって独立して追跡され得るとともに、各瞳孔の位置及び角膜反射の３Ｄ位置が、各目のための独立した視標追跡からの収集されたデータに基づいて計算され得るように、所定距離だけ互いに離間されるように配置される。代替実施形態では、視標追跡ユニットのそれぞれは、例えば、ステレオカメラを含む単一のイメージング装置を含み得る、又は２以上のイメージング装置を含み得る。
【0053】
幾つかの実施形態では、視標追跡ユニット２１２ａ及び２１２ｂは、電荷結合素子（Ｃ
ＣＤ）カメラである。幾つかの実施形態では、視標追跡ユニット２１２ａ及び２１２ｂは、ＩＲ光に敏感であるＩＲカメラであり、ＩＲ光エミッタから放射された赤外光を取り込むことができる。幾つかの実施形態では、視標追跡ユニット２１２ａ及び２１２ｂは、目（例えば、瞳孔）のより高い倍率を有する画像を提供するために、高ズームレンズを含み得る。
ＣＤ）カメラである。幾つかの実施形態では、視標追跡ユニット２１２ａ及び２１２ｂは、ＩＲ光に敏感であるＩＲカメラであり、ＩＲ光エミッタから放射された赤外光を取り込むことができる。幾つかの実施形態では、視標追跡ユニット２１２ａ及び２１２ｂは、目（例えば、瞳孔）のより高い倍率を有する画像を提供するために、高ズームレンズを含み得る。
【0054】
幾つかの実施形態では、視標追跡ユニット２１２ａ、２１２ｂ及び光エミッタ２１０ａ、２１０ｂは、左目及び右目画像ディスプレイ２０８ａ、２０８ｂそれぞれのベースに配置される。幾つかの実施形態では、視標追跡ユニット２１２ａ、２１２ｂは、図１Ｃに示される立体画像ビューワ１２６に配置され得る。光エミッタ２１０ａ及び２１０ｂは、視標追跡ユニット２１２ａ及び２１２ｂそれぞれと一体にされ得る。典型的には、ユーザは、左目及び右目画像ディスプレイ１２５ａ、１２５ｂそれぞれに真っ直ぐに向くように彼又は彼女の左目及び右目を配置する。したがって、この配置により、各視標追跡ユニット２１２ａ、２１２ｂは、追跡されることになる目に真っ直ぐに向くように配置される。特に、左及び右視標追跡ユニット２１２ａ、２１２ｂは、左目及び右目それぞれに真っ直ぐに向くように配置される。本明細書に開示される構成は、この構成が、眼鏡のような、外部追跡装置の必要を排除するので、視標追跡プロセスの使い勝手及び精度を向上させ得る。加えて、上述のように、従来の視線追跡装置は、接眼レンズの近くに配置され、したがって、外科医が接眼レンズをのぞき込むとき、干渉を作るかもしれない。例えば、視線追跡装置の縁が、外科医の視覚の中に現れ、潜在的に、外科医の気を散らすかもしれない又は手術野の彼の視界を部分的に遮るかもしれない。したがって、現在の構成は、外科医の視覚の中の不必要な干渉画像を排除することによって視標追跡技術を使用するときに外科医の経験を向上させ得る。
【0055】
描かれた実施形態では、図２Ａを参照すると、プロセッサ２１４ａ、２１４ｂは、左及び右視標追跡ユニット２１２ａ、２１２ｂにそれぞれ結合されるとともに、画像ディスプレイ１５１（例えば、ディスプレイ２０８ａ、２０８ｂ）の第２の座標フレームに対する外科医の注視点の３Ｄ位置を計算するように且つその３Ｄ位置を、（図２Ａに示された）手術野１５５の第３の座標系１７０の対応する３Ｄ位置に変換するように構成される。例えば、左及び右視標追跡ユニット２１２ａ、２１２ｂによって取り込まれた注視点は、修正されることができ、外科医の左及び右目の注視点間の相違（disparity）が決定されることができる。外科医の注視点の３Ｄ位置は、次に、左及び右目視標追跡ユニット２１２ａ、２１２ｂ間の距離、左及び右目視標追跡ユニット２１２ａ、２１２ｂのそれぞれの焦点距離に関連するパラメータ、及び決定された相違を使用して計算されることができる。
【0056】
手術野の３Ｄ立体画像が、視標追跡システム２２０を介して外科医によって知覚され得る。幾つかの実施形態では、遠隔操作アセンブリ１００に配置される内視鏡１１２は、手術中に手術野１５５の画像を取り込むように操作されることができ（図２Ａ参照）、これらの画像は、左及び右画像ディスプレイ２０８ａ、２０８ｂに示されることができる。幾つかの実施形態では、画像ディスプレイ２０８ａ、２０８ｂは、図２Ａに示された画像ディスプレイ１５１と同じである。幾つかの実施形態では、内視鏡１１２は、ステレオカメラを有する。内視鏡１１２によって取り込まれる画像は、その後、左及び右立体画像をそれぞれ生成するために、プロセッサ２１４ａ、２１４ｂによって処理され得る。生成された左及び右立体画像は、左及び右画像ディスプレイ２０８ａ、２０８ｂそれぞれに示され得る。特に、左目画像ディスプレイ２０８ａは、内視鏡１１２に通信可能に結合され、手術中に手術部位の左目立体画像を表示するように構成される。同様に、右目画像ディスプレイ２０８ｂは、内視鏡カメラ１１２に結合されるとともに手術部位の右目立体画像を表示するように構成される。左目及び右目立体画像は、ステレオカメラ１１２によって取り込まれ、左及び右目画像それぞれのために処理される。左目及び右目画像ディスプレイ２０８ａ、２０８ｂは、２Ｄ又は３Ｄディスプレイスクリーンであり得る。幾つかの実施形態では、左目及び右目画像ディスプレイ２０８ａ、２０８ｂは、液晶ディスプレイ（ＬＣＤ）スクリーンである。幾つかの実施形態では、画像ディスプレイ２０８ａ、２０８ｂは、複数のディスプレイスクリーン又は装置（例えば、外部スクリーン又はモバイルデバイス）に同時に提示され得る。
【0057】
上述のように、視標追跡システム２２０は、左目プロセッサ２１４ａ、右目プロセッサ２１４ｂ、及びインテグレータ２１６を含む。プロセッサ２１４ａ、２１４ｂ及びインテグレータ２１６は、ユーザの注視点が向けられている画像ディスプレイ２０８ａ、２０８ｂ上の視点を決定するために視標追跡ユニット２１２ａ、２１２ｂから受信された注視点データを処理するように、及び決定された視点に基づいて遠隔操作医療システム１０の少なくとも１つの機能を制御するように、構成される。特に、プロセッサ２１４ａ、２１４ｂは、左及び右視標追跡ユニット２１２ａ、２１２ｂによって受信された瞳孔位置及び角膜反射ポイントデータを処理し得る。幾つかの実施形態では、各視標追跡ユニットによって受信される瞳孔位置及び角膜反射ポイントデータは、瞳孔の位置及び角膜反射の３Ｄ位置を決定するために、プロセッサ２１４ａ、２１４ｂによって処理され得る。インテグレータ２１６は、手術中の外科医の３Ｄ視線ポイント又は位置を形成するように、各目から受信される瞳孔位置及び角膜反射データを統合するために使用され得る。
【0058】
幾つかの実施形態では、左目及び右目プロセッサ（並びに／又はインテグレータ）の機能は、単一のプロセッサによって実行され得る。幾つかの実施形態では、インテグレータ２１６は、ユーザの視線位置を決定し且つ処理するために両方のプロセッサ２１４ａ、２１４ｂによって受信される情報を統合する。幾つかの実施形態では、プロセッサ２１４ａ、２１４ｂ及び／又はインテグレータ２１６は、遠隔操作医療システム１０内のどこかに（例えば、中央電子データ処理ユニット１４２の一部としてのビジョンカートの中に、遠隔操作アセンブリ１００に、及び／又は外科医用コンソール１２０の中に）配置され得る。幾つかの実施形態では、プロセッサ２１４ａ、２１４ｂ及び／又はインテグレータ２１６はまた、注視点測定、位置合わせ、及び較正データを格納するためにメモリに結合されることができる。幾つかの実施形態では、プロセッサ２１４ａ、２１４ｂ及び／又はインテグレータ２１６は、外科医の注視点の２Ｄ位置を計算するために使用され得る。以下により詳細に記載されるように、幾つかの実施形態では、外科医の頭の運動は、瞳孔の位置及び角膜反射の３Ｄ位置を決定するときに補償され得る。
【0059】
幾つかの実施形態では、外科医の注視点の計算された２Ｄ又は３Ｄ位置は、外科医の注視点の変化を示す点（dots）、フラグ（flags）、又はベクター（vectors）のような、様々な適切な表現のいずれかで表示されることができる。外科医の注視点は、左及び右画像ディスプレイ２０８ａ、２０８ｂ上に手術野１５５の画像と組み合わせて表示されることができる。幾つかの実施形態では、視標追跡システム２２０は、シミュレーションモジュール、例えば、da Vinci（登録商標）Skills Simulator（商標）と統合された外科医用コンソール１２０で使用されてもよく、そこでは仮想画像が、左及び右画像ディスプレイ２０８ａ及び２０８ｂに示されることができる。
【0060】
光学アセンブリ２３５は、光エミッタ２１０からのＩＲ光を目２０２に、画像ディスプレイ２０８からの可視光を目２９２に、及び目２０２からの反射ＩＲ光（光エミッタ２１０から放射された）を視標追跡ユニット２１２に向けるように、目２０２、光エミッタ２１０、視標追跡ユニット２１２、及び画像ディスプレイ２０８に対して配置される。特に、光学アセンブリ２３５の左及び右目ミラーセット２０４ａ、２０４ｂのそれぞれは、左及び右光エミッタ２１０ａ、２１０ｂからのＩＲ光をそれぞれ、外科医の左及び右目それぞれに反射するように、並びに左及び右目からのＩＲ光を左及び右視標追跡ユニット２１２ａ、２１２ｂそれぞれに反射するように、配置された複数のミラーを有する。
【0061】
左目ミラーセット２０４ａは、外科医の左目、左視標追跡ユニット２１２ａ、及び左目光エミッタ２１０ａとの間の光学連通を提供するように配置されるミラーのセットを含む。例えば、ミラー２０４ａは、図３Ｂに示されるように、左目画像ディスプレイ２０８ａに示された立体画像の左目部分が、外科医によって見られるように、可視光２１１ａを介して、外科医の左目に向けられることができる。左目ミラーセット２０４ａはまた、左目光エミッタ２１０ａから放射されたＩＲ光２１１ｂが、外科医の左目に向けられることを可能にし得る。外科医の左目からの反射ＩＲ光２１１ｂは、左目ミラーセット２０４ａによって左視標追跡ユニット２１２ａに向けられ、それによって、左視標追跡ユニット２１２ａが、外科医の左目の注視点の３Ｄ位置を決定するために反射ＩＲ光を追跡することを可能にし得る。
【0062】
同様に、右目ミラーセット２０４ｂは、外科医の右目、右視標追跡ユニット２１２ｂ、及び右目光エミッタ２１０ｂとの間の光学連通を提供するように配置されるミラーのセットを含む。例えば、ミラー２０４ｂは、図３Ｂに示されるように、右目画像ディスプレイ２０８ｂに示された立体画像の右目部分が、外科医によって見られるように、可視光２１１ａと共に、外科医の右目に向けられることができる。右目ミラーセット２０４ｂはまた、右目光エミッタ２１０ｂから放射されたＩＲ光２１１ｂが、外科医の右目に向けられることを可能にし得る。外科医の右目からの反射ＩＲ光２１１ｂは、右目ミラーセット２０４ｂによって右視標追跡ユニット２１２ｂに向けられ、それによって、右視標追跡ユニット２１２ｂが、外科医の左目の注視点の３Ｄ位置を決定するために反射ＩＲ光を追跡することを可能にし得る。図３Ｂでは、放射及び反射ＩＲ光１２２ｂの経路は、ディスプレイ２０８ａと目２０２ａとの間及びディスプレイ２０８ｂと目２０２ｂとの間で可視光２１１ａと光学経路を共有している。
【0063】
上述のように、幾つかの実施形態では、左及び右視標追跡ユニット２１２ａ、２１２ｂはまた、（例えば、図２Ａに示された第１の座標フレーム１６０における）外科医の頭の３Ｄ運動を追跡するために使用され得る。幾つかの実施形態では、追跡ユニット２１２ａ、２１２ｂは、外科医の頭（例えば、顔を含む）の固定基準点を監視することによって外科医の頭の３Ｄ運動を追跡する。基準点は、外科医の注視点と連続的に同期する運動を有さないので、基準点は、外科医の頭の位置及び向きを推定するために使用され得る。基準点は、外科医の頭の様々な解剖学的な目印又は特徴部のいずれかを含み得る。例えば、基準点は、まぶたの湾曲、目の端、虹彩、及び／又は眉毛のような頭の特徴部を含み得る。幾つかの例では、基準点として使用され得る頭の特徴部は、セグメント化され且つ追跡され得る。例えば、１つの実施形態では、目の端が、目の２つのスプラインの交点によって検出され且つ位置特定され得る。２つの立体ユニット（例えば、左及び右視標追跡ユニット２１２ａ、２１２ｂ）が使用されるとき、頭の特徴部は３Ｄ空間内で追跡され得る。外科医の左目と右目との間の瞳孔間距離は、一定であると推定され、その計算において定数因子としてプロセッサによって使用される。外科医が、彼又は彼女の注視点を移動させることなしに彼又は彼女の頭又は顔を動かすとき、外科医の瞳孔は、視標追跡ユニット２１２ａ、２１２ｂに対して静止したままである。したがって、頭の基準点が動く一方外科医の瞳孔は視標追跡ユニット２１２ａ、２１２ｂに対して静止したままである。その結果、左及び右目の瞳孔と顔／頭の基準点との間に相対運動がある。この相対運動は、適切な補償値を計算するために左及び右視標追跡ユニット２１２ａ及び２１２ｂによって追跡され且つ監視され得る。これらの補償値は、外科医の目のそれぞれの注視点の３Ｄ位置を決定するのに追跡された３Ｄ頭運動を補償するために使用され得る。
【0064】
図３Ｃは、ビームスプリッタとして動作する光学アセンブリ２５５を含む視標追跡システム２５０を示す図である。視標追跡システム２５０は、図３Ａの視標追跡システム２００の例示の実施形態である。視標追跡システム２５０は、本開示の様々な実施形態による外科医用コンソール１２０の立体ビューワシステム１２６の中に部分的に又は完全に含まれることができる。視標追跡システム２５０は、左視標追跡ユニット２１２ａ（視標追跡カメラ２１２ａ１、２１２ａ２を持つ）、右視標追跡ユニット２１２ｂ（視標追跡カメラ２１２ｂ１、２１２ｂ２を持つ）、左目光エミッタ２１０ａ、右目光エミッタ２１０ｂ、左目画像ディスプレイ２０８ａ、右目画像ディスプレイ２０８ｂ、左目プロセッサ２１４ａ、右目プロセッサ２１４ｂ、及びインテグレータ２１６を含む。しかし、図３Ｃに示された視標追跡システム２５０では、これらの構成要素は、視標追跡システム２２０と異なる構成に配置される。図３Ｂに示された視標追跡システム２２０では、視標追跡ユニット２１２ａ、２１２ｂ及び光エミッタ２１０ａ、２１０ｂは、（ユーザに対して）画像ディスプレイ２０８ａ、２０８ｂの下に置かれている。光学アセンブリ２３５は、画像ディスプレイ２０８ａ、２０８ｂと接眼レンズ１２５ａ、１２５ｂとの間に位置している。対照的に、図３Ｃに示される視標追跡システム２５０では、視標追跡ユニット２１２ａ、２１２ｂは、左目及び右目画像ディスプレイ２０８ａ、２０８ｂと光学アセンブリ２５５との間の領域又は空間において画像ディスプレイ２０８ａ、２０８ｂの前に置かれている。光学アセンブリ２５５は、左目ミラーセット２０４ａ及び右目ミラーセット２０４ｂを有する。左目ミラーセット２０４ａは、第１の光学要素２５６及び第２の光学要素２５７を有する。右目ミラーセット２０４ｂは、第３の光学要素２５８及び第４の光学要素２５９を有する。光学要素２５６、２５７、２５８、及び２５９は、限定することなしに、ミラー、フィルタ、及びプリズムを含む、様々な光透過及び／又は光反射光学装置のいずれかであることができる。２つのプロセッサ２１４ａ、２１４ｂが図３Ｃに示されているが、当業者は、任意の数のプロセッサが、任意の適切なトポロジ―で配置され得ることを理解するであろう。
【0065】
幾つかの実施形態では、光学アセンブリ２５５は、非限定の例として、ダイクロイックミラー又はダイクロイックフィルタのような、ビームスプリッタを含む少なくとも１つのミラーセットを含む。ビームスプリッタは、異なる波長範囲の中で光の透過及び反射両方ができる任意の装置を含み得る。例えば、図３Ｃに示されるように、左目ミラーセット２０４ａの第２の光学要素２５７は、左目立体画像ディスプレイ２０８ａから放射される可視光のような、可視光２１１ａを反射する一方、ＩＲ光２１１ｂが通過することを可能にする、左ビームスプリッタ２５７を含む。したがって、左目光エミッタ２１０ａから放射されたＩＲ光２１１ｂは、左目を照射するために左ビームスプリッタ２５７を通過でき、外科医の左目２０２ａからの反射ＩＲ光２１１ｂも、左視標追跡ユニット２１２ａによって取り込まれるように、左ビームスプリッタ２５７を通過できる。同時に、左目画像ディスプレイ２０８ａから放射される可視光２１１ａは、外科医の左目２０２ａによって見られるように、ミラーセット２０４ａの光学要素２５６及び２５７によって導かれることができる。幾つかの実施形態では、左ビームスプリッタ２５７は、ダイクロイックミラーを有する。
【0066】
同様に、右目ミラーセット２０４ｂの第３の光学要素２５８は、右目立体画像ディスプレイ２０８ｂから放射される可視光のような、可視光２１１ａを反射する一方、ＩＲ光２１１ｂが通過することを可能にする、右ビームスプリッタを含む。したがって、右目光エミッタ２１０ｂから放射されるＩＲ光２１１ｂは、右目を照射するために右ビームスプリッタ２５８を通過でき、外科医の右目２０２ｂからの反射ＩＲ光２１１ｂも、右視標追跡ユニット２１２ｂによって取り込まれるように、右ビームスプリッタ２５８を通過できる。同時に、右目画像ディスプレイ２０８ｂから放射される可視光２１１ａは、外科医の右目２０２ｂによって見られるように、ミラーセット２０４ｂ（及びビームスプリッタ２５８）によって導かれることができる。幾つかの実施形態では、右ビームスプリッタ２５８は、ダイクロイックミラーを有する。
【0067】
光学アセンブリ２５５におけるビームスプリッタ２５７、２５８の組み込みは、視標追跡ユニット２１２ａ、２１２ｂが、（例えば、画像ディスプレイ２０８ａ、２０８ｂにおいて）外科医に可視になることなしに、画像ディスプレイ２０８ａ、２０８ｂから生じる表示される画像のための光学経路の少なくとも一部を共有する構成を可能にする。言い換えると、反射ＩＲ光２１１ｂは、可視光２１１ａの光学経路の一部、すなわち、目とそれぞれのビームスプリッタとの間（例えば、目２０２ａとビームスプリッタ２５７との間及び目２０２ｂとビームスプリッタ２５８との間）の光学経路の一部、を共有する。図３Ｃに示されるように、左及び右視標追跡ユニット２１２ａ、２１２ｂは、ビームスプリッタ２５７、２５８の後ろ且つ外科医の目を真っ直ぐ向いて配置されている。この構成は、視標追跡ユニット２１２ａ、２１２ｂが、可視光経路を遮ることなしに且つ画像ディスプレイ２０８ａ、２０８ｂに影響を及ぼす如何なる光学反射経路も有することなしに（例えば、画像ディスプレイ２０８ａ、２０８ｂが外科医の目からの如何なる反射ＩＲ光も受けることなしに）、外科医の目２０２ａ、２０２ｂそれぞれから情報を取り込むことを可能にする。対照的に、図３Ｂに示されるように、外科医の目２０２ａ、２０２ｂからの反射ＩＲ光（破線矢印によって示される）は、視標追跡ユニット２１２ａ、２１２ｂによって受光されるように、画像ディスプレイ２０８ａ、２０８ｂに向かって戻って反射される。
【0068】
幾つかの例では、視標追跡システム２５０の光学アセンブリ２５５におけるビームスプリッタ（例えば、ビームスプリッタ２５７、２５８）の組み込みは、視標追跡ユニット２１２ａ、２１２ｂからの光２１１ｂが、視標追跡ユニット２１２ａ、２１２ｂを外科医に可視にすることなしに、表示される画像からの可視光２１１ａの光学経路の少なくとも一部を共有することを可能にする。幾つかの例では、この構成は、外科医の画像ディスプレイ２０８ａ、２０８ｂにおける視標追跡ユニットからの干渉画像を排除し得るので、外科医は、干渉画像によって気を散らされることが少なくなり得るとともに現在の処置により集中し得る。加えて、図３Ｃに示される構成はまた、視標追跡システム２５０の設計及び製造のためのより多くの柔軟性及びコンパクト性を提供し得る。システム２５０の構成は、最小化された空間及び設計制約に適応しながら、（視標追跡ユニットを可視にすることなしに）ディスプレイのよりクリアな視界を作り得る。
【0069】
図３Ｄは、本開示の１つの実施形態によるビームスプリッタとして動作する光学アセンブリ２６０を含む例示の視標追跡システム２８０を示す図である。視標追跡システム２８０は、図３Ａの視標追跡システム２００の他の例示の実施形態である。視標追跡システム２８０は、本開示の幾つかの実施形態による外科医用コンソール１２０の立体ビューワシステム１２６の中に部分的に又は完全に含まれ得る。視標追跡システム２８０は、左視標追跡ユニット２１２ａ（視標追跡カメラ２１２ａ１、２１２ａ２を持つ）、右視標追跡ユニット２１２ｂ（視標追跡カメラ２１２ｂ１、２１２ｂ２を持つ）、左目光エミッタ２１０ａ、右目光エミッタ２１０ｂ、左目画像ディスプレイ２０８ａ、右目画像ディスプレイ２０８ｂ、左目プロセッサ２１４ａ、右目プロセッサ２１４ｂ、及びインテグレータ２１６を含む。図３Ｄに示される視標追跡システム２８０では、これらの構成要素は、視標追跡システム２５０とは異なる構成に配置される。特に、図３Ｃに示される視標追跡システム２５０では、視標追跡ユニット２１２ａ、２１２ｂ及び光エミッタ２１０ａ、２１０ｂは、画像ディスプレイ２０８ａ、２０８ｂと光学アセンブリ２５５との間に配置されている。対照的に、図３Ｄに示される視標追跡システム２８０では、視標追跡ユニット２１２ａ、２１２ｂ及び光エミッタ２１０ａ、２１０ｂは、光学アセンブリ２６０に隣接して（例えば、横に）配置されている（又は目に対して約９０度回転されている）。図３Ｄの描かれた実施形態では、光学アセンブリ２６０と画像ディスプレイ２０８ａ、２０８ｂとの間の空間は使われておらず、それによって、画像ディスプレイ２０８ａ、２０８ｂと光学アセンブリ２６０との間の遮られない光学経路を提供する。
【0070】
図３Ｃに示された光学アセンブリ２５５と同様に、視標追跡システム２８０の光学アセンブリ２６０は、ビームスプリッタとして機能する２つの光学要素を含む。図３Ｄに示される光学アセンブリ２６０では、第１及び第４の光学要素２５６及び２５９は、ビームスプリッタとして機能する。特に、左目ミラーセット２０４ａの第１の光学要素２５６は左ビームスプリッタを含み、右目ミラーセット２０４ｂの第４の光学要素２５９は右ビームスプリッタを含む。図３Ｄに示されるように、左目ミラーセット２０４ａの左ビームスプリッタ２５６は、左目立体画像ディスプレイ２０８ａから放射された可視光のような、可視光２１１ａを反射する一方、ＩＲ光２１１ｂを透過させる。したがって、左目光エミッタ２１０ａから放射されるＩＲ光２１１ｂは、左目を照射するために左ビームスプリッタ２５６を通過でき、外科医の左目２０２ａからの反射ＩＲ光２１１ｂも、左視標追跡ユニット２１２ａによって取り込まれるように、左ビームスプリッタ２５６を通過できる。同時に、左目画像ディスプレイ２０８ａから放射される可視光は、外科医の左目２０２ａによって見られるように、ミラーセット２０４ａ（ビームスプリッタ２５６を含む）によって導かれることができる。幾つかの実施形態では、左ビームスプリッタ２５６は、ダイクロイックミラーを有する。
【0071】
同様に、右目ミラーセット２０４ｂの右ビームスプリッタ２５９は、右目立体画像ディスプレイ２０８ｂから放射される可視光のような、可視光２１１ａを反射する一方、ＩＲ光２１１ｂを透過させる。したがって、右目光エミッタ２１０ｂから放射されるＩＲ光２１１ｂは、右目を照射するために右ビームスプリッタ２５９を通過でき、外科医の右目２０２ｂからの反射ＩＲ光２１１ｂも、右視標追跡ユニット２１２ｂによって取り込まれるように、右ビームスプリッタ２５９を通過できる。同時に、右目画像ディスプレイ２０８ｂから放射される可視光２１１ａは、外科医の右目２０２ｂによって見られるように、ミラーセット２０４ｂ（及びビームスプリッタ２５９）によって導かれることができる。幾つかの実施形態では、右ビームスプリッタ２５９は、ダイクロイックミラーを有する。
【0072】
光学アセンブリ２６０におけるビームスプリッタ２５７、２５９の組み込みは、視標追跡ユニット２１２ａ、２１２ｂからの光２１１ｂが、視標追跡ユニット２１２ａ、２１２ｂを外科医に可視にすることなしに、画像ディスプレイ２０８ａ、２０８ｂから生じる表示される画像のための光学経路の少なくとも一部を共有する構成を可能にする。特に、図３Ｄに示されるように、左及び右視標追跡ユニット２１２ａ、２１２ｂは、ビームスプリッタ２５７、２５８の後ろ且つ外科医の目に対してある角度（例えば、９０度）で配置されている。この構成は、視標追跡ユニット２１２ａ、２１２ｂが、ディスプレイからの可視光の経路を遮ることなしに且つ画像ディスプレイ２０８ａ、２０８ｂに影響を及ぼす如何なる光学反射経路も有することなしに（例えば、画像ディスプレイ２０８ａ、２０８ｂが外科医の目からの如何なる反射ＩＲ光も受けることなしに）、外科医の左及び右目それぞれから情報を取り込むことを可能にする。
【0073】
幾つかの例では、視標追跡システム２８０の光学アセンブリ２６０におけるビームスプリッタ（例えば、ビームスプリッタ２５６、２５９）の組み込みは、視標追跡ユニット２１２ａ、２１２ｂからの光２１１ｂが、視標追跡ユニット２１２ａ、２１２ｂを外科医に可視にすることなしに、表示される画像からの可視光２１１ａの光学経路の少なくとも一部を共有することを可能にする。幾つかの例では、この構成は、外科医の画像ディスプレイ２０８ａ、２０８ｂにおける視標追跡ユニットからの干渉画像を排除し得るので、外科医は、干渉画像によって気を散らされることが少なくなり得るとともに現在の処置により集中し得る。加えて、図３Ｄに示される構成はまた、視標追跡システム２８０の設計及び製造のためのより多くの柔軟性及びコンパクト性を提供し得る。システム２８０の構成は、最小化された空間及び設計制約に適応しながら、（視標追跡ユニットを可視にすることなしに）ディスプレイのよりクリアな視界を作り得る。
【0074】
光エミッタ２１０（例えば、左目及び右目光エミッタ２１０ａ及び２１０ｂ）の位置はフレキシブル（flexible）であることが理解されるべきである。視標追跡ユニット２１２（例えば、左及び右視標追跡ユニット２１２ａ及び２１２ｂ）の位置もフレキシブルである。当業者は、光エミッタ２１０及び／又は視標追跡ユニット２１２が、外科医の視界への干渉を最小化するために及び視標追跡プロセスの精度及び効率を向上させるために、外科医及び画像ディスプレイ（例えば、外科医用コンソール１２０の）に対して任意の適切な位置に配置されることができることを理解するであろう。
【0075】
図４Ａは、本開示の実施形態による図３Ａ－３Ｄに示された視標追跡システムを使用する外科医の３Ｄ注視点を決定するための方法３００を示す。方法３００は、２つのプロセス：較正プロセス３０２及び測定プロセス３０４を含む。幾つかの実施形態では、較正プロセス３０２は、３Ｄ較正プロセスであり、そこでは、３Ｄ空間における外科医の注視点が、既知の３Ｄ位置パラメータを持つ３Ｄ空間における所定のターゲットと比較される。
【0076】
３Ｄ空間に示されるターゲットＴの画像は、左及び右立体画像に分離され得るとともに、左及び右画像ディスプレイ２０８ａ、２０８ｂ上にそれぞれ表示され得る。左目及び右目光エミッタ２１０ａ、２１０ｂは、左及び右視標追跡ユニット２１２ａ、２１２ｂそれぞれによって追跡されることができる光を放射し得る。左目及び右目ミラーセット２０４ａ及び２０４ｂは、左目及び右目画像ディスプレイ２０８ａ及び２０８ｂ上に表示されるターゲットの左目及び右目立体画像が、外科医の左及び右目２０２ａ、２０２ｂそれぞれに反射されることができ且つ向けられることができるように、配置され得る。幾つかの実施形態では、図３Ａ－３Ｄに示されるように、左目及び右目ミラーセット２０４ａ及び２０４ｂは、左目及び右目の光学的伝達の間に「クロストーク（crosstalk）」又は共有光学経路が無いように、配置される。光エミッタ２１０ａ、２１０ｂから放射される、ＩＲ光２１１ｂのような光はまた、外科医の左目及び右目２０２ａ、２０２ｂを照射するために右目及び左目ミラーセット２０４ａ、２０４ｂを通って導かれることができる。較正プロセスの間、ターゲットの３Ｄ位置は、測定されたデータが、補償値及び／又は次のプロセスにおける注視点決定モデルを決定するためのターゲット対象の所定の位置データと比較され得るように、例えば、３Ｄ空間における既知の３Ｄ位置パラメータを伴って、予め決定される。
【0077】
図４Ｂは、所定のターゲットＴ（３Ｄ座標ａＴ、ｂＴ、ｃＴを有する）が較正プロセス中に左目画像ディスプレイ２０８ａに示されるとき、外科医の左目２０２ａの角膜反射及び瞳孔位置を追跡する左視標追跡ユニット２１２ａの例を示す。較正プロセス３０２は、３Ｄ空間にターゲットＴを示すことによってプロセス３１２で始まり得る。図４Ｂに示されるように、ターゲットＴは、左目画像ディスプレイ２０８ａ上で（ａＴ、ｂＴ、ｃＴ）の座標値を持つ所定の３Ｄ座標フレーム３５０に位置することができる。左目画像ディスプレイ２０８ａに示されるターゲットＴは、立体ユニット１１２によって取り込まれ且つプロセッサ２１４ａによって処理される左目立体画像であり得る。他の実施形態では、ターゲットＴは、仮想的に作られた画像であり得る。左目ミラーセット２０４ａ（図示せず）は、図３Ａ－３Ｄに関連して上で論じたように、左目視標追跡ユニット２１２ａ及び外科医の左目２０２ａに対して任意の適切な位置に位置することができる。簡潔さのために外科医の左目の１つの角膜反射しか図４Ｂに示されていないが、各目２０２のための１より多い光エミッタ２１０からの１より多い角膜反射があり得ることが理解されるべきである。
【0078】
幾つかの例では、ターゲットＴは、３Ｄ空間に示された手術ツールアイコンであり得る。ターゲットＴはまた、移動するターゲット、又は動的にサイズが変わり得るターゲットであり得る。代替的には、ターゲットはまた、手術野の中の実際の手術ツールであってよく、この位置は、任意の適切なツール追跡技術を使用して追跡され且つ特定されることができる。例えば、較正プロセスは、２００５年５月１６日に出願された、"Methods and system for performing 3D tool tracking by fusion of sensor and/or camera derived data during minimally invasive robotic surgery"と題する米国特許出願公開第2006/0258938号に開示された特徴を組み込んでよく、これは本出願に参照により援用される。較正プロセス３０２の間、ターゲットＴの３Ｄ位置は、例えば、３Ｄ空間の既知の３Ｄ位置パラメータを使って、測定されたデータが、次のステップの様々なモデルを決定するためにターゲットＴの既知の位置パラメータと比較され得るように、予め決定される。
【0079】
描かれた実施形態では、較正プロセス３０２は、左及び右視標追跡ユニット２１２ａ及び２１２ｂそれぞれによって取り込まれる左及び右目の瞳孔の２Ｄ位置及び２Ｄ角膜反射データを受信することによってプロセス３１４に進む。幾つかの実施形態では、２Ｄ瞳孔位置及び２Ｄ角膜反射データは、座標値、変位、及び／又は角度を含み得る。幾つかの実施形態では、左目及び右目ミラーセット２０４ａ、２０４ｂは、外科医の左目及び右目２０２ａ、２０２ｂが、追跡されるように、左及び右視標追跡ユニット２１２ａ、２１２ｂそれぞれに向けられることができるように、図３Ａ－３Ｄに示されるように配置される。追跡された２Ｄデータは次に、外科医の左目及び右目２０２ａ、２０２ｂの３Ｄ瞳孔位置及び角膜反射データを得るために、左目及び右目プロセッサ２１４ａ、２１４ｂ並びに／又はインテグレータ２１６によって受信され且つ処理され得る。
【0080】
図４Ｃは、外科医の角膜に対応する２Ｄ座標フレーム３６０、及び外科医の瞳孔に対応する２Ｄ座標フレーム３７０を示す。図４Ｃに示されるように、左目光エミッタ２１０ａが外科医の目２０２ａに向かって光を放射するとき、光（例えばＩＲ光）は、外科医の左目２０２ａの角膜の表面から反射し、反射画像は、所定の２Ｄ座標フレーム３６０に位置する角膜反射中心３６５（座標（ｕＲ、ｖＲ）を有する）を持つ明るい領域になる。幾つかの例では、角膜反射データは、それぞれの目毎の１より多い角膜反射に関する追跡情報を含む。所定の２Ｄ座標フレーム３７０における瞳孔３７５の中心（座標（ｘＰ、ｙＰ）を有する）もまた、左視標追跡ユニット２１２ａによって追跡されることができる。
【0081】
較正プロセス３０２は、左及び右目それぞれの瞳孔位置及び角膜反射データをより正確に決定するために、頭の位置を追跡することによって、プロセス３１６に進む。言い換えると、頭の運動データは、瞳孔位置及び角膜反射データの頭の運動によって誘発された不正確さを補償するために使用され得る。例えば、頭の回転は、頭の運動データにおける変化によって近似されることができる。幾つかの実施形態では、図３Ａに関連して上述されたように、外科医の頭の特徴部（例えば、目の端）が、頭の運動を決定するために追跡され得る。幾つかの実施形態では、外科医は、適切な補償値及び／又は補償モデルを決定するために、画像ディスプレイ２０８ａ、２０８ｂのターゲットＴに焦点を合わせながら１又は複数の頭の運動を実行するように要求され得る。例えば、外科医は、画像ディスプレイ２０８ａ、２０８ｂ上のターゲットＴに焦点を合わせながら接眼レンズ１２５ａ、１２５ｂの近くに彼又は彼女の頭を動かすように要求され得る。外科医はまた、より多くの較正情報を集めるために、一連の運動（例えば、上下、左右、回転、及び／又は接眼レンズからさらに離れる）で彼又は彼女の頭を動かすように要求され得る。
【0082】
左及び右視標追跡ユニット２１２ａ及び２１２ｂは、顔及び／又は頭の運動に関連する較正値を決定するために、外科医の瞳孔と顔／頭特徴部との間の相対運動を捕え得る。幾つかの実施形態では、外科医の頭の運動はまた、ヘッドレスト１３０上に取り付けられる１又は複数のセンサによって追跡され得る。計算された２Ｄ又は３Ｄ注視点位置は、さらに、外科医の追跡された頭の運動に基づいて調整又は補償され得る。センサによって収集されたデータは、補償値を決定するためにプロセス３１６で取得されたデータと結合され得る。ヘッドレストを操作するために検知方法を使用するさらなる詳細は、例えば、"ENDOSCOPE CONTROL SYSTEM"と題する、米国特許第61/865,996号に見られ得る。
【0083】
幾つかの実施形態では、補償値及び／又は補償モデルは、将来の測定又は計算のために、プロセッサ２１４ａ、２１４ｂ及び／又はインテグレータ２１６に結合されるメモリに保存され得る。幾つかの実施形態では、特定のユーザの補償値及び／又は補償モデルは、同じユーザが、ユーザがシステムに再びログインするとき、較正プロセスを繰り返す必要がないように、ユーザプロファイルデータの一部としてメモリに保存され得る。
【0084】
補償プロセス３０２は、外科医の左及び右目２０２ａ、２０２ｂそれぞれの３Ｄ瞳孔位置及び３Ｄ角膜反射データをそれぞれ決定することによってプロセス３１８に進む。幾つかの実施形態では、視標追跡ユニット２１２ａは、ステレオカメラを含み、２Ｄ瞳孔位置及び２Ｄ角膜反射データを含む立体画像は、取り込まれることができ且つ、複数の立体画像間の差を計算するために、プロセッサ２１４ａによって処理されることができる。例えば、図４Ｂに示されるように、１又は複数の左視標追跡ユニット２１２ａが、外科医の左目２０２ａの立体画像を取り込むことができるステレオカメラを含むとき、各個別の左視標追跡ユニット２１２ａからの２Ｄ瞳孔位置３７５（ｘＰ、ｙＰ）及び２Ｄ角膜反射データ（ｕＲ，ｖＲ）が、複数の立体画像間の相違を計算するために処理され得る。幾つかの実施形態では、決定された位置データは、外科医の左目２０２ａの２Ｄ瞳孔位置及び２Ｄ角膜反射データを含み得る。
【0085】
各目の決定された２Ｄデータは次に、外科医の３Ｄ視線位置を推定するために組み合わせられ得る。幾つかの実施形態では、決定された位置データは、瞳孔の３Ｄ位置及び３Ｄ角膜反射データを含み得る。深さ変換マップに対する相違は、この方法を使用する較正プロセスの間に取得され得る。外科医の瞳孔の深さ（座標点ｚＰ）及び角膜反射の深さ（座標点ｗＲ）を含む３Ｄデータは次に、相違を使用して推定され得る。例えば、外科医の左目２０２ａの３Ｄ視線データは、左視標追跡ユニット２１２ａ間の距離、左視標追跡ユニット２１２ａのそれぞれの焦点距離、及び計算された相違を使用して計算され得る。深さ変換マップに対する相違は、この方法を使用する較正プロセスの間に取得され得る。幾つかの実施形態では、外科医の頭の運動はまた、左及び右目追跡装置２０４ａ、２０４ｂによって捕えられ得る。
【0086】
幾つかの実施形態では、外科医の瞳孔は、異なる深さを持つターゲットＴを見るとき、両眼離反運動（vergence）（例えば、図４Ｂに示される角度γによって示されるような）を示し得る。外科医の瞳孔及び角膜反射の深さは、外科医の瞳孔のそれぞれの両眼離反運動（例えば、角度γ）を監視することによって及び測定された瞳孔間距離と３Ｄ座標フレーム３５０のターゲットＴの深さとの間の変換チャートを形成することによって推定され得る。幾つかの実施形態では、外科医の瞳孔の深さ（例えば、ｚＰ）及び角膜反射の深さ（例えばｗＲ）は、図４Ｂに示されるように、三角測量法を使用して計算され得る。例えば、複数の左視標追跡ユニット２１２ａの間の距離は、距離ｄＣ（例えば、図４Ｂにおける点ＡとＢとの間の距離）になるように設定され、三角測量法角度α及びβは、外科医の目が３Ｄ座標フレーム３５０の異なる位置でターゲットＴを見ているときに追跡され得る。１つの例では、ターゲットＴが異なる深さに位置するとき、角度α及びβが、視標追跡ユニット２１２ａと瞳孔との間の距離ｄＰ（例えば、点Ｃと瞳孔との間の距離）が計算されることができるように、それに応じて変わり得る。距離値ｄＰはさらに、３Ｄ瞳孔位置（例えば、座標ｘＰ，ｙＰ、ｚＰ））を計算するために使用されることができる。外科医の左目の３Ｄ瞳孔位置（例えば、座標ｘＰ，ｙＰ、ｚＰ））及び角膜反射データ（例えば、座標（ｕＲ、ｖＲ、ｗＲ））は、外科医の左目の決定と実質的に同様の方法で決定され得る。
【0087】
較正プロセス３０２のプロセス３２２において、決定された３Ｄ瞳孔位置及び３Ｄ角膜反射データは、注視点決定モデルを決定するために所定のターゲットＴの所定の３Ｄ位置パラメータと比較される。言い換えると、注視点決定モデルは、３Ｄ瞳孔位置及び３Ｄ角膜反射データと所定のターゲットＴの３Ｄ位置との間の関係を決定することによって形成されることができる。幾つかの例では、外科医の左目２０２ａの決定された３Ｄ瞳孔位置３７５’（座標（ｘＰ、ｙＰ、ｚＰ））及び３Ｄ角膜反射データＴ（座標ａＴ、ｂＴ、ｃＴ））は、以下の関係又は関数ｆを得るために、プロセス３１２で選ばれたターゲットＴの左立体画像の３Ｄ位置データＴ（座標（ａＴ、ｂＴ、ｃＴ））と比較される：
（ａＴ、ｂＴ、ｃＴ）＝ｆ（ｘＰ、ｙＰ、ｚＰ、ｕＲ、ｖＲ、ｗＲ）
（ａＴ、ｂＴ、ｃＴ）＝ｆ（ｘＰ、ｙＰ、ｚＰ、ｕＲ、ｖＲ、ｗＲ）
【0088】
幾つかの実施形態では、複数の較正ターゲットが、較正プロセスの間に使用され、関数のｆのパラメータは、較正プロセスの間に複数のターゲット点から集められた瞳孔の位置及び角膜反射データを使用して決定され得る。幾つかの例では、最小二乗法最適化、又は最尤推定のような方法論が、関数ｆのパラメータを決定するために使用され得る。幾つかの実施形態では、各目に関する視線方向ベクトルが、各目の３Ｄ瞳孔の位置及び３Ｄ角膜反射データを使用して形成されることができ、各視線方向ベクトルの交点が外科医の注視点になるように決定され得る。決定された注視点は次に、関数ｆを決定するためにターゲットＴの３Ｄ位置データと比較され得る。幾つかの実施形態では、較正プロセスの間、ターゲットＴの関数ｆを使用して計算される３Ｄ位置と実際の所定の位置との間の誤差は、最小二乗法最適化、又は最尤推定のような、最適化法を使用して最小化され得る。幾つかの例では、注視点決定モデルはまた、外科医の目の２Ｄ位置データ、ターゲットの２Ｄ位置データ、及び外科医の瞳孔の両眼離反運動（例えば、角度γ）を使用して形成され得る。幾つかの実施形態では、注視点決定モデルはまた、瞳孔の３Ｄ位置及び３Ｄ角膜反射データから３Ｄ空間における座標系のターゲットＴの３Ｄ位置への変換を示す行列を含み得る。
【0089】
同様に、外科医の右目２０２ｂの３Ｄ瞳孔位置及び３Ｄ角膜反射データは、プロセス３１２で選ばれたターゲットＴの右立体画像の３Ｄ位置データと比較され得る。
【0090】
幾つかの実施形態では、較正プロセス３０２は、精度が所定のシステム要求を満たすまで注視点決定モデルの精度が向上され得るように、複数回繰り返され得る。幾つかの実施形態では、第１の注視点決定モデル（例えば、関数ｆ）が形成された後、１又は複数の実際のターゲットが第１の注視点決定モデルの精度を推定するために使用され得る。例えば、実際のターゲット（複数可）を使用するマッピング最適化を再実行することによって、第１の注視点決定モデルは第２の注視点決定モデルを形成するように更新され得る。第１と第２のモデルとの間の精度は、より正確な注視点決定モデルが形成され得るように、比較され且つ評価される。
【0091】
較正プロセス３０２が完了した後、方法３００は、測定プロセス３０４に進む。測定プロセス３０４は、内視鏡又はステレオカメラ１１２が手術部位の画像を取り込んでいるときの手術又は訓練プロセス中に実行され得る。幾つかの実施形態では、較正プロセス３０２及び測定プロセス３０４はまた、シミュレーションモジュールを使用する、例えば、（外科医用コンソール１２０と一体化され得る）Vinci（登録商標）Skills Simulator（商標）を使用する、シミュレートされた練習で行われ得る。
【0092】
測定プロセス３０４は、外科医が左目及び右目画像ディスプレイ２０８ａ、２０８ｂに表示される画像（例えば、手術部位又は仮想画像）を見ているとき、外科医の左及び右目２０２ａ、２０２ｂそれぞれの２Ｄ瞳孔位置及び２Ｄ角膜反射データを受信することによってプロセス３２４で開始する。プロセス３２４のための構成及び方法は、実質的に、前述の方法３００のプロセス３１４と同様であり得る。幾つかの実施形態では、手術部位の画像は、内視鏡又はステレオカメラ１１２によって取り込まれ得るとともに、左目及び右目画像ディスプレイ２０８ａ、２０８ｂそれぞれに表示される左目及び右目立体画像に分離されるように処理され得る。外科医の左及び右目の２Ｄ瞳孔位置及び２Ｄ角膜反射データは、左及び右視標追跡ユニット２１２ａ、２１２ｂそれぞれによって取り込まれ、プロセッサ２１４ａ、２１４ｂ及び／又はインテグレータ２１６によって３Ｄ瞳孔位置データを得るために処理される。
【0093】
測定プロセス３０４は、プロセス３１６で決定された補償値及び／又は補償モデルを使用して外科医の左及び右目２０２ａ、２０２ｂのそれぞれに関する瞳孔位置及び角膜反射データを推定することによって、プロセス３２６に進む。幾つかの実施形態では、ステップ３１６で取り込まれた頭／顔運動はまた、瞳孔の位置及び角膜反射データ又は外科医の３Ｄ注視点を補償するために使用され得る。上述のように、頭運動データは、左及び右視標追跡ユニット２１２ａ、２１２ｂを使用して頭の特徴部を追跡することによって較正プロセス３０２の間に追跡され得るとともに、補償値及び／又は補償モデルが、頭の運動によって誘発される瞳孔位置及び／又は角膜反射データに対する変化を計算するために使用され得る。計算された変化の値は、（例えば、外科医の頭の運動を補償するために）プロセス３２４で決定された外科医の左及び右目に関する瞳孔位置及び角膜反射データを調整するために使用され得る。特に、頭の運動と目の端の追跡された運動との間の関数が、較正プロセス３０２の間に形成されることができる。測定プロセス３０４の間に、頭／目の特徴部の運動が追跡され得るとともに、外科医の頭の運動が、較正プロセス３０２からの形成された関数を使用して推定され得る。３Ｄ瞳孔位置及び３Ｄ角膜反射データは次に、ステップ３２２で得られた注視点決定モデルを使用することによって、プロセッサ２１４によって外科医の３Ｄ注視点位置に変換され得る。
【0094】
測定プロセス３０４は、外科医の左及び右目２０２ａ、２０２ｂのそれぞれの３Ｄ瞳孔位置及び３Ｄ角膜反射データを決定することによってプロセス３２８に進む。３Ｄ瞳孔位置及び３Ｄ角膜反射データを決定するためのプロセスは、前述の方法３００のプロセス３１８と実質的に同様であり得る。幾つかの実施形態では、左視標追跡ユニット２１２ａのそれぞれから受信された２Ｄ瞳孔位置及び２Ｄ角膜反射データは、左目プロセッサ２１４ａによって処理され得る。左目２０２ａの瞳孔の位置及び角膜反射は次に、角膜反射の角膜反射中心３６５と、瞳孔３７５の中心との間の相対位置を使用して計算されることができる（図４Ｃに示される）。外科医の右目の３Ｄ瞳孔位置及び３Ｄ角膜反射データは、外科医の左目の決定と実質的に同様の方法で決定され得る。例えば、右視標追跡ユニット２１２ｂのそれぞれから受信される２Ｄ瞳孔位置及び２Ｄ角膜反射データは、右目プロセッサ２１４ｂによって処理され得る。右目２０２ｂの瞳孔の位置及び角膜反射は次に、右の角膜反射の角膜反射中心と、右の瞳孔の中心との間の相対位置を使用して計算されることができる。
【0095】
測定プロセス３０４は、較正プロセス３０２のプロセス３２２で得られた注視点決定モデルを使用して外科医の３Ｄ注視点を決定することによって、プロセス３３０に進む。幾つかの実施形態では、プロセス３２８で決定された外科医の両目の３Ｄ瞳孔位置及び３Ｄ角膜反射データは、外科医の注視点の３Ｄ位置を決定するために注視点決定モデルを使用して処理され得る。幾つかの実施形態では、各目に関する視線方向ベクトルは、プロセス３２８で各目の決定された３Ｄ瞳孔位置及び３Ｄ角膜反射データを使用して形成されることができる。各視線方向ベクトルの交点が次に、外科医の注視点を決定するために使用され得る。
【0096】
測定プロセス３０４の後、幾つかの実施形態では、決定された３Ｄ注視点位置は、図３Ａ－３Ｄに示される画像ディスプレイ２０８の上に示され得る。３Ｄ注視点位置は、限定ではなく、点、線、ベクター、矢印、及び半透明の円のような、様々な適切な表現のいずれかで表され得る。上述のように遠隔操作医療システム１０によって測定された注視点は、リアルタイム医療処置及び仮想訓練処置を含む、様々な用途で使用され得る。
【0097】
例示の実施形態が説明されるとともに示されているが、広範囲の修正、変更及び置換が、前述の記載において考えられ、幾つかの例では、実施形態の幾つかの特徴が、他の特徴の対応する使用なしに用いられ得る。当業者は、多くの変形形態、代替形態、及び変更形態を認識するであろう。したがって、本発明の範囲は、以下の請求項のみによって限定されるべきであり、請求項は広く且つ本明細書に開示される実施形態の範囲と一致する方法で解釈されることが適切である。
【0098】
次の付記を記す。
（付記１） 手術野の画像をユーザに表示するように構成される画像ディスプレイであって、第１の波長範囲の光を放射するように構成される、画像ディスプレイ、
第２の波長範囲の光を放射するように且つ前記ユーザの右目の第１の注視点に関するデータを測定するように構成される、右目追跡装置、
前記第２の波長範囲の光を放射するように且つ前記ユーザの左目の第２の注視点に関するデータを測定するように構成される、左目追跡装置、
前記画像ディスプレイと前記ユーザの前記右目及び前記左目との間に配置される光学アセンブリであって、前記右目追跡装置及び前記左目追跡装置が前記ユーザに見えることなしに、前記第１及び前記第２の波長範囲の光が、前記左目と前記画像ディスプレイとの間の左光学経路の少なくとも一部を共有し且つ前記右目と前記画像ディスプレイとの間の右光学経路の少なくとも一部を共有するように、前記第１及び前記第２の波長範囲の光を導くように構成される、光学アセンブリ、及び
前記ユーザの前記注視点が向けられている表示される画像における視点を決定するために前記第１の注視点及び前記第２の注視点に関する前記データを処理するように構成される、少なくとも１つのプロセッサ、を有する、
視標追跡システム。
（付記２） 前記光学アセンブリは、前記第１の波長範囲の前記光を反射するように且つ前記第２の波長範囲の前記光の通過を可能にするように構成されるビームスプリッタを含む、
付記１に記載の視標追跡システム。
（付記３） 前記ビームスプリッタはダイクロックミラーを含む、
付記２に記載の視標追跡システム。
（付記４） 前記光学アセンブリはさらに、前記ビームスプリッタから反射された光を受けるように構成されるミラーを含む、
付記２に記載の視標追跡システム。
（付記５） 前記右目追跡装置は右立体イメージング装置を含み、前記左目追跡装置は左立体イメージング装置を含む、
付記１に記載の視標追跡システム。
（付記６） 前記右及び前記左立体イメージング装置は、それぞれ、複数の視標追跡カメラを含む、
付記１に記載の視標追跡システム。
（付記７） 前記少なくとも１つのプロセッサは、一定の瞳孔間距離に対応する一定の要因に基づいて視点を決定するために前記第１の注視点及び前記第２の注視点に関する前記データを処理するように構成される、
付記１に記載の視標追跡システム。
（付記８） 前記右目追跡装置は、前記右目の２Ｄ角膜反射データを検出するように構成され、前記左目追跡装置は、前記左目の２Ｄ角膜反射データを検出するように構成される、
付記１に記載の視標追跡システム。
（付記９） 前記右目追跡装置は、前記右目の２Ｄ瞳孔位置データを検出するように構成され、前記左目追跡装置は、前記左目の２Ｄ瞳孔位置データを検出するように構成される、
付記１に記載の視標追跡システム。
（付記１０） 前記右目追跡装置及び前記左目追跡装置は、前記ユーザの頭の特徴部に対応する固定基準点に関する位置データを追跡するように構成される、
付記１に記載の視標追跡システム。
（付記１１） 前記少なくとも１つのプロセッサは、前記固定基準点に関する前記位置データに基づいて前記視点を決定するために、前記第１の注視点及び前記第２の注視点に関する前記データを処理し且つ前記ユーザの頭の運動を補償するように構成される、
付記１０に記載の視標追跡システム。
（付記１２） 前記光学アセンブリは、前記画像ディスプレイからの前記第２の波長範囲の前記光を反射するように且つ前記光エミッタからの前記第１の波長範囲の前記光を透過するように構成される、
付記１に記載の視標追跡システム。
（付記１） 手術野の画像をユーザに表示するように構成される画像ディスプレイであって、第１の波長範囲の光を放射するように構成される、画像ディスプレイ、
第２の波長範囲の光を放射するように且つ前記ユーザの右目の第１の注視点に関するデータを測定するように構成される、右目追跡装置、
前記第２の波長範囲の光を放射するように且つ前記ユーザの左目の第２の注視点に関するデータを測定するように構成される、左目追跡装置、
前記画像ディスプレイと前記ユーザの前記右目及び前記左目との間に配置される光学アセンブリであって、前記右目追跡装置及び前記左目追跡装置が前記ユーザに見えることなしに、前記第１及び前記第２の波長範囲の光が、前記左目と前記画像ディスプレイとの間の左光学経路の少なくとも一部を共有し且つ前記右目と前記画像ディスプレイとの間の右光学経路の少なくとも一部を共有するように、前記第１及び前記第２の波長範囲の光を導くように構成される、光学アセンブリ、及び
前記ユーザの前記注視点が向けられている表示される画像における視点を決定するために前記第１の注視点及び前記第２の注視点に関する前記データを処理するように構成される、少なくとも１つのプロセッサ、を有する、
視標追跡システム。
（付記２） 前記光学アセンブリは、前記第１の波長範囲の前記光を反射するように且つ前記第２の波長範囲の前記光の通過を可能にするように構成されるビームスプリッタを含む、
付記１に記載の視標追跡システム。
（付記３） 前記ビームスプリッタはダイクロックミラーを含む、
付記２に記載の視標追跡システム。
（付記４） 前記光学アセンブリはさらに、前記ビームスプリッタから反射された光を受けるように構成されるミラーを含む、
付記２に記載の視標追跡システム。
（付記５） 前記右目追跡装置は右立体イメージング装置を含み、前記左目追跡装置は左立体イメージング装置を含む、
付記１に記載の視標追跡システム。
（付記６） 前記右及び前記左立体イメージング装置は、それぞれ、複数の視標追跡カメラを含む、
付記１に記載の視標追跡システム。
（付記７） 前記少なくとも１つのプロセッサは、一定の瞳孔間距離に対応する一定の要因に基づいて視点を決定するために前記第１の注視点及び前記第２の注視点に関する前記データを処理するように構成される、
付記１に記載の視標追跡システム。
（付記８） 前記右目追跡装置は、前記右目の２Ｄ角膜反射データを検出するように構成され、前記左目追跡装置は、前記左目の２Ｄ角膜反射データを検出するように構成される、
付記１に記載の視標追跡システム。
（付記９） 前記右目追跡装置は、前記右目の２Ｄ瞳孔位置データを検出するように構成され、前記左目追跡装置は、前記左目の２Ｄ瞳孔位置データを検出するように構成される、
付記１に記載の視標追跡システム。
（付記１０） 前記右目追跡装置及び前記左目追跡装置は、前記ユーザの頭の特徴部に対応する固定基準点に関する位置データを追跡するように構成される、
付記１に記載の視標追跡システム。
（付記１１） 前記少なくとも１つのプロセッサは、前記固定基準点に関する前記位置データに基づいて前記視点を決定するために、前記第１の注視点及び前記第２の注視点に関する前記データを処理し且つ前記ユーザの頭の運動を補償するように構成される、
付記１０に記載の視標追跡システム。
（付記１２） 前記光学アセンブリは、前記画像ディスプレイからの前記第２の波長範囲の前記光を反射するように且つ前記光エミッタからの前記第１の波長範囲の前記光を透過するように構成される、
付記１に記載の視標追跡システム。
【図1A】
【図1B】
【図1C】
【図1D】
【図2A】
【図2B】
【図3A】
【図3B】
【図3C】
【図3D】
【図4A】
【図4B】
【図4C】
【外国語明細書】