特許 7364600 コマンドを入力するための双眼システム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-10-10

(45)【発行日】2023-10-18

(54)【発明の名称】コマンドを入力するための双眼システム

(51)【国際特許分類】

   G06F 3/0482 20130101AFI20231011BHJP

   G06F 3/0346 20130101ALI20231011BHJP

【ＦＩ】

G06F3/0482

G06F3/0346 423

【請求項の数】 14

(21)【出願番号】P 2020567225

(86)(22)【出願日】2019-06-18

(65)【公表番号】

(43)【公表日】2021-10-28

(86)【国際出願番号】 IB2019055116

(87)【国際公開番号】W WO2020003054

(87)【国際公開日】2020-01-02

【審査請求日】2022-02-17

(31)【優先権主張番号】62/690,204

(32)【優先日】2018-06-26

(33)【優先権主張国・地域又は機関】US

(73)【特許権者】

【識別番号】319008904

【氏名又は名称】アルコン インコーポレイティド

(74)【代理人】

【識別番号】100099759

【弁理士】

【氏名又は名称】青木 篤

(74)【代理人】

【識別番号】100123582

【弁理士】

【氏名又は名称】三橋 真二

(74)【代理人】

【識別番号】100160705

【弁理士】

【氏名又は名称】伊藤 健太郎

(72)【発明者】

【氏名】マルティン アイル

【審査官】円子 英紀

(56)【参考文献】

【文献】特表平１１－５０１４０３（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０４８－３／０４８９５

Ｇ０６Ｆ ３／０３４６

(57)【特許請求の範囲】

【請求項1】

コマンドを入力するための双眼システムであって、
１つ又は複数のグラフィカル要素を有する仮想的なグラフィカルユーザーインターフェイス（ＧＵＩ）を生成するように構成されたコンピュータであって、それぞれのグラフィカル要素は医療装置への１つのコマンドに対応し、前記医療装置は、眼科手術、治療、又は診断装置を含む、コンピュータと、
複数のアイピースを有する双眼アイピースであって、それぞれのアイピースは光学経路を有し、それぞれの光学経路は物体の画像を１対の眼のうちの対応する眼に向かって導くように構成されている、双眼アイピースと、
を有し、
少なくとも１つのアイピースの前記光学経路は、前記仮想的なＧＵＩを前記対応する眼に向かって導くように構成され、前記アイピースは、前記仮想的なＧＵＩを受け取り、前記画像を受け取り、且つ、前記仮想的なＧＵＩ及び前記画像を前記光学経路に沿って前記対応する眼に向かって導く、ように構成されたビームスプリッタを備え、
少なくとも１つのアイピースは、眼の追跡をもたらすべく、前記仮想的なＧＵＩとの関係における前記対応する眼の運動を追跡するように構成された眼トラッカと関連付けられ、且つ、
前記コンピュータは、
前記仮想的なＧＵＩとの関係における前記追跡対象の眼の運動を選択されたグラフィカル要素との間におけるやり取りとして解釈し、且つ、
前記選択されたグラフィカル要素に対応する前記コマンドを眼科手術、治療、又は診断装置に開始する、
ように更に構成されている、システム。

【請求項2】

前記眼トラッカは、
前記追跡対象の眼の前記運動を追跡するように構成された１つ又は複数のセンサ、
を有する請求項１に記載のシステム。

【請求項3】

前記眼トラッカは、
前記追跡対象の眼を照明するように構成された１つ又は複数のイルミネータと、
前記追跡対象の眼の前記運動を追跡するように構成された１つ又は複数のセンサと、
を有する請求項１に記載のシステム。

【請求項4】

前記眼トラッカを有する前記少なくとも１つのアイピースは、
前記画像を受け取り、且つ、前記画像を前記光学経路に沿って前記対応する眼に向かって導き、且つ、
前記対応する眼から反射された光を受け取り、且つ、前記光を前記眼トラッカのセンサに向かって導く、
ように構成されたビームスプリッタを有する請求項１に記載のシステム。

【請求項5】

前記仮想的なＧＵＩを導くように構成された前記光学経路を有する前記アイピースは、前記眼トラッカをも有する請求項１に記載のシステム。

【請求項6】

前記複数のアイピースは、
前記仮想的なＧＵＩを導くように構成された前記光学経路を有する前記アイピースを有する第１アイピースと、
前記眼トラッカを有する第２アイピースと、
を有する請求項１に記載のシステム。

【請求項7】

前記複数のアイピースの前記光学経路は、それぞれ、前記仮想的なＧＵＩを前記対応する眼に向かって導くように構成されている請求項１に記載のシステム。

【請求項8】

前記複数のアイピースは、それぞれ、眼トラッカを有する請求項１に記載のシステム。

【請求項9】

前記グラフィカル要素は、
受け入れるためのコマンドに対応するＯＫ要素と、
増大させるためのコマンドに対応するＰＬＵＳ要素と、
減少させるためのコマンドに対応するＭＩＮＵＳ要素と、
のうちの少なくとも１つを有する請求項１に記載のシステム。

【請求項10】

前記グラフィカル要素は、
前方移動するためのコマンドに対応する「前に」要素と、
後方移動するためのコマンドに対する「次に」要素と、
のうちの少なくとも１つを有する請求項１に記載のシステム。

【請求項11】

前記グラフィカル要素は、選択肢の１つ又は複数のメニューを表示するためのコマンドに対応する「選択肢」要素を有する請求項１に記載のシステム。

【請求項12】

医療装置に装着されるように構成されたマウントを更に有する請求項１に記載のシステム。

【請求項13】

双眼システムを使用して医療装置へのコマンドを入力するための方法であって、眼科手術、治療、又は診断装置を含む前記医療装置は、
コンピュータにより、１つ又は複数のグラフィカル要素を有する仮想的なグラフィカルユーザーインターフェイス（ＧＵＩ）を生成するステップであって、それぞれのグラフィカル要素は、前記医療装置への１つのコマンドに対応する、ステップと、
双眼アイピースの複数のアイピースのうちのそれぞれのアイピースの光学経路により、物体の画像を１対の眼のうちの対応する眼に向かって導くステップと、
少なくとも１つのアイピースの前記光学経路により、前記仮想的なＧＵＩを前記対応する眼に向かって導くステップと、
少なくとも１つのアイピースと関連する眼トラッカにより、眼の追跡をもたらすべく、前記仮想的なＧＵＩとの関係における前記対応する眼の運動を追跡するステップと、
前記眼トラッカを有する前記少なくとも１つのアイピースのビームスプリッタにより、前記画像を受け取り、且つ、前記画像を前記光学経路に沿って前記対応する眼に向かって導くステップと、
前記ビームスプリッタにより、前記対応する眼から反射された光を受け取り、且つ、前記光を前記眼トラッカのセンサに向かって導くステップと、
前記仮想的なＧＵＩとの関係における前記追跡対象の眼の運動を選択されたグラフィカル要素との間におけるやり取りとして解釈するステップと、
前記選択されたグラフィカル要素に対応する前記コマンドを開始するステップと、
を含む方法。

【請求項14】

１つ又は複数のイルミネータによって前記追跡対象の眼を照明するステップと、
１つ又は複数のセンサによって前記追跡対象の眼の前記運動を追跡するステップと、
前記光学経路が前記仮想的なＧＵＩを導くように構成された状態において、前記アイピースのビームスプリッタにより、前記仮想的なＧＵＩを受け取るステップと、
前記ビームスプリッタにより、前記画像を受け取るステップと、
前記ビームスプリッタにより、前記仮想的なＧＵＩ及び前記画像を前記光学経路に沿って前記対応する眼に向かって導くステップと、
を更に有する請求項１３に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、一般に、医療システムの制御に関し、且つ、更に詳しくは、コマンドを入力するための双眼システムに関する。

【背景技術】

【0002】

医療装置は、操作者からのコマンドに応答して様々なアクションを実行することができる。例えば、操作者は、顕微鏡の倍率、焦点、及び輝度を変更するべく、コマンドパネルからコマンドを選択することができる。但し、医療装置用のコマンドの入力は、特別な懸念を有する。コマンドパネルに接触することにより、パネルを汚染する可能性がある。更には、コマンドを入力するべくパネルの一部分を見つめることにより、ユーザーから時間及び注意が奪われる。従って、既知のコマンドパネルは、しばしば、特定の状況に適していない。

【発明の概要】

【課題を解決するための手段】

【0003】

特定の実施形態においては、コマンドを入力するための双眼システムは、コンピュータと、双眼アイピースと、を含む。コンピュータは、１つ又は複数のグラフィカル要素を有する仮想的なグラフィカルユーザーインターフェイス（ＧＵＩ：ｇｒａｐｈｉｃａｌ ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）を生成し、それぞれのグラフィカル要素は１つのコマンドに対応する。双眼アイピースは、複数のアイピースを含む。それぞれのアイピースは、物体の画像を１対の眼のうちの対応する眼に向かって導く光学経路を有する。少なくとも１つのアイピースの光学経路は、仮想的なＧＵＩを対応する眼に向かって導く。少なくとも１つのアイピースは、眼の追跡をもたらすべく、仮想的なＧＵＩとの関係における対応する眼の運動を追跡する眼トラッカと関連付けられている。コンピュータは、仮想的なＧＵＩとの関係における追跡対象の眼の運動を選択されたグラフィカル要素との間におけるやり取りとして解釈し、且つ、選択されたグラフィカル要素に対応するコマンドを開始する。

【0004】

特定の例においては、双眼システムを使用してコマンドを入力するための方法は、コンピュータにより、１つ又は複数のグラフィカル要素を有する仮想的なグラフィカルユーザーインターフェイス（ＧＵＩ）を生成するステップを含む。それぞれのグラフィカル要素は、１つのコマンドに対応する。双眼アイピースのそれぞれのアイピースの光学経路は、物体の画像を１対の眼のうちの対応する眼に向かって導く。少なくとも１つのアイピースの光学経路は、仮想的なＧＵＩを対応する眼に向かって導く。少なくとも１つのアイピースと関連する眼トラッカは、眼の追跡をもたらすべく、仮想的なＧＵＩとの関係における対応する眼の運動を追跡する。仮想的なＧＵＩとの関係における追跡対象の眼の運動が、選択されたグラフィカル要素との間におけるやり取りとして解釈される。選択されたグラフィカル要素に対応するコマンドが開始される。

【0005】

以下の添付の図を参照し、本開示の実施形態について、更に詳しく例として説明する。

【図面の簡単な説明】

【0006】

【図1】図１は、ユーザーが眼の運動によってコマンドを入力することを許容する双眼システムの一実施形態を示す。

【図2】図２は、ユーザーが眼の運動によってコマンドを入力することを許容する双眼システムの別の実施形態を示す。

【図3A-B】図３Ａは、仮想的なＧＵＩの一例を示し、図３Ｂは、図３Ａの仮想的なＧＵＩにおいて表示されうる、選択肢のメニューの例を示す。

【図4】図４は、図１及び図２のシステムと共に使用されうる、眼の運動によってコマンドを入力する方法の一例を示す。

【発明を実施するための形態】

【0007】

以下、説明及び図面を参照すると、開示されている装置、システム、及び方法の例示用の実施形態が詳細に示されている。当業者には明らかなように、開示されている実施形態は、例示を目的としており、且つ、すべての可能な実施形態を網羅したものではない。

【0008】

図１及び図２は、ユーザーが眼の運動によってコマンドを入力することを許容する双眼システム１０の実施形態を示す。図示の例においては、システム１０は、コンピュータ２０と、マウント３４によって装置３２に結合された双眼アイピース２２と、を含む。コンピュータ２０は、インターフェイス４０と、１つ又は複数のプロセッサ４２と、仮想的なＧＵＩ５０、眼の追跡５２、及び装置の制御５４用のコンピュータプログラムなどのロジックを保存する１つ又は複数のメモリ４４と、を含む。双眼アイピース２２は、アイピース２４と、ディスプレイ２９と、眼トラッカ３０と、１つ又は複数のビームスプリッタ３１と、を含む。眼トラッカ３０は、レンズ６０と、センサ６２と、イルミネータ６４と、を含む。

【0009】

動作の一例において、双眼システム１０は、ユーザーが医療装置などの任意の適切な装置３２にコマンドを入力することを許容する。コンピュータ２０は、仮想的なグラフィカルユーザーインターフェイス（ＧＵＩ）を生成し、これは、コマンドに対応するグラフィカル要素を有する画像である。アイピース２４は、それぞれ、１対の眼のうちの対応する眼に向かって物体の画像を導く光学経路２６を有する。また、一方又は両方のアイピース２４の光学経路２６は、対応する眼に向かって仮想的なＧＵＩを導く。一方又は両方のアイピース２４は、仮想的なＧＵＩとの関係における対応する眼の運動を追跡する眼トラッカ３０と関連付けられている。コンピュータ２０は、仮想的なＧＵＩとの関係における追跡対象の眼の運動を選択されたグラフィカル要素との間におけるやり取りとして解釈し、且つ、選択されたグラフィカル要素に対応するコマンドを開始する。

【0010】

特定の実施形態においては、コンピュータ２０は、仮想的なＧＵＩを生成し、これは、光学経路２６に沿って少なくとも１つの眼に供給される。仮想的なＧＵＩは、１つ又は複数の要素を含み、これらは任意の適切なサイズ又は形状を有することができる。それぞれのグラフィカル要素は、通常は、例えば、ユーザーによって定義された選択又は設定を受け入れること、コンピュータ２０内にプログラミングされたユーザーによって選択された動作を実行すること、ユーザーによって要求された情報を表示すること、或いは、その他の適切なアクションなどのアクションを実行するための、装置３２に対するコマンド又は命令に対応する。ユーザーは、自身の注視が、要素の選択をシグナリングする方式によりコマンドに対応するグラフィカル要素とやり取りするようにすることにより、コマンドを入力することができる。やり取りは、例えば、要素の選択を通知する、グラフィカル要素との関係における眼の運動（例えば、眼の注視を運動させること又は導くこと、或いは、眼を瞬きすること）である。例えば、ユーザーは、例えば、少なくとも３、５、又は１０秒などの、少なくとも事前に定義された時間量にわたって、自身の注視を要素に導くことができる。別の例として、ユーザーは、自身の注視を要素に導くことができると共に、例えば、１、２、又は３回などの既定の回数だけ、瞬きすることができる。特定の実施形態においては、やり取りは、ユーザーの身体の別の部分の運動により確認することができる。例えば、ユーザーは、要素を選択するべく自身の注視を要素に向かって導くことができると共に、次いで、例えば、自身の足によってフットペダルを踏むか又は自身の手によって物理的なボタンを押下することにより、要素の選択を確認することができる。特定の実施形態においては、仮想的なＧＵＩは、ユーザーの注視が要素とやり取りしたかどうか又は要素を選択したかどうかを通知することができる。例えば、仮想的なＧＵＩは、ユーザーの注視が選択した要素を強調表示することができる（例えば、その色を相対的に明るくする又は変更することができる）。ユーザーは、例えば、瞬き或いは手又は足の運動により、選択を確認することができる。仮想的なＧＵＩの例については、図３Ａ及び図３Ｂを参照して更に詳細に説明する。

【0011】

双眼アイピース２２のアイピース２４（２４ａ、２４ｂ）は、１対の眼に対応する。一般に、１つのアイピース２４ａは、例えば、左眼などの一方の眼に対応し、且つ、別のアイピース２４ｂは、例えば、右眼などの他方の眼に対応する。アイピース２４は、一般に、アイピース２４を通じて光学経路２６（即ち、光が伝播しうる経路）を定義する１つ又は複数のオプティクスを有する管状形状のハウジングであってよい。オプティクスは、例えば、レンズ、スプリッタ、プリズム、被覆されたガラス、又はミラー、或いは、レンズシステムなどの複数のオプティクスを含むシステムであってよい。アイピース２４（２４ａ、２４ｂ）の経路２６（２６ａ、２６ｂ）は、一般に、物体の画像を１対の眼のうちの対応する眼に向かって導く。例えば、装置３２は、物体の画像をキャプチャする顕微鏡であってよく、且つ、経路２６は、物体の画像を眼に向かって導くことができる。

【0012】

一方又は両方のアイピース２４の経路２６は、コンピュータ２０から仮想的なＧＵＩを受け取ることができると共に、ＧＵＩを対応する眼に向かって導くことができる。図１においては、アイピース２４ａの経路２６ａがＧＵＩを導き、且つ、図２においては、アイピース２４ａ、２４ｂの経路２６ａ、２６ｂがＧＵＩを導く。コンピュータ２０の仮想的なＧＵＩプログラム５０が、仮想的なＧＵＩを記述する画像データを生成する。画像データはディスプレイ２９に送信され、ディスプレイ２９がＧＵＩを表示する。例えば、発光ダイオード（ＬＥＤ：ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）、マイクロ有機発光ダイオード（マイクロＯＬＥＤ）を使用するディスプレイ、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ－ｃｒｙｓｔａｌ ｄｉｓｐａｌｙ）、デジタル光処理（ＤＬＰ：ｄｉｇｉｔａｌ ｌｉｇｈｔ ｐｒｏｃｅｓｓｉｎｇ）、ＬＣｏＳ（ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｏｎ ｓｉｌｉｃｏｎ）、又はＬＥＤビーマ技術などの、任意の適切なディスプレイを使用することができる。ディスプレイ２９は、任意の適切なサイズ及び形状を有することができると共に、任意の適切な場所に位置することができる。図１においては、ディスプレイ２９は、仮想的なＧＵＩ及び物体の画像を受け取ると共に反射し且つこれらを経路２６に沿って導くビームスプリッタ３１の近傍に位置する。図２においては、ディスプレイ２９は、仮想的なＧＵＩ及び物体の画像を受け取ると共に反射し且つこれらを経路２６に沿って導くビームスプリッタ３１の近傍に位置する。その他の実施形態においては、ディスプレイ２９は、眼の近傍のアイピース２４の端部に向かって配置することができると共に、眼は、ディスプレイ２９から直接的に仮想的なＧＵＩを観察することができる。

【0013】

少なくとも１つのアイピース２４は、仮想的なＧＵＩとの関係における眼の運動を追跡し、これにより、注視が導かれた、即ち、眼が見ているＧＵＩのエリアを通知する眼トラッカ３０と関連付けられている。「眼トラッカ３０と関連付けられたアイピース２４（並びに、逆も又真である）」とは、眼トラッカ３０がアイピース２４に対応する眼を追跡することを意味する。例えば、「右」アイピース２４は右眼に対応する。右アイピース２４に対応する眼トラッカ３０は右眼を追跡する。

【0014】

眼トラッカ３０は、眼の運動を追跡しうる任意の適切な場所において配置することができる。図１及び図２においては、アイピース２４ａは眼トラッカ３０を含む。その他の実施形態においては、アイピース２４ｂが眼トラッカ３０を含み、或いは、両方のアイピース２４ａ、２４ｂが眼トラッカ３０を含む。更には、アイピース２４は眼トラッカ３０及び仮想的なＧＵＩを導く経路２６を含んでもよく、或いは、一方のアイピース２４が眼トラッカ３０を含んでもよく、且つ、他方のアイピース２４が仮想的なＧＵＩを導く経路２６を有してもよい。

【0015】

更にその他の実施形態においては、眼トラッカ３０の１つ又は複数の部分は、アイピース２４とは別個である。例えば、図２に示されているセンサ６２（並びに、任意選択により、イルミネータ６４）は、例えば、アイピース２４ａの上部の上方において、且つ、これとは分離された状態において、アイピース２４ａと眼との間において配置されたリングに装着することが可能であり、或いは、アイピース２４ａに（恐らくは、着脱自在に）直接的に結合することができよう。このようなリングは、眼トラッカ２４を既存の双眼アイピース２２に後から取り付けるか、又は、１つの眼トラッカ２４を別の眼トラッカ２４によって置換する、ことを許容することができる。いくつかの実施形態においては、このようなリングは、眼の追跡が望ましい際に眼トラッカ２４を経路２６内に挿入し、且つ、眼の追跡が望ましくない際に眼トラッカ２４を経路２６から除去する、ことを許容することができる。

【0016】

眼トラッカ３０は、例えば、角膜（例えば、前部表面）、瞳孔中心、角膜輪部、水晶体（後部表面）、及び／又は眼のその他の部分から、などの、眼からの光反射を検出する１つ又は複数のセンサ６２を有する。センサ６２は、光を記述する画像データを生成し、且つ、画像データをコンピュータ２０に送信する。センサ６２は、眼の運動を追跡しうる任意の適切な場所において配置することができる。図１においては、眼からの反射は経路２６ａに沿って伝播し、且つ、ビームスプリッタ３１及びレンズ６０が、反射をセンサ６２に導いている。図２においては、眼の近傍のアイピース２４ａに沿って配置されたセンサ６２が、眼からの反射を検出する。例えば、ビデオカメラ又は電荷結合素子（ＣＣＤ：ｃｈａｒｇｅ－ｃｏｕｐｌｅｄ ｄｅｖｉｃｅ）、相補型金属酸化膜半導体（ＣＭＯＳ：ｃｏｍｐｌｅｍｅｎｔａｒｙ ｍｅｔａｌ－ｏｘｉｄｅ－ｓｅｍｉｃｏｎｄｕｃｔｏｒ）、又はプロファイルセンサなどの、任意の適切なセンサ６２を使用することができる。プロファイルセンサは、行及び／又は列内のすべてのピクセルの値を単一の値に要約することにより、動作する。例えば、３０～５０、５０～２００、２００～５００、５００～１０００、又は１０００Ｈｚ超の範囲内のレートなどの、任意の適切なサンプリングレートを使用することができる。

【0017】

特定の実施形態においては、眼トラッカ３０は、センサ６２によって検知されうる反射を生成するべく、光によって追跡対象の眼を照明する１つ又は複数のイルミネータ６４を有する。イルミネータ６４は、例えば、可視又は赤外光などの任意の適切な光により、照明することができる。例えば、ＬＥＤイルミネータ、ハロゲンランプ、又はその他の適切なイルミネータなどの、任意の適切なイルミネータを使用することができる。その他の実施形態においては、イルミネータ６４を使用しないでもすむように、装置からの光又は周辺光は、眼を照明するべく十分なものでありうる。

【0018】

コンピュータ２０の眼追跡プログラム５２は、仮想的なＧＵＩとの関係における追跡対象の眼の運動を、選択されたグラフィカル要素との間におけるやり取りとして解釈し、且つ、装置制御プログラム５４は、選択されたグラフィカル要素に対応するコマンドを開始する。眼追跡プログラム５２は、センサ６２からの画像データから眼の注視方向を判定するべく、既知のアルゴリズムを含む。プロセッサ４２は、注視方向を判定するべく、アルゴリズムに基づいて計算を実行する。これに加えて、眼追跡プログラムは、例えば、瞬きなどの、眼のその他の運動を検出することもできる。注視方向及び仮想的なＧＵＩの位置が与えられると、プロセッサ４２は、要素の選択を示す方式により、注視がＧＵＩの要素との間においてやり取りをしたかどうかを判定する。要素が選択されている場合には、装置制御プログラム５４が、選択された要素に対応するコマンドを開始する。

【0019】

眼に、且つ、センサ６２に光を導くべく、オプティクスを使用することができる。例えば、図１及び図２においては、ビームスプリッタ３１が仮想的なＧＵＩを受け取り、装置３２によってキャプチャされた物体の画像を受け取り、且つ、仮想的なＧＵＩ及び画像を光学経路に沿って対応する眼に向かって導く。別の例として、図１においては、ビームスプリッタ３１が眼から反射された光を受け取り、且つ、光を眼トラッカ３０のセンサ６２に向かって導く。

【0020】

双眼システム１０は、ユーザーが、医療装置などの任意の適切な装置３２に眼の運動によってコマンドを入力することを許容する。医療装置の例は、眼科手術、治療、又は診断装置を含む。双眼アイピース２２を装置３２に接続するべく、マウント３４を使用することができる。マウント３４は、装置３２に対する双眼アイピース２２の接続を許容する任意の適切なサイズ及び形状を有することができる。

【0021】

図３Ａは、仮想的なＧＵＩ８０の一例を示し、且つ、図３Ｂは、仮想的なＧＵＩ８０内において表示されうる選択肢のメニューの例を示す。図示の例においては、仮想的なＧＵＩ８０は、双眼アイピース２２を通じて観察される物体８２の画像上にオーバーレイされる。仮想的なＧＵＩ８０は、「選択肢」要素８４、選択肢表示エリア８６、「前に」要素８８、「次に」要素９０、及びＯＫ要素９２を含む、眼の注視を介して選択されうるグラフィカル要素を含む。「選択肢」要素８４は、選択肢の１つ又は複数のメニューを表示するためのコマンドに対応する。メニューは、ユーザーが眼の注視を介して選択しうる選択肢を列挙する。例示用のメニューは、手順要素９４、レンズ要素９６、顕微鏡要素９８、及びオン／オフ要素１００を含む。手順要素９４は、選択されうる手術手順を列挙し、且つ、レンズ要素９６は、選択されうるレンズのタイプを列挙する。顕微鏡要素９８は、特徴を増大させるためのコマンドに対応するＰＬＵＳ要素、或いは、特徴を減少させるためのコマンドに対応するＭＩＮＵＳ要素、を選択することにより調節することができる顕微鏡の特徴を列挙する。オン／オフ要素１００は、仮想的なＧＵＩをターンオン又はオフするべく選択することができる。

【0022】

「前に」要素８８は、例えば、前のメニューに、メニューリスト上の前の選択肢に、或いは、手術手順における前のステップに、移動する、などのように、後方移動するためのコマンドに対応する。「次に」要素９０は、例えば、次のメニューに、或いは、メニューのリスト上の次の選択肢に、移動する、などのように、前方移動するためのコマンドに対応する。ＯＫ要素９２は、受け入れるためのコマンドに対応する。例えば、ユーザーはメニューから選択肢を選択することができると共に、仮想的なＧＵＩ８０は、選択された選択肢を確認するべく、ユーザーに照会する質問を表示することができる。ユーザーは、確認するためにＯＫ要素９２を選択することができる。当然のことながら、仮想的なＧＵＩ８０は、任意の適切なコマンドを実行しうる（任意の適切なサイズ又は形状の）任意の適切なグラフィカル要素を有することができる。

【0023】

図４は、図１及び図２のシステム１０と共に使用されうる、眼の運動によってコマンドを入力する方法の一例を示す。方法はステップ１１０において始まり、ここでは、双眼アイピース２２が、ユーザーの少なくとも１つの眼によって観察されうる仮想的なＧＵＩを表示する。ステップ１１２において、ユーザーの眼の眼運動は、ステップ１１４及び１１６を介して追跡される。ステップ１１４において、イルミネータ６４が眼を照明する。ステップ１１６において、センサ６２が、眼から反射された光を検出することにより眼の運動を検出する。センサ６２は光を記述する画像データを生成し、且つ、画像データをコンピュータ２０に送信する。

【0024】

ステップ１１８において、コンピュータ２０はユーザーがコマンドを選択したかどうかを判定する。コンピュータ２０は、仮想的なＧＵＩとの関係における眼の運動が、ＧＵＩのグラフィカル要素の選択に対応し、ユーザーが要素に対応するコマンドを選択したことを通知しているかどうかを判定する。コマンドが選択されていない場合には、方法は、眼の運動の追跡を継続するべくステップ１１２に戻る。コマンドが選択されている場合には、方法は、選択されたコマンドを開始するべくステップ１２０に進む。ステップ１２２において、方法は、ユーザーが仮想的なＧＵＩをターンオフするためのコマンドを入力したかどうかをチェックする。ＧＵＩをターンオフするためのコマンドが存在しない場合には、方法は、眼の運動の追跡を継続するべくステップ１１２に戻る。コマンドが存在する場合には、方法はＧＵＩをターンオフするべくステップ１２４に進み、且つ、方法は終了する。

【0025】

本明細書において開示されているシステム及び装置のコンポーネント（例えば、コンピュータ）は、インターフェイス、ロジック、及び／又はメモリを含んでいてもよく、これらのうちの任意のものは、ハードウェア及び／又はソフトウェアを含んでいてもよい。インターフェイスは、コンポーネントに対する入力を受け取ることが可能であり、コンポーネントからの出力を提供することが可能であり、且つ／又は、入力及び／又は出力を処理することができる。ロジックは、例えば、入力から出力を生成するための命令を実行するなどのように、コンポーネントの動作を実行することができる。ロジックは、１つ又は複数のコンピュータ又は１つ又は複数のマイクロプロセッサ（例えば、コンピュータ内に存在するチップ）などの、プロセッサであってよい。ロジックは、コンピュータプログラム又はソフトウェアなどの、コンピュータによって実行されうる、メモリ内においてエンコーディングされたコンピュータ実行可能命令であってよい。メモリは、情報を保存することが可能であり、且つ、１つ又は複数の有体の一時的ではないコンピュータ可読のコンピュータ実行可能なストレージ媒体を有することができる。メモリの例は、コンピュータメモリ（例えば、ランダムアクセスメモリ（ＲＡＭ：Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）又は読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ））、マスストレージ媒体（例えば、ハードディスク）、着脱自在のストレージ媒体（例えば、コンパクトディスク（ＣＤ：Ｃｏｍｐａｃｔ Ｄｉｓｋ）又はデジタルビデオディスク（ＤＶＤ：Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｄｉｓｋ））、及びネットワークストレージ（例えば、サーバー又はデータベース）を含む。

【0026】

本開示は特定の実施形態の観点において記述されているが、（置換、追加、変更、又は省略などの）実施形態の変更が、当業者には、明らかとなろう。従って、本発明の範囲を逸脱することなしに、変更を実施形態に対して実施することができる。例えば、変更は、本明細書において開示されているシステム及び装置に対して実施することができる。システム及び装置のコンポーネントは、統合又は分離されてもよく、且つ、システム及び装置の動作は、更に多くの、更に少ない、又はその他の、コンポーネントによって実行されてもよい。別の例として、変更は、本明細書において開示されている方法に対して実施することもできる。方法は、更に多くの、更に少ない、又はその他の、ステップを含んでいてもよく、且つ、ステップは、任意の適切な順序において実行されてもよい。

【図1】

【図2】

【図3A-B】

【図4】