特許 7472300 視線追跡

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-04-12

(45)【発行日】2024-04-22

(54)【発明の名称】視線追跡

(51)【国際特許分類】

   A61B 3/113 20060101AFI20240415BHJP

【ＦＩ】

A61B3/113

【請求項の数】 10

(21)【出願番号】P 2022550670

(86)(22)【出願日】2021-02-12

(65)【公表番号】

(43)【公表日】2023-04-05

(86)【国際出願番号】 FI2021050098

(87)【国際公開番号】W WO2021165570

(87)【国際公開日】2021-08-26

【審査請求日】2024-01-25

(31)【優先権主張番号】20205182

(32)【優先日】2020-02-21

(33)【優先権主張国・地域又は機関】FI

【早期審査対象出願】

(73)【特許権者】

【識別番号】522330946

【氏名又は名称】シートゥルー テクノロジーズ オーイー

【氏名又は名称原語表記】ＳＥＥＴＲＵＥ ＴＥＣＨＮＯＬＯＧＩＥＳ ＯＹ

(74)【代理人】

【識別番号】100107364

【弁理士】

【氏名又は名称】斉藤 達也

(72)【発明者】

【氏名】トイヴァネン，ミイカ

(72)【発明者】

【氏名】ルカンダー，クリスチャン

(72)【発明者】

【氏名】ベドナリック，ローマン

(72)【発明者】

【氏名】バルトチャック，ピオトル

【審査官】増渕 俊仁

(56)【参考文献】

【文献】特開２００６－７５３４８（ＪＰ，Ａ）

【文献】特開２０１７－１１１７４６（ＪＰ，Ａ）

【文献】中国特許出願公開第１１０４４１９０１（ＣＮ，Ａ）

【文献】欧州特許第３１２９８４９（ＥＰ，Ｂ１）

【文献】米国特許出願公開第２０１６／０２１０５０３（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１８／０３３５８４０（ＵＳ，Ａ１）

【文献】米国特許出願公開第２０１９／００５０６６４（ＵＳ，Ａ１）

【文献】米国特許第６００５７１０（ＵＳ，Ａ）

【文献】国際公開第２０１９／１９０５６１（ＷＯ，Ａ１）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ａ６１Ｂ ３／００－３／１８

(57)【特許請求の範囲】

【請求項1】

少なくとも１つの処理コア（２１０）と、コンピュータプログラムコードを含む少なくとも１つのメモリ（２２０）と、を含む装置（２００）であって、前記少なくとも１つのメモリ（２２０）及び前記コンピュータプログラムコードは、前記少なくとも１つの処理コア（２１０）とともに、少なくとも、前記装置（２００）に、
ユーザの眼の第１及び第２のフィーチャの位置と、前記ユーザの視線距離と、に少なくともある程度基づいて３次元空間内で基準点を決定するステップ（３４０）と、
眼に近い光学デバイスを使用している前記ユーザの推定注視点及び／又は推定視線方向を取得する為に、前記基準点を前記眼に近い光学デバイスの見えているシーンにマッピングするステップ（３７０）であって、前記マッピングは、前記ユーザに関連付けられた較正情報に少なくともある程度基づき、前記眼に近い光学デバイスがライトガイドを含む、前記マッピングするステップと、
を行わせるように構成されており、
前記眼に近い光学デバイスが接眼デバイスを含むことと、前記装置が、前記ライトガイドと仮想平面との間の距離を最小化して、前記仮想平面を前記ライトガイドの位置にフィッティングすること、前記仮想平面を、ランダムに生成されるか又はユーザ較正に基づく距離だけその法線方向にシフトさせること、及び、前記シフトされた仮想平面と、前記ユーザの眼の前記第１及び第２のフィーチャをトラバースするベクトルと、の交点を計算することによって、前記視線距離を取得する（３５０）ように構成されていることと、を特徴とする、
装置（２００）。

【請求項2】

前記ユーザの眼の前記第１及び第２のフィーチャは角膜中心及び瞳中心である、請求項１に記載の装置（２００）。

【請求項3】

前記装置は更に、前記較正情報を、較正プロセスに基づく較正行列として取得するように構成されており、前記較正プロセスでは、前記ユーザが３つ以上の標的点を順番に見つめ、前記較正において使用された各標的点ごとに別々の較正基準点が前記３次元空間内で決定される、請求項１又は２に記載の装置（２００）。

【請求項4】

前記眼に近い光学デバイスは顕微鏡であり、装置は、前記ユーザの２つの眼のそれぞれに対して別々に前記視線方向を取得するように構成されている、請求項１から３のいずれか一項に記載の装置（２００）。

【請求項5】

前記装置は、前記眼に近い光学デバイスに含まれる、請求項１から４のいずれか一項に記載の装置（２００）。

【請求項6】

ユーザの眼の第１及び第２のフィーチャの位置と、前記ユーザの視線距離と、に少なくともある程度基づいて３次元空間内で基準点を決定するステップ（３４０）と、
眼に近い光学デバイスを使用している前記ユーザの推定注視点及び／又は推定視線方向を取得する為に、前記基準点を前記眼に近い光学デバイスの見えているシーンにマッピングするステップ（３７０）であって、前記マッピングは、前記ユーザに関連付けられた較正情報に少なくともある程度基づき、前記眼に近い光学デバイスがライトガイドを含む、前記マッピングするステップと、
を含む方法であって、
前記眼に近い光学デバイスが接眼デバイスを含むことと、前記ライトガイドと仮想平面との間の距離を最小化して、前記仮想平面を前記ライトガイドの位置にフィッティングすること、前記仮想平面を、ランダムに生成されるか又はユーザ較正に基づく距離だけその法線方向にシフトさせること、及び、前記シフトされた仮想平面と、前記ユーザの眼の前記第１及び第２のフィーチャをトラバースするベクトルと、の交点を計算することによって、前記視線距離を取得する（３５０）ことと、によって特徴付けられる、
方法。

【請求項7】

前記較正情報を、較正プロセスに基づく較正行列として取得するステップを更に含み、前記較正プロセスでは、前記ユーザが３つ以上の標的点を順番に見つめ、前記較正において使用された各標的点ごとに別々の較正基準点が前記３次元空間内で決定される、請求項６に記載の方法。

【請求項8】

前記眼に近い光学デバイスは顕微鏡であり、前記方法は更に、前記ユーザの２つの眼のそれぞれに対して別々に前記視線方向を取得するステップを含む、請求項６又は７のいずれか一項に記載の方法。

【請求項9】

前記ユーザの前記推定注視点及び／又は前記視線方向に少なくともある程度基づいて顕微鏡を制御するステップと、前記較正情報に基づいて前記ユーザを識別するステップと、のうちの少なくとも一方を更に含む、請求項６から８のいずれか一項に記載の方法。

【請求項10】

少なくとも１つのプロセッサ（２１０）によって実行された場合に、少なくとも、
ユーザの眼の第１及び第２のフィーチャの位置と、前記ユーザの視線距離と、に少なくともある程度基づいて３次元空間内で基準点を決定するステップ（３４０）と、
眼に近い光学デバイスを使用している前記ユーザの推定注視点及び／又は推定視線方向を取得する為に、前記基準点を前記眼に近い光学デバイスの見えているシーンにマッピングするステップ（３７０）であって、前記マッピングは、前記ユーザに関連付けられた較正情報に少なくともある程度基づき、前記眼に近い光学デバイスがライトガイドを含む、前記マッピングするステップと、
を装置（２００）に行わせるコンピュータ可読命令セットが記憶されている非一時的コンピュータ可読媒体であって、
前記眼に近い光学デバイスが接眼デバイスを含むことと、前記ライトガイドと仮想平面との間の距離を最小化して、前記仮想平面を前記ライトガイドの位置にフィッティングすること、前記仮想平面を、ランダムに生成されるか又はユーザ較正に基づく距離だけその法線方向にシフトさせること、及び、前記シフトされた仮想平面と、前記ユーザの眼の前記第１及び第２のフィーチャをトラバースするベクトルと、の交点を計算することによって、前記視線距離を取得する（３５０）ことと、によって特徴付けられる、

非一時的コンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、ユーザの視線の方向及び／又は標的を特定することに関する。

【背景技術】

【0002】

ユーザが何を見ているかを特定することは、様々な分野における関心事である。例えば、身体障害者が視線追跡器を装備することにより、文字を入力して語句や文を作成することが可能になりうる。別の例として、救急車の運転者が救急車の設備を安全に操作することが可能になりうる。或いは、原子力発電所のオペレータの視線をシフト中に追跡することにより、疲労の発現を検出することが可能である。

【0003】

視線追跡は、異なる幾つかの技術に基づいて行われてよく、それらの技術の共通の特徴の１つとして、片眼又は両眼の位置を測定することにより、例えば、デバイスを制御する為に視線追跡システムに入力される情報が取得される。

【発明の概要】

【発明が解決しようとする課題】

【0004】

本発明は、上記従来の技術における課題を解決するためになされたものである。

【課題を解決するための手段】

【0005】

幾つかの態様によれば、独立請求項の対象が提供される。幾つかの実施形態は従属請求項で定義される。

【0006】

本開示の第１の態様によれば、少なくとも１つの処理コアと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を含む装置が提供され、少なくとも１つのメモリ及びコンピュータプログラムコードは、少なくとも１つの処理コアとともに、少なくとも、ユーザの眼の第１及び第２のフィーチャの位置と、ユーザの視線距離と、に少なくともある程度基づいて３次元空間内で基準点を決定するステップと、
眼に近い光学デバイスを使用しているユーザの推定注視点及び／又は推定視線方向を取得する為に、基準点を眼に近い光学デバイスの見えているシーンにマッピングするステップであって、マッピングは、ユーザに関連付けられた較正情報に少なくともある程度基づく、上記マッピングするステップと、を装置に行わせるように構成されている。

【0007】

本開示の第２の態様によれば、ユーザの眼の第１及び第２のフィーチャの位置と、ユーザの視線距離と、に少なくともある程度基づいて３次元空間内で基準点を決定するステップと、眼に近い光学デバイスを使用しているユーザの推定注視点及び／又は推定視線方向を取得する為に、基準点を眼に近い光学デバイスの見えているシーンにマッピングするステップであって、マッピングは、ユーザに関連付けられた較正情報に少なくともある程度基づく、上記マッピングするステップと、を含む方法が提供される。

【0008】

本開示の第３の態様によれば、少なくとも１つのプロセッサによって実行された場合に、少なくとも、ユーザの眼の第１及び第２のフィーチャの位置と、ユーザの視線距離と、に少なくともある程度基づいて３次元空間内で基準点を決定するステップと、眼に近い光学デバイスを使用しているユーザの推定注視点及び／又は推定視線方向を取得する為に、基準点を眼に近い光学デバイスの見えているシーンにマッピングするステップであって、マッピングは、ユーザに関連付けられた較正情報に少なくともある程度基づく、上記マッピングするステップと、を装置に行わせるコンピュータ可読命令セットが記憶されている非一時的コンピュータ可読媒体が提供される。

【図面の簡単な説明】

【0009】

【図1A】本発明の少なくとも幾つかの実施形態によるシステムの一例を示す。

【図1B】本発明の少なくとも幾つかの実施形態による座標マッピングを示す。

【図2】本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置の一例を示す。

【図3】本発明の少なくとも幾つかの実施形態による一方法のフローグラフである。

【図4】視線距離を決定する方法の一例を示す。

【発明を実施するための形態】

【0010】

本明細書で開示するのは、眼に近い光学デバイス（例えば、顕微鏡や双眼鏡のような接眼デバイス）の為の視線追跡方法である。ユーザの頭部が動いても（少なくともある程度は）不変である、信頼できる視線追跡を接眼デバイス内で達成する為に、ユーザの視線の方向及び距離に基づいて３次元空間内に基準点が決定され、基準点は、較正プロセスにおいてユーザから取得された較正行列に基づいて、見えているシーンの中の一点にマッピングされる。従って、有利なことに、（カメラ等の）視線追跡センサの座標系と（例えば、シーンカメラで取得可能な）ユーザに見えているシーンの座標系との間の座標変換の特性を決定する必要がない。見えているシーンは様々な技術で取得されて（そのような技術として、網膜投射、画像投影、画像融合及びインジェクションがあり、これらに限定されない）、提示の例のようにシーンカメラで表示又はキャプチャされることが可能である。実際、そのような特性を決定することは、レンズ、フィルタ、ビームスプリッタ、ライトガイド、及び／又はミラー等の複数の光学部品を使用する眼に近い光学デバイスの場合には困難である可能性がある。眼に近い光学デバイスの例として、顕微鏡等の接眼デバイスがある。視線追跡方法の望ましい特徴の１つは、測定センサに対して、眼が動いても不変であることである。

【0011】

図１Ａは、本発明の少なくとも幾つかの実施形態によるシステムの一例を示す。図はユーザの眼１００を示しており、これは瞳１１０を含む。図示の例では、ユーザは顕微鏡１２０を使用している。これは、接眼デバイス、又は一般に、眼に近い光学デバイスの一例である。顕微鏡１２０は、レンズ、フィルタ、ビームスプリッタ、ライトガイド、及び／又はミラー等の複数の光学部品を含み、これらは概略的に参照符号１３０で示してある。試料が顕微鏡越しにプレート１４０上に見える。プレート１４０は、例えば、ガラス製であってよく、試料を下から照らすことが可能である。プレート１４０上に、２つの可能な視線標的１５０を概略的に示す。

【0012】

顕微鏡のユーザの視線を追跡することにより、被検試料をユーザがどのように観察しているか（例えば、試料のどの部分にユーザが注目しているか、どれだけの時間、どのような視線戦略をユーザが用いているか）に関する貴重な情報が得られる。更に、瞳のサイズが推定されてよい。この情報を使用して、教育目的で、並びに画像領域に注釈を付けることを支援する為に、ユーザの認識、作業負荷、及び専門性のレベルを推定することが可能である。視線情報は、光学デバイス（例えば、顕微鏡等）の機能を制御することに使用可能である。これにより、手動制御を減らすことが可能である。

【0013】

病理学者や実験室研究者が試料プレート上の注視点を使用して、試料を動かすように顕微鏡をガイドすることも可能である。別の例として、人間かもしれない標的をユーザが見ているときにデジタルビューファインダに可視表示が与えられてよい。更に、識別された注視点に基づいて、試料と、試料の分析がどの程度行われているか（例えば、閾値に達しているかどうか）を示すメタデータとが自動的に関連付けられてよい。例えば、試料は、その含有物の少なくとも７０％に対して分析が行われなければならない。

【0014】

図１Ａのシステムでは、視線追跡カメラ（簡潔さの為に図示せず）が眼１００を画像化するように構成されている。視線追跡カメラは眼１００を下から画像化してよく、視線追跡カメラは、例えば、使用されている接眼デバイスに含まれて、接眼デバイス内の、可視光を通すが赤外線を通さない半透過性ミラーを介して眼を画像化することが可能であってよい。眼は、この目的の為に、ガイドライト又は光成形素子又は光生成素子で照らされてよく、例えば、可視光又は赤外（ＩＲ）光で照らされてよく、これらは、例えば、発光ダイオード（ＬＥＤ）で生成されてよい。ＩＲ光の利点は、光が人間の眼に見えない為にユーザの目障りにならないことである。ＩＲ光は又、ユーザが見ている又は環境内で見えている可視光源の照明及び反射を除去することを可能にし、これは照明方式を制御することに役立つ。図１Ｂに示した角膜の形状は、眼の湿った表面における光の輝きに基づいて、眼が向きを変えた方向に関する情報を抽出することを可能にする。ユーザの眼の情報をキャプチャすることが可能な視線追跡センサ（例えば、カメラセンサ等）は、眼のデジタルビデオデータ又はデジタルスチルデータを生成する為に、例えば、電荷結合素子（ＣＣＤ）技術、相補型金属酸化膜半導体（ＣＭＯＳ）技術、及び／又は感光性フォトダイオードを少なくとも部分的にベースとしてよい。そのような、眼のデジタルビデオデータ又はデジタルスチルデータは、ガイドライトの反射（輝き）を含んでよい。

【0015】

同様に、図１Ａのシステムでは、シーンカメラ（簡潔さの為に図示せず）がプレート１４０を画像化するように構成されている。シーンカメラも同様に、試料のデジタルビデオデータ又はデジタルスチルデータを生成する為に、例えば、ＣＣＤ技術をベースとしてよい。シーンカメラ及び視線追跡カメラは、眼１００及びプレート１４０のタイムアライメントされた画像を生成する為に、互いに同期してよい。

【0016】

一般に視線追跡では、視線追跡カメラの３Ｄ座標系からシーンカメラの３Ｄ座標系への変換が必要とされうる。視線追跡カメラは、眼が向きを変えた方向を特定することを可能にする為に、上述のように、ライトガイドから支援を受けて輝きを生成することが可能である。しかしながら、接眼デバイスの場合は、光学機器１３０が存在する為に、３Ｄ注視点をシーンカメラの２Ｄ座標に投影することがより困難になる。

【0017】

幾つかの視線追跡ソリューションは、ユーザの頭部の、視線追跡カメラに対して相対的な動きに敏感である。そのような場合、あるユーザに関して較正が行われた後にそのユーザが動いた場合、視線追跡結果は不正確になる。同様に、当該の光学デバイスが操作中に動いた場合も、同様のアライメントずれエラーが発生する。接眼デバイスの典型的な使用セッションは、最適な視野角を調節する為の頭部の絶え間ない小さな動き、又はユーザが接眼デバイスのビューの外から対象物を見る為に操作姿勢から外れたりそこに戻ったりすることによる頭部の動きを含む。そのような頭部の動きに起因する不正確さが視線追跡の妨げになる。本明細書に開示の方法は、上述の不要な頭部の動きや操作姿勢に入ったり外れたりすることがあってもロバストな視線追跡を可能にする。

【0018】

視線追跡のこれまでの取り組みの多くは、視線追跡座標からシーンカメラ座標への２次元（２Ｄ）マッピングを採用しており、これはロバスト性で３次元（３Ｄ）アルゴリズムに劣る。しかしながら、３Ｄアプローチは実施するには複雑である。これは、３Ｄ注視点がその中で計算されることになる視線追跡カメラ座標系と、２Ｄシーンカメラ座標系との間の投影を算出することが光学機器１３０の影響の為に簡単ではない為である。

【0019】

視線追跡カメラの座標系からシーンカメラの座標系への変換を定義することの困難さを克服する為に、２フェーズの視線追跡方法を用いてよい。第１のフェーズでは、視線追跡カメラからのデータを処理して、ユーザの瞳の中心とユーザの角膜の中心とを特定してよい。これらを本明細書では瞳中心Ｐｃ及び角膜中心Ｃｃと呼ぶ。これらは、３次元空間において、光学ベクトルＬが、これらの点をトラバースして視線の方向を確定する正規化ベクトルとして決定されることを可能にする点として決定されてよい。角膜中心から光学ベクトルの方向に視線距離ｄだけ進むことによって光学点Ｏｐ（本明細書では基準点とも呼ぶ）が決定されてよい（即ち、Ｏｐ＝Ｃｃ＋ｄ＊Ｌ）。幾つかの実施形態では、角膜及び瞳とは別の、眼の３Ｄフィーチャを使用して、その眼に関係する３Ｄ光学点が計算される。より大まかには、第１の眼フィーチャと第２の眼フィーチャとを使用して、光学点が取得されてよい。角膜及び瞳以外の眼フィーチャの例として虹彩があり、従って、第１及び第２の眼フィーチャは、例えば、虹彩及び瞳を含んでよい。

【0020】

視線距離は次のように決定されてよい。即ち、第１に、ライトガイド（の、例えば、ＩＲ ＬＥＤの場所）に仮想平面が設定されてよい。第２に、その仮想平面が、仮想平面に垂直な方向に、ユーザから一定値だけ離れるようにシフトされてよい。その一定値は推測されるか、ユーザ較正時に推定される。第３に、シフトされた平面と（パラメータ化された）ベクトルＣｃ＋ｄ＊Ｌとの交点が計算される（即ち、ｄが求められる）。従って、視線距離は、測定のたびに推定されてよく、毎回少なくとも若干異なってよい。別の方法で視線距離を決定することも可能である。視線距離は、眼から、ユーザの視線がフォーカスされる場所までの距離である。

【0021】

図４は、視線距離推定の一例を示す。ＬＥＤ内にＬＥＤ平面が設定される。これは、ＬＥＤと仮想平面との間の距離が最小になるように行われる。視線距離を推定する為に、仮想平面の場所を数学的に変化させる。これは、仮想平面がＬＥＤ素子に設定されたときに、ＬＥＤ平面に垂直な方向に距離Ｄ＿ｆｉｘｅｄだけ仮想平面が目から離れるように行われる。この結果、仮想平面は、図４に示したビューイング平面の場所にある。距離Ｄ＿ｆｉｘｅｄは、推測されてよく、又はユーザ較正時に推定されてよく、又は先行知識に基づいて既知であってよい。光学点Ｏｐは、ベクトル（Ｃｃ＋ｄＬ）とビューイング平面との交点として画定される。図には、３つの可能な光学ベクトルと、それぞれに対応する光学点Ｏｐ１、Ｏｐ２、及びＯｐ３を示している。

【0022】

基準点の３つの座標が決定されたら、全体で２フェーズのプロセスの第２のフェーズにおいて、３Ｄ基準点が２次元シーンカメラ座標系にマッピングされてよく、それにより、ユーザの較正行列Ｋを使用して注視点Ｇｐが次式のように得られる。

【0023】

Ｇｐ＝Ｋ＊Ｏｐ

【0024】

較正行列Ｋは、ユーザと較正手順を実施することによって決定されてよい。ユーザは幾つかの標的点に視線を定める。標的点の数は、少なくとも３以上であってよい。標的点は、理想的な動作の為には直線配列であってはならず、例えば、標的点は、標的点が直線上に配置される直線配列を避ける標的点のグリッドを形成してよい。各標的点ごとに視線追跡カメラから較正サンプルが収集され、これは注釈付き標的点Ｇｐ＿ｔｒｕｔｈ及び光学点を構成する。集められたこれらの較正サンプルは行列方程式を形成し、この行列方程式から較正行列Ｋを解くことが可能である。３次元空間の、光学点が決定される場所にある較正基準点が標的点のそれぞれに対応する。標的点及びサンプルの数が多いほど、較正行列に基づく視線追跡の正確さが高まることが期待される。本明細書では較正行列について論じているが、より一般的には較正情報が使用されてよい。

【0025】

全体として、本手順は、視線追跡カメラの２次元画素シーンから第１及び第２の眼フィーチャを取得するものとして特徴付けられてよい。第１及び第２の眼フィーチャの例として、角膜中心及び瞳中心がある。３Ｄ空間内の第１及び第２の眼フィーチャの場所から３次元座標系での基準点が決定され、その基準点から、２次元シーンカメラビューでの注視点が取得される。注視点の座標は、注視点がシーンカメラのビューの外側にある場合でもシーンカメラの座標系内で決定されうる。

【0026】

視線追跡カメラの出力から角膜中心及び瞳中心を取得することは、例えば、ヘネシー（Ｈｅｎｎｅｓｓｅｙ）、クレイグ（Ｃｒａｉｇ）、ボーナ・ヌレディン（Ｂｏｒｎａ Ｎｏｕｒｅｄｄｉｎ）、ピーター・ローレンス（Ｐｅｔｅｒ Ｌａｗｒｅｎｃｅ）、２００６年、「頭部自由運動状況下における単一カメラ視線追跡システム（Ａ Ｓｉｎｇｌｅ Ｃａｍｅｒａ Ｅｙｅ－Ｇａｚｅ Ｔｒａｃｋｉｎｇ Ｓｙｓｔｅｍ ｗｉｔｈ Ｆｒｅｅ Ｈｅａｄ Ｍｏｔｉｏｎ）」、視線追跡の研究及び応用に関するシンポジウム２００６（２００６ Ｓｙｍｐｏｓｉｕｍ ｏｎ Ｅｙｅ Ｔｒａｃｋｉｎｇ Ｒｅｓｅａｒｃｈ ＆ Ａｐｐｌｉｃａｔｉｏｎｓ）の議事録、８７～９４頁、ＡＣＭに記載の物理的眼モデルを使用して行われてよい。代替として、ニューラルネットワークベースの方法が用いられてよく、その場合、ニューラルネットワークは、視線追跡カメラ画像が入力として与えられたときに光学ベクトルを出力するようにトレーニングされる。

【0027】

本明細書に記載の少なくとも幾つかの実施形態の視線追跡プロセスは、基準点が眼の３Ｄ特性に基づいて決定され、その為に、その場所が頭部の小さな動きに対してある程度は不変である点で有用且つ有利である。更に、代替又は追加として、注視点は、シーンカメラのビューの外に配置された場合でも決定可能である。

【0028】

図１Ｂは、本発明の少なくとも幾つかの実施形態による座標マッピングを示す。眼１００が右側に配置されており、その上で瞳１１０及び角膜中心１６０がマーキングされている。光学ベクトルに視線距離を掛けたもの（ｄ＊Ｌ）をエレメント１６１として表しており、これは基準点１７０をポイントしている。

【0029】

基準点１７０は、３次元座標系１６５内にある。図１Ｂでは、座標系１６５からシーンカメラの２次元座標系１８５へのマッピング１８０をマッピング１８０として表している。このマッピングにより、基準点１７０がシーンカメラの座標系１８５内の注視点１９０に関連付けられる。

【0030】

例えば、実用的実施態様の観点で言えば、顕微鏡の接眼部に、視線追跡カメラ、適切な回路、及び少なくとも１つの構造化光用光源（例えば、赤外線発光素子）を含むモジュールが追加されてよい。顕微鏡が両眼用接眼部を含む場合は、両接眼部に同様のモジュールが装備されてよい。その場合、推定注視点は、別々に決定された左眼注視点及び右眼注視点の重み付き結合として決定されてよい。顕微鏡は又、試料をビュー内に捉え、ビューのうちの少なくともユーザが見ている部分を認識するシーンカメラを含んでよい。シーンカメラまでの光路は、ビームスプリッタを通るように方向付けられてよく、ビームスプリッタは、異なる光学素子により、同じビューをユーザ方向とシーンカメラ方向とに向ける。

【0031】

カメラは、適切なインタフェースでコンピュータに接続されてよく、例えば、ユニバーサルシリアルバス（ＵＳＢ）コネクタ、又は一体型導線で接続されてよい。コンピュータは、カメラストリームを読み込み、図１Ｂに示したようにシーンカメラ座標内の注視点を推定するコンピュータプログラムを備えてよい。コンピュータプログラムはグラフィカルユーザインタフェースを装備してよく、グラフィカルユーザインタフェースは、例えば、推定注視点がスーパインポーズされたシーンカメラビューを表示するように構成されてよい。コンピュータプログラムは又、ユーザとの構成プロセスを実行して較正行列Ｋを決定するように構成されてよい。

【0032】

本明細書では瞳及び輝きの位置と物理的眼モデルとを利用することに関して述べているが、光学点は、代替として、物理的眼モデル以外の手段で決定することも可能である。例えば、瞳及び輝きの位置を注視点及び／又は視線方向に自動的に変換する為に、深層畳み込みネットワークに基づく機械学習アプローチが教示されてよい。例えば、使用する接眼デバイスが照準器であれば、シーンカメラの２次元出力は、ユーザが見つめている複数の視線方向に対応する。

【0033】

図２は、本発明の少なくとも幾つかの実施形態をサポートすることが可能な装置の一例を示す。図示のデバイス２００は、例えば、接眼デバイス用視線追跡モジュールを含んでよい。デバイス２００はプロセッサ２１０を含み、プロセッサ２１０は、例えば、シングルコア又はマルチコアのプロセッサを含んでよい。シングルコアプロセッサは１つの処理コアを含み、マルチコアプロセッサは２つ以上の処理コアを含む。プロセッサ２１０は、一般に、制御装置を含んでよい。プロセッサ２１０は、２つ以上のプロセッサを含んでよい。プロセッサ２１０は、制御装置であってよい。処理コアは、例えば、ＡＲＭホールディングス（ＡＲＭ Ｈｏｌｄｉｎｇｓ）が製造したＣｏｒｔｅｘ－Ａ８処理コア、又はアドバンストマイクロデバイセズコーポレーション（Ａｄｖａｎｃｅｄ Ｍｉｃｒｏ Ｄｅｖｉｃｅｓ Ｃｏｒｐｏｒａｔｉｏｎ）が設計したＳｔｅａｍｒｏｌｌｅｒ処理コアを含んでよい。プロセッサ２１０は、少なくとも１つのクワルコム（Ｑｕａｌｃｏｍｍ）製Ｓｎａｐｄｒａｇｏｎプロセッサ及び／又はインテル（Ｉｎｔｅｌ）製Ａｔｏｍプロセッサを含んでよい。プロセッサ２１０は、少なくとも１つの特定用途向け集積回路（ＡＳＩＣ）を含んでよい。プロセッサ２１０は、少なくとも１つのフィールドプログラマブルゲートアレイ（ＦＰＧＡ）を含んでよい。プロセッサ２１０は、デバイス２００において方法ステップ（例えば、基準点を決定し、マッピングを実施するステップ）を実施する手段であってよい。プロセッサ２１０は、少なくとも部分的にはコンピュータ命令によって、アクションを実施するように構成されてよい。

【0034】

デバイス２００はメモリ２２０を含んでよい。メモリ２２０は、ランダムアクセスメモリ及び／又は永久メモリを含んでよい。メモリ２２０は、少なくとも１つのＲＡＭチップを含んでよい。メモリ２２０は、例えば、ソリッドステートメモリ、磁気メモリ、光学式メモリ、及び／又はホログラフィックメモリを含んでよい。メモリ２２０は、少なくとも一部がプロセッサ２１０からアクセス可能であってよい。メモリ２２０は、少なくとも一部がプロセッサ２１０に含まれてよい。メモリ２２０は、情報を記憶する手段であってよい。メモリ２２０は、プロセッサ２１０が実行するように構成されているコンピュータ命令を含んでよい。特定のアクションをプロセッサ２１０に実施させるように構成されたコンピュータ命令がメモリ２２０に記憶されていて、デバイス２００全体が、メモリ２２０からのコンピュータ命令を使用するプロセッサ２１０の指示で動作するように構成されている場合、プロセッサ２１０及び／又はプロセッサ２１０の少なくとも１つの処理コアは、前記特定アクションを実施するように構成されていると見なされてよい。メモリ２２０は、少なくとも一部がプロセッサ２１０に含まれてよい。メモリ２２０は、少なくとも一部がデバイス２００の外にありながらもデバイス２００からアクセス可能であってよい。

【0035】

デバイス２００は送信器２３０を含んでよい。デバイス２００は受信器２４０を含んでよい。送信器２３０及び受信器２４０は、それぞれ、少なくとも１つの通信規格に準拠して情報を送信及び受信するように構成されてよい。送信器２３０は、２つ以上の送信器を含んでよい。受信器２４０は、２つ以上の受信器を含んでよい。送信器２３０及び／又は受信器２４０は、例えば、モバイル通信用グローバルシステム（ｇｌｏｂａｌ ｓｙｓｔｅｍ ｆｏｒ ｍｏｂｉｌｅ ｃｏｍｍｕｎｉｃａｔｉｏｎ）（ＧＳＭ）、広帯域符号分割多重アクセス（ｗｉｄｅｂａｎｄ ｃｏｄｅ ｄｉｖｉｓｉｏｎ ｍｕｌｔｉｐｌｅ ａｃｃｅｓｓ）（ＷＣＤＭＡ（登録商標））、５Ｇ、ロングタームエヴォリューション（ｌｏｎｇ ｔｅｒｍ ｅｖｏｌｕｔｉｏｎ）（ＬＴＥ）、ＩＳ－９５、無線ローカルエリアネットワーク（ＷＬＡＮ）、ＵＳＢ、イーサネット、及び／又はマイクロ波アクセス用世界規模相互運用性（ｗｏｒｌｄｗｉｄｅ ｉｎｔｅｒｏｐｅｒａｂｉｌｉｔｙ ｆｏｒ ｍｉｃｒｏｗａｖｅ ａｃｃｅｓｓ）（ＷｉＭＡＸ）の各規格に準拠して動作するように構成されてよい。

【0036】

デバイス２００は、近距離無線通信（ＮＦＣ）送受信器２５０を含んでよい。ＮＦＣ送受信器２５０は、少なくとも１つのＮＦＣ技術（例えば、ＮＦＣ、Ｂｌｕｅｔｏｏｔｈ、Ｗｉｂｒｅｅ、又は同様の技術）をサポートしてよい。

【0037】

デバイス２００はユーザインタフェース（ＵＩ）２６０を含んでよい。ＵＩ２６０は、ディスプレイ、キーボード、タッチスクリーン、バイブレータ（デバイス２００を振動させてユーザに合図するように構成されている）、スピーカ、及びマイクロホンのうちの少なくとも１つを含んでよい。ユーザは、ＵＩ２６０からデバイス２００を操作して、例えば、較正プロセス操作及び／又は視線追跡操作を行うことが可能であってよい。

【0038】

プロセッサ２１０は、情報をプロセッサ２１０からデバイス２００内の導線を介してデバイス２００に含まれる他の装置に出力するように構成された送信器を備えてよい。そのような送信器はシリアルバス送信器を含んでよく、この送信器は、例えば、情報を、メモリ２２０への少なくとも１つの導線を介してメモリ２２０に記憶させる為に出力するように構成されている。シリアルバスの代替として、送信器はパラレルバス送信器を含んでよい。同様に、プロセッサ２１０は、デバイス２００に含まれる他の装置からの情報を、デバイス２００内の導線を介してプロセッサ２１０で受け取るように構成された受信器を含んでよい。そのような受信器はシリアルバス受信器を含んでよく、この受信器は、例えば、情報を、プロセッサ２１０で処理する為に受信器２４０から少なくとも１つの導線を介して受け取るように構成されている。シリアルバスの代替として、受信器はパラレルバス受信器を含んでよい。

【0039】

デバイス２００は、図２に示されていない更なる装置を含んでよい。デバイス２００は、デバイス２００のユーザを少なくともある程度認証するように構成された指紋センサを含んでよい。幾つかの実施形態では、デバイス２００は、少なくとも１つの上述の装置を含まない。例えば、デバイス２００は、ＮＦＣ送受信器２５０及び／又は少なくとも１つの他の上述の装置を含まない場合がある。

【0040】

プロセッサ２１０、メモリ２２０、送信器２３０、受信器２４０、ＮＦＣ送受信器２５０、及び／又はＵＩ２６０は、デバイス２００内の導線により、多様な様式で相互接続されてよい。例えば、上述のデバイスのそれぞれは別々にデバイス２００内のマスタバスに接続されてよく、それにより、デバイス間の情報交換が可能になる。しかしながら、当業者であれば理解されるように、これは一例に過ぎず、本発明の範囲から逸脱しない限り、実施形態に応じて、上述のデバイスのうちの少なくとも２つを相互接続する様々な様式が選択されてよい。

【0041】

図３は、本発明の少なくとも幾つかの実施形態による一方法のフローグラフである。図示の方法の各フェーズは、例えば、デバイス２００、予備デバイス、又はパーソナルコンピュータにおいて実施されてよく、或いは、それらの機能を制御するように構成された制御装置がそれらにインストールされていればその制御装置において実施されてよい。

【0042】

フェーズ３１０で、少なくとも１つの眼画像が視線追跡カメラから取得される。フェーズ３２０で、少なくとも１つの眼画像において瞳とガイドライトの輝きとが見つけられる。フェーズ３３０で、（例えば、眼の物理的形状のモデルの支援により）瞳及び輝きに基づいて、ユーザの３Ｄ瞳中心（Ｐｃ）及び３Ｄ角膜中心（Ｃｃ）が特定される。フェーズ３４０で、本明細書で上述のように、光学ベクトルＬが決定される。フェーズ３５０で、視線距離が決定される。

【0043】

フェーズ３６０で、光学点Ｏｐとも呼ばれる３次元基準点が、Ｏｐ＝Ｃｃ＋ｄ＊Ｌとして決定される。最後に、フェーズ３７０で、光学点を２次元シーンカメラビューにマッピングすることにより、ユーザの較正行列Ｋを使用して注視点ＧｐがＧｐ＝Ｋ＊Ｏｐで得られる。注視点は、プレート１４０上の、ユーザが見ている点である。

【0044】

当然のことながら、開示された本発明の実施形態は、本明細書で開示された特定の構造、処理手順、又は材料に限定されず、当業者であれば理解されるであろう、その等価物まで拡張される。更に、当然のことながら、本明細書で使用された術語は、特定の実施形態の説明の為にのみ使用されており、限定的であることを意図されていない。

【0045】

本明細書を通しての一実施形態（ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）又は一実施形態（ａｎ ｅｍｂｏｄｉｍｅｎｔ）への参照は、その実施形態に関連して説明された特定の特徴、構造、又は特性が、本発明の少なくとも１つの実施形態に含まれることを意味する。従って、本明細書全体の様々な場所での「一実施形態では（ｉｎ ｏｎｅ ｅｍｂｏｄｉｍｅｎｔ）」又は「一実施形態では（ｉｎ ａｎ ｅｍｂｏｄｉｍｅｎｔ）」という語句の出現は、必ずしも全てが同じ実施形態を参照しているわけではない。例えば、約（ａｂｏｕｔ）又はほぼ（ｓｕｂｓｔａｎｔｉａｌｌｙ）等の語句を使用して数値が参照された場合は、厳密な数値も開示されている。

【0046】

本明細書で使用されている複数のアイテム、構造要素、組成要素、及び／又は材料は、便宜上、一般的なリストに存在してよい。しかしながら、これらのリストは、リストの各要素が別個且つ固有の要素として個別に識別されるかのように解釈されるべきである。従って、そのようなリストの個々の要素は、反対の意味で示されているのでない限り、それらが一般的なグループに存在することにのみ基づいて、同じリストの他の任意の要素の事実上の等価物として解釈されるべきである。更に、本明細書では、本発明の様々な実施形態及び実施例は、それらの様々な構成要素に関しては代替形態と併せて参照されてよい。当然のことながら、そのような実施形態、実施例、及び代替形態は、互いの事実上の等価物として解釈されるべきではなく、本発明の別個且つ独立の表現と見なされるべきである。

【0047】

更に、記載の特徴、構造、又は特性は、１つ以上の実施形態において任意の適切な様式で組み合わされてよい。ここまでの説明では、本発明の実施形態が十分理解されるように、長さ、幅、形状等の例のような様々な具体的詳細を示されている。しかしながら、当業者であれば理解されるように、本発明は、これらの具体的詳細のうちの１つ以上がなくても、或いは、他の方法、構成要素、材料等によっても実施可能である。他の例では、よく知られている構造、材料、又は動作が詳しく図示又は説明されていないが、これは、本発明の態様が曖昧にならないようにする為である。

【0048】

上述の各実施例は、本発明の原理を１つ以上の特定用途において例示したものであるが、当業者であれば明らかなように、発明的能力を行使することなく、且つ、本発明の原理及び概念から逸脱しない限り、実施態様の形式、用法、及び細部の様々な変更が行われてよい。従って、本発明は、後述の特許請求項によって限定される場合を除いて限定されないものとする。

【0049】

本文書では「含む（ｔｏ ｃｏｍｐｒｉｓｅ）」及び「含む（ｔｏ ｉｎｃｌｕｄｅ）」という動詞は、記載されていない特徴の存在を排除することも必要とすることもない開放的限定（ｏｐｅｎ ｌｉｍｉｔａｔｉｏｎｓ）として使用されている。従属請求項に記載された特徴は、特に別段に明記されない限りは、相互に自由に組み合わされてよい。更に、当然のことながら、「ａ」又は「ａｎ」、即ち、単数形の使用は、本文書全体を通して複数性を排除しない。
〔付記１〕
少なくとも１つの処理コア（２１０）と、コンピュータプログラムコードを含む少なくとも１つのメモリ（２２０）と、を含む装置（２００）であって、前記少なくとも１つのメモリ（２２０）及び前記コンピュータプログラムコードは、前記少なくとも１つの処理コア（２１０）とともに、少なくとも、
ユーザの眼の第１及び第２のフィーチャの位置と、前記ユーザの視線距離と、に少なくともある程度基づいて３次元空間内で基準点を決定するステップ（３４０）と、
眼に近い光学デバイスを使用している前記ユーザの推定注視点及び／又は推定視線方向を取得する為に、前記基準点を前記眼に近い光学デバイスの見えているシーンにマッピングするステップ（３７０）であって、前記マッピングは、前記ユーザに関連付けられた較正情報に少なくともある程度基づく、前記マッピングするステップと、
を前記装置（２００）に行わせるように構成されており、
前記眼に近い光学デバイスが接眼デバイスを含むことと、前記装置が、ライトガイド位置に設定された所定の仮想平面と、前記ユーザの眼の前記第１及び第２のフィーチャをトラバースするベクトルと、の交点を計算することによって前記視線距離を取得する（３５０）ように構成されていることと、を特徴とする装置（２００）。
〔付記２〕
前記ユーザの眼の前記第１及び第２のフィーチャは角膜中心及び瞳中心である、付記１に記載の装置（２００）。
〔付記３〕
前記装置は更に、前記較正情報を、較正プロセスに基づく較正行列として取得するように構成されており、前記較正プロセスでは、前記ユーザが３つ以上の標的点を順番に見つめ、前記較正において使用された各標的点ごとに別々の較正基準点が前記３次元空間内で決定される、付記１又は２に記載の装置（２００）。
〔付記４〕
前記眼に近い光学デバイスは顕微鏡であり、装置は、前記ユーザの２つの眼のそれぞれに対して別々に前記視線方向を取得するように構成されている、付記１～３のいずれか一項に記載の装置（２００）。
〔付記５〕
前記眼に近い光学デバイスに含まれる、付記１～４のいずれか一項に記載の装置（２００）。
〔付記６〕
ユーザの眼の第１及び第２のフィーチャの位置と、前記ユーザの視線距離と、に少なくともある程度基づいて３次元空間内で基準点を決定するステップ（３４０）と、
眼に近い光学デバイスを使用している前記ユーザの推定注視点及び／又は推定視線方向を取得する為に、前記基準点を前記眼に近い光学デバイスの見えているシーンにマッピングするステップ（３７０）であって、前記マッピングは、前記ユーザに関連付けられた較正情報に少なくともある程度基づく、前記マッピングするステップと、
を含む方法であって、
前記眼に近い光学デバイスが接眼デバイスを含むことと、ライトガイド位置に設定された所定の仮想平面と、前記ユーザの眼の前記第１及び第２のフィーチャをトラバースするベクトルと、の交点を計算することによって前記視線距離を取得する（３５０）ことと、によって特徴付けられる方法。
〔付記７〕
前記較正情報を、較正プロセスに基づく較正行列として取得するステップを更に含み、前記較正プロセスでは、前記ユーザが３つ以上の標的点を順番に見つめ、前記較正において使用された各標的点ごとに別々の較正基準点が前記３次元空間内で決定される、付記６に記載の方法。
〔付記８〕
前記眼に近い光学デバイスは顕微鏡であり、前記方法は更に、前記ユーザの２つの眼のそれぞれに対して別々に前記視線方向を取得するステップを含む、付記６～７のいずれか一項に記載の方法。
〔付記９〕
前記ユーザの前記推定注視点及び／又は前記視線方向に少なくともある程度基づいて顕微鏡を制御するステップと、前記較正情報に基づいて前記ユーザを識別するステップと、のうちの少なくとも一方を更に含む、請求項６～８のいずれか一項に記載の方法。
〔付記１０〕
少なくとも１つのプロセッサ（２１０）によって実行された場合に、少なくとも、
ユーザの眼の第１及び第２のフィーチャの位置と、前記ユーザの視線距離と、に少なくともある程度基づいて３次元空間内で基準点を決定するステップ（３４０）と、
眼に近い光学デバイスを使用している前記ユーザの推定注視点及び／又は推定視線方向を取得する為に、前記基準点を前記眼に近い光学デバイスの見えているシーンにマッピングするステップ（３７０）であって、前記マッピングは、前記ユーザに関連付けられた較正情報に少なくともある程度基づく、前記マッピングするステップと、
を装置（２００）に行わせるコンピュータ可読命令セットが記憶されている非一時的コンピュータ可読媒体であって、
前記眼に近い光学デバイスが接眼デバイスを含むことと、ライトガイド位置に設定された所定の仮想平面と、前記ユーザの眼の前記第１及び第２のフィーチャをトラバースするベクトルと、の交点を計算することによって前記視線距離を取得する（３５０）ことを前記装置に行わせるように構成された前記コンピュータ可読命令セットと、によって特徴付けられる非一時的コンピュータ可読媒体。

【産業上の利用可能性】

【0050】

本発明の少なくとも幾つかの実施形態は、接眼デバイスにおいてユーザ視線を追跡することに産業上の応用を見出す。

頭字語リスト
２Ｄ ２次元
３Ｄ ３次元
ＣＣＤ 電荷結合素子
ＣＭＯＳ 相補型金属酸化膜半導体
ＵＳＢ ユニバーサルシリアルバス

参照符号リスト
１００ 眼
１１０ 瞳
１２０ 顕微鏡
１３０ 光学機器
１４０ プレート
１５０ 視線標的
１６０ 角膜中心
１６１ ベクトルｄ＊Ｌ
１６５ ３次元座標系
１７０ 光学点（基準点）
１８０ マッピング
１８５ シーンカメラの座標系
１９０ 注視点

技術条項
第１条
少なくとも１つの処理コアと、コンピュータプログラムコードを含む少なくとも１つのメモリと、を含む装置であって、少なくとも１つのメモリ及びコンピュータプログラムコードは、少なくとも１つの処理コアとともに、少なくとも、
ユーザの眼の第１及び第２のフィーチャの位置と、ユーザの視線距離と、に少なくともある程度基づいて３次元空間内で基準点を決定するステップと、
眼に近い光学デバイスを使用しているユーザの推定注視点及び／又は推定視線方向を取得する為に、基準点を眼に近い光学デバイスの見えているシーンにマッピングするステップであって、マッピングは、ユーザに関連付けられた較正情報に少なくともある程度基づく、上記マッピングするステップと、
を装置に行わせるように構成されている、
装置。
第２条
ユーザの眼の第１及び第２のフィーチャは角膜中心及び瞳中心である、第１条に記載の装置（２００）。
第３条
装置は更に、較正情報を、較正プロセスに基づく較正行列として取得するように構成されており、較正プロセスでは、ユーザが３つ以上の標的点を順番に見つめ、較正において使用された各標的点ごとに別々の較正基準点が３次元空間内で決定される、第１条又は第２条に記載の装置。
第４条
装置は更に、所定の仮想平面と、ユーザの眼の第１及び第２のフィーチャをトラバースするベクトルと、の交点を計算することによって視線距離を取得するように構成されている、第１～３条のいずれか一条に記載の装置。
第５条
眼に近い光学デバイスは顕微鏡であり、装置は、ユーザの２つの眼のそれぞれに対して別々に視線方向を取得するように構成されている、第１～４条のいずれか一条に記載の装置。
第６条
眼に近い光学デバイスに含まれる、第１～５条のいずれか一条に記載の装置。

【図1A】

【図1B】

【図2】

【図3】

【図4】