特許第6656156号(P6656156)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ エシロール エンテルナショナルの特許一覧

特許6656156頭部装着型アイトラッキング装置の較正方法
<>
  • 特許6656156-頭部装着型アイトラッキング装置の較正方法 図000002
  • 特許6656156-頭部装着型アイトラッキング装置の較正方法 図000003
  • 特許6656156-頭部装着型アイトラッキング装置の較正方法 図000004
  • 特許6656156-頭部装着型アイトラッキング装置の較正方法 図000005
  • 特許6656156-頭部装着型アイトラッキング装置の較正方法 図000006
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】6656156
(24)【登録日】2020年2月6日
(45)【発行日】2020年3月4日
(54)【発明の名称】頭部装着型アイトラッキング装置の較正方法
(51)【国際特許分類】
   A61B 3/113 20060101AFI20200220BHJP
   G02B 5/18 20060101ALI20200220BHJP
   G02B 27/02 20060101ALI20200220BHJP
【FI】
   A61B3/113
   G02B5/18
   G02B27/02 Z
【請求項の数】15
【全頁数】14
(21)【出願番号】特願2016-541422(P2016-541422)
(86)(22)【出願日】2014年12月16日
(65)【公表番号】特表2017-503570(P2017-503570A)
(43)【公表日】2017年2月2日
(86)【国際出願番号】EP2014078098
(87)【国際公開番号】WO2015091577
(87)【国際公開日】20150625
【審査請求日】2017年11月24日
(31)【優先権主張番号】13306750.4
(32)【優先日】2013年12月17日
(33)【優先権主張国】EP
(73)【特許権者】
【識別番号】518040079
【氏名又は名称】エシロール エンテルナショナル
(74)【代理人】
【識別番号】100060759
【弁理士】
【氏名又は名称】竹沢 荘一
(74)【代理人】
【識別番号】100083389
【弁理士】
【氏名又は名称】竹ノ内 勝
(74)【代理人】
【識別番号】100198317
【弁理士】
【氏名又は名称】横堀 芳徳
(72)【発明者】
【氏名】ロメイン ファヨル
【審査官】 ▲高▼原 悠佑
(56)【参考文献】
【文献】 特開2005−245791(JP,A)
【文献】 特開平08−000563(JP,A)
【文献】 特表2008−521027(JP,A)
【文献】 特開2001−204692(JP,A)
【文献】 米国特許出願公開第2010/0053555(US,A1)
【文献】 特開2010−259605(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00−3/18
(57)【特許請求の範囲】
【請求項1】
較正方法によって較正されている頭部装着型アイトラッキング装置の調整方法であって、
前記較正方法は:
− 前記頭部装着型アイトラッキング装置の装用者が基準方向を見ている間に、前記装用者の眼の位置に関する眼のデータを前記頭部装着型アイトラッキング装置によって取得する、取得ステップ(S3)、
− 前記取得ステップの期間中に取得された前記眼のデータを、前記基準方向に対応する視線方向と関連付ける、関連付けステップ(S4)、
− 前記関連付けられた眼のデータと前記視線方向とを記録する、記録ステップ(S5)
を含み、
前記頭部装着型アイトラッキング装置は、眼科用レンズが取り付けられる眼鏡フレームを含み、かつ前記基準方向に対応する前記視線方向は、前記眼科用レンズの光学的屈折機能を考慮して決定され、
前記較正方法は、さらに、前記装用者によって装用されているときの前記装用者の顔に対する前記頭部装着型アイトラッキング装置の相対位置を決定する、頭部装着型アイトラッキング位置決定ステップを含み、
前記調整方法は:
− 前記頭部装着型アイトラッキング装置に対する、前記装用者の前記顔の前記相対位置の初期位置からのずれ量を決定する、ずれ量決定ステップ、
− 前記ずれ量決定ステップの期間中に、アイトラッキング機能を前記ずれ量に基づいて調整する、調整ステップを含み、
前記初期位置が、アイトラッキング位置決定ステップの期間中の、前記頭部装着型アイトラッキング装置に対する前記装用者の前記顔の前記相対位置に対応する、調整方法。
【請求項2】
前記較正方法は、一連の前記取得ステップ(S3)、関連付けステップ(S4)および記録ステップ(S5)が繰り返し行われる、請求項1に記載の調整方法。
【請求項3】
前記較正方法は、前記装用者が異なる基準方向を及び/又は異なる視線距離で見ている状態で、一連の前記取得ステップ(S3)、関連付けステップ(S4)および記録ステップ(S5)が繰り返し行われる、請求項1又は2に記載の調整方法。
【請求項4】
前記頭部装着型アイトラッキング装置が、特定の照明条件下で、前記装用者の眼の方へ入射光ビームを回折させるように設計された微細構造パターンの形態の目視基準要素を少なくとも含む、請求項1〜3のいずれか1項に記載の調整方法。
【請求項5】
前記較正方法が、取得ステップの前に、さらに:
− 目視基準要素を少なくとも含む較正支援装置を、前記頭部装着型アイトラッキング装置を装用している装用者に提供する、較正支援装置提供ステップ(S1)、
− 前記較正支援装置が、前記装用者の眼及び前記頭部装着型アイトラッキング装置に対して所定の位置で、前記装用者の少なくとも一方の眼と前記装用者の視環境との間に配置されて、前記目視基準要素によって基準方向を規定する、配置ステップ(S2)
を含む、請求項1〜3のいずれか1項に記載の調整方法。
【請求項6】
前記較正支援装置が複数の目視基準要素を含み、及び前記関連付けステップ及び記録ステップが、各目視基準要素に対して繰り返し行われる、請求項5に記載の調整方法。
【請求項7】
前記較正支援装置が可視光を透過させ、及び前記少なくとも1つの目視基準要素が、入射光ビームを前記装用者の眼の方へ回折させるように設計された微細構造パターンである、請求項5又は6に記載の調整方法。
【請求項8】
前記較正支援装置は光を通さず、前記少なくとも1つの目視基準要素が、前記較正支援装置にある光学的開口である、請求項5又は6に記載の調整方法。
【請求項9】
切り換え可能な光源が、前記較正支援装置にある少なくとも1つの開口に取り付けられ、かつ前記取得ステップの期間中に前記目視基準要素を目立たせるように構成されている、請求項5〜8のいずれか1項に記載の調整方法。
【請求項10】
前記配置ステップの期間中に、前記較正支援装置は、前記眼科用レンズのうちの少なくとも一方のレンズの面の少なくとも一方の面に配置され、及び基準要素に対応する前記視線方向は、前記眼科用レンズの前記光学的屈折機能に基づいて決定される、請求項5〜9のいずれか1項に記載の調整方法。
【請求項11】
前記較正支援装置が、仮想イメージを生成する光学系を含み、仮想的ディスプレイ装置を使用して、少なくとも1つの目視基準要素を生成した、請求項〜10のいずれか1項に記載の調整方法。
【請求項12】
前記ずれ量決定ステップ及び調整ステップを、定期的に、30秒毎に繰り返す、請求項1〜11のいずれか1項に記載の調整方法。
【請求項13】
前記ずれ量決定ステップの期間中に、前記眼と前記頭部装着型アイトラッキング装置との間の距離、及び前記頭部装着型アイトラッキング装置に対する前記眼の回転中心の相対位置を決定する、請求項1〜12のいずれか1項に記載の調整方法。
【請求項14】
前記頭部装着型アイトラッキング装置が、さらに、前記装用者の少なくとも一方の眼を照明するように構成された少なくとも2つの光源を含み、及び前記眼と前記頭部装着型アイトラッキング装置との間の前記距離は、前記光源によって照明された前記装用者の前記眼の角膜上での前記光源の反射によって形成された形状に基づいて決定される、請求項13に記載の調整方法。
【請求項15】
プロセッサーにアクセス可能であり、及び、前記プロセッサーによる実行時に、前記プロセッサーに、請求項1〜14のいずれか1項に記載の調整方法の少なくとも前記関連付けステップを実行させるようにする、1つ以上の記憶された一連の命令を含むコンピュータプログラム製品。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、頭部装着型アイトラッキング装置の較正方法、及び本発明による較正方法によって較正された頭部装着型アイトラッキング装置の調整方法に関する。
【背景技術】
【0002】
本明細書での本発明の背景の説明は、本発明の脈絡を説明することを含む。これは、言及されるいずれの資料も、いずれの特許請求する発明の優先日において公表されていた、知られていた又は共通一般知識の一部であったと認めると受け取られるものではない。
【0003】
アイトラッキング装置は、異なる技術分野において、ますます使用されるようになっている。頭部装着型アイトラッキング装置は、通常、装用者にとって侵襲的であり、かつ不快なものである。さらに、既存のアイトラッキング装置は、通常重く、特に、典型的な一対の眼鏡レンズよりも遥かに重い。場合によっては、特別なレンズが必要とされ(例えばIR反射)、及び/又は視野の一部が、アイトラッキング装置の要素によって妨害される。
【0004】
実際に、アイトラッキング機器のほとんどは、装用者の快適さよりも追跡精度及び頑健性に関心がもたれている。
【0005】
頭部装着型アイトラッキング装置のほとんどが、短期間、通常装用者に行ういくつかの測定にかかる時間にだけ使用されるものであるため、装用者の快適さは必須であるとは考えられていない。
【0006】
しかしながら、眼科用レンズの分野における最近の開発によって、装用者に、アイトラッキングシステムを長期間、日中ずっとでも装着させることへの関心が高まっている。
【0007】
それゆえ、アイトラッキング装置の快適さは、ますます論争点になってきている。アイトラッキング装置の全体的な快適さを高めるために、眼鏡フレームにアイトラッキング装置を適合させる試みが行われているが、そのような適合は、アイトラッキングの精度の点では結果が芳しくないようである。
【0008】
眼鏡フレームにおいてアイトラッカーを長期間使用することの問題の1つは、時間が経つにつれてフレームがずれるために、時間が経つにつれて精度が低下することである。
【発明の概要】
【発明が解決しようとする課題】
【0009】
本発明の1つの目的は、アイトラッキング装置が上述の欠点を生じないように、頭部装着型アイトラッキング装置、特に眼鏡フレームに取り付けられたアイトラッキング装置を較正する方法を提供することである。
【課題を解決するための手段】
【0010】
この目標を達成するために、本発明は、頭部装着型アイトラッキング装置の較正方法であって、方法は:
− 頭部装着型アイトラッキング装置の装用者が基準方向を見ている間に、装用者の眼の位置に関する眼のデータをアイトラッキング装置によって取得する、取得ステップ、
− 取得ステップの期間中に取得された眼のデータを、基準方向に対応する視線方向(gaze direction)と関連付ける、関連付けステップ、
− 関連付けられた眼のデータと視線方向とを記録する、記録ステップ
を含み、
頭部装着型アイトラッキング装置が、眼科用レンズが取り付けられる眼鏡フレームを含み、及び基準方向に対応する視線方向を、眼科用レンズの光学的屈折機能(dioptric function)に基づいて決定する、方法を提案する。
【0011】
好都合にも、本発明による方法は、アイトラッキング装置の精度を高める、頭部装着型装置の較正をもたらす。本発明人らは、従来の眼鏡フレームに追加されたアイトラッキング装置でも、本発明の較正方法を使用する場合には、アイトラッキング装置の精度が高まることを観察した。それゆえ、本発明の較正方法を使用する場合には、快適でありかつアイトラッキングに関して正確な結果をもたらす、眼鏡フレームに取り付けられたアイトラッキング装置を提供することが可能であることが明らかである。
【0012】
単独で又は組み合わせて考慮され得るさらなる実施形態によれば:
− 頭部装着型アイトラッキング装置は、特定の照明条件下で、入射光ビームを装用者の眼の方へ回折させるように設計された微細構造パターンの形態の目視基準要素を少なくとも含み;及び/又は
− 方法は、さらに、取得ステップの前に:
− 目視基準要素を少なくとも含む較正支援装置を、頭部装着型アイトラッキング装置を装用している装用者に提供する、較正支援装置提供ステップ、
− 較正支援装置を、装用者の眼及びアイトラッキング装置に対して公知の位置で、装用者の少なくとも一方の眼と装用者の視環境との間に配置して、目視基準要素によって基準方向を規定する、配置ステップ
を含み;及び/又は
− 較正支援装置が複数の目視基準要素を含み、及び関連付けステップ及び記録ステップを、各目視基準要素に対して繰り返し行い;及び/又は
− 方法は、さらに、最後の記録ステップの後で、較正支援装置を除去する除去ステップを含み;及び/又は
− 較正支援装置は、光を通さず;及び/又は
− 少なくとも1つの目視基準要素が、較正支援装置にある光学的開口であり、光学的開口は例えば孔であり、較正支援装置の一部分は、光を導くか、放出するか、又は透過し;及び/又は
− 切り換え可能な光源が、較正支援装置にある少なくとも1つの開口に取り付けられ、及び取得ステップの期間中に、目視基準要素を目立たせるように構成され(装用者の注意を引くように、目のきらめき(glint)を生成するように、及び/又は装用者の瞳孔径を制御するように);及び/又は
− 較正支援装置が可視光を透過させ、及び少なくとも1つの目視基準要素が、入射光ビームを装用者の眼の方へ回折させるように設計された微細構造パターンであり;及び/又は
− 較正支援装置は、仮想イメージを生成する光学系を含み、仮想的ディスプレイ装置を使用して、少なくとも1つの目視基準要素を生成しており;及び/又は
− アイトラッキング装置は、眼科用レンズが取り付けられた眼鏡フレームを含み、配置ステップの期間中、較正支援装置が、眼科用レンズのうちの少なくとも一方のレンズの面の少なくとも一方の面に配置され、及び基準要素に対応する視線方向が、眼科用レンズの光学的屈折機能に基づいて決定され;及び/又は
− 較正支援装置を光学レンズの両面に配置する、配置ステップ;及び/又は
− 較正支援装置にある開口の直径が、0.6mm以上、及び1mm以下であり;及び/又は
− 較正支援装置が、薄い熱成形層であり;及び/又は
− 方法が、さらに、装用者によって装用されているときの装用者の顔に対するアイトラッキング装置の相対位置を決定する、アイトラッキング位置決定ステップを含み;及び/又は
− 較正支援装置が、最初は、基準要素が予め配置された薄いディスクであり、眼鏡の形状に適合するように縁取りされ得る。
【0013】
本発明はまた、本発明による較正方法によって較正された頭部装着型アイトラッキング装置の調整方法であって、方法は:
− アイトラッキング装置に対する装用者の顔の相対位置の初期位置からのずれ量を決定する、ずれ量決定ステップ、
− アイトラッキング機能を、ずれ量ステップの期間中に決定されたずれ量に基づいて調整する、調整ステップ
を含み、
初期位置は、較正ステップの期間中のアイトラッキング装置に対する装用者の顔の相対位置に対応する、方法に関する。
【0014】
単独で又は組み合わせて考慮され得るさらなる実施形態によれば、
− ずれ量ステップ及び調整ステップは、定期的に、例えば30秒毎に繰り返し行い;及び/又は
− 眼とアイトラッキング装置との間の距離、及びアイトラッキング装置に対する眼の回転中心の相対位置を決定する、ずれ量ステップ;及び/又は
− 頭部装着型アイトラッキング装置が、さらに、装用者の少なくとも一方の眼を照明するように構成された少なくとも2つの光源を含み、及び眼とトラッキング装置との間の距離を、アイトラッキングカメラの視野において、瞳孔に対して、光源によって照明された装用者の眼の角膜上に光源の反射によって形成された幾何学的形状に基づいて、決定する。
【0015】
さらなる態様によれば、本発明は、プロセッサーにアクセス可能でありかつプロセッサーによる実行時には本発明による方法のステップをプロセッサーに実行させるようにする、1つ以上の記憶された一連の命令を含むコンピュータプログラム製品に関する。
【0016】
別の態様によれば、本発明は、コンピュータに本発明の方法を実行させるようにするプログラムに関する。
【0017】
本発明はまた、本発明によるコンピュータプログラムの1つ以上の一連の命令を担持するコンピュータ可読媒体に関する。
【0018】
本発明はさらに、プログラムが記録されたコンピュータ可読記憶媒体に関する;プログラムは、コンピュータに、本発明の方法を実行させる。
【0019】
本発明は、1つ以上の一連の命令を記憶しかつ本発明による方法のステップのうちの少なくとも1つを実行するように適合されたプロセッサーを含む装置に関する。
【0020】
本発明の非限定的な実施形態を、ここで、添付図面を参照して説明する。
【図面の簡単な説明】
【0021】
図1】本発明の方法に従って較正され得る頭部装着型アイトラッキング装置の概略図である。
図2】本発明による頭部装着型装置の較正方法のステップを説明するフローチャートである。
図3】較正支援装置の概略図である。
図4】本発明による調整方法のステップを説明するフローチャートである。
図5】仮想イメージ生成器を使用する較正支援装置の概略図である。
【発明を実施するための形態】
【0022】
図面の要素は、分かりやすくしかつ明瞭にするために示され、及び必ずしも縮尺通りではない。例えば、図面の要素のいくつかの寸法は、他の要素と比較して誇張されて、本発明の実施形態の理解を深めるのを助けるようにしてもよい。
【0023】
図1は、眼鏡フレーム12に取り付けられた頭部装着型アイトラッキング装置10の例を示す。本発明による較正方法は、そのようなタイプの頭部装着型装置に限定されないが、眼鏡フレームに配置されたアイトラッキング装置に対し、特に好都合であることが明らかである。
【0024】
実際、本発明人らは、本発明による較正方法は、頭部装着型アイトラッキング装置、特に、眼鏡フレームに配置されたアイトラッキング装置の精度を高めることを観察している。
【0025】
図1に示すアイトラッキング装置10は、装用者の左眼(図示せず)に向けられた3つのカメラ20、22、24を備える眼鏡フレーム12を含む。カメラ20、22、24は、装用者の眼の位置を、及び/又は装用者の眼の構造、例えば瞳孔、眼瞼、虹彩、目のきらめき、及び/又は1つ又は複数の眼の領域にある他の基準点を追跡するために、頭部の方へ向けられるように配置されている。
【0026】
カメラ20、22、24は、画像を撮るために及び/又は画像を表すビデオ信号を生成するために、電荷結合素子(CCD)、相補型金属酸化膜半導体(CMOS)、又は能動領域、例えば、長方形もしくは直線もしくは他の配列のピクセルを含む他の光検出器を含み得る。カメラ20、22、24のそれぞれの能動領域は、任意の所望の形状、例えば、正方形や長方形、円形などを有し得る。1つ以上のカメラの能動領域の表面はまた、所望であれば湾曲して、例えば、画像取得の期間中に、撮像されている直ぐ近くの眼の三次元の湾曲及び周囲構造を補償し得る。
【0027】
アイトラッキング装置10は、さらに、眼鏡フレーム12を装用しているときに装用者の左眼を照明するように配置された3つの照明光源30、32、34を含む。
【0028】
3つの照明光源30、32、34は、眼鏡フレーム12に固定される。例示的な実施形態では、照明光源30、32、34は、発光ダイオード(LED)、有機LED(OLED)、レーザーダイオード、又は電気エネルギーを光子に変換する他の素子を含み得る。各照明光源30、32、34は、眼を照明し、カメラ20、22、24のいずれかを使用して画像を取得するために、及び/又は視線追跡精度を高めるために測定用の基準の目のきらめきを生成するために、使用され得る。例示的な実施形態では、各光源30、32、34は、比較的狭い又は広い帯域幅の光、例えば約700〜1000ナノメートルの1つ以上の波長で赤外光を発するように構成され得る。例えば、AlGaAs LEDは、850nmで発光ピークをもたらし、かつ広範囲に使用され、及び手頃であるが、携帯電話及びウェブカメラにおいて使用される一次品のCMOSカメラは、この波長で良好な感度を示す。
【0029】
アイトラッキング装置10は、さらに、カメラ20、22、24によって収集された画像を受信するように配置された処理装置14を含む。処理装置は、眼鏡フレームの一方の側面に配置される。
【0030】
図示しないが、アイトラッキング装置は、さらに、電源、例えばバッテリー及び/又は他のエレクトロニクスを含む。好都合にも、眼鏡フレーム12内で重量をより均一に分配するために、電源及び/又は他のエレクトロニクスが、眼鏡フレームの、処理装置14を含む側面とは反対側の側面に配置され得る。
【0031】
好都合にも、眼鏡フレームに含まれるそのような頭部装着型アイトラッキング装置では、装用者は、妨げられることなく、長期間にわたってアイトラッキング装置を使用し得る。
【0032】
図1では、眼鏡フレームの左側面にのみあるカメラ及び照明光源を示したが、アイトラッキング装置は、カメラ及び照明光源を確実に及び/又は眼鏡フレームの右側面に含んでもよい。
【0033】
好都合にも、眼鏡フレームの両側面にカメラを有することによって、装用者の視線方向(gazing direction)及び距離に関する正確な情報を提供することができる。
【0034】
例えば、そのようなアイトラッキング装置は、日常生活の条件下において、装用者の視覚行動(visual behavior)を正確に決定するために、長期間使用され得る。
【0035】
そのようなアイトラッキング装置はまた、能動眼鏡レンズと組み合わせられ得る。例えば、光学レンズの光学的機能は、装用者の視線方向及び距離、又はある期間にわたるその履歴を使用して、適合され得る。
【0036】
本発明での意味は、光学的機能は、各視線方向に関して、光学レンズを通過する光線に対する光学レンズの影響をもたらす機能に対応する。
【0037】
光学的機能は、光学的屈折機能、光吸収、偏光可能性、コントラスト能力の強化など…を含み得る。
【0038】
光学的屈折機能は、視線方向に応じた光学レンズの屈折力(power)(平均屈折力、乱視など…)に対応する。
【0039】
本発明による較正方法は、図1に示すような眼鏡フレームに取り付けられたアイトラッキング装置に対して、特に適合されている。
【0040】
代替例として、カメラ及び照明光源を使用する代わりに、任意の他のアイトラッキング、例えば電気眼球図記録や他の方法を使用して、眼の少なくとも一方を追跡し得る。
【0041】
図2に示す本発明の第1の実施形態によれば、頭部装着型アイトラッキング装置の較正方法は:
− 較正支援装置提供ステップS1、
− 配置ステップS2、
− 取得ステップS3、
− 関連付けステップS4、及び
− 記録ステップS5
を含む。
【0042】
較正支援装置提供ステップS1の期間中に、較正されるべき頭部装着型アイトラッキング装置を装用している装用者に較正支援装置を提供する。
【0043】
較正支援装置は、目視基準要素を少なくとも含む。
【0044】
図3に、較正支援装置の例を示す。図2に示す較正支援装置40は、光を通さず、及び目視基準要素として形成された複数の光学的開口42を含む。本発明の実施形態によれば、光学的開口の直径は、0.6mm以上、及び1mm以下である。
【0045】
本発明の実施形態によれば、少なくとも1つの切り換え可能な光源が、較正支援装置の少なくとも1つの光学的開口に取り付けられ、ならびにこの光源は、装用者の注意を引く、及び/又は角膜での反射(「目のきらめき」)を生成する、及び/又は装用者の瞳孔径の制御を行うために、目視基準要素を目立たせるように、構成され得る。
【0046】
本発明のさらなる実施形態によれば、較正支援装置は、例えば厚さ25μm超及び1mm未満の薄い熱成形層とし得る。そのような薄い熱成形層は、眼科用レンズが取り付けられる眼鏡フレームをアイトラッキング装置が含むときに、特に好都合である。実際、較正支援装置は、眼科用レンズ、例えば両眼科用レンズの少なくとも一方のレンズの面のうちの少なくとも一方の面に簡単に配置され得る。例えば較正支援装置は、眼鏡フレームに取り付けられた眼科用レンズのそれぞれの前面に配置される。
【0047】
さらなる実施形態によれば、較正支援装置は、可視光を透過させてもよく、及び少なくとも1つの目視基準要素は、入射光ビームを装用者の眼の方へ回折させるように設計された微細構造パターンである。そのような較正支援装置は、例えば、それら自体光学レンズとし得る。実際、眼鏡フレームに取り付けられた光学レンズは、光学レンズの面の一方又は双方の面の内部にあるか又はそこに刻み込まれたかのいずれかの微細構造パターンを含み得る。そのような微細構造パターンは、一般的な照明条件下では装用者には見えず、及び特定の照明条件下で、例えば特定の照明角度を使用して装用者に見えるように、配置されている。好都合にも、光学レンズに較正支援装置が組み込まれていることによって、追加的な支援を使用しなくても、本発明による較正方法をより簡単に実施できる。
【0048】
さらなる実施形態によれば、図5に示すように、較正支援装置は、好ましくは装用者が仮想イメージ及び現実の世界の双方を見ることができる仮想イメージディスプレイ装置50とし得る。仮想イメージディスプレイ装置は、グラフィックイメージを表示することができ、及び電子的駆動システム(メモリ+プロセッサー)が、表示する画像を、仮想的な表示画像に送信する。
【0049】
好ましくは、画像を異なる視線方向(viewing direction)に表示することができ、及び目視基準要素は、ドット又は小さな円の形態の画像を使用して、異なる方向に対して連続的に生成される。
【0050】
配置ステップS2の期間中に、較正支援装置を、装用者の少なくとも一方の眼と、装用者の視環境との間に配置する。
【0051】
較正支援装置は、一般的に、装用者の眼の前に、装用者の眼の回転中心から数センチメートルの距離で、例えば装用者の眼の回転中心から25〜35mmで配置される。
【0052】
装用者の眼に対する較正支援装置の位置は、分かっている。一般に、装用者の眼の回転中心に対する較正支援装置の位置は、分かっている。
【0053】
本発明の実施形態によれば、較正支援装置は、装用者の両眼と装用者の視環境との間にそれぞれ配置されてもよく、例えばこれら較正支援装置は、眼鏡フレームの両光学レンズ上に重ねてそれぞれ配置される。そのような実施形態によれば、装用者の両眼に対するそれぞれの較正支援装置の位置は、分かっている。
【0054】
そのうえ、眼鏡フレームに対する較正支援装置の位置が分かっており、特にアイトラッキング装置に対する較正支援装置の位置が分かっている。
【0055】
装用者の眼に対して、及び眼鏡フレーム、又はアイトラッキング装置に対して配置された較正支援装置の位置が分かっていることによって、較正支援装置の目視基準要素に関して、基準方向を規定し得る。較正支援装置が複数の目視基準要素を含む実施形態によれば、各目視基準要素は、基準方向に関連付けられ得る。
【0056】
取得ステップS3の期間中に、頭部装着型アイトラッキング装置の装用者が基準方向を見ている間に、装用者の眼の位置に関する眼のデータをアイトラッキング装置によって取得する。
【0057】
例えば、取得ステップの期間中に、装用者は、較正支援装置の複数の目視基準を又はそのうちの1つを見るように求められる。装用者がこれら目視基準を又はそのうちの1つを見ている間、装用者の眼の画像が、図1に示すカメラ20、22及び24によって記録される。
【0058】
関連付けステップS4の期間中に、取得ステップS3の期間中に取得された眼のデータを、基準方向に対応する視線方向と関連付ける。眼のデータは、眼の位置を表し、及び目のきらめきの位置、瞳孔の位置、虹彩の位置、電圧(電気眼球図記録を使用するとき)、又は眼の位置に関する情報をもたらす任意の物理量とし得る。
【0059】
上述の通り、本発明による較正方法は、眼科用レンズが取り付けられる眼鏡フレームを含むアイトラッキング装置を較正するために使用されてもよい。
【0060】
一般に、配置ステップS2の期間中に、較正支援装置は、眼科用レンズのうちの少なくとも一方のレンズの面の少なくとも一方の面に配置され、及び関連付けステップの期間中に、基準要素に対応する視線方向は、眼科用レンズの光学的屈折機能に基づいて決定される。
【0061】
記録ステップS5の期間中に、関連付けられた眼のデータと視線方向とを、例えば、眼鏡フレームの一方の側面に含まれるメモリに記録する。
【0062】
較正支援装置が複数の目視基準要素を含む本発明の実施形態によれば、関連付けステップ及び記録ステップを、各目視基準要素に対して繰り返し行う。
【0063】
図2に示すように、本発明による方法は、最後の記録ステップの後に、較正支援装置を除去する除去ステップS6を含んでもよい。
【0064】
本発明による較正によって、眼のデータ、例えば、視線方向に関連する装用者の眼の画像を収集できる。そのようなデータは、アイトラッキングの期間中に、アイトラッキング装置の精度を高めるために使用され得る。
【0065】
本発明人らは、装用者の顔に対するアイトラッキング装置の動きを考慮することによって、アイトラッキング装置の精度をさらに高めることができることを観察している。
【0066】
それゆえ、本発明の実施形態によれば、較正方法は、さらに、装用者によって装用されているときに、装用者の顔に対するアイトラッキング装置の相対位置を決定する、アイトラッキング位置決定ステップを含む。好ましくは、アイトラッキング位置決定ステップは、取得ステップの前に実施される。
【0067】
本発明は、さらに、本発明による較正方法によって較正されている頭部装着型アイトラッキング装置の調整方法に関する。
【0068】
図4に示すように、調整方法は:
− ずれ量決定ステップS7、及び
− 調整ステップS8
を含む。
【0069】
ずれ量決定ステップS7の期間中、アイトラッキング装置に対する、装用者の顔の相対位置のその初期位置からのずれ量を決定する。
【0070】
アイトラッキング装置に対する装用者の顔の相対位置の初期位置を、好ましくは、本発明による較正方法のアイトラッキング位置決定ステップの期間中に、決定する。
【0071】
装用者の顔の相対位置は、装用者の眼と、アイトラッキング装置の少なくとも1つの基準点との間の距離、例えば装用者の角膜頂点(cornea apex)とアイトラッキング装置の少なくとも1つの基準点との間の距離を含む。
【0072】
装用者の顔の相対位置は、さらに、アイトラッキング装置の少なくとも1つの基準点に対する眼の回転中心の相対位置を含み得る。
【0073】
そのような距離は、好ましくは、アイトラッキング装置が装用者の両眼を追跡するために配置されているときに、装用者の各眼に対して決定される。
【0074】
図1に示すように、頭部装着型アイトラッキング装置は、装用者の少なくとも一方の眼を照明するように構成された少なくとも2つの光源を含み得る。眼とトラッキング装置との間の距離は、光源によって照明される装用者の眼の角膜上での、光源の反射によって形成された形状に基づいて、決定され得る。
【0075】
第1の実施形態によれば、眼鏡フレームにいくつかの光源を取り付けることができる。光源のそれぞれが、カメラ画像で見ることができる鏡面反射(「目のきらめき」)を生じる。光源が十分に小さい場合、目のきらめきは、複数の点として考慮され得る。眼の表面は、いくつかのセクションにおいて擬球形(quasi−spherical)であり(中心部分又は虹彩、強膜)、目のきらめき点の間の見かけの距離は、十分に注意して、眼の表面と眼鏡レンズとの間の距離に直接関係し得る。
【0076】
さらなる実施形態によれば、構造化された照明は、眼鏡レンズに関しては公知の立体角を備えて、眼上に光のパターン(例えば:1つ又は複数の正方形、ストライプ、線格子、...)を投影するために使用できる。眼からカメラへの、構造化された光の反射パターンの分析はまた、頂点距離(又は頂点距離の変動)の計算に直接つながり得る。
【0077】
先の実施形態と組み合わせられ得る実施形態によれば、ある期間にわたる瞳孔又は虹彩のはっきりとした形状の記録の分析により、カメラの視野での眼の回転中心の位置を決定し得る。十分に注意して、また、このタイプの記録から頂点距離をコンピュータで計算できる。
【0078】
ずれ量決定ステップS7の期間中に決定されたずれ量を使用して、調整ステップS8で、アイトラッキング装置のアイトラッキング機能を調整する。
【0079】
本発明の実施形態によれば、ずれ量ステップ及び調整ステップを、定期的に、例えば30秒毎に繰り返す。
【0080】
好都合にも、本発明の調整方法は、アイトラッキング装置が装用者の顔に対して動くことがあっても、高精度のアイトラッキング装置を維持できる。例えば、アイトラッキング装置は、図1に示すタイプのものであり、アイトラッキング装置は、装用者の顔に対して動くことがあり、例えば装用者の鼻の上を滑ったり、又は装用者によって位置をずらされたりもされる。本発明による調整方法は、そのような動きに基づいて、アイトラッキング機能を調整できるようにする。
【0081】
調整の例として、眼のずれ量が、水平軸(個々に垂直軸)上でNmm、及び縦軸上でMmm(頂点距離の変動)であると測定される場合、眼のデータは、瞳孔、又は虹彩、又は目のきらめきの位置を用いて測定された眼の視線方向が修正されるように、修正される。
【0082】
この調整に対する単純な解決法は、複数の眼鏡レンズと顔との間の動きの影響を相殺するために、眼のデータを直接修正することにある。基本的な例では、アイカメラの光軸に対して垂直な軸に沿って眼鏡の平行移動が生じる場合、アイトラッキングの精度を変更することなく、初期較正データを使用し続けるために、カメラの視野において検出された眼の位置を、対応する距離で、単に「平行移動」できる。
【0083】
より一般的には、本発明による調整方法は、複数の眼鏡レンズと装用者の顔との間で観察された動きによって、レンズ面上での予期された視線「衝撃点」を決定することを目標とする。そこで、衝撃点及びレンズ上での入射が分かることによって、視線方向は、最小限の精度の損失で計算できる。
【0084】
ずれ量は、目のきらめきの位置のずれ量の代替例として、眼角(cantus)の位置のずれ量として、又はより一般的には、アイトラッキング装置に対する顔の特徴、例えば鼻、眉毛、皮膚の斑点の位置のいずれかのずれ量として、測定できる。ずれ量は、アイトラッキング装置自体によって、又はアイトラッキング装置上に位置決めされる任意の追加的なカメラ又は非接触センサー(例えば:超音波又は飛行時間距離センサー、光検出器アレイ、静電容量型近接センサー、...)によって、測定され得る。
【0085】
アイトラッキング装置と眼との間の距離のずれ量はまた、カメラ画像における虹彩の見かけサイズの決定を用いて測定され得る。画像における虹彩のサイズ修正は、ずれ量が生じたことを意味し、及び小さなサイズは、眼とアイトラッキング装置との間の距離が増したことを意味する。単純なモデルを使用してずれ量を決定でき、虹彩のサイズ(約12mm)及びカメラのピクセルの角度サイズが分かる。
DistEtoET × tan(Npix × PixSize)=IrisSize、そのため、DistEtoET × tan(Npix × PixSize)
(式中、DisEtoET=眼とアイトラッカーとの間の距離
Npix=眼の画像上で測定された虹彩のピクセルのサイズ
PixSize=眼を撮像するカメラの光学系から分かるピクセルの角度サイズ
IrisSize=虹彩のサイズ(12mm)である)
【0086】
一般的な発明の概念を限定することなく、本発明を、実施形態を用いて上記で説明した。
【0087】
例としてのみ与えられ、かつ本発明の範囲を限定するものではない上述の説明に役立つ実施形態を参照すると、多くのさらなる修正例及び変形例が当業者に思い浮かび、本発明の範囲は、添付の特許請求の範囲によってのみ決定される。
【0088】
特許請求の範囲では、語「含む(comprising)」は、他の要素又はステップを除外せず、及び不定冠詞「a」又は「an」は、複数を除外しない。異なる特徴は、相互に異なる独立請求項に列挙されるという事実だけでは、これらの特徴の組み合わせが好都合に使用できないことを示さない。特許請求の範囲におけるいずれの参照符号も、本発明の範囲を限定するものと解釈されるべきではない。
図1
図2
図3
図4
図5