IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ ヴューポイントシステム ゲー・エム・ベー・ハーの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-06-13
(54)【発明の名称】眼鏡および瞳孔中心を決定する方法
(51)【国際特許分類】
   G02C 11/00 20060101AFI20230606BHJP
   G02C 5/02 20060101ALI20230606BHJP
   A61B 3/113 20060101ALI20230606BHJP
【FI】
G02C11/00
G02C5/02
A61B3/113
【審査請求】有
【予備審査請求】未請求
(21)【出願番号】P 2022568685
(86)(22)【出願日】2020-05-14
(85)【翻訳文提出日】2023-01-11
(86)【国際出願番号】 EP2020063509
(87)【国際公開番号】W WO2021228399
(87)【国際公開日】2021-11-18
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
1.BLUETOOTH
(71)【出願人】
【識別番号】521196811
【氏名又は名称】ヴューポイントシステム ゲー・エム・ベー・ハー
【氏名又は名称原語表記】viewpointsystem gmbh
【住所又は居所原語表記】Franz-Josefs-Kai 47/3. OG, 1010 Wien, Austria
(74)【代理人】
【識別番号】100105957
【弁理士】
【氏名又は名称】恩田 誠
(74)【代理人】
【識別番号】100068755
【弁理士】
【氏名又は名称】恩田 博宣
(74)【代理人】
【識別番号】100142907
【弁理士】
【氏名又は名称】本田 淳
(72)【発明者】
【氏名】ベルガー、ニルス
(72)【発明者】
【氏名】リンセンマイヤー、フランク
【テーマコード(参考)】
2H006
4C316
【Fターム(参考)】
2H006CA00
4C316AA15
4C316AA21
4C316FA19
4C316FA20
4C316FB15
4C316FB26
4C316FC04
4C316FC21
(57)【要約】
本発明は、様々なタイプの装着者の瞳孔位置を検出することができるアイトラッキングのための改良された眼鏡、システム、および方法に関する。瞳孔の検出は、眼鏡フレーム上の眼カメラの新たな特定の位置に基づいて先行技術より改善される。
【特許請求の範囲】
【請求項1】
アイトラッキング眼鏡(1)であって、
フレーム(2)を備え、
前記フレーム(2)は、ディスク状構造を受けるための1つ以上の受け開口(3)を有し、
前記フレーム(2)は、前記眼鏡(1)を人の鼻の上に配置するために設けられたU字型部分(9)を有し、
前記U字型部分(9)は、右鼻フレーム(5)および左鼻フレーム(6)と、前記右鼻フレーム(5)と前記左鼻フレーム(6)との間のブリッジ(10)と、を有し、
右眼検出カメラ(7)が、右鼻部分フレーム(5)に配置され、左眼検出カメラ(8)が、左鼻部分フレーム(6)に配置され、
前記眼鏡は、第1のつる(15)および第2のつる(16)をさらに備え、前記左眼検出カメラ(8)および前記右眼検出カメラ(7)は、対応する鼻部分フレーム(6、5)における、3mm≦Z≦15mmの範囲内のデカルト座標系のZ軸に関するZ座標を有する位置に配置され、
前記デカルト座標系(X、Y、Z)は、その原点が前記眼鏡(1)の前記U字型部分(9)の凹状前部プロフィルの最大値に対応するように配置され、前記デカルト座標系のX軸は、前記つる(15、16)の下側プロフィル(150、160)と平行であり、前記デカルト座標系の平面XZは、前記眼鏡(1)の対称面であり、Z軸は、下向きに方向付けられると仮定して、使用時の装着者の瞳孔中心の検出中に、様々な民族の様々な身体的特徴の様々な鼻の形状も考慮して、瞼/まつ毛/頬骨の干渉を有するリスクを回避する、アイトラッキング眼鏡(1)。
【請求項2】
前記右眼検出カメラ(7)および前記左眼検出カメラ(8)は、仮定される前記Z軸に対して角度βで配向され、17.5°≦β≦22.5°であり、これにより、前記眼鏡が、使用時に、例えばアジア人とヨーロッパ人など最も異なる民族らについて装着者の最も可能性の高い瞳孔中心を検出することを可能にする、請求項1に記載の眼鏡(1)。
【請求項3】
前記右眼検出カメラ(7)および/または前記左眼検出カメラ(8)は、前記鼻フレームの関連部分に関して1つ以上の軸の周りで、特に2つの軸の周りで枢動されることが可能である、請求項1または2に記載の眼鏡(1)。
【請求項4】
前記眼鏡(1)は、特にサドルブリッジとして設計された、1つ以上の鼻梁を受ける1つ以上の鼻梁受容部を有する、請求項1乃至3のいずれか1項に記載の眼鏡(1)。
【請求項5】
1つ以上の視野カメラ(13)が、前記フレーム(2)上に配置される、請求項1乃至4のいずれか1項に記載の眼鏡(1)。
【請求項6】
前記眼鏡(1)は、データ処理装置およびデータインタフェースを有し、前記データ処理装置は、前記眼鏡(1)、前記データ処理装置、および前記データインタフェースが前記フレーム(2)に接続された第1のつる(15)に、または前記第2のつる(16)に好ましくは配置されるように、前記右眼検出カメラ(7)および前記左眼検出カメラ(8)と接続される、請求項1乃至5のいずれか1項に記載の眼鏡(1)。
【請求項7】
1つ以上の光源、特にLEDが、前記眼鏡(1)の前部に配置され、前記光源が前記データ処理装置に接続される、請求項6に記載の眼鏡(1)。
【請求項8】
事前決定可能な変化可能な幾何学的形状を有するレンズが、前記1つ以上の受け開口(3)に配置され、前記レンズが前記データ処理装置に接続される、請求項6または7に記載の眼鏡(1)。
【請求項9】
請求項4乃至8のいずれか1項に記載の1つの眼鏡(1)と、ノーズブリッジを交換することによって前記眼鏡(1)を様々な人々に適応させるための事前決定可能な数の異なる形状のノーズブリッジと、からなるシステム。
【請求項10】
人の両眼の瞳孔中心を決定する方法であって、前記人は、請求項1乃至8のいずれか1項に記載の眼鏡(1)を装着し、前記人の右瞳孔は右眼検出カメラ(7)、右眼検出カメラ(7)によって検出され、連続した右個別画像からなる右眼映像が生成され、右瞳孔中心に対応する右瞳孔の重心の右瞳孔座標は、前記右個別画像から決定され、前記人の左瞳孔は、前記左眼検出カメラ(8)によって取り込まれ、前記左眼検出カメラ(8)は、連続した左眼画像からなる左眼映像を作成し、左瞳孔中心に対応する左瞳孔の重心の瞳孔座標は、前記左眼画像から決定され、前記右瞳孔中心および/または前記左瞳孔中心は、記憶および/または出力され、画像認識プログラムを用いて自動的に前記眼映像の各個別画像について前記瞳孔座標を決定するために、瞳孔の周囲とのコントラストが登録され、設定された暗度より暗い前記個別画像の全ての点が求められ、前記瞳孔に対応する暗領域が完全に検出されて前記点により境界を定められ、瞳孔中心に対応する前記暗領域の重心が前記瞳孔座標で決定される、方法。
【請求項11】
人間の眼の自発瞬目を認識する方法であって、前記人間は、請求項1乃至8のいずれか1項に記載の眼鏡(1)を装着し、前記人間の両眼の瞳孔中心は、請求項10に記載の方法に従って決定され、右瞼は、連続した右眼画像内で検出され、左瞼は、連続した左眼画像内で検出され、右眼画像内で右瞼が右瞳孔中心を覆い、左眼画像内で左瞼が左瞳孔中心を覆う場合に、自発瞬目のメッセージが生成され、出力および/または保存される、方法。
【請求項12】
自発瞬目の開始と前記自発瞬目の終了との間の視覚的ダウンタイムが測定され、前記視覚的ダウンタイムがタイムアウトを超える場合に、警告メッセージが生成および/または出力される、請求項11に記載の方法。
【請求項13】
人のフォーカス距離を決定する方法であり、前記人は、請求項1乃至8のいずれか1項に記載の眼鏡(1)を装着し、前記人の両眼の瞳孔中心は、請求項10乃至12のいずれか1項に記載の方法に従って決定され、眼の距離は、瞳孔座標から決定され、右瞳孔座標は、右視角に割り当てられ、左瞳孔座標は、左視角に割り当てられ、前記フォーカス距離は、前記眼の距離、前記右視角、および前記左視角から決定され、特に切換えパルスとして好ましくは記憶および/または出力される、方法。
【請求項14】
事前決定可能な変化可能な幾何学的形状を有する受け開口(3)に配置されたレンズの幾何学的形状決定のために前記決定されたフォーカス距離に割り当てられた1つ以上の値が、データ処理装置のデータメモリから取り出され、前記レンズの幾何学的形状が前記値に基づいて設定される、請求項13に記載の方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、眼鏡、および装着者の瞳孔中心を決定する方法に関し、特に、本発明は、アイトラッキング眼鏡に関する。
【背景技術】
【0002】
アイトラッキング眼鏡は、通常、当該の眼鏡装着者の眼に対して配向されたカメラを備え、瞳孔の座標および眼の視野方向は、眼鏡を用いて確認されることが可能である。使用者が見ている点は、この眼鏡を、使用者の視野方向に向けて眼鏡に配置された別の視野カメラによって準備されるいわゆる視野映像と併用することで、確認されることが可能である。
【0003】
これらの既知の眼鏡は、カメラを配置すること自体が、使用者の動きを損なう結果になる可能性があるという欠点を有する。このような眼鏡は、一般には測定デバイスまたは調査用器具と考えられているが、そのようなものとして明白に認識可能でもある。試験者は、車両または特殊な試験環境など、公衆の眼がない場所では当該の眼鏡を受け入れるが、特に当該試験者が周囲の他人から保護されずに行動しなければならない環境では、眼鏡が試験者および周囲の人々の行動に対して影響を及ぼす。人が自身の外見に対する周囲の反応から受け取るフィードバックは、その人の行動に対して直接的な影響を及ぼす。この影響は、無意識によるものなので、当人による直接の制御を受けない。明白にそれと分かる目立つ装置を公衆の面前で頭部に装着すると、様々な周囲の反応が生じ、それが、当該の試験者の行動に対して、また物を見る行動に対して、直接的な影響を及ぼす可能性がある。困難な試験の状況では、この点で、このことが、試験の手段自体を介して試験結果に対する高レベルの影響を及ぼす可能性がある。
【0004】
このような既知の眼鏡は、底部前方から試験者の眼を記録する。このカメラ位置は、得られる測定結果の精度および質に対して負の影響を及ぼす可能性があることが分かっている。
【0005】
これらの既知の眼鏡は、カメラおよびケーブルなどの突き出している部品が、これらの既知の眼鏡の調査用途での使用可能性を制限するという欠点をさらに有する。例えば、これらの眼鏡は、高速で回転する機械の周囲では、事故の大きな危険を意味する。輪状部分または突出部分を有する身体に装着される衣類または器具は、多数の作業環境で安全上の理由から禁止されている。
【0006】
先行技術
特許文献1は、上述した関連する欠点を解消することを目的とするアイトラッキング眼鏡を開示している。
【0007】
この先行技術文献は、グラスの鼻フレーム内に配置された2つの眼カメラと、グラスの中央の視野カメラとを備えるアイトラッキング眼鏡について述べている。
特に、この先行技術の発明の1つの好ましい実施形態によれば、1つ以上の視野カメラがグラスフレーム上に配置されるようになっている。視野カメラは、個別の連続した視野画像を含む視野映像を記録するために設けられる。したがって、2つの眼取得カメラおよび1つ以上の視野カメラの記録は、それぞれの視点の視野映像と相関付けて入力されることが可能である。
【0008】
さらに、眼取得カメラを鼻フレーム部分内に配置することにより、眼の周囲のまつ毛による瞳孔検出に対する影響が低減されることが可能である。さらに、瞳孔上での干渉する反射の影響も、このようにして低減されることが可能である。装着者の瞬目も、装着者の両眼を検出することにより、以前より正確に認識されることが可能である。
【0009】
この文献では、図8図9、および図10を参照して、座標系が示されていることが説明されている。発明された眼鏡の対称性から、この座標系は、YZ平面が、対称面XZによって分割される対向する対称に配置された領域とそれぞれ交差する眼鏡の右側および左側のY軸およびZ軸によって画定されるように選択される。X軸およびZ軸によって画定されるXZ対称面は、YZ平面上に直交するように、また眼鏡の対称面と平行に配置される。XY平面は、YZ平面およびXZ平面に対して直交するように配置される。右眼取得カメラおよび左眼取得カメラは、それぞれこれらの平面または軸に関して傾斜して配置される。この場合、1つの好ましい実施形態によれば、それぞれの場合において、2つの眼取得カメラの1つの光学軸が、対称面XZに対して直交するY軸に対して第1の角度で配置され、この第1の角度は、30°から50°の間であるようになっている。さらに、この好ましい実施形態によれば、それぞれの場合において、2つの眼取得カメラの1つの光学軸は、X軸に対して第2の角度で配置され、この第2の角度は、25°から35°の間であるようになっている。
【0010】
発明された眼鏡は、装着者の瞳孔の位置を検出する際に良好な結果を実現するが、装着者の鼻梁と瞳孔との間の距離が非常に短いことを特徴とするアジア人の前頭部および眼の特定の構成に関する困難にぶつかる。この場合、実際に、アジア人は、彼らの眼、鼻、前頭部の構成、および一般に彼らの頭部のプロフィルにより、眼鏡を目に非常に近づけて装着しておかざるを得ず、それにより、特に眼カメラが鼻フレームの最高位置に配置されるときには、瞳孔の位置の検出を妨げる装着者のまつ毛および瞼との干渉が生じる可能性がさらに生じる。
【0011】
この発明は、ヨーロッパ人および北米人の装着者に特に関係しており、実際に、この文献では、アジア地域、アフリカ地域、ラテンアメリカ地域、または太平洋地域用の眼鏡は、装着者の特徴を考慮し、それに応じて他の値を用いて設計されることになると述べられている。
【0012】
上述の先行技術文献に関係する別の欠点は、いくつかの位置、特に鼻フレームに沿った眼カメラの低い位置では、瞳孔から離間することにより視野の隅に大きな歪みが生じ、これがそれらの隅で検出される情報量の低下につながるのでこの先行特許文献では十分に最適化されない眼カメラの視野に関する歪みに関する。
【0013】
鼻フレーム内の眼カメラの最低位置に関係するこの先行技術のさらに別の欠点は、装着者の瞳孔の検出の障害および妨害につながる可能性がある装着者の頬骨/まつ毛/瞼との干渉の可能性に関する。
【先行技術文献】
【特許文献】
【0014】
【特許文献1】米国特許出願公開第2016/0206196号明細書
【発明の概要】
【発明が解決しようとする課題】
【0015】
本発明の1つの目的は、その態様のうちの第1の態様によれば、様々なノーズブリッジの所定のセットを必要とすることなく、ほとんどの民族の人間、特にヨーロッパ人の装着者およびアジア人の装着者の両方の瞳孔の位置を検出することができる、アイトラッキング眼鏡およびシステムを得ることである。
【0016】
本発明の第2の目的は、様々なノーズブリッジの所定のセットを必要とすることなく、様々な形状の鼻を有し、したがってアイトラッキング眼鏡の装着の仕方が様々であるほとんどの民族の人間の瞳孔の位置を検出することができる、アイトラッキング眼鏡およびシステムを得ることである。
【0017】
本発明の第3の目的は、例えばヨーロッパ人およびアジア人などほとんどの民族の人間の瞳孔の位置を検出することができるだけでなく、先行技術文献に開示される技術と比較して検出された人間のより多数の異なる位置を検出することもできる、アイトラッキング眼鏡およびシステムを得ることである。
【0018】
さらなる目的は、鼻フレーム内の眼カメラの最高位置であり得る瞼およびまつ毛に関係する干渉を低減し、同時に、鼻フレーム内の眼カメラの最低位置であり得る頬骨/瞼/まつ毛に関係する干渉を低減することができる、アイトラッキング眼鏡およびシステムを得ることである。
【0019】
本発明のさらなる目的は、使用者の眼の視野方向に関する高レベルな測定精度を有し、目立たずに装着されることが可能であるために眼鏡を装着することによって使用者の行動に対する影響がもたらされない、ほとんどの民族の人間の瞳孔の位置を検出するためのアイトラッキング眼鏡およびシステムを提供することである。
【0020】
本発明のさらなる目的は、最適化された様式で動作して、ほとんどの民族の人間の瞳孔の位置の検出のための視野の隅の歪みの問題を低減する、アイトラッキング眼鏡およびシステムを得ることである。
【0021】
本発明の別の目的は、測定精度が高められ、測定装置が周囲に気付かれなくなることによって試験者に対する負の影響をもたらさないことからほとんどの民族の人間の瞳孔の位置の検出の有意に改善された結果を実現する、眼鏡を様々な装着者に適応させるために多くの鼻パッドを有する必要性を低減し、同時に作業用眼鏡または保護眼鏡として装着されるのに適している、アイトラッキング眼鏡およびシステムを提供することである。
【0022】
本発明のさらなる目的は、最も異なる民族ら、特にアジア人、ヨーロッパ人、および北米人の装着者の瞳孔の位置を決定する方法であって、さらに人間の視野方向、焦点距離、および瞬目を検出する方法を提供することである。
【0023】
本発明の別の目的は、視野方向、加えて、またはあるいは眼のフォーカス距離もしくは焦点距離を高レベルの精度で検出する方法を提供することであり、したがって、瞬目が自発瞬目として認識されることが可能であり、これにより、例えば大抵の異なる民族、特にアジア人、ヨーロッパ人、および北米人の装着者の瞳孔の集中力の高い状態と疲労した状態など、当該人の様々な状態が高い信頼性で区別されることが可能である。
【0024】
本発明のさらなる目的は、最適化されたエネルギー消費および計算能力消費を有する、極めて効率的な、容易に設計される眼鏡、関連するシステム、および方法を提供することである。
【課題を解決するための手段】
【0025】
以下は、最も重要な目的のうちのいくつかが実現されることを可能にする本発明のいくつかの技術的態様の概要である。
第1の態様によれば、本発明は、フレームを備えるアイトラッキング眼鏡であり、フレームは、右鼻フレームおよび左鼻フレームとブリッジとを有するU字型部分を有し、右眼検出カメラが、右鼻部分フレーム内に配置され、左眼検出カメラが、左鼻部分フレーム内に配置され、前記眼鏡は、第1のつるおよび第2のつるをさらに備える、眼鏡であって、原点が眼鏡のU字型部分の凹状前部プロフィルの最大値に対応するように配置され、X軸が、つるの下側プロフィルと平行であり、Z軸が下向きに方向付けられたデカルト座標系(X、Y、Z)を仮定して、左眼検出カメラおよび右眼検出カメラは、対応する鼻部分フレーム内の、3mm≦Z≦15mmの範囲内のデカルト座標系のZ軸に関する位置に配置されることを特徴とする、アイトラッキング眼鏡に関する。
【0026】
このような眼鏡は、使用時の装着者の瞳孔中心の検出中に、様々な民族の様々な身体的特徴の様々な鼻の形状も考慮して、瞼/まつ毛/頬骨の干渉を有するリスクを自然に回避する。
【0027】
さらに、右眼検出カメラおよび左眼検出カメラは、仮定されるZ軸に対して角度βで配向され、17.5°≦β≦22.5°であり、これにより、眼鏡は、使用時に、例えばアジア人とヨーロッパ人など大抵の異なる民族の装着者の最も可能性の高い瞳孔中心を検出することができる。
【0028】
第2の態様によれば、本発明は、眼カメラの特有の位置および配向が事前に定義された眼鏡を用いて人の両眼の瞳孔中心を決定する方法であって、画像認識プログラムを用いて自動的に眼映像の各個別画像について瞳孔座標を決定するために、瞳孔の周囲とのコントラストが登録され、設定された暗度より暗い個別画像の全ての点が求められ、瞳孔に対応する暗領域が完全に検出されてそれらの点で境界を定められ、瞳孔中心に対応する前記暗領域の重心が瞳孔座標で決定されることを特徴とする、方法に関する。
【0029】
この方法は、例えばアジア人とヨーロッパ人など大抵の異なる民族の装着者の瞳孔中心を、彼らの典型的な身体的特徴を考慮して検出することを可能にする。
第3の態様によれば、本発明は、眼カメラの特有の位置および配向が事前に定義された眼鏡を用いて人間の眼の自発瞬目を認識する方法であって、瞼が当該瞳孔中心を覆う時を検出する、方法に関する。
【0030】
この方法は、例えばアジア人とヨーロッパ人など大抵の異なる民族の人の眼の自発瞬目を、彼らの典型的な身体的特徴を考慮して認識することを可能にする。
第4の態様によれば、本発明は、眼カメラの特有の位置および配向が事前に定義された眼鏡を用いて人のフォーカス距離を決定する方法であって、右視角および左視角を介して眼の距離を検出する、方法に関する。
【0031】
この方法は、例えばアジア人とヨーロッパ人など大抵の異なる民族の人のフォーカス距離を、彼らの典型的な身体的特徴を考慮して決定することを可能にする。
本発明の構造的特徴および機能的特徴、ならびに既知の先行技術に対するその利点は、基礎となる特許請求の範囲から、また特に、本発明のコンピュータによって実装される方法、システム、デバイスの好ましい、ただし限定されない概略的な実施形態を示す添付の図面を参照して記載される以下の説明の検討から、さらに明らかになるであろう。
【図面の簡単な説明】
【0032】
図1】本発明による眼鏡を示す不等角投影図。
図2】本発明による眼鏡を示す別の不等角投影図。
図3】本発明による眼鏡を示す上面図。
図4】本発明による眼鏡を示す側面図。
図5a】第1の先行技術のシナリオに関する欠点を強調する図。
図5b】当該シナリオの写真表現を示す図。
図5c】様々な被験者(アジア人およびヨーロッパ人/北米人の両方)の瞳孔位置の分布に関するチャートを示す図。
図6a】第2の先行技術のシナリオに関する欠点を強調する図。
図6b】当該シナリオの写真表現を示す図。
図6c】様々な被験者(アジア人およびヨーロッパ人/北米人の両方)の瞳孔位置の分布に関するチャートを示す図。
図7a】第3の先行技術のシナリオに関する欠点を強調する図。
図7b】当該シナリオの写真表現を示す図。
図7c】様々な被験者(アジア人およびヨーロッパ人/北米人の両方)の瞳孔位置の分布に関するチャートを示す図。
図8a】第4の先行技術のシナリオに関する欠点を強調する図。
図8b】当該シナリオの写真表現を示す図。
図8c】様々な被験者(アジア人およびヨーロッパ人/北米人の両方)の瞳孔位置の分布に関するチャートを示す図。
図9a】本発明による第1のシナリオに関する欠点を強調する図。
図9b】当該シナリオの写真表現を示す図。
図9c】様々な被験者(アジア人およびヨーロッパ人/北米人の両方)の瞳孔位置の分布に関するチャートを示す図。
図10a】本発明による第2のシナリオに関する欠点を強調する図。
図10b】当該シナリオの写真表現を示す図。
図10c】様々な被験者(アジア人およびヨーロッパ人/北米人の両方)の瞳孔位置の分布に関するチャートを示す図。
図11a】本発明による第3のシナリオに関する欠点を強調する図。
図11b】当該シナリオの写真表現を示す図。
図11c】様々な被験者(アジア人およびヨーロッパ人/北米人の両方)の瞳孔位置の分布に関するチャートを示す図。
図12a】本発明による第4のシナリオに関する欠点を強調する図。
図12b】当該シナリオの写真表現を示す図。
図12c】様々な被験者(アジア人およびヨーロッパ人/北米人の両方)の瞳孔位置の分布に関するチャートを示す図。
図13a】本発明による第5のシナリオに関する欠点を強調する図。
図13b】当該シナリオの写真表現を示す図。
図13c】様々な被験者(アジア人およびヨーロッパ人/北米人の両方)の瞳孔位置の分布に関するチャートを示す図。
図14a】本発明による第6のシナリオに関する欠点を強調する図。
図14b】当該シナリオの写真表現を示す図。
図14c】様々な被験者(アジア人およびヨーロッパ人/北米人の両方)の瞳孔位置の分布に関するチャートを示す図。
図15】様々な被験者(アジア人およびヨーロッパ人/北米人の両方)の瞳孔位置の分布に関するチャートをさらに拡大された明白な図として示す図。
【発明を実施するための形態】
【0033】
一般に、本開示は、改良された装着者の瞳孔位置を検出することができるアイトラッキングの眼鏡、システム、および方法を記載する。
アイトラッキング眼鏡1は、フレーム2を有し、フレーム2は、ディスク状構造のための1つ以上の受け開口/レンズ受容開口3を有し、フレーム2は、右鼻フレーム部分5および左鼻フレーム部分6を有し、右眼取得カメラ7が、右鼻フレーム部分5内に配置され、左眼取得カメラ8が、左鼻フレーム部分6内に配置される。
【0034】
フレーム2は、眼鏡1を人の鼻の上に配置するために設けられたU字型部分9を有する。横方向にこの凹部と接するフレーム2の領域が、右鼻フレーム部分5および左鼻フレーム部分6と呼ばれる。右鼻フレーム部分5および左鼻フレーム部分6は、フレーム2の残りの領域に直接、かつ/または一体的に接合する、受け開口/レンズ受容開口3を囲むフレーム2の領域であることが好ましい。右鼻フレーム部分5および左鼻フレーム部分6は、眼鏡のレンズの形状によって作成されるU字型部分9の右部分および左部分であってもよい。
【0035】
眼取得カメラ7、8が鼻フレーム部分5、6内に一体化されることにより、眼鏡1は、いかなる突出部分も有しておらず、したがって、作業用眼鏡または保護眼鏡として装着されるのに適している。これにより、作業者、または機械を操作している人のものを見る動きは、監視および解析されることが可能であるだけでなく、機械を制御するのに直接使用されることも可能である。さらに、当該人の身体的状態および精神的状態が眼の動きに基づいて、例えば彼が疲れ果てているかどうか、または向精神物質の影響下にあるかどうかなどに基づいて判断されることが可能であるので、機械を制御する能力も監視されることが可能である。したがって、特に眼鏡1を公衆の中で使用する場合には、測定精度が向上し、測定装置も周囲に気付かれなくなり、したがって試験者に対して負の影響をもたらすこともないので、有意に改善された結果を得ることができる。
【0036】
眼鏡1は、1つ以上の鼻梁を収容する1つ以上の鼻梁受容部(図示せず)を有するようになっていることが好ましい。鼻梁受容部は、この場合には、フレーム2のU字型部分9内またはU字型部分9上に配置される。
【0037】
「右」または「左」、あるいは「高」または「低」という指定は、人間による眼鏡1の所期の装着の仕方に関係する。
鼻梁受容部により、眼鏡1では異なる形状のノーズブリッジが使用され得、したがって、この眼鏡は、様々な鼻の幾何学的形状に適応されることが可能であり、これにより、眼鏡1は、単純な手段を用いて様々な人に適応されることが可能であり、特に、本発明によって実現されることの他に装着者の瞳孔の検出をさらに最適化することが必要とされる場合に、ノーズブリッジが個々の個人に対して意図的に適応されるようにすることもできる。眼鏡1は、さらに、ノーズブリッジを交換することによって眼鏡1を様々な人に対して事前に定義可能に適応させるために、様々な形状のノーズブリッジ(図示せず)と共にセットまたはシステムとして提供されることもある。
【0038】
前述のように、右眼取得カメラ7は、右鼻フレーム部分5内に配置され、左眼取得カメラ8は、左鼻フレーム部分6内に配置される。2つの眼取得カメラ7、8は、デジタルカメラとして設計され、対物レンズを有する。2つの眼取得カメラ7、8は、それぞれ当該の眼鏡1を装着している人の1つの眼を撮影し、それぞれの場合において個別の眼の画像または個別画像を含む眼の映像を準備するように設けられる。
【0039】
眼取得カメラ7、8は、鼻フレーム部分内の位置から眼の対応する領域を取得するのに適切な焦点距離を有する。焦点距離と、焦点距離を用いて取得されることが可能な開口角とは、カメラのセンササイズによって決まり、実施する当業者が本明細書を用いることによって問題なく選択されることが可能である。
【0040】
眼取得カメラ7、8の主要な目的は、眼鏡1を装着している人の瞳孔を取得することであるので、それらは、装着者の眼球の位置に向けて方向付けられなければならない。
出願人は、人間の頭部、鼻、前頭部の形状には多くの差異があり、したがって鼻フレーム上の眼カメラの任意の位置に依拠することは困難である可能性があることを認識した。
【0041】
関連する図1図2、および図5から図14には、座標系が示されている。当該眼鏡1の対称性から、この座標系は、YZ平面がU字型部分9の最高点200を通り、対向する対称に配置された領域とそれぞれ交差する眼鏡の右側および左側のY軸およびZ軸によって画定されるように選択されたものである。したがって、点Z1=0は、鼻フレームの最高点に対応し、点Z2は、眼鏡の鼻フレームの最低点に対応する。X軸およびZ軸によって画定されるXZ平面は、YZ平面上に直交するように配置され、眼鏡の対称面に対応する。XY平面は、YZ平面およびXZ平面に対して直交するように配置される。軸Zは、下方に向けられている。
【0042】
したがって、右眼取得カメラ7および左眼取得カメラ8は、それぞれこれらの平面または軸に関して傾斜して配置される。
発明者は、人々の鼻の様々な形状、およびさらには様々なタイプの代表的な身体的特徴による、まつ毛、瞼、頬骨による干渉に直面し、いずれにしても任意の特定のノーズブリッジを用いることを避けるということを考慮して、人間の鼻梁に対する眼鏡の位置と軸Zに対する眼カメラの配向とに関する確定した関係を発見した。
【0043】
鼻の形状に関しては、グラスを装着する途中でいくつかの結果が生じる。特に、鼻が細い場合には、鼻梁に対してグラスの位置が低く、このことは、鼻梁が人間の頭部の中で鼻が始まる部分であることを意味する。対照的に、鼻が大きい場合には、グラスの位置は、装着者の鼻梁に対して非常に高い。さらに、Z軸に沿った眼カメラの位置を考慮すると、カメラの位置がさらに高くなってZ=0、すなわちU字型部分9の最高点200(最大値)に近づきすぎると、図5および図6に示すようにまつ毛や瞼との干渉に関する多くの問題、ならびに高すぎる位置(図8参照)に装着された眼鏡内で装着者の瞳孔を検出しないという問題が生じることが分かった。対照的に、低すぎる、すなわち眼鏡の鼻フレームの最低点に近い眼カメラの位置を考慮すると、カメラによって検出される映像は、歪み問題の影響を受けるので、視野の隅部で情報の喪失がある映像が得られる(図7参照)。さらに、眼カメラの位置がさらに低くなると、装着者の瞼やまつ毛、および場合によっては頬骨との干渉問題が生じる(図6参照)。
【0044】
さらに、垂直軸Zに対する先行技術の角度は大きすぎ、それに加えて被験者の瞳孔の想定される位置をほとんど検出せず、そして間違いなく、角度25°~35°の間で開示される先行技術の配向は、アジア人およびヨーロッパ人の両方の想定される瞳孔のほとんどを検出することができず、さらに眼鏡の装着位置が低すぎ、装着者の鼻梁から離れすぎている場合がある場合には、極めて少数の想定される瞳孔しか検出することができないことが分かっている。
【0045】
この場合には、1つの好ましい実施形態によれば、それぞれの場合において、2つの眼取得カメラ7、8の1つの光学軸23が、Y軸に関して角度αで配置され、角度αは、30°から50°の間である、すなわち30°≦α≦50°であるようになっている。さらに、好ましい実施形態によれば、それぞれの場合において、2つの眼取得カメラ7、8の1つの光学軸23、およびそれにより眼カメラ7、8が、Z=0すなわち眼鏡1のU字型部分の最高点200(最大値)から始まる3mm≦Z≦15mmの範囲のZ軸に関するZ座標に配置されるようになっている。このデカルト座標系の原点(X=0、Y=0、Z=0)が、最高点200、すなわち例えば図1ではっきりと視認できる、またはいずれの場合でも眼鏡の正面からははっきりと視認できる、U字型部分9の凹状プロフィルの最大値に位置決めされていることは指摘されなければならない。図面に示されている場合には、最高点200は、眼鏡1のブリッジ10の下側プロフィルの最外点であるが、眼鏡1のブリッジ10の下側プロフィルが丸められている場合がある可能性もあり、したがって、その場合には、最高点200は、眼鏡1のブリッジ10の下側プロフィルの最外点ではないこともある。
【0046】
Z軸に沿った眼カメラの高さ位置のこの新たな範囲は、瞼/まつ毛との干渉問題を回避するための最適化された兼ね合いであり、薄いものから大きなものまで様々な形状の鼻との良好な兼ね合いであることが分かっている。
【0047】
さらに、Z軸に関する第2の角度βは、17.5°から22.5°の間で最適化されて、様々な種類の民族の装着者、すなわちアジア人およびヨーロッパ人の両方の最も可能性の高い瞳孔位置、ならびに装着者の頭部における眼鏡の様々な想定される位置、すなわち低い+離間、高い+近接などを検出することができるように、非常に良好な兼ね合いを実現する。
【0048】
本発明の第2の実施形態では、眼カメラをZ軸に沿ってより狭い部分範囲内、PAEで示されるチャートによる最高確率分布を得ることができる、すなわち3mm<Z≦12mmの部分範囲内に位置決めすることが、歪みや瞼/まつ毛/頬骨の干渉の問題を考慮したより良好な解決策であることが検証される。
【0049】
さらに、上記の部分範囲によれば、様々な種類の民族に属する様々な種類の人々の最も可能性が高い瞳孔のPAEで示されるチャートによる最高確率分布(図9図14、および特に図15参照)を検出するために、角度βに関する次の部分範囲が確立される。
【0050】
Z軸に関する第2の角度βは、18.0°から21.0°の間で最適化される。
前述のように、先行技術は、異なる身体的特徴を有する幅広い人々の瞳孔中心を検出する際の、またまつ毛、瞼、頬骨、またはそれらの影による干渉に関するいくつかの問題によって特徴づけられる。以下で説明される図面は、側面図であり、アジア人の想定される位置を示す実線およびPA分布曲線(ガウス分布)と、ヨーロッパ人/北米人の想定される位置を示す点線およびPE分布曲線(ガウス分布)と、出願人によって試験された人の全ての想定される位置を示す別のPAE分布曲線(ガウス分布)とを含む。分布曲線は、鼻梁から瞳孔までの距離の所定の範囲をX軸に示し、その鼻梁から瞳孔までの距離の範囲に何人の人が含まれるかをY軸に示している。それぞれの場合において、眼カメラ7、8の位置は、矢印で終端する光学軸を有する再生記号で示されている。さらに、場合によっては、記載される条件下の特定の場合に検出される被験者の眼の実際の写真が挿入されている。
【0051】
図5は、装着者の頭部上の眼鏡の普通+近接の位置を示している。すなわち、「普通」とは、特に細くもなく特に大きくもない普通の鼻に装着された眼鏡の位置が意図されており、「近接」位置とは、アジア人の典型的なケースである、一般に装着者の鼻梁から彼の眼球までの距離が非常に短いことにより装着者の眼球に非常に近接して装着された眼鏡の位置が意図されている。さらに、眼カメラは先行技術の領域Z1~Z3にZ座標を有する状態で配置される。
【0052】
この場合、図5に明白に示されるように先行技術の領域Z1~Z3にZ座標を有する状態で眼カメラが配置される場合には、より高い瞼/まつ毛との干渉の可能性がある可能性がある。
【0053】
図6は、装着者の頭部上の眼鏡の高+近接の位置を示している。すなわち、「高」とは、例えば大きな鼻に装着された眼鏡の位置が意図されており、眼カメラは、先行技術の領域Z4~Z2にZ座標を有する状態で配置される。
【0054】
この場合、図6に明白に示されるように先行技術の領域Z4~Z2にZ座標を有する状態で眼カメラが配置される場合には、より低い瞼/まつ毛との干渉の可能性があり、頬骨の影の問題もある可能性がある。
【0055】
図7は、装着者の頭部上の眼鏡の高+近接の位置、および先行技術の領域Z4~Z2にZ座標を有する状態で配置された眼カメラを示している。この場合、範囲25°~35°内の先行技術の配向角を使用すると、上記の眼カメラは、想定される瞳孔をほとんど検出せず、特にアジア人の瞳孔は検出することができない(実線)ことが明白に分かる。
【0056】
図8は、装着者の頭部上の眼鏡の低+離間の位置、および先行技術の領域Z1~Z3にZ座標を有する状態で配置された眼カメラを示している。「低」とは、細い鼻に装着された眼鏡の位置が意図されており、「離間」位置とは、ヨーロッパ人/北米人のある程度典型的なケースである、一般に装着者の鼻梁から彼の眼球までの距離が非常に長いことにより装着者の眼球から非常に離間して装着された眼鏡の位置が意図されている。
【0057】
この場合、範囲25°~35°内の先行技術の配向角を使用すると、上記の眼カメラは、想定される瞳孔をほとんど検出せず、特にヨーロッパ人/北米人の瞳孔はごくわずかしか検出することができない(点線)ことが明白に分かる。
【0058】
図9は、装着者の頭部上の眼鏡の普通+近接の位置、および新たに請求される範囲の最高点Z3にZ座標を有する状態で配置された眼カメラを示している。この場合、図からすぐに分かるように、装着者の瞳孔の検出中に瞼/まつ毛との干渉はない。
【0059】
図10は、装着者の頭部上の眼鏡の高+近接の位置、および新たに請求される範囲の最低点Z4にZ座標を有する状態で配置された眼カメラを示している。この場合、図からすぐに分かるように、装着者の瞳孔の検出中に瞼/まつ毛/頬骨との干渉はない。
【0060】
したがって、範囲Z3~Z4の全体が、先行技術の問題を明白に解消し、様々な民族学的集団に典型的な様々な身体的特徴による様々な瞳孔位置を検出する際に最適な結果を実現する。
【0061】
図11は、装着者の頭部上の眼鏡の高+近接の位置、および新たに請求される範囲の最低点Z4にZ座標を有する状態で、新たに請求される角度βの上限22.5°を用いて配置された眼カメラを示している。この場合、図からすぐに分かるように、角度βの上限は、アジア人およびヨーロッパ人/北米人の両方の最も可能性が高い位置を検出することができる。
【0062】
図12は、装着者の頭部上の眼鏡の低+離間の位置、および新たに請求される範囲の最低点Z3にZ座標を有する状態で、新たに請求される角度βの下限17.5°を用いて配置された眼カメラを示している。この場合、図からすぐに分かるように、角度βの上限は、アジア人およびヨーロッパ人/北米人の両方の最も可能性が高い位置を検出することができる。
【0063】
したがって、角度βの範囲17.5°~22.5°の全体も、先行技術の問題を明白に解消し、さらに、様々な民族学的集団に典型的な様々な身体的特徴による様々な瞳孔位置の検出を改善する。
【0064】
図13は、装着者の頭部上の眼鏡の高+近接の位置、および新たに請求される範囲Z3~Z4にZ座標を有する状態で、新たに請求される角度βの下限17.5°を用いて配置された眼カメラを示している。この場合、角度βに関する新たに請求される範囲の全体が、アジア人およびヨーロッパ人/北米人の両方の最も可能性が高い位置を検出することができることがさらに確認される。
【0065】
図14は、装着者の頭部上の眼鏡の低+離間の位置、および新たに請求される範囲Z3~Z4にZ座標を有する状態で、新たに請求される角度βの上限22.5°を用いて配置された眼カメラを示している。この場合、角度βに関する新たに請求される範囲の全体が、アジア人およびヨーロッパ人/北米人の両方の最も可能性が高い位置を検出することができることがさらに確認される。
【0066】
さらに、上述のように、様々なノーズブリッジが、眼鏡1を適応させるために使用されることが可能である。別法として、かつ/あるいはこれに加えて、右眼取得カメラ7および/または左眼取得カメラ8が、右鼻フレーム部分5または左鼻フレーム部分6内で、1つ以上の軸の周りで、特に2つの軸の周りで、旋回可能になるように配置されるようにすることもできる。こうして、右眼取得カメラ7および/または左眼取得カメラ8の視野方向が調節されることができる。こうして、様々な頭部の形状に対する眼鏡1の適応が可能である。
【0067】
本眼鏡1の1つの好ましい実施形態によれば、1つ以上の視野カメラ13がフレーム2上に配置されるようになっている。視野カメラ13は、個別の連続した視野画像を含む視野映像を記録するために設けられる。したがって、2つの眼取得カメラ7、8および1つ以上の視野カメラ13の記録が、それぞれの視点の視野映像と相関して入力されることが可能である。視野カメラ13は、図1でのみ眼鏡1上にはっきりと示されている。
【0068】
1つ以上の視野カメラ13は、右鼻フレーム部分5と左鼻フレーム部分6との間の領域またはブリッジ10に配置されるようになっていることが好ましい。多数の視野カメラ13が眼鏡に配置されることも可能であり、特に、1つの左視野カメラおよび1つの右視野カメラが、フレーム2の、それぞれ第1のつる15および第2のつる16への移行領域に設けられる。
【0069】
眼鏡1は、データ処理装置およびデータインタフェースを有し、データ処理装置は、右眼取得カメラ7および左眼取得カメラ8に接続されるようになっていることが好ましい。眼鏡1は、さらに、右眼取得カメラ7および左眼取得カメラ8、ならびにデータ処理装置およびデータインタフェースのエネルギー供給のためのエネルギー蓄積器を有することもある。
【0070】
本眼鏡1の1つの特に好ましい実施形態によれば、データ処理装置およびデータインタフェースは、第1のつる15内に配置され、エネルギー蓄積器は、第2のつる16内に配置されることがあるようになっている。この場合、第1のつる15は、右のつるまたは左のつるとすることができ、また逆も可能である。したがって、記録、初期解析、および記録された映像の記憶の全体が、眼鏡1自体の中で、または眼鏡1自体によって、実行されることが可能である。したがって、妨げになる接続は、省略されることが可能である。
【0071】
データ処理装置は、データメモリも備える。これは、マイクロコントローラまたはDSPとRAMとの組合せとして設計されることが好ましい。データ処理装置は、データインタフェースに通信可能に接続される。また、データインタフェースおよびデータ処理装置が、例えばASICまたはFPGAによってハードウェアで一緒に形成されるようになっていることも可能である。インタフェースは、例えばBluetooth規格またはIEEE.802.xによるワイヤレスインタフェースとして、あるいは例えばUSB企画による有線インタフェースとして設計されることが好ましく、この場合には、眼鏡1は、例えばmicro-USBによる対応するソケットを有する。追加のセンサが眼鏡に挿入され、データ処理装置と接続されることも可能である。
【0072】
データ処理装置およびデータインタフェースは、少なくとも間接的には、回路によってエネルギー蓄積器に接続されることがあり、3つのカメラ、すなわち視野カメラ13、右眼取得カメラ7、および左眼取得カメラ8に通信可能に接続される。
【0073】
上述のように、ここに記載されている眼鏡1は、人の両眼の瞳孔中心点を決定する方法を実行するのに特に適している。この場合には、人の右瞳孔は、右眼取得カメラ7によって取得され、右眼取得カメラ7は、連続した右の個別画像を含む右眼映像を準備し、右瞳孔中心点に対応する右瞳孔の焦点の右眼画像内の右瞳孔の座標は、右眼画像から確認され、人の左瞳孔は、左眼取得カメラ8によって取得され、左眼取得カメラ8は、連続した左の個別画像を含む左眼映像を準備し、左瞳孔中心点に対応する左瞳孔の焦点の左眼画像内の瞳孔の座標は、左眼画像から確認され、右瞳孔中心点および/または左瞳孔中心点が、記憶および/または出力される。
【0074】
このようにして、両眼の視野方向の検出が取得されることが可能である。したがって、人の視野方向が、高レベルの精度で決定されることが可能である。加えて、または別法として、フォーカス距離、または当該人の眼の焦点距離が、このようにして確認されることが可能である。したがって、瞬目は自発瞬目として認識されることが可能であり、これにより、例えば集中力の高い状態と疲労した状態など、当該人の様々な状態を高い信頼性で区別することができる。
【0075】
コンピュータによる対物レンズ歪み補正は、それぞれの場合において、2つの眼取得カメラ7、8、および視野カメラ13、ならびに見込み歪みの補正について実行されるようになっていることが好ましい。
【0076】
2つの眼の映像および視野映像は、経時的に同期して記録され、これはデータ処理装置によって制御される。
瞳孔座標の確認と、やはり本眼鏡1または本方法で提供されることが好ましい視野映像との相関付けとは、欧州特許第1300018号明細書に記載されている。
【0077】
好ましい方法では、眼の映像中の瞳孔中心点の精密な瞳孔座標は、画像認識プログラムによって確認される。この場合には、瞳孔座標は、眼の映像のそれぞれの個別画像について確認される。瞳孔座標の確認は、画像認識プログラムを用いて自動的に実行されることが好ましい。そのために、眼の映像のそれぞれの個別画像について、周囲に対する瞳孔のコントラストが登録され、設定された暗度より暗い個別画像の全ての点が探索される。これらの点を用いて、暗領域が完全に取得されて境界を定められ、次いで、この暗領域の焦点が自動的に確認される。暗領域は試験者の瞳孔に対応するので、暗領域の焦点は、瞳孔中心点を表す。画像認識プログラムは、対応するコントラストおよび暗度の変数を設定することを提供することが好ましいので、全ての個別画像について特に高いレベルの精度が実現されることが可能になる。上述のように、周囲に対するコントラストのおかげで特に良好にかつ高い信頼性で識別されることが可能な瞳孔の縁部の点が、さらに選択されることが可能であり、これらの点は、楕円の一部として取り出されることが可能であり、その後、焦点、またはその円周上に事前定義可能な数の点が存在する楕円の中心点が計算される。したがって、それぞれの個別画像について、グレースケール値閾値の形態のそれぞれの場合における最良のコントラストが様々な照明条件について保証されることが可能であり、これが瞳孔座標の信頼性の高い決定を全体として可能にしている。グレースケール値閾値は、例えば、1から256の間のデジタル形態の値であり、画素上の黒または白の百分率比率を定義する。実現可能な最高値はベタ黒に対応し、最低値は白に対応する。瞳孔は記録中にベタ黒の値に到達することはないと推定されるので、少なくともこの画像では、現実の存在する瞳孔のグレーに対応する値が定義されることになる。閾値は、この定義されたグレー値より明るい全ての画素を排除し、全てのより暗い領域が、焦点を見つけるために使用される。3つのパラメータにより、閾値の定義が最適化されることが可能になる。照明条件は、シーケンス内の実験中にしばしば非常に強く変化するので、この閾値の定義は、各画像について個別に可能であることも好ましい。全ての設定は、シーケンスの各画像についての高い要件に従ってファイルに記憶されることが可能である。
【0078】
確認された瞳孔座標から、このファイルは、例えば欧州特許第1300018号明細書に記載される相関によって、視野カメラによって準備される視野映像を用いてさらに様々に処理されることが可能である。
【0079】
眼鏡1は、瞳孔中心点を確認する前に、事前定義可能な見るシーケンスに基づいて較正されるようになっていることが好ましい。そのために、最初に、1つまたは複数の特定の事前定義された対照点についての試験者の1つまたは複数のパターンを見るシーケンスが記録される。パターンを見るシーケンスは、較正のためだけに記録される見るシーケンスとして理解され、その間に、試験者は、事前定義された対照点を見る。例えば、特定の対照点は、壁面上にマークされることが可能である。可能な限り最良のコントラストを得るために、例えば、普段は白い表面上の黒いマークが対照点として選択されることが可能である。対照点は、一般に、十字または光点などである。試験者は、この対照点を注視するように指示され、試験者の視野および眼が、2つの眼取得カメラおよび視野カメラによって記録される。標的となる対照点は、様々な定義された間隔で配置されるとさらに好ましい。
【0080】
本眼鏡の好ましい改良形態によれば、1つ以上の光源、特にLEDが、眼鏡1の前面に配置され、その光源がデータ処理装置およびエネルギー蓄積器、または適当な電力接続に接続されるようになっている。この場合、眼鏡1の装着者の反対側が、眼鏡1の前面として識別される。眼鏡1の簡単かつ自動化可能な較正は、光源によって可能になる。光源は、そのために、データ処理装置によって制御される。
【0081】
この場合、反射表面、特に鏡が、眼鏡を装着している人に対向して配置される、または当該人が鏡の前に位置し、光源が眼鏡1の較正のために起動されるようになっていることが好ましい。これで、当該人は、鏡の中の自分の像を観察し、この場合の光源の像を注視する。鏡の中の光源の像の継続的な注視とともに頭部の位置が事前定義可能に変化することにより、瞳孔の位置が、眼鏡1または眼取得カメラ7、8に応じて変化する。光源の波長または色は分かっているので、それは、視野カメラ13およびデータ処理装置によって容易に認識されることが可能である。
【0082】
上述のように、本眼鏡1および上述の方法の改良形態を用いると、例えば異物が眼に入ることによって引き起こされる瞼の動きと対比して、自発瞬目をそれとして認識することができる。この場合、さらに、右瞼は、連続的な右の個別画像内で検出され、左瞼は、連続的な左の個別画像内で検出され、右瞼が右の個別画像内で右瞳孔中心点を隠し、左瞼が個別画像のうちの1つにおいて左瞳孔中心点を隠すときに、自発瞬目のメッセージが生成され、出力および/または記憶される。記載される条件で述べられている当該の右および左の個別画像は、それぞれ、時間に関して実質的に同時に記録された個別画像である。
【0083】
瞼を検出するために、最初に、それぞれの瞳孔が完全に取得されるようになっている。パターン認識を有する画像処理プログラムを用いると、1つの画像から次の画像に連続的に進む瞳孔の隠れをそれと認識し、それをハイライト部分と区別することが容易にできる。それぞれの瞳孔の局所的な隠れは、このようにして、容易に、かつ高い信頼性で瞬目に割り当てられることが可能である。
【0084】
自発瞬目を認識する方法のための当該方法の改良形態では、さらに、自発瞬目の開始からその自発瞬目の終了までの間の視覚的ダウンタイムが測定され、視覚的ダウンタイムが限界時間を超えた場合には、警告メッセージが生成および/または出力される。これにより、人間の身体的状態および/または精神的状態が、容易に監視されることが可能である。したがって、本眼鏡1は、機械と協働して、機械を操作している人がその活動に必要と考えられる注意深さを用いているかどうかを監視することができる。したがって、例えば、眼鏡1は、当該操作者の瞬目活動に基づいて、彼が過労状態であり、機械のそれ以上の安全な操作が危険にさらされているかどうかを解析することができる。眼鏡1は、次いで、例えば当該機械をオフにする警告メッセージを発出する、またはその他の切換え手順をトリガすることができる。
【0085】
人の両眼の瞳孔中心点を決定する方法の改良形態では、さらに、人のフォーカス距離が確認されるようになっており、視野映像の個別画像中の瞳孔座標から眼間距離が確認され、右視角が右瞳孔の座標に割り当てられ、左視角が左瞳孔の座標に割り当てられ、フォーカス距離は、眼間距離、右視角、および左視角から確認されて、好ましくは記憶および/または出力される。特に、この場合には、切換えパルスまたは切換えコマンドが、生成されて出力されることが可能である。
【0086】
この場合には、フォーカス距離を確認するために、眼間距離および2つの眼のそれぞれの視角が確認される。眼間距離は、仮想三角形の底辺となり、2つの眼の視角は、2つの辺が底辺に対してなす角度を表す。当該三角形の高さは、そこからフォーカス距離または焦点距離として容易に確認されることが可能であり、人が実際にどの点を見ているかが、より正確に確立されることが可能である。
【0087】
さらに、眼の位置ずれは、試験主体の2つの眼についての個々の測定によって容易に、かつ高い信頼性で認識されることが可能である。この場合には、それぞれの場合において2つの眼について別個に、例えば片眼が覆われている状態で、眼取得カメラ7、8を較正することが必要である可能性がある。
【0088】
本発明の1つの有利な改良形態によれば、確認されたフォーカス距離が、受け開口/レンズ受容開口3内に配置される、可変のまたは事前定義可能に可変の幾何学的形状を有するレンズを設定または制御するために使用されるようにすることができる。この場合、1つ以上のレンズがデータ処理装置に接続されるようになっていることが好ましい。当該レンズ上で当該幾何学的パラメータを設定するためには、それぞれのフォーカス距離または距離間隔が決定されて、データ処理装置に割り当てられたメモリに記憶されることが必要である。当該パラメータは、この場合には各フォーカス距離についてのそれぞれが複数の変数を含むことができる。当該レンズの幾何学的形状を設定するためには、確認されたフォーカス距離と関連付けられた、事前定義可能な可変の幾何学的形状を有するレンズの幾何学的形状決定のための1つ以上の値がデータメモリから取り出され、その値に基づいてレンズの幾何学的形状が設定されるようになっていることが好ましい。このようにして、複雑な視覚的障害がある場合でも信頼性の高い補助を提供することができる眼鏡1が提供されることが可能である。
【0089】
さらに、主として瞳孔および/または虹彩の領域の異常は、2つの眼の画像から認識されることが可能である。
実行される事前定義可能な実験シーケンスと組み合わせて、眼のナビゲーション構造またはパターンが同時に記録されることが可能である。さらに、実際の眼科学的初期検査が可能になるように、それらが解析および比較されることも可能である。
【0090】
以上、各実施形態の具体的な特徴に関連して具体的な実施形態について述べたが、本発明は、記載される形態の記載される実施形態に限定されないことは、理解されるであろう。特に、任意の実施形態の任意の特徴は、必ずしもそれらの実施形態の全ての特徴を含むとは限らず、任意の他の実施形態の任意の他の特徴と組合せ可能である。
図1
図2
図3
図4
図5a
図5b
図5c
図6a
図6b
図6c
図7a
図7b
図7c
図8a
図8b
図8c
図9a
図9b
図9c
図10a
図10b
図10c
図11a
図11b
図11c
図12a
図12b
図12c
図13a
図13b
図13c
図14a
図14b
図14c
図15
【国際調査報告】