特許 6106684 高分解能視線検出のためのシステムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6106684

(24)【登録日】2017年3月10日

(45)【発行日】2017年4月5日

(54)【発明の名称】高分解能視線検出のためのシステムおよび方法

(51)【国際特許分類】

   A61B 3/113 20060101AFI20170327BHJP

   A61B 3/10 20060101ALI20170327BHJP

【ＦＩ】

   A61B3/10 B

   A61B3/10ZDM

【請求項の数】31

【全頁数】24

(21)【出願番号】特願2014-541208(P2014-541208)

(86)(22)【出願日】2012年11月7日

(65)【公表番号】特表2014-532542(P2014-532542A)

(43)【公表日】2014年12月8日

(86)【国際出願番号】US2012063973

(87)【国際公開番号】WO2013070788

(87)【国際公開日】20130516

【審査請求日】2015年11月2日

(31)【優先権主張番号】13/290,948

(32)【優先日】2011年11月7日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】514114530

【氏名又は名称】アイフリューエンス，インコーポレイテッド．

(74)【代理人】

【識別番号】100114775

【弁理士】

【氏名又は名称】高岡 亮一

(74)【代理人】

【識別番号】100121511

【弁理士】

【氏名又は名称】小田 直

(74)【代理人】

【識別番号】100191086

【弁理士】

【氏名又は名称】高橋 香元

(72)【発明者】

【氏名】パブリカバー，ネルソン，ジー．

(72)【発明者】

【氏名】トーチ，ウィリアム，シー．

(72)【発明者】

【氏名】スピトラー，クリストファー，エヌ．

【審査官】 安田 明央

(56)【参考文献】

【文献】 特開２０１０−２５０７８９（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１０／０２２０２９１（ＵＳ，Ａ１）

【文献】 特表２００５−５２１０９９（ＪＰ，Ａ）

【文献】 特表２００７−５３１５７９（ＪＰ，Ａ）

【文献】 特開平０７−３１３４６０（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／０１８０６８７（ＵＳ，Ａ１）

【文献】 米国特許出願公開第２００７／０２７３６１１（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３／００−３／１６

(57)【特許請求の範囲】

【請求項1】

視線検出位置を決定するためのシステムであって、前記システムは、
装着者の頭部上に装着されるように構成されたデバイスと、
前記装着者の眼を照射するように方向付けられた前記デバイス上に取り付けられた１つ以上の照明光源と、
前記デバイス上に取り付けられかつ前記眼を視認するために配置された複数の眼検出用カメラと、
前記眼検出用カメラによって取得された前記眼の画像を分析して、前記１つ以上の照明光源から前記眼から反射された１つ以上の閃光を特定し、前記１つ以上の閃光に相対する前記眼の特徴の位置を特定して、前記装着者によって視認されている位置を決定するように、前記眼検出用カメラへ接続されたプロセッサと、を含み、
前記眼検出用カメラは、前記眼が通常の移動範囲全体において移動した際に前記眼の瞳孔が前記眼検出用カメラのうち少なくとも１つからの眼検出用カメラ画像内に出現するように、相互に十分に間隔を空けて配置され、
前記デバイス上に取り付けられ、前記装着者の環境内の基準位置を視認するために配置されたシーンカメラであって、前記プロセッサは、前記視野のシーン画像を取得することと、前記１つ以上の閃光に相対する前記眼の特徴の位置を特定して、前記装着者によって視認されている位置を前記シーン画像内において決定することとを行うように前記シーンカメラへ接続される、シーンカメラ、
をさらに含む、システム。

【請求項2】

視線検出位置を決定するためのシステムであって、
装着者の頭部上に装着されるように構成されたデバイスと、
前記デバイスを装着している装着者の眼の視野内において前記デバイス上に取り付けられた１つ以上の照明光源であって、前記１つ以上の照明光源は、前記眼を照明するように配置され、前記１つ以上の照明光源は、前記視野内の前記装着者の視覚との干渉を最小化するように構成される、照明光源と、
前記デバイス上に取り付けられかつ前記眼を視認するために配置された眼検出用カメラと、
前記眼検出用カメラによって取得された前記眼の画像を分析して、前記１つ以上の照明光源から前記眼から反射された１つ以上の閃光を特定し、前記１つ以上の閃光に相対する前記眼の特徴の位置を特定して、前記装着者によって視認されている位置を決定するように前記眼検出用カメラに接続されたプロセッサと、
を含み、
前記デバイス上に取り付けられ、前記眼を視認するために配置された１つ以上のさらなる眼検出用カメラであって、前記プロセッサは、異なる視認角度から前記眼の位置を検出するように前記１つ以上のさらなる眼検出用カメラへ接続される、さらなる眼検出用カメラ、
をさらに含み、
前記眼検出用カメラは、前記眼が通常の移動範囲全体を移動した場合に前記眼の瞳孔が前記眼検出用カメラのうち少なくとも１つからの眼検出用カメラ画像内に出現するように、相互に十分に間隔を空けて配置される、システム。

【請求項3】

前記１つ以上の照明光源は、ＬＥＤおよびＯＬＥＤエミッタのうち１つを含む、請求項１または２に記載のシステム。

【請求項4】

前記デバイスは、前記装着者の視線内において前記デバイスに取り付けられたレンズを含み、前記１つ以上の照明光源は、前記眼を照明するように前記レンズ上に設けられた複数の光源を含む、請求項１または２に記載のシステム。

【請求項5】

前記光源は、０．２ミリメートルより幅が小さい、請求項４に記載のシステム。

【請求項6】

前記システムは、前記光源を電源へ電気的に接続するための導線を前記レンズ上にさらに含み、前記導線は、前記視野内の前記装着者の視覚との干渉を最小化するように構成される、請求項４に記載のシステム。

【請求項7】

前記導線は透明である、請求項６に記載のシステム。

【請求項8】

前記導線は、０．２ミリメートルより幅が小さい、請求項６に記載のシステム。

【請求項9】

前記複数の光源は、相互に十分に間隔を空けて配置され、前記眼が通常の移動範囲全体を移動した際、光源からの少なくとも１つの閃光が前記眼検出用カメラからの画像内の前記眼の前記角膜領域の表面上に確実に出現する、請求項４に記載のシステム。

【請求項10】

前記光源は、前記レンズ上の２次元アレイ内に設けられる、請求項９に記載のシステム。

【請求項11】

前記アレイの１つ以上の光源を選択的に活性化させるように前記光源に接続された前記レンズ上の導線をさらに含む、請求項１０に記載のシステム。

【請求項12】

前記１つ以上の照明光源は、前記装着者の眼の前方において前記デバイスに取り付けられたレンズ内に埋設された複数の反射面と、光を前記レンズ内へ方向付けて前記複数の反射面から前記眼に向かって反射させるように構成された１つ以上の光源とを含む、請求項１または２に記載のシステム。

【請求項13】

前記１つ以上の光源の輝度レベルを調節して、前記眼検出用カメラの視野内において所望の輝度レベルを提供するように、前記照明光源の１つ以上の光源へ接続されたコントローラをさらに含む、請求項１または２に記載のシステム。

【請求項14】

前記コントローラは、単一の光源を照明して単一の閃光を生成するように構成され、前記プロセッサは、前記視線検出カメラ画像内の前記単一の閃光を分離するように構成される、請求項１３に記載のシステム。

【請求項15】

前記眼検出用カメラは、ＣＣＤおよびＣＭＯＳ検出器のうち１つを含む、請求項１または２に記載のシステム。

【請求項16】

前記眼検出用カメラは、眼検出用カメラ画像の生成のための活性化領域を含み、前記活性化領域表面は曲線状である、請求項１または２に記載のシステム。

【請求項17】

前記デバイス上に取り付けられ、前記装着者の環境内の基準位置を視認するために配置されたシーンカメラであって、前記プロセッサは、前記視野のシーン画像を取得することと、前記１つ以上の閃光に相対する前記眼の特徴の位置を相関付けて、前記装着者によって視認されている位置を前記シーン画像内において決定することとを行うように前記シーンカメラへ接続される、シーンカメラ、
をさらに含む、請求項１または２に記載のシステム。

【請求項18】

視線検出位置を決定するためのシステムであって、
装着者の頭部上に装着されるように構成されたデバイスであって、前記デバイスは、前記デバイスの装着時において前記装着者の眼の前方に配置されたレンズを含む、デバイスと、
前記デバイス上に取り付けられかつ前記装着者の環境内の基準位置を視認するために配置されたシーンカメラと、
前記装着者の眼を照明するように前記レンズ上に取り付けられた複数の照明光源と、
前記デバイス上に取り付けられかつ前記眼を視認するために配置された複数の眼検出用カメラと、
前記シーンカメラおよび眼検出用カメラに接続されたプロセッサであって、前記プロセッサは、前記シーンカメラおよび眼検出用カメラからの画像を分析して、シーンカメラ画像からのシーン基準位置および眼検出用カメラ画像からの眼検出位置を用いて、前記装着者によって視認されている位置を決定する、プロセッサと、
を含み、
前記レンズ上の複数の光源は、前記眼が通常の移動範囲全体において移動した際に、光源からの少なくとも１つの閃光が前記眼検出用カメラからの画像内の前記眼の角膜領域の表面上に確実に出現するように、相互に十分に間隔を空けて配置される、システム。

【請求項19】

前記照明光源は、前記レンズ内に埋設された複数の反射面と、１つ以上の光源とを含み、前記１つ以上の光源は、光を前記レンズ内に方向付けて、前記複数の反射面から前記眼へと反射させるように構成される、請求項１８に記載のシステム。

【請求項20】

前記照明光源は、前記デバイスを装着している前記装着者にとって視認不能である、請求項１８に記載のシステム。

【請求項21】

前記照明光源は、前記レンズ上の複数の光源と、前記光源へ接続された前記レンズ上の複数の導電性経路とを含み、前記システムは、前記光源を選択的に活性化させるように前記経路へ接続されたコントローラをさらに含む、請求項１８に記載のシステム。

【請求項22】

前記コントローラは、単一の光源を照明して単一の閃光を生成するように構成され、前記プロセッサは、前記視線検出カメラ画像内の前記単一の閃光を分離するように構成される、請求項２１に記載のシステム。

【請求項23】

視線検出のための方法であって、
装着者の頭部上にデバイスを配置することであって、前記デバイスは、１つ以上の照明光源と、前記装着者の眼に向かって方向付けられた複数の眼検出用カメラとを含み、前記眼検出用カメラは、前記眼の視野の重複を提供するように、前記デバイス上の異なる位置に配置されることと、
前記眼検出用カメラによって取得された前記眼の画像を分析して、前記１つ以上の照明光源から前記眼から反射された１つ以上の閃光を特定し、前記１つ以上の閃光に相対する前記眼の特徴の位置を特定して、前記装着者によって視認されている位置を決定することと、
前記デバイス上にシーンカメラを取り付けることであって、前記シーンカメラは前記装着者の環境内の基準位置を視認するために配置されることと、
プロセッサは、前記シーンカメラへ接続されて、視野のシーン画像を取得することと、前記１つ以上の閃光に相対する前記眼の特徴の位置を特定して、前記装着者によって視認されている位置を前記シーン画像内において決定することとを行うように配置されることと、
を含む、方法。

【請求項24】

前記眼の特徴の位置は、前記眼検出用カメラの画像から監視され、前記眼の特徴がその他の眼検出用カメラに相対して前記視野の中心に最も近接する眼検出用カメラを特定し、前記眼の画像を分析することは、前記特定された眼検出用カメラからの画像を分析して、前記装着者によって視認されている位置を決定することを含む、請求項２３に記載の方法。

【請求項25】

前記方法は、前記眼の特徴がその他の眼検出用カメラに相対して前記視野の中心に最も近接する眼検出用カメラを定期的に特定することをさらに含み、前記特定された眼検出用カメラからの画像を分析して、前記装着者によって視認されている位置を決定することを含む、請求項２４に記載の方法。

【請求項26】

前記眼の特徴の位置は、前記眼検出用カメラの画像から監視され、前記眼の画像を分析することは、前記画像内の前記眼の特徴の位置を異なる位置の前記眼検出用カメラからの画像を用いた位置の平均として計算することで、前記装着者によって視認されている位置を決定することを含む、請求項２３に記載の方法。

【請求項27】

補正空間マッピング関数を前記画像に適用して、前記眼の球面収差および曲率のうち少なくとも１つによる前記画像の歪みを補正することをさらに含む、請求項２６に記載の方法。

【請求項28】

前記眼検出用カメラの画像からの前記眼の特徴の位置は、平均化より前に、前記眼の球面収差および曲率のうち少なくとも１つによる前記画像の歪みを補正するように重み付けされる、請求項２６に記載の方法。

【請求項29】

視線検出のための方法であって、
装着者の頭部上にデバイスを配置することであって、前記デバイスは、複数の照明光源と、前記装着者の眼に向かって方向付けられた眼検出用カメラとを含み、前記照明光源は、前記装着者の視野内に配置され、前記視野内の前記装着者の視覚との干渉を最小化するように構成されることと、
前記眼検出用カメラによって取得された前記眼の画像を分析して、前記照明光源のうち１つ以上から前記眼から反射された１つ以上の閃光を特定し、前記１つ以上の閃光に相対する前記眼の特徴の位置を特定して、前記装着者によって視認されている位置を決定することと、
前記デバイス上にシーンカメラを取り付けることであって、前記シーンカメラは前記装着者の環境内の基準位置を視認するために配置されることと、
プロセッサは、前記シーンカメラへ接続されて、視野のシーン画像を取得することと、前記１つ以上の閃光に相対する前記眼の特徴の位置を特定して、前記装着者によって視認されている位置を前記シーン画像内において決定することとを行うように配置されることと、
を含む、方法。

【請求項30】

前記照明光源のうち１つのみが一度に活性化され、それにより、前記眼の画像内に単一の閃光を生成し、前記眼の特徴の位置を前記単一の閃光に相対して特定して、前記装着者によって視認されている位置を決定する、請求項２９に記載の方法。

【請求項31】

複数の前記照明光源が一度に活性化され、それにより、複数の同時閃光を前記眼の画像内に生成し、前記眼の特徴の位置を前記複数の閃光に相対して特定して、前記装着者によって視認されている位置を決定する、請求項２９に記載の方法。

【発明の詳細な説明】

【技術分野】

【0001】

連邦支援による研究開発についての声明
米国政府は、本発明における一括払いライセンスと、限られた状況下において妥当な条件（例えば、国防総省（米陸軍）契約番号Ｎｏ．Ｗ８１ＸＷＨ−０５−Ｃ−００４５、米国国防総省議会研究構想Ｎｏ．Ｗ８１ＸＷＨ−０６−２−００３７、Ｗ８１ＸＷＨ−０９−２−０１４１およびＷ８１ＸＷＨ−１１−２−０１５６ならびに米国運輸省議会研究構想契約付与Ｎｏ．ＤＴＮＨ２２−０５−Ｈ−０１４２４中に記載の条件）に基づいて他者にライセンス付与することを特許権者に要求する権利とを持ち得る。

【0002】

本発明は、眼監視および／または制御用途のための、目立たないアイウェアまたはヘッドウェアデバイスを用いた高精度の視線検出を得るための装置、システムおよび方法に関する。

【背景技術】

【0003】

本明細書中のシステムおよび方法は、監視者が視認している位置および／または物体を検出するための機械視覚技術を用いる。従来、視線検出アルゴリズムは、検出結果を生成するために２つの連続データストリームを必要とするものとしてみなされている：１）３次元世界内の頭部の位置および方向探索するための頭部検出方法、および２）照明光源による閃光発生と、瞳孔の縁部または眼表面上の他の特定可能な基準点とを検出することにより、閃光に相対する眼の旋回角度および視認方向を計算する眼検出方法。目立たないアイウェアまたはヘッドウェアデバイスを用いた高精度視線検出の場合、デバイス（全てのカメラおよびデバイスに固定された照明光源を含む）の（眼の表面に相対する）位置を連続的に監視することは、頭部生体構造の個々の変動と、使用時におけるアイウェアまたはヘッドウェアの小さな動きとを考慮するためのさらなる入力となる。機械視覚を用いた用途は、ますます普及してきている。部分的には、このような状況は、電子およびソフトウェア開発業界における技術発展に起因して発生し、このような状況により、カメラ、情報処理ユニットおよび他の電子コンポーネントのコストが低下する。特に、視線検出は、複数の診断用途、人間性能用途および制御用途において普及してきている。少数の例を挙げると、個人の疲労レベルの監視、運転者またはパイロットの覚醒評価、薬剤またはアルコールによる影響の評価、心的外傷後ストレス障害の診断、年齢による人間性能の検出、トレーニングまたはエクササイズがパフォーマンスに及ぼす効果の決定、眼球ドウェル時間測定によるテレビ広告またはウェブページ設計の効果の評価、観測されている特定の物体または画像（例えば、単語および文章）の輝度の拡大または変更、ゲーム多様な局面の制御、神経障害または認識障害の評価のための基礎臨床データの取得、変性眼状態の診断および監視、および頚部より下側の移動が限定されているかまたは不可能な個人が（１つ以上の眼およびまぶたを用いたコンピュータカーソルの制御により）通信を可能にすることがある。視線検出を利用するセクターおよび業界を挙げると、軍事、医療、セキュリティ、人間性能、ゲーム、スポーツ医学、リハビリテーション工学、警察、研究機関および玩具がある。

【0004】

ほとんどの場合、視線検出精度が上がると、ほとんどの場合において、性能および使いやすさ双方が上がる。例えば、精度が上昇した場合、より小型の物体または物体のコンポーネント上における位置および固定時間を定量化するための眼球ドウェル時間も、より高精度に測定することができる。より小型の画面を用いたポータブルデバイス（例えば、携帯電話およびハンドヘルドディスプレイ）と共に、視線検出をより効果的に用いることができる。視線検出は、画面内の複数の仮想物体またはアイコンからの選択を用いたコンピュータカーソルの制御に用いられるが、現在では、より小型の仮想物体またはアイコンを選択することが可能となっているため、同時に表示することが可能な選択可能な物体数も増加している。各選択プロセスレベル内における物体数が増加すると、仮想物体および関連付けられたアクションを選択することが可能な効率も増加し得る（すなわち、選択レベル数の低下および／または時間低減）。
今日のマイクロ電子およびマイクロ光学の登場により、視線検出のためのコンポーネントをアイウェア（例えば、眼鏡フレーム）またはヘッドウェア（例えば、ヘルメット、マスク、ゴーグル、仮想現実ディスプレイ）（例えば、米国特許第６，１６３，２８１号、第６，５４２，０８１号または第７，４８８，２９４号、第７，５１５，０５４号中に記載のようなデバイス）上に目立たない様態で取り付けることが可能となる。１つ以上のデバイスが取り付けられたシーンカメラを用いて環境内における基準位置を検出する頭部検出に関連する方法が、出願シリアル番号第１３／１１３，００３号（出願日：２０１１年５月２０日）中に開示されている。カメラ画像に基づいたシーン照明の制御に関連する方法について、出願シリアル番号第１２／７１５，１７７号（出願日：２０１０年３月１日、米国公開第２０１１／０２１１０５６号として公開）中に開示がある。デバイス装着者の応答時間および反応時間の測定に関連する方法について、出願シリアル番号第１３／１１３，００６号（出願日：２０１１年５月２０日）中に開示がある。この方法において、本出願中に記載のような空間精度の向上により、反応時間測定の時間的精度の向上に貢献することができる。

【0005】

アイウェアまたはヘッドウェアシステム内のカメラに固定された高精度マイクロ光学を用いて、眼表面上における構造および反射ならびにデバイス装着者によって視認されるシーンを画像化することができる。低出力の小型カメラおよび電子機器を用いることにより、頭部に取り付けられたシステムを用いた全範囲における移動が可能となる。この頭部に取り付けられたシステムは、他のデバイスへ連結されるか、あるいは、連結されずに（任意選択的に）電池によって電力供給される。さらに、無線電気通信における最近の発展により、他のコンピューティングデバイス、データ記憶デバイスおよび／または制御デバイスへ視線検出結果をリアルタイムで伝送することが可能となっている。複数の分野におけるこれらの技術発展の結果、アイウェアまたはヘッドウェアに基づいた視線検出システムを目立たない様態の、軽量であり、ポータブルであり、かつ無限の移動度で簡便に利用することが可能となっている。

【発明の概要】

【0006】

本発明は、眼監視用途および／または制御用途のための目立たないアイウェアまたはヘッドウェアデバイス（例えば、複数の眼検出カメラを用いたもの）を用いた高精度の視線検出を生成するための装置、システムおよび方法に関連する。

【0007】

アイウェアまたはヘッドウェア上に取り付けられた複数の眼検出用カメラの利用、本用途のシステムおよび方法のコンポーネントは、頭部から何らかの距離を空けて配置されたヘッドウェアまたは複数のカメラへ固定された単一のカメラに比べて、複数の利点を持ち得る。第１に、異なる角度から眼へと方向付けられたカメラを「範囲ファインダー」モードにおいて用いて、照明光源から発生した閃光位置を検出することができる。複数の角度から見た閃光位置を用いて、眼表面に相対するカメラ位置を決定することができる。これは、使用時におけるアイウェアまたはヘッドウェアの初期位置および動きを考慮する際において特に有用であり得る。第２に、眼に向けられた個々のカメラからは２次元画像が生成される一方、発生する眼球および他の構造（例えば、まぶた、顔の筋肉）の動きは、３つの空間次元全てにおいて発生する。眼に対して異なる方向から方向付けられた複数のカメラからの画像測定を解剖学的モデルアプローチにおいて用いることにより、眼および他の基準位置（例えば、閃光、まぶた）の全寸法における動きを仮想的に再構築することができる。第３に、眼の極端な動き（すなわち、上方または下方、左または右）が有った場合、瞳孔または他の基準位置を高精度に検出する能力に歪みが発生する場合があるか、または、眼球の曲率および／または他の構造による干渉に起因して、単一の近接場カメラによって瞳孔を観察する能力が完全に失われ得る。複数のカメラを用いることにより、眼位置の生理学的範囲全体にわたって瞳孔および他の基準位置の生理学的範囲を行うことが可能になる。

【0008】

複数の照明光源をアイウェアまたはヘッドウェア上に取り付けて、眼に方向つけて用いることにより、頭部から何らかの距離をあけて配置されたヘッドウェアまたは１つ以上の照明光源へ固定された個々の照明光源の場合よりも複数のさらなる利点が得られ得る。例えば、複数の照明光源を用いることにより、機械画像処理アルゴリズムを混乱させる影または他のアーチファクトの発生無しに、眼の３次元構造周囲の全領域を確実に照射することが可能になる。加えて、十分に大型の照明光源アレイをアイウェアまたはヘッドウェア上に取り付けて用いることにより、生理学的範囲全体において眼が移動している間、少なくとも１つの閃光を眼の角膜領域上に確実に投射させることが可能になる。この角膜領域においては、（眼の残り部分と比較して）ジオメトリが比較的より簡単であり、また、カメラ画像内の角膜からの閃光角度を計算するための反射特性が既知である。さらに、上記した「範囲ファインダー」モードにおいて複数のカメラを用いるのと同様に、複数の照明光源を用いて、眼表面に相対するアイウェアまたはヘッドウェアデバイスの位置を連続的に測定することができる。少なくともいくつかの照明光源をデバイス装着者の通常の視線内に直接配置することにより、デバイス装着者の凝視ベクトル（すなわち、視軸）を閃光を用いて生成される既知の基準ベクトルに近接させることも可能になり、これにより、視線検出精度が向上する。

【0009】

加えて、アイウェアまたはヘッドウェアに固定された照明光源は、デバイス装着者とともに移動する。その結果、頭部が広範囲にわたって動く場合でも、眼領域の照明が確実になる。このように頭部が動いている間、閃光およびさらには照明全体が、頭部から何らかの距離をあけて取り付けられた照明光源から失われ得る。

【0010】

カメラ処理ユニットおよび照明制御電子機器も、照明光源を含むアイウェアまたはヘッドウェアデバイス上へ取り付けられ得る。その結果、照明光源およびカメラ制御の直接オン／オフおよび／または強度制御が可能となり、外部制御デバイス、通信プロトコルおよび／または配線延長が不要となる。

【0011】

本出願のシステムおよび方法は、広範囲の条件（例えば、１）頭部、２）カメラおよび照明光源を含むアイウェアまたはヘッドウェアならびに／あるいは３）デバイス装着者の眼の有意な動きがある場合）下において、高精度の視線検出を維持することができる。

【0012】

視線検出とは、監視者によって視認されている位置および／または物体を連続的に特定できる能力である。視線検出は、３次元世界内において特定された基準位置に相対する眼検出および頭部検出の組み合わせから計算することができる。本出願のシステムおよび方法において、アイウェアまたはヘッドウェア上に取り付けられた複数の照明光源および／または複数のカメラを用いることにより、アイウェアまたはヘッドウェア上に取り付けられた照明光源から発生する閃光の位置に相対する瞳孔および眼の他の構造の位置を高精度に検出することができる。閃光および関連付けられた照明光源は監視者の直接的視線内にあり得るが、視線検出プロセスを行うことが可能な本明細書中に記載される方法は、デバイス装着者に気づかれることはほとんど無い。

【0013】

より詳細には、本発明は、デバイス装着者の眼表面上の閃光および解剖学的構造の位置を眼監視、制御および他の用途のために目立たない様態で特定するための装置、システム、および方法に関する。デバイスは、ロバストな眼検出のためのプラットフォームとして構成され得、頭部、鼻部および眼領域の生体構造が異なる広範囲の個人によって用いられ得る。複数の角度から視認される異なる角度および／または個々の閃光から投射される複数の閃光を用いて、眼表面に相対する照明源およびカメラの位置を推定することができる。本明細書中のシステムおよび方法は、照明光源および眼検出用カメラを含むアイウェアまたはヘッドウェアの位置を実質的に連続的に監視することができる。

【0014】

視線検出デバイスの分解能および／または指向精度が増加した場合、多数の有利な結果が広範囲の用途（例えば、医療診断、広告、人的要因、コンピュータゲーム、安全、リハビリテーション工学、および／またはコンピュータカーソルの制御（すなわち、コンピュータマウス操作の代替または補強）において得られ得る。

【0015】

よって、本明細書中の装置、システムおよび方法により、向上した（すなわち、高分解能かつロバストな）視線検出方法およびシステムを多様な用途のために得ることができる。
例示的実施形態において、アイウェアまたはヘッドウェアへ固定された複数の照明光源を用いることを含む方法が提供され、これにより、眼の周囲の実質的に全ての領域が完全に照明される。単一のまたは少数の照明光源の場合、照明を遮断し得る眼および解剖学的構造（例えば、まぶた、まつげ）の領域内の複数の曲線状表面に起因して、高精度の眼検出のための適切な照明を提供することができない。照明光源アレイを用いた眼の領域の照明の場合、眼表面全体における複数の基準閃光の生成および／または曲線状表面のより均等な照明が可能となるため、例えば、影および／または機械視覚技術の劣化の原因となり得る他の照明効果の発生が回避される。

【0016】

同様に、アイウェアまたはヘッドウェアへ固定された複数のカメラを用いることにより、眼領域内の複雑なジオメトリの補償も可能になる。単一よりも多くのカメラから収集された画像を用いて、眼検出時においてカメラの視野を遮断し得る構造（例えば、まぶた、まつげ）を解消することができる。加えて、３次元世界内において動き回る物体（例えば、瞳孔、虹彩）から発生するジオメトリ歪みを２次元画像のみを収集するカメラによって画像化した場合、解釈が不明瞭になり得る。カメラが動きの近隣（すなわち、３センチメートル（３ｃｍ）以内）であり、これらの動きに小半径（すなわち、１．５センチメートル（１．５ｃｍ）未満）の周囲における眼球回転が含まれる場合、この問題は特に重要となる。これらの状態はどちらとも、目立たないカメラがアイウェアまたはヘッドウェア上に取り付けられた場合に存在し得る。アイウェアまたはヘッドウェア上に取り付けられた複数のカメラからの画像を用い、これらのカメラを異なる角度から眼へ方向付けることにより、複雑な３次元眼動きを実質的に連続に検出および／または再構築することができる。

【0017】

一実施形態によれば、照明光源アレイ内の各照明光源により、眼の表面上に閃光を生成することができる。この閃光は、閃光から照明光源の位置を通じて通過するベクトルを生成するための開始位置として用いられ得る。アイウェアまたはヘッドウェア上の他の照明光源およびカメラに相対する照明光源の位置が既知である。アレイ内の各照明要素を用いて類似の計算を行うことにより、既知のベクトルのアレイを、眼表面上における既知の開始位置（すなわち、閃光）によって計算することができる。次に、眼表面から投射された瞳孔位置情報を用いた視線検出ベクトルをこれらの近隣の既知のベクトルに相対して表現することができ、これにより、視線検出精度が向上する。
別の実施形態によれば、複数の照明光源および／または複数のカメラを用いて、デバイスと、眼表面上の閃光との間の距離を計算することができる。これらの距離は、視線検出プロセスにおける別個の計算操作として計算してもよいし、あるいは、視線検出ベクトルの計算全体に測定を埋設してもよい。いずれの場合も、照明光源および眼検出用カメラの眼表面に相対する正確な位置は、特にアイウェアまたはヘッドウェア上の取り付けられた構造と関連付けられた短距離（すなわち、３センチメートル（３ｃｍ）未満）上において、視線検出精度に影響を与える。これらの距離測定を視線検出計算において実質的に連続して取り入れることにより、ユーザ間のこの変動性および長時間使用時におけるアイウェアまたはヘッドウェアの動きによる影響を無くすことができる。

【0018】

別の実施形態によれば、照明光源は、デバイス装着者の環境内の物体の視認に通常用いられる方向に配置され得る。これは、典型的な眼鏡またはヘッドウェア内のレンズによって通常占有される領域内に照明光源を埋設することを含む。これらの照明光源は、デバイス装着者による通常の観測活動時において、瞳孔、角膜、および／または周囲領域の照射においてきわめて有効であり得る。加えて、レンズ内（または補正レンズ機能が不要である場合は単純な透明材料内）に埋設された照明光源から発生した閃光を用いて、視線検出ベクトルの近隣にある既知のベクトルを生成することができ、これにより、視線検出精度が向上する。

【0019】

別の実施形態によれば、システムおよび方法が提供される。これらのシステムおよび方法において、デバイス装着者からは視認することのできない光を照明光源によって用いる。一般的に、電磁スペクトルの近赤外領域内の波長は、デバイス装着者からは視認できない。しかし、これらの照明光源から生成される照明および閃光全てを固体カメラによって検出することができる。固体カメラは、アイウェアまたはヘッドウェアへ固定される。ここでも、眼からは視認できない照明を用いることにより、アイウェアまたはヘッドウェアデバイスの目立たないという特質全体を支援することができる。

【0020】

さらに別の実施形態によれば、アイウェアまたはヘッドウェアのレンズ領域内に配置された照明光源がデバイス装着者から本質的に視認することができないシステムおよび方法が提供される。これは、複数の戦略を用いて達成することができる。発光ダイオードおよび他の発光固体デバイスの本質的コンポーネントは、小型である。この原理を、ＬＥＤおよびＯＬＥＤＳによって電力供給される表示デバイスにおいて利用することができる。これらの表示デバイスにおいて、０．２ミリメートル未満の画素サイズがラップトップコンピュータ内にある状態で市販されている。側部あたりの寸法が０．０１ミリメートルであるＬＥＤ源が、特殊用途用に利用可能となっている。よって、発光ＬＥＤを構成する半導体材料は、最大でも小型の外観にすることができる。さらに、眼の照射のために用いられる光は視認不能であり、例えば波長約８００〜２５００ナノメートルの近赤外範囲において視認不能である。そのため、デバイス装着者は、照明光源から出射される電磁放射を認識することができない。一方、特にＣＭＯＳカメラは、人間の眼からは視認不能な近赤外スペクトル中の電磁放射を検出することができる。また、ＣＭＯＳカメラは、低出力および小型化が要求される用途において特に適している。

【0021】

これらの要素に加えて、照明光源への電力供給に用いられる導電性経路は、本質的に透明に構成することができる。透明導電性膜は、デバイス（例えば、太陽電池およびスイッチャブルガラス（窓の構築に用いられるスマートガラスとしても公知）の製造においても公知である。透明導電性経路において用いられる一般的な材料として、インジウムスズ酸化物（ＩＴＯ）がある。より廉価な代替物（例えば、アルミニウムドープ酸化亜鉛およびインジウムドープ酸化カドミウム）は、透明導電性経路に利用可能な材料のさらなる例を示す。

【0022】

要旨として、照明光源をデバイス装着者にとってほとんど視認不能にすることができる理由として、１）照明光源は、人間の眼にとって視認不能な波長で光を生成することができる点、２）固体照明光源の寸法を、（光分解能上限に近い）小型にすることができる点、３）導電性経路を本質的に透明に構成することができる点、および／または、４）ほとんどの個人の焦点距離を実質的に下回る距離において、照明光源を眼（典型的な１組の眼鏡フレームから離隔方向においてほぼ２センチメートル（２ｃｍ）の距離で）眼に近接させることができる点。よって、これらの小型構造から反射され得る全ての光を焦点外のバックグラウンドとして認識することができ、デバイス装着者の妨害とならない。その結果、視界を実質的に妨害することがなくなり、アイウェアまたはヘッドウェアデバイスの目立たない特質全体を支援することができる。

【0023】

さらに別の実施形態によれば、システムおよび方法において、アイウェアまたはヘッドウェアのレンズ領域から発生する照明を、各レンズ内に埋設された小型反射面から発生させることができる。レンズの縁部周囲に配置されかつ反射面において方向付けられた照明光源から、光が生成され得る。その後、これらの反射面は、この光を眼へ方向付け得る。この構成により、これらのデバイスへの給電のための照明デバイスおよび導電性経路の配置を監視者の視覚経路から無くすことができ、これにより、デバイスの目立たない特性が支援される。

【0024】

さらに別の実施形態によれば、照明光源の強度を制御するシステムおよび方法が提供される。この照明光源は、眼表面上の照明全体および閃光基準点を生成する。ビデオ画像取得のタイミングに相対する照明タイミングを制御することにより、基準閃光の照明があっても無くても画像を取得することが可能になる。照明がオンにされたときの画像を照明がオフにされたときの画像から減算することにより、眼検出用カメラ（単数または複数）からの画像内からの閃光を分離するための（いくつかの例示的な）戦略のうちの１つが得られる。さらに、複数の照明光源システム内において単一の照明光源がオンにされた場合、（すなわち、複数の閃光を含む画像と比較して）閃光の正確な中心位置を容易に決定することができ、特定の閃光位置を特定の照明光源と関連付けることができる。

【0025】

任意選択的に、処理ユニットは、デバイス装着者の環境において眼から実質的に離隔方向に方向付けられた１つ以上のシーンカメラと、眼の領域の画像を受信して例えば閃光位置および瞳孔縁部を監視するカメラとへ接続され得る。処理ユニットおよびシーン検出処理ユニットは、１つ以上の別個のプロセッサであってもよいし、あるいは、単一のプロセッサでありかつ／または照明コントローラを含んでもよい。

【0026】

単一の眼に方向付けられた複数の眼検出用カメラを用いることにより、眼領域内の基準位置（例えば、閃光、瞳孔縁部、まぶた）の複数のまたは冗長な測定を生成することができる。この状況が発生した場合、処理ユニット（単数または複数）は、検出精度に影響し得る他の要素を考慮に入れることができる。例えば、基準位置の画像が１つのカメラの視野中心に最も近い場合、眼検出および当該カメラからの測定に基づいたその後の視線検出計算が、特定された位置がカメラ画像の縁部により近接した他のカメラからの測定に基づいた計算よりも高精度であると推定することができる。あるいは、基準位置の測定が全てのカメラ画像の縁部の近隣において行われる場合、基準位置の最終的決定は、異なるカメラからの画像を用いた位置の平均として計算することができる。このアプローチは、１つのカメラからの画像縁部近隣の空間歪みが隣接カメラによって測定されたものと反対になり得る場合において、隣接するカメラからの視野重複を考慮に入れることができる。この平均化プロセスにより、このような歪みをキャンセルすることができる。代替的にまたは追加的に、既知の歪み（例えば、（ほとんどのレンズにおいて何らかのレベルで発生する）球面収差またはカメラ画像の特定の領域中の眼球曲率がある場合、補正空間マッピング関数を適用しかつ／または測定に重み付けを行った後に平均化を行うことができる。このようなアプローチまたはアプローチの組み合わせは、当業者に理解される。

【0027】

別の実施形態において、照明コントローラは、光源に対して電流および電圧のうち少なくとも１つのの振幅変調を行って、眼検出用カメラ画像の各領域内において所望の輝度レベルが得られるようにするように、構成され得る。これは、一般的に「振幅変調」と呼ばれる。別の実施形態において、電圧または電流の制御の持続時間または「ドウェル時間」を変更して、光強度を制御することができる。これは、一般的に「パルス幅変調」と呼ばれる。任意選択的に、双方のスキームを同時に行うことも可能である。

【0028】

これらの例のいずれにおいても、照明、基準位置検出、眼検出および視線検出は、実質的に連続してまたは間欠的に行うことができる。例えば、眼検出用カメラが動作不能となった場合、照明光源を不活性化することができる。これは、カメラ画像取得間の時間を含み得る。電力節約のため、不使用時にプロセッサ、カメラおよび／または照明を不活性化してもよい。安全向上のため、照明光源および／または他の電子機器の出力を低減するかまたはオフにしてもよい。

【0029】

例示的実施形態において、システムは、アイウェアまたはヘッドウェアフレームと、基準位置を特定するように監視者から実質的に離隔方向に方向付けられたシーンカメラと、シーンカメラへ接続されたシーン処理ユニットと、眼に方向付けられた少なくとも１つの眼検出用カメラと、眼に方向付けられた１つ以上の照明光源と、（シーン処理ユニットと同じかまたは異なる）処理ユニットであって、眼検出用カメラへ接続された処理ユニットとを含み得る。機械視覚技術を眼検出処理ユニット内にて用いて、閃光位置および眼基準位置を決定することができる。その後、閃光位置および関連照明光源によって生成されたベクトルと、眼検出処理ユニット内において特定された眼基準位置とを視線検出計算において用いることができる。

【0030】

別の実施形態によれば、視線検出位置を決定するためのシステムが提供される。このシステムは、装着者の頭部上に装着されるように構成されたデバイスと、デバイスを着用している装着者の眼の視野内においてデバイス上に取り付けられかつ眼を照明するように配置された１つ以上の照明光源と、眼検出用カメラと、プロセッサとを含む。１つ以上の照明光源は、視野内において装着者の視覚との干渉を最小化するように構成される。眼検出用カメラは、デバイス上に取り付けられ、眼をビューするように配置される。プロセッサは、眼検出用カメラへ接続されて、眼検出用カメラによって取得された眼画像を分析して、１つ以上の照明光源から眼から反射された１つ以上の閃光を特定し、１つ以上の閃光に相対する眼の特徴の位置を特定して、装着者が視認している位置を決定する。

【0031】

さらに別の実施形態によれば、視線検出位置を決定するシステムが提供される。このシステムは、装着者の頭部上に装着されるように構成されたデバイスと、装着者の眼を照射するようにデバイス上に取り付けられた１つ以上の照明光源と、デバイス上に取り付けられかつ眼をビューするように配置された複数の眼検出用カメラとを含む。プロセッサが眼検出用カメラへと接続されて、眼検出用カメラによって取得された眼の画像を分析して、１つ以上の照明光源から眼から反射された１つ以上の閃光を特定し、１つ以上の閃光に相対する眼の特徴の位置を特定して、装着者によって視認されている位置を決定する。眼検出用カメラは、相互に十分に間隔を空けて配置され、これにより、眼が通常の移動範囲全体内において移動すると、眼検出用カメラの少なくとも１つからの眼検出用カメラ画像内に眼検出用カメラ画像が出現する。

【0032】

さらに別の実施形態によれば、視線検出位置を決定するシステムが提供される。このシステムは、装着者の頭部上に装着されるように構成されたデバイスと、シーンカメラと、複数の照明光源と、複数の眼検出用カメラとを含む。デバイスは、デバイス装着時において装着者の眼の前方に配置されたレンズを含む。シーンカメラは、デバイス上に取り付けられ、装着者の環境内の視認基準位置に合わせて配置される。複数の照明光源は、レンズ上に取り付けられて、装着者の眼を照射する。複数の眼検出用カメラは、デバイス上に取り付けられ、眼をビューするように配置される。プロセッサは、シーンカメラおよび眼検出用カメラへと接続されて、これらのカメラからの画像を分析する。この分析において、シーンカメラ画像からのシーン基準位置と、眼検出用カメラ画像からの眼検出位置とを用いて、装着者によって視認されている位置を決定する。

【0033】

さらに別の実施形態によれば、視線検出方法が提供される。この方法は、装着者の頭部上にデバイスを配置することを含む。デバイスは、１つ以上の照明光源と、装着者の眼に向かって方向付けられた複数の眼検出用カメラとを含む。眼検出用カメラは、デバイス上の異なる位置に配置されて、眼の視野の重複を提供する。この方法は、眼検出用カメラによって取得された眼の画像を分析して、１つ以上の照明光源から眼から反射された１つ以上の閃光を特定し、１つ以上の閃光に相対する眼の特徴の位置を特定して、装着者によって視認されている位置を決定することを含む。

【0034】

さらに別の実施形態によれば、視線検出方法が提供される。この方法は、装着者の頭部上にデバイスを配置することを含む。デバイスは、複数の照明光源と、装着者の眼に向かって方向付けられた眼検出用カメラとを含む。照明光源は、装着者の視野内に配置され、視野内における装着者の視覚との干渉を最小化するように構成される。この方法は、眼検出用カメラによって取得された眼の画像を分析して、照明光源のうち１つ以上から反射された１つ以上の閃光を特定し、１つ以上の閃光に相対する眼の特徴の位置を特定して、装着者によって視認されている位置を決定することを含む。

【0035】

本発明の他の態様および特徴は、以下の記載を添付図面とともに参照すれば明らかとなる。

【0036】

図面は、本発明の例示的実施形態を示す。

【図面の簡単な説明】

【0037】

【図1】システムの例示的実施形態の切り取り図である。システムは、一対の眼鏡を含む。一対の眼鏡は、眼鏡フレーム上に取り付けられた複数のカメラおよび複数の照明光源を含む。

【図2】図１のシステムのクローズアップ図であり、照明光源は、フレーム上とレンズ領域内に取り付けられる。レンズ領域内において、デバイス装着者は、環境を視認する。

【図3】アイウェアシステムの別の実施形態の正面図である。アイウェアシステムは、眼鏡フレーム上に取り付けられた複数のカメラと、眼鏡フレームのレンズ領域内に取り付けられた複数の照明光源とを含む。図３はまた、眼鏡のレンズ領域内に取り付けられた照明光源への給電に用いられる配線構成の異なる例を示す。

【図4】例示的システムのレンズ領域のクローズアップ図であり、照明がリモートに生成され、レンズ内の小型反射面からの反射に起因して眼の照明が発生する。

【図5】計算の例示的ジオメトリコンポーネントを示す模式図であり、眼球表面とカメラとの間の距離を三角測量を用いて実質的に連続的に計算することができる。

【図6A】複数のカメラ（図６Ａ）および／または複数の照明光源（図６Ｂ）を用いて測定される眼球表面への距離の計算において用いられる例示的コンポーネントの模式図である。

【図6B】複数のカメラ（図６Ａ）および／または複数の照明光源（図６Ｂ）を用いて測定される眼球表面への距離の計算において用いられる例示的コンポーネントの模式図である。

【図7A】眼球の旋回に起因して単一のカメラのビューが不明瞭になった結果、高精度の視線検出測定の能力が限定される一方、複数のカメラを用いれば、眼の動きの範囲全体において高精度の眼検出測定が可能となる様子を示す。

【図7B】眼球の旋回に起因して単一のカメラのビューが不明瞭になった結果、高精度の視線検出測定の能力が限定される一方、複数のカメラを用いれば、眼の動きの範囲全体において高精度の眼検出測定が可能となる様子を示す。

【発明を実施するための形態】

【0038】

図面を参照して、図１は、システム１０の例示的実施形態を示す。システム１０は、眼鏡フレーム１１を３つの眼検出用カメラ１２ａ、１２ｂおよび１２ｃと共に含む。眼検出用カメラ１２ａ、１２ｂおよび１２ｃは、デバイス装着者の左眼（図示せず）へ方向付けられる。デバイス装着者の左眼へは、３つの照明光源１３ａ、１３ｂおよび１３ｃも方向付けられる。これらの照明光源１３ａ、１３ｂおよび１３ｃは、眼鏡フレーム１１上に取り付けられる。眼検出用カメラ１２ａ、１２ｂおよび１２ｃによって収集された画像は、処理ユニット１４へ送られる。この例示的実施形態において、処理ユニットは、フレーム１１の左ステム１５内において取り付けられ、カメラ１２ａ、１２ｂおよび１２ｃへ接続される。任意選択的に、眼鏡フレーム１１内において重量をより均等に分配するために、電源（例えば、電池、図示せず）および／または他の電子機器を処理ユニット１４（図示せず）を含む側と反対側の眼鏡フレーム１１のステム内に配置することができる。

【0039】

処理ユニット１４は、カメラ（単数または複数）１２ａ、１２ｂおよび１２ｃから画像信号を保存するメモリと、画像信号を編集および／または処理するためのデジタルフィルタなども含み得る。任意選択的に、眼鏡フレーム１１および／または処理ユニット１４は、データ送信、命令の受信などのために、１つ以上のトランシーバ、送信器および／または受信器（図示せず）を含み得る。追加的にまたは代替的に、処理は、本明細書中の他の場所に記載された参照文献中に開示された実施形態と同様に、フレーム１１および／または処理ユニット１４からリモートであるコンポーネントを含み得る。例えば、システム１０は、処理ユニット１４および／またはフレーム１１からの１つ以上のリモート位置において（例えば、同じ室内、近隣の監視ステーション、またはより離隔位置において）、１つ以上の送信器、受信器、プロセッサおよび／またはディスプレイ（図示せず）を含み得る。このようなディスプレイは、眼検出用カメラ１２ａ、１２ｂおよび１２ｃおよび／またはフレーム１１上の１つ以上のシーンカメラ（図示せず）によって生成されたビューを含み得る。

【0040】

眼検出用カメラ１２ａ、１２ｂおよび１２ｃは、画像化されている眼領域（単数または複数）内の瞳孔、まぶた、虹彩、閃光、および／または他の基準点の位置を検出するように、頭部に向かって方向付けられ得る。例示的実施形態において、眼検出用カメラ１２ａ、１２ｂおよび１２ｃは、電荷結合素子（ＣＣＤ）、相補型金属酸化膜半導体（ＣＭＯＳ）、あるいは、活性化領域（例えば、画像および／または画像を表すビデオ信号をキャプチャするための矩形または他の画素アレイを含むもの）を含む他の検出器を含み得る。カメラ１２ａ、１２ｂおよび１２ｃそれぞれの活性化領域は、任意の所望の形状を持ち得る（例えば、四角形または矩形、円形）。１つ以上のカメラの活性化領域の表面も所望であれば曲線状にすることができ、これにより、例えば画像取得時において画像化されている眼および周囲構造の近隣３次元曲率を補償することができる。

【0041】

加えて、カメラ１２ａ、１２ｂおよび１２ｃは、所望であれば、１つ以上のフィルタ、レンズなど（例えば、図５に示すようなフィルタ５７およびレンズ５６）を含み得、これにより、例えば、望ましくない強度および／または波長の光、活性化領域上の焦点画像などをフィルタリングすることができる。任意選択的に、レンズは、視野領域を伸縮させるように構成することもでき、これにより、眼および周囲構造の近隣の３次元曲率を少なくとも何らかのレベルまで補償することができる。

【0042】

複数のカメラをフレーム１１上の異なる位置に配置することにより、全方向における眼の３次元構造の動きを実質的に連続的に監視することが促進される。例えば、図１に示す実施形態において、カメラ１２ｂおよび１２ｃは、特に眼の動きを良好に検出するように配置される。なぜならば、眼の動きは、水平軸（すなわち、通常の直立頭部位置を仮定した軸）において発生するからである。同様に、眼の上方動き（例えば、「正面を向いた」方向に相対する動き）時において、高精度の眼検出データをカメラ１２ａを用いて収集することができる。一方、カメラ１２ｂおよび１２ｃは、下方を向いた場合に眼表面上の基準位置を監視するように、良好に配置される。

【0043】

図１に示す実施形態において、単一の処理ユニット１４は、システム１０内の多様なカメラから画像を取得するために用いられる。処理および／または他の制御電子機器は、単一のデバイスまたは複数のデバイスを含み得る（例えば、マイクロコントローラ、単一のまたはマルチコア中央処理装置（ＣＰＵ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または特定用途向け集積回路（ＡＳＩＣ））。
電子処理および制御要素を収容するための他の位置を挙げると、眼鏡フレーム１１の鼻部領域１６の上方、フレーム１１の右ステム（図示せず）内、アイウェアまたはヘッドウェアと電気的に接続されかつ／または無線通信する外部コンパートメント内（例えば、デバイス装着者のベルトまたはヘッドバンドへ締結されたもの）、またはシステム１０のフレーム内の他の場所がある。あるいは、電子的処理および制御要素をシステム１０内の異なる位置に分配することにより、例えば重量をさらに均等に分散させ、放熱を行い、ケーブル長さを短縮し、および／または電力消費を低減することができる。

【0044】

図１に示す実施形態において、３つの照明光源１３ａ、１３ｂおよび１３ｃは、アイウェアまたはヘッドウェアの固体フレームへ固定される。例示的実施形態において、照明光源１３ａ、１３ｂおよび１３ｃは、発光ダイオード（ＬＥＤ）、有機ＬＥＤ（ＯＬＥＤ）、レーザＬＥＤ、または電気エネルギーを光子へ変換する他のデバイスを含み得る。各照明光源１３ａ、１３ｂおよび１３ｃを用いて眼を照明して、カメラ１２ａ、１２ｂおよび１２ｃのうちいずれかを用いて画像を取得しかつ／または測定目的のために基準閃光を生成して、視線検出精度を向上させることができる。例示的実施形態において、各光源１３ａ、１３ｂおよび１３ｃは、比較的狭いかまたは幅広の帯域幅の光（例えば、約６４０から７００ナノメートルの１つ以上の波長における赤外光）を出射するように、構成され得る。任意選択的に、１つ以上の光源１３ａ、１３ｂおよび１３ｃは、レンズ、フィルタ、拡散器、反射器および／または他の特徴（図示せず）（例えば、眼へ投射される光の均等性を促進および／または制御するためのもの）を含み得る。照明光源は、個々に活性化（すなわち、給電）してもよいし、同時に活性化してもよいし、あるいは任意の組み合わせで活性化してもよい。

【0045】

アイウェアまたはヘッドウェアフレーム１１内に埋設されたケーブル（単数または複数）は、個々のケーブルまたは複数組のワイヤを含み得る（例えば、カメラ１２ａ、１２ｂおよび１２ｃ、電池、光源１３ａ、１３ｂおよび１３ｃ、および／またはフレーム１１上の他のコンポーネントおよび／または処理ユニット（単数または複数）１４に接続されたいわゆる「フレックスストリップ」）。例えば、ケーブル（単数または複数）は、アイウェアまたはヘッドウェアデバイス内のヒンジ領域１７を横断するように十分な可撓性を有し、これにより、例えばヒンジ１７が移動範囲の限界を超えて撓んだ場合も、破壊が回避される。

【0046】

図２は、図１に示すものと同様のシステム１０’の眼鏡フレーム１１のレンズ領域のクローズアップ図である。この場合、さらなる照明光源２０ａ、２０ｂ、２０ｃおよび２０ｄが、通常のレンズ２１によって占有される眼鏡フレーム１１の領域内に配置される。デバイス装着者が視覚化支援のために光学補正を必要とする場合、適切なレンズを構築し、視力検査法分野において周知のプロセスを用いて挿入することができる。デバイス装着者に視覚矯正が不要である場合、レンズ領域は、視線照明光源２０ａ、２０ｂ、２０ｃおよび２０ｄを支持するための平坦なガラスピースまたは光学的に透明なプラスチックによって占有されるだけである。よって、本明細書中において用いられる「レンズ」という用語は、補正レンズ（すなわち、光を屈折させるかまたは装着者の視覚をレンズを通じて矯正するもの）を指し得るか、あるいは、実質的に平坦であるか、曲線状であるかまたは他の実質的に透明な材料のパネルを指す。このパネルは、光を実質的に屈折させないかまたはレンズを通じて見ているフレーム１１の装着者の視界を実質的に変更しない。

【0047】

さらなるまたは代替的な照明光源２０ａ、２０ｂ、２０ｃおよび２０ｄが、眼鏡フレーム１１のレンズ領域内に取り付けられ得る。これらの照明光源２０ａ、２０ｂ、２０ｃおよび２０ｄを用いて、眼鏡フレーム１１上に取り付けられた源１３ａ、１３ｂおよび１３ｃから提供される眼照明を補強または代替することができる。デバイス装着者の視線内に取り付けられた源２０ａ、２０ｂ、２０ｃおよび２０ｄは一般的には、通常の視覚活動時において眼の重要領域（すなわち、例えば図７Ａおよび図７Ｂに示すような角膜内および角膜周囲の重要領域）を実質的により均等に照明することができる。加えて、これらの同じ照明光源２０ａ、２０ｂ、２０ｃおよび２０ｄは、関連付けられたポインティングベクトルにより、閃光を生成することができる。これらのポインティングベクトルは、視覚化時において（すなわち、眼鏡フレーム１１上に軸外に取り付けられた源１３ａ、１３ｂおよび１３ｃと比較して）通常の眼の視線にずっと近接する（例えば、図７Ａおよび図７Ｂを参照）。

【0048】

凝視ベクトルが以下のような閃光に相対して計算される場合、凝視ベクトルをより高精度に計算することができる：１）角膜内の瞳孔上またはその近隣に配置された閃光、および／または２）監視者の視線または視軸とほぼ同じ方向を向く照明光源によって生成された閃光。よって、レンズ内の照明光源２０ａ、２０ｂ、２０ｃおよび２０ｄによって生成された眼表面上の閃光を用いて計算された凝視ベクトルは一般的には、（例えばフレーム１１上のいずれかの位置に配置された源（例えば、図１および図２に示す源１３ａ、１３ｂおよび１３ｃ）よりも）より高レベルの指向精度を有する。他で述べるように、照明光源２０ａ、２０ｂ、２０ｃおよび２０ｄは、デバイス装着者の通常の視覚と干渉しないように構築され得る。

【0049】

照明光源２０ａ、２０ｂ、２０ｃおよび２０ｄのうち１つ以上へ給電するために、少なくとも２つの導電性経路が設けられ得る。図２に示す１つの配線パターンにより、全ての照明光源２０ａ、２０ｂ、２０ｃおよび２０ｄの個々の制御またはグループ制御が可能となる。図示のように、導電性経路は、垂直導体２１ａおよび２１ｂならびに水平導体２２ａおよび２２ｂを含み得る。水平導電性経路２２ａまたは２２ｂに相対する垂直導電性経路２１ａまたは２１ｂへ電圧を付加することにより、電位差（すなわち、電圧）が２つの活性化された導電性経路の交差部の位置において利用可能となる。この電位差を用いて、個々の照明光源を給電することができる。所望の照明光源と関連付けられていない他の全ての導電性経路は、高インピーダンス（すなわち非導電性）モードとすることができ、これにより、さらなる照明光源への給電または不要な電流の引き出しが回避される。垂直導電性経路２１ａおよび２１ｂならびに水平導電性経路２２ａおよび２２ｂは、交差点において相互に絶縁することができる（照明光源要素そのものは除く）。

【0050】

図２に示す実施形態をさらに参照して、全ての照明要素を活性化させる必要がある場合、全ての垂直導電性経路２１ａおよび２１ｂならびに水平導電性経路２２ａおよび２２ｂに電位差を付加することができる。同様に、垂直導電性経路２１ａまたは２１ｂと、全ての水平経路２２ａおよび２２ｂとの間に電位差を付加することにより、列状に配置された照明光源を活性化させることができる。あるいは、水平導電性経路２２ａまたは２２ｂと全ての垂直経路２１ａおよび２１ｂとの間に電位差を付加することにより、行状に配置された照明光源を活性化させることができる。他でより詳細に述べるように、肉薄にしかつ／または透明材料（例えばＩＴＯ）によって構成することにより、導電性経路を実質的に透明しかつ／または目立たなくすることができる。

【0051】

図３は、視線検出システム１０’’の実施形態を示す。視線検出システム１０’’は、前方（すなわち、デバイス装着者を前方からみた時に）、アイウェアプラットフォーム１１内に埋設された１つ以上のコンポーネントを含む。この場合、アイウェアプラットフォーム１１は、右眼鏡フレーム３０ａに取り付けられたコンポーネントを用いて右眼そして左眼鏡フレーム３０ｂに取り付けられたコンポーネントを用いて左眼をそれぞれ検出できるように、装備される。図３のシステム１０’’の視点から、右眼３１ａおよび３１ｂならびに左眼３２ａおよび３２ｂの検出に用いられるカメラのうちいくつかの後側をみることができる。他の場所でより詳細に述べるように、処理および制御電子機器および／または電源を、アイウェア１１の右ステム３３ａおよび左ステム３３ｂのうち片方または双方に任意選択的に埋設することができる。

【0052】

また、図３中、（図２と比較した場合の）２つの別の導電性経路パターンが図示される。これらの導電性経路パターンをアイウェア１１上に設けて、デバイス装着者の視野全体内に配置された照明光源を給電する。個々の照明光源の制御が不要である場合、右眼鏡フレーム３０ａ内に示す源のパターンを用いることができる。本例において、電位差（すなわち、電圧）を導電性経路３５ａおよび３５ｂ上に付加することにより、照明光源３４ａ、３４ｂおよび３４ｃの水平行を同時に活性化させることができる。この並列接続されたデバイスを導電性経路へ用いて、任意の数の照明光源（図３中では３つの源３４ａ、３４ｂおよび３４ｃを図示）を各行内に設けることができる。加えて、任意の数の行を設けることができる。導電性経路の配置構成としては、例えば、図示のような水平行、垂直列、ラジアルパターン（図示せず）などがある。（図２に示すパターンと比べた場合の）これらのパターンのさらなる利点として、交差部が無いため、交差点において導電性経路を絶縁する必要が無い点がある。その結果、透明ガラスまたは光学的に透明なプラスチックレンズ表面上への導電性経路の配置を促進することができる。

【0053】

左眼鏡フレーム３０ｂは、照明光源の活性化に用いることが可能な導電性経路のさらに別のパターンを示す。この場合、導電性経路３７ａおよび３７ｂ上に付加された電位差により、照明光源３６を個々に制御することができる。少なくとも１つの別個の導電性経路が、各照明光源において方向付けられる。所望であれば、導電性経路３７ｂによって示すような各照明光源を給電する経路のうち１つをいくつかの照明光源間で共有することができる。電子分野において、これは、基準または接地経路と呼ばれる場合が多い。左眼鏡フレーム３０ｂ内に示す導電性経路パターンの利点として、構築時において経路の電気的絶縁状態を保持するための絶縁層を必要とする導電性経路任意の交差部の必要無しに、個々の照明光源を制御できる点がある。

【0054】

図３に示すシステム１０’’はまた、配置例と、外方を向くシーンカメラ３８の使用とを示す。シーンカメラ３８は、デバイス装着者の環境の画像を収集する（シーンカメラ３８は、本明細書中の他の実施形態のうち任意の実施形態において設けることも可能である）。シーンカメラ画像の処理および用途に関連する方法（例えば、デバイス装着者の環境内の基準位置の検出）について、本明細書中のいずれかの場所において特定された参考文献中に開示される実施形態中に開示がある。シーンカメラ画像を用いてデバイス装着者の頭部内の眼および他の構造の動きの応答時間および／または反応時間を測定する方法についても、本明細書中のいずれかの箇所に記載された参考文献中に開示がある。

【0055】

次に図５〜図７に関連してより詳細に説明するように、デバイス装着者の鼻部上に配置されたアイウェアまたはヘッドウェアの位置は、視線検出精度を確保するための有用な変数である。図５〜図７は、デバイスコンポーネントと眼表面との間の距離を測定する方法を示す。個人の（眼に対する）鼻部のサイズおよび／または位置の変動性のうち一部を軽減するために、調節可能な鼻ピース３９を図３に示すようにアイウェアまたはヘッドウェア１１のフレーム内に取り入れることができる。交換可能な鼻ピースインサート（図示せず）の利用と、個々の鼻ピース３９内の支持構造および／またはパディングの可撓化または調節とにより、調節可能性を得ることができる。加えて、例えば多様な標準的サイズの提供および／または特定の個人に合わせたカスタムサイズの提供により、異なるサイズのアイウェアまたはヘッドウェアフレームを個人に合わせることができる。

【0056】

図４に示す実施形態は、照明の複数の点源をアイウェアまたはヘッドウェア（図示せず）のレンズ４０内から目立たない様態で生成するための別の方法を示す。この場合、照明は、レンズの中心領域からリモートに生成される。例えば、１つ以上の光源４１ａおよび４１ｂ（例えば、ＬＥＤ）は、電磁放射をレンズ４０の１つ以上の側部に沿ってレンズ（すなわち、一般的にはガラスまたは透明プラスチック）を含む材料に結合させ得る。電磁放射は、レンズ媒体を通じて伝搬した後、レンズ４０内の所望の位置に設けられた小型反射面４２ａ、４２ｂ、４２ｃおよび４２ｄにより、眼に向かって反射する（４つの小型反射面が相互に実質的に均等間隔を空けて配置されている様子が図示されているが、より少数またはより多数の反射面を所望に設けてよい）。図４に示す図において、反射面４２のサイズは、反射面４２の構造的特徴の視覚化のために、レンズの全体的サイズに相対して拡大して図示されている。電磁放射リモート源と、赤外光の反射によってレンズ領域内の導電性経路を完全に無くすための小型の埋設反射面４２とを用いることにより、デバイス装着者にとって実質的に透明な視線照明システムを得ることができる。

【0057】

さらに図４を参照して、反射面は、フォトリソグラフィーおよび半導体作製の分野において周知の複数の技術を用いて構築することができる。このような方法においては、エッチングまたはマイクロマシニングを用いて、レンズを伝搬する電磁放射が眼４３へ方向付けられるように表面を角度付ける。エッチングまたはマイクロマシニングプロセスは、レンズ４０の後面（すなわち、眼に近い面）または前面（すなわち、眼から遠い面）から方向付けられ得る。その後、例えば反射面４２ａ、４２ｂ、４２ｃおよび４２ｄ上において周知の蒸着、スパッタリングおよび／または化学沈殿技術を用いて、反射材料を堆積させることができる。最も一般的には、金属（例えば、銀、アルミニウムなど）を用いて、反射する鏡面を生成することができる。

【0058】

任意選択的に、エッチングまたはマイクロマシニングプロセスによって除去された体積をレンズ材料の屈折率と整合する材料で再充填することにより、さらなる不要な光の屈折または反射が眼４３へ方向付けられる事態および／または小型凹部４２ａ、４２ｂ、４２ｃおよび４２ｄ内に埃が蓄積する事態を回避することができる。

【0059】

いくつかの実施形態において、反射面を金属でコーティングすることは不要である。反射は、光の屈折率が異なる２つの材料間に界面が存在する限り発生し得る。そのため、レンズを構成する材料と異なる屈折率を有する材料を意図的に選択して、エッチングまたはマイクロマシニングによって除去された体積をこの材料で再充填することができる。この同じ原理を用いて、（ガラスと空気の屈折率が異なる）プリズム内の光および光ファイバー伝送を反射することができる。コーティングの屈折率および／または厚さを適切に選択することにより、レンズ構造内の表面を部分的または全体的に反射させることができる。

【0060】

さらに図４を参照して、反射面４２からの光を用いて、瞳孔４４および眼の他の構造を検出目的のために照明することおよび／または眼表面上に基準閃光４５を生成することを行うことができる。瞳孔４４および閃光４５を１つ以上の眼検出用カメラ４６（１つを図示）によって検出できる場合、いずれかの箇所により詳述するように、小型レンズ４７により、カメラ（単数または複数）４６の感知アレイ上の画像が集束される。任意選択的に、光学ノッチフィルタ４８を用いて、ほとんどの環境光源を排除しつつ、光源４１から発生して眼表面から反射された光を実質的に分離することもできる。レンズ内に直接埋設された照明光源（例えば、図３および図４に示すようなもの）を用いるのと同様に、デバイス装着者の視線内の反射面４２ａ、４２ｂ、４２ｃおよび４２ｄにより、角膜上に直接閃光を生成することができ、これにより、視線検出ベクトルの計算時におけるジオメトリ考慮事項が簡略化される。視線検出ベクトルはまた、閃光および反射面４２を通過する線として計算される基準ベクトル４３にも近いため、視線検出精度が向上する。

【0061】

図５は、１つ以上の眼検出用カメラ（およびよってアイウェアまたはヘッドウェアデバイス（図示せず））の眼表面に相対する位置を推測するための、「範囲ファインダー」のコンポーネントまたは三角測量方法の一部を示す。この測定は、頭部の生体構造の顔変化（特に、鼻部のブリッジ上に配置されたアイウェアの使用時における鼻部のサイズの変化）と、（使用時における頭部の滑脱または高速加速に起因する）アイウェアまたはヘッドウェアの任意の動的動きがあるか否かとを考慮に入れることにより、視線検出計算の精度に貢献し得る。
図５において、（本明細書中のいずれかの箇所において記載の照明光源および／または反射面のうちいずれかであり得る）照明光源５０は、眼表面上に閃光５１を生成する。照明光源５０のビームは、眼の中心領域内における照明（特に閃光生成）を最大化するように、全ての３つの次元（角度５４ａとして図示）において配置および方向付けられ得る。閃光が角膜内にある（図７を参照）かあるいは瞳孔５３またはその近隣にある場合、高精度の視線検出を最も容易に計算することができる。しかし、眼検出用カメラ５５によって収集された画像内において、閃光５１が、眼５２の強膜または白色部および／または瞳孔周囲の虹彩（明確さのため、図５中では図示せず）上において発生し得る。

【0062】

さらに図５を参照して、眼の中心領域の画像をレンズ５６によってカメラ５５上において集束させることができる。ほとんどの用途において、ノッチ（すなわち、バンドパス）光学フィルタ５７を（赤外）光経路内に設けることにより、照明光源５０から生成された波長の光を透過させ、眼表面から反射させてカメラ５５へ到達させることが可能になる。一般的に周囲環境から発生する他の全ての波長の光は、閃光５１の画像と干渉得、かつ／または、瞳孔５３からの反射はフィルタによって吸収され得、カメラ５５に到達しない。

【0063】

閃光５１は、カメラ５５からの強い輝点中において、（いくつかのカメラ画素を飽和させる場合が多い）画像内の強い輝点として出現する。閃光の中心位置を決定することは一般的には、比較的容易な画像処理ステップとしてみなされる。例えば、選択された（すなわち、閾）強度値を超える全画素の平均的な水平位置および垂直位置を計算することができる。この方法によれば、各次元における明るい閃光の位置のサブ画素空間分解能を得ることができる。アイウェアまたはヘッドウェアに取り付けられた各カメラ５５の既知の方向が得られると、視野中心に相対する（すなわち、カメラ画像中心に相対する）各閃光の測定位置は、閃光に対する角度５４ｃおよびカメラ５５の視野中心に比例する。

【0064】

照明光源５０は、眼の角膜領域を標的とする（図７を参照）。眼の表面全体は複雑な形態をしているものの、角膜形状を、平滑な表面を有する球体の一部として近似することができる。照明光源の反射５４ｂの角度をモデル化する方法は複数存在し得（最も簡単な方法としては、鏡面反射を仮定して）、入射角度が反射角度と等しいと仮定する。光散乱の拡散をより考慮に入れるために、ランベルトの余弦法則を方程式にすることもできる。
カメラ（単数または複数）５５および照明光源（単数または複数）５０双方をアイウェアまたはヘッドウェアに実質的にリジッド固定することができる。よって、全カメラ（単数または複数）５５と照明光源（単数または複数）５０との間の（全三次元における）３次元方向および分離距離５８を知ることができる。２つの角度および分離距離５８が分かることにより、光源５０、閃光５１、およびカメラ５５および関連付けられた角度を分離する全距離を周知の三角測量技術を用いて計算することが可能になる。例えば範囲ファインダー器具内、測量方法および空間内の物体への距離の推定時において、類似のアプローチが用いられる。

【0065】

図６Ａおよび図６Ｂに示す実施形態は、複数のカメラ（図６Ａ）を用いて異なる位置および／または複数の照明光源からの閃光を画像化して複数の閃光（図６Ｂ）を生成して、距離および／または角度測定の精度をさらに向上させる方法を示す。図５に関連する記載に述べたように、眼表面の３次元曲率の微小変動および眼表面からの光の反射対拡散反射の結果、何らかのレベルの不確実性が発生する。２つ以上の閃光を測定することにより、測定の不確実性を視線検出方程式においてキャンセルすることができ、その結果、全３次元における位置測定精度が向上する。

【0066】

図６Ａにおいて、単一の照明光源５０により、単一の閃光５１が眼表面上に生成される。上記したように、ほとんどの有用な閃光は、角膜の領域内の瞳孔５３上またはその近隣上にある（図７Ａ中の８０を参照）。閃光５１の位置は、２つ以上のカメラ５５ａおよび５５ｂからの画像内において決定される。カメラは、全３次元における既知の距離だけ分離される（図６Ａに示すカメラ５５ａおよび５５ｂ間の分離距離の場合は６０）。カメラおよび光源によって規定される面に相対する視認角度も既知である。複数のカメラ５５ａおよび５５ｂからの画像内の閃光５１の位置の差を測定することにより、カメラ５５ａおよび５５ｂと眼表面上の閃光５１との間の距離を三角測量を用いて推定することができる。

【0067】

図６Ｂに示す方法において、類似のアプローチを用いることができる（この場合、複数の照明光源５０ａ、５０ｂおよび５０ｃにより眼表面上に複数の閃光５１ａ、５１ｂおよび５１ｃを生成する点を除く）。複数の照明光源５０ａ、５０ｂおよび５０ｃが活性化されるのと同時に、閃光を生成することができる。この技術に起因して、強度値および形状が類似する複数の閃光の位置を単一の画像から抽出する必要のある画像処理アルゴリズムがより複雑になる。
単一の閃光５０ａまたは５０ｂまたは５０ｃのみの位置を一度に決定する必要のある場合、各照明光源を選択されたタイミングでオンにすることにより、一連の画像を生成することも可能である。その結果、画像処理方法を信頼性を以てより容易に実行して、個々の閃光（およびその対応する照明光源）の画像内における位置を決定することができる。

【0068】

照明光源の実際の分離によって正規化された閃光の測定位置の分離は、カメラと眼表面との間の距離に反比例する。例えば、閃光５１ａおよび５１ｂ間の分離６２ａを照明光源５０ａおよび５０ｂ間の既知の分離６１ａによって除算した値は、カメラと眼表面との間の距離に反比例する。同様に、閃光５１ｂおよび５１ｃ間において測定された分離６２ｂを照明光源５０ｂおよび５０ｃ間の既知の分離６１ｂによって除算した値は、カメラと眼表面との間の距離に反比例する。よって、当業者であれば理解するように、照明光源５０ａおよび５０ｂ、眼ならびにカメラ５５間の関係を特定するアルゴリズムを容易に生成して、カメラ５５によって取得される画像中の眼の高精度の視線検出を促進することができる。

【0069】

図７Ａおよび図７Ｂに示す実施形態は、複数の角度から眼表面へ方向付けられた複数のカメラにより、視線検出精度と、眼の通常の動き時における眼内の基準構造を実質的に連続的に検出する能力をどれほど改善し得るかということを示す。眼の動きは、眼球７０の中心旋回点７１の周囲における回転として近似することができる。中心旋回点７１は、眼の光軸７２に沿って存在する。光軸は一般的には、眼のレンズ７３の中心を通過し、中心においてレンズ表面に対して実質的に垂直である。

【0070】

レンズは、虹彩７４によって包囲される。虹彩７４は、独自の微細な解剖学的構造を各眼（個人の左眼および右眼を含む）内に有し、レンズ７３の前方の開口サイズを制御し、よって、レンズ７３を通過する光量を制御する。虹彩７４およびレンズ７３の外部には、半球状の角膜８０がある。平滑な角膜表面に起因し、また視線または視軸７７は角膜８０を通過する必要があるため、角膜表面は、高精度の視線検出測定のために基準閃光を生成するための主要ターゲットである（図４〜図６を参照）。

【0071】

ほとんどの照明条件下において、光がレンズに入る領域は暗色として現れ、瞳孔と呼ばれる。瞳孔が暗色として現れない状況の一例として、いわゆる「赤目」現象がある。「赤目」現象は典型的には、光経路がほぼ平行なフラッシュ光源およびカメラ検出器を用いて何らかの距離を空けて人物を撮影した場合に発生する。本発明の場合、カメラおよび光源が（例えば図１に示すように）良好に分離されているため、「赤目」現象は概して発生しない。

【0072】

図７Ａおよび図７Ｂにおいて、破線７８ａおよび７８ｂを挿入して、各カメラアセンブリ７９ａおよび７９ｂによって観察されているような暗い瞳孔の縁部を示す。多数の画像処理アプローチにおいて、暗い瞳孔領域と虹彩７４との間のコントラストによって特定された瞳孔縁部を特定可能な位置として用い、その後、視線検出計算のための基本的入力として用いる。あるいは、例えばカメラ画像内の閾光強度値未満（すなわち、より暗色である）暗色画素の平均位置を計算することにより、瞳孔中心を特定することもできる。

【0073】

眼科（すなわち、眼の生理学の研究）の分野において、物体７４を視認しているときの焦点中心は光軸７２に沿っていないことが周知である。すなわち、窩（すなわち、窩中心７６）は、約１ミリメートル（１ｍｍ）直径構造（人間の場合）であり、網膜の黄斑領域中心に配置され、はっきりとした視界を司る。そのため、窩７６と視認物体７５との間の線である視軸７７は、物理的中心においてレンズ７３と交差しない場合がほとんどである。換言すれば、監視者の瞳孔中心は、視認されているターゲット物体７５の中心を高精度に検出しない場合が多い。

【0074】

視覚および光軸の非共線的アライメントをさらに複合的にさせるものとして、眼表面の３次元ジオメトリおよび眼球の回転動きがある。カメラ７９ａまたは７９ｂが（瞳孔の画像が円形として出現する）光軸に沿って正確に配置されない限り、瞳孔縁部のカメラ画像は、ほぼ楕円形として出現する。軸からさらに離れたカメラ７９ａまたは７９ｂによって瞳孔画像が記録された場合、当該画像はさらに伸長する（すなわち、円形ではなくなる）。このような伸長に起因して、光学７２と視覚７７軸との間の分離が誇張され得る。

【0075】

図７Ａにおいて、カメラアセンブリ７９ａおよび７９ｂ双方が、（光学７２および視覚７７の軸双方がほぼ（高精度ではないにしろ）ほぼ瞳孔画像中心の近隣に出現する）瞳孔７８ａおよび７８ｂの縁部を容易にビューすることができる。しかし、図７Ｂに示すように眼が少しでも動いた後は、カメラ７９ａによって観測される瞳孔画像が大きく伸長する。さらに、視軸７７が瞳孔縁部の中心から大きく離隔する（すなわち、破線７８ａによって形成される視野中心から大きく離隔する）。実際、視軸７７は、カメラ７９ａによって収集された画像内の虹彩縁部の近隣に出現する。
眼がさらに回転した場合、カメラアセンブリ７９ａの瞳孔検出能力が完全に失われ得る。個人においてこの問題を複雑にする要素として、解剖学的構造（例えば、腫れたまぶたまたは部分的に閉じたまぶたならびに／あるいは眼の下部の「膨れ」）があり、その結果、眼の実質的な連続検出がさらに不明瞭になり得る。アイウェアまたはヘッドウェア上に取り付けられたカメラの近接場位置は、（例えば車のダッシュボード上またはコンピュータの表示モニタ近隣においてさらに離隔位置に配置されたカメラと比較した場合において）この問題を悪化させる。しかし、複数のカメラ（例えば、図７Ｂ中の７９ａおよび７９ｂ）は、全次元における眼の全移動範囲をキャプチャするように先着的に配置されており、これにより、眼および顔の他の解剖学的構造による不明瞭化を低減しつつ、生理学的移動範囲全体における瞳孔動きの実質的に連続しかつ／または高精度の監視が可能となる。

【0076】

例示的実施形態の上記の開示は、例示および記述目的のために記載したものであり、網羅的なものではなく、また、本発明を開示の形態そのものに限定することを意図していない。当業者にとって、上記開示を鑑みれば、本明細書中の実施形態の多数の変更および改変が明確であろう。

【0077】

さらに、代表的な実施形態の記載において、本明細書において、特定の順序のステップとして方法および／またはプロセスを述べてきた。しかし、方法またはプロセスが本明細書中に記載の特定の順序のステップに依存しない限りにおいて、方法またはプロセスは、記載の特定の順序のステップに限定されるべきではない。当業者であれば理解するように、他の順序のステップも可能である。よって、本明細書中に記載の特定の順序のステップは、特許請求の範囲を限定するものとして解釈されるべきではない。

【0078】

本発明において多様な改変および代替的形態が可能であるが、その特定の例について、図面中に図示し、本明細書中に詳述している。しかし、本発明は、特定の開示の形態または方法に限定されるのではなく、添付の特許請求の範囲内に収まるすべての変更例、改変例および代替例を網羅することが理解される。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6A】

【図6B】

【図7A】

【図7B】