特許 6498606 ウエアラブル視線計測デバイス及び使用方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6498606

(24)【登録日】2019年3月22日

(45)【発行日】2019年4月10日

(54)【発明の名称】ウエアラブル視線計測デバイス及び使用方法

(51)【国際特許分類】

   H04N 5/232 20060101AFI20190401BHJP

   G06F 3/01 20060101ALI20190401BHJP

   H04N 5/225 20060101ALI20190401BHJP

   H04N 5/64 20060101ALI20190401BHJP

【ＦＩ】

   H04N5/232

   H04N5/232 030

   H04N5/232 960

   G06F3/01 510

   H04N5/225

   H04N5/64 511A

【請求項の数】6

【全頁数】17

(21)【出願番号】特願2015-545901(P2015-545901)

(86)(22)【出願日】2013年12月6日

(65)【公表番号】特表2016-510517(P2016-510517A)

(43)【公表日】2016年4月7日

(86)【国際出願番号】US2013073753

(87)【国際公開番号】WO2014089542

(87)【国際公開日】20140612

【審査請求日】2016年12月5日

(31)【優先権主張番号】61/734,354

(32)【優先日】2012年12月6日

(33)【優先権主張国】US

(31)【優先権主張番号】61/734,294

(32)【優先日】2012年12月6日

(33)【優先権主張国】US

(31)【優先権主張番号】61/734,342

(32)【優先日】2012年12月6日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】502208397

【氏名又は名称】グーグル エルエルシー

(74)【代理人】

【識別番号】110001195

【氏名又は名称】特許業務法人深見特許事務所

(72)【発明者】

【氏名】ドレイク，エリオット

(72)【発明者】

【氏名】アマヤ，ゴラムレザ

(72)【発明者】

【氏名】カノ，アンジェリーク

(72)【発明者】

【氏名】ル ブラン，デーヴ

(72)【発明者】

【氏名】リウ，ジミン

(72)【発明者】

【氏名】マーグラフ，ジム

(72)【発明者】

【氏名】ピアース，ローリー

(72)【発明者】

【氏名】パブリカヴァー，ネルソン，ジー．

(72)【発明者】

【氏名】スピトラー，クリストファー，エヌ．

(72)【発明者】

【氏名】ヴァチナ，ミカエル

【審査官】 ▲徳▼田 賢二

(56)【参考文献】

【文献】 特開２００１−１８３７３５（ＪＰ，Ａ）

【文献】 特開２０１０−２１３２１４（ＪＰ，Ａ）

【文献】 特開２００１−２８１５２０（ＪＰ，Ａ）

【文献】 特開平０７−２８３９７４（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１２／００１９６４５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｈ０４Ｎ ５／２３２

Ｇ０６Ｆ ３／０１

Ｈ０４Ｎ ５／２２５

Ｈ０４Ｎ ５／６４

(57)【特許請求の範囲】

【請求項1】

デジタル写真を撮る方法において：
ユーザの頭部にウエアラブルデバイスを装着するステップであって、当該ウエアラブルデバイスが前記ユーザの周囲の画像を捕捉する方向にシーンカメラを具える、ステップと；
前記ウエアラブルデバイスの所定の位置を注視して前記ウエアラブルデバイスの写真特性を起動するステップと；
前記ユーザの周囲内のある領域の中心点を凝視するステップであって、前記ウエアラブルデバイスが前記中心点に基づくフィールドを撮像しているカメラの焦点を決定するステップと；
前記カメラを起動して前記焦点の中心にある制限付き視野の画像を捕捉するステップと；
仮想フレームの対向するコーナを注視して、前記制限付き視野を決定するステップと；を具えることを特徴とする方法。

【請求項2】

請求項１に記載の方法において、前記ウエアラブルデバイスの所定の位置を注視して写真特性を起動するステップが、前記ウエアラブルデバイスがＴａｋｅ Ｐｈｏｔｏ ＬＥＤを変化させて前記写真特性が起動するまで、前記ウエアラブルデバイスの前記Ｔａｋｅ Ｐｈｏｔｏ ＬＥＤを注視するステップを具えることを特徴とする方法。

【請求項3】

請求項２に記載の方法において、前記Ｔａｋｅ Ｐｈｏｔｏ ＬＥＤの色が変化して、前記写真特性が起動することを表示することを特徴とする方法。

【請求項4】

デジタル写真を撮るデバイスにおいて：
ユーザの頭に装着するように構成したウエアラブルデバイスと；
当該ウエアラブルデバイス上の視線計測カメラであって、前記ユーザが前記ウエアラブルデバイスを装着した時に、眼の視線計測画像を取得するように構成した視線計測カメラと；
前記ウエアラブルデバイス上のシーンカメラであって、前記ユーザが前記ウエアラブルデバイスを装着した時に、前記ユーザの周囲の画像を取得するように構成したシーンカメラと；
前記視線計測カメラと前記シーンカメラに接続して、前記ユーザが前記ウエアラブルデバイスの所定の位置を凝視して前記ウエアラブルデバイスの写真特性を起動する時と、前記ユーザの周囲内のある領域の仮想フレームの対向するコーナーを凝視する時を決定する一またはそれ以上のプロセッサであって、前記認識したコーナーに基づいて前記カメラの焦点と撮像フィールドの制限付き視野を決定し、前記シーンカメラを起動して、前記焦点の中心にある前記制限付き視野の画像を捕捉する、一またはそれ以上のプロセッサと；
を具えることを特徴とするデバイス。

【請求項5】

請求項４に記載のデバイスがさらに、前記ウエアラブルデバイス上にＴａｋｅ Ｐｈｏｔｏ ＬＥＤを具え、前記所定の位置を凝視することは前記Ｔａｋｅ Ｐｈｏｔｏ ＬＥＤを凝視することを含むことを特徴とするデバイス。

【請求項6】

請求項５に記載のデバイスにおいて、前記一またはそれ以上のプロセッサが前記Ｔａｋｅ Ｐｈｏｔｏ ＬＥＤに接続されており、ユーザが当該Ｔａｋｅ Ｐｈｏｔｏ ＬＥＤを凝視した時に、前記一またはそれ以上のプロセッサが前記Ｔａｋｅ Ｐｈｏｔｏ ＬＥＤの色を変化させて前記写真特性が起動することを表示することを特徴とするデバイス。

【発明の詳細な説明】

【技術分野】

【0001】

[関連出願]
本出願は、２０１２年１２月６日に出願された、継続中の暫定特許出願第６１／７３４，３５４号、６１／７３４，２９４号、及び６１／７３４，３４２号の利益を主張する。これらの出願の全開示は、引用によりここに組み込まれている。

【0002】

本発明は、一般的に、例えば、片目又は両目で見ている空間又は対象物の位置を決定する、注視点マッピング作成用の視線計測方法に関する。

【背景技術】

【0003】

ウエアラブルデバイス及びシステムは、片目又は両目に近いプラットフォームを用いた目測により頭が動く、あるいはその他の原因によって生じるエラーが減るため、有利である。歴史的には、ウエアラブル視線計測デバイスに制限があるため、ウエアラブルアプリケーションは研究、眼科手術、及び軍事の領域に限定されていた。ウエアラブルシステムは、必要とされるカメラ位置の不都合により、嵩ばり高価なものになる傾向がある。目立たない形状要因を達成するには、撮像及び照明システムの製造が困難な特別注文が必要である。注視点マッピング及び／又は注視点測定は、システムがコンピュータに接続されていなければ、リアルタイムでの機能性が制限されることになるデータであり、コンピュータ的には集約される。最終的に、より精度を上げる一つの方法は、眼の画像中の位置及び強度に関して閃光の存在を制御することである。この結果、アウトドアでの機能性は、外部からの閃光の形をとるノイズによって大きく制限される。外部からの閃光は、通常、システム外の光源（直接又は間接）によって生じる。

【0004】

一例は、眼の画像内に捕捉されたユーザの眼にあるシーンの反射である。同様の理由で、注視点測定用プルキニエの像を用いている視線計測システムは、しばしば、メガネやコンタクトレンズを装着している者と適合しないことがある。

【発明の概要】

【0005】

本発明は、例えば、片目又は両目で見ている空間又は対象物の位置を決定するといった、注視点マッピングを作成するための、視線計測装置、システム、及び方法に関する。特に、ここに述べたソリューションは、タブレット、モジュラといったモバイルデバイス、及び／又は、輝いている太陽などの環境照明条件に対するロバストに適合する。

【0006】

ここに記載した装置、システム及び方法は、ユーザの視覚フィードバックにモバイルやウエアラブルデバイスを使用するアプリケーション、及び／又は、安定した性能を得るために環境ロバストを必要とするアプリケーションにおける、視線計測に関する。他の視線計測システムと異なり、本システムはコストが安く、及び／又は、フレームワークに装着した構成要素を用いて、例えば、通常のメガネやその他のヘッドギアと同様に、目立つことがない。眼の動きは、人が決定を行うプロセス及びスキルに有用な洞察力を提供するため、注視点位置を決定し、及び／又は、目の動きを使って広いデバイスアレイを制御及び／又はこれと相互作用する能力は有用である。

【0007】

ウエアラブル視線計測デバイスのハードルの一つは、目立たないカメラ位置である。眼を撮影する理想的な位置は、眼のすぐ前である。歴史的にみた選択肢は、カメラと光学素子を頭の横に移動させ、ホットミラーやその他の反射器を組み込むか、カメラを眼の下の軸外に移動させることである。後者の方法では、ユーザに邪魔にならないようにして機械的設計をしっかり封じ込めることになる。更に、大きな視野角が、眼と瞳の検出を複雑なものにする。軽量でコンパクトな形状要素が可能であり、かつ目を直視できるソリューションが求められている。Ｇａｏ ｅｔ ａｌ．の米国特許公開２０１２／０１６２５４９号、及びＣｈｅｎｇ ｅｔ ａｌ．，の２０１２／００８１８００号に開示されているような、自由造形の光学面が潜在的なソリューションである。これらの公報は、本明細書に引用により全体が組み込まれている。センサは、テンプル近くに、カップリングレンズアッセンブリ、プリズムや導波路などの自由造形光学素子と共に配置されており、眼の正面像が軽量で目立たないヘッドセットの拘束内で得られるように設計されている。入射瞳と自由造形モジュールの厚さが、眼の撮影に最適化されており、補正レンズを自由造形光学素子の外側表面に取り付けて、ユーザが歪のないシーンが見られるようにする。補正レンズは、ユーザの処方訂正を組み込んでいてもよく、いなくてもよい。

【0008】

通常、ウエアラブルデバイスは、メガネとの整合性がないか、あるいはメガネの上に装着する。代替的に、ユーザの処方が光学システムの設計に組み込まれていたら、そのシステムは嵩が小さくなり、及び／又は、ユーザの見地からは柔軟性がなくなる。

【0009】

結合／反射光学素子のいくつかの性能制約を緩和するには、ゴールが画像データの生成ではなく、視線計測データの生成であるため、光学空間転送機能が光学精密度にとって代わる。実際問題として、これは、波面符号化技術、及び／又は、各ピクセルの実際の位置（に対して、アレイ内のピクセルインデックスを使用して空間距離を表す）を示す二次元（２Ｄ）ルックアップテーブルの開発を含む。費用対効果を上げるためには、機械的及び光学的設計へのモジュール構成のアプローチが有効である。

【0010】

例えば、コンパクトな自由造形導波路を一連の視線計測プロダクトに組み込むことができる。このシステムでは、センサ、光源、結合レンズアッセンブリ、自由造形光学素子、及び補正レンズはそれぞれがモジュールであってもよく、除去したり、及び／又は、別のアプリケーション特定の、及び／又は、ユーザ特定の構成要素と交換したりすることができる。例えば、例示的実施例では、例えば、６つの設計といった複数の異なる設計又は構成の構成要素キットを、より通常の視力矯正処方用に提供することができる。

【0011】

モジュール化のアプローチは、米国特許公開公報第２０１２／０１６２５４９号に開示されているもののように、動いているディスプレイをニアアイディスプレイ（ＮＥＤ）から取り外して視線計測のみのソリューションとすることで、設計の制約が少なくなるので、実現可能である。測定に使用する眼の照明と目の撮像の両方とも、狭域帯波長（通常、赤外線近傍）を用いて行うことができる。このことは、システムが視線計測に使用する画像内における空間収差を許容するだけでなく（上述の通り）、投影するディスプレイ（可視波長）がないため、色収差に関する問題も照明ビームにおいて緩和することができ、従って自由造形光学設計における表面の設計の制約を緩和することになる。更に、全内部反射及び／又は自由造形光学素子内の反射コーティングについての条件は、視線計測システムのみで維持することが容易である。同様に、米国特許公開公報第２０１２／０１６２５４９号公報に開示されているものなどのように、画像をカメラに送信するように使用した結合光学素子は、空間及び／又は色収差に耐えることができる視線計測システムにおいて単純化、及び／又は、除外することができる。

【0012】

設計モジュール性も、照明構成と視線計測に対するアルゴリズムアプローチのフレキシビリティを高める。軸上モードで眼を見る能力が、明るい瞳測定を可能にする。デザインにおける同軸対軸外の閃光源構造を組み合わせることによって、カメラの光軸と同軸にある、照明付（「明るい瞳」又はプルキニエ画像）と、照明無（暗い瞳画像）の連続画像が、差し引かれて、瞳を離隔する（ＦＰＧＡ又はＡＳＩＣ内でも）。明るい瞳における放射照度分布によって、軸上で投影照明及び画像収集に眼がどのように関係しているのかを表示することになる。代替的に、暗い瞳における眼の輝きを用いて、角膜中心の計算を行うことができる。

【0013】

モジュラーソリューションに移ることによって、形式ファクタを柔軟にして、視線計測装置を、サングラス、ゴーグル、マスク、ヘルメット、ヘッドセット、などのウエアラブルデバイスに組み込むことができる。この設計上の柔軟性が、ウエアラブル視線計測システムを実装できる使用事例数を増やしている。従って、ビデオ圧縮、転送、及び処理の条件には制限がある。モバイルデバイスと適合性があるワイヤレス又はテザー式ポータブルシステムへの移行を容易にするためには、ウエアラブルデバイスのテンプルアーム（あるいはその他の位置）に一体化された埋め込み型処理ユニットにＣＰＵからシフトできるモジュールにアルゴリズムを注意深く分解する必要があり、データ転送のために必要な周波数帯域量が少なくなる。

【0014】

注視点マッピングシステムが実際にモバイル型であり、環境的にロバストであれば、可能な使用事例の範囲は有意に増える。例えば、建設調査を行う間の設計図を意味する、倉庫の在庫品や、エキスパート−ノービス運動トレーニグなどは、フレームの動き、アイコントロール、及び／又はアウトドアの機能性に対してロバスト性があるモバイルシステムを用いることで容易になる。

【0015】

追加であるいは代替的に、ここに述べたデバイスのいずれも、入手できる環境輝度の利点をとりつつ視線計測を狭い波長レンジ又はレンジセットに制限する一又はそれ以上の方法を有することができることは自明であろう。視線計測については、近赤外線（ＩＲ）の狭帯域のみを眼撮像に使用することができるが、適切な設計を行なえば、可視光線のほぼ１００％（材質インターフェースにおけるロスを引く）を伝送して、着用者がその場面を見ることができる。コーティング、グレーティング、フィルタ、及び／又は複数光源などの技術も使用できる。コーティングは、金属及び誘電体材料を含むものでよく、及び／又は、２色性ソリューションを含む、反射機能のあるもの、あるいは抗反射機能のあるものでもよい。

【0016】

視線計測システムにおいては、通常、所定のユーザについては顔に対するフレーム位置のわずかなシフトに対してロバストであり、頭の動きを制限しないことが有用である。しかしながら、移動型シナリオでは、これらの二つの条件が合致することが重要である。両条件は、視野面に対する内部スペース（一方あるいは両方の眼の撮像及び／又は測定）と外部スペース（ユーザ周囲又は「そのシーン」の撮像）の正しい正規化を介して完成することができる。注視点は、左右の眼の注視ベクトルの集中によって決まる。次いで、そのシーンのカメラビデオ上のオーバーレイとして、モバイル装置を介してユーザに情報を伝達することができる。

【0017】

例えば、三次元（３Ｄ）注視点（Ｐｏｉｎｔ ｏｆ Ｒｅｇａｒｄ：ＰＯＲ）アウトドア用に最適化した、頭に装着した視線計測メガネを用いて、ノービストレーニングの目的で、特別なスキル（例えば、サッカーのゴールキック）を行っているプロフェッショナルアスリート（エキスパート）の視覚挙動を記録することができる。この場合、３Ｄ注視点を、そのシーンの画像の上に重ねることができる。ＰＯＲのビデオデータ及び眼計測（ｏｃｕｌｏｍｅｔｒｉｃ）データをテザー記録デバイスに記録する、及び／又は、タブレット又はその他のコンピュータデバイスにワイヤレスでストリームすることができる。次いで、トレーナは、エキスパートの視覚的挙動を用いたノービストレーニングプログラムを作成して、熟練した改善用の最適視覚パターンを示すことができる。

【0018】

眼の計測は、まばたき挙動と瞳のサイズをモニタすることで、眠気と疲労を検出する。これらの計測は、対象認識を用いるためユーザインターフェース（ＵＩ）に一体化して、安全でない状態にある被雇用者（例えば、ハザード、濡れた床、近傍にいる被雇用者）に警告をするか、あるいは、非雇用者の仕事の挙動を記録して、パフォーマンスが所望の標準に確実に達する、及び／又は、品質が損なわれないようにする。

【0019】

注視点データをカーソル制御によってより複雑なユーザインターフェースに組み込むと、眼の動きを、コンピュータ及びその他の制御アプリケーションを方向付ける、手、足、及び／又は、その他の身体の動きを使用するその他の入力デバイスと交換可能に使用することができる。眼の制御をモバイルデバイスと対にすることで、眼の動きをあらかじめ配置したタグと共に使用して、例えば、倉庫の在庫品の場合のように、ユーザがより自然な経験をできるようなアプリケーションを開始する。更に、様々なアプリケーションについて、初歩的な、視覚上のユーザフィードバックの利点を提供する。

【0020】

例えば、写真を撮ったことを確認する動作を考える。戦略的に配置した表示器（ＬＥＤあるいはその他の光源）をメニュー／コントロールとして見つめる能力が、単純なユーザインターフェースを作り、ユーザは例えば、その中止がＬＥＤ表示器の画像上にＵＩコントロールとして残り、システムに写真を取る準備をするように言わせる。一の例示的方法は：
○ 「Ｔａｋｅ Ｐｈｏｔｏ」ＬＥＤを、赤から緑に変わるまで見つめるステップ。
○ 例えば、ユーザが写真を好む画像の中心点を見つめて焦点を見つけるステップ。
○ 焦点付近を中心とする制限付き視野写真を撮るステップ。
○ ＬＥＤｓからの周辺ビューにおける適切なフィードバックを用いて、仮想フレームの左上側、ついで右下側を見つめるステップ。
を具える。

【0021】

例示的実施例によれば、デジタル写真を撮る方法が提供されており、この方法は、ユーザの頭にウエアラブルデバイスを装着するステップであって、このデバイスがユーザの周囲の画像を捕捉するようにした風景画像を具えるステップと；ユーザの目で所定の動作を実行して、ウエアラブルデバイスの写真を特徴づけるステップと；ユーザの周辺内のある領域の中心点を見つめるステップであって、ウエアラブルデバイスがこの中心点に基づいてカメラの撮像視野についての焦点と制限付き視野を決定するステップと；カメラに焦点付近の中心にある制限付き視野の画像を捕捉させるステップと；を具える。

【0022】

別の実施例によれば、デジタル写真を撮る方法が提供されており、この方法は、ユーザの頭の上にウエアラブルデバイスを装着するステップであって、このウエアラブルデバイスがユーザの周囲の画像を捕捉するようにした風景画像を具えるステップと；ウエアラブルデバイスの所定の位置を見つめてウエアラブルデバイスの写真を特徴づけるステップと；ユーザの周辺内のある領域の中心点を見つめるステップであって、ウエアラブルデバイスがこの中心点に基づいてカメラの撮像視野についての焦点と制限付き視野を決定するステップと；カメラに焦点付近の中心にある制限付き視野の画像を捕捉させるステップと；を具える。

【0023】

例示的実施例では、ウエアラブルデバイスの所定の位置を見つめて写真特性を始動させるステップが、ウエアラブルデバイスが、例えば、ＬＥＤの色を変えるなど、ＬＥＤを変化させて写真特性が始動したことを表示するまで、ウエアラブルデバイス上のＴａｋｅ Ｐｈｏｔｏ ＬＥＤを見つめるステップを具える。

【0024】

さらに別の実施例によれば、ユーザの頭の上にウエアラブルデバイスを装着するステップを具えるデジタル写真を撮る方法が提供されており、このウエアラブルデバイスが、ユーザの周囲の画像を捕捉するようにした風景画像を具えるステップと；ウエアラブルデバイスの所定の位置を見つめてウエアラブルデバイスの写真を特徴づけるステップと；ユーザの周辺内のある領域のバーチャルフレームの対向するコーナーを見つめるステップであって、ウエアラブルデバイスがこの認識したコーナーに基づいてカメラの撮像視野についての焦点と制限付き視野を決定するステップと；カメラに焦点付近の中心にある制限付き視野の画像を捕捉させるステップと；を具える。

【0025】

さらに別の実施例によれば、ユーザの頭に装着するように構成したウエアラブルデバイスを具えるデジタル写真を撮る装置が提供されており、この装置が、ウエアラブルデバイスをユーザが装着した時に、眼の視線計測画像を取得するように構成されたウエアラブルデバイス上の内部カメラと；ウエアラブルデバイスをユーザが装着した時に、ユーザの周囲の画像を取得するように構成したウエアラブルデバイスウエアの外部カメラと；内部カメラに接続されており、ユーザがユーザの目を使って所定の行動を取ってウエアラブルデバイスの写真特性を始動させる時を決定する一又はそれ以上のプロセッサであって、所定の方法でユーザの周囲のある領域をユーザが見つめる時を決定する外部カメラに接続されており、この所定の方法に基づいて外部カメラの撮像視野についての焦点と制限付き視野を決定し、外部カメラに焦点付近を中心に制限付き視野の画像を捕捉させるステップと；を具える。

【0026】

別の実施例によれば、視線計測用の装置が提供されており、この装置は、ユーザの頭に装着するように構成したウエアラブルデバイスと；ウエアラブルデバイスに装着した自由造形導波器であり、ウエアラブルデバイスをユーザが装着した時にユーザの目の前に位置するような自由造形導波器であって、内部に一またはそれ以上の目盛を付けた自由造形導波器と；この導波器に接続され、ユーザがウエアラブルデバイスを装着した時に目の視線計測画像を取得するウエアラブルデバイス上の内部カメラと；この導波器内に光を誘導して光が一またはそれ以上の目盛から目に向かって反射するようにしたウエアラブルデバイス上の一またはそれ以上の光源とを具え、一またはそれ以上の目盛がさらに、導波器を通って目に向けて導波器の外側表面内へ通過する光を集束するように構成されている。

【0027】

選択的に、このデバイスは、ウエアラブルデバイス上に周辺光センサと；この周辺光センサに接続されて、ウエアラブルデバイスを装着したユーザの周囲の周辺光レベルを検出する一またはそれ以上のプロセッサを具え、この一またはそれ以上のプロセッサが、一またはそれ以上の光源に接続されて、周辺光のレベルが所定のスレッシュホールドを下回る視線計測シーケンスの間、光源を始動させる。

【0028】

追加であるいは代替的に、このデバイスは導波器の前にウエアラブルデバイスに装着した舗装レンズを具え、導波器を補正レンズとウエアラブルデバイスを装着しているユーザの目の間に配置するようにしてもよい。選択的に、補正レンズはサングラスのレンズであり、及び／又は、永久的に色が付いている。別の選択例では、補正レンズと導波器の少なくとも一方が、それを通過する光に可変不透明性又は透明性を提供するように構成した粒子を含んでおり、装置が更に、選択的に始動でき、粒子にこの不透明性又は透明性を制御させる電圧源を具えている。

【0029】

さらに別の実施例によれば、ウエアラブルデバイスをユーザのヘッドに装着するステップであって、このウエアラブルデバイスが装着された自由造形導波器を具え、導波器をユーザの目の前に配置して、導波器がその中に形成した一またはそれ以上の目盛を具えるステップと；ユーザの周囲の周辺光状態が所定のスレッシュホールドを下回るときを検出するステップと；所定のスレッシュホールドを下回る周辺光の条件で、眼の画像をウエアラブルデバイスの内部カメラを用いて取得する視線計測シーケンスの間にウエアラブルデバイス上の一またはそれ以上の光源を活性化するステップであって、導波器を通過する一またはそれ以上の光源からの光が一またはそれ以上の目盛から目に向かって反射するステップと；所定のスレッシュホールドを上回る周変更の状態を用いて、一またはそれ以上の光源を伴う内部カメラを用いて眼の画像を取得して周辺光が一またはそれ以上の目盛を目に向けて通過するようにするステップと；を具える視線計測方法が提供されている。

【0030】

例示的実施例では、一またはそれ以上の目盛が、眼の画像内に取得された一またはそれ以上の目盛を通過する周辺光から目の上に所定の閃光パターンを作成する。追加であるいは代替的に、一またはそれ以上の目盛が、一またはそれ以上の目盛で反射する一またはそれ以上の光源からの光から、眼の上に所定の閃光パターンを作成するようにしてもよい。

【0031】

さらに別の実施例では、特別注文の視線計測デバイスを作成するキットが提供されており、このキットは、ユーザの頭に装着するように構成したウエアラブルデバイスと；異なる選択的特性を有する複数の自由造形導波器であって、各導波器がウエアラブルデバイスに別々に装着可能で、ユーザがウエアラブルデバイスを装着した時にユーザの目の前に導波を配置するようにした自由造形導波器と；一またはそれ以上の補正レンズであって、各レンズがウエアラブルデバイスに装着されて装着した導波器が補正レンズウエアラブルデバイスを装着しているユーザの目の間に配置するようにした補正レンズと；異なる特性を有する複数の内部カメラモジュールであって、各内部カメラモジュールが、ウエアラブルデバイスに別々に装着可能であり、装着した導波器に接続されて、ユーザがウエアラブルデバイスを装着した時に目の画像の視線計測を取得する内部カメラモジュールと；を具える。

【0032】

選択的に、このキットは、ウエアラブルデバイス上に一またはそれ以上の光源を具えており、導波器に光を導入して、その光がウエアラブルデバイスを装着しているユーザの目に向けられるようにしてもよく、及び／又は、ユーザがウエアラブルデバイスを装着した時にユーザ周囲の画像を提供するように構成したウエアラブルデバイス上の外部カメラを具えていてもよい。

【0033】

本発明のその他の態様及び特徴は、図面を参照して以下の記載を考慮することで明らかになる。

【図面の簡単な説明】

【0034】

本発明は、添付の図面を参照して以下の詳細な説明により良く理解できる。図面に示した例示的な装置は、寸法通り記載する必要はなく、図に示した実施例の様々な態様及び特徴を強調したものであることは明らかである。

【図1】図１Ａ及び１Ｂは、それぞれ、ウエアラブル注視点測定デバイスの例示的実施例の斜視図及び正面図である。

【図2】図２は、図１Ａ及び１Ｂに示すウエアラブルデバイスに含めることができる導波器とカメラモジュールを具える眼撮像モジュールの例示的実施例の斜視図である。

【図3】図３は、モジュールのカメラを示す図２の眼撮像モジュールの詳細を示す図である。

【図4】図４は、図１Ａ及び１Ｂのウエアラブルデバイスに組み込んだ、図２に示す眼撮像モジュールの詳細を示す図である。

【図5】図５は、図１Ａ及び１Ｂのウエアラブルデバイスの構成要素を示す線図である。

【図6】図６は、照明モード、撮像モード、及び視野モードの、異なるモードで動作するように構成した図５に示すウエアラブルデバイスを示す線図である。

【図7】図７は、照明モード、撮像モード、及び視野モードの、異なるモードで動作するように構成した図５に示すウエアラブルデバイスを示す線図である。

【図8】図８は、照明モード、撮像モード、及び視野モードの、異なるモードで動作するように構成した図５に示すウエアラブルデバイスを示す線図である。

【図9】図９は、アウトドアでの視線計測用に構成した異なるモードで動作するウエアラブルデバイスの代替の実施例を示す線図である。

【図10】図１０は、周辺照明モードとエッジ照明モードを含む異なるモードで動作するように構成した、図９に示すウエアラブルデバイスを示す線図である。

【図11】図１１は、周辺照明モードとエッジ照明モードを含む異なるモードで動作するように構成した、図９に示すウエアラブルデバイスを示す線図である。

【発明を実施するための形態】

【0035】

図面を参照すると、図１−５は、ウエアラブル視線及び／又は注視点測定デバイスの例示的実施例、すなわち、システム１０を示す。例示的実施例において、デバイス、システム、及び方法は、モジュラー型ウエアラブル注視点測定デバイスを提供しており、これは、視線計測マッピングの利点が現在展開されているその他のモバイルデバイスを増やすアプリケーションを含めて、様々なアプリケーションで使用するモバイルに最適化されている。別の例示的実施例では、デバイス、システム、及び方法は、アウトドア又はその他の環境照明条件に最適化することができ、及び／又は、十分にロバストされており、これによって、視線及び／又は注視点測定の利点を利用できるアプリケーションの数を増やしている。

【0036】

一般的に、図１に示すように、デバイス１０は、例えば、メガネのフレーム（図に示す）、あるいは、マスク、ヘッドセット、ヘルメットなど、ユーザの頭（図示せず）に装着するように構成したウエアラブルデバイス１２と、ユーザの周辺を撮像するためのデバイスに装着した外部カメラ２０と、ユーザの両目（一方の眼９０を図５に示す）の一またはそれ以上を撮像するデバイスに装着した内部カメラ３０と、自由造形光学アッセンブリ４０と、自由造形補正レンズ５０とを具える。更に、図５に示すように、デバイス１０は、例えば、光学アッセンブリ４０に含まれる、及び／又は、ウエアラブルデバイス１２のどこかに装着された、一またはそれ以上の光源４４を具えている。デバイス１０は、また、デバイス１０を動作させ及び／又はここに述べた様々な機能を実行するための、その他の構成要素に接続された一またはそれ以上のプロセッサ、目盛、その他（図示せず）を具える。デバイス１０に含めることができる、例えば、ウエアラブルデバイス、カメラ、光源、プロセッサ、通信インターフェース、その他といった例示的な構成要素は、米国特許第６，５４１，０８１号、第７，４８８，２９４号、及び米国公開公報第２０１１／０２１１０５６号、及び第２０１３／０１１４８５０号に開示されている。これらの全開示はここに引用により全体が組み込まれている。

【0037】

図２乃至５を参照すると、デバイス１０の光学アッセンブリ４０は、例えば、通過する光の合焦及び／又はフィルタリングなどのための、導波路又は内部自由携帯光学素子４２、一またはそれ以上の光源４４、あるいは波長選択アッセンブリ４６など、の複数の構成要素を具えている。導波路４２は、内部カメラ３０及び／又は光源４４に、例えば、波長選択アッセンブリ４６を介して光学的に接続されている。このアッセンブリは、図２及び３に示すように、カメラモジュールハウジング４８内に含まれており、例えば、導波路４２は、ハウジング４８に取り外し可能にあるいは永久的に取り付けられている。

【0038】

導波路４２は、本明細書に記載したように、例えば、光源４４からの照明をユーザの目９０に導く、及び／又は、ユーザの目９０から光を回収して内部カメラ３０を用いて画像を取得するために、光学アッセンブリ４０の光学路をフォールドするような形状及び／又はそのように構成された一体化した光学デバイスであってもよい。例えば、導波路４２は、一またはそれ以上のプリズム及び／又はその中に一体的に形成されたその他の光学特性を具えており、例えば、内部カメラ３０に接続した端部４３など、導波路４２の端部又はエッジに導入した光が、中の一またはそれ以上の面で反射する導波路４２内に、導波路の反対側端部に向けて伝送され、例えば、ユーザの目９０に向けた内側面４２ｂなど、所定の面の外で反射して、例えば、眼９０を照明する。逆に、例えば眼９０から内側面４２ｂなどの、所定の面に入射する光は、内部カメラ３０に接続された端部４３に戻って導波路４２内に伝送され、例えば、眼９０の画像を捕捉する。

【0039】

更に、導波路４２は、図５に線図で示すように、例えば、補正レンズ５０の内向面５０ｂに対応する、アイフレームのベースカーブに合致する外向面４２ａを具えていてもよい。このように、導波路４２と補正レンズ５０によって、例えば、正常なビジョン又は所定の補正処方に基づいて、ユーザの目９０は、眼からユーザの周囲内へほぼ歪がない視覚ができる。導波路４２は例えば中に補正レンズ５０を装着したフレーム１２内で開いている目を、少なくとも部分的に及び／又は全体的に、カバーするサイズにしてもよい。選択的に、導波路４２は、例えば、外向面４２ａ上、内向面４２ｂ上、及び／又は導波路の材料内に含まれる、光学性能を向上させる一またはそれ以上のアプリケーションに特定のコーティングを具えていてもよい。

【0040】

選択的に、デバイス１０の一またはそれ以上の構成要素は、例えば、構成要素の異なるサイズ、形状、及び／又はその他の構造を交換するために、特定の個人ユーザに所望される場合に、例えば、モジュラーキットから交換可能であってもよい。例えば、第１の導波路４２（カメラ４４に接続されている）は、別の導波路（図示せず）と交換して、例えば、別のユーザの処方に合わせるようにしてもよい。代替的に、第１の導波路４２をメガネフレーム１２から取り外して、ヘルメット、ゴーグル、又はその他のウエアラブルデバイス（図示せず）内に配置し、例えば、同じユーザが異なるウエアラブルデバイスを使用して、視線及び／又は注視点計測に適応するようにしてもよい。

【0041】

例示的実施例では、図５に示すデバイス１０の光学構成要素のいずれも、モジュラーである。例えば、導波路４２は、導波路４２及び／又はハウジング４８の連結端部にある一またはそれ以上のコネクタ（図示せず）を用いて、ハウジング４８に取り外し可能に連結されている。図４に示すように、ハウジング４８は、例えば、フレーム１２のつるピース又は耳サポート１４上で、フレーム１２に永久的にあるいは取り外し可能に取り付けられている。ハウジング４８は、十分に固定されており、導波路４２は、ハウジング４８がフレーム１２に固定されているときに導波路４２を補正レンズ５０に対してあるいはその近傍に固定するのに十分に硬い。代替的に、導波路４２及びフレーム１２及び／又は補正レンズ５０は、導波路４２を補正レンズ５０に固定するための一またはそれ以上のコネクタ（図示せず）を具えていてもよい。

【0042】

追加であるいは代替的に、内部カメラ３０及び／又は波長選択アッセンブリ４６は、所望であれば、ハウジング４８内に取り外し可能に装着するようにしてもよい。図に示すように、一またはそれ以上の光源４４を、内部カメラ３０とほぼ共平面に配置する及び／又は例えばハウジング４８内に装着された内部カメラ近傍に位置させる、及び／又は、一またはそれ以上の光源４４を、例えば、光源が導波路４２に光を生成する一方の端部上に位置させるようにしてもよい。これによって、光をユーザの眼９０に向けることができる。選択的に、ハウジング４８は、例えば、ＦＰＧＡｓ、ＡＳＩＣｓ、その他のような、一又はそれ以上のプロセッサ、及び／又は、その中の目盛部品を具えていてもよく、このような部品は、フレーム１２の別のところに装着してもよいし、ハウジング４８とそのハウジング内の構成要素に電気的に接続するようにしてもよい。

【0043】

デバイス１０は、所望であれば一またはそれ以上のモードで作動することができ、例えば、眼９０の照明及び／又は撮像ができる。例えば、図６には、一対の光源４４が、例えば、ＣＭＯＳ、ＣＣＤ又はその他の撮像チップといった、内部カメラ３０のセンサとほぼ共平面に装着されている、照明モードが示されている。従って、光線４５ａで示す出射光が、光源４４から、光線４５ｂで示すような眼９０に光を向ける、波長選択アッセンブリ４６を介して導波路４２に出射される。このように、光源４４は、所望の方法で眼９０を照明して、例えば、一またはそれ以上の閃光、その他を生成する。

【0044】

更に、図７を参照すると、眼撮像モードが示されており、ここでは、光線４７ａで示すような、例えば、鏡面的に及び／又は拡散的に眼９０から反射された光が、自由携帯導波路４２で回収され、連結光学素子４６に戻され、光線４７ｂで示すようにこの光を内部カメラ３０上に合焦させる。

【0045】

図８を参照すると、導波路４２と補正レンズ５０のペアリングによって、光線４９で示すようなシーンすなわちユーザ周囲からの光が、ユーザの眼９０へ、例えば、眼９０の入射瞳で最小の歪をもって、伝達される。

【0046】

例えば、図１に示すデバイス１０は、これらのモードのいずれか一つで選択的に作動するように構成することができる。アプリケーション特定のハードウエア、ソフトウエアモジュール、及び／又はその他の処理機能、及び接続性をデバイス１０に提供することができ、例えば、各々が所望のこれらのモードの何れかで動作できる、視線計測デバイスファミリィを作ることができる。このアプリケーション特有のハードウエア及び接続は、例えば、外部カメラ２０及び／又は内部カメラ３０からのデータストリームをシリアル化する基本レベルで機能して、例えばデバイス１０のプロセッサ及び／又は遠隔の電子デバイス（図示せず）などの処理ユニットに、例えばワイヤレスであるいはワイヤ接続（図示せず）を介して送ることができる。その他の選択的特徴には、ＤＳＰ（例えば、歪のない）、初回工程（ｆｉｒｓｔ−ｉｎ−ｐｒｏｃｅｓｓ）アルゴリズムモジュール、及び／又は注視点ベクトルの全計算を含む。これらの組み合わせは、例えば、入手可能な電源及び／又は帯域条件に基づいて、デバイスで実装してもよい。

【0047】

例示的実施例では、デバイス１０は、三次元の注視点（ＰＯＲ）決定が可能であり、以下の特徴の一またはそれ以上を具える。
ａ）ユーザのキャリブレーションデータの保存
ｂ）ＰＯＲモデリング用バーチャル平面注視点マッピング
ｃ）内部カメラ３０から外部カメラ２０への回転及び／又は移転用アルゴリズム；及び／又は
ｄ）注視点マッピングデータをワイヤレスでモバイルデバイス（例えば、ＷｉｎｄｏｗｓベースのＯＳ、Ｌｉｎｕｘベース、その他）へストリーム化

【0048】

図９乃至１１を参照すると、視線及び／又は注視点測定デバイス１１０の別の例示的実施例が示されており、これは、例えば、内部カメラ１３０（対応する眼９０の撮像用のものを図１０及び１１に示す）、外部カメラ（図示せず）、及び、例えば、本明細書に記載のその他の実施例と同様に、導波路又は内部自由造形光学素子１４２、及び一またはそれ以上の光源１４４を具える自由造形光学アッセンブリ１４０といった、一またはそれ以上の構成要素を担持するフレームまたはその他のウエアラブルデバイス（図示せず）など本明細書に記載したその他の実施例とほぼ同じ構成要素を具える。上述の実施例とは異なり、導波路１４２は、例えば、導波路に形成された複数の目盛用ノッチ又はウエッジ１４３など、一またはそれ以上の特徴を具えており、例えば、以下に述べるように閃光を発生して、アウトドア又はその他の明るく照明した環境での視線及び／又は注視点測定のためのデバイス１１０の使用を強化することができる。特に、「目盛」１４３は、以下に述べるように、代替的に、光が当たる角度に基づいて透明又は反射するように動作する。目盛１４３は、レーザアブレーションを含む様々な方法を用いて、導波路１４２内に形成できる。

【0049】

デバイス１１０は、例えば、バイモーダル照明スキームを用いて、一以上のモードで動作して、高輝度周辺光条件の利点を得ることができる。例えば、明るい周辺光条件の下では、導波路１４２と補正レンズ１５０を対にすることによって、図１０に光線１４９ａで示すように、シーンからの光を導波路１４２と補正レンズ１５０を通って、眼９０の入射瞳において最小の歪でユーザの眼９０に伝送することができる。

【0050】

より詳しくは、図１０に示すように、目盛１４３によって、周辺光が目盛と導波路１４２を通過して、所望のパターン又は構成で眼９０に入り、所定のパターンの閃光を生成し、図１４９ｂ、１４９ｃに示すように、これが反射して導波路１４２に戻り、内部カメラ１３０に向けられる。このように、太陽などの周辺又は「シーン」照明源にとって、目盛はトランスミッションとして作用する。

【0051】

逆に、図１１に示すように、周辺照明が不十分な場合は、一またはそれ以上のエッジ照明源１４４を使って、光線１４５ａに示すように導波路１４２へ光を向けて、光線１４５ｂで示すように、光を眼９０に向けるように反射させる。反射光は、反射して導波路１４２に戻り、光線１４５ｃに示すように内部カメラ１３０に入る。デバイス１１０は、周辺光センサ（図示せず）を具えており、例えばデバイス１０の一またはそれ以上のプロセッサによって、このセンサを用いて、光源１４４への光源流を調整して、インドアとアウトドアのアプリケーション間でデバイスをリアルタイムで切り替える。このようにして、プロセッサが周辺光センサに基づいて周辺光が十分であると決定すると、光源１４４がオフになる又は不活性状態を維持し、一方、周辺光が不十分な場合は、光源１４４が所望の視線計測方法に必要な時に活性になる。

【0052】

正しい波長コントロールは、デバイス１１０のような多重モーダルシステムに重要である。これを容易にするために、ショートパス誘電体コーティング（図示せず）が導波路１４２及び／又は補正レンズ１５０に、例えば、外向面１４２ａ、１５０ａ上に設けられている。このようなコーティングは、シーンからの可視光を通過させて、昼間（明るい）も夜間（暗い）もユーザが適切にそのシーンを見られるようにする。目盛１４３は、光源１４４の中心波長が、優先的に、ユーザの眼９０の方向に屈折され、反射され、及び／又は、回折されるように構成されている。

【0053】

図７に示すデバイス１０と同様に、デバイス１１０も眼撮像モードで作用する。図７の光線４７ａで示す眼９０から反射された光（鏡面的及び拡散して）は、導波路１４２で回収されて、波長選択アッセンブリ１４６に戻り、ここで、内部カメラ１３０上に光を合焦させる（図１０及び１１に示す）。波長選択アッセンブリ１４６のロングパス又はノッチフィルタを用いて、可視波長中の異質な角強膜反射によるノイズを低減できる。更に、偏光源及び／又は偏向−感知部材を組み込むことでも、環境ノイズを低減できる。

【0054】

選択的に、補正レンズ１５０（又は、ここに記載したその他の実施例の補正レンズ）を、例えば、着色レンズ、フィルタ付レンズ、及び／又は偏光レンズなどのサングラスのレンズにして、ユーザの眼に届く光量を小さくするようにしてもよい。このことによって、ユーザが瞼や瞳をリラックスし、及び／又は、視線及び／又は注視点測定を容易にすることができる。補正レンズ１５０の着色は、永久的なものであってもよく、遷移コーティングされていてもよい。追加であるいは代替的に、補正レンズ１５０は、フレームにほぼ永久的に装着されていてもよく、あるいは取り外し可能として、別の補正レンズをデバイス１１０中で交換可能としてもよい。

【0055】

ユーザの眼９０を測定するのに使用した内部カメラ１３０から回収した画像内の光レベルに基づいて、導波路１４２及び／又は補正レンズ１５０の不透明性をダイナミックに制御する別のアプローチをすることができる。例えば、ユーザの眼９０に届く環境からの光路内にレンズ１４２又は１５０及び／又はその他の光学素子の不透明性（あるいは、逆に、透明性）を電気的に制御するシステムを提供してもよい。例示的な実施例では、細長い浮遊粒子を導波路１４２及び／又は補正レンズ１５０に配置して、浮遊粒子デバイス（ＳＰＤ）を提供し、このデバイスに回路を設けて、細長い粒子を光の伝送をブロックするあるいは伝送する方向に整列させる所定の電圧を印加する。例えば、ポリマ分散液晶及び／又はエレクトロウエッティング表面を用いるなどした、その他のエレクトロクロミック素子及び／又は方法を提供してもよい。このようなエレクトロクロミック法は、独立して、ありはホトクロミズム法と組み合わせて不透明性を制御することができる。このような特徴は、本明細書に記載したいずれの実施例にも取り入れることができる。

【0056】

アウトドア及び／又は厳しい照明環境における重要な課題は、環境源からの全体の照明が連続的に変化する間に、眼の位置をほぼ連続的に測定する能力である。本明細書に記載したように、このことは、ユーザの眼を照明し及び／又は測定するのに使用する波長範囲にわたって光の環境源を選択的にブロックすることによって、部分的に軽減される。追加であるいは代替的に、非常に動的なレンジセンサを内部カメラに含めるようにしてもよい。

【0057】

更なるアプローチは、例えば、光源１４４によって、デバイス１１０内で生じた照明を動的に調製して、環境照明の増加あるいは低下を保証することである。眼９０の測定に使用する内部カメラ１３０の画像内に記録した光レベルを用いて、眼９０の照明をモニタし、連続的に制御することができる。このことは、左目又は右目を選択的に照明することを含む。また、好ましくは、例えば、本明細書に引用により組み込んだ引用例に開示されているシステム及び方法と同様に、カメラ画像の様々な領域に記録した光強度に基づいて眼９０のある領域またはサブセットの照明を補強することを含む。

【0058】

更に、十分に瞳が露出されていて、エッジ及び／又はゼロ点検出法を実装して瞳の輪郭を配置している場合、瞳検出の複数のアプローチを考慮することが有益である。瞳が不十分に露出されている場合は、瞳の輪郭に変えて瞼の輪郭及び／又は瞳エッジを認識することで、瞳の中心を含む小さな領域を認識することができる。その後、Ｓｔａｒｂｕｒｓｔ ａｎｄ Ｒａｎｓａｃ法などのアルゴリズムを実装して、瞳を楕円に合致させて、瞳の中心を決定する。更に、複数のカメラの使用により、特性捕捉および処理手順の低減を改善する可能性もある。

【0059】

注視点マッピングシステムが本当にモバイルでありかつ環境的にロバストであれば、使用できるケースの範囲は非常に増える。例えば、倉庫の在庫、建設審査におけるブループリントの引用、モバイル視線計測システムを用いたエキスパート−ノービス運動トレーニングは、本明細書に述べたようにフレーム移動に対するロバストネス、アイコントロール、及び／又はアウトドア機能性によって強化できる。

【0060】

実施例に示す素子あるいは構成要素は、特定の実施例についての例示であり、ここに開示したその他の実施例に、あるいはその他の実施例と組み合わせて使用することができる。

【0061】

本発明は、様々な変形例、代替例を受け入れる余地があるが、特定の例を図面に示し説明している。しかしながら、本発明は、ここに開示した特定の形式あるいは方法に限定されるものではなく、特許請求の範囲内の全ての変形、均等物及び代替例をカバーするものである。

【図1A】

【図1B】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】