特許 6374107 アイトラッキングシステムのための改良されたキャリブレーション

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6374107

(24)【登録日】2018年7月27日

(45)【発行日】2018年8月15日

(54)【発明の名称】アイトラッキングシステムのための改良されたキャリブレーション

(51)【国際特許分類】

   G06F 3/038 20130101AFI20180806BHJP

   G06F 3/0346 20130101ALI20180806BHJP

   G06F 3/01 20060101ALI20180806BHJP

   G01B 11/26 20060101ALI20180806BHJP

   H04N 5/232 20060101ALI20180806BHJP

   G01B 11/00 20060101ALI20180806BHJP

【ＦＩ】

   G06F3/038 310A

   G06F3/0346 423

   G06F3/01 510

   G01B11/26 H

   H04N5/232 190

   G01B11/00 H

【請求項の数】23

【全頁数】15

(21)【出願番号】特願2017-523820(P2017-523820)

(86)(22)【出願日】2015年10月8日

(65)【公表番号】特表2018-505457(P2018-505457A)

(43)【公表日】2018年2月22日

(86)【国際出願番号】US2015054621

(87)【国際公開番号】WO2016073131

(87)【国際公開日】20160512

【審査請求日】2017年5月1日

(31)【優先権主張番号】14/534,333

(32)【優先日】2014年11月6日

(33)【優先権主張国】US

(73)【特許権者】

【識別番号】593096712

【氏名又は名称】インテル コーポレイション

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ホレシ，ニザン

【審査官】 ▲高▼瀬 健太郎

(56)【参考文献】

【文献】 特開２００９−２３２９８４（ＪＰ，Ａ）

【文献】 特開２０１３−１９０９４２（ＪＰ，Ａ）

【文献】 特開２０１４−１９１３８６（ＪＰ，Ａ）

【文献】 特開２０１４−０５２７５８（ＪＰ，Ａ）

【文献】 特開２００５−５００６３０（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｆ ３／０３８

Ｇ０１Ｂ １１／００

Ｇ０１Ｂ １１／２６

Ｇ０６Ｆ ３／０１

Ｇ０６Ｆ ３／０３４６

Ｈ０４Ｎ ５／２３２

(57)【特許請求の範囲】

【請求項1】

シーンフェイシングカメラからビデオストリームを受信し、移動するオブジェクトを検出するために前記ビデオストリームを解析し、一期間にわたって前記移動するオブジェクトの角度位置を推定するシーン解析モジュールと、
アイトラッキングカメラから画像を受信し、前記画像に基づいて、前記一期間にわたって、ユーザの目の注視角度を推定する注視推定モジュールと、
前記移動するオブジェクトの各々に対して、前記オブジェクトの角度位置と前記注視角度との間の第１の距離測定値を計算し、さらに、前記移動するオブジェクトの各々をキャリブレーションに使用するために受け入れるか否かについて、前記第１の距離測定値の距離測定閾値との比較に基づいて決定するオブジェクト軌跡適合モジュールと、
第２の距離測定値の最小化に基づいてアイトラッキングキャリブレーション角度を推定するキャリブレーションモジュールであって、前記第２の距離測定値は、受け入れられた前記移動するオブジェクトの前記角度位置と前記注視角度との間で計算されるキャリブレーションモジュールと、
を備えるアイトラッキングキャリブレーションシステム。

【請求項2】

前記シーン解析モジュールは、さらに、テンプレート適合、オプティカルフロートラッキング、背景セグメンテーション、スケール不変特徴変換（ＳＩＦＴ）適合、パーティクルフィルタリング及び／又はポジティブ‐ネガティブトラッキングに基づいて前記移動するオブジェクトを検出する、請求項１に記載のシステム。

【請求項3】

前記シーン解析モジュールはさらに、前記移動するオブジェクトの視覚的サイズがサイズ閾値を超えることに基づいて前記移動するオブジェクトを拒否することを特徴とする、請求項１に記載のシステム。

【請求項4】

前記シーン解析モジュールは、さらに、前記移動するオブジェクトの視覚速度が速度閾値を超えることに基づいて前記移動するオブジェクトを拒否することを特徴とする、請求項１に記載のシステム。

【請求項5】

前記シーン解析モジュールは、さらに、前記移動するオブジェクトに関連付けられている前記注視角度の極値が移動閾値の範囲を超えないという決定に基づいて、前記移動するオブジェクトを拒否することを特徴とする、請求項１乃至４いずれか１項に記載のシステム。

【請求項6】

前記シーンフェイシングカメラの動作をトラッキングするための慣性センサをさらに備え、前記シーン解析モジュールが、前記オブジェクトの動作の前記シーンフェイシングカメラの動作との相関に基づいて前記移動するオブジェクトをさらに拒否する、請求項１乃至４いずれか１項に記載のシステム。

【請求項7】

前記最小化は、ニュートン・ガウスアルゴリズム又はレーベンバーグ・マーカードアルゴリズムに基づく、請求項１乃至４のいずれか１項に記載のシステム。

【請求項8】

前記移動するオブジェクトの位置をワールド座標系からアイ座標系へ変換するために、前記移動するオブジェクトと前記シーンフェイシングカメラとの間の距離を推定する深さ測定装置、をさらに備える、請求項１乃至４のいずれか１項に記載のシステム。

【請求項9】

前記オブジェクト軌跡適合モジュールは、さらに、推定された前記オブジェクトの角度位置及び推定された前記注視角度を共通の時間座標系に再サンプリングする、請求項１乃至４のいずれか１項に記載のシステム。

【請求項10】

アイトラッキングキャリブレーションのための方法であって、
シーンフェイシングカメラからビデオストリームを受信するステップと、
移動するオブジェクトを検出するために前記ビデオストリームを解析し、一期間にわたって前記移動するオブジェクトの角度位置を推定するステップと、
アイトラッキングカメラから画像を受信し、前記画像に基づいて、前記一期間にわたってユーザの目の注視角度を推定するステップと、
各前記移動するオブジェクトに対して、前記オブジェクトの角度位置と前記注視角度との間の第１の距離測定値を計算するステップと、
キャリブレーションに使用するために各前記移動するオブジェクトを受け入れるか否かについて、前記第１の距離測定値の距離測定値閾値との比較に基づいて決定するステップと、
第２の距離測定値の最小化に基づいてアイトラッキングキャリブレーション角度を推定するステップであって、前記第２の距離測定値は、受け入れられた前記移動するオブジェクトの前記角度位置と前記注視角度との間で計算されるステップと、
を含む、アイトラッキングキャリブレーションのための方法。

【請求項11】

テンプレート適合、オプティカルフロートラッキング、背景セグメンテーション、スケール不変特徴変換（ＳＩＦＴ）適合、パーティクルフィルタリング及び／又はポジティブ‐ネガティブトラッキングに基づいて前記移動するオブジェクトを検出するステップをさらに含む、請求項１０に記載の方法。

【請求項12】

前記移動するオブジェクトの視覚的サイズがサイズ閾値を超えることに基づいて前記移動するオブジェクトを拒否するステップをさらに含む、請求項１０に記載の方法。

【請求項13】

前記移動するオブジェクトの視覚速度が速度閾値を超えることに基づいて前記移動するオブジェクトを拒否するステップをさらに含む、請求項１０に記載の方法。

【請求項14】

前記移動するオブジェクトに関連付けられている前記注視角度の極値が移動閾値の範囲を超えないという決定に基づいて、前記移動するオブジェクトを拒否するステップをさらに含む、請求項１０乃至１３いずれか１項に記載の方法。

【請求項15】

前記シーンフェイシングカメラの動作をトラッキングするステップと、
前記オブジェクトの動作と前記シーンフェイシングカメラの動作との相関に基づいて前記移動するオブジェクトを拒否するステップと、
をさらに含む、請求項１０乃至１３いずれか１項に記載の方法。

【請求項16】

前記移動するオブジェクトの位置をワールド座標系からアイ座標系へ変換するために、前記移動するオブジェクトと前記シーンフェイシングカメラとの間の距離を推定するステップをさらに含む、請求項１０乃至１３のいずれか１項に記載の方法。

【請求項17】

推定された前記オブジェクト角度位置と推定された前記注視角度とを共通の時間座標系に再サンプリングするステップをさらに含む、請求項１０乃至１３のいずれか１項に記載の方法。

【請求項18】

プロセッサによって実行されたときに、請求項１０乃至１３のいずれか１項に記載の方法を実行するための工程をもたらす命令を有するプログラム。

【請求項19】

前記移動するオブジェクトに関連付けられている前記注視角度の極値が移動閾値の範囲を超えないという決定に基づいて、前記移動するオブジェクトを拒絶する工程をさらに含む、請求項１８に記載のプログラム。

【請求項20】

前記シーンフェイシングカメラの動作をトラッキングする工程と、
前記オブジェクトの動作と前記シーンフェイシングカメラの動作との相関に基づいて前記移動するオブジェクトを拒否する工程と、
をさらに含む、請求項１８に記載のプログラム。

【請求項21】

前記移動するオブジェクトの位置をワールド座標系からアイ座標系に変換するために、前記移動するオブジェクトと前記シーンフェイシングカメラとの間の距離を推定する工程をさらに含む、請求項１８に記載のプログラム。

【請求項22】

推定された前記オブジェクト角度位置と推定された前記注視角度とを共通の時間座標系に再サンプリングする工程をさらに含む、請求項１８に記載のプログラム。

【請求項23】

請求項１８乃至２２のうちいずれか１項記載のコンピュータプログラムを記憶したコンピュータ読取り可能記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、アイトラッキングシステムに関し、より詳細には、アイトラッキングシステムのための改良されたキャリブレーションに関する。

【背景技術】

【0002】

ユーザの注視をトラッキングするシステム（すなわち、キャリブレーションシステム）は、ますます普及しつつある。ユーザの眼の動き及び注視点をトラッキングする能力は、より洗練されたユーザインタフェースの可能性を許す。しかしながら、これらのアイトラッキングシステムは、一般に、人によって眼の解剖学的構造が生理学的に異なるために、各ユーザに対してキャリブレーションする必要がある。キャリブレーションプロセスは、典型的には、そのユーザに対して（１つずつの）セットポイントをプリセットすること、及び、視覚注視ポイントが推定される間、既知のポイントにユーザが視線を固定するよう要求することにより実行される。このプロセスは面倒であり、ユーザの協力が必要であり、一般にロバストではない。さらに、このプロセスは、（例えば、トラッキングキャリブレーションシステムによって制御可能な）アクティブな表示要素及び比較的大きな視野を必要とするが、これらは、例えば、いくつかのウェアラブル装置及び自動車環境を含むいくつかのプラットフォームには存在しない。

【図面の簡単な説明】

【0003】

特許請求の範囲に記載された主題の実施形態の特徴及び利点は、後述される詳細な説明により、及び、図面を参照することにより、明らかになるであろう。図面では、同様の符号は同様の部分を示す。

【0004】

【図1】本開示と一致する例示的な実施形態の最上位層のシステム図を示す図である。

【図2】本開示の例示的な実施形態と一致する眼の断面図に関してキャリブレーション角度を示す図である。

【図3】本開示の例示的な実施形態と一致するオブジェクトトラッキングを示す図である。

【図4】本開示に一致する例示的な一実施形態のブロック図を示す図である。

【図5】本開示と一致する例示的な一実施形態の工程のフローチャートを示す図である。

【図6】本開示と一致する別の例示的な実施形態のプラットフォームのシステム図を示す図である。

【0005】

以下の詳細な説明は、例示的な実施形態を参照しながら進められるが、多くの代替形態、修正形態、及び変形形態が当業者には明らかであろう。

【発明を実施するための形態】

【0006】

原則的に、本開示は、アイトラッキングシステムの改良されたキャリブレーションのためのシステム、装置、方法及びコンピュータ読み出し可能媒体を提供する。シーン（又はワールド）フェイシングカメラは、システムのユーザが見ることができる周囲環境の視界を包含するビデオストリームを提供するように構成されてもよい。このビデオストリームは、シーンを通して移動し、ユーザの眼によって反射的に追跡される条件のオブジェクトを含むことができる。移動するオブジェクト又は移動オブジェクトは、キャリブレーションプロセスへの使用のためのそれらの適合性が決定され、それらの視軸又は視線を推定するために、検出及び解析されうる。アイトラッキングカメラは、ユーザの眼の動きをトラッキングし、それを、例えばシーンフェイシングカメラのビデオデータから決定されたオブジェクトの動きに相関させるために使用される画像を提供するように構成されていてもよい。相関が見出されると（例えば、統計的有意性閾値を超えるもの）、光軸又は瞳軸の推定が、オブジェクトへの眼の注視と関連して計算され得る。視軸推定値と光軸推定値との間の差異は、以下により詳細に説明されるように、視線トラッキングシステムのキャリブレーションの基礎として使用されてもよい。

【0007】

図１は、本開示と一致する１つの例示的な実施形態の最上位層のシステム図１００を示す。シーンフェイシングカメラ１０４は、ビジュアルデータ、例えば、システムのユーザが見ることができる周囲環境の視界を包含するビデオストリームを提供するように構成され得る。アイトラッキングカメラ１０６は、以下に説明するように、ビジュアルデータ、例えば、眼の動き、特に眼の光軸のトラッキングに用いられるユーザの眼１０８の画像を提供するように構成され得る。シーンフェイシングカメラ１０４及びアイトラッキングカメラ１０６からのデータは、キャリブレーションパラメータを生成するとともに、これらのパラメータをアイトラッキングシステム１１０に提供するように構成されたアイトラッキングキャリブレーションシステム１０２に提供されてもよい。アイトラッキングシステム１１０は、キャリブレーションパラメータに基づく補正又は調整によって、アイトラッキングカメラ１０６によって提供される後続のデータに基づいて、ユーザの眼の動き又は注視ポイントをトラッキングし得る。

【0008】

図２は、キャリブレーション角度を、本開示の一実施形態と一致する眼の断面図２００に関して示す。眼１０８は、例えば凝視点２０６におけるオブジェクトの、画像を眼の後ろ側にある受容体上に集束するレンズ２１４を含む。中心窩２０４は、視覚受容体の密度が最も高い領域であり、したがって、最高解像度で画像を知覚することができる。視軸（又は視線）２１２は、中心窩と固定点との間に描かれ、ユーザが注視している実際の経路を表す。対照的に、光（又は瞳孔）軸２０８は、瞳孔の中心を通り、レンズ２１４の表面に直交するように描かれることができる。光軸２０８は、ユーザが注視している経路を示すように見えるが、真の視覚軸２１２から角度カッパ（Κ）２１０だけずれている。

【0009】

アイトラッキング装置は、原則的に、眼１０８の視覚検査に依拠して光軸２０８を推定する。光軸２０８は、（レンズ２１４の中心における）瞳孔が向いている方向を測定することによって推定することができる。換言すれば、光軸は、瞳孔の中心においてレンズ２１４の表面に対して直交している。しかしながら、カッパ角度２１０は人によって異なり、視軸を計算する必要があるので、各ユーザに対するキャリブレーションプロセスによって推定されなければならない。カッパ角度２１０は、水平方向及び垂直方向にそれぞれ対応する、相対的に直交する２つの成分ファイ（φ）及びシータ（θ）の合成として表すことができる。

【0010】

カッパ角度２１０に加えて、２つの他の解剖学的パラメータ：角膜曲率半径（Ｒ）、及び、瞳面と角膜曲率中心との間の距離（ｄ）がアイトラッキングキャリブレーションのために用いられることができる。

【0011】

図３は、本開示の例示的な実施形態と一致するオブジェクトトラッキング３００を示す。人間の眼は、一般に３つの主要なモードのうちの１つで作用する。（１）固視 − 眼は単一の位置に視覚の凝視を維持する。（２）衝動性運動（Ｓａｃｃａｄｅ） − 眼又は頭早い動き、通常は２つの固視の間に起こる。（３）滑らかな追跡 − 眼が移動オブジェクトの近くを追いかける。図２は、いくつかの場所３０２，３０４，３０６及び対応する時点ｔ１，ｔ２，・・・ｔＮにおける経路に沿って移動するオブジェクト（自動車）の滑らかな追跡を示す。人間の視覚システムは、本能的に又は反射的に移動オブジェクトを追跡する。

【0012】

いくつかの実施形態では、シーンフェイシングカメラによって提供される視野は、特徴的な移動オブジェクトについて調査され、関連する眼の滑らかな追跡動作は、アイトラッキングカメラによって捕捉される。オブジェクト動作と滑らかな追跡動作との間の適合が、十分な程度の信頼度で認められると、適合するデータはシステムデータベースに登録されるか又は記憶される。その後、後述するように、このデータに基づいてキャリブレーションパラメータを計算することができる。

【0013】

図４は、本開示に一致する例示的な実施形態のブロック図４００を示す。注視推定モジュール４０４と、シーン解析モジュール４０６と、オブジェクト軌跡適合モジュール４０８と、キャリブレーションモジュール４１０と、を含むようにアイトラッキングキャリブレーションシステムが示されている。

【0014】

注視推定モジュール４０４は、アイトラッキングカメラ１０６から画像を受信し、それらの画像に基づいてユーザの眼１０８の注視角度を一期間にわたって複数の点で推定するように構成され得る。注視角度は、光軸２０８に対応し、アイトラッキングの分野で知られている任意の適切な技術を使用して推定することができる。各注視角点は、時間タグと関連付けられてもよい。

【0015】

シーン解析モジュール４０６は、シーンフェイシングカメラから受信したビデオストリームを解析して移動オブジェクトを検出し、それらのオブジェクトの角度位置を、一定時間にわたって多数の点で推定するように構成され得る。各オブジェクトポイントは、タイムタグと関連付けられてもよい。オブジェクト検出及び認識は、テンプレート適合、オプティカルフロートラッキング、背景セグメンテーション、スケール不変特徴変換（ＳＩＦＴ）適合、パーティクルフィルタリング、及び／又はポジティブネガティブトラッキングのうちの１つ又は複数を使用して実行することができる。

【0016】

オブジェクト動作検出器は、以下の基準のうちの１つ又は複数に従ってアイトラッキングキャリブレーションに適していないオブジェクトを拒否するように構成されてもよい。
（ａ）オブジェクト視覚サイズ − 大きなオブジェクトは、ユーザ視点に関する不確実性を増加させる可能性がある。
（ｂ）オブジェクト視覚速度 − 滑らかな追跡速度は、通常、最大約３０度／秒に制限される。
（ｃ）オブジェクト動作 − 比較的小さなオブジェクト動作は、固視か衝動性運動か区別がつかない場合がある。
（ｄ）オブジェクト自己閉塞（ｓｅｌｆ−ｏｃｃｌｕｓｉｏｎ） − 閉塞したオブジェクト（例えば、自身の軸の周りの回転）は、オブジェクトの本体の全体的動作と矛盾する注視パターンを生成することがある。
（ｅ）オブジェクトコントラスト − コントラストが比較的低いオブジェクトは、ユーザの注視点に関する不確実性を増加させる可能性がある。
（ｆ）オブジェクトの識別性 − 多くのオブジェクトが同様のパターンで動作する場合、その動作は、どのオブジェクトをユーザの視線がトラッキングしているかに関して不確実性を増大させる可能性がある。

【0017】

さらに、いくつかの実施形態では、慣性センサを使用して、シーンフェイシングカメラの動作をワールド座標で測定することができる。カメラと共に移動する（すなわち、現実世界で動いていない）と判定されたオブジェクトは、拒絶され得る。

【0018】

オブジェクト軌跡適合モジュール４０８は、オブジェクト動作データを注視データと適合させるように構成されてもよい。オブジェクト動作点は、ユーザのアイ座標系の光線に変換される。これは、オブジェクトとシーンフェイシングカメラとの間の距離が、ウェアラブル装置において数センチメートルに過ぎない、カメラと眼との間の距離と比較して比較的大きいという仮定に基づくであろう。代替的に、いくつかの実施形態では、オブジェクトとシーンフェイシングカメラとの間の距離を推定するために、深さ又は距離センシング装置を使用することができる。例えば、ステレオカメラをこの目的のために使用することができる。

【0019】

この時点で、オブジェクト軌跡適合モジュール４０８は、オブジェクト座標［θ_ｉ，φ_ｉ、ｔ_ｉ］_Ｏｂｊ及び視線座標［θ_ｉ＋θ_０，φ_ｉ＋φ_０、ｔ_ｉ＋ｔ_０］_Ｅｙｅを備え、ここで、θ_０及びφ_０はキャリブレーション角度（Ｋａｐｐａ）であり、ｔ_０は２つのカメラ間のクロックサンプリング時間差を表す。再サンプリングを実行すると、オブジェクト座標及び視線座標を共通の時間座標系ｔ_ｉにし、ｔ_０のオフセット項を除去することができる。そして、キャリブレーション角度θ_０及びφ_０が最小になった、適合したオブジェクト座標と視線座標との間で距離測定値を計算することができる。

【数1】

【0020】

いくつかの実施形態では、距離測定値は、ユークリッドノルム、すなわち、

【数2】

である。換言すると、キャリブレーション角度θ_０、φ_０に基づいて、オブジェクト角度位置と注視方向との間の距離の合計が最小化される。一般に、これは２自由度（θ_０，φ_０）の非線形最小化問題である。最小化は、例えばニュートン・ガウスアルゴリズム又はレーベンバーグ・マーカードアルゴリズムのような一般的な数値最適化技術によって実行することができる。

【0021】

いくつかの実施形態では、角膜曲率半径（Ｒ）及び瞳平面と角膜曲率中心（ｄ）との間の距離を含むように、追加のキャリブレーションパラメータを推定することができる。これらの実施形態では、距離測定値最小化計算は、以下のようにＲ及びｄを含む。

【数3】

ここで注視角度とキャリブレーションパラメータＲ、ｄとの間の関数関係は、既知の方法によってアイトラッキング装置の幾何学的形状から導き出すことができる。数値的最適化は、各パラメータに対して予め定義された制約を受けることができる。例えば、パラメータは、正常な解剖学的値の範囲内に限定されてもよい。

【0022】

測定された距離が閾値を超える場合、適合したデータは拒絶され得る。そうでなければ、適合したデータはキャリブレーションモジュール４１０に渡され得る。閾値は、適合が予め定義された統計的有意性レベルに達することを可能にするために、オブジェクトトラッキング及び注視トラッキングに関連するノイズを考慮する統計モデルによって計算される。本開示の実施形態は、ユーザが通常静止点である既知のオブジェクトを見ていると仮定する他の注視キャリブレーションシステムとは異なり、発生するとは限らない自発的なオブジェクトトラッキングに依存することが理解されよう。したがって、合否判定基準は、ユーザがシーン解析モジュール４０６によって検出されたオブジェクトを実際に注視しているかどうかを判定するのに有用である。

【0023】

キャリブレーションモジュール４１０は、検出され受け入れられた１つ又は複数の移動オブジェクトに対して、モジュール４０８によって提供されるように、適合したオブジェクト動作データ及び注視データを収集するように構成されてもよい。複数の移動オブジェクトの検出と適合は、ここで説明されるようにキャリブレーションプロセスを改良することが期待される。

【0024】

キャリブレーションモジュール４１０は、オブジェクトの動作の全空間範囲を解析し、その範囲が許容可能なキャリブレーション品質を達成するのに十分であるかどうかを決定するように構成されてもよい。いくつかの実施形態では、決定基準は、予め定義された閾値に達するか又はそれを超える注視点の極値に基づくことができる。例えば、

【数4】

【0025】

オブジェクト動作データと注視データとの集合は、オブジェクト動作データと注視データとの間の距離測定値が、キャリブレーション角度θ_０とφ_０に依存して最小化されるように、受け入れられたオブジェクトのすべてにわたって最適化され得る。

【数5】

結果としてキャリブレーションパラメータを生成する。同様に、追加のキャリブレーションパラメータＲ、Ｄが推定される実施形態では、この数値最適化は次のように表すことができる。

【数6】

【0026】

図５は、本開示と一致する例示的な実施形態の工程５００のフローチャートを示す。工程は、アイトラッキングシステムの改良されたキャリブレーションのための方法を提供する。工程５１０において、シーンフェイシングカメラからビデオストリームが受信される。工程５２０において、ビデオストリームは、移動オブジェクトを検出し、一期間にわたって移動オブジェクトの角度位置を推定するために解析される。工程５３０において、画像がアイトラッキングカメラから受信され、画像に基づいて一期間にわたってユーザの眼の注視角度が推定される。工程５４０において、各移動オブジェクトについて、第１距離測定値がオブジェクト角度位置と注視角度との間で計算される。動作５５０では、第１の距離測定値の距離測定閾値との比較に基づいて、キャリブレーションに使用するために、各移動オブジェクトを受け入れるか又は拒絶するかの決定が行われる。工程５６０において、第２の距離測定値の最小化に基づいてアイトラッキングキャリブレーション角度が推定される。第２の距離測定値は、受け入れられた移動オブジェクトの角度位置と注視角度との間で計算される。

【0027】

図６は、本開示と一致する一例示的実施形態のシステム図６００を示す。システム６００は、例えばスマートフォン、スマートタブレット、携帯情報端末（ＰＤＡ）、モバイルインターネットデバイス（ＭＩＤ）、コンバーチブルタブレット、ノートブック又はラップトップコンピュータ、若しくは他の任意の適した装置などの、モバイルプラットフォーム６１０又はコンピューティングデバイスであってもよい。しかしながら、ここで説明されるシステムの実施形態は、モバイルプラットフォームに限定されず、いくつかの実施形態では、システム６００は、ワークステーション又はデスクトップコンピュータであってもよいことが理解されよう。デバイスは、原則的に、例えば、タッチスクリーン、液晶ディスプレイ（ＬＣＤ）又は任意の他の適切なディスプレイタイプの表示要素６６０を介して、ユーザに様々なインタフェースを提示することができる。

【0028】

システム６００は、任意の数のプロセッサ６２０及びメモリ６３０を含むように示されている。いくつかの実施形態では、プロセッサ６２０は、任意の数のプロセッサコアとして実装されてもよい。プロセッサ（又はプロセッサコア）は、例えば、マイクロプロセッサ、埋め込みプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、グラフィックスプロセッサ（ＧＰＵ）、ネットワークプロセッサ、フィールドプログラマブルゲートアレイ、又はコードを実行するように構成された他のデバイスであり得る。プロセッサは、コアごとに複数のハードウェアスレッドコンテキスト（又は「論理プロセッサ」）を含むことができるという点で、マルチスレッドコアであってもよい。メモリ６３０は、プロセッサに結合されてもよい。メモリ６３０は、当業者に知られているか若しくは利用可能な多種多様なメモリ（メモリ階層及び／又はメモリキャッシュの様々な層を含む）のいずれかとすることができる。プロセッサ及びメモリは、１つ又は複数のユーザアプリケーション又は他のソフトウェアモジュールを格納、ホスト及び／又は実行するように構成されてもよいことが理解されよう。これらのアプリケーションは、例えば、任意のタイプの計算、通信、データ管理、データ記憶及び／又はユーザインターフェースタスクを含むことができるが、これらに限定されない。いくつかの実施形態では、これらのアプリケーションは、モバイルプラットフォーム６１０の任意の他のコンポーネントを使用するか、又は相互作用することができる。

【0029】

システム６００はまた、例えば、携帯電話通信、ワイヤレスフィデリティ（ＷｉＦｉ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、及び／又は近距離無線通信（ＮＦＣ）などの無線通信機能を含むことができるネットワークインターフェースモジュール６４０を含むように示される。無線通信は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉ−Ｆｉ及び携帯電話通信規格の、過去、現在及び未来のバージョンを含む、既存の又は未開発の通信規格に互換性があるか又は準拠することができる。

【0030】

システム６００はまた、例えばハード・ディスク・ドライブ（ＨＤＤ）又はソリッド・ステート・ドライブ（ＳＳＤ）などのストレージ・システム６５０を含むように示されている。

【0031】

システム６００はまた、プロセッサ６２０とシステム６００の他の要素又はシステム６００の外部の他の要素（図示せず）との間のデータ通信を可能にするか又は管理するように構成された入出力（ＩＯ）システム又はコントローラ６５０を含むように示される。

【0032】

システム６００は、前述したように改良されたアイトラッキングキャリブレーションを用いてアイトラッキング機能を提供するように構成された、アイトラッキングシステム１１０、アイトラッキングキャリブレーションシステム１０２、シーンフェイシングカメラ１０４及びアイトラッキングカメラ１０６を含むように示されている。

【0033】

いくつかの実施形態では、システム６００の様々なコンポーネントをシステムオンチップ（ＳｏＣ）アーキテクチャで組み合わせることができることが理解されよう。いくつかの実施形態では、コンポーネントは、ハードウェアコンポーネント、ファームウェアコンポーネント、ソフトウェアコンポーネント、若しくは、ハードウェア、ファームウェア又はソフトウェアの任意の適切な組み合わせであってもよい。

【0034】

ここで説明される方法の実施形態は、１つ又は複数のプロセッサによって実行されたときに方法を実行する命令を個々に又は組み合わせて格納した１つ又は複数の記憶媒体を含むシステムで実行することができる。ここで、プロセッサは、例えば、システムＣＰＵ（例えば、コアプロセッサ）及び／又はプログラム可能な回路を含むことができる。したがって、ここで説明される方法による工程は、例えば、いくつかの異なる物理的位置でストラクチャを処理するなど、複数の物理デバイスにわたって分散されることが意図される。また、当業者に理解されるように、方法の工程は、個別に又はサブコンビネーションで実行されることが意図されている。したがって、フローチャートの各々の工程の全てを実行する必要はなく、本開示は、当業者に理解されるように、そのような工程のすべてのサブコンビネーションが可能になることを明示的に意図する。

【0035】

記憶媒体は、任意のタイプの有形媒体を含むことができ、例えば、フロッピーディスク、光ディスク、読み出し専用コンパクトディスク（ＣＤ−ＲＯＭ）、書き換え可能コンパクトディスク（ＣＤ−ＲＷ）、デジタル多用途ディスク（ＤＶＤ）、及び、磁気光学ディスク、などを含む任意のタイプのディスクや、リードオンリーメモリ（ＲＯＭ）、ダイナミック及びスタティックＲＡＭのようなランダムアクセスメモリ（ＲＡＭ）、消去可能プログラマブルリードオンリーメモリ（ＥＰＲＯＭ）、電気消去可能プログラマブルリードオンリーメモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気又は光学カード、若しくは、任意のタイプの電子的命令の格納に適した媒体を含む半導体デバイスを含むことができる。

【0036】

ここに含まれる任意の実施形態で使用される「回路」は、例えば、プログラマブル回路によって実行される命令を格納する、単一の又は任意の組み合わせのハードウェア回路、プログラマブル回路、ステートマシン回路、及び／又はファームウェアを含みうる。アプリケーションは、ホストプロセッサ又は他のプログラマブル回路のようなプログラマブル回路で実行されるコード又は命令として具体化されてもよい。ここでの任意の実施形態で使用されるモジュールは、回路として具体化されてもよい。回路は、集積回路チップのような集積回路として具体化することができる。

【0037】

したがって、本開示は、アイトラッキングシステムの改良されたキャリブレーションのためのシステム、デバイス、方法、及びコンピュータ読み出し可能媒体を提供する。以下の実施例は、さらなる実施形態に関する。

【0038】

実施例１によれば、アイトラッキングキャリブレーションシステムが提供される。システムは、シーンフェイシングカメラからビデオストリームを受信し、ビデオストリームを解析して移動オブジェクトを検出し、一期間にわたって移動オブジェクトの角度位置を推定するように構成されたシーン解析モジュールを含むことができる。この実施例のシステムはまた、アイトラッキングカメラから画像を受信し、前記一期間にわたって画像に基づいてユーザの視線の注視角度を推定するように構成された注視推定モジュールを含むことができる。本実施例のシステムは、移動オブジェクトのそれぞれについて、オブジェクト角度位置と注視角度との間の第１の距離測定値を計算し、さらに、ャリブレーションに使用するために各前記移動オブジェクトを受け入れるか、第１の距離測定値の距離測定閾値との比較に基づいて決定するように構成された、オブジェクト軌跡適合モジュールをさらに含むことができる。本実施例のシステムは、受け入れられた移動オブジェクトの角度位置と注視角度との間で計算された第２の距離測定値の最小化に基づいてアイトラッキングキャリブレーション角度を推定するように構成されたキャリブレーションモジュールをさらに含むことができる。

【0039】

実施例２は、実施例１の主題を含むことができ、シーン解析モジュールは、テンプレート適合、オプティカルフロートラッキング、背景セグメンテーション、スケール不変特徴変換（ＳＩＦＴ）適合、パーティクルフィルタリング、及び／又はポジティブ‐ネガティブトラッキングに基づいて、オブジェクトを検出するようにさらに構成されている。

【0040】

実施例３は、実施例１及び２のいずれかの主題を含むことができ、シーン解析モジュールは、移動オブジェクトの視覚的サイズがサイズ閾値を超えることに基づいて移動オブジェクトを拒否するようにさらに構成される。

【0041】

実施例４は、実施例１乃至３のいずれかの主題を含むことができ、シーン解析モジュールは、移動オブジェクトの視覚速度が速度閾値を超えることに基づいて移動オブジェクトを拒否するようにさらに構成される。

【0042】

実施例５は、実施例１乃至４のいずれかの主題を含むことができ、シーン解析モジュールは、さらに、移動オブジェクトに関連付けられている注視角度の極値が移動範囲を超えないという決定に基づいて、移動オブジェクトを拒否するようにさらに構成される。

【0043】

実施例６は、実施例１乃至５のいずれかの主題を含むことができ、さらに、シーンフェイシングカメラの動きをトラッキングするように構成された慣性センサを含み、シーン解析モジュールが、オブジェクトの動作とシーンフェイシングカメラの動作との相関に基づいて移動オブジェクトをさらに拒否する。

【0044】

実施例７は、実施例１乃至６のいずれかの主題を含むことができ、最小化は、ニュートン・ガウスアルゴリズム又はレーベンバーグ・マーカートアルゴリズムに基づく。

【0045】

実施例８は、実施例１乃至７のいずれかの主題を含むことができ、移動オブジェクトの位置をワールド座標系からアイ座標系に変換するために、移動オブジェクトとシーンフェイシングカメラとの間の距離を推定するように構成された深さ測定装置をさらに含む。

【0046】

実施例９は、実施例１乃至８のいずれかの主題を含むことができ、オブジェクト軌跡適合モジュールは、推定されたオブジェクト角度位置及び推定された注視角度を共通の時間座標系に再サンプリングするようにさらに構成される。

【0047】

実施例１０によれば、アイトラッキングキャリブレーションのための方法が提供される。この方法は、シーンフェイシングカメラからビデオストリームを受信するステップと、移動オブジェクトを検出するためにビデオストリームを解析するステップ及び一期間にわたって移動オブジェクトの角度位置を推定するステップと、アイトラッキングカメラから画像を受信するステップ及びその画像に基づいてユーザの眼の注視角度を前記一期間にわたって推定するステップと、各移動オブジェクトに対して、オブジェクト角度位置と注視角度との間の第１距離測定値を計算するステップと、キャリブレーションに使用するために各移動オブジェクトを受け入れるか、第１距離測定値と距離測定閾値との比較に基づいて、決定するステップと、第２の距離測定値は、受け入れられた移動オブジェクトの角度位置と注視角度との間で計算され、第２の測定値の最小化に基づいてアイトラッキングキャリブレーション角度を推定する、ステップと、を含む。

【0048】

実施例１１は、実施例１０の主題を含み、さらに、テンプレート適合、オプティカルフロートラッキング、背景セグメンテーション、スケール不変特徴変換（ＳＩＦＴ）適合、パーティクルフィルタリング及び／又はポジティブ‐ネガティブトラッキングに基づいて移動オブジェクトを検出するステップを含む。

【0049】

実施例１２は、実施例１０及び１１のいずれかの主題を含み、移動オブジェクトの視覚的サイズがサイズ閾値を超えることに基づいて移動オブジェクトを拒否するステップをさらに含む。

【0050】

実施例１３は、実施例１０乃至１２のいずれかの主題を含み、移動オブジェクトの視覚速度が速度閾値を超えることに基づいて移動オブジェクトを拒否するステップをさらに含む。

【0051】

実施例１４は、実施例１０乃至１３のいずれかの主題を含むことができ、さらに、移動オブジェクトに関連する注視角度の極値が移動閾値の範囲を超えないという決定に基づいて移動オブジェクトを拒否するステップを含む。

【0052】

実施例１５は、実施例１０乃至１４のいずれかの主題を含み、さらに、シーンフェイシングカメラの動作をトラッキングするステップと、オブジェクトの動作とシーンフェイシングカメラの動作との相関に基づいて移動オブジェクトを拒否するステップとを含む。

【0053】

実施例１６は、実施例１０乃至１５のいずれかの主題を含むことができ、最小化は、ニュートン・ガウスアルゴリズム又はレーベンバーグ・マルカートアルゴリズムに基づく。

【0054】

実施例１７は、実施例１０乃至１６のいずれかの主題を含み、移動オブジェクトの位置をワールド座標系からアイ座標系に変換するために、移動オブジェクトとシーンフェイシングカメラとの間の距離を推定するステップをさらに含む。

【0055】

実施例１８は、実施例１０乃至１７のいずれかの主題を含むことができ、さらに、推定対象物角度位置及び推定視線角度を共通の時間座標系に再サンプリングするステップを含む。

【0056】

実施例１９によれば、プロセッサによって実行されたときに、実施例１０乃至１８のいずれか１つに記載の方法を実行するための工程をもたらす命令が格納された、少なくとも１つのコンピュータ読み取り可能記憶媒体が提供される。

【0057】

実施例２０によれば、アイトラッキングキャリブレーションのためのシステムが提供される。システムは、シーンフェイシングカメラからビデオストリームを受信する手段と、移動オブジェクトを検出するためにビデオストリームを解析し、一期間にわたって移動オブジェクトの角度位置を推定する手段と、アイトラッキングカメラから画像を受信し、その画像に基づいてユーザの眼の注視角度を前記一期間にわたって推定する手段と、各移動オブジェクトに対して、オブジェクト角度位置と注視角度との間の第１距離測定値を計算するための手段と、キャリブレーションに使用するために各移動オブジェクトを受け入れるか、第１の距離測定値と距離測定閾値との比較に基づいて決定する手段と、受け入れられた移動オブジェクトの角度位置と注視角度との間で計算された第２の距離測定値の最小化に基づいてアイトラッキングキャリブレーション角度を推定する手段とを含む。

【0058】

実施例２１は、実施例２０の主題を含み、さらに、テンプレート適合、オプティカルフロートラッキング、背景セグメンテーション、スケール不変特徴変換（ＳＩＦＴ）適合、パーティクルフィルタリング及び／又はポジティブ‐ネガティブトラッキングに基づいて移動オブジェクトを検出する手段を含む。

【0059】

実施例２２は、実施例２０及び２１のいずれかの主題を含むことができ、移動オブジェクトの視覚的サイズがサイズ閾値を超えることに基づいて移動オブジェクトを拒絶する手段をさらに含む。

【0060】

実施例２３は、実施例２０乃至２２のいずれかの主題を含み、移動オブジェクトの視覚速度が速度閾値を超えることに基づいて移動オブジェクトを拒絶する手段をさらに含む。

【0061】

実施例２４は、実施例２０乃至２３のいずれかの主題を含み、さらに、移動オブジェクトに関連付けられている注視角度の極値が動作閾値の範囲を超えないという決定に基づいて、移動オブジェクトを拒絶する手段を含む。

【0062】

実施例２５は、実施例２０乃至２４のいずれかの主題を含むことができ、シーンフェイシングカメラの動作をトラッキングし、オブジェクトの動作のシーンフェイシングカメラの動作との相関に基づいて移動オブジェクトを拒否する手段をさらに含む。

【0063】

実施例２６は、実施例２０乃至２５のいずれかの主題を含むことができ、最小化は、ニュートン・ガウスアルゴリズム又はレーヴェンベルグ・マルカートアルゴリズムに基づく。

【0064】

実施例２７は、実施例２０乃至２６のいずれかの主題を含むことができ、さらに、移動オブジェクトの位置をワールド座標系からアイ座標系に変換するために、移動オブジェクトとシーンフェイシングカメラとの間の距離を推定する手段を含む。

【0065】

実施例２８は、実施例２０乃至２７のいずれかの主題を含むことができ、さらに、推定されたオブジェクト角度位置及び推定された注視角度を共通の時間座標系に再サンプリングする手段を含む。

【0066】

本明細書で使用される用語及び表現は、限定ではなく説明の用語として使用され、そのような用語及び表現の使用において、示され、説明された特徴（又はその一部）のいかなる均等物も除外する意図はなく、特許請求の範囲内において種々の変更が可能であることが認識される。したがって、特許請求の範囲は、そのような均等物のすべてをカバーすることを意図している。様々な特徴、態様、及び実施形態を本明細書で説明してきた。特徴、態様、及び実施形態は、当業者に理解されるように、互いの組み合わせ、ならびに変形及び変更を受け入れる余地がある。したがって、本開示は、そのような組み合わせ、変形、及び変更を包含するものと考えられるべきである。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】