特表 2022-546746 視線方向の決定

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-11-07

(54)【発明の名称】視線方向の決定

(51)【国際特許分類】

   G06T 7/70 20170101AFI20221028BHJP

   G06T 7/00 20170101ALI20221028BHJP

【ＦＩ】

G06T7/70 B

G06T7/00 660A

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022515093

(86)(22)【出願日】2020-09-03

(85)【翻訳文提出日】2022-04-20

(86)【国際出願番号】 EP2020074655

(87)【国際公開番号】W WO2021043931

(87)【国際公開日】2021-03-11

(31)【優先権主張番号】19195512.9

(32)【優先日】2019-09-05

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】522087707

【氏名又は名称】スマート、アイ、アクチボラグ

【氏名又は名称原語表記】ＳＭＡＲＴ ＥＹＥ ＡＢ

(74)【代理人】

【識別番号】100091487

【弁理士】

【氏名又は名称】中村 行孝

(74)【代理人】

【識別番号】100120031

【弁理士】

【氏名又は名称】宮嶋 学

(74)【代理人】

【識別番号】100107582

【弁理士】

【氏名又は名称】関根 毅

(74)【代理人】

【識別番号】100118843

【弁理士】

【氏名又は名称】赤岡 明

(72)【発明者】

【氏名】トシュテン、ビルヘルム

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096BA04

5L096CA17

5L096EA39

5L096FA33

5L096FA67

5L096FA69

5L096GA53

5L096GA55

5L096HA05

5L096JA11

5L096KA09

(57)【要約】

ユーザーの視線方向を推定する方法であって、ユーザーの顔の画像を取得すること（Ｓ３）と、現在の頭部姿勢と、頭部姿勢と視線方向との関係と関係に基づいて、近似的な視線方向（５６）を決定すること（Ｓ５）と、識別された目の特徴量に基づいて、推定視線方向（５７）を決定すること（Ｓ７）と、輝きの位置および目の特徴量に基づいて、精密な視線方向（５８）を決定すること（Ｓ８）と、近似的な視線方向と、推定視線方向および精密な視線方向の少なくとも１つとを組み合わせ（Ｓ１０）、修正された視線方向（５９）を提供することと、を含む、ユーザーの視線方向を推定する方法。

【特許請求の範囲】

【請求項1】

ユーザーの視線方向を推定する方法であって、
前記ユーザーの顔の画像を取得すること（Ｓ３）と、
前記画像に基づいて現在の頭部姿勢を決定し（Ｓ４）、集団ベースの頭部姿勢と視線方向との関係を格納するデータベースにアクセスし、前記現在の頭部姿勢および前記関係に基づいて、近似的な視線方向（５６）を決定すること（Ｓ５）と、
前記画像中の目の特徴量のセットを識別し（Ｓ６）、前記目の特徴量に基づいて、推定視線方向（５７）を決定すること（Ｓ７）と、
前記画像中の目の特徴量のセットおよび目の輝きを識別し、前記輝きの位置および前記目の特徴量に基づいて、精密な視線方向（５８）を決定すること（Ｓ８）と、
前記近似的な視線方向と、前記推定視線方向および前記精密な視線方向の少なくとも１つとを組み合わせ（Ｓ１０）、修正された視線方向（５９）を提供することと
を含む、ユーザーの視線方向を推定する方法。

【請求項2】

前記近似的な視線方向と、前記推定視線方向および前記精密な視線方向の少なくとも１つとは、適応フィルタを用いて重み付けされる、請求項１に記載の方法。

【請求項3】

前記近似的な視線方向、前記推定視線方向および前記精密な視線方向の相対的な重みは、前記近似的な視線方向、前記推定視線方向および前記精密な視線方向のそれぞれの標準偏差によって、適応的に調整される、請求項２に記載の方法。

【請求項4】

求められた前記視線方向のそれぞれの標準偏差の近似値は、ヨー角（４３）の関数として表される、請求項３に記載の方法。

【請求項5】

前記フィルタはカルマンフィルタ（５５）である、請求項４に記載の方法。

【請求項6】

前記画像を取得する間に、前記ユーザーの前記顔を照らすことをさらに含む、請求項１～５のいずれか一項に記載の方法。

【請求項7】

前記集団ベースの関係を、オンライン較正を用いて特定のユーザー向けに調整することさらに含む、請求項１～６のいずれか一項に記載の方法。

【請求項8】

前記オンライン較正は、ビューパターンについての統計的な情報に基づく、請求項７に記載の方法。

【請求項9】

前記集団ベースの関係は、球座標系の２つの次元、例えばヨー角座標とピッチ角座標（４２，４３）において表される、請求項１～８のいずれか一項に記載の方法。

【請求項10】

ユーザーの視線方向を推定するシステムであって、
前記ユーザーの顔の画像を取得するための画像センサー（１０）と、
処理回路（１５）であって、
取得された画像に基づいて現在の頭部姿勢を決定し、集団ベースの頭部姿勢と視線方向との関係を格納するデータベースにアクセスし、前記現在の頭部姿勢および前記関係に基づいて、近似的な視線方向（５６）を決定し、
前記画像中の目の特徴量のセットを識別し、前記目の特徴量に基づいて、推定視線方向（５７）を決定し、
前記画像中の目の特徴量のセットおよび目の輝きを識別し、前記輝きの位置および前記目の特徴量に基づいて、正確な視線方向（５８）を決定し、
前記近似的な視線方向と、前記推定視線方向および前記精密な視線方向の少なくとも１つとを組み合わせ、修正された視線方向を提供する
ように構成される、処理回路と
を備える、ユーザーの視線方向を推定するシステム。

【請求項11】

前記画像を取得する間に前記ユーザーの前記顔を照らすための１つまたは複数の光源（１２ａ，１２ｂ）をさらに備える、請求項１０に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、一般的には、視線追跡の分野、すなわちユーザーの画像を用いてユーザーの目を検出して監視することに関する。特に、本発明は、ユーザーの視線の方向、すなわちユーザーが現在どこを見ているかを決定して追跡することに関する。

【背景技術】

【0002】

ユーザーの視線の方向は、ユーザーの顔を取得した画像から、はじめに（室内座標系における）頭部姿勢（head pose）を決定し、次に（頭部座標系における）目の姿勢（eye pose）を決定することにより、決定することができる。目の姿勢は、頭部に対する虹彩の位置に基づいて決定することができる。このタイプの視線方向検出は、時として「推定視線検出（estimated gaze detection）」とも呼ばれる。

【0003】

さらに正確な視線方向が必要とされる場合には、画像を取得する間、顔を（例えば、紫外線によって）照射してもよく、これにより、取得された画像が目の角膜中の反射（輝き）を含むようになる。光源と画像センサーとの間の既知の幾何学的関係を使って、視線方向の決定をより正確にするために、この輝きを用いることができる。このタイプの視線方向検出は、時として「精密な視線検出（precise gaze detection）」とも呼ばれる。

【0004】

両方のタイプの視線検出は、ノイズおよびドリフトの影響を受け、通常は何らかのオンライン較正が必要となる。ユーザーが見ていると予想される箇所の統計的解析に基づく較正を含む様々な方法が提案されている。特に、車両のインプリメンテーションでは、ユーザーは通常、リアビューミラーやダッシュボードコントロール等の少数の容易に識別可能な物体を見るため、このアプローチが適していることが分かっている。

【0005】

依然として、さらに良好な較正技術への要求が存在する。加えて、上記で論じた視線方向検出方法（推定視線および精密視線）はともに、画像中に瞳が捉えられるようにするために、ユーザーが画像センサーの方を向いていることを必要とする。画像中に目が存在しない場合においても、視線方向の推定を提供することが望まれる。

【0006】

先行技術は、この問題について簡潔に言及しており、さらにより簡潔に解決策を提供している。国際公開第２０１８／００２０００号は、例えば、頭部姿勢のみに基づく、すなわちユーザーが顔を向けている箇所のみに基づく、非常に近似的な視線検出（approximate gaze detection）の基礎について論じている。国際公開第２０１８／００２０００号では、視線の方向は、ユーザーの顔の平面に垂直であるとして近似されている。国際公開第２０１９／１４７６０７号は、視線検出のニューラルネットワークに基づくアプローチを開示しており、目を含まない画像からでも視線を検出することができる。

【発明の概要】

【発明が解決しようとする課題】

【0007】

本発明の目的は、上記の問題を軽減し、改善された視線推定を提供することである。

【課題を解決するための手段】

【0008】

本発明の第１の態様によれば、この目的および他の目的は、ユーザーの視線方向を推定する方法であって、ユーザーの顔の画像を取得することと、画像に基づいて現在の頭部姿勢を決定し、集団ベースの頭部姿勢と視線方向との関係を格納するデータベースにアクセスし、現在の頭部姿勢および前記関係に基づいて、近似的な視線方向を決定することと、画像中の目の特徴量のセットを識別し、目の特徴量に基づいて、推定視線方向を決定することと、画像中の目の特徴量のセットおよび目の中の輝きを識別し、輝きの位置および目の特徴量に基づいて、精密な視線方向を決定することと、１）近似的な視線方向と、２）推定視線方向および３）精密な視線方向の少なくとも１つとを、適応フィルタを用いて重み付けして、それによって、修正された視線方向を提供することと、を含む方法によって達成される。

【0009】

本発明は、頭部姿勢のみに基づく目の視線近似が十分に正確になるためには追加の情報を必要とする、という認識に基づいている。視線方向が顔の平面に垂直であると仮定するのは全く十分ではない。

【0010】

さらに、本発明は、動かないユーザー（例えば、車のドライバー、あるいはコンピュータのユーザー、しかしながら一般的には、同じ場所にとどまっており、彼／彼女の頭部のみを動かす任意のユーザー）について、特定の頭部姿勢と関連する視線方向との間の関係は、実際のところ、集団内において驚くほど一定である、という認識に基づいている。したがって、そのような関係についてのデータベースを生成し、それ（例えば、ルックアップテーブル）を用いることにより、所与の頭部姿勢についての近似的な視線方向を決定することが可能である。

【0011】

識別された目の特徴量を用いて取得される推定視線方向は、頭部姿勢のみに基づく近似的な視線方向よりも正確である。しかしながら、目の特徴量の識別がより困難で不確かになると（すなわち、光軸から遠く離れると）、推定視線方向もまたより不確か（大きな標準偏差）になる。

【0012】

目の中の１つまたは複数の輝きを用いて取得される精密な視線方向は、目の特徴量のみに基づく推定視線方向よりもさらに正確である。しかしながら、輝きの識別がより困難で不確かになると（すなわち、光軸から遠く離れると）、精密な視線方向もまたより不確か（大きな標準偏差）になる。光軸から特定の距離においては、目の中の輝きを識別することはもはや不可能となり、精密な視線方向は失われる。

【0013】

本発明によれば、推定視線方向、および／または、精密な視線方向は、近似的な（頭部姿勢に基づく）視線方向と組み合わされて、修正された視線方向が提供される。例えば、近似的な視線方向と、推定視線方向および精密な視線方向の少なくとも１つとが、カルマンフィルタのような適切な適応フィルタを用いて重み付けされ、それによって、修正された視線方向が提供される。

【0014】

カルマンフィルタ（または類似のフィルタ）は、異なる視線方向の相対的な重みが、これらの視線方向の不確かさ（例えば、標準偏差）に基づいて、適応的に調整されることを保証することができる。例えば、精密な視線方向が安定している（例えば、小さな標準偏差）の場合には、頭部姿勢に基づく近似に対して、大きな重みを付与する必要はない。反対に、推定視線方向および精密な視線方向が不確か（大きな標準偏差）の場合には、頭部姿勢に基づく近似は、より大きな重みを得ることができる。

【0015】

光軸に近い精密な視線方向は通常、小さな標準偏差を有するが、この標準偏差は光軸からの距離（頭部またはヨー角）とともに増加することに注意されたい。推定視線方向は、光軸に近い精密な視線方向よりも大きな標準偏差を有するが、その標準偏差は精密な視線方向ほど急速には増加しない。これに対して、（頭部姿勢に基づく）近似的な視線は、大きいがより一定の頭部の角度に無関係な標準偏差を有する。

【0016】

これに基づいて、決定された各視線方向のそれぞれの標準偏差の近似値は、頭部の角度の関数として表すことができる。換言すれば、ユーザーが光軸から離れた方向を向くにつれて、精密な視線（および推定視線）はより小さな重みを有するようになり、近似的な視線はより大きな重みを有するようになる。

【0017】

さらに、ノイズおよびその他の欠陥は、精密な視線方向、および／または、推定視線方向の正確な決定を時として妨げることがある。また、これらの状況では、近似的な視線方向はより大きな重みを与えられてもよく、修正された視線方向が失われず、少なくとも近似的には正確であることを保証する。

【0018】

（頭部姿勢－＞視線方向）の関係は集団内においてかなり一定であるため、ユーザーに特化したデータが無くても、満足のいく近似が生成される。しかしながら、ユーザーに特化した情報が用いられれば、近似の質は著しく向上する。したがって、１つの実施形態では、集団ベースの関係が特定のユーザー向けに調整される。例えば、ビューパターンについての統計的な情報に基づくオンライン較正が用いられる。そのような統計的な較正は、ほとんどの時間において運転者の視線方向がかなり少数の所定の方向に制限される車両環境において、特に利用しやすい。

【0019】

上記の関係は、６つの自由度のすべてで表現することができ、すなわち、位置および向きを含む完全な頭部姿勢を入力として、近似的な視線方向を返す。しかしながら、上記の関係がより少ない自由度を含むように単純化する方が有利である。例えば、上記の関係は、２つの自由度のみ、例えば、２つの角座標（ヨー／頭部角およびピッチ角）を有する球座標系を用いて、表すことができる。この場合には、頭部の位置の情報は、格納されている関係を調整するために用いられる。

【0020】

本発明は、発明の好ましい実施形態を示す添付の図面を参照して、より詳細に説明される。

【図面の簡単な説明】

【0021】

【図1】車両のダッシュボード上に搭載される視線追跡システムを図式的に示す図である。

【図2a】図１の視線追跡システムの詳細を示す図である。

【図2b】図２ａにおけるカメラと光源との相対的な位置の一例を示す図である。

【図3】本発明の実施形態に係る方法のフローチャートである。

【図4】ユーザーの顔を中心とする球座標系の図である。

【図5】本発明の実施形態のブロック図である。

【発明を実施するための形態】

【0022】

以降では、本発明の実施形態を車両の視線追跡システムの文脈で説明する。本発明のその他の実装も同様に可能であることに注意されたい。

【0023】

図１は、車両３の運転席２に座っている運転者１を示している。視線検出システム４は、運転者１の前、ここではダッシュボード５上に取り付けられている。代替的には、視線検出システム４は、ステアリングホイールコラム６に取り付けられてもよく、あるいは天井７に固定されてもよい。どのように取り付けられるかとは無関係に、視線追跡システム４は、運転者１の頭部８および目９がはっきりと見えるべきである。視線検出システム４は通常、運転者１からの距離ｄ１が４０ｃｍから１２０ｃｍの範囲、より典型的には「腕の長さ」、すなわち約６０－７０ｃｍの範囲に配置される。

【0024】

図２ａを参照すると、図示されている例における視線追跡システム４は、適切な光学系１１が設けられた画像センサー１０、例えばＣＭＯＳ画像センサーを含んでいる。図示のシステム４はさらに、通常は赤外（ＩＲ）または近赤外（ＮＩＲ）のような可視範囲外の光を発するように構成される２つの光源１２を含んでいる。光源１２は、ＬＥＤのような固体光源であってもよい。図示されている例では、光源１２は、約８５０または９４０ｎｍ（ＮＩＲ）を中心とする５０ｎｍ帯域に集中する光スペクトルの光を発するように構成されたＬＥＤである。

【0025】

図２ａでは、光源１２は、画像センサー１０の両側に直線に沿って配置されている。「暗瞳（dark-pupil）」処理を採用するために、各光源と画像センサー１０との間に十分な距離が必要となる。装置の水平寸法、すなわち光源間の距離ｄ２を増加させることが望ましくない場合には、図２ｂに示されるように、光源１２と画像センサー１０との間を垂直距離ｄ３だけ離すことが好都合である。換言すれば、光源と画像センサーとはもはや直線上には存在しない。

【0026】

図２ａに戻って、画像センサー１０にはさらに、光学バンドパスフィルタ１３、例えば干渉フィルタが設けられている。フィルタ１３は、光源１２ａ、１２ｂの発光スペクトルに実質的に対応する通過帯域を有するように構成されていてもよい。そのため、上記の例では、フィルタ１３は、約８２５－８７５ｎｍ、または９１５－９６５ｎｍの通過帯域を有するべきである。狭帯域の照明と狭通過帯域のフィルタリングとの組み合わせにより、画像取得システムは、例えば太陽光のような周囲光の影響を受けづらくなる。

【0027】

画像取得コントローラ１４（これ以降は、簡潔にするために「コントローラ」と呼ばれる）は、画像センサー１０および光源１２ａ、１２ｂに接続されており、画像センサー１０を制御して光源１２ａ、１２ｂの照明下で画像を取得するようにプログラムされている。通常は、エネルギーと電力消費を節約するために、光源１２ａ、１２ｂは、画像センサーの電気シャッターが開いた時にのみ光を発するように制御される。光源１２ａ、１２ｂは、交互に駆動されてもよく（異なる光源によって照射されて取得される連続した画像フレーム）、あるいは各画像フレームに対して両方駆動されてもよい。交互の照明を用いることにより、欧州特許１，３４９，４８７号で開示されているように、（例えば、ガラスからの）妨害反射（disturbing reflexes）が抑えられる。

【0028】

実際の例としては、光源１２ａ、１２ｂはパルスによってトリガされ、当該パルスは１つの画像フレームを取得するのに十分な照明を提供するように選択されたデューティサイクルを有する。上述したように、各フレームについて、いずれか一方または両方の光源１２ａ、１２ｂが駆動されてもよい。好ましくは、光源１２ａ、１２ｂはパルス信号によって制御され、当該パルス信号は、そのパルス幅が画像センサー１０によって１つの画像を取得するのに必要な期間に対応することを保証するようなデューティサイクルを有する。そして、画像センサー１０は、このパルス信号に同期される。

【0029】

視線追跡システム１４はさらに処理回路１５を備えており、処理回路１５は、画像センサー１０によって取得された画像を受信し、これらの画像を処理するように構成されている。処理回路１５は、コントローラ１５に統合されてもよいし、コントローラ１５から分離されてもよい。システムはまた、ＲＡＭメモリーのようなメモリーを有しており、例えば、処理回路１５によって実行されるソフトウェアを格納する。

【0030】

使用時には、視線追跡システム４は、ユーザー１の顔９のターゲット領域の画像を取得するように配置される。処理回路１５は、様々な情報を取得するために、センサー１０からの画像を用いてユーザーの頭の位置および目の動きを追跡するように構成されている。特に、ここでは処理回路１５は、ユーザーの視線の方向を取得するようにプログラムされている。

【0031】

取得された画像に基づいて、頭部姿勢、すなわち空間内の頭部座標系（head coordinate system）２０における位置および向きを決定し、相対的な目の姿勢、すなわち座標系２０に対する目の座標（eye coordinate system）２１における位置および向きを決定することにより、視線の方向を決定することができる。照明のない状態で、頭部に対する虹彩の位置に基づいて、目の姿勢を決定することができる。視線の方向を決定するこのアプローチは通常、「推定視線」と呼ばれる。

【0032】

また、光源１２ａ、１２ｂを用いて目の角膜中に反射（輝き）を発生させることにより、視線の方向を決定することもできる。画像センサーに対する光源の位置が既知であれば、輝きの位置は視線の方向の決定を可能にする。視線の方向を決定するこのアプローチは通常、「精密視線」と呼ばれる。いくつかの視線追跡システムは、２つまたはそれ以上の光源を有しており、それにより、種々の照明で画像を取得することができ、したがって種々の位置における輝きを取得するこができる。

【0033】

図３は、本発明の実施形態に係る方法を示している。はじめに、ステップＳ１において、視線追跡が実際に開始される前に、集団についての頭部姿勢と目の視線方向との間の関係が決定され、メモリー１６内のデータベースに格納される。そのような関係は、人々のサンプルからデータを集めることにより取得することができる。当該関係は、様々な方法で格納することができるが、実際的な例では、関係は、空間内の固定された頭部位置を仮定し、２つの自由度の頭部姿勢の向き（本質的には、鼻がどこを指し示しているか）と、対応する視線方向（すなわち、目がどこを見ているか）とを関連付ける。あるいは、異なる表現では、すべての頭部姿勢の向きについて、視線方向に到達する補正ベクトルが関連付けられる。

【0034】

実際の視線決定は、ユーザー１の頭部８および目９が照明された状態で、ステップＳ２から開始される。ステップＳ３において、目９を含む頭部８の画像が取得される。ステップＳ４において、それ自体は周知である処理によって識別された顔の特徴量に基づいて、ユーザーの頭部姿勢が決定される。

【0035】

決定された頭部姿勢を用いて、またメモリー１６に格納されている関係を用いて、ステップＳ５において、近似的な視線方向が決定される。いくつかの状況では、この非常に荒い視線方向の近似が、唯一の利用可能な近似となり得ることに注意されたい。

【0036】

図４は、原点４１がユーザー１の頭部の位置を表す球座標系を示しており、２つの軸４２、４３はピッチ角およびヨー／頭部角をそれぞれ表している。図４には、２つの異なる頭部姿勢の方向が矢印（ベクトル）４４および４５として示されている。メモリー１６内の関係は、各頭部位置の方向について補正ベクトル４６、４７を提供し、これらも図４に示されている。ベクトル４６、４７の終点は、それ故、頭部姿勢および事前に格納されている関係のみに基づく、近似的な視線を表している。

【0037】

次に、ステップＳ６において、虹彩の位置のような関連する目の特徴量が識別され、ステップＳ７における推定視線の決定が可能になる。図４では、ベクトル４８および４９は、組み合わされたベクトル４４、４６および４５、４７によって表される近似的な視線にそれぞれ対応する、推定視線を表している。

【0038】

続くステップＳ８において、輝き、すなわち目の角膜中における照明の反射が（可能であれば）識別され、ステップＳ９において、当該識別された輝きを用いて、精密な視線が決定される。図４では、ベクトル５０および５１は、組み合わされたベクトル４４、４６および４５、４７によって表される近似的な視線にそれぞれ対応する、精密な視線を表している。

【0039】

最後に、ステップＳ５、Ｓ７およびＳ９で決定された様々な視線方向、すなわち近似的な視線、推定視線および精密な視線を用いて、ステップＳ１０において、カルマンフィルタ（あるいは他の類似の適応重み付けフィルタ）を用いて、修正された視線方向が決定される。

【0040】

カルマンフィルタの動作の模式図が図５に示されている。フィルタ５５は、１つ、２つまたは３つの異なる視線方向、すなわち近似的な視線５６、（利用可能であれば）推定視線５７、および（これも利用可能であれば）精密な視線を入力として受け取る。

【0041】

また、フィルタ５０は、各視線方向について、個々の視線方向の標準偏差を表す変数値を受け取る。すなわち、近似的な視線のための１つの値、推定視線のための１つの値、および精密な視線のための１つの値である。１つの実施形態では、システムは、決定された視線方向のそれぞれについて、標準偏差の推定値を決定するように構成される。しかしながら、さらに実際的な例では、システムは、個々の視線方向の標準偏差はヨー／頭部角に相関するという仮定を設ける。この情報は、図５に示されるように、カルマンフィルタ５５に入力として提供されてもよい。

【0042】

図４に戻って、各視線方向の推定された標準偏差は、破線の円４６’、４７’、４８’、４９’および５０’によって表されている。円４８’は視線方向４８の標準偏差を表しており、他も同様である。

【0043】

軸４２の近くの左側には、ベクトル４４、４６と標準偏差４６’で表される、近似的な視線がある。対応する推定視線４８は、非常に小さい標準偏差４８’を有しており、対応する精密な視線５０は、さらに小さい標準偏差５０’を有している。これは、ユーザーの視線が中心軸４２（０に近いヨー／頭部角）の近くにあり、輝きが明瞭に識別可能であり、精密な視線が比較的信頼できる（小さい標準偏差）という状況に対応している。その結果、精密な視線は高い重みを与えられ、カルマンフィルタ５５からの出力は、精密な視線に非常に近くなる。

【0044】

しかしながら、ノイズまたは何らかの干渉（例えば、太陽光の突然のバースト）により、１つまたは複数のフレーム内で輝きが検出不能になると、カルマンフィルタ５５は、残る視線方向５６および５７に頼ることができ、これにより、比較的正確な出力５９を提供し続けることができる。

【0045】

ノイズまたは干渉は、精密な視線５８の突然のシフトを引き起こすこともある。そのような突然のシフトは、システムによって信頼不能な決定（大きい標準偏差）であると解釈されることができ、したがって、主に近似的な視線および推定視線５６、５７に基づいて、修正された視線を再び導出する。

【0046】

図４の右側を見ると、ベクトル４５、４７と標準偏差４７’によって表される近似的な視線がある。対応する推定視線４９は、類似の標準偏差４９’を有しており、対応する精密な視線５１もまた、類似の標準偏差５１’を有している。これは、ユーザーの視線が中心軸４２（０から遠いヨー／頭部角）から遠くにあり、推定視線の決定および精密視線の決定がともに正確性が低く、かつ信頼性も低い（大きい標準偏差）という状況に対応している。その結果、近似的な視線５６、推定視線５７および精密な視線５８は、カルマンフィルタ５５内で類似の重みを与えられ、修正された視線５９は、３つの入力５６、５７、５８のすべてに基づくものとなる。

【0047】

当業者は、本発明が上述した好ましい実施形態に決して限定されるものではないことを理解する。それどころか、多数の変形およびバリエーションが添付のクレームのスコープ内で可能である。特に、ここで開示された視線検出システムの詳細は、例としてのみ提供されるものであり、種々の方法によって決定された視線方向を組み合わせることを意図する本発明の応用を制限するものではない。さらに、種々の視線方向の重み付けは、必ずしも適応フィルタを必要とせず、またカルマンフィルタに代えて、種々の種類の適応フィルタを用いることができる。

【図1】

【図2a】

【図2b】

【図3】

【図4】

【図5】

【国際調査報告】