特開 2024-163050 イベントベースのセンサを使用した瞳孔検出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024163050

(43)【公開日】2024-11-21

(54)【発明の名称】イベントベースのセンサを使用した瞳孔検出

(51)【国際特許分類】

   A61B 3/113 20060101AFI20241114BHJP

【ＦＩ】

A61B3/113

【審査請求】未請求

【請求項の数】11

【出願形態】ＯＬ

【外国語出願】

(21)【出願番号】P 2024074535

(22)【出願日】2024-05-01

(31)【優先権主張番号】23315173

(32)【優先日】2023-05-09

(33)【優先権主張国・地域又は機関】EP

(71)【出願人】

【識別番号】520207608

【氏名又は名称】プロフェシー

【氏名又は名称原語表記】ＰＲＯＰＨＥＳＥＥ

【住所又は居所原語表記】７４ ｒｕｅ ｄｕ Ｆａｕｂｏｕｒｇ Ｓａｉｎｔ Ａｎｔｏｉｎｅ， ７５０１２ ＰＡＲＩＳ， ＦＲＡＮＣＥ

(74)【代理人】

【識別番号】100079108

【弁理士】

【氏名又は名称】稲葉 良幸

(74)【代理人】

【識別番号】100109346

【弁理士】

【氏名又は名称】大貫 敏史

(74)【代理人】

【識別番号】100117189

【弁理士】

【氏名又は名称】江口 昭彦

(74)【代理人】

【識別番号】100134120

【弁理士】

【氏名又は名称】内藤 和彦

(72)【発明者】

【氏名】ラゴルス，ザビエル

(72)【発明者】

【氏名】ヘーシグ，ジェルマン

(72)【発明者】

【氏名】ジューベル，ダミアン

(72)【発明者】

【氏名】フィナテュー，トーマス

【テーマコード（参考）】

4C316

【Ｆターム（参考）】

4C316AA06

4C316AA21

4C316FA19

4C316FC04

4C316FY05

4C316FY08

(57)【要約】      （修正有）

【課題】概して、瞳孔検出方法を使用したアイトラッキング技術に関する。
【解決手段】イベントベースの視覚センサを用いて眼の瞳孔を検出するための方法は、第１の光源（１２）を眼（１０）の方へ向けるステップと、イベントベースのセンサ（１４）を用いて眼を観察するステップと、センサを均一なバックグラウンド信号（１６）に断続的に供するステップと、を含む。バックグラウンド信号は、センサの方へ向けられた照明源１６によって生成され得る。
【選択図】図２

【特許請求の範囲】

【請求項1】

イベントベースの視覚センサを用いて眼の瞳孔を検出するための方法であって、
第１の光源（１２）を前記眼（１０）の方へ向けるステップと、
前記イベントベースのセンサ（１４）を用いて前記眼を観察するステップと、
前記センサを均一なバックグラウンド信号（１６）に断続的に供して、前記センサによって視認される全ての領域を、それらの輝度が同じステップで増加して見えるようにさせるステップと、を含む、方法。

【請求項2】

前記瞳孔について感知された相対輝度変化が前記眼の残りの部分について感知された相対輝度変化よりも大きくなるように、前記バックグラウンド信号（１６）のレベルを設定するステップと、
前記瞳孔の前記相対輝度変化がイベントをトリガし、前記眼の前記残りの部分の前記相対輝度変化がイベントをトリガしないように、前記センサの画素の検出閾値を設定するステップと、を含む、請求項１に記載の方法。

【請求項3】

前記眼が前記第１の光源で照明されるフェーズの間に、前記センサを前記バックグラウンド信号に供するステップを含む、請求項２に記載の方法。

【請求項4】

前記バックグラウンド信号と逆のフェーズで、前記眼を照明するステップを含む、請求項２に記載の方法。

【請求項5】

前記バックグラウンド信号が、イベントが前記センサによってトリガされるまで徐々に増加する、請求項１に記載の方法。

【請求項6】

前記バックグラウンド信号が、第２の光源（１６）を前記センサ（１４）の方へ向けることによって得られる、請求項１に記載の方法。

【請求項7】

前記バックグラウンド信号が、前記センサの均一な照明の効果を有する前記センサの画素回路内に加えられる電気信号である、請求項１に記載の方法。

【請求項8】

前記電気信号が、前記画素内で発生した光電流に加えられる定電流である、請求項７に記載の方法。

【請求項9】

前記センサにレンズが取り付けられており、前記第２の光源（１６）が、前記レンズによって部分的に反射された光が前記眼の瞳孔を通過するように配置されている、請求項６に記載の方法。

【請求項10】

前記第１の光源が、前記眼によって視認されるディスプレイデバイスである、請求項１に記載の方法。

【請求項11】

レンズが取り付けられた視覚センサを用いて眼の瞳孔を検出するための方法であって、
前記センサ（１４）を用いて前記眼を観察するステップと、
ｉ）前記センサが均一なバックグラウンド信号に供され、ｉｉ）前記レンズによって部分的に反射された光が前記眼の瞳孔を通過するように、光源（１６）を前記センサの前記レンズの方へ向けるステップと、
前記センサによって知覚される画像上で、明瞳孔検出を行うステップと、を含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、概して、瞳孔検出方法を使用したアイトラッキング技術に関する。

【背景技術】

【0002】

アイトラッキングは、例えば、仮想現実又は拡張現実の眼鏡又はゴーグル、カメラのビューファインダ、などの様々なデバイスに実装され得る。アイトラッキングは、多くの場合、視覚センサ、及び通常は正常な視覚を妨げない赤外線源を用いた特定の照明条件、を用いた瞳孔検出に基づいている。

【0003】

「明瞳孔」検出技術は、概して、カメラの光軸の近くに、又は光軸上にあるように見える眼の前の十分に遠くに配置された光源を用いて瞳孔を通して網膜を照明することを伴う。そのような条件下では、瞳孔は、その周囲に対して非常に明るく見え、コントラスト差によって比較的容易に検出される。このような技術は、赤外線源が、瞳孔までの距離に関して光軸の十分近くに配置することができないので、眼の近くに配置されるデバイス（ゴーグル、眼鏡、ビューファインダ）には適していない。

【0004】

「暗瞳孔」検出技術は、眼に近いデバイスにより適している。それは、側部から眼を照明することを伴い、それによって、瞳孔はほとんど全ての光を吸収し、その周囲よりもはるかに暗く見える。

【0005】

検出は、通常、フレームベースのカメラを用いて実行され、画像分析は、カメラによって生成されたフレームに対して行われる。電力を節約するために、眼は断続的に照明されるか、又はフレームのレートでフラッシュされる。しかしながら、この技術は、かなりの量のフレームデータに対して分析を行うことを伴うので、依然として電力を多く消費する。更に、フレームベースのセンサは、フレームレートよりも速い動きを検出することができず、より速い動きをキャプチャするためにフレームレートを増加させることは、必要とされる計算電力を増加させる。

【0006】

瞳孔検出アプリケーションにおけるイベントベースのセンサの使用は、フレームベースのセンサの速度の欠如を克服するが、以下に示されるように、処理するデータの量は大きいままである。

【0007】

図１Ａ及び図１Ｂは、イベントベースのセンサ及び眼の断続する照明を従来通り使用する暗瞳孔検出方法の２つのフェーズを図示する。フレームレート制限がないので、照明フラッシュ周波数は、イベントベースのセンサの反応速度制限に近づき得る。

【0008】

図１Ａは、２つの照明フェーズにおいてセンサによって知覚される眼の外観を図示し、図１Ｂは、瞳孔及び眼の残りの部分の対応する輝度変動を図示する。左側では、照明がなく、眼及び瞳孔は一様に暗い（黒色）。右側では、照明がオンにされている。瞳孔は暗いままであるか、又はほとんど明るくないが、眼の残りの部分は著しく明るくなる（白色）。

【0009】

したがって、瞳孔の周りの多数の画素、いずれにしても瞳孔エリア内よりも多くの画素において、かなりのコントラスト変化が見えることが明らかである。結果として、イベントベースのセンサは、対応する量の処理電力を必要とするかなりの数のイベントをトリガする。本質的に、暗瞳孔検出のためのイベントベースのセンサの使用は、検出の速度を改善するが、処理電力の量は、顕著なままである。

【発明の概要】

【0010】

イベントベースの視覚センサを用いて眼の瞳孔を検出するための一般的な方法が提供されており、第１の光源を眼の方へ向けるステップと、イベントベースのセンサを用いて眼を観察するステップと、センサを均一なバックグラウンド信号に断続的に供するステップと、を含む。

【0011】

本方法は、瞳孔について感知された相対輝度変化が、眼の残りの部分について感知された相対輝度変化よりも大きくなるように、バックグラウンド信号のレベルを設定するステップと、瞳孔の相対輝度変化が、イベントをトリガし、眼の残りの部分の相対輝度変化が、イベントをトリガしないように、センサの画素の検出閾値を設定するステップと、を更に含み得る。

【0012】

本方法は、眼が、第１の光源で照明されるフェーズの間に、センサをバックグラウンド信号に供するステップを更に含み得る。

【0013】

代替的に、本方法は、バックグラウンド信号と逆のフェーズで、眼を照明するステップを含み得る。

【0014】

バックグラウンド信号は、イベントがセンサによってトリガされるまで徐々に増加され得る。

【0015】

バックグラウンド信号は、第２の光源をセンサの方へ向けることによって得られ得る。

【0016】

代替的に、バックグラウンド信号は、センサの均一な照明の効果を有するセンサの画素回路内に加えられる電気信号であり得る。

【0017】

電気信号は、画素内で発生した光電流に加えられる定電流であり得る。

【0018】

センサにレンズが取り付けられ得、第２の光源は、レンズによって部分的に反射された光が眼の瞳孔を通過するように配置される。

【0019】

第１の光源は、眼によって視認されるディスプレイデバイスであり得る。

【0020】

レンズが取り付けられた視覚センサを用いて眼の瞳孔を検出するための一般的な方法がまた提供され、センサを用いて眼を観察するステップと、ｉ）センサが、均一なバックグラウンド信号に供され、ｉｉ）レンズによって部分的に反射された光が、眼の瞳孔を通過するように、光源をセンサのレンズの方へ向けるステップと、センサによって知覚された画像上で、明瞳孔検出を行うステップと、を含む。

【図面の簡単な説明】

【0021】

実施形態は、添付の図面に関連して、例示目的のみのために提供される以下の説明において明らかにされる。

【0022】

【図1】Ａ及びＢは、イベントベースのセンサ及び眼の断続する照明を従来通り使用する暗瞳孔検出方法の２つのフェーズを図示する。

【0023】

【図2】Ａ、Ｂ及びＣは、第１の実施形態による、イベントベースのセンサを使用する暗瞳孔検出方法の２つのフェーズを図示する。

【0024】

【図3】Ａ及びＢは、図２Ａ～図２Ｃの実施形態において使用される絶対及び相対対数コントラスト変動グラフを図示する。

【0025】

【図4】Ａ及びＢは、第２の実施形態による、イベントベースのセンサを使用する暗瞳孔検出方法の２つのフェーズを図示する。

【0026】

【図5】均一なバックグラウンド信号を追加するために、一実施形態に従って修正された部分的画素回路を図示する。

【発明を実施するための形態】

【0027】

前述のように、暗瞳孔法及び眼の断続する照明を使用して、イベントベースセンサを用いてアイトラッキングを行うとき、各照明フラッシュにおいてトリガされるイベントの数、すなわち、処理するデータの量は、顕著である。これは、眼のかなりの部分が、イベントをトリガする輝度変化を見るのに対して、関心領域である瞳孔は、ほとんど変化を見ず、イベントをトリガしないからである。

【0028】

本明細書では、顕著な輝度変化を見る領域を逆転させる、すなわち、瞳孔が最も顕著な変化を見るのに対して、眼の残りの部分がイベントをトリガするには不十分な変化を見るように、特定の条件下で眼を照明することが提案される。

【0029】

図２Ａ～図２Ｃは、それぞれ、２フェーズ照明構成の第１の実施形態、センサによって知覚される対応する眼の外観変動、並びに眼及び瞳孔領域の対応する輝度変動を図示する。

【0030】

左側の第１のフェーズでは、眼１０は、例えば眼とセンサ１４との間に配置され、眼とセンサとの間の光軸に対してオフセットされた、暗瞳孔構成の光源１２、好ましくは赤外光源によって照明される。センサは、イベントベースの画素のアレイを含み、通常、レンズ（図示せず）が取り付けられている。センサ及び光源１２の両方は、ユーザによって着用される眼鏡又はゴーグルの縁に位置してもよい。他の構成では、光源１２は、センサの背後の平面内に位置してもよく、ゴーグル内に通常含まれるディスプレイデバイスであってもよい。

【0031】

光源１２の照度は、従来の状況で必要とされるほど明るい必要はない。図２Ｂの左側に示されるように、瞳孔は暗いままであり、周囲領域は白色ではなく灰色である。例示的な輝度レベルが、図２Ｃの左側に線形振幅スケールで示されており、瞳孔輝度はわずかに０を上回るが、眼領域の残りの部分は、一例として、電力を節約するために図１Ｂの従来の照明フェーズのものよりも低いものとして示されている所与のレベルの輝度を有する。

【0032】

右側の第２の照明フェーズでは、センサ１４は均一なバックグラウンド信号に供される。このバックグラウンド信号は、例として示されるように、センサの方へ向けられた第２の照明源１６によって生成され得る。光源１６は、レンズを組み込んだセンサハウジングの外側に配置され、レンズの方へ向けられ得る。光源１６は、センサハウジングの内部に配置することもでき、したがって、ユーザの視覚を妨げないので、可視スペクトル内にあることができる。代替的に、バックグラウンド信号は、センサの均一な照明と同じ効果を生成する画素回路内に加えられる電気信号、例えば、図５に関連して以下で説明するように、センサアレイ内の各画素の光電流に加えられる一定のバイアス電流であってもよい。

【0033】

このバックグラウンド信号は、図２Ｃの右側に図示されるように、センサによって視認される全ての領域を、それらの輝度が同じステップで増加して見えるようにさせる。図２Ｂの右側に示されるように、例示の目的で、瞳孔は黒色から灰色に変化し、一方、眼の残りの部分は明るい灰色から白色に変化する。

【0034】

このメカニズムは、イベントベースの画素が一般的に設計される方法、すなわち、輝度が対数スケール上で測定され、そのような対数スケール上の変化が、変化の比率に対応する方法において、その関連性を見出す。瞳孔についての輝度変化の比率は、示された照明方法を用いると眼の残りの部分についての輝度変化の比率よりも非常に大きくなる。

【0035】

図３Ａは、対数振幅スケールでの図２Ｃの輝度展開を示す。ここで、瞳孔によって見られるステップは、瞳孔の輝度がほぼゼロから増加するのに対して、眼の残りの部分の輝度は、ゼロから比較的遠い２つの値の間で増加するので、眼の残りの部分によって見られるステップよりも著しく大きい。

【0036】

図３Ｂは、瞳孔領域及び眼領域の残りの部分に対応するイベントベースの画素によって実行される比較を図示する。各画素は、通常、対数振幅変化、すなわち、変化の比率を反映する現在の対数振幅と以前の対数振幅との間の差を閾値と比較するように設計される。閾値Ｔｈは、示されるように、瞳孔領域の変化が閾値を超える一方で、眼領域の残りの部分の変化が閾値未満に留まるように設定され得る。この構成は、電力消費を低減するために、光源１２及び１６の強度の選択に一定の許容範囲を提供する。

【0037】

一例では、眼を照明する光源１２は、連続的にオンであってもよいが、その強度は、図１Ａ、図１Ｂの従来の設定で必要とされる強度よりも著しく低くてもよい。断続する光源１６の強度もまた、比較的低いレベルに設定され得る。

【0038】

代替的に、２つの示された照明フェーズは、両方の光源がオフであり、センサが無効にされるスタンバイフェーズとインターリーブされてもよい。

【0039】

電力消費を最適化するために、背景照明源１６の強度は、瞳孔領域に対応するイベントがトリガされるまで、単一の大きなステップの代わりに徐々に増加されてもよい。

【0040】

図４Ａ及び図４Ｂは、第２の実施形態による、イベントベースのセンサを使用する暗瞳孔検出方法の２つのフェーズを図示する。図４Ａでは、図２Ａのレイアウトと同様のレイアウトが、センサ及び照明源のために使用される。しかしながら、光源１２及びフラッシュする光源１６を用いて眼を連続的に照明して、背景照明信号を断続的に加える代わりに、光源１２及び１６は、反対のフェーズでフラッシュされる。左側では、光源１２は眼を照明し、一方光源１６はオフであり、図２Ｂの左側のものと同様の画像を作り出し、暗い瞳孔及び灰色で示されるより明るい周囲領域を明らかにする。右側では、光源１６がセンサを照明し、一方光源１２はオフであり、灰色として示される均一な輝度レベルを有する画像を作り出す。

【0041】

理論的には、両方のフェーズにおける眼領域の残りの部分の輝度レベルは、光源１２、１６の強度を調整することによって実質的に等しくすることができ、それによって、この領域に対して測定可能な差はなくなり、したがって、瞳孔を検出するための識別許容範囲が増大する。しかしながら、これは、２つのフェーズが異なる照明条件（一方の側に眼及び他方の側にセンサ）に対応するので、実際には困難であり得る。いずれの場合も、図２Ａ～図２Ｃの実施形態と同様に、瞳孔領域の変化の比率は、眼領域の残りの部分の変化の比率よりも実質的に大きいままである。

【0042】

図５は、センサアレイ内に均一なバックグラウンド信号を追加するために、一実施形態に従って修正されたアレイの画素回路を図示する。３つの画素Ｐｘ１～Ｐｘ３が部分的に図示されており、画素Ｐｘ３がより詳細に図示されている。イベントベースセンサの各画素は、概して、アノードが接地されたフォトダイオードＰＤを含む。ダイオードによって発生した光電流は、高電源ラインから、通常は対数応答を有するトランスインピーダンス増幅器ＴＩＡを通ってフォトダイオードのカソードに流れる。ＴＩＡの出力は、回路（図示せず）によって処理されて、任意の既知の様態でイベントを生成する。

【0043】

それぞれのＮ－ＭＯＳトランジスタＭ１～Ｍ３は、各フォトダイオードのカソードと接地との間に接続されている。トランジスタＭ１～Ｍ３は、共通のダイオード接続された入力Ｎ－ＭＯＳトランジスタＭ０を共有する電流ミラーの出力を形成する。電流源Ｉｂｇｒは、ダイオード接続されたトランジスタＭ０にバックグラウンド基準電流Ｉｂｇｒを注入するように接続され、この電流は、トランジスタＭ１～Ｍ３の各々にコピーされ、ＴＩＡによって測定される光電流に加えられる。電流Ｉｂｇｒは、所望のバックグラウンド信号強度を生成するように調整される。

【0044】

Ｎ－ＭＯＳトランジスタＭｂは、トランジスタＭ０～Ｍ３のゲートを接地に接続し、アクティブローのバックグラウンドイネーブル信号／ＢＧＲによって制御される。したがって、信号／ＢＧＲは、通常モードとシミュレートされた背景照明モードとの間でセンサを切り替えることができる。

【0045】

前述のように、バックグラウンド信号源１６の一実施形態は、図２Ａの右側に示された構成による、センサのレンズの方へ向けられた照明源である。レンズは、円錐に沿って光源１６の光を部分的に反射する。光源１６が光軸に十分に近い場合、又はレンズが十分な曲率を有する場合、反射された円錐は瞳孔と交差することができ、それによって光が光軸に沿って瞳孔を通過し、瞳孔を明るい瞳孔検出条件に置く。

【0046】

このような構成は、瞳孔の輝度変動を更に増大させる。言い換えれば、図２Ｃにおける瞳孔の線形振幅ステップは、眼の残りの部分のステップよりも大きい。例として、図２Ｂ及び図４Ｂの右側では、光源１６がオンにされており、瞳孔はより明るい灰色の影になる。

【0047】

この特定の構成は、光源１６のみを使用して、明瞳孔検出技術を動作させることによって、簡略化され得る。次に、光源１６を比較的低い強度で永続的にオンにして、センサ上に均一な灰色の背景を発生させる。光源１２は存在しないか、又は永続的にオフである。レンズによって部分的に反射された光は、眼及び瞳孔を照明し、眼及び瞳孔は、センサの背景灰色レベル上に重ねられた明るい瞳孔を有する画像を作り出す。瞳孔領域は、適切に露出された眼の状況ほど明るくない場合があるが、知覚される画像の残りの部分よりも依然として目立って明るい。したがって、瞳孔は、任意のタイプのセンサ（イベントベース又はフレームベース）を用いてトラックすることが比較的容易であり、明瞳孔感知技術の利点を提供する、すなわち、暗い虹彩が暗瞳孔感知技術を用いて引き起こし得る偽陽性を回避する。

【図1】

【図2】

【図3】

【図4】

【図5】

【外国語明細書】