特許 7529826 グレアスポット除去のための画像処理方法及びそのためのシステム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2024-07-29

(45)【発行日】2024-08-06

(54)【発明の名称】グレアスポット除去のための画像処理方法及びそのためのシステム

(51)【国際特許分類】

   G06T 7/70 20170101AFI20240730BHJP

   G06F 3/01 20060101ALI20240730BHJP

   G06T 7/00 20170101ALI20240730BHJP

   G06V 10/30 20220101ALI20240730BHJP

   G06T 1/00 20060101ALI20240730BHJP

   A61B 3/113 20060101ALI20240730BHJP

【ＦＩ】

G06T7/70 B

G06F3/01 510

G06T7/00 660A

G06V10/30

G06T1/00 340A

A61B3/113

【請求項の数】 17

【外国語出願】

(21)【出願番号】P 2023021687

(22)【出願日】2023-02-15

(65)【公開番号】P2023161555

(43)【公開日】2023-11-07

【審査請求日】2023-02-15

(31)【優先権主張番号】2205975.2

(32)【優先日】2022-04-25

(33)【優先権主張国・地域又は機関】GB

(73)【特許権者】

【識別番号】522296653

【氏名又は名称】コンチネンタル・オートモーティヴ・テクノロジーズ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】Ｃｏｎｔｉｎｅｎｔａｌ Ａｕｔｏｍｏｔｉｖｅ Ｔｅｃｈｎｏｌｏｇｉｅｓ ＧｍｂＨ

【住所又は居所原語表記】Ｃｏｎｔｉｎｅｎｔａｌ－Ｐｌａｚａ １， ３０１７５ Ｈａｎｎｏｖｅｒ， Ｇｅｒｍａｎｙ

(74)【代理人】

【識別番号】100069556

【弁理士】

【氏名又は名称】江崎 光史

(74)【代理人】

【識別番号】100111486

【弁理士】

【氏名又は名称】鍛冶澤 實

(74)【代理人】

【識別番号】100191835

【弁理士】

【氏名又は名称】中村 真介

(74)【代理人】

【識別番号】100221981

【弁理士】

【氏名又は名称】石田 大成

(74)【代理人】

【識別番号】100208258

【弁理士】

【氏名又は名称】鈴木 友子

(72)【発明者】

【氏名】ツォン・ウェイチュエン

(72)【発明者】

【氏名】コン・ロン・リム

(72)【発明者】

【氏名】ヤウ・ワイ・ルーカス・フイ

(72)【発明者】

【氏名】グオジー・ワン

(72)【発明者】

【氏名】グオ・ホン

【審査官】小太刀 慶明

(56)【参考文献】

【文献】特開２０２０－０７５５９６（ＪＰ，Ａ）

【文献】特開２０１０－２４４１５６（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｇ０６Ｔ ７／００

１／００

５／００

Ｇ０６Ｖ １０／３０

Ｇ０６Ｆ ３／０１

Ａ６１Ｂ ３／１１３

(57)【特許請求の範囲】

【請求項1】

捕捉された画像上に現れるグレアスポットを除去するための画像処理方法（５００）であって、
・以下
〇 第１の照明光源（１０６）によって、第１の視線に向かう第１の光線
及び
〇 第２の照明光源（１０８）によって、第２の視線に向かう第２の光線
を透過することと、
・画像センサ（１１０）によって、
〇 前記第１の視線の画像を含む第１の視線画像
及び
〇 前記第２の視線の画像を含む第２の視線画像
を捕捉すること（５０２、５０４）と
を含む、方法（５００）において、
・飽和スポット除去アルゴリズム（１２８）によって、
〇 前記捕捉された第１の視線画像
及び
〇 前記捕捉された第２の視線画像
を比較して主視線画像を選択することにおいて、
選択される前記主視線画像には、飽和スポットがないか、もしくは、選択される前記主視線画像には、捕捉された前記第１の視線画像及び捕捉された前記第２の視線画像から前記飽和スポット除去アルゴリズム（１２８）によって認識された、重なり合う飽和スポットが最も少なく、かつ
選択された前記主視線画像に応答して、飽和スポットがない結果視線画像（５１４）の生成用に飽和スポット除去処理を実行することであって、前記結果視線画像は、視線追跡アプリケーションのための視線方向の確認用である、前記飽和スポット除去処理を実行する、
前記主視線画像を選択することを特徴とする、方法（５００）。

【請求項2】

・前記飽和スポット除去アルゴリズム（１２８）によって、
選択された前記主視線画像内に現れている、
〇 グレアスポットが、前記飽和スポットが現れたところによって定義されることで、前記グレアスポット（４０６、４０８、４１０、４１２、４１４、４１６）に似ている少なくとも１つの飽和スポットと、
〇 前記グレアスポットの大きさがグリントスポットに似ている飽和スポットより大きいことで、前記グリントスポットに似ている飽和スポットと
の少なくとも一方を特定すること（５０６）を更に含む、請求項１に記載の方法（５００）。

【請求項3】

前記飽和スポット除去アルゴリズム（１２８）によって、選択された前記主視線画像からグレアスポット（４０６、４０８、４１０、４１２、４１４、４１６）に似ている前記少なくとも１つの飽和スポットを除去すること（５１０）
を更に含む、請求項２に記載の方法（５００）。

【請求項4】

前記画像センサ（１１０）によって、前記第１の視線画像及び前記第２の視線画像を連続的な交互シーケンスで捕捉すること
を更に含む、請求項１に記載の方法（５００）。

【請求項5】

前記連続的な交互シーケンスが、
初期シーケンスにおいて、
前記第１の視線に向かって透過されている前記第１の光線に応じて、前記第１の視線画像を捕捉することと、
後続シーケンスにおいて、
前記第２の視線に向かって透過されている前記第２の光線に応じて、前記第２の視線画像を捕捉することと
を含む、請求項４に記載の方法。

【請求項6】

前記連続的な交互シーケンスが、
前記飽和スポット除去アルゴリズム（１２８）によって、連続的に実行することであって、
前記第１の視線画像を捕捉するための１つの初期シーケンスに、前記第２の視線画像を捕捉するための１つの後続シーケンスが続く、こと
を更に含む、請求項４又は５に記載の方法（５００）。

【請求項7】

前記交互シーケンスが、
前記飽和スポット除去アルゴリズム（１２８）によって、連続的に実行することであって、
前記第１の視線画像を捕捉するための前記初期シーケンスの少なくとも２つのシーケンスに、
前記第２の視線画像を捕捉するための前記後続シーケンスの少なくとも２つのシーケンスが続く、こと
を更に含む、請求項５に記載の方法（５００）。

【請求項8】

グレアスポット（４０６、４０８、４１０、４１２、４１４、４１６）に似ている前記飽和スポットを特定すること、及びグリントスポットに似ている前記飽和スポットを特定することが、
前記飽和スポット除去アルゴリズム（１２８）によって、捕捉された前記第１の視線画像を捕捉された前記第２の視線画像と比較することによって、少なくとも１つの飽和画素領域を特定すること
を更に含む、請求項２に記載の方法（５００）。

【請求項9】

前記飽和スポット除去アルゴリズムによって、前記飽和画素領域を、グレアスポットに似ている前記飽和スポットとして分類すること
を更に含む、請求項８に記載の方法（５００）。

【請求項10】

前記飽和スポット除去アルゴリズム（１２８）によって、グレアスポット（４０６、４０８、４１０、４１２、４１４、４１６）に似ている前記飽和画素領域を、前記主視線画像から除去すること（５１０）と、
前記飽和スポット除去アルゴリズム（１２８）によって、グレアスポット（４０６、４０８、４１０、４１２、４１４、４１６）に似ている前記飽和画素領域を、捕捉された前記第１の視線画像のうち１つ又は前記第２の視線画像のうち１つから取得された対応する領域と置換すること（５１２）と
を更に含む、請求項８に記載の方法。

【請求項11】

前記飽和スポット除去アルゴリズム（１２８）によって、前記結果視線画像内に存在するグリントスポット（４１８）を判定すること
を更に含む、請求項８に記載の方法（５００）。

【請求項12】

前記飽和スポット除去アルゴリズムによって、眼追跡アプリケーションのために、前記結果視線画像上で判定された前記グリントスポット（４１８）の位置に応じて視線方向を確認するため前記第２の視線画像を前記主視線画像として選択することを更に含む請求項１１に記載の方法（５００）。

【請求項13】

眼追跡アプリケーションのために画像を処理するためのシステム（１００）であって、
・第１の視線に向かって第１の光線を透過するように動作可能な第１の照明光源（１０６）と、
・第２の視線に向かって第２の光線を透過するように動作可能な第２の照明光源（１０８）と、
・以下
〇 前記第１の視線（３０２）の画像を含む第１の視線画像
及び
〇 前記第２の視線（３０４）の画像を含む第２の視線画像
を捕捉するように動作可能な画像センサ（１１０）と、
・前記画像センサ（１１０）によって捕捉された画像を処理するように動作可能な処理ユニット（１１８）と、
を備える、前記システム（１００）において、
・前記システム（１００）が、
〇 前記捕捉された第１の視線画像と前記捕捉された第２の視線画像とが比較されて主視線画像を選択する
ように動作可能な飽和スポット除去アルゴリズム（１２８）を更に備えることにおいて、
選択される前記主視線画像には、飽和スポットがないか、もしくは、選択される前記主視線画像には、捕捉された前記第１の視線画像と捕捉された前記第２の視線画像との間に、前記飽和スポット除去アルゴリズム（１２８）によって認識された、重なり合う飽和スポットが最も少なく、かつ
視線追跡アプリケーションのために、飽和スポットがない結果視線画像（５１４）を生成すべく、飽和スポット除去処理用に前記主視線画像が選択され、前記結果視線画像は視線方向の確認用である、
前記システム（１００）が前記飽和スポット除去アルゴリズム（１２８）を更に備えることを特徴とする、システム（１００）。

【請求項14】

前記画像センサ（１１０）、前記第１の照明光源（１０６）、及び前記第２の照明光源（１０８）が、単一モジュール（Ａ）として統合されている、請求項１３に記載のシステム（１００）。

【請求項15】

前記第１の照明光源（１０６）及び前記第２の照明光源（１０８）の各々が、交互モードでオン及びオフに切り替えられるように動作可能であり、その結果、
前記第１の照明光源（１０６）がオンに切り替えられると、前記第２の照明光源（１０８）がオフに切り替えられ、
前記第１の照明光源（１０６）がオフに切り替えられると、前記第２の照明光源（１０８）がオンに切り替えられる、
請求項１３又は１４に記載のシステム（１００）。

【請求項16】

請求項１３に記載のシステム（１００）に、請求項１に記載の方法（５００）を実行させるための命令を含む、コンピュータプログラム製品。

【請求項17】

請求項１６に記載の前記コンピュータプログラムを記憶しているコンピュータ可読媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、画像処理に関し、特に、画像内に現れているグレアスポットを特定するための画像の処理に関する。より具体的には、本開示は、眼追跡アプリケーションのために、処理された画像からグレアスポットを除去し、視線方向を予測する方法及びシステムを説明する。

【背景技術】

【0002】

眼追跡アプリケーションは、エレクトロニクス業界において何年間も存在している。
眼追跡機能は、医療分野、ヘッドマウントディスプレイなどの家電分野、拡張現実（ＡＲ）又は仮想現実（ＶＲ）アプリケーションに適用されている。

【0003】

近年では、自動車業界に対しても、快適性及び安全性の理由から、運転者の視線方向を追跡し、運転者の視線内に車両情報を表示するための最適位置を判定するために、眼追跡機能アプリケーションを訴求している。しかしながら、自動車の乗員キャビン内での眼追跡には、多くの課題がある。第１に、乗員キャビンは典型的に薄暗く、したがって捕捉された画像から情報を抽出するためには、通常何らかの処理が必要となる。更に、眼追跡アプリケーションに対して、照明目的のために、スポットライト源が通常必要とされるが、この光源は、乗員キャビン内の反射面によって引き起こされる迷光の源となる可能性がある。時に、運転者はまた、眼鏡又はサングラスなどのアイウェアを着用している場合があり、これによりスポット光からの光線を反射させて眼の角膜に向かって透過し、次いで画像内にグレアスポットとして現れて、捕捉された角膜画像の領域を覆う。

【0004】

捕捉された画像上に現れるグレアスポットを低減するための従来の技術は、カメラレンズの前方に配置されたフィルタなどの光学要素を使用してある程度の偏光を達成することである。しかしながら、偏光フィルタを使用して偏光を達成することの不利益は、カメラが受光する光束が減少すること、すなわち、光の吸収率が大幅に低下するということである。別の既知の技術は、運転者の眼の角膜に向かう光線の透過が制御されるように、運転者に対して戦略的に配置された複数の照明器を使用することである。それにもかかわらず、そのようなシステムは、所望の技術的結果を達成するために必要とされる電子構成要素の数が増加することにより設計が複雑で高価である。前述の課題にもかかわらず、自動車のコックピットは通常、スペースが制約されているため、そのようなシステム設計は、全てのタイプの自動車、特に乗用車において実施可能ではない。

【0005】

したがって、自動車のキャビン内での眼追跡の課題は、未解決のままであることがわかり得る。

【発明の概要】

【課題を解決するための手段】

【0006】

したがって、上述の課題を克服するか又は少なくとも改善する、捕捉された画像上に現れるグレアスポットを特定する方法及びそのシステムを提供する必要性が存在する。更に、他の望ましい特徴及び特性は、添付の図面及び本開示のこの背景技術と併せて、その後の詳細な説明及び添付の特許請求の範囲から明らかになるであろう。

【0007】

本開示の目的は、独立請求項の主題を提供することによって、視線方向予測の不正確さの課題を改善することである。

【0008】

本開示の目的は、捕捉された画像上に現れるグレアスポットを除去するための画像処理方法によって解決され、方法は、
・以下
ｏ第１の照明光源によって、第１の視線に向かう第１の光線
及び
ｏ第２の照明光源によって、第２の視線に向かう第２の光線
を透過することと、
・画像センサによって、
ｏ第１の視線の画像を含む第１の視線画像
及び
ｏ第２の視線の画像を含む第２の視線画像
を捕捉することと
を含む、方法において、
・飽和スポット除去アルゴリズムによって、
ｏ捕捉された第１の視線画像
及び
ｏ捕捉された第２の視線画像
の中から主視線画像を選択することを含み、
主視線画像が、飽和スポット除去処理のために選択されて、視線追跡アプリケーションのために、視線方向を確認するための結果視線画像を生成する、ことを特徴とする。

【0009】

本開示の上述の態様の利点は、ユーザの第１の視線及び第２の視線の捕捉された２つ以上の画像から主画像を選択して、グレアスポット除去処理のために準備する、方法をもたらす。理想的には、主画像の選択は、画像内に存在するグリントスポット位置に干渉する重なり合うグレアスポットが存在しないことに基づいて行われる。このように、重なり合うグレアスポットをグリントから区別するのは更により困難なため、前述の画像処理方法は、より高速な処理時間につながり、視線方向を判定するためのより信頼できる結果をもたらす。

【0010】

好ましいものは、上述された、又は好ましいものとして上述された方法であり、方法は、
・飽和スポット除去アルゴリズムによって、
選択された主視線画像内に現れている、
ｏグレアスポットに似ている少なくとも１つの飽和スポット、
及び／又は
ｏグリントスポットに似ている飽和スポット
を特定することを更に含む。

【0011】

本開示の上記の態様の利点は、グレアスポットに似ている少なくとも１つの飽和スポット、及び／又はグリントスポットに似ている飽和スポットの位置を特定することによって、グレア除去処理のための主画像を選択することである。このステップの利点は、左視線画像又は右視線画像のいずれにおいてもグレアスポットが特定されない場合、グレアスポットが特定されていない視線画像が、デフォルトの主画像として選択されることである。これにより、グレアスポットの特定及び除去に時間がかかることになり得る、スポットが重なり合っている視線画像の選択が回避される。このように、開示された方法は、捕捉された複数の視線画像から最も有望な視線画像のみを主視線画像として選択する。

【0012】

好ましいものは、上述された、又は好ましいものとして上述された方法であり、方法は、
飽和スポット除去アルゴリズムによって、選択された主視線画像からグレアスポットに似ている飽和スポットを除去することを更に含む。

【0013】

本開示の上記の態様の利点は、主視線画像上にグレアスポットが現れないように、選択された主視線を処理することである。これにより、飽和スポット除去アルゴリズムは、視線方向を確認して眼追跡機能のために準備することができるように、グレアスポットが除去された主視線画像内に存在するグリントスポットを特定することを可能にする。

【0014】

好ましいものは、上述された、又は好ましいものとして上述された方法であり、方法は、
画像センサによって、第１の視線画像及び第２の視線画像を連続的な交互シーケンスで捕捉することを更に含む。

【0015】

本開示の上記の態様の利点は、複数のシナリオの下で捕捉された視線画像の観察を改善するために、交互モード又はシーケンスで連続的に画像を取得することである。有利にも、これにより、少なくとも１つのタイプのシナリオで視線方向を常に観察することができるように、観察カバレッジの機会を増加させる。更に、この方法により、実効フレームレートが半分に低減される。例えば、画像センサが６０フレーム／秒（ｆｐｓ）で動作している場合、実際に使用可能な画像のフレームレートは、３０ｆｐｓに低減され、これは、動作又は挙動を高精度で観察できるという利点を有する。

【0016】

好ましいものは、上述された、又は好ましいものとして上述された方法であり、連続的な交互シーケンスは、
初期シーケンスにおいて、
第１の視線に向かって透過されている第１の光線に応じて、第１の視線画像を捕捉することと、
後続シーケンスにおいて、
第２の視線に向かって透過されている第２の光線に応じて、第２の視線画像を捕捉することと
を含む。

【0017】

本開示の上記の態様の利点は、交互切り替えモードを適用して、照明光源を交互にオン及びオフに切り替えることである。一例として、交互切り替えモードは、画像センサが第１の視線画像を捕捉したときに第２の照明光源がオフに切り替えられている間に第１の照明光源をオンに切り替え、その後、第２の照明光源がオンに切り替えられている間に第１の照明光源をオフに切り替えることができる。第２の視線がその後に続く第１の視線を照明するこの交互切り替えモードにより、１秒あたりのフレームが半分に低減される。大部分の状況下では、２つの異なる視線画像が捕捉されるが、第１の視線の位置と第２の視線の位置は、ほぼ同一の位置になる。これは、２つの照明光源を比較的近い物理的距離、例えば、それぞれの構成要素の距離を１０ｃｍ未満に保持することによって達成される。

【0018】

好ましいものは、上述された、又は好ましいものとして上述された方法であり、連続的な交互シーケンスは、
飽和スポット除去アルゴリズムによって、連続的に実行することであって、
第１の視線画像を捕捉するための１つの初期シーケンスに、第２の視線画像を捕捉するための１つの後続シーケンスが続く、こと
を更に含む。

【0019】

本開示の上記の態様の利点は、第１の視線画像に続いて第２の視線画像を連続的なシーケンスで連続して捕捉することにより、１秒あたりのフレームの低減を達成し、それによってより良好な観察カバレッジを達成することである。

【0020】

好ましいものは、上述された、又は好ましいものとして上述された方法であり、連続的な交互シーケンスは、
飽和スポット除去アルゴリズムによって、連続的に実行することであって、
第１の視線画像を捕捉するための初期シーケンスの少なくとも２つのシーケンスに、
第２の視線画像を捕捉するための後続シーケンスの少なくとも２つのシーケンスが続く、こと
を更に含む。

【0021】

本開示の上記の態様の利点は、少なくとも２つの第１の視線画像に続いて少なくとも２つの第２の視線画像を連続的なシーケンスで連続して捕捉することにより、１秒あたりのフレームの低減を達成して、捕捉された視線画像の観察カバレッジを改善することである。

【0022】

好ましいものは、上述された、又は好ましいものとして上述された方法であり、グレアスポットに似ている飽和スポットを特定すること、及びグリントスポットに似ている飽和スポットを特定することは、
飽和スポット除去アルゴリズムによって、捕捉された第１の視線画像を捕捉された第２の視線画像と比較することによって、少なくとも１つの飽和画素領域を特定すること
を更に含む。

【0023】

本開示の上記の態様の利点は、捕捉された画像上に現れるグレアスポットを特定する方法をもたらすことである。グレアスポットに似ている領域は、飽和画素であり得る。グレアスポットをグリントスポットから区別するために、アルゴリズムは更に、グレアスポットがより大きな高画素化又は飽和画素領域を有する、領域サイズ比較を行うことができる。

【0024】

好ましいものは、上述された、又は好ましいものとして上述された方法であり、方法は、
飽和スポット除去アルゴリズムによって、飽和画素領域を、グレアスポットに似ている飽和スポットとして分類すること
を含む。

【0025】

本開示の上記の態様の利点は、飽和スポット又は飽和画素スポットを潜在的なグレアスポットとして相関させることによって、グレアスポット除去処理用の準備のためにグレアスポットを特定することである。

【0026】

好ましいものは、上述された、又は好ましいものとして上述された方法であり、方法は、
飽和スポット除去アルゴリズムによって、グレアスポットに似ている飽和画素領域を、主視線画像から除去することと、
飽和スポット除去アルゴリズムによって、グレアスポットに似ている飽和画素領域を、捕捉された第１の視線画像の１つ又は第２の視線画像の１つから取得された対応する領域と置換することと
を含む。

【0027】

本開示の上記の態様の利点は、除去されたスポットを主画像内の既存の情報を補完するための対応する領域と置換することによって、画素飽和スポットの除去による情報の損失を最小化することである。このように、本発明のこの態様は、情報の損失を軽減する。

【0028】

好ましいものは、上述された、又は好ましいものとして上述された方法であり、方法は、
飽和スポット除去アルゴリズムによって、結果視線画像内に存在するグリントスポットを判定すること
を更に含む。

【0029】

本開示の上記の態様の利点は、結果画像内に存在するグリントスポットを判定して、視線方向を判定することである。

【0030】

好ましいものは、上述された、又は好ましいものとして上述された方法であって、方法は、
飽和スポット除去アルゴリズムによって、眼追跡アプリケーションのために、結果画像上で判定されたグリントスポットの位置に応じて、視線方向を確認すること
を更に含む。

【0031】

本開示の上記の態様の利点は、その後の続眼追跡アプリケーションのために、結果画像から、ユーザ又は運転者の視線方向を確認することである。

【0032】

本開示の目的は、眼追跡アプリケーションのために画像を処理するシステムによって解決され、システムは、
・第１の視線に向かって第１の光線を透過するように動作可能な第１の照明光源と、
・第２の視線に向かって第２の光線を透過するように動作可能な第２の照明光源と、
・以下
ｏ第１の視線の画像を含む第１の視線画像
及び
ｏ第２の視線の画像を含む第２の視線画像
を捕捉するように動作可能な画像センサと、
・画像センサによって捕捉された画像を処理するように動作可能な処理ユニットと、
を備える、システムにおいて、
・システムが、
ｏ捕捉された第１の視線画像と捕捉された第２の視線画像との中から主視線画像を選択する
ように動作可能な飽和スポット除去アルゴリズムを更に備え、
主視線画像が、視線追跡アプリケーションのために、グレアスポット除去用に選択されて、視線方向を確認するための結果視線画像を生成する、ことを特徴とする。

【0033】

本開示の上述の態様の利点は、運転者の第１の視線及び第２の視線の捕捉された２つ以上の画像から主画像を選択して、グレアスポット除去処理用に準備する、画像処理用の画像処理システムをもたらす。理想的には、主画像の選択は、画像内に存在するグリントスポット位置に干渉する重なり合うグレアスポットが存在しないことに基づいて行われる。したがって、前述の画像処理システムは、より高速な処理時間をもたらす。

【0034】

好ましいものは、上述された、又は好ましいものとして上述されたシステムであり、
画像センサ、第１の照明光源、及び第２の照明光源が、単一モジュールとして統合されている。

【0035】

本開示の上記の態様の利点は、第１の照明光源及び第２の照明光源が、ユーザの第１の視線及び第２の視線と実質的に一直線上になるように設計され得るような、画像センサ、第１の照明光源及び第２の照明光源を備える単一モジュールをもたらす。より有利には、画像センサは、捕捉された画像からグレアスポットを物理的に分離できるように、２つの照明光源の間に配置され得る。

【0036】

好ましいものは、上述された、又は好ましいものとして上述されたシステムであり、
第１の照明光源及び第２の照明光源の各々は、交互モードでオン及びオフに切り替えられるように動作可能であり、その結果、
第１の照明光源がオンに切り替えられると、第２の照明光源はオフに切り替えられ、
第１の照明光源がオフに切り替えられると、第２の照明光源はオンに切り替えられる。

【0037】

本開示の上記の態様の利点は、画像センサの１秒あたりのフレームが半分に低減され、より有利には、少なくとも１つのタイプのシナリオで複数の視線方向を観察できるように観察カバレッジを増加させる。本明細書に関連して、異なるタイプのシナリオが、自動車を運転しているユーザに適用可能であり得る。

【0038】

本開示の目的は、上記で定義されたシステムに上記に開示された方法のステップを実行させる、本明細書で定義されたコンピュータプログラム製品によって解決される。

【0039】

本開示の上述の態様の利点は、運転者の第１の視線及び第２の視線の捕捉された２つ以上の画像から主画像を選択して、グレアスポット除去処理のために準備する、画像処理に適したコンピュータプログラム製品をもたらす。

【0040】

本開示の目的は、上記で定義されたシステムに上記に開示された方法のステップを実行させる、本明細書で定義されたコンピュータプログラム製品を記憶したコンピュータ可読媒体によって解決される。

【0041】

本開示の上述の態様の利点は、運転者の第１の視線及び第２の視線の捕捉された２つ以上の画像から主画像を選択して、グレアスポット除去処理のために準備する、画像処理に適したコンピュータ可読媒体をもたらす。

【0042】

本開示の他の目的及び態様は、添付の図面を参照して、以下の実施形態の説明から明らかになるであろう。

【図面の簡単な説明】

【0043】

【図1】例示的な実施形態による画像処理システムのシステムブロック図である。

【図2】例示的な実施形態による画像処理システムの光切り替え時間図である。

【図3a】例示的な実施形態による画像処理システムの概略図である。

【図3b】例示的な実施形態による画像処理システムの概略図である。

【図4a】例示的な実施形態による画像処理システムによって捕捉された視線画像である。

【図4b】例示的な実施形態による画像処理システムによって捕捉された視線画像である。

【図4c】例示的な実施形態による画像処理システムによって捕捉された視線画像である。

【図4d】例示的な実施形態によるスポット置換処理の画像である。

【図5】例示的な実施形態による画像処理方法のフローチャートである。

【発明を実施するための形態】

【0044】

上記の図を参照して説明した様々な実施形態では、同様の参照符号は、いくつかの斜視図及び／又は構成において同様の構成要素を指す。

【0045】

以下の詳細な説明は、本質的に単なる例示であり、本開示、又は本開示の適用及び使用を限定することを意図するものではない。更に、本開示の先行する背景又は以下の詳細な説明で提示されるいかなる理論によっても拘束されることを意図するものではない。本開示の意図は、捕捉された画像上に現れるグレアスポットを除去するための画像処理方法及びそのためのシステムを提示することである。

【0046】

以降、「グリント」という用語は、表面から反射された光の小さな閃光の反射を指す。本明細書で使用される文脈では、「グリントスポット」は、ユーザの眼の角膜上又は視線に現れる小さな閃光の反射を指す場合がある。グリントスポットの位置ｏは、ユーザの視線方向を判定又は確認するために使用される。

【0047】

「グレア」という用語は、人間の眼の角膜に向かって透過している明るい光線を指し、場合によっては、まぶしさが一時的な盲目を引き起こし得る。一例として、「グレアスポット」が画像内に明るいスポットとして現れる場合がある。以降、本明細書で使用される文脈では、「グレアスポット」は、飽和画素又は飽和したように見える領域である。本明細書に関連して、「グレアスポット」は、ユーザのアイウェアなどの反射面から反射された少なくとも１つの照明光源によって引き起こされる。捕捉された画像内に現れているグリントスポットを生成するために、少なくとも１つの照明光源が必要である。

【0048】

本明細書で使用される「処理ユニット」という用語は、汎用プロセッサ、中央処理装置（ＣＰＵ）、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ）、コントローラ、マイクロコントローラ、ステートマシンなどを広く包含し得る。状況によっては、「処理ユニット」は、特定アプリケーション向け集積回路（ＡＳＩＣ）、プログラマブルロジックデバイス（ＰＬＤ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）などを指し得る。「処理ユニット」という用語は、処理デバイスの組み合わせ、例えば、ＤＳＰとマイクロプロセッサとの組み合わせ、複数のマイクロプロセッサ、ＤＳＰコアと組み合わせた１つ以上のマイクロプロセッサ、又は他の任意のそのような構成を指し得る。「処理ユニット」は、「処理ユニット」に動作のステップを実行させる命令のシーケンスをロードするための、メモリを含み得る。「メモリ」という用語は、電子情報を記憶することができる任意の電子構成要素を包含するように広範に解釈されるべきである。「メモリ」という用語は、ランダムアクセスメモリ（ＲＡＭ）、読み取り専用メモリ（ＲＯＭ）、不揮発性ランダムアクセスメモリ（ＮＶＲＡＭ）、プログラマブル読み取り専用メモリ（ＰＲＯＭ）、消去可能プログラマブル読み取り専用メモリ（ＥＰＲＯＭ）、電気的消去可能ＰＲＯＭ（ＥＥＰＲＯＭ）、フラッシュメモリ、磁気又は光学データストレージ、レジスタなどのプロセッサ読み取り可能メディアの様々なタイプを指し得る。「メモリ」は、プロセッサがメモリから情報を読み取り、及び／又はメモリに情報を書き込むことができる場合に、プロセッサと電子的に通信可能であると言われる。プロセッサに統合されたメモリは、プロセッサと電子的に通信している。以降、「処理ユニット」という用語はまた、複数のリソース、計算ユニット、プロセッサ及び／又はコアを単一の基板上に集積された単一の集積回路（ＩＣ）チップを使用する「システムオンチップ」（ＳｏＣ）も包含するものとみなされ得る。単一のＳＯＣは、デジタル、アナログ、混合信号、及び高周波機能のための回路、並びに任意の数の汎用及び／又は専用プロセッサ（デジタル信号プロセッサ、モデムプロセッサ、ビデオプロセッサなど）、メモリブロック（例えば、ＲＯＭ、ＲＡＭ、フラッシュなど）を含み得る。特に明記しない限り、「処理ユニット」は、ハードウェア回路とソフトウェアとの任意の特定の組み合わせに限定されず、処理ユニットによって実行される命令のための特定のソースにも限定されない。

【0049】

本開示に関連して使用される「第１」、「第２」などの用語は、様々な例示的な実施形態による異なる要素の変更を指す場合があるが、これに限定されない。表記は、重要度のシーケンスに関係なく、１つの要素を別の要素から区別するために使用され得る。一例として、「第１の視線画像」及び「第２の視線画像」は、重要性の順序に関係なく、例えば、左眼画像若しくは右眼画像、又は左眼画像及びその後の左眼画像などの、異なる視線画像を指し得る。同様に、本開示の範囲から逸脱することなく、第１の視線画像を第２の視線画像として呼ぶことができ、その逆も同様である。

【0050】

システムブロック図
図１は、例示的な実施形態による画像処理システムのシステムブロック図１００を示している。システム１００は、ホストボード１０２及び画像化ボード１０４を備える。ホストボード１０２は、飽和スポット除去アルゴリズム１２８が記憶された処理ユニット１１８、及び画像化ボード１０４などの電子構成要素に電力を供給するための電源を備える。画像化ボード１０４は、第１の照明光源１０６、第２の照明光源１０８、及び第１の照明光源１０６と第２の照明光源１０８との間に配置された画像センサ１１０を含む、電子構成要素を備える。適切なタイプの照明光源の一例は、発光ダイオード（ＬＥＤ）、垂直キャビティ面発光レーザ（ＶＣＳＥＬ）、より具体的には赤外線（ＩＲ）ＬＥＤであり得る。ＩＲ ＬＥＤを照明光源として選択した場合、近赤外線（ＮＩＲ）画像センサが使用に適した画像センサになる。電子構成要素は、電源１２０から電力を受け取る駆動回路１１６、１１６’によって駆動される。図１から観察され得るように、電源１２０により電子構成要素に供給される電力線は、電力線１２４によって表されている。任意選択的に、画像化ボード１０４は、第１の照明光源１０６及び第２の照明光源１０８の前方に位置する照明光学系１１２、１１２’を含み得る。任意選択的に、画像化光学系１１４は、画像センサ１１０の前方に配置され得る。オブジェクト又はユーザ１２６間の光力の伝送は、光力線１２２を使用して示されている。画像が画像センサ１１０によって捕捉されると、データ情報が処理ユニット１１８に伝送されて、飽和スポット除去アルゴリズム１２８によって処理される。

【0051】

好ましい実施形態では、画像センサ１１０、第１の照明光源１０６、及び第２の照明光源１０８は、単一モジュールとして統合される。この好ましい構成では、ユーザのアイウェアによって生じる画像からグレアスポットを物理的に分離できるように、２つの照明光源が画像センサをそれらの間に挟んで物理的に配置されることを必要とする。照明光源と画像センサの間に好ましい距離は存在しないが、照明光源と画像センサの間の距離が大きいほど、捕捉された画像内に現れている重なり合うグレアスポットの低減が改善される。その距離は、捕捉された画像内にグリントスポットが見えるままである限りにおいて調整することができる。好ましい実施形態では、第１の照明光源と第２の照明光源との間の距離は、約１０ｃｍ離れており、より好ましくは１０ｃｍ未満離れている。

【0052】

光切り替えモード時間図
図２は、例示的な実施形態による画像処理システムの光切り替え時間図２００を示している。

【0053】

時間図２００では、各時間周波数サイクルは、方形波によって表されている。例えば、上から１番目の方形波は、画像センサ１００がフレーム、すなわちフレームｎ、フレームｎ＋１、フレームｎ＋２、及びフレームｎ＋３において画像を捕捉する周波数を表し、画像フレームデータは、フレーム間、例えばフレームｎとフレームｎ＋１との間で定義される。上から２番目の方形波は、第１の照明光源１０６の時間周波数サイクルを表し、交互にオン及びオフのプログラマブルロジックによって制御される。同様に、最後、又は上から３番目の方形波は、第３の照明光源１０８の時間周波数サイクルを表し、交互にオン及びオフの制御ロジックによって制御される。この回路制御信号は、ホストボード１０２の汎用入力／出力（ＧＰＩＯ）、プログラミングソフトウェア、又は追加のプログラマブルロジックデバイスのいずれかを使用することによって達成され得る。

【0054】

図２に示される例示的な実施形態では、第１の照明光源１０６用の制御信号がオンに切り替えられると、第２の照明光源１０８の制御信号はオフになり、画像センサ１１０は第１の画像を捕捉する。第１の照明光源１０６の制御信号がオフに切り替えられると、第２の照明光源１０８の制御信号はオンになり、画像センサ１１０は第２の画像を捕捉する。したがって、この制御ロジックを使用して交互切り替えモードが達成される。システム１００によって実施される場合、画像は、第１の照明光源１０６及び第２の照明光源１０８のオン／オフを交互に切り替えることにより、画像センサ１１０によって捕捉される。

【0055】

概略図
交互モードで画像を捕捉する態様を説明するために、図３ａの３００ａは、ユーザの左眼用の交互切り替えモードの概略図を示し、図３ｂの３００ｂは、ユーザの右眼用の交互切り替えモードの概略図を示している。

【0056】

３００ａでは、ユーザの第１の視線３０２及び第２の視線３０４が示され、ユーザの左眼及び右眼をそれぞれ表している。この例示的な一例では、ユーザはアイウェア３０６を着用しており、これは、反射面から反射された光線が、ユーザの眼の角膜に向かって透過し、その結果、捕捉された画像内にグレアスポットが現れることの一般的な原因になる。これは、アイウェア表面の一部、例えばアイウェアのフレームから反射された光線が、眼の角膜に向かって透過することの一般的な原因である。

【0057】

この例示的な実施形態では、ユーザが面する単一モジュール（Ａ）は、第１の照明光源１０６、第２の照明光源１０８、及び画像センサ１１０を備える。図２の下で説明したような交互切り替えモードを適用することにより、第１の照明光源１０６はオンに切り替えられ、したがって、第１の視線３０２、すなわちユーザの左視線に向かって第１の光線を透過する。第２の照明光源１０８はオフのままであり、したがって、第２の視線３０４、すなわち使用者の右眼に対して光線は透過されない。第１の視線に向かう第１の光線の透過に応じて、画像センサ１００は、第１の視線画像、すなわち、ユーザの左眼画像を捕捉する。

【0058】

３００ｂでは、第２の照明光源１０８はオンに切り替えられ、それによって、第２の視線３０４、すなわち、ユーザの右視線に向かって第１の光線を透過する。第１の照明光源１０６はオフのままであり、したがって、第１の視線３０２、すなわち使用者の左眼に対して光線は透過されない。第２の視線に向かう第２の光線の透過に応じて、画像センサ１００は、第２の視線画像、すなわち、ユーザの第２の画像を捕捉する。

【0059】

第１の視線画像及び第２の視線画像を捕捉する上述の交互シーケンスは、連続的であり得る。交互シーケンスは、左眼－右眼シーケンスであってもよく、又は左眼－左眼の後に右眼－右眼及び左眼、左眼シーケンスが続いてもよい。すなわち、画像センサ１１０は、本開示の主発明の概念から逸脱することなく、左視線画像の後に右視線画像を交互に捕捉してもよく、又は２つの左視線画像の後に２つの右視線画像を交互に捕捉してもよい。更に、当業者には明らかであろうように、本明細書に開示される方法の変更、例えば照明光源切り替えオン時間の延長、画像センサ露出時間の増加、利得設定の調整、照明光源駆動電流の動的な調整、及び／又は光学設計の改善により、本発明の概念を逸脱することなくより良好な結果をもたらすことができる。

【0060】

上述の交互照明切り替え方法を適用することにより、捕捉された画像又は複数の画像を、眼追跡アプリケーションに利用することができる。主画像は、更なる処理のために、飽和スポット除去アルゴリズムによって選択されて、視線方向を判定することができる。したがって、本明細書に開示されるシステムの有効フレームレートは、半分に低減される。一例として、画像センサが６０フレーム／秒（ｆｐｓ）で動作する場合、実際に使用可能な画像フレームレートは、３０ｆｐｓに低減される。有効フレームレートを低減させる主な利点は、異なる観察シナリオの下で捕捉された少なくとも２つの画像を得るために、観察カバレッジを増加させることである。フレームレートの低減にかかわらず、眼追跡機能を必要とする自動車アプリケーション、例えば自動車での運転者監視機能に対して、低減されたフレームレートでも依然として十分である。その結果、実際に使用可能な画像フレームレートを低減することにより、処理ユニット又は飽和スポット除去アルゴリズムは、非常に時間効率の良い方法で、且つ高精度で、グレアスポット又は視線方向を特定するように動作可能である。自動車内の眼追跡アプリケーションに関連して、例えば、運転者の視線上に車両情報を表示する際に、安全性を確保するために時間効率が重要である。

【0061】

例示的な実施形態１
以降、図４ａ～図４ｄを使用して説明する例示的な実施形態は、主視線画像の選択中に比較するために２つの視線画像において特定された複数の飽和スポットを示している。特に、以下の要素は、捕捉された画像内に現れ得るグレアスポットのタイプを示すものであり、ここで、
・要素４０６は、アイウェアの内面から反射された左照明光源によって生じた画像内のグレアスポットを表し、
・要素４０８は、アイウェアの外面から反射された左照明光源によって生じた画像内のグレアスポットを表し、
・要素４１０は、アイウェアの内面から反射された右照明光源によって生じた画像内のグレアスポットを表し、
・要素４１２は、アイウェアの外面から反射された右照明光源によって生じた画像内のグレアスポットを表し、
・要素４１４は、左照明光源がオンに切り替えられているときに捕捉された画像内に影効果を生じさせている仮想グレアスポット領域を表し、
・要素４１６は、右照明光源がオンに切り替えられているときに捕捉された画像内に影効果を生じさせている仮想グレアスポット領域を表し、
・要素４１８は、捕捉された画像内に現れているグリントスポットを表す。

【0062】

簡潔且つ明瞭にするために、図４ａ～図４ｄに示される以下の実施形態では、第１の照明光源１０６を左照明光源と呼び、第２の照明光源１０８を右照明光源と呼ぶものとする。

【0063】

図４ａは、例示的な実施形態による画像処理システム１００によって捕捉された視線画像４００ａを示している。本明細書に開示されるように、主視線画像の選択は、ユーザの左眼又は右眼に関係なく、捕捉された全ての視線画像から最も理想的又は有望な視線画像を判定することである。これにより、その後のグレアスポット除去ステップを実行するのに必要な時間を低減し、したがって、より高速な画像処理方法をもたらす。

【0064】

図４ａに示されるように、主視線画像の選択のために、両方の左眼画像が比較される。視線画像４２０は、右眼に光線を透過させることに対応する照明光源がオンに切り替えられているときに捕捉された左眼画像を示している。これに対して、視線画像４２２は、左眼に光線を透過させることに対応する照明光源がオンに切り替えられている状態で捕捉された左眼画像を示している。言い換えれば、視線画像４２０は、第２の照明光源１０８がオンに切り替えられているときに捕捉された第１の画像を示し、視線画像４２２は、第１の照明光源１０８がオンに切り替えられているときに捕捉された第１の画像を示している。図４ａから観察され得るように、要素４１４、４１０、４１４’、及び４１２は、視線画像４２０上にグレアスポットとして現れるが、ユーザの眼画像３０２のグリントスポット４１８を覆うグレアスポットの重なり合いは存在しない。次いで、飽和スポット除去アルゴリズムは、左側視線画像４２２又は４２４のいずれかを主画像として選択し、更なる処理のために選択された同じ主視線画像を連続的に使用して、視線追跡機能を必要とするアプリケーションのために準備することができる。

【0065】

例示的な実施形態２
図４ｂは、例示的な実施形態による画像処理システム１００によって捕捉された第１の視線画像４２０及び第２の視線画像４２２を示している。第１の視線画像４２０は、右側照明光源１０８がオンに切り替えられているときに捕捉された左眼画像を表し、第２の視線画像４２２は、左側照明光源１０６がオンに切り替えられているときに捕捉された左眼画像を表している。第１の視線画像４２０は、グレアスポット、すなわち、要素４１４、４１４’、４１０、及び４１２が画像内に現れているように見える。同様に、第２の視線画像４２２は、グレアスポット要素４０６、４０８、４１６、４１６’が捕捉された画像上に現れている。要素４１６はアイウェアの内面から反射している右照明によって生じる仮想グレアスポットのグレアスポットであるため、第１の視線画像４２０のみで、グリントスポット４１８を覆うグレアスポットが重なり合っている。そのようなシナリオでは、飽和スポット除去アルゴリズム１２８は、グレアスポット又は要素４１２を、高飽和スポット又は飽和画素スポットとして特定する。飽和スポット除去アルゴリズム１２８は、視線画像４２０と視線画像４２２との比較に基づいて、視線画像４２２がグリントスポットを位置特定するためにより有望な画像とみなされるため、視線追跡機能処理のための主視線画像として視線画像４２２を選択することができる。

【0066】

例示的な実施形態３
図４ｃは、例示的な実施形態による画像処理システム１００によって捕捉された第１の視線画像４２４及び第２の視線画像４２６を示している。

【0067】

この例示的な実施形態では、第１の視線画像４２４は、主視線画像の選択のために、左照明光源１０６がオンに切り替えられているときに捕捉されたユーザの左眼３０２を表し、第２の視線画像４２６は、左照明光源１０６がオンに切り替えられているときに捕捉されたユーザの右眼３０４を表している。この例示的な実施形態では、第１の視線画像４２４におけるグリントスポットの位置は、グリントスポットによって覆われ、特に要素４０６は、グリントスポット４１８と重なり合っている。その結果、選択された主視線画像に基づいて視線方向を確認するために、更なる画像処理のための飽和除去スポットアルゴリズム１２８によって、第２の視線画像４２６が主視線画像として選択される。

【0068】

例示的な実施形態４
図４ｄは、例示的な実施形態による画像処理システム１００によって捕捉された第１の視線画像４２０及び第２の視線画像４２２を示している。

【0069】

例示的な実施形態では、選択された主視線画像上で特定された飽和スポット又は飽和画素スポットの加重中心が、処理ユニットによって計算される。図４ｄに示されるように、汎用的な形状、例えば円領域（又は他の適用可能な形状）が、選択された視線画像のうちの１つ、すなわち第１の視線画像４２０において特定された飽和画素スポットの全領域を覆っている。続くステップでは、同じ汎用形状を使用して、同様の加重中心を有する、選択された別の視線画像、すなわち第２の視線画像を覆い、汎用形状に含まれる画素で置換する。この例では、置換領域は、第１の視線画像４２０に示されるような要素４１４であってよく、第２の画像４２２に示されるような要素４０８によって表される包囲された領域であるように見えている。有利には、対応する画素領域又は対応する画素スポットを置換するこの処理は、グレアスポット除去処理中の情報の損失を軽減する。

【0070】

方法／飽和スポット除去アルゴリズム
図５は、例示的な実施形態による画像処理方法のフローチャート５００を示している。

【0071】

例示的な実施形態では、ステップ５０２において、第１の光線が第１の視線に向かって透過され、第１の視線画像が画像センサによって捕捉される。次のステップ５０４では、第２の光線が第２の視線に向かって透過され、第２の視線画像が画像センサによって捕捉される。ステップ５０２及び５０４の両方では、画像センサは、同じ画像センサであってもよい。

【0072】

別の例示的な実施形態では、初期シーケンスにおいて２つの第１の視線画像が捕捉されるように、５０２のステップが繰り返され、後続シーケンスにおいて２つの第２の視線画像が捕捉されるように、５０４のステップが繰り返される。

【0073】

ステップ５０６では、捕捉された少なくとも２つの異なる視線画像を比較し、グリントスポットと重なり合うグレアスポットがない、又はグリントスポットを覆うグレアスポットの重なり合う領域が最も少ない視線画像を特定することによって、主視線画像を選択するための処理が実行される。いったん選択が完了すると、ステップ５０８において、主視線画像が生成される。ステップ５０６及び５０８は、飽和スポット除去アルゴリズムによって実行されてもよい。

【0074】

ステップ５１０では、飽和スポット除去アルゴリズムは、グレアスポットに似ている少なくとも１つの飽和スポット、及びグリントスポットに似ている飽和スポットを特定する。グレアスポットに似ている飽和スポットの特定は、２つの基準、すなわち、（１）飽和スポットが主画像選択に使用される２つの視線画像のうちの１つにのみ現れる、（２）グレアスポットサイズがグリントスポットに似ているスポットと比較してより大きなサイズを有する、に基づいてもよい。飽和スポットは、飽和画素スポットとして分類され得る。

【0075】

選択された主視線画像において飽和スポット又はグレアスポットが特定された場合、次のステップ５１２において、グレアスポット除去処理が実行される（以下の説明を参照）。選択された主視線画像においてグレアスポットが特定されない場合、主視線画像は、眼追跡アプリケーションのためにステップ５１６において結果画像として生成される。

【0076】

任意選択的に、ステップ５１４が実行されて、主視線画像から除去されたグレアスポットを、第一の視線画像又は第二の視線画像から取得された対応領域又は対応画素スポットと置換することができる。２つの画像のいずれが主視線画像として選択されるかに応じて、他の画像は、対応する領域又は対応する画素スポットを置換するために利用される。このステップ５１４の利点は、ステップ５１２におけるグレアスポット除去処理によるデータ情報の損失を軽減することである。

【0077】

いったんステップ５１４が完了すると、ステップ５１６において、結果画像がもたらされる。結果画像内に存在するグリントスポットは、眼追跡アプリケーションのために、ユーザの視線方向を確認するために使用され得る。

【0078】

このように、迅速な処理時間及び低減された画像フレームレートを伴う高精度の眼追跡アプリケーションの画像からグレアスポットを除去する画像処理方法及びシステムが提供されていることがわかり得る。より有利には、画像フレームレートの低減により、移動オブジェクトの高速画像処理を可能にし、視線方向を確認するための異なるタイプのシナリオの下で捕捉された複数の画像を生成するための観察カバレッジを提供する。例示的な実施形態が本開示の前述の詳細な説明において提示されてきたが、膨大な数の変形例が存在することを理解されたい。

【0079】

更に、例示的な実施形態は例示に過ぎず、本開示の範囲、適用性、動作、又は構成を何ら制限することを意図していないことを理解されたい。むしろ、前述の詳細な説明は、当業者に本開示の例示的な実施形態を実施するための便利なロードマップを提供することになり、添付の特許請求の範囲に規定される本開示の範囲から逸脱することなく、例示的な実施形態において説明された要素の機能及び配置並びに動作の方法において様々な変更を行うことができることが理解されるであろう。
次に、本発明の別の観点からの実施形態を列挙する。
（１）捕捉された画像上に現れるグレアスポットを除去するための画像処理方法（５００）であって、
・以下
第１の照明光源（１０６）によって、第１の視線に向かう第１の光線
及び
第２の照明光源（１０８）によって、第２の視線に向かう第２の光線
を透過することと、
・画像センサ（１１０）によって、
前記第１の視線の画像を含む第１の視線画像
及び
前記第２の視線の画像を含む第２の視線画像
を捕捉すること（５０２、５０４）と
を含む、方法（５００）において、
・飽和スポット除去アルゴリズム（１２８）によって、
ｏ前記捕捉された第１の視線画像
及び
ｏ前記捕捉された第２の視線画像
の中から主視線画像を選択することを含み、
前記主視線画像が、飽和スポット除去処理のために選択されて、視線追跡アプリケーションのために視線方向を確認するための結果視線画像（５１４）を生成する、ことを特徴とする、方法（５００）である。
（２）
・前記飽和スポット除去アルゴリズム（１２８）によって、
選択された前記主視線画像内に現れている、
ｏグレアスポット（４０６、４０８、４１０、４１２、４１４、４１６）に似ている少なくとも１つの飽和スポット、
及び／又は
ｏグリントスポットに似ている飽和スポット
を特定すること（５０６）を更に含む、上記の（１）に記載の方法（５００）。
（３）
前記飽和スポット除去アルゴリズム（１２８）によって、選択された前記主視線画像からグレアスポット（４０６、４０８、４１０、４１２、４１４、４１６）に似ている前記少なくとも１つの飽和スポットを除去すること（５１０）
を更に含む、上記の（１）又は（２）に記載の方法（５００）。
（４）
前記画像センサ（１１０）によって、前記第１の視線画像及び前記第２の視線画像を連続的な交互シーケンスで捕捉すること
を更に含む、上記の（１）に記載の方法（５００）。
（５）
前記連続的な交互シーケンスが、
初期シーケンスにおいて、
前記第１の視線に向かって透過されている前記第１の光線に応じて、前記第１の視線画像を捕捉することと、
後続シーケンスにおいて、
前記第２の視線に向かって透過されている前記第２の光線に応じて、前記第２の視線画像を捕捉することと
を含む、上記の（４）に記載の方法。
（６）
前記連続的な交互シーケンスが、
前記飽和スポット除去アルゴリズム（１２８）によって、連続的に実行することであって、
前記第１の視線画像を捕捉するための１つの初期シーケンスに、前記第２の視線画像を捕捉するための１つの後続シーケンスが続く、こと
を更に含む、上記の（４）又は（５）に記載の方法（５００）。
（７）
前記交互シーケンスが、
前記飽和スポット除去アルゴリズム（１２８）によって、連続的に実行することであって、
前記第１の視線画像を捕捉するための前記初期シーケンスの少なくとも２つのシーケンスに、
前記第２の視線画像を捕捉するための前記後続シーケンスの少なくとも２つのシーケンスが続く、こと
を更に含む、上記の（４）又は（５）に記載の方法（５００）。
（８）
グレアスポット（４０６、４０８、４１０、４１２、４１４、４１６）に似ている前記飽和スポットを特定すること、及びグリントスポットに似ている前記飽和スポットを特定することが、
前記飽和スポット除去アルゴリズム（１２８）によって、捕捉された前記第１の視線画像を捕捉された前記第２の視線画像と比較することによって、少なくとも１つの飽和画素領域を特定すること
を更に含む、上記の（１）から（７）のいずれか一つに記載の方法（５００）。
（９）
前記飽和スポット除去アルゴリズムによって、前記飽和画素領域を、グレアスポットに似ている前記飽和スポットとして分類すること
を更に含む、上記の（１）から（８）のいずれか一つに記載の方法（５００）。
（１０）
前記飽和スポット除去アルゴリズム（１２８）によって、グレアスポット（４０６、４０８、４１０、４１２、４１４、４１６）に似ている前記飽和画素領域を、前記主視線画像から除去すること（５１０）と、
前記飽和スポット除去アルゴリズム（１２８）によって、グレアスポット（４０６、４０８、４１０、４１２、４１４、４１６）に似ている前記飽和画素領域を、捕捉された前記第１の視線画像のうち１つ又は前記第２の視線画像のうち１つから取得された対応する領域と置換すること（５１２）と
を更に含む、上記の（１）から（９）のいずれか一つに記載の方法。
（１１）
前記飽和スポット除去アルゴリズム（１２８）によって、前記結果視線画像内に存在するグリントスポット（４１８）を判定すること
を更に含む、上記の（１）から（１０）のいずれか一つに記載の方法（５００）。
（１２）
前記飽和スポット除去アルゴリズムによって、眼追跡アプリケーションのために、前記結果画像上で判定された前記グリントスポット（４１８）の位置に応じて視線方向を確認すること
を更に含む、上記の（１１）に記載の方法（５００）。
（１３）
眼追跡アプリケーションのために画像を処理するためのシステム（１００）であって、
・第１の視線に向かって第１の光線を透過するように動作可能な第１の照明光源（１０６）と、
・第２の視線に向かって第２の光線を透過するように動作可能な第２の照明光源（１０８）と、
・以下
ｏ前記第１の視線（３０２）の画像を含む第１の視線画像
及び
ｏ前記第２の視線（３０４）の画像を含む第２の視線画像
を捕捉するように動作可能な画像センサ（１１０）と、
・前記画像センサ（１１０）によって捕捉された画像を処理するように動作可能な処理ユニット（１１８）と、
を備える、システム（１００）において、
・前記システム（１００）が、
ｏ前記捕捉された第１の視線画像と前記捕捉された第２の視線画像との中から主視線画像を選択する
ように動作可能な飽和スポット除去アルゴリズム（１２８）を更に備え、
前記主視線画像が、視線追跡アプリケーションのために、グレアスポット除去用に選択されて、視線方向を確認するための結果視線画像を生成する
ことを特徴とする、システム（１００）。
（１４）
前記画像センサ（１１０）、前記第１の照明光源（１０６）、及び前記第２の照明光源（１０８）が、単一モジュール（Ａ）として統合されている、上記の（１３）に記載のシステム（１００）。
（１５）
前記第１の照明光源（１０６）及び前記第２の照明光源（１０８）の各々が、交互モードでオン及びオフに切り替えられるように動作可能であり、その結果、
前記第１の照明光源（１０６）がオンに切り替えられると、前記第２の照明光源（１０８）がオフに切り替えられ、
前記第１の照明光源（１０６）がオフに切り替えられると、前記第２の照明光源（１０８）がオンに切り替えられる、
上記の（１３）又は（１４）に記載のシステム（１００）。
（１６）
上記の（１３）から（１５）のいずれか一つに記載のシステム（１００）に、上記の（１）から（１２）のいずれか一つに記載の方法（５００）の前記ステップを実行させるための命令を含む、コンピュータプログラム製品。
（１７）
上記の（１６）に記載の前記コンピュータプログラムを記憶しているコンピュータ可読媒体。

【符号の説明】

【0080】

１００ システムブロック図
１０２ ホストボード
１０４ 画像化ボード
１０６ 第１の照明光源／左光源
１０８ 第２の照明光源／右光源
１１０ 画像センサ
１１２、１１２’ 照明光学系
１１４ 画像化光学系
１１６、１１６’ 駆動回路
１１８ 処理ユニット
１２０ 電源
１２２ 光力
１２４ 電力
１２６ オブジェクト／ユーザ
１２８ 飽和スポット除去アルゴリズム
１３０ データ情報伝送線
２００ 光切り替えモード時間図
２０２ 画像フレームデータ
３００ 概略図
３００ａ 交互切り替えモード左
３００ｂ 交互切り替えモード右
３０２ ユーザの第１の視線／左視線
３０４ ユーザの第２の視線／右視線
３０６ アイウェア
（Ａ） 単一モジュール
４００ａ 視線画像の例示的な比較、重なり合うスポットなし
４００ｂ 視線画像の例示的な比較、１つの画像が重なり合うスポットあり
４００ｃ 視線画像の例示的な比較、両方の画像が重なり合うスポットあり
４００ｄ 対応する領域の置換の例示的な実施形態
４０２ －
４０４ －
４０６ アイウェアの内面から反射された左照明により生じるグレアスポット
４０８ アイウェアの外面から反射された左照明により生じるグレアスポット
４１０ アイウェアの内面から反射された右照明により生じるグレアスポット
４１２ アイウェアの外面から反射された右照明により生じるグレアスポット
４１４ 左照明がオンである場合の仮想グレアスポット領域
４１６ 右ＬＥＤがオンに切り替えられている場合の仮想グレアスポット領域
４１８ グリントスポット
４２０ 左眼画像、右側照明オン
４２２ 左眼画像、左側照明オン
４２４ 左眼画像、左側のみオン
４２６ 右眼画像、左側照明のみオン
５００ フローチャート
５０２ 第１の視線画像を捕捉する
５０４ 第２の視線画像の捕捉する
５０６ 少なくとも１つの飽和画素領域を特定する
５０８ 飽和画素領域がグレアスポットに似ているかどうかを分類する
５１０ グレアスポットを除去する
５１２ グレアスポットを別の視線画像から取得された対応する領域と置換する（任意選択的）
５１４ 結果画像の出力

【図1】

【図2】

【図3a】

【図3b】

【図4a】

【図4b】

【図4c】

【図4d】

【図5】