(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-07-27
(45)【発行日】2022-08-04
(54)【発明の名称】反射を検出する装置及び方法
(51)【国際特許分類】
H04N 5/232 20060101AFI20220728BHJP
H04N 5/225 20060101ALI20220728BHJP
H04N 5/235 20060101ALI20220728BHJP
H04N 13/376 20180101ALI20220728BHJP
G06T 7/174 20170101ALI20220728BHJP
G06T 7/246 20170101ALI20220728BHJP
【ＦＩ】
H04N5/232 290
H04N5/225 600
H04N5/235 400
H04N13/376
G06T7/174
G06T7/246
【請求項の数】
22
(21)【出願番号】P 2018219280
(22)【出願日】2018-11-22
(65)【公開番号】P2019115037
(43)【公開日】2019-07-11
【審査請求日】2020-09-02
(31)【優先権主張番号】10-2017-0177131
(32)【優先日】2017-12-21
(33)【優先権主張国・地域又は機関】KR
(73)【特許権者】
【識別番号】390019839
【氏名又は名称】三星電子株式会社
【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．
【住所又は居所原語表記】１２９，Ｓａｍｓｕｎｇ－ｒｏ，Ｙｅｏｎｇｔｏｎｇ－ｇｕ，Ｓｕｗｏｎ－ｓｉ，Ｇｙｅｏｎｇｇｉ－ｄｏ，Ｒｅｐｕｂｌｉｃ ｏｆ Ｋｏｒｅａ
(74)【代理人】
【識別番号】100107766
【弁理士】
【氏名又は名称】伊東 忠重
(74)【代理人】
【識別番号】100070150
【弁理士】
【氏名又は名称】伊東 忠彦
(74)【代理人】
【識別番号】100091214
【弁理士】
【氏名又は名称】大貫 進介
(72)【発明者】
【氏名】姜 東佑
(72)【発明者】
【氏名】南 東▲ぎょん▼
(72)【発明者】
【氏名】許 珍九
【審査官】津幡 貴生
(56)【参考文献】
【文献】特開２００７－０９３３０６（ＪＰ，Ａ）
【文献】米国特許出願公開第２００６／０２２８００３（ＵＳ，Ａ１）
【文献】特開２００７－２３５４１６（ＪＰ，Ａ）
【文献】特開２０１０－２４４１５６（ＪＰ，Ａ）
【文献】特開２００３－０３７７６６（ＪＰ，Ａ）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ｈ０４Ｎ ５／２３２
Ｈ０４Ｎ ５／２３５
Ｈ０４Ｎ １３／３７６
Ｈ０４Ｎ ５／２２５
Ｇ０６Ｔ ７／１７４
Ｇ０６Ｔ ７／２４６
(57)【特許請求の範囲】
【請求項1】
反射を検出する装置によって実行される、反射を検出する方法において、赤外線光源の活性化に基づいて、オブジェクトの入力イメージをイメージ取得部により取得するステップと、
前記赤外線光源の不活性化に基づいて、前記オブジェクトの基準イメージを取得するステップと、
前記入力イメージ及び前記基準イメージに基づいて、前記入力イメージから反射領域を抽出するステップと、
を含み、前記方法は、
前記オブジェクトの位置を追跡するステップと、
赤外線アレイに含まれた複数の赤外線光源の中から、前記追跡された位置に対応する少なくとも１つの赤外線光源を指定するステップであって、前記オブジェクトの移動が検出された場合に、前記オブジェクトの位置に向かう赤外線の方向と前記オブジェクトから前記イメージ取得部に向かう方向が予め決定された角度を保持するように、前記複数の赤外線光源のうち少なくとも１つの赤外線光源が活性化される、ステップと、
をさらに含む、反射を検出する方法。
【請求項2】
前記入力イメージを取得するステップは、オン区間の間に前記赤外線光源を活性化するステップを含み、前記基準イメージを取得するステップは、オフ区間の間に前記赤外線光源を不活性化するステップを含む、請求項１に記載の反射を検出する方法。
【請求項3】
前記入力イメージを取得するステップは、前記オン区間の間に、前記オブジェクトから受信された第１の複数の光線に基づいて前記入力イメージを生成するステップをさらに含み、
前記基準イメージを取得するステップは、前記オフ区間の間に、前記オブジェクトから受信された第２の複数の光線に基づいて前記基準イメージを生成するステップをさらに含む、請求項２に記載の反射を検出する方法。
【請求項4】
前記入力イメージを生成するステップは、前記オン区間の第１フレームの第１部分の間に、前記オブジェクトから受信された前記第１の複数の光線の第１強度を収集するステップと、
前記入力イメージを生成するために前記第１強度を前記入力イメージの第１ピクセルの第１ピクセル値に決定するステップと、
を含み、
前記基準イメージを生成するステップは、
前記オフ区間の第２フレームの第２部分の間に、前記オブジェクトから受信された前記第２の複数の光線の第２強度を収集するステップと、
前記基準イメージを生成するために前記第２強度を前記基準イメージの第２ピクセルの第２ピクセル値に決定するステップと、
を含む、請求項３に記載の反射を検出する方法。
【請求項5】
前記反射領域を抽出するステップは、前記基準イメージの第１ピクセル値を前記第１ピクセル値にそれぞれ対応する前記入力イメージの第２ピクセル値から差し引くことで、前記入力イメージと前記基準イメージとの間の差を指示する差異マップを生成するステップと、
前記差異マップに基づいて前記入力イメージから前記反射領域を抽出するステップと、
を含む、請求項１ないし４のうち何れか一項に記載の反射を検出する方法。
【請求項6】
前記反射領域を抽出するステップは、前記入力イメージと前記基準イメージとの間の差異マップのうち閾値を超過する差値を有するエレメントを決定するステップと、
前記入力イメージで前記エレメントに対応するピクセルを前記反射領域として決定するステップと、
をさらに含む、請求項５に記載の反射を検出する方法。
【請求項7】
前記入力イメージを取得するステップは、オン区間の間指定された、前記複数の赤外線光源のうち前記少なくとも１つの赤外線光源を活性化するステップを含み、前記基準イメージを取得するステップは、オフ区間の間指定された、前記複数の赤外線光源のうち前記少なくとも１つの赤外線光源を不活性化するステップを含む、請求項１ないし６のうち何れか一項に記載の反射を検出する方法。
【請求項8】
前記入力イメージを取得するステップは、前記赤外線光源が活性化してオン区間の間に前記オブジェクトから受信された第１光線の赤外線領域に基づいて前記入力イメージを取得するステップを含み、前記基準イメージを取得するステップは、前記赤外線光源が不活性化されるオフ区間の間に前記オブジェクトから受信された第２光線の可視光線領域に基づいて前記基準イメージを取得するステップを含む、請求項１ないし７のうち何れか一項に記載の反射を検出する方法。
【請求項9】
前記赤外線光源が活性化してオン区間の第１時間の長さ、及び前記赤外線光源が不活性化されるオフ区間の第２時間の長さを動的に調整するステップをさらに含む、請求項１ないし８のうち何れか一項に記載の反射を検出する方法。
【請求項10】
前記入力イメージから前記反射領域を除去するステップと、前記反射領域が除去された入力イメージに基づいてユーザの視線を追跡するステップと、
をさらに含む、請求項１ないし９のうち何れか一項に記載の反射を検出する方法。
【請求項11】
少なくとも１つの赤外線光源を指定する前記ステップにおいて、前記反射領域が最小化されるように、前記複数の赤外線光源のうち少なくとも１つの赤外線光源が活性化される、請求項１ないし１０のうち何れか一項に記載の反射を検出する方法。
【請求項12】
前記赤外線光源が活性化してオン区間の開始タイミングから第１中間タイミングまで前記赤外線光源の光線強度を次第に増加させるステップと、前記オン区間の前記第１中間タイミングから第１終了タイミングまで前記赤外線光源の光線強度を次第に減少させるステップと、
前記赤外線光源が不活性化されるオフ区間の第２開始タイミングから第２中間タイミングまで前記赤外線光源の光線強度を次第に減少させるステップと、
前記オフ区間の前記第２中間タイミングから第２終了タイミングまで前記赤外線光源の光線強度を次第に増加させるステップと、
をさらに含む、請求項１ないし１１のうち何れか一項に記載の反射を検出する方法。
【請求項13】
反射検出装置及びユーザの間に光反射を誘発し得る透明な物体が検出される間に、前記赤外線光源を周期的に不活性化するステップをさらに含む、請求項１ないし１２のうち何れか一項に記載の反射を検出する方法。
【請求項14】
前記入力イメージを取得するステップは、オン区間の間に前記赤外線光源の光源強度をオフレベルからオンレベルに増加させるステップを含み、前記基準イメージを取得するステップは、オフ区間の間に、前記赤外線光源の光源強度を前記オンレベルから前記オフレベルに減少させるステップを含む、請求項２に記載の反射を検出する方法。
【請求項15】
請求項１～１４のいずれか一項に記載の方法を反射検出装置のコンピュータに実行させるコンピュータプログラム。
【請求項16】
反射を検出する装置において、赤外線光源の活性化に基づいてオブジェクトの入力イメージを取得し、前記赤外線光源の不活性化に基づいて前記オブジェクトの基準イメージを取得するイメージ取得部と、
前記入力イメージ及び前記基準イメージに基づいて、前記入力イメージから反射領域を抽出するプロセッサと、
前記イメージ取得部と離隔して配置される赤外線アレイと、
を含み、前記プロセッサは、前記オブジェクトの位置を追跡し、前記赤外線アレイに含まれた複数の赤外線光源の中から、前記追跡された位置に対応する少なくとも１つの赤外線光源を指定し、
前記オブジェクトの移動が検出された場合に、前記オブジェクトの位置に向かう赤外線の方向と前記オブジェクトから前記イメージ取得部に向かう方向が予め決定された角度を保持するように、前記複数の赤外線光源のうち少なくとも１つの赤外線光源が活性化される、反射を検出する装置。
【請求項17】
前記イメージ取得部と離隔して配置された、複数の赤外線光源を含む赤外線アレイをさらに含み、前記プロセッサは、オン区間の間に前記複数の赤外線光源のうち少なくとも１つを活性化し、オフ区間の間に前記複数の赤外線光源のうち少なくとも１つを不活性化する、請求項１６に記載の反射を検出する装置。
【請求項18】
前記プロセッサは、前記基準イメージの第１ピクセル値を前記第１ピクセル値にそれぞれ対応する前記入力イメージの第２ピクセル値から差し引くことで、前記入力イメージと前記基準イメージとの間の差を指示する差異マップを生成し、前記差異マップに基づいて前記入力イメージから前記反射領域を抽出する、請求項１６又は１７に記載の反射を検出する装置。
【請求項19】
前記イメージ取得部は、前記赤外線光源が活性化してオン区間の間第１光線及び前記赤外線光源が不活性化されるオフ区間の間第２光線を前記オブジェクトから受信し、前記プロセッサは、前記第１光線の赤外線領域に基づいて前記入力イメージを取得し、前記第２光線の可視光線領域に基づいて前記基準イメージを取得する、請求項１６ないし１８のうち何れか一項に記載の反射を検出する装置。
【請求項20】
前記反射領域が最小化されるように、前記複数の赤外線光源のうち少なくとも１つの赤外線光源が活性化される、請求項１７ないし１９のうち何れか一項に記載の反射を検出する装置。
【請求項21】
反射を検出する装置によって実行される反射を検出する方法において、赤外線光源の活性化に基づいてオブジェクトの入力イメージをイメージ取得部により取得するステップと、
前記赤外線光源の不活性化に基づいて前記オブジェクトの基準イメージを取得するステップと、
前記基準イメージの第１ピクセル値を前記第１ピクセル値にそれぞれ対応する前記入力イメージの第２ピクセル値から差し引くことで差異マップを生成するステップと、
前記差異マップで閾値を超過する差値を有するエレメントを決定するステップと、
前記エレメントに対応する反射領域を前記入力イメージから除去するステップと、
を含み、前記方法は、
前記オブジェクトの位置を追跡するステップと、
赤外線アレイに含まれた複数の赤外線光源の中から、前記追跡された位置に対応する少なくとも１つの赤外線光源を指定するステップであって、前記オブジェクトの移動が検出された場合に、前記オブジェクトの位置に向かう赤外線の方向と前記オブジェクトから前記イメージ取得部に向かう方向が予め決定された角度を保持するように、前記複数の赤外線光源のうち少なくとも１つの赤外線光源が活性化される、ステップと、
をさらに含む、反射を検出する方法。
【請求項22】
前記赤外線光源が不活性化されるオフインターバルの第２時間の長さよりも短い、前記赤外線光源が活性化されるオン区間の第１時間の長さを調整するステップをさらに含む、請求項２１に記載の反射を検出する方法。
【発明の詳細な説明】
【技術分野】
【0001】
開示される実施形態は、反射を検出する装置及び方法等に関連する。
【背景技術】
【0002】
カメラ基盤の目追跡技術は、例えば、視点追跡基盤の無メガネ３Ｄ超多視点ディスプレイなど、多くの分野で活用されている。カメラ基盤の目追跡装置は、明るい高照度の環境（例えば、４００Ｌｕｘ）では適切に動作するものの、低照度の環境ではカメラ映像の低品質化によって適切には動作しなくなってしまうことが懸念される。一方、ＴＶ視聴やモバイル機器は、明るい場所だけではなく暗い場所でも頻繁に使用され、次世代車両用３Ｄヘッドアップディスプレイ（ＨＵＤ：Ｈｅａｄ－ｕｐ ｄｉｓｐｌａｙ）の技術においても夜の運転が考慮されなければならない。
【0003】
夜間又は暗い場所のような低照度の環境でカラーカメラを用いてユーザの目を追跡する場合、映像品質が劣化して目追跡の正確度及び成功率が低下するため、赤外線カメラを使用することが考えられるかもしれない。しかしながら、赤外線カメラの場合、メガネ着用者の目追跡に関する正確度及び成功率は、レンズの反射等によって低下してしまうことが懸念される。
【発明の概要】
【発明が解決しようとする課題】
【0004】
一実施形態に係る反射を検出する装置は、赤外線光源の活性化及び不活性化を繰り返すことで、イメージから反射領域を取得することにある。
【課題を解決するための手段】
【0005】
一実施形態に係る反射を検出する装置によって実行される、反射を検出する方法は、赤外線光源の活性化に基づいて、オブジェクトの入力イメージを取得するステップと、前記赤外線光源の不活性化に基づいて、前記オブジェクトの基準イメージを取得するステップと、前記入力イメージ及び前記基準イメージに基づいて、前記入力イメージから反射領域を抽出するステップとを含む。
【0006】
前記入力イメージを取得するステップは、オン区間の間に前記赤外線光源を活性化するステップを含み、前記基準イメージを取得するステップは、オフ区間の間に前記赤外線光源を不活性化するステップを含み得る。
【0007】
前記入力イメージを取得するステップは、前記オン区間の間に、前記オブジェクトから受信された第１の複数の光線に基づいて前記入力イメージを生成するステップをさらに含み、前記基準イメージを取得するステップは、前記オフ区間の間に、前記オブジェクトから受信された第２の複数の光線に基づいて前記基準イメージを生成するステップをさらに含み得る。
【0008】
前記入力イメージを生成するステップは、前記オン区間の第１フレームの第１部分の間に、前記オブジェクトから受信された前記第１の複数の光線の第１強度を収集するステップと、前記入力イメージを生成するために前記第１強度を前記入力イメージの第１ピクセルの第１ピクセル値に決定するステップとを含み、前記基準イメージを生成するステップは、前記オフ区間の第２フレームの第２部分の間に、前記オブジェクトから受信された前記第２の複数の光線の第２強度を収集するステップと、前記基準イメージを生成するために前記第２強度を前記基準イメージの第２ピクセルの第２ピクセル値に決定するステップとを含み得る。
【0009】
前記反射領域を抽出するステップは、前記基準イメージの第１ピクセル値を前記第１ピクセル値にそれぞれ対応する前記入力イメージの第２ピクセル値から差し引くことで、前記入力イメージと前記基準イメージとの間の差を指示する差異マップを生成するステップと、前記差異マップに基づいて前記入力イメージから前記反射領域を抽出するステップとを含み得る。
【0010】
前記反射領域を抽出するステップは、前記入力イメージと前記基準イメージとの間の差異マップのうち閾値を超過する差値を有するエレメントを決定するステップと、前記入力イメージで前記エレメントに対応するピクセルを前記反射領域として決定するステップとをさらに含み得る。
【0011】
一実施形態に係る反射を検出する方法は、前記オブジェクトの位置を追跡するステップと、赤外線アレイに含まれた複数の赤外線光源から、前記追跡された位置に対応する少なくとも１つの赤外線光源を指定するステップとをさらに含み、前記入力イメージを取得するステップは、オン区間の間指定された、前記複数の赤外線光源のうち前記少なくとも１つの赤外線光源を活性化するステップを含み、前記基準イメージを取得するステップは、オフ区間の間指定された、前記複数の赤外線光源のうち前記少なくとも１つの赤外線光源を不活性化するステップを含み得る。
【0012】
前記入力イメージを取得するステップは、前記赤外線光源が活性化してオン区間の間に前記オブジェクトから受信された第１光線の赤外線領域に基づいて前記入力イメージを取得するステップを含み、前記基準イメージを取得するステップは、前記赤外線光源が不活性化されるオフ区間の間に前記オブジェクトから受信された第２光線の可視光線領域に基づいて前記基準イメージを取得するステップを含み得る。
【0013】
一実施形態に係る反射を検出する方法は、前記赤外線光源が活性化してオン区間の第１時間の長さ、及び前記赤外線光源が不活性化されるオフ区間の第２時間の長さを動的に調整するステップをさらに含み得る。
【0014】
一実施形態に係る反射を検出する方法は、前記入力イメージから前記反射領域を除去するステップと、前記反射領域が除去された入力イメージに基づいてユーザの視線を追跡するステップとをさらに含み得る。
【0015】
前記赤外線光源が前記オブジェクトで第１光線を放出する第１方向、及び前記オブジェクトからイメージ取得部が第２光線を受信する第２方向が予め決定された角度をなすよう、前記赤外線光源及び前記イメージ取得部が配置され得る。
【0016】
一実施形態に係る反射を検出する方法は、前記赤外線光源が活性化してオン区間の開始タイミングから第１中間タイミングまで前記赤外線光源の光線強度を次第に増加させるステップと、前記オン区間の前記第１中間タイミングから第１終了タイミングまで前記赤外線光源の光線強度を次第に減少させるステップと、前記赤外線光源が不活性化されるオフ区間の第２開始タイミングから第２中間タイミングまで前記赤外線光源の光線強度を次第に減少させるステップと、前記オフ区間の前記第２中間タイミングから第２終了タイミングまで前記赤外線光源の光線強度を次第に増加させるステップとをさらに含み得る。
【0017】
一実施形態に係る反射を検出する方法は、反射検出装置及びユーザの間に光反射を誘発し得る透明な物体が検出される間に、前記赤外線光源を周期的に不活性化するステップをさらに含み得る。
【0018】
前記入力イメージを取得するステップは、オン区間の間に前記赤外線光源の光源強度をオフレベルからオンレベルに増加させるステップを含み、前記基準イメージを取得するステップは、オフ区間の間に、前記赤外線光源の光源強度を前記オンレベルから前記オフレベルに減少させるステップを含み得る。
【0019】
一実施形態に係る反射を検出する装置は、赤外線光源の活性化に基づいてオブジェクトの入力イメージを取得し、前記赤外線光源の不活性化に基づいて前記オブジェクトの基準イメージを取得するイメージ取得部と、前記入力イメージ及び前記基準イメージに基づいて、前記入力イメージから反射領域を抽出するプロセッサとを含む。
【0020】
反射を検出する装置は、前記イメージ取得部と離隔して配置された、複数の赤外線光源を含む赤外線アレイをさらに含み、前記プロセッサは、オン区間の間に前記複数の赤外線光源のうち少なくとも１つを活性化し、オフ区間の間に前記複数の赤外線光源のうち少なくとも１つを不活性化し得る。
【0021】
前記プロセッサは、前記基準イメージの第１ピクセル値を前記第１ピクセル値にそれぞれ対応する前記入力イメージの第２ピクセル値から差し引くことで、前記入力イメージと前記基準イメージとの間の差を指示する差異マップを生成し、前記差異マップに基づいて前記入力イメージから前記反射領域を抽出し得る。
【0022】
前記イメージ取得部は、前記赤外線光源が活性化してオン区間の間第１光線及び前記赤外線光源が不活性化されるオフ区間の間第２光線を前記オブジェクトから受信し、前記プロセッサは、前記第１光線の赤外線領域に基づいて前記入力イメージを取得し、前記第２光線の可視光線領域に基づいて前記基準イメージを取得し得る。
【0023】
反射を検出する装置は、前記赤外線アレイが第１光線を前記オブジェクトに放出する第１方向、及び前記イメージ取得部が前記オブジェクトから第２光線を受信する第２方向が予め決定された角度をなすよう、前記イメージ取得部と離隔して配置される赤外線アレイをさらに含み、前記プロセッサは、オブジェクトの位置で赤外線の方向及び前記イメージ取得部の方向が前記予め決定された角度を保持するよう、前記オブジェクトの移動が検出された場合に応答して、前記赤外線アレイに含まれた複数の赤外線光源のうち少なくとも１つを活性化し得る。
【0024】
更なる一実施形態に係る反射を検出する装置によって実行される反射を検出する方法は、赤外線光源の活性化に基づいてオブジェクトの入力イメージを取得するステップと、前記赤外線光源の不活性化に基づいて前記オブジェクトの基準イメージを取得するステップと、前記基準イメージの第１ピクセル値を前記第１ピクセル値にそれぞれ対応する前記入力イメージの第２ピクセル値から差し引くことで差異マップを生成するステップと、前記差異マップで閾値を超過する差値を有するエレメントを決定するステップと、前記エレメントに対応する反射領域を前記入力イメージから除去するステップとを含む。
【0025】
反射を検出する方法は、前記赤外線光源が不活性化されるオフインターバルの第２時間の長さよりも短く、前記赤外線光源が活性化してオン区間の第１時間の長さを調整するステップをさらに含み得る。
【発明の効果】
【0026】
一実施形態に係る反射を検出する装置によると、赤外線光源の活性化を介して入力イメージ及び不活性化を介して基準イメージを取得し、入力イメージと基準イメージとの間の差に基づいて入力イメージから反射領域を正確に検出することができる。
【図面の簡単な説明】
【0027】
【図1】一実施形態に係る視線追跡機器がユーザの視線を追跡する形状を説明する図である。
【図2】視線追跡機器によって撮影された、反射領域が除去される前のイメージを示す。
【図3】一実施形態に係る反射を検出する方法を説明するフローチャートである。
【図4】一実施形態に係る反射を検出する方法を説明するフローチャートである。
【図5】一実施形態に係る反射を検出する装置のイメージ取得部及び赤外線光源が離隔した構造を説明する図である。
【図6A】一実施形態に係るイメージ取得部及び赤外線光源が離隔する程度に応じるイメージを示す図である。
【図6B】一実施形態に係るイメージ取得部及び赤外線光源が離隔する程度に応じるイメージを示す図である。
【図6C】一実施形態に係るイメージ取得部及び赤外線光源が離隔する程度に応じるイメージを示す図である。
【図6D】一実施形態に係るイメージ取得部及び赤外線光源が離隔する程度に応じるイメージを示す図である。
【図6E】一実施形態に係るイメージ取得部及び赤外線光源が離隔する程度に応じるイメージを示す図である。
【図6F】一実施形態に係るイメージ取得部及び赤外線光源が離隔する程度に応じるイメージを示す図である。
【図7】一実施形態に係る反射を検出する装置が視線追跡機器によって実現された例示を説明する図である。
【図8】一実施形態に係るオブジェクトの移動に基づいた赤外線光源の空間的な調整を説明する図である。
【図9】一実施形態に係る赤外線光源の時間的な調整を説明する図である。
【図10】一実施形態に係る赤外線光源の時間的な調整を説明する図である。
【図11】一実施形態に係る赤外線光源の時間的な調整を説明する図である。
【図12】一実施形態に係る反射領域が除去されたイメージを説明する図である。
【図13】一実施形態に係る反射を検出する装置の構成を説明するブロック図である。
【図14】一実施形態に係る反射を検出する装置の構成を説明するブロック図である。
【発明を実施するための形態】
【0028】
以下、添付する図面を参照しながら実施形態を詳細に説明する。しかし、特許出願の範囲がこのような実施形態によって制限も限定もされることはない。各図面に提示された同一の参照符号は同一の部材を示す。
【0029】
本明細書で開示されている特定の構造的又は機能的な説明は単に実施形態を説明するための目的として例示されたものであり、実施形態は様々な異なる形態で実施され、本明細書に説明された実施形態に限定されることはない。
【0030】
本明細書で用いた用語は、単に特定の実施形態を説明するために用いられるものであって、本発明を限定しようとする意図はない。単数の表現は、文脈上、明白に異なる意味をもたない限り複数の表現を含む。本明細書において、「含む」又は「有する」等の用語は明細書上に記載した特徴、数字、ステップ、動作、構成要素、部品又はこれらを組み合わせたものが存在することを示すものであって、１つ又はそれ以上の他の特徴や数字、ステップ、動作、構成要素、部品、又はこれを組み合わせたものなどの存在又は付加の可能性を予め排除しないものとして理解しなければならない。
【0031】
異なる定義がされない限り、技術的であるか又は科学的な用語を含むここで用いる全ての用語は、本実施形態が属する技術分野で通常の知識を有する者によって一般的に理解されるものと同じ意味を有する。一般的に用いられる予め定義された用語は、関連技術の文脈上で有する意味と一致する意味を有するものと解釈すべきであって、本明細書で明白に定義しない限り、理想的又は過度に形式的な意味として解釈されることはない。
【0032】
また、添付図面を参照して説明することにおいて、図面符号に関係なく同一の構成要素は同一の参照符号を付与し、これに対する重複する説明は省略する。実施形態の説明において関連する公知技術に対する具体的な説明が実施形態の要旨を不要に曖昧にすると判断される場合、その詳細な説明は省略する。
【0033】
図１は、一実施形態に係る視線追跡機器がユーザの視線を追跡する形状を説明する図である。
【0034】
視線追跡機器１００はユーザ１９０の視線を追跡する。一実施形態によれば、視線追跡機器１００は、ユーザ１９０の瞳孔１９１の位置を検出し、瞳孔１９１の移動を追跡する。例えば、視線追跡機器１００は、ユーザ１９０の顔を含む顔領域を抽出し、顔領域から目領域を抽出する。視線追跡機器１００は、目領域内から瞳孔１９１を検出する。ただし、これに限定されることはない。
【0035】
視線追跡機器１００は、赤外線を用いてユーザ１９０の視線を追跡する。赤外線によって、視線追跡機器１００は、周辺照度が低い環境でもユーザ１９０の視線を正確に追跡することができる。ただし、視線追跡機器１００とユーザ１９０との間に光反射を誘発し得る透明な物体１８０が存在する場合、視線追跡機器１００により撮影されたイメージに反射現象１７０が示される。例えば、ユーザ１９０が光反射を誘発し得る透明な物体１８０を着用し、透明な物体１８０による反射現象が視線検出を妨害する恐れがある。透明な物体１８０は、例えば、メガネ又はサングラスなどを含む。
【0036】
本明細書において、反射は、光源から放出された光線が、任意の物体（例えば、メガネのような透明な物体）により反射され、検出可能な最大強度に近接する強度又は最大強度以上の強度でイメージ取得部（例えば、カメラ）に入射される現象を示す。イメージ取得部は、反射が生じた反射領域に対応するピクセルの値を「飽和された値」として決定する。「飽和された値」は、イメージ取得部によって検出される最大強度に対応する値であり得る。
【0037】
図２は、視線追跡機器によって撮影された、反射領域が除去される前のイメージを示す。
【0038】
図２に示されたオブジェクトイメージ２００は、視線追跡機器によって撮影されたイメージを示す。オブジェクトイメージ２００はオブジェクトを含むイメージとして、オブジェクトは、例えば、人体の少なくとも一部であり得る。図２において、オブジェクトイメージ２００は人の顔が撮影されたイメージを示している。
【0039】
図２に示すように、光反射を誘発し得る透明な物体（例えば、メガネ）により、反射領域２１０が形成される。反射領域２１０は周辺よりも高い強度値を有し、例えば、センサによって検出される最大強度値を有する。ユーザの顔で瞳孔は、周辺の光彩に比べて明るく検出されるため、反射領域２１０が目に近く示されるほど瞳孔検出の正確度が減少する。
【0040】
【0041】
まず、ステップＳ３１０において、反射を検出する装置は、赤外線光源の活性化に基づいて入力イメージを取得する。赤外線光源は、赤外線を放出する光源として、例えば、赤外線発光ダイオードであり得る。赤外線光源は、一群の赤外線（ａ ｂｕｎｃｈ ｏｆ ｉｎｆｒａｒｅｄ ｒａｙｓ）を放出してもよい。反射を検出する装置は、複数の赤外線光源を含んでいる赤外線アレイを含んでもよい。入力イメージは、オブジェクトを撮影して取得されたイメージであって、オブジェクトがユーザである場合、ユーザの視線を追跡するために使用される。入力イメージは、例えば、赤外線領域及び可視光線領域に基づいて生成される。
【0042】
赤外線光線の活性化は、赤外線光源から放出される光線強度をオンレベル（ｏｎ ｌｅｖｅｌ）に調整する動作を示す。オンレベルに対応する強度は、設計に応じて変更されてもよい。例えば、反射を検出する装置は、赤外線光源が閾値強度以上に光線を放出するよう制御することで、赤外線光源を活性化し得る。
【0043】
一実施形態によれば、オンレベルに対応する光線強度は、プロセッサが入力イメージからオブジェクトの特徴点を抽出するために十分な程度の強度に設計される。例えば、オンレベルに対応する強度に放出された赤外線は、オブジェクトに投射される。イメージ取得部は、オブジェクトに投射された後該当のオブジェクトから反射した赤外線を受信する。イメージ取得部は、受信された赤外線に基づいて入力イメージを生成し、プロセッサは、入力イメージからオブジェクトの特徴点を抽出する。オンレベルに対応する光線強度が大きいほど、イメージ取得部は鮮明な入力イメージを取得でき、プロセッサはより正確にオブジェクトの特徴点を抽出することができる。
【0044】
オブジェクトの特徴点は、イメージでオブジェクトの特徴を示す地点を示す。例えば、オブジェクトが人の顔である場合、顔の特徴点は目に対応する地点、鼻に対応する地点、口に対応する地点、及び耳に対応する地点であり得る。ただし、オブジェクトの特徴点をこれに限定することはない。
【0045】
そして、ステップＳ３２０において、反射を検出する装置は、赤外線光源の不活性化に基づいて基準イメージを取得する。基準イメージは、オブジェクトを撮影して取得されたイメージとして、反射を検出するために使用される。基準イメージは、例えば、主に可視光線領域に基づいて生成される。
【0046】
赤外線光源の不活性化は、赤外線光源から放出される光線強度をオフ（ｏｆｆ ｌｅｖｅｌ）に調整する動作を示す。オフレベルに対応する強度は設計に応じて変更される。例えば、反射を検出する装置は、赤外線光源が閾値強度未満に光線を放出するよう制御することで、赤外線光源を不活性化する。また、反射を検出する装置は、赤外線光源への電力供給を遮断することで、赤外線光源を不活性化してもよい。電力供給が遮断された場合、赤外線光源の光線強度は存在しない、或いは０に収斂する。
【0047】
一実施形態によれば、オフレベルに対応する光線強度は、プロセッサが入力イメージから反射領域を抽出するために十分な程度の強度に設計される。例えば、不活性化された赤外線光源は、赤外線放出を中断する。また、オフレベルに対応する強度に放出された赤外線はオブジェクトに投射された後、オブジェクトにほとんど吸収されたり減衰されたりする。オフレベルに対応する光線強度が小さいほど、イメージ取得部は、反射領域がないか少ない基準イメージを取得し得る。
【0048】
次に、ステップＳ３３０において、反射を検出する装置は、入力イメージ及び基準イメージに基づいて入力イメージから反射領域を抽出する。一実施形態によれば、反射を検出する装置は、入力イメージと基準イメージとの間の差を算出することで差異マップを生成する。入力イメージと基準イメージとの間の差が大きい部分は、オンレベルに対応する強度の赤外線から誘発された反射領域を示す。入力イメージは主に赤外線領域に基づいて生成され、基準イメージは主に可視光線領域に基づいて生成されるためである。
【0049】
差異マップは、入力イメージと基準イメージとの間の差を示す。例えば、差異マップは複数のエレメントを含む。複数のエレメントのそれぞれは、該当エレメントに対応する入力イメージのピクセルと基準イメージのピクセルとの間の差に対応する値を有する。複数のエレメントの個数は、例えば、入力イメージ及び基準イメージのピクセルの個数と同一であり得る。
【0050】
一実施形態によれば、反射を検出する装置は、装置及びユーザ間に光反射を誘発し得る透明な物体が検出される間に、赤外線光源を周期的に不活性化する。例えば、反射を検出する装置は、ユーザがメガネを着用している間にのみ赤外線光源の活性化及び不活性化を繰り返すことで、瞳孔検出の正確度を改善することができる。
【0051】
図４は、反射を検出する方法を具体的に説明するフローチャートである。
【0052】
まず、ステップＳ４１１において、反射を検出する装置は、オン区間の間に赤外線光源を活性化する。本明細書においてオン区間は、予め決定された周期のうち赤外線光源が活性化するよう指定された区間を示す。オン区間は、下記の図９～図１１を参照して説明する。
【0053】
そして、ステップＳ４１２において、反射を検出する装置は、オン区間の間にオブジェクトから受信された光線に基づいて入力イメージを生成する。一実施形態によれば、反射を検出する装置は、オン区間の少なくとも一部フレームの間、オブジェクトから複数の光線の強度を収集する。例えば、反射を検出する装置は、オン区間が複数のフレームを含んでいる場合、オン区間の最後のフレームの間に複数の光線の強度を収集する。反射を検出する装置は、複数の光線のそれぞれに対応する強度を入力イメージを構成している各ピクセルのピクセル値として決定することで入力イメージを生成し得る。また、反射を検出する装置は、オン区間の一部フレームの間に収集された強度を累積して入力イメージを生成してもよい。
【0054】
一実施形態によれば、反射を検出する装置は、オン区間の間にオブジェクトから受信された光線の赤外線領域に基づいて入力イメージを取得し得る。例えば、オン区間の間に受信される光線は、赤外線領域及び可視光線領域を含む。したがって、入力イメージの各ピクセルは、赤外線領域の強度及び可視光線領域の強度が合算された値を有する。
【0055】
本明細書で赤外線領域は、電磁波の周波数のうち赤外線に分類される周波数帯域を示す。可視光線領域は、電磁波のうち人の目に見える周波数帯域を示す。
【0056】
次に、ステップＳ４２１において、反射を検出する装置は、オフ区間の間に赤外線光源を不活性化する。本明細書において、オフ区間は、予め決定された周期のうち赤外線光源が不活性化されるよう指定された区間を示す。例えば、オフ区間は、予め決定された周期からオン区間を除いた残りの区間である。オフ区間は下記の図９～図１１を参照して説明する。
【0057】
そして、ステップＳ４２２において、反射を検出する装置は、オフ区間の間にオブジェクトから受信された光線に基づいて基準イメージを生成する。一実施形態によれば、反射を検出する装置は、オフ区間の少なくとも一部フレームの間にオブジェクトから複数の光線の強度を収集する。例えば、反射を検出する装置は、オフ区間が複数のフレームを含んでいる場合、オフ区間の最後のフレームの間に複数の光線の強度を収集する。反射を検出する装置は、複数の光線のそれぞれに対応する強度を基準イメージを構成している各ピクセルのピクセル値として決定することで基準イメージを生成する。また、反射を検出する装置は、オフ区間の一部フレームの間に収集された強度を累積して基準イメージを生成してもよい。
【0058】
一実施形態によれば、反射を検出する装置は、オフ区間の間オブジェクトから受信された光線の可視光線領域に基づいて基準イメージを取得し得る。例えば、オフ区間の間に受信される光線は、主に可視光線領域を含んでいる。したがって、基準イメージの各ピクセルは、可視光線領域の強度に対応する値を有し得る。
【0059】
次に、ステップＳ４３１において、反射を検出する装置は、入力イメージの各ピクセル値から基準イメージの該当ピクセル値を差し引くことで、入力イメージと基準イメージとの間の差を指示する差異マップを生成する。差異マップは、入力イメージのピクセル及び基準イメージのピクセルと同じ個数のエレメントを含み得る。差異マップのエレメントは、入力イメージのピクセル値と基準イメージで該当ピクセル値との間の差に対応する値を有する。
【0060】
そして、ステップＳ４３２において、反射を検出する装置は、差異マップに基づいて反射領域を抽出する。一実施形態によれば、反射を検出する装置は、入力イメージと基準イメージとの間の差異マップのうち閾値を超過するエレメントを決定し得る。反射を検出する装置は、入力イメージでエレメントに対応するピクセルを反射領域として決定する。
【0061】
ただし、これに限定されることなく、反射を検出する装置は、差異マップのうち周辺エレメントより高い値を有するエレメントを選択する。反射を検出する装置は、選択されたエレメントに対応する入力イメージのピクセルを反射領域として決定する。
【0062】
一実施形態に係る反射を検出する装置は、入力イメージから抽出された反射領域を除去する。反射を検出する装置は、反射領域が除去された入力イメージに基づいてユーザの視線を追跡する。したがって、反射を検出する装置は、反射が除去された入力イメージを用いて、より正確にユーザの瞳孔位置を決定することができる。
【0063】
図５は、一実施形態に係る反射を検出する装置のイメージ取得部及び赤外線光源が離隔した構造を説明する図である。
【0064】
反射を検出する装置５００は、イメージ取得部５１０及び赤外線光源５２０を含む。イメージ取得部５１０及び赤外線光源５２０は離隔して配置される。一実施形態によれば、赤外線光源５２０の方向及びイメージ取得部５１０の方向が予め決定された角度５５０を形成するよう、赤外線光源５２０及びイメージ取得部５１０が配置される。
【0065】
赤外線光源５２０の方向は、赤外線光源５２０から放出される赤外線５０１の進行方向を示す。例えば、赤外線光源５２０によって一群の赤外線が放出される場合、一群の赤外線の中心に対応する赤外線５０１の進行方向を赤外線光源５２０の方向と示す。イメージ取得部５１０の方向は、イメージ取得部５１０によって受信される光線のうち中心に対応する方向を示す。イメージ取得部５１０によって受信される光線は、イメージ取得部５１０の視野又は視界（ＦＯＶ：ｆｉｅｌｄ ｏｆ ｖｉｅｗ）内に含まれる光線であり得る。
【0066】
イメージ取得部５１０は、オブジェクト５９０から赤外線領域及び可視光線領域に対応する光線５０２を受信する。例えば、オブジェクト５９０は、赤外線光源５２０から投射された赤外線を反射させる、或いは外部から投射された可視光線を反射させることができる。
【0067】
図６は、一実施形態に係るイメージ取得部及び赤外線光源が離隔する程度に応じるイメージを示す図である。
【0068】
【0069】
図６Ａは、イメージ取得部及び赤外線光源間の方向の差が０である場合を示す。例えば、イメージ取得部の方向及び赤外線光源の方向が同一の場合、図６Ａに示すように反射領域６１１が示される。例えば、図６Ａにおいて、反射領域６１１は目の周辺に示される。
【0070】
【0071】
図６Ｃは、イメージ取得部の方向及び赤外線光源の方向が水平に４５度をなすよう配置された構造で取得された入力イメージを示す。図６Ｃに示す入力イメージで反射領域６１３は、図６Ａ及び図６Ｂに比べて狭く示される。
【0072】
【0073】
図６Ｅは、イメージ取得部の方向及び赤外線光源の方向が垂直に６０度をなすよう配置された構造で取得された入力イメージを示す。図６Ｅに示す入力イメージは反射領域を含まないが、目及び頬などに影領域を含んでいる。影領域は周辺よりも暗いピクセル値を有する。
【0074】
図６Ｆは、イメージ取得部の方向及び赤外線光源の方向が垂直に９０度をなすよう配置された構造で取得された入力イメージを示す。図６Ｆに示す入力イメージは反射領域を含まないが、図６Ｅに比べて広い影領域を含む。
【0075】
したがって、イメージ取得部の方向及び赤外線光源の方向が最適な角度をなすよう、イメージ取得部及び赤外線光源が配置される。方向の差が最適化されるように配置されたイメージ取得部及び赤外線光源を含んでいる反射を検出する装置は、反射領域及び影領域が最小化された入力イメージを取得し得る。例えば、赤外線光源の方向及びイメージ取得部の方向が形成している予め決定された角度は５６度であり得る。
【0076】
図７は、一実施形態に係る反射を検出する装置が視線追跡機器によって実現された例示を説明する図である。
【0077】
例えば、反射を検出する装置は、車両７００に装着される。反射を検出する装置は、イメージ取得部７１０及び赤外線光源７２０を含む。イメージ取得部７１０は、運転者の正面である計器盤に配置される。赤外線光源７２０は、車両７００のバックミラーに配置される。
【0078】
車両７００が走行する間に、反射を検出する装置は赤外線光源７２０の活性化及び不活性化に基づいて反射が除去された入力イメージを取得する。照度の低い環境（例えば、夜間）でも、反射を検出する装置は、赤外線による反射が除去された入力イメージに基づいてユーザの視線を正確に検出できる。
【0079】
ただし、イメージ取得部７１０及び赤外線光源７２０の配置を上述した内容に限定することはない。イメージ取得部７１０の方向及び赤外線光源７２０の方向が予め決定された角度をなすように、イメージ取得部７１０及び赤外線光源７２０が配置され得る。
【0080】
図８は、一実施形態に係るオブジェクトの移動に基づいた赤外線光源の空間的な調整を説明する図である。
【0081】
反射を検出する装置は、イメージ取得部８１０及び赤外線アレイ８２０を含む。赤外線アレイ８２０は複数の赤外線光源を含む。複数の赤外線光源は、横方向に羅列されている。ただし、これに限定されることなく、複数の赤外線光源は、縦方向に羅列されたり、ｎ個の行（ｒｏｗ）及びｍ個の列（ｃｏｌｕｍｎ）の２次元の平面構造で配列されてもよい。ここで、ｎ及びｍは１以上の整数であり得る。ただし、赤外線アレイの構造がこれに限定されることなく、複数の赤外線光源は多様に配置されてもよい。
【0082】
まず、赤外線アレイ８２０のうち少なくとも一部の赤外線光源は、赤外線を放出する。図８では、説明の便宜のために複数の赤外線光源のうちの１つの第１赤外線光源８２１が赤外線を放出するものとして示されているが、これに限定されることなく、２以上の赤外線光源が赤外線を放出してもよい。イメージ取得部８１０は、第１赤外線光源８２１から放出された後オブジェクト８９０から反射した赤外線を受信する。イメージ取得部８１０は、可視光線と共に受信された赤外線に基づいて、オブジェクト８９０が示されるオブジェクト領域８９１を含む入力イメージ８１１を生成する。ここで、第１赤外線光源８２１の方向及びイメージ取得部８１０の方向は予め決定された角度を形成する。
【0083】
そして、反射を検出する装置は、オブジェクト８９０の位置を追跡する。反射を検出する装置は、イメージ取得部８１０を基準にしてオブジェクト８９０の位置変更を検出する。例えば、イメージ取得部８１０を用いて撮影される入力イメージ８１１でオブジェクト８９０が示されるオブジェクト領域８９２の移動を検出し得る。
【0084】
一実施形態によれば、反射を検出する装置は、複数の赤外線光源を含む赤外線アレイ８２０から、追跡された位置に対応する赤外線光源を指定する。例えば、反射を検出する装置は、赤外線アレイ８２０から、入力イメージ８１１の変更されたオブジェクト領域８９２にマッピングされた第２赤外線光源８２２を指定する。ここで、第２赤外線光源８２２の方向及びイメージ取得部８１０の方向は、上述した予め決定された角度を形成している。
【0085】
例えば、反射を検出する装置は、入力イメージ８１１の領域ごとに赤外線アレイ８２０を構成する赤外線光源を割り当てることができる。図８において、赤外線光源は横方向に羅列されているため、反射を検出する装置は横軸に沿って分割された領域ごとに各赤外線光源を割り当てる。オブジェクト８９０が横方向に沿って右側に移動したため、反射を検出する装置は、第１赤外線光源８２１よりも左側に配置された第２赤外線光源８２２を指定する。反射を検出する装置は、オブジェクト８９０の位置で赤外線の方向及びイメージ取得部８１０の方向が予め決定された角度を保持するよう、オブジェクト８９０の移動が検出された場合に応答して赤外線アレイ８２０のうちオン区間で活性化する赤外線光源を選択し得る。
【0086】
その後、反射を検出する装置は、オン区間の間指定された赤外線光源を活性化し、オフ区間の間指定された赤外線光源を不活性化する。反射を検出する装置は、オブジェクト８９０の位置が再び変更されるまで、指定された第２赤外線光源８２２の活性化及び不活性化を周期的に繰り返す。
【0087】
一実施形態に係る反射を検出する装置は、オブジェクト８９０の移動が検出されれば、迅速にオブジェクト８９０の位置に対応する赤外線光源を指定し得る。したがって、反射を検出する装置は、赤外線アレイ８２０の赤外線光源をいちいちターンオンしたりターンオフしたりする必要がなく、適切な赤外線光源を選択できる。したがって、反射を検出する装置が車両に装着された場合、反射を検出する装置は、走行中にユーザの姿勢変更による顔位置変更に応答して適切な赤外線光源を選択することで迅速に反射を除去することができる。
【0088】
【0089】
図９は、赤外線光源の周期的な活性化及び不活性化を説明する。
【0090】
反射を検出する装置は、赤外線光源の活性化及び不活性化を周期的に繰り返すことで、入力イメージ９１０及び基準イメージ９２０を取得する。例えば、反射を検出する装置は、オン区間９９１の間に赤外線光源を活性化し、オフ区間９９２の間に赤外線光源を不活性化する。
【0091】
例えば、反射を検出する装置は、オン区間９９１の間に赤外線光源の光源強度９９０をオフレベルからオンレベルに増加させ得る。そして、反射を検出する装置は、オフ区間９９２の間に赤外線光源の光源強度９９０をオンレベルからオフレベルに減少させ得る。
【0092】
反射を検出する装置は、オン区間９９１の間に受信された赤外線及び可視光線に基づいて入力イメージ９１０を生成する。また、反射を検出する装置は、オフ区間９９２の間に受信された可視光線に基づいて基準イメージ９２０を生成する。そして、反射を検出する装置は、入力イメージ９１０から基準イメージ９２０を差し引くことで差異マップ９３０を算出する。反射を検出する装置は、差異マップ９３０で閾値を超過するエレメントを反射領域９３１として決定する。
【0093】
図１０は、赤外線光源の活性化及び不活性化の他の例示を示す。
【0094】
一実施形態によれば、オン区間１０１０の時間の長さよりもオフ区間１０２０の時間の長さがより大きい。例えば、イメージ取得部のフレームの速度（ｆｒａｍｅ ｒａｔｅ）が３０ｆｐｓ（ｆｒａｍｅ ｐｅｒｓｅｃｏｎｄ）である場合、予め決定された周期１０３０は１０フレームである。オフ区間１０２０は９フレームであり、オン区間１０１０は１フレームである。反射を検出する装置は、オン区間１０１０の時間の長さを減少させることで、赤外線の光源強度１０９０の累積量を減少させ得る。反射を検出する装置は、オン区間１０１０の調整により、赤外線が人体に及ぼす影響を最小化できる。
【0095】
また、反射を検出する装置は、赤外線光源が活性化してオン区間１０１０の時間の長さ及び赤外線光源が不活性化されるオフ区間１０２０の時間の長さを動的に調整し得る。例えば、視線検出の正確度が低下する環境（例えば、暗い環境）で反射を検出する装置は、オン区間１０１０の時間の長さを増加させる。異なる例として、視線検出の正確度の高い環境（例えば、明るい環境）で反射を検出する装置は、オン区間１０１０の時間の長さを減少させ得る。したがって、反射を検出する装置は、赤外線が人体に及ぼす影響を最小化しながら、瞳孔検出の正確度を改善することができる。
【0096】
図１１は、赤外線光源の漸進的な活性化及び不活性化を説明する図である。
【0097】
反射を検出する装置は、オン区間１１１０の開始タイミング１１８３から中間タイミング１１８４まで赤外線光源の光線強度１１９０を次第に増加させ得る。反射を検出する装置は、オン区間１１１０の中間タイミング１１８４から終了タイミング１１８５まで赤外線光源の光線強度１１９０を次第に減少させ得る。反射を検出する装置は、オフ区間１１２０の開始タイミング１１８１から中間タイミング１１８２まで赤外線光源の光線強度１１９０を次第に減少させ得る。反射を検出する装置は、オフ区間１１２０の中間タイミング１１８２から終了タイミング１１８３まで赤外線光源の光線強度１１９０を次第に増加させ得る。ここで、オフ区間１１２０の終了タイミング１１８３は、オン区間１１１０の開始タイミング１１８３と同一であってもよい。例えば、反射を検出する装置は、光線強度１１９０をサイン波形又はコサイン波形のような正弦波形に調整する。ただし、これに限定されることなく、反射を検出する装置は、赤外線光源の光線強度１１９０を連続的に変化させることができる。
【0098】
一実施形態によれば、反射を検出する装置は、オン区間１１１０の間にオブジェクトから反射して受信された光線強度を累積して入力イメージを生成する。また、反射を検出する装置は、オフ区間１１２０の間にオブジェクトから反射して受信された光線強度を累積して基準イメージを生成してもよい。
【0099】
図１２は、一実施形態に係る反射領域が除去されたイメージを説明する図である。
【0100】
一実施形態に係る反射を検出する装置は、図１～図１１による方法によって取得された反射領域を入力イメージ１２００から除去する。例えば、反射を検出する装置は、ホールフィリング（ｈｏｌｅ－ｆｉｌｌｉｎｇ）アルゴリズム（例えば、インペインティング（ｉｎｐａｉｎｔｎｇ））を入力イメージ１２００の反射領域に対して行う。反射を検出する装置は、入力イメージ１２００から反射領域を除去し、除去された領域を周辺領域と同様に詰め込んでもよい。例えば、反射を検出する装置は、ホールフィリングアルゴリズムにより除去された領域に隣接する周辺領域のピクセルの値を利用して、除去された領域内のピクセルの値を満たし得る。異なる例として、反射を検出する装置は、ホールフィリングアルゴリズムにより周辺領域のピクセルの値と類似の値を利用して、除去された領域内のピクセルの値を満たしてもよい。したがって、反射を検出する装置は、除去領域及び除去領域の周辺領域が不鮮明化（ｂｌｕｒ）されるように、入力イメージ１２００を処理できる。反射を検出する装置は、取得された反射領域に属するピクセルの値を、強い強度値から、それより弱い別の強度値へ変更するように、反射領域を加工することが可能である。
【0101】
反射を検出する装置は、反射領域が除去された入力イメージ１２００から特徴点を抽出し、特徴点に基づいて顔上部領域１２１０を決定し得る。反射を検出する装置は、顔上部領域１２１０から目領域を決定してユーザの瞳孔１２１１を追跡し得る。
【0102】
【0103】
反射を検出する装置は図１３に示すようにイメージ取得部１３１０及びプロセッサ１３２０を含む。
【0104】
イメージ取得部１３１０は、赤外線光源の活性化に基づいて入力イメージを取得し、赤外線光源の不活性化に基づいて基準イメージを取得する。イメージ取得部１３１０は、可視光線領域及び赤外線領域に対応する光線を受信する。イメージ取得部１３１０は、可視光線領域及び赤外線領域を撮影できるカメラを含む。例えば、イメージ取得部１３１０は、１２０ｆｐｓ以上のフレームの速度を有する高速カメラを含む。主に赤外線領域に基づいた入力イメージ及び主に可視光線領域に基づいた基準イメージは、互いに類似のオブジェクト形態を示す。入力イメージと基準イメージとの間のピクセル値差が大きい領域が反射領域である。
【0105】
プロセッサ１３２０は、入力イメージ及び基準イメージに基づいて入力イメージから反射領域を抽出する。オン区間の間にオブジェクトから受信された光線の赤外線領域に基づいて入力イメージを取得し、オフ区間の間にオブジェクトから受信された光線の可視光線領域に基づいて基準イメージを取得し得る。
【0106】
一実施形態によれば、プロセッサ１３２０は、オン区間の間に赤外線アレイ１４３０のうち少なくとも一部の赤外線光源を活性化し、オフ区間の間に赤外線アレイ１４３０のうち少なくとも一部の赤外線光源を不活性化する。また、プロセッサ１３２０は、入力イメージの各ピクセルから基準イメージの該当ピクセルを差し引くことで、入力イメージと基準イメージとの間の差を指示する差異マップを生成し、差異マップに基づいて反射領域を抽出する。
【0107】
また、反射を検出する装置は、図１４に示すように赤外線アレイ１４３０及びメモリ１４４０をさらに含む。
【0108】
赤外線アレイ１４３０は、イメージ取得部１３１０と離隔して配置された複数の赤外線光源を含む。例えば、赤外線アレイ１４３０は、赤外線アレイ１４３０から放出される赤外線の方向及びイメージ取得部１３１０の方向が予め決定された角度をなすように、イメージ取得部１３１０と離隔して配置される。
【0109】
メモリ１４４０は、反射を検出する方法を行うために要求される情報を格納する。例えば、メモリ１４４０は、入力イメージ、基準イメージ、及び差異マップを臨時的又は永久的に格納できる。
【0110】
一実施形態に係る反射を検出する装置１４００は、低照度の環境（例えば、１０Ｌｕｘ以下の環境）で瞳孔が検出される入力イメージを生成する。反射を検出する装置１４００は、例えば、視線を追跡して無メガネ３Ｄ映像を提供するヘッドアップディスプレイ機器に適用され得る。また、反射を検出する装置１４００は、モニターと接続されたパソコンにも適用され得る。さらに、反射を検出する装置１４００は、無メガネの立体映像を提供するタブレット機器及びスマートフォン機器にも適用され得る。
【0111】
一実施形態に係る反射を検出する装置１４００は、低照度の環境（例えば、夜間運転など）で赤外線撮影時、眼鏡レンズに対する赤外線反射を検出して除去し得る。したがって、反射を検出する装置１４００は、暗い環境（例えば、１０ｌｕｘ以下の環境）で視線追跡の正確度を改善することができる。
【0112】
以上述した装置は、ハードウェア構成要素、ソフトウェア構成要素、又はハードウェア構成要素及びソフトウェア構成要素の組合せで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で実行される１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。
【0113】
ソフトウェアは、コンピュータプログラム、コード、命令、又はこののうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに連結されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。
【0114】
本実施形態による方法は、様々なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ－ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気－光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明に示す動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。
【0115】
上述したように実施形態をたとえ限定された図面によって説明したが、当技術分野で通常の知識を有する者であれば、前記に基づいて様々な技術的な修正及び変形を適用することができる。例えば、説明された技術が説明された方法と異なる順序で実行されてもよいし、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせられてもよいし、他の構成要素又は均等物によって置き換え又は置換されたとしても適切な結果を達成することができる。
【0116】
したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。
【符号の説明】
【0117】
１３００：反射を検出する装置
１３１０：イメージ取得部
１３２０：プロセッサ
１３１０：イメージ取得部
１３２０：プロセッサ
【図1】
【図2】
【図3】
【図4】
【図5】
【図6A】
【図6B】
【図6C】
【図6D】
【図6E】
【図6F】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】