特許 6795930 視点追跡方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6795930

(24)【登録日】2020年11月17日

(45)【発行日】2020年12月2日

(54)【発明の名称】視点追跡方法及び装置

(51)【国際特許分類】

   G06T 7/60 20170101AFI20201119BHJP

   G06T 1/00 20060101ALI20201119BHJP

   H04N 13/00 20180101ALI20201119BHJP

   G09G 5/00 20060101ALI20201119BHJP

   G09G 5/36 20060101ALI20201119BHJP

【ＦＩ】

   G06T7/60 150

   G06T1/00 340A

   H04N13/00

   G09G5/00 550C

   G09G5/36 510V

【請求項の数】19

【全頁数】19

(21)【出願番号】特願2016-167769(P2016-167769)

(22)【出願日】2016年8月30日

(65)【公開番号】特開2017-54503(P2017-54503A)

(43)【公開日】2017年3月16日

【審査請求日】2019年7月29日

(31)【優先権主張番号】10-2015-0126149

(32)【優先日】2015年9月7日

(33)【優先権主張国】KR

(73)【特許権者】

【識別番号】390019839

【氏名又は名称】三星電子株式会社

【氏名又は名称原語表記】Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】姜 柄 敏

(72)【発明者】

【氏名】許 珍 九

(72)【発明者】

【氏名】南 東 ▲ぎょん▼

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１５−１１２１５１（ＪＰ，Ａ）

【文献】 特開２０１３−１４３７３６（ＪＰ，Ａ）

【文献】 特開２０１２−１９０３５１（ＪＰ，Ａ）

【文献】 米国特許出願公開第２０１５／００９７９２５（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／６０

Ｇ０６Ｔ １／００

Ｇ０９Ｇ ５／００

Ｇ０９Ｇ ５／３６

Ｈ０４Ｎ １３／００

(57)【特許請求の範囲】

【請求項1】

画像におけるユーザの顔の領域のうち少なくとも１つの部分に対応する特徴点を取得するステップと、
前記特徴点に基づいて前記ユーザの第１の目の領域における目の内部領域を決定するステップと、
前記目の内部領域に含まれた少なくとも１つのピクセルのピクセル値に基づいて瞳孔の領域を決定するステップと、
前記瞳孔の領域に含まれた各ピクセルの位置の値に基づいて前記ユーザの目の位置を決定するステップと、
を含み、
前記瞳孔の領域を決定するステップは、前記目の内部領域に含まれた現在のピクセルの輝度値、第１閾値及び第２閾値に基づいて瞳孔の領域に含まれるピクセルを決定するステップを含み、
前記第１閾値は、前記目の内部領域に含まれたピクセルの第１輝度平均値に基づき、
前記第２閾値は、目の中心特徴点の周辺ピクセルの第２輝度平均値に基づく、
視点追跡方法。

【請求項2】

前記目の内部領域を決定するステップは、前記目の領域の特徴点の位置と前記目の領域のピクセルの位置とに基づいて前記目の領域の目の内部領域を決定するステップを含む、請求項１に記載の視点追跡方法。

【請求項3】

前記目の中心特徴点は、前記第１の目の中心に対応する特徴点のうち１つの特徴点である、請求項１又は請求項２に記載の視点追跡方法。

【請求項4】

前記瞳孔の領域に含まれるピクセルを決定するステップは、
前記目の内部領域に含まれた現在のピクセルの輝度値が第１閾値及び第２閾値より小さいか否かを決定するステップを含む、請求項３に記載の視点追跡方法。

【請求項5】

前記目の内部領域を決定するステップは、
前記目の領域に含まれた現在のピクセルと前記特徴点のうちの第１の目の輪郭特徴点とに基づいて第１ベクトルを算出するステップと、
前記第１の目の輪郭特徴点と前記特徴点のうちの第２の目の輪郭特徴点とに基づいて第２ベクトルを算出するステップと、
前記第１ベクトルと前記第２ベクトルとに基づいたベクトル演算結果に基づいて前記現在のピクセルが前記目の内部領域に含まれるか否かを決定するステップとを含み、
前記第２の目の輪郭特徴点は、前記第１の目の輪郭特徴点に隣接し、
前記第１の目の輪郭特徴点及び前記第２の目の輪郭特徴点は、前記目の領域の目の輪郭に対応する請求項１乃至請求項４のうちいずれか一項に記載の視点追跡方法。

【請求項6】

前記現在のピクセルが前記目の内部領域に含まれるか否かを決定するステップは、前記第１の目の輪郭特徴点及び前記第２の目の輪郭特徴点のそれぞれに対するベクトル演算結果が互いに同一の符号を示す場合、前記現在のピクセルが前記目の内部領域に含まれると決定する、請求項５に記載の視点追跡方法。

【請求項7】

前記ユーザの目の位置を決定するステップは、前記瞳孔の領域に含まれたピクセルの位置の値の平均値を前記ユーザの目の位置と決定する、請求項１乃至請求項６のうちいずれか一項に記載の視点追跡方法。

【請求項8】

前記目の領域を決定するステップは、
前記特徴点のうちの目の中心特徴点と前記特徴点のうちの各目の輪郭特徴点との間の距離の中から最大距離を決定するステップと、
前記目の中心特徴点の位置と前記最大距離に基づいて前記目の領域を決定するステップとを含み、
前記目の中心特徴点は、前記ユーザの第１の目の中心に対応し、
前記目の輪郭特徴点は、前記第１の目の輪郭に対応する、請求項１乃至請求項７のうちいずれか一項に記載の視点追跡方法。

【請求項9】

前記ユーザの目の領域を決定するステップは、
前記画像において前記特徴点のうちの目の中心特徴点及び前記特徴点のうち少なくとも１つの目の輪郭特徴点を検出するステップと、
前記検出された目の中心特徴点及び前記少なくとも１つの目の輪郭特徴点に基づいて前記目の領域を決定するステップとを含み、
前記目の中心特徴点は、前記ユーザの第１の目の中心に対応し、
前記少なくとも１つの目の輪郭特徴点は、前記第１の目の輪郭の一部分に対応する、請求項１乃至請求項８のうちいずれか一項に記載の視点追跡方法。

【請求項10】

前記ユーザの目の位置を決定するステップは、
前記瞳孔の領域の各ピクセルの位置の値に基づいて前記第１の目の２Ｄ位置情報を決定するステップと、
前記ユーザの２つの目の間の距離情報とユーザの顔の方向情報に基づいて前記２Ｄ位置情報を３Ｄ座標値に変換するステップとを含み、
前記距離情報は、前記ユーザの第１の目と第２の目との間の距離に関連し、
前記方向情報は、前記ユーザの顔の方向に関連する、請求項１乃至請求項９のうちいずれか一項に記載の視点追跡方法。

【請求項11】

前記２Ｄ位置情報を３Ｄ座標値に変換するステップは、前記特徴点を３Ｄ顔モデルに整合して個別化された３Ｄ顔モデルを生成し、前記個別化された３Ｄ顔モデルの方向情報に基づいて前記ユーザの顔の方向情報を推定するステップを含む、請求項１０に記載の視点追跡方法。

【請求項12】

前記ユーザの目の位置に基づいて裸眼ディスプレイを制御するステップをさらに含む、請求項１乃至請求項１１のうちいずれか一項に記載の視点追跡方法。

【請求項13】

請求項１ないし１２のうち何れか一項に記載の視点追跡方法を視点追跡装置のコンピュータに実行させるコンピュータプログラム。

【請求項14】

画像におけるユーザの顔の領域のうち少なくとも１つの部分に対応する特徴点を取得する特徴点検出器と、
前記特徴点に基づいて前記ユーザの第１の目の領域における目の内部領域を決定する目内部領域決定器と、
前記目の内部領域に含まれた少なくとも１つのピクセルのピクセル値に基づいて瞳孔の領域を決定する瞳孔領域決定器と、
前記瞳孔の領域に含まれた各ピクセルの位置の値に基づいて前記ユーザの目の位置を決定する目位置決定器と、
を含み、
前記瞳孔領域決定器は、
前記目の内部領域に含まれた現在のピクセルの輝度値、第１閾値及び第２閾値に基づいて瞳孔の領域に含まれるピクセルを決定し、
前記第１閾値は、前記目の内部領域に含まれたピクセルの第１輝度平均値に基づき、
前記第２閾値は、目の中心特徴点の周辺ピクセルの第２輝度平均値に基づく、視点追跡装置。

【請求項15】

画像におけるユーザの顔の領域のうち少なくとも１つの部分に対応する特徴点を取得する特徴点検出器と、
前記特徴点に基づいて前記ユーザの第１の目の領域における目の内部領域を決定する目内部領域決定器と、
前記目の内部領域に含まれた少なくとも１つのピクセルのピクセル値に基づいて瞳孔の領域を決定する瞳孔領域決定器と、
前記瞳孔の領域に含まれた各ピクセルの位置の値に基づいて前記ユーザの目の位置を決定する目位置決定器と、
を含み、
前記目内部領域決定器は、前記目の領域に含まれたピクセルのうちのピクセルと前記特徴点との間の位置関係に基づいたベクトル演算結果に基づいて前記目の内部領域に含まれるピクセルを決定する、視点追跡装置。

【請求項16】

前記瞳孔領域決定器は、前記目の内部領域に含まれたピクセルの輝度値を前記目の内部領域に含まれたピクセルの第１輝度平均値及び目の中心特徴点の周辺ピクセルの第２輝度平均値と比較して前記瞳孔の領域に含まれるピクセルを決定する、請求項１４又は請求項１５に記載の視点追跡装置。

【請求項17】

前記特徴点に基づいて前記画像においてユーザの目の領域を決定する目領域決定器をさらに含む、請求項１４乃至請求項１６のうちいずれか一項に記載の視点追跡装置。

【請求項18】

特徴点に基づいて画像におけるユーザの目の領域を決定する目領域決定器と、
前記目の領域内において縦方向のエッジ成分を検出し、前記検出されたエッジ成分に基づいて瞳孔の領域に関連する楕円成分を検出する瞳孔領域決定器と、
前記楕円成分に基づいて楕円の中心を前記ユーザの目の位置と決定する目位置決定器と、
を含み、
前記目領域決定器は、目の輪郭特徴点の間の中心を決定し、前記目の輪郭特徴点の間の中心と前記目の輪郭特徴点の間の横方向距離に基づいて前記目の領域を決定し、
前記目の輪郭特徴点は前記ユーザの目の輪郭に対応する、視点追跡装置。

【請求項19】

前記目領域決定器は、前記横方向距離に基づいて縦方向距離を決定し、前記目の輪郭特徴点の間の中心を基準に前記横方向距離と前記縦方向距離に基づいた領域を前記目の領域と決定する、請求項１８に記載の視点追跡装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の説明は、視点追跡技術に関する。

【背景技術】

【0002】

デジタル技術の発展に従って、画像分析によって画像から特定情報を抽出し、抽出された特定情報を用いて性能を改善しようとする試みが活発に進行している。このような試みのうちの１つとして、両眼視差の原理を用いて立体感を実現する裸眼式３Ｄディスプレイに関連してユーザの位置を追跡してユーザの位置に基づいて３Ｄ映像のディスプレイを制御する技術がある。このようなユーザの位置に基づいて裸眼３Ｄディスプレイにおいて画質の低下なしに３Ｄ映像を出力するためにはユーザの位置をより正確に追跡することが重要である。

【発明の概要】

【発明が解決しようとする課題】

【0003】

本発明は、上記従来の問題点に鑑みてなされたものであって、本発明の目的は、視点追跡方法及び装置を提供することにある。

【課題を解決するための手段】

【0004】

本発明の一実施形態に係る視点追跡方法は、画像においてユーザの顔の領域のうち少なくとも１つの部分に対応する特徴点を取得するステップと、前記特徴点に基づいて前記ユーザの第１の目の領域における目の内部領域（ｉｎｎｅｒ ｅｙｅ ａｒｅａ）を決定するステップと、前記目の内部領域に含まれた少なくとも１つのピクセルのピクセル値に基づいて瞳孔の領域を決定するステップと、前記瞳孔の領域に含まれた各ピクセルの位置の値に基づいて前記ユーザの目の位置を決定するステップとを含む。

【0005】

本発明の一実施形態に係る視点追跡方法において、前記目の内部領域を決定するステップは、前記目の領域の特徴点の位置と前記目の領域のピクセルの位置とに基づいて前記目の領域の目の内部領域を決定するステップを含んでもよい。

【0006】

本発明の一実施形態に係る視点追跡方法において、前記瞳孔の領域を決定するステップは、前記目の内部領域に含まれたピクセルの第１輝度平均値と目の中心特徴点（ｅｙｅ ｃｅｎｔｅｒ ｆｅａｔｕｒｅ ｐｏｉｎｔ）の周辺ピクセルの第２輝度平均値に基づいて前記瞳孔の領域に含まれるピクセルを決定するステップを含み、前記目の中心特徴点は、前記第１の目の中心に対応する特徴点のうち１つの特徴点であってもよい。

【0007】

本発明の一実施形態に係る視点追跡方法において、前記瞳孔の領域に含まれるピクセルを決定するステップは、前記目の内部領域に含まれた現在のピクセルの輝度値が第１閾値及び第２閾値より小さいか否かを決定するステップを含み、前記第１閾値は、前記第１輝度平均値に基づき、前記第２閾値は、前記第２輝度平均値に基づいてもよい。

【0008】

本発明の一実施形態に係る視点追跡方法において、前記目の内部領域を決定するステップは、前記目の領域に含まれた現在のピクセルと前記特徴点のうちの第１の目の輪郭特徴点（ｅｙｅ ｃｏｎｔｏｕｒ ｆｅａｔｕｒｅ ｐｏｉｎｔ）とに基づいて第１ベクトルを算出するステップと、前記第１の目の輪郭特徴点と前記特徴点のうちの第２の目の輪郭特徴点とに基づいて第２ベクトルを算出するステップと、前記第１ベクトルと前記第２ベクトルとに基づいたベクトル演算結果に基づいて前記現在のピクセルが前記目の内部領域に含まれるか否かを決定するステップとを含み、前記第２の目の輪郭特徴点は、前記第１の目の輪郭特徴点に隣接し、前記第１の目の輪郭特徴点及び前記第２の目の輪郭特徴点は、前記目の領域の目の輪郭に対応してもよい。

【0009】

本発明の一実施形態に係る視点追跡方法において、前記第１の目の輪郭特徴点及び前記第２の目の輪郭特徴点のそれぞれに対するベクトル演算結果が互いに同一の符号を示す場合、前記現在のピクセルが前記目の内部領域に含まれると決定してもよい。

【0010】

本発明の一実施形態に係る視点追跡方法において、前記ユーザの目の位置を決定するステップは、前記瞳孔の領域の各ピクセルの位置の値に基づいて前記第１の目の２Ｄ位置情報を決定するステップと、前記ユーザの２つの目の間の距離情報とユーザの顔の方向情報に基づいて前記２Ｄ位置情報を３Ｄ座標値に変換するステップとを含み、前記距離情報は、前記ユーザの第１の目と第２の目との間の距離に関連し、前記方向情報は、前記ユーザの顔の方向に関連してもよい。

【0011】

本発明の一実施形態に係る視点追跡方法は、前記ユーザの目の位置に基づいて裸眼ディスプレイを制御するステップをさらに含んでもよい。

【0012】

本発明の一実施形態に係る視点追跡装置は、画像においてユーザの顔の領域のうち少なくとも１つの部分に対応する特徴点を取得する特徴点検出器と、前記特徴点に基づいて前記ユーザの第１の目の領域の目の内部領域を決定する目内部領域決定器（ｉｎｎｅｒ ｅｙｅ ａｒｅａ ｄｅｔｅｒｍｉｎｅｒ）と、前記目の内部領域に含まれた少なくとも１つのピクセルのピクセル値に基づいて瞳孔の領域を決定する瞳孔領域決定器（ｐｕｐｉｌ ａｒｅａ ｄｅｔｅｒｍｉｎｅｒ）と、前記瞳孔の領域に含まれた各ピクセルの位置の値に基づいて前記ユーザの目の位置を決定する目位置決定器（ｅｙｅ ｐｏｓｉｔｉｏｎ ｄｅｔｅｒｍｉｎｅｒ）とを含む。

【0013】

本発明の一実施形態に係る視点追跡装置において、前記目内部領域決定器は、前記目の領域に含まれたピクセルのうちのピクセルと前記特徴点との間の位置関係に基づいたベクトル演算結果に基づいて前記目の内部領域に含まれるピクセルを決定してもよい。

【0014】

本発明の一実施形態に係る視点追跡装置において、前記瞳孔領域決定器は、前記目の内部領域に含まれたピクセルの輝度値を前記目の内部領域に含まれたピクセルの第１輝度平均値及び目の中心特徴点の周辺ピクセルの第２輝度平均値と比較して前記瞳孔の領域に含まれるピクセルを決定してもよい。

【0015】

本発明の他の実施形態に係る視点追跡装置は、特徴点に基づいて画像においてユーザの目の領域を決定する目領域決定器と、前記目の領域内で縦方向のエッジ成分を検出し、前記検出されたエッジ成分に基づいて瞳孔の領域に関連する楕円成分を検出する瞳孔領域決定器と、前記楕円成分に基づいた楕円の中心を前記ユーザの目の位置と決定する目位置決定器を含む。

【発明の効果】

【0016】

本発明の一実施形態によれば、画像フレームの間において生じる発生する目の位置のずれを低減させて画像においてユーザの目の位置をより正確に検出することができる。

【図面の簡単な説明】

【0017】

【図1】本発明の一実施形態に係る視点追跡装置の構成を説明するための図である。

【図2】本発明の一実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【図3】本発明の一実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【図4】本発明の一実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【図5】本発明の一実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【図6】本発明の一実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【図7】本発明の一実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【図8】本発明の一実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【図9】本発明の他の実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【図10】本発明の他の実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【図11】本発明の他の実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【図12】本発明の他の実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【図13】本発明の他の実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【図14】本発明の他の実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【図15A】本発明の一実施形態に係るディスプレイ装置の構成を説明するための図である。

【図15B】本発明の一実施形態に係るディスプレイ装置の構成を説明するための図である。

【図16】本発明の一実施形態に係る視点追跡方法の動作を説明するためのフローチャートである。

【発明を実施するための形態】

【0018】

下記の特定の構造的ないし機能的説明は、単に実施形態を説明するための目的で例示されたものであって、本出願の範囲が本文に説明された内容に限定されると解釈されてはならない。説明した分野に属する通常の知識を有する者であれば、このような記載から様々な修正及び変形が可能である。本明細書における「一実施形態」又は「実施形態」に関する言及は、その実施形態と関連して説明される特定の特徴、構造又は特性が少なくとも１つの実施形態に含まれるということを意味し、「一実施形態」又は「実施形態」に関する言及が必ず全て同一の実施形態を指し示すものと理解されてはならない。

【0019】

第１又は第２などの用語は、複数のコンポーネントを区分するために用いられ得るが、構成要素が第１又は第２の用語によって限定されると解釈されてはいけない。また、実施形態において用いる用語は、単に特定の実施形態を説明するために用いられたものとして、実施形態を限定しようとする意図ではない。単数の表現は、文脈上、明白に異なる意味を持たない限り、複数の表現を含む。

【0020】

本明細書において、「含む」又は「有する」などの用語は明細書上に記載された特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組合せたものが存在することを指定しようとするものであって、１つ又はそれ以上の他の特徴、数字、ステップ、動作、構成要素、部品、又はこれらを組み合わせたものが存在又は付加の可能性を予め排除しないものとして理解されなければならない。

【0021】

本発明の実施形態は、裸眼式３Ｄディスプレイ、メガネ型ウェアラブルデバイス、バーチャルリアリティ（Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ：ＶＲ）、ビデオゲーム、パーソナルコンピュータ、タブレットＰＣ、モバイル装置、スマート家電製品、知能型自動車などの様々な応用でユーザの視線を追跡するのに適用される。例えば、本発明の実施形態は、裸眼式３Ｄディスプレイにおいて、ユーザの目の位置を追跡してユーザの目の位置による立体映像を表示するのに適用されてもよい。

【0022】

以下、添付の図面を参照しながら、実施形態を詳細に説明する。添付の図面を参照して説明することにおいて、図面符号に関係なく同一の構成要素は同一の参照符号を付与し、それに対する重複説明は省略することにする。

【0023】

図１は、本発明の一実施形態に係る視点追跡（ｅｙｅ ｔｒａｃｋｉｎｇ）装置の構成を説明するための図である。

【0024】

図１を参照すると、視点追跡装置１００は、ユーザの目の領域が撮影された画像からユーザの目の位置を決定する。画像は、カメラのような画像取得装置（図示せず）によって取得されてもよく、取得された画像は、視点追跡装置１００に伝達されてもよい。視点追跡装置１００は、受信された画像フレームごとにユーザの目の位置を決定し、決定された目の位置に関する情報を出力してもよい。出力された情報は、ユーザの目の位置情報に基づく様々な応用で用いられ得る。

【0025】

視点追跡装置１００は、特徴点検出器１１０、目領域決定器（ｅｙｅ ａｒｅａ ｄｅｔｅｒｍｉｎｅｒ）１２０、目内部領域決定器１３０、瞳孔領域決定器１４０、及び目位置決定器１５０を含む。特徴点検出器１１０、目領域決定器１２０、目内部領域決定器１３０、瞳孔領域決定器１４０、及び目位置決定器１５０の動作は１つ以上のプロセッサによって行うことができる。

【0026】

特徴点検出器１１０は、画像から目の特徴点を検出する。特徴点検出器１１０は、画像において、ユーザの顔の領域又は目／鼻の領域を検出し、検出された顔の領域又は目／鼻の領域において、目の中心特徴点及び１つ以上の目の輪郭特徴点を検出する。目の中心特徴点は、目の領域の中心付近において検出される特徴点であり、目の輪郭特徴点は、目の輪郭において検出される特徴点である。

【0027】

特徴点検出器１１０は、例えば、ＬＢＰ（Ｌｏｃａｌ Ｂｉｎａｒｙ Ｐａｔｔｅｒｎ）、ＳＩＦＴ（Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）、ＨｏＧ（Ｈｉｓｔｏｇｒａｍ ｏｆ Ｏｒｉｅｎｔｅｄ Ｇｒａｄｉｅｎｔ）、ＭＣＴ（Ｍｏｄｉｆｉｅｄ Ｃｅｎｓｕｓ Ｔｒａｎｓｆｏｒｍ）、又はＧａｂｏｒ Ｊｅｔなどのような画像の局所特徴を抽出し、予め学習された目／鼻領域認識装置（ｅｙｅ ａｎｄ ｎｏｓｅ ａｒｅａ ｒｅｃｏｇｎｉｚｅｒ）（図示せず）に抽出された特徴を入力して画像から目／鼻の領域を検出する。一実施形態によれば、特徴点検出器１１０は、動的輪郭モデル（Ａｃｔｉｖｅ Ｃｏｎｔｏｕｒ Ｍｏｄｅｌ：ＡＣＭ）、動的形状モデル（Ａｃｔｉｖｅ Ｓｈａｐｅ Ｍｏｄｅｌ：ＡＳＭ）、動的外観モデル（Ａｃｔｉｖｅ Ａｐｐｅａｒａｎｃｅ ｍｏｄｅｌ：ＡＡＭ）、又はＳＤＭ（Ｓｕｐｅｒｖｉｓｅｄ Ｄｅｓｃｅｎｔ Ｍｅｔｈｏｄ）などを用いて目／鼻の領域において目の輪郭特徴点を検出し、検出された目の輪郭特徴点の間の中心点を目の中心特徴点と決定することができる。

【0028】

目領域決定器１２０は、特徴点検出器１１０によって検出された特徴点に基づいて画像においてユーザの目の領域を決定する。目領域決定器１２０は、目の中心特徴点と各目の輪郭特徴点との間の距離を算出して目の中心特徴点と目の輪郭特徴点との間の最大距離を決定し、目の中心特徴点と最大距離に基づいて目の領域を決定する。例えば、目領域決定器１２０は、目の中心特徴点を中心に最大距離以内に位置する領域又は目の中心特徴点を基準として上下左右最大距離以内に位置する領域を目の領域と決定してもよい。

【0029】

目内部領域決定器１３０は、目の領域において目の内部領域を決定する。目の内部領域は、実際のユーザの目に対応する領域を示す。目内部領域決定器１３０は、目の領域に含まれたピクセルと目の輪郭特徴点の位置関係に基づいたベクトル演算結果に基づいて目の内部領域を決定する。例えば、目内部領域決定器１３０は、目の領域に含まれた現在のピクセルの位置と目の輪郭特徴点の位置に基づいて第１ベクトルを算出し、その目の輪郭特徴点の位置と周辺の目の輪郭特徴点（ａｄｊａｃｅｎｔ ｅｙｅ ｃｏｎｔｏｕｒ ｆｅａｔｕｒｅ ｐｏｉｎｔ）の位置に基づいて第２ベクトルを算出してもよい。目の輪郭特徴点から時計方向に位置する他の目の輪郭特徴点が周辺の目の輪郭特徴点として決定されてもよい。目内部領域決定器１３０は、第１ベクトルと第２ベクトルに基づいてベクトルの外積（ｏｕｔｅｒ ｐｒｏｄｕｃｔ）演算を行ってもよい。

【0030】

目内部領域決定器１３０は、他の目の輪郭特徴点に対しても、上述のように、第１ベクトル及び第２ベクトルを算出して、ベクトルの外積演算を行うことができる。目内部領域決定器１３０は、現在のピクセルと各目の輪郭特徴点に対する外積演算結果の符号が互いに同一の場合、現在のピクセルが目の内部領域に含まれると決定することができ。外積演算結果の符号が互いに同一でない場合、目内部領域決定器１３０は、現在のピクセルが目の内部領域ではなく、目の外部領域に含まれるものと決定することができる。

【0031】

瞳孔領域決定器１４０は、目の内部領域に含まれたピクセルのピクセル値に基づいて瞳孔の領域を決定する。瞳孔領域決定器１４０は、目の内部領域に含まれたピクセルの第１輝度平均値と目の中心特徴点の周辺ピクセルの第２輝度平均値に基づいて瞳孔の領域に含まれるピクセルを決定する。例えば、瞳孔領域決定器１４０は、目の内部領域に含まれた現在のピクセルの輝度値が第１輝度平均値に基づいた第１閾値及び第２輝度平均値に基づいた第２閾値より小さい場合、その現在のピクセルを瞳孔の領域に含まれると決定することができる。一実施形態によれば、第１閾値は、第１輝度平均値と同一であってもよく、第２閾値は、第２輝度平均値以上の値を有してもよい。

【0032】

目位置決定器１５０は、瞳孔の領域に含まれたピクセルの位置の値に基づいてユーザの目の位置を決定する。例えば、目位置決定器１５０は、瞳孔の領域に含まれたピクセルの位置の値の平均値をユーザの目の位置として決定することができる。

【0033】

他の実施形態によれば、特徴点検出器１１０は、画像において目の領域に対する特徴点を十分に検出することができない場合もある。以下においては、特徴点検出器１１０が画像から少数の目の輪郭特徴点を検出した場合において、視点追跡装置１００が画像からユーザの目の位置を決定する過程を説明するようにする。

【0034】

目領域決定器１２０は、画像において検出された目の輪郭特徴点に基づいて画像においてユーザの目の領域を決定する。例えば、目の端に位置する目の輪郭特徴点が検出されたと仮定すると、目領域決定器１２０は、目の輪郭特徴点の間の中心を算出し、決定された中心に基づいて目の輪郭特徴点の間の横方向距離を算出することができる。目領域決定器１２０は、横方向距離に予め設定された比率をかけて縦方向距離を決定し、目の輪郭特徴点の間の中心を基準として横方向距離と縦方向距離に基づいた領域を目の領域として決定してもよい。瞳孔領域決定器１４０は、決定された目の領域内において縦方向のエッジ（ｅｄｇｅ）成分を検出し、検出されたエッジ成分に基づいて瞳孔の領域に関連する楕円（円含む）成分を検出してもよい。目位置決定器１５０は、検出された楕円成分に基づいて瞳孔の領域と重なる仮想の楕円を推定し、楕円の重心（又は焦点又は中心）をユーザの目の位置として決定してもよい。

【0035】

目位置決定器１５０は、上述のような過程を経て決定された２Ｄ座標値の目の位置情報を３Ｄ座標値に変換する。２Ｄは２次元を表し、３Ｄは３次元を表す。例えば、目位置決定器１５０は、ユーザの２つの目の間の距離情報とユーザの顔の方向情報に基づいて目の位置情報を３Ｄ座標値に変換することができる。ここで、２つの目の間の距離情報として標準値の６５ｍｍが用いられるが、これに限定されることはない。目位置決定器１５０は、例えば、画像において検出された特徴点を３Ｄ顔モデルに整合して個人毎に個別化された３Ｄ顔モデルを生成し、個別化された３Ｄ顔モデルの方向情報に基づいてユーザの顔の方向情報を推定してもよい。

【0036】

以上、説明された過程を介して、視点追跡装置１００は、画像においてユーザの目の位置をより正確に検出することができる。また、視点追跡装置１００は、画像フレームごとに２つの瞳孔の領域の中心を追跡することによって画像フレームの間において発生する目の位置のずれを低減させることができる。

【0037】

図２〜図８は、本発明の一実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【0038】

図２を参照すると、視点追跡装置は、画像において、目の中心に位置すると推定した目の中心特徴点２１０及び目の輪郭に位置する目の輪郭特徴点２２２，２２４，２２６，２２８，２３０，２３２を検出する。視点追跡装置は、目の中心特徴点２１０と各目の輪郭特徴点２２２，２２４，２２６，２２８，２３０，２３２との間の距離を算出し、算出された距離値の中から最大距離値ｄ_ｍａｘを決定する。

【0039】

図３を参照すると、視点追跡装置は、図２において決定された最大距離値ｄ_ｍａｘに基づいて目の領域３１０を決定する。視点追跡装置は、目の中心特徴点２１０を基準として上下左右への最大距離値ｄ_ｍａｘ内に位置する領域を目の領域３１０と決定する。目の領域３１０の形態は、図３のように四角形有したり、又は、目の中心特徴点２１０を中心として最大距離値ｄ_ｍａｘを半径の長さにする円形を有してもよいが、本発明の実施形態の範囲がこれに限定されることはない。

【0040】

図４を参照すると、視点追跡装置は、目の領域３１０において目の内部領域を決定する。視点追跡装置は、目の領域３１０に含まれたピクセル４１０と目の輪郭特徴点２２２，２２４，２２６，２２８，２３０，２３２との間の位置関係に基づいてピクセル４１０が目の内部領域に含まれるか否かを決定する。視点追跡装置は、目の輪郭特徴点２２４とピクセル４１０がなす第１ベクトルＶ１及び目の輪郭特徴点２２４と目の輪郭特徴点２２４の時計方向に隣接した目の輪郭特徴点２２６がなす第２ベクトルＶ２の間の外積演算を行うことができる。これと同様に、視点追跡装置は、目の輪郭特徴点２２６に対しても、目の輪郭特徴点２２６とピクセル４１０がなす第１ベクトルＶ３及び目の輪郭特徴点２２６と目の輪郭特徴点２２６の時計方向に隣接した目の輪郭特徴点２２８がなす第２ベクトルＶ４の間の外積演算を行ってもよい。視点追跡装置は、他の目の輪郭特徴点２２２，２２８，２３０，２３２に対しても、上述のように外積演算を行い、全ての外積演算結果の符号が全部同一であるか否かを判断してもよい。ピクセル４１０の場合、外積演算結果の符号が全て同一になり、ピクセル４１０は、目の内部領域に含まれると決定され得る。

【0041】

図５に示すように、目の領域３１０内に存在するが、実際、目の外部領域に位置するピクセル５１０に対して図４の過程と同一の過程を行うと、ピクセル５１０と各目の輪郭特徴点２２２，２２４，２２６，２２８，２３０，２３２との間の外積演算結果の符号が互いに同一でないことが分かる。例えば、目の輪郭特徴点２２８とピクセル５１０がなす第１ベクトルＶ５及び目の輪郭特徴点２２８と目の輪郭特徴点２２８の時計方向に隣接した目の輪郭特徴点２３０がなす第２ベクトルＶ６の間の外積演算結果の符号を「＋」とすると、目の輪郭特徴点２３０とピクセル５１０がなす第１ベクトルＶ７及び目の輪郭特徴点２３０と目の輪郭特徴点２３０の時計方向に隣接した目の輪郭特徴点２３２がなす第２ベクトルＶ８の間の外積演算結果の符号は「−」となる。ピクセル５１０と各目の輪郭特徴点２２２，２２４，２２６，２２８，２３０，２３２との間に外積演算結果の符号が全て同一でないため、視点追跡装置は、ピクセル５１０が目の内部領域に含まれないと決定することができる。

【0042】

視点追跡装置は、目の領域３１０に含まれた各ピクセルに対して図４及び図５のような過程を行って、目の領域３１０において目の内部領域に含まれるピクセルを決定することができる。図６は、図４及び図５の過程によって目の領域３１０から検出された目の内部領域６１０を示す。

【0043】

図７を参照すると、視点追跡装置は、目の内部領域６１０内のピクセルのピクセル値情報に基づいて目の内部領域６１０内において瞳孔の領域を決定する。視点追跡装置は、目の内部領域６１０に含まれたピクセルの輝度値の平均値の第１輝度平均値を算出し、目の内部領域６１０に含まれたピクセルのうちの目の中心特徴点２１０の隣接領域７１０に含まれたピクセルの輝度値の平均値である第２輝度平均値を算出することができる。

【0044】

視点追跡装置は、例えば、目の内部領域６１０に含まれた任意のピクセルが下記の式（１）を満たす場合、当該ピクセルが瞳孔の領域に含まれると決定してもよい。

【0045】

ピクセルの輝度値＜第１輝度平均値
ピクセルの輝度値＜第２輝度平均値＋補償値 （１）

【0046】

式（１）における「補償値」は、式（１）の条件を調整するための任意の値であって、０以上の値を有する。

【0047】

大部分の場合、瞳孔の領域の輝度が瞳孔の領域の周辺輝度値より小さいため、目の内部領域６１０に対する第１輝度平均値を閾値として考慮する。しかし、目の内部領域６１０において瞳孔の領域の大きさは、周辺領域より小さいため、第１輝度平均値だけを閾値と考慮すれば、瞳孔の領域の一部の周辺領域に含まれたピクセルも瞳孔の領域と間違って決定される可能性がある。式（１）のように、第１輝度平均値だけでなく目の中心特徴点２１０の周辺領域７１０に対する第２輝度平均値をさらに考慮することによって、視点追跡装置は、目の内部領域６１０において瞳孔の領域をより正確に決定することができる。

【0048】

視点追跡装置は、目の内部領域６１０に含まれた全てのピクセルに対して上述のような過程を行い、瞳孔の領域と決定されたピクセルに関する情報（例えば、位置の値）を格納してもよい。

【0049】

図８には、図７の追跡過程を介して決定された瞳孔の領域８１０が図示されている。視点追跡装置は、決定された瞳孔の領域８１０に含まれたピクセルの位置の値の平均をユーザの目の位置８２０と決定する。

【0050】

図９〜図１４は、本発明の他の実施形態に係る視点追跡装置が画像においてユーザの目の位置を推定する一例を説明するための図である。

【0051】

図９を参照すると、視点追跡装置は、画像において、目／鼻の領域９１０を検出した後、目に対する特徴点９２２，９２４，９２６，９２８を検出する。図９〜図１４においては、特徴点が図９に示すように各目の端だけ検出されたと仮定する。視点追跡装置は、少数の特徴点を用いることによってユーザの目の位置をより速い速度で検出することができる。

【0052】

図１０を参照すると、視点追跡装置は、各目において検出された２つの特徴点の間の位置関係に基づいて特徴点の間の中心を算出する。視点追跡装置は、特徴点９２２，９２４の間の中心１０１０を算出し、特徴点９２６，９２８の間の中心１０２０を算出する。

【0053】

図１１を参照すると、視点追跡装置は、検出された中心１０１０，１０２０と特徴点９２２，９２４，９２６，９２８の位置に基づいて目の領域１１１０，１１２０を決定する。例えば、視点追跡装置は、特徴点９２２及び特徴点９２４間の横方向距離を算出し、算出した距離方向距離に予め設定された比率（例えば、１／３）をかけて縦方向距離を決定することができる。視点追跡装置は、中心１０１０を基準として横方向距離及び縦方向距離に基づいた領域を目の領域１１１０と決定してもよい。視点追跡装置は、中心１０２０と特徴点９２６，９２８に対しても、上述のような過程を介して目の領域１１２０を決定してもよい。

【0054】

図１２を参照すると、視点追跡装置は、決定された目の領域内において縦方向のエッジ成分１２１２，１２１４，１２１６，１２１８を検出する。例えば、視点追跡装置は、ソーベル（Ｓｏｂｅｌ）エッジ抽出方式、プルウィット（Ｐｒｅｗｉｔｔ）エッジ抽出方式、ロバート（Ｒｏｂｅｒｔｓ）エッジ抽出方式、又はキャニー（Ｃａｎｎｙ）エッジ抽出方式などを用いてエッジ成分１２１２，１２１４，１２１６，１２１８を検出することができる。

【0055】

図１３を参照すると、視点追跡装置は、検出されたエッジ成分１２１２，１２１４，１２１６，１２１８に基づいて楕円をフィッティング（ｆｉｔｔｉｎｇ）して目の領域内において瞳孔の領域に関連する楕円１３１０，１３２０を検出する。図１４を参照すると、視点追跡装置は、検出された各楕円１３１０，１３２０の重心を算出し、算出された重心をユーザの目の位置１４１０，１４２０と決定してもよい。

【0056】

図１５Ａは、本発明の一実施形態に係るディスプレイ装置の構成を説明するための図である。

【0057】

図１５Ａを参照すると、ディスプレイ装置１５１０は、例えば、３Ｄメガネが必要ない３Ｄ映像を出力する裸眼式ディスプレイである。ディスプレイ装置１５１０は、ユーザの目の位置を追跡し、追跡されたユーザの目の位置によって３Ｄ映像を再構成して出力することができる。ディスプレイ装置１５１０は、カメラ１５２０、目位置検出器１５３０、画像プロセッサ１５４０、及びディスプレイ部１５５０を含む。

【0058】

カメラ１５２０は、ディスプレイ装置１５１０の前方に位置するユーザを撮影してユーザの顔の領域が示された顔の画像を取得する。

【0059】

目位置検出器１５３０は、顔の画像内においてユーザの目の位置を検出する。目位置検出器１５３０は、顔の画像内の顔の領域又は目／鼻の領域において目の特徴点を検出し、検出された特徴点に基づいてユーザの目の位置を検出する。目位置検出器１５３０は、検出された特徴点の数によって互いに異なる方式で目の位置を検出する。例えば、顔の画像において、複数の目の輪郭特徴点及び目の中心特徴点が検出された場合、目位置検出器１５３０は、図２〜図８に示された過程によって顔の画像からユーザの目の位置を検出することができる。顔の画像において、少数の目の輪郭特徴点だけが検出された場合、目位置検出器１５３０は、図１〜図１４に示された過程によって顔の画像からユーザの目の位置を検出することができる。他の例として、目位置検出器１５３０は、目／鼻の領域内においてテンプレートマッチング（ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ）を介して目の領域を検出した後にテンプレートの中心値を目中心位置と決定してもよい。

【0060】

目位置検出器１５３０は、上述の過程を経て決定された２Ｄ座標値の目の位置情報を３Ｄ座標値に変換する。ディスプレイ装置１５１０が３次元空間上においてユーザの左右２つの目の位置に対応する３Ｄ映像を生成するためには、ユーザの２つの目の位置を２Ｄ座標値から３Ｄ座標値に変換する必要がある。目位置検出器１５３０は、ユーザの２つの目の間の距離情報とユーザの顔の方向情報に基づいて目の位置情報を３Ｄ座標値に変換してもよい。２つの目の間の距離情報として予め決定した標準距離値（例えば、６５ｍｍ）が用いられるが、これに限定されることはない。顔の方向情報は、顔の画像から検出された特徴点を３Ｄ顔モデルに整合させた後、３Ｄ顔モデルの回転した角度を算出することによって取得されてもよい。他の例として、目位置検出器１５３０は、２台以上のカメラ１５２０を用いた三角測量法に基づいてユーザの目の位置の３Ｄ座標値を決定してもよい。

【0061】

一実施形態によれば、目位置検出器１５３０は、目の位置情報を３Ｄ座標値に変換した後、目の位置予測を行って目の位置情報を修正した後に、画像プロセッサ１５４０に伝達してもよい。画像プロセッサ１５４０が目位置検出器１５３０から目の位置情報を受信した後、ユーザの目の位置に対応する３Ｄ映像を生成するまで一定時間が所要されてもよい。また、ユーザが動く場合、ユーザの目の位置が検出された時点と画像プロセッサ１５４０が３Ｄ映像を生成して出力する時点の間には遅延時間が発生するため、ユーザの目の位置情報を補正する必要がある。このために、目位置検出器１５３０は、ユーザの動き情報に基づいてユーザの目の位置経路を予測してもよく、画像プロセッサ１５４０は、予測された目の位置経路（ｅｙｅ ｐｏｓｉｔｉｏｎ ｐａｔｈ）に基づいて３Ｄ映像を再構成してもよい。

【0062】

画像プロセッサ１５４０は、目位置検出器１５３０によって決定されたユーザの目の位置に基づいて３Ｄ映像（例えば、ステレオ画像又は３Ｄグラフィックデータ）を再構成することができる。画像プロセッサ１５４０は、ユーザの目の位置に３Ｄ映像が到達できるようにディスプレイ部１５５０を介して出力する３Ｄ映像を再構成することができる。

【0063】

ディスプレイ部１５５０は、画像プロセッサ１５４０によって処理された３Ｄ映像を表示する。例えば、ディスプレイ部１５５０は、レンチキュラーレンズ（ｌｅｎｔｉｃｕｌａｒ ｌｅｎｓ）、パララックスバリア（ｐａｒａｌｌａｘ ｂａｒｒｉｅｒ）、指向性バックライト（Ｄｉｒｅｃｔｉｏｎａｌ Ｂａｃｋｌｉｇｈｔ）などを用いて３Ｄ映像を実現してもよい。

【0064】

図１５Ｂは、本発明の一実施形態に係るディスプレイ装置１５１０のハードウェアブロック図を示す。図１５Ｂにおいて、プロセッサ１５６０は、カメラ１５２０に、又はカメラ１５２０からデータ／インストラクション（ｉｎｓｔｒｕｃｔｉｏｎ）を送受信し、コンピュータ読み取り可能な媒体１５７０に、又はコンピュータ読み取り可能な媒体１５７０からデータ／インストラクションを送受信する。

【0065】

コンピュータ読み取り可能な媒体１５７０は、図１〜図１４に説明された機能を行うためのインストラクションを格納する。より具体的には、プロセッサ１５６０は、コンピュータ読み取り可能な媒体１５７０に格納されたインストラクションを行うことによって視点追跡装置１００、目位置検出器１５３０、画像プロセッサ１５４０の機能を実行することができる。また、コンピュータ読み取り可能な媒体１５７０に格納されたインストラクションを行うことによってプロセッサ１５６０は、図１〜図１４に関連して、上記において説明された目追跡及び目位置決定を行う特殊な目的のコンピュータデバイスであってもよい。プロセッサ１５６０は、１つ以上の中央処理装置（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔｓ：ＣＰＵｓ）、デジタル信号プロセッサ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒｓ：ＤＳＰｓ）、特定用途向け集積回路、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙｓ：ＦＰＧＡｓ）などのような処理装置を含んでもよい。

【0066】

プロセッサ１５６０又はディスプレイ１５５０は、上記の処理された３Ｄ映像を表示するように制御してもよい。

【0067】

図１６は、本発明の一実施形態に係る視点追跡方法の動作を説明するためのフローチャートである。視点追跡方法は、１つ以上のプロセッサを含む視点追跡装置によって行うことができる。

【0068】

図１６を参照すると、ステップＳ１６１０における視点追跡装置は、特徴点を検出する。例えば、視点追跡装置は、ユーザの顔が撮影された画像において目／鼻の領域を検出し、目／鼻の領域において目の中心特徴点及び１つ以上の目の輪郭特徴点を検出することができる。

【0069】

ステップＳ１６２０における視点追跡装置は、検出された特徴点に基づいて画像において目の領域を決定する。例えば、視点追跡装置は、目の中心特徴点と各目の輪郭特徴点との間の距離を算出して目の中心特徴点と目の輪郭特徴点との間の最大距離を決定し、目の中心特徴点と最大距離に基づいて目の領域を決定することができる。

【0070】

ステップＳ１６３０における視点追跡装置は、目の領域に含まれたピクセルの位置と特徴点の位置に基づいて目の内部領域を決定する。視点追跡装置は、目の領域に含まれた現在のピクセルの位置と目の輪郭特徴点の位置に基づいて第１ベクトルを算出し、その目の輪郭特徴点の位置と周辺の目の輪郭特徴点の位置に基づいて第２ベクトルを算出してもよい。視点追跡装置は、第１ベクトルと第２ベクトルに基づいてベクトルの外積演算を行ってもよい。視点追跡装置は、他の目の輪郭特徴点に対しても、上述のように、第１ベクトル及び第２ベクトルを算出して、ベクトルの外積演算を行ってもよい。視点追跡装置は、目の輪郭特徴点のそれぞれに対する外積演算結果の符号が全て同一であれば、現在のピクセルが目の内部領域に含まれると決定し、同一でない場合には、現在のピクセルが目の内部領域に含まれないと決定してもよい。視点追跡装置は、目の内部領域に含まれると決定されたピクセルに関する情報（例えば、輝度、位置）を格納してもよい。

【0071】

ステップＳ１６４０における視点追跡装置は、目の内部領域に含まれたピクセルのピクセル値に基づいて瞳孔の領域を決定する。視点追跡装置は、目の内部領域に含まれた現在のピクセルの輝度値が第１輝度平均値に基づいた第１閾値及び第２輝度平均値に基づいた第２閾値より小さい場合、その現在のピクセルを瞳孔の領域に含まれると決定することができる。ここで、第１輝度平均値は、目の内部領域に含まれたピクセルの輝度値の平均値を示し、第２輝度平均値は、目の中心特徴点の周辺ピクセルの輝度値の平均値を示す。視点追跡装置は、瞳孔の領域に含まれると決定されたピクセルに関する情報（例えば、位置）を格納してもよい。

【0072】

ステップＳ１６５０における視点追跡装置は、瞳孔の領域に含まれたピクセルの位置の値に基づいてユーザの目の位置を決定する。視点追跡装置は、瞳孔の領域に含まれたピクセルの位置の値の平均値をユーザの目の位置と決定することができる。

【0073】

ステップＳ１６６０における視点追跡装置は、決定されたユーザの目の位置に基づいてディスプレイを制御する。

【0074】

上述した実施形態は、ハードウェア構成要素、ソフトウェア構成要素、及び／又はハードウェア構成要素及びソフトウェア構成要素の組み合わせで具現される。例えば、本実施形態で説明した装置及び構成要素は、例えば、プロセッサ、コントローラ、ＡＬＵ（ａｒｉｔｈｍｅｔｉｃ ｌｏｇｉｃ ｕｎｉｔ）、デジタル信号プロセッサ（ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、マイクロコンピュータ、ＦＰＡ（ｆｉｅｌｄ ｐｒｏｇｒａｍｍａｂｌｅ ａｒｒａｙ）、ＰＬＵ（ｐｒｏｇｒａｍｍａｂｌｅ ｌｏｇｉｃ ｕｎｉｔ）、マイクロプロセッサー、又は命令（ｉｎｓｔｒｕｃｔｉｏｎ）を実行して応答する異なる装置のように、１つ以上の汎用コンピュータ又は特殊目的コンピュータを用いて具現される。処理装置は、オペレーティングシステム（ＯＳ）及びオペレーティングシステム上で行われる１つ以上のソフトウェアアプリケーションを実行する。また、処理装置は、ソフトウェアの実行に応答してデータをアクセス、格納、操作、処理、及び生成する。理解の便宜のために、処理装置は１つが使用されるものとして説明する場合もあるが、当該技術分野で通常の知識を有する者は、処理装置が複数の処理要素（ｐｒｏｃｅｓｓｉｎｇ ｅｌｅｍｅｎｔ）及び／又は複数類型の処理要素を含むことが分かる。例えば、処理装置は、複数のプロセッサ又は１つのプロセッサ及び１つのコントローラを含む。また、並列プロセッサ（ｐａｒａｌｌｅｌ ｐｒｏｃｅｓｓｏｒ）のような、他の処理構成も可能である。

【0075】

ソフトウェアは、コンピュータプログラム、コード、命令、又はこれらのうちの１つ以上の組合せを含み、希望通りに動作するように処理装置を構成し、独立的又は結合的に処理装置に命令する。ソフトウェア及び／又はデータは、処理装置によって解釈され、処理装置に命令又はデータを提供するためのあらゆる類型の機械、構成要素、物理的装置、仮想装置、コンピュータ格納媒体又は装置、或いは送信される信号波を介して永久的又は一時的に具現化される。ソフトウェアは、ネットワークに接続されたコンピュータシステム上に分散され、分散された方法で格納されるか又は実行される。ソフトウェア及びデータは１つ以上のコンピュータ読み取り可能な記録媒体に格納される。

【0076】

本実施形態による方法は、多様なコンピュータ手段を介して実施されるプログラム命令の形態で具現され、コンピュータ読み取り可能な記録媒体に記録される。記録媒体は、プログラム命令、データファイル、データ構造などを単独又は組合せて含む。記録媒体及びプログラム命令は、本発明の目的のために特別に設計して構成されたものでもよく、コンピュータソフトウェア分野の技術を有する当業者にとって公知のものであり使用可能なものであってもよい。コンピュータ読み取り可能な記録媒体の例としては、ハードディスク、フロッピー（登録商標）ディスク及び磁気テープのような磁気媒体、ＣＤ−ＲＯＭ、ＤＶＤのような光記録媒体、フロプティカルディスクのような磁気−光媒体、及びＲＯＭ、ＲＡＭ、フラッシュメモリなどのようなプログラム命令を保存して実行するように特別に構成されたハードウェア装置を含む。プログラム命令の例としては、コンパイラによって生成されるような機械語コードだけでなく、インタプリタなどを用いてコンピュータによって実行される高級言語コードを含む。ハードウェア装置は、本発明の動作を実行するために１つ以上のソフトウェアモジュールとして作動するように構成してもよく、その逆も同様である。

【0077】

上述したように、実施形態が限定された図面によって説明されたが、当技術分野における通常の知識を有する者であれば、前記の記載から様々な修正及び変形が可能である。例えば、説明された技術が説明された方法と異なる順序で遂行されたり、及び／又は説明されたシステム、構造、装置、回路などの構成要素が説明された方法と異なる形態で結合又は組み合わせたり、他の構成要素又は均等物によって代替、置換されても適切な結果が達成され得る。したがって、本発明の範囲は、開示された実施形態に限定されて定められるものではなく、特許請求の範囲及び特許請求の範囲と均等なものなどによって定められるものである。

【符号の説明】

【0078】

１００：視点追跡装置
１１０：特徴点検出器
１２０：目領域決定器
１３０：目内部領域決定器
１４０：瞳孔領域決定器
１５０：目位置決定器

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15A】

【図15B】

【図16】