特許 5994069 視線方向推定システムおよび視線方向の推定方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】5994069

(24)【登録日】2016年9月2日

(45)【発行日】2016年9月21日

(54)【発明の名称】視線方向推定システムおよび視線方向の推定方法

(51)【国際特許分類】

   A61B 3/113 20060101AFI20160908BHJP

【ＦＩ】

   A61B3/10 BZDM

【請求項の数】4

【全頁数】14

(21)【出願番号】特願2012-22718(P2012-22718)

(22)【出願日】2012年2月6日

(65)【公開番号】特開2013-158470(P2013-158470A)

(43)【公開日】2013年8月19日

【審査請求日】2015年1月27日

(73)【特許権者】

【識別番号】504176911

【氏名又は名称】国立大学法人大阪大学

(73)【特許権者】

【識別番号】393031586

【氏名又は名称】株式会社国際電気通信基礎技術研究所

(74)【代理人】

【識別番号】100109162

【弁理士】

【氏名又は名称】酒井 將行

(72)【発明者】

【氏名】不二門 尚

(72)【発明者】

【氏名】内海 章

(72)【発明者】

【氏名】野間 春生

(72)【発明者】

【氏名】萩田 紀博

【審査官】 増渕 俊仁

(56)【参考文献】

【文献】 米国特許第０８０７７９１４（ＵＳ，Ｂ１）

【文献】 特開平０４−２００５２４（ＪＰ，Ａ）

【文献】 特開平１０−１７１９９４（ＪＰ，Ａ）

【文献】 特開２００８−１０２９０２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３／００−３／１８

(57)【特許請求の範囲】

【請求項1】

対象者が装着可能なコンタクトレンズを備え、
前記コンタクトレンズは、外面側に設けられ所定の反射パターンを成すように形成された再帰性反射材を含み、前記再帰性反射材は、前記コンタクトレンズの中心のまわりの複数の予め規定された配置可能位置に分散して配置されており、
前記コンタクトレンズに対して光を照射するための光源と、
前記光源から照射された光による前記再帰性反射材からの反射光を含む画像を撮像するための単眼の撮像手段と、
前記再帰性反射材の配置のパターンを予め記憶する記憶手段と、
前記撮像手段により撮像された画像に基づき、前記記憶手段に記憶された前記配置のパターンと比較して、前記対象者の目の位置および姿勢を推定することにより、視線の方向を推定する視線方向推定手段とを備える、視線方向推定システム。

【請求項2】

前記反射パターンは、右目および左目のいずれであるかを識別するための符号を表現しており、
前記視線方向推定手段は、前記符号を用いて、前記対象者の姿勢を検知して、前記視線の方向を推定する、請求項１記載の視線方向推定システム。

【請求項3】

前記配置のパターンは、前記コンタクトレンズの前記配置可能位置の所定の領域内に、所定の規則で再帰性反射が生じる部分と生じない部分とが並べられた２次元の反射パターン、または、前記コンタクトレンズ上で複数の同心円状に規定される複数の前記配置可能位置に、再帰性反射材を選択的に配置したパターンであり、
前記反射パターンは、複数の前記対象者ごとに異なり、
前記視線方向推定手段は、さらに、撮影された当該対象者を同定する手段を備える、請求項１または２記載の視線方向推定システム。

【請求項4】

コンタクトレンズを装着した対象者の視線方向を推定するための方法であって、
前記コンタクトレンズは、外面側に設けられ所定の反射パターンを成すように形成された再帰性反射材を含み、前記再帰性反射材は、前記コンタクトレンズの中心のまわりの複数の予め規定された配置可能位置に分散して配置されており、
光源により、前記コンタクトレンズに対して光を照射するステップと、
前記光源から照射された光による前記再帰性反射材からの反射光を含む画像を単眼の撮像装置により撮像するステップと、
前記撮像された画像に基づき、記憶装置に予め記憶された前記配置のパターンと比較して、前記対象者の目の位置および姿勢を推定することにより、視線の方向を推定するステップとを備える、視線方向の推定方法。

【発明の詳細な説明】

【技術分野】

【0001】

この発明は、撮影された画像中の対象人物の視線の方向を推定する技術に関する。

【背景技術】

【0002】

従来より、視線方向を検出する装置としては、顔画像から視線方向を検出する視線方向の推定装置（例えば、特許文献１参照）や、頭部に装着したメガネ形状の装置から観察者の眼へ赤外光を平行光として照射し、撮像された目の画像から瞳孔中心の位置と角膜反射光の位置とに基づいて視線方向を演算する装置（例えば、特許文献２参照）などが、種々提案されている。

【0003】

また、使用者の眼球を撮影した眼球像から、使用者の注視しているエリアを検出する注視エリア検出装置を備えた頭部装着型情報表示装置なども報告がある（たとえば、特許文献３）。

【0004】

さらに、人間の視線方向を高精度に検出するために、コンタクトレンズに取り付けたコイルと頭部周囲に設置したコイル間の電磁誘導を利用してレンズの位置・姿勢を計測する方式についての報告もある（たとえば、非特許文献１）。

【0005】

一方で、撮影された画像から人間や物の姿勢・動きを検出するために、対象物に再帰性反射材からなるマーカをつけ、このマーカには予め固有のＩＤを割り振って、画像中でマーカを検出して同定し、対象物の位置・姿勢を追跡する技術もある（たとえば、特許文献４）。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】特許第４６９２５２６号公報

【特許文献2】特開２００５−２４５７９１号公報

【特許文献3】特開２０１１−１９８１４１号公報

【特許文献4】特開２００７−０６４８０８号公報

【非特許文献】

【0007】

【非特許文献1】Dale Roberts, Mark Shelhamer, and Aaron Wong, A new ”wireless”search-coil system．Proceedings of the 2008 symposium on Eye tracking research applications ETRA 08 (2008) pp.197-198.

【発明の概要】

【発明が解決しようとする課題】

【0008】

ただし、特許文献２や特許文献３に記載の技術では、装置の小型が図られているとはいえ、装着する人間には、圧迫感があり、常時、装着し続けるには、装着者の疲労の問題などがある。

【0009】

また、非特許文献１に記載の技術では、高い精度が得られるが、反面周辺コイルと近接して利用する必要があるため、頭部運動の自由度は制約される。

【0010】

特許文献１に記載の技術では、そもそも、使用者から離れて設置されたカメラにより撮影された画像に基づいて、視線の方向を推定するものであるから、上記のような自由度の制約の問題はない。

【0011】

ただし、特許文献１に記載の視線方向の推定装置は、上記のような使用者の負担はないものの、使用者ないし被観測者から離れた位置のカメラで撮影しているため、撮影された人物を個人として特定するのは、視線推定とは別の手段によることが必要になる。

【0012】

一方で、特許文献４に記載の技術では、マーカーにより対象物、たとえば、人間の位置や姿勢を推定する技術であって、視線の方向を推定することを目的としたものではなく、また、対象の特定は、画像中のマーカの位置座標などを同定のための指標としているに過ぎない。

【0013】

本発明は、上記のような問題点を解決するためになされたものであって、その目的は、対象となる人物の視線の推定を効率よく実施することが可能な視線方向推定システムおよび視線方向の推定方法を提供することである。

【0014】

この発明の他の目的は、視線方向の推定と、人物の同定とを同時に効率よく実施することが可能な視線方向推定システムおよび視線方向の推定方法を提供することである。

【課題を解決するための手段】

【0015】

この発明の１つの局面に従うと、視線方向推定システムであって、対象者が装着可能なコンタクトレンズを備え、コンタクトレンズは、外面側に設けられ所定の反射パターンを成すように形成された再帰性反射材を含み、再帰性反射材は、コンタクトレンズの中心のまわりの複数の予め規定された配置可能位置に分散して配置されており、
コンタクトレンズに対して光を照射するための光源と、光源から照射された光による再帰性反射材からの反射光を含む画像を撮像するための単眼の撮像手段と、再帰性反射材の配置のパターンを予め記憶する記憶手段と、撮像手段により撮像された画像に基づき、記憶手段に記憶された配置のパターンと比較して、対象者の目の位置および姿勢を推定することにより、視線の方向を推定する視線方向推定手段とを備える。

【0016】

好ましくは、反射パターンは、右目および左目のいずれであるかを識別するための符号を表現しており、視線方向推定手段は、符号を用いて、対象者の姿勢を検知して、視線の方向を推定する。

【0017】

好ましくは、配置のパターンは、コンタクトレンズの配置可能位置の所定の領域内に、所定の規則で再帰性反射が生じる部分と生じない部分とが並べられた２次元の反射パターン、または、コンタクトレンズ上で複数の同心円状に規定される複数の配置可能位置に、再帰性反射材を選択的に配置したパターンであり、反射パターンは、複数の対象者ごとに異なり、視線方向推定手段は、さらに、撮影された当該対象者を同定する手段を備える。

【0018】

この発明の他の局面に従うと、視線方向の推定方法であって、コンタクトレンズを装着した対象者の視線方向を推定するための方法であって、コンタクトレンズは、外面側に設けられ所定の反射パターンを成すように形成された再帰性反射材を含み、再帰性反射材は、コンタクトレンズの中心のまわりの複数の予め規定された配置可能位置に分散して配置されており、光源により、コンタクトレンズに対して光を照射するステップと、光源から照射された光による再帰性反射材からの反射光を含む画像を単眼の撮像装置により撮像するステップと、撮像された画像に基づき、記憶装置に予め記憶された配置のパターンと比較して、対象者の目の位置および姿勢を推定することにより、視線の方向を推定するステップとを備える。

【発明の効果】

【0019】

この発明によれば、対象人物から離れて撮像した画像に基づいて、当該人物の視線の方向の推定を効率よく実行することが可能である。

【0020】

また、この発明によれば、対象人物から離れて撮像した画像に基づいて、当該人物の視線方向の推定と同定とを同時に実行することが可能である。

【図面の簡単な説明】

【0021】

【図1】視線方向推定システム１０００の構成の概念を示す図である。

【図2】対象者が装着しているコンタクトレンズ１０に設けられる、再帰性反射材によるパターンの例を示す図である。

【図3】本実施の形態の視線方向推定装置１００において、ＣＰＵ５６がソフトウェアを実行するにより実現する機能を示す機能ブロック図である。

【図4】視線方向推定装置１００のハードウェア構成を説明するためのブロック図である。

【図5】コンタクトレンズ１０上からの反射により画像上に現れるパターンと解像度との関係を説明するための図である。

【図6】コンタクトレンズ上のパターン配置である場合に、解像度と誤差の関係を示す図である。

【図7】コンタクトレンズ１０に形成される再帰性反射材のパターンの配置を説明するための図である。

【図8】再帰性反射材をコンタクトレンズ１０中に形成する方法の一例を示す図である。

【図9】視線方向推定システム１００により撮像された画像の概念を説明するための図である。

【発明を実施するための形態】

【0022】

以下、本発明の実施の形態にかかる「視線方向推定システム」について説明する。この視線の推定装置は、コンピュータまたはマイコン等、プログラムにより動作する演算装置により実行されるソフトウェアにより実現されるものであって、対象画像から人物の眼に装着されたコンタクトレンズからの反射光のパターンを検出し、さらにこの反射光の画像に基づいて、人間の顔、顔の姿勢・位置を検出して、視線を推定するためのものである。

【0023】

図１は、この視線方向推定システム１０００の構成の概念を示す図である。

【0024】

図１に示すように、視線推定の対象となる人物（以下、「対象者」と呼ぶ）は、コンタクトレンズ１０を装着している。このコンタクトレンズには、後に説明するように、再帰性反射材を使用した特定パターンが形成されているものとする。

【0025】

視線方向推定システム１０００の視線方向推定装置１００の側からは、光源２８により、対象者に向けて、所定の波長の光が照射され、カメラ３０により、撮像が行われる。

【0026】

再帰性反射層は照明された方向に強い反射光を返すため、照明装置と同じ方向に設置したカメラにより形成した光学パターンを安定して計測できる。例えば赤外照明と赤外カメラを組み合わせることでレンズ装着者に不快感を与えることなく、同原理を用いたパターン計測が可能である。レンズに既知のパターンを設置することで、例えば瞳孔や虹彩計測では得られない個人同定や左右眼の同定が可能となる。

【0027】

なお、光源２８からの光としては、可視光でよいが、たとえば、上述したような赤外線のような人間には可視でない光でもよい。また、カメラ３０としては、観測する光の波長に応じて、可視光に対する撮像素子を用いたものや、赤外光のような不可視光に対する撮像素子を用いたものであってもよいし、いずれの光も検知できるように、これらを組み合わせて撮像するものであってもよい。

【0028】

図２は、図１において、対象者が装着しているコンタクトレンズ１０に設けられる、再帰性反射材によるパターンの例を示す図である。

【0029】

図２（ａ）は、コンタクトレンズ１０に設けられるパターンの第１の例である。

【0030】

たとえば、コンタクトレンズ１０上に予めパターンの配置可能位置が規定されている。図２（ａ）に示した例では、２重の同心円上に、このような配置可能位置が設定されている。内側の同心円には、８か所の位置が設定されており、外側の同心円にも、８か所の位置が設定されている。

【0031】

このような配置可能位置に、再帰性反射材を選択的に配置することで、様々な反射パターンを実現できる。たとえば、内側の同心円上の８か所の配置可能位置のうち、１つおきに再帰性反射材を配置し、外側の同心円上の８か所の配置可能位置のうち、中心からの回転角が同等な位置に、やはり１つおきに再帰性反射材を配置すれば、１つの反射パターンができる。内側の同心円または外側の同心円の一方のみに、再帰性反射材を配置してもよいし、１つの同心円上で配置される位置や個数を適宜変更することで、別の反射パターンを作ることもできる。

【0032】

ただし、この場合、コンタクトレンズの中心の回りの所定角の回転により、互いに重なる反射パターンは同一とみなす。

【0033】

同心円の個数は、上記の個数に限られず、同心円上に設けられる配置可能位置の個数も上記の例には限られない。

【0034】

さらには、反射光パターンとして、識別可能であれば、各配置可能位置が同心円状に配置されいている構成に、限定されるものでもない。

【0035】

図２（ｂ）は、コンタクトレンズ１０に設けられるパターンの第２の例である。

【0036】

図２（ｂ）に示した例では、コンタクトレンズ１０の所定の配置可能位置に、均一な再帰性反射材を配置するのではなく、たとえば、所定の規則で並べられた２次元の反射パターンを有する領域を設けるものである。すなわち、光を照射した場合に、再帰性反射が生じる部分と生じない部分とを所定の領域内に２次元に配置したパターンを形成する。

【0037】

たとえば、特に限定されないが、後述するように、均一な再帰性反射材を矩形形状に設け、この矩形形状の再帰性反射材の反射面側に、上記２次元の反射パターンを構成するように部分的に拡散材をさらに配置してマスクすることにより、このような反射パターンを形成することが可能である。あるいは、たとえば、２次元の反射パターンのうち、再帰性反射を生じるべき部分にのみ、再帰性反射材を設ける構成としてもよい。

【0038】

このようにして、再帰性反射材により形成される反射パターンは、個人を特定する情報を表現するだけでなく、その個人の右目からの反射であるか左目からの反射であるかを特定する情報を表現していてもよい。

【0039】

［システムの機能ブロック］
以下に説明するとおり、本実施の形態の視線方向推定装置１００では、図２で説明した反射パターンを顔特徴点として検出・追跡することにより、視線方向を推定するとともに、そのような反射パターンのコンタクトレンズを装着している対象者を特定する。

【0040】

本実施の形態の視線の推定装置では、この「視線方向を推定する処理」においては、眼球中心と虹彩中心を結ぶ３次元直線を視線方向として推定する。眼球中心は画像からは直接観測することはできないものの、以下に説明するような３次元モデルにより、眼球中心と顔特徴点との相対関係をモデル化することにより、眼球中心の投影位置を推定する。

【0041】

なお、以下では実施の形態の説明の便宜上、「虹彩中心」との用語を用いるが、この用語は、「虹彩の中心」または「瞳孔の中心」を意味するものとして使用するものとする。つまり、視線の推定処理において、以下の説明のような手続きにより求められるものを「虹彩中心」と呼ぶか「瞳孔中心」と呼ぶかは、その手続きが同様である限りにおいて、本実施の形態の態様において、本質的な相違を有するものではない。

【0042】

図３は、本実施の形態の視線方向推定装置１００において、後述する中央演算装置（ＣＰＵ：Central Processing Unit）５６がソフトウェアを実行するにより実現する機能を示す機能ブロック図である。なお、図３においては、コンタクトレンズ１０については図示省略している。

【0043】

なお、図３に示した機能ブロックのうちのＣＰＵ５６が実現する機能ブロックとしては、ソフトウェアでの処理に限定されるものではなく、その一部または全部がハードウェアにより実現されてもよい。

【0044】

図３を参照して、光源制御部５６００は、光源２８の点灯・消灯のタイミングを制御する。ここで、上述したように、光源２８は、可視光でもよいし、あるいは、対象者への眼の負担等を考慮して、赤外線を利用してもよい。

【0045】

カメラ３０により撮像された動画に対応する映像信号は、フレームごとに画像キャプチャ処理部５６０２により制御されてデジタルデータとしてキャプチャされ、画像データ記録処理部５６０４により、たとえば、不揮発性記憶装置５４のような記憶装置に格納される。

【0046】

再帰性反射パターン検出部５６０６は、キャプチャされたフレーム画像列に対して、図２で説明したような再帰性反射パターンの探索を行う。一般には、光源２８からの光照射に対して再帰性反射が起こるので、カメラ３０では、このような再帰性反射を受光する画像領域は、光の強度が強く検出される。あるいは、光源２８からの光が特定の波長（または波長領域）の成分からなるものであれば、カメラ３０をこのような波長に対する感度が高いものを使用することにより、あるいは、カメラ３０が撮影されうる光の波長（または波長領域）を切り替えて撮影することが可能な機能を有する場合は、このような撮影モードを切り替えることにより、再帰性反射パターンを、より選択的に検出することも可能である。

【0047】

そして、このようにして検出された再帰性反射パターンにより、不揮発性記憶装置５４に、当該パターンに対応するものとして予め登録されている情報により、個人の同定を行うことが可能である。さらに、右目または左目の別を区別可能な情報が再帰性反射パターンで表現されている場合は、その再帰性反射パターンが同定された個人のいずれの目からの反射であるのかも特定することが可能である。

【0048】

続いて、このとき、特に限定されないが、再帰性反射パターン検出部５６０６が、目以外の鼻・口などの位置関係を検出して顔特徴点を抽出・追跡する。このとき、左目または右目であるかが判別されていれば、この情報も併せて、顔特徴点の抽出に利用することができる。

【0049】

続いて、頭部位置・姿勢推定部５６１０が、たとえば、特許文献１（特許第４６９２５２６号公報明細書）に記載されたような単眼カメラによる視線方向の検出処理におけるのと同様の処理により、撮影できているカメラからの画像データにおいて、頭部の位置および頭部の姿勢の推定処理が実行される。特定された特定人物の頭部位置は、当該時刻における頭部位置として、次の処理タイミングで使用するために不揮発性記憶装置５４に格納される。

【0050】

頭部の位置および頭部の姿勢が推定されると、処理対象となっている画像フレーム以前に獲得されている眼球の３次元モデルに基づいて、眼球中心推定部５６１２は、処理対象の特定人物の眼球中心の３次元的な位置を推定する。

【0051】

虹彩中心抽出部５６１４は、虹彩の中心の投影位置を検出する。ここで、虹彩位置の推定においては、たとえば、上述した特許文献１に記載されたような処理であって、目の周辺領域に対して、ラプラシアンにより虹彩のエッジ候補を抽出し、円のハフ変換を適用することにより、虹彩の中心の投影位置を検出する、というような処理を行ってもよい。あるいは、上述したような反射パターンの形状に基づいて、コンタクトレンズの中心位置が、虹彩中心に相当するとして、虹彩中心位置を推定してもよい。

【0052】

視線方向推定部５６１８は、抽出された虹彩の中心の投影位置である画像フレーム中の２次元的な位置と、推定された眼球の３次元的な中心位置とに基づいて、眼球中心と虹彩中心とを結ぶ方向として視線方向を推定する。推定された視線方向は、眼球中心位置等の推定処理に使用したパラメータとともに、不揮発性記憶装置５４に格納される。

【0053】

また、出力制御部５６１３は、ディスプレイ等の表示部４２に、以上のようにして推定された視線の方向を、取得された画像フレーム上に表示するための処理を行なう。特に限定されないが、同定された個人を示す情報も、併せて表示されてもよい。

【0054】

なお、再帰性反射パターンが十分な解像度で撮影された場合には、再帰性反射パターンからコンタクトレンズの姿勢を直接推定することも可能である。この場合は、再帰性反射パターン検出部５６０６自身が視線方向の推定処理を行うこととしてもよい。

【0055】

図４は、視線方向推定装置１００のハードウェア構成を説明するためのブロック図である。

【0056】

図４に示されるように、この視線方向推定装置１００を構成する推定演算装置２０は、外部記録媒体６４に記録されたデータを読み取ることができるドライブ装置５２と、バス６６に接続されたＣＰＵ５６と、ＲＯＭ（Read Only Memory) ５８と、ＲＡＭ（Random Access Memory）６０と、不揮発性記憶装置５４と、光源２８と、カメラ３０からの画像を取込むための画像取込装置６８とを含んでいる。

【0057】

なお、ドライブ装置５２があることで、たとえば、対象者ごとの登録データなどを媒体６４から読込ませたりすることなどが可能となる。ただし、外部記録媒体６４を使用することは、システムの構成上は任意であって、ドライブ装置５２は、構成から省略してもよい。

【0058】

外部記録媒体６４としては、たとえば、メモリカード６４を使用することができる。ただし、メモリカードドライブ５２の機能を実現する装置は、フラッシュメモリなどの不揮発性の半導体メモリに記憶されたデータを読み出せる装置であれば、対象となる記録媒体は、メモリカードに限定されない。また、不揮発性記憶装置５４の機能を実現する装置も、不揮発的にデータを記憶し、かつ、ランダムアクセスできる装置であれば、ハードディスクのような磁気記憶装置を使用してもよいし、フラッシュメモリなどの不揮発性半導体メモリを記憶装置として用いるソリッドステートドライブ（ＳＳＤ：Solid State Drive）を用いることもできる。

【0059】

既に述べたように、この視線の推定装置の主要部は、コンタクトレンズ１０と、コンピュータハードウェアと、ＣＰＵ５６により実行されるソフトウェアとにより実現される。一般的にこうしたソフトウェアは、マスクＲＯＭやプログラマブルＲＯＭなどにより推定演算装置２０の製造時に記録されており、これが実行時にＲＡＭ６０に読みだされる構成としてもよいし、ドライブ装置５２により記録媒体６４から読取られて不揮発性記憶装置５４に一旦格納され、実行時にＲＡＭ６０に読みだされる構成としてもよい。または、当該装置がネットワークに接続されている場合には、ネットワーク上のサーバから、一旦、不揮発性記憶装置５４にコピーされ、不揮発性記憶装置５４からＲＡＭ６０に読出されてＣＰＵ５６により実行される構成であってもよい。

【0060】

図４に示したコンピュータのハードウェア自体およびその動作原理は一般的なものである。したがって、視線検出装置１００の本質的な部分は、不揮発性記憶装置５４等の記録媒体に記憶されたソフトウェアである。

【0061】

図５は、コンタクトレンズ１０上からの反射により画像上に現れるパターンと解像度との関係を説明するための図である。

【0062】

図５（ａ）は、図２（ａ）で説明したコンタクトレンズ１０の外形寸法を例示する図である。

【0063】

コンタクトレンズ１０の最大の外径が１０ｍｍであり、コンタクトレンズ面の曲率半径８ｍｍであるものとし、パターンの径方向の間隔は２ｍｍであるものとする。

【0064】

また、図５（ｂ）は、カメラ３０で撮影される観測画像における画素の配置を例示するための図である。

【0065】

図６は、図５で示したようなコンタクトレンズ上のパターン配置である場合に、解像度とレンズ姿勢の観測誤差の関係を示す図である。

【0066】

以上説明したとおり、本実施の形態の視線方向の推定システム１００では、カメラによりコンタクトレンズ上の特徴点（再帰性反射）を観測し、コンタクトレンズの姿勢を推定することが可能である。

【0067】

図６において、特徴点間の距離の変化のみからレンズ姿勢を推定する場合の計測誤差については、一般には、以下のように考えることができる。

【0068】

図６では、簡単のため１軸回転（水平軸まわり）に限定して考える。一組の観測値（ｖ，ｈ）から回転角θ_dは以下のように計算できる。

【0069】

【数1】

ここで、θは図５に示すとおり、レンズが正面を向いているときの特徴点を結ぶ線分と撮像面のなす角度である。観測値v，ｈの誤差をそれぞれσv，σh（ｖ，ｈは、実際は下付き文字）とすると、姿勢推定誤差σθ（θは、実際は下付き文字）は次式で見積られる。

【0070】

【数2】

観測がｎ組あれば、以下のように表される。

【0071】

【数3】

図６に示すように、１０組の観測結果に対して、解像度が１０００ピクセルであれば、誤差は０．４６度程度となり、反射パターンによるコンタクトレンズ姿勢の検出が可能である。

【0072】

図７は、コンタクトレンズ１０に形成される再帰性反射材のパターンの配置を説明するための図である。

【0073】

図７では、コンタクトレンズ１０の再帰性反射材を含む断面を示す。

【0074】

図７（ａ）は、コンタクトレンズ１０に対して、再帰性反射材１２自体の配置によってパターン形成する例を示している。１つのパターンの寸法は、たとえば、１００μｍ〜１ｍｍ程度である。

【0075】

図７（ｂ）は、比較的広く形成した再帰性反射面上にマスクパターン１４を形成する例を示す。

【0076】

マスク材としては、光を透過させない樹脂でもよいし、あるいは、樹脂表面の凹凸により光を散乱させるような部材でもよい。

【0077】

ここで、再帰性反射材の製造法としては、特に限定はされないが、フィルム状の部材の表面に再帰性反射膜を形成する方法としては、たとえば、以下の文献に記載がある。

【0078】

文献１：特開２００７−３０１７９０号公報
あるいは、レンズの基材中に、キュービック形状の空洞を形成して、このキュービック形状の空洞を再帰性反射材として使用することも可能である。

【0079】

図８は、再帰性反射材をコンタクトレンズ１０中に形成する方法の一例を示す図である。

【0080】

まず、図８（ａ）に示すように所定の厚さのレンズを、レンズ基材である樹脂（たとえば、ＰＭＭＡ（Polymethylmethacrylate, ポリメチルメタアクリレート））を使用して作成する。

【0081】

次に、図８（ｂ）に示すように、図８（ａ）のレンズの内側に、たとえば、上述した文献１で生成したフィルムを所定パターンとなるように形成する。

【0082】

その後に、図８（ｃ）に示すように、さらに、レンズ基材である樹脂を被せて、コンタクトレンズ１０の形状を生成する。

【0083】

なお、もちろん、他の方法を使用して、コンタクトレンズ１０中に、再帰性反射材のパターンを形成してもよい。

【0084】

図９は、視線方向推定システム１０００により撮像された画像の概念を説明するための図である。

【0085】

図９に示されるように、多人数が、同一の画像中に写っているような場合でも、画像中から、特定の個人を同定して、かつ、その個人についての視線を推定することが可能となる。

【0086】

以上説明したように、視線方向推定システム１００は、コンタクトレンズ上に設けた再帰性反射層によって外部から計測可能な光学パターンを複数形成し、パターンの位置および識別符号（ＩＤ）を遠隔からカメラにより計測する。パターンの位置からレンズの位置・姿勢を、識別符号からそのレンズを装着しているユーザ（さらに、条件によって左右いずれの目であるか）を特定し、カメラにより撮影された複数の人の視線運動を連続的に計測する。

【0087】

このような構成とすれば、従来の装着型視線計測装置に比べて軽量で利用者の負担が少ない。また周囲から見て目立たない（視覚的な違和感がない）。そのため、マーケティングや行動計測といった用途においても日常と変わらない環境で視線に関するデータが取得できる。

【0088】

また、直接レンズ姿勢を計測するため、従来装置のように毎回校正を行う必要がなく利便性が高い、という利点がある。

【0089】

今回開示された実施の形態は、本発明を具体的に実施するための構成の例示であって、本発明の技術的範囲を制限するものではない。本発明の技術的範囲は、実施の形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲の文言上の範囲および均等の意味の範囲内での変更が含まれることが意図される。

【符号の説明】

【0090】

１０ コンタクトレンズ、２８ 光源、３０ カメラ、４２ 表示部（ディスプレイ）、５２ ドライブ装置、５４ 記憶装置、６０ ＲＡＭ、６４ 記録媒体、６６ バス、６８ 画像取込装置、１００ 視線方向推定装置、１０００ 視線方向推定システム、５６００ 光源制御部、５６０２ 画像キャプチャ処理部、５６０４ 画像データ記録処理部、５６０６再帰性反射パターン検出部、５６１０ 頭部位置・姿勢推定部、５６１２ 眼球中心推定部、５６１３ 出力制御部、５６１４ 虹彩中心抽出部、５６１６ 視線方向推定部。

【図1】

【図3】

【図4】

【図5】

【図7】

【図8】

【図2】

【図6】

【図9】