特許 6963820 視線検出装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6963820

(24)【登録日】2021年10月20日

(45)【発行日】2021年11月10日

(54)【発明の名称】視線検出装置

(51)【国際特許分類】

   G06T 7/70 20170101AFI20211028BHJP

【ＦＩ】

   G06T7/70 B

【請求項の数】13

【全頁数】37

(21)【出願番号】特願2018-533562(P2018-533562)

(86)(22)【出願日】2017年8月10日

(86)【国際出願番号】JP2017029092

(87)【国際公開番号】WO2018030515

(87)【国際公開日】20180215

【審査請求日】2020年6月30日

(31)【優先権主張番号】特願2016-158944(P2016-158944)

(32)【優先日】2016年8月12日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】304023318

【氏名又は名称】国立大学法人静岡大学

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100124800

【弁理士】

【氏名又は名称】諏澤 勇司

(74)【代理人】

【識別番号】100170818

【弁理士】

【氏名又は名称】小松 秀輝

(72)【発明者】

【氏名】海老澤 嘉伸

【審査官】 山田 辰美

(56)【参考文献】

【文献】 特開２０１６−０５１３１５（ＪＰ，Ａ）

【文献】 国際公開第２０１６／０９８４０６（ＷＯ，Ａ１）

【文献】 特開２００５−２３００４９（ＪＰ，Ａ）

【文献】 特開２００７−２７１５５４（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／００−７／９０

(57)【特許請求の範囲】

【請求項1】

対象者の眼を含む複数の眼画像を得る画像取得部と、
前記画像取得部の近傍に配置されて、前記眼において角膜反射を生じさせるための光を前記対象者に照射する光源と、
前記複数の眼画像を利用して、前記複数の眼画像に含まれた前記眼の瞳孔形状、瞳孔中心の位置（Ｐ_Ｓ）及び角膜反射の位置（Ｇ_Ｓ）に関する情報を取得し、取得された前記情報に基づいて前記対象者の視線を得る画像処理部と、を備え、
前記画像処理部は、
前記瞳孔中心の位置（Ｐ_Ｓ）及び前記角膜反射の位置（Ｇ_Ｓ）を利用して、第１光軸候補を得る第１光軸取得部と、
前記瞳孔形状を利用して、第２光軸候補を得る第２光軸取得部と、
前記複数の眼画像に含まれた前記瞳孔の外形形状を所定形状に近似すると共に、前記所定形状における長径（Ｌ_Ａ）と短径（Ｌ_Ｂ）とにより示される評価値（Ｒ＝Ｌ_Ａ／Ｌ_Ｂ）を得る第４演算部と、
前記瞳孔形状に基づく前記評価値を利用して前記対象者の眼の光軸を取得するための情報を生成すると共に、前記情報に基づいて選択した前記第１光軸候補及び前記第２光軸候補のいずれか一方を前記光軸として出力する光軸情報取得部と、
前記眼の視軸に対する前記光軸のずれを示す較正情報を提供する較正情報部と、
前記較正情報を利用して、前記光軸を較正することにより前記視線としての前記視軸を得る視軸取得部と、を有し、
前記光軸情報取得部は、
前記評価値（Ｒ＝Ｌ_Ａ／Ｌ_Ｂ）の逆数の逆余弦成分として得られる傾き（θｓ）が閾値より小さい場合に、前記第１光軸候補を前記光軸として選択する情報を生成し、
前記評価値（Ｒ＝Ｌ_Ａ／Ｌ_Ｂ）の逆数の逆余弦成分として得られる傾き（θｓ）が閾値より大きい場合に、前記第２光軸候補を前記光軸として選択する情報を生成する、視線検出装置。

【請求項2】

前記較正情報は、ずれ角（θ_０）であり、
前記ずれ角（θ_０）は、前記視軸に対する前記光軸のずれを示すベクトルであり、大きさ（｜θ_０｜）及び前記視軸に前記光軸の傾き（φ_０）によって示される、請求項１に記載の視線検出装置。

【請求項3】

前記画像処理部は、
前記画像取得部の位置（Ｏ_Ｓ）から前記瞳孔中心の位置（Ｐ_Ｓ）へ向かう第１ベクトル（ＯＰ）を得る第１演算部と、
前記角膜反射の位置（Ｇ_Ｓ）から前記瞳孔中心の位置（Ｐ_Ｓ）へ向かう第２ベクトル（ｒ）を得る第２演算部と、
前記第１ベクトル（ＯＰ）を法線とする仮想視点平面を得る第３演算部と、
前記所定形状の短軸と水平軸との間の傾き（γ‘）を得る第５演算部と、
を有し、
前記第１光軸取得部は、前記第１ベクトル（ＯＰ）を基準とした角（θ）の大きさ（｜θ｜）と、前記仮想視点平面に含まれた水平軸を基準とした傾き（φ）とにより示される前記第１光軸候補を、前記角（θ）の大きさ（｜θ｜）に関連付けられた前記第２ベクトル（ｒ）の大きさ（｜ｒ｜）と、前記傾き（φ）に関連付けられた前記第２ベクトル（ｒ）と前記水平軸のなす傾き（φ’）と、を利用して取得し、
前記第２光軸取得部は、前記第１ベクトル（ＯＰ）を基準とした前記角（θ）の大きさ（｜θ｜）と前記仮想視点平面に含まれた水平軸を基準とした前記傾き（φ）とにより示される前記第２光軸候補を、前記角（θ）の大きさ（｜θ｜）に関連付けられた前記評価値（Ｒ）と、前記傾き（φ）に関連付けられた前記傾き（γ‘）と、を利用して得る、請求項１又は２に記載の視線検出装置。

【請求項4】

前記第１光軸取得部は、前記第２ベクトル（ｒ）の大きさ（｜ｒ｜）を、第１係数（ｋ）を利用して前記角（θ）の大きさ（｜θ｜）に関連付ける、請求項３に記載の視線検出装置。

【請求項5】

前記画像取得部は、前記複数の眼画像に含まれる第１眼画像を得ると共に第１カメラ位置（Ｏ_Ｓ１）に配置された第１カメラと、前記複数の眼画像に含まれる第２眼画像を得ると共に第２カメラ位置（Ｏ_Ｓ２）に配置された第２カメラと、を有し、
前記眼は、第１眼と第２眼とを有し、
前記第１眼は、第１角膜反射の位置（Ｇ_Ｓ１）と、第１瞳孔中心の位置（Ｐ_Ｓ１）と、第１光軸と、を有し、
前記第２眼は、第２角膜反射の位置（Ｇ_Ｓ２）と、第２瞳孔中心の位置（Ｐ_Ｓ２）と、第２光軸と、を有し、
前記画像処理部は、
前記第１眼画像を利用して、前記第１角膜反射の位置（Ｇ_Ｓ１）から前記第１瞳孔中心の位置（Ｐ_Ｓ１）へ向かう第３ベクトル（ｒ_１）と前記第１カメラ位置（Ｏ_Ｓ１）から前記第１瞳孔中心の位置（Ｐ_Ｓ１）へ向かう第４ベクトルとに基づいて、前記第１カメラ位置（Ｏ_Ｓ１）と、前記第１瞳孔中心の位置（Ｐ_Ｓ１）と、前記第４ベクトルを法線とする第１仮想視点平面に前記第１光軸が交差する位置と、を含む第１仮想光軸平面に関する情報を得る第６演算部と、
前記第２眼画像を利用して、前記第２角膜反射の位置（Ｇ_Ｓ２）から前記第２瞳孔中心の位置（Ｐ_Ｓ２）へ向かう第５ベクトル（ｒ_２）と前記第２カメラ位置（Ｏ_Ｓ２）から前記第２瞳孔中心の位置（Ｐ_Ｓ２）へ向かう第６ベクトルとに基づいて、前記第２カメラ位置（Ｏ_Ｓ２）と、前記第２瞳孔中心の位置（Ｐ_Ｓ２）と、前記第６ベクトルを法線とする第２仮想視点平面に前記第２光軸が交差する位置と、を含む第２仮想光軸平面に関する情報を得る第７演算部と、
前記第１係数（ｋ）を得る係数部と、をさらに有し、
前記係数部は、
前記第１仮想光軸平面と前記第２仮想光軸平面とが互いに交差する交線及び前記第４ベクトルから得られる第５角度（θ_１）と、前記第３ベクトル（ｒ_１）の大きさ（｜ｒ_１｜）と、を利用して、前記第１眼に対応する前記第１係数（ｋ_１）を得ると共に、前記交線及び前記第６ベクトルから得られる第５角度（θ_２）と、前記第５ベクトル（ｒ_２）の大きさ（｜ｒ_２｜）と、を利用して、前記第２眼に対応する前記第１係数（ｋ_２）を得る、請求項４に記載の視線検出装置。

【請求項6】

前記第４演算部は、前記第１眼画像を利用して、前記第１眼画像に含まれた前記瞳孔の外形形状を示す前記所定形状の長径（Ｌ_Ａ１）と短径（Ｌ_Ｂ１）との比である第１評価値（Ｒ_１＝Ｌ_Ａ１／Ｌ_Ｂ１）を得ると共に、前記第２眼画像を利用して、前記第２眼画像に含まれた前記瞳孔の外形形状を示す前記所定形状の長径（Ｌ_Ａ２）と短径（Ｌ_Ｂ２）との比である第２評価値（Ｒ_２＝Ｌ_Ａ２／Ｌ_Ｂ２）を取得し、
前記画像処理部は、前記第１評価値（Ｒ_１）と前記第２評価値（Ｒ_２）とを比較して、水平方向における前記対象者の視線方向を判別する方向判定部をさらに有する、請求項５に記載の視線検出装置。

【請求項7】

前記第２光軸取得部は、前記評価値（Ｒ）の逆数の逆余弦成分を、第２係数（ｈ）を利用して前記角（θ）の大きさ（｜θ｜）に関連付ける、請求項３〜６のいずれか一項に記載の視線検出装置。

【請求項8】

前記第２光軸取得部は、前記角（θ）の大きさ（｜θ｜）の取得において、前記対象者が有する眼球の角膜における屈折に起因する瞳孔輪郭のずれが補正された補正評価値（Ｒ’）を利用する、請求項３〜７のいずれか一項に記載の視線検出装置。

【請求項9】

前記眼は、第１眼と第２眼とを有し、
前記画像処理部は、
前記第１眼における瞳孔中心の位置（Ｐ_Ｓ１）、前記第２眼における瞳孔中心の位置（Ｐ_Ｓ２）、前記対象者が有する一対の鼻孔のうち、第１鼻孔の位置（Ｎ_Ｓ１）、及び、第２鼻孔の位置（Ｎ_Ｓ２）のそれぞれの三次元座標を取得する座標取得部と、
前記瞳孔中心の位置（Ｐ_Ｓ１）、前記瞳孔中心の位置（Ｐ_Ｓ２）、前記第１鼻孔の位置（Ｎ_Ｓ１）、及び、前記第２鼻孔の位置（Ｎ_Ｓ２）を利用して、前記対象者の顔姿勢を取得する顔姿勢取得部と、をさらに有する、請求項１〜８のいずれか一項に記載の視線検出装置。

【請求項10】

前記画像取得部は、前記対象者の顔を含む第１画像を得る第１カメラと、前記第１カメラから離間した位置に配置されると共に前記対象者の顔を含む第２画像を得る第２カメラを有し、
前記座標取得部は、前記第１画像及び前記第２画像に基づくステレオマッチング法により、前記第１眼における瞳孔中心の位置（Ｐ_Ｓ１）、前記第２眼における瞳孔中心の位置（Ｐ_Ｓ２）、前記第１鼻孔の位置（Ｎ_Ｓ１）、及び、前記第２鼻孔の位置（Ｎ_Ｓ２）のそれぞれの三次元座標を取得する、請求項９に記載の視線検出装置。

【請求項11】

前記画像取得部は、前記対象者の顔を含む第３画像を得る一台の第３カメラを有し、
前記座標取得部は、前記第１眼、前記第２眼、前記第１鼻孔及び前記第２鼻孔から生成される３個の特徴点間の距離を算出する距離演算部と、
前記第３カメラによって取得された前記第３画像を利用して、前記第３画像における３個の前記特徴点に関する二次元座標を算出する二次元座標演算部と、
前記距離演算部において取得された前記距離と、前記座標取得部において取得された前記二次元座標とを利用して、生成された３個の前記特徴点のそれぞれの三次元座標を算出する三次元座標演算部と、を有する、請求項１０に記載の視線検出装置。

【請求項12】

前記光軸情報取得部は、前記瞳孔形状に基づいて、前記第１光軸候補及び前記第２光軸候補のいずれか一方を前記光軸として選択するための情報を生成する、請求項１〜１１のいずれか一項に記載の視線検出装置。

【請求項13】

対象者の眼を含む複数の眼画像を得る画像取得部と、
前記画像取得部の近傍に配置されて、前記眼において角膜反射を生じさせるための光を前記対象者に照射する光源と、
前記複数の眼画像を利用して、前記複数の眼画像に含まれた前記眼の瞳孔形状、瞳孔中心の位置（Ｐ_Ｓ）及び角膜反射の位置（Ｇ_Ｓ）に関する情報を取得し、取得された前記情報に基づいて前記対象者の視線を得る画像処理部と、を備え、
前記画像処理部は、
前記瞳孔中心の位置（Ｐ_Ｓ）及び前記角膜反射の位置（Ｇ_Ｓ）を利用して、第１光軸候補を得る第１光軸取得部と、
前記瞳孔形状に基づき、前記対象者が有する眼球の角膜における屈折に起因する瞳孔輪郭のずれが補正された評価値（Ｒ’）を利用して、第２光軸候補を得る第２光軸取得部と、
前記瞳孔形状に基づき、前記第１光軸候補及び前記第２光軸候補の少なくとも一方を利用して、前記対象者の眼の光軸を取得するための情報を生成する光軸情報取得部と、
前記眼の視軸に対する前記光軸のずれを示す較正情報を提供する較正情報部と、
前記較正情報を利用して、前記光軸を較正することにより前記視線としての前記視軸を得る視軸取得部と、を有する、視線検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一形態は、視線検出装置に関する。

【背景技術】

【0002】

近年、近赤外光源等の光源とビデオカメラとを使用した視線検出装置が普及しつつある。視線検出装置は、「瞳孔−角膜反射法」と呼ばれる検出方法を用いる。ビデオカメラに対する被験者の視線方向の角度が変化すると、ビデオカメラで得られる画像中の瞳孔と角膜反射との位置関係が変化する。「瞳孔−角膜反射法」は、この位置関係の変化を利用して、視線方向を得る。「瞳孔−角膜反射法」は、まず、座標が既知である視標を被験者に注視させる。その結果、「瞳孔−角膜反射法」は、画像における瞳孔と角膜反射との位置関係と視線方向の角度との関係を得る。次に、「瞳孔−角膜反射法」は、当該関係を利用して視線方向を得る。瞳孔−角膜反射法は視線検出精度が高いという利点を有する。

【0003】

例えば、特許文献１は、瞳孔−角膜反射法を用いた視線検出装置を開示する。視線検出装置は、カメラ較正（ステレオ較正）がなされた２台以上のビデオカメラを有する。各カメラは、近赤外光源を有する。カメラと近赤外光源とを含む構成は、単に光学系と呼ばれる。視線検出装置は、近赤外光源を制御して点灯させながら、各カメラを利用して画像を得る。視線検出装置は、取得した画像を利用して、瞳孔の座標と光源の角膜反射の座標とを得る。そして、視線検出装置は、それらの相対位置座標を利用して視線方向を得る。視線検出装置は、瞳孔の三次元座標の取得と、各カメラから瞳孔までの距離の正確な取得と、その距離の変化により変化する角膜反射−瞳孔中心ベクトルの較正と、により高精度な注視点の検出ができる。特許文献１の視線検出装置は、瞳孔の三次元位置が必要である。従って、瞳孔は、２台以上のカメラによって得られた複数枚の画像に含まれている必要がある。また、瞳孔及び角膜反射は、視線角度を決定するために、少なくとも１枚の画像に含まれている必要がある。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】特開２００５−１８５４３１号公報

【発明の概要】

【発明が解決しようとする課題】

【0005】

対象者の視線が光学系から大きくずれた方向に向いた場合、角膜における光源の反射光である角膜反射が角膜の領域からはみ出るおそれがある。この場合、光源の反射光は、角膜反射から白目反射と呼ばれる状態に変化する。白目反射を利用する視線検出は、精度が低下する傾向にある。角膜反射が得られる視線角度範囲は被験者によって大きく異なる。視線角度範囲は、およそ３０度以上４０度以下程度である。要するに、瞳孔−角膜反射法は視線方向の検出が可能な角度範囲が限られる傾向がある。従来の視線検出装置は、カメラに光源が取り付けられている。この構成によれば、被験者がカメラに向かう方向に対して大きくずれた方向を見た場合に、角膜反射が出現しない状態が生じ得る。従って、角膜反射を利用する瞳孔−角膜反射法は、視線を検出可能な範囲を拡大することが難しかった。

【0006】

本発明は、対象者の視線方向の検出範囲を拡大することが可能な視線検出装置を提供する。

【課題を解決するための手段】

【0007】

本発明の一形態に係る視線検出装置は、対象者の眼を含む複数の眼画像を得る画像取得部と、画像取得部の近傍に配置されて、眼において角膜反射を生じさせるための光を対象者に照射する光源と、複数の眼画像を利用して、複数の眼画像に含まれた眼の瞳孔形状、瞳孔中心の位置（Ｐ_Ｓ）及び角膜反射の位置（Ｇ_Ｓ）に関する情報を取得し、取得された情報に基づいて対象者の視線を得る画像処理部と、を備え、画像処理部は、瞳孔中心の位置（Ｐ_Ｓ）及び角膜反射の位置（Ｇ_Ｓ）を利用して、第１光軸候補を得る第１光軸取得部と、瞳孔形状を利用して、第２光軸候補を得る第２光軸取得部と、瞳孔形状に基づき、第１光軸候補及び第２光軸候補の少なくとも一方を利用して、光軸を得るための情報を生成する光軸情報取得部と、眼の視軸に対する光軸のずれが角度によって示された較正情報を提供する較正情報部と、較正情報を利用して、光軸を較正することにより視線としての視軸を得る視軸取得部と、を有する。

【0008】

視線検出装置は、第１光軸取得部と第２光軸取得部とを有する。第１光軸取得部は、瞳孔中心の位置（Ｐ_Ｓ）と角膜反射の位置（Ｇ_Ｓ）とを利用して光軸を得る。従って、第１光軸取得部は、角膜反射が得られる視線の範囲において視線を検出できる。第２光軸取得部は、瞳孔の形状を利用して光軸を得る。従って、第２光軸取得部は、角膜反射が得られない視線の範囲であっても視線を検出できる。そして、光軸情報取得部は、瞳孔の形状を利用して第１光軸候補または第２光軸候補のいずれかを選択するための情報を生成する。第１光軸候補及び第２光軸候補から選択された光軸は、視軸取得部において、視軸に対するずれが較正される。その結果、視線としての視軸が得られる。従って、視線検出装置は、視線を良好に検出できる範囲を、角膜反射が得られる狭い範囲から、角膜反射が得られない広い範囲まで拡大することができる。

【0009】

較正情報は、ずれ角（θ_０）であり、ずれ角（θ_０）は、視軸に対する光軸のずれを示すベクトルであり、大きさ（｜θ_０｜）及び視軸に光軸の傾き（φ_０）によって示されてもよい。この構成によれば、視軸に対する光軸のずれを好適に較正することができる。

【0010】

画像処理部は、画像取得部の位置（Ｏ_Ｓ）から瞳孔中心の位置（Ｐ_Ｓ）へ向かう第１ベクトル（ＯＰ）を得る第１演算部と、角膜反射の位置（Ｇ_Ｓ）から瞳孔中心の位置（Ｐ_Ｓ）へ向かう第２ベクトル（ｒ）を得る第２演算部と、第１ベクトル（ＯＰ）を法線とする仮想視点平面を得る第３演算部と、複数の眼画像に含まれた瞳孔の外形形状を楕円として近似すると共に、楕円の長径（Ｌ_Ａ）と短径（Ｌ_Ｂ）とにより示される楕円度（Ｒ＝Ｌ_Ａ／Ｌ_Ｂ）を得る第４演算部と、楕円の短軸と水平軸との間の傾き（γ‘）を得る第５演算部と、有し、第１光軸取得部は、第１ベクトル（ＯＰ）を基準とした角（θ）の大きさ（｜θ｜）と、仮想視点平面に含まれた水平軸を基準とした傾き（φ）とにより示される第１光軸候補を、角（θ）の大きさ（｜θ｜）に関連付けられた第２ベクトル（ｒ）の大きさ（｜ｒ｜）と、傾き（φ）に関連付けられた第２ベクトル（ｒ）と水平軸のなす傾き（φ’）と、を利用して取得し、第２光軸取得部は、第１ベクトル（ＯＰ）を基準とした角（θ）の大きさ（｜θ｜）と仮想視点平面に含まれた水平軸を基準とした傾き（φ）とにより示される第２光軸候補を、角（θ）の大きさ（｜θ｜）に関連付けられた楕円度（Ｒ）と、傾き（φ）に関連付けられた傾き（γ‘）と、を利用して得てもよい。

【0011】

この構成によれば、第１光軸取得部において第１光軸候補を好適に得ることができる。また、第２光軸取得部において第２光軸候補を好適に得ることができる。

【0012】

第１光軸取得部は、第２ベクトル（ｒ）の大きさ（｜ｒ｜）を、第１係数（ｋ）を利用して角（θ）の大きさ（｜θ｜）に関連付けてもよい。第１係数（ｋ）によれば、第２ベクトル（ｒ）の大きさ（｜ｒ｜）を角（θ）の大きさ（｜θ｜）に好適に変換することができる。

【0013】

画像取得部は、複数の眼画像に含まれる第１眼画像を得ると共に第１カメラ位置（Ｏ_Ｓ１）に配置された第１カメラと、複数の眼画像に含まれる第２眼画像を得ると共に第２カメラ位置（Ｏ_Ｓ２）に配置された第２カメラと、を有し、眼は、第１眼と第２眼とを有し、第１眼は、第１角膜反射の位置（Ｇ_Ｓ１）と、第１瞳孔中心の位置（Ｐ_Ｓ１）と、第１光軸と、を有し、第２眼は、第２角膜反射の位置（Ｇ_Ｓ２）と、第２瞳孔中心の位置（Ｐ_Ｓ２）と、第２光軸と、を有し、画像処理部は、第１眼画像を利用して、第１角膜反射の位置（Ｇ_Ｓ１）から第１瞳孔中心の位置（Ｐ_Ｓ１）へ向かう第３ベクトル（ｒ_１）と第１カメラ位置（Ｏ_Ｓ１）から第１瞳孔中心の位置（Ｐ_Ｓ１）へ向かう第４ベクトルとに基づいて、第１カメラ位置（Ｏ_Ｓ１）と、第１瞳孔中心の位置（Ｐ_Ｓ１）と、第４ベクトルを法線とする第１仮想光軸平面に第１光軸が交差する位置と、を含む第１仮想光軸平面に関する情報を得る第６演算部と、第２眼画像を利用して、第２角膜反射の位置（Ｇ_Ｓ２）から第２瞳孔中心の位置（Ｐ_Ｓ２）へ向かう第５ベクトル（ｒ_２）と第２カメラ位置（Ｏ_Ｓ２）から第２瞳孔中心の位置（Ｐ_Ｓ２）へ向かう第６ベクトルとに基づいて、第２カメラ位置（Ｏ_Ｓ２）と、第２瞳孔中心の位置（Ｐ_Ｓ２）と、第６ベクトルを法線とする第２仮想光軸平面に第２光軸が交差する位置と、を含む第２仮想光軸平面に関する情報を得る第７演算部と、第１係数（ｋ）を得る係数部と、をさらに有し、係数部は、第１仮想光軸平面と第２仮想光軸平面とが互いに交差する交線及び第４ベクトルから得られる第５角度（θ_１）と、第３ベクトル（ｒ_１）の大きさ（｜ｒ_１｜）と、を利用して、第１眼に対応する第１係数（ｋ_１）を得ると共に、交線及び第６ベクトルから得られる第５角度（θ_２）と、第５ベクトル（ｒ_２）の大きさ（｜ｒ_２｜）と、を利用して、第２眼に対応する第１係数（ｋ_２）を得てもよい。

【0014】

この構成によれば、画像取得部が画像を得るごとに、視線と、第１係数（ｋ_１，ｋ_２）と、が得られる。従って、第１係数（ｋ_１，ｋ_２）を逐次更新することが可能になる。その結果、第２ベクトル（ｒ）の大きさ（｜ｒ｜）を角（θ）の大きさ（｜θ｜）に変換する精度を向上させることができる。また、第２ベクトル（ｒ）の大きさ（｜ｒ｜）と角（θ）の大きさ（｜θ｜）との関係が非線形である場合であっても、第２ベクトル（ｒ）の大きさ（｜ｒ｜）に対応する第１係数（ｋ_１，ｋ_２）を得ることが可能になる。従って、第２ベクトル（ｒ）の大きさ（｜ｒ｜）を角（θ）の大きさ（｜θ｜）に変換する精度をさらに向上させることができる。

【0015】

第４演算部は、第１眼画像を利用して、第１眼画像に含まれた瞳孔の外形形状を示す楕円の長径（Ｌ_Ａ１）と短径（Ｌ_Ｂ１）との比である第１楕円度（Ｒ_１＝Ｌ_Ａ１／Ｌ_Ｂ１）を得ると共に、第２眼画像を利用して、第２眼画像に含まれた瞳孔の外形形状を示す楕円の長径（Ｌ_Ａ２）と短径（Ｌ_Ｂ２）との比である第２楕円度（Ｒ_２＝Ｌ_Ａ２／Ｌ_Ｂ２）を取得し、画像処理部は、第１楕円度（Ｒ_１）と第２楕円度（Ｒ_２）とを比較して、水平方向における対象者の視線方向を判別する方向判定部をさらに有してもよい。

【0016】

この構成によれば、簡易な処理によって、視線方向を得ることができる。

【0017】

第２光軸取得部は、楕円度（Ｒ）の逆数の逆余弦成分を、第２係数（ｈ）を利用して角（θ）の大きさ（｜θ｜）に関連付けてもよい。第２係数（ｈ）によれば、楕円度（Ｒ）を角（θ）の大きさ（｜θ｜）に好適に変換することができる。

【0018】

第２光軸取得部は、角（θ）の大きさ（｜θ｜）の取得において、対象者が有する眼球の角膜における屈折に起因する瞳孔輪郭のずれが補正された補正楕円度（Ｒ’）を利用してもよい。この構成によれば、角膜における屈折に起因する瞳孔輪郭のずれが補正される。従って、瞳孔形状法における視線検出の精度を高めることができる。

【0019】

眼は、第１眼と第２眼とを有し、画像処理部は、第１眼における瞳孔中心の位置（Ｐ_Ｓ１）、第２眼における瞳孔中心の位置（Ｐ_Ｓ２）、対象者が有する一対の鼻孔のうち、第１鼻孔の位置（Ｎ_Ｓ１）、及び、第２鼻孔の位置（Ｎ_Ｓ２）のそれぞれの三次元座標を得る座標取得部と、瞳孔中心の位置（Ｐ_Ｓ１）、瞳孔中心の位置（Ｐ_Ｓ２）、第１鼻孔の位置（Ｎ_Ｓ１）、及び、第２鼻孔の位置（Ｎ_Ｓ２）を利用して、対象者の顔姿勢を得る顔姿勢取得部と、をさらに有してもよい。

【0020】

この構成によれば、視線検出可能な範囲を拡大することができる。さらに、この構成によれば、対象者の顔姿勢を得ることができる。

【0021】

画像取得部は、対象者の顔を含む第１画像を得る第１カメラと、第１カメラから離間した位置に配置されると共に対象者の顔を含む第２画像を得る第２カメラを有し、座標取得部は、第１画像及び第２画像に基づくステレオマッチング法により、第１眼における瞳孔中心の位置（Ｐ_Ｓ１）、第２眼における瞳孔中心の位置（Ｐ_Ｓ２）、第１鼻孔の位置（Ｎ_Ｓ１）、及び、第２鼻孔の位置（Ｎ_Ｓ２）のそれぞれの三次元座標を取得してもよい。

【0022】

この構成によれば、視線検出可能な範囲を拡大することができる。さらに、この構成によれば、対象者の顔姿勢を好適に得ることができる。

【0023】

画像取得部は、対象者の顔を含む第３画像を得る一台の第３カメラを有し、座標取得部は、第１眼、第２眼、第１鼻孔及び第２鼻孔から生成される３個の特徴点間の距離を算出する距離演算部と、第３カメラによって取得された第３画像を利用して、第３画像における３個の特徴点に関する二次元座標を算出する二次元座標演算部と、距離演算部において取得された距離と、座標取得部において取得された二次元座標とを利用して、生成された３個の特徴点のそれぞれの三次元座標を算出する三次元座標演算部と、を有してもよい。

【0024】

この構成によれば、視線検出可能な範囲を拡大することができる。さらに、この構成によれば、対象者の顔姿勢を好適に得ることができる。

【0025】

光軸情報取得部は、瞳孔形状に基づいて、第１光軸候補及び第２光軸候補のいずれか一方を光軸として選択するための情報を生成してもよい。この構成によれば、第１光軸候補及び第２光軸候補のいずれか一方を光軸として選択することができる。

【発明の効果】

【0026】

本発明によれば、対象者の視線方向の検出範囲を拡大することが可能な視線検出装置が提供される。

【図面の簡単な説明】

【0027】

【図1】図１は、実施形態に係る視線検出装置の構成を示す図である。

【図2】図２は、角膜反射−瞳孔中心法の原理を説明するための図である。

【図3】図３の（ａ）部及び図３の（ｂ）部は、瞳孔形状法の原理を説明するための図である。

【図4】図４は、瞳孔形状法の原理を説明するための図である。

【図5】図５は、視軸に対する光軸のずれを説明するための図である。

【図6】図６は、光軸のずれの較正を説明するための図である。

【図7】図７は、視線検出装置の光学系を説明するための図である。

【図8】図８は、画像処理装置の構成を説明するための図である。

【図9】図９は、視線検出装置の構成を説明するための機能ブロック図である。

【図10】図１０は、視線検出装置の動作を説明するためのフロー図である。

【図11】図１１は、第１係数を得る方法を説明するための図である。

【図12】図１２は、光軸を得る別の方法を説明するための図である。

【図13】図１３は、変形例に係る視線検出装置を説明するための機能ブロック図である。

【図14】図１４は、視線方向を検出する原理を説明するための図である。

【図15】図１５は、視線方向を検出する原理を説明するための図である。

【図16】図１６は、特徴点を説明するための図である。

【図17】図１７は、別の変形例に係る視線検出装置を説明するための機能ブロック図である。

【図18】図１８は、世界座標系とカメラ座標系の関係を説明するための図である。

【図19】図１９は、さらに別の変形例に係る視線検出装置を説明するための機能ブロック図である。

【図20】図２０は、拘束条件法による特徴点の三次元座標の算出を説明するための図である。

【図21】図２１は、光軸情報取得部の動作を説明するための図である。

【発明を実施するための形態】

【0028】

以下、添付図面を参照しながら本発明を実施するための形態を詳細に説明する。図面の説明において同一の要素には同一の符号を付し、重複する説明を省略する。

【0029】

図１に示されるように、視線検出装置１は、ディスプレイ装置３０を見ている対象者Ｍの視線方向を検出するコンピュータシステムである。視線検出装置１は、対象者Ｍの眼を光学系１５によって撮像する。光学系１５は、カメラ１０（画像取得部、第１カメラ、第２カメラ、第３カメラ）と光源１３とを有する。そして、視線検出装置１は、画像処理装置２０（画像処理部）を利用して対象者Ｍの視線方向を検出する。対象者Ｍとは、視線方向を検出する対象となる人である。つまり、対象者Ｍは被験者である。視線検出装置１の利用目的は何ら限定されない。視線検出装置１は、例えば、よそ見運転の検出、運転者のサイドミラー及びルームミラーの安全確認動作の確認、運転者の眠気の検出、商品の興味の度合いの調査、アミューズメント装置等に利用されるコンピュータへのデータ入力、乳幼児の自閉症診断等の診断用装置などに利用することができる。

【0030】

視線検出装置１は、画像処理装置２０が２個の視線検出処理を適宜選択する。その結果、所望の精度が得られる視線の範囲が拡大する。第１の視線検出処理は、角膜反射−瞳孔中心法である。角膜反射−瞳孔中心法は、対象者Ｍがカメラ１０に近い位置に表示された視標Ａ１を見ている場合に選択される。第２の視線検出処理は、瞳孔形状法である。瞳孔形状法は、対象者Ｍがカメラ１０から遠い位置に表示された視標Ａ２を見ている場合に選択される。

【0031】

図２に示されるように、以下の説明において、視線とは、対象者Ｍの瞳孔中心の位置Ｐ_Ｓと該対象者Ｍの注視点とを結ぶ線である。「注視点」とは、対象者Ｍが見ている点である。「視線」という用語は、起点、終点、及び方向の意味（概念）を含む。「視線ベクトル」とは、対象者Ｍの視線方向を示す。「視線ベクトル」は、「視線方向」を表す一形態である。画像処理装置２０の検出結果である視線方向の出力先は何ら限定されない。例えば、画像処理装置２０は判定結果を画像、図形、またはテキストでモニタに表示してもよい。また、画像処理装置２０は、判定結果をメモリやデータベースなどの記憶装置に格納してもよい。さらに、画像処理装置２０は、判定結果を通信ネットワーク経由で他のコンピュータシステムに送信してもよい。

【0032】

〔角膜反射−瞳孔中心法〕
角膜反射−瞳孔中心法の原理について説明する。図２は、対象者Ｍと、カメラ１０と、ディスプレイ装置３０と、仮想視点平面ＶＳと、画像例Ｓ_Ｇと、を示す。ディスプレイ装置３０には、注視点Ｑが示される。仮想視点平面ＶＳには、注視点Ｔが示される。仮想視点平面ＶＳとは、後述するカメラ−瞳孔中心ベクトルＯＰ（第１ベクトル）を法線とする仮想的な平面である。画像例Ｓ_Ｇは、対象者Ｍの瞳孔Ｐを含む高解像度画像の一例である。画像例Ｓ_Ｇには、瞳孔Ｐと角膜反射Ｇとが示される。

【0033】

カメラ−瞳孔中心ベクトルＯＰは、瞳孔中心の位置Ｐ_Ｓからカメラの位置Ｏ_Ｓへ向かう。視線ベクトルＰＱは、瞳孔中心の位置Ｐ_Ｓから注視点Ｑの位置（Ｑ_Ｓ）へ向かう。視線ベクトルＰＴは、瞳孔中心の位置Ｐ_Ｓから注視点Ｔの位置Ｔ_Ｓへ向かう。角膜反射−瞳孔中心法では、視線として、視線ベクトルＰＴを得る。画像例Ｓ_Ｇに示された角膜反射−瞳孔中心ベクトルｒ（第２ベクトル）は、角膜反射の位置Ｇ_Ｓから瞳孔中心の位置Ｐ_Ｓへ向かう。角膜反射−瞳孔中心ベクトルｒは、カメラ１０の光軸をＺ軸としたピンホールモデルにおいて、角膜反射の位置Ｇ_Ｓと瞳孔中心の位置Ｐ_Ｓとが共通のＸ−Ｙ平面上に存在するという仮定に基づく。

【0034】

傾きφは、仮想視点平面ＶＳにおけるカメラ−瞳孔中心ベクトルＯＰ周りの回転角である。傾きφは、水平軸Ｘ’に対するカメラの位置Ｏ_Ｓと注視点Ｔの位置Ｔ_Ｓとをとおる直線の傾きである。傾きφは、仮想視点平面ＶＳにおける平面的な角である。傾きφは、大きさ｜φ｜を有するスカラである。角θは、カメラ−瞳孔中心ベクトルＯＰと視線ベクトルＰＱとのなす角である。角θは、三次元空間における立体的な角である。角θは、大きさ｜θ｜と偏角としての傾きφとによって一つの直線（視線）を示す。従って、角θは、θ＝（｜θ｜，φ）のように示される。画像例Ｓ_Ｇに示された傾きφ’は、角膜反射−瞳孔中心ベクトルｒと画像面における水平軸Ｘ’とのなす角である。傾きφ’は、画像面における平面的な角である。傾きφ’は、大きさ｜φ’｜を有するスカラである。

【0035】

ここで、図２に示された構成に対して、２個の仮定を設ける。

【0036】

第１の仮定は、式（１）に示される。第１の仮定とは、角θが角膜反射−瞳孔中心ベクトルｒに比例するという関係である。

【数1】

前述したように角θは、角θの大きさ｜θ｜と傾きφとにより示される。第１係数ｋは所定の定数である。角膜反射−瞳孔中心ベクトルｒは、カメラ−瞳孔中心ベクトルＯＰの大きさを利用して補正される。この補正により、角膜反射−瞳孔中心ベクトルｒは、実寸に変換される。これらの定義と式（１）とによれば、式（２）が示される。

【数2】

【0037】

第２の仮定は、式（３）に示される。第２の仮定とは、仮想視点平面ＶＳにおける傾きφが瞳孔Ｐを含む画像における傾きφ’と等しいという関係である。

【数3】

【0038】

第１の仮定と第２の仮定とを利用することにより（｜θ｜，φ）と（｜ｒ｜，φ’）とを一対一に対応させることができる。従って、角膜反射−瞳孔中心ベクトルｒと傾きφ’とを利用することにより、角θの大きさ｜θ｜と傾きφとを得る。ここで、角膜反射−瞳孔中心ベクトルｒは、カメラ１０によって取得した画像例Ｓ_Ｇから得る。これら角θの大きさ｜θ｜と傾きφとによれば、角θを得ることができる。

【0039】

なお、視線ベクトルＰＱを利用して、ディスプレイ装置３０における注視点Ｑの三次元座標を得てもよい。注視点Ｑは、式（４）に示されるように、視線ベクトルＰＱとディスプレイ装置３０との交点である。

【数4】

【0040】

〔瞳孔形状法〕
瞳孔形状法について説明する。図３の（ａ）部は、対象者Ｍがカメラ１０を含む光学系１５を見ているときの対象者Ｍの眼球５０を示す。図３の（ｂ）部は、対象者Ｍが光学系１５とは別の場所を見ているときの対象者Ｍの眼球５０を示す。図３の（ａ）部及び図３の（ｂ）部に示す例示では、対象者Ｍの眼球５０がカメラ１０を含む光学系１５から無限遠にあると仮定する。図３の（ａ）部に示されるように、対象者Ｍが光学系１５を見ているとき、カメラ１０から得られる画像における瞳孔Ｐの形状は、円である。この円の直径ＴＤは長さＡである。一方、図３の（ｂ）部に示されるように、軸線Ａ３に対して眼球５０の光軸ＡＬが傾きθ_Ｓだけ傾いた場合、画像における瞳孔Ｐの形状は、楕円である。この楕円は、長径Ｌ_Ａと短径Ｌ_Ｂとにより示される（式（５）参照）。

【数5】

【0041】

ここで、楕円度Ｒを定義する。画像における瞳孔Ｐの形状が楕円であるとき、楕円度Ｒは長径Ｌ_Ａと短径Ｌ_Ｂとにより示される（式（６）参照）。

【数6】

そして、式（５）及び式（６）によれば、傾きθ_Ｓは式（７）により示される。この傾きθ_Ｓは、図３の（ａ）部における角θの大きさ｜θ｜に対応する。

【数7】

【0042】

図４は、光学系１５から見た眼球５０を示す。例えば、瞳孔Ｐａは、対象者Ｍが光学系１５を見ているときの様子を示す。瞳孔Ｐｂは、対象者Ｍが光学系１５よりも上方を見ているときの様子を示す。その他の瞳孔Ｐｃは、対象者Ｍが光学系１５とは別の位置を見ているときの様子をそれぞれ示す。矢印Ｄは、視線方向を示す。図４に示されるように、視線方向（矢印Ｄ）によって、瞳孔Ｐの形状を示す楕円の短軸方向が変化する。短軸方向は、水平軸Ｘ’に対する視線方向（矢印Ｄ）の傾きγ’により示される。傾きγ’は、図２における傾きφに対応する（γ’＝φ）。

【0043】

従って、逆余弦成分（傾きθ_Ｓ）と短軸の方向（傾きγ’）とを得ることにより、角θの大きさ｜θ｜と傾きφとを得る。ここで、逆余弦成分（傾きθ_Ｓ）は、画像に含まれた瞳孔Ｐの形状から得る。従って、角θの大きさ｜θ｜と傾きφとにより示される視線ベクトルＰＴを得る。

【0044】

〔光軸と視軸との間のずれ〕
図５は、眼球５０における光軸ＡＬと視軸ＡＳとを示す。光軸ＡＬは、眼球５０の光学系の対称軸である。視軸ＡＳは、対象者Ｍが実際に視標を見ている軸である。視軸ＡＳは、網膜５６における中心窩５７をとおる。一般に、視軸ＡＳは、光軸ＡＬに対して約５度程度ずれる。

【0045】

上述した角膜反射−瞳孔中心法及び瞳孔形状法の結果は、光軸ＡＬである。従って、角膜反射−瞳孔中心法及び瞳孔形状法では、光軸ＡＬが視線に対応すると仮定する。視軸ＡＳと光軸ＡＬとの間にはずれがある。視軸ＡＳは、瞳孔中心の位置Ｐ_Ｓ及び中心窩５７をとおる軸である。光軸ＡＬは、角膜５２から水晶体５３の中心へと延びる法線である。このずれによれば、対象者Ｍが光学系１５を注視した場合、角膜反射の位置Ｇ_Ｓは瞳孔中心の位置Ｐ_Ｓに一致しない。従って、角膜反射−瞳孔中心法及び瞳孔形状法によって得られる結果を較正すれば、視線検出装置１の出力結果は、実際の視線に近づく。

【0046】

〔比較例に係る光軸の較正方法〕
眼球５０の光軸ＡＬが視軸ＡＳに対応すると仮定する。この場合、角膜反射−瞳孔中心法では、角膜反射−瞳孔中心ベクトルｒと、カメラ−瞳孔中心ベクトルＯＰと視線ベクトルＰＱとなす角θとの間に、式（８）に示される関係が成立する。ここで、角θ_Ｌは、光軸ＡＬが視線であるとした仮定に基づくことを示す。

【数8】

ここで、視軸ＡＳと光軸ＡＬとのずれは眼球５０に依存する。そして、ずれの原因は式（８）において角膜反射−瞳孔中心ベクトルｒに含まれると仮定する。この仮定は、下記式（９）により示される。

【数9】

式（９）において、ずれベクトルｒ_０は視軸ＡＳと光軸ＡＬのずれを示す。ずれベクトルｒ_０は、注視点較正により得られる。角膜反射−瞳孔中心ベクトルｒは、光軸ＡＬに対応する。角膜反射−瞳孔中心ベクトルｒは、画像上の瞳孔Ｐと角膜反射Ｇとを利用して得る。ベクトルｒ_Ｓは、光軸ＡＬからずれ（ずれベクトルｒ_０）が除かれた視軸ＡＳに対応する。ここで、眼球５０の光軸ＡＬを視軸ＡＳ（視線）とした仮定に代えて、式（６）における角膜反射−瞳孔中心ベクトルｒが視軸ＡＳを示すベクトルｒ_Ｓであると仮定する。この仮定によれば、式（１０）を得る。式（１０）において、傾きθ_Ｓは、視軸ＡＳを視線とする仮定に基づくことを示す。

【数10】

ここで、第１係数ｋは一定値である。角膜反射−瞳孔中心法の説明において、角θの大きさ｜θ｜と角膜反射−瞳孔中心ベクトルｒの大きさ｜ｒ｜との間には線形関係があると仮定した（式（２）参照）。この関係は、角θが小さいときに成立する。しかし、この関係は、角θが大きいときに成立しない。そこで、角θの大きさ｜θ｜または角膜反射−瞳孔中心ベクトルｒの大きさ｜ｒ｜に応じて、第１係数ｋを変化させる。すなわち、角θの大きさ｜θ｜と角膜反射−瞳孔中心ベクトルｒの大きさ｜ｒ｜との関係は、非線形であると仮定する。そうすると、視軸ＡＳと光軸ＡＬとの間のずれによって生じる式（１０）の第２項（−ｋ｜ｒ_０｜）は、第１係数ｋに依存して変化する。従って、眼球５０に固有であるはずの視軸ＡＳと光軸ＡＬとのずれ（ずれベクトルｒ_０）が角θの大きさ｜θ｜に応じて変化することになり、矛盾が生じる。

【0047】

〔本実施形態に係る光軸の較正方法〕
視線検出装置１は、ずれ角θ_０を導入する。ずれ角θ_０は、視軸ＡＳに対する光軸ＡＬのずれを示す。図６に示されるように、ずれ角θ_０によれば、式（１０）に代わる新たな定義式として式（１１）を得る。

【数11】

式（１１）において、傾きθ_Ｓは、視軸ＡＳを示すベクトルに対応する。ずれ角θ_０は、視軸ＡＳに対する光軸ＡＬのずれを示すベクトルに対応する。ずれ角θ_０は、ずれ角θ_０の大きさ｜θ_０｜と傾きφ_０とにより定義される。ずれ角θ_０は、θ_０＝（｜θ_０｜，φ_０）である。式（１１）によれば、比較例に係る較正方法において生じる矛盾が生じない。また、式（１１）は、角膜反射−瞳孔中心法に適用可能である。また、式（１１）は、瞳孔形状法にも適用可能である。

【0048】

〔視線検出装置の構成〕
以下、視線検出装置１の構成について詳細に説明する。その後、視線検出装置１の動作について詳細に説明する。

【0049】

図１に示されるように、視線検出装置１は、一対のカメラ（第１カメラ及び第２カメラ）１０と画像処理装置２０とを有する。一対のカメラ１０は、ステレオカメラである。視線検出装置１は、対象者Ｍが見る対象であるディスプレイ装置３０をさらに備えてもよい。しかし、視線検出装置１の利用目的は既に述べたように限定されない。従って、対象者Ｍの視線の先にある物体はディスプレイ装置３０に限定されない。例えば、対象者Ｍの視線の先にある物体は、自動車のフロントガラスであってもよい。要するに、ディスプレイ装置３０は視線検出装置１における必須の要素ではない。

【0050】

カメラ１０は、対象者Ｍの眼を撮影する。対象者Ｍの眼は、瞳孔Ｐ及び瞳孔Ｐの周辺を含む。カメラ１０は、画像処理装置２０からの命令に応じて対象者Ｍを撮像する。そしてカメラ１０は、画像を画像処理装置２０に出力する。カメラ１０は予めカメラ較正が行われている。以下の説明において、必要に応じて、一対のカメラ１０を、カメラ１０_Ｌと、カメラ１０_Ｒとに区別する。カメラ１０_Ｌは、対象者Ｍの左側に配置される。カメラ１０_Ｒは、対象者Ｍの右側に配置される。一対のカメラ１０_Ｌ，１０_Ｒは画像処理装置２０と無線または有線により接続される。その結果、カメラ１０と画像処理装置２０との間で各種のデータまたは命令が送受信される。一対のカメラ１０_Ｌ，１０_Ｒは水平方向に沿って所定の間隔を設けて配置される。一対のカメラ１０_Ｌ，１０_Ｒは、対象者Ｍの顔より低い位置に配置される。その結果、対象者Ｍが眼鏡をかけているときに生じ得る顔画像における反射光の写り込みを防止できる。水平軸線に対するカメラ１０の仰角は、例えば２０度以上３５度以下である。この範囲によれば、瞳孔Ｐを確実に検出できる。また、この範囲によれば、対象者Ｍの視野範囲を妨げることを回避できる。

【0051】

カメラ１０は、インターレーススキャン方式の一つであるＮＴＳＣ方式を採用する。ＮＴＳＣ方式によれば、画像は、１秒間に３０枚得られる。画像は、奇数番目の水平画素ラインで構成される奇数フィールドと、偶数番目の水平画素ラインで構成される偶数フィールドと、を含む。画像は、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に撮影されることで生成される。従って、一つのフレームは、一対の奇数フィールド及び偶数フィールドに相当する。

【0052】

図７に示されるように、カメラ１０は、対物レンズ１１と、光源１３とを有する。対物レンズ１１は、円形状の開口部１２に収容される。光源１３は、開口部１２の外側に設けられる。光源１３は、対象者Ｍの眼に向けて照明光を照射する。光源１３は、複数の発光素子１３ａと複数の発光素子１３ｂとを有する。発光素子１３ａは、中心波長が８５０ｎｍの出力光を出射する半導体発光素子（ＬＥＤ）である。発光素子１３ａは、開口部１２の縁に沿って等間隔でリング状に配置される。発光素子１３ｂは、中心波長が９４０ｎｍの出力光を出射する半導体発光素子である。発光素子１３ｂは、発光素子１３ａの外側に等間隔でリング状に配される。発光素子１３ａ，１３ｂは、カメラ１０の光軸に沿って照明光を出射する。なお、光源１３の配置は図７に示す構成に限定されず、カメラ１０をピンホールモデルとみなすことができれば他の配置であってもよい。光源１３は、画像処理装置２０からの命令に応じたタイミングに従って、照明光を出射する。

【0053】

画像処理装置２０は、カメラ１０及び光源１３の動作を制御する。また、画像処理装置２０は、対象者Ｍの視線方向の検出処理を実行する。画像処理装置２０は、据置型または携帯型のパーソナルコンピュータにより構築されてもよい。また、画像処理装置２０は、ワークステーションにより構築されてもよい。さらに、画像処理装置２０は、他の種類のコンピュータにより構築されてもよい。あるいは、画像処理装置２０は、複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合、これらのコンピュータはインターネット又はイントラネットなどの通信ネットワークを介して互いに接続される。

【0054】

図８は、画像処理装置２０の一般的なハードウェア構成を示す。図８に示されるように、画像処理装置２０は、ＣＰＵ（プロセッサ）１０１と、主記憶部１０２と、補助記憶部１０３と、通信制御部１０４と、入力装置１０５と、出力装置１０６とを有する。ＣＰＵ１０１は、オペレーティングシステムやアプリケーション・プログラムなどを実行する。主記憶部１０２は、ＲＯＭ及びＲＡＭにより構成される。補助記憶部１０３は、ハードディスク及びフラッシュメモリなどにより構成される。通信制御部１０４は、ネットワークカード又は無線通信モジュールにより構成される。入力装置１０５は、キーボード及びマウスなどにより構成される。出力装置１０６は、ディスプレイ及びプリンタなどにより構成される。

【0055】

〔画像処理装置〕
画像処理装置２０の各機能要素は、以下の動作により実現される。ＣＰＵ１０１または主記憶部１０２は、所定のソフトウェアを読み込む。ＣＰＵ１０１は、通信制御部１０４、入力装置１０５及び出力装置１０６などを動作させる。主記憶部１０２または補助記憶部１０３は、データの読み出し及び書き込みを行う。なお、処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。

【0056】

図９に示されるように、画像処理装置２０は、点灯制御部２１と、画像入力部２２と、算出部２３と、を有する。点灯制御部２１は、光源１３の点灯タイミングを制御する。画像入力部２２は、カメラ１０の撮影タイミングを光源１３の点灯タイミングに同期して制御する。その結果、画像処理装置２０は、カメラ１０から画像（複数の眼画像のデータ）を得る。算出部２３は、画像入力部２２から入力された画像を利用して、対象者Ｍの視線を検出する。

【0057】

算出部２３は機能的構成要素として、記録部２４と、前処理部２６と、演算部２７と、第１光軸取得部２８と、第２光軸取得部２９と、光軸情報取得部３１と、視軸取得部３２と、較正情報部３３と、係数部３４と、を有する。

【0058】

記録部２４は、視線検出処理に利用される種々の情報を有する。記録部２４は、前処理部２６及び演算部２７から参照可能である。記録部２４は、例えば、カメラ１０に関する内部パラメータや、カメラの位置Ｏ_Ｓといった予め取得される情報を有する。

【0059】

前処理部２６は、画像入力部２２及び記録部２４から情報を受け入れる。そして、前処理部２６は、演算部２７へ結果を出力する。具体的には、前処理部２６は、画像入力部２２から画像を受け入れる。次に、前処理部２６は、それらの画像から暗瞳孔画像及び明瞳孔画像を得る。また、前処理部２６は、記録部２４からカメラ１０に関する情報を受け入れる。前処理部２６は、これらの情報を利用して、瞳孔中心の位置Ｐ_Ｓ、角膜反射の位置Ｇ_Ｓ、瞳孔Ｐの長軸及び瞳孔Ｐの短軸を得る。そして、前処理部２６は、瞳孔中心の位置Ｐ_Ｓ、角膜反射の位置Ｇ_Ｓ、瞳孔Ｐの長軸、及び瞳孔Ｐの短軸を含む情報を、演算部２７に出力する。

【0060】

演算部２７は、前処理部２６及び記録部２４から情報を受け入れる。そして、演算部２７は、光軸情報取得部３１、第１光軸取得部２８及び第２光軸取得部２９へ結果を出力する。具体的には、演算部２７は、前処理部２６から瞳孔中心の位置Ｐ_Ｓ、角膜反射の位置Ｇ_Ｓ、瞳孔Ｐの長径Ｌ_Ａ及び瞳孔Ｐの短径Ｌ_Ｂを含む情報を受け入れる。また、演算部２７は、記録部２４からカメラ１０に関する情報を受け入れる。演算部２７は、これらの情報を利用して、視線検出処理に用いられる種々の情報を得る。演算部２７は、第１演算部２７ａと、第２演算部２７ｂと、第３演算部２７ｃと、第４演算部２７ｄと、第５演算部２７ｅと、第６演算部２７ｆと、を有する。

【0061】

第１演算部２７ａは、カメラ−瞳孔中心ベクトルＯＰ（第１ベクトル）を得る。
カメラ−瞳孔中心ベクトルＯＰは、カメラの位置Ｏ_Ｓから瞳孔中心の位置Ｐ_Ｓへ向かう。第２演算部２７ｂは、角膜反射−瞳孔中心ベクトルｒ（第２ベクトル）を得る。角膜反射−瞳孔中心ベクトルｒは、角膜反射の位置Ｇ_Ｓから瞳孔中心の位置Ｐ_Ｓへ向かう。第３演算部２７ｃは、仮想視点平面ＶＳを得る。仮想視点平面ＶＳは、カメラ−瞳孔中心ベクトルＯＰを法線とする仮想的な平面である。第４演算部２７ｄは、瞳孔Ｐの外形形状を楕円として近似する。その結果、第４演算部２７ｄは、楕円度Ｒを得る。楕円度Ｒは、楕円の長径と短径との比である。第５演算部２７ｅは、瞳孔を示す楕円の短軸と水平軸との間の傾きγ’を得る。第６演算部２７ｆは、第１眼画像を利用して、第１仮想光軸平面に関する情報を得る。第１仮想光軸平面に関する情報は、第１角膜反射の位置Ｇ_Ｓから第１瞳孔中心の位置Ｐ_Ｓへ向かう第３ベクトルと、第１カメラ位置から第１瞳孔中心の位置Ｐ_Ｓへ向かう第４ベクトルとに基づく。第１仮想光軸平面に関する情報は、第１カメラ位置と、第１瞳孔中心の位置Ｐ_Ｓと、第４ベクトルを法線とする第１仮想視点平面に第１光軸ＡＬ１が交差する位置と、を含む。第７演算部２７ｇは、第２眼画像を利用して、第２仮想光軸平面に関する情報を得る。第２仮想光軸平面に関する情報は、第２角膜反射の位置Ｇ_Ｓから第２瞳孔中心の位置Ｐ_Ｓへ向かう第５ベクトルと第２カメラ位置から第２瞳孔中心の位置Ｐ_Ｓへ向かう第６ベクトルとに基づく。第２仮想光軸平面に関する情報は、第２カメラ位置と、第２瞳孔中心の位置Ｐ_Ｓと、第６ベクトルを法線とする第２仮想光軸平面に第２光軸ＡＬ２が交差する位置と、を含む。

【0062】

第１光軸取得部２８は、角膜反射−瞳孔中心法に基づく処理により光軸ＡＬを得る。第１光軸取得部２８は、演算部２７から情報を受け入れる。第１光軸取得部２８は、光軸情報取得部３１に結果を出力する。第１光軸取得部２８は、画像から得られる瞳孔中心の位置Ｐ_Ｓ及び角膜反射の位置Ｇ_Ｓを利用して、光軸ＡＬを得る。より詳細には、第１光軸取得部２８は、角膜反射−瞳孔中心ベクトルｒ（第２ベクトル）の大きさ｜ｒ｜と、角膜反射−瞳孔中心ベクトルｒと水平軸Ｘ’とがなす傾きφ’と、を利用して、光軸ＡＬを得る。光軸ＡＬは、カメラ−瞳孔中心ベクトルＯＰを基準とした角θ（第１角度）と、仮想視点平面ＶＳに含まれた水平軸Ｘ’を基準とした傾きφ（第２角度）とにより示される。角膜反射−瞳孔中心ベクトルｒ（第２ベクトル）の大きさ｜ｒ｜は、角θに関連付けられる。角膜反射−瞳孔中心ベクトルｒは、傾きφに関連付けられる。

【0063】

第２光軸取得部２９は、瞳孔形状法に基づく処理により光軸ＡＬを得る。第２光軸取得部２９は、演算部２７から情報を受け入れる。第２光軸取得部２９は、光軸情報取得部３１に処理結果を出力する。第２光軸取得部２９は、楕円度Ｒ及び傾きγ’（第４角度）を得る。傾きγ’は、短径の軸線と水平軸Ｘ’との間の傾きである。第２光軸取得部２９は、角θに関連付けられた楕円度Ｒと、傾きφに関連付けられた傾きγ’と、を利用して光軸ＡＬを得る。

【0064】

光軸情報取得部３１は、演算部２７、第１光軸取得部２８及び第２光軸取得部２９から情報を受け入れる。光軸情報取得部３１は、視軸取得部３２に結果を出力する。光軸情報取得部３１は、瞳孔形状に基づき、第１光軸候補及び第２光軸候補の少なくとも一方を利用して、光軸ＡＬを得るための情報を生成する。光軸ＡＬを得るための情報とは、第１光軸候補及び第２光軸候補のいずれか一方を光軸ＡＬとして選択するための情報である。具体的には、光軸情報取得部３１は、画像から得られる瞳孔Ｐの形状を利用して、第１光軸候補または第２光軸候補のいずれか一方を選択する。そして光軸情報取得部３１は、選択した光軸候補を視軸取得部３２に出力する。このような処理では、第１光軸取得部２８及び第２光軸取得部２９においてそれぞれ光軸候補を得る。その後、視軸の傾きに応じて適切な候補を最終的な結果として選択する。例えば、光軸情報取得部３１は、カメラ−瞳孔中心ベクトルＯＰに対する角θが３０度以下であるとき、第１光軸候補を選択する。光軸情報取得部３１は、カメラ−瞳孔中心ベクトルＯＰに対する角θが３０度より大きいとき、第２光軸候補を選択する。なお、この角θの閾値は、所望の値に設定してよい。

【0065】

視軸取得部３２は、第１光軸取得部２８または第２光軸取得部２９から情報を受け入れる。視軸取得部３２は、較正情報部３３からも情報を受け入れる。視軸取得部３２は、較正情報を利用して、第１光軸取得部２８または第２光軸取得部２９から入力された光軸ＡＬを較正する。その結果、視軸取得部３２は、視軸ＡＳを得る。

【0066】

較正情報部３３は、視軸取得部３２に較正情報を提供する。較正情報とは、上述したずれ角θ_０である。較正情報は、予め取得されて較正情報部３３に記録されてもよい。較正情報は、較正情報部３３において算出されたてもよい。較正情報部３３が較正情報を得る場合、較正情報部３３は、演算部２７、第１光軸取得部２８及び第２光軸取得部２９などと接続される。そして、較正情報部３３は、これら機能的要素より入力される情報を利用して、較正情報を得る。

【0067】

係数部３４は、第１光軸取得部２８に第１係数ｋを提供する。この第１係数ｋは予め取得されて係数部３４に記録されてもよい。また、第１係数ｋは、係数部３４において算出されてもよい。係数部３４が第１係数ｋを得る場合、係数部３４は、演算部２７、第１光軸取得部２８及び第２光軸取得部２９などと接続される。そして、係数部３４は、これら機能的構成要素から入力される情報を利用して、第１係数ｋを得る。

【0068】

〔視線検出処理〕
次に、図１０を参照しつつ、視線検出装置１の動作について説明する。

【0069】

〔処理の概要〕
図１０に示されるように、点灯制御部２１は光源１３の点灯タイミングを制御する。画像入力部２２は、点灯タイミングに同期するように、それぞれのカメラ１０から明瞳孔画像（眼画像）及び暗瞳孔画像（眼画像）を得る（ステップＳ１１）。続いて、第１光軸取得部２８は、第１光軸候補を得る（ステップＳ１２）。続いて、第２光軸取得部２９は、第２光軸候補を得る（ステップＳ１３）。続いて、光軸情報取得部３１は、瞳孔Ｐの形状を利用して、視線検出処理として角膜反射−瞳孔中心法または瞳孔形状法のいずれの結果を出力として選択するかを決定する（ステップＳ１４，Ｓ１５，Ｓ１６）。続いて、視軸取得部３２は、較正情報を利用して光軸候補を較正する（ステップＳ１７）。これらステップＳ１１，Ｓ１２，Ｓ１３，Ｓ１４，Ｓ１５，Ｓ１６，Ｓ１７を実行することにより、視線としての視軸ＡＳを得る。続いて、算出部２３は、視線を得る処理を終了するか否かを判断する（ステップＳ１８）。処理を終了すると判断した場合、画像処理装置２０は、視線検出処理を終了する（ステップＳ１８：ＹＥＳ）。処理を終了しないと判断した場合、画像処理装置２０は、再びステップＳ１１から順に各ステップを実行する。以上の処理は、視線検出処理の終了の指示が受け付けられるまで、繰り返し実行される。

【0070】

以下、各ステップの処理について詳細に説明する。

【0071】

〔眼画像の取得〕
眼に入った光は網膜で乱反射する。乱反射した光のうち、瞳孔Ｐを通り抜けた光は強い指向性をもって光源へ戻る性質を有する。カメラの露光と、カメラの開口部近傍に配置された光源の発光とが同時に行われたとき、網膜で反射した光の一部は、カメラ１０の開口部１２に入射する。従って、光学系１５によれば、明瞳孔画像を得ることができる。明瞳孔画像では、瞳孔Ｐの周辺よりも瞳孔Ｐが明るく写っている。これに対して、カメラ１０の露光と、カメラ１０の開口部１２から離間した位置に配置された光源１３の発光とが同時に行われたとき、眼から戻ってきた光はカメラ１０の開口部１２にほとんど戻らない。従って、光学系１５によれば、暗瞳孔画像を得ることができる。暗瞳孔画像では、瞳孔Ｐが暗く写っている。また、透過率が高い波長の光を眼に照射すると、網膜での光の反射が多くなる。従って、瞳孔Ｐは明るく写る。一方、透過率が低い波長の光を眼に照射すると、網膜での光の反射が少なくなる。従って、瞳孔Ｐは暗く写る。視線検出装置１の光源１３は、発光素子１３ａが透過率が高い波長の光（中心波長が８５０ｎｍ）を発する。発光素子１３ａは、開口部１２に隣接した位置に設けられる。また、発光素子１３ｂは、眼の透過率が低い波長の光（中心波長が９４０ｎｍ）を発する。発光素子１３ｂは、開口部１２から離れた位置に設けられる。

【0072】

明瞳孔画像を得る場合、点灯制御部２１及び画像入力部２２は、カメラ１０の奇数フィールドに合わせて発光素子１３ａを点灯させる。暗瞳孔画像を得る場合、点灯制御部２１及び画像入力部２２は、カメラ１０の偶数フィールドに合わせて発光素子１３ｂを点灯させる。さらに、画像入力部２２は、カメラ１０_Ｌの作動タイミングをカメラ１０_Ｒの作動タイミングに対してわずかにずらす。カメラ１０の露光時間は、ずらし時間以下に設定される。点灯制御部２１は、カメラ１０の露光時間中に、対応する発光素子１３ａ及び発光素子１３ｂを交互に発光させる。この制御によれば、一方のカメラ１０の光源１３からの光が他方のカメラ１０の画像に与える影響を抑制することができる。換言すると、この制御によれば、クロストークの発生を抑制できる。

【0073】

画像入力部２２は、これらの一連の制御により得られる明瞳孔画像及び暗瞳孔画像をカメラ１０から受け入れる。入力された画像は、奇数フィールドまたは偶数フィールドのみに有効画素を有する。従って、画像入力部２２は、隣接する有効画素の画素ラインの輝度平均をそのライン間の画素値に埋め込む。その結果、画像入力部２２は、明瞳孔画像または暗瞳孔画像を得る。画像入力部２２は、カメラ１０によって得られた明瞳孔画像及び暗瞳孔画像を算出部２３に出力する。

【0074】

〔角膜反射の位置Ｇ_Ｓの取得〕
前処理部２６は、画像入力部２２から入力された明瞳孔画像及び暗瞳孔画像のそれぞれから角膜反射Ｇを得る。具体的には、前処理部２６は１枚の画像に対してＰタイル法による２値化とラベリングとを行う。そして、前処理部２６は、形状や輝度平均などの情報を利用して、その画像から複数の角膜反射Ｇを得る。このような処理により、前処理部２６は明瞳孔画像及び暗瞳孔画像のそれぞれから、角膜反射Ｇを得る。続いて、前処理部２６は明瞳孔画像及び暗瞳孔画像から得られた角膜反射Ｇを利用して、明瞳孔画像及び暗瞳孔画像中の角膜反射の位置Ｇ_Ｓを得る。

【0075】

前処理部２６は、位置較正量を得る。位置較正量は、明瞳孔画像と暗瞳孔画像との間での角膜反射の移動量である。位置較正量は、推定または算出された角膜反射の位置Ｇ_Ｓに基づく。続いて、前処理部２６は、差分画像を得る。具体的には、前処理部２６は、二つの角膜反射の位置Ｇ_Ｓが一致するように、前フィールド（ｉ番目のフィールド）の画像を、次フィールド（（ｉ＋１）番目のフィールド）の画像に位置較正量だけずらす。次に、前処理部２６は、これら２画像から差分画像を得る。そして、前処理部２６は一致させた角膜反射の位置Ｇ_Ｓ、つまり画像座標に基づく角膜反射の位置Ｇ_Ｓを示す座標を得る。

【0076】

〔瞳孔中心の位置Ｐ_Ｓの取得〕
前処理部２６は、明瞳孔画像及び暗瞳孔画像を利用して、差分画像を得る。差分画像を得る場合、前述した位置較正量を利用して明瞳孔画像及び暗瞳孔画像との位置合わせを行ってもよい。この差分画像は、強調された瞳孔Ｐを含むため、瞳孔画像とも呼ばれる。続いて、前処理部２６は、差分画像から瞳孔中心の位置Ｐ_Ｓを特定する。差分画像は、前フレームと輝度が大きく変化しない。そこで、前処理部２６は、前フレームで検出された瞳孔Ｐの輝度平均を利用して、その平均輝度の半分の値を閾値として差分画像を２値化する。そして、前処理部２６は、２値化された差分画像に対して、ラベリングを行う。続いて、前処理部２６は、瞳孔Ｐらしい面積、サイズ、面積比、正方形度、及び瞳孔特徴量等の形状パラメータを利用して、ラベルづけされた画素の連結成分の中から瞳孔Ｐを得る。そして、前処理部２６は、差分画像における瞳孔中心の位置（座標）を得る。

【0077】

続いて、前処理部２６は瞳孔中心の三次元座標を得る。具体的には、前処理部２６は、２台のカメラ１０においてそれぞれ得られた２個の瞳孔画像を準備する。続いて、前処理部２６は、２個の瞳孔画像のそれぞれにおける瞳孔中心の位置Ｐ_Ｓの座標を得る。続いて、前処理部２６は、瞳孔中心の位置Ｐ_Ｓを利用して、ステレオ法により瞳孔中心の位置Ｐ_Ｓの三次元座標を得る。

【0078】

ステレオ法は、画像中の点の座標について、その点の空間上の位置を決定する。まず、互いに異なる位置に配置された複数台のカメラを利用して対象物を撮影する。次に、カメラの内部パラメータ及び外部パラメータを用いて、空間上の位置を決定する。内部パラメータは、カメラのレンズの焦点距離、画像中心、画素サイズなどを含む。外部パラメータは、カメラの位置や姿勢などを含む。具体的には、前処理部２６は、画像座標系における瞳孔中心の位置Ｐ_Ｓの座標と、三次元空間内の世界座標系における瞳孔中心の位置Ｐ_Ｓの座標との関係式を、キャリブレーションデータを参照しながら得る。続いて、前処理部２６は、関係式を利用して、世界座標系における瞳孔中心の位置Ｐ_Ｓの三次元座標を得る。

【0079】

前処理部２６は、差分画像において瞳孔Ｐを示す領域の外縁部を抽出する。外縁部を抽出する処理は、特に限定されることはない。そして、前処理部２６は、抽出した形状を楕円として近似するための近似式を得る。そして、前処理部２６は、当該近似式を利用して、瞳孔Ｐを楕円とみなした場合における長径Ｌ_Ａ及び短径Ｌ_Ｂに関する情報を得る。

【0080】

以上の処理によれば、角膜反射の位置Ｇ_Ｓ及び瞳孔中心の位置Ｐ_Ｓに関する情報が得られる。演算部２７は、これらの情報と、記録部２４に記録された情報とを利用して、第１視線検出処理、第２視線検処理、及び視軸算出処理に用いられる情報を得る。

【0081】

第２演算部２７ｂは、図２に示されるように、瞳孔中心の位置Ｐ_Ｓの三次元位置を利用して、仮想視点平面ＶＳ’−Ｙ’を設定する。仮想視点平面ＶＳ’−Ｙ’は、カメラ−瞳孔中心ベクトルＯＰを法線とする平面である。カメラ−瞳孔中心ベクトルＯＰは、カメラ１０の開口部１２の中心を原点Ｏとし、その原点Ｏと瞳孔中心の位置Ｐ_Ｓを結ぶベクトルである。仮想視点平面ＶＳ’−Ｙ’は、カメラ１０で捉えられる画像の投影面（画像面）に対応する。ここで、Ｘ’軸は、世界座標系のＸＷ−ＺＷ平面と仮想視点平面ＶＳ’−Ｙ’との交線に相当する。

【0082】

第２演算部２７ｂは、画像面Ｓ_Ｇにおける角膜反射Ｇから瞳孔中心の位置Ｐ_Ｓまでのベクトルｒ_Ｇを得る。そして、第２演算部２７ｂは、ベクトルｒ_Ｇを、角膜反射−瞳孔中心ベクトルｒに変換する。角膜反射−瞳孔中心ベクトルｒは、カメラの拡大率を用いてベクトルｒ_Ｇを実寸に換算したベクトルである。カメラの拡大率は、カメラ−瞳孔中心ベクトルＯＰの距離から得られる。このとき、各カメラ１０をピンホールモデルと考え、角膜反射の位置Ｇ_Ｓと瞳孔中心の位置Ｐ_Ｓとが、仮想視点平面ＶＳ’−Ｙ’と平行な平面上にあると仮定する。つまり、第２演算部２７ｂは、角膜反射−瞳孔中心ベクトルｒを得る。角膜反射−瞳孔中心ベクトルｒは、瞳孔中心の位置Ｐ_Ｓと角膜反射の位置Ｇ_Ｓとの相対座標を示す。相対座標は、仮想視点平面ＶＳ’−Ｙ’と平行であって瞳孔中心の位置Ｐ_Ｓの三次元座標を含む平面上における座標である。また、角膜反射−瞳孔中心ベクトルｒは、角膜反射の位置Ｇ_Ｓから瞳孔中心の位置Ｐ_Ｓまでの実距離を示す。

【0083】

〔第１視線検出処理〕
第１視線検出処理は、第１光軸取得部２８において実行される。第１光軸取得部２８は、角膜反射−瞳孔中心法を利用して第１光軸候補を得る。第１視線検出処理において第１光軸取得部２８は、式（１２）に示された光軸ＡＬに対応する角θを得る。

【数12】

式（１２）において、角膜反射−瞳孔中心ベクトルｒは第２演算部２７ｂにおいて得られているので既知である。角θの成分である傾きφは、角膜反射−瞳孔中心ベクトルｒと水平軸Ｘ’とのなす角度である。従って、傾きφは、既知である。そうすると、角θの大きさ｜θ｜を得ることにより、角θが得られる。角θの大きさ｜θ｜は、式（１３）により得られる。

【数13】

つまり、角θの大きさ｜θ｜は、角膜反射−瞳孔中心ベクトルｒの絶対値を算出し、その絶対値に第１係数ｋを乗ずることにより得られる。上述の処理により、角θの大きさ｜θ｜と角θの傾きφとが得られる。その結果、第１光軸候補としての角θが得られる。

【0084】

〔第２視線検出処理〕
第２視線検出処理は、第２光軸取得部２９において実行される。第２光軸取得部２９は、瞳孔形状法を利用して第２光軸候補を得る。瞳孔形状法においても光軸ＡＬに対応する角θを得る。瞳孔形状法では、角θの成分である大きさ｜θ｜が、傾きθ_Ｓ（図３の（ｂ）部参照）に対応すると仮定する。傾きθ_Ｓは、式（１４）を利用して得る。

【数14】

【0085】

瞳孔形状法では、角θの成分である傾きφが、傾きγ’（図４参照）に対応すると仮定する。第２光軸取得部２９は、短軸の方向を利用して傾きγ’を得る。上述の処理により、角θの大きさ｜θ｜に対応する傾きθ_Ｓと、角θの傾きφに対応する傾きγ’と、が得られる。その結果、第２光軸候補としての角θが得られる。

【0086】

〔視線検出処理の選択〕
光軸情報取得部３１は、視線検出処理として、角膜反射−瞳孔中心法に基づく処理または瞳孔形状法に基づく処理のいずれかを選択する。この選択は、カメラ−瞳孔中心ベクトルＯＰと光軸ＡＬ（視線ベクトルＰＴ）とのなす角θの大きさ｜θ｜に基づく。具体的には、光軸情報取得部３１は、角θの大きさ｜θ｜が小さい場合、角膜反射−瞳孔中心法を選択する。なぜならば、角θの大きさ｜θ｜が小さい（θ≒０）とき、差分画像における瞳孔Ｐの外周縁の形状は円形状に近似する。すなわち、長径と短径との差が小さくなる。従って、楕円度Ｒから求まる傾きθ_Ｓはばらつきが大きくなる傾向にある。傾きθ_Ｓは、楕円度Ｒの逆数の逆余弦成分だからである。従って、角θの大きさ｜θ｜が小さい（θ≒０）ときには、瞳孔形状法よりも角膜反射−瞳孔中心法が良好な結果を得ることができる。一方、光軸情報取得部３１は、角θの大きさ｜θ｜が大きい場合、瞳孔形状法を選択する。なぜならば、角θの大きさ｜θ｜が大きくなると、楕円度Ｒから求まる傾きθ_Ｓはばらつきが小さくなる傾向にある。従って、角θの大きさ｜θ｜が大きいときには、角膜反射−瞳孔中心法よりも瞳孔形状法が良好な結果を得ることができる。

【0087】

また、角膜反射−瞳孔中心法では角θの大きさ｜θ｜が小さい場合、角θと角膜反射−瞳孔中心ベクトルｒとの間の線形性（式（１）等参照）が高い。従って、視線の検出精度を高めることが容易である。一方、角θの大きさ｜θ｜が大きい場合、角膜反射Ｇが検出し難くなる場合があり得る。さらに、角膜反射Ｇが出現している場合であっても、角膜の周縁部に角膜反射Ｇが形成された場合、非線形性が表れたり、画像処理による白目反射との誤検出もしやすい。

【0088】

そこで、画像処理装置２０は、閾値を設定する。この閾値は、角膜反射−瞳孔中心ベクトルｒと角θとの関係において線形性が支配的である範囲（大多数の対象者Ｍにおいて角膜反射Ｇが現れる範囲）と、角膜反射−瞳孔中心ベクトルｒと角θとの関係において非線形性が支配的である範囲とを分別する。閾値としては、角θの大きさ｜θ｜＝３０度程度が例示される。なお、閾値は、３０度に限定されず、所望の値を用いてよい。そして、画像処理装置２０は、視線検出処理を選択するための角θの大きさ｜θ｜を瞳孔Ｐの楕円度Ｒを利用して得る。具体的には、画像処理装置２０は角θの大きさ｜θ｜に対応する傾きθ_Ｓを得る。そして、光軸情報取得部３１は、楕円度Ｒから得た傾きθ_Ｓが閾値より小さい場合、角膜反射−瞳孔中心法の結果を選択し、第１光軸候補を視軸取得部３２に出力する。一方、光軸情報取得部３１は、楕円度Ｒから得た傾きθ_Ｓが閾値より大きい場合、瞳孔形状法の結果を選択し、第２光軸候補を視軸取得部３２に出力する。

【0089】

〔視軸を取得する処理〕
視軸を取得する処理は、視軸取得部３２において実行される。視軸を取得する処理とは、視軸ＡＳに対する光軸ＡＬのずれを較正する処理である。例えば、第１光軸候補が光軸ＡＬ１として視軸取得部３２に出力された場合、視軸取得部３２は、式（１５）に示される処理を行う。すなわち、視軸取得部３２は、光軸ＡＬとしての角θ_ＡＬ１からずれ角θ_０を減算するベクトル演算を実行する。式（１５）において、傾きθ_Ｓは、視軸ＡＳである。角θ_ＡＬ１は、第１光軸候補である。

【数15】

【0090】

第２光軸候補が光軸ＡＬとして視軸取得部３２に出力された場合、視軸取得部３２は、式（１６）に示される処理を行う。すなわち、視軸取得部３２は、光軸ＡＬとしての角θ_ＡＬ２から、ずれ角θ_０を減算するベクトル演算を実行する。式（１６）において、傾きθ_Ｓは、視軸ＡＳである。角θ_ＡＬ２は、第２光軸候補である。

【数16】

【0091】

視線検出装置１は、第１光軸取得部２８と第２光軸取得部２９とを有する。第１光軸取得部２８は、瞳孔中心の位置Ｐ_Ｓと角膜反射の位置Ｇ_Ｓとを利用して光軸ＡＬを得る。従って、視線検出装置１は、角膜反射Ｇが得られる視線の範囲において視線検出を行うことができる。第２光軸取得部２９は、瞳孔Ｐの形状を利用して光軸ＡＬを得る。従って、視線検出装置１は、角膜反射Ｇが得られない視線の範囲であっても視線検出を行うことができる。そして、光軸情報取得部３１は、瞳孔Ｐの形状を利用して第１光軸取得部２８または第２光軸取得部２９のいずれかを選択する情報を得る。選択された光軸候補は、視軸取得部３２において、光軸ＡＬと視軸ＡＳのずれが較正されて視線としての視軸ＡＳが得られる。従って、視線検出装置１は、視線を良好に検出できる範囲を、角膜反射Ｇが得られる狭い視線の範囲から、角膜反射Ｇが得られない広い視線の範囲まで拡大することができる。

【0092】

すなわち、視線検出装置１によれば、角膜反射−瞳孔中心法と、瞳孔形状法とを、同じプラットフォーム（土台、基礎的理論）において実行することが可能である。角膜反射−瞳孔中心法は、画像から得られる角膜反射の位置Ｇ_Ｓと瞳孔中心の位置Ｐ_Ｓの相対位置を利用して、視線（或いは注視点）を検出する。瞳孔形状法は、楕円度Ｒと短軸の方向により規定される瞳孔Ｐの形状を利用して、視線（或いは注視点）を検出する。

【0093】

具体的には、角膜反射−瞳孔中心法は、カメラ１０の較正が実施された光学系１５を利用して瞳孔Ｐの三次元座標を得る。次に、角膜反射−瞳孔中心法は、カメラ―瞳孔中心ベクトルＯＰと眼球５０の光軸ＡＬとの間の角θを得る。これらは、画像から得られる角膜反射−瞳孔中心ベクトルＯＰと角膜反射−瞳孔中心ベクトルｒとを利用して得る。一方、瞳孔形状法は、まず、瞳孔Ｐの三次元座標を得る。次に、瞳孔形状法は、カメラ―瞳孔中心ベクトルＯＰを求める。次に、角θを得る。角θは、瞳孔Ｐの外形形状を示す楕円の楕円度Ｒと短軸の方向とを利用して得る。従って、視線検出装置１によれば、角膜反射−瞳孔中心法と瞳孔形状法とを同じプラットフォームにおいて実行することができる。

【0094】

さらに、視線検出装置１は、角膜反射−瞳孔中心法において、座標が既知の較正用視標を対象者Ｍに注視させる。その結果、視線検出装置１は、視軸ＡＳ（視軸ＡＳの方向ベクトル）と光軸ＡＬ（光軸の方向ベクトル）とのずれをずれ角θ_０として得る。このずれを得る処理を、ユーザ較正又は注視点較正と呼ぶ。視線検出処理（又は注視点検出処理）を行う場合、光軸ＡＬとして取得された出力結果をずれ角θ_０を利用して較正する。その結果、視軸ＡＳを得ることができる。同様に、瞳孔形状法においても、ユーザ較正によって明らかになったずれ角θ_０を、光軸ＡＬとして取得された出力結果の較正に利用することが可能である。

【0095】

より詳細には、視線検出装置１は、視軸ＡＳと光軸ＡＬとのずれの較正を、視線を得る処理における後段で行う。換言すると、視線検出装置１は、光軸ＡＬを得る処理の後に較正処理を行う。この構成によれば、光軸ＡＬを得る処理が異なる処理であっても、それらの処理から得られる結果は光軸ＡＬである。従って、較正処理を容易に実行することができる。

【0096】

なお、較正処理は、１点を見て較正する処理（一点較正法）であってもよいし、その他の処理であってもよい。そうすると、例えば、画面中央に提示した視標を一瞬見たときに、角膜反射−瞳孔中心法を実行する。その結果、較正情報（ずれ角θ_０）が得られる。そして、対象者Ｍが光学系１５から大きく離れた位置を見た場合であって、瞳孔形状法を適用する際にも、較正情報（ずれ角θ_０）を利用することができる。従って、較正に対する対象者Ｍの負担を軽減できる。さらに、角膜反射−瞳孔中心法のみの場合よりも、広い角度範囲における視線検出が可能となる。

【0097】

発明者らの実験によれば、視線検出装置１における所定の視線検出精度が得られる範囲は、角膜反射−瞳孔中心ベクトルＯＰを基準として水平方向におよそプラスマイナス４５度であった。この範囲は、実際に実験を行って確認された。さらに、検出範囲として、角θの大きさ｜θ｜＝６０度を想定する。この場合、楕円度Ｒ（短径と長径との比）は０．５である。従って、画像処理の改善及び光源制御をすることにより、｜θ｜＝６０度程度までは計測可能と予測できる。なお、検出範囲が４５度以上である遠隔の視線検出装置や注視点検出装置は、これまでに報告例はない。

【0098】

〔第１係数ｋの取得〕
上述の説明では、角膜反射−瞳孔中心法の式（１７）には、第１係数ｋが含まれていた。

【数17】

この第１係数ｋは、一定値として扱ってもよい。また、第１係数ｋは、変化する値として扱ってもよい。例えば、角θが小さいときには、式（１７）において、角θと角膜反射−瞳孔中心ベクトルｒとの関係は線形性が強い。従って、第１係数ｋは一定値として扱う。一方、角θが大きいときには、式（１７）において、角θと角膜反射−瞳孔中心ベクトルｒとの関係は非線形が強い。従って、第１係数ｋは、角膜反射−瞳孔中心ベクトルｒに応じて変化する値として扱う。また、第１係数ｋは、対象者Ｍの眼球５０が有する個性にもよっても変化する。

【0099】

〔一定値としての第１係数ｋの取得〕
今、対象者Ｍがディスプレイ装置３０における任意の点を見た場合、カメラ１０のそれぞれについて式（１８）が得られる。ここでカメラ１０_Ｌは、位置（Ｏ_Ｓ１）に配置され、カメラ１０_Ｒは、位置（Ｏ_Ｓ２）に配置されている。また、左目（第１眼）に生じる角膜反射Ｇは位置（Ｇ_Ｓ１）であり、右目（第２眼）に生じる角膜反射Ｇは位置（Ｇ_Ｓ２）である。さらに、左目の瞳孔中心位置は、位置（Ｐ_Ｓ１）である。右目の瞳孔中心位置は、位置（Ｐ_Ｓ２）である。角θ_１は、カメラ１０_Ｌから得られる視軸ＡＳを示す。角θ_１’は、カメラ１０_Ｌから得られる光軸ＡＬを示す。角θ_０は、ずれ角を示す。角膜反射−瞳孔中心ベクトルｒ_１（第３ベクトル）は、カメラ１０_Ｌから得られるベクトルを示す。角θ_２は、カメラ１０_Ｒから得られる視軸ＡＳを示す。角θ_２’は、カメラ１０_Ｒから得られる光軸ＡＬを示す。角膜反射−瞳孔中心ベクトルｒ_２（第５ベクトル）は、カメラ１０_Ｒから得られるベクトルを示す。ここで、式（１８）において、第１係数ｋとずれ角θ_０は眼球固有の値であるため、共通とする。

【数18】

【0100】

式（１８）より、式（１９）が得られる。

【数19】

式（１９）において、第１係数ｋは正の実数である。従って、式（１９）は、式（２０）のように示される。

【数20】

式（２０）において、最右辺の分子（｜θ_２−θ_１｜）は、瞳孔Ｐから見た２台の光学系１５の間の角度である。従って、式（２０）を利用することにより、一定値としての第１係数ｋを取得できる。なお、式（２０）によれば、対象者Ｍが任意の視標を見ている場合であっても、フレームごとに第１係数ｋを得ることができる。

【0101】

〔可変値としての第１係数ｋの取得〕
角膜反射−瞳孔中心ベクトルｒの大きさ｜ｒ｜と角θとの関係が非線形である場合、式（１７）は、式（２１）のように示される。

【数21】

また、式（２１）は、式（２２）のように示される。式（２２）において関数ｆは、非線形関数である。従って、関数ｆが既知である場合、第１係数ｋを得ることができる。次に、関数ｆを得る方法について説明する。

【数22】

【0102】

まず、関数ｆは、角θの大きさである｜θ｜と角膜反射−瞳孔中心ベクトルｒの大きさ｜ｒ｜とを示す。式（２２）では、角膜反射−瞳孔中心ベクトルｒの傾きφ’と、角θの傾きφとが一致する。換言すると、式（２３）に従う。

【数23】

【0103】

上記の式（２３）と仮定とに従えば、カメラ１０で得られる画像とカメラの内部パラメータとを利用して、角膜反射−瞳孔中心ベクトルｒの傾きφ’を得る。図１１には、２台の光学系１５について、２個の仮想光軸平面ＶＬ_１，ＶＬ_２が示される。仮想光軸平面ＶＬ_１，ＶＬ_２の交線ＣＬは、光軸ＡＬに対応する。仮想光軸平面ＶＬ_１は、第１カメラの位置（Ｏ_Ｓ１）と、瞳孔中心の位置（Ｐ_Ｓ１）と、第１仮想視点平面に第１光軸が交差する位置と、を含む。第１仮想視点平面は、第１カメラ位置（Ｏ_Ｓ１）から瞳孔中心の位置（Ｐ_Ｓ１）へ向かう第４ベクトルを法線とする平面である。仮想光軸平面ＶＬ２は、第２カメラの位置（Ｏ_Ｓ２）と、瞳孔中心の位置（Ｐ_Ｓ２）と、第２仮想視点平面に第２光軸が交差する位置と、を含む。第２仮想視点平面は、第２カメラ位置（Ｏ_Ｓ２）から瞳孔中心の位置（Ｐ_Ｓ２）へ向かう第６ベクトルを法線とする平面である。

【0104】

この光軸ＡＬの求め方によれば、角膜反射−瞳孔中心ベクトルｒの大きさ｜ｒ｜及び角θの大きさ｜θ｜に関係なく光軸ＡＬを得ることができる。光軸ＡＬが求まるということは、すなわち、光学系１５について、角θが求まることに相当する。従って、第５角度（θ_１）と、第３ベクトル（ｒ_１）の大きさ（｜ｒ_１｜）と、を利用することにより、左目に対応する第１係数（ｋ_１）を得る。第５角度（θ_１）は、第１仮想光軸平面と第２仮想光軸平面とが互いに交差する交線及び第４ベクトルから得られる。さらに、交線及び第６ベクトルから得られる第５角度（θ_２）と、第５ベクトル（ｒ_２）の大きさ（｜ｒ_２｜）と、を利用して、右目に対応する第１係数（ｋ_２）を得る。

【0105】

それぞれの光学系１５から角膜反射−瞳孔中心ベクトルｒ_１，ｒ_２も求まる。従って、角膜反射−瞳孔中心ベクトルｒの大きさ｜ｒ｜と角θの大きさ｜θ｜との関係をプロットすれば、式（２３）に示された非線形関数ｆを決定することができる。なお、角膜反射−瞳孔中心ベクトルｒの大きさ｜ｒ｜と大きさ｜θ｜との関係は、対象者Ｍがどの方向を見ていても決定できる。従って、対象者Ｍがいろいろな方向を見ている間にデータを蓄積することができる。なお、この場合、角膜反射の位置Ｇ_Ｓと瞳孔中心の位置Ｐ_Ｓとが共に検出できるときである場合を想定している。

【0106】

関数ｆを取得した後は、カメラ１０において取得された画像から角膜反射−瞳孔中心ベクトルｒを利用して角θを得る。従って、カメラ１０ごとに眼球５０の光軸ＡＬを得ることができる。なお、関数ｆは、予め取得されたものを繰り返し用いてもよい。また関数ｆは、データが増えるごとに更新されてもよい。座標が既知である視標を対象者Ｍに注視させると、角θが求まる。同時に瞳孔Ｐが求まるので、瞳孔Ｐと視標位置をとおる視軸ＡＳを得ることができる。

【0107】

〔第２係数ｈの取得〕
上述の説明において、瞳孔形状法は、角膜反射−瞳孔中心法における第１係数ｋに相当する係数を含まなかった。しかし、瞳孔形状法においても、式（２４）のように第１係数ｋに相当する第２係数ｈを含めることができる。

【数24】

第２係数ｈは、第１係数ｋと同様に、一定値として扱ってもよい。また第２係数ｈは、変化する値として扱ってもよい。第２係数ｈは、第１係数ｋと同様の方法により得る。

【0108】

瞳孔Ｐは、角膜というレンズを介して物体を観察している。従って、カメラ１０に対する視線の角度が大きくなるほど、角膜に起因する光の屈折により楕円度Ｒと角θとの関係が乖離する。このため、楕円度Ｒと角θとの関係において、非線形較正が必要になる。上述の第１係数ｋの取得処理によれば、瞳孔Ｐの楕円の短軸方向のみの情報から仮想光軸平面ＶＬ_１，ＶＬ_２が得られる。従って、第１係数ｋの取得処理は、屈折による影響を受けない。すなわち、第１係数ｋの取得処理は、屈折を考慮する必要がない。

【0109】

〔較正情報の取得〕
視線検出処理は、上述したステップＳ１１〜Ｓ１８を繰り返し行うことにより実行される。上述の説明において、光軸ＡＬと視軸ＡＳのずれを示す較正情報は、ずれ角θ_０として説明した。このずれ角θ_０は、ステップＳ１１〜Ｓ１８を含む繰り返し処理の前に行われるキャリブレーションステップにおいて取得される。

【0110】

図１２に示されるように、対象者Ｍが中央の視標Ａ４を見た場合、対象者Ｍの瞳孔Ｐから視標Ａ４に向かう視軸ＡＳ_１が形成される。一方、別の処理を実行することにより、光軸ＡＬ１が求まる。そして、光軸ＡＬ１とディスプレイ装置３０との交点Ｔ_１が求まる。図１２は、交点Ｔ_１を原点とした仮想平面を示す。
この仮想平面は、図１２における仮想視点平面のカメラの位置を、眼球の光軸ＡＬとディスプレイとの交点に置き換えたものである。このとき、仮想平面ＶＰ_１と世界座標系のＸ−Ｚ平面（水平面）との交線を、仮想平面ＶＰ_１の水平軸とする。仮想平面ＶＰ_１と視軸ＡＳとの交点を得る。そして、仮想視点平面の座標系におけるベクトルに変換する。その結果、視軸ＡＳと光軸ＡＬとのずれを表す較正情報（ずれ角θ_０）を得る。

【0111】

以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

【0112】

〔変形例１〕
図１３に示されるように、視線検出装置１の画像処理装置２０Ａは、方向判定部３５を有してもよい。方向判定部３５は、カメラ―瞳孔中心ベクトルＯＰに対する視軸ＡＳの方向を判別する。

【0113】

図１４の（ａ）部、（ｂ）部、（ｃ）部、（ｄ）部は、対象者Ｍの瞳孔Ｐ、光彩５５及び角膜反射Ｇの位置関係を示す。図１４の（ａ）部は、カメラ１０の右側における視標を対象者Ｍが見ている場合の瞳孔Ｐ、光彩５５及び角膜反射Ｇの位置関係を示す。図１４の（ｂ）部は、カメラ１０の右側であって（ａ）部における視標よりもカメラ１０に近い位置における視標を対象者Ｍが見ている場合の瞳孔Ｐ、光彩５５及び角膜反射Ｇの位置関係を示す。図１４の（ｃ）部は、カメラ１０或いは光源１３を対象者Ｍが見ている場合の瞳孔Ｐ、光彩５５及び角膜反射Ｇの位置関係を示す。図１４の（ｄ）部は、カメラ１０の左側における視標を対象者Ｍが見ている場合の瞳孔Ｐ、光彩５５及び角膜反射Ｇの位置関係を示す。図１４の（ｅ）部は、カメラ１０の左側であって（ｄ）部における視標よりもカメラ１０から遠い位置における視標を対象者Ｍが見ている場合の瞳孔Ｐ、光彩５５及び角膜反射Ｇの位置関係を示す。

【0114】

図１４の（ａ）部及び（ｅ）部に示されるように、光源１３から発せられた光の反射像（角膜反射Ｇ）は、角膜より外側に生じている。すなわち、光源１３から発せられた光の反射像は、白目の領域に生じている。図１４の（ｂ）部及び（ｄ）部に示されるように、光源１３から発せられた光の反射像は、角膜上において瞳孔Ｐから離れた位置に生じている。図１４の（ｃ）部に示されるように、光源１３から発せられた光の反射像は、角膜上において瞳孔Ｐに近い位置に生じている。

【0115】

図１４の（ａ）部及び図１４の（ｄ）部に示されるように、白目の領域に生じた反射像は、白目の形状の不均一性などにより安定しない。従って、白目の領域に生じた反射像は、高精度な視線検出への利用には不向きである。例えば、白目の領域に生じた反射像が瞳孔Ｐの左右のどちらに存在するかによって、単に右を見ているか左を見ているかを判定する方法が知られている。しかし、眼鏡をかけている場合に生じる光源の眼鏡反射像は、眼鏡、対象者Ｍ及び対象者Ｍの頭部の角度によって画像の特徴が大きく変化する。さらに、白目反射も変化する。従って、画像の特徴を利用して、右を見ているか左を見ているかを区別することが難しい場合があり得る。また、視線方向によっては白目反射が出現しないこともある。従って、反射像を利用する視線方向の判定によれば、視線方向の判定が困難である場合が生じ得る。

【0116】

図１４の（ａ）部と（ｅ）部と、を比較すると、画像における瞳孔Ｐの形状は、左の指標を見ている場合でも、右の指標を見ている場合でも、同じである。具体的には、瞳孔Ｐの形状を示す楕円度Ｒは、カメラ―瞳孔中心ベクトルＯＰに対する視軸ＡＳの角度が同じであれば、左の指標を見ている場合でも、右の指標を見ている場合でも、同じである。すなわち、瞳孔Ｐの楕円度Ｒを利用する方法は、光学系１５を挟んで点対称の位置にある指標を見ている場合（例えば、右上と左下）、どちらも楕円度Ｒが同じ値を示すために区別できない。

【0117】

そこで、画像処理装置２０Ａは、方向判定部３５を有していてもよい。方向判定部３５は、カメラ―瞳孔中心ベクトルＯＰに対する視線方向を判別する。図１５の（ａ）部は、２台の水平に並べられた光学系１５_Ｌ，１５_Ｒの右側を対象者Ｍが見た場合を示す。このとき、傾きα_１は、傾きα_２より大きい。傾きα_１は、対象者Ｍの左の光学系１５_Ｌと左目の視線ＡＧ_１との間の傾きであり。傾きα_２は、右の光学系１５_Ｒと左目の視線ＡＧ_２との間の傾きである。その結果、右側の光学系１５_Ｒの画像ＧＲＲから得られる楕円度Ｒ_２は、左側の光学系１５_Ｌの画像ＧＲＬから得られる楕円度Ｒ_１よりも大きい。右目についても同様のことがいえる。逆に図１５の（ｂ）部のように、対象者Ｍが大きく左側を見た場合、右側の光学系１５_Ｒの画像ＧＲＲから得られる楕円度Ｒ_２は、左側の光学系１５_Ｌの画像ＧＲＬから得られる楕円度Ｒ_１よりも大きい。この方法によれば、左右の光学系１５_Ｌ，１５_Ｒでそれぞれ取得された画像ＧＲＬ，ＧＲＲに含まれた瞳孔Ｐの楕円度Ｒ_１，Ｒ_２を比較することによって、対象者Ｍが大きく右を見ているか、又は、左を見ているかのいずれであるかを区別できる。

【0118】

〔変形例２〕
視線検出装置１は、図９に示された機能ブロック図の構成に限定されることはない。視線検出装置１は、処理の効率化などのために各機能ブロック間の関係を適宜変更してもよい。例えば、視線検出装置１は、第１光軸取得部２８及び第２光軸取得部２９が、演算部２７を構成する第１演算部２７ａ、第２演算部２７ｂ、第３演算部２７ｃ、第４演算部２７ｄ、第５演算部２７ｅ、第６演算部２７ｆ及び第７演算部２７ｇを含んでもよい。また、視線検出方法は、図１０のフロー図に示された順に限定されることはなく、各ステップの順を変更してもよい。例えば、視線検出方法は、第１光軸取得部２８及び第２光軸取得部２９において光軸候補を得る前に、光軸取得部を選択し、選択された光軸取得部においてのみ光軸ＡＬを得てもよい。また、視線検出方法は、光軸の較正処理を第１光軸候補が得られた後に直ちに実行し、且つ、光軸の較正処理を第２光軸候補が得られた後に直ちに実行してもよい。この場合、視線検出方法は、１個の視軸ＡＳを得る処理において、較正処理を２回実行する。

【0119】

〔変形例３〕
ところで、実施形態に係る視線検出装置１の第２光軸取得部２９は、瞳孔形状を利用して光軸を得た。瞳孔Ｐは角膜５２に覆われている（図５参照）。その結果、カメラ１０は、角膜５２を介した瞳孔Ｐの画像を出力する。そうすると、光が角膜５２を通過する際に屈折が生じる可能性がある。従って、画像上の角膜輪郭の位置は、実際の瞳孔輪郭の位置に対してずれる可能性がある。そこで、視線検出装置１は、楕円度Ｒを補正する。その結果、実際の瞳孔輪郭の位置に対する画像上における瞳孔輪郭の位置のずれは、補正される。具体的には、視線検出装置１は、楕円度Ｒが補正された補正楕円度Ｒ’を得る。そして、視線検出装置１は、補正楕円度Ｒ’を利用して、視線検出処理を行う。楕円度Ｒの補正は、第２光軸取得部２９が実行してもよい。また、楕円度Ｒの補正は、楕円度Ｒを得る第４演算部２７ｄが実行してもよい。楕円度Ｒの補正には、例えば式（２５）を利用する。

【数25】

式（２５）において、Ｒ’は補正楕円度である。Ｒは楕円度である。ａ及びｂは係数である。これら係数ａ，ｂは、実験的に得てもよい。一例として、ａ＝０．３及びｂ＝０．７としてもよい。また、角膜５２における屈折の影響を補正可能であれば、数式の構成は式（２５）に限定されることはない。

【0120】

第２光軸取得部２９は、楕円度Ｒの逆数の逆余弦成分を直接に利用して、傾きθ_Ｓを得てもよい（式（７）参照）。

【0121】

第２光軸取得部２９は、補正楕円度Ｒ’の逆数の逆余弦成分を直接に利用して、傾きθ_Ｓを得てもよい（式（２６）参照）。

【数26】

式（２７）に示されるように、第２光軸取得部２９は、補正楕円度Ｒ’の逆数の逆余弦成分に対して第２係数（ｈ）を乗じてもよい。その結果、さらに補正した値として傾きθ_Ｓが得られる。

【数27】

【0122】

このような係る視線検出装置１によれば、瞳孔形状法に基づく視線検出の精度をさらに高めることができる。

【0123】

〔変形例４〕
本実施形態に係る視線検出装置１は、角膜反射−瞳孔中心法に基づく処理を行うプラットフォーム上において、瞳孔形状法に基づく処理も実行する。すなわち、本実施形態に係る視線検出装置１は、一つのプラットフォーム上において、角膜反射−瞳孔中心法に基づく処理と瞳孔形状法に基づく処理とを実行する。しかし、このようなプラットフォームに限定されることはなく、別の処理を実行するプラットフォーム上において、角膜反射−瞳孔中心法に基づく処理と瞳孔形状法に基づく処理とを実行してもよい。

【0124】

例えば、対象者Ｍの顔姿勢を得るプラットフォーム上において、角膜反射−瞳孔中心法に基づく処理と瞳孔形状法に基づく処理とを実行してもよい。ここでいう「顔姿勢」とは、対象者Ｍの頭蓋骨の位置と方向とを意味する。顔姿勢は、対象者Ｍの眼球の向き（例えば視線）とは関係がない。例えば、顔姿勢を検出する技術として、発明者らによる特許文献（特開２００７−２６０７３号公報）がある。

【0125】

まず、顔検出方法の基本原理について説明する。図１６に示されるように、対象者Ｍの顔姿勢は、顔姿勢ベクトルＶ_Ｂによって示される。顔姿勢ベクトルＶ_Ｂは、対象者Ｍの瞳孔及び鼻孔を利用して得る。例えば、顔姿勢ベクトルＶ_Ｂは、左瞳孔中心の位置Ｐ_Ｓ１、右瞳孔中心の位置Ｐ_Ｓ２、及び鼻孔間中心の位置Ｐ_０の３点を通る平面の法線ベクトルである。これら左瞳孔、右瞳孔、左鼻孔（第１鼻孔）中心、右鼻孔（第２鼻孔）中心及び鼻孔間中心は、特徴点とすることができる。これら特徴点の三次元座標はいくつかの計算手法により得られる。

【0126】

図１７に示されるように、視線検出装置１Ｂは、物理的には実施形態に係る視線検出装置１と同様の構成を有する。一方、視線検出装置１Ｂは、画像処理装置２０Ｂにおける機能的構成要素が視線検出装置１に対して相違する。視線検出装置１Ｂは、顔姿勢を検出するための機能的構成要素として座標取得部２６ａと、顔姿勢取得部３６と、を有する。座標取得部２６ａは、算出部２３Ｂにおける前処理部２６Ｂに含まれる。顔姿勢取得部３６は、算出部２３Ｂに含まれる。

【0127】

座標取得部２６ａは、前処理部２６の構成要素である。座標取得部２６ａは、瞳孔中心の位置（Ｐ_Ｓ１，Ｐ_Ｓ２）に関する三次元座標を得る。また、座標取得部２６ａは、鼻孔の位置（Ｐ_０，Ｎ_Ｓ１，Ｎ_Ｓ２）に関する三次元座標を得る。なお、座標取得部２６ａは、当該三次元座標を得ることができればよい。従って、座標取得部２６ａは、前処理部２６の構成要素である必要はない。座標取得部２６ａは、第１カメラ１０_Ｌによって取得された第１画像と第２カメラ１０_Ｒによって取得された第２画像とを利用して、ステレオマッチング法により、瞳孔中心の位置（Ｐ_Ｓ１，Ｐ_Ｓ２）の三次元座標と、鼻孔の位置（Ｐ_０，Ｎ_Ｓ１，Ｎ_Ｓ２）の三次元座標と、を得る。

【0128】

座標取得部２６ａは、具体的には以下の動作を行う。図１８に示されるように、ステレオ法による瞳孔中心の三次元座標の決定には、３個の座標系を利用する。
３個の座標系とは、世界座標系Ｃ_Ｗ（Ｘ_Ｗ、Ｙ_Ｗ、Ｚ_Ｗ）、カメラ座標系Ｃ_Ｃ（Ｘ_Ｃ、Ｙ_Ｃ、Ｚ_Ｃ）及び画像座標系Ｃ_Ｇ（Ｘ_Ｇ、Ｙ_ＧＺ_Ｇ）である。世界座標系Ｃ_Ｗは、複数のカメラの間で共有する任意の点を規定する。特徴点の三次元座標は、世界座標系Ｃ_Ｗに基づく。世界座標系Ｃ_Ｗとカメラ座標系Ｃ_Ｃとの関係は、式（２８）により示される。式（２８）における回転行列Ｍ_Ｒ及び並進ベクトルＴ_Ｒは、カメラ較正により得られる定数である。座標取得部２６ａは、式（２８）を利用して、世界座標系Ｃ_Ｗにおける瞳孔中心の位置（Ｐ_Ｓ１，Ｐ_Ｓ２）を得る。

【数28】

【0129】

顔姿勢取得部３６は、瞳孔中心の位置（Ｐ_Ｓ１、Ｐ_Ｓ２）の三次元座標と、鼻孔の位置（Ｎ_Ｓ１、Ｎ_Ｓ２）の三次元座標と、を利用して顔姿勢ベクトルを得る。

【0130】

顔姿勢取得部３６は、４個の座標情報（Ｐ_Ｓ１、Ｐ_Ｓ２、Ｎ_Ｓ１、Ｎ_Ｓ２）を利用して、３個の基準部位を得る。３個の基準部位の集合は、基準部位群である。次に、顔姿勢取得部３６は、仮想平面を設定する。仮想平面は、生成された３つの基準部位により示される点を頂点とする三角形状の平面である。顔姿勢取得部３６は、当該仮想平面の重心をとおる顔姿勢ベクトルＶ_Ｂを得る。顔姿勢ベクトルＶ_Ｂは、顔姿勢を示す情報である。

【0131】

例えば、顔姿勢取得部３６は、基準部位群として、右目の瞳孔中心の位置Ｐ_Ｓ１、左目の瞳孔中心の位置Ｐ_Ｓ２、及び鼻孔間中心の位置Ｐ_０を選択してもよい（図１６参照）。鼻孔間中心の位置Ｐ_０とは、右の鼻孔の位置Ｎ_Ｓ１と左の鼻孔の位置Ｎ_Ｓ２との平均である。顔姿勢取得部３６は、第１基準部位群として、右目の瞳孔中心の位置Ｐ_Ｓ１、左目の瞳孔中心の位置Ｐ_Ｓ２及び右の鼻孔の位置Ｎ_Ｓ１を選択する。そして、顔姿勢取得部３６は、これらを利用して第１法線ベクトルを得る。また、顔姿勢取得部３６は、第２基準部位群として、右目の瞳孔中心の位置Ｐ_Ｓ１、左目の瞳孔中心の位置Ｐ_Ｓ２及び左の鼻孔の位置Ｎ_Ｓ２を選択する。そして、顔姿勢取得部３６は、これらを利用して第２法線ベクトルを得る。なお、顔姿勢取得部３６は、第１法線ベクトル及び第２法線ベクトルの平均を顔姿勢ベクトルＶ_Ｂとして得てもよい。

【0132】

変形例に係る視線検出装置１Ｂは、視線検出可能な範囲を拡大することができる。また、視線検出装置１Ｂは、対象者Ｍの顔姿勢を得ることができる。

【0133】

〔変形例５〕
座標取得部の動作は、ステレオマッチング法に基づく処理に限定されない。座標取得部の動作は、瞳孔Ｐ及び鼻孔の三次元座標が取得可能な処理であれば任意の処理を選択してもよい。例えば、図１９に示されるように、座標取得部２６ｂは、拘束条件法と呼ばれる処理により三次元座標を得てもよい。拘束条件法は、特徴点の間の距離（以下「特徴点間距離」又は単に「距離」という）を拘束条件として利用して、特徴点の三次元座標を得る。特徴点間距離とは、例えば、左瞳孔中心の位置Ｐ_Ｓ１と右瞳孔中心の位置Ｐ_Ｓ２との間の距離Ｌ_１、左瞳孔中心の位置Ｐ_Ｓ１と鼻孔間中心の位置Ｐ_０との間の距離Ｌ_２及び右瞳孔中心の位置Ｐ_Ｓ２と鼻孔間中心の位置Ｐ_０との間の距離Ｌ_３である（図１６参照）。また、ステレオ法の実施には光学系（例えばカメラ）が２個必要である。しかし、拘束条件法は、一台のカメラ（第３カメラ）で取得された第３画像だけで三次元座標を得ることができる。従って、拘束条件法によれば、２個の光学系を離間して配置し、それぞれの光学系を利用することにより、顔方向の検出範囲を光学系の離間方向に拡大することが可能になる。

【0134】

図１９に示されるように、視線検出装置１Ｃは、物理的には実施形態に係る視線検出装置１と同様の構成を有する。一方、視線検出装置１Ｃは、画像処理装置２０Ｃにおける機能的構成要素が視線検出装置１に対して相違する。視線検出装置１Ｃは、顔姿勢を検出するための機能的構成要素として座標取得部２６ｂを有する。座標取得部２６ｂは、算出部２３Ｃにおける前処理部２６Ｃに含まれる。座標取得部２６ｂは、距離演算部２６ｃと、二次元座標演算部２６ｄと、三次元座標演算部２６ｅとを有する。また、算出部２３Ｃは、顔姿勢取得部３６を有する。

【0135】

視線検出装置１Ｃにおける撮像光学系は、焦点距離ｆのピンホールモデルと仮定することができる（図２０参照）。カメラ座標系Ｃ_Ｃにおける鼻孔画像（撮像平面ＰＬ）上の右瞳孔、左瞳孔、左鼻孔、及び右鼻孔の中心点の二次元座標をそれぞれ、Ｑ_１、Ｑ_２、Ｑ_３、及びＱ_４とする。カメラ座標系Ｃ_Ｃは、ピンホールの位置原点Ｏ_Ｒとする。前処理部２６は、これら４点の二次元座標を利用して、両鼻孔の中点（鼻孔間中心）の座標（鼻孔間中心座標）Ｐ_０と、右瞳孔中心の位置Ｐ_Ｓ１と、左瞳孔中心の位置Ｐ_Ｓ２と、を得る。ここで、Ｐ_ｎ＝（Ｘ_ｎ，Ｙ_ｎ，Ｚ_ｎ）（ｎ＝０，１，２）である。

【0136】

３個の特徴点（鼻孔間中心、左瞳孔及び右瞳孔）間を結んだ三角形の各辺の距離は、それらのうちの任意の１点をｉとし、他の点をｊとすると、点ｉ，ｊの間の距離Ｌ_ｉｊで示される（式（２９）参照）。この距離Ｌ_ｉｊは、予め実測されることにより得られる。この距離Ｌ_ｉｊを得る処理は、距離演算部２６ｃにより実行される。

【数29】

【0137】

各特徴点に対応する撮像平面ＰＬ上の二次元位置は、ピンホールから各特徴点への位置ベクトルと、カメラの焦点距離ｆとを用いて示される（式（２９）参照）。撮像平面ＰＬ上の二次元位置を得る処理は、二次元座標演算部２６ｄにより実行される。

【数30】

また、ピンホールから各特徴点へ向かう位置ベクトルに対応した単位ベクトルは式（３０）により示される。

【数31】

各特徴点の位置ベクトルは定数ａ_ｎ（ｎ＝０，１，２）を利用し、式（３１）により示される。

【数32】

そうすると、式（３３）が成立する。

【数33】

これにより式（３４）が得られる。

【数34】

顔姿勢取得部３６は、連立方程式（式（３４））を利用して、ａ_０，ａ_１，ａ_２を得る。そして、顔姿勢取得部３６は、連立方程式の解を式（３２）に適用する。その結果、顔姿勢取得部３６は、位置ベクトルを得る。位置ベクトルは、各特徴点の三次元座標を示す。三次元座標を得る処理は、三次元座標演算部２６ｅにより実行される。

【0138】

変形例に係る視線検出装置１Ｃは、視線検出可能な範囲を拡大することができる。また、視線検出装置１Ｃは、対象者Ｍの顔姿勢を得ることができる。

【0139】

上記実施形態において、光軸情報取得部３１が生成する情報は、第１光軸候補及び第２光軸候補のいずれか一方を光軸ＡＬとして選択するための情報である。例えば、光軸情報取得部３１が生成する情報は、第１光軸候補及び第２光軸候補の両方を利用して、光軸ＡＬを生成する情報であってもよい（式（３５））。式（３５）において、第１光軸候補の情報（大きさ｜θ_１｜）には重み係数ｗ１が設定され、第２光軸候補の情報（大きさ｜θ_２｜）には重み係数ｗ２が設定される。従って、光軸情報取得部３１が生成する情報は、式（３５）を示す情報と、式（３５）における重み係数ｗ１，ｗ２としてもよい。

【数35】

【0140】

図２１の（ａ）部及び（ｂ）部に示されるように、重み係数ｗ１，ｗ２は、傾きθ_Ｓを変数として０から１の間の値を取り得る。図２１の（ａ）部に示されるように、閾値θ_Ｔ（例えば３０度）を設定する共に当該閾値θ_Ｔを含む所定の数値範囲を設定する。傾きθ_Ｓが所定の数値範囲内に存在しない場合であり、且つ、傾きθ_Ｓが所定の数値範囲よりも小さい側に存在する場合、重み係数ｗ１を１とし、重み係数ｗ２を０とする。逆に、傾きθ_Ｓが所定の数値範囲内に存在しない場合であり、且つ、傾きθ_Ｓが所定の数値範囲よりも大きい側に存在する場合、重み係数ｗ１を０とし、重み係数ｗ２を１とする。換言すると、傾きθ_Ｓが所定の数値範囲よりも小さい側に存在する場合、第１光軸候補を光軸ＡＬとする。一方、傾きθ_Ｓが所定の数値範囲よりも大きい側に存在する場合、第２光軸候補を光軸ＡＬとする。さらに、傾きθ_Ｓが所定の数値範囲内に存在する場合、重み係数ｗ１と重み係数ｗ２とを用いて光軸ＡＬを得てもよい。例えば、傾きθ_Ｓが閾値θ_Ｔと等しい場合、重み係数ｗ１を０．５とし、重み係数ｗ２を０．５としてもよい。また、重み係数ｗ１，ｗ２と傾きθ_Ｓとの関係は、図２１の（ｂ）部に示されるように、ステップ状に変化させてもよい。この場合、傾きθ_Ｓが閾値θ_Ｔより小さい場合、光軸ＡＬの取得に第１光軸候補が用いられる。傾きθ_Ｓが閾値θ_Ｔより大きい場合、光軸ＡＬの取得に第２光軸候補が用いられる。すなわち、上記実施形態に示された光軸情報取得部３１の動作と同じである。

【符号の説明】

【0141】

１…視線検出装置、１０，１０_Ｌ，１０_Ｒ…カメラ（画像取得部）、１１…対物レンズ、１２…開口部、１３…光源、１３ａ，１３ｂ…発光素子、１５…光学系、２０…画像処理装置（画像処理部）、２１…点灯制御部、２２…画像入力部、２３…算出部、２４…記録部、２６…前処理部、２７…演算部、２７ａ…第１演算部、２７ｂ…第２演算部、２７ｃ…第３演算部、２７ｄ…第４演算部、２７ｅ…第５演算部、２７ｆ…第６演算部、２８…第１光軸取得部、２９…第２光軸取得部、３０…ディスプレイ装置、３１…光軸情報取得部、３２…視軸取得部、３３…較正情報部、３４…係数部、３５…方向判定部、５０…眼球、５２…角膜、５３…水晶体、５６…網膜、５７…中心窩、１０１…ＣＰＵ、１０２…主記憶部、１０３…補助記憶部、１０４…通信制御部、１０５…入力装置、１０６…出力装置、Ａ１，Ａ２…視標、Ａ３…軸線、ＡＬ…光軸、ＡＳ…視軸、ＣＬ…交線、Ｇ…角膜反射、ＯＰ…カメラ−瞳孔中心ベクトル、Ｐ，Ｐａ，Ｐｂ，Ｐｃ…瞳孔、ＰＱ，ＰＴ…視線ベクトル、Ｑ，Ｔ…注視点、ｒ，ｒ_１，ｒ_２…角膜反射−瞳孔中心ベクトル、Ｍ…対象者、ＶＳ…仮想視点平面、ＶＬ_１，ＶＬ_２…仮想光軸平面。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】

【図20】

【図21】