ホーム > 特許ランキング > 国立大学法人静岡大学
知財求人 - 知財ポータルサイト「IP Force」
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】
(24)【登録日】2022-03-25
(45)【発行日】2022-04-04
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
A61B 3/113 20060101AFI20220328BHJP
【ＦＩ】
A61B3/113
【請求項の数】
7
(21)【出願番号】P 2017234588
(22)【出願日】2017-12-06
(65)【公開番号】P2019098024
(43)【公開日】2019-06-24
【審査請求日】2020-11-17
(73)【特許権者】
【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100124800
【弁理士】
【氏名又は名称】諏澤 勇司
(72)【発明者】
【氏名】海老澤 嘉伸
【審査官】増渕 俊仁
(56)【参考文献】
【文献】特開２０１５－１６９９５９（ＪＰ，Ａ）
【文献】特開２０１６－０９９７５９（ＪＰ，Ａ）
【文献】特開２０１６－０２４６１６（ＪＰ，Ａ）
【文献】米国特許出願公開第２０１３／０１８８８３４（ＵＳ，Ａ１）
(58)【調査した分野】(Int.Cl.，ＤＢ名)
Ａ６１Ｂ ３／００－３／１８
(57)【特許請求の範囲】
【請求項1】
対象者の左右の眼及び該眼の周辺部を撮像することで眼画像を取得する少なくとも１台のカメラと、前記眼画像を基に前記左右の眼のいずれかの光軸あるいは視線を算出する算出部と、を備え、
前記算出部は、算出した前記光軸あるいは前記視線のいずれかである基準線に沿って見たときの前記左右の眼の特徴点の３次元座標あるいは前記左右の眼の周辺部の特徴点の３次元座標を結ぶ線の傾きを算出し、前記傾きを基に、前記対象者における前記左右の目の一方の前記基準線周りの前記左右の目の他方の目の位置の回転角度である、前記対象者の頭部の傾きの回転角度を算出し、
前記光軸を予め設定されるずれ角度及びずれ方向に補正することによって前記視線を算出し、前記傾きを基に前記ずれ方向を補正し、補正後の前記ずれ方向を用いて前記視線を算出し、
予め設定された位置の視標を前記対象者に見させた際の前記左右の眼の特徴点の３次元座標あるいは前記左右の眼の周辺部の特徴点の３次元座標及び前記光軸を基に、前記ずれ方向の初期値及び前記傾きの初期値を算出し、前記視線を検出する際に、前記左右の眼の特徴点の３次元座標あるいは前記左右の眼の周辺部の特徴点の３次元座標及び前記光軸を基に前記傾きの実測値を算出し、前記傾きの実測値から前記傾きの初期値を減算した値を基に前記ずれ方向の初期値を補正し、補正後の前記ずれ方向の初期値を用いて前記視線を算出する、
画像処理装置。
【請求項2】
前記算出部は、前記基準線に沿って見たときの前記頭部の傾きの回転角度を算出する、請求項１記載の画像処理装置。
【請求項3】
前記算出部は、前記基準線を含み所定軸に沿った基準平面と、前記基準線と前記左右の眼の特徴点の３次元座標あるいは前記左右の眼の周辺部の特徴点の３次元座標とを含む顔方向平面とを設定し、前記基準平面に対する前記顔方向平面の傾きを、前記左右の眼の特徴点の３次元座標あるいは前記左右の眼の周辺部の特徴点の３次元座標を結ぶ線の傾きとして算出する、請求項１又は２に記載の画像処理装置。
【請求項4】
前記算出部は、前記基準平面の法線と前記顔方向平面の法線との間の傾きを、前記左右の眼の特徴点の３次元座標あるいは前記左右の眼の周辺部の特徴点の３次元座標を結ぶ線の傾きとして算出する、請求項３記載の画像処理装置。
【請求項5】
前記眼画像を取得する２台のカメラを備え、前記算出部は、前記２台のカメラによって取得された前記眼画像を基に、前記左右の眼の特徴点の３次元座標あるいは前記左右の眼の周辺部の特徴点の３次元座標を算出する、
請求項１～４のいずれか１項に記載の画像処理装置。
【請求項6】
前記算出部は、前記左右の眼の特徴点として、瞳孔、目頭、目尻、虹彩、角膜球、あるいは角膜反射のうちのいずれか、前記左右の眼の周辺部の特徴点として、両眼中点、眉間、眉毛、鼻孔、鼻の先端、鼻の周囲、口角、口の中心のうちのいずれかを検出する、請求項１～５のいずれか１項に記載の画像処理装置。
【請求項7】
対象者の左右の眼及び該眼の周辺部を撮像することで眼画像を取得する画像取得ステップと、前記眼画像を基に前記左右の眼のいずれかの光軸あるいは視線を算出する算出ステップと、を備え、
前記算出ステップでは、算出した前記光軸あるいは前記視線のいずれかである基準線に沿って見たときの前記左右の眼の特徴点の３次元座標あるいは前記左右の眼の周辺部の特徴点の３次元座標を結ぶ線の傾きを算出し、前記傾きを基に、前記対象者における前記左右の目の一方の前記基準線周りの前記左右の目の他方の目の位置の回転角度である、前記対象者の頭部の傾きの回転角度を算出し、
前記光軸を予め設定されるずれ角度及びずれ方向に補正することによって前記視線を算出し、前記傾きを基に前記ずれ方向を補正し、補正後の前記ずれ方向を用いて前記視線を算出し、
予め設定された位置の視標を前記対象者に見させた際の前記左右の眼の特徴点の３次元座標あるいは前記左右の眼の周辺部の特徴点の３次元座標及び前記光軸を基に、前記ずれ方向の初期値及び前記傾きの初期値を算出し、前記視線を検出する際に、前記左右の眼の特徴点の３次元座標あるいは前記左右の眼の周辺部の特徴点の３次元座標及び前記光軸を基に前記傾きの実測値を算出し、前記傾きの実測値から前記傾きの初期値を減算した値を基に前記ずれ方向の初期値を補正し、補正後の前記ずれ方向の初期値を用いて前記視線を算出する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人の画像を処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
近年、近赤外光源等の光源とビデオカメラを使用した視線検出装置が普及しつつある（例えば、下記特許文献１参照）。このような視線検出装置では、「瞳孔－角膜反射法」と呼ばれる検出方法が用いられている。「瞳孔－角膜反射法」とは、ビデオカメラに対する被験者の眼の光軸の向きの変化によりビデオカメラで得られる画像中の瞳孔と角膜反射との位置関係が変化することを用いて、視線方向を検出する方法である。
【0003】
一般に、カメラによって取得される画像によって検出される眼球の光軸（例えば、眼球の対象軸）と、注視点と眼球の中心点（例えば、瞳孔中心、眼球中心）とを通る視軸とには、ずれが存在する。このずれは、個人間あるいは左右の眼球間で異なっている。上記の装置では、被験者の光軸と実際の注視点を通る視軸とのずれとして原点補正ベクトルをあらかじめ計算し、被験者の頭部が傾いたときに原点補正ベクトルの視軸周りの回転角度が被験者の左眼と右眼で同一であるという拘束条件に基づいて、両眼の注視点が所定平面上で近くなるように回転角度を求めることにより原点補正ベクトルを補正し、その原点補正ベクトルを用いて被験者の視線の方向を計算する。
【0004】
一方、原点補正ベクトルを異なる手法で補正が可能な視線検出装置も知られている（下記特許文献２参照。）。この装置においては、被験者の眼を撮像することで得られた瞳孔画像を用いて瞳孔の輪郭を算出し、その輪郭に基づいて被験者の眼球の視軸周りの回転角度を算出し、この回転角度を用いて原点補正ベクトルを補正することを行う。
【先行技術文献】
【特許文献】
【0005】
【文献】特開２０１５－１６９９５９号公報
【文献】特開２０１６－２４６１６号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述した特許文献１に記載の装置では、被験者の両眼の所定平面上における注視点が輻輳開放眼球運動等によって離れた場合、眼球の回転角度の状態が正しく認識できず原点補正ベクトルの補正値の解が安定せず、検出する視線が不安定になる傾向があった。また、上述した特許文献２に記載の装置では、カメラの分解能の影響で瞳孔の輪郭の形状を精度よく検出できなかった場合、または、被験者の眼球がカメラに対して斜めを向いている場合には、眼球の回転角度の算出精度が低下する傾向にあった。
【0007】
本発明は、上記課題に鑑みて為されたものであり、被験者の眼球の回転角度を安定して精度よく検出することが可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明の一形態に係る画像処理装置は、対象者の左右の眼及び該眼の周辺部を撮像することで眼画像を取得する少なくとも１台のカメラと、眼画像を基に左右の眼のいずれかの光軸あるいは視線を算出する算出部と、を備え、算出部は、算出した光軸あるいは視線のいずれかである基準線に沿って見たときの左右の眼の特徴点の３次元座標あるいは左右の眼の周辺部の特徴点の３次元座標を結ぶ線の傾きを算出し、傾きを基に対象者の頭部の傾きの回転角度を算出する。
【0009】
或いは、本発明の他の形態にかかる画像処理方法は、対象者の左右の眼及び該眼の周辺部を撮像することで眼画像を取得する画像取得ステップと、眼画像を基に左右の眼のいずれかの光軸あるいは視線を算出する算出ステップと、を備え、算出ステップでは、算出した光軸あるいは視線のいずれかである基準線に沿って見たときの左右の眼の特徴点の３次元座標あるいは左右の眼の周辺部の特徴点の３次元座標を結ぶ線の傾きを算出し、傾きを基に対象者の頭部の傾きの回転角度を算出する。
【0010】
上記形態の画像処理装置或いは画像処理方法によれば、対象者の左右の眼の眼画像を基に左右の眼のいずれかの光軸あるいは視線が算出される。その際、対象者の視線あるいは光軸に沿った方向から見た対象者の左右の眼の特徴点あるいは左右の眼の周辺の特徴点の間の傾きが算出され、その傾きを基に対象者の頭部の傾きの回転角度が求められる。これにより、対象者の両眼の注視点の位置の関係にかかわらず対象者の眼球の回転角度を安定して検出することができるとともに、カメラの性能、あるいは、対象者の眼部のカメラに対する向きに関係なく、対象者の眼球の回転角度を精度よく検出することができる。
【0011】
ここで、算出部は、基準線に沿って見たときの頭部の傾きの回転角度を算出する、こととしてもよい。かかる構成により、基準線に沿って見たときの対象者の眼球の回転角度を精度よく検出することができる。
【0012】
また、算出部は、光軸を予め設定されるずれ角度及びずれ方向に補正することによって視線を算出し、傾きを基にずれ方向を補正し、補正後のずれ方向を用いて視線を算出する、こととしてもよい。こうすれば、対象者の左右の眼の眼画像を基に左右の眼のいずれかの光軸が算出され、光軸を予め設定されるずれ角度及びずれ方向に補正することによって視線が算出される。その際、対象者の視線あるいは光軸に沿った方向から見た対象者の左右の眼の特徴点あるいは左右の眼の周辺部の特徴点の間の傾きが算出され、視線を算出するためのずれ方向がその傾きによって補正される。これにより、対象者の両眼の注視点の位置の関係にかかわらず視線を安定して検出することができるとともに、カメラの性能、あるいは、対象者の眼部のカメラに対する向きに関係なく、視線を精度よく検出することができる。
【0013】
また、算出部は、基準線を含み所定軸に沿った基準平面と、基準線と左右の眼の特徴点の３次元座標あるいは左右の眼の周辺部の特徴点の３次元座標とを含む顔方向平面とを設定し、基準平面に対する顔方向平面の傾きを、左右の眼の特徴点の３次元座標あるいは左右の眼の周辺部の特徴点の３次元座標を結ぶ線の傾きとして算出する、こととしてもよい。この場合、対象者の視線あるいは光軸に沿った方向から見た対象者の左右の眼の特徴点あるいは左右の眼の周辺の特徴点の傾きが簡易に算出できるので、視線検出のための演算量を削減することができる。
【0014】
また、算出部は、基準平面の法線と顔方向平面の法線との間の傾きを、左右の眼の特徴点の３次元座標あるいは左右の眼の周辺部の特徴点の３次元座標を結ぶ線の傾きとして算出する、こととしてもよい。この場合にも、対象者の視線あるいは光軸に沿った方向から見た対象者の左右の眼の特徴点あるいは左右の眼の周辺部の特徴点の傾きがさらに簡易に算出できるので、視線検出のための演算量をさらに削減することができる。
【0015】
また、算出部は、予め設定された位置の視標を対象者に見させた際の左右の眼の特徴点の３次元座標あるいは左右の眼の周辺部の特徴点の３次元座標及び光軸を基に、ずれ方向の初期値及び傾きの初期値を算出し、視線を検出する際に、左右の眼の特徴点の３次元座標あるいは左右の眼の周辺部の特徴点の３次元座標及び光軸を基に傾きの実測値を算出し、傾きの実測値から傾きの初期値を減算した値を基にずれ方向の初期値を補正し、補正後のずれ方向の初期値を用いて視線を算出する、こととしてもよい。この場合には、視標を用いてずれ方向及び傾きの初期値が正確に算出でき、その後の傾きの実測値を基に視線が正確に算出できる。
【0016】
また、眼画像を取得する２台のカメラを備え、算出部は、２台のカメラによって取得された眼画像を基に、左右の眼の特徴点の３次元座標あるいは左右の眼の周辺部の特徴点の３次元座標を算出する、こととしてもいてもよい。この場合には、左右の眼の特徴点の３次元座標あるいは左右の眼の周辺部の特徴点の３次元座標が簡易な構成で算出でき、視線の検出が簡易な構成で実現できる。
【0017】
また、算出部は、左右の眼の特徴点として、瞳孔、目頭、目尻、虹彩、角膜球、あるいは角膜反射のうちのいずれか、左右の眼の周辺部の特徴点として、両眼中点、眉間、眉毛、鼻孔、鼻の先端、鼻の周囲、口角、口の中心のうちのいずれかを検出する、こととしてもよい。
【発明の効果】
【0018】
本発明によれば、被験者の眼球の回転角度を安定して精度よく検出することができる。
【図面の簡単な説明】
【0019】
【図1】実施形態に係る視線検出装置を示す斜視図である。
【図2】カメラのレンズ部分を示す平面図である。
【図3】実施形態に係る画像処理装置のハードウェア構成を示す図である。
【図4】実施形態に係る視線検出装置の機能構成を示すブロック図である。
【図5】実施形態に係る視線検出装置の基本動作を示すフローチャートである。
【図6】視線の検出を説明するための図である。
【図7】従来装置におけるディスプレイ装置上の注視点の検出状態を示す図である。
【図8】カメラ１０によって取得される２次元画像における対象者Ａの瞳孔の検出状態を示す図である。
【図9】カメラ１０によって取得される２次元画像における対象者Ａの瞳孔の検出状態を示す図である。
【図10】カメラ１０によって取得される２次元画像における対象者Ａの瞳孔の検出状態を示す図である。
【図11】算出部２３による光軸と視軸との間の角度ベクトルＶθを補正するイメージを示す図である。
【図12】算出部２３による角度ベクトルＶθの初期値及び左右の瞳孔ＰＬ，ＰＲの３次元座標を結ぶ線の傾きの算出イメージを示す図である。
【図13】視線検出装置１を用いた実験結果を示すグラフである。
【発明を実施するための形態】
【0020】
以下、図面を参照しつつ本発明に係る画像処理装置及び画像処理方法の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
【0021】
［視線検出装置の構成］
まず、図１～４を用いて、実施形態に係る画像処理装置である視線検出装置１の構成を説明する。視線検出装置１は、対象者の眼を撮像することで対象者の視線方向を検出するコンピュータシステムであり、この装置により、本実施形態に係る視線検出方法が実施される。対象者とは、視線方向を検出する対象となる人であり、被験者ともいうことができる。視線検出装置１および視線検出方法の利用目的は何ら限定されず、例えば、よそ見運転の検出、運転者のサイドミラーやルームミラーの安全確認動作の確認、運転者の眠気の検出、商品の興味の度合いの調査、アミューズメント装置等に利用されるコンピュータへのデータ入力、乳幼児の自閉症診断等の診断用装置などに視線検出装置１を利用することができる。
まず、図１～４を用いて、実施形態に係る画像処理装置である視線検出装置１の構成を説明する。視線検出装置１は、対象者の眼を撮像することで対象者の視線方向を検出するコンピュータシステムであり、この装置により、本実施形態に係る視線検出方法が実施される。対象者とは、視線方向を検出する対象となる人であり、被験者ともいうことができる。視線検出装置１および視線検出方法の利用目的は何ら限定されず、例えば、よそ見運転の検出、運転者のサイドミラーやルームミラーの安全確認動作の確認、運転者の眠気の検出、商品の興味の度合いの調査、アミューズメント装置等に利用されるコンピュータへのデータ入力、乳幼児の自閉症診断等の診断用装置などに視線検出装置１を利用することができる。
【0022】
図１に模式的に示すように、視線検出装置１は、ステレオカメラとして機能する一対のカメラ１０と画像処理装置２０とを備える。以下では、必要に応じて、一対のカメラ１０を、対象者Ａの左側にある左カメラ１０Ｌと、対象者Ａの右側にある右カメラ１０Ｒとに区別する。本実施形態では、視線検出装置１は、対象者Ａが見る対象であるディスプレイ装置３０をさらに備えるが、視線検出装置１の利用目的は上記のように限定されないので、対象者Ａの視線の先にある物はディスプレイ装置３０に限定されず、例えば自動車のフロントガラスでもあり得る。したがって、ディスプレイ装置３０は視線検出装置１における必須の要素ではない。それぞれのカメラ１０は画像処理装置２０と無線または有線により接続され、カメラ１０と画像処理装置２０との間で各種のデータまたは命令が送受信される。各カメラ１０に対しては予めカメラ較正が行われる。
【0023】
カメラ１０は対象者Ａの左右の眼およびそれらの周辺部を含む部分を撮影するために用いられる。一対のカメラ１０は水平方向に沿って所定の間隔をおいて配され、かつ、対象者Ａが眼鏡をかけているときの顔画像における反射光の写り込みを防止する目的で対象者Ａの顔より低い位置に設けられる。水平方向に対するカメラ１０の仰角は、瞳孔の確実な検出と対象者Ａの視野範囲の妨げの回避との双方を考慮して、例えば２０～３５度の範囲に設定される。個々のカメラ１０に対しては予めカメラ較正が行われる。
【0024】
本実施形態では、カメラ１０は、インターレーススキャン方式の一つであるＮＴＳＣ方式のカメラである。ＮＴＳＣ方式では、１秒間に３０枚得られる１フレームの画像データは、奇数番目の水平画素ラインで構成される奇数フィールドと、偶数番目の水平画素ラインで構成される偶数フィールドから構成され、奇数フィールドの画像と偶数フィールドの画像とが１／６０秒の間隔で交互に撮影されることで生成される。したがって、一つのフレームは、一対の奇数フィールドおよび偶数フィールドに相当する。カメラ１０は、画像処理装置２０からの命令に応じて対象者Ａを撮像し、画像データを画像処理装置２０に出力する。
【0025】
カメラ１０のレンズ部分を図２に模式的に示す。この図に示すように、カメラ１０では、対物レンズ１１が円形状の開口部１２に収容され、開口部１２の外側に光源１３が取り付けられている。光源１３は、対象者Ａの眼に向けて照明光を照射するための機器であり、複数の発光素子１３ａと複数の発光素子１３ｂとから成る。発光素子１３ａは、出力光の中心波長が８５０ｎｍの半導体発光素子（ＬＥＤ）であり、開口部１２の縁に沿って等間隔でリング状に配される。発光素子１３ｂは、出力光の中心波長が９４０ｎｍの半導体発光素子であり、発光素子１３ａの外側に等間隔でリング状に配される。したがって、カメラ１０の光軸から発光素子１３ｂまでの距離は、該光軸から発光素子１３ａまでの距離よりも大きい。それぞれの発光素子１３ａ，１３ｂは、カメラ１０の光軸に沿って照明光を出射するように設けられる。なお、光源１３の配置は図２に示す構成に限定されず、カメラをピンホールモデルとみなすことができれば他の配置であってもよい。光源１３は、画像処理装置２０からの命令に応じたタイミングで照明光を出射する。
【0026】
画像処理装置２０は、カメラ１０、及び光源１３の制御と、対象者Ａの視線方向の検出とを実行するコンピュータである。画像処理装置２０は、据置型または携帯型のパーソナルコンピュータ（ＰＣ）により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、画像処理装置２０は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。
【0027】
画像処理装置２０の一般的なハードウェア構成を図３に示す。画像処理装置２０は、オペレーティングシステムやアプリケーション・プログラムなどを実行するＣＰＵ（プロセッサ）１０１と、ＲＯＭおよびＲＡＭで構成される主記憶部１０２と、ハードディスクやフラッシュメモリなどで構成される補助記憶部１０３と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部１０４と、キーボードやマウスなどの入力装置１０５と、ディスプレイやプリンタなどの出力装置１０６とを備える。
【0028】
後述する画像処理装置２０の各機能要素は、ＣＰＵ１０１または主記憶部１０２の上に所定のソフトウェアを読み込ませ、ＣＰＵ１０１の制御の下で通信制御部１０４や入力装置１０５、出力装置１０６などを動作させ、主記憶部１０２または補助記憶部１０３におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部１０２または補助記憶部１０３内に格納される。
【0029】
図４に示すように、画像処理装置２０は機能的構成要素として点灯制御部２１、画像取得部２２、及び算出部２３を備える。点灯制御部２１は、光源１３の点灯タイミングを制御する。画像取得部２２は、カメラ１０の撮影タイミングを光源１３の点灯タイミングに同期して制御することで、カメラ１０から画像データ（眼画像のデータ）を取得する機能要素である。算出部２３は、画像データから得られる視線ベクトルに基づいて視軸（視線ともいう）の方向を検出する機能要素である。視軸（視線）とは、対象者の瞳孔中心と該対象者の注視点（対象者が見ている点）とを結ぶ線である。なお、「視軸」という用語は、起点、終点、および方向の意味（概念）を含む。また、「視線ベクトル」とは、対象者の視軸の方向をベクトルで表したもので、「視軸の方向」を表す一形態である。画像処理装置２０の検出結果の視軸の方向の出力先は何ら限定されない。例えば、画像処理装置２０は判定結果を画像、図形、またはテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。
【0030】
［視線検出方法の基本動作］
次に、図５及び図６を用いて、視線検出装置１による視線検出方法（画像処理方法）の基本動作について説明する。図５は、視線検出方法の基本動作を示すフローチャート、図６は、視線検出装置１による視線の検出を説明するための図である。
次に、図５及び図６を用いて、視線検出装置１による視線検出方法（画像処理方法）の基本動作について説明する。図５は、視線検出方法の基本動作を示すフローチャート、図６は、視線検出装置１による視線の検出を説明するための図である。
【0031】
まず、点灯制御部２１が光源１３の点灯タイミングを制御し、そのタイミングに合わせて画像取得部２２がそれぞれのカメラ１０から明瞳孔画像（眼画像）および暗瞳孔画像（眼画像）を取得する（ステップＳ１１；画像取得ステップ）。続いて、算出部２３が、それぞれのカメラ１０からの明瞳孔画像及び暗瞳孔画像を対象にして、それぞれのカメラ１０の眼画像中の瞳孔中心（眼の特徴点）の位置及び角膜反射の位置を検出する（ステップＳ１２）。そして、算出部２３は、対象者Ａの左右の瞳孔中心の３次元座標を算出する（ステップＳ１３）。さらに、算出部２３は、算出したいずれかのカメラ１０の眼画像における瞳孔中心の位置及び角膜反射の位置、及び左右の瞳孔の３次元座標を基に、左右の瞳孔の光軸を算出する（ステップＳ１４）。ここでいう、「光軸」とは、カメラ１０によって取得される画像によって検出される眼球の光軸であり、例えば、眼球の対象軸と一致する。その後、算出部２３は、左右の瞳孔における光軸と視軸との間のずれ角度及びずれ方向を示すずれ角度ベクトルを算出する（ステップＳ１５）。さらに、算出部２３は、算出したずれ角度ベクトルを用いて光軸を補正することによって視軸を算出した後、算出した視軸を参照して所定の視対称平面上の注視点を算出する（ステップＳ１６、以上算出ステップ）。以上の処理は、視線検出処理の終了の指示が受け付けられるまで、繰り返し実行される（ステップＳ１７）。
【0032】
以下、各ステップの処理について詳細に説明する。
【0033】
（眼画像の取得）
眼に入った光は網膜で乱反射し、反射光のうち瞳孔を通り抜けた光は強い指向性をもって光源へ戻る性質がある。カメラの開口部近くにある光源が発光した時にカメラを露光させると、網膜で反射した光の一部がその開口部に入るため、瞳孔が瞳孔周辺よりも明るく写った画像を取得することができる。この画像が明瞳孔画像である。これに対して、カメラの開口部から離れた位置にある光源が発光した時にカメラを露光させると、眼から戻ってきた光はカメラの開口部にほとんど戻らないため、瞳孔が暗く写った画像を取得することができる。この画像が暗瞳孔画像である。また、透過率が高い波長の光を眼に照射すると、網膜での光の反射が多くなるので瞳孔が明るく写り、透過率が低い波長の光を眼に照射すると、網膜での光の反射が少なくなるので瞳孔が暗く写る。
眼に入った光は網膜で乱反射し、反射光のうち瞳孔を通り抜けた光は強い指向性をもって光源へ戻る性質がある。カメラの開口部近くにある光源が発光した時にカメラを露光させると、網膜で反射した光の一部がその開口部に入るため、瞳孔が瞳孔周辺よりも明るく写った画像を取得することができる。この画像が明瞳孔画像である。これに対して、カメラの開口部から離れた位置にある光源が発光した時にカメラを露光させると、眼から戻ってきた光はカメラの開口部にほとんど戻らないため、瞳孔が暗く写った画像を取得することができる。この画像が暗瞳孔画像である。また、透過率が高い波長の光を眼に照射すると、網膜での光の反射が多くなるので瞳孔が明るく写り、透過率が低い波長の光を眼に照射すると、網膜での光の反射が少なくなるので瞳孔が暗く写る。
【0034】
本実施形態では、透過率が高い波長の光（中心波長が８５０ｎｍ）を発する発光素子１３ａが開口部１２に隣接した位置に設けられ、眼の透過率が低い波長の光（中心波長が９４０ｎｍ）を発する発光素子１３ｂを開口部１２から離れた位置に設けられる。点灯制御部２１及び画像取得部２２は、カメラ１０の奇数フィールドに合わせて発光素子１３ａを点灯させて明瞳孔画像を撮影し、カメラ１０の偶数フィールドに合わせて発光素子１３ｂを点灯させて暗瞳孔画像を撮影する。さらに、画像取得部２２は２つのカメラ１０の間で作動タイミングをわずかにずらし、個々のカメラ１０の露光時間はそのずらし時間以下に設定される。点灯制御部２１は、各カメラ１０の露光時間中に、対応する発光素子１３ａおよび発光素子１３ｂを交互に発光させることで、一方のカメラ１０の光源１３からの光が他方のカメラ１０の画像に影響を与えないようにする（クロストークが起こらないようにする）。
【0035】
画像取得部２２は、これらの一連の制御により得られる明瞳孔画像および暗瞳孔画像を取得する。得られる画像データは、奇数フィールド又は偶数フィールドのみに有効画素を有しているため、画像取得部２２は、隣接する有効画素の画素ラインの輝度平均をそのライン間の画素値に埋め込むことによって、明瞳孔画像または暗瞳孔画像を生成する。画像取得部２２は２つのカメラ１０によって得られた明瞳孔画像および暗瞳孔画像を算出部２３に出力する。
【0036】
（角膜反射の位置及び瞳孔中心の位置の検出）
算出部２３は、画像取得部２２から入力された明瞳孔画像および暗瞳孔画像のそれぞれから左右の眼における角膜反射を検出する。具体的には、算出部２３は１枚の画像に対してＰタイル法による２値化とラベリングとを行い、形状や輝度平均などの情報に基づいてその画像から左右の眼における角膜反射を選択する。このような処理により、算出部２３は明瞳孔画像および暗瞳孔画像のそれぞれから、左右の眼における角膜反射を得る。
算出部２３は、画像取得部２２から入力された明瞳孔画像および暗瞳孔画像のそれぞれから左右の眼における角膜反射を検出する。具体的には、算出部２３は１枚の画像に対してＰタイル法による２値化とラベリングとを行い、形状や輝度平均などの情報に基づいてその画像から左右の眼における角膜反射を選択する。このような処理により、算出部２３は明瞳孔画像および暗瞳孔画像のそれぞれから、左右の眼における角膜反射を得る。
【0037】
さらに、算出部２３は、算出された角膜反射の位置に基づいて明瞳孔画像と暗瞳孔画像との間での角膜反射の移動量を位置補正量として計算する。続いて、算出部２３はそれら二つの角膜反射の位置が一致するように、前フィールド（ｉ番目のフィールド）の画像を、次フィールド（（ｉ＋１）番目のフィールド）の画像に位置補正量だけずらした上で、これら２画像から差分画像を生成する。そして、算出部２３は一致させた角膜反射の画像上の座標（位置）を取得する。
【0038】
続いて、算出部２３は差分画像から左右の瞳孔位置を特定する。具体的には、算出部２３は、前フレームと輝度が大きく変化しないことを利用して、前フレームで検出された瞳孔の輝度平均を利用して、その平均輝度の半分の値を閾値として差分画像を２値化し、ラベリングを行う。続いて、算出部２３は、瞳孔らしい面積、サイズ、面積比、正方形度、および瞳孔特徴量等の形状パラメータに基づいて、ラベルづけされた画素の連結成分の中から瞳孔を選択し、左右の瞳孔中心の座標（位置）を算出する。
【0039】
（左右の瞳孔の３次元座標の算出）
続いて、算出部２３は左右の瞳孔中心の３次元座標を求める。具体的には、算出部２３はステレオ法を用いて、２つのカメラ１０から取得した差分画像を用いて算出した左右の瞳孔中心の座標から、左右の瞳孔中心の３次元位置をそれぞれ計算する。ステレオ法とは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータとを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに、画像中の点の座標を基に、内部パラメータおよび外部パラメータを用いてその点の空間上の位置を決定する方法である。具体的には、算出部２３は、２台のカメラ１０からの画像データを基に検出した画像座標系における瞳孔中心の座標と、３次元空間内の世界座標系における瞳孔中心の座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、算出部２３は、関係式から世界座標系における対象者Ａの瞳孔中心の３次元座標を求める。
続いて、算出部２３は左右の瞳孔中心の３次元座標を求める。具体的には、算出部２３はステレオ法を用いて、２つのカメラ１０から取得した差分画像を用いて算出した左右の瞳孔中心の座標から、左右の瞳孔中心の３次元位置をそれぞれ計算する。ステレオ法とは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータとを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに、画像中の点の座標を基に、内部パラメータおよび外部パラメータを用いてその点の空間上の位置を決定する方法である。具体的には、算出部２３は、２台のカメラ１０からの画像データを基に検出した画像座標系における瞳孔中心の座標と、３次元空間内の世界座標系における瞳孔中心の座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、算出部２３は、関係式から世界座標系における対象者Ａの瞳孔中心の３次元座標を求める。
【0040】
（光軸の算出）
算出部２３は、左右の瞳孔中心の３次元座標、差分画像上における瞳孔中心の位置、及び差分画像上における角膜反射の位置に基づいて光軸を算出する。なお、算出部２３は、左右の眼のいずれか眼の瞳孔中心の位置、及び左右の眼のいずれか眼の角膜反射の位置に基づいて、その眼の光軸を検出してもよいし、左右の眼の両方の瞳孔中心の位置、及び左右の眼の両方の角膜反射の位置に基づいて、両方の眼の光軸を検出してもよい。以降では、いずれか一方の眼の光軸を検出することを例に説明する。
算出部２３は、左右の瞳孔中心の３次元座標、差分画像上における瞳孔中心の位置、及び差分画像上における角膜反射の位置に基づいて光軸を算出する。なお、算出部２３は、左右の眼のいずれか眼の瞳孔中心の位置、及び左右の眼のいずれか眼の角膜反射の位置に基づいて、その眼の光軸を検出してもよいし、左右の眼の両方の瞳孔中心の位置、及び左右の眼の両方の角膜反射の位置に基づいて、両方の眼の光軸を検出してもよい。以降では、いずれか一方の眼の光軸を検出することを例に説明する。
【0041】
図６に示すように、瞳孔中心の３次元位置Ｐに基づいて、カメラ１０の開口部１２の中心を原点Ｏとし、その原点Ｏと瞳孔中心Ｐを結ぶ基準線ＯＰを法線とする仮想視点平面Ｘ’－Ｙ’を考える。この仮想視点平面Ｘ’－Ｙ’は、カメラ１０で捉えられる画像の投影面（画像面）に対応する。ここで、Ｘ’軸は、世界座標系のＸＷ－ＺＷ平面と仮想視点平面との交線に相当する。
【0042】
算出部２３は、画像面ＳＧにおける角膜反射Ｇから瞳孔中心ＰまでのベクトルｒＧを算出し、そのベクトルｒＧを、距離ＯＰから求められたカメラの拡大率を用いて実寸に換算したベクトルｒに変換する。このとき、各カメラ１０をピンホールモデルと考え、角膜反射Ｇと瞳孔中心Ｐとが、仮想視点平面Ｘ’－Ｙ’と平行な平面上にあると仮定する。つまり、算出部２３は、仮想視点平面と平行であって瞳孔中心Ｐの３次元座標を含む平面上において、瞳孔中心Ｐと角膜反射点Ｇの相対座標をベクトルｒとして算出し、このベクトルｒは角膜反射点Ｇから瞳孔中心Ｐまでの実距離を表す。
【0043】
続いて、算出部２３は、対象者Ａの仮想視点平面上の光軸との交点Ｔ’に関して、直線ＯＴ’の水平軸Ｘ’に対する傾きφが、ベクトルｒの画像面上の水平軸ＸＧに対する傾きφ’と等しいと仮定する。さらに、算出部２３は、対象者Ａの光軸のベクトル、すなわち、瞳孔中心Ｐと交点Ｔ’とを結ぶベクトルＰＴ’と、基準線ＯＰとの成す角θを、ゲイン値ｋを含むパラメータを使った下記式（１）により計算する。
θ＝ｆ１（ｒ）＝ｋ×｜ｒ｜ …（１）
θ＝ｆ１（ｒ）＝ｋ×｜ｒ｜ …（１）
【0044】
このような角度φ，θの計算は、瞳孔中心Ｐの存在する平面上のベクトルｒを仮想視点平面上で拡大したものがそのまま対象者Ａの光軸との交点Ｔ’に対応するとみなすことにより行われる。より詳しくは、対象者Ａの光軸のベクトルＰＴ’の基準線ＯＰに対する角度θは、瞳孔中心と角膜反射の距離｜ｒ｜との間で線形関係を有すると仮定する。
【0045】
角度θと距離｜ｒ｜とは線形近似できるという仮定、および二つの傾きφ，φ’が等しいという仮定を利用することで、（θ，φ）と（｜ｒ｜，φ’）とを１対１に対応させることができる。そして、算出部２３は、算出した（θ，φ）を基に、対象者Ａの光軸のベクトルＰＴ’を得ることができる。
【0046】
（光軸と視軸との間のずれ角度ベクトルの算出）
算出部２３によるずれ角度ベクトルの算出手順を説明する前に、ずれ角度ベクトルの算出の必要性について説明する。
算出部２３によるずれ角度ベクトルの算出手順を説明する前に、ずれ角度ベクトルの算出の必要性について説明する。
【0047】
光源１３とカメラ１０が実質的に同じ位置にある場合は、例えば対象者Ａがそのカメラ１０のほうを見たときは眼球の対称性があれば、そのカメラ１０によって取得された画像においては瞳孔の中央に角膜反射が映るはずである。しかし、実際には対象者Ａの眼において光軸と視軸とはずれが生じるのが一般的である。このような光軸と視軸とのずれは、個人間あるいは左右の眼球間で異なる。つまり、対象者Ａの仮想視点平面上の注視点をＴとした場合に、視軸のベクトルＰＴは、光軸のベクトルＰＴ’からずれることとなる（図６）。
【0048】
従来の視線検出装置では、対象者Ａが規定点を見た際に算出される光軸が視軸に一致するようにベクトルｒを補正するための補正ベクトルｒ０を算出し、画像上で検出したベクトルｒ’を、下記式；
ｒ＝ｒ’－ｒ０
で補正し、補正したベクトルｒを用いて視軸のベクトルＰＴを検出していた。
ｒ＝ｒ’－ｒ０
で補正し、補正したベクトルｒを用いて視軸のベクトルＰＴを検出していた。
【0049】
しかしながら、対象者Ａに対していったん補正ベクトルｒ０を決定した場合であっても、装置に対して対象者Ａの頭部が視線を同じ方向に向けながら左右方向に傾いた（以下、「側屈」という。）場合に、視軸と光軸との間のずれ方向が変化するため正確に光軸から視軸を検出することができない。具体的には、図７（ａ）に示すように、補正ベクトルｒ０を算出した時の対象者Ａの側屈の傾きと視軸検出時の側屈の傾きが同一の場合には、両眼のそれぞれにおいて光軸と視軸のずれが正しく補正されるために両眼において検出された視軸がディスプレイ装置３０上の注視点Ｑにおいて一致する。一方で、図７（ｂ）に示すように、補正ベクトルｒ０を算出した時の対象者Ａの側屈の傾きから視軸検出時の側屈の傾きが変化した場合には、光軸と視軸とのずれの方向も視軸（光軸）周りに変化するために補正ベクトルｒ０をそのまま使った場合には両眼において検出された視軸が注視点Ｑに一致しない。
【0050】
本実施形態では、光軸（あるいは視軸）方向から見た対象者Ａの側屈の傾きを基に、光軸に対する視軸のずれる方向を光軸周りに変化させることで視軸の検出精度を上げようとするものである。ただし、単純にカメラ１０によって得られた画像上の対象者Ａの左右の眼の位置から対象者Ａの側屈の傾きを得るのは限界がある。つまり、カメラ１０によって対象者Ａの視線方向に対して斜め方向から（例えば、上下にずれた方向から）対象者の眼部の２次元画像を取得した場合には、２次元画像において、対象者Ａの側屈の状態と対象者Ａが視線方向に垂直な方向を軸に回転（以下、単に「回転」という。）した状態を区別することが困難となる。
【0051】
【0052】
図８に示すように、対象者Ａの前方に２台のカメラ１０Ｒ，１０Ｌが設置してあり、対象者Ａが左カメラ１０Ｌを注視しており、左カメラ１０Ｌから見て対象者Ａの頭部の側屈の傾きはなく左の瞳孔ＰＬと右の瞳孔ＰＲとが水平線上に位置している状態を想定する。このとき対象者Ａの左の瞳孔ＰＬに着目すると、視軸Ｖが瞳孔ＰＬの中心及び左カメラ１０Ｌを通ることになる。画像処理装置２０の算出部２３によって検出されるのは瞳孔ＰＬの光軸Ｅであり、光軸Ｅに対する視軸Ｖのずれは、左カメラ１０Ｌを通り視軸Ｖに垂直な平面として仮想平面ＶＰ１を設定すると、光軸Ｅと視軸Ｖとのなす角度（ずれ角度）Δθ０と、光軸Ｅと視軸Ｖの仮想平面ＶＰ１上の２つの交点を結ぶ直線ＬＮ１の仮想平面ＶＰ１上での傾き（ずれ方向）Δφ０とで表現することができる。言い換えれば、傾き（ずれ方向）Δφ０は、２台のカメラ１０Ｌ，１０Ｒと瞳孔ＰＬとを通る平面ＰＬＡ１と、光軸Ｅと視軸Ｖとの両方を含む平面ＰＬＡ２とのなす角度でもある。このとき、右の瞳孔ＰＲも平面ＰＬＡ１上に位置している。この傾きΔφ０の基準線は特定のものには限定されないが、例えば２つのカメラ１０Ｌ，１０Ｒを結ぶ水平軸ＬＮ０とすることができる。本実施形態では、光軸Ｅに対する視軸Ｖのずれが、角度ベクトル（ずれ角度ベクトル）Ｖθ＝（Δθ０，Δφ０）で表現される。本実施形態では、視軸Ｖを仮想平面ＶＰ１を基準とした角度ベクトルＶθＶで表し、光軸Ｅを仮想平面ＶＰ１を基準とした角度ベクトルＶθＥで表した場合に、ＶθＶ＝ＶθＥ －Ｖθと表せて、ｖθを角度ベクトル（ずれ角度ベクトル）Ｖθ＝（Δθ０，Δφ０）として定義する。そして、本実施形態では、後述するように、角度ベクトルＶθのうちの値Δφ０を対象者Ａの側屈の状態に応じて補正しようとするものである。
【0053】
ここで、対象者Ａの頭部が回転して対象者Ａの右の瞳孔ＰＲが平面ＰＬＡ１上で移動したことを考えると、対象者Ａの側屈は生じないため、光軸Ｅに対する視軸Ｖのずれは変化しない。それとともに、カメラ１０Ｌから見た２次元画像における左の瞳孔ＰＬに対する右の瞳孔ＰＲの水平軸ＬＮ０からの高さは変化しない。
【0054】
一方で、図９に示すように、対象者Ａの側屈の傾きが左に傾くように変化して左の瞳孔ＰＬの位置がそのままで右の瞳孔ＰＲが視軸Ｖ周りに角度α２だけ回転した状態を想定する。この場合、光軸Ｅは視軸Ｖ周りに側屈の傾きの変化角度α２だけ回転する。その結果、算出部２３の検出する角度ベクトルＶθ＝（Δθ０，Δφ０＋α２）となる。つまり、図８の状態を基準とした場合は、基準となる対象者Ａの頭部姿勢におけるカメラ１０Ｌと左右の瞳孔ＰＬ，ＰＲとを含む平面ＰＬＡ１と、頭部の側屈状態の変化後の平面ＰＬＡ３とのなす角度が、視軸Ｖ周りの光軸Ｅの回転角度となる。このとき、カメラ１０Ｌから見た２次元画像において、左の瞳孔ＰＬに対する右の瞳孔ＰＲの水平軸ＬＮ０からの高さが変化するため、２次元画像上で左の瞳孔ＰＬに対する右の瞳孔ＰＲの回転角度を算出すれば角度α２を検出することができ、その結果、角度ベクトルＶθ＝（Δθ０，Δφ０＋α２）を正しく計算することができる。
【0055】
さらに、対象者Ａが右カメラ１０Ｒを注視した場合も同様に考えることができ、２つの瞳孔ＰＬ，ＰＲと２台のカメラ１０Ｌ，１０Ｒとが同一平面上にある場合は、光軸Ｅの視軸Ｖ周りの回転は生じない。従って、左の瞳孔ＰＬに関しては、右カメラ１０Ｒをあるいは左カメラ１０Ｌのいずれかの２次元画像を用いて、左瞳孔ＰＬの視軸Ｖを中心に右の瞳孔ＰＲが回転した角度を計測し、それを基に角度ベクトルＶθを計算することができる。右の瞳孔ＰＲに関しても、同様に２次元画像を用いて角度ベクトルＶθを計算することができる。
【0056】
次に、図１０に示すように、図８に示す状態から対象者Ａの視軸Ｖに対してカメラ１０Ｌ，１０Ｒをカメラ１０Ｌ，１０Ｒを結ぶ線を平行に保ったまま下方に移動させた場合を想定する。図１０には、移動させる前のカメラの位置を符号１０Ｌ’，１０Ｒ’で示している。この場合はカメラ１０Ｌ，１０Ｒの高さに対して視軸Ｖを上方に変化させたのと同じ状態と考えることができる。
【0057】
最初に、元のカメラの位置１０Ｌ’，１０Ｒ’及び左の瞳孔ＰＬを含む平面ＰＬＡ１上に右の瞳孔ＰＲが位置しており、その後、対象者Ａの頭部が回転した結果、右の瞳孔ＰＲが平面ＰＬＡ１上を左カメラ１０Ｌから見て後方に移動して瞳孔ＰＲ’の位置となったことを考える。このとき、右の瞳孔ＰＲ’は、もはや２つのカメラ１０Ｌ，１０Ｒと左の瞳孔ＰＬを含む平面ＰＬＡ４上には存在しないことになる。このことは、左カメラ１０Ｌから見れば、対象者Ａの頭部の回転の状態と図９に示したような対象者Ａの頭部の側屈の傾きとを区別することはできないことを意味する。このように、カメラ１０Ｌ，１０Ｒによって撮像した２次元画像のみでは、対象者Ａの視軸Ｖ周りの光軸Ｅの回転角度を検出することは困難である。
【0058】
そこで、本実施形態に係る算出部２３は、以下のようにして、光軸と視軸との間の角度ベクトルＶθを補正して算出する。
【0059】
すなわち、図１１に示すように、算出部２３は、対象者Ａにディスプレイ装置３０に表示された較正用の規定点（視標）ＰＯを注視させた状態で、左右の瞳孔（眼の特徴点）ＰＬ，ＰＲの３次元位置と、左の瞳孔ＰＬの光軸Ｅ０を算出する。次に、算出部２３は、光軸Ｅ０に垂直な仮想平面ＶＰ０を設定し、光軸Ｅ０と、規定点ＰＯ及び左の瞳孔ＰＬの位置によって決まる視軸Ｖ０とを基に、角度ベクトルの初期値Ｖθ＝（Δθ０，Δφ０）を較正する。ここで、仮想平面ＶＰ０の横軸は、仮想平面ＶＰ０と世界座標系のＸＷ－ＺＷ平面と交線に相当する（以下、別の仮想平面においても同じ）。さらに、算出部２３は、基準線である光軸Ｅ０に沿った方向から見たときの左右の瞳孔ＰＬ，ＰＲの３次元座標を結ぶ線の傾き（傾きの初期値）α０を算出する。この傾きα０が、光軸Ｅ０周りの右の瞳孔ＰＲの回転角度である。具体的には、算出部２３は、左右の瞳孔ＰＬ，ＰＲの３次元座標のそれぞれを仮想平面ＶＰ０上に投影することによって仮想平面ＶＰ０上に座標変換される投影点ＰＪＬ，ＰＪＲに関して、仮想平面ＶＰ０上の水平線からの２つの投影点ＰＪＬ，ＰＪＲを結ぶ線の傾きを求めることによって、左右の瞳孔ＰＬ，ＰＲの３次元座標を結ぶ線の傾きα０を算出する。なお、算出部２３は、算出した視軸Ｖ０に沿った基準線の方向から見たときの左右の瞳孔ＰＬ，ＰＲの３次元座標を結ぶ線の傾きを算出してもよい。
【0060】
さらに、算出部２３は、対象者Ａの視軸を実際に算出するタイミングにおいて、左右の瞳孔ＰＬ，ＰＲの３次元位置と、左の瞳孔ＰＬの光軸Ｅ１を算出する。次に、算出部２３は、光軸Ｅ１に垂直な仮想平面ＶＰ２をあらためて設定する。さらに、算出部２３は、基準線である光軸Ｅ１に沿った方向から見たときの左右の瞳孔ＰＬ，ＰＲの３次元座標を結ぶ線の傾き（傾きの実測値）α１を算出する。具体的には、算出部２３は、左右の瞳孔ＰＬ，ＰＲの３次元座標のそれぞれを仮想平面ＶＰ２上に投影することによって仮想平面ＶＰ２上に座標変換される投影点ＰＪＬ，ＰＪＲに関して、仮想平面ＶＰ２上の水平線からの２つの投影点ＰＪＬ，ＰＪＲを結ぶ線の傾きを求めることによって、左右の瞳孔ＰＬ，ＰＲの３次元座標を結ぶ線の傾きα１を算出する。なお、算出部２３は、角度ベクトルの初期値Ｖθ＝（Δθ０，Δφ０）と光軸Ｅ１とを基にいったん算出した視軸に沿った方向を基準線として、その基準線から見た左右の瞳孔ＰＬ，ＰＲの３次元座標を結ぶ線の傾きを算出してもよい。
【0061】
そして、算出部２３は、算出した左右の瞳孔ＰＬ，ＰＲの３次元座標を結ぶ線の傾きα１を基に、角度ベクトルＶθの初期値を視軸算出のための角度ベクトルＶθに補正する。具体的には、算出部２３は、傾きα１から傾きα０を減算し、その減算値（α１－α０）を基に角度ベクトルＶθの傾きの初期値Δφ０を、下記式によって補正する。
Δφ＝Δφ０＋（α１－α０）
このようにして、算出部２３は、視軸を検出する際に用いる角度ベクトルＶθ＝（Δθ０，Δφ）を決定する。なお、対象者Ａに較正用の規定点ＰＯを注視させた状態での傾きα０及び角度ベクトルＶθの初期値Δθ０，Δφ０の算出は、最初の視軸検出時に一度実行されればよく、それらの値がその後の複数回の視軸の検出時に繰り返し用いられてもよい。
Δφ＝Δφ０＋（α１－α０）
このようにして、算出部２３は、視軸を検出する際に用いる角度ベクトルＶθ＝（Δθ０，Δφ）を決定する。なお、対象者Ａに較正用の規定点ＰＯを注視させた状態での傾きα０及び角度ベクトルＶθの初期値Δθ０，Δφ０の算出は、最初の視軸検出時に一度実行されればよく、それらの値がその後の複数回の視軸の検出時に繰り返し用いられてもよい。
【0062】
図１２を参照して、算出部２３による角度ベクトルＶθの初期値及び左右の瞳孔ＰＬ，ＰＲの３次元座標を結ぶ線の傾きの算出方法の詳細について説明する。
【0063】
算出部２３は、規定点ＰＯを対象者に注視させた際に得られる視軸Ｖと光軸Ｅとのなす角を計算することにより、なす角度の初期値Δθ０を検出できる。また、算出部２３は、視軸の検出対象の左の瞳孔ＰＬと２台のカメラ１０Ｌ，１０Ｒとを通る平面ＰＬＡ４の法線ベクトルＮＳ１と光軸Ｅとの外積ベクトルに対して平行であって、左の瞳孔を通る直線ＬＮ２を設定し、その直線ＬＮ２の周りに平面ＰＬＡ４を角度η回転させた面を平面ＰＬＡ１と設定する。この角度ηは、平面ＰＬＡ４と光軸Ｅとのなす角として求められる。このようにして設定される平面ＰＬＡ１は、基準線である光軸Ｅを含み、直線ＬＮ２に沿った基準平面である。そして、算出部２３は、平面ＰＬＡ１の法線ベクトルＮＳ２と視軸Ｖと光軸Ｅとを含む平面ＰＬＡ２の法線ベクトルＮＰとのなす角を計算することにより、傾きの初期値Δφ０を検出できる。
【0064】
また、算出部２３は、左右の瞳孔ＰＬ，ＰＲの３次元座標を結ぶ線の傾きα０，α１を、平面ＰＬＡ１に対する、左右の瞳孔ＰＬ，ＰＲと光軸Ｅとを含む平面（顔方向平面）のなす角（傾き）を計算することで得ることができる。具体的には、算出部２３は、平面ＰＬＡ１の法線ベクトルＮＳ２と顔方向平面の法線ベクトルとの間のなす角を計算する。
【0065】
（視軸及び注視点の算出）
【0066】
算出部２３は、計算によって求めた光軸Ｅを、上記の手法で補正した角度ベクトルＶθを用いて補正することによって、視軸ＶをベクトルＰＴとして求める。さらに、算出部２３は、視軸Ｖと視対象平面（ディスプレイ装置３０）との交点である注視点Ｑを次式で求める。
Ｑ＝ｎＰＴ＋Ｐ
Ｑ＝ｎＰＴ＋Ｐ
【0067】
以上説明した視線検出装置１、及びそれを用いた視線検出方法によれば、対象者Ａの左右の瞳孔の画像を基に、左右の瞳孔の３次元位置及び左右の眼のいずれかの光軸Ｅが算出され、光軸を予め設定されるずれ角度及びずれ方向に補正することによって視軸Ｖが算出される。その際、対象者Ａの視軸あるいは光軸に沿った方向から見た対象者Ａの左右の瞳孔の間の傾きが算出され、視軸を算出するためのずれ方向がその傾きによって補正される。これにより、対象者Ａの両眼の注視点の位置の関係にかかわらず視線を安定して検出することができるとともに、カメラ１０の性能、あるいは、対象者Ａの眼部のカメラに対する向きに関係なく、視線を精度よく検出することができる。
【0068】
ここで、画像処理装置２０の算出部２３は、２つの平面の傾きを計算することで左右の瞳孔の３次元座標を結ぶ線の傾きとして算出している。このようにすることで、対象者Ａの視線あるいは光軸に沿った方向から見た対象者Ａの左右の瞳孔の傾きが簡易に算出できるので、視線検出のための演算量を削減することができる。さらには、算出部２３は、２つの平面の法線の傾きを計算することで左右の瞳孔の３次元座標を結ぶ線の傾きとして算出している。このようにすることで、対象者Ａの視線あるいは光軸に沿った方向から見た対象者Ａの左右の瞳孔の傾きが一層簡易に算出できるので、視線検出のための演算量をさらに削減することができる。
【0069】
また、算出部２３は、予め設定された位置の視標を対象者Ａに見させた際の左右の瞳孔の３次元座標及び光軸を基に、光軸に対する視軸のずれ方向の初期値及び左右の瞳孔の３次元座標を結ぶ線の傾きの初期値を算出している。その後、算出部２３は、視線を検出する際に、対象者Ａの瞳孔の３次元座標及び光軸を基に傾きの実測値を算出し、傾きの実測値から傾きの初期値を減算した値を基にずれ方向の初期値を補正し、補正後のずれ方向の初期値を用いて視線を算出している。この場合、視標を用いてずれ方向及び傾きの初期値が正確に算出でき、その後の傾きの実測値を基に視線が正確に算出できる。
【0070】
また、本実施形態では２台のカメラ１０Ｌ，１０Ｒを用いている。このような構成により、左右の瞳孔の３次元座標が簡易な構成で算出でき、視線の検出が簡易な構成で実現できる。
【0071】
ここで、本実施形態に係る視線検出装置１による視線検出の効果を具体的に説明する。
【0072】
図１３には、視線検出装置１を用いた実験結果を示している。実験においては、カメラ１０として１６ｍｍレンズおよび可視光カットフィルタを備えるデジタルカメラを用い、光源１３として中心波長８５０ｎｍの近赤外線ＬＥＤ光源と中心波長９４０ｎｍの近赤外線ＬＥＤ光源とを用い、ディスプレイ装置３０には１９インチディスプレイを用いた。実験の対象者として被験者Ａ～Ｅの５名をディスプレイ装置３０の画面正面から約８０ｃｍの位置に座らせ、画面上の５行５列で均等に配置された位置に視標２５点を順番に表示させ１点ずつ注視させた。その上で、視線検出装置１を動作させて注視点を検出し、検出結果から平均視角誤差［ｄｅｇ］を計測した。図１３（ａ）には、各被験者Ａ～Ｅ及び被験者全体の平均の左眼に関する平均視角誤差を示し、図１３（ｂ）には、各被験者Ａ～Ｅ及び被験者全体の平均の右眼に関する平均視角誤差を示している。それぞれの測定結果においては、被験者Ａ～Ｅの頭部の傾き（側屈の傾き）が発生しない場合と、被験者Ａ～Ｅの頭部の傾きがあって角度ベクトルＶθの補正処理を動作させていない場合と、被験者Ａ～Ｅの頭部の傾きがあって角度ベクトルＶθの補正処理を動作させている場合とにおける結果を分けて示している。
【0073】
この結果より、頭部の傾きが発生しない場合の左眼の平均視角誤差が０．９０±０．３３ｄｅｇ、右眼の平均視角誤差が１．１０±０．４１ｄｅｇであり、頭部の傾きがあって補正処理を動作させていない場合の左眼の平均視角誤差が１．５８±０．６１ｄｅｇ、右眼の平均視角誤差が１．７３±０．５９ｄｅｇであり、頭部の傾きがあって補正処理を動作させている場合の左眼の平均視角誤差が０．９５±０．５７ｄｅｇ、右眼の平均視角誤差が１．２２±０．６２ｄｅｇであった。このように、補正なしの場合に対して補正ありの場合は左眼で約３０．９％、右眼で約２７．６％ほど誤差が軽減されていることがわかった。また、補正ありの場合の結果は頭部の傾きがない場合の結果とほぼ同程度であった。なお、補正の効果が対象者によって異なっているが、本実施形態の方法は視軸と光軸とのずれを補正するものであるため、視軸と光軸とのずれが大きい被験者のほうが誤差軽減の効果が大きいためと思われる。
【0074】
本発明は、上述した実施形態に限定されるものではない。例えば、上記実施形態では、カメラ１０として２台のカメラ１０Ｌ，１０Ｒを含むステレオカメラを用いていたが、ＴＯＦ（Time-of-Flight）カメラのような１台のカメラで対象者Ａの瞳孔の３次元座標を検出可能なカメラを用いてもよい。また、ＴＯＦカメラを用いなくても、１台のカメラで対象者Ａの２つの瞳孔ＰＬ，ＰＲに含めて鼻孔等の対象者Ａの他の特徴点を撮像し、その結果得られた３点の画像上の位置を用いて２つの瞳孔ＰＬ，ＰＲの３次元位置を検出する構成であってもよい。
【0075】
また、上記実施形態では、対象者Ａの左右の眼の特徴点として、左右の瞳孔ＰＬ，ＰＲを用いて視軸を計算しているがこれに限定されるものではなく、瞳孔の代わりに、左右の眼の特徴点として、目頭、目尻、虹彩、角膜球、あるいは角膜反射のうちのいずれか、あるいはこれらの組み合わせを検出してもよい。
【0076】
例えば、算出部２３は、瞳孔中心、虹彩中心、あるいは角膜球中心を検出してもよいし、それらの端部を検出してもよい。角膜球中心は、角膜半径を予め与えておくことで検出することができる。角膜球の表面で反射する位置を検出してもよい。
【0077】
算出部２３は、目頭、目尻等のそのものの特徴点の３次元座標を求めてもよいし、両方の中点の３次元座標を求めてもよい。さらに、両目の目頭、目尻の計４点の位置を基に最小二乗法で求めた直線の傾きを計算してもよい。さらに、眼画像中の黒い部分を眼部として検出し、それら輝度重心を特徴点の位置として検出してもよい。
【0078】
また、上記実施形態では、対象者Ａの左右の眼の特徴点の代わりに対象者Ａの左右の眼の周辺部の特徴点の３次元座標を検出して、それらの３次元座標を基に対象者Ａの側屈の傾きの角度を算出してもよい。このような眼の周辺部としては、両眼中点、眉間、眉毛、鼻孔、鼻の先端、鼻の周囲、口角、口の中心のうちのいずれか、あるいはこれらの組み合わせが例示される。対象者Ａの眼の周辺部の特徴点として、鼻の先端、眉間、口の中心等を検出する場合には、算出部２３は、左右の瞳孔をつなぐ直線を水平線として考えたとき、水平線に対して垂直であって特徴点を通る線を代わりに求めて、この線を含む顔方向平面を対象に傾きを計算することができる。
【符号の説明】
【0079】
Ａ…対象者、１…視線検出装置、１０，１０Ｌ，１０Ｒ…カメラ、１３…光源、２０…画像処理装置、２１…点灯制御部、２２…画像取得部、２３…算出部、Ｅ，Ｅ０，Ｅ１…光軸、ＰＬ，ＰＲ…瞳孔、ＰＯ…規定点（視標）、Ｑ…注視点、Ｖ，Ｖ０…視軸、Ｖθ…角度ベクトル、Δθ０…ずれ角度、Δφ０…ずれ方向。
【図1】
【図2】
【図3】
【図4】
【図5】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】