特開2019-98024(P2019-98024A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 国立大学法人静岡大学の特許一覧
<>
  • 特開2019098024-画像処理装置及び画像処理方法 図000003
  • 特開2019098024-画像処理装置及び画像処理方法 図000004
  • 特開2019098024-画像処理装置及び画像処理方法 図000005
  • 特開2019098024-画像処理装置及び画像処理方法 図000006
  • 特開2019098024-画像処理装置及び画像処理方法 図000007
  • 特開2019098024-画像処理装置及び画像処理方法 図000008
  • 特開2019098024-画像処理装置及び画像処理方法 図000009
  • 特開2019098024-画像処理装置及び画像処理方法 図000010
  • 特開2019098024-画像処理装置及び画像処理方法 図000011
  • 特開2019098024-画像処理装置及び画像処理方法 図000012
  • 特開2019098024-画像処理装置及び画像処理方法 図000013
  • 特開2019098024-画像処理装置及び画像処理方法 図000014
  • 特開2019098024-画像処理装置及び画像処理方法 図000015
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2019-98024(P2019-98024A)
(43)【公開日】2019年6月24日
(54)【発明の名称】画像処理装置及び画像処理方法
(51)【国際特許分類】
   A61B 3/113 20060101AFI20190603BHJP
【FI】
   A61B3/10 B
【審査請求】未請求
【請求項の数】9
【出願形態】OL
【全頁数】19
(21)【出願番号】特願2017-234588(P2017-234588)
(22)【出願日】2017年12月6日
(71)【出願人】
【識別番号】304023318
【氏名又は名称】国立大学法人静岡大学
(74)【代理人】
【識別番号】100088155
【弁理士】
【氏名又は名称】長谷川 芳樹
(74)【代理人】
【識別番号】100124800
【弁理士】
【氏名又は名称】諏澤 勇司
(72)【発明者】
【氏名】海老澤 嘉伸
【テーマコード(参考)】
4C316
【Fターム(参考)】
4C316AA06
4C316AA07
4C316AA21
4C316FA04
4C316FB21
4C316FC28
4C316FZ01
(57)【要約】
【課題】被験者の視線方向を安定して精度よく検出すること。
【解決手段】視線検出装置1は、対象者Aの左右の瞳孔P,P及びそれらの周辺部を撮像することで眼画像を取得するカメラ10と、眼画像を基に左右の瞳孔P,Pのいずれかの光軸を算出し、光軸を予め設定されるずれ角度Δθ及びずれ方向Δφに補正することによって対象者Aの視軸を算出する算出部23とを備え、算出部23は、算出した光軸あるいはいったん算出した視線のいずれかである基準線に沿って見たときの左右の瞳孔P,Pの3次元座標を結ぶ線の傾きを算出し、その傾きを基にずれ方向Δφを補正し、補正後のずれ方向Δφを用いて視軸を算出する。
【選択図】図4
【特許請求の範囲】
【請求項1】
対象者の左右の眼及び該眼の周辺部を撮像することで眼画像を取得する少なくとも1台のカメラと、
前記眼画像を基に前記左右の眼のいずれかの光軸あるいは視線を算出する算出部と、を備え、
前記算出部は、算出した前記光軸あるいは前記視線のいずれかである基準線に沿って見たときの前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きを算出し、前記傾きを基に前記対象者の頭部の傾きの回転角度を算出する、
画像処理装置。
【請求項2】
前記算出部は、前記基準線に沿って見たときの前記頭部の傾きの回転角度を算出する、
請求項1記載の画像処理装置。
【請求項3】
前記算出部は、前記光軸を予め設定されるずれ角度及びずれ方向に補正することによって前記視線を算出し、前記傾きを基に前記ずれ方向を補正し、補正後の前記ずれ方向を用いて前記視線を算出する、
請求項1又は2に記載の画像処理装置。
【請求項4】
前記算出部は、前記基準線を含み所定軸に沿った基準平面と、前記基準線と前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標とを含む顔方向平面とを設定し、前記基準平面に対する前記顔方向平面の傾きを、前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きとして算出する、
請求項1〜3のいずれか1項に記載の画像処理装置。
【請求項5】
前記算出部は、前記基準平面の法線と前記顔方向平面の法線との間の傾きを、前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きとして算出する、
請求項4記載の画像処理装置。
【請求項6】
前記算出部は、予め設定された位置の視標を前記対象者に見させた際の前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標及び前記光軸を基に、前記ずれ方向の初期値及び前記傾きの初期値を算出し、前記視線を検出する際に、前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標及び前記光軸を基に前記傾きの実測値を算出し、前記傾きの実測値から前記傾きの初期値を減算した値を基に前記ずれ方向の初期値を補正し、補正後の前記ずれ方向の初期値を用いて前記視線を算出する、
請求項3に記載の画像処理装置。
【請求項7】
前記眼画像を取得する2台のカメラを備え、
前記算出部は、前記2台のカメラによって取得された前記眼画像を基に、前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を算出する、
請求項1〜6のいずれか1項に記載の画像処理装置。
【請求項8】
前記算出部は、前記左右の眼の特徴点として、瞳孔、目頭、目尻、虹彩、角膜球、あるいは角膜反射のうちのいずれか、前記左右の眼の周辺部の特徴点として、両眼中点、眉間、眉毛、鼻孔、鼻の先端、鼻の周囲、口角、口の中心のうちのいずれかを検出する、
請求項1〜7のいずれか1項に記載の画像処理装置。
【請求項9】
対象者の左右の眼及び該眼の周辺部を撮像することで眼画像を取得する画像取得ステップと、
前記眼画像を基に前記左右の眼のいずれかの光軸あるいは視線を算出する算出ステップと、を備え、
前記算出ステップでは、算出した前記光軸あるいは前記視線のいずれかである基準線に沿って見たときの前記左右の眼の特徴点の3次元座標あるいは前記左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きを算出し、前記傾きを基に前記対象者の頭部の傾きの回転角度を算出する、
画像処理方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人の画像を処理する画像処理装置及び画像処理方法に関する。
【背景技術】
【0002】
近年、近赤外光源等の光源とビデオカメラを使用した視線検出装置が普及しつつある(例えば、下記特許文献1参照)。このような視線検出装置では、「瞳孔−角膜反射法」と呼ばれる検出方法が用いられている。「瞳孔−角膜反射法」とは、ビデオカメラに対する被験者の眼の光軸の向きの変化によりビデオカメラで得られる画像中の瞳孔と角膜反射との位置関係が変化することを用いて、視線方向を検出する方法である。
【0003】
一般に、カメラによって取得される画像によって検出される眼球の光軸(例えば、眼球の対象軸)と、注視点と眼球の中心点(例えば、瞳孔中心、眼球中心)とを通る視軸とには、ずれが存在する。このずれは、個人間あるいは左右の眼球間で異なっている。上記の装置では、被験者の光軸と実際の注視点を通る視軸とのずれとして原点補正ベクトルをあらかじめ計算し、被験者の頭部が傾いたときに原点補正ベクトルの視軸周りの回転角度が被験者の左眼と右眼で同一であるという拘束条件に基づいて、両眼の注視点が所定平面上で近くなるように回転角度を求めることにより原点補正ベクトルを補正し、その原点補正ベクトルを用いて被験者の視線の方向を計算する。
【0004】
一方、原点補正ベクトルを異なる手法で補正が可能な視線検出装置も知られている(下記特許文献2参照。)。この装置においては、被験者の眼を撮像することで得られた瞳孔画像を用いて瞳孔の輪郭を算出し、その輪郭に基づいて被験者の眼球の視軸周りの回転角度を算出し、この回転角度を用いて原点補正ベクトルを補正することを行う。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2015−169959号公報
【特許文献2】特開2016−24616号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、上述した特許文献1に記載の装置では、被験者の両眼の所定平面上における注視点が輻輳開放眼球運動等によって離れた場合、眼球の回転角度の状態が正しく認識できず原点補正ベクトルの補正値の解が安定せず、検出する視線が不安定になる傾向があった。また、上述した特許文献2に記載の装置では、カメラの分解能の影響で瞳孔の輪郭の形状を精度よく検出できなかった場合、または、被験者の眼球がカメラに対して斜めを向いている場合には、眼球の回転角度の算出精度が低下する傾向にあった。
【0007】
本発明は、上記課題に鑑みて為されたものであり、被験者の眼球の回転角度を安定して精度よく検出することが可能な画像処理装置及び画像処理方法を提供することを目的とする。
【課題を解決するための手段】
【0008】
上記課題を解決するため、本発明の一形態に係る画像処理装置は、対象者の左右の眼及び該眼の周辺部を撮像することで眼画像を取得する少なくとも1台のカメラと、眼画像を基に左右の眼のいずれかの光軸あるいは視線を算出する算出部と、を備え、算出部は、算出した光軸あるいは視線のいずれかである基準線に沿って見たときの左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きを算出し、傾きを基に対象者の頭部の傾きの回転角度を算出する。
【0009】
或いは、本発明の他の形態にかかる画像処理方法は、対象者の左右の眼及び該眼の周辺部を撮像することで眼画像を取得する画像取得ステップと、眼画像を基に左右の眼のいずれかの光軸あるいは視線を算出する算出ステップと、を備え、算出ステップでは、算出した光軸あるいは視線のいずれかである基準線に沿って見たときの左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きを算出し、傾きを基に対象者の頭部の傾きの回転角度を算出する。
【0010】
上記形態の画像処理装置或いは画像処理方法によれば、対象者の左右の眼の眼画像を基に左右の眼のいずれかの光軸あるいは視線が算出される。その際、対象者の視線あるいは光軸に沿った方向から見た対象者の左右の眼の特徴点あるいは左右の眼の周辺の特徴点の間の傾きが算出され、その傾きを基に対象者の頭部の傾きの回転角度が求められる。これにより、対象者の両眼の注視点の位置の関係にかかわらず対象者の眼球の回転角度を安定して検出することができるとともに、カメラの性能、あるいは、対象者の眼部のカメラに対する向きに関係なく、対象者の眼球の回転角度を精度よく検出することができる。
【0011】
ここで、算出部は、基準線に沿って見たときの頭部の傾きの回転角度を算出する、こととしてもよい。かかる構成により、基準線に沿って見たときの対象者の眼球の回転角度を精度よく検出することができる。
【0012】
また、算出部は、光軸を予め設定されるずれ角度及びずれ方向に補正することによって視線を算出し、傾きを基にずれ方向を補正し、補正後のずれ方向を用いて視線を算出する、こととしてもよい。こうすれば、対象者の左右の眼の眼画像を基に左右の眼のいずれかの光軸が算出され、光軸を予め設定されるずれ角度及びずれ方向に補正することによって視線が算出される。その際、対象者の視線あるいは光軸に沿った方向から見た対象者の左右の眼の特徴点あるいは左右の眼の周辺部の特徴点の間の傾きが算出され、視線を算出するためのずれ方向がその傾きによって補正される。これにより、対象者の両眼の注視点の位置の関係にかかわらず視線を安定して検出することができるとともに、カメラの性能、あるいは、対象者の眼部のカメラに対する向きに関係なく、視線を精度よく検出することができる。
【0013】
また、算出部は、基準線を含み所定軸に沿った基準平面と、基準線と左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標とを含む顔方向平面とを設定し、基準平面に対する顔方向平面の傾きを、左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きとして算出する、こととしてもよい。この場合、対象者の視線あるいは光軸に沿った方向から見た対象者の左右の眼の特徴点あるいは左右の眼の周辺の特徴点の傾きが簡易に算出できるので、視線検出のための演算量を削減することができる。
【0014】
また、算出部は、基準平面の法線と顔方向平面の法線との間の傾きを、左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標を結ぶ線の傾きとして算出する、こととしてもよい。この場合にも、対象者の視線あるいは光軸に沿った方向から見た対象者の左右の眼の特徴点あるいは左右の眼の周辺部の特徴点の傾きがさらに簡易に算出できるので、視線検出のための演算量をさらに削減することができる。
【0015】
また、算出部は、予め設定された位置の視標を対象者に見させた際の左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標及び光軸を基に、ずれ方向の初期値及び傾きの初期値を算出し、視線を検出する際に、左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標及び光軸を基に傾きの実測値を算出し、傾きの実測値から傾きの初期値を減算した値を基にずれ方向の初期値を補正し、補正後のずれ方向の初期値を用いて視線を算出する、こととしてもよい。この場合には、視標を用いてずれ方向及び傾きの初期値が正確に算出でき、その後の傾きの実測値を基に視線が正確に算出できる。
【0016】
また、眼画像を取得する2台のカメラを備え、算出部は、2台のカメラによって取得された眼画像を基に、左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標を算出する、こととしてもいてもよい。この場合には、左右の眼の特徴点の3次元座標あるいは左右の眼の周辺部の特徴点の3次元座標が簡易な構成で算出でき、視線の検出が簡易な構成で実現できる。
【0017】
また、算出部は、左右の眼の特徴点として、瞳孔、目頭、目尻、虹彩、角膜球、あるいは角膜反射のうちのいずれか、左右の眼の周辺部の特徴点として、両眼中点、眉間、眉毛、鼻孔、鼻の先端、鼻の周囲、口角、口の中心のうちのいずれかを検出する、こととしてもよい。
【発明の効果】
【0018】
本発明によれば、被験者の眼球の回転角度を安定して精度よく検出することができる。
【図面の簡単な説明】
【0019】
図1】実施形態に係る視線検出装置を示す斜視図である。
図2】カメラのレンズ部分を示す平面図である。
図3】実施形態に係る画像処理装置のハードウェア構成を示す図である。
図4】実施形態に係る視線検出装置の機能構成を示すブロック図である。
図5】実施形態に係る視線検出装置の基本動作を示すフローチャートである。
図6】視線の検出を説明するための図である。
図7】従来装置におけるディスプレイ装置上の注視点の検出状態を示す図である。
図8】カメラ10によって取得される2次元画像における対象者Aの瞳孔の検出状態を示す図である。
図9】カメラ10によって取得される2次元画像における対象者Aの瞳孔の検出状態を示す図である。
図10】カメラ10によって取得される2次元画像における対象者Aの瞳孔の検出状態を示す図である。
図11】算出部23による光軸と視軸との間の角度ベクトルVθを補正するイメージを示す図である。
図12】算出部23による角度ベクトルVθの初期値及び左右の瞳孔P,Pの3次元座標を結ぶ線の傾きの算出イメージを示す図である。
図13】視線検出装置1を用いた実験結果を示すグラフである。
【発明を実施するための形態】
【0020】
以下、図面を参照しつつ本発明に係る画像処理装置及び画像処理方法の好適な実施形態について詳細に説明する。なお、図面の説明においては、同一又は相当部分には同一符号を付し、重複する説明を省略する。
【0021】
[視線検出装置の構成]
まず、図1〜4を用いて、実施形態に係る画像処理装置である視線検出装置1の構成を説明する。視線検出装置1は、対象者の眼を撮像することで対象者の視線方向を検出するコンピュータシステムであり、この装置により、本実施形態に係る視線検出方法が実施される。対象者とは、視線方向を検出する対象となる人であり、被験者ともいうことができる。視線検出装置1および視線検出方法の利用目的は何ら限定されず、例えば、よそ見運転の検出、運転者のサイドミラーやルームミラーの安全確認動作の確認、運転者の眠気の検出、商品の興味の度合いの調査、アミューズメント装置等に利用されるコンピュータへのデータ入力、乳幼児の自閉症診断等の診断用装置などに視線検出装置1を利用することができる。
【0022】
図1に模式的に示すように、視線検出装置1は、ステレオカメラとして機能する一対のカメラ10と画像処理装置20とを備える。以下では、必要に応じて、一対のカメラ10を、対象者Aの左側にある左カメラ10と、対象者Aの右側にある右カメラ10とに区別する。本実施形態では、視線検出装置1は、対象者Aが見る対象であるディスプレイ装置30をさらに備えるが、視線検出装置1の利用目的は上記のように限定されないので、対象者Aの視線の先にある物はディスプレイ装置30に限定されず、例えば自動車のフロントガラスでもあり得る。したがって、ディスプレイ装置30は視線検出装置1における必須の要素ではない。それぞれのカメラ10は画像処理装置20と無線または有線により接続され、カメラ10と画像処理装置20との間で各種のデータまたは命令が送受信される。各カメラ10に対しては予めカメラ較正が行われる。
【0023】
カメラ10は対象者Aの左右の眼およびそれらの周辺部を含む部分を撮影するために用いられる。一対のカメラ10は水平方向に沿って所定の間隔をおいて配され、かつ、対象者Aが眼鏡をかけているときの顔画像における反射光の写り込みを防止する目的で対象者Aの顔より低い位置に設けられる。水平方向に対するカメラ10の仰角は、瞳孔の確実な検出と対象者Aの視野範囲の妨げの回避との双方を考慮して、例えば20〜35度の範囲に設定される。個々のカメラ10に対しては予めカメラ較正が行われる。
【0024】
本実施形態では、カメラ10は、インターレーススキャン方式の一つであるNTSC方式のカメラである。NTSC方式では、1秒間に30枚得られる1フレームの画像データは、奇数番目の水平画素ラインで構成される奇数フィールドと、偶数番目の水平画素ラインで構成される偶数フィールドから構成され、奇数フィールドの画像と偶数フィールドの画像とが1/60秒の間隔で交互に撮影されることで生成される。したがって、一つのフレームは、一対の奇数フィールドおよび偶数フィールドに相当する。カメラ10は、画像処理装置20からの命令に応じて対象者Aを撮像し、画像データを画像処理装置20に出力する。
【0025】
カメラ10のレンズ部分を図2に模式的に示す。この図に示すように、カメラ10では、対物レンズ11が円形状の開口部12に収容され、開口部12の外側に光源13が取り付けられている。光源13は、対象者Aの眼に向けて照明光を照射するための機器であり、複数の発光素子13aと複数の発光素子13bとから成る。発光素子13aは、出力光の中心波長が850nmの半導体発光素子(LED)であり、開口部12の縁に沿って等間隔でリング状に配される。発光素子13bは、出力光の中心波長が940nmの半導体発光素子であり、発光素子13aの外側に等間隔でリング状に配される。したがって、カメラ10の光軸から発光素子13bまでの距離は、該光軸から発光素子13aまでの距離よりも大きい。それぞれの発光素子13a,13bは、カメラ10の光軸に沿って照明光を出射するように設けられる。なお、光源13の配置は図2に示す構成に限定されず、カメラをピンホールモデルとみなすことができれば他の配置であってもよい。光源13は、画像処理装置20からの命令に応じたタイミングで照明光を出射する。
【0026】
画像処理装置20は、カメラ10、及び光源13の制御と、対象者Aの視線方向の検出とを実行するコンピュータである。画像処理装置20は、据置型または携帯型のパーソナルコンピュータ(PC)により構築されてもよいし、ワークステーションにより構築されてもよいし、他の種類のコンピュータにより構築されてもよい。あるいは、画像処理装置20は複数台の任意の種類のコンピュータを組み合わせて構築されてもよい。複数台のコンピュータを用いる場合には、これらのコンピュータはインターネットやイントラネットなどの通信ネットワークを介して接続される。
【0027】
画像処理装置20の一般的なハードウェア構成を図3に示す。画像処理装置20は、オペレーティングシステムやアプリケーション・プログラムなどを実行するCPU(プロセッサ)101と、ROMおよびRAMで構成される主記憶部102と、ハードディスクやフラッシュメモリなどで構成される補助記憶部103と、ネットワークカードあるいは無線通信モジュールで構成される通信制御部104と、キーボードやマウスなどの入力装置105と、ディスプレイやプリンタなどの出力装置106とを備える。
【0028】
後述する画像処理装置20の各機能要素は、CPU101または主記憶部102の上に所定のソフトウェアを読み込ませ、CPU101の制御の下で通信制御部104や入力装置105、出力装置106などを動作させ、主記憶部102または補助記憶部103におけるデータの読み出しおよび書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶部102または補助記憶部103内に格納される。
【0029】
図4に示すように、画像処理装置20は機能的構成要素として点灯制御部21、画像取得部22、及び算出部23を備える。点灯制御部21は、光源13の点灯タイミングを制御する。画像取得部22は、カメラ10の撮影タイミングを光源13の点灯タイミングに同期して制御することで、カメラ10から画像データ(眼画像のデータ)を取得する機能要素である。算出部23は、画像データから得られる視線ベクトルに基づいて視軸(視線ともいう)の方向を検出する機能要素である。視軸(視線)とは、対象者の瞳孔中心と該対象者の注視点(対象者が見ている点)とを結ぶ線である。なお、「視軸」という用語は、起点、終点、および方向の意味(概念)を含む。また、「視線ベクトル」とは、対象者の視軸の方向をベクトルで表したもので、「視軸の方向」を表す一形態である。画像処理装置20の検出結果の視軸の方向の出力先は何ら限定されない。例えば、画像処理装置20は判定結果を画像、図形、またはテキストでモニタに表示してもよいし、メモリやデータベースなどの記憶装置に格納してもよいし、通信ネットワーク経由で他のコンピュータシステムに送信してもよい。
【0030】
[視線検出方法の基本動作]
次に、図5及び図6を用いて、視線検出装置1による視線検出方法(画像処理方法)の基本動作について説明する。図5は、視線検出方法の基本動作を示すフローチャート、図6は、視線検出装置1による視線の検出を説明するための図である。
【0031】
まず、点灯制御部21が光源13の点灯タイミングを制御し、そのタイミングに合わせて画像取得部22がそれぞれのカメラ10から明瞳孔画像(眼画像)および暗瞳孔画像(眼画像)を取得する(ステップS11;画像取得ステップ)。続いて、算出部23が、それぞれのカメラ10からの明瞳孔画像及び暗瞳孔画像を対象にして、それぞれのカメラ10の眼画像中の瞳孔中心(眼の特徴点)の位置及び角膜反射の位置を検出する(ステップS12)。そして、算出部23は、対象者Aの左右の瞳孔中心の3次元座標を算出する(ステップS13)。さらに、算出部23は、算出したいずれかのカメラ10の眼画像における瞳孔中心の位置及び角膜反射の位置、及び左右の瞳孔の3次元座標を基に、左右の瞳孔の光軸を算出する(ステップS14)。ここでいう、「光軸」とは、カメラ10によって取得される画像によって検出される眼球の光軸であり、例えば、眼球の対象軸と一致する。その後、算出部23は、左右の瞳孔における光軸と視軸との間のずれ角度及びずれ方向を示すずれ角度ベクトルを算出する(ステップS15)。さらに、算出部23は、算出したずれ角度ベクトルを用いて光軸を補正することによって視軸を算出した後、算出した視軸を参照して所定の視対称平面上の注視点を算出する(ステップS16、以上算出ステップ)。以上の処理は、視線検出処理の終了の指示が受け付けられるまで、繰り返し実行される(ステップS17)。
【0032】
以下、各ステップの処理について詳細に説明する。
【0033】
(眼画像の取得)
眼に入った光は網膜で乱反射し、反射光のうち瞳孔を通り抜けた光は強い指向性をもって光源へ戻る性質がある。カメラの開口部近くにある光源が発光した時にカメラを露光させると、網膜で反射した光の一部がその開口部に入るため、瞳孔が瞳孔周辺よりも明るく写った画像を取得することができる。この画像が明瞳孔画像である。これに対して、カメラの開口部から離れた位置にある光源が発光した時にカメラを露光させると、眼から戻ってきた光はカメラの開口部にほとんど戻らないため、瞳孔が暗く写った画像を取得することができる。この画像が暗瞳孔画像である。また、透過率が高い波長の光を眼に照射すると、網膜での光の反射が多くなるので瞳孔が明るく写り、透過率が低い波長の光を眼に照射すると、網膜での光の反射が少なくなるので瞳孔が暗く写る。
【0034】
本実施形態では、透過率が高い波長の光(中心波長が850nm)を発する発光素子13aが開口部12に隣接した位置に設けられ、眼の透過率が低い波長の光(中心波長が940nm)を発する発光素子13bを開口部12から離れた位置に設けられる。点灯制御部21及び画像取得部22は、カメラ10の奇数フィールドに合わせて発光素子13aを点灯させて明瞳孔画像を撮影し、カメラ10の偶数フィールドに合わせて発光素子13bを点灯させて暗瞳孔画像を撮影する。さらに、画像取得部22は2つのカメラ10の間で作動タイミングをわずかにずらし、個々のカメラ10の露光時間はそのずらし時間以下に設定される。点灯制御部21は、各カメラ10の露光時間中に、対応する発光素子13aおよび発光素子13bを交互に発光させることで、一方のカメラ10の光源13からの光が他方のカメラ10の画像に影響を与えないようにする(クロストークが起こらないようにする)。
【0035】
画像取得部22は、これらの一連の制御により得られる明瞳孔画像および暗瞳孔画像を取得する。得られる画像データは、奇数フィールド又は偶数フィールドのみに有効画素を有しているため、画像取得部22は、隣接する有効画素の画素ラインの輝度平均をそのライン間の画素値に埋め込むことによって、明瞳孔画像または暗瞳孔画像を生成する。画像取得部22は2つのカメラ10によって得られた明瞳孔画像および暗瞳孔画像を算出部23に出力する。
【0036】
(角膜反射の位置及び瞳孔中心の位置の検出)
算出部23は、画像取得部22から入力された明瞳孔画像および暗瞳孔画像のそれぞれから左右の眼における角膜反射を検出する。具体的には、算出部23は1枚の画像に対してPタイル法による2値化とラベリングとを行い、形状や輝度平均などの情報に基づいてその画像から左右の眼における角膜反射を選択する。このような処理により、算出部23は明瞳孔画像および暗瞳孔画像のそれぞれから、左右の眼における角膜反射を得る。
【0037】
さらに、算出部23は、算出された角膜反射の位置に基づいて明瞳孔画像と暗瞳孔画像との間での角膜反射の移動量を位置補正量として計算する。続いて、算出部23はそれら二つの角膜反射の位置が一致するように、前フィールド(i番目のフィールド)の画像を、次フィールド((i+1)番目のフィールド)の画像に位置補正量だけずらした上で、これら2画像から差分画像を生成する。そして、算出部23は一致させた角膜反射の画像上の座標(位置)を取得する。
【0038】
続いて、算出部23は差分画像から左右の瞳孔位置を特定する。具体的には、算出部23は、前フレームと輝度が大きく変化しないことを利用して、前フレームで検出された瞳孔の輝度平均を利用して、その平均輝度の半分の値を閾値として差分画像を2値化し、ラベリングを行う。続いて、算出部23は、瞳孔らしい面積、サイズ、面積比、正方形度、および瞳孔特徴量等の形状パラメータに基づいて、ラベルづけされた画素の連結成分の中から瞳孔を選択し、左右の瞳孔中心の座標(位置)を算出する。
【0039】
(左右の瞳孔の3次元座標の算出)
続いて、算出部23は左右の瞳孔中心の3次元座標を求める。具体的には、算出部23はステレオ法を用いて、2つのカメラ10から取得した差分画像を用いて算出した左右の瞳孔中心の座標から、左右の瞳孔中心の3次元位置をそれぞれ計算する。ステレオ法とは、カメラのレンズの焦点距離、画像中心、画素サイズなどの内部パラメータと、カメラの位置や姿勢等の外部パラメータとを予め計測しておき、複数台のステレオカメラで対象物を撮影したときに、画像中の点の座標を基に、内部パラメータおよび外部パラメータを用いてその点の空間上の位置を決定する方法である。具体的には、算出部23は、2台のカメラ10からの画像データを基に検出した画像座標系における瞳孔中心の座標と、3次元空間内の世界座標系における瞳孔中心の座標との関係式を、キャリブレーションデータを参照しながら取得する。次に、算出部23は、関係式から世界座標系における対象者Aの瞳孔中心の3次元座標を求める。
【0040】
(光軸の算出)
算出部23は、左右の瞳孔中心の3次元座標、差分画像上における瞳孔中心の位置、及び差分画像上における角膜反射の位置に基づいて光軸を算出する。なお、算出部23は、左右の眼のいずれか眼の瞳孔中心の位置、及び左右の眼のいずれか眼の角膜反射の位置に基づいて、その眼の光軸を検出してもよいし、左右の眼の両方の瞳孔中心の位置、及び左右の眼の両方の角膜反射の位置に基づいて、両方の眼の光軸を検出してもよい。以降では、いずれか一方の眼の光軸を検出することを例に説明する。
【0041】
図6に示すように、瞳孔中心の3次元位置Pに基づいて、カメラ10の開口部12の中心を原点Oとし、その原点Oと瞳孔中心Pを結ぶ基準線OPを法線とする仮想視点平面X’−Y’を考える。この仮想視点平面X’−Y’は、カメラ10で捉えられる画像の投影面(画像面)に対応する。ここで、X’軸は、世界座標系のX−Z平面と仮想視点平面との交線に相当する。
【0042】
算出部23は、画像面Sにおける角膜反射Gから瞳孔中心Pまでのベクトルrを算出し、そのベクトルrを、距離OPから求められたカメラの拡大率を用いて実寸に換算したベクトルrに変換する。このとき、各カメラ10をピンホールモデルと考え、角膜反射Gと瞳孔中心Pとが、仮想視点平面X’−Y’と平行な平面上にあると仮定する。つまり、算出部23は、仮想視点平面と平行であって瞳孔中心Pの3次元座標を含む平面上において、瞳孔中心Pと角膜反射点Gの相対座標をベクトルrとして算出し、このベクトルrは角膜反射点Gから瞳孔中心Pまでの実距離を表す。
【0043】
続いて、算出部23は、対象者Aの仮想視点平面上の光軸との交点T’に関して、直線OT’の水平軸X’に対する傾きφが、ベクトルrの画像面上の水平軸Xに対する傾きφ’と等しいと仮定する。さらに、算出部23は、対象者Aの光軸のベクトル、すなわち、瞳孔中心Pと交点T’とを結ぶベクトルPT’と、基準線OPとの成す角θを、ゲイン値kを含むパラメータを使った下記式(1)により計算する。
θ=f(r)=k×|r| …(1)
【0044】
このような角度φ,θの計算は、瞳孔中心Pの存在する平面上のベクトルrを仮想視点平面上で拡大したものがそのまま対象者Aの光軸との交点T’に対応するとみなすことにより行われる。より詳しくは、対象者Aの光軸のベクトルPT’の基準線OPに対する角度θは、瞳孔中心と角膜反射の距離|r|との間で線形関係を有すると仮定する。
【0045】
角度θと距離|r|とは線形近似できるという仮定、および二つの傾きφ,φ’が等しいという仮定を利用することで、(θ,φ)と(|r|,φ’)とを1対1に対応させることができる。そして、算出部23は、算出した(θ,φ)を基に、対象者Aの光軸のベクトルPT’を得ることができる。
【0046】
(光軸と視軸との間のずれ角度ベクトルの算出)
算出部23によるずれ角度ベクトルの算出手順を説明する前に、ずれ角度ベクトルの算出の必要性について説明する。
【0047】
光源13とカメラ10が実質的に同じ位置にある場合は、例えば対象者Aがそのカメラ10のほうを見たときは眼球の対称性があれば、そのカメラ10によって取得された画像においては瞳孔の中央に角膜反射が映るはずである。しかし、実際には対象者Aの眼において光軸と視軸とはずれが生じるのが一般的である。このような光軸と視軸とのずれは、個人間あるいは左右の眼球間で異なる。つまり、対象者Aの仮想視点平面上の注視点をTとした場合に、視軸のベクトルPTは、光軸のベクトルPT’からずれることとなる(図6)。
【0048】
従来の視線検出装置では、対象者Aが規定点を見た際に算出される光軸が視軸に一致するようにベクトルrを補正するための補正ベクトルrを算出し、画像上で検出したベクトルr’を、下記式;
r=r’−r
で補正し、補正したベクトルrを用いて視軸のベクトルPTを検出していた。
【0049】
しかしながら、対象者Aに対していったん補正ベクトルrを決定した場合であっても、装置に対して対象者Aの頭部が視線を同じ方向に向けながら左右方向に傾いた(以下、「側屈」という。)場合に、視軸と光軸との間のずれ方向が変化するため正確に光軸から視軸を検出することができない。具体的には、図7(a)に示すように、補正ベクトルrを算出した時の対象者Aの側屈の傾きと視軸検出時の側屈の傾きが同一の場合には、両眼のそれぞれにおいて光軸と視軸のずれが正しく補正されるために両眼において検出された視軸がディスプレイ装置30上の注視点Qにおいて一致する。一方で、図7(b)に示すように、補正ベクトルrを算出した時の対象者Aの側屈の傾きから視軸検出時の側屈の傾きが変化した場合には、光軸と視軸とのずれの方向も視軸(光軸)周りに変化するために補正ベクトルrをそのまま使った場合には両眼において検出された視軸が注視点Qに一致しない。
【0050】
本実施形態では、光軸(あるいは視軸)方向から見た対象者Aの側屈の傾きを基に、光軸に対する視軸のずれる方向を光軸周りに変化させることで視軸の検出精度を上げようとするものである。ただし、単純にカメラ10によって得られた画像上の対象者Aの左右の眼の位置から対象者Aの側屈の傾きを得るのは限界がある。つまり、カメラ10によって対象者Aの視線方向に対して斜め方向から(例えば、上下にずれた方向から)対象者の眼部の2次元画像を取得した場合には、2次元画像において、対象者Aの側屈の状態と対象者Aが視線方向に垂直な方向を軸に回転(以下、単に「回転」という。)した状態を区別することが困難となる。
【0051】
図8図10を参照して、カメラ10によって取得される2次元画像における対象者Aの瞳孔の検出状態を説明する。
【0052】
図8に示すように、対象者Aの前方に2台のカメラ10,10が設置してあり、対象者Aが左カメラ10を注視しており、左カメラ10から見て対象者Aの頭部の側屈の傾きはなく左の瞳孔Pと右の瞳孔Pとが水平線上に位置している状態を想定する。このとき対象者Aの左の瞳孔Pに着目すると、視軸Vが瞳孔Pの中心及び左カメラ10を通ることになる。画像処理装置20の算出部23によって検出されるのは瞳孔Pの光軸Eであり、光軸Eに対する視軸Vのずれは、左カメラ10を通り視軸Vに垂直な平面として仮想平面VPを設定すると、光軸Eと視軸Vとのなす角度(ずれ角度)Δθと、光軸Eと視軸Vの仮想平面VP上の2つの交点を結ぶ直線LNの仮想平面VP上での傾き(ずれ方向)Δφとで表現することができる。言い換えれば、傾き(ずれ方向)Δφは、2台のカメラ10,10と瞳孔Pとを通る平面PLAと、光軸Eと視軸Vとの両方を含む平面PLAとのなす角度でもある。このとき、右の瞳孔Pも平面PLA上に位置している。この傾きΔφの基準線は特定のものには限定されないが、例えば2つのカメラ10,10を結ぶ水平軸LNとすることができる。本実施形態では、光軸Eに対する視軸Vのずれが、角度ベクトル(ずれ角度ベクトル)Vθ=(Δθ,Δφ)で表現される。本実施形態では、視軸Vを仮想平面VPを基準とした角度ベクトルVθで表し、光軸Eを仮想平面VPを基準とした角度ベクトルVθで表した場合に、Vθ=Vθ −Vθと表せて、vθを角度ベクトル(ずれ角度ベクトル)Vθ=(Δθ,Δφ)として定義する。そして、本実施形態では、後述するように、角度ベクトルVθのうちの値Δφを対象者Aの側屈の状態に応じて補正しようとするものである。
【0053】
ここで、対象者Aの頭部が回転して対象者Aの右の瞳孔Pが平面PLA上で移動したことを考えると、対象者Aの側屈は生じないため、光軸Eに対する視軸Vのずれは変化しない。それとともに、カメラ10から見た2次元画像における左の瞳孔Pに対する右の瞳孔Pの水平軸LNからの高さは変化しない。
【0054】
一方で、図9に示すように、対象者Aの側屈の傾きが左に傾くように変化して左の瞳孔Pの位置がそのままで右の瞳孔Pが視軸V周りに角度αだけ回転した状態を想定する。この場合、光軸Eは視軸V周りに側屈の傾きの変化角度αだけ回転する。その結果、算出部23の検出する角度ベクトルVθ=(Δθ,Δφ+α)となる。つまり、図8の状態を基準とした場合は、基準となる対象者Aの頭部姿勢におけるカメラ10と左右の瞳孔P,Pとを含む平面PLAと、頭部の側屈状態の変化後の平面PLAとのなす角度が、視軸V周りの光軸Eの回転角度となる。このとき、カメラ10から見た2次元画像において、左の瞳孔Pに対する右の瞳孔Pの水平軸LNからの高さが変化するため、2次元画像上で左の瞳孔Pに対する右の瞳孔Pの回転角度を算出すれば角度αを検出することができ、その結果、角度ベクトルVθ=(Δθ,Δφ+α)を正しく計算することができる。
【0055】
さらに、対象者Aが右カメラ10を注視した場合も同様に考えることができ、2つの瞳孔P,Pと2台のカメラ10,10とが同一平面上にある場合は、光軸Eの視軸V周りの回転は生じない。従って、左の瞳孔Pに関しては、右カメラ10をあるいは左カメラ10のいずれかの2次元画像を用いて、左瞳孔Pの視軸Vを中心に右の瞳孔Pが回転した角度を計測し、それを基に角度ベクトルVθを計算することができる。右の瞳孔Pに関しても、同様に2次元画像を用いて角度ベクトルVθを計算することができる。
【0056】
次に、図10に示すように、図8に示す状態から対象者Aの視軸Vに対してカメラ10,10をカメラ10,10を結ぶ線を平行に保ったまま下方に移動させた場合を想定する。図10には、移動させる前のカメラの位置を符号10’,10’で示している。この場合はカメラ10,10の高さに対して視軸Vを上方に変化させたのと同じ状態と考えることができる。
【0057】
最初に、元のカメラの位置10’,10’及び左の瞳孔Pを含む平面PLA上に右の瞳孔Pが位置しており、その後、対象者Aの頭部が回転した結果、右の瞳孔Pが平面PLA上を左カメラ10から見て後方に移動して瞳孔P’の位置となったことを考える。このとき、右の瞳孔P’は、もはや2つのカメラ10,10と左の瞳孔Pを含む平面PLA上には存在しないことになる。このことは、左カメラ10から見れば、対象者Aの頭部の回転の状態と図9に示したような対象者Aの頭部の側屈の傾きとを区別することはできないことを意味する。このように、カメラ10,10によって撮像した2次元画像のみでは、対象者Aの視軸V周りの光軸Eの回転角度を検出することは困難である。
【0058】
そこで、本実施形態に係る算出部23は、以下のようにして、光軸と視軸との間の角度ベクトルVθを補正して算出する。
【0059】
すなわち、図11に示すように、算出部23は、対象者Aにディスプレイ装置30に表示された較正用の規定点(視標)POを注視させた状態で、左右の瞳孔(眼の特徴点)P,Pの3次元位置と、左の瞳孔Pの光軸Eを算出する。次に、算出部23は、光軸Eに垂直な仮想平面VPを設定し、光軸Eと、規定点PO及び左の瞳孔Pの位置によって決まる視軸Vとを基に、角度ベクトルの初期値Vθ=(Δθ,Δφ)を較正する。ここで、仮想平面VPの横軸は、仮想平面VPと世界座標系のX−Z平面と交線に相当する(以下、別の仮想平面においても同じ)。さらに、算出部23は、基準線である光軸Eに沿った方向から見たときの左右の瞳孔P,Pの3次元座標を結ぶ線の傾き(傾きの初期値)αを算出する。この傾きαが、光軸E周りの右の瞳孔Pの回転角度である。具体的には、算出部23は、左右の瞳孔P,Pの3次元座標のそれぞれを仮想平面VP上に投影することによって仮想平面VP上に座標変換される投影点PJ,PJに関して、仮想平面VP上の水平線からの2つの投影点PJ,PJを結ぶ線の傾きを求めることによって、左右の瞳孔P,Pの3次元座標を結ぶ線の傾きαを算出する。なお、算出部23は、算出した視軸Vに沿った基準線の方向から見たときの左右の瞳孔P,Pの3次元座標を結ぶ線の傾きを算出してもよい。
【0060】
さらに、算出部23は、対象者Aの視軸を実際に算出するタイミングにおいて、左右の瞳孔P,Pの3次元位置と、左の瞳孔Pの光軸Eを算出する。次に、算出部23は、光軸Eに垂直な仮想平面VPをあらためて設定する。さらに、算出部23は、基準線である光軸Eに沿った方向から見たときの左右の瞳孔P,Pの3次元座標を結ぶ線の傾き(傾きの実測値)αを算出する。具体的には、算出部23は、左右の瞳孔P,Pの3次元座標のそれぞれを仮想平面VP上に投影することによって仮想平面VP上に座標変換される投影点PJ,PJに関して、仮想平面VP上の水平線からの2つの投影点PJ,PJを結ぶ線の傾きを求めることによって、左右の瞳孔P,Pの3次元座標を結ぶ線の傾きαを算出する。なお、算出部23は、角度ベクトルの初期値Vθ=(Δθ,Δφ)と光軸Eとを基にいったん算出した視軸に沿った方向を基準線として、その基準線から見た左右の瞳孔P,Pの3次元座標を結ぶ線の傾きを算出してもよい。
【0061】
そして、算出部23は、算出した左右の瞳孔P,Pの3次元座標を結ぶ線の傾きαを基に、角度ベクトルVθの初期値を視軸算出のための角度ベクトルVθに補正する。具体的には、算出部23は、傾きαから傾きαを減算し、その減算値(α−α)を基に角度ベクトルVθの傾きの初期値Δφを、下記式によって補正する。
Δφ=Δφ+(α−α
このようにして、算出部23は、視軸を検出する際に用いる角度ベクトルVθ=(Δθ,Δφ)を決定する。なお、対象者Aに較正用の規定点POを注視させた状態での傾きα及び角度ベクトルVθの初期値Δθ,Δφの算出は、最初の視軸検出時に一度実行されればよく、それらの値がその後の複数回の視軸の検出時に繰り返し用いられてもよい。
【0062】
図12を参照して、算出部23による角度ベクトルVθの初期値及び左右の瞳孔P,Pの3次元座標を結ぶ線の傾きの算出方法の詳細について説明する。
【0063】
算出部23は、規定点POを対象者に注視させた際に得られる視軸Vと光軸Eとのなす角を計算することにより、なす角度の初期値Δθを検出できる。また、算出部23は、視軸の検出対象の左の瞳孔Pと2台のカメラ10,10とを通る平面PLAの法線ベクトルNS1と光軸Eとの外積ベクトルに対して平行であって、左の瞳孔を通る直線LNを設定し、その直線LNの周りに平面PLAを角度η回転させた面を平面PLAと設定する。この角度ηは、平面PLAと光軸Eとのなす角として求められる。このようにして設定される平面PLAは、基準線である光軸Eを含み、直線LNに沿った基準平面である。そして、算出部23は、平面PLAの法線ベクトルNS2と視軸Vと光軸Eとを含む平面PLAの法線ベクトルNとのなす角を計算することにより、傾きの初期値Δφを検出できる。
【0064】
また、算出部23は、左右の瞳孔P,Pの3次元座標を結ぶ線の傾きα,αを、平面PLAに対する、左右の瞳孔P,Pと光軸Eとを含む平面(顔方向平面)のなす角(傾き)を計算することで得ることができる。具体的には、算出部23は、平面PLAの法線ベクトルNS2と顔方向平面の法線ベクトルとの間のなす角を計算する。
【0065】
(視軸及び注視点の算出)
【0066】
算出部23は、計算によって求めた光軸Eを、上記の手法で補正した角度ベクトルVθを用いて補正することによって、視軸VをベクトルPTとして求める。さらに、算出部23は、視軸Vと視対象平面(ディスプレイ装置30)との交点である注視点Qを次式で求める。
Q=nPT+P
【0067】
以上説明した視線検出装置1、及びそれを用いた視線検出方法によれば、対象者Aの左右の瞳孔の画像を基に、左右の瞳孔の3次元位置及び左右の眼のいずれかの光軸Eが算出され、光軸を予め設定されるずれ角度及びずれ方向に補正することによって視軸Vが算出される。その際、対象者Aの視軸あるいは光軸に沿った方向から見た対象者Aの左右の瞳孔の間の傾きが算出され、視軸を算出するためのずれ方向がその傾きによって補正される。これにより、対象者Aの両眼の注視点の位置の関係にかかわらず視線を安定して検出することができるとともに、カメラ10の性能、あるいは、対象者Aの眼部のカメラに対する向きに関係なく、視線を精度よく検出することができる。
【0068】
ここで、画像処理装置20の算出部23は、2つの平面の傾きを計算することで左右の瞳孔の3次元座標を結ぶ線の傾きとして算出している。このようにすることで、対象者Aの視線あるいは光軸に沿った方向から見た対象者Aの左右の瞳孔の傾きが簡易に算出できるので、視線検出のための演算量を削減することができる。さらには、算出部23は、2つの平面の法線の傾きを計算することで左右の瞳孔の3次元座標を結ぶ線の傾きとして算出している。このようにすることで、対象者Aの視線あるいは光軸に沿った方向から見た対象者Aの左右の瞳孔の傾きが一層簡易に算出できるので、視線検出のための演算量をさらに削減することができる。
【0069】
また、算出部23は、予め設定された位置の視標を対象者Aに見させた際の左右の瞳孔の3次元座標及び光軸を基に、光軸に対する視軸のずれ方向の初期値及び左右の瞳孔の3次元座標を結ぶ線の傾きの初期値を算出している。その後、算出部23は、視線を検出する際に、対象者Aの瞳孔の3次元座標及び光軸を基に傾きの実測値を算出し、傾きの実測値から傾きの初期値を減算した値を基にずれ方向の初期値を補正し、補正後のずれ方向の初期値を用いて視線を算出している。この場合、視標を用いてずれ方向及び傾きの初期値が正確に算出でき、その後の傾きの実測値を基に視線が正確に算出できる。
【0070】
また、本実施形態では2台のカメラ10,10を用いている。このような構成により、左右の瞳孔の3次元座標が簡易な構成で算出でき、視線の検出が簡易な構成で実現できる。
【0071】
ここで、本実施形態に係る視線検出装置1による視線検出の効果を具体的に説明する。
【0072】
図13には、視線検出装置1を用いた実験結果を示している。実験においては、カメラ10として16mmレンズおよび可視光カットフィルタを備えるデジタルカメラを用い、光源13として中心波長850nmの近赤外線LED光源と中心波長940nmの近赤外線LED光源とを用い、ディスプレイ装置30には19インチディスプレイを用いた。実験の対象者として被験者A〜Eの5名をディスプレイ装置30の画面正面から約80cmの位置に座らせ、画面上の5行5列で均等に配置された位置に視標25点を順番に表示させ1点ずつ注視させた。その上で、視線検出装置1を動作させて注視点を検出し、検出結果から平均視角誤差[deg]を計測した。図13(a)には、各被験者A〜E及び被験者全体の平均の左眼に関する平均視角誤差を示し、図13(b)には、各被験者A〜E及び被験者全体の平均の右眼に関する平均視角誤差を示している。それぞれの測定結果においては、被験者A〜Eの頭部の傾き(側屈の傾き)が発生しない場合と、被験者A〜Eの頭部の傾きがあって角度ベクトルVθの補正処理を動作させていない場合と、被験者A〜Eの頭部の傾きがあって角度ベクトルVθの補正処理を動作させている場合とにおける結果を分けて示している。
【0073】
この結果より、頭部の傾きが発生しない場合の左眼の平均視角誤差が0.90±0.33deg、右眼の平均視角誤差が1.10±0.41degであり、頭部の傾きがあって補正処理を動作させていない場合の左眼の平均視角誤差が1.58±0.61deg、右眼の平均視角誤差が1.73±0.59degであり、頭部の傾きがあって補正処理を動作させている場合の左眼の平均視角誤差が0.95±0.57deg、右眼の平均視角誤差が1.22±0.62degであった。このように、補正なしの場合に対して補正ありの場合は左眼で約30.9%、右眼で約27.6%ほど誤差が軽減されていることがわかった。また、補正ありの場合の結果は頭部の傾きがない場合の結果とほぼ同程度であった。なお、補正の効果が対象者によって異なっているが、本実施形態の方法は視軸と光軸とのずれを補正するものであるため、視軸と光軸とのずれが大きい被験者のほうが誤差軽減の効果が大きいためと思われる。
【0074】
本発明は、上述した実施形態に限定されるものではない。例えば、上記実施形態では、カメラ10として2台のカメラ10,10を含むステレオカメラを用いていたが、TOF(Time-of-Flight)カメラのような1台のカメラで対象者Aの瞳孔の3次元座標を検出可能なカメラを用いてもよい。また、TOFカメラを用いなくても、1台のカメラで対象者Aの2つの瞳孔P,Pに含めて鼻孔等の対象者Aの他の特徴点を撮像し、その結果得られた3点の画像上の位置を用いて2つの瞳孔P,Pの3次元位置を検出する構成であってもよい。
【0075】
また、上記実施形態では、対象者Aの左右の眼の特徴点として、左右の瞳孔P,Pを用いて視軸を計算しているがこれに限定されるものではなく、瞳孔の代わりに、左右の眼の特徴点として、目頭、目尻、虹彩、角膜球、あるいは角膜反射のうちのいずれか、あるいはこれらの組み合わせを検出してもよい。
【0076】
例えば、算出部23は、瞳孔中心、虹彩中心、あるいは角膜球中心を検出してもよいし、それらの端部を検出してもよい。角膜球中心は、角膜半径を予め与えておくことで検出することができる。角膜球の表面で反射する位置を検出してもよい。
【0077】
算出部23は、目頭、目尻等のそのものの特徴点の3次元座標を求めてもよいし、両方の中点の3次元座標を求めてもよい。さらに、両目の目頭、目尻の計4点の位置を基に最小二乗法で求めた直線の傾きを計算してもよい。さらに、眼画像中の黒い部分を眼部として検出し、それら輝度重心を特徴点の位置として検出してもよい。
【0078】
また、上記実施形態では、対象者Aの左右の眼の特徴点の代わりに対象者Aの左右の眼の周辺部の特徴点の3次元座標を検出して、それらの3次元座標を基に対象者Aの側屈の傾きの角度を算出してもよい。このような眼の周辺部としては、両眼中点、眉間、眉毛、鼻孔、鼻の先端、鼻の周囲、口角、口の中心のうちのいずれか、あるいはこれらの組み合わせが例示される。対象者Aの眼の周辺部の特徴点として、鼻の先端、眉間、口の中心等を検出する場合には、算出部23は、左右の瞳孔をつなぐ直線を水平線として考えたとき、水平線に対して垂直であって特徴点を通る線を代わりに求めて、この線を含む顔方向平面を対象に傾きを計算することができる。
【符号の説明】
【0079】
A…対象者、1…視線検出装置、10,10,10…カメラ、13…光源、20…画像処理装置、21…点灯制御部、22…画像取得部、23…算出部、E,E,E…光軸、P,P…瞳孔、PO…規定点(視標)、Q…注視点、V,V…視軸、Vθ…角度ベクトル、Δθ…ずれ角度、Δφ…ずれ方向。
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13