特許第5900165号(P5900165)IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ 株式会社JVCケンウッドの特許一覧

(19)【発行国】日本国特許庁(JP)
(12)【公報種別】特許公報(B2)
(11)【特許番号】5900165
(24)【登録日】2016年3月18日
(45)【発行日】2016年4月6日
(54)【発明の名称】視線検出装置および視線検出方法
(51)【国際特許分類】
   A61B 3/113 20060101AFI20160324BHJP
【FI】
   A61B3/10 B
【請求項の数】9
【全頁数】21
(21)【出願番号】特願2012-125223(P2012-125223)
(22)【出願日】2012年5月31日
(65)【公開番号】特開2013-248177(P2013-248177A)
(43)【公開日】2013年12月12日
【審査請求日】2014年9月30日
(73)【特許権者】
【識別番号】308036402
【氏名又は名称】株式会社JVCケンウッド
(74)【代理人】
【識別番号】100089118
【弁理士】
【氏名又は名称】酒井 宏明
(72)【発明者】
【氏名】二宮 賢
(72)【発明者】
【氏名】箱嶋 修二
【審査官】 増渕 俊仁
(56)【参考文献】
【文献】 特開2000−166873(JP,A)
【文献】 特開平11−024603(JP,A)
【文献】 特開2011−107482(JP,A)
【文献】 国際公開第2008/139137(WO,A1)
【文献】 特開平10−020998(JP,A)
【文献】 特開平10−282404(JP,A)
【文献】 特開2011−083379(JP,A)
【文献】 特開平01−185241(JP,A)
【文献】 特開2013−215405(JP,A)
(58)【調査した分野】(Int.Cl.,DB名)
A61B 3/00−3/18
A61B 9/00−10/06
G06F 3/01
G06T 1/00
H04N 5/222−5/257
(57)【特許請求の範囲】
【請求項1】
表示部と、
被験者を撮像する撮像部と、
前記撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する第1検出部と、
前記撮像部から前記被験者の目の位置までの距離を検出する第2検出部と、
前記第1検出部によって検出した目の位置に対応する前記被験者の目の位置を示す画像を、前記第2検出部により検出された距離に応じて表示態様を変化させて前記表示部に表示させる表示制御部と、
を備えることを特徴とする視線検出装置。
【請求項2】
前記表示制御部は、前記被験者の目の位置を示す画像を、前記第2検出部により検出された距離に応じて大きさを変化させて前記表示部に表示させること、
を特徴とする請求項1に記載の視線検出装置。
【請求項3】
前記表示制御部は、前記被験者の目の位置を示す画像の表示位置に、予め定められた基準距離における前記被験者の目の位置を示す画像の大きさに対応するマーカを前記表示部に表示させ、前記第2検出部により検出された距離が前記基準距離より小さい場合は前記被験者の目の位置を示す画像を前記マーカより小さく変化させて前記表示部に表示させ、前記第2検出部により検出された距離が前記基準距離より大きい場合は前記被験者の目の位置を示す画像を前記マーカより大きく変化させて前記表示部に表示させること、
を特徴とする請求項2に記載の視線検出装置。
【請求項4】
前記表示制御部は、前記被験者の目の位置を示す画像を、前記第2検出部により検出された距離に応じて色または明るさを変化させて前記表示部に表示させること、
を特徴とする請求項1に記載の視線検出装置。
【請求項5】
前記表示制御部は、前記被験者の目の位置を示す画像とともに表示する文字または図形を、前記第2検出部により検出された距離に応じて変化させて前記表示部に表示させること、
を特徴とする請求項1に記載の視線検出装置。
【請求項6】
表示部と、
被験者を撮像する撮像部と、
前記撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する第1検出部と、
前記撮像部の撮像領域に含まれる基準領域の範囲を示す基準画像、前記撮像領域の範囲を示す撮像範囲画像、および、前記被験者の目の位置を示す画像のうち少なくとも1つを、前記被験者の目の位置を検出するために適切な設定領域と前記被験者の目の位置との位置関係に応じて表示態様を変化させて前記表示部に表示させる表示制御部と、
を備えることを特徴とする視線検出装置。
【請求項7】
前記表示制御部は、前記基準画像、前記撮像範囲画像および前記被験者の目の位置を示す画像のうち少なくとも1つを、前記設定領域と前記被験者の目の位置との位置関係に応じて色または明るさを変化させて前記表示部に表示させること、
を特徴とする請求項6に記載の視線検出装置。
【請求項8】
被験者を撮像する撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する位置検出ステップと、
前記撮像部から前記被験者の目の位置までの距離を検出する距離検出ステップと、
前記被験者の目の位置を示す画像を、前記距離検出ステップにより検出された距離に応じて表示態様を変化させて表示部に表示させる表示制御ステップと、
を含むことを特徴とする視線検出方法。
【請求項9】
被験者を撮像する撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する位置検出ステップと、
前記撮像部の撮像領域に含まれる基準領域の範囲を示す基準画像、前記撮像領域の範囲を示す撮像範囲画像、および、前記被験者の目の位置を示す画像のうち少なくとも1つを、前記被験者の目の位置を検出するために適切な設定領域と前記被験者の目の位置との位置関係に応じて表示態様を変化させて表示部に表示させる表示制御ステップと、
を含むことを特徴とする視線検出方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、視線検出装置および視線検出方法に関する。
【背景技術】
【0002】
カメラの高精度化、処理高速化、および、小型化が進み、カメラで撮像した顔の画像から、被験者がモニタ画面などの観察面上で注視している位置を検出する視線検出装置が提案されている。当初は被験者の頭部を固定する方法や、頭部に検出装置を取り付ける方法が多かった。最近は被験者の負担を軽減するため非接触タイプが開発され、さらに精度の高い視線検出装置が求められている。例えば特許文献1では、瞳孔と角膜反射の座標から視線検出を行う非接触タイプの視線検出装置が提案されている。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2005−185431号公報
【特許文献2】特開2008−125619号公報
【特許文献3】特開2005−198743号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
視線検出を正確に行うためには、被験者とカメラが適正な位置関係にあることが必要である。このためには、被験者がカメラに対して適正な位置にいるかどうかを簡単に判断でき、位置を調整することができることが重要である。
【0005】
しかしながら、特に特許文献1のなどの非接触タイプの視線検出装置では、被験者が自由に動けることから、被験者が動いて検出結果の精度が上がらないことがあった。従って、特に非接触タイプの視線検出装置では、被験者を適正な位置に導くことが必要である。
【0006】
本発明は、上記に鑑みてなされたものであって、検出の精度を向上できる視線検出装置および視線検出方法を提供することを目的とする。
【課題を解決するための手段】
【0007】
上述した課題を解決し、目的を達成するために、本発明は、表示部と、被験者を撮像する撮像部と、前記撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する第1検出部と、前記撮像部から前記被験者の目の位置までの距離を検出する第2検出部と、前記被験者の目の位置を示す画像を、前記第2検出部により検出された距離に応じて表示態様を変化させて前記表示部に表示させる表示制御部と、を備えることを特徴とする。
【0008】
また、本発明は、表示部と、被験者を撮像する撮像部と、前記撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する第1検出部と、前記撮像部の撮像領域に含まれる基準領域の範囲を示す基準画像、前記撮像領域の範囲を示す撮像範囲画像、および、前記被験者の目の位置を示す画像のうち少なくとも1つを、前記被験者の目の位置を検出するために適切な設定領域と前記被験者の目の位置との位置関係に応じて表示態様を変化させて前記表示部に表示させる表示制御部と、を備えることを特徴とする。
【0009】
また、本発明は、被験者を撮像する撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する位置検出ステップと、前記撮像部から前記被験者の目の位置までの距離を検出する距離検出ステップと、前記被験者の目の位置を示す画像を、前記距離検出ステップにより検出された距離に応じて表示態様を変化させて表示部に表示させる表示制御ステップと、を含むことを特徴とする。
【0010】
また、本発明は、被験者を撮像する撮像部により撮像された撮像画像から、前記被験者の目の位置を検出する位置検出ステップと、前記撮像部の撮像領域に含まれる基準領域の範囲を示す基準画像、前記撮像領域の範囲を示す撮像範囲画像、および、前記被験者の目の位置を示す画像のうち少なくとも1つを、前記被験者の目の位置を検出するために適切な設定領域と前記被験者の目の位置との位置関係に応じて表示態様を変化させて表示部に表示させる表示制御ステップと、を含むことを特徴とする。
【発明の効果】
【0011】
本発明にかかる視線検出装置および視線検出方法は、検出の精度を向上できるという効果を奏する。
【図面の簡単な説明】
【0012】
図1図1は、第1の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。
図2図2は、第1の実施形態の視線検出装置の機能の概要を示す図である。
図3図3は、図2に示す各部の詳細な機能の一例を示すブロック図である。
図4図4は、2台のカメラを使用した場合の目および距離の検出の一例を示す図である。
図5図5は、被験者とステレオカメラとの距離が適正であるかを検出して表示する画面の一例を示す図である。
図6図6は、被験者の位置が基準距離drより近い場合の画面の表示例を示す図である。
図7図7は、被験者の位置が適正な場合の画面の表示例を示す図である。
図8図8は、距離dzと目の位置画像の大きさとの関係の一例を示す図である。
図9図9は、距離dzと目の位置画像の大きさとの関係の他の例を示す図である。
図10図10は、第1の実施形態における表示制御処理の一例を示すフローチャートである。
図11図11は、第1の実施形態の変形例1における表示制御処理の一例を示すフローチャートである。
図12図12は、距離dzと目の位置画像の表示色との関係の一例を示す図である。
図13図13は、距離dzと目の位置画像の色調との関係の一例を示す図である。
図14図14は、距離dzと目の位置画像とともに表示する表示文字との関係の一例を示す図である。
図15図15は、第2の実施形態の制御部の構成例を示す機能ブロック図である。
図16図16は、キャリブレーションモードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。
図17図17は、キャリブレーションモードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。
図18図18は、キャリブレーションモードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。
図19図19は、測定モードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。
図20図20は、測定モードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。
図21図21は、測定モードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。
図22図22は、第2の実施形態における表示制御処理の一例を示すフローチャートである。
図23図23は、キャリブレーションモードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。
図24図24は、キャリブレーションモードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。
図25図25は、キャリブレーションモードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。
図26図26は、測定モードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。
図27図27は、測定モードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。
図28図28は、測定モードで、被験者とステレオカメラとの位置関係が適正であるかを検出して表示する画面の一例を示す図である。
【発明を実施するための形態】
【0013】
以下に、本発明にかかる視線検出装置および視線検出方法の実施形態を図面に基づいて詳細に説明する。なお、この実施形態によりこの発明が限定されるものではない。
【0014】
(第1の実施形態)
図1は、第1の実施形態で用いる表示部、ステレオカメラ、および光源の配置の一例を示す図である。図1に示すように、第1の実施形態では、表示画面101の下側に、1組のステレオカメラ102を配置する。ステレオカメラ102は、赤外線によるステレオ撮影が可能な撮像部であり、右カメラ202と左カメラ204とを備えている。
【0015】
右カメラ202および左カメラ204の各レンズの直前には、円周方向に赤外LED(Light Emitting Diode)光源203および205がそれぞれ配置される。赤外LED光源203および205は、発光する波長が相互に異なる内周のLEDと外周のLEDとを含む。赤外LED光源203および205により被験者の瞳孔を検出する。瞳孔の検出方法としては、例えば特許文献2に記載された方法などを適用できる。
【0016】
視線を検出する際には、空間を座標で表現して位置を特定する。本実施形態では、表示画面101の画面の中央位置を原点として、上下をY座標(上が+)、横をX座標(向かって右が+)、奥行きをZ座標(手前が+)としている。
【0017】
図2は、視線検出装置100の機能の概要を示す図である。図2では、図1に示した構成の一部と、この構成の駆動などに用いられる構成を示している。図2に示すように、視線検出装置100は、右カメラ202と、左カメラ204と、赤外LED光源203および205と、スピーカ105と、駆動・IF部208と、制御部300と、表示部210と、を含む。図2において、表示画面101は、右カメラ202および左カメラ204との位置関係を分かりやすく示しているが、表示画面101は表示部210において表示される画面である。
【0018】
スピーカ105は、キャリブレーション時などに、被験者に注意を促すための音声などを出力する。
【0019】
駆動・IF部208は、ステレオカメラ102に含まれる各部を駆動する。また、駆動・IF部208は、ステレオカメラ102に含まれる各部と、制御部300とのインタフェースとなる。
【0020】
表示部210は、診断のための対象画像等、各種情報を表示する。
【0021】
図3は、図2に示す各部の詳細な機能の一例を示すブロック図である。図3に示すように、制御部300には、表示部210と、駆動・IF部208が接続される。駆動・IF部208は、カメラIF314、315と、LED駆動制御部316と、スピーカ駆動部322と、を備える。
【0022】
駆動・IF部208には、カメラIF314、315を介して、それぞれ、右カメラ202、左カメラ204が接続される。駆動・IF部208がこれらのカメラを駆動することにより、被験者を撮像する。
【0023】
右カメラ202からはフレーム同期信号が出力される。フレーム同期信号は、左カメラ204とLED駆動制御部316とに入力される。これにより、第1フレームで、タイミングをずらして左右の波長1の赤外線光源(波長1−LED303、波長1−LED305)を発光させ、それに対応して左右カメラ(右カメラ202、左カメラ204)による画像を取り込み、第2フレームで、タイミングをずらして左右の波長2の赤外線光源(波長2−LED304、波長2−LED306)を発光させ、それに対応して左右カメラによる画像を取り込んでいる。
【0024】
赤外LED光源203は、波長1−LED303と、波長2−LED304と、を備えている。赤外LED光源205は、波長1−LED305と、波長2−LED306と、を備えている。
【0025】
波長1−LED303、305は、波長1の赤外線を照射する。波長2−LED304、306は、波長2の赤外線を照射する。
【0026】
波長1および波長2は、それぞれ例えば900nm未満の波長および900nm以上の波長とする。900nm未満の波長の赤外線を照射して瞳孔で反射された反射光を撮像すると、900nm以上の波長の赤外線を照射して瞳孔で反射された反射光を撮像した場合に比べて、明るい瞳孔像が得られるためである。
【0027】
スピーカ駆動部322は、スピーカ105を駆動する。
【0028】
制御部300は、視線検出装置100全体を制御して、結果を表示部210およびスピーカ105などに出力する。制御部300は、第1検出部351と、第2検出部352と、表示制御部353と、を備えている。
【0029】
第1検出部351は、撮像部(ステレオカメラ102)により撮像された撮像画像から、被験者の視線を検出する。視線を検出する処理には、被験者の目の位置を検出する処理が含まれる。本実施形態では、第1検出部351は、例えば、表示画面101に表示された対象画像のうち、被験者が注視する点である視点を検出する。第1検出部351による視点検出方法としては、従来から用いられているあらゆる方法を適用できる。以下では、特許文献3と同様に、ステレオカメラを用いて被験者の視点を検出する場合を例に説明する。
【0030】
この場合、まず第1検出部351は、ステレオカメラ102で撮影された画像から、被験者の視線方向を検出する。第1検出部351は、例えば、特許文献1および2に記載された方法などを用いて、被験者の視線方向を検出する。具体的には、第1検出部351は、波長1の赤外線を照射して撮影した画像と、波長2の赤外線を照射して撮影した画像との差分を求め、瞳孔像が明確化された画像を生成する。第1検出部351は、左右のカメラ(右カメラ202、左カメラ204)で撮影された画像それぞれから上記のように生成された2つの画像を用いて、ステレオ視の手法により被験者の瞳孔の位置(目の位置)を算出する。また、第1検出部351は、左右のカメラで撮影された画像を用いて被験者の角膜反射の位置を算出する。そして、第1検出部351は、被験者の瞳孔の位置と角膜反射位置とから、被験者の視線方向を表す視線ベクトルを算出する。
【0031】
なお、被験者の目の位置および視線の検出方法はこれに限られるものではない。例えば、赤外線ではなく、可視光を用いて撮影した画像を解析することにより、被験者の目の位置および視線を検出してもよい。
【0032】
第2検出部352は、撮像部(ステレオカメラ102)から被験者の目の位置までの距離を検出する。本実施形態では、第2検出部352は、ステレオカメラ102から被験者の目との間の奥行方向(Z座標方向)の距離dzを、撮像部(ステレオカメラ102)から被験者の目の位置までの距離として検出する。
【0033】
図4は、2台のカメラ(右カメラ202、左カメラ204)を使用した場合の目および距離の検出の一例を示す図である。2台のカメラは、事前にステレオ較正法によるカメラキャリブレーション理論を適用し、カメラパラメータを求めておく。ステレオ較正法は、Tsaiのカメラキャリブレーション理論を用いた方法など従来から用いられているあらゆる方法を適用できる。右カメラ202で撮影された画像から検出した目の位置と、左カメラ204で撮影された画像から検出した目の位置と、カメラパラメータとを用いて、世界座標系における目の3次元座標が得られる。これにより、目とステレオカメラ102間の距離、および、瞳孔座標を推定することができる。瞳孔座標とは、XY平面上での被験者の目(瞳孔)の位置を表す座標値である。瞳孔座標は、例えば、世界座標系で表される目の位置をXY平面に投影した座標値とすることができる。通常は、左右両目の瞳孔座標が求められる。
【0034】
表示画面101には、マーカ502と、目の位置画像503とが表示される。目の位置画像503とは、被験者の目の位置を示す画像である。マーカ502は、予め定められた基準距離における被験者の目の位置画像503の大きさに対応する画像である。図4では、矩形のマーカを表示しているが、マーカ502の形状は矩形に限られるものではない。例えば、矩形(四角形)以外の多角形、円形、または、楕円形のマーカを用いてもよい。
【0035】
図1に示すような座標系(世界座標系)を用いている場合、表示画面101の中央位置が原点である。このため、検出された目の位置のZ座標値が、ステレオカメラ102から被験者の目との間の奥行方向の距離dzに相当する。なお、実際のステレオカメラ102の位置と、第1検出部351によって算出された被験者の目の位置とから、両者間の距離を算出してもよい。例えば、第2検出部352が、右カメラ202および左カメラ204のいずれかの位置、または、右カメラ202の位置と左カメラ204の位置との中間位置から、被験者の目までの距離を検出するように構成してもよい。
【0036】
表示制御部353は、被験者の目の位置画像503を、第2検出部352により検出された距離に応じて表示態様を変化させて表示画面101に表示させる。表示制御部353は、例えば、距離に応じて目の位置画像503の大きさを変化させて表示画面101に表示させる。なお、表示態様は大きさに限られるものではない(後述)。
【0037】
図5から図7は、実際の視線検出に先立ち、被験者とステレオカメラ102との距離が適正であるかを検出して表示する画面の一例を示す図である。被験者が表示画面101の前のステレオカメラ102に映る場所に位置した場合、第1検出部351は、ステレオカメラ102で検出された瞳孔の画像から、瞳孔座標(X,Y)を算出する。また、第2検出部352は、ステレオカメラ102と瞳孔との間の奥行き方向(Z座標)の距離dzを算出する。距離dzが基準距離drに対して±Aの範囲に入った場合(dr−A≦dz≦dr+A)に、被験者は視線検出の適正位置に存在するといえる。Aは、例えば許容範囲を示す予め定められた固定値である。
【0038】
マーカ502は、検出した瞳孔中心位置を中心とした、一定の大きさの正方形のマーカである。目の位置画像503は、瞳孔中心位置を中心として、目の位置を円で表した画像である。距離dzが、基準距離drと一致した場合、表示制御部353は、直径をマーカ502の辺の長さと一致させた目の位置画像503を表示する。
【0039】
目の位置が基準距離drより遠くなる場合、すなわち、距離dzが基準距離drより大きい場合は、表示制御部353は、距離dzに応じて、直径をマーカ502の辺の長さより小さくした目の位置画像503を表示する。目の位置が基準距離drより近くなる場合、すなわち、距離dzが基準距離drより小さい場合は、表示制御部353は、距離dzに応じて、直径をマーカ502の辺の長さより大きくした目の位置画像503を表示する。表示制御部353は、例えば距離dzに比例して目の位置画像503の直径を変更する。
【0040】
このように、目の位置画像503の直径は、例えば距離dzに比例して大きさが変わる。このため、被験者は、目の位置画像503の大きさがマーカ502の大きさより小さい場合、被験者自身の位置が基準距離drより遠いこと、および、目の位置画像503の大きさがマーカ502の大きさより大きい場合、基準距離drより近いことを直感的に理解できる。そして、被験者は、基準距離drに合わせるように位置を調整することができる。
【0041】
図5は、被験者の位置が基準距離drより遠い場合の表示画面101の表示例を示す図である。マーカ502に対して目の位置画像503の大きさが小さいことで、距離dzが基準距離drより遠いことを表している。
【0042】
図6は、被験者の位置が基準距離drより近い場合の表示画面101の表示例を示す図である。マーカ502に対して目の位置画像503の大きさが大きいことで、距離dzが基準距離drより近いことを表している。
【0043】
図7は、被験者の位置が適正な場合の表示画面101の表示例を示す図である。マーカ502の辺の長さと目の位置画像503の直径とが一致していることを表している。
【0044】
図8は、距離dzと目の位置画像503の大きさとの関係の一例を示す図である。図8は、距離dzと目の位置画像503の大きさが比例関係にある例を示している。図9は、距離dzと目の位置画像503の大きさとの関係の他の例を示す図である。図9は、距離dzが適切な距離範囲(例えばdr±Aの範囲)内にある場合には目の位置画像503をマーカ502と同じまたはほぼ同じ大きさで表示し、距離dzが適切な距離範囲から離れると、離れた距離に応じて目の位置画像503の大きさを変更する例を示している。図9では、距離dzが適切な距離範囲外の場合に、距離dzと目の位置画像503の大きさとが非線形の関係にある例が示されている。なお、図8および図9の関係は一例であり、これに限られるものではない。例えば、図9で距離dzが適切な距離範囲外の場合に、距離dzと目の位置画像503の大きさとが比例関係となるように構成してもよい。
【0045】
次に、このように構成された第1の実施形態にかかる視線検出装置100による表示制御処理について説明する。表示制御処理は、実際の視線検出処理に先立って、被験者とステレオカメラ102との距離が適正であるかを検出して表示部に表示する処理である。図10は、第1の実施形態における表示制御処理の一例を示すフローチャートである。
【0046】
まず、被験者が表示画面101の前のステレオカメラ102に映る場所に位置した場合、第1検出部351は、ステレオカメラ102で検出された瞳孔の画像を含むカメラ画像を取得する(ステップS1001)。表示制御部353は、カメラ画像の範囲を示す枠を表示画面101に描画する(ステップS1002)。なお、図4図7のようにカメラ画像の範囲を示す枠を表示しないように構成してもよい。
【0047】
第1検出部351は、カメラ画像から被験者の瞳孔が検出されたか否かを判断する(ステップS1003)。被験者が適切な位置に存在しないなどの理由により被験者の瞳孔が検出されない場合(ステップS1003:No)、表示制御処理を終了する。
【0048】
被験者の瞳孔が検出された場合(ステップS1003:Yes)、第1検出部351は、瞳孔座標(X,Y)を算出する(ステップS1004)。表示制御部353は、カメラ画像の範囲を示す枠内に、被験者の瞳孔座標(X,Y)に対応するディスプレイ相対座標(X1,Y1)を設定する(ステップS1005)。ディスプレイ相対座標は、表示画面101内に表示する画像の位置を表すための座標である。例えば、表示画面101の左上を原点として、上下をY座標(下が+)、横をX座標(右が+)とする座標系をディスプレイ相対座標とすることができる。表示制御部353は、ディスプレイ相対座標(X1,Y1)を中心とした一定の大きさのマーカ502を描画する(ステップS1006)。
【0049】
第2検出部352は、ステレオカメラ102と瞳孔との間の奥行き方向の距離dzを算出する(ステップS1007)。
【0050】
表示制御部353は、距離dzに応じて、目の位置画像503を表す円の半径Rを決定する(ステップS1008)。例えば、距離dzと目の位置画像503の大きさとが図9に示す関係にある場合、表示制御部353は、この関係に従って、距離dzに対応する目の位置画像503(円)の半径Rを決定する。
【0051】
次に、表示制御部353は、距離dzが規定の距離範囲内であるか、すなわち、dr−A≦dz≦dr+Aを満たすかを判断する(ステップS1009)。距離dzが規定の距離範囲内である場合(ステップS1009:Yes)、表示制御部353は、図7のようなマーカ502に内接する円(目の位置画像503)を描画する(ステップS1010)。なお、距離dzと目の位置画像503の大きさとが図8に示す関係にある場合は、表示制御部353は、距離dzが基準距離drと一致する場合に、マーカ502に内接する円(目の位置画像503)を描画する。
【0052】
距離dzが規定の距離範囲内でない場合(ステップS1009:No)、表示制御部353は、ディスプレイ相対座標(X1,Y1)に半径Rの円(目の位置画像503)を描画する(ステップS1011)。例えば、距離dzが基準距離dr−Aよりも小さい場合、表示制御部353は、図5に示すように、マーカ502内に、距離dzに比例した大きさの小さな円を表示する。また、距離dzが基準距離dr+Aよりも大きい場合、表示制御部353は、図6に示すように、マーカ502外に、距離dzに比例した大きさの大きな円を表示する。
【0053】
図10に示したフローチャートによる処理は、逐次繰り返し実行される。これにより、目の位置画像503の表示態様が、被験者の位置の変動や距離dzの変動に逐次対応して変化する。
【0054】
(変形例1)
これまでは、距離に応じて目の位置画像503の表示態様として大きさを変化させる例を説明した。変形例1では、距離に応じて目の位置画像503の色を変化させる例を説明する。変形例1においては、目の位置画像503の色を変化させる例について説明するが、色に限らず明るさを変化させてもよい。本変形例では、距離dzが基準距離drでない場合(または規定の距離範囲内でない場合)と基準距離drである場合(または規定の距離範囲内である場合)とで目の位置画像503の色を変える。これにより、被験者は、位置を調整しながら自身が基準距離drの位置にいるかどうかを確認することができる。
【0055】
例えば、距離dzが基準距離drより大きい場合、表示制御部353は、目の位置画像503の色は黄とする。距離dzが基準距離drに対して近い場合、表示制御部353は、目の位置画像503の色は赤とする。距離dzが基準距離drと一致する場合、表示制御部353は、目の位置画像503の色は緑とする。これにより、被験者は基準距離drにいるかどうかを判断することができる。なお、目の位置画像503の色、および、色の組み合わせは任意であり、上記例に限られるものではない。
【0056】
図11は、変形例1における表示制御処理の一例を示すフローチャートである。
【0057】
ステップS1101からステップS1105までは、第1の実施形態の表示制御処理を表す図10のステップS1001からステップS1005までと同様の処理なので、その説明を省略する。
【0058】
第2検出部352は、ステレオカメラ102と瞳孔との間の奥行き方向の距離dzを算出する(ステップS1106)。表示制御部353は、距離dzが規定の距離範囲内であるか、すなわち、dr−A≦dz≦dr+Aを満たすかを判断する(ステップS1107)。距離dzが規定の距離範囲内である場合(ステップS1107:Yes)、表示制御部353は、ディスプレイ相対座標(X1,Y1)に緑色の円(目の位置画像503)を描画する(ステップS1108)。
【0059】
距離dzが規定の距離範囲内でない場合(ステップS1107:No)、表示制御部353は、さらに距離dzが規定の距離範囲より遠いか否か、すなわち、dr+A<dzを満たすかを判断する(ステップS1109)。距離dzが規定の距離範囲より遠い場合(ステップS1109:Yes)、表示制御部353は、ディスプレイ相対座標(X1,Y1)に黄色の円(目の位置画像503)を描画する(ステップS1110)。距離dzが規定の距離範囲より遠くない場合(ステップS1109:No)、表示制御部353は、ディスプレイ相対座標(X1,Y1)に赤色の円(目の位置画像503)を描画する(ステップS1111)。
【0060】
図11に示したフローチャートによる処理は、逐次繰り返し実行される。これにより、目の位置画像503の表示態様が、被験者の位置の変動や距離dzの変動に逐次対応して変化する。
【0061】
図12は、距離dzと目の位置画像503の表示色との関係の一例を示す図である。図12に示すように、距離dzが適切な距離範囲(例えばdr±Aの範囲)内にある場合には、表示制御部353は、目の位置画像503を緑色で表示する。
【0062】
なお、距離dzに応じて変化させる目の位置画像503の表示態様は、色だけでなく、画像の色調、画像の輝度、および、画像中に含まれる文字または記号または図形であってもよい。
【0063】
図13は、距離dzと目の位置画像503の色調との関係の一例を示す図である。図13に示すように、距離dzが適切な距離範囲(例えばdr±Aの範囲)内にある場合には、表示制御部353は、目の位置画像503を中間の色調で表示する。また、距離dzが適切な距離範囲より近い場合には、表示制御部353は、目の位置画像503を淡い色調で表示する。また、距離dzが適切な距離範囲より遠い場合には、表示制御部353は、目の位置画像503を濃い色調で表示する。
【0064】
変形例1として、目の位置画像503の表示色を変更させる例を説明したが、マーカ502の表示色または明るさに適用してもよい。また、目の位置画像503の形状は円に限らず、目の位置を示すために適切な形状であればどのような形状であってもよい。
【0065】
図14は、距離dzと目の位置画像503とともに表示する表示文字との関係の一例を示す図である。図14に示すように、距離dzが適切な距離範囲(例えばdr±Aの範囲)内にある場合には、表示制御部353は、表示文字を非表示とする。また、距離dzが適切な距離範囲より近い場合には、表示制御部353は、表示文字を「N」とする。また、距離dzが適切な距離範囲より遠い場合には、表示制御部353は、表示文字を「F」とする。なお、表示文字は一例でありこれに限られるものではない。
【0066】
上記図10および図11において説明した処理は、同時に処理されてもよい。すなわち、被験者とステレオカメラ102との距離に応じて、図8または図9のような特性で目の位置画503の大きさを変更するとともに、図12から図14のいずれかに示す特性の表示形態をとってもよい。
【0067】
以上のように、第1の実施形態によれば、例えば以下のような効果が得られる。
(1)適正な位置に対して距離が遠い場合は、マーカ502の大きさに対して目を表す画像が小さくなり、距離が近い場合は、マーカ502の大きさに対して目の位置を表す画像が大きくなることにより、被験者はカメラに対して自分の位置が遠いか近いかを瞬時に判断して調整することができる。
(2)適正な位置になった場合、目を表す画像の色または明るさが変わるため、被験者は適正位置であることを瞬時に判断でき、視線検出開始に備えることができる。
(3)モニタ(表示部)画面の中心付近で注視点と一致する位置に調整指標が見やすくイメージ沿った表示が可能なため、スライドバーで位置を表示するなどの方法に比べて、精度の高い視線検出結果を得ることができる。
【0068】
(第2の実施形態)
第1の実施形態では、撮像部から被験者の目の位置までの距離に応じて、すなわち図1の座標系ではZ座標方向の目の位置に応じて、目の位置画像の表示態様を変化させた。第2の実施形態の視線検出装置は、撮像部に対する被験者の目の上下左右方向の位置に応じて、すなわち図1の座標系ではX座標およびY座標方向の目の位置に応じて、目の位置画像の表示態様を変化させる。
【0069】
第2の実施形態では、制御部300−2の機能が第1の実施形態の視線検出装置100と異なっている。その他の第2の実施形態の視線検出装置の機能の概要は、第1の実施形態の視線検出装置100の機能の概要を示す図2と同様であるため説明を省略する。図15は、第2の実施形態の制御部300−2の構成例を示す機能ブロック図である。
【0070】
図15に示すように、制御部300−2は、第1検出部351と、表示制御部353−2と、を備えている。
【0071】
表示制御部353−2は、被験者の目の位置画像、基準領域の範囲を示す基準画像、および、撮像領域の範囲を示す撮像範囲画像のうち少なくとも1つを、設定領域と被験者の目の位置との位置関係に応じて表示態様を変化させて表示画面101に表示させる。基準領域は、撮像領域に含まれる領域であって、例えば被験者の目の適切な位置の範囲を表す領域として予め定められる。例えば、撮像領域の中心を含む撮像領域内の所定の大きさの領域を基準領域とすることができる。設定領域は、被験者の目の位置を検出するために適切な領域を表す。例えば、基準領域を設定領域としてもよいし、撮像領域を設定領域としてもよい。
【0072】
設定領域は、視線検出装置の動作モードに応じて変更してもよい。動作モードには、例えば、視線検出のキャリブレーションを行うキャリブレーションモードと、通常の視線検出を行う測定モードとが含まれる。以下では、動作モードがキャリブレーションモードのときは設定領域を基準領域とし、動作モードが測定モードのときは設定領域を撮像領域とする例を説明する。
【0073】
基準画像は、基準領域に対応する範囲を表す画像として表示画面101に表示する画像である。基準画像は、例えば表示画面101の中央部に表示される。表示制御部353−2は、例えば、位置関係に応じて基準画像の色を変化させて表示画面101に表示させる。なお、表示態様は色に限られるものではなく、明るさなどを変化させてもよい。
【0074】
図16図18は、キャリブレーションモードで、被験者とステレオカメラ102との位置関係が適正であるかを検出して表示する画面の一例を示す図である。また、図16図18は、基準領域の範囲を示す基準画像(スケール)の色を、設定領域(この例では基準領域)と被験者の目の位置との位置関係に応じて変化させる例を示す。
【0075】
図16は、被験者の両目の位置が基準領域内(=設定領域内)である場合の表示画面101の表示例を示す図である。画面内には、基準画像としてのスケール1601と、撮像範囲画像としての枠1602と、目の位置画像1603と、が表示される。この場合、表示制御部353−2は、緑色のスケール1601を表示する。
【0076】
図17は、被験者の片目の位置が基準領域外(=設定領域外)となった場合の表示画面101の表示例を示す図である。この場合、表示制御部353−2は、目の位置画像1603および赤色のスケール1601を表示する。図18は、被験者の両目の位置が基準領域外(=設定領域外)となった場合の表示画面101の表示例を示す図である。この場合、表示制御部353−2は、目の位置画像1603および赤色のスケール1601を表示する。
【0077】
図19図21は、測定モードで、被験者とステレオカメラ102との位置関係が適正であるかを検出して表示する画面の一例を示す図である。図19は、被験者の両目の位置が基準領域内(=撮像領域内すなわち設定領域内)である場合の表示画面101の表示例を示す図である。画面内には、基準画像としてのスケール1601と、撮像範囲画像としての枠1602と、目の位置画像1603と、が表示される。この場合、表示制御部353−2は、緑色のスケール1601を表示する。
【0078】
図20は、被験者の片目の位置が基準領域外だが、両目の位置が撮像領域内(=設定領域内)である場合の表示画面101の表示例を示す図である。この場合、表示制御部353−2は、目の位置画像1603および緑のスケール1601を表示する。図21は、被験者の両目の位置が撮像領域外(=設定領域外)となった場合の表示画面101の表示例を示す図である。この場合、表示制御部353−2は、目の位置画像1603および赤色のスケール1601を表示する。
【0079】
図22は、第2の実施形態における表示制御処理の一例を示すフローチャートである。
【0080】
まず、表示制御部353−2は、表示画面101に表示する画像内でのカメラ画像の範囲を計算する(ステップS1301)。表示制御部353−2は、表示画面101にカメラ画像の範囲を示す枠1602(撮像範囲画像)を描画する(ステップS1302)。表示制御部353−2は、表示画面101に適切な瞳孔位置範囲を示すためのスケール1601(基準画像)を描画する(ステップS1303)。
【0081】
被験者が表示画面101の前のステレオカメラ102に映る場所に位置した場合、第1検出部351は、ステレオカメラ102で検出された瞳孔の画像を含むカメラ画像を取得する(ステップS1304)。第1検出部351は、カメラ画像から、カメラ画像における瞳孔位置を検出する(ステップS1305)。
【0082】
第1検出部351は、カメラ画像から被験者の瞳孔が検出されたか否かを判断する(ステップS1306)。被験者が適切な位置に存在しないなどの理由により被験者の瞳孔が検出されない場合(ステップS1306:No)、表示制御処理を終了する。
【0083】
被験者の瞳孔が検出された場合(ステップS1306:Yes)、第1検出部351は、瞳孔座標(X,Y)を算出する(ステップS1307)。表示制御部353−2は、撮像範囲画像の枠1602内に、被験者の瞳孔座標(X,Y)に対応するディスプレイ相対座標(X1,Y1)を設定する(ステップS1308)。表示制御部353−2は、ディスプレイ相対座標(X1,Y1)に、瞳孔位置を示す図形(目の位置画像1603)を描画する(ステップS1309)。
【0084】
さらに、表示制御部353−2は、設定領域を設定する(ステップS1310)。例えば、表示制御部353−2は、キャリブレーションモードの場合、基準領域を設定領域に設定する。また、表示制御部353−2は、測定モードの場合、撮像領域を設定領域に設定する。表示制御部353−2は、設定領域がスケール1601の範囲(基準領域)内であるか否かを判断する(ステップS1311)。この判断は、動作モードがキャリブレーションモードであるか否かを判断することと等価である。
【0085】
設定領域がスケール1601の範囲内の場合(ステップS1311:Yes)、表示制御部353−2は、左右の両目それぞれの瞳孔座標(X,Y)が、スケール1601の範囲内(基準領域の範囲内)であるか否かを判断する(ステップS1312)。左右の瞳孔座標(X,Y)が、スケール1601の範囲内の場合(ステップS1312:Yes)、表示制御部353−2は、緑色のスケール1601を表示画面101に表示する(ステップS1315)。左右の瞳孔座標(X,Y)が、スケール1601の範囲内でない場合(ステップS1312:No)、表示制御部353−2は、赤色のスケール1601を表示画面101に表示する(ステップS1314)。
【0086】
設定領域がスケール1601の範囲内でない場合(ステップS1311:No)、表示制御部353−2は、左右の両目それぞれの瞳孔座標(X,Y)が、カメラ画像の範囲内(撮像領域の範囲内)であるか否かを判断する(ステップS1313)。左右の瞳孔座標(X,Y)が、カメラ画像の範囲内の場合(ステップS1312:Yes)、表示制御部353−2は、緑色のスケール1601を表示画面101に表示する(ステップS1317)。左右の瞳孔座標(X,Y)が、カメラ画像の範囲内でない場合(ステップS1313:No)、表示制御部353−2は、赤色のスケール1601を表示画面101に表示する(ステップS1316)。
【0087】
仮に、視線検出のキャリブレーション時(キャリブレーションモード時)のように、より正確な瞳孔位置が求められる場合などは、目の部分の撮影に適した領域は「スケール1601の範囲」(=基準領域)に設定される。図16のように2つの瞳孔がスケール1601の座標の範囲内であれば、被験者の瞳孔位置がカメラに対して適切な位置であるということを表すために、スケール1601の色を緑に変化させる(ステップS1315)。しかし、図17のように片方の瞳孔位置がカメラの範囲内ではあるがスケール1601で示された適切な位置から外れている場合は、被験者の瞳孔位置がカメラに対して適切な位置でないということを表すために、スケール1601の色を赤に変化させる(ステップS1314)。また図18のように両目の瞳孔がカメラ画像の範囲から外れている場合も同様にスケール1601の色を赤に変化させる(ステップS1314)。このようにキャリブレーション時には被験者の瞳孔位置がカメラ(ステレオカメラ102)に対して適切な位置になるように厳しく判断する。
【0088】
通常の視線検出時(測定モード)のように、最低限の瞳孔位置が求められる場合などは、目の部分の撮影に適した領域は「カメラ画像全体の範囲」(=撮像領域)に設定される。図19のように2つの瞳孔がスケール1601の座標の範囲内であれば、被験者の瞳孔位置がカメラに対して適切な位置であるということを表すために、スケール1601の色を緑に変化させる(ステップS1317)。また、図20のように片方の瞳孔位置がカメラの範囲内ではあるがスケール1601で示された適切な位置から外れている場合も、被験者の瞳孔位置がカメラに対して適切な位置であるということを表すために、スケール1601の色を緑に変化させる(ステップS1317)。しかし、図21のように片側の瞳孔がカメラ画像範囲から外れている場合は、視線検出が不可能になるため被験者の瞳孔位置がカメラに対して適切な位置でないということを表すために、スケール1601の色を赤に変化させる(ステップS1316)。このように通常の視線検出時にはカメラに対する被験者の瞳孔位置の許容範囲が広がる。
【0089】
このように、第2の実施形態では、予め設定された動作モードに応じて、被験者が適正位置にいるかどうかの判断基準(設定領域)を変化させ、被験者はそれを容易に判断することができる。
【0090】
(変形例2)
図16図21では、基準領域の範囲を示す基準画像(スケール)の色を変化させる例を説明した。表示態様(色など)を変化させる画像は基準画像に限られるものではなく、被験者等に対して、位置が適切かを知らせることができる画像であればどのような画像であってもよい。例えば、撮像範囲画像や目の位置画像の表示態様を変化させてもよい。また、複数の画像の表示態様を変化させてもよい。例えば、基準画像、撮像範囲画像、および、目の位置画像のうち少なくとも1つの表示態様を変化させてもよい。
【0091】
図23図28は、撮像範囲画像(カメラ画像の範囲を示す枠)の色を変化させる場合の画面例を示す図である。図23〜25は、キャリブレーションモードで、設定領域(=基準領域)と被験者の目の位置との位置関係に応じて撮像範囲画像を変化させる例を示す。
【0092】
図23は、被験者の両目の位置が基準領域内(=設定領域内)である場合の表示画面101の表示例を示す図である。画面内には、スケール2301と、撮像範囲画像としての枠2302と、目の位置画像2303と、が表示される。この場合、表示制御部353−2は、緑色の枠2302を表示する。
【0093】
図24は、被験者の片目の位置が基準領域外(=設定領域外)となった場合の表示画面101の表示例を示す図である。この場合、表示制御部353−2は、目の位置画像2303および赤色の枠2302を表示する。図25は、被験者の両目の位置が基準領域外(=設定領域外)となった場合の表示画面101の表示例を示す図である。この場合、表示制御部353−2は、目の位置画像2303および赤色の枠2302を表示する。
【0094】
図26〜28は、測定モードで、設定領域(=撮像領域)と被験者の目の位置との位置関係に応じて撮像範囲画像を変化させる例を示す。
【0095】
図26は、被験者の両目の位置が基準領域内(=撮像領域内すなわち設定領域内)である場合の表示画面101の表示例を示す図である。画面内には、スケール2301と、枠2302と、目の位置画像2303と、が表示される。この場合、表示制御部353−2は、緑色の枠2302を表示する。
【0096】
図27は、被験者の片目の位置が基準領域外だが、両目の位置が撮像領域内(=設定領域内)である場合の表示画面101の表示例を示す図である。この場合、表示制御部353−2は、目の位置画像2303および緑の枠2302を表示する。図28は、被験者の両目の位置が撮像領域外(=設定領域外)となった場合の表示画面101の表示例を示す図である。この場合、表示制御部353−2は、目の位置画像2303および赤色の枠2302を表示する。
【0097】
以上のように、第2の実施形態によれば、例えば以下のような効果が得られる。
(1)適正位置を示すスケールに対して目を表す画像が表示されるため、被験者はカメラに対して自分の位置が正しいか判断して調整することができる。
(2)適正な位置になった場合、スケールを表す画像の色が変わるため、被験者は適正位置であることを瞬時に判断でき、視線検出開始に備えることができる。
(3)適正な位置で実施されるため、精度の高い視線検出結果を得ることができる。
【符号の説明】
【0098】
100 視線検出装置
101 表示画面
102 ステレオカメラ
105 スピーカ
202 右カメラ
203 光源
204 左カメラ
205 光源
208 駆動・IF部
210 表示部
300 制御部
351 第1検出部
352 第2検出部
353 表示制御部
502 マーカ
503 目の位置画像
1601 スケール
1602 枠
1603 目の位置画像
2301 スケール
2302 枠
2303 目の位置画像
図1
図2
図3
図4
図5
図6
図7
図8
図9
図10
図11
図12
図13
図14
図15
図16
図17
図18
図19
図20
図21
図22
図23
図24
図25
図26
図27
図28