特許 7263959 眼球検出装置、視線検出装置、眼球検出方法、及び眼球検出プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】

(24)【登録日】2023-04-17

(45)【発行日】2023-04-25

(54)【発明の名称】眼球検出装置、視線検出装置、眼球検出方法、及び眼球検出プログラム

(51)【国際特許分類】

   H04N 7/18 20060101AFI20230418BHJP

   A61B 3/113 20060101ALI20230418BHJP

   G06T 7/00 20170101ALI20230418BHJP

【ＦＩ】

H04N7/18 U

A61B3/113

G06T7/00 660A

【請求項の数】 8

(21)【出願番号】P 2019133582

(22)【出願日】2019-07-19

(65)【公開番号】P2021018574

(43)【公開日】2021-02-15

【審査請求日】2022-04-28

【国等の委託研究の成果に係る記載事項】（出願人による申告）平成３０年度 国立研究開発法人日本医療研究開発機構「ＩＣＴを活用した診療支援技術研究開発プロジェクト 注視点検出技術を活用した発達障がい診断システムの開発」委託研究開発、産業技術力強化法第１９条の適用を受ける特許出願

(73)【特許権者】

【識別番号】308036402

【氏名又は名称】株式会社ＪＶＣケンウッド

(74)【代理人】

【識別番号】110002147

【氏名又は名称】弁理士法人酒井国際特許事務所

(72)【発明者】

【氏名】武井 宙之

(72)【発明者】

【氏名】箱嶋 修二

【審査官】秦野 孝一郎

(56)【参考文献】

【文献】特開２０１８－２０５８１９（ＪＰ，Ａ）

【文献】特開２００９－１７６００５（ＪＰ，Ａ）

【文献】特開２０１３－２９９９６（ＪＰ，Ａ）

【文献】特開２００４－７８６３７（ＪＰ，Ａ）

(58)【調査した分野】(Int.Cl.，ＤＢ名)

Ｈ０４Ｎ ７／１８

Ａ６１Ｂ ３／００－３／１８

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

対象者の左右の眼球画像を含む顔画像を取得する撮像装置と、
前記対象者と前記撮像装置との間の第１距離を算出する第１距離算出部と、
前記顔画像から前記左右の眼球画像を探索し、前記探索により前記対象者の左右の一方の眼球画像が検出された場合に、前記一方の眼球画像についての探索結果と、前記第１距離と、前記対象者の左右の眼球間の第２距離とに基づいて、前記顔画像から前記対象者の他方の眼球画像を探索する眼球探索部と
を備える眼球検出装置。

【請求項2】

前記眼球探索部は、前記一方の眼球画像に基づいて眼球位置を算出し、前記一方の眼球画像の眼球位置と、前記第１距離と、前記第２距離とに基づいて前記他方の眼球画像の眼球位置を予測し、予測結果に基づいて前記探索を行う
請求項１に記載の眼球検出装置。

【請求項3】

前記眼球探索部は、前記一方の眼球画像に対して左右方向に平行な仮想直線上の位置に第１探索領域を設定して前記第１探索領域について前記探索を行い、前記第１探索領域において前記他方の眼球画像が検出されない場合、前記第１探索領域に対して前記一方の眼球画像の位置を中心とする回転方向に所定角度ずれた第２探索領域を設定し、前記第２探索領域について前記探索を行う
請求項２に記載の眼球検出装置。

【請求項4】

前記撮像装置によって取得された前記顔画像に基づいて前記第２距離を算出する第２距離算出部を更に備える
請求項１から請求項３のいずれか一項に記載の眼球検出装置。

【請求項5】

前記第１距離算出部は、前記撮像装置によって取得された前記顔画像に基づいて前記第１距離を算出する
請求項１から請求項４のいずれか一項に記載の眼球検出装置。

【請求項6】

請求項１から請求項５のいずれか一項に記載の眼球検出装置により対象者の左右の眼球画像を検出し、検出結果に基づいて対象者の視線を検出する
視線検出装置。

【請求項7】

対象者の左右の眼球画像を含む顔画像を撮像装置により取得することと、
前記対象者と前記撮像装置との間の第１距離を算出することと、
前記顔画像から前記左右の眼球画像を探索することと、
前記探索により前記対象者の左右の一方の眼球画像が検出された場合に、前記一方の眼球画像についての前記探索結果と、前記第１距離と、前記対象者の左右の眼球間の第２距離とに基づいて、前記顔画像から前記対象者の他方の眼球画像を探索することと
を含む眼球検出方法。

【請求項8】

対象者の左右の眼球画像を含む顔画像を撮像装置により取得する処理と、
前記対象者と前記撮像装置との間の第１距離を算出する処理と、
前記顔画像から前記左右の眼球画像を探索する処理と、
前記探索により前記対象者の左右の一方の眼球画像が検出された場合に、前記一方の眼球画像についての前記探索結果と、前記第１距離と、前記対象者の左右の眼球間の第２距離とに基づいて、前記顔画像から前記対象者の他方の眼球画像を探索する処理と
をコンピュータに実行させる眼球検出プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、眼球検出装置、視線検出装置、眼球検出方法、及び眼球検出プログラムに関する。

【背景技術】

【0002】

被験者の視線を検出する視線検出装置として、例えばカメラによって被験者の顔を撮像し、撮像された顔画像から左右の眼球画像を探索により検出し、検出結果に基づいて被験者の視線を検出する構成が知られている（例えば、特許文献１参照）。

【先行技術文献】

【特許文献】

【0003】

【文献】特開２００８－１２５６１９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

特許文献１に記載の視線検出装置では、左右の眼球画像のうち例えば一方の眼球画像を見失った場合であっても、顔画像から左右の両方の眼球画像を探索する必要があり、長い処理時間が必要となる。また、例えば顔認識装置等のように、顔画像から眼球画像を探索する他の装置においても、同様の課題が存在する。

【0005】

本発明は、上記に鑑みてなされたものであり、対象者の眼球を検出する際の処理時間を短縮することが可能な眼球検出装置、視線検出装置、眼球検出方法、及び眼球検出プログラムを提供することを目的とする。

【課題を解決するための手段】

【0006】

本発明に係る眼球検出装置は、対象者の左右の眼球画像を含む顔画像を取得する撮像装置と、前記対象者と前記撮像装置との間の第１距離を算出する第１距離算出部と、前記顔画像から前記左右の眼球画像を探索し、前記探索により前記対象者の左右の一方の眼球画像が検出された場合に、前記一方の眼球画像についての前記眼球検出部の探索結果と、前記第１距離と、前記対象者の左右の眼球間の第２距離とに基づいて、前記顔画像から前記対象者の他方の眼球画像を探索する眼球探索部とを備える。

【0007】

本発明に係る視線検出装置は、上記の眼球検出装置により対象者の左右の眼球画像を検出し、検出結果に基づいて対象者の視線を検出する。

【0008】

本発明に係る眼球検出方法は、対象者の左右の眼球画像を含む顔画像を取得することと、前記対象者と前記撮像装置との間の第１距離を算出することと、前記顔画像から前記左右の眼球画像を探索することと、前記探索により前記対象者の左右の一方の眼球画像が検出された場合に、前記一方の眼球画像についての前記探索結果と、前記第１距離と、前記対象者の左右の眼球間の第２距離とに基づいて、前記顔画像から前記対象者の他方の眼球画像を探索することとを含む。

【0009】

本発明に係る眼球検出プログラムは、対象者の左右の眼球画像を含む顔画像を取得する処理と、前記対象者と前記撮像装置との間の第１距離を算出する処理と、前記顔画像から前記左右の眼球画像を探索する処理と、前記探索により前記対象者の左右の一方の眼球画像が検出された場合に、前記一方の眼球画像についての前記探索結果と、前記第１距離と、前記対象者の左右の眼球間の第２距離とに基づいて、前記顔画像から前記対象者の他方の眼球画像を探索する処理とをコンピュータに実行させる。

【発明の効果】

【0010】

本発明によれば、対象者の眼球を検出する際の処理時間を短縮することが可能な眼球検出装置、視線検出装置、眼球検出方法、及び眼球検出プログラムを提供することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本実施形態に係る視線検出装置の一例を模式的に示す図である。

【図2】図２は、視線検出装置の一例を示す機能ブロック図である。

【図3】図３は、撮像装置によって取得される被験者の顔画像の一例を示す図である。

【図4】図４は、顔画像から眼球画像を検出する動作の一例を示す図である。

【図5】図５は、他方の眼球画像の位置を予測する動作の一例を示す図である。

【図6】図６は、本実施形態に係る眼球検出方法の一例を示すフローチャートである。

【図7】図７は、他方の眼球画像の位置を予測する動作の他の例を示す図である。

【図8】図８は、他方の眼球画像の位置を予測する動作の他の例を示す図である。

【図9】図９は、本実施形態に係る眼球検出方法の他の例を示すフローチャートである。

【発明を実施するための形態】

【0012】

以下、本発明に係る眼球検出装置、視線検出装置、眼球検出方法、及び眼球検出プログラムの実施形態を図面に基づいて説明する。なお、この実施形態によりこの発明が限定されるものではない。また、下記実施形態における構成要素には、当業者が置換可能かつ容易なもの、あるいは実質的に同一のものが含まれる。

【0013】

以下の説明においては、三次元グローバル座標系を設定して各部の位置関係について説明する。所定面の第１軸と平行な方向をＸ軸方向とし、第１軸と直交する所定面の第２軸と平行な方向をＹ軸方向とし、第１軸及び第２軸のそれぞれと直交する第３軸と平行な方向をＺ軸方向とする。所定面はＸＹ平面を含む。

【0014】

［視線検出装置］
図１は、本実施形態に係る視線検出装置（眼球検出装置）１００の一例を模式的に示す図である。本実施形態に係る視線検出装置１００は、被験者（対象者）の視線を検出するものである。視線検出装置１００としては、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する装置、又は被験者の目頭の位置と虹彩の位置とに基づいて視線を検出する装置等、被験者の視線を検出可能な各種の装置を用いることができる。

【0015】

図１に示すように、視線検出装置１００は、表示装置１０と、画像取得装置２０と、コンピュータシステム３０と、出力装置４０と、入力装置５０と、入出力インターフェース装置６０とを備える。表示装置１０、画像取得装置２０、コンピュータシステム３０、出力装置４０及び入力装置５０は、入出力インターフェース装置６０を介してデータ通信を行う。表示装置１０及び画像取得装置２０は、それぞれ不図示の駆動回路を有する。

【0016】

表示装置１０は、液晶ディスプレイ（liquid crystal display：ＬＣＤ）又は有機ＥＬディスプレイ（organic electroluminescence display：ＯＬＥＤ）のようなフラットパネルディスプレイを含む。本実施形態において、表示装置１０は、表示部１１を有する。表示部１１は、画像等の情報を表示する。表示部１１は、ＸＹ平面と実質的に平行である。Ｘ軸方向は表示部１１の左右方向であり、Ｙ軸方向は表示部１１の上下方向であり、Ｚ軸方向は表示部１１と直交する奥行方向である。表示装置１０は、ヘッドマウント型ディスプレイ装置であってもよい。ヘッドマウント型ディスプレイの場合、ヘッドマウントモジュール内に画像取得装置２０のような構成が配置されることになる。

【0017】

画像取得装置２０は、被験者の左右の眼球ＥＢ（左眼ＥＢＬ、右眼ＥＢＲ）を含む顔画像の画像データを取得し、取得した画像データをコンピュータシステム３０に送信する。画像取得装置２０は、撮像装置２１を有する。撮像装置２１は、被験者の左右の眼球ＥＢを含む顔部分を撮影することで、上記画像データを取得する。撮像装置２１は、被験者の視線を検出する方法に応じた各種カメラを有する。例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、撮像装置２１は、赤外線カメラを有し、例えば波長８５０［ｎｍ］の近赤外光を透過可能な光学系と、その近赤外光を受光可能な撮像素子とを有する。また、例えば被験者の目頭の位置と虹彩の位置とに基づいて視線を検出する方式の場合、撮像装置２１は、可視光カメラを有する。撮像装置２１は、フレーム同期信号を出力する。フレーム同期信号の周期は、例えば２０［ｍｓｅｃ］とすることができるが、これに限定されない。また、撮像装置２１は、当該撮像装置２１と被験者の顔との間の第１距離Ｄを検出可能である。このため、撮像装置２１は、例えば第１カメラ２１Ａ及び第２カメラ２１Ｂを有するステレオカメラの構成とすることができるが、これに限定されない。

【0018】

また、例えば被験者の瞳孔の位置と角膜反射像の位置とに基づいて視線を検出する方式の場合、画像取得装置２０は、被験者の眼球ＥＢを照明する照明装置２２を有する。照明装置２２は、ＬＥＤ（light emitting diode）光源を含み、例えば波長８５０［ｎｍ］の近赤外光を射出可能である。なお、例えば被験者の目頭の位置と虹彩の位置とに基づいて視線ベクトルを検出する方式の場合、照明装置２２は設けられなくてもよい。照明装置２２は、撮像装置２１のフレーム同期信号に同期するように検出光を射出する。照明装置２２は、例えば第１光源２２Ａ及び第２光源２２Ｂを有する構成とすることができるが、これに限定されない。

【0019】

コンピュータシステム３０は、視線検出装置１００の動作を統括的に制御する。コンピュータシステム３０は、演算処理装置３０Ａ及び記憶装置３０Ｂを含む。演算処理装置３０Ａは、ＣＰＵ（central processing unit）のようなマイクロプロセッサを含む。記憶装置３０Ｂは、ＲＯＭ（read only memory）及びＲＡＭ（random access memory）のようなメモリ又はストレージを含む。演算処理装置３０Ａは、記憶装置３０Ｂに記憶されているコンピュータプログラム３０Ｃに従って演算処理を実施する。

【0020】

出力装置４０は、フラットパネルディスプレイのような表示装置を含む。なお、出力装置４０は、印刷装置を含んでもよい。入力装置５０は、操作されることにより入力データを生成する。入力装置５０は、コンピュータシステム用のキーボード又はマウスを含む。なお、入力装置５０が表示装置である出力装置４０の表示部に設けられたタッチセンサを含んでもよい。

【0021】

本実施形態に係る視線検出装置１００は、表示装置１０とコンピュータシステム３０とが別々の装置である。なお、表示装置１０とコンピュータシステム３０とが一体でもよい。例えば視線検出装置１００がタブレット型パーソナルコンピュータを含んでもよい。この場合、当該タブレット型パーソナルコンピュータに、表示装置、画像取得装置、コンピュータシステム、入力装置、出力装置等が搭載されてもよい。

【0022】

図２は、視線検出装置１００の一例を示す機能ブロック図である。図２に示すように、コンピュータシステム３０は、表示制御部３１と、距離算出部（第１距離算出部、第２距離算出部）３２と、眼球探索部３３と、注視点検出部３４と、記憶部３５とを有する。コンピュータシステム３０の機能は、演算処理装置３０Ａ及び記憶装置３０Ｂ（図１参照）によって発揮される。なお、コンピュータシステム３０は、一部の機能が視線検出装置１００の外部に設けられてもよい。

【0023】

表示制御部３１は、例えば被験者に注視させる画像、映像、文字等を表示部１１に表示する。

【0024】

距離算出部３２は、被験者装置間距離（第１距離）Ｄ１及び両眼間距離（第２距離）Ｌ１を算出する。被験者装置間距離Ｄ１は、対象者と撮像装置２１との間の距離である。両眼間距離Ｌ１は、対象者の左眼ＥＢＬと右眼ＥＢＲとの間の距離である。距離算出部３２は、撮像装置２１の第１カメラ２１Ａ及び第２カメラ２１Ｂの画像から被験者装置間距離Ｄ１を算出する。

【0025】

また、両眼間距離Ｌ１については、予め測定しておき、測定結果を記憶部３５に記憶させておくことができる。この場合、距離算出部３２は、記憶部３５に記憶された測定結果を両眼間距離Ｌ１として取得することができる。

【0026】

また、距離算出部３２は、予め両眼間距離Ｌ１についての測定結果が得られていない場合であっても、撮像装置２１によって撮像された顔画像において左右の眼球画像が検出される場合には、以下の手順によって両眼間距離Ｌ１を求めることができる。すなわち、撮像装置２１の光検出領域上に結像する被写体像の大きさをＳ［ｍｍ］、レンズの焦点距離をＦ［ｍｍ］とすると、撮像装置２１から距離Ｄ［ｍｍ］離れた位置にある実際の被写体の大きさＲ［ｍｍ］は、次の［数１］で求められる。

【0027】

【数1】

【0028】

また、撮像装置２１の受光部の画素ピッチをＰ［μｍ／ｐｘ］とすると、撮像装置２１によって撮像された画像上における２点間の距離Ｌ［ｐｘ］は、次の［数２］で求められる。

【0029】

【数2】

【0030】

したがって、被験者と撮像装置２１との距離（被験者装置間距離）をＤ１、撮像装置２１によって撮像された顔画像上における両方の眼球画像間の距離（以下、眼球画像間距離と表記する）をＬ２とすると、被験者の実際の左右の眼球間の距離である両眼間距離Ｌ１［ｍｍ］は、［数１］及び［数２］から以下の［数３］で求められる。

【0031】

【数3】

【0032】

距離算出部３２は、上記の［数３］を用いることにより、被験者装置間距離Ｄ１と、眼球画像間距離Ｌ２とに基づいて、両眼間距離Ｌ１を求めることができる。

【0033】

眼球探索部３３は、撮像装置２１によって取得された顔画像から左右の眼球画像Ｅ（ＥＬ、ＥＲ）を探索する。眼球探索部３３は、例えば顔画像と予め記憶部３５に記憶された眼球のパターン等とを比較し、比較結果に基づいて眼球画像Ｅを探索する。眼球探索部３３は、探索周期としては、例えば撮像装置２１から出力されるフレーム同期信号の周期（例えば２０［ｍｓｅｃ］毎）と同一の周期とすることができる。

【0034】

例えば、眼球探索部３３は、初回の探索では顔画像の全体に亘って眼球画像Ｅを探索し、眼球画像Ｅを検出した場合には当該眼球画像Ｅに基づく眼球位置を記憶部３５に記憶させる。当該眼球位置としては、例えば基準座標、瞳孔座標、角膜反射座標等が挙げられる。基準座標は、眼球画像Ｅの中心位置の座標等、眼球画像Ｅについて基準となる位置の座標である。瞳孔座標は、眼球画像Ｅにおける瞳孔中心の位置を示す座標である。角膜反射座標は、眼球画像Ｅにおける角膜反射中心の位置を示す座標である。なお、瞳孔座標又は角膜反射座標が基準座標となってもよい。眼球探索部３３は、次回以降の探索では、記憶部３５に記憶された眼球位置を中心とした所定半径内の領域を探索する。これにより、顔画像の全体を毎回探索する場合に比べて、処理時間が短縮される。

【0035】

注視点検出部３４は、被験者の注視点の位置データを検出する。本実施形態において、注視点検出部３４は、撮像装置２１によって撮像される被験者の顔画像における左右の眼球画像に基づいて、三次元グローバル座標系で規定される被験者の視線ベクトルを検出する。注視点検出部３４は、検出した被験者の視線ベクトルと表示装置１０の表示部１１との交点の位置データを、被験者の注視点の位置データとして検出する。つまり、本実施形態において、注視点の位置データは、三次元グローバル座標系で規定される被験者の視線ベクトルと、表示装置１０の表示部１１との交点の位置データである。これにより、被験者が表示部１１のどの位置を注視しているかを検出することができる。注視点検出部３４は、規定のサンプリング周期毎に被験者の注視点の位置データを検出する。このサンプリング周期は、例えば撮像装置２１から出力されるフレーム同期信号の周期（例えば２０［ｍｓｅｃ］毎）とすることができる。

【0036】

記憶部３５は、上記の被験者装置間距離Ｄ１及び両眼間距離Ｌ１の距離データ、眼球画像間距離Ｌ２の距離データ、眼球画像の位置データ、注視点データ等を記憶する。また、記憶部３５は、被験者の左右の眼球画像を含む顔画像を取得する処理と、被験者装置間距離Ｄ１を算出する処理と、顔画像から左右の眼球画像を探索する処理と、探索により被験者の左右の一方の眼球画像が検出された場合に、一方の眼球画像についての探索結果と、被験者装置間距離Ｄ１と、被験者の両眼間距離Ｌ１とに基づいて、顔画像から被験者の他方の眼球画像を探索する処理とをコンピュータに実行させる眼球検出プログラムを記憶する。

【0037】

［眼球検出方法］
次に、本実施形態に係る眼球検出方法について説明する。本実施形態に係る眼球検出方法は、上記の視線検出装置１００を用いて被験者の視線を 検出する際、被験者の眼球の検出に用いることができる。

【0038】

図３は、撮像装置２１によって取得される被験者の顔画像の一例を示す図である。図３に示すように、眼球探索部３３は、撮像装置２１によって取得される顔画像ＩＭから、被験者Ｈの眼球画像Ｅを探索する。図３において、眼球探索部３３は、予め記憶部３５に記憶される眼球画像のパターンと顔画像ＩＭとを比較することにより、眼球画像Ｅとして、左眼球画像ＥＬと、右眼球画像ＥＲとを検出可能である。左眼球画像ＥＬ及び右眼球画像ＥＲの両方の眼球画像Ｅの検出に成功した場合、距離算出部３２は、左右の眼球画像Ｅの眼球画像間距離Ｌ２を算出し、算出結果と上記の［数３］とに基づいて両眼間距離Ｌ１を算出して、当該両眼間距離Ｌ１を記憶部３５に記憶させる。また、眼球探索部３３は、検出結果に基づいて、左右の眼球画像ＥＬの顔画像ＩＭにおける位置を算出し、算出結果を記憶部３５に記憶させる。

【0039】

注視点検出部３４は、顔画像ＩＭにおける左右の眼球画像Ｅに基づいて、被験者の視線ベクトルを検出する。そして、注視点検出部３４は、所定のサンプリング周期毎に、検出した被験者の視線ベクトルと表示装置１０の表示部１１との交点の位置データを、被験者の注視点の位置データとして検出する。

【0040】

ここで、眼球探索部３３は、各回の探索において、眼球画像Ｅの検出に失敗することがある。眼球画像Ｅの検出失敗の原因として、まず、被験者が瞬きをすることが挙げられる。被験者が瞬きをすることで、瞼が閉じられた状態の顔画像ＩＭが取得される。このため、眼球探索部３３は、予め記憶された眼球のパターンに対応した眼球画像Ｅを顔画像ＩＭから検出することができなくなる。しかしながら、瞬きの場合、瞼が閉じられてはいるが、左右の眼球画像ＥＬ、ＥＲの位置はほとんど変わらず、また、瞼が閉じられる期間は短い。このため、眼球画像Ｅの検出失敗の原因が瞬きである場合、ある回の探索では被験者が瞼を閉じていても、次回以降の探索では被験者が瞼を開いている可能性が高い。このため、瞬きが原因の場合、次回以降の探索において直前の探索と同一の探索範囲を探索することにより、眼球画像Ｅが検出される可能性が高い。したがって、眼球画像Ｅの検出失敗が生じた場合、眼球探索部３３は、次回の探索においては、直前の探索と同一の探索範囲を探索するようにする。

【0041】

次に、眼球画像Ｅを検出できない場合の例として、被験者が顔を背けたり、俯いたりすることで、被験者の顔の位置が変化する場合が挙げられる。この場合、顔の位置の変化に伴って左右の眼球ＥＢの位置が移動する可能性が高く、また、眼球画像Ｅが検出できない期間が瞬きよりも長い。このため、眼球画像Ｅが検出できない原因が顔の位置の変化である場合、顔画像から再度眼球画像Ｅを探索し直す必要がある。したがって、眼球画像Ｅの検出失敗が例えば所定期間以上に亘って続いた場合、眼球探索部３３は、以下のように探索方法を変更する。

【0042】

図４は、顔画像ＩＭから眼球画像Ｅを検出する動作の一例を示す図である。眼球探索部３３は、図４に示すように、まず、取得された顔画像ＩＭにおいて、左右の一方の眼球画像Ｅを検出する。左右の一方の眼球画像Ｅ（例えば、右眼球画像ＥＲ）を検出する場合、一方の眼球画像Ｅについて探索領域ＤＡを設定して探索する。このため、左右の両方の眼球画像Ｅを検出する場合に比べて処理時間が短くて済む。一方の眼球画像Ｅが検出された場合、眼球探索部３３は、当該一方の眼球画像Ｅについての探索結果と、被験者装置間距離Ｄ１と、両眼間距離Ｌ１とに基づいて、顔画像ＩＭから被験者Ｈの他方の眼球画像Ｅ（例えば、左眼球画像ＥＬ）を探索する。

【0043】

この場合、眼球探索部３３は、当該一方の眼球画像Ｅの顔画像ＩＭにおける位置を算出する。そして、眼球探索部３３は、算出した一方の眼球画像Ｅに基づく眼球位置と、被験者装置間距離Ｄ１と、両眼間距離Ｌ１とに基づいて他方の眼球画像の位置を予測し、予測結果に基づいて探索を行う。

【0044】

ここで、上記の［数３］から、眼球画像間距離Ｌ２は、［数４］で表される。

【0045】

【数4】

【0046】

眼球探索部３３は、上記［数４］を用いて眼球画像間距離Ｌ２を算出する。眼球探索部３３は、算出した距離Ｌ２を用いて他方の眼球画像Ｅの眼球位置を予測する。

【0047】

つまり、検出された一方の眼球画像Ｅから左右方向に眼球画像間距離Ｌ２だけ離れた位置に第１探索領域を設定する。第１探索領域の原点の座標（ｘ，ｙ）は、以下の［数５］のように表すことができる。なお、θは、一方の眼球画像Ｅを中心とする回転方向の角度を示す。

【0048】

【数5】

【0049】

図５は、他方の眼球画像Ｅの眼球位置を予測する動作の一例を示す図である。以下の例では、検出された一方の眼球画像Ｅが右眼球画像ＥＲであり、検出に失敗した他方の眼球画像Ｅが左眼球画像ＥＬである場合を例に挙げて説明するが、これに限定されない。例えば、検出された一方の眼球画像Ｅが左眼球画像ＥＬであり、検出に失敗した他方の眼球画像Ｅが右眼球画像ＥＲである場合であっても同様の説明が可能である。

【0050】

図５に示すように、眼球探索部３３は、まず、取得された顔画像ＩＭのうち、検出された右眼球画像ＥＲに対して左右方向に平行な仮想直線Ｍ上の位置に第１探索領域ＤＡ１、ＤＡ２を設定する。眼球探索部３３は、右眼球画像ＥＲと第１探索領域ＤＡ１、ＤＡ２との距離が、それぞれ眼球画像間距離Ｌ２と等しくなるように第１探索領域ＤＡ１、ＤＡ２を設定する。第１探索領域ＤＡ１、ＤＡ２は、右眼球画像ＥＲを中心として左右方向の両側に等距離の位置に設定される。

【0051】

眼球探索部３３は、設定した第１探索領域ＤＡ１、ＤＡ２について探索を行う。眼球探索部３３は、右眼球画像ＥＲに対して右方の第１探索領域ＤＡ１、及び右眼球画像ＥＲに対して左方の第１探索領域ＤＡ２に対して、同時に探索を行ってもよいし、異なるタイミングで探索を行ってもよい。

【0052】

図６は、本実施形態に係る眼球検出方法の一例を示すフローチャートである。図６に示すように、眼球探索部３３は、計測開始の指示が入力された場合（ステップＳ１０１）、カウンタＣＮＴ１をリセットし（ステップＳ１０２）、撮像装置２１によって撮像された顔画像ＩＭを取得する（ステップＳ１０３）。

【0053】

取得された顔画像ＩＭに基づき、眼球探索部３３において左右の眼球画像を探索すると共に、距離算出部３２において被験者装置間距離Ｄ１を算出する（ステップＳ１０４）。眼球探索部３３において左右の両方の眼球画像Ｅの検出に成功した場合（ステップＳ１０５のＹｅｓ）、距離算出部３２は、眼球画像間距離Ｌ２が取得済みか否かを判定し（ステップＳ１０６）、取得されていないと判定された場合には（ステップＳ１０６のＮｏ）、眼球画像間距離Ｌ２を取得する（ステップＳ１０７）。ステップＳ１０７において、距離算出部３２は、記憶部３５に予め被験者の両眼間距離Ｌ１が記憶されている場合、当該両眼間距離Ｌ１に基づいて眼球画像間距離Ｌ２を算出する。また、両眼間距離Ｌ１が記憶されていない場合、距離算出部３２は、両方の眼球画像Ｅの検出結果に基づいて、両眼間距離Ｌ１および、眼球画像間距離Ｌ２を算出する。距離算出部３２は、取得した眼球画像間距離Ｌ２を記憶部３５に記憶させる。記憶部３５に予め被験者の両眼間距離Ｌ１が記憶されていない場合、両眼間距離Ｌ１も記憶部３５に記憶させる（ステップＳ１０８）。その後、以下のステップＳ１１７の処理に進む。

【0054】

一方、両方の眼球画像Ｅの検出に成功しなかった場合（ステップＳ１０５のＮｏ）、両方の眼球画像Ｅについて共に検出失敗したか否かを判定する（ステップＳ１０９）。両方の眼球画像Ｅについて共に検出失敗した場合（ステップＳ１０９のＹｅｓ）、眼球探索部３３は、カウンタＣＮＴ１の値を＋１とし（ステップＳ１１０）、カウンタＣＮＴ１の値が規定値以上であるか否かを判定する（ステップＳ１１１）。カウンタＣＮＴ１の値が規定値以上であると判定された場合（ステップＳ１１１のＹｅｓ）、眼球探索部３３は、顔画像ＩＭのうち左右の一方の眼球画像Ｅを探索する（ステップＳ１１２）。探索の結果、左右の一方の眼球画像Ｅが検出された場合（ステップＳ１１３のＹｅｓ）、以下のステップＳ１１４の処理に進む。

【0055】

また、ステップＳ１１１においてカウンタＣＮＴ１の値が規定値以上ではない場合（ステップＳ１１１のＮｏ）、また、ステップＳ１１３において眼球画像Ｅが検出されない場合（ステップＳ１１３のＮｏ）には、以下のステップＳ１１９の処理に進む。

【0056】

一方の眼球画像Ｅを検出した場合、眼球探索部３３は、被験者装置間距離Ｄ１と眼球画像間距離Ｌ２とに基づいて、未検出である他方の眼球画像Ｅの眼球位置を予測する（ステップＳ１１４）。ステップＳ１１４の予測において、眼球探索部３３は、取得された顔画像ＩＭのうち、検出された一方の眼球画像Ｅに対して左右方向に平行な仮想直線上の位置に第１探索領域ＤＡ１、ＤＡ２を設定する。眼球探索部３３は、予測された第１探索領域ＤＡ１、ＤＡ２において他方の眼球画像Ｅを探索する（ステップＳ１１５）。

【0057】

探索の結果、他方の眼球画像Ｅが検出された場合（ステップＳ１１６のＹｅｓ）、又は、上記ステップＳ１０８を行った後、眼球探索部３３は、検出された左右の眼球画像Ｅの眼球位置を記憶部３５に記憶させ（ステップＳ１１７）、カウンタＣＮＴ１をリセットする（ステップＳ１１８）。一方、他方の眼球画像Ｅが検出されなかった場合（ステップＳ１１６のＮｏ）、以下のステップＳ１１９の処理に進む。

【0058】

その後、計測終了の指示が入力された場合（ステップＳ１１９）、処理を終了する。また、計測終了の指示が入力されない場合（ステップＳ１１９のＮｏ）、ステップＳ１０３に戻って処理を行う。

【0059】

以上のように、本実施形態に係る視線検出装置１００は、被験者の左右の眼球画像Ｅを含む顔画像ＩＭを取得する撮像装置２１と、被験者と撮像装置２１との間の被験者装置間距離Ｄ１を算出する距離算出部３２と、顔画像ＩＭから被験者の左右の眼球画像Ｅを探索し、探索により被験者の左右の一方の眼球画像Ｅが検出された場合に、一方の眼球画像Ｅについての探索結果と、被験者装置間距離Ｄ１と、被験者の左右の眼球間の眼球画像間距離Ｌ２とに基づいて、顔画像ＩＭから被験者の他方の眼球画像Ｅを探索する眼球探索部３３とを備える。また、本実施形態に係る視線検出装置１００は、被験者の左右の眼球画像Ｅを検出し、検出結果に基づいて被験者の視線を検出する。

【0060】

本実施形態に係る眼球検出方法は、被験者の左右の眼球画像Ｅを含む顔画像ＩＭを取得することと、被験者と撮像装置２１との間の被験者装置間距離Ｄ１を算出することと、顔画像ＩＭから左右の眼球画像Ｅを探索することと、探索により被験者の左右の一方の眼球画像Ｅが検出された場合に、一方の眼球画像Ｅについての探索結果と、被験者装置間距離Ｄ１と、被験者の左右の眼球間の眼球画像間距離Ｌ２とに基づいて、顔画像ＩＭから被験者の他方の眼球画像Ｅを探索することとを含む。

【0061】

本実施形態に係る眼球検出プログラムは、被験者の左右の眼球画像Ｅを含む顔画像ＩＭを取得する処理と、被験者と撮像装置２１との間の被験者装置間距離Ｄ１を算出する処理と、顔画像ＩＭから左右の眼球画像Ｅを探索する処理と、探索により被験者の左右の一方の眼球画像Ｅが検出された場合に、一方の眼球画像Ｅについての探索結果と、被験者装置間距離Ｄ１と、被験者の左右の眼球間の眼球画像間距離Ｌ２とに基づいて、顔画像ＩＭから被験者の他方の眼球画像Ｅを探索する処理とをコンピュータに実行させる。

【0062】

本実施形態では、被験者の左右の一方の眼球画像Ｅが検出された場合に、一方の眼球画像Ｅについての探索結果と、被験者装置間距離Ｄ１と、被験者の左右の眼球間の眼球画像間距離Ｌ２とに基づいて、顔画像ＩＭから被験者の他方の眼球画像Ｅを探索するため、左右の両方の眼球画像Ｅを検出する場合に比べて処理時間が短くて済む。このため、被験者の眼球を検出する際の処理時間を短縮することが可能となる。

【0063】

本実施形態に係る視線検出装置１００において、眼球探索部３３は、一方の眼球画像Ｅに基づいて一方の眼球画像Ｅの眼球位置を算出し、一方の眼球画像Ｅの眼球位置と、被験者装置間距離Ｄ１と、眼球画像間距離Ｌ２とに基づいて他方の眼球画像Ｅの眼球位置を予測し、予測結果に基づいて探索を行う。これにより、他方の眼球画像Ｅの探索精度が向上する。

【0064】

本実施形態に係る視線検出装置１００において、距離算出部３２は、撮像装置２１によって取得された顔画像ＩＭに基づいて眼球画像間距離Ｌ２を算出する。これにより、被験者の両眼間距離Ｌ１を予め取得していない状態であっても、眼球画像間距離Ｌ２を取得することができる。

【0065】

本実施形態に係る視線検出装置１００において、距離算出部３２は、撮像装置２１によって取得された顔画像に基づいて被験者装置間距離Ｄ１を算出する。これにより、被験者装置間距離Ｄ１を測定するための手段等を別途設ける必要が無く、効率的に被験者装置間距離Ｄ１を算出することができる。

【0066】

本発明の技術範囲は上記実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で適宜変更を加えることができる。例えば、上記実施形態において、上記の第１探索領域ＤＡ１、ＤＡ２（図５参照）で他方の眼球画像Ｅが検出されない場合、眼球探索部３３は、第１探索領域ＤＡ１、ＤＡ２に対して一方の眼球画像Ｅの眼球位置を中心とする回転方向に所定角度ずれた第２探索領域を設定し、第２探索領域について探索を行うことができる。

【0067】

図７及び図８は、他方の眼球画像Ｅの眼球位置を予測する動作の他の例を示す図である。図７に示すように、眼球探索部３３は、第１探索領域ＤＡ１、ＤＡ２に対して、被験者Ｈ２の右眼球画像ＥＲを中心とした反時計回りの方向に角度θ２だけずれた位置に第２探索領域ＤＡ３、ＤＡ４を設定し、当該第２探索領域ＤＡ３、ＤＡ４を探索する。この場合、右眼球画像ＥＲと第２探索領域ＤＡ３、ＤＡ４との距離は、それぞれ眼球画像間距離Ｌ２と等しくなる。

【0068】

図７に示す第２探索領域ＤＡ３、ＤＡ４において他方の眼球画像Ｅが検索されない場合、眼球探索部３３は、第２探索領域ＤＡ３、ＤＡ４に対して、右眼球画像ＥＲを中心とした反時計回りの方向に更に角度θ２だけずれた位置に第２探索領域を設定し、当該第２探索領域を探索する。以降、新たに設定した第２探索領域において他方の眼球画像Ｅが検索されない場合、眼球探索部３３は、当該第２探索領域に対して、右眼球画像ＥＲを中心とした反時計回りの方向に角度θ２ずつずれた位置に新たな第２探索領域を設定し、当該第２探索領域を探索する。眼球探索部３３は、第１探索領域ＤＡ１、ＤＡ２に対して、右眼球画像ＥＲを中心とした反時計回りの方向に所定角度以下の範囲で第２探索領域を設定することができる。

【0069】

また、第１探索領域ＤＡ１、ＤＡ２に対して、右眼球画像ＥＲを中心とした反時計回りの方向に所定角度の範囲で第２探索領域を設定して探索を行っても他方の眼球画像Ｅが検索されない場合、眼球探索部３３は、図８に示すように、第１探索領域ＤＡ１、ＤＡ２に対して、右眼球画像ＥＲを中心とした時計回りの方向に角度θ３だけずれた位置に第２探索領域ＤＡ５、ＤＡ６を設定し、当該第２探索領域ＤＡ５、ＤＡ６を探索する。この場合、右眼球画像ＥＲと第２探索領域ＤＡ５、ＤＡ６との距離は、それぞれ眼球画像間距離Ｌ２と等しくなる。

【0070】

図８に示す第２探索領域ＤＡ５、ＤＡ６において被験者Ｈ３の他方の眼球画像Ｅが検索されない場合、眼球探索部３３は、第２探索領域ＤＡ５、ＤＡ６に対して、右眼球画像ＥＲを中心とした反時計回りの方向に更に角度θ３だけずれた位置に第２探索領域を設定し、当該第２探索領域を探索する。以降、新たに設定した第２探索領域において他方の眼球画像Ｅが検索されない場合、眼球探索部３３は、当該第２探索領域に対して、右眼球画像ＥＲを中心とした反時計回りの方向に角度θ３ずつずれた位置に新たな第２探索領域を設定し、当該第２探索領域を探索する。眼球探索部３３は、第１探索領域ＤＡ１、ＤＡ２に対して、右眼球画像ＥＲを中心とした時計回りの方向に所定角度以下の範囲で第２探索領域を設定することができる。なお、図７及び図８では、まず反時計回りの方向に第２探索領域を設定し、その後時計回りの方向に第２探索領域を設定する場合を例に挙げて説明したが、これに限定されない。上記とは逆に、まず時計回りの方向に第２探索領域を設定し、その後反時計回りの方向に第２探索領域を設定してもよい。

【0071】

図９は、変形例に係る眼球検出方法を示すフローチャートである。図９に示すように、ステップＳ１１６以外の各ステップについては、上記実施形態と同様である。ステップＳ１１６の判定の結果、第１探索領域ＤＡ１、ＤＡ２において他方の眼球画像Ｅが検出されたと判定される場合（ステップＳ１１６のＹｅｓ）、上記実施形態と同様、ステップＳ１１７以降の動作を行わせる。

【0072】

一方、第１探索領域ＤＡ１、ＤＡ２において他方の眼球画像Ｅが検出されないと判定される場合（ステップＳ１１６のＮｏ）、眼球探索部３３は、第１探索領域ＤＡ１、ＤＡ２に対して、右眼球画像ＥＲを中心とした反時計回り又は時計回りの方向に所定角度の範囲で第２探索領域を設定して探索を行う（ステップＳ１２０）。ステップＳ１２０において、第１探索領域ＤＡ１、ＤＡ２に対して第２探索領域を所定角度以上移動させた場合（ステップＳ１２１）、ステップＳ１１９以降の処理を行わせる。また、ステップＳ１２０において、第１探索領域ＤＡ１、ＤＡ２に対して第２探索領域の移動が所定角度未満である場合、（ステップＳ１２１）ステップＳ１１９以降の処理を行わせる。

【0073】

このように、第１探索領域ＤＡ１、ＤＡ２で他方の眼球画像Ｅが検出されない場合、眼球探索部３３は、第１探索領域ＤＡ１、ＤＡ２に対して一方の眼球画像Ｅを中心とする回転方向に所定角度ずれた第２探索領域を設定し、第２探索領域について探索を行うことにより、被験者が顔を傾けている場合等、一方の眼球画像Ｅに対して他方の眼球画像Ｅが回転方向にずれている場合についても、他方の眼球画像Ｅを検出することが可能となる。これにより、眼球画像Ｅの検出精度を高めることができる。

【0074】

また、上記実施形態では、眼球検出装置が視線検出装置１００に適用された構成を例に挙げて説明したが、これに限定されない。眼球検出装置は、例えば顔画像認識装置等のように、対象者の顔画像を取得し、当該顔画像から眼球画像を検出する他の装置に対しても適用することが可能である。

【0075】

また、上記実施形態では、撮像装置２１の第１カメラ２１Ａ及び第２カメラ２１Ｂの画像から被験者装置間距離Ｄ１を算出する例を説明したが、この方法に限定されず、例えばレーザ距離計等を用いて距離を測定しても良い。

【符号の説明】

【0076】

θ２，θ３…角度、Ｄ…第１距離、Ｄ１…被験者装置間距離、ＤＡ１，ＤＡ２…第１探索領域、ＤＡ３，ＤＡ４，ＤＡ５，ＤＡ６…第２探索領域、Ｅ…眼球画像、ＥＢ…眼球、ＥＬ…左眼球画像、Ｈ，Ｈ２，Ｈ３…被験者、Ｌ１…眼間距離、Ｌ２…眼球画像間距離、Ｍ…仮想直線、ＩＭ…顔画像、ＥＲ…右眼球画像、ＥＢＬ…左眼、ＥＢＲ…右眼、ＣＮＴ１…カウンタ、１０…表示装置、１１…表示部、２０…画像取得装置、２１…撮像装置、２１Ａ…第１カメラ、２１Ｂ…第２カメラ、２２…照明装置、２２Ａ…第１光源、２２Ｂ…第２光源、３０…コンピュータシステム、３０Ａ…演算処理装置、３０Ｂ…記憶装置、３０Ｃ…コンピュータプログラム、３１…表示制御部、３２…距離算出部、３３…眼球探索部、３４…注視点検出部、３５…記憶部、４０…出力装置、５０…入力装置、６０…入出力インターフェース装置、１００…視線検出装置

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】