特許 6503856 虹彩パタン比較装置及びプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6503856

(24)【登録日】2019年4月5日

(45)【発行日】2019年4月24日

(54)【発明の名称】虹彩パタン比較装置及びプログラム

(51)【国際特許分類】

   A61B 3/10 20060101AFI20190415BHJP

   A61B 3/107 20060101ALI20190415BHJP

   A61B 3/103 20060101ALI20190415BHJP

【ＦＩ】

   A61B3/10 Z

   A61B3/10 H

   A61B3/10 M

【請求項の数】8

【全頁数】19

(21)【出願番号】特願2015-80841(P2015-80841)

(22)【出願日】2015年4月10日

(65)【公開番号】特開2016-198301(P2016-198301A)

(43)【公開日】2016年12月1日

【審査請求日】2017年12月27日

(73)【特許権者】

【識別番号】000003609

【氏名又は名称】株式会社豊田中央研究所

(74)【代理人】

【識別番号】100079049

【弁理士】

【氏名又は名称】中島 淳

(74)【代理人】

【識別番号】100084995

【弁理士】

【氏名又は名称】加藤 和詳

(72)【発明者】

【氏名】阿部 朋子

【審査官】 ▲高▼原 悠佑

(56)【参考文献】

【文献】 特開２００６−３０８３７５（ＪＰ，Ａ）

【文献】 特開２００８−２６４３４１（ＪＰ，Ａ）

【文献】 国際公開第２０１３／１２５７０７（ＷＯ，Ａ１）

【文献】 国際公開第２００８／０４１４１４（ＷＯ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３／００−３／１８

Ｇ０６Ｆ ２１／３２

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段と、
基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像上の座標であって、角膜上の各点の座標を補正する補正手段と、
前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段と、
を含む虹彩パタン比較装置。

【請求項2】

前記予め求められた基準虹彩パタンと、前記パタン切出し手段によって切り出された比較虹彩パタンとを比較し、基準虹彩パタンに対する比較虹彩パタンの相対的な回旋角度を算出する回旋角度算出手段を更に含む請求項１記載の虹彩パタン比較装置。

【請求項3】

眼球姿勢角の各々について予め求められた、前記基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、前記眼球姿勢角とに基づく、前記眼球姿勢角での角膜上の各点の屈折ずれ量を表すマップを記憶した記憶手段を更に含み、
前記補正手段は、現在の眼球姿勢角についての前記マップに基づいて、前記画像取得手段によって取得された前記眼球画像における角膜上の各点の座標を補正する請求項１又は２記載の虹彩パタン比較装置。

【請求項4】

前記補正手段は、瞳孔から瞳孔径方向に引いた直線上の瞳孔端の点と角膜端の点との間の所定間隔に並ぶ観察点の各々について、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記眼球画像上の座標であって、角膜上の前記観察点の座標を補正し、
前記パタン切出し手段は、前記補正手段によって補正された前記眼球画像における角膜上の観察点の各々の座標に基づいて、前記画像取得手段によって取得された前記眼球画像上にグリッドを設定して、前記比較虹彩パタンを切り出す請求項１〜請求項３の何れか１項記載の虹彩パタン比較装置。

【請求項5】

前記基準虹彩パタンは、前記基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、基準となる眼球画像における眼球姿勢角とに基づいて求められる、前記基準となる眼球画像における眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて補正された、前記基準となる眼球画像における角膜上の各点の座標に基づいて、前記基準となる眼球画像から切り出された請求項１〜請求項４の何れか１項記載の虹彩パタン比較装置。

【請求項6】

前記画像取得手段によって取得された前記眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定する範囲決定手段を更に含み、
前記パタン切出し手段は、前記補正手段によって補正された前記眼球画像における角膜上の各点の座標と、前記範囲決定手段によって決定された前記瞳孔周方向又は瞳孔径方向の範囲とに基づいて、前記画像取得手段によって取得された前記眼球画像から前記比較虹彩パタンを切り出す請求項１〜請求項５の何れか１項記載の虹彩パタン比較装置。

【請求項7】

前記範囲決定手段は、前記画像取得手段によって取得された前記眼球画像における瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔径方向の範囲を決定し、前記眼球画像における瞳孔の位置に応じて、予め定められた前記瞳孔周方向の範囲を変更する請求項６記載の虹彩パタン比較装置。

【請求項8】

コンピュータを、
被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段、
基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像上の座標であって、角膜上の各点の座標を補正する補正手段、及び
前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段
として機能させるためのプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、虹彩パタン比較装置及びプログラムに係り、特に、眼画像から虹彩パタンを切り出して基準虹彩パタンと比較する虹彩パタン比較装置及びプログラムに関する。

【背景技術】

【0002】

従来より、計測対象者の眼球を撮影して眼球画像を取得する眼球撮影手段と、角膜における屈折を考慮して前記眼球画像を補正する眼球画像補正手段と、前記眼球画像から虹彩パターンを取得する虹彩パターン取得手段と、基準となる前記虹彩パターンである基準虹彩パターンと、計測対象の前記虹彩パターンである計測虹彩パターンとを比較し、前記基準虹彩パターンに対する前記計測虹彩パターンの相対的な回旋角度を計測する回旋角度計測手段を備えることを特徴とする眼球運動計測装置が知られている（特許文献１）。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特許第５１５８８４２号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

上記特許文献１に記載の技術では、角膜における屈折補正を瞳孔中心算出時にのみ行い、虹彩パタンを切り出すときには行っておらず、瞳孔楕円を中心に単純に同心楕円形状に切り出している。このため、瞳孔パタンが歪んで切り出されてしまう、という問題がある。

【0005】

また、上記特許文献１に記載の技術では、基準となる眼球画像の瞳孔全周パタンと、比較する眼球画像の瞳孔全周パタンを用いて位相限定相関法によるマッチングを行っていたため、部分的に欠損があったり全体として画像が不明瞭であったりすると相関が悪くなる、という問題がある。

【0006】

本発明は、上記の問題点を解決するためになされたもので、眼球姿勢角を考慮して、虹彩パタンを比較することができる虹彩パタン比較装置及びプログラムを提供することを第１の目的とする。

【0007】

また、部分的な欠損があったり画像全体として不明瞭であっても、虹彩パタンを比較することができる虹彩パタン比較装置及びプログラムを提供することを第２の目的とする。

【課題を解決するための手段】

【0008】

上記の第１の目的を達成するために第１の発明に係る虹彩パタン比較装置は、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段と、基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像における角膜上の各点の座標を補正する補正手段と、前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段と、を含んで構成されている。

【0009】

また、第２の発明に係るプログラムは、コンピュータを、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段、基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像における角膜上の各点の座標を補正する補正手段、及び前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段として機能させるためのプログラムである。

【0010】

第１の発明及び第２の発明によれば、画像取得手段によって、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する。補正手段によって、基準の眼球姿勢角での角膜上の各点の屈折ずれ量と、現在の眼球姿勢角とに基づいて求められる、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、前記画像取得手段によって取得された前記眼球画像における角膜上の各点の座標を補正する。

【0011】

そして、パタン切出し手段によって、前記補正手段によって補正された前記眼球画像における角膜上の各点の座標に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出す。

【0012】

このように、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、眼球画像における角膜上の各点の座標を補正して、眼球画像から比較虹彩パタンを切り出すことにより、眼球姿勢角を考慮して、虹彩パタンを比較することができる。

【0013】

上記の第２の目的を達成するために第３の発明に係る虹彩パタン比較装置は、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段と、前記画像取得手段によって取得された前記眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定する範囲決定手段と、前記範囲決定手段によって決定された前記瞳孔周方向又は瞳孔径方向の範囲に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段と、を含んで構成されている。

【0014】

第４の発明に係るプログラムは、コンピュータを、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する画像取得手段、前記画像取得手段によって取得された前記眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定する範囲決定手段、及び前記範囲決定手段によって決定された前記瞳孔周方向又は瞳孔径方向の範囲に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出すパタン切出し手段として機能させるためのプログラムである。

【0015】

第３の発明及び第４の発明によれば、画像取得手段によって、被観察者の顔を撮像する撮像手段によって撮像された前記顔を表す顔画像から、眼球を表す眼球画像を取得する。範囲決定手段によって、前記画像取得手段によって取得された前記眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定する。

【0016】

そして、パタン切出し手段によって、前記範囲決定手段によって決定された前記瞳孔周方向又は瞳孔径方向の範囲に基づいて、前記画像取得手段によって取得された前記眼球画像から、予め求められた基準虹彩パタンと比較するための、比較虹彩パタンを切り出す。

【0017】

このように、眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定し、眼球画像から比較虹彩パタンを切り出すことにより、部分的な欠損があったり画像全体として不明瞭であっても、虹彩パタンを比較することができる。

【発明の効果】

【0018】

以上説明したように、本発明の虹彩パタン比較装置及びプログラムによれば、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、眼球画像における角膜上の各点の座標を補正して、眼球画像から比較虹彩パタンを切り出すことにより、眼球姿勢角を考慮して、虹彩パタンを比較することができる、という効果が得られる。

【0019】

また、本発明の虹彩パタン比較装置及びプログラムによれば、眼球画像における瞳孔周方向又は瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔周方向又は瞳孔径方向の範囲を決定し、眼球画像から比較虹彩パタンを切り出すことにより、部分的な欠損があったり画像全体として不明瞭であっても、虹彩パタンを比較することができる、という効果が得られる。

【図面の簡単な説明】

【0020】

【図1】本発明の第１の実施の形態に係る眼球回旋角度推定装置の構成を示すブロック図である。

【図2】眼球モデルを示す図である。

【図3】眼球モデルのパラメータを示す図である。

【図4】眼球モデルを示す図である。

【図5】（Ａ）眼球正面位における角膜上の点及び屈折ずれ量を示すカメラ光線視の図、及び（Ｂ）俯瞰視の図である。

【図6】（Ａ）眼球斜め向きにおける角膜上の点及び屈折ずれ量を示すカメラ光線視の図、及び（Ｂ）俯瞰視の図である。

【図7】各分割点からずれベクトルを減算する様子を示す図である。

【図8】補正後の各分割点を示す図である。

【図9】屈折歪みを考慮した切り出し範囲を示す図である。

【図10】従来手法による切り出し範囲を示す図である。

【図11】本発明の第１の実施の形態に係る眼球回旋角度推定装置におけるずれマップ計算処理ルーチンの内容を示すフローチャートである。

【図12】本発明の第１の実施の形態に係る眼球回旋角度推定装置における基準虹彩パタン切出し処理ルーチンの内容を示すフローチャートである。

【図13】本発明の第１の実施の形態に係る眼球回旋角度推定装置における眼球回旋角度推定処理ルーチンの内容を示すフローチャートである。

【図14】光の映り込みによるノイズを説明するための図である。

【図15】瞳孔周方向の範囲を説明するための図である。

【図16】瞳孔径方向の範囲を決定する方法を説明するための図である。

【図17】瞳孔周方向の範囲及び瞳孔径方向の範囲を説明するための図である。

【図18】本発明の第２の実施の形態に係る眼球回旋角度推定装置における切り出し範囲決定処理ルーチンの内容を示すフローチャートである。

【発明を実施するための形態】

【0021】

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、本実施の形態では、撮像された顔画像から、眼球回旋角度を推定する眼球回旋角度推定装置に本発明を適用した場合を例に説明する。

【0022】

図１に示すように、第１の実施の形態に係る眼球回旋角度推定装置１０は、対象とする被観察者の顔を含む画像を撮像するＣＣＤカメラ等からなる画像撮像部１２と、画像処理を行うコンピュータ１４と、ＣＲＴ等で構成された出力部１６とを備えている。

【0023】

コンピュータ１４は、ＣＰＵ、後述するずれマップ計算処理ルーチン及び眼球回旋角度推定処理ルーチンのプログラムを記憶したＲＯＭ、データ等を記憶するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このコンピュータ１４をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、コンピュータ１４は、画像撮像部１２から出力される顔画像を入力する画像入力部２０と、画像入力部２０の出力である顔画像から、眼球を表す眼球画像を取得する眼球画像取得部２２と、眼球画像から、瞳孔楕円を推定すると共に、眼球姿勢角を推定する瞳孔楕円姿勢角推定部２６と、眼球姿勢角の各々に対するずれマップを計算するずれマップ計算部２８と、眼球姿勢角の各々に対するずれマップを記憶するずれマップ記憶部３０と、基準となる眼球画像の眼球姿勢角に対するずれマップを選択するずれマップ選択部３２と、ずれマップを用いて、基準となる眼球画像の角膜上の各座標を補正するずれ補正部３４と、補正された角膜上の各座標に基づいて、基準となる眼球画像から基準虹彩パタンを切り出すパタン切出し部３６と、切り出された基準虹彩パタンを記憶するパタン記憶部３８と、推定対象となる眼球画像の眼球姿勢角に対するずれマップを選択するずれマップ選択部４０と、ずれマップを用いて、推定対象となる眼球画像の角膜上の各座標を補正するずれ補正部４２と、補正された角膜上の各座標に基づいて、推定対象となる眼球画像から比較虹彩パタンを切り出すパタン切出し部４４と、切り出された比較虹彩パタン及びパタン記憶部３８に記憶された基準虹彩パタンに対してパタンマッチングを行って、眼球回旋角度を算出する回旋角度算出部４８とを備えている。

【0024】

画像入力部２０は、例えば、Ａ／Ｄコンバータや１画面の画像データを記憶する画像メモリ等で構成される。

【0025】

眼球画像取得部２２は、画像入力部２０の出力である顔画像から、従来既知の画像認識手法を用いて、眼球を表す眼球画像を取得する。眼球画像取得部２２は、対象とする被観察者の基準の顔画像から、眼球画像を取得する。ここで、基準の顔画像とは、眼球回旋角度が基準角度であるときの顔画像である。また、眼球画像取得部２２は、対象とする被観察者の推定対象の顔画像から、眼球画像を取得する。

【0026】

瞳孔楕円姿勢角推定部２６は、眼球画像取得部２２によって取得された眼球画像に基づいて、従来既知の画像認識手法を用いて、眼球画像上の瞳孔楕円を推定する。また、瞳孔楕円姿勢角推定部２６は、眼球画像取得部２２によって取得された眼球画像に基づいて、眼球の３次元の姿勢角として、眼球座標系（図２参照）でのＹ軸周りの回転角度θ_Y、Ｚ軸周りの回転角度θ_Zを推定する。なお、眼球姿勢角の推定方法は、従来既知の手法を用いればよいため、説明を省略する。

【0027】

ずれマップ計算部２８は、事前に、予め定められた眼球特性値に基づいて、以下に説明するように、眼球姿勢角の各々に対するずれマップを計算する。

【0028】

まず、計算には図２に示す眼球モデルを使用する。本実施の形態では、計算上、以下の（１）〜（３）の仮定を用いる。

【0029】

（１）眼球回転中心は眼球曲率中心に等しい。
（２）虹彩は平面であり、虹彩面中心に瞳孔中心が位置する。
（３）眼球を撮影するカメラ光軸方向を[-1 0 0]^Tとする。

【0030】

また、眼球半径をl、角膜曲率半径をr、カメラから見た鉛直方向の黒目(角膜)の半径をa、空気と房水の屈折率の比をεとし、本実施の形態で用いた具体的な値を、図３に示す。また、眼球回転中心をO_e、角膜曲率中心をO_c、瞳孔中心をO_pとする。O_cO_eの距離oは以下の式で表わされる。

【0031】

【数1】

【0032】

ここで、眼球正面位でカメラ方向から見て瞳孔中心から径方向に等間隔で並ぶ角膜表面の点P_i(i=1,2,…,n)を考える。点P_iは極座標を有し、中心からi番目、周方向にψの位置の点P_iの位置ベクトルは、O_eを原点として次式で表される。

【0033】

【数2】

【0034】

この点P_iにおける角膜曲面の法線ベクトルをn_iとすると、カメラ方向から入射する光は角膜での屈折を受けて3次元の屈折を表わす以下の（３）式を満たす方向ベクトルIの光となる（図４参照）。

【0035】

【数3】

【0036】

また、方向ベクトルI はn_iと入射光ベクトルが張る面内のベクトルなので次式を満たす。

【0037】

【数4】

【0038】

P_iから虹彩面へ下ろした垂線と虹彩面の交点Q_iと，ベクトルI を延長し虹彩面と交わる点P’との距離は、P_i Qの距離d_iを用いて次式で表される。

【0039】

【数5】

【0040】

D_i0はすなわち、眼球正面位のときの点P_iにおける角膜屈折によるずれベクトルである。カメラで撮影した角膜画像には、等間隔に並ぶ点P群で構成される画素に、それぞれD_i0(i=1,2,…,n)だけずれたパタンが映っていることになる。この点P群の各点Pに対応するずれベクトルDをマップとして保存しておく。径方向に10分割したときの点PとずれベクトルDを図５（Ａ）、（Ｂ）に示す。図５（Ａ）はカメラ光軸視の場合を表し、図５（Ｂ）は、俯瞰視の場合を表す。なお、ずれベクトルが、屈折ずれ量の一例である。

【0041】

このように、眼球が正面を向いている場合、すわなち眼球姿勢角［θ_Y、θ_Z］＝［０，０］において、眼球角膜上の点P_iに入射した光が、房水による屈折を受けない場合に虹彩面に交差する点P’と、房水で屈折した場合に虹彩面に交差する点Q_iとの２点間ベクトルP’Q_i（ずれベクトル）を角膜全面に渡って算出したマップを用意し、これを以下の式で表わす。

【0042】

Ｄ（０，０）＝［P P’Q_i］（P∋P_i，P’Q∋P’Q_i）

【0043】

次に、眼球が斜め向きの場合を考える。Y軸周りにθ_Y、Z軸周りにθ_Z回転しているとすると、回転行列Ｒは(6)式で表され、回転後の点P_i 、法線ベクトルn_iを、P_θi 、n_θiとすると(7)式で表される。

【0044】

【数6】

【0045】

(7)式を(3)式から(5)式に用いて屈折光ベクトルI、ずれベクトルDを求める。眼球姿勢角がθ_Y=10度、θ_Z =30度のときの点PとずれベクトルDの関係を図６（Ａ）、（Ｂ）に示す。ここでも点P群に対するずれマップDを保存しておく．

【0046】

このように、眼球姿勢角［θ_Y、θ_Z］＝［０，０］から、眼球姿勢角の範囲、［θ_Y、θ_Z］＝［０，π／２］、［θ_Y、θ_Z］＝［π／２，０］、［θ_Y、θ_Z］＝［π／２，π／２］までの間の任意の姿勢角について求めたマップによる集合Ｄ∋Ｄ（θ_Y、θ_Z）を、ずれマップ記憶部３０に予め格納しておく。

【0047】

ずれマップ選択部３２は、基準の顔画像の眼球画像について瞳孔楕円姿勢角推定部２６によって推定された眼球姿勢角θ_Y、θ_Zに対応するずれマップＤ（θ_Y、θ_Z）を、ずれマップ記憶部３０から取得する。

【0048】

ずれ補正部３４は、ずれマップ選択部３２によって取得されたずれマップＤ（θ_Y、θ_Z）を用いて、以下に説明するように、基準の顔画像の眼球画像における角膜上の各座標を補正する。

【0049】

まず、基準の顔画像の眼球画像において、瞳孔中心から径方向に引いた、放射状の各線上において、瞳孔楕円上にあるものを点P_j、角膜端上にあるものを点P_nとする。P_j P_n間をそれぞれm等分割し各分割点P_mにおけるずれベクトルを、ずれマップ選択部３２で取得したずれマップＤ（θ_Y、θ_Z）から求める。具体的には、ずれマップの各点ＰのずれベクトルD_θを補間して、各分割点P_mにおけるずれベクトルD_θmを計算する。そして、ずれベクトルD_θmのY,Z成分をピクセル値に変換した量を分割点P_mの画像上の座標から減算し、屈折によるずれベクトルを補正した座標が得られる。なお、分割点が、観察点の一例である。

【0050】

パタン切出し部３６は、ずれ補正部３４によって補正された各分割点P_mの補正座標を、極座標に変換し、各分割点P_m間の距離に比例したグリッドで規定される、基準虹彩パタンの切出し範囲を決定する。パタン切出し部３６は、基準の顔画像の眼球画像の、決定した切出し範囲から、基準虹彩パタンを切り出し、パタン記憶部３８に格納する。これによって、屈折による歪みを補正した基準虹彩パタンが得られる。

【0051】

ずれマップ選択部４０は、推定対象の顔画像の眼球画像について瞳孔楕円姿勢角推定部２６によって推定された眼球姿勢角θ_Y、θ_Zに対応するずれマップＤ（θ_Y、θ_Z）を、ずれマップ記憶部３０から取得する。

【0052】

ずれ補正部４２は、ずれマップ選択部３２によって取得されたずれマップＤ（θ_Y、θ_Z）を用いて、以下に説明するように、推定対象の顔画像の眼球画像における角膜上の各座標を補正する。

【0053】

まず、推定対象の顔画像の眼球画像において、瞳孔中心から径方向に引いた、放射状の各線上において、瞳孔楕円上にあるものを点P_θｋ、角膜端上にあるものを点P_θｎとする。特許文献（特開２００８−４５５号公報）より、基準の顔画像におけるP_j P_n間の虹彩パタンと、P_θｋ P_θｎ間の虹彩パタンは線形に伸縮している筈であるので、P_θｋ P_θｎ間をそれぞれm等分割し各分割点P_mにおけるずれベクトルを、ずれマップ選択部４０で取得したずれマップＤ（θ_Y、θ_Z）から求める。具体的には、ずれマップの各点ＰのずれベクトルDを補間して、各分割点P_mにおけるずれベクトルD_θmを計算する。そして、ずれベクトルD_θmのY,Z成分をピクセル値に変換した量を分割点P_mの画像上の座標から減算すると（図７参照）、屈折によるずれを補正した座標が得られる（図８参照）。

【0054】

パタン切出し部４４は、ずれ補正部４２によって補正された各分割点P_mの補正座標を、極座標に変換し、各分割点P_m間の距離に比例したグリッドで規定される、比較虹彩パタンの切出し範囲を決定する。図９に、切り出し範囲の一例を示す。図１０に示す従来手法による瞳孔パタン切り出し範囲と比較すると、屈折歪みを考慮した切り出し範囲となっていることが分かる。パタン切出し部４４は、推定対象の顔画像の眼球画像の、決定した切出し範囲から、比較虹彩パタンを切り出す。

【0055】

ここで、眼球姿勢角は時々刻々変わるのでその度に角膜上の点Ｐ群のずれマップＤ（θ_Y、θ_Z）を求めることは計算コストがかかりすぎる。そこで、本実施の形態では、上述したように、眼球姿勢角(例:Y,Z各軸周りに１度刻み等)に対応したマップＤ（θ_Y、θ_Z）(例：[θ_Y,θ_Z]=[0,1],[0,2],,[1,1],[2,1],,[90,90])を事前に用意しておき、眼球姿勢角が最も近いマップから目的の位置の近似的なずれを読み取ることで高速化することができる。

【0056】

回旋角度算出部４８は、回旋角度を所定角度（例えば０．５度）ずつずらして、基準虹彩パタンと、回旋角度に応じてずらした比較虹彩パタンとのパタンマッチングを行って、差分画素数を求め、差分画素数が最も小さい回旋角度を、基準虹彩パタンに対する比較虹彩パタンの相対的な回旋角度として算出し、眼球の回旋角度とする。

【0057】

回旋角度算出部４８によって算出された眼球の回旋角度が、出力部１６により出力される。

【0058】

次に、眼球回旋角度推定装置１０の動作について説明する。

【0059】

まず、コンピュータ１４において、図１１に示すずれマップ計算処理ルーチンを実行する。

【0060】

ステップ１００において、眼球モデルのパラメータを設定する。ステップ１０２において、角膜上の表面における径方向及び周方向の分割数を設定する。

【0061】

次のステップ１０４では、上記ステップ１００で設定された眼球モデルのパラメータ及び上記ステップ１０２で設定された径方向及び周方向の分割数に基づいて、角膜上の表面における各分割点の位置ベクトルＰを算出する。

【0062】

そして、ステップ１０６において、眼球姿勢角の分割数ｎを設定する。そして、ループ回数ｉがｎに到達するまで、後述するステップ１０８〜ステップ１１４を繰り返す。

【0063】

ステップ１０８では、各分割点Ｐからなる点群を、ｉ番目の眼球姿勢角に従い回転させる。ステップ１１０では、上記ステップ１０８で回転させた点群の各分割点Ｐについて、ずれベクトルを算出する。

【0064】

次のステップ１１２では、上記ステップ１１０で算出された各分割点Ｐについて、ずれベクトルを格納した、ｉ番目の眼球姿勢角に対応するずれマップを、ずれマップ記憶部３０に記憶する。そしてステップ１１４で、ループ回数ｉを１だけインクリメントして、上記ステップ１０８へ戻る。

【0065】

ループ回数ｉがｎに到達するまで、上記ステップ１０８〜ステップ１１４が繰り返し実行されると、ずれマップ計算処理ルーチンを終了する。

【0066】

次に、画像撮像部１２で、眼球の回旋角度が基準角度の状態である被観察者の顔画像を撮像する。

【0067】

そして、コンピュータ１４において、図１２に示す基準虹彩パタン切出し処理ルーチンを実行する。まず、ステップ１２０において、画像撮像部１２で撮像された顔画像を読み込み、顔画像から眼球画像を取得する。

【0068】

そして、ステップ１２２において、上記ステップ１２０で取得した眼球画像から瞳孔領域を抽出し、瞳孔楕円を取得する。ステップ１２４では、上記ステップ１２０で取得した眼球画像における眼球姿勢角を推定する。

【0069】

そして、ステップ１２６において、上記ステップ１２４で推定された眼球姿勢角に対応するずれマップを、ずれマップ記憶部３０から選択する。次のステップ１２８では、上記ステップ１２６で選択したずれマップから、角膜上の各点に対応するずれベクトルを取得する。

【0070】

そして、ステップ１３０において、上記ステップ１２８で取得したずれベクトルに基づいて、上記ステップ１２０で取得した眼球画像における、瞳孔楕円上の点から角膜端上の点までの間のｍ分割点の各々におけるずれベクトルを補間計算する。

【0071】

次のステップ１３２では、上記ステップ１３０で計算したｍ分割点の各々におけるずれベクトルのＹ成分、Ｚ成分を画素数に変換する。ステップ１３４では、上記ステップ１３２で得られた変換結果を用いて、ｍ分割点の各々を補正し、ずれを補正したｍ分割点の各々の位置の座標を、虹彩パタン極座標に変換する。

【0072】

そして、ステップ１３６において、上記ステップ１３４で得られたずれを補正したｍ分割点の各々の位置の極座標に基づいて、グリッドで規定される基準虹彩パタンの切り出し範囲を決定する。ステップ１３８において、上記ステップ１３６で決定された切り出し範囲に基づいて、上記ステップ１２０で取得した眼球画像から、基準虹彩パタンを切り出して、パタン記憶部３８に格納し、基準虹彩パタン切出し処理ルーチンを終了する。

【0073】

そして、画像撮像部１２で、眼球回旋角度の推定対象となる被観察者の顔画像を撮像する。

【0074】

そして、コンピュータ１４において、図１３に示す眼球回旋角度推定処理ルーチンを実行する。まず、ステップ１４０において、画像撮像部１２で撮像された顔画像を読み込み、顔画像から眼球画像を取得する。

【0075】

そして、ステップ１４２において、上記ステップ１４０で取得した眼球画像から瞳孔領域を抽出し、瞳孔楕円を取得する。ステップ１４４では、上記ステップ１４０で取得した眼球画像における眼球姿勢角を推定する。

【0076】

そして、ステップ１４６において、上記ステップ１４４で推定された眼球姿勢角に対応するずれマップを、ずれマップ記憶部３０から選択する。次のステップ１４８では、上記ステップ１４６で選択したずれマップから、角膜上の各点に対応するずれベクトルを取得する。

【0077】

そして、ステップ１５０において、上記ステップ１４８で取得したずれベクトルに基づいて、上記ステップ１４０で取得した眼球画像における、瞳孔楕円上の点から角膜端上の点までの間のｍ分割点の各々におけるずれベクトルを補間計算する。

【0078】

次のステップ１５２では、上記ステップ１５０で計算したｍ分割点の各々におけるずれベクトルのＹ成分、Ｚ成分を画素数に変換する。ステップ１５４では、上記ステップ１５２で得られた変換結果を用いて、ｍ分割点の各々を補正し、ずれを補正したｍ分割点の各々の位置の座標を、虹彩パタン極座標に変換する。

【0079】

そして、ステップ１５６において、上記ステップ１５４で得られたずれを補正したｍ分割点の各々の位置の極座標に基づいて、グリッドで規定される比較虹彩パタンの切り出し範囲を決定する。ステップ１５８において、上記ステップ１５６で決定された切り出し範囲に基づいて、上記ステップ１４０で取得した眼球画像から、比較虹彩パタンを切り出す。

【0080】

そして、ステップ１６０において、回旋角度毎に、上記ステップ１５８で切り出された比較虹彩パタンであって、当該回旋角度に応じてずらした比較虹彩パタンと、パタン記憶部３８に格納された基準虹彩パタンとのパタンマッチングを行い、差分画素数を計算する。

【0081】

次のステップ１６２では、上記ステップ１６０で計算された回旋角度毎の差分画素数に基づいて、上記ステップ１４０で取得した眼球画像における回旋角度を推定し、眼球回旋角度推定処理ルーチンを終了する。

【0082】

以上説明したように、第１の実施の形態に係る眼球回旋角度推定装置によれば、現在の眼球姿勢角での角膜上の各点の屈折ずれ量に基づいて、眼球画像における角膜上の各点の座標を補正して、眼球画像から比較虹彩パタンを切り出すことにより、眼球姿勢角を考慮して、虹彩パタンを比較することができる。

【0083】

また、眼球３次元モデルを設定し、眼球が正面以外を向いたときの角膜上の各点における屈折ずれ量を計算する。屈折ずれ量を用い、虹彩パタンの切出し範囲を補正することで、虹彩パタンの歪み補正を行う。これによって、眼球が正面を向いていない場合でも眼球回旋角度を精度よく推定できる。

【0084】

また、眼球姿勢角毎のずれマップを予め計算しておくことにより、眼球回旋角度の推定処理を高速化することができる。

【0085】

次に、第２の実施の形態について説明する。なお、第２の実施の形態に係る眼球回旋角度推定装置の構成は、第１の実施の形態と同様の構成であるため、同一符号を付して説明を省略する。

【0086】

第２の実施の形態では、比較虹彩パタンの切り出し範囲を、ノイズ部分を避けるように決定している点が第１の実施の形態と異なっている。

【0087】

本実施の形態では、図１４に示すように、光の映り込みによるパタンの欠損やノイズを避けるように、虹彩パタンが明瞭な部分から比較虹彩パタンを切り出して周方向にパタンマッチングする。

【0088】

第２の実施の形態に係る眼球回旋角度推定装置のパタン切出し部４４は、以下に説明するように、比較虹彩パタンを切り出す範囲を決定する。

【0089】

まず、個人ごとに予め定められた初期設定エリアに基づいて、瞳孔周方向の範囲を設定する。例えば、天頂側を０度としπ/3〜2π/3の範囲や、4π/3〜5π/3の範囲を用いる（図１５参照）。

【0090】

次に、上記で設定した瞳孔周方向の範囲のエリアで、径方向のグレースケール明度分布を求め、グレースケール明度分布の分散が閾値以下となるように瞳孔径方向の範囲を狭める（図１６参照）。

【0091】

また、基準の眼球姿勢角に比べて眼球姿勢角が変化している場合、眼球画像の画像中心[0,0]に対する瞳孔中心(位置[x,y])の距離(x²+y²)^0.5とその比x/yに応じて、上記で設定した瞳孔周方向の範囲のエリアを周方向にずらす。具体的には、キャリブレーション時の中立位置（眼球原点）から一定上の角度がついた場合（例えば、眼球のピッチ角をθとし、ヨー角をφとして、

【数7】

）、その時の瞳孔中心と眼球原点を結ぶ線分のうち、虹彩パタンエリアと交わる部分の線分を中心とし、例えば、±π／６ずつの範囲を、比較虹彩パタンを切り出す範囲として決定する。このとき、ずらした角度分をマッチング後の推定回旋角度から減算する。

【0092】

パタン切出し部４４は、ずれ補正部４２によって補正された各分割点P_mの補正座標を、極座標に変換し、等間隔の分割線であるグリッドで規定される、比較虹彩パタンの切出し範囲を決定する。また、パタン切出し部４４は、決定された比較虹彩パタンの切出し範囲のうち、上記で設定した瞳孔周方向の範囲及び瞳孔径方向の範囲のエリアから、比較虹彩パタンを切り出す（図１７参照）。

【0093】

なお、第２の実施の形態に係る眼球回旋角度推定装置の他の構成について、第１の実施の形態と同様であるため、説明を省略する。

【0094】

次に、第２の実施の形態に係る眼球回旋角度推定装置の動作について説明する。

【0095】

まず、コンピュータ１４において、上記図１１に示すずれマップ計算処理ルーチンを実行する。

【0096】

また、画像撮像部１２で、眼球の回旋角度が基準角度の状態である被観察者の顔画像を撮像する。そして、コンピュータ１４において、上記図１２に示す基準虹彩パタン切出し処理ルーチンを実行する。

【0097】

そして、画像撮像部１２で、眼球回旋角度の推定対象となる被観察者の顔画像を撮像する。コンピュータ１４において、上記図１３に示す眼球回旋角度推定処理ルーチンを実行する。このとき、上記ステップ１５６は、図１８に示す切り出し範囲決定処理ルーチンによって実現される。

【0098】

まず、ステップ２００では、ユーザ固有の初期設定エリアに基づいて、瞳孔周方向の範囲を設定する。

【0099】

そして、ステップ２０２において、上記ステップ２００で設定した瞳孔周方向の範囲のエリアで、瞳孔径方向のグレースケール明度分布を求め、グレースケール明度分布の分散が閾値以下となるように瞳孔径方向の範囲を狭める。

【0100】

次のステップ２０４では、上記ステップ１４２で取得した瞳孔楕円に基づいて、眼球画像の画像中心[0,0]に対する瞳孔中心(位置[x,y])の距離(x²+y²)^0.5とその比x/yに応じて、上記ステップ２００で設定した瞳孔周方向の範囲のエリアを瞳孔周方向にずらす。

【0101】

そして、ステップ２０６において、上記ステップ１５４で得られたずれを補正したｍ分割点の各々の位置の極座標に基づいて、グリッドで規定される比較虹彩パタンの切り出し範囲を決定する。また、決定された比較虹彩パタンの切出し範囲のうち、上記ステップ２０２、２０４で設定した瞳孔周方向の範囲及び瞳孔径方向の範囲のエリアから、比較虹彩パタンを切り出す。

【0102】

このように、眼球画像における瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔径方向の範囲を決定し、眼球画像から比較虹彩パタンを切り出すことにより、部分的な欠損があったり画像全体として不明瞭であっても、虹彩パタンを比較することができる。

【0103】

また、画像の明瞭な部分を用いてマッチングし、回旋角度を推定する手法としたため、光ノイズが多い画像であっても、眼球回旋角度を精度よく推定できる。

【0104】

また、上記の第１の実施の形態〜第２の実施の形態において、ずれマップを事前に計算しておく場合を例に説明したが、これに限定されるものではなく、眼球回旋角度を推定するときに、随時、現在の眼球姿勢角に対応するずれマップを計算するようにしてもよい。

【0105】

また、眼球モデルのパラメータとして予め設定された値を用いて、ずれマップを計算する場合を例に説明したが、これに限定されるものではなく、被観察者固有のパラメータを用いて、個人差を考慮したずれマップを計算してもよい。

【0106】

また、上記の第２の実施の形態において、瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔径方向の範囲を決定する場合を例に説明したが、これに限定されるものではなく、瞳孔周方向の明度分布の分散が、一定値以下となるように、瞳孔周方向の範囲を決定するようにしてもよい。また、瞳孔周方向の明度分布の分散が、一定値以下となるように、瞳孔周方向の範囲を決定し、かつ、瞳孔径方向の明度分布の分散が、一定値以下となるように、瞳孔径方向の範囲を決定するようにしてもよい。

【符号の説明】

【0107】

１０ 眼球回旋角度推定装置
１２ 画像撮像部
１４ コンピュータ
１６ 出力部
２０ 画像入力部
２２ 眼球画像取得部
２６ 瞳孔楕円姿勢角推定部
２８ マップ計算部
３０ マップ記憶部
３２ マップ選択部
３４ ずれ補正部
３６ パタン切出し部
３８ パタン記憶部
４０ マップ選択部
４２ ずれ補正部
４４ パタン切出し部
４８ 回旋角度算出部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】