特許 6048844 眼球回旋測定装置、眼球回旋測定方法、及び、眼球回旋測定プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6048844

(24)【登録日】2016年12月2日

(45)【発行日】2016年12月27日

(54)【発明の名称】眼球回旋測定装置、眼球回旋測定方法、及び、眼球回旋測定プログラム

(51)【国際特許分類】

   A61B 3/113 20060101AFI20161219BHJP

【ＦＩ】

   A61B3/10 B

【請求項の数】8

【全頁数】33

(21)【出願番号】特願2014-500963(P2014-500963)

(86)(22)【出願日】2013年2月22日

(86)【国際出願番号】JP2013054609

(87)【国際公開番号】WO2013125707

(87)【国際公開日】20130829

【審査請求日】2016年2月16日

(31)【優先権主張番号】特願2012-39403(P2012-39403)

(32)【優先日】2012年2月24日

(33)【優先権主張国】JP

(31)【優先権主張番号】特願2012-224622(P2012-224622)

(32)【優先日】2012年10月9日

(33)【優先権主張国】JP

(73)【特許権者】

【識別番号】504171134

【氏名又は名称】国立大学法人 筑波大学

(74)【代理人】

【識別番号】110000925

【氏名又は名称】特許業務法人信友国際特許事務所

(72)【発明者】

【氏名】星野 聖

(72)【発明者】

【氏名】中込 広幸

【審査官】 九鬼 一慶

(56)【参考文献】

【文献】 特開平０２−１６４３３５（ＪＰ，Ａ）

【文献】 特表２００７−５１６０４９（ＪＰ，Ａ）

【文献】 特開２００３−１２６０３９（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３／００−３／１８

(57)【特許請求の範囲】

【請求項1】

基準状態にある被験者の眼球画像中の瞳孔輪郭に対して楕円フィッティング処理を施し、該瞳孔輪郭の楕円パラメータを取得する基準情報取得部と、
前記被験者の眼球画像において、白目領域における血管の位置を認識して、該血管の位置に関する情報を取得する血管位置認識部と、
眼球回旋の実計測時に前記血管位置認識部により取得された所定の血管の位置に関する第１の情報と、前記基準状態における前記所定の血管の位置に関する第２の情報と、前記基準情報取得部により取得された前記瞳孔輪郭の楕円パラメータとに基づいて、眼球回旋角度を算出する第１の角度算出部と、
を備える眼球回旋測定装置。

【請求項7】

基準状態にある被験者の眼球画像中の瞳孔輪郭に対して楕円フィッティング処理を施し、該瞳孔輪郭の楕円パラメータを取得することと、
眼球回旋の実計測時に取得された前記被験者の眼球画像において、白目領域における所定の血管の位置を認識して、該所定の血管の位置に関する第１の情報を取得することと、
前記第１の情報と、基準状態における前記所定の血管の位置に関する第２の情報と、前記瞳孔輪郭の楕円パラメータとに基づいて、眼球回旋角度を算出することと、
を含む眼球回旋測定方法。

【請求項8】

基準状態にある被験者の眼球画像中の瞳孔輪郭に対して楕円フィッティング処理を施し、該瞳孔輪郭の楕円パラメータを取得する処理と、
眼球回旋の実計測時に取得された前記被験者の眼球画像において、白目領域における所定の血管の位置を認識して、該所定の血管の位置に関する第１の情報を取得する処理と、
前記第１の情報と、基準状態における前記所定の血管の位置に関する第２の情報と、前記瞳孔輪郭の楕円パラメータとに基づいて、眼球回旋角度を算出する処理と、を情報処理装置に実装して実行させる眼球回旋測定プログラム。

【請求項9】

前記血管位置認識部は、前記血管の位置に関する情報として、前記血管の端点の位置情報を取得する
請求項１に記載の眼球回旋測定装置。

【請求項10】

前記血管位置認識部は、前記眼球画像における虹彩領域の外縁を認識し、前記血管の位置に関する情報として、前記血管の前記虹彩領域の外縁側の端点の位置情報を取得する
請求項１又は９に記載の眼球回旋測定装置。

【請求項11】

前記眼球画像中の虹彩の濃淡パターンに基づき、基準眼球回旋角度を算出する第２の角度算出部を備え、
前記血管位置認識部は、前記第２の角度算出部により算出された基準眼球回旋角度と、基準状態における前記所定の血管の位置に関する前記第２の情報とに基づいて前記所定の血管の想定端点位置を決定し、眼球回旋の実計測時における眼球画像から認識される一つ以上の血管の端点のうち、前記想定端点位置に最も近い位置に存在する血管の端点の位置情報を、前記所定の血管の位置に関する前記第１の情報として取得する
請求項１、９及び１０のいずれか一項に記載の眼球回旋測定装置。

【請求項12】

前記血管位置認識部は、前記虹彩領域の外縁に沿って設けられた、前記白目領域を含む検出領域内に存在する一つ以上の血管の端点を検出し、検出した各血管の端点に対して当該端点を含むマッチングエリアを設定し、前記マッチングエリアの画像と、それに対応する血管の前記基準状態における所定サイズのテンプレート画像との類似度を計算し、該類似度が最大となる端点の位置情報を、前記所定の血管の位置に関する前記第１の情報として取得する
請求項１０に記載の眼球回旋測定装置。

【請求項13】

前記血管位置認識部は、検出した各血管の端点に対して当該端点を中心とする所定の領域をマッチングエリアとして設定する
請求項１２に記載の眼球回旋測定装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、眼球回旋測定装置、眼球回旋測定方法、及び、眼球回旋測定プログラムに関する。

【背景技術】

【0002】

生物の眼球は、上下方向及び左右方向に回転可能であるだけでなく、視線方向の軸を回転軸として回転することができる。この回転は、「眼球回旋」と称される。眼球回旋は、例えば、頭が傾いたときに元の状態に戻ろうとする作用によって生じる。また、眼球回旋は、例えば、乗り物酔いの状態や映像酔いの状態などの気分が悪い状態のときにも生じるため、眼球回旋の計測技術は、医療や介護の現場において有益な技術となり得る。

【0003】

眼球回旋の計測手法としては、従来、眼球画像において虹彩画像の濃淡パターン（以下では、虹彩の濃淡パターンという）を認識し、その認識結果に基づいて眼球回旋を計測する手法が開示されている（例えば、非特許文献１参照）。また、この文献には、虹彩の濃淡パターンの変形が瞳孔径に比例することを利用して、変形した虹彩の濃淡パターンを修正することにより、瞳孔径変化による眼球回旋の計測精度の劣化を抑える技術が記載されている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】橋本勉・牧孝郎・坂下祐輔・西山潤平・藤吉弘亘・平田豊、「瞳孔径変化による虹彩パターン伸縮のモデル化と眼球回旋運動計測への応用」、電子情報通信学会論文誌、２０１０，Ｖｏｌ．Ｊ９３−Ｄ，Ｎｏ．１，ｐｐ．３９−４６

【発明の概要】

【発明が解決しようとする課題】

【0005】

しかしながら、この技術分野では、さらに高精度に眼球回旋を計測することが可能な技術の開発が望まれている。本発明は、この要望に応えるためになされたものであり、本発明の目的は、より高精度に眼球回旋を計測することが可能な眼球回旋測定装置、眼球回旋測定方法、及び、眼球回旋測定プログラムを提供することである。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明の眼球回旋測定装置は、基準状態にある被験者の眼球画像中の瞳孔輪郭に対して楕円フィッティング処理を施し、瞳孔輪郭の楕円パラメータを取得する基準情報取得部と、被験者の眼球画像において、白目領域における血管の位置を認識して、血管の位置に関する情報を取得する血管位置認識部と、眼球回旋の実計測時に血管位置認識部により取得された所定の血管の位置に関する第１の情報と、基準状態における所定の血管の位置に関する第２の情報と、基準情報取得部により取得された瞳孔輪郭の楕円パラメータとに基づいて、眼球回旋角度を算出する第１の角度算出部と、を備える。

【0007】

なお、本明細書において「白目領域」とは、強膜及び結膜を含む領域を意味するものである。また、本明細書において「基準状態」とは、例えば、被験体の状態がストレスの無い健康な状態であり、眼球の回旋角度が零度とみなされる状態のことをいう。

【0008】

また、本発明の眼球回旋測定方法は、基準状態にある被験者の眼球画像中の瞳孔輪郭に対して楕円フィッティング処理を施し、瞳孔輪郭の楕円パラメータを取得することと、眼球回旋の実計測時に取得された被験者の眼球画像において、白目領域における所定の血管の位置を認識して、所定の血管の位置に関する第１の情報を取得することと、第１の情報と、基準状態における所定の血管の位置に関する第２の情報と、瞳孔輪郭の楕円パラメータとに基づいて、眼球回旋角度を算出することと、を含む。

【0009】

さらに、本発明の眼球回旋測定プログラムは、上記本発明の眼球回旋測定方法の各処理を、情報処理装置に実装して実行させるための眼球回旋測定プログラムである。

【発明の効果】

【0010】

上記構成の本発明によれば、より高精度に眼球回旋を計測することができる。

【図面の簡単な説明】

【0011】

【図1】図１は、本発明の第１の実施形態に係る眼球回旋測定装置１のハードウェア構成図である。

【図2】図２は、本発明の第１の実施形態に係る眼球回旋測定装置１の機能構成図である。

【図3】図３は、眼球画像中の瞳孔領域、虹彩領域、白目領域、結膜血管及び該結膜血管の端点を示す図である。

【図4】図４は、仮想的な楕円において、ベクトルデータを生成する手法を説明するための図である。

【図5】図５Ａ及び図５Ｂは、基準状態における差分ベクトルデータｆ_ｒｅｆの各要素の分布と、眼球回旋の実計測時における差分ベクトルデータｆ_ｄの各要素の分布と、相互相関関数Ｒ（ｋ）との関係を示す図である。

【図6】図６は、第１の実施形態に係る眼球回旋測定手法において取得した探索領域の原画像の一例である。

【図7】図７は、探索領域の原画像に対して二値化処理を施した後の画像の一例である。

【図8】図８は、二値化処理が施された探索領域内の血管部分に対してHilditchの細線化アルゴリズムによりノイズ除去処理を施した後の画像の一例である。

【図9】図９は、結膜血管の基準端点Ｏ_ｒｅｆと、実計測時に選択された結膜血管Ｖの対象端点Ｏ_ｔｇｔとの関係を示す図である。

【図10】図１０は、基準状態における結膜血管の対象端点Ｏ_ｔｇｔ０の回転角度座標θ_ｔｇｔ０と、実計測時において選択された結膜血管の対象端点Ｏ_ｔｇｔの回転角度座標θ_ｔｇｔと、眼球回旋角度θとの関係を示す図である。

【図11】図１１は、第１の実施形態に係る眼球回旋測定手法の処理手順を示すフローチャートである。

【図12】図１２は、本発明の第２の実施形態に係る眼球回旋測定手法における、虹彩領域及び白目領域間の境界の決定処理を説明するための図である。

【図13】図１３は、本発明の第２の実施形態に係る眼球回旋測定手法における、虹彩領域及び白目領域間の境界の決定処理を説明するための図である。

【図14】図１４は、第２の実施形態において、複数の結膜血管の端点を検出する際の検出領域を示す図である。

【図15】図１５Ａ〜図１５Ｃは、第２の実施形態における、結膜血管の端点の抽出処理を説明するための図である。

【図16】図１６は、基準状態において検出された複数の結膜血管の端点と、各結膜血管のテンプレート映像の領域との関係を示す図である。

【図17】図１７は、眼球回旋の実計測時に設定されたテンプレートマッチング処理を施す領域（マッチングエリア）と、該領域を設定する際の基準端点との関係を示す図である。

【図18】図１８は、テンプレートマッチング処理を施す領域（マッチングエリア）の設定手法を説明するための図である。

【図19】図１９は、第２の実施形態に係る眼球回旋測定手法の処理手順を示すフローチャートである。

【図20】図２０Ａ及び図２０Ｂは、第２の実施形態の眼球回旋測定手法を用いて行った評価実験の結果を示す図である。

【図21】図２１は、変形例１における、テンプレートマッチング処理を施す領域（マッチングエリア）の設定手法を説明するための図である。

【発明を実施するための形態】

【0012】

以下、図面を参照しながら、本発明に係る各種実施形態について説明する。しかしながら、その前に、例えば、上記非特許文献１で提案されているような、虹彩の濃淡パターン、すなわち、虹彩紋理と呼ばれる放射状の模様を認識することによって眼球回旋を計測する手法において、発生し得る課題について説明する。

【0013】

虹彩の濃淡パターン（虹彩紋理）は、例えば、次のような特徴を有する。虹彩の濃淡パターンのコントラストが低い。瞳孔の縮小散大に伴って虹彩紋理の位置が移動する。瞳孔が散大すると、コントラストが比較的高い虹彩領域の中心部分が消失する。瞳孔が散大しても消失しない虹彩領域の外縁では、コントラストが低いので、十分な眼球回旋角度の分解能（精度）が得られない場合が多い。

【0014】

上述の各種特徴から、虹彩の濃淡パターンを用いた眼球回旋の計測手法では、眼球の瞳孔径が大きく変化すると、誤差が増加したり、計測そのものが不能になったりする場合がある。そこで、本発明では、眼球の瞳孔径が大きく変化しても、眼球回旋を精度良く計測可能な眼球回旋測定技術を提供する。

【0015】

＜１．第１の実施形態＞
まず、本発明の第１の実施形態に係る眼球回旋測定装置、眼球回旋測定方法、及び、眼球回旋測定プログラムについて説明する。

【0016】

［ハードウェア構成］
図１は、第１の実施形態に係る眼球回旋測定装置１のハードウェア構成図である。眼球回旋測定装置１は、例えば、ＣＰＵ（Central Processing Unit）１０と、ドライブ装置１２と、補助記憶装置１６と、メモリ装置１８と、インターフェース装置２０と、入力装置２２と、ディスプレイ装置２４と、画像入力インターフェース２６とを備える。これらの構成要素は、バスやシリアル回線等を介して互いに接続される。

【0017】

ＣＰＵ１０は、例えば、プログラムカウンタ、命令デコーダ、各種演算器、ＬＳＵ（Load Store Unit）、汎用レジスタ等を有する演算処理装置で構成される。

【0018】

ドライブ装置１２は、その内部に装着された記憶媒体１４からプログラムやデータなどを読み込む装置である。なお、本実施形態では、記憶媒体１４は、例えば、ＣＤ（Compact Disc）、ＤＶＤ（Digital Versatile Disc）、ＵＳＢ（Universal Serial Bus）メモリ等の可搬型の記憶媒体である。また、補助記憶装置１６は、例えば、ＨＤＤ（Hard Disk Drive）やフラッシュメモリなどで構成される。

【0019】

本実施形態において、プログラムが記録された記憶媒体１４がドライブ装置１２に装着された場合には、該プログラムは、記憶媒体１４からドライブ装置１２を介して補助記憶装置１６にインストールされる。なお、プログラムのインストール手法は、この例に限定されない。例えば、インターフェース装置２０が、ネットワークを介して他のコンピュータからプログラムをダウンロードし、該ダウンロードしたプログラムを補助記憶装置１６にインストールしてもよい。なお、ネットワークは、インターネット、ＬＡＮ（Local Area Network）、無線ネットワーク等で構成される。また、例えば、プログラムが、眼球回旋測定装置１の出荷時に、補助記憶装置１６や図示しないＲＯＭ（Read Only Memory）等に予め格納（実装）されていてもよい。

【0020】

上述のようにしてインストールされた各種プログラム、又は、予め格納された各種プログラムをＣＰＵ１０が実行することにより、本実施形態の眼球回旋測定装置１における後述の各種機能（各種処理）が実現される。

【0021】

メモリ装置１８は、例えば、ＲＡＭ（Random Access Memory）やＥＥＰＲＯＭ（Electrically Erasable and Programmable Read Only Memory）などの記憶装置で構成される。また、インターフェース装置２０は、上述した各種ネットワーク等に接続され、該ネットワークを介して、外部の各種装置に対して所定のデータやプログラムなどの入出力動作を行う。

【0022】

入力装置２２は、例えば、キーボード、マウス、ボタン、タッチパッド、タッチパネル、マイク等の各種入力操作装置で構成される。また、ディスプレイ装置２４は、例えば、ＬＣＤ（Liquid Crystal Display）やＣＲＴ（Cathode Ray Tube）等の表示装置で構成される。なお、眼球回旋測定装置１は、ディスプレイ装置２４以外では、例えば、プリンタ、スピーカ等の各種出力装置を備えていてもよい。

【0023】

画像入力インターフェース２６は、カメラ３０に接続される。そして、画像入力インターフェース２６は、カメラ３０から入力された画像データを、メモリ装置１８や補助記憶装置１６に出力する。

【0024】

カメラ３０は、例えばＣＣＤ（Charge Coupled Device）カメラやＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラ等の撮像装置であり、撮影された画像のデータを画像入力インターフェース２６に出力する。なお、画像は、静止画像であってもよいし、動画像であってもよい。

【0025】

本実施形態では、カメラ３０により、被験体の眼球を撮影する。この際、赤外線ＬＥＤ（Light Emitting Diode）３２及び青色ＬＥＤ３４のそれぞれから射出された光が眼球に照射される。赤外線ＬＥＤ３２は、瞳孔を強調するため及び虹彩の濃淡パターンを精度よく撮像するため、赤外線を眼球に照射する。また、青色ＬＥＤ３４は、眼球内の結膜血管（以下、単に血管という）のコントラストを高めるため、眼球の白目領域（強膜及び結膜を含む領域）に青色光を照射する。青色ＬＥＤ３４の照射範囲を眼球の白目領域に絞ることにより、眼球の撮影時に被験体に与える負担を軽減することができる。

【0026】

［機能構成］
図２は、本実施形態の眼球回旋測定装置１の機能構成図である。眼球回旋測定装置１は、ＣＰＵ１０がプログラムを実行することにより機能する機能ブロックとして、基準情報取得部４０と、虹彩パターン認識処理部４２（第２の角度算出部）と、血管位置認識部４４と、角度算出部４６（第１の角度算出部）と、を備える。また、これらの各機能ブロックは、例えばメモリ装置１８や補助記憶装置１６に対して各種情報（データ）を入出力する。そして、メモリ装置１８や補助記憶装置１６は、各機能ブロックから出力された各種情報を格納する。

【0027】

これらの機能ブロックは、ソフトウェアで構成するこができる。この場合、各機能ブロックは、互いに明確に分離したプログラムによって実現されるブロックであってもよいし、例えば、サブルーチンや関数などのように、他のプログラムによって呼び出されるプログラムにより実現されるブロックであってもよい。また、これらの機能ブロックの一部又は全てが、例えば、ＬＳＩ（Large Scale Integrated circuit）、ＩＣ（Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアで構成されていてもよい。

【0028】

［眼球回旋測定手法］
（１）眼球回旋測定手法の概要
次に、図２に示す各機能ブロックで行われる各種処理を説明しながら、本実施形態における眼球回旋測定手法の内容を具体的に説明するが、最初に、本実施形態における眼球回旋測定手法の概要を説明する。

【0029】

本実施形態の眼球回旋測定手法では、まず、基準状態において、基準状態時の眼球画像内の虹彩領域と白目領域との境界近傍に位置する所定の血管（１つの血管）を選択し、該選択した血管の瞳孔側の端点（後述の対象端点Ｏ_ｔｇｔ０）の位置情報を取得する。次いで、眼球回旋の実計測時において、実計測時の眼球画像に対して虹彩の濃淡パターンを用いた従来の計測手法を適用して、ある程度の精度で、眼球回旋角度（後述の第１眼球回旋角度θ１）を求める。

【0030】

次いで、実計測時の眼球画像において検出される、虹彩領域と白目領域との境界近傍の複数の血管の端点の中から、虹彩の濃淡パターンを用いた従来の計測手法により算出された眼球回旋角度（後述の第１眼球回旋角度θ１）を用いて、基準状態で選択された所定の血管に対応する血管を特定する。次いで、該特定された血管の端点（後述の対象端点Ｏ_ｔｇｔ）の位置情報を取得する。そして、基準状態及び実計測時のそれぞれにおいて取得された血管の端点の位置情報を用いて、眼球回旋角度をより高精度に決定する。

【0031】

（２）基準情報取得部の処理
本実施形態の眼球回旋測定手法において、基準情報取得部４０は、眼球回旋の実計測時より前に行われ、眼球回旋の測定に必要な各種基準情報を取得する。なお、基準情報取得部４０により行われる各種基準情報の取得処理は、眼球回旋の実計測時（例えば実際に被験体の健康状態を計測するとき）の処理と異なる。

【0032】

本実施形態では、基準情報取得時に、まず、上述した２種類の照明（赤外線ＬＥＤ３２及び青色ＬＥＤ３４）を用いて眼球を撮影する。この際、瞳孔領域及び虹彩領域に赤外線を照射し、血管の周辺（白目領域）に青色光を照射する。

【0033】

次に、基準情報取得部４０は、基準状態において取得された被験体の眼球画像を解析して、基準状態における虹彩の濃淡パターンの差分ベクトルデータｆ_ｒｅｆ、所定の血管の端点（対象端点Ｏ_ｔｇｔ０）の位置情報、瞳孔の楕円パラメータ（例えば、瞳孔輪郭の中心点、長軸値、短軸値、楕円の傾き（長軸の回転角度）等に関する情報）等の情報を取得する。なお、これらの情報の意味及び具体的な取得手法については後で詳述する。

【0034】

そして、基準情報取得部４０は、取得した各種情報を、例えばメモリ装置１８や補助記憶装置１６に出力する。基準情報取得時には、上述のようにして、基準情報取得部４０により各種基準情報が取得され、該各種基準情報がメモリ装置１８あるいは補助記憶装置１６に格納される。なお、ここで基準情報取得部４０から出力される所定の血管の端点（対象端点Ｏ_ｔｇｔ０）の位置情報は、基準状態の眼球画像の横方向及び縦方向をそれぞれＸ軸方向及びＹ軸方向とするＸ−Ｙ直交座標系（後述の図３参照）の座標である。

【0035】

（３）虹彩パターン認識処理部の処理
虹彩パターン認識処理部４２は、眼球回旋の実計測時にカメラ３０により撮影された、基準情報取得時の被験体と同一の被験体の眼球画像において認識される虹彩の濃淡パターンに基づき、ある程度の精度で眼球回旋角度θ１（以下、第１眼球回旋角度θ１という）を算出する。以下、この虹彩パターン認識処理部４２の処理内容をより詳細に説明する。

【0036】

まず、虹彩パターン認識処理部４２は、眼球画像を画素値に応じて二値化し、これにより、眼球画像内における瞳孔領域を抽出する。図３は、カメラ３０により撮影された眼球画像１００の一例、並びに、該眼球画像１００内の瞳孔領域１０１、虹彩領域１０２、白目領域１０３、血管１０４及び血管１０４の端点１０４ａを示す図である。図３に示すように、瞳孔領域１０１の輪郭部分でコントラストが最も大きくなるので、眼球画像１００を二値化することにより、画像内における瞳孔領域１０１及びその輪郭（瞳孔輪郭）を容易に抽出することができる。

【0037】

次に、虹彩パターン認識処理部４２は、抽出された瞳孔輪郭に対して、例えば楕円フィッティング処理を施し、該処理により得られる瞳孔輪郭（瞳孔楕円）の楕円パラメータ（例えば、瞳孔中心の座標、長軸値、短軸値、楕円の傾き等）を取得する。そして、虹彩パターン認識処理部４２は、取得された瞳孔輪郭の楕円パラメータをメモリ装置１８や補助記憶装置１６に出力する。なお、図３に示すように、眼球画像１００の横方向をＸ軸方向とし、縦方向をＹ軸方向とすると、楕円パラメータに含まれる楕円の傾きは、瞳孔輪郭を示す楕円における長軸のＹ軸（零度）に対する傾き角度（Ｙ軸に対して反時計方向の回転角度）のことである。

【0038】

楕円フィッティング処理の手順は次の通りである。まず、虹彩パターン認識処理部４２は、例えば予め定められた楕円パラメータを有する楕円を用意する。次いで、虹彩パターン認識処理部４２は、楕円の回転角度（長軸の傾き）、扁平度及び大きさを変えながら、楕円を瞳孔輪郭に重ねる。そして、虹彩パターン認識処理部４２は、楕円と瞳孔輪郭との乖離が所定の範囲未満となる楕円を探索して抽出する。なお、この際の楕円の抽出手法としては、種々の手法を用いることができ、例えば最小二乗法等の手法を用いることができる。

【0039】

なお、本実施形態では、基準情報取得時に取得される瞳孔輪郭の楕円パラメータも、上記手法と同様にして取得される。この際、本実施形態では、虹彩パターン認識処理部４２の上記処理を基準情報取得部４０で行って瞳孔輪郭の楕円パラメータを取得してもよいし、上記処理を虹彩パターン認識処理部４２で行い、その算出結果を基準情報取得部４０が虹彩パターン認識処理部４２から取得するようにしてもよい。

【0040】

次に、虹彩パターン認識処理部４２は、瞳孔輪郭と同様に、二値化処理が施された眼球画像１００に基づいて、虹彩領域１０２及び白目領域１０３間の境界線を認識し、該境界線に対して楕円フィッティング処理を施す。そして、虹彩パターン認識処理部４２は、楕円フィッティング処理により得られた、虹彩領域１０２及び白目領域１０３間の境界線（虹彩領域１０２の外縁）の楕円パラメータをメモリ装置１８や補助記憶装置１６に出力する。

【0041】

次に、虹彩パターン認識処理部４２は、瞳孔輪郭より外側であり、かつ、虹彩領域１０２の外縁より内側の位置に、仮想的な楕円を設定する。次いで、虹彩パターン認識処理部４２は、例えば仮想的な楕円の中心を回転中心とし、仮想的な楕円上に存在する画素の画素値を、楕円上に沿って所定の角度θｓ毎にサンプリングしてベクトルデータｆを生成する。図４は、仮想的な楕円Ｅ上に存在する画素の画素値をサンプリングしてベクトルデータｆ（＝｛…，Ｚ１，Ｚ２，Ｚ３，Ｚ４，…｝）を生成する際の様子を示す図である。なお、ベクトルデータｆの各要素Ｚｉ（ｉは、整数）は、仮想的な楕円Ｅ上の対応するサンプル点（画素）の画素値である。

【0042】

仮想的な楕円Ｅは、被験体の個人的な特徴に応じて精密に設定することが好ましい。より具体的には、被験体を暗順応させて、瞳孔が最も開いたときの瞳孔の直径（短軸又は長軸）よりも若干大きい直径で仮想的な楕円Ｅを設定する。例えば、瞳孔が最も開いたときの瞳孔の直径（短軸又は長軸）が７ｍｍの時には、仮想的な楕円Ｅの直径を約７．５ｍｍ程度に設定すればよい。なお、本実施形態では、仮想的な楕円Ｅの直径以外の楕円パラメータは、瞳孔輪郭の対応する楕円パラメータと同様とする。

【0043】

仮想的な楕円Ｅを上述のように設定する理由は次の通りである。虹彩の濃淡パターンのコントラストは、瞳孔に近い領域で大きくなるので、できる限り瞳孔に近い位置に仮想的な楕円Ｅを設定して画素値を抽出する（ベクトルデータｆを生成する）ことが望ましい。しかしながら、瞳孔が最も開いたときに仮想的な楕円Ｅが瞳孔と重なることを回避する必要がある。それゆえ、上述のように、仮想的な楕円Ｅの直径（短軸又は長軸）を、被験体の瞳孔が最も開いたときの瞳孔の直径よりも若干大きい直径に設定することが好ましい。なお、本発明はこれに限定されず、例えば、瞳孔の輪郭位置と虹彩領域１０２の外縁位置との略中間位置に仮想的な楕円Ｅを設定してもよい。

【0044】

次に、虹彩パターン認識処理部４２は、仮想的な楕円Ｅのベクトルデータｆに含まれる各画素の画素値（ベクトルデータｆの各要素Ｚｉ）と、該画素から角度θｓ分だけ離れた隣の画素の画素値（ベクトルデータｆの隣接要素）との差分を求め、差分ベクトルデータｆ_ｄを生成する。

【0045】

なお、本実施形態では、基準情報取得時に取得される虹彩の濃淡パターンの差分ベクトルデータｆ_ｒｅｆも、上記手法と同様にして算出される。この際、本実施形態では、虹彩パターン認識処理部４２の上記算出処理を基準情報取得部４０で行って基準状態における虹彩の濃淡パターンの差分ベクトルデータｆ_ｒｅｆを取得してもよいし、上記算出処理を虹彩パターン認識処理部４２で行い、その算出結果を基準情報取得部４０が虹彩パターン認識処理部４２から取得するようにしてもよい。

【0046】

次いで、虹彩パターン認識処理部４２は、基準状態における虹彩の濃淡パターンの差分ベクトルデータｆ_ｒｅｆと、眼球回旋の実計測時に算出された差分ベクトルデータｆ_ｄとの相互相関関数Ｒ（ｋ）を、パラメータ（変数）ｋ（ｋ＝０，１，２，…）を変化させながら複数回計算する。なお、相互相関関数Ｒ（ｋ）は、下記式（１）で表わされる。

【0047】

【数1】

【0048】

上記式（１）において、パラメータ「ｍ」は、ベクトルデータｆの各要素Ｚｉのインデックスであり、パラメータ「ｋ」は、差分ベクトルデータｆ_ｒｅｆに対する差分ベクトルデータｆ_ｄの各要素のインデックスの相対的なずらし量である。また、上記式（１）の総和「Σ」は、パラメータ「ｍ」についての総和である。

【0049】

上記式（１）に示すように、相互相関関数Ｒ（ｋ）は、差分ベクトルデータｆ_ｒｅｆの各要素と、差分ベクトルデータｆ_ｒｅｆの各要素に対してインデックスをｋ分ずらした差分ベクトルデータｆ_ｄの各要素とをそれぞれ乗算し、その乗算結果を総和したパラメータである。それゆえ、相互相関関数Ｒ（ｋ）の値は、各要素のインデックスをｋ分ずらした差分ベクトルデータｆ_ｄの各要素の分布が、基準状態の差分ベクトルデータｆ_ｒｅｆの各要素の分布に最も近くなるときに、最大になる。

【0050】

そして、虹彩パターン認識処理部４２は、相互相関関数Ｒ（ｋ）が最大になるパラメータｋの値（ｋ_ｐ）を特定し、該特定されたパラメータｋの値（ｋ_ｐ）に対応する角度（ｋ_ｐ×θｓ）を第１眼球回旋角度θ１（基準眼球回旋角度）として算出する。

【0051】

図５Ａ及び図５Ｂは、基準状態における差分ベクトルデータｆ_ｒｅｆの各要素の分布と、眼球回旋の実計測時における差分ベクトルデータｆ_ｄの各要素の分布と、相互相関関数Ｒ（ｋ）との関係を示す図である。各図に示す棒グラフの長さ（縦軸）は、ベクトルデータの各要素の画素値Ｚｉであり、棒グラフの横軸は各要素のインデックスｍである。なお、図５Ａは、差分ベクトルデータｆ_ｒｅｆに対する差分ベクトルデータｆ_ｄの各要素のインデックスの相対的なずらし量が零（ｋ＝０）である場合の両差分ベクトルデータ間の関係を示す図である。また、図５Ｂは、差分ベクトルデータｆ_ｒｅｆに対する差分ベクトルデータｆ_ｄの各要素のインデックスの相対的なずらし量が「ｋ_ｐ」である場合の両差分ベクトルデータ間の関係を示す図である。

【0052】

図５Ａに示すように、差分ベクトルデータｆ_ｄの各要素のインデックスの相対的なずらし量が零（ｋ＝０）である場合には、差分ベクトルデータｆ_ｄの各要素の分布が差分ベクトルデータｆ_ｒｅｆの各要素の分布と異なった分布となるので、相互相関関数Ｒ（ｋ）は小さくなる。一方、図５Ｂに示すように、差分ベクトルデータｆ_ｄの各要素のインデックスの相対的なずらし量が「ｋ_ｐ」である場合には、差分ベクトルデータｆ_ｄの各要素の分布が差分ベクトルデータｆ_ｒｅｆの各要素の分布と同じ分布となるので、相互相関関数Ｒ（ｋ）は最大になる。なお、ここでいうベクトルデータの各要素のインデックスを「ｋ分ずらす」とは、図５Ｂに示すように、各要素をその配列方向に沿って所定方向（図５Ｂに示す例では右方向）に、ｋインデックス分だけシフトすることを意味する。

【0053】

上述した虹彩の濃淡パターンを用いた手法により得られる第１眼球回旋角度θ１（＝ｋ_ｐ×θｓ）は、ある程度正確な眼球回旋角度を表す。例えば、ある条件下では、１度程度の分解能で眼球回旋角度を測定することができることが、実験等により分かっている。しかしながら、本実施形態の眼球回旋測定装置１では、さらに高分解能（十分の数度程度の分解能）で、眼球回旋角度の計測を可能にするため、以下に説明する血管位置認識部４４の処理及び角度算出部４６の処理を行う。

【0054】

（４）血管位置認識部の処理
血管位置認識部４４は、白目領域１０３における血管１０４の位置を認識し、該認識した血管１０４の位置に関する情報を、例えばメモリ装置１８や補助記憶装置１６に出力する。白目領域１０３は、図３に示すように、眼球画像１００において、虹彩パターン認識処理部４２により認識された虹彩領域１０２よりも外側の領域である。なお、この際、血管位置認識部４４で認識（特定）する血管１０４は、基準情報取得時に基準情報取得部４０により選択された所定の血管に対応する血管（以下、対応血管ともいう）である。

【0055】

より具体的には、血管位置認識部４４は、メモリ装置１８や補助記憶装置１６に格納された基準情報を参照し、実計測時の眼球画像１００において、虹彩領域１０２の外縁近傍に存在する対応血管の端点（以下、「対象端点」と称する）の位置情報を取得する。そして、血管位置認識部４４は、取得された対応血管の対象端点の位置情報（座標情報）を、例えばメモリ装置１８や補助記憶装置１６に出力する。以下、この血管位置認識部４４で行う処理内容についてより詳細に説明する。

【0056】

まず、血管位置認識部４４は、基準情報取得部４０により予め取得されている基準状態における所定の血管の対象端点Ｏ_ｔｇｔ０の位置情報（座標情報）をメモリ装置１８や補助記憶装置１６から読み込む。次いで、血管位置認識部４４は、読み込んだ基準状態における所定の血管の対象端点Ｏ_ｔｇｔ０の位置情報に基づき、実計測時に取得された眼球画像１００において、対応血管の位置を特定するための探索領域を設定する。具体的には、血管位置認識部４４は、基準状態における所定の血管の対象端点Ｏ_ｔｇｔ０を第１眼球回旋角度θ１、回転させた点を基準端点Ｏ_ｒｅｆ（想定端点位置）とし、該基準端点Ｏ_ｒｅｆを中心とする所定形状（本実施形態では、後述の図６〜図８に示すように、正方形状）の探索領域を眼球画像１００内に設定する。

【0057】

次に、血管位置認識部４４は、探索領域の画像に対して例えば平滑化処理を施し、ノイズ除去を行う。次いで、血管位置認識部４４は、平滑化処理が施された探索領域の画像に対して、画素値に応じて二値化処理を施し、画素値が低い方の画素の集合部分を血管として認識する。この際、探索領域において、複数の血管が認識される（後述の図７参照）。

【0058】

更に、血管位置認識部４４は、血管であると認識された画素の集合部分に対して、Hilditchの細線化アルゴリズムを適用してノイズ除去処理を施す。次いで、血管位置認識部４４は、細線部分に対して深さ優先探索を行うことにより血管の長さを計測する。そして、血管位置認識部４４は、認識された複数の血管の中から、長さが所定値以上の血管のみを抽出する。

【0059】

Hilditchの細線化法では、探索領域内の注目画素とその周囲の８画素を参照する３×３のウィンドウ（画素領域）をノイズ除去処理の基本処理単位とする。そして、血管位置認識部４４は、探索領域の画像データ全体をラスタ走査しながら、各画素を注目画素としてノイズ除去を行うことにより細線化処理を行う。

【0060】

具体的には、まず、血管位置認識部４４は、注目画素が３×３のウィンドウで予め定義した細線化による削除条件に合致するか否かの判定を行う。そして、注目画素が削除条件に合致する場合には、血管位置認識部４４は、当該注目画素を削除する、すなわち、図形画素（血管領域の画素）を背景画素（白目領域の画素）に置き換える。一方、注目画素が削除条件に合致しない場合、血管位置認識部４４は、ラスタ走査順で次の画素を注目画素とし、新たな３×３のウィンドウにおいて、注目画素の判定処理及び図形画素の置換処理を行う。

【0061】

Hilditchの細線化法によるノイズ除去処理において、血管位置認識部４４は、上述した一連の処理を探索領域内の全ての画素に対して繰り返す。次いで、血管位置認識部４４は、１サイクルのラスタ走査において削除される画素が無くなるまで、探索領域をラスタ走査しながら上述した一連の処理を繰り返す。そして、血管位置認識部４４は、１サイクルのラスタ走査において削除される画素が無くなった時点で、Hilditchの細線化法によるノイズ除去処理を終了する。

【0062】

図６〜図８は、それぞれ、上述した対応血管の探索領域の原画像、二値化処理を施した後の探索領域の画像、Hilditchの細線化アルゴリズムを適用してノイズ除去を行った後の探索領域の画像の一例である。

【0063】

上述したHilditchの細線化アルゴリズムによるノイズ除去処理後、血管位置認識部４４は、ノイズ除去された探索領域の画像データに基づいて、抽出された各血管の対象端点の位置を特定する。次いで、血管位置認識部４４は、特定された複数の血管の対象端点の中から、最も基準端点Ｏ_ｒｅｆに近い対象端点を選択し、該対象端点を、実計測時の眼球画像１００内における対応血管の対象端点Ｏ_ｔｇｔとする。図９は、探索領域の中心である基準端点Ｏ_ｒｅｆと、血管位置認識部４４により認識（特定）された対応血管Ｖの対象端点Ｏ_ｔｇｔとの関係を示す図である。

【0064】

そして、血管位置認識部４４は、特定した対応血管Ｖの対象端点Ｏ_ｔｇｔの位置情報（所定の血管の位置に関する第１の情報）を例えば、メモリ装置１８や補助記憶装置１６に出力する。ここで血管位置認識部４４から出力される対応血管Ｖの対象端点Ｏ_ｔｇｔの位置情報は、実計測時の眼球画像１００（探索領域）の横方向及び縦方向をそれぞれＸ軸方向及びＹ軸方向とするＸ−Ｙ直交座標系（図３及び図９参照）の座標である。

【0065】

なお、本実施形態では、基準状態において選択された所定の血管の対象端点Ｏ_ｔｇｔ０は、次のようにして求められる。まず、虹彩領域の外縁近傍において、所定の探索領域を設定する。次いで、設定された所定の探索領域の画像データに対して、血管位置認識部４４で実施された二値化処理からHilditchの細線化法によるノイズ除去処理に至る一連の上記処理を施し、探索領域内の複数の血管の端点を抽出する。そして、抽出された複数の血管の端点から、基準状態における所定の血管の対象端点Ｏ_ｔｇｔ０を選択する。これらの処理は、基準情報取得部４０で行ってもよいし、これらの処理を血管位置認識部４４で行い、その算出結果を基準情報取得部４０が血管位置認識部４４から取得するようにしてもよい。

【0066】

また、基準情報取得時において所定の血管を選択する際の探索領域の設定位置及びサイズ等は任意に設定することができる。また、探索領域において抽出された複数の血管の端点から、所定の血管の対象端点Ｏ_ｔｇｔ０を選択する基準も任意である。

【0067】

しかしながら、本実施形態では、端点が眼球の虹彩領域の外縁に接するような血管を、所定の血管として選択することが好ましい。また、血管の端点のＹ軸方向の座標が、瞳孔中心のＹ軸方向の座標により近い（より好ましくは、同じになる）血管を所定の血管として選択することが好ましい。このようにして所定の血管として選択することにより、例えば、まつ毛の影響、瞼の動きや視線移動などの影響を受け難くなり（眼球画像１００中に血管の端点が写り込む可能性が高くなり）、血管のトラッキング精度（対応血管の対象端点Ｏ_ｔｇｔの認識（特定）精度）を高めることができ、眼球回旋角度をより確実に精度良く計測することが可能になる。また、同様の理由から、基準状態における探索領域も、虹彩領域の外縁近傍で、かつ、探索領域の中心点のＹ軸方向の座標が、瞳孔中心のＹ軸方向の座標に近くなる（より好ましくは、同じになる）ように探索領域を設定することが好ましい。

【0068】

（５）角度算出部の処理
角度算出部４６は、基準状態において選択された所定の血管の対象端点Ｏ_ｔｇｔ０の位置情報と、眼球回旋の実計測時に特定（認識）された対応血管（所定の血管に対応する血管）の対象端点Ｏ_ｔｇｔの位置情報とに基づいて、眼球回旋角度θを算出する。具体的には、眼球回旋角度θは、次のように求められる。

【0069】

まず、本実施形態では、瞳孔輪郭（瞳孔楕円）に沿った楕円座標系（楕円極座標系）を設定する。具体的には、血管の対象端点の位置座標を、瞳孔輪郭の瞳孔中心Ｐ（楕円中心）を通る短軸の座標ｗ（短軸値）及び長軸の座標ｈ（長軸値）と、楕円上において長軸を零度（基準）とした反時計方向の回転角度座標θｐとで表す楕円座標系（ｗ，ｈ，θｐ）を設定する。

【0070】

そこで、いま、基準情報取得時に取得された所定の血管の対象端点Ｏ_ｔｇｔ０のＸ−Ｙ直交座標系における座標（所定の血管の位置に関する第２の情報）を（Ｉｘ_ｔｇｔ０，Ｉｙ_ｔｇｔ０）とし、基準状態における瞳孔中心ＰのＸ−Ｙ直交座標系における座標を（ｘ_ｔｇｔ００，ｙ_ｔｇｔ００）とする。また、基準状態における、瞳孔輪郭の短軸値（楕円座標系における瞳孔輪郭の短軸方向の座標）をａ_ｔｇｔ０とし、瞳孔輪郭の長軸値（楕円座標系における瞳孔輪郭の長軸方向の座標）をｂ_ｔｇｔ０とし、楕円座標系の長軸方向のＸ−Ｙ直交座標系のＹ軸方向に対する傾きをφ_ｔｇｔ０とする。さらに、所定の血管の対象端点Ｏ_ｔｇｔ０の楕円座標系における回転角度座標θｐをθ_ｔｇｔ０とし、短軸の座標ｗをｗ_ｔｇｔ０とし、長軸の座標ｈをｈ_ｔｇｔ０とする。

【0071】

なお、これらの基準状態における各種パラメータのうち、対象端点Ｏ_ｔｇｔ０の楕円座標系における回転角度座標θ_ｔｇｔ０、短軸座標ｗ_ｔｇｔ０及び長軸座標ｈ_ｔｇｔ０以外のパラメータは、基準情報取得時に、基準情報取得部４０により予め取得され、例えばメモリ装置１８や補助記憶装置１６に格納されている。

【0072】

そして、基準状態におけるこれらのパラメータの関係式は下記式（２）、（３）及び（４）で表される。なお、下記式（２）、（３）及び（４）は、楕円座標系の座標（ｗ，ｈ,θｐ）をＸ−Ｙ直交座標系の座標（ｘ、ｙ）に変換するための方程式系である。それゆえ、角度算出部４６は、下記式（２）、（３）及び（４）の方程式系を逆算することにより、基準状態において選択された所定の血管の対象端点Ｏ_ｔｇｔ０の回転角度座標θ_ｔｇｔ０を算出することができる。

【0073】

【数2】

【0074】

一方、眼球回旋の実計測時に特定された対応血管の対象端点Ｏ_ｔｇｔのＸ−Ｙ直交座標系における座標（所定の血管の位置に関する第１の情報）を（Ｉｘ_ｔｇｔ，Ｉｙ_ｔｇｔ）とし、実計測時における瞳孔中心ＰのＸ−Ｙ直交座標系における座標を（ｘ_ｔｇｔ０，ｙ_ｔｇｔ０）とする。また、実計測時における、瞳孔輪郭の短軸値をａ_ｔｇｔとし、瞳孔輪郭の長軸値をｂ_ｔｇｔとし、楕円座標系の長軸方向のＸ−Ｙ直交座標系のＹ軸方向に対する傾きをφ_ｔｇｔとする。さらに、対応血管の対象端点Ｏ_ｔｇｔの楕円座標系における回転角度座標θｐをθ_ｔｇｔとし、短軸の座標ｗをｗ_ｔｇｔとし、長軸の座標ｈをｈ_ｔｇｔとする。

【0075】

なお、これらの実計測時における各種パラメータのうち、対象端点Ｏ_ｔｇｔの楕円座標系における回転角度座標θ_ｔｇｔ、短軸座標ｗ_ｔｇｔ及び長軸座標ｈ_ｔｇｔ以外のパラメータは、虹彩パターン認識処理部４２及び血管位置認識部４４の処理により予め算出され、例えばメモリ装置１８や補助記憶装置１６に格納されている。

【0076】

そして、眼球回旋の実計測時におけるこれらのパラメータの関係式は下記式（５）、（６）及び（７）で表される。そして、角度算出部４６は、下記式（５）、（６）及び（７）の方程式系を逆算することにより、眼球回旋の実計測時に特定された対応血管の対象端点Ｏ_ｔｇｔの回転角度座標θ_ｔｇｔを算出することができる。

【0077】

【数3】

【0078】

次いで、角度算出部４６は、上述のようにして算出された対応血管の対象端点Ｏ_ｔｇｔの回転角度座標θ_ｔｇｔから、基準状態における所定の血管の対象端点Ｏ_ｔｇｔ０の回転角度座標θ_ｔｇｔ０を差し引くことにより、眼球回旋角度θを算出する。すなわち、角度算出部４６は、下記式（８）に基づいて、眼球回旋角度θを算出する。

【0079】

【数4】

【0080】

図１０は、眼球回旋角度θを算出する際に設定した楕円座標系とＸ−Ｙ直交座標系との関係、並びに、基準状態において選択された所定の血管の対象端点Ｏ_ｔｇｔ０の回転角度座標θ_ｔｇｔ０と実計測時に特定された対応血管の対象端点Ｏ_ｔｇｔの回転角度座標θ_ｔｇｔと眼球回旋角度θとの関係を示す図である。なお、図１０では、説明を簡略化するため、基準状態（基準情報取得時）に取得された対象端点Ｏ_ｔｇｔ０を通る仮想的な楕円のサイズ及び扁平度が、眼球回旋の実計測時に取得された対象端点Ｏ_ｔｇｔを通る仮想的な楕円のサイズ及び扁平度と同じになるように図示している。

【0081】

［眼球回旋測定処理のフローチャート］
次に、本実施形態の眼球回旋測定装置１により眼球回旋測定を行う際の具体的な処理手順を、図１１を参照しながら説明する。図１１は、本実施形態の眼球回旋測定装置１によって実行される眼球回旋測定手法の処理手順を示すフローチャートである。

【0082】

まず、眼球回旋測定装置１は、現在の計測モードが基準情報取得モードであるか否かを判定する（Ｓ１００）。この判定処理は、例えば、次のようにして実行される。まず、現在の計測モードが基準情報取得モードであるか否かを示す制御フラグを予め用意する。そして、例えばオペレータ等により、眼球回旋測定装置１に対して何らかの操作が行われ、計測モードとして基準情報取得モードが設定された場合に制御フラグがオン状態になる場合を考える。この場合、眼球回旋測定装置１は、Ｓ１００において、この制御フラグのオン／オフ状態を判別することにより、現在の計測モードが基準情報取得モードであるか否かを判定する。なお、Ｓ１００の判定処理を行うタイミングは、例えばオペレータ等により基準情報取得モードが設定された時点であってもよいし、１枚目の画像が入力された時点であってもよい。

【0083】

Ｓ１００において、現在の計測モードが基準情報取得モードである場合には、Ｓ１００はＹｅｓ判定となる。この場合、眼球回旋測定装置１は、基準状態において取得された被験体の眼球画像を解析し、基準状態における虹彩の濃淡パターンの差分ベクトルデータｆ_ｒｅｆ、所定の血管の対象端点Ｏ_ｔｇｔ０の位置情報、基準状態における瞳孔輪郭の楕円パラメータ（瞳孔の中心位置、楕円の短軸値、長軸値、長軸の傾き（回転角度）など）等の基準情報を取得する（Ｓ１０２）。そして、眼球回旋測定装置１は、取得した基準情報をメモリ装置１８や補助記憶装置１６に出力した後、眼球回旋測定処理を終了する。なお、Ｓ１０２の処理において、眼球回旋測定装置１は、上述した基準情報取得部４０の処理動作に従って、基準状態における上記各種基準情報を取得する。

【0084】

一方、Ｓ１００において、現在の計測モードが基準情報取得モードでない場合、すなわち、現在の計測モードが眼球回旋の実計測モードである場合には、Ｓ１００はＮｏ判定となる。この場合、眼球回旋測定装置１は、基準情報取得時と同一の被験体から取得された実計測時の眼球画像を解析し、該眼球画像において認識される虹彩の濃淡パターンに基づき第１眼球回旋角度θ１を算出する（Ｓ１０４）。なお、Ｓ１０４の処理において、眼球回旋測定装置１は、上述した虹彩パターン認識処理部４２の処理動作に従って、第１眼球回旋角度θ１を算出する。

【0085】

次いで、眼球回旋測定装置１は、眼球画像内の白目領域において複数の血管の位置を認識し、該複数の血管から対応血管（基準情報取得時に選択された所定の血管に対応する血管）を特定する。そして、眼球回旋測定装置１は、対応血管の対象端点Ｏ_ｔｇｔ（瞳孔側の血管端）の位置情報（血管の位置に関する情報）を取得する（Ｓ１０６）。なお、Ｓ１０６の処理において、眼球回旋測定装置１は、上述した血管位置認識部４４の処理動作に従って、対象端点Ｏ_ｔｇｔの位置情報を取得する。また、Ｓ１０６では、眼球回旋測定装置１は、実計測時における瞳孔輪郭の楕円パラメータも取得する。

【0086】

次いで、眼球回旋測定装置１は、Ｓ１０６で取得された実計測時における対応血管の対象端点Ｏ_ｔｇｔの位置情報及び瞳孔輪郭の楕円パラメータを用いて、楕円座標系における対応血管の対象端点Ｏ_ｔｇｔの回転角度座標θ_ｔｇｔを算出し、さらに、実計測時の被験者と同一の被験体に対してＳ１０２で取得された基準情報を用いて、楕円座標系における所定の血管の対象端点Ｏ_ｔｇｔ０の回転角度座標θ_ｔｇｔ０を算出する（Ｓ１０８）。そして、眼球回旋測定装置１は、Ｓ１０８で算出した回転角度座標θ_ｔｇｔから回転角度座標θ_ｔｇｔ０を減算して眼球回旋角度θを算出する（Ｓ１１０）。なお、Ｓ１０８及びＳ１１０の処理において、眼球回旋測定装置１は、上述した角度算出部４６の処理動作に従って、眼球回旋角度θを算出する。

【0087】

本実施形態では、上述のようにして眼球回旋の測定を行う。なお、本実施形態では、上述した眼球回旋測定処理を、対応する眼球回旋測定プログラムを眼球回旋測定装置１に実装し、該眼球回旋測定プログラムをＣＰＵ１０により実行することにより実現してもよい。

【0088】

上述した本実施形態の眼球回旋測定技術では、周囲に対するコントラストが大きく、かつ、瞳孔収縮による影響が小さい血管端（結膜血管の対象端点）の位置情報に基づいて眼球回旋角度θを算出するため、より高精度に眼球回旋を計測することができる。具体的には、本実施形態によれば、十分の数度程度の分解能で眼球回旋角度θを測定することができ、従来の手法（虹彩の濃淡パターンを用いた手法）に比べて、より高精度に眼球回旋を計測することができる。

【0089】

また、本実施形態では、上述のように、虹彩領域の外縁近傍に位置する血管端（対象端点）の位置情報に基づいて眼球回旋角度θを算出する。この場合、血管端は白目領域の中で最も瞳孔に近い位置に存在するので、瞼の動き等による血管端（対象端点）の検出への影響が最小となる。それゆえ、本実施形態のように、虹彩領域の外縁近傍に位置する血管端（対象端点）の位置情報を用いることにより、更に高精度に眼球回旋を計測することができる。

【0090】

また、本実施形態では、上述のように、眼球回旋角度θを測定する際、最初に、虹彩の濃淡パターンを用いた眼球回旋測定手法により、ある程度の精度で眼球回旋角度（第１眼球回旋角度θ１）を算出し、この眼球回旋角度を用いて、検出すべき血管（対応血管）の対象端点Ｏ_ｔｇｔを特定する。このような手法を用いることにより、実計測時において対応血管の対象端点Ｏ_ｔｇｔをより早く特定することができるので、眼球回旋角度θをより高速に算出することができる。さらに、このような手法を用いることにより、低コストで眼球回旋測定を実現することができるとともに、瞳孔径変化時にも高精度及び高分解能で眼球回旋角度θを計測することができる。

【0091】

＜２．第２の実施形態＞
一般に、目の中には、例えば、まつ毛、塵埃、化粧品の微粉等の物質などが入りやすく、これらの物質が虹彩領域の外縁近傍に存在すると、これらの物質は、本発明において、眼球回旋の測定精度を劣化させるノイズ源になる可能性がある。それゆえ、本発明において、眼球回旋運動をより正しく測定するためには、測定時に、虹彩領域の外縁（輪郭）付近に存在する複数の結膜血管の端点（以下、略して血管端ともいう）から、例えばまつ毛などの物質（ノイズ）で遮蔽されていない血管端を自動的に選択（特定）することが好ましい。第２の実施形態では、このような処理が可能な眼球回旋測定装置、及び、眼球回旋測定手法の一例を説明する。

【0092】

なお、本実施形態に係る眼球回旋測定装置１のハードウェア構成、及び、機能構成は、上記第１の実施形態と同様（図１及び図２参照）であるので、ここでは、それらの構成についての説明を省略する。

【0093】

［眼球回旋測定手法］
（１）眼球回旋測定手法の概要
図２に示す各機能ブロックで行われる各種処理を説明しながら、本実施形態における眼球回旋測定手法を具体的に説明するが、その前に、本実施形態における眼球回旋測定手法の概要を説明する。

【0094】

本実施形態の眼球回旋測定手法では、まず、虹彩領域の外縁を認識し、該外縁近傍に存在する複数の血管端を自動的に検出する。次いで、検出された各血管端を含む所定の画像領域（後述のマッチングエリア）に対して、対応する基準情報（後述のテンプレート映像）を用いてパターンマッチング処理を行う。そして、マッチング結果（後述の類似度）に基づいて、複数の血管端からノイズが最も小さい血管端（血管の対象端点）を自動的に特定する。このような手法を用いることにより、眼球回旋角度θの計測精度をさらに向上させることができる。

【0095】

また、本実施形態では、上記第１の実施形態と同様に、上述した血管端の自動選択手法と、上記第１の実施形態で説明した虹彩の濃淡パターンを用いた従来の眼球回旋測定手法とを併用する。これにより、高速でかつ低コストで眼球回旋測定が可能となるとともに、瞳孔径変化時にも高精度及び高分解能で眼球回旋角を計測することができる。

【0096】

（２）基準情報取得部の処理
基準情報取得時には、まず、上記第１の実施形態と同様に、２種類の照明（赤外線ＬＥＤ３２及び青色ＬＥＤ３４）を用いて眼球を撮影する。この際、瞳孔及び虹彩の領域に赤外線を照射し、血管の周辺（白目領域）に青色光を照射する。

【0097】

なお、本実施形態では、眼球画像として動画像を用いる。また、本実施形態では、動画像の撮影途中で、一旦、赤外線ＬＥＤ３２を消灯する。これは、後述する虹彩領域１０２の輪郭の決定処理において、虹彩領域１０２及び白目領域１０３間のコントラストを高くするためである。

【0098】

まず、基準情報取得部４０は、基準状態において取得された被験体の眼球画像を解析して、虹彩領域１０２及び白目領域１０３間の境界（虹彩領域の外縁）を認識し、該境界の座標を決定する。図１２及び図１３は、眼球画像を用いて虹彩領域１０２と白目領域１０３との境界の座標を決定する手法を説明するための図である。

【0099】

虹彩領域１０２及び白目領域１０３間の境界の決定手法では、まず、基準情報取得部４０は、眼球画像から瞳孔の輪郭に沿った楕円座標系を取得する。この処理を、より具体的に説明すると、上記第１の実施形態で説明したように、瞳孔領域１０１は他の領域と比べて画素値が低いので、基準情報取得部４０は、眼球の原画像に対して２値化処理を施し、画素値の低い領域を瞳孔領域１０１として抽出する。次いで、基準情報取得部４０は、抽出された瞳孔領域１０１の輪郭に対して最小二乗法により楕円近似（楕円フィッティング処理）を行う。

【0100】

これにより、基準情報取得部４０は、瞳孔輪郭（瞳孔楕円）の楕円パラメータ（例えば、瞳孔輪郭の中心点、長軸値、短軸値、長軸の回転角度等に関する情報）を取得する。そして、基準情報取得部４０は、楕円近似により得られた楕円パラメータから、該楕円の長軸を回転方向座標の基準（零度）とする楕円座標系を設定する。

【0101】

この楕円座標系における座標は、カメラ映像（眼球画像）のＸ−Ｙ直交座標系における瞳孔輪郭の中心１０１ａの座標（ｘ_０，ｙ_０）を原点とし、楕円の長軸方向の座標ｈ（長軸値）及び短軸方向の座標ｗ（短軸値）、並びに、長軸に対する反時計回り方向の回転角度座標θｐで表わされる。また、本実施形態では、カメラ映像のＸ−Ｙ直交座標系のＹ軸（眼球画像の縦方向の軸）に対する楕円座標系の長軸の傾きをφとする。

【0102】

楕円座標系における任意の座標（ｗ，ｈ，θｐ）と、この座標に対応するＸ−Ｙ座標系の座標（ｘ，ｙ）との間の関係は、下記式（９）で表される。下記式（９）は、楕円座標系の座標（ｗ，ｈ,θｐ）をＸ−Ｙ直交座標系の座標（ｘ、ｙ）に変換するための方程式系である。なお、下記式（９）中の「ａ」は瞳孔輪郭の短軸値（楕円座標系における瞳孔輪郭の短軸方向の座標）であり、「ｂ」は瞳孔輪郭の長軸値（楕円座標系における瞳孔輪郭の長軸方向の座標）である。

【0103】

【数5】

【0104】

なお、本実施形態では、基準情報取得部４０は、瞳孔輪郭の楕円パラメータを取得した後、上記第１の実施形態と同様に、基準状態における虹彩の濃淡パターンの差分ベクトルデータを算出する。

【0105】

次に、基準情報取得部４０は、虹彩領域１０２の輪郭を決定する。この処理では、まず、基準情報取得部４０は、赤外線ＬＥＤ３２の消灯時の眼球画像を取得する。また、基準情報取得部４０は、赤外線ＬＥＤ３２の消灯時の１フレーム前の眼球画像を用いて、瞳孔輪郭の中心１０１ａの座標を算出する。このことから明らかなように、本実施形態では、少なくとも赤外線ＬＥＤ３２の消灯前の眼球画像及び消灯後の眼球画像の２枚の眼球画像が必要となる。

【0106】

なお、本実施形態では、瞳孔輪郭の中心１０１ａの座標を算出するための眼球画像として、赤外線ＬＥＤ３２の消灯時の２フレーム以上前の眼球画像を用いてもよい。しかしながら、視線移動及び眼球回旋等を含む眼球運動に対してより確実に血管端をトラッキングするため、瞳孔輪郭の中心１０１ａの座標を算出するために用いる赤外線ＬＥＤ３２の消灯前の眼球画像と、赤外線ＬＥＤ３２の消灯時の眼球画像との間隔はより短い方が好ましい。

【0107】

次いで、基準情報取得部４０は、赤外線ＬＥＤ３２の消灯時の眼球画像において、図１２中の破線矢印で示すように、赤外線ＬＥＤ３２を消灯する前の眼球画像から予め算出された瞳孔領域１０１の中心１０１ａから白目領域１０３に向かう方向（図１２の例ではＸ軸方向）に沿って、画素の画素値をサンプリングする。

【0108】

図１３は、画素値のサンプリング結果を示す。図１３に示す特性の横軸は、図１２中のサンプリングライン（破線矢印）上におけるサンプル点（画素）の瞳孔中心１０１ａからの距離であり、縦軸は、画素値である。

【0109】

次いで、基準情報取得部４０は、図１３に示す特性から得られた画素値の最小値と最大値との中間値を、虹彩領域１０２及び白目領域１０３間の境界位置を決める閾値とする。そして、基準情報取得部４０は、図１２中の破線矢印の方向に沿って、瞳孔中心１０１ａから外側に向かって順次、サンプル点（画素）の画素値を参照し、画素値が閾値より大きくなった画素の座標を、サンプリングライン上における虹彩領域１０２及び白目領域１０３間の境界座標（以下、白目−虹彩境界座標という）として取得する。

【0110】

次いで、基準情報取得部４０は、上述のようにして求めた白目−虹彩境界座標と、上記式（９）とを用いて、血管端の検出範囲を決定するための楕円軌跡（虹彩領域の外縁）を決定する。

【0111】

具体的には、まず、基準情報取得部４０は、Ｘ−Ｙ直交座標系における白目−虹彩境界座標（ｘ,ｙ）、瞳孔輪郭の中心座標（ｘ_０，ｙ_０）、瞳孔輪郭の短軸値ａ及び長軸値ｂ、並びに、瞳孔輪郭（楕円座標系）の傾きφを上記式（９）の方程式系に代入し、上記方程式系を解く（逆算する）ことにより、楕円座標系における白目−虹彩境界座標（ｗ，ｈ，θｐ）を算出する。次いで、上記式（９）の方程式系において、楕円座標系における白目−虹彩境界座標（ｗ，ｈ，θｐ）のパラメータｗ及びｈを固定し、かつ、回転角度座標θｐを種々変化させながら、楕円座標系の座標（ｗ，ｈ，θｐ）をＸ−Ｙ直交座標系の座標（ｘ，ｙ）に変換すると、白目−虹彩境界座標を通る楕円軌跡が得られる。

【0112】

次に、基準情報取得部４０は、上述のようにして得られた白目−虹彩境界座標を通る楕円軌跡に基づいて、血管端の検出領域を設定する。図１４は、白目−虹彩境界座標を通る楕円軌跡Ｅ_{ｏｒｂｉｔ}に基づいて設定された血管端の検出領域の一例を示す。本実施形態では、楕円軌跡Ｅ_{ｏｒｂｉｔ}から、その１０ピクセル外側の位置までの領域（図１４中の白い帯状の領域）を血管端の検出領域５０とする。なお、本実施形態では、検出領域５０を、虹彩領域１０２及び白目領域１０３間の境界を示す楕円の全周に渡って設定してもよいし、該楕円の周回方向に沿った所定の角度範囲（９０度、１８０度など）の領域に設定してもよい。すなわち、本実施形態では、虹彩領域１０２及び白目領域１０３間の境界を示す楕円上の一部分に検出領域５０を設けてもよい。

【0113】

次に、基準情報取得部４０は、上述のようにして設定された血管端の検出領域５０において、血管端を抽出する。図１５Ａ〜図１５Ｃは、検出領域５０において、血管端を抽出するための画像処理の流れを説明するための図である。なお、図１５Ａは検出領域５０内の一部の領域の原画像であり、図１５Ｂは原画像を２値化処理した後の画像であり、図１５Ｃは２値化処理した画像に対してさらに細線化ノイズ除去処理を施した後の画像である。

【0114】

血管端の抽出処理では、まず、基準情報取得部４０は、原画像に対して１９×１９ピクセルの範囲を基本処理単位として平滑化処理を行う。次いで、基準情報取得部４０は、図１５Ａに示す原画像と、平滑化処理が施された画像との差分を算出する。なお、眼球画像において、血管の画素値は、背景である白目領域の画素値より低い。それゆえ、差分処理が施された画像では、血管領域の差分値が高くなり、背景となる白目領域の差分値が低くなり、かつ、白目領域では差分値がほぼ一定の値となる。

【0115】

次いで、基準情報取得部４０は、上記差分処理により得られた画像に対して３×３ピクセルの範囲を基本処理単位として平滑化処理を行い、ゴマシオノイズを除去する。そして、基準情報取得部４０は、平滑化処理後の画像に対して閾値を用いて２値化処理を行う。この処理により、図１５Ｂに示すような２値画像が得られ、この２値画像により血管領域（図１５Ｂ中の黒色部分）が認識可能になる。

【0116】

次いで、基準情報取得部４０は、上述のようにして２値化処理が施された画像内の血管領域に対して、上記第１の実施形態と同様にして、Hilditchの細線化アルゴリズムを用いてノイズ除去処理を行う。これにより、図１５Ｃに示すように、複数の細線（血管部分）が描かれた画像が得られる。

【0117】

次に、基準情報取得部４０は、図１５Ｃに示す画像内で得られる各細線において瞳孔中心１０１ａに最も近い位置を求め、この位置を血管端の位置とする。そして、基準情報取得部４０は、Hilditchの細線化アルゴリズムによるノイズ除去処理が施された眼球画像から、血管端毎に、その血管端を中心とする２０×２０ピクセルの領域の画像を抽出し、該抽出された領域の画像をテンプレート映像（テンプレート画像）として取得する。

【0118】

図１６は、検出領域５０で検出された複数の血管端５１、及び、それらにそれぞれ対応する複数のテンプレート映像の領域５２を示す図である。なお、図１６中の丸印が血管端５１であり、正方形状の白枠で囲まれた領域がテンプレート映像の領域５２である。

【0119】

次いで、基準情報取得部４０は、このようして得られた検出領域５０内の複数の血管端５１の楕円座標（ｗ，ｈ，θｐ）、及び、複数の血管端５１にそれぞれ対応する複数のテンプレート映像を、基準状態における、虹彩の濃淡パターンの差分ベクトルデータ、瞳孔輪郭の楕円パラメータ（例えば、瞳孔中心１０１ａの位置、長軸値、短軸値、長軸の回転角度等に関する情報）とともに、基準情報として、メモリ装置１８あるいは補助記憶装置１６（図１参照）に出力する。基準情報取得時には、上述のようにして、基準情報取得部４０により各種基準情報が取得され、該各種基準情報がメモリ装置１８あるいは補助記憶装置１６に格納される。なお、血管端５１の楕円座標（ｗ，ｈ，θｐ）は上記式（９）を用いて算出される。

【0120】

（３）虹彩パターン認識処理部の処理
本実施形態における虹彩パターン認識処理部４２の処理内容は、上記第１の実施形態と同様である。具体的には、虹彩パターン認識処理部４２は、上記第１の実施形態と同様にして、眼球回旋の実計測時に取得された眼球画像において認識される虹彩の濃淡パターンの差分ベクトルデータ、及び、基準状態における虹彩の濃淡パターンの差分ベクトルデータに基づき、第１眼球回旋角度θ１（本実施形態では「θ＿ｉｒｉｓ」と表記する）を算出する。

【0121】

（４）血管位置認識部の処理（テンプレートマッチング処理）
上記第１の実施形態では、眼球回旋の実計測時に取得された眼球画像において認識された複数の血管端から、第１眼球回旋角度θ＿ｉｒｉｓ（基準眼球回旋角度）を用いて求められた血管端の基準端点（Ｏ_ｒｅｆ）に最も近い端点を、眼球回旋測定用の血管端（対応血管の対象端点Ｏ_ｔｇｔ）として特定（選択）する手法を説明した。しかしながら、本実施形態では、実計測時の眼球画像において、上記第１の実施形態とは異なる手法を用いて、眼球回旋測定用の血管端を特定（選択）する。

【0122】

本実施形態における眼球回旋測定用の血管端の特定（選択）手法の概要は、次の通りである。まず、実計測時の眼球画像において、基準状態時に取得した各血管端の位置情報に基づいて設定された所定領域（マッチングエリア）の画像と、基準状態時に取得した対応するテンプレート映像とのマッチング処理（以下、テンプレートマッチング処理という）を行う。次いで、テンプレートマッチング処理により得られる類似度が最大となる血管端を眼球回旋測定用の血管端として選択し、該選択された血管端に基づいて眼球回旋角度θを測定する。

【0123】

すなわち、本実施形態では、眼球回旋角度θの測定対象となる血管（血管端）の選択処理の手法としてテンプレートマッチングの手法を用いる。上述したテンプレートマッチング処理は、血管位置認識部４４において行われる。なお、テンプレートマッチング処理以外の血管位置認識部４４の処理は、上記第１の実施形態で説明した処理と同様であるので、ここでは、その処理の説明を省略し、テンプレートマッチング処理について説明する。

【0124】

また、眼球画像の全範囲に対してテンプレートマッチング処理を施す（マッチングエリアを眼球画像全体に設定する）ことも可能であるが、その場合、処理コストが高くなる。それゆえ、本実施形態では、虹彩画像の濃淡パターンに基づく従来の眼球回旋計測手法により（上記式（１）に基づいて）算出された第１眼球回旋角度θ＿ｉｒｉｓを用いて、マッチングエリアの絞り込みを行う。

【0125】

図１７は、本実施形態において、テンプレートマッチング処理を適用するマッチングエリア６２、及び、マッチングエリア６２を決定するための基準端点６１の一例を示す図である。なお、図１７中の白四角点が基準端点６１であり、正方形状の白枠で囲まれた領域がマッチングエリア６２である。

【0126】

ここで、図１７に示すような複数の基準端点６１、及び、それらにそれぞれ対応する複数のマッチングエリア６２の設定手法を説明する。

【0127】

まず、血管位置認識部４４は、虹彩画像の濃淡パターンに基づく従来の眼球回旋計測手法により算出された第１眼球回旋角度θ＿ｉｒｉｓを用いて、マッチングエリア６２の基準端点６１を求める。

【0128】

図１８は、マッチングエリア６２の基準端点６１の算出手法の概要を示す図である。なお、図１８では、説明を簡略化するため、一つの血管端６３に対するマッチングエリア６２及びその基準端点６１のみを示す。

【0129】

本実施形態では、図１８に示すように、基準情報として取得された各血管端６３の位置を通る楕円上において、基準状態の各血管端６３の楕円座標系における回転角度座標（初期位置）をθ＿ｔｅｍｐとする。そして、血管位置認識部４４は、初期位置θ＿ｔｅｍｐから、楕円の長軸に対して反時計回り方向にさらに、第１眼球回旋角度θ＿ｉｒｉｓだけ回転した位置（θ＿ｉｎｐｕｔ）を、マッチングエリア６２を設定するための基準端点６１とする。すなわち、血管位置認識部４４は、基準端点６１の回転角度座標θ＿ｉｎｐｕｔを、下記式（１０）を用いて算出する。なお、各血管端６３（各基準端点６１）の位置を通る楕円の形状は、瞳孔輪郭の楕円形状と相似形である。

【0130】

【数6】

【0131】

なお、カメラ映像（眼球画像）のＸ−Ｙ直交座標系における基準端点６１の座標（ｘ，ｙ）は、眼球回旋の実計測時における基準端点６１の回転角度座標θ＿ｉｎｐｕｔ（視線移動時の回旋成分）、実計測時の瞳孔楕円の中心座標（ｘ０＿ｉｎｐｕｔ，ｙ０＿ｉｎｐｕｔ）、実計測時の瞳孔楕円の傾きφ＿ｉｎｐｕｔ、並びに、基準端点６１を通る楕円の長軸方向の座標ｈ＿ｉｎｐｕｔ（長軸値）及び短軸方向の座標ｗ＿ｉｎｐｕｔ（短軸値）を上記式（９）に代入することにより、求めることができる。眼球回旋の実計測時におけるこれらの瞳孔の楕円パラメータは、上記第１の実施形態と同様に、虹彩パターン認識処理部４２により第１眼球回旋角度θ＿ｉｒｉｓを算出する前に予め取得される。

【0132】

次いで、血管位置認識部４４は、基準端点６１を中心とする所定範囲のエリアをマッチングエリア６２として設定する。これにより、図１７に示すように、複数の基準端点６１、及び、それらにそれぞれ対応する複数のマッチングエリア６２が設定される。なお、図１７及び図１８に示す例では、基準端点６１を中心とする４０×４０ピクセルの範囲をマッチングエリア６２とする。また、この例では、基準情報取得時に取得する各血管端のテンプレート映像のサイズは、２０×２０ピクセルとする。

【0133】

次に、血管位置認識部４４は、各マッチングエリア６２の画像（入力映像と称する）と、対応する血管端のテンプレート映像とのマッチング処理を行う。なお、本実施形態では、血管位置認識部４４は、テンプレートマッチング処理の前処理として、テンプレート映像及び入力映像のそれぞれに対して、画素値の最大値が２５５となり、最小値が０となるような処理を施し、血管端のコントラストを高くする。そして、血管位置認識部４４は、コントラスト強調処理が施された映像を用いて、テンプレートマッチングを行う。具体的には、血管位置認識部４４は、各マッチングエリア６２内で対応するテンプレート映像を１ピクセルずつ移動（スライド）させながら、入力画像とテンプレート映像との類似度を算出する。

【0134】

なお、以下では、各マッチングエリア６２内において、シフトされるテンプレート映像の中心位置（血管端の位置）を、ピクセル位置と称す。また、本実施形態では、各マッチングエリア６２内において、眼球画像のＸ−Ｙ直交座標系とは原点の異なるＸ−Ｙ直交座標系を別途設ける。そして、各マッチングエリア６２に設定されたＸ−Ｙ直交座標系におけるテンプレート映像のピクセル位置（血管端の位置）を座標（ｘ_ｔ，ｙ_ｔ）で表す。この例では、各マッチングエリア６２のサイズを４０×４０ピクセルとし、各テンプレート映像のサイズを２０×２０ピクセルとするので、ピクセル位置を示す座標（ｘ_ｔ，ｙ_ｔ）のパラメータｘ_ｔの変化範囲は０以上２０未満となり、ｙ_ｔの変化範囲は０以上２０未満となる。

【0135】

また、本実施形態では、テンプレートマッチング処理による類似度の算出方法として、ＺＮＣＣ（Zero-mean Normalized Cross-Correlation）を用いる。ＺＮＣＣを利用した類似度をＲ＿ｚｎｃｃとすると、各ピクセル位置における類似度Ｒ＿ｚｎｃｃ（ｘ_ｔ，ｙ_ｔ）は、下記式（１１）〜（１３）で求められる。

【0136】

【数7】

【0137】

上記式（１１）〜（１３）中の、Ｔ（ｉ，ｊ）は、テンプレート映像内における座標（ｉ，ｊ）の画素の画素値であり、Ｉ（ｉ，ｊ）は、座標（ｉ，ｊ）における入力映像の画素値であり、Ｍ及びＮは、それぞれ、テンプレート映像の縦方向の幅（画素数）及び横方向の幅（画素数）である。この例では、各テンプレート映像のサイズを２０×２０ピクセルとするので、Ｍ＝２０、Ｎ＝２０となる。

【0138】

次いで、血管位置認識部４４は、各テンプレート映像を対応するマッチングエリア６２内でスライドさせながら（ピクセル位置を変化させながら）、各ピクセル位置における類似度Ｒ＿ｚｎｃｃ（ｘ_ｔ，ｙ_ｔ）を求める。血管位置認識部４４は、この処理を設定された全てのマッチングエリア６２に対して行う。すなわち、本実施形態では、基準状態の眼球画像内の検出領域５０で検出された全ての血管端に対してテンプレートマッチング処理を行い、類似度Ｒ＿ｚｎｃｃを算出する。

【0139】

なお、上記式（１１）では、入力画像及びテンプレート映像間の相互相関関数（上記式（１１）の分子）を、入力映像における画素値の分散及びテンプレート映像における画素値の分散により除算して、類似度を正規化している。この場合、まつ毛や照明などのノイズが含まれる血管端の映像（入力画像及び／又はテンプレート映像）を用いた場合には、類似度Ｒ＿ｚｎｃｃは低くなる。一方、ノイズが含まれない血管端の映像を用いた場合には、類似度Ｒ＿ｚｎｃｃは、ノイズが含まれる血管端の映像を用いた場合の類似度Ｒ＿ｚｎｃｃに対して相対的に高くなる。それゆえ、すべての血管端に対して算出された類似度の中から、最も類似度Ｒ＿ｚｎｃｃが大きい血管端を選択し、該血管端を用いて眼球回旋角度θを算出することにより、ノイズの影響の少ない眼球回旋計測を行うことができる。

【0140】

そこで、本実施形態では、血管位置認識部４４は、全てのマッチングエリア６２に対して行われたテンプレートマッチング処理の結果に基づいて、類似度Ｒ＿ｚｎｃｃが最大となる血管端（テンプレート映像の中心）を眼球回旋測定用の血管端として選択し、その眼球回旋測定用の血管端のピクセル位置（ｘ_ｔ，ｙ_ｔ）を特定する。これにより、上述したノイズの影響が最も少ない血管端の位置を特定することができる。

【0141】

次いで、血管位置認識部４４は、眼球回旋測定用の血管端のピクセル位置の座標（ｘ_ｔ，ｙ_ｔ）（マッチングエリア６２に別途設定されたＸ−Ｙ直交座標権における座標）を、カメラ映像（眼球画像）のＸ−Ｙ直交座標系における座標（ｘ，ｙ）に変換する。これにより、カメラ映像（眼球画像）のＸ−Ｙ直交座標系における眼球回旋測定用の血管端の位置情報が取得される。次いで、血管位置認識部４４は、この回旋角度計測用の血管端の位置座標（ｘ，ｙ）を上記式（９）に代入し、上記式（９）の方程式系を逆算して、回旋角度計測用の血管端の、楕円座標系における回転角度座標θ＿ｏｕｔ（所定の血管の位置に関する第１の情報）を算出する。

【0142】

本実施形態では、血管位置認識部４４は、上述のようにして、基準状態において検出された複数の血管端から、実計測時に最もノイズの影響が少ない血管端を自動的に選択し、その位置情報を取得する。

【0143】

（５）角度算出部の処理
本実施形態では、血管位置認識部４４により選択された類似度Ｒ＿ｚｎｃｃが最大となる血管端（眼球回旋測定用の血管端）の回転角度座標θｐが、初期位置θ＿ｔｅｍｐから実計測時の回転角度座標θ＿ｏｕｔに変化した際の回転角度座標の変化量を眼球回旋角度θとする。それゆえ、角度算出部４６は、回旋角度計測用の血管端における実計測時の回転角度座標θ＿ｏｕｔ（所定の血管の位置に関する第１の情報）から初期位置θ＿ｔｅｍｐ（所定の血管の位置に関する第２の情報）を減算して、眼球回旋角度θ（＝θ＿ｏｕｔ−θ＿ｔｅｍｐ）を算出する。

【0144】

［眼球回旋測定処理のフローチャート］
次に、本実施形態の眼球回旋測定装置１により眼球回旋測定を行う際の具体的な処理手順を、図１９を参照しながら説明する。図１９は、本実施形態の眼球回旋測定装置１によって実行される眼球回旋測定手法の処理手順を示すフローチャートである。なお、図１９に示す本実施形態のフローチャートにおいて、図１１に示す上記第１の実施形態のフローチャートと同様の処理（ステップ）には、同じ符号を付して示す。

【0145】

まず、眼球回旋測定装置１は、上記第１の実施形態と同様にして、現在の計測モードが基準情報取得モードであるか否かを判定する（Ｓ１００）。

【0146】

Ｓ１００において、現在の計測モードが基準情報取得モードである場合には、Ｓ１００はＹｅｓ判定となる。この場合、眼球回旋測定装置１は、瞳孔変化や眼球回旋などがない状態（基準状態）において取得された被験体の眼球画像を解析し、各種基準情報を取得する（Ｓ２０２）。なお、図１９には示さないが、上述のように、本実施形態では、基準情報取得時に上記第１の実施形態と同様にして、基準状態における虹彩の濃淡パターンの差分ベクトルデータを基準情報の一つとして取得する。

【0147】

ここで、Ｓ２０２の処理内容をより具体的に説明する。Ｓ２０２では、まず、眼球回旋測定装置１は、基準状態における眼球画像に対して、二値化処理を施し、該二値化処理が施された眼球画像中の瞳孔領域に楕円近似（楕円フィッティング処理）を行う。これにより、基準状態における瞳孔輪郭の楕円パラメータ（例えば、瞳孔輪郭の中心点、長軸値、短軸値、長軸の回転角度等に関する情報）が取得される。そして、眼球回旋測定装置１は、楕円近似により算出された瞳孔輪郭の各種楕円パラメータを用いて、瞳孔輪郭に沿った楕円座標系（基本の楕円座標系）を設定する（Ｓ２０２ａ）。

【0148】

次いで、眼球回旋測定装置１は、例えば図１２及び図１３で説明した手法に基づいて、白目−虹彩境界座標を算出する。次いで、眼球回旋測定装置１は、例えば図１４で説明したように、白目−虹彩境界座標を通る楕円（虹彩領域の外縁）に基づいて、虹彩領域の外縁近傍に血管端の検出領域５０を設定する。そして、眼球回旋測定装置１は、設定された検出領域５０内において、例えば図１５Ａ〜図１５Ｃで説明した手法に基づいて、複数の血管端５１を自動検出する（Ｓ２０２ｂ）。なお、このＳ２０２ｂの処理では、各血管端５１の位置情報が取得される。

【0149】

次いで、眼球回旋測定装置１は、例えば図１６に示すように、Ｓ２０２ｂで検出された各血管端５１を中心とする所定サイズの領域５２の画像をテンプレート映像として取得する（Ｓ２０２ｃ）。

【0150】

次いで、眼球回旋測定装置１は、上記各種処理で取得した、各血管端５１の位置情報、各血管端５１に対応するテンプレート映像、虹彩の濃淡パターンの差分ベクトルデータ、瞳孔輪郭の楕円パラメータ（例えば、瞳孔輪郭の中心点、長軸値、短軸値、長軸の回転角度等に関する情報）等の情報を基準情報として例えばメモリ装置１８または補助記憶装置１６に格納する（Ｓ２０２ｄ）。そして、眼球回旋測定装置１は、Ｓ２０２ｄの処理後、Ｓ２０２の処理を終了するともに、眼球回旋測定処理を終了する。

【0151】

ここで、再度、Ｓ１００の処理に戻って、Ｓ１００がＮｏ判定の場合に行われる各種処理について説明する。

【0152】

Ｓ１００において、現在の計測モードが基準情報取得モードでない場合、すなわち、現在の計測モードが眼球回旋の実計測モードである場合には、Ｓ１００はＮｏ判定となる。この場合、眼球回旋測定装置１は、Ｓ２０２の基準情報取得時と同一の被験体から取得された実計測時の眼球画像を解析し、実計測時の眼球画像において認識される虹彩の濃淡パターンに基づき第１眼球回旋角度θ＿ｉｒｉｓを算出する（Ｓ２０４）。なお、Ｓ２０４の処理において、眼球回旋測定装置１は、上述した虹彩パターン認識処理部４２の処理動作に従って、第１眼球回旋角度θ＿ｉｒｉｓを算出する。

【0153】

次いで、眼球回旋測定装置１は、Ｓ２０４で算出した第１眼球回旋角度θ＿ｉｒｉｓと、基準情報として取得した各血管端５１の位置情報（初期位置θ＿ｔｅｍｐ）とを用いて、図１７及び図１８で説明したように、各血管端５１のマッチングエリア６２を設定するための基準端点６１を算出する（Ｓ２０８）。具体的には、眼球回旋測定装置１は、上記式（１０）に従って、各マッチングエリア６２の基準端点６１の楕円座標系における回転角度座標θ＿ｉｎｐｕｔを算出する。

【0154】

次いで、眼球回旋測定装置１は、各基準端点６１を中心とした所定範囲（図１７及び図１８に示す例では４０×４０ピクセル）のマッチングエリア６２を設定する（Ｓ２０８）。

【0155】

次いで、眼球回旋測定装置１は、各マッチングエリア６２内の画像と、対応するテンプレート映像とのテンプレートマッチング処理を行う（Ｓ２１０）。このＳ２１０の処理では、眼球回旋測定装置１は、全てのマッチングエリア６２（抽出された全ての血管端５１）において、上記式（１１）〜（１３）を用いて類似度Ｒ＿ｚｎｃｃを算出する。

【0156】

次いで、眼球回旋測定装置１は、Ｓ２１０で算出された複数の類似度Ｒ＿ｚｎｃｃの中から、最大類似度を有する血管端５１を眼球回旋測定用の血管端として選択（特定）する（Ｓ２１２）。本実施形態では、この処理により、眼球回旋測定用の血管端５１のＸ−Ｙ直交座標系における位置座標（ｘ，ｙ）が得られる。

【0157】

次いで、眼球回旋測定装置１は、Ｓ２１２で選択された眼球回旋測定用の血管端５１のＸ−Ｙ直交座標系における位置座標（ｘ，ｙ）を、楕円座標系における回転角度座標θ＿ｏｕｔに変換する（Ｓ２１４）。なお、この血管端５１の座標変換処理は、上記式（９）を用いて行われる。Ｓ２１４で算出された血管端５１の回転角度座標θ＿ｏｕｔが、最も初期画像の血管端と合致する眼球回旋後の血管端５１の角度位置である。

【0158】

そして、眼球回旋測定装置１は、Ｓ２１２で選択された眼球回旋測定用の血管端５１の基準状態における回転角度座標（初期位置θ＿ｔｅｍｐ）と、眼球回旋の実計測時にＳ２１４で算出された眼球回旋測定用の血管端５１の回転角度座標θ＿ｏｕｔとを用いて、最終的な眼球回旋角度θを算出する（Ｓ２１６）。

【0159】

本実施形態では、上述のようにして眼球回旋を測定する。なお、本実施形態では、上述した眼球回旋測定処理を、対応する眼球回旋測定プログラムを眼球回旋測定装置１に実装し、該眼球回旋測定プログラムをＣＰＵ１０により実行することにより実現してもよい。

【0160】

上述した本実施形態の眼球回旋測定技術では、上記第１の実施形態と同様に、周囲に対するコントラストが大きく、かつ、瞳孔収縮による影響が小さい血管端（結膜血管の端点）の位置に基づいて眼球回旋角度θを算出する。また、本実施形態では、上記第１の実施形態と同様に、瞼の動き等による影響を受け難い虹彩領域の外縁付近に存在する血管端の位置に基づいて眼球回旋角度θを算出する。それゆえ、本実施形態においても、上記第１の実施形態と同様に、より高精度に眼球回旋を計測することができる。

【0161】

また、本実施形態では、上述のように、虹彩の濃淡パターンを用いた眼球回旋測定手法により算出した第１眼球回旋角度θ＿ｉｒｉｓを用いて、マッチングエリアの範囲を絞り込む。それゆえ、本実施形態においても、上記第１の実施形態と同様に、高速かつ低コストで眼球回旋測定を可能とするとともに、瞳孔径変化時にも高精度及び高分解能で眼球回旋角度を計測することができる。

【0162】

さらに、本実施形態では、複数の血管端（結膜血管端）からノイズの影響が最も少ない血管端を眼球回旋測定用の血管端として自動検出することができる。それゆえ、本実施形態では、眼球回旋をより一層、高精度にかつ確実に計測することができる。

【0163】

［評価実験］
ここで、上述した本実施形態の眼球回旋測定技術により得られる各種効果を、実際に行った評価実験の結果に基づいてより具体的に説明する。この評価実験では、３名の被験者において、瞳孔径の変化と眼球回旋運動とが同時に発生している状態で眼球回旋角度θを算出し、その平均誤差及び標準偏差を計測した。

【0164】

具体的には、まず、瞳孔変化を発生させるために、被験者を暗室に待機させ、５〜６分程度暗順応させることで、瞳孔を拡大させた。そして、瞳孔拡大時（被験者を暗順応させた状態）から動画像の取り込みを開始し、動画像の途中で被験者の瞳孔に向けて白色ＬＥＤ照明を照射して縮瞳させた。また、この評価実験では、眼球回旋運動を生じさせるために、動画像の取得処理と同時に、被験者の頭部を横に傾け、前庭動眼反射による眼球回旋運動を誘発した。

【0165】

次いで、得られた２００枚の動画像に対して、目測による眼球回旋角度θの真値と、図１で示した眼球回旋測定システムにより算出した眼球回旋角度θの計測値との平均誤差及び標準偏差を求めた。なお、この評価実験で用いた眼球画像の画像解像度は７４０×３２０ピクセルであり、虹彩領域の外縁近傍の検出領域５０で検出した血管端５１の数は１０個であった。また、眼球回旋角度θの分解能は、瞳孔中心位置から結膜血管端までの長さに依存するが、約０．２５度程度である。図２０Ａ及び図２０Ｂに、評価実験の結果を示す。

【0166】

図２０Ａは、瞳孔の長軸の長さに応じて、瞳孔サイズを小、中、大の三段階に変化させて、各瞳孔サイズにおいて計測した眼球回旋角度θの平均誤差（図２０Ａ中の回旋角度誤差）及び標準偏差の値を示す。この結果から明らかなように、本実施形態では、瞳孔径が変化した場合であっても、眼球回旋角度θの平均誤差が０．２４度以下となるような精度で眼球回旋測定が可能であり、分解能に近い値の平均誤差が得られることが分かる。

【0167】

また、図２０Ｂは、本実施形態の眼球回旋測定手法により得られた眼球回旋角度θの平均誤差を、虹彩の濃淡パターンに基づく従来の眼球回旋測定手法により得られた眼球回旋角度θの平均誤差と比較した図である。なお、図２０Ｂに示す棒グラフの縦軸は、眼球回旋角度θの平均誤差（図２０Ｂ中の回旋角度誤差）であり、横軸は、瞳孔サイズである。

【0168】

図２０Ｂの評価結果から明らかなように、従来の眼球回旋測定手法では、瞳孔径（瞳孔サイズ）が変化すると、回旋角度誤差も大きく変化する。特に、従来の眼球回旋測定手法では、瞳孔径が大きくなると、回旋角度誤差が大きくなることが分かる。

【0169】

一方、本実施形態の眼球回旋測定手法では、図２０Ｂから明らかなように、瞳孔径（瞳孔サイズ）が変化しても、回旋角度誤差の変化は小さく、かつ、回旋角度誤差の値も０．２４度以下となる。すなわち、本実施形態では、瞳孔径の変化の影響を受けることなく、高精度で、眼球回旋を計測できることが分かる。

【0170】

上述した評価結果からも、本実施形態の眼球回旋測定技術では、十分の数度程度の分解能で眼球回旋角度θを測定することができ、従来の手法（虹彩の濃淡パターンを用いた手法）に比べて、より高精度に眼球回旋を計測できることが分かる。

【0171】

＜３．各種変形例及び応用例＞
本発明に係る眼球回旋測定装置、眼球回旋測定手法、及び、眼球回旋測定プログラムは、上記各種実施形態で説明した例に限定されない。特許請求の範囲に記載した本発明の要旨を逸脱しない限りその他種々の変形例も本発明に含まれる。例えば、次のような各種変形例及び応用例も本発明に含まれる。

【0172】

［変形例１］
上記第２の実施形態では、虹彩画像の濃淡パターンに基づく従来の眼球回旋測定手法を用いて第１眼球回旋角度θ＿ｉｒｉｓを算出し、そして、第１眼球回旋角度θ＿ｉｒｉｓを用いて、眼球回旋測定用の血管端を特定するためのマッチングエリアの範囲を絞り込む例（図１８参照）を説明したが、本発明はこれに限定されない。例えば、第１眼球回旋角度θ＿ｉｒｉｓを算出せずに、基準情報取得時に検出された血管端の位置情報から、直接、該血管端を含むマッチングエリアを設定してもよい。この場合、上記第２の実施形態で設定したマッチングエリア６２より広いサイズのマッチングエリアを設定する必要がある。そのようなマッチングエリアの設定手法の一例を図２１に示す。

【0173】

図２１は、変形例１におけるマッチングエリア７２の設定手法の概要を示す図である。なお、図２１では、説明を簡略化するため、一つの血管端７１及びそれに対して設定されるマッチングエリア７２のみを示す。

【0174】

この例では、基準情報取得時に虹彩領域の外縁近傍で検出された各血管端７１を通る楕円上において、各血管端７１（対象端点）の初期位置θ＿ｔｅｍｐに対して±Δθの角度範囲に渡って所定幅（２Δｈ）で延在した領域をマッチングエリア７２とする。なお、マッチングエリア７２の楕円上の回転方向の範囲を規定する角度幅Δθ、及び、楕円の径方向の範囲を規定する幅Δｈは、例えば、回旋運動を含む眼球運動時に想定される血管端７１の最大移動量を考慮して適宜設定することができる。例えば、角度幅Δθを約２０度とし、幅Δｈを約２０ピクセルとすることができる。

【0175】

なお、この例におけるマッチングエリア７２の設定範囲は、図２１に示す例に限定されない。例えば、基準情報取得時に虹彩領域の外縁近傍で検出された各血管端７１を通る楕円の全周に渡って所定幅（２Δｈ）で延在した領域をマッチングエリアとして設定してもよい。

【0176】

この例の手法においても、上述した第２の実施形態と同様に、周囲に対するコントラストが大きく、かつ、瞳孔収縮による影響が小さい血管端（結膜血管の端点）の位置に基づいて眼球回旋角度θを算出する。それゆえ、この例の眼球回旋測定技術においても、上記第２の実施形態と同様に、より高精度に眼球回旋を計測することができる。

【0177】

なお、この例では、基準情報取得時に検出された血管端の位置情報から、直接、該血管端を含むマッチングエリアを設定するので、上述のように、マッチングエリアも広くなる。それゆえ、眼球回旋計測の高速性という観点では、上記第２の実施形態の方が優位である。

【0178】

［変形例２］
上記第１の実施形態では、眼球回旋の実計測時に取得された眼球画像において認識された複数の血管から対応血管（基準状態の眼球画像において選択された所定の血管に対応する血管）を特定する際、第１眼球回旋角度θ１を用いて求められた血管端の基準端点（Ｏ_ｒｅｆ）に最も近い対象端点を有する血管を対応血管として選択したが、本発明はこれに限定されない。上記第１の実施形態に、上記第２の実施形態で説明したテンプレートマッチング処理を適用して、眼球回旋の実計測時に取得された眼球画像において対応血管を特定してもよい。

【0179】

この場合には、基準状態取得時に、基準状態の眼球画像において選択された所定の血管（眼球回旋測定用の血管）の対象端点Ｏ_ｔｇｔ０を中心とする所定サイズのテンプレート映像を取得する。また、眼球回旋の実計測時には、第１眼球回旋角度θ１を用いて求められた各血管端の基準端点（Ｏ_ｒｅｆ）を中心点とする所定サイズのマッチングエリアを設定する。その後は、上記第２の実施形態と同様にして、マッチングエリアとテンプレート映像とのマッチング処理を行い、実計測時に取得された眼球画像において認識された複数の血管から対応血管を特定する。

【0180】

また、上記第１の実施形態に、上記変形例１で説明したテンプレートマッチング処理を適用して、眼球回旋の実計測時に取得された眼球画像において認識された複数の血管から対応血管を特定してもよい。

【0181】

この場合もまた、基準状態取得時に、基準状態の眼球画像において選択された所定の血管（眼球回旋測定用の血管）の対象端点Ｏ_ｔｇｔ０を中心とする所定サイズのテンプレート映像を取得する。また、眼球回旋の実計測時には、基準状態において選択された所定の血管の対象端点Ｏ_ｔｇｔ０を中心点とする所定サイズのマッチングエリアを設定する。なお、この際のマッチングエリアは、図２１で説明したように、所定の血管の対象端点Ｏ_ｔｇｔ０を通る楕円上に沿って設けられる。その後は、上記変形例１と同様にして、マッチングエリアとテンプレート映像とのマッチング処理を行い、実計測時に取得された眼球画像において対応血管を特定する。

【0182】

［その他の各種変形例］
上記各種実施形態及び各種変形例では、血管端（結膜血管の瞳孔側の端点）を検出する領域を、虹彩領域の外側（虹彩領域の外縁を含む）に設定する例を説明したが、本発明はこれに限定されない。血管端の検出領域は、虹彩領域の外縁近傍であれば、任意の領域に設定することができる。例えば、検出領域の一部が虹彩領域の外縁より内側（瞳孔側）の領域を含むように検出領域を設定してもよい。

【0183】

また、上記各種実施形態及び各種変形例では、結膜血管の端点の位置に基づいて眼球回旋角度θを算出する例を説明したが、本発明はこれに限定されない。例えば、基準状態の眼球画像における所定の血管の延在方向と、実計測時の眼球画像における所定の血管に対応する血管の延在方向とを比較して眼球回旋角度θを算出してもよい。

【0184】

［応用例］
上述した本発明の技術は、眼球回旋の測定技術だけでなく、例えば視線検出等の眼球運動全般の測定技術にも適用可能であり、同様の効果が得られる。

【符号の説明】

【0185】

１…眼球回旋測定装置、１０…ＣＰＵ、１６…補助記憶装置、１８…メモリ装置、２６…画像入力インターフェース、３０…カメラ、３２…赤外線ＬＥＤ、３４…青色ＬＥＤ、４０…基準情報取得部、４２…虹彩パターン認識処理部、４４…血管位置認識部、４６…角度算出部、５０…検出領域、５１，６３…基準状態における血管端の位置、５２…テンプレート映像領域、６１…基準端点、６２…マッチングエリア、１００…眼球画像、１０１…瞳孔領域、１０１ａ…瞳孔輪郭の中心、１０２…虹彩領域、１０３…白目領域、１０４…血管、１０４ａ…血管端

【図1】

【図2】

【図4】

【図5】

【図7】

【図10】

【図11】

【図13】

【図18】

【図19】

【図20】

【図21】

【図3】

【図6】

【図8】

【図9】

【図12】

【図14】

【図15】

【図16】

【図17】