(58)【調査した分野】(Int.Cl.,DB名)
【発明を実施するための形態】
【0011】
以下、本発明の一実施形態に係る他覚的変位測定システム(以下、単に変位測定システムと称する)100について、図面を参照しながら説明する。
図1は、変位測定システム100の概略図、
図2は、変位測定システム100の機能構成を説明するためのブロック図である。
【0012】
変位測定システム100は、他覚的変位測定装置1と、撮像装置2と、照明装置3と、を有している。
【0013】
撮像装置2は、被検者の少なくとも眼周辺領域を撮像するものである。このような撮像装置にはどのようなものを用いてもよいが、例えば、光学系を有し、固体撮像素子に結像させた像を映像信号として出力する一般的なビデオカメラが挙げられる。以下、
図1に示すように、撮像装置2の光軸をz軸とする3次元の座標系をカメラ座標系、撮像画像を基準とした2次元の画像座標系と称する。なお、撮像装置2の位置及び姿勢に関する情報はカメラパラメータとして、予め記憶部12に記憶されている。
【0014】
照明装置3は、被検者の少なくとも眼周辺領域に赤外光を照射するものである。このような照明装置3にはどのようなものを用いてもよいが、ここでは、撮像装置2のレンズ開口外周を囲むリング状のLED(Light Emitting Diode)照明であり、その軸は、撮像装置2の光学系の軸と一致するよう構成されている。
【0015】
他覚的変位測定装置(以下、単に変位測定装置と称する)1は、システムを統括制御する制御部11と、処理に要する情報を記憶する記憶部12と、各部及び各装置間を接続する入出力インターフェース部(以下、I/F部と称する)13と、を有している。
【0016】
I/F部13は、各部及び各装置間を情報の送受信可能に接続するためのインターフェースを提供する。
【0017】
記憶部12は、被検者情報記憶領域121を有している。
【0018】
被検者情報記憶領域121には、被検者に関する情報である被検者情報1210が記憶されている。
図3は、被検者情報1210の概略説明図である。
【0019】
被検者情報1210は例えば、被検者を特定するための情報である被検者IDを格納する被検者ID格納領域21と、被検者の認証に関する情報を格納する認証情報格納領域22と、被検者の眼球の回転中心座標に関する情報を格納する回転中心座標格納領域23と、視線ベクトルに関する情報を格納する視線ベクトル格納領域24と、光軸ベクトルに関する情報を格納する光軸ベクトル格納領域25と、各ベクトルの変位量に関する情報を格納する変位情報記憶領域26と、を有している。
【0020】
次に、制御部11について説明する。制御部11は、被検者の情報を管理する情報管理部111と、被検者の視線ベクトルを推定する視線推定部112と、被検者の光軸ベクトルを推定する光軸推定部113と、視線ベクトル及び光軸ベクトルから各種測定値を算出する変位算出部114と、を備えている。以下、制御部11の備える各機能部の行う処理について、順を追って説明する。
【0021】
情報管理部111は、図示しない操作手段から測定の開始指示を受け付けると、被検者を特定するための被検者認識処理を実行する。具体的に、情報管理部111は、被検者が新規の被検者か否かを判断し、新規の被検者であれば被検者情報1210に当該被検者のレコードを新たに作成する。一方、新規の被検者でなければ、被検者情報1210から当該被検者に該当するレコードを特定する。
【0022】
新規の被検者か否かを判断は、例えば、図示しない表示装置にログイン画面や新規登録者画面を出力させ、被検者自身や検者に図示しない操作手段からの直接入力を促したり、周知の生体認証を利用したりすることで実現可能である。
【0023】
以下、上記生体認証の中のでも顔認証を用いる場合について説明する。顔認証については、既知のどのような方法を用いても構わない。例えば情報管理部111は、撮像装置2から最新の撮像画像を取得し、その画像内から被検者の顔全体を含む顔周辺画像を抽出する。なお、ここでは被検者が予め撮像装置2の方向を向いているものとするが、図示しない表示装置にガイド画像を表示させたり、図示しない音声出力手段にガイド音声を出力させたりすることによって、被検者の顔の向きを撮像に適した方向へ誘導してもよい。
【0024】
次に情報管理部111は、顔周辺画像内から顔認証に要する特徴点を抽出して、認証情報格納領域22に格納される全てのレコードの認証情報(例えば、テンプレート画像)と比較し、認証が成立したレコードを被検者に該当するレコードであると判定する。一方、全てのレコードで認証が成立しなかった場合には、新規の被検者であると判定して、被検者情報1210に新たなレコードを作成して一意に定まる被検者IDを付与し、被検者ID格納領域21に格納する。そして、使用した顔周辺画像を認証情報として加工処理し、認証情報格納領域22に格納する。
【0025】
上述の被検者認識処理が終了すると、情報管理部111は視線推定部112に測定処理の開始要求を出力し、測定を開始させる。視線推定部112は測定処理の開始要求を受け付けると、視線推定処理を開始する。
【0026】
ここで、眼位について再度説明する。睡眠中等の緊張から解放されたときの眼位を生理的安静位といい、この生理的安静位に融像性輻輳と緊張性輻輳を加えたものが日常の両眼視眼位となる。また、両眼視眼位から融像性輻輳を除いた眼位を融像除去眼位という。このような生理的安静位や融像除去眼位は、本来その人が持っている固有の眼位である。従ってこれらの眼位と両眼視眼位との差が大きければ大きいほど、視標に対して視線を向けるための融像性輻輳も大きくなる。特に過剰な融像性輻輳は運動系や神経系器官を酷使するため、眼精疲労や複視の原因となりうる。即ち、融像性眼位や安静位は、被検者の両眼視力等の診断に有意な情報となる。
【0027】
そこで本発明では、完全暗室下において両眼の同時視覚入力を阻害した状態で測定を行うことで、生理的安静位を検出する。まず視線推定部112は、完全暗室内の被検者に対して照明装置3に赤外光を照射させると共に、撮像装置2より被検者の少なくとも眼を含む顔領域を撮像し、撮像画像を取得する。なお赤外光は不可視光であるため、被検者に対して視覚刺激を与えず固視の手掛かりとなることはない。加えて、被検者に具体的な非固視の指示を、音声ガイド等により実行してもよい。
【0028】
また、視線推定部112は、被検者に任意の視標を固視させ、同様の撮像を再度実行する。なお、視標は被検者の視線を一点に引き付けて固視させることを目的とするものであれば、どのようなものを用いてもよい。また、明室、暗室等のどのような条件下で視標を固視させても構わない。加えて、被検者に具体的な注視位置や固視(中心視)を行う旨の指示を、音声ガイド等により行うこともできる。
【0029】
なお、ここでは一台の撮像装置によって左右眼を撮像しているが、左右眼それぞれを別の撮像装置によって撮像してもよい。
【0030】
次に視線推定部112は、4つの眼球画像について視線ベクトルを推定する。視線ベクトルは、ここでは眼球の回転中心Rと瞳孔中心Pを結ぶ線から推定するものとし、推定にはどのような技術を用いてもよい。例えば強膜反射法、角膜反射法、瞳孔−角膜反射法、楕円近似法等の技術が挙げられるが、ここでは瞳孔を楕円によって近似する楕円近似法を用いる。
図4(a)〜(c)は、楕円近似についての説明図である。
【0031】
まず視線推定部112は、被検者の固視非固視の画像を左右眼についてそれぞれ切り出し、
図4(a)に示すような眼球画像を4つ生成する。そして、所定の輝度値で二値化して、画像内に映り込んだ瞳孔領域Aを抽出する。これは、カメラの光軸と照明光を同軸にして眼球を照明すると、赤外光の眼球透過率が低いために網膜上の光の反射によって眼球の瞳孔が画像内に明るく映り込む現象を利用するものである(明瞳孔法)。よってこのような二値化画像から明るい領域を抽出することにより、瞳孔に該当する画像領域が得られる。
【0032】
次に視線推定部112は、抽出された瞳孔領域Aを楕円に近似して撮像画像上の瞳孔(楕円)中心Pの座標を求めて、楕円パラメータを推定する。楕円中心の検出はどのような手法を用いてもよく、例えば、ハフ変換法、最小メジアン法、内接する平行四辺形を用いる方法等が挙げられる。ここでは、高速な処理が可能である内接する平行四辺形を用いる方法について説明する。
【0033】
内接する平行四辺形を用いる方法は、平行四辺形の相対する辺の中点同士を連結すると2本の直線が交わり、その直線の交点が楕円の中心となるという楕円に内接する平行四辺形の成立条件を用いるものである。この方法では、最初に楕円中心を算出し、その後にアウトライア(異常値)の除去を行ってから楕円パラメータを推定する。
【0034】
具体的に視線推定部112は、
図4(b)に示すように、上下、左右から全ての点に関して順に内接する平行四辺形を求めてゆき、平行四辺形が成立する場合のみ交点の画像に重みをつけて投票する。そして最終的に投票数が最大の画素を楕円中心と判定する。これにより、欠損した楕円にも対応できる。なお、輪郭点が存在しない欠損部分については、楕円中心からの距離が等しい輪郭のみを残してアウトライアを除去する。このようにして得られた輪郭点に対してフィッティングを行うことで、各楕円パラメータが定まる。ここでは、瞳孔(楕円)中心Pの座標を(x,y)、長軸をa、短軸をbとする。
【0035】
次に視線推定部112は、左右それぞれの眼球の回転中心Rを推定する。回転中心Rの推定についてもどのような方法をもちいてもよいが、例えば次のような方法が利用可能である。まず、
図4(a)に示すように、視線ベクトルを撮像画像中に投影して得られる直線は、瞳孔の楕円領域の短軸b方向に一致する。即ち視線方向は楕円の短軸bと一致し、視線は眼球の回転中心Rを通ることから短軸bの延長線上に画像上の眼球回転中心Rが存在すると言える。よって、眼球の位置が異なる複数の画像を撮像しおけば、各画像の短軸bの延長線の交差点を、画像上の眼球の回転中心Rの座標(x
0,y
0)として推定することができる。このように求められた右眼の回転中心座標R
R(x
0,y
0)と、左眼の回転中心座標R
L(x
0,y
0)とは、回転中心座標格納領域23にそれぞれ格納される。
【0036】
なお、回転中心Rを推定する際の撮像は必ずしも暗室で行う必要は無いが、カメラと眼球の相対位置については固定した状態で行う必要がある。これは、被検者の頭部(例えば、額と顎等)を固定するための支持台を設け、カメラからの眼球位置が被検者や検査によってばらつかないよう、略一致させることで実現可能である。
【0037】
次に視線推定部112は、眼球の回転角を算出する。
図5は、眼球の回転角の説明図である。眼球の回転角は、水平方向の回転角θと、上下方向の回転角φとして、下記数式(1)及び数式(2)によって求められる。
【0040】
なお、ここでは眼球半径r
0には、予め記憶されている平均値を利用するものとした。これは厳密には個人によって異なるため、被検者から計測した数値を利用してもよい。
【0041】
さらに視線推定部112は、3次元空間中における瞳孔中心Pを通る視線ベクトルVを求める。視線ベクトルVは、下記式(3)によって求めることができる。
【0043】
このようにして求められた固視時の右眼の視線ベクトルV
BRと、固視時の左眼の視線ベクトルV
BLと、非固視時の右眼の視線ベクトルV
DRと、非固視時の左眼の視線ベクトルV
DLとは、視線ベクトル格納領域24にそれぞれ格納される。なお、このV
BR、V
BLは両眼視眼位の視線ベクトル、V
DR、V
DLは生理的安静位の視線ベクトルと見なすことができる。
【0044】
ここまでの処理を終えると視線推定部112は、光軸推定部113に光軸推定処理の開始要求を出力する。光軸推定部113は光軸推定処理の開始要求を受け付けると、光軸推定処理を開始する。
【0045】
光軸推定部113は、上記4つの眼球画像について光軸ベクトルを推定する。光軸ベクトルは、ここでは眼球の回転中心Rと角膜頂点Cとを結ぶ線から推定するものとし、推定にはプルキニエ像を利用する等のどのような技術を用いてもよい。ここでは例えば、上述の楕円近似法を用いる。なお、角膜頂点Cは角膜中心と推定できるため、角膜中心を角膜頂点Cと定める。
【0046】
まず光軸推定部113は、上述の固視非固視及び左右の眼球画像を所定の輝度値で二値化して、画像内に映り込んだ角膜領域Gを抽出する。
図4(a)に示すように、角膜領域Gは、白色の強膜領域Fと透明な角膜領域G(内側に存在する虹彩等が透けて見える領域)との境界であるエッジEを検出することで特定可能である。なお、エッジEの内部に存在する瞳孔領域Aは、全て角膜領域Gとして取り扱う。
【0047】
さらに光軸推定部113は、抽出された角膜領域Gを楕円に近似して撮像画像上の角膜(楕円)中心の座標を求めて、楕円パラメータを推定する。次に光軸推定部113は、回転中心座標格納領域23から回転中心Rの座標(x
0,y
0)を読み出し、上記数式(1)〜(3)によって角膜頂点Cを通る光軸ベクトルWを求める。なおここで用いる眼球半径は、上記r
0に眼房の深さを考慮した値を用いてもよい。即ち、上記r
0の値に一般的な眼房の深さ(4mm程度)を加えた値である。このようにして求められた固視時の右眼の光軸ベクトルW
BRと、固視時の左眼の光軸ベクトルW
BLと、非固視時の右眼の光軸ベクトルW
DRと、非固視時の左眼の光軸ベクトルW
DLは、光軸ベクトル格納領域25にそれぞれ格納される。
【0048】
ここまでの処理を終えると光軸推定部113は、変位算出部114に変位算出処理の開始要求を出力する。変位算出部114は、処理開始要求を受け付けると、変位算出処理を開始する。
図6は、変位算出処理について説明する説明図である。
【0049】
変位算出部114は、
図6に示すように、各眼の固視或いは非固視時における瞳孔に対する角膜の変位量を求める。このような角膜変位量は、視線ベクトル−光軸ベクトル間の水平方向の回転角θの差分Δθと、上下方向の回転角φの差分Δφとで表され、変位情報格納領域26内の角膜変位格納領域261に格納される。具体的には、固視時の右眼の変位である視線ベクトルV
BRに対する光軸ベクトルW
BRの回転角Δθ
BR及び回転角Δφ
BR、固視時の左眼の変位である視線ベクトルV
BLに対する光軸ベクトルW
BLの回転角Δθ
BL及び回転角φΔφ
BL、非固視時の右眼の変位である視線ベクトルV
DRに対する光軸ベクトルW
DRの回転角Δθ
DR及び回転角Δφ
DR、非固視時の左眼の変位である視線ベクトルV
DLに対する光軸ベクトルW
DLの回転角Δθ
DL及び回転角Δφ
DLの、8つの差分値である(光軸ベクトルWの回転角θ及びφは実際には眼球の回転角ではないが、ここでは便宜上「回転角」と称する)。
【0050】
なおその単位はどのようなものでもよいが、ここではプリズムジオプトリー(△)を用いた(1△=1m当たり1cmの偏位を与えるプリズム屈折力)。これはプリズムジオプトリー(△)と度(°)との変換表を予め記憶部12に記憶させておき、変位算出部114に変換処理を行わせることで実現可能である。また、各角膜変位角は、瞳孔中心を基準として表される。具体的には、視線ベクトルVに対する光軸ベクトルWの変位を検出した際に、Δθの回転方向が開散方向(耳側)、或いはΔφの回転方向が上方向である場合にはマイナス(−)、Δθの回転方向が輻輳方向(鼻側)、或いはΔφの回転方向が下方向である場合にはプラス(+)が付与される。
【0051】
ここで、視線ベクトルVは、眼球の回転中心Rと瞳孔中心Pを結ぶ線から推定されているが、殆どの場合この延長線上又は延長線上に近い位置に固視点が存在するため、これは略注視線と見なすことができる。また、光軸ベクトルWは光(眼軸)であるので、視線ベクトルVに対する光軸ベクトルWの回転角は、瞳孔中心と角膜頂点との軸ずれであるγ角を定量的に表す数値となっている。このような変位角は、瞳孔中心Pと角膜頂点CとがX軸方向、及びY軸方向に偏位していない被検者では0となる。
【0052】
次に、変位算出部114は、非固視時の視線ベクトルに対する固視時の視線ベクトルの変位量を求める。このような融像変位量は、固視−非固視間における視線ベクトルの水平方向の回転角θの差分Δθと、上下方向の回転角φの差分Δφとで表され、変位情報格納領域26内の融像変位格納領域262に格納される。具体的には、右眼の視線ベクトルV
DRに対する視線ベクトルV
BRの回転角Δθ
R及び回転角Δφ
R、左眼の視線ベクトルV
DLに対する光軸ベクトルV
BLの回転角Δθ
L及び回転角Δφ
L、の4つの差分値が算出される。
【0053】
ここで、被検者が視標を固視している際の視線ベクトルV
Bは眼位が両眼視眼位にある場合の視線ベクトルであり、非固視の際の視線ベクトルV
Dは眼位が生理的安静位にある場合の視線ベクトルである。即ち、視線ベクトルV
Dに対する視線ベクトルV
Bの回転角である融像変位角は、被検者の輻輳(特に、融像性輻輳及び緊張性輻輳)の強度を定量的に表す数値となっている。
【0054】
なお、上記の各変位量は、各視線ベクトルどうしのなす角としてもよい。
図7は、視線ベクトルV
BLと光軸ベクトルV
DLのなす角αについての説明図である。このようななす角αからは変位の方向を知ることはできないが、その大きさから変位量を直観的に知ることができる。
【0055】
ここで、変位測定装置1のハードウェア構成について説明する。
図9は、変位測定装置1の電気的な構成を示すブロック図である。
【0056】
図9に示すように、変位測定装置1は、各部を集中的に制御するCPU(Central Processing Unit)901と、各種データを書換え可能に記憶するメモリ902と、各種のプログラム、プログラムの生成するデータ等を格納する外部記憶装置903と、これらを接続するバス904と、を備える。変位測定装置1は、例えば、外部記憶装置903に記憶されている所定のプログラムを、メモリ902に読み込み、CPU901で実行することにより実現可能である。
【0057】
なお、上記した各構成要素は、変位測定装置1の構成を理解容易にするために、主な処理内容に応じて分類したものである。処理ステップの分類の仕方やその名称によって、本発明が制限されることはない。また、変位測定装置1が行う処理は、処理内容に応じて、さらに多くの構成要素に分類することもできる。さらに、1つの構成要素がさらに多くの処理を実行するように分類することもできる。
【0058】
また、各機能部は、ハードウエア(ASICなど)により構築されてもよい。また、各機能部の処理が一つのハードウエアで実行されてもよいし、複数のハードウエアで実行されてもよい。
【0059】
以上のように構成される本実施形態にかかる変位測定装置1の実行する処理を、
図8に示すフローチャートを用いて説明する。
図8は、本実施形態に係る変位測定装置1の実行する測定処理の流れを示すフローチャートである。
【0060】
視線推定部112は、情報管理部111から出力される測定処理の開始要求受け付けると、眼球画像を取得する(ステップS11)。
【0061】
具体的に視線推定部112は、瞳孔検出部112は、完全暗室内の被検者に対して照明装置3に赤外光を照射させると共に、撮像装置2より被検者の少なくとも眼を含む顔領域を撮像し、撮像画像を取得する。また、視線推定部112は、被検者に任意の視標を固視させ、同様の撮像を再度実行する。そして、固視/非固視の画像を左右眼についてそれぞれ切り出し、4つの眼球画像を生成する。
【0062】
次に、視線推定部112は、眼球画像から視線ベクトルを推定する(ステップS12)。
【0063】
具体的に視線推定部112は、例えば楕円近似法を用いて瞳孔を楕円と見なしその楕円パラメータを推定する。次に視線推定部112は、眼球の回転中心Rを推定し、右眼の回転中心座標R
R(x
0,y
0)と、左眼の回転中心座標R
L(x
0,y
0)とを、回転中心座標格納領域23にそれぞれ格納する。さらに視線推定部112は、眼球の水平方向の回転角θと、上下方向の回転角φとを算出して3次元空間中における瞳孔中心Pを通る視線ベクトルVを求める。そして、固視時の右眼の視線ベクトルV
BRと、固視時の左眼の視線ベクトルV
BLと、非固視時の右眼の視線ベクトルV
DRと、非固視時の左眼の視線ベクトルV
DLとを、視線ベクトル格納領域24にそれぞれ格納する。ここまでの処理を終えると視線推定部112は、光軸推定部113に光軸推定処理の開始要求を出力する。
【0064】
光軸推定部113は光軸推定処理の開始要求を受け付けると、光軸ベクトルを推定する(ステップS13)。
【0065】
具体的に光軸推定部113は、楕円近似法を用いて角膜を楕円と見なしその楕円パラメータを推定する。次に項軸推定部113は、回転中心座標格納領域23から回転中心Rの座標(x
0,y
0)を読み出し、角膜頂点Cを通る光軸ベクトルWを求める。そして、固視時の右眼の光軸ベクトルW
BRと、固視時の左眼の光軸ベクトルW
BLと、非固視時の右眼の光軸ベクトルW
DRと、非固視時の左眼の光軸ベクトルW
DLとを、光軸ベクトル格納領域25にそれぞれ格納する。ここまでの処理を終えると光軸推定部113は、変位算出部114に変位算出処理の開始要求を出力する。
【0066】
変位算出部114は、変位算出処理開始要求を受け付けると、角膜変位を算出する(ステップS14)。
【0067】
具体的に変位算出部114は、視線ベクトルV−光ベクトルW間の、水平方向の回転角θの差分Δθと、上下方向の回転角φの差分Δφと、を求める。即ち、変位算出部114は、固視時の右眼の変位である視線ベクトルV
BRに対する光軸ベクトルW
BRの回転角Δθ
BR及び回転角Δφ
BR、固視時の左眼の変位である視線ベクトルV
BLに対する光軸ベクトルW
BLの回転角Δθ
BL及び回転角φΔφ
BL、非固視時の右眼の変位である視線ベクトルV
DRに対する光軸ベクトルW
DRの回転角Δθ
DR及び回転角Δφ
DR、非固視時の左眼の変位である視線ベクトルV
DLに対する光軸ベクトルW
DLの回転角Δθ
DL及び回転角Δφ
DLの、8つの差分値を求め、変位情報格納領域26内の角膜変位格納領域261に格納する。
【0068】
さらに変位算出部114は、融像変位を算出する(ステップS15)。
【0069】
具体的に変位算出部114は、視線ベクトルVについて、固視−非固視間における融像変位角を求める。具体的には、右眼の視線ベクトルV
DRに対する視線ベクトルV
BRの回転角Δθ
R及び回転角Δφ
R、左眼の視線ベクトルV
DLに対する光軸ベクトルV
BLの回転角Δθ
L及び回転角Δφ
L、の4つの差分値を求め、変位情報格納領域26内の融像変位格納領域262に格納して処理を終了する。
【0070】
以上、変位測定装置1が測定処理を行う際の一実施例について説明した。上記したフローの各処理単位は、変位測定装置1の処理を理解容易にするために、主な処理内容に応じて分割したものである。構成要素の分類の仕方やその名称によって、本発明が制限されることはない。また、変位測定装置1の構成は、処理内容に応じて、さらに多くの構成要素に分割することもできる。また、1つの構成要素がさらに多くの処理を実行するように分類することもできる。
【0071】
このように、本発明の変位測定装置1によれば、被検者の左右眼の視線ベクトル、及び光軸ベクトルを他覚的に検出することが可能である。例えば従来の自覚的な測定法では、被検者の感覚や検者の経験が結果に影響するのを避けることは難しかったが、本発明によれば常に定量的なデータを得ることができる。そのため、自覚症状の無い被検者の微少な変位であっても、検者の経験や勘に頼ることなく、客観的な評価を下すことができる。
【0072】
また、従来の大掛かりな装置や専門家を必要とせず、簡便な設備で正確かつ高速な測定が可能であるため、健康診断や家庭での測定も可能となる。
【0073】
なお、上記の実施形態は、本発明の要旨を例示することを意図し、本発明を限定するものではない。本発明の技術的思想の範囲内で様々な変形が可能である。
【0074】
例えば、非固視時の眼位は必ずしも生理的安静位でなくともよい。例えば、明室において半透明遮蔽板によって両眼を覆ってもよいし、片眼固視の状態で他方の眼を半透明遮蔽板で覆い、遮蔽眼の位置を測定することで融像除去眼位を測定し、これを生理的安静位の代わりに用いることができる。
【0075】
また、角膜による屈折の補正を行ってもよい。角膜屈折の補正は、角膜による光の屈折に影響されて解剖学的な瞳孔位置よりも15%程度拡大された虚像となっているカメラ画像の瞳孔を、本来あるべき大きさの瞳孔に補正する。
【0076】
さらに表示装置を設け、測定結果を該表示装置へ出力してもよい。