特許 6535223 瞬目計測方法、瞬目計測装置、及び瞬目計測プログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6535223

(24)【登録日】2019年6月7日

(45)【発行日】2019年6月26日

(54)【発明の名称】瞬目計測方法、瞬目計測装置、及び瞬目計測プログラム

(51)【国際特許分類】

   G06T 7/20 20170101AFI20190617BHJP

   G06T 7/00 20170101ALI20190617BHJP

   A61B 5/11 20060101ALI20190617BHJP

【ＦＩ】

   G06T7/20 300B

   G06T7/00 300F

   A61B5/11

【請求項の数】6

【全頁数】12

(21)【出願番号】特願2015-108365(P2015-108365)

(22)【出願日】2015年5月28日

(65)【公開番号】特開2016-224597(P2016-224597A)

(43)【公開日】2016年12月28日

【審査請求日】2018年4月9日

(73)【特許権者】

【識別番号】000236436

【氏名又は名称】浜松ホトニクス株式会社

(74)【代理人】

【識別番号】100088155

【弁理士】

【氏名又は名称】長谷川 芳樹

(74)【代理人】

【識別番号】100113435

【弁理士】

【氏名又は名称】黒木 義樹

(74)【代理人】

【識別番号】100140442

【弁理士】

【氏名又は名称】柴山 健一

(74)【代理人】

【識別番号】100124800

【弁理士】

【氏名又は名称】諏澤 勇司

(72)【発明者】

【氏名】鈴木 一隆

(72)【発明者】

【氏名】宅見 宗則

(72)【発明者】

【氏名】袴田 直俊

(72)【発明者】

【氏名】豊田 晴義

(72)【発明者】

【氏名】松井 克宜

【審査官】 千葉 久博

(56)【参考文献】

【文献】 特開２０１２−８５６９１（ＪＰ，Ａ）

【文献】 特開２００８−２３４２０８（ＪＰ，Ａ）

【文献】 特開２００１−５９５２（ＪＰ，Ａ）

【文献】 特開平７−３１３４５９（ＪＰ，Ａ）

【文献】 特開平７−９３７００（ＪＰ，Ａ）

【文献】 特開平７−３８８７３（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００５／０００８２０１（ＵＳ，Ａ１）

【文献】 鈴木一隆, 外３名，“インテリジェントビジョンセンサを用いた高速瞬目計測装置”，映像情報メディア学会技術報告，日本，（社）映像情報メディア学会，２００９年１０月２９日，第３３巻, 第４５号，p.1-4

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ｇ０６Ｔ ７／２０

Ａ６１Ｂ ５／１１

Ｇ０６Ｔ ７／００

(57)【特許請求の範囲】

【請求項1】

光検出器を用いて、対象者の瞼及び眼を含む部位からの光を検出し、当該光の検出信号を出力するステップと、
前記検出信号に基づいて、前記部位における眼に生じる角膜反射光の位置と、前記部位における瞼の位置とを算出するステップと、
前記瞼の位置を前記角膜反射光の位置を基に補正するステップと、
当該補正された瞼の位置の時間変化を基に、瞬きに関する特徴量を算出するステップと、
を備える瞬目計測方法。

【請求項2】

前記特徴量は、瞬目時の瞼の速度に関する特徴量を含む、
請求項１記載の瞬目計測方法。

【請求項3】

対象者の瞼及び眼を含む部位からの光を検出し、当該光の検出信号を出力する光検出器と、
前記検出信号に基づいて、前記部位における眼に生じる角膜反射光の位置と、前記部位における瞼の位置とを算出する位置算出部と、
前記瞼の位置を前記角膜反射光の位置を基に補正する位置補正部と、
当該補正された瞼の位置の時間変化を基に、瞬きに関する特徴量を算出する特徴量算出部と、
を備える瞬目計測装置。

【請求項4】

前記特徴量は、瞬目時の瞼の速度に関する特徴量を含む、
請求項３記載の瞬目計測装置。

【請求項5】

対象者の瞼及び眼を含む部位の画像を用いて、前記対象者の瞬目を計測する瞬目計測装置に備えられるプロセッサを、
前記画像に基づいて、前記部位における眼に生じる角膜反射光の位置と、前記部位における瞼の位置とを算出する位置算出部、
前記瞼の位置を前記角膜反射光の位置を基に補正する位置補正部、及び
当該補正された瞼の位置の時間変化を基に、瞬きに関する特徴量を算出する特徴量算出部、
として機能させる瞬目計測プログラム。

【請求項6】

前記特徴量は、瞬目時の瞼の速度に関する特徴量を含む、
請求項５記載の瞬目計測プログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明の一側面は、対象者の瞬きを計測する瞬目計測方法、瞬目計測装置、及び瞬目計測プログラムに関する。

【背景技術】

【0002】

従来から、ドライバーの眠気等を検出するために、ビデオカメラを用いて瞬きを検出して眠気を定量化する装置が開発されている。例えば、下記特許文献１に記載の装置では、ＣＣＤカメラによって得られた顔画像から目領域を検索し抽出位置を特定し、特定された抽出位置に基づいて目を含む小領域画像を目画像として抽出し、その目画像を基に瞼の開度を測定する。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開平７−３１３４５９号公報

【発明の概要】

【発明が解決しようとする課題】

【0004】

しかしながら、上記特許文献１に記載の装置によれば、複数の顔画像を連続して取得した場合には連続して目領域の抽出が必要となるため、高速な検出処理を行うには限界がある。そのため、対象者の瞬きの動作に関する評価値をリアルタイムに精度良く得ることは困難である。

【0005】

そこで、本発明は、かかる課題に鑑みて為されたものであり、対象者の瞬きの動作に関する評価値を高速かつ高精度に得ることが可能な瞬目計測方法及び瞬目計測装置を提供することを目的とする。

【課題を解決するための手段】

【0006】

上記課題を解決するため、本発明の一形態に係る瞬目計測方法は、光検出器を用いて、対象者の瞼及び眼を含む部位からの光を検出し、当該光の検出信号を出力するステップと、検出信号に基づいて、部位における眼に生じる角膜反射光の位置と、部位における瞼の位置とを算出するステップと、瞼の位置を角膜反射光の位置を基に補正するステップと、当該補正された瞼の位置の時間変化を基に、瞬きに関する特徴量を算出するステップと、を備える。

【0007】

或いは、本発明の他の形態に係る瞬目計測装置は、対象者の瞼及び眼を含む部位からの光を検出し、当該光の検出信号を出力する光検出器と、検出信号に基づいて、部位における眼に生じる角膜反射光の位置と、部位における瞼の位置とを算出する位置算出部と、瞼の位置を角膜反射光の位置を基に補正する位置補正部と、当該補正された瞼の位置の時間変化を基に、瞬きに関する特徴量を算出する特徴量算出部と、を備える。

【0008】

或いは、本発明の他の形態に係る瞬目計測プログラムは、対象者の瞼及び眼を含む部位の画像を用いて、対象者の瞬目を計測する瞬目計測装置に備えられるプロセッサを、画像に基づいて、部位における眼に生じる角膜反射光の位置と、部位における瞼の位置とを算出する位置算出部、瞼の位置を角膜反射光の位置を基に補正する位置補正部、及び当該補正された瞼の位置の時間変化を基に、瞬きに関する特徴量を算出する特徴量算出部、として機能させる。

【0009】

上記形態の瞬目計測方法、瞬目計測装置、及び瞬目計測プログラムによれば、対象者の瞼及び眼を含む部位からの光の検出信号（画像）が生成され、その検出信号（画像）を基に当該部位における角膜反射光の位置と瞼の位置とが算出された後、その瞼の位置が角膜反射光の位置を基に補正され、その補正された瞼の位置の時間変化から、瞬きに関する特徴量が算出される。これにより、対象者の眼の装置に対する相対的位置が変化した場合であっても瞼自体の動きに対応した瞼位置の時間変化を簡易な計算で算出することができる。その結果、対象者の瞼の位置の時間変化から瞬きに関する特徴量を高速かつ高精度に得ることができる。

【0010】

特徴量は、瞬目時の瞼の速度に関する特徴量を含む、ことが好適である。かかる特徴量を処理対象とすれば、対象者の瞼の速度に関する特徴量を高速かつ高精度に得ることができる。

【発明の効果】

【0011】

本発明の一側面によれば、対象者の瞬きの動作に関する評価値を高速かつ高精度に得ることができる。

【図面の簡単な説明】

【0012】

【図1】本発明の好適な一実施形態に係る瞬目計測システム１の概略構成を示すブロック図である。

【図2】図１の位置算出部１１による上眼瞼の位置の算出イメージを示す図である。

【図3】図１の位置算出部１１によって算出された眼瞼の位置の時間変化、及び図１の移動量算出部１３によって算出された角膜反射光の位置の時間変化の一例を示すグラフである。

【図4】図３に示す時刻Ｔ１，Ｔ２，Ｔ３に対応するタイミングで取得される画像信号のイメージを示す図である。

【図5】図１の位置補正部１５によって算出された眼瞼の位置の時間変化の一例を示すグラフである。

【図6】図１の瞬目計測システム１による瞬目特徴量の算出動作の手順を示すフローチャートである。

【発明を実施するための形態】

【0013】

以下、図面を参照しつつ本発明に係る瞬目計測装置、瞬目計測方法、及び瞬目計測プログラムの好適な実施形態について詳細に説明する。なお、図面の説明においては同一又は相当部分には同一符号を付し、重複する説明を省略する。

【0014】

図１は、本発明の好適な一実施形態に係る瞬目計測システム１の概略構成を示すブロック図である。図１に示す瞬目計測システム１は、所定のフレームレートで時間的に連続して被験者（対象者）の眼Ｅからの光を検出し、被験者の眼の瞬きに関する評価値を定量化して出力するように構成されている。この瞬目計測システム１は、対象者の眼Ｅに対して照明光を照射する光源３と、光源３を制御する照明制御装置５と、眼Ｅからの光を検出する光検出器７と、光検出器７から出力される検出信号を処理するプロセッサ９とを備えている。ここで、瞬目計測システム１は、被験者の左右の２つの眼を同時に計測可能に構成されていてもよいし、被験者の左右の２つの眼を別々に計測可能に構成されていてもよい。左右の眼を同時に計測する構成の場合には、それぞれの眼の検出用に光検出器７を２つ備えていてもよいし、２つの眼を同時に検出する光検出器７を１つとし、プロセッサ９において検出信号を２つの眼に対応する信号に分けて処理するようにしてもよい。

【0015】

光源３は、被験者の眼Ｅを上眼瞼及び下眼瞼を含むその周辺を含めて照らす照明手段であり、例えば赤外光を発生させるＬＥＤによって好適に構成される。光源３が眼Ｅ及びそれらの周辺に赤外光を照射することにより、眼Ｅ及びそれらの周辺において赤外光が反射して光像が生じる。また、光源３の照射により眼Ｅに角膜反射光も生じさせることができる。光源３は、眼Ｅ及びその周辺を含む眼部照明用の照明光と、角膜反射光生成用の照明光とを、別々に照射可能にされていてもよいし、同時に照射可能にされていてもよい。別々に照射する構成は、角膜反射光生成用照明光を調整することで角膜反射光の照度、形状、及び大きさの調整が可能となるため好適である。この場合、後述する照明制御装置５によって、被験者の瞼の動きの計測前あるいは計測中に、角膜反射光の輝度分布がガウシアン分布に近づき、その照度が光検出器７のダイナミックレンジの幅に収まる範囲となり、かつ、その最大輝度が光検出器７のダイナミックレンジを超えないように調整される。また、別々に照射する構成が採用されている場合は、照明制御装置５によって、眼部照明用の照明光と角膜反射光生成用の照明光とが交互に点灯するように制御され、その点灯タイミングを示す信号がプロセッサ９に出力され、プロセッサ９において光検出器７から出力された２つの照明光の点灯タイミングにおける検出信号が別々に処理される。これに対して、同時に照射する構成においては、眼部照明用の照明光と角膜反射生成用の照明光とを異なる波長で照射可能にされていることが好適である。この場合、光検出器７における光の検出時、あるいはプロセッサ９における検出信号の解析時に、波長によって両者の照明光による反射光を区別してそれぞれの反射光に応じた検出信号が別々に処理される。この光源３は、角膜反射光を下眼瞼のまつげあるいは上眼瞼の影響を受けずに観測可能にするために、被験者の下側から照射可能な位置に配置されている。これにより、生成される角膜反射光の位置が瞳孔領に下側になるため、瞬目時での角膜反射光の観測時間を長くでき、眼瞼下垂などの症状を有する被験者に対しても角膜反射光を安定して計測できる。

【0016】

なお、光源３としては赤外光ＬＥＤに限らず他の種類の光源を用いることができる。例えば、近赤外光を発する光源であってもよいし、ランプ光源に赤外光或いは近赤外光を通過させるフィルムを組み合わせた構成であってもよいし、安全基準を満たしたレーザー光を直接光として或いは間接光として利用する構成であってもよい。また、適切な照度を実現するための構成として、複数の照明を併用した構成のほか、発光部にレンズが組み込まれた構成によって、照明光の散乱を抑え、所望の領域を効率よく照明するように構成されてもよい。また、空間変調デバイスを用いてレーザー光のエネルギーを所望の照明形状に整え、効率的な眼部照明を行う構成を採用してもよい。

【0017】

照明制御装置５は、被験者の眼Ｅを所定の明るさで照らすように光源３の光量を制御する制御ユニットである。併せて、照明制御装置５は、被験者の眼Ｅの瞼位置検出或いは角膜反射光検出に適した光量、照明光波長、反射光形状が得られるように、光源３の光量及び発光波長を調整及び制御する。さらに、照明制御装置５は、プロセッサ９と電気的に接続されており、プロセッサ９による同期制御により、被験者の眼Ｅに対する発光タイミングを制御する。また、照明制御装置５は、プロセッサ９或いは光検出器７によって被験者の眼Ｅが光検出器７の計測範囲内に収まっていることを判定可能にするために、あるいは、プロセッサ９或いは光検出器７による被験者の眼Ｅの位置合わせの機能を実現するために、光源３の照明光を計測開始前に点滅させるように制御してもよい。

【0018】

光検出器７は、所定のフレームレートで上眼瞼及び下眼瞼を含む眼Ｅの部位からの反射光を検出して二次元の画像信号（検出信号）を生成及び出力する撮像装置である。このような撮像装置としては、画像の取得から画像処理まで行うビジョンチップを有するビジョンカメラが挙げられる。この光検出器７は、被験者の瞼の動きの検出に最適な仕様又は設定（例えば、波長感度、光量感度、レンズの画角、レンズの倍率、及びフレームレート等）を有する。例えば、光検出器７は、一般的なビデオカメラよりも高速なフレームレートでの撮影が可能な構成であることが好ましい。瞬目時の眼瞼動作は２００ｍｓｅｃほどで行われるため、フレームレートが１０Ｈｚ程であれば大まかな眼瞼動作の挙動を捉えることができるが、微小な瞼動作、あるいは閉瞼時の変則的動作を検出可能にするためには、６０Ｈｚ以上のフレームレートのものが用いられる。また、レンズの画角としては、１ｍｍ未満の眼瞼運動が捉えられるように設定される。例えば、画角は、光検出器７の画素数と、露光時間、ダイナミックレンジ、照明光の照度、及びレンズの明るさなどの複合要素から判断される眼部の明るさと、それらのパラメータから算定される画像信号のデータの保存領域のサイズとを勘案して、画像信号の画面の縦方向に眼部全体が収まるように設定される。また、光検出器７として高解像度を有するカメラを用いる場合には、画角を広角に設定し、光検出器７あるいはプロセッサ９において必要な領域のみを切り出して保存あるいは解析してもよい。

【0019】

ここで、光検出器７としては、ビデオカメラ以外を用いてもよい。例えば、光検出器７として、プロファイルセンサ等の輝点の位置を検出して位置情報を出力するセンサのほか、フォトダイオード、フォトディテクタ、リニアセンサ、或いはエリアセンサなどのより簡易なセンサを用いてもよい。瞬目を検出内容とする場合であって、光検出器７としてビデオカメラを用いる場合には、エッジ抽出、ハフ変換、二値化等の画像処理技術を用いた眼瞼位置抽出処理、又は、画像信号から計算した輝度プロファイルから眼瞼位置を求める処理等が行われる。その代わりに、光検出器７として、点線状、線状、帯状あるいはそれに類する形状のマーカーを眼部に照射・投影する照明部（例えば、ラインレーザー、ＬＥＤアレイ等）と、皮膚上での散乱光を捉えることなく眼表面上での反射を捉えることで瞼位置を抽出する検出部（例えば、プロファイルセンサ、フォトダイオード、フォトディテクタ、リニアセンサ、エリアセンサ等）とを含む構成を採用してもよい。

【0020】

プロセッサ９は、光検出器７から出力された画像信号を処理するＣＰＵとＲＡＭ及びＲＯＭ等のメモリとを内蔵する画像処理プロセッサであり、パーソナルコンピュータ、又はスマートフォン、タブレット型コンピュータに代表される携帯端末等によって構成される。このプロセッサ９は、機能的な構成要素として、位置算出部１１、移動量算出部（位置算出部）１３、位置補正部１５、及び特徴量算出部１７を含んでいる。これらの位置算出部１１、移動量算出部１３、位置補正部１５、及び特徴量算出部１７は、プロセッサ９内のハードウェアによって実現されてもよいし、プロセッサ９内に記憶されたソフトウェア（瞬目計測プログラム）によって実現されてもよい。また、これらの機能部の一部あるいは全部は光検出器７内に具備されていてもよい。また、位置算出部１１、移動量算出部１３、位置補正部１５、及び特徴量算出部１７の機能は、同じプロセッサで実現してもよいし、異なるプロセッサによって実現してもよい。プロセッサ９を位置算出部１１、移動量算出部１３、位置補正部１５、及び特徴量算出部１７として機能させるプログラムは、プロセッサ９内の記憶装置（記憶媒体）に記憶されてもよいし、プロセッサ９と電気的に接続される記憶媒体に記憶されてもよい。

【0021】

プロセッサ９の位置算出部１１は、光検出器７から出力された画像信号に基づいて、被験者の眼Ｅの上眼瞼及び下眼瞼の位置を算出する。位置算出部１１は、光検出器７から所定のフレームレートで出力される複数の画像信号を対象に処理することにより、上眼瞼及び下眼瞼の位置の時間変化を算出する。上眼瞼及び下眼瞼の位置は、画像信号を対象にしたエッジ抽出やハフ変換等の画像処理、又は、画像信号から計算した輝度プロファイルから眼瞼位置を求める処理（特開2012-085691号公報参照）によって算出される。図２は、位置算出部１１による上眼瞼の位置の算出イメージを示し、（ａ）は、処理対象の画像信号の例、（ｂ）は、（ａ）の画像信号を対象に算出された輝度プロファイルの例、（ｃ）は、（ａ）の画像信号を対象に算出された上眼瞼の位置をそれぞれ示している。このように、位置算出部１１は、横方向の位置に対応したＸ座標毎及び縦方向の位置に対応したＹ座標毎に二次元で配列された画素を有する画像信号（図２（ａ））を対象にして、それぞれのＹ座標ごとに画像信号内のＸ座標の画素を積算することにより輝度プロファイルを算出する（図２（ｂ））。そして、位置算出部１１は、輝度プロファイルにおける積算輝度値が閾値Ｖｔｈ以上に達するＹ座標上の縦方向位置を上眼瞼の位置として算出する。この閾値Ｖｔｈは輝度値の総和から適応的に値が自動調整されるほか、画像処理によって検出された上眼瞼位置座標の輝度値から設定してもよい。また、位置算出部１１は、下眼瞼の位置を同様にして算出する。

【0022】

プロセッサ９の移動量算出部１３は、光検出器７から出力された画像信号に基づいて、被験者の眼Ｅ上に生じる角膜反射光の位置を算出する。角膜反射光は皮膚表面からの散乱光による皮膚画像又は皺画像よりも明るく、角膜反射光の信号強度の揺らぎも小さいという性質を利用して、移動量算出部１３は、画像信号を対象にした重心演算によって画像信号内の２次元座標（Ｘ座標及びＹ座標）における角膜反射光の位置を算出する。さらに、移動量算出部１３は、光検出器７から所定のフレームレートで出力される複数の画像信号を対象に処理することにより、角膜反射光の位置の時間変化を算出し、この角膜反射光の位置の時間変化を、被験者の眼部の光検出器７に対する位置の移動量として取得する。

【0023】

ここで、移動量算出部１３は、被験者の瞬目動作によって角膜反射光が消失する状況においては、次のように処理する。具体的には、角膜反射光として検出された領域を対象に、長軸と短軸との比、モーメント値等の楕円特徴量を計算し、その楕円特徴量が閾値以上になった否かで、検出した角膜反射光の真偽を判定する。その他、角膜反射光の領域の光量が閾値以上に変化したか否かに基づいて、画像信号上の閾値以上の輝点の総数、又はその増減に基づいて、角膜反射光の真偽を判定してもよいし、隣接した輝点の集合の面積を基にその真偽を判定してもよい。これにより、瞬目動作中において眼瞼が角膜を覆うことによる角膜反射光の消失だけでなく、皮膚や化粧による乱反射に対して、角膜反射光の検出位置の確度を向上させることができる。

【0024】

プロセッサ９の位置補正部１５は、位置算出部１１によって算出された眼瞼の位置を移動量算出部１３によって算出された眼部位置の移動量を基に補正する。具体的には、眼瞼の位置の時間変化を対象に、それぞれの時刻における眼瞼の位置に対して、その時刻に対応する眼部位置の移動量分を差し引くように補正する。このようにすることで、算出された眼瞼の位置の変化分に対して被験者の眼部の動きの分を打ち消すことができるので、眼瞼自体の動きを反映した眼瞼の位置の時間変化を求めることができる。ここで、位置補正部１５は、真の角膜反射光の位置が得られていないタイミングにおいては、眼球位置等の他の眼部の特徴量の位置変化で眼瞼の位置を補正してもよい。

【0025】

図３は、位置算出部１１によって算出された眼瞼の縦方向位置の時間変化及び移動量算出部１３によって算出された角膜反射光の縦方向位置の時間変化の一例を示すグラフである。眼瞼の位置の時間変化を実線で、角膜反射光の位置の時間変化を点線で示している。また、図４（ａ），（ｂ），（ｃ）には、それぞれ、図３に示す時刻Ｔ１，Ｔ２，Ｔ３に対応するタイミングで取得される画像信号のイメージを示している。また、図５は、図３に示すデータを基に位置補正部１５によって補正された眼瞼の縦方向位置の時間変化を示すグラフである。これらの図に示すように、時刻Ｔ１から時刻Ｔ２にかけて眼部が上方に移動し、その後時刻Ｔ３にかけて眼部が元の位置に戻っている様子が画像信号で検出されており、それに対応して角膜反射光の位置の変化も算出されている（図３の点線）。一方で、算出される眼瞼の位置においては、時刻Ｔ３において約１ｍｍの幅の眼瞼運動が反映されるとともに眼部の動きに伴う変化も反映されてしまっている（図３の実線）。時刻Ｔ２の眼瞼位置の移動も時刻Ｔ３の眼瞼位置の移動もいずれも眼瞼位置の変化として検出されるが、実際に被験者が行った眼瞼の動きは時刻Ｔ３の動きのみである。眼瞼位置の補正機能を有さないシステムの場合、振幅、期間、及び速度の異なる様々なパターンの被験者の体の動きと、振幅、期間、及び速度が様々な瞬き動作とを区別することは困難であり、その結果、瞬き動作ではない信号がノイズ成分として含まれてしまう傾向にある。これに対して、位置補正部１５によれば、被験者の体の動き等に起因する眼部の動きの影響を取り除いた眼瞼自体の動きを反映した眼瞼位置を得ることができる（図５の実線）。なお、時刻Ｔ３における角膜反射光の位置は上方向に移動している（図３の点線）。これは、瞬目中の視線方向が変化したことによるものである。角膜反射光の位置の変化から視線方向の変化と体の移動とを分離することはできないが、視線の移動による角膜反射光の位置変化は微小であるため、眼瞼の位置の時間変化から角膜反射光の位置変化を差し引いても位置精度に対する影響は少ない。精度に対する影響を最小限にしたい場合には、位置補正部１５は、補正後の眼瞼の位置の経時変化から瞬目動作期間を抽出し、当該期間においては角膜反射光の位置の時間変化に基づく補正は適用しないように再計算を行ってもよい。補正の実施期間と補正の未実施期間との間の境目で発生する不連続性は、眼瞼位置の経時変化を求める際に、速度の時間変化及び位置の時間差分量を積分するように処理することで解消される。

【0026】

ここで、体の動きはゆっくりした動作であるため、算出した眼瞼位置の時間変化からバイパスフィルタなどを利用してその動作の影響を除去することも考えられる。図５の点線のグラフは、このような手法により補正された眼瞼位置の時間変化を示している。このようにすれば、通常の瞬目のような約１０ｍｍの幅の眼瞼運動の検出には問題が少ないが、１ｍｍ幅程度の小さな眼瞼運動の検出精度が低下してしまう。つまり、バイパスフィルタを利用することにより、もともと小さな眼瞼運動の振幅が小さくなってしまうという問題のほか、体動の影響の不完全な除去によって残りの動作との分離が数値解析だけでは実現できないという問題が発生する。これに対して、位置補正部１５による補正方法によれば、眼部の移動による影響を取り除いた位置情報を効率的に得ることができる。

【0027】

なお、位置補正部１５は、眼瞼の位置を算出する際に、固視微動の影響を補正するようにしてもよい。一般的に、固視微動には、１００Ｈｚ前後の周波数の１μｍ程度（２０〜４０秒角）の振幅の微細な動きであるトレモア、ゆっくりとずれていく動きであるドリフト、ドリフト後に発生する０．０４度角〜２分角の衝動性の眼球運動（跳躍運動）であるフリック（マイクロサッカードともいう。）が含まれる。位置補正部１５は、画像信号を基に被験者の眼球の動きの速度の時間変化を検出し、それを基に眼球の急峻な動きであるフリックの期間を抽出し、その期間における眼球速度が所定の閾値を超えたタイミングにおいて、フリックによる影響を打ち消すように眼瞼の位置を補正する。また、位置補正部１５は、ドリフト運動の影響を取り除くために、周波数フィルタを用いて眼瞼位置の時間変化を処理してもよい。

【0028】

プロセッサ９の特徴量算出部１７は、位置補正部１５から出力された眼瞼の位置の時間化を基に、被験者の瞬きに関する特徴量を算出した後、その特徴量を出力する。例えば、算出する特徴量としては、閉瞼時における平均速度（閉瞼平均速度）、最大速度（閉瞼最大速度）、閉瞼距離、上眼瞼移動距離、及び下眼瞼移動距離と、閉瞼率と、閉瞼動作時の所要時間（閉瞼期間）と、閉眼期間と、開瞼時の平均速度（開瞼平均速度）、最大速度（開瞼最大速度）、開瞼動作時の所要時間（開瞼期間）、開瞼距離、上眼瞼移動距離、下眼瞼移動距離と、瞬目頻度と、瞬目と瞬目との時間間隔、変則的な動作を行う瞬目の頻度、特定の眼瞼運動の頻度とのいずれかを含む瞬目特徴量を算出する。そして、特徴量算出部１７は、これらの特徴量を基にした解析結果を、ネットワークを介して、外部装置に出力する。瞬目特徴量を解析する際のパラメータとしては、瞬目特徴量の平均、分散、標準偏差、尖度、歪度などの統計量や中央値、四分位点、最大値、最小値、最頻値、最大値と最小値などである。また、特徴量算出部１７は、プロセッサ９に直接接続されたディスプレイ装置、メモリ等の出力手段に直接解析結果を出力してもよい。解析結果としては、特徴量そのもの以外にも、内部のデータベースと比較した結果や、ネットワークを介して接続された外部のデータベースと比較した結果が出力されてもよいし、眼瞼の位置の時間変化を示すデータ、眼瞼の速度の時間変化を示すデータ、処理対象の画像信号を表すデータが併せて出力されてもよい。

【0029】

次に、瞬目計測システム１による瞬目特徴量の算出動作の詳細手順について説明するとともに、本実施形態に係る瞬目計測方法について詳述する。図６は、瞬目計測システム１による瞬目特徴量の算出動作の手順を示すフローチャートである。

【0030】

まず、図６を参照して、計測動作が開始されると、光検出器７により眼瞼を含む眼Ｅの部位の画像信号が時間的に連続して取得される（ステップＳ０１）。次に、移動量算出部１３によって、画像信号を基に被験者の眼Ｅの角膜上の角膜反射光の位置の時間変化が算出される（ステップＳ０２）。その結果から、移動量算出部１３により、被験者の眼部の移動量の時間変化が算出される（ステップＳ０３）。その後、位置算出部１１により、被験者の眼瞼の位置の時間変化が算出される（ステップＳ０４）。次に、位置補正部１５により、眼瞼の位置の時間変化が、眼部の移動量の時間変化を基に補正される（ステップＳ０５）。そして、特徴量算出部１７により、補正後の眼瞼の位置の時間変化を基に、瞬目特徴量が算出及び出力される（ステップＳ０６）。ここで、ステップＳ０２の角膜反射光の位置の算出からステップＳ０５における補正までの処理は、光検出器７による計測中にリアルタイムで行われてもよいし、その処理の一部あるいは全部が計測後に行われてもよい。また、Ｓ０１の眼部周辺部位の画像取得後の３つのステップＳ０２，Ｓ０３，Ｓ０４はそれぞれ独立に行ってもよいし、並行して同時に行ってもよい。

【0031】

以上説明した瞬目計測システム１によれば、被験者の眼瞼及び眼Ｅを含む部位からの反射光の画像信号が生成され、その画像信号を基に当該部位における角膜反射光の位置と眼瞼の位置とが算出された後、その眼瞼の位置が角膜反射光の位置を基に補正され、その補正された眼瞼の位置の時間変化から、瞬きに関する特徴量が算出される。これにより、被験者の眼Ｅの装置に対する相対的位置が変化した場合であっても眼瞼自体の動きに対応した眼瞼位置の時間変化を簡易な計算で算出することができる。その結果、被験者の眼瞼の位置の時間変化から瞬きに関する特徴量を高速かつ高精度に得ることができる。

【0032】

瞬目特徴量として瞬目の頻度や瞬目の期間といった特徴量であればビデオカメラで取得した画像の差分画像からも算出することができる。しかしながら、閉瞼時最大速度又は開瞼時最大速度等の特徴量、閉瞼動作を一時停止した後に数ｍｓｅｃで閉瞼を再開したり開瞼動作に移行するような変則的動作、開瞼時の変則的動作、あるいは微小な眼瞼運動等の眼瞼動作の過程を数値化する特徴量を、安定して取得することは難しい。このような問題は、眼瞼位置の誤検出、瞬目動作の誤検出に繋がり、瞬き動作の定量解析の信頼性を低下させてしまい、パーキンソン病患者にみられる１ｍｍほどの微小な眼瞼運動の検出精度を左右する問題である。本実施形態によれば、このような特徴量に関しても安定した高精度での取得を可能にする。

【0033】

また、被験者の視線が動き、例えば、計測中に上方に視線が動くと、眼を覆う位置にある眼瞼の形状は変化し、それが微小眼瞼運動として誤検出される傾向にある。また、被験者の頭部が動くとカメラの検出範囲内における眼部や皮膚部の位置が変化することで眼瞼位置が誤検出され、その結果、瞬き動作も誤検出される傾向にある。本実施形態の瞬目計測システム１によれば、そのような誤検出が防止される。

【0034】

なお、本発明は、前述した実施形態に限定されるものではない。

【0035】

上述した瞬目計測システム１は、補正された眼瞼位置の検出結果を得るための構成として、以下のような構成を採用してもよい。

【0036】

例えば、プロセッサ９で算出した被験者の眼部の移動量を基に、光検出器７から出力される画像信号の撮像範囲が補正されてもよい。このような補正は、光検出器７の撮影画角の補正、画像信号の読み出し位置の補正、レンズのフォーカス調整、光検出器７と被験者との相対的位置の調整等によって行われる。光検出器７と被験者との相対的位置の調整は、光検出器７をカメラ本体と光学系ユニットを同一ユニットで構成し、そのユニットを移動させる構成により実現される。また、レンズを含む光学系ユニットを駆動させる構成を採用してもよいし、カメラの前面に配置されたＭＥＭＳミラーやそれに類するものを使用し、カメラに入射する像の位置を調整可能な構成を採用してもよい。これにより、画像処理による補正を行うことなく光検出器７側を調整することで、眼瞼の動きに対応した眼瞼位置を得ることができる。

【0037】

また、プロセッサ９で算出した被験者の眼部の移動量を基に、プロセッサ９において画像信号中の眼瞼位置の算出対象領域が補正されてもよい。例えば、プロセッサ９において、光検出器７から出力された画像信号を対象に位置補正及び拡大・縮小処理を含む画像処理が施されることにより眼瞼位置の算出対象領域が補正される。これにより、光検出器７側を調整することなく画像信号中の範囲が調整された算出対象領域を用いることで、眼瞼の動きに対応した眼瞼位置を得ることができる。

【符号の説明】

【0038】

１…瞬目計測システム、３…光源、５…照明制御装置、７…光検出器、９…プロセッサ、１１…位置算出部、１３…移動量算出部（位置算出部）、１５…位置補正部、１７…特徴量算出部、Ｅ…眼。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】