特開 2016-81512 瞬き検出方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】特開2016-81512(P2016-81512A)

(43)【公開日】2016年5月16日

(54)【発明の名称】瞬き検出方法および装置

(51)【国際特許分類】

   G06T 7/20 20060101AFI20160411BHJP

   A61B 3/113 20060101ALI20160411BHJP

【ＦＩ】

   G06T7/20 300B

   A61B3/10 B

【審査請求】有

【請求項の数】10

【出願形態】ＯＬ

【外国語出願】

【全頁数】12

(21)【出願番号】特願2015-140422(P2015-140422)

(22)【出願日】2015年7月14日

(31)【優先権主張番号】103135357

(32)【優先日】2014年10月13日

(33)【優先権主張国】TW

(71)【出願人】

【識別番号】511248629

【氏名又は名称】由田新技股▲ふん▼有限公司

(74)【代理人】

【識別番号】100105050

【弁理士】

【氏名又は名称】鷲田 公一

(72)【発明者】

【氏名】鄒嘉駿

(72)【発明者】

【氏名】許佳微

【テーマコード（参考）】

5L096

【Ｆターム（参考）】

5L096AA06

5L096BA06

5L096CA04

5L096GA08

(57)【要約】

【課題】連続画像に基づいて使用者の瞬き状態を判断する瞬き検出方法および装置を提供すること。
【解決手段】使用者の眼画像列を取得した後、眼画像列から現検出画像および前撮像画像を取得し、現検出画像および前撮像画像の反射領域をフィルタリングする。反射領域に含まれる画素の輝度値は、輝度しきい値よりも高い。現検出画像と前撮像画像の間の相違画素量を計算し、相違画素量に基づいて、使用者が瞬きしたかどうかを判断する。
【選択図】図２

【特許請求の範囲】

【請求項1】

使用者の眼画像列を取得するステップと、
前記眼画像列から現検出画像および前撮像画像を取得するステップと、
前記現検出画像および前記前撮像画像の反射領域をフィルタリングし、前記反射領域に含まれる画素の輝度値が輝度しきい値よりも高いステップと、
前記現検出画像と前記前撮像画像の間の相違画素量を計算するステップと、
前記相違画素量に基づいて、前記使用者が瞬きしたかどうかを判断するステップと、
を含む瞬き検出方法。

【請求項2】

前記現検出画像と前記前撮像画像の間の前記相違画素量を計算するステップが、
前記現検出画像の各画素と前記前撮像画像の各画素の間の画素差を計算するステップと、
前記画素差が第１しきい値よりも大きいかどうかを判断するステップと、
前記画素値が前記第１しきい値よりも大きい時の前記相違画素量を累積し、前記相違画素量に基づいて、前記使用者が瞬きしたかどうかを判断するステップと、
を含む請求項１に記載の瞬き検出方法。

【請求項3】

前記相違画素量に基づいて前記使用者が瞬きしたかどうかを判断するステップが、
Ｎ個以上の連続眼画像のそれぞれの前記相違画素量が第２しきい値よりも大きいかどうかを判断するステップと、
前記Ｎ個以上の連続眼画像のそれぞれの前記相違画素量が前記第２しきい値よりも大きい時、前記Ｎ個以上の連続眼画像を取り込んだ時の時間区分内に、前記使用者が瞬きしたかどうかを判断するステップと、
を含む請求項２に記載の瞬き検出方法。

【請求項4】

複数の連続した原画像を含む画像列を取り込むステップと、
各前記原画像に対して顔検出手順を実行し、複数の顔画像を取得するステップと、
各前記顔画像の鼻孔領域を検出するステップと、
前記鼻孔領域に基づいて、各前記顔画像から各眼画像を取得するステップと、
をさらに含む請求項１〜３のいずれか１項に記載の瞬き検出方法。

【請求項5】

前記眼画像列が、複数の眼画像を含み、前記眼画像が、それぞれグレイレベル画像であり、前記前撮像画像が、前記現分析画像よりＭ個前の画像であり、Ｍが、１よりも大きいか、それに等しく、前記瞬き検出方法が、さらに、
前記現分析画像が前記眼画像において撮像時間が最も早いＭ個の眼画像のうちの１つである時、前記眼画像列から前記眼画像の次の画像を前記現分析画像として取得し、前記撮像時間が最も早い前記Ｍ個の眼画像の前記相違画素量を計算しないステップ、
を含む請求項１〜４のいずれか１項に記載の瞬き検出方法。

【請求項6】

使用者の眼画像列を取得する撮像ユニットと、
複数のモジュールを含む記憶ユニットと、
前記撮像ユニットおよび前記記憶ユニットに結合され、前記モジュールを実行する処理ユニットと、
を含み、前記モジュールが、
眼画像列から現分析画像および前撮像画像を取得し、前記現分析画像の撮像時間が 、前記前撮像画像の撮像時間と異なるとともに、前記現分析画像および前記前撮像画 像の反射領域をフィルタリングし、前記反射領域に含まれる画素の輝度値が、輝度し きい値よりも高く、且つ前記現分析画像と前記前撮像画像の間の相違画素量を計算す る光影分析モジュールと、
前記相違画素量に基づいて、前記使用者が瞬きしたかどうかを判断する瞬き判断モ ジュールと、
を含む瞬き検出装置。

【請求項7】

前記光影分析モジュールが、前記現分析画像の各画素と前記前撮像画像の各画素の間の画素差を計算し、前記画素差が第１しきい値よりも大きいかどうかを判断して、前記画素値が前記第１しきい値よりも大きい時の前記相違画素量を累積するとともに、前記瞬き判断モジュールが、前記相違画素量に基づいて、前記使用者が瞬きしたかどうかを判断する、
請求項６に記載の瞬き検出装置。

【請求項8】

前記瞬き判断モジュールが、Ｎ個以上の連続眼画像のそれぞれの前記相違画素量が第２しきい値よりも大きいかどうかを判断し、前記Ｎ個以上の連続眼画像のそれぞれの前記相違画素量が前記第２しきい値よりも大きい時、前記瞬き判断モジュールが、前記Ｎ個以上の連続眼画像を取り込んだ時の時間区分内に、前記使用者が瞬きしたかどうかを判断する、
請求項７に記載の瞬き検出装置。

【請求項9】

前記撮像ユニットが、複数の連続した原画像を含む画像列を取り込み、
前記記憶ユニットが、さらに、
各前記原画像に対して顔検出手順を実行し、複数の顔画像を取得する顔検出モジュールと、
各前記顔画像の鼻孔領域を検出する鼻孔検索モジュールと、
前記鼻孔領域に基づいて、各前記顔画像から各眼画像を取得する眼検索モジュールと、
を含む請求項６〜８のいずれか１項に記載の瞬き検出装置。

【請求項10】

前記眼画像列が、複数の眼画像を含み、前記眼画像が、それぞれグレイレベル画像であり、前記前撮像画像が、前記現分析画像よりＭ個前の画像であり、Ｍが、１よりも大きいか、それに等しく、前記現分析画像が前記眼画像において前記撮像時間が最も早いＭ個の画像のうちの１つである時、前記光影分析モジュールが、前記現分析画像の前記相違画素量を計算しない、
請求項６〜９のいずれか１項に記載の瞬き検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、視標追跡（eye tracking）技術に関するものであり、特に、瞬き検出方法および装置に関するものである。

【背景技術】

【0002】

現在の視標追跡技術として、主に、侵襲性（invasive）視標追跡技術と非侵襲性（non-invasive）視標追跡技術がある。侵襲性視標追跡技術は、眼球内に探りコイル（search coil）を設置する、または、電気眼球図（electrooculogram）を使用する技術である。非侵襲性視標追跡技術は、頭部非装着型（head-free）視標追跡技術または頭部装着型（head-mount）視標追跡技術を含む。技術の発展とともに、視標追跡技術は、神経科学、心理学、生産管理工学、人間工学、マーケティング広告、コンピューターサイエンス等の様々な分野に広く応用されるようになった。

【0003】

視標追跡技術は、外部環境が検出率に影響しやすい。例えば、使用者が眼鏡をかけている場合、外部の光源を反射して眼鏡のレンズにより生成された反射光が検出プロセスに影響しやすい。さらに、使用者が移動状態にある場合は、動きに伴って光反射位置が変わる。また、単一画像の検出に特定される従来の技術を使用して眼を検索した場合、検出率が大幅に下がる。

【発明の概要】

【発明が解決しようとする課題】

【0004】

視標追跡技術は、外部環境が検出率に影響しやすいため、単一画像の検出に特定される従来の技術を使用して眼を検索すると、検出率が大幅に下がる。

【0005】

本発明は、連続画像に基づいて２つの画像の光影変化を取得することにより、使用者の瞬き状態を判断する瞬き検出方法および装置を提供する。

【課題を解決するための手段】

【0006】

本発明は、以下のステップを含む瞬き検出方法を提供する。使用者の眼画像列を取得する。眼画像列から現検出画像および前撮像画像を取得する。現分析画像の撮像時間は、前撮像画像の撮像時間と異なる。現検出画像および前撮像画像の反射領域をフィルタリングする。反射領域に含まれる画素の輝度値は、輝度しきい値よりも高い。現検出画像と前撮像画像の間の相違画素量を計算する。相違画素量に基づいて、使用者が瞬きしたかどうかを判断する。

【0007】

本発明の１つの実施形態において、現検出画像と前撮像画像の間の相違画素量を計算するステップは、以下のステップを含む。現検出画像の各画素と前撮像画像の各画素の間の画素差を計算する。画素差が第１しきい値よりも大きいかどうかを判断する。画素値が第１しきい値よりも大きい時の相違画素量を累積し、相違画素量に基づいて、使用者が瞬きしたかどうかを判断する。

【0008】

本発明の１つの実施形態において、相違画素量に基づいて使用者が瞬きしたかどうかを判断するステップは、以下のステップを含む。Ｎ個以上の連続眼画像のそれぞれの相違画素量が第２しきい値よりも大きいかどうかを判断する。Ｎ個以上の連続眼画像のそれぞれの相違画素量が第２しきい値よりも大きい時、Ｎ個以上の連続眼画像を取り込んだ時の時間区分内に、使用者が瞬きしたかどうかを判断する。

【0009】

本発明の１つの実施形態において、瞬き検出方法は、さらに、以下のステップを含む。複数の連続した原画像を含む画像列を取り込む。各原画像に対して顔検出手順を実行し、複数の顔画像を取得する。各顔画像の鼻孔領域を検出する。鼻孔領域に基づいて、各顔画像から各眼画像を取得する。

【0010】

本発明の１つの実施形態において、眼画像は、それぞれグレイレベル画像であり、前撮像画像は、現分析画像よりＭ個前の画像であり、Ｍは、１よりも大きいか、それに等しく、瞬き検出方法は、さらに、以下のステップを含む。現分析画像が眼画像において撮像時間が最も早いＭ個の画像のうちの１つである時、現分析画像の相違画素量を計算しない。

【0011】

本発明は、撮像ユニットと、記憶ユニットと、処理ユニットとを含む瞬き検出装置を提供する。撮像ユニットは、使用者の眼画像列を取得するよう構成される。記憶ユニットは、複数のモジュールを含む。処理ユニットは、撮像ユニットおよび記憶ユニットに結合され、モジュールを実行するために使用される。モジュールは、光影分析モジュールと、瞬き判断モジュールとを含む。光影分析モジュールは、眼画像列から現分析画像および前撮像画像を取得する。現分析画像の撮像時間は、前撮像画像の撮像時間と異なり、光影分析モジュールは、現分析画像および前撮像画像の反射領域をフィルタリングする。反射領域に含まれる画素の輝度値は、輝度しきい値よりも高い。光影分析モジュールは、現分析画像と前撮像画像の間の相違画素量を計算する。瞬き判断モジュールは、相違画素量に基づいて、使用者が瞬きしたかどうかを判断する。

【0012】

本発明の１つの実施形態において、光影分析モジュールは、現分析画像の各画素と前撮像画像の各画素の間の画素差を計算し、画素差が第１しきい値よりも大きいかどうかを判断して、画素値が第１しきい値よりも大きい時の相違画素量を累積する。瞬き判断モジュールは、相違画素量に基づいて、使用者が瞬きしたかどうかを判断する。

【0013】

本発明の１つの実施形態において、瞬き判断モジュールは、Ｎ個以上の連続眼画像のそれぞれの相違画素量が第２しきい値よりも大きいかどうかを判断し、Ｎ個以上の連続眼画像のそれぞれの相違画素量が第２しきい値よりも大きい時、瞬き判断モジュールは、Ｎ個以上の連続眼画像を取り込んだ時の時間区分内に、使用者が瞬きしたかどうかを判断する。

【0014】

本発明の１つの実施形態において、撮像ユニットは、複数の連続原画像を含む画像列を取り込む。記憶ユニットは、さらに、顔検出モジュールと、鼻孔検索モジュールと、眼検索モジュールとを含む。顔検出モジュールは、各原画像に対して顔検出手順を実行し、複数の顔画像を取得する。鼻孔検索モジュールは、各顔画像の鼻孔領域を検出する。眼検索モジュールは、鼻孔領域に基づいて、各顔画像から各眼画像を取得する。

【0015】

本発明の１つの実施形態において、眼画像は、それぞれグレイレベル画像であり、前撮像画像は、現分析画像よりＭ個前の画像であり、Ｍは、１よりも大きいか、それに等しい。現分析画像が眼画像において撮像時間が最も早いＭ個の画像のうちの１つである時、光影分析モジュールは、現分析画像の相違画素量を計算しない。

【発明の効果】

【0016】

以上のように、本来の単一画像処理法の代わりに、連続画像に基づいて２つの画像間の光影変化（すなわち、相違画素量）を取得することにより、外部環境に影響されずに、使用者の瞬き状態を判断することができる。

【0017】

本発明の上記および他の目的、特徴、および利点をより分かりやすくするため、図面と併せたいくつかの実施形態を以下に説明する。

【図面の簡単な説明】

【0018】

【図1】本発明の１つの実施形態に係る瞬き検出装置のブロック図である。

【図2】本発明の１つの実施形態に係る瞬き検出方法を示すフローチャートである。

【図3】本発明の１つの実施形態に係る輝度変化分析手順を示すフローチャートである。

【図4】本発明の１つの実施形態に係る使用者が瞬きしたかどうかを判断する方法を示すフローチャートである。

【図5】図５（ａ）および図５（ｂ）は、本発明の１つの実施形態に係る開眼状態の概略図である。

【図6】図６（ａ）および図６（ｂ）は、本発明の１つの実施形態に係る瞬き状態の概略図である。

【図7】本発明の１つの実施形態に係る眼画像列の第１領域の相違画素量間の関係を示す概略図である。

【発明を実施するための形態】

【0019】

図１は、本発明の１つの実施形態に係る瞬き検出装置のブロック図である。図１を参照すると、瞬き検出装置１００は、撮像ユニット１１０と、処理ユニット１２０と、記憶ユニット１３０とを含む。処理ユニット１２０は、撮像ユニット１１０および記憶ユニット１３０に結合される。撮像ユニット１１０は、使用者の眼画像列（複数の連続眼画像を含む）を取得するよう構成される。撮像ユニット１１０は、例えば、ＣＣＤ（charge coupled device）レンズ、ＣＭＯＳ（complementary metal oxide semiconductor transistors）レンズ、または赤外線レンズを使用するビデオカメラやカメラである。

【0020】

処理ユニット１２０は、例えば、中央処理装置（central processing unit, CPU）またはマイクロプロセッサ等である。記憶ユニット１３０は、例えば、不揮発性メモリ、ＲＡＭ（random access memory）、またはハードディスク等である。本実施形態は、プログラムコードによって実施される。例えば、記憶ユニット１３０は、複数のプログラム命令を記憶し、プログラム命令をインストールした後、処理ユニット１２０は、プログラム命令を実行することができる。例えば、記憶ユニット１３０は、複数のモジュールを含み、これらのモジュールは、それぞれ、複数の機能を実行するために使用され、各モジュールは、１つまたは複数のプログラム命令で構成される。これらのモジュールは、光影分析モジュール１３１と、瞬き判断モジュール１３２とを含む。

【0021】

光影分析モジュール１３１は、各眼画像に対して光影分析手順を行い、各眼画像の光影変化を判断する。瞬き判断モジュール１３２は、光影変化に基づいて、使用者の瞬き状態を判断する。詳しく説明すると、光影分析モジュール１３１は、眼画像列から現分析画像および前撮像画像を取得して、現分析画像と前撮像画像の間の相違画素量を計算する。現分析画像の撮像時間は、前撮像画像の撮像時間と異なる。さらに、光影分析モジュール１３１は、現分析画像および前撮像画像の反射領域をフィルタリングする。反射領域に含まれる画素の輝度値は、輝度しきい値よりも高く、１つの実施形態において、輝度しきい値は、９０〜２００の間であり、本実施形態において、輝度しきい値は、１００であってもよい。

【0022】

さらに、記憶ユニット１３０は、選択的に、顔検出モジュール１３３と、鼻孔検索モジュール１３４と、眼検索モジュール１３５とを含む。例えば、撮像ユニット１１０は、複数の原画像を含む画像列を取り込む。処理ユニット１２０は、顔検出モジュール１３３、鼻孔検索モジュール１３４、および眼検索モジュール１３５を介して、原画像から眼画像を取得する。顔検出モジュール１３３は、各原画像に対して顔検出手順を実行し、複数の顔画像を取得する。鼻孔検索モジュール１３４は、各顔画像の鼻孔領域を検出する。眼検索モジュール１３５は、鼻孔領域に基づいて、各顔画像から各眼画像を取得する。

【0023】

図２は、本発明の１つの実施形態に係る瞬き検出方法を示すフローチャートである。図１および図２を参照すると、ステップＳ２０５において、撮像ユニット１１０は、使用者の眼画像列を取得する。例えば、本実施形態において、撮像ユニット１１０は、使用者の複数の連続原画像（頭全体または体全体を含む）を取り込み、原画像から複数の連続眼画像を取得する。例えば、顔検出モジュール１３３は、それぞれ、各原画像に対して顔検出手順を実行し、複数の顔画像を取得する。鼻孔検索モジュール１３４は、各顔画像から鼻孔領域を検出する。さらに、眼検索モジュール１３５は、鼻孔領域に基づいて、各顔画像から各眼画像を取得する。

【0024】

顔検出モジュール１３３は、例えば、アダブースト（AdaBoost）アルゴリズムまたは他の既存の顔認識アルゴリズム（例えば、Haar-like特徴を用いて顔検出を実行する）を適用して、原画像から顔画像を取得する。顔画像を取得した後、処理ユニット１２０は、各顔画像の中の鼻孔領域（すなわち、２つの鼻孔がある位置領域）を検索し、鼻孔検索モジュール１３４を介して、鼻孔位置情報を取得する。鼻孔位置情報は、例えば、２つの鼻孔の第１中心点と第２中心点である。そして、眼検索モジュール１３５は、鼻孔位置情報に基づいて、眼画像を取得する。例えば、２つの鼻孔の第１中心点と第２中心点より上の所定範囲を眼画像として取得する。

【0025】

さらに、別の実施形態において、撮像ユニット１１０を直接使用して、使用者の複数の連続眼画像を取り込む。上述した説明は単なる例であり、本発明は、眼画像の取得方法を限定しない。

【0026】

そして、ステップＳ２１０において、光影分析モジュール１３１は、眼画像列から現分析画像および前撮像画像を取得する。現分析画像の撮像時間は、前撮像画像の撮像時間と異なる。

【0027】

そして、ステップＳ２１５において、光影分析モジュール１３１は、現分析画像および前撮像画像の反射領域をフィルタリングする。反射領域に含まれる画素の輝度値は、輝度しきい値よりも高い。さらに、ステップＳ２２０において、光影分析モジュール１３１は、現分析画像と前撮像画像の間の相違画素量を計算する。

【0028】

例えば、光影分析モジュール１３１は、現分析画像として眼画像列から眼画像を１つずつ取得して、現分析画像および前撮像画像に対して光影分析手順を実行し、現分析画像と前撮像画像の間の光影変化を判断する。光影変化は、例えば、２つの眼画像間の輝度変化であり、光影分析モジュール１３１は、現分析画像と前撮像画像の間の輝度変化が高い相違画素量を探す。

【0029】

現分析画像の撮像時間は、前撮像画像の撮像時間よりも早い。例えば、現分析画像が第Ｘ眼画像であると仮定すると、第Ｘ−４眼画像を前撮像画像として、光影分析手順を行う。これは、２つの隣接する眼画像を適用した場合、２つの隣接する眼画像は撮像時間が近いため、輝度分布が類似し過ぎて輝度変化が明らかではないからである。そのため、第Ｘ−４眼画像を前撮像画像として使用する。

【0030】

閉眼状態の眼画像と開眼状態の眼画像の間の光影変化は、いずれも開眼状態の眼画像間の光影変化よりも大きいため、ステップＳ２２０において、現分析画像と前撮像画像の間の輝度変化が高い時の相違画素量を計算して、瞬き判断の基礎として使用する。

【0031】

最後に、ステップＳ２２５において、瞬き判断モジュール１３２は、相違画素量に基づいて、使用者が瞬きしたかどうかを判断する。

【0032】

以下、１つの実施形態を提供して、現分析画像と前撮像画像の間の輝度変化分析手順について説明する。図３は、本発明の１つの実施形態に係る輝度変化分析手順を示すフローチャートである。図１および図３を参照すると、ステップＳ３０５において、光影分析モジュール１３１は、第ｉ眼画像を現分析画像とし、現分析画像よりＭ個前の画像（すなわち、第ｉ−Ｍ眼画像）を前撮像画像とする。Ｍは、１よりも大きいか、それに等しい。本実施形態において、Ｍ＝４、すなわち、第ｉ−４眼画像を前撮像画像として使用する。さらに、眼画像は、グレイレベル画像であり、すなわち、各画素の画素値は、０〜２５５の輝度値の１つである。撮像ユニット１１０によって取り込まれた原画像がカラー画像である場合、輝度変化分析手順を行う前に、方法は、カラー画像をグレイレベル画像に変換するステップをさらに含む。

【0033】

さらに、得られた現分析画像が眼画像において撮像時間が最も早いＭ個の画像のうちの１つである場合、現分析画像に対して光影分析手順を行わず、眼画像列から眼画像の次の画像を現分析画像として取得する。例えば、Ｍ＝４の場合、第１〜第４眼画像に対して光影分析手順を行わない。

【0034】

そして、ステップＳ３１０において、光影分析モジュール１３１は、現分析画像の第ｊ画素と前撮像画像の第ｊ画像の画素値を取得する。ここで、ｊ＝１と仮定すると、光影分析モジュール１３１は、現分析画像および前撮像画像の第ｊ画素の画素値を取得する。

【0035】

そして、ステップＳ３１５において、光影分析モジュール１３１は、上述した２つの画素値間の画素差を計算する。ステップＳ３２０において、光影分析モジュール１３１は、画素差が第１しきい値よりも大きいかどうか判断する。画素差が第１しきい値よりも大きい場合、輝度変化が大きいことを示し、ステップＳ３２５において、光影分析モジュール１３１は、相違画素量を累積する。その後、ステップＳ３３０において、光影分析モジュール１３１は、全ての画素が計算されたかどうかを判断する。

【0036】

画素差が第１しきい値よりも大きくない場合、輝度変化が大きくないことを示すため、相違画素量を累積せず、ステップＳ３３０を直接実行して、光影分析モジュール１３１は、全ての画素が計算されたかどうかを判断する。全ての画素が計算されていない場合、ｊに１を足して次の画素を計算し、光影分析モジュール１３１は、全ての画素が計算されるまで、ステップＳ３１０〜Ｓ３２５を繰り返し実行する。全ての画素の計算が完了した場合、ｉに１を足して、次の眼画像を現分析画像として取得し、光影分析モジュール１３１は、ステップＳ３０５〜Ｓ３３０を繰り返し実行する。このようにして、各眼画像に対応する相違画素量を取得する。

【0037】

さらに、別の実施形態において、光影分析モジュール１３１は、現分析画像を前撮像画像で直接差し引いて相違画像を取得した後、画素値が相違画像の第１しきい値よりも大きい相違画素量を計算してもよい。

【0038】

各眼画像の相違画素量を取得した後、瞬き判断モジュール１３２は、使用者が瞬きしたかどうかを判断する。例えば、図４は、本発明の１つの実施形態に係る使用者が瞬きしたかどうかを判断する方法を示すフローチャートである。図１および図４を参照すると、ステップＳ４０５において、瞬き判断モジュール１３２は、Ｎ個以上の連続眼画像の相違画素量が全て第２しきい値よりも大きいかどうかを判断する。ここで、Ｎ個以上の連続眼画像を設定するステップは、瞬き状態の誤判率を減らすためのステップである。

【0039】

Ｎ個以上の連続眼画像の相違画素量が第２しきい値よりも大きい場合、ステップＳ４１０において、瞬き判断モジュール１３２は、Ｎ個以上の連続眼画像が取り込まれた時間区分内に、使用者が瞬きをしたかどうかを判断する。Ｎ個以上の連続眼画像の相違画素量が第２しきい値よりも大きくない場合、ステップＳ４１５において、瞬き判断モジュール１３２は、使用者が瞬きしていないと判断する。

【0040】

以下、開眼状態と瞬き状態の間の光影変化について説明する。

【0041】

図５（ａ）および図５（ｂ）は、本発明の１つの実施形態に係る開眼状態の概略図である。図５（ａ）は、現分析画像５１０を示し、図５（ｂ）は、前撮像画像５２０を示す。斜線領域は、画像中の反射領域５３０を示し、他の部分は、第１領域５４０を示す。図５（ａ）および図５（ｂ）において、使用者が開眼状態にある場合、現分析画像および前撮像画像は、いずれも開いた眼を含むため、二者間の輝度差は大きくなく、反射領域の分布は、実質的に同じである。つまり、現分析画像および前撮像画像の光影分布は、実質的に同じである。そのため、現分析画像および前撮像画像の対応する画素間の画素差は、大きくない。

【0042】

図６（ａ）および図６（ｂ）は、本発明の１つの実施形態に係る瞬き状態の概略図である。図６（ａ）は、現分析画像６１０を示し、図６（ｂ）は、前撮像画像６２０を示す。斜線領域は、画像中の反射領域６３０を示し、他の部分は、第１領域６４０を示す。図６（ａ）および図６（ｂ）において、使用者が瞬き状態にある場合、眼が開いている現分析画像と眼が閉じている前撮像画像の２つの眼は、輝度差が明らかに大きい。そのため、瞬き状態の２つの並んだ（隣接していなくてもよい）眼画像には、画素差の大きな場所が存在する。

【0043】

反射領域６３０は、画像分析に影響を与える可能性があるため、輝度しきい値に達している反射領域６３０をフィルタリングして、現分析画像６１０および前撮像画像６２０の第１領域６４０のみを考慮する。開眼状態において、現分析画像５１０と前撮像画像５２０の第１領域５４０の相違画素量は、相対的に小さい。反対に、瞬き状態において、現分析画像６１０と前撮像画像６２０の第１領域６４０の相違画素量は、相対的に大きい。

【0044】

図７は、本発明の１つの実施形態に係る眼画像列の第１領域の相違画素量間の関係を示す概略図である。水平軸は、眼画像列を示し、垂直軸は、眼画像列における第１領域の相違画素量を示す。

【0045】

本実施形態において、第２しきい値が１００で、Ｎが５であると仮定するが、上述した過程は単なる例であり、本発明はこれに限定されない。図７において、第１１眼画像〜第１７眼画像の相違画素量は、いずれも１００よりも大きく、第４３眼画像〜第４４眼画像の相違画素量は、いずれも１００よりも大きい。第１１〜第１７眼画像の数は、５よりも大きいため、連続した第１１〜第１７眼画像を取り込んだ時間区分Ｄの間、使用者は瞬き状態であることを示す。第４３〜第４４眼画像の数は、５よりも大きくないため、使用者は瞬き状態でない。

【産業上の利用可能性】

【0046】

以上のように、２つの画像間の光影変化は、連続画像に基づいて取得されるため、従来の単一画像処理法に比べ、外部環境（例えば、使用者が眼鏡をかけている、レンズが光に反射している等）に影響されずに、使用者の瞬き状態を判断することができる。

【0047】

以上のごとく、この発明を実施形態により開示したが、もとより、この発明を限定するためのものではなく、当業者であれば容易に理解できるように、この発明の技術思想の範囲内において、適当な変更ならびに修正が当然なされうるものであるから、その特許権保護の範囲は、特許請求の範囲および、それと均等な領域を基準として定めなければならない。

【符号の説明】

【0048】

１００ 瞬き検出装置
１１０ 撮像ユニット
１２０ 処理ユニット
１３０ 記憶ユニット
１３１ 光影分析モジュール
１３２ 瞬き判断モジュール
１３３ 顔検出モジュール
１３４ 鼻孔検索モジュール
１３５ 眼検索モジュール
５１０、６１０ 現分析画像
５２０、６２０ 前撮像画像
５４０、６４０ 第１領域
Ｓ２０５〜Ｓ２２５、Ｓ３０５〜Ｓ３３０、Ｓ４０５〜Ｓ４１５ ステップ

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【外国語明細書】

2016081512000001.pdf