特許 6563526 目開幅を利用してまばたき事象と計器視線とを区別する方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6563526

(24)【登録日】2019年8月2日

(45)【発行日】2019年8月21日

(54)【発明の名称】目開幅を利用してまばたき事象と計器視線とを区別する方法および装置

(51)【国際特許分類】

   A61B 5/16 20060101AFI20190808BHJP

   A61B 5/18 20060101ALI20190808BHJP

   A61B 3/113 20060101ALI20190808BHJP

   G08G 1/16 20060101ALI20190808BHJP

【ＦＩ】

   A61B5/16 130

   A61B5/18ZDM

   A61B3/113

   G08G1/16 F

【請求項の数】10

【全頁数】12

(21)【出願番号】特願2017-563242(P2017-563242)

(86)(22)【出願日】2016年4月26日

(65)【公表番号】特表2018-526045(P2018-526045A)

(43)【公表日】2018年9月13日

(86)【国際出願番号】EP2016059233

(87)【国際公開番号】WO2016206831

(87)【国際公開日】20161229

【審査請求日】2017年12月5日

(31)【優先権主張番号】102015211444.9

(32)【優先日】2015年6月22日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100177839

【弁理士】

【氏名又は名称】大場 玲児

(74)【代理人】

【識別番号】100172340

【弁理士】

【氏名又は名称】高橋 始

(72)【発明者】

【氏名】ヴルフ，フェリックス

(72)【発明者】

【氏名】ファンドーメレ，チャールク

【審査官】 清水 裕勝

(56)【参考文献】

【文献】 特開平１１−０６６３０４（ＪＰ，Ａ）

【文献】 特開２０１１−０８６１８６（ＪＰ，Ａ）

【文献】 国際公開第２０１４／０３１０４２（ＷＯ，Ａ１）

【文献】 特開２００９−０９００２８（ＪＰ，Ａ）

【文献】 特開２００３−０００５７１（ＪＰ，Ａ）

【文献】 特開２００８−１９７８２１（ＪＰ，Ａ）

【文献】 特開２００２−０２９２７９（ＪＰ，Ａ）

【文献】 国際公開第２０１０／０３２７２５（ＷＯ，Ａ１）

【文献】 特開２０１１−０４８５３１（ＪＰ，Ａ）

【文献】 特開２００８−１７１０６５（ＪＰ，Ａ）

【文献】 特開２００８−１６７８０６（ＪＰ，Ａ）

【文献】 特開２００３−２３３８０３（ＪＰ，Ａ）

【文献】 特開２０１６−１１５１１７（ＪＰ，Ａ）

【文献】 特開２０１６−１１５１１８（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／０６−５／２２

Ａ６１Ｂ ３／００−３／１６

Ｂ６０Ｋ ２８／００−２８／１６

(57)【特許請求の範囲】

【請求項1】

目開幅（１０６）を利用して、下げた目線である計器視線（１０４）とその他の非計器視線（１０４）とを区別する方法（５００）において、前記目開幅（１０６）は目（１１０）のまぶたの間の最新に検出された間隔を表しており、前記方法（５００）は次の各ステップを有しており、
少なくとも１つのまばたき限界値（１１６）を利用してまばたき事象（１０２）が判定（５０２）され、前記まばたき事象（１０２）が判定されるのは前記目開幅（１０６）の値を反映する開幅値（１１２）が前記まばたき限界値（１１６）よりも小さいときであり、最大まばたき時間（１２０）を利用して計器視線（１０４）が決定（５０４）され、
前記まばたき事象（１０２）が判定されるステップ（５０２）で、
前記開幅値（１１２）が中位まばたき限界値よりも小さいときに中位まばたき事象（３０２）が判定され、前記開幅値（１１２）が低位まばたき限界値よりも小さいときに低位まばたき事象（３０４）が判定され、さらに、前記中位まばたき事象（３０２）の前記判定（５０２）に後続する開幅値（１１２）が前記低位まばたき限界値よりも小さいときに低位まばたき事象（３０４）が判定され、
前記計器視線（１０４）が決定されるステップ（５０４）で、
判定された中位まばたき事象（３０２）が前記最大まばたき時間（１２０）よりも長く続けて認識されたときに前記計器視線（１０４）が決定され、および前記低位まばたき事象（３０４）が前記最大まばたき時間（１２０）よりも長く続けて認識されたときには前記計器視線（１０４）が決定されず、
前記計器視線（１０４）の前記決定（５０４）に後続して前記開幅値（１１２）が開限界値（１２２）よりも大きいときには前記方法の前記ステップ（５０２，５０４）があらためて実行される方法。

【請求項2】

保存のステップを有しており、前記まばたき事象（１０２）の前記判定（５０２）に後続して前記開幅値（１１２）が前記まばたき限界値（１１６）よりも大きいときに前記開幅値（１１２）の時間的推移がまばたき事象推移として保存され、保存のステップに後続して前記方法（５００）の前記ステップ（５０２，５０４）があらためて実行される、請求項１に記載の方法（５００）。

【請求項3】

前記まばたき事象推移の開幅値（１１２）が曲線（４００）をなすようにつながれる補間のステップを有している、請求項２に記載の方法（５００）。

【請求項4】

補間のステップで、事前設定された曲線形状（４１８）を利用して前記曲線（４００）が近似される、請求項３に記載の方法（５００）。

【請求項5】

補間のステップで、前記曲線（４００）に対する少なくとも１つの前記開幅値（１１２）の少なくとも１つの差異値が決定される、請求項３または４に記載の方法（５００）。

【請求項6】

少なくとも１つの差異値またはこれから導き出された値が差異限界値よりも大きいときに前記まばたき事象推移（４００）が除外される妥当性検査のステップを有している、請求項５に記載の方法（５００）。

【請求項7】

前記目開幅（１０６）についての基準レベル（１２６）を利用して前記まばたき限界値（１１６）および／または前記開幅値（１２２）が適合化される変更のステップを有しており、まばたき事象（１０２）および／または計器視線（１０４）が存在しないときに前記基準レベル（１２６）が前記目開幅（１０６）を表す、請求項１〜６のいずれか１項に記載の方法（５００）。

【請求項8】

請求項１〜７のいずれか１項に記載の方法（５００）を実施するためにセットアップされている装置（１００）。

【請求項9】

請求項１〜８のいずれか１項に記載の方法（５００）を実施するためにセットアップされているコンピュータプログラム。

【請求項10】

請求項９に記載のコンピュータプログラムが格納されている、機械で読取り可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、独立請求項の分野に属する装置または方法を前提とする。コンピュータプログラムも本発明の対象物である。

【背景技術】

【0002】

ハンドルを握っているときの眠気やマイクロスリープは、しばしば危険な状況や事故につながる。

【0003】

車両の運転者の眠気は、その走行挙動から間接的に見積もることができる。

【0004】

文献では、まばたき事象と眠気のそれぞれの特性の間の関連性が検討されている。

【0005】

特許文献１は、まばたき事象を認識し、そこから運転者の注意力に関する推測を導き出すために、事前に定義されてモデル化された信号による目開信号のフィッティングを記載している。

【先行技術文献】

【特許文献】

【0006】

【特許文献1】国際公開第２０１４０３１０４２号

【発明の概要】

【0007】

以上の背景のもとで、ここで提案される取組みにより、目開幅を利用してまばたき事象と計器視線とを区別する方法、さらにこの方法を適用した装置、ならびに最後に相応のコンピュータプログラムが、それぞれの主請求項に基づいて提案される。従属請求項に記載の方策により、独立請求項に記載されている装置の好ましい発展例や改良が可能である。

【0008】

まばたき事象を利用して人間の疲労ないし眠気に関する情報を得るためには、人間の実際のまばたき事象を評価することだけが必要である。しかし、反射的なまぶたの運動をもたらす、人間によって意図的に行われる目の運動、たとえば計器パネルの計器へと向けた視線方向の低下などは、まばたき事象と類似するまぶた運動の初期特性を有している。

【0009】

したがってここで提案される取組みでは、まばたき事象と下げた視線との間の区別が事象の時間を踏まえたうえで実行される。まばたき事象は、短時間の後に終わるはずだからである。

【0010】

目開幅を利用してまばたき事象と計器視線とを区別する方法が提案され、目開幅は目のまぶたの間の最新に検出された間隔を表しており、本方法は次の各ステップを有している：

【0011】

少なくとも１つのまばたき限界値を利用してまばたき事象が判定され、まばたき事象が判定されるのは目開幅の値を反映する開幅値がまばたき限界値よりも小さいときであり；

【0012】

最大まばたき時間を利用して計器視線が決定され、計器視線が決定されるのは認識されたまばたき事象が最大まばたき時間よりも長く続けて認識されたときであり、特に、計器視線の決定に後続して開幅値が開限界値よりも大きいときには本方法の各ステップがあらためて実行される。

【0013】

まばたき事象とは、開いた眼から始まってほぼ目を閉じることを経て、あらためて目を開くまでに至るまばたきであると理解することができる。計器視線は、車両の速度表示器および／またはその他の表示器に向けて下げた視線であると理解することができる。特に計器視線は、自由にプログラミング可能なインストルメントクラスタに向けた視線であると理解することができる。目開幅は、目閉幅として理解することもできる。下げた視線のうち最大まばたき時間よりも短いものが、まばたき事象として判断される。

【0014】

判定のステップで、開幅値が中位まばたき限界値よりも小さいときに中位まばたき事象を判定することができる。さらに、開幅値が低位まばたき限界値よりも小さいときに低位まばたき事象を判定することができる。同様に、中位まばたき事象の判定に後続する開幅値が低位まばたき限界値よりも小さいときに低位まばたき事象を判定することができる。中位まばたき事象とは、本件においては平均目開幅を有するまばたき事象であると理解され、それに対して低位まばたき事象は、低い目開幅すなわち平均目開幅よりも小さい目開幅ないし閉じた目を有するまばたき事象として理解される。中位まばたき事象と低位まばたき事象とを区別することで、人間の現在の眠気の分析を改善することができる。

【0015】

最大まばたき時間よりも長い中位まばたき事象が判定されたときに、計器視線を決定することができる。その代替または補足として、最大まばたき時間よりも長い低位まばたき事象が判定されたときに、計器視線を決定することはできない。中位まばたき事象と低位まばたき事象とを分けることで、計器視線の区別が簡素化される。

【0016】

本方法は、まばたき事象の判定に後続して開幅値がまばたき限界値よりも大きいときに、開幅値の時間的推移がまばたき事象推移として保存される保存のステップを有することができる。保存のステップに後続して、本方法の各ステップをあらためて実行することができる。保存のステップでは、特定の時間帯の内部の開幅値を保存することができる。保存は遡及的に行うことができる。保存されるべき時間帯の開始時点は、まばたき事象の開始前であり得る。まばたき事象推移を保存することで、まばたき事象をさらに評価することができる。

【0017】

本方法は、まばたき事象推移の開幅値が曲線をなすようにつながれる補間のステップを有することができる。曲線により、まばたき事象を中断なく評価することができる。

【0018】

曲線は、事前設定された曲線形状を利用して改良または近似することができる。曲線の計算は、予想される曲線形状によって簡素化することができる。曲線形状は、たとえば１つまたは複数のまばたきパラメータを利用して実際のまばたき事象に合わせて適合化することができる、標準化されたまばたき事象を反映することができる。

【0019】

補間のステップで、曲線に対する少なくとも１つの開幅値の少なくとも１つの差異値を決定することができる。差異値は、開幅値に対応する曲線点の値と、開幅値との間の相違を表すことができる。曲線を段階的に最適化することができる。その際に、保存されている開幅値のうちの少なくとも過半数にわたって誤差を平均化し、最小化することができる。

【0020】

本方法は、少なくとも１つの差異値またはこれから導き出された値、たとえば平均値が差異限界値よりも大きいときに、まばたき事象推移が破棄される妥当性検査のステップを有することができる。異常なまばたき事象を除外することで、人間の眠気を良好な蓋然性をもって決定することができる。

【0021】

本方法は、まばたき限界値およびその代替または補足として開限界値が目開幅についての基準レベルを利用して適合化される、変更のステップを有することができる。このとき基準レベルは、まばたき事象およびその代替または補足として計器視線が存在しないときに目開幅を表す。同様に、基準レベルを利用して中位まばたき限界値および／または低位まばたき限界値を適合化することができる。それによってここで提案される方法は、まばたき事象および／または計器視線の範囲外で目開幅に影響を及ぼす要因に関わりなく機能する。

【0022】

本方法は、たとえばソフトウェアまたはハードウェアで、もしくはソフトウェアとハードウェアからなる混合形態で、たとえば制御装置に実装されていてよい。

【0023】

さらに、ここで提案される取組みは、ここで提案される方法の１つの態様の各ステップを相応のデバイスで実施し、制御し、ないしは具体化するために構成された装置を提供する。装置の形態における本発明のこのような実施態様によっても、本発明の根底にある課題を迅速かつ効率的に解決することができる。

【0024】

装置とは、本件においては、センサ信号を処理し、それに依存して制御信号および／またはデータ信号を出力する電気機器であると理解することができる。装置は、ハードウェアおよび／またはソフトウェアとして構成されていてよいインターフェースを有することができる。ハードウェアとしての構成の場合、インターフェースは、たとえば装置の種々の機能を含むいわゆるシステムＡＳＩＣの一部であってよい。しかしながら、インターフェースが独自の集積回路であり、または少なくとも部分的に離散したコンポーネントからなることも可能である。ソフトウェアとしての構成の場合、インターフェースは、たとえば他のソフトウェアモジュールと並んでマイクロコントローラの上に存在するソフトウェアモジュールであってよい。

【0025】

半導体メモリのような機械で読取り可能な担体または記憶媒体、ハードディスクスペースもしくは光学メモリに保存されていてよく、特にプログラム製品またはプログラムがコンピュータまたは装置で実行されたときに上に説明した実施形態のうちの１つに基づく方法の各ステップを実施、具体化、および／または制御するために利用される、プログラムコードを有するコンピュータプログラム製品またはコンピュータプログラムも好ましい。

【0026】

本発明の実施例が図面に示されており、以下の記述において詳しく説明する。図面は次のものを示す：

【図面の簡単な説明】

【0027】

【図1】１つの実施例に基づくまばたき事象と計器視線とを区別する装置を示すブロック図である。

【図2】１つの実施例に基づく、車両の運転者の眠気を監視するための総合システムのアーキテクチャを示す図である。

【図3】１つの実施例に基づくまばたき事象の認識のための状態図である。

【図4】１つの実施例に基づくまばたき事象の目開曲線を示すグラフである。

【図5】１つの実施例に基づくまばたき事象と計器視線とを区別する方法を示すフローチャートである。

【発明を実施するための形態】

【0028】

本発明の好都合な実施例についての以下の記述では、異なる図面に示されていて類似の作用をする部材には同一または類似の符号が使われており、そのような部材について繰り返して説明することはしない。

【0029】

図１は、１つの実施例に基づくまばたき事象１０２と計器視線１０４とを区別する装置１００のブロック図を示している。このとき、まばたき事象１０２と計器視線１０４は目開幅１０６を利用して区別される。目開幅１０６は、ここでは検出システム１０８により、車両の運転者の片方または両方の目１１０で検出されて、開幅値１１２に反映される。目開幅１０６は、目１１０のそれぞれのまぶたの間の最新の間隔を表す。開幅値１１２は装置１００により、装置１００の入力部で読み込まれる。装置１００では、少なくとも１つのまばたき限界値１１６を利用してまばたき事象１０２を判定するために、開幅値１１２が判定装置１１４で利用される。このときまばたき事象が判定されるのは、開幅値１１２がまばたき限界値１１６よりも小さいときである。

【0030】

決定装置１１８で、最大まばたき時間１２０を利用して計器視線１０４が決定される。このとき計器視線１０４が決定されるのは、認識されたまばたき事象１０２が最大まばたき時間１２０よりも長く認識されたときである。計器視線１０４の決定に後続して開幅値１１２が開限界値１２２よりも大きいとき、判定装置１１４で次のまばたき事象が決定される。

【0031】

１つの実施例では、装置１００は変更装置１２４を有している。変更装置１２４では、まばたき限界値１１６およびその代替または補足として開限界値１２２が、目開幅１０６についての基準レベル１２６を利用して適合化される。基準レベル１２６は、まばたき事象１０２およびその代替または追加として計器視線１０４が存在しないときに目開幅１０４を表す。基準レベル１２６は、開幅値１１２を利用して基準レベル１２６を提供する装置１２８により提供される。

【0032】

ビデオカメラ１０８のデータを踏まえたうえで、目１１０の現在の開度１０６を認識することができる。そのために相応の画像処理アルゴリズムが利用される。このとき両方の目１１０について、それぞれ目開レベル１２６を検知することができる。

【0033】

２つの目１１０の目開度１０６から、共通する目開レベル１２６を算出することができる。現在の目開レベル１２６の算出は、Savitzky-Golayフィルタを利用して行うことができる。

【0034】

ここで提案される取組みにより、運転者の眠気ないし眠気状態をまぶた閉データ１１２を用いて、たとえばカメラ１０８を用いて分類し、ないしは正確に見積もることができる。すなわち一例として、以前に検知されたまばたきの認識品質や区別を向上させるための「フィッティングされた」曲線を利用することが提案される。

【0035】

図２は、１つの実施例に基づく、車両の運転者の眠気を監視するための総合システム２００のアーキテクチャの図面を示している。ここで提案されるまばたき事象と計器視線との区別２０２は、総合システム２００の１つの構成要素である。

【0036】

総合システム２００は、３つの主要構成要素２０４，２０６，２０８を有している。第１の主要構成要素２０４は眠気分類と呼ばれる。第２の主要構成要素２０６はマイクロスリープ認識と呼ばれる。第３の主要構成要素２０８は、眠気分類２０４とマイクロスリープ認識２０６により共同で利用されるモジュール２１０を含んでいる。

【0037】

ここで提案される区別２０２は眠気分類２０４の構成要素であり、まばたき事象検知２０２と呼ぶことができる。

【0038】

モジュール２１０は目閉前処理２１０と呼ぶことができる。目閉前処理２１０は、右および左の眼閉の検出と、目閉のフィルタリングと、目閉の速度検出と、目閉のａｃｃと、基準レベルの提供と、有効性とを含んでいる。

【0039】

目閉前処理２１０は、現在の目閉、目閉速度、および基準レベルを出力する。

【0040】

眠気分類２０４では、これらの値がまばたき事象検知２０２で利用されて、まばたき事象がまばたき指標計算２１２へと転送される。

【0041】

まばたき指標計算２１２は、まばたき指標を個人的なまばたき指標認識２１４およびモジュール２１６へ眠気分類のために出力する。モジュールはまばたき指標認識２１４から個人的なまばたき挙動を読み取り、眠気レベルを出力する。

【0042】

マイクロスリープ認識２０６では、個人的な目閉認識２１８、目閉認識２２０、およびモジュール２２２でマイクロスリープ認識のためにそれぞれの値が利用される。

【0043】

個人的な目閉認識２１８は、個人的な開目レベルと個人的な閉目レベルとを出力する。これら両者は、モジュール２２に二進法の目開値を提供するために、目閉認識２２０によって利用される。モジュール２２２はマイクロスリープ事象を出力する。

【0044】

ここで提案される取組みは、事前に予備フィルタリングされた目開データをベースとしたうえで、まばたき特徴の認識品質の改善をなすものである。ここで提案されるいわゆるまばたき事象検知（Blink Event Detection, BED）２０２は、眠気および／またはマイクロスリープを認識するための総合システム２００に組み込まれる。総合システム２００は、目閉前処理２０４Eye Closure Preprocessingを含んでいる。現在の目開レベル（ＥＯＮ）をアルゴリズムを利用して算出することができる。総合システム２００はマイクロスリープ検知２０６を含むことができる。

【0045】

図３は、１つの実施例に基づくまばたき事象の認識についての状態図を示している。この状態図には、さまざまな認識状態が目開幅に依存して示されている。開状態３００を出発点として、現在の目開幅が中位まばたき限界値および低位まばたき限界値と比較される。目開幅が中位まばたき限界値よりも小さいとき、中位まばたき状態３０２が認識される。目開幅が低位まばたき限界値よりも小さいとき、低位まばたき状態３０４が認識される。

【0046】

中位まばたき状態３０２が認識され、目開幅が低位まばたき限界値よりも小さいとき、低位まばたき状態３０４が認識される。

【0047】

中位まばたき状態３０２が最大まばたき時間よりも長く認識されたとき、計器視線状態３０６が認識される。

【0048】

計器視線状態３０６の後に目開幅が開限界値よりも大きいとき、再び開状態３００が認識される。

【0049】

中位まばたき状態３０２が認識され、目開幅が開限界値よりも大きいとき、まばたき終了３０８が認識され、まばたき事象中における目開幅の推移が保存される。

【0050】

低位まばたき状態３０４が認識され、目開幅が中位まばたき限界値よりも大きいとき、同様にまばたき終了３０８が認識される。その場合、同じくまばたき事象中における目開幅の推移が保存される。

【0051】

まばたき終了３０８の後、目は再び開状態３００を有する。

【0052】

まばたき事象を高いロバスト性で検知するため、およびセンサ信号の品質を向上させるためのシステムが提案される。

【0053】

まばたき事象を認識するために、および入力量の品質を改善するためにここで提案されるアルゴリズムの一実施例は、検知のステップと、フィッティングのステップと、計算のステップとを有する。この実施例について図３と図４を参照しながら説明する。

【0054】

検知のステップで、事前決定された目開の限界値を用いて潜在的なまばたき事象が検知される。

【0055】

このときまばたき事象が計器視線から区別される。計器視線は、運転者の眠気との関連性を有さない。したがって、計器視線は以後の過程で除外することができる。潜在的なまばたき事象は、状態マシンと３つの異なる限界値を用いて識別される。このとき上側の限界値、中間の限界値、下側の限界値が利用される。利用される３つすべての限界値（High, Mid, Low）は、目開レベル（ＥＯＮ）のパーセントの数値として定義することができる。たとえば上側の限界値（Ｈｉｇｈ）は常に目開レベルの１００％であり得る。中間の限界値（Ｍｉｄ）は、常に目開レベルの７０％であり得る。下側の限界値（Ｌｏｗ）は、常に目開レベルの２０％であり得る。したがって、それにより絶対的な値は運転者の現在の目開に依存して、所要の条件に合わせて順応的に適合化される。

【0056】

図３では、大きい振幅および小さい振幅を有するまばたき事象を認識するために、ならびに計器視線を認識するために提案される状態図が示されており、ここでは、たとえば自由にプログラミング可能なインストルメントクラスタ（ＦＰＫ）のような表示計器をタコメータと呼ぶ。目開信号（ＥＣ）がどのような最新の値を有するかに応じて、それぞれ異なる状態３００，３０２，３０４，３０６，３０８が区別される。

【0057】

小さい振幅を有するまばたき事象と計器視線とを区別するために、状態「Ｍｉｄｂｌｉｎｋ」ないし中間のまばたき事象について最大時間（Ｍａｘ＿Ｄｕｒ）が導入される。これはたとえば０．５ｓに設定することができる。

【0058】

状態３０８「Ｓａｖｅ」に達するとただちに、まばたき事象の生データが以後の処理のために保存される。そのために目開データが十分に広いスロット（たとえば最小の目開度を有する点を中心として＋−２ｓ）で切り取られて保存される。次いで、状態マシンは状態３００「Ｏｐｅｎ」へと直ちに戻る。

【0059】

図４は、１つの実施例に基づくまばたき事象の目開曲線４００の図面を示している。目開曲線４００は、横軸に時間、縦軸にまぶたの開きがプロットされたグラフとして示されている。目開曲線４００は、目開幅ないしまぶたの開きの個別値の推移の補間を表している。この推移は、図３に示すとおり、まばたき事象の終了の認識に対する反応として遡及的に保存されたものである。

【0060】

まばたき事象は、閉段階４０２と、閉止段階４０４と、開段階４０６とを有する。閉止段階４０４はプラトー段階４０４とも呼ぶことができる。閉段階４０２は、まばたき開始４０８からプラトー開始４１０にまで及ぶ。閉止段階４０４はプラトー開始４１０からプラトー終了４１２にまで及ぶ。開段階４０６は、プラトー終了４１２からまばたき終了４１４にまで及ぶ。目開曲線４００は閉止段階４０４の内部に局所的な最小値を有し、ないしは、まばたき事象中における最大の負の振幅４１６を有する。

【0061】

まばたき開始４０８の前、かつまばたき終了４１４の後に、目開曲線４００は最大値として、たとえば現下の光状況に依存して決まる、目開幅の現下の基準レベル１２６に達する。

【0062】

適用されるセンサがまだ不十分な精度またはフレームレートを有している場合には、図３で説明したように認識される潜在的なまばたき事象を次のステップで精緻化することができる。そのために、第１のステップで検知されたすべてのスロットについて、事前定義された曲線４１８によるフィッティングが実行される。この曲線４１８は、まばたき事象の理想的な推移を模倣したものである。

【0063】

フィッティングのステップで、使用される画像センサの低い画像反復周波数を補うために、これらのまばたき事象が事前定義された曲線４１８によりフィッティングされ、このことは、いわばセンサのフレームレートが引き上げられるかのように作用する。

【0064】

図４には、まばたき事象の理想化された推移４００が示されている。曲線４１８は、ここでは一例としてまばたき開始４０８の前には水平な直線の形態を有する。閉段階４０２で、曲線４１８は降下していくたとえば５次の曲線の形態を有する。プラトー段階４０４で、曲線４１８は水平な直線の形態を有する。開段階４０６で、曲線４１８は上昇していくたとえば５次の曲線の形態を有する。まばたき終了４１４の後、曲線４１８はたとえば水平な直線の形態を有する。

【0065】

このとき曲線４１８は、生じる全体曲線４００ならびにその一次微分が着目するスロット全体で連続する推移を有するという周辺条件のもとで、個別値の推移に合わせて適合化される。

【0066】

曲線４００の初期点と最終点は、ここでは前のステップで検知されたスロットの境界からもたらされる。その他の時点４０８，４１０，４１２，４１４は、フィッティングの最適化段階でもたらされる。すなわち個々の時間的領域について、曲線部分４０２，４０４，４０６のそれぞれ異なる係数がもたらされる。これらを一方では分析的に再処理することができ、あるいは、曲線４１８の任意に細かい補間を計算することもできる。すなわち、ここで説明している手法は補間によって、センサ信号のサンプルレートを引き上げることができる。

【0067】

フィッティングは、１つの実施例では、誤差関数が最低限に抑えられるように最適化される。その際に適しているのは、たとえば最低限になるべき、フィッティングされた曲線４１８と測定値の平方誤差の合計である。

【0068】

計算のステップで、フィッティングの品質を表す品質目安が計算される。

【0069】

先行するステップで計算された誤差関数は、その次の任意選択のステップで、妥当でない推移４００を有するまばたき事象を、すなわち理想的な推移に呼応しないまばたき事象を、以後の処理から除外するために利用することができる。そのために誤差関数の結果を事前に定義された限界値と比較することができる。固有のまばたき事象についてこれを上回っているとき、眠気を分類するための以後の計算ではもはや援用されない。

【0070】

図５は、１つの実施例に基づく、まばたき事象と計器視線を区別する方法５００のフローチャートを示している。本方法は、たとえば図１に示すような装置で実施することができる。方法５００は、判定のステップ５０２と決定のステップ５０４とを有している。

【0071】

判定のステップ５０２で、少なくとも１つのまばたき限界値を利用してまばたき事象が判定される。ここでまばたき事象が判定されるのは、目開幅の値を反映する開幅値がまばたき限界値よりも小さいときである。目開幅は、目のまぶたの間の最新に検出された間隔を表す。

【0072】

決定のステップ５０４で、最大まばたき時間を利用して計器視線が決定される。ここで計器視線が決定されるのは、認識されたまばたき事象が最大まばたき時間よりも長く続けて認識されたときである。

【0073】

１つの実施例では、計器視線の決定５０４に後続して開幅値が開限界値よりも大きいとき、本方法のステップ５０２，５０４があらためて実行される。

【0074】

１つの実施例が、第１の構成要件と第２の構成要件の間に「および／または」結合を含んでいるとき、このことは、その実施例が１つの実施形態では第１の構成要件と第２の構成要件を両方とも有し、別の実施形態では第１の構成要件か第２の構成要件のいずれかだけを有すると読解されるべきである。

【符号の説明】

【0075】

１００ 装置
１０２ まばたき事象
１０４ 計器視線
１０６ 目開幅
１１０ 目
１１２ 開幅値
１１６ まばたき限界値
１２０ 最大まばたき時間
１２２ 開限界値
１２６ 基準レベル
３０２ 中位まばたき事象
３０４ 低位まばたき事象
４００ 曲線
４１８ 事前設定された曲線形状
５００ 方法
５０２ 判定
５０４ 決定

【図1】

【図2】

【図3】

【図4】

【図5】