特許 6754368 車両のドライバの疲労状態及び／又は睡眠状態を判定するための装置によって実施される方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6754368

(24)【登録日】2020年8月25日

(45)【発行日】2020年9月9日

(54)【発明の名称】車両のドライバの疲労状態及び／又は睡眠状態を判定するための装置によって実施される方法

(51)【国際特許分類】

   A61B 5/18 20060101AFI20200831BHJP

   A61B 5/16 20060101ALI20200831BHJP

   A61B 5/11 20060101ALI20200831BHJP

【ＦＩ】

   A61B5/18

   A61B5/16 130

   A61B5/16 200

   A61B5/11ZDM

【請求項の数】13

【全頁数】12

(21)【出願番号】特願2017-547107(P2017-547107)

(86)(22)【出願日】2016年1月5日

(65)【公表番号】特表2018-511376(P2018-511376A)

(43)【公表日】2018年4月26日

(86)【国際出願番号】EP2016050039

(87)【国際公開番号】WO2016142074

(87)【国際公開日】20160915

【審査請求日】2017年9月7日

(31)【優先権主張番号】102015204247.2

(32)【優先日】2015年3月10日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100120112

【弁理士】

【氏名又は名称】中西 基晴

(74)【代理人】

【識別番号】100147991

【弁理士】

【氏名又は名称】鳥居 健一

(72)【発明者】

【氏名】ヴルフ，フェリックス

【審査官】 牧尾 尚能

(56)【参考文献】

【文献】 特開平１１−１４７４２８（ＪＰ，Ａ）

【文献】 特開２００８−０６５７７６（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００８／００６８１８７（ＵＳ，Ａ１）

【文献】 特開２０１１−１５２２１８（ＪＰ，Ａ）

【文献】 特開平１１−３３９２００（ＪＰ，Ａ）

【文献】 特開２００９−１１８９８９（ＪＰ，Ａ）

【文献】 特開２０１２−０８５６９１（ＪＰ，Ａ）

【文献】 特開２０１２−１３９５６２（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／０６− ５／２２

(57)【特許請求の範囲】

【請求項1】

車両（１００）のドライバ（１１５）の疲労状態及び／又は睡眠状態を判定するための装置によって実施される方法（４００）であって、
前記装置が、第１の開眼信号（２１０）及び第２の開眼信号（２２０）を読み取る読取ステップ（４１０）であって、検出された目蓋の位置によって開眼度が特定され、第１の開眼信号（２１０）が開眼度及び／又は開眼度から導かれた車両（１１０）のドライバ（１１５）の左目（１２５ａ）の信号を表し、第２の開眼信号（２２０）が開眼度及び／又は開眼度から導かれた車両（１００）のドライバ（１１５）の右目（１２５ｂ）の信号を表す、読取ステップ（４１０）と、
前記装置が、第１及び／又は第２の開眼信号（２１０，２２０）の有効性を判定する判定ステップ（４２０）であって、第１の開眼信号（２１０）が第１の基準に適合している場合には第１の開眼信号（２４５）を有効であると判定し、及び／又は第２の開眼信号（２２０）が第２の基準に適合している場合には第２の開眼信号（２５０）を有効であると判定し、前記第１及び／又は前記第２の開眼信号（２１０，２２０）及び／又は有効であると判定された前記第１及び／又は前記第２の開眼信号（２４５，２５０）が、所定の開眼度閾値よりも大きい開眼度を表す、判定ステップ（４２０）と、
前記装置が、有効であると判定された第１の開眼信号（２４５）及び／又は有効であると判定された第２の開眼信号（２５０）を使用して、前記車両（１００）のドライバ（１１５）の疲労状態及び／又は睡眠状態を決定する決定ステップ（４３０）と
を含み、
前記開眼度は、完全に開かれた目蓋と完全に閉じられた目蓋との間の、目の目蓋の閉じ具合を含み、
前記開眼信号は、開眼度から導かれる信号を表し、目の開眼速度又は開眼加速度のうちの少なくとも１つを含む、方法（４００）。

【請求項2】

請求項１に記載の方法（４００）において、
有効であると判定された前記第１及び前記第２の開眼信号（２４５，２５０）の間の差が所定の閾値よりも大きい場合には、有効であると判定された前記第１及び前記第２の開眼信号（２４５，２５０）のうちのいずれか一方が、ドライバ（１１５）の疲労状態及び／又は睡眠状態を決定するために使用されない方法。

【請求項3】

請求項１又は２に記載の方法（４００）において、
前記判定ステップ（４２０）で、前記左目（１２５ａ）及び／又は前記右目（１２５ｂ）の開眼速度を表す値が、所定の開眼速度閾値を超えない値を示した場合には、前記第１及び／又は前記第２の開眼信号（２１０，２２０）が有効であると判定する方法（４００）。

【請求項4】

請求項１から３までのいずれか一項に記載の方法（４００）において、
前記読取ステップ（４１０）で、さらに前記車両（１００）の前記ドライバ（１１５）の頭部の頭部動作速度を読み取り、前記判定ステップ（４２０）で、頭部動作速度が、最大でも所定の頭部動作速度閾値に対応する値を示した場合には、前記第１及び／又は前記第２の開眼信号（２１０，２２０）が有効であると判定する方法。

【請求項5】

請求項１から４までのいずれか一項に記載の方法（４００）において、
前記読取ステップ（４１０）で、前記車両（１００）の前記ドライバ（１１５）の顔の向きを読み取り、前記判定ステップ（４２０）で、この向きが、所定の向き角度範囲内の値を示す場合には前記第１及び／又は前記第２の開眼信号（２１０，２２０）が有効であると判定する方法（４００）。

【請求項6】

請求項１から５までのいずれか一項に記載の方法（４００）において、
前記決定ステップ（４３０）で、有効であると判定された前記第１及び／又は前記第２の開眼信号（２４５，２５０）を使用して総合的な開眼信号を決定し、前記車両（１００）の前記ドライバ（１１５）の疲労状態及び／又は睡眠状態を総合的な開眼信号に基づいて決定する方法（４００）。

【請求項7】

請求項１から６までのいずれか一項に記載の方法（４００）において、
前記決定ステップ（４３０）で、有効であると判定されなかった前記車両（１００）の前記ドライバ（１１５）の疲労状態及び／又は睡眠状態を決定するための前記開眼信号（２４５，２５０）を放棄し、及び／又は前記ドライバ（１１５）の疲労状態及び／又は睡眠状態を決定するために、有効であると判定された前記第１の開眼信号（２４５）及び有効であると判定された前記第２の開眼信号（２５０）の平均値をとる方法（４００）。

【請求項8】

請求項１から７までのいずれか一項に記載の方法（４００）において、
前記決定ステップ（４３０）で、前記第１及び／又は前記第２開眼信号（２１０，２２０）及び／又は有効であると判定された第１及び／又は第２の開眼信号（２４５，２５０）が有効であると判定されない時間にわたって、第１及び／又は第２の開眼信号（２１０，２２０）及び／又は有効であると判定された前記第１及び／又は前記第２の開眼信号（２４５，２５０）の補間を行う方法（４００）。

【請求項9】

請求項１から８までのいずれか一項に記載の方法（４００）において、
前記決定ステップ（４３０）で、有効であると判定された前記車両（１００）の前記ドライバ（１１５）の疲労状態及び／又は睡眠状態を決定する（４３０）ための前記第１及び／又は前記第２の開眼信号（２４５，２５０）の期間が所定の継続時間閾値よりも短い場合には、この期間を放棄する方法（４００）。

【請求項10】

請求項１から９までのいずれか一項に記載の方法（４００）において、
前記決定ステップ（４３０）で、有効であると判定された前記第１及び／又は前記第２の開眼信号（２４５，２５０）及び／又は総合的な開眼信号を平滑化する方法（４００）。

【請求項11】

請求項１から１０までのいずれか一項に記載の方法（４００）の全てのステップを、対応するユニット（２１５，２３０，２４０）で実施、実行、及び／又は制御するように構成された装置（１１０）。

【請求項12】

請求項１から１０までのいずれか一項に記載の方法（４００）の全てのステップを実施、実行、及び／又は制御するように構成されたコンピュータプログラム。

【請求項13】

請求項１２に記載のコンピュータプログラムが記憶された機械読取可能な記憶媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両のドライバの疲労状態及び／又は睡眠状態を判定する方法、適宜な装置、及び適宜なコンピュータプログラムに関する。

【背景技術】

【0002】

運転中の眠気又は一瞬の居眠りは、しばしば危険な状況又は事故を引き起こす。ドライバが所定の眠気限界値を超えた場合（＝コーヒーカップシンボル）に、眠気判定器は警告を発信する。

【0003】

しかしながら、このような警告はドライバによって無視される場合がある。一瞬の居眠りは、多くの居眠り運転防止装置では個別の危険として判定されず、したがって、早期の警告が行われない。

【0004】

眠気判定システムは、ドライバの動作から間接的にドライバの疲労を推定する。一瞬の居眠りは危険の源として個別に考慮されない。

【0005】

同様に、ビデオカメラのデータに基づいて現在の開眼度を判定できるシステム（例えばＳｍａｒｔＥｙｅ，Ｆａｃｅｌａｂなど）が既知である。このような判定は、適切な画像処理アルゴリズムによって行われる。この場合、それぞれ両目について開眼レベルが検出される。

【発明の概要】

【0006】

このような背景技術に基づいて、ここで説明するアプローチでは、独立請求項に記載の車両のドライバの疲労状態及び／又は睡眠状態を判定する方法、さらにこの方法を使用した装置、及び最後に適切なコンピュータプログラムを説明する。好ましい実施形態がそれぞれの従属請求項及び次の説明により明らかになる。

【0007】

ここで説明するアプローチでは、車両のドライバの疲労状態及び／又は睡眠状態を判定する方法が得られ、この方法は次のステップ：
第１の開眼信号及び第２の開眼信号を読み取る読取ステップであって、第１の開眼信号は開眼度及び／又は開眼度から導かれた車両のドライバの左目の信号を表し、第２の開眼信号は開眼度及び／又は開眼度から導かれた車両のドライバの右目の信号を表すステップ；
第１及び／又は第２の開眼信号の有効性を判定する判定ステップであって、第１の開眼信号が第１の基準に適合している場合には第１の開眼信号を有効であると判定し、及び／又は第２の開眼信号が第２の基準に適合している場合には第２の開眼信号を有効であると判定する判定ステップ；及び
有効であると判定された第１の開眼信号及び／又は有効であると判定された第２の開眼信号を使用して、車両のドライバの疲労及び／又は睡眠状態を決定する決定ステップを含む。

【0008】

開眼度は、例えば目蓋が目を何パーセント覆っているか、又は上目蓋と下目蓋との相互の絶対間隔を表す値として理解することができる。開眼度から導かれる信号は、例えば開眼速度、すなわち、目蓋の動きの速度、又は開眼加速度、すなわち、目蓋の動きの加速度として理解することができる。例えば、この信号は、目蓋の動きの第１及び第２導関数によって特定することができる。さらに第１及び／又は第２の開眼信号には、当該開眼信号が有効であることを特徴づける属性を割り当てることができる。有効であることを特徴づけるこのような開眼信号は、対応する基準を満たす。車両のドライバの疲労状態及び／又は睡眠状態を決定する場合には、有効であると判定された第１及び第２の開眼信号が使用される。

【0009】

ここで提案したアプローチは、信ぴょう性のある第１及び／又は第２の開眼信号がこのような判定のために使用された場合には、ドライバの疲労状態及び／又は睡眠状態を極めて確実な判定が可能であるという認識に基づいている。これにより、目又は目蓋のパラメータを判定する場合に測定エラーによってドライバの疲労状態及び／又は睡眠状態について誤った値が特定されることを回避するか、又は少なくともほぼ防止することができる。したがって、ここで提案したアプローチは、ドライバの疲労状態及び／又は睡眠状態の確実で信頼性のある判定がなされるという利点を提供し、これにより、ドライバに対する誤った、又は間違った警告を抑制することができる。これにより、ドライバの疲労判定もしくは睡眠判定のドライバによる受容度が著しく高められ、適切な警告がドライバによって深刻に受け止められる確率が大きくなる。

【0010】

好ましくは、さらにここで説明するアプローチの一実施形態では、判定ステップで、左目及び／又は右目の開眼速度を表す値が、最大で所定の開眼速度閾値に相当する値を示した場合には、第１及び／又は第２の開眼信号が有効であると判定される。ここで説明するアプローチのこのような実施形態により、開眼度を判定するためのカメラが振動した場合には、目蓋の実際の動きによってではなく、カメラの急速な振動によって引き起こされた目蓋の急速な動きが判定されるが、しかしながら、開眼速度閾値との比較により、このような急速な動きが目の部分の自然な動きであるはずがないと判定することができるという利点が得られる。これにより、目の動きもしくは目の部分の動きの判定の確実性が著しく高められ、これにより、それぞれの疲労判定又は睡眠判定時のエラー発生率が減じられる。

【0011】

さらに好ましくは、ここで説明するアプローチの一実施形態では、読取ステップで、さらに車両のドライバの頭部の頭部動作速度が読み取られ、判定ステップで、頭部動作速度が最大でも所定の頭部動作速度閾値に相当する値を示した場合には、第１及び／又は第２開眼信号が有効であると判定される。ここで説明するアプローチのこのような実施形態は、例えば、運転時には平坦ではない地形ではドライバの頭部は強く揺れ、これにより、実際の開眼度の判定が誤っている場合があるという認識に基づいている。頭部動作速度が最大で所定の閾値に到達した場合に開眼信号が有効であると判定されることにより、ドライバの疲労状態もしくは睡眠状態を決定する場合に頭部の強い揺れによって開眼信号が誤った値を示すことを防止することができる。

【0012】

好ましくは、さらにここで説明するアプローチの一実施形態では、読取りステップで、さらに車両のドライバの顔の向きが読み取られ、判定ステップで、この向きが、所定の向き角度範囲内の値を示す場合には、第１及び／又は第２の開眼信号が有効であると判定される。ここで説明するアプローチのこのような実施形態により、頭部の著しい回転により開眼度の判定時に起こり得るエラーを判定することができ、これにより、車両のドライバの疲労判定もしくは睡眠判定のために、このように頭部が著しく回転された時点の開眼信号はできるだけ使用されないという利点が得られる。

【0013】

ここで説明するアプローチの別の実施形態にしたがって、決定ステップで、有効であると判定された第１及び／又は第２の開眼信号を使用して総合的な開眼信号が決定され、車両のドライバの疲労状態及び／又は睡眠状態が総合的な開眼信号に基づいて決定された場合には、ドライバの疲労状態もしくは睡眠状態を特に信頼性良く判定することができる。ここで説明するアプローチのこのような実施形態により、第１の目の開眼度の判定時の小さいエラーを第２の目の開眼度の判定によって補正することができるという利点が得られる。第１及び第２開眼信号の間の差が所定の閾値よりも大きい場合には、いずれか１つの開眼信号をドライバの疲労状態及び／又は睡眠状態を決定するために全く使用しないことも可能である。なぜなら、解剖学的な理由からほとんどの人においては起こりえないこのような場合には、目の開眼度が誤って測定されていると仮定すべきだからである。

【0014】

ここで説明するアプローチの別の実施形態によれば、決定ステップで、有効であると判定されなかった車両のドライバの疲労状態及び／又は睡眠状態を決定するための開眼信号は放棄することができ、及び／又はドライバの疲労状態及び／又は睡眠状態を決定するために、有効であると判定された第１の開眼信号及び有効であると判定された第２の開眼信号の平均値がとられる。ここで説明したアプローチのこのような実施形態により、確実に、同時に技術的に極めて簡単に、したがって安価に、開眼度又は開眼度から導かれた信号を決定することが可能となり、ひいては車両のドライバの疲労状態及び／又は睡眠状態を簡単に判定することが可能となるという利点が得られる。

【0015】

さらに、ここで説明するアプローチの一実施形態では、第１及び／又は第２開眼信号が有効であると判定されない時間にわたって第１及び／又は第２開眼信号の補間を行うことも可能である。ここで提案されるアプローチのこのような実施形態によっても、片目又は両目のための開眼度又は開眼度から導かれた信号を判定するために技術的に簡単に実行でき、同時に確実な態様の利点が得られる。

【0016】

さらに有利には、ここで提案するアプローチの一実施形態では、決定ステップで、有効であると判定された車両のドライバの疲労状態及び／又は睡眠状態を決定するための第１及び／又は第２の開眼信号の期間が、所定の継続時間閾値よりも短い場合にはこの期間は放棄される。ここで紹介するアプローチの一実施形態は、特に信頼性が高く、開眼信号の期間が所定の継続時間閾値よりも長い場合には、開眼信号のこの期間は車両のドライバの疲労状態及び／又は睡眠状態を判定するために使用される。したがって、短時間の測定エラーにより誤った警告がドライバにもたらされ、ドライバによるこのような警告の受容度が将来的に低下しないことが確保される。

【0017】

車両のドライバの疲労状態及び／又は睡眠状態を決定する場合に開眼度の短時間の測定エラーをできるだけ良好に補正することができるように、ここで説明するアプローチの別の実施形態によれば、決定ステップにおいても、有効であると判定された第１及び／又は第２の開眼信号及び／又は総合的な開眼信号を平滑化することができる。

【0018】

さらにここで説明するアプローチの一実施形態では、判定ステップで、第１及び／又は第２の開眼信号が、所定の開眼度閾値よりも大きい開眼度を表すことも可能である。このような実施形態も疲労状態及び／又は睡眠状態の極めて確実な判定を可能にする。なぜなら、生理学的な状態に基づいて、短期間に環境にも気づくことができる程度には、目は少なくとも一時的に開かれているからである。したがって、開眼度が常に開眼度閾値未満である可能性は生理学的にみて低く、測定エラーであるとみなすことができ、これにより、このような信号は、ドライバの疲労状態及び／又は睡眠状態を決定するために考慮する必要はない。

【0019】

さらにここで説明するアプローチでは、車両のドライバの疲労状態及び／又は睡眠状態を判定するための装置が得られ、この装置は次の特徴：
第１の開眼信号及び第２の開眼信号を読み取るためのインタフェースであって、第１の開眼信号が開眼度及び／又は開眼度から導かれた車両のドライバの左目の信号を表し、第２の開眼信号は開眼度及び／又は開眼度から導かれた車両のドライバの右目の信号を表すインタフェース；
第１及び／又は第２の開眼信号の有効性を判定するためのユニットであって、第１の開眼信号が第１の基準に適合している場合に第１の開眼信号を有効であると判定し、及び／又は第２の開眼信号が第２の基準に適合している場合に第２の開眼信号を有効であると判定するユニット；及び
有効であると判定された第１の開眼信号及び／又は有効であると判定された第２の開眼信号を使用して、車両のドライバの疲労状態及び／又は睡眠状態を決定するためのユニットを備える。

【0020】

したがって、ここで説明するアプローチでは、ここで説明する方法の態様のステップを対応する手段で実行、制御もしくは変更するように構成された装置が得られる。装置の形式の本発明のこのような実施形態によって本発明の基礎をなす課題を迅速かつ効率的に解決することもできる。

【0021】

装置とは、この場合、センサ信号を処理し、センサ信号に応じて制御信号及び／又はデータ信号を出力する電気機器として理解することができる。装置は、ハードウェア及び／又はソフトウェアとして形成することのできるインタフェースを備えていてもよい。ハードウェアとして形成されている場合には、インタフェースは、例えば、装置の種々異なる機能を含む、いわゆる「システムＡＳＩＣ」の一部であってもよい。しかしながら、インタフェースは、固有の集積回路であるか、又は少なくとも部分的に個別の構成要素からなっていることも可能である。ソフトウェアとして構成されている場合には、インタフェースは、例えば、他のソフトウェアモジュールと共にマイクロコントローラに設けられているソフトウェアモジュールであってもよい。

【0022】

コンピュータプログラム製品、又はプログラムコードを備えるコンピュータプログラムも有利であり、プログラムコードは、機械読取可能な担体又はメモリ媒体、例えば半導体メモリ、ハードディスクメモリ、又は光学メモリなどに保存されていてもよく、特にプログラム製品又はプログラムがコンピュータ又は装置で実施される場合に上記いずれかの実施形態にしたがって方法のステップを実施、実行及び／又は制御するために使用される。

【0023】

ここで説明したアプローチを添付の図面に基づいて以下に詳細に説明する。

【図面の簡単な説明】

【0024】

【図1】車両のドライバの疲労状態及び／又は睡眠状態を判定するための装置の実施例を示す車両のブロック図である。

【図2】本発明の実施例にしたがって車両のドライバの疲労状態及び／又は睡眠状態を判定するための装置によって車両のドライバの疲労状態又は睡眠状態を判定するためのシステムを示すブロック図である。

【図3】車両のドライバの疲労状態又は睡眠状態を判定するためのシステムを示す詳細なブロック図である。

【図4】本発明の実施例による方法のフロー図である。

【発明を実施するための形態】

【0025】

以下の本発明の好ましい実施例の説明では、様々な図面に示した同様に作用する要素については同じか、又は類似の符号を使用し、これらの要素については繰り返し説明しない。

【0026】

図１は、車両１００のドライバ１１５の疲労状態及び／又は睡眠状態を判定するための装置１１０の実施例を示す車両１００のブロック図を示す。この場合、装置１１０はカメラ１２０に接続されており、このカメラは、ドライバ１１５の目１２５、特に左及び／又は右の目１２５の目蓋１３０の位置を検出し、この位置からそれぞれの目１２５の開眼度を特定する。

【0027】

図２は、車両のドライバ１１５の疲労状態又は睡眠状態を判定するためのシステム２００のブロック回路図を示す。このシステムは、車両のドライバ１１５の疲労状態及び／又は睡眠状態を判定するための装置１１０を備える。この場合、開眼度又は開眼度から導かれた左目１２５ａの信号を表す第１の開眼信号２１０が読取のためにカメラ１２０からインタフェース２１５へ送信される。この場合、開眼度は、完全に開かれた目蓋１３０と完全に閉じられた目蓋１３０との間の左目１２５ａの目蓋１３０の閉じ具合を表してもよい。例えば、カメラ１２０によって目蓋１３０の位置の経時変化が検出され、適切に識別される場合には、例えば、第１の開眼信号２１０は開眼度から導かれた信号、例えば左目１２５ａの開眼速度又は開眼加速度を表してもよい。

【0028】

第１の開眼信号２１０と同様に、しかしながら、開眼度又は開眼度から導かれた右目１２５ｂの信号を表す第２の開眼信号２２０が、同様に読取のためにカメラ１２０からインタフェース２１５へ伝達される。この場合に開眼度は、同様に完全に開かれた目蓋１３０と完全に閉じられた目蓋１３０との間の右目１２５ｂの目蓋１３０の閉じ具合を表してもよい。例えば、カメラ１２０によって目蓋１３０の位置の経時変化が検出され、適切に識別される場合に、例えば、第２の開眼信号２２０は同様に開眼度から導かれた信号、例えば、右目１２５Ｂｂの開眼速度又は開眼加速度を表してもよい。

【0029】

ドライバ１１５の疲労状態及び／又は睡眠状態を判定するための装置１１０は、さらに判定ユニット２３０を備え、この判定ユニットにはインタフェース２１５から、それぞれに読み取られた第１の開眼信号２１０及び第２の開眼信号２２０が伝達される。判定ユニット２３０では、以下にさらに詳述する第１基準に適合する場合には、第１の開眼信号２１０が有効であると判定される。この場合、有効であると判定された第１の開眼信号２４５が決定ユニット２４０に伝達される。判定ユニット２３０では、同様に以下にさらに詳述する第２基準に適合する場合には、さらに第２の開眼信号２２０が有効であると判定される。この場合、決定ユニット２４０に、有効であると判定された第２の開眼信号２５０が伝達される。

【0030】

この場合、第１基準は第２基準と同一であってもよい。しかしながら、例えば左目及び右目のために異なる解剖学的な条件がある場合には、第１基準は第２基準と異なっていることも可能である。

【0031】

決定ユニット２４０によって、有効であると判定された第１の開眼信号２４５及び／又は有効であると判定された第２の開眼信号２５０を使用して、車両１００のドライバ１１５の疲労状態及び／又は睡眠状態が決定され、適切な信号２６０が出力される。この信号２６０は、ドライバ１１５の疲労状態及び／又は睡眠状態を表し、例えば車両１００において警告を出力するために使用することができる。

【0032】

ここで説明したアプローチは、疲労判定システム及び一瞬の居眠り判定システムにおける開眼レベルの判定率の改善をもたらす。走行中には両方の目１２５が（互いに別々にではなく）一緒にしか動かないと仮定して、本発明の課題は、システム安定性及び開眼レベル及び判定率を改善することである。

【0033】

この場合、左目１２５ａ及び右目１２５ｂの個々の信号を用いて、共通の開眼レベル及び必要に応じて他のパラメータが計算される。閉眼前処理（ＥＣＰ）と呼ぶこともできるここで説明したアプローチは、図３のブロック図に詳細に示すように、眠気及び／又は一瞬の居眠りを判定するための総合的なシステムに組み入れられる。

【0034】

図３は、車両のドライバ１１５の疲労状態又は眠気状態を判定するためのシステム２００の詳細なブロック図を示す。この場合、まずユニット３１０で閉眼前処理（ＥＣＰ）が実施され、例えば左目及び右目の開眼度が読み取られ、適切な出力信号、例えばローパスフィルタ処理された開眼度、開眼加速度、開眼速度及び／又は当該開眼信号の有効性が判定される。図３のユニット３１０は、図２の装置１１０のユニット２１５及び２３０に対応している。

【0035】

決定ユニット２４０の第１態様では、マイクロ睡眠判定を行うことができ、ユニット３１０から供給された信号に基づいて、実際にドライバ１１５のマイクロ睡眠特性が生じているかどうかが判定され、第１部分信号２６０ａとして出力される。

【0036】

決定ユニット２４０の第２態様では、ドライバ１１５の疲労分類を行うことができる。このために、ドライバの疲労の分類が行われ、第２部分信号２６０ｂにより適切な情報が出力される。

【0037】

図２に関連して、第１及び第２の開眼信号が有効であると判定するために使用されることが望ましい第１及び第２基準を既に挙げた。次に、このような基準として使用することができる幾つかの可能性を示す。この場合、簡単に説明するために、第１及び／又は第２基準として判定ユニット２３０で使用できる基準のみを説明する。判定ユニット２３０の異なる実施例では第１及び第２基準のために異なる態様を使用できることをあらかじめ指摘しておく。しかしながら、第１及び第２基準のために同一の基準が使用されることも可能である。

【0038】

（例えば右目及び左目についてそれぞれ別々に）第１基準及び／又は第２基準として次の有効基準を評価することができる。これらの基準は、得られた製品でそれぞれ一緒に使用してもよいし、又は別々に使用してもよい：
有効性：信号（ここではそれぞれの開眼信号２１０もしくは２２０）が有効であることが望ましい。
品質：画像処理（ここではカメラ２１０もしくは判定ユニット２３０）によって報告されたそれぞれの目の判定のための品質信号２１０，２２０，２４５もしくは２５０が、所定の限界値を超える開眼度（例えば＞０．２）を表す。
開眼速度：いくつかの場合には、画像で検出された目蓋１３０は２つの状態の間を飛躍する。この動作は、（開眼信号２１０もしくは２２０において）比較的簡単に信号値の飛躍によって判定することができる。この場合、得られた適切な眼の速度は、生理学的な最大限の目蓋速度よりも大きい。したがって、このような目蓋速度が所定の限界値を超えた場合にはすぐに、それぞれの目の開眼度もしくは開眼信号の対応する範囲は無効であるとしてマークされる。あるいは、目蓋速度が所定の限界値未満となった場合には、それぞれの目の開眼度もしくは開眼信号の対応する範囲は有効としてマークされる。
頭部姿勢：得られた閉眼信号もしくは開眼信号２１０もしくは２２０は、所定の頭部姿勢の範囲内でのみ（例えば右方向又は左方向へ４５°未満の頭部回転）使用可能である。頭部姿勢は、ドライバ１１５の顔の向きに基づいて判定することができ、所定の（角度）範囲を無効もしくは有効としてマークすることができる。
頭部速度：頭部動作のダイナミクスが大きい場合（例えば路面凹部が多数ある車道の走行時）には、画像処理により開眼信号２１０もしくは２２０は十分に良好にドライバ１１５の目１２５の実際の位置を追跡できない場合があり、開眼度を評価する場合に車両１００の評価ユニットによる目の範囲の追跡が十分に迅速に行われないことに起因して誤った結果が生じる可能性がある。この場合、頭部の速度のための限界値を使用することが提案される。頭部の速度が所定の限界値未満となった場合には、開眼信号の対応する範囲が無効としてマークされるか、あるいは反対に開眼信号において（例えば時間的な）ドライバ１１５の頭部の動作速度が限界値よりも小さい範囲が有効であると判定される。

【0039】

さらに、両方の目の有効な開眼信号を１つの（総合的な）信号として結びつけることもできる。次いで、得られた（総合的な）開眼信号は、左目及び右目の開眼信号の有効性に応じて、例えば次のように決定することができる：
両方の（開眼）信号が有効な場合には、（場合によっては重み付けされた）平均値が形成される。重み付け係数として、この場合、例えば画像処理の品質信号が提案される。このために、開眼信号の値の信頼性及び有効性の度合いを表し、平均値を形成する場合に重み付のために使用することができる品質パラメータを、有効であると判定された第１及び／第２の開眼信号に割り当てることができる。
１つの（開眼）信号のみが有効である場合（右目又は左目）、この（開眼）信号（のみ）が使用される。
（開眼）信号が有効ではない場合には、決定ユニット２４０のために得られた平均閉眼信号もしくは対応する単一の入力信号もしくは対応する複数の入力信号２４５もしくは２５０は、無効又は有効ではないと表示される。

【0040】

このように計算された総合的な信号及び／又はそれぞれの開眼信号２１０もしくは２２０及び／又は有効であると判定されたそれぞれの開眼信号２４５もしくは２５０について、次のさらなる処理ステップが考慮される：
短い無効範囲（例えばｔ＿無効＜５０ｍｓ）の補間。
短い有効範囲（例えばｔ＿有効＜１．５ｓ）の除去。
（例えばサビツキー‐ゴーレイ・フィルタによる）信号の平滑化。

【0041】

計算及び平滑化した開眼度によって、前処理の範囲で他の信号を計算することができる：
開眼信号の導関数及び／又は開眼度の経時変化の導関数により目蓋１３０の速度を計算し、
速度信号の導関数及び／又は開眼度の経時変化の導関数（特に二次導関数）により目蓋１３０の加速度を計算し、
例えば、サビツキー‐ゴーレイ・フィルタを用いて現在の開眼レベル（＝新たな瞬きを考慮しない開眼）を計算することができる。

【0042】

このようにして計算された信号２４５もしくは２５０は、一瞬の居眠り及び眠気を判定するために使用することができる。

【0043】

図４は、車両のドライバの疲労状態及び又は睡眠状態を判定する方法４００のフロー図を示す。この方法４００は、第１の開眼信号及び第２の開眼信号を読み取るステップ４１０を含み、第１の開眼信号は開眼度及び／又は開眼度から導かれた車両のドライバの左目の信号を表し、第２の開眼信号は開眼度及び／又は開眼度から導かれた車両のドライバの右目の信号を表す。さらに、方法４００は第１及び／又は第２の開眼信号の有効性を判定するステップ４２０を含み、第１の開眼信号が第１の基準に適合している場合には第１の開眼信号を有効であると判定し、及び／又は第２の開眼信号が第２の基準に適合している場合には第２の開眼信号を有効であると判定する。最後に方法４００は、有効であると判定された第１の開眼信号及び／又は有効であると判定された第２の開眼信号を使用して、車両のドライバの疲労状態及び／又は睡眠状態を決定するステップ４３０を含む。

【0044】

図面に示し、説明した実施例は例示的にのみ選択されている。様々な実施例を完全に、又は個々の特徴に関して相互に組み合わせることができる。１つの実施例を他の実施例の特徴によって補足することもできる。

【0045】

さらに、ここで説明した方法ステップは繰り返してもよいし、上記順序とは異なる順序で実施してもよい。

【0046】

実施例が、第１の特徴及び第２の特徴の間に「及び／又は」の接続詞を含む場合には、この実施例は、ある実施形態では第１の特徴及び第２の特徴の両方を備えており、別の実施形態では第１の特徴のみ、又は第２の特徴のみを備えていると読み取られるべきである。

【図1】

【図2】

【図3】

【図4】