特許 6754228 目の開度のための参照レベルを供給する方法および装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6754228

(24)【登録日】2020年8月25日

(45)【発行日】2020年9月9日

(54)【発明の名称】目の開度のための参照レベルを供給する方法および装置

(51)【国際特許分類】

   A61B 3/113 20060101AFI20200831BHJP

   A61B 5/16 20060101ALI20200831BHJP

   A61B 5/18 20060101ALI20200831BHJP

   G08G 1/16 20060101ALI20200831BHJP

   B60W 40/08 20120101ALI20200831BHJP

【ＦＩ】

   A61B3/113ZDM

   A61B5/16 130

   A61B5/18

   G08G1/16 F

   B60W40/08

【請求項の数】11

【外国語出願】

【全頁数】11

(21)【出願番号】特願2016-122284(P2016-122284)

(22)【出願日】2016年6月21日

(65)【公開番号】特開2017-6675(P2017-6675A)

(43)【公開日】2017年1月12日

【審査請求日】2019年6月13日

(31)【優先権主張番号】10 2015 211 443.0

(32)【優先日】2015年6月22日

(33)【優先権主張国】DE

(73)【特許権者】

【識別番号】591245473

【氏名又は名称】ロベルト・ボッシュ・ゲゼルシャフト・ミト・ベシュレンクテル・ハフツング

【氏名又は名称原語表記】ＲＯＢＥＲＴ ＢＯＳＣＨ ＧＭＢＨ

(74)【代理人】

【識別番号】100140109

【弁理士】

【氏名又は名称】小野 新次郎

(74)【代理人】

【識別番号】100075270

【弁理士】

【氏名又は名称】小林 泰

(74)【代理人】

【識別番号】100118902

【弁理士】

【氏名又は名称】山本 修

(74)【代理人】

【識別番号】100101373

【弁理士】

【氏名又は名称】竹内 茂雄

(74)【代理人】

【識別番号】100196508

【弁理士】

【氏名又は名称】松尾 淳一

(72)【発明者】

【氏名】フェリックス・ヴルフ

【審査官】 佐藤 高之

(56)【参考文献】

【文献】 特開２０１４−０７１５１９（ＪＰ，Ａ）

【文献】 特開２０１０−１３４４９０（ＪＰ，Ａ）

【文献】 特開２００４−０８９２７２（ＪＰ，Ａ）

【文献】 米国特許出願公開第２００６／０２０４０４２（ＵＳ，Ａ１）

【文献】 特開２００８−２１０２８５（ＪＰ，Ａ）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ３／００−５／２２

(57)【特許請求の範囲】

【請求項1】

目の開度（１０４）のための参照レベル（１０２）を供給する方法（４００）において、
目の開度（１０４）が目（１０８）の目蓋の間で検出された最新の間隔を表し、
方法（４００）により、閾値（１１４）よりも小さい目の開度（１０４）の値以外の目の開度（１０４）の値を使用して参照レベル（１０２）を検出する検出ステップ（４０２）を含む方法（４００）。

【請求項2】

請求項１に記載の方法（４００）において、
さらに検出ステップ（４０２）で、前記閾値（１１４）よりも小さい目の開度（１０４）の値を代替する補間値（１２２）を使用して、前記参照レベル（１０２）を検出する、方法（４００）。

【請求項3】

請求項１または２に記載の方法（４００）において、
前記参照レベル（１０２）を使用して前記閾値（１１４）を更新および／または変更する調整ステップ（４０６）を含む、方法（４００）。

【請求項4】

請求項１〜３のいずれか一項に記載の方法（４００）において、
前記目の開度（１０４）の値の移動平均値を使用して、前記閾値（１１４）を更新および／または変更する調整ステップ（４０６）を含む、方法（４００）。

【請求項5】

請求項２を引用する請求項３または４に記載の方法（４００）において、
さらに前記調整ステップ（４０６）で、前記閾値（１１４）よりも小さい前記目の開度（１０４）の値を代替する補間値（１２２）を更新および／または補間する、方法（４００）。

【請求項6】

請求項１〜５のいずれか一項に記載の方法（４００）において、
検出ステップ（４０２）で、さらに速度閾値を使用して前記参照レベル（１０２）を検出し、
目蓋速度が速度閾値よりも小さい場合に前記閾値（１１４）よりも大きい前記目の開度（１０４）の値を使用する、方法（４００）。

【請求項7】

請求項１〜６のいずれか一項に記載の方法（４００）において、
検出ステップ（４０２）で、前記参照レベル（１０２）を参照波形として検出し、
前記目の開度（１０４）の値が前記閾値（１１４）よりも大きい範囲で目の開度（１０４）の経時変化を使用する、方法（４００）。

【請求項8】

請求項７に記載の方法（４００）において、
前記検出ステップ（４０２）で前記目の開度（１０４）の値を平滑化する、方法（４００）。

【請求項9】

請求項１〜８のいずれか一項に記載の方法（４００）を実施するように構成された装置（１００）。

【請求項10】

請求項１〜８のいずれか一項に記載の方法（４００）を実施するように構成されたコンピュータプログラム。

【請求項11】

請求項１０に記載のコンピュータプログラムが保存された機械読取可能なメモリ媒体。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、独立請求項の前提部分に記載の装置または方法に関する。本発明はコンピュータプログラムにも関する。

【背景技術】

【0002】

車両のドライバの眠気は、ドライバの運転動作から間接的に推定することができる。

【0003】

これに対して代替的に、国際公開第２０１４０３１０４２号は、目の開放を示す信号を、模範となる所定の信号にあてはめ、瞬きを検出し、ドライバの覚醒度を推論することを記載している。

【先行技術文献】

【特許文献】

【0004】

【特許文献1】国際公開第２０１４０３１０４２号

【発明の概要】

【0005】

このような背景技術に基づいてここで説明するアプローチでは、独立請求項にしたがって目の開度のための参照レベルを供給する方法、さらにこの方法を用いた装置、最後に、対応するコンピュータプログラムを説明する。従属請求項に記載の手段により、独立請求項に記載の装置の有利な構成および改良が可能である。

【0006】

ドライバの眠気を評価するためには目の開度の参照値が必要である。なぜなら、目を開いているフェーズにおける目の開度は、例えば光の条件に基づいて変化するからである。評価可能な参照値を得るために、目を閉じているフェーズは参照値の計算から除外される。これらのフェーズを考慮すると、参照値が低すぎる値をとることがある。

【0007】

目の開度のための参照レベルを供給する方法を説明する。目の開度は目蓋の間で検出された最新の間隔を表し、この方法は、目の開度が閾値よりも大きい場合の目の開度の値を使用して参照レベルを検出する検出ステップを含む。

【0008】

参照レベルは、定義可能な時間ウィンドウ内で、変動する値から得られた平均値として理解することができる。目の開度が閾値よりも小さい場合の目の開度の値は考慮しなくてもよい。

【0009】

この方法は、例えばソフトウェアまたはハードウェア、あるいはソフトウェアおよびハードウェアの混合形式で、例えば制御器において実行してもよい。

【0010】

さらに補間値を使用して参照レベルを検出してもよい。補間値は、閾値よりも小さい目の開度の値を代替してもよい。閾値よりも小さい目の開度の値は破棄してもよい。補間値は、目の開度の値の時系列において、破棄された目の開度の値により生じたギャップを埋めることができる。補間値によって、参照レベル計算を簡略化することができる。

【0011】

方法は、参照レベルを使用して、さらに代替的または補足的に目の開度の値の移動平均値を使用して、閾値が更新および／または変更される調整ステップまたは変更ステップを含んでいてもよい。調整は、一般的な変更として構成してもよい。更新は、ここでは目の開度または参照レベルにおける先行する値の関数として閾値を変更することと理解することができる。この場合、特に目の開度または参照レベルにおける時間的に先行する値の上昇は、閾値の上昇をもたらす場合がある。例えば、閾値は参照レベルの百分率値であってもよい。したがって、閾値は、固定された百分率分だけ参照レベル未満となり、閾値を超えた目の開度の値はもはや考慮されない。参照レベルよりも短い時間にわたって移動平均値を決定することができる。この時間は、予想される瞬き持続時間より長くてもよい。

【0012】

さらに調整または変更ステップでは、閾値よりも小さい目の開度の値を代替する補間値を更新または変更することができる。更新は、ここでは目の開度または参照レベルにおける先行する値の関数として補間値を変更することと理解することができる。この場合、特に目の開度または参照レベルにおける時間的に先行する値の上昇は、補間値の上昇をもたらす場合がある。同様に参照レベルを使用して、さらに代替的または補足的に目の開度の値の移動平均値を使用して、補間値を更新することができる。

【0013】

参照レベルは、さらに速度閾値を使用して検出することができる。目蓋速度が速度閾値よりも小さい場合には目の開度の値を使用することができる。したがって、速度閾値は目蓋速度に関係している。瞬きの際には目蓋は急速に動く。目蓋速度を考慮して、閾値未満となる前に瞬きを検出することができる。

【0014】

参照レベルは参照波形として検出することができる。この場合、目の開度の経時変化は目の開度の値が閾値よりも大きい範囲または時間区分において使用することができる。参照レベルは連続的に検出することができる。これにより、常に最新の参照レベルを使用することができる。

【0015】

目の開度の値は平滑化することができる。例えば、値の平均値をとってもよい。同様に、値に重み付けを行ってもよい。これにより、検出を簡略化することが可能となる。

【0016】

ここで説明したアプローチでは、さらに、ここで説明した方法の実施形態のステップを適宜な手段で実行、制御もしくは変更するように構成された装置が得られる。装置として実施した本発明の構成により、本発明の基礎をなす課題を迅速かつ効率的に解決することができる。

【0017】

本発明では、装置は、センサ信号を処理し、センサ信号の関数として制御信号および／またはデータ信号を出力する電気機器として理解してもよい。装置は、ハードウェアおよび／またはソフトウェアとして構成されたインターフェイスを備えていてもよい。ハードウェアとして構成されている場合、インターフェイスは、例えば、装置の種々異なる機能を含む、いわゆる「システムＡＳＩＣ」の一部であってもよい。しかしながら、インターフェイスは、固有の集積回路であるか、または少なくとも部分的に個別の構成部材からなっていることも可能である。ソフトウェアとして構成されている場合には、インターフェイスは、例えば、他のソフトウェアモジュールと共にマイクロコントローラに設けられているソフトウェアモジュールであってもよい。

【0018】

コンピュータプログラム製品、またはプログラムコードを備えるコンピュータプログラムも有利であり、プログラムコードは、機械読取可能な担体またはメモリ媒体、例えば半導体メモリ、ハードディスクメモリ、または光学メモリなどに保存されていてもよく、特にプログラム製品またはプログラムがコンピュータまたは装置で実施される場合に上記いずれかの実施形態にしたがって方法ステップを実行、変更および／または制御するために使用される。

【0019】

本発明の実施例を図面に示し、以下に詳細に説明する。

【図面の簡単な説明】

【0020】

【図1】一実施例にしたがって目の開度のための参照レベルを供給するための装置を示すブロック図である。

【図2】一実施例にしたがって目の開度の波形および参照レベルを示す図である。

【図3】一実施例にしたがって車両のドライバの眠気を覚ますための全システムの構造を示す図である。

【図4】一実施例にしたがって目の開度の参照レベルを供給するための方法を示すフロー図である。

【発明を実施するための形態】

【0021】

以下に説明する本発明の好ましい実施例では、様々な図面における同様に作用する部材には同じ、または同様の符号を使用し、これらの部材については繰り返し説明しない。

【0022】

図１は、一実施例にしたがって目の開度１０４のための参照レベル１０２を供給するための装置１００のブロック回路図を示す。ここでは目の開度１０４が車両のドライバの一方または両方の目１０８について検出システム１０６によって検出され、目の開放を示す信号１１０で示される。目の開度１０４は、目１０８の目蓋の間の最新の間隔を表す。目の開放を示す信号１１０は、装置１００によって、装置１００の入力部で読み取られる。目の開放を示す信号１１０は装置１００の処理手段１１２で処理される。処理手段１１２はフィルタと呼ぶこともできる。この場合、目の開度１０４の値が閾値１１４と比較される。閾値１１４よりも小さい値を表す信号部分１１６が除去もしくは破棄される。閾値１１４よりも大きい値を表す信号部分１１８は、検出手段１２０に伝送される。検出手段１２０では、閾値１１４よりも大きい目の開度１０４の値から参照レベル１０２が検出される。参照レベル１０２は装置１００の出力部に供給される。

【0023】

一実施例では、補間値１２２を使用して参照レベル１０２が検出される。補間値１２２を用いて、信号部分１１６の除去によって生じた目の開放を示す信号１１０の隙間が補間される。補間値１２２によって参照レベル１０２を連続的に検出することができる。

【0024】

補間値１２２は参照レベル１０２の関数である。補間値手段１２４は参照レベル１０２を読み取り、参照レベル１０２を使用して補間値１２２を供給する。

【0025】

一実施例（図示しない）では、補間値手段１２４は、目の開放を示す信号１１０または閾値１１４を超える信号部分１１８を直接に読み取り、補間値１２２を生成する。

【0026】

閾値１１４も同様に参照レベル１０２の関数である。閾値手段１２６は参照レベル１０２を読み取り、参照レベル１０２を使用して閾値１１４を供給する。

【0027】

一実施例（図示しない）では、閾値手段１２６は目の開放を示す信号１１０または閾値１１４を超える信号部分１１８を直接に読み取り、閾値１１４を生成する。

【0028】

現在の目の開放レベル（ＥＯＮ）１０２を確実に検出するための装置１００を説明する。

【0029】

検出システム１０６であるビデオカメラのデータに基づいて、目１０８の現在の開度１０４を検出することができる。このために、適宜な画像処理アルゴリズムが使用される。この場合、両方の目１０８についてそれぞれ目の開放レベル１０２が検出される。

【0030】

両方の目１０８の開度１０４から共通の目の開放レベル１０２を計算することができる。現在の目の開放レベル１０２の計算は、サビツキー‐ゴーレイ・フィルタを使用して行ってもよい。

【0031】

ここで説明したアプローチでは、あらかじめフィルタ処理された目の開度データ１１８に基づいて、瞬き特性の検出精度を改善することが可能である。この場合、現在の目の開放レベル１０２が計算される。目の開放レベル１０２はＥＯＮ１０２もしくはアイ・オープニングレベル１０２と呼ぶこともできる。目の開放レベル１０２を使用して、目の開放レベル１０２に対して定義された閾値１１４を用いて瞬きを簡単かつ確実に検出することができる。瞬きの所定の特性、例えば瞬き振幅などを簡単に計算することができる。最大開度である目の開放レベル１０２の９０パーセンタイル値に関係するＰＥＲＣＬＯＳ値を確実に計算することができる。目の開放レベル１０２の計算は、眠気および／または一瞬の居眠りを検出するための全システムに組み込んでもよい。

【0032】

目の開放レベル１０２は、開かれた状態における目蓋の現在の間隔がどのくらい大きいかを示す。ここで説明する目の開放レベル１０２の計算では、起こり得る瞬きは、目の開放レベル１０２の計算値に取り込まれない。したがって、目の開放レベル１０２は、瞬き頻度および瞬き持続時間によって影響されない。瞬きの頻度および持続時間が長い程、目の開放レベルは低くなる。

【0033】

したがって、目の開放レベル１０２の計算は、複数のステップに分類される。第１に、例えば瞬きまたはタコメータ注視などにより一時的に目の開度１０４が低すぎる範囲１１６が確実かつ簡単に検出される。これらの範囲１１６は複数の形式で同定することができる。

【0034】

一実施例では、目の開度データが強度にフィルタ処理される。フィルタ処理により、目の開度１０４が低い全ての範囲１１６が除外される。これらの範囲１１６は、例えば補間値１２２によって補間することができる。

【0035】

この補間値１２２は、例えば最後の１５０秒の目の開度１０４の９０パーセンタイル値からなっていてもよい。

【0036】

一実施例では、瞬きを効果的に除外するために移動平均１１４が使用される。この場合、平均フィルタは、最も除外されるべき瞬き持続時間の少なくとも２倍のウィンドウ長を備える。最大で一秒の持続時間までの瞬きを効果的に除外するために、例えば２秒のウィンドウ・サイズを使用してもよい。

【0037】

目の開度が移動平均１１４よりも著しく低い、例えば１０％よりもずれている全ての範囲１１６が除外される。

【0038】

瞬きは、目蓋の絶対速度が所定値、例えば０．０３ｍ／ｓを超えたことによって特徴づけられる。一実施例では、これらの範囲１１６は目蓋の速度が再び安定するまで除外される。この場合、速度が所定時間にわたって閾値よりも小さくなるまで待機する。

【0039】

第２に、あらかじめ除外した範囲１１６について代替値の計算を行ってもよい。

【0040】

一実施例では、代替値は、最後の１５０秒の目の開度１０４の９０パーセンタイル値から構成される。

【0041】

一実施例では、範囲１１６が無効な場合に最後の有効な値が使用される。この方式は、「サンプルホールド」と呼ぶこともできる。

【0042】

無効な範囲１１６が移動平均１１４により計算された場合、移動平均１１４を代替値として直接に使用してもよい。

【0043】

第３に、現在の目の開放レベル１０２の計算が、あらかじめ除外された範囲１１６を代替する補間値１２２を使用して行われる。

【0044】

最終的な目の開放レベルは、信号のさらなるフィルタ処理によって検出することができる。このために、一実施例ではサビツキー‐ゴーレイ・フィルタが使用される。他の可能性は、別の移動平均フィルタを用いることである。

【0045】

図２は、一実施例にしたがって目の開度の波形２００および参照レベル１０２を示す。波形２００は線図で記入されており、横軸には時間が秒［ｓ］により記入されており、縦軸には間隔がミリメートル［ｍ×１０^−３］により記入されている。波形２００は、例えば図１に示すように目の開放を示す信号の一部に対応している。参照レベル１０２は、ここで説明したアプローチにしたがった方法により検出される。目の開度を示す波形２００の値は多くの場合に１０ミリメートルの周辺で変動する。瞬き２０２の際に目の開度は短時間だけゼロ付近まで低下する。ここで説明したアプローチによれば、瞬き２０２の際の目の開度の値１１６は、参照レベル１０２の計算には使用されない。

【0046】

この場合、波形２００の値は、最新の参照レベル１０２よりも数ミリメートルだけ低い閾値１１４と比較される。閾値１１４を下回った場合に瞬き２０２が検出され、値１１６は、参照レベル１０２を計算するために使用されない。

【0047】

参照レベル１０２を計算する場合に断続的でない波形を使用することができるように、波形２００の箇所が補間値１２２によって補間される。この場合、補間値１２２は閾値１１４に対応する。したがって、参照レベル１０２は瞬き２０２によって引き下げられない。

【0048】

図３は、車両のドライバの眠気を覚ますための全システム３００の構造を一実施例にしたがって示す図である。図３に示す参照レベルの供給装置３０２は、図３に示すシステム３００の構成部分である。

【0049】

全システム３００は、３つの主要構成部分３０４，３０６，４０８を備える。第１主要構成部分３０４は眠気分類装置である。第２主要構成部分３０６は一瞬の居眠り検出装置である。第３主要構成部分３０８は、眠気分類装置３０４および一瞬の居眠り検出装置３０６によって共に使用されるモジュール３１０を含む。参照レベルの供給装置３０２は第３主要構成部分３０８の一部である。モジュール３１０は、閉眼前処理装置３１０と呼んでもよい。閉眼前処理装置３１０は、右側および左側の閉眼の検出、閉眼のフィルタ処理、閉眼の速度検出、閉眼の加速度検出、参照レベルの供給３０２、および妥当性確認を行う。

【0050】

閉眼前処理装置３１０では、現在の閉眼、閉眼速度、および参照レベルが出力される。

【0051】

眠気分類装置３０４では、これらの値が瞬き検出装置３１２で使用され、瞬き特性計算装置３１４に瞬きが伝送される。

【0052】

瞬き特性計算装置３１４では、瞬き特性が個人の瞬き特性検出装置３１６および眠気分類のためのモジュール３１８に出力される。モジュール３１８は、瞬き特性検出装置３１６から個人の瞬き特性を読み取り、眠気レベルを出力する。

【0053】

一瞬の居眠り検出装置３０６では、個人の閉眼検出装置３２０、閉眼検出装置３２２、およびモジュール３２４の値が、一瞬の居眠り検出のために使用される。

【0054】

個人の閉眼検出装置３２０では、個人の目の開放レベルおよび個人の目の閉鎖レベルを出力する。これら２つのレベルは、モジュール３２４のための２値の目の開度の値を供給するために閉眼検出装置３２２によって使用される。モジュール３２４は一瞬の居眠りを出力する。

【0055】

操舵時の眠気および一瞬の居眠りは、危険な状況または事故につながる恐れがある。それ故、ドライバの眠気が所定の眠気閾値を超えた場合には警告を出すことができる。例えば、コーヒーカップを表示することもできる。ドライバはこの警告を無視することもできる。

【0056】

目の開放を示す信号から瞬きを検出するために、「通常の」瞬きにおける、いわゆる「参照振幅」を使用してもよい。この場合、「通常の」瞬きは、閉鎖フェーズおよび平坦フェーズの持続時間によって同定することができる。これらの「通常の」瞬きにおける振幅が蓄積される。これらの振幅の８５パーセンタイル値を参照振幅として使用してもよい。

【0057】

これらの参照振幅を用いて、瞬きと、参照振幅の７０％未満の振幅による他の視線移動および参照振幅の１５０％を超える振幅による意図的に目を閉じる動作とを区別することができる。

【0058】

目の開放を示す最大値および最小値を確実に較正することができる。この場合、目蓋の速度がゼロである全ての範囲が蓄積される。蓄積されたこれらすべての値からそれぞれ１０および９０パーセンタイル値が個人の現在の最大値もしくは最小値とみなされる。これは、ドライバの生理的状況のみならず、最新の照射状況などの状況にも依存している。

【0059】

目の開放を示す信号の検出精度を高めるための前処理ステップを閉眼前処理（ECP，Eye Closure Preprocessing）の範囲で行ってもよい。この場合、一瞬の眠り検出を組み込んでもよい。目の開放レベルを閉眼前処理の範囲で使用してもよい。次いで目の開放レベルを瞬き検出（BED，Blink Event Detection）および瞬き特性計算（BFC, Blink Feature Calculation）の範囲で使用してもよい。

【0060】

図４は、一実施例にしたがって目の開度のための参照レベルを供給する方法４００のフロー図を示す。方法４００は検出ステップ４０２を含む。方法４００は、例えば図１に示した装置を用いて実施することもできる。検出ステップ４０２では、目の開度が閾値よりも大きい場合の目の開度の値を用いて参照レベルが検出される。検出ステップ４０２には識別ステップ４０４が先行する。識別ステップ４０４では、目の開度の値が、閾値を超える値と閾値未満の値とで区別される。

【0061】

一実施例では、検出ステップ４０２に調整ステップ４０６が続く。調整ステップ４０６では、参照レベルを使用して閾値が変更される。

【0062】

実施例が、第１の特徴および第２の特徴の間に「および／または」の接続詞を含む場合には、この実施例は、ある実施形態では第１の特徴および第２の特徴の両方を備えており、別の実施形態では第１の特徴のみ、または第２の特徴のみを備えていると読み取られるべきである。

【符号の説明】

【0063】

１００ 装置
１０２ 参照レベル（目の開放レベル）
１０４ 目の開度
１０６ 検出システム
１０８ 目
１１０ 目の開放を示す信号
１１２ 処理手段
１１４ 閾値（移動平均）
１１６ 範囲（値）
１１８ 値（信号部分）
１２０ 検出手段
１２２ 補間値
１２４ 補間値手段
１２６ 閾値手段
２００ 波形
２０２ 瞬き
３００ システム
３０２ 供給装置
３０４ 第１主要構成部分（眠気分類装置）
３０６ 第２主要構成部分（一瞬の居眠り検出装置）
３０８ 第３主要構成部分
３１０ モジュール（閉眼前処理装置）
３１２ 瞬き検出装置
３１４ 瞬き特性計算装置
３１６ 瞬き特性検出装置
３１８ モジュール
３２０ 個人の閉眼検出装置
３２２ 閉眼検出装置
３２４ モジュール
４００ 方法
４０２ 検出ステップ
４０４ 識別ステップ
４０６ 調整ステップ

【図1】

【図2】

【図3】

【図4】