特許 6338445 瞬き検出システムおよび方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6338445

(24)【登録日】2018年5月18日

(45)【発行日】2018年6月6日

(54)【発明の名称】瞬き検出システムおよび方法

(51)【国際特許分類】

   A61B 5/11 20060101AFI20180528BHJP

   A61B 5/16 20060101ALI20180528BHJP

   G01S 13/50 20060101ALI20180528BHJP

【ＦＩ】

   A61B5/10 310Z

   A61B5/16

   G01S13/50

【請求項の数】10

【全頁数】10

(21)【出願番号】特願2014-98523(P2014-98523)

(22)【出願日】2014年5月12日

(65)【公開番号】特開2015-213634(P2015-213634A)

(43)【公開日】2015年12月3日

【審査請求日】2017年5月10日

(73)【特許権者】

【識別番号】899000079

【氏名又は名称】学校法人慶應義塾

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(72)【発明者】

【氏名】大槻 知明

(72)【発明者】

【氏名】丹波 千尋

(72)【発明者】

【氏名】冨井 翔一朗

【審査官】 荒井 隆一

(56)【参考文献】

【文献】 特開２００２−３５５２３８（ＪＰ，Ａ）

【文献】 特開平８−２６６４８８（ＪＰ，Ａ）

【文献】 特開平７−３１３４５９（ＪＰ，Ａ）

【文献】 国際公開第２０１３／０３５７０４（ＷＯ，Ａ１）

【文献】 特開２００８−７３３３５（ＪＰ，Ａ）

【文献】 特開２０１０−６８８４８（ＪＰ，Ａ）

【文献】 特開２０１０−２７３９５４（ＪＰ，Ａ）

【文献】 特開２０１０−２２４６３７（ＪＰ，Ａ）

【文献】 特開２０１０−１８４０６７（ＪＰ，Ａ）

【文献】 Kamil Staszek，"Driver's Drowsiness Monitoring System Utilizing Microwave Doppler Sensor"，19th International Conference on Microwaves, Radar and Wireless Communications，２０１２年 ５月，p.623-626

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／０６− ５／２２

Ａ６１Ｂ ５／００

Ｇ０１Ｓ ７／００− ７／４２

Ｇ０１Ｓ １３／００−１３／９５

(57)【特許請求の範囲】

【請求項1】

ドップラーセンサと、
前記ドップラーセンサの出力に対して周波数解析を行ってドップラー信号のパワースペクトルを生成する周波数解析部と、
前記パワースペクトルを平滑化し、不連続な複数のピーク波形に分離して特徴量波形を生成する特徴量解析部と、
前記特徴量波形の特徴量に基づいて、前記複数のピーク波形の中から瞬きを表わすピーク波形を識別する瞬き識別部と、
を有することを特徴とする瞬き検出システム。

【請求項2】

前記瞬き識別部は、前記不連続なピーク波形の中から、単一のピークを有するピーク波形を瞬きとして識別することを特徴とする請求項１に記載の瞬き検出システム。

【請求項3】

前記瞬き識別部は、前記不連続なピーク波形の中から、２以上のピークを有するピーク波形を非瞬きとして識別することを特徴とする請求項２に記載の瞬き検出システム。

【請求項4】

前記特徴量解析部は、あらかじめ取得された被験者の基準データに基づいて生成された基準特徴量波形から前記瞬きを表わすピーク波形を識別するための閾値を決定し、
前記瞬き識別部は、前記不連続なピーク波形の中から前記閾値以下のピーク波形を前記瞬きを表わすピーク波形として識別する、
ことを特徴とする請求項１に記載の瞬き検出システム。

【請求項5】

前記周波数解析部は、前記ドップラー信号に高速フーリエ変換を適用して得られる高速フーリエ変換スペクトルを時刻ビンごとに縦軸方向に加算して加算パワースペクトラムを生成し、
前記特徴量解析部は、前記加算パワースペクトラムを平滑化して前記特徴量波形を生成する、ことを特徴とする請求項１〜４のいずれか１項に記載の瞬き検出システム。

【請求項6】

ドップラーセンサで被験者からの反射波を受信してドップラー信号を生成し、
前記ドップラー信号に対して周波数解析を行って前記ドップラー信号のパワースペクトルを生成し、
前記パワースペクトルを平滑化し、不連続な複数のピーク波形に分離して特徴量波形を生成し、
前記特徴量波形の特徴量に基づいて、前記複数のピーク波形の中から瞬きを表わすピーク波形を識別する、
ことを特徴とする瞬き検出方法。

【請求項7】

前記不連続なピーク波形の中から、単一のピークを有するピーク波形を瞬きとして識別することを特徴とする請求項１に記載の瞬き検出方法。

【請求項8】

前記不連続なピーク波形の中から、２以上のピークを有するピーク波形を非瞬きとして識別することを特徴とする請求項７に記載の瞬き検出方法。

【請求項9】

あらかじめ取得された被験者の基準データから基準特徴量波形を生成し、
前記基準特徴量波形から、前記瞬きを表わすピーク波形を識別するための閾値を決定する、
工程をさらに含み、
前記不連続なピーク波形の中から前記閾値以下のピーク波形を前記瞬きを表わすピーク波形として識別する、
ことを特徴とする請求項６に記載の瞬き検出方法。

【請求項10】

前記ドップラー信号に対して高速フーリエ変換を適用して高速フーリエ変換スペクトルを取得し、
前記高速フーリエ変換スペクトルを時刻ビンごとに縦軸方向に加算して加算パワースペクトラムを生成し、
前記加算パワースペクトラムを平滑化して前記特徴量波形を生成する、
ことを特徴とする請求項６〜９のいずれか１項に記載の瞬き検出方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、ドップラーセンサを用いた瞬き検出システムと方法に関する。

【背景技術】

【0002】

近年、運転中の居眠りや意識レベルの低下に起因する交通事故を未然に防ぐため、運転中のドライバの疲労度や眠気の度合いを検知する技術が注目されている。運転者の運転状況、たとえば車両の動きの変化をみることで意識レベル低下を検出する方法も考えられるが、意識レベルの低下が運転状況に現れるよりも前に検出できることが望ましい。たとえば、疲労度や眠気度といった身体状態を表わす生体情報を取得することで、意識低下の程度を推定することができる。生体情報として、心拍、脳波、瞬きなどが挙げられる。特に瞬きの計測は、他の方法に比べて意識の低下をより端的に反映することが知られている。瞬き情報の取得は、情報機器の画面操作など、作業集中時の瞬き回数の減少に伴うドライアイを予防するためにも有用である。

【0003】

瞬きの検出を目的とした多くの研究は接触型の装置やカメラを用いた技術であり、装着に伴う圧迫感や、カメラによる監視感などの不快感をともなう。カメラを用いずに非接触で瞬きを検出する手法として、ドップラーセンサを用いた運転者の瞬き検出が提案されている（たとえば、非特許文献１参照）。この方法では、瞬きが検出されるときのドップラーセンサの出力波形が３つの半正弦波で構成されるように回路設計が行われ、センサの出力波形から３つの連続するピークを抽出して瞬きを検出している。この文献は運転者を対象とし、他の体動がない状態で瞬きだけが生じている期間に瞬き検出を行っている。

【先行技術文献】

【非特許文献】

【0004】

【非特許文献1】Staszek, K., Wincza, K., Gruszczynski, S., "Driver's Drowsiness Monitoring System Utilizing Microwave Doppler Sensor", 19th International Confeene onMicrowave Radar and Wireless Communications, p623-626, Ma, 2012

【発明の概要】

【発明が解決しようとする課題】

【0005】

ドップラーセンサによる公知の瞬き検出方法で、瞬きに関する波形が３つの半正弦波になるという前提は、ドップラーセンサの回路設計に依存しており、出力波形に含まれる半正弦波の数が多くなると検出精度が低下してしまう。また、瞬きのみが生じている期間で瞬き検出を行っているので、頭を振る、顔の向きを変えるなどの動作と瞬きの区別について考慮されていない。さらに、個人差の影響についても考慮されていない。

【0006】

そこで、回路設計に依存せずに信号波形を解析して瞬きを検出することのできる瞬きセンサの提供を課題とする。また、頭を振るなどの大きな体動と瞬きとを区別できる構成、および個人差の影響を低減できる構成を提供する。

【課題を解決するための手段】

【0007】

上記課題を解決するために、本発明では、特別な回路設計なしに、ドップラーセンサの出力波形から瞬きと非瞬き（頭部などの身体の動き）の識別を行って、瞬きを検出する。良好な実施例では、個人に合わせた較正処理を行って検出精度を向上する。

【0008】

本発明の一つの態様では、瞬き検出システムを提供する。瞬き検出システムは、
ドップラーセンサと、
前記ドップラーセンサの出力に対して周波数解析を行ってドップラー信号のパワースペクトルを生成する周波数解析部と、
前記パワースペクトルを平滑化し、不連続な複数のピーク波形に分離して特徴量波形を生成する特徴量解析部と、
前記特徴量波形の特徴量に基づいて、前記複数のピーク波形の中から瞬きを表わすピーク波形を識別する瞬き識別部と、
を有する。

【0009】

本発明の別の態様では、瞬き検出方法を提供する。瞬き検出方法は、
ドップラーセンサで被験者からの反射波を受信してドップラー信号を生成し、
前記ドップラー信号に対して周波数解析を行って前記ドップラー信号のパワースペクトルを生成し、
前記パワースペクトルを平滑化し、不連続な複数のピーク波形に分離して特徴量波形を生成し、
前記特徴量波形の特徴量に基づいて、前記複数のピーク波形の中から瞬きを表わすピーク波形を識別する。

【発明の効果】

【0010】

回路設計に依存せずに信号波形を解析して瞬きを検出することができる。また、瞬きと非瞬きとを区別し、個人差の影響を低減することができる。

【図面の簡単な説明】

【0011】

【図1】実施形態の瞬き検出方法のフローチャートである。

【図2】ドップラーセンサの出力データの取得例を示す図である。

【図3】ＦＦＴスペクトログラムに基づくエネルギー成分の加算処理を示す図である。

【図4】特徴量抽出における波形の平滑化を示す図である。

【図5】特徴量抽出における雑音の除去と波形分離を示す図である。

【図6】瞬きのピーク検出を示す図である。

【図7】個人差の影響を説明するための図である。

【図8】瞬きと非瞬きの識別を説明するための図である。

【図9】検出結果の例を示す図である。

【図10】実施形態の瞬き検出システムの概略構成図である。

【図11】被験者とセンサの位置関係を示す図である。

【図12】実施形態の瞬きセンサの検出結果を示す図である。

【発明を実施するための形態】

【0012】

図１は、実施形態の瞬き検出処理のフローチャートである。まず、瞬き検出用のセンサとしてドップラーセンサを用いてドップラー信号を取得する（Ｓ１１）。ドップラーセンサは、ドップラー効果による送信信号と受信信号の周波数シフトを観測することで、観測対象の動きを検出するものである。実施形態では、送信波として無変調の連続波（ＣＷ）を用いる。画像表示端末（ＶＤＴ：Visual Display Terminal）で作業する被験者の瞼またはその近傍で反射された信号を受信し、受信信号に送信信号の周波数を掛け合わせてドップラー信号（生データ）を取得する。

【0013】

図２は取得した生データの一例を示す。送信信号と受信信号の間の周波数シフトを表わすドップラー信号を時間の関数として取得している。説明の便宜のために、実際に瞬きが生じた時間軸上の位置を三角形のマークで示している。図２からわかるように、すべてのピークが瞬きを表わすとは限らない。これは、頭を横に振る、顔の向きを変えるなどの瞬き以外の動作（非瞬き）を含むからである。実施形態では、以下に述べる手法で、瞬きと非瞬きを区別して、簡単かつ正確に瞬きを検出する。

【0014】

次に、Ｓ１１で取得したデータに周波数解析を施す。具体的には、取得したドップラーデータにウェーブレット（Wavelet）変換を施して雑音を除去し（Ｓ１２）、高速フーリエ変換（ＦＦＴ）を適用する（Ｓ１３）。ＦＦＴで得られたパワースペクトルのエネルギー成分を時刻ビンごとに縦軸方向に加算する（Ｓ１４）。Ｓ１２のウェーブレット変換は必須ではないが、瞬きの検出精度を上げるために適用するのが望ましい。Ｓ１３で取得するＦＦＴスペクトログラムは、大きな体動の解析にも用いることができるが、実施形態では、Ｓ１４で時刻ビンごとのエネルギー加算を行うことで、後工程で瞬きと非瞬きを識別できるような特徴量解析のための周波数解析データを生成する。

【0015】

図３（Ａ）はＳ１３で取得したＦＦＴスペクトログラムの一例を、図３（Ｂ）はＳ１４の時刻ビンごとのエネルギー加算例を示す。ＦＦＴスペクトログラムを時刻ビンごとに縦軸方向に足し合わせたものを「Ｐsum」とする。ＦＦＴスペクトログラムはゼロを中心としてプラスマイナスの変動を表わすのに対し、Ｐsumは、エネルギー成分の大きさを時間の関数として表している。

【0016】

次に、Ｓ１５で、Ｐsumの情報から特徴量を抽出する。特徴量の抽出工程として、Ｐsumに対する波形の平滑化とピーク波形の分離を行う。図４は、波形の平滑化の一例を示す。図４（Ａ）は図３（Ｂ）の一部を取り出したものであり時間の関数としてのＰsumを表わしている。図４（Ｂ）は、図４（Ｂ）の波形に対して平滑化処理を行った後の波形を示す。図４（Ａ）の波形はピーク数が多いが、平滑化によりなだらかな波形が得られる。

【0017】

平滑化は任意の方法で行うことができる。実施形態では、ピーク間最小距離を時刻ビン３つ分に設定してピーク検出し、一次内挿により図４（Ｂ）の波形を得る。ピーク間最小距離を時刻ビン３つ分とすることで、あるピークから時刻ビン３つ以内に発生するピークを排除する。これにより、時間区間でのピーク数の差がエラーの原因となることを防止する。ピーク間最小距離を大きく設定しすぎると、時間幅の短い瞬きを検出することができなくなる。ピーク間最小距離を小さく設定しすぎるとピーク数を削減できず、平滑化の効果を得ることができない。時刻ビン３つは、瞬き検出のために経験的に選択された値であり、測定条件や個体差、環境に応じて適宜調整可能である。

【0018】

図４（Ｂ）で平滑化されたピーク波形に対して雑音除去を行うことで、図５のようにピーク波形を分離することができる。この分離されたピーク波形は特徴量を表わす波形である。図６は、図５で分離された波形ごとのピークの検出を示す。図５のように、平滑化され分離された特徴量の波形では、瞬きひとつに対してピークがひとつとなることが期待される。ひとつの波形の中にピークが複数現れている場合は、瞬きではなく、頭を振る、顔の向きを変えるなどの非瞬きである蓋然性が高い。

【0019】

Ｓ１５と平行して、あるいは順不同で、特徴量をより精度良く解析するための較正用のデータを取得する（Ｓ１６）。較正用のデータは、被験者ごとの瞬きに関する基準データである。基準データを用いることで、瞬き検出における個人差の影響を低減することができる。

【0020】

図７は、個人差の影響を説明するための図である。図７（Ａ）及び図７（Ｂ）に示すように、ドップラーセンサとの位置関係や、個人の特質によって瞬きの特徴量が異なる。図７（Ａ）の被験者Ａの方が、図７（Ｂ）の被験者よりもＰsumの振幅や波形の広がり幅が小さい。そこで、被験者ごとに、ＶＤＴでの作業開始前に、基準となる瞬きデータを取得するとともに、身体の揺れ具合に関する情報を取得しておく。基準データには複数回の瞬きの測定結果が含まれるのが望ましく、複数回の瞬き測定の平均を基準データとして用いてもよい。たとえば、作業前に瞬き５回〜１０回分のドップラー波形をあらかじめ取得し、図４（Ａ）のＰsumから、その被験者の瞬き検出用の閾値を決定してもよい。あるいは、図４（Ｂ）の平滑化処理や、図５の波形分離処理まで行ってから瞬き検出用の閾値を設定してもよい。また、図５で取得した分離波形そのものを瞬き識別用の較正データとして用いてもよい。

【0021】

最後に、Ｓ１７で瞬きを検出する。瞬き検出は、Ｓ１５の特徴量解析結果に基づき、Ｓ１６で取得した基準データを用いて行う。瞬きの検出は、瞬きと非瞬きとの識別処理を含む。

【0022】

図８（Ａ）は、閾値による瞬き識別の例を示す。個人によって瞬きのエネルギー加算波形Ｐsumの高さや幅が異なることから、瞬きを検出する際に、被験者ごとにピーク高さとピーク幅の少なくとも一方の閾値を用いて、瞬きと非瞬きを区別する。たとえば、閾値以下の高さ又は幅を有するピーク波形を瞬きとして検出し、閾値を超えるピーク波形を非瞬きとして検出する。この閾値を用いた瞬き識別（較正処理）によって、個人差の影響を低減することができる。

【0023】

図８（Ｂ）は、波形分類による瞬き識別の例を示す。上述のように、特徴量解析工程（Ｓ１５）で図５のように波形分離を行った場合、瞬きひとつにつきひとつのピークが検出されることが期待される。したがって、分離された波形の中に２つ以上のピークを含む場合は非瞬きと判断するのが合理的である。波形分類に基づく瞬き識別（較正処理）によって、瞬きと、瞬き以外の体動（非瞬き）とを区別することができる。

【0024】

図９は、実施形態の瞬き検出法による検出結果を示す図である。図中の白い三角形は実際に瞬きが行われた時点を示す。図中の黒の逆三角形は、実施形態の瞬き検出法により検出された瞬き位置を示す。図中の丸印は、実施形態の瞬き検出法により、非瞬きとして検出されたピークを示す。図９からわかるように、実施形態の瞬き検出方法によると、瞬き以外の体動と区別して、高い精度で瞬きを検出することができる。また、波形分類にさらに図８（Ａ）の閾値較正を組み合わせた場合は、個人差の影響を排除して、瞬き検出の精度をさらに上げることができる。

【0025】

図１０は、実施形態の瞬き検出システム１０の概略構成図である。瞬き検出システム１０は、ドップラーセンサ１１と検出処理部１５を有する。検出処理部１５は、周波数解析部１６と、特徴量解析部１７と、瞬き識別部１８と、記憶部１９を含む。周波数解析部１６は、ウェーブレット演算機能、ＦＦＴ演算機能、ＦＦＴスペクトログラム解析機能等を有する。特徴量解析部１７は、周波数解析部１６の出力データに対して平滑化処理および波形分離処理を行う。特徴量解析部１７はまた、あらかじめ取得された被験者の基準データから、当該被験者の瞬き識別用の特徴量（ピーク高さ閾値、ピーク幅閾値、波形類型など）を決定して、記憶部１９に格納する。瞬き識別部１８は、記憶部１９に記憶された被験者ごとの波形閾値および／または波形類型に基づいて、特徴量解析部１７の出力から瞬きを識別し、識別結果を出力する。

【0026】

瞬き識別部１８の出力は瞬き検出システム１０の出力として、作業者や運転者の疲労度や意識レベルの判断に用いることができる。ドップラーセンサ１１を作業画面の近傍や車両のハンドルに設置しておき、作業開始前や運転開始前に作業者や運転者の主導で基準データを取得することができる。作業中や運転中にドップラー信号を取得し、特徴量解析と基準データを用いた較正処理により、作業者や運転者に負担をかけずに非接触で疲労度等を測定することができる。瞬き識別部１８の識別結果を単位時間当たりの瞬き回数として出力し、瞬き回数が一定値以下になった場合にアラームを発生する構成としてもよい。

【0027】

図１１は、実施形態の瞬き検出方法の特性評価実験の位置関係を示す図である。被験者は、椅子に腰かけて机上のデスクトップ５に向かいＶＤＴ作業を行う。被験者の目とデスクトップ５の画面との距離は５０ｃｍ、机から被験者の目の高さは５０ｃｍとする。机上でデスクトップ５よりも１５ｃｍだけ被験者に近い位置にドップラーセンサ１１を配置し、センサ面を被験者の目の方向に向けて机の表面から５５°の角度に傾ける。ドップラーセンサ１１の送信周波数は２４ＧＨｚ、サンプリング周波数は８１９２Ｈｚである。ドップラーセンサ１１の出力は、図示しないパーソナルコンピュータの入力に接続される。図１０の検出処理部１５はパーソナルコンピュータで実現され、周波数変換、特徴量解析、および瞬き識別が行われる。

【0028】

実験１では、５人の被験者（被験者Ａ、Ｂ、Ｃ、Ｄ、Ｅ）がデスクトップ５に向かって１分間のタイピングゲームを行う。実験１の場合、各被験者の頭の動きが少ない状態となる。実験２として、３人の被験者（被験者Ａ、Ｂ、Ｃ）が自然に瞬きを行いながら、自由に顔の向きを変えながらＶＤＴ作業を行う。実験２の場合、各被験者の頭の動きが多い状態となる。

【0029】

実験１と実験２の双方で、実験開始前に被験者ごとに基準データとして５回の瞬きデータを取得し、基準データから各被験者に応じたピーク波形の高さと幅の閾値を設定する。その後、実験を開始し、実施形態の方法で瞬き検出を行うとともに、実験１と２のそれぞれで被験者の実際の瞬きをｗｅｂカメラにより確認する。

【0030】

実施形態の瞬き検出率を、再現率（Recall）として計算する。再現率は以下の式で表される。

【0031】

再現率＝（正しく検出した瞬き数／実際の瞬き数）×１００
図１２は、実験結果を示す図である。図１２（Ａ）は実験１の瞬き検出結果を、図１２（Ｂ）は実験２の瞬き検出結果を示す。

【0032】

実験１では、各被験者の基準データ（較正データ）を用いて分離波形（図５参照）からピークを検出することで、異なる被験者の間で平均９５％の精度で瞬きを検出している。実験２のように頭の動きが多い状況においても８割の瞬き検出精度を実現している。したがって、頭の動きの少ないＶＤＴ作業中や運転中は、高い精度で瞬きが検出され、検出結果に基づいて作業者や運転者の疲労度を推定することができる。

【符号の説明】

【0033】

１０ 瞬き検出システム
１１ ドップラーセンサ
１５ 検出処理部
１６ 周波数解析部
１７ 特徴量解析部
１８ 瞬き識別部

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】