(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】P2024126361
(43)【公開日】2024-09-20
(54)【発明の名称】覚醒低下検出装置、覚醒低下検出方法およびコンピュータプログラム
(51)【国際特許分類】
A61B 5/18 20060101AFI20240912BHJP
A61B 5/16 20060101ALI20240912BHJP
A61B 5/0245 20060101ALI20240912BHJP
B60W 40/08 20120101ALI20240912BHJP
【FI】
A61B5/18
A61B5/16 130
A61B5/0245 A
B60W40/08
【審査請求】有
【請求項の数】6
【出願形態】OL
(21)【出願番号】P 2023034681
(22)【出願日】2023-03-07
(11)【特許番号】
(45)【特許公報発行日】2024-03-06
(71)【出願人】
【識別番号】000000170
【氏名又は名称】いすゞ自動車株式会社
(74)【代理人】
【識別番号】110003708
【氏名又は名称】弁理士法人鈴榮特許綜合事務所
(72)【発明者】
【氏名】杉浦 康司
【テーマコード(参考)】
3D241
4C017
4C038
【Fターム(参考)】
3D241DD04Z
4C017AA02
4C017AC26
4C017AC40
4C017BB12
4C017BC11
4C017BC14
4C017BC21
4C017BD06
4C038PP05
4C038PQ03
(57)【要約】
【課題】覚醒低下が進行する手前の初期の段階で、被験者の覚醒低下傾向を判定する。
【解決手段】 実施形態による覚醒低下装置は、心拍数の時系列データを取得する取得部12と、第1期間TAにおける心拍数の変動を示す第1偏差sd1が第1しきい値を超えたか否かを判定する第1判定部18と、第1期間PAよりも長い第2期間PCにおいて、第1偏差sd1が第1しきい値を超えた回数が第2しきい値以上である場合に、覚醒低下を示す情報を出力する第2判定部19と、備える。
【選択図】
図1
【特許請求の範囲】
【請求項1】
心拍数の時系列データを取得する取得部と、
第1期間における前記心拍数の変動を示す第1偏差が第1しきい値を超えたか否かを判定する第1判定部と、
前記第1期間よりも長い第2期間において、前記第1偏差が前記第1しきい値を超えた回数が第2しきい値以上である場合に、覚醒低下を示す情報を出力する第2判定部と、
を備える覚醒低下検出装置。
【請求項2】
前記第1期間は、前記第2期間よりも短い期間であって、
前記第1偏差は、前記第1期間における前記心拍数の標準偏差である、請求項1記載の覚醒低下検出装置。
【請求項3】
前記第1しきい値は、前記第1期間および前記第2期間よりも長い第3期間における前記心拍数の標準偏差に係数を乗じた値である、請求項1記載の覚醒低下検出装置。
【請求項4】
前記第1期間、前記第2期間および前記第3期間は、前記心拍数のデータ数により設定されている請求項3記載の覚醒低下検出装置。
【請求項5】
心拍数の時系列データを取得し、
第1期間における前記時系列データを用いて前記心拍数の変動を示す第1偏差が第1しきい値を超えているときにフラグを立て、
第2期間に立てられた前記フラグの数が第2しきい値以上であるときに、覚醒低下フラグを立てる、覚醒低下検出方法。
【請求項6】
コンピュータに、請求項5記載の方法を実行させるコンピュータプログラム。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、覚醒低下検出装置、覚醒低下検出方法およびコンピュータプログラムに関する。
【背景技術】
【0002】
車両のドライバの覚醒低下を検出する手法として、例えば、ドライバの顔画像をカメラで撮像して瞼の動きを開眼度として捉えることで、長い瞬目が生じたことや、その頻度が高まったことを検知して覚醒低下を判定する手法が広く採用されている。
また、ドライバの心拍数を測定し、心拍数の低下から覚醒低下を判定する手法もある。
【0003】
例えば特許文献1には、被験者の心拍数を取得し、心拍数と基底心拍数とを用い算出された補正変化量が小さい状態が一定時間継続するか否かに基づいて、被験者の眠気判定を行うことが開示されている。
【先行技術文献】
【特許文献】
【0004】
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、前者については、例えば目の細い被験者や日差しの影響など、画像により開閉眼が判定しづらい場合もあり、当該手法では覚醒低下状態を判定しづらいケースもあった。また、後者については、心拍数が低下してきた状況はかなり眠気が進行した場合であり、心拍数の低下が一定時間継続した時点で眠気ありと判定したときには、被験者の覚醒低下がかなり進行している可能性があった。
【0006】
本発明は上記事情を鑑みて成されたものであって、覚醒低下が進行する手前の初期の段階で、被験者の覚醒低下傾向を判定する覚醒低下検出装置、覚醒低下検出方法およびコンピュータプログラムを提供することを目的とする。
【課題を解決するための手段】
【0007】
本発明の第1態様による覚醒低下検出装置は、心拍数の時系列データを取得する取得部と、第1期間における前記心拍数の変動を示す第1偏差が第1しきい値を超えたか否かを判定する第1判定部と、前記第1期間よりも長い第2期間において、前記第1偏差が前記第1しきい値を超えた回数が第2しきい値以上である場合に、覚醒低下を示す情報を出力する第2判定部と、備える。
【0008】
本発明の第2態様による覚醒低下検出方法は、心拍数の時系列データを取得し、第1期間における前記時系列データを用いて心拍数の変動を示す第1偏差が第1しきい値を超えているときにフラグを立て、第2期間に立てられた前記フラグの数が第2しきい値以上であるときに、覚醒低下フラグを立てる、方法である。
【0009】
本発明の第3態様によるコンピュータプログラムは、コンピュータに、第2態様による覚醒低下検出方法を実行させる。
【発明の効果】
【0010】
本発明によれば、覚醒低下が進行する前の初期の段階で、被験者の覚醒低下傾向を判定する覚醒低下検出装置、覚醒低下検出方法およびコンピュータプログラムを提供することができる。
【図面の簡単な説明】
【0011】
【
図1】
図1は、一実施形態の覚醒低下検出装置の一構成例を概略的に示す図である。
【
図2】
図2は、一実施形態の覚醒低下検出装置における覚醒低下の判定指標の一例を概略的に示す図である。
【
図3】
図3は、一実施形態の覚醒低下検出装置で用いられる心拍数データと覚醒低下の判断指標との時系列データの一例を概略的に示す図である。
【
図4】
図4は、一実施形態の覚醒低下検出装置の動作の一例について説明するためのフローチャートである。
【発明を実施するための形態】
【0012】
以下に、一実施形態の覚醒低下検出装置について図面を参照して詳細に説明する。本実施形態に係る覚醒低下検出装置は、車両を運転しているドライバの心拍数の時系列データに基づいて、覚醒低下を検出する装置である。覚醒低下検出装置は、車両に搭載されていてもよいし、車外に設けられた管理サーバーにその機能が設けられていてもよい。なお、覚醒低下検出装置が覚醒低下を検出する対象は、車両を運転しているドライバに限らず、種々の被験者に対して適用可能である。
図1は、一実施形態の覚醒低下検出装置の一構成例を概略的に示す図である。
本実施形態の覚醒低下検出装置1は、制御部10と、メモリ20と、操作部30と、通信部40とを備えている。制御部10、メモリ20、操作部30および通信部40は、バスにより互いに通信可能に接続されている。
【0013】
メモリ20は、例えば、主記憶部および補助記憶部(いずれも図示せず)を備えている。
主記憶部は、例えば、ROM(read-only memory)、RAM(random-access memory)を含み得る。ROMは、専らデータの読み出しに用いられる不揮発性メモリであり、制御部10が各種の処理を行う上で使用するデータ及び各種の設定値などを記憶することができる。また、RAMは、制御部10が各種の処理を行う上で一時的にデータを記憶しておく、いわゆるワークエリアとして利用され得る。
【0014】
補助記憶部は、制御部10を中枢とするコンピュータの非一時的なコンピュータ可読記憶媒体である。補助記憶部は、例えば、EEPROM(登録商標)(electric erasable programmable read-only memory)、HDD(hard disk drive)又はSSD(solid state drive)などである。
補助記憶部は、制御部10が各種の処理を行う上で使用するデータ、制御部10での処理によって生成されたデータ又は各種の設定値などを保存することができる。
【0015】
通信部40は、覚醒低下検出装置1の外部へ信号を送信するとともに、外部からの信号を受信する。通信部40は、例えば、ネットワークを介して、有線又は無線による通信を行うことができる。本実施形態の覚醒低下検出装置1では、通信部40は心拍計50から心拍生信号又は心拍数HR(bpm)のデータ(計測された時刻情報を含む)を受信する。通信部40は取得したデータをメモリ20に記録する。
操作部30は、例えば、覚醒低下検出装置1の操作ボタンやタッチパネル等が操作されることにより入力される情報を取得する。
【0016】
制御部10は、少なくとも1つのプロセッサを含み、メモリ20に格納されたプログラムを実行することにより、ソフトウエアにより若しくはソフトウエアとハードウエアとの組み合わせにより、以下に説明する種々の機能を実現することができる。
制御部10は、覚醒低下の判定指標LATT(Low Arousal Transition Tendency Index)の値に基づいて覚醒低下を検出し、検出結果(覚醒低下フラグ)を出力する。
【0017】
図2は、一実施形態の覚醒低下検出装置における覚醒低下の判定指標の一例を概略的に示す図である。
覚醒低下の判定指標LATTは、基準値(例えば直近の所定数aの心拍数HR(bpm)の標準偏差sd1(a))が、所定数cの心拍数HR(bpm)のデータから算出した心拍数の標準偏差sd2(c)に係数bを乗じた値(しきい値)を上回るポイントが、一定時間dにe個以上出現するときに、覚醒低下と判定される指標である。
【0018】
制御部10は、データ取得部12と、第1偏差演算部14と、第2偏差演算部16と、第1判定部18と、第2判定部19と、を備えている。
データ取得部12は、心拍計50から供給された心拍生信号の値を取得し、心拍数HR(bpm)の時系列データを生成してメモリ20に記録する。なお、データ取得部12は、心拍計50から供給された心拍数HR(bpm)のデータを、時系列データとしてメモリ20から取得してもよい。心拍数HR(bpm)の時系列データは、心拍数HR(bpm)の値と、当該心拍数が計測された時刻情報とを含む。
【0019】
第1偏差演算部14は、心拍数HR(bpm)の時系列データを用いて、最新の心拍数が計測された時刻(演算時刻)から時間TA遡った期間PAにおける直近の心拍数の標準偏差(第1偏差)sd1(a)を演算する。
【0020】
第2偏差演算部16は、心拍数HR(bpm)の時系列データを用いて、最新の心拍数HR(bpm)が計測された時刻(演算時刻)から時間TB遡った期間PBにおける心拍数の標準偏差(第2偏差)sd2(c)を演算する。
【0021】
ここで、時間TBは時間TAよりも十分に長い時間である。本実施形態では、時間TAは例えば心拍の20拍分(データa個分)の時間であり、時間TBは例えば心拍の1800拍分(データc個分)の時間であって、a<cである。時間TAと時間TBとは上記以外であってもよい。時間TAと時間TBとは、それぞれ、心拍数により設定されない所定の時間(例えば固定値)であってもよく、例えば、時間TAは10秒乃至30秒程度の範囲内で設定され、時間TBは15分乃至40分程度の範囲内で設定され得る。また、期間PBは演算時刻を含む期間に限定されない。例えば、第2偏差sd2(c)は、演算時刻に関わらず、ドライバの連続する所定数の心拍数の標準偏差であってもよく、安静時や特定の時間帯の心拍数の標準偏差であってもよい。
【0022】
時間TBが長すぎると覚醒低下を判定するための指標を算出するまでに時間を要するため、覚醒低下を初期の段階で検出することが困難になる。また時間TAおよび時間TBが短すぎると覚醒低下の検出精度が低下する可能性がある。以上より、時間TAおよび時間TBは適切な範囲に調整されることが望ましい。
【0023】
第1判定部18は、第2偏差sd2(c)に係数bを乗じた値と、第1偏差sd1(a)とを比較して、第1フラグの値を判断する。具体的には、第1判定部18は、第2偏差sd2(c)に係数bを乗じた値をしきい値として、第1偏差sd1(a)がしきい値を超えているときに第1フラグの値を「1」としてフラグを立て、第1偏差がしきい値以下であるときに第1フラグの値を「0」とする。第1判定部18は、設定した第1フラグの値を演算時刻(若しくは演算時刻に相当する値)と関連付けてメモリ20に記録する。
【0024】
なお、本実施形態では係数bは1.3である。係数bは、例えば1.1乃至2.5程度の範囲で設定されることが望ましい。係数bを大きくすると第1フラグが立ち難くなり、覚醒低下が検出され難くなることで未検知が増える可能性がある。また、係数bを小さくすると第1フラグが立ちやすくなり、覚醒低下とは異なる誤検知が増える可能性がある。上記より、係数bの値は覚醒低下の検出精度が適切になるように調整されることが望ましい。
【0025】
第2判定部19は、演算時刻から時間d遡った期間PCに、第1フラグが「1」である時刻がしきい値e回数以上であるときに覚醒低下フラグを「1」とし、第1フラグが「1」である時刻がしきい値e回数未満であるときに覚醒低下フラグを「0」とする。本実施形態では、時間dは例えば心拍300拍分の時間であって、例えば2分乃至6分程の範囲で設定され得る。なお、時間dは、心拍数により設定されない所定の時間(例えば固定値)として設定されてもよい。第2判定部19は、設定した覚醒低下フラグの値を心拍数データの時刻情報と関連付けてメモリ20に記録する。
【0026】
覚醒低下フラグが立てられると、覚醒低下検出装置1は、通信部40により被験者の覚醒低下を外部に通知することができる。例えば、本実施形態の覚醒低下検出装置1およびコンピュータプログラムが車両に搭載され、車両のドライバの心拍数データを用いて覚醒低下の検出を行う場合には、覚醒低下の検出結果が車両の制御に用いられてもよく、検出結果に基づいてドライバに対する警告やアラームが通知されてもよい。例えば、車両のドライバの覚醒低下が検出された場合には、車両のコントローラへ覚醒低下フラグを送信し、車両が安全に走行するための制御に覚醒低下フラグが用いられてもよい。
【0027】
また、本実施形態の覚醒低下検出装置1およびコンピュータプログラムは、例えば被験者が携帯する携帯端末や、被験者が装着可能な機器に搭載されてもよく、心拍計50と一体に構成されていてもよい。
【0028】
図3は、一実施形態の覚醒低下検出装置で用いられる心拍数データと覚醒低下の判断指標との時系列データの一例を概略的に示す図である。
図3の最上段のグラフは被験者の自覚する眠気度(KSS(カロリンスカ眠気スケール))を時系列で示したものであり、下記5~9のレベルを被験者自身が選択した結果を時系列に沿って示している。
【0029】
5:どちらでもない(覚醒しているとも眠気があるともいえない)
6:やや眠い(いくつかの眠い兆候あり)
7:眠い(ただし起き続けるための努力を要しない)
8:眠い(起き続けるための努力を要する:覚醒努力が必要)
9:とても眠い(かなり努力を要する、眠気と戦っている)
また、
図3には、ドライバが自覚する上記眠気度に対応する、覚醒低下の判定指標LATTおよびその算出過程に得られる値との一例が示されている。
【0030】
以下に、一実施形態の覚醒低下検出装置の動作の一例について説明する。
図4は、一実施形態の覚醒低下検出装置の動作の一例について説明するためのフローチャートである。
【0031】
最初にデータ取得部12は、例えば心拍生信号から心拍数HR(bpm)の時系列データを生成して、心拍数の時系列データを取得する(ステップS1)。心拍数HR(bpm)の時系列データは、単位時間の心拍生信号に含まれる周期的な波形の数であって、例えば単位時間(1分間)に含まれる心拍生信号のRR間隔の数である。データ取得部12は、例えば、時刻tから過去単位時間の間の心拍生信号に含まれるRR間隔の数を時刻tの心拍数とし、心拍数の時系列データを生成する。ここで、心拍数に対応する時刻tは、心拍数の演算時刻である。
【0032】
続いて、第1偏差演算部14は、心拍数HR(bpm)の時系列データから、直近の心拍数HR(bpm)の変動を示す偏差(第1偏差)sd1(a)を算出する(ステップS2)。本実施形態では、第1偏差sd1(a)は、最新の心拍数の演算時刻から時間TA遡った期間における所定数aの心拍数の標準偏差sd1(a)であり、時間TAは例えば心拍の20拍分の時間である。
【0033】
第2偏差演算部16は、心拍数HR(bpm)の時系列データを用いて、第2偏差sd2(c)を算出する(ステップS3)。本実施形態では、第2偏差sd2(c)は、最新の心拍数の演算時刻から時間TB遡った期間における心拍数の標準偏差sd2(c)であり、時間TBは例えば心拍の1800拍分の時間である。
【0034】
ここで、
図3に示す第1偏差sd1(a)のグラフを参照すると、第1偏差sd1(a)は、心拍数HR(bpm)が大きく変化するタイミングで大きな値となっていることが分かる。一方で、第2偏差sd2(c)は、心拍数HR(bpm)の長期的な変動の傾向を表す値となっており、第1偏差sd1(a)のグラフと比べて変動幅が小さく滑らかなグラフとなっている。
【0035】
続いて、第1判定部18は、第2偏差sd2(c)に係数bを乗じた値と、第1偏差sd1(a)とを比較して、第1フラグの値を判断する(ステップS4)。具体的には、第1判定部18は、第2偏差sd2(c)に係数bを乗じた値をしきい値として、第1偏差sd1(a)がしきい値を超えているときに第1フラグの値を「1」とし(ステップS5)、第1偏差sd1(a)がしきい値以下であるときに第1フラグの値を「0」とする。
【0036】
第1判定部18は、設定した第1フラグの値を時刻情報(若しくは時刻情報に相当する値)と関連付けてメモリ20に記録する。なお、第1フラグに関連付けられる時刻情報は、例えば、当該第1フラグの演算に用いた心拍数HR(bpm)の演算時刻と対応付けられてもよい。
【0037】
図3では、第1偏差sd1(a)のグラフと、しきい値(第2偏差sd2(c)×係数b)のグラフとが重ねて表示されている。また、本例では係数bは1.3である。
図3を参酌すると、被験者の眠気度のレベルが高くなり始めてからピークとなるまでの間に多数の第1フラグが立っていることが分かる。
【0038】
続いて、第2判定部19は、第1フラグが、基準拍数(300拍)の間(時間d)に基準数(例えば4回)以上出現するか否かを判断し(ステップS6)、第1フラグが基準数以上出現した場合に、覚醒低下フラグを0から1とする(ステップS7)。
【0039】
図3において、本例では、被験者の眠気度のレベルが6から7に変化する過程において、覚醒低下フラグが1となっている。
上記のように、本実施形態の覚醒低下検出装置によれば、被験者の眠気を強く自覚する前の段階において覚醒低下の傾向を検出できることが分かる。
【0040】
すなわち、本実施形態によれば、覚醒低下が進行する手前の初期の段階で、被験者の覚醒低下傾向を判定する覚醒低下検出装置、覚醒低下検出方法およびコンピュータプログラムを提供することができる。
【0041】
なお、本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。
【0042】
上記実施形態では、第1フラグを設定するしきい値として第2偏差に係数bを乗じた値を用いたが、しきい値はこれに限定されるものではなく、被験者の安静時の心拍数の標準偏差や、定数であっても構わない。これらの場合であっても、しきい値を適切に設定することにより上述の実施形態と同様の効果を得ることができる。
【符号の説明】
【0043】
1…覚醒低下検出装置
10…制御部
12…データ取得部
14…第1偏差演算部
16…第2偏差演算部
18…第1判定部
19…第2判定部
20…メモリ
30…操作部
40…通信部
50…心拍計
【手続補正書】
【提出日】2024-01-10
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
心拍数の時系列データを取得する取得部と、
第1期間における前記心拍数の変動を示す第1偏差が第1しきい値を超えたか否かを判定する第1判定部と、
前記第1期間よりも長い第2期間において、前記第1偏差が前記第1しきい値を超えた回数が第2しきい値以上である場合に、覚醒低下を示す情報を出力する第2判定部と、を備える覚醒低下検出装置。
【請求項2】
前記第1期間は、前記第2期間よりも短い期間であって、
前記第1偏差は、前記第1期間における前記心拍数の標準偏差である、請求項1記載の覚醒低下検出装置。
【請求項3】
前記第1しきい値は、前記第1期間および前記第2期間よりも長い第3期間における前記心拍数の標準偏差に係数を乗じた値である、請求項1記載の覚醒低下検出装置。
【請求項4】
前記第1期間、前記第2期間および前記第3期間は、前記心拍数のデータ数により設定されている請求項3記載の覚醒低下検出装置。
【請求項5】
心拍数の時系列データを取得し、
第1期間における前記時系列データを用いて前記心拍数の変動を示す第1偏差が第1しきい値を超えているときにフラグを立て、
前記第1期間よりも長い第2期間に立てられた前記フラグの数が第2しきい値以上であるときに、覚醒低下フラグを立てる、覚醒低下検出方法。
【請求項6】
コンピュータに、請求項5記載の方法を実行させるコンピュータプログラム。
【手続補正2】
【補正対象書類名】明細書
【補正対象項目名】0008
【補正方法】変更
【補正の内容】
【0008】
本発明の第2態様による覚醒低下検出方法は、心拍数の時系列データを取得し、第1期間における前記時系列データを用いて心拍数の変動を示す第1偏差が第1しきい値を超えているときにフラグを立て、前記第1期間よりも長い第2期間に立てられた前記フラグの数が第2しきい値以上であるときに、覚醒低下フラグを立てる、方法である。
【手続補正3】
【補正対象書類名】明細書
【補正対象項目名】0042
【補正方法】変更
【補正の内容】
【0042】
上記実施形態では、第1フラグを設定するしきい値として第2偏差に係数bを乗じた値を用いたが、しきい値はこれに限定されるものではなく、被験者の安静時の心拍数の標準偏差や、定数であっても構わない。これらの場合であっても、しきい値を適切に設定することにより上述の実施形態と同様の効果を得ることができる。
以下に、本願の出願当初の特許請求の範囲の記載を付記する。
[付記1]
心拍数の時系列データを取得する取得部と、
第1期間における前記心拍数の変動を示す第1偏差が第1しきい値を超えたか否かを判定する第1判定部と、
前記第1期間よりも長い第2期間において、前記第1偏差が前記第1しきい値を超えた回数が第2しきい値以上である場合に、覚醒低下を示す情報を出力する第2判定部と、を備える覚醒低下検出装置。
[付記2]
前記第1期間は、前記第2期間よりも短い期間であって、
前記第1偏差は、前記第1期間における前記心拍数の標準偏差である、[付記1]記載の覚醒低下検出装置。
[付記3]
前記第1しきい値は、前記第1期間および前記第2期間よりも長い第3期間における前記心拍数の標準偏差に係数を乗じた値である、[付記1]記載の覚醒低下検出装置。
[付記4]
前記第1期間、前記第2期間および前記第3期間は、前記心拍数のデータ数により設定されている[付記3]記載の覚醒低下検出装置。
[付記5]
心拍数の時系列データを取得し、
第1期間における前記時系列データを用いて前記心拍数の変動を示す第1偏差が第1しきい値を超えているときにフラグを立て、
第2期間に立てられた前記フラグの数が第2しきい値以上であるときに、覚醒低下フラグを立てる、覚醒低下検出方法。
[付記6]
コンピュータに、[付記5]記載の方法を実行させるコンピュータプログラム。