特開 2024-142605 ドライバ異常予兆検出方法及び装置

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2024142605

(43)【公開日】2024-10-11

(54)【発明の名称】ドライバ異常予兆検出方法及び装置

(51)【国際特許分類】

   B60K 28/06 20060101AFI20241003BHJP

   A61B 5/02 20060101ALI20241003BHJP

   A61B 5/0245 20060101ALI20241003BHJP

【ＦＩ】

B60K28/06 Z

A61B5/02 310B

A61B5/0245 100B

A61B5/0245 C

【審査請求】未請求

【請求項の数】6

【出願形態】ＯＬ

(21)【出願番号】P 2023054814

(22)【出願日】2023-03-30

(71)【出願人】

【識別番号】000003137

【氏名又は名称】マツダ株式会社

(74)【代理人】

【識別番号】100094569

【弁理士】

【氏名又は名称】田中 伸一郎

(74)【代理人】

【識別番号】100059959

【弁理士】

【氏名又は名称】中村 稔

(74)【代理人】

【識別番号】100067013

【弁理士】

【氏名又は名称】大塚 文昭

(74)【代理人】

【識別番号】100130937

【弁理士】

【氏名又は名称】山本 泰史

(74)【代理人】

【識別番号】100168871

【弁理士】

【氏名又は名称】岩上 健

(72)【発明者】

【氏名】吉田 誠

(72)【発明者】

【氏名】西野 颯真

【テーマコード（参考）】

3D037

4C017

【Ｆターム（参考）】

3D037FA01

4C017AA09

4C017AA10

4C017AB06

4C017AC28

4C017BC11

4C017BD06

4C017DD14

(57)【要約】

【課題】高応答性及び高信頼性を両立してドライバの異常予兆を検出することが可能な、ドライバ異常予兆検出方法及び装置を提供する。
【解決手段】ドライバ異常予兆検出方法は、ドライバカメラにより検出された拍動に基づき、ドライバの拍動間隔ＢＩを推定する工程Ｂと、ドライバの拍動間隔の所定時間の時系列データを取得する工程Ｃと、拍動間隔の時系列データを標準化する工程Ｄと、標準化した拍動間隔ＣＧ－ＢＩｚの時系列データにおいて、０を中心とする所定範囲内（Ａ領域）に標準化した拍動間隔が入る確率ＰＡを算出する工程Ｅと、標準化した拍動間隔の時系列データにおいて、０を中心とする所定範囲の両側且つ外側の範囲内（Ｂ領域）に標準化した拍動間隔が入る確率ＰＢを算出する工程Ｆと、確率ＰＡが異常予兆閾値ＴＡより大きく、且つ、確率ＰＢが異常予兆閾値ＴＢより小さい場合に、ドライバの異常の予兆を検出したと判定する工程Ｇとを有する。
【選択図】図９

【特許請求の範囲】

【請求項1】

車両を運転するドライバの異常の予兆を検出するドライバ異常予兆検出方法であって、
拍動検出装置が、前記ドライバの拍動を検出する工程Ａと、
プロセッサが、前記拍動検出装置により検出された拍動に基づき、前記ドライバの拍動間隔を推定する工程Ｂと、
前記プロセッサが、前記ドライバの拍動間隔の所定時間の時系列データを取得する工程Ｃと、
前記プロセッサが、前記拍動間隔の時系列データを標準化する工程Ｄと、
前記プロセッサが、前記標準化した拍動間隔の時系列データにおいて、０を中心とする所定範囲内に前記標準化した拍動間隔が入る第１の確率を算出する工程Ｅと、
前記プロセッサが、前記標準化した拍動間隔の時系列データにおいて、前記０を中心とする所定範囲の両側且つ外側の範囲内に前記標準化した拍動間隔が入る第２の確率を算出する工程Ｆと、
前記プロセッサが、前記第１の確率が所定の第１の異常予兆閾値より大きく、且つ、前記第２の確率が所定の第２の異常予兆閾値より小さい場合に、前記ドライバの異常の予兆を検出したと判定する工程Ｇと、
を有する、ドライバ異常予兆検出方法。

【請求項2】

前記０を中心とする所定範囲は、自律神経系に異常のある被験者群から取得された標準化した拍動間隔の出現確率分布のピークが、自律神経系が正常な被験者群から取得された標準化した拍動間隔の出現確率分布のピークよりも高く突出する中央領域に含まれ、
前記０を中心とする所定範囲の両側且つ外側の範囲は、前記中央領域の両側且つ外側において、前記自律神経系に異常のある被験者群から取得された標準化した拍動間隔の出現確率分布が、前記自律神経系が正常な被験者群から取得された標準化した拍動間隔の出現確率分布よりも低い周辺領域に含まれている、
請求項１に記載のドライバ異常予兆検出方法。

【請求項3】

前記第１の異常予兆閾値は、前記自律神経系が正常な被験者群から取得された標準化した拍動間隔の出現確率分布を、前記０を中心とする所定範囲で積分した値より大きく、前記自律神経系に異常のある被験者群から取得された標準化した拍動間隔の出現確率分布を、前記０を中心とする所定範囲で積分した値より小さく、
前記第２の異常予兆閾値は、前記自律神経系が正常な被験者群から取得された標準化した拍動間隔の出現確率分布を、前記０を中心とする所定範囲の両側且つ外側の範囲で積分した値より小さく、前記自律神経系に異常のある被験者群から取得された標準化した拍動間隔の出現確率分布を、前記０を中心とする所定範囲の両側且つ外側の範囲で積分した値より大きい、
請求項２に記載のドライバ異常予兆検出方法。

【請求項4】

前記工程Ｃ、前記工程Ｄ、前記工程Ｅ、前記工程Ｆ、及び前記工程Ｇは、前記工程Ｂにおいて前記拍動間隔が推定される度に実行される、
請求項１から３の何れか１項に記載のドライバ異常予兆検出方法。

【請求項5】

車両を運転するドライバの異常の予兆を検出するドライバ異常予兆検出装置であって、
前記ドライバの拍動を検出する拍動検出装置と、
プログラムを格納するメモリと、
前記プログラムを実行するプロセッサと、を有し、
前記プロセッサは、
前記拍動検出装置により検出された拍動に基づき、前記ドライバの拍動間隔を推定し、
前記ドライバの拍動間隔の所定時間の時系列データを取得し、
前記拍動間隔の時系列データを標準化し、
前記標準化した拍動間隔の時系列データにおいて、０を中心とする所定範囲内に前記標準化した拍動間隔が入る第１の確率を算出し、
前記標準化した拍動間隔の時系列データにおいて、前記０を中心とする所定範囲の両側且つ外側の範囲内に前記標準化した拍動間隔が入る第２の確率を算出し、
前記第１の確率が所定の第１の異常予兆閾値より大きく、且つ、前記第２の確率が所定の第２の異常予兆閾値より小さい場合に、前記ドライバの異常の予兆を検出したと判定する、
ように構成されている、
ドライバ異常予兆検出装置。

【請求項6】

前記拍動検出装置は、前記ドライバの体表面を撮影するドライバカメラである、
請求項５に記載のドライバ異常予兆検出装置。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、車両を運転するドライバの異常の予兆を検出するドライバ異常予兆検出方法及び装置に関する。

【背景技術】

【0002】

従来、ドライバの運転行動の変化に基づきドライバの異常の予兆を検出する技術が知られている。しかしながら、運転行動の変化からドライバの異常予兆を検出するためには少なくとも数分程度の時間にわたって運転行動の変化を監視しなければならず、ドライバの運転能力が短時間で喪失するケース（例えば、てんかん、心臓発作、脳卒中など）には対応できない。

【0003】

そこで、ドライバの運転能力を低下させるような生体機能の変化を検出することにより、運転行動の変化が現れるよりも早くドライバの異常予兆を判断することが検討されている。例えば、交感神経系及び副交感神経系から構成される自律神経系は、人間の意識とは無関係に不随意の生体機能を調整しており、何らかの疾患に起因して自律神経系に異常が生じると、自律神経系の制御を受ける生体機能、例えば循環、発汗、瞳孔等にその影響が現れる。したがって、それらの生体機能の状態を表す生体情報、例えば心拍、発汗量、瞳孔径等の変化を測定することにより、自律神経系の異常を検出し、ドライバの異常予兆の推定に利用することができると考えられる。

【0004】

特に心拍は、生体情報の中でも非接触で測定可能であることや車両に搭載されている車内カメラをセンサとして活用できること等の観点から、ドライバの心拍に基づき自律神経系の異常を検出することが検討されている。

【0005】

ドライバに限定しなければ、心拍データを用いて生体の異常を検出する技術も従来検討されている。例えば、心電図データを時間領域で解析した心拍変動指標（ＳＤＮＮ等）及び周波数領域で解析した心拍変動指標（ＨＦ、ＬＦ、ＬＦ／ＨＦ等）を用いててんかん性発作の兆候を検知する技術が提案されている（例えば、特許文献１参照）。また、周波数領域で解析した心拍変動指標として、ＶＬＦ帯域やＵＬＦ帯域の生体信号を用いて体調の急変を判定する技術や（例えば、特許文献２参照）、心拍変動信号のゆらぎを非線形解析して心臓の状態を検知する技術も提案されている（例えば、特許文献３参照）。

【0006】

また、非線形解析による他の心拍変動指標として、確率密度分布（ＰＤＦ）の非ガウス性のパラメータλ（非ガウス指標）を用いることも提案されている（例えば、非特許文献１参照）。この手法では、２４時間連続記録したホルター心電図を用いて慢性心不全患者の心拍変動の確率密度関数及びその非ガウス指標λを求めている。データ取得後の観察期間中における生存者と非生存者に対して、取得データから得られた非ガウス指標λに有意な差が生じたことが報告されている。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】特開２０１５－１１２４２３号公報

【特許文献2】特開２０２０－１３０２６４号公報

【特許文献3】特開２０１０－１８４０４１号公報

【非特許文献】

【0008】

【非特許文献1】清野 健，「間欠性ゆらぎの非ガウス統計とその心拍変動解析への応用」，精密工学会誌，Ｖｏｌ．７７，Ｎｏ．２，２０１１，１５３－１５７頁

【発明の概要】

【発明が解決しようとする課題】

【0009】

しかしながら、特許文献１に記載されているような従来の方法では、応答性は良いが、ノイズに弱いという問題がある。すなわち、比較的短時間の心拍データに基づき異常の判定は可能であるが、信頼性は低い。また、特許文献２に記載されているような従来の方法では、ＶＬＦ帯域やＵＬＦ帯域の生体信号を得るためにより長いデータが必要となるので、応答性が悪いという問題がある。さらに、特許文献３に記載されているような従来の方法では、短時間スケールを用いた場合には結果が安定せず信頼性が低くなり、信頼性を高めるには長時間スケールを用いるか、短時間スケールのデータを長期にわたって複数回取得しなければならず、いずれにしても時間がかかってしまうという問題がある。また、非特許文献１に記載されているような従来の方法では、例えば２４時間など長時間のデータを取得することが必要なため、やはり応答性が悪いという問題がある。

【0010】

したがって、高応答性及び高信頼性の両立が要求されるドライバの異常予兆の検出に対して、上述したような従来技術を用いることは困難である。

【0011】

本発明は、このような問題を解決するためになされたものであり、高応答性及び高信頼性を両立してドライバの異常予兆を検出することが可能な、ドライバ異常予兆検出方法及び装置を提供することを目的としている。

【課題を解決するための手段】

【0012】

上述した課題を解決するために、本発明は、車両を運転するドライバの異常の予兆を検出するドライバ異常予兆検出方法であって、拍動検出装置が、ドライバの拍動を検出する工程Ａと、プロセッサが、拍動検出装置により検出された拍動に基づき、ドライバの拍動間隔を推定する工程Ｂと、プロセッサが、ドライバの拍動間隔の所定時間の時系列データを取得する工程Ｃと、プロセッサが、拍動間隔の時系列データを標準化する工程Ｄと、プロセッサが、標準化した拍動間隔の時系列データにおいて、０を中心とする所定範囲内に標準化した拍動間隔が入る第１の確率を算出する工程Ｅと、プロセッサが、標準化した拍動間隔の時系列データにおいて、０を中心とする所定範囲の両側且つ外側の範囲内に標準化した拍動間隔が入る第２の確率を算出する工程Ｆと、プロセッサが、第１の確率が所定の第１の異常予兆閾値より大きく、且つ、第２の確率が所定の第２の異常予兆閾値より小さい場合に、ドライバの異常の予兆を検出したと判定する工程Ｇと、を有する。

【0013】

このように構成された本発明によれば、プロセッサは、拍動検出装置により検出された拍動に基づき、ドライバの拍動間隔を推定し、ドライバの拍動間隔の所定時間の時系列データを取得し、拍動間隔の時系列データを標準化し、標準化した拍動間隔の時系列データにおいて、０を中心とする所定範囲内に標準化した拍動間隔が入る第１の確率が所定の第１の異常予兆閾値より大きく、且つ、０を中心とする所定範囲の両側且つ外側の範囲内に標準化した拍動間隔が入る第２の確率が所定の第２の異常予兆閾値より小さい場合に、ドライバの異常の予兆を検出したと判定するので、数十秒程度の短時間の拍動間隔の時系列データからでも、標準化した拍動間隔の時系列データを取得して０を中心とする所定範囲内に標準化した拍動間隔が入る第１の確率及び０を中心とする所定範囲の両側且つ外側の範囲内に標準化した拍動間隔が入る第２の確率を算出し、異常予兆の検出を行うことができる。これにより、高応答性及び高信頼性を両立してドライバの異常予兆を検出することができる。

【0014】

本発明において、好ましくは、０を中心とする所定範囲は、自律神経系に異常のある被験者群から取得された標準化した拍動間隔の出現確率分布のピークが、自律神経系が正常な被験者群から取得された標準化した拍動間隔の出現確率分布のピークよりも高く突出する中央領域に含まれ、０を中心とする所定範囲の両側且つ外側の範囲は、中央領域の両側且つ外側において、自律神経系に異常のある被験者群から取得された標準化した拍動間隔の出現確率分布が、自律神経系が正常な被験者群から取得された標準化した拍動間隔の出現確率分布よりも低い周辺領域に含まれている。

【0015】

このように構成された本発明によれば、自律神経系に異常がある場合と正常な場合とで明確な差異が存在する領域で異常予兆の判定を行うことができる。これにより、ドライバの異常予兆検出の信頼性を高めることができる。

【0016】

本発明において、好ましくは、第１の異常予兆閾値は、自律神経系が正常な被験者群から取得された標準化した拍動間隔の出現確率分布を、０を中心とする所定範囲で積分した値より大きく、自律神経系に異常のある被験者群から取得された標準化した拍動間隔の出現確率分布を、０を中心とする所定範囲で積分した値より小さく、第２の異常予兆閾値は、自律神経系が正常な被験者群から取得された標準化した拍動間隔の出現確率分布を、０を中心とする所定範囲の両側且つ外側の範囲で積分した値より小さく、自律神経系に異常のある被験者群から取得された標準化した拍動間隔の出現確率分布を、０を中心とする所定範囲の両側且つ外側の範囲で積分した値より大きい。

【0017】

このように構成された本発明によれば、０を中心とする所定範囲における自律神経系に異常がある場合と正常な場合との境界を第１の異常予兆閾値とし、０を中心とする所定範囲の両側且つ外側の範囲における自律神経系に異常がある場合と正常な場合との境界を第２の異常予兆閾値として、異常予兆の判定を行うことができる。これにより、ドライバの異常予兆検出の信頼性を高めることができる。

【0018】

本発明において、好ましくは、工程Ｃ、工程Ｄ、工程Ｅ、工程Ｆ、及び工程Ｇは、工程Ｂにおいて拍動間隔が推定される度に実行される。

【0019】

このように構成された本発明によれば、ドライバの自律神経系の異常の予兆が生じた場合に速やかに検出することができる。これにより、高応答性及び高信頼性を両立してドライバの異常予兆を検出することができる。

【0020】

他の観点では、本発明は、車両を運転するドライバの異常の予兆を検出するドライバ異常予兆検出装置であって、ドライバの拍動を検出する拍動検出装置と、プログラムを格納するメモリと、プログラムを実行するプロセッサと、を有し、プロセッサは、拍動検出装置により検出された拍動に基づき、ドライバの拍動間隔を推定し、ドライバの拍動間隔の所定時間の時系列データを取得し、拍動間隔の時系列データを標準化し、標準化した拍動間隔の時系列データにおいて、０を中心とする所定範囲内に標準化した拍動間隔が入る第１の確率を算出し、標準化した拍動間隔の時系列データにおいて、０を中心とする所定範囲の両側且つ外側の範囲内に標準化した拍動間隔が入る第２の確率を算出し、第１の確率が所定の第１の異常予兆閾値より大きく、且つ、第２の確率が所定の第２の異常予兆閾値より小さい場合に、ドライバの異常の予兆を検出したと判定する、ように構成されている。

【0021】

このように構成された本発明によっても、数十秒程度の短時間の拍動間隔の時系列データからでも、標準化した拍動間隔の時系列データを取得して０を中心とする所定範囲内に標準化した拍動間隔が入る第１の確率及び０を中心とする所定範囲の両側且つ外側の範囲内に標準化した拍動間隔が入る第２の確率を算出し、異常予兆の検出を行うことができる。これにより、高応答性及び高信頼性を両立してドライバの異常予兆を検出することができる。

【0022】

本発明において、好ましくは、拍動検出装置は、ドライバの体表面を撮影するドライバカメラである。

【0023】

このように構成された本発明によれば、拍動検出のための特殊な装置を用いることなく、低コスト且つドライバの負担なしにドライバの異常予兆検出を行うことができる。

【発明の効果】

【0024】

本発明のドライバ異常予兆検出方法及び装置によれば、高応答性及び高信頼性を両立してドライバの異常予兆を検出することができる。

【図面の簡単な説明】

【0025】

【図1】本発明の実施形態によるドライバ異常予兆検出装置が搭載された車両の概略構成を示すブロック図である。

【図2】本発明の実施形態によるドライバ状態推定装置の機能的構成を示すブロック図である。

【図3】本発明の実施形態によるドライバ状態推定処理のフローチャートである。

【図4】本発明の実施形態による第１パラメータ学習処理のフローチャートである。

【図5】本発明の実施形態による第２パラメータ学習処理のフローチャートである。

【図6】本発明の実施形態による拍動間隔に対する粗視化処理のフローチャートである。

【図7】本発明の実施形態による異常予兆判定処理のフローチャートである。

【図8】自律神経系が正常な被験者群と異常がある被験者群とのそれぞれにおける、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの出現確率分布を表したグラフである。

【図9】本発明の第２実施形態による異常予兆判定処理のフローチャートである。

【図10】てんかんの発作が生じる前の拍動間隔、粗視化拍動間隔、及び粗視化拍動間隔がＡ領域及びＢ領域のそれぞれに入る確率の時間変化を示すタイムチャートである。

【図11】交感神経系不全の状態における拍動間隔、粗視化拍動間隔、及び粗視化拍動間隔がＡ領域及びＢ領域のそれぞれに入る確率の時間変化を示すタイムチャートである。

【図12】副交感神経系不全の状態における拍動間隔、粗視化拍動間隔、及び粗視化拍動間隔がＡ領域及びＢ領域のそれぞれに入る確率の時間変化を示すタイムチャートである。

【図13】健常者の拍動間隔、粗視化拍動間隔、及び粗視化拍動間隔がＡ領域及びＢ領域のそれぞれに入る確率の時間変化を示すタイムチャートである。

【発明を実施するための形態】

【0026】

以下、添付図面を参照して、本発明の実施形態によるドライバ異常予兆検出方法及び装置を説明する。

【0027】

［構成］
まず、図１及び図２を参照して、本実施形態によるドライバ異常予兆検出装置の構成について説明する。図１はドライバ異常予兆検出装置が搭載された車両の概略構成を示すブロック図、図２はドライバ状態推定装置の機能的構成を示すブロック図である。

【0028】

図１に示すように、車両１は、車両１のドライバの状態を推定するように構成されたドライバ状態推定装置１０と、ドライバを撮影するドライバカメラ２０と、ドライバ状態推定装置１０から出力された情報に基づき車両１の制御を行うように構成された車両制御装置３０と、ドライバ状態推定装置１０による制御に応じて情報を出力するディスプレイ３１及び警報装置３２と、車両制御装置３０による制御に応じて車両１の駆動力源、ブレーキ、操舵装置等を動作させる車両アクチュエータ４０と、車両制御装置３０による制御に応じて動作する灯火器４１（ヘッドライト、ブレーキランプ、方向指示器を含む）と及びホーン４２とを備えている。ドライバカメラ２０は、ドライバの体表面（より具体的には顔表面）を撮影し、得られた映像における可視光や近赤外光の輝度変化から体表面近くの血管における脈波（拍動）を検出することができる。

【0029】

ドライバ状態推定装置１０は、種々の処理を実行する１つ又は複数のＣＰＵなどのプロセッサ１０ａと、プロセッサ１０ａに実行させるプログラムや、このプログラムの実行に必要な種々のデータなどを記憶する１つ又は複数のメモリ１０ｂ（ＲＯＭやＲＡＭやハードディスクなど）とを主に有する。

【0030】

次に、図２に示すように、ドライバ状態推定装置１０のプロセッサ１０ａは、頭部姿勢推定部１１、ドライバ異常姿勢判定部１２、及び異常予兆検出装置１００として機能する。異常予兆検出装置１００には、拍動間隔推定部１０１、ドライバ個人認証部１０２、個人パラメータ選択部１０３、第１パラメータ学習部１０６、第２パラメータ学習部１０７、拍動間隔粗視化処理部１０８、バッファ１０９、ドライバ異常予兆判定部１１０が含まれる。また、ドライバ状態推定装置１０のメモリ１０ｂには、異常姿勢閾値１３、ドライバ別第１パラメータ１０４、ドライバ別第２パラメータ１０５及び異常予兆閾値１１１が記憶されている。

【0031】

具体的には、頭部姿勢推定部１１は、ドライバカメラ２０によって撮影されたドライバの映像に基づき、ドライバの頭部の姿勢を推定する。ドライバ異常姿勢判定部１２は、頭部姿勢推定部１１により推定されたドライバの頭部の姿勢と、メモリ１０ｂに記憶されている異常姿勢閾値１３とに基づき、ドライバの姿勢が異常か否かを判定し、判定結果に基づき車両制御装置３０により車両１の各部を制御すると共に、ディスプレイ３１や警報装置３２により警報等を出力させる。

【0032】

拍動間隔推定部１０１は、ドライバカメラ２０によって撮影されたドライバの映像に基づき、ドライバの拍動間隔を推定する。ドライバ個人認証部１０２は、ドライバカメラ２０によって撮影されたドライバの映像に基づき、顔認証技術を用いてドライバを特定する。

【0033】

個人パラメータ選択部１０３は、ドライバ個人認証部１０２により特定されたドライバに対応する第１パラメータ及び第２パラメータを、メモリ１０ｂから取得する。拍動間隔粗視化処理部１０８は、個人パラメータ選択部１０３により取得された第１パラメータ及び第２パラメータを用いて、拍動間隔推定部１０１により推定されたドライバの拍動間隔の粗視化処理を行う。

【0034】

第１パラメータ学習部１０６は、拍動間隔推定部１０１により推定されたドライバの拍動間隔に基づき、ドライバ別の第１パラメータを学習し、メモリ１０ｂに格納する。第２パラメータ学習部１０７は、拍動間隔粗視化処理部１０８により算出された粗視化拍動間隔に基づき、ドライバ別の第２パラメータを学習し、メモリ１０ｂに格納する。

【0035】

ドライバ異常予兆判定部１１０は、拍動間隔粗視化処理部１０８により算出された粗視化拍動間隔と、メモリ１０ｂに記憶されている異常予兆閾値１１１とに基づき、ドライバの異常の予兆が検出されたか否かを判定し、判定結果をドライバ異常姿勢判定部１２に出力する。ドライバ異常予兆判定部１１０によりドライバの異常の予兆が検出された場合、ドライバ異常予兆判定部１１０は、ディスプレイ３１や警報装置３２により警報等を出力させ、ドライバ異常姿勢判定部１２は、メモリ１０ｂに記憶されている異常姿勢閾値１３を、ドライバの姿勢が異常と判定されやすい方向に変更して、ドライバの姿勢が異常か否かを判定する。

【0036】

［処理］
次に、図３から図８を参照して、上記したドライバ状態推定装置１０において行われる処理について説明する。図３は、本実施形態によるドライバ状態推定処理のフローチャートである。図４は、本実施形態による第１パラメータ学習処理のフローチャートである。図５は、本実施形態による第２パラメータ学習処理のフローチャートである。図６は、本実施形態による拍動間隔に対する粗視化処理のフローチャートである。図７は、本実施形態による異常予兆判定処理のフローチャートである。図８は、自律神経系が正常な被験者群と異常がある被験者群とのそれぞれにおける、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの出現確率分布を表したグラフである。なお、図３から図７のフローチャートを説明するに当たって、実際には、これらのフローチャートに含まれる処理は、ドライバ状態推定装置１０のプロセッサ１０ａにより実行されるが、理解を容易にするため、図２においてブロックにより示した各機能部により実行されるものとして説明する。

【0037】

図３に示すドライバ状態推定処理は、車両１の電源がＯＮにされた場合に開始され、車両１の電源がＯＦＦにされるか、最後のステップの処理が実行された後に終了する。

【0038】

まず、ステップＳ１において、ドライバ個人認証部１０２は、ドライバカメラ２０から入力されたドライバの映像に基づき、既知の顔認証技術を用いてドライバを特定する。顔認証に用いられる各ドライバの顔データは、予めドライバカメラ２０により取得されメモリ１０ｂに格納されている。

【0039】

次に、ステップＳ２において、拍動間隔推定部１０１は、ドライバカメラ２０から入力されたドライバの映像に基づき、ドライバの拍動間隔を推定する。具体的には、拍動間隔推定部１０１は、ドライバカメラ２０によって撮影されたドライバの体表面の映像から脈波を検出し、脈波において隣接するピークの時間間隔を拍動間隔ＢＩ（Ｂｅａｔ Ｉｎｔｅｒｖａｌ）として推定する。

【0040】

次に、ステップＳ３において、拍動間隔粗視化処理部１０８は、拍動間隔粗視化処理に用いる第１パラメータ及び第２パラメータが学習済みか否か、より具体的にはステップＳ１において特定されたドライバの第１パラメータ及び第２パラメータがメモリ１０ｂに格納されているか否かを判定する。

【0041】

その結果、第１パラメータ及び第２パラメータが学習済みではない場合（ステップＳ３：ＮＯ）、ステップＳ４において、第１パラメータ学習部１０６により第１パラメータ学習処理が実行され、第２パラメータ学習部１０７により第２パラメータ学習処理が実行される。

【0042】

ここで、図４を参照して第１パラメータ学習処理を説明する。まず、ステップＳ２１において、第１パラメータ学習部１０６は、ステップＳ２において推定された拍動間隔ＢＩをメモリ１０ｂに格納する。

【0043】

次に、ステップＳ２２において、第１パラメータ学習部１０６は、拍動間隔ＢＩの時系列データが所定時間Ｗ₁（例えば４５秒間）以上にわたってメモリ１０ｂに蓄積されたか否かを判定する。その結果、拍動間隔ＢＩの時系列データが所定時間Ｗ₁以上にわたってメモリ１０ｂに蓄積されていない場合（ステップＳ２２：ＮＯ）、ステップＳ２１に戻る。その後、拍動間隔ＢＩの時系列データが所定時間Ｗ₁以上にわたってメモリ１０ｂに蓄積されるまでステップＳ２１及びＳ２２を繰り返す。

【0044】

一方、拍動間隔ＢＩの時系列データが所定時間Ｗ₁以上にわたってメモリ１０ｂに蓄積された場合（ステップＳ２２：ＹＥＳ）、ステップＳ２３において、第１パラメータ学習部１０６は、メモリ１０ｂに蓄積された拍動間隔ＢＩの平均値を算出し、ステップＳ１において特定されたドライバの第１パラメータ、即ち平均拍動間隔Ｌ₁としてメモリ１０ｂに格納する。その後、ドライバ状態推定処理のメインルーチンに戻る。

【0045】

次に、図５を参照して第２パラメータ学習処理を説明する。まず、ステップＳ３１において、第２パラメータ学習部１０７は、拍動間隔粗視化処理部１０８により、後述する拍動間隔ＢＩに対する粗視化処理のステップＳ４１からＳ４９までの処理を実行させ、粗視化された拍動間隔ＣＧ－ＢＩをメモリ１０ｂに格納する。

【0046】

次に、ステップＳ３２において、第２パラメータ学習部１０７は、粗視化された拍動間隔ＣＧ－ＢＩの時系列データが所定時間Ｗ₂（例えば４５秒間）以上にわたってメモリ１０ｂに蓄積されたか否かを判定する。その結果、粗視化された拍動間隔ＣＧ－ＢＩの時系列データが所定時間Ｗ₂以上にわたってメモリ１０ｂに蓄積されていない場合（ステップＳ３２：ＮＯ）、ステップＳ３１に戻る。その後、粗視化された拍動間隔ＣＧ－ＢＩの時系列データが所定時間Ｗ₂以上にわたってメモリ１０ｂに蓄積されるまでステップＳ３１及びＳ３２を繰り返す。

【0047】

一方、粗視化された拍動間隔ＣＧ－ＢＩの時系列データが所定時間Ｗ₂以上にわたってメモリ１０ｂに蓄積された場合（ステップＳ３２：ＹＥＳ）、ステップＳ３３において、第２パラメータ学習部１０７は、メモリ１０ｂに蓄積された粗視化された拍動間隔ＣＧ－ＢＩの標準偏差を算出し、ステップＳ１において特定されたドライバの第２パラメータＬ₂としてメモリ１０ｂに格納する。その後、ドライバ状態推定処理のメインルーチンに戻る。

【0048】

図３に戻り、ステップＳ３において第１パラメータ及び第２パラメータが学習済みである場合（ステップＳ３：ＹＥＳ）、又は、ステップＳ４において第１パラメータ学習処理及び第２パラメータ学習処理を実行した後、ステップＳ５において、拍動間隔粗視化処理部１０８は拍動間隔に対する粗視化処理を実行する。

【0049】

ここで、図６を参照して拍動間隔に対する粗視化処理を説明する。まず、ステップＳ４１において、拍動間隔粗視化処理部１０８は、ステップＳ２において推定された拍動間隔ＢＩと、拍動間隔ＢＩの取得時刻（例えば、拍動間隔ＢＩの推定に用いた脈波の隣接するピークの内、後のピークが検出された時刻）とを、相互に関連付けてメモリ１０ｂに格納する。

【0050】

次に、ステップＳ４２において、拍動間隔粗視化処理部１０８は、拍動間隔ＢＩの時系列データが所定時間２×Ｓ以上にわたってメモリ１０ｂに蓄積されたか否かを判定する。ここで、Ｓは拍動間隔粗視化処理部１０８が拍動間隔ＢＩの時系列データを粗視化する際に用いる粗視化時間スケールであり、予め決定されメモリ１０ｂに記憶されている。本実施形態では、例えばＳ＝２５秒であり、この場合、２×Ｓ＝５０秒間となる。

【0051】

ステップＳ４２の判定の結果、拍動間隔ＢＩの時系列データが所定時間２×Ｓ以上にわたってメモリ１０ｂに蓄積されていない場合（ステップＳ４２：ＮＯ）、ステップＳ４１に戻る。その後、拍動間隔ＢＩの時系列データが所定時間２×Ｓ以上にわたってメモリ１０ｂに蓄積されるまでステップＳ４１及びＳ４２を繰り返す。

【0052】

一方、拍動間隔ＢＩの時系列データが所定時間２×Ｓ以上にわたってメモリ１０ｂに蓄積された場合（ステップＳ４２：ＹＥＳ）、ステップＳ４３において、拍動間隔粗視化処理部１０８は、メモリ１０ｂに蓄積されている直近の所定時間２×Ｓ（例えば５０秒間）の拍動間隔ＢＩとその取得時刻とを用いて、拍動間隔ＢＩの時系列データのスプライン補完を行う。ここで、メモリ１０ｂに蓄積された最新の拍動間隔ＢＩの取得時刻（つまり拍動の最新の検出時刻）をＵとすると、時刻Ｕ－２×Ｓから時刻Ｕまでの拍動間隔ＢＩの時系列データに対してスプライン補完が行われることになる。

【0053】

次に、ステップＳ４４において、拍動間隔粗視化処理部１０８は、ステップＳ４３でスプライン補完した拍動間隔ＢＩの時系列データを等時間間隔でリサンプリングすることにより、リサンプリング後の拍動間隔ＢＩｒの時系列データ（時刻Ｕ－２×Ｓから時刻Ｕまで）を取得する。

【0054】

次に、ステップＳ４５において、拍動間隔粗視化処理部１０８は、リサンプリング後の拍動間隔ＢＩｒから、第１パラメータ学習処理において学習されメモリ１０ｂに格納された平均拍動間隔Ｌ₁（ドライバの第１パラメータ）を減算することにより、リサンプリング後の拍動間隔ＢＩｒの平均値を０にシフトした拍動間隔ＢＩｒ₀の時系列データ（時刻Ｕ－２×Ｓから時刻Ｕまで）を算出する。

【0055】

次に、ステップＳ４６において、拍動間隔粗視化処理部１０８は、平均値を０にシフトした拍動間隔ＢＩｒ₀の時系列データを時刻Ｕ－２×Ｓから時刻ｉ（Ｕ－２×Ｓ≦ｉ≦Ｕ）まで積分した値の時系列データ、即ち積分時系列データＩＳを算出する。

【0056】

次に、ステップＳ４７において、拍動間隔粗視化処理部１０８は、ステップＳ４６で算出した積分時系列データＩＳ（時刻Ｕ－２×Ｓから時刻Ｕまで）を、最小二乗法により３次曲線にフィッティングすることによって、積分時系列データＩＳのトレンド成分ＩＳｔを算出する。

【0057】

次に、ステップＳ４８において、拍動間隔粗視化処理部１０８は、積分時系列データＩＳからステップＳ４７で算出したトレンド成分ＩＳｔを減算することにより、トレンド成分を除去した積分時系列データＩＳ₀（時刻Ｕ－２×Ｓから時刻Ｕまで）を算出する。

【0058】

次に、ステップＳ４９において、拍動間隔粗視化処理部１０８は、ステップＳ４８で算出した積分時系列データＩＳ₀における直近の所定時間Ｓの最後の値（即ち時刻Ｕの値ＩＳ₀（Ｕ））と最初の値（即ち時刻Ｕ－Ｓの値ＩＳ₀（Ｕ－Ｓ））との差ＣＧ－ＢＩを算出し、メモリ１０ｂに格納する。

【0059】

このステップＳ４９において算出されたＣＧ－ＢＩが、時刻Ｕ－Ｓから時刻Ｕまでの拍動間隔ＢＩの時系列データを時間スケールＳで粗視化した拍動間隔ＣＧ－ＢＩである。時間スケールＳを適切に設定することにより（本実施形態では例えばＳ＝２５秒）、運動や緊張等の外的要因による局所的な平均心拍数の変化といったトレンド成分を除去し、ドライバの自律神経系の異常を反映した拍動間隔の変動の特徴を検出することが可能となる。

【0060】

次に、ステップＳ５０において、拍動間隔粗視化処理部１０８は、ステップＳ４９で算出した粗視化された拍動間隔ＣＧ－ＢＩを、第２パラメータ学習処理において学習されメモリ１０ｂに格納された粗視化された拍動間隔ＣＧ－ＢＩの標準偏差Ｌ₂（ドライバの第２パラメータ）で除することにより、粗視化された拍動間隔ＣＧ－ＢＩを標準化した拍動間隔ＣＧ－ＢＩｚを算出し、メモリ１０ｂに格納する。その後、ドライバ状態推定処理のメインルーチンに戻る。

【0061】

図３に戻り、ステップＳ５において拍動間隔粗視化処理部１０８が拍動間隔に対する粗視化処理を実行した後、ステップＳ６において、ドライバ異常予兆判定部１１０は、異常予兆判定処理を実行する。

【0062】

ここで、図７を参照して異常予兆判定処理を説明する。まず、ステップＳ５１において、ドライバ異常予兆判定部１１０は、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データが所定時間Ｗ以上にわたってメモリ１０ｂに蓄積されたか否かを判定する。ここで、Ｗはドライバ異常予兆判定部１１０がドライバの異常予兆の判定を行う際に参照する粗視化拍動間隔ＣＧ－ＢＩｚの時系列データの時間窓であり、予め決定されメモリ１０ｂに記憶されている。本実施形態では、例えばＷ＝５０秒である。

【0063】

その結果、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データが所定時間Ｗ以上にわたってメモリ１０ｂに蓄積されていない場合（ステップＳ５１：ＮＯ）、ステップＳ５２において、拍動間隔粗視化処理部１０８により拍動間隔に対する粗視化処理を実行させる。このステップＳ５２における拍動間隔に対する粗視化処理は、ドライバ状態推定処理のメインルーチンにおけるステップＳ５の拍動間隔に対する粗視化処理と同じである。その後、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データが所定時間Ｗ以上にわたってメモリ１０ｂに蓄積されるまでステップＳ５１及びＳ５２を繰り返す。

【0064】

一方、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データが所定時間Ｗ以上にわたってメモリ１０ｂに蓄積された場合（ステップＳ５１：ＹＥＳ）、ステップＳ５３において、ドライバ異常予兆判定部１１０は、メモリ１０ｂから直近の所定時間Ｗの標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データを取り出す。

【0065】

次に、ステップＳ５４において、ドライバ異常予兆判定部１１０は、ステップＳ５３で取り出した標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データに含まれるＣＧ－ＢＩｚが、平均値０を中心とする所定範囲（Ａ領域、あるいは中央領域）内に入る確率ＰＡを算出する。

【0066】

ここで、図８を参照して、Ａ領域の設定方法について説明する。図８は、自律神経系が正常な被験者群と異常がある被験者群とのそれぞれにおける、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの出現確率分布を表したグラフである。図８において、横軸はＣＧ－ＢＩｚの値を示し、縦軸はＣＧ－ＢＩｚの各値の出現確率密度を示している。

【0067】

図８において、破線は、自律神経系が正常な被験者群（正常群）の各被験者の心拍データに対して、図６を参照して説明したのと同様の拍動間隔に対する粗視化処理を実行して得られたＣＧ－ＢＩｚの出現確率分布の代表値を表し、この破線に沿って延びる右上がり斜線の帯は正常群の１σ区間を表している。また、図８において、実線は、自律神経系に異常のある被験者群（異常群）の各被験者の心拍データに対して、図６を参照して説明したのと同様の拍動間隔に対する粗視化処理を実行して得られたＣＧ－ＢＩｚの出現確率分布の代表値を表し、この実線に沿って延びるドットの帯は異常群の１σ区間を表している。

【0068】

正常群と異常群とのそれぞれにおけるＣＧ－ＢＩｚの出現確率分布を比較すると、図８に示すように、異常群におけるＣＧ－ＢＩｚの出現確率分布の尖度は、正常群におけるＣＧ－ＢＩｚの出現確率分布の尖度より大きい。即ち、異常群のＣＧ－ＢＩｚの出現確率密度のピークは、ＣＧ－ＢＩｚの平均値０を含む中央近傍の領域において正常群のＣＧ－ＢＩｚの出現確率密度よりも高く突出し、その中央近傍の領域の両側且つ外側の周辺領域において正常群のＣＧ－ＢＩｚの出現確率密度よりも低い。これは、正常群においては交感神経と副交感神経とが互いにバランスを取るように働くことにより拍動間隔が揺らいでいるのに対し、異常群においては交感神経又は副交感神経の一方に異常が生じてバランスが偏ったり、交感神経及び副交感神経の両方に異常が生じて生体機能の変化が消失したりすることにより、拍動間隔の揺らぎが小さくなるからと考えられる。そこで、本願発明者らは、ＣＧ－ＢＩｚの平均値０を含む中央近傍の領域における、正常群と異常群のＣＧ－ＢＩｚの出現確率分布の差異に基づいて、自律神経系の不全によるドライバの異常予兆を検出できると考えた。

【0069】

具体的には、ＣＧ－ＢＩｚの平均値０を含む中央近傍の範囲において、正常群のＣＧ－ＢＩｚの出現確率分布の１σ区間（右上がり斜線の帯）と、異常群のＣＧ－ＢＩｚの出現確率分布の１σ区間（ドットの帯）とが重ならない範囲（例えばＣＧ－ＢＩｚが－０．０３以上０．０３以下の範囲）をＡ領域（中央領域）とする。そして、ドライバ異常予兆判定部１１０は、ドライバの拍動間隔から算出したＣＧ－ＢＩｚがＡ領域内に入る確率ＰＡが、異常予兆閾値ＴＡより高い場合に、ドライバの異常予兆が検出されたものと判定する。異常予兆閾値ＴＡは、正常群のＣＧ－ＢＩｚの出現確率分布の代表値＋１σがＡ領域内に入る確率より高く、異常群のＣＧ－ＢＩｚの出現確率分布の代表値－１σがＡ領域内に入る確率より低い値に設定されている。

【0070】

即ち、異常予兆閾値ＴＡは、正常群のＣＧ－ＢＩｚの出現確率分布の代表値＋１σを表す曲線（右上がり斜線の帯の上側を確定する曲線）を、Ａ領域（即ちＣＧ－ＢＩｚが－０．０３以上０．０３以下の範囲）で積分した値より大きく、異常群のＣＧ－ＢＩｚの出現確率分布の代表値－１σを表す曲線（ドットの帯の下側を画定する曲線）を、Ａ領域で積分した値より小さい値に設定され、例えばＴＡ＝０．０９である。Ａ領域を規定するＣＧ－ＢＩｚの数値範囲及び異常予兆閾値ＴＡは、正常群及び異常群の心拍データに基づいて予め設定されメモリ１０ｂに記憶されている。

【0071】

図７に戻り、ドライバ異常予兆判定部１１０は、ステップＳ５５において、ステップＳ５４で算出した確率ＰＡが、メモリ１０ｂに記憶されている異常予兆閾値ＴＡ（即ち、異常群のＣＧ－ＢＩｚの出現確率分布の代表値－１σがＡ領域内に入る確率ＴＡ）より大きいか否かを判定する。

【0072】

その結果、ＰＡがＴＡより大きい場合（ステップＳ５５：ＹＥＳ）、ドライバ異常予兆判定部１１０は、ステップＳ５６においてドライバの異常予兆を検出したと判定する。一方、ＰＡがＴＡ以下の場合（ステップＳ５５：ＮＯ）、ドライバ異常予兆判定部１１０は、ステップＳ５７においてドライバの異常予兆は検出されないと判定する。ステップＳ５６又はＳ５７の後、ドライバ状態推定処理のメインルーチンに戻る。

【0073】

図３に戻り、ステップＳ６で異常予兆判定処理を実行した後、ステップＳ７において、ドライバ異常姿勢判定部１２は、異常予兆判定処理においてドライバの異常予兆が検出されたか否かを判定する。その結果、ドライバの異常予兆が検出された場合（ステップＳ７：ＹＥＳ）、ステップＳ８において、ドライバ異常姿勢判定部１２は、メモリ１０ｂに記憶されている異常姿勢閾値を、ドライバの姿勢が異常と判定されやすい方向に変更する。例えば、ドライバの頭部の角度が第１の異常姿勢閾値以上であり、且つ、その状態の継続時間が第２の異常姿勢閾値以上であるときに異常と判定される場合には、ドライバ異常姿勢判定部１２は、第１の異常姿勢閾値及び第２の異常姿勢閾値の一方又は両方を下げる。

【0074】

次に、ステップＳ９において、ドライバ異常姿勢判定部１２は、ドライバの異常予兆が検出されたことを報知する警報を、ディスプレイ３１や警報装置３２によって出力させる。

【0075】

ステップＳ９の後、又は、ステップＳ７においてドライバの異常予兆が検出されなかった場合（ステップＳ７：ＮＯ）、ステップＳ１０において、ドライバ異常姿勢判定部１２は、頭部姿勢推定部１１により推定されたドライバの頭部の姿勢と、第１の異常姿勢閾値とを比較することにより、ドライバの姿勢が異常か否かを判定する。

【0076】

次に、ステップＳ１１において、ドライバ異常姿勢判定部１２は、ステップＳ１０においてドライバの姿勢が異常であると判定された場合に、その異常姿勢の継続時間がメモリ１０ｂに記憶されている第２の異常姿勢閾値以上か否かを判定する。その結果、異常姿勢の継続時間が第２の異常姿勢閾値未満の場合（ステップＳ１１：ＮＯ）、ステップＳ２に戻る。その後、異常姿勢の継続時間が第２の異常姿勢閾値未満の間は、ステップＳ２からＳ１１の処理を繰り返す。即ち、ドライバの拍動間隔ＢＩが推定される度に、拍動間隔に対する粗視化処理及び異常予兆判定処理が実行される。

【0077】

一方、異常姿勢の継続時間が第２の異常姿勢閾値以上の場合（ステップＳ１１：ＹＥＳ）、ステップＳ１２において、ドライバ異常姿勢判定部１２は、ドライバに異常が発生していることを報知する警報を、ディスプレイ３１や警報装置３２によって出力させる。さらに、ステップＳ１３において、ドライバ異常姿勢判定部１２は、車両制御装置３０により車両１の各部を制御し、道路の路肩等へ車両１を退避させる緊急退避を開始する。その後、ドライバ状態推定処理を終了する。

【0078】

［第２実施形態］
次に、図９を参照して、第２実施形態による異常予兆判定処理について説明する。図９は、第２実施形態による異常予兆判定処理のフローチャートである。この図９に示す異常予兆判定処理におけるステップＳ６１からＳ６４の各処理は、図７を参照して説明した実施形態の異常予兆判定処理におけるステップＳ５１からＳ５４の各処理と同様であるので、具体的な説明は省略する。

【0079】

図８を参照して説明したように、ＣＧ－ＢＩｚの平均値０を含む中央近傍の領域における、正常群と異常群のＣＧ－ＢＩｚの出現確率分布の差異に基づいて、自律神経系の不全によるドライバの異常予兆を検出することができる。第２実施形態では、異常群のＣＧ－ＢＩｚの出現確率密度が、ＣＧ－ＢＩｚの平均値０を含む中央近傍の領域に隣接する周辺の領域において正常群のＣＧ－ＢＩｚの出現確率密度よりも低いことに着目し、ドライバの異常予兆を検出する条件に加えることで、異常予兆検出の精度をより高めようとするものである。

【0080】

具体的には、ＣＧ－ＢＩｚの平均値０を含む中央近傍の範囲よりもＣＧ－ＢＩｚの絶対値が大きい裾の範囲（平均値０を含む中央近傍の範囲の両側且つ外側の範囲）において、正常群のＣＧ－ＢＩｚの出現確率分布の１σ区間（右上がり斜線の帯）と、異常群のＣＧ－ＢＩｚの出現確率分布の１σ区間（ドットの帯）とが重ならない範囲（例えばＣＧ－ＢＩｚが－０．９以上－０．３５以下、及び０．３５以上０．９以下の範囲）をＢ領域（周辺領域）とする。そして、ドライバ異常予兆判定部１１０は、ドライバの拍動間隔から算出したＣＧ－ＢＩｚがＡ領域内に入る確率ＰＡが、異常予兆閾値ＴＡより高く、且つ、ドライバの拍動間隔から算出したＣＧ－ＢＩｚがＢ領域内に入る確率ＰＢが、異常予兆閾値ＴＢより低い場合に、ドライバの異常予兆が検出されたものと判定する。異常予兆閾値ＴＢは、正常群のＣＧ－ＢＩｚの出現確率分布の代表値－１σがＢ領域内に入る確率より低く、異常群のＣＧ－ＢＩｚの出現確率分布の代表値＋１σがＢ領域内に入る確率より高い値に設定されている。

【0081】

即ち、異常予兆閾値ＴＢは、正常群のＣＧ－ＢＩｚの出現確率分布の代表値－１σを表す曲線（右上がり斜線の帯の下側を確定する曲線）を、Ｂ領域（即ちＣＧ－ＢＩｚが－０．９以上－０．３５以下、及び０．３５以上０．９以下の範囲）で積分した値より小さく、異常群のＣＧ－ＢＩｚの出現確率分布の代表値＋１σを表す曲線（ドットの帯の上側を画定する曲線）を、Ｂ領域で積分した値より大きい値に設定され、例えばＴＢ＝０．５である。Ｂ領域を規定するＣＧ－ＢＩｚの数値範囲及び異常予兆閾値ＴＢは、正常群及び異常群の心拍データに基づいて予め設定されメモリ１０ｂに記憶されている。

【0082】

図９のステップＳ６４において、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データに含まれるＣＧ－ＢＩｚがＡ領域内に入る確率ＰＡを算出した後、ステップＳ６５において、ドライバ異常予兆判定部１１０は、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データに含まれるＣＧ－ＢＩｚがＢ領域内に入る確率ＰＢを算出する。

【0083】

次に、ステップＳ６６において、ドライバ異常予兆判定部１１０は、ステップＳ６４で算出した確率ＰＡが、メモリ１０ｂに記憶されている異常予兆閾値ＴＡ（即ち、異常群のＣＧ－ＢＩｚの出現確率分布の代表値－１σがＡ領域内に入る確率ＴＡ）より大きく、且つ、ステップＳ６５で算出した確率ＰＢが、メモリ１０ｂに記憶されている異常予兆閾値ＴＢ（即ち、異常群のＣＧ－ＢＩｚの出現確率分布の代表値＋１σがＢ領域内に入る確率ＴＢ）より小さいか否かを判定する。

【0084】

その結果、ＰＡがＴＡより大きく且つＰＢがＴＢより小さい場合（ステップＳ６６：ＹＥＳ）、ドライバ異常予兆判定部１１０は、ステップＳ６７においてドライバの異常予兆を検出したと判定する。一方、ＰＡがＴＡ以下又はＰＢがＴＢ以上の場合（ステップＳ６６：ＮＯ）、ドライバ異常予兆判定部１１０は、ステップＳ６８においてドライバの異常予兆は検出されないと判定する。ステップＳ６７又はＳ６８の後、ドライバ状態推定処理のメインルーチンに戻る。

【0085】

なお、ステップＳ６６におけるＰＡがＴＡより大きく且つＰＢがＴＢより小さいという条件に、確率ＰＢが異常予兆閾値ＴＢより小さいという判定が継続している時間ＰＢ₂が、予め設定されメモリ１０ｂに記憶されている異常予兆閾値ＴＢ₂（例えば２５秒）より長いという条件を加えて、ドライバの異常予兆を検出するようにしてもよい。

【0086】

［実施例］
次に、図１０から図１３を参照して、本実施形態の異常予兆検出装置１００によるドライバの異常予兆検出の実施例を説明する。図１０から図１３は、拍動間隔ＢＩ、標準化した粗視化拍動間隔ＣＧ－ＢＩｚ、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データに含まれるＣＧ－ＢＩｚがＡ領域に入る確率ＰＡ及びＢ領域に入る確率ＰＢの、それぞれの時間変化を示すタイムチャートである。特に、図１０はてんかんの発作が生じる前の状態を示し、図１１は交感神経系不全の状態を示し、図１２は副交感神経系不全の状態を示し、図１３は自律神経系の異常がない状態を示している。

【0087】

図１０に示すてんかんの例では、拍動間隔ＢＩが急激に低下する約６００秒の時点においててんかんの発作が生じているが、この発作前から副交感神経系の不全が生じている。副交感神経系の不全に伴い拍動間隔ＢＩの揺らぎが減少することにより、約２０秒の時点から、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データに含まれるＣＧ－ＢＩｚがＡ領域に入る確率ＰＡが上昇し始め、約３０秒から約８０秒の時点まで確率ＰＡが異常予兆閾値ＴＡ（図１０では０．０９）を超えている。また、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データに含まれるＣＧ－ＢＩｚがＢ領域に入る確率ＰＢは、０秒から約１２０秒、約１６０秒から約３２０秒、約３５０秒から約６７０秒の時点において、それぞれ異常予兆閾値ＴＢ（図１０では０．８）より小さくなっている。したがって、図１０の例では、上述した実施形態又は第２実施形態によるドライバ異常予兆判定部１１０は、確率ＰＡが異常予兆閾値ＴＡを超えている約３０秒から約８０秒の時点において、ドライバの異常予兆を検出する。

【0088】

また、図１１に示す交感神経系不全の例では、交感神経による拍動間隔ＢＩへの影響が消失し、副交感神経による抑制が支配的となることにより、拍動間隔ＢＩの揺らぎが小さくなる。その結果、約１８秒から約６８秒の時点まで、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データに含まれるＣＧ－ＢＩｚがＡ領域に入る確率ＰＡが異常予兆閾値ＴＡ（図１１では０．０９）を超えている。また、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データに含まれるＣＧ－ＢＩｚがＢ領域に入る確率ＰＢは、約２０秒から約６８秒の時点において、異常予兆閾値ＴＢ（図１１では０．８）より小さくなっている。したがって、図１１の例では、上述した実施形態によるドライバ異常予兆判定部１１０は、確率ＰＡが異常予兆閾値ＴＡを超えている約１８秒から約６８秒の時点においてドライバの異常予兆を検出する。また、第２実施形態によるドライバ異常予兆判定部１１０は、確率ＰＡが異常予兆閾値ＴＡを超え、且つ、確率ＰＢが異常予兆閾値ＴＢより小さくなっている約２０秒から約６８秒の時点において、ドライバの異常予兆を検出する。

【0089】

また、図１２に示す副交感神経系不全（具体的には心不全）の例では、副交感神経による拍動間隔ＢＩへの影響が消失し、交感神経による促進が支配的となることにより、拍動間隔ＢＩは相対的に大きな変動と小さな変動とに分かれ、中間的な揺らぎが小さくなる。その結果、０秒から１００秒の時点まで、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データに含まれるＣＧ－ＢＩｚがＡ領域に入る確率ＰＡが異常予兆閾値ＴＡ（図１２では０．０９）を超えている。また、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データに含まれるＣＧ－ＢＩｚがＢ領域に入る確率ＰＢは、約３５秒から約９５秒の時点において、異常予兆閾値ＴＢ（図１２では０．８）より小さくなっている。したがって、図１２の例では、上述した実施形態によるドライバ異常予兆判定部１１０は、確率ＰＡが異常予兆閾値ＴＡを超えている０秒から１００秒の時点においてドライバの異常予兆を検出する。また、第２実施形態によるドライバ異常予兆判定部１１０は、確率ＰＡが異常予兆閾値ＴＡを超え、且つ、確率ＰＢが異常予兆閾値ＴＢより小さくなっている約３５秒から約９５秒の時点において、ドライバの異常予兆を検出する。

【0090】

一方、図１３に示す自律神経系の異常がない例では、交感神経と副交感神経とが互いにバランスを取るように働くことにより拍動間隔ＢＩが揺らいでいる。その結果、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データに含まれるＣＧ－ＢＩｚがＡ領域に入る確率ＰＡは異常予兆閾値ＴＡ（図１３では０．０９）を超えず、ＣＧ－ＢＩｚがＢ領域に入る確率ＰＢは異常予兆閾値ＴＢ（図１３では０．８）より大きい。したがって、図１３の例では、上述した実施形態又は第２実施形態によるドライバ異常予兆判定部１１０は、ドライバの異常予兆を検出しない。

【0091】

［変形例］
なお、上述した実施形態では、拍動間隔推定部１０１は、ドライバカメラ２０によって撮影されたドライバの体表面の映像から脈波を検出し、脈波において隣接するピークの時間間隔を拍動間隔ＢＩとして推定すると説明したが、ドライバカメラ２０とは異なるデバイス（例えば、電波式センサ、静電容量センサ、心拍検出機能を備えたスマートウォッチ、心電計など）を用いて脈波（拍動）を検出し、拍動間隔ＢＩを推定するようにしてもよい。

【0092】

［作用・効果］
次に、上述した本実施形態のドライバ異常予兆検出方法及び装置の作用効果を説明する。

【0093】

異常予兆検出装置１００は、ドライバカメラ２０により検出された拍動に基づき、ドライバの拍動間隔ＢＩを推定し、ドライバの拍動間隔ＢＩの所定時間２×Ｓの時系列データを取得し、拍動間隔ＢＩの時系列データを標準化し、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データにおいて、０を中心とする所定範囲内（Ａ領域）に標準化した粗視化拍動間隔ＣＧ－ＢＩｚが入る確率ＰＡを算出し、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データにおいて、０を中心とする所定範囲（Ａ領域）の両側且つ外側の範囲内（Ｂ領域）に標準化した粗視化拍動間隔ＣＧ－ＢＩｚが入る確率ＰＢを算出し、確率ＰＡが所定の異常予兆閾値ＴＡより大きく、且つ、確率ＰＢが所定の異常予兆閾値ＴＢより小さい場合に、ドライバの異常の予兆を検出したと判定するので、数十秒程度の短時間の拍動間隔ＢＩの時系列データからでも、標準化した粗視化拍動間隔ＣＧ－ＢＩｚの時系列データを取得してＡ領域にＣＧ－ＢＩｚが入る確率ＰＡ及びＢ領域にＣＧ－ＢＩｚが入る確率ＰＢを算出し、異常予兆の検出を行うことができる。これにより、高応答性及び高信頼性を両立してドライバの異常予兆を検出することができる。

【0094】

また、０を中心とする所定範囲（Ａ領域）は、自律神経系に異常のある被験者群から取得された標準化した粗視化拍動間隔ＣＧ－ＢＩｚの出現確率分布のピークが、自律神経系が正常な被験者群から取得された標準化した粗視化拍動間隔ＣＧ－ＢＩｚの出現確率分布のピークよりも高く突出する中央領域に含まれ、０を中心とする所定範囲の両側且つ外側の範囲（Ｂ領域）は、中央領域の両側且つ外側において、自律神経系に異常のある被験者群から取得された標準化した粗視化拍動間隔ＣＧ－ＢＩｚの出現確率分布が、自律神経系が正常な被験者群から取得された標準化した粗視化拍動間隔ＣＧ－ＢＩｚの出現確率分布よりも低い周辺領域に含まれているので、自律神経系に異常がある場合と正常な場合とで明確な差異が存在する領域で異常予兆の判定を行うことができる。これにより、ドライバの異常予兆検出の信頼性を高めることができる。

【0095】

また、異常予兆閾値ＴＡは、自律神経系が正常な被験者群から取得された標準化した粗視化拍動間隔ＣＧ－ＢＩｚの出現確率分布を、０を中心とする所定範囲（Ａ領域）で積分した値より大きく、自律神経系に異常のある被験者群から取得された標準化した粗視化拍動間隔ＣＧ－ＢＩｚの出現確率分布を、０を中心とする所定範囲（Ａ領域）で積分した値より小さく、異常予兆閾値ＴＢは、自律神経系が正常な被験者群から取得された標準化した粗視化拍動間隔ＣＧ－ＢＩｚの出現確率分布を、０を中心とする所定範囲（Ａ領域）の両側且つ外側の範囲（Ｂ領域）で積分した値より小さく、自律神経系に異常のある被験者群から取得された標準化した粗視化拍動間隔ＣＧ－ＢＩｚの出現確率分布を、０を中心とする所定範囲の両側且つ外側の範囲（Ｂ領域）で積分した値より大きいので、０を中心とする所定範囲（Ａ領域）における自律神経系に異常がある場合と正常な場合との境界を異常予兆閾値ＴＡとし、０を中心とする所定範囲の両側且つ外側の範囲（Ｂ領域）における自律神経系に異常がある場合と正常な場合との境界を異常予兆閾値ＴＢとして、異常予兆の判定を行うことができる。これにより、ドライバの異常予兆検出の信頼性を高めることができる。

【0096】

また、拍動間隔に対する粗視化処理及び異常予兆判定処理は、ドライバの拍動間隔ＢＩが推定される度に実行されるので、ドライバの自律神経系の異常の予兆が生じた場合に速やかに検出することができる。これにより、高応答性及び高信頼性を両立してドライバの異常予兆を検出することができる。

【0097】

また、ドライバの体表面を撮影するドライバカメラ２０によりドライバの拍動を検出するので、拍動検出のための特殊な装置を用いることなく、低コスト且つドライバの負担なしにドライバの異常予兆検出を行うことができる。

【符号の説明】

【0098】

１ 車両
１０ ドライバ状態推定装置
１０ａ プロセッサ
１０ｂ メモリ
１１ 頭部姿勢推定部
１２ ドライバ異常姿勢判定部
１３ 異常姿勢閾値
２０ ドライバカメラ
３０ 車両制御装置
３１ ディスプレイ
３２ 警報装置
４０ 車両アクチュエータ
４１ 灯火器
４２ ホーン
１００ 異常予兆検出装置
１０１ 拍動間隔推定部
１０２ ドライバ個人認証部
１０３ 個人パラメータ選択部
１０４ ドライバ別第１パラメータ
１０５ ドライバ別第２パラメータ
１０６ 第１パラメータ学習部
１０７ 第２パラメータ学習部
１０８ 拍動間隔粗視化処理部
１０９ バッファ
１１０ ドライバ異常予兆判定部
１１１ 異常予兆閾値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】