特開 2022-130174 居眠り検知装置、検知方法、及びコンピュータプログラム

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公開特許公報(A)

(11)【公開番号】P2022130174

(43)【公開日】2022-09-06

(54)【発明の名称】居眠り検知装置、検知方法、及びコンピュータプログラム

(51)【国際特許分類】

   A61B 5/16 20060101AFI20220830BHJP

   G06N 20/10 20190101ALI20220830BHJP

   A61B 5/18 20060101ALI20220830BHJP

   A61B 5/352 20210101ALI20220830BHJP

【ＦＩ】

A61B5/16 130

G06N20/10

A61B5/18

A61B5/352 100

【審査請求】未請求

【請求項の数】12

【出願形態】ＯＬ

(21)【出願番号】P 2021029195

(22)【出願日】2021-02-25

(71)【出願人】

【識別番号】504132272

【氏名又は名称】国立大学法人京都大学

(74)【代理人】

【識別番号】100111567

【弁理士】

【氏名又は名称】坂本 寛

(72)【発明者】

【氏名】加納 学

(72)【発明者】

【氏名】岩本 洋紀

(72)【発明者】

【氏名】藤原 幸一

(72)【発明者】

【氏名】堀 憲太郎

【テーマコード（参考）】

4C038

4C127

【Ｆターム（参考）】

4C038PP05

4C038PQ03

4C127AA02

4C127BB03

4C127GG02

4C127GG05

4C127GG10

4C127GG11

4C127GG13

4C127GG15

(57)【要約】

【課題】高精度で居眠りを検知する居眠り検知装置を提供する。
【解決手段】居眠り検知装置１００は、居眠りを検知する検知装置であって、居眠りを検知するための検知処理を実行する演算装置１を備え、検知処理は、被験者の心電信号から生成されたＲＲＩ（R-R Interval）から、居眠り検知のための指標値を得、指標値が第１の閾値を越える継続時間を計時し、継続時間が第２の閾値を超えると被験者の居眠りを検知する、ことを含む。
【選択図】図１

【特許請求の範囲】

【請求項1】

居眠りを検知する検知装置であって、
居眠りを検知するための検知処理を実行する演算装置を備え、
前記検知処理は、
被験者の心電信号から生成されたＲＲＩ（R-R Interval）から、居眠り検知のための指標値を得、
前記指標値が第１の閾値を越える継続時間を計時し、
前記継続時間が第２の閾値を超えると前記被験者の居眠りを検知する、ことを含む
居眠り検知装置。

【請求項2】

前記居眠り検知のための指標値を得ることは、対象データを入力値とし、前記対象データの異常を検知するために用いられる値を出力するモデルに、ＲＲＩから得られる値を入力値として与え、前記モデルからの出力値を用いて前記指標値を得ることを含む
請求項１に記載の居眠り検知装置。

【請求項3】

前記モデルはオートエンコーダであって、
前記居眠り検知のための前記指標値を得ることは、
オートエンコーダに対して、前記被験者の心電信号から生成されたＲＲＩを入力データとして与えて前記入力データの再構築データである出力データを取得し、
前記被験者の心電信号から生成されたＲＲＩからの前記出力データの誤差を前記指標値として算出する、ことを含む
請求項２に記載の居眠り検知装置。

【請求項4】

前記オートエンコーダは、覚醒時の心電信号から生成されたＲＲＩを学習用入力データとして与えて学習されている
請求項３に記載の居眠り検知装置。

【請求項5】

前記モデルはＭＳＰＣ（Multivariate Statistical Process Control：多変量統計的プロセス管理）を利用した識別器であって、
前記居眠り検知のための前記指標値を得ることは、
前記被験者の心電信号から生成されたＲＲＩから、心拍に関する指標を生成し、
前記心拍に関する前記指標のうちの複数の変数ＨＲＶを含むデータセットを前記識別器に入力し、前記居眠り検知のための前記指標値として統計量を得ることを含む
請求項２に記載の居眠り検知装置。

【請求項6】

前記複数の変数ＨＲＶは、前記被験者の心電信号から生成されたＲＲＩから得られたポアンカレ指標に含まれる変数のうちの少なくとも１つを含む
請求項５に記載の居眠り検知装置。

【請求項7】

前記データセットは、前記複数の変数ＨＲＶを正準相関分析して得られた正準変数のうちの複数の正準変数を含む
請求項５又は６に記載の居眠り検知装置。

【請求項8】

前記データセットは、前記被験者の心電信号の複数の心拍それぞれから得られる前記心拍に関する前記指標から生成される時系列変化を有するデータを含む
請求項５～７のいずれか一項に記載の居眠り検知装置。

【請求項9】

前記データセットは、前記被験者の心電信号から生成されたＲＲＩから得られたポアンカレ指標に含まれる変数のうちの少なくとも１つを含んだ、前記心拍に関する前記指標のうちの複数の変数ＨＲＶから得られる、時系列変化を有するデータを含み、
前記時系列変化を有するデータは、前記複数の変数ＨＲＶを正準相関分析して得られた正準変数のうちの複数の正準変数それぞれについて、前記被験者の心電信号の複数の心拍それぞれから得られる前記心拍に関する前記指標から生成される
請求項５に記載の居眠り検知装置。

【請求項10】

前記居眠り検知のための前記指標値を得ることは、オートエンコーダ、ＭＳＰＣを利用した識別器、ＬＳＴＭ（long short-term memory）を利用した深層学習モデル、及び、セルフ・アテンション（self-attention）を利用した深層学習モデル、のうちの少なくとも１つを用いることを含む
請求項１に記載の居眠り検知装置。

【請求項11】

居眠りを検知する方法であって、
被験者の心電信号から生成されたＲＲＩから、居眠り検知のための指標値を得、
前記指標値が第１の閾値を越える継続時間を計時し、
前記継続時間が第２の閾値を超えると前記被験者の居眠りを検知する、ことを含む
検知方法。

【請求項12】

コンピュータに居眠りを検知するための検知処理を実行させるためのコンピュータプログラムであって、
前記検知処理は、
被験者の心電信号から生成されたＲＲＩから、居眠り検知のための指標値を得、
前記指標値が第１の閾値を越える継続時間を計時し、
前記継続時間が第２の閾値を超えると前記被験者の居眠りを検知する、ことを含む
コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、居眠り検知装置、検知方法、及びコンピュータプログラムに関する。

【背景技術】

【0002】

被験者の居眠りを検知する技術として、例えば、特開２０１５－２２６６９６号公報（以下、特許文献１）では、被験者の心電を利用する方法が提案されている。

【先行技術文献】

【特許文献】

【0003】

【特許文献1】特開２０１５－２２６６９６号公報

【発明の概要】

【0004】

このよう居眠り検知は、車両などの運転手の居眠りを検知する際に用いられることも想定される。そのため、検知精度の更なる改善が望まれる。

【0005】

ある実施の形態に係る居眠り検知装置は、居眠りを検知する検知装置であって、居眠りを検知するための検知処理を実行する演算装置を備え、検知処理は、被験者の心電信号から生成されたＲＲＩ（R-R Interval）から、居眠り検知のための指標値を得、指標値が第１の閾値を越える継続時間を計時し、継続時間が第２の閾値を超えると被験者の居眠りを検知する、ことを含む。

【0006】

ある実施の形態に係る検知方法は、居眠りを検知する方法であって、被験者の心電信号から生成されたＲＲＩから、居眠り検知のための指標値を得、指標値が第１の閾値を越える継続時間を計時し、継続時間が第２の閾値を超えると被験者の居眠りを検知する、ことを含む。

【0007】

ある実施の形態に係るコンピュータプログラムは、コンピュータに居眠りを検知するための検知処理を実行させるためのコンピュータプログラムであって、検知処理は、被験者の心電信号から生成されたＲＲＩから、居眠り検知のための指標値を得、指標値が第１の閾値を越える継続時間を計時し、継続時間が第２の閾値を超えると被験者の居眠りを検知する、ことを含む。

【0008】

更なる詳細は、後述の実施形態として説明される。

【図面の簡単な説明】

【0009】

【図1】図１は、実施の形態に居眠り検知装置（以下、検知装置）の構成の概略を示す図である。

【図2】図２の（ａ）は心電信号の一例を示す図であり、（ｂ）は（ａ）の心電信号に対応するＲ波データを示す図である。

【図3】図３は、検知装置の演算装置の構成の一例を示すブロック図である。

【図4】図４は、ポアンカレ指標、及び、Ｔ２統計量，Ｑ統計量を説明するための図である。

【図5】図５は、データセットの正準相関分析を説明するための図である。

【図6】図６は、データセットのダイナミック化を行う方法の具体例を説明するための図である。

【図7】図７は、第１の実施の形態に係る検知装置での居眠りの検知方法の一例を表したフローチャートである。

【図8】図８は、図７のフローチャートのステップＳ３００の判定処理の一例を表したフローチャートである。

【図9】図９は、発明者らによる、第１の実施の形態に係る検知方法において、指標値としてＱ統計量及びＴ２統計量のいずれを用いる方が検知精度がよいかを検証するための試験結果を表した図である。

【図10】図１０は、発明者らによる、第１の実施の形態に係る検知方法において、識別器に入力するデータセットとして用いる指標値としてＨＲＶ指標の値をそのまま用いた場合に得られたＲＯＣ（Receiver Operating Characteristic）曲線である。

【図11】図１１は、発明者らによる、第１の実施の形態に係る検知方法において、識別器に入力するデータセットとして用いる指標値としてポアンカレ指標の値のみを用いた場合に得られたＲＯＣ曲線である。

【図12】図１２は、発明者らによる、第１の実施の形態に係る検知方法において、識別器に入力するデータセットとして用いる指標値として、ＨＲＶ指標及びポアンカレ指標の値を正準相関分析して得られた正準変数を用いた場合に得られたＲＯＣ曲線である。

【図13】図１３は、発明者らによる、第１の実施の形態に係る検知方法において、識別器に入力するデータセットとして用いる指標値として、ＨＲＶ指標及びポアンカレ指標の値をダイナミック化して得られた時系列変化を有する時系列データを用いた場合に得られたＲＯＣ曲線である。

【図14】図１４は、発明者らによる、第１の実施の形態に係る検知方法において、識別器に入力するデータセットとして用いる指標値として、ＨＲＶ指標及びポアンカレ指標の値を正準相関分析して得られた正準変数をダイナミック化して得られた時系列変化を有する時系列データを用いた場合に得られたＲＯＣ曲線である。

【図15】図１５は、発明者らによる、第１の実施の形態に係る検知方法におけるダイナミック化において、何拍分過去のデータを取り入れるのがよいかを検証した試験の結果を表した図である。

【図16】図１６は、第２の実施の形態に係る検知装置での居眠りの検知方法の一例を表したフローチャートである。

【図17】図１７は、発明者らによる、被験者が居眠りの状態を含む心電信号に対する第２の実施の形態に係る検知方法についての評価実験の結果を表した図である。

【図18】図１８は、発明者らによる、被験者が常に覚醒状態である心電信号に対する第２の実施の形態に係る検知方法についての評価実験の結果を表した図である。

【図19】図１９は、発明者らによる、第２の実施の形態に係る検知方法において用いるオートエンコーダの構成がＬＳＴＭとセルフ・アテンションとのそれぞれの場合についての評価試験の結果を表した図である。

【発明を実施するための形態】

【0010】

＜１．居眠り検知装置、検知方法、及びコンピュータプログラムの概要＞

【0011】

（１）ある実施の形態に係る居眠り検知装置は、居眠りを検知する検知装置であって、居眠りを検知するための検知処理を実行する演算装置を備え、検知処理は、被験者の心電信号から生成されたＲＲＩ（R-R Interval）から、居眠り検知のための指標値を得、指標値が第１の閾値を越える継続時間を計時し、継続時間が第２の閾値を超えると被験者の居眠りを検知する、ことを含む。

【0012】

居眠り検知のための指標値は、例えば、下記の誤差や統計量などである。第１の閾値は、指標値が居眠りと判定され得る値である。指標値が第１の閾値を超えたと判定されることにより、被験者の眠りの可能性が判定される。

【0013】

居眠り検知のための指標値を得るためには、オートエンコーダや、ＭＳＰＣ（Multivariate Statistical Process Control：多変量統計的プロセス管理）を利用した識別器や、ＬＳＴＭ（long short-term memory）を利用した深層学習モデルやセルフ・アテンション（self-attention）を利用した深層学習モデル、などを用いることができる。

【0014】

第２の閾値は、居眠りの可能性があると判定された状態の継続時間が居眠りと判定し得る継続時間であって、例えば１０秒程度である。第２の閾値として１０秒程度が採用し得ることは、後述する、発明者らが行った評価実験によって、第２の閾値を１０秒と設定したときに、被験者の居眠り、及び、居眠りからの覚醒が精度よく検知されることが検証されている（図１７及び図１８）。これにより、指標値が第１の閾値を越えたことによって居眠りを判定するより高精度で居眠りを検知することができる。このことは、後述する発明者らによる検証試験によっても検証された。

【0015】

（２）好ましくは、居眠り検知のための指標値を得ることは、対象データを入力値とし、対象データの異常を検知するために用いられる値を出力するモデルに、ＲＲＩから得られる値を入力値として与え、モデルからの出力値を用いて指標値を得ることを含む。モデルは演算モデルであって、例えば、機械学習されたモデルである。具体的には、オートエンコーダや、ＬＳＴＭを利用した深層学習モデルやセルフ・アテンションを利用した深層学習モデル、などである。モデルは、他の例として、入力値に対する統計処理を行うモデルであって、具体的には、ＭＳＰＣなどである。モデルを用いることによって、モデルからの出力によって指標値の算出に必要な値が得られる。

【0016】

（３）好ましくは、モデルはオートエンコーダであって、指標値を得ることは、オートエンコーダに対して、被験者の心電信号から生成されたＲＲＩを入力データとして与えて入力データの再構築データである出力データを取得し、出力データの、被験者の心電信号から生成されたＲＲＩからの誤差を指標値として算出する、ことを含む。これにより、容易に高精度で居眠りを検知することができる。

【0017】

（４）好ましくは、オートエンコーダは、覚醒時の心電信号から生成されたＲＲＩを学習用入力データとして与えて学習されている。この場合、第１の閾値は、入力データが覚醒時の心電信号から生成されたＲＲＩから得られた入力データとは異なる、つまり、居眠り時を含む心電信号から生成されたＲＲＩから得られた入力データよりある程度に大きい値とすることにより、誤差と第１の閾値とを比較することによって居眠りの可能性を判定できる。

【0018】

（５）好ましくは、モデルはＭＳＰＣを利用した識別器であって、指標値を得ることは、被験者の心電信号から生成されたＲＲＩから、心拍に関する指標を生成し、指標のうちの複数の変数ＨＲＶを含むデータセットを前記識別器に入力し、指標値として統計量を得ることを含む。心拍に関する指標は、例えば、心拍変動（ＨＲＶ：Heart Rate Variability）指標である。

【0019】

統計量は、例えば、Ｑ統計量及びＴ２統計量の少なくとも一方である。Ｑ統計量は、図４の式（５）で表され、Ｔ２統計量は、図４の式（４）で表される。この場合、第１の閾値は、Ｑ統計量及び／又はＴ２統計量が、居眠りと判定され得る値であって、一例として、管理限界値である。管理限界値は、一例として、覚醒している人から得られるＲＲＩのみから生成されたデータセットを識別器に入力して得られる統計量である。これにより、統計量と第１の閾値とを比較することによって居眠りの可能性を判定できる。

【0020】

（６）好ましくは、複数の変数ＨＲＶは、被験者の心電信号から生成されたＲＲＩから得られたポアンカレ指標に含まれる変数のうちの少なくとも１つの変数を含む。これにより、より精度よく居眠りが検知されることが、発明者らによる検証試験によって検証された。

【0021】

（７）好ましくは、データセットは、複数の変数ＨＲＶを正準相関分析して得られた正準変数のうちの複数の正準変数を含む。これにより、より精度よく居眠りが検知されることが、発明者らによる検証試験によって検証された。

【0022】

（８）好ましくは、データセットは、被験者の心電信号の複数の心拍それぞれから得られる心拍に関する指標から生成される時系列変化を有するデータを含む。これにより、より精度よく居眠りが検知されることが、発明者らによる検証試験によって検証された。

【0023】

（９）好ましくは、データセットは、被験者の心電信号から生成されたＲＲＩから得られたポアンカレ指標に含まれる変数のうちの少なくとも１つを含んだ、心拍に関する指標のうちの複数の変数ＨＲＶから得られる、時系列変化を有するデータを含み、時系列変化を有するデータは、複数の変数ＨＲＶを正準相関分析して得られた正準変数のうちの複数の正準変数それぞれについて、被験者の心電信号の複数の心拍それぞれから得られる心拍に関する指標から生成される。これにより、より精度よく居眠りが検知されることが、発明者らによる検証試験によって検証された。

【0024】

（１０）好ましくは、居眠り検知のための前記指標値を得ることは、オートエンコーダ、ＭＳＰＣを利用した識別器、ＬＳＴＭを利用した深層学習モデル、及び、セルフ・アテンションを利用した深層学習モデル、のうちの少なくとも１つを用いることを含む。

【0025】

（１１）ある実施の形態に係る検知方法は居眠りを検知する方法であって、被験者の心電信号から生成されたＲＲＩから、居眠り検知のための指標値を得、指標値が第１の閾値を越える継続時間を計時し、継続時間が第２の閾値を超えると被験者の居眠りを検知する、ことを含む。これにより、（１）～（１０）に記載の検知装置が実現される。

【0026】

（１２）ある実施の形態に係るコンピュータプログラムは、コンピュータに居眠りを検知するための検知処理を実行させるためのコンピュータプログラムであって、検知処理は、被験者の心電信号から生成されたＲＲＩから、居眠り検知のための指標値を得、指標値が第１の閾値を越える継続時間を計時し、継続時間が第２の閾値を超えると被験者の居眠りを検知する、ことを含む。これにより、コンピュータを（１）～（１０）に記載の検知装置として機能させることができる。

【0027】

＜２．居眠り検知装置、検知方法、及びコンピュータプログラムの例＞

【0028】

［第１の実施の形態］

【0029】

図１は、本実施の形態に居眠り検知装置（以下、検知装置）の構成の概略を示す図である。図を参照して、検知装置１００は、演算装置１と心拍計測器２とを含む。

【0030】

検知装置１００は、被験者の心拍に基づいて、被験者の居眠りを検知する検知装置である。被験者は、例えば、車両の運転者である。車両は、バス、タクシー、乗用車、又は、列車などである。演算装置１は、例えば、このような車両に搭載可能な装置、被験者が携帯するなどして保持可能な装置、及び、それらの装置とインターネットなどの通信を介して通信可能なサーバ、の少なくとも１つである。

【0031】

居眠りを検知することは、覚醒状態であることを検知することを含む。すなわち、被験者の状態を、居眠りの状態か覚醒状態かの２状態として、少なくとも一方の状態を検知することであってよい。好ましくは、検知装置１００は、被験者の居眠りと、覚醒との両状態を検知する。

【0032】

演算装置１と心拍計測器２とは通信可能である。通信は、一例として、無線通信であってもよい。無線通信は、たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの短距離無線通信、インターネットを介した通信、などである。

【0033】

心拍計測器２は、被験者Ｐの身体に取り付けられ、被験者Ｐの心拍を計測するための小型軽量なウェアラブルデバイスである。心拍計測器２には、被験者Ｐの体表に取り付けられる複数（図１では３つ）の電極２１が接続されている。３つの電極２１は、たとえばプラス電極、マイナス電極、及び、接地電極である。

【0034】

心拍計測器２として機能するウェアラブル端末としては、例えば、心拍計測機能を有するスマートウォッチが挙げられる。なお、ウェアラブル端末自体が、演算装置１及び心拍計測器２として機能してもよい。

【0035】

図２の（ａ）は、心電信号の一例を示す図である。図２の（ａ）の縦軸は電位、横軸は時間を示している。電極２１を用いて心拍を計測すると、図２の（ａ）に示すようなＰ～Ｔ波からなる電位変化が周期的に現れる。単位周期の電位変化の中で最も電位の高いピークをＲ波といい、Ｒ波のタイミングで心臓が拍動する。心拍計測器２は、Ｒ波を示すＲ波データを演算装置１に送信する。

【0036】

図２の（ｂ）は、図２の（ａ）の心電信号に対応するＲ波データを示す。図２の（ｂ）に示すように、Ｒ波データは、一例として、心電信号におけるＲ波に対応する期間（信号強度Ｉが所定の強度閾値Ｉｔｈを超える期間）が「１」に設定され、それ以外の期間が「０」に設定された矩形パルス列を表すデータである。

【0037】

演算装置１は、心拍計測器２から送信されるＲ波データに基づいて、被験者が居眠り状態にあることを検知する検知装置として機能する。演算装置１は、たとえば、スマートフォンやパーソナルコンピュータなどの通信端末である。又は、演算装置１は、車載装置などの、被験者が操縦する装置に搭載される、あるいは、車載装置などに搭載され得る装置である。

【0038】

図３は、演算装置１の構成の一例を示すブロック図である。図３を参照して、演算装置１は、処理部１０を含む。処理部１０は、専用のマイクロコンピュータなどから構成される。また、演算装置１はメモリ１２を有する。メモリ１２には、処理部１０で演算を行うためのプログラム１２１が記憶されている。プログラム１２１は、演算装置１での処理のためのプログラムコードを有する。プログラム１２１は、プログラム１２１が格納されたメモリに接続された処理部１０によって読み取られ、実行される。

【0039】

プログラム１２１は、コンピュータ読取り可能である非一時的な記録媒体に記録されたプログラム製品として提供されてもよい。プログラム１２１は、ネットワークを介したダウンロードによって提供されてもよい。また、プログラム１２１は、アプリケーションプログラムとして提供されてもよいし、その一部または全部が、コンピュータのオペレーティングシステム（ＯＳ）に含まれていてもよい。

【0040】

なお、以降の説明では、演算装置１での処理はプログラム１２１によって実現されるものとするが、他の例として、回路素子その他のハードウェアによって実現されてもよい。

【0041】

演算装置１は、心拍計測器２と通信する通信部１３を有する。通信部１３は、たとえば、心拍計測器２から送信されたＲ波を示す無線信号を受信し、処理部１０に入力する。又は、通信部１３は、Ｒ波を示すデータを記録した記録媒体にアクセスし、記録媒体からデータを読み出す読み出し装置であってもよい。つまり、データを取得することは、通信によってデータを受信すること、及び、記録媒体からデータを読み出すこと、を含む。

【0042】

処理部１０は、メモリ１２に記憶されているプログラム１２１を実行することで居眠りを検知するための検知処理を実行する。検知処理は、ＲＲＩ算出処理１０１を含む。ＲＲＩ算出処理１０１は、通信部１３から入力された、図２の（ｂ）に示すようなＲ波データからＲ波の間隔であるＲＲＩ（R-R Interval）を算出し、ＲＲＩデータを得ることを含む。ＲＲＩデータは、ＲＲＩ変数の時系列データである。

【0043】

他の例として、心拍計測器２は、Ｒ波データからＲＲＩを検知し、ＲＲＩデータを含む心拍データを出力してもよい。通信部１３は、心拍計測器２から出力された心拍データを受信する。この場合、処理部１０は、ＲＲＩ算出処理１０１に替えて、心拍データに含まれるＲＲＩデータを取り出す処理を実行する。つまり、心拍計測器２がＲＲＩデータを含む心拍データを出力することによって、演算装置１はＲＲＩを算出する処理が不要となる。また、心拍計測器２から送信されるデータがＲ波を示す無線信号よりもサイズの小さいＲＲＩデータとなり、データ送信が容易になる。

【0044】

検知処理は、指標値算出処理１０２を含む。指標値算出処理１０２は、ＲＲＩを用いて居眠り検知のための指標値を算出することを含む。詳しくは、指標値算出処理１０２は、算出用のモデル１０５を用い、ＲＲＩから得られる値をモデル１０５に入力し、モデル１０５からの出力値を得ることを含む。モデル１０５は、対象データを入力値とし、対象データの異常を検知するために用いられる値を出力するモデルである。

【0045】

居眠り検知のための指標値を得ることは、一例として、ＲＲＩから、心拍に関する指標を生成することを含む。心拍に関する指標は、心拍変動（ＨＲＶ：Heart Rate Variability）指標（以下、ＨＲＶ指標）が挙げられる。

【0046】

ＨＲＶ指標は、下の１０指標を含む。
１）ｍｅａｎＮＮ：ＲＲＩの平均値
２）ＳＤＮＮ：ＲＲＩの標準偏差
３）Ｔｏｔａｌ Ｐｏｗｅｒ：ＲＲＩの分散
４）ＲＭＳＳＤ：隣接するＲＲＩの差の２乗平均平方根
５）ＮＮ５０：隣接するＲＲＩの差が５０ｍｓを超えた回数
６）ＬＦ：ＰＳＤ（Power Spectrum Density：ＲＲＩデータのパワースペクトル密度）の低周波（０．０４～０．１５Ｈｚ）のパワースペクトル
７）ＨＦ：ＰＳＤの高周波（０．１５～０．４０Ｈｚ）のパワースペクトル
８）ＬＦ／ＨＦ：ＨＦに対するＬＦの比
９）ＬＦｎｕ：ＬＦ／（ＬＦ＋ＨＦ）で定義される補正ＬＦ
１０）ＨＦｎｕ：ＨＦ／（ＬＦ＋ＨＦ）で定義される補正ＨＦ

【0047】

ＲＭＳＳＤは、ＲＲＩの変動が多いと値が大きくなる。ＲＭＳＳＤは、自立神経系の活動の指標として用いられる。通常のＲＲＩの変動は５０ミリ秒以下である。そのため、ＮＮ５０は激しいＲＲＩの変動の指標となる。つまり、ＮＮ５０が大きいと、ＲＲＩの変動が大きいことを示している。

【0048】

ＬＦは、主に交感神経系の活動の指標とされ、ＨＦは、主に副交感神経系の活動の指標とされている。そのため、ＬＦ／ＨＦは、交感神経系と副交感神経系との活動の比を表し、値が大きいほど交感神経系優位、値が小さいほど副交感神経系優位であることを示している。ＬＦｎｕは、感神経活動の変化を強調した指標値であり、ＨＦｎｕは副交感神経活動の変化を強調した指標値である。

【0049】

居眠り検知のための指標値を得ることは、さらに、ポワンカレ指標を生成することを含んでもよい。図４は、ポアンカレ指標を説明するための図であって、横軸にＲＲＩ、縦軸に１拍後のＲＲＩをプロットしたものである。ポアンカレ指標は、図４の楕円Ｅで表された、下の３指標を含む。３指標は、いずれも、ＲＲＩの変動の大きさを表す。
１）ＳＤ１：楕円Ｅの短軸Ａ２の標準偏差
２）ＳＤ２：楕円Ｅの長軸Ａ１の標準偏差
３）ＳＤ１／ＳＤ２：ＳＤ２に対するＳＤ１の比

【0050】

居眠り検知のための指標値を得ることは、ＨＲＶ指標の上の１０指標のうちの複数の指標が変数として時系列に並んだデータセットをモデル１０５に入力し、モデル１０５からの出力値を得ることを含む。第１の実施の形態に係る検知装置１００においては、モデル１０５は、入力値に対する統計処理を行う演算モデルであって、一例として、ＭＳＰＣ（Multivariate Statistical Process Control：多変量統計的プロセス管理）を利用した識別器である。すなわち、第１の実施の形態においては、居眠り検知のための指標値を得ることは、ＨＲＶ指標の上の１０指標のうちの複数の指標が変数として時系列に並んだデータセットに識別器を適用することを含む。

【0051】

ＭＳＰＣは、主成分分析に基づいた統計手法である。主成分分析は、データの特徴抽出、及び、次元圧縮を目的とする多変量解析であり、変数間の相関関係を捉えるために、変数の線形結合によって、主成分と呼ばれる新たな合成変数を作り出すものである。

【0052】

ＭＳＰＣでは、データを最もよく表現できる方向に第１主成分を設定し、その第１主成分と直交する空間の中で、第１主成分では表現できないデータの変動を最もよく表現できる方向に第２主成分を設定するという手順で、主成分を次々と設定する。データを最もよく表現する方向とは、主成分得点の分散が最大となる方向であり、主成分得点とは、主成分軸上の座標、すなわち主成分が張る空間にデータを射影した値を指す。図４の例では、長軸Ａ１の方向が第１主成分方向、短軸Ａ２の方向が第２主成分方向となる。

【0053】

ここで、変数の数Ｐ、サンプル数Ｎを用いて、データ行列Ｘを図４の式（１）のように定義する。各変数は標準化されているとする。また、直交行列Ｕ，Ｖ、及び、対角要素に特異値ｓ，ｒが降順に並んだ対角行列Ｓを用いて、データ行列Ｘの特異値分解を図４の式（２）のように定義する。

【0054】

このとき、採用する主成分の数Ｒを用いて、第ｒ主成分は負荷量行列Ｖ_Ｒの第ｒ列ｖｒで与えられ、第ｒ主成分ｔｒは、直交行列Ｕ_Ｒの第ｒ列ｖｒを用いて、図４の式（３）で得られる。

【0055】

第１の実施の形態において、モデル１０５は、時系列に並んだデータセットが入力されると、ＭＳＰＣに従ってＱ統計量及びＴ２統計量の少なくとも一方を出力する。指標値算出処理１０２においては、モデル１０５が出力した値を居眠り検知のための指標値とする。Ｑ統計量及びＴ２統計量は、変数の正常値からの乖離度合を評価する指標である。

【0056】

Ｔ２統計量は、元の変数を圧縮して得られる主成分空間内における、平均から各サンプルまでの距離を表す。すなわち、Ｔ２統計量は、入力されたデータセットの、平均からの乖離度を表す。詳しくは、Ｔ２統計量は、図４の式（３）で表された第ｒ主成分ｔｒ、及び、第ｒ主成分得点ｔｒの標準偏差σｔｒを用いて、図４の式（４）で表される。Ｔ２統計量は、マハラノビス距離に対応している。つまり、Ｔ２統計量が小さいほど、サンプルはモデル構築データの平均に近いと言える。

【0057】

Ｑ統計量は、入力されたデータセットの変数間の相関からの逸脱を評価する指標である。Ｑ統計量によって、変数間の相関関係に異常が発生していることを検出できる。Ｑ統計量は、残差から計算されるものであって、詳しくは図４の式（５）で表される。Ｑ統計量は二乗予測誤差とも呼ばれ、データのうち、モデルによっては表現できない部分を表すものとされる。ＭＳＰＣではＴ２統計量とＱ統計量とを同時に監視し、いずれか一方でも管理限界を超えた場合に異常と判定する。

【0058】

モデル１０５に入力されるデータセットは、１０指標それぞれの値を要素として、各指標の値が時系列に並んだものであってもよいし、そのうちの一部の複数の指標を要素として、その値が時系列に並んだものであってもよい。好ましくは、モデル１０５に入力されるデータセットは、さらに、ポアンカレ指標の上の３指標のうちの少なくとも１つの指標を要素とする。例えば、入力されるデータセットの要素は、ＨＲＶ指標の上の１０指標とポアンカレ指標の上の３指標との合計１３の指標の値が時系列に並んだものであってもよい。また、正規化されたデータセットであってもよい。

【0059】

好ましくは、居眠り検知のための指標値を得ることにおいて処理部１０では、データセットを正準相関分析し、得られた正準変数からなるデータセットを識別器に入力する。正準相関分析は、複数のデータそれぞれについて線形変換した値の間の相関を得る手法であって、正準相関分析することは、データセットに標本正準計数を掛け合わせることを含む。

【0060】

標本正準計数は、データセットに内在する個人差を重みとして表現する係数である。標本正準計数は、具体的には、図５に示される行列（Ｘ）とそれに対するｏｎｅ－ｈｏｔ行列（Ｙ）とを正準相関分析することで得られる。行列（Ｘ）は、番号ｎ（ｎ＝１，２，３、…，ｎ）が付与されたＮ人の被験者それぞれの、覚醒時に得られたＲＲＩを用いて生成したデータセットを縦に連結した行列である。ｏｎｅ－ｈｏｔ行列は、要素の１つだけを１とし、他の要素を０としたベクトルを指す。具体的には、ｎ人目の時系列データが１で、それ以外を０としたベクトルをＮ個連結したものである。

【0061】

処理部１０では、得られた正準変数の中の少なくとも一部の変数を新たなデータセットとして取り出し、モデル１０５に入力する。例えば、得られた正準変数の中の第１、第１０、第１１、第１２変数を取り出して新たなデータセットとし、モデル１０５に入力する。このとき、好ましくは、新たなデータセットはポアンカレ指標の３指標のうちの少なくとも１つから得られた変数を要素とする。

【0062】

好ましくは、居眠り検知のための指標値を得ることにおいて処理部１０では、データセットをダイナミック化し、得られた時系列変化を有する時系列データのデータセットをモデル１０５に入力する。ダイナミック化するデータセットは、正準相関分析して得られた正準変数からなるデータセットであってもよいし、正準相関分析される前の変数からなるデータセットであってもよい。

【0063】

ダイナミック化することは、新たなデータセットの各要素について、被験者の心電信号の複数の心拍それぞれから得られる、複数の心拍に関する指標の値を用いて、時系列変化を有するデータを生成することを指す。具体的には、ダイナミック化することは、過去のデータを要素として加えることで時系列変化を有するデータとすることであってよい。

【0064】

図６を用いて、第１のデータセットＤ１に対してダイナミック化を行う方法の具体例について説明する。第１のデータセットＤ１は、第１変数、第１０変数、第１１変数、及び、第１２変数の４つの変数それぞれの心拍１～５までの値を要素とした時系列データである。

【0065】

第１のデータセットＤ１のダイナミック化においては、一例として、第１のデータセットＤ１に対して、１拍後の時系列データに相当する第２のデータセットＤ２を用いる。第２のデータセットＤ２は、第１のデータセットＤ１と同様の第１変数、第１０変数、第１１変数、及び、第１２変数の４つの変数それぞれの、第１のデータセットＤ１の最初の心拍から１拍後の心拍２～５までの値を要素とした時系列データである。

【0066】

ダイナミック化では、第１のデータセットＤ１に第２のデータセットＤ２が連結されることによって、第３のデータセットＤ３が生成される。第３のデータセットＤ３は、第１のデータセットＤ１の心拍における第１変数、第１０変数、第１１変数、及び、第１２変数それぞれの心拍１～４までの値と、心拍における第１変数、第１０変数、第１１変数、及び、第１２変数それぞれの１拍後の心拍２～５までの値との、８変数、３２個の要素からなる時系列データである。

【0067】

第１のデータセットＤ１のダイナミック化においては、さらに、第１のデータセットＤ１に対して、さらに第２のデータセットＤ２の最初の心拍から後の心拍のデータセットを結合してもよい。さらに後の拍は、例えば２拍後であってよい。図６の例で、さらに２拍後のデータセットを結合すると、生成されるデータセットは、１２変数、４８個の要素からなる時系列データとなる。

【0068】

指標値算出処理１０２では、ダイナミック化して得られた時系列変化を有するデータセット、又は、そのデータセットを正規化したものをモデル１０５に入力することによって、モデル１０５の出力値としてＱ統計量及びＴ２統計量を得、それらの少なくとも一方を指標値とする。

【0069】

検知処理は、判定処理１０３を含む。判定処理１０３は、指標値算出処理１０２によって連続する心拍から算出された複数の指標値を第１の閾値と比較し、第１の閾値を越える継続時間ＤＴ１、及び、第１の閾値を下回る継続時間ＤＴ２を計時することを含む。指標値は、識別器にデータセットを入力することによって得られるＱ統計量及びＴ２統計量の少なくとも一方である。

【0070】

第１の閾値は、Ｑ統計量及び／又はＴ２統計量が、居眠りと判定され得る値であって、一例として、管理限界値Ｑ０及び／又は管理限界値Ｔ０である。管理限界値Ｑ０は、一例として、覚醒している人から得られるＲＲＩのみであって、居眠り時のＲＲＩを含まないＲＲＩから生成されたデータセットをモデル１０５に入力して得られるＱ統計量である。管理限界値Ｔ０は、一例として、覚醒している人から得られるＲＲＩのみであって、居眠り時のＲＲＩを含まないＲＲＩから生成されたデータセットをモデル１０５に入力して得られるＴ２統計量である。管理限界値は、他の例として、覚醒時のＱ統計量及び／又はＴ２統計量として、予め記憶されている値を用いてもよい。

【0071】

判定処理１０３は、指標値を第１の閾値と比較することによって、被験者の心電信号から得られた指標値が、覚醒時の心電信号から得られた指標値から乖離した状態であるか否かを判定することを含む。すなわち、ここでは、指標値が第１の閾値を超えた状態において、被験者が覚醒状態でない、つまり、居眠りをしている状態である可能性が判定される。指標値が第１の閾値を下回った状態において、被験者が覚醒状態、つまり、居眠りをしていない状態である可能性が判定される。

【0072】

ここで、心電には、健常者でも起こりうる一般的な不整脈である期外収縮（ＰＶＣ：Premature Ventricular Contraction）や、被験者の体動などの要因によって、ノイズが混入する場合がある。そのため、正確なＲＲＩが得られない場合がある。そのような場合、指標値が第１の閾値を超えた状態であっても、居眠りをしている状態と限らない場合がある。そのため、より高精度の居眠り検知が望まれる。

【0073】

また、得られたＲＲＩに基づく指標値が第１の閾値を下回った場合には覚醒していると判定されてしまうものの、実際には、居眠りから完全に覚醒しきらない状態である場合もある。そのため、より高精度の覚醒の検知も望まれる。つまり、より高精度の居眠り検知が望まれる。

【0074】

この点、判定処理１０３では、指標値として得られたＱ統計量及びＴ２統計量の少なくとも一方について、管理限界値を越える継続時間ＤＴ１が計時される。そして、判定処理１０３は、得られた継続時間ＤＴ１を第２の閾値と比較し、継続時間ＤＴ１が第２の閾値を越えると居眠りと判定することを含む。また、Ｑ統計量及びＴ２統計量の少なくとも一方について、管理限界値を下回る継続時間ＤＴ２が計時される。そして、判定処理１０３は、得られた継続時間ＤＴ２を第２の閾値と比較し、継続時間ＤＴ２が第２の閾値を越えると覚醒と判定することを含む。

【0075】

第２の閾値は、居眠りの可能性があると判定された状態の継続時間が居眠りと判定し得る継続時間、及び、覚醒の可能性があると判定された状態の継続時間が覚醒状態と判定し得る継続時間の閾値ｔ０であって、例えば１０秒程度である。なお、居眠りの判定と覚醒の判定とに異なる閾値が用いられてもよい。

【0076】

つまり、検知装置１００では、指標値であるＱ統計量及び／又はＴ２統計量が管理限界値を越えた状態が、居眠りと判定し得る継続時間である閾値ｔ０以上連続したときに被験者の居眠りを検知する。これにより、指標値であるＱ統計量及び／又はＴ２統計量が管理限界値を越えたことによって居眠りを判定するより高精度で居眠りを検知することができる。

【0077】

また、検知装置１００では、指標値であるＱ統計量及び／又はＴ２統計量が管理限界値を下回る状態が、覚醒状態と判定し得る継続時間である閾値ｔ０以上連続したときに被験者の覚醒状態を検知する。これにより、指標値であるＱ統計量及び／又はＴ２統計量が管理限界値を下回ったことによって覚醒状態を判定するより高精度で覚醒状態を検知する、言い換えると、高精度で居眠りを検知することができる。

【0078】

検知処理は、出力処理１０４を含んでもよい。出力処理１０４は、検知結果を出力することを含む。検知結果の出力は、音声出力、表示による出力、ライトの点灯による出力、振動、及び、他の装置への送信、などのうちの１以上であってよい。出力処理１０４は、図示しない出力装置に出力を指示する制御信号を送信することを含む。

【0079】

出力する検知結果は、居眠りであることの検知結果であってもよいし、居眠りでない、つまり、覚醒状態であることの検知結果であってもよい。これにより、被験者の、居眠りしているか覚醒状態しているかのいずれかの状態をリアルタイムで報知することが可能になる。

【0080】

図７のフローチャートを用いて、第１の実施の形態に係る検知装置１００での居眠りの検知方法の一例を説明する。図７のフローチャートは、演算装置１の処理部１０によって実行される。第１の実施の形態に係る検知方法は、一例として、Ｒ波データが得られると開始される。

【0081】

図７を参照して、処理部１０は、初めに、処理に用いられる各パラメータＴ１，Ｔ２，ｆ，ｓｔを初期化する（ステップＳ１０１）。パラメータＴ１，Ｔ２は、それぞれ、指標値として得られたＱ統計量及びＴ２統計量の少なくとも一方について、管理限界値を越える継続時間、及び、管理限界値を下回る継続時間のパラメータである。パラメータｆは、指標値と第１の閾値とで得られる居眠りの可能性ある状態か覚醒の可能性ある状態かを表すパラメータである。パラメータｓｔは、被験者が居眠りしているか覚醒しているかの判定結果を表すパラメータである。

【0082】

パラメータＴ１，Ｔ２の初期値は０である。パラメータｆの初期値は、覚醒の可能性を示す０である。パラメータｓｔの初期値は、覚醒との判断結果を表す０である。

【0083】

処理部１０は、ＲＲＩを取得し（ステップＳ１０３）、ＲＲＩを用いてＨＲＶ指標、及び、ポアンカレ指標を算出する（ステップＳ１０５）。処理部１０は、これら１３指標のうちの少なくとも一部の複数の指標それぞれの値を要素とするデータセットを正準相関分析し（ステップＳ１０７）、正準変数を含むデータセットを得る。

【0084】

処理部１０は、ステップＳ１０７で得られたデータセットをダイナミック化することによって（ステップＳ１０９）、時系列変化を有するデータセットを生成する。処理部１０は、得られたデータセットを正規化した後（ステップＳ１１１）、ＭＳＰＣを利用した識別器であるモデル１０５に入力する（ステップＳ１１３）。これにより、Ｑ統計量及びＴ２統計量が得られる、それらの少なくとも一方を指標値する（ステップＳ１１５）。

【0085】

処理部１０は、指標値とする統計量を用いて判定処理を実行する（ステップＳ３００）。処理部１０は、以上の処理を繰り返すことで、得られたＲ波データに表される被検者の居眠りしている状態又は覚醒している状態を、リアルタイムで判定する。

【0086】

ステップＳ３００の判定処理については、図８のフローチャートを参照して、初めに、処理部１０は、指標値を第１の閾値と比較する（ステップＳ３０１）。第１の実施の形態に係る検知方法では、指標値とする統計量を管理限界値と比較する。

【0087】

指標値が第１の閾値を越えており（ステップＳ３０１でＹＥＳ）、かつ、状態の可能性を表すパラメータｆが１、つまり、居眠りを示している場合（ステップＳ３０３でＹＥＳ）、処理部１０は、指標値が第１の閾値を越えた継続時間ＤＴ１にそのときのＲＲＩを加える（ステップＳ３０５）。

【0088】

指標値が第１の閾値を越えており（ステップＳ３０１でＹＥＳ）、かつ、状態の可能性を表すパラメータｆが０、つまり、覚醒を示している場合（ステップＳ３０３でＮＯ）、処理部１０は、継続時間ＤＴ１を初期化し、かつ、パラメータｆを、居眠りを示す１に変化させた上で（ステップＳ３０７）、継続時間ＤＴ１にそのときのＲＲＩを加える（ステップＳ３０５）。これにより、覚醒の可能性ある状態での継続時間ＤＴ２の計測が終了し、居眠りの可能性ある状態での継続時間ＤＴ１の計測が開始する。

【0089】

処理部１０は、継続時間ＤＴ１と第２の閾値である継続時間の閾値ｔ０とを比較する。その結果、継続時間ＤＴ１が閾値ｔ０を越えている場合（ステップＳ３０９でＹＥＳ）、処理部１０は居眠りと判定して、判定結果を示すパラメータｓｔを、居眠りを示す１にする（ステップＳ３１１）。

【0090】

一方、指標値が第１の閾値を下回っており（ステップＳ３０１でＮＯ）、かつ、状態の可能性を表すパラメータｆが０、つまり、覚醒を示している場合（ステップＳ３１３でＹＥＳ）、処理部１０は、指標値が第１の閾値を下回っている継続時間ＤＴ２にそのときのＲＲＩを加える（ステップＳ３１５）。

【0091】

指標値が第１の閾値を下回っており（ステップＳ３０１でＮＯ）、かつ、状態の可能性を表すパラメータｆが１、つまり、居眠りを示している場合（ステップＳ３１３でＮＯ）、処理部１０は、継続時間ＤＴ２を初期化し、かつ、パラメータｆを、覚醒を示す０変化にさせた上で（ステップＳ３０７）、継続時間ＤＴ２にそのときのＲＲＩを加える（ステップＳ３１５）。これにより、居眠りの可能性ある状態での継続時間ＤＴ１の計測が終了し、覚醒の可能性ある状態での継続時間ＤＴ２の計測が開始する。

【0092】

処理部１０は、継続時間ＤＴ２と第２の閾値である継続時間の閾値ｔ０とを比較する。その結果、継続時間ＤＴ２が閾値ｔ０を越えている場合（ステップＳ３１９でＹＥＳ）、処理部１０は覚醒していると判定して、判定結果を示すパラメータｓｔを、覚醒を示す０にする（ステップＳ３２１）。

【0093】

処理部１０は、以上の処理の後の判定結果を示すパラメータｓｔが居眠りを示す１であった場合（ステップＳ３２３でＹＥＳ）、警告を出力するなどの出力処理を実行する（ステップＳ３２５）。

【0094】

第１の実施の形態に係る検知方法において図８に表された判定処理が行われることで、指標値である統計量が第１の閾値を超えた場合でも、継続時間ＤＴ１が第２の閾値を超えない場合には居眠りと判定されない。また、いったん居眠りと判定された後、指標値が第１の閾値を下回った場合でも、下回った継続時間ＤＴ２が第２の閾値を超えない場合には覚醒したと判定されない。つまり、ＲＲＩのノイズなどによって居眠りと誤検知されることが防がれるとともに、居眠りの状態から完全な覚醒ではない状態で覚醒と検知されてしまうことも防がれる。従って、被験者の居眠りが高精度で検知される。

【0095】

発明者は、第１の実施の形態に係る検知方法において、指標値としてＱ統計量及びＴ２統計量のいずれを用いる方が検知精度がよいかを検証するため、同一の被験者のＴ２統計量及びＱ統計量のそれぞれを用いて居眠りを検知した。図９の（Ａ）は、Ｔ２統計量の推移を表し、（Ｂ）は同じ心電信号に対するＱ統計量の推移を表している。図９（Ａ）及び（Ｂ）において、横軸は時間を表し、縦軸は指標値を表している。Ｔ２統計量の管理限界値Ｔ０を１０、Ｑ統計量の管理限界値Ｑ０を０，２とした。図９（Ａ）及び（Ｂ）において、被験者は、時刻Ｔ２からＴ３までの期間Ｄに居眠りをしている。

【0096】

図９（Ａ）の結果では、Ｔ２統計量を用いた場合、時刻Ｔ０からＴ２統計量が管理限界値Ｔ０を超え、時刻Ｔ１に達すると継続時間ＤＴが閾値ｔ０以上となって、居眠りが検知される。一方、図９（Ｂ）に示されたように、この測定結果では、Ｑ統計量を用いた場合には（Ａ）において居眠りが検知される時刻Ｔ１でも居眠りは検知されない。

【0097】

従って、図９の結果より、指標値としてＱ統計量及びＴ２統計量のいずれかを用いる場合にはＴ２統計量の方がよいことが検証された。

【0098】

次に、発明者は、第１の実施の形態に係る検知方法において、モデル１０５に入力するデータセットとして用いる指標値について、ＨＲＶ指標の値をそのまま用いた場合、ポアンカレ指標の値のみを用いた場合、ＨＲＶ指標並びにポアンカレ指標の値を正準相関分析して得られた正準変数を用いた場合、ＨＲＶ指標並びにポアンカレ指標の値をダイナミック化して得られた時系列変化を有する時系列データを用いた場合、及び、ＨＲＶ指標並びにポアンカレ指標の値を正準相関分析して得られた正準変数をダイナミック化して得られた時系列変化を有する時系列データを用いた場合それぞれの検知精度を検証するための、第１～第５の試験を行った。

【0099】

図１０～図１４は、それぞれ、第１～第５の試験によって得られた、ＲＯＣ（Receiver Operating Characteristic）曲線を表した図である。ＲＯＣ曲線は、ＦＰＲ（偽陽性率）を横軸、ＴＰＲ（真陽性率）を縦軸として、ＦＰＲに対するＴＰＲをプロットしたものである。

【0100】

発明者らは、第１～第５の試験結果から得られたＡＵＣ（area under the receiver operating characteristic curve）、感度及び特異度を用いて、それぞれモデル１０５に入力するデータセットを評価した。ＡＵＣは、ＲＯＣ曲線の下側の面積で得られる。ＡＵＣは０から１までの値をとり、大きいほど検知性能が高いことを示している。感度は、真陽性及び偽陰性に対する真陽性率である。特異度は、擬陽性及び真陰性に対する真陰性率である。

【0101】

図１０に示される第１の試験においては、ＡＵＣが０．８３４９、感度が０．７８、及び、特異度が０．７１と得られた。図１１に示される第２の試験においては、ＡＵＣが０．８６５０、感度が０．７８、及び、特異度が０．８８と得られた。図１２に示される第３の試験においては、ＡＵＣが０．８４３４、感度が０．７８、及び、特異度が０．７１と得られた。図１３に示される第４の試験においては、ＡＵＣが０．８５３４、感度が０．８９、及び、特異度が０．７１と得られた。図１４に示される第５の試験においては、ＡＵＣが０．８９０４、感度が０．８９、及び、特異度が０．７５と得られた。

【0102】

第１の試験と第２の試験との結果を比較すると、第２の試験の方が第１の試験よりもＡＵＣ及び特異度ともに高く、ポアンカレ指標を用いた方が、検知精度が高いことが分かった。第１の試験と第３～第５の試験との結果を比較すると、ＨＲＶ指標並びにポアンカレ指標の値を正準相関分析して得られた正準変数を用いた場合、ダイナミック化して得られた時系列変化を有する時系列データを用いた場合、及び、正準相関分析して得られた正準変数をダイナミック化して得られた時系列変化を有する時系列データを用いた場合のいずれも、ＨＲＶ指標の値をそのまま用いた場合より検知精度が高いことが分かった。

【0103】

さらに、第３～第５の試験の結果を比較すると、ＨＲＶ指標並びにポアンカレ指標の値を正準相関分析して得られた正準変数を用いた場合よりダイナミック化して得られた時系列変化を有する時系列データを用いた場合、また、ダイナミック化して得られた時系列変化を有する時系列データを用いた場合より正準相関分析して得られた正準変数をダイナミック化して得られた時系列変化を有する時系列データを用いた場合の方が、検知精度が高いことが分かった。

【0104】

以上の結果より、第１の実施の形態に係る検知方法においては、指標値としてＨＲＶ指標の値をそのまま用いるより、少なくとも一部にポアンカレ指標の値を用いた方が、検知精度が上がることが検証された。また、さらに、指標の値をそのまま用いるより、指標の値を正準相関分析して得られた正準変数を用いた方が、検知精度が上がることが検証された。また、指標の値をそのまま用いるより、指標の値をダイナミック化して得られた時系列変化を有する時系列データを用いた方が、検知精度が上がることが検証された。また、さらに、指標の値をそのまま用いるより、指標の値を正準相関分析して得られた正準変数をダイナミック化して得られた時系列変化を有する時系列データを用いた方が、検知精度が上がることが検証された。

【0105】

なお、ダイナミック化において、第１のデータセットに対して連結する第２のデータセットを、第１のデータセットの何拍後までのものとするかを検証するため、発明者らは、第２のデータセットの第１のデータセットからの拍数の差を変化させて検知装置１００での検知精度を評価した。検知精度の評価はＡＵＣを用いた。その結果、図１５の結果が得られた。図１５は、縦軸がＡＵＣを表し、横軸が第２のデータセットの第１のデータセットからの拍数の遅れを表している。図１５の結果より、この試験では、第１のデータセットから８拍遅れた第２のデータセットを第１のデータセットに連結したときの検知精度が最も高いことが分かる。これより、第２のデータセットとして８拍程度の遅れのものを用いるのがよいことが検証された。

【0106】

［第２の実施の形態］

【0107】

第２の実施の形態に係る検知装置１００においては、モデル１０５は、機械学習されたモデルであって、一例として、オートエンコーダである。第２の実施の形態の指標値算出処理１０２においては、オートエンコーダに対してＲＲＩを入力データとして与えて、入力データの再構築データである出力データを用いて居眠り検知のための指標値を得る。

【0108】

オートエンコーダは、ＬＳＴＭ（long short-term memory）やセルフ・アテンション（self-attention）を利用した深層学習モデルの一例であって、入力データを再構築し、入力データと近い値を出力するように訓練データを用いて機械学習された深層学習モデルである。そのため、モデル１０５をオートエンコーダとすると、モデル１０５に訓練データと異なる傾向のデータが入力されると、出力データの入力データからの誤差が大きくなる。すなわち、正常時のデータを訓練データとして機械学習されたモデル１０５に異常データを入力すると誤差が大きくなる。第２の実施の形態に係る検知装置１００は、モデル１０５のこの特性を利用して異常データが検知することで居眠りを検知する。これにより、容易に高精度で居眠りを検知することができる。

【0109】

指標値算出処理１０２において、処理部１０は、覚醒時のＲＲＩデータのみを訓練データとして用いて機械学習されたオートエンコーダであるモデル１０５を用いる。すなわち、訓練データは、覚醒時のＲＲＩデータを含み、居眠り時のＲＲＩデータを含まない。モデル１０５は、演算装置１に記憶されていてもよいし、通信部１３によってアクセス可能な他の装置に記憶されていてもよい。

【0110】

第２の実施の形態に係る指標値算出処理１０２は、Ｒ波データから得られたＲＲＩをモデル１０５に入力し、出力データを得ることを含む。処理部１０は指標値算出処理１０２において、得られる都度ＲＲＩを記憶しておき、所定数のＲＲＩをモデル１０５に入力する。所定数は、例えば３０個である。このとき、モデル１０５からは３０個の出力データが得られる。

【0111】

指標値算出処理１０２は、モデル１０５からの出力データの、モデル１０５に入力したＲＲＩからの誤差を算出することを含む。第２の実施の形態に係る検知方法では、得られた誤差を指標値とする。誤差は、例えば、平均二乗誤差である。

【0112】

第２の実施の形態に係る判定処理１０３は、指標値算出処理１０２によって算出された誤差を第１の閾値と比較し、第１の閾値を越える継続時間ＤＴ１を計時することを含む。また、判定処理１０３は、誤差が第１の閾値を下回る継続時間ＤＴ２を計時することを含む。ここでの第１の閾値は、異常データであると考えられる程度に入力データからの乖離を表す値ｅ０であって、予め設定されていてよい。

【0113】

処理部１０が誤差を第１の閾値と比較することによって、入力されたＲＲＩが、覚醒時のＲ波データから得られたＲＲＩと同じ傾向のデータであるか異なる傾向のデータであるかが判定される。第１の閾値である閾値ｅ０は、誤差が、入力データが覚醒時のみから得られる入力データとは異なるデータであると判定し得る誤差、つまり、居眠りと判定し得る値である。これにより、誤差が閾値ｅ０を越えて大きいときに、被験者が覚醒状態でない、つまり、居眠りの可能性が判定され、誤差が閾値ｅ０を下回るときに、被験者が覚醒状態である可能性が判定される。

【0114】

第２の実施の形態に係る判定処理１０３でも、誤差が閾値ｅ０を越える継続時間ＤＴ１と、誤差が閾値ｅ０を下回る継続時間ＤＴ２を計時する。そして、判定処理１０３は、得られた継続時間ＤＴ１が第２の閾値を越えると被験者の居眠りを検知し、継続時間ＤＴ２が第２の閾値を越えると被験者の覚醒を検知することを含む。第２の閾値は、居眠り又は覚醒と判定し得る継続時間の閾値ｔ０であって、例えば１０秒程度である。

【0115】

これにより、第２の実施の形態に係る検知装置１００でも、誤差が閾値ｅ０を越えた状態が、居眠りと判定し得る継続時間である閾値ｔ０以上連続したときに被験者の居眠りを検知する。また、誤差が閾値ｅ０を下回った状態が、覚醒と判定し得る継続時間である閾値ｔ０以上連続したときに被験者の覚醒を検知する。これにより、誤差が第１の閾値を越えたことによって居眠りを判定したり、誤差が第１の閾値を下回ったことによって覚醒を判定したりするより高精度で居眠りを検知することができる。

【0116】

図１６のフローチャートを用いて、第２の実施の形態に係る検知装置１００での居眠りの検知方法の一例を説明する。図１６のフローチャートは、演算装置１の処理部１０によって実行される。第２の実施の形態に係る検知方も、一例として、Ｒ波データが得られると開始される。

【0117】

図１６を参照して、処理部１０は、初めに、処理に用いられる各パラメータＴ１，Ｔ２，ｆ，ｓｔを初期化する（ステップＳ２０１）。

【0118】

処理部１０は、ＲＲＩを取得し（ステップＳ２０３）、標準化した後、メモリへ記憶する（ステップＳ２０５）。処理部１０では、以上のＲＲＩの算出を、メモリに記憶されたＲＲＩがオートエンコーダであるモデル１０５に入力するのに適した数に達するまで繰り返す（ステップＳ２０７でＮＯ）。

【0119】

メモリに記憶されたＲＲＩがモデル１０５に入力するのに適した数に達すると（ステップＳ２０７でＹＥＳ）、処理部１０は、これらＲＲＩをオートエンコーダであるモデル１０５に入力する（ステップＳ２０９）。これにより、モデル１０５からＲＲＩが再構築された値が出力データとして得られる。処理部１０は、入力したＲＲＩのモデル１０５の出力データからの誤差を算出し（ステップＳ２１１）、と指標値とする。

【0120】

処理部１０は、指標値とする誤差を用いて判定処理を実行する（ステップＳ３００）。ステップＳ３００の判定処理は、図８の処理である。処理部１０は、以上の処理を繰り返すことで、得られたＲ波データに表される被検者の居眠りしている状態又は覚醒している状態を、リアルタイムで判定する。ここでは、ＨＲＶ指標などをＲＲＩから算出せずにＲＲＩをモデル１０５への入力に用いることで、指標値を容易に得られるとともに、ＲＲＩから各種指標を算出する際に情報量が低下することが防がれ、検知精度を向上させることができる。

【0121】

また、第２の実施の形態に係る検知方法でも図８に表された判定処理が行われることによって、指標値である誤差が第１の閾値を超えた場合でも、継続時間ＤＴ１が第２の閾値を超えない場合には居眠りと判定されない。また、いったん居眠りと判定された後、指標値が第１の閾値を下回った場合でも、下回った継続時間ＤＴ２が第２の閾値を超えない場合には覚醒したと判定されない。つまり、ＲＲＩのノイズなどによって居眠りと誤検知されることが防がれるとともに、居眠りの状態から完全な覚醒ではない状態で覚醒と検知されてしまうことも防がれる。従って、被験者の居眠りが高精度で検知される。

【0122】

［評価試験］

【0123】

発明者は、第２の実施の形態に係る検知方法についての、検出精度を評価するための評価試験を行った。評価試験においては、指標値である誤差の閾値ｅ０として０．６を用い、継続時間の閾値ｔ０として１０秒を用いた。

【0124】

図１７及び図１８は、第２の実施の形態に係る検知方法についての評価実験の結果を表した図であって、縦軸は再構築されたデータの入力データからの誤差の大きさ、横軸は時刻を表している。図１７は、被験者が居眠りの状態を含む心電信号からの検知結果を表し、図１８は、被験者が常に覚醒状態である心電信号からの検知結果を表している。これらの図において、灰色の領域は検知装置１００によって被験者の居眠りが検知された期間を指す。

【0125】

詳しくは、図１７に示された誤差の推移では、誤差が閾値ｅ０を１０秒以上越えた範囲があり、その範囲において居眠りが検知されている。また、その後、誤差が閾値ｅ０を下回る期間が１０秒を超えると、居眠りからの覚醒が検知されている。一方、図１８に示された誤差の推移では、誤差が閾値ｅ０を越えたタイミングはあったものの、越えた状態が１０秒以上継続していないため、居眠りが検知されてない。

【0126】

図１７及び図１８の結果より、第２の実施の形態に係る検知方法によって、ノイズや心拍の揺れなどによって誤差が居眠りの状態を表す閾値ｅ０を越える場合があっても、覚醒時に、居眠りとして検出されてしまうことが防がれる。すなわち、居眠りを検知する精度を向上させることができる。

【0127】

なお、発明者らは、第２の実施の形態に係る検知方法の評価試験を、オートエンコーダの構成をＬＳＴＭとセルフ・アテンションとのそれぞれについて行い、オートエンコーダの構成について評価した。この評価試験には、被験者２６名がドライビングシミュレータによる運転実験を行い、その間に得られた心電信号から算出されたＲＲＩをデータセットとして用いた。各データは、１５分～２０分の長さをもつ。

【0128】

オートエンコーダの構成の評価には、用いたデータセットのＡＵＣ（area under the receiver operating characteristic curve）を用いた。ＡＵＣは、継続時間の閾値ｔ０を固定して誤差の閾値ｅ０を変化させたときの、各閾値ｅ０に対応する陽性的中率（ＴＰＳ：true positive rate）と偽陽性率（ＦＰＳ：false positive rate）とが描く軌跡の下側の面積で得られる。陽性的中率と偽陽性率とが描く軌跡はＲＯＣ曲線と呼ばれる。ＡＵＣは０から１までの値をとり、大きいほど検知性能が高いことを示している。評価試験では、閾値ｔ０を変化させて、閾値ｔ０の各値のときのＡＵＣを求めた。

【0129】

図１９は、縦軸をＡＵＣとし、横軸を閾値ｔ０の値として、オートエンコーダの構成をＬＳＴＭとセルフ・アテンションとのそれぞれについて評価試験の結果を示したグラフである。図１９の結果より、閾値ｔ０がどの値のときも、オートエンコーダの構成をセルフ・アテンションとした方がＬＳＴＭとするより検知精度が高いことが検証された。

【0130】

＜３．付記＞
本発明は、上記実施形態に限定されるものではなく、様々な変形が可能である。

【符号の説明】

【0131】

１ ：演算装置
２ ：心拍計測器
１０ ：処理部
１２ ：メモリ
１３ ：通信部
２１ ：電極
１００ ：検知装置
１０１ ：ＲＲＩ算出処理
１０２ ：指標値算出処理
１０３ ：判定処理
１０４ ：出力処理
１０５ ：モデル
１２１ ：プログラム
Ａ１ ：長軸
Ａ２ ：短軸
Ｄ ：期間
Ｄ１ ：第１のデータセット
Ｄ２ ：第２のデータセット
Ｄ３ ：第３のデータセット
Ｅ ：楕円
ＨＦ ：補正
Ｉ ：信号強度
Ｉｔｈ ：強度閾値
ＬＦ ：補正
Ｐ ：被験者
Ｑ０ ：管理限界値
Ｔ ：継続時間
Ｔ０ ：管理限界値
ｅ０ ：閾値
ｔ０ ：閾値

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【図7】

【図8】

【図9】

【図10】

【図11】

【図12】

【図13】

【図14】

【図15】

【図16】

【図17】

【図18】

【図19】