特開2020-188898(P2020-188898A)IP Force 特許公報掲載プロジェクト 2015.5.11 β版

▶ 本田技研工業株式会社の特許一覧
特開2020-188898覚醒状態推定装置及び覚醒状態推定方法
<>
  • 特開2020188898-覚醒状態推定装置及び覚醒状態推定方法 図000003
  • 特開2020188898-覚醒状態推定装置及び覚醒状態推定方法 図000004
  • 特開2020188898-覚醒状態推定装置及び覚醒状態推定方法 図000005
  • 特開2020188898-覚醒状態推定装置及び覚醒状態推定方法 図000006
  • 特開2020188898-覚醒状態推定装置及び覚醒状態推定方法 図000007
  • 特開2020188898-覚醒状態推定装置及び覚醒状態推定方法 図000008
  • 特開2020188898-覚醒状態推定装置及び覚醒状態推定方法 図000009
  • 特開2020188898-覚醒状態推定装置及び覚醒状態推定方法 図000010
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公開特許公報(A)
(11)【公開番号】特開2020-188898(P2020-188898A)
(43)【公開日】2020年11月26日
(54)【発明の名称】覚醒状態推定装置及び覚醒状態推定方法
(51)【国際特許分類】
   A61B 5/16 20060101AFI20201030BHJP
【FI】
   A61B5/16 130
【審査請求】未請求
【請求項の数】5
【出願形態】OL
【全頁数】14
(21)【出願番号】特願2019-95167(P2019-95167)
(22)【出願日】2019年5月21日
(71)【出願人】
【識別番号】000005326
【氏名又は名称】本田技研工業株式会社
(71)【出願人】
【識別番号】504145342
【氏名又は名称】国立大学法人九州大学
(74)【代理人】
【識別番号】100165179
【弁理士】
【氏名又は名称】田▲崎▼ 聡
(74)【代理人】
【識別番号】100126664
【弁理士】
【氏名又は名称】鈴木 慎吾
(74)【代理人】
【識別番号】100154852
【弁理士】
【氏名又は名称】酒井 太一
(74)【代理人】
【識別番号】100194087
【弁理士】
【氏名又は名称】渡辺 伸一
(72)【発明者】
【氏名】久保田 忠弘
(72)【発明者】
【氏名】今井 友裕
(72)【発明者】
【氏名】樋口 重和
(72)【発明者】
【氏名】大草 孝介
(72)【発明者】
【氏名】吉田 尚央
(72)【発明者】
【氏名】江頭 優佳
(72)【発明者】
【氏名】西村 悠貴
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038PP05
4C038PS00
4C038PS01
4C038VA04
4C038VA15
4C038VB02
(57)【要約】
【課題】予測に用いている人体の状態検知データが一部欠損した期間も、低覚醒の予測を精度よく行う。
【解決手段】覚醒状態推定装置(例えば、覚醒状態推定装置1)は、人体を計測して得られた生理データから人体の覚醒状態に関する複数種類の特徴量を得る特徴量取得部(例えば、特徴量取得部13)と、複数種類の特徴量のうち一部の種類の特徴量である主要特徴量を用いて人体の覚醒状態を推定する推定部(例えば、推定部14)とを備える。推定部は、生理データに欠損があるために主要特徴量を取得できない場合に、取得できない主要特徴量に代えて、特徴量取得部が取得した複数種類の特徴量のうち主要特徴量とは異なる種類の特徴量を用いて人体の覚醒状態を推定する。
【選択図】図1
【特許請求の範囲】
【請求項1】
人体を計測して得られた生理データから前記人体の覚醒状態に関する複数種類の特徴量を得る特徴量取得部と、
複数種類の前記特徴量のうち一部の種類の前記特徴量である主要特徴量を用いて前記人体の覚醒状態を推定する推定部とを備え、
前記推定部は、前記生理データに欠損があるために前記主要特徴量を取得できない場合に、取得できない前記主要特徴量に代えて、前記特徴量取得部が取得した複数種類の前記特徴量のうち前記主要特徴量とは異なる種類の前記特徴量を用いて前記人体の覚醒状態を推定する、
ことを特徴とする覚醒状態推定装置。
【請求項2】
前記推定部は、取得できない前記主要特徴量に代えて、取得できない前記主要特徴量と相関が高い種類の前記特徴量を用いる、
ことを特徴とする請求項1に記載の覚醒状態推定装置。
【請求項3】
前記生理データは、心臓、呼吸、指尖脈派、皮膚抵抗、瞬き、瞳孔又は頭部動作の計測結果を含む、
ことを特徴とする請求項1又は請求項2に記載の覚醒状態推定装置。
【請求項4】
前記特徴量取得部は、前記生理データに欠損がある場合に、欠損があるタイミングの前記生理データを、他のタイミングにおいて得られた前記生理データに基づき補完する、
ことを特徴とする請求項1から請求項3のいずれか一項に記載の覚醒状態推定装置。
【請求項5】
人体を計測して得られた生理データから前記人体の覚醒状態に関する複数種類の特徴量を得る特徴量取得ステップと、
複数種類の前記特徴量のうち一部の種類の前記特徴量である主要特徴量を用いて前記人体の覚醒状態を推定する推定ステップと、
前記生理データに欠損があるために前記主要特徴量を取得できない場合に、取得できない前記主要特徴量に代えて、前記特徴量取得ステップにおいて取得した複数種類の前記特徴量のうち前記主要特徴量とは異なる種類の前記特徴量を用いて前記人体の覚醒状態を推定する欠損時推定ステップと、
を有する覚醒状態推定方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、覚醒状態推定装置及び覚醒状態推定方法に関する。
【背景技術】
【0002】
人体の生理データに基づいて覚醒状態を判定する技術がある(例えば特許文献1参照)。この技術では、人体の状態検知データから得られる心拍間隔及び呼吸の周期数成分とその時系列変化とに基づいて、低覚醒すなわち眠気を予測する。
【先行技術文献】
【特許文献】
【0003】
【特許文献1】特開2013−13542号公報
【発明の概要】
【発明が解決しようとする課題】
【0004】
従来の技術では、予測に用いている人体の生理データが一部でも欠損した場合、その欠損している期間は正確な覚醒状態の予測ができないという課題がある。
【0005】
本発明は、上記の問題点に鑑みてなされたものであって、予測に用いている人体の生理データの一部が欠損した期間も、覚醒状態の予測を行うことができる覚醒状態推定装置及び覚醒状態推定方法を提供することを目的とする。
【課題を解決するための手段】
【0006】
この発明に係る覚醒状態推定装置及び覚醒状態推定方法は、以下の構成を採用した。
(1):この発明の一態様に係る覚醒状態推定装置は、人体を計測して得られた生理データから前記人体の覚醒状態に関する複数種類の特徴量を得る特徴量取得部と、複数種類の前記特徴量のうち一部の種類の前記特徴量である主要特徴量を用いて前記人体の覚醒状態を推定する推定部とを備え、前記推定部は、前記生理データに欠損があるために前記主要特徴量を取得できない場合に、取得できない前記主要特徴量に代えて、前記特徴量取得部が取得した複数種類の前記特徴量のうち前記主要特徴量とは異なる種類の前記特徴量を用いて前記人体の覚醒状態を推定する。
【0007】
(2):上記(1)の態様において、前記推定部は、取得できない前記主要特徴量に代えて、取得できない前記主要特徴量と相関が高い種類の前記特徴量を用いるものである。
【0008】
(3):上記(1)又は(2)において、前記生理データは、心臓、呼吸、指尖脈派、皮膚抵抗、瞬き、瞳孔又は頭部動作の計測結果を含むものである。
【0009】
(4):上記(1)から(3)のいずれかにおいて、前記特徴量取得部は、前記生理データに欠損がある場合に、欠損があるタイミングの前記生理データを、他のタイミングにおいて得られた前記生理データに基づき補完するものである。
【0010】
(5):この発明の一態様に係る覚醒状態推定方法は、人体を計測して得られた生理データから前記人体の覚醒状態に関する複数種類の特徴量を得る特徴量取得ステップと、複数種類の前記特徴量のうち一部の種類の前記特徴量である主要特徴量を用いて前記人体の覚醒状態を推定する推定ステップと、前記生理データに欠損があるために前記主要特徴量を取得できない場合に、取得できない前記主要特徴量に代えて、前記特徴量取得ステップにおいて取得した複数種類の前記特徴量のうち前記主要特徴量とは異なる種類の前記特徴量を用いて前記人体の覚醒状態を推定する欠損時推定ステップと、を有する。
【発明の効果】
【0011】
上述した(1)又は(5)の構成によれば、覚醒状態の予測に用いている人体の生理データの一部が欠損した期間も、継続して覚醒状態の予測を行うことが可能となる。
上述した(2)の構成によれば、覚醒状態の予測に用いている人体の生理データの一部が欠損した期間も、予測の精度を著しく低下させることなく覚醒状態の予測を継続することが可能となる。
上述した(3)の構成によれば、覚醒状態に関連の高い特徴量が得られるため、精度よく覚醒状態の予測を行うことができる。
上述した(4)の構成によれば、主要特徴量を得るための生理データが一時的に欠損した場合でも、生理データを補完することで主要特徴量を得ることができるため、精度の高い覚醒状態の予測を継続することができる。
【図面の簡単な説明】
【0012】
図1】本発明の実施形態に係る覚醒状態推定装置の構成例を示すブロック図である。
図2】同実施形態に係る覚醒状態推定装置の処理例を示すフロー図である。
図3】同実施形態に係る生理データの補完の例を示す図である。
図4】同実施形態に係る生理データ及び特徴量を示す図である。
図5】同実施形態に係る覚醒状態推定モデルに使用されうる特徴量と覚醒度の相関を示す図である。
図6】同実施形態に係る覚醒状態推定モデルの評価結果を示す図である。
図7】同実施形態に係る覚醒状態推定モデルの評価結果を示す図である。
図8】同実施形態に係る特徴量の主成分分析結果を示す図である。
【発明を実施するための形態】
【0013】
以下、本発明の実施の形態について図面を参照しながら説明する。
図1は、本実施形態に係る覚醒状態推定装置1の構成例を示すブロック図である。覚醒状態推定装置1は、記憶部11と、生理データ入力部12と、特徴量取得部13と、推定部14とを備える。これらの構成要素は、例えば、CPU(Central Processing Unit)などのハードウェアプロセッサがプログラム(ソフトウェア)を実行することにより実現される。これらの構成要素のうち一部または全部は、LSI(Large Scale Integration)やASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、GPU(Graphics Processing Unit)などのハードウェア(回路部;circuitryを含む)によって実現されてもよいし、ソフトウェアとハードウェアの協働によって実現されてもよい。プログラムは、予めHDD(Hard Disk Drive)やフラッシュメモリなどの記憶装置(非一過性の記憶媒体を備える記憶装置)に格納されていてもよいし、DVDやCD−ROMなどの着脱可能な記憶媒体(非一過性の記憶媒体)に格納されており、記憶媒体がドライブ装置に装着されることでインストールされてもよい。
【0014】
記憶部11は、各種データを記憶する。記憶部11は、m種類(mは1以上の整数)の生理データと、n種類(nは2以上の整数)の特徴量と、覚醒状態推定モデルとを記憶する。生理データは、覚醒状態を推定する対象となる人物を計測して得られた生理的なデータである。特徴量は、人体の覚醒状態に関する特徴を数値化した情報であり、生理データから得られる。生理データ自体が、特徴量であってもよい。特徴量は、例えば、心臓、呼吸、指尖脈派、皮膚抵抗、瞬き、瞳孔又は頭部動作の計測結果を示す生理データから得られる。覚醒状態推定モデルは、n種類の特徴量のうち覚醒状態の判定に対する寄与が大きい一部のk種類(kは1以上の整数、k<n)の特徴量を用いて覚醒度を算出するための式である。覚醒度は、人体の覚醒状態を表す定量的な値である。覚醒状態の判定に対する寄与が大きいk種類の特徴量を、主要特徴量と記載する。記憶部11は、さらに、各主要特徴量が取得できないときに使用する特徴量である代替特徴量と、その代替特徴量を使用するときのモデル変更情報とを示す代替算出情報を記憶する。モデル変更情報は、覚醒状態推定モデルに対する変更を示す。
【0015】
例えば、覚醒状態推定モデルは、6種類(m=6)の特徴量a、a、b、b、c、cのうち、3種類(k=3)の主要特徴量a、b、cを用いて、以下の式(1)により覚醒度Yを算出する式である。なお、α、β、γは係数である。
【0016】
覚醒度Y=α+β+γ …(1)
【0017】
代替算出情報は、主要特徴量aの代替特徴量が特徴量bである旨の情報と、代替特徴量bを使用するときに係数αを係数αに変更する旨のモデル変更情報とを含む。よって、主要特徴量aが得られず、代替特徴量bが使用される場合、覚醒状態推定モデルは、以下の式(2)となる。
【0018】
覚醒度Y=α+β+γ …(2)
【0019】
なお、代替算出情報は、1つの主要特徴量と、優先度順の複数の代替特徴量との対応付けを含んでもよい。また、代替特徴量は、複数の特徴量の組合せでもよい。例えば、主要特徴量aが得られないときに、代替特徴量として特徴量b及びcの組合せが使用される場合、モデル変更情報は、式(1)の「α」の項を、「α11+α12」(α11、α12は係数)のように置き換えることを示してもよい。主要特徴量とその代替特徴量とは、異なる生理データから得られる特徴量であるが、同じ生理データから得られる特徴量でもよい。
【0020】
生理データ入力部12は、計測装置等の外部の装置から時系列のm種類の生理データを入力し、記憶部11に書き込む。特徴量取得部13は、記憶部11に記憶されるm種類の生理データに基づいてn種類の特徴量を取得する。特徴量取得部13は、生理データ取得部131と、補完部132と、欠損検出部133と、特徴量算出部134とを備える。生理データ取得部131は、記憶部11に記憶されるm種類の時系列の生理データのそれぞれから、特徴量の取得に用いられる区間の生理データを取得する。区間は、開始のタイミングと終了のタイミングとで表される時間的な長さである。補完部132は、特徴量の取得に用いられる区間において欠損している生理データの値を、欠損がないタイミングの生理データの値に基づき補完する。欠損検出部133は、補完処理後の各生理データに欠損があるか否かを検出する。欠損検出部133は、欠損がある生理データの種類を特徴量算出部134に通知する。特徴量算出部134は、欠損がない生理データから特徴量を取得し、推定部14に出力する。特徴量算出部134は、1種類の生理データから複数種類の特徴量を取得してもよく、複数種類の生理データから1種類の特徴量を取得してもよい。各種類の特徴量は、同じ数値範囲に正規化された値である。特徴量算出部134は、欠損がある生理データの種類を欠損検出部133から受信した場合、その種類の生理データの欠損のため取得できない特徴量の種類を推定部14に通知する。
【0021】
推定部14は、記憶部11から覚醒状態推定モデルを読み出す。推定部14は、k種類の全ての主要特徴量について欠損がないタイミングにおいては、読み出した覚醒状態推定モデルの変数の値に、それらk種類の主要特徴量を代入して覚醒度を算出する。推定部14は、k種類の主要特徴量のうち少なくともいずれかの欠損が通知されているタイミングにおいては、代替算出情報に基づいて、欠損している主要特徴量の代替特徴量のうち、優先度が最も高く、かつ、欠損していない代替特徴量を選択する。さらに、推定部14は、選択した代替特徴量に対応したモデル変更情報に基づいて覚醒状態推定モデルを変更する。推定部14は、変更した覚醒状態推定モデルの変数の値に、選択した代替特徴量と、欠損していない主要特徴量とを代入して、覚醒度を算出する。推定部14は、算出した覚醒度を推定結果として出力する。出力は、例えば、ディスプレイへの表示でもよく、外部装置へのデータの出力でもよく、音声による出力でもよい。
【0022】
なお、覚醒状態推定装置1をネットワークに接続される複数のコンピュータ装置により実現してもよい。この場合、覚醒状態推定装置1の各機能部を、これら複数のコンピュータ装置のいずれにより実現するかは任意とすることができる。また、一つ機能部を、複数のコンピュータ装置により実現してもよい。また、複数のコンピュータ装置を用いて、分散処理及び統合処理を実施してもよい。
【0023】
図2は、覚醒状態推定装置1の処理例を示すフロー図である。以下では、生理データが生理データA、B、Cの3種類(m=3)であり、特徴量が生理データAから得られる特徴量a、a、生理データBから得られる特徴量b、b、生理データCから得られる特徴量c、cの6種類(n=6)であり、主要特徴量が特徴量a、b、cの3種類(k=3)である場合を例に説明する。
【0024】
生理データ入力部12は、生理データAを外部装置から順次入力し、記憶部11に書き込んでいる(ステップS110a)。生理データ取得部131は、記憶部11に記憶されている時系列の生理データAのうち、最新の時刻から所定時間遡った時刻までの区間の生理データAを抽出する(ステップS115a)。この区間を、抽出対象区間と記載する。抽出対象区間は、特徴量a、aの算出に必要な生理データAの時間区間である。
【0025】
補完部132は、生理データAに欠損がある場合に、補完処理を行う。補完部132は、抽出対象区間のうち、生理データAが取得できなかった区間を欠損がある区間と判断する。さらに、補完部132は、抽出対象区間の生理データAが、正常に検出された値を示すか否かを判定し、生理データAが取得できた区間であっても正常に検出された値ではない区間については、欠損がある区間と判断する。補完部132は、抽出対象区間の生理データAのうち、正常な値を取得できた生理データAの区間を用いて、欠損がある区間の生理データAの値を補完する(ステップS120a)。補完の例については、図3を用いて後述する。なお、補完部132は、抽出対象区間より前の区間の生理データAをさらに用いて補完を行ってもよい。補完部132は、抽出対象区間のうち、所定以上の区間で生理データAが欠損している場合には、補完不可と判断し、補完処理を行わない。
【0026】
欠損検出部133は、抽出対象区間における補完処理後の生理データAの欠損の有無を判断する(ステップS125a)。欠損検出部133は、欠損ありと判断した場合(ステップS125a:YES)、生理データAの欠損を特徴量算出部134に出力する。特徴量算出部134は、抽出対象区間が示すタイミングの情報と対応付けて、特徴量a及びaが欠損している旨を記憶部11に書き込む。覚醒状態推定装置1は、ステップS110aに戻り、新たな生理データAを取得する。
【0027】
一方、欠損検出部133は、欠損がないと判断した場合(ステップS125a:NO)、生理データAを特徴量算出部134に出力する。なお、欠損検出部133は、補完後の生理データAの一部に欠損区間がある場合でも、その欠損区間が特徴量の算出に影響がない区間以下である場合、欠損がないと判断してもよい。特徴量算出部134は、補完が行われた生理データAから特徴量a及びaを取得する(ステップS130a)。特徴量算出部134は、抽出対象区間が示すタイミングの情報と対応付けて、取得した特徴量a及びaを記憶部11に書き込む。
【0028】
覚醒状態推定装置1は、生理データB、Cについても、ステップS110a〜ステップS130aと同様の処理を行う。すなわち、生理データ入力部12は、生理データB、Cを外部装置から順次入力し、記憶部11に書き込んでいる(ステップS110b、ステップS110c)。生理データ取得部131は、抽出対象区間の生理データB、Cを抽出する(ステップS115b、S115c)。補完部132は、生理データB、Cに欠損がある場合に、補完処理を行う(ステップS120b、S120c)。欠損検出部133は、抽出対象区間における補完処理後の生理データB、Cの欠損の有無を判断する(ステップS125b、S125c)。
【0029】
欠損検出部133が、生理データBに欠損ありと判断した場合(ステップS125b:YES)、特徴量算出部134は、抽出対象区間が示すタイミングと対応付けて、特徴量b及びbが欠損している旨を記憶部11に書き込む。そして覚醒状態推定装置1はステップS110bへ戻る。一方、欠損検出部133が、生理データBに欠損なしと判断した場合(ステップS125b:NO)、特徴量算出部134は、補完が行われた生理データBから特徴量b及びbを取得し、抽出対象区間が示すタイミングの情報と対応付けて記憶部11に書き込む(ステップS130b)。また、欠損検出部133が、生理データCに欠損ありと判断した場合(ステップS125c:YES)、特徴量算出部134は、抽出対象区間が示すタイミングと対応付けて、特徴量c及びcが欠損している旨を記憶部11に書き込む。そして覚醒状態推定装置1はステップS110cへ戻る。一方、欠損検出部133が、生理データCに欠損なしと判断した場合(ステップS125c:NO)、特徴量算出部134は、補完が行われた生理データCから特徴量c及びcを取得し、抽出対象区間が示すタイミングの情報と対応付けて記憶部11に書き込む(ステップS130c)。
【0030】
推定部14は、記憶部11を参照し、覚醒度の算出に用いるタイミングにおいて、主要特徴量である特徴量a、b、cが全て取得できたか否かを判断する(ステップS135)。推定部14は、主要特徴量が全て取得できたと判定した場合(ステップS135:YES)、例えば、式(1)の覚醒状態推定モデルを使用すると決定する。推定部14は、覚醒状態推定モデルの変数の値に、覚醒度の算出に用いるタイミングにおける特徴量a、b、cを代入して覚醒度Yを算出する(ステップS140)。推定部14は、算出した覚醒度を出力する。
【0031】
推定部14は、主要特徴量である特徴量a、b、cのうち取得できなかった特徴量があると判断した場合(ステップS135:NO)、代替特徴量を選択する。具体的には、推定部14は、取得できなかった主要特徴量に対応して代替算出情報に記憶されている代替特徴量のうち、覚醒度の算出に用いるタイミングにおいて取得できた代替特徴量であり、その取得できた代替特徴量のうち主要特徴量と相関が最も高いものから順に代替特徴量を選択する。相関は、例えば、回帰分析(後述する図5)による相関係数や主成分分析(PCA)による固有ベクトル方位(後述する図8)により予め算出される。そこで、代替算出情報に1つの主要特徴量と対応付けられて設定されている複数の代替特徴量それぞれの優先度順を、相関に基づいた値とすることができる。さらに、推定部14は、代替算出情報から、取得できなかった主要特徴量と、選択した代替特徴量とに対応したモデル変更情報を読み出す。推定部14は、モデル変更情報により変更した覚醒状態推定モデルの変数の値に、覚醒度の算出に用いるタイミングにおいて取得された主要特徴量及び代替特徴量を代入して覚醒度Yを算出する(ステップS145)。推定部14は、算出した覚醒度を出力する。
【0032】
例えば、推定部14は、主要特徴量a、b、cのうち、主要特徴量aが取得できなかったと判断した場合に、代替特徴量として特徴量bを選択する。推定部14は、モデル変更情報に従って、上述した式(1)の覚醒状態推定モデルを、上述した式(2)の覚醒状態推定モデルに変更する。推定部は、式(2)の覚醒状態推定モデルに、取得できた主要特徴量b、cと、代替特徴量bとを代入して覚醒度Yを算出する。
【0033】
ステップS140又はステップS145の処理の後、推定部14が、処理の終了ではないと判定した場合に(ステップS150:NO)、覚醒状態推定装置1は、ステップS110a、S110b、S110cからの処理を周期的に繰り返す。そして、推定部14は、終了指示が入力された場合や、予め設定された終了時間になった場合などに処理を終了すると判定し(ステップS150:YES)、処理を終了する。
【0034】
ステップS120a、S120b、S120cにおいて、補完部132が生理データの補完を行う前に、生理データの欠損を検出する処理の例について説明する。補完部132は、抽出対象区間の生理データに対して、(処理1)1階微分、(処理2)1次解析データの分散σの取得を行う。補完部132は、処理1の結果が発散する(傾斜が閾値以上である)場合、データが不連続である、すなわち欠損が発生していると判断する。これは、通常、生理データが連続性を持つためである。視線瞳孔の飛びなどが発生した場合、この段階でデータの欠損が検出される。また、補完部132は、処理2により得られた分散σの値に基づいてデータの欠損を判定する。例えば、脈派振幅などを取得する際には、16秒間の生理データから約0.7秒間隔の脈派振幅25回の分散が得られる。補完部132は、このうち4σを越えるものを異常値(欠損)として検出する。なお、補完部132は、抽出対象区間全体が異常を示すような場合には、過去に算出し、蓄積しておいた分散σの値を参照して判定を行う。なお、平均値は状況により変化するため、分散の方が欠損の判定に適している。
【0035】
図3は、生理データの補完の例を示す図である。図3(a)は、記憶部11に記憶される瞳孔径(PUPIL)を示す時系列の生理データである。瞳孔径を示す生理データの欠損は、瞬きによる眼球の隠れ、外光の急激な変化による見失い、計測器の内部処理エラー、などの原因により発生することが想定される。例えば、瞬きによる眼球の隠れの場合、0.1秒程度の異常値が検出される。しかし、この間は、瞳孔径は保存されると仮定できる。そのため、以下のような処理により、瞬きによる眼球の隠れによる瞳孔径の生理データの欠損を補完することができる。
【0036】
まず、補完部132は、ローパスフィルタにより、10Hz以下の測定値のみ抽出する。ローパスフィルタには、FIR(Finite Impulse Response)フィルタを用いることができる。続いて、補完部132は、所定のサンプリング周波数(例えば、60Hz)で測定値をサンプリングし、時間差分を算出する。補完部132は、時間差分が閾値(例えば、0.1mm)以上である場合、測定値をノイズと判定する。補完部132は、ノイズ区間を除去し、その間を線形補完する。最後に、補完部132は、5ポイント移動平均により時系列の瞳孔径を平滑化する。図3(b)は、この手順により補完を行った瞳孔径の時系列の生理データである。
【0037】
他の生理データの欠損においても、異常値判定と補完アルゴリズムを併せることで、特徴を失わず、データが補完可能である。また、補完には、線形やスプライン曲線など、任意の既存の手法を適用可能である。周期的性質を利用することも可能であるが、覚醒度を変えてしまう可能性があり、注意が必要である。なお、前後の区間が同一周期である場合は適用可能である。しかし、区間全体で生理データが欠損した場合などは、補完部132は、補完不可と判断し、図2の処理フローに示すように、覚醒状態推定装置1は、次のタイミングの生理データを取得する。
【0038】
次に、覚醒状態推定装置1の適用例を説明する。
まず、成人男子22〜24歳20名を対象にして、心電、呼吸、指尖脈派、皮膚コンダクタンス、瞬き、瞳孔径、頭部動作を取得し、PVTタスクによる覚醒テストを行った。PVTタスクは、例えば、文献「K. Kaida et al.,"Validation of the Karolinska sleepiness scale against performance and EEG variables",Clinical NeuroPhysiology,2006年7月,Volume 117,Issue7:1574-1581」に記載されている。PVT後に、対象者にKSS(カロリンスカ睡眠スケール)及びVAS(Visual Analog Scale)の申告評価を実施した。24回の試行を2回に分け実施し、間に十分な休憩を挟んだ。
【0039】
図4は、生理データ及び特徴量を示す図である。同図に示す表は、生理データが測定対象とする部位と、生理データから得られる特徴量の種類(名称)及び特徴量の内容と、特徴量が代表する生理活動をと示す。ただし、KSSは、特徴量ではなく、覚醒度として用いられる。KSSは、人物の主観によって、覚醒状態を1(覚醒)−9(眠気)までの範囲で表す。
【0040】
心電図を表す生理データからは、HR(heart rate)、CSI(cardiac sympathetic index:交感神経指標)、CVI(cardiac vagal index:副交感神経指標)、HF/(LF+HF)が得られる。HRは、毎分心拍回数であり、(1/RR)により算出される。RRは、R波とR波の間隔である。R波は、心電図の鋭いピークである。なお、添え字のiは、i回目の値であることを表す。連続して測定されたRR、RRi+1にローレンツプロット解析を行って得られた楕円形の分布の長軸成分をL、短軸成分をTとしたときに、CSIはL/Tであり、CVIはLog10(L×T)である。また、HFは高周波成分、LFは低周波成分を表す。
【0041】
呼吸を表す生理データからは1試行平均呼吸間隔であるRESPが、脈波を表す生理データからは1試行平均頂点振幅であるPULSEが、皮膚活動電位を表す生理データからは1試行平均表面電位であるSCRが、瞬目を表す生理データからは1試内瞬目回数であるBLINKが、瞳孔径を表す生理データからは1試平均瞳孔径であるPUPILが得られる。頭部動作を表す生理データからは1試平均頭部移動量をXYZ座標で表したHEAD_X,Y,Zが得られる。
【0042】
本実施形態では、それぞれの対象者について、各特徴量を最大値−最小値の間で1−0に規格化した。
【0043】
図5は、覚醒状態推定モデルに使用されうる特徴量と覚醒度との相関を示す図である。同図は、覚醒テストで得られた結果に基づいて、図4に示す特徴量及び覚醒度間の相関を算出した結果を示す。覚醒度は、VAS及びKSSである。同図から、特徴量PUPIL、HF/(LF+HF)、HR、HEAD_X,Y,Z、SCRの順に覚醒度と相関が高いことがわかる。よって、この特徴量の順に、KSSの推定に寄与すると判断される。そして、最も寄与が大きい特徴量PUPILが仮に欠損した場合には、特徴量PUPILと相関が高いSCR、HF/(LF+HF)、HEAD_Xを代替として使用できると判断される。このような分類は相関だけでなく、機械的な分離機にかけても同様に判定が可能である。
【0044】
上記の結果から、重回帰で得られる覚醒度Yの評価式として、以下の式(3)が得られる。
【0045】
Y=αPUPIL+βCSI+γPULSE …(3)
【0046】
覚醒状態推定装置1は、式(3)を覚醒状態推定モデルとして用いる。推定が必要な時間区間では主要因となる特徴量の損失は推定精度の大きな低下に繋がる。短期の欠損については、図3を用いて説明したように、補完することができる。しかし、補完ができず、空の特徴量が得られた場合にもそのまま式(3)を使用すると、著しく異なる状態を推定してしまうことにも繋がる。そこで、特徴量PUPILが欠損した場合、図4に示すように特徴量PUPILと相関が高いHF/(LF+HF)又はSCRを代替特徴量として用いる。式(4)は、特徴量SCRに置き換えた式である。
【0047】
Y=αSCR+βCSI+γPULSE …(4)
【0048】
係数α、α、β、γの値は、上記の覚醒テストを行ったときの結果などや別途の覚醒テストを行ったときの結果などを学習データに用いて決定される。各特徴量は正規化された値であるため、係数α=係数αとしてもよい。
【0049】
主要特徴量は、(a)図5に示すように、回帰分析による相関(正負)が高い特徴量がある場合の他、(b)PCA分析による特徴量固有ベクトルの方位が合致する(近い)特徴量がある場合に、その特徴量に代替可能である。PCA分析では、一般に寄与が大きく、主要特徴量となり得る特徴量の固有ベクトルノルムは最も大きく、それよりも固有ベクトルノルムが小さい特徴量が代替特徴量となる。
【0050】
なお、(a)又は(b)による候補がない特徴量については、代替特徴量を定めることができない。また、主要特徴量が欠損している場合には、その主要特徴量が得られる生理データ自体が欠損していると考えられるため、主要特徴量と同じ生理データから得られる他の特徴量は代替特徴量とせず、異なる生理データから得られる他の特徴量を代替特徴量とすることが望ましい。なお、各特徴量は、交感由来、副交感由来、迷走神経由来などの異なる情報を有しているため、他の特徴量を代替する成分が得られる。取得する生理データの種類を多くすると、生理データ取得のための装具が増加する場合には手間が増えてしまうが、代替の可能性は向上し、特徴量の損失のリスクを低減可能である。
【0051】
なお、複数の人物について得られた学習データを用いて覚醒状態推定モデル及び代替算出情報を生成してもよいが、各人物ごとの学習データを用いて覚醒状態推定モデル及び代替算出情報を生成することにより、推定精度をより向上させることができる。この場合、人物ごとに生成した覚醒状態推定モデル及び代替算出情報を記憶部11に記憶しておく。覚醒状態推定装置1は、覚醒状態推定対象の人物の識別情報の入力を受け、入力された識別情報により特定される覚醒状態推定モデル及び代替算出情報を用いて処理を行う。
【0052】
図6及び図7は、学習した覚醒状態推定モデルの評価結果を示す図である。図6は、式(3)で示される覚醒状態推定モデルに、新たに計測された区間の生理データから取得した特徴量を代入して算出した覚醒度Yと、対象者が申告したKSSとを示す。また、図7は、式(4)で示される覚醒状態推定モデルに、新たに計測された区間の生理データから取得した特徴量を代入して算出した覚醒度Yと、対象者が申告したKSSとを示す。黒い点は、申告されたKSSの値であり、符号L1、符号L2の線は、覚醒状態推定モデルを用いて生理データから推定された覚醒度Yを示す。これらの判定は、RandomForestやDecisionTree、SVR(Support Vector Regression)などを用いても同様に評価できる。
【0053】
図6によれば、式(3)により推定された覚醒度Yは、申告されたKSSと傾向が近いことがわかる。RMSE(Root Mean Squared Error)は1.56であり、決定係数Rは0.74であった。図7によれば、KSS=9に近い状態で図6よりも若干精度の低下を起こしているが、式(4)により推定された覚醒度Yも、申告されたKSSと傾向が近いことがわかる。RMSEは2.11であり、決定係数Rは0.43であった。
【0054】
なお、図6及び図7に示す評価実験では、式(3)と式(4)の係数の値を変えていない。すなわち、係数α=係数αである。そのため、式(4)を用いた場合に、予測精度を表す決定係数Rが低下している。係数αを補正する場合、以下のように値を決めることができる。線形回帰の場合、図5を例にすると、主要特徴量PUPILの欠損によって代替特徴量SCRを用いる場合には、SCRとVAS、PUPILとの相関値を用いて、係数αを、(0.22/0.16)αとする。
【0055】
図8は、特徴量のPCA分析結果の例を示している。PCA分析では、一般に寄与が大きく、主要特徴量となり得る特徴量の固有ベクトルノルムは最も大きく、代替特徴量の固有ベクトルノルムはそれより小さくなる。同図に示すように、PUPILとSCRとはほぼ同じベクトル方向にあり、PUPILの固有ベクトルノルム|PUPIL|のほうがSCRの固有ベクトルノルム|SCR|よりも大きい。そこで、PUPILを主要特徴量とし、SCRを代替特徴量とする。PCA空間における特徴量のベクトルを用いた場合、係数αを、(|PUPIL|/|SCL|)αとする。
【0056】
また、RandomForestを用いることにより、各特徴量の寄与率を算出することができる。この寄与率を用いて、係数αを、((PUPILの寄与率)/(SCLの寄与率))αとしてもよい。
【0057】
以上説明した実施形態によれば、生理データから得られた特徴を用いて覚醒・眠気の推定を行うことができ、生理データが一時的に欠損したときにも、データ補完を行うことにより、あるいは別の生理データから得られる特徴量を欠損した特徴量と置換して用いることにより、推定を継続することができる。よって、データ欠損が発生した場合でも、抽出した特徴量の異常や、評価不能といった事態を避け、高精度かつ継続的に、人物の覚醒状態を推定することができる。
【0058】
例えば、覚醒状態を推定するために用いられる生理データを取得する機器には、カメラや各種センサーなどがある。各種センサーなどを人物に装着するのは煩雑であり、人物の動きも制限される一方、カメラは、人に装着することなく生理データを取得できる。しかしながら、カメラを用いる場合、測定対象に対する角度や位置の変化、さらには、外光の変化などの影響のため、生理データが一時的に取得できなくなってしまう可能性がある。そこで、カメラによって取得可能な生理データを主に用いて覚醒状態を推定し、その生理データが取得できない場合には、他の機器によって取得した生理データを用いて覚醒状態を継続して推定することができる。
【0059】
以上、本発明を実施するための形態について実施形態を用いて説明したが、本発明はこうした実施形態に何等限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変形及び置換を加えることができる。
【符号の説明】
【0060】
1…覚醒状態推定装置、11…記憶部、12…生理データ入力部、13…特徴量取得部、14…推定部、131…生理データ取得部、131…生理データ取得部、132…補完部、133…欠損検出部、134…特徴量算出部
図1
図2
図3
図4
図5
図6
図7
図8