(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2023-12-27
(54)【発明の名称】人工知能アルゴリズムを使用して少なくとも1つのEEG波形を処理することによって人のマイクロ睡眠の精神状態を検出するためのコンピュータ実施方法、及びそのような方法を実施するように構成されたシステム
(51)【国際特許分類】
A61B 5/16 20060101AFI20231220BHJP
A61B 5/18 20060101ALI20231220BHJP
【FI】
A61B5/16 130
A61B5/18
【審査請求】有
【予備審査請求】有
(21)【出願番号】P 2023528574
(86)(22)【出願日】2021-11-29
(85)【翻訳文提出日】2023-06-13
(86)【国際出願番号】 IB2021061073
(87)【国際公開番号】W WO2022113037
(87)【国際公開日】2022-06-02
(31)【優先権主張番号】102020000028916
(32)【優先日】2020-11-30
(33)【優先権主張国・地域又は機関】IT
(81)【指定国・地域】
【公序良俗違反の表示】
(特許庁注:以下のものは登録商標)
(71)【出願人】
【識別番号】523174365
【氏名又は名称】オライゴ エス.アール.エル.
(74)【代理人】
【識別番号】100091683
【氏名又は名称】▲吉▼川 俊雄
(74)【代理人】
【識別番号】100179316
【氏名又は名称】市川 寛奈
(72)【発明者】
【氏名】ガレッタ,ミケーレ
(72)【発明者】
【氏名】マグオロ,ジャンルカ
(72)【発明者】
【氏名】ナンニ,ロリス
(72)【発明者】
【氏名】ロッサート,ジャンルカ
(72)【発明者】
【氏名】トノン,ダヴィデ
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038PP05
4C038PQ03
4C038PQ06
4C038PS03
(57)【要約】
少なくとも1つの適切にトレーニングされた畳み込みニューラルネットワークにより人の少なくとも1つのEEG波形を処理することによって該人のマイクロ睡眠の精神状態を検出するためのコンピュータ実施方法、及び人の少なくとも1つのEEG波形を処理することによってそのような人のマイクロ睡眠の精神状態を検出するためのシステム。
【選択図】
図1
【特許請求の範囲】
【請求項1】
人のマイクロ睡眠の精神状態を検出するためのコンピュータ実施方法であって、マイクロ睡眠は、瞳孔を完全に覆うために人の上まぶたが下がるときに開始する人の身体状態を意味し、前記覆われることは少なくとも0.5秒間維持され、陽性の事例では、前記人に警告するために、前記検出は、少なくとも1つの適切にトレーニングされた畳み込みニューラルネットワークによって、前記人の少なくとも1つのEEG波形を処理することによって実施され、前記方法は、
-数人の頭皮上の前頭極位置FP1またはFP2に設置された少なくとも1つの電極によって、2人以上について獲得された複数の前記EEG波形を含むトレーニングEEG波形のセットを受信する動作と、
-前記トレーニングEEG波形のそれぞれについて、前記マイクロ睡眠の精神状態の前記EEG波形の少なくとも1つの期間を検出することを目的とする識別を示すアノテーションを受信する動作と、
-前記EEG波形及び前記関連のアノテーションのそれぞれを、前記畳み込みニューラルネットワークの入力データとして提供する動作であって、前記畳み込みニューラルネットワークは、前記入力されたEEG波形の前記マイクロ睡眠の精神状態の前記検出の確率が記録される分類出力信号を取得するために、シグモイド活性化関数で終了し、提供する動作と、
-前記畳み込みニューラルネットワークによって、前記EEG波形のそれぞれを処理して、前記畳み込みニューラルネットワークをトレーニングし、前記分類出力信号を前記EEG波形に関する前記アノテーションを比較する動作と、
を含む、トレーニングステップを含むことを特徴とする、コンピュータ実施方法。
【請求項2】
前記コンピュータ実施方法は、そのように、前記人の前記マイクロ睡眠の精神状態を識別するまたは識別しないように、前記人の前記頭皮上における前頭極位置FP1またはFP2に配置された少なくとも1つの電極によって人について獲得された少なくとも1つのEEG波形を分類するステップを含み、前記分類ステップは、
-前記少なくとも1つのEEG波形を受信する動作と、
-前記畳み込みニューラルネットワークをトレーニングした後、前記EEG波形を入力として前記畳み込みニューラルネットワークに提供する動作と、
-前記既にトレーニングされた畳み込みニューラルネットワークによって前記EEG波形を処理する動作と、
-前記EEG波形の前記分類出力信号を前記活性化関数から受信し、前記分類出力信号に基づいて、前記人の前記マイクロ睡眠の精神状態の前記識別するまたは識別しないかを決定する動作と、
を含むことを特徴とする、請求項1に記載のコンピュータ実施方法。
【請求項3】
前記分類ステップ、具体的には、前記人の前記マイクロ睡眠の精神状態を検出または検出しないかの前記決定は、前記人の前記頭皮上の前頭極位置FP1及び前頭極位置FP2に配置された2つの電極によって獲得された前記EEG波形を処理することによって取得された前記分類出力信号に基づいていることを特徴とする、請求項2に記載のコンピュータ実施方法。
【請求項4】
前記コンピュータ実施方法は、前記トレーニングステップ及び前記分類ステップの両方に関して、0.001~0.05Hzに選ばれたカットオフ周波数を有する高域フィルター及び/または10~25Hzに選ばれたカットオフ周波数を有する低域フィルターによって、前記EEG波形をフィルタリングすることを含む前記EEG波形の前処理ステップを含むことを特徴とする、請求項2または3に記載のコンピュータ実施方法。
【請求項5】
前記畳み込みニューラルネットワークは「時間的畳み込みネットワーク」タイプのネットワークであることを特徴とする、請求項2~4のいずれか1項に記載のコンピュータ実施方法。
【請求項6】
前記人の精神状態を検出するかどうかを決定する前記動作は、前記少なくとも1つの畳み込みニューラルネットワークの下流に配置された少なくとも1つのリカレントニューラルネットワークによって実施され、その結果、前記リカレントニューラルネットワークは、前記畳み込みニューラルネットワークによって生成された前記分類出力信号を入力として受信することを特徴とする、請求項2~4のいずれか1項に記載のコンピュータ実施方法。
【請求項7】
前記EEG波形において前記人の精神状態を検出または検出しないかの意思決定動作は、前記分類出力信号に示された前記マイクロ睡眠の精神状態を識別する尤度が、所定の最小期間でプリセットした閾値よりも大きいかどうかを検証することが想定されることを特徴とする、請求項2~4のいずれか1項に記載のコンピュータ実施方法。
【請求項8】
前記コンピュータ実施方法は、前記トレーニングステップ及び前記分類ステップの両方に関して、前記畳み込みニューラルネットワークの入力として前記EEG波形を提供する前に、前記EEG波形に対して前処理ステップを行うことが想定され、前記前処理ステップは、既定の期間(X)の時間区間への前記EEG波形のそれぞれの少なくとも1つの再分割を含むことを特徴とする、請求項2または3に記載のコンピュータ実施方法。
【請求項9】
前記EEG波形区間は、人工知能アルゴリズムに入力としてセットされる前に、時間領域から周波数領域に変換され、2次元デジタル画像として示されることを特徴とする、請求項8に記載のコンピュータ実施方法。
【請求項10】
前記2次元デジタル画像はサイズ28×154のグレースケール2次元デジタル画像であることを特徴とする、請求項9に記載のコンピュータ実施方法。
【請求項11】
前記EEG波形の前記アノテーションのそれぞれは、プリセットしたサンプリング範囲で分割された前記EEG波形のそれぞれの前記期間に等しいメモリセルの数を含む第1のベクトルを含み、前記メモリセルのそれぞれには、前記EEG波形の前記サンプリング範囲のそれぞれについて、前記人の精神状態の有無が記録されることを特徴とする、請求項2~10のいずれか1項に記載のコンピュータ実施方法。
【請求項12】
前記分類出力信号は、プリセットしたサンプリング範囲で分割された前記EEG波形のそれぞれの前記期間に等しいメモリセルの数を含む第2のベクトルを含み、前記メモリセルのそれぞれには、前記EEG波形の特定のサンプリング範囲のそれぞれにおいて、前記人の精神状態を識別する尤度が記録されることを特徴とする、請求項2~11のいずれか1項に記載のコンピュータ実施方法。
【請求項13】
前記サンプリング範囲は5ms~50msに含まれ、好ましくは、前記サンプリング範囲は10msになるように選ばれることを特徴とする、請求項11または12に記載のコンピュータ実施方法。
【請求項14】
人(P)の少なくとも1つのEEG波形を処理することによって、前記人(P)の精神状態を検出するためのシステム(1)であって、
-前記人(P)によって装着可能なデバイス(2)であって、前記ウェアラブルデバイス(2)は少なくとも前記人(P)の頭皮の前部に設置され、前記ウェアラブルデバイス(2)は、前記人(P)の前記頭皮自体の前記前頭極位置FP1またはFP2で前記人(P)の前記頭皮と接触して設置されるように適応する少なくとも1つの電極(3,4)が設けられ、前記ウェアラブルデバイス(2)は、前記電極(3,4)によって前記人(P)の前記少なくとも1つのEEG波形を獲得するように構成される、ウェアラブルデバイス(2)と、
-畳み込みニューラルネットワークが請求項1~13のいずれか1項に従って記憶される記憶手段(10)と、前記畳み込みニューラルネットワークを実行するように構成された処理手段(11)とを含む、電子制御ユニット(9)と、を備え、前記畳み込みニューラルネットワークは、
-前記畳み込みニューラルネットワークが前記トレーニングEEG波形ならびに前記トレーニングEEG波形のアノテーションを入力として受信するときに、請求項1に記載の前記トレーニングステップ、及び/または
-前記人の特定のマイクロ睡眠の精神状態を検出するまたは検出しないように、前記畳み込みニューラルネットワークが前記人(P)の少なくとも1つのEEG波形を入力として受信するとき、請求項2に記載の前記分類ステップ、
-前記電子制御ユニットが前記人の前記マイクロ睡眠の精神状態を検出するとき、前記マイクロ睡眠の精神状態の前記検出について、前記人に警告するように構成された警告手段、
を実行するように構成されることを特徴とする、システム(1)。
【請求項15】
前記ウェアラブルデバイスは第1の無線通信手段(8)が設けられ、前記電子制御ユニット(9)はデバイス(13)に付属し、前記デバイス(13)は、前記ウェアラブルデバイス(2)と異なり、第2の無線通信手段(14)が設けられ、前記ウェアラブルデバイス(2)は、前記少なくとも1つのEEG波形が獲得されると、前記第1の無線通信手段(8)及び前記第2の無線通信手段(14)によって、前記少なくとも1つのEEG波形を前記電子デバイス(13)に移送するように構成されることを特徴とする、請求項13に記載のシステム(1)。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、人工知能アルゴリズムによって、人の少なくとも1つのEEG波形を処理することによって、特定の人の精神状態、具体的には人のマイクロ睡眠の精神状態を検出するためのコンピュータ実施方法に関する。
【0002】
さらに、そのようなコンピュータ実施方法は、該精神状態を検出するとき、該人に警告することを提供する。
【0003】
また、本発明は、前述の人工知能アルゴリズムによって、前述のEEG波形を処理することによって、前述の人の精神状態を検出するためのシステムに関する。
【背景技術】
【0004】
よく知られているように、EEGは、シナプス後電位の時空間的加重によって生成された細胞外の電流フローを測定する。これらのシナプス後電位について、10~100msの期間、20mVの最大振幅を有する。
【0005】
これらの信号は、「国際10-20システム」と呼ばれる標準的な位置決めに従って、人の頭上に1つ以上の電極を設置することによって獲得され、「国際10-20システム」は、特に、各々、そのような人の頭皮上の左前頭極位置及び右前頭極位置にあるFP1及びFP2と呼ばれる2つの電極を設置することを含む。
【0006】
さらに、獲得されるEEG信号は、生理的及び非生理的な性質があり得る複数のアーティファクトに影響を受けることが知られている。具体的には、生理学的性質のアーティファクトは、特にまぶたを開閉する運動を含む眼球運動に起因するアーティファクトを含む。
【0007】
詳細には、眼球運動に起因するこれらのアーティファクトは、具体的には、無視できない振幅を提示し、特に、前述の2つの位置FP1及びFP2で獲得されたEEG信号で、信号の残り部分から明確に区別可能である。
【0008】
この理由から、これらの信号は、そのようなアーティファクトを信号からなくし、シナプス後電位に独占的に関連する信号を処理するために、常に適切にフィルタリングされる。
【0009】
人に生じる可能性がある精神状態の観点から、眠気の精神状態が存在する。具体的には、この用語は、概して、また本発明の文脈では、起きていることが困難であることを意味し、通常、そのような眠気は睡眠-覚醒サイクルの遷移段階である。眠気は、麻痺状態及び意識レベルの低下を特徴とし、眠りに落ちる直前の典型的な兆候である。
【0010】
眠気は、イライラ、注意力の欠如、まぶたの重苦しさの感情、あくび、及び目のこすりによって表れる。
【0011】
この状態は、人の日中の様々な段階で、多くの場合、自然に、いずれかの禁忌症もなく発生する可能性があり、しかしながら、眠気が発生するとき、特に、人が車を運転するとき、非常に危険な状況をもたらす可能性がある。
【0012】
この理由から、最近、人に警告し、彼または彼女がその精神状態から脱することを目的として、人がモーター付き車両を運転している間、そのような精神状態の発生を迅速に検出することが可能であるデバイスを発見することを可能にするために、多くの研究が行われている。
【0013】
しかしながら、第1の分類のデバイスは、そのような精神状態を区別するために、EEG信号と、頭の傾き等の人の運転中の身体運動を検出することが可能である器具とを組み合わせて使用することが必要になる。この場合、不利に、これらのデバイスは非常に複雑であり、1人により効果的に使用するために連結される。
【0014】
先行技術に関する他の分類のデバイスは、連結式ではなく、使用するのがより簡単であるが、そのような眠気の精神状態及びリスクを迅速に検出することが不可能であり、そのような状態の報告がかなり遅くなり、したがって、事故及び危険な状況の可能性が増加する。
【発明の概要】
【発明が解決しようとする課題】
【0015】
本発明は、先行技術の欠点を克服することを目的としている。
【0016】
具体的には、本発明の目的は、先行技術によって提案されたシステム及びデバイスよりも効果的にそのような精神状態を検出することが可能である人工知能アルゴリズムによって少なくとも1つのEEG波形を処理することによって、特定の人の精神状態を検出するためのコンピュータ実施方法を提案することである。
【0017】
本発明のさらなる目的は、先行技術によって提案されたシステム及びデバイスよりも速く特定の人の精神状態を検出することが可能である方法を提案することである。
【課題を解決するための手段】
【0018】
前述の目的は、参照がなされる主要な請求項に従って、人工知能アルゴリズムによって少なくとも1つのEEG波形を処理することによって、特定の人の精神状態を検出するためのコンピュータ実施方法によって実現する。
【0019】
本発明の方法のさらなる特性は従属請求項に説明される。
【0020】
また、本発明の一部は、請求項14に従った該人工知能アルゴリズムによって、該EEG波形を処理することによって、該人の精神状態を検出するためのシステムである。
【0021】
前述の目的は、下記に言及される利点と一緒に、添付図を参照して非限定的な例によって与えられる本発明のいくつかの好ましい実施形態の説明を通して良く強調される。
【図面の簡単な説明】
【0022】
【
図1】本発明のシステムの第1の実施形態の概略図を示す。
【
図2】本発明のシステムの第2の実施形態の概略図を示す。
【発明を実施するための形態】
【0023】
好ましいが非限定的な実施形態で以下に説明される本発明のコンピュータ実施方法は、人工知能アルゴリズムによって、好ましくは、少なくとも1つの適切にトレーニングされた畳み込みニューラルネットワークによって、さらにより好ましくは、「時間的畳み込みネットワーク」タイプの少なくとも1つの適切にトレーニングされたネットワークによって、同じ人について獲得された少なくとも1つのEEG波形を処理することによって、特定の人の精神状態を検出することを目的とする。
【0024】
下記に検討される本発明の方法の実施例では、特定の人の精神状態は、「マイクロ睡眠」として定義された精神状態に対応して検出されることを目的とし、「マイクロ睡眠」は、上まぶたが完全に瞳孔を覆うまでの同じ人の上まぶたが垂れ下がるとき開始する人の身体状態を意味し、この覆われることは少なくとも0.5秒間維持される。
【0025】
発明者による実験によって識別された前述のマイクロ睡眠状態は、それ自体、人の眠い精神状態の前段階として現れ、特許請求される方法を実証する発明者自身の本発明に関する発想は、結果として、同じ人と対話するための、または人に関するさらなる分析を開始するための適切なアクションを迅速に実施するために、そのようなマイクロ睡眠の精神状態の識別を活用することが可能になる。
【0026】
本発明の好ましい実施形態によると、好ましいが必ずしもそうではなく、そのようなマイクロ睡眠の精神状態の検出は彼/彼女が車を運転中に人に対して実施され、これは、該人の覚醒状態から傾眠状態への起こり得る遷移を検出するために、そして、その結果、車を運転する同じ人に、彼/彼女が置かれている危険な状況が増大して差し迫っていることについて、迅速に警告するために行われる。
【0027】
実際には、過度の眠気は交通事故の原因の約5分の1に関連し、高速道路での死亡事故の主な原因の1つであることがよく知られている。
【0028】
しかしながら、そのようなマイクロ睡眠の精神状態の状況の検出は、アクチグラフィ調査を実行する等、他の目的のために使用され得ることが除外されるわけではない。
【0029】
実際に、アクチグラフィは、夜間睡眠を評価するために使用される器具を用いた調査であることがよく知られている。より正確に言えば、アクチグラフィは、運動状態(覚醒状態)及び顕著な運動の減少(睡眠)の長時間の監視を可能する方法であり、睡眠-覚醒リズムの十分な客観的指標である。これに関連して、本発明の方法によるマイクロ睡眠の精神状態の検出により、前述の覚醒状態から個々の睡眠状態への遷移を迅速及び正確に検出することを可能にし、その検出の瞬間から、想定される前述のアクチグラフィ法によって想定されたさらなる分析を開始できる。
【0030】
そのようなマイクロ睡眠の精神状態を検出するために、本発明のコンピュータ実施方法は、最初に、該人工知能アルゴリズムのトレーニングステップ、具体的には、該畳み込みニューラルネットワークのトレーニングステップを含む。
【0031】
このトレーニングステップは、具体的には、そのようなEEG波形を獲得するために1つ以上の電極が装備された特殊デバイスによって、数人について獲得された複数のEEG波形を含むトレーニングEEG波形のセットを受信することを含む。
【0032】
より正確に言えば、これらの波形の獲得に関して、発明者は、いくつかの運転セッションにわたって、具体的には、それぞれ約40分続く、ドライバーごとに7セッションにわたって運転している数人を含む正確なプロトコルを設定している。
【0033】
各セッション中、運転中の人は、既定の波形に従って一定速度を維持する必要があり、少なくとも1つのEEG波形は、10-20規格によって定義された人の頭皮上の位置の1つで、好ましくは、そのような頭皮上に2つある前頭極位置FP1または前頭極位置FP2のうちの1つで、人について獲得された。さらにより好ましくは、両方のEEG波形は、2つの前頭極位置FP1及びFP2で獲得される。
【0034】
実際に、そのような位置は、有利に、眼球運動に起因するアーティファクトのより正確及びより確実な検出を可能にする。
【0035】
さらにより具体的には、前述のEEG波形の獲得は、6個の電極の使用を含み、4個の電極は前方(FP1,FP2,AF7,AF8)にあり、2つの電極はT5及びT6に位置付けられ、グランド電極はAF8に位置付けられ、基準電極はAF7に位置付けられる。基準電極がAF7に設置されると、収集された信号は、FP1-AF7、FP2-AF7、T5-AF7、及びT6-AF7であり、畳み込みニューラルネットワークへの入力に適切な信号、すなわちFP1-T6及びFP2-T5のペアを定義するために、以下の減算を操作することによって、信号を再参照する。(FP2-AF7)-(T5-AF7)=FP2-T5、及び(FP1-AF7)-(T6-AF7)=FP1-T6。前額部ひいては髪が存在しない位置に設置された基準電極及びグランド電極を使用すると、有利に、電極自体が最適なインピーダンスレベルにすぐに到達することが可能になる。
【0036】
しかしながら、本発明の変形実施形態によると、例えば位置F3-F7-Fz-F4-F8で、10-20規格に従って、異なる位置で、使用されるEEG波形を獲得し得ることが除外されるわけではない。
【0037】
同時に、これらの運転セッション中、その人の目の画像、具体的には、その人の瞳孔の画像は、高精度の2つのマイクロカメラが装備された特殊眼鏡またはアイトラッカーを使用してキャプチャされる。
【0038】
各セッションの最後に、獲得されたEEG波形を人の目の獲得された画像と経時的に比較し、そして、上まぶたが対象の目の瞳孔を完全に覆うまで同じ人の上まぶたが垂れ下がるときのそのセッション中の期間が記録される。この状態は少なくとも0.5秒間発生する。
【0039】
このように、したがって、該身体状態が発生したEEG波形の一部を区別することが可能であった。
【0040】
運転中の人の目に関するEEG波形及びビデオのこれらの獲得は、9人に対して実行された。しかしながら、治験に関わる9人よりも少ないまたは多い人数であり得ることが除外されるわけではない。
【0041】
本質的に、発明者は、これらの実験の全体を通して、前述のマイクロ睡眠の精神状態、眠気状態の前段階を検出するために、眼球運動、具体的にはまぶたを開閉する運動のアーティファクトに起因する、EEG波形がとる特定の波形を活用する可能性が理解される。
【0042】
したがって、本発明の方法の説明に戻り、第1の好ましい実施形態によると、そのようなトレーニングEEG波形を受信することが想定され、さらに、前述のアノテーションを受信すること、このマイクロ睡眠の精神状態の場合、前述の精神状態のEEG波形の少なくとも1つの期間の検出を示すことが想定される。
【0043】
具体的には、EEG波形に関する信号はアナログ信号であるため、信号は人工知能アルゴリズムに入力される前に、本発明の好ましい実施形態に従って、最初に、同じアナログ信号を数値信号(またはデジタル信号)に変換することが想定される前処理ステップを提供する。そうすることで、後続の処理の結果を否定的に変え得る周波数成分をなくすために、信号の変換前にアナログ信号のフィルタリング操作も提供される。
【0044】
具体的には、本発明のこの好ましい実施形態によると、0.001~0.05Hzに選ばれたカットオフ周波数を有する高域フィルター及び/または10~25Hzに選ばれたカットオフ周波数を有する低域フィルターによって、EEG波形に関するアナログ信号をフィルタリングする。
【0045】
明確に、これらのフィルターの両方を使用するとき、バンドパスフィルターが該2つのカットオフ周波数の値の間の帯域幅で取得される。
【0046】
有利に、上述のカットオフ周波数がある高域フィルターの使用は、獲得された信号の背景雑音を除去することを可能にする。低域フィルターは、上述のカットオフ周波数において、筋肉アーティファクトに起因するそれらの周波数の全てを信号から除外することを可能し、代わりに、脳波周波数、及び眼球アーティファクト(まぶた運動)に起因する周波数を維持する。
【0047】
上述のアノテーションに関して、入力として上記のEEG波形のそれぞれに、1つのアノテーションを受信することが想定される。
【0048】
さらにより具体的には、好ましくは、そのようなアノテーションのそれぞれは、本明細書に説明される方法の第1の実施形態によると、第1のベクトルを含み、第1のベクトルは、さらには、既定のサンプリング範囲によって分割された、受信されたEEG波形の期間に等しいメモリセルの数を含み、該メモリセルのそれぞれには、特定のEEG波形の区間のサンプリング範囲のそれぞれについて、識別される人の精神状態の有無にアノテーションをつける。本明細書に説明される実施例は、好ましいが必ずしもそうではなく、このサンプリング範囲は5ms~50msに、さらにより好ましくは10msに選択されることが想定される。
【0049】
さらにより好ましくは、上述の第1のベクトルのこれらのメモリセルのそれぞれは1ビットによって定義され、特定の精神状態(マイクロ睡眠)がEEG波形の関連の10msで検出された場合、値1をとり得る、または、この精神状態が検出されなかった場合、値0をとり得る。
【0050】
しかしながら、本発明の異なる実施形態によると、そのようなアノテーションのそれぞれは、単一のメモリセルが、該EEG波形区間では、検出されるマイクロ睡眠の精神状態が少なくともある期間に検出されているかどうかを示すことを含むことが除外されるわけではない。
【0051】
本発明の方法、具体的には、本発明の方法のトレーニングステップは、続いて、該人工知能アルゴリズムに、具体的には該時間的畳み込みネットワークに、EEG波形及びそのアノテーションのそれぞれを入力データとして提供することを含む。
【0052】
本発明に従った人工知能アルゴリズムに関して、そのアルゴリズムは、活性化関数、好ましくはシグモイド活性化関数で終了する。その関数では、入力されたEEG波形区間で、検出されるマイクロ睡眠の精神状態を検出する確率を記録する分類出力信号が取得される。
【0053】
最後に、本発明の方法のトレーニングステップは、人工知能アルゴリズムは、処理することによって取得された分類出力信号を同じEEG波形に関するアノテーションと比較することによって、人工知能アルゴリズム自体をトレーニングするために、EEG波形のそれぞれを処理することが想定される。
【0054】
本発明の好ましい実施形態に従った分類出力信号に関して、分類出力信号は、第2のベクトルを含み、第2のベクトルは、さらには、既定のサンプリング範囲によって分割されたEEG波形の期間に等しいメモリセルの数を含み、メモリセルのそれぞれは、EEG波形の特定のサンプリング範囲で、人の精神状態の検出の確率を記録する。
【0055】
また、この場合、好ましいが必ずしもそうではなく、このサンプリング範囲は5ms~50msに、さらにより好ましくは10msに選ばれるはずである。
【0056】
さらにより好ましくは、前述の第2のベクトルのこれらのメモリセルのそれぞれは、8バイト(「ダブルフロート」データ型)によって定義され、その値は、その10msの期間でマイクロ睡眠の精神状態を検出する、または検出しない人工知能アルゴリズムによって計算された確率に従って変わる。
【0057】
8バイトの使用は、第2のベクトルのメモリセルごとに、特定の10msの範囲で人の精神状態を検出するまたは検出しない確率に関する倍精度データを取得するのに有利になる。
【0058】
また、この場合、本発明の異なる実施形態によると、この分類出力信号は、入力されたEEG波形で特定のマイクロ睡眠の精神状態の検出の確率を記録することが可能である場合、異なる構造を提示し得ることが除外されるわけではない。
【0059】
具体的には、各メモリセルのこのサイズは8バイトとは異なり得ることが除外されるわけではない。
【0060】
本発明のコンピュータ実施方法の第1の好ましい実施形態の説明に戻ると、本方法は、さらに、好ましくは同じ人の頭皮上の前頭極位置FP1及び前頭極位置FP2に各々配置された2つの電極によって、人について獲得された1つ以上のEEG波形を分類するステップを含む。
【0061】
上述したように、そのような1つ以上のEEG波形は、上述の位置FP1またはFP2の1つだけで獲得され得ることが除外されるわけではない。
【0062】
この分類ステップの目的は、該人の特定のマイクロ睡眠の精神状態の識別するまたは識別しないかの判断を可能にする。
【0063】
本発明に従った分類ステップは、トレーニングステップの場合のように、少なくとも1つのEEG波形を受信することと、そのようなEEG波形に対して前処理ステップを行うことを含む。
【0064】
処理されるEEG波形の前処理ステップは、トレーニングEEG波形の前処理ステップに関して上記に説明したように、同じ動作を正確に行うことを含む。この理由から、簡潔にするために、この説明は、また、処理されるEEG波形の分類ステップについても言及する。したがって、上記の広範囲に扱われる上述の動作の全てを繰り返すことが必要でなくなる。
【0065】
したがって、本発明の方法は、上記に説明したトレーニングステップによって、人工知能アルゴリズムのトレーニング後に明確に、そのようなEEG波形を入力として、人工知能アルゴリズムに、具体的には、時間的畳み込みネットワークタイプのネットワークに提供することが想定される。
【0066】
この時点でトレーニングされた人工知能アルゴリズムは、本発明に従って、該EEG波形のそれぞれに、上記に説明したタイプの分類出力信号を出力として提供するように、EEG波形を処理する。具体的には、上記に確認できるように、この信号は、前述の活性化関数の出力に提供される。
【0067】
さらに、本発明の方法、具体的には、そのような分類ステップは、人工知能アルゴリズムによって提供された分類出力信号に基づいて、人の前述のマイクロ睡眠の精神状態の検出または非検出についての決定を提供する。
【0068】
本発明の第1の好ましい実施形態によると、この決定ステップは、特定の分類出力信号に示される人の精神状態の検出の確率が所定の最小期間で所定閾値よりも大きいかどうかを検査することを含む。
【0069】
例えば、この最小期間は0.6秒を下限値として選ばれ得る。しかしながら、その最小期間は1.2秒、1.8秒等として選ばれ得る。
【0070】
代替として、本発明の異なる実施形態によると、この分類ステップ、具体的には、マイクロ睡眠の精神状態を検出するかどうかに関する決定は、人工知能アルゴリズムの下流に配置されたリカレントニューラルネットワーク、具体的には、時間的畳み込みネットワークタイプのネットワークによって実施され得、その結果、同じリカレントニューラルネットワークは、人工知能アルゴリズム自体によって、具体的には、時間的畳み込みネットワークタイプのネットワークによって生成された分類出力信号を入力として受信することが可能である。
【0071】
そのようなリカレントネットワークの使用は、いわゆる、まばたきとして知られているものから、すなわち、まぶたの急速な一連の開閉から、マイクロ睡眠の精神状態であるとして、ここで定義されているものについての判別に有利に働く。
【0072】
言い換えれば、本発明のそのような代替の実施形態によると、人工知能アルゴリズムへの入力としてのEEG波形でマイクロ睡眠の精神状態を検出するかどうかに関する決定は、また、「従来的」アルゴリズムよりはむしろ、人工知能アルゴリズムに任せられるであろうことが想定され得る。
【0073】
最後に、本発明の第1の好ましい実施形態によると、本方法が少なくとも1つの獲得されたEEG波形区間におけるマイクロ睡眠の精神状態を検出すると、同じ方法は、警告信号を同じ人に迅速に提供することを提供し、その結果、運転中である場合、彼/彼女がそのような精神状態から脱するように促され、覚醒の精神状態に戻される。
【0074】
そのような警告信号は、振動信号または低強度電気信号等、音声信号、視覚信号、または触覚信号であり得る。
【0075】
明確に、人のEEG波形を獲得するステップ、該EEG波形を分類するステップ、マイクロ睡眠の精神状態の存在を決定するステップが行われ、続いて、彼または彼女が彼自身または彼女自身で気付いている危険状態について、運転中の人に迅速に警告することが可能であるように、順に及びリアルタイムでそのように実行する必要がある場合、警告信号を生成するステップが行われる。
【0076】
本発明の方法の第2の好ましい実施形態は、下記に説明される違いを除いて、上述の第1の実施形態に関して既に広範囲に説明された全てのステップが想定される。
【0077】
具体的には、トレーニングステップ中及び分類ステップ中の両方に、該第2の好ましい実施形態に従った本発明の方法では、該前処理ステップは、また、好ましくはデジタルに変換されると、既定期間Xの時間区間へのEEG波形のそれぞれの再分割を含むことが提供される。本明細書に説明されるこの例示的な実施形態によると、好ましいが必ずしもそうではなく、この既定期間Xは1秒~15秒に含まれる範囲に選ばれ、さらにより好ましくは、その期間は8秒として選ばれる。
【0078】
有利に、既定期間Xのそのような8秒の時間値の選択により、EEG波形区間の処理時間の短縮と、同じEEG波形区間で検出される人の起こり得る精神状態の十分な検出の保証との間の妥協を可能にする。
【0079】
しかしながら、異なる値はそのような既定期間Xとして選ばれ得ることが除外されるわけではない。
【0080】
その上、好ましいが必ずしもそうではなく、この時間区間への分割は、EEG波形の隣接区間の各ペアが該既定期間Xの半分に等しい持続時間で重複することが必要になる。したがって、この場合、隣接区間の各ペアは4秒の重複がある。また、この点で、本発明の異なる実施形態によると、そのような重複が提供されないこと、または、そのような重複の時間が上述の既定期間Xの半分と異なること、が除外されるわけではない。
【0081】
さらに、本発明の方法は、この第2の好ましい実施形態によると、この前処理ステップ中、各EEG波形区間が時間領域から周波数領域に変換され、2次元デジタル画像として表されることが提供される。
【0082】
周波数領域の変換に関して、好ましくはフーリエ変換に基づくアルゴリズム、具体的には高速フーリエ変換(FFT)を使用して実行される。
【0083】
より正確に言えば、このフーリエ変換によって導出された画像は、好ましくは、変換中、周波数0.1Hz、0.25Hz、0.5Hzと、1~25Hzの整数値の全ての周波数を考慮することによって取得される。
【0084】
具体的には、フーリエ変換を実行するための周波数値のこの選択は、眼球運動の信号特性の成分、具体的には前述のマイクロ睡眠の精神状態の間に発生する眼球運動の信号特性の成分を不変に維持することを可能にし、同時に、信号から、この眼球運動に関連がないそれらの成分の全てを除去することを可能にする。
【0085】
本発明の方法の代替の実施形態によると、フーリエ変換を実施するために考慮される周波数の数及び値は、本発明の第1の好ましい実施形態に関して上記に示したものと異なり得ることが除外されるわけではない。
【0086】
本発明の方法の前述の第2の好ましい実施形態の説明に戻ると、前述の変換情報を2次元画像として表すことに関して、該画像は好ましくは28×154画素のサイズの2次元グレースケールデジタル画像であり、各画素は4バイト(「フロート」データタイプ)によって表される。
【0087】
画像の特定のサイズは以下のロジックに従って選ばれる。行数、すなわち28行は、フーリエ変換中に考慮される前述の周波数の数に等しくなるように選ばれる一方、列数、すなわち154列は、信号がEEG波形区間に関する時間領域で分割されたウィンドウの数であり、ウィンドウのそれぞれに、この変換が行われる。各画素が4バイトで表される選択に関して、これは、有利に、各画素が表すデータの精度に起因する。
【0088】
結果として、このことから、本発明の方法の異なる実施形態によると、フーリエ変換中に考慮される周波数の選択に応じて及び該選ばれた再分割ウィンドウの数に応じて、また、画像のサイズは状況に応じて変わり得る。
【0089】
また、各画素のサイズは4バイトとは異なるように選ばれ得ることも除外されるわけではない。
【0090】
本発明の第1の好ましい実施形態と同様に、各アノテーションを識別する第1のベクトル及び各分類信号を定義する第2のベクトルの両方は、該既定のサンプリング範囲によって分割された該既定期間Xに等しいメモリセルの数を有する。
【0091】
しかしながら、第2の好ましい実施形態の場合、このサンプリング範囲の値は50ms~150ms、さらにより好ましくは100msに選ばれる。
【0092】
したがって、本発明の方法の第2の好ましい実施形態の場合、上記に確認できるように、各EEG波形区間の該既定期間が8秒になるように選ばれるため、該第1のベクトルは80個のメモリセル(8秒/100ms)を含み、したがって、それぞれ、100msの期間があるそのようなEEG波形区間の期間に関する。
【0093】
したがって、本発明の方法は、第2の好ましい実施形態によると、各EEG波形区間は、前述の人工知能アルゴリズムに、具体的には畳み込みニューラルネットワークに、それぞれ2次元デジタル画像の形式で入力されることが提供される。
【0094】
人工知能アルゴリズムのアーキテクチャ、具体的には前述の少なくとも1つの畳み込みニューラルネットワークのアーキテクチャに関して、好ましいが必ずしもそうではなく、そのアーキテクチャは、連続的に、
-さらには順に、32個の4×4フィルターを伴う畳み込み層、ReLU(修正線形ユニット)層、及び正規化層を含む、第1の畳み込みブロック、
-さらには順に、64個の4×4フィルターを伴う畳み込み層、ReLU(修正線形ユニット)層、正規化層、及び20%ドロップアウト層を含む、第2の畳み込みブロック、
-2×2のサイズ及びピッチ2のプーリング層、
-さらには順に、64個の4×4フィルターを伴う畳み込み層、ReLU(修正線形ユニット)層、及び正規化層を含む、第3の畳み込みブロック、
-さらには順に、64個の4×4フィルターを伴う畳み込み層、ReLU(修正線形ユニット)層、正規化層、及び20%ドロップアウト層を含む、第4の畳み込みブロック、
-さらには順に、32個の3×3フィルターを伴う畳み込み層、ReLU(修正線形ユニット)層、及び正規化層を含む、第5の畳み込みブロック、
-順に、128個のニューロンのFC層及びReLU(修正線形ユニット)層が装備された、第1のFC(全結合)ブロック、
-上述の活性化関数、具体的にはシグモイド活性化関数を定義する80個のニューロンを伴う第2のFC(全結合)ブロック、を提供する。
【0095】
明確に上記に示されるように、先ほど説明した人工知能アルゴリズムのアーキテクチャは、好ましいが非限定的な実施形態である。言い換えれば、本発明の方法の異なる実施形態は、前述のマイクロ睡眠の精神状態を検出することが可能である場合、異なるアーキテクチャを有する人工知能アルゴリズムを含み得る。
【0096】
上述したように、本発明の一部は、また、人の少なくとも1つのEEG波形を処理することによって、該人の精神状態を検出するためのシステム1であり、システム1の第1の好ましい実施形態は
図1に示される。
【0097】
具体的には、本発明の好ましい実施形態によると、システム1は、人のマイクロ睡眠の精神状態の存在を検出するように構成され、陽性の事例では、彼または彼女が車を運転している場合、彼または彼女が置かれている危険状態について人に迅速に信号を発するように、警告信号を該人に送るように構成される。
【0098】
本発明によると、システム1は、
図1で2によって示された人Pによって装着可能なデバイスを含み、その結果、同じウェアラブルデバイス2は、少なくとも、そのような人Pの頭皮の前部に設置される。好ましいが必ずしもそうではなく、そのようなウェアラブルデバイス2は、そのような人の頭上に装着できるように円環形を有する。
【0099】
本発明のシステム1に関するウェアラブルデバイス2の好ましい実施形態は、前頭極位置FP1及びFP2で、人Pの頭皮と接触して配置されるように構成されたEEG波形を獲得するために2つの電極3及び4を含む。さらに、本発明の好ましい実施形態によると、システム1に付属するウェアラブルデバイス2は6個の電極を含み、6個の電極のうち、4個は前方の電極(
図1で、3で示されるFP1、4で示されるFP2、15で示されるAF7、16で示されるAF8)であり、2個は、
図1に見えないT5、
図1に17で示されるT6に位置付けられ、グランド電極はAF8に位置付けられ、基準電極はAF7に位置付けられる。基準電極がAF7に設置されると、収集された信号は、FP1-AF7、FP2-AF7、T5-AF7、及びT6-AF7であり、畳み込みニューラルネットワークへの入力に適切な信号、すなわちFP1-T6及びFP2-T5のペアを定義するために、以下の減算を操作することによって、信号を再参照する。(FP2-AF7)-(T5-AF7)=FP2-T5、及び(FP1-AF7)-(T6-AF7)=FP1-T6。前額部ひいては髪が存在しない位置に設置された基準電極及びグランド電極を使用すると、有利に、電極自体が最適なインピーダンスレベルにすぐに到達することが可能になる。
【0100】
代替として、
図2に示されるように、デバイスは、前頭極位置FP1及びFP2で、人Pの頭皮と接触して設置されるように構成されたEEG波形を獲得するために前述の2つの電極3及び4を含み得、さらに、同じデバイスは、位置CZに該人の頭皮と接触するように設置されるのに適切な第3の基準電極5を含み得る。
【0101】
また、この場合、ウェアラブルデバイス2は、バイアス電極またはグランド電極として知られている追加電極を含む。
【0102】
これらの実施形態の両方に従って、好ましくは全ての電極はドライ電極であり、「ドライタイプの電極」とも呼ばれ、すなわち、それらの電極は、電極自体と人の頭皮との間に導体ペーストの塗布が必要ない。しかしながら、電極自体はウェットであり得、「ウェット」タイプとも呼ばれ、すなわち、そのような導体ペーストの塗布が必要になることが除外されるわけではない。
【0103】
さらに、本発明の異なる実施形態によると、ウェアラブルデバイス2は、該基準電極が明確に設けられたことに加えて、前頭極位置FP1に、または代替として前頭極位置FP2に、人の頭皮と接触して配置されるように構成された単一電極が設けられていることが除外されるわけではない。
【0104】
さらに、そのようなウェアラブルデバイスは、前頭極位置FP1及びFP2で人の頭皮と接触して設置されるように構成された2つの電極に加えて、または2つの電極の代替として、位置F3-F7-Fz-F4-F8等、同じ人の頭皮の異なる位置にEEG波形を獲得するように構成された追加電極を提供し得ることが除外されるわけではない。
【0105】
本発明の好ましい実施形態によると、該ウェアラブルデバイス2は、また、電極3及び電極4から該EEG波形を受信し、アナログEEG波形をデジタルEEG波形に変換(ADC変換)を行うように構成された、ウェアラブルデバイス2自体の制御論理ユニット6も含む。
【0106】
その上、ウェアラブルデバイス2は、また、警告手段7も装備され、警告手段7の有用性は簡単に詳細に説明される。
【0107】
さらに、本発明の好ましい実施形態は、ウェアラブルデバイス2には、外部電子デバイスとの該ウェアラブルデバイス2の通信が有効にすることを可能にする第1の無線通信手段8が設けられることが想定される。
【0108】
具体的には、ウェアラブルデバイス2の制御論理ユニット6は、該EEG波形が獲得され、デジタル形式に変換されると、そのような第1の無線通信手段8を介して、該波形を該外部デバイスに伝達するように構成される。
【0109】
好ましい実施形態と異なる実施形態によると、そのような第1の無線通信手段8は存在しないことが除外されるわけではない。実際には、そのような代替の実施形態に関して明らかに簡単になるように、ウェアラブルデバイス2は、実質的に、スタンドアローンデバイスである。
【0110】
本発明の好ましい実施形態の説明に戻ると、システム1はさらに電子制御ユニット9を含み、電子制御ユニット9は、さらには、本発明の方法の説明中に提示された前述の人工知能アルゴリズムを記憶する記憶手段10を含む。さらに、電子制御ユニット9は、そのような人工知能アルゴリズムを実行するように構成された処理手段11、好ましくはマイクロプロセッサ12を含む。
【0111】
本発明の好ましい実施形態によると、該電子制御ユニット9は例えばスマートフォンまたはタブレット等のモバイルデバイス13に付属し、モバイルデバイス13は、さらには、同じウェアラブルデバイス2によって獲得された該EEG波形を受信するために、ウェアラブルデバイス2の第1の無線通信手段7との無線通信を確立するように構成された第2の無線通信手段14が装備される。
【0112】
この場合、そのような第1の無線通信手段8及び第2の無線通信手段14は近接無線通信手段であり、例えば、それらの無線通信手段は、BluetoothまたはBLE通信技術を実装し得る。
【0113】
本発明のシステム1の代替の実施形態では、他方では、該電子制御ユニット9は図に示されないリモートサーバーに付属することが想定され得る。この場合、そのような第1の無線通信手段8及び第2の無線通信手段14は、サーバーとウェアラブルデバイス2との間でインターネット接続を確立することを可能にする。
【0114】
さらに、本発明の第3の代替の実施形態によると、この電子制御ユニット9は、ウェアラブルデバイス2の制御論理ユニット6に対応し得る。したがって、そのような場合、上述したように、ウェアラブルデバイス2は、独立して、本発明の方法を実施することが可能であり、前述の第1の無線通信手段8がない場合があり得、したがって、スタンドアローンタイプデバイスを実装する。
【0115】
上記に説明したように、前述の人工知能アルゴリズムが実行中にセットされ、入力されたEEG波形をウェアラブルデバイス2から受信するとき、人工知能アルゴリズムは、上記の長さに説明されている前述のトレーニングステップ、分類ステップ、またはそれらのステップの両方を行うように構成される。
【0116】
この電子制御ユニット9は、前述の適切にトレーニングされた人工知能アルゴリズムによって分類ステップを行う場合、また、人のマイクロ睡眠の精神状態の特定の場合、人工知能アルゴリズム自体によって生成された分類出力信号に基づいて、精神状態を識別するまたは識別しないかに関する意思決定ステップを実行するように構成される。この意思決定ステップは、上記に説明した2つの代替手段によって実施できる。
【0117】
電子制御ユニット9はこの意思決定ステップを実行して、前述のマイクロ睡眠の精神状態を検出することを決めると、同じ電子制御ユニット9は、前述の第1の無線通信手段8及び第2の無線通信手段14によって、警告信号ASをウェアラブルデバイス2に送信するように構成される。前述の警告信号ASの受信に続いて、ウェアラブルデバイス2は、前述の警告手段7によって、同じウェアラブルデバイス2を装着している人が置かれている危険状態について信号を送るように構成される。
【0118】
好ましくは、そのような警告手段7は、振動または低強度の電気信号等、可聴警告手段及び/または視覚警告手段及び/または触覚警告手段を含む。
【0119】
上述したように、この一連の動作はリアルタイムで実行され、該人が車を運転する場合、そして前述のマイクロ睡眠の精神状態、眠気状態の前段階に入る場合に極めて効果的である。
【0120】
しかしながら、本発明のシステム1の異なる実施形態によると、ウェアラブルデバイス2は前述の警告手段7が設けられていなく、そして、分類ステップ、及びマイクロ睡眠の精神状態を検出する後続のステップを使用して、人の覚醒状態から睡眠状態への遷移を迅速及び正確に検出し、その検出の瞬間から、例えば、前述のアクチグラフィ法によって想定されたさらなる分析を開始することが可能になることが除外されるわけではない。
【0121】
この目的を達成するために、ウェアラブルデバイス2には、必ず、前頭極位置FP1及びFP2に設置するのに適切な2つの電極3及び4と、後頭部位置O1及びO2に設置されるのに適切な図に示されない2つの追加電極と、さらにパルスオキシメーターと、を装備する必要がある。
【0122】
さらに、本発明の変形実施形態によると、ウェアラブルデバイス2は、また、人の頭の垂れ下がりに関連する運動を検出することによって、特定の精神状態、具体的にはマイクロ睡眠を検出する性能を改善するために、IMU(慣性測定ユニット)が装備され得る。
【0123】
加えて、ウェアラブルデバイス2は皮膚電気活動を測定するセンサーが装備され得、そのセンサーは、ユーザーが「汗をかいている」かどうかを検出し、その後、収集される信号の品質を改善するために、電極の下にある皮膚を乾かす必要性について、彼/彼女に警告し得る。
【0124】
上述に従って、コンピュータ実施方法、及び該方法を実施するように適応するシステムは、事前に定められた全ての目標を実現する。
【0125】
具体的には、先行技術によって提案されたシステム及びデバイスよりも効果的にそのような精神状態を検出することが可能である人工知能アルゴリズムによって少なくとも1つのEEG波形を処理することによって、特定の人の精神状態を検出するためのコンピュータ実施方法を提案する目標が実現される。
【0126】
本発明によって実現するさらなる目的は、先行技術によって提案されたシステム及びデバイスよりも速く特定の人の精神状態を検出することが可能である方法を提案することである。
【手続補正書】
【提出日】2022-12-21
【手続補正1】
【補正対象書類名】特許請求の範囲
【補正対象項目名】全文
【補正方法】変更
【補正の内容】
【特許請求の範囲】
【請求項1】
人のマイクロ睡眠の精神状態を検出するためのコンピュータ実施方法であって、マイクロ睡眠は、瞳孔を完全に覆うために人の上まぶたが下がるときに開始する人の身体状態を意味し、前記覆われることは少なくとも0.5秒間維持され、陽性の事例では、前記人に警告するために、前記検出は、少なくとも1つの適切にトレーニングされた畳み込みニューラルネットワークによって、前記人の少なくとも1つのEEG波形を処理することによって実施され、前記方法は、
-
2人以上の頭皮上の前頭極位置FP1またはFP2に設置された少なくとも1つの電極によって、
前記2人以上について獲得された複数の前記EEG波形を含むトレーニングEEG波形のセットを受信する動作と、
-
0.001~0.05Hzに選ばれたカットオフ周波数を有する高域フィルター及び/または10~25Hzに選ばれたカットオフ周波数を有する低域フィルターによって、前記トレーニングEEG波形をフィルタリングすることを含む前記トレーニングEEG波形の前処理ステップの動作と、
-前記トレーニングEEG波形のそれぞれについて、前記マイクロ睡眠の精神状態の前記
トレーニングEEG波形の少なくとも1つの
部分を検出することを目的とする識別を示すアノテーションを受信する動作と、
-前記
トレーニングEEG波形及び前記関連のアノテーションのそれぞれを、前記畳み込みニューラルネットワークの入力データとして提供する動作であって、前記畳み込みニューラルネットワークは、前記入力された
トレーニングEEG波形の前記マイクロ睡眠の精神状態の前記検出の確率が記録される分類出力信号を取得するために、シグモイド活性化関数で終了し、提供する動作と、
-前記畳み込みニューラルネットワークによって、前記
トレーニングEEG波形のそれぞれを処理して、前記畳み込みニューラルネットワークをトレーニングし、前記分類出力信号を前記トレーニングEEG波形に関する前記アノテーションを比較する動作と、
を含み、
前記方法は、また、
-前記人の前記マイクロ睡眠の精神状態を検出するまたは検出しないように、前記人の前記頭皮上における前頭極位置FP1またはFP2に配置された少なくとも1つの電極によって人について獲得された少なくとも1つのEEG波形を分類するステップを含み、前記分類ステップは、
-前記少なくとも1つのEEG波形を受信する動作と、
-0.001~0.05Hzに選ばれたカットオフ周波数を有する高域フィルター及び/または10~25Hzに選ばれたカットオフ周波数を有する低域フィルターによって、前記EEG波形をフィルタリングすることを含む前記EEG波形の前処理ステップの動作と、
-前記畳み込みニューラルネットワークをトレーニングした後、前記EEG波形を入力として前記畳み込みニューラルネットワークに提供する動作と、
-前記既にトレーニングされた畳み込みニューラルネットワークによって前記EEG波形を処理する動作と、
-前記EEG波形の前記分類出力信号を前記活性化関数から受信し、前記分類出力信号に基づいて、前記人の前記マイクロ睡眠の精神状態を検出するかどうかを決定する動作と、
を含む、コンピュータ実施方法。
【請求項2】
前記分類ステップ、具体的には、前記人の前記マイクロ睡眠の精神状態を検出
するかどうかについての前記決定は、前記人の前記頭皮上の前頭極位置FP1及び前頭極位置FP2に配置された1つの電極によって獲得された前記EEG波形を処理することによって取得された前記分類出力信号に基づいている、請求項
1に記載のコンピュータ実施方法。
【請求項3】
前記畳み込みニューラルネットワークは「時間的畳み込みネットワーク」タイプのネットワークである、
請求項1または2に記載のコンピュータ実施方法。
【請求項4】
前記人の
マイクロ睡眠の精神状態を検出するかどうかを決定する前記動作は、前記少なくとも1つの畳み込みニューラルネットワークの下流に配置された少なくとも1つのリカレントニューラルネットワークによって実施され、その結果、前記リカレントニューラルネットワークは、前記畳み込みニューラルネットワークによって生成された前記分類出力信号を入力として受信する、
請求項1~3のいずれか1項に記載のコンピュータ実施方法。
【請求項5】
前記EEG波形において前記人の
マイクロ睡眠の精神状態を検出する
かどうかを決定する前記動作は、前記分類出力信号に示された前記マイクロ睡眠の精神状態を
検出する尤度が、所定の最小期間でプリセットした閾値よりも大きいかどうかを検証することが想定される、
請求項1~4のいずれか1項に記載のコンピュータ実施方法。
【請求項6】
前記
トレーニングEEG波形の前記アノテーションのそれぞれは、プリセットしたサンプリング範囲で分割された前記
トレーニングEEG波形のそれぞれの前記期間に等しいメモリセルの数を含む第1のベクトルを含み、前記メモリセルのそれぞれには、前記
トレーニングEEG波形の前記サンプリング範囲のそれぞれについて、前記人の
マイクロ睡眠の精神状態の有無が記録される、
請求項1~5のいずれか1項に記載のコンピュータ実施方法。
【請求項7】
前記分類出力信号は、プリセットしたサンプリング範囲で分割された前記EEG波形のそれぞれの前記期間に等しいメモリセルの数を含む第2のベクトルを含み、前記メモリセルのそれぞれには、前記EEG波形の特定のサンプリング範囲のそれぞれにおいて、前記人の
マイクロ睡眠の精神状態を識別する尤度が記録される、
請求項1~6のいずれか1項に記載のコンピュータ実施方法。
【請求項8】
前記サンプリング範囲は5ms~50msに含まれ、好ましくは、前記サンプリング範囲は10msになるように選ばれる、請求項
6または
7に記載のコンピュータ実施方法。
【請求項9】
請求項1~8のいずれか1項に記載の方法に従って、人(P)の少なくとも1つのEEG波形を処理することによって、前記人(P)の精神状態を検出するためのシステム(1)であって、
-前記人(P)によって装着可能なデバイス(2)であって、前記ウェアラブルデバイス(2)は少なくとも前記人(P)の頭皮の前部に設置され、前記ウェアラブルデバイス(2)は、前記人(P)の前記頭皮自体の前記前頭極位置FP1またはFP2で前記人(P)の前記頭皮と接触して設置されるように適応する少なくとも1つの電極(3,4)が設けられ、前記ウェアラブルデバイス(2)は、前記電極(3,4)によって前記人(P)の前記少なくとも1つのEEG波形を獲得するように構成される、ウェアラブルデバイス(2)と、
-畳み込みニューラルネットワークが請求項1~
8のいずれか1項に従って記憶される記憶手段(10)と、前記畳み込みニューラルネットワークを実行するように構成された処理手段(11)とを含む、電子制御ユニット(9)と、を備え、前記畳み込みニューラルネットワークは、
-前記畳み込みニューラルネットワークが前記トレーニングEEG波形ならびに前記トレーニングEEG波形のアノテーションを入力として受信するときに、前記トレーニングステップ、及び/または
-前記人の特定のマイクロ睡眠の精神状態を検出するまたは検出しないように、前記畳み込みニューラルネットワークが前記人(P)の少なくとも1つのEEG波形を入力として受信するとき、前記分類ステップ、
-前記電子制御ユニットが前記人の前記マイクロ睡眠の精神状態を検出するとき、前記マイクロ睡眠の精神状態の前記検出について、前記人に警告するように構成された警告手段、を実行するように構成される、システム(1)。
【請求項10】
前記ウェアラブルデバイスは第1の無線通信手段(8)が設けられ、前記電子制御ユニット(9)はデバイス(13)に付属し、前記デバイス(13)は、前記ウェアラブルデバイス(2)と異なり、第2の無線通信手段(14)が設けられ、前記ウェアラブルデバイス(2)は、前記少なくとも1つのEEG波形が獲得されると、前記第1の無線通信手段(8)及び前記第2の無線通信手段(14)によって、前記少なくとも1つのEEG波形を前記電子デバイス(13)に移送するように構成される、請求項
9に記載のシステム(1)。
【国際調査報告】