特表 2024-516985 生体信号抽出を改善するためのコンテキストセンサの融合

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-04-18

(54)【発明の名称】生体信号抽出を改善するためのコンテキストセンサの融合

(51)【国際特許分類】

   A61B 5/00 20060101AFI20240411BHJP

   A61B 5/18 20060101ALI20240411BHJP

【ＦＩ】

A61B5/00 G

A61B5/00 L

A61B5/18

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2023566994

(86)(22)【出願日】2021-05-11

(85)【翻訳文提出日】2023-10-31

(86)【国際出願番号】 RU2021000192

(87)【国際公開番号】W WO2022240306

(87)【国際公開日】2022-11-17

(81)【指定国・地域】

(71)【出願人】

【識別番号】504147933

【氏名又は名称】ハーマン ベッカー オートモーティブ システムズ ゲーエムベーハー

(74)【代理人】

【識別番号】100078282

【弁理士】

【氏名又は名称】山本 秀策

(74)【代理人】

【識別番号】100113413

【弁理士】

【氏名又は名称】森下 夏樹

(74)【代理人】

【識別番号】100181674

【弁理士】

【氏名又は名称】飯田 貴敏

(74)【代理人】

【識別番号】100181641

【弁理士】

【氏名又は名称】石川 大輔

(74)【代理人】

【識別番号】230113332

【弁護士】

【氏名又は名称】山本 健策

(72)【発明者】

【氏名】フィリモノフ， アンドレイ ヴィクトロヴィチ

(72)【発明者】

【氏名】シシャロフ， イヴァン セルゲーエヴィチ

(72)【発明者】

【氏名】シシャノフ， セルゲイ ヴァレリエヴィチ

(72)【発明者】

【氏名】エルショフ， ロマン アレクサンドロヴィチ

(72)【発明者】

【氏名】シロフ， アンドレイ セルゲーエヴィチ

(72)【発明者】

【氏名】コノヴァロフ， ダニール イゴレヴィチ

(72)【発明者】

【氏名】パルカチェフ， ウラジミル イゴレヴィチ

【テーマコード（参考）】

4C038

4C117

【Ｆターム（参考）】

4C038PP03

4C038PQ04

4C038PS00

4C038PS01

4C038PS07

4C117XA01

4C117XB01

4C117XB18

4C117XC06

4C117XC11

4C117XC13

4C117XE13

4C117XE14

4C117XE15

4C117XE20

4C117XE23

4C117XE24

4C117XE26

4C117XE30

4C117XE37

4C117XE42

4C117XE54

4C117XR12

(57)【要約】

ユーザの１つまたは複数の生体信号を判定するためのコンピュータ実装方法及びシステムが、本明細書に開示される。方法は、上記１つまたは複数の生体信号を含む第１の信号を検出するための少なくとも１つの第１のセンサから第１のデータを収集することと、第２の信号を検出するための少なくとも１つの第２のセンサから第２のデータを収集することであって、第２の信号が、第１の信号内の１つまたは複数の生体信号を重ね合わせた信号を含む、収集することと、上記１つまたは複数の生体信号のための基準信号を用いて訓練されているニューラルネットワークを使用して上記第１のデータ及び第２のデータを処理して、それにより第１の信号から上記１つまたは複数の生体信号を抽出することと、を含む。方法及びシステムによって、改善された品質及び精度で生体信号を判定することが可能となる。
【選択図】図１

【特許請求の範囲】

【請求項1】

ユーザの１つまたは複数の生体信号を判定するためのコンピュータ実装方法であって、
前記１つまたは複数の生体信号を含む第１の信号を検出するための少なくとも１つの第１のセンサから第１のデータを収集することと、
第２の信号を検出するための少なくとも１つの第２のセンサから第２のデータを収集することであって、前記第２の信号が、前記第１の信号内の前記１つまたは複数の生体信号を重ね合わせた信号を含む、前記収集することと、
前記１つまたは複数の生体信号のための基準信号を用いて訓練されているニューラルネットワークを使用して前記第１のデータ及び前記第２のデータを処理して、それにより前記第１の信号から前記１つまたは複数の生体信号を抽出することと、
を含む、前記方法。

【請求項2】

前記１つまたは複数の生体信号が、呼吸、心拍、目及び瞼の動き、機敏性、筋緊張、体温、血圧、血中酸素飽和度、または皮膚コンダクタンスを含む、電気的及び非電気的な時変性生体信号を含む、請求項１に記載の方法。

【請求項3】

前記第２の信号が、ユーザの身体運動及び筋緊張、ユーザの頭部位置及び顔位置、ユーザが位置し得る自動車の速度及び加速度、ノイズ、気温、または光条件の１つまたは複数を示す、請求項１に記載の方法。

【請求項4】

複数の前記第２のセンサの組み合わせが、前記第２のデータを収集するために使用される、請求項１に記載の方法。

【請求項5】

１つの前記第２のセンサから収集された前記第２のデータが、複数の他の生体信号を判定するためのソースとして使用される、請求項１に記載の方法。

【請求項6】

前記ニューラルネットワークを使用して前記第１のデータ及び前記第２のデータを処理することが、
前記少なくとも１つの第１のセンサ及び前記少なくとも１つの第２のセンサの全ての前記第１のデータ及び前記第２のデータを記録することと、
前記少なくとも１つの第１のセンサ及び前記少なくとも１つの第２のセンサの全ての前記第１のデータ及び前記第２のデータを同期させることと、
前記第１のセンサデータ及び前記第２のセンサデータを前記ニューラルネットワークに提供することと、
を含む、請求項１に記載の方法

【請求項7】

前記基準信号が、医療グレードデバイスによって提供される、請求項１に記載の方法。

【請求項8】

前記ニューラルネットワークを訓練することが、
前記第１の信号への前記基準信号を検出するための少なくとも１つの第３のセンサから第３のデータを収集することと、
前記少なくとも１つの第１のセンサ、前記少なくとも１つの第２のセンサ、及び前記少なくとも１つの第３のセンサの前記第１のデータ、前記第２のデータ、及び前記第３のデータを記録することと、
前記少なくとも１つの第１のセンサ、前記少なくとも１つの第２のセンサ、及び前記少なくとも１つの第３のセンサの全ての前記第１のデータ、前記第２のデータ、及び前記第３のデータを同期させることと、
前記第１のデータ、前記第２のデータ、及び前記第３のデータを前記ニューラルネットワークに提供することと、
前記ニューラルネットワークを使用して前記第１のデータ及び前記第２のデータを処理することと、
前記ニューラルネットワークの出力信号を作成することと、
前記ニューラルネットワークの前記出力信号を前記基準信号と比較することと、
前記ニューラルネットワークの前記出力信号と前記基準信号との間の類似度が所定の類似度閾値を下回る場合に、前記ニューラルネットワークの訓練を繰り返し、
前記ニューラルネットワークの前記出力信号と前記基準信号との間の前記類似度が前記所定の類似度閾値を上回る場合に、前記ニューラルネットワークの前記出力信号から前記１つまたは複数の生体信号を判定することと、
を含む、請求項１に記載の方法。

【請求項9】

ユーザの１つまたは複数の生体信号を判定するためのシステムであって、
前記１つまたは複数の生体信号を含む第１の信号を検出するための少なくとも１つの第１のセンサと、
第２の信号を検出するための少なくとも１つの第２のセンサであって、前記第２の信号が、前記第１の信号内の前記１つまたは複数の生体信号を重ね合わせた信号を含む、前記第２のセンサと、
コンピューティングデバイスであって、
前記１つまたは複数の生体信号を含む前記第１の信号を検出するための前記少なくとも１つの第１のセンサから第１のデータを収集するステップ、
前記第２の信号を検出するための前記少なくとも１つの第２のセンサから第２のデータを収集するステップであって、前記第２の信号が、前記第１の信号内の前記１つまたは複数の生体信号を重ね合わせた信号を含む、前記収集するステップ、
前記１つまたは複数の生体信号のための基準信号を用いて訓練されているニューラルネットワークを使用して前記第１のデータ及び前記第２のデータを処理して、それにより前記第１の信号から前記１つまたは複数の生体信号を抽出するステップ、
を実行するように構成される、前記コンピューティングデバイスと、
を備える、前記システム。

【請求項10】

前記コンピューティングデバイスが、請求項２～８のいずれか１項に記載の方法を実行するようにさらに構成される、請求項９に記載のシステム。

【発明の詳細な説明】

【技術分野】

【0001】

本開示は、生体信号を判定するための方法及びシステムに関し、特に、生体信号のコンテキスト及び生体信号測定の環境に関する情報を分析に含めること、ならびにニューラルネットワークを使用して高度なデジタル信号処理を実行することによって、生体信号センサからのデータ抽出を改善することに関する。

【背景技術】

【0002】

自律運転の分野の開発は、運転の安全性及び快適性（ＵＳ１３２８３９Ｂ１）、個々のユーザへの運転経験の個人化（ＵＳ９２４８８１９Ｂ２）、ならびにユーザの健康及び幸福のモニタリングに関する問題に取り組んでいる。健康モニタリングは、多くの場合、生体信号の時間分解型検出に基づいており、これは、人体の汎用的な電気信号または非電気信号の尺度として機能する。そのような生体信号には、例えば、心拍特徴（脈拍、心拍間隔、脈波）、呼吸（速度、圧力波）、目及び瞼に関連する情報（視線方向、目の開放度）、体の機敏性、筋緊張、体温、血圧、血中酸素飽和度、皮膚コンダクタンス、他多数が含まれる。そのような生体信号を検出し、一定期間にわたって生体信号をモニタリングすることにより、例えば、神経系疾患または心血管疾患の診断（ＵＳ１０３５７１９５Ｂ２）、ストレス検出（ＵＳ９９４６３３４Ｂ２）、認知負荷レベルの検出（ＵＳ１０３９９５７５Ｂ２）またはユーザの情動状態の検出（ＵＳ２０１３００５４０９０Ａ１）が可能となる。自動車の運転者のこのような情報を抽出することにより、運転の安全性を向上させることが可能となる。

【0003】

生体信号の記録及び抽出は医療分野では周知であり、多くの測定デバイス及びデータ抽出システムが利用可能であるが、（運転）車の車室などの、異なる非理想的な環境及び条件へのこのような技術的解決策の移行には、要求されるものが多い。

【0004】

現在のところ、非医療用途で使用される生体信号センサには、通常は可視光カメラ、赤外線カメラまたはレーダに依存するリモートセンサ、自動車に搭載されたＥＣＧデバイス及び皮膚コンダクタンス測定システム、または運転席に搭載された体動レコーダなどの接触センサ、ならびにリストバンド及びスマートウォッチのようなパーソナルガジェットが含まれる。

【0005】

（運転）車のような設定において測定値から生体信号を抽出することは、著しいノイズ、照明または温度の急激な変化、ならびにユーザの視界に影響を及ぼし得る車室内の装備（シート、ステアリングホイール、及びペダル位置）の条件付き機敏性及び設定可能性により困難である。加えて、自動車に適用可能な生体信号感知の精度、即ち、主に非接触の測定は、眼鏡、髭、または肌の色などのユーザの個人的な特徴のばらつきの影響を受ける。

【0006】

したがって、（運転）車のような設定で取得されたときの生体信号測定及びデータ抽出の安定性、信頼性、及び精度の維持は困難であり、生体信号を抽出するために、生データはさらなるデータ処理、例えば、高度なデジタル信号処理ルーチンを必要とする。このような生体信号抽出の精度及び信頼性を向上させる必要がある。

【先行技術文献】

【特許文献】

【0007】

【特許文献1】米国特許第１３２，８３９号明細書

【特許文献2】米国特許第９，２４８，８１９号明細書

【特許文献3】米国特許第１０，３５７，１９５号明細書

【特許文献4】米国特許第９，９４６，３３４号明細書

【特許文献5】米国特許第１０，３９９，５７５号明細書

【特許文献6】米国特許出願公開第２０１３／００５４０９０号明細書

【発明の概要】

【課題を解決するための手段】

【0008】

本開示の第１の態様は、ユーザの１つまたは複数の生体信号を判定するためのコンピュータ実装方法に関する。方法は、
・上記１つまたは複数の生体信号を含む第１の信号を検出するための少なくとも１つの第１のセンサから第１のデータを収集することと、
・第２の信号を検出するための少なくとも１つの第２のセンサから第２のデータを収集することであって、第２の信号が、第１の信号内の１つまたは複数の生体信号を重ね合わせた信号を含む、収集することと、
・上記１つまたは複数の生体信号のための基準信号を用いて訓練されているニューラルネットワークを使用して上記第１のデータ及び第２のデータを処理して、それにより第１の信号から上記１つまたは複数の生体信号を抽出することと、
を含む。

【0009】

方法の目的は、理想的ではない環境にある、即ち、制御された医学的検査環境にない人間の生体信号を判定することである。方法は、車両の運転者または乗員の生体信号を判定することが可能な自動車などの車両内で行われ得る。生体信号は、測定のコンテキスト、即ちユーザの環境を特徴付けるデータ（第２のデータ）及びニューラルネットワークを用いた高度なデジタル信号処理ルーチンを使用して、生データ（第１のデータ）から抽出される。これにより、ユーザが健康モニタリングに不当に時間を費やすことなく、運転中にユーザの健康をモニタリングすることができる。運転者の健康をモニタリングすることにより、例えば、急性の健康問題の場合に、運転者に自動車の停止を促す出力信号を生成することが可能となる。本発明の例示的な実施形態は、（第１の）リモートセンサとしてカメラを使用した、運転車内のユーザの呼吸数の抽出である。ユーザの生ビデオが、可視光カメラによって取得されてもよい。同時に、ユーザの動き及び運転車の機械的ノイズに関する情報が、異なる第２のセンサによって収集されてもよい。ユーザの非理想的なノイズ環境によって引き起こされるこれらの成分は、ビデオから抽出され得る。これらの信号を抽出した後、ビデオ内のユーザの動きを示す残りの信号は、ユーザの呼吸によって引き起こされるものであり、ユーザの実際の呼吸数に変換されてもよい。この方法の利点は、判定された生体信号の品質及び精度が、他の方法と比較して著しく改善されることである。

【0010】

本発明によれば、１つまたは複数の生体信号には、呼吸、心拍、目及び瞼の動き、機敏性、筋緊張、体温、血圧、血中酸素飽和度、または皮膚コンダクタンスを含む、電気的及び非電気的な時変性生体信号が含まれる。これらの生体信号は、神経系疾患、ストレス検出、認知負荷のレベル、眠気のレベル、またはユーザの情動状態を判定するために使用され得る。さらに、心血管疾患がモニタリング及び検出され得る。このような生体信号を収集する可能な方法には、リモートＰＰＧ、可視光及び／もしくはＩＲ撮像またはレーダなどの非接触の方法、ならびに皮膚コンダクタンス評価器、ＥＣＧデバイス、体動レコーダを含む、自動車に搭載された接触センサ、または心臓モニタリング内臓リストバンドもしくは様々なセンサを使用してＩＭＵ、心拍数、皮膚コンダクタンス、もしくは血圧を測定し得るスマートウォッチを含むパーソナルガジェットが含まれる。

【0011】

実施形態では、第２の信号は、ユーザの身体運動及び筋緊張、ユーザの頭部位置及び顔位置、ユーザが位置し得る自動車の速度及び加速度、ノイズ、気温、または光条件のうちの１つまたは複数を示す。そのような信号を収集することにより、（生の）生体信号が収集される環境を特徴付けることが可能となる。特に、自動車内では、ユーザの環境は、著しいノイズ、気温の変化、及び光条件の急速な変化を含むことがある。車室内の装備、例えばシート、ステアリングホイール、及びペダルの位置が変化し、ユーザの視界に影響を及ぼす場合がある。この第２の信号は、１つまたは複数の生体信号を含んでも含まなくてもよい。

【0012】

実施形態では、複数の第２のセンサの組み合わせが、第２のデータを収集するために使用される。そうすることで、生体信号判定に影響を与える異なる信号妨害を処理することができる。例えば、複数の第２のセンサは、ユーザの動き及び自動車の加速度に関するデータを収集してもよい。これらのデータは、ユーザの頭部位置の判定を改善するために使用されてもよく、その正確な位置は、ユーザの心拍を判定するために必須であり得る。

【0013】

別の実施形態では、１つの第２のセンサから収集された第２のデータが、複数の他の生体信号を判定するためのソースとして使用される。換言すれば、ユーザの環境及びコンテキストの１つの第２のセンサによって収集されたデータが、異なる生体信号を判定するために使用され得る。例えば、ユーザの動きをモニタリングすることから得られるデータが、ユーザの心拍特徴を判定するため、及びユーザの体温を判定するために使用されてもよい。

【0014】

本発明の実施形態によれば、１つまたは複数の生体信号を判定することは、ニューラルネットワークを使用して上記第１のデータ及び第２のデータを処理することをさらに含む。処理は、
・少なくとも１つの第１のセンサ及び少なくとも１つの第２のセンサの全ての第１のデータ及び第２のデータを記録することと、
・少なくとも１つの第１のセンサ及び少なくとも１つの第２のセンサの全ての第１のデータ及び第２のデータを同期させることと、
・上記第１のセンサデータ及び第２のセンサデータをニューラルネットワークに提供することと、
を含む。

【0015】

生体信号を含む第１のデータならびにユーザの環境及び測定のコンテキストを特徴付ける第２のデータを、ニューラルネットワークを使用して処理することには、信号の同期が必要である。この同期により、１つまたは複数の第１のセンサのデータセットを、１つまたは複数の第２のセンサのデータセットに相関させることが可能となる。同じ期間に取得された異なるセンサからのデータセットが考慮される場合にのみ、時変性の生体信号、例えば心拍特徴を正確に抽出し、コンテキストデータと比較することができる。

【0016】

本発明のさらなる実施形態によれば、ニューラルネットワークを訓練することは、
・第１の信号への基準信号を検出するための少なくとも１つの第３のセンサから第３のデータを収集することと、
・少なくとも１つの第１のセンサ、少なくとも１つの第２のセンサ、及び少なくとも１つの第３のセンサの第１のデータ、第２のデータ、及び第３のデータを記録することと、
・少なくとも１つの第１のセンサ、少なくとも１つの第２のセンサ、及び少なくとも１つの第３のセンサの全ての第１のデータ、第２のデータ、及び第３のデータを同期させることと、
・第１のデータ、第２のデータ、及び第３のデータをニューラルネットワークに提供することと、
・ニューラルネットワークを使用して第１のデータ及び第２のデータを処理することと、
・ニューラルネットワークの出力信号を作成することと、
・ニューラルネットワークの出力信号を基準信号と比較することと、
・ニューラルネットワークの出力信号と基準信号との間の類似度が所定の類似度閾値を下回る場合に、ニューラルネットワークの訓練を繰り返し、
・ニューラルネットワークの出力信号と基準信号との間の類似度が所定の類似度閾値を上回る場合に、ニューラルネットワークの出力信号から上記１つまたは複数の生体信号を判定することと、
を含む。

【0017】

ニューラルネットワークの訓練は、第２の（コンテキスト）センサの第２の（コンテキストまたは環境）センサデータを使用して、第１の（生体信号）センサの生の第１のデータからの生体信号抽出を改善することを可能にする。ニューラルネットワークの出力信号を、基準信号である第３の信号と比較することにより、所定の品質閾値を満たす十分に処理された信号と、不十分な出力信号とを区別することが可能となる。この品質測定を使用することにより、ニューラルネットワークを改善することが可能となる。

【0018】

さらに、実施形態では、基準信号は、医療グレードデバイスによって提供される。ニューラルネットワークを正確かつ精密な基準データで訓練することは有益である。基準データの品質が良好であるほど、ニューラルネットワーク出力信号はより正確になり、したがって抽出された生体信号はより正確になる。例えば、医療グレードの胸部ベースのＥＣＧデバイスが、ユーザの心拍を判定するための基準センサとして使用され得る。

【0019】

本開示の第２の態様によれば、ユーザの１つまたは複数の生体信号を判定するためのシステムが提供される。システムは、上記１つまたは複数の生体信号を含む第１の信号を検出するための少なくとも１つの第１のセンサと、第２の信号を検出するための少なくとも１つの第２のセンサであって、第２の信号が、第１の信号内の１つまたは複数の生体信号を重ね合わせた信号を含む、第２のセンサと、コンピューティングデバイスとを含む。コンピューティングデバイスは、
・上記１つまたは複数の生体信号を含む第１の信号を検出するための少なくとも１つの第１のセンサから第１のデータを収集するステップと、
・第２の信号を検出するための少なくとも１つの第２のセンサから第２のデータを収集するステップであって、第２の信号が、第１の信号内の１つまたは複数の生体信号を重ね合わせた信号を含む、収集するステップと、
・上記１つまたは複数の生体信号のための基準信号を用いて訓練されているニューラルネットワークを使用して上記第１のデータ及び第２のデータを処理して、それにより第１の信号から上記１つまたは複数の生体信号を抽出するステップと、
を実行するように構成される。

【0020】

システムは、上述したステップを実行するように構成される。本開示の方法の全ての特性は、システムにも当てはまる。システムは、自動車に設置されてもよい。

【0021】

本開示の特徴、目的、及び利点は、図面と併せて読むと、以下に記載される詳細な説明からより明らかになるであろう。図面において、類似の参照番号は、類似の要素を指している。

【図面の簡単な説明】

【0022】

【図1】実施形態による、生体信号を判定するためのシステム１００のブロック図を示す。

【図2】実施形態による、生体信号を抽出するためにニューラルネットワークにセンサデータを提供するための方法２００のフローチャートを示す。

【図3A】実施形態による、生体信号を抽出するためにニューラルネットワークを訓練するための方法３００のフローチャートを示す。

【図3B】実施形態による、生体信号を抽出するためにニューラルネットワークを訓練するための方法３００のフローチャートを示す。

【図4a】実施形態による、第２のセンサのデータを使用するための方法４００のフローチャートを示す。

【図4b】実施形態による、第２のセンサのデータを使用するための方法４００のフローチャートを示す。

【発明を実施するための形態】

【0023】

（符号の説明）
１００ 生体信号を判定するためのシステム
１０２ 第１のセンサ（生体信号）
１０４ 第２のセンサ（コンテキスト）
１０６ 第３のセンサ（基準）
１０８ コンピューティングデバイス
２００ 生体信号を抽出するためにニューラルネットワークにセンサデータを提供するための方法
２０２～２１２ 方法２００のステップ
３００ 生体信号を抽出するためにニューラルネットワークを訓練するための方法
３０２～３１６ 方法３００の実施形態のステップ
３１８～３３２ 方法３００の別の実施形態のステップ
４００ 生体信号を抽出するために第２のセンサ（コンテキスト）のデータを使用するための方法
４０２～４１０ 方法４００の一実施形態のステップ
４１２～４２６ 方法４００の別の実施形態のステップ

【0024】

図１は、実施形態による、１つまたは複数の生体信号を判定するためのシステム１００のブロック図を示す。システム１００は、少なくとも１つの第１のセンサ１０２、少なくとも１つの第２のセンサ１０４、及び少なくとも１つの第３のセンサ１０６を含む。システム１００は、コンピューティングデバイス１０８をさらに含む。

【0025】

第１のセンサ１０２は、１つまたは複数の生体信号を含む第１の信号を検出するために第１のデータを収集する。１つまたは複数の生体信号は、呼吸、心拍、目及び瞼の動き、機敏性、筋緊張、体温、血圧、血中酸素飽和度、または皮膚コンダクタンスを含む、電気的及び非電気的な時変性生体信号を含む。

【0026】

第１のセンサ１０２として使用されるセンサの実施例は、リモートＰＰＧセンサ、可視光カメラ及び／もしくはＩＲカメラまたはレーダシステムなどの非接触センサ、ならびに皮膚コンダクタンス評価器、ＥＣＧデバイス、体動レコーダを含む、自動車に搭載された接触センサ、または心臓モニタリング内臓リストバンドもしくは様々なセンサを使用してＩＭＵ、心拍数、皮膚コンダクタンス、もしくは血圧を測定し得るスマートウォッチを含むパーソナルガジェットであってもよい。

【0027】

第２のセンサ１０４は、１つまたは複数の生体信号を重ね合わせた信号を含む第２の信号を検出するために第２のデータを収集する。１つまたは複数の第２のセンサ１０４は、ユーザの身体運動及び筋緊張、眉毛、鼻、及び顔輪郭などの顔の目印の位置を含む、ユーザの頭部位置及び顔位置のうちの１つまたは複数に関するデータを収集し得る。第２のセンサ１０４は、ユーザが位置し得る自動車の速度及び加速度、ノイズ、気温、または光条件に関するデータをさらに収集し得る。実施形態によれば、１つまたは複数の第２のセンサ１０４は、車室内の装備に関するデータ、例えばシート、ステアリングホイール、及びペダルの位置をさらに収集し得る。第２の信号は、１つまたは複数の生体信号を含んでも含まなくてもよい。そのような信号を収集することにより、（生の）生体信号が収集される環境及びコンテキストを特徴付けることが可能となる。

【0028】

第１のセンサ１０２及び第２のセンサ１０４は、コンピューティングデバイス１０８にデータを提供し、コンピューティングデバイス１０８は、上記１つまたは複数の生体信号を含む第１の信号を検出するための少なくとも１つの第１のセンサ１０２から第１のデータを収集し、第２の信号を検出するための少なくとも１つの第２のセンサ１０４から第２のデータを収集し、第２の信号が、第１の信号内の１つまたは複数の生体信号を重ね合わせた信号を含み、上記１つまたは複数の生体信号のための基準信号を用いて訓練されているニューラルネットワークを使用して上記第１のデータ及び第２のデータを処理して、それにより第１の信号から上記１つまたは複数の生体信号を抽出するように構成される。

【0029】

システム１００は、方法２００～４００のステップを実行するようにさらに構成され、方法２００～４００については以下でより詳細に説明される。システム１００は、自動車などの車両に設置され得る。本開示の方法２００～４００の全ての特性は、システム１００にも当てはまる。

【0030】

第３のセンサ１０６は、生体信号のための基準データをコンピューティングデバイス１０８に提供する。実施形態によれば、基準センサは、医療グレードデバイスである。第３のセンサ１０６によって提供される基準データは、コンピューティングデバイス１０８に含まれるニューラルネットワークを訓練するために使用される。例えば、医療グレードの胸部ベースのＥＣＧデバイスが、ユーザの心拍を判定するための基準センサとして使用され得る。

【0031】

発明の例示的な実施形態は、第１のセンサ１０２としてカメラを使用した、運転車内のユーザの呼吸数の抽出である。ユーザの生ビデオが、可視光カメラによって取得されてもよい。同時に、ユーザの動き及び運転車の機械的ノイズに関する情報が、異なる第２のセンサ１０４によって収集されてもよい。ユーザの非理想的なノイズ環境によって引き起こされるこれらの成分は、コンピューティングデバイス１０８によってビデオから抽出され得る。これらの信号を抽出した後、ビデオ内のユーザの動きを示す残りの信号は、ユーザの呼吸によって引き起こされるものであり、コンピューティングデバイス１０８によってユーザの実際の呼吸数に変換され得る。

【0032】

発明のさらなる例示的な実施形態は、運動が補償され、機械的ノイズが除去され得る、機械的運動の情報源として加速度計を使用したレーダ信号からの呼吸情報の抽出、レーダ信号からの心拍の抽出、ＲＧＢ及び／またはＩＲカメラによって撮影された顔画像からの心拍の抽出、身体画像からの呼吸数の抽出、顔画像ならびに身体及び頭部位置からの視線方向の判定である。

【0033】

図２は、実施形態による、生体信号を抽出するためにニューラルネットワークにセンサデータを提供するための方法２００のフローチャートを示す。方法２００は、ステップ２０２において、１つまたは複数の第１のセンサ１０２を使用して、１つまたは複数の生体信号を含む第１のデータを収集することを含む。これらの第１のデータは、次いで、方法２００のステップ２０６において記録される。同様に、第２のデータは、ステップ２０４において１つまたは複数の第２のセンサ１０４を使用して収集され、第２のデータはステップ２０８において記録される。第１のデータ及び第２のデータの両方が、方法２００のステップ２１０において同期される。同期によって、１つまたは複数の生体信号を含む第１のデータを、第１のデータの測定の環境及びコンテキストに関する情報を含む第２のデータと相関させることが可能となる。次いで方法２００のステップ２１２において、同期されたデータが、ニューラルネットワークを使用して処理される。

【0034】

例示的な実施形態では、第１のセンサ１０２は、定義された期間の定義された時間におけるユーザの心拍を示す第１の信号を含むデータを、ＲＧＢカメラを用いて収集する。第２のセンサ１０４は、定義された期間の定義された時間におけるＲＧＢ画像を重ね合わせた自動車の車室内の光条件の第２の信号を含むデータを収集する。本発明による方法を実行するために、第１の信号及び第２の信号の両方の時間及び期間が、さらなるデジタル信号処理のために同期される必要がある。したがって、ＲＧＢカメラ記録と正確に同時の自動車の車室内の光条件は、色変化のみがユーザの心拍などのユーザの生体信号に相関するユーザのＲＧＢ画像を取得するために、対応する時間における重なり合う環境光の変化を除去するように選択される必要がある。

【0035】

図３は、実施形態による、生体信号を抽出するためにニューラルネットワークを訓練するための方法３００のフローチャートを示す。図３Ａは、同期されたデータをニューラルネットワークに提供するための方法３００の実施形態のフローチャートを示す。方法３００は、ステップ３０２において、１つまたは複数の第１のセンサ１０２を使用して１つまたは複数の生体信号を含む第１のデータを収集することと、ステップ３０４において、測定の環境及びコンテキストを示す第２のデータを収集することと、ステップ３０６において、生体信号に基準信号を提供する第３のデータを収集することと、を含む。次いで、これらのデータは、それぞれ方法３００のステップ３０８～３１２において記録される。方法３００のステップ３１４において、全ての記録された３つのデータセットを同期させる。同期によって、生体信号を含むデータ、生体信号の測定のコンテキストに関する情報を含むデータ、及び生体信号の基準データを相関させることが可能となる。次いで、ステップ３１６において、同期されたデータが、ニューラルネットワークの訓練のためにニューラルネットワークに提供される。

【0036】

図３Ｂは、ニューラルネットワークを訓練するための方法３００の実施形態のフローチャートを示す。方法３００は、ステップ３１８及びステップ３２０において、それぞれ第１のデータ及び第２のデータをニューラルネットワークに提供することと、ステップ３２２において、ニューラルネットワークを使用して第１のデータ及び第２のデータを処理することと、を含む。ニューラルネットワークは、ステップ３２４において出力信号を作成する。次いで、方法３００は、ニューラルネットワークの出力信号を、第３のセンサ１０６によって収集された基準信号と比較することを含む。ニューラルネットワークの出力信号と基準信号との間の類似度が所定の閾値を上回る場合３２８、即ち、ニューラルネットワークの出力信号が基準信号に類似している場合、ステップ３３０において、１つまたは複数の生体信号が抽出される。ニューラルネットワークの出力信号と基準信号との間の類似度が所定の閾値を下回る場合３３２、即ち、ニューラルネットワークの出力信号が基準信号に類似していない場合、ステップ３２２からのニューラルネットワークを使用した第１のデータ及び第２のデータの処理が、所定の閾値を上回る類似度に達するまで繰り返される。

【0037】

図４は、さらなる実施形態による、第２のセンサ１０４のデータを使用するための方法４００のフローチャートを示す。図４Ａは、方法２００及び方法３００の実施形態による、生体信号を判定するための１つまたは複数の生体信号の測定の環境及びコンテキストを示す、複数の第２のセンサ１０４のデータを使用するための方法４００の実施形態のフローチャートを示す。実施形態によれば、複数の第２のセンサ１０４は、ステップ４０２～４０６において、第２のデータＡ、Ｂ、及びＣを収集する。複数の第２のデータは、ステップ４０８において集められ、第２のデータの１つのセットとして本発明の方法２００及び方法３００に提供される。

【0038】

例示的な実施形態では、光センサ、温度センサ、及び運動センサは、３つの第２のセンサ１０４を使用して、車室内の照明条件、車室内の温度、及び車室内のユーザの動きに関するデータを収集する。全てのデータが、ユーザの心拍を判定する際に重ね合わせた信号として集められ、処理され得る。

【0039】

図４Ａの例示的な実施形態では、３つの第２のデータセットが、３つの第２のセンサ１０４によって提供される。しかしながら、発明によれば、３つより多くの、または少ない、第２のセンサ１０４からの第２のデータセットが使用されてもよい。

【0040】

図４Ｂは、第２のセンサ１０４のデータを使用するための方法４００の別の実施形態のフローチャートを示す。実施形態によれば、第２のセンサ１０４からの第２のデータの１つのセットが、ステップ４１２において収集され、方法４００のステップ４１４、４１６、及び４１８において、第２のデータセットＡ、Ｂ、及びＣに分割される。次いで、これらの第２のデータＡ、Ｂ、及びＣは、３つの生体信号４２２、４２４、及び４２６をそれぞれ判定するために、ステップ４２０において本発明の方法２００及び方法３００に提供される。

【0041】

例えば、１つの第２のセンサ１０４は、ステップ４１２においてユーザの動きのデータを収集してもよい。これらのデータは、本発明の実施形態に従って分割及び処理されて、例えば、ユーザの心拍特徴、ユーザの体温、及びユーザの視線方向などの複数の生体信号を判定してもよい。

【0042】

図４Ｂの例示的な実施形態では、第２のデータは、３つの生体信号を判定するために３つの第２のデータセットに分割される。しかしながら、発明によれば、３つより多くの、または少ない第２のデータセットが、１つの第２のセンサ１０４から生成され、３つより多くの、または少ない生体信号を判定するために使用され得る。

【図1】

【図2】

【図3A】

【図3B】

【図4a】

【図4b】

【国際調査報告】