特表2024-525911 | 知財ポータル「IP Force」

知財求人 - 知財ポータルサイト「IP Force」

▶ ビナー．エーアイリミテッドの特許一覧

特表2024-525911顔からのＰＴＴに基づく血圧推定のためのシステム及び方法

書誌要約請求の範囲詳細な説明課題実施例実施するための形態図面の説明

目に優しい文字サイズ小中大 PDF Top

< >

1A
1B
2A
2B
3A
3B
4
5A
5B
5C
5D
5E-1
5E-2
6A
6B
6C
7
8

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2024-07-12

(54)【発明の名称】顔からのＰＴＴに基づく血圧推定のためのシステム及び方法

(51)【国際特許分類】

A61B 5/021 20060101AFI20240705BHJP

A61B 5/02 20060101ALI20240705BHJP

【ＦＩ】

A61B5/021

A61B5/02 310V

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2024503692

(86)(22)【出願日】2022-07-18

(85)【翻訳文提出日】2024-03-13

(86)【国際出願番号】 IL2022050771

(87)【国際公開番号】W WO2023002477

(87)【国際公開日】2023-01-26

(31)【優先権主張番号】63/223,298

(32)【優先日】2021-07-19

(33)【優先権主張国・地域又は機関】US

(81)【指定国・地域】

(71)【出願人】

【識別番号】523125334

【氏名又は名称】ビナー．エーアイリミテッド

(74)【代理人】

【識別番号】100105957

【弁理士】

【氏名又は名称】恩田誠

(74)【代理人】

【識別番号】100068755

【弁理士】

【氏名又は名称】恩田博宣

(74)【代理人】

【識別番号】100142907

【弁理士】

【氏名又は名称】本田淳

(72)【発明者】

【氏名】ママン、デイビッド

(72)【発明者】

【氏名】ゲダリン、コンスタンティン

(72)【発明者】

【氏名】マルクゾン、マイケル

【テーマコード（参考）】

4C017

【Ｆターム（参考）】

4C017AA08

4C017AA09

4C017AB06

4C017AC27

4C017BC21

4C017FF15

(57)【要約】

ＰＴＴ（脈波伝播時間）を決定することを含む、精度が改善された脈拍数検出を使用する血圧測定のための新しいシステム及び方法が提供される。カメラ出力／入力の前処理、前処理されたカメラ信号からの拍動信号の抽出、それに続く拍動信号のポストフィルタリングを含むがこれらに限定されない様々な態様が、より高い精度に寄与する。次いで、この改善された情報は、正確なＢＰ決定のために使用され、これは、光学式脈拍数検出のための不正確な方法では不可能である。

【特許請求の範囲】

【請求項1】

対象の血圧（ＢＰ）を計算するための方法であって、カメラを用いて前記対象の顔の複数の領域から光学データを取得することと、前記カメラと通信する計算デバイスで、前記光学データを分析して、前記顔に関連するデータを選択することと、前記顔の皮膚からの光学データを検出することと、経過時間に達するまで前記光学データを収集し、次いで、前記経過時間に対する前記収集された光学データから時系列を計算することによって前記光学データから時系列を決定することと、前記時系列からＰＴＴ（脈波伝播時間）を計算することと、前記計算されたＰＴＴを使用して前記ＢＰを計算することと、を含む、方法。

【請求項2】

前記光学データがビデオデータを含み、前記顔の前記皮膚の特定の領域からの前記光学データを前記取得することが、前記対象の前記顔のビデオデータを取得することを含む、請求項１に記載の方法。

【請求項3】

指先の前記ビデオデータを前記取得することが、前記指先を前記カメラ上に置くことによって前記対象の前記指先の前記皮膚のビデオデータを取得することを含む、請求項２に記載の方法。

【請求項4】

前記カメラが複数の携帯電話カメラを含み、前記光学データを前記取得することが、前記複数の携帯電話カメラからビデオデータを取得することを更に含み、前記顔からの光学データが第１の携帯電話カメラで取得され、前記指からの光学データが第２の携帯電話カメラで取得される、請求項３に記載の方法。

【請求項5】

前記指のビデオデータ及び前記顔のビデオデータを取得するために、前記対象が前記指を携帯電話背面カメラ上に置き、前記対象の前記顔が携帯電話正面カメラの前に位置する、請求項４に記載の方法。

【請求項6】

前記携帯電話カメラ上の前記指先が、前記携帯電話カメラに関連付けられたフラッシュを作動させて光を提供することを更に含む、請求項４又は５に記載の方法。

【請求項7】

前記第１の携帯電話及び前記第２の携帯電話からの前記ビデオデータの各々が分析されて、前記指及び顔皮膚からの脈波信号情報を提供する、請求項４～６のいずれか一項に記載の方法。

【請求項8】

前記第１の携帯電話及び前記第２の携帯電話から決定された脈波信号の間にある遅延が、ハードウェアクロックを介した同期に従って決定される、請求項４～７のいずれか一項に記載の方法。

【請求項9】

前記脈波信号が同期され、次いで補間されて、同じサンプリングレートを生成する、請求項８に記載の方法。

【請求項10】

前記計算デバイスが、前記携帯電話カメラから物理的に分離されているが、前記携帯電話カメラと通信する、請求項１～９のいずれか一項に記載の方法。

【請求項11】

前記計算デバイスがモバイル通信デバイスを含む、請求項１～１０のいずれか一項に記載の方法。

【請求項12】

前記顔の前記皮膚からの前記光学データを前記検出することが、複数の顔境界を決定することと、最も高い確率を有する前記顔境界を選択することと、前記顔からのビデオデータにヒストグラム分析を適用することと、を含む、請求項１～１１のいずれか一項に記載の方法。

【請求項13】

前記複数の顔境界を前記決定することが、前記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用して前記顔境界を決定することを含む、請求項１２に記載の方法。

【請求項14】

前記指の前記皮膚からの前記光学データを前記検出することが、複数の皮膚境界を決定することと、最も高い確率を有する前記皮膚境界を選択することと、前記皮膚からのビデオデータにヒストグラム分析を適用することと、を含む、請求項１～１３のいずれか一項に記載の方法。

【請求項15】

前記複数の皮膚境界を前記決定することが、前記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用して前記皮膚境界を決定することを含む、請求項１４に記載の方法。

【請求項16】

前記指の前記皮膚からの前記光学データを前記検出することが、複数の指先境界を決定することと、最も高い確率を有する前記指先境界を選択することと、前記指先からのビデオデータにヒストグラム分析を適用することと、を含む、請求項１～１５のいずれか一項に記載の方法。

【請求項17】

前記複数の指先境界を前記決定することが、前記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用して前記指先境界を決定することを含む、請求項１６に記載の方法。

【請求項18】

前記ＰＴＴを前記決定することが、メタデータを、前記顔の前記皮膚からの前記光学データ及び前記指の前記皮膚からの前記光学データからの測定値と組み合わせることを更に含み、前記メタデータが、前記対象の体重、年齢、身長、生物学的性別、体脂肪率及び体筋肉率のうちの１つ以上を含む、請求項１～１７のいずれか一項に記載の方法。

【請求項19】

少なくとも１つの追加の生理学的信号から前記ＰＴＴを決定することを更に含む、請求項１～１８のいずれか一項に記載の方法。

【請求項20】

少なくとも前記ＰＴＴから少なくとも１つの追加の生理学的信号を決定することを更に含む、請求項１９に記載の方法。

【請求項21】

前記生理学的信号が、ストレス、血圧、呼吸量、及びｐＳＯ２（酸素飽和度）からなる群から選択される、請求項１９及び２０に記載の方法。

【請求項22】

前記ＰＴＴを計算する前に、前記脈波信号をノイズ除去し、正規化することを更に含む、請求項１～２１のいずれか一項に記載の方法。

【請求項23】

前記脈波信号をフィルタリングすることを更に含む、請求項２２に記載の方法。

【請求項24】

ＰＰＧ様信号構築を実行することと、前記ＰＰＧ様信号構築から心拍数（ＨＲ）を決定することと、前記ＨＲから前記ＰＴＴを計算することと、を更に含む、請求項２３に記載の方法。

【請求項25】

前記ＰＴＴから血圧を計算することを更に含む、請求項２４に記載の方法。

【請求項26】

前記顔の皮膚からの光学データを前記検出することが、複数の顔部分からの前記光学データを検出することを含む、請求項１～２５のいずれか一項に記載の方法。

【請求項27】

前記複数の顔部分が、前記顔の全体、前記顔の領域、及び前記顔の前記領域の一部からなる群から選択され、前記複数の顔部分が、前記顔の少なくとも２つの異なる部分を含む、請求項２６に記載の方法。

【請求項28】

前記顔の前記領域が、額、前記顔の中央部分、及び顎からなる群から選択される、請求項２７に記載の方法。

【請求項29】

前記顔の前記領域の前記一部が、前記額の右部分、前記額の左部分、前記額の中央部分、左頬及び右頬からなる群から選択される、請求項２７又は２８に記載の方法。

【請求項30】

前記顔の前記部分を選択することが、顔境界分析に従って、機械学習アルゴリズムを適用して前記顔の所望の部分の位置を特定することを含む、請求項２６～２９のいずれか一項に記載の方法。

【請求項31】

対象のＰＴＴ（脈波伝播時間）を計算するシステムであって、前記対象の顔からの光学データ及び指先からの光学データを取得するためのカメラと、前記カメラから光学データを受信するためのユーザ計算デバイスと、を含み、前記ユーザ計算デバイスは、プロセッサと、複数の命令を記憶するためのメモリとを含み、前記プロセッサは、前記光学データを分析して前記対象の前記顔及び前記指先に関連するデータを選択することと、前記顔の皮膚及び前記指先の皮膚からの光学データを検出することと、経過時間に達するまで前記光学データを収集し、次いで、前記経過時間に対する前記収集された光学データから時系列を計算することによって前記光学データから時系列を決定することと、前記時系列から前記ＰＴＴを計算することと、のために前記命令を実行する、システム。

【請求項32】

前記メモリが、コードの定義済みネイティブ命令セットを記憶するように構成され、前記プロセッサが、前記メモリに記憶されたコードの前記定義済みネイティブ命令セットから選択された対応する基本命令を受信することに応答して基本動作の定義済みセットを実行するように構成されており、前記メモリが、前記光学データを分析して前記対象の前記顔に関連するデータを選択するための前記ネイティブ命令セットから選択された第１のマシンコードセットと、前記顔の皮膚からの光学データを検出するための前記ネイティブ命令セットから選択された第２のマシンコードセットと、経過時間に達するまで前記光学データを収集し、次いで、前記経過時間に対する前記収集された光学データから時系列を計算することによって前記光学データから時系列を決定するための前記ネイティブ命令セットから選択された第３のマシンコードセットと、前記時系列から前記生理学的信号を計算するための前記ネイティブ命令セットから選択された第４のマシンコードセットとを記憶する、請求項３１に記載のシステム。

【請求項33】

前記メモリが、複数の顔境界を決定することを含む前記顔の前記皮膚からの前記光学データを検出するための前記ネイティブ命令セットから選択された第５のマシンコードセットと、最も高い確率を有する前記顔境界を選択するための前記ネイティブ命令セットから選択された第６のマシンコードセットと、前記顔からのビデオデータにヒストグラム分析を適用するための前記ネイティブ命令セットから選択された第７のマシンコードセットとを更に含む、請求項３２に記載のシステム。

【請求項34】

前記メモリが、前記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用して前記顔境界を決定するための前記ネイティブ命令セットから選択された第８のマシンコードセットを更に含む、請求項３３に記載のシステム。

【請求項35】

前記メモリが、コードの定義済みネイティブ命令セットを記憶するように構成され、前記プロセッサが、前記メモリに記憶されたコードの前記定義済みネイティブ命令セットから選択された対応する基本命令を受信することに応答して基本動作の定義済みセットを実行するように構成されており、前記メモリが、前記光学データを分析して前記対象の前記指先に関連するデータを選択するための前記ネイティブ命令セットから選択された第９のマシンコードセットと、前記指先の皮膚からの光学データを検出するための前記ネイティブ命令セットから選択された第１０のマシンコードセットと、経過時間に達するまで前記光学データを収集し、次いで、前記経過時間に対する前記収集された光学データから時系列を計算することによって前記光学データから時系列を決定するための前記ネイティブ命令セットから選択された第１１のマシンコードセットと、前記時系列から前記生理学的信号を計算するための前記ネイティブ命令セットから選択された第１２のマシンコードセットとを記憶する、請求項３１～３４のいずれか一項に記載のシステム。

【請求項36】

前記メモリが、複数の指先境界を決定することを含む前記指先の前記皮膚からの前記光学データを検出するための前記ネイティブ命令セットから選択された第１３のマシンコードセットと、最も高い確率を有する前記指先境界を選択するための前記ネイティブ命令セットから選択された第１４のマシンコードセットと、前記指先からのビデオデータにヒストグラム分析を適用するための前記ネイティブ命令セットから選択された第１５のマシンコードセットとを更に含む、請求項３５に記載のシステム。

【請求項37】

前記メモリが、前記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用して前記指先境界を決定するための前記ネイティブ命令セットから選択された第１６のマシンコードセットを更に含む、請求項３６に記載のシステム。

【請求項38】

前記指先が、光学データを取得するために前記カメラに押し付けられ、それにより、指先検出ではなく皮膚検出のみが実行される、請求項３６に記載のシステム。

【請求項39】

前記カメラが携帯電話カメラを含み、前記光学データが前記携帯電話カメラからのビデオデータとして取得される、請求項３１～３８のいずれか一項に記載のシステム。

【請求項40】

前記計算デバイスがモバイル通信デバイスを含む、請求項３９に記載のシステム。

【請求項41】

前記携帯電話カメラが背面カメラを含み、前記対象の指先が、前記ビデオデータを取得するために前記カメラ上に置かれる、請求項４０に記載のシステム。

【請求項42】

前記光学データを取得するための光を提供するために、前記携帯電話カメラに関連付けられたフラッシュを更に含む、請求項４０又は４１に記載のシステム。

【請求項43】

前記メモリが、複数の顔境界又は指先境界を決定するための前記ネイティブ命令セットから選択された第９のマシンコードセットと、最も高い確率を有する前記顔境界又は指先境界を選択するための前記ネイティブ命令セットから選択された第１０のマシンコードセットと、前記顔又は指先からのビデオデータにヒストグラム分析を適用するための前記ネイティブ命令セットから選択された第１１のマシンコードセットとを更に含む、請求項４０～４２のいずれか一項に記載のシステム。

【請求項44】

前記メモリが、前記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用して前記顔境界又は指先境界を決定するための前記ネイティブ命令セットから選択された第１２のマシンコードセットを更に含む、請求項４３に記載のシステム。

【請求項45】

前記ＰＴＴを表示するためのディスプレイを更に含む、請求項３１～４４のいずれか一項に記載のシステム。

【請求項46】

前記ユーザ計算デバイスが前記ディスプレイを更に含む、請求項４５に記載のシステム。

【請求項47】

前記ユーザ計算デバイスが、前記ＰＴＴを送信するための送信機を更に含む、請求項３１～４６のいずれか一項に記載のシステム。

【請求項48】

前記ＰＴＴを前記決定することが、メタデータを前記光学データと組み合わせることを更に含み、前記メタデータが、前記対象の体重、年齢、身長、生物学的性別、体脂肪率及び体筋肉率のうちの１つ以上を含む、請求項３１～４７のいずれか一項に記載のシステム。

【請求項49】

前記生理学的信号が、ストレス、血圧、呼吸量、及びｐＳＯ２（酸素飽和度）からなる群から選択される、請求項４８に記載のシステム。

【請求項50】

対象からＰＴＴ（脈波伝播時間）を計算するためのシステムであって、前記対象の指からの光学データを取得するためのカメラと、前記カメラから光学データを受信するためのユーザ計算デバイスと、を含み、前記ユーザ計算デバイスは、プロセッサと、複数の命令を記憶するためのメモリとを含み、前記プロセッサは、前記光学データを分析して前記対象の前記顔に関連するデータを選択することと、前記指の皮膚からの光学データを検出することと、経過時間に達するまで前記光学データを収集し、次いで、前記経過時間に対する前記収集された光学データから時系列を計算することによって前記光学データから時系列を決定することと、前記時系列から前記ＰＴＴを計算することと、のために前記命令を実行する、システム。

【請求項51】

請求項３１～４９のいずれか一項に記載のシステムを更に含む、請求項５０に記載のシステム。

【請求項52】

対象からＰＴＴ（脈波伝播時間）を計算するための方法であって、請求項３１～５１のいずれか一項に記載のシステムを動作させて前記対象から前記ＰＴＴを計算することを含む、方法。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、光学データから決定される血圧（ＢＰ）測定値のためのシステム及び方法に関し、特に、複数のカメラを用いて対象のビデオデータからそのような測定値を決定するためのそのようなシステム及び方法に関する。

【背景技術】

【0002】

心拍数測定デバイスは、最初の心電図（ＥＣＧ又はＥＫＧ）の１８７０年代にさかのぼり、心臓の心周期（又は心拍動）による電圧変化を測定する。ＥＫＧ信号は、３つの主要な成分、すなわち、心房脱分極を表すＰ波、心室脱分極を表すＱＲＳ群、及び心室再分極を表すＴ波から構成される。

【0003】

第２の脈拍数検出技術は、フォトプレチスモグラフィ（ＰＰＧ０９ｏｌ）と呼ばれる、組織の微小血管床における血液量変化を検出する光学測定である。ＰＰＧ測定では、末梢脈波は、収縮期ピーク及び拡張期ピークを特徴的に示す。収縮期ピークは、左心室から身体の末梢に伝わる直接圧力波の結果であり、拡張期ピーク（又は変曲）は、下半身の動脈による圧力波の反射の結果である。

【0004】

ＰＰＧベースのデバイスには、接触ベース及び遠隔（ｒＰＰＧ）の２つのカテゴリがある。接触ベースのデバイスは、典型的には指上で使用され、典型的には赤色及びＩＲ（赤外線）波長で、光反射を測定する。一方、遠隔ＰＰＧデバイスは、典型的には顔の、皮膚表面から反射された光を測定する。ほとんどのｒＰＰＧアルゴリズムはＲＧＢカメラを使用し、ＩＲカメラを使用しない。

【0005】

ＰＰＧ信号は、光－生物学的組織相互作用から生じ、したがって、（多重）散乱、吸収、反射、透過及び蛍光に依存する。接触ベース又は遠隔ＰＰＧ測定のために、デバイスのタイプに応じて異なる効果が重要である。ｒＰＰＧ分析では、信号の好都合な一次分解は、強度変動、散乱（生物学的組織と相互作用しなかったもの）、及び拍動信号に対するものである。瞬時脈波時間は、ＥＫＧ測定におけるＲ時間又はＰＰＧ測定における収縮期ピークから設定される。ＥＫＧ表記は、ｒＰＰＧ測定の収縮期ピークをＲ時間と呼ぶために使用される。瞬時心拍数は、連続するＲ時間の間の差、ＲＲ（ｎ）＝Ｒ（ｎ）－Ｒ（ｎ－１）から６０／ＲＲ（ｎ）（拍／分）として評価される。

【0006】

健康にとって重要であり得る追加の測定値は、脈波伝播時間（ＰＴＴ）である。ＰＴＴは、脈圧（ＰＰ）波形が動脈樹の長さにわたって伝搬するのにかかる時間である。圧力波の速度は、脈波速度（ＰＷＶ）と呼ばれ、これは、ＰＴＴを決定することによって推定することができる。脈圧波形は、左心室からの血液の排出から生じ、血液自体の前進運動よりもはるかに大きい速度で移動する。現在、指先で脈波波形を記録するには、ＥＣＧ（心電図）と指装着型デバイスとの組み合わせが必要とされる。しかしながら、これらのデバイスは使用が難しく、また医療関係者による監督を必要とする。

【発明の概要】

【0007】

残念ながら、正確な光学式脈拍数検出は、様々な技術的問題を抱えている。主な問題は、達成される信号対ノイズ比が低いことであり、したがって、脈拍数を検出できないことである。正確な脈拍数検出は、ＰＴＴのような追加の測定値を作り出すために必要とされ、ＰＴＴは、例えば、顔上の２つの点、並びに／又は対象の顔及び指先上の点など、複数の異なる組織位置における脈波信号開始及び更にまた脈波波形の正確な測定を必要とする。

【0008】

以下でより詳細に説明されるように、脈波の開始を検出するために、身体上の２つの異なる組織位置における信号からＨＲ信号測定値を取得することが使用され得る。脈波波形開始の検出と指先脈波波形の測定値の組み合わせは、ＰＴＴの決定を支援する。しかしながら、光学データが、例えば、ユーザの顎及び額からなど、対象の顔上の２つの異なる点から取得される場合、血圧測定値は、対象の顔からの光学データの分析からのみ決定され得る。

【0009】

本発明は、少なくともいくつかの実施形態において、精度が改善された脈拍数検出を使用する血圧測定のための新しいシステム及び方法を提供する。カメラ出力／入力の前処理、前処理されたカメラ信号からの拍動信号の抽出、それに続く拍動信号のポストフィルタリングを含むがこれらに限定されない様々な態様が、より高い精度に寄与する。次いで、この改善された情報は、心拍数変動（ＨＲＶ）決定のような分析のために使用され得、これは、光学式脈拍数検出のための不正確な方法では不可能である。

【0010】

前述したように、現在、ＰＴＴの決定は、ＥＣＧ（心電図）と、指先で脈波波形を記録するための指装着型デバイスとの組み合わせを必要とする。ＥＣＧは、Ｒ波によって測定される心臓の活動を使用することによって、ＰＴＴ測定のための近位タイミング基準を決定するために使用される。Ｅｓｍａｉｌｉら（「Ｎｏｎ－ｉｎｖａｓｉｖｅＢｌｏｏｄＰｒｅｓｓｕｒｅＥｓｔｉｍａｔｉｏｎＵｓｉｎｇＰｈｏｎｏｃａｒｄｉｏｇｒａｍ」，２０１７ＩＥＥＥＩｎｔｅｒｎａｔｉｏｎａｌＳｙｍｐｏｓｉｕｍｏｎＣｉｒｃｕｉｔｓａｎｄＳｙｓｔｅｍｓ（ＤＯＩ：１０．１１０９／ＩＳＣＡＳ．２０１７．８０５０２４０））は、ＰＴＴ測定のための近位タイミング基準としてＥＣＧの代わりに心音図（ＰＣＧ）を使用することを提案した。ＰＣＧは、心臓弁の開及び閉に起因して生成され、それぞれが音を生成する。ＰＣＧのＳ１ピークは、検出することができる音であり、血液が心臓から出るときに形成される。著者らは、ＰＴＴを測定するためにＥＣＧＲピークの代わりにＳ１ピークを使用することができることを提案した。実際の音としては、マイクロフォンで集音することができる。

【0011】

しかしながら、この構成には依然として多くの欠点がある。例えば、指装着型デバイスは、常に容易に利用できるわけではない特殊なハードウェアである。ＥＣＧは、デバイスとして更に複雑である。マイクロフォンを使用することは、心臓タイミング測定の複雑さを低減する可能性があるが、背景ノイズ及び更に身体からの他のノイズの問題など、他の問題をもたらす。

【0012】

これらの欠点は、以下の例示的な実装形態によって克服され得る。この目標を達成するために、好適なサンプリングレート分解能を有するデータ取得ハードウェアが使用される。そのようなハードウェアは、好ましくは、心拍数（ＨＲ）を連続的に測定することができる。更に、ハードウェアクロックは、好ましくは、最小かつ一定のサンプリング遅延及びジッタを生成するように同期される。次いで、全ての取得された信号は時系列を表し、これは、直接又は間接的にＨＲ測定に使用され得る。このセットアップは、ＨＲの検出のための相対的な時間遅延が、信号を得るために使用されるセンサが配置される異なる位置によって一定のままであるという意味でロバストである。この状況では、同じ脈波の伝搬は、依然として相対的な時間遅延を提供する。センサの対の間の距離は、好ましくは、信頼性のある時間遅延を生成するように選択され、その結果、より好ましくはＨＲ脈波検出に関する遅延がハードウェア遅延よりも大きくなる。

【0013】

本明細書で言及されるように、そのようなセンサの対の非限定的な例は、身体上の２つの異なる組織位置から取られた、光学データの２つの異なるセットに関する。「２つ」とは、複数の位置及び光学データのセットを意味するが、任意選択的に、異なるデータ位置の最小セットの好ましい例に関して対が参照される。そのような異なるセットの光学データは、例えば、複数のカメラで取られ得る。

【0014】

そのような実装形態の非限定的な例は、例えば額など、ユーザ（又は対象）の顔上の第１の点から光学データを取得するための第１のビデオカメラと、顎などの別の点から光学データを取得するための第２のビデオカメラである。非限定的な例として、スマートフォン、セルラ式電話、タブレット、携帯電話、又は２つのカメラを有する他の計算デバイスを含むがこれらに限定されない、２つの異なるカメラを有するデバイスが使用され得る。任意選択的に、２つのカメラではなく１つのカメラが使用される。

【0015】

任意選択的に、測定される身体組織位置をより正確に決定するために較正手順が実行される。例えば、較正手順は、監督下の身体運動を含み得る。加えて、血圧（ＢＰ）変動のより良好な決定を含むが、これに限定されない、ＢＰのより正確な決定のために、ＰＴＴの上記測定値は使用され得る。

【0016】

そのような実装形態の非限定的な例は、ユーザ（又は対象）の顔の複数の領域（すなわち、右額及び左頬、又はその逆）から光学データを取得するための単一のビデオカメラ（好ましくは）又は複数のカメラである。任意選択的に、光学データは、顔全体から取得され得、次いで任意選択的に顔の１つの追加領域又はその領域の左若しくは右部分からも取得され得る。例えば、限定するものではないが、追加の領域は、額、又はその左、中央、若しくは右部分、左又は右頬、顎部分などを含み得る。光学データは、複数の領域からある持続時間にわたって同時に取得され得るか、又は各領域から時間間隔をずらして取得され得る。非限定的な例として、スマートフォン、セルラ式電話、タブレット、携帯電話、又は２つのカメラを有する他の計算デバイスを含むがこれらに限定されない、２つの異なるカメラを有するデバイスが使用され得る。

【0017】

ユーザは、カメラがユーザの顔の光学データを取得することができるように、カメラとともにデバイスを保持することができる。そのようなカメラは、例えばスマートフォンなどのモバイルデバイスのフロントカメラを含み得る。この例では、ユーザの顔の異なる領域からの光学信号が、ある持続時間又はずらされた時間間隔にわたってフロントカメラから取得され、各領域についてＰＰＧ信号の時系列を生成する。２つの領域のＰＰＧ信号の時系列間の遅延が、所定の時間間隔、例えば３０秒に従って計算される。ＰＰＧのこれらの時系列は、遅延とともに、顔の２つの異なる領域で検出された脈波信号間の自然遅延を介してＰＴＴ値を導出するために使用することができる。

【0018】

ＰＴＴの上記測定値を取得した後、ＰＴＴ測定値は、血圧（ＢＰ）変動のより良好な決定を含むが、これに限定されない、ＢＰのより正確な決定のために使用され得る。

【0019】

任意選択的に、本明細書に記載の任意の方法又はその一部と組み合わせて、顔の上記皮膚からの上記光学データを上記検出することは、複数の顔境界又は指先境界を決定することと、最も高い確率を有する顔境界又は指先境界を選択することと、顔又は指先からのビデオデータにヒストグラム分析を適用することとを含む。任意選択的に、上記複数の顔境界又は指先境界を上記決定することは、上記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用して上記顔境界又は指先境界を決定することを含む。任意選択的に、本方法は、顔及び指先の画像からの分析データを組み合わせて生理学的測定値を決定することを更に含み得る。

【0020】

本発明の方法及びシステムの実装形態は、手動で、自動的に、又はそれらの組み合わせで、特定の選択されたタスク又はステップを実行又は完了することを伴う。更に、本発明の方法及びシステムの好ましい実施形態の実際の計装及び機器によれば、いくつかの選択されたステップは、ハードウェアによって、若しくは任意のファームウェアの任意のオペレーティングシステム上のソフトウェアによって、又はそれらの組み合わせによって実装することができる。例えば、ハードウェアとして、本発明の選択されたステップは、チップ又は回路として実装され得る。ソフトウェアとして、本発明の選択されたステップは、任意の好適なオペレーティングシステムを使用するコンピュータによって実行される複数のソフトウェア命令として実装され得る。いずれの場合も、本発明の方法及びシステムの選択されたステップは、複数の命令を実行するためのコンピューティングプラットフォームなどのデータプロセッサによって実行されるものとして説明することができる。

【0021】

本発明は、「コンピューティングデバイス」、「コンピュータ」、又は「モバイルデバイス」に関して説明されるが、任意選択的に、データプロセッサと、１つ以上の命令を実行する能力とを特徴とする任意のデバイスが、任意のタイプのパーソナルコンピュータ（ＰＣ）、サーバ、分散サーバ、仮想サーバ、クラウドコンピューティングプラットフォーム、セルラ式電話、ＩＰ電話、スマートフォン、又はＰＤＡ（携帯情報端末）を含むがこれらに限定されないコンピュータとして説明され得ることに留意されたい。互いに通信するそのようなデバイスのうちの任意の２つ以上は、任意選択的に、「ネットワーク」又は「コンピュータネットワーク」を含み得る。

【図面の簡単な説明】

【0022】

本発明は、添付の図面を参照して、単なる例として本明細書に記載される。ここで図面を詳細に具体的に参照すると、示される詳細は、例としてであり、本発明の好ましい実施形態の例証的議論の目的のためにすぎず、本発明の原理及び概念的側面の最も有用かつ容易に理解される説明であると考えられるものを提供するために提示されることが強調される。この点に関して、本発明の基本的な理解のために必要である以上に詳細に本発明の構造上の詳細を示す試みはなされておらず、図面とともになされる説明は、本発明のいくつかの形態が実際にどのように具現化され得るかを当業者に明らかにする。図面は以下のとおりである。

【図1A】ユーザのビデオデータを取得するため、及びビデオデータを分析してＰＴＴを決定し、ＢＰを決定するための例示的で非限定的な例証的システムを示す。

【図1B】ユーザのビデオデータを取得するため、及びビデオデータを分析してＰＴＴを決定し、ＢＰを決定するための例示的で非限定的な例証的システムを示す。

【図2A】ＰＴＴのための信号分析を行うための非限定的な例示的方法を示す。

【図2B】ＰＴＴのための信号分析を行うための非限定的な例示的方法を示す。

【図3A】ユーザがアプリケーションを使用して生物学的統計を取得することを可能にするための非限定的な例示的方法を示す。

【図3B】ユーザがアプリケーションを使用して生物学的統計を取得することを可能にするための非限定的な例示的方法を示す。

【図4】詳細な生物学的統計を作成するための非限定的な例示的プロセスを示す。

【図5A】ビデオデータを取得し、次いで初期処理を実行するための非限定的な例示的方法を示す。

【図5B】ビデオデータを取得し、次いで初期処理を実行するための非限定的な例示的方法を示す。

【図5C】ビデオデータを取得し、次いで初期処理を実行するための非限定的な例示的方法を示す。

【図5D】ビデオデータを取得し、次いで初期処理を実行するための非限定的な例示的方法を示す。

【図5E-1】ビデオデータを取得し、次いで初期処理を実行するための非限定的な例示的方法を示す。

【図5E-2】ビデオデータを取得し、次いで初期処理を実行するための非限定的な例示的方法を示す

【図6A】脈拍数推定及びｒＰＰＧの決定のための非限定的な例示的方法に関する。

【図6B】この方法のいくつかの結果に関する。

【図6C】この方法のいくつかの結果に関する。

【図7】本発明の少なくともいくつかの実施形態による、ＰＴＴ決定のため及びＢＰ決定のための方法の非限定的な例示的実装形態に関する。

【図8】本発明の少なくともいくつかの実施形態による、複数の顔部分を用いた、ＰＴＴ決定のため及びＢＰ決定のための方法の非限定的な例示的実装形態に関する。

【発明を実施するための形態】

【0023】

脈波伝播時間（ＰＴＴ）は、例えばｒＰＰＧを介した、Ｒ波の直接的又は間接的な測定と、同様に何らかのタイプのＰＰＧを介して測定され得る、顔及び／又は指先上の別の点などの別の組織点における脈波波形の決定とを必要とする。好ましくは、ｒＰＰＧ及びＰＰＧ脈波信号測定の組み合わせが実行され、ｒＰＰＧは、ＰＰＧ信号測定位置とは異なる身体組織位置から取られる。例えば、ＰＰＧ信号は、ビデオカメラに対して指先を置くことによって取得され得る。ＰＰＧ信号測定は、当技術分野で知られており、以下で説明するように、又は他のＰＰＧ信号測定デバイス及びシステムに従って実装され得る。

【0024】

しかしながら、ｒＰＰＧ測定は、多くの固有の課題を有する。ｒＰＰＧ機構に関する重要な根本的問題は、正確な顔及び指検出、並びに／又は顔上の２つの異なる点の正確な検出、並びに分析に適した正確な皮膚表面選択である。本発明は、ニューラルネットワークの方法論に基づいて顔、指及び皮膚検出に関するこの問題を克服する。非限定的な例を以下に提供する。好ましくは、皮膚選択のために、ヒストグラムベースのアルゴリズムが使用される。顔のみを含むビデオフレームの一部にこの手順を適用すると、各チャネル、すなわち、赤、緑、及び青（ＲＧＢ）の平均値がフレームデータを構築する。結果として生じるビデオフレームに対して上記手順を連続的に使用すると、ＲＧＢデータの時系列が得られる。ＲＧＢ値によって表されるこれらの時系列の各要素は、第１の要素の最初の出現からの経過時間を決定するために使用されるタイムスタンプとともに、フレームごとに取得される。次いで、ｒＰＰＧ分析は、総経過時間が、完全な時間窓（Ｌａｌｇｏ）にわたって、脈拍数推定の定義済み外部パラメータに使用される平均化期間に達したときに開始する。可変のフレーム取得レートを考慮して、時系列データは、固定された所与のフレームレートに対して補間されなければならない。

【0025】

補間後、前処理機構を適用して、より好適な３次元信号（ＲＧＢ）を構築する。そのような前処理は、例えば、正規化及びフィルタリングを含み得る。前処理に続いて、ｒＰＰＧトレース信号が計算され、これには、平均脈拍数及び脈波波形の開始を推定することが含まれる。例えば額及び顎からの光学データなど、顔上の２つの異なる点が使用される場合、好ましくは、２つのｒＰＰＧ抽出が同時に実行される。

【0026】

指先の画像に対して、例えば、モバイルデバイス（例えばスマートフォンなど）の背面カメラで取られた画像に対して、同様のプロセスが続き得る。

【0027】

ＰＴＴが決定されるために、２つの異なる位置で取られた脈波波形測定値間の遅延が正確に決定される必要がある。したがって、ｒＰＰＧ及びＰＰＧ測定に関与するセンサは、正確に同期される必要がある。正確なＰＴＴ測定は、２つの脈波測定間の相対遅延が正確に決定されることができるように、信号を取得するタイミング間の正確な同期を必要とするので、ハードウェア同期が好ましい。決定されたＰＴＴは、ＢＰ決定のために使用される。

【0028】

ここで図面を参照すると、図１Ａ及び図１Ｂは、ＰＴＴを決定するために及びＢＰを決定するために、ユーザのビデオデータを取得するため及びビデオデータを分析して１つ以上の生物学的信号を決定するための例示的で非限定的な例証的システムを示す。

【0029】

図１Ａは、サーバ１１８と通信するユーザ計算デバイス１０２を特徴とするシステム１００を示す。ユーザ計算デバイス１０２は、好ましくは、コンピュータネットワーク１１６を介してサーバ１１８と通信する。ユーザ計算デバイス１０２は、好ましくは、ユーザ入力デバイス１０６を含み、これは、例えば、マウス、キーボード、及び／又は他の入力デバイスなどのポインティングデバイスを含み得る。

【0030】

加えて、ユーザ計算デバイス１０２は、好ましくは、カメラ１１４Ａ及びカメラ１１４Ｂとして示されている複数のカメラ１１４を含む。例えば、カメラ１１４Ａは、ユーザの顔のビデオデータを取得するために使用され得る。カメラ１１４Ｂは、ユーザの指先のビデオデータを取得するために使用され得る。後者の場合、指は、好ましくは、カメラ１１４Ｂに押し付けられる。あるいは、例えばカメラ１１４Ａなどの単一のカメラが使用されて、例えば額の及び顎のビデオデータなど、顔の複数の異なる部分のビデオデータを取得し得る。

【0031】

カメラ１１４Ａ及び１１４Ｂの各々又は両方はまた、ユーザ計算デバイスから分離され得る。ユーザは、信号分析のタイプを決定するための、信号分析を開始するための、及び更には信号分析の結果を受信するためのコマンドを提供するために、ユーザアプリケーションインターフェース１０４と対話する。

【0032】

例えば、ユーザは、ユーザ計算デバイス１０２を介して、カメラ１１４Ａを別個に作動せることによって、又はユーザアプリケーションインターフェース１０４を介してコマンドを発行することによりビデオデータを記録することによって、カメラ１１４Ａを介したユーザの顔のビデオデータの記録を開始し得る。同様に、ユーザは、カメラ１１４Ｂを別個に作動させることによって、又はユーザアプリケーションインターフェース１０４を介してコマンドを発行することによりデータを記録することによって、カメラ１１４Ｂを介したユーザの指先のデータの記録を開始し得る。あるいは、ユーザは、カメラ１１４Ａのみを介してユーザの顔のビデオデータの記録を開始し得る。

【0033】

一実施形態では、ユーザ計算デバイス１０２は、例えばスマートフォンなど、モバイル通信デバイスを含む。このタイプのデバイスでは、典型的には、フロントカメラ及びリアカメラがある。ユーザアプリケーションインターフェース１０４は、好ましくは、両方のカメラが同時に又はほぼ同時に作動させられることを可能にする。任意選択的に、カメラ１１４Ａ及び１１４Ｂのいずれかは、フロントカメラ又はリアカメラであり得る。ユーザアプリケーションインターフェース１０４の使用を容易にするために、好ましくは、ユーザの顔をキャプチャするカメラ１１４Ａはフロントカメラであり（ユーザディスプレイデバイス１０８として示されているディスプレイスクリーンの上方に、又はディスプレイスクリーンと同じ向きに取り付けられている）、ユーザの指先をキャプチャするカメラ１１４Ｂはリアカメラである。

【0034】

次に、ビデオデータは、好ましくは、サーバ１１８に送信され、サーバアプリケーションインターフェース１２０によって受信される。次いで、信号アナライザエンジン１２２によって分析される。信号アナライザエンジン１２２は、好ましくは、カメラ１１４Ａからのビデオ信号における顔の検出と、それに続く皮膚検出とを含む。以下で詳細に説明するように、この情報から脈波信号を取得することを支援するために、好ましくは、様々な非限定的なアルゴリズムが適用される。加えて、カメラ１１４Ｂからの信号は、好ましくは、指先における脈波波形及びそのタイミングを検出するために、ＰＰＧ信号分析に従って分析される。信号アナライザエンジン１２２はまた、そのような分析を支援するためのビデオデータにおける指先検出のために実装され得る。

【0035】

次に、脈波信号は、好ましくは、脈波波形タイミングの決定を支援するための時間、周波数及び非線形フィルタに従って分析される。例えば、２つの信号のタイミングは、好ましくは、ハードウェア同期に従って決定される。そのような同期は、例えば、ハードウェアクロック１３０を介して決定され得る。次いで、更なる分析が、ＰＴＴを計算するために行われ得る。

【0036】

ユーザ計算デバイス１０２は、好ましくは、プロセッサ１１０Ａ及びメモリ１１２Ａを特徴とする。サーバ１１８は、好ましくは、プロセッサ１１０Ｂ及びメモリ１１２Ｂを特徴とする。

【0037】

本明細書で使用されるとき、プロセッサ１１０Ａ又は１１０Ｂなどのプロセッサは、概して、特定のシステムの通信及び／又は論理機能を実装するために使用される回路を有する、デバイス又はデバイスの組み合わせを指す。例えば、プロセッサは、デジタル信号プロセッサデバイス、マイクロプロセッサデバイス、並びに様々なアナログ－デジタル変換器、デジタル－アナログ変換器、及び他のサポート回路及び／又は前述のものの組み合わせを含み得る。システムの制御機能及び信号処理機能は、これらの処理デバイス間でそれぞれの能力に従って割り当てられる。プロセッサは、１つ以上のソフトウェアプログラムをそのコンピュータ実行可能プログラムコード（この非限定的な例におけるメモリ１１２Ａ又は１１２Ｂなど、メモリに記憶され得る）に基づいて動作させる機能を更に含み得る。この語句が本明細書で使用されるとき、プロセッサは、例えば、コンピュータ可読媒体に具現化された特定のコンピュータ実行可能プログラムコードを実行することによって１つ以上の汎用回路に機能を実行させること、及び／又は１つ以上の特定用途向け回路に機能を実行させることを含む様々な方法で特定の機能を実行する「ように構成され」得る。

【0038】

加えて、ユーザ計算デバイス１０２は、信号分析の結果、発行されている１つ以上のコマンドの結果などを表示するためのユーザディスプレイデバイス１０８を特徴とし得る。

【0039】

フロントカメラのみを使用する別の実施形態では、ユーザ計算デバイス１０２は、例えばスマートフォンなど、モバイル通信デバイスを含む。このタイプのデバイスでは、典型的には、フロントカメラ及びリアカメラがある。ユーザアプリケーションインターフェース１０４は、好ましくは、フロントカメラが作動させられることを可能にする。任意選択的に、カメラ１１４Ａ及び１１４Ｂのいずれかは、フロントカメラ又はリアカメラであり得る。ユーザアプリケーションインターフェース１０４の使用を容易にするために、好ましくは、ユーザの顔をキャプチャするカメラ１１４Ａはフロントカメラであり（ユーザディスプレイデバイス１０８として示されているディスプレイスクリーンの上方に、又はディスプレイスクリーンと同じ向きに取り付けられている）、カメラ１１４Ｂはリアカメラである。この場合も、任意選択的に、フロントカメラのみを使用して、複数の点で顔のビデオデータをキャプチャする。

【0040】

フロントカメラは、例えば、ユーザの顔の複数の領域（すなわち、右額及び左頬、又はその逆）から光学データ（すなわち、ビデオデータ）をキャプチャし得る。ビデオデータは、複数の領域からある持続時間にわたって同時に取得され得るか、又は各領域から時間間隔をずらして取得され得る。

【0041】

次に、ビデオデータは、好ましくは、サーバ１１８に送信され、サーバアプリケーションインターフェース１２０によって受信される。次いで、信号アナライザエンジン１２２によって分析される。信号アナライザエンジン１２２は、好ましくは、カメラ１１４Ａからのビデオ信号における顔の検出を含む。

【0042】

以下で詳細に説明するように、この情報から脈波信号を取得することを支援するために、好ましくは、様々な非限定的なアルゴリズムが適用される。加えて、カメラ１１４Ａからの信号は、好ましくは、異なる顔領域における脈波波形及びそのタイミングを検出するために、ＰＰＧ信号分析に従って分析される。信号アナライザエンジン１２２はまた、そのような分析を支援するためのビデオデータにおける顔検出のために実装され得る。

【0043】

次に、脈波信号は、好ましくは、脈波波形タイミングの決定を支援するための時間、周波数及び非線形フィルタに従って分析される。加えて、２つの領域のＰＰＧ信号の時系列間の遅延が、時間間隔、例えば３０秒に従って計算される。ＰＰＧのこれらの時系列は、遅延とともに、顔の複数の異なる領域で検出された脈波信号間の自然遅延を介してＰＴＴ値を導出するために使用することができる。

【0044】

【0045】

図１Ｂは、上述の機能がユーザ計算デバイス１０２によって実行される、システム１５０を示す。図１Ａ又は図１Ｂのいずれかの場合、ユーザ計算デバイス１０２は携帯電話を含み得る。図１Ｂでは、前述の信号アナライザエンジンは、ユーザ計算デバイス１０２によって信号アナライザエンジン１５２として動作させられるようになっている。信号アナライザエンジン１５２は、図１Ａの信号アナライザエンジンについて説明したものと同じ又は同様の機能を有し得る。図１Ｂでは、ユーザ計算デバイス１０２は、インターネット（図示せず）などのコンピュータネットワークに接続され得、また他の計算デバイスと通信してもよい。少なくともいくつかの実施形態では、機能のうちのいくつかは、ユーザ計算デバイス１０２によって実行され、他の機能は、例えばサーバ（図１Ｂには図示せず、図１Ａを参照されたい）など、別個の計算デバイスによって実行される。

【0046】

任意選択的に、メモリ１１２Ａ又は１１２Ｂは、コードの定義済みネイティブ命令セットを記憶するように構成されている。プロセッサ１１０Ａ又は１１０Ｂは、メモリ１１２Ａ又は１１２Ｂに記憶されたコードの定義済みネイティブ命令セットから選択された対応する基本命令を受信することに応答して基本動作の定義済みセットを実行するように構成されている。

【0047】

任意選択的に、メモリ１１２Ａ又は１１２Ｂは、光学データを分析して対象の顔に関連するデータを選択するためのネイティブ命令セットから選択された第１のマシンコードセットと、顔の皮膚からの光学データを検出するためのネイティブ命令セットから選択された第２のマシンコードセットと、経過時間に達するまで光学データを収集し、次いで、経過時間に対する収集された光学データから時系列を計算することによって光学データから時系列を決定するためのネイティブ命令セットから選択された第３のマシンコードセットと、時系列から生理学的信号を計算するためのネイティブ命令セットから選択された第４のマシンコードセットとを記憶する。

【0048】

任意選択的に、メモリ１１２Ａ又は１１２Ｂは、複数の顔境界を決定することを含む顔の上記皮膚からの上記光学データを検出するためのネイティブ命令セットから選択された第５のマシンコードセットと、最も高い確率を有する顔境界を選択するためのネイティブ命令セットから選択された第６のマシンコードセットと、顔からのビデオデータにヒストグラム分析を適用するためのネイティブ命令セットから選択された第７のマシンコードセットとを更に含む。

【0049】

任意選択的に、メモリ１１２Ａ又は１１２Ｂは、上記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用して上記顔境界を決定するためのネイティブ命令セットから選択された第８のマシンコードセットを更に含む。

【0050】

任意選択的に、メモリ１１２Ａ又は１１２Ｂは、光学データを分析して対象の指先に関連するデータを選択するためのネイティブ命令セットから選択された第９のマシンコードセットと、指先の皮膚からの光学データを検出するためのネイティブ命令セットから選択された第１０のマシンコードセットと、経過時間に達するまで光学データを収集し、次いで、経過時間に対する収集された光学データから時系列を計算することによって光学データから時系列を決定するためのネイティブ命令セットから選択された第１１のマシンコードセットと、時系列から生理学的信号を計算するためのネイティブ命令セットから選択された第１２のマシンコードセットとを記憶する。

【0051】

任意選択的に、メモリ１１２Ａ又は１１２Ｂは、複数の指先境界を決定することを含む指先の上記皮膚からの上記光学データを検出するためのネイティブ命令セットから選択された第１３のマシンコードセットと、最も高い確率を有する指先境界を選択するためのネイティブ命令セットから選択された第１４のマシンコードセットと、指先からのビデオデータにヒストグラム分析を適用するためのネイティブ命令セットから選択された第１５のマシンコードセットとを更に含む。

【0052】

任意選択的に、メモリ１１２Ａ又は１１２Ｂは、上記ビデオデータにマルチパラメータ畳み込みニューラルネット（ＣＮＮ）を適用して上記指先境界を決定するためのネイティブ命令セットから選択された第１６のマシンコードセットを更に含む。追加的又は代替的に、指先はカメラに押し付けられ、それにより、指先検出ではなく皮膚検出のみが実行される。

【0053】

図２Ａは、ユーザの顔から脈波信号及び他の関連信号を検出するために、信号分析を実行するための非限定的な例示的方法を示す。プロセス２００は、ブロック２０２においてデータを取得するプロセスを開始することによって、例えば、ビデオカメラ２０４を作動させることによって始まる。次いで、２０６において顔認識が任意選択的に実行されて、最初にユーザの顔の位置を特定する。これは、例えば、深層学習顔検出モジュール２０８を介して、また更に追跡プロセス２１０も介して実行され得る。ビデオデータは、信号分析のための最も正確な結果を得るためにユーザの顔であることが好ましいので、ユーザの顔の位置を特定することが重要である。追跡プロセス２１０は、連続的特徴マッチング機構に基づく。特徴は、新しいフレームにおいて、以前に検出された顔を表す。特徴は、フレーム内の位置に従って、ＣＮＮ（畳み込みニューラルネットワーク）などの画像認識プロセスの出力から決定される。フレーム内に１つの顔しか現れない場合、追跡プロセス２１０は、フレーム内の顔認識に簡略化することができる。

【0054】

非限定的な例として、任意選択的に、マルチタスク畳み込みネットワークアルゴリズムが、リアルタイム条件下で最高水準の精度を達成する顔検出のために適用される。Ｌｉらによる刊行物（ＨａｏｘｉａｎｇＬｉ，ＺｈｅＬｉｎ，ＸｉａｏｈｕｉＳｈｅｎ，ＪｏｎａｔｈａｎＢｒａｎｄｔ，ａｎｄＧａｎｇＨｕａ．Ａｃｏｎｖｏｌｕｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋｃａｓｃａｄｅｆｏｒｆａｃｅｄｅｔｅｃｔｉｏｎ．ＩｎＴｈｅＩＥＥＥＣｏｎｆｅｒｅｎｃｅｏｎＣｏｍｐｕｔｅｒＶｉｓｉｏｎａｎｄＰａｔｔｅｒｎＲｅｃｏｇｎｉｔｉｏｎ（ＣＶＰＲ），Ｊｕｎｅ２０１５）で紹介されたネットワークカスケードに基づく。

【0055】

次に、２１２において、ユーザの顔の皮膚がビデオデータ内で位置を特定される。ユーザの皮膚は、好ましくは、例えば額及び皮膚など、複数の異なる部分に位置し、これらは別々に分析される。好ましくは、皮膚選択のために、ヒストグラムベースのアルゴリズムが使用される。この手順を、前述の顔検出アルゴリズムに従って決定された顔のみを含むビデオフレームの一部に適用すると、好ましくは、各チャネル、すなわち、赤、緑、及び青（ＲＧＢ）の平均値が使用されてフレームデータを構築する。結果として生じるビデオフレームに対して上記手順を連続的に使用すると、ＲＧＢデータの時系列が得られる。各フレームは、そのＲＧＢ値とともに、これらの時系列の要素を表す。各要素は、最初の出現からの経過時間に従って決定されるタイムスタンプを有する。収集された要素は、Ｌａｌｇｏ要素を有するスケーリングされたバッファ内にあるものとして説明され得る。フレームは、好ましくは、十分な要素が収集されるまで収集される。要素数の充足度は、好ましくは、総経過時間に従って決定される。２１４のｒＰＰＧ分析は、総経過時間が、脈拍数推定に使用される平均化期間にわって必要とされる時間の長さに達するときに開始する。収集されたデータ要素は補間され得る。補間後、好ましくは、前処理機構を適用して、より好適な３次元信号（ＲＧＢ）を構築する。

【0056】

２１４において、複数のＰＰＧ信号が、顔の複数の部分における３次元信号から、具体的にはＲＧＢデータの要素から作成される。例えば、脈拍数は、以下でより詳細に説明されるように、単一の計算から、又は複数の相互相関計算から決定され得る。次いで、これは、２１６において正規化及びフィルタリングされ得、２１８においてＥＣＧを再構築するために使用され得る。２２０において基本周波数が見つけられ、２２２において心拍数、脈波信号タイミングなどの統計が作成される。

【0057】

図２Ｂは、例えば前述したようなモバイルデバイスのリアカメラからの、ユーザの指先のビデオデータを分析するための同様の非限定的な例示的方法を示す。この場合も、好ましくは、このビデオデータは、顔のビデオデータと同時に又はほぼ同時にキャプチャされる。方法２４０では、方法は、２４２においてユーザの指先をカメラの上又は近くに置くことによって開始する。カメラの近くの場合、指先はカメラに見える必要がある。この配置は、例えばモバイルデバイスにおいて、ユーザに指先をモバイルデバイスのリアカメラ上に置かせることによって達成され得、フロントカメラは、ユーザの顔の画像を「自撮り」スタイルで撮るために使用される。カメラは既に既知の幾何学的位置にあり、これは、指先及び顔の正しい配置を促す。

【0058】

２４４において、指の、好ましくは指先の画像がカメラで取得される。次に、２４６において、指、好ましくは指先は、画像内で位置を特定される。このプロセスは、画像内の顔の位置に関して前述したように実行され得る。しかしながら、ニューラルネットが使用される場合、ニューラルネットは、指、好ましくは指先の位置を特定するように特に訓練される必要がある。光学データからの手追跡は、当技術分野で知られており、修正された手追跡アルゴリズムを使用して、指先を一連の画像内で追跡することができる。

【0059】

２４８において、画像の指部分、好ましくは指先部分内に皮膚が見出される。この場合も、このプロセスは、概ね皮膚の位置について上述したように、任意選択的に指皮膚又は指先皮膚のための調整を伴って実行され得る。再び、好ましくはヒストグラムベースの方法が使用され、２５０においてＰＰＧ／ｒＰＰＧを実行するのに十分な画像が利用可能になるまで、画像が収集される。このデータが得られると、ステップ２１４～２２０に関して上述したように、ステップ２５０～２５６が実行され得る。しかしながら、ステップ２５８はまた、脈波波形の決定を含むが、更に、例えば同期されたハードウェアクロックによる、２つの異なる位置における脈波信号タイミング間の相対時間差の決定も含む。

【0060】

図３Ａ及び図３Ｂは、ユーザがアプリケーションを使用して生物学的統計を取得することを可能にするための非限定的な例示的方法を示す。方法３００では、ユーザは、３０２においてアプリケーションに登録する。次に、３０４において、例えばユーザ計算デバイスに取り付けられた又はユーザ計算デバイスとともに形成された、ビデオカメラで画像が取得される。ビデオカメラは、好ましくは、本明細書で説明されるようなＲＧＢカメラである。

【0061】

顔は画像内で位置を特定される（３０６）。これは、ユーザ計算デバイス上で、サーバにおいて、又は任意選択的にその両方において実行され得る。更に、このプロセスは、マルチタスク畳み込みニューラルネットに関して前述したように実行され得る。次いで、ＲＧＢ信号データにヒストグラムを適用することによって、皮膚検出が実行される。好ましくは、皮膚から反射された光に関するビデオデータのみが、光学脈波検出及びＨＲＶ決定のために分析される。

【0062】

信号の時系列は、例えば前述したように、３０８において決定される。可変のフレーム取得レートを考慮して、時系列データは、好ましくは、固定された所与のフレームレートに対して補間される。補間手順を実行する前に、好ましくは、補間を実行できるように、以下の条件が分析される。最初に、好ましくは、フレームの数が分析されて、補間及び前処理の後に、ｒＰＰＧ分析のために十分なフレームがあることを検証する。

【0063】

次に、１秒当たりのフレーム数が考慮され、窓内での測定された１秒当たりのフレーム数が最小閾値を上回ることを検証する。その後、フレーム間の時間ギャップは、もしあれば、分析されて、それが何らかの外部設定閾値（例えば０．５秒であり得る）未満であることを確実にする。

【0064】

上記の条件のいずれかが満たされない場合、手順は、好ましくは、フルデータリセットで終了し、最後の有効フレームから再開して、例えば、上記の３０４に戻る。

【0065】

次に、ビデオ信号は、好ましくは、補間に続いて３１０で前処理される。前処理機構が適用されて、より好適な３次元信号（ＲＧＢ）を構築する。前処理は、好ましくは、各チャネルを総パワーに対して正規化することと、チャネル値をその平均値（ローパスフィルタによって推定される）によってスケーリングし、１を減算することと、次いで、データをバターワース帯域通過ＩＩＲフィルタに通すこととを含む。

【0066】

３１２において、統計情報が、ハードウェアクロックに対する信号のタイミングを含めて、抽出される。次いで、３１４において、顔全体又は代替的に顔の一部に関する顔光学信号から心拍動が再構築される。次いで、３１６において、脈拍数タイミングが顔信号から決定される。

【0067】

ここで、心拍動は、３１８において、第２の組織位置としての顔の第２の部分及び／又は指先からの光信号から、ハードウェアクロックに対する信号のタイミングも含めて再構築される。次いで、３２０において、第２の組織位置におけるＨＲタイミングが決定される。次いで、３２２において、第２の組織位置の脈波波形が、第１の組織位置信号から決定された脈拍数タイミングに対する差分タイミング、すなわち、遅延も含めて計算される。差分タイミングの決定は、好ましくは、ハードウェアクロックを介した信号の同期によって支援される。次いで、３２４において、差動タイミングに従ってＰＴＴが決定される。

【0068】

心拍動は、顔の額及び顎からなど、ユーザの顔の複数の領域からキャプチャされたビデオデータから再構築され得る。同様に、ＨＲタイミングは、３２０において、ＰＰＧ信号の時系列と２つの異なる顔領域から得られたビデオデータとの間の計算された遅延を使用することによって決定される。次いで、３２２において、両方の顔領域からの顔信号から決定される脈拍数タイミングに対する脈波波形が計算される。次いで、ＰＴＴが、ビデオデータからの差分タイミング及び脈波波形検出に従って決定される。ＰＴＴの上記測定値を取得した後、ＰＴＴ測定値は、血圧（ＢＰ）変動のより良好な決定を含むが、これに限定されない、ＢＰのより正確な決定のために使用され得る。

【0069】

図３Ｂは、指先が信号を提供するための第２の組織位置を含む場合、３１４において上記のプロセスに供給され得る指先光学信号を取得及び分析するための例示的な非限定的方法を示す。図３Ｂは、例えば前述したようなモバイルデバイスのリアカメラからの、ユーザの指先のビデオデータを分析するための同様の非限定的な例示的方法を示す。このプロセスは、例えば、ユーザの顔について、正面カメラから十分なビデオデータをキャプチャすることができない場合に、使用され得る。任意選択的に、両方の方法は組み合わせられ得る。

【0070】

方法３４０では、方法は、３４２においてユーザの指先をカメラの上又は近くに置くことによって開始する。カメラの近くの場合、指先はカメラに見える必要がある。この配置は、例えばモバイルデバイスにおいて、ユーザに指先をモバイルデバイスのリアカメラ上に置かせることによって達成され得る。カメラは、指先の配置に対する既知の幾何学的位置に既にあり、これは、正確なビデオデータを収集することに関して指先の正しい配置を促す。任意選択的に、モバイルデバイスのフラッシュは、十分な光を提供するために、より長いモード（「トーチ」又は「フラッシュライト」モード）で有効にされ得る。フラッシュを有効にすることは、指先の正確なビデオデータが取得されるのに十分な光がカメラによって検出されない場合、自動的に実行され得る。

【0071】

３４４において、指の、好ましくは指先の画像がカメラで取得される。次に、３４６において、指、好ましくは指先は、画像内で位置を特定される。このプロセスは、画像内の顔の位置に関して前述したように実行され得る。しかしながら、ニューラルネットが使用される場合、ニューラルネットは、指、好ましくは指先の位置を特定するように特に訓練される必要がある。光学データからの手追跡は、当技術分野で知られており、修正された手追跡アルゴリズムを使用して、指先を一連の画像内で追跡することができる。

【0072】

３４８において、画像の指部分、好ましくは指先部分内に皮膚が見出される。この場合も、このプロセスは、概ね皮膚の位置について上述したように、任意選択的に指皮膚又は指先皮膚のための調整を伴って実行され得る。信号の時系列は、３５０において、例えば前述のように決定されるが、好ましくは、リアカメラを使用する任意の特性及び／又はカメラへの指先皮膚の直接接触に対して調整される。可変のフレーム取得レートを考慮して、時系列データは、好ましくは、固定された所与のフレームレートに対して補間される。補間手順を実行する前に、好ましくは、補間を実行できるように、以下の条件が分析される。最初に、好ましくは、フレームの数が分析されて、補間及び前処理の後に、ｒＰＰＧ分析のために十分なフレームがあることを検証する。

【0073】

【0074】

上記の条件のいずれかが満たされない場合、手順は、好ましくは、フルデータリセットで終了し、最後の有効フレームから再開して、例えば、上記の３４４に戻る。

【0075】

次に、ビデオ信号は、好ましくは、補間に続いて３５２で前処理される。前処理機構が適用されて、より好適な３次元信号（ＲＧＢ）を構築する。前処理は、好ましくは、各チャネルを総パワーに対して正規化することと、チャネル値をその平均値（ローパスフィルタによって推定される）によってスケーリングし、１を減算することと、次いで、データをバターワース帯域通過ＩＩＲフィルタに通すこととを含む。この場合も、このプロセスは、好ましくは、指先データに対して調整される。３５４において、統計情報が抽出され、その後、プロセスは、例えば上記の図３Ａに関して説明したように、３１４から進み得る。

【0076】

図４は、この非限定的な例において、ユーザの顔から取られた光学信号からの脈波波形タイミングを含む、詳細な生物学的統計を作成するための非限定的な例示的プロセスを示す。プロセス４００において、ユーザビデオデータは、カメラ４０４を用いて、ユーザ計算デバイス４０２を介して取得される。次いで、顔検出モデル４０６を用いて顔を見つける。例えば、顔ビデオデータが複数の異なる顔境界について検出された後、最高スコアの顔境界を除く全てが好ましくは破棄される。ユーザの顔に関連するデータが好ましくは他のビデオデータから分離されるように、その境界ボックスが入力画像から切り取られる。皮膚ピクセルが、好ましくは、前述のように、ソフト閾値化機構を有するヒストグラムベースの分類器を使用して収集される。残りのピクセルから、平均値がチャネルごとに計算され、次いで、４１０においてｒＰＰＧアルゴリズムに渡される。このプロセスは、皮膚の色が決定されることを可能にし、その結果、光学データに対する脈波の影響は、下にある皮膚の色の影響から分離させることができる。プロセスは、４０８において、最高スコアの顔境界ボックスに従って顔を追跡する。同様のプロセスが、額及び顎を含むが、これらに限定されない、ユーザの顔の部分を検出するために使用され得る。

【0077】

上述したように、このプロセスは、例えば指先など、指又はその一部を検出するように適合され得る。好ましくは、境界検出アルゴリズムも使用して、指先など、指又はその一部の境界を検出する。その後のプロセスは、境界ボックスを切り取って、例えば指先など、指又はその一部など、ユーザの生体構造の関連部分を分離することなどである。例えば指先などの検出されている生体構造の関連部分が皮膚を含む場合、適合されたヒストグラムベースの分類器も使用され得る。４０８におけるプロセスは、ユーザがリアカメラに指先を押し付ける場合、例えば、リアカメラに対する指先の直接的な配置を前提として、追跡の必要性の低減に対応するように適合され得る。

【0078】

好ましくは、並列経路において、別個のカメラ４０４Ｂが、ユーザの指先から、例えばビデオデータなどの指先光学データを取得する。別個のカメラ４０４Ｂは、ユーザ計算デバイス４０２の一部であり得る。

【0079】

次に、４１０において、顔信号データからＰＰＧ信号が作成される。前処理に続いて、ｒＰＰＧトレース信号が、スケーリングされたバッファのＬａｌｇｏ要素を使用して計算される。手順は以下のように説明される。平均脈拍数が、生の補間されたデータ（ＣＨＲＯＭ様及び投影行列（ＰＭ））から構築された２つのｒＰＰＧの異なる分析信号間のマッチフィルタを使用して推定される。次いで、相互相関が計算され、それに基づいて平均瞬時脈拍数が探索され得る。周波数推定は、追加のロックイン機構を有する非線形最小二乗（ＮＬＳ）スペクトル分解に基づく。次いで、適応ウィナーフィルタリングを適用し、初期推測信号が瞬時脈拍数周波数（ｖｐｒ）に依存する、ＰＭ法からｒＰＰＧ信号が導出される：ｓｉｎ（２πｖｐｒｎ）。更に、周波数領域における追加のフィルタが、信号再構築を強制するために使用される。最後に、指数フィルタが、以下により詳細に説明する手順によって得られた瞬時ＲＲ値に適用される。

【0080】

ＰＰＧ信号はまた、好ましくは、４１０Ｂにおいて、前述の指先ビデオデータから取得される。

【0081】

次いで、４１２における信号プロセッサが、好ましくは、ＰＰＧ信号に基づいて、いくつかの異なる機能を実行する。これらは、好ましくは、４１４においてＥＣＧ様信号を再構築すること、及び４１６において指先脈波信号を計算することを含む。両方の場合において、好ましくは、前述したような同期のためのハードウェアクロック（図示せず）に従ってタイミングが測定される。次いで、４１８において、信号プロセッサ４１２は、好ましくは、２組の脈波信号間の相対遅延又は差分タイミングを決定する。そのような差分タイミングは、指先で決定された脈波波形と組み合わせて、好ましくは、４２０においてＰＴＴを計算するために使用される。

【0082】

図５Ａ～図５Ｅは、ビデオデータを取得し、次いで、任意選択的に顔の複数の部分からの、顔光学データから、ｒＰＰＧ信号を決定するための初期処理を実行するための非限定的な例示的方法を示し、好ましくは、補間、前処理、及びｒＰＰＧ信号決定を含み、そのような初期処理からのいくつかの結果を伴う。ここで図５Ａを参照すると、プロセス５００では、ビデオデータが、例えば前述したように、５０２において取得される。

【0083】

次に、カメラチャネル入力バッファデータが、例えば前述したように、５０４において取得される。次に、一定の所定の取得レートが、好ましくは５０６において決定される。例えば、一定の所定の取得レートは、Δｔ＝１／ｆｐｓ～＝３３ｍｓに設定され得る。５０８において、各チャネルは、好ましくは、一定の所定の取得レートで時間バッファに別々に補間される。このステップは、入力時間ジッタを除去する。補間手順がエイリアシング（及び／又は周波数畳み込み）を追加しても、画像がカメラによって撮られると、エイリアシング（及び／又は周波数畳み込み）は既に発生している。一定のサンプルレートに補間することの重要性は、それが、取得時間による心拍数の準定常性の基本仮定を満たすことである。補間に使用される方法は、例えば、三次エルミート補間に基づき得る。

【0084】

図５Ｂ～図５Ｄは、スケーリング手順の異なる段階に関するデータを示す。カラーコーディングは各チャネルの色に対応し、すなわち、赤は赤チャネルに対応し、以下同様である。図５Ｂは、補間後のカメラチャネルデータを示す。

【0085】

図５Ａに戻ると、５１０～５１４において、着色されたチャネル（ｖｅｃ（ｃ））の各々を補間した後、拍動変調を強化するために前処理が実行される。前処理は、好ましくは３つのステップを含む。５１０において、総パワーに対する各チャネルの正規化が実行され、これは、全体的な外部光変調によるノイズを低減する。

【0086】

パワー正規化は次式で与えられる。

【0087】

【数1】

式中、－→ｃｐは、パワー正規化されたカメラチャネルベクトルであり、－→ｃは、説明したような補間された入力ベクトルである。簡潔にするために、フレームインデックスは両辺から除去した。

【0088】

次に、５１２において、スケーリングが実行される。例えば、そのようなスケーリングは、平均値ｉによって実行され、１を減算され得、これは、静止光源及びその輝度レベルの影響を低減する。平均値はセグメント長（Ｌａｌｇｏ）によって設定されるが、このタイプの解決策は低周波成分を強調することができる。あるいは、平均値によってスケーリングする代わりに、ローパスＦＩＲフィルタによってスケーリングすることが可能である。

【0089】

ローパスフィルタを使用すると、固有の待ち時間が追加され、これは、Ｍ／２フレームに対する補償を必要とする。スケーリングされた信号は次式で与えられる。

【0090】

【数2】

式中、ｃｓ（ｎ）はフレームｎの単一チャネルのスケーリングされた値であり、ｂはローパスＦＩＲ係数である。チャネル色表記は、簡潔にするために上記の式から除去した。

【0091】

５１４において、スケーリングされたデータが、バターワース帯域通過ＩＩＲフィルタに通される。

【0092】

このフィルタは次のように定義される。

【0093】

【数3】

【0094】

スケーリング手順の出力は－→ｓであり、各新しいフレームが、各カメラチャネルに対する待ち時間を有する新しいフレームを追加する。簡潔にするためにフレームインデックスｎが使用されているが、実際にはフレームｎ－Ｍ／２を指すことに留意されたい（ローパスフィルタに起因する）。

【0095】

図５Ｃは、カメラ入力のパワー正規化、帯域通過フィルタの前のローパスのスケーリングされたデータのプロットを示す。図５Ｄは、帯域通過フィルタの前のパワーのスケーリングされたデータのプロットを示す。図５Ｅは、図５Ｅ－１として与えられるフィルタ応答及び図５Ｅ－２として与えられる重み応答（平均による平均化）を用いた、２つの正規化手順を使用した全ての対象についての平均絶対偏差の比較を示す。図５Ｅ－１は、前処理フィルタの大きさ及び周波数応答を示す。青線はＭ＝３３タップのローパスＦＩＲフィルタを表し、赤線は３次のＩＩＲバターワースフィルタを示す。図５Ｅ－２は、ｒＰＰＧトレースを平均化するために使用される６４長のハン窓の重み応答を示す。

【0096】

５１６において、脈拍数を決定するためにＣＨＲＯＭアルゴリズムが適用される。このアルゴリズムは、以下によって定義される２つの平面上に信号を投影することによって適用される。
Ｓ_ｃ，１＝３ｓ_ｒ－２ｓ_ｇ（４）
Ｓ_ｃ，２＝１．５ｓ_ｒ＋ｓ_ｇ－１．５ｓ_ｂ（５）

【0097】

次いで、ｒＰＰＧ信号が、これら２つの間の差として求められる。

【0098】

【数4】

式中、σ（．．．）は信号の標準偏差である。２つの投影された信号がそれらの最大変動によって正規化されたことに留意されたい。ＣＨＲＯＭ法は、鏡面反射を最小化するように導出される。

【0099】

次に、５１８において、脈拍数を決定するために投影行列が適用される。投影行列（ＰＭ）法では、信号は拍動方向に投影される。３つの要素が直交していなくても、驚くべきことに、この投影は、ＣＨＲＯＭよりも良好な信号対ノイズ比を有する非常に安定した解を与えることが分かった。ＰＭ法を導出するために、ＲＧＢ信号の強度要素、鏡面要素、及び拍動要素の行列要素が決定される。
Ｍ_{ｍｅａｓｕｒｅｄ}＝［１０．７７０．３３１０．５１０．７７１０．３８０．５３］（８）

【0100】

上記の行列要素は、例えば、ｄｅＨａａｎ及びｖａｎＬｅｅｓｔによる論文（ＧｄｅＨａａｎａｎｄＡｖａｎＬｅｅｓｔ．Ｉｍｐｒｏｖｅｄｍｏｔｉｏｎｒｏｂｕｓｔｎｅｓｓｏｆｒｅｍｏｔｅ－ｐｐｇｂｙｕｓｉｎｇｔｈｅｂｌｏｏｄｖｏｌｕｍｅｐｕｌｓｅｓｉｇｎａｔｕｒｅ．ＰｈｙｓｉｏｌｏｇｉｃａｌＭｅａｓｕｒｅｍｅｎｔ，３５（９）：１９１３，２０１４）から決定され得る。この論文では、動脈血からの（したがって脈波からの）信号は、ＲＧＢ信号から決定され、血液量スペクトルを決定するために使用することができる。

【0101】

この例では、強度は１に対して正規化される。拍動方向への投影は、上記行列を反転させ、拍動に対応するベクトルを選択することによって求められる。これにより以下が得られる。
ｐｍ＝－０．２６ｓ_ｒ＋－０．８３ｓ_ｇ－０．５０ｓ_ｂ（９）

【0102】

５２０において、２つの脈拍数結果は、ｒＰＰＧを決定するために相互相関させられる。ｒＰＰＧの決定は、図６に関してより詳細に説明される。

【0103】

図６Ａは、顔から取得された光学データからの脈拍数推定及びｒＰＰＧの決定のための非限定的な例示的方法に関し、図６Ｂ～図６Ｃは、この方法のいくつかの結果に関する。本方法は、図５Ａに関して上述したＣＨＲＯＭ及びＰＭｒＰＰＧ法の出力を使用して、脈拍数周波数ｖｐｒを求める。この方法は、過去のＬａｌｇｏフレームにわたる平均脈拍数を探索することを含む。周波数は、ロックイン機構の適用を伴う非線形最小二乗スペクトル分解を使用することによって、（ＣＨＲＯＭとＰＭとの間の）マッチフィルタの出力から抽出される。

【0104】

ここで図６Ａを参照すると、方法６００において、プロセスは、ＣＨＲＯＭ出力とＰＭ出力との間のマッチフィルタを計算することによって、６０２において開始する。マッチフィルタは、ＣＨＲＯＭ法出力とＰＭ法出力との間の相関を計算することによって簡単に行われる。次に、６０４において、非線形最小二乗（ＮＬＳ）周波数推定のコスト関数が、その高調波を有する周期関数に基づいて計算される。

【0105】

【数5】

【0106】

上記の式において、ｘはモデル出力であり、ａｌ及びｂｌは周波数成分の重みであり、１はその高調波次数であり、Ｌはモデルにおける次数であり、ｖは周波数であり、（ｎ）は加法性ノイズ成分である。次いで、対数尤度スペクトルが、Ｏ（ＮｌｏｇＮ）＋Ｏ（ＮＬ）の計算量で、Ｎｉｅｌｓｅｎら（ＪｅｓｐｅｒＫｊaｒＮｉｅｌｓｅｎ，ＴｏｂｉａｓＬｉｎｄｓｔｒｏｍＪｅｎｓｅｎ，ＪｅｓｐｅｒＲｉｎｄｏｍＪｅｎｓｅｎ，ＭａｄｓＧｒaｓｂoｌｌＣｈｒｉｓｔｅｎｓｅｎ，ａｎｄＳoｒｅｎＨｏｌｄｔＪｅｎｓｅｎ．Ｆａｓｔｆｕｎｄａｍｅｎｔａｌｆｒｅｑｕｅｎｃｙｅｓｔｉｍａｔｉｏｎ：Ｍａｋｉｎｇａｓｔａｔｉｓｔｉｃａｌｌｙｅｆｆｉｃｉｅｎｔｅｓｔｉｍａｔｏｒｃｏｍｐｕｔａｔｉｏｎａｌｌｙｅｆｆｉｃｉｅｎｔ．ＳｉｇｎａｌＰｒｏｃｅｓｓｉｎｇ，１３５：１８８－１９７，２０１７）で与えられるアルゴリズムを適応させることによって、６０６において計算される。

【0107】

Ｎｉｅｌｓｅｎらでは、周波数は、全ての高調波次数からの最大ピークの周波数として設定される。この方法自体は一般的な方法であり、この場合、帯域周波数パラメータを変更することによって適合させることができる。モデルの固有の特徴は、コスト関数スペクトルにおいて高次が低次よりも多くの局所最大ピークを有することである。この特徴は、ロックイン手順に使用される。

【0108】

６０８において、ロックイン機構は、標的脈拍数周波数ｖｔｒａｇｅｔを入力として得る。次いで、６１０において、本方法は、次数１＝Ｌのコスト関数スペクトルの全ての局所最大ピーク振幅（Ａｐ）及び周波数（ｖｐ）を求める。各局所最大値について、以下の関数が推定される。

【0109】

【数6】

【0110】

この関数は、信号強度と標的周波数からの距離との間のバランスをとる。６１０において、出力される脈拍数は、上記関数ｆ（Ａｐ，ｖｐ，ｖｔｒａｇｅｔ）を最大化する局所ピークｖｐとして設定される。

【0111】

図６Ｂ及び図６Ｃは、例示的な実行の例示的な再構築されたｒＰＰＧトレース（青線）を示す。赤い円はピークＲ時間を示す。図６Ｂは、時間ｔ＝０ｓでの実行開始から時間ｔ＝５０ｓまでのトレースを示す。図６Ｃは、トレースのズームを示し、ミリ秒単位のＲＲ間隔時間も示す。

【0112】

次に、６１２～６１４において、瞬時ｒＰＰＧ信号は、平均脈拍数周波数（ｖｐｒ）の周りの２つの動的フィルタ、すなわち、ウィナーフィルタ及びＦＦＴガウスフィルタを用いてフィルタリングされる。６１２において、ウィナーフィルタが適用される。所望の標的はｓｉｎ（２πｖｐｒｎ）であり、ｎはインデックス番号（時間を表す）である。６１４において、ＦＦＴガウスフィルタは、ｖｐｒの周りの信号を除去することを目的としており、したがって、以下の形式のガウス形状が、

【0113】

【数7】

σｇをその幅として使用される。名前が示唆するように、フィルタリングは、信号をその周波数領域に変換し（ＦＦＴ）、それをｇ（ｖ）で乗算し、時間領域に逆変換し、実数部成分を取ることによって行われる。

【0114】

上記手順の出力は、平均脈拍数ｖｐｒを有する長さＬａｌｇｏのフィルタリングされたｒＰＰＧトレース（ｐｍ）である。出力は、各観察されたビデオフレームに対して得られ、脈波の重畳時系列を構築する。次いで、これらの時系列を平均して、ＨＲＶ処理に適した平均最終ｒＰＰＧトレースを生成する。これは、Ｗａｎｇらによる論文（Ｗ．Ｗａｎｇ，Ａ．Ｃ．ｄｅｎＢｒｉｎｋｅｒ，Ｓ．Ｓｔｕｉｊｋ，ａｎｄＧ．ｄｅＨａａｎ．Ａｌｇｏｒｉｔｈｍｉｃｐｒｉｎｃｉｐｌｅｓｏｆｒｅｍｏｔｅｐｐｇ．ＩＥＥＥＴｒａｎｓａｃｔｉｏｎｓｏｎＢｉｏｍｅｄｉｃａｌＥｎｇｉｎｅｅｒｉｎｇ，６４（７）：１４７９－１４９１，Ｊｕｌｙ２０１７）からの以下の式（ｎは時間を表す）を使用して、フィルタリングされたｒＰＰＧ信号（ｐｍ）の重畳及び加算を使用して行われる。
ｔ（ｎ－Ｌａｌｇｏ＋１）＝ｔ（ｎ－Ｌａｌｇｏ＋１）＋ｗ（ｌ）ｐｍ（ｌ）（１３）
式中、１は、０とＬａｌｇｏとの間のランニングインデックスであり、ｗ（ｉ）は、出力トレースの構成及び待ち時間を設定する重み関数である。必要なピーク（収縮期ピークを表す最大値）を得るために、時間における距離としてＲＲ間隔を構築することが可能である。時間領域及び周波数領域の両方における統計的測定値としてＨＲＶパラメータを取り出すために、一連のＲＲ間隔が使用され得る。

【0115】

図７は、本発明の少なくともいくつかの実施形態による、ＰＴＴ決定及びＢＰ決定のための方法の非限定的な例示的実装形態に関する。決定されたＰＴＴは、示されるようにＢＰ決定のために使用される。

【0116】

方法７００に示すように、この方法は、７０２において、好ましくは前述のように複数のビデオカメラからの、センサデータ取得から開始する。しかしながら、信号を提供するために同じタイプのセンサを使用する必要はない。任意選択的に、好適な同期が提供される限り、同じであっても異なっていても、任意の好適な複数のセンサが使用され得る。例えば、好ましくは、サンプリングレートは一定かつ既知であり、ハードウェアがタイムスタンプを提供する。次いで、この手法は、デシメーション／補間手順を使用して、同じサンプリングレートでサンプリングされている信頼できる信号を生成する。誤った計算を防止するために、全てのセンサに対して同期クロックを使用することが好ましい。

【0117】

次に、７０４において、前述したクロック同期に従って信号前処理が実行される。そのような信号処理は、同じ原点を生成するためにセンサデータを時間的に整列させることを含む。この整列は、ハードウェアクロックとセンサ間の検出されたハードウェア遅延との組み合わせに従って実行される。加えて、センサデータは、同じサンプリングレートを生成するために補間／デシメーションされる。これは、センサのサンプリングレートについての予備知識によって行うことができる。好ましくは、線形補間又はＫＮＮ補間ではなく、エルミート三次補間又は同様の補間が使用される。そのような補間は、好ましくは、データ内のスパイク又は他のノイズを回避するように選択される。任意選択的に、高速カーネル密度推定器（ＫＤＥ）に基づくトレンド除去アルゴリズムが使用され得る。

【0118】

好ましくは、センサデータは、７０６においてＳＮＲ（信号対ノイズ比）の信頼できる値を改善するためにノイズ除去される。この段階で、７０２における信号取得に戻ることが必要な場合がある。好ましくは、ウェーブレット及びＤＣＴなどの周波数ベースのアルゴリズムが、ＳＮＲを改善するためにＫＤＥとともに使用される。多次元（ｒＰＰＧ／ＰＰＧのようなマルチチャネル）センサの場合、周囲ノイズ及び他のノイズを除去するためにＰＣＡ（主成分分析）又はＩＣＡ（独立成分分析）が使用され得る。

【0119】

ノイズ除去後、センサデータは、好ましくは、同じレベルの大きさを生成するように正規化される。センサデータはまた、好ましくは、ＨＲ計算に適した帯域幅を生成するために［０．５，４］Ｈｚの間でフィルタリングされる。そのようなフィルタリングは、バターワースＮ次帯域通過を使用することによって実行され得る。簡単にするために、Ｎは３に設定され得る。

【0120】

７０８において、ＰＰＧ様信号構築が実行される。この段階は、多次元センサと単一チャネルプローブとで異なる。単一チャネル（１次元）センサの場合、手順は以下のとおりである。最初に、粗い基本周波数が、例えば、ＮＬＳ（非線形最小二乗（ＮＬＳ）周波数推定）又はＰＳＤ（パワースペクトル密度）ベースの方法のような基本周波数推定機構を使用することによって、決定される。次に、提案された信号は、好ましくは正弦波として構築される。次に、ウィナーフィルタリング手順を使用して、保存初期位相及び遅延を再構築する。次に、自己相関が計算される。

【0121】

多次元ケースは、好ましくは、以下のような予備段階を含む。データの投影行列Ｎ×Ｍ行列が計算され、Ｎはチャネルの数であり、Ｍは各チャネルについて１×Ｍベクトルに取得されたデータの量である。このベクトルは、ｒＰＰＧのために使用される前述のＣＨＲＯＭ、ＰＯＳ及びＰＭに関して生成され得る。手順は、各チャネルに関連する平均及び分散のみを含むので、ＰＣＡ及びＩＣＡも使用することができる。ＰＣＡ又はＩＣＡは、投影行列がＰＣＡと同様になるので、３次元以上のチャネル又はセンサに好ましい。次いで、得られた信号は、単一チャネルの場合と同様に処理される。

【0122】

７１０において、ＨＲが決定される。例えば、任意選択的に、基本周波数は、自己相関からＨＲとして計算される。細かい周波数は、好ましくは、所与の帯域幅（サンプリング周波数に依存する）に対する提案された周波数の周りでＦＦＴベースの方法論を使用して決定される。任意選択的に、決定されたＨＲは別のセンサと比較される。それらが所定の閾値内で十分に類似している場合、手順は好ましくは停止し、そうでなければ、新しいデータが好ましくは取得される。

【0123】

７１２において、複数のセンサから受信された異なる信号間の遅延が計算される。例えば、遅延は、時間遅延推定（ＴＤＥ）に従って計算され得、これは、センサのアレイにおいて受信された信号間の到着時間差を求めることを指す。一般的な信号モデルは以下のとおりである。
ｒ_ｉ［ｎ］＝α_ｉｓ［ｎ－Ｔ_ｉ］＋ｑ_ｉ［ｎ］，ｉ－１，２．．．，Ｍ，ｎ＝０，１，．．．，Ｎ－１
式中、ｉ番目のセンサにおいて、ｒ_ｉ［ｎ］は受信された信号であり、ｓ［ｎ］は、α及びＴ_ｉが利得／減衰である、関心のある信号であり、伝搬遅延はノイズである。

【0124】

Ｍ個のセンサがあり、各センサにおいて、Ｎ個の観測値が収集される。非限定的な例では、Ｍ＝２であり、Ｎは大きくてもよい（通常、３０～６０秒の観測）。

【0125】

上述したように、ＴＤＥのタスクは、以下を推定することである。
Ｔ_ｉｊ＝－Ｔ_ｉｊ＝Ｔ_ｉ－Ｔ_ｊ，ｉ＞ｊ，ｉ，ｊ＝１，２，．．．，Ｍ

【0126】

両方のセンサの出力を得た後、ＨＲ値が一致する場合、自己相関関数又は前の段階から得られた再構築されたＰＰＧ様信号から直接遅延を計算することが可能である。

【0127】

このプロセスは、自己相関及びＰＰＧ信号の両方に適用されるとき、いくつかの方法論の組み合わせを使用する。この組み合わせは、よりロバストな結果をもたらす。

【0128】

時間遅延推定の勾配法は、最小化されるべきコスト関数に関する情報に依存するベクトルによって遅延を更新することに基づく。勾配アルゴリズムは、提案された遅延の周りの２次テイラー展開としてのコスト関数を含む。ガウス－ニュートン法、最急降下法及び最小二乗平均（ＬＭＳ）法に基づく勾配アルゴリズムが適用され得る。好ましくは、以下に簡単に説明するＬＭＳ法が使用される。

【0129】

ＴＤＥは、２つのセンサに入射する２つの離散時間信号を考慮し、これらは、時間ｔ＝ｋＴｓにおいてサンプリングされ、式中、Ｔｓはサンプリング周期（簡略化のために１であると仮定されている）であり、以下の形式で前述のように表される。
ｘ（ｋ）＝Ａ_１，ｓ（ｋ）＋ｖ（ｋ）（１）
ｙ（ｋ）＝Ａ_２，ｓ（ｋ－Ｔ）＋ｎ（ｋ）（２）
式中、ｓ（ｋ）はノイズのないソース信号に対応し、ｓ（ｋ－Ｔ）は遅延され、Ａ１及びＡ２はそれらの一定振幅である。明示的に述べられていない場合、一般性を失うことなく、Ａの値は、以下において１であると仮定される。ｎ（ｋ）及びｖ（ｋ）は、それぞれ、分散σｎ２及びσｖ２の無相関０平均のホワイトガウスノイズである。

【0130】

変数Ｔは、推定される未知の時間遅延を表し、離散時間モデルにおける真の遅延に最も近い整数に近似される。提案された方法は、その係数を更新するためにＬＭＳが使用されるとき、適合されたフィルタのカスケードＷを使用する。

【0131】

ｘ（ｋ）入力に対するＷの出力ｚ（ｋ）は次式で与えられる。

【0132】

【数8】

式中、ＭはＷの長さであり、Ｄは入力信号を無相関化するために提案された遅延であり、ｗ_ｉ（ｋ）は時間ｋにおけるフィルタ係数である。誤差項は次式で与えられる。
Ｚ（ｋ）＝ｘ（ｋ）ｚ（ｋ）

【0133】

所望のシーケンスは次式で与えられる。

【0134】

【数9】

【0135】

式中、ｈベクトルはシステムインパルス応答である。時間遅延推定器の出力は次のように表すことができる。

【0136】

【数10】

式中、ｇはシステムインパルス応答の推定値であり、推定器誤差は以下のように与えられる。

【0137】

【数11】

Ｋ回の反復における時間遅延推定値は、以下のように与えられる。

【0138】

【数12】

【0139】

２つの信号の相互相関はまた、相互相関項が最大化される時間が時間遅延推定値に対応するので、２つの信号間の時間遅延を推定するために使用され得る。簡単に、２つのセンサの場合について以下に説明する。
ｘ_１（ｔ）＝Ｓ_１（ｔ）＋ｎ_１（ｔ）（１）
ｘ_２（ｔ）＝ａＳ_１（ｔ＋Ｄ）＋ｎ_２（ｔ）（２）

【0140】

一般化相互相関を使用して、各センサ間の遅延を求めることができる。このための技術は様々であるが、一般的な用途は同様であり得る。信号を「クリーンアップ」するために、本方法に特有のプレフィルタが周波数領域で使用される。次いで、その結果に対して相互相関及びピーク検出を行い、最大遅延の点を決定する。下の画像は、一般化相互相関（ＧＣＣ）の適用のための連続時間モデルを示す。このモデルでは、重み付け関数、すなわち、プレフィルタを使用して、信号をより有用な形に「クリーン」にする。この実験の目的のために、使用された方法は、標準的な相互相関、ＰＨＡＴ、及びＳＣＯＴ法であった。

【0141】

【数13】

【0142】

残念ながら、相関方法は、典型的には、センサ結果が周期的である場合、典型的な信号周期より大きい遅延には適しておらず、反対の符号であっても不正確な遅延を提供する。したがって、可能な遅延の方向のような、付加的な情報が必要とされる。例えば、顔から指へのＰＰＧの遅延が正でなければならず、遅延が、Ｈｚで与えられる適切な平均ＲＲ間隔（ＲＲは１／ＨＲを表す）未満でなければならないなど、いくつかの要件が課され得る。

【0143】

２つのセンサ間の時間遅延を計算する別の方法は、遅延の確率密度関数の最大値を決定することによって見つけられ得る。この手順は、ＫＤＥの用語を使用する。

【0144】

提案された方法論は、センサ間の遅延を計算するために使用される２つの異なる方法論間の調和を提供する。

【0145】

次に７１４において、ＰＴＴが計算される。血液が動脈を流れるとき、圧力波が、脈波速度（ＰＷＶ）と呼ばれる特定の速度で伝搬する。ＰＷＶは、動脈及び血液の両方の弾性特性に依存する。Ｍｏｅｎｓ－Ｋｏｒｔｅｗｅｇの式は、血管及び流体特性の関数としてＰＷＶを定義する［ＢｒａｍｗｅｌｌＪＣ，ＨｉｌｌＡＶ．ＴｈｅＶｅｌｏｃｉｔｙｏｆｔｈｅＰｕｌｓｅＷａｖｅｉｎＭａｎ．Ｐｒｏｃ．ＲｏｙａｌＳｏｃｉｅｔｙｆｏｒＥｘｐｅｒｉｍｅｎｔａｌＢｉｏｌｏｇｙ＆Ｍｅｄｉｃｉｎｅ．１９２２；９３：２９８－３０６；Ｍａ，Ｙ．，Ｃｈｏｉ，Ｊ．，Ｈｏｕｒｌｉｅｒ－Ｆａｒｇｅｔｔｅ，Ａ．，Ｘｕｅ，Ｙ．，Ｃｈｕｎｇ，Ｈ．Ｕ．，Ｌｅｅ，Ｊ．Ｙ．，ｅｔａｌ．（２０１８）．Ｐｒｏｃ．Ｎａｔｌ．Ａｃａｄ．Ｓｃｉ．Ｕ．Ｓ．Ａ．１１５：１１１４４－１１１４９．ｄｏｉ：１０．１０７３／ｐｎａｓ．１８１４３９２１１５］。

【0146】

【数14】

式中、Ｌは血管の長さであり、ＰＴＴは圧力脈波がその長さを透過するのに費やす時間であり、ρは血液密度であり、ｒは血管の内径であり、ｈは血管壁の厚さであり、Ｅは血管壁の弾性率である。

【0147】

ＰＴＴから、ＢＰが、７１６において計算される。Ｂｒａｍｗｅｌｌ－Ｈｉｌｌｓ及びＭｏｅｎｓ－Ｋｏｒｔｗｅｇの式は、ＢＰとＰＴＴとの間の対数関係を与える。以下のように表されるＢＰとＰＴＴとの関係を有することができる。
ＢＰ＝ａ^＊ｌｏｇ_ｅ（ＰＴＴ）＋ｂ（４）

【0148】

上記の式は、時間に関して微分されて［ＳｈａｒｍａＭ．，ＢａｒｂｏｓａＫ．，ＨｏＶ．，ＧｒｉｇｇｓＤ．，ＧｈｉｒｍａｉＴ．，ＫｒｉｓｈｎａｎＳ．，ＨｓｉａｉＴ．，ＣｈｉａｏＪ．Ｃ．，ＣａｏＨ．Ｃｕｆｆ－ＬｅｓｓａｎｄＣｏｎｔｉｎｕｏｕｓＢｌｏｏｄＰｒｅｓｓｕｒｅＭｏｎｉｔｏｒｉｎｇ：ＡＭｅｔｈｏｄｏｌｏｇｉｃａｌＲｅｖｉｅｗ．Ｔｅｃｈｎｏｌｏｇｉｅｓ．２０１７；５：２１．ｄｏｉ：１０．３３９０／ｔｅｃｈｎｏｌｏｇｉｅｓ５０２００２１］、次式を得てもよい。
ＢＰ＝ａ^＊（ＰＴＴ）＋ｂ

【0149】

ここで、ａ及びｂは対象固有の定数であり、基準ＢＰと対応するＰＴＴとの間の回帰分析を通じて得ることができる［ＣｈｅｎＷ．，ＫｏｂａｙａｓｈｉＴ．，ＩｃｈｉｋａｗａＳ．，ＴａｋｅｕｃｈｉＹ．，ＴｏｇａｗａＴ．Ｃｏｎｔｉｎｕｏｕｓｅｓｔｉｍａｔｉｏｎｏｆｓｙｓｔｏｌｉｃｂｌｏｏｄｐｒｅｓｓｕｒｅｕｓｉｎｇｔｈｅｐｕｌｓｅａｒｒｉｖａｌｔｉｍｅａｎｄｉｎｔｅｒｍｉｔｔｅｎｔｃａｌｉｂｒａｔｉｏｎ．Ｍｅｄ．Ｂｉｏｌ．Ｅｎｇ．Ｃｏｍｐｕｔ．２０００；３８：５６９－５７４．ｄｏｉ：１０．１００７／ＢＦ０２３４５７５５］。この作業で使用されるＢＰと時間遅延との間の数学的関係は、第２の変数としてＨＲも利用する線形モデルである。次いで、このモデルは以下のとおりである。
ＢＰ＝ａ^＊（ＰＴＴ）＋ｂ^＊ＨＲ＋ｃ（５）

【0150】

しかしながら、問題のＰＴＴ（５）は、ＥＣＧピークとＰＴＴピークとの間の遅延を表すものであり、相対的なＰＴＴではない。

【0151】

通常のＰＴＴを相対的なＰＴＴに変更することは、問題の形式を維持し、回帰分析によって容易に計算することができる係数の値のみに影響を及ぼす。

【0152】

図８は、本発明の少なくともいくつかの実施形態による、複数の顔部分を用いた、ＰＴＴ決定のため及びＢＰ決定のための方法の非限定的な例示的実装形態に関する。図８の方法は、ＰＰＧ信号が複数の顔部分からのビデオデータから決定され、その結果、複数の部分からのＰＰＧ信号が遅延に従って決定され、ＰＰＧ信号が時系列を形成することを除いて、図７の方法と同様である。

【0153】

図示のように、方法８００は、８０２において、第１の顔部分からのビデオデータを取得することによって開始する。ビデオデータは、例えば、限定するものではないが、図１Ａ及び図１Ｂのシステムに従って、本明細書に説明されるように取得され得る。第１の顔部分は、顔全体又はその一部を含み得る。そのような部分は、例えば、額、中央顔領域又は顎などの顔の領域を含み得る。そのような部分はまた、そのような領域の片側を含み得、それにより、額の右部分、額の左部分、額の中央部分、左頬又は右頬を含むがこれらに限定されない、その領域の一部のみが含まれる。本明細書で説明される顔境界分析に従って顔の所望の部分（顔の全体であってもよい）の位置を特定するために、機械学習アルゴリズムが適用され得る。

【0154】

好ましくは、サンプリングレートは一定かつ既知であり、ハードウェアがタイムスタンプを提供する。デシメーション／補間手順を使用して、同じサンプリングレートでサンプリングされている信頼できる信号を生成することが可能である。誤った計算を防止するために、全てのセンサに対して同期クロックを使用することが好ましい。この非限定的な例では、任意選択的に、ビデオデータは、正面モバイルカメラなどの１つのセンサから、ただし異なる時間に取得される。この場合、単一のセンサタイミング及びサンプリングレートは予測可能であるが、クロックに従って複数のビデオデータストリームを同期させることが依然として必要である。

【0155】

８０４において、第２の顔部分のビデオデータが取得され、これは、第１の顔部分について上述されたように、顔全体、顔の領域、又はそのような領域の一部を含み得る。

【0156】

次に、８０６において、前述したクロック同期に従って信号前処理が実行される。そのような信号処理は、同じ原点を生成するためにセンサデータを時間的に整列させることを含む。この整列は、ハードウェアクロックと、タイムスタンプに従って決定される、２つのビデオストリーム間の検出されたハードウェア遅延との組み合わせに従って実行される。加えて、ビデオデータは、同じサンプリングレートを生成するために補間／デシメーションされ得るが、代替的に、サンプリングレートは、単一のセンサ（ビデオカメラ）から取得されるものと本質的に同じであり得る。必要であれば、補間は、センサのサンプリングレートに関する予備知識によって行われ得る。好ましくは、線形補間又はＫＮＮ補間ではなく、エルミート三次補間又は同様の補間が使用される。そのような補間は、好ましくは、データ内のスパイク又は他のノイズを回避するように選択される。任意選択的に、高速カーネル密度推定器（ＫＤＥ）に基づくトレンド除去アルゴリズムが使用され得る。

【0157】

好ましくは、センサデータは、８０８においてＳＮＲ（信号対ノイズ比）の信頼できる値を改善するためにノイズ除去される。この段階で、８０２及び／又は８０４における信号取得に戻ることが必要な場合がある。好ましくは、ウェーブレット及びＤＣＴなどの周波数ベースのアルゴリズムが、ＳＮＲを改善するためにＫＤＥとともに使用される。多次元（ｒＰＰＧ／ＰＰＧのようなマルチチャネル）センサの場合、周囲ノイズ及び他のノイズを除去するためにＰＣＡ（主成分分析）又はＩＣＡ（独立成分分析）が使用され得る。

【0158】

【0159】

８１０において、ＰＰＧ様信号構築が、複数の信号から実行される。したがって、ＰＰＧ様信号構築は時系列を形成し、信号は時間オフセット又は遅延に従って取得される。この段階は、多次元センサと単一チャネルプローブとで異なる。単一チャネル（１次元）センサの場合、手順は以下のとおりである。最初に、粗い基本周波数が、例えば、ＮＬＳ（非線形最小二乗（ＮＬＳ）周波数推定）又はＰＳＤ（パワースペクトル密度）ベースの方法のような基本周波数推定機構を使用することによって、決定される。次に、提案された信号は、好ましくは正弦波として構築される。次に、ウィナーフィルタリング手順を使用して、保存初期位相及び遅延を再構築する。次に、自己相関が計算される。

【0160】

多次元ケースは、好ましくは、以下のような予備段階を含む。データの投影行列Ｎ×Ｍ行列が計算され、Ｎはチャネルの数であり、Ｍは各チャネルについて１×Ｍベクトルに取得されたデータの量である。このベクトルは、ｒＰＰＧに使用される前述のＣＨＲＯＭ、ＰＯＳ及びＰＭに関して生成され得る。この手順は、各チャネルに関連する平均及び分散のみを含むので、ＰＣＡ及びＩＣＡも使用することができる。ＰＣＡ又はＩＣＡは、投影行列がＰＣＡと同様になるので、３次元以上のチャネル又はセンサに好ましい。次いで、得られた信号は、単一チャネルの場合と同様に処理される。

【0161】

脈波信号は、好ましくは、脈波波形タイミングの決定を支援するための時間、周波数及び非線形フィルタに従って分析される。加えて、複数の顔部分のＰＰＧ信号の時系列間の遅延が、好ましくは、時間間隔、例えば３０秒で計算される。

【0162】

８１２において、ＨＲ（心拍数）が決定される。例えば、任意選択的に、基本周波数は、自己相関からＨＲとして計算される。細かい周波数は、好ましくは、所与の帯域幅（サンプリング周波数に依存する）に対する提案された周波数の周りでＦＦＴベースの方法論を使用して決定される。任意選択的に、決定されたＨＲは別のセンサと比較される。それらが所定の閾値内で十分に類似している場合、手順は好ましくは停止し、そうでなければ、新しいデータが好ましくは取得される。

【0163】

８１４において、複数のセンサから、又は複数の異なる時間に得られた信号を有する単一のセンサから受信された異なる信号間の遅延が計算される。例えば、遅延は、時間遅延推定（ＴＤＥ）に従って計算され得、これは、センサのアレイにおいて受信された信号間の到着時間差を求めることを指す。一般的な信号モデルは以下のとおりである。
ｒ_ｉ［ｎ］＝α_ｉｓ［ｎ－Ｔ_ｉ］＋ｑ_ｉ［ｎ］，ｉ－１，２．．．，Ｍ，ｎ＝０，１，．．．，Ｎ－１
式中、ｉ番目のセンサにおいて、ｒ_ｉ［ｎ］は受信された信号であり、ｓ［ｎ］は、α及びＴ_ｉが利得／減衰である、関心のある信号であり、伝搬遅延はノイズである。

【0164】

Ｍ個のセンサがあり、各センサにおいて、Ｎ個の観測値が収集される。あるいは、複数の異なる顔部分について、複数の異なる時間の各々において収集されるＮ個の観測値を有する１つのセンサが存在する。非限定的な例では、Ｍ＝２であり、Ｎは大きくてもよい（通常、３０～６０秒の観測）。

【0165】

上述したように、ＴＤＥのタスクは、以下を推定することである。
Ｔ_ｉ，ｊ＝－Ｔ_ｉ，ｊ＝Ｔ_ｉ－Ｔ_ｊ，ｉ＞ｊ，ｉ，ｊ＝１，２，．．．，Ｍ

【0166】

【0167】

【0168】

【0169】

ＴＤＥは、２つのセンサに入射する２つの離散時間信号を考慮し、これらは、時間
ｔ＝ｋＴｓにおいてサンプリングされ、式中、Ｔｓはサンプリング周期（簡略化のために１であると仮定されている）であり、以下の形式で前述のように表される。
ｘ（ｋ）＝Ａ_１，ｓ（ｋ）＋ｖ（ｋ）（１）
ｙ（ｋ）＝Ａ_２，ｓ（ｋ－Ｔ）＋ｎ（ｋ）（２）
式中、ｓ（ｋ）はノイズのないソース信号に対応し、ｓ（ｋ－Ｔ）は遅延され、Ａ１及びＡ２はそれらの一定振幅である。明示的に述べられていない場合、一般性を失うことなく、Ａの値は、以下において１であると仮定される。ｎ（ｋ）及びｖ（ｋ）は、それぞれ、分散σｎ２及びσｖ２の無相関０平均のホワイトガウスノイズである。

【0170】

【0171】

ｘ（ｋ）入力に対するＷの出力ｚ（ｋ）は次式で与えられる。

【0172】

【数15】

【0173】

所望のシーケンスは次式で与えられる。

【0174】

【数16】

式中、ｈベクトルはシステムインパルス応答である。時間遅延推定器の出力は次のように表すことができる。

【0175】

【数17】

式中、ｇはシステムインパルス応答の推定値であり、推定器誤差は以下のように与えられる。

【0176】

【数18】

【0177】

Ｋ回の反復における時間遅延推定値は、以下のように与えられる。

【0178】

【数19】

【0179】

【0180】

一般化相互相関を使用して、各センサ間（又は代替的に、１つのセンサに対する複数の異なる読取値間）の遅延を求めることが可能である。このための技術は様々であるが、一般的な用途は同様であり得る。信号を「クリーンアップ」するために、本方法に特有のプレフィルタが周波数領域で使用される。次いで、その結果に対して相互相関及びピーク検出を行い、最大遅延の点を決定する。下の画像は、一般化相互相関（ＧＣＣ）の適用のための連続時間モデルを示す。このモデルでは、重み付け関数、すなわち、プレフィルタを使用して、信号をより有用な形に「クリーン」にする。この実験の目的のために、使用された方法は、標準的な相互相関、ＰＨＡＴ、及びＳＣＯＴ法であった。

【0181】

【数20】

【0182】

【0183】

【0184】

したがって、ＰＰＧのこれらの時系列は、遅延とともに、顔の２つの異なる領域で検出された脈波信号間の自然遅延を介してＰＴＴ値を導出するために使用することができる。

【0185】

次に８１６において、ＰＴＴが計算される。血液が動脈を流れるとき、圧力波が、脈波速度（ＰＷＶ）と呼ばれる特定の速度で伝搬する。ＰＷＶは、動脈及び血液の両方の弾性特性に依存する。Ｍｏｅｎｓ－Ｋｏｒｔｅｗｅｇの式は、血管及び流体特性の関数としてＰＷＶを定義し［ＢｒａｍｗｅｌｌＪＣ，ＨｉｌｌＡＶ．ＴｈｅＶｅｌｏｃｉｔｙｏｆｔｈｅＰｕｌｓｅＷａｖｅｉｎＭａｎ．Ｐｒｏｃ．ＲｏｙａｌＳｏｃｉｅｔｙｆｏｒＥｘｐｅｒｉｍｅｎｔａｌＢｉｏｌｏｇｙ＆Ｍｅｄｉｃｉｎｅ．１９２２；９３：２９８－３０６；Ｍａ，Ｙ．，Ｃｈｏｉ，Ｊ．，Ｈｏｕｒｌｉｅｒ－Ｆａｒｇｅｔｔｅ，Ａ．，Ｘｕｅ，Ｙ．，Ｃｈｕｎｇ，Ｈ．Ｕ．，Ｌｅｅ，Ｊ．Ｙ．，ｅｔａｌ．（２０１８）．Ｐｒｏｃ．Ｎａｔｌ．Ａｃａｄ．Ｓｃｉ．Ｕ．Ｓ．Ａ．１１５：１１１４４－１１１４９．ｄｏｉ：１０．１０７３／ｐｎａｓ．ｌ８１４３９２１１５］、

【0186】

【数21】

【0187】

【0188】

【0189】

ここで、ａ及びｂは対象固有の定数であり、基準ＢＰと対応するＰＴＴとの間の回帰分析を通じて得ることができ［ＣｈｅｎＷ．，ＫｏｂａｙａｓｈｉＴ．，ＩｃｈｉｋａｗａＳ．，ＴａｋｅｕｃｈｉＹ．，ＴｏｇａｗａＴ．Ｃｏｎｔｉｎｕｏｕｓｅｓｔｉｍａｔｉｏｎｏｆｓｙｓｔｏｌｉｃｂｌｏｏｄｐｒｅｓｓｕｒｅｕｓｉｎｇｔｈｅｐｕｌｓｅａｒｒｉｖａｌｔｉｍｅａｎｄｉｎｔｅｒｍｉｔｔｅｎｔｃａｌｉｂｒａｔｉｏｎ．Ｍｅｄ．Ｂｉｏｌ．Ｅｎｇ．Ｃｏｍｐｕｔ．２０００；３８：５６９－５７４．ｄｏｉ：１０．１００７／ＢＦ０２３４５７５５］、この作業で使用されるＢＰと時間遅延との間の数学的関係は、第２の変数としてＨＲも利用する線形モデルである。次いで、このモデルは以下のとおりである。
ＢＰ＝ａ^＊（ＰＴＴ）＋ｂ^＊ＨＲ＋ｃ（５）

【0190】

しかしながら、問題のＰＴＴ（５）は、ＥＣＧピークとＰＴＴピークとの間の遅延を表すものであり、相対的なＰＴＴではない。

【0191】

【0192】

ＰＴＴの上記測定値を取得した後、ＰＴＴ測定値は、８１８において、例えば本明細書に記載されるように、血圧（ＢＰ）変動のより良好な決定を含むが、これに限定されない、ＢＰのより正確な決定のために使用され得る。

【0193】

明確にするために別々の実施形態の文脈で説明されている本発明の特定の特徴はまた、単一の実施形態において組み合わせて提供されてもよいことは理解される。逆に、簡潔にするために単一の実施形態の文脈で説明されている本発明の様々な特徴はまた、別々に又は任意の好適な副組み合わせで提供されてもよい。

【0194】

本発明をその特定の実施形態に関連して説明してきたが、多くの代替形態、修正形態及び変形形態が当業者には明らかであることは明白である。したがって、添付の特許請求の範囲の趣旨及び広い範囲内に入る全てのそのような代替形態、修正形態及び変形形態を包含することが意図される。本明細書で言及される全ての刊行物、特許及び特許出願は、各個々の刊行物、特許又は特許出願が参照により本明細書に組み込まれると具体的かつ個別に示されるのと同程度に、その全体が参照により本明細書に組み込まれる。加えて、本出願における任意の参考文献の引用又は特定は、そのような参考文献が本発明に対する先行技術として利用可能であることの承認として解釈されるべきではない。

【図1A】