IP Force 特許公報掲載プロジェクト 2022.1.31 β版

知財求人 - 知財ポータルサイト「IP Force」

▶ コンティンユーズ バイオメトリクス リミテッドの特許一覧

特表2022-508237生物医学的パラメータを遠隔監視するためのシステムおよび方法
<>
  • 特表-生物医学的パラメータを遠隔監視するためのシステムおよび方法 図1
  • 特表-生物医学的パラメータを遠隔監視するためのシステムおよび方法 図2
  • 特表-生物医学的パラメータを遠隔監視するためのシステムおよび方法 図3
  • 特表-生物医学的パラメータを遠隔監視するためのシステムおよび方法 図4
  • 特表-生物医学的パラメータを遠隔監視するためのシステムおよび方法 図5
  • 特表-生物医学的パラメータを遠隔監視するためのシステムおよび方法 図6
  • 特表-生物医学的パラメータを遠隔監視するためのシステムおよび方法 図7
  • 特表-生物医学的パラメータを遠隔監視するためのシステムおよび方法 図8
  • 特表-生物医学的パラメータを遠隔監視するためのシステムおよび方法 図9
< >
(19)【発行国】日本国特許庁(JP)
(12)【公報種別】公表特許公報(A)
(11)【公表番号】
(43)【公表日】2022-01-19
(54)【発明の名称】生物医学的パラメータを遠隔監視するためのシステムおよび方法
(51)【国際特許分類】
   A61B 5/1455 20060101AFI20220112BHJP
   A61B 5/18 20060101ALI20220112BHJP
【FI】
A61B5/1455
A61B5/18
【審査請求】未請求
【予備審査請求】未請求
(21)【出願番号】P 2021529754
(86)(22)【出願日】2019-11-27
(85)【翻訳文提出日】2021-07-21
(86)【国際出願番号】 IL2019051297
(87)【国際公開番号】W WO2020110116
(87)【国際公開日】2020-06-04
(31)【優先権主張番号】62/771,692
(32)【優先日】2018-11-27
(33)【優先権主張国・地域又は機関】US
(81)【指定国・地域】
(71)【出願人】
【識別番号】521227045
【氏名又は名称】コンティンユーズ バイオメトリクス リミテッド
【氏名又は名称原語表記】ContinUse Biometrics Ltd.
(74)【代理人】
【識別番号】110001302
【氏名又は名称】特許業務法人北青山インターナショナル
(72)【発明者】
【氏名】カリファ,ラン
(72)【発明者】
【氏名】ジニシュ,ハダー
(72)【発明者】
【氏名】ベンヤミニ,マタン
(72)【発明者】
【氏名】ホッホシュタッター,エラン
(72)【発明者】
【氏名】ガルシア,ハヴィエル
(72)【発明者】
【氏名】ベイデルマン,イェフゲニー
(72)【発明者】
【氏名】シェルゲイ,マイケル
(72)【発明者】
【氏名】ザレフスキー,ズィーヴ
【テーマコード(参考)】
4C038
【Fターム(参考)】
4C038KL05
4C038KL07
4C038KX01
4C038VA04
4C038VA16
4C038VB03
4C038VC01
4C038VC05
(57)【要約】
個人の1または複数の生物学的パラメータを監視するシステムである。このシステムは、少なくとも1のコヒーレント光学照明ビームを提供するとともに、このビームを個人の体の選択された検査領域に向けるように構成された、少なくとも1のコヒーレント光源を含む照明ユニットと、少なくとも第1の撮像ユニットを含む光収集ユニットであって、第1の撮像ユニットが、レンズユニットおよび検出器アレイを含み、検査領域から戻る光を収集して、選択されたサンプリングレートで、検査領域に関連する少なくとも1の連続する画像データを生成するように構成された、光収集ユニットと、少なくとも1のプロセッサを含む制御ユニットであって、少なくとも1の連続する画像データを含む入力データを受信して、個人の1または複数のパラメータを示すデータを生成するために画像データを処理するように構成された制御ユニットとを備える。上記処理は、検査領域の照明スポットから戻る光に形成される1または複数のスペックルパターンを示す画像データを含む画像データのコントラストの変化を求めることを含む。
【選択図】図1
【特許請求の範囲】
【請求項1】
個人の1または複数の生物学的パラメータを監視するシステムであって、
少なくとも1のコヒーレント光学照明ビームを提供するとともに、前記ビームを前記個人の体の選択された検査領域に導くように構成された、少なくとも1のコヒーレント光源を含む照明ユニットと、
少なくとも第1の撮像ユニットを含む光収集ユニットであって、前記第1の撮像ユニットが、レンズユニットおよび検出器アレイを含み、前記検査領域から戻ってくる光を収集して、選択されたサンプリングレートで、前記検査領域に関連する少なくとも1の連続する画像データを生成するように構成された、光収集ユニットと、
少なくとも1のプロセッサを含む制御ユニットであって、前記少なくとも1の連続する画像データを含む入力データを受信して、個人の1または複数のパラメータを示すデータを生成するために前記画像データを処理するように構成された制御ユニットとを備え、前記処理が、前記検査領域の照明スポットから戻る光に形成される1または複数のスペックルパターンを示す画像データを含む画像データのコントラストの変化を測定することを含むことを特徴とするシステム。
【請求項2】
請求項1に記載のシステムにおいて、
前記処理が、前記連続する画像データのうちの画像データ内において、照明スポットの画像に関連する領域を検出することを含み、前記領域が、個人の体の選択された照明スポットから戻る光の干渉によって形成されたスペックルパターンを含み、前記処理が、前記スペックルパターンの少なくとも一部について、前記スペックルパターン内のスペックルのコントラストを示すコントラスト測定値を求め、それにより、監視期間を通じた前記コントラスト測定値の変化に関連するコントラスト変化関数を生成することを含み、前記コントラスト変化関数が、前記個人の1または複数の生物学的パラメータを示すものであることを特徴とするシステム。
【請求項3】
請求項1または2に記載のシステムにおいて、
前記第1の撮像ユニットが、短い露光時間で動作して、前記個人の振動に関連するノイズを除去するように構成されていることを特徴とするシステム。
【請求項4】
請求項3に記載のシステムにおいて、
前記露光時間が、1000μs未満、500μs未満、100μs未満、または50μs未満であることを特徴とするシステム。
【請求項5】
請求項1乃至4の何れか一項に記載のシステムにおいて、
前記第1の撮像ユニットが、2以上の異なる露光時間プロファイルで動作する、2以上の個別に動作可能な撮像サブユニットを備えることを特徴とするシステム。
【請求項6】
請求項1乃至5の何れか一項に記載のシステムにおいて、
前記第1の撮像ユニットが、前記検査領域に向けられた視野を有し、当該システムが、少なくとも1のレンズユニットおよび検出器アレイを備える少なくとも第2の撮像ユニットをさらに備え、前記第2の撮像ユニットが、前記第1の撮像ユニットよりも大きい視野から照明を収集するように構成されていることを特徴とするシステム。
【請求項7】
請求項6に記載のシステムにおいて、
前記制御ユニットが位置追跡モジュールを備え、この位置追跡モジュールが、前記第2の撮像ユニットから画像データを受信して、前記検査領域上の照明スポットの位置を追跡し、それにより前記照明スポットにおけるシフトを識別するように構成され、かつ動作可能であることを特徴とするシステム。
【請求項8】
請求項7に記載のシステムにおいて、
前記位置追跡モジュールが、前記検査領域の1または複数の部分にタグを付けるように構成されていることを特徴とするシステム。
【請求項9】
請求項1乃至8の何れか一項に記載のシステムにおいて、
前記光源ユニットが、選択された波長範囲内の2以上の異なる波長でコヒーレント照明を提供する1または複数の光源を含み、前記制御ユニットが、2以上の異なる波長で収集した画像データを受信および処理して、2以上の異なる波長に関連する2以上の対応するコントラスト変化関数を生成するように構成されていることを特徴とするシステム。
【請求項10】
請求項1乃至9の何れか一項に記載のシステムにおいて、
前記検査領域から焦点のぼけた画像データを収集し、この焦点のぼけた画像データを処理して、前記個人の1または複数の生物学的パラメータを示す追加データを得るように構成された少なくとも1の追加の撮像ユニットをさらに備えることを特徴とするシステム。
【請求項11】
請求項1乃至10の何れか一項に記載のシステムにおいて、
前記個人の1または複数の生物学的パラメータを示す追加データを得るために、リモートフォトプレチスモグラフ監視用に構成された少なくとも1の追加の撮像ユニットをさらに備えることを特徴とするシステム。
【請求項12】
請求項1乃至11の何れか一項に記載のシステムにおいて、
前記照明ユニットが、検査のための領域を広視野で照明するように構成された少なくとも1の視野照明光源をさらに備え、前記照明ユニットが、前記コヒーレント光源および前記視野照明光源の連続したパルスで動作するように適合されていることを特徴とするシステム。
【請求項13】
請求項12に記載のシステムにおいて、
前記第1の撮像ユニットが、前記照明ユニットの繰り返しパルスに同期して画像データを収集し、それにより、前記少なくとも1の連続する画像データのためのコヒーレント照明に関連する画像データフレームと、視野内の物体の検出または顔の検出を可能にするビデオチャネルを生成するための視野照明に関連する画像データフレームとを収集するように適合されていることを特徴とするシステム。
【請求項14】
請求項11または12に記載のシステムにおいて、
前記第1の撮像ユニットの露光時間が500μsを超え、前記コヒーレント照明のパルス長が500μs未満であることを特徴とするシステム。
【請求項15】
請求項1乃至14の何れか一項に記載のシステムにおいて、
前記少なくとも1のコヒーレント光源が、選択された視野内に複数の照明スポットのパターンを提供するように適合されたコヒーレント光源のアレイを備えることを特徴とするシステム。
【請求項16】
請求項15に記載のシステムにおいて、
前記制御ユニットが、前記少なくとも1の連続する画像データ内で1または複数の照明スポットを選択し、前記1または複数のパラメータを求めるために前記1または複数の照明スポットのパターンを処理するように適合されていることを特徴とするシステム。
【請求項17】
請求項1乃至16の何れか一項に記載のシステムにおいて、
前記1または複数のパラメータが、心拍数、心拍変動、呼吸数、血圧および脈波伝播速度のうちの少なくとも1つを含むことを特徴とするシステム。
【請求項18】
請求項1乃至17の何れか一項に記載のシステムにおいて、
前記第1の撮像ユニットが、広視野撮像に適合しており、それにより、収集した画像データから1または複数の照明スポットを検出することができることを特徴とするシステム。
【請求項19】
請求項1乃至18の何れか一項に記載のシステムにおいて、
移動中の車両内の1または複数の個人を監視するために、車両内に取り付けられるように構成されていることを特徴とするシステム。
【請求項20】
請求項19に記載のシステムにおいて、
車両内で検出される1または複数の生物医学的パラメータの存在に基づいて、車両内の1または複数の乗客の存在を判定するように適合されていることを特徴とするシステム。
【請求項21】
請求項1乃至20の何れか一項に記載のシステムにおいて、
個人の1または複数のパラメータを監視するためのウェアラブルデバイスで使用するように構成されていることを特徴とするシステム。
【請求項22】
個人の1または複数のパラメータを監視するために使用する方法であって、
コヒーレント照明で個人の少なくとも1の身体部分を照らして、前記少なくとも1の身体部分から少なくとも1の連続する画像データを収集するステップと、各画像データについて少なくとも1のコントラストパラメータを求めるために前記少なくとも1の連続する画像データを処理し、それにより個人の1または複数のパラメータを示す少なくとも1の時間-コントラスト関数を求めるステップとを含むことを特徴とする方法。
【請求項23】
請求項22に記載の方法において、
前記少なくとも1の連続する画像データを収集することが、1000μsを越えない、または500μsを越えない、または100μsを越えない、または50μsを越えない高露光時間で撮像ユニットを動作させることを含むことを特徴とする方法。
【請求項24】
請求項22または23に記載の方法において、
照明スポットの位置を追跡するために、個人の少なくとも1の身体部分上の照明スポットに関連する領域を監視して、個人の身体の動きをモニタリングするステップをさらに含むことを特徴とする方法。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、個人の生体力学的および生物医学的パラメータを遠隔監視するためのシステムおよび方法に関する。本手法は、特に、移動中の車両などのノイズの多い環境での健康関連パラメータの監視に関するものである。
【背景技術】
【0002】
過去数年間、生物学的および生体力学的パラメータを遠隔検知および監視するための様々な手法が開発されている。そのような手法は、対象者のパラメータ(例えば、医学的および/または生物学的パラメータ)を、対象者への影響を最小限に抑えながら連続的に測定することができる。
【0003】
近年、リモートフォトプレチスモグラフ(PPG)手法(rPPG)が注目を集めており、患者の健康や気分などに関する情報を抽出するために後で使用することができる遠隔血液脈動監視を提供する。PPGおよびrPPG手法の殆どは、測定対象となる選択された特定の解剖学的部位における対象者の血液中の酸素化および血液量の変化に関連する色の変化の測定を含む。
【0004】
さらに、離れた場所から対象者の生物医学的パラメータを遠隔監視することができる更なる遠隔検知手法も知られている。そのような手法の中には、対象者の体から反射/散乱したコヒーレント照明に形成されるスペックルの分析を利用するものがある。動的スペックルとは、媒体から反射した光や媒体を透過した光のスペックルパターンの時間依存性を分析することで、媒体中の散乱粒子の動きを評価することができる物理的メカニズムである。動的スペックルは、スペックル相関の時間発展を直接測定するだけでなく、スペックルパターンのコントラストなどの統計的特性の時間発展を測定することによって使用および分析することができる。
【0005】
一般に、スペックルは、コヒーレント場が粗い物体から散乱されるときに起こる自己干渉現象の一形態である。レーザビームなどのコヒーレント電磁放射が、生体組織などの光学的に粗い媒体から後方散乱されると、後方散乱光にスペックルパターンが現れることがある。組織が変化すると、ここでは血液の脈動により変化すると、スペックルパターンもそれに応じて変化する。このようなパターンの時間発展は、動的スペックルとしても知られている。スペックルパターンの動態を追跡することで、散乱媒体の挙動に関する有用な情報を得ることができる。
【発明の概要】
【0006】
上述したように、生物学的パラメータを光学的に遠隔監視することで、医療施設の内外の対象者/患者の生物学的パラメータを堅牢かつ効率的に監視する手法を提供することができる。上述した動的スペックル監視手法は、様々な条件下で使用することができるが、これらの手法は、振動によって対象者と監視システムの両方が動いて収集データに高ノイズが発生するような、移動中の車両内やウェアラブルデバイスの一部である場合など、高ノイズ環境では一般的に機能しない。
【0007】
本発明は、高ノイズ(一般に振動)環境で動作するように構成された動的スペックル監視を利用する。この目的のために、本手法は、レーザスペックルコントラスト分析(LASCA)手法を利用して、対象者の体内の血流を監視し、それにより、様々な環境下で対象者の心拍数、心拍変動(HRV)、血圧(BP)および脈波伝播速度(PWV)などの生物学的パラメータを測定することができる。いくつかの実施形態では、本手法が、個人の体の1または複数の様々な領域の監視を利用し、2以上の異なる検査位置間の距離測定値を求めることによって、脈拍遷移時間および脈波伝播速度の検出を可能にする。一般に、本手法は、本明細書に記載の1または複数の検査領域におけるコントラスト分析(LASCA)と、1または複数の追加の検査領域におけるスペックル相関分析とを用いた複合モニタリングを利用することもできる。
【0008】
より具体的には、本手法は、第1の撮像ユニットを用いて、選択された波長範囲のコヒーレント照明を対象者の身体の1または複数の検査スポットに照射し、1または複数の選択された検査スポットの画像に関連付けられた1または複数の連続する画像データを収集し、画像データにおけるスペックルパターンのコントラストの変化を測定するために収集した画像データを処理することに基づいている。第1の撮像ユニットは、好ましくは、拍動間隔(IBI)を測定するのに十分なサンプリングレートで動作して、対象者の心拍変動を測定するのに十分な測定分解能を提供しながら、心拍数の監視を可能にする。例えば、第1の撮像ユニットは、毎秒100~300フレームのサンプリングレートで動作することができる。
【0009】
このため、本発明は、個人のパラメータを遠隔監視するシステムを提供し、このシステムは概して、コヒーレント照明を対象者の身体の選択された検査領域に照射して、対象者に1または複数の照明スポットを形成するように構成された照明ユニットを備える。このシステムは、照明スポットの画像に関連する1または複数の連続する画像データを収集し、一連の画像データを処理に提供するように構成された少なくとも第1の撮像ユニットを含む収集ユニットをさらに備える。制御ユニットは通常、少なくとも1のプロセッサおよびストレージユーティリティを含み、第1の撮像ユニットによって収集された1または複数の連続する画像データの形態で入力データを受け取り、その入力データを処理して対象者の1または複数の選択されたパラメータを求めるように構成されている。本手法は、典型的には、目の安全のために、かつ対象者の気を散らさないために、近赤外線(NIR)などの非可視波長の照明を利用することができる。
【0010】
通常、スペックルパターンは、特定の有限の露光時間で画像データを収集することによって記録される。露光時間中、画像データに収集された検査領域の(検査領域からの光の散乱による)変化により、収集されたスペックルパターンにブレが生じる。さらに、ブレのレベルは、検査領域の変化の速度に関連している。このため、各画像データのコントラスト測定値を求めて、一連の画像データからコントラスト測定値を収集することによって、検査領域の変化の速度を示す時間-コントラスト変化関数を求めることができる。検査領域が人間の皮膚の一部を含む場合、そのような変化は毛細血管の血液灌流を示し、対象者の心臓活動(例えば、心拍数)に関するデータを提供する。
【0011】
本手法に係るスペックルコントラスト分析を使用することで、移動中の車内で、かつ/または対象者の移動中にウェアラブルデバイスを使用して、対象者のパラメータを監視することができる。そのような用途において、本手法は、生理学的パラメータを監視するための従来の手法(例えば、PPG)に比べて様々な利点を提供する。例えば、PPG手法は、血液量の多い体の部分を監視する場合に優れた性能を発揮するが、血液量が減少すると、(例えば、寒冷地では)性能が低下する。異なる点として、本発明は、血流および動きの監視に基づくものであり、よって、任意の身体部分の効率的な監視を提供することができ、温度に影響を受けない。さらに、本手法では、選択された比較的短い露光ウィンドウを利用することで、振動や機械的ノイズに対するロバスト性を実現している。
【0012】
本手法では、一般に移動中の車両のような振動に関連する環境ノイズに対処するために、第1の撮像ユニットによる画像収集に短い露光時間を利用している。実際に、短い露光時間で画像をキャプチャすることで、システムと検査領域との間の比較的ゆっくりとした動きを除外することができる。さらに、本発明者等は、毛細血管の血流が、例えば移動中の車両に付随するような機械的振動による対象者(およびシステム)の機械的な動きと比較して、高速の変化をもたらすことを見出している。このため、短い露光時間を使用することで、環境中の機械的振動に付随するノイズと対象者の動きに付随するノイズの両方を低減しつつ、コントラストスペックル分析によって毛細血管の血流に関するデータを求めることができる。さらに、本システムはウェアラブルデバイスで使用することもでき、対象者が行っている他の活動に干渉することなく、(デバイスを装着した)対象者の生物学的パラメータを収集することができる。
【0013】
いくつかの構成では、第1の撮像ユニットを、異なる撮像パラメータで個別に動作可能な2以上の撮像サブユニットから構成することができる。異なる撮像サブユニットは、異なる露光時間および/またはフレームレートで動作し、それにより異なる特性を持つスペックルパターンの収集を可能にし、よって、振動ノイズの増加に対処することができるとともに、所望の信号を検出することができる。
【0014】
さらに、本手法は、スペックルパターンの選択された領域の処理を別々に利用することができる。より具体的には、プロセッサユニットは、受信した画像データ内で、照明スポットに関連するスペックル領域であって、スペックルパターンを有するスペックル領域を決定するように動作することができる。プロセッサユニットは、スペックル領域を2以上のサブ領域に分割し、異なるサブ領域に対して別々のコントラスト測定値を求めることができる。これにより、異なるサブ領域に対応する2以上の時間-コントラスト変化関数が得られる。異なる時間-コントラスト変化関数を分析し、その加重平均を求めることにより、信号対雑音比を改善しつつ、1または複数の選択されたパラメータを求めることができる。さらに、環境中の機械的な振動により、照明スポットの位置が検査領域に対して変化する場合がある。本手法は、照明スポットと検査領域の相対的な位置の追跡を利用し、それにより照明スポットが移動しても、照明されている類似のサブ領域を識別し、検査領域上の選択されたスポットのサブ領域の時間-コントラスト変化関数を維持することができる。追跡は、一般に、対象者の周囲のビデオデータに関連する画像データに基づくものであってもよい。
【0015】
この目的のために、本発明のシステムは、追加の第2の撮像ユニットを利用することができる。第2の撮像ユニットは、好ましくは、比較的広い視野を有するように構成され、検査領域および照明スポットが視野の一部を占める、対象者の画像データの収集を可能にする。第2の撮像ユニットは、第1の撮像ユニットのサンプリングレートよりも遅いサンプリングレートで動作するように構成することができる。第2の撮像ユニットによって収集された画像データは、例えば位置追跡モジュールを用いて処理するために、かつ照明スポットと検査領域との間の相対的な位置を特定するために、制御ユニットに送信される。相対的な位置の追跡は、検査領域に対する照明スポットのドリフトを判定するために使用することができる。そのようなドリフトは、サブ領域のシフトに関連している可能性があり、これは、検査領域に基づいて選択されたサブ領域を追跡して照明スポットのシフトを補償することにより、修正することができる。場合によっては、そのようなドリフトは、システムの物理的な位置合わせによって修正できる場合もある。
【0016】
他の構成では、照明ユニットが、コヒーレント照明光源に加えて、広視野照明光源(例えば、LED光源)を含み、視野照明のパルスによって隔てられたコヒーレント照明パルスの間隔を提供するように構成されるものであってもよい。このため、第1の撮像ユニットは、インターリーブされた一連の画像データを収集し、収集したフレームを照明条件に基づいて分割し、コヒーレント照明で照射されたフレームはスペックルパターン分析に、視野照明で照射されたフレームはビデオチャネルに送られる。ビデオチャネルは、例えば位置追跡モジュールを使用して処理するとともに、照明スポットと検査領域の間の相対的な位置を特定するために、制御ユニットに送信される。
【0017】
さらに、本手法は、例えば、rPPG監視、空間動的スペックル監視などを含む1または複数の追加の監視ユニットを利用することもできる。さらに、収集ユニットは、対象者のパラメータを監視するための追加の手法を利用しながら、検査領域の画像データを収集するのに適した1または複数の追加の撮像ユニットを含むことができる。例えば、収集ユニットは、検査領域に対する焦点の合っていない状態で画像データを収集するように構成されたデフォーカス撮像ユニットを含むことができる。すなわち、デフォーカス撮像ユニットは、少なくとも1の第2の連続する画像データを、追加処理のために制御ユニットに提供するように構成されている。第2の連続する画像データの処理は、画像データ間の空間相関を求め、それに応じて、スペックル相関分析を提供する検査領域の振動を示す対応する時間相関関数を決定することを含む。そのような時間相関関数は、対象物の機械的な振動(例えば、移動する車両内の振動)に関連するノイズの影響を受ける可能性があるが、測定される1または複数のパラメータに関する参照データを提供するために使用することができる。
【0018】
すなわち、広範な態様によれば、本発明は、個人の1または複数の生物学的パラメータを監視するシステムを提供するものであり、このシステムが、
少なくとも1のコヒーレント光学照明ビームを提供するとともに、ビームを個人の体の選択された検査領域に導くように構成された、少なくとも1のコヒーレント光源を含む照明ユニット(例えば、光源ユニット)と、
少なくとも第1の撮像ユニットを含む光収集ユニットであって、第1の撮像ユニットが、レンズユニットおよび検出器アレイを含み、検査領域から戻ってくる光を収集して、選択されたサンプリングレートで、検査領域に関連する少なくとも1の連続する画像データを生成するように構成された、光収集ユニットと、
少なくとも1のプロセッサを含む制御ユニットであって、少なくとも1の連続する画像データを含む入力データを受信して、個人の1または複数のパラメータを示すデータを生成するために画像データを処理するように構成された制御ユニットとを備え、上記処理が、検査領域の照明スポットから戻る光に形成される1または複数のスペックルパターンを示す画像データを含む画像データのコントラストの変化を求めることを含む。いくつかの構成では、求められるパラメータが、心拍数、心拍変動、呼吸数、血圧(BP)および脈波伝播速度(PWV)のうちの少なくとも1つを含むことができる。
【0019】
いくつかの実施形態によれば、上記処理が、連続する画像データのなかの画像データ内において、照明スポットの画像に関連する領域を検出することを含み、上記領域が、個人の体上の選択された照明スポットから戻る光の干渉によって形成されたスペックルパターンを含み、スペックルパターンの少なくとも一部について、スペックルパターン内のスペックルのコントラストを示すコントラスト測定値を求め、それにより、監視期間を通じたコントラスト測定値の変化に関連するコントラスト変化関数を生成し、コントラスト変化関数が、個人の1または複数の生物学的パラメータを示すものとなっている。
【0020】
第1の撮像ユニットは、短い露光時間で動作して、個人の振動に関連するノイズを除去するように構成することができる。露光時間は、1000μsを超えることはなく、または500μsを超えることはなく、または100μsを超えることはなく、または50μsを超えることはない。
【0021】
いくつかの実施形態によれば、第1の撮像ユニットが、2以上の異なる露光時間プロファイルで動作する2以上の個別に動作可能な撮像サブユニットを備える。
【0022】
いくつかの実施形態によれば、第1の撮像ユニットが、検査領域に向けられた視野を有し、本システムが、少なくとも1のレンズユニットおよび検出器アレイを備える少なくとも第2の撮像ユニットをさらに備え、第2の撮像ユニットが、第1の撮像ユニットよりも大きい視野から照明を収集するように構成されている。
【0023】
制御ユニットは、位置追跡モジュールを備えることができ、この位置追跡モジュールが、第2の撮像ユニットから画像データを受信して、検査領域上の照明スポットの位置を追跡し、それにより照明スポットにおけるシフトを識別するように構成され、かつ動作可能である。位置追跡モジュールは、検査領域の1または複数の部分にタグを付けるように構成されている。
【0024】
いくつかの実施形態によれば、光源ユニットが、選択された波長範囲内の2以上の異なる波長でコヒーレント照明を提供する1または複数の光源を含むことができ、制御ユニットが、2以上の異なる波長で収集された画像データを受信および処理して、2以上の異なる波長に関連する2以上の対応するコントラスト変化関数を生成するように構成されている。制御ユニットは、さらに、2以上のコントラスト変化関数に応じて、1または複数のパラメータのデータを求めることができる。
【0025】
いくつかの実施形態によれば、本システムが、検査領域から焦点のぼけた画像データを収集し、この焦点のぼけた画像データを処理して、個人の1または複数の生物学的パラメータを示す追加データを得るように構成された少なくとも1の追加の撮像ユニットをさらに備えることができる。
【0026】
いくつかの実施形態によれば、本システムが、個人の1または複数の生物学的パラメータを示す追加データを得るために、リモートフォトプレチスモグラフ監視用に構成された少なくとも1の追加の撮像ユニットをさらに備えることができる。
【0027】
いくつかの実施形態によれば、照明ユニットが、検査のための領域を広視野で照明するように構成された少なくとも1の視野照明光源をさらに備え、照明ユニットが、コヒーレント光源および視野照明光源の連続したパルスで動作するように適合されている。
【0028】
第1の撮像ユニットは、照明ユニットの繰り返しパルスに同期して画像データを収集し、それにより、少なくとも1の連続する画像データのためのコヒーレント照明に関連する画像データフレームと、視野内の物体の検出または顔の検出を可能にするビデオチャネルを生成するための視野照明に関連する画像データフレームとを収集するように適合されている。第1の撮像ユニットの露光時間は、500μsを超えてもよく、コヒーレント照明のパルス長は、500μsを超えない。
【0029】
いくつかの実施形態によれば、少なくとも1のコヒーレント光源が、選択された視野内に複数の照明スポットのパターンを提供するように適合されたコヒーレント光源のアレイを含むことができる。制御ユニットは、少なくとも1の連続する画像データ内で1または複数の照明スポットを選択し、1または複数のパラメータを求めるために1または複数の照明スポットのパターンを処理するように適合されるものであってもよい。
【0030】
いくつかの実施形態によれば、第1の撮像ユニットが広視野撮像に適合し、それにより、収集された画像データから1または複数の照明スポットを検出することができる。
【0031】
本発明のシステムは、移動中の車両内の1または複数の個人を監視するために、車両内に取り付けられるように構成されるものであってもよい。代替的または追加的には、本システムは、個人の1または複数のパラメータを監視するためにウェアラブルデバイスで使用するように構成されるものであってもよい。例えば、車両に搭載された場合、本システムは、車両内で検出される1または複数の生物医学的パラメータの存在に基づいて、車両内の1または複数の乗客の存在を判定するように適合されるものであってもよい。
【0032】
別の広範な態様によれば、本発明は、個人の1または複数のパラメータを監視するために使用する方法を提供し、この方法が、コヒーレント照明で個人の少なくとも1の身体部分を照らして、少なくとも1の身体部分から少なくとも1の連続する画像データを収集するステップと、各画像データについて少なくとも1のコントラストパラメータを求めるために少なくとも1の連続する画像データを処理し、それにより個人の1または複数のパラメータを示す少なくとも1の時間-コントラスト関数を求めるステップとを含む。
【0033】
少なくとも1の連続する画像データを収集することは、1000μsを越えない、または500μsを越えない、または100μsを越えない、または50μsを越えない高露光時間で撮像ユニットを動作させることを含むことができる。
【0034】
本方法は、照明スポットの位置を追跡するために、個人の少なくとも1の身体部分上の照明スポットに関連する領域を監視して、個人の身体の動きをモニタリングするステップをさらに含むことができる。
【図面の簡単な説明】
【0035】
本明細書に開示の主題をよりよく理解し、それが実際にどのように実施され得るのかを例示するために、以下に、非限定的な例として、添付の図面を参照して、実施形態を説明する。
図1図1は、本発明のいくつかの実施形態に係る、生物学的パラメータを監視するシステムを概略的に示している。
図2図2は、本発明のいくつかの実施形態に係るシステムで使用するのに適した制御ユニットを概略的に示している。
図3図3は、本発明のいくつかの実施形態に係る、個人の生物医学的パラメータを監視する方法を例示している。
図4図4は、本発明の手法のための実験的検証の構成を例示している。
図5図5は、ECG、本発明の手法、rPPGrおよびrPPGt手法によって測定された心拍数データの実験結果を示している。
図6図6A図6Cは、本発明の手法(図6A)、rPPGr(図6B)、rPPGt(図6C)で測定した心拍数とECGで測定した心拍数との比較を示している。
図7図7A図7Cは、ECGに対する、本発明の手法(図7A)、rPPGr(図7B)、rPPGt(図7C)で測定した相関拍動間隔(IBI)を示している。
図8図8A図8Cは、本発明の手法(図8A)、rPPGr(図8B)、rPPGt(図8C)による測定値のBland-Altmanプロットを示している。
図9図9は、本発明の手法、rPPGr、rPPGt手法により、動いている指で測定した心拍数データの実験結果を示している。
【発明を実施するための形態】
【0036】
上述したように、本発明は、機械的ノイズの多い環境での動作に適した、対象者の生物学的パラメータを監視する手法およびシステムを提供する。本発明のいくつかの実施形態に係るシステム100を概略的に示す図1を参照する。システム100は、少なくとも1の照明ユニット120と、光収集ユニット110と、制御ユニット500とを含む。照明ユニット120は、少なくとも1のコヒーレントな光学照明を提供するように構成された少なくとも1のコヒーレント光源122を含み、照明ビームIBを対象者の身体上の選択された検査領域Rに向けて照射し、それにより検査領域R上に照明スポットSを形成する。検査領域Rは、好ましくは露出した皮膚の領域である。また、照明ユニットは、検査領域Rおよびその周囲に向けられた視野照明FIを選択的に提供するように構成された視野照明光源124を含むことができる。光収集ユニット110は、検査領域および場合によってはその近傍に向けられた1または複数の撮像ユニットを含み、収集した光に基づいて1または複数の連続する画像データを生成する。照明ユニット120は、通常、選択された波長範囲の光学照明を提供するように構成されたコヒーレント光源122、例えばレーザ光源を利用することができる。いくつかの構成では、レーザ光源122は、毛細血管の血流を示す画像データを提供するために、人間の皮膚を少なくとも数マイクロメートル貫通するように選択された波長範囲で、CW照明、またはパルスプロファイルを有する照明を提供するように構成されるものであってもよい。いくつかの構成では、レーザ光源122が、非可視波長領域で光学照明を提供するように構成され、それにより目の損傷の危険性を低減することができる。より具体的には、皮膚を確実に貫通し、かつ目に見えない照明である、近赤外線照明、例えば800~1550nmの波長範囲の照明を使用することが好ましい。レーザ光源は、予め設定された偏光方向を有する線形偏光照明を提供するように構成されるものであってもよい。一般に、いくつかの構成では、照明ユニット120が、選択された波長範囲内の2以上の波長を用いた照明を利用することができる。これにより、本手法では、2以上の異なる波長におけるコントラストの変化、および/または、異なる波長についての組み合わされたコントラストの変化を監視することができる。
【0037】
上述したように、照明ユニット120は、視野照明光源124も含むことができる。視野照明光源124は、視野照明FIによって広い領域を、通常は近赤外線照明または可視照明で照明するように構成された、例えば、LED光源であってもよい。照明ユニット120は、インターリーブされた一連のパルスでレーザ光源122および視野照明光源124を動作させ、それにより、コヒーレント照明によって形成されたスペックルパターンに関連する画像フレームと、領域の一般的な画像を提供する、例えばビデオチャネルを形成する視野照明に関連する画像フレームとを多重化した画像データの収集を可能にする。
【0038】
レーザ光源122は、コヒーレント照明ビームのアレイを提供して、複数の検査領域R上に照明スポットを生成するように構成されるものであってもよい。例えば、レーザ光源122は、複数の照明スポットを形成するためにコヒーレント照明を分割するように構成されたレーザアレイおよび/または回折素子によって形成されるものであってもよい。通常、複数の照明スポットを使用することにより、2以上の照明スポットについて、以下にさらに説明するような時間-コントラスト関数を求めることができ、それにより、2以上の照明スポットにおける相対的なコントラストの変化を相関させることで、血圧(BP)および脈波伝播速度(PWV)などの追加のパラメータを求めることができる。
【0039】
収集ユニットは、少なくとも検出器アレイおよび撮像レンズ配列で形成された少なくとも第1の撮像ユニット130を含む。第1の撮像ユニット130は、検査領域Rの画像を収集し、第1のサンプリングレートで一連の画像データを生成し、生成した画像データを制御ユニットに送信するように構成されている。第1の撮像ユニット130は、好ましくは、選択されたサンプリングレートで一連の画像を収集するように構成されており、各画像は、選択された露光時間内に収集され、その結果、サンプリングレートが対象者の血液灌流および心拍数を監視するのに十分であり、露光時間が環境からの機械的振動をフィルタリングするのに十分短くなっている。例えば、第1の撮像ユニット130は、毎秒30~300フレームのサンプリングレートで動作することができる。さらに、第1の撮像ユニット130は、500μs以下、好ましくは100μs以下、より好ましくは50μs以下の露光時間で画像をキャプチャするように動作することができる。いくつかの構成では、第1の撮像ユニット130が、500μsよりも長い露光速度で動作するように構成される一方で、レーザ光源122が、500μs以下の照明周期を有するパルス照明を提供するように構成され、よって、検査領域Rの照明を制限することで有効な露光時間を制限することができる。また、第1の撮像ユニット130は、検査領域組織の内部層、すなわち数マイクロメートルから数ミリメートルの深さからの反射に関連する光を収集できるように、光源により提供される照明の偏光と直交するように取り付けられた偏光子を含むことができる。上述したように、第1の撮像ユニット130は、異なる撮像パラメータで動作可能な2以上の撮像サブユニットによって形成されるものであってもよい。例えば、異なるサブユニットは、追加のフィルタリングおよび柔軟性を提供するとともに、高いノイズ干渉下で所望の生物学的信号の検出を可能にするために、異なる露光時間および/またはフレームレートで動作可能であってもよい。
【0040】
第1の撮像ユニット130は、検査領域Rに向けられた視野を有するように構成されるものであってもよい。より具体的には、第1の撮像ユニット130は、検査領域R上の照明スポットSが視野の50%以上を占めるような狭い視野を有するように構成されることが好ましい。これにより、検査領域Rから戻ってきた光を、集めた光のスペックルに高分解能で収集することができる。代替的には、第1の撮像ユニット130は、例えば車両のシートに配置されたときに対象者の体の画像データを収集できる、光収集ユニット110の前方の領域をカバーする視野を有するように構成されるものであってもよい。このように、第1の撮像ユニット130は、対象者およびその周囲(例えば、対象者の胴体、頭部などを含む)の完全な画像を提供するのに十分な視野で画像データを収集することができる。したがって、収集された視野は、画像フレーム内に複数の照明スポットを含むことができる(例えば、レーザ光源122が複数の照明スポットを提供するように構成されている場合など)。さらに、いくつかの実施形態では、第1の撮像ユニット130が、例えば魚眼レンズ、複数のレンズおよび/または光学ファンネルを使用して、広い視野を有する大領域カバレッジ用に構成されるものであってもよい。そのような構成と、複数のコヒーレント照明スポットを提供するように構成された照明ユニット120(光源122に回折素子を有するレーザのレーザアレイを使用)との組合せは、選択されたボリューム/領域内の1または複数の対象者を監視するために使用することができる。本手法は、以下でより詳細に説明するように、ビデオ画像データにおける顔追跡に基づいて、処理のために1または複数の照明スポットを選択することができる。
【0041】
上述したように、照明ユニット120は、選択された波長範囲内の2以上の異なる波長を使用する照明を利用することができる。そのような構成において、第1の撮像ユニット130は、多色撮像用に構成されるか、または2以上の撮像サブユニットとして構成され、それにより2以上の波長の別々の撮像を可能にすることができる。通常、第1の撮像ユニット130は、レーザ光源122のコヒーレント照明に関連する光の透過を可能にするように選択された、すなわち、選択された波長の周りに10~20nmの帯域幅を有する、波長選択フィルタを利用することができる。例えば、850nmのコヒーレント照明を使用する場合、第1の撮像ユニット130は、850nm±5nmで透過する色フィルタを含むことができる。
【0042】
また、光収集ユニット110は、第2の撮像ユニット140や、第3または第4の撮像ユニット(符号150で示される)など、1または複数の追加の撮像ユニットも含むことができる。第2の撮像ユニット140は、比較的広い視野を有するように構成され、検査領域Rの周辺の比較的広い領域、例えば、対象者の胴体、頭部などを含む領域を撮像するように向けられている。また、第2の撮像ユニット140は、典型的には第1の撮像ユニットのフレームレートよりも低いフレームレートで収集された少なくとも1の連続する画像データを、さらに詳細に述べるように、検査領域Rに対する照明スポットSの位置を追跡して処理するために、制御ユニット500に送信する。
【0043】
さらに、符号150が付された第3および/または第4の撮像ユニットを使用して、対象者のパラメータを監視する1または複数の追加モードを提供することができる。第3の撮像ユニットは、検査領域の焦点のぼけた画像を収集するように構成されており、それにより、スペックルパターン間の相関を求めることによって、検査領域の振動の監視を可能にする。第4の撮像ユニットは、異なる波長範囲で動作可能であり、rPPG監視に使用するように構成されるものであってもよい。このため、照明ユニット120は、rPPG監視で使用するように構成された追加の光源(例えば、LED光源)を含むことができる。
【0044】
制御ユニット500は、照明ユニット120および収集ユニット110に動作コマンドを提供することによりシステム100を動作させ、かつ対象者の1または複数のパラメータを処理および特定するための1または複数の連続する画像データを含む入力データを受信するように構成されている。通常、制御ユニットは、1または複数のプロセッサ、メモリユーティリティおよび入力/出力モジュールを含むコンピュータユニットまたはシステムとして構成することができる。図2は、本発明のいくつかの実施形態に係る制御ユニット500およびそのソフトウェアまたはハードウェアモジュールの一部を概略的に示している。
【0045】
通常、制御ユニット500は、異なるタイプの入力データを処理するための別個のモジュールを含むことができる。例えば、制御ユニットは、入力データを処理するための処理ユーティリティ600を含むことができ、処理ユーティリティ600は、コントラストスペックルモジュール610およびパラメータ決定モジュール660を含み、さらに、フレームセレクタ605、領域スポット追跡モジュール620、デフォーカススペックル監視モジュール630およびrPPGモジュール640のうちの1または複数を含むことができる。制御ユニットは、通常、データおよび動作コマンドを照明および収集ユニットに伝達して、ネットワーク接続および/またはユーザインターフェースを提供するように構成されたI/Oモジュール520と、生物学的パラメータを求めるための中間処理データおよび選択されたデータベースを格納するように構成されるとともに、必要なときに更なる処理のために求めたデータを格納するように構成されたストレージユーティリティ530とを含む。
【0046】
通常、フレームセレクタ605は、照明ユニット120がレーザ光源122および視野照明光源124を用いた逐次的な照明によって動作する場合に、使用することができる。より具体的には、システムのそのような構成では、収集された画像データは、コヒーレント照明下で収集されて、その中のスペックルパターンを特定および分析するのに適したフレームと、視野照明下で収集されて、対象者とその周囲のビデオチャネルを生成するのに適したフレームとの間の多重化を提供する。フレームセレクタ605は、スペックルに関連するフレームをコントラストスペックルモジュール610に導き、以下に詳細に述べるように、ビデオチャネルフレームを追跡のために処理されるように導く。
【0047】
コントラストスペックルモジュール610は、少なくとも1の連続する画像データを含む入力データを受け取り、対象者の1または複数の生物学的パラメータを示すデータを求めるために入力データを処理するように構成されかつ動作可能である。これに関連して、画像データは、通常、コヒーレント照明によって照射され、検査領域R上、好ましくは対象者の皮膚上に直接位置する照明スポットSの画像を含む。処理は、画像データの各々におけるスペックルパターンのコントラストCを求めることを含み、コントラストCは、以下のように、ピクセル強度の標準偏差σとピクセル強度の平均Iとの間の比として定義される。
【0048】
このため、コントラストスペックルモジュール610は、通常、スポット追跡モジュール6010、コントラストモジュール6040および時間的コントラストモジュール6050を含み、さらに、サブ領域セグメンタ6020および位置合わせモジュール6030を含むことができる。スポット追跡モジュール6010は、照明スポットの画像に関連する少なくとも1のスポット領域を識別するために、受信した画像データの初期処理を適用するように構成されている。通常、照明スポットは、光の自己干渉に関連する特定のスペックルパターンをその中に有する比較的単色の領域である。
【0049】
いくつかの構成では、コントラストスペックルモジュール610が、全体として照明スポット領域のコントラストを測定するために動作することができ、他のいくつかの構成では、コントラストスペックルモジュール610が、スポット領域を予め設定された数のサブ領域にセグメント化するように構成されたサブ領域セグメンタ6020と、画像データ間でサブ領域の相対的な位置を位置合わせするように構成された位置合わせモジュール6030とを含むことができる。通常、これにより、各サブ領域のスペックルパターンのコントラストを個別に測定することができ、選択されたパラメータを求める際の信号対雑音比および精度が向上する。画像データが通常照明スポットの画像に対応するため、スポット領域の異なるサブ領域が検査領域Rの異なる部分に対応し、生物学的パラメータのより良い処理と検査領域R内の血流の識別が可能になることに留意されたい。位置合わせモジュール6030は、例えば視野照明を用いて収集された画像データから受信された、典型的にはビデオチャネルデータに関連する追跡データ、または第2の撮像ユニット140によって収集されて、領域スポット追跡モジュール620によって処理された画像データを受信するように構成されている。通常、対象者、システム100または周囲の動きにより、照明スポットSの相対的な位置は、検査領域Rに対して変化する可能性がある。ビデオチャネルデータ(例えば、第2の撮像ユニット140からの)または第1の撮像ユニット130からの選択されたフレームは、システム100に対する対象者の相対的な位置、および検査領域Rに対する照明スポットSの相対的な位置を追跡するために使用される。領域スポット追跡モジュール620は、ビデオチャネルに関連する画像データを(例えば、第2の撮像ユニット140から)受信し、それらの相対的な位置を追跡するために画像データを処理するように構成されている。照明スポットSと検査領域Rとの間のシフトが検出された場合、位置合わせモジュールは、検出されたシフトに応じてスポット領域のサブ領域を割り当てるように構成されるものであってもよい。より具体的には、異なるサブ領域のコントラストを測定するために動作する場合、本手法は、サブ領域の時間-コントラスト関数を求めるために動作し、異なる時間-コントラスト関数に基づいて、選択されたパラメータを求めるために動作することができる。連続する画像/フレーム間で照明スポットSが検査領域Rに対してシフトしている場合、特定のサブ領域は依然として照明されており、それによりサブ領域の再割り当てが可能になり、少なくとも1のサブ領域のコントラストの変化を追跡する際の一貫性を維持することができる。
【0050】
各サブ領域について、または全体としてのスポット領域について、コントラストモジュール6040は、上述したように、コントラストを求めるために動作可能である。血流の場合、血液中の散乱粒子は常に動いているため、画像中のスペックルパターンのコントラストは低下する。一般に、血液の速度は、心周期の位相にまさに関連しており、画像データのコントラストの変化から心周期のデータを抽出することができる。上述したように、コントラストモジュール6040は、画像データの少なくとも1の領域またはサブ領域に関するデータを受信し、平均ピクセル強度およびピクセル強度の標準偏差を求め、それに応じて、上記領域またはサブ領域におけるパターンのコントラストを求め、対応するデータを時間的コントラストモジュール6050に送信するように動作可能である。
【0051】
時間的コントラストモジュール6050は、時間に沿ってコントラストモジュール6040によって求められたコントラストの変化に関するデータを集約するように構成されている。画像の各領域またはサブ領域について、コントラストモジュールがその時点での各画像データのコントラストデータを求める場合、時間的コントラストモジュール6050は、各フレームについて求められたコントラストデータを収集し、監視時間に沿って上記領域またはサブ領域のコントラストの変化を示す時間-コントラスト関数を導き出した。上述したように、そのようなコントラストの変化は、血液の灌流と、それに応じた対象者の心臓活動を少なくとも部分的に示している。このようにして、時間的コントラストモジュール6050は、1または複数の時間-コントラスト関数、通常はスポット領域の各サブ領域につき1つを決定し、時間-コントラスト関数に関するデータをパラメータ決定モジュール660に送信する。また、パラメータ決定モジュール660は、精度を高め、様々な機械学習手法に使用することができる追加の監視データを生成するために、デフォーカススペックルモジュール630およびrPPGモジュール640からデータを受信することもできる。通常、パラメータ決定モジュール660は、個人の1または複数の生物学的および/または生物医学的パラメータを求めるために、1または複数の時間-コントラスト関数と、場合によっては、焦点のぼけたスペックルの監視に基づくデータおよび/またはrPPGデータなどの追加データとを利用する。さらに、パラメータ決定モジュール660は、システム100の専用視野内の人の存在を判定するために使用することができる。
【0052】
例えば、いくつかの構成では、本手法は、例えば複数の照明スポットを生成した照明ユニットを使用して、個人の2以上の異なる検査領域の監視を利用することができる。制御ユニット500は、ビデオチャネルに関連付けられた画像データに基づいて処理するために照明スポットを選択し、個人の位置を示す入力画像データを提供するように適合されるものであってもよい。このため、時間的コントラストモジュール6050は、個人の2以上の異なる領域に関連する2以上の時間-コントラスト関数を生成する。パラメータ決定モジュール660は、脈波伝播速度などの生物医学的パラメータを求めるために、2以上の検査領域の相対的な位置を示す画像データと組み合わせて、そのような2以上の時間-コントラスト関数を利用することができる。より具体的には、本明細書に示されるように、時間-コントラスト関数は、個人における血液の循環に関する指標を提供する。パラメータ決定モジュール660は、2以上の開始領域で測定された循環の時間差を比較してパルス送信時間を求め、2以上の検査領域間の相対的な距離に応じて脈波伝播速度を求めるためにビデオチャネルからの画像データを利用することができる。なお、この手法は、1つの検査領域がコントラスト分析を用いて監視される一方で、他の1つの検査領域がスペックル相関分析を用いて(例えば、デフォーカススペックル監視モジュール630を用いて)監視される場合にも用いることができる。
【0053】
いくつかの追加の例では、パラメータ決定モジュール660が、脈波構造に関連する予め設定された関係に従って、個人の血圧を求めるように動作することができる。より具体的には、選択された検査領域(例えば、首、顔など)から測定された時間-コントラスト関数が、個人の血液脈動プロファイルを示す。パラメータ決定モジュール660は、時間-コントラスト関数の1次および2次の時間導関数に関連するデータ、循環パルスを示す信号の品質パラメータおよび脈波伝播速度パラメータを利用し、これらのパラメータ間の線形関係を用いて個人の血圧を決定することができる。このため、通常、パラメータ決定モジュール660は、時間-コントラスト関数の1次および2次の時間導関数、循環パルスを示す信号の品質パラメータおよび脈波伝播速度パラメータのうちの少なくとも1つを含む組合せ(例えば、線形または非線形の組合せ)に関連する関数と、個人の血圧を求めるための予め設定された重み係数とを利用する。
【0054】
なお、上述したようないくつかの構成によれば、照明ユニット120およびそのレーザ光源122は、複数の照明スポットを提供するように構成できることに留意されたい。これは、レーザアレイ光源を用いて実現することができ、あるいはレーザ光源の下流に回折光学素子を導入して実現することもできる。そのような構成において、コントラストスペックルモジュール610およびそのスポット追跡モジュール6010は、複数の照明スポットを含む画像データに基づいて、処理のための1または複数の照明スポットを決定するように動作することができる。さらに、コントラストスペックルモジュール610は、信号の安定性および信号対雑音比を最適化するために、2以上の異なる照明スポットに関連するスペックルパターンを処理するように動作することができる。
【0055】
さらに、コントラストスペックルモジュール610は、異なる波長の照明および撮像に関連する1または複数の画像データ(フレーム)に対して動作し、それにより、異なる波長に関連する2以上のコントラスト測定値を提供できることにも留意されたい。そのような構成では、本手法は、2以上の波長に関連付けられた2以上の時間-コントラスト関数、または異なる波長におけるコントラストの変化の合計または平均(例えば、加重平均)に関連付けられた組み合わされた時間-コントラスト関数を提供するために使用することができる。
【0056】
図示のように、本手法は、デフォーカススペックル監視モジュール630およびrPPGモジュール640も含み、スペックルコントラスト分析に追加の監視手法を提供することができる。これに関連して、rPPGなどの強度ベースの方法と比較して、スペックルコントラスト分析を使用する利点の1つは、コントラストの変化が、血液による光の吸収には関連せずに、むしろ散乱特性に関連することである。これにより、血液の吸収係数が比較的低い赤外線照明などの非可視波長の照明を使用することができる。これは、可視光照明による監視に比べて、皮膚をある程度通すことができるだけでなく、比較的目に安全な監視を提供することができるという利点がある。さらに、収集されたスペックルパターンのコントラストは、通常、向きや検査領域からの距離に依存しないため、コントラスト分析は、対象者や周囲の動きに比較的依存しないものとなる。スペックルパターンのコントラストは、臓器の向きや位置ではなく、主に臓器の動きの速度に依存する。このため、本手法は、短い露光時間で画像データを収集し、収集したスペックルパターンのコントラスト分析を利用することで、機械的な動きや振動への依存度を低減し、ノイズ環境下での動作を可能にしながら、生物学的パラメータの効果的な監視を実現する。
【0057】
したがって、本手法は、移動中の車両内の対象者を監視するのに非常に適していると考えられる。例えば、システム100は、移動中の車両の運転者/パイロット/オペレータまたは他の人/乗客の前に配置され、心拍数、心拍数変動などの生物学的パラメータを求めたり、心拍数の存在を検出することにより選択された座席に人がいることを判定したりするために、関連する対象者のある領域を検査するように向けられる。これにより、対象者の健康状態を監視し、選択した閾値を超える変動が検出された場合にアラートを発することができる。これにより、運転者の注意力と医学的状態を監視し、運転者の状態に注意が必要な場合には、運転者または車両処理ユニットに警告を発することができる。さらに、この手法は、ユーザが車両のドアをロックするよう指示したことに応じて車両内部をスキャンし、車両内に人が残っている可能性を示唆する生物医学的パラメータが識別されるか否かを判定するために使用することもできる。
【0058】
図3を参照すると、本手法のいくつかの実施形態に係る、個人の生物医学的パラメータを検出するための方法の要素が例示されている。上述したように、本手法は、コヒーレント照明を少なくとも1の照明スポットに向けるステップ3000を含む。コヒーレント照明は、好ましくは、複数の照明スポットを形成する検査領域に向けられた複数の光ビームの形態であってもよい。この構成により、本手法は、処理のために1または複数の照明スポットを選択し、ノイズの多い環境で個人のパラメータの監視を進めることができる。コヒーレント照明を使用して、検査領域の画像を収集することにより、データ収集が得られる(3010)。通常、コヒーレント照明(例えば、波長850nm)下でのスペックルパターンを提供する画像データ(スペックル画像データ)と、検査領域(例えば、対象者とその周囲)を視覚化する画像データ(ビデオ画像データ)とを提供するために別々の画像を収集することができ、これは、第1および第2の撮像ユニットを使用して行うようにしても、あるいは交換可能な視野照明とコヒーレント照明を使用して既述したような多重画像データ収集において行うようにしてもよい。処理は、ビデオ画像データとスペックル画像データの組合せを利用して、ビデオ画像データ内の1または複数の顔、または監視のために選択された身体領域を検出することができる(3020)。顔検出に基づいて、処理のためにスペックル画像データから1または複数の照明スポットが選択されて切り取られる(3030)。処理を改善するために、スポット画像の背景を除去するようにしてもよく(3040)、各フレームについて、上述したようにコントラストレベルが測定される(3050)。コントラストレベルは、次元フィルタリングを用いて、例えばスペックルパターンを1次元に調整することによって、かつ/または追加のスポット分析によって改善することができる。スペックルコントラスト測定値の収集は、時間スペックル関数を生成するための複数の画像データから収集される(3060)。対象者の必要な生物医学的パラメータは、上述したように、時間-コントラスト関数から直接求めることができる。いくつかの構成では、感度を向上させるために、本手法は、rPPG、焦点のぼけたスペックルなどの追加データを利用し(3070)、かつ/または、信号増強のための選択された後処理(いくつかの実施形態で使用されるものとして破線で示される)を行うことができる(3080)。収集されたデータを使用して、本手法は、心拍数3092、呼吸数3094および/または拍動間隔(IBI)3096を求めることができる。上述したように、生物医学的パラメータは、選択された場所における人の存在を判定するため(例えば、車両のロック時に車両の座席に人がいることを検出したときにアラートを発する)だけでなく、車両内の人の健康および注意力を監視するために使用することができる。
【0059】
本発明者等は、既存のモニタリング手法と比較して、本手法の効率性を判定するために実験的評価を行った。図4は、上述したコントラスト分析を含む遠隔監視と、検査領域からの散乱光および透過光の監視とを使用しながら実行した、対象者の心電図(ECG)の記録を含む評価テストを例示している。この実験では、遠隔法の精度を評価するための参照デバイスとしてECGを使用した。透過型のフォトプレチスモグラフ(PPG)(rPPGt)を記録するために、指先の下に配置された660nmの発光ダイオードと、12mmの対物レンズ(NAVITAR)と整合フィルタ(FB660-10、Thorlabs)を備えたカメラ(BASLER)を使用した。カメラは、指を透過した光を記録し、その記録から、画像のサブセットにおける強度変動を計算することにより、PPG信号が後で抽出された。この信号は、接触型PPGと非常によく似ており、収集システムの構成上、それだけでは遠隔検知の実用的価値は大きくない。このため、本発明の手法の性能をさらに評価するために、PPG信号を記録した。
【0060】
スペックルコントラストおよび反射型リモートPPG(rPPGr)信号を算出するために、コリメートされていない偏光の850nmレーザを用いて、300μW/cmの強度で指全体を照射した。指からの後方散乱光を記録するために、2台の追加のカメラを使用した。どちらのカメラにも、35mmの対物レンズ(NAVITAR)、整合フィルタ(FB850-10、Thorlabs)、偏光板が装備されていた。
【0061】
偏光板はノイズを低減するために使用され、レーザ光源の偏光と直交するようにカメラの前に取り付けられている。血管の多い組織の内層部からの散乱光は、外層部からの散乱光に比べて偏光度が小さくなる。このため、照明および光の収集に直交偏光を用いることで、組織内層からの反射光の検出品質が向上し、血液灌流データを得ることができるとともに、機械的な振動に伴うノイズを低減することができる。
【0062】
通常、強度ベースのrPPGによる血液脈動の監視には、長い露光時間が有効である。これにより、後方散乱光の強度を変化させる高速で小さな動きがフィルタリングされ、平均化される。しかしながら、本手法のスペックルコントラスト監視では、短い露光時間で改善された結果が得られ、画像データ間のコントラストの変化を大きくし、動きに関連するノイズを除去することができる。基礎となる物理学は、検査領域の直線的な動きまたは傾斜の影響が、血液の脈動と比較して異なる時間スケールでの散乱媒体の全体的な変化に寄与するというものである。短い露光時間で記録した場合、スペックルパターンがぼやけるのは、光が散乱するボリュームを十分に変化させるメカニズムによってのみであり、よって、遅い動きは除去される。
【0063】
図5は、ECG、上述したスペックルコントラスト監視(LASCA)、rPPG透過光(rPPGt)およびrPPG反射光(rPPGr)手法によって記録された信号を示している。rPPGtおよびrPPGr信号は、指先を通過した(後方散乱した)光の強度を積分することにより算出した。すべての信号は、0.7~10Hzの通過帯域を持つ5次のバターワースフィルタでフィルタリングされた。IBIを算出するために、各信号の収縮期のピークを特定した。rPPG/LASCA信号は、ピークの誤検出に起因する500~2000msの標準値を超えるIBIを除去するために、前処理を行った。通常、スペックルコントラスト分析手法によって記録された信号は、上述した時間-コントラスト関数に関連している。
【0064】
図5に示すように、本明細書に記載のスペックルコントラスト分析手法は、収縮期の動作が区別できる場合に心拍数データを提供し、心臓の動作と血液灌流の監視を可能にする。さらに、得られた信号はその形状を維持しており、検査領域の動きにも強いことが分かる。
【0065】
図6A図6Cは、本明細書に記載のスペックルコントラスト分析(LASCA)、rPPGrおよびrPPGt手法によって算出された心拍数を、20秒間にわたり、ECGと比較したものである。
【0066】
図7A図7Cは、ECGに対する、本手法(LASCA)、rPPGrおよびrPPGtによって求められた相関拍動間隔(IBI)を示している。ここでは、LASCAのピアソン相関係数が完全な相関を示しているのに対し、rPPGrとrPPGtのピアソン相関係数はそれぞれ0.93と0.97となっており、その差は明らかである。
【0067】
このような手法の違いは、図8A図8Cに示すBland-Altmanプロットからもさらに明確に分かる。ここでは、LASCA手法は、rPPGrおよびRPPGtが12msであったのに対し、8msの中央値絶対誤差(MAE)で結果を再現している。さらに、LASCAは、標準偏差(SD)も13msと、rPPGrの43msおよびrPPGtの38msに比べて遥かに小さい値で結果を再現している。
【0068】
図示のように、光学的手法では血液の脈動を捉えることができたが、本明細書に記載のスペックルコントラスト分析手法では、rPPGrおよびrPPGtと比較してよりシャープな遷移を示している。さらに、本手法で得られたパルスの形状は、rPPGtおよびrPPGrの信号と比較して、より一貫性があり、ノイズが少ない。これらの2つの特性は、信号からIBIとHRVを正確に監視するために非常に重要であり、ノイズの多い環境の場合にはさらに重要となる。
【0069】
図9は、動いている指からスペックルコントラスト分析(LASCA)、rPPGrおよびrPPGtによって収集された信号を示している。このケースでは、対象者が撮像ユニットの視野内で指を左右に繰り返し動かすように指示された。rPPGrで収集された画像データとLASCAで収集された画像データの両方において、画像内の関連領域は、指の領域の単純な閾値セグメンテーションによって切り取られた。指に関連するピクセルの位置を解析して変位を定量化し、移動速度を測定したところ、1.2mm/sであった。図8に示すように、このスペックルコントラスト分析手法によって収集された信号は、動きのノイズに比較的強いのに対し、rPPGr信号は動きによってより大きく崩れた。
【0070】
このため、本手法は、対象者の健康パラメータ、特に心拍変動や拍動間隔などの心拍パラメータを遠隔監視するシステムおよび方法を提供する。本手法は、機械的なノイズや動きに強く、正確な心拍数データを提供する。その結果、本手法を用いれば、既存のHRV測定デバイスと比較して、優れた精度でIBIをリモートで測定できることがわかった。また、本手法を用いて記録された画像から得られた拍動間隔と、ECGから得られた拍動間隔との間には、高い相関関係が認められた。本方法は、一般的なハードウェアを使用し、シンプルなアルゴリズムを採用することで、このような結果を得ることができた。また、LASCAは、対象者の動きが遅い場合、単純な強度ベースの計算よりも有利であることを示している。このため、本発明のシステムは、例えば、移動中の車両や建設現場などの機械的ノイズの多い環境で健康パラメータを監視するために使用することができる。
図1
図2
図3
図4
図5
図6
図7
図8
図9
【国際調査報告】