特表 2022-552347 高ダイナミックレンジバイタルサイン抽出

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】公表特許公報(A)

(11)【公表番号】

(43)【公表日】2022-12-15

(54)【発明の名称】高ダイナミックレンジバイタルサイン抽出

(51)【国際特許分類】

   A61B 5/02 20060101AFI20221208BHJP

   A61B 10/00 20060101ALI20221208BHJP

   A61B 5/1455 20060101ALI20221208BHJP

   A61B 5/08 20060101ALI20221208BHJP

【ＦＩ】

A61B5/02 310A

A61B10/00 E

A61B5/1455

A61B5/08

【審査請求】未請求

【予備審査請求】未請求

(21)【出願番号】P 2022522411

(86)(22)【出願日】2020-10-09

(85)【翻訳文提出日】2022-06-08

(86)【国際出願番号】 EP2020078453

(87)【国際公開番号】W WO2021074036

(87)【国際公開日】2021-04-22

(31)【優先権主張番号】19203141.7

(32)【優先日】2019-10-15

(33)【優先権主張国・地域又は機関】EP

(81)【指定国・地域】

(71)【出願人】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】Ｋｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ．

【住所又は居所原語表記】Ｈｉｇｈ Ｔｅｃｈ Ｃａｍｐｕｓ ５２， ５６５６ ＡＧ Ｅｉｎｄｈｏｖｅｎ，Ｎｅｔｈｅｒｌａｎｄｓ

(74)【代理人】

【識別番号】100122769

【弁理士】

【氏名又は名称】笛田 秀仙

(74)【代理人】

【識別番号】100163809

【弁理士】

【氏名又は名称】五十嵐 貴裕

(74)【代理人】

【識別番号】100145654

【弁理士】

【氏名又は名称】矢ヶ部 喜行

(72)【発明者】

【氏名】ワーン ウェンジン

【テーマコード（参考）】

4C017

4C038

【Ｆターム（参考）】

4C017AA10

4C017AA12

4C017AA14

4C017AC28

4C017BC11

4C017BC20

4C017BD04

4C017FF05

4C038KK01

4C038KL07

4C038SS08

(57)【要約】

本発明は、被験者1の不均一な照明から生じる問題を克服するために高ダイナミックレンジ技術を使用することによって被験者1のバイタルサイン150を決定するための装置200、システム500および方法に関する。カメラ100は被験者1の1つ以上の皮膚画素を含む皮膚領域4, 6を透過するか又はそこから反射される電磁放射10を連続的に記録するために、高露光時間と低露光時間との間で交互に切り換えられることが好ましい。電磁放射10から導出された時間信号をそれぞれ表す複数の検出信号110は次に、信号抽出のために異なる露光状態から高品質の皮膚画素を選択すること、バイタルサイン抽出のために異なる露光信号を補間および組み合わせて、より正確なバイタルサイン抽出のために皮膚画素の数を増加させることなど、様々な方法ステップによってさらに処理される。

【特許請求の範囲】

【請求項1】

被験者のバイタルサインを決定するための装置であって、
前記被験者の１つ以上の皮膚ピクセルを含む皮膚領域を透過したまたは皮膚領域から反射され、電磁放射の検出の間に露光時間が少なくとも第1露光時間と当該第1露光時間と異なる第2露光時間との間で交互に変更される光学センサにより検出された電磁放射から導出される時間信号を各々が表す複数の検出信号を取得し、
第1皮膚領域及び第2皮膚領域並びに対応する第1検出信号及び第2検出信号を選択し、
前記第1露光時間で前記光学センサにより検出された電磁放射から導出された前記第1検出信号の信号値を含む第1信号トレースへと前記第1検出信号をセグメント化し、
前記第２露光時間で前記光学センサにより検出された電磁放射から導出された前記第２検出信号の信号値を含む第２信号トレースへと前記第２検出信号をセグメント化し、
前記第1信号トレース及び前記第2信号トレースを補間し、
前記補間された第1信号トレース及び第2信号トレースからバイタルサインを決定する、
ように構成された処理ユニットを有する装置。

【請求項2】

前記処理ユニットが、前記第1露光時間と前記第2露光時間との間で交互に切り替えるように前記光学センサを制御するための制御信号を生成するように構成される、請求項１に記載の装置。

【請求項3】

前記処理ユニットが、前記光学センサのサンプリングレートより高いスイッチングレートで前記第1露光時間と前記第2露光時間との間で交互に切り替えるように前記光学センサを制御するための制御信号を生成するように構成される、請求項２に記載の装置。

【請求項4】

前記処理ユニットが、
３つ以上の皮膚領域、及び、前記電磁放射の検出の間に露光時間が3つ以上の露光時間の間で交互に変更される前記光学センサにより検出された電磁放射から導出された対応する検出信号を選択し、
前記３つ以上の検出信号を３つ以上の信号トレースへとセグメント化し、
前記３つ以上の信号トレースを補間し、
前記補間された３つ以上の信号トレースからバイタルサインを決定する、
ように構成される、請求項１から３のいずれか一項に記載の装置。

【請求項5】

前記処理ユニットが、
２つ以上の第1皮膚領域、及び、同じ露光時間で前記光学センサにより検出された電磁放射から導出された対応する第1検出信号を選択し、
前記選択された第1検出信号を結合された第1検出信号へと結合し、
後続のセグメント化のために前記結合された第1検出信号を使用する、
ように構成される、請求項１から４のいずれか一項に記載の装置。

【請求項6】

前記処理ユニットが、
前記補間された信号トレースを正規化及び／又はフィルタリングし、
前記正規化及び／又はフィルタリグされた第1信号トレース及び第2信号トレースからバイタルサインを決定する、
ように構成される、請求項１から５のいずれか一項に記載の装置。

【請求項7】

前記処理ユニットが、
先ず前記補間された信号トレースを結合してから、当該結合された信号トレースからバイタルサインを決定すること、又は
先ず前記補間された信号トレースから第1バイタルサイン及び第2バイタルサインを決定してから、前記第1バイタルサイン及び前記第2バイタルサインを結合して最終的なバイタルサインを取得すること、
によりバイタルサインを決定するように構成される、請求項１から６のいずれか一項に記載の装置。

【請求項8】

前記処理ユニットが、輝度値、クロミナンス値及び変調値の１つ以上に基づいて皮膚領域及び対応する検出信号を選択するように構成される、請求項１から請求項７のいずれか一項に記載の装置。

【請求項9】

前記処理ユニットが、特に輝度、クロミナンス及び／又は変調についての閾値と皮膚領域ごとの前記検出信号を比較することにより皮膚領域及び対応する検出信号を選択するように構成される、請求項１から８のいずれか一項に記載の装置。

【請求項10】

前記処理ユニットが、最も近い非欠損値を用いる補間方法、線形、立方、平均値平均化又は中間値平均化補間方法を使用することにより前記セグメント化された信号トレースを補間するように構成される、請求項１から９のいずれか一項に記載の装置。

【請求項11】

被験者のバイタルサインを決定するためのシステムであって、
前記被験者の１つ以上の皮膚ピクセルを含む皮膚領域を透過した又は皮膚領域から反射された電磁放射を検出し、前記検出された電磁放射から導出される時間信号を各々が表す複数の検出信号を導出するように構成された光学センサであって、当該光学センサの露光時間が、前記電磁放射の検出の間に第1露光時間と当該第1露光時間と異なる第2露光時間との間で交互に交換される光学センサと、
前記複数の検出信号から請求項１から１０のいずれか一項に記載されたように被験者のバイタルサインを決定するための装置と、を有するシステム。

【請求項12】

前記光学センサが、可視及び／又は赤外スペクトル範囲で動作するモノクロ若しくはマルチスペクトラルカメラ又はフォトダイオードアレイである、
請求項１１に記載のシステム。

【請求項13】

前記光学カメラが異なる又はオーバラップする皮膚領域から電磁放射を検出するように構成され、前記検出信号が、異なる又はオーバラップする皮膚領域からの電磁放射から導出される、請求項１１又は１２に記載のシステム。

【請求項14】

被験者のバイタルサインを決定するための方法であって、
前記被験者の１つ以上の皮膚画素を含む皮膚領域を透過し又は皮膚領域から反射され、光学センサにより検出された電磁放射から導出され時間信号を各々が表す複数の検出信号を取得するステップであって、前記光学センサの露光時間が、前記電磁放射の検出の間に第1露光時間と第2露光時間との間で交互に変更され、前記第1露光時間が前記第2露光時間と異なる、ステップと、
第1皮膚領域及び第2皮膚領域並びに対応する第1検出信号及び第2検出信号を選択するステップと、
前記第1露光時間で前記光学センサにより検出された電磁放射から導出された前記第1検出信号の信号値を含む第1信号トレースへと前記第1検出信号をセグメント化するステップと、
前記第２露光時間で前記光学センサにより検出された電磁放射から導出された前記第２検出信号の信号値を含む第２信号トレースへと前記第２検出信号をセグメント化するステップと、
前記第1信号トレース及び前記第2信号トレースを補間するステップと、
前記補間された第1信号トレース及び第2信号トレースからバイタルサインを決定するステップと、を有する方法。

【請求項15】

コンピュータにより実行され、当該コンピュータに請求項１４に記載の方法を実行させる、コンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は、高ダイナミックレンジ技術を用いて被験者のバイタルサインを決定するための装置、システム及び方法に関する。

【背景技術】

【0002】

心拍数（HR）、呼吸数（RR）または動脈血酸素飽和度などの人のバイタルサインは、人の現状のインジケータとして、また重篤な医学的事象の強力な予測因子として役立つ。このため、バイタルサインは、入院および外来ケアの状況、在宅、またはさらなる健康、余暇およびフィットネスの状況において広く監視される。

【0003】

バイタルサインを測定する1つの方法は、プレチスモグラフィ（PPG）である。PPGは、一般に、臓器又は身体部分の体積変化の測定値を指し、特に、心拍ごとに対象の身体を通って進行する心臓血管脈波による体積変化の検出を指す。PPGは、関心領域または関心ボリュームの光反射率または透過率の時間変化を評価する光学測定技術であり、血液が周囲の組織よりも多く光を吸収するという原理に基づく。したがって、心拍毎の血液量の変動は、それに応じて透過率または反射率に影響を及ぼす。心拍数に関する情報に加えて、PPG波形は、呼吸などのさらなる生理学的現象に起因する情報を含むことができる。異なる波長(典型的には赤色及び赤外)における透過率及び//又は反射率を評価することによって、血中酸素飽和度が決定されることができる。

【0004】

近年、目立たない測定のための非接触遠隔PPG(rPPG)装置が導入されている。遠隔PPGは、関心対象から離れて配置された光源、または一般的には放射線源を利用する。同様に、検出器、例えばカメラまたは光検出器も、関心対象から離れて配置されることができる。

【0005】

バイタルサインモニタリングの実際のアプリケーションでは、例えばフィットネスエクササイズ、救急トリアージ、（車外の周囲光の変化によって影響される）自動車のドライバモニタリングにおいては、専用の均質で拡散した光源の使用は通常不可能である。不均質な光源は、さらに顔の3D構造に起因しても、人間の顔に異なる照射を生成する。被写体の顔には、浅瀬（暗いクリッピング）と明るいクリッピングの両方が存在する可能性があり、これらの汚染された画素からのバイタルサイン抽出を不可能にする。

【0006】

US10,052,038 B2は、被験者のバイタルサインを決定するための装置および方法を開示しており、これは、シグナル対ノイズ比および被験者の動きによって引き起こされるアーチファクトの効率を高めることを目的としている。これは、一態様によれば、所望のバイタルサインをより正確に決定するために、隣接するフレーム差および品質メトリックを使用することによって、記録された皮膚領域の時間的および/または空間的特性を決定することによって解決される。

【0007】

このアプローチおよび他の有望なアプローチにもかかわらず、非均質照明から生じる上述の問題に効率的に対処する装置、システムまたは方法が依然として必要とされている。

【0008】

US 2017/0071516 A1は、血行動態パラメータを測定するための装置を用いて実施される方法を開示している。この方法は、クライアント装置によって、サーバにメッセージを送信することを含む。この方法は、2つの発光ダイオード（LED）センサがコリメートされたレンズを介してターゲット領域上に光を放射する間、ターゲット領域の複数の画像のうちの第1画像をカメラによってキャプチャすることを含む。この方法はまた、2つのLEDセンサがコリメートされたレンズを介してターゲット領域上に光を放射する間に、ターゲット領域の複数の画像のうちの第2画像をカメラによってキャプチャするステップを含む。第2画像は、第1画像がキャプチャされた後の所定の時点においてキャプチャされる。この方法は、第1のキャプチャ画像と第2のキャプチャ画像との間の差に基づいて1つ以上の血行動態パラメータを決定することをさらに含む。

【0009】

US2016/239937 Aは、データ処理装置及びその動作方法を開示している。このデータ処理装置は、複数のセンサデータに対して補正処理を実行するように構成された複数のプリプロセッサと、少なくとも2つのセンサからの複数のセンサデータを、複数のプリプロセッサのうちの少なくとも2つのプリプロセッサに選択的にマッピングおよび入力するように構成された第1のスイッチング回路と、少なくとも2つのプリプロセッサから、オンザフライ方式を介して、受信された複数のセンサデータに対して画像強調および奥行き情報決定のうちの少なくとも1つを実行するように構成されたハイブリッドデータ処理エンジンと、を含む。

【0010】

US2018/064399は、心拍数または血中酸素レベルなどのバイオメトリック測定のためのマルチタップ復調画素を含むイメージングシステムを開示している。マルチタップ復調画素を使用すると、場合によっては、バックグラウンドノイズを除去し、バイオメトリック測定のためのより高いダイナミックレンジを達成するために、差動信号の生成を容易にするのに役立つ。

【発明の概要】

【発明が解決しようとする課題】

【0011】

本発明の目的は、特に不均一な照明の場合に、より効率的かつ正確なバイタルサイン抽出を可能にする装置、システムおよび方法を提供することである。

【課題を解決するための手段】

【0012】

本発明の第1の態様では、バイタルサインを決定するための装置が提示され、当該装置は、被験者の1つ以上の皮膚画素を含む皮膚領域を透過し又はそこから反射され、光学センサによって検出された電磁放射から導出される時間信号を各々が表す 複数の検出信号を取得するステップであって、 前記電磁放射の検出の間に少なくとも第1露光時間と第2露光時間との間で露光時間が交互に繰り返され、前記第1露光時間は前記第2露光時間と異なる、ステップと、第1皮膚領域および第2皮膚領域と、対応する第1検出信号および第2検出信号とを選択するステップと、前記第1露光時間で前記光学センサによって検出された電磁放射線から導出される前記第1検出信号の信号値を含む第1信号トレースに前記第1検出信号をセグメント化するステップと、前記第2露光時間で前記光学センサによって検出された電磁放射線から導出される前記第2検出信号の信号値を含む第2信号トレースに前記第2検出信号をセグメント化するステップと、前記第1信号トレースと前記第2信号トレースを補間するステップと、補間された第1信号トレースおよび第2信号トレースからバイタルシグナルを決定するステップと、を実行するように構成される処理ユニットを有する。

【0013】

本発明のさらなる態様では、被験者のバイタルサインを決定するためのシステムが提示され、当該システムは、被験者の1つ以上の皮膚画素を含む皮膚領域を透過したまたはそこから反射した電磁放射を検出し、検出された電磁放射から導出される時間信号を各々が表す複数の検出信号を導出するように構成された光学センサであって、当該光学センサの露光時間は、前記電磁放射の検出の間に少なくとも第1露光時間と第2露光時間との間で交互に変更され、前記第1露光時間は前記第の露光時間とは異なる、光学センサと、前記複数の検出信号から被験者のバイタルサインを判定するための上記装置とを有する。

【0014】

本発明のさらなる態様は、対応する方法、コンピュータ上で実行されるときに当該コンピュータに本明細書に開示された方法のステップを実行させるためのプログラムコード手段からなるコンピュータプログラム、および、プロセッサによって実行されると本明細書に開示された方法を当該プロセッサに実行させるコンピュータプログラムを記憶している非一過性のコンピュータ読取可能記録媒体が提供される。

【0015】

本発明の好ましい実施形態は、従属請求項に定義される。特許請求された方法、システム、コンピュータプログラムおよび媒体が、特に従属請求項に定義され、本明細書に開示されているように、特許請求されたシステムと同様のおよび/または同一の好ましい実施形態を有することが理解される。

【0016】

本発明は、不均一な照明から生じる問題、すなわち、空間的に異なる照明による低品質の皮膚画素の一部からバイタルサインを抽出することから生じる問題を解決するという考えに基づく。これらの低品質な皮膚画素は、暗いクリッピングと明るいクリッピングの両方から生じ、暗い（照明されていない）皮膚画素はセンサノイズに支配され、明るい皮膚画素はクリップされ、したがって適切なPPG信号を抽出することができない、これらの低品質の皮膚画素は、バイタルサイン抽出のために放棄/拒絶されなければならない。

【0017】

この問題は、バイタルサイン抽出のための高ダイナミックレンジ（HDR）センシングを作成するために、カメラの複数の露光時間を使用することにより、本発明によって取り組まれる。複数の露光時間は、少なくとも2つの異なる露光時間である。一般に、（自動露光または品質メトリックを使用することにより）カメラの露光時間を調整/適応して測定を改善することはできるが、1 つのビデオフレームのすべての画素で露光時間が同じであるため、顔に空間的に異なる照度があるという基本的な制限を解決することはできない。

【0018】

異なる露光時間の結果を組み合わせることによって、生理学的信号抽出に使用することができる皮膚画素の数は、HDRセンシングにおいて（著しく）増加する。異なる露光時間における異なる皮膚領域（明るい又は暗いクリッピングなし）が、信号抽出のために選択される。本発明を実施する態様は、露光時間を順次変更し、信号抽出のために異なる露光状態から高品質の皮膚画素を選択し、バイタルサイン抽出のために異なる露光信号を補間し、組み合わせるアプローチを含む、非常に特異的であり、自明ではない。

【0019】

検出信号は、皮膚領域を透過または反射する電磁放射から導出され、したがって、拍動性信号および非拍動性信号を含む。さらに、これらの検出信号は、一般に時間信号と呼ばれる時間に依存する強度である。

【0020】

この文脈において、用語「バイタルサイン」は、厳密な意味でのバイタルサインだけでなく、SvO2またはSaO2のような他の生理学的パラメータも含む「生理学的パラメータ」の意味で広く理解されるべきであることに留意されたい。したがって、処理ユニットは、バイタルサインとして、血液成分または種のインジケータまたは濃度、特にSpO2、SvO2、HBO2、HBCO、METHB、ビリルビンを決定するように構成されてもよく、拍動成分は心周期または呼吸サイクルを反映する。

【0021】

処理ユニットは、第1および第2皮膚領域と、対応する第1および第2検出信号とを選択するように構成される。第2皮膚領域は第1皮膚領域と同じであってもよいが、最も一般的な場合には、これらの皮膚領域は互いに異なる。光学センサの露光時間が少なくとも第1露光時間と第2露光時間との間で交互に切り替わり、第1検出信号は第1露光時間の間だけ記録され、第2検出信号は第2露光時間の間だけ記録される。従って、光学センサが好ましくは複数の検出信号を連続的に記録するので、これらの検出信号はそれぞれのトレースにセグメント化される。従って、第1信号トレースは第2露光時間において光学センサが動作していた時間においてギャップ又は欠測値を含み、第2信号トレースは第1露光時間において光学センサが動作していた時間においてギャップ又は欠測値を含む。

【0022】

次のステップにおいて、処理ユニットは、前記第1及び第2信号トレースを補間するように構成される。これにより、補間された信号トレースを得るために、それぞれのトレースの欠測値を埋めることができる。これらの補間された信号トレースに基づいて、正確なバイタルサインを決定することが可能である。

【0023】

一実施形態によると、処理ユニットは、第1露光時間と第2露光時間とを交互に切り替えるように光学センサを制御するための制御信号を生成するように構成される。この文脈において、用語「交互に」は、光学センサが異なる露光時間の間に少なくとも1回切り替わることを意味することを理解されたい。しかしながら、好ましい実施形態では、光学センサは、様々な回数、異なる露光時間の間で連続的に切り替わる。

【0024】

処理ユニットが前記露光時間を切り替えるように光学センサを制御するように構成されている場合、バイタルサインを決定するためのコンパクトな装置が提示される。あるいは、外部制御ユニットが、光学センサに接続され、対応する制御信号を生成して、異なる露光時間の間で切り替えるように光学センサを制御するように構成されてもよい。次に、外部制御ユニットは、好ましくは、異なる露光時間のタイミングに関する装置情報を送信するために装置メッセージを送信するために、バイタルサインを決定するための装置にも接続される。あるいは、処理ユニットは、光学センサから異なる露光時間を読み出すように構成される。

【0025】

好ましい実施形態によれば、処理ユニットは、光学センサを制御するための制御信号を生成して、光学センサのサンプリングレートよりも大きいスイッチングレートで第1露光時間と第2露光時間とを交互に切り替えるように構成される。より大きなサンプリングレートは、より密な露光時間変化、およびより多くの異なる露光状態（例えば、2つだけではなく5つの異なる露光時間）を可能にする。露光時間を変化させるレートが光学センサのサンプリングレートより小さい場合、光学センサが異なる露光時間の混合で画像を記録する状況となる可能性がある。これは望ましくなく、検出信号の後処理を複雑にする。

【0026】

本発明は、2つの異なる露光時間および2つの（異なる）皮膚領域の場合に限定されないことを理解されたい。別の実施形態によれば、処理ユニットは、3つ以上の皮膚領域と、その露光時間が電磁放射の検出の間に3つ以上の露光時間の間で交互に変更される光学センサによって検出された電磁放射から導出された対応する検出信号とを選択し、3つ以上の検出信号を3つ以上の信号トレースにセグメント化し、3つ以上の信号トレースを補間し、補間された3つ以上の信号トレースからバイタル信号を決定するように構成される。これは、異なる露光時間の間のスイッチングの光学センサのレートがサンプリングレートより大きい場合に特に関心が持たれる。3つ以上の皮膚領域を選択することにより、3つ以上のバイタルサインを得ることが可能になり、したがって、より多くのバイタルサインを平均化して、より正確な最終結果を得ることが可能になり、これは、好ましくはより大きな皮膚領域から得られ、したがって、より信頼性がある。

【0027】

別の実施形態によれば、処理ユニットは、2つ以上の第1皮膚領域と、同一の露光時間で光学センサによって検出された電磁放射から導出された対応する第1検出信号とを選択し、選択された第1検出信号を結合された検出信号に結合し、結合された第1検出信号をその後のセグメント化に使用するように構成される。したがって、第1皮膚領域は、2つ以上の第1（サブ）皮膚領域に分割されてもよく、したがって、対応する結合された第1検出信号は様々な第1（サブ）検出信号の組み合わせである。これにより、同じ露光時間に対してより多くの皮膚領域の組み合わされた情報を使用して、後続のセグメント化においてより正確な結果を得ることが可能になる。

【0028】

別の実施形態によれば、処理ユニットは、補間された信号トレースを正規化および/またはフィルタリングし、正規化および/またはフィルタリングされた第1および第2信号トレースからバイタル信号を決定するように構成される。「正規化する」とは、前記文脈において、処理ユニットがそれぞれの検出信号の拍動成分（AC成分）を非拍動成分（DC成分）によって除算するように構成されることを意味することを理解されたい。好ましくは、処理ユニットは、まず補間された信号トレースを正規化し、次いで、正規化された補間された信号トレースをフィルタリングするように構成される。しかしながら、本発明は、前記順序に限定されず、逆もまた同様である。

【0029】

さらに、バイタルサインを決定するための2つのオプションがある。処理ユニットは、補間された信号トレースを結合し、次いで結合された信号トレースからバイタルサインを決定することによって、または補間された信号トレースから第1および第2バイタルサインを決定し、次いで前記第1および第2バイタルサインを結合して最終バイタルサインを得ることによって、バイタルサインを決定するように構成されてもよい。

【0030】

別の実施形態によれば、処理ユニットは、輝度値、クロミナンス値および変調値のうちの1つ以上に基づいて、皮膚領域および対応する検出信号を選択するように構成される。

【0031】

異なる露光時間は、異なる明るい皮膚領域および暗い皮膚領域につながり得る。従って、各露光時間に対して、適切な皮膚領域が処理ユニットによって選択されなければならない。これは、例えば、輝度に基づくことができる。そして、処理ユニットは、明るく、よって多くの電磁放射を反射して光学センサに戻す皮膚領域を選択するように構成される。あるいは、処理ユニットは、クロミナンス値または変調値に基づいて皮膚領域を選択するように構成されてもよい。後者のオプションは、多くの拍動血管が記録される皮膚領域を選択することを可能にする。

【0032】

好ましくは、処理ユニットは、特に輝度、クロミナンス及び/又は変調に対して、皮膚領域当たりの検出信号を閾値と比較することによって、皮膚領域及び対応する検出信号を選択するように構成される。異なる閾値の混合もまた、更なる処理のために最も適切な皮膚領域を選択するための実行可能なオプションである。

【0033】

一実施形態によると、処理ユニットは、最も近い非欠測値を使用する補間方法、又は線形、立方、平均値平均もしくは中間値平均補間方法を使用する補間方法を使用することによって、セグメント化された信号トレースを補間するように構成される。

【0034】

光学センサは、好ましくは、PPGが典型的には前記スペクトル範囲で記録されるように、可視及び/又は赤外スペクトル範囲で動作するモノクロ若しくはマルチスペクトルカメラ又はフォトダイオードアレイである。さらに、光学センサは、空間分解能を有するように少なくとも2つの画素を含む。好ましくは、光学センサは複数の画素を含み、検出信号が異なる重なり合う皮膚領域からの電磁放射から導出されるように、異なる重なり合う皮膚領域からの電磁放射を検出するようにさらに構成される。

【0035】

本発明のこれらおよび他の態様は、以下に記載される実施形態から明らかになり、これを参照して説明される。

【図面の簡単な説明】

【0036】

【図1】本発明による被験者のバイタルサインを決定するためのシステムの一実施形態の概略図。

【図2】本発明による装置によって実行される方法を示すフローチャート。

【図3】本発明による装置によって実行される別のオプションの方法を示すフローチャート。

【図4】本発明による装置によって実行される別のオプションの方法を示すフローチャート。

【図5】本発明による装置によって実行される別のオプションの方法を示すフローチャート。

【図6】本発明の実施形態による装置によって実行される方法ステップを示す概略図。

【発明を実施するための形態】

【0037】

図1は、本発明によるシステム500の一実施形態の概略図を示す。システム500は、光学センサ100と、被験者1のバイタルサインを決定するための装置200とを備え、装置200は処理ユニット210をさらに備える。

【0038】

光学センサ100は、被験者1の皮膚領域4、6を透過または反射する電磁放射10を検出するように構成される。皮膚領域は、少なくとも第1皮膚領域4と第2皮膚領域6とに分割されることができる。さらに、前記光学センサ100は、複数の検出信号110を導出するように構成され、ここで、前記検出信号110のそれぞれは、電磁放射10から導出された時間信号を表す。光学センサ100は、好ましくは測定の間に画像を連続的に記録する。光学センサ100の露光時間は、電磁放射10の検出の間に、第1露光時間と第2露光時間との間で交互に変更される。好ましくは、電磁放射10は赤色及び赤外スペクトル範囲に位置する。この目的のために、装置500は、前記スペクトル範囲の電磁放射を被験者1上に放射するように構成された放射線源（図示せず）をさらに備えることができる。放射線源および光学センサ100は、放射線源によって放射され、被験者1の皮膚4, 6を透過または反射される電磁放射が光学センサ100によって検出され得るように配置される。しかし、本発明は、昼光が使用され、特定の放射線源が利用できない現実的なアプリケーションに特に魅力的であることに留意されたい。

【0039】

光学センサ100の異なる露光時間の間のスイッチングは、処理ユニット210によって実行されることができる。一実施形態によると、処理ユニット210は、第1露光時間と第2露光時間とを交互に切り替えるように光学センサ100を制御するための制御信号180を生成するように構成される。あるいは、システム500は、光学センサ100を制御して異なる露光状態間を切り替えるための制御信号を生成するように構成された外部制御ユニット300を備えてもよい。

【0040】

図2は、本発明による被験者のバイタルサイン150を決定するために装置200の処理ユニット210によって実行される方法を示すフローチャートを示す。

【0041】

第1のステップS10では、上述した複数の検出信号110が得られる。

【0042】

次のステップ20では、第1皮膚領域4および第2皮膚領域6、ならびに対応する第1および第2検出信号121, 122が選択される。

【0043】

次いで、この第1及び第2検出信号121, 122は、次のステップS30, S40において、第1信号トレース131および第2信号トレース132にセグメント化される。第1信号トレース131は、第1露光時間で光学センサ100によって検出された電磁放射10から導出された第1検出信号121の信号値を含み、第2信号トレース132は、第2露光時間で光学センサ100によって検出された電磁放射10から導出された第2検出信号122の信号値を含む。

【0044】

更なるステップS50, S60において、第1および第2信号トレース131, 132が補間され、最終ステップS70において、補間された第1および第2信号トレース141, 142からバイタルサイン150が決定される。

【0045】

最後のステップS70においてバイタルサイン150を決定する方法には2つのオプションがある。補間された信号トレース141, 142を最初に結合し、（図2に示すように）結合された信号トレースからバイタルサイン150を決定することによって、または、ステップS72で補間された信号トレース141, 142から第1および第2のバイタルサイン151, 152を最初に決定し、次に続くステップS82で前記第1および第2バイタルサイン151, 152を結合して最終的なバイタルサイン150'を得ることのいずれかである。この第2のオプションは、図3に示されたフローチャートに示されている。

【0046】

さらに、2つの皮膚領域4, 6は例示的なものにすぎず、処理ユニット210は、さらに多くの皮膚領域4, 6と、光学センサ100によって検出された電磁放射10から導出された対応する検出信号121, 122とを選択するように構成されていることに留意されたい。したがって、光学センサ100はまた、電磁放射10の検出の間に2つよりも多い異なる露光時間の間で切り替えることができ、ここで、露光時間が切り替えられるスイッチングレートは、光学センサ100のサンプリングレートよりも大きいことが好ましい。

【0047】

別の実施形態によれば、図2に示す方法ステップの順序は、わずかに異なっていてもよい。以下の方法ステップを所与の順序で実行することをオプションとすることができる:
- 時系列露光設定，
- 第1露光時間の検出信号を取得する，
- 第1露光時間による取得された検出信号から皮膚領域を選択する，
- 第2露光時間の検出信号を取得する，
- 第2露光時間による取得された検出信号から皮膚領域を選択する。

【0048】

したがって、特に、検出信号を得るステップS10は、好ましくは異なる露光時間に対して時間順に実行されてもよい。

【0049】

図4は、本発明による被験者1のバイタルサイン150を決定するために装置200によって実行される別のオプションの方法を示すフローチャートを示す。ステップS22では、2つ以上の第1（サブ）皮膚領域4a, 4b...と、同じ露光時間で光学センサ100によって検出された電磁放射10から導出される対応する第1（サブ）検出信号121a,121b...とが選択される。したがって、第1皮膚領域4および第2皮膚領域6を選択するステップS20の後（図2参照）、第1露光時間において光学センサ100によって検出された第1皮膚領域4のサブ領域から反射されたまたはサブ領域を透過した電磁放射から導出された検出信号をさらに処理することは、有効なオプションであり得る。次のステップS24において、前記第1（サブ）皮膚領域4a, 4bに対応する第1（サブ）検出信号121a, 121bは、（図2を参照して上述したように）後続のセグメント化のための第1検出信号121を得るために結合される。これにより、同じ露光時間について記録されたより多くの個別の皮膚領域の組み合わされた情報を使用して、後続のセグメント化においてより正確な結果を得ることが可能になる。

【0050】

図5は、本発明による被験者1のバイタルサイン150を決定するために装置200によって実行される別のオプションの方法を示すフローチャートを示す。ステップS62において、補間された信号トレース141, 142は正規化および/またはフィルタリングされ、次のステップS70において、正規化および/またはフィルタリングされた第1および第2信号トレース143, 144からバイタルサイン150が決定される。正規化された信号をフィルタリングすることにより、信号対雑音比をさらに改善し、従って最終的により正確なバイタルサインを決定することができる。

【0051】

図6は、本発明の一実施形態による、被験者1のバイタルサイン150を決定するために装置200の処理ユニット210によって実行される方法ステップを示す概略図である。第1のロウ601には、光学センサ100が被験者の皮膚領域4, 6の複数の画像を時間的な順序で記録することが示されている。これは、好ましくは、一定の高いフレームレート、例えば、80フレーム/秒でビデオを記録することによって達成される。皮膚領域4, 6は例えば、被験者1の顔の一部である。光学センサの露光時間は、第1露光時間（高露光）と第2露光時間（低露光）との間で切り替えられる。異なる皮膚領域4, 6は、異なる露光時間に対して明るい又は暗いことが分かる。第1皮膚領域4（主に顔の左側部分に位置する）は、露光時間が長い場合には明るく、露光時間が短い場合には暗いことが例示的に示されている。逆に、第2皮膚領域6（主に顔の右側部分に位置する）は、露光時間が長い場合は暗く、露光時間が短い場合は明るい。

【0052】

図2を参照して既に説明したように、第1及び第2皮膚領域4, 6並びに対応する検出信号121, 122が選択される（図2のS20参照）。皮膚領域4, 6は、好ましくは、輝度値、クロミナンス値および変調値のうちの1つまたは複数に基づいて選択される。したがって、皮膚マスクが、これらの値のうちの1つ（またはそれらの任意の組合せ）に基づいて定義されることができる。図6に示される例によれば、それぞれの露光時間に対する明るさに起因して、第1皮膚領域4は第1露光時間に対して選択され、第2皮膚領域6は第2露光時間に対して選択される。

【0053】

第1および第2検出信号121, 122はそれぞれ、被験者の皮膚領域4, 6を透過またはそこから反射された電磁放射線10から導出された時間信号を表す。図6の第2のロウ602内の図は、時間に依存するこの第1および第2検出信号121, 122を図示する。時間は光学センサ100の記録時間を表す。光学センサ100は空間解像度を有し、第1皮膚領域4と第2皮膚領域6とを区別するために、少なくとも2つの画素を有する。

【0054】

図2を既に参照してさらに説明されたように、次のステップS30, S40において、第1検出信号121は第1信号トレース131にセグメント化され、第2検出信号122は第2信号トレース132にセグメント化される。この第1および第2信号トレース131、132は, 時間に応じて第3のロウ603に示されている。第1信号トレース131は光学センサ100が第2露光時間で動作していた時間においてギャップ又は欠測値を含み、第2信号トレース132は光学センサ100が第1露光時間で動作していた時間においてギャップ又は欠測値を含むことが分かる。したがって、次のステップS50, S60では、第1および第2信号トレース131, 132がそれぞれ補間されて、それぞれの補間された信号トレース141, 142が得られる。次のステップS62において、これらの補間された信号トレース141, 142は、それぞれ正規化および/またはフィルタリングされ、最終ステップS70において、補間された第1および第2信号トレース141、142からバイタルサイン150が決定される。

【0055】

本発明の主なアプリケーションは、フィットネスエクササイズ、自動車のドライバモニタリング、救急部門トリアージ、または屋外環境におけるハンドヘルドモニタリングなどの、困難な（環境の、非専用、非均質な）照明条件におけるカメラベースのバイタルサインモニタリングである。また、HDR測定値を使用することにより、睡眠監視、新生児監視、および他の種類の監視のためのロバストなバイタルサイン抽出を得ることが可能になるので、臨床用途または家庭ベースの監視におけるプロフェッショナルケアに非常に重要である。

【0056】

さらに、本発明は、上述したような被験者1のバイタルサイン150を決定するための装置200と、前記装置200によって生成された時間依存プロットを視覚化するためのディスプレイとを備える患者モニタ（図示せず）として実現されてもよいことを理解されたい。したがって、前記患者モニタは特に、図6に示されるすべてのプロットおよびダイアグラムを視覚化するように構成されてもよい。

【0057】

本発明が、図面および前述の説明において詳細に図示および説明されてきたが、そのような図示および説明は、説明的または例示的であり、限定的ではないと考えられるべきである。本発明は、開示された実施形態に限定されるものではない。開示された実施形態に対する他の変形は、図面、開示、および添付の請求項の検討から、請求項に記載された発明を実施する際に当業者によって理解され、及び実施されることができる。

【0058】

請求項において、単語「有する」は、他の要素又はステップを排除するものではなく、不定冠詞「a」又は「an」は、複数性を排除するものではない。単一の要素または他のユニットが、請求項に列挙されるいくつかの項目の機能を満たすことができる。特定の手段が相互に異なる従属請求項に記載されているという単なる事実は、これらの手段の組み合わせが有利に使用されることができないことを示すものではない。

【0059】

コンピュータプログラムは他のハードウェアと一緒に、またはその一部として供給される光記憶媒体またはソリッドステート媒体などの適切な非一過性の媒体上に記憶/配布することができるが、インターネットまたは他の有線もしくは無線通信システムなどを介してのような、他の形態で配信することもできる。

【0060】

請求項におけるいかなる参照符号も、範囲を限定するものとして解釈されるべきではない。

【図1】

【図2】

【図3】

【図4】

【図5】

【図6】

【国際調査報告】