特許 6371837 被験者のバイタルサインを取得するデバイスと方法

(19)【発行国】日本国特許庁(JP)

(12)【公報種別】特許公報(B2)

(11)【特許番号】6371837

(24)【登録日】2018年7月20日

(45)【発行日】2018年8月8日

(54)【発明の名称】被験者のバイタルサインを取得するデバイスと方法

(51)【国際特許分類】

   A61B 5/00 20060101AFI20180730BHJP

   G06T 7/20 20170101ALI20180730BHJP

【ＦＩ】

   A61B5/00 101A

   G06T7/20 300Z

【請求項の数】15

【全頁数】15

(21)【出願番号】特願2016-522746(P2016-522746)

(86)(22)【出願日】2014年10月15日

(65)【公表番号】特表2016-534771(P2016-534771A)

(43)【公表日】2016年11月10日

(86)【国際出願番号】EP2014072102

(87)【国際公開番号】WO2015055709

(87)【国際公開日】20150423

【審査請求日】2017年10月12日

(31)【優先権主張番号】13189044.4

(32)【優先日】2013年10月17日

(33)【優先権主張国】EP

【早期審査対象出願】

(73)【特許権者】

【識別番号】590000248

【氏名又は名称】コーニンクレッカ フィリップス エヌ ヴェ

【氏名又は名称原語表記】ＫＯＮＩＮＫＬＩＪＫＥ ＰＨＩＬＩＰＳ Ｎ．Ｖ．

(74)【代理人】

【識別番号】100107766

【弁理士】

【氏名又は名称】伊東 忠重

(74)【代理人】

【識別番号】100070150

【弁理士】

【氏名又は名称】伊東 忠彦

(74)【代理人】

【識別番号】100091214

【弁理士】

【氏名又は名称】大貫 進介

(72)【発明者】

【氏名】ジャンヌ，ヴァンサン

(72)【発明者】

【氏名】ファン レーウェン，マリニュス バスティアーン

(72)【発明者】

【氏名】アッセルマン，ミシェル ヨゼフ アニエス

【審査官】 関根 裕

(56)【参考文献】

【文献】 国際公開第２０１１／０４２８５８（ＷＯ，Ａ１）

【文献】 米国特許出願公開第２０１０／００６１５９６（ＵＳ，Ａ１）

(58)【調査した分野】（Int.Cl.，ＤＢ名）

Ａ６１Ｂ ５／００ − ５／２２

(57)【特許請求の範囲】

【請求項1】

被験者のバイタルサインを取得する装置であって、
被験者の一組の画像フレームを受け取るインタフェースと、
前記一組の画像フレームのうちの画像フレーム中の少なくとも一測定エリアを分析し、前記一組の画像フレームのうちの前記被験者の動きを特徴付ける動き分析ユニットであって、前記動き分析ユニットは、
連続する画像フレームにわたる画素または画素グループの空間的類似度に基づき被験者の動きをローカルに及び／又はグローバルに推定する動き推定ユニットと、
同じまたは類似の特性を示す一群の画素の空間的特徴の変位に基づいて、被験者の動きをグローバルに抽出する空間的特徴抽出ユニットと、
前記動き推定ユニットの出力と前記空間的特徴抽出ユニットの出力との類似度の類似度測定値を計算することにより、前記一組の画像フレームにおける被験者の動きのタイプを決定する動き特徴付けユニットと
を有する動き分析ユニットと、
前記一組の画像フレームから光プレチスモグラフィー（ＰＰＧ）信号を抽出し、前記一組の画像フレームにおける被験者の動きの決定を用いて、
面外運動を示さないまたは実質的に示さない前記一組の画像フレームの部分のみから前記ＰＰＧ信号を抽出し、または
面外運動を示す画像フレームから抽出された前記ＰＰＧ信号の一部を、面外運動が検出されたときに補間された前記ＰＰＧ信号の信号部分の補間により置換し、または
被験者の面外運動の場合、ＰＰＧ信号が抽出される少なくとも１つの測定領域のサイズを縮小し、面外運動が検出されたとき、ＰＰＧ信号を少なくとも１つの測定領域の中心領域のみから抽出するように構成された信号抽出ユニットと、
抽出された前記ＰＰＧ信号からバイタルサイン情報を決定するバイタルサイン決定ユニットとを有する
装置。

【請求項2】

前記信号抽出ユニットは、少なくとも１つの測定領域の、動きを示さないまたは最小の動きを示す部分のみから前記ＰＰＧ信号を抽出するように構成された、請求項１に記載の装置。

【請求項3】

前記動き推定ユニットは、前記画像フレームの画像平面中の少なくとも１つの方向で少なくとも１つの測定領域の第１の平均動きベクトルを表す第１の時系列を取得するように構成されている、請求項１に記載の装置。

【請求項4】

前記動き推定ユニットは、少なくとも１つの測定領域の複数の画素または画素グループのローカル動きベクトル値を表す第２の時系列を取得するように構成されている、請求項１に記載の装置。

【請求項5】

前記動き推定ユニットは、被験者の動きを推定するため、ブロックマッチング、３ＤＲＳ、オプティカルフロー、テンプレートマッチング、及び／又はフィーチャトラッキングを適用するように構成されている、
請求項１に記載の装置。

【請求項6】

前記空間的特徴抽出ユニットは、前記画像フレームの画像平面内の少なくとも１つの方向で、少なくとも１つの測定領域の第２の平均動きベクトルを表す第３の時系列を取得するように構成されており、前記第２の平均動きベクトルは前記少なくとも１つの測定領域の一群の画素の空間的特徴の空間的変位を示す、請求項１に記載の装置。

【請求項7】

前記空間的特徴抽出ユニットは、一群の画素の重心、対象検出中心、またはランドマークの重心の変位に基づき、被験者の動きをグローバルに抽出するように構成されている、請求項１に記載の装置。

【請求項8】

前記空間的特徴抽出ユニットは、前記画像フレームにおける一以上のランドマークの変位に基づき、一群の画素の空間的特徴の変位を決定するように構成されている、請求項１に記載の装置。

【請求項9】

前記動き特徴付けユニットは、前記動き推定ユニットの出力と前記空間的特徴抽出ユニットの出力との間の類似度測定値を、前記出力間の差分を計算することにより取得するように構成されている、
請求項１に記載の装置。

【請求項10】

前記動き特徴付けユニットは、前記第１の時系列と、前記画像フレームの画像平面内の少なくとも１つの方向で少なくとも１つの測定領域の第２の平均動きベクトルを表す第３の時系列の第１の線形または非線型結合から第１の差分を計算し、少なくとも１つの測定領域の複数の画素または画素グループのローカル動きベクトル値を表す第２の時系列と第３の時系列の第１の線形または非線型結合から第２の差分を計算し、前記第１の差分と第２の差分を線形または非線型に結合して、前記動き推定ユニットと前記空間的特徴抽出ユニットの出力の類似度を示す類似度測定値を求めるように構成されている、請求項３に記載の装置。

【請求項11】

前記動き特徴付けユニットは、前記類似度測定値を所定の類似度閾値と比較して被験者の面内運動と面外運動とを区別し、及び／又は画素群のローカル類似度を決定して異なる前記画素群の異なる動きを区別するように構成されている、請求項１０に記載の装置。

【請求項12】

前記画像フレームの画像平面内の少なくとも１つの方向は、前記画像フレームの画像平面内の２つの直交する方向である、
請求項６に記載の装置。

【請求項13】

前記一群の画素は、同じまたは類似の色、画素値、及び／又は勾配を示すものである、
請求項７に記載の装置。

【請求項14】

被験者のバイタルサインを取得する方法であって、
被験者の一組の画像フレームを受け取ることと、
前記一組の画像フレームのうちの画像フレーム中の少なくとも一測定エリアを分析し、前記一組の画像フレームのうちの前記被験者の動きを特徴付けることであって、
連続する画像フレームにわたる画素または画素グループの空間的類似度に基づき被験者の動きをローカルに及び／又はグローバルに推定することと、
同じまたは類似の特性を示す一群の画素の空間的特徴の変位に基づいて、被験者の動きをグローバルに抽出することと、
前記動き推定及び前記空間的特徴の抽出の出力の類似度の類似度測定値を計算することにより、前記一組の画像フレームにおける被験者の動きのタイプを決定することと
により行われる、分析することと、
前記一組の画像フレームにおける被験者の動きの決定を用いて、前記一組の画像フレームから光プレチスモグラフィー（ＰＰＧ）信号を抽出することであって、
前記光プレチスモグラフィー（ＰＰＧ）信号を抽出することは、
面外運動を示さないまたは実質的に示さない画像フレームのみから前記ＰＰＧ信号を抽出すること、または
面外運動を示す画像フレームから抽出された前記ＰＰＧ信号の一部を、前記ＰＰＧ信号の補間された信号部分により置換すること、または
ＰＰＧ信号を少なくとも１つの測定領域の中心領域のみから抽出することにより、ＰＰＧ信号が抽出される少なくとも１つの測定領域のサイズを縮小することとのうち１つを含む、抽出することと、
抽出された前記ＰＰＧ信号からバイタルサイン情報を決定することとを有する、
方法。

【請求項15】

コンピュータで実行されたとき、前記コンピュータに、請求項１４に記載の方法のステップを実行させるコンピュータプログラム。

【発明の詳細な説明】

【技術分野】

【0001】

本発明は被験者のバイタルサインを取得するデバイスと方法に関する。具体的に、本発明は、人や動物などの観察下の被験者におけるバイタルサインの検出に用いることができる目立たない光学測定への取り組みに関する。

【背景技術】

【0002】

特許文献１は、少なくとも、生体における周期的現象を表す成分を含む信号を処理する方法が、生体における周期的現象を表す少なくとも一成分を有する少なくとも第１の信号を取得するステップを含むことを開示している。少なくとも生体の動きの周期的成分を表す別のデータは、少なくとも第１の信号と同期した、その一連の画像のビデオベースの動き解析を実行するその生体を示す一連の画像を取得することにより得られる。そのデータを用いて、生体の動きの周期的成分に対応する第１の信号の成分を少なくとも抑制する。

【0003】

特許文献２は、生理的運動の一部との類似度を判断する方法を開示している。該方法は、対象の第１の画像を取得するステップと、前記対象の第２の画像を取得するステップと、前記第１の画像と第２の画像との間の類似度のレベルを判断するステップと、判断した前記第１の画像と第２の画像との間の類似度のレベルを前記生理的運動の一部と相関させるステップとを含む。コンピュータ製品は、一組の命令を有し、その実行により、生理的運動の一部との類似度を判断する方法が実行される。該方法は、対象の第１の画像を取得するステップと、前記対象の第２の画像を取得するステップと、前記第１の画像と第２の画像との間の類似度のレベルを判断するステップと、判断した前記第１の画像と第２の画像との間の類似度のレベルを前記生理的運動の一部と相関させるステップとを含む。

【0004】

人のバイタルサイン、例えば心拍数（ＨＲ）、血液酸素飽和度（ＳｐＯ２）、または呼吸数（ＲＲ）などの呼吸情報（呼吸パラメータ）は、重大な医学的イベントの強力な予測判断材料として機能し得る。そのため、呼吸数及び／又は心拍数は、病院の一般病棟における毎日のスポットチェックや集中治療室において、オンラインでモニターされることが多い。心拍数の他に、呼吸数は最も重要なバイタルサインのひとつである。ＨＲとＲＲは両方とも、身体に直接的に接触しないとまだ測定することが困難である。現在の集中治療室では、胸部インピーダンスプレチスモグラフィーや呼吸性誘導プレチスモグラフィーが、ＲＲを測定する方法の選択肢であり、人の胸部及び腹部の呼吸運動を区別するため、一般的には２つの呼吸バンドが用いられる。ＨＲは一般的に被験者の胸に固定された電極を用いて測定される。電極はケーブルによりリモートデバイスに接続されている。しかし、こうした面倒な方法は、測定される患者にとっては快適でも楽しくもない。

【0005】

リモート光電式プレチスモグラフィー（リモートＰＰＧ）イメージングの利用により、被験者のＨＲ、ＲＲ、またはその他のバイタルサインを目立たずにモニターするのに、一以上のビデオカメラを用いることができる。リモート光電式プレチスモグラフィーイメージングは、例えば、非特許文献１に記載されている。これは、皮膚中の血液量の時間的変動により、皮膚による光吸収の変動が生じるとの原理に基づく。かかる変動を、皮膚の領域（例えば、顔）の画像を撮るビデオカメラにより記録でき、選択された領域（典型的にはこのシステムにおいては頬の一部）にわたる画素平均を計算する。この平均信号の周期的変動を見ることにより、心拍数と呼吸数を読み取ることができる。リモートＰＰＧを用いることにより患者のバイタルサインを取得する装置と方法の詳細を記載した刊行物や特許出願はこれ以外にも多数ある。

【0006】

このように、動脈血の脈拍により光吸収が変化する。光検出器（または光検出器アレイ）で得られるこれらの変化は、ＰＰＧ（光プレチスモグラフィー）信号（なかんずく、「ｐｌｅｔｈ ｗａｖｅ」とも呼ばれる）を構成する。血液の拍動は心臓の鼓動により生じる。すなわち、ＰＰＧ信号のピークは心臓の個々の鼓動に対応する。それゆえ、ＰＰＧ信号は本来的に心拍数信号を含んでいる。この信号の規格化した振幅は、波長が異なれば異なり、一部の波長の場合、血液酸素化または血液または組織中に見つかるその他の物質の関数でもある。

【0007】

心拍数、呼吸及びＳｐＯ２を測定するのに用いられる従来のコンタクトセンサは、患者に取り付けられ、その主な雑音源は動きである。こうした従来のコンタクトセンサと比較して、カメラベースのバイタルサインモニタリングの主な利点は、使いやすさである。センサを取り付ける必要がなく、カメラを適当な関心領域（例えば、被験者の皮膚や胸部の領域）に向ければよいからである。カメラベースのバイタルサインモニタリングの他の利点は、動きに対するロバスト性（ｒｏｂｕｓｔｎｅｓｓ）を実現する可能性である。カメラは空間解像度が大きいが、コンタクトセンサは単一素子の検出器だからである。

【0008】

リモートＰＰＧ技術の重要な課題の一つは、被験者が動いている時にロバストな測定をできること、特に動きに対する完全にロバストなソリューション（ｆｕｌｌ ｍｏｔｉｏｎ ｒｏｂｕｓｔ ｓｏｌｕｔｉｏｎ）を提供することである。

【先行技術文献】

【特許文献】

【0009】

【特許文献1】国際出願公開第ＷＯ２０１１／０４２８５８

【特許文献2】米国特許出願公開第２０１０／００６１５９６号

【非特許文献】

【0010】

【非特許文献1】Ｗｉｍ Ｖｅｒｋｒｕｙｓｓｅ， Ｌａｒｓ Ｏ． Ｓｖａａｓａｎｄ， ａｎｄ Ｊ． Ｓｔｕａｒｔ Ｎｅｌｓｏｎ著「Ｒｅｍｏｔｅ ｐｌｅｔｈｙｓｍｏｇｒａｐｈｉｃ ｉｍａｇｉｎｇ ｕｓｉｎｇ ａｍｂｉｅｎｔ ｌｉｇｈｔ」 Ｏｐｔｉｃｓ Ｅｘｐｒｅｓｓ， Ｖｏｌ． １６， Ｎｏ． ２６， Ｄｅｃｅｍｂｅｒ ２００８

【発明の概要】

【0011】

本発明の一目的は、被験者の動きにかかわらず、被験者のバイタルサインを取得する装置と方法とシステムとを提供することである。本発明は独立請求項に記載されている。

【0012】

本発明の第１の態様によると、被験者のバイタルサインを取得する装置が提供され、該装置は、
− 被験者の一組の画像フレームを受け取るインタフェースと、
− 前記一組の画像フレームのうちの画像フレーム中の少なくとも一測定エリアを分析し、前記一組の画像フレームのうちの前記被験者の動きを特徴付ける動き分析ユニットであって、
− 連続する画像フレームにわたる画素または画素グループの空間的類似度に基づき被験者の動きをローカルに及び／又はグローバルに推定する動き推定ユニットと、
− 同じまたは類似の特性を示す一群の画素の空間的特徴の変位に基づいて、被験者の動きをグローバルに抽出する空間的特徴抽出ユニットと、
− 前記動き推定ユニットと前記空間的特徴抽出ユニットとの出力の類似度の類似度測定値を計算することにより、前記一組の画像フレーム中の、被験者の動きのタイプを決定する運動特徴付けユニットとを有する、動き分析ユニットと、
− 前記一組の画像フレームから光プレチスモグラフィー（ＰＰＧ）信号を抽出し、前記一組の画像フレームにおける被験者の動きの特徴付けを用いて、面外運動を示さないまたは実質的に示さない前記一組の画像フレームの部分のみから前記ＰＰＧ信号を抽出し、または面外運動を示す画像フレームから抽出された前記ＰＰＧ信号の一部を、信号部分の補間により置換し、またはＰＰＧ信号が抽出される少なくとも１つの測定領域のサイズを縮小し、被験者の面外運動の場合、ＰＰＧ信号を少なくとも１つの測定領域の中心領域のみから抽出するように構成された信号抽出ユニットと、
− 抽出された前記ＰＰＧ信号からバイタルサイン情報を決定するバイタルサイン決定ユニットとを有する。

【0013】

本発明の第２の態様では、これに対応する、被験者のバイタルサインを取得する方法を提供する。

【0014】

本発明のさらに別の一態様では、コンピュータで実行されると、ここに開示した方法のステップをコンピュータに実行させるプログラムコード手段を有するコンピュータプログラムと、プロセッサにより実行されると、ここに開示した方法を実行させる非一時的コンピュータ読み取り可能記録媒体とを提供する。

【0015】

本発明の好ましい実施形態は従属項に規定した。言うまでもなく、請求項に係る方法、コンピュータプログラム、及び媒体は、請求項に係る装置と同様の及び／又は同一の、従属項に記載した好ましい実施形態を有する。

【0016】

トラッキングされる被験者の動きがカメラ平面内であるとき、例えば、顔（ＲＯＩに対応するまたはＲＯＩを含む顔）が並進したとき、ここまで提案したＰＰＧ信号をＲＯＩから取得するためＲＯＩをトラッキングするトラッキングアルゴリズムのトラッキング機能はよい。動きがカメラ平面からはずれると、例えば、顔が回転したとき、一部の既存の画像データは消え、他の画像データが現れ、トラッキングが非常に困難にあり、さらには不可能になる。これにより、正確なＰＰＧ信号の抽出に影響がある。このように、本発明は、モニタリングされる被験者の動きを特徴付け（一実施形態では、面内運動と面外運動に特徴付け）、観察された動きに基づく自動的な外れ値排除を用いて最適な性能を確保するように、取得された画像データを処理するとのアイデアに基づく。さらに、正しい測定をいつできるか検出できることにより、提案の装置及び方法は、取得されたＰＰＧ信号及び／又は求めたバイタルサインの信頼性を示す信頼性表示を提供する。

【0017】

他の好ましい一実施形態では、前記信号抽出ユニットは、面外運動を示さないまたは実質的に示さない画像フレームのみから前記ＰＰＧ信号を抽出する、または面外運動を示す画像フレームから抽出された前記ＰＰＧ信号の一部を、信号部分の補間により置換するように構成されている。これにより、求められたバイタルサインは非常に信頼性が高く正確なものである。

【0018】

他の一実施形態において、前記信号抽出ユニットは、ＰＰＧ信号が抽出される少なくとも１つの測定領域（ここではＲＯＩとも呼ぶ）のサイズを縮小するように構成され、被験者の面外運動の場合、ＰＰＧ信号を少なくとも１つの測定領域の中心領域のみから抽出する。これにより、潜在的に大きな動きを示している、または一部の画像フレームには無い領域は、ＰＰＧ信号の抽出に確実に用いられない。かかる領域は、例えば、測定領域として用いられる顔のエッジ領域である。

【0019】

さらに、一実施形態では、前記信号抽出ユニットは、少なくとも１つの測定領域の、動きを示さないまたは最小の動きを示す部分のみから前記ＰＰＧ信号を抽出するように構成される。また、この実施形態によりＰＰＧ信号の品質、及び取得されたバイタルサインの品質が向上する。一般的に大きな動きを示す少なくとも１つの測定領域の部分は、例えば、（話している）人の口の領域または目である。それ故これらは、この実施形態によるＰＰＧ信号の評価及び抽出から排除される。

【0020】

動き推定ユニットによる動き推定のため、一以上のアルゴリズムを適用することが好ましい。第１の実施形態において、前記動き推定ユニットは、前記画像フレームの画像平面中の少なくとも１つの方向で少なくとも１つの測定領域の第１の平均動きベクトルを表す第１の時系列を取得するように構成されている。他の一実施形態において、前記動き推定ユニットは、少なくとも１つの測定領域の複数の画素または画素グループのローカル動きベクトル値を表す第２の時系列を取得するように構成されている。好ましくは、被験者の動きを推定するため、ブロックマッチング、３ＤＲＳ、オプティカルフロー、及び／又はフィーチャトラッキングを適用する。

【0021】

同様に、空間的特徴抽出のため、一以上のアルゴリズムを適用することが好ましい。好ましくは、前記空間的特徴抽出ユニットは、前記画像フレームの画像平面内の少なくとも１つの方向で、好ましくは前記画像フレームの画像平面内の２つの直交する方向で、少なくとも１つの測定領域の第２の平均動きベクトルを表す第３の時系列を取得するように構成されており、前記第２の平均動きベクトルは前記少なくとも１つの測定領域の（画素群を形成する）一群の画素の空間的特徴の空間的変位を示す。前記空間的特徴抽出ユニットは、有利にも、一群の画素の、特に同じまたは類似の色、画素値、及び／又は勾配を示すものの、重心、対象（例えば、顔）検出中心、またはランドマークの重心に基づき、被験者の動きをグローバルに抽出するように構成されている。換言すると、画素群の空間的特徴を決定するには様々なオプションがあり、重心、オブジェクト検出中心、画素群に対して検出されたランドマークの重心などを含む。

【0022】

さらに、一実施形態では、前記空間的特徴抽出ユニットは、前記画像フレームにおける一以上のランドマークの変位に基づき、例えば、ハリスコーナー検出ポイント（ｈａｒｒｉｓ ｃｏｒｎｅｒ ｄｅｔｅｃｔｉｏｎ ｐｏｉｎｔｓ）、顔検出器の中心などに基づき、一群の画素の空間的特徴の変位を決定するように構成されている。

【0023】

画像フレーム中に現れる動きを信頼性高く特徴付けするため、前記動き特徴ユニットは、好ましくは、前記動き推定ユニットの出力と前記空間的特徴抽出ユニットの出力との間の類似度測定値を、その出力間の差分を計算して求めるように構成されている。

【0024】

より詳細な一実施形態では、前記動き特徴付けユニットは、前記第１の時系列と第３の時系列の第１の線形または非線型結合から第１の差分を計算し、前記第２の時系列と第３の時系列の第１の線形または非線型結合から第２の差分を計算し、前記第１の差分と第２の差分を線形または非線型に結合して、前記動き推定ユニットと前記空間的特徴抽出ユニットの出力の類似度を示す類似度測定値を求めるように構成されている。

【0025】

類似度測定値を決定するため、前記動き特徴付けユニットは、好ましくは、第１の差分値と第２の差分値の絶対値の積を計算するように構成されている。前記積の逆数は類似度値を表す。

【0026】

被験者の面内運動及び面外運動間を信頼性高く区別するため、前記動き特徴付けユニットは、一実施形態では、類似度測定値を所定の類似度閾値と比較するように構成されている。

【0027】

異なる前記画素群の異なる動きを区別するため、前記動き特徴付けユニットは、一実施形態では、画素群のローカルな類似度を決定するように構成されている。

【0028】

好ましい一実施形態において、提案の装置は、さらに、被験者により放射または反射された電磁放射をリモート検出するイメージングユニット、特にカメラ、を含む。画像化ユニットは特にリモートモニタリングアプリケーションに適している。イメージングユニットは一以上のイメージング要素を含み得る。例えば、イメージングユニットはフォトダイオードまたは電荷結合デバイスの配列を含み得る。 一実施形態では、イメージングユニットは、少なくとも２つの群のイメージング要素を含み、その各々は複数のデータ信号成分のうちの単一成分を検出するように構成されている。 他の一実施形態では、イメージングユニットは、データ信号成分の検出を可能とする応答特性を有する単一の群のイメージング要素を使用できる。イメージングユニットは、さらに、代替的にデータ信号成分を表す一連の画像フレームを収集するように構成され得る。

【0029】

他の好ましい実施形態では、提案の装置は、さらに、電磁放射を被験者に向ける放射源、特に光源、を含む。放射源は、ブロードバンド照明光源により実施でき、及び／又は１つの群のまたは２以上の群の放射線要素を利用できる。しかし、提案の装置は、必ずしも放射線源を有さなくても良く、装置に接続されていない外部光源を利用することもできる。

【図面の簡単な説明】

【0030】

本発明の上記その他の態様を、以下に説明する実施形態を参照して明らかにし、説明する。

【図1】本発明では、被験者のバイタルサイン情報を取得する装置の一実施形態を示す図である。

【図2】並進運動とそれから求めた運動情報とを表示する画像を示す図である。

【図3】回転運動とそれから求めた運動情報とを表示する画像を示す図である。

【図4】完全な及び不完全なＰＰＧ信号からのバイタルサイン情報の抽出を示す信号図である。

【発明を実施するための形態】

【0031】

図１は、医療の場における、本発明による被験者１２のバイタルサイン情報を取得する装置１０の第１の実施形態を示す図である。被験者１２はベッド１４に寝ており、被験者１２の頭部は枕１６の上にあり、被験者はブランケット１８で覆われている。装置１０は、被験者１２の一組の画像フレーム６２を受け取るインタフェース２０と、前記一組の画像フレームのうちの画像フレーム中の少なくとも一測定エリア６４（関心領域とも呼ぶ）を分析し、前記一組の画像フレーム中の被験者の動きを特徴付け（ｃｈａｒａｃｔｅｒｉｚｅ）する動き分析ユニット３０と、前記一組の画像フレーム中の被験者の動きの特徴付け（ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ）を用いて、前記一組の画像フレームから光プレチスモグラフィー（ＰＰＧ）信号を抽出する信号抽出ユニット４０と、抽出された前記ＰＰＧ信号からバイタルサイン情報を決定するバイタルサイン決定ユニット５０とを有する。

【0032】

前記運動分析ユニット３０は、連続する画像フレームにわたる画素または画素グループの空間的類似度に基づき被験者の動きをローカルに及び／又はグローバルに推定する動き推定ユニット３２を、同じまたは類似した特性を示す画素のグループの空間的特徴（例えば、重心、ランドマークの重心、顔検出の中心）の変位に基づき、被験者の動きをグローバルに抽出する空間的特徴抽出ユニット３４と、前記動き推定ユニット３２と前記空間的特徴抽出ユニット３４との出力に基づき、前記一組の画像フレーム中の、被験者の動きのタイプを決定する運動特徴付けユニット３６とを有する。

【0033】

この実施形態では、インタフェース２０は、例えば、所望のスペクトル範囲（例えば、可視及び／又は赤外、または複数波長または単一波長）で少なくとも７Ｈｚのフレームレートで、被験者から一組の画像フレームを収集するイメージングユニット６０に、具体的にはカメラに結合されている。他の一実施形態では、インタフェース２０は、少なくとも２つの画像フレームまたは完全な一組の画像フレーム（事前に収集されたもの）を格納しているメモリまたはバッファから一組の画像フレームを受け取っても良い。

【0034】

モニターされる被験者により行われる動きを適切に特徴付けするため、図１に示すように、複数のモジュールが備えられる。これらのモジュールについては、後でより詳細に説明する。

【0035】

動き推定ユニット３２は、好ましくは、連続した画像フレームに渡る画素の空間的な類似度に基づき、（グローバル及び／又はローカルレベルで）詳細な動き情報を抽出することを目的としている。この目的のため、ブロックマッチング、３ＤＲＳ（３次元反復検索）、オプティカルフロー、フィーチャトラッキング、テンプレートマッチングを含むいかなる手法を用いてもよい。一実施形態では、動き推定ユニット３２の出力は、モニターされる被験者の測定領域（例えば、被験者の顔）の、好ましくは垂直及び水平方向の二方向における平均動きベクトル、及び／又はモニターされる被験者の測定領域に含まれる一組の画素のローカル動きベクトル値を表す時系列よりなる。

【0036】

空間的特徴抽出ユニット３４は、特に、類似した特性を示す一グループの画素の空間的特徴の変位に基づく、グローバルレベルでの動き抽出を目的とする。好ましい実施形態では、前記類似特性の決定は、知覚される色（例えば、すべての皮膚が祖は類似した色を有すると見なされる）に基づき、画素値及び／又は勾配情報（例えば、予測ヒストグラム）に基づき、及び／又は特定のランドマーク（ｌａｎｄｍａｒｋｓ）の変位に基づいて行われる。一実施形態では、空間的特徴抽出ユニット３４の出力は、モニターされる被験者の測定領域（例えば、被験者の顔）の、好ましくは垂直及び水平方向の二方向における、一組の所定が祖の空間的特徴の空間的変位で表される平均動きベクトルを表す時系列よりなる。

【0037】

動き特徴ユニット３６は、動き推定ユニット３２と空間的特徴抽出ユニット３４により生成された出力を用い、モニターされる被験者により行われる動きのタイプを決定する。この特徴付け（ｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ）は、二つのユニットにより生成される出力がどのくらい類似しているか分析することにより、行われてもよい。

【0038】

一実施形態では、この類似度の測定値は、両コンポーネントにより集められた動き情報の間の差分を計算することにより、次のように得られる：
Ｓ＝ｆ（ｇ（ＧＭＥ，ＣＯＭ），ｇ（ＬＭＥ，ＣＯＭ）） （１）
ここで、Ｓは類似度の測定値であり、ＧＭＥとＬＭＥはそれぞれ動き推定ユニット３２により得られるグローバル動き情報（ＧＭＥ）とローカル動き情報（ＬＭＥ）を含む時系列（時間ベクトル）であり、ＣＯＭは空間的特徴抽出ユニット３４により得られる重心運動であり、ｇ（ｘ）は距離を抽出する任意の線形／非線形演算であり、ｆ（ｘ）は二つの距離を合成して一つの数にする任意の線形／非線形演算である。

【0039】

非線形合成を用いて類似度測定値を計算する、可能性のある一実施形態は、例えば、
Ｓ＝１／（｜｜ＧＭＥ−ＣＯＭ｜｜ｘＳＵＭ（｜｜ＬＭＥ−ＣＯＭ｜｜）） （２）、
ここで、｜｜ＬＭＥ−ＣＯＭ｜｜項において、差分は各ローカル動き推定出力（ＬＭＥ）と重心運動（ＣＯＭ）の値の間の差分を取ることにより行われる。

【0040】

線形合成を用いて類似度測定値を計算する、可能性のある他の一実施形態は、例えば、
Ｓ＝｜｜ＧＭＥ−ＣＯＭ｜｜ ＋ＳＵＭ（｜｜ＬＭＥ−ＣＯＭ｜｜） （３）。

【0041】

一実施形態では、この類似度測定値を閾値と比較して、面内運動（すなわち、その一組の画像フレームの画像平面内の動き）と面外運動（すなわち、その一組の画像フレームの画像平面外の動き）とを区別する。これにより、閾値を画像フレームの組の大量のデータセットで実験的に求めてもよく、例えば過去の経験に基づいてユーザにより設定されてもよい。他の一実施形態では、この類似度測定値は、上記の通り、ＧＭＥ、ＬＭＥ及びＣＯＭを用いて動き特徴付けを行う分類器に送られる。さらに他の一実施形態では、ローカルな類似度測定値を計算し、（例えば、話しているシナリオ）異なる動きを示す画素グループを区別する。

【0042】

この類似度測定値が被験者の動きに応じてどのように振る舞うか示すため、図２と図３に示した例において、異なる二通りの動きを考える。すなわち、被験者の顔がカメラ平面内（すなわち、画像平面）で並進する場合と、被験者の顔がカメラ平面外に回転する場合である。図２は、並進のシナリオであり、被験者の顔が画像平面内で並進運動する。図３は、回転のシナリオであり、被験者の顔が画像平面外へ回転運動する。

【0043】

図２Ａと図２Ｂは、顔が異なる並進位置にある連続した二つの画像フレームを示す。図２Ｃは動き推定ユニット３２により得られた対応する（ローカル）動きの場（ｍｏｔｉｏｎ ｆｉｅｌｄ）を示す。図２Ｄと図２Ｅは、図２Ａと図２Ｂに示した連続する二つの画像フレームに対応するスキンマスクを示し、重心Ｍを図２Ｄと図２Ｅに示した。図２Ｆは空間的特徴抽出ユニット３４により得られた、対応する重心変位を示す。

【0044】

図３Ａと図３Ｂは、顔が異なる回転位置にある連続した二つの画像フレームを示す。図３Ｃは動き推定ユニット３２により得られた対応する（ローカル）動きの場（ｍｏｔｉｏｎ ｆｉｅｌｄ）を示す。図３Ｄと図３Ｅは、図３Ａと図３Ｂに示した連続する二つの画像フレームに対応するスキンマスクを示し、重心Ｍを図３Ｄと図３Ｅに示した。図３Ｆは空間的特徴抽出ユニット３４により得られた、対応する重心変位を示す。

【0045】

図２と図３に示した二つの例では、類似度測定値がどう振る舞うかが分かる。式（２）を用いて、並進シナリオ（図２）の場合、類似度測定値は無限遠で収束するが、回転シナリオ（図３）では、類似度測定値非常に小さい値（例えば、１から１０までの範囲）となる。

【0046】

類似度測定値が一旦得られると、画像ストリームは、特にその類似度測定値の値に応じて、被験者の動きの事前に決定された特徴を用いてＰＰＧ信号を抽出する信号抽出ユニット４０により処理される。好ましくは、一実施形態において、面内運動が検出された場合には、上記の参照文献に開示された、またはＰＰＧ信号抽出の技術分野で一般的に知られた従来の任意の手法を用いることができるが、面外運動が検出されたときには、処理は行われない（すなわち、ＰＰＧ信号抽出されない）。

【0047】

面外運動の場合にＰＰＧ信号が抽出されないとき、「ヌル（ｎｕｌｌ）」信号となる。すなわち、面外運動を含むと特徴付けされた画像フレームに対して抽出された信号の一部がヌルに設定される。このような「ヌル」信号が画像ストリームから抽出されたとき、幾つかのオプションを用いて意味のあるバイタルサイン情報（例えば、心拍数情報、呼吸情報、ＳｐＯ２情報など）を抽出することができる。幾つかのオプション中、この「ヌル」データポイントを含む時間信号に対する直接フーリエ分析を用いることができ、失われたこれらのデータポイントを再生する補間手法を用いることもでき、または例えば非一様離散フーリエ変換に関するＷｉｋｉｐｅｄｉａの記事（ｈｔｔｐ：／／ｅｎ．ｗｉｋｉｐｅｄｉａ．ｏｒｇ／ｗｉｋｉ／Ｎｏｎ−ｕｎｉｆｏｒｍ＿ｄｉｓｃｒｅｔｅ＿Ｆｏｕｒｉｅｒ＿ｔｒａｎｓｆｏｒｍ）に記載されているような、不均一にサンプリングされたデータにフーリエ分析をできる手法を用いることもできる。

【0048】

図４は、この「ヌル」データポイントが時間信号中にあっても、優位周波数（この例では心拍数である）を抽出できることを示す例である。図４Ａは完全な周期的ＰＰＧ信号を示す。図４Ｂは、図４ＡのＰＰＧ信号の対応フーリエスペクトルを示し、このスペクトルから所望のバイタルサイン信号（ここでは、期待周波数範囲にある優位周波数により示される心拍数）を求めることができる。図４Ｃは、不完全な周期的ＰＰＧ信号を示す。これは対応する画像フレームからＰＰＧ信号を抽出できなかった「ヌル」データポイントを含む。図４Ｄは、図４ＣのＰＰＧ信号の対応フーリエスペクトルを示し、このスペクトルからも所望のバイタルサイン信号（ここでは、期待周波数範囲にある優位周波数により示される心拍数）を求めることができる。図４Ｄから、データポイントが失われているにもかかわらず、４０％以上のデータポイントが失われた信号からでも優位周波数を容易に抽出することができることがよくわかる。

【0049】

提案の装置の他の一実施形態では、話す行為（または、より一般的に、顔の任意の変形）を検出する。この場合、処理は優位な動きパターンを示す顔の領域にのみフォーカスする。これは、動きの２次元ヒストグラムを（好ましくはＸ及びＹ方向で）計算し、（例えば、主成分分析（ＰＣＡ）のクラスタリングアルゴリズムを用いて）優位な動きパターンを選択することにより行える。結果として、この実施形態では、ＰＰＧ信号抽出のため、動きを示さないすべての画素を選択し、一方、ＰＰＧ信号抽出のため、動きが検出される口の領域に隣接するすべての画素を排除する。

【0050】

さらに他の実施形態では、顔の回転を検出すると、スキンマスク（ｓｋｉｎ ｍａｓｋ）の中心領域にあるスキンが祖のみをＰＰＧ信号抽出に用いる。かかる選択により、スキンマスクの境界に隣接する画素は、バイタルサインの抽出には使われない。スキンマスク境界に隣接する画素は、動き推定を不正確にする傾向があり、動き中に消え再び現れることが多く、バイタルサイン抽出において余分なノイズを生じることがある。

【0051】

スキンマスクの中心部を選択するため、サイズが回転速度に依存する（例えば、線形関係）カーネルを用いて、（バイナリマスクに）画像崩壊（ｉｍａｇｅ ｅｒｏｓｉｏｎ）を適用する。そうすることにより、小さい回転の場合、少ない画素が破棄され、一方、大きい回転が生じると、多くの画素が排除される。

【0052】

バイタルサインパラメータを表す時間信号（ＰＰＧ信号）を生成する正しい処理が為されると、バイタルサイン決定ユニット５０が、例えば上記の引用文献のどれにも記載されている従来既知の方法を用いて、抽出されたＰＰＧ信号からバイタルサイン情報を決定する。

【0053】

提案の動き固有処理の興味深い他の態様は、観察される動きのタイプに応じて、信頼性表示測定値を抽出できることである。提案の装置の機能に基づきかかる信頼性情報を提供し、特徴付けられた動きを考慮してバイタルサイン情報を正確に求める、対応する信頼性推定モジュールを用いても良い。

【0054】

さらに他の実施形態では、式（１）または（２）に示した信頼性測定値（ｒｅｌｉａｂｉｌｉｔｙ ｍｅａｓｕｒｅ）を用いてこの信頼性表示測定値（ｒｅｌｉａｂｉｌｉｔｙ ｉｎｄｉｃａｔｉｏｎ ｍｅａｓｕｒｅ）を抽出できる。他の一実施形態では、動きのタイプは任意の値にリンクしている。例えば、並進の場合、信頼性インジケータを１に設定でき、回転の場合、信頼性インジケータをより低い値、例えば０．１に設定できる。上記信頼性インジケータ（ｒｅｌｉａｂｉｌｉｔｙ ｉｎｄｉｃａｔｏｒ）を用いてＰＰＧ信号、及び／又はそのＰＰＧ信号から抽出されたバイタルサイン情報の信頼性を示すことができる。

【0055】

例として、本発明は、例えば目立たないリモート患者モニタリングや新生児モニタリングなどのヘルスケアの分野、一般的監視、セキュリティモニタリング、フィットネス機器などいわゆるライフスタイル環境などの分野で利用できる。

【0056】

本発明を、図面と上記の説明に詳しく示し説明したが、かかる例示と説明は例であり限定ではなく、本発明は開示した実施形態には限定されない。請求項に記載した発明を実施する際、図面、本開示、及び添付した特許請求の範囲を研究して、開示した実施形態のその他のバリエーションを、当業者は理解して実施することができるであろう。

【0057】

請求項において、「有する（ｃｏｍｐｒｉｓｉｎｇ）」という用語は他の要素やステップを排除するものではなく、「１つの（「ａ」または「ａｎ」）」という表現は複数ある場合を排除するものではない。単一の要素またはその他のアイテムが請求項に記載した複数のユニットの機能を満たすこともできる。相異なる従属クレームに手段が記載されているからといって、その手段を組み合わせて有利に使用することができないということではない。

【0058】

コンピュータプログラムは、光記憶媒体や他のハードウェアとともに、またはその一部として供給される固体媒体などの適切な非一時的媒体に記憶／配布することができ、インターネットや有線または無線の電気通信システムなどを介して他の形式で配信することもできる。

【0059】

請求項に含まれる参照符号は、その請求項の範囲を限定するものと解してはならない。

【図1】

【図2A】

【図2B】

【図2C】

【図2D】

【図2E】

【図2F】

【図3A】

【図3B】

【図3C】

【図3D】

【図3E】

【図3F】

【図4】